CN116206227B - 5g富媒体信息的图片审查系统、方法、电子设备及介质 - Google Patents
5g富媒体信息的图片审查系统、方法、电子设备及介质 Download PDFInfo
- Publication number
- CN116206227B CN116206227B CN202310437410.1A CN202310437410A CN116206227B CN 116206227 B CN116206227 B CN 116206227B CN 202310437410 A CN202310437410 A CN 202310437410A CN 116206227 B CN116206227 B CN 116206227B
- Authority
- CN
- China
- Prior art keywords
- picture
- feature extraction
- feature
- sensitive
- message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000000605 extraction Methods 0.000 claims abstract description 137
- 238000013145 classification model Methods 0.000 claims abstract description 41
- 239000013598 vector Substances 0.000 claims description 54
- 238000005070 sampling Methods 0.000 claims description 29
- 230000004927 fusion Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 10
- 101100202648 Arabidopsis thaliana SDN4 gene Proteins 0.000 claims description 9
- 238000012552 review Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 17
- 238000013527 convolutional neural network Methods 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 238000012550 audit Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 102100032202 Cornulin Human genes 0.000 description 1
- 101000920981 Homo sapiens Cornulin Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种5G富媒体信息的图片审查系统、方法、电子设备及介质，包括：构建图片消息信息集合Z；将图片消息信息集合Z中的图片依次输入图片分类模型判断图片是否合规；基于图片特征提取模型对图片消息信息集合Z中的敏感图片进行纹理特征提取、边缘特征提取以及SIFT特征提取得到三种不同特征提取集合，将三种不同特征提取集合进行融合得到图片中疑似敏感特征的图片区域；将图片中疑似敏感特征的图片区域输入图片分类模型判断图片是否合规。该5G富媒体信息的图片审查方法解决现有技术中使用图片分类模型对不合规图片进行筛查，只能针对图片整体合规性进行审查，无法针对图片内特定元素进行审查的问题。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种5G富媒体信息的图片审查系统、方法、电子设备及介质。
背景技术
5G富媒体消息是短消息行业通信能力一次重大的飞跃，相比于传统文字短信而言，5G富媒体消息支持的媒体格式更多，表现形式更丰富，不仅可以发送长文本、图片、语音、视频等富媒体信息，还包括了公众号、小程序等用户交互和反馈能力，使得5G富媒体消息的应用场景、内容质量、使用范围都极大的提升。
传统图片审查多使用图片分类模型对不合规图片进行筛查，存在只能针对图片整体合规性进行审查，而无法针对图片内特定元素进行审查的弊端。
因此，亟需一种可针对图片内特定元素进行审查的5G富媒体信息的图片审查方法。
发明内容
本发明实施例的目的在于提供一种5G富媒体信息的图片审查系统、方法、电子设备及介质，用以解决现有技术中使用图片分类模型对不合规图片进行筛查，只能针对图片整体合规性进行审查，无法针对图片内特定元素进行审查的问题。
为实现上述目的，本发明实施例提供一种5G富媒体信息的图片审查方法，所述方法具体包括：
获取5G富媒体消息中的图片消息和视频抽样图片集合y’，基于所述图片消息和视频抽样图片集合y’构建图片消息信息集合Z；
构建图片分类模型，将所述图片消息信息集合Z中的图片依次输入所述图片分类模型判断所述图片是否合规；
构建图片特征提取模型，基于所述图片特征提取模型对所述图片消息信息集合Z中的敏感图片进行纹理特征提取、边缘特征提取以及SIFT特征提取得到三种不同特征提取集合，将三种不同特征提取集合进行融合得到图片中疑似敏感特征的图片区域；其中，所述特征提取包括纹理特征提取、边缘特征提取以及SIFT特征提取；
将所述图片中疑似敏感特征的图片区域输入所述图片分类模型判断所述图片是否合规。
在上述技术方案的基础上，本发明还可以做如下改进：
进一步地，所述获取5G富媒体消息中的图片消息和视频抽样图片集合y’，基于所述图片消息和视频抽样图片集合y’构建图片消息信息集合Z，包括：
获取5G富媒体消息中的视频消息信息集合Y；
构建视频摘要模型；
将视频消息信息集合Y输入所述视频摘要模型得到对应的视频抽样图片集合y’。
进一步地，所述图片分类模型包括依次连接的CNN卷积层、LSTM网络和注意力机制；
基于所述CNN卷积层提取所述图片消息信息集合Z的特征向量；
基于所述LSTM网络识别所述特征向量；
所述注意力机制基于所述特征向量设置不同区域的权重，使所述图片分类模型在分类过程中关注于不同区域的特征信息。
进一步地，所述纹理特征提取包括：
在所述敏感图片的居中位置，任意选取一个像素值作为中心像素；
使用矩阵对所述中心像素周围的邻域像素进行收集；
当邻域的像素值大于或等于中心像素值时，将邻域像素值设置为1，否则将邻域像素值设置为0；
设置结束后，从邻域的顺时针或逆时针收集所有阈值，得到一个二进制代码，并将所述二进制代码转换为十进制数；
用计算结果的十进制数替换掉中心像素值，并对所述敏感图片中存在的所有像素值执行同样的操作。
进一步地，所述边缘特征提取包括：
将原始敏感图片转化为灰度图片，读取灰度图片中的像素信息；
采用伽马校正法对所述灰度图片的像素信息进行归一化；
将伽马校正后的灰度图片像素分割成若干个像素单元；
采用Prewitt算子对校正后的像素块进行扫描，捕获灰度梯度变化较大的像素轮廓信息；
计算轮廓附近的HOG特征向量。
进一步地，所述SIFT特征提取包括：
生成敏感图片的尺度空间；
检查所述尺度空间中极值点；
指定每个极值点的方向参数；
提取所有极值点的方向参数信息，得到敏感图片最终的SIFT特征参数。
进一步地，所述将三种不同特征提取集合进行融合得到图片中疑似敏感特征的图片区域，包括：
将提取到的三种不同特征提取集合进行统一的初始向量化表示，得到初始融合向量集合；
基于深度残差网络对初始融合向量集合进行特征融合，其中，所述深度残差网络包括依次相连的CNN网络、Transition、RNN网络和残差网络单元映射；
通过CNN网络从初始融合向量集合中提取隐含层信息；
经过RNN网络得到图片序列特征集合；
通过残差网络单元映射感受输出特征之间的微小波动，在无监督条件下得到序列图片的多层特征融合集合。
进一步地，所述将三种不同特征提取集合进行融合得到图片中疑似敏感特征的图片区域，还包括：
构建敏感特征区域提取模型，其中，所述敏感特征区域提取模型包括依次相连的CBL层、Res Block层、两个SDN4网络和CBL网络；
在获得序列图片的多层特征融合集合后，通过CBL层进行向量卷积得到卷积向量；
通过2层的Res Block对所述卷积向量进行串联和跳跃连接，其中，每层Res Block由两个CBL层串联；
将串联后的所述卷积向量分别送入两个SDN4网络，通过CBL和Concat形成密集连接，从而对所述卷积向量进行围堵叠加，保留更多的特征，提高敏感特征区域提取模型的整体表达能力，所述SDN4网络在处理完毕后将采用上采样方法，扩大Concat输出集合的特征向量；
通过5层CBL网络对特征图组合进行拼接，最终得到不同类型特征向量集合，不同的所述特征向量集合就是图片中疑似敏感特征的图片区域；
将所述图片中疑似敏感特征的图片区域输入基于所述图片分类模型判断所述图片是否合规。
一种5G富媒体信息的图片审查系统，包括：
获取模块，用于获取5G富媒体消息中的图片消息和视频抽样图片集合y’，基于所述图片消息和视频抽样图片集合y’构建图片消息信息集合Z；
第一构建模块，用于构建图片分类模型，将所述图片消息信息集合Z中的图片依次输入所述图片分类模型判断所述图片是否合规；
第二构建模块，用于构建图片特征提取模型，基于所述图片特征提取模型对所述图片消息信息集合Z中的敏感图片进行纹理特征提取、边缘特征提取以及SIFT特征提取得到三种不同特征提取集合，将三种不同特征提取集合进行融合得到图片中疑似敏感特征的图片区域；其中，所述特征提取包括纹理特征提取、边缘特征提取以及SIFT特征提取；
将所述图片中疑似敏感特征的图片区域输入所述图片分类模型判断所述图片是否合规。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如所述方法的步骤。
本发明实施例具有如下优点：
本发明中5G富媒体信息的图片审查方法，获取5G富媒体消息中的图片消息和视频抽样图片集合y’，基于所述图片消息和视频抽样图片集合y’构建图片消息信息集合Z；构建图片分类模型，将所述图片消息信息集合Z中的图片依次输入所述图片分类模型判断所述图片是否合规；构建图片特征提取模型，基于所述图片特征提取模型对所述图片消息信息集合Z中的敏感图片进行纹理特征提取、边缘特征提取以及SIFT特征提取得到三种不同特征提取集合，将三种不同特征提取集合进行融合得到图片中疑似敏感特征的图片区域；其中，所述特征提取包括纹理特征提取、边缘特征提取以及SIFT特征提取；将所述图片中疑似敏感特征的图片区域输入所述图片分类模型判断所述图片是否合规，解决了现有技术中使用图片分类模型对不合规图片进行筛查，只能针对图片整体合规性进行审查，无法针对图片内特定元素进行审查的问题。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明5G富媒体信息的图片审查方法的流程图；
图2为本发明5G富媒体信息的图片审查系统的第一架构图；
图3为本发明5G富媒体信息的图片审查系统的第二架构图；
图4为本发明深度残差网络特征融合过程示意图；
图5为本发明基于DarkNet网络以及SPP模块的敏感特征区域提取模块的网络结构示意图；
图6为本发明提供的电子设备实体结构示意图。
其中附图标记为：
获取模块10，图片分类模型20，图片特征提取模型30，语音转文本模型40，视频摘要模型50，敏感词变体识别模型60，电子设备70，处理器701，存储器702，总线703。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
图1为本发明5G富媒体信息的图片审查方法实施例流程图，如图1所示，本发明实施例提供的一种5G富媒体信息的图片审查方法包括以下步骤：
S101，获取5G富媒体消息中的图片消息和视频抽样图片集合y’，基于图片消息和视频抽样图片集合y’构建图片消息信息集合Z；
具体的，获取5G富媒体消息，由于5G富媒体消息单条最大容量为3M，因此可以在一条5G富媒体消息内包含多份文字短信、多张图片、多段视频/音频。一条5G富媒体消息可表示为，/>可以包含多条文本消息信息集合/>，多条视频消息信息集合，以及多条图片消息信息集合/>。
视频消息信息集合包含视频内容和音频内容，在安全合规审查中需要同时对视频和音频信息进行审核，分别将视频消息信息集合/>转化为视频文本集合y和视频抽样图片集合y’。
构建视频摘要模型50，其中，视频摘要模型50包括依次连接的时间解码器、感知器和Transformer模块；
基于时间解码器对视频消息信息集合Y中的视频进行时序化处理；
基于两层感知器生成相应的分割序列；
通过Transformer模块对每个分割序列进行向量化解析，得到每个分割序列的序列特征集合R，计算序列特征集合R中两两序列特征间的容差率，基于容差率得到容差率最大的分割序列集合；
从分割序列集合每个分割序列中随机抽取n张图片，形成待识别视频的视频抽样图片集合y’。
基于图片消息和视频抽样图片集合y’构建图片消息信息集合Z。
S102，构建图片分类模型，将图片消息信息集合Z中的图片依次输入图片分类模型判断图片是否合规；
具体的，所述图片分类模型20包括依次连接的CNN卷积层、LSTM网络和注意力机制；
基于所述CNN卷积层提取所述图片消息信息集合Z的特征向量；这些向量代表了原始输入图片的高层语义信息。
为了能够逐步改变算法观察到的区域特征，使用了LSTM网络对图片特征信息进行识别。LSTM网络是典型的记忆力网络，能够利用之前提取到的特征信息影响下一步的更新动作。
然后，在注意力机制选择上，为保证悬链过程能够实现端到端的梯度下降过程可导，选择了soft attention作为LSTM向量学习后的特征处理机制。通过添加惩罚项的逻辑回归损失函数，可以对attention的权重加以约束，是的模型整个过程中能够关注于不同区域的特征信息。
最后，通过模型输出的合规概率，判定图片分类结果。/>的整体计算公式表述如下。
其中，w代表当前要判断的图片；
表示训练集中图片的标注结果，/>代表t时刻图片特征x对类别i的预测条件概率；
表示在LSTM的长度为T，类别数为C的情况下，w的指数预测概率。/>是滴i个卷积特征在t时刻的权重，/>代表在全部训练的T时间内，第i个卷积特征的权重之和，/>表示在全连接层/>内，特征i的权重之和，乘以attention的惩罚项/>，即得到特征i最终的权重值。/>是正则化项，是对图片w的正则化处理。
S103，构建图片特征提取模型30，基于图片特征提取模型对图片消息信息集合Z中的敏感图片进行纹理特征提取、边缘特征提取以及SIFT特征提取得到三种不同特征提取集合，将三种不同特征提取集合进行融合得到图片中疑似敏感特征的图片区域；其中，特征提取包括纹理特征提取、边缘特征提取以及SIFT特征提取；
具体的，传统的图片审核方法主要通过对图片整体内容进行分类，进而判断图片内容是否合规。例如，有些图片从图片分类的角度上属于正常的街道照片，故极大可能通过短消息的安全合规审查。但是，从图片的局部特征看，图片中存在明显的违规内容，特别在特定日期下容易形成不良的社会反映。
针对5G消息图片信息的审核不能仅通过图片分类，而是要充分识别图片的特征进行判断。
因此，本专利提出通过多维残差网络对图片进行相应的纹理特征提取、边缘特征提取以及SIFT特征提取，在提取出这些高价值的图像特征之后，将这些特征进行融合，并识别融合后的敏感特征区域，将敏感特征区域传入敏感图片分类模块，从而达到图片特征级别的安全审核要求。
纹理特征是指图像中颜色或灰度的空间排列的信息，是一个可以帮助将图像分割成感兴趣区域并对这些区域进行分类的低级特征，但也是图片信息提取中重要的特征信息。所述纹理特征提取包括：
在所述敏感图片的居中位置，任意选取一个像素值作为中心像素；
使用 3x3矩阵对所述中心像素周围的邻域像素进行收集；
当邻域的像素值大于或等于中心像素值时，将邻域像素值设置为1，否则将邻域像素值设置为0；
设置结束后，从邻域的顺时针或逆时针收集所有阈值，得到一个8位的二进制代码，并将所述二进制代码转换为十进制数；
用计算结果的十进制数替换掉中心像素值，并对所述敏感图片中存在的所有像素值执行同样的操作。
图片边缘是指在整张图像中不同像素片段之间的边界。边缘特征提取算法是在一个方向上寻找灰度变化较大的边缘区域特征，即通过灰度变化落差来刻画图片中差异较大的特征。所述边缘特征提取包括：
将原始敏感图片转化为灰度图片，读取灰度图片中的像素信息；
采用伽马校正法（Gamma Correction）对所述灰度图片的像素信息进行归一化；也可以看做是对灰度图片像素对比度进行幂函数转化，从而降低图片中光照等噪声的干扰；
将伽马校正后的灰度图片像素分割成若干个像素单元；本专利中图片被分割成为320×320个像素块，每个像素块计算其像素梯度直方图，包含每个像素块的梯度大小和方向两个值；
即每个像素块包含320×320×2=204800个值。
采用Prewitt算子对校正后的像素块进行扫描，捕获灰度梯度变化较大的像素轮廓信息；
计算轮廓附近的HOG特征向量。即沿着灰度梯度变化较大的边缘轮廓，向图片左上角和右下角滑动（320-1）次，对同一个像素块的数值取平均，则得到图片最终的HOG特征向量表示。
SIFT特征可以在一定程度上抵消图片像素仿射变换、光照影响以及在识别过程中的遮挡。因此SIFT特征可以增强图片特征提取模型30的泛化性能以及鲁棒性。所述SIFT特征提取包括：
生成敏感图片的尺度空间；本专利通过高斯卷积函数对图片进行尺度空间生成，共生成3层图像信息；
检查所述尺度空间中极值点；即通过对比同一像素区域在不同层尺度空间中的像素值变化，从而精确定位图片中的极值点；
指定每个极值点的方向参数；即按照固定的旋转角度，计算每个极值点的位置、所处尺度和方向信息。本专利每间隔10度进行一次计算，即每个极值点共得到36x3组方向参数；
提取所有极值点的方向参数信息，得到敏感图片最终的SIFT特征参数。
经过不同特征提取算法得到的图片特征分别表示了图片不同的要素信息，但不同要素信息之间存在较大的差异性，需要通过特征融合算法对不同特征进行有效融合，最终得到有价值的图片特征信息。
本专利设计了CNN+RNN的深度残差网络，利用深度神经网络对特征残差进行有效融合和分析，最终得到优异的图片特征集合。
将提取到的三种不同特征提取集合进行统一的初始向量化表示，得到初始融合向量集合；
由于不同特征提取算法提取的特征信息侧重点不同，因此不能简单的将3个特征集合合并为3个不同的向量张量，需要重点考虑不同特征集合的权重计算。
本专利对每一个像素块建立一个权重属性集合，分别代表该像素块在本特征提取算法中的权重值，像素块边界框的左上角横纵坐标以及右下角横纵坐标。假设同一像素块的任一两个特征集合A、B组合时，的权重计算方法如下：
其中，表示某像素块通过a方法提取的特征集合。/>表示某像素块通过b方法提取的特征集合。/>为通过组合判定规则生成的融合特征集合，/>表示/>在左上角的横轴坐标，是通过选择/>和/>两者最小的左上角的横坐标值得到。/>表示/>在左上角的横轴坐标，是通过选择/>和/>两者最小的左上角的横坐标值得到。/>表示在右下角的横轴坐标，是通过选择/>和/>两者最大的右下角的横坐标值得到。/>表示/>在右下角的横轴坐标，是通过选择/>和/>两者最大的右下角的横坐标值得到。/>表示组合后的权重值。/>是组合体/>的权重，是对/>和/>自身权重进行加权计算而来。/>为权重的加权系数，其取值为该像素块邻近像素权重的均值。通过对全部3层像素块的间，最终得到初始融合向量集合Conv。
如图4所示，基于深度残差网络对初始融合向量集合进行特征融合，其中，所述深度残差网络包括依次相连的CNN网络（CNN Residual extract）、Transition、RNN网络（Residual extract）和残差网络单元映射（Residual Mapping）；
由于初始融合向量集合Conv中包含了太多的特征细节，这些细节往往被隐藏在特征集合中，因此，本专利首先通过CNN网络从图片特征集中提取隐含层（Hidden layer）信息，设计的第一个卷积层参数是64个7×7的卷积核，卷积核的步长为2。每一个卷积层之后都设置BatchNorm层，以增加模型的容纳能力。此外，由于此处所处理的5G消息图片集合一部分来自于视频抽样图片集合y’，所以使得图片之间存在一定的序列关系。CNN并不擅长捕捉序列图片中的特征信息，因此本专利在Transition后增加了一层递归神经网络层（RNN）。此处，给定前序CNN模型提取的特征序列由T个特征组成，本专利设定的联合分布不概率模型/>可表示如下。
每个条件概率分布可以设定为：
其中，是特征级非线性变换，且光滑有界，本专利使用了logistic sigmoid函数，函数表达式为：
是RNN的递归隐状态，函数表达式为：
其中，是非线性函数，是logistic sigmoid和仿射变换组合成的函数。由此，可以得到经过RNN提取的图片序列特征集合。
通过残差网络单元映射感受输出特征之间的微小波动，在无监督条件下得到序列图片的多层特征融合集合。
在获得序列图片的多层特征融合集合后，需要从中提取出敏感的特征区域。本专利设计了一套基于DarkNet网络以及SPP模块的敏感特征区域提取模块。该模块的网络结构图如图5所示。
构建敏感特征区域提取模型，其中，所述敏感特征区域提取模型包括依次相连的CBL层、Res Block层、两个SDN4网络和CBL网络；
在获得序列图片的多层特征融合集合后，通过128×128的CBL层进行向量卷积得到卷积向量，其中包含了一个卷积层、一个BN层和Leaky Relu激活函数。
通过2层的Res Block对所述卷积向量进行串联和跳跃连接，其中，每层Res Block由两个CBL层串联；使得卷积向量更好地克服梯度消失和梯度爆炸问题。
将串联后的所述卷积向量分别送入两个SDN4网络，通过CBL和Concat形成密集连接，从而对所述卷积向量进行围堵叠加，保留更多的特征，提高敏感特征区域提取模型的整体表达能力，所述SDN4网络在处理完毕后将采用上采样方法，扩大Concat输出集合的特征向量；
通过5层CBL网络对特征图组合进行拼接，最终得到不同类型特征向量集合，不同的所述特征向量集合就是图片中疑似敏感特征的图片区域；
将所述图片中疑似敏感特征的图片区域输入基于所述图片分类模型20判断所述图片是否合规。
S104，将图片中疑似敏感特征的图片区域输入图片分类模型判断图片是否合规。
语音转文本模型40为CTC模型，在CTC模型的基础上引入最大熵函数对所述CTC模型中CTC原有损失函数进行改进；通过所述训练集对所述改进CTC模型进行训练，得到训练好的改进CTC模型；通过训练好的所述改进CTC模型将所述视频消息信息集合Y转换为视频文本集合y。
通过公式1对所述CTC原有损失函数进行改进；
公式1；
式中，为所述改进CTC模型的损失函数，/>为CTC原有损失函数，/>为最大条件熵正则化的系数，/>为给定输入序列和目标序列的可行路径的熵。
通过公式2求解
公式2；
式中，表示当给定5G语音信息X和真实输出/>的情况下，某一条可行路径π的条件概率；
表示给定5G语音信息X时，某一条可行路径π的条件概率的对数；表示无论是否给出真实输出/>时，5G语音信息X的所有输出条件概率的和。
本发明中使用的损失函数，可以选择L1Loss、MSEloss、CrossEntropyLoss等，对改进CTC模型最终效果不会有较大差异。
获取5G富媒体消息中的图片消息，基于所述图片消息和所述视频抽样图片集合y’构建图片消息信息集合Z；
获取5G富媒体消息中的文本消息；基于所述文本消息和所述视频文本集合y构建文本消息信息集合X；
构建敏感词变体识别模型60；优选的，所述敏感词变体识别模型60为Text CNN模型，基于Text CNN模型的不良短文本识别方法目前已经被较为成熟的运用在短消息文本审查中。
本发明中使用的敏感词变体识别模型60，除了Text CNN模型之外，还可以使用CRNN、LSTM+CTC等模型替代，识别效果不会有较大差异。
首先，待处理的5G富媒体消息需要经过数字字符标准化、英文字符标准化、繁体转简体、特殊意义符号处理、去除夹杂符号噪音、连续数字支付统一表示、字符串切分等预处理。
其次，通过word2vec将短文本进行向量化，并在卷积层中对文本向量进行高维卷积及延展，利用池化层和全连接层对敏感词汇进行向量激活，通过SoftMax函数计算敏感词的命中概率。此处选择的SoftMax函数表达式如下：
其中，x代表词向量。
最后，将所述文本消息信息集合X中的文本消息依次输入所述敏感词变体识别模型60判断所述文本消息信息集合X中的所有文本消息是否全部合规。如果文本消息合规性判定为不合规，则转为人工判断或预警。文本消息判定为合规，则进入后续判定流程。
对所述图片消息信息集合Z进行特征提取得到图片深度特征集合z；优选的，本发明中使用的图片原始特征提取方法为LBP、HOG、SIFT，可以使用其他相似特征提取算法替代，替代效果对最终图片分类模型20效果影响不会太大。
5G消息图片信息集合Z通过分类模型可以判定是否合规。如果图片或图片内某一特征信息判定为不合规，则该图片判定为不合规。如果图片或图片内任一特征信息均判定为合规，则该图片判定为合规。
对5G消息视频、文字、图片的安全审核，如果任一审核结果判定为不合规，则该条5G消息将进入人工审核流程。如果所有判定结果均为合规，则该条5G消息可以正常发送，流程结束。
图2-图3为本发明5G富媒体信息的图片审查系统实施例流程图；如图2-图3所示，本发明实施例提供的一种5G富媒体信息的图片审查系统，包括以下步骤：
获取模块10，用于获取5G富媒体消息中的图片消息和视频抽样图片集合y’，基于所述图片消息和视频抽样图片集合y’构建图片消息信息集合Z；
图片分类模型20，用于将所述图片消息信息集合Z中的图片依次输入所述图片分类模型20判断所述图片是否合规；
图片特征提取模型30，用于基于所述图片特征提取模型30对所述图片消息信息集合Z中的敏感图片进行纹理特征提取、边缘特征提取以及SIFT特征提取得到三种不同特征提取集合，将三种不同特征提取集合进行融合得到图片中疑似敏感特征的图片区域；其中，所述特征提取包括纹理特征提取、边缘特征提取以及SIFT特征提取；
所述纹理特征提取包括：
在所述敏感图片的居中位置，任意选取一个像素值作为中心像素；
使用矩阵对所述中心像素周围的邻域像素进行收集；
当邻域的像素值大于或等于中心像素值时，将邻域像素值设置为1，否则将邻域像素值设置为0；
设置结束后，从邻域的顺时针或逆时针收集所有阈值，得到一个二进制代码，并将所述二进制代码转换为十进制数；
用计算结果的十进制数替换掉中心像素值，并对所述敏感图片中存在的所有像素值执行同样的操作。
所述边缘特征提取包括：
将原始敏感图片转化为灰度图片，读取灰度图片中的像素信息；
采用伽马校正法对所述灰度图片的像素信息进行归一化；
将伽马校正后的灰度图片像素分割成若干个像素单元；
采用Prewitt算子对校正后的像素块进行扫描，捕获灰度梯度变化较大的像素轮廓信息；
计算轮廓附近的HOG特征向量。
所述SIFT特征提取包括：
生成敏感图片的尺度空间；
检查所述尺度空间中极值点；
指定每个极值点的方向参数；
提取所有极值点的方向参数信息，得到敏感图片最终的SIFT特征参数。
将所述图片中疑似敏感特征的图片区域输入所述图片分类模型20判断所述图片是否合规。
视频摘要模型50，其中，所述视频摘要模型50包括依次连接的时间解码器、感知器和Transformer模块；
基于所述时间解码器对视频消息信息集合Y的视频进行时序化处理；
基于两层感知器生成相应的分割序列；
通过Transformer模块对每个分割序列进行向量化解析，得到每个分割序列的序列特征集合R，计算所述序列特征集合R中两两序列特征间的容差率，基于所述容差率得到容差率最大的分割序列集合；
从所述分割序列集合每个分割序列中随机抽取n张图片，形成所述待识别视频的视频抽样图片集合y’。
语音转文本模型40，通过所述语音转文本模型40将所述视频消息信息集合Y转换为视频文本集合y；
敏感词变体识别模型60，将所述文本消息信息集合X中的文本消息依次输入所述敏感词变体识别模型60得到敏感词变体文本集X'，基于所述敏感词变体文本集X'判断敏感词变体文本集X'的文本是否合规；
当所述文本消息信息集合X中的所有文本消息全部合规，且所述图片深度特征集合z中的图片全部合规时，判定所述5G富媒体消息可以正常发送。
图6为本发明实施例提供的电子设备实体结构示意图，如图6所示，电子设备70包括：处理器701(processor)、存储器702(memory)和总线703；
其中，处理器701、存储器702通过总线703完成相互间的通信；
处理器701用于调用存储器702中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：获取5G富媒体消息中的图片消息和视频抽样图片集合y’，基于所述图片消息和视频抽样图片集合y’，构建图片消息信息集合Z；构建图片分类模型20，将所述图片消息信息集合Z中的图片依次输入所述图片分类模型20判断所述图片是否合规；构建图片特征提取模型30，基于所述图片特征提取模型30对所述图片消息信息集合Z中的敏感图片进行纹理特征提取、边缘特征提取以及SIFT特征提取得到三种不同特征提取集合，将三种不同特征提取集合进行融合得到图片中疑似敏感特征的图片区域；其中，所述特征提取包括纹理特征提取、边缘特征提取以及SIFT特征提取；将所述图片中疑似敏感特征的图片区域输入所述图片分类模型20判断所述图片是否合规。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各实施例或者实施例的某些部分的方法。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (10)
1.一种5G富媒体信息的图片审查方法，其特征在于，所述方法具体包括：
获取5G富媒体消息中的图片消息和视频抽样图片集合y’，基于所述图片消息和视频抽样图片集合y’构建图片消息信息集合Z；
构建图片分类模型，将所述图片消息信息集合Z中的图片依次输入所述图片分类模型判断所述图片是否合规；
构建图片特征提取模型，基于所述图片特征提取模型对所述图片消息信息集合Z中的敏感图片进行纹理特征提取、边缘特征提取以及SIFT特征提取得到三种不同特征提取集合，将三种不同特征提取集合中的特征进行融合，并识别融合后图片中疑似敏感特征的图片区域；其中，所述特征提取包括纹理特征提取、边缘特征提取以及SIFT特征提取；
将所述图片中疑似敏感特征的图片区域输入所述图片分类模型判断所述图片是否合规；
当图片或图片中疑似敏感特征的图片区域判定为不合规，所述图片判定为不合规，当图片或图片中疑似敏感特征的图片区域判定为合规，所述图片判定为合规。
2.根据权利要求1所述5G富媒体信息的图片审查方法，其特征在于，所述获取5G富媒体消息中的图片消息和视频抽样图片集合y’，基于所述图片消息和视频抽样图片集合y’构建图片消息信息集合Z，包括：
获取5G富媒体消息中的视频消息信息集合Y；
构建视频摘要模型，其中，视频摘要模型50包括依次连接的时间解码器、感知器和Transformer模块；
基于时间解码器对视频消息信息集合Y中的视频进行时序化处理；
基于两层感知器生成相应的分割序列；
通过Transformer模块对每个分割序列进行向量化解析，得到每个分割序列的序列特征集合R，计算序列特征集合R中两两序列特征间的容差率，基于容差率得到容差率最大的分割序列集合；
从分割序列集合每个分割序列中随机抽取n张图片，形成待识别视频的视频抽样图片集合y’；
将视频消息信息集合Y输入所述视频摘要模型得到对应的视频抽样图片集合y’。
3.根据权利要求1所述5G富媒体信息的图片审查方法，其特征在于，所述图片分类模型包括依次连接的CNN卷积层、LSTM网络和注意力机制；
基于所述CNN卷积层提取所述图片消息信息集合Z的特征向量；
基于所述LSTM网络识别所述特征向量；
所述注意力机制基于所述特征向量设置不同区域的权重，使所述图片分类模型在分类过程中关注于不同区域的特征信息。
4.根据权利要求1所述5G富媒体信息的图片审查方法，其特征在于，所述纹理特征提取包括：
在所述敏感图片的居中位置，任意选取一个像素值作为中心像素；
使用矩阵对所述中心像素周围的邻域像素进行收集；
当邻域的像素值大于或等于中心像素值时，将邻域像素值设置为1，否则将邻域像素值设置为0；
设置结束后，从邻域的顺时针或逆时针收集所有阈值，得到一个二进制代码，并将所述二进制代码转换为十进制数；
用计算结果的十进制数替换掉中心像素值，并对所述敏感图片中存在的所有像素值执行同样的操作。
5.根据权利要求4所述5G富媒体信息的图片审查方法，其特征在于，所述边缘特征提取包括：
将原始敏感图片转化为灰度图片，读取灰度图片中的像素信息；
采用伽马校正法对所述灰度图片的像素信息进行归一化；
将伽马校正后的灰度图片像素分割成若干个像素单元；
采用Prewitt算子对校正后的像素块进行扫描，捕获灰度梯度变化大的像素轮廓信息；
计算轮廓附近的HOG特征向量。
6.根据权利要求5所述5G富媒体信息的图片审查方法，其特征在于，所述SIFT特征提取包括：
生成敏感图片的尺度空间；
检查所述尺度空间中极值点；
指定每个极值点的方向参数；
提取所有极值点的方向参数信息，得到敏感图片最终的SIFT特征参数。
7.根据权利要求1所述5G富媒体信息的图片审查方法，其特征在于，所述将三种不同特征提取集合进行融合得到图片中疑似敏感特征的图片区域，包括：
将提取到的三种不同特征提取集合进行统一的初始向量化表示，得到初始融合向量集合；
基于深度残差网络对初始融合向量集合进行特征融合，其中，所述深度残差网络包括依次相连的CNN网络、Transition、RNN网络和残差网络单元映射；
通过CNN网络从初始融合向量集合中提取隐含层信息；
经过RNN网络得到图片序列特征集合；
通过残差网络单元映射感受输出特征之间的微小波动，在无监督条件下得到序列图片的多层特征融合集合。
8.根据权利要求7所述5G富媒体信息的图片审查方法，其特征在于，所述将三种不同特征提取集合进行融合得到图片中疑似敏感特征的图片区域，还包括：
构建敏感特征区域提取模型，其中，所述敏感特征区域提取模型包括依次相连的CBL层、Res Block层、两个SDN4网络和CBL网络；
在获得序列图片的多层特征融合集合后，通过CBL层进行向量卷积得到卷积向量；
通过2层的Res Block对所述卷积向量进行串联和跳跃连接，其中，每层Res Block由两个CBL层串联；
将串联后的所述卷积向量分别送入两个SDN4网络，通过CBL和Concat形成密集连接，从而对所述卷积向量进行围堵叠加，保留更多的特征，提高敏感特征区域提取模型的整体表达能力，所述SDN4网络在处理完毕后将采用上采样方法，扩大Concat输出集合的特征向量；
通过5层CBL网络对特征图组合进行拼接，最终得到不同类型特征向量集合，不同的所述特征向量集合就是图片中疑似敏感特征的图片区域；
将所述图片中疑似敏感特征的图片区域输入基于所述图片分类模型判断所述图片是否合规。
9.一种5G富媒体信息的图片审查系统，其特征在于，包括：
获取模块，用于获取5G富媒体消息中的图片消息和视频抽样图片集合y’，基于所述图片消息和视频抽样图片集合y’构建图片消息信息集合Z；
图片分类模型，用于将所述图片消息信息集合Z中的图片依次输入所述图片分类模型判断所述图片是否合规；
图片特征提取模型，用于基于所述图片特征提取模型对所述图片消息信息集合Z中的敏感图片进行纹理特征提取、边缘特征提取以及SIFT特征提取得到三种不同特征提取集合，将三种不同特征提取集合中的特征进行融合，并识别融合后图片中疑似敏感特征的图片区域；其中，所述特征提取包括纹理特征提取、边缘特征提取以及SIFT特征提取；
将所述图片中疑似敏感特征的图片区域输入所述图片分类模型判断所述图片是否合规；
当图片或图片中疑似敏感特征的图片区域判定为不合规，所述图片判定为不合规，当图片或图片中疑似敏感特征的图片区域判定为合规，所述图片判定为合规。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8中的任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310437410.1A CN116206227B (zh) | 2023-04-23 | 2023-04-23 | 5g富媒体信息的图片审查系统、方法、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310437410.1A CN116206227B (zh) | 2023-04-23 | 2023-04-23 | 5g富媒体信息的图片审查系统、方法、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116206227A CN116206227A (zh) | 2023-06-02 |
| CN116206227B true CN116206227B (zh) | 2023-07-25 |
Family
ID=86511428
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310437410.1A Active CN116206227B (zh) | 2023-04-23 | 2023-04-23 | 5g富媒体信息的图片审查系统、方法、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116206227B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116456289B (zh) * | 2023-06-13 | 2023-08-15 | 安徽创瑞信息技术有限公司 | 一种富媒体信息处理方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106610969A (zh) * | 2015-10-21 | 2017-05-03 | 上海文广互动电视有限公司 | 基于多模态信息的视频内容审查系统及方法 |
| CN114049578A (zh) * | 2021-11-10 | 2022-02-15 | 郑州阿帕斯数云信息科技有限公司 | 一种敏感图片的识别方法和装置 |
| CN114745681A (zh) * | 2022-03-09 | 2022-07-12 | 深圳市梦网科技发展有限公司 | 富媒体信息展示方法、设备及计算机存储介质 |
| CN114881698A (zh) * | 2022-05-17 | 2022-08-09 | 平安科技（深圳）有限公司 | 广告合规审核方法、装置、电子设备及存储介质 |
| CN115618298A (zh) * | 2022-09-27 | 2023-01-17 | 珠海高凌信息科技股份有限公司 | 基于多模态模型5g有害消息分析方法、装置和存储介质 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150135206A1 (en) * | 2002-05-10 | 2015-05-14 | Convergent Media Solutions Llc | Method and apparatus for browsing using alternative linkbases |
| US20070124319A1 (en) * | 2005-11-28 | 2007-05-31 | Microsoft Corporation | Metadata generation for rich media |
| WO2009045218A1 (en) * | 2007-10-04 | 2009-04-09 | Donovan John J | A video surveillance, storage, and alerting system having network management, hierarchical data storage, video tip processing, and vehicle plate analysis |
| WO2012116236A2 (en) * | 2011-02-23 | 2012-08-30 | Nova Spivack | System and method for analyzing messages in a network or across networks |
| CN103065223A (zh) * | 2012-12-28 | 2013-04-24 | 新奥特（北京）视频技术有限公司 | 一种富媒体数据内容制作的方法和装置 |
| CN103605991A (zh) * | 2013-10-28 | 2014-02-26 | 复旦大学 | 一种视频广告的自动检测方法 |
| CN106686404B (zh) * | 2016-12-16 | 2021-02-02 | 中兴通讯股份有限公司 | 一种视频分析平台、匹配方法、精准投放广告方法及系统 |
| US11140446B2 (en) * | 2019-05-15 | 2021-10-05 | Warner Bros. Entertainment Inc. | Sensitivity assessment for media production using artificial intelligence |
| US11623639B2 (en) * | 2020-07-15 | 2023-04-11 | Charter Communications Operating, Llc | Video analytics traffic monitoring and control |
| CN113963256A (zh) * | 2021-09-18 | 2022-01-21 | 北京数慧时空信息技术有限公司 | 不同建设用途建构筑物的识别方法 |
| CN114169006A (zh) * | 2021-12-10 | 2022-03-11 | 建信金融科技有限责任公司 | 隐私合规检测模型的训练方法、隐私合规检测方法及装置 |
| CN114245323B (zh) * | 2021-12-15 | 2023-03-28 | 平安科技（深圳）有限公司 | 消息处理方法及其装置、计算机设备、存储介质 |
| CN114399670A (zh) * | 2022-01-13 | 2022-04-26 | 中电福富信息科技有限公司 | 一种5g消息中图片内文字实时提取的管控方法 |
| CN114793287B (zh) * | 2022-06-22 | 2022-09-27 | 中国传媒大学 | 一种基于双路导播的音视频内容监播方法 |
-
2023
- 2023-04-23 CN CN202310437410.1A patent/CN116206227B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106610969A (zh) * | 2015-10-21 | 2017-05-03 | 上海文广互动电视有限公司 | 基于多模态信息的视频内容审查系统及方法 |
| CN114049578A (zh) * | 2021-11-10 | 2022-02-15 | 郑州阿帕斯数云信息科技有限公司 | 一种敏感图片的识别方法和装置 |
| CN114745681A (zh) * | 2022-03-09 | 2022-07-12 | 深圳市梦网科技发展有限公司 | 富媒体信息展示方法、设备及计算机存储介质 |
| CN114881698A (zh) * | 2022-05-17 | 2022-08-09 | 平安科技（深圳）有限公司 | 广告合规审核方法、装置、电子设备及存储介质 |
| CN115618298A (zh) * | 2022-09-27 | 2023-01-17 | 珠海高凌信息科技股份有限公司 | 基于多模态模型5g有害消息分析方法、装置和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Fast curvelet transform through genetic algorithm for multimodal medical image fusion;Muhammad Arif, et.al;《Methodologies and application》;第24卷;第1815-1836页 * |
| Politeness in security directives: insights in browser compliance for the human element;D House, et.al;《Computers and security》;第99卷;第1-13页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116206227A (zh) | 2023-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112990432B (zh) | 目标识别模型训练方法、装置及电子设备 | |
| Song et al. | Hyperspectral image classification with deep feature fusion network | |
| CN109345538B (zh) | 一种基于卷积神经网络的视网膜血管分割方法 | |
| CN110110624B (zh) | 一种基于DenseNet网络与帧差法特征输入的人体行为识别方法 | |
| CN112150493B (zh) | 一种基于语义指导的自然场景下屏幕区域检测方法 | |
| CN112446476A (zh) | 神经网络模型压缩的方法、装置、存储介质和芯片 | |
| CN111539343B (zh) | 一种基于卷积注意力网络的黑烟车检测方法 | |
| CN111738054B (zh) | 一种基于时空自编码器网络和时空cnn的行为异常检测方法 | |
| CN114187311A (zh) | 一种图像语义分割方法、装置、设备及存储介质 | |
| CN113011357A (zh) | 基于时空融合的深度伪造人脸视频定位方法 | |
| CN111783841A (zh) | 基于迁移学习和模型融合的垃圾分类方法、系统及介质 | |
| US11809519B2 (en) | Semantic input sampling for explanation (SISE) of convolutional neural networks | |
| CN111986125A (zh) | 一种用于多目标任务实例分割的方法 | |
| CN116910752B (zh) | 一种基于大数据的恶意代码检测方法 | |
| CN116206227B (zh) | 5g富媒体信息的图片审查系统、方法、电子设备及介质 | |
| CN114549913A (zh) | 一种语义分割方法、装置、计算机设备和存储介质 | |
| CN114821022A (zh) | 融合主观逻辑和不确定性分布建模的可信目标检测方法 | |
| CN113936235A (zh) | 一种基于质量评估的视频显著性目标检测方法 | |
| CN114898269A (zh) | 基于眼部特征和人脸特点实现深度伪造融合检测的系统、方法、装置、处理器及其存储介质 | |
| CN114926725A (zh) | 一种基于图像分析的线上金融团伙欺诈识别方法 | |
| CN117351550A (zh) | 基于有监督对比学习的网格自注意力人脸表情识别方法 | |
| CN114841974A (zh) | 一种水果内部结构无损检测方法、系统、电子设备及介质 | |
| CN114663391A (zh) | 一种基于无监督深度学习算法的工业图像缺陷检测方法 | |
| CN112560824B (zh) | 一种基于多特征自适应融合的人脸表情识别方法 | |
| CN111582057B (zh) | 一种基于局部感受野的人脸验证方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Image review system, methods, electronic devices, and media for 5G rich media information Effective date of registration: 20231226 Granted publication date: 20230725 Pledgee: China Construction Bank Corporation Shanghai Zhangjiang Branch Pledgor: SHANGHAI ZHIXUN INFORMATION TECHNOLOGY CO.,LTD. Registration number: Y2023980074424 |