CN110765285A - 基于视觉特征的多媒体信息内容管控方法及系统 - Google Patents

基于视觉特征的多媒体信息内容管控方法及系统 Download PDF

Info

Publication number
CN110765285A
CN110765285A CN201911009398.4A CN201911009398A CN110765285A CN 110765285 A CN110765285 A CN 110765285A CN 201911009398 A CN201911009398 A CN 201911009398A CN 110765285 A CN110765285 A CN 110765285A
Authority
CN
China
Prior art keywords
multimedia information
content
feature
information
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911009398.4A
Other languages
English (en)
Inventor
赵捍东
丁芳桂
郑创伟
邵晓东
谢志成
何亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Creative Smart Port Technology Co Ltd
Shenzhen Newspaper Group E Commerce Co Ltd
SHENZHEN PRESS GROUP
Original Assignee
Shenzhen Creative Smart Port Technology Co Ltd
Shenzhen Newspaper Group E Commerce Co Ltd
SHENZHEN PRESS GROUP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Creative Smart Port Technology Co Ltd, Shenzhen Newspaper Group E Commerce Co Ltd, SHENZHEN PRESS GROUP filed Critical Shenzhen Creative Smart Port Technology Co Ltd
Priority to CN201911009398.4A priority Critical patent/CN110765285A/zh
Publication of CN110765285A publication Critical patent/CN110765285A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/45—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种基于视觉特征的多媒体信息内容管控方法及系统，所述基于视觉特征的多媒体信息内容管控方法包括步骤：获取具备视觉特征的多媒体信息，根据所述多媒体信息进行人体特征识别和/或语义特征识别，以得到特征内容，根据所述特征内容进行AI人工智能识别，以得到用于表示实际状况的舆情场景，根据所述舆情场景调用相匹配的管控策略，以管控所述多媒体信息的传播方式。通过上述方式，本申请能够通过人体特征识别技术活语义特征识别技术对多媒体信息进行识别，并根据舆情场景进行智能管控，能够实现多媒体内容大数据智能搜索和管控，利于产业化整合升级，发挥产业的最大价值。

Description

基于视觉特征的多媒体信息内容管控方法及系统
技术领域
本申请涉及信息处理技术领域，具体涉及一种基于视觉特征的多媒体信息内容管控方法，一种应用所述基于视觉特征的多媒体信息内容管控方法的系统。
背景技术
在当今信息化、网络化、开放化的时代背景下，媒体对提升文化软实力的影响越来越重要。一个国家的文化的影响力、凝聚力很大程度上依赖于媒体的传播力。无论是传统媒体还是新媒体，所传播的信息包含了人们日常生活的方方面面，涉及到社会的每一个角落，在丰富人们精神文化生活的同时潜移默化地引领着人们的价值观、人生观、世界观的走向，在一定程度上影响着人们的行为。随着商界充分挖掘大数据潜藏的巨大价值，传统媒体、网络媒体、社交媒体等也逐渐意识到大数据可能带来的巨大变革，开始摸索着向大数据时代前进。
但是，如何实现对图文、视频等多媒体信息的搜索、管控，如何把握国家和地方大力推进文化产业发展的重大产业政策的契机，抢占行业科技制高点，如何实现产业的升级，提升竞争力，实现产业化应用，推进媒体行业的转型升级、文创行业内容汇聚以及挖掘内容的价值，是本领域技术人员亟需解决的一大难题。
发明内容
本申请的目的在于，提供一种基于视觉特征的多媒体信息内容管控方法及系统，能够通过人体特征识别技术活语义特征识别技术对多媒体信息进行识别，并根据舆情场景进行智能管控，能够实现多媒体内容大数据智能搜索和管控，利于产业化整合升级，发挥产业的最大价值。
为解决上述技术问题，本申请提供一种基于视觉特征的多媒体信息内容管控方法，作为其中一种实施方式，所述基于视觉特征的多媒体信息内容管控方法包括步骤：
获取具备视觉特征的多媒体信息；
根据所述多媒体信息进行人体特征识别和/或语义特征识别，以得到特征内容；
根据所述特征内容进行AI人工智能识别，以得到用于表示实际状况的舆情场景；
根据所述舆情场景调用相匹配的管控策略，以管控所述多媒体信息的传播方式。
作为其中一种实施方式，所述根据所述多媒体信息进行人体特征识别和/或语义特征识别，以得到特征内容的步骤，具体包括：
根据所述多媒体信息进行包括肤色检测、人脸检测、性别判定的人体特征识别，以得到用于进行互联网图文内容监测的所述特征内容。
作为其中一种实施方式，所述根据所述多媒体信息进行包括肤色检测、人脸检测、性别判定的人体特征识别的步骤中，采用PCA主成分分析法、LBP局部二值模式学习法和/或Gabor小波特征方法进行人脸检测。
作为其中一种实施方式，所述根据所述多媒体信息进行人体特征识别和/或语义特征识别，以得到特征内容的步骤，具体包括：
根据所述多媒体信息进行包括互联网话题分析的语义特征识别，以得到用于表示互联网话题的所述特征内容。
作为其中一种实施方式，所述根据所述多媒体信息进行包括互联网话题分析的语义特征识别的步骤，具体包括：
采取结合互信息、χ2统计法、信息增益和术语强度的算法进行特征选择，通过词汇语义相似度计算提高特征的代表性并实现有效降维，采用SVM算法libsvm进行文本主题分类，采用文本聚类技术进行互联网话题检测与跟踪，采取向量空间模型对文本和话题模型进行向量表示，采取在线话题检测与跟踪技术实时监测商业话题信息，采取XMeans、OPTICS、NCut的聚类算法对互联网话题进行离线规整；
利用χ2统计法统计词性与不同类别事件的相关度，使用机器学习方法优化权重参数空间，基于词元特点对tf-idf模型进行改进以提高整体性能，利用文本命名实体识别工具ICTCLAS从话题中提取包括人名、地名、机构名、时间表达、地点表达的命名实体，为事件信息抽取提供候选内容，通过全文分析和多文档概率分析相结合实现命名实体与事件的关联；采取基于统计术语提取方法进行事件关键词提取；基于Co-Clustering的多文档文摘方法提取话题文摘和话题关键词，通过多轮递增学习获得全局最优的提取结果；
采用基于内涵向量空间模型c-VSM内涵单元表示内涵词、否定词和修饰词所形成的内涵有机整体，并以内涵单元的统计量作为特征的文本表示方法，使用包括贝叶斯、神经网络机器学习算法对网络内涵进行类别分析；
采用互联网话题影响分析工具或机器学习方法分析特定话题言论对互联网环境的影响。
作为其中一种实施方式，所述根据所述多媒体信息进行人体特征识别和/或语义特征识别，以得到特征内容的步骤，还包括：
从互联网包括图文信息的多媒体信息中抽取时间戳信息；
查找与目标互联网图文信息的重复图文信息；
创建话题溯源树的根节点；
构建特定类簇的词汇表；
计算两图文信息的内容相似度；
对当前层类簇进行基于相似性的划分；
创建更深一层次的话题树节点；
创建话题树的叶子节点；
对目标的图文信息进行构建话题溯源路径。
作为其中一种实施方式，所述根据所述多媒体信息进行人体特征识别和/或语义特征识别，以得到特征内容的步骤，还包括：
根据所述多媒体信息进行包括视频中人脸检索、视频中场景分析、视频中舆情分析的人体特征识别和/或语义特征识别，以得到用于进行视频视觉特征内容搜索或监测的所述特征内容。
作为其中一种实施方式，所述根据所述多媒体信息进行包括视频中人脸检索、视频中场景分析、视频中舆情分析的人体特征识别和/或语义特征识别的步骤，具体包括：
所述视频中人脸检索，采用包括人脸图像采集及检测、人脸图像预处理、人脸图像特征提取和/或人脸图像匹配与识别技术进行人体特征识别；
所述视频中场景分析，采用包括从非结构性的视频数据中提取语义信息，通过基于感知流形空间的场景建模方法进行建模，仿造人类视觉生理过程对高维视觉数据降维并分类，以通过视频解码转码、镜头分割、关键帧提取和场景分类进行场景分析处理；
所述视频中舆情分析，采用包括改进型的基于深度残差网络结构的深度学习网络结构、并采用迁移学习的策略进行训练和微调，以及利用训练好的舆情分析网络对每一帧图像信息进行识别判断、将判断的结果存储在一对应的数组中、结合视频中的序列信息对判断的结果进行综合的分析、并通过投票的方式来判断视频的等级。
作为其中一种实施方式，所述采用包括人脸图像采集及检测、人脸图像预处理、人脸图像特征提取和/或人脸图像匹配与识别技术进行人体特征识别的步骤，具体包括：
采用Adaboost学习算法挑选出代表人脸的矩形特征、按照加权投票的方式将弱分类器构造为一个强分类器、将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，以进行所述人脸图像采集及检测；
采用包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波和/或锐化的过程，以进行所述人脸图像预处理；
采用基于知识的表征方法根据人脸器官的形状描述以及各部分之间的距离特性来获得进行人脸分类的特征数据、所述特征数据的特征分量包括特征点间的欧氏距离、曲率和角度，以进行所述人脸图像特征提取；
采用将待识别的人脸特征与已得到的人脸特征模板进行比较，根据两者之间的相似程度对人脸的身份信息进行判断，以进行所述人脸图像匹配与识别技术。
为解决上述技术问题，本申请还提供一种基于视觉特征的多媒体信息内容管控系统，作为其中一种实施方式，其配置有处理器，所述处理器用于执行程序数据，以实现如上所述的基于视觉特征的多媒体信息内容管控方法。
本申请提供的基于视觉特征的多媒体信息内容管控方法及系统，所述基于视觉特征的多媒体信息内容管控方法包括步骤：获取具备视觉特征的多媒体信息，根据所述多媒体信息进行人体特征识别和/或语义特征识别，以得到特征内容，根据所述特征内容进行AI人工智能识别，以得到用于表示实际状况的舆情场景，根据所述舆情场景调用相匹配的管控策略，以管控所述多媒体信息的传播方式。通过上述方式，本申请能够通过人体特征识别技术活语义特征识别技术对多媒体信息进行识别，并根据舆情场景进行智能管控，能够实现多媒体内容大数据智能搜索和管控，利于产业化整合升级，发挥产业的最大价值。
进一步而言，媒体信息服务是文化创意产业的一类，与文化创意产业的创意设计、新媒体及文化信息服务、数字出版联系紧密，由媒体单位来主导建设媒体视觉搜索技术工程实验室提升项目，将通过应用先进的视觉搜索技术、大数据分析技术整合集团内外媒体资源，开展智慧媒体服务。符合国家省市相关政策，既有利于发挥媒体的整合能力和服务能力，又有利于媒体和文化创意产业融合发展，加快媒体占领信息传播制高点。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。
附图说明
图1为本申请基于视觉特征的多媒体信息内容管控方法一实施方式的流程示意图。
图2为本申请基于视觉特征的多媒体信息内容管控系统一实施方式的结构示意图。
具体实施方式
为更进一步阐述本申请为达成预定申请目的所采取的技术手段及功效,以下结合附图及较佳实施例，对本申请详细说明如下。
通过具体实施方式的说明,当可对本申请为达成预定目的所采取的技术手段及效果得以更加深入且具体的了解，然而所附图式仅是提供参考与说明之用,并非用来对本申请加以限制。
请参阅图1，图1为本申请基于视觉特征的多媒体信息内容管控方法一实施方式的流程示意图。
需要说明的是，本实施方式所述基于视觉特征的多媒体信息内容管控方法可以包括但不限于如下几个步骤。
步骤S101，获取具备视觉特征的多媒体信息；
步骤S102，根据所述多媒体信息进行人体特征识别和/或语义特征识别，以得到特征内容；
步骤S103，根据所述特征内容进行AI人工智能识别，以得到用于表示实际状况的舆情场景；
步骤S104，根据所述舆情场景调用相匹配的管控策略，以管控前述多媒体信息的传播方式。
不难理解的是，通过本实施方式，本申请可以实现对图文信息传播链的完整跟踪和解析，通过网络不良图片监测技术、互联网话题分析技术、互联网话题溯源技术、社会网络分析技术，有效监控互联网舆情状况，提升主流媒体在互联网思想文化阵地的地位和作用。
具体而言，本实施方式所述根据所述多媒体信息进行人体特征识别和/或语义特征识别，以得到特征内容的步骤，具体可以包括：根据所述多媒体信息进行包括肤色检测、人脸检测、性别判定的人体特征识别，以得到用于进行互联网图文内容监测的所述特征内容。
在本实施方式中，所述根据所述多媒体信息进行包括肤色检测、人脸检测、性别判定的人体特征识别的步骤中，采用PCA(Principal Component Analysis，PCA)主成分分析法、LBP(Local Binary Pattern，LBP)局部二值模式学习法和/或Gabor小波特征方法进行人脸检测。
值得一提的是，本实施方式所述根据所述多媒体信息进行人体特征识别和/或语义特征识别，以得到特征内容的步骤，具体包括：根据所述多媒体信息进行包括互联网话题分析的语义特征识别，以得到用于表示互联网话题的所述特征内容。
举例而言，本实施方式所述根据所述多媒体信息进行包括互联网话题分析的语义特征识别的步骤，具体包括可以采用如下方式：
方式一，采取结合互信息、χ2统计法、信息增益和术语强度的算法进行特征选择，通过词汇语义相似度计算提高特征的代表性并实现有效降维，采用SVM算法libsvm进行文本主题分类，采用文本聚类技术进行互联网话题检测与跟踪，采取向量空间模型对文本和话题模型进行向量表示，采取在线话题检测与跟踪技术实时监测商业话题信息，采取XMeans、OPTICS、NCut的聚类算法对互联网话题进行离线规整；
方式二，利用χ2统计法统计词性与不同类别事件的相关度，使用机器学习方法优化权重参数空间，基于词元特点对tf-idf模型进行改进以提高整体性能，利用文本命名实体识别工具ICTCLAS从话题中提取包括人名、地名、机构名、时间表达、地点表达的命名实体，为事件信息抽取提供候选内容，通过全文分析和多文档概率分析相结合实现命名实体与事件的关联；采取基于统计术语提取方法进行事件关键词提取；基于Co-Clustering的多文档文摘方法提取话题文摘和话题关键词，通过多轮递增学习获得全局最优的提取结果；
方式三，采用基于内涵向量空间模型c-VSM内涵单元表示内涵词、否定词和修饰词所形成的内涵有机整体，并以内涵单元的统计量作为特征的文本表示方法，使用包括贝叶斯、神经网络机器学习算法对网络内涵进行类别分析；
方式四，采用互联网话题影响分析工具或机器学习方法分析特定话题言论对互联网环境的影响。
具体而言，本实施方式所述根据所述多媒体信息进行人体特征识别和/或语义特征识别，以得到特征内容的步骤，还可以包括如下过程：
过程1，从互联网包括图文信息的多媒体信息中抽取时间戳信息；
过程2，查找与目标互联网图文信息的重复图文信息；
过程3，创建话题溯源树的根节点；
过程4，构建特定类簇的词汇表；
过程5，计算两图文信息的内容相似度；
过程6，对当前层类簇进行基于相似性的划分；
过程7，创建更深一层次的话题树节点；
过程8，创建话题树的叶子节点；
过程9，对目标的图文信息进行构建话题溯源路径。
此外，针对其他比如视频的多媒体信息，本实施方式所述根据所述多媒体信息进行人体特征识别和/或语义特征识别，以得到特征内容的步骤，还包括：根据所述多媒体信息进行包括视频中人脸检索、视频中场景分析、视频中舆情分析的人体特征识别和/或语义特征识别，以得到用于进行视频视觉特征内容搜索或监测的所述特征内容。
举例而言，本实施方式所述根据所述多媒体信息进行包括视频中人脸检索、视频中场景分析、视频中舆情分析的人体特征识别和/或语义特征识别的步骤，具体可以包括如下：
其中，所述视频中人脸检索，采用包括人脸图像采集及检测、人脸图像预处理、人脸图像特征提取和/或人脸图像匹配与识别技术进行人体特征识别；
其中，所述视频中场景分析，采用包括从非结构性的视频数据中提取语义信息，通过基于感知流形空间的场景建模方法进行建模，仿造人类视觉生理过程对高维视觉数据降维并分类，以通过视频解码转码、镜头分割、关键帧提取和场景分类进行场景分析处理；
其中，所述视频中舆情分析，采用包括改进型的基于深度残差网络结构的深度学习网络结构、并采用迁移学习的策略进行训练和微调，以及利用训练好的舆情分析网络对每一帧图像信息进行识别判断、将判断的结果存储在一对应的数组中、结合视频中的序列信息对判断的结果进行综合的分析、并通过投票的方式来判断视频的等级。
具体而言，本实施方式所述采用包括人脸图像采集及检测、人脸图像预处理、人脸图像特征提取和/或人脸图像匹配与识别技术进行人体特征识别的步骤，具体可以包括：
第一，采用Adaboost学习算法挑选出代表人脸的矩形特征、按照加权投票的方式将弱分类器构造为一个强分类器、将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，以进行所述人脸图像采集及检测；
第二，采用包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波和/或锐化的过程，以进行所述人脸图像预处理；
第三，采用基于知识的表征方法根据人脸器官的形状描述以及各部分之间的距离特性来获得进行人脸分类的特征数据、所述特征数据的特征分量包括特征点间的欧氏距离、曲率和角度，以进行所述人脸图像特征提取；
第四，采用将待识别的人脸特征与已得到的人脸特征模板进行比较，根据两者之间的相似程度对人脸的身份信息进行判断，以进行所述人脸图像匹配与识别技术。
本申请提供的基于视觉特征的多媒体信息内容管控方法及系统，所述基于视觉特征的多媒体信息内容管控方法包括步骤：获取具备视觉特征的多媒体信息，根据所述多媒体信息进行人体特征识别和/或语义特征识别，以得到特征内容，根据所述特征内容进行AI人工智能识别，以得到用于表示实际状况的舆情场景，根据所述舆情场景调用相匹配的管控策略，以管控所述多媒体信息的传播方式。通过上述方式，本申请能够通过人体特征识别技术活语义特征识别技术对多媒体信息进行识别，并根据舆情场景进行智能管控，能够实现多媒体内容大数据智能搜索和管控，利于产业化整合升级，发挥产业的最大价值。
请参阅图2，本申请还提供一种基于视觉特征的多媒体信息内容管控系统，作为其中一种实施方式，其配置有处理器21，所述处理器21用于执行程序数据，以实现图1及其实施方式所述的基于视觉特征的多媒体信息内容管控方法。
具体而言，本实施方式可以通过下述实施例实现。
本实施方式基于视觉特征的多媒体信息内容管控系统可以实现对图文信息传播链的完整跟踪和解析，通过网络不良图片监测技术、互联网话题分析技术、互联网话题溯源技术、社会网络分析技术，有效监控互联网舆情状况，提升主流媒体在互联网思想文化阵地的地位和作用。其中，具体包括如下所述。
1.网络不良图片监测技术：
所述处理器21可以采用两种不同的解决方式：一是采取网页封锁和关键词匹配的方式，一种方式是利用CBIF(Content-Based Image Filtering，CBIF)技术。而互联网是以一种动态形式存在的，因此第一种技术所面临的最大瓶颈就是IP地址和互联网内容之间的滞后性，而且会将网页中正面的信息一同封锁。因此，优先地本实施方式采用计算机视觉技术来分析网页中所嵌入的图片信息，以有效阻止不良图片信息的传播。在网络不良图片监控中，所需要的关键技术包括肤色监测、人脸检测和性别判定，具体如下。
(1)肤色检测：
基于内容的不良图片过滤可以被看做一种图像内容的理解和认知问题。由于图片背景的复杂性，所拍摄景物和姿态的多样性，很难用一种简单的模型表示出所有的特征。从计算机的角度分析和考虑图像，一张不良图像的最大特征就是其所包含的肤色区域，能否正确快速地检测出肤色，是进一步发展此类研究的关键所在。
(2)人脸检测：
人脸检测是生物特征识别研究中的一个特殊问题，成为了近年来该领域研究的热点问题，检测的目的在于在给定的图像数据中检测定位到人脸的区域，也能够为进一步的识别作为基础。人脸识别的有别于指纹，掌纹，虹膜识别模式，数据采集方式为未接触性采集，并且拥有更好的识别特性，使得人脸识别技术受到该领域的追捧，在不良图像的检测过滤机制中，人脸识别的作用已经越来越明显，得到了该领域内专家学者的重视，主要的原因存在于以下几个方面：第一，通过对不良图像进行的统计分析，绝大部分的不良图像包含人脸，因此，成为了不良图像的一个显著特征量。而在包含人脸的正常图像中，人脸区域在整个图像的区域占比较大，以此为依据，就能够高效地过滤掉一部分正常图像，为进一步的监测分析打下基础，减少了误判率。第二，人脸识别的技术随着该领域研究的发展，已经日臻成熟，如PCA，LBP，Gabor等方法，能够满足一定的人脸识别要求。本实施例将这些成熟的方法应用于过滤机制中，作用在于减少复杂背景为图像识别带来的困难和影响，可以减少类肤色区域的误判，给整个过滤系统带来的精度欠缺。
(3)性别判定：
据统计，大部分的不良图像内容为女性图像，因此这种特性为本申请的过滤机制提供了一种很好的依据。在人脸检测技术的基础上，本申请可以得到较为清晰，含有信息量较大的人脸图像，就能够为性别判定提供良好的基础。性别判定的根本是对图像进行特征量的提取，进而找到区别性别的特征量，然后把图像经分类决策机制进行分类，得到最终的判定结果。通过识别图像的性别，可以大大提高过滤算法的效率，并且减少误判。
2.互联网话题分析：
本实施例采用互联网话题分析技术主要包括以下：
第一，本申请在智能文本挖掘技术基础上，采用行业分析方法、互联网话题检测方法和互联网事件识别方法。本申请可以采取结合互信息、χ2、信息增益和术语强度等算法进行特征选择，通过词汇语义相似度计算提高特征的代表性并实现有效降维，采用SVM算法libsvm进行文本主题分类，并重点面向互联网领域进行互联网主题分析。互联网话题检测与跟踪可以采用文本聚类技术，采取向量空间模型对文本和话题模型进行向量表示，采取在线话题检测与跟踪技术实时监测商业话题信息，采取XMeans、OPTICS、NCut等聚类算法对互联网话题进行离线规整。
第二，本申请以自然语言理解技术研究细粒度话题信息抽取方法，实现更深、更高效的互联网话题信息抽取，包括话题关键词、摘要、关键人物、相关地点和机构等。事件识别在话题范围内进行，包括时间、地点、人物、机构和核心关键词等。本申请可以利用χ2统计法统计词性与不同类别事件的相关度，同时使用机器学习的方法优化权重参数空间，再基于词元特点对tf-idf模型进行改进来提高整体性能。本申请可以利用文本命名实体识别工具ICTCLAS从话题中提取所有命名实体，包括人名、地名、机构名、时间表达、地点表达，为事件信息抽取提供候选内容，再通过全文分析和多文档概率分析相结合实现命名实体与事件的关联。最后采取基于统计术语提取方法进行事件关键词提取。本申请采用基于Co-Clustering的多文档文摘方法，将话题文摘和话题关键词提取两个任务同时进行，在多轮递增学习后获得全局最优的提取结果。
第三，本申请提出一种话题中的互联网观点分析工具，识别观点极性，如赞成或反对，并提取与观点相关的观点持有人、观点对象等信息。本申请提出一种基于内涵的文本表示方法，即内涵向量空间模型(c-VSM)，以内涵单元表示内涵词、否定词和修饰词所形成的内涵有机整体，并以内涵单元的统计量作为特征。本申请使用现有机器学习算法，如支持向量机、贝叶斯、神经网络等，对网络内涵进行类别分析。本申请在立场分析和基本情绪分析中可以取得较好效果。
第四，本申请提出互联网话题影响分析工具，分析特定话题言论对互联网环境的影响，如正面或负面。言论观点极性是客观存在的，而言论影响则是一种对不确定后果的预测。二者预测的依据都是言论用词、语气和语态等，但用于判定极性和影响的词汇有所不同。因此，本申请可采取类似的机器学习处理策略实现言论影响分析，但须采取不同的词集特征。本申请提出人工编辑极性分析和影响分析两个词集，可以分别用于两个不同分析目的。
3.互联网话题溯源技术：
本申请互联网话题溯源技术主要包括：时间戳抽取模块，用于从互联网图文信息中抽取时间戳信息；重复互联网图文信息发现模块，用于发现某互联网图文信息的重复图文信息；根节点创建模块，用于创建话题溯源树的根节点；类簇词汇表构建模块，用于构建特定类簇的词汇表；图文信息相似度度量模块，用于计算两图文信息的内容相似度；文档划分模块，用于对当前层类簇进行基于相似性的划分；深层节点创建模块，用于创建更深一层次的话题树节点；叶子节点创建模块，用于创建话题树的叶子节点；话题溯源路径创建模块，用于特定图文信息的构建话题溯源路径。
4.社会网络分析技术：
社会网络发现与分析技术主要涉及两方面研发内容：
第一，本申请提出基于自然语言理解技术的实体抽取算法和社会关系识别算法，并提出基于图的社会网络表示模型。本申请提出基于规则和统计相结合的机构名称及其简称识别算法，提出字典驱动和数据驱动相结合的社会关系识别算法。
同时，为保证数据正确性，本申请提出数据清晰技术，本申请可以采用半监督学习的办法实现同一实体辨认，采用统计分析的方法实现错误数据纠正。
第二，本申请提出基于社会关系网络分析技术的分析工具，实现社会关系拓扑分析、连锁反应分析和决策跟踪。社会关系网络建成后，有助于形成若干非常有价值的舆情应用。其中最常用的是拓扑分析、连锁反应分析和决策跟踪。拓扑分析主要包括节点影响力分析、频繁小团体挖掘、团体演化分析等。连锁反应分析是系统根据社会关系网络分析的拓扑结构，分析社会关系网络各个节点的作用和影响，为决策者们提供上述问题的一些量化指标。决策跟踪是传播机理和动力学分析的一种，目的是发现传播机理和动力学规律，对于决策者来说有重要意义。根据传播机理和动力学规律，采取合适的行动方案，以使最小的代价获得最好的结果。在一些突发事件发生的时候，比如根据舆情分析系统所得到的当前正在发生的事件，可以及时为决策者提出预警信号，并提供合适的行动方案。本申请可以采用FP-树频集算法来获取社会关系网络中所包含的关联规则，也就是采用分而治之的策略，在经过第一遍扫描之后，把数据库中的频集压缩进一棵频繁模式树(FP-tree)，同时依然保留其中的关联信息，随后再将FP-tree分化成一些条件库，每个库和一个长度为1的频集相关，然后再对这些条件库分别进行挖掘。根据关联规则，在社会关系网络上画出传播机理。
本申请基于视觉特征的多媒体信息内容管控系统可以进行视频搜索和视频内容舆情监控可以包括如下。
本实施方式通过对视频中的内容进行分析，将目前视频库中的大量视频进行建模分析，并逐步对视频进行结构化的归档，可以提取和获得大量有价值的信息。
本实施方式对视频处理主要包括：视频的场景分析、视频中的人脸分析及视频中的不良信息监控。
一、视频中人脸检索：
其中，人脸检测以及人物的跟踪都属于模式识别和计算机视觉的研究领域，而人脸是每个人的易见身份信息。本申请通过对视频中的人脸进行跟踪和识别，并建立出基于视频的人脸数据库，可快速的根据人脸进行视频的检索及视频的回溯。
其中，人脸识别功能主要由：人脸图像采集及检测、人脸图像预处理、人脸图像特征提取以及匹配与识别四个部分组成，具体如下。
(1)人脸图像采集及检测：
本申请人脸图像采集：不同的人脸图像都能通过视频中帧图片采集获取，比如静态图像、动态图像、不同的位置、不同表情等方面都可以得到很好的采集。
本申请人脸检测：本申请人脸检测主要用于人脸识别的预处理，即在图像中准确标定出人脸的位置和大小。其中，人脸图像中包含的模式特征十分丰富，如直方图特征、颜色特征、模板特征、结构特征及Haar特征等。本申请人脸检测可以把这其中有用的信息挑出来，并利用这些特征实现人脸检测。
本申请提出基于以上特征采用Adaboost学习算法用来分类，可以把一些比较弱的分类方法合在一起，组合出新的很强的分类方法。
本申请人脸检测过程中使用Adaboost算法挑选出一些最能代表人脸的矩形特征(弱分类器)，按照加权投票的方式将弱分类器构造为一个强分类器，再将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，有效地提高分类器的检测速度。
本申请提出部分分类算法的具体过程包括如下：
A.初始化所有训练样例的权重为1/N,其中N是样例数；
B.for m＝1,……M:
a).训练弱分类器ym()，使其最小化权重误差函数(weighted error function)：
Figure BDA0002243735820000131
b)接下来计算该弱分类器的话语权αm如下：
Figure BDA0002243735820000132
c)更新权重如下：
其中，Zm是规范化因子，使所有w的和为1。
d)得到最后的分类器如下：
Figure BDA0002243735820000143
(2)人脸图像预处理：
本申请对于人脸的图像预处理是基于人脸检测结果，对图像进行处理并最终服务于特征提取的过程。处理器21获取的原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用，必须在图像处理的早期阶段对其进行灰度校正、噪声过滤等图像预处理。本申请对于人脸图像而言，其预处理过程主要可以包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。
(3)人脸图像特征提取：
本申请人脸识别系统可使用的特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等。本申请人脸特征提取可以针对人脸的某些特征进行。本申请人脸特征提取或称人脸表征，可以对人脸进行特征建模的过程。本申请的人脸特征提取的方法包括两大类：一种是基于知识的表征方法；另外一种是基于代数特征或统计学习的表征方法。
其中，本申请基于知识的表征方法主要是根据人脸器官的形状描述以及他们之间的距离特性来获得有助于人脸分类的特征数据，其特征分量通常包括特征点间的欧氏距离、曲率和角度等。其中，人脸由眼睛、鼻子、嘴、下巴等局部构成，对这些局部和它们之间结构关系的几何描述，可作为识别人脸的重要特征，这些特征被称为几何特征。基于知识的人脸表征主要包括基于几何特征的方法和模板匹配法。
(4)人脸图像匹配与识别：
本申请人脸图像匹配与识别可以将提取的人脸图像的特征数据与数据库中存储的特征模板进行搜索匹配，并通过设定一个阈值，当相似度超过这一阈值，则把匹配得到的结果输出。本申请人脸识别可以将待识别的人脸特征与已得到的人脸特征模板进行比较，然后根据相似程度对人脸的身份信息进行判断。本申请这一处理过程分为两类：一类是确认，是一对一进行图像比较的过程，另一类是辨认，是一对多进行图像匹配对比的过程。
二、视频中场景分析：
本申请视频场景分析可以从非结构性的视频数据中提取语义信息，而且“场景”和“事件”又是视频分析的重要组成部分。本申请通过对视频库中的视频进行分析，可以获取到视频的相关属性，比如是采访类视频、外拍场景视频、地震灾难视频或是体育类视频等。然后将视频按场景进行对应的标签化，以满足后续工作中的素材整理、归档、学习。
本申请分析算法建模方式可以选择基于感知流形空间的场景建模方法，仿造人类视觉生理过程对高维视觉数据降维并分类。其中，本申请涉及视频处理的流程有：视频解码转码，镜头分割，关键帧提取，场景分类。
其中，镜头分割流程主要可以对视频帧的图像底层处理过程，包括亮度、灰度或者色彩值，是计算两帧之间的每个对应的像素的灰度(亮度)的变化。相邻两帧对应点的灰度(亮度)差为：
fd(i，j)＝|fn+1(i，j)-fn(i，j)|
其中，fn(i,j)、fn+1(i,j)分别代表第n帧和第n+1帧像素(i,j)的灰度(亮度)，则相邻两帧之间的总帧差为：
Figure BDA0002243735820000151
其中，M、N为图像的尺寸。若总帧差大于某一设定阈值，则判断镜头内容发生变化。该方法原理简单、便于实现。
三、视频中舆情分析：
容易理解的是，视频是信息传递的重要载体，具有方便传播、易于接受等优点。这些优点在方便日常信息交流的同时，也给不法份子传递社会负能量带来了便利。现在有些不法份子利用视频来传递色情、暴力、邪教信息。这些非法视频和普通视频混合在一起，需要花大量的时间和人力去进行处理。本申请视频舆情分析技术就是对视频中存在的色情、暴力等信息进行识别，快速的将普通视频和非法视频区分开来。本申请具有十分重要的社会价值和实际应用价值。视频中舆情分析技术采用了先进的深度学习算法，主要包含两个模块的内容：训练模块，分析模块，具体包括如下。
1、训练模块:本申请视频中舆情分析支持对于不同性质视频识别的扩展。具体而言，首先要对基于深度学习的舆情分析算法进行训练。本申请利用色情视频的分析最为例子来介绍训练模块的操作。本申请深度学习舆情分析算法可以采用基于深度残差网络结构，在其基础上进行进一步的修改得到的改进的深度学习网络结构。为了解决训练集不够的问题，本申请可以在训练过程中采用迁移学习的策略。比如，首先在ImageNet这种公开的百万集识别任务上进行网络的训练，然后利用收集的色情图片来对网络进行微调。在网络微调的过程中，本申请可以根据网络的Loss值不断的修改网络参数的学习率，最后得到一个收敛完美的网络模型。
2、分析模块:本申请通过提取视频中每一帧的图像，然后利用训练好的舆情分析网络，对每一帧图像信息进行识别。其中，对于每一帧图像都会得到一个是否是色情图像的判断，用1代表色情图像，用0代表正常图像。其中，对视频中每一帧的图像判断的结果可以存储在一个对应的数组中。由于训练数据集少，网络收敛不好等原因，会导致一些帧被判断出错的情况，因此，接下来本申请可以结合视频中的序列信息对判断的结果进行综合的分析，来过滤一些小错误的判断。例如如果某一帧被判断成色情图片，那么和该帧相邻的帧也应该是色情图片。如果相邻帧不是色情图片，则存在问题。最后根据整个视频序列中色情图像的个数，通过投票的方式来判断该视频的色情等级。通过上述方式，本申请可以非常快捷而高效的对色情视频进行处理。
举例而言，本申请的处理流程如下：
输入：提取视频序列Video，每一帧的图像M；
Step1:利用舆情分析网络对每一帧的图像进行分析M-，得到结果保存在S中；
Step2:利用帧间信息对S进行过滤；
Step3:利用投票算法对视频性质进行定义；
输出：视频性质。
通过上述方式，本申请能够通过人体特征识别技术活语义特征识别技术对多媒体信息进行识别，并根据舆情场景进行智能管控，能够实现多媒体内容大数据智能搜索和管控，利于产业化整合升级，发挥产业的最大价值。
以上所述，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制，虽然本申请已以较佳实施例揭露如上，然而并非用以限定本申请,任何熟悉本专业的技术人员，在不脱离本申请技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本申请技术方案内容，依据本申请的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本申请技术方案的范围内。

Claims (10)

1.一种基于视觉特征的多媒体信息内容管控方法，其特征在于，所述基于视觉特征的多媒体信息内容管控方法包括步骤：
获取具备视觉特征的多媒体信息；
根据所述多媒体信息进行人体特征识别和/或语义特征识别，以得到特征内容；
根据所述特征内容进行AI人工智能识别，以得到用于表示实际状况的舆情场景；
根据所述舆情场景调用相匹配的管控策略，以管控所述多媒体信息的传播方式。
2.根据权利要求1所述的基于视觉特征的多媒体信息内容管控方法，其特征在于，所述根据所述多媒体信息进行人体特征识别和/或语义特征识别，以得到特征内容的步骤，具体包括：
根据所述多媒体信息进行包括肤色检测、人脸检测、性别判定的人体特征识别，以得到用于进行互联网图文内容监测的所述特征内容。
3.根据权利要求2所述的基于视觉特征的多媒体信息内容管控方法，其特征在于，所述根据所述多媒体信息进行包括肤色检测、人脸检测、性别判定的人体特征识别的步骤中，采用PCA主成分分析法、LBP局部二值模式学习法和/或Gabor小波特征方法进行人脸检测。
4.根据权利要求1所述的基于视觉特征的多媒体信息内容管控方法，其特征在于，所述根据所述多媒体信息进行人体特征识别和/或语义特征识别，以得到特征内容的步骤，具体包括：
根据所述多媒体信息进行包括互联网话题分析的语义特征识别，以得到用于表示互联网话题的所述特征内容。
5.根据权利要求4所述的基于视觉特征的多媒体信息内容管控方法，其特征在于，所述根据所述多媒体信息进行包括互联网话题分析的语义特征识别的步骤，具体包括：
采取结合互信息、χ2统计法、信息增益和术语强度的算法进行特征选择，通过词汇语义相似度计算提高特征的代表性并实现有效降维，采用SVM算法libsvm进行文本主题分类，采用文本聚类技术进行互联网话题检测与跟踪，采取向量空间模型对文本和话题模型进行向量表示，采取在线话题检测与跟踪技术实时监测商业话题信息，采取XMeans、OPTICS、NCut的聚类算法对互联网话题进行离线规整；
利用χ2统计法统计词性与不同类别事件的相关度，使用机器学习方法优化权重参数空间，基于词元特点对tf-idf模型进行改进以提高整体性能，利用文本命名实体识别工具ICTCLAS从话题中提取包括人名、地名、机构名、时间表达、地点表达的命名实体，为事件信息抽取提供候选内容，通过全文分析和多文档概率分析相结合实现命名实体与事件的关联；采取基于统计术语提取方法进行事件关键词提取；基于Co-Clustering的多文档文摘方法提取话题文摘和话题关键词，通过多轮递增学习获得全局最优的提取结果；
采用基于内涵向量空间模型c-VSM内涵单元表示内涵词、否定词和修饰词所形成的内涵有机整体，并以内涵单元的统计量作为特征的文本表示方法，使用包括贝叶斯、神经网络机器学习算法对网络内涵进行类别分析；
采用互联网话题影响分析工具或机器学习方法分析特定话题言论对互联网环境的影响。
6.根据权利要求1所述的基于视觉特征的多媒体信息内容管控方法，其特征在于，所述根据所述多媒体信息进行人体特征识别和/或语义特征识别，以得到特征内容的步骤，还包括：
从互联网包括图文信息的多媒体信息中抽取时间戳信息；
查找与目标互联网图文信息的重复图文信息；
创建话题溯源树的根节点；
构建特定类簇的词汇表；
计算两图文信息的内容相似度；
对当前层类簇进行基于相似性的划分；
创建更深一层次的话题树节点；
创建话题树的叶子节点；
对目标的图文信息进行构建话题溯源路径。
7.根据权利要求1所述的基于视觉特征的多媒体信息内容管控方法，其特征在于，所述根据所述多媒体信息进行人体特征识别和/或语义特征识别，以得到特征内容的步骤，还包括：
根据所述多媒体信息进行包括视频中人脸检索、视频中场景分析、视频中舆情分析的人体特征识别和/或语义特征识别，以得到用于进行视频视觉特征内容搜索或监测的所述特征内容。
8.根据权利要求7所述的基于视觉特征的多媒体信息内容管控方法，其特征在于，所述根据所述多媒体信息进行包括视频中人脸检索、视频中场景分析、视频中舆情分析的人体特征识别和/或语义特征识别的步骤，具体包括：
所述视频中人脸检索，采用包括人脸图像采集及检测、人脸图像预处理、人脸图像特征提取和/或人脸图像匹配与识别技术进行人体特征识别；
所述视频中场景分析，采用包括从非结构性的视频数据中提取语义信息，通过基于感知流形空间的场景建模方法进行建模，仿造人类视觉生理过程对高维视觉数据降维并分类，以通过视频解码转码、镜头分割、关键帧提取和场景分类进行场景分析处理；
所述视频中舆情分析，采用包括改进型的基于深度残差网络结构的深度学习网络结构、并采用迁移学习的策略进行训练和微调，以及利用训练好的舆情分析网络对每一帧图像信息进行识别判断、将判断的结果存储在一对应的数组中、结合视频中的序列信息对判断的结果进行综合的分析、并通过投票的方式来判断视频的等级。
9.根据权利要求8所述的基于视觉特征的多媒体信息内容管控方法，其特征在于，所述采用包括人脸图像采集及检测、人脸图像预处理、人脸图像特征提取和/或人脸图像匹配与识别技术进行人体特征识别的步骤，具体包括：
采用Adaboost学习算法挑选出代表人脸的矩形特征、按照加权投票的方式将弱分类器构造为一个强分类器、将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，以进行所述人脸图像采集及检测；
采用包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波和/或锐化的过程，以进行所述人脸图像预处理；
采用基于知识的表征方法根据人脸器官的形状描述以及各部分之间的距离特性来获得进行人脸分类的特征数据、所述特征数据的特征分量包括特征点间的欧氏距离、曲率和角度，以进行所述人脸图像特征提取；
采用将待识别的人脸特征与已得到的人脸特征模板进行比较，根据两者之间的相似程度对人脸的身份信息进行判断，以进行所述人脸图像匹配与识别技术。
10.一种基于视觉特征的多媒体信息内容管控系统，其特征在于，其配置有处理器，所述处理器用于执行程序数据，以实现如权利要求1-9任一项所述的基于视觉特征的多媒体信息内容管控方法。
CN201911009398.4A 2019-10-23 2019-10-23 基于视觉特征的多媒体信息内容管控方法及系统 Pending CN110765285A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911009398.4A CN110765285A (zh) 2019-10-23 2019-10-23 基于视觉特征的多媒体信息内容管控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911009398.4A CN110765285A (zh) 2019-10-23 2019-10-23 基于视觉特征的多媒体信息内容管控方法及系统

Publications (1)

Publication Number Publication Date
CN110765285A true CN110765285A (zh) 2020-02-07

Family

ID=69333067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911009398.4A Pending CN110765285A (zh) 2019-10-23 2019-10-23 基于视觉特征的多媒体信息内容管控方法及系统

Country Status (1)

Country Link
CN (1) CN110765285A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401161A (zh) * 2020-03-04 2020-07-10 青岛海信网络科技股份有限公司 基于智能视频分析算法实现行为识别的智慧建筑管控系统
CN112765459A (zh) * 2021-01-08 2021-05-07 首都师范大学 一种基于话题识别的物品信息推送方法、系统及存储介质
CN113344932A (zh) * 2021-06-01 2021-09-03 电子科技大学 一种半监督的单目标视频分割方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298749A (zh) * 2014-10-14 2015-01-21 杭州淘淘搜科技有限公司 一种图像视觉和文本语义融合商品检索方法
CN104836720A (zh) * 2014-02-12 2015-08-12 北京三星通信技术研究有限公司 交互式通信中进行信息推荐的方法及装置
CN106095903A (zh) * 2016-06-08 2016-11-09 成都三零凯天通信实业有限公司 一种基于深度学习技术的广播电视舆情分析方法及系统
CN107197384A (zh) * 2017-05-27 2017-09-22 北京光年无限科技有限公司 应用于视频直播平台的虚拟机器人多模态交互方法和系统
CN109740038A (zh) * 2019-01-02 2019-05-10 安徽芃睿科技有限公司 网络数据分布式采集系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104836720A (zh) * 2014-02-12 2015-08-12 北京三星通信技术研究有限公司 交互式通信中进行信息推荐的方法及装置
CN104298749A (zh) * 2014-10-14 2015-01-21 杭州淘淘搜科技有限公司 一种图像视觉和文本语义融合商品检索方法
CN106095903A (zh) * 2016-06-08 2016-11-09 成都三零凯天通信实业有限公司 一种基于深度学习技术的广播电视舆情分析方法及系统
CN107197384A (zh) * 2017-05-27 2017-09-22 北京光年无限科技有限公司 应用于视频直播平台的虚拟机器人多模态交互方法和系统
CN109740038A (zh) * 2019-01-02 2019-05-10 安徽芃睿科技有限公司 网络数据分布式采集系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401161A (zh) * 2020-03-04 2020-07-10 青岛海信网络科技股份有限公司 基于智能视频分析算法实现行为识别的智慧建筑管控系统
CN112765459A (zh) * 2021-01-08 2021-05-07 首都师范大学 一种基于话题识别的物品信息推送方法、系统及存储介质
CN113344932A (zh) * 2021-06-01 2021-09-03 电子科技大学 一种半监督的单目标视频分割方法

Similar Documents

Publication Publication Date Title
CN106919920A (zh) 基于卷积特征和空间视觉词袋模型的场景识别方法
CN109308319B (zh) 文本分类方法、文本分类装置和计算机可读存储介质
CN108427740B (zh) 一种基于深度度量学习的图像情感分类与检索算法
CN110008365B (zh) 一种图像处理方法、装置、设备及可读存储介质
CN110765285A (zh) 基于视觉特征的多媒体信息内容管控方法及系统
CN108154156B (zh) 基于神经主题模型的图像集成分类方法及装置
CN112580362A (zh) 一种基于文本语义监督的视觉行为识别方法、系统及计算机可读介质
Islam et al. A review on video classification with methods, findings, performance, challenges, limitations and future work
WO2022222850A1 (zh) 一种多媒体内容的识别方法、相关装置、设备及存储介质
Yang et al. Hybrid generative/discriminative learning for automatic image annotation
WO2021128704A1 (zh) 一种基于分类效用的开集分类方法
Jin et al. Image credibility analysis with effective domain transferred deep networks
Dagher et al. Improving the SVM gender classification accuracy using clustering and incremental learning
Fang et al. Few-shot learning for Chinese legal controversial issues classification
CN113886562A (zh) 一种ai简历筛选方法、系统、设备和存储介质
CN109543038B (zh) 一种应用于文本数据的情感分析方法
CN115098690B (zh) 一种基于聚类分析的多数据文档分类方法及系统
Jadhav et al. Content based facial emotion recognition model using machine learning algorithm
Papapanagiotou et al. Improving concept-based image retrieval with training weights computed from tags
Zeng et al. Local discriminant training and global optimization for convolutional neural network based handwritten Chinese character recognition
CN113434668B (zh) 一种基于模型融合的深度学习文本分类方法及系统
Schmitt et al. Outlier detection on semantic space for sentiment analysis with convolutional neural networks
CN111723208B (zh) 基于条件分类树的法律判决文书多分类方法、装置和终端
Huang et al. Erotic image recognition method of bagging integrated convolutional neural network
Chou et al. Text mining technique for Chinese written judgment of criminal case

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination