CN115309941A - 一种基于ai的智能标签检索方法及系统 - Google Patents

一种基于ai的智能标签检索方法及系统 Download PDF

Info

Publication number
CN115309941A
CN115309941A CN202210999426.7A CN202210999426A CN115309941A CN 115309941 A CN115309941 A CN 115309941A CN 202210999426 A CN202210999426 A CN 202210999426A CN 115309941 A CN115309941 A CN 115309941A
Authority
CN
China
Prior art keywords
information
feature
material information
video material
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210999426.7A
Other languages
English (en)
Other versions
CN115309941B (zh
Inventor
邓宇翔
张帆
林金怡
邹西山
李韩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unicom WO Music and Culture Co Ltd
Original Assignee
China Unicom WO Music and Culture Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unicom WO Music and Culture Co Ltd filed Critical China Unicom WO Music and Culture Co Ltd
Priority to CN202210999426.7A priority Critical patent/CN115309941B/zh
Publication of CN115309941A publication Critical patent/CN115309941A/zh
Application granted granted Critical
Publication of CN115309941B publication Critical patent/CN115309941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于AI的智能标签检索方法及系统，涉及人工智能技术领域，方法包括：获取视频素材信息；构建音频特征标签集与动图特征标签集；在视频素材信息中进行标记验证，获取标记冲突集；基于所述音频特征标签集与所述动图特征标签集，获取视频素材标记集；在所述视频素材信息进行标记，获取视频素材信息标记结果；进行智能剪切，获取视频素材片段集；通过目标素材调取检索符，在所述视频素材片段集中检索，调取目标素材信息。解决难以快速准确检索提取目标素材，导致视频素材检索调取效率低的技术问题，达到采用音频特征标签与动图特征标签，精准提取目标素材，实现快速检索提取目标素材片段，提高视频素材检索调取效率的技术效果。

Description

一种基于AI的智能标签检索方法及系统
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于AI的智能标签检索方法及系统。
背景技术
随计算机网络技术的发展，信息传送效率的提升，以视频为载体的信息传送方式逐渐替代图像或文字的方式，文字可以通过关键词快速进行检索提取，图像可以通过智能扫描识别引擎快速进行检索提取，视频信息作为计算机网络上信息传送的有效方式，难以实现快速检索提取。
在进行图像检索提取过程中，可以通过视频中的语音内容，进行语义识别，提取语音中的关键词，通过关键词对应时间轴，在所在视频中进行检索定位，实现提取目标素材，但是对应目标素材截取的起始点与截止点需要进行人工识别，且关键词作为检索标识信息，存在多次出现的概率，若关键词多次出现，会导致目标素材截取效率低，存在时间资源浪费的情况。
现有技术中存在难以快速准确检索提取目标素材，导致视频素材检索调取效率低的技术问题。
发明内容
本申请通过提供了一种基于AI的智能标签检索方法及系统，解决了难以快速准确检索提取目标素材，导致视频素材检索调取效率低的技术问题，达到了采用音频特征标签与动图特征标签，精准提取目标素材，实现快速检索提取目标素材片段，提高视频素材检索调取效率的技术效果。
鉴于上述问题，本申请提供了一种基于AI的智能标签检索方法及系统。
本申请的第一个方面，提供了一种基于AI的智能标签检索方法，其中，所述方法包括：获取视频素材信息；基于所述视频素材信息，构建音频特征标签集与动图特征标签集；通过所述音频特征标签集与所述动图特征标签集，在所述视频素材信息中进行标记验证，获取标记冲突集；基于所述音频特征标签集与所述动图特征标签集，通过所述标记冲突集，获取视频素材标记集；基于所述视频素材标记集，在所述视频素材信息进行标记，获取视频素材信息标记结果；通过所述视频素材信息标记结果，进行智能剪切，获取视频素材片段集；通过目标素材调取检索符，在所述视频素材片段集中检索，调取目标素材信息。
本申请的第二个方面，提供了一种基于AI的智能标签检索系统，其中，所述系统包括：素材信息获取单元，所述素材信息获取单元用于获取视频素材信息；标签集构建单元，所述标签集构建单元用于基于所述视频素材信息，构建音频特征标签集与动图特征标签集；冲突集获取单元，所述冲突集获取单元用于通过所述音频特征标签集与所述动图特征标签集，在所述视频素材信息中进行标记验证，获取标记冲突集；标记集获取单元，所述标记集获取单元用于基于所述音频特征标签集与所述动图特征标签集，通过所述标记冲突集，获取视频素材标记集；标记结果获取单元，所述标记结果获取单元用于基于所述视频素材标记集，在所述视频素材信息进行标记，获取视频素材信息标记结果；片段集获取单元，所述片段集获取单元用于通过所述视频素材信息标记结果，进行智能剪切，获取视频素材片段集；目标素材调取单元，所述目标素材调取单元用于通过目标素材调取检索符，在所述视频素材片段集中检索，调取目标素材信息。
本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：
由于采用了获取视频素材信息；构建音频特征标签集与动图特征标签集；在视频素材信息中进行标记验证，获取标记冲突集；基于所述音频特征标签集与所述动图特征标签集，通过所述标记冲突集，获取视频素材标记集；在所述视频素材信息进行标记，获取视频素材信息标记结果；进行智能剪切，获取视频素材片段集；通过目标素材调取检索符，在所述视频素材片段集中检索，调取目标素材信息。本申请实施例达到了采用音频特征标签与动图特征标签，精准提取目标素材，实现快速检索提取目标素材片段，提高视频素材检索调取效率的技术效果。
附图说明
图1为本申请一种基于AI的智能标签检索方法的流程示意图；
图2为本申请一种基于AI的智能标签检索方法的获取动图特征标签集的流程示意图；
图3为本申请一种基于AI的智能标签检索方法的获取动图素材人物特征集的流程示意图；
图4为本申请一种基于AI的智能标签检索系统的结构示意图。
附图标记说明：素材信息获取单元11，标签集构建单元12，冲突集获取单元13，标记集获取单元14，标记结果获取单元15，片段集获取单元16，目标素材调取单元17。
具体实施方式
本申请通过提供了一种基于AI的智能标签检索方法及系统，解决了难以快速准确检索提取目标素材，导致视频素材检索调取效率低的技术问题，达到了采用音频特征标签与动图特征标签，精准提取目标素材，实现快速检索提取目标素材片段，提高视频素材检索调取效率的技术效果。
实施例一
如图1所示，本申请提供了一种基于AI的智能标签检索方法，其中，所述方法包括：
步骤S100：获取视频素材信息；
步骤S200：基于所述视频素材信息，构建音频特征标签集与动图特征标签集；
具体而言，常见的，视频素材信息包括音频素材信息与动图素材信息，将音频素材信息与动图素材信息进行时间轴对应绑定，可以还原成所述视频素材信息，需要在视频素材信息中进行智能标签检索，从音频特征与动图特征两角度特征指标进行标签检索，为精准标记视频素材信息提供数据支持。
进一步具体说明，视频剪辑人员在进行视频剪辑过程中，一般是按照剧集内容，通过进度条进行快速跳转，从视频素材信息中截取需要的视频素材，通过音频特征与动图特征生成特征标签集，通过标签进行快速提取，大大缩短了截取需要的视频素材所耗费的时间。
进一步的，基于所述视频素材信息，构建音频特征标签集与动图特征标签集，步骤S200包括：
步骤S210：对所述视频素材信息进行特征隔离，获取音频素材信息与动图素材信息；
步骤S220：在所述音频素材信息中进行音色特征分析，获取音频特征标签集；
步骤S230：在所述动图素材信息中分别进行场景特征分析与人物特征分析，获取动图特征标签集。
具体而言，视频素材信息包括音频素材信息与动图素材信息，对所述视频素材信息进行特征隔离，获取音频素材信息与动图素材信息，所述音频素材信息与动图素材信息的时间轴对应，所述音色特征包括但不限于频谱特征参数和包络特征参数，同一振动源发出的音频信息可以通过音色特征进行区分，通过所述音频素材信息进行音色特征分析，获取音频特征标签集，所述音频特征标签集的各个元素即频谱特征参数和/或包络特征参数不同的音色，音色不同于响度、频率等其他音频素材信息的特征指标，音色可以用于对声源进行辨识区分。
具体说明，将场景与人物隔离进行特征分析，所述场景特征包括环境特征(色温特征、亮度特征)、场景道具特征等相关指标特征，所述人物特征可以是人脸特征和检测对象相关的指标特征，分别进行场景特征分析与人物特征分析，将所得指标进行合并，获取动图特征标签集，进行特征隔离，为提高标签检索的精度提供支持。
进一步具体说明，若所述动图素材信息显示甲乙两对象交谈，对应的，音频素材信息对应的音频特征标签集包括甲对象的音色特征与乙对象的音色特征。
进一步的，如图2所示，在所述动图素材信息中分别进行场景特征分析与人物特征分析，获取动图特征标签集，步骤S230包括：
步骤S231：通过所述动图素材信息进行场景特征分析，获取动图素材场景特征集；
步骤S232：基于所述动图素材场景特征集，对同一场景的不同视角进行特征嵌套合并，获取动图场景信息；
步骤S233：通过所述动图素材信息进行人物特征分析，获取动图素材人物特征集；
步骤S234：基于所述动图素材人物特征集，对同一人物的不同状态进行特征组合，获取动图人物信息；
步骤S235：通过所述动图场景信息与所述动图人物信息，获取动图特征标签集。
具体而言，对所述动图素材信息进行场景特征分析，可以通过相关白平衡工具(图片后期处理工具)，获取色温特征，基于高准确亮度计，在获取视频素材信息的同时，同步进行亮度测量，获取亮度特征，所述场景道具特征包括道具颜色特征、道具形状特征及其他相关特征指标，对所述动图素材信息进行截取，可以通过所述动图素材信息的场景切换速度与环境复杂的场景，适应性调整截取频率，所述截取频率可以通过智能标签检索系统，进行自动以设定，对所述动图素材信息截取所得图像进行场景特征分析，整合所述环境特征、场景道具特征等相关指标特征，获取动图素材场景特征集，动图素材场景特征集进行场景位置标记，将位置标记一致的动图素材场景特征进行嵌套合并，获取动图场景信息。
具体而言，人物的面部特征在不同状态存在一定的差异，面部特征处于哭啼、咆哮、大笑状态，脸部肌肉因存在牵引运动，为保证识别精度，为保证特征标签的精度与完整度，基于所述动图素材人物特征集，对面部因肌肉牵引导致的变形进行标记区分，将标记区分的同一人物的不同状态进行特征组合，获取动图人物信息，对所述动图场景信息与所述动图人物信息进行合并，获取动图特征标签集，进一步细化特征标签，为保证动图特征标签集的精度提供支持。
进一步具体说明，所述场景位置标记包括位置区域面积标记与位置坐标标记，所述位置标记一致的动图素材场景特征即同一采集地点的不同角度的场景特征指标，上述方案是验证优选所得，可以实现快速获取视频素材的标签，为保证标记提取效率提供支持。
进一步的，如图3所示，通过所述动图素材信息进行人物特征分析，获取动图素材人物特征集，步骤S233包括：
步骤S233-1：搭载XML分类器，以灰度模式加载输入所述动图素材信息；
步骤S233-2：对所述动图素材信息进行预处理，获取正样本素材信息与负样本素材信息；
步骤S233-3：基于所述正样本素材信息，进行特征计算，寻找目标样本在帧/图像中的样本位置特征信息；
步骤S233-4：在所述样本位置特征信息进行检测提取，获取目标样本局部特征集；
步骤S233-5：通过所述目标样本局部特征集与所述负样本素材信息，获取动图素材人物特征集。
进一步的，通过所述目标样本局部特征集与所述负样本素材信息，获取动图素材人物特征集，步骤S233-5包括：
步骤S233-51：通过预设参数指标信息，在所述负样本素材信息中进行关联提取，获取指标特征关联集；
步骤S233-52：通过所述指标特征关联集，对所述目标样本局部特征集进行特征补充，获取动图素材人物特征集。
具体而言，在XML文件加载级联分类器，进行OpenCV训练搭载XML分类器，以灰度模式加载输入所述动图素材信息；对所述动图素材信息进行预处理，所述预处理包括图像裁剪处理、模糊处理和锐化处理等相关图像基本预处理操作，获取正样本素材信息与负样本素材信息，所述正样本素材信息可以是人脸位置的素材信息，手动创建负样本文件，所述负样本素材信息对应的负图像是没有人脸的素材信息；基于所述正样本素材信息，通过haar-Like特征算法，在寻找人脸在帧或图像中的位置，所述目标样本可以设定为共同的人脸特性样本指标，具体的，所述目标样本可以是鼻子区域比眼睛区域像素更亮，具体需要结合实际的指标参数运算进行对照确定，此处不做说明，寻找目标样本在帧/图像中的样本位置特征信息；借助边缘检测、线检测和中心检测等检测方式，在所述样本位置特征信息中进行提取特征，在图片中形成一个矩形框来表示人脸的位置，在检测到人脸的所需区域中制作一个矩形框，使用矩形框的黑色矩形中的像素值之和减去白色矩形中的像素值之和，获取目标样本局部特征集；合并所述目标样本局部特征集与所述负样本素材信息，获取动图素材人物特征集，通过分类器能够快速进行特征区分识别，为保证标签检索效率提供技术支持。
具体而言，所述预设参数指标信息包括服饰指标信息、身高指标信息、发型指标信息等相关指标信息，在所述负样本素材信息中进行关联提取，获取指标特征关联集，所述指标特征关联集的元素可以是服饰指标特征、身高指标特征、发型指标特征；以所述指标特征关联集，对所述目标样本局部特征集进行特征补充，获取动图素材人物特征集，为全面进行标记识别提供支持。
进一步的，在所述样本位置特征信息进行检测提取，获取目标样本局部特征集，步骤S233-4包括：
步骤S233-41：通过LBPH算法，获取指标参数信息；
步骤S233-42：通过所述指标参数信息，对目标样本与身份ID进行训练验证匹配，获取目标样本-身份ID关联映射信息；
步骤S233-43：通过所述目标样本-身份ID关联映射信息，使用突出面部特征以特定方式描述所述样本位置特征信息；
步骤S233-44：基于所述样本位置特征信息，采用所述指标参数信息进行网格划分，提取样本直方图；
步骤S233-45：通过多个所述样本直方图，计算欧氏距离，获取目标样本局部特征集。
具体而言，所述指标参数信息包括半径(围绕中心像素的半径，常设置为1)、Neighbors(圆形二进制模式的样本点数)、Grid X(水平方向的单元格数)、Grid Y(垂直方向的单元格数)，基于所述样本位置特征信息，通过LBPH算法，获取指标参数信息；通过所述指标参数信息，在所述样本位置特征信息中，对目标样本与身份ID(身份编码，具有唯一性)进行训练验证匹配，匹配所得特定人物的图像必须具有相同的ID，获取目标样本-身份ID关联映射信息；进行LBP计算创建中间图像，使用突出面部特征以特定方式描述所述样本位置特征信息；对身份ID存在一致的匹配所得特定人物的图像创建新的直方图，通过所述指标参数信息进行网格划分，提取样本直方图，通过多个所述样本直方图，计算欧氏距离，判断所述欧氏距离是否满足模型识别预设标准，模型识别预设标准为一预设参数指标信息，若所述欧氏距离满足模型识别预设标准，获取目标样本局部特征集，所述目标样本局部特征集的元素即多组身份ID的突出面部特征，通过目标样本-身份ID关联映射信息与目标样本局部特征集，为后续进行特征匹配提供参数基础。
步骤S300：通过所述音频特征标签集与所述动图特征标签集，在所述视频素材信息中进行标记验证，获取标记冲突集；
步骤S400：基于所述音频特征标签集与所述动图特征标签集，通过所述标记冲突集，获取视频素材标记集；
具体而言，分别使用所述音频特征标签集与所述动图特征标签集，在所述视频素材信息中进行标签标记验证，对标签标记出现重复的进行异常突出标记，获取标记冲突集，常见的，生物学上的同卵双胞胎的面部特征相似度极高，在面部特征识别精度有限的情况下，容易出现标记冲突现象；可以通过进行精度调整，获取视频素材标记集，所述视频素材标记集即不存在标记冲突现象的特征标签集合，为保证素材标签的可信度与精准度提供支持。
进一步的，基于所述音频特征标签集与所述动图特征标签集，通过所述标记冲突集，获取视频素材标记集，步骤S400包括：
步骤S410：将所述标记冲突集导出，发送至智能标签检索系统相关管理人员，获取精度调整信号；
步骤S420：基于所述动图特征标签集，通过所述精度调整信号，调整指标参数信息，获取动图特征标签调整集；
步骤S430：通过所述音频特征标签集与所述动图特征标签调整集，进行标记验证，若验证通过，获取视频素材标记集。
具体而言，通过智能标签检索系统的反馈端，将所述标记冲突集导出，发送至智能标签检索系统相关管理人员，通过相关管理人员，获取精度调整信号，所述精度调整信号用于调整所述指标参数信息；通过所述精度调整信号，调整指标参数信息，所述动图特征标签调整集即指标参数信息调整后计算所得的动图特征标签集；通过所述音频特征标签集与所述动图特征标签调整集，再次进行标记验证，若验证通过，获取视频素材标记集，所述视频素材标记集即不存在标记冲突现象的特征标签集合，若验证仍未通过，需要获取标记冲突异常信号，进行人工排除存在冲突的标记，可能是因为传输稳定性不足，导致传输过程出现逻辑混乱，使得识别所得标记出现异常，具体需要结合实际数据进行具体分析，通过进行标记验证，为保障所述视频素材标记集的可信度提供技术支持。
步骤S500：基于所述视频素材标记集，在所述视频素材信息进行标记，获取视频素材信息标记结果；
步骤S600：通过所述视频素材信息标记结果，进行智能剪切，获取视频素材片段集；
步骤S700：通过目标素材调取检索符，在所述视频素材片段集中检索，得到目标素材信息。
具体而言，通过所述视频素材标记集，对所述视频素材信息进行标记，获取视频素材信息标记结果；对视频素材信息标记结果进行智能剪切，可以通过所述视频素材信息标记结果中的视频素材标记信息，确定剪切节点，进行剪切，获取视频素材片段集，所述视频素材片段集包括多段视频素材片段，视频素材片段集中的每一段视频素材片段的起始点可以是剪切节点或视频素材信息的起始点，视频素材片段集中的每一段视频素材片段的截止点可以是剪切节点或视频素材信息的截止点；所述目标素材即需要进行提取的素材，通过所述视频素材标记集，对所述目标素材进行素材标签标记，所述目标素材调取检索符包括检索符与所述目标素材的素材标签标记，通过目标素材调取检索符，在所述视频素材片段集中检索，进行检索提取，得到目标素材信息，实现快速提取，为保证视频素材截取效率提供支持。
综上所述，本申请所提供的一种基于AI的智能标签检索方法及系统具有如下技术效果：
由于采用了获取视频素材信息；构建音频特征标签集与动图特征标签集；在视频素材信息中进行标记验证，获取标记冲突集；基于音频特征标签集与动图特征标签集，通过标记冲突集，获取视频素材标记集；在视频素材信息进行标记，获取视频素材信息标记结果；进行智能剪切，获取视频素材片段集；通过目标素材调取检索符，在视频素材片段集中检索，调取目标素材信息，本申请通过提供了一种基于AI的智能标签检索方法及系统，达到了采用音频特征标签与动图特征标签，精准提取目标素材，实现快速检索提取目标素材片段，提高视频素材检索调取效率的技术效果。
由于采用了通过动图素材信息进行场景特征分析，获取动图素材场景特征集，对同一场景的不同视角进行特征嵌套合并，获取动图场景信息；通过动图素材信息进行人物特征分析，获取动图素材人物特征集，对同一人物的不同状态进行特征组合，获取动图人物信息，结合动图场景信息，获取动图特征标签集，细化特征标签，提高动图特征标签集的精度，可以实现快速获取视频素材的标签，为保证标记提取效率提供支持。
由于采用了通过LBPH算法，获取指标参数信息，对目标样本与身份ID进行训练验证匹配，获取目标样本-身份ID关联映射信息，使用突出面部特征以特定方式描述样本位置特征信息，采用指标参数信息进行网格划分，提取样本直方图；通过多个样本直方图，计算欧氏距离，获取目标样本局部特征集。为后续进行特征匹配提供参数基础。
实施例二
基于与前述实施例中一种基于AI的智能标签检索方法相同的发明构思，如图4所示，本申请提供了一种基于AI的智能标签检索系统，其中，所述系统包括：
素材信息获取单元11，所述素材信息获取单元11用于获取视频素材信息；
标签集构建单元12，所述标签集构建单元12用于基于所述视频素材信息，构建音频特征标签集与动图特征标签集；
冲突集获取单元13，所述冲突集获取单元13用于通过所述音频特征标签集与所述动图特征标签集，在所述视频素材信息中进行标记验证，获取标记冲突集；
标记集获取单元14，所述标记集获取单元14用于基于所述音频特征标签集与所述动图特征标签集，通过所述标记冲突集，获取视频素材标记集；
标记结果获取单元15，所述标记结果获取单元15用于基于所述视频素材标记集，在所述视频素材信息进行标记，获取视频素材信息标记结果；
片段集获取单元16，所述片段集获取单元16用于通过所述视频素材信息标记结果，进行智能剪切，获取视频素材片段集；
目标素材调取单元17，所述目标素材调取单元17用于通过目标素材调取检索符，在所述视频素材片段集中检索，调取目标素材信息。
进一步的，所述系统包括：
特征隔离单元，所述特征隔离单元用于对所述视频素材信息进行特征隔离，获取音频素材信息与动图素材信息；
音色特征分析单元，所述单音色特征分析元用于在所述音频素材信息中进行音色特征分析，获取音频特征标签集；
特征标签集获取单元，所述特征标签集获取单元用于在所述动图素材信息中分别进行场景特征分析与人物特征分析，获取动图特征标签集。
进一步的，所述系统包括：
场景特征分析单元，所述场景特征分析单元用于通过所述动图素材信息进行场景特征分析，获取动图素材场景特征集；
特征嵌套合并单元，所述特征嵌套合并单元用于基于所述动图素材场景特征集，对同一场景的不同视角进行特征嵌套合并，获取动图场景信息；
人物特征分析单元，所述人物特征分析单元用于通过所述动图素材信息进行人物特征分析，获取动图素材人物特征集；
特征组合单元，所述特征组合单元用于基于所述动图素材人物特征集，对同一人物的不同状态进行特征组合，获取动图人物信息；
特征标签集获取单元，所述特征标签集获取单元用于通过所述动图场景信息与所述动图人物信息，获取动图特征标签集。
进一步的，所述系统包括：
素材加载输入单元，所述素材加载输入单元用于搭载XML分类器，以灰度模式加载输入所述动图素材信息；
信息预处理单元，所述信息预处理单元用于对所述动图素材信息进行预处理，获取正样本素材信息与负样本素材信息；
特征计算单元，所述特征计算单元用于基于所述正样本素材信息，进行特征计算，寻找目标样本在帧/图像中的样本位置特征信息；
检测提取单元，所述检测提取单元用于在所述样本位置特征信息进行检测提取，获取目标样本局部特征集；
人物特征集获取单元，所述人物特征集获取单元用于通过所述目标样本局部特征集与所述负样本素材信息，获取动图素材人物特征集。
进一步的，所述系统包括：
指标参数获取单元，所述指标参数获取单元用于通过LBPH算法，获取指标参数信息；
验证匹配单元，所述验证匹配单元用于通过所述指标参数信息，对目标样本与身份ID进行训练验证匹配，获取目标样本-身份ID关联映射信息；
关联映射单元，所述关联映射单元用于通过所述目标样本-身份ID关联映射信息，使用突出面部特征以特定方式描述所述样本位置特征信息；
直方图提取单元，所述直方图提取单元用于基于所述样本位置特征信息，采用所述指标参数信息进行网格划分，提取样本直方图；
欧氏距离计算单元，所述欧氏距离计算单元用于通过多个所述样本直方图，计算欧氏距离，获取目标样本局部特征集。
进一步的，所述系统包括：
关联提取单元，所述关联提取单元用于通过预设参数指标信息，在所述负样本素材信息中进行关联提取，获取指标特征关联集；
特征补充单元，所述特征补充单元用于通过所述指标特征关联集，对所述目标样本局部特征集进行特征补充，获取动图素材人物特征集。
进一步的，所述系统包括：
调整信号获取单元，所述调整信号获取单元用于将所述标记冲突集导出，发送至智能标签检索系统相关管理人员，获取精度调整信号；
调整集获取单元，所述调整集获取单元用于基于所述动图特征标签集，通过所述精度调整信号，调整指标参数信息，获取动图特征标签调整集；
标记验证单元，所述标记验证单元用于通过所述音频特征标签集与所述动图特征标签调整集，进行标记验证，若验证通过，获取视频素材标记集。
本说明书和附图仅仅是本申请的示例性说明，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请意图包括这些改动和变型在内。

Claims (8)

1.一种基于AI的智能标签检索方法，其特征在于，所述方法包括：
获取视频素材信息；
基于所述视频素材信息，构建音频特征标签集与动图特征标签集；
通过所述音频特征标签集与所述动图特征标签集，在所述视频素材信息中进行标记验证，获取标记冲突集；
基于所述音频特征标签集与所述动图特征标签集，通过所述标记冲突集，获取视频素材标记集；
基于所述视频素材标记集，在所述视频素材信息进行标记，获取视频素材信息标记结果；
通过所述视频素材信息标记结果，进行智能剪切，获取视频素材片段集；
通过目标素材调取检索符，在所述视频素材片段集中检索，调取目标素材信息。
2.如权利要求1所述的方法，其特征在于，基于所述视频素材信息，构建音频特征标签集与动图特征标签集，所述方法包括：
对所述视频素材信息进行特征隔离，获取音频素材信息与动图素材信息；
在所述音频素材信息中进行音色特征分析，获取音频特征标签集；
在所述动图素材信息中分别进行场景特征分析与人物特征分析，获取动图特征标签集。
3.如权利要求2所述的方法，其特征在于，在所述动图素材信息中分别进行场景特征分析与人物特征分析，获取动图特征标签集，所述方法还包括：
通过所述动图素材信息进行场景特征分析，获取动图素材场景特征集；
基于所述动图素材场景特征集，对同一场景的不同视角进行特征嵌套合并，获取动图场景信息；
通过所述动图素材信息进行人物特征分析，获取动图素材人物特征集；
基于所述动图素材人物特征集，对同一人物的不同状态进行特征组合，获取动图人物信息；
通过所述动图场景信息与所述动图人物信息，获取动图特征标签集。
4.如权利要求3所述的方法，其特征在于，通过所述动图素材信息进行人物特征分析，获取动图素材人物特征集，所述方法还包括：
搭载XML分类器，以灰度模式加载输入所述动图素材信息；
对所述动图素材信息进行预处理，获取正样本素材信息与负样本素材信息；
基于所述正样本素材信息，进行特征计算，寻找目标样本在帧/图像中的样本位置特征信息；
在所述样本位置特征信息进行检测提取，获取目标样本局部特征集；
通过所述目标样本局部特征集与所述负样本素材信息，获取动图素材人物特征集。
5.如权利要求4所述的方法，其特征在于，在所述样本位置特征信息进行检测提取，获取目标样本局部特征集，所述方法还包括：
通过LBPH算法，获取指标参数信息；
通过所述指标参数信息，对目标样本与身份ID进行训练验证匹配，获取目标样本-身份ID关联映射信息；
通过所述目标样本-身份ID关联映射信息，使用突出面部特征以特定方式描述所述样本位置特征信息；
基于所述样本位置特征信息，采用所述指标参数信息进行网格划分，提取样本直方图；
通过多个所述样本直方图，计算欧氏距离，获取目标样本局部特征集。
6.如权利要求4所述的方法，其特征在于，通过所述目标样本局部特征集与所述负样本素材信息，获取动图素材人物特征集，所述方法还包括：
通过预设参数指标信息，在所述负样本素材信息中进行关联提取，获取指标特征关联集；
通过所述指标特征关联集，对所述目标样本局部特征集进行特征补充，获取动图素材人物特征集。
7.如权利要求1所述的方法，其特征在于，基于所述音频特征标签集与所述动图特征标签集，通过所述标记冲突集，获取视频素材标记集，所述方法还包括：
将所述标记冲突集导出，发送至智能标签检索系统相关管理人员，获取精度调整信号；
基于所述动图特征标签集，通过所述精度调整信号，调整指标参数信息，获取动图特征标签调整集；
通过所述音频特征标签集与所述动图特征标签调整集，进行标记验证，若验证通过，获取视频素材标记集。
8.一种基于AI的智能标签检索系统，其特征在于，所述系统包括：
素材信息获取单元，所述素材信息获取单元用于获取视频素材信息；
标签集构建单元，所述标签集构建单元用于基于所述视频素材信息，构建音频特征标签集与动图特征标签集；
冲突集获取单元，所述冲突集获取单元用于通过所述音频特征标签集与所述动图特征标签集，在所述视频素材信息中进行标记验证，获取标记冲突集；
标记集获取单元，所述标记集获取单元用于基于所述音频特征标签集与所述动图特征标签集，通过所述标记冲突集，获取视频素材标记集；
标记结果获取单元，所述标记结果获取单元用于基于所述视频素材标记集，在所述视频素材信息进行标记，获取视频素材信息标记结果；
片段集获取单元，所述片段集获取单元用于通过所述视频素材信息标记结果，进行智能剪切，获取视频素材片段集；
目标素材调取单元，所述目标素材调取单元用于通过目标素材调取检索符，在所述视频素材片段集中检索，调取目标素材信息。
CN202210999426.7A 2022-08-19 2022-08-19 一种基于ai的智能标签检索方法及系统 Active CN115309941B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210999426.7A CN115309941B (zh) 2022-08-19 2022-08-19 一种基于ai的智能标签检索方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210999426.7A CN115309941B (zh) 2022-08-19 2022-08-19 一种基于ai的智能标签检索方法及系统

Publications (2)

Publication Number Publication Date
CN115309941A true CN115309941A (zh) 2022-11-08
CN115309941B CN115309941B (zh) 2023-03-10

Family

ID=83862974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210999426.7A Active CN115309941B (zh) 2022-08-19 2022-08-19 一种基于ai的智能标签检索方法及系统

Country Status (1)

Country Link
CN (1) CN115309941B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1909658A (zh) * 2006-08-18 2007-02-07 武汉博鼎科技有限公司 一种通过互联网的电视新闻素材传输与共享系统
US20140195506A1 (en) * 2013-01-07 2014-07-10 Fotofad, Inc. System and method for generating suggestions by a search engine in response to search queries
CN109635171A (zh) * 2018-12-13 2019-04-16 成都索贝数码科技股份有限公司 一种新闻节目智能标签的融合推理系统和方法
US20190258671A1 (en) * 2016-10-28 2019-08-22 Vilynx, Inc. Video Tagging System and Method
CN110502661A (zh) * 2019-07-08 2019-11-26 天脉聚源(杭州)传媒科技有限公司 一种视频搜索方法、系统及存储介质
CN110830835A (zh) * 2020-01-13 2020-02-21 南京创维信息技术研究院有限公司 智能电视的目标标记与显示的系统及方法
CN110866129A (zh) * 2019-11-01 2020-03-06 中电科大数据研究院有限公司 一种基于跨媒体统一表征模型的跨媒体检索方法
US20210200802A1 (en) * 2019-12-30 2021-07-01 Alibaba Group Holding Limited Method and apparatus for video searches and index construction
CN114547373A (zh) * 2022-02-21 2022-05-27 山东浪潮超高清视频产业有限公司 一种基于音频智能识别搜索节目的方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1909658A (zh) * 2006-08-18 2007-02-07 武汉博鼎科技有限公司 一种通过互联网的电视新闻素材传输与共享系统
US20140195506A1 (en) * 2013-01-07 2014-07-10 Fotofad, Inc. System and method for generating suggestions by a search engine in response to search queries
US20190258671A1 (en) * 2016-10-28 2019-08-22 Vilynx, Inc. Video Tagging System and Method
CN109635171A (zh) * 2018-12-13 2019-04-16 成都索贝数码科技股份有限公司 一种新闻节目智能标签的融合推理系统和方法
CN110502661A (zh) * 2019-07-08 2019-11-26 天脉聚源(杭州)传媒科技有限公司 一种视频搜索方法、系统及存储介质
CN110866129A (zh) * 2019-11-01 2020-03-06 中电科大数据研究院有限公司 一种基于跨媒体统一表征模型的跨媒体检索方法
US20210200802A1 (en) * 2019-12-30 2021-07-01 Alibaba Group Holding Limited Method and apparatus for video searches and index construction
CN110830835A (zh) * 2020-01-13 2020-02-21 南京创维信息技术研究院有限公司 智能电视的目标标记与显示的系统及方法
CN114547373A (zh) * 2022-02-21 2022-05-27 山东浪潮超高清视频产业有限公司 一种基于音频智能识别搜索节目的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GO IRIE 等: "Affective video segment retrieval for consumer generated videos based on correlation between emotions and emotional audio events" *
张帆 等: "计算机多媒体中信息检索查询与反馈技术研究" *

Also Published As

Publication number Publication date
CN115309941B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN110414462B (zh) 一种无监督的跨域行人重识别方法及系统
WO2021073417A1 (zh) 表情生成方法、装置、设备及存储介质
CN112101357B (zh) 一种rpa机器人智能元素定位拾取方法及系统
CN107169049B (zh) 应用的标签信息生成方法及装置
CN107833213B (zh) 一种基于伪真值自适应法的弱监督物体检测方法
CN108073910B (zh) 用于生成人脸特征的方法和装置
CN103824053B (zh) 一种人脸图像的性别标注方法及人脸性别检测方法
TW201926140A (zh) 影像標註方法、電子裝置及非暫態電腦可讀取儲存媒體
Wilkinson et al. Neural Ctrl-F: segmentation-free query-by-string word spotting in handwritten manuscript collections
JP2017520859A (ja) 画像オブジェクト領域の認識方法及び装置
JP2014232533A (ja) Ｏｃｒ出力検証システム及び方法
CN102007499A (zh) 检测数字图像中的脸部表情
CN112633297B (zh) 目标对象的识别方法、装置、存储介质以及电子装置
CN109711384A (zh) 一种基于深度卷积神经网络的人脸识别方法
CN112149690A (zh) 一种基于生物图像特征识别的溯源方法和溯源系统
CN111126401A (zh) 一种基于上下文信息的车牌字符识别方法
JPH09293082A (ja) 画像検索装置及び画像検索方法
CN113780116A (zh) 发票分类方法、装置、计算机设备和存储介质
KR20100108778A (ko) 영상정보 분류방법 및 장치
CN112613367A (zh) 票据信息文本框获取方法、系统、设备及存储介质
CN115309941B (zh) 一种基于ai的智能标签检索方法及系统
CN117076455A (zh) 一种基于智能识别的保单结构化存储方法、介质及系统
CN112364687A (zh) 一种基于改进的Faster R-CNN加油站静电标志识别方法及系统
Pohudina et al. Method for identifying and counting objects
CN111753618A (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant