CN105657575B - 视频标注方法和装置 - Google Patents

视频标注方法和装置 Download PDF

Info

Publication number
CN105657575B
CN105657575B CN201511021303.2A CN201511021303A CN105657575B CN 105657575 B CN105657575 B CN 105657575B CN 201511021303 A CN201511021303 A CN 201511021303A CN 105657575 B CN105657575 B CN 105657575B
Authority
CN
China
Prior art keywords
video
marked
frequency
frequency band
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201511021303.2A
Other languages
English (en)
Other versions
CN105657575A (zh
Inventor
潘昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201511021303.2A priority Critical patent/CN105657575B/zh
Publication of CN105657575A publication Critical patent/CN105657575A/zh
Application granted granted Critical
Publication of CN105657575B publication Critical patent/CN105657575B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8352Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种视频标注方法和装置。应用于单个视频时,方法包括:将待标注视频段所对应的整个视频分成预设数目段,待标注视频段为其中一段;确定待标注视频段各取样帧对应的图像中包括的所有物体,计算每个物体在所有取样帧内出现的第一频率;在预设数目段视频中,确定出现每个物体的视频段数,计算每个物体对应的视频段数在预设数目段数中的第一逆向文件频率;计算每个物体对应的第一频率和第一逆向文件频率的第一乘积;确定符合第一预设条件的第一乘积,将每个符合第一预设条件的第一乘积对应的物体,设置为待标注视频段的标识信息。应用本发明提供的技术方案,能够方便用户精确地查找到想要看到的视频或者视频片段,从而能够提升用户体验。

Description

视频标注方法和装置
技术领域
本发明涉及互联网技术领域,尤其涉及一种视频标注方法和装置。
背景技术
随着计算机以及如手机等智能终端技术的不断发展,这些设备展现的内容也越来越丰富多彩,比如越来越多的图像、视频内容在终端可以查看。随着多媒体内容的增加,计算机处理多媒体的技术也在不断的发展,计算机图形学也是在这个背景下得到长足的进步,目前已经有比较成熟的图像识别的技术,可以比较稳定和高效的在图像中识别出一些物体。
而视频的识别技术还处在发展过程中,一般采用的方式是将视频拆分成独立的图像,然后对每一帧图像分别应用图像识别,识别出里面出现的物体,一帧图像一般可识别出多个物体。目前,随着对用户体验方面的关注度不断提高,视频网站等媒体逐渐开始提供设置了标识信息的视频,这些视频在细分的多个视频段分别设置对应的标识信息,以方便用户查看和选择,用以提高用户体验。
但是,现有的设置了标识信息的视频,不论整个视频,还是整个视频所细分的每段视频,都设置有许多标识信息。即,上述从每帧图像识别出的物体大都作为标识信息,使得不同的视频之间,同一视频不同的视频段之间不易区分,导致现有的视频标识的方法,标识的不够精确,从而不利于用户精确查找想要看到的视频或者视频片段,用户体验不高。
发明内容
有鉴于此,本发明提供了一种视频标注方法和装置,能够精确地确定用于表达待标注视频段或待标注视频主题的物体,然后将其设置为对应视频片段或者视频的标识信息,这样,便能够方便用户精确地查找到想要看到的视频或者视频片段,从而为用户带来更好的体验。
为实现上述目的,本发明提供如下技术方案:
一种视频标注方法,应用于单个视频,包括:
将待标注视频段所对应的整个视频分成预设数目段,其中,所述待标注视频段为其中一段;
确定所述待标注视频段各取样帧对应的图像中包括的所有物体,计算每个所述物体在所有取样帧内出现的第一频率;其中,所述取样帧为所述待标注视频段的所有帧,或者所述待标注视频段的所有关键帧与部分非关键帧的组合;
在所述预设数目段视频中,确定出现每个所述物体的视频段数,计算每个所述物体对应的视频段数在所述预设数目段数中的第一逆向文件频率;
计算每个所述物体对应的所述第一频率和所述第一逆向文件频率的第一乘积;
确定符合第一预设条件的所述第一乘积,将每个符合所述第一预设条件的所述第一乘积所对应的物体,设置为所述待标注视频段的标识信息。
优选的,所述将待标注视频段所对应的整个视频分成预设数目段之前,还包括:
获取所述待标注视频段所对应的整个视频,所述获取的方式包括接收或者调取。
优选的,所述将待标注视频段所对应的整个视频分成预设数目段,包括:
将所述待标注视频段所对应的整个视频按照所述待标注视频段的时长分成预设数目段,在所述预设数目段视频中,每一段视频的时长等于所述待标注视频段的时长。
优选的,所述确定所述待标注视频段各取样帧对应的图像中包括的所有物体之前,还包括:
提取所述待标注视频段中的所述取样帧,将所述取样帧转换成图像,识别所述图像中出现的所述物体。
优选的,所述第一预设条件为:
所述第一乘积小于或等于第一预设数值。
一种视频标注方法,应用于多个视频,包括:
确定待标注视频各取样帧对应的图像中包括的所有物体,计算每个所述物体在所有取样帧内出现的第二频率;其中,所述取样帧为所述待标注视频的所有帧,或者所述待标注视频的所有关键帧与部分非关键帧的组合;
在所述多个视频中,确定出现每个所述物体的视频个数,计算每个所述物体对应的视频个数在所述多个视频个数中的第二逆向文件频率;
计算每个所述物体对应的所述第二频率和所述第二逆向文件频率的第二乘积;
确定符合第二预设条件的所述第二乘积,将每个符合所述第二预设条件的所述第二乘积所对应的物体,设置为所述待标注视频的标识信息。
优选的,所述确定待标注视频各取样帧对应的图像中包括的所有物体之前,还包括:
获取所述待标注视频,所述获取的方式包括接收或者调取;
提取所述待标注视频中的所述取样帧,将所述取样帧转换成图像,识别所述图像中出现的所述物体。
优选的,所述第二预设条件为:
所述第二乘积小于或等于第二预设数值。
一种视频标注装置,应用于单个视频,包括:
分割模块,用于将待标注视频段所对应的整个视频分成预设数目段,其中,所述待标注视频段为其中一段;
第一计算模块,用于确定所述待标注视频段各取样帧对应的图像中包括的所有物体,计算每个所述物体在所有取样帧内出现的第一频率;其中,所述取样帧为所述待标注视频段的所有帧,或者所述待标注视频段的所有关键帧与部分非关键帧的组合;
第二计算模块,用于在所述预设数目段视频中,确定出现每个所述物体的视频段数,计算每个所述物体对应的视频段数在所述预设数目段数中的第一逆向文件频率;
第三计算模块,用于计算每个所述物体对应的所述第一频率和所述第一逆向文件频率的第一乘积;
第一设置模块,用于确定符合第一预设条件的所述第一乘积,将每个符合所述第一预设条件的所述第一乘积所对应的物体,设置为所述待标注视频段的标识信息。
优选的,还包括:
第一获取模块,用于获取所述待标注视频段所对应的整个视频,所述获取的方式包括接收或者调取。
优选的,所述分割模块包括:
分割单元,用于将所述待标注视频段所对应的整个视频按照所述待标注视频段的时长分成预设数目段,在所述预设数目段视频中,每一段视频的时长等于所述待标注视频段的时长。
优选的,还包括:
第一识别模块,用于提取所述待标注视频段中的所述取样帧,将所述取样帧转换成图像,识别所述图像中出现的所述物体。
优选的,所述第一设置模块确定符合第一预设条件的所述第一乘积时,依据的所述第一预设条件为:
所述第一乘积小于或等于第一预设数值。
一种视频标注装置,应用于多个视频,包括:
第四计算模块,用于确定待标注视频各取样帧对应的图像中包括的所有物体,计算每个所述物体在所有取样帧内出现的第二频率;其中,所述取样帧为所述待标注视频的所有帧,或者所述待标注视频的所有关键帧与部分非关键帧的组合;
第五计算模块,用于在所述多个视频中,确定出现每个所述物体的视频个数,计算每个所述物体对应的视频个数在所述多个视频个数中的第二逆向文件频率;
第六计算模块,用于计算每个所述物体对应的所述第二频率和所述第二逆向文件频率的第二乘积;
第二设置模块,用于确定符合第二预设条件的所述第二乘积,将每个符合所述第二预设条件的所述第二乘积所对应的物体,设置为所述待标注视频的标识信息。
优选的,还包括:
第二获取模块,用于获取所述待标注视频,所述获取的方式包括接收或者调取;
第二识别模块,用于提取所述待标注视频中的所述取样帧,将所述取样帧转换成图像,识别所述图像中出现的所述物体。
优选的,所述第二设置模块确定符合第二预设条件的所述第二乘积时,依据的所述第二预设条件为:
所述第二乘积小于或等于第二预设数值。
经由上述的技术方案可知,与现有技术相比,本发明提供了一种视频标注方法和装置。本发明提供的技术方案,对单个视频中的待标注视频段进行标注时:首先将待标注视频段所对应的整个视频分成预设数目段视频,其中,所述待标注视频段为其中一段;然后确定所述待标注视频段各取样帧对应的图像中包括的所有物体,计算每个所述物体在所有取样帧内出现的第一频率;所述取样帧为所述待标注视频段的所有帧,或者所述待标注视频段的所有关键帧与部分非关键帧的组合;在所述预设数目段视频中,确定出现每个所述物体的视频段数,计算每个所述物体对应的视频段数在所述预设数目段数中的第一逆向文件频率;计算每个所述物体对应的所述第一频率和所述第一逆向文件频率的第一乘积;确定符合第一预设条件的所述第一乘积,将每个符合所述第一预设条件的所述第一乘积所对应的物体,设置为所述待标注视频段的标识信息,即,本发明提供的技术方案,发明人创造性的将TF-IDF(term frequency-inverse document frequency,词频-逆向文件频率)统计方法应用到了视频标注领域,在将视频分拆为图像识别之后,通过分析图像的上下文关系,从而更准确的分析出视频期望表达的主题(也就是最终为视频设置的标注信息)。同理,本发明提供的技术方案,对多个视频中的单个视频进行标注时,也是应用了TF-IDF思想,请见所述方案的具体阐述,此处不再赘述。因此,本发明提供的技术方案,通过一系列计算,能够精确地确定用于表达待标注视频段或待标注视频主题的物体,然后将其设置为对应视频片段或者视频的标识信息,这样,便能够方便用户精确地查找到想要看到的视频或者视频片段,从而为用户带来更好的体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种视频标注方法的流程图;
图2为本发明实施例提供的另外一种视频标注方法的流程图;
图3为本发明实施例提供的一种视频标注装置的结构图;
图4为本发明实施例提供的另外一种视频标注装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
请参阅图1,图1为本发明实施例提供的一种视频标注方法的流程图。本发明实施例一提供的视频标注方法,应用于单个视频,如图1所示,该方法包括:
步骤S101,将待标注视频段所对应的整个视频分成预设数目段(视频);
具体的,所述待标注视频段为预设数目段视频中的一段。
步骤S102,确定所述待标注视频段各取样帧对应的图像中包括的所有物体,计算每个所述物体在所有取样帧内出现的第一频率;
具体的,所述取样帧为所述待标注视频段的所有帧,或者所述待标注视频段的所有关键帧与部分非关键帧的组合。具体的,关键帧为I帧,非关键帧为P帧和B帧,其中,关键帧、非关键帧这两个技术名词为本领域技术人员熟知内容,此处不再赘述。
比如,取样帧一共为60帧,这60帧中,各帧对应的图像出现A物体的,一共有15帧,则所述第一频率为:
步骤S103,在所述预设数目段视频中,确定出现每个所述物体的视频段数,计算每个所述物体对应的视频段数在所述预设数目段数中的第一逆向文件频率;
具体的,假设所述整个视频分成的预设数目段数为all_video_clips,在所述预设数目段视频中,出现A物体的视频段数为video_A_clips,Idf_A为A物体对应的视频段数video_A_clips在所述预设数目段数all_video_clips中的第一逆向文件频率,则可选的,所述Idf_A的计算公式如下:
Idf_A=ln(all_video_clips/video_A_clips) (1)
其中,ln(all_video_clips/video_A_clips)表示对all_video_clips除以video_A_clips得到的商,取自然对数。
步骤S104,计算每个所述物体对应的所述第一频率和所述第一逆向文件频率的第一乘积;
具体的,比如,A物体对应的所述第一乘积为:0.25 Idf_A。
步骤S105,确定符合第一预设条件的所述第一乘积,将每个符合所述第一预设条件的所述第一乘积所对应的物体,设置为所述待标注视频段的标识信息。
具体的,比如0.25 Idf_A(即A物体所对应的第一乘积)符合所述第一预设条件,则将A物体(的信息)设置为所述待标注视频段的标识信息。
可选的,本发明实施例提供的视频标注方法,所述第一预设条件为:
所述第一乘积小于或等于第一预设数值。
本发明实施例一提供的技术方案,对单个视频中的待标注视频段进行标注时:首先将待标注视频段所对应的整个视频分成预设数目段视频,其中,所述待标注视频段为其中一段;然后确定所述待标注视频段各取样帧对应的图像中包括的所有物体,计算每个所述物体在所有取样帧内出现的第一频率;所述取样帧为所述待标注视频段的所有帧,或者所述待标注视频段的所有关键帧与部分非关键帧的组合;在所述预设数目段视频中,确定出现每个所述物体的视频段数,计算每个所述物体对应的视频段数在所述预设数目段数中的第一逆向文件频率;计算每个所述物体对应的所述第一频率和所述第一逆向文件频率的第一乘积;确定符合第一预设条件的所述第一乘积,将每个符合所述第一预设条件的所述第一乘积所对应的物体,设置为所述待标注视频段的标识信息,即,本发明提供的技术方案,发明人创造性的将TF-IDF(term frequency-inverse document frequency,词频-逆向文件频率)统计方法应用到了视频标注领域,在将视频分拆为图像识别之后,通过分析图像的上下文关系,从而更准确的分析出视频期望表达的主题(也就是最终为视频设置的标注信息)。因此,本发明实施例一提供的技术方案,通过一系列计算,能够精确地确定用于表达待标注视频段主题的物体,然后将其设置为对应视频片段的标识信息,这样,便能够方便用户精确地查找到想要看到的视频片段,从而为用户带来更好的体验。
此外,在本发明另一实施例中,所述步骤S101之前,还包括:
获取所述待标注视频段所对应的整个视频,所述获取的方式包括接收或者调取。
可选的,在本发明另一实施例中,所述步骤S101,具体包括:
将所述待标注视频段所对应的整个视频按照所述待标注视频段的时长分成预设数目段,其中,所述待标注视频段为其中一段,在所述预设数目段视频中,每一段视频的时长等于所述待标注视频段的时长。
具体的,所述预设数目段视频中,每一段视频的时长等于所述待标注视频段的时长,目的是为了采样平均,用以提高最终设置待标注视频段标识信息的准确性。可选的,将所述待标注的待标注视频段所对应的整个视频按照所述待标注视频段的时长分成预设数目段时,时长不足所述待标注视频段时长的视频段,舍掉不用。
具体的,在本发明另一实施例中,所述步骤S102之前,还包括:
提取所述待标注视频段中的所述取样帧,将所述取样帧转换成图像,识别所述图像中出现的所述物体。
需要说明的是,本发明的发明思想,还可以应用到对多个视频中的任意一个视频进行标识。具体内容请参见实施例二。
实施例二
请参阅图2,图2为本发明实施例提供的另外一种视频标注方法的流程图。本发明实施例二提供的视频标注方法,应用于多个视频,如图2所示,该方法包括:
步骤S201,确定待标注视频各取样帧对应的图像中包括的所有物体,计算每个所述物体在所有取样帧内出现的第二频率;
具体的,所述取样帧为所述待标注视频的所有帧,或者所述待标注视频的所有关键帧与部分非关键帧的组合。
比如,取样帧一共为300帧,这300帧中,各帧对应的图像出现B物体的,一共有60帧,则所述第二频率为:
步骤S202,在所述多个视频中,确定出现每个所述物体的视频个数,计算每个所述物体对应的视频个数在所述多个视频个数中的第二逆向文件频率;
具体的,假设所述多个视频的个数为All_video_count,在所述多个视频中出现B物体的视频个数为video_B_count,Idf_B为B物体对应的视频个数video_B_count在所述多个视频的个数All_video_count中的第二逆向文件频率,则可选的,所述Idf_B的计算公式如下:
Idf_B=ln(All_video_count/video_B_count) (2)
其中,ln(All_video_count/video_B_count)表示对All_video_count除以video_B_count得到的商,取自然对数。
步骤S203,计算每个所述物体对应的所述第二频率和所述第二逆向文件频率的第二乘积;
具体的,比如,B物体对应的所述第二乘积为:0.2Idf_B。
步骤S204,确定符合第二预设条件的所述第二乘积,将每个符合所述第二预设条件的所述第二乘积所对应的物体,设置为所述待标注视频的标识信息。
具体的,比如0.2Idf_B(即B物体所对应的第二乘积)符合所述第二预设条件,则将B物体(的信息)设置为所述待标注视频的标识信息。
可选的,本发明实施例提供的视频标注方法,所述第二预设条件为:
所述第二乘积小于或等于第二预设数值。
本发明实施例二提供的技术方案,实现了对多个视频中的单个视频进行标识,也是应用了TF-IDF思想。即发明人创造性的将TF-IDF统计方法应用到了视频标注领域,在将视频分拆为图像识别之后,通过分析图像的上下文关系,从而更准确的分析出视频期望表达的主题(也就是最终为视频设置的标注信息)。因此,本发明提供的技术方案,通过一系列计算,能够精确地确定用于表达待标注视频主题的物体,然后将其设置为对应视频的标识信息,这样,便能够方便用户精确地查找到想要看到的视频,从而为用户带来更好的体验。
此外,在本发明另一实施例中,所述步骤S201之前,还包括:
获取所述待标注视频,所述获取的方式包括接收或者调取;
提取所述待标注视频中的所述取样帧,将所述取样帧转换成图像,识别所述图像中出现的所述物体。
为了更加全面地阐述本发明提供的技术方案,对应于本发明实施例一提供的视频标注方法,本发明公开一种视频标注装置。
请参阅图3,图3为本发明实施例提供的一种视频标注装置的结构图。如图3所示,该装置包括:
分割模块301,用于将待标注视频段所对应的整个视频分成预设数目段,其中,所述待标注视频段为其中一段;
第一计算模块302,用于确定所述待标注视频段各取样帧对应的图像中包括的所有物体,计算每个所述物体在所有取样帧内出现的第一频率;其中,所述取样帧为所述待标注视频段的所有帧,或者所述待标注视频段的所有关键帧与部分非关键帧的组合;
第二计算模块303,用于在所述预设数目段视频中,确定出现每个所述物体的视频段数,计算每个所述物体对应的视频段数在所述预设数目段数中的第一逆向文件频率;
第三计算模块304,用于计算每个所述物体对应的所述第一频率和所述第一逆向文件频率的第一乘积;
第一设置模块305,用于确定符合第一预设条件的所述第一乘积,将每个符合所述第一预设条件的所述第一乘积所对应的物体,设置为所述待标注视频段的标识信息。
具体的,本发明公开的对应于实施例一视频标注方法的视频标注装置,还包括:
第一获取模块,用于获取所述待标注视频段所对应的整个视频,所述获取的方式包括接收或者调取。
可选的,本发明公开的对应于实施例一视频标注方法的视频标注装置,所述分割模块301包括:
分割单元,用于将所述待标注视频段所对应的整个视频按照所述待标注视频段的时长分成预设数目段,在所述预设数目段视频中,每一段视频的时长等于所述待标注视频段的时长。
具体的,本发明公开的对应于实施例一视频标注方法的视频标注装置,还包括:
第一识别模块,用于提取所述待标注视频段中的所述取样帧,将所述取样帧转换成图像,识别所述图像中出现的所述物体。
可选的,本发明实施例公开的视频标注装置,所述第一设置模块确定符合第一预设条件的所述第一乘积时,依据的所述第一预设条件为:
所述第一乘积小于或等于第一预设数值。
对应于本发明实施例二提供的视频标注方法,本发明公开另外一种视频标注装置。
请参阅图4,图4为本发明实施例提供的另外一种视频标注装置的结构图。如图4所示,该装置包括:
第四计算模块401,用于确定待标注视频各取样帧对应的图像中包括的所有物体,计算每个所述物体在所有取样帧内出现的第二频率;其中,所述取样帧为所述待标注视频的所有帧,或者所述待标注视频的所有关键帧与部分非关键帧的组合;
第五计算模块402,用于在所述多个视频中,确定出现每个所述物体的视频个数,计算每个所述物体对应的视频个数在所述多个视频个数中的第二逆向文件频率;
第六计算模块403,用于计算每个所述物体对应的所述第二频率和所述第二逆向文件频率的第二乘积;
第二设置模块404,用于确定符合第二预设条件的所述第二乘积,将每个符合所述第二预设条件的所述第二乘积所对应的物体,设置为所述待标注视频的标识信息。
具体的,本发明公开的对应于实施例二视频标注方法的视频标注装置,还包括:
第二获取模块,用于获取所述待标注视频,所述获取的方式包括接收或者调取;
第二识别模块,用于提取所述待标注视频中的所述取样帧,将所述取样帧转换成图像,识别所述图像中出现的所述物体。
可选的,本发明实施例公开的视频标注装置,所述第二设置模块确定符合第二预设条件的所述第二乘积时,依据的所述第二预设条件为:
所述第二乘积小于或等于第二预设数值。
经由上述的技术方案可知,与现有技术相比,本发明提供了一种视频标注方法和装置。本发明提供的技术方案,对单个视频中的待标注视频段进行标注时:首先将待标注视频段所对应的整个视频分成预设数目段视频,其中,所述待标注视频段为其中一段;然后确定所述待标注视频段各取样帧对应的图像中包括的所有物体,计算每个所述物体在所有取样帧内出现的第一频率;所述取样帧为所述待标注视频段的所有帧,或者所述待标注视频段的所有关键帧与部分非关键帧的组合;在所述预设数目段视频中,确定出现每个所述物体的视频段数,计算每个所述物体对应的视频段数在所述预设数目段数中的第一逆向文件频率;计算每个所述物体对应的所述第一频率和所述第一逆向文件频率的第一乘积;确定符合第一预设条件的所述第一乘积,将每个符合所述第一预设条件的所述第一乘积所对应的物体,设置为所述待标注视频段的标识信息,即,本发明提供的技术方案,发明人创造性的将TF-IDF(term frequency-inverse document frequency,词频-逆向文件频率)统计方法应用到了视频标注领域,在将视频分拆为图像识别之后,通过分析图像的上下文关系,从而更准确的分析出视频期望表达的主题(也就是最终为视频设置的标注信息)。同理,本发明提供的技术方案,对多个视频中的单个视频进行标注时,也是应用了TF-IDF思想,请见所述方案的具体阐述,此处不再赘述。因此,本发明提供的技术方案,通过一系列计算,能够精确地确定用于表达待标注视频段或待标注视频主题的物体,然后将其设置为对应视频片段或者视频的标识信息,这样,便能够方便用户精确地查找到想要看到的视频或者视频片段,从而为用户带来更好的体验。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的视频标注装置而言,由于其与实施例公开的视频标注方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (16)

1.一种视频标注方法,应用于单个视频,其特征在于,包括:
将待标注视频段所对应的整个视频分成预设数目段,其中,所述待标注视频段为其中一段;
确定所述待标注视频段各取样帧对应的图像中包括的所有物体,计算每个所述物体在所有取样帧内出现的第一频率;其中,所述取样帧为所述待标注视频段的所有帧,或者所述待标注视频段的所有关键帧与部分非关键帧的组合;
在所述预设数目段视频中,确定出现每个所述物体的视频段数,计算每个所述物体对应的视频段数在所述预设数目段数中的第一逆向文件频率,其中,所述第一逆向文件频率为对预设数目段数除以每个所述物体的视频段数得到的商,取自然对数得到;
计算每个所述物体对应的所述第一频率和所述第一逆向文件频率的第一乘积;
确定符合第一预设条件的所述第一乘积,将每个符合所述第一预设条件的所述第一乘积所对应的物体,设置为所述待标注视频段的标识信息,所述第一预设条件为:所述第一乘积小于或等于第一预设数值。
2.根据权利要求1所述的方法,其特征在于,所述将待标注视频段所对应的整个视频分成预设数目段之前,还包括:
获取所述待标注视频段所对应的整个视频,所述获取的方式包括接收或者调取。
3.根据权利要求1所述的方法,其特征在于,所述将待标注视频段所对应的整个视频分成预设数目段,包括:
将所述待标注视频段所对应的整个视频按照所述待标注视频段的时长分成预设数目段,在所述预设数目段视频中,每一段视频的时长等于所述待标注视频段的时长。
4.根据权利要求1所述的方法,其特征在于,所述确定所述待标注视频段各取样帧对应的图像中包括的所有物体之前,还包括:
提取所述待标注视频段中的所述取样帧,将所述取样帧转换成图像,识别所述图像中出现的所述物体。
5.根据权利要求1~4任意一项所述的方法,其特征在于,所述第一预设条件为:
所述第一乘积小于或等于第一预设数值。
6.一种视频标注方法,应用于多个视频,其特征在于,包括:
确定待标注视频各取样帧对应的图像中包括的所有物体,计算每个所述物体在所有取样帧内出现的第二频率;其中,所述取样帧为所述待标注视频的所有帧,或者所述待标注视频的所有关键帧与部分非关键帧的组合;
在所述多个视频中,确定出现每个所述物体的视频个数,计算每个所述物体对应的视频个数在所述多个视频个数中的第二逆向文件频率,其中,所述第二逆向文件频率为对所述多个视频的个数除以每个所述物体的视频个数得到的商,取自然对数得到;
计算每个所述物体对应的所述第二频率和所述第二逆向文件频率的第二乘积;
确定符合第二预设条件的所述第二乘积,将每个符合所述第二预设条件的所述第二乘积所对应的物体,设置为所述待标注视频的标识信息,所述第二预设条件为所述第二乘积小于或等于第二预设数值。
7.根据权利要求6所述的方法,其特征在于,所述确定待标注视频各取样帧对应的图像中包括的所有物体之前,还包括:
获取所述待标注视频,所述获取的方式包括接收或者调取;
提取所述待标注视频中的所述取样帧,将所述取样帧转换成图像,识别所述图像中出现的所述物体。
8.根据权利要求6或7所述的方法,其特征在于,所述第二预设条件为:
所述第二乘积小于或等于第二预设数值。
9.一种视频标注装置,应用于单个视频,其特征在于,包括:
分割模块,用于将待标注视频段所对应的整个视频分成预设数目段,其中,所述待标注视频段为其中一段;
第一计算模块,用于确定所述待标注视频段各取样帧对应的图像中包括的所有物体,计算每个所述物体在所有取样帧内出现的第一频率;其中,所述取样帧为所述待标注视频段的所有帧,或者所述待标注视频段的所有关键帧与部分非关键帧的组合;
第二计算模块,用于在所述预设数目段视频中,确定出现每个所述物体的视频段数,计算每个所述物体对应的视频段数在所述预设数目段数中的第一逆向文件频率,其中,所述第一逆向文件频率为对预设数目段数除以每个所述物体的视频段数得到的商,取自然对数得到;
第三计算模块,用于计算每个所述物体对应的所述第一频率和所述第一逆向文件频率的第一乘积;
第一设置模块,用于确定符合第一预设条件的所述第一乘积,将每个符合所述第一预设条件的所述第一乘积所对应的物体,设置为所述待标注视频段的标识信息,所述第一预设条件为:所述第一乘积小于或等于第一预设数值。
10.根据权利要求9所述的装置,其特征在于,还包括:
第一获取模块,用于获取所述待标注视频段所对应的整个视频,所述获取的方式包括接收或者调取。
11.根据权利要求9所述的装置,其特征在于,所述分割模块包括:
分割单元,用于将所述待标注视频段所对应的整个视频按照所述待标注视频段的时长分成预设数目段,在所述预设数目段视频中,每一段视频的时长等于所述待标注视频段的时长。
12.根据权利要求9所述的装置,其特征在于,还包括:
第一识别模块,用于提取所述待标注视频段中的所述取样帧,将所述取样帧转换成图像,识别所述图像中出现的所述物体。
13.根据权利要求9~12任意一项所述的装置,其特征在于,所述第一设置模块确定符合第一预设条件的所述第一乘积时,依据的所述第一预设条件为:
所述第一乘积小于或等于第一预设数值。
14.一种视频标注装置,应用于多个视频,其特征在于,包括:
第四计算模块,用于确定待标注视频各取样帧对应的图像中包括的所有物体,计算每个所述物体在所有取样帧内出现的第二频率;其中,所述取样帧为所述待标注视频的所有帧,或者所述待标注视频的所有关键帧与部分非关键帧的组合;
第五计算模块,用于在所述多个视频中,确定出现每个所述物体的视频个数,计算每个所述物体对应的视频个数在所述多个视频个数中的第二逆向文件频率,其中,所述第二逆向文件频率为对所述多个视频的个数除以每个所述物体的视频个数得到的商,取自然对数得到;
第六计算模块,用于计算每个所述物体对应的所述第二频率和所述第二逆向文件频率的第二乘积;
第二设置模块,用于确定符合第二预设条件的所述第二乘积,将每个符合所述第二预设条件的所述第二乘积所对应的物体,设置为所述待标注视频的标识信息,所述第二预设条件为所述第二乘积小于或等于第二预设数值。
15.根据权利要求14所述的装置,其特征在于,还包括:
第二获取模块,用于获取所述待标注视频,所述获取的方式包括接收或者调取;
第二识别模块,用于提取所述待标注视频中的所述取样帧,将所述取样帧转换成图像,识别所述图像中出现的所述物体。
16.根据权利要求14或15所述的装置,其特征在于,所述第二设置模块确定符合第二预设条件的所述第二乘积时,依据的所述第二预设条件为:
所述第二乘积小于或等于第二预设数值。
CN201511021303.2A 2015-12-30 2015-12-30 视频标注方法和装置 Active CN105657575B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511021303.2A CN105657575B (zh) 2015-12-30 2015-12-30 视频标注方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511021303.2A CN105657575B (zh) 2015-12-30 2015-12-30 视频标注方法和装置

Publications (2)

Publication Number Publication Date
CN105657575A CN105657575A (zh) 2016-06-08
CN105657575B true CN105657575B (zh) 2018-10-19

Family

ID=56490092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511021303.2A Active CN105657575B (zh) 2015-12-30 2015-12-30 视频标注方法和装置

Country Status (1)

Country Link
CN (1) CN105657575B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110121033A (zh) * 2018-02-06 2019-08-13 上海全土豆文化传播有限公司 视频编目方法及装置
CN110121083A (zh) * 2018-02-06 2019-08-13 上海全土豆文化传播有限公司 弹幕的生成方法及装置
US11380359B2 (en) 2020-01-22 2022-07-05 Nishant Shah Multi-stream video recording system using labels
US11677905B2 (en) 2020-01-22 2023-06-13 Nishant Shah System and method for labeling networked meetings and video clips from a main stream of video

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567467A (zh) * 2011-12-02 2012-07-11 华中科技大学 基于视频标签获取视频热点信息的方法
US8254699B1 (en) * 2009-02-02 2012-08-28 Google Inc. Automatic large scale video object recognition
CN102682132A (zh) * 2012-05-18 2012-09-19 合一网络技术(北京)有限公司 一种基于词频、播放量和创建时间检索信息的方法及系统
CN105142006A (zh) * 2015-08-06 2015-12-09 北京奇艺世纪科技有限公司 基于标签的频道自动生成方法和装置
CN105159998A (zh) * 2015-09-08 2015-12-16 海南大学 一种基于文档聚类关键词计算方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8254699B1 (en) * 2009-02-02 2012-08-28 Google Inc. Automatic large scale video object recognition
CN102567467A (zh) * 2011-12-02 2012-07-11 华中科技大学 基于视频标签获取视频热点信息的方法
CN102682132A (zh) * 2012-05-18 2012-09-19 合一网络技术(北京)有限公司 一种基于词频、播放量和创建时间检索信息的方法及系统
CN105142006A (zh) * 2015-08-06 2015-12-09 北京奇艺世纪科技有限公司 基于标签的频道自动生成方法和装置
CN105159998A (zh) * 2015-09-08 2015-12-16 海南大学 一种基于文档聚类关键词计算方法

Also Published As

Publication number Publication date
CN105657575A (zh) 2016-06-08

Similar Documents

Publication Publication Date Title
US10324977B2 (en) Searching method and apparatus
CN105657575B (zh) 视频标注方法和装置
US9918128B2 (en) Content categorization using facial expression recognition, with improved detection of moments of interest
CN107222795B (zh) 一种多特征融合的视频摘要生成方法
US9612791B2 (en) Method, system and storage medium for monitoring audio streaming media
US8582952B2 (en) Method and apparatus for identifying video transitions
US9749710B2 (en) Video analysis system
US9549121B2 (en) Image acquiring method and electronic device
CN108647245B (zh) 多媒体资源的匹配方法、装置、存储介质及电子装置
CN104504101B (zh) 一种相似视频的确定方法及装置
US9606975B2 (en) Apparatus and method for automatically generating visual annotation based on visual language
WO2018004733A1 (en) Generating moving thumbnails for videos
CN102193946A (zh) 为媒体文件添加标签方法和使用该方法的系统
WO2015090133A1 (zh) 一种视频信息更新方法及电子设备
CN107423058A (zh) 一种界面显示方法及装置
CN106407310B (zh) 视频文件处理方法和视频文件处理设备
WO2015070806A1 (zh) 一种音频文件的管理方法、装置和存储介质
WO2020063437A1 (zh) 关键词的推荐方法、装置、存储介质及电子设备
SG11201900256YA (en) Advertisement generation method, computer readable storage medium and system
CN110826461A (zh) 视频内容识别方法、装置、电子设备及存储介质
CN108563648B (zh) 数据显示方法和装置、存储介质及电子装置
EP3844967B1 (en) Frame-accurate automated cutting of media content by using multiple airings
CN104573113A (zh) 一种信息处理方法及服务器
CN104637496B (zh) 计算机系统及音频比对方法
CN117278776A (zh) 多通道视频内容实时比对方法和装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant