CN103942275B - 一种视频识别方法与设备 - Google Patents

一种视频识别方法与设备 Download PDF

Info

Publication number
CN103942275B
CN103942275B CN201410120939.1A CN201410120939A CN103942275B CN 103942275 B CN103942275 B CN 103942275B CN 201410120939 A CN201410120939 A CN 201410120939A CN 103942275 B CN103942275 B CN 103942275B
Authority
CN
China
Prior art keywords
video
information
acquisition information
recordings
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410120939.1A
Other languages
English (en)
Other versions
CN103942275A (zh
Inventor
肖伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201410120939.1A priority Critical patent/CN103942275B/zh
Publication of CN103942275A publication Critical patent/CN103942275A/zh
Application granted granted Critical
Publication of CN103942275B publication Critical patent/CN103942275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content

Abstract

本发明的目的是提供一种用于进行视频识别的方法、设备与系统。用户设备端向网络设备端发送视频采集信息;由所述网络设备根据视频采集信息在视频信息库中查询以获得与所述视频采集信息相匹配的一个或多个视频记录信息;并根据所述一个或多个视频记录信息确定所述视频采集信息所对应的一个或多个目标视频;最后由所述网络设备将与所述视频采集信息所对应的目标视频发送至所述用户设备。与现有技术相比,本发明通过对包含音频和/或视频的视频采集信息的查询匹配,获得多个关于视频段的视频记录信息,基于所述视频记录信息来确定所述视频采集信息所对应的目标视频,从而提高了视频识别率与识别效率,提高了用户获取视频信息的效率,改善了用户体验。

Description

一种视频识别方法与设备
技术领域
本发明涉及计算机领域,尤其涉及一种视频识别的技术。
背景技术
当前的视频识别技术主要通过对正在播放的视频画面进行捕捉,然后对所捕捉的视频画面进行特征识别的方式来确定所播放的视频内容。这种方式依赖于对视频关键帧的捕获与识别,若所捕获的视频画面属于非关键帧,或者对关键帧的识别不准,都可能使得视频识别失败,导致视频识别率低、识别内容单一、识别时间长等问题,从而影响了用户获取视频信息的效率,降低了用户体验。
发明内容
本发明的目的是提供一种用于进行视频识别的方法、设备与系统。
根据本发明的一个方面,提供了一种在网络设备端的视频识别方法,其中,该方法包括:
根据视频采集信息在视频信息库中查询以获得与所述视频采集信息相匹配的一个或多个视频记录信息;
根据所述一个或多个视频记录信息确定所述视频采集信息所对应的一个或多个目标视频。
根据本发明的另一方面,还提供了一种在用户设备端的视频识别方法,其中,该方法包括:
向对应网络设备发送视频采集信息;
接收所述网络设备所提供的所述视频采集信息所对应的目标视频。
根据本发明的再一方面,还提供了一种用于视频识别的网络设备,其中,该设备包括:
用于根据视频采集信息在视频信息库中查询以获得与所述视频采集信息相匹配的一个或多个视频记录信息的装置;
用于根据所述一个或多个视频记录信息确定所述视频采集信息所对应的一个或多个目标视频的装置。
根据本发明的又一方面,还提供了一种用于视频识别的用户设备,其中,该设备包括:
用于向对应网络设备发送视频采集信息的装置;
用于接收所述网络设备所提供的所述视频采集信息所对应的目标视频的装置。
根据本发明的另一方面,还提供了一种用于视频识别的系统,其中,所述系统包括上述所述的网络设备,以及上述所述的用户设备。
与现有技术相比,本发明通过在用户设备端向网络设备端发送视频采集信息,由所述网络设备根据视频采集信息在视频信息库中查询以获得与所述视频采集信息相匹配的一个或多个视频记录信息,并根据所述一个或多个视频记录信息确定所述视频采集信息所对应的一个或多个目标视频,最后由所述网络设备将与所述视频采集信息所对应的目标视频发送至所述用户设备;从而通过对包含音频和/或视频的视频采集信息的查询匹配,获得多个关于视频段的视频记录信息,进而基于所述视频记录信息来确定所述视频采集信息所对应的目标视频,提高了视频识别率与识别效率,提高了用户获取视频信息的效率,改善了用户体验。
而且,本发明还可以根据所述一个或多个视频记录信息中各视频记录信息所对应的优先级信息确定所述视频采集信息所对应的一个或多个目标视频;进一步地,还可以根据所述一个或多个视频记录信息中各视频记录信息所对应的源视频统计信息,调整各视频记录信息的优先级信息,根据所述一个或多个视频记录信息中各视频记录信息所对应的调整后的所述优先级信息,确定所述视频采集信息所对应的一个或多个目标视频;进一步地,还可以根据所述视频记录信息所对应的权重相关信息确定所述优先级信息;从而基于优先级信息进行视频识别,通过对视频记录信息的即时调整,提高了视频识别的灵活性,提高了视频识别率与识别效率,提高了用户获取视频信息的效率,改善了用户体验。
而且,本发明还可以根据所述一个或多个视频记录信息中各视频记录信息所对应的视频段,对所述一个或多个视频记录信息进行归并处理,根据归并处理后的所述一个或多个视频记录信息确定所述视频采集信息所对应的一个或多个目标视频;从而通过归并处理,提高了视频识别率与识别效率,提高了视频识别的准确率,提高了用户获取视频信息的效率,改善了用户体验。
而且,本发明还可以将至少一个所述目标视频提供至所述视频采集信息所对应的用户设备;而且,还可以根据所述一个或多个目标视频,并结合所述视频采集信息所对应的用户兴趣信息,确定所述视频采集信息所对应的优选目标视频,将所述优选目标视频提供至所述视频采集信息所对应的用户设备;从而使得所提供的目标视频更符合用户需求,提高了用户获取视频信息的效率,改善了用户体验。
而且,本发明还可以根据视频采集信息在所述视频信息库中查询以获得与所述视频采集信息相匹配的一个或多个索引记录,根据所述一个或多个索引记录确定与所述视频采集信息相匹配的一个或多个视频记录信息;从而提高了视频匹配的效率,提高了用户获取视频信息的效率,改善了用户体验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1示出根据本发明一个方面的一种用于视频识别的网络设备与用户设备示意图;
图2示出根据本发明一个优选实施例的一种用于视频识别的网络设备与用户设备示意图;
图3示出根据本发明另一个方面的一种由网络设备与用户设备相配合以用于视频识别的方法流程图;
图4示出根据本发明一个优选实施例的一种由网络设备与用户设备相配合以用于视频识别的方法流程图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本发明作进一步详细描述。
图1示出根据本发明一个方面的一种用于视频识别的网络设备与用户设备示意图;其中,所述网络设备1包括用于根据视频采集信息在视频信息库中查询以获得与所述视频采集信息相匹配的一个或多个视频记录信息的装置(以下简称“查询装置11”);用于根据所述一个或多个视频记录信息确定所述视频采集信息所对应的一个或多个目标视频的装置(以下简称“确定装置12”);所述用户设备2包括用于向对应网络设备发送视频采集信息的装置(以下简称“发送装置21”);用于接收所述网络设备所提供的所述视频采集信息所对应的目标视频的装置(以下简称“接收装置22”)。所述网络设备1与用户设备2的各个装置之间互相配合,以实现视频识别。
具体地,所述用户设备2的发送装置21向对应网络设备发送视频采集信息;所述网络设备1的查询装置11根据视频采集信息在视频信息库中查询以获得与所述视频采集信息相匹配的一个或多个视频记录信息;所述网络设备1的确定装置12根据所述一个或多个视频记录信息确定所述视频采集信息所对应的一个或多个目标视频;所述用户设备2的接收装置22接收所述网络设备所提供的所述视频采集信息所对应的目标视频。
其中,所述网络设备包括一种能够按照事先设定或存储的指令,自动进行数值计算和信息处理的电子设备,其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述网络设备其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云;在此,云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述用户设备其包括但不限于任何一种可与用户通过键盘、遥控器、触摸板、或声控设备进行人机交互的移动或非移动电子产品,例如计算机、智能手机、PDA、游戏机、电视或IPTV等。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。本领域技术人员应能理解,其他的网络设备或用户设备同样适用于本发明,也应包含在本发明保护范围以内,并在此以引用方式包含于此。
上述各装置之间是持续不断工作的,在此,本领域技术人员应理解“持续”是指上述各装置分别实时地,或者按照设定的或实时调整的工作模式要求,在用户设备端向对应网络设备发送视频采集信息、在网络设备端根据视频采集信息在视频信息库中查询以获得与所述视频采集信息相匹配的一个或多个视频记录信息、在网络设备端根据所述一个或多个视频记录信息确定所述视频采集信息所对应的一个或多个目标视频、在用户设备端接收所述网络设备所提供的所述视频采集信息所对应的目标视频等,直至所述用户设备停止向对应网络设备发送视频采集信息。
所述用户设备2的发送装置21向对应网络设备发送视频采集信息。
具体地,所述发送装置21例如通过自身的采集设备或装置,对视频进行视频采集,从而获得关于所述视频的视频采集信息;其中,所述视频可以是当前所述用户设备上放映的视频,也可以是其他第三方设备上放映的视频;所述视频采集信息包括但不限于所述目标视频的音频信息(如获取音频流或直接录制的音频)、图像信息(如截屏或直接拍摄的图像)、连续图像信息(如连续截屏或拍摄的多张图像)、视频流信息(如拍摄的一段视频,包括语音信息与视频信息或不包含语音信息仅包含视频信息)或其组合等。例如,所述发送装置21通过定时截图、截取一定长度的音频等方式,对正在所述用户设备2上放映的视频进行视频信息采集,并将所截取的图片与音频作为所述视频采集信息;或者,所述发送装置21通过其所对应的摄像头或音频输入装置等设备,通过定时拍摄画面和/或录制一定长度的音频或视频等方式,对电视或其他外部第三方设备所播放的视频进行视频信息采集,并将所截取的图片、音频和/或视频作为所述视频采集信息。
在此,所述视频信息采集的数量、频率、长度等信息可基于缺省设置进行确定,如每秒拍摄一次视频画面或每段音频长度为5秒等;也可以基于用户自定义的设置进行确定;或者基于视频相关信息,如视频的内容信息、视频的类型信息、视频的播放时长信息(如总长度和/或已播放长度,例如若设定每部视频采集固定数量的图片,则根据总长度确定拍摄的时间点,或者当视频的已播放长度越长,则拍摄间隔周期越长/越短等)等。
优选地,所述视频采集信息对应于采集相关信息。例如,所述用户设备2还可以结合采集相关信息(例如采集场景的相关信息、所述用户的兴趣信息等)来决定所述视频信息采集的数量、频率、长度等信息,进而确定所述视频采集信息。例如当检测到采集场景较喧闹时,可以适当加长音频录制时间,以便后续根据所述视频采集信息较为准确地获取视频相关信息;若当检测到用户观看的时间超过一定长度,则认为用户对该视频的兴趣较大,因此可以适当加长音频录制时间或拍摄多帧视频图像,以便后续根据所述视频采集信息较为准确地获取视频相关信息等。
或者,所述发送装置21通过根据各种通信协议,通过各类数据传输接口,与存储或提供所述视频的视频采集信息的一个或多个信息库或其他第三方视频采集设备相交互,以获取关于视频的视频采集信息;其中,所述信息库或其他第三方设备获取视频采集信息的方法与上述发送装置21获取所述视频采集信息的方法相同或相似,故在此不再赘述,并通过引用的方式包含于此。
然后,所述发送装置21通过根据各种通信协议,通过各类数据传输接口,将所述视频采集信息发送给对应于所述用户设备2的网络设备1。
在此,本领域技术人员应能理解,所述视频采集信息可能对应于一个视频,也可能对应于多个视频。
所述网络设备1的查询装置11根据视频采集信息在视频信息库中查询以获得与所述视频采集信息相匹配的一个或多个视频记录信息。
具体地,所述查询装置11根据所述网络设备1所获取的视频采集信息,通过将所述视频采集信息与存储有视频采集数据的视频信息库进行查询匹配,其中,所述查询匹配包括但不限于对图像匹配、音频匹配、视频流匹配或其结合等的查询匹配,从而获得与所述视频采集信息相匹配的一个或多个视频记录信息。其中,所述视频记录信息可以是对应于源视频中的一个时间区间,即具有一定播放时长的视频段,例如每段视频记录信息对应于满足预定播放时长阈值(如30s至3min)的视频段;在此,存储于所述视频信息库中的视频记录信息包括但不限于对应于源视频的一个视频段、该视频段在源视频中的时间信息(如位于源视频的第9分钟至第13分钟)、源视频的名称等相关信息等中的一项或多项。
在此,所述网络设备1可以通过根据各种通信协议,通过各类数据传输接口,与所述用户设备2相交互,以获取获取关于所述视频的视频采集信息;或者,通过根据各种通信协议,通过各类数据传输接口,与其他存储或提供所述视频的视频采集信息的一个或多个数据库或其他第三方设备相交互,以获取关于所述视频的视频采集信息。
在此,本领域技术人员应能理解,经查询匹配所获得的视频记录信息可以是一个视频的一个或多个视频记录信息,也可以是多个视频的多个视频记录信息;在此,优选地,可根据匹配相关度对所确定的视频记录信息进行排序,如基于每个视频采集信息与信息库中的视频记录信息的相似度、匹配频次确定所述视频采集信息与所述视频记录信息的匹配相关度。
例如,所述视频采集信息包括图片1、声音1、视频段1;所述查询装置11例如通过直接将所述视频采集信息与所述视频信息库中的信息进行匹配,或者通过对所述视频采集信息的特征信息等进行提取,将与所述视频采集信息相对应的特征信息与所述视频信息库中的特征信息进行匹配等方式,查询一个或多个视频记录信息。
其中,可以将所述视频采集信息单独与所述视频信息库中的信息进行查询匹配,如图片1对应于视频记录信息A、视频记录信息B、视频记录信息C,声音1对应于视频记录信息C、视频记录信息D、视频记录信息E,视频段1对应于视频记录信息A、视频记录信息C、视频记录信息F等;也可以将多个所述视频采集信息结合,并将结合后的视频采集信息与所述视频信息库中的信息进行查询匹配,如图片1与声音1对应于视频记录信息A、视频记录信息C等。
优选地,所述视频信息库包括多个索引记录,每个索引记录包括候选视频采集信息与候选视频段的匹配记录信息,所述查询装置11可以根据视频采集信息在所述视频信息库中查询以获得与所述视频采集信息相匹配的一个或多个索引记录;根据所述一个或多个索引记录确定与所述视频采集信息相匹配的一个或多个视频记录信息。
具体地,所述视频信息库中可以包括多个索引记录,每个索引记录中包括候选视频采集信息(如某一图像、音频或视频源,或者与其对应的特征信息)以及所述候选视频采集信息与一个或多个候选视频段的匹配记录信息;在此,所述候选视频段可以对应于整个源视频,也可以是源视频的某一区间,从而通过将串行处理的视频源变更为可并行处理的多个视频片段的方式,提高了视频匹配的效率。在此,每个候选视频段的时间长度可根据预定的时间长度(如3分钟)进行确定,还可以根据不同视频的类型(如科教类与娱乐类)、视频内容等中的一项或多项进行确定,或者也可以基于上述一项或多项,或根据大量用户观看视频的断点进行统计分析后通过机器学习等方式训练获取;对应于不同源视频的候选视频段的时间长度可能相同或不同,对应于同一视频源的候选视频段的时间长度也可能相同或不同(如同一视频的核心情节段与过度情节段所对应的候选视频段的长度不同)。
例如,图像1(或称帧1)对应于视频A的候选视频段1、图像1对应于视频B的候选视频段4,音频1对应于视频A的候选视频段2、音频1对应于视频C的候选视频段6,视频源1对应于视频A的候选视频段3等等。或者,图像1对应于(视频A的候选视频段1,视频B的候选视频段4),音频1对应于(视频A的候选视频段2,视频C的候选视频段6),视频源1对应于(视频A的候选视频段3)等。其中,每个视频的候选视频段的编号可以根据在该视频内的时间顺序确定,也可以根据每个候选视频段的重要程度(如重要剧情、用户关注程度等)进行确定。
优选地,每条所述索引记录中所对应的一个或多个候选视频段可以经过排序,如按照所述候选视频段所对应的源视频的视频ID进行排序,对应于同一源视频的多个候选视频段则可根据在源视频中的时间顺序进行排序,从而加快后续对视频记录信息的归并处理等。
所述查询装置11可以根据视频采集信息在所述视频信息库中查询以获得与所述视频采集信息相匹配的一个或多个索引记录;然后例如通过直接将所述索引记录所对应的候选视频段作为所述视频记录信息,或者将所述一个或多个索引记录所对应的候选视频段进行归并处理等方式,确定与所述视频采集信息相匹配的一个或多个视频记录信息。
所述网络设备1的确定装置12根据所述一个或多个视频记录信息确定所述视频采集信息所对应的一个或多个目标视频。
具体地,所述确定装置12根据所述一个或多个视频记录信息,通过结合所述视频记录信息所对应的源视频,确定所述视频采集信息所对应的一个或多个目标视频。例如,可以将所述视频记录信息所对应的一个或多个源视频均作为所述目标视频,也可以将所述一个或多个源视频经过排序或加权计算等方式,选出排序在前N个的源视频作为所述目标视频。
所述用户设备2的接收装置22接收所述网络设备所提供的所述视频采集信息所对应的目标视频。
具体地,所述接收装置22通过根据各种通信协议,通过各类数据传输接口,通过与所述网络设备1相交互,或者与能够与所述网络设备1相交互以获取所述目标视频的其他第三方中转设备相交互,以接收所述网络设备所提供的所述视频采集信息所对应的目标视频。
其中,所获取的目标视频包括但不限于目标视频的名称、预览画面(如视频海报、视频截图等)、播放链接、视频简介(如剧情介绍、演职员名单)、视频类别、互动网站(如论坛、贴吧等)等中的一项或多项。
优选地,所述确定装置12可以根据所述一个或多个视频记录信息中各视频记录信息所对应的优先级信息确定所述视频采集信息所对应的一个或多个目标视频。
具体地,所述网络设备1可以例如通过与存储视频记录信息的视频信息库相交互,或者与能够与所述网络设备1相交互以提供所述视频记录信息所对应的优先级信息的其他第三方中转设备相交互,以获取所述视频记录信息所对应的优先级信息。
其中,所述优先级信息可以根据如系统缺省设置、用户自定义、根据点击量或浏览量等用户数据进行机器自学习调整等一种或多种方式进行确定。
然后,所述确定装置12可以根据所述优先级信息,对所述视频记录信息进行排序,例如基于优先级高低来确定所述视频采集信息所对应的一个或多个目标视频。例如,将优先级最高的视频记录信息和/或视频记录信息所对应的源视频作为所述目标视频;或者按照优先级排序后,将排序后的视频记录信息和/或视频记录信息所对应的源视频作为所述目标视频等。
更优选地,所述确定装置12可以根据所述一个或多个视频记录信息中各视频记录信息所对应的源视频统计信息,调整各视频记录信息的优先级信息;根据所述一个或多个视频记录信息中各视频记录信息所对应的调整后的所述优先级信息,确定所述视频采集信息所对应的一个或多个目标视频。
具体地,所述网络设备1可以例如通过与存储视频记录信息的源视频统计信息的视频信息库相交互,或者与能够与所述网络设备1相交互以提供所述视频记录信息所对应的源视频统计信息的其他第三方中转设备相交互,以获取所述视频记录信息所对应的源视频统计信息。
其中,所述源视频统计信息包括但不限于所述视频记录信息所对应的视频段所属的源视频的数量、时长、被检索频次、被访问/浏览频次、播放频次、播放时长、与源视频相关联的关键词数量等一种或多种信息;或者基于所述视频记录信息所对应的视频段的统计信息,如数量、时长、被检索频次、被访问/浏览频次、播放频次、播放时长、与源视频相关联的关键词数量等信息来确定所述源视频统计信息;或者基于所述源视频所对应的一个或多个视频段的统计信息来确定所述源视频统计信息;或者基于所述源视频所对应的一帧或多帧图像的统计信息来确定所述源视频统计信息等。
然后,所述确定装置12根据所述源视频统计信息,通过例如将所述源视频统计信息进行相加或加权等方式,根据计算所得的结果确定或调整所述视频记录信息的优先级信息,例如若所得结果数值最大,则将优先级设置为最高或提高原有的优先级等级等。
然后,所述确定装置12根据所述一个或多个视频记录信息中各视频记录信息所对应的调整后的所述优先级信息,对所述视频记录信息进行排序,例如基于调整后的优先级高低来确定所述视频采集信息所对应的一个或多个目标视频。例如,将调整后优先级最高的视频记录信息和/或视频记录信息所对应的源视频作为所述目标视频;或者按照调整后的优先级排序后,将排序后的视频记录信息和/或视频记录信息所对应的源视频作为所述目标视频等。
更优选地,所述网络设备1还包括用于根据所述视频记录信息所对应的权重相关信息确定所述优先级信息的装置(以下简称“优先级确定装置”,未示出)。
具体地,所述权重相关信息包括但不限于对应视频段的视频权重(包括源视频权重和/或视频段权重)、采集信息权重(如帧权重、音频段权重等)、采集信息在视频段中的权重。
其中,所述视频权重对应于该源视频或视频段在一定时间内(如近一个月内或其他限定时限内)的重要程度和/或受欢迎程度,可通过对源视频或视频段的数量、时长、被检索频次、被访问/浏览频次、播放频次、播放时长、与源视频相关联的关键词数量等信息来确定所述视频权重。在此,上述统计数据可根据搜索引擎中的数据(如视频关注度和/或重要性等数据)、Page Rank等的统计等获得。
所述采集信息权重对应于所述采集信息所反映的内容的重要程度,例如帧权重则是通过根据这一帧内的内容信息来确定该帧是否重要,例如若该帧基本空白或仅包含蓝天白云等信息,则该帧重要度很低,相应地,帧权重则很低;而若包含了人物、场景等信息的帧,由于一般可以基于这种帧来确定对应的目标视频,因此重要度很高,相应地,帧权重也很高。在此,采集信息权重的提取可基于机器学习或用户反馈等方式获取;例如,所有的采集信息的权重为一个初始值,然后根据用户后续的点击或其他反馈进行排序调权,如将用户点击量多的采集信息的权重调高,点击量少的采集信息的权重调低等。
所述采集信息在视频段中的权重对应于所述采集信息是否能够代表所述视频段或源视频,若能够代表,则权重高,反之则权重低。例如,若某一帧或某一句话反复的出现在一个影片中,则其越能代表该视频,相应地,所述采集信息在视频段中的权重也就越高;或者,例如影片对应的海报由于能够代表该视频,因此在所述视频段中的权重也很高等。在此,如所述采集信息权重类似,所述采集信息在视频段中的权重也可以根据机器学习或用户反馈,基于视频流分析等方式进行获取。
在此,本领域技术人员应能理解,本发明中所述的“帧”并非特指关键帧,而是任何时间点所采集的视频的帧。
然后,所述优先级确定装置根据所述视频段的视频权重(包括源视频权重和/或视频段权重)、采集信息权重(如帧权重、音频段权重等)、采集信息在视频段中的权重等信息,通过对上述各类信息加权相加等方式,确定与所述视频记录信息相对应的优先级信息。
优选地,所述确定装置12可以根据所述一个或多个视频记录信息中各视频记录信息所对应的视频段,对所述一个或多个视频记录信息进行归并处理;根据归并处理后的所述一个或多个视频记录信息确定所述视频采集信息所对应的一个或多个目标视频。
具体地,所述确定装置12例如通过对所述一个或多个视频记录信息所对应的视频段进行特征值比对(如哈希校验)、时长比对、名称比对、文件大小比对等方式,将对应于同一视频段的一个或多个视频记录信息进行归并处理,从而将所述对应于同一视频段的一个或多个视频记录信息归并为同一视频记录信息。例如,若所述视频采集信息中的图片1与声音1所对应的视频记录信息均对应于视频段X,则将这两个视频记录信息进行归并。
然后所述确定装置12根据所归并处理后的视频记录信息确定所述视频采集信息所对应的一个或多个目标视频。例如将所归并后的视频记录信息所对应的视频段或所述视频段所对应的源视频作为所述目标视频。
在此,本领域技术人员应能理解,所述确定装置12根据归并处理后的视频记录信息确定所述目标视频的方式与图1中所述确定装置12确定目标视频的方式和/或上述任一项实施例中确定目标视频的方式相同或相似,故在此不再赘述,并通过引用的方式包含于此。
例如,本领域技术人员应能理解,所述网络设备1还可以对索引记录进行归并处理,以根据归并后的索引记录确定视频记录信息和/或确定目标视频信息;例如,若图像1与音频1均出自对同一源视频的视频采集信息,图像1对应的索引记录为(视频A的候选视频段1,视频B的候选视频段4),音频1对应的索引记录为(视频C的候选视频段6,视频A的候选视频段1),则归并后的索引记录为(视频A的候选视频段1,视频B的候选视频段4,视频C的候选视频段6);并根据归并后的索引记录确定目标视频。
进一步地,所述网络设备1在归并过程中可根据归并前的视频记录信息的权重等信息来确定与归并后的视频记录信息相关联的优先级信息。例如,继上例,若:
图像1对应的索引记录为(视频A的候选视频段1|权重4,视频B的候选视频段4|权重1);
音频1对应的索引记录为(视频A的候选视频段6|权重2,视频A的候选视频段1|权重1);
其中,视频A权重为3,视频B权重为2,则
归并后的索引记录为(视频A的候选视频段1|权重(3*(4+1)),视频B的候选视频段4|权重(2*1),视频A的候选视频段6|权重(3*2));从而按优先级从高到底排列,所述目标视频为视频A的候选视频段1、视频A的候选视频段6、视频B的候选视频段4。
进一步地,还可以归并为(视频A|权重(3*(4+1)+3*2),视频B|权重(2*1));从而按优先级从高到底排列,所述目标视频为视频A、视频B。
图2示出根据本发明一个优选实施例的一种用于视频识别的网络设备与用户设备示意图;其中,所述网络设备1包括用于根据视频采集信息在视频信息库中查询以获得与所述视频采集信息相匹配的一个或多个视频记录信息的装置(以下简称“查询装置11’”);用于根据所述一个或多个视频记录信息确定所述视频采集信息所对应的一个或多个目标视频的装置(以下简称“确定装置12’”);用于将至少一个所述目标视频提供至所述视频采集信息所对应的用户设备的装置(以下简称“提供装置13’”);所述用户设备2包括用于向对应网络设备发送视频采集信息的装置(以下简称“发送装置21’”);用于接收所述网络设备所提供的所述视频采集信息所对应的目标视频的装置(以下简称“接收装置22’”)。所述网络设备1与用户设备2的各个装置之间互相配合,以实现视频识别。
具体地,所述用户设备2的发送装置21’向对应网络设备发送视频采集信息;所述网络设备1的查询装置11’根据视频采集信息在视频信息库中查询以获得与所述视频采集信息相匹配的一个或多个视频记录信息;所述网络设备1的确定装置12’根据所述一个或多个视频记录信息确定所述视频采集信息所对应的一个或多个目标视频;所述网络设备的提供装置13’将至少一个所述目标视频提供至所述视频采集信息所对应的用户设备;相应地,所述用户设备2的接收装置22’接收所述网络设备所提供的所述视频采集信息所对应的目标视频。
其中,所述网络设备1的查询装置11’、确定装置12’、所述用户设备2的发送装置21’、接收装置22’与图1所示对应装置相同或基本相同,故此处不再赘述,并通过引用的方式包含于此。
上述各装置之间是持续不断工作的,在此,本领域技术人员应理解“持续”是指上述各装置分别实时地,或者按照设定的或实时调整的工作模式要求,在用户设备端向对应网络设备发送视频采集信息、在网络设备端根据视频采集信息在视频信息库中查询以获得与所述视频采集信息相匹配的一个或多个视频记录信息、在网络设备端根据所述一个或多个视频记录信息确定所述视频采集信息所对应的一个或多个目标视频、在网络设备端将至少一个所述目标视频提供至所述视频采集信息所对应的用户设备、相应地在用户设备端接收所述网络设备所提供的所述视频采集信息所对应的目标视频等,直至所述用户设备停止向对应网络设备发送视频采集信息。
所述网络设备的提供装置13’将至少一个所述目标视频提供至所述视频采集信息所对应的用户设备。
具体地,所述提供装置13’通过根据各种通信协议,通过各类数据传输接口,与所述视频采集信息相对应的用户设备相交互,从而将至少一个所述目标视频提供至所述视频采集信息所对应的用户设备。
其中,所述目标视频包括但不限于目标视频的名称、预览画面(如视频海报、视频截图等)、播放链接、视频简介(如剧情介绍、演职员名单)、视频类别、互动网站(如论坛、贴吧等)等中的一项或多项。
其中,所述目标视频可以是不限制数量的多个,也可以是限定数量的一个或多个,如根据所述目标视频的优先级信息将优先级最高的目标视频提供给所述用户设备,或者按照所述目标视频的优先级信息将排序后的固定数量的目标视频提供给所述用户设备。在此,本领域技术人员应能理解,若未能查询确定到与所述视频采集信息相对应的目标视频,则所提供的目标视频信息为空,或者将其他与所述视频采集信息相关联的信息(如同类视频等)提供至所述用户设备。
优选地,所述网络设备1还包括用于根据所述一个或多个目标视频,并结合所述视频采集信息所对应的用户兴趣信息,确定所述视频采集信息所对应的优选目标视频的装置(以下简称“优选确定装置”,未示出),用于将所述优选目标视频提供至所述视频采集信息所对应的用户设备的装置(以下简称“优选提供装置”,未示出)。
具体地,所述优选确定装置可以通过根据各种通信协议,通过各类数据传输接口,与存储或提供所述视频采集信息的一个或多个用户设备、数据库或其他第三方设备相交互,以获取所述视频采集信息所对应的用户兴趣信息;其中,所述用户设备、数据库或其他第三方设备获取用户兴趣信息的方法可例如基于用户的浏览记录、用户的设置信息、用户的输入记录等进行确定。
例如,所述优选确定装置可获取所述用户设置的兴趣信息,其中,所述用户兴趣信息包括但不限于感兴趣的视频类别、喜爱的演员、通常观看视频的时间段、通常观看视频的时长、喜欢的类型信息(如视频、图片、论坛、音频等)等信息;或者,所述优选确定装置可根据所述视频采集信息的相关信息,例如图片数量、音频录制的时间长短等信息,确定所述用户兴趣信息,如图片数量越多和/或音频录制的时间越长则表明所述用户的兴趣越大。
然后,所述优选确定装置根据所述确定装置12’所确定的一个或多个目标视频,结合所述视频采集信息所对应的用户兴趣信息,对所述目标视频进行筛选或处理,以确定所述视频采集信息所对应的优选目标视频。
例如,若用户兴趣很大,则增加所提供的目标视频数量和/或增加所提供的目标视频长度(如将所匹配的多个视频段组成一个更长区间的视频段,或者将原定N分钟的视频段扩展为N+M分钟的视频段等),或者将与视频段相对应的完整源视频作为优选目标视频等。
或者,例如,若用户的兴趣点为娱乐类视频,则删除所确定的目标视频中的教育类视频,并将所确定的目标视频中的娱乐类视频作为所述优选目标视频等。
或者,例如,若用户乐于观看互动类信息,则将与所述目标视频相对应的视频信息以及贴吧等互动论坛信息作为优选目标视频等。
在此,本领域技术人员应能理解,与所述目标视频类似,所述优选目标视频可以是一个或多个。
然后,所述优选提供装置通过根据各种通信协议,通过各类数据传输接口,与所述视频采集信息相对应的用户设备相交互,从而将所述优选目标视频提供至所述视频采集信息所对应的用户设备。
其中,所述优选目标视频包括但不限于优选目标视频的名称、预览画面(如视频海报、视频截图等)、播放链接、视频简介(如剧情介绍、演职员名单)、视频类别、互动网站(如论坛、贴吧等)等中的一项或多项。
在此,所述优选目标视频的提供方法与所述提供装置13’的提供方法相同或相似,故在此不再赘述,并通过引用的方式包含于此。
图3示出根据本发明另一个方面的一种由网络设备与用户设备相配合以用于视频识别的方法流程图。
具体地,在步骤s1中,所述用户设备2向对应网络设备发送视频采集信息;在步骤s2中,所述网络设备1根据视频采集信息在视频信息库中查询以获得与所述视频采集信息相匹配的一个或多个视频记录信息;在步骤s3中,所述网络设备1根据所述一个或多个视频记录信息确定所述视频采集信息所对应的一个或多个目标视频;在步骤s4中,所述用户设备2接收所述网络设备所提供的所述视频采集信息所对应的目标视频。
上述各步骤之间是持续不断工作的,在此,本领域技术人员应理解“持续”是指上述各步骤分别实时地,或者按照设定的或实时调整的工作模式要求,在用户设备端向对应网络设备发送视频采集信息、在网络设备端根据视频采集信息在视频信息库中查询以获得与所述视频采集信息相匹配的一个或多个视频记录信息、在网络设备端根据所述一个或多个视频记录信息确定所述视频采集信息所对应的一个或多个目标视频、在用户设备端接收所述网络设备所提供的所述视频采集信息所对应的目标视频等,直至所述用户设备停止向对应网络设备发送视频采集信息。
在步骤s1中,所述用户设备2向对应网络设备发送视频采集信息。
具体地,在步骤s1中,所述用户设备2例如通过自身的采集设备或装置,对视频进行视频采集,从而获得关于所述视频的视频采集信息;其中,所述视频可以是当前所述用户设备上放映的视频,也可以是其他第三方设备上放映的视频;所述视频采集信息包括但不限于所述目标视频的音频信息(如获取音频流或直接录制的音频)、图像信息(如截屏或直接拍摄的图像)、连续图像信息(如连续截屏或拍摄的多张图像)、视频流信息(如拍摄的一段视频,包括语音信息与视频信息或不包含语音信息仅包含视频信息)或其组合等。例如,在步骤s1中,所述用户设备2通过定时截图、截取一定长度的音频等方式,对正在所述用户设备2上放映的视频进行视频信息采集,并将所截取的图片与音频作为所述视频采集信息;或者,在步骤s1中,所述用户设备2通过其所对应的摄像头或音频输入装置等设备,通过定时拍摄画面和/或录制一定长度的音频或视频等方式,对电视或其他外部第三方设备所播放的视频进行视频信息采集,并将所截取的图片、音频和/或视频作为所述视频采集信息。
在此,所述视频信息采集的数量、频率、长度等信息可基于缺省设置进行确定,如每秒拍摄一次视频画面或每段音频长度为5秒等;也可以基于用户自定义的设置进行确定;或者基于视频相关信息,如视频的内容信息、视频的类型信息、视频的播放时长信息(如总长度和/或已播放长度,例如若设定每部视频采集固定数量的图片,则根据总长度确定拍摄的时间点,或者当视频的已播放长度越长,则拍摄间隔周期越长/越短等)等。
优选地,所述视频采集信息对应于采集相关信息。例如,所述用户设备2还可以结合采集相关信息(例如采集场景的相关信息、所述用户的兴趣信息等)来决定所述视频信息采集的数量、频率、长度等信息,进而确定所述视频采集信息。例如当检测到采集场景较喧闹时,可以适当加长音频录制时间,以便后续根据所述视频采集信息较为准确地获取视频相关信息;若当检测到用户观看的时间超过一定长度,则认为用户对该视频的兴趣较大,因此可以适当加长音频录制时间或拍摄多帧视频图像,以便后续根据所述视频采集信息较为准确地获取视频相关信息等。
或者,在步骤s1中,所述用户设备2通过根据各种通信协议,通过各类数据传输接口,与存储或提供所述视频的视频采集信息的一个或多个信息库或其他第三方视频采集设备相交互,以获取关于视频的视频采集信息;其中,所述信息库或其他第三方设备获取视频采集信息的方法与上述步骤s1获取所述视频采集信息的方法相同或相似,故在此不再赘述,并通过引用的方式包含于此。
然后,在步骤s1中,所述用户设备2通过根据各种通信协议,通过各类数据传输接口,将所述视频采集信息发送给对应于所述用户设备2的网络设备1。
在此,本领域技术人员应能理解,所述视频采集信息可能对应于一个视频,也可能对应于多个视频。
在步骤s2中,所述网络设备1根据视频采集信息在视频信息库中查询以获得与所述视频采集信息相匹配的一个或多个视频记录信息。
具体地,在步骤s2中,所述网络设备1根据所述网络设备1所获取的视频采集信息,通过将所述视频采集信息与存储有视频采集数据的视频信息库进行查询匹配,其中,所述查询匹配包括但不限于对图像匹配、音频匹配、视频流匹配或其结合等的查询匹配,从而获得与所述视频采集信息相匹配的一个或多个视频记录信息。其中,所述视频记录信息可以是对应于源视频中的一个时间区间,即具有一定播放时长的视频段,例如每段视频记录信息对应于满足预定播放时长阈值(如30s至3min)的视频段;在此,存储于所述视频信息库中的视频记录信息包括但不限于对应于源视频的一个视频段、该视频段在源视频中的时间信息(如位于源视频的第9分钟至第13分钟)、源视频的名称等相关信息等中的一项或多项。
在此,所述网络设备1可以通过根据各种通信协议,通过各类数据传输接口,与所述用户设备2相交互,以获取获取关于所述视频的视频采集信息;或者,通过根据各种通信协议,通过各类数据传输接口,与其他存储或提供所述视频的视频采集信息的一个或多个数据库或其他第三方设备相交互,以获取关于所述视频的视频采集信息。
在此,本领域技术人员应能理解,经查询匹配所获得的视频记录信息可以是一个视频的一个或多个视频记录信息,也可以是多个视频的多个视频记录信息;在此,优选地,可根据匹配相关度对所确定的视频记录信息进行排序,如基于每个视频采集信息与信息库中的视频记录信息的相似度、匹配频次确定所述视频采集信息与所述视频记录信息的匹配相关度。
例如,所述视频采集信息包括图片1、声音1、视频段1;在步骤s2中,所述网络设备1例如通过直接将所述视频采集信息与所述视频信息库中的信息进行匹配,或者通过对所述视频采集信息的特征信息等进行提取,将与所述视频采集信息相对应的特征信息与所述视频信息库中的特征信息进行匹配等方式,查询一个或多个视频记录信息。
其中,可以将所述视频采集信息单独与所述视频信息库中的信息进行查询匹配,如图片1对应于视频记录信息A、视频记录信息B、视频记录信息C,声音1对应于视频记录信息C、视频记录信息D、视频记录信息E,视频段1对应于视频记录信息A、视频记录信息C、视频记录信息F等;也可以将多个所述视频采集信息结合,并将结合后的视频采集信息与所述视频信息库中的信息进行查询匹配,如图片1与声音1对应于视频记录信息A、视频记录信息C等。
优选地,所述视频信息库包括多个索引记录,每个索引记录包括候选视频采集信息与候选视频段的匹配记录信息,在步骤s2中,所述网络设备1可以根据视频采集信息在所述视频信息库中查询以获得与所述视频采集信息相匹配的一个或多个索引记录;根据所述一个或多个索引记录确定与所述视频采集信息相匹配的一个或多个视频记录信息。
具体地,所述视频信息库中可以包括多个索引记录,每个索引记录中包括候选视频采集信息(如某一图像、音频或视频源,或者与其对应的特征信息)以及所述候选视频采集信息与一个或多个候选视频段的匹配记录信息;在此,所述候选视频段可以对应于整个源视频,也可以是源视频的某一区间,从而通过将串行处理的视频源变更为可并行处理的多个视频片段的方式,提高了视频匹配的效率。在此,每个候选视频段的时间长度可根据预定的时间长度(如3分钟)进行确定,还可以根据不同视频的类型(如科教类与娱乐类)、视频内容等中的一项或多项进行确定,或者也可以基于上述一项或多项,或根据大量用户观看视频的断点进行统计分析后通过机器学习等方式训练获取;对应于不同源视频的候选视频段的时间长度可能相同或不同,对应于同一视频源的候选视频段的时间长度也可能相同或不同(如同一视频的核心情节段与过度情节段所对应的候选视频段的长度不同)。
例如,图像1(或称帧1)对应于视频A的候选视频段1、图像1对应于视频B的候选视频段4,音频1对应于视频A的候选视频段2、音频1对应于视频C的候选视频段6,视频源1对应于视频A的候选视频段3等等。或者,图像1对应于(视频A的候选视频段1,视频B的候选视频段4),音频1对应于(视频A的候选视频段2,视频C的候选视频段6),视频源1对应于(视频A的候选视频段3)等。其中,每个视频的候选视频段的编号可以根据在该视频内的时间顺序确定,也可以根据每个候选视频段的重要程度(如重要剧情、用户关注程度等)进行确定。
优选地,每条所述索引记录中所对应的一个或多个候选视频段可以经过排序,如按照所述候选视频段所对应的源视频的视频ID进行排序,对应于同一源视频的多个候选视频段则可根据在源视频中的时间顺序进行排序,从而加快后续对视频记录信息的归并处理等。
在步骤s2中,所述网络设备1可以根据视频采集信息在所述视频信息库中查询以获得与所述视频采集信息相匹配的一个或多个索引记录;然后例如通过直接将所述索引记录所对应的候选视频段作为所述视频记录信息,或者将所述一个或多个索引记录所对应的候选视频段进行归并处理等方式,确定与所述视频采集信息相匹配的一个或多个视频记录信息。
在步骤s3中,所述网络设备1根据所述一个或多个视频记录信息确定所述视频采集信息所对应的一个或多个目标视频。
具体地,在步骤s3中,所述网络设备1根据所述一个或多个视频记录信息,通过结合所述视频记录信息所对应的源视频,确定所述视频采集信息所对应的一个或多个目标视频。例如,可以将所述视频记录信息所对应的一个或多个源视频均作为所述目标视频,也可以将所述一个或多个源视频经过排序或加权计算等方式,选出排序在前N个的源视频作为所述目标视频。
在步骤s4中,所述用户设备2接收所述网络设备所提供的所述视频采集信息所对应的目标视频。
具体地,在步骤s4中,所述用户设备2通过根据各种通信协议,通过各类数据传输接口,通过与所述网络设备1相交互,或者与能够与所述网络设备1相交互以获取所述目标视频的其他第三方中转设备相交互,以接收所述网络设备所提供的所述视频采集信息所对应的目标视频。
其中,所获取的目标视频包括但不限于目标视频的名称、预览画面(如视频海报、视频截图等)、播放链接、视频简介(如剧情介绍、演职员名单)、视频类别、互动网站(如论坛、贴吧等)等中的一项或多项。
优选地,在步骤s3中,所述网络设备1可以根据所述一个或多个视频记录信息中各视频记录信息所对应的优先级信息确定所述视频采集信息所对应的一个或多个目标视频。
具体地,所述网络设备1可以例如通过与存储视频记录信息的视频信息库相交互,或者与能够与所述网络设备1相交互以提供所述视频记录信息所对应的优先级信息的其他第三方中转设备相交互,以获取所述视频记录信息所对应的优先级信息。
其中,所述优先级信息可以根据如系统缺省设置、用户自定义、根据点击量或浏览量等用户数据进行机器自学习调整等一种或多种方式进行确定。
然后,在步骤s3中,所述网络设备1可以根据所述优先级信息,对所述视频记录信息进行排序,例如基于优先级高低来确定所述视频采集信息所对应的一个或多个目标视频。例如,将优先级最高的视频记录信息和/或视频记录信息所对应的源视频作为所述目标视频;或者按照优先级排序后,将排序后的视频记录信息和/或视频记录信息所对应的源视频作为所述目标视频等。
更优选地,在步骤s3中,所述网络设备1可以根据所述一个或多个视频记录信息中各视频记录信息所对应的源视频统计信息,调整各视频记录信息的优先级信息;根据所述一个或多个视频记录信息中各视频记录信息所对应的调整后的所述优先级信息,确定所述视频采集信息所对应的一个或多个目标视频。
具体地,所述网络设备1可以例如通过与存储视频记录信息的源视频统计信息的视频信息库相交互,或者与能够与所述网络设备1相交互以提供所述视频记录信息所对应的源视频统计信息的其他第三方中转设备相交互,以获取所述视频记录信息所对应的源视频统计信息。
其中,所述源视频统计信息包括但不限于所述视频记录信息所对应的视频段所属的源视频的数量、时长、被检索频次、被访问/浏览频次、播放频次、播放时长、与源视频相关联的关键词数量等一种或多种信息;或者基于所述视频记录信息所对应的视频段的统计信息,如数量、时长、被检索频次、被访问/浏览频次、播放频次、播放时长、与源视频相关联的关键词数量等信息来确定所述源视频统计信息;或者基于所述源视频所对应的一个或多个视频段的统计信息来确定所述源视频统计信息;或者基于所述源视频所对应的一帧或多帧图像的统计信息来确定所述源视频统计信息等。
然后,在步骤s3中,所述网络设备1根据所述源视频统计信息,通过例如将所述源视频统计信息进行相加或加权等方式,根据计算所得的结果确定或调整所述视频记录信息的优先级信息,例如若所得结果数值最大,则将优先级设置为最高或提高原有的优先级等级等。
然后,在步骤s3中,所述网络设备1根据所述一个或多个视频记录信息中各视频记录信息所对应的调整后的所述优先级信息,对所述视频记录信息进行排序,例如基于调整后的优先级高低来确定所述视频采集信息所对应的一个或多个目标视频。例如,将调整后优先级最高的视频记录信息和/或视频记录信息所对应的源视频作为所述目标视频;或者按照调整后的优先级排序后,将排序后的视频记录信息和/或视频记录信息所对应的源视频作为所述目标视频等。
更优选地,所述方法还包括用于在网络设备1根据所述视频记录信息所对应的权重相关信息确定所述优先级信息的步骤(以下简称“步骤s5”,未示出)。
具体地,所述权重相关信息包括但不限于对应视频段的视频权重(包括源视频权重和/或视频段权重)、采集信息权重(如帧权重、音频段权重等)、采集信息在视频段中的权重。
其中,所述视频权重对应于该源视频或视频段在一定时间内(如近一个月内或其他限定时限内)的重要程度和/或受欢迎程度,可通过对源视频或视频段的数量、时长、被检索频次、被访问/浏览频次、播放频次、播放时长、与源视频相关联的关键词数量等信息来确定所述视频权重。在此,上述统计数据可根据搜索引擎中的数据(如视频关注度和/或重要性等数据)、Page Rank等的统计等获得。
所述采集信息权重对应于所述采集信息所反映的内容的重要程度,例如帧权重则是通过根据这一帧内的内容信息来确定该帧是否重要,例如若该帧基本空白或仅包含蓝天白云等信息,则该帧重要度很低,相应地,帧权重则很低;而若包含了人物、场景等信息的帧,由于一般可以基于这种帧来确定对应的目标视频,因此重要度很高,相应地,帧权重也很高。在此,采集信息权重的提取可基于机器学习或用户反馈等方式获取;例如,所有的采集信息的权重为一个初始值,然后根据用户后续的点击或其他反馈进行排序调权,如将用户点击量多的采集信息的权重调高,点击量少的采集信息的权重调低等。
所述采集信息在视频段中的权重对应于所述采集信息是否能够代表所述视频段或源视频,若能够代表,则权重高,反之则权重低。例如,若某一帧或某一句话反复的出现在一个影片中,则其越能代表该视频,相应地,所述采集信息在视频段中的权重也就越高;或者,例如影片对应的海报由于能够代表该视频,因此在所述视频段中的权重也很高等。在此,如所述采集信息权重类似,所述采集信息在视频段中的权重也可以根据机器学习或用户反馈,基于视频流分析等方式进行获取。
在此,本领域技术人员应能理解,本发明中所述的“帧”并非特指关键帧,而是任何时间点所采集的视频的帧。
然后,在步骤s5中,所述网络设备1根据所述视频段的视频权重(包括源视频权重和/或视频段权重)、采集信息权重(如帧权重、音频段权重等)、采集信息在视频段中的权重等信息,通过对上述各类信息加权相加等方式,确定与所述视频记录信息相对应的优先级信息。
优选地,在步骤s3中,所述网络设备1可以根据所述一个或多个视频记录信息中各视频记录信息所对应的视频段,对所述一个或多个视频记录信息进行归并处理;根据归并处理后的所述一个或多个视频记录信息确定所述视频采集信息所对应的一个或多个目标视频。
具体地,在步骤s3中,所述网络设备1例如通过对所述一个或多个视频记录信息所对应的视频段进行特征值比对(如哈希校验)、时长比对、名称比对、文件大小比对等方式,将对应于同一视频段的一个或多个视频记录信息进行归并处理,从而将所述对应于同一视频段的一个或多个视频记录信息归并为同一视频记录信息。例如,若所述视频采集信息中的图片1与声音1所对应的视频记录信息均对应于视频段X,则将这两个视频记录信息进行归并。
然后在步骤s3中,所述网络设备1根据所归并处理后的视频记录信息确定所述视频采集信息所对应的一个或多个目标视频。例如将所归并后的视频记录信息所对应的视频段或所述视频段所对应的源视频作为所述目标视频。
在此,本领域技术人员应能理解,所述步骤s3根据归并处理后的视频记录信息确定所述目标视频的方式与图3中所述步骤s3确定目标视频的方式和/或上述任一项实施例中确定目标视频的方式相同或相似,故在此不再赘述,并通过引用的方式包含于此。
例如,本领域技术人员应能理解,所述网络设备1还可以对索引记录进行归并处理,以根据归并后的索引记录确定视频记录信息和/或确定目标视频信息;例如,若图像1与音频1均出自对同一源视频的视频采集信息,图像1对应的索引记录为(视频A的候选视频段1,视频B的候选视频段4),音频1对应的索引记录为(视频C的候选视频段6,视频A的候选视频段1),则归并后的索引记录为(视频A的候选视频段1,视频B的候选视频段4,视频C的候选视频段6);并根据归并后的索引记录确定目标视频。
进一步地,所述网络设备1在归并过程中可根据归并前的视频记录信息的权重等信息来确定与归并后的视频记录信息相关联的优先级信息。例如,继上例,若:
图像1对应的索引记录为(视频A的候选视频段1|权重4,视频B的候选视频段4|权重1);
音频1对应的索引记录为(视频A的候选视频段6|权重2,视频A的候选视频段1|权重1);
其中,视频A权重为3,视频B权重为2,则
归并后的索引记录为(视频A的候选视频段1|权重(3*(4+1)),视频B的候选视频段4|权重(2*1),视频A的候选视频段6|权重(3*2));从而按优先级从高到底排列,所述目标视频为视频A的候选视频段1、视频A的候选视频段6、视频B的候选视频段4。
进一步地,还可以归并为(视频A|权重(3*(4+1)+3*2),视频B|权重(2*1));从而按优先级从高到底排列,所述目标视频为视频A、视频B。
图4示出根据本发明一个优选实施例的一种由网络设备与用户设备相配合以用于视频识别的方法流程图。
具体地,在步骤s1’中,所述用户设备2向对应网络设备发送视频采集信息;在步骤s2’中所述网络设备1根据视频采集信息在视频信息库中查询以获得与所述视频采集信息相匹配的一个或多个视频记录信息;在步骤s3’中,所述网络设备1根据所述一个或多个视频记录信息确定所述视频采集信息所对应的一个或多个目标视频;在步骤s4’中,所述网络设备1将至少一个所述目标视频提供至所述视频采集信息所对应的用户设备;相应地,在步骤s4’中,所述用户设备2接收所述网络设备所提供的所述视频采集信息所对应的目标视频。
其中,所述网络设备1的步骤s2’、步骤s3’、所述用户设备2的步骤s1’、步骤s4’与图3所示对应步骤相同或基本相同,故此处不再赘述,并通过引用的方式包含于此。
上述各步骤之间是持续不断工作的,在此,本领域技术人员应理解“持续”是指上述各步骤分别实时地,或者按照设定的或实时调整的工作模式要求,在用户设备端向对应网络设备发送视频采集信息、在网络设备端根据视频采集信息在视频信息库中查询以获得与所述视频采集信息相匹配的一个或多个视频记录信息、在网络设备端根据所述一个或多个视频记录信息确定所述视频采集信息所对应的一个或多个目标视频、在网络设备端将至少一个所述目标视频提供至所述视频采集信息所对应的用户设备、相应地在用户设备端接收所述网络设备所提供的所述视频采集信息所对应的目标视频等,直至所述用户设备停止向对应网络设备发送视频采集信息。
在步骤s4’中,所述网络设备1将至少一个所述目标视频提供至所述视频采集信息所对应的用户设备。
具体地,在步骤s4’中,所述网络设备1通过根据各种通信协议,通过各类数据传输接口,与所述视频采集信息相对应的用户设备相交互,从而将至少一个所述目标视频提供至所述视频采集信息所对应的用户设备。
其中,所述目标视频包括但不限于目标视频的名称、预览画面(如视频海报、视频截图等)、播放链接、视频简介(如剧情介绍、演职员名单)、视频类别、互动网站(如论坛、贴吧等)等中的一项或多项。
其中,所述目标视频可以是不限制数量的多个,也可以是限定数量的一个或多个,如根据所述目标视频的优先级信息将优先级最高的目标视频提供给所述用户设备,或者按照所述目标视频的优先级信息将排序后的固定数量的目标视频提供给所述用户设备。在此,本领域技术人员应能理解,若未能查询确定到与所述视频采集信息相对应的目标视频,则所提供的目标视频信息为空,或者将其他与所述视频采集信息相关联的信息(如同类视频等)提供至所述用户设备。
优选地,所述网络设备1还包括用于根据所述一个或多个目标视频,并结合所述视频采集信息所对应的用户兴趣信息,确定所述视频采集信息所对应的优选目标视频的方法(以下简称“步骤s6’”,未示出),用于将所述优选目标视频提供至所述视频采集信息所对应的用户设备的方法(以下简称“步骤s7’”,未示出)。
具体地,在步骤s6’中,所述网络设备1可以通过根据各种通信协议,通过各类数据传输接口,与存储或提供所述视频采集信息的一个或多个用户设备、数据库或其他第三方设备相交互,以获取所述视频采集信息所对应的用户兴趣信息;其中,所述用户设备、数据库或其他第三方设备获取用户兴趣信息的方法可例如基于用户的浏览记录、用户的设置信息、用户的输入记录等进行确定。
例如,在步骤s6’中,所述网络设备1可获取所述用户设置的兴趣信息,其中,所述用户兴趣信息包括但不限于感兴趣的视频类别、喜爱的演员、通常观看视频的时间段、通常观看视频的时长、喜欢的类型信息(如视频、图片、论坛、音频等)等信息;或者,在步骤s6’中,所述网络设备1可根据所述视频采集信息的相关信息,例如图片数量、音频录制的时间长短等信息,确定所述用户兴趣信息,如图片数量越多和/或音频录制的时间越长则表明所述用户的兴趣越大。
然后,在步骤s6’中,所述网络设备1根据所述网络设备1所确定的一个或多个目标视频,结合所述视频采集信息所对应的用户兴趣信息,对所述目标视频进行筛选或处理,以确定所述视频采集信息所对应的优选目标视频。
例如,若用户兴趣很大,则增加所提供的目标视频数量和/或增加所提供的目标视频长度(如将所匹配的多个视频段组成一个更长区间的视频段,或者将原定N分钟的视频段扩展为N+M分钟的视频段等),或者将与视频段相对应的完整源视频作为优选目标视频等。
或者,例如,若用户的兴趣点为娱乐类视频,则删除所确定的目标视频中的教育类视频,并将所确定的目标视频中的娱乐类视频作为所述优选目标视频等。
或者,例如,若用户乐于观看互动类信息,则将与所述目标视频相对应的视频信息以及贴吧等互动论坛信息作为优选目标视频等。
在此,本领域技术人员应能理解,与所述目标视频类似,所述优选目标视频可以是一个或多个。
然后,在步骤s7’中,所述网络设备1通过根据各种通信协议,通过各类数据传输接口,与所述视频采集信息相对应的用户设备相交互,从而将所述优选目标视频提供至所述视频采集信息所对应的用户设备。
其中,所述优选目标视频包括但不限于优选目标视频的名称、预览画面(如视频海报、视频截图等)、播放链接、视频简介(如剧情介绍、演职员名单)、视频类别、互动网站(如论坛、贴吧等)等中的一项或多项。
在此,所述优选目标视频的提供方法与所述步骤s4’的提供方法相同或相似,故在此不再赘述,并通过引用的方式包含于此。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

Claims (17)

1.一种在网络设备端的视频识别方法,其中,该方法包括:
根据视频采集信息在视频信息库中查询以获得与所述视频采集信息相匹配的一个或多个视频记录信息,其中,所述视频采集信息的采集设置基于视频相关信息、采集场景相关信息、用户兴趣信息中的至少任一项所确定,所述采集设置包括采集数量、采集频率、采集长度中的至少任一项,所述视频记录信息对应于源视频中的一个时间区间;
根据所述一个或多个视频记录信息确定所述视频采集信息所对应的一个或多个目标视频。
2.根据权利要求1所述的方法,其中,根据所述一个或多个视频记录信息确定所述视频采集信息所对应的一个或多个目标视频包括:
根据所述一个或多个视频记录信息中各视频记录信息所对应的优先级信息确定所述视频采集信息所对应的一个或多个目标视频。
3.根据权利要求2所述的方法,其中,根据所述一个或多个视频记录信息中各视频记录信息所对应的优先级信息确定所述视频采集信息所对应的一个或多个目标视频包括:
根据所述一个或多个视频记录信息中各视频记录信息所对应的源视频统计信息,调整各视频记录信息的优先级信息;
根据所述一个或多个视频记录信息中各视频记录信息所对应的调整后的所述优先级信息,确定所述视频采集信息所对应的一个或多个目标视频。
4.根据权利要求2或3所述的方法,其中,该方法还包括:
根据所述视频记录信息所对应的权重相关信息确定所述优先级信息。
5.根据权利要求1至3中任一项所述的方法,其中,根据所述一个或多个视频记录信息确定所述视频采集信息所对应的一个或多个目标视频包括:
根据所述一个或多个视频记录信息中各视频记录信息所对应的视频段,对所述一个或多个视频记录信息进行归并处理;
根据归并处理后的所述一个或多个视频记录信息确定所述视频采集信息所对应的一个或多个目标视频。
6.根据权利要求1至3中任一项所述的方法,其中,该方法还包括:
将至少一个所述目标视频提供至所述视频采集信息所对应的用户设备。
7.根据权利要求1至3中任一项所述的方法,其中,该方法还包括:
根据所述一个或多个目标视频,并结合所述视频采集信息所对应的用户兴趣信息,确定所述视频采集信息所对应的优选目标视频;
将所述优选目标视频提供至所述视频采集信息所对应的用户设备。
8.根据权利要求1至3中任一项所述的方法,其中,所述视频信息库包括多个索引记录,每个索引记录包括候选视频采集信息与候选视频段的匹配记录信息;
其中,根据视频采集信息在视频信息库中查询以获得与所述视频采集信息相匹配的一个或多个视频记录信息包括:
根据视频采集信息在所述视频信息库中查询以获得与所述视频采集信息相匹配的一个或多个索引记录;
根据所述一个或多个索引记录确定与所述视频采集信息相匹配的一个或多个视频记录信息。
9.一种用于视频识别的网络设备,其中,该设备包括:
用于根据视频采集信息在视频信息库中查询以获得与所述视频采集信息相匹配的一个或多个视频记录信息的装置,其中,所述视频采集信息的采集设置基于视频相关信息、采集场景相关信息、用户兴趣信息中的至少任一项所确定,所述采集设置包括采集数量、采集频率、采集长度中的至少任一项,所述视频记录信息对应于源视频中的一个时间区间;
用于根据所述一个或多个视频记录信息确定所述视频采集信息所对应的一个或多个目标视频的装置。
10.根据权利要求9所述的网络设备,其中,用于根据所述一个或多个视频记录信息确定所述视频采集信息所对应的一个或多个目标视频的装置用于:
根据所述一个或多个视频记录信息中各视频记录信息所对应的优先级信息确定所述视频采集信息所对应的一个或多个目标视频。
11.根据权利要求10所述的网络设备,其中,用于根据所述一个或多个视频记录信息中各视频记录信息所对应的优先级信息确定所述视频采集信息所对应的一个或多个目标视频的装置用于:
根据所述一个或多个视频记录信息中各视频记录信息所对应的源视频统计信息,调整各视频记录信息的优先级信息;
根据所述一个或多个视频记录信息中各视频记录信息所对应的调整后的所述优先级信息,确定所述视频采集信息所对应的一个或多个目标视频。
12.根据权利要求10或11所述的网络设备,其中,该设备还包括:
用于根据所述视频记录信息所对应的权重相关信息确定所述优先级信息的装置。
13.根据权利要求9至11中任一项所述的网络设备,其中,用于根据所述一个或多个视频记录信息确定所述视频采集信息所对应的一个或多个目标视频的装置用于:
根据所述一个或多个视频记录信息中各视频记录信息所对应的视频段,对所述一个或多个视频记录信息进行归并处理;
根据归并处理后的所述一个或多个视频记录信息确定所述视频采集信息所对应的一个或多个目标视频。
14.根据权利要求9至11中任一项所述的网络设备,其中,该设备还包括:
用于将至少一个所述目标视频提供至所述视频采集信息所对应的用户设备的装置。
15.根据权利要求9至11中任一项所述的网络设备,其中,该设备还包括:
用于根据所述一个或多个目标视频,并结合所述视频采集信息所对应的用户兴趣信息,确定所述视频采集信息所对应的优选目标视频的装置;
用于将所述优选目标视频提供至所述视频采集信息所对应的用户设备的转置。
16.根据权利要求9至11中任一项所述的网络设备,其中,所述视频信息库包括多个索引记录,每个索引记录包括候选视频采集信息与候选视频段的匹配记录信息;
其中,用于根据视频采集信息在视频信息库中查询以获得与所述视频采集信息相匹配的一个或多个视频记录信息的装置用于:
根据视频采集信息在所述视频信息库中查询以获得与所述视频采集信息相匹配的一个或多个索引记录;
根据所述一个或多个索引记录确定与所述视频采集信息相匹配的一个或多个视频记录信息。
17.一种用于视频识别的系统,其中,所述系统包括权利要求9至16中任一项所述的网络设备,以及一种用于视频识别的用户设备,其中,所述用户设备包括:
用于向对应网络设备发送视频采集信息的装置;
用于接收所述网络设备所提供的所述视频采集信息所对应的目标视频的装置。
CN201410120939.1A 2014-03-27 2014-03-27 一种视频识别方法与设备 Active CN103942275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410120939.1A CN103942275B (zh) 2014-03-27 2014-03-27 一种视频识别方法与设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410120939.1A CN103942275B (zh) 2014-03-27 2014-03-27 一种视频识别方法与设备

Publications (2)

Publication Number Publication Date
CN103942275A CN103942275A (zh) 2014-07-23
CN103942275B true CN103942275B (zh) 2019-03-19

Family

ID=51189943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410120939.1A Active CN103942275B (zh) 2014-03-27 2014-03-27 一种视频识别方法与设备

Country Status (1)

Country Link
CN (1) CN103942275B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110139171A (zh) * 2015-04-22 2019-08-16 小米科技有限责任公司 视频聚合方法及装置
CN105975939B (zh) * 2016-05-06 2019-10-15 百度在线网络技术(北京)有限公司 视频检测方法和装置
CN106919651A (zh) * 2017-01-22 2017-07-04 北京奇艺世纪科技有限公司 外部网站视频的搜索排序方法及装置
CN107370768B (zh) * 2017-09-12 2020-03-10 中广热点云科技有限公司 一种智能电视流媒体预览系统与方法
CN109389088B (zh) * 2018-10-12 2022-05-24 腾讯科技(深圳)有限公司 视频识别方法、装置、机器设备以及计算机可读存储介质
CN111753129A (zh) * 2019-03-26 2020-10-09 百度在线网络技术(北京)有限公司 基于实时视频内容激发搜索的方法、系统以及终端设备
CN111918025A (zh) * 2020-06-29 2020-11-10 北京大学 一种场景视频的处理方法、装置、存储介质及终端
CN113179289B (zh) * 2020-11-11 2021-10-01 苏州知云创宇信息科技有限公司 一种基于云计算服务的会议视频信息上传方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024555A (zh) * 2012-12-31 2013-04-03 青岛海信电器股份有限公司 基于云计算的电视广告侦测处理系统及方法
CN103475911A (zh) * 2013-08-15 2013-12-25 安徽科大讯飞信息科技股份有限公司 基于视频特征的电视信息提供方法及系统
CN103581705A (zh) * 2012-11-07 2014-02-12 深圳新感易搜网络科技有限公司 视频节目识别方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581705A (zh) * 2012-11-07 2014-02-12 深圳新感易搜网络科技有限公司 视频节目识别方法和系统
CN103024555A (zh) * 2012-12-31 2013-04-03 青岛海信电器股份有限公司 基于云计算的电视广告侦测处理系统及方法
CN103475911A (zh) * 2013-08-15 2013-12-25 安徽科大讯飞信息科技股份有限公司 基于视频特征的电视信息提供方法及系统

Also Published As

Publication number Publication date
CN103942275A (zh) 2014-07-23

Similar Documents

Publication Publication Date Title
CN103942275B (zh) 一种视频识别方法与设备
US8995823B2 (en) Method and system for content relevance score determination
EP3488618B1 (en) Live video streaming services with machine-learning based highlight replays
US11461904B2 (en) Determining one or more events in content
US8578415B2 (en) Information providing method, content display terminal, portable terminal, server device, information providing system and program
CN107615766A (zh) 用于创建和分配多媒体内容的系统和方法
CN105160008B (zh) 一种定位推荐用户的方法及装置
CN101303695B (zh) 用于处理运动视频的装置
CN112188117B (zh) 视频合成方法、客户端及系统
CN107750460A (zh) 媒体捕获事件中的实体的自动识别
CN102193794B (zh) 链接实时媒体情境到相关的应用程序和服务
CN103945234A (zh) 一种提供视频相关信息的方法与设备
CN102216945B (zh) 通过媒体指纹进行联网
CN202998337U (zh) 视频节目识别系统
KR20210129570A (ko) 사용자 맞춤형 운동미션 제공을 통해 사용자간 경쟁을 유도하기 위한 운동강의 관리 서버
CN105323531A (zh) 视频会议热点场景的检测方法和装置
CN110366043A (zh) 视频处理方法、装置、电子设备及可读介质
CN110392274A (zh) 一种信息处理方法、设备、客户端、系统及存储介质
KR101541495B1 (ko) 캡쳐된 이미지를 이용한 동영상 분석 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR20160012269A (ko) 소셜 네트워크 서비스 시스템에서 멀티미디어 랭킹 서비스 제공 방법 및 장치
KR20200024541A (ko) 동영상 컨텐츠 검색 지원 방법 및 이를 지원하는 서비스 장치
CN110287934B (zh) 一种对象检测方法、装置、客户端及服务器
CN112287771A (zh) 用于检测视频事件的方法、装置、服务器和介质
KR102049688B1 (ko) Ai를 이용한 사용자 맞춤형 컨텐츠 제공 시스템
WO2016206035A1 (zh) 一种信息推荐方法及用户终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant