CN107480155A - 一种视频搜索系统 - Google Patents

一种视频搜索系统 Download PDF

Info

Publication number
CN107480155A
CN107480155A CN201610405288.XA CN201610405288A CN107480155A CN 107480155 A CN107480155 A CN 107480155A CN 201610405288 A CN201610405288 A CN 201610405288A CN 107480155 A CN107480155 A CN 107480155A
Authority
CN
China
Prior art keywords
scoring
result
search
weighted value
default
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610405288.XA
Other languages
English (en)
Inventor
鲍东山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING NUFRONT SOFTWARE TECHNOLOGY Co Ltd
Original Assignee
BEIJING NUFRONT SOFTWARE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING NUFRONT SOFTWARE TECHNOLOGY Co Ltd filed Critical BEIJING NUFRONT SOFTWARE TECHNOLOGY Co Ltd
Priority to CN201610405288.XA priority Critical patent/CN107480155A/zh
Publication of CN107480155A publication Critical patent/CN107480155A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Abstract

本发明公开了一种视频搜索系统,包括:网络端口;多个数据库;搜索引擎,包括搜索条件解析模块、搜索条件分发模块、评分策略模块、单类条件搜索结果评分模块、多类条件组合查询结果融合、评分模块和搜索结果生成模块,各模块执行承载于对应的存储器中的计算机程序,对数据进行相应处理。该系统能够从存储着不同媒体内容的数据库中搜索出最符合用户期望的视频内容。

Description

一种视频搜索系统
技术领域
本发明涉及一种基于内容的搜索调度系统,具体地说,涉及一种在多个存储着不同媒体内容的数据库中搜索出最符合用户期望的视频内容的搜索调度和结果排序算法。
背景技术
基于内容的视频搜索是近一段时间业界的研究热点。一个信息检索系统通常包括一个核心的检索数据库、一个搜索调度系统和服务器组。与普通的信息检索系统不同,视频搜索系统较为复杂,包含的模块也相对较多。传统的视频检索系统要通过人工注释得到视频节目的有关信息,并将这些信息存放在数据库中供此后的查询之用。这种方式带有很大的局限性。人工的注释不但耗费大量的人力和时间,而且往往带有很大的主观性,不能对视频节目内容做出准确、公正的刻画。为此,人们将图像分析、语音分析和字幕分析技术用于视频节目处理,以计算机为主要工具,自动得到与视频节目内容相关的特征信息,为基于内容的搜索提供了支持。
视频内容中的语音、字幕、图像、元数据(对视频内容的描述性信息,如导演,演员,发行单位等)被分别提取并存储在不同的数据库中。如何根据用户的输入条件,在多个数据库中检索出最接近用户期望的视频节目是在解决了视频内容的分解存储后需要解决的又一个重要问题。
用户端输入的搜索条件可以是四类视频内容中的任何一类,也可以是四类内容的任意组合。对于字幕和分类元数据(因为元数据可以被分成多种类型,比如按导演、演员、产地、简介等)用户端的输入就是纯文字信息。对于用户选择的作为搜索条件的图片则要经过用户端软件进行处理,提取出图片的特征数据作为实际的搜索条件。对于用户通过麦克风输入的语音也要经过客户端软件处理变成能在语音数据库中进行匹配查找的数据。
无论是单类条件的搜索还是多类条件组合的复合搜索,要得到最贴近用户期望的视频结果,就必须有一套规则定义出多媒体内容数据库中保存的数据和用户的输入条件间的匹配程度。字幕、图像、语音、元数据这四类视频内容在针对对应的搜索条件(字幕关键词、语音数据、图片或视频片段、元数据关键词)时,它们各自的匹配程度必须要有客观的定义,对于字幕和元数据这样的文本类型内容,它们的匹配程度可以采用同样的标准,对于用户输入的图片和数据库中图片的匹配程度往往采用计算两幅图片的特征数据间的距离来表征;对于用户输入的语音和语音数据库中的数据的匹配程度则采用相似概率来表征。
搜索调度系统在逻辑上位于客户端软件和多媒体数据库之间,对于客户端来说它只能和搜索调度系统通信,它并不知道多媒体数据库集群的存在;对于多媒体数据库来说,每种类型的数据库的查询接口都不相同,而搜索调度系统则拥有所有类型多媒体数据库的查询接口,单类多媒体数据库只需要接受搜索调度系统的查询请求。这样做使得整个检索系统更加灵活,无论是客户端还是数据库发生改变都只需升级搜索调度系统。
搜索调度系统完成的功能就是接受用户的查询条件,对查询条件进行分析,将用户发送过来的各种组合条件拆分出来,把用户发送的搜索请求转化为符合各类多媒体数据库查询接口要求的数据,再将这些条件数据转发到相应的多媒体数据库查询接口中。单类多媒体数据库会将近似符合查询条件的部分结果返回给搜索调度系统,如果这是一个单类条件的查询,搜索调度系统只需要将此结果进行评分、排序和补充元数据信息就可以返回给客户端了。如果这是一个多类条件的组合查询,除了要将各类数据库返回的结果进行评分和排序,还要对多个结果集合求并集和进行多次评分。
搜索调度系统要从数据库中查询到的结果中挑出最符合用户期望的结果来排在最终结果的前面,这个问题不仅涉及到底层数据库对搜索条件的匹配算法,还涉及到用户的心理习惯以及各类多媒体内容之间的关系等诸多问题,仍需要大量的研究才能达到比较满意的效果。本搜索调度系统就是致力于使搜索结果最贴近用户期望的结果,因此采用了很多实验性的评分算法,取得了比较好的效果。
发明内容
有鉴于此,本发明的一个目的是提供一种视频搜索系统。为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。
本发明提供了一种视频搜索系统,包括:
网络端口;
多个数据库;
搜索引擎,包括搜索条件解析模块、搜索条件分发模块、评分策略模块、单类条件搜索结果评分模块、多类条件组合查询结果融合、评分模块和搜索结果生成模块,各模块执行承载于对应的存储器中的计算机程序,对数据进行相应处理,其中:
搜索条件解析模块,用于接收并分析搜索请求,生成多媒体数据库接受的查询条件;
搜索条件分发模块,用于将不同种类搜索条件生成的多媒体数据库查询条件分发到相应的多媒体数据库查询接口;
评分策略模块,用于计算元数据搜索结果评分时各类元数据域的预设权重值,计算场景结果评分时镜头重复结果的预设权重值,计算多类条件组合搜索的最终结果评分时各类媒体结果的预设权重值;
单类条件搜索结果评分模块,用于对单类条件查询结果,根据预设的评分算法对进行评分;
多类条件组合查询结果融合、评分模块,用于对多类条件组合查询结果,求并集,根据各类媒体结果的预设权重值在求并集时对结果项的评分进行加权求和,得到评分结果;
搜索结果生成模块,用于对最终结果按照评分的降序进行排序和元数据库中抽取节目的描述性信息来生成返回结果。
较佳地,各类元数据域的预设权重值,包括了节目名称权重值、节目导演权重值、节目演员权重值、节目语种权重值、节目产地权重值、节目分类权重值、节目格式权重值、节目简介权重值;其中,每个权重值为0到1之间的浮点数,全部权重值之和为1。
较佳地,镜头重复结果的预设权重值,包括了图像镜头重复结果预设权重值、语音镜头重复结果预设权重值、字幕镜头重复结果预设权重值。
较佳地,各类媒体结果的预设权重值包括了图像结果预设权重值、语音结果预设权重值、字幕结果预设权重值、元数据结果预设权重值;其中,每个权重值为0到1之间的浮点数,全部权重值之和为1。
较佳地,为单类条件查询结果预设的评分算法包括图像搜索结果的评分算法、字幕搜索结果的评分算法、元数据搜索结果的评分算法,和镜头重复结果的评分算法。
较佳地,图像搜索结果的评分算法,其中包含了对条件图像和结果图像间的距离到结果评分的归一化转化,其转化时所用的图像间距离的上限槛值为可配置的浮点数;和/或
字幕搜索结果的评分算法,其中包含了对从字幕数据库中实际取得的字幕片段的分词处理和两次评分;和/或
元数据搜索结果的评分算法,包括了对单类元数据的评分算法和对整个元数据搜索结果的评分算法;对单类元数据的评分算法采用了字幕评分算法中的两次评分算法,第三次评分的权重因子是由各类元数据域的预设权重值换算得出;和/或
镜头重复结果的评分算法,包括了图像搜索镜头重复结果的评分算法、音频搜索镜头重复结果的评分算法、字幕搜索镜头重复结果的评分算法;或,镜头重复结果的评分算法,包括了对搜索产生的镜头重复结果中最高评分的提取和根据重复的次数对评分的调整。
较佳地,两次评分中的首次评分,包括了搜索字幕片段中是否包含完整的搜索条件字符串,并进行出现频率的统计;出现频率越高结果评分也会越高;和/或
两次评分中的第二次评分,包括了对搜索条件字符串的分词,然后从字幕分词串中搜索每个分割出的词,并统计每个词的词频,作为评分依据。
较佳地,根据重复的次数对评分的调整,包括了根据各类镜头重复结果预设权重值适当提高最高评分。
较佳地,对结果项的评分进行加权求和,采用先对单项结果集中的结果评分进行加权调整,再在求并集的时候对不同结果集中的相同结果进行评分求和。
较佳地,对单项结果集中的结果评分进行加权调整,包括了对各类媒体结果的预设权重值的二次换算和对结果评分乘上换算后的权重因子;对各类媒体结果的预设权重值的二次换算,是把各类媒体结果的预设权重值根据当前搜索中的媒体种类进行归一化处理。
为了上述以及相关的目的,一个或多个实施例包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明某些示例性方面,并且其指示的仅仅是各个实施例的原则可以利用的各种方式中的一些方式。其它的益处和新颖性特征将随着下面的详细说明结合附图考虑而变得明显,所公开的实施例是要包括所有这些方面以及它们的等同。
附图说明
图1是本发明实施例一种视频搜索方法流程图;
图2是本发明实施例一种视频搜索系统方框图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案,以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求,否则单独的组件和功能是可选的,并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围,以及权利要求书的所有可获得的等同物。在本文中,本发明的这些实施方案可以被单独地或总地用术语“发明”来表示,这仅仅是为了方便,并且如果事实上公开了超过一个的发明,不是要自动地限制该应用的范围为任何单个发明或发明构思。
参见图1,本发明提供了一种视频搜索方法,包括步骤:
步骤S101:接收搜索请求;
步骤S102:分析搜索请求,生成多媒体数据库接受的查询条件;
步骤S103:将不同种类搜索条件生成的多媒体数据库查询条件分发到相应的多媒体数据库查询接口;
步骤S104:计算元数据搜索结果评分时各类元数据域的预设权重值,计算场景结果评分时镜头重复结果的预设权重值,计算多类条件组合搜索的最终结果评分时各类媒体结果的预设权重值;
步骤S105:对单类条件查询结果,根据预设的评分算法对进行评分;
步骤S106:对多类条件组合查询结果,求并集,根据各类媒体结果的预设权重值在求并集时对结果项的评分进行加权求和,得到评分结果;
步骤S107:对最终结果按照评分的降序进行排序和元数据库中抽取节目的描述性信息来生成返回结果。
在执行步骤S104时,各类元数据域的预设权重值,可以包括节目名称权重值、节目导演权重值、节目演员权重值、节目语种权重值、节目产地权重值、节目分类权重值、节目格式权重值、节目简介权重值。具体地,每个权重值为0到1之间的浮点数,全部权重值之和为1。
在执行步骤S104时,镜头重复结果的预设权重值,包括了图像镜头重复结果预设权重值、语音镜头重复结果预设权重值、字幕镜头重复结果预设权重值。
在执行步骤S104时,各类媒体结果的预设权重值包括了图像结果预设权重值、语音结果预设权重值、字幕结果预设权重值、元数据结果预设权重值。具体地,每个权重值为0到1之间的浮点数,全部权重值之和为1。
在执行步骤S105时,为单类条件查询结果预设的评分算法包括图像搜索结果的评分算法、字幕搜索结果的评分算法、元数据搜索结果的评分算法,和镜头重复结果的评分算法。
本发明实施例设计各类评分算法具体如下:
图像搜索结果的评分算法,其中包含了对条件图像和结果图像间的距离到结果评分的归一化转化,其转化时所用的图像间距离的上限槛值为可配置的浮点数;
字幕搜索结果的评分算法,其中包含了对从字幕数据库中实际取得的字幕片段的分词处理和两次评分;
元数据搜索结果的评分算法,包括了对单类元数据的评分算法和对整个元数据搜索结果的评分算法;对单类元数据的评分算法采用了字幕评分算法中的两次评分算法,第三次评分的权重因子是由各类元数据域的预设权重值换算得出;
镜头重复结果的评分算法,包括了图像搜索镜头重复结果的评分算法、音频搜索镜头重复结果的评分算法、字幕搜索镜头重复结果的评分算法。
在另一实施例中,所述镜头重复结果的评分算法,还可以包括对搜索产生的镜头重复结果中最高评分的提取和根据重复的次数对评分的调整。
其中,根据重复的次数对评分的调整,可以包括根据各类镜头重复结果预设权重值适当提高最高评分。
在一实施例中,对于两次评分中的首次评分,可以包括搜索字幕片段中是否包含完整的搜索条件字符串,并进行出现频率的统计;出现频率越高结果评分也会越高;对于两次评分中的第二次评分,可以包括对搜索条件字符串的分词,然后从字幕分词串中搜索每个分割出的词,并统计每个词的词频,作为评分依据。
在执行步骤S106时,对结果项的评分进行加权求和,采用先对单项结果集中的结果评分进行加权调整,再在求并集的时候对不同结果集中的相同结果进行评分求和。
其中,对单项结果集中的结果评分进行加权调整,包括了对各类媒体结果的预设权重值的二次换算和对结果评分乘上换算后的权重因子。
其中,对各类媒体结果的预设权重值的二次换算,是把各类媒体结果的预设权重值根据当前搜索中的媒体种类进行归一化处理。
参见图2,本发明实施例还提供了一种搜索调度系统,用于执行视频搜索,包括;
网络端口201:客户端的搜索请求和查询所得的最终结果集都要通过网络端口来接收和发送,客户端和搜索调度系统之间定义了一套报文格式用于通信;
多个数据库202:视频内容会被分解成为字幕、语音、图像、元数据,每一种媒体内容被存储在不同的数据库中,它们分别称为字幕数据库、语音数据库、图像数据库、元数据数据库。每类数据库都是由多个计算机组成的数据库集群。
搜索引擎203,由于每类数据库的数据组织结构、存储方法、查询接口都不相同。搜索引擎203封装了各类多媒体数据库的查询接口,并提供统一的接口给上层的调用模块。
搜索引擎203进一步包括搜索条件解析模块203a、搜索条件分发模块203b、评分策略模块203c、单类条件搜索结果评分模块203d、多类条件组合查询结果融合、评分模块203e和搜索结果生成模块203f,各模块执行承载于对应的存储器中的计算机程序,对数据进行相应处理,具体如下:
搜索条件解析模块203a:此模块位于搜索引擎203的最前端,接收用户的搜索请求,如果用户的搜索请求是单类条件,所有可能的输入为一张图片(称为图像搜索)、一段语音(称为语音搜索)、一段字幕字符串(称为字幕搜索)、一段视频片段(称为片段搜索)、某类元数据或者是多个类型元数据的组合(凡是只有元数据条件的都称为元数据搜索)。
对于图像搜索此模块收到的并不是图像数据而是经过客户端软件处理后的图像特征值,在分析出是图像的特征值后此模块要进一步对特征值进行处理,将特征值转化为图像数据库接受的数据结构。同理对于语音条件也采用这样的处理方式。对于字幕和元数据搜索条件,客户端是不做任何处理的,而是将用户在界面的输入直接发送到搜索调度系统。此模块在识别了是字幕搜索或者是元数据搜索后会对字幕和元数据进行分词处理,再生成适合字幕和元数据数据库查询接口的数据结构。对于片段搜索,客户端会抽取多个图片,再提取多个图片的特征值发送给搜索调度系统。搜索条件解析模块识别出是片段搜索后会按照图像搜索的流程进行处理。在此模块的处理过程中,一个片段搜索相当于多次图像搜索。
搜索条件分发模块203b:此模块完成从用户条件到相应数据库接口的转发工作。对于图像搜索和片段搜索,条件数据被转发到图像数据库查询接口;对于语音搜索,条件数据被转发到语音数据库查询接口;对于字幕搜索,条件数据被转发到字幕数据库查询接口;对于元数据搜索,条件数据被转发到元数据库查询接口。
评分策略模块203c:此模块保存了对结果进行评分时需要的各种参数和系统运行模式的各种参数,主要包括了4类参数。前3类是和评分相关的,第4类是和运行模式相关的。这些参数在系统启动的时候从配置文件中读入,这样做提高了系统的可配置性,在系统运行的过程中通过向系统发命令也可以改变运行参数。
(1)各类元数据域的预设权重值
包括了节目名称权重值、节目导演权重值、节目演员权重值、节目语种权重值、节目产地权重值、节目分类权重值、节目格式权重值、节目简介权重值。每个权重值为0到1之间的浮点数,全部权重值之和为1。
(2)镜头重复结果预设权重值
包括了图像镜头重复结果预设权重值、语音镜头重复结果预设权重值、字幕镜头重复结果预设权重值。
(3)各类媒体结果的预设权重值
包括了图像结果预设权重值、语音结果预设权重值、字幕结果预设权重值、元数据结果预设权重值。每个权重值为0到1之间的浮点数,全部权重值之和为1。
(4)运行模式参数
包括了各种单类搜索的线程模式,因为不同类型的搜索所消耗的时间不同,比如图像和语音搜索比较耗时,往往是秒级的;元数据和字幕搜索速度比较快,一般在10毫秒一下。所以要使组合查询的速度达到最快就必须让有些类的搜索并行处理。我们的做法是让图像搜索和语音搜索使用单独的线程,对元数据和字幕搜索采用串行处理。这样整个组合查询的总时间就约等于单类搜索中消耗的最大时间。
单类条件搜索结果评分模块203d,执行承载于对应存储器中的评分算法,完成对搜索结果的评分,具体如下:
(1)图像搜索结果的评分算法
用户输入的图像和图像数据库中存储的图像之间的相似程度是用两幅图像之间的距离来衡量的,距离值越小则表示两幅图像越相似。但这样的表示方式在处理多类条件组合查询的时候会很不方便,因为其他种类的搜索在表示条件和结果的相似程度的时候都采用了百分比表示法,因此必须将距离转化为以百分比表示的相似度。在转化时必须设置一个槛值,凡是大于这个槛值的记录都被过滤掉不返回给用户,然后以这个槛值为基准对距离值做归一化处理,再减1就成为以百分比表示的相似度。
(2)字幕搜索结果的评分算法
判断字幕数据库中的字幕片段所在的节目和用户希望搜到的节目之间的匹配程度的主要依据为:
字幕片段中是否包含完整的条件字幕串,条件字幕串在字幕片段中出现的频率为多少。
条件字幕串被分成多个词之后,多少个词出现在字幕片段中,每个词出现的频率为多少。
如果满足A则会得到很高的评分,完整的条件字幕串出现的频率越高则此项结果的评分也会越高,如果字幕片段中不包含完整的条件字幕串则主要考察字幕片段中包含多少个条件字幕串中的词,包含的越多则评分越高,条件字幕串中的词出现的频率越高则评分也会越高。但只要满足A标准的就肯定比满足B标准的评分高。
(3)元数据搜索结果的评分算法
元数据搜索是传统的搜索方式,虽然基于内容的搜索和元数据搜索有很大不同,但它们之间并不是完全孤立的两类搜索,相反如果对节目进行人工编目,元数据的搜索效率和精度都是非常高的。基于内容的搜索如果和元数据搜索相结合则会极大的提高基于内容搜索的性能。所以在构建基于内容的视频搜索系统时,我们也把元数据搜索纳入其中。元数据类型非常多,我们这里采用了一部分能提供搜索功能的元数据项,它们是:节目的名字、节目的导演、节目的演员、节目的语种、节目的产地、节目的类型、节目的格式、节目的简介。用户针对元数据的搜索包括两类,一种是全库搜索:用户输入的关键字会被用于搜索元数据库的所有元数据类型字段。这里我们采用的评分方式是首先计算针对每类元数据此结果项的评分,计算方法和字幕搜索结果的评分算法相同,在得到了针对每项元数据的评分后,我们会根据不同元数据的重要性程度对各项元数据评分加权求和,每类元数据会事先分配一个权重值(例如节目的名字对于视频搜索的重要性要高于节目的产地,节目名字的权重值当然会比产地的权重值高很多),它是一个0到1之间的浮点数。加权求和得到的就是此结果项的最终评分。
元数据搜索的第二种形式为多类元数据项的组合搜索,比如用户指定了搜索节目的导演包含张艺谋且演员包含李连杰的节目,这就是一个包含了两类元数据的组合搜索。这类元数据的评分方法为:首先还是计算组合类型中针对每个类型元数据的评分,然后把针对单类元数据的评分加权求和,但此时选用的权重值不是原始的此类元数据的预设权重值,而要对此类元数据的预设权重值进行换算,换算的方法为以组合类型中的全部元数据类型的预设权重值的和为单位一,分别求出组合类型中每类元数据的预设权重值所占的百分比作为加权求和的权重因子。
(4)语音搜索结果的评分
对于语音搜索的评分则主要依赖于语音数据库查询接口返回的相似度,我们就使用此值作为结果的评分。
(5)镜头重复结果的评分算法
从数据库返回的结果中会有重复的结果的情况只存在于基于内容的搜索。之所以会产生这样的情形是由于视频内容的分解粒度和用户要求返回的视频片段粒度不一致。在构建图像、字幕、语音数据时,视频内容是以镜头为最小的单位分别存储于三类数据库中。而在客户端则要求返回的是视频场景,一个视频场景中可以包含多个视频镜头。在进行这三类搜索的时候用户的搜索条件在和数据库中的媒体数据进行匹配的时候都是以镜头为最小单位进行匹配查找。在返回给搜索调度系统时也都是以镜头为单位的结果。这就要求我们在面对同一场景的多个镜头结果时只生成一个场景结果。
场景结果的评分主要依赖于多个镜头结果评分中的最高分和同一场景中出现的镜头结果个数。我们会挑选出镜头结果中的最高分,并以它作为场景结果评分的基准再进一步调整。在调整的算法中属于同一个场景的镜头结果数越多场景结果的评分也会越高。我们会预先设定三个值,它们分别是图像镜头重复结果预设权重值、语音镜头重复结果预设权重值、字幕镜头重复结果预设权重值。调整算法对除了最高评分外的不同镜头结果评分乘上镜头重复结果的权重值,然后对这些值求和,最后再将这个和加上最高评分就得到了场景结果的最终评分。
多类条件组合查询结果融合、评分模块203e:基于内容的视频搜索的最大特点就是根据多类媒体内容条件搜索视频内容,利用属于同一视频内容的多类媒体内容的内在联系以及不同媒体内容反映的信息量的不同可以极大的提高视频搜索的效率和精度。
所以在视频搜索的时候客户端会发送多种类型的组合检索条件到调度系统,图像、语音、字幕、元数据这几类媒体内容可以任意组合。为了能灵活的处理这样的情况,我们根据经验给每类媒体预设了一个权重值,所有的权重值相加得1,每个权重值为0到1的浮点数。很多时候搜索条件的类型不是包含所有的媒体类型,所以不能直接使用预设的权重值来计算最后结果的评分,必须再对预设的权重值做一次变换,目的是要体现本次搜索不同媒体类型对结果的影响。具体做法为将本次搜索包含的媒体条件的权重值做归一化处理,例如元数据的预设权重值为0.6,图像的预设权重值为0.2,则元数据的归一化权重为0.6/(0.6+0.2)=0.75,图像的归一化权重为0.25。
搜索结果生成模块203f:在最终结果评分完成后要进行的工作就是对最终结果集按照评分的降序排序,对于图像、语音、字幕、部分元数据搜索由于多媒体数据库没能给出完整的节目介绍信息,所以还要根据节目ID再反查元数据库来生成最终的结果,这样用户才能完整的了解这个节目是不是他需要的。
根据所述公开的实施例,可以使得本领域技术人员能够实现或者使用本发明。对于本领域技术人员来说,这些实施例的各种修改是显而易见的,并且这里定义的总体原理也可以在不脱离本发明的范围和主旨的基础上应用于其他实施例。以上所述的实施例仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频搜索系统,其特征在于,包括:
网络端口;
多个数据库;
搜索引擎,包括搜索条件解析模块、搜索条件分发模块、评分策略模块、单类条件搜索结果评分模块、多类条件组合查询结果融合、评分模块和搜索结果生成模块,各模块执行承载于对应的存储器中的计算机程序,对数据进行相应处理,其中:
搜索条件解析模块,用于接收并分析搜索请求,生成多媒体数据库接受的查询条件;
搜索条件分发模块,用于将不同种类搜索条件生成的多媒体数据库查询条件分发到相应的多媒体数据库查询接口;
评分策略模块,用于计算元数据搜索结果评分时各类元数据域的预设权重值,计算场景结果评分时镜头重复结果的预设权重值,计算多类条件组合搜索的最终结果评分时各类媒体结果的预设权重值;
单类条件搜索结果评分模块,用于对单类条件查询结果,根据预设的评分算法对进行评分;
多类条件组合查询结果融合、评分模块,用于对多类条件组合查询结果,求并集,根据各类媒体结果的预设权重值在求并集时对结果项的评分进行加权求和,得到评分结果;
搜索结果生成模块,用于对最终结果按照评分的降序进行排序和元数据库中抽取节目的描述性信息来生成返回结果。
2.如权利要求1所述的系统,其特征在于:
各类元数据域的预设权重值,包括了节目名称权重值、节目导演权重值、节目演员权重值、节目语种权重值、节目产地权重值、节目分类权重值、节目格式权重值、节目简介权重值;
其中,每个权重值为0到1之间的浮点数,全部权重值之和为1。
3.如权利要求1所述的系统,其特征在于:
镜头重复结果的预设权重值,包括了图像镜头重复结果预设权重值、语音镜头重复结果预设权重值、字幕镜头重复结果预设权重值。
4.如权利要求1所述的系统,其特征在于:
各类媒体结果的预设权重值包括了图像结果预设权重值、语音结果预设权重值、字幕结果预设权重值、元数据结果预设权重值;
其中,每个权重值为0到1之间的浮点数,全部权重值之和为1。
5.如权利要求1所述的系统,其特征在于:
为单类条件查询结果预设的评分算法包括图像搜索结果的评分算法、字幕搜索结果的评分算法、元数据搜索结果的评分算法,和镜头重复结果的评分算法。
6.如权利要求5所述的系统,其特征在于:
图像搜索结果的评分算法,其中包含了对条件图像和结果图像间的距离到结果评分的归一化转化,其转化时所用的图像间距离的上限槛值为可配置的浮点数;和/或
字幕搜索结果的评分算法,其中包含了对从字幕数据库中实际取得的字幕片段的分词处理和两次评分;和/或
元数据搜索结果的评分算法,包括了对单类元数据的评分算法和对整个元数据搜索结果的评分算法;对单类元数据的评分算法采用了字幕评分算法中的两次评分算法,第三次评分的权重因子是由各类元数据域的预设权重值换算得出;和/或
镜头重复结果的评分算法,包括了图像搜索镜头重复结果的评分算法、音频搜索镜头重复结果的评分算法、字幕搜索镜头重复结果的评分算法;或,镜头重复结果的评分算法,包括了对搜索产生的镜头重复结果中最高评分的提取和根据重复的次数对评分的调整。
7.如权利要求6所述的系统,其特征在于:
两次评分中的首次评分,包括了搜索字幕片段中是否包含完整的搜索条件字符串,并进行出现频率的统计;出现频率越高结果评分也会越高;和/或
两次评分中的第二次评分,包括了对搜索条件字符串的分词,然后从字幕分词串中搜索每个分割出的词,并统计每个词的词频,作为评分依据。
8.如权利要求6所述的系统,其特征在于:
根据重复的次数对评分的调整,包括了根据各类镜头重复结果预设权重值适当提高最高评分。
9.如权利要求1所述的系统,其特征在于:
对结果项的评分进行加权求和,采用先对单项结果集中的结果评分进行加权调整,再在求并集的时候对不同结果集中的相同结果进行评分求和。
10.如权利要求9所述的系统,其特征在于:
对单项结果集中的结果评分进行加权调整,包括了对各类媒体结果的预设权重值的二次换算和对结果评分乘上换算后的权重因子;
对各类媒体结果的预设权重值的二次换算,是把各类媒体结果的预设权重值根据当前搜索中的媒体种类进行归一化处理。
CN201610405288.XA 2016-06-08 2016-06-08 一种视频搜索系统 Pending CN107480155A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610405288.XA CN107480155A (zh) 2016-06-08 2016-06-08 一种视频搜索系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610405288.XA CN107480155A (zh) 2016-06-08 2016-06-08 一种视频搜索系统

Publications (1)

Publication Number Publication Date
CN107480155A true CN107480155A (zh) 2017-12-15

Family

ID=60593451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610405288.XA Pending CN107480155A (zh) 2016-06-08 2016-06-08 一种视频搜索系统

Country Status (1)

Country Link
CN (1) CN107480155A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108319583A (zh) * 2017-01-06 2018-07-24 光讯网络科技有限公司 从中文语料库提取知识的方法与系统
CN109614515A (zh) * 2018-10-30 2019-04-12 北京奇艺世纪科技有限公司 视频搜索评价方法和系统
CN109982106A (zh) * 2019-04-29 2019-07-05 百度在线网络技术(北京)有限公司 一种视频推荐方法、服务器、客户端及电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108319583A (zh) * 2017-01-06 2018-07-24 光讯网络科技有限公司 从中文语料库提取知识的方法与系统
CN108319583B (zh) * 2017-01-06 2021-11-26 万维数码智能有限公司 从中文语料库提取知识的方法与系统
CN109614515A (zh) * 2018-10-30 2019-04-12 北京奇艺世纪科技有限公司 视频搜索评价方法和系统
CN109982106A (zh) * 2019-04-29 2019-07-05 百度在线网络技术(北京)有限公司 一种视频推荐方法、服务器、客户端及电子设备
CN109982106B (zh) * 2019-04-29 2021-11-26 百度在线网络技术(北京)有限公司 一种视频推荐方法、服务器、客户端及电子设备

Similar Documents

Publication Publication Date Title
CN100423004C (zh) 基于内容的视频搜索调度系统
KR101700585B1 (ko) 온라인 제품 검색 방법 및 시스템
JP3494368B2 (ja) 動映像の検索、ブラウジングまたは要約を行うための動映像表現方法と、その処理装置および処理方法
CN107609052A (zh) 一种基于语义三角的领域知识图谱的生成方法及装置
US20090234784A1 (en) Method of Providing Selected Content Items to a User
CN110399515B (zh) 图片检索方法、装置及图片检索系统
CN101021855A (zh) 基于内容的视频检索系统
TW200426622A (en) Method and apparatus for content representation and retrieval in concept model space
CN102799684A (zh) 一种视音频文件编目标引、元数据存储索引与搜索方法
CN102156686B (zh) 基于组示多示例学习模型的视频特定包含语义检测方法
CN108664509A (zh) 一种即席查询的方法、装置及服务器
CN109408578A (zh) 一种针对异构环境监测数据融合方法
CN109033132A (zh) 利用知识图谱计算文本和主体相关度的方法以及装置
CN107480155A (zh) 一种视频搜索系统
CN111104437A (zh) 基于对象模型的试验数据统一检索方法和系统
CN101286175B (zh) 一种基于标签的文件呈现方法及其系统
CN107480156A (zh) 一种视频搜索方法
US11914641B2 (en) Text to color palette generator
Berretti et al. Merging results for distributed content based image retrieval
JP4359075B2 (ja) 概念抽出システム、概念抽出方法、概念抽出プログラム及び記憶媒体
Verma et al. Fuzzy logic based interpretation and fusion of color queries
Hybridised OntoKnowNHS: Ontology Driven Knowledge Centric Novel Hybridised Semantic Scheme for Image Recommendation Using Knowledge Graph
KR100809751B1 (ko) 문서분석 시스템 및 그 방법
Doulamis et al. Nonlinear relevance feedback: improving the performance of content-based retrieval systems
CN111046195A (zh) 一种海量媒资智能编目的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171215

WD01 Invention patent application deemed withdrawn after publication