CN103593356A - 基于多媒体信息指纹技术的信息搜索方法、系统和应用 - Google Patents

Abstract

本发明提供了通过多媒体信息片段/样本进行信息搜索的方法、系统和服务、搜索应用客户端，以及基于此的服务或信息推广方法，要点在于通过对多媒体信息建立多媒体指纹库，并以这些指纹作为对应的关联信息的索引，提供查询服务，当用户使用终端将待查询的多媒体信息样本/片段提交到应用或系统后，对该查询多媒体信息样本/片段生成对应信息指纹，并在系统中查询指纹库，如果发现有相似指纹，则返回此指纹对应的关联信息或服务。目前各种智能设备(如智能手机、智能电视、平板电脑等)越来越普及，普遍具备摄像头、麦克风等输入外设，可以进行多媒体信息采集，进而使用户进行以多媒体样本/片段为搜索条件的信息搜索非常方便。并且，本发明使现有的电视、广播、户外广告等传统单向媒体方式能和用户进行实时互动，提供用户随着媒体内容实时搜索更深入信息或立即行动的能力。

Description

基于多媒体信息指纹技术的信息搜索方法、系统和应用

技术领域

本发明涉及多媒体信息指纹及搜索技术领域，以及互联网和移动互联网技术领域。

背景技术

多媒体信息的识别和搜索技术在计算机和互联网领域目前是一个热门研究方向，目前的应用和研究方向主要集中于内容的识别，比如语音识别，用识别的结果转化成文本再进行搜索，返回相应结果。其中，内容识别技术主要基于统计分析的方法，通过对大量实验数据进行分析，得出统计模型，进而对目标内容进行识别。因此，需要复杂的算法、大量的数据积累和计算量，并且当目标内容模式超出现有模型后识别正确率也不理想，目前的应用还处于初始阶段，有一些简单的应用，比如苹果公司iPhone产品中的Siri应用，可以通过语音进行简单的交互，是对传统的文本搜索和指令方式的一种拓展，但在实际使用效果和价值上并不理想。

同时，现实生活中，大量的多媒体信息无处不在，用语言或文字又难以描述，如何利用这些多媒体信息直接进行搜索，进而获得相关信息展现给用户是一个非常有价值的问题。比如，广告主在电视或广播中投放的广告，目前主要希望广告在用户记忆中留下映像，以便对将来的购买决策产生有利于广告主的影响。然而，用户接触广告和实际购买在时间上可能会有很长的间隔，对广告的效果造成不利影响。同时，用户在接触广告的第一时间，往往有了解更详细信息的需求或好奇心，如果能通过一种方式在广告播放的同时能够让用户更深入了解相关信息甚至直接购买，对用户和广告主都非常有价值。互联网广告具有此优势，近年发展非常迅速。

多媒体信息指纹是通过特定算法从多媒体信息中提取的一段数字摘要，通常用于识别多媒体样本或者快速定位多媒体数据库中的相似多媒体。业界对指纹生成算法本身的研究较多，比如“感知哈希算法(Perceptual hash algorithm)”等，本发明不限定于具体指纹生成算法。

发明内容

本发明的目的在于提供一种基于多媒体信息指纹技术的信息搜索和查询方法、应用和系统，使用户可以以多媒体方式进行信息查询，多媒体的形式可以包括但不限于：图片、音频、视频。本发明的要点在于通过对多媒体信息建立多媒体信息指纹库，并以这些指纹作为对应的关联信息的索引，提供搜索服务，当用户使用终端将待搜索的多媒体信息样本/片段提交到应用或系统后，对该搜索多媒体信息样本/片段生成对应信息指纹，并在系统中查询指纹库，如果发现有相似指纹，则返回此指纹对应的关联信息或服务。

如上所述，本发明首先提供了一种信息索引和搜索方法，在多媒体信息和相关信息间建立关联，以多媒体信息的指纹作为此多媒体信息和其关联信息的索引，通过提交多媒体信息样本，比较此样本的指纹和指纹库/索引中指纹的相似度进行搜索。即，用户的搜索以多媒体样本为查询条件，区别于传统的以文本作为查询条件的搜索方式。同时，返回结果不限定于相似的多媒体信息本身，比如返回相似图片、相似音乐等，还可以是和这些图片、音乐相关联的信息，比如图片中的人物、场景等相关信息。

其次，本发明提供了一种系统和服务。该系统和服务提供用户以多媒体信息样本作为搜索条件(手段)，系统和服务返回与该多媒体信息样本相关联的信息。

再者，本发明提供了一种终端/客户端应用，该应用程序能运行在多种终端上，可以采集多媒体样本，可以直接上传此样本进行搜索，也可以生成样本多媒体信息指纹，以指纹作为查询条件进行搜索。此应用程序一方面支持了用户的多媒体搜索方式，另一方面由于信息指纹通常远小于多媒体样本本身，使网络数据传输量大大降低。该应用程序可以是但不限定于：手机应用程序、平板电脑应用程序、智能电视应用程序、个人电脑应用程序等。利用这些设备上的摄像头和麦克风等部件可以很容易采集多媒体样本。

再者，本发明提供了一种商业信息或服务推广方法，将广播、电视、户外、广告等渠道中的多媒体信息和相关商业信息或服务相关联，用户可以通过各种终端采集这些多媒体信息样本，进而查询相关联的商业信息或服务，进行相关操作，如产品购买等。

由于本发明利用以信息指纹建立索引的方式对多媒体信息进行搜索，避免了对多媒体信息理解式识别的要求，减少了系统的复杂性和实现难度，同时也由于无需理解信息内容而提高了最终搜索结果的准确度。同时，本发明采用多媒体样本进行搜索，可以利用现代大多终端设备上具备的摄像、麦克风等部件，使用户输入的难度大幅降低。

并且，本发明使现有的电视、广播、户外广告等传统单向媒体方式能和用户进行实时互动，提供用户随媒体内容实时搜索更深入信息或立即行动的能力。

附图说明

结合附图，本发明的特征和优点将从以下详细描述中显而易见，附图中：

图1示出了本发明优选实施例的系统结构示意图。

图2示出了本发明优选实施例的多媒体和关联信息上传及索引生成流程示意图。

图3示出了本发明优选实施例的用户搜索流程示意图。

具体实施方式

以下，参照附图描述本发明的优选实施例，但本发明不限于下述优选实施例。

如前所述，系统主要组成部分如附图1所示，系统由信息录入系统(1)、服务端(2)和搜索客户端(3)各模块组成：

多媒体信息上传11：通过此模块上传搜索目标多媒体信息，此多媒体信息在上传到服务端之后，会通过指纹生成21模块生成指纹，存入信息及指纹索引数据库23，作为关联信息的索引，以便后继搜索。

关联信息录入12：通过此模块录入和上述多媒体信息关联的信息，比如关联的网址、介绍等，这些信息会提交到服务端(2)，并以相关联的多媒体信息指纹作为索引，以便后继搜索。

指纹生成21：此模块可以为多媒体信息生成信息指纹。信息录入系统(1)上传的搜索目标多媒体信息通过此模块生成信息指纹，以便作为此多媒体信息和关联信息作为索引。搜索客户端(3)通过此模块生成多媒体搜索样本的信息指纹，以此作为搜索条件进行搜索。

搜索引擎22：通过将多媒体搜索样本的信息指纹和信息及指纹索引数据库23中的索引进行比较，找出相近的索引，通过这些索引在找出相关联的信息，返回给搜索客户端(3)。

信息及指纹索引数据库23：存储通过信息录入系统(1)录入的搜索目标多媒体信息、关联信息以及由多媒体信息生成的多媒体信息指纹，以便完成后继由搜索客户端(3)发起的搜索。

多媒体样本采集31：用户通过此模块采集作为搜索条件的多媒体样本。在不同终端设备上，搜索客户端利用该设备上具备的外设能力实现此模块，如终端设备上的摄像头、麦克风等。

搜索样本上传32：通过此模块将多媒体样本采集31模块的搜索样本上传到服务端(2)进行搜索。在某些终端设备的搜索客户端(3)实现上，也可以将搜索多媒体样本生成指纹后，提交指纹到服务端(2)进行搜索。

搜索结果展现33：在服务端(2)完成搜索，返回搜索结果后，通过此模块展示给用户。

以下，参照附图2和附图3描述本发明的流程实施例，但本发明不限于下述优选实施例。

附图2描述了多媒体及关联信息上传及索引生成流程。主要包含如下步骤：

步骤S200，流程的开始，此流程既可以是由用户发起，也可以由其他系统由系统发起，如和电视台、广告公司的信息管理系统的对接，授权其他系统调用接口上传多媒体信息以及关联信息完成。

步骤S201，上传搜索目标多媒体信息到服务端(2)。

步骤S202，上传上述多媒体信息关联的信息到服务端(2)。

步骤S203，服务端(2)根据上传的多媒体信息生成多媒体指纹。

步骤204：将指纹和相关信息更新到信息及指纹索引数据库23。

步骤205：流程结束。

附图3描述了用户使用搜索终端进行搜索的流程的步骤。主要包含如下步骤：

步骤S300，算法的开始，用户通过搜索客户端(3)开始此流程。

步骤S301，用户通过搜索客户端采集搜索多媒体样本，比如通过移动设备上的麦克风录入广播里播放的广告片段。

步骤S302，客户端将录入的多媒体信息生成指纹。在某些情况下也可直接将录入的多媒体信息直接上传到服务端(2)再生成指纹，比如网络足够快。

步骤S303，通过搜索样本上传32模块将指纹提交服务端(2)。

步骤S304，搜索引擎根据提交的信息指纹查询指纹索引。

步骤305：判断是否存在相似索引，如果存在，则执行步骤306，否则执行步骤307。

步骤306：根据查询到的索引指纹，查找关联信息。

步骤307：返回搜索结果到搜索客户端(3)。

步骤308：搜索客户端展现搜索结果给用户。

步骤309：流程结束。

以上对本发明的优选实施例进行了具体描述，本发明的方法、流程和系统可以应用于任何多媒体搜索相关系统和产品，尤其在商业广告和信息领域具有广泛应用价值。

虽然参照实施例具体示出并描述了本发明，但是本发明不限于上述实施例。本领域普通技术人员将理解，在不背离由权利要求限定的本发明精神和范围的前提下可以进行形式和细节上的多种改变。

Claims (10)

1.一种基于多媒体信息指纹的信息搜索方法，其特征在于，包括：

以多媒体信息指纹为索引，提供对关联信息的搜索，以多媒体样本或其信息指纹为搜索条件进行搜索。

2.根据权利要求1所述的方法，还包括：

以某种方式为多媒体信息和其关联信息建立关系，包括但不限于：以人工的方式、系统自动的方式。

3.一种基于多媒体信息指纹的信息搜索的服务或系统，其特征在于，包括：

利用上述1-2之一或多种方法，为用户提供以多媒体样本为搜索条件(手段)的搜索服务。

4.根据权利要求3所述的服务或系统，还包括：

以某种方式为多媒体信息和其关联信息建立关系，包括但不限于：以人工的方式、提供第三方接口的方式、系统自动的方式。

5.一种客户端应用程序，其特征在于，包括：

提供以多媒体样本为搜索条件的搜索功能。

6.根据权利要求5所述的应用程序，还包括：

根据多媒体样本生成多媒体信息指纹，以此作为搜索条件提交给搜索服务器进行搜索。

7.根据权利要求5或6所述的应用程序，还包括：

利用应用程序所在设备的能力或外设，进行多媒体样本采集，以便进行搜索。应用程序可安装运行的设备包含但不限于：个人计算机、手机、平板电脑、智能电视等。

8.一种信息或服务推广方法，其特征在于，包括：

以电视、电影、音乐、广播、户外、广告等渠道传递的音频、视频、图片等类型多媒体为基础，关联要推广的信息或服务，使用户能以上述多媒体信息片段或样本进行关联信息搜索，获取关联的信息或服务。

9.根据权利要求8所述的信息或服务推广方法，还包括：

利用上述1-7之一或多种方法、服务或系统、应用程序，进行用户服务或信息推广。

10.根据权利要求1-2之一的方法、根据权利要求3-4之一的服务或系统、根据权利要求5-7之一的应用程序、根据权利要求8-9之一的信息或服务推广方法在信息搜索领域的应用。

Images