CN104424259A - 一种基于具有相机功能的移动终端的信息获取方法和装置 - Google Patents

Abstract

本发明的目的是提供一种高精度适用于具有多媒体功能的移动终端获取信息方法和装置。在建立包含从目标图片中提取图片特征值创建的“目标”信息索引数据库。目标图片等信息还可以嵌入一些固定不变的模式作为匹配时定位，定向，定色等的依据或修正的标准。用户提供的“查询”信息中可以嵌入一些和目标信息一样的固定不变的模式作为搜索匹配时定位，定向，定色等的依据或修正的标准。搜索时，终端获得装置获得的查询信息被根据嵌入的一些固定不变的模式进行定位，定向确定查询信息的有效范围，调整查询信息的方位等处理，以及根据标准颜色等进行颜色补正，定色等校正后，传递到“目标”信息索引数据库从上述多维目标信息索引数据库中找到相关数据。

Description

一种基于具有相机功能的移动终端的信息获取方法和装置

技术领域

本发明属于移动搜索引擎领域，特别是涉及利用具有相机，摄像头，触摸屏等功能的移动终端以基于图片内容的多媒体搜索技术获取信息的方法和装置。

背景技术

单纯基于文本使用关键词从互联网中搜索网页信息、图片、视频、音乐等的著名搜索引擎有百度、谷歌、必应和雅虎等。但是它们的索引数据库通常只包括网页地址(URL)、编码类型、关键词、关键词位置、生成时间、大小和与其他网页的链接关系等。而且搜索条件一般也只限于关键词。

最近百度、谷歌、必应和雅虎等都分别推出基于图片特征信息的图片搜索技术。利用该技术，用户可以向图片搜索引擎服务器提供当前存储在用户终端磁盘中的图片的地址信息或互联网上的图片的地址信息，从而图片搜索引擎服务器从该地址信息指示的存储空间中获取图片，并从图片中解析出图片的特征信息后，在指定的图片特征值数据库中搜索与解析出的特征信息匹配的图片，从而完成基于图片特征信息对图片的搜索，并从中获取其他相关信息。

但是随着具有多媒体，比如相机，摄像头，触摸屏等功能的移动终端的普及，用户提供的查询信息，比如图片信息等，大多数来自用户的移动终端。由于用户使用方法不同，比如拍摄角度，拍摄距离等，或者周围环境变化，比如光线角度，颜色，背景等，都会造成用户的查询特征信息与数据库目标特征信息相差太大，导致很难实现在特征值数据库中搜索到与解析出的特征信息匹配的信息。

发明内容

针对现有技术的不足，本发明的目的是提供一种高精度适用于具有多媒体功能的移动终端获取信息方法和装置。为便于叙述，以下我们将数据库中的被搜索信息等称为“目标”信息，而由用户提供的信息则称为“查询”信息。

本发明为了解决上述技术问题所采用的技术方案是：建立包含从目标图片等目标信息中提取的一种或多种图片特征值创建的“目标”信息索引数据库。目标图片等信息还可以嵌入一些固定不变的模式作为匹配时定位，定向，定色等的依据或修正的标准。

用户提供的“查询”信息可以是图片等各种多媒体信息。这些查询信息中可以嵌入一些和目标信息一样的固定不变的模式作为搜索匹配时定位，定向，定色等的依据或修正的标准。

搜索时，终端上获得装置获得的查询信息被根据嵌入的一些固定不变的模式进行定位，定向确定查询信息的有效范围，调整查询信息的方位等处理，以及根据标准颜色等进行颜色补正，定色等校正后，再用和建立目标特征值数据库时采用的特征值提取模块进行特征值抽取，然后传递到搜索系统服务器端或“目标”信息索引数据库，最后搜索系统程序从上述多维目标信息索引数据库中找到相关数据。

具体实施方式

下面首先从搜索过程来阐述本发明的技术方案的具体实施方式，然后以点读装置和彩色广告识读装置等的信息获取方法为实施例对本发明进一步说明。

本发明的信息获取的步骤主要包括：

(1)获取目标图片等信息。目标图片等信息可以通过互联网从目标图片等信息持有者网站抓取，也可以由目标图片等信息持有者通过上传等方式提供。这些目标图片等信息可以嵌入一些固定不变的模式作为匹配时定位，定向，定色等的依据或修正的标准。

(2)建立目标信息索引数据库。由索引系统程序对收集到的目标信息进行分析，提取相关图片等信息进行特征值抽取处理，提取相关的特征值信息，譬如图片的颜色、形状、纹理、空间关系等，以及用于定位，定向，定色等的固定模式等的特征值信息，然后用这些特征值信息或利用其中一部分特征值信息对其他特征值信息进行处理后，建立目标信息索引数据库。

(3)在索引数据库中搜索。当用户通过具有相机功能的移动终端输入搜索条件，譬如：图片、视频等查询信息后，利用从用于定位，定向，定色等的固定模式等获得的特征值信息，对查询信息进行定位，定向，定色等处理，以确定查询信息的有效范围，方位，颜色补正量等。由此对查询信息进行方位调整，颜色补正等图像校正，对有效范围内的查询信息进行和建立目标信息索引数据库提取目标信息特征值同样的方法提取相关的特征值信息，譬如图片的颜色、形状、纹理、空间关系等，并以这些的特征值作为搜索条件向搜索服务器请求搜索。搜索系统服务器则分解搜索请求，由搜索系统从索引数据库中找到符合该搜索条件的所有相关信息。根据一定的相关度算法进行计算，得到每一个信息针对该查询信息内容中每一个特征值的相关度(或重要性)，

(4)对搜索结果进行排序。综合上述形成的相关度数值，然后进行排序，相关度越高，排序越靠前。

(5)组织结果返回给用户。最后将搜索结果的链接地址和页面内容摘要，或者相应的声音，视频等内容组织起来返回给用户。

下面首先以点读系统为实施例对本发明进一步说明。

最近市场出现一种所谓的多媒体书籍，它是在印刷物的不同位置嵌入不同的二维码，通过专门设计的识读器对印刷物不同位置进行识读，得到嵌入在该位置的二维码码值，然后根据得到的码值执行预订的动作，比如发出对应的声音，播放对应的视频等。但是为了获得足够的码值，二维码需要较大面积，通常远大于主体内容，不仅不够美观，而且会对主体内容形成干扰。

本发明用于点读系统时具体搜索的步骤主要包括：

(1)获取目标图片等信息。目标信息等主要来源于目标信息持有者。目标信息等信息持有者把用截图，拍摄或PDF等方式将印刷物上用于识读的文字或图像转变成图像格式，连同其预定的动作信息等一起，直接上传到服务器或发布在相关网站，服务器利用能够从互联网上自动收集网页的网页蜘蛛程序，自动访问分布在网络上的网站，并把所有相关网页收集到服务器中。

(2)添加目标图片等信息的校正元素。目标信息等信息持有者发布的目标图片等信息可以嵌入一些固定不变的模式作为匹配时定位，定向，定色等的依据或修正的标准，比如印刷物上的文字信息可以用加注引用标点符号，或者一些特殊符号，比如预定的动作是声音时用麦克风标志，预定的动作是视频时用摄像头标志等，还可以对印刷物上的文字信息进行加注底线，背景阴影等。

(3)在索引数据库中搜索。当用户通过具有相机功能的移动终端通过拍摄相关内容输入搜索条件，譬如：图片、视频等查询信息后，利用从用于定位，定向，定色等的固定模式等获得的特征值信息，对查询信息进行定位，定向，定色等处理，以确定查询信息的有效范围，方位，颜色补正量等。由此对查询信息用旋转处理等进行方位调整，用对照原色变化量等进行颜色补正等后，对有效范围内的查询信息进行和建立目标信息索引数据库提取目标信息特征值同样的方法提取相关的特征值信息，譬如图片的颜色、形状、纹理、空间关系等，并以这些的特征值作为搜索条件向搜索服务器请求搜索。搜索系统服务器则分解搜索请求，由搜索系统从索引数据库中找到符合该搜索条件的所有相关信息。根据一定的相关度算法进行计算，得到每一个信息针对该查询信息内容中每一个特征值的相关度(或重要性)，

(4)对搜索结果进行排序。综合上述形成的相关度数值，然后进行排序，相关度越高，排序越靠前。

(5)组织结果返回给用户。最后将搜索结果的链接地址和页面内容摘要，或者相关声音，视频等内容组织起来返回给用户。

下面再以彩色广告识读装置为实施例对本发明进一步说明。

最近印刷物广告牌，宣传单，海报等都会在印刷物上嵌入二维码，以便用户通过手机拍照等获取相关网站地址，进入网站获取更多信息或直接购买等。但是这种二维码很不美观，严重破坏了主体内容的美感。

本发明用于彩色广告识读装置时具体搜索的步骤主要包括：

(1)获取目标图片等信息。目标信息等主要来源于目标信息持有者。目标信息等信息持有者把广告图片，或用截图，拍摄或PDF等方式将广告物转变成图像格式，连同其预定的动作信息，比如网站链接地址和页面内容摘要等一起，直接上传到服务器或发布在相关网站，服务器利用能够从互联网上自动收集网页的网页蜘蛛程序，自动访问分布在网络上的网站，并把所有相关网页，包括广告图片信息等收集到服务器中。

(2)添加目标图片等信息校正元素。目标信息等信息持有者发布的目标图片等信息可以嵌入一些固定不变的模式作为匹配时定位，定向，定色等的依据或修正的标准，比如可以和二维码一样在印刷物上的4个角落的其中3个角落嵌入正方形图案，这3个正方图案可以用来帮助图片识读时定位，这样使用者不需要对准，无论以任何角度拍摄都可以被正确识读。再者这3个正方图案可以使用不同的颜色，比如3原色的红，绿，蓝，这样这3个3原色正方图案可以用来帮助图片识读时定色，即校正由于光线颜色，角度，亮度以及拍摄条件等造成的颜色偏差。

(3)在索引数据库中搜索。当用户通过具有相机功能的移动终端通过拍摄相关内容输入搜索条件，譬如：图片、视频等查询信息后，利用从用于定位，定向，定色等的固定模式等获得的特征值信息，对查询信息进行定位，定向，定色等处理，以确定查询信息的有效范围，方位，颜色补正量等。由此对查询信息进行方位调整，颜色补正等，对有效范围内的查询信息进行和建立目标信息索引数据库提取目标信息特征值同样的方法提取相关的特征值信息，譬如图片的颜色、形状、纹理、空间关系等，并以这些的特征值作为搜索条件向搜索服务器请求搜索。搜索系统服务器则分解搜索请求，由搜索系统从索引数据库中找到符合该搜索条件的所有相关信息。根据一定的相关度算法进行计算，得到每一个信息针对该查询信息内容中每一个特征值的相关度(或重要性)，

(4)对搜索结果进行排序。综合上述形成的相关度数值，然后进行排序，相关度越高，排序越靠前。

(5)组织结果返回给用户。最后将搜索结果的链接地址和页面内容摘要，或者相关声音，视频等内容组织起来返回给用户。

上述基于内容的多媒体搜索技术，尤其是对图片信息等添加定位，定向和定色元素的图片处理技术，可以有效地避免获取图片时图片的缩放变形，倾斜变形，运动变形及颜色变形等图片变形方式，将拍摄到的图像校准为理想图像或接近于理想图像，从而大大提高基于图片内容搜索的精度和速度。

以上详细描述了本发明的较佳具体实施例，应该理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明构思在现有技术基础上通过逻辑分析，推理或者根据有限的实验可以得到的技术方案，均应该在由本权利要求书所确定的保护范围之中。

Claims (7)

1.一种信息获取方法和装置，其特征在于建立包含从目标图片等目标信息中提取的一种或多种图片特征值创建的“目标”信息索引数据库。目标图片等信息还可以嵌入一些固定不变的模式作为匹配时定位，定向，定色等的依据或修正的标准。用户提供的“查询”信息可以是图片等各种多媒体信息。这些查询信息中可以嵌入一些和目标信息一样的固定不变的模式作为搜索匹配时定位，定向，定色等的依据或修正的标准。搜索时，终端上获得装置获得的查询信息被根据嵌入的一些固定不变的模式进行定位，定向确定查询信息的有效范围，调整查询信息的方位等处理，以及根据标准颜色等进行颜色补正，定色等校正后，再用和建立目标特征值数据库时采用的特征值提取模块进行特征值抽取，然后传递到搜索系统服务器端或“目标”信息索引数据库，最后搜索系统程序从上述多维目标信息索引数据库中找到相关数据。

2.根据权利要求1所述的信息获取方法和装置，其特征是目标数据和查询数据中的图片信息两者或只是后者可以嵌入一些固定不变的模式作为匹配时定位，定向，定色等的依据或修正的标准。

3.根据权利要求1所述的信息获取方法和装置，其特征是目标数据和查询数据中的图片信息中嵌入作为匹配时定位，定向，定色等的依据或修正的标准的固定模式可以是引用标点符号，或者规定的一些特殊符号，比如预定的动作是声音时用麦克风标志，预定的动作是视频时用摄像头标志等，还可以是对印刷物上的文字信息进行的加注底线，背景阴影等。

4.根据权利要求1所述的信息获取方法和装置，其特征是目标数据和查询数据中的图片信息中嵌入作为匹配时定位，定向，定色等的依据或修正的标准的固定模式可以是和二维码一样在印刷物上的4个角落的其中3个角落嵌入正方形图案，这3个正方图案可以用来帮助图片识读时定位，这样使用者不需要对准，无论以任何角度拍摄都可以被正确识读。再者这3个正方图案可以使用不同的颜色，比如3原色的红，绿，蓝，这样这3个3原色正方图案可以用来帮助图片识读时定色，即校正由于光线颜色，角度，亮度以及拍摄条件等造成的颜色偏差。

5.根据权利要求1所述的信息获取方法和装置，其特征是所有查询信息被根据嵌入的一些固定不变的模式进行定位，定向确定查询信息的有效范围，调整查询信息的方位等处理，以及根据标准颜色等进行颜色补正，定色等校正后，再用和建立目标特征值数据库时采用的特征值提取模块进行特征值抽取，然后传递到搜索系统服务器端或“目标”信息索引数据库。

6.根据权利要求1所述的信息获取方法和装置，其特征是被嵌入的固定不变的模式是事先在数据库端登陆并被认可的模式。

7.根据权利要求1所述的信息获取方法和装置，其特征是目标信息和查询信息可以是图片，也可以是视频，声音等多媒体信息或者它们的组合。