CN109389067A - 应用于移动设备的智能图像捕捉系统 - Google Patents

Abstract

本发明公开了一种应用于移动设备的智能图像捕捉系统，包括图像取样、比较、识别模块和图像数据库；图像经摄像头取样后给图像比较模块进行多角度转角，把该图像的每个角度和已知图像库里的图像进行对比，找出最相似的几个；然后，定位模块提取所有相似图像的轮廓像素点向量，将该向量和建议的取景清晰度返回给智能图像捕捉系统，目标匹配模块将目标嵌入到合适的轮廓之中，按照建议的取景清晰度，进行第二次取样，再次将取样结果发送到比较模块进行最终识别，判断该目标景物最有可能匹配的已知图像。本发明的有益效果是：应用于移动设备的智能图像捕捉系统具有自学习能力，通过调整取样角度，不断积累，其捕捉目标和识别目标的能力不断提高。

Description

应用于移动设备的智能图像捕捉系统

技术领域

本发明涉及移动设备的应用程序，具体地说，涉及一种应用于移动设备的智能图像捕捉系统。

背景技术

当前图像识别技术主要包括图像采样，图像比较，和图像识别这几个过程。其中，图像采样通过手机或其他移动设备的视频头对目标实物照相，实物照片发送到识别端（同一部手机或远程识别系统），然后识别端通过各种图像匹配算法进行识别。

当前主流的图像取样和比较算法有SIFT，SURF，ORB等等。这些算法的一般流程是：

1. 图像取样：

a. 分割图像，找到局部的特征点（point of interest）

b. 基于特征点，算出每个分割块的描述向量（descriptor）。

c. 每个分割快（keypoint）位置是其在图片中的坐标和大小。

d. 所有的分割块和描述向量就可以覆盖整个图片了

2. 图像比较

a. 对于待识别图像的每个描述向量，在已知的图像数据库中查找，找到最相近的那个。然后找到相近的那个描述向量所对应的分割快位置。

b. 找出所有接近的分割快位置

3. 图像识别

a. 利用各种矩阵运算，识别待识别图像各个分割快位置是否和已知图像的分割快位置对应。如果充分对应，那么这两个图像是一样的。

从以上过程可以看到，如果取样过程不够精确或者角度不一致，或取样的精度不一样，识别或比较过程就会受到影响，导致最终结果不准确。

有学术研究表明，如果取样照片的角度有一定的偏差（特别是在45度，135度，315度偏差），图像识别的准确度会比没有角度偏差时候要降低一半。特别是在货币、支票、签名和印章的鉴伪上对图像识别的准确度要求非常高，只有在目标照片取样合适，才能提高系统的鉴伪能力。

发明内容

本发明正是为了解决上述技术问题而设计的一种应用于移动设备的智能图像捕捉系统。

本发明解决其技术问题所采用的技术方案是：

一种应用于移动设备的智能图像捕捉系统，包括图像取样、比较、识别模块和图像数据库；该系统增加了定位模块和目标匹配模块，其工作流程是：图像取样经摄像头初步取样后给图像比较模块处理，经图像比较模块进行多角度转角，把该图像的每个角度和已知图像库里的图像进行对比，找出最相似的几个景物；然后，在已知图像数据库里，找到这几个景物的高精确度图像；然后，定位模块提取所有高清晰度相似图像的轮廓像素点向量，将所有轮廓像素点向量，图像的清晰度要求返回给智能图像捕捉系统；智能图像捕捉系统收到这些轮廓之后，目标匹配模块将目标景物嵌入到合适的轮廓之中，按照清晰度要求进行第二次取样，再次将取样结果发送到比较模块；比较模块进行最终识别，判断该目标景物最有可能匹配的已知图像。

所述应用于移动设备的智能图像捕捉系统，其图像数据库包括已知类型的图像数据和使用中学习过程新增的图像数据，已知类型的图像数据每个图像均是按照一定的入射角进行拍摄的， 然后按照不低于1280 x 720个像素的清晰度取样；在捕捉目标景物的时候，按照同样的角度和清晰度取样；针对未知类型的目标图像，定位模块简化轮廓像素向量，仅返回匹配图像的几何特征，如长方形，三角形，或多边形的各个顶点；取样时，调用目标匹配模块，把目标景物放入镜头显示的轮廓中，然后按照建议的清晰度进行取样。

所述应用于移动设备的智能图像捕捉系统，其目标匹配模块根据轮廓，自动调整角度和大小，找到目标景物和轮廓的最佳匹配，然后进行取样。

所述应用于移动设备的智能图像捕捉系统，由识别模块针对目标图像进行取样后进行识别，对其真伪度做出评分，并将新增目标图像数据存入图像数据库。

本发明的有益效果是：应用于移动设备的智能图像捕捉系统具有自学习能力，通过调整取样角度，不断积累，其捕捉目标的能力不断提高。经过调整取景的角度，对二次取样的识别的准确度可以明显提高。

附图说明

图 1 现有技术图像识别系统流程图。

图 2 本发明应用于移动设备的智能图像捕捉系统流程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

如图2所示，本发明一种应用于移动设备的智能图像捕捉系统，包括图像取样、比较、识别模块和图像数据库；该系统增加了定位模块和目标匹配模块，其工作流程是：图像取样经摄像头初步取样后给图像比较模块处理，经图像比较模块进行多角度转角，把该图像的每个角度和已知图像库里的图像进行对比，找出最相似的几个景物；然后，在已知图像数据库里，找到这几个景物的高精确度图像；然后，定位模块提取所有高清晰度相似图像的轮廓像素点向量，将所有轮廓像素点向量，图像的清晰度要求返回给智能图像捕捉系统；智能图像捕捉系统收到这些轮廓之后，目标匹配模块将目标景物嵌入到合适的轮廓之中，按照清晰度要求进行第二次取样，再次将取样结果发送到比较模块；比较模块进行最终识别，判断该目标景物最有可能匹配的已知图像。

所述应用于移动设备的智能图像捕捉系统，其图像数据库包括已知类型的图像数据和使用中学习过程新增的图像数据，已知类型的图像数据每个图像均是按照一定的入射角进行拍摄的， 然后按照不低于1280 x 720个像素的清晰度取样；在捕捉目标景物的时候，按照同样的角度和清晰度取样；针对未知类型的目标图像，定位模块简化轮廓像素向量，仅返回匹配图像的几何特征，如长方形，三角形，或多边形的各个顶点；取样时，调用目标匹配模块，把目标景物放入镜头显示的轮廓中，然后按照建议的清晰度进行取样。

所述应用于移动设备的智能图像捕捉系统，其目标匹配模块根据轮廓，自动调整角度和大小，找到目标景物和轮廓的最佳匹配，然后进行取样。

所述应用于移动设备的智能图像捕捉系统，由识别模块针对目标图像进行取样后进行识别，对其真伪度做出评分，并将新增目标图像数据存入图像数据库。

实施例：

本发明提出一种优化取样的过程。其流程如下：

1.取样app对目标景物初步取样，该初步取样传送到比较和识别模块。这个步骤中，取样app可以仅拍出目标景物然后直接传送到识别模块，也可以拍出景物后，同时对目标景物进行标识，然后将景物和标识交给识别模块。比如，在上示意图中，手机app拍出景物后，同时加注实物为“树”。在传送过程中，表示可以作为照片的原数据（metadata）的一部分传送，可以存储在图像文件的头数据（比如jpeg header data）中，或单独用文本方式存储。相片上载传送的过程可以是一个HTTP请求，或一个远程的函数调用。这个上载的过程要显示出该上载是初次取样，不是最终的取样（见第7步）：如果通过HTTP上载，初次取样的URL或调用的参数和最终取样的不一样。如果是远程函数调用，函数名或参数和最终取样的不一样。

2.识别模块识别出该景物最有可能的实体类别。当识别模块收到上载的图像后，如果接受的函数或参数是指示对该景物进行初次识别，就进行如下处理。对于没有标识的图片，比较和识别模块对该景物进行360度转角，对每个转角都在已知的实体数据库中查询，找到最相似的n个实体（n是事先选定的一个阈值，比如10），或所有相似度大于一个阈值的实体（比如，所有相似度大于90%的实体）。对于有标识的图片，比较和识别模块仅在相同标识的实体数据库中查询，然后找出相近的实体。比如，在所有的“树”的实体中，找出相似度有90%的样品。

3.定位模块勾勒出该实体类别的整体轮廓。当潜在的实体选中后，在图像数据库中找出这几个图像的高清晰度样片，定位模块把每个高清晰度实体的轮廓勾勒出来。勾勒过程可以是基于文献Ethan Rublee, Vincent Rabaud, Kurt Konolige, and GaryBradski. Orb: an efficient alternative to sift or surf. In Computer Vision (ICCV), 2011 IEEE International Conference on, pages 2564–2571. IEEE, 2011，勾勒出的轮廓像素点用坐标向量的表现出来。

4.定位模块将整体轮廓及取样清晰度要求传送到取样app。定位模块可以将轮廓向量作为远程函数调用的返回值的方式传送到取样app. 或者通过消息推送（push）的方式传给手机app。

5.取样app根据整体轮廓重新定位，将目标景物按照整体轮廓对齐。手机app收到轮廓坐标向量后，将该向量转换成像素点，然后将像素点在手机相机中呈现出来。这个时候，手机相机中会出现一个边框。在示意图上，这个边框是一个“树”的轮廓。

6.取样app按照清晰度要求，将新的取样发送到图像比较和识别模块。手机app提示用户将目标景物放入边框中，重新取样。或者，手机app自动聚焦和调整角度，清晰度要求，将目标景物放入边框中。

7.当二次取样完成后，新的取样照片发送到识别模块中。该取样照片传送到识别模块中。和第一步不一样在于，这一次上传的地址或函数调用或其中的参数指定该上传是二次取样（最终取样）。

8.识别模块识别出该景物最终匹配的实体类别。当识别模块收到上载的图像后，如果接受的函数或参数是指示对该景物进行最终识别，就在已知的实体数据库中查询，找出最匹配的实体。

当目标景物的类别事先已经知道的（如印章，签名，支票，货币等），无需进行第1到4步，取样app自动调用已知景物的轮廓来定位目标景物。

本发明不局限于上述最佳实施方式，任何人在本发明的启示下得出的其他任何与本发明相同或相近似的产品，均落在本发明的保护范围之内。

Claims (4)

1.一种应用于移动设备的智能图像捕捉系统，包括图像取样、比较、识别模块和图像数据库；其特征在于：该系统增加了定位模块和目标匹配模块，其工作流程是：图像取样经摄像头初步取样后给图像比较模块处理，经图像比较模块进行多角度转角，把该图像的每个角度和已知图像库里的图像进行对比，找出最相似的几个景物；然后，在已知图像数据库里，找到这几个景物的高精确度图像；再然后，定位模块提取所有高清晰度相似图像的轮廓像素点向量，将所有轮廓像素点向量，图像的清晰度要求返回给智能图像捕捉系统；智能图像捕捉系统收到这些轮廓之后，目标匹配模块将目标景物嵌入到合适的轮廓之中，按照清晰度要求进行第二次取样，再次将取样结果发送到比较模块；比较模块进行最终识别，判断该目标景物最有可能匹配的已知图像。

2.根据权利要求1所述的应用于移动设备的智能图像捕捉系统，其特征在于：图像数据库包括已知类型的图像数据和使用中学习过程新增的图像数据，已知类型的图像数据每个图像均是按照一定的入射角进行拍摄的， 然后按照不低于1280 x 720个像素的清晰度取样；在捕捉目标景物的时候，按照同样的角度和清晰度取样；针对未知类型的目标图像，定位模块简化轮廓像素向量，仅返回匹配图像的几何特征，如长方形，三角形，或多边形的各个顶点；取样时，调用目标匹配模块，把目标景物放入镜头显示的轮廓中，然后按照建议的清晰度进行取样。

3.根据权利要求2所述的应用于移动设备的智能图像捕捉系统，其特征在于：目标匹配模块根据轮廓，自动调整角度和大小，找到目标景物和轮廓的最佳匹配，然后进行取样。

4.根据权利要求2和3所述的应用于移动设备的智能图像捕捉系统，其特征在于：由识别模块针对目标图像进行取样后进行识别，对其真伪度作出评分，并将新增目标图像数据存入图像数据库。