CN103593643B - 一种图像识别的方法及系统 - Google Patents

Abstract

本发明提供了一种图像识别的方法及系统，其中图像识别的方法包括：A.在采集物体的图像时确定采集设备的录入方向；B.利用所述录入方向对采集到的图像进行成像矫正，得到矫正后的图像；C.利用矫正后的图像进行图像识别，得到最终的图像识别结果。通过上述方式，本发明可以有效提高图像识别的准确度。

Description

一种图像识别的方法及系统

【技术领域】

本发明涉及图像识别技术，特别涉及一种图像识别的方法及系统。

【背景技术】

在现有的图像识别技术里，图像识别过程中对输入图像进行分析，通常只涉及到特征提取和特征比对，例如从输入图像中提取图像特征，然后将图像特征与已知物体的特征进行比对，从而确认待识别的图像是否为已知物体。

然而，相同的物体在不同角度下拍摄得到的图像是不同的，而不同的图像在特征提取时会得到不同的特征，从而在与已知物体的特征进行比对时得到不同的匹配度。请参考图1和图2，图1和图2分别为相同的文字在不同的角度下拍摄得到的图像示意图。从图1和图2可以看出，相同的文字在不同的拍摄角度下得到的图像是不同的，而不同的图像可能得到不同的识别结果，例如图1中的文字可能被识别为“图像识别”，而图2中的文字却被识别为“图像织别”，这说明图2中的图像识别发生了错误。可见，图像的拍摄角度会影响图像识别的准确度，在一些角度下采集图像，会降低图像识别的准确度。

现有的图像识别技术中，尚无任何考虑图像拍摄角度的识别方案。

【发明内容】

本发明所要解决的技术问题是提供一种图像识别的方法及系统，以解决现有图像识别技术中存在的由图像拍摄角度引起的图像识别准确度降低的问题。

本发明为解决技术问题而采用的技术方案是提供一种图像识别的方法，包括：A.在采集物体的图像时确定采集设备的录入方向；B.利用所述录入方向对采集到的图像进行成像矫正，得到矫正后的图像；C.利用矫正后的图像进行图像识别，得到最终的图像识别结果。

根据本发明之一优选实施例，所述步骤A具体包括：获取所述采集设备在采集图像时的横滚角，并以所述横滚角确定所述采集设备的录入方向。

根据本发明之一优选实施例，所述步骤B具体包括：根据所述横滚角对采集到的图像进行旋转。

根据本发明之一优选实施例，所述步骤A具体包括：获取所述采集设备在采集图像时的横滚角、俯仰角和航向角，并以所述横滚角、所述俯仰角和所述航向角确定所述采集设备的录入方向。

根据本发明之一优选实施例，所述步骤B具体包括：根据所述横滚角对采集到的图像进行旋转，并且，根据所述俯仰角和所述航向角对采集到的图像进行缩放。

根据本发明之一优选实施例，所述步骤C具体包括：C1.对矫正前的图像进行识别，得到第一识别结果；C2.对矫正后的图像进行识别，得到第二识别结果；C3.根据所述第一识别结果和所述第二识别结果确定最优识别结果，并将所述最优识别结果作为最终的图像识别结果。

根据本发明之一优选实施例，根据所述第一识别结果和所述第二识别结果确定最优识别结果的步骤具体包括：当所述物体为文字时，确定所述第一识别结果包含的识别项数目X和所述第二识别结果包含的识别项数目Y，并取X和Y中的较大值所对应的识别结果为最优识别结果；或者，利用预置的语言模型确定所述第一识别结果的文法概率J和所述第二识别结果的文法概率K，并取J和K中的较大值所对应的识别结果为最优识别结果。

根据本发明之一优选实施例，根据所述第一识别结果和所述第二识别结果确定最优识别结果的步骤具体包括：确定所述第一识别结果在图像识别过程中与特征比对时的匹配度M和所述第二识别结果在图像识别过程中与特征比对时的匹配度N，并取M和N中的较大值所对应的识别结果为最优识别结果。

本发明还提供了一种图像识别的系统，包括：图像采集装置，用于采集物体的图像；方向获取装置，用于在所述图像采集装置采集物体的图像时确定采集设备的录入方向；矫正装置，用于利用所述录入方向对采集到的图像进行成像矫正，得到矫正后的图像；结果获取装置，用于利用矫正后的图像进行图像识别，得到最终的图像识别结果。

根据本发明之一优选实施例，所述方向获取装置确定采集设备的录入方向的方式具体包括：获取所述采集设备在采集图像时的横滚角，并以所述横滚角确定所述采集设备的录入方向。

根据本发明之一优选实施例，所述矫正装置对采集到的图像进行成像矫正的方式具体包括：根据所述横滚角对采集到的图像进行旋转。

根据本发明之一优选实施例，所述方向获取装置确定采集设备的录入方向的具体方式包括：获取所述采集设备在采集图像时的横滚角、俯仰角和航向角，并以所述横滚角、所述俯仰角和所述航向角确定所述采集设备的录入方向。

根据本发明之一优选实施例，所述矫正装置对采集到的图像进行成像矫正的方式具体包括：根据所述横滚角对采集到的图像进行旋转，并且，根据所述俯仰角和所述航向角对采集到的图像进行缩放。

根据本发明之一优选实施例，所述结果获取装置包括：第一识别单元，用于对矫正前的图像进行识别，得到第一识别结果；第二识别单元，用于对矫正后的图像进行识别，得到第二识别结果；结果确定单元，用于根据所述第一识别结果和所述第二识别结果确定最优识别结果，并将所述最优识别结果作为最终的图像识别结果。

根据本发明之一优选实施例，所述结果确定单元根据所述第一识别结果和所述第二识别结果确定最优识别结果的方式具体包括：当所述物体为文字时，确定所述第一识别结果包含的识别项数目X和所述第二识别结果包含的识别项数目Y，并取X和Y中的较大值所对应的识别结果为最优识别结果；或者，利用预置的语言模型确定所述第一识别结果的文法概率J和所述第二识别结果的文法概率K，并取J和K中的较大值所对应的识别结果为最优识别结果。

根据本发明之一优选实施例，所述结果确定单元根据所述第一识别结果和所述第二识别结果确定最优识别结果的方式具体包括：确定所述第一识别结果在图像识别过程中与特征比对时的匹配度M和所述第二识别结果在图像识别过程中与特征比对时的匹配度N，并取M和N中的较大值所对应的识别结果为最优识别结果。

由以上技术方案可以看出，通过在采集图像时，获取采集设备的录入方向，可以对采集到的图像进行矫正，利用矫正后的图像进行图像识别，能够为物体的图像识别提供更多的数据参考，从而可以有效地减少由图像拍摄角度导致的图像识别错误，提高图像识别的准确度。

【附图说明】

图1为文字在角度一的情况下拍摄得到的图像示意图；

图2为文字在角度二的情况下拍摄得到的图像示意图；

图3为本发明中图像识别的方法的流程示意图；

图4为本发明中采集设备的参考坐标系的示意图；

图5为文字在角度三的情况下拍摄得到的图像示意图；

图6为本发明中图像识别的系统的结构示意框图；

图7为本发明中结果获取装置的实施例的结构示意框图；

图8为本发明中图像识别的系统的一个分布示意图；

图9为本发明中图像识别的系统的另一个分布示意图。

【具体实施方式】

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

请参考图3，图3为本发明中图像识别的方法的流程示意图。如图3所示，该方法包括：

步骤S101：在采集物体的图像时确定采集设备的录入方向。

步骤S102：利用采集设备的录入方向对采集到的图像进行成像矫正，得到矫正后的图像。

步骤S103：利用矫正后的图像进行图像识别，得到最终的图像识别结果。

下面对上述步骤进行详细说明。

本发明中的图像采集设备，包括各种能感知自身姿态变化的拍摄装置，例如各种带有陀螺仪的可拍照手机、平板或相机等设备。

根据陀螺仪的测量原理，能感知自身姿态变化的载体，在水平放置时，其前后方向、左右方向和上下方向相互垂直的轴分别构成该载体的参考坐标系，其前后方向形成的轴为横滚轴，左右方向形成的轴为俯仰轴，上下方向形成的轴为航向轴。当载体围绕横滚轴旋转时，偏离横滚轴的角度为横滚角，围绕俯仰轴旋转时，偏离俯仰轴的角度为俯仰角，围绕航向轴旋转时，偏离航向轴的角度为航向角。

请参考图4，图4为本发明中采集设备的参考坐标系的示意图。步骤S101中，通过采集设备的姿态感知装置，获取到该采集设备在采集图像时的横滚角（即采集设备围绕横滚轴旋转形成的偏移角）、俯仰角（即采集设备围绕俯仰轴旋转形成的偏移角）和航向角（即采集设备围绕航向角旋转形成的偏移角），由这三个角度，就可以确定采集设备的录入方向了。

可以理解，将采集设备围绕横滚轴旋转前采集的图像与采集设备围绕横滚轴旋转后采集到的图像进行对比，后者的图像相对前者，在平面内发生了旋转。请参考图1和图2，其中图1为采集设备水平放置时（即围绕横滚轴、俯仰轴和航向轴的旋转均为零时），获取到的图像，图2为采集设备围绕横滚轴旋转一定角度后进行图像采集得到的图像。与图1相比，图2中的图像在平面内旋转了一定角度，根据成像原理可以知道，图2中的图像正是以和采集设备旋转方向相反的方向旋转了与采集设备相同的旋转角度。因此，在步骤S102中，对采集到的图像进行成像矫正的具体方式包括根据采集设备的横滚角对采集到的图像进行旋转，从而使得由于采集设备倾斜造成的图像倾斜得到矫正。例如设备的横滚角为逆时针30度，则步骤S102中将采集到的图像在平面内逆时针旋转30度。

另外，可以理解，将采集设备围绕航向轴或俯仰轴旋转，旋转前采集的图像与旋转后采集到的图像相比，前者的图像显示比例比后者要均匀。请参考图1和图5，其中图5为采集设备围绕航向轴旋转一定角度时获取到的图像。从图5可以看出，采集设备围绕航向角进行旋转后，得到的图像的两头大小会发生改变，距离采集设备较近一头的图像会比距离采集设备较远一头的图像大。同样的道理，当采集设备围绕俯仰角进行旋转后，也会出现图像比例改变的情况，在此不再赘述。根据上述说明中的成像规律，本发明在步骤S103中，对采集到的图像进行成像矫正的具体方式包括根据航向角或俯仰角对采集到的图像进行缩放，具体地包括根据航向角或俯仰角的大小，成比例地对采集到的图像两头分别进行缩放，该比例可预先通过试验数据确定，在此不再详述。

以上说明是以最优实施方式对步骤S101和步骤S102进行介绍的。实际上可以看出，采集设备围绕航向角和俯仰角旋转而对图像产生的影响并不显著，作为一种较为简单的实施方式，本发明也可以忽略采集设备的航向角和俯仰角对图像造成的影响。这样，在步骤S101中，也可以仅获取采集设备在采集图像时的横滚角，并以该横滚角确定采集设备的录入方向，相应地，步骤S102中对采集到的图像进行成像矫正的具体方式就是根据采集设备的横滚角对采集到的图像进行旋转。

值得注意的是，在前面的说明中，是以图4所示的参考坐标系来描述各个角度的，实际上，如果采集设备的参考坐标系更改，例如更改了采集设备中陀螺仪的测量基准，则更改前后，采集设备在同一姿态下得到的横滚角、俯仰角或航向角的值是不相同的，但无论参考坐标系如何设置，本发明均根据步骤S101中获取的各个由参考坐标系决定的角度来确定设备的录入方向，并根据设备的录入方向进行后续处理。

在得到矫正后的图像后，步骤S103中就可以根据矫正后的图像进行图像识别。在一个实施例中，步骤S103中可以直接采用现有的图像识别算法，对矫正后的图像进行识别，并将识别结果作为最终的图像识别结果。

但是，在一些情况下，矫正后的图像未必是最有利于图像识别的图像。例如物体以倾斜的方式放置，此时采集设备水平放置获取的图像并不利于进行图像识别，反而将采集设备围绕横滚轴旋转后获取的图像可能更利于图像识别，也就是说，矫正后的图像反而不利于进行图像识别了。因此，优选地，本发明还提供了步骤S103的另一种实施方式。在该实施方式中，具体地，步骤S103包括：

步骤S1031：对矫正前的图像进行识别，得到第一识别结果。

步骤S1032：对矫正后的图像进行识别，得到第二识别结果。

步骤S1033：根据第一识别结果和第二识别结果确定最优识别结果，并将最优识别结果作为最终的识别结果。

其中步骤S1031和步骤S1032中均可采用现有的图像识别算法对输入图像进行识别，分别得到第一识别结果和第二识别结果。

步骤S1033中根据第一识别结果和第二识别结果确定最优识别结果，可以有多种实施方式。其中，如果图像中的物体为文字时，步骤S1033可按照下列方式实施：

确定第一识别结果包含的识别项数据X和第二识别结果包含的识别项数目Y，并取X和Y中的较大值所对应的识别结果为最优识别结果。

识别项即识别出的文字，例如第一识别结果为“我爱北京天安门”，其包含的识别项数目X等于7，第二识别结果为“我北京天安门”，其包含的识别项Y等于6，由于X大于Y，则X对应的“我爱北京天安门”就是最优识别结果。

此外，如果图像中的物体为文字时，步骤S1033还可以按照下列方式实施：

利用预置的语言模型确定所述第一识别结果的文法概率J和所述第二识别结果的文法概率K，并取J和K中的较大值所对应的识别结果为最优识别结果。

语言模型是对大量的语料进行统计后得到的、用以确定文本的文法概率的模型。以二元统计语言模型为例，P（我爱北京天安门）=P（我）*P（爱|我）*P（北京|爱）*P（天安门北京），其中P（我爱北京天安门）为文本“我爱北京天安门”的文法概率，P（我）为大规模语料库中文本“我”的出现概率，P（爱|我）为大规模语料库中文本“我”出现的条件下文本“爱”出现的概率，其余的概率含义与之类似。P（我）、P（爱|我）等概率均可从语言模型中查到，因此利用语言模型，即可确定文本“我爱北京天安门”的文法概率。

由于图像识别中的错误，会造成文本的可读性降低，文本的文法概率自然也会降低，因此通过本实施方式中的文法概率，可以很好地衡量图像识别的效果。

对于包括文字识别在内的一般的物体识别，例如人脸识别等，步骤S1033中根据第一识别结果和第二识别结果确定最优识别结果，还可以按照下列方式实施：

确定第一识别结果在图像识别过程中与特征比对时的匹配度M和第二识别结果在图像识别过程中与特征比对时的匹配度N，并取M和N中的较大值所对应的识别结果为最优识别结果。

在步骤S1031中对矫正前的图像进行识别以及步骤S1032中对矫正后的图像进行识别时，根据现有的图像识别方法可知，图像识别中会将待识别图像的特征与已知特征进行比对，此时会产生一个匹配度，在本实施例中，将利用图像识别中特征比对的匹配度来确定哪个识别结果更优，很显然，与已知特征相似度高的那个识别结果就是最优识别结果。

此外，本发明在步骤S1033中，还可以根据第一识别结果和第二识别结果判断图像识别的满意度，例如以文字识别为例，为识别结果的文法概率设置一个阈值，以此判断第一识别结果和第二识别结果的识别效果，当第一识别结果和第二识别结果的文法概率均低于这个阈值时，确定第一识别结果和第二识别结果的满意度不符合要求。此时，本发明还可以进一步对采集到的图像进行二次矫正，如果在步骤S101中获取到的采集设备的横滚角不为零，则在二次矫正的过程中，将采集到的图像在平面内进行多个角度的旋转尝试，并在每个角度的旋转尝试下，进行一次图像识别，将各识别结果中，文法概率最高的识别结果作为最优识别结果。

值得说明的是，本发明中，步骤S102或步骤S103，既可在客户端执行，也可在服务器执行。例如，客户端（如可拍照的手机、平板或具有通讯功能的相机等）在获取到采集设备的录入方向后，将采集到的图像和设备录入方向发送至服务器，由服务器对采集到的图像进行矫正和图像识别，也可以在客户端获取到采集设备的录入方向后，在本地对采集到的图像进行矫正，并将相关数据发送至服务器，由服务器执行步骤S103。

请参考图6，图6为本发明中图像识别的系统的结构示意框图。如图6所示，该系统包括：采集装置201、方向确定装置202、矫正装置203及结果获取装置204。

其中采集装置201，用于采集物体的图像。

方向获取装置202，用于在图像采集装置采集物体的图像时确定采集设备的录入方向。

矫正装置203，用于利用采集设备的录入方向对采集到的图像进行成像矫正，得到矫正后的图像。

结果获取装置204，用于利用矫正后的图像进行图像识别，得到最终的识别结果。

根据一个实施例，方向获取装置202确定采集设备的录入方向的方式具体包括：获取采集设备在采集图像时的横滚角，并以该横滚角确定采集设备的录入方向。相应地，矫正装置203对采集到的图像进行成像矫正的方式具体包括：根据上述横滚角对采集到的图像进行旋转。

根据另一个优选实施例，方向获取装置202确定采集设备的录入方向的方式具体包括：获取采集设备在采集图像时的横滚角、俯仰角和航向角，并以该横滚角、俯仰角和航向角确定采集设备的录入方向。相应地，矫正装置203对采集到的图像进行成像矫正的方式具体包括：根据上述横滚角对采集到的图像进行旋转，并且，根据上述俯仰角和上述航向角对采集到的图像进行缩放。

请参考图7，图7为本发明中结果获取装置的实施例的结构示意框图。如图7所示，结果获取装置204包括：第一识别单元2041、第二识别单元2042以及结果确定单元2043。

其中，第一识别单元2041，用于对矫正前的图像进行识别，得到第一识别结果。第二识别单元2042，用于对矫正后的图像进行识别，得到第二识别结果。结果确定单元2043，用于根据第一识别结果和第二识别结果确定最优识别结果，并将最优识别结果作为最终的图像识别结果。

其中，第一识别单元2041和第二识别单元2042进行图像识别，均可采用现有的图像识别算法，在此不再赘述。

根据一个实施例，结果确定单元2043根据第一识别结果和第二识别结果确定最优识别结果的方式具体包括：

当图像中的物体为文字时，确定第一识别结果包含的识别项数目X和第二识别结果包含的识别项数目Y，并取X和Y中的较大值所对应的识别结果为最优识别结果；或者，利用预置的语言模型确定第一识别结果的文法概率J和第二识别结果的文法概率K，并取J和K中的较大值所对应的识别结果为最优识别结果。

根据另一个实施例，结果确定单元2043根据第一识别结果和第二识别结果确定最优识别结果的方式还可以是：

确定第一识别结果在图像识别过程中与特征比对时的匹配度M和第二识别结果在图像识别过程中与特征比对时的匹配度N，并取M和N中的较大值所对应的识别结果为最优识别结果。

实施本发明中的系统，可将各装置均置于客户端，也可仅将采集装置201和方向确定装置202置于客户端，而将矫正装置203和结果获取装置204置于服务器（请参考图8），或者将采集装置201、方向确定装置202和矫正装置203置于客户端，而将结果获取装置204置于服务器（请参考图9）。在本领域技术人员可以想到的范围内，本发明对此不做限制。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (12)

1.一种图像识别的方法，包括：

A.在采集物体的图像时确定采集设备的录入方向；

B.利用所述录入方向对采集到的图像进行成像矫正，得到矫正后的图像；

C.利用矫正后的图像进行图像识别，得到最终的图像识别结果；

其中，所述步骤C具体包括：

C1.对矫正前的图像进行识别，得到第一识别结果；

C2.对矫正后的图像进行识别，得到第二识别结果；

C3.根据所述第一识别结果和所述第二识别结果确定最优识别结果，并将所述最优识别结果作为最终的图像识别结果，包括：

当所述物体为文字时，确定所述第一识别结果包含的识别项数目X和所述第二识别结果包含的识别项数目Y，并取X和Y中的较大值所对应的识别结果为最优识别结果；或者，利用预置的语言模型确定所述第一识别结果的文法概率J和所述第二识别结果的文法概率K，并取J和K中的较大值所对应的识别结果为最优识别结果；

该方法进一步包括：若所述第一识别结果和第二识别结果的满意度均不符合要求，则对采集到的图像进行二次矫正。

2.根据权利要求1所述的方法，其特征在于，所述步骤A具体包括：

获取所述采集设备在采集图像时的横滚角，并以所述横滚角确定所述采集设备的录入方向。

3.根据权利要求2所述的方法，其特征在于，所述步骤B具体包括：

根据所述横滚角对采集到的图像进行旋转。

4.根据权利要求1所述的方法，其特征在于，所述步骤A具体包括：

获取所述采集设备在采集图像时的横滚角、俯仰角和航向角，并以所述横滚角、所述俯仰角和所述航向角确定所述采集设备的录入方向。

5.根据权利要求4所述的方法，其特征在于，所述步骤B具体包括：

根据所述横滚角对采集到的图像进行旋转，并且，根据所述俯仰角和所述航向角对采集到的图像进行缩放。

6.根据权利要求1所述的方法，其特征在于，根据所述第一识别结果和所述第二识别结果确定最优识别结果的步骤具体包括：

确定所述第一识别结果在图像识别过程中与特征比对时的匹配度M和所述第二识别结果在图像识别过程中与特征比对时的匹配度N，并取M和N中的较大值所对应的识别结果为最优识别结果。

7.一种图像识别的系统，包括：

图像采集装置，用于采集物体的图像；

方向获取装置，用于在所述图像采集装置采集物体的图像时确定采集设备的录入方向；

矫正装置，用于利用所述录入方向对采集到的图像进行成像矫正，得到矫正后的图像；

结果获取装置，用于利用矫正后的图像进行图像识别，得到最终的图像识别结果；

其中，所述结果获取装置包括：

第一识别单元，用于对矫正前的图像进行识别，得到第一识别结果；

第二识别单元，用于对矫正后的图像进行识别，得到第二识别结果；

结果确定单元，用于根据所述第一识别结果和所述第二识别结果确定最优识别结果，并将所述最优识别结果作为最终的图像识别结果，包括：当所述物体为文字时，确定所述第一识别结果包含的识别项数目X和所述第二识别结果包含的识别项数目Y，并取X和Y中的较大值所对应的识别结果为最优识别结果；或者，利用预置的语言模型确定所述第一识别结果的文法概率J和所述第二识别结果的文法概率K，并取J和K中的较大值所对应的识别结果为最优识别结果。

8.根据权利要求7所述的系统，其特征在于，所述方向获取装置确定采集设备的录入方向的方式具体包括：

获取所述采集设备在采集图像时的横滚角，并以所述横滚角确定所述采集设备的录入方向。

9.根据权利要求8所述的系统，其特征在于，所述矫正装置对采集到的图像进行成像矫正的方式具体包括：

根据所述横滚角对采集到的图像进行旋转。

10.根据权利要求7所述的系统，其特征在于，所述方向获取装置确定采集设备的录入方向的具体方式包括：

获取所述采集设备在采集图像时的横滚角、俯仰角和航向角，并以所述横滚角、所述俯仰角和所述航向角确定所述采集设备的录入方向。

11.根据权利要求10所述的系统，其特征在于，所述矫正装置对采集到的图像进行成像矫正的方式具体包括：

根据所述横滚角对采集到的图像进行旋转，并且，根据所述俯仰角和所述航向角对采集到的图像进行缩放。

12.根据权利要求7所述的系统，其特征在于，所述结果确定单元根据所述第一识别结果和所述第二识别结果确定最优识别结果的方式具体包括：

确定所述第一识别结果在图像识别过程中与特征比对时的匹配度M和所述第二识别结果在图像识别过程中与特征比对时的匹配度N，并取M和N中的较大值所对应的识别结果为最优识别结果。