CN103399695A - 用于智能无线通信终端的四边形边框识别方法及装置 - Google Patents

Abstract

本发明公开了一种用于智能无线通信终端的四边形边框识别方法，包括以下步骤：第一步，获取待处理的图像；第二步，根据图像显示的内容，在图像中的一个或多个四边形轮廓上预设相应的四边形边框，所述四边形具有四个顶点，其四条边线或者都是直线，或者至少有一条边线是曲线；第三步，根据用户的选择位置，当用户选择位置在某一四边形边框的附近时，选中该某一四边形边框，所述附近是指二者之间的距离符合预先设定的规则；第四步，对与选中的四边形边框相关的图像部分进行处理。本发明还公开了一种采用上述方法的装置。本发明让使用者能够快速准确地调整四边形边框，最终得到使用者预期得到的结果图像或结果文本信息。

Description

用于智能无线通信终端的四边形边框识别方法及装置

技术领域

本发明涉及一种图像识别方法，尤其是一种用于智能无线通信终端的四边形边框识别方法。本发明还涉及一种图像识别装置，尤其是一种用于智能无线通信终端的四边形边框识别方法。

背景技术

目前，在商务设备如扫描仪，商务手机上，开始越来越多的出现对所拍摄图片的信息进行加工和提取的功能。这些功能一般可归结为两类。

1. 白板图像的校正和增强

白板图像是对会议白板，公告牌和其他文本类矩形目标拍摄所得的图像。白板图像中用户感兴趣的信息一般在矩形区域内，而拍摄所得的图片，首先在目标矩形区域之外会有不需要的边缘区域，其次因为拍摄角度的问题，目标矩形区域可能会出现不规则四边形（如图1），或者缺角（如图2）的情况。通过对图像的处理，将目标区域之外的部分去除，并将不规则四边形变形为规则的矩形（如图3），或者将缺角部分填平（如图4），并将彩色图像转换为黑白图像，并做图像增强操作，使文字更加清晰。

2. 对文本图像中文本的识别

文本图像是对标准文本，如A4格式纸质文本，各种书籍中的页面，电影海报等进行拍摄所得的图像。文本识别是通过文本识别引擎，对文本图像数据进行处理，识别出图像中的文本。文本图文本内容一般显示在矩形区域内，而拍摄所得的图片，在目标矩形区域之外会有不需要的边缘区域，其次因为拍摄角度的问题，目标矩形区域可能会出现不规则四边形（如图1），或者缺角（如图2）的情况。为了使文本识别引擎对文本图像的识别更加准确迅速，需要通过对图像的处理，将目标区域之外的部分去除，并将不规则四边形变形为规则的矩形（如图3），或者将缺角部分填平（如图4），并将彩色文木图像转换为黑白图像，并做图像增强操作，使图像中的文字和背景的对比更加明显。

上述两类操作都需要做四边形框检测操作。四边形框检测操作是指对所拍摄的图像进行检测，提取目标四边形框，从而在之后的操作中，去除四边形框以外的区域，并对该四边形框进行矩形框校正或补角操作。然而在实际操作中，自动检测所得的四边形框范围可能不是期望结果，如图5，原本目标框的是虚线范围内的部分，但实际检测到的是实线范围部分；或者如图6，源图中有多个框可供抓取，目标框是左侧虚线范围部分，但实际检测到的是右侧实线范围部分。因此，在对图像进行初次检测时候，需要提供一个交互界面供用户做目标框的调整。

公开号为CN101807293A的中国发明专利公开文本中，公开了一种调整图像四边形框检测结果的方法，通过手动拉伸来选择图像中的四边形部分。但是，这种部分操作起来较为繁琐，需要对四个顶点的位置分别进行确定，之后才完成对一个四边形边框的选择。

发明内容

本发明所要解决的技术问题是提供一种用于智能无线通信终端的四边形边框识别方法，以及采用这种用于智能无线通信终端的四边形边框识别方法实现的四边形边框识别装置，让使用者能够快速准确地调整四边形边框，以使调整后的四边形框能够进行接下来的处理，最终得到使用者预期得到的结果图像或结果文本信息。

为解决上述技术问题，本发明用于智能无线通信终端的四边形边框识别方法的技术方案是，包括以下步骤：

第一步，获取待处理的图像；

第二步，根据图像显示的内容，在图像中的一个或多个四边形轮廓上预设相应的四边形边框，所述四边形具有四个顶点，其四条边线或者都是直线，或者至少有一条边线是曲线；

第三步，根据用户的选择位置，当用户选择位置在某一四边形边框的附近时，选中该某一四边形边框，所述附近是指二者之间的距离在相互靠近过程中符合预先设定的规则；

第四步，对与选中的四边形边框相关的图像部分进行处理。

本发明还提供了一种四边形边框识别装置，其技术方案是，基于智能无线通信终端，并采用上述用于智能无线通信终端的四边形边框识别方法。

本发明采用上述技术方案，利用人机界面交互的技术，在通过图像引擎获取目的框后，通过鼠标，触摸笔或手指在全屏幕范围内的点触，自动以最优化的方式获取最佳目标候选四边形框，不需要用户一个一个点的去确定四边形的顶点，减少用户的操作次数；此外如果用户预置图像中的内容，可以在图像引擎获取目的框后直接快速确定四边形框，不需要用户拖动顶点或者拖动边，用户的干预更加少，大大简化了用户操作和降低使用难度。

附图说明

下面结合附图和实施例对本发明作进一步详细的说明：

图1-图4是白板和文本拍摄和处理后图像的示意图；

图5和图6是抓框后目的框需要再调整的示意图；

图7和图8是本发明实施例的示意图；

图9是本发明所述方法的流程图。

具体实施方式

本发明公开了一种用于智能无线通信终端的四边形边框识别方法，包括以下步骤：

第一步，获取待处理的图像。

作为优选的，采用智能无线通信终端的摄像头进行拍照方式来获取待处理的图像；或者通过打开已有的图像文件方式来获取待处理的图像。

第二步，根据图像显示的内容，在图像中的一个或多个四边形轮廓上预设相应的四边形边框，所述四边形具有四个顶点，其四条边线或者都是直线，或者至少有一条边线是曲线。

作为优选的，所述第二步中，根据图像显示的内容，依据顶点的位置预设一个或多个闭合的四边形边框。

或者所示，将顶点处的边线延长，如果四个顶点的边线能够依次相应的重合或者近似重合，则依据这四个顶点和延长的边线预设一个闭合的四边形边框，如图7所示。有的图像中的四边形，由于图像色彩或者背景内容等原因，造成部分边线不容易被识别，如图7中A、B、C处所示，但是其顶点是清晰可见的。在这种情况下，其顶点会由两条线段相交得到，将顶点处的线段延长，如果不同顶点线段的延长部分重合如图7中A处所示，或者近似重合如图7中B、C处所示，就可以将无法被识别的边线部分补足，从而构成一个四边形边框。由于拍照时，被拍摄物体可能由于多种原因导致拍摄后的照片中，其四边形边框部分的边线不是绝对的直线，这就可能导致顶点处的边线延长后不能完全重合，而有可能相互平行但是距离很近，如图7中B处，或者相互相交但是斜率近似，如图7中C处。对于上述的这种情况，就认为是近似重合，接受这种近似重合的情况可以提高四边形边框的识别率。对于平行的距离接近到怎样的范围以及斜率近似到怎样的范围才可以认为是近似重合，本领域技术人员可以根据实际情况进行设定。这个范围越小，识别的准确性就越高，但是识别率就会越低；这个范围越大，识别的准确性就越低，但是识别率就会越高。

所述第二步中，根据图像显示的内容，依据边线的位置预设一个或多个闭合的四边形边框。

优选的，所述第二步中，将边线延长，边线相交的位置作为顶点，依据延长的四条边线和相邻边线相交得到的四个顶点预设闭合的四边形边框。如图8所示，有的待识别的四边形，顶点位置不清晰，如图8中D处所示，或者四边形的顶点处是圆弧过渡而没有顶点，如图8中E处所示，这时边线的线段没有交点。将这些边线延长，延长后边线之间产生的交点及这些边线及其延长线部分如果能包围出四边形，就会得到一个四边形边框。

第三步，根据用户的选择位置，当用户选择位置在某一四边形边框的附近时，选中该某一四边形边框，所述附近是指二者之间的距离在相互靠近过程中符合预先设定的规则。

所述第三步中，用户选择位置与某一四边形边框之间的距离是指用户选择位置与某一四边形边框上任何一个部分（例如顶点或者边线）的最近距离。

所述第三步中，所述预先设定的规则是距离小于预先设定的数值，或者是距离符合预先设定的公式，例如，距离小于距离最近的边线长度乘以某一比例因子所得到的数值等等。

或者，所述第三步中，将距离用户选择位置最近的四边形边框选中。

如果用户在选择的时候不停的滑动触摸屏，则所述第三步中，实时监测用户的选择位置，将距离用户当前选择位置最近的四边形边框选中。随着用户在触摸屏上的滑动，根据用户当前的位置，用户所选择的四边形边框也可以在不断的切换。

所述第三步中，如果用户的选择位置距离多个预设的四边形边框相同，则由用户在多个预设的四边形边框之间切换来最终选中其中一个四边形边框。可能有多个四边形边框具有共同的边或者顶点的情况发生，此时用户选择的位置如果与共同的边或者顶点相关，则符合条件的四边形边框可能就会有多个。此时用户可以通过点击屏幕等方式，在多个四边形边框中进行切换，从而最终选择需要的那个。

所述第三步中，用户对预设的四边形边框的大小、形状及位置中的至少一项进行调整，并将调整后的四边形边框选中。在多个预设的四边形边框可能没有一个是用户最终想要的。此时用户可以对其中任意一个预设的四边形边框进行调整到符合要求的程度，并将调整后的四边形边框选中。

第四步，对与选中的四边形边框相关的图像部分进行处理。

所述第四步中，对与选中的四边形边框相关的图像部分进行处理包括将四边形边框内的图像部分进行拉伸缩放成规则的矩形。

本发明还公开了一种四边形边框识别装置，基于智能无线通信终端，并采用上述用于智能无线通信终端的四边形边框识别方法。

本发明的实施例如图9所示，包括如下步骤：

步骤101，获取图像数据和图像引擎进行四边形边框识别所得到的数据；

步骤102，以适合屏幕的大小显示图像，在图像上绘出当前识别所得的四边形边框；

步骤103，根据用户鼠标，触摸笔或手指的滑动动作，实时调整四边形框的位置；

步骤104，判断用户是否是在拖动四边形框中的一边，如果答案为是，则根据当前拖动边所在的目标位置，匹配最近的候选框；如果答案为否，则根据当前落点匹配最近的候选框；

步骤105，对图像做缩小操作，以适合屏幕的大小显示图片，在图像上绘出调整后的四边形框；

步骤106，判断用户是否继续调整其他顶点，如果答案为是，转到步骤103；如果答案是否，则转到步骤107；

步骤107，结束。

本发明的有益效果在于：利用人机界面交互的技术，在通过图像引擎获取目的框后，通过鼠标，触摸笔或手指在全屏幕范围内的点触，自动以最优化的方式获取最佳目标候选四边形边框，不需要用户一个一个点的去确定四边形的顶点，减少用户的操作次数；此外如果用户预置图像中的内容，可以在图像引擎获取目的框后直接快速确定四边形框，不需要用户拖动顶点或者拖动边，用户的干预更加少，大大简化了用户操作和降低使用难度。

以上所述仅为本发明的较佳是实力而已，并非用以限定本发明的实质技术内容范围，本发明的实质技术内容是广义的定义于申请的权利要求范围中，任何他人完成的技术实体或方法，若是与申请的权利要求范围所定义的完全相同，也或是一种等效的变更，均将被视为涵盖于该权利要求范围之中。

Claims (15)

1.一种用于智能无线通信终端的四边形边框识别方法，其特征在于，包括以下步骤：

第一步，获取待处理的图像；

第二步，根据图像显示的内容，在图像中的一个或多个四边形轮廓上预设相应的四边形边框，所述四边形具有四个顶点，其四条边线或者都是直线，或者至少有一条边线是曲线；

第三步，根据用户的选择位置，当用户选择位置在某一四边形边框的附近时，选中该某一四边形边框，所述附近是指二者之间的距离符合预先设定的规则；

第四步，对与选中的四边形边框相关的图像部分进行处理。

2.根据权利要求1所述的用于智能无线通信终端的四边形边框识别方法，其特征在于，所述第一步中，采用智能无线通信终端的摄像头进行拍照方式来获取待处理的图像。

3.根据权利要求1所述的用于智能无线通信终端的四边形边框识别方法，其特征在于，所述第一步中，通过打开已有的图像文件方式来获取待处理的图像。

4.根据权利要求1所述的用于智能无线通信终端的四边形边框识别方法，其特征在于，所述第二步中，根据图像显示的内容，依据顶点的位置预设一个或多个闭合的四边形边框。

5.根据权利要求4所述的用于智能无线通信终端的四边形边框识别方法，其特征在于，所述第二步中，将顶点处的边线延长，如果四个顶点的边线能够依次相应的重合或者近似重合，则依据这四个顶点和延长的边线预设一个闭合的四边形边框。

6.根据权利要求1所述的用于智能无线通信终端的四边形边框识别方法，其特征在于，所述第二步中，根据图像显示的内容，依据边线的位置预设一个或多个闭合的四边形边框。

7.根据权利要求6所述的用于智能无线通信终端的四边形边框识别方法，其特征在于，所述第二步中，将边线延长，边线相交的位置作为顶点，依据延长的四条边线和相邻边线相交得到的四个顶点预设闭合的四边形边框。

8.根据权利要求1所述的用于智能无线通信终端的四边形边框识别方法，其特征在于，所述第三步中，所述用户选择位置与某一四边形边框之间的距离是指用户选择位置与某一四边形边框上任何一个部分的最近距离。

9.根据权利要求1所述的用于智能无线通信终端的四边形边框识别方法，其特征在于，所述第三步中，所述预先设定的规则是距离小于预先设定的数值，或者是距离符合预先设定的公式。

10.根据权利要求1所述的用于智能无线通信终端的四边形边框识别方法，其特征在于，所述第三步中，将距离用户选择位置最近的四边形边框选中。

11.根据权利要求10所述的用于智能无线通信终端的四边形边框识别方法，其特征在于，所述第三步中，实时监测用户的选择位置，将距离用户当前选择位置最近的四边形边框选中。

12.根据权利要求1所述的用于智能无线通信终端的四边形边框识别方法，其特征在于，所述第三步中，如果用户的选择位置距离多个预设的四边形边框相同，则由用户在多个预设的四边形边框之间切换来最终选中其中一个四边形边框。

13.根据权利要求1所述的用于智能无线通信终端的四边形边框识别方法，其特征在于，所述第三步中，用户对预设的四边形边框的大小、形状及位置中的至少一项进行调整，并将调整后的四边形边框选中。

14.根据权利要求1所述的用于智能无线通信终端的四边形边框识别方法，其特征在于，所述第四步中，对选中的四边形边框内的图像部分进行处理包括将四边形边框内的图像部分进行拉伸缩放成规则的矩形。

15.一种四边形边框识别装置，其特征在于，基于智能无线通信终端，并采用如权利要求1-13中任意一项所述的用于智能无线通信终端的四边形边框识别方法。

Images