CN110135412B

CN110135412B - 名片识别方法和装置

Info

Publication number: CN110135412B
Application number: CN201910364062.3A
Authority: CN
Inventors: 欧中洪; 熊柏桥; 肖芬瑞; 宋美娜; 宋俊德
Original assignee: Beijing University of Posts and Telecommunications
Current assignee: Beijing University of Posts and Telecommunications
Priority date: 2019-04-30
Filing date: 2019-04-30
Publication date: 2021-05-11
Anticipated expiration: 2039-04-30
Also published as: CN110135412A

Abstract

本申请提出一种名片识别方法和装置，其中，方法包括：通过获取待识别图像中的候选名片区域，根据预设的图像识别算法识别候选名片区域中的多个候选轮廓关键点，根据凸包算法对多个候选轮廓关键点计算获取多条候选边，在多条候选边中选择符合预设条件的多组候选边，并构建与每组候选边分别对应的候选四边形，根据预设算法计算每个候选四边形的置信度，根据置信度确定目标候选四边形，并根据目标候选四边形确定候选名片区域的轮廓关键点，根据轮廓关键点在候选名片区域中确定目标名片区域，并识别目标名片区域中的名片信息。该方法解决了现有技术中对于复杂背景的名片图像进行识别时，识别准确率较低的技术问题，提高了名片识别的精度和准确度。

Description

名片识别方法和装置

技术领域

本申请涉及图像识别技术领域，尤其涉及一种名片识别方法和装置。

背景技术

纸质名片作为一种简明、美观的信息载体在日常的商务活动、社交活动中扮演着重要的角色，用户在获得纸质名片后，为了便于查看和保存，往往需要将纸质名片上的各项信息，如姓名、公司、电话等重要信息存储在终端设备上，以便于在需要时能够及时获取到相关信息。一般情况下，用户是通过手动输入的方式将姓名、公司、电话等重要信息逐项输入到终端设备并保存的，但是这种手动输入的方式不仅存在效率低下的问题，而且很容易出错。

随着智能终端设备的发展，出现了名片识别系统，用于自动的将纸质名片转化为电子信息，并存储在终端设备中。但是，现有的名片识别技术，大多适用于背景简单，不存在大幅度畸变的名片图像，而对复杂背景的名片图像进行识别时，存在识别准确率较低的问题。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请提出一种名片识别方法和装置，以解决现有技术中对于复杂背景的名片图像进行识别时，识别准确率较低的技术问题。

本申请一方面实施例提出了一种名片识别方法，所述方法包括：

获取待识别图像中的候选名片区域；

根据预设的图像识别算法识别所述候选名片区域中的多个候选轮廓关键点；

根据凸包算法对所述多个候选轮廓关键点计算获取多条候选边；

在所述多条候选边中选择符合预设条件的多组候选边，并构建与每组候选边分别对应的候选四边形，其中，所述多组候选边中每组候选边包括四条候选边；

根据预设算法计算每个候选四边形的置信度，根据所述置信度确定目标候选四边形，并根据所述目标候选四边形确定所述候选名片区域的轮廓关键点；

根据所述轮廓关键点在所述候选名片区域中确定目标名片区域，并识别所述目标名片区域中的名片信息。

本申请实施例的名片识别方法，通过获取待识别图像中的候选名片区域，根据预设的图像识别算法识别候选名片区域中的多个候选轮廓关键点，根据凸包算法对多个候选轮廓关键点计算获取多条候选边，在多条候选边中选择符合预设条件的多组候选边，并构建与每组候选边分别对应的候选四边形，其中，多组候选边中每组候选边包括四条候选边；根据预设算法计算每个候选四边形的置信度，根据置信度确定目标候选四边形，并根据目标候选四边形确定候选名片区域的轮廓关键点，根据轮廓关键点在候选名片区域中确定目标名片区域，并识别目标名片区域中的名片信息。该方法在名片识别时，得到待识别图像中的候选名片区域，对候选名片区域中的名片信息进行识别，解决了现有技术中对于复杂背景的名片图像进行识别时，识别准确率较低的技术问题，提高了名片识别的精度和准确度。

本申请另一方面实施例提出了一种名片识别装置，包括：

获取模块，用于获取待识别图像中的候选名片区域；

第一识别模块，用于根据预设的图像识别算法识别所述候选名片区域中的多个候选轮廓关键点；

第一计算模块，用于根据凸包算法对所述多个候选轮廓关键点计算获取多条候选边；

构建模块，用于在所述多条候选边中选择符合预设条件的多组候选边，并构建与每组候选边分别对应的候选四边形，其中，所述多组候选边中每组候选边包括四条候选边；

第一确定模块，用于根据预设算法计算每个候选四边形的置信度，根据所述置信度确定目标候选四边形，并根据所述目标候选四边形确定所述候选名片区域的轮廓关键点；

第二识别模块，用于根据所述轮廓关键点在所述候选名片区域中确定目标名片区域，并识别所述目标名片区域中的名片信息。

本申请实施例的名片识别装置，通过获取待识别图像中的候选名片区域，根据预设的图像识别算法识别候选名片区域中的多个候选轮廓关键点，根据凸包算法对多个候选轮廓关键点计算获取多条候选边，在多条候选边中选择符合预设条件的多组候选边，并构建与每组候选边分别对应的候选四边形，其中，多组候选边中每组候选边包括四条候选边；根据预设算法计算每个候选四边形的置信度，根据置信度确定目标候选四边形，并根据目标候选四边形确定候选名片区域的轮廓关键点，根据轮廓关键点在候选名片区域中确定目标名片区域，并识别目标名片区域中的名片信息。由此，在名片识别时，得到待识别图像中的候选名片区域，对候选名片区域中的名片信息进行识别，解决了现有技术中对于复杂背景的名片图像进行识别时，识别准确率较低的技术问题，提高了名片识别的精度和准确度。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例提供的一种名片识别方法的流程示意图；

图2为本申请实施例提供的另一种名片识别方法的流程示意图；

图3为本申请实施例提供的一种名片识别装置的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的名片识别方法和装置。

图1为本申请实施例提供的一种名片识别方法的流程示意图。

本申请实施例以该名片识别方法被配置于名片识别装置中来举例说明，该名片识别装置可以应用于任一计算机设备中，以使该计算机设备可以执行名片识别功能。

其中，计算机设备可以为个人电脑(Personal Computer，简称PC)、云端设备、移动设备等，移动设备例如可以为手机、平板电脑、个人数字助理、穿戴式设备、车载设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。

如图1所示，该名片识别方法包括以下步骤：

步骤101，获取待识别图像中的候选名片区域。

本申请实施例中，待识别图像，可以是通过手机、相机等具有拍照功能的电子设备拍摄获得的，也可以是预先存储在终端设备中的图像，也可以是从服务器下载的图像，在此不做限定。

需要说明的是，由于待识别图像的四周可能存在复杂背景区域，这些背景区域对名片识别存在很大干扰。例如，使用手机拍摄得到的待识别名片的图像时，为了获得完整的待识别名片的图像，拍摄的照片除了名片本身外，四周可能存在复杂的背景区域。同时，由于拍摄时对焦、光照等拍摄因素导致拍摄的待识别图像存在较大程度的失真与噪声。因此，首先要分离出候选名片区域和背景区域，以对候选名片区域进行名片识别。

本申请实施例中，可以采用基于深度神经网络的图像语义分割技术对放缩大小后的待识别图像进行像素级别的分割，即进行背景分离，以划分出名片区域和背景区域。进一步的，将放缩后的分割图进行等比例还原，即可获取候选名片区域。

如果直接使用复杂背景的待识别图像进行识别，会导致识别效果严重下降，难以达到应用水平。由此，需要对复杂背景拍摄的待识别图像进行背景分离，摆脱了对场景和图像获取设备的依赖，使得名片识别方法具有更强的通用性。

步骤102，根据预设的图像识别算法识别候选名片区域中的多个候选轮廓关键点。

本申请实施例中，获取到的待识别图像中的候选名片区域是模糊的边界，可以对候选名片区域的模糊边界进行平滑处理，并根据预设的图像识别算法识别平滑处理后的候选名片区域中的多个候选轮廓关键点。

步骤103，根据凸包算法对多个候选轮廓关键点计算获取多条候选边。

其中，凸包就是将最外层的点连接起来构成的凸多边形，它能包含多个候选轮廓关键点中所有的点。

本申请实施例中，多个候选轮廓关键点位于一组平面上，根据凸包算法将所有多个候选轮廓关键点连接成凸多边形，构成凸多边形的边，即为多条候选边。

作为一种可能的实现方式，可以在候选轮廓关键点中选取纵坐标最小的点，从该点开始，沿着一个方向(可以为顺时针或者逆时针)依次选择最外侧的点，直至回到纵坐标最小的点。

由此，通过凸包算法能够部分弥补由于遮挡物而导致的候选名片区域边界崎岖的现象。例如，通过手持名片边角拍摄待识别名片时，可能存在由于手指遮挡名片导致存在候选名片区域的边界崎岖的现象。

步骤104，在多条候选边中选择符合预设条件的多组候选边，并构建与每组候选边分别对应的候选四边形，其中，多组候选边中每组候选边包括四条候选边。

其中，预设条件，为可以构成有效四边形的条件。

具体地，可以在多条候选边中，选取一条边开始，按照预设的方向依次选取四条候选边，并构建与每组侯选边对应的候选四边形，计算候选四边形的四条边中相邻边的夹角，根据夹角判断该候选四边形是否为有效四边形。

作为一种可能的情况，根据候选四边形的四条边中相邻边的夹角确定的候选四边形为有效四边形，则执行步骤105。

作为另一种可能的情况，根据候选四边形的四条边中相邻边的夹角确定的候选四边形不是有效四边形，则从下一条边开始，按照预设的方向依次选取四条候选边，并构建与每组侯选边对应的候选四边形，直至遍历完所有的候选边，确定出为有效四边形的所有候选四边形。

步骤105，根据预设算法计算每个候选四边形的置信度，根据置信度确定目标候选四边形，并根据目标候选四边形确定候选名片区域的轮廓关键点。

本申请实施例中，计算为有效四边形的每个候选四边形的面积、边长和凸性缺陷特征值，将计算得到的每个候选四边形的面积、边长和凸性缺陷特征值输入预设计算公式，获取与每个候选四边形对应的置信度。

进一步的，对每个候选四边形对应的置信度进行排序，将置信度值最大时对应的候选四边形确定为目标候选四边形，并根据目标候选四边形确定候选名片区域的轮廓关键点。

步骤106，根据轮廓关键点在候选名片区域中确定目标名片区域，并识别目标名片区域中的名片信息。

其中，名片信息，可以为待识别图像中的名字、工作地点、职位、联系电话等等。

本申请实施例中，根据目标候选四边形确定候选名片区域的轮廓关键点对候选名片区域进行透视畸变校正，以确定目标名片区域。

进一步的，对目标名片区域进行形态学膨胀操作，并对形态学膨胀操作后的目标名片区域进行连通域检测以获取多个连通区域。根据每个连通区域的几何特征，获取到目标名片区域中包含的名片信息。

其中，几何特征，可以为连通区域的尺寸大小、长宽比例、颜色分布等信息，以确定每个连通区域是包含有名片信息。

作为一种可能的实现方式，可以采用光学字符识别技术(Optical CharacterRecognition，简称为OCR)对每个连通区域进行字符识别，然后将识别到的字符形状翻译成计算机文字，从而获取到目标名片区域中包含的名片信息。

作为一种可能的实现方式，在图1所述实施例的基础上，参见图2，上述步骤106之后还可以包括：

步骤201，对名片信息进行校正后，识别校正后的名片信息所包含的信息类型。

本申请实施例中，识别到的名片信息中可能会存在格式错误、信息错误等现象，因此需要对名片信息进行校正，以识别校正后的名片信息所包含的信息类型。

作为一种可能的实现方式，可以采用正则表达式匹配替换方式对名片信息中常见的错误进行校正，例如，名片中数字与字母之间的混淆，特殊字符与字母之间的混淆等。同时还可以对名片信息的格式进行规范化。由此，通过对名片信息进行校正，能够提高名片识别的准确度。

举例来说，名片信息中的数字“9”可能会被误识别为字母“q”，字母“l”可能会被误识别为数字“1”，数字“0”误识别为字母“o”等，这种情况下，可以采用正则表达式匹配替换方式，将一些常见的错误校正过来。

需要说明的是，对校正后的名片信息进行信息类型的分类时，分类规则包括但不限于关键词匹配、文本位置关系等。分类规则可以灵活定制、添加、删除。由此，可以得到包含校正后的名片信息所有类型的信息类型。

举例来说，可以根据文本位置关系识别校正后的名片信息所包含的信息类型，例如，名片中的地址、电话号码、公司名称等。

步骤202，获取校正后的名片信息中与信息类型对应的信息片段。

本申请实施例中，由于不同信息类型对应的信息片段不同，因此，需要获取校正后的名片信息中与信息类型对应的信息片段。

举例来说，信息类型为手机时，对应的信息片段为手机号码对应的数字；信息类型为地址时，对应的信息片段为地址后面对应的字符信息等。

步骤203，根据信息类型对信息片段进行分类存储。

本申请实施例中，获取到校正后的名片信息中与信息类型对应的信息片段后，需要将信息片段分类存储至计算机设备，以便对识别到的名片信息进行操作。

在一种可能的场景下，在根据信息类型对信息片段进行分类存储时，可以根据存储的位置对信息片段进行筛选，例如，将信息片段存入通讯录时，并不是所有的信息均需要存储，可以根据信息片段的内容中包含一些关键词对信息片段进行存储，例如“手机”、“电话”和“地址”，若预设的关键词为“手机”、“电话”和“地址”，则可以提取这些关键词后面的具体内容，将其对应的信息片段存储至通讯录的“手机”、“电话”和“地址”字段中。

本申请实施例中，通过对名片信息进行校正后，识别校正后的名片信息所包含的信息类型，获取校正后的名片信息中与信息类型对应的信息片段，根据信息类型对信息片段进行分类存储。该方法通过对识别到的名片信息进行校正，提高了名片识别的准确度，并根据校正后名片信息所包含的信息类型，准确地找到名片信息中的有效信息，对有效信息进行存储，去除了一些不需要存储的内容。

为了实现上述实施例，本申请实施例还提出名片识别装置。

图3为本申请实施例提供的一种名片识别装置的结构示意图。

如图3所示，该名片识别装置包括：获取模块110、第一识别模块120、第一计算模块130、构建模块140、第一确定模块150以及第二识别模块160。

获取模块110，用于获取待识别图像中的候选名片区域。

第一识别模块120，用于根据预设的图像识别算法识别候选名片区域中的多个候选轮廓关键点。

第一计算模块130，用于根据凸包算法对多个候选轮廓关键点计算获取多条候选边。

构建模块140，用于在多条候选边中选择符合预设条件的多组候选边，并构建与每组候选边分别对应的候选四边形，其中，多组候选边中每组候选边包括四条候选边。

第一确定模块150，用于根据预设算法计算每个候选四边形的置信度，根据置信度确定目标候选四边形，并根据目标候选四边形确定候选名片区域的轮廓关键点。

第二识别模块160，用于根据轮廓关键点在候选名片区域中确定目标名片区域，并识别目标名片区域中的名片信息。

作为一种可能的情况，获取模块110，具体用于：

对待识别图像进行背景分离，获取候选名片区域。

作为另一种可能的情况，名片识别装置，还包括：

第二计算模块，用于计算每个候选四边形的四条边中相邻边的夹角。

第二确定模块，用于根据夹角确定每个候选四边形为有效四边形。

作为另一种可能的情况，第一确定模块，具体用于：

计算每个候选四边形的面积、边长和凸性缺陷特征值；将面积、边长和凸性缺陷特征值输入预设计算公式，获取与每个候选四边形对应的置信度。

作为另一种可能的情况，第二识别模块160，具体用于：

对所述目标名片区域进行形态学膨胀操作，并对形态学膨胀操作后的目标名片区域进行连通域检测以获取多个连通区域；

根据每个连通区域的几何特征，获取所述目标名片区域中包含的名片信息。

作为另一种可能的情况，名片识别装置，还可以包括：

第三识别模块，用于对名片信息进行校正后，识别校正后的名片信息所包含的信息类型。

获取信息片段模块，用于获取校正后的名片信息中与信息类型对应的信息片段。

存储模块，用于根据信息类型对信息片段进行分类存储。

本申请实施例的名片识别装置，通过获取待识别图像中的候选名片区域，根据预设的图像识别算法识别候选名片区域中的多个候选轮廓关键点，根据凸包算法对多个候选轮廓关键点计算获取多条候选边，在多条候选边中选择符合预设条件的多组候选边，并构建与每组候选边分别对应的候选四边形，其中，多组候选边中每组候选边包括四条候选边；根据预设算法计算每个候选四边形的置信度，根据置信度确定目标候选四边形，并根据目标候选四边形确定候选名片区域的轮廓关键点，根据轮廓关键点在候选名片区域中确定目标名片区域，并识别目标名片区域中的名片信息。该方法在名片识别时，得到待识别图像中的候选名片区域，对候选名片区域中的名片信息进行识别，解决了现有技术中对于复杂背景的名片图像进行识别时，识别准确率较低的技术问题，提高了名片识别的精度和准确度。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种名片识别方法，其特征在于，所述方法包括以下步骤：

获取待识别图像中的候选名片区域；其中，对所述待识别图像进行背景分离，获取所述候选名片区域；

根据预设算法计算每个候选四边形的置信度，根据所述置信度确定目标候选四边形，并根据所述目标候选四边形确定所述候选名片区域的轮廓关键点；其中，计算所述每个候选四边形的面积、边长和凸性缺陷特征值；将所述面积、边长和凸性缺陷特征值输入预设计算公式，获取与所述每个候选四边形对应的置信度；

2.如权利要求1所述的识别方法，其特征在于，所述根据预设算法计算每个候选四边形的置信度之前，包括：

计算所述每个候选四边形的四条边中相邻边的夹角；

根据所述夹角确定所述每个候选四边形为有效四边形。

3.如权利要求1所述的识别方法，其特征在于，所述并识别所述目标名片区域中的名片信息，包括：

4.如权利要求3所述的识别方法，其特征在于，所述方法还包括：

对所述名片信息进行校正后，识别校正后的名片信息所包含的信息类型；

获取所述校正后的名片信息中与所述信息类型对应的信息片段；

根据所述信息类型对所述信息片段进行分类存储。

5.一种名片识别装置，其特征在于，所述装置包括：

获取模块，用于获取待识别图像中的候选名片区域；所述获取模块，具体用于：对所述待识别图像进行背景分离，获取所述候选名片区域；

第一确定模块，用于根据预设算法计算每个候选四边形的置信度，根据所述置信度确定目标候选四边形，并根据所述目标候选四边形确定所述候选名片区域的轮廓关键点；所述第一确定模块，具体用于：计算所述每个候选四边形的面积、边长和凸性缺陷特征值；将所述面积、边长和凸性缺陷特征值输入预设计算公式，获取与所述每个候选四边形对应的置信度；

6.如权利要求5所述的识别装置，其特征在于，所述装置，还包括：

第二计算模块，用于计算所述每个候选四边形的四条边中相邻边的夹角；

第二确定模块，用于根据所述夹角确定所述每个候选四边形为有效四边形。