CN110349111A - 一种包含二维码图像的矫正方法和装置 - Google Patents
一种包含二维码图像的矫正方法和装置 Download PDFInfo
- Publication number
- CN110349111A CN110349111A CN201910640264.6A CN201910640264A CN110349111A CN 110349111 A CN110349111 A CN 110349111A CN 201910640264 A CN201910640264 A CN 201910640264A CN 110349111 A CN110349111 A CN 110349111A
- Authority
- CN
- China
- Prior art keywords
- code
- description
- image
- similar features
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000729 antidote Substances 0.000 title claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims abstract description 40
- 238000006243 chemical reaction Methods 0.000 claims abstract description 12
- 238000010586 diagram Methods 0.000 claims description 29
- 238000010276 construction Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 9
- 239000000203 mixture Substances 0.000 claims description 7
- 238000000034 method Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
- G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种包含二维码图像的矫正方法和装置，该包含二维码图像的矫正方法包括：构建三维坐标系和规范区域，其中，规范区域位于一个二维平面上；定位包含二维码图像中的二维码区域，并确定二维码区域的四个角点在坐标系上的原坐标；将二维码区域投影到规范区域，并确定四个角点的投影坐标；将四个角点的原坐标和四个角点的投影坐标转换为投影矩阵；将包含二维码图像的各个顶点的坐标转换为齐次坐标，并利用齐次坐标和投影矩阵将包含二维码图像投影到二维平面上，以得到矫正后的包含二维码图像。本发明提供的方案实现了对没有明显边界或边界与背景区分度不足的图像进行矫正。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种包含二维码图像的矫正方法和装置。
背景技术
在人工智能发展的浪潮当中，将重复且机械的工作用机器替代人类是一个必然的趋势。在目前已有的人工智能应用中，文字识别正处于发展阶段。若使文字识别更加智能化和自动化，在文字识别之前，还要有一步图像的规范化，如图像的视角矫正和去畸变。当图像中视角倾斜时，文字也会随之倾斜，而往往文字识别的训练数据中都是规范的文字。如果考虑倾斜的情况，训练集的大小可能会成倍的增加，训练时间和训练效果也会随之下降。因此，对图像做矫正可以保证文字的规范性，有助于提升后续文字识别的效果。
目前用于OCR识别中的主流的图像矫正技术仍集中于提取图像中的感兴趣区域(ROI，region of interests)的边缘并做一系列直线拟合、模式识别等工作，找到四边形区域，并做矫正。这样做处理不了没有明显边界或边界与背景区分度不足的图像。
发明内容
本发明实施例提供了一种包含二维码图像的矫正方法和装置，无需通过图像边界进行矫正，实现了对没有明显边界或边界与背景区分度不足的图像进行矫正。
一种包含二维码图像的矫正方法，构建三维坐标系和规范区域，其中，所述规范区域位于一个二维平面上；还包括：
定位所述包含二维码图像中的二维码区域，并确定所述二维码区域的四个角点在所述坐标系上的原坐标；
将所述二维码区域投影到所述规范区域，并确定所述四个角点的投影坐标；
将所述四个角点的原坐标和所述四个角点的投影坐标转换为投影矩阵；
将所述包含二维码图像的各个顶点的坐标转换为齐次坐标，并利用所述齐次坐标和所述投影矩阵将所述包含二维码图像投影到所述二维平面上，以得到矫正后的包含二维码图像。
优选地，
所述规范区域为正方形；
所述将所述二维码区域投影到所述规范区域，并确定所述四个角点的投影坐标，包括：
将所述二维码区域的四个角点分别投影到所述正方形的四个顶点上，使所述四个角点的投影坐标分别对应所述正方形的四个顶点的坐标。
优选地，上述包含二维码图像的矫正方法，进一步包括：
将所述包含二维码图像二值化；
对二值化后的包含二维码图像进行膨胀或者闭操作，并将所述二值化后的包含二维码图像的空洞填白；
分析出至少一个连通域；预设的二维码模板与所述至少一个连通域进行匹配；
确定能够与所述二维码模板匹配的连通域为二维码区域。
优选地，所述二维码模板，包括：
二维码匹配角点图，其中所述二维码匹配角点图为由一个二维码中的至少三个角点对应的特征匹配描述子组成。
优选地，所述预设的二维码模板与所述至少一个连通域进行匹配，确定能够与所述二维码模板匹配的连通域为二维码区域包括：
针对所述二维码匹配角点图中的每一个特征匹配描述子，执行：
通过最近邻搜索方式从所述连通域提取出的特征描述子中查找到与所述特征匹配描述子相匹配的K个相似特征描述子；
针对K个相似特征描述子循环执行下述N1至N3，直至找到所述特征匹配描述子对应的目标特征描述子；
循环执行下述N1至N3直至确定出目标特征描述子：
N1：计算任意相邻的两个相似特征描述子的相似度；
N2：当所述相似度不大于预设的近似系数时，从所述相邻的两个相似特征描述子中舍弃任一相似特征描述子，并判断相似特征描述子的个数是否不小于1个，如果是，则执行N1；否则，将剩余的一个相似特征描述子作为目标特征描述子；
N3：当所述相似度大于预设的近似系数时，计算所述相邻的两个相似特征描述子的平均特征描述子，并将所述平均特征描述子作为相似特征描述子，判断相似特征描述子的个数是否不小于1个，如果是，则执行N1；否则，将剩余的一个相似特征描述子作为目标特征描述子；
所述二维码匹配角点图中的所有的特征匹配描述子对应的目标特征描述子所属于的连通域为二维码区域。
一种包含二维码图像的矫正装置，包括：构建单元、投影矩阵转换单元以及矫正单元，其中，
所述构建单元，用于构建三维坐标系和规范区域，其中，所述规范区域位于一个二维平面上；
所述投影矩阵转换单元，用于定位所述包含二维码图像中的二维码区域，并确定所述二维码区域的四个角点在所述构建单元构建出的所述坐标系上的原坐标；将所述二维码区域投影到所述构建单元构建出的所述规范区域，并确定所述四个角点的投影坐标；将所述四个角点的原坐标和所述四个角点的投影坐标转换为投影矩阵；
所述矫正单元，用于将所述包含二维码图像的各个顶点的坐标转换为齐次坐标，并利用所述齐次坐标和所述投影矩阵转换单元转换出的所述投影矩阵将所述包含二维码图像投影到所述二维平面上，以得到矫正后的包含二维码图像。
优选地，
所述规范区域为正方形；
所述投影矩阵转换单元，用于将所述二维码区域的四个角点分别投影到所述正方形的四个顶点上，使所述四个角点的投影坐标分别对应所述正方形的四个顶点的坐标。
优选地，所述投影矩阵转换单元，进一步用于：
将所述包含二维码图像二值化；
对二值化后的包含二维码图像进行膨胀或者闭操作，并将所述二值化后的包含二维码图像的空洞填白；
分析出至少一个连通域；预设的二维码模板与所述至少一个连通域进行匹配；
确定能够与所述二维码模板匹配的连通域为二维码区域。
优选地，
所述二维码模板，包括：二维码匹配角点图，其中所述二维码匹配角点图为由一个二维码中的至少三个角点对应的特征匹配描述子组成。
优选地，所述投影矩阵转换单元，进一步用于：
针对所述二维码匹配角点图中的每一个特征匹配描述子，执行：
通过最近邻搜索方式从所述连通域提取出的特征描述子中查找到与所述特征匹配描述子相匹配的K个相似特征描述子；
针对K个相似特征描述子循环执行下述N1至N3，直至找到所述特征匹配描述子对应的目标特征描述子；
循环执行下述N1至N3直至确定出目标特征描述子：
N1：计算任意相邻的两个相似特征描述子的相似度；
N2：当所述相似度不大于预设的近似系数时，从所述相邻的两个相似特征描述子中舍弃任一相似特征描述子，并判断相似特征描述子的个数是否不小于1个，如果是，则执行N1；否则，将剩余的一个相似特征描述子作为目标特征描述子；
N3：当所述相似度大于预设的近似系数时，计算所述相邻的两个相似特征描述子的平均特征描述子，并将所述平均特征描述子作为相似特征描述子，判断相似特征描述子的个数是否不小于1个，如果是，则执行N1；否则，将剩余的一个相似特征描述子作为目标特征描述子；
所述二维码匹配角点图中的所有的特征匹配描述子对应的目标特征描述子所属于的连通域为二维码区域。
本发明实施例提供了一种包含二维码图像的矫正方法和装置，该包含二维码图像的矫正方法包括：构建三维坐标系和规范区域，其中，规范区域位于一个二维平面上；定位包含二维码图像中的二维码区域，并确定二维码区域的四个角点在所述坐标系上的原坐标；将二维码区域投影到所述规范区域，并确定四个角点的投影坐标；将四个角点的原坐标和四个角点的投影坐标转换为投影矩阵；将包含二维码图像的各个顶点的坐标转换为齐次坐标，并利用齐次坐标和投影矩阵将包含二维码图像投影到二维平面上，以得到矫正后的包含二维码图像。由于二维码一般具有比较清晰的边界，基于二维码进行矫正，无需通过图像边界进行矫正，实现了对没有明显边界或边界与背景区分度不足的图像进行矫正。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的包含二维码图像的矫正方法的流程图；
图2是本发明另一个实施例提供的包含二维码图像的矫正方法的流程图；
图3是本发明实施例提供的包含二维码图像的矫正装置的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种包含二维码图像的矫正方法，该方法可以包括以下步骤：
步骤101：构建三维坐标系和规范区域，其中，规范区域位于一个二维平面上；
步骤102：定位包含二维码图像中的二维码区域，并确定二维码区域的四个角点在坐标系上的原坐标；
步骤103：将二维码区域投影到规范区域，并确定四个角点的投影坐标；
步骤104：将四个角点的原坐标和四个角点的投影坐标转换为投影矩阵；
步骤105：将包含二维码图像的各个顶点的坐标转换为齐次坐标，并利用齐次坐标和投影矩阵将包含二维码图像投影到所述二维平面上，以得到矫正后的包含二维码图像。
其中，可采用SIFT算法从包含二维码图像图提取特征描述子，该SIFT算法是针对图像的局部特征生成描述子进行描述，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也较稳定。它所生成的描述子是以候选特征点为中心取16x16的邻域作为窗口，将特征点和它的方向通过高斯加权后放入8个bin的方向直方图，以此获得128的描述子。
在图1提供的方法中，通过构建三维坐标系和规范区域，其中，规范区域位于一个二维平面上；定位包含二维码图像中的二维码区域，并确定二维码区域的四个角点在所述坐标系上的原坐标；将二维码区域投影到所述规范区域，并确定四个角点的投影坐标；将四个角点的原坐标和四个角点的投影坐标转换为投影矩阵；将包含二维码图像的各个顶点的坐标转换为齐次坐标，并利用齐次坐标和投影矩阵将包含二维码图像投影到二维平面上，以得到矫正后的包含二维码图像。由于二维码一般具有比较清晰的边界，基于二维码进行矫正，无需通过图像边界进行矫正，实现了对没有明显边界或边界与背景区分度不足的图像进行矫正。
在本发明另一实施例中，上述规范区域为正方形；则上述步骤103的具体实施方式可为，将二维码区域的四个角点分别投影到正方形的四个顶点上，使四个角点的投影坐标分别对应正方形的四个顶点的坐标。该过程简化了二维码区域角点投影坐标的确定。
上述方法步骤可进一步包括：将包含二维码图像二值化；对二值化后的包含二维码图像进行膨胀或者闭操作，并将二值化后的包含二维码图像的空洞填白；分析出至少一个连通域；预设的二维码模板与至少一个连通域进行匹配；确定能够与二维码模板匹配的连通域为二维码区域，通过将包含二维码图像二值化可以去除不必要的干扰，能够更加准确地找到所有的连通域。
上述二维码模板为二维码匹配角点图，其中二维码匹配角点图为由一个二维码中的至少三个角点对应的特征匹配描述子组成。
在本发明另一实施例中，为了尽可能的保证匹配的准确性，从而保证对二维码区域定位的准确性，上述预设的二维码模板与所述至少一个连通域进行匹配，确定能够与二维码模板匹配的连通域为二维码区域的具体实施方式可包括：针对二维码匹配角点图中的每一个特征匹配描述子，执行：通过最近邻搜索方式从连通域提取出的特征描述子中查找到与特征匹配描述子相匹配的K个相似特征描述子；针对K个相似特征描述子循环执行下述N1至N3，直至找到特征匹配描述子对应的目标特征描述子；循环执行下述N1至N3直至确定出目标特征描述子：N1：计算任意相邻的两个相似特征描述子的相似度；N2：当相似度不大于预设的近似系数时，从相邻的两个相似特征描述子中舍弃任一相似特征描述子，并判断相似特征描述子的个数是否不小于1个，如果是，则执行N1；否则，将剩余的一个相似特征描述子作为目标特征描述子；N3：当相似度大于预设的近似系数时，计算相邻的两个相似特征描述子的平均特征描述子，并将平均特征描述子作为相似特征描述子，判断相似特征描述子的个数是否不小于1个，如果是，则执行N1；否则，将剩余的一个相似特征描述子作为目标特征描述子；二维码匹配角点图中的所有的特征匹配描述子对应的目标特征描述子所属于的连通域为二维码区域。
如图2所示，本发明实施例提供一种包含二维码图像的矫正方法，该包含二维码图像的矫正方法，可包括如下步骤：
步骤201：构建三维坐标系和规范区域，其中，规范区域位于一个二维平面上，该规范区域为正方形；
步骤202：将包含二维码图像二值化；
步骤203：对二值化后的包含二维码图像进行膨胀或者闭操作，并将二值化后的包含二维码图像的空洞填白；
该步骤可选用适当参数的图像形态学方法进行膨胀或者闭操作。
步骤204：分析出至少一个连通域；
步骤205：预设的二维码模板与至少一个连通域进行匹配；
预设的二维码模板为二维码匹配角点图，其中二维码匹配角点图为由一个二维码中的至少三个角点对应的特征匹配描述子组成。
步骤206：确定能够与二维码模板匹配的连通域为二维码区域；
上述步骤205和步骤206的具体实施方式可为：
针对二维码匹配角点图中的每一个特征匹配描述子，执行：
通过最近邻搜索方式从所述连通域提取出的特征描述子中查找到与特征匹配描述子相匹配的K个相似特征描述子；该K为不小于2的正整数，优选地K＝2。提取特征匹配描述子和特征描述子的过程均可SIFT算法来完成。该SIFT算法是针对图像的局部特征生成描述子进行描述，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也较稳定。它所生成的描述子是以候选特征点为中心取16x16的邻域作为窗口，将特征点和它的方向通过高斯加权后放入8个bin的方向直方图，以此获得128的描述子。
针对K个相似特征描述子循环执行下述N1至N3，直至找到特征匹配描述子对应的目标特征描述子；
循环执行下述N1至N3直至确定出目标特征描述子：
N1：计算任意相邻的两个相似特征描述子的相似度；
N2：当相似度不大于预设的近似系数时，从相邻的两个相似特征描述子中舍弃任一相似特征描述子，并判断相似特征描述子的个数是否不小于1个，如果是，则执行N1；否则，将剩余的一个相似特征描述子作为目标特征描述子；
N3：当相似度大于预设的近似系数时，计算相邻的两个相似特征描述子的平均特征描述子，并将平均特征描述子作为相似特征描述子，判断相似特征描述子的个数是否不小于1个，如果是，则执行N1；否则，将剩余的一个相似特征描述子作为目标特征描述子；
二维码匹配角点图中的所有的特征匹配描述子对应的目标特征描述子所属于的连通域为二维码区域。
找到二维码区域后，将二维码区域的二值图像提取出来，其余区域的值都设为0.因为二维码区域一般情况下都比较规则，所以提出来的区域应该是一个比较规范的四边形区域。这时我们可以使用多边形拟合的方法，对该区域进行拟合。在开源的Opencv library中，有approxPolyDP和convex Hull两种方法可以使用。
步骤207：定位包含二维码图像中的二维码区域，并确定二维码区域的四个角点在坐标系上的原坐标；
步骤208：将二维码区域的四个角点分别投影到正方形的四个顶点上，使四个角点的投影坐标分别对应正方形的四个顶点的坐标；
该步骤实现了将不规则的四边形投影到标准矩形中。
步骤209：将四个角点的原坐标和四个角点的投影坐标转换为投影矩阵；
步骤210：将包含二维码图像的各个顶点的坐标转换为齐次坐标，并利用齐次坐标和投影矩阵将包含二维码图像投影到二维平面上，以得到矫正后的包含二维码图像。
上述包含二维码图像的矫正方法以及下述的包含二维码图像的矫正装置可以作为OCR的插件应用于智能设备如手机、平板或其他扫码设备中。
如图3所示，本发明实施例提供包含二维码图像的矫正装置，该包含二维码图像的矫正装置包括：构建单元301、投影矩阵转换单元302以及矫正单元303，其中，
构建单元301，用于构建三维坐标系和规范区域，其中，规范区域位于一个二维平面上；
投影矩阵转换单元302，用于定位包含二维码图像中的二维码区域，并确定二维码区域的四个角点在构建单元301构建出的坐标系上的原坐标；将二维码区域投影到构建单元301构建出的规范区域，并确定四个角点的投影坐标；将四个角点的原坐标和四个角点的投影坐标转换为投影矩阵；
矫正单元303，用于将包含二维码图像的各个顶点的坐标转换为齐次坐标，并利用齐次坐标和投影矩阵转换单元302转换出的投影矩阵将包含二维码图像投影到二维平面上，以得到矫正后的包含二维码图像。
在本发明另一实施例中，规范区域为正方形；相应地，投影矩阵转换单元302，用于将二维码区域的四个角点分别投影到正方形的四个顶点上，使四个角点的投影坐标分别对应正方形的四个顶点的坐标。
在本发明另一实施例中，投影矩阵转换单元302，进一步用于将包含二维码图像二值化；对二值化后的包含二维码图像进行膨胀或者闭操作，并将二值化后的包含二维码图像的空洞填白；分析出至少一个连通域；预设的二维码模板与至少一个连通域进行匹配；确定能够与二维码模板匹配的连通域为二维码区域。
其中，二维码模板可包括：二维码匹配角点图，其中所述二维码匹配角点图为由一个二维码中的至少三个角点对应的特征匹配描述子组成。
在本发明另一实施例中，投影矩阵转换单元302，进一步用于：
针对二维码匹配角点图中的每一个特征匹配描述子，执行：
通过最近邻搜索方式从连通域提取出的特征描述子中查找到与所述特征匹配描述子相匹配的K个相似特征描述子；
针对K个相似特征描述子循环执行下述N1至N3，直至找到特征匹配描述子对应的目标特征描述子；
循环执行下述N1至N3直至确定出目标特征描述子：
N1：计算任意相邻的两个相似特征描述子的相似度；
N2：当相似度不大于预设的近似系数时，从相邻的两个相似特征描述子中舍弃任一相似特征描述子，并判断相似特征描述子的个数是否不小于1个，如果是，则执行N1；否则，将剩余的一个相似特征描述子作为目标特征描述子；
N3：当相似度大于预设的近似系数时，计算相邻的两个相似特征描述子的平均特征描述子，并将平均特征描述子作为相似特征描述子，判断相似特征描述子的个数是否不小于1个，如果是，则执行N1；否则，将剩余的一个相似特征描述子作为目标特征描述子；
二维码匹配角点图中的所有的特征匹配描述子对应的目标特征描述子所属于的连通域为二维码区域。
上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
本发明实施例提供了一种可读介质，包括执行指令，当存储控制器的处理器执行所述执行指令时，所述存储控制器执行本发明上述任一实施例提供的方法。
本发明实施例提供了一种存储控制器，包括：处理器、存储器和总线；所述存储器用于存储执行指令，所述处理器与所述存储器通过所述总线连接，当所述存储控制器运行时，所述处理器执行所述存储器存储的所述执行指令，以使所述存储控制器执行本发明上述任一实施例提供的方法。
综上所述，本发明以上各个实施例至少具有如下有益效果：
1、在本发明实施例中，通过构建三维坐标系和规范区域，其中，规范区域位于一个二维平面上；定位包含二维码图像中的二维码区域，并确定二维码区域的四个角点在所述坐标系上的原坐标；将二维码区域投影到所述规范区域，并确定四个角点的投影坐标；将四个角点的原坐标和四个角点的投影坐标转换为投影矩阵；将包含二维码图像的各个顶点的坐标转换为齐次坐标，并利用齐次坐标和投影矩阵将包含二维码图像投影到二维平面上，以得到矫正后的包含二维码图像。由于二维码一般具有比较清晰的边界，基于二维码进行矫正，无需通过图像边界进行矫正，实现了对没有明显边界或边界与背景区分度不足的图像进行矫正。
2、在本发明实施例中，由于规范区域为正方形；通过将二维码区域的四个角点分别投影到正方形的四个顶点上，使四个角点的投影坐标分别对应正方形的四个顶点的坐标，通过使二维码区域投影的规整，保证包含二维码图像矫正比较规整，从而避免图像中字体变形。另外，简化了投影后的目标坐标的确定过程。
3、在本发明实施例中，由于将包含二维码图像二值化，对二值化后的包含二维码图像进行膨胀或者闭操作，并将二值化后的包含二维码图像的空洞填白；分析出至少一个连通域；预设的二维码模板与至少一个连通域进行匹配；确定能够与二维码模板匹配的连通域为二维码区域，能够保证二维码区域定位的准确性。
4、在本发明实施例中，通过针对所述二维码匹配角点图中的每一个特征匹配描述子，执行：通过最近邻搜索方式从目标图提取出的特征描述子中查找到与特征匹配描述子相匹配的K个相似特征描述子；针对K个相似特征描述子循环执行下述N1至N3，直至找到特征匹配描述子对应的目标特征描述子；N1：计算任意相邻的两个相似特征描述子的相似度；N2：当相似度不大于预设的近似系数时，从相邻的两个相似特征描述子中舍弃任一相似特征描述子，并判断相似特征描述子的个数是否不小于1个，如果是，则执行N1；否则，将剩余的一个相似特征描述子作为目标特征描述子；N3：当相似度大于预设的近似系数时，计算相邻的两个相似特征描述子的平均特征描述子，并将平均特征描述子作为相似特征描述子，判断相似特征描述子的个数是否不小于1个，如果是，则执行N1；否则，将剩余的一个相似特征描述子作为目标特征描述子，即从K个相似特征描述子中找到目标特征描述子，以使目标特征描述子与待定位出的二维码的角点的特征描述子最接近，从而保证匹配的准确性，以进一步保证二维码定位的准确性。
需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.包含二维码图像的矫正方法，其特征在于，构建三维坐标系和规范区域，其中，所述规范区域位于一个二维平面上；还包括：
定位所述包含二维码图像中的二维码区域，并确定所述二维码区域的四个角点在所述坐标系上的原坐标；
将所述二维码区域投影到所述规范区域，并确定所述四个角点的投影坐标；
将所述四个角点的原坐标和所述四个角点的投影坐标转换为投影矩阵；
将所述包含二维码图像的各个顶点的坐标转换为齐次坐标，并利用所述齐次坐标和所述投影矩阵将所述包含二维码图像投影到所述二维平面上，以得到矫正后的包含二维码图像。
2.根据权利要求1所述的包含二维码图像的矫正方法，其特征在于，
所述规范区域为正方形；
所述将所述二维码区域投影到所述规范区域，并确定所述四个角点的投影坐标，包括：
将所述二维码区域的四个角点分别投影到所述正方形的四个顶点上，使所述四个角点的投影坐标分别对应所述正方形的四个顶点的坐标。
3.根据权利要求1所述的包含二维码图像的矫正方法，其特征在于，进一步包括：
将所述包含二维码图像二值化；
对二值化后的包含二维码图像进行膨胀或者闭操作，并将所述二值化后的包含二维码图像的空洞填白；
分析出至少一个连通域；预设的二维码模板与所述至少一个连通域进行匹配；
确定能够与所述二维码模板匹配的连通域为二维码区域。
4.根据权利要求3所述的包含二维码图像的矫正方法，其特征在于，所述二维码模板，包括：
二维码匹配角点图，其中所述二维码匹配角点图为由一个二维码中的至少三个角点对应的特征匹配描述子组成。
5.根据权利要求4所述的包含二维码图像的矫正方法，其特征在于，所述预设的二维码模板与所述至少一个连通域进行匹配，确定能够与所述二维码模板匹配的连通域为二维码区域包括：
针对所述二维码匹配角点图中的每一个特征匹配描述子，执行：
通过最近邻搜索方式从所述连通域提取出的特征描述子中查找到与所述特征匹配描述子相匹配的K个相似特征描述子；
针对K个相似特征描述子循环执行下述N1至N3，直至找到所述特征匹配描述子对应的目标特征描述子；
循环执行下述N1至N3直至确定出目标特征描述子：
N1：计算任意相邻的两个相似特征描述子的相似度；
N2：当所述相似度不大于预设的近似系数时，从所述相邻的两个相似特征描述子中舍弃任一相似特征描述子，并判断相似特征描述子的个数是否不小于1个，如果是，则执行N1；否则，将剩余的一个相似特征描述子作为目标特征描述子；
N3：当所述相似度大于预设的近似系数时，计算所述相邻的两个相似特征描述子的平均特征描述子，并将所述平均特征描述子作为相似特征描述子，判断相似特征描述子的个数是否不小于1个，如果是，则执行N1；否则，将剩余的一个相似特征描述子作为目标特征描述子；
所述二维码匹配角点图中的所有的特征匹配描述子对应的目标特征描述子所属于的连通域为二维码区域。
6.包含二维码图像的矫正装置，其特征在于，包括：构建单元、投影矩阵转换单元以及矫正单元，其中，
所述构建单元，用于构建三维坐标系和规范区域，其中，所述规范区域位于一个二维平面上；
所述投影矩阵转换单元，用于定位所述包含二维码图像中的二维码区域，并确定所述二维码区域的四个角点在所述构建单元构建出的所述坐标系上的原坐标；将所述二维码区域投影到所述构建单元构建出的所述规范区域，并确定所述四个角点的投影坐标；将所述四个角点的原坐标和所述四个角点的投影坐标转换为投影矩阵；
所述矫正单元，用于将所述包含二维码图像的各个顶点的坐标转换为齐次坐标，并利用所述齐次坐标和所述投影矩阵转换单元转换出的所述投影矩阵将所述包含二维码图像投影到所述二维平面上，以得到矫正后的包含二维码图像。
7.根据权利要求6所述的包含二维码图像的矫正装置，其特征在于，
所述规范区域为正方形；
所述投影矩阵转换单元，用于将所述二维码区域的四个角点分别投影到所述正方形的四个顶点上，使所述四个角点的投影坐标分别对应所述正方形的四个顶点的坐标。
8.根据权利要求6所述的包含二维码图像的矫正装置，其特征在于，所述投影矩阵转换单元，进一步用于：
将所述包含二维码图像二值化；
对二值化后的包含二维码图像进行膨胀或者闭操作，并将所述二值化后的包含二维码图像的空洞填白；
分析出至少一个连通域；预设的二维码模板与所述至少一个连通域进行匹配；
确定能够与所述二维码模板匹配的连通域为二维码区域。
9.根据权利要求8所述的包含二维码图像的矫正装置，其特征在于，
所述二维码模板，包括：二维码匹配角点图，其中所述二维码匹配角点图为由一个二维码中的至少三个角点对应的特征匹配描述子组成。
10.根据权利要求9所述的二维码定位装置，其特征在于，所述投影矩阵转换单元，进一步用于：
针对所述二维码匹配角点图中的每一个特征匹配描述子，执行：
通过最近邻搜索方式从所述连通域提取出的特征描述子中查找到与所述特征匹配描述子相匹配的K个相似特征描述子；
针对K个相似特征描述子循环执行下述N1至N3，直至找到所述特征匹配描述子对应的目标特征描述子；
循环执行下述N1至N3直至确定出目标特征描述子：
N1：计算任意相邻的两个相似特征描述子的相似度；
N2：当所述相似度不大于预设的近似系数时，从所述相邻的两个相似特征描述子中舍弃任一相似特征描述子，并判断相似特征描述子的个数是否不小于1个，如果是，则执行N1；否则，将剩余的一个相似特征描述子作为目标特征描述子；
N3：当所述相似度大于预设的近似系数时，计算所述相邻的两个相似特征描述子的平均特征描述子，并将所述平均特征描述子作为相似特征描述子，判断相似特征描述子的个数是否不小于1个，如果是，则执行N1；否则，将剩余的一个相似特征描述子作为目标特征描述子；
所述二维码匹配角点图中的所有的特征匹配描述子对应的目标特征描述子所属于的连通域为二维码区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910640264.6A CN110349111B (zh) | 2019-07-16 | 2019-07-16 | 一种包含二维码图像的矫正方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910640264.6A CN110349111B (zh) | 2019-07-16 | 2019-07-16 | 一种包含二维码图像的矫正方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110349111A true CN110349111A (zh) | 2019-10-18 |
| CN110349111B CN110349111B (zh) | 2021-10-22 |
Family
ID=68175441
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910640264.6A Active CN110349111B (zh) | 2019-07-16 | 2019-07-16 | 一种包含二维码图像的矫正方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110349111B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111126382A (zh) * | 2019-12-04 | 2020-05-08 | 山东浪潮人工智能研究院有限公司 | 一种用于ocr识别的基于关键点定位的票据矫正方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103745221A (zh) * | 2014-01-08 | 2014-04-23 | 杭州晟元芯片技术有限公司 | 一种二维码图像矫正方法 |
| CN105701434A (zh) * | 2015-12-30 | 2016-06-22 | 广州卓德信息科技有限公司 | 二维码扭曲图像的图像校正方法 |
| CN107944321A (zh) * | 2017-11-28 | 2018-04-20 | 努比亚技术有限公司 | 一种图像识别方法、终端和计算机可读存储介质 |
| US20180129844A1 (en) * | 2016-11-09 | 2018-05-10 | Leigh M. Rothschild | Method And System For Creating A Symbology Related To A Captured Image |
| CN109934038A (zh) * | 2019-03-18 | 2019-06-25 | 阿里巴巴集团控股有限公司 | 二维码校正方法、装置及设备 |
-
2019
- 2019-07-16 CN CN201910640264.6A patent/CN110349111B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103745221A (zh) * | 2014-01-08 | 2014-04-23 | 杭州晟元芯片技术有限公司 | 一种二维码图像矫正方法 |
| CN105701434A (zh) * | 2015-12-30 | 2016-06-22 | 广州卓德信息科技有限公司 | 二维码扭曲图像的图像校正方法 |
| US20180129844A1 (en) * | 2016-11-09 | 2018-05-10 | Leigh M. Rothschild | Method And System For Creating A Symbology Related To A Captured Image |
| CN107944321A (zh) * | 2017-11-28 | 2018-04-20 | 努比亚技术有限公司 | 一种图像识别方法、终端和计算机可读存储介质 |
| CN109934038A (zh) * | 2019-03-18 | 2019-06-25 | 阿里巴巴集团控股有限公司 | 二维码校正方法、装置及设备 |
Non-Patent Citations (1)
| Title |
|---|
| 王惠华: "畸变二维码校正算法研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111126382A (zh) * | 2019-12-04 | 2020-05-08 | 山东浪潮人工智能研究院有限公司 | 一种用于ocr识别的基于关键点定位的票据矫正方法 |
| CN111126382B (zh) * | 2019-12-04 | 2023-12-05 | 山东浪潮科学研究院有限公司 | 一种用于ocr识别的基于关键点定位的票据矫正方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110349111B (zh) | 2021-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tabernik et al. | Deep learning for large-scale traffic-sign detection and recognition | |
| Xue et al. | Learning attraction field representation for robust line segment detection | |
| CN111899334B (zh) | 一种基于点线特征的视觉同步定位与地图构建方法及装置 | |
| Baró et al. | Traffic sign recognition using evolutionary adaboost detection and forest-ECOC classification | |
| US8897578B2 (en) | Image recognition device, image recognition method, and integrated circuit | |
| JP6262748B2 (ja) | 教師あり形状ランク付けに基づく生物学的単位の識別 | |
| CN106952338B (zh) | 基于深度学习的三维重建的方法、系统及可读存储介质 | |
| US10410354B1 (en) | Method and apparatus for multi-model primitive fitting based on deep geometric boundary and instance aware segmentation | |
| CN110097046A (zh) | 一种文字检测方法及装置、设备和计算机可读存储介质 | |
| CN113762269A (zh) | 基于神经网络的中文字符ocr识别方法、系统、介质及应用 | |
| US20230326035A1 (en) | Target object segmentation method and related device | |
| CN113158895A (zh) | 票据识别方法、装置、电子设备及存储介质 | |
| Li et al. | Braille recognition using deep learning | |
| Gajjar et al. | Intersection over Union based analysis of Image detection/segmentation using CNN model | |
| Zhu et al. | Robust 3d morphable model fitting by sparse sift flow | |
| CN115082935A (zh) | 用于对文档图像进行矫正的方法、设备及存储介质 | |
| Chen et al. | Eyes localization algorithm based on prior MTCNN face detection | |
| Zhao et al. | Learning probabilistic coordinate fields for robust correspondences | |
| CN110349111A (zh) | 一种包含二维码图像的矫正方法和装置 | |
| CN118135584A (zh) | 一种基于深度学习的手写表单自动识别方法和系统 | |
| CN110334560B (zh) | 一种二维码定位方法和装置 | |
| Lou et al. | Generative shape models: Joint text recognition and segmentation with very little training data | |
| Han et al. | L-split marker for augmented reality in aircraft assembly | |
| CN114445807A (zh) | 一种文本区域检测方法及装置 | |
| Luo et al. | Research on scene text detection algorithm based on modified YOLOv5 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210924 Address after: 250100 building S02, No. 1036, Langchao Road, high tech Zone, Jinan City, Shandong Province Applicant after: Shandong Inspur Scientific Research Institute Co.,Ltd. Address before: 250100 First Floor of R&D Building 2877 Kehang Road, Sun Village Town, Jinan High-tech Zone, Shandong Province Applicant before: JINAN INSPUR HIGH-TECH TECHNOLOGY DEVELOPMENT Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |