CN114926347A - 图像校正方法及处理器 - Google Patents

图像校正方法及处理器 Download PDF

Info

Publication number
CN114926347A
CN114926347A CN202111115988.2A CN202111115988A CN114926347A CN 114926347 A CN114926347 A CN 114926347A CN 202111115988 A CN202111115988 A CN 202111115988A CN 114926347 A CN114926347 A CN 114926347A
Authority
CN
China
Prior art keywords
sub
region
image
searching
response matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111115988.2A
Other languages
English (en)
Inventor
饶敬松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xingchen Technology Co ltd
Original Assignee
Xingchen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xingchen Technology Co ltd filed Critical Xingchen Technology Co ltd
Priority to CN202111115988.2A priority Critical patent/CN114926347A/zh
Priority to US17/711,167 priority patent/US11908108B2/en
Publication of CN114926347A publication Critical patent/CN114926347A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14172D bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1439Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1447Methods for optical code recognition including a method step for retrieval of the optical code extracting optical codes from image or text carrying said optical code
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/146Methods for optical code recognition the method including quality enhancement steps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/32Normalisation of the pattern dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20164Salient point detection; Corner detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Toxicology (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Geometry (AREA)

Abstract

本申请公开了一种图像校正方法及处理器,其中,对一快速响应矩阵码图像进行特征点搜索,确定出其中的多个特征点,并根据多个特征点将快速响应矩阵码图像的编码区域划分为多个子区域,以及根据每一子区域对应的特征点,确定每一子区域的一补偿向量,以及根据每一子区域的补偿向量对每一子区域进行补偿校正,得到一校正后的图像。由此,本申请提供的方案,通过对快速响应矩阵码图像采用分区域的向量补偿方式进行校正,能够避免不同子区域间的干扰,从而更准确地校正快速响应矩阵码图像的畸变。

Description

图像校正方法及处理器
技术领域
本申请涉及图像处理技术领域,具体涉及一种图像校正方法及处理器。
背景技术
快速响应矩阵码作为一种常用的矩阵式二维码,不仅可以应用于平面印刷品,还可以应用于各种形状物体的表面等。比如,可以将包含空调相关信息的快速响应矩阵码粘贴在空调表面,供解码设备(如手机、平板电脑等)拍摄解码得到空调相关信息。然而,快速响应矩阵码自身畸变或者解码设备的拍摄能力不足,均可能导致解码设备拍摄到畸变的快速响应矩阵码图像。为实现对畸变的快速响应矩阵码图像的解码,就需要对其进行校正。
发明内容
本申请提供了一种图像校正方法及处理器,能够校正快速响应矩阵码图像的畸变。
本申请提供一种图像校正方法,包括:对一快速响应矩阵码图像进行特征点搜索,确定出快速响应矩阵码图像中的多个特征点;根据确定出的多个特征点,将快速响应矩阵码图像的编码区域划分为多个子区域;以及根据每一子区域对应的特征点,确定每一子区域的一补偿向量,并根据每一子区域的补偿向量对每一子区域进行补偿校正,得到一校正后的图像。
本申请提供一种处理器,所述处理器执行一计算机程序以实施一图像校正方法,其特征在于,所述图像校正方法包括:对一快速响应矩阵码图像进行特征点搜索,确定出所述快速响应矩阵码图像中的多个特征点;根据所述多个特征点,将所述快速响应矩阵码图像的一编码区域划分为多个子区域;以及,根据每一所述子区域对应的特征点,确定每一所述子区域的一补偿向量,并根据每一所述子区域的所述补偿向量对每一所述子区域进行补偿校正,得到一校正后的图像。
本申请通过对快速响应矩阵码图像采用分区域的向量补偿方式进行校正,能够避免不同子区域间的干扰,从而更准确地校正快速响应矩阵码图像的畸变。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请提供的图像校正方法的流程示意图。
图2为本申请中对快速响应矩阵码图像进行分区域的向量补偿校正得到校正后的图像的示例图。
图3为本申请中搜索出的特征点的示例图。
图4是本申请中搜索出图3所示特征点过程中搜索的寻像图形的中心点和外边缘点的示例图。
图5是本申请中对编码区域中同一部分的三种不同区域划分方式的示例图。
图6是本申请中将编码区域划分为17个子区域的示例图。
图7是本申请实施例提供的电子设备01的方块示意图。
具体实施方式
应当说明的是,本申请的原理是以实施在一适当的应用环境中来举例说明。以下的说明是通过所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
本申请实施例提供的方案涉及图像处理技术领域,具体涉及快速响应矩阵码图像的校正,通过下文中的实施例进行说明。请参照图1,图1为本申请实施例提供的图像校正方法流程示意图,如图1所示,该方法可以包括:
步骤S110,对一快速响应矩阵码图像进行特征点搜索,确定出快速响应矩阵码图像中的多个特征点。
以下以图像校正方法实施于一电子设备为例进行说明。此处对电子设备的实体展现形式不作具体限制,可以是智能手机、平板电脑等移动式电子设备。
本实施例中,电子设备包括一处理器,其藉由执行一计算机程序来实施本发明的图像校正方法,处理器可以按照配置的特征点搜索策略,对一快速响应矩阵码图像进行特征点搜索,从而确定出快速响应矩阵码图像中的多个特征点。应当说明的是,本实施例中对于特征点搜索策略的配置不作具体限制,可由本领域普通技术人员根据实际需要进行配置。比如,处理器可以通过角点检测算法,从快速响应矩阵码图像中搜索出具有角点(角点就是极值点,即某方面属性特别突出的点)特征的点作为特征点。其中,角点检测算法包括但不限于哈里斯(Harris)算法、尺度不变特征变换(Scale-invariant featuretransform,SIFT)算法、加速稳健特征(Speeded Up Robust Features,SURF)算法以及带旋转的二元特征(Oriented FAST and Rotated BRIEF,ORB)算法等。
此外,本实施例中对于以上快速响应矩阵码图像的来源不作具体限制,比如,当电子设备配置有摄像头时,电子设备可以通过配置摄像头对快速响应矩阵码进行拍摄得到,也可由该电子设备从网络获取等。
步骤S120,根据多个特征点,将快速响应矩阵码图像的一编码区域划分为多个子区域。
其中,处理器根据配置的区域划分策略,以确定出的多个特征点为根据,将快速响应矩阵码图像的一编码区域划分为多个子区域。此处对区域划分策略的配置不作具体限制,可由本领域技术人员根据实际需要进行配置。
步骤S130,根据每一子区域对应的特征点,确定每一子区域的一补偿向量,并根据每一子区域的补偿向量对每一子区域进行补偿校正,得到一校正后的图像。
其中,处理器针对编码区域的每一子区域,通过确定的补偿向量对畸变导致的偏移进行补偿,最终得到一用于解码的校正后的图像。比如,请参照图2,处理器对一畸变的快速响应矩阵码图像进行分区域的向量补偿校正后,得到补偿了码字偏移的校正后的图像。
在一实施例中,搜索快速响应矩阵码图像中的多个寻像图形;以及根据多个寻像图形搜索确定出多个特征点。
寻像图形(又称位置探测图形、探测图形等)用于对快速响应矩阵码图像进行定位。目前的快速响应矩阵码通常包括三个寻像图形,分别位于快速响应矩阵码的三个角上,即快速响应矩阵码的左下角、左上角和右上角。比如,请参照图2,其中三个“回”型图形即为寻像图形。
应当说明的是,寻像图形的黑白像素比例为1:1:3:1:1,根据该特点,处理器可以搜索到快速响应矩阵码图像中的三个寻像图形。
示例性地,为了实现对快速响应矩阵码图像中寻像图形的搜索,处理器首先建立坐标系,比如,以快速响应矩阵码图像的左上角顶点为原点,建立像素坐标系。然后,处理器根据寻像图形的黑白像素比例为1:1:3:1:1的特点,对快速响应矩阵码图像进行扫描,从而得到其中的三个寻像图形。比如,处理器可以对快速响应矩阵码图像进行逐行扫描,也可以对快速响应矩阵码图像进行隔行扫描。其中,行指的是快速响应矩阵码图像的一行像素,此处对隔行的行数不作具体限制,可由本领域普通技术人员根据实际需要进行配置,比如,可以每隔3行对快速响应矩阵码图像进行扫描,以快速搜索出其中的三个寻像图形。
在一实施例中,在搜索多个特征点时,处理器以搜索确定出的多个寻像图形为根据,进一步搜索确定出多个特征点。比如,当搜索确定出三个寻像图像时,处理器以三个寻像图形为搜索对象,搜索确定出多个特征点。
在一实施例中,在搜索确定出多个寻像图形之后,处理器并不立即根据搜索出的多个图像图形搜索特征点,而是先根据多个寻像图形对快速响应矩阵码图像进行解码。比如,处理器可以采用透视变换的方式对快速响应矩阵码图像进行解码,若解码成功,则相应得到解码结果。若解码失败时,处理器判定快速响应矩阵码图像存在畸变,此时再根据多个寻像图形搜索确定出多个特征点,以用于对快速响应矩阵码图像的畸变校正。
在一实施例中,对校正后的图像进行解码,得到解码结果。
比如,处理器对图2所示的校正后的图像进行解码,可以得到解码结果“20210113二维码1”。
在一实施例中,在根据多个寻像图形搜索确定出多个特征点时,处理器可以搜索每一寻像图形靠近编码区域的多个顶点确定作为特征点,以及搜索快速响应矩阵码图像中一校正参考图形的一中心点确定作为特征点。校正参考图形类似于寻像图形,也是黑白相间的矩形块,但其黑白像素比例为1:1:1:1:1,根据该特点,处理器可以搜索到快速响应矩阵码图像中的校正参考图形,以及搜索到该校正参考图形的中心点。
比如,请参照图3,处理器搜索到图示快速响应矩阵码图像中左上角寻像图形靠近编码区域的右上角顶点p1、右下角顶点p4、左下角顶点p3,右上角寻像图形靠近编码区域的左上角顶点p2、左下角顶点p5、右下角顶点p6,左下角寻像图形靠近编码区域的左上角顶点p7、右上角顶点p8、右下角顶点p10,以及右下角校正参考图形的中心点p9,并将p1、p2、p3、p4、p5、p6、p7、p8、p9以及p10作为特征点。
应当说明的是,本实施例对于如何进行顶点搜索不作具体限制,可由本领域技术人员根据实际需要配置顶点搜索方式,比如,处理器可以通过形态学腐蚀膨胀,边缘检测和霍夫(Hough)变换来搜索出每一寻像图形靠近编码区域的多个顶点,还可以通过对每一寻像图形的边缘进行定位,计算边界方程推算出每一寻像图形靠近编码区域的多个顶点等。
在一实施例中,在搜索每一寻像图形靠近编码区域的多个顶点确定作为特征点时,处理器可以每一寻像图形的中心点为起始点,沿一搜索方向搜索确定每一寻像图形的一外边缘点,并以每一寻像图形的外边缘点为起始点,沿每一寻像图形的外边缘搜索确定出多个顶点。
实施上,搜索方向可由本领域技术人员根据实际需要进行配置,比如,可以配置x轴方向或y轴方向中任一方向作为搜索方向。
比如,请参照图4,以x轴方向作为搜索方向为例,针对快速响应矩阵码图像中的左上角寻像图形,处理器以该寻像图形的中心点A1为起始点,向负x轴方向搜索,确定一外边缘点B1,然后以该外边缘点B1为起始点,沿该寻像图形的外边缘搜索确定该寻像图形靠近编码区域的顶点p1、p4和p3;针对快速响应矩阵码图像中的右上角寻像图形,处理器以该寻像图形的中心点A2为起始点,向负x轴方向搜索,确定一外边缘点B2,然后以该外边缘点B2为起始点,沿该寻像图形的外边缘搜索确定该寻像图形靠近编码区域的顶点p2、p5和p6;针对快速响应矩阵码图像中的左下角寻像图形,处理器以该寻像图形的中心点A3为起始点,向负x轴方向搜索,确定一外边缘点B3,然后以该外边缘点B3为起始点,沿该寻像图形的外边缘搜索确定该寻像图形靠近编码区域的顶点p7、p8和p10。
在一实施例中,在以每一寻像图形的外边缘点为起始点,沿每一寻像图形的外边缘搜索确定出多个顶点时,处理器以每一寻像图形的外边缘点为起始点,通过8邻域边缘跟踪算法沿每一寻像图形的外边缘搜索确定出多个顶点。
其中,8邻域边缘跟踪算法也称8邻域边界跟踪算法、摩尔邻域跟踪算法等。本实施例通过采用8邻域边缘跟踪算法来跟踪每一寻像图形的外边缘实现对前前述多个顶点的搜索,能够降低搜索所需的计算量。
在一实施例中,多个寻像图形包括左下角寻像图形、左上角寻像图形和右上角寻像图形,在搜索校正参考图形失败时,根据左下角寻像图形的右上角顶点、左上角寻像图形的右下角顶点和右上角寻像图形的左下角顶点,搜索一定位点确定作为特征点,其中,定位点与右上角顶点、右下角顶点和左下角顶点连接构成一矩形。
需要说明的是,快速响应矩阵码目前包括40个版本,从21码字*21码字(版本1)到177码字*177码字(版本40),其中后一版本的快速响应矩阵码相较于前一版本的快速响应矩阵码在每边增加4个码字,比如,图2示出的快速响应矩阵码图像对应版本2的快速响应矩阵码,其为25码字*25码字。然而,并不是所有版本的快速响应矩阵码均具有校正参考图形,比如,版本1的快速响应矩阵码就不具备校正参考图形。因此,特征点搜索单元110在搜索校正参考图形时,可能搜索成功,也可能搜索失败。
本实施例中,处理器在搜索校正参考图形失败时,可进一步根据左下角寻像图形的右上角顶点、左上角寻像图形的右下角顶点和右上角寻像图形的左下角顶点,搜索一定位点确定作为特征点。其中,定位点与右上角顶点、右下角顶点和左下角顶点连接构成一矩形。
在一实施例中,在将快速响应矩阵码图像的一编码区域划分为多个子区域时,处理器以至少一特征点作为一子区域的顶点为约束条件,根据多个特征点将编码区域划分为多个子区域。此处对子区域的划分方式不作具体限制,可由本领域普通技术人员根据实际需要进行配置。比如,请参照图5,示出了三种不同的划分方式,根据特征点p4、p5、p8以及p9,处理器可以将编码区域的中间部分划分为一个子区域(划分方式1),也可以将编码区域的中间部分划分为两个子区域(划分方式2),还可以将编码区域的中间部分划分为四个子区域(划分方式3)。
在一实施例中,在根据每一子区域对应的特征点,确定每一子区域的一补偿向量,并根据每一子区域的补偿向量对每一子区域进行补偿校正时,处理器根据每一子区域对应的特征点,确定每一子区域在一水平方向的一水平单位补偿向量,在一垂直方向的一垂直单位补偿向量;以及根据每一子区域的水平单位补偿向量和垂直单位补偿向量,对每一子区域进行补偿校正。
比如,针对一子区域,处理器将该子区域在水平方向对应的两个特征点的坐标向量除以这两个特征点之间的码字数量,得到水平单位补偿向量,及将该子区域在垂直方向对应的两个特征点的坐标向量除以这两个特征点之间的码字数量,得到垂直单位补偿向量。
在一实施例中,在根据每一子区域的水平单位补偿向量和垂直单位补偿向量,对每一子区域进行补偿校正时,处理器可以获取对应快速响应矩阵码图像的一匹配模板,并以每一子区域包括的特征点为起始点,根据水平单位补偿向量和垂直单位补偿向量,搜索子区域中的每一码字,并将搜索到的每一码字的像素值映射至匹配模板,得到校正后的图像。
其中,处理器可以识别快速响应矩阵码图像对应的快速响应矩阵码的版本号,然后根据该版本号调用对应的匹配模板。比如,请参照图4,处理器可以根据寻像图形计算出一个码字的边长占用的像素数量,再通过寻像图形的中心点A1、A2和A3的坐标计算出图4所示快速响应矩阵码的版本号,表示为:
V=(((A1A2+A1A3)/2+7)/s-17)/4;
其中,V表示版本号,A1A2表示A1到A2的坐标距离,A1A3表示A1到A3的坐标距离,s表示一个码字的边长占用的像素数量。
本实施例中,处理器以每一子区域包括的特征点为起始点,根据水平单位补偿向量和垂直单位补偿向量,搜索子区域中的每一码字,并将搜索到的每一码字的像素值映射至匹配模板,得到校正后的图像。
以下以图6所示的子区域划分方式为例,对本申请提供的向量补偿校正方式进行说明。
如图6所示的版本2的快速响应矩阵码图像,共搜索出10个特征点,分别为p1、p2、p3、p4、p5、p6、p7、p8、p9以及p10。其中,利用p1、p2、p4以及p5将编码区域的中上部分划分为4个子区域,分别为子区域1、子区域2、子区域3和子区域4;利用p3、p4、p7以及p8将编码区域的左中部分划分为4个子区域,分别为子区域5、子区域6、子区域10以及子区域11;利用p4、p5、p8以及p9将编码区域的中心部分划分为4个子区域,分别为子区域7、子区域8、子区域12以及子区域13;利用p5、p6、p8以及p9将编码区域的右中部分划分为2个子区域,分别为子区域9和子区域14;利用p5、p8、p9以及p10将编码区域的下中部分划分为2个子区域,分别为子区域15和子区域16;利用p5、p8以及p9将编码区域的右下部分划分为1个子区域,即子区域17。
以下对子区域7的向量补偿为例进行说明:
首先,计算子区域7的水平单位补偿向量和垂直单位补偿向量,其中,子区域7在水平方向(即x轴方向)对应的特征点为p4和p5,p4和p5之间共有11个码字,在垂直方向(即y轴方向)对应的特征点为p4和p8,p4和p8之间共有11个码字,则可以按照如下公式计算得到子区域7的水平单位补偿向量和垂直单位补偿向量:
Figure BDA0003275566850000081
Figure BDA0003275566850000082
其中,
Figure BDA0003275566850000083
表示子区域7的水平单位补偿向量,
Figure BDA0003275566850000084
表示子区域7的垂直单位补偿向量,px表示特征点的横坐标,py表示特征点的纵坐标。
以p4为起始点,根据水平单位补偿向量
Figure BDA0003275566850000085
和垂直单位补偿向量
Figure BDA0003275566850000086
搜索水平方向和垂直方向上的第一个码字spt7,可以表示为:
Figure BDA0003275566850000091
如上搜索到spt7的坐标后,将spt7对应的像素值映射至版本2的匹配模板中,之后继续搜索子区域7中的其它码字ept7,可以表示为:
Figure BDA0003275566850000092
其中,i7∈[1,N7-1],j7∈[1,M7-1],N7表示子区域7在水平方向的码字数量,M7表示子区域7在垂直方向的码字数量。
如上,每次搜索到ept7后,将ept7对应的像素值映射至版本2的匹配模板中,直至完成对子区域7中所有码字的校正。
以下对子区域12的向量补偿为例进行说明:
类似于子区域7,区别在于不能直接根据p8和p9确定水平单位补偿向量,而是需要先确定与P9几何对应的新的特征点p11,p11可以理解为P8所在块的中心点,可以通过p4、p7和p8进行搜索,表示为:
Figure BDA0003275566850000093
Figure BDA0003275566850000094
Figure BDA0003275566850000095
其中,
Figure BDA0003275566850000096
除了作为子区域7的垂直单位补偿向量之外,还作为子区域12的垂直单位补偿向量,此外,按照如下公式计算得到子区域12的水平单位补偿向量:
Figure BDA0003275566850000097
其中,
Figure BDA0003275566850000098
表示子区域12的水平单位补偿向量。
以p8为起始点,根据水平单位补偿向量
Figure BDA0003275566850000099
和垂直单位补偿向量
Figure BDA00032755668500000910
搜索水平方向和垂直方向上的第一个码字spt12,可以表示为:
Figure BDA00032755668500000911
如上搜索到spt12的坐标后,将spt12对应的像素值映射至版本2的匹配模板中,之后继续搜索子区域12中的其它码字ept12,可以表示为:
Figure BDA00032755668500000912
其中,i12∈[1,N12-1],j12∈[1,M12-1],N12表示子区域12在水平方向的码字数量,M12表示子区域12在垂直方向的码字数量。
如上,每次搜索到ept12后,将ept12对应的像素值映射至版本2的匹配模板中,直至完成对子区域12中所有码字的校正。
以下对子区域17的向量补偿为例进行说明:
类似于子区域12,同样不能直接根据子区域17在水平方向对应的特征点p8和p9确定水平单位补偿向量,也不能根据子区域17在垂直方向对应的特征点p5和p9确定垂直单位补偿向量,而是需要先确定水平方向上与P9几何对应的新的特征点p11,以及确定垂直方向上与P9几何对应的新的特征点p12。
p12可以理解为P5所在块的中心点,可以通过p2、p5和p6进行搜索,表示为:
Figure BDA0003275566850000101
Figure BDA0003275566850000102
Figure BDA0003275566850000103
由于p11和p9之间有12个码字,p9和p12之间也有12个码字,按照如下公式计算得到子区域17的水平单位补偿向量和垂直单位补偿向量:
Figure BDA0003275566850000104
Figure BDA0003275566850000105
其中,
Figure BDA0003275566850000106
表示子区域17的水平单位补偿向量,
Figure BDA0003275566850000107
表示子区域17的垂直单位补偿向量。
将p9作为第一个码字,将p9对应的像素值映射至版本2的匹配模板中,之后继续搜索子区域17中的其它码字ept17,可以表示为:
Figure BDA0003275566850000108
其中,i17∈[1,N17-1],j17∈[1,M17-1],N17表示子区域17在水平方向的码字数量,M17表示子区域17在垂直方向的码字数量。
如上,每次搜索到ept17后,将ept17对应的像素值映射至版本2的匹配模板中,直至完成对子区域17中所有码字的校正。
如上,示出了针对不同类型子区域的具体向量补偿方式,对于其它子区域,可参照以上对应类型子区域的向量补偿方式相应实施,此处不再赘述。
应当说明的是,由于寻像图形的位置是固定的,可以直接在匹配模板中的对应填入寻像图形的像素值,最终得到完整的校正后的图像。
请参照图7,本申请还提供一种电子设备01,包括一芯片10和一存储器20和一摄像头30,其中,
摄像头30至少包括一镜头和图像传感器,其中镜头用于将外界的光信号投射至图像传感器,图像传感器用于将镜头投射的光信号进行光电转换,将光信号转换为可用的电信号,得到数字化的的图像。摄像头30可用于对任一快速响应矩阵码进行拍摄得到的快速响应矩阵码图像。
芯片10,包括接口电路200和处理器100。接口电路200用于获取摄像头30拍摄的快速响应矩阵码图像,可为移动产业处理器接口(Mobile Industry Processor Interface,MIPI)。处理器100可藉由执行存储器20中的计算机程序以实施本发明的图像校正方法,将接口电路200电路获取的快速响应矩阵码图像的编码区域划分为多个子区域进行补偿校正,得到校正后的图像。
存储器20可以为高速随机存取存储器,还可以为非易失性存储器,比如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件等。
本领域技术人员可以理解的是,上述实施例的各种方法中的全部或部分步骤可以通过计算机程序或指令来完成,或通过指令控制相关的硬件来完成,该计算机程序或指令可以存储于一计算机可读存储介质中,并由芯片进行加载和执行。
以上对本申请实施例提供的图像校正方法及处理器进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请。同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种图像校正方法,其特征在于,包括:
对一快速响应矩阵码图像进行特征点搜索,确定出所述快速响应矩阵码图像中的多个特征点;
根据所述多个特征点,将所述快速响应矩阵码图像的一编码区域划分为多个子区域;以及
根据每一所述子区域对应的特征点,确定每一所述子区域的一补偿向量,并根据每一所述子区域的所述补偿向量对每一所述子区域进行补偿校正,得到一校正后的图像。
2.根据权利要求1所述的图像校正方法,其特征在于,所述对一快速响应矩阵码图像进行特征点搜索,确定出所述快速响应矩阵码图像中的多个特征点,包括:
搜索所述快速响应矩阵码图像中的多个寻像图形;以及
根据所述多个寻像图形搜索确定出所述多个特征点。
3.根据权利要求2所述的图像校正方法,其特征在于,所述根据所述多个寻像图形搜索确定出所述多个特征点之前,还包括:
根据所述多个寻像图形对所述快速响应矩阵码图像进行解码;以及
在对所述快速响应矩阵码图像解码失败时,根据所述多个寻像图形搜索确定出所述多个特征点。
4.根据权利要求2所述的图像校正方法,其特征在于,所述根据所述多个寻像图形搜索确定出所述多个特征点,包括:
搜索每一所述寻像图形靠近所述编码区域的多个顶点以作为所述特征点,以及搜索所述快速响应矩阵码图像中一校正参考图形的一中心点以作为所述特征点。
5.根据权利要求4所述的图像校正方法,其特征在于,所述搜索每一所述寻像图形靠近所述编码区域的多个顶点确定作为所述特征点,包括:
以每一所述寻像图形的中心点为起始点,沿一搜索方向搜索确定每一所述寻像图形的一外边缘点,并以每一所述寻像图形的所述外边缘点为起始点,沿每一寻像图形的外边缘搜索确定出所述多个顶点。
6.根据权利要求5所述的图像校正方法,其特征在于,所述以每一所述寻像图形的所述外边缘点为起始点,沿每一寻像图形的外边缘搜索确定出所述多个顶点,包括:
以每一所述寻像图形的所述外边缘点为起始点,通过8邻域边缘跟踪算法沿每一所述寻像图形的外边缘搜索确定出所述多个顶点。
7.根据权利要求5所述的图像校正方法,其特征在于,所述多个寻像图形包括左下角寻像图形、左上角寻像图形和右上角寻像图形,所述图像校正方法还包括:
在搜索所述校正参考图形失败时,根据所述左下角寻像图形的右上角顶点、所述左上角寻像图形的右下角顶点和所述右上角寻像图形的左下角顶点,搜索一定位点确定作为所述特征点,其中,所述定位点与所述右上角顶点、所述右下角顶点和所述左下角顶点连接构成一矩形。
8.根据权利要求1所述的图像校正方法,其特征在于,所述根据所述多个特征点,将所述快速响应矩阵码图像的一编码区域划分为多个子区域,包括:
以至少一所述特征点作为一所述子区域的顶点为约束条件,根据所述多个特征点将所述编码区域划分为多个子区域。
9.根据权利要求8所述的图像校正方法,其特征在于,所述根据每一所述子区域对应的特征点,确定每一所述子区域的一补偿向量,并根据每一所述子区域的所述补偿向量对每一所述子区域进行补偿校正,包括:
根据每一所述子区域对应的所述特征点,确定每一所述子区域在一水平方向的一水平单位补偿向量,在一垂直方向的一垂直单位补偿向量;以及
根据每一所述子区域的所述水平单位补偿向量和所述垂直单位补偿向量,对每一所述子区域进行补偿校正。
10.根据权利要求9所述的图像校正方法,其特征在于,所述根据每一所述子区域的所述水平单位补偿向量和所述垂直单位补偿向量,对每一所述子区域进行补偿校正,包括:
获取对应所述快速响应矩阵码图像的一匹配模板;以及
以每一所述子区域包括的所述特征点为起始点,根据所述水平单位补偿向量和所述垂直单位补偿向量,搜索所述子区域中的每一码字,并将搜索到的每一码字的像素值映射至所述匹配模板,得到所述校正后的图像。
11.一种处理器,所述处理器执行一计算机程序以实施一图像校正方法,其特征在于,所述图像校正方法包括:
对一快速响应矩阵码图像进行特征点搜索,确定出所述快速响应矩阵码图像中的多个特征点;
根据所述多个特征点,将所述快速响应矩阵码图像的一编码区域划分为多个子区域;以及
根据每一所述子区域对应的特征点,确定每一所述子区域的一补偿向量,并根据每一所述子区域的所述补偿向量对每一所述子区域进行补偿校正,得到一校正后的图像。
CN202111115988.2A 2021-09-23 2021-09-23 图像校正方法及处理器 Pending CN114926347A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111115988.2A CN114926347A (zh) 2021-09-23 2021-09-23 图像校正方法及处理器
US17/711,167 US11908108B2 (en) 2021-09-23 2022-04-01 Image correction method and processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111115988.2A CN114926347A (zh) 2021-09-23 2021-09-23 图像校正方法及处理器

Publications (1)

Publication Number Publication Date
CN114926347A true CN114926347A (zh) 2022-08-19

Family

ID=82804137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111115988.2A Pending CN114926347A (zh) 2021-09-23 2021-09-23 图像校正方法及处理器

Country Status (2)

Country Link
US (1) US11908108B2 (zh)
CN (1) CN114926347A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11948044B2 (en) 2022-12-19 2024-04-02 Maplebear Inc. Subregion transformation for label decoding by an automated checkout system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1963838A (zh) * 2006-11-07 2007-05-16 中国物品编码中心 二维条码图形畸变校正的方法
CN101166271A (zh) * 2006-10-16 2008-04-23 华为技术有限公司 一种多视点视频编码中的视点差估计/补偿方法
CN101448086A (zh) * 2002-07-18 2009-06-03 索尼株式会社 图像数据处理方法以及图像数据处理装置
US20100086222A1 (en) * 2006-09-20 2010-04-08 Nippon Telegraph And Telephone Corporation Image encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
CN105046256A (zh) * 2015-07-22 2015-11-11 福建新大陆自动识别技术有限公司 基于畸变图像校正的qr码解码方法和系统
CN113132704A (zh) * 2020-01-15 2021-07-16 华为技术有限公司 一种图像处理的方法、装置、终端以及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4013027B2 (ja) * 2001-04-19 2007-11-28 オムロン株式会社 2次元コード読取装置
WO2004097717A1 (ja) * 2003-05-02 2004-11-11 Yutaka Kiuchi 2次元コード読取方法、表示方法、および実行プログラム
JP4103909B2 (ja) * 2005-08-31 2008-06-18 株式会社デンソーウェーブ 携帯情報端末及び画像処理方法
WO2019182873A1 (en) * 2018-03-20 2019-09-26 Grafty, Inc. Method and system for robust image detection for automatic detection of symptoms
JP2021028760A (ja) * 2019-08-09 2021-02-25 キヤノン株式会社 電子機器およびその制御方法
US11734532B2 (en) * 2020-10-28 2023-08-22 University Of Rochester Two-dimensional bar codes that are both intensity-modulated and orientation-modulated for transmitting sensitive information along with non-sensitive information
CN114693532A (zh) * 2020-12-28 2022-07-01 富泰华工业(深圳)有限公司 图像校正方法及相关设备
CN113963067B (zh) * 2021-10-25 2022-09-23 季华实验室 一种采用小靶标对大视场视觉传感器进行标定的标定方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101448086A (zh) * 2002-07-18 2009-06-03 索尼株式会社 图像数据处理方法以及图像数据处理装置
US20100086222A1 (en) * 2006-09-20 2010-04-08 Nippon Telegraph And Telephone Corporation Image encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
CN101166271A (zh) * 2006-10-16 2008-04-23 华为技术有限公司 一种多视点视频编码中的视点差估计/补偿方法
CN1963838A (zh) * 2006-11-07 2007-05-16 中国物品编码中心 二维条码图形畸变校正的方法
CN105046256A (zh) * 2015-07-22 2015-11-11 福建新大陆自动识别技术有限公司 基于畸变图像校正的qr码解码方法和系统
CN113132704A (zh) * 2020-01-15 2021-07-16 华为技术有限公司 一种图像处理的方法、装置、终端以及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴浩;邓宏彬;: "一种基于分块灰度投影运动估计的视频稳像方法", 兵工学报, no. 04, 15 April 2013 (2013-04-15) *
朱博;解利军;杨廷俊;王琦晖;郑耀;: "自适应复杂环境的投影图像校正算法", 计算机辅助设计与图形学学报, no. 07, 15 July 2012 (2012-07-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11948044B2 (en) 2022-12-19 2024-04-02 Maplebear Inc. Subregion transformation for label decoding by an automated checkout system
WO2024130515A1 (en) * 2022-12-19 2024-06-27 Maplebear Inc. Subregion transformation for label decoding by an automated checkout system

Also Published As

Publication number Publication date
US20230097901A1 (en) 2023-03-30
US11908108B2 (en) 2024-02-20

Similar Documents

Publication Publication Date Title
US10187546B2 (en) Method and device for correcting document image captured by image pick-up device
US20060188160A1 (en) Device, method, and computer-readable medium for detecting changes in objects in images and their features
US20100084470A1 (en) Two-dimensional barcode localization for camera based devices
JP2006074512A (ja) 撮影装置、撮影装置の画像処理方法及びプログラム
CN108604374B (zh) 一种图像检测方法及终端
CN110738273A (zh) 图像特征点的匹配方法、装置、设备及存储介质
CN114298902A (zh) 一种图像对齐方法、装置、电子设备和存储介质
CN111914890B (zh) 图像之间的图像块匹配方法、图像配准方法和产品
CN114926514B (zh) 一种事件图像与rgb图像的配准方法及装置
CN114926347A (zh) 图像校正方法及处理器
CN110245674B (zh) 模板匹配方法、装置、设备及计算机存储介质
JP2005275447A (ja) 画像処理装置、画像処理方法及びプログラム
JP2009301181A (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
TWI790761B (zh) 圖像校正方法及處理器
CN111260729B (zh) 用于车载环视系统中鱼眼镜头标定的方法及装置
JP4524616B2 (ja) 撮影装置、撮影画像の画像処理方法及びプログラム
CN111428707B (zh) 图形识别码的识别方法、装置、存储介质及电子设备
JP2010044586A (ja) 2次元コード読取装置とそのプログラム
CN114066731A (zh) 生成全景图的方法、装置、电子设备及存储介质
JPH06168331A (ja) パターンマッチング方法
JP6600090B2 (ja) 画像処理装置、画像処理方法、および、プログラム
CN116883461B (zh) 一种用于获取清晰文档图像的方法及其终端装置
CN113888611B (zh) 一种确定图像深度的方法、装置及存储介质
KR102680424B1 (ko) 반도체 불량 검사용 고해상도 이미지 합성 방법
JP4315025B2 (ja) 撮影装置、画像取得方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination