CN111415307A - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents
一种图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111415307A CN111415307A CN202010174910.7A CN202010174910A CN111415307A CN 111415307 A CN111415307 A CN 111415307A CN 202010174910 A CN202010174910 A CN 202010174910A CN 111415307 A CN111415307 A CN 111415307A
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional code
- determining
- information
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 57
- 238000006243 chemical reaction Methods 0.000 claims abstract description 44
- 230000001131 transforming effect Effects 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 104
- 238000004590 computer program Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 abstract description 33
- 230000008569 process Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/146—Methods for optical code recognition the method including quality enhancement steps
- G06K7/1473—Methods for optical code recognition the method including quality enhancement steps error correction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种图像处理方法、装置、电子设备及存储介质,图像处理方法,包括:获取待处理图像;待处理图像中包括二维码以及目标物体;其中,二维码所在平面与目标物体的目标面所在平面之间的角度小于预设角度阈值;确定二维码上的关键点在待处理图像中的第一位置信息,以及关键点在二维码对应的正视图中的第二位置信息;确定第一位置信息与第二位置信息之间的转换关系信息;基于转换关系信息,将待处理图像变换为正视投影图像。该方法能够降低待处理图像可能存在的透视畸变,降低由于透视畸变造成的图像处理结果的误差。
Description
技术领域
本公开涉及图像处理技术领域,具体而言,涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
在一些图像处理任务中,比如对机械仪表数字化任务,需要通过对表盘图像的处理,完成检测表盘、识别表盘类型、识别指针转角等任务。然而,由于机械仪表的图像在获取的时候,在大部分情况下很难保证机械仪表正对图像获取设备的拍摄镜头,导致获取的表盘图像会存在由于视角偏差导致的透视畸变等,这种透视畸变会造成图像处理结果存在较大的误差。
发明内容
本公开实施例至少提供一种图像处理方法、装置、电子设备及存储介质。
第一方面,本公开实施例提供了一种图像处理方法,包括:获取待处理图像;所述待处理图像中包括二维码以及目标物体;其中,所述二维码所在平面与所述目标物体的目标面所在平面之间的角度小于预设角度阈值;确定所述二维码上的关键点在所述待处理图像中的第一位置信息,以及所述关键点在所述二维码对应的正视图中的第二位置信息;确定所述第一位置信息与所述第二位置信息之间的转换关系信息;基于所述转换关系信息,将所述待处理图像变换为正视投影图像。
这样,通过将二维码作为参考,可以将待处理图像转换为正视投影图像,降低待处理图像可能存在的透视畸变,降低由于透视畸变造成的图像处理结果的误差。
一种可选的实施方式中,所述确定所述二维码上的关键点在所述待处理图像中的第一位置信息,以及所述关键点在所述二维码对应的正视图中的第二位置信息,包括:识别所述二维码中的定位图形;从所述定位图形中选择多个像素点分别作为所述关键点,并将所述多个像素点中每个像素点在所述待处理图像中的第一坐标信息,确定为与该像素点对应的关键点在所述待处理图像中的第一位置信息,以及,将该像素点在所述正视图中的第二坐标信息,确定为与该像素点对应的关键点在所述正视图中的第二位置信息。
这样,通过从二维码中确定定位图形,并基于定位图形确定关键点,以得到关键点在待处理图像中的第一位置信息和其在正视图中的第二位置信息。
一种可选的实施方式中,所述转换关系信息包括:用于将所述待处理图像中每个像素点投影至所述正视投影图像中的目标投影矩阵。
一种可选的实施方式中,所述确定所述第一位置信息与所述第二位置信息之间的转换关系信息,包括:从所述二维码对应的多个所述关键点中确定至少一个关键点组;根据所述至少一个关键点组中的每个关键点分别对应的所述第一坐标信息和所述第二坐标信息,确定所述目标投影矩阵;其中,所述目标投影矩阵在与所述第一坐标信息对应的第一坐标矩阵相乘后,得到所述第二坐标信息对应的第二坐标矩阵。
这样,通过至少一个关键点组中每个关键点组中的每个关键点的第一位置信息和第二位置信息,得到目标投影矩阵,从而能够基于投影矩阵将待处理图像变换为正视投影图像。
一种可选的实施方式中,所述关键点组包括多个的情况下,所述确定所述目标投影矩阵,包括:根据所述各个关键点组中每个关键点的第一位置信息和第二位置信息,确定与该关键点组对应的投影矩阵;基于各个关键点组分别对应的投影矩阵,确定所述目标投影矩阵。
这样,通过构成多个关键点组,并基于每个关键点组确定一投影矩阵,然后基于多个投影矩阵确定目标投影矩阵,提升了目标投影矩阵的精确度。
一种可选的实施方式中,针对所述关键点组包括多个的情况下,从所述二维码对应的多个所述关键点中确定多个关键点组,包括:从所述多个关键点中确定多个目标关键点;将多个所述目标关键点交叉分组,构成所述多个关键点组;其中,每个所述关键点组中包括四个目标关键点,且每一关键点组中至少一个目标关键点被包括在至少一个其他关键点组中。
这样,通过从多个关键点中确定多个目标关键点,并对多个目标关键点进行交叉分组,以构成多个关键点组,并基于每个关键点组确定一投影矩阵,然后基于多个投影矩阵确定目标投影矩阵,提升了目标投影矩阵的精确度。
一种可选的实施方式中,所述基于各个关键点组分别对应的投影矩阵,确定所述目标投影矩阵,包括:根据所述各个关键点组对应的投影矩阵,得到多个所述投影矩阵中对应位置元素的元素平均值或者众数;将多个所述投影矩阵中对应位置元素的元素平均值或者众数,确定为所述目标投影矩阵中对应位置元素的元素值。
这样,实现了基于多个投影矩阵,确定目标投影矩阵,得到的目标投影矩阵具有更高的精度。
一种可选的实施方式中,还包括:识别所述二维码中的二维码信息;所述二维码信息包括:目标物体的预设包围框的第一预设位置与所述二维码上的第二预设位置之间的位置关系信息,以及所述预设包围框与所述二维码的尺寸关系信息;基于所述位置关系信息以及所述尺寸关系信息,确定所述目标物体在所述正视投影图像中的位置信息。
这样,能够将目标物体从正视投影图像中确定出来,在执行图像处理任务时,可以直接基于该位置信息,确定目标物体,并针对目标物体来执行图像处理任务,从而去除正视投影图像中的噪声,提升后续图像处理任务的准确度,降低图像处理任务的复杂度。
同时还会减少后续图像处理任务所需要处理的数据量,加快图像处理任务的速度,降低图像处理任务时所需要消耗的计算资源。
一种可选的实施方式中,还包括:基于所述目标物体在所述正视投影图像中的位置信息,对所述目标物体执行图像处理任务。
一种可选的实施方式中,所述二维码信息还包括:目标物体类别;所述基于所述目标物体正视图,所述基于所述目标物体在所述正视投影图像中的位置信息,对所述目标物体执行图像处理任务,包括:基于所述目标物体在所述正视投影图像中的位置信息、以及与所述目标物体类别对应的处理方法,执行所述图像处理任务。
这样,实现了对不同的类别的目标物体针对性的执行图像处理任务。
第二方面,本公开实施例还提供一种图像处理装置,包括:获取模块,用于获取待处理图像;所述待处理图像中包括二维码以及目标物体;其中,所述二维码所在平面与所述目标物体的目标面所在平面之间的角度小于预设角度阈值;确定模块,用于确定所述二维码上的关键点在所述待处理图像中的第一位置信息,以及所述关键点在所述二维码对应的正视图中的第二位置信息;解算模块,用于确定所述第一位置信息与所述第二位置信息之间的转换关系信息;转换模块,用于基于所述转换关系信息,将所述待处理图像变换为正视投影图像。
一种可能的实施方式中,所述确定模块,在确定所述二维码上的关键点在所述待处理图像中的第一位置信息,以及所述关键点在所述二维码对应的正视图中的第二位置信息时,用于:识别所述二维码中的定位图形;从所述定位图形中选择多个像素点分别作为所述关键点,并将所述多个像素点中每个像素点在所述待处理图像中的第一坐标信息,确定为与该像素点对应的关键点在所述待处理图像中的第一位置信息,以及,将该像素点在所述正视图中的第二坐标信息,确定为与该像素点对应的关键点在所述正视图中的第二位置信息。
一种可能的实施方式中,所述转换关系信息包括:用于将所述待处理图像中每个像素点投影至所述正视投影图像中的目标投影矩阵。
一种可能的实施方式中,所述解算模块,在确定所述第一位置信息与所述第二位置信息之间的转换关系信息时,用于:从所述二维码对应的多个所述关键点中确定至少一个关键点组;根据所述至少一个关键点组中的每个关键点分别对应的所述第一坐标信息和所述第二坐标信息,确定所述目标投影矩阵;其中,所述目标投影矩阵在与所述第一坐标信息对应的第一坐标矩阵相乘后,得到所述第二坐标信息对应的第二坐标矩阵。
一种可能的实施方式中,所述关键点组包括多个的情况下,所述解算模块,在确定所述目标投影矩阵时,用于:根据所述各个关键点组中每个关键点的第一位置信息和第二位置信息,确定与该关键点组对应的投影矩阵;基于各个关键点组分别对应的投影矩阵,确定所述目标投影矩阵。
一种可能的实施方式中,针对所述关键点组包括多个的情况下,所述解算模块,在从所述二维码对应的多个所述关键点中确定多个关键点组时,用于:从所述多个关键点中确定多个目标关键点;将多个所述目标关键点交叉分组,构成所述多个关键点组;其中,每个所述关键点组中包括四个目标关键点,且每一关键点组中至少一个目标关键点被包括在至少一个其他关键点组中。
一种可能的实施方式中,所述解算模块,在基于所述各个关键点组对应的投影矩阵,确定所述目标投影矩阵时,用于:根据所述各个关键点组对应的投影矩阵,得到多个所述投影矩阵中对应位置元素的元素平均值或者众数;将多个所述投影矩阵中对应位置元素的元素平均值或者众数,确定为所述目标投影矩阵中对应位置元素的元素值。
一种可能的实施方式中,还包括:目标物体位置确定模块,用于:识别所述二维码中的二维码信息;所述二维码信息包括:目标物体的预设包围框的第一预设位置与所述二维码上的第二预设位置之间的位置关系信息,以及所述预设包围框与所述二维码的尺寸关系信息;基于所述位置关系信息以及所述尺寸关系信息,确定所述目标物体在所述正视投影图像中的位置信息。
一种可能的实施方式中,还包括:处理模块,用于:基于所述目标物体在所述正视投影图像中的位置信息,对所述目标物体执行图像处理任务。
一种可能的实施方式中,所述二维码信息还包括:目标物体类别;所述处理模块,在基于所述目标物体在所述正视投影图像中的位置信息,对所述目标物体执行图像处理任务时,用于:基于所述目标物体在所述正视投影图像中的位置信息、以及与所述目标物体类别对应的处理方法,执行所述图像处理任务。
第三方面,本公开实施例还提供一种计算机设备,包括:相互连接的处理器和存储器,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述机器可读指令被所述处理器执行以实现上述第一方面,或第一方面中任一种可能的实施方式中的图像处理方法。
第四方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种图像处理方法的流程图;
图2示出了本公开实施例所提供的确定二维码上的关键点在待处理图像中的第一位置信息,和关键点在二维码对应的正视图中的第二位置信息的具体方法的流程图;
图3示出了本公开实施例所提供的一种待处理图像中的二维码与对应二维码正视图的示例;
图4示出了本公开实施例所提供的另一种图像处理方法的流程图;
图5示出了本公开实施例所提供的一种二维码与预设包围框之间位置关系的示例;
图6示出了本公开实施例所提供的图像处理装置的具体示意图;
图7示出了本公开实施例所提供的一种计算机设备的示意图;
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
经研究发现,由于神经网络对图像的优越处理能力,使得神经网络在很多图像处理任务中得到越来越多的应用。然而,神经网络在执行图像处理任务时需要消耗大量的计算资源,因此并不适于部署在计算资源较为有限的嵌入式设备中。采用除神经网络外的其他方法,如像素点坐标变换、边缘检测、霍夫变换等方法对图像进行处理的过程,虽然在计算量上有所下降,更适用于部署在计算资源较为有限的嵌入式设备中,但在很多图像处理任务中,例如对机械仪表数字化任务、目标识别任务、物品定位任务等,通常都需要获得目标物品上某一目标面的正视图像,然后对该正视图像执行对应的图像处理任务;但在图像获取过程中,在通常情况下都很难保证图像的视角是正对目标物品的目标面的,这导致目标物品的图像会存在由于实际拍摄视角和正视视角之间的偏差所导致的透视畸变等,而透视畸变会造成图像处理的结果存在较大的误差。
基于上述研究,本公开提供了一种图像处理方法及装置,通过为目标物体的目标面确定一二维码;在获取的待处理图像中,包括了该二维码以及目标物体;在对待处理图像进行处理的时,确定二维码上的关键点在待处理图像中第一信息,以及关键点在二维码对应的正视图中的第二位置信息,然后确定第一位置信息和第二位置信息之间的转换关系信息;由于二维码所在平面与目标物体的目标面所在平面之间的角度小于预设角度阈值,因此目标物体上任一像素点在待处理图像中的位置信息和该任一像素点在正投影图像中的位置信息也具有相同或者接近的转换关系,进而能够基于转换关系信息,将待处理图像转换为正视投影图像,减少了待处理图像可能存在的透视畸变,降低由于透视畸变造成的图像处理结果的误差。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
下面将结合本公开中附图,对本公开中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种图像处理方法进行详细介绍,本公开实施例所提供的图像处理方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为嵌入式设备、用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面以执行主体为嵌入式设备为例对本公开实施例提供的图像处理方法加以说明。
参见图1所示,为本公开实施例提供的图像处理方法的流程图,所述方法包括步骤S101~S104,其中:
S101:获取待处理图像;所述待处理图像中包括二维码以及目标物体;其中,所述二维码所在平面与所述目标物体的目标面所在平面之间的角度小于预设角度阈值。
S102:确定所述二维码上的关键点在所述待处理图像中的第一位置信息,以及所述关键点在所述二维码对应的正视图中的第二位置信息。
S103:确定所述第一位置信息与所述第二位置信息之间的转换关系信息。
S104:基于所述转换关系信息,将所述待处理图像变换为正视投影图像。
下面分别对上述S101~S104加以详细描述。
I:在上述S101中,待处理图像中的目标物体根据实际的图像处理任务来确定,例如,若图像处理任务是对机械仪表进行数字化,则对应的目标物体为机械仪表;若图像处理任务是进行包裹定位,则对应的目标物体为包裹等。
目标物体的目标面,具体可以根据实际的需要进行确定;例如,若目标物体为机械仪表,可以将表盘所在的面确定为目标面;若目标物体为包括,则将包裹任一侧面确定为目标面。
二维码所在平面与目标物体的目标面所在平面之间的角度小于预设角度阈值,是为了保证二维码与二维码正视图之间进行转换的第一转换关系信息,和待处理图像与待处理图像正视图之间进行转换的第二转换关系信息相同或者相似。该预设角度阈值可以根据实际的需要进行设定,例如可以设定为1°、3°、5°等。
需要注意的是,为了使得第一转换关系信息和第二转换关系信息之间的差异不会过大,该二维码所在平面和目标物体的目标面所在的平面之间的角度不宜过大。
为了使得二维码所在平面与目标物体的目标面所在的平面之间的角度小于预设角度阈值,例如可以直接将二维码设置在目标物体的目标面上;示例性的,可以将二维码设置在机械仪表的表盘上;又例如,可以将二维码设置在包裹上作为目标面的侧面。
另外,又例如将二维码设置在目标物体的附着物上;例如若机械仪表为汽车上的仪表,且机械仪表附着在汽车的驾驶台上,则可以将二维码设置在驾驶台上,且保证驾驶台上设置二维码的位置,与机械仪表的表盘平行。
当然,在其他实施例中,在设置二维码时,可以预先获取二维码所在平面和目标物体的目标面所在的平面之间的角度,则可以利用平面之间的角度,进行平面投影,调整二维码所在的平面或者目标物体的目标面所在的平面,使得二者的角度小于预设角度阈值。
在一种可能的实施方式中,例如可以在嵌入式设备中安装摄像头;在获取待处理图像时,可以调用嵌入式设备中的摄像头来获取待处理图像。
另外,待处理图像也可以是通过其他设备向嵌入式设备传输的,或者从同一嵌入式设备上安装的其他应用程序中读取的。
II:在上述S102中,参见图2所示,本公开实施例提供一种确定二维码上的关键点在待处理图像中的第一位置信息,和关键点在二维码对应的正视图中的第二位置信息的具体方法,包括:
S201:识别所述二维码中的定位图形。
在具体实施中,如图3中a所示的二维码中通常包括了位于二维码左上角、右上角、以及左下角三个位置的定位图形,该定位图形用于在二维码读取设备读取二维码中的信息时,实现对二维码的定位。
不同二维码中的定位图形在通常情况下形状相同;例如在图3中a所示的二维码中,所示出的定位图形均为正方形。
在获取待处理图像后,例如可以基于预先确定的图形检测算法,如霍夫变换等方式,从待处理图像中识别二维码中的定位图形,确定属于定位图形的所有像素点在待处理图像中的坐标值。
S202:从所述定位图形中选择多个像素点分别作为所述关键点,并将所述多个像素点中每个像素点在所述待处理图像中的第一坐标信息,确定为与该像素点对应的关键点在所述待处理图像中的第一位置信息,以及,将该像素点在所述正视图中的第二坐标信息,确定为与该像素点对应的关键点在所述正视图中的第二位置信息。
在具体实施中,这里,二维码的正视图,例如为预先设置的基准图像。
例如在图3所示,图3中a示出了一二维码的示例图;图3中b为与该二维码对应的正视图中定位图形的示例。
在该实例所示的二维码中,定位图形包括分别位于二维码左上角、右上角、以及左下角三个位置的正方形像素块,例如每个正方形像素块的顶点像素点,都可以作为一个关键点。
又例如,可以将正方形像素块的中心像素点作为关键点;具体的可以根据实际的需要进行具体设定。
另外,关键点也可以是预先确定好的,也即在二维码生成过程中,会针对性的生成一关键点对应的图形;在确定关键点的时候,例如可以从二维码中识别该图形,并基于该图形确定关键点。
III:在上述S103中,转换关系信息包括:用于将所述待处理图像中每个像素点投影至所述正视投影图像中的目标投影矩阵。
示例性地,在确定了多个关键点的第一位置信息和第二位置信息后,例如可以采用下述方式确定所述第一位置信息与所述第二位置信息之间的转换关系信息:
从所述二维码对应的多个所述关键点中确定至少一个关键点组;
根据所述至少一个关键点组中的每个关键点分别对应的所述第一坐标信息和所述第二坐标信息,确定所述目标投影矩阵;其中,所述目标投影矩阵在与所述第一坐标信息对应的第一坐标矩阵相乘后,得到所述第二坐标信息对应的第二坐标矩阵。
在具体实施中,目标投影矩阵例如可以表示为:
其中,a33的值为1;也即,在目标投影矩阵中共有8个未知量,需要分别对除a33外的8个未知量进行求解。
针对待处理图像中的二维码中的任一关键点P,其在待处理图像中的第一位置信息表示为:(u,v,w);其中,u表示P在基于待处理图像所建立的坐标坐标系中x轴的坐标,v表示P在该坐标系中y轴的坐标;w表示P在该坐标系中z轴的坐标。
则该关键点P被投影至二维码的正视图中后,其在正视图中的第二位置信息可以表示为:(u′,v′,w′);其中,u′表示P在基于正视图所建立的坐标坐标系中x轴的坐标,v′表示P在该坐标系中y轴的坐标;w′表示P在该坐标系中z轴的坐标。
且满足下述等式(1):
其中,
由于目标投影矩阵中的未知量有8个,根据一个关键点的第一位置信息、第二位置信息和目标投影矩阵之间的关系,能够构成两个等式,进而可以基于4个关键点,构建与上述公式(2)和(3)类似的8个等式,并基于构建的8个等式,对目标投影矩阵中的8个未知量进行求解,得到目标投影矩阵。
在一种可能的实施方式中,可以从多个关键点中确定4个关键点,并基于确定的4个关键点作为一个关键点组确定目标投影矩阵。
在另一种可能的实施方式中,还可以确定数量更多的关键点组,这里,多个关键点组可以是基于多个关键点随机确定的。每个关键点组中包括4个关键点,根据各关键点组中的各个关键点的第一位置信息和第二位置信息,确定与该关键点组对应的投影矩阵。
然后基于各组关键点分别对应的投影矩阵,确定用于将所述待处理图像中每个像素点投影至所述正视投影图像中时所采用的目标投影矩阵。
这里,所确定的不同关键点组中,可以包括部分相同的关键点,也可以完全不同。
在另一种可能的实施方式中,也可以采用下述方式确定多个关键点组:
从所述多个关键点中确定多个目标关键点;将多个所述目标关键点交叉分组,构成所述多个关键点组;其中,每个所述关键点组中包括四个目标关键点,且每一关键点组中至少一个目标关键点被包括在至少一个其他关键点组中。然后针对每个关键点组分别求解投影矩阵,并基于求解得到的多个投影矩阵,确定最终的目标投影矩阵,以排除关键点可能存在的位置信息误差,提升所确定的目标投影矩阵的精度。
这里,由于多个关键点组通过多个关键点交叉构成,因此通过交叉的关键点,建立起多个关键点组所确定的投影矩阵之间的联系,使得得到的多个投影矩阵在一定程度上较为接近,进而能够得到精度更高的目标投影矩阵。
示例性的,确定的关键点有6个,分别为:P1、P2、P3、P4、P5、以及P6;
将P1、P2、P3、以及P4确定为一组关键点组,确定一个投影矩阵;
将P3、P4、P5、以及P6确定为一组关键点组,确定一个投影矩阵;
将P1、P2、P5、以及P6确定为一组关键点组,确定一个投影矩阵;
将P2、P3、P5、以及P6确定为一组关键点组,确定一个投影矩阵;
这样,将6个关键点交叉组合,共确定4个关键点组,并针对每个关键点组,确定一个投影矩阵;所确定的投影矩阵分别为A1、A2、A3和A4;然后,基于A1、A2、A3和A4,确定用于将所述待处理图像中每个像素点投影至所述正视投影图像中时所采用的目标投影矩阵。
这里,例如可以对多个投影矩阵对应位置的元素求平均值,得到多个投影矩阵中对应位置元素的元素平均值;将多个投影矩阵中对应位置元素的元素平均值,确定为目标投影矩阵在对应位置元素的元素值;又例如,还可以对多个投影矩阵对应位置的元素求众数的方式,来确定目标投影矩阵在对应位置的元素的值。
示例性的,以对多个投影矩阵对应位置的元素求平均值的方式,确定目标投影矩阵为例,对根据多个投影矩阵确定目标投影矩阵的过程加以说明:在上述示例中,确定4个投影矩阵分别为:
则根据上述4个投影矩阵确定的目标投影矩阵为A为:
……
在多个关键点组的情况下,根据各关键点组中的各个关键点的第一位置信息和第二位置信息,确定与该关键点组对应的投影矩阵的方式,以及根据多个投影矩阵确定目标投影矩阵的方式与上述实施方式中类似,在此不再赘述。
IV:在上述S104中,在确定了目标投影矩阵后,针对待处理图像中的任一个像素点Q,该像素点Q在待处理图像中的坐标所构成的坐标矩阵与目标投影矩阵相乘所获得的矩阵,即将该像素点Q投影至正视投影图像中后的坐标所构成的坐标矩阵。
进而,遍历待处理图像中的每个像素点,基于目标投影矩阵,将遍历到的像素点投影到正视投影视图中;在遍历了待处理图像中的所有像素点后,基于各个像素点投影后得到的坐标矩阵,生成正视投影视图。
本公开实施例通过为目标物体的目标面确定一二维码;在获取的待处理图像中,包括了该二维码以及目标物体;在对待处理图像进行处理的时,确定二维码上的关键点在待处理图像中第一信息,以及关键点在二维码对应的正视图中的第二位置信息,然后确定第一位置信息和第二位置信息之间的转换关系信息;由于待二维码所在平面与目标物体的目标面所在平面平行,因此目标物体上任一像素点在待处理图像中的位置信息和该任一像素点在正投影图像中的位置信息也具有相同的转换关系,进而能够基于转换关系信息,将待处理图像转换为正视投影图像,减少了待处理图像可能存在的透视畸变,降低由于透视畸变造成的图像处理结果的误差。
参见图4所示,本公开实施例还提供另一种图像处理方法,包括:
S401:获取待处理图像;所述待处理图像中包括二维码以及目标物体;其中,所述二维码所在平面与所述目标物体的目标面所在平面之间的角度小于预设角度阈值。
S402:确定所述二维码上的关键点在所述待处理图像中的第一位置信息,以及所述关键点在所述二维码对应的正视图中的第二位置信息。
S403:确定所述第一位置信息与所述第二位置信息之间的转换关系信息。
S404:基于所述转换关系信息,将所述待处理图像变换为正视投影图像。
其中,S401~S404的具体实施方式与上述图1对应的实施例类似,在此不再赘述。
S405:识别所述二维码中的二维码信息;所述二维码信息包括:目标物体的预设包围框的第一预设位置与所述二维码上的第二预设位置之间的位置关系信息,以及所述预设包围框与所述二维码的尺寸关系信息。
S406:基于所述位置关系信息以及所述尺寸关系信息,确定所述目标物体在所述正视投影图像中的位置信息。
在具体实施中,目标物体的预设包围框是预先设置的确定目标物体位置的框,框内通常包括整个目标物体。该预设包围框可以是如图5所示的最小包围框,该最小包围框的边线与目标物体的边缘轮廓之间的差距小于某个阈值,或者部分重合,从而可以更准确的定位目标物体的位置。目标物体的预设包围框的第一预设位置可以为预设包围框上任一点;例如,若预设包围框为多边形,则该第一预设位置例如为多边形上任一顶点;若预设包围框为圆形,该第一预设位置例如为圆形的圆心;若预设包围框为椭圆形,则第一预设位置例如为椭圆形的任一焦点。
二维码上的第二预设位置,例如为二维码的任一顶点,或者所述二维码上任一关键点。示例性的,由于在前边步骤中已经得到二维码中关键点的位置,可以将任一个关键点作为第二预设位置。示例性的,第二预设位置的位置信息,例如是第二预设位置对应的像素点在正投影图像中的坐标值;在第二预设位置确定的情况下,第二预设位置在待处理图像中的坐标值能够从正投影图像中读出,然后基于该坐标值以及第一预设位置和第二预设位置之间的位置关系信息,确定第一预设位置在正视投影图像中所对应的像素点。
由于二维码上的关键点或者顶点能够直接从二维码中识别出来,进而能够确定第二位置信息在正视投影图像中的具体坐标。
第一预设位置和第二预设位置之间的位置关系信息,例如包括在基于正视投影图像建立的直角坐标系中,从第二预设位置指向第一预设位置的向量。该向量例如包括:第一预设位置和第二预设位置在x轴上的距离,以及在y轴上的距离。之后根据该向量和确定的第二位置信息,则可以计算得到第一预设位置。
预设包围框的形状是预先确定好的,且二维码的边缘通常情况下为正方形,则预设包围框与所述二维码的尺寸关系信息,例如可以为预设包围框的各条边与二维码之间的尺寸比例。
示例性的,预设包围框可以是多边形、圆形、椭圆形等。
例如,预设包围框为多边形的情况下,该尺寸关系信息包括多边形的每条边与二维码的边长比;在预设包围框为圆形的情况下,该尺寸信息包括圆形的半径与二维码的边长比;在预设包围框为椭圆形的情况下,该尺寸信息例如包括椭圆的长轴、短轴分别和二维码的边长比。
基于该尺寸关系信息,以及构成二维码的边的像素点的数量,能够确定分别构成预设包围框的各边的像素点的数量和/或位置。
然后基于该数量和/或位置,以及第一预设位置对应的像素点,从正视投影图像中确定位于预设包围框内部的所有像素点,最终基于确定的位于预设包围框内部的所有像素点,从而确定目标物体在正投影视图中的位置信息。
示例性的,如图5所示,预设包围框选用最小包围框,二维码与预设包围框的示例中,二维码为与预设包围框的左上角,假设二维码的实际宽度为D,预设包围框的形状为矩形,且预设包围框的长边与以正视投影视图建立的坐标系中的x轴平行,预设包围框的短边与正视投影视图建立的坐标系中的y轴平行,矩形的长边长度为二维码宽度的n倍,矩形的短边长度为二维码宽度的m倍,则预设包围框与二维码的尺寸关系信息为:a=n×D;b=m×D,其中,a为预设包围框的长边的实际长度;b为预设包围框的短边的实际长度。
在正视图中,构成二维码的边的像素点的数量为s,则每一像素点表征的实际宽度为:D÷s。
构成预设包围框的长边的像素点的数量满足:n×D÷s;构成预设包围框的短边的像素点的数量满足m×D÷s。
若第一预设位置在预设包围框的上最靠近二维码的顶点上,对应的像素点在正视投影视图中的坐标为(u,v),基于该第一预设位置的坐标,以及构成预设包围框的长边的像素点的数量,则:
预设包围框上包含第一预设位置的长边在正视投影视图中的起点像素点坐标为:(u,v),终点像素点坐标为:(u+n×D÷s,v);
预设包围框上包含第一预设位置的短边在正视投影视图中的起点像素点坐标为:(u,v),终点像素点坐标为:(u,v+m×D÷s);
预设包围框上不包含第一预设位置的长边在正视投影视图中的起点像素点坐标为:(u,v+m×D÷s),终点像素点坐标为:(u+n×D÷s,v+m×D÷s);
预设包围框上不包含第一预设位置的短在正视投影视图中的起点像素点坐标为:(u+n×D÷s,v),终点像素点坐标为:(u+n×D÷s,v+m×D÷s)。
最终基于确定的上述4个像素点,可以确定在正视投影图像中目标物体的位置信息,例如直接将包围框的顶点作为目标物体的位置信息,也可以将包围框的中心点作为目标物体的位置信息等。确定目标物体的位置信息后,还可以从正视投影图像中截取目标物体,得到目标物体正视图像。
需要注意的是,上述基于距离以及尺寸关系信息,从正视投影图像中截取目标物体,得到目标物体正视图像的过程,仅仅为一示例;针对二维码与预设包围框的其他形状,有其他针对性的确定过程。
在得到目标物体的位置信息和/或目标物体正视图像后,就能够基于目标物体的位置信息和/或该目标物体正视图像,执行图像处理任务。示例性的,图像处理任务例如包括:仪表数据读取任务、目标识别任务、信息读取任务、文字转换任务、车牌识别任务等等。
在另一实施例中,在二维码信息中,还包括:目标物体类别。则基于所述目标物体的位置信息和/或目标物体正视图像,执行图像处理任务,包括:
基于所述目标物体的位置信息和/或目标物体正视图像、以及与所述目标物体类别对应的处理方法,执行所述图像处理任务。
示例性的,例如在执行仪表数据读取任务时,针对不同类别的仪表,由于仪表的仪表盘中指针与刻度的分布不同,因此需要针对每种仪表设定不同的处理方法。在读取二维码信息时,会读取仪表类别,然后基于与仪表类别对应的处理方法,识别仪表所指示的仪表数据。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与图像处理方法对应的图像处理装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像处理方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图6所示,为本公开实施例提供的一种图像处理装置的示意图,所述装置包括:
获取模块61,用于获取待处理图像;所述待处理图像中包括二维码以及目标物体;所述二维码所在平面与所述目标物体的目标面所在平面之间的角度小于预设角度阈值;
确定模块62,用于确定所述二维码上的关键点在所述待处理图像中的第一位置信息,以及所述关键点在所述二维码对应的正视图中的第二位置信息;
解算模块63,用于确定所述第一位置信息与所述第二位置信息之间的转换关系信息;
转换模块64,用于基于所述转换关系信息,将所述待处理图像变换为正视投影图像。
一种可能的实施方式中,所述确定模块62,在确定所述二维码上的关键点在所述待处理图像中的第一位置信息,以及所述关键点在所述二维码对应的正视图中的第二位置信息时,用于:
识别所述二维码中的定位图形;
从所述定位图形中选择多个像素点分别作为所述关键点,并将所述多个像素点中每个像素点在所述待处理图像中的第一坐标信息,确定为与该像素点对应的关键点在所述待处理图像中的第一位置信息,以及,将该像素点在所述正视图中的第二坐标信息,确定为与该像素点对应的关键点在所述正视图中的第二位置信息。
一种可能的实施方式中,所述转换关系信息包括:用于将所述待处理图像中每个像素点投影至所述正视投影图像中的目标投影矩阵。
一种可能的实施方式中,所述解算模块63,在确定所述第一位置信息与所述第二位置信息之间的转换关系信息时,用于:
从所述二维码对应的多个所述关键点中确定至少一个关键点组;根据所述至少一个关键点组中的每个关键点分别对应的所述第一坐标信息和所述第二坐标信息,确定所述目标投影矩阵;其中,所述目标投影矩阵在与所述第一坐标信息对应的第一坐标矩阵相乘后,得到所述第二坐标信息对应的第二坐标矩阵。
一种可能的实施方式中,所述关键点组包括多个的情况下,所述解算模块63,在确定所述目标投影矩阵时,用于:根据所述各个关键点组中每个关键点的第一位置信息和第二位置信息,确定与该关键点组对应的投影矩阵;基于各个关键点组分别对应的投影矩阵,确定所述目标投影矩阵。
一种可能的实施方式中,针对所述关键点组包括多个的情况下,所述解算模块63,在从所述二维码对应的多个所述关键点中确定多个关键点组时,用于:从所述多个关键点中确定多个目标关键点;将多个所述目标关键点交叉分组,构成所述多个关键点组;其中,每个所述关键点组中包括四个目标关键点,且每一关键点组中至少一个目标关键点被包括在至少一个其他关键点组中。
一种可能的实施方式中,所述解算模块63,在基于所述各个关键点组对应的投影矩阵,确定所述目标投影矩阵时,用于:
根据所述各个关键点组对应的投影矩阵,得到多个所述投影矩阵中对应位置元素的元素平均值或者众数;
将多个所述投影矩阵中对应位置元素的元素平均值或者众数,确定为所述目标投影矩阵中对应位置元素的元素值。
一种可能的实施方式中,还包括:目标物体位置确定模块65,用于:识别所述二维码中的二维码信息;所述二维码信息包括:目标物体的预设包围框的第一预设位置与所述二维码上的第二预设位置之间的位置关系信息,以及所述预设包围框与所述二维码的尺寸关系信息;基于所述位置关系信息以及所述尺寸关系信息,确定所述目标物体在所述正视投影图像中的位置信息。
一种可能的实施方式中,还包括:处理模块66,用于:
基于所述目标物体在所述正视投影图像中的位置信息,对所述目标物体,执行图像处理任务。
一种可能的实施方式中,所述二维码信息还包括:目标物体类别;
所述处理模块66,在基于所述目标物体在所述正视投影图像中的位置信息,对所述目标物体,执行图像处理任务时,用于:基于所述目标物体在所述正视投影图像中的位置信息、以及与所述目标物体类别对应的处理方法,执行所述图像处理任务。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
本公开实施例还提供了一种计算机设备10,如图7所示,为本公开实施例提供的计算机设备10结构示意图,包括:
相互连接的处理器11和存储器12,所述存储器12存储有所述处理器11可执行的机器可读指令,当计算机设备运行时,所述机器可读指令被所述处理器执行以实现下述步骤:
获取待处理图像;所述待处理图像中包括二维码以及目标物体;其中,所述二维码所在平面与所述目标物体的目标面所在平面之间的角度小于预设角度阈值;
确定所述二维码上的关键点在所述待处理图像中的第一位置信息,以及所述关键点在所述二维码对应的正视图中的第二位置信息;
确定所述第一位置信息与所述第二位置信息之间的转换关系信息;
基于所述转换关系信息,将所述待处理图像变换为正视投影图像。
一种可能的实施方式中,处理器11执行的指令中,所述确定所述二维码上的关键点在所述待处理图像中的第一位置信息,以及所述关键点在所述二维码对应的正视图中的第二位置信息,包括:
识别所述二维码中的定位图形;
从所述定位图形中选择多个像素点分别作为所述关键点,并将所述多个像素点中每个像素点在所述待处理图像中的第一坐标信息,确定为与该像素点对应的关键点在所述待处理图像中的第一位置信息,以及,将该像素点在所述正视图中的第二坐标信息,确定为与该像素点对应的关键点在所述正视图中的第二位置信息。
一种可能的实施方式中,处理器11执行的指令中,所述转换关系信息包括:用于将所述待处理图像中每个像素点投影至所述正视投影图像中的目标投影矩阵。
一种可能的实施方式中,处理器11执行的指令中,所述确定所述第一位置信息与所述第二位置信息之间的转换关系信息,包括:
从所述二维码对应的多个所述关键点中确定至少一个关键点组;
根据所述至少一个关键点组中的每个关键点分别对应的所述第一坐标信息和所述第二坐标信息,确定所述目标投影矩阵;其中,所述目标投影矩阵在与所述第一坐标信息对应的第一坐标矩阵相乘后,得到所述第二坐标信息对应的第二坐标矩阵。
一种可能的实施方式中,处理器11执行的指令中,所述关键点组包括多个的情况下,所述确定所述目标投影矩阵,包括:
根据所述各个关键点组中每个关键点的第一位置信息和第二位置信息,确定与该关键点组对应的投影矩阵;
基于各个关键点组分别对应的投影矩阵,确定所述目标投影矩阵。
一种可能的实施方式中,处理器11执行的指令中,针对所述关键点组包括多个的情况下,从所述二维码对应的多个所述关键点中确定多个关键点组,包括:
从所述多个关键点中确定多个目标关键点;将多个所述目标关键点交叉分组,构成所述多个关键点组;
其中,每个所述关键点组中包括四个目标关键点,且每一关键点组中至少一个目标关键点被包括在至少一个其他关键点组中。
一种可能的实施方式中,处理器11执行的指令中,所述基于各个关键点组分别对应的投影矩阵,确定所述目标投影矩阵,包括:
根据所述各个关键点组对应的投影矩阵,得到多个所述投影矩阵中对应位置元素的元素平均值或者众数;
将多个所述投影矩阵中对应位置元素的元素平均值或者众数,确定为所述目标投影矩阵中对应位置元素的元素值。
一种可能的实施方式中,处理器11执行的指令中,还包括:
识别所述二维码中的二维码信息;所述二维码信息包括:目标物体的预设包围框的第一预设位置与所述二维码上的第二预设位置之间的位置关系信息,以及所述预设包围框与所述二维码的尺寸关系信息;
基于所述位置关系信息以及所述尺寸关系信息,确定所述目标物体在所述正视投影图像中的位置信息。
一种可能的实施方式中,处理器11执行的指令中,还包括:
基于所述目标物体在所述正视投影图像中的位置信息,对所述目标物体,执行图像处理任务。
一种可能的实施方式中,处理器11执行的指令中,所述二维码信息还包括:目标物体类别;
所述基于所述目标物体在所述正视投影图像中的位置信息,对所述目标物体,执行图像处理任务,包括:
基于所述目标物体在所述正视投影图像中的位置信息、以及与所述目标物体类别对应的处理方法,执行所述图像处理任务。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的图像处理方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的图像处理方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的图像处理方法的步骤,具体可参见上述方法实施例,在此不再赘述。
本公开实施例还提供一种计算机程序,该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software DevelopmentKit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
Claims (13)
1.一种图像处理方法,其特征在于,包括:
获取待处理图像;所述待处理图像中包括二维码以及目标物体;其中,所述二维码所在平面与所述目标物体的目标面所在平面之间的角度小于预设角度阈值;
确定所述二维码上的关键点在所述待处理图像中的第一位置信息,以及所述关键点在所述二维码对应的正视图中的第二位置信息;
确定所述第一位置信息与所述第二位置信息之间的转换关系信息;
基于所述转换关系信息,将所述待处理图像变换为正视投影图像。
2.根据权利要求1所述的图像处理方法,其特征在于,所述确定所述二维码上的关键点在所述待处理图像中的第一位置信息,以及所述关键点在所述二维码对应的正视图中的第二位置信息,包括:
识别所述二维码中的定位图形;
从所述定位图形中选择多个像素点分别作为所述关键点,并将所述多个像素点中每个像素点在所述待处理图像中的第一坐标信息,确定为与该像素点对应的关键点在所述待处理图像中的第一位置信息,以及,将该像素点在所述正视图中的第二坐标信息,确定为与该像素点对应的关键点在所述正视图中的第二位置信息。
3.根据权利要求1或2所述的图像处理方法,其特征在于,所述转换关系信息包括:用于将所述待处理图像中每个像素点投影至所述正视投影图像中的目标投影矩阵。
4.根据权利要求3所述的图像处理方法,其特征在于,所述确定所述第一位置信息与所述第二位置信息之间的转换关系信息,包括:
从所述二维码对应的多个所述关键点中确定至少一个关键点组;
根据所述至少一个关键点组中的每个关键点分别对应的所述第一坐标信息和所述第二坐标信息,确定所述目标投影矩阵;其中,所述目标投影矩阵在与所述第一坐标信息对应的第一坐标矩阵相乘后,得到所述第二坐标信息对应的第二坐标矩阵。
5.根据权利要求4所述的图像处理方法,其特征在于,所述关键点组包括多个的情况下,所述确定所述目标投影矩阵,包括:
根据所述各个关键点组中每个关键点的第一位置信息和第二位置信息,确定与该关键点组对应的投影矩阵;
基于各个关键点组分别对应的投影矩阵,确定所述目标投影矩阵。
6.根据权利要求4或5所述的图像处理方法,其特征在于,针对所述关键点组包括多个的情况下,从所述二维码对应的多个所述关键点中确定多个关键点组,包括:
从所述多个关键点中确定多个目标关键点;将多个所述目标关键点交叉分组,构成所述多个关键点组;
其中,每个所述关键点组中包括四个目标关键点,且每一关键点组中至少一个目标关键点被包括在至少一个其他关键点组中。
7.根据权利要求5或6所述的图像处理方法,其特征在于,所述基于各个关键点组分别对应的投影矩阵,确定所述目标投影矩阵,包括:
根据所述各个关键点组对应的投影矩阵,得到多个所述投影矩阵中对应位置元素的元素平均值或者众数;
将多个所述投影矩阵中对应位置元素的元素平均值或者众数,确定为所述目标投影矩阵中对应位置元素的元素值。
8.根据权利要求1-7任一项所述的图像处理方法,其特征在于,还包括:
识别所述二维码中的二维码信息;所述二维码信息包括:目标物体的预设包围框的第一预设位置与所述二维码上的第二预设位置之间的位置关系信息,以及所述预设包围框与所述二维码的尺寸关系信息;
基于所述位置关系信息以及所述尺寸关系信息,确定所述目标物体在所述正视投影图像中的位置信息。
9.根据权利要求8所述的图像处理方法,其特征在于,还包括:
基于所述目标物体在所述正视投影图像中的位置信息,对所述目标物体执行图像处理任务。
10.根据权利要求9所述的图像处理方法,其特征在于,所述二维码信息还包括:目标物体类别;
所述基于所述目标物体在所述正视投影图像中的位置信息,对所述目标物体执行图像处理任务,包括:
基于所述目标物体在所述正视投影图像中的位置信息、以及与所述目标物体类别对应的处理方法,执行所述图像处理任务。
11.一种图像处理装置,其特征在于,包括:
获取模块,用于获取待处理图像;所述待处理图像中包括二维码以及目标物体;其中,所述二维码所在平面与所述目标物体的目标面所在平面之间的角度小于预设角度阈值;
确定模块,用于确定所述二维码上的关键点在所述待处理图像中的第一位置信息,以及所述关键点在所述二维码对应的正视图中的第二位置信息;
解算模块,用于确定所述第一位置信息与所述第二位置信息之间的转换关系信息;
转换模块,用于基于所述转换关系信息,将所述待处理图像变换为正视投影图像。
12.一种计算机设备,其特征在于,包括:相互连接的处理器和存储器,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述机器可读指令被所述处理器执行以实现如权利要求1至10任一所述的图像处理方法。
13.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至10任意一项所述的图像处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010174910.7A CN111415307B (zh) | 2020-03-13 | 2020-03-13 | 一种图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010174910.7A CN111415307B (zh) | 2020-03-13 | 2020-03-13 | 一种图像处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111415307A true CN111415307A (zh) | 2020-07-14 |
CN111415307B CN111415307B (zh) | 2024-03-26 |
Family
ID=71494363
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010174910.7A Active CN111415307B (zh) | 2020-03-13 | 2020-03-13 | 一种图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111415307B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113597535A (zh) * | 2021-06-25 | 2021-11-02 | 闻泰科技(深圳)有限公司 | 基于图像的测距方法、装置和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105046184A (zh) * | 2015-07-22 | 2015-11-11 | 福建新大陆自动识别技术有限公司 | 基于畸变图像校正的二维码解码方法和系统 |
CN109089093A (zh) * | 2018-08-29 | 2018-12-25 | 歌尔股份有限公司 | 图像处理方法、装置和设备 |
WO2019105044A1 (zh) * | 2017-11-28 | 2019-06-06 | 东莞市普灵思智能电子有限公司 | 一种镜头畸变矫正和特征提取的方法及系统 |
CN110660034A (zh) * | 2019-10-08 | 2020-01-07 | 北京迈格威科技有限公司 | 图像校正方法、装置及电子设备 |
-
2020
- 2020-03-13 CN CN202010174910.7A patent/CN111415307B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105046184A (zh) * | 2015-07-22 | 2015-11-11 | 福建新大陆自动识别技术有限公司 | 基于畸变图像校正的二维码解码方法和系统 |
WO2019105044A1 (zh) * | 2017-11-28 | 2019-06-06 | 东莞市普灵思智能电子有限公司 | 一种镜头畸变矫正和特征提取的方法及系统 |
CN109089093A (zh) * | 2018-08-29 | 2018-12-25 | 歌尔股份有限公司 | 图像处理方法、装置和设备 |
CN110660034A (zh) * | 2019-10-08 | 2020-01-07 | 北京迈格威科技有限公司 | 图像校正方法、装置及电子设备 |
Non-Patent Citations (1)
Title |
---|
曹天扬 等: "基于图像透视畸变自动校正的仪表判读方法", 《计量技术》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113597535A (zh) * | 2021-06-25 | 2021-11-02 | 闻泰科技(深圳)有限公司 | 基于图像的测距方法、装置和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111415307B (zh) | 2024-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102833460B (zh) | 图像处理方法、图像处理设备及扫描仪 | |
KR101986037B1 (ko) | 실시간 가상 장면에서 원통형 충돌기와 볼록형 바디 간의 충돌을 검출하기 위한 방법, 및 단말, 및 저장 매체 | |
CN109544623B (zh) | 车辆损伤区域的测量方法和装置 | |
CN107169981B (zh) | 一种道砟颗粒三维廓形的检测方法及装置 | |
CN110276774B (zh) | 物体的绘图方法、装置、终端和计算机可读存储介质 | |
CN111681284A (zh) | 一种角点检测方法、装置、电子设备及存储介质 | |
CN114387347B (zh) | 确定外参标定的方法、装置、电子设备及介质 | |
CN111709999A (zh) | 标定板、相机标定方法、装置、电子设备及相机系统 | |
CN112556994A (zh) | 一种光学信息检测方法、装置及设备 | |
CN112907746A (zh) | 电子地图的生成方法、装置、电子设备及存储介质 | |
CN116168143A (zh) | 一种多视图三维重建的方法 | |
CN111415307A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN111882596B (zh) | 结构光模组三维成像方法、装置、电子设备以及存储介质 | |
Gong et al. | High-precision calibration of omnidirectional camera using an iterative method | |
CN111401377A (zh) | 一种仪表数据读取方法、装置、电子设备及存储介质 | |
CN113077523A (zh) | 一种标定方法、装置、计算机设备及存储介质 | |
CN112767412A (zh) | 车辆部件级分割方法、装置以及电子设备 | |
CN112150522A (zh) | 遥感图像的配准方法、装置、设备、存储介质及系统 | |
Climer et al. | Local lines: A linear time line detector | |
CN110673114A (zh) | 校准三维相机深度的方法、装置、计算机装置及存储介质 | |
CN115713564A (zh) | 相机标定方法及装置 | |
CN114744721A (zh) | 一种机器人的充电控制方法、终端设备及存储介质 | |
CN113191963A (zh) | 一种无需附加操作的投影仪残余畸变全场标定方法及装置 | |
CN113222997A (zh) | 神经网络的生成、图像处理方法、装置、电子设备及介质 | |
CN113160405A (zh) | 点云地图的生成方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |