CN113361553B - 图像处理方法、图像处理装置、存储介质和系统 - Google Patents

Abstract

本发明提供一种图像处理方法、装置、存储介质和系统，该方法包括：设置步骤，为被测物创建多个模板，并设置模板的多个参数阈值；计算步骤，获取安装后的所述被测物的图像，计算每个模板相对于所述图像的匹配参数，并根据所述图像计算所述被测物的真实参数；选取步骤，根据所述每个模板的所述匹配参数、所述真实参数、以及所述多个参数阈值，从所述多个模板中选取最终模板，并确定最终参数；确定步骤，根据所述最终模板和所述最终参数，确定所述被测物是否安装正确。通过本发明，可以准确地确定(判断)安装后的被测物是否安装准确。

Description

图像处理方法、图像处理装置、存储介质和系统

技术领域

本发明涉及图像处理方法、图像处理装置、存储介质和系统。

背景技术

在工业生产自动化中，需要检测同一个零件在多个位置是否安装正确，包括是否使用了有缺陷零件，是否错误地安装了其他近似的零件，是否安装方法错误造成零件镜像或翻转等。对于以上需要，通常建立一套多模板，在多个位置使用相同方法匹配。通过匹配百分比最高的模板来判断结果。

但是模板图片之间差别较小，而被测物图片与应匹配的模板图片差别较大的情况时有发生，这种情况下会发生误检，因此对于一般的立体的有旋转的被测物不适用。

目前的方法会因被测物的立体旋转、相机拍摄角度不同、镜头畸变、光源中心边缘亮度不一致等因素造成被测物图片与应匹配的模板图片差别较大的情况，同时会因为无缺陷零件与有缺陷零件差别小，正确的零件与错误的零件差别小，零件的正面与反面差别小等因素造成模板图片之间差别较小的情况。利用模板匹配并不能准确找到被测物位置和角度，存在一定偏差，甚至结果完全相反。仅仅利用多模板匹配，选取匹配百分数最高的结果进行判断，会有误检出的问题。

申请号201710056968.X的专利申请中，利用了多模板匹配进行图像识别。然而，立体的有旋转被测物在使用多模板匹配时因为被测物图片与应匹配的模板图片差别较大，模板图片之间差别较小，所以利用匹配百分比最高的模板进行判断仍会有误检出的问题。

发明内容

为了解决上述问题，本发明提供了一种图像处理方法，该方法包括：

设置步骤，为被测物创建多个模板，并设置模板的多个参数阈值；

计算步骤，获取安装后的所述被测物的图像，计算每个模板相对于所述图像的匹配参数，并根据所述图像计算所述被测物的真实参数；

选取步骤，根据所述每个模板的所述匹配参数、所述真实参数、以及所述多个参数阈值，从所述多个模板中选取最终模板，并确定最终参数；

确定步骤，根据所述最终模板和所述最终参数，确定所述被测物是否安装正确。

其中，所述设置步骤进一步包括：计算所述每个模板的特征参数，设置所述特征参数的特征参数阈值，并且设置模板相对于所述被测物的匹配参数的匹配参数阈值；

其中，所述多个参数阈值包括所述特征参数阈值和所述匹配参数阈值。

其中，所述匹配参数包括匹配角度、匹配百分比、匹配中心坐标，所述真实参数包括真实特征参数和真实中心坐标。

其中，所述选取步骤进一步包括：

将所述每个模板的所述匹配参数与所述匹配参数阈值进行比较，以便从所述多个模板中取出第一部分模板；

将所述真实特征参数与所述特征参数阈值进行比较，以便从所述第一部分模板中取出第二部分模板；

将所述真实中心坐标与所述第二部分模板各自的匹配中心坐标进行比较，以便从所述第二部分模板中取出第三部分模板；

将所述第三部分模板中所述匹配百分比最高的模板取出，作为所述最终模板。

其中，所述选取步骤进一步包括：

将所述每个模板的匹配角度与所述匹配参数阈值中的匹配角度阈值进行比较，以便从所述多个模板中取出第四部分模板；

根据所述第四部分模板各自的匹配角度，确定所述最终参数；

其中，所述最终参数是最终匹配角度。

其中，所述设置步骤进一步包括：针对所述被测物，设置所述每个模板的基准匹配角度，

其中，在所述确定步骤中，将所述最终匹配角度与所述最终模板的所述基准匹配角度进行比较，以确定所述被测物是否安装正确。

其中，所述特征参数是模板中的被测物与参考物之间的多个相对参数，所述真实特征参数是所述图像中的被测物与参考物之间的多个真实相对参数。

本发明进一步提供了一种图像处理装置，该装置包括：

设置单元，为被测物创建多个模板，并设置模板的多个参数阈值；

计算单元，获取安装后的所述被测物的图像，计算每个模板相对于所述图像的匹配参数，并根据所述图像计算所述被测物的真实参数；

选取单元，根据所述每个模板的所述匹配参数、所述真实参数、以及所述多个参数阈值，从所述多个模板中选取最终模板，并确定最终参数；

确定单元，根据所述最终模板和所述最终参数，确定所述被测物是否安装正确。

本发明进一步提供了一种计算机可读的存储介质，所述存储介质具有存储在其中的指令，当所述指令被执行时，使得所述计算机执行上述图像处理方法。

本发明进一步提供了一种系统，包括：

存储器，用于存储由系统的一个或多个处理器执行的指令，以及

处理器，用于执行上述图像处理方法。

通过本发明，可以准确地确定(判断)安装后的被测物是否安装准确。

附图说明

图1示出了根据本发明实施例的进行图像处理的系统的框图；

图2示出了根据本发明实施例的图像处理装置的结构图；

图3示出了根据本发明实施例的图像处理方法的流程图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。虽然本发明的描述将结合较佳实施例一起介绍，但这并不代表此发明的特征仅限于该实施方式。恰恰相反，结合实施方式作发明介绍的目的是为了覆盖基于本发明的权利要求而有可能延伸出的其它选择或改造。为了提供对本发明的深度了解，以下描述中将包含许多具体的细节。本发明也可以不使用这些细节实施。此外，为了避免混乱或模糊本发明的重点，有些具体细节将在描述中被省略。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

应注意的是，在本说明书中，相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

术语“第一”、“第二”等仅用于区分描述，不表示任何顺序，不能理解为指示或暗示相对重要性。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明所提供的实施方式可以在移动终端、计算机终端、或者类似的运算装置(如ECU(Electronic Control Unit，电子控制单元))、系统中执行。以运行在系统为例，图1是根据本发明实施例的进行图像处理的系统的硬件结构框图。如图1所示，系统100可以包括一个或多个(图中仅示出一个)处理器101(处理器101可以包括但不限于中央处理器CPU、图像处理器GPU、数字信号处理器DSP、微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于与用户交互的输入输出接口102、用于存储数据的存储器103、以及用于通信功能的传输装置104。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，系统100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

输入输出接口102可以连接一个或多个显示器、触控屏等，用于显示从系统100传送的数据，还可以连接键盘、触控笔、触控板和/或鼠标等，用于输入诸如，选择、创建、编辑等的用户指令。

存储器103可用于存储应用软件的软件程序以及模块，例如与本发明实施方式中的图像处理方法对应的程序指令/模块，处理器101通过运行存储在存储器103内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的在多个负载均衡器之间进行会话同步的方法。存储器103可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器103可进一步包括相对于处理器101远程设置的存储器，这些远程存储器可以通过网络连接至系统100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置104用于经由一个网络接收或者发送数据。上述的网络具体实例可包括系统100的通信供应商提供的互联网。在上述运行环境下，本发明提供了图像处理方法的流程图。

图2示出了根据本发明实施例的图像处理装置20的结构图。如图2所示，图像处理装置20包括设置单元201、计算单元202、选取单元203、确定单元204。图3示出了根据本发明实施例的图像处理方法的流程图。下面结合图2、图3进行详细说明。

在步骤S31，设置单元201为被测物创建多个模板，并设置模板的多个参数阈值。被测物是要进行安装的零件，例如插销式扎带等。本发明中，模板指的是归一化互相关性模板(NCC模板)，且模板是用灰度图像通过算法创建的信息集合。模板的创建过程和现有技术相同，例如对正确的被测物和错误的被测物立体多角度拍摄，从而建立基于相关性的多个模板。本实施例，例如，针对插销式扎带创建了8个模板。

设置单元201进一步利用二值化、形态学分析、特征选择等算法，计算每个模板的特征参数，并设置特征参数的特征参数阈值。

其中，模板的特征参数指的是模板中的被测物与参考物之间的多个相对参数，参考物是被测物的安装目标或目标上的一部分(例如，电线等)。多个相对参数例如是被测物遮挡参考物的最小长度a、被测物到参考物的最大距离b等等。本实施例中，仅以相对参数a、b进行说明，并且显然，相对参数的数量可以是任意个，而不受限制。

例如，可以计算出模板1的相对参数a1、b1，模板2的相对参数a2、b2，……模板8的相对参数a8、b8。接着，根据参数a1-a8，可以设置参数a的阈值，例如取a1-a8的中间值a0作为a的阈值，用于将a1-a8进行划分到2个区域。例如，a1-a4都小于a0，a5-a8都大于a0。同样，根据参数b1-b8，可以设置参数b的阈值，例如b0，用于将b1-b8进行划分。例如，b1-b4都小于b0，b5-b8都大于b0。另外，每个相对参数的阈值的数量也不受限制，可以是多个，例如，将参数b1-b8划分到多个区域中。

此外，设置单元201还设置模板相对于被测物的匹配参数的匹配参数阈值。其中，匹配参数包括模板相对于被测物的匹配角度、匹配百分比、匹配中心坐标等等，本实施例中，仅以匹配角度、匹配百分比、匹配中心坐标进行具体说明，并且显然，匹配参数的数量可以是任意个，而不受限制。本发明中，例如设置了匹配角度阈值c0、匹配百分比阈值d0、匹配中心坐标阈值(x0，y0)等等。

如此，模板的多个参数阈值包括上述多个相对参数阈值a0、b0和多个匹配参数阈值c0、d0、(x0，y0)等等。

进一步，设置单元201针对该被测物设置每个模板的基准匹配角度。本发明中，例如针对插销式扎带，设置8个模板各自的基准匹配角度，例如将模板1的基准匹配角度设置为90°，表示在模板1中，插销式扎带的正确安装角度为90°。类似的，将模板2的基准匹配角度设置为270°，以此类推。

在步骤S32，计算单元202获取安装后的被测物的图像，计算每个模板相对于图像的匹配参数，并根据图像计算被测物的真实参数。

例如，利用相机(图未视)采集安装后的被测物的图像，计算单元202从相机获取该图像，并将其转换成灰度图像，然后计算每个模板相对于该灰度图像的匹配参数。例如，利用模板已知的匹配算子，将每个模板和灰度图像进行卷积计算，计算出每个模板相对于该灰度图像的匹配参数(匹配角度，匹配百分比，匹配中心坐标等)。例如，计算出模板1的匹配角度c1，匹配百分比d1，匹配中心坐标(x1，y1)，计算出模板2的匹配角度c2，匹配百分比d2，匹配中心坐标(x2，y2)，以此类推。

此外，计算单元202对上述灰度图像进行例如二值化、开闭运算、拟合等处理，从而获得安装后的被测物的真实参数。其中，真实参数包含安装后的被测物的真实特征参数和真实中心坐标(xr，yr)，真实中心坐标(xr，yr)表示安装后的被测物的实际位置。

这里，灰度图像包含真实被测物(即，实际安装的被测物)和真实参考物，真实特征参数指的是真实被测物与真实参考物之间的多个真实相对参数。这些真实相对参数例如是真实被测物遮挡真实参考物的最小长度ar、真实被测物到真实参考物的最大距离br等等。

在步骤S33，选取单元203根据每个模板的匹配参数、上述真实参数、以及上述多个参数阈值，从8个模板中选取最终模板，并确定最终参数。

具体的，选取单元203将每个模板的匹配参数与匹配参数阈值进行比较，以便从8个模板中取出第一部分模板。也就是说，将每个模板的匹配角度、匹配百分比、匹配中心坐标分别与匹配角度阈值c0、匹配百分比阈值d0、匹配中心坐标阈值(x0，y0)进行比较。例如，当某个模板的匹配角度、匹配百分比、匹配中心坐标阈值分别大于等于各自匹配角度阈值c0、匹配百分比阈值d0、匹配中心坐标阈值(x0，y0)时，将该模板取出，作为第一部分模板，本实施例中，第一部分模板例如有模板4-8。

接着，将上述各个真实特征参数与上述各个特征参数阈值进行比较，以便从第一部分模板(例如模板4-8)中取出第二部分模板。

具体的，将真实特征参数ar、br分别与各自对应的特征参数阈值a0、b0进行比较。例如，如果ar大于a0，且br大于b0，那么根据步骤S31设置并划分的模板5-8的a5-a8都大于a0、模板5-8的b5-b8都大于b0，可以从模板4-8中取出模板5-8作为第二部分模板。

接着，将真实中心坐标(xr，yr)与模板5-8各自的匹配中心坐标进行比较，以便从模板5-8中取出第三部分模板。

具体的，针对模板5，计算真实中心坐标(xr，yr)与模板5的匹配中心坐标(x5，y5)之间的距离，当该距离小于等于预设的距离阈值时，则取出模板5。接着，针对模板6-8进行类似的比较，例如，最终取出了模板5和模板6作为第三部分模板。

另一方面，如果从模板5-8中没有取出任一个模板，即第三部分模板不存在，那么返回步骤S32，利用相机重新采集安装后的被测物的图像。例如，保持相机与安装后的被测物之间的拍摄距离不变，按步进距离移动相机，从而以改变的角度重新采集安装后的被测物的图像，使得计算单元202获取重新采集到的图像，并继续后续操作。也就是说，在第三部分模板存在的情况下，可以确定以下所述的最终模板。

本发明中的匹配中心坐标是假定的坐标，如果某个模板的匹配中心坐标和真实中心坐标之间的距离大于上述距离阈值(例如模板7，8)，则说明模板7，8覆盖的区域与真实被测物覆盖的区域重叠的很少或是一种错位的重叠，因此从模板5-8中排除了模板7、8。

接着，将模板5、6中匹配百分比最高的模板取出，作为最终模板。例如模板5的匹配百分比b5大于模板6的匹配百分比b6，那么就将模板5作为最终模板。

此外，选取单元203将每个模板的匹配角度与匹配参数阈值中的匹配角度阈值进行比较，以便从8个模板中取出第四部分模板。

具体的，将模板1的匹配角度c1与匹配角度阈值c0进行比较，当c1大于等于c0时，则取出模板1，否则不取出模板1。针对模板2-8，按照类似的方式进行比较。例如，最后取出模板3-8作为第四部分模板。

接着，根据第四部分模板(即，模板3-8)各自的匹配角度，按照统计方法，确定最终参数。

具体的，根据被测物的正确安装方向(或角度)，设置用于该被测物的多个参考角度，例如设置了2个参考角度：第一参考角度90°和第二参考角度270°。另外，例如，如上计算出的，模板3-8各自的匹配角度是c3-c8，统计c3-c8中接近第一参考角度90°的匹配角度的数量n1，并统计c3-c8中接近第二参考角度270°的匹配角度的数量n2。从n1和n2中取出数值较大的角度作为最终参数，该最终参数是最终匹配角度。本实施例中，n1大于n2，因此确定90°为最终匹配角度。也就是说，在n1与n2不相同的情况下，可以确定最终匹配角度。

另一方面，如果n1和n2相同，那么就返回步骤S32，利用相机重新采集安装后的被测物的图像。例如，保持相机与安装后的被测物之间的拍摄距离不变，按步进距离移动相机，从而以改变的角度重新采集安装后的被测物的图像，使得计算单元202获取重新采集到的图像，并继续后续操作。

最后，在步骤S34，确定单元204根据最终模板(模板5)和最终参数(最终匹配角度90°)，来确定被测物是否安装正确。

具体的，确定单元204将最终匹配角度90°与S31中设置的最终模板(模板5)的基准匹配角度进行比较，以确定被测物是否安装正确。

其中，模板的基准匹配角度可以是角度范围，例如模板5的基准匹配角度范围90°±3°，最终匹配角度90°在该基准匹配角度范围之内，因此可以判断出被测物的安装是正确的。另外，如果最终匹配角度是270°，则判断出被测物的安装是不正确的。

本发明还提供一种计算机可读的存储介质，所述存储介质具有存储在其中的指令，当所述指令被执行时，使得所述计算机执行本发明的图像处理方法。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的终端设备来实现。在列举了若干终端设备的单元权利要求中，这些终端设备中的若干个可以是通过同一个硬件项来具体体现。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：

设置步骤，为被测物创建多个模板，并设置模板的多个参数阈值；

计算步骤，获取安装后的所述被测物的图像，计算每个模板相对于所述图像的匹配参数，并根据所述图像计算所述被测物的真实参数；

选取步骤，根据所述每个模板的所述匹配参数、所述真实参数、以及所述多个参数阈值，从所述多个模板中选取最终模板，并确定最终参数；

确定步骤，根据所述最终模板和所述最终参数，确定所述被测物是否安装正确，

所述匹配参数包括匹配角度、匹配百分比、匹配中心坐标，所述真实参数包括真实特征参数和真实中心坐标，

所述选取步骤进一步包括：

将所述每个模板的所述匹配参数与匹配参数阈值进行比较，以便从所述多个模板中取出第一部分模板；

将所述真实特征参数与特征参数阈值进行比较，以便从所述第一部分模板中取出第二部分模板；

将所述真实中心坐标与所述第二部分模板各自的匹配中心坐标进行比较，以便从所述第二部分模板中取出第三部分模板；

将所述第三部分模板中所述匹配百分比最高的模板取出，作为所述最终模板，

将所述每个模板的匹配角度与所述匹配参数阈值中的匹配角度阈值进行比较，以便从所述多个模板中取出第四部分模板；

根据所述第四部分模板各自的匹配角度，确定所述最终参数。

2.如权利要求1所述的方法，其特征在于，所述设置步骤进一步包括：计算所述每个模板的特征参数，设置所述特征参数的特征参数阈值，并且设置模板相对于所述被测物的匹配参数的匹配参数阈值；

其中，所述多个参数阈值包括所述特征参数阈值和所述匹配参数阈值。

3.如权利要求1所述的方法，其特征在于，所述最终参数是最终匹配角度。

4.如权利要求3所述的方法，其特征在于，所述设置步骤进一步包括：针对所述被测物，设置所述每个模板的基准匹配角度，

其中，在所述确定步骤中，将所述最终匹配角度与所述最终模板的所述基准匹配角度进行比较，以确定所述被测物是否安装正确。

5.如权利要求2-4中任一项所述的方法，其特征在于，所述特征参数是模板中的被测物与参考物之间的多个相对参数，所述真实特征参数是所述图像中的被测物与参考物之间的多个真实相对参数。

6.一种图像处理装置，其特征在于，所述装置包括：

设置单元，为被测物创建多个模板，并设置模板的多个参数阈值；

计算单元，获取安装后的所述被测物的图像，计算每个模板相对于所述图像的匹配参数，并根据所述图像计算所述被测物的真实参数；

选取单元，根据所述每个模板的所述匹配参数、所述真实参数、以及所述多个参数阈值，从所述多个模板中选取最终模板，并确定最终参数；

确定单元，根据所述最终模板和所述最终参数，确定所述被测物是否安装正确，

所述匹配参数包括匹配角度、匹配百分比、匹配中心坐标，所述真实参数包括真实特征参数和真实中心坐标，

所述选取单元进一步包括以下操作：

将所述每个模板的所述匹配参数与匹配参数阈值进行比较，以便从所述多个模板中取出第一部分模板；

将所述真实特征参数与特征参数阈值进行比较，以便从所述第一部分模板中取出第二部分模板；

将所述真实中心坐标与所述第二部分模板各自的匹配中心坐标进行比较，以便从所述第二部分模板中取出第三部分模板；

将所述第三部分模板中所述匹配百分比最高的模板取出，作为所述最终模板,

将所述每个模板的匹配角度与所述匹配参数阈值中的匹配角度阈值进行比较，以便从所述多个模板中取出第四部分模板；

根据所述第四部分模板各自的匹配角度，确定所述最终参数。

7.如权利要求6所述的装置，其特征在于，所述设置单元进一步计算所述每个模板的特征参数，设置所述特征参数的特征参数阈值，并且设置模板相对于所述被测物的匹配参数的匹配参数阈值；

其中，所述多个参数阈值包括所述特征参数阈值和所述匹配参数阈值。

8.如权利要求6所述的装置，其特征在于，所述最终参数是最终匹配角度。

9.如权利要求8所述的装置，其特征在于，所述设置单元进一步针对所述被测物，设置所述每个模板的基准匹配角度，

其中，所述确定单元将所述最终匹配角度与所述最终模板的所述基准匹配角度进行比较，以确定所述被测物是否安装正确。

10.如权利要求7-9中任一项所述的装置，其特征在于，所述特征参数是模板中的被测物与参考物之间的多个相对参数，所述真实特征参数是所述图像中的被测物与参考物之间的多个真实相对参数。

11.一种计算机可读的存储介质，所述存储介质具有存储在其中的指令，其特征在于，当所述指令被执行时，使得所述计算机执行如权利要求1-5中任一项所述的图像处理方法。

12.一种系统，其特征在于，包括：

存储器，用于存储由系统的一个或多个处理器执行的指令，以及

处理器，用于执行如权利要求1-5中任一项所述的图像处理方法。