CN109685777B - 图像处理方法及装置 - Google Patents
图像处理方法及装置 Download PDFInfo
- Publication number
- CN109685777B CN109685777B CN201811515900.4A CN201811515900A CN109685777B CN 109685777 B CN109685777 B CN 109685777B CN 201811515900 A CN201811515900 A CN 201811515900A CN 109685777 B CN109685777 B CN 109685777B
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- images
- preset
- spliced
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 229910000831 Steel Inorganic materials 0.000 claims abstract description 78
- 239000010959 steel Substances 0.000 claims abstract description 78
- 238000001514 detection method Methods 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000004080 punching Methods 0.000 description 28
- 238000003860 storage Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种图像处理方法及装置，涉及图像处理技术领域。方法包括：获得采集的多张图像，多张图像中每张图像均包含待检测钢板的待检测区域中的部分区域；将多张图像拼接为包含待检测钢板的待检测区域的拼接图像；根据拼接图像，确定待检测区域内的多个待检测冲压图形是否与预设钢板的多个预设冲压图形匹配。故将多张图像拼接为包含待检测钢板的待检测区域的拼接图像，可以实现以高分辨率的方式对拼接图像中待检测区域内的多个待检测冲压图形进行检测，保证检测的精准度很高。再者，由于基于与预设钢板的多个预设冲压图形匹配来实现对待检测区域内的多个待检测冲压图形进行检测，故极大的提高了检测效率。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种图像处理方法及装置。
背景技术
在钢板冲压图形的生产流程中，需要对钢板上的冲压图形进行检测，以通过检测来确定钢板上的冲压图形是否满足生产标准。
由于对冲压图形的检测精度要求很高，故目前对冲压图形的检测是通过人工测量来完成。这种检测方式检测精度不高，但对人力成本的要求很高，且检测的效率也很低。
发明内容
本申请在于提供一种图像处理方法及装置，以实现高效率且高准确度的对钢板上的冲压图形进行检测。
第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：
获得采集的多张图像，所述多张图像中每张图像均包含待检测钢板的待检测区域中的部分区域；
将多张图像拼接为包含所述待检测钢板的所述待检测区域的拼接图像；
根据所述拼接图像，确定所述待检测区域内的多个待检测冲压图形是否与预设钢板的多个预设冲压图形匹配。
结合第一方面，在一些可能的实现方式中，根据所述拼接图像，确定所述待检测区域内的多个待检测冲压图形是否与预设钢板的多个预设冲压图形匹配，包括：
从所述拼接图像中，确定出所述待检测区域内的多个待检测冲压图形的数量、所述多个待检测冲压图形中每个待检测冲压图形的位置和每个待检测冲压图形的尺寸；
确定所述多个待检测冲压图形的数量是否与预设钢板的多个预设冲压图形的预设数量匹配，确定每个待检测冲压图形的位置是否与所述多个预设冲压图形中对应的一个预设冲的位置匹配，以及确定每个待检测冲压图形的尺寸是否与所述多个预设冲压图形中对应的一个预设冲的尺寸匹配。
结合第一方面，在一些可能的实现方式中，从所述拼接图像中，确定出所述待检测区域内的多个待检测冲压图形的数量、所述多个待检测冲压图形中每个待检测冲压图形的位置和每个待检测冲压图形的尺寸；包括：
处理所述拼接图像，获得多张环形图像，其中，所述多张环形图像中每张环形图像均包含所述待检测区域内的多个待检测冲压图形中对应的一个待检测冲压图形；
根据多张环形图像确定出多个待检测冲压图形的数量，以及根据每张环形图像中包含的对应的一个待检测冲压图形边缘，确定出所述多个待检测冲压图形中每个待检测冲压图形的位置和每个待检测冲压图形的尺寸。
结合第一方面，在一些可能的实现方式中，将多张图像拼接为包含所述待检测钢板的所述待检测区域的拼接图像，包括：
基于将所述多张图像中每两张图像中的相同区域融合，拼接出包含待处理检测区域的待处理拼接图像；
将所述待处理拼接图像与包含所述预设钢板的预设检测区域的预设图像匹配，确定出所述待处理检测区域中与所述预设检测区域不匹配的冗余区域；
将所述待处理检测区域中的所述冗余区域删除，获得包含所述待检测钢板的所述待检测区域的拼接图像。
结合第一方面，在一些可能的实现方式中，所述多张图像中每张图像均包含的特征区域；基于将所述多张图像中每两张图像中的相同区域融合，拼接出包含待处理检测区域的待处理拼接图像，包括：
确定出每张图像包含的特征区域的位置；
根据所述多张图像中主拼接图像和次拼接图像分别包含的两个特征区域的位置之间的变换矩阵，将所述次拼接图像变换到所述主拼接图像上并融合相同区域，获得包含所述主拼接图像和所述次拼接图像的拼接出的图像，并确定所述拼接出的图像为主拼接图像。
第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：
图像获得模块，用于获得采集的多张图像，所述多张图像中每张图像均包含待检测钢板的待检测区域中的部分区域；
图像拼接模块，用于将多张图像拼接为包含所述待检测钢板的所述待检测区域的拼接图像；
图像匹配模块，用于根据所述拼接图像，确定所述待检测区域内的多个待检测冲压图形是否与预设钢板的多个预设冲压图形匹配。
结合第二方面，在一些可能的实现方式中，所述图像匹配模块，还用于从所述拼接图像中，确定出所述待检测区域内的多个待检测冲压图形的数量、所述多个待检测冲压图形中每个待检测冲压图形的位置和每个待检测冲压图形的尺寸；确定所述多个待检测冲压图形的数量是否与预设钢板的多个预设冲压图形的预设数量匹配，确定每个待检测冲压图形的位置是否与所述多个预设冲压图形中对应的一个预设冲的位置匹配，以及确定每个待检测冲压图形的尺寸是否与所述多个预设冲压图形中对应的一个预设冲的尺寸匹配。
结合第二方面，在一些可能的实现方式中，所述图像匹配模块，还用于处理所述拼接图像，获得多张环形图像，其中，所述多张环形图像中每张环形图像均包含所述待检测区域内的多个待检测冲压图形中对应的一个待检测冲压图形；根据多张环形图像确定出多个待检测冲压图形的数量，以及根据每张环形图像中包含的对应的一个待检测冲压图形边缘，确定出所述多个待检测冲压图形中每个待检测冲压图形的位置和每个待检测冲压图形的尺寸。
结合第二方面，在一些可能的实现方式中，所述图像拼接模块，还用于确定出每张图像包含的特征区域的位置；根据所述多张图像中主拼接图像和次拼接图像分别包含的两个特征区域的位置之间的变换矩阵，将所述次拼接图像变换到所述主拼接图像上并融合相同区域，获得包含所述主拼接图像和所述次拼接图像的拼接出的图像，并确定所述拼接出的图像为主拼接图像；在确定出所述多张图像中没有未拼接的所述次拼接图像时，确定当前获得的拼接出的图像为包含待处理检测区域的待处理拼接图像。
结合第二方面，在一些可能的实现方式中，所述多张图像中每张图像均包含的特征区域；
所述图像拼接模块，还用于确定出每张图像包含的特征区域的位置；根据每两张图像分别包含的每两个特征区域的位置之间的差值，将每两张图像中的相同区域融合，拼接出包含待处理检测区域的待处理拼接图像。
第三方面，本申请实施例提供了一种电子设备，所述电子设备包括：处理器，存储器，总线和通信接口；所述处理器、所述通信接口和存储器通过所述总线连接。
所述存储器，用于存储程序。
所述处理器，用于通过调用存储在所述存储器中的程序，以执行如第一方面，以及第一方面任一实现方式所述的图像处理方法。
第四方面，本申请实施例提供了一种具有计算机可执行的非易失程序代码的计算机可读储存介质，所述程序代码使所述计算机执行如第一方面，以及第一方面任一实现方式所述的图像处理方法。
本申请实施例的有益效果包括：
由于在保证待检测钢板的分辨率足够高的情况下，每张图像均包含待检测钢板的待检测区域中的部分区域，故将多张图像拼接为包含待检测钢板的待检测区域的拼接图像，可以实现以高分辨率的方式对拼接图像中待检测区域内的多个待检测冲压图形进行检测，保证检测的精准度很高。再者，由于基于与预设钢板的多个预设冲压图形匹配来实现对待检测区域内的多个待检测冲压图形进行检测，故极大的提高了检测效率。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的一种电子设备应用场景图；
图2示出了本申请实施例提供的一种电子设备的结构框图；
图3示出了本申请实施例提供的一种图像处理方法的流程图；
图4示出了本申请实施例提供的一种图像处理方法的应用场景图；
图5示出了本申请实施例提供的一种图像处理装置的结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
请参阅图1，本申请一些实施例提供了一种电子设备10的应用场景图，电子设备10可以应用到钢板冲压图形检测系统20中。该钢板冲压图形检测系统20可以包括：传送带21、多个图像采集设备22和电子设备10。
传送带21可以为市面上常规型号的传送带，该传送带21的长和宽可以根据其需要运输的待检测钢板101的尺寸进行选择，例如，待检测钢板101较长，那么传送带21的长度可以大一些，比如大于该待检测钢板101的长度以便于运输，反之亦然。传送带21可以按照一定的速度来运输该待检测钢板101，其中，传送带21的速度可以配合多个图像采集设备22的拍照速率或者待检测钢板101上冲压图形数量的密度，例如，待检测钢板101上冲压图形数量的密度较大，那么传送带21的速度可以慢一些。
本实施例中，检测钢板101上的冲压图形可以是圆形、椭圆形、三角形、四边形、五边形或边数大于五边的其它图形。可以理解到的是，本实施例虽然没对图形的形状或大小进行限定，但冲压图形可以是闭合的图形，以便于本实施例通过图形拟合的方式对其进行检测。当然，冲压图形可以是非闭合的图形或者较为复杂的图案，且也可以对其检测，但这种情况下，就可以采用其它的方式，例如，通过神经网络的深度学习进行检测。而本实施例以采用图形拟合的检测方式来进行说明，但其并不作为对本实施例的限定。
另外，为便于图像的拼接，传送带21的边缘在多个图像采集设备22处设置有至少一个特征区域211，且该至少一个特征区域211可以不随传送带21运动。该至少一个特征区域211可以为能够被电子设备10识别出来的图形，例如，至少一个特征区域211的图形可以为矩形等存在大于等于4个角点特征的几何图形。本实施例以至少一个特征区域211的数量为1个来进行说明，但并不作为限定。
多个图像采集设备22可以为市面上常规型号的高清摄像头，多个图像采集设备22可以架设在传送带21的至少一个特征区域211上方，使得多个图像采集设备22在朝向传送带21方向拍摄时，多个图像采集设备22中每个图像采集设备22拍摄的图像中均包含该至少一个特征区域211。本实施例中，多个图像采集设备22可以以相同的拍摄频率朝向传送带21方向拍摄，使得多个图像采集设备22中每个图像采集设备22可以在同一时刻拍摄到包含传送带21上待检测钢板的图像。且为保证每个图像采集设备22拍摄到的图像中待检测钢板为高分辨率，故每个图像采集设备22设置的位置使得每个图像采集设备22距传送带21比较近，这样每个图像采集设备22拍摄到图像中则包含待检测钢板的待检测区域中的部分区域。
本实施例中，多个图像采集设备22的拍摄频率也可以配合传送带21的速度，这样可以保证每个图像采集设备22每次拍摄的图像中包含的待检测区域中的部分区域与上一次拍摄的图像中包含的待检测区域中的部分区域不同。此外，多个图像采集设备22可以将每次同一时刻拍摄到的多张图像发送给电子设备10，使得电子设备10执行本实施例所述的图像处理方法来对多张图像进行处理。
电子设备10可以为具备数据处理和传输能力的设备，例如，电子设备10可以为服务器或者终端。
其中，服务器可以为单个服务器，也可以是服务器组。服务器组可以是集中式的，也可以是分布式的(例如，服务器可以是分布式系统)。而在一些实施例中，服务器可以在云平台上实现；仅作为示例，云平台可以包括私有云、公有云、混合云、社区云(communitycloud)、分布式云、跨云(inter-cloud)、多云(multi-cloud)等，或者它们的任意组合。而终端则可以是车载电脑、个人电脑(personal computer，PC)、平板电脑、智能手机、个人数字助理(personal digital assistant，PDA)等。
本实施例中，电子设备10可以用于实现本申请的图像处理方法。本申请尽管仅示出了一个设备，但是为了方便起见，也可以在多个类似设备上以分布式方式实现本申请描述的功能，以均衡处理负载。
例如，电子设备10可以包括连接到网络的网络端口11、用于执行程序指令的一个或多个处理器12、通信总线13、和不同形式的存储介质14，例如，磁盘、ROM、或RAM，或其任意组合。示例性地，计算机平台还可以包括存储在ROM、RAM、或其他类型的非暂时性存储介质、或其任意组合中的程序指令。根据这些程序指令可以实现本申请的方法。电子设备10还包括计算机与其他输入输出设备(例如键盘、显示屏)之间的输入/输出(Input/Output，I/O)接口25。
为了便于说明，在电子设备10中仅描述了一个处理器。然而，应当注意，本申请中的电子设备10还可以包括多个处理器，因此本申请中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如，若电子设备10的处理器执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一处理器和第二处理器共同执行步骤A和B。
请参阅图3所示，本申请一些实施例提供了一种图像处理方法，该图像处理方法可以由电子设备执行，该图像处理方法包括：步骤S100、步骤S200和步骤S300。
步骤S100：获得采集的多张图像，所述多张图像中每张图像均包含待检测钢板的待检测区域中的部分区域。
步骤S200：将多张图像拼接为包含所述待检测钢板的所述待检测区域的拼接图像。
步骤S300：根据所述拼接图像，确定所述待检测区域内的多个待检测冲压图形是否与预设钢板的多个预设冲压图形匹配。
下面将结合图3和图4对本申请的图像处理方法的流程进行详细地说明。
步骤S100：获得采集的多张图像，所述多张图像中每张图像均包含待检测钢板的待检测区域中的部分区域。
电子设备通过与多个图像采集设备的通信连接，那么电子设备可以获得多个图像采集设备采集到的多张图像。可以理解到，这多张图像中的每张图像均可以包含待检测钢板的待检测区域中的部分区域。
需要说明的是，电子设备在对待检测钢板的冲压图形进行检测的过程中，电子设备可以以间隔的方式获得多个图像采集设备每一次采集到的多张图像，然后对每一次获得的多张图像可以均执行图像处理方法的处理流程。本实施例以电子设备对某一次获得的多张图像为例来进行说明。
步骤S200：将多张图像拼接为包含所述待检测钢板的所述待检测区域的拼接图像。
由于多个图像采集设备的安装位置各不相同，使得每个图像采集设备并不一定是向垂直于待检测钢板的方向进行拍摄。故每个图像采集设备采集到的图像可能会产生畸变，即图像中待检测钢板的一端的宽度大于另一端的宽度。那么，为了保证检测的准确性，可以消除这种畸变再进行后续的处理。
本实施例中，作为消除中图像中畸变的一种可选方式，电子设备可以通过累计概率霍夫变换法对多张图像中每张图像处理，以获取到每张图像中最长的两条直线，而每张图像中这两条直线的端点便可以是每张图像中待检测钢板的两条边与每张图像的边缘相交产生的4个交点的4个交点坐标，4个交点坐标可以是(x1,y1)、(x3,y3)、(x3,y3)、(x4,y4)。而电子设备中预设了4个标准交点坐标，该4个标准交点坐标可以是在未产生畸变的图像中待检测钢板的两条边与每张图像的边缘相交产生的4个交点的4个交点坐标，且该4个标准交点坐标则可以是(x'1,y1')、(x'2,y2')、(x'3,y3')、(x'4,y4')。
故电子设备针对每张图像，可以将4个交点坐标中每个交点坐标与4个标准交点坐标中对应的一个标准交点坐标进行匹配，获得每个交点坐标与对应的一个标准交点坐标之间的变换矩阵。而电子设备该变换矩阵每张图像中每个像素点的坐标进行调整，便可以消除每张图像中的畸变。
在消除每张图像中的畸变后，电子设备便可以对多张图像进行拼接。为便于拼接，电子设备可以对每张图像进行处理，以确定出每张图像包含的特征区域的位置。以特征区域为矩形图形为例，电子设备可以采用Harris算子提取的方式从每张图像中确定出每张图像中特征区域的四个角点的坐标。
在这多张图像中，电子设备可以以多张图像中的任一张图像作为主拼接图像，并将多张图像中除主拼接图像外的其它图像作为次拼接图像，这样，电子设备则可以根据每张图像包含的特征区域的已知角点坐标，确定出主拼接图像和次拼接图像分别包含的两个特征区域之间的变换矩阵。可选地，电子设备可以根据主拼接图像中的四个角点坐标和次拼接图像中的四个角点坐标，计算出主拼接图像的四个角点坐标中每个角点坐标与次拼接图像的四个角点坐标中对应的一个角点坐标之间的坐标差值，共确定出四个坐标差值。这样，电子设备则可以将四个坐标差值的平均值作为主拼接图像和次拼接图像分别包含的两个特征区域的位置之间的差值。
电子设备根据确定出的差值便可以确定次拼接图像中每个像素点需要位移的距离，这样，电子设备根据次拼接图像中每个像素点需要位移的距离移动次拼接图像中每个像素点，便可以将次拼接图像中与主拼接图像相同的区域融合到主拼接图像中，从而可以获得包含主拼接图像和次拼接图像的拼接出的图像。此时，电子设备还可以将拼接出的图像作为一个新的主拼接图像继续与其它未拼接的次拼接图像进行拼接，从而形成一个循环的过程。
那么，在确定出多张图像中没有未拼接的所述次拼接图像时，电子设备便可以确定多张图像的拼接完成，从而确定当前获得的拼接出的图像为包含待处理检测区域的待处理拼接图像。
由于待处理拼接图像包含待处理检测区域中可能包含了需要检测的待检测区域和待检测区域以外无需本次检测的冗余区域，故电子设备需要将待处理拼接图像包含的待处理检测区域中的冗余区域去掉。
本实施例中，作为去掉冗余区域的一种可选的方式，电子设备中预设了预设图像，该预设图像中包含的预设钢板的预设检测区域可以是标准状态下的检测区域。那么，电子设备则可以将该待处理拼接图像与包含预设钢板的预设检测区域的预设图像匹配。
其中，匹配的方式可以采用如式1所示的归一化二维交叉相关函数进行计算。
式1中，f(x,y)为待处理拼接图像中每个像素点的坐标，T(m,n)为预设图像中每个像素点的坐标，而C(i,j)为待处理拼接图像中每个像素点与预设图像对应的一个像素点的相似度。
那么，在待处理拼接图像中像素点与预设图像对应的一个像素点的相似度大于电子设备中预设的阈值时，便可以确定该待处理拼接图像中的该像素点属于待检测区域；反之，则确定该待处理拼接图像中的该像素点属于冗余区域。
故基于像素点的匹配，电子设备便可以确定出待处理检测区域中与预设检测区域不匹配的冗余区域，从而电子设备可以将待处理拼接图像的待处理检测区域中的所述冗余区域删除，获得包含待检测钢板的待检测区域的拼接图像，以通过该拼接图像来对待检测区域中的多个待检测冲压图形进行检测。
步骤S300：根据所述拼接图像，确定所述待检测区域内的多个待检测冲压图形是否与预设钢板的多个预设冲压图形匹配。
为便于减少后续匹配的运算量，加快电子设备的处理速度，电子设备可以通过处理该拼接图像来获得多张环形图像，而多张环形图像中每张环形图像均包含待检测区域内的多个待检测冲压图形中对应的一个待检测冲压图形。
作为获得多张环形图像的一种可选方式，电子设备可以将采用阈值分割法，将拼接图像二值化处理，获得二值化的拼接图像。那么，电子设备基于设置的灰度值区间，可以从二值化的拼接图像中确定出灰度值在灰度值区间内的像素点。且由于一个待检测冲压图形所在区域的像素点的灰度值一般都在灰度值区间内，故电子设备根据这些灰度值在灰度值区间内的像素点，从二值化的拼接图像中提取出正方形的多个区域，多个区域中的每个区域都可以由这些灰度值在灰度值区间内的像素点构成，且每个区域中也包含对应的一个待检测冲压图形。
为继续减少后续匹配的运算量，电子设备可以继续对每个区域进行相应的处理。可选地，电子设备可以从预设一个冲压图形最小半径以及预设一个冲压图形最大半径，其中，冲压图形最小半径一般可以小于实际中冲压图形的半径，而该冲压图形最大半径则一般可以大于实际中冲压图形的半径。这样，电子设备基于冲压图形最小半径可以生成一个最小半径的圆，从而在每个区域的中心点和该最小半径的圆的圆心重合的情况下，将每个区域中由最小半径的圆覆盖的区域去掉；于此同时，电子设备也基于冲压图形最大半径可以生成一个最大半径的圆，从而在每个区域的中心点和该最大半径的圆的圆心重合的情况下，将每个区域中由最大半径的圆覆盖的区域去掉。那么，每个区域中去掉最小半径的圆覆盖和最大半径的圆覆盖后，便可以得到一张环形图像，共得到多张环形图像，以及该多张环形图像中每张环形图像均包含待检测区域内的多个待检测冲压图形中对应的一个待检测冲压图形。
电子设备可以将每张环形图像输入到电子设备中预设的图像检测器例如Canny检测器中进行处理，从而电子设备可以获得图像检测器输出的每张环形图像的离散像素点集合，而每张环形图像的离散像素点集合中的每个离散像素点可以是图像检测器确定出的梯度方向幅值最大的像素点，即每个离散像素点可以是最有可能位于待检测冲压图形的边缘上的像素点。
为保证结果更准确，电子设备可以基于每张环形图像的离散像素点集合，生成拟合每张环形图像的离散像素点集合的每个二维多项式。详细地，电子设备可以将每张环形图像的离散像素点集合中的每个离散像素点从头到尾依次连接形成一个多个边型，电子设备再生成拟合每个多个边型的二维多项式，便可以获得拟合每张环形图像的离散像素点集合的每个二维多项式。
电子设备可以再根据每个二维多项式，生成拟合每个二维多项式的拟合圆。可选地，电子设备可以，使用梯度下降法使得下式2表示的误差平方和最小，来生成拟合每个二维多项式的拟合图形，例如，冲压图形是圆形，那么拟合图形的表达可以如式2所示。
式中(ri,ci)为每个二维多项式中点的坐标。(αi,β)为圆心坐标，ρ为半径。
那么在式2中计算出每个二维多项式的最小结果时，该最小结果对应的圆心坐标和半径便可以是拟合每个二维多项式的拟合圆。
可以理解到，电子设备基于获得的多张环形图像的数量可以确定出多个待检测冲压图形的数量。而基于该每个二维多项式的最小结果对应的圆心坐标和半径便可以确定出多个待检测冲压图形中对应的每个待检测冲压图形的位置和每个待检测冲压图形的尺寸。
再者，电子设备中还预先设置了标准状态下的预设钢板的预设冲压图形的数量，标准状态下的预设钢板的多个预设冲压图形中每个预设冲的位置，以及标准状态下的预设钢板的每个预设冲的尺寸。
这样，电子设备便可以确定多个待检测冲压图形的数量是否与预设钢板的多个预设冲压图形的预设数量匹配，确定每个待检测冲压图形的位置是否与多个预设冲压图形中对应的一个预设冲的位置匹配，以及确定每个待检测冲压图形的尺寸是否与多个预设冲压图形中对应的一个预设冲的尺寸匹配。这样，在多个待检测冲压图形的数量、每个待检测冲压图形的位置和每个待检测冲压图形的尺寸中由任意一个不匹配时，电子设备则确定待检测区域内的多个待检测冲压图形与预设钢板的多个预设冲压图形不匹配，从而电子设备可以发出报警声，并根据不匹配的具体结果显示不匹配的原因，并控制冲压冲压图形的机器和传送带停止运行。反之，若确定匹配时，电子设备便继续对下一次获得在多张图像进行处理。
请参阅图4，图4中多张图像中包括图像A和图像B，图像A中包含特征区域X，而图像B中也包含特征区域X，那么电子设备将图像B中与图像A中的相同区域融合到图像A中后，便可以获得拼接出的图像AB，该图像AB中则包含了图像A和图像B全部特征。
请参阅图5，本申请一些实施例提供了图像处理装置100，该图像处理装置100可以应用于电子设备，该图像处理装置100可以包括：
图像获得模块110，用于获得采集的多张图像，所述多张图像中每张图像均包含待检测钢板的待检测区域中的部分区域。
图像拼接模块120，用于将多张图像拼接为包含所述待检测钢板的所述待检测区域的拼接图像。
图像匹配模块130，用于根据所述拼接图像，确定所述待检测区域内的多个待检测冲压图形是否与预设钢板的多个预设冲压图形匹配。
可选地，所述图像匹配模块130，还用于从所述拼接图像中，确定出所述待检测区域内的多个待检测冲压图形的数量、所述多个待检测冲压图形中每个待检测冲压图形的位置和每个待检测冲压图形的尺寸；确定所述多个待检测冲压图形的数量是否与预设钢板的多个预设冲压图形的预设数量匹配，确定每个待检测冲压图形的位置是否与所述多个预设冲压图形中对应的一个预设冲的位置匹配，以及确定每个待检测冲压图形的尺寸是否与所述多个预设冲压图形中对应的一个预设冲的尺寸匹配。
所述图像匹配模块130，还用于处理所述拼接图像，获得多张环形图像，其中，所述多张环形图像中每张环形图像均包含所述待检测区域内的多个待检测冲压图形中对应的一个待检测冲压图形；根据多张环形图像确定出多个待检测冲压图形的数量，以及根据每张环形图像中包含的对应的一个待检测冲压图形，确定出所述多个待检测冲压图形中每个待检测冲压图形的位置和每个待检测冲压图形的尺寸。
所述图像拼接模块120，还用于基于将所述多张图像中每两张图像中的相同区域融合，拼接出包含待处理检测区域的待处理拼接图像；将所述待处理拼接图像与包含所述预设钢板的预设检测区域的预设图像匹配，确定出所述待处理检测区域中与所述预设检测区域不匹配的冗余区域；将所述待处理检测区域中的所述冗余区域删除，获得包含所述待检测钢板的所述待检测区域的拼接图像。
所述图像拼接模块120，还用于确定出每张图像包含的特征区域的位置；根据每两张图像分别包含的每两个特征区域的位置之间的差值，将每两张图像中的相同区域融合，拼接出包含待处理检测区域的待处理拼接图像。
需要说明的是，由于所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请一些实施例还提供了一种计算机可执行的非易失的程序代码的计算机可读储存介质，该计算机可读存储介质上存储有程序代码，该程序代码被计算机运行时执行上述任一实施例的图像处理方法的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的程序代码被运行时，能够执行上述施例的图像处理方法的步骤，以实现高效率且低成本的测试发现客户端程序的各种大小问题
本申请实施例所提供的图像处理方法的程序代码产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
综上所述，本申请实施例提供了一种图像处理方法及装置。方法包括：获得采集的多张图像，多张图像中每张图像均包含待检测钢板的待检测区域中的部分区域；将多张图像拼接为包含待检测钢板的待检测区域的拼接图像；根据拼接图像，确定待检测区域内的多个待检测冲压图形是否与预设钢板的多个预设冲压图形匹配。
由于在保证待检测钢板的分辨率足够高的情况下，每张图像均包含待检测钢板的待检测区域中的部分区域，故将多张图像拼接为包含待检测钢板的待检测区域的拼接图像，可以实现以高分辨率的方式对拼接图像中待检测区域内的多个待检测冲压图形进行检测，保证检测的精准度很高。再者，由于基于与预设钢板的多个预设冲压图形匹配来实现对待检测区域内的多个待检测冲压图形进行检测，故极大的提高了检测效率。
以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (4)
1.一种图像处理方法，其特征在于，所述方法包括：
获得采集的多张图像，所述多张图像中每张图像均包含待检测钢板的待检测区域中的部分区域；
基于将所述多张图像中每两张图像中的相同区域融合，拼接出包含待处理检测区域的待处理拼接图像；
将所述待处理拼接图像与包含预设钢板的预设检测区域的预设图像匹配，确定出所述待处理检测区域中与所述预设检测区域不匹配的冗余区域；
将所述待处理检测区域中的所述冗余区域删除，获得包含所述待检测钢板的所述待检测区域的拼接图像；
处理所述拼接图像，获得多张环形图像，其中，所述多张环形图像中每张环形图像均包含所述待检测区域内的多个待检测冲压图形中对应的一个待检测冲压图形；
根据多张环形图像确定出多个待检测冲压图形的数量，以及根据每张环形图像中包含的对应的一个待检测冲压图形边缘，确定出所述多个待检测冲压图形中每个待检测冲压图形的位置和每个待检测冲压图形的尺寸；
确定所述多个待检测冲压图形的数量是否与预设钢板的多个预设冲压图形的预设数量匹配，确定每个待检测冲压图形的位置是否与所述多个预设冲压图形中对应的一个预设冲压图形的位置匹配，以及确定每个待检测冲压图形的尺寸是否与所述多个预设冲压图形中对应的一个预设冲压图形的尺寸匹配。
2.根据权利要求1所述的图像处理方法，其特征在于，所述多张图像中每张图像均包含特征区域；基于将所述多张图像中每两张图像中的相同区域融合，拼接出包含待处理检测区域的待处理拼接图像，包括：
确定出每张图像包含的特征区域的位置；
根据所述多张图像中主拼接图像和次拼接图像分别包含的两个特征区域的位置之间的变换矩阵，将所述次拼接图像变换到所述主拼接图像上并融合相同区域，获得包含所述主拼接图像和所述次拼接图像的拼接出的图像，并确定所述拼接出的图像为主拼接图像；
在确定出所述多张图像中没有未拼接的所述次拼接图像时，确定当前获得的拼接出的图像为包含待处理检测区域的待处理拼接图像。
3.一种图像处理装置，其特征在于，所述装置包括：
图像获得模块，用于获得采集的多张图像，所述多张图像中每张图像均包含待检测钢板的待检测区域中的部分区域；
图像拼接模块，用于基于将所述多张图像中每两张图像中的相同区域融合，拼接出包含待处理检测区域的待处理拼接图像；将所述待处理拼接图像与包含预设钢板的预设检测区域的预设图像匹配，确定出所述待处理检测区域中与所述预设检测区域不匹配的冗余区域；将所述待处理检测区域中的所述冗余区域删除，获得包含所述待检测钢板的所述待检测区域的拼接图像；
图像匹配模块，用于处理所述拼接图像，获得多张环形图像，其中，所述多张环形图像中每张环形图像均包含所述待检测区域内的多个待检测冲压图形中对应的一个待检测冲压图形；根据多张环形图像确定出多个待检测冲压图形的数量，以及根据每张环形图像中包含的对应的一个待检测冲压图形边缘，确定出所述多个待检测冲压图形中每个待检测冲压图形的位置和每个待检测冲压图形的尺寸；确定所述多个待检测冲压图形的数量是否与预设钢板的多个预设冲压图形的预设数量匹配，确定每个待检测冲压图形的位置是否与所述多个预设冲压图形中对应的一个预设冲压图形的位置匹配，以及确定每个待检测冲压图形的尺寸是否与所述多个预设冲压图形中对应的一个预设冲压图形的尺寸匹配。
4.根据权利要求3所述的图像处理装置，其特征在于，所述多张图像中每张图像均包含特征区域；
所述图像拼接模块，还用于确定出每张图像包含的特征区域的位置；根据所述多张图像中主拼接图像和次拼接图像分别包含的两个特征区域的位置之间的变换矩阵，将所述次拼接图像变换到所述主拼接图像上并融合相同区域，获得包含所述主拼接图像和所述次拼接图像的拼接出的图像，并确定所述拼接出的图像为主拼接图像；在确定出所述多张图像中没有未拼接的所述次拼接图像时，确定当前获得的拼接出的图像为包含待处理检测区域的待处理拼接图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811515900.4A CN109685777B (zh) | 2018-12-11 | 2018-12-11 | 图像处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811515900.4A CN109685777B (zh) | 2018-12-11 | 2018-12-11 | 图像处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109685777A CN109685777A (zh) | 2019-04-26 |
| CN109685777B true CN109685777B (zh) | 2021-06-08 |
Family
ID=66187361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811515900.4A Active CN109685777B (zh) | 2018-12-11 | 2018-12-11 | 图像处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109685777B (zh) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101340811B (zh) * | 2007-07-06 | 2010-12-08 | 鸿富锦精密工业（深圳）有限公司 | 影像最优匹配系统及方法 |
| CN101770582B (zh) * | 2008-12-26 | 2013-05-08 | 鸿富锦精密工业（深圳）有限公司 | 图像匹配系统及方法 |
| CN104729426B (zh) * | 2015-04-03 | 2018-01-12 | 济南恒升视觉信息科技有限公司 | 基于机器视觉的角钢自动在线检测系统及方法 |
| CN206114546U (zh) * | 2016-09-19 | 2017-04-19 | 南京航空航天大学 | 一种印刷缺陷视觉检测系统 |
| CN106530226A (zh) * | 2016-10-25 | 2017-03-22 | 中源智人科技（深圳）股份有限公司 | 获取高分辨率高清晰工业图像的实现方法 |
-
2018
- 2018-12-11 CN CN201811515900.4A patent/CN109685777B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109685777A (zh) | 2019-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108764024B (zh) | 人脸识别模型的生成装置、方法及计算机可读存储介质 | |
| WO2022088663A1 (zh) | 缺陷检测方法及装置、电子设备和存储介质 | |
| KR20180104609A (ko) | 다수의 이미지 일치성을 바탕으로 보험클레임 사기 방지를 실현하는 방법, 시스템, 기기 및 판독 가능 저장매체 | |
| JP6557943B2 (ja) | 画像照合装置、画像センサ、処理システム、画像照合方法 | |
| CN109116129B (zh) | 终端检测方法、检测设备、系统及存储介质 | |
| Laroca et al. | Towards image-based automatic meter reading in unconstrained scenarios: A robust and efficient approach | |
| KR20180092455A (ko) | 딥 러닝을 이용한 카드번호 인식방법 | |
| CN111079730B (zh) | 一种在界面图中确定样图所在区域的方法和电子设备 | |
| CN108256520B (zh) | 一种识别硬币年份的方法、终端设备及计算机可读存储介质 | |
| WO2020156553A1 (zh) | 二维码定位框识别方法、装置、电子设备及存储介质 | |
| CN111899270A (zh) | 卡片边框检测方法、装置、设备及可读存储介质 | |
| CN110738204B (zh) | 一种证件区域定位的方法及装置 | |
| CN111223078B (zh) | 瑕疵等级判定的方法及存储介质 | |
| CN111354038B (zh) | 锚定物检测方法及装置、电子设备及存储介质 | |
| CN109977910B (zh) | 基于彩色线段的票据快速定位方法及其系统 | |
| CN113326766B (zh) | 文本检测模型的训练方法及装置、文本检测方法及装置 | |
| CN109685777B (zh) | 图像处理方法及装置 | |
| EP2993623B1 (en) | Apparatus and method for multi-object detection in a digital image | |
| CN112036232A (zh) | 一种图像表格结构识别方法、系统、终端以及存储介质 | |
| CN115273123B (zh) | 一种票据识别方法、装置、设备及计算机存储介质 | |
| CN110874814B (zh) | 一种图像处理方法、图像处理装置及终端设备 | |
| CN112785651A (zh) | 用于确定相对位姿参数的方法和装置 | |
| CN112907593B (zh) | 一种手机镜片胶体断层位置的识别方法、装置及相关设备 | |
| CN115063473A (zh) | 物体高度的检测方法、装置、计算机设备、存储介质 | |
| CN113780269A (zh) | 图像识别方法、装置、计算机系统及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |