CN109685777A - 图像处理方法及装置 - Google Patents
图像处理方法及装置 Download PDFInfo
- Publication number
- CN109685777A CN109685777A CN201811515900.4A CN201811515900A CN109685777A CN 109685777 A CN109685777 A CN 109685777A CN 201811515900 A CN201811515900 A CN 201811515900A CN 109685777 A CN109685777 A CN 109685777A
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- punching press
- area
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000004080 punching Methods 0.000 claims abstract description 185
- 229910000831 Steel Inorganic materials 0.000 claims abstract description 84
- 239000010959 steel Substances 0.000 claims abstract description 84
- 238000001514 detection method Methods 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 230000004907 flux Effects 0.000 claims 1
- 238000007689 inspection Methods 0.000 claims 1
- 238000003860 storage Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000032258 transport Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种图像处理方法及装置,涉及图像处理技术领域。方法包括:获得采集的多张图像,多张图像中每张图像均包含待检测钢板的待检测区域中的部分区域;将多张图像拼接为包含待检测钢板的待检测区域的拼接图像;根据拼接图像,确定待检测区域内的多个待检测冲压图形是否与预设钢板的多个预设冲压图形匹配。故将多张图像拼接为包含待检测钢板的待检测区域的拼接图像,可以实现以高分辨率的方式对拼接图像中待检测区域内的多个待检测冲压图形进行检测,保证检测的精准度很高。再者,由于基于与预设钢板的多个预设冲压图形匹配来实现对待检测区域内的多个待检测冲压图形进行检测,故极大的提高了检测效率。
Description
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种图像处理方法及装置。
背景技术
在钢板冲压图形的生产流程中,需要对钢板上的冲压图形进行检测,以通过检测来确定钢板上的冲压图形是否满足生产标准。
由于对冲压图形的检测精度要求很高,故目前对冲压图形的检测是通过人工测量来完成。这种检测方式检测精度不高,但对人力成本的要求很高,且检测的效率也很低。
发明内容
本申请在于提供一种图像处理方法及装置,以实现高效率且高准确度的对钢板上的冲压图形进行检测。
第一方面,本申请实施例提供了一种图像处理方法,所述方法包括:
获得采集的多张图像,所述多张图像中每张图像均包含待检测钢板的待检测区域中的部分区域;
将多张图像拼接为包含所述待检测钢板的所述待检测区域的拼接图像;
根据所述拼接图像,确定所述待检测区域内的多个待检测冲压图形是否与预设钢板的多个预设冲压图形匹配。
结合第一方面,在一些可能的实现方式中,根据所述拼接图像,确定所述待检测区域内的多个待检测冲压图形是否与预设钢板的多个预设冲压图形匹配,包括:
从所述拼接图像中,确定出所述待检测区域内的多个待检测冲压图形的数量、所述多个待检测冲压图形中每个待检测冲压图形的位置和每个待检测冲压图形的尺寸;
确定所述多个待检测冲压图形的数量是否与预设钢板的多个预设冲压图形的预设数量匹配,确定每个待检测冲压图形的位置是否与所述多个预设冲压图形中对应的一个预设冲的位置匹配,以及确定每个待检测冲压图形的尺寸是否与所述多个预设冲压图形中对应的一个预设冲的尺寸匹配。
结合第一方面,在一些可能的实现方式中,从所述拼接图像中,确定出所述待检测区域内的多个待检测冲压图形的数量、所述多个待检测冲压图形中每个待检测冲压图形的位置和每个待检测冲压图形的尺寸;包括:
处理所述拼接图像,获得多张环形图像,其中,所述多张环形图像中每张环形图像均包含所述待检测区域内的多个待检测冲压图形中对应的一个待检测冲压图形;
根据多张环形图像确定出多个待检测冲压图形的数量,以及根据每张环形图像中包含的对应的一个待检测冲压图形边缘,确定出所述多个待检测冲压图形中每个待检测冲压图形的位置和每个待检测冲压图形的尺寸。
结合第一方面,在一些可能的实现方式中,将多张图像拼接为包含所述待检测钢板的所述待检测区域的拼接图像,包括:
基于将所述多张图像中每两张图像中的相同区域融合,拼接出包含待处理检测区域的待处理拼接图像;
将所述待处理拼接图像与包含所述预设钢板的预设检测区域的预设图像匹配,确定出所述待处理检测区域中与所述预设检测区域不匹配的冗余区域;
将所述待处理检测区域中的所述冗余区域删除,获得包含所述待检测钢板的所述待检测区域的拼接图像。
结合第一方面,在一些可能的实现方式中,所述多张图像中每张图像均包含的特征区域;基于将所述多张图像中每两张图像中的相同区域融合,拼接出包含待处理检测区域的待处理拼接图像,包括:
确定出每张图像包含的特征区域的位置;
根据所述多张图像中主拼接图像和次拼接图像分别包含的两个特征区域的位置之间的变换矩阵,将所述次拼接图像变换到所述主拼接图像上并融合相同区域,获得包含所述主拼接图像和所述次拼接图像的拼接出的图像,并确定所述拼接出的图像为主拼接图像。
第二方面,本申请实施例提供了一种图像处理装置,所述装置包括:
图像获得模块,用于获得采集的多张图像,所述多张图像中每张图像均包含待检测钢板的待检测区域中的部分区域;
图像拼接模块,用于将多张图像拼接为包含所述待检测钢板的所述待检测区域的拼接图像;
图像匹配模块,用于根据所述拼接图像,确定所述待检测区域内的多个待检测冲压图形是否与预设钢板的多个预设冲压图形匹配。
结合第二方面,在一些可能的实现方式中,所述图像匹配模块,还用于从所述拼接图像中,确定出所述待检测区域内的多个待检测冲压图形的数量、所述多个待检测冲压图形中每个待检测冲压图形的位置和每个待检测冲压图形的尺寸;确定所述多个待检测冲压图形的数量是否与预设钢板的多个预设冲压图形的预设数量匹配,确定每个待检测冲压图形的位置是否与所述多个预设冲压图形中对应的一个预设冲的位置匹配,以及确定每个待检测冲压图形的尺寸是否与所述多个预设冲压图形中对应的一个预设冲的尺寸匹配。
结合第二方面,在一些可能的实现方式中,所述图像匹配模块,还用于处理所述拼接图像,获得多张环形图像,其中,所述多张环形图像中每张环形图像均包含所述待检测区域内的多个待检测冲压图形中对应的一个待检测冲压图形;根据多张环形图像确定出多个待检测冲压图形的数量,以及根据每张环形图像中包含的对应的一个待检测冲压图形边缘,确定出所述多个待检测冲压图形中每个待检测冲压图形的位置和每个待检测冲压图形的尺寸。
结合第二方面,在一些可能的实现方式中,所述图像拼接模块,还用于确定出每张图像包含的特征区域的位置;根据所述多张图像中主拼接图像和次拼接图像分别包含的两个特征区域的位置之间的变换矩阵,将所述次拼接图像变换到所述主拼接图像上并融合相同区域,获得包含所述主拼接图像和所述次拼接图像的拼接出的图像,并确定所述拼接出的图像为主拼接图像;在确定出所述多张图像中没有未拼接的所述次拼接图像时,确定当前获得的拼接出的图像为包含待处理检测区域的待处理拼接图像。
结合第二方面,在一些可能的实现方式中,所述多张图像中每张图像均包含的特征区域;
所述图像拼接模块,还用于确定出每张图像包含的特征区域的位置;根据每两张图像分别包含的每两个特征区域的位置之间的差值,将每两张图像中的相同区域融合,拼接出包含待处理检测区域的待处理拼接图像。
第三方面,本申请实施例提供了一种电子设备,所述电子设备包括:处理器,存储器,总线和通信接口;所述处理器、所述通信接口和存储器通过所述总线连接。
所述存储器,用于存储程序。
所述处理器,用于通过调用存储在所述存储器中的程序,以执行如第一方面,以及第一方面任一实现方式所述的图像处理方法。
第四方面,本申请实施例提供了一种具有计算机可执行的非易失程序代码的计算机可读储存介质,所述程序代码使所述计算机执行如第一方面,以及第一方面任一实现方式所述的图像处理方法。
本申请实施例的有益效果包括:
由于在保证待检测钢板的分辨率足够高的情况下,每张图像均包含待检测钢板的待检测区域中的部分区域,故将多张图像拼接为包含待检测钢板的待检测区域的拼接图像,可以实现以高分辨率的方式对拼接图像中待检测区域内的多个待检测冲压图形进行检测,保证检测的精准度很高。再者,由于基于与预设钢板的多个预设冲压图形匹配来实现对待检测区域内的多个待检测冲压图形进行检测,故极大的提高了检测效率。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的一种电子设备应用场景图;
图2示出了本申请实施例提供的一种电子设备的结构框图;
图3示出了本申请实施例提供的一种图像处理方法的流程图;
图4示出了本申请实施例提供的一种图像处理方法的应用场景图;
图5示出了本申请实施例提供的一种图像处理装置的结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解,本申请中附图仅起到说明和描述的目的,并不用于限定本申请的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
另外,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例中将会用到术语“包括”,用于指出其后所声明的特征的存在,但并不排除增加其它的特征。
请参阅图1,本申请一些实施例提供了一种电子设备10的应用场景图,电子设备10可以应用到钢板冲压图形检测系统20中。该钢板冲压图形检测系统20可以包括:传送带21、多个图像采集设备22和电子设备10。
传送带21可以为市面上常规型号的传送带,该传送带21的长和宽可以根据其需要运输的待检测钢板101的尺寸进行选择,例如,待检测钢板101较长,那么传送带21的长度可以大一些,比如大于该待检测钢板101的长度以便于运输,反之亦然。传送带21可以按照一定的速度来运输该待检测钢板101,其中,传送带21的速度可以配合多个图像采集设备22的拍照速率或者待检测钢板101上冲压图形数量的密度,例如,待检测钢板101上冲压图形数量的密度较大,那么传送带21的速度可以慢一些。
本实施例中,检测钢板101上的冲压图形可以是圆形、椭圆形、三角形、四边形、五边形或边数大于五边的其它图形。可以理解到的是,本实施例虽然没对图形的形状或大小进行限定,但冲压图形可以是闭合的图形,以便于本实施例通过图形拟合的方式对其进行检测。当然,冲压图形可以是非闭合的图形或者较为复杂的图案,且也可以对其检测,但这种情况下,就可以采用其它的方式,例如,通过神经网络的深度学习进行检测。而本实施例以采用图形拟合的检测方式来进行说明,但其并不作为对本实施例的限定。
另外,为便于图像的拼接,传送带21的边缘在多个图像采集设备22处设置有至少一个特征区域211,且该至少一个特征区域211可以不随传送带21运动。该至少一个特征区域211可以为能够被电子设备10识别出来的图形,例如,至少一个特征区域211的图形可以为矩形等存在大于等于4个角点特征的几何图形。本实施例以至少一个特征区域211的数量为1个来进行说明,但并不作为限定。
多个图像采集设备22可以为市面上常规型号的高清摄像头,多个图像采集设备22可以架设在传送带21的至少一个特征区域211上方,使得多个图像采集设备22在朝向传送带21方向拍摄时,多个图像采集设备22中每个图像采集设备22拍摄的图像中均包含该至少一个特征区域211。本实施例中,多个图像采集设备22可以以相同的拍摄频率朝向传送带21方向拍摄,使得多个图像采集设备22中每个图像采集设备22可以在同一时刻拍摄到包含传送带21上待检测钢板的图像。且为保证每个图像采集设备22拍摄到的图像中待检测钢板为高分辨率,故每个图像采集设备22设置的位置使得每个图像采集设备22距传送带21比较近,这样每个图像采集设备22拍摄到图像中则包含待检测钢板的待检测区域中的部分区域。
本实施例中,多个图像采集设备22的拍摄频率也可以配合传送带21的速度,这样可以保证每个图像采集设备22每次拍摄的图像中包含的待检测区域中的部分区域与上一次拍摄的图像中包含的待检测区域中的部分区域不同。此外,多个图像采集设备22可以将每次同一时刻拍摄到的多张图像发送给电子设备10,使得电子设备10执行本实施例所述的图像处理方法来对多张图像进行处理。
电子设备10可以为具备数据处理和传输能力的设备,例如,电子设备10可以为服务器或者终端。
其中,服务器可以为单个服务器,也可以是服务器组。服务器组可以是集中式的,也可以是分布式的(例如,服务器可以是分布式系统)。而在一些实施例中,服务器可以在云平台上实现;仅作为示例,云平台可以包括私有云、公有云、混合云、社区云(communitycloud)、分布式云、跨云(inter-cloud)、多云(multi-cloud)等,或者它们的任意组合。而终端则可以是车载电脑、个人电脑(personal computer,PC)、平板电脑、智能手机、个人数字助理(personal digital assistant,PDA)等。
本实施例中,电子设备10可以用于实现本申请的图像处理方法。本申请尽管仅示出了一个设备,但是为了方便起见,也可以在多个类似设备上以分布式方式实现本申请描述的功能,以均衡处理负载。
例如,电子设备10可以包括连接到网络的网络端口11、用于执行程序指令的一个或多个处理器12、通信总线13、和不同形式的存储介质14,例如,磁盘、ROM、或RAM,或其任意组合。示例性地,计算机平台还可以包括存储在ROM、RAM、或其他类型的非暂时性存储介质、或其任意组合中的程序指令。根据这些程序指令可以实现本申请的方法。电子设备10还包括计算机与其他输入输出设备(例如键盘、显示屏)之间的输入/输出(Input/Output,I/O)接口25。
为了便于说明,在电子设备10中仅描述了一个处理器。然而,应当注意,本申请中的电子设备10还可以包括多个处理器,因此本申请中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如,若电子设备10的处理器执行步骤A和步骤B,则应该理解,步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如,第一处理器执行步骤A,第二处理器执行步骤B,或者第一处理器和第二处理器共同执行步骤A和B。
请参阅图3所示,本申请一些实施例提供了一种图像处理方法,该图像处理方法可以由电子设备执行,该图像处理方法包括:步骤S100、步骤S200和步骤S300。
步骤S100:获得采集的多张图像,所述多张图像中每张图像均包含待检测钢板的待检测区域中的部分区域。
步骤S200:将多张图像拼接为包含所述待检测钢板的所述待检测区域的拼接图像。
步骤S300:根据所述拼接图像,确定所述待检测区域内的多个待检测冲压图形是否与预设钢板的多个预设冲压图形匹配。
下面将结合图3和图4对本申请的图像处理方法的流程进行详细地说明。
步骤S100:获得采集的多张图像,所述多张图像中每张图像均包含待检测钢板的待检测区域中的部分区域。
电子设备通过与多个图像采集设备的通信连接,那么电子设备可以获得多个图像采集设备采集到的多张图像。可以理解到,这多张图像中的每张图像均可以包含待检测钢板的待检测区域中的部分区域。
需要说明的是,电子设备在对待检测钢板的冲压图形进行检测的过程中,电子设备可以以间隔的方式获得多个图像采集设备每一次采集到的多张图像,然后对每一次获得的多张图像可以均执行图像处理方法的处理流程。本实施例以电子设备对某一次获得的多张图像为例来进行说明。
步骤S200:将多张图像拼接为包含所述待检测钢板的所述待检测区域的拼接图像。
由于多个图像采集设备的安装位置各不相同,使得每个图像采集设备并不一定是向垂直于待检测钢板的方向进行拍摄。故每个图像采集设备采集到的图像可能会产生畸变,即图像中待检测钢板的一端的宽度大于另一端的宽度。那么,为了保证检测的准确性,可以消除这种畸变再进行后续的处理。
本实施例中,作为消除中图像中畸变的一种可选方式,电子设备可以通过累计概率霍夫变换法对多张图像中每张图像处理,以获取到每张图像中最长的两条直线,而每张图像中这两条直线的端点便可以是每张图像中待检测钢板的两条边与每张图像的边缘相交产生的4个交点的4个交点坐标,4个交点坐标可以是(x1,y1)、(x3,y3)、(x3,y3)、(x4,y4)。而电子设备中预设了4个标准交点坐标,该4个标准交点坐标可以是在未产生畸变的图像中待检测钢板的两条边与每张图像的边缘相交产生的4个交点的4个交点坐标,且该4个标准交点坐标则可以是(x'1,y1')、(x'2,y2')、(x'3,y3')、(x'4,y4')。
故电子设备针对每张图像,可以将4个交点坐标中每个交点坐标与4个标准交点坐标中对应的一个标准交点坐标进行匹配,获得每个交点坐标与对应的一个标准交点坐标之间的变换矩阵。而电子设备该变换矩阵每张图像中每个像素点的坐标进行调整,便可以消除每张图像中的畸变。
在消除每张图像中的畸变后,电子设备便可以对多张图像进行拼接。为便于拼接,电子设备可以对每张图像进行处理,以确定出每张图像包含的特征区域的位置。以特征区域为矩形图形为例,电子设备可以采用Harris算子提取的方式从每张图像中确定出每张图像中特征区域的四个角点的坐标。
在这多张图像中,电子设备可以以多张图像中的任一张图像作为主拼接图像,并将多张图像中除主拼接图像外的其它图像作为次拼接图像,这样,电子设备则可以根据每张图像包含的特征区域的已知角点坐标,确定出主拼接图像和次拼接图像分别包含的两个特征区域之间的变换矩阵。可选地,电子设备可以根据主拼接图像中的四个角点坐标和次拼接图像中的四个角点坐标,计算出主拼接图像的四个角点坐标中每个角点坐标与次拼接图像的四个角点坐标中对应的一个角点坐标之间的坐标差值,共确定出四个坐标差值。这样,电子设备则可以将四个坐标差值的平均值作为主拼接图像和次拼接图像分别包含的两个特征区域的位置之间的差值。
电子设备根据确定出的差值便可以确定次拼接图像中每个像素点需要位移的距离,这样,电子设备根据次拼接图像中每个像素点需要位移的距离移动次拼接图像中每个像素点,便可以将次拼接图像中与主拼接图像相同的区域融合到主拼接图像中,从而可以获得包含主拼接图像和次拼接图像的拼接出的图像。此时,电子设备还可以将拼接出的图像作为一个新的主拼接图像继续与其它未拼接的次拼接图像进行拼接,从而形成一个循环的过程。
那么,在确定出多张图像中没有未拼接的所述次拼接图像时,电子设备便可以确定多张图像的拼接完成,从而确定当前获得的拼接出的图像为包含待处理检测区域的待处理拼接图像。
由于待处理拼接图像包含待处理检测区域中可能包含了需要检测的待检测区域和待检测区域以外无需本次检测的冗余区域,故电子设备需要将待处理拼接图像包含的待处理检测区域中的冗余区域去掉。
本实施例中,作为去掉冗余区域的一种可选的方式,电子设备中预设了预设图像,该预设图像中包含的预设钢板的预设检测区域可以是标准状态下的检测区域。那么,电子设备则可以将该待处理拼接图像与包含预设钢板的预设检测区域的预设图像匹配。
其中,匹配的方式可以采用如式1所示的归一化二维交叉相关函数进行计算。
式1中,f(x,y)为待处理拼接图像中每个像素点的坐标,T(m,n)为预设图像中每个像素点的坐标,而C(i,j)为待处理拼接图像中每个像素点与预设图像对应的一个像素点的相似度。
那么,在待处理拼接图像中像素点与预设图像对应的一个像素点的相似度大于电子设备中预设的阈值时,便可以确定该待处理拼接图像中的该像素点属于待检测区域;反之,则确定该待处理拼接图像中的该像素点属于冗余区域。
故基于像素点的匹配,电子设备便可以确定出待处理检测区域中与预设检测区域不匹配的冗余区域,从而电子设备可以将待处理拼接图像的待处理检测区域中的所述冗余区域删除,获得包含待检测钢板的待检测区域的拼接图像,以通过该拼接图像来对待检测区域中的多个待检测冲压图形进行检测。
步骤S300:根据所述拼接图像,确定所述待检测区域内的多个待检测冲压图形是否与预设钢板的多个预设冲压图形匹配。
为便于减少后续匹配的运算量,加快电子设备的处理速度,电子设备可以通过处理该拼接图像来获得多张环形图像,而多张环形图像中每张环形图像均包含待检测区域内的多个待检测冲压图形中对应的一个待检测冲压图形。
作为获得多张环形图像的一种可选方式,电子设备可以将采用阈值分割法,将拼接图像二值化处理,获得二值化的拼接图像。那么,电子设备基于设置的灰度值区间,可以从二值化的拼接图像中确定出灰度值在灰度值区间内的像素点。且由于一个待检测冲压图形所在区域的像素点的灰度值一般都在灰度值区间内,故电子设备根据这些灰度值在灰度值区间内的像素点,从二值化的拼接图像中提取出正方形的多个区域,多个区域中的每个区域都可以由这些灰度值在灰度值区间内的像素点构成,且每个区域中也包含对应的一个待检测冲压图形。
为继续减少后续匹配的运算量,电子设备可以继续对每个区域进行相应的处理。可选地,电子设备可以从预设一个冲压图形最小半径以及预设一个冲压图形最大半径,其中,冲压图形最小半径一般可以小于实际中冲压图形的半径,而该冲压图形最大半径则一般可以大于实际中冲压图形的半径。这样,电子设备基于冲压图形最小半径可以生成一个最小半径的圆,从而在每个区域的中心点和该最小半径的圆的圆心重合的情况下,将每个区域中由最小半径的圆覆盖的区域去掉;于此同时,电子设备也基于冲压图形最大半径可以生成一个最大半径的圆,从而在每个区域的中心点和该最大半径的圆的圆心重合的情况下,将每个区域中由最大半径的圆覆盖的区域去掉。那么,每个区域中去掉最小半径的圆覆盖和最大半径的圆覆盖后,便可以得到一张环形图像,共得到多张环形图像,以及该多张环形图像中每张环形图像均包含待检测区域内的多个待检测冲压图形中对应的一个待检测冲压图形。
电子设备可以将每张环形图像输入到电子设备中预设的图像检测器例如Canny检测器中进行处理,从而电子设备可以获得图像检测器输出的每张环形图像的离散像素点集合,而每张环形图像的离散像素点集合中的每个离散像素点可以是图像检测器确定出的梯度方向幅值最大的像素点,即每个离散像素点可以是最有可能位于待检测冲压图形的边缘上的像素点。
为保证结果更准确,电子设备可以基于每张环形图像的离散像素点集合,生成拟合每张环形图像的离散像素点集合的每个二维多项式。详细地,电子设备可以将每张环形图像的离散像素点集合中的每个离散像素点从头到尾依次连接形成一个多个边型,电子设备再生成拟合每个多个边型的二维多项式,便可以获得拟合每张环形图像的离散像素点集合的每个二维多项式。
电子设备可以再根据每个二维多项式,生成拟合每个二维多项式的拟合圆。可选地,电子设备可以,使用梯度下降法使得下式2表示的误差平方和最小,来生成拟合每个二维多项式的拟合图形,例如,冲压图形是圆形,那么拟合图形的表达可以如式2所示。
式中(ri,ci)为每个二维多项式中点的坐标。(αi,β)为圆心坐标,ρ为半径。
那么在式2中计算出每个二维多项式的最小结果时,该最小结果对应的圆心坐标和半径便可以是拟合每个二维多项式的拟合圆。
可以理解到,电子设备基于获得的多张环形图像的数量可以确定出多个待检测冲压图形的数量。而基于该每个二维多项式的最小结果对应的圆心坐标和半径便可以确定出多个待检测冲压图形中对应的每个待检测冲压图形的位置和每个待检测冲压图形的尺寸。
再者,电子设备中还预先设置了标准状态下的预设钢板的预设冲压图形的数量,标准状态下的预设钢板的多个预设冲压图形中每个预设冲的位置,以及标准状态下的预设钢板的每个预设冲的尺寸。
这样,电子设备便可以确定多个待检测冲压图形的数量是否与预设钢板的多个预设冲压图形的预设数量匹配,确定每个待检测冲压图形的位置是否与多个预设冲压图形中对应的一个预设冲的位置匹配,以及确定每个待检测冲压图形的尺寸是否与多个预设冲压图形中对应的一个预设冲的尺寸匹配。这样,在多个待检测冲压图形的数量、每个待检测冲压图形的位置和每个待检测冲压图形的尺寸中由任意一个不匹配时,电子设备则确定待检测区域内的多个待检测冲压图形与预设钢板的多个预设冲压图形不匹配,从而电子设备可以发出报警声,并根据不匹配的具体结果显示不匹配的原因,并控制冲压冲压图形的机器和传送带停止运行。反之,若确定匹配时,电子设备便继续对下一次获得在多张图像进行处理。
请参阅图4,图4中多张图像中包括图像A和图像B,图像A中包含特征区域X,而图像B中也包含特征区域X,那么电子设备将图像B中与图像A中的相同区域融合到图像A中后,便可以获得拼接出的图像AB,该图像AB中则包含了图像A和图像B全部特征。
请参阅图5,本申请一些实施例提供了图像处理装置100,该图像处理装置100可以应用于电子设备,该图像处理装置100可以包括:
图像获得模块110,用于获得采集的多张图像,所述多张图像中每张图像均包含待检测钢板的待检测区域中的部分区域。
图像拼接模块120,用于将多张图像拼接为包含所述待检测钢板的所述待检测区域的拼接图像。
图像匹配模块130,用于根据所述拼接图像,确定所述待检测区域内的多个待检测冲压图形是否与预设钢板的多个预设冲压图形匹配。
可选地,所述图像匹配模块130,还用于从所述拼接图像中,确定出所述待检测区域内的多个待检测冲压图形的数量、所述多个待检测冲压图形中每个待检测冲压图形的位置和每个待检测冲压图形的尺寸;确定所述多个待检测冲压图形的数量是否与预设钢板的多个预设冲压图形的预设数量匹配,确定每个待检测冲压图形的位置是否与所述多个预设冲压图形中对应的一个预设冲的位置匹配,以及确定每个待检测冲压图形的尺寸是否与所述多个预设冲压图形中对应的一个预设冲的尺寸匹配。
所述图像匹配模块130,还用于处理所述拼接图像,获得多张环形图像,其中,所述多张环形图像中每张环形图像均包含所述待检测区域内的多个待检测冲压图形中对应的一个待检测冲压图形;根据多张环形图像确定出多个待检测冲压图形的数量,以及根据每张环形图像中包含的对应的一个待检测冲压图形,确定出所述多个待检测冲压图形中每个待检测冲压图形的位置和每个待检测冲压图形的尺寸。
所述图像拼接模块120,还用于基于将所述多张图像中每两张图像中的相同区域融合,拼接出包含待处理检测区域的待处理拼接图像;将所述待处理拼接图像与包含所述预设钢板的预设检测区域的预设图像匹配,确定出所述待处理检测区域中与所述预设检测区域不匹配的冗余区域;将所述待处理检测区域中的所述冗余区域删除,获得包含所述待检测钢板的所述待检测区域的拼接图像。
所述图像拼接模块120,还用于确定出每张图像包含的特征区域的位置;根据每两张图像分别包含的每两个特征区域的位置之间的差值,将每两张图像中的相同区域融合,拼接出包含待处理检测区域的待处理拼接图像。
需要说明的是,由于所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请一些实施例还提供了一种计算机可执行的非易失的程序代码的计算机可读储存介质,该计算机可读存储介质上存储有程序代码,该程序代码被计算机运行时执行上述任一实施例的图像处理方法的步骤。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的程序代码被运行时,能够执行上述施例的图像处理方法的步骤,以实现高效率且低成本的测试发现客户端程序的各种大小问题
本申请实施例所提供的图像处理方法的程序代码产品,包括存储了程序代码的计算机可读存储介质,程序代码包括的指令可用于执行前面方法实施例中的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
综上所述,本申请实施例提供了一种图像处理方法及装置。方法包括:获得采集的多张图像,多张图像中每张图像均包含待检测钢板的待检测区域中的部分区域;将多张图像拼接为包含待检测钢板的待检测区域的拼接图像;根据拼接图像,确定待检测区域内的多个待检测冲压图形是否与预设钢板的多个预设冲压图形匹配。
由于在保证待检测钢板的分辨率足够高的情况下,每张图像均包含待检测钢板的待检测区域中的部分区域,故将多张图像拼接为包含待检测钢板的待检测区域的拼接图像,可以实现以高分辨率的方式对拼接图像中待检测区域内的多个待检测冲压图形进行检测,保证检测的精准度很高。再者,由于基于与预设钢板的多个预设冲压图形匹配来实现对待检测区域内的多个待检测冲压图形进行检测,故极大的提高了检测效率。
以上仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种图像处理方法,其特征在于,所述方法包括:
获得采集的多张图像,所述多张图像中每张图像均包含待检测钢板的待检测区域中的部分区域;
将多张图像拼接为包含所述待检测钢板的所述待检测区域的拼接图像;
根据所述拼接图像,确定所述待检测区域内的多个待检测冲压图形是否与预设钢板的多个预设冲压图形匹配。
2.根据权利要求1所述的图像处理方法,其特征在于,根据所述拼接图像,确定所述待检测区域内的多个待检测冲压图形是否与预设钢板的多个预设冲压图形匹配,包括:
从所述拼接图像中,确定出所述待检测区域内的多个待检测冲压图形的数量、所述多个待检测冲压图形中每个待检测冲压图形的位置和每个待检测冲压图形的尺寸;
确定所述多个待检测冲压图形的数量是否与预设钢板的多个预设冲压图形的预设数量匹配,确定每个待检测冲压图形的位置是否与所述多个预设冲压图形中对应的一个预设冲的位置匹配,以及确定每个待检测冲压图形的尺寸是否与所述多个预设冲压图形中对应的一个预设冲的尺寸匹配。
3.根据权利要求2所述的图像处理方法,其特征在于,从所述拼接图像中,确定出所述待检测区域内的多个待检测冲压图形的数量、所述多个待检测冲压图形中每个待检测冲压图形的位置和每个待检测冲压图形的尺寸;包括:
处理所述拼接图像,获得多张环形图像,其中,所述多张环形图像中每张环形图像均包含所述待检测区域内的多个待检测冲压图形中对应的一个待检测冲压图形;
根据多张环形图像确定出多个待检测冲压图形的数量,以及根据每张环形图像中包含的对应的一个待检测冲压图形边缘,确定出所述多个待检测冲压图形中每个待检测冲压图形的位置和每个待检测冲压图形的尺寸。
4.根据权利要求1-3任一权项所述的图像处理方法,其特征在于,将多张图像拼接为包含所述待检测钢板的所述待检测区域的拼接图像,包括:
基于将所述多张图像中每两张图像中的相同区域融合,拼接出包含待处理检测区域的待处理拼接图像;
将所述待处理拼接图像与包含所述预设钢板的预设检测区域的预设图像匹配,确定出所述待处理检测区域中与所述预设检测区域不匹配的冗余区域;
将所述待处理检测区域中的所述冗余区域删除,获得包含所述待检测钢板的所述待检测区域的拼接图像。
5.根据权利要求4所述的图像处理方法,其特征在于,所述多张图像中每张图像均包含的特征区域;基于将所述多张图像中每两张图像中的相同区域融合,拼接出包含待处理检测区域的待处理拼接图像,包括:
确定出每张图像包含的特征区域的位置;
根据所述多张图像中主拼接图像和次拼接图像分别包含的两个特征区域的位置之间的变换矩阵,将所述次拼接图像变换到所述主拼接图像上并融合相同区域,获得包含所述主拼接图像和所述次拼接图像的拼接出的图像,并确定所述拼接出的图像为主拼接图像;
在确定出所述多张图像中没有未拼接的所述次拼接图像时,确定当前获得的拼接出的图像为包含待处理检测区域的待处理拼接图像。
6.一种图像处理装置,其特征在于,所述装置包括:
图像获得模块,用于获得采集的多张图像,所述多张图像中每张图像均包含待检测钢板的待检测区域中的部分区域;
图像拼接模块,用于将多张图像拼接为包含所述待检测钢板的所述待检测区域的拼接图像;
图像匹配模块,用于根据所述拼接图像,确定所述待检测区域内的多个待检测冲压图形是否与预设钢板的多个预设冲压图形匹配。
7.根据权利要求6所述的图像处理装置,其特征在于,
所述图像匹配模块,还用于从所述拼接图像中,确定出所述待检测区域内的多个待检测冲压图形的数量、所述多个待检测冲压图形中每个待检测冲压图形的位置和每个待检测冲压图形的尺寸;确定所述多个待检测冲压图形的数量是否与预设钢板的多个预设冲压图形的预设数量匹配,确定每个待检测冲压图形的位置是否与所述多个预设冲压图形中对应的一个预设冲的位置匹配,以及确定每个待检测冲压图形的尺寸是否与所述多个预设冲压图形中对应的一个预设冲的尺寸匹配。
8.根据权利要求7所述的图像处理装置,其特征在于,
所述图像匹配模块,还用于处理所述拼接图像,获得多张环形图像,其中,所述多张环形图像中每张环形图像均包含所述待检测区域内的多个待检测冲压图形中对应的一个待检测冲压图形边缘;根据多张环形图像确定出多个待检测冲压图形的数量,以及根据每张环形图像中包含的对应的一个待检测冲压图形,确定出所述多个待检测冲压图形中每个待检测冲压图形的位置和每个待检测冲压图形的尺寸。
9.根据权利要求6-8任一权项所述的图像处理装置,其特征在于,
所述图像拼接模块,还用于基于将所述多张图像中每两张图像中的相同区域融合,拼接出包含待处理检测区域的待处理拼接图像;将所述待处理拼接图像与包含所述预设钢板的预设检测区域的预设图像匹配,确定出所述待处理检测区域中与所述预设检测区域不匹配的冗余区域;将所述待处理检测区域中的所述冗余区域删除,获得包含所述待检测钢板的所述待检测区域的拼接图像。
10.根据权利要求9所述的图像处理装置,其特征在于,所述多张图像中每张图像均包含的特征区域;
所述图像拼接模块,还用于确定出每张图像包含的特征区域的位置;根据所述多张图像中主拼接图像和次拼接图像分别包含的两个特征区域的位置之间的变换矩阵,将所述次拼接图像变换到所述主拼接图像上并融合相同区域,获得包含所述主拼接图像和所述次拼接图像的拼接出的图像,并确定所述拼接出的图像为主拼接图像;在确定出所述多张图像中没有未拼接的所述次拼接图像时,确定当前获得的拼接出的图像为包含待处理检测区域的待处理拼接图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811515900.4A CN109685777B (zh) | 2018-12-11 | 2018-12-11 | 图像处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811515900.4A CN109685777B (zh) | 2018-12-11 | 2018-12-11 | 图像处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109685777A true CN109685777A (zh) | 2019-04-26 |
CN109685777B CN109685777B (zh) | 2021-06-08 |
Family
ID=66187361
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811515900.4A Active CN109685777B (zh) | 2018-12-11 | 2018-12-11 | 图像处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109685777B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090010550A1 (en) * | 2007-07-06 | 2009-01-08 | Hong Fu Jin Precision Industry (Shenzhen) Co., Ltd | Systems and methods for matching images |
CN101770582A (zh) * | 2008-12-26 | 2010-07-07 | 鸿富锦精密工业(深圳)有限公司 | 图像匹配系统及方法 |
CN104729426A (zh) * | 2015-04-03 | 2015-06-24 | 济南恒升视觉信息科技有限公司 | 基于机器视觉的角钢自动在线检测系统及方法 |
CN106530226A (zh) * | 2016-10-25 | 2017-03-22 | 中源智人科技(深圳)股份有限公司 | 获取高分辨率高清晰工业图像的实现方法 |
CN206114546U (zh) * | 2016-09-19 | 2017-04-19 | 南京航空航天大学 | 一种印刷缺陷视觉检测系统 |
-
2018
- 2018-12-11 CN CN201811515900.4A patent/CN109685777B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090010550A1 (en) * | 2007-07-06 | 2009-01-08 | Hong Fu Jin Precision Industry (Shenzhen) Co., Ltd | Systems and methods for matching images |
CN101770582A (zh) * | 2008-12-26 | 2010-07-07 | 鸿富锦精密工业(深圳)有限公司 | 图像匹配系统及方法 |
CN104729426A (zh) * | 2015-04-03 | 2015-06-24 | 济南恒升视觉信息科技有限公司 | 基于机器视觉的角钢自动在线检测系统及方法 |
CN206114546U (zh) * | 2016-09-19 | 2017-04-19 | 南京航空航天大学 | 一种印刷缺陷视觉检测系统 |
CN106530226A (zh) * | 2016-10-25 | 2017-03-22 | 中源智人科技(深圳)股份有限公司 | 获取高分辨率高清晰工业图像的实现方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109685777B (zh) | 2021-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109344832B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
US10187546B2 (en) | Method and device for correcting document image captured by image pick-up device | |
US6538691B1 (en) | Software correction of image distortion in digital cameras | |
CN107424160A (zh) | 通过视觉系统查找图像中线的系统和方法 | |
US11010883B2 (en) | Automated analysis of petrographic thin section images using advanced machine learning techniques | |
CN111369545A (zh) | 边缘缺陷检测方法、装置、模型、设备及可读存储介质 | |
CN112241714B (zh) | 图像中指定区域的识别方法、装置、可读介质和电子设备 | |
CN111079730B (zh) | 一种在界面图中确定样图所在区域的方法和电子设备 | |
CN110910445B (zh) | 一种物件尺寸检测方法、装置、检测设备及存储介质 | |
WO2022088660A1 (zh) | 提高晶圆检测灵敏度的方法、装置以及存储介质 | |
CN109901988A (zh) | 一种用于自动化测试的页面元素定位方法和装置 | |
CN113592792A (zh) | 堆石图像粒径识别方法、装置、电子设备及存储介质 | |
CN110827301B (zh) | 用于处理图像的方法和装置 | |
WO2024012463A1 (zh) | 一种定位方法及装置 | |
CN109685777A (zh) | 图像处理方法及装置 | |
CN117057996A (zh) | 光伏板图像的处理方法、装置、设备及介质 | |
Léget et al. | Improving the astrometric solution of the Hyper Suprime-Cam with anisotropic Gaussian processes | |
CN115829929A (zh) | 产品表面图像的缺陷检测方法、装置、设备及存储介质 | |
CN109034173A (zh) | 目标对象选取方法和装置 | |
CN110427891B (zh) | 用于识别合同的方法、装置、系统及介质 | |
CN113780269A (zh) | 图像识别方法、装置、计算机系统及可读存储介质 | |
Dayananda Kumar et al. | Automated parameter-less optical mark recognition | |
CN112884797B (zh) | 一种图像的背景去除方法、装置及电子设备 | |
RU2116671C1 (ru) | Способ обработки изображения объекта | |
Baniadamdizaj et al. | Document Localization in Images Taken by Smartphones Using a Fully Convolutional Neural Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |