CN113129264A - 一种图像处理方法及装置 - Google Patents

一种图像处理方法及装置 Download PDF

Info

Publication number
CN113129264A
CN113129264A CN202110287583.0A CN202110287583A CN113129264A CN 113129264 A CN113129264 A CN 113129264A CN 202110287583 A CN202110287583 A CN 202110287583A CN 113129264 A CN113129264 A CN 113129264A
Authority
CN
China
Prior art keywords
image
pixel value
target
abnormal
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110287583.0A
Other languages
English (en)
Inventor
刘永华
王建勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202110287583.0A priority Critical patent/CN113129264A/zh
Publication of CN113129264A publication Critical patent/CN113129264A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像处理方法,该方法包括:获取具有第一对象的第一图像;其中,第一图像为高度图;对第一图像进行转换处理,得到第二图像;其中,第二图像为灰度图;基于第一图像、第二图像和目标图像,确定第一对象是否发生异常。本申请实施例同时还公开了一种图像处理装置。

Description

一种图像处理方法及装置
技术领域
本申请涉及图像处理领域的图像处理技术,尤其涉及一种图像处理方法及装置。
背景技术
键盘的制作过程中需要锁附多颗螺丝,通常由自动螺丝机及人工混合完成键盘上螺丝的锁附;由于螺丝机的技术限制以及人工锁附能力的不足,会出现螺丝锁附异常的情况,主要表现为螺丝锁附不到位,螺丝浮高、螺丝漏锁和螺丝头拧花等问题。为了检测键盘上螺丝锁附是否异常,相关技术中通过激光轮廓仪扫描键盘上锁附的多个螺丝,来得到针对多个螺丝的高度图和亮度图,通过多个螺丝的高度图和亮度图来检测键盘上螺丝锁附是否异常。
但是,激光轮廓仪扫描键盘上锁附的多个螺丝时,螺丝表面会反射光线,使得亮度图的清晰度较低,进而导致通过该亮度图确定螺丝的锁附是否异常的准确率降低。
发明内容
为解决上述技术问题,本申请实施例期望提供一种图像处理方法及装置,解决了相关技术中检测螺丝的锁附是否异常准确率低的问题。
为达到上述目的,本申请的技术方案是这样实现的:
一种图像处理方法,所述方法包括:
获取具有第一对象的第一图像;其中,所述第一图像为高度图;
对所述第一图像进行转换处理,得到第二图像;其中,所述第二图像为灰度图;
基于所述第一图像、所述第二图像和目标图像,确定所述第一对象是否发生异常。
上述方案中,所述对所述第一图像进行转换处理,得到第二图像,包括:
确定所述第一图像中像素点的最小像素值和最大像素值;
在所述最小像素值不为零的情况下,基于所述最小像素值、所述最大像素值,对所述第一图像中每个像素点的像素值进行设置得到所述第二图像。
上述方案中,所述方法还包括:
在所述最小像素值为零的情况下,基于第一目标像素值从所述第一图像的像素点的像素值中确定第二目标像素值;
基于所述第二目标像素值和所述最大像素值,对所述第一图像中每个像素点的像素值进行处理,得到所述第二图像。
上述方案中,所述基于所述第二目标像素值和所述最大像素值,对所述第一图像中每个像素点的像素值进行处理,得到所述第二图像,包括:
设置所述第一图像中像素点的像素值小于所述第二目标像素值的像素点的像素值为零,并基于所述第二目标像素值和所述最大像素值对所述第一图像中像素点的像素值大于或等于所述第二目标像素值的像素点的像素值进行设置,得到所述第二图像。
上述方案中,所述基于所述第一图像、所述第二图像和目标图像,确定所述第一对象是否发生异常,包括:
基于所述第一图像和所述目标图像中的第一目标图像,对所述第一图像中的第一对象的高度信息进行分析,确定所述第一对象是否发生异常;
基于所述第二图像和所述目标图像中的第二目标图像,对所述第二图像中的第一对象进行分析,确定所述第一对象是否发生异常。
上述方案中,所述基于所述第二图像和所述目标图像中的第二目标图像,对所述第二图像中的第一对象进行分析,确定所述第一对象是否发生异常,包括:
在所述第二图像与所述第二目标图像中的第一目标子图像匹配的情况下,确定所述第一对象没发生异常;
在所述第二图像与所述第二目标图像中的第一目标子图像不匹配的情况下,将所述第二图像和所述第二目标图像中的第二目标子图像进行匹配处理;其中,所述第二目标子图像为包括多个异常图像的图像集合;
若所述第二图像与所述第二目标子图像中的任一异常图像匹配,确定所述第一对象发生异常,并基于匹配的异常图像确定所述第一对象的异常类型。
上述方案中,所述获取具有第一对象的第一图像,包括:
获取具有第二对象的第三图像;其中,所述第二对象中包括所述第一对象;
基于所述第一对象的参数,从所述第三图像中提取所述第一图像。
上述方案中,所述基于所述第一对象的参数,从所述第三图像中提取所述第一图像,包括:
获取所述第三图像中第一对象相对于所述第二对象的位置参数;
基于所述位置参数,从对所述第三图像中提取所述第一对象对应的第一图像。
上述方案中,所述方法还包括:
在所述第一对象发生异常的情况下,确定发生异常的第一对象相对于所述第二对象的目标位置参数;
基于所述目标位置参数生成异常提示信息并显示;其中,所述异常提示信息用于提示目标位置参数处的第一对象发生异常。
一种图像处理装置,所述装置包括:
获取单元,用于获取具有第一对象的第一图像;其中,所述第一图像为高度图;
所述处理单元,用于对所述第一图像进行转换处理,得到第二图像;其中,所述第二图像为灰度图;
所述处理单元,还用于基于所述第一图像、所述第二图像和目标图像,确定所述第一对象是否发生异常。
本申请实施例所提供的图像处理方法及装置,获取具有第一对象的第一图像;其中,第一图像为高度图;对第一图像进行转换处理,得到第二图像;其中,第二图像为灰度图;基于第一图像、第二图像和目标图像,确定第一对象是否发生异常,如此,只需要获取高度图,通过对高度图进行处理便可以检测第一对象是否发生异常,不需要像相关技术中需要同时获取高度图和亮度图来确定第一对象是否发生异常,缩短了确定第一对象是否发生异常的时间;而且,高度图中高度信息并不会受第一对象表面反射光线的影响,从而保证了获取的高度图的清晰度,通过对高度图进行处理得到的灰度图的清晰度也并不会受到影响,提高了确定第一对象是否发生异常的准确率。
附图说明
图1为本申请一实施例的一种图像处理方法的流程示意图;
图2为本申请另一实施例提供的一种图像处理方法的流程示意图;
图3为本申请另一实施例提供的一种高度图直接转换得到的灰度图的示意图;
图4为本申请另一实施例提供的一种高度图优化转换得到的灰度图的示意图;
图5为本申请一实施例提供的一种图像处理装置的结构示意图;
图6为本申请一实施例提供的一种图像处理设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
本申请实施例提供一种图像处理方法,该方法应用于图像处理设备,如图1所示,该方法包括以下步骤:
S101、获取具有第一对象的第一图像。
其中,第一图像为高度图,该高度图中包括第一对象的高度信息;高度图中每一个像素点的像素值也可以称之为高度值。
在一种可行的实现方式中,若第一图像为16bit(16位)的高度图,此时,像素的等级为65536(2的16次方),像素值的取值范围可以为0~65535,每个像素的等级表示不同的高度。
在本申请实施例中,图像处理设备可以为具有图像采集和处理功能的设备;第一图像可以是由激光轮廓仪采集后并发送至图像处理设备的;第一图像还可以是由图像处理设备采用自己的图像采集器直接采集的;第一图像可以是针对一个第一对象对应的实体部件采集的高度图;第一图像还可以是针对多个第一对象所在的实体部件采集的高度图。
在一种可行的实现方式中,第一对象为螺丝,第一图像可以为针对键盘上的一个螺丝采集的高度图;第一图像还可以为针对键盘上的多个螺丝采集的高度图。
S102、对第一图像进行转换处理,得到第二图像。
其中,第二图像为灰度图;该灰度图中每个像素点的像素值是由高度图中的高度信息转换而来的;即该灰度图中是由高度信息来表示灰度的。
在本申请实施例中,对第一图像进行转换处理,可以通过调整第一图像中每个像素点的像素值来实现。
具体地,图像处理设备可以获取第一图像中多个像素点的像素值,基于每个像素点的像素值的大小,来调整第一图像中的多个像素点的像素值,得到第二图像。
需要说明的是,相关技术中的亮度图是由激光轮廓仪扫描第一对象对应的实体部件时直接获取的图像,亮度图中的亮度值(像素值)会受第一对象对应的实体部件表面的反射光线的影响,且激光轮廓仪扫描第一对象对应的实体部件后生成高度图和亮度图需要较长的时间;而本申请实施例中的灰度图是对高度图进行转换后得到的,高度图中的高度值是不受第一对象表面反射光线(亮度)影响的,因此,通过高度图转换得到的灰度图的清晰度,明显比相关技术中的亮度图的清晰度高,且只需要生成高度图,也可以节省大量的时间。
S103、基于第一图像、第二图像和目标图像,确定第一对象是否发生异常。
其中,第一对象可以为螺丝;第一对象发生异常包括但不限于第一对象的形态发生改变和第一对象的高度(第一对象的位置)发生改变。
在本申请实施例中,图像处理设备确定第一对象是否发生异常,既需要确定第一对象的形态是否发生改变,又需要确定第一对象的高度是否发生改变。
在一种可行的实现方式中,图像处理设备可以从目标图像中提取第一对象的高度,并基于从目标图像中提取的第一对象的高度来确定第一对象未发生异常时的目标高度范围,之后基于第一图像确定的第一对象的高度和目标高度范围,判断第一图像中第一对象的高度是否在目标高度范围之内,若第一图像中第一对象的高度在目标高度范围之内,确定第一图像中的第一对象的高度未发生异常;图像处理设备还可以采用目标图像对预设分类模型进行训练,得到第一对象检测模型,之后采用第一对象检测模型对第二图像中的第一对象进行视觉检测,确定第二图像中的第一对象的形态是否发生改变;在图像处理设备确定第一对象的高度和形态均未发生改变的情况下,确定第一对象未发生异常。
本申请实施例所提供的图像处理方法,获取具有第一对象的第一图像;其中,第一图像为高度图;对第一图像进行转换处理,得到第二图像;其中,第二图像为灰度图;基于第一图像、第二图像和目标图像,确定第一对象是否发生异常,如此,只需要获取高度图,通过对高度图进行处理便可以检测第一对象是否发生异常,不需要像相关技术中需要同时获取高度图和亮度图来确定第一对象是否发生异常,缩短了确定第一对象是否发生异常的时间;而且,高度图中高度信息并不会受第一对象表面反射光线的影响,从而保证了获取的高度图的清晰度,通过对高度图进行处理得到的灰度图的清晰度也并不会受到影响,提高了确定第一对象是否发生异常的准确率。
基于前述实施例,本申请实施例提供一种图像处理方法,参照图2所示,该方法包括以下步骤:
S201、图像处理设备获取具有第二对象的第三图像。
其中,第二对象中包括第一对象;第三图像可以是针对第二对象对应的实体部件采集的高度图;第一图像可以是图像处理设备从第三图像中提取的第一对象所在区域对应的图像。
在一种可行的实现方式中,第二对象为键盘,第一对象为键盘上锁附的螺丝;第三图像可以是激光轮廓仪对键盘进行扫描后得到的键盘的高度图,之后由激光轮廓仪发送键盘的高度图至图像处理设备的。
S202、图像处理设备基于第一对象的参数,从第三图像中提取第一图像。
其中,第一对象的参数包括但不限于第一对象的位置参数;从第三图像提取的第一图像的数量可以为多个;第一图像中第一对象的数量可以为一个,也可以为多个。
在本申请实施例中,图像处理设备可以基于第一对象的参数,定位第三图像中第一对象所在的位置,之后基于相邻两个第一对象所在的位置确定第一对象的所在的目标区域。
需要说明的是,当第一图像中包括多个第一对象时,图像处理设备可以同时判断多个第一对象是否发生异常,减少了确定多个第一对象是否发生异常的时间;当第一图像中只包括一个第一对象时,图像处理设备可以只判断一个第一对象是否发生异常,此时,检测该第一图像中的第一对象是否发生异常时,并不受其它第一对象的影响,进一步可以提高确定第一对象是否发生异常的准确率。
优选地,基于每个第一对象的参数,从第三图像中提取每个第一对象对应的第一图像;其中,第一图像的个数与第一对象的个数相对应。
在本申请实施例中,S202可以通过S202a和S202b来实现。
S202a、图像处理设备获取第三图像中第一对象相对于第二对象的位置参数。
在本申请实施例中,第三图像中第一对象相对于第二对象的位置参数可以是根据第二对象对应的实体部件中,第一对象对应的实体部件相对于第二对象对应的实体部件的位置来确定。
在一种可行的实现方式中,实体键盘上每个螺丝相对于键盘的位置均可以通过测量得到,当图像处理设备获取第三图像后,可以基于第三图像中键盘的尺寸和实体键盘的尺寸确定缩放比例,之后基于缩放比例和实体键盘上螺丝相对于键盘位置,确定第三图像中螺丝相对于键盘的位置。
S202b、图像处理设备基于位置参数,从第三图像中提取第一对象对应的第一图像。
在本申请实施例中,图像处理设备可以基于位置参数,确定第三图像中第一对象的位置,之后基于预设尺寸范围从第三图像中确定第一对象的区域,基于第一对象的区域得到第一图像。其中,预设尺寸范围包括:预设长度范围和预设宽度范围。
在一种可行的实现方式中,图像处理设备基于螺丝的位置参数来确定该位置参数对应的第三图像中螺丝的位置,之后可以基于预设长度范围和预设宽度范围确定第三图像中螺丝区域,从第三图像中分离该螺丝区域对应的图像,并将分离得到的该螺丝区域对应的图像作为第一图像。其中,该第一图像中只具有一个螺丝。
S203、图像处理设备确定第一图像中像素点的最小像素值和最大像素值。
在本申请实施例中,图像处理设备可以获取第一图像中每个像素点的像素值,基于每个像素点的像素值的大小,确定多个像素点的像素值中的最大像素值和最小像素值。
S204、图像处理设备在最小像素值不为零的情况下,基于最小像素值、最大像素值,对第一图像中每个像素点的像素值进行设置得到第二图像。
在本申请实施例中,图像处理设备可以获取第一图像中每个像素点的像素值,将每个像素点的像素值、最大像素值和最小像素值代入目标转换公式来得到第一图像中每个像素点对应的目标转换像素值,基于每个像素点对应的目标转换像素值对多个像素点的像素值进行重新设置,最终得到第二图像;其中,目标转换公式如(1)所示:
h2=(h1-min)*N/(max-min) (1)
其中,h1表示第一图像中任一像素点a的像素值;h2表示像素点a对应的目标转换像素值;min表示第一图像中像素点的最小像素值,min大于0;max表示第一图像中像素点的最大像素值;其中,N指的是转换后的图像中的像素的等级。
在一种可行的实现方式中,若第一图像为16bit的高度图,图像处理设备可以将16bit的高度图转换为8bit的高度图,并将转换后得到的8bit的高度图作为第二图像(灰度图),则目标转换公式可以如(2)所示:
h8=(h-min)*255/(max-min) (2)
其中,h8表示转换后的8bit的灰度图中任一像素点b的像素值(即16bit的高度图中任一像素点b的目标转换像素值),h表示16bit的高度图中任一像素点b的像素值;min表示16bit的高度图中像素点的最小像素值;max表示16bit的高度图中像素点的最大像素值;255指的是8bit的高度图(灰度图)的像素的等级(2的8次方)。
需要说明的是,当最小像素值不为0时,图像处理设备还可以基于预设目标像素值来确定最小像素值是否有效,若最小像素值大于预设目标像素值,则确定最小像素值有效;若最小像素值小于预设目标像素值,图像处理设备可以在预设目标像素值至最大像素值之间的像素值中重新确定最小像素值,并将重新确定的最小像素值和最大像素值代入目标转换公式中,来计算第一图像中每个像素点对应的目标转换像素值,来提高确定的目标转换像素值的有效性。
S205、图像处理设备在最小像素值为零的情况下,基于第一目标像素值从第一图像的像素点的像素值中确定第二目标像素值。
其中,第一目标像素值是图像处理设备基于第一图像中多个像素点的像素值的分布规律确定的;在最小像素值为零的情况下,图像处理设备可以确定该最小像素值无效,之后基于第一目标像素值重新确定第二目标像素值,该第二目标像素值即为重新确定的有效的最小像素值。
在本申请实施例中,在最小像素值为零的情况下,图像处理设备可以对第一图像的多个像素点的像素值进行排序,并从排序后的像素值中选择大于第一目标像素值的多个像素值,之后从大于第一目标像素值的多个像素值中重新确定最小像素值,并将重新确定的最小像素值作为第二目标像素值。
在一种可行的实现方式中,图像处理设备若要将16bit的高度图转换为8bit的灰度图时,若最小像素值为0的情况下,直接将16bit的高度图中每个像素点的像素值进行映射,得到8bit的灰度图,则8bit的灰度图中像素点会在像素值为0的区域进行扎堆,影响得到的8bit的灰度图的清晰度;如图3所示,明显可以看出直接将16bit的高度图进行转换得到的8bit的灰度图的清晰度不高,若通过该灰度图确定第一对象是否异常,则会影响确定第一对象是否异常的准确率。因此,图像处理设备可以在16bit的高度图中第一目标像素值至最大像素值之间的像素值中,重新确定最小像素值,重新确定的最小像素值即为第二目标像素值,通过重新确定的第二目标像素值来对16bit的高度图中的像素值进行调整,以避免转换后8bit的灰度图的清晰度降低出现模糊的现象。
S206、图像处理设备基于第二目标像素值和最大像素值,对第一图像中每个像素点的像素值进行处理,得到第二图像。
在本申请实施例中,图像处理设备可以获取第一图像中每个像素点的像素值,并将最大像素值和第二目标像素值代入目标转换公式来计算第一图像中每个像素点对应的目标转换像素值,基于每个像素点对应的目标转换像素值对第一图像中多个像素点的像素值进行重新设置,最终得到第二图像。
需要说明的是,如图4所示,明显可以看到采用本申请实施例提供的图像处理方法,基于第二目标像素值和最大像素值,对第一图像中每个像素点的像素值进行处理后,得到的灰度图的清晰度相比于图3中直接转换得到的灰度图而言,清晰度明显提高,进一步提高了确定第一对象是否异常的准确率。
在本申请实施例中,S206可以通过S206a来实现。
S206a、图像处理设备设置第一图像中像素点的像素值小于第二目标像素值的像素点的像素值为零,并基于第二目标像素值和最大像素值对第一图像中像素点的像素值大于或等于第二目标像素值的像素点的像素值进行设置,得到第二图像。
在本申请实施例中,图像处理设备可以将第一图像中像素点的像素值小于第二目标像素值的像素点的像素值设置为零;之后对第一图像中像素点的像素值大于或等于第二目标像素值的像素点的像素值进行重新设置,具体可以将最大像素值、第二目标像素值代入目标转换公式,来计算第一图像中像素点的像素值大于或等于第二目标像素值的像素点对应的目标转换像素值,基于每个目标转换像素值对第一图像中像素点的像素值大于或等于第二目标像素值的多个像素点的像素值进行设置,最终可以得到第二图像。
在一种可行的实现方式中,第二目标像素值可以为29000,对于第一图像中像素点的像素值小于29000的像素点,将该像素点的像素值设置为0;之后对于第一图像中像素点的像素值大于或等于29000的像素点,可以将第二目标像素值、最大像素值代入目标转换公式,来计算第一图像中像素点的像素值大于或等于29000的每个像素点对应的目标转换像素值,并将第一图像中像素点的像素值大于或等于29000的每个像素点对应的像素值设置为该像素点对应的目标转换像素值。其中,目标转换公式中min为第二目标像素值。
S207、图像处理设备基于第一图像和目标图像中的第一目标图像,对第一图像中的第一对象的高度信息进行分析,确定第一对象是否发生异常。
其中,第一目标图像包括第一对象的高度发生改变时对应的图像和正常图像,正常图像表征第一对象的形态和高度均为发生改变的图像。
在本申请实施例中,图像处理设备可以从第一目标图像中确定每个正常图像对应的第一对象的高度,并从第一对象的高度发生改变时对应的图像中获取每个第一对象对应的高度,之后基于正常图像中第一对象的高度和第一对象的高度发生改变时对应的图像中的第一对象的高度,确定第一对象的高度未发生改变时的目标高度范围;图像处理设备基于第一图像确定第一图像中第一对象的高度,之后判断第一图像中第一对象的高度是否在目标高度范围之内,若第一图像中第一对象的高度在目标高度范围之内,则判断第一对象未发生异常;若第一对象的高度在目标高度范围之外,则判断第一对象发生异常。
需要说明的是,确定第一对象是否发生异常,既要确定第一对象的高度是否发生改变,又要确定第一对象的形态是否发生改变,当第一对象的高度和形态均未发生改变时确定第一对象未发生异常。
S208、图像处理设备基于第二图像和目标图像中的第二目标图像,对第二图像中的第一对象进行分析,确定第一对象是否发生异常。
其中,第二目标图像至少包括第一对象的形态发生改变时对应的图像和正常图像;对第二图像中的第一对象进行分析确定的是第一对象的形态是否发生异常。
在一种可行的实现方式中,图像处理设备可以基于目标图像中的多个正常图像和螺丝的形态发生改变对应的图像对预设分类模型进行训练,得到螺丝检测模型;采用螺丝检测模型对第二图像进行检测,确定第二图像中的螺丝的形态是否发生改变。其中,螺丝的形态发生改变可以表现为螺丝漏锁和螺丝头拧花。
需要说明的是,S207和S208可以同时执行;S207还可以在S208之前执行;S207还可以在S208之后执行。在本申请实施例中,S207可以确定第一对象的高度是否发生异常,S208可以确定第一对象的形态是否发生改变,当S207和S208确定第一对象的高度和形态均未发生改变的情况下,确定第一对象未发生异常。
在本申请实施例中,S208可以通过S208a、S208b和S208c来实现。
S208a、图像处理设备在第二图像与第二目标图像中的第一目标子图像匹配的情况下,确定第一对象没发生异常。
其中,第二目标图像中的第一目标子图像为正常图像。
需要说明的是,在第二图像与第二目标图像中的第一目标子图像匹配的情况下,第一对象没发生异常表示的是第一对象的形态未发生改变。
S208b、在第二图像与第二目标图像中的第一目标子图像不匹配的情况下,图像处理设备将第二图像和第二目标图像中的第二目标子图像进行匹配处理。
其中,第二目标子图像为包括多个异常图像的图像集合。
在本申请实施例中,在第二图像与第二目标图像中的第一目标子图像不匹配的情况下,图像处理设备可以确定第二图像异常,之后可以将第二图像与第二目标子图像进行匹配处理,若第二图像与第二目标子图像中的任一异常图像匹配,确定匹配的异常图像;若第二图像与第二目标子图像中的任一异常图像不匹配,则将第二图像作为异常图像并添加至第二目标子图像中,以更新第二目标子图像中的异常图像。
S208c、若第二图像与第二目标子图像中的任一异常图像匹配,图像处理设备确定第一对象发生异常,并基于匹配的异常图像确定第一对象的异常类型。
其中,异常图像包括:第一对象的形态发生改变的图像。
在一种可行的实现方式中,第一对象的形态发生改变的图像可以包括但不限于螺丝漏锁对应的图像和螺丝头拧花对应的图像;异常类型包括但不限于:螺丝漏锁和螺丝头拧花。
在本申请实施例中,若第二图像与第二目标子图像中的任一异常图像匹配,确定与第二图像匹配的异常图像,图像处理设备可以基于与第二图像匹配的异常图像的异常类型来确定第二图像的异常类型。
在一种可行的实现方式中,若第二图像与螺丝漏锁对应的图像匹配,则可以基于螺丝漏锁对应的图像确定第二图像的异常类型为螺丝漏锁。
基于前述实施例,本申请的实施例提供一种图像处理方法,参照图2所示,该方法包括以下步骤:
S209、图像处理设备在第一对象发生异常的情况下,确定发生异常的第一对象相对于第二对象的目标位置参数。
其中,目标位置参数表征第二对象对应的实体设备中第一对象相对于第二对象的目标位置参数。
在本申请实施例中,图像处理设备确定第一对象发生异常的情况下,获取之前确定的第三图像中第一对象相对于第二对象的位置参数,基于第三图像中第一对象相对于第二对象的位置参数,确定第二对象对应的实体设备中第一对象相对于第二对象的目标位置参数。
S210、图像处理设备基于目标位置参数生成异常提示信息并显示。
其中,异常提示信息用于提示目标位置参数处的第一对象发生异常;异常提示信息中还可以包括第一对象发生异常的异常类型。
在本申请实施例中,图像处理设备基于目标位置参数生成异常提示信息并显示,以及时告知用户实体键盘上具体是哪一个螺丝发生异常,以便用户查看纠正异常。
需要说明的是,本实施例中与其它实施例中相同步骤和相同内容的说明,可以参照其它实施例中的描述,此处不再赘述。
本申请实施例所提供的图像处理方法,只需要获取高度图,通过对高度图进行处理便可以检测第一对象是否发生异常,不需要像相关技术中需要同时获取高度图和亮度图来确定第一对象是否发生异常,缩短了确定第一对象是否发生异常的时间;而且,高度图中高度信息并不会受第一对象表面反射光线的影响,从而保证了获取的高度图的清晰度,通过对高度图进行处理得到的灰度图的清晰度也并不会受到影响,提高了确定第一对象是否发生异常的准确率。
基于前述实施例,本申请实施例提供一种图像处理装置,该图像处理装置可以应用于图1-图2对应的实施例提供的图像处理方法中,参照图5所示,该图像处理装置3包括:
获取单元31,用于获取具有第一对象的第一图像;其中,第一图像为高度图;
处理单元32,用于对第一图像进行转换处理,得到第二图像;其中,第二图像为灰度图;
处理单元32,还用于基于第一图像、第二图像和目标图像,确定第一对象是否发生异常。
在本申请实施例中,参考图5,处理单元32还用于执行以下步骤:
确定第一图像中像素点的最小像素值和最大像素值;
在最小像素值不为零的情况下,基于最小像素值、最大像素值,对第一图像中每个像素点的像素值进行设置得到第二图像。
在本申请实施例中,参考图5,处理单元32还用于执行以下步骤:
在最小像素值为零的情况下,基于第一目标像素值从第一图像的像素点的像素值中确定第二目标像素值;
基于第二目标像素值和最大像素值,对第一图像中每个像素点的像素值进行处理,得到第二图像。
在本申请实施例中,参考图5,处理单元32还用于执行以下步骤:
设置第一图像中像素点的像素值小于第二目标像素值的像素点的像素值为零,并基于第二目标像素值和最大像素值对第一图像中像素点的像素值大于或等于第二目标像素值的像素点的像素值进行设置,得到第二图像。
在本申请实施例中,参考图5,处理单元32还用于执行以下步骤:
基于第一图像和目标图像中的第一目标图像,对第一图像中的第一对象的高度信息进行分析,确定第一对象是否发生异常;
基于第二图像和目标图像中的第二目标图像,对第二图像中的第一对象进行分析,确定第一对象是否发生异常。
本申请实施例中,参考图5,处理单元32还用于执行以下步骤:
在第二图像与第二目标图像中的第一目标子图像匹配的情况下,确定第一对象没发生异常;
在第二图像与第二目标图像中的第一目标子图像不匹配的情况下,将第二图像和第二目标图像中的第二目标子图像进行匹配处理;其中,第二目标子图像为包括多个异常图像的图像集合;
若第二图像与第二目标子图像中的任一异常图像匹配,确定第一对象发生异常,并基于匹配的异常图像确定第一对象的异常类型。
本申请实施例中,参考图5,获取单元31还用于执行以下步骤:
获取具有第二对象的第三图像;其中,第二对象中包括第一对象;
基于第一对象的参数,从第三图像中提取第一图像。
本申请实施例中,参考图5,获取单元31还用于执行以下步骤:
获取第三图像中第一对象相对于第二对象的位置参数;
基于位置参数,从第三图像中提取第一对象对应的第一图像。
本申请实施例中,参考图5,处理单元32还用于执行以下步骤:
在第一对象发生异常的情况下,确定发生异常的第一对象相对于第二对象的目标位置参数;
基于目标位置参数生成异常提示信息并显示;其中,异常提示信息用于提示目标位置参数处的第一对象发生异常。
需要说明的是,本申请实施例中各单元之间的交互过程,可以参照图1-图2对应的实施例提供的图像处理方法的实现过程,此处不再赘述。
本申请实施例所提供的图像处理装置,只需要获取高度图,通过对高度图进行处理便可以检测第一对象是否发生异常,不需要像相关技术中需要同时获取高度图和亮度图来确定第一对象是否发生异常,缩短了确定第一对象是否发生异常的时间;而且,高度图中高度信息并不会受第一对象表面反射光线的影响,从而保证了获取的高度图的清晰度,通过对高度图进行处理得到的灰度图的清晰度也并不会受到影响,提高了确定第一对象是否发生异常的准确率。
基于前述实施例,本申请的实施例提供一种图像处理设备,该图像处理设备可以应用于图1-图2对应的实施例提供的图像处理方法中,参照图6所示,该图像处理设备4包括:存储器41、处理器42和通信总线43;
通信总线43用于实现处理器42和存储器41之间的通信连接;
处理器42用于执行存储器41中存储的图像处理程序,以实现以下步骤:
获取具有第一对象的第一图像;其中,第一图像为高度图;
对第一图像进行转换处理,得到第二图像;其中,第二图像为灰度图;
基于第一图像、第二图像和目标图像,确定第一对象是否发生异常。
在本申请的其他实施例中,处理器42,用于执行存储器41中存储的可执行指令,以实现以下步骤:
确定第一图像中像素点的最小像素值和最大像素值;
在最小像素值不为零的情况下,基于最小像素值、最大像素值,对第一图像中每个像素点的像素值进行设置得到第二图像。
在本申请的其他实施例中,处理器42,用于执行存储器41中存储的可执行指令,以实现以下步骤:
在最小像素值为零的情况下,基于第一目标像素值从第一图像的像素点的像素值中确定第二目标像素值;
基于第二目标像素值和最大像素值,对第一图像中每个像素点的像素值进行处理,得到第二图像。
在本申请的其他实施例中,处理器42,用于执行存储器41中存储的可执行指令,以实现以下步骤:
设置第一图像中像素点的像素值小于第二目标像素值的像素点的像素值为零,并基于第二目标像素值和最大像素值对第一图像中像素点的像素值大于或等于第二目标像素值的像素点的像素值进行设置,得到第二图像。
在本申请的其他实施例中,处理器42,用于执行存储器41中存储的可执行指令,以实现以下步骤:
基于第一图像和目标图像中的第一目标图像,对第一图像中的第一对象的高度信息进行分析,确定第一对象是否发生异常;
基于第二图像和目标图像中的第二目标图像,对第二图像中的第一对象进行分析,确定第一对象是否发生异常。
在本申请的其他实施例中,处理器42,用于执行存储器41中存储的可执行指令,以实现以下步骤:
在第二图像与第二目标图像中的第一目标子图像匹配的情况下,确定第一对象没发生异常;
在第二图像与第二目标图像中的第一目标子图像不匹配的情况下,将第二图像和第二目标图像中的第二目标子图像进行匹配处理;其中,第二目标子图像为包括多个异常图像的图像集合;
若第二图像与第二目标子图像中的任一异常图像匹配,确定第一对象发生异常,并基于匹配的异常图像确定第一对象的异常类型。
在本申请的其他实施例中,处理器42,用于执行存储器41中存储的可执行指令,以实现以下步骤:
获取具有第二对象的第三图像;其中,第二对象中包括第一对象;
基于第一对象的参数,从第三图像中提取第一图像。
在本申请的其他实施例中,处理器42,用于执行存储器41中存储的可执行指令,以实现以下步骤:
获取第三图像中第一对象相对于第二对象的位置参数;
基于位置参数,从第三图像中提取第一对象对应的第一图像。
在本申请的其他实施例中,处理器42,用于执行存储器41中存储的可执行指令,以实现以下步骤:
在第一对象发生异常的情况下,确定发生异常的第一对象相对于第二对象的目标位置参数;
基于目标位置参数生成异常提示信息并显示;其中,异常提示信息用于提示目标位置参数处的第一对象发生异常。
需要说明的是,本申请实施例中处理器42所执行的步骤的具体实现过程,可以参照图1~2对应的实施例提供的图像处理方法中的实现过程,此处不再赘述。
本申请实施例所提供的图像处理设备,只需要获取高度图,通过对高度图进行处理便可以检测第一对象是否发生异常,不需要像相关技术中需要同时获取高度图和亮度图来确定第一对象是否发生异常,缩短了确定第一对象是否发生异常的时间;而且,高度图中高度信息并不会受第一对象表面反射光线的影响,从而保证了获取的高度图的清晰度,通过对高度图进行处理得到的灰度图的清晰度也并不会受到影响,提高了确定第一对象是否发生异常的准确率。
基于前述实施例,本申请实施例提供一种计算机可读存储介质,该计算机可读存储介质存储有一个或者多个程序,该一个或者多个程序可被一个或者多个处理器执行,以实现图1~2对应的实施例提供的图像处理方法中的步骤。
需要说明的是,上述计算机可读存储介质可以是只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory,FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory,CD-ROM)等存储器;也可以是包括上述存储器之一或任意组合的各种电子设备,如移动电话、计算机、平板设备、个人数字助理等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所描述的方法。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种图像处理方法,所述方法包括:
获取具有第一对象的第一图像;其中,所述第一图像为高度图;
对所述第一图像进行转换处理,得到第二图像;其中,所述第二图像为灰度图;
基于所述第一图像、所述第二图像和目标图像,确定所述第一对象是否发生异常。
2.根据权利要求1所述的方法,其特征在于,所述对所述第一图像进行转换处理,得到第二图像,包括:
确定所述第一图像中像素点的最小像素值和最大像素值;
在所述最小像素值不为零的情况下,基于所述最小像素值、所述最大像素值,对所述第一图像中每个像素点的像素值进行设置得到所述第二图像。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
在所述最小像素值为零的情况下,基于第一目标像素值从所述第一图像的像素点的像素值中确定第二目标像素值;
基于所述第二目标像素值和所述最大像素值,对所述第一图像中每个像素点的像素值进行处理,得到所述第二图像。
4.根据权利要求3所述的方法,其特征在于,所述基于所述第二目标像素值和所述最大像素值,对所述第一图像中每个像素点的像素值进行处理,得到所述第二图像,包括:
设置所述第一图像中像素点的像素值小于所述第二目标像素值的像素点的像素值为零,并基于所述第二目标像素值和所述最大像素值对所述第一图像中像素点的像素值大于或等于所述第二目标像素值的像素点的像素值进行设置,得到所述第二图像。
5.根据权利要求1所述的方法,其特征在于,所述基于所述第一图像、所述第二图像和目标图像,确定所述第一对象是否发生异常,包括:
基于所述第一图像和所述目标图像中的第一目标图像,对所述第一图像中的第一对象的高度信息进行分析,确定所述第一对象是否发生异常;
基于所述第二图像和所述目标图像中的第二目标图像,对所述第二图像中的第一对象进行分析,确定所述第一对象是否发生异常。
6.根据权利要求5所述的方法,其特征在于,所述基于所述第二图像和所述目标图像中的第二目标图像,对所述第二图像中的第一对象进行分析,确定所述第一对象是否发生异常,包括:
在所述第二图像与所述第二目标图像中的第一目标子图像匹配的情况下,确定所述第一对象没发生异常;
在所述第二图像与所述第二目标图像中的第一目标子图像不匹配的情况下,将所述第二图像和所述第二目标图像中的第二目标子图像进行匹配处理;其中,所述第二目标子图像为包括多个异常图像的图像集合;
若所述第二图像与所述第二目标子图像中的任一异常图像匹配,确定所述第一对象发生异常,并基于匹配的异常图像确定所述第一对象的异常类型。
7.根据权利要求1所述的方法,其特征在于,所述获取具有第一对象的第一图像,包括:
获取具有第二对象的第三图像;其中,所述第二对象中包括所述第一对象;
基于所述第一对象的参数,从所述第三图像中提取所述第一图像。
8.根据权利要求7所述的方法,其特征在于,所述基于所述第一对象的参数,从所述第三图像中提取所述第一图像,包括:
获取所述第三图像中第一对象相对于所述第二对象的位置参数;
基于所述位置参数,从所述第三图像中提取所述第一对象对应的第一图像。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
在所述第一对象发生异常的情况下,确定发生异常的第一对象相对于所述第二对象的目标位置参数;
基于所述目标位置参数生成异常提示信息并显示;其中,所述异常提示信息用于提示目标位置参数处的第一对象发生异常。
10.一种图像处理装置,其特征在于,所述装置包括:
获取单元,用于获取具有第一对象的第一图像;其中,所述第一图像为高度图;
所述处理单元,用于对所述第一图像进行转换处理,得到第二图像;其中,所述第二图像为灰度图;
所述处理单元,还用于基于所述第一图像、所述第二图像和目标图像,确定所述第一对象是否发生异常。
CN202110287583.0A 2021-03-17 2021-03-17 一种图像处理方法及装置 Pending CN113129264A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110287583.0A CN113129264A (zh) 2021-03-17 2021-03-17 一种图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110287583.0A CN113129264A (zh) 2021-03-17 2021-03-17 一种图像处理方法及装置

Publications (1)

Publication Number Publication Date
CN113129264A true CN113129264A (zh) 2021-07-16

Family

ID=76773310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110287583.0A Pending CN113129264A (zh) 2021-03-17 2021-03-17 一种图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN113129264A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050264796A1 (en) * 2003-09-10 2005-12-01 Shaw Eugene L Non-destructive testing and imaging
CN106680287A (zh) * 2016-12-28 2017-05-17 无锡浩远视觉科技有限公司 一种轴承铆钉台阶缺陷的视觉检测方法
CN106932005A (zh) * 2015-12-30 2017-07-07 希姆通信息技术(上海)有限公司 一种移动终端上螺丝的视觉检测方法及控制设备
CN110136130A (zh) * 2019-05-23 2019-08-16 北京阿丘机器人科技有限公司 一种检测产品缺陷的方法及装置
CN111340749A (zh) * 2018-12-17 2020-06-26 顺丰科技有限公司 图像质量的检测方法、装置、设备及存储介质
CN111598959A (zh) * 2020-06-28 2020-08-28 中国科学院深圳先进技术研究院 光学成像系统的标定靶标和标定方法
CN111753791A (zh) * 2020-06-30 2020-10-09 联想(北京)有限公司 一种检测方法及检测设备
US20210056324A1 (en) * 2018-10-24 2021-02-25 Tencent Technology (Shenzhen) Company Limited Obstacle recognition method and apparatus, storage medium, and electronic device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050264796A1 (en) * 2003-09-10 2005-12-01 Shaw Eugene L Non-destructive testing and imaging
CN106932005A (zh) * 2015-12-30 2017-07-07 希姆通信息技术(上海)有限公司 一种移动终端上螺丝的视觉检测方法及控制设备
CN106680287A (zh) * 2016-12-28 2017-05-17 无锡浩远视觉科技有限公司 一种轴承铆钉台阶缺陷的视觉检测方法
US20210056324A1 (en) * 2018-10-24 2021-02-25 Tencent Technology (Shenzhen) Company Limited Obstacle recognition method and apparatus, storage medium, and electronic device
CN111340749A (zh) * 2018-12-17 2020-06-26 顺丰科技有限公司 图像质量的检测方法、装置、设备及存储介质
CN110136130A (zh) * 2019-05-23 2019-08-16 北京阿丘机器人科技有限公司 一种检测产品缺陷的方法及装置
CN111598959A (zh) * 2020-06-28 2020-08-28 中国科学院深圳先进技术研究院 光学成像系统的标定靶标和标定方法
CN111753791A (zh) * 2020-06-30 2020-10-09 联想(北京)有限公司 一种检测方法及检测设备

Similar Documents

Publication Publication Date Title
CN109859227B (zh) 翻拍图像检测方法、装置、计算机设备及存储介质
CN109740417B (zh) 发票类型识别方法、装置、存储介质和计算机设备
CN108961260B (zh) 图像二值化方法及装置、计算机存储介质
CN112561890A (zh) 图像清晰度的计算方法、装置和计算机设备
CN111461100A (zh) 一种票据识别方法、装置、电子设备和存储介质
CN112183146A (zh) 一种条形码的扫描方法、装置、扫描系统及存储介质
CN112053427A (zh) 一种点云的特征提取方法、装置、设备及可读存储介质
CN113052754B (zh) 一种图片背景虚化的方法及装置
CN107563986B (zh) 图像区域的判断方法和系统
CN111539238A (zh) 二维码图像修复方法、装置、计算机设备和存储介质
CN110210467B (zh) 一种文本图像的公式定位方法、图像处理装置、存储介质
CN111489344A (zh) 一种图像清晰度的确定方法、系统及相关装置
CN111209908A (zh) 更新标注框的方法、装置、存储介质和计算机设备
CN111507165A (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
CN106951902B (zh) 一种图像二值化处理方法及装置
CN113129264A (zh) 一种图像处理方法及装置
Zhang et al. An Improved Algorithm for QR Code Image Binarization
CN115661131B (zh) 一种图像识别方法、装置、电子设备及存储介质
CN109559707B (zh) 显示面板的伽马值处理方法、装置及显示设备
CN115760653A (zh) 图像校正方法、装置、设备及可读存储介质
JP2007316950A (ja) 画像処理方法及び装置及びプログラム
CN114937037A (zh) 产品缺陷检测方法、装置、设备及可读存储介质
CN110895849A (zh) 冠字号切割定位方法、装置、计算机设备及存储介质
CN115965796A (zh) 一种基于图像识别的金属锈蚀检测方法及系统
CN112508925A (zh) 电子锁面板质量检测方法、系统、计算机装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination