CN108389195B - 图像检测方法及装置 - Google Patents

图像检测方法及装置 Download PDF

Info

Publication number
CN108389195B
CN108389195B CN201810158478.5A CN201810158478A CN108389195B CN 108389195 B CN108389195 B CN 108389195B CN 201810158478 A CN201810158478 A CN 201810158478A CN 108389195 B CN108389195 B CN 108389195B
Authority
CN
China
Prior art keywords
image
target
background image
background
identification area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810158478.5A
Other languages
English (en)
Other versions
CN108389195A (zh
Inventor
孟凡武
王�琦
孟祥翀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201810158478.5A priority Critical patent/CN108389195B/zh
Publication of CN108389195A publication Critical patent/CN108389195A/zh
Application granted granted Critical
Publication of CN108389195B publication Critical patent/CN108389195B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供的一种图像检测方法及装置，涉及图像技术领域。方法包括基于获取到的背景图像组中模具运动的范围而选取的所述背景图像组中各自对应的识别区域，获取目标识别区域图像及目标识别区域图像对应的M列目标像素；分别计算M列目标像素与N张背景图像中每张背景图像对应的M列像素的互相关系数，获得多个互相关系数，以获取多个互相关系数中的最大值对应的目标背景图像；将目标识别区域图像与目标背景图像进行匹配，获得匹配矩阵；根据匹配矩阵，分别对目标识别区域图像和目标背景图像进行插值、裁剪、归一化处理后，对获得的初步筛选区域进行特征检测，获得检测结果，若有异物，触发报警。检测结果稳定可靠及精度高、适用范围广。

Description

图像检测方法及装置
技术领域
本发明涉及图像技术领域，具体而言，涉及一种图像检测方法及装置。
背景技术
近年来，随着模具设计与制造技术的进步，以及对加工过程自动化、高精度、高效率和长寿命的更高要求，各类模具得到大力发展，在汽车、航空航天、仪器仪表、家电、电子、通信、军工以及日用品等多个领域的产品生产中得到广泛应用。例如级进模等都是实现半自动化、自动化的重要冲压装备，是确保加工质量稳定的一种先进模具结构形式。
实际生产中大多采取人工监测模具内部状态的方式，操作工人主要通过目视的方式观察模具内部情况，一旦发现异常，立即紧急制动。在生产效率极高的自动化加工生产过程中，完全依赖操作者看管整个生产过程，发现并处理故障，无论在精神上，还是体力上，对操作者来说都是很大的负担和压力。由于模具零件脱落、废料溅入等问题具有偶发性和突然性，操作工人即使长时间紧盯，也很难在发生问题时及时采取应对措施，避免故障发生。一旦出现问题，轻则工件损坏，机器停产，重则导致模具的损坏，造成重大的经济损失，同时也降低了设备的生产效率。
发明内容
本发明的目的在于提供一种图像检测方法及装置，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：
第一方面，本发明实施例提供了一种图像检测方法，应用于一电子设备，所述方法包括：基于获取到的背景图像组中模具运动的范围而选取的所述背景图像组中各自对应的识别区域，获取待检测图像的目标识别区域图像及所述目标识别区域图像对应的M列目标像素，所述背景图像组包括N张背景图像，所述N张背景图像中每张所述背景图像对应的识别区域对应有M列像素；分别计算所述M列目标像素与所述N张背景图像中每张背景图像对应的M列像素的互相关系数，获得多个互相关系数，以获取所述多个互相关系数中的最大值对应的所述N张背景图像中的目标背景图像；将所述目标识别区域图像与所述目标背景图像进行匹配，获得匹配矩阵；根据所述匹配矩阵，分别对所述目标识别区域图像和所述目标背景图像进行插值、裁剪、归一化处理后，获得归一化后的所述目标识别区域图像和归一化后的所述目标背景图像；将所述归一化后的所述目标识别区域图像和所述归一化后的所述目标背景图像进行配准后再相减，获得差异图像；根据预设的灰度阈值对所述差异图像进行分割，获得分割后的所述差异图像；对所述分割后的所述差异图像进行形态学处理且根据八连通区域面积阈值筛选，获得初步筛选区域；若所述初步筛选区域中存在一个值不为预设值，对所述初步筛选区域进行特征检测，获得检测结果，所述检测结果包括所述目标识别区域图像内是否包括异物，若是，触发报警并显示所述异物的相关信息。
第二方面，本发明实施例提供了一种图像检测装置，运行于一电子设备，所述装置包括：获取单元、计算单元、匹配单元、归一化单元、相减单元、分割单元和特征识别单元。获取单元，用于基于获取到的背景图像组中模具运动的范围而选取的所述背景图像组中各自对应的识别区域，获取待检测图像的目标识别区域图像及所述目标识别区域图像对应的M列目标像素，所述背景图像组包括N张背景图像，所述N张背景图像中每张所述背景图像对应的识别区域对应有 M列像素。计算单元，用于分别计算所述M列目标像素与所述N张背景图像中每张背景图像对应的M列像素的互相关系数，获得多个互相关系数，以获取所述多个互相关系数中的最大值对应的所述N 张背景图像中的目标背景图像。匹配单元，用于将所述目标识别区域图像与所述目标背景图像进行匹配，获得匹配矩阵。归一化单元，用于根据所述匹配矩阵，分别对所述目标识别区域图像和所述目标背景图像进行插值、裁剪、归一化处理后，获得归一化后的所述目标识别区域图像和归一化后的所述目标背景图像。相减单元，用于将所述归一化后的所述目标识别区域图像和所述归一化后的所述目标背景图像进行配准后再相减，获得差异图像。分割单元，用于根据预设的灰度阈值对所述差异图像进行分割，获得分割后的所述差异图像。初步筛选单元，用于对所述分割后的所述差异图像进行形态学处理且根据八连通区域面积阈值筛选，获得初步筛选区域。特征识别单元，用于若所述初步筛选区域中存在一个值不为预设值，对所述初步筛选区域进行特征检测，获得检测结果，所述检测结果包括所述目标识别区域图像内是否包括异物，若是，触发报警并显示所述异物的相关信息。
本发明实施例提供的一种图像检测方法及装置，方法包括基于获取到的背景图像组中模具运动的范围而选取的所述背景图像组中各自对应的识别区域，获取待检测图像的目标识别区域图像及所述目标识别区域图像对应的M列目标像素，所述背景图像组包括N张背景图像，所述N张背景图像中每张所述背景图像对应的识别区域对应有M列像素；分别计算所述M列目标像素与所述N张背景图像中每张背景图像对应的M列像素的互相关系数，获得多个互相关系数，以获取所述多个互相关系数中的最大值对应的所述N张背景图像中的目标背景图像；将所述目标识别区域图像与所述目标背景图像进行匹配，获得匹配矩阵；根据所述匹配矩阵，分别对所述目标识别区域图像和所述目标背景图像进行插值、裁剪、归一化处理后，获得归一化后的所述目标识别区域图像和归一化后的所述目标背景图像；将所述归一化后的所述目标识别区域图像和所述归一化后的所述目标背景图像进行配准后再相减，获得差异图像；根据预设的灰度阈值对所述差异图像进行分割，获得分割后的所述差异图像；对所述分割后的所述差异图像进行形态学处理且根据八连通区域面积阈值筛选，获得初步筛选区域；若所述初步筛选区域中存在一个值不为预设值，对所述初步筛选区域进行特征检测，获得检测结果，所述检测结果包括所述目标识别区域图像内是否包括异物，若是，触发报警并显示所述异物的相关信息。检测结果稳定可靠、精度高、适用范围广。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为一种可应用于本发明实施例中的电子设备的结构框图；
图2为本发明实施例提供的图像检测方法的流程图；
图3为本发明实施例提供的图像检测方法中的待检测图像和背景图像示意图；
图4为本发明实施例提供的图像检测方法中检测结果中异物示意图；
图5为本发明实施例提供的图像检测装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
图1示出了一种可应用于本发明实施例中的电子设备100的结构框图。如图1所示，电子设备100可以包括存储器102、存储控制器 104、一个或多个(图1中仅示出一个)处理器106、外设接口108、输入输出模块110、音频模块112、显示模块114、射频模块116和图像检测装置。
存储器102、存储控制器104、处理器106、外设接口108、输入输出模块110、音频模块112、显示模块114、射频模块116各元件之间直接或间接地电连接，以实现数据的传输或交互。例如，这些元件之间可以通过一条或多条通讯总线或信号总线实现电连接。图像检测方法分别包括至少一个可以以软件或固件(firmware)的形式存储于存储器102中的软件功能模块，例如所述图像检测装置包括的软件功能模块或计算机程序。
存储器102可以存储各种软件程序以及模块，如本申请实施例提供的图像检测方法及装置对应的程序指令/模块。处理器106通过运行存储在存储器102中的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现本申请实施例中的图像检测方法。
存储器102可以包括但不限于随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器106可以是一种集成电路芯片，具有信号处理能力。上述处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列 (FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述外设接口108将各种输入/输出装置耦合至处理器106以及存储器102。在一些实施例中，外设接口108、处理器106以及存储控制器104可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。
输入输出模块110用于提供给用户输入数据实现用户与电子设备100的交互。所述输入输出模块110可以是，但不限于，鼠标和键盘等。
音频模块112向用户提供音频接口，其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。
显示模块114在电子设备100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示模块114可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器106进行计算和处理。
射频模块116用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通信网络或者其他设备进行通信。
电子设备100还可以包括报警模块。报警模块可以为声光报警器。
可以理解，图1所示的结构仅为示意，电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
于本发明实施例中，电子设备100可以作为用户终端，或者作为服务器。用户终端可以为PC(personal computer)电脑。
请参阅图2，本发明实施例提供了一种图像检测方法，应用于一电子设备，所述方法包括：步骤S200、步骤S210、步骤S220、步骤 S230、步骤S240、步骤S250、步骤S260和步骤S270。
步骤S200：基于获取到的背景图像组中模具运动的范围而选取的所述背景图像组中各自对应的识别区域，获取待检测图像的目标识别区域图像及所述目标识别区域图像对应的M列目标像素，所述背景图像组包括N张背景图像，所述N张背景图像中每张所述背景图像对应的识别区域对应有M列像素。M,N∈N+。
在本实施例中，在步骤S200之前，所述方法还包括：获取模具处于正常工作运行状态的一个周期的背景图像组；基于所述背景图像组中模具运行的范围，获取所述背景图像组中各自对应的识别区域；在所述背景图像组中各自对应的识别区域上设置主运动方向，且在所述主运动方向上选取每个所述识别区域对应的等间距的M列像素；对所述背景图像组中各自对应的识别区域进行SURF特征提取，获得每个所述识别区域对应的特征并将每个所述识别区域对应的特征与对应的背景图像对应存储。
具体地，电子设备初次开机，在人监控下使模具工作到达正常运行状态，获取一个完整周期的背景图像组，所述背景图像组包括N 张背景图像；在下次电子设备开机时，可以选择运用已有的背景库，也可以选择获取新的背景库；根据背景图像组中模具模芯运动的范围，选取相应的区域，即识别区域，记为Re；设置主运动方向，为所有识别区域图像所共有，且在主运动方向上自动选取识别区域图像的等间距的M列像素(M由识别区域大小所决定)。所述背景图像组中各自对应的识别区域记为Im1、Im2……ImN。若有两个或两个以上独立的运动时，可以分别设置相应的识别区域与主运动方向。也可以设置默认识别区域，在下次启动时直接选择默认识别区域和主运动方向；再对所述背景图像组中各自对应的识别区域进行SURF特征提取，获得每个所述识别区域对应的特征并将每个所述识别区域对应的特征与对应的背景图像对应存储。如图3所示的待检测图像、背景图像组，A表示异物，图3(a)为待检测图像，图3(b)为背景图像组中的背景图像。
步骤S210：分别计算所述M列目标像素与所述N张背景图像中每张背景图像对应的M列像素的互相关系数，获得多个互相关系数，以获取所述多个互相关系数中的最大值对应的所述N张背景图像中的目标背景图像。
在步骤S210之后，所述方法还包括：将所述目标背景图像作为所述N张背景图像中的第K个背景图像，获取所述N张背景图像中第K+1个背景图像与第K-1个背景图像中互相关系数较大的对应的次目标背景图像。
具体地，待检测图像的目标识别区域图像，记为Imw，与所述目标识别区域图像对应的M列目标像素。计算所述M列目标像素与所述N张背景图像中每张背景图像对应的M列像素的互相关系数，获得多个互相关系数，以获取所述多个互相关系数中的最大值对应的所述N张背景图像中的目标背景图像。所述多个互相关系数中的最大值对应的所述N张背景图像中的目标背景图像，记为Imk；将所述目标背景图像作为所述N张背景图像中的第K个背景图像，获取所述N张背景图像中第K+1个背景图像与第K-1个背景图像中互相关系数较大的对应的次目标背景图像，记为Imk’。K≤N∈N+。
步骤S220：将所述目标识别区域图像与所述目标背景图像进行匹配，获得匹配矩阵。
进一步地，基于步骤S220，对所述目标识别区域图像进行特征提取，获得所述目标识别区域图像对应的特征；基于相关系数法，将所述目标识别区域图像对应的特征与获取到的所述目标背景图像对应的识别区域对应的特征相匹配，获得匹配矩阵。
步骤S230：根据所述匹配矩阵，分别对所述目标识别区域图像和所述目标背景图像进行插值、裁剪、归一化处理后，获得归一化后的所述目标识别区域图像和归一化后的所述目标背景图像。
具体地，对所述目标识别区域图像进行特征提取，获得所述目标识别区域图像对应的特征，基于相关系数法，将所述目标识别区域图像对应的特征与获取到的所述目标背景图像对应的识别区域对应的特征相匹配，在所述目标识别区域图像对应的特征和所述目标背景图像对应的识别区域对应的特征两组数据中各选择相关系数较高的前 1/4项或前30项(取较大值)，通过这两组求得匹配矩阵，记为Match。根据匹配矩阵对分别对所述目标识别区域图像进行插值变换。插值变换后的目标识别区域图像可能由于平移而导致图像边缘部分值为0，故进行裁剪操作，再进行归一化处理消除光照的影响，获得归一化后的所述目标识别区域图像，记为Imwd(x，y)。同理，根据匹配矩阵对所述目标背景图像进行同样的操作，获得归一化后的所述目标背景图像，记为Imkd(x，y)。
步骤S240：将所述归一化后的所述目标识别区域图像和所述归一化后的所述目标背景图像进行配准后再相减，获得差异图像。
步骤S250：根据预设的灰度阈值对所述差异图像进行分割，获得分割后的所述差异图像。
步骤S260：对所述分割后的所述差异图像进行形态学处理且根据八连通区域面积阈值筛选，获得初步筛选区域。
进一步地，对所述分割后的所述差异图像进行形态学腐蚀处理且根据八连通区域面积阈值筛选，获得初步筛选区域。
具体地，将Imwd(x，y)与Imkd(x，y)进行配准后再相减，即Imdec (x，y)＝Imwd(x，y)-Imkd(x，y)，获得差异图像，差异图像记为Imdec (x，y)；根据预设的灰度阈值对所述差异图像进行分割，即
Figure BDA0001581916730000111
获得分割后的所述差异图像，Thgray为所述预设的灰度阈值，Imthg(x,y)为所述分割后的所述差异图像，对所述分割后的所述差异图像进行形态学处理，以滤除变换时的细微误差且根据八连通区域面积阈值筛选，获得初步筛选区域。八连通区域面积阈值记为Tharea，初步筛选区域记为Imre。若Imre中的值均为零，则说明经初步判断后无异物，不断重复步骤S200-步骤S260。反之，执行步骤 S270。
步骤S270：若所述初步筛选区域中存在一个值不为预设值，对所述初步筛选区域进行特征检测，获得检测结果，所述检测结果包括所述目标识别区域图像内是否包括异物，若是，触发报警并显示所述异物的相关信息。
所述预设值为0，基于步骤S270，若所述初步筛选区域中存在一个值不为0，对所述初步筛选区域进行形态学膨胀处理后，获得H个八连通区域；筛选所述H个八连通区域内每个八连通区域对应的待检测图像的所有的特征，再滤除对应区域的所述目标背景图像对应的特征与所述次目标背景图像对应的特征后，获得hf个剩余区域；对所述hf个剩余区域各自生成相应的高斯加权函数，对hf个剩余区域各自对应的特征进行高斯加权且引入尺度权重，将所有权重求和得到 hf个区域对应的权重和；获得hf个剩余区域中所述权重和大于预设筛选阈值的剩余区域的个数，若剩余区域的个数不为0，触发报警并显示所述剩余区域，所述剩余区域表示异物的相关信息。
具体地，若所述初步筛选区域中存在一个值不为0，对所述初步筛选区域进行形态学膨胀处理以补偿之前的腐蚀处理并且扩大特征检测区域。膨胀处理后图像中的八连通区域个数记为H，对应区域为 Recon1、Recon2……Reconh。求取各区域的属性：区域中心(CenX,CenY)、与区域具有相同标准二阶中心矩的椭圆的长轴长度，记为L、与区域具有相同标准二阶中心矩的椭圆的短轴长度，记为S、与区域具有相同标准二阶中心矩的椭圆的长轴与水平轴的交角，记为Or、区域中像素面积，记为Ar、同时在区域和其最小凸多边形中的像素比例，记为Sld，目标识别区域图的特征点对应最大尺度，记为σmax。然后对应生成各区域的形态学膨胀元素Se，即：
Figure BDA0001581916730000121
公式(1)中，前两项长宽比
Figure BDA0001581916730000122
大于1.5，运用矩形膨胀因子，其长、宽分别对应公式中第1、2项。Or为控制膨胀因子的方向。第三项宽比
Figure BDA0001581916730000123
小于1.5，运用圆形膨胀因子，其半径对应公式中第三项。 k0、k1、k2为校正因子。
对各区域进行膨胀处理后，筛选出膨胀区域内对应的目标识别区域图像的所有的特征，再滤除对应区域的Imk与Imk’中的特征，最后剩下的特征个数记为nf。若对应的区域的特征个数nf＝0，则说明此区域为干扰区域，即非异物，并且将此区域剔除，计剩余区域个数为hf。若h个八连通区域中nf数均为0，则执行步骤S200；若h个八连通区域中nf数存在不为0，对剩余的区域各自生成相应的高斯加权函数，运用1维正态分布与马氏距离代替2维正态分布，其中马氏距离为：
Figure BDA0001581916730000124
μ＝(CenX,CenY)T，协方差矩阵为∑的多变量x＝(x,y)T，为特征点坐标。记每个特征点的尺度为σ，对hf个剩余区域的nf个特征进行高斯加权，并且引入尺度权重，最后将所有权重求和得到hf个区域Sj(1≤j≤hf)，即：
Figure BDA0001581916730000131
根据预设筛选阈值，预设筛选阈值记为ThS，筛选Sj，得出大于ThS 的Sj的个数，记为fb。若fb为零，则说明图像中无异物，则执行步骤S200；fb不为0，触发报警并显示所述剩余区域，所述剩余区域表示异物的相关信息，异物的相关信息包括异物所在位置以及异物的各种属性，基于图3的实例，如图4所示的检测结果，图4中的A 为识别到的异物。
本发明实施例提供的图像检测方法，检测结果稳定可靠：相比于现有的技术，本发明运用多次阈值判断保证错检、漏检的概率显著降低，并且最后数据的结果可以展示异物的各种属性以便于发生预警后的检查与维修。检测精度高：该方法检测的异物大小优于现有的技术，并且可以设置检测区域从而减少无效区域的干扰。并且本发明可以检测不同运动状态的异物，如粘附在模具上的异物、在模具中掉落的零件或异物以及完全静止的异物。而且本发明可以克服模具本身由于工作时产生的振动而对检测效果的影响。适用范围广：本发明可以检测周期性运动或准周期性运动的模具。
本发明实施例提供的图像检测方法，包括基于获取到的背景图像组中模具运动的范围而选取的所述背景图像组中各自对应的识别区域，获取待检测图像的目标识别区域图像及所述目标识别区域图像对应的M列目标像素，所述背景图像组包括N张背景图像，所述N张背景图像中每张所述背景图像对应的识别区域对应有M列像素；分别计算所述M列目标像素与所述N张背景图像中每张背景图像对应的M列像素的互相关系数，获得多个互相关系数，以获取所述多个互相关系数中的最大值对应的所述N张背景图像中的目标背景图像；将所述目标识别区域图像与所述目标背景图像进行匹配，获得匹配矩阵；根据所述匹配矩阵，分别对所述目标识别区域图像和所述目标背景图像进行插值、裁剪、归一化处理后，获得归一化后的所述目标识别区域图像和归一化后的所述目标背景图像；将所述归一化后的所述目标识别区域图像和所述归一化后的所述目标背景图像进行配准后再相减，获得差异图像；根据预设的灰度阈值对所述差异图像进行分割，获得分割后的所述差异图像；对所述分割后的所述差异图像进行形态学处理且根据八连通区域面积阈值筛选，获得初步筛选区域；若所述初步筛选区域中存在一个值不为预设值，对所述初步筛选区域进行特征检测，获得检测结果，所述检测结果包括所述目标识别区域图像内是否包括异物，若是，触发报警并显示所述异物的相关信息。检测结果稳定可靠、精度高、适用范围广。
请参阅图5，本发明实施例提供了一种图像检测装置400，运行于一电子设备，所述装置400包括：获取单元410、计算单元420、匹配单元430、归一化单元440、相减单元450、分割单元460、初步筛选单元470和特征识别单元480。
获取单元410，用于基于获取到的背景图像组中模具运动的范围而选取的所述背景图像组中各自对应的识别区域，获取待检测图像的目标识别区域图像及所述目标识别区域图像对应的M列目标像素，所述背景图像组包括N张背景图像，所述N张背景图像中每张所述背景图像对应的识别区域对应有M列像素。
所述装置400还包括：背景图像获取单元401。
背景图像获取单元401，用于获取模具处于正常工作运行状态的一个周期的背景图像组；基于所述背景图像组中模具运行的范围，获取所述背景图像组中各自对应的识别区域；在所述背景图像组中各自对应的识别区域上设置主运动方向，且在所述主运动方向上选取每个所述识别区域对应的等间距的M列像素；对所述背景图像组中各自对应的识别区域进行SURF特征提取，获得每个所述识别区域对应的特征并将每个所述识别区域对应的特征与对应的背景图像对应存储。
计算单元420，用于分别计算所述M列目标像素与所述N张背景图像中每张背景图像对应的M列像素的互相关系数，获得多个互相关系数，以获取所述多个互相关系数中的最大值对应的所述N张背景图像中的目标背景图像。
计算单元420，还用于将所述目标背景图像作为所述N张背景图像中的第K个背景图像，获取所述N张背景图像中第K+1个背景图像与第K-1个背景图像中互相关系数较大的对应的次目标背景图像。
匹配单元430，用于将所述目标识别区域图像与所述目标背景图像进行匹配，获得匹配矩阵。
所述匹配单元430包括匹配子单元431。
匹配子单元431，用于对所述目标识别区域图像进行特征提取，获得所述目标识别区域图像对应的特征；基于相关系数法，将所述目标识别区域图像对应的特征与获取到的所述目标背景图像对应的识别区域对应的特征相匹配，获得匹配矩阵。
归一化单元440，用于根据所述匹配矩阵，分别对所述目标识别区域图像和所述目标背景图像进行插值、裁剪、归一化处理后，获得归一化后的所述目标识别区域图像和归一化后的所述目标背景图像。
相减单元450，用于将所述归一化后的所述目标识别区域图像和所述归一化后的所述目标背景图像进行配准后再相减，获得差异图像。
分割单元460，用于根据预设的灰度阈值对所述差异图像进行分割，获得分割后的所述差异图像。
初步筛选单元470，用于对所述分割后的所述差异图像进行形态学处理且根据八连通区域面积阈值筛选，获得初步筛选区域。
所述初步筛选单元470包括：初步筛选子单元471。
初步筛选子单元471，用于对所述分割后的所述差异图像进行形态学腐蚀处理且根据八连通区域面积阈值筛选，获得初步筛选区域。
特征识别单元480，用于若所述初步筛选区域中存在一个值不为预设值，对所述初步筛选区域进行特征检测，获得检测结果，所述检测结果包括所述目标识别区域图像内是否包括异物，若是，触发报警并显示所述异物的相关信息。
所述预设值为0，若所述初步筛选区域中存在一个值不为预设值，特征识别单元480可以包括特征识别子单元481。
特征识别子单元481，用于若所述初步筛选区域中存在一个值不为0，对所述初步筛选区域进行形态学膨胀处理后，获得H个八连通区域；筛选所述H个八连通区域内每个八连通区域对应的待检测图像的所有的特征，再滤除对应区域的所述目标背景图像对应的特征与所述次目标背景图像对应的特征后，获得hf个剩余区域；对所述hf 个剩余区域各自生成相应的高斯加权函数，对hf个剩余区域各自对应的特征进行高斯加权且引入尺度权重，将所有权重求和得到hf个区域对应的权重和；获得hf个剩余区域中所述权重和大于预设筛选阈值的剩余区域的个数，若剩余区域的个数不为0，触发报警并显示所述剩余区域，所述剩余区域表示异物的相关信息。
以上各单元可以是由软件代码实现，此时，上述的各单元可存储于存储器102内。以上各单元同样可以由硬件例如集成电路芯片实现。
本发明实施例提供的图像检测装置400，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器 (RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种图像检测方法，其特征在于，应用于一电子设备，所述方法包括：
基于获取到的背景图像组中模具运动的范围而选取的所述背景图像组中各自对应的识别区域，获取待检测图像的目标识别区域图像及所述目标识别区域图像对应的M列目标像素，所述背景图像组包括N张背景图像，所述N张背景图像中每张所述背景图像对应的识别区域对应有M列像素；
分别计算所述M列目标像素与所述N张背景图像中每张背景图像对应的M列像素的互相关系数，获得多个互相关系数，以获取所述多个互相关系数中的最大值对应的所述N张背景图像中的目标背景图像；
将所述目标识别区域图像与所述目标背景图像进行匹配，获得匹配矩阵；
根据所述匹配矩阵，分别对所述目标识别区域图像和所述目标背景图像进行插值、裁剪、归一化处理后，获得归一化后的所述目标识别区域图像和归一化后的所述目标背景图像；
将所述归一化后的所述目标识别区域图像和所述归一化后的所述目标背景图像进行配准后再相减，获得差异图像；
根据预设的灰度阈值对所述差异图像进行分割，获得分割后的所述差异图像；
对所述分割后的所述差异图像进行形态学处理且根据八连通区域面积阈值筛选，获得初步筛选区域；
若所述初步筛选区域中存在一个值不为预设值，对所述初步筛选区域进行特征检测，获得检测结果，所述检测结果包括所述目标识别区域图像内是否包括异物，若是，触发报警并显示所述异物的相关信息；
其中，在基于获取到的背景图像组中模具运动的范围而选取的所述背景图像组中各自对应的识别区域，获取待检测图像的目标识别区域图像及所述目标识别区域图像对应的M列目标像素之前，所述方法还包括：
获取模具处于正常工作运行状态的一个周期的背景图像组；
基于所述背景图像组中模具运行的范围，获取所述背景图像组中各自对应的识别区域；
在所述背景图像组中各自对应的识别区域上设置主运动方向，且在所述主运动方向上选取每个所述识别区域对应的等间距的M列像素；
对所述背景图像组中各自对应的识别区域进行SURF特征提取，获得每个所述识别区域对应的特征并将每个所述识别区域对应的特征与对应的背景图像对应存储。
2.根据权利要求1所述的方法，其特征在于，将所述目标识别区域图像与所述目标背景图像进行匹配，获得匹配矩阵，包括：
对所述目标识别区域图像进行特征提取，获得所述目标识别区域图像对应的特征；
基于相关系数法，将所述目标识别区域图像对应的特征与获取到的所述目标背景图像对应的识别区域对应的特征相匹配，获得匹配矩阵。
3.根据权利要求1所述的方法，其特征在于，对所述分割后的所述差异图像进行形态学处理且根据八连通区域面积阈值筛选，获得初步筛选区域，包括：
对所述分割后的所述差异图像进行形态学腐蚀处理且根据八连通区域面积阈值筛选，获得初步筛选区域。
4.根据权利要求3所述的方法，其特征在于，在分别计算所述M列目标像素与所述N张背景图像中每张背景图像对应的M列像素的互相关系数，获得多个互相关系数，以获取所述多个互相关系数中的最大值对应的所述N张背景图像中的目标背景图像之后，所述方法还包括：
将所述目标背景图像作为所述N张背景图像中的第K个背景图像，获取所述N张背景图像中第K+1个背景图像与第K-1个背景图像中互相关系数较大的对应的次目标背景图像。
5.根据权利要求4所述的方法，其特征在于，所述预设值为0，若所述初步筛选区域中存在一个值不为预设值，对所述初步筛选区域进行特征检测，获得检测结果，所述检测结果包括所述目标识别区域图像内是否包括异物，若是，触发报警并显示所述异物的相关信息，包括：
若所述初步筛选区域中存在一个值不为0，对所述初步筛选区域进行形态学膨胀处理后，获得H个八连通区域；
筛选所述H个八连通区域内每个八连通区域对应的待检测图像的所有的特征，再滤除对应区域的所述目标背景图像对应的特征与所述次目标背景图像对应的特征后，获得hf个剩余区域；
对所述hf个剩余区域各自生成相应的高斯加权函数，对hf个剩余区域各自对应的特征进行高斯加权且引入尺度权重，将所有权重求和得到hf个区域对应的权重和；
获得hf个剩余区域中所述权重和大于预设筛选阈值的剩余区域的个数，若剩余区域的个数不为0，触发报警并显示所述剩余区域，所述剩余区域表示异物的相关信息。
6.一种图像检测装置，其特征在于，运行于一电子设备，所述装置包括：
获取单元，用于基于获取到的背景图像组中模具运动的范围而选取的所述背景图像组中各自对应的识别区域，获取待检测图像的目标识别区域图像及所述目标识别区域图像对应的M列目标像素，所述背景图像组包括N张背景图像，所述N张背景图像中每张所述背景图像对应的识别区域对应有M列像素；
计算单元，用于分别计算所述M列目标像素与所述N张背景图像中每张背景图像对应的M列像素的互相关系数，获得多个互相关系数，以获取所述多个互相关系数中的最大值对应的所述N张背景图像中的目标背景图像；
匹配单元，用于将所述目标识别区域图像与所述目标背景图像进行匹配，获得匹配矩阵；
归一化单元，用于根据所述匹配矩阵，分别对所述目标识别区域图像和所述目标背景图像进行插值、裁剪、归一化处理后，获得归一化后的所述目标识别区域图像和归一化后的所述目标背景图像；
相减单元，用于将所述归一化后的所述目标识别区域图像和所述归一化后的所述目标背景图像进行配准后再相减，获得差异图像；
分割单元，用于根据预设的灰度阈值对所述差异图像进行分割，获得分割后的所述差异图像；
初步筛选单元，用于对所述分割后的所述差异图像进行形态学处理且根据八连通区域面积阈值筛选，获得初步筛选区域；
特征识别单元，用于若所述初步筛选区域中存在一个值不为预设值，对所述初步筛选区域进行特征检测，获得检测结果，所述检测结果包括所述目标识别区域图像内是否包括异物，若是，触发报警并显示所述异物的相关信息；
所述装置还包括：
背景图像获取单元，用于获取模具处于正常工作运行状态的一个周期的背景图像组；基于所述背景图像组中模具运行的范围，获取所述背景图像组中各自对应的识别区域；在所述背景图像组中各自对应的识别区域上设置主运动方向，且在所述主运动方向上选取每个所述识别区域对应的等间距的M列像素；对所述背景图像组中各自对应的识别区域进行SURF特征提取，获得每个所述识别区域对应的特征并将每个所述识别区域对应的特征与对应的背景图像对应存储。
7.根据权利要求6所述的装置，其特征在于，所述匹配单元包括：
匹配子单元，用于对所述目标识别区域图像进行特征提取，获得所述目标识别区域图像对应的特征；基于相关系数法，将所述目标识别区域图像对应的特征与获取到的所述目标背景图像对应的识别区域对应的特征相匹配，获得匹配矩阵。
8.根据权利要求6所述的装置，其特征在于，所述初步筛选单元包括：
初步筛选子单元，用于对所述分割后的所述差异图像进行形态学腐蚀处理且根据八连通区域面积阈值筛选，获得初步筛选区域。
CN201810158478.5A 2018-02-24 2018-02-24 图像检测方法及装置 Active CN108389195B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810158478.5A CN108389195B (zh) 2018-02-24 2018-02-24 图像检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810158478.5A CN108389195B (zh) 2018-02-24 2018-02-24 图像检测方法及装置

Publications (2)

Publication Number Publication Date
CN108389195A CN108389195A (zh) 2018-08-10
CN108389195B true CN108389195B (zh) 2021-02-23

Family

ID=63069194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810158478.5A Active CN108389195B (zh) 2018-02-24 2018-02-24 图像检测方法及装置

Country Status (1)

Country Link
CN (1) CN108389195B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472766B (zh) * 2018-08-27 2022-05-17 石家庄铁道大学 桥梁螺栓区域定位方法及终端设备
CN109658333A (zh) * 2018-11-14 2019-04-19 深圳市华星光电半导体显示技术有限公司 图像放大插值的方法、图像放大插值装置以及显示装置
CN111243015B (zh) * 2018-11-29 2023-05-12 合肥泰禾智能科技集团股份有限公司 货箱位置检测方法及装置
CN110189301B (zh) * 2019-04-29 2023-07-28 上海电气集团股份有限公司 一种发电机定子铁心钢片叠装平台的异物检测方法
CN111062852B (zh) * 2019-12-16 2023-10-17 阿波罗智联(北京)科技有限公司 一种地图渲染方法、装置、电子设备及存储介质
CN113020428B (zh) * 2021-03-24 2022-06-28 北京理工大学 级进模的加工监控方法、装置、设备及存储介质
CN113658229B (zh) * 2021-08-13 2024-02-02 杭州华橙软件技术有限公司 异常对象的确定方法及装置、存储介质、电子装置
CN114782710B (zh) * 2022-06-20 2022-10-18 苏州科韵激光科技有限公司 一种图像特征提取方法及装置、显示面板的修复方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226814A (zh) * 2013-04-02 2013-07-31 湖南大学 一种基于医药视觉检测机器人图像校正的药瓶异物检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4717760B2 (ja) * 2006-08-31 2011-07-06 三菱電機株式会社 物体認識装置および映像物体測位装置
CN101571492B (zh) * 2009-06-11 2012-01-25 长安大学 基于三维重构的炸药流散性测量方法
CN101957325B (zh) * 2010-10-14 2012-05-23 山东鲁能智能技术有限公司 基于变电站巡检机器人变电站设备外观异常识别方法
CN106373140B (zh) * 2016-08-31 2020-03-27 杭州沃朴物联科技有限公司 一种基于单目视觉的透明及半透明液体杂质检测方法
CN107451999B (zh) * 2017-08-16 2020-07-03 中惠创智无线供电技术有限公司 基于图像识别的异物检测方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226814A (zh) * 2013-04-02 2013-07-31 湖南大学 一种基于医药视觉检测机器人图像校正的药瓶异物检测方法

Also Published As

Publication number Publication date
CN108389195A (zh) 2018-08-10

Similar Documents

Publication Publication Date Title
CN108389195B (zh) 图像检测方法及装置
Shafique et al. Computer‐Aided Diagnosis of Acute Lymphoblastic Leukaemia
US10043090B2 (en) Information processing device, information processing method, computer-readable recording medium, and inspection system
CN108288274B (zh) 模具检测方法、装置以及电子设备
CN113159147A (zh) 基于神经网络的图像识别方法、装置、电子设备
CN106934794A (zh) 信息处理装置，信息处理方法和检查系统
Zolfagharnasab et al. Cauchy based matched filter for retinal vessels detection
CN112115803B (zh) 口罩状态提醒方法、装置及移动终端
CN107369149B (zh) 目标物体的检测装置及方法
CN117788798A (zh) 目标检测方法、装置、视觉检测系统及电子设备
CN108960246B (zh) 一种用于图像识别的二值化处理装置及方法
JP6405603B2 (ja) 情報処理装置、情報処理システム及びプログラム
CN107945186A (zh) 分割图像的方法、装置、计算机可读存储介质和终端设备
Zhang et al. Initial investigation of different classifiers for plant leaf classification using multiple features
CN115546143A (zh) 定位晶圆的中心点的方法、装置、存储介质以及电子设备
Suhail et al. Histogram-based approach for mass segmentation in mammograms
CN115082819A (zh) 食品异物检测方法、装置、计算机设备及存储介质
Nimbarte et al. Extraction of blood vessels and optic disc in retinal images
Annasaro et al. Color and shape feature extraction and matching in pill identification systems
CN112861874A (zh) 一种基于多滤波器去噪结果的专家场去噪方法及系统
Nazari et al. Segmentation of retinal blood vessels by top-hat multi-scale detection for optic disc removal
CN111598184A (zh) 一种基于DenseNet的图像噪声识别方法和装置
CN113495907A (zh) 产品检测方法、装置、计算机装置及存储介质
Khong et al. A novel approach for efficient implementation of nucleus detection and segmentation using correlated dual color space
Cheng et al. Design of a computer-assisted system to automatically detect cell types using ANA IIF images for the diagnosis of autoimmune diseases

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant