CN105787429B - 采用机器视觉用于检查物体的方法和设备 - Google Patents

采用机器视觉用于检查物体的方法和设备 Download PDF

Info

Publication number
CN105787429B
CN105787429B CN201610012288.3A CN201610012288A CN105787429B CN 105787429 B CN105787429 B CN 105787429B CN 201610012288 A CN201610012288 A CN 201610012288A CN 105787429 B CN105787429 B CN 105787429B
Authority
CN
China
Prior art keywords
image file
luminous intensity
line segment
image
new
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610012288.3A
Other languages
English (en)
Other versions
CN105787429A (zh
Inventor
J.金
S.李
J.史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sungykyunkwan University Foundation For Corporate Collaboration
GM Global Technology Operations LLC
Original Assignee
Sungykyunkwan University Foundation For Corporate Collaboration
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sungykyunkwan University Foundation For Corporate Collaboration, GM Global Technology Operations LLC filed Critical Sungykyunkwan University Foundation For Corporate Collaboration
Publication of CN105787429A publication Critical patent/CN105787429A/zh
Application granted granted Critical
Publication of CN105787429B publication Critical patent/CN105787429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2129—Recording in, or reproducing from, a specific memory area or areas, or recording or reproducing at a specific moment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种采用机器视觉用于检查物体的方法和设备。包括数字摄像头的机器视觉系统可用于检查视野中的物体，包括捕获原始数字影像，所述原始数字影像包括针对包括物体的视野的多个像素和相关的光强度。产生位图影像文件，且动态地确定原始数字影像的位图影像文件的多个像素的光强度平均值和标准偏差。产生新的影像文件，其每一个包括多个像素的具有相关的光强度的一部分，所述相关的光强度在通过平均值和标准偏差限定的光强度预定范围内。从每一个新的影像文件提取线段，且从新的影像文件提取的线段被合并和聚类以基于其产生整合线。

Description

采用机器视觉用于检查物体的方法和设备
技术领域
本发明涉及机器视觉系统。
背景技术
成像系统用于制造环境，以自动地检查静止部件。成像系统试图确定与视野中物体相关的三维(3D)信息，以用于质量检查、逆向工程、机器人和相似的系统。这种系统采用作为立体成像系统的一部分的结构照明装置，以在视野上投射光、捕获视野中物体的数字影像和采用几何方法及译码技术，以使用数字影像计算影像深度。
发明内容
包括数字摄像头的机器视觉系统可用于检查视野中的物体。用于检查物体的方法包括经由数字摄像头捕获原始数字影像，所述原始数字影像包括针对包括物体的视野的多个像素和相关的光强度。产生原始数字影像的位图影像文件，所述位图影像文件包括针对包括物体的视野的多个像素和相关的光强度。使用控制器动态地确定原始数字影像的位图影像文件的多个像素的光强度平均值和标准偏差。产生新的影像文件，每一个新的影像文件包括多个像素的具有相关的光强度的一部分，所述相关的光强度在通过平均值和标准偏差限定的光强度预定范围内。从每一个新的影像文件提取线段，且从新的影像文件提取的线段被合并和聚类以基于其产生整合线。
根据本发明的一方面，提供一种采用包括数字摄像头的机器视觉系统检查视野中的物体的方法，包括：
经由数字摄像头捕获原始数字影像，所述原始数字影像包括针对包括物体的视野的多个像素和相关的光强度；
产生用于该原始数字影像的位图影像文件，所述位图影像文件包括针对包括物体的视野的所述多个像素和相关的光强度；
使用控制器动态地确定用于原始数字影像的位图影像文件的多个像素的光强度平均值和标准偏差；
产生多个新的影像文件，每一个新的影像文件包括具有相关的光强度的多个像素的一部分，所述相关的光强度在通过平均值和标准偏差限定的光强度预定范围内；
从每一个新的影像文件提取线段；
将从新的影像文件提取的线段合并；
将从新的影像文件提取的线段聚类；且
基于合并和聚类的从新的影像文件提取的线段而产生用于物体的整合线。
优选地，其中产生多个新的影像文件，每一个新的影像文件包括具有相关的光强度的多个像素的一部分，所述相关的光强度在通过平均值和标准偏差限定的预定范围内，这包括产生第一新的影像文件，该第一新的影像文件包括原始数字影像的位图影像文件像素的具有大于平均值的光强度的一部分。
优选地，其中产生多个新的影像文件，每一个新的影像文件包括具有多个像素的相关光强度的用于原始数字影像的位图影像文件的一部分，所述相关光强度在通过平均值和标准偏差限定的预定范围内，这包括产生第二新的影像文件，该第二新的影像文件包括原始数字影像的位图影像文件的像素的具有大于平均值加基于标准偏差确定的第一值而得的光强度的一部分。
优选地，其中产生多个新的影像文件，每一个新的影像文件包括多个像素的具有光强度的用于原始数字影像的位图影像文件的一部分，所述光强度在通过平均值和标准偏差限定的预定范围内，这包括产生第三新的影像文件，该第三新的影像文件包括原始数字影像的位图影像文件的像素的具有大于平均值加基于标准偏差确定的第二值而得的光强度的一部分。
优选地，其中从每一个新的影像文件提取线段采用边缘检测以从每一个新的影像文件提取线段。
优选地，其中将从新的影像文件提取的线段合并包括将从新的影像文件提取的线段中靠近的但不相交的那些线段相组合。
优选地，其中将从新的影像文件提取的线段聚类包括将从新的影像文件提取的线段中相交的那些线段相组合。
优选地，所述方法进一步包括通过在物体上识别边界和强特征结构来描述视野中的物体的形状。
优选地，其中在物体上识别边界和强特征结构包括识别存在于所有与变化光强度相关的新的影像文件中的那些特征结构。
根据本发明再一方面，提供一种用于采用数字摄像头检测视野中的物体的方法，包括：
经由数字摄像头捕获灰度数字影像，灰度数字影像包括针对包括物体的视野的多个像素和相关的灰度光强度；
产生用于原始数字影像的位图影像文件，所述位图影像文件包括针对视野的多个像素和相关的灰度光强度；
使用控制器动态地确定用于原始数字影像的位图影像文件的多个像素的灰度光强度平均值和标准偏差；
产生多个新的影像，每一个新的影像包括多个像素的具有相关的灰度光强度的一部分，所述相关的灰度光强度在通过平均值和标准偏差限定的灰度光强度预定范围内；
从每一个新的影像提取线段；
将从新的影像提取的线段合并；
将从新的影像提取的线段聚类；
基于合并的和聚类的从新的影像提取的线段产生整合线；和
基于产生的整合线识别物体的边界。
优选地，其中产生多个新的影像文件，每一个新的影像文件包括多个像素的具有相关的灰度光强度的一部分，所述相关的灰度光强度在通过平均值和标准偏差限定的预定范围内，这包括产生第一新的影像文件，该第一新的影像文件包括原始数字影像的位图影像文件像素的具有大于平均值的灰度光强度的一部分。
优选地，其中产生多个新的影像文件，每一个新的影像文件包括多个像素的具有相关灰度光强度的原始数字影像的位图影像文件的一部分，所述相关灰度光强度在通过平均值和标准偏差限定的预定范围内，这包括产生第二新的影像文件，该第二新的影像文件包括用于原始数字影像的位图影像文件的像素的具有大于平均值加基于标准偏差确定的第一值而得的光强度的一部分。
优选地，其中产生多个新的影像文件，每一个新的影像文件包括多个像素的具有灰度光强度的原始数字影像的位图影像文件的一部分，所述灰度光强度在通过平均值和标准偏差限定的预定范围内，这包括产生第三新的影像文件，该第三新的影像文件包括原始数字影像的位图影像文件的像素的具有大于平均值加基于标准偏差确定的第二值而得的光强度的一部分。
优选地，其中从每一个新的影像文件提取线段包括采用边缘检测以从每一个新的影像文件提取线段。
优选地，其中将从新的影像文件提取的线段合并包括将从新的影像文件提取的线段中靠近的但不相交的那些线段相组合。
优选地，其中将从新的影像文件提取的线段聚类包括将从新的影像文件提取的线段中相交的那些线段相组合。
优选地，其中基于产生的整合线识别物体的边界包括基于被识别的边界描述视野中的物体的形状。
优选地，所述方法进一步包括在物体上识别强特征结构，其包括识别存在于所有与变化的灰度光强度相关的新的影像文件中的那些特征结构。
根据本发明又一方，提供一种用于检查视野中的物体的机器视觉系统，包括：
数字摄像头；和
分析控制器，其中分析控制器执行影像特征结构识别例程，该识别例程包括：
经由数字摄像头捕获原始数字影像，所述原始数字影像包括针对包括物体的视野的多个像素和相关的光强度，
产生原始数字影像的位图影像文件，所述位图影像文件包括针对包括物体的视野的多个像素和相关的光强度，
使用控制器动态地确定原始数字影像的位图影像文件的多个像素的光强度平均值和标准偏差，
产生多个新的影像文件，每一个新的影像文件包括多个像素的具有相关的光强度的一部分，所述相关的光强度在通过平均值和标准偏差限定的光强度预定范围内；
从每一个新的影像文件提取线段，
将从新的影像文件提取的线段合并，
将从新的影像文件提取的线段聚类，且
基于合并和聚类的从新的影像文件提取的线段产生用于物体的整合线。
通过下文结合附图考虑时进行的对实施本发明的较佳模式中的一些和其他实施例做出的详细描述能容易地理解本发明的上述特征和优点以及其他特征和优点。
附图说明
现在将参考附图通过例子描述一个或多个实施例，附图中:
图1示意性地示出了根据本发明的包括影像检测器(摄像头)、摄像头控制器和分析控制器的示例性视觉系统；
图2示意性地显示了根据本发明的用于从视野(FOV)的影像识别物体的特征结构的影像特征结构识别例程，所述影像采用参考图1所述的视觉系统的实施例捕获；
图3-1示意性地显示了根据本发明的从原始数字影像的位图影像文件产生的数字影像的例子，所述原始数字影像捕获了在FOV中的物体；
图3-2显示了根据本发明的可视地显示第一影像文件的新的数字影像，所述第一影像文件从针对参考图3-1所示的物体产生的原始数字影像的位图影像文件获得；
图3-3显示了根据本发明可视地显示第二影像文件的另一新的数字影像，所述第二影像文件从针对参考图3-1所示的物体产生的原始数字影像的位图影像文件获得；
图3-4显示了根据本发明的可视地显示第三影像文件的另一新的数字影像，所述第三影像文件从针对参考图3-1所示的物体产生的原始数字影像的位图影像文件获得；
图3-5显示了根据本发明的可视地显示第四影像文件的另一新的数字影像，所述第四影像文件从针对参考图3-1所示的物体产生的原始数字影像的位图影像文件获得；
图3-6显示了根据本发明的可视地显示第五影像文件的另一新的数字影像，所述第五影像文件从针对参考图3-1所示的物体产生的原始数字影像的位图影像文件获得；
图3-7显示了根据本发明的针对参考图3-1所示的物体产生的原始数字影像的位图影像文件，所述原始数字影像包括从图3-2到3-6的每一个影像提取的多个合并和聚类线段；
图4通过图表显示了根据本发明的从参考图3-2所示的影像提取的第一线段和从参考图3-3所示的影像提取的第二线段，以解释在线段靠近且基本平行时合并非相交线段的过程步骤；和
图5是根据本发明的从参考图3-2所示的影像提取的第三线段和从参考图3-3所示的影像提取的第四线段，以解释聚类相交线段的过程步骤。
具体实施方式
现在参见附图，其中绘图仅是用于图示某些示例性实施例的目的而不是为了对其进行限制，图1示意性地示出了示例性视觉系统100，其包括影像记录器(摄像头)10，所述记录器10信号连接到分析控制器60。
摄像头10优选是能捕获视野(FOV)35的二维(2D)影像15的数字影像记录装置。通过定义，影像是图示视野的任何视觉可察觉的绘图。在一个实施例中影像可以涵盖从可见光谱而来的视野中的反射光的全部或一部分，包括灰度反射、红-绿-蓝(RGB)反射、黑白反射或任何其他合适或期望反射。优选地，影像被捕获且记录在非瞬时存储介质中，例如在非瞬时数字数据存储介质中或在照片胶卷上。摄像头10响应于触发信号而运行，且将其快门打开持续与优选曝光时间相关的预设快门时间。在一个实施例中，触发信号可以具有至少1us的脉宽。摄像头快门速度包括小于10us量级的延迟时间。预设快门时间设定为用于适当的曝光时间。在摄像头10关闭快门之后，可以存在1ms量级的延迟以用于数据捕获，此后数据被传输到分析控制器60。到分析控制器60的数据传输时间为约30ms，且是与摄像头型号有关的固定量，摄像头型号具有预定的影像捕获和传输率(帧每秒)。由此，在一个实施例中，从触发器起动到数据传输结束的整个循环时间小于40ms。
摄像头10可相对于FOV 35处于任何位置和取向。在一个实施例中，FOV 35包括在可动平面45上取向的物体40，其与摄像头10相距预定距离22。物体40为结构实体，具有一些特征结构，包括例如空间尺寸、材料和表明了反射率的表面光洁度等。在一个实施例中，物体40可以是组装车间中车辆上的部件或区域。
在一个实施例中，可动平面45上取向的物体40安装在第一传送系统42上，所述第一传送系统42以已知速率沿直线路径41传送物体40，且摄像头10安装在在第二传送系统12上，所述第二传送系统12以已知速率沿相应的直线路径将它们传送固定距离。物体40和摄像头10被输送所沿的直线路径41包括FOV 35。
在一个实施例中，2D影像15为通过摄像头10捕获在位图影像文件中的灰度影像，包括多个像素，其中每一个像素具有代表灰度值的8位值。位图影像文件图示FOV 35。2D影像15的其他实施例可包括2D彩色影像或其他影像图示而没有限制，2D彩色影像由代表FOV35的色调-饱和度-亮度(his三要素)或红、绿、蓝(RGB)三元色图示。摄像头10包括影像获取传感器，其信号连接到摄像头控制器20，所述摄像头控制器20在2D影像15上执行数字信号处理(DSP)。影像获取传感器以预定分辨率捕获FOV 35中的多个像素，且摄像头控制器20产生FOV 35的位图影像文件25，例如在预定分辨率下图示FOV 35的8位像素位图，其被通信到分析控制器60。位图影像文件25在一个实施例中是存储在非瞬时数字数据存储介质中的编码的数据文件。位图影像文件25包括2D影像15的数字图示，其可以包括一个或多个物体40，且图示以摄像头10的原始分辨率捕获的FOV 35的原始影像。摄像头10的影像获取传感器以在名义标准限定分辨率下的多个像素，例如640x480像素，捕获FOV 35的2D影像15，。替换地，摄像头10的影像获取传感器可以以名义高定义分辨率，例如1440x1024像素，或以另一合适分辨率捕获2D影像15，。摄像头10的影像获取传感器优选以摄像头10的预定影像捕获和传输速率捕获一个或多个静态影像形式的2D影像15。2D影像15转变为位图影像文件25以用于存储并且在分析控制器60中和分析。
控制器、控制模块、模块、控制装置、控制单元、处理器和相似的术语是指一个或多个专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序或例程的中央处理单元(优选是微处理器)以及相关的存储器和存储装置(只读的、可编程只读的、随机存取的、硬件驱动的等)、组合逻辑电路、输入/输出电路和装置、适当的信号调制和缓冲器电路、和提供所述的包括数据存储和数据分析功能的其他部件中的任何一个或各种组合。软件、固件、程序、指令、例程、代码、算法和相似的术语是指任何控制器可执行的指令集，包括标准和查找表。
图2示意性地显示了影像特征结构识别例程200。其用于从采用参考图1所述的视觉系统100的实施例而捕获的影像识别物体的特征结构，所述视觉系统100包括影像记录器(摄像头)10，所述影像记录器10信号连接到分析控制器60，以捕获物体40的影像。表1提供为符合表，其中对应于影像特征结构识别例程200的标记数字的图框和相应功能如下所述。
表1
影像特征结构识别例程200如下执行，以从包括所关注物体的原始数字影像识别和数字提取一个或多个视觉可辨别物理特征结构。影像特征结构识别例程200和其步骤优选被周期性地执行以从采用视觉系统100的实施例捕获的影像识别物体特征结构。在一个实施例中，影像特征结构识别例程200被以小于1秒的速率周期性地执行。如在本文使用的，术语‘动态’和‘动态地’描述了实时执行且特征为监测或以其他方式确定参数状态和在例程执行过程中或例序执行的迭代之间有规律地或周期性地更新参数状态的步骤或过程。
包括物体的FOV35的原始数字影像以摄像头10的影像捕获和传输率被捕获210。图3-1示意性地显示了从位图影像文件(其捕获FOV300中的物体304)产生的原始数字影像302的例子。FOV 300类似于参考图1所述的FOV 35。原始数字影像302的位图影像文件对应于参考图1产生的位图影像文件25。
再次参见图2，包括物体304的FOV 300的原始数字影像302的位图影像文件是FOV300的在标准限定分辨率(例如640x480像素)的8位灰度影像的形式。如此，位图影像文件包括用于图示在8位灰度影像上测量的光强度的每一个像素的8位数据点，其中具有十进制数值0或二进制值00000000的数据点图示最小光强度，且具有十进制数值255或二进制值11111111的数据点代表最大光强度。
原始数字影像302的位图影像文件中的数据被统计分析，以计算像素的光强度的平均光强度μ和标准偏差α，212。优选地，该统计分析被动态执行，例如用于通过摄像头10捕获的每个位图影像文件。多个新的影像文件基于包含在原始数字影像302的位图影像文件的光强度数据(包括平均光强度μ和标准偏差α)的统计分析产生，每一个新的影像文件包括基于光强度量分离的一部分数据，214。这可包括产生大量的新的影像，每一个新的影像与原始数字影像302的位图影像文件的像素相关，所述像素处于根据下列等式的预定光强度范围内。
BIN(k)＝μ+k*(x)*α [1]
用于k＝-n到k＝n
其中k为整数，且其中x为等于或小于1.0的标量乘数，且是可校准的。
采用该分析的过程，通过使用直方图处理过程或另一合适数据分析过程，将原始数字影像302的位图影像文件中的光强度数据分为多个二进制值BIN(k)而产生2n+1个新的数字影像。如此，分析过程产生多个单方面的二进制值。由此，在用于+/-2光强度标准偏差的n＝2的分析中，第一二进制值BIN(k＝-2)可包括位图影像文件中包括具有光强度大于μ-2*x*α的临界值的所有像素的光强度数据的部分，第二二进制值BIN(k＝-1)可包括位图影像文件的具有大于μ-1*x*α临界值的光强度的所有像素的部分等。在新的位图影像文件的每一个中，原始数字影像302中的落在外部(即小于相应临界值)的像素被改变为0的值，即变黑。应理解，标量乘数x可具有任何可选择、可校准值，且基于其形成和分析新的数字影像的量。
图3-2到3-6每一个显示了从原始数字影像302的位图影像文件获得的新的数字影像，所述原始数字影像302针对参照图3-1所示的物体304产生，新的影像的每一个与原始数字影像302的位图影像文件中的在预定范围光强度范围内的像素相关，如参考步骤114所述的。例如，显示了针对k＝-2，k＝-1，k＝0，k＝1和k＝2的五个影像。
图3-2显示了可视地显示第一影像文件的新的数字影像322，所述第一影像文件从原始数字影像302的位图影像文件获得，所述原始数字影像302针对参考图3-1所示的物体304产生，参考图3-1所示，该新的数字影像322包括光强度大于μ–2*x*α的所有像素。从该新的数字影像322获得的提取线段324叠加于其上。
图3-3显示了可视地显示第二影像文件的另一新的数字影像332，所述第二影像文件从原始数字影像302的位图影像文件获得，所述原始数字影像302针对参考图3-1所示的物体304产生，该另一新的数字影像332包括光强度大于μ-1*x*α的所有像素。从该新的数字影像332获得的提取线段334叠加于其上。
图3-4显示了可视地显示第三影像文件的另一新的数字影像342，所述第三影像文件从原始数字影像302的位图影像文件获得，所述原始数字影像302针对参考图3-1所示的物体304产生，该另一新的数字影像342包括光强度大于μ的所有像素。从该新的数字影像342获得的提取线段344叠加于其上。
图3-5显示了可视地显示第四影像文件的另一新的数字影像352，所述第四影像文件从原始数字影像302的位图影像文件获得，所述原始数字影像302针对参考图3-1所示的物体304产生，该另一新的数字影像352包括光强度大于μ+1*x*α的所有像素。从该新的数字影像352获得的提取线段354叠加于其上。
图3-6显示了可视地显示第五影像文件的另一新的数字影像362，所述第五影像文件从原始数字影像302的位图影像文件获得，所述原始数字影像302针对参考图3-1所示的物体304产生，另一新的数字影像362包括光强度大于μ+2*x*α的所有像素。从该新的数字影像362获得的提取线段364叠加于其上。与用于产生新的影像文件的光强度变化相关的标量乘数x可以是用户限定的或自动设定为来自平均强度的三分之一标准偏差。在一个实施例中，通过变化光强度值产生总共5或7个影像，其有助于提取可用于识别物体的长边界线和短而强特征结构的大组线，所述物体如由原始数字影像302的位图影像文件所示的。
再次参见图2，使用已知边缘检测技术从每一个新的影像提取线段216。已知的边缘检测技术包括基于梯度的方法，例如Laplacian算子、Canny边缘检测器、和用于彩色影像中边缘检测的Euclidean距离和向量角度。每一个线段是来自边缘检测步骤的经连接边缘。提取线段图示了每一个新的影像中的物体的边缘。由于噪音和不同的光强度水平，每一个线段的起始和结束位置在每一个影像中可以略微不同。在所有影像合并在一起时存在许多平行的线段。由此，如果线段是从图3-2中的影像322提取的其中一个线段324，则可能的是类似的线段可在线段334、344和354中的相似位置中找到，所述线段334、344和354从分别参考图3-3、3-4和3-5所示的影像332、342和352提取。
再次参见图2，从参考图3-2到3-6所示的影像322、332、342、352和362获得的线段324、334、344、354和364中被提取的那些(重叠、近似平行或靠近而不相交)通过将识别的线段进行组合而经历合并218，以产生与原始数字影像302的位图影像文件相关的更高像素密度的整合线段。在所有影像合并在一起时可以存在许多平行的线段。例如，如果在影像322中识别一线段，则可能类似的线段可在影像332、342、352和362中的相似位置中被识别。
图4通过图表显示了第一线段L1 410和第二线段L2 420，用于解释线段靠近且略微平行时合并非相交线段。第一线段L1 410是从参考图3-2所示的影像322提取的线段324中之一且第二线段L2 420是从参考图3-3所示的影像332提取的线段334中之一。线段L1具有两个端点(P1 411，P2 412)且线段L2420类似地通过两个端点(P3 421P4 422)定位。
通过计算两个线段L1 410和L2420，可在成对的两个端点(P1411，P3 421)，(P1 411，P4 422)，(P2 412，P3 421)，(P2 412，P4 422)之间计算四个欧几里得距离值d1 401，d2 402，d3 403和d4 404。平行线距离Dparallel可如下式计算：
Dparallel＝1/2*(min(d1,d2)+min(d3,d4)) [2]
平行线距离Dparallel是两个端点的两个最小距离的平均距离。另外最小值min(d3,d4)可计算作为线L1 410的端点P2411的之前的距离测量值。在两个线L1 410和L2 420完全重叠时，平行线距离Dparallel为零。在两个线不彼此重叠时，如果它们具有非常相似的长度，则该距离比重叠的情况大很多。在两条线平行时该特性可被容易地识别。在平行线距离Dparallel小于两个线段中较小那个的长度的10％时，线段L1410和线段L2420合并以形成单个线段218。在平行线距离Dparallel小于两个线段中较小那个的长度的50％时，即平行的邻近线段，则线段L1410延长且与线段L2420合并以形成单个线段。平行线合并以递归方式进行。
再次参见图2，从参考图3-2到3-5所示的影像322、332、342、和352获得的线段324、334、344、和354中提取的那些(其相交或重叠)经历聚类220，以产生与原始数字影像302的位图影像文件的整合线。
图5通过图表显示了第三线段L3510和第四线段L4520，用于解释相交线段的聚类。第三线段L3 510是从参考图3-2所示的影像322提取的其中一个线段324，且第四线段L4 520是参考图3-3所示的影像332提取的其中一个线段334。第三线段L3 510具有两个端点(P1511，P2 512)且第四线段L4 520类似地通过两个端点(P3 521P4 522)定位。可针对第三线段L3 510和第四线段L4 520计算相交点PC 525，且可产生包括点P1 511，Pc 525，P3 521在内的新的聚类线段530，如图5所示。线段聚类以递归的方式实现，直到所有相交线被聚类、连接和组合在一起。以此方式，相交的许多小线段将组合为长的聚类且连接的线段，其被称为整合线段。整合线段可用于在物体上识别强特征结构。
图3-7显示了包括针对参考图3-1所示的物体304产生的原始数字影像302的数字影像372，具有从参考图3-2到3-6所示的影像获得的叠加在其上的提取线段324、334、344、354。密集的线段从叠置的提取线段324、334、344、354和364出现，显示了用于物体的边界且还显示了强特征结构。在具有变化光强度水平的一系列影像中检测边缘有助于边缘提取。叠置的提取线段324、334、344、354和364已经经历合并和聚类。
再次参见图2，整合线可被输出222，用于被其他控制例程和算法(包括检查例程)使用。整合线可以用于识别物体上的边界和强特征结构，由此通过界定物体形状和质量而检测物体。强特征结构包括影像中对光强度变化不太敏感的那些特征结构，即在变化的光的情况下可见的特征结构。由此，强特征结构是总是存在于变化的光强度的多个影像中的那些特征结构。强特征结构可用于识别可用于在FOV中定位部件和对其评估的部件边界、边缘和其他要素。例如，被识别的物体特征结构可用于识别和区分徽章形状和徽章质量。整合线段的合并和聚类被显示为能克服与不确定的特征结构位置有关的技术难题，这种难题可能由于信号噪声影像引起。合并和聚类的结果可增加特征结构辨识的鲁棒性，而不带来很长的计算时间。在一个实施例中，用于处理三个影像的总计算时间小于700ms。该方法将用于实时应用中，以识别用于可靠检查结果的强特征结构和轮廓。
附图和具体实施方式是对本发明的支持和描述，而本发明的范围仅通过权利要求限定。尽管已经对实行本发明的较佳模式中的一些和其他实施例进行了详细的描述，但是仍存在在所附的权利要求中限定的用来实践本发明的许多替换设计和实施例。

Claims (10)

1.一种采用包括数字摄像头的机器视觉系统检查视野中的物体的方法，包括：
经由数字摄像头捕获原始数字影像，所述原始数字影像包括针对包括物体的视野的多个像素和相关的光强度；
产生用于该原始数字影像的位图影像文件，所述位图影像文件包括针对包括物体的视野的所述多个像素和相关的光强度；
使用控制器动态地确定用于原始数字影像的位图影像文件的多个像素的光强度平均值和标准偏差；
产生多个新的影像文件，每一个新的影像文件包括具有相关的光强度的多个像素的一部分，所述相关的光强度在通过平均值和标准偏差限定的光强度预定范围内；
从每一个新的影像文件提取线段；
将从新的影像文件提取的线段合并；
将从新的影像文件提取的线段聚类；且
基于合并和聚类的从新的影像文件提取的线段而产生用于物体的整合线。
2.如权利要求1所述的方法，其中产生多个新的影像文件，每一个新的影像文件包括具有相关的光强度的多个像素的一部分，所述相关的光强度在通过平均值和标准偏差限定的预定范围内，这包括产生第一新的影像文件，该第一新的影像文件包括原始数字影像的位图影像文件像素的具有大于平均值的光强度的一部分。
3.如权利要求1所述的方法，其中产生多个新的影像文件，每一个新的影像文件包括具有多个像素的相关光强度的用于原始数字影像的位图影像文件的一部分，所述相关光强度在通过平均值和标准偏差限定的预定范围内，这包括产生第二新的影像文件，该第二新的影像文件包括原始数字影像的位图影像文件的像素的具有大于平均值加基于标准偏差确定的第一值而得的光强度的一部分。
4.如权利要求3所述的方法，其中产生多个新的影像文件，每一个新的影像文件包括多个像素的具有光强度的用于原始数字影像的位图影像文件的一部分，所述光强度在通过平均值和标准偏差限定的预定范围内，这包括产生第三新的影像文件，该第三新的影像文件包括原始数字影像的位图影像文件的像素的具有大于平均值加基于标准偏差确定的第二值而得的光强度的一部分。
5.如权利要求1所述的方法，其中从每一个新的影像文件提取线段采用边缘检测以从每一个新的影像文件提取线段。
6.如权利要求1所述的方法，其中将从新的影像文件提取的线段合并包括将从新的影像文件提取的线段中靠近的但不相交的那些线段相组合。
7.如权利要求1所述的方法，其中将从新的影像文件提取的线段聚类包括将从新的影像文件提取的线段中相交的那些线段相组合。
8.如权利要求1所述的方法，进一步包括通过在物体上识别边界和强特征结构来描述视野中的物体的形状。
9.如权利要求8所述的方法，其中在物体上识别边界和强特征结构包括识别存在于所有与变化光强度相关的新的影像文件中的那些特征结构。
10.一种用于检查视野中的物体的机器视觉系统，包括：
数字摄像头；和
分析控制器，其中分析控制器执行影像特征结构识别例程，该识别例程包括：
经由数字摄像头捕获原始数字影像，所述原始数字影像包括针对包括物体的视野的多个像素和相关的光强度，
产生原始数字影像的位图影像文件，所述位图影像文件包括针对包括物体的视野的多个像素和相关的光强度，
使用控制器动态地确定原始数字影像的位图影像文件的多个像素的光强度平均值和标准偏差，
产生多个新的影像文件，每一个新的影像文件包括多个像素的具有相关的光强度的一部分，所述相关的光强度在通过平均值和标准偏差限定的光强度预定范围内；
从每一个新的影像文件提取线段，
将从新的影像文件提取的线段合并，
将从新的影像文件提取的线段聚类，且
基于合并和聚类的从新的影像文件提取的线段产生用于物体的整合线。
CN201610012288.3A 2015-01-08 2016-01-08 采用机器视觉用于检查物体的方法和设备 Active CN105787429B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/592,135 2015-01-08
US14/592,135 US9628659B2 (en) 2015-01-08 2015-01-08 Method and apparatus for inspecting an object employing machine vision

Publications (2)

Publication Number Publication Date
CN105787429A CN105787429A (zh) 2016-07-20
CN105787429B true CN105787429B (zh) 2019-05-31

Family

ID=56233959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610012288.3A Active CN105787429B (zh) 2015-01-08 2016-01-08 采用机器视觉用于检查物体的方法和设备

Country Status (3)

Country Link
US (1) US9628659B2 (zh)
CN (1) CN105787429B (zh)
DE (1) DE102016100134B4 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017215347A1 (de) * 2017-09-01 2019-03-07 Conti Temic Microelectronic Gmbh Verfahren zur vorhersehbaren Belichtungssteuerung zumindest einer ersten Fahrzeugkamera
CN110166648A (zh) * 2019-06-06 2019-08-23 杭州国翌科技有限公司 一种基于光学成像的摄像头探测锁定方法及装置
CN112288040B (zh) * 2020-01-10 2021-07-23 牧今科技 执行用于物体识别的图像分类的方法和系统
CN111507390B (zh) * 2020-04-11 2023-07-04 华中科技大学 一种基于轮廓特征的仓储箱体识别与定位方法
CN112907526B (zh) * 2021-02-07 2022-04-19 电子科技大学 基于lbf的卫星望远镜镜片表面疵病检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697497B1 (en) * 1998-12-22 2004-02-24 Novell, Inc. Boundary identification and characterization through density differencing
CN1748167A (zh) * 2003-02-06 2006-03-15 宝马股份公司 用于以红外图像和可见图像与环境相关的结合来显示车辆环境的方法和装置
US8749548B2 (en) * 2011-09-01 2014-06-10 Samsung Electronics Co., Ltd. Display system with image conversion mechanism and method of operation thereof

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7254268B2 (en) 2002-04-11 2007-08-07 Arcsoft, Inc. Object extraction
US20070115464A1 (en) * 2005-11-21 2007-05-24 Harding Kevin G System and method for inspection of films
US8750567B2 (en) * 2012-04-09 2014-06-10 GM Global Technology Operations LLC Road structure detection and tracking
US8705110B2 (en) 2012-06-25 2014-04-22 Yoldas Askan Method of generating a smooth image from point cloud data
JP5874756B2 (ja) * 2014-02-07 2016-03-02 トヨタ自動車株式会社 区画線検出システム及び区画線検出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697497B1 (en) * 1998-12-22 2004-02-24 Novell, Inc. Boundary identification and characterization through density differencing
CN1748167A (zh) * 2003-02-06 2006-03-15 宝马股份公司 用于以红外图像和可见图像与环境相关的结合来显示车辆环境的方法和装置
US8749548B2 (en) * 2011-09-01 2014-06-10 Samsung Electronics Co., Ltd. Display system with image conversion mechanism and method of operation thereof

Also Published As

Publication number Publication date
US9628659B2 (en) 2017-04-18
DE102016100134A1 (de) 2016-07-14
US20160205283A1 (en) 2016-07-14
CN105787429A (zh) 2016-07-20
DE102016100134B4 (de) 2023-05-17

Similar Documents

Publication Publication Date Title
CN105787429B (zh) 采用机器视觉用于检查物体的方法和设备
US11256955B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
CN105787923B (zh) 用于平面表面分割的视觉系统和分析方法
JP7329143B2 (ja) 偏光キューを用いた透明な物体のセグメンテーションのためのシステム及び方法
JP5538868B2 (ja) 画像処理装置、その画像処理方法及びプログラム
JP4714749B2 (ja) 偏光データを用いるリアルタイム画像検出
TWI505201B (zh) Object recognition device, object recognition method and program product
JP4389602B2 (ja) 物体検出装置、物体検出方法、プログラム
US20120008020A1 (en) Shadow Removal in an Image Captured by a Vehicle Based Camera Using a Non-Linear Illumination-Invariant Kernel
WO2020066637A1 (ja) 奥行取得装置、奥行取得方法およびプログラム
JP2011053953A (ja) 画像処理装置及びプログラム
US9197860B2 (en) Color detector for vehicle
CN105718931B (zh) 用于确定采集图像中的杂斑的系统和方法
US20090290788A1 (en) System and method for performing multi-image training for pattern recognition and registration
TW201434010A (zh) 具有在預處理層及一或多個更高層之間之多通道介面之影像處理器
KR101696086B1 (ko) 소나 이미지 내의 물체 부분 추출 방법 및 장치
CN117218633A (zh) 一种物品检测方法、装置、设备及存储介质
Fischer et al. Face detection using 3-d time-of-flight and colour cameras
JP2693586B2 (ja) 画像識別・追尾装置
EP3062516A1 (en) Parallax image generation system, picking system, parallax image generation method, and computer-readable recording medium
WO2015136716A1 (ja) 画像処理装置、画像センサ、画像処理方法
JP5172995B2 (ja) 顔向き判別装置およびコンピュータプログラム
JP2011203853A (ja) 画像処理装置及びプログラム
CN112016495A (zh) 人脸识别的方法、装置和电子设备
JPH11283036A (ja) 対象物検出装置及び対象物検出方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant