CN112419406A - 物体检测装置以及物体检测用计算机程序 - Google Patents
物体检测装置以及物体检测用计算机程序 Download PDFInfo
- Publication number
- CN112419406A CN112419406A CN202010780126.0A CN202010780126A CN112419406A CN 112419406 A CN112419406 A CN 112419406A CN 202010780126 A CN202010780126 A CN 202010780126A CN 112419406 A CN112419406 A CN 112419406A
- Authority
- CN
- China
- Prior art keywords
- local
- matching degree
- image
- model pattern
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 57
- 238000004590 computer program Methods 0.000 title claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 239000000284 extract Substances 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 description 36
- 238000007689 inspection Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 9
- 210000000707 wrist Anatomy 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 230000005484 gravity Effects 0.000 description 5
- 230000001788 irregular Effects 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/759—Region-based matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Robotics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Mechanical Engineering (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Automation & Control Theory (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
提供物体检测装置以及物体检测用计算机程序，高精度检测图像上示出的对象物体。物体检测装置具有：特征提取部，从示出对象物体的图像中提取多个预定特征及对照部，改变从预定方向观察对象物体时的模型图案相对于图像的相对位置关系，同时算出针对模型图案整体设定的多个预定特征与从图像上的对应区域提取出的多个预定特征间的整体匹配度且针对包含部分模型图案的各局部区域，算出包含在该局部区域中的1个以上预定特征与从图像上与该局部区域对应的区域中提取的1个以上预定特征间的局部匹配度，且当整体匹配度为整体匹配度阈值以上且针对各局部区域算出的局部匹配度为局部匹配度阈值以上时，判定为图像上与模型图案对应的区域中示出了对象物体。
Description
技术领域
本发明涉及例如用于对图像中示出的物体进行检测的物体检测装置以及物体检测用计算机程序。
背景技术
以往，提出了一种从示出了对象物体的图像中检测出示出了该对象物体的区域的技术。在这样的技术中，特别提出了如下技术：对于形状如汽车车轮那样因为形状具有高度对称性所以若不关注特定的部位就无法正确决定位置及姿势的对象物体，进行高精度定位。例如，在日本特开2017-96749号公报中记载的定位方法中，在成为检查对象物标准的产品标准图像中，设定有围绕标准图案的第1区域和用于表征标准图案的位置及姿势的第2区域。而且，在该定位方法中，从检查对象图像中搜索从第1区域中提取出的特征，并大概求出标准图案在检查对象图像中的位置及姿势(第1搜索工序)，并通过从检查对象图像中搜索从第2区域中提取出的特征，精细地求出大概求出的位置及姿势中的至少一项(第2搜索工序)。
另外，在日本特开2004-318488号公报中记载的产品检查方法中，当在多个产品的集合体中包含的产品之间进行相互的图案匹配时，设定用于从显示有多个产品的图像示出的各个产品的检查窗口。在该产品检查方法中，将基准位置的检查窗口分割为多个分别表示特征的图案的分割图像，并将基准位置的表示检查窗口整体的整体图像和分割图像分别作为模板，实施与其它检查窗口之间的图案匹配。而且，在该产品检查方法中，将由整体图像的图案匹配得到的整体模型相关值和由分割图像的图案匹配得到的分割模型相关值与阈值进行比较，由此判定产品合格与否。
发明内容
然而，在日本特开2017-96749号公报中记载的技术中，为了进行第2搜索工序，必须由用户根据检查对象物的形状来设定搜索方法。根据搜索方法的设定，在第2搜索工序中，对于是通过使检查对象图像旋转来执行用于搜索检查对象物的旋转搜索，还是通过使位置姿势特征在检查对象图像中沿着搜索方向移动来执行用于搜索检查对象物的直线搜索进行指定，并且在旋转搜索的情况下，进行旋转中心的设定，而在直线搜索的情况下，进行搜索方向的设定。若搜索方法的设定不合适，则在第2搜索工序中，设定的第2区域与示出了检查对象物的检查对象图像不匹配，无法得到合适的定位结果。特别地，关于旋转中心及搜索方向，若设定的旋转中心或搜索方向稍有误差，则在第2搜索工序中，无法检测出第2区域与检查对象图像相匹配的角度及位置，因此操作者必须拿出格外的谨慎度来设定搜索方法。另外，由于第2搜索工序受第1搜索工序的搜索结果限制，因此若第1搜索工序本身的搜索结果不合适，则无法得到检查对象物的正确的位置及姿势。另外，在日本特开2004-318488号公报中记载的技术中，针对示出了产品组的图像预先设定各个检查窗口，然后进行检查窗口之间的匹配。因此，在检查窗口的设定时间点，若没有合适地进行设定以使各检查窗口示出产品，即使对窗口整体与各分割图像分别进行图案匹配，也无法得到合适的合格与否的判定结果。
本发明的一个侧面，目的在于提供能高精度地检测出图像示出的具有对称性的对象物体的物体检测装置。
本发明的一个实施方式，提供了一种物体检测装置。该物体检测装置具有：存储部33，其存储模型图案和包括上述模型图案的一部分的至少一个局部区域，该模型图案表示从预定的方向观察对象物体10时对象物体10的位于互不相同的位置的多个预定的特征；特征提取部41，其用于从示出了对象物体10的图像中提取出多个预定的特征；以及对照部42，其在改变模型图案相对于图像的相对位置关系的同时算出整体匹配度，并且针对至少一个局部区域中的每一个局部区域算出局部匹配度，并且当上述整体匹配度为预定的整体匹配度阈值以上，且针对至少一个局部区域中的每一个局部区域算出的局部匹配度为预定的局部匹配度阈值以上时，判定为在图像上与模型图案对应的区域中，示出了对象物体10，其中，上述整体匹配度表示针对模型图案整体设定的多个预定的特征与从图像上与模型图案对应的区域中提取出的多个预定的特征之间的匹配程度，上述局部匹配度表示多个预定的特征中的包含在该局部区域中的1个以上的特征与从图像上与该局部区域对应的区域中提取出的1个以上的预定的特征之间的匹配程度。
本发明另一个实施方式，提供了一种物体检测用计算机程序。该物体检测用计算机程序包括用于使计算机执行如下处理的命令：从示出了对象物体10的图像中提取出多个预定的特征；在改变模型图案相对于图像的相对位置关系的同时算出整体匹配度，并且针对至少一个局部区域中的每一个局部区域算出局部匹配度，并且当整体匹配度为预定的整体匹配度阈值以上且针对至少一个局部区域中的每一个局部区域算出的局部匹配度为预定的局部匹配度阈值以上时，判定为在图像上与模型图案对应的区域中，示出了对象物体10，其中，上述模型图案表示从预定的方向观察对象物体10时对象物体的位于互不相同的位置的多个预定的特征，上述整体匹配度表示针对模型图案整体设定的多个预定的特征与从图像上与模型图案对应的区域中提取出的多个预定的特征之间的匹配程度，上述局部匹配度表示针对模型图案设定的多个特征中的包含在上述局部区域中的1个以上的特征与从图像上与该局部区域对应的区域中提取出的1个以上的预定的特征之间的匹配程度。
根据一个侧面，能够高精度地检测出图像示出的具有对称性的对象物体。
附图说明
图1是基于一个实施方式的机器人系统的概略结构图。
图2是控制装置的概略结构图。
图3A是表示从预定的方向观察到的工件的形状的一例的图。
图3B是表示工件的模型图案的一例的图。
图4是与包括物体检测处理的可动部控制处理相关的、控制装置所具有的处理器的功能框图。
图5A～图5E分别是模型图案和图像的对照的概要说明图。
图6是包括物体检测处理的可动部控制处理的动作流程图。
具体实施方式
下面，参照附图对基于本发明的实施方式的物体检测装置进行说明。该物体检测装置例如从由拍摄部拍摄成为搜索对象的物体(下面简单称为对象物体)而得到的示出了对象物体的图像中检测出该对象物体。此时，该物体检测装置一边改变图像与模型图案之间的相对位置关系，一边算出整体匹配度，该模型图案表示从预定的方向观察对象物体时的外观，该整体匹配度表示针对模型图案整体设定的多个特征与从图像上与模型图案对应的比较区域中提取出的多个特征之间的匹配程度。进而，该物体检测装置针对表示模型图案的一部分的至少一个局部区域中的每一个局部区域，算出表示该局部区域中包含的1个以上的特征与从图像上与该局部区域对应的局部比较区域中提取出的1个以上的特征之间的匹配程度的局部匹配度。然后，当整体匹配度和针对各局部区域算出的局部匹配度在阈值以上时，该物体检测装置判定为在图像上与模型图案对应的比较区域中示出了对象物体。
下面，对物体检测装置被组装于机器人系统中的示例进行说明。在该示例中，通过安装在机器人所具有的可动部上的拍摄部对作为其自动机械的对象物体的工件进行拍摄，来生成示出了该对象物体的图像。然后，组装有物体检测装置的机器人的控制装置从该图像中检测出对象物体，并基于其检测结果控制可动部。
图1是一个实施方式的安装有物体检测装置的机器人系统1的概略结构图。机器人系统1具有：机器人2；控制机器人2的控制装置3；以及安装于机器人2的可动部上，用于拍摄工件10的照相机4，该工件10是对象物体的一例。机器人系统1是自动机械的一例。
机器人2具有：底座11、旋转台12、第1臂13、第2臂14、腕部15、以及工具16。旋转台12、第1臂13、第2臂14、腕部15、以及工具16分别是可动部的一例。旋转台12、第1臂13、第2臂14、以及腕部15分别由在安装了它们的关节上设置的轴所支撑，并通过伺服电机驱动该轴而进行动作。另外，工件10例如由传送带输送，在工件10位于预定范围内的期间，机器人2对工件10实施预定作业。
底座11是当机器人2设置在地板上时成为台的部件。通过关节21在底座11的上表面安装旋转台12，该旋转台12能够以被设置成与底座11的一个表面正交的轴(未图示)为旋转中心转动。
第1臂13通过其一端侧在设置于旋转台12上的关节22中被安装在旋转台12上。在本实施方式中，如图1所示，第1臂13通过关节22能以平行于底座11的安装有旋转台12的面而设置的轴(未图示)为中心转动。
第2臂14在其一端侧，通过关节23被安装在第1臂13上，该关节23设置在与关节22相反侧的第1臂13的另一端侧。在本实施方式中，如图1所示，第2臂14通过关节23能以平行于底座11的安装有旋转台12的面而设置的轴(未图示)为中心转动。
腕部15经由关节24安装在与关节23相反侧的第2臂14的前端。腕部15具有关节25，能够通过关节25以平行于关节22的轴及关节23的轴而设置的轴(未图示)为中心弯曲。进而，腕部15也可以以与第2臂14的长度方向平行的轴(未图示)为旋转中心在与第2臂14的长度方向正交的面中转动。
工具16安装在与关节24相反侧的腕部15的前端。工具16具有用于对工件10进行作业的机构或装置。例如，工具16可以具有用于对工件10进行加工的激光器，也可以具有用于对工件10进行焊接的伺服焊枪。或者，工具16也可以具有用于握持工件10或组装于工件10上的部件的手持机构。
照相机4是拍摄部的一例，例如安装在工具16上。此外，照相机4也可以安装在腕部15或第2臂14等其它可动部上。照相机4的朝向为当机器人2对工件10实施作业时工件10被包含在照相机4的拍摄范围中。另外，照相机4按照每个预定的拍摄周期对包含工件10的拍摄范围进行拍摄从而生成示出工件10的图像。每当生成图像时，照相机4都将生成的图像经由通信线路5输出到控制装置3中。
控制装置3经由通信线路5与机器人2连接，并经由通信线路5从机器人2接收表示对设置于机器人2的各个关节上的轴进行驱动的伺服电机的动作情况的信息、来自照相机4的图像等。然后，控制装置3基于接收到的信息、图像以及从上位控制装置(未图示)接收到的或者预先设定的机器人2的动作来控制伺服电机，由此控制机器人2的各可动部的位置及姿势。
图2是控制装置3的概略结构图。控制装置3具有：通信接口31、驱动电路32、存储器33以及处理器34。进而，控制装置3也可以具有触摸面板等用户界面(未图示)。
通信接口31包括：例如用于将控制装置3与通信线路5连接的通信接口、以及用于执行与经由通信线路5的信号的收发相关的处理的电路等。而且，通信接口31例如经由通信线路5从机器人2接收来自用于检测作为驱动部的一例的伺服电机35的旋转量的编码器的旋转量的测定值等表示伺服电机35的动作情况的信息，并将该信息转送到处理器34。此外，在图2中，代表性地图示出1个伺服电机35，但机器人2可以针对每个关节都具有用于驱动该关节的轴的伺服电机。进而，通信接口31从照相机4接收图像并转送到处理器34。
驱动电路32经由电流供给用电缆与伺服电机35连接，并根据处理器34的控制，向伺服电机35供给与使伺服电机35产生的转矩、旋转方向或旋转速度相应的电力。
存储器33是存储部的一例，例如具有可读写半导体存储器和只读半导体存储器。进而，存储器33也可以具有半导体存储卡、硬盘或光存储介质等存储介质以及用于访问该存储介质的装置。
存储器33存储通过控制装置3的处理器34执行的、用于控制机器人2的各种计算机程序等。另外，存储器33存储用于控制使机器人2动作时的机器人2的动作的信息。进而，存储器33存储表示在机器人2动作过程中从机器人2得到的伺服电机35的动作情况的信息。另外，存储器33存储物体检测处理中所用的各种数据。这样的数据包括：例如工件10的检测所用的、工件10的模型图案、照相机4的焦点距离、安装位置及朝向等表示与照相机4相关的信息的照相机参数、以及从照相机4得到的图像。
在本实施方式中，在模型图案中，示出了当从预定的方向(例如垂直上方)观察工件10时工件10的位于互不相同的位置的多个预定的特征。进而，在模型图案中，以包括工件10的一部分的方式，设定了至少一个局部区域。局部区域设定在例如表示工件10的姿势的局部部分，例如当从预定的方向观察工件10时位置及姿势相对于工件10的基准点(例如从预定的方向观察时示出了工件10的区域的重心)根据工件10的姿势而变化的部分中。此外，局部区域不限于一个，也可以设定为多个。另外，工件10可以是例如从预定的方向观察时具有对称性的形状的工件，例如可以是具有线对称形状的工件。进而，关于模型图案中示出的预定的特征，可以设定为例如工件10的外观轮廓上的点或者沿着形成在工件10上的孔的点等表示工件10的任意部分的轮廓的特征点。或者，预定的特征也可以是位于工件10的特定部位的直线或曲线、或者表示工件10的特定部位的形状的图形(例如三角形或圆等)。
图3A是表示从预定的方向观察到的工件10的形状的一例的图，图3B是表示工件10的模型图案的一例的图。如图3A所示，在该示例中，当从预定的方向观察时，工件10具有线对称形状，其中轮廓大致呈圆形，且轮廓的部分10a呈凹状。与此相对，如图3B所示，在模型图案300中，工件10的轮廓上的多个点301分别被设定为特征。关于该多个特征301，例如通过对参照图像进行后述的处理器34的特征提取部41的处理而求出，该参照图像是通过从预定的方向拍摄工件10而得到的图像。另外，在模型图案300中，在工件10的轮廓中呈凹状的部分10a设定为局部区域310。局部区域310设定为包括相对于示出了工件10的区域的重心的相对位置及姿势根据工件10的姿势而变化的部分。因此，不只关于模型图案300整体，关于局部区域310，也与示出了工件10的图像进行对照，由此能够正确地检测出工件10在图像上的位置及姿势。此外，关于局部区域，例如作业人员一边目视确认上述参照图像，一边进行设定即可。另外，关于模型图案300，例如可以由二值图像来表示，该二值图像中，各特征所位于的像素和其它像素具有不同的值。
处理器34是控制部的一例，例如具有中央处理器(Central Processing Unit；CPU)及其周边电路。进而，处理器34也可以具有数值运算用的处理器。另外，处理器34控制机器人系统1整体。另外，处理器34执行包括物体检测处理的可动部控制处理。
图4是与包括物体检测处理的可动部控制处理相关的、处理器34的功能框图。处理器34具有：特征提取部41、对照部42、可动部控制部43。处理器34所具有的这些各部分例如是通过在处理器34上执行的计算机程序实现的功能模块。或者，这些各部分也可以作为安装在处理器34的一部分上的专用的运算电路被安装。另外，处理器34所具有的这些各部分中的特征提取部41及对照部42的处理包括在物体检测处理中。
特征提取部41从通过照相机4得到的时间序列的一系列图像中的每一个图像中，提取出多个与模型图案中示出的特征为同一种类的特征。由于特征提取部41只要对各图像执行同一处理即可，因此，下面，关于针对一个图像的处理进行说明。
当特征是位于工件10的轮廓上的点等特征点时，特征提取部41例如对图像上的各像素应用索伯(Sobel)滤波器等边缘检测滤波器，并将边缘强度为预定值以上的像素作为特征提取出来。或者，特征提取部41也可以将示出了对图像应用哈里斯(Harris)等角点检测滤波器而检测出的角点(corner)的像素作为特征提取出来。再或者，特征提取部41也可以将对图像应用SIFT算法而检测出的像素作为特征提取出来。
另外，当特征是直线时，特征提取部41也可以例如像上述那样从图像中提取出多个特征点，并通过对提取出的多个特征点执行霍夫变换，将排列有预定数以上的特征点的直线分别作为特征提取出来。同样地，当特征是预定的曲线(例如，圆弧等2次曲线或3次以上的高次曲线)时，特征提取部41例如像上述那样从图像中提取出多个特征点，并对提取出的多个特征点执行广义霍夫(Hough)变换。由此，特征提取部41也可以将排列有预定数以上的特征点的预定的曲线分别作为特征提取出来。
再或者，当特征是具有预定形状的图形(例如三角形或圆)时，特征提取部41也可以通过在表示该图形的模板和图像之间执行模板匹配，将具有该预定形状的图形分别作为特征从图像中提取出来。或者，特征提取部41也可以通过将图像输入被预先学习过的卷积神经网络等识别器中以检测出具有预定的形状的图形，从而将该图形提取出来。
特征提取部41针对每个图像将从该图像中提取出的各特征的位置通知给对照部42。例如，特征提取部41生成二值图像来作为表示各特征的位置的数据，并将该二值图像转送到对照部42，该二值图像中，示出了提取出的特征的像素和其它像素具有不同的值。
对照部42针对通过照相机4得到的时间序列的一系列图像中的每一个图像，将从该图像中提取出的多个特征与模型图案进行对照，由此从图像中检测工件10。此外，由于对照部42只要对各图像执行同一处理即可，因此，下面，关于针对一个图像的处理进行说明。
例如，对照部42从存储器33读入模型图案并将该模型图案与关注的图像进行对照，由此检测出图像上示出了工件10的区域。此时，对照部42通过改变模型图案相对于图像的相对位置关系，在图像上设定需要与模型图案对照的多个比较区域。此外，关于相对位置关系的变更，例如是通过改变模型图案相对于图像的相对位置、相对朝向及比例中的至少一项来进行的。关于这样的变更，例如是通过对模型图案应用仿射变换(affinetransformation)来进行的。而且，对照部42针对每个比较区域，算出该比较区域与模型图案之间的整体匹配度，该整体匹配度表示针对模型图案整体设定的多个特征与从比较区域中提取出的多个特征之间的匹配程度。进而，对照部42针对每个比较区域算出局部匹配度，该局部匹配度表示包含于在模型图案中设定的局部区域的1个以上的特征与从图像上与该局部区域对应的局部比较区域中提取出的1个以上的特征之间的匹配程度。此外，当对模型图案设定了多个局部区域时，对照部42也可以针对多个局部区域中的每一个局部区域算出局部匹配度。
对照部42例如可以根据下式算出整体匹配度及局部匹配度。
整体匹配度＝针对模型图案设定的特征中，与从对象图像的比较区域中提取出的任意一个特征之间的距离在预定值以下的特征的数量/针对模型图案设定的特征的总数
局部匹配度＝针对模型图案的局部区域设定的特征中，与从对象图像上对应于局部区域的局部比较区域中提取出的任意一个特征之间的距离在预定值以下的特征的数量/包含在局部区域中的特征的总数
此外，当各个特征用轮廓上的点等点来表示时(即，当各个特征是特征点时)，可以将上述整体匹配度和局部匹配度的计算式中的2个特征之间的距离设为特征点之间的欧几里得距离。另外，当各个特征是直线或曲线时，可以将2个特征之间的距离设为作为特征的2条直线或2条曲线各自的预定的多个位置(例如两端点和中点)之间的欧几里得距离的平均值。进而，当各个特征是三角形或圆等具有预定形状的图形时，可以将2个特征之间的距离设为作为特征的2个图形中各自的预定的多个位置(例如，图形的重心、某个角点等)之间的欧几里得距离的平均值。
或者，对照部42也可以针对模型图案的各个特征，例如以实现与比较区域的最近特征之间的距离越小，整体匹配度和局部匹配度越大的方式根据下式算出整体匹配度和局部匹配度。
整体匹配度＝Σn＝1 N(1/(dn+1))/N
局部匹配度＝Σm＝1 M(1/(dm+1))/M
式中，dn是：关于针对模型图案设定的第n个特征，该特征与从对象图像的比较区域中提取出的任意一个特征之间的距离中的最小值，N表示针对模型图案设定的特征的总数。同样地，dm是：关于针对模型图案的局部区域设定的第m个特征，该特征与从对象图像上对应于局部区域的局部比较区域中提取出的任意一个特征之间的距离中的最小值，M表示包含在模型图案的局部区域中的特征的总数。
针对关注的比较区域，当整体匹配度在预定的整体匹配度阈值以上，且针对各局部区域算出的局部匹配度在预定的局部匹配度阈值以上时，对照部42判定为在关注的比较区域中示出了工件10。
图5A～图5E是用于说明模型图案和图像的对照的概要的图。如图5A所示，图像500中示出的工件10具有轮廓大致呈圆形且轮廓的一部分呈凹状的形状。而且，沿着工件10的轮廓提取出了多个特征501。与此相对，如图5B所示，在模型图案510中，也沿着工件10的轮廓设定了多个特征511，并且在轮廓呈凹状的部分中设定了局部区域520。
如图5C所示，在图像500中，以包含工件10的方式设定了比较区域530，并且设定为模型图案510的朝向与工件10在图像500上的朝向一致。该情况下，不只是在整个模型图案510中，即使在局部区域520中，从图像500中提取出的各个特征501也与针对模型图案设定的各个特征511大致匹配。因此，整体匹配度和局部匹配度两者均为高值，所以判定为在比较区域530中示出了工件10，而且可知工件10在图像500上的朝向是与模型图案510相同的朝向。
另一方面，如图5D所示，若比较区域540偏离示出工件10的区域，则关于比较区域整体，从图像500中提取出的各个特征501与针对模型图案510设定的各个特征511不匹配。进而，即使关于局部区域520，从图像500中提取出的各个特征501与针对模型图案510设定的各个特征511也不匹配。作为其结果，整体匹配度和局部匹配度两者均为低值。因此，判定为比较区域540与示出了工件10的区域不同。
进而，如图5E所示，设定比较区域550包含工件10，但是工件10在图像500上的朝向与对照的模型图案510的朝向不同。该情况下，由于模型图案510被以与工件10的轮廓大致匹配的方式对准，因此多个特征501中与任意一个特征511之间的距离较小的特征变多，所以整体匹配度为较高的值。但是，由于工件10呈凹状的部分的位置偏离模型图案510的局部区域520的位置，因此局部匹配度为较低的值。其结果，从比较区域550中检测不到工件10。
像这样，对照部42基于根据模型图案整体算出的整体匹配度和针对局部区域算出的局部匹配度两者，检测出图像上示出了工件10的区域，因此不只能检测出图像上示出的工件10的位置，还能检测出工件10的姿势。
此外，整体匹配度阈值和局部匹配度阈值可以相同，也可以互不相同。
例如，根据照相机4和工件10的位置关系，有时候会对工件10的一部分投射一些阴影，而特征提取部41无法从图像上投射有阴影的地方充分提取特征。在这样的情况下，整体匹配度可能会成为较低的值。因此，优选将整体匹配度阈值和局部匹配度阈值设定为使局部匹配度阈值比整体匹配度阈值高。由此，关于整体匹配度，即使匹配程度较低，也能检测出工件10，而关于局部匹配度，在工件10的检测中要求较高的匹配程度。因此，能够抑制对照部42将其它物体误检测为工件10，并且能够抑制工件10的检测失败。进而，在工件10的一部分为独特的形状，并且局部区域被设定为包含该独特的形状的情况下，也优选将整体匹配度阈值和局部匹配度阈值设定为使局部匹配度阈值比整体匹配度阈值高。由此，对照部42能够更高精度地检测出包括独特的形状的工件10。
另外，存在如下情况：当工件10被预先加工过时，如在工件10上形成不规则的孔的情况那样，在工件10的一部分中包含不规则的部分，而局部区域被设定为包含该不规则的部分。在这样的情况下，模型图案的局部区域内的特征的位置未必与实际的工件的对应区域内的特征的位置匹配，作为其结果，即使在关注的比较区域中示出了工件10，局部匹配度也比整体匹配度低。因此，在这样的情况下，优选将整体匹配度阈值和局部匹配度阈值设定为使整体匹配度阈值比局部匹配度阈值高。由此，即使在工件10的一部分中包含不规则的部分，对照部42也能利用该不规则的部分的特征检测出图像中示出的工件10的姿势。
另外，当模型图案中设定有多个局部区域时，针对每个局部区域应用的局部匹配度阈值的值可以不同，或者对各局部区域应用的局部匹配度阈值的值也可以相同。
此外，可以预先准备多个模型图案。该情况下，针对每个模型图案，对工件10进行观察的方向可以不同。该情况下，对照部42关于多个模型图案中的每一个，以与上述相同的方式，针对每个比较区域算出整体匹配度和局部匹配度。然后，对照部42判定为：在与模型图案的、整体匹配度和局部匹配度的和最大、整体匹配度在整体匹配度阈值以上、且局部匹配度在局部匹配度阈值以上的位置对应的比较区域中，示出了从该模型图案所表示的方向观察到的工件10。
当求出了工件10在图像上的位置时，对照部42基于该位置检测出工件10在实际空间中的位置。这里，各像素在图像上的位置与从照相机4观察的方位一一对应。因此，对照部42例如可以将与图像上示出了工件10的区域的重心相当的方位设为从照相机4朝向工件10的方位。进而，对照部42通过将从照相机4到工件10的距离为预定的基准距离时工件10在图像上的面积相对于图像上示出了工件10的区域的面积的比乘以基准距离，可以算出从照相机4到工件10的推定距离。因此，对照部42基于从照相机4朝向工件10的方位和推定距离，可以检测出工件10在以照相机4的位置为基准的照相机坐标系中的位置。
进而，对照部42可以根据模型图案在被判定为示出了工件10的比较区域中的朝向，求出工件10相对于从预定的方向观察时的模型图案中示出的工件10的朝向的实际旋转量。因此，对照部42可以根据该旋转量求出工件10的姿势。进而，对照部42通过使工件10在图像上的姿势以针对模型图案限定的预定方向与示出了工件10的区域的重心所对应的距照相机4的方位之间的差值进行旋转，从而可以求出由照相机坐标系表示的工件10的姿势。
对照部42每当求出工件10在实际空间中的位置时，都将工件10的位置输出到可动部控制部43中。
可动部控制部43基于由对照部42检测出的工件10的位置及姿势来控制机器人2的可动部。例如，控制机器人2的各可动部，以使机器人2的工具16向可以对工件10实施作业的位置移动。此时，可动部控制部43控制机器人2的各可动部，以实现例如在由照相机4生成的图像中，以与工具16对工件10进行作业的位置对应的预定的位置和预定的大小来表示工件10。该情况下，可动部控制部43根据例如基于位置法或基于特征法等基于由照相机得到的对象物体的图像来控制机器人的方法，对机器人2的各可动部进行控制即可。关于这样的方法，例如可以参照：桥本，“视觉与控制(視覚と制御)”，测量与自动控制学会控制部门大会研究会，京都，pp.37-68，2001年。
图6是包括物体检测处理的可动部控制处理的动作流程图。处理器34根据下述动作流程图，每当从照相机4获取图像时都执行可动部控制处理。此外，以下的动作流程图中的步骤S101～S107的处理包括在物体检测处理中。
特征提取部41从图像中提取出多个工件10的互不相同的位置上的外观的特征(步骤S101)。对照部42在图像上设定需要与模型图案对照的比较区域(步骤S102)。对照部42算出模型图案与比较区域之间整体匹配度Sa，并且针对各局部区域算出局部匹配度Sp(步骤S103)。然后，对照部42判定整体匹配度Sa是否在整体匹配度阈值Tha以上，并且关于各局部区域的局部匹配度Sp是否在局部匹配度阈值Thp以上(步骤S104)。
当整体匹配度小于整体匹配度阈值Tha，或者关于任意一个局部区域的局部匹配度小于局部匹配度阈值Thp时(步骤S104：否)，对照部42判定为在比较区域中没有示出朝向与模型图案的朝向相同的工件10。接着，对照部42通过变更模型图案相对于图像的相对位置、朝向及比例中的至少任意一项，来变更比较区域(步骤S105)。然后，对照部42重复执行步骤S103以后的处理。
另一方面，当整体匹配度在整体匹配度阈值Tha以上，而且关于各局部区域的局部匹配度在局部匹配度阈值Thp以上时(步骤S104：是)，对照部42判定为在比较区域中示出了朝向与所对照的模型图案的朝向相同的工件10(步骤S106)。然后，对照部42根据工件10在图像上的位置及朝向，检测出工件10在实际空间中的位置及姿势(步骤S107)。
可动部控制部43基于工件10在实际空间中的位置及姿势，控制机器人2的各可动部，以使工具16向可以对工件10实施作业的位置移动(步骤S108)。
在步骤S108之后，处理器34结束可动部控制处理。此外，如果即使对照部42重复执行预定次数以上的步骤S103～S105的处理仍然没有在图像上检测出工件10，则对照部42可以判定为在图像上没有示出工件10。该情况下，可动部控制部43可以使可动部停止。
如以上所说明的那样，该物体检测装置在图像上的多个比较区域中的每一个比较区域中，算出针对表示对象物体的模型图案整体设定的多个特征与从比较区域中提取出的多个特征之间的整体匹配度。进而，该物体检测装置在各比较区域中，关于表示模型图案的一部分的至少一个局部区域中的每一个，算出包含在该局部区域的1个以上的特征与从对象图像上与局部区域对应的局部比较区域中提取出的1个以上的特征之间的局部匹配度。然后，该物体检测装置判定为在整体匹配度和关于各局部区域的局部匹配度为阈值以上的比较区域中示出了对象物体。因此，即使在图像上示出了整体形状与对象物体整体相似的其它物体的情况下，该物体检测装置也能抑制将其它物体误检测为对象物体。进而，该物体检测装置由于在对象物体的检测中还使用了针对模型图案设定的1个以上的局部区域的局部匹配度，因此能够根据与图像比较的模型图案的朝向，准确地检测出图像上示出的对象物体的朝向。因此，该物体检测装置还能检测出对象物体的姿势。如此，该物体检测装置能够高精度地检测出图像上示出的对象物体。特别地，即使在对象物体具有对称性的情况下，该物体检测装置通过进行上述处理，也能从图像中高精度地检测出该对象物体。
根据变形例，局部匹配度的计算中使用的特征的种类也可以与整体匹配度的计算中使用的特征的种类不同。例如，整体匹配度的计算中使用的特征是检测对象物的轮廓上的点(特征点)，而局部匹配度的计算中使用的特征可以是表示检测对象物的特征性部分的图形、直线或曲线。进而，在模型图案中设定有多个局部区域的情况下，针对每个局部区域，局部匹配度的计算中使用的特征的种类也可以不同。
该情况下，特征提取部41不只从图像中提取出整体匹配度的计算中使用的种类(第2种类)的特征，还提取出局部匹配度的计算中使用的种类(第1种类)的特征。然后，对照部42基于第2种类的特征彼此之间的匹配程度算出整体匹配度，并基于第1种类的特征彼此之间的匹配程度算出局部匹配度即可。此外，整体匹配度的计算式和局部匹配度的计算式可以与上述实施方式中使用的计算式相同。
如此，通过在模型图案整体的对照和模型图案的局部的对照中使用不同种类的特征，对照部42能够使用适于模型图案整体的对照的特征(例如特征点)和适于模型图案的局部的对照的特征(例如图形、直线或曲线)。因此，该物体检测装置能够进一步提高对象物体的检测精度。
另外，对照部42也可以根据整体匹配度的计算结果自动设定用于算出局部匹配度的局部比较区域的搜索图案。例如，对照部42可以随着整体匹配度降低而更密集地设置局部比较区域。由此，该物体检测装置可以高精度地检测出对象物体，而无需用户设定搜索方法。
另外，该物体检测装置也可以用于除了自动机械控制之外的用途中。例如，该物体检测装置也可以用于判定在传送带上输送的工件10是否合格。该情况下，照相机4例如可以以使工件10的输送路径的一部分包含在照相机4的拍摄范围的方式而固定安装。另外，物体检测装置例如可以是具有与图2所示的控制装置3相同的结构的装置。但是，驱动电路32可以省略。该情况下，在物体检测装置所具有的存储器中，存储工件10的表示合格品的模型图案。该情况下，物体检测装置的处理器对由照相机4得到的图像执行特征提取部41的处理及对照部42的处理即可。然后，若对照部42通过与模型图案对照从由照相机4得到的图像中检测出工件10，则判定为该工件10为合格品。另一方面，若对照部42不能从图像中检测出工件10，则可以判定为该图像生成时位于照相机4的拍摄范围中的工件10为不合格品。另外，物体检测装置的处理器可以将合格与否的判定结果显示在显示装置上，或者也可以将合格与否的判定结果通知给经由通信接口连接的其它设备。
根据该变形例，即使在没有确定出检查对象物的位置及姿势的情况下，物体检测装置也能判定检查对象物是否合格。
另外，关于执行控制装置3的处理器34所具有的各部分的处理的计算机程序，可以以记录在半导体存储器、磁记录介质或光记录介质等计算机可读取的便携式记录介质中的形式来提供。
关于这里列举的所有示例及特定用语，应当解释为：是出于帮助读者理解本发明及本发明人对于促进该技术而贡献的概念的示教性的目的的内容，并不限定为与表示本发明的优势和劣势相关的本说明书中的任意示例的结构、那些特定的列举示例及条件。关于本发明的实施方式进行了详细说明，但希望理解的是在不脱离本发明的精神及范围的条件下可以加入各种变更、替换及修正。
Claims (6)
1.一种物体检测装置，其特征在于，具有：
存储部，其存储模型图案和包括上述模型图案的一部分的至少一个局部区域，该模型图案表示从预定的方向观察对象物体时上述对象物体的位于互不相同的位置的多个预定的特征；
特征提取部，其从示出了上述对象物体的图像中提取出多个上述预定的特征；以及
对照部，其在改变上述模型图案相对于上述图像的相对位置关系的同时算出整体匹配度，并且针对上述至少一个局部区域中的每一个局部区域算出局部匹配度，并且当上述整体匹配度为预定的整体匹配度阈值以上，且针对上述至少一个局部区域中的每一个局部区域算出的上述局部匹配度为预定的局部匹配度阈值以上时，判定为在上述图像上与上述模型图案对应的区域中示出了上述对象物体，上述整体匹配度表示针对上述模型图案整体设定的多个上述预定的特征与从上述图像上与上述模型图案对应的区域中提取出的多个上述预定的特征之间的匹配程度，上述局部匹配度表示多个上述预定的特征中的包含在该局部区域中的1个以上的特征与从上述图像上与该局部区域对应的区域中提取出的1个以上的上述预定的特征之间的匹配程度。
2.根据权利要求1所述的物体检测装置，其特征在于，
上述多个特征中，包含在上述至少一个局部区域中的第1局部区域中的特征是第1种类的特征，未包含在上述第1局部区域中的特征是与上述第1种类不同的第2种类的特征，
上述特征提取部从上述图像中分别提取出上述第1种类的特征和上述第2种类的特征，
上述对照部针对上述第1局部区域，基于上述第1种类的特征与从上述图像上与上述第1局部区域对应的区域中提取出的上述第1种类的特征之间的匹配程度算出上述局部匹配度，并基于上述第2种类的特征与从上述图像上与上述模型图案对应的区域中提取出的上述第2种类的特征之间的匹配程度算出上述整体匹配度。
3.根据权利要求2所述的物体检测装置，其特征在于，
上述第1种类的特征是直线、预定的曲线或者具有预定形状的图形，
上述第2种类的特征是特征点。
4.根据权利要求1至3中任一项所述的物体检测装置，其特征在于，
上述整体匹配度阈值比上述局部匹配度阈值高。
5.根据权利要求1至3中任一项所述的物体检测装置，其特征在于，
上述整体匹配度阈值比上述局部匹配度阈值低。
6.一种物体检测用计算机程序，其特征在于，使计算机执行如下处理：
从示出了对象物体的图像中提取出多个预定的特征，
在改变模型图案相对于上述图像的相对位置关系的同时算出整体匹配度，并且针对至少一个局部区域中的每一个局部区域算出局部匹配度，且当上述整体匹配度为预定的整体匹配度阈值以上，针对上述至少一个局部区域中的每一个局部区域算出的上述局部匹配度为预定的局部匹配度阈值以上时，判定为在上述图像上与上述模型图案对应的区域中示出了上述对象物体，上述模型图案表示从预定的方向观察上述对象物体时上述对象物体的位于互不相同的位置的多个上述预定的特征，上述整体匹配度表示针对上述模型图案整体设定的多个上述预定的特征与从上述图像上与上述模型图案对应的区域中提取出的多个上述预定的特征之间的匹配程度，上述局部匹配度表示多个上述预定的特征中的包含在该局部区域中的1个以上的特征与从上述图像上与该局部区域对应的区域中提取出的1个以上的上述预定的特征之间的匹配程度。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019151809A JP7488033B2 (ja) | 2019-08-22 | 2019-08-22 | 物体検出装置及び物体検出用コンピュータプログラム |
| JP2019-151809 | 2019-08-22 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112419406A true CN112419406A (zh) | 2021-02-26 |
| CN112419406B CN112419406B (zh) | 2024-09-10 |
Family
ID=74495632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010780126.0A Active CN112419406B (zh) | 2019-08-22 | 2020-08-05 | 物体检测装置以及物体检测用计算机程序产品 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11961255B2 (zh) |
| JP (1) | JP7488033B2 (zh) |
| CN (1) | CN112419406B (zh) |
| DE (1) | DE102020121396A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6863946B2 (ja) * | 2018-10-31 | 2021-04-21 | ファナック株式会社 | 画像処理装置 |
| WO2023074235A1 (ja) * | 2021-10-27 | 2023-05-04 | パナソニックＩｐマネジメント株式会社 | 運搬システム |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040066964A1 (en) * | 2002-10-02 | 2004-04-08 | Claus Neubauer | Fast two dimensional object localization based on oriented edges |
| CN101159020A (zh) * | 2003-04-28 | 2008-04-09 | 索尼株式会社 | 图像识别设备、方法和机器人设备 |
| JP2010152543A (ja) * | 2008-12-24 | 2010-07-08 | Fujitsu Ltd | 検出装置、検出方法および検出プログラム |
| US20140301648A1 (en) * | 2013-04-05 | 2014-10-09 | Omron Corporation | Image processing apparatus, image processing method and program |
| CN106682673A (zh) * | 2015-11-06 | 2017-05-17 | 发那科株式会社 | 图像处理装置以及方法 |
| US20170148153A1 (en) * | 2015-11-24 | 2017-05-25 | Keyence Corporation | Positioning Method, Visual Inspection Apparatus, Program, Computer Readable Recording Medium, And Visual Inspection Method |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004318488A (ja) * | 2003-04-16 | 2004-11-11 | Konica Minolta Photo Imaging Inc | 製品検査方法及び製品検査装置 |
| JP4577580B2 (ja) * | 2007-04-10 | 2010-11-10 | ソニー株式会社 | 位置合わせ方法、位置合わせ装置及びプログラム |
| JP5301239B2 (ja) * | 2008-08-09 | 2013-09-25 | 株式会社キーエンス | 画像処理におけるパターンモデルの位置決め方法、画像処理装置、画像処理プログラム及びコンピュータで読み取り可能な記録媒体 |
| JP2016130979A (ja) | 2015-01-14 | 2016-07-21 | 株式会社リコー | 検知装置、検知処理プログラム及び検知システム |
-
2019
- 2019-08-22 JP JP2019151809A patent/JP7488033B2/ja active Active
-
2020
- 2020-08-05 CN CN202010780126.0A patent/CN112419406B/zh active Active
- 2020-08-10 US US16/989,774 patent/US11961255B2/en active Active
- 2020-08-14 DE DE102020121396.4A patent/DE102020121396A1/de active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040066964A1 (en) * | 2002-10-02 | 2004-04-08 | Claus Neubauer | Fast two dimensional object localization based on oriented edges |
| CN101159020A (zh) * | 2003-04-28 | 2008-04-09 | 索尼株式会社 | 图像识别设备、方法和机器人设备 |
| JP2010152543A (ja) * | 2008-12-24 | 2010-07-08 | Fujitsu Ltd | 検出装置、検出方法および検出プログラム |
| US20140301648A1 (en) * | 2013-04-05 | 2014-10-09 | Omron Corporation | Image processing apparatus, image processing method and program |
| CN106682673A (zh) * | 2015-11-06 | 2017-05-17 | 发那科株式会社 | 图像处理装置以及方法 |
| US20170148153A1 (en) * | 2015-11-24 | 2017-05-25 | Keyence Corporation | Positioning Method, Visual Inspection Apparatus, Program, Computer Readable Recording Medium, And Visual Inspection Method |
Also Published As
| Publication number | Publication date |
|---|---|
| US11961255B2 (en) | 2024-04-16 |
| DE102020121396A8 (de) | 2021-05-06 |
| US20210056659A1 (en) | 2021-02-25 |
| DE102020121396A1 (de) | 2021-02-25 |
| CN112419406B (zh) | 2024-09-10 |
| JP7488033B2 (ja) | 2024-05-21 |
| JP2021033555A (ja) | 2021-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111604942B (zh) | 物体检测装置、控制装置以及物体检测用计算机程序 | |
| JP3212777B2 (ja) | 画像処理装置 | |
| Chen et al. | Acquisition of weld seam dimensional position information for arc welding robot based on vision computing | |
| JP2921660B2 (ja) | 物品形状計測方法および装置 | |
| CN110936355B (zh) | 一种基于视觉测速定位的机械臂引导系统和方法 | |
| CN112836558B (zh) | 机械臂末端调整方法、装置、系统、设备及介质 | |
| de Araujo et al. | Computer vision system for workpiece referencing in three-axis machining centers | |
| CN112419406B (zh) | 物体检测装置以及物体检测用计算机程序产品 | |
| Shah et al. | A review paper on vision based identification, detection and tracking of weld seams path in welding robot environment | |
| EP3322959B1 (en) | Method for measuring an artefact | |
| US11826919B2 (en) | Work coordinate generation device | |
| CN113601501B (zh) | 机器人柔性作业方法、装置及机器人 | |
| JP2010184300A (ja) | 姿勢変更システムおよび姿勢変更方法 | |
| Nurlaili et al. | Mobile robot position control using computer vision | |
| Suszyński et al. | No Clamp Robotic Assembly with Use of Point Cloud Data from Low-Cost Triangulation Scanner | |
| CN116297501A (zh) | 采用单目视觉与振镜协同作用的移动零件检测系统及方法 | |
| Junaid et al. | In-process measurement in manufacturing processes | |
| JP7425089B2 (ja) | 物体検出装置及びモデルパターン評価装置 | |
| Li et al. | Type identification and feature extraction of weld joint for adaptive robotic welding | |
| Blessing et al. | Vision-based handling with a mobile robot | |
| Abdallah et al. | Automatic inspection of aeronautical mechanical assemblies using 2D and 3D computer vision | |
| Long et al. | An apparatus and method for on-site extrinsic calibration of the laser scanner relative to IMU used in a rail inspection vehicle | |
| Guan et al. | Adaptive Automotive Chassis Welding Joint Inspection Using a Cobot and a Multi-modal Vision Sensor: Adaptive welding joint inspection robotic vision system | |
| CN116342682A (zh) | 基于机器视觉的孔径、孔距及孔位检测方法、系统和装置 | |
| CN117655575A (zh) | 一种灵动岛内共享视觉的补焊方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |