JP2013114547A - Image processing device, image processing program, robot apparatus, and image processing method - Google Patents

Image processing device, image processing program, robot apparatus, and image processing method Download PDF

Info

Publication number
JP2013114547A
JP2013114547A JP2011261696A JP2011261696A JP2013114547A JP 2013114547 A JP2013114547 A JP 2013114547A JP 2011261696 A JP2011261696 A JP 2011261696A JP 2011261696 A JP2011261696 A JP 2011261696A JP 2013114547 A JP2013114547 A JP 2013114547A
Authority
JP
Japan
Prior art keywords
edge
image
intersection
image processing
pattern matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011261696A
Other languages
Japanese (ja)
Other versions
JP5939775B2 (en
JP2013114547A5 (en
Inventor
Yoji Kitajima
洋史 北島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011261696A priority Critical patent/JP5939775B2/en
Publication of JP2013114547A publication Critical patent/JP2013114547A/en
Publication of JP2013114547A5 publication Critical patent/JP2013114547A5/ja
Application granted granted Critical
Publication of JP5939775B2 publication Critical patent/JP5939775B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an image processing device, even when noise edge is generated near an object edge intended to extract, capable of stably selecting a detection object edge alone, and to provide an image processing program, a robot apparatus, and an image processing method.SOLUTION: Edges are extracted from an input image, all intersection positions of the edges are calculated from the plurality of extracted edges, and pattern matching is performed for all the calculated intersection positions by using a feature-point template image, with previously registered intersection positions of the detection object edges, namely, corner parts of a detection object work, defined as center positions. From the result of the pattern matching for all the intersection positions, an edge that forms an intersection position with highest similarity can be selected as the edge subject to the detection corresponding to the detection object edge.

Description

本発明は、画像処理によってエッジを検出するための画像処理装置、画像処理プログラム、ロボット装置及び画像処理方法に関するものである。   The present invention relates to an image processing apparatus, an image processing program, a robot apparatus, and an image processing method for detecting an edge by image processing.

画像処理の分野において、画像から物体の端面等を知るための方法としてエッジ抽出がよく知られている。エッジを抽出する方法としては、ソーベルフィルタやラプラシアンフィルタ等が一般的に知られている。この手法として、以下のエッジ抽出装置を用いる画像処理方法が知られている。エッジ抽出で起こりやすい問題としては、ノイズエッジの出現がある。エッジ抽出結果により物体の位置計測を行う際には、このノイズの影響が誤差の原因となる。なお、エッジとは、濃淡画像内で輝度（画素値）が急激に変化している部分を意味する。   In the field of image processing, edge extraction is well known as a method for knowing an end face of an object from an image. As a method for extracting an edge, a Sobel filter, a Laplacian filter, or the like is generally known. As this technique, an image processing method using the following edge extraction apparatus is known. A problem that tends to occur in edge extraction is the appearance of noise edges. When measuring the position of an object based on the edge extraction result, the influence of this noise causes an error. Note that the edge means a portion where the luminance (pixel value) changes rapidly in the grayscale image.

そこで、ノイズエッジの影響を低減するためのエッジ検出方法（画像処理方法）が存在する。この検出方法では、入力画像上に空間微分の対象とする処理対象領域を設定し、エッジ方向毎の複数のマスクにより処理対象領域内の入力画像を空間微分し、各マスクによる演算結果を領域単位で評価し、最も有効なマスクによる演算結果からエッジ画像を生成する。（特許文献１参照）   Therefore, there exists an edge detection method (image processing method) for reducing the influence of noise edges. In this detection method, a processing target area to be subjected to spatial differentiation is set on the input image, the input image in the processing target area is spatially differentiated by a plurality of masks for each edge direction, and the calculation result by each mask is expressed in units of areas. And an edge image is generated from the result of calculation using the most effective mask. (See Patent Document 1)

即ち、このエッジ検出方法では、エッジ抽出する領域をウィンドウにより絞り込み、ウィンドウ内のみをエッジ抽出することにより、入力画像内の抽出したい対象エッジ付近のみでエッジ抽出を行うことができる。従って、余分な背景等のエッジを抽出せずに済み、ノイズの影響を低減し、エッジ抽出のための処理時間を短縮することができる。   That is, in this edge detection method, the edge extraction area is narrowed down by the window, and the edge extraction is performed only in the window, so that the edge extraction can be performed only in the vicinity of the target edge to be extracted in the input image. Therefore, it is not necessary to extract an edge such as an extra background, the influence of noise can be reduced, and the processing time for edge extraction can be shortened.

特開平５−１５９０５５号公報Japanese Patent Laid-Open No. 5-159055

しかし、上記特許文献１記載のエッジ検出方法によると、抽出したい対象エッジ近傍にノイズエッジが出るような場合には、ウィンドウによるエッジ抽出領域の絞り込みにも限界がある。そのため、設定したウィンドウ内にノイズエッジが出るような場合には、ノイズを除去することが困難になる虞がある。   However, according to the edge detection method described in Patent Document 1, when a noise edge appears in the vicinity of the target edge to be extracted, there is a limit to narrowing the edge extraction region by the window. Therefore, when a noise edge appears in the set window, it may be difficult to remove the noise.

そこで本発明は、抽出したい対象エッジ近傍にノイズエッジが出るような場合でも、安定して検出対象エッジのみを選択することが可能な画像処理装置、画像処理プログラム、ロボット装置及び画像処理方法を提供することを目的とする。   Therefore, the present invention provides an image processing apparatus, an image processing program, a robot apparatus, and an image processing method capable of stably selecting only a detection target edge even when a noise edge appears near the target edge to be extracted. The purpose is to do.

本発明は、予めワークを撮像した参照画像上にて、検出対象となるエッジ同士の交点を中心として作成されたパターンマッチング用の特徴点テンプレートを記憶した記憶部と、取得した入力画像からエッジを抽出するエッジ抽出部と、前記エッジ抽出部が抽出した各エッジについて、前記入力画像上における他のエッジとの交点を算出するエッジ交点算出部と、記憶されている前記特徴点テンプレートを用いて、前記エッジ交点算出部によって算出された前記入力画像上の交点にてパターンマッチングを行うパターンマッチング部と、前記パターンマッチングにて最も類似度の高い交点を形成するエッジを前記検出対象となるエッジとして選択するエッジ選択部と、を備えたことを特徴とする画像処理装置にある。   The present invention provides a storage unit storing a feature point template for pattern matching created around an intersection of edges to be detected on a reference image obtained by capturing a workpiece in advance, and an edge from an acquired input image. For each edge extracted by the edge extraction unit, the edge extraction unit, an edge intersection calculation unit that calculates an intersection with another edge on the input image, and the stored feature point template, A pattern matching unit that performs pattern matching at the intersection point on the input image calculated by the edge intersection point calculation unit, and an edge that forms an intersection point with the highest similarity in the pattern matching is selected as the detection target edge And an edge selection unit that performs the processing.

また本発明は、コンピュータを、前記画像処理装置として機能させることを特徴とする画像処理プログラムにある。   The present invention also resides in an image processing program that causes a computer to function as the image processing apparatus.

本発明は、ワークを撮像するカメラと、前記画像処理装置と、前記カメラが撮像した入力画像に基づいて前記画像処理装置が算出した位置情報に基づき、ワークに対して所定の処理を施す作動アームと、を備えたことを特徴とするロボット装置にある。   The present invention relates to a camera for capturing a workpiece, the image processing device, and an operating arm for performing a predetermined process on the workpiece based on position information calculated by the image processing device based on an input image captured by the camera. And a robot apparatus characterized by comprising:

また本発明は、画像処理装置が、予めワークを撮像した参照画像上の複数の検出対象となるエッジを抽出し、前記検出対象となるエッジの交点位置を中心としたパターンマッチング用の特徴点テンプレートを作成する特徴点テンプレート作成工程と、前記画像処理装置が、取得した入力画像上のワークから複数のエッジを抽出し、前記抽出された複数のエッジそれぞれの交点を算出するエッジ交点算出工程と、前記画像処理装置が、前記エッジ交点算出工程にて取得した各エッジの交点位置と前記特徴点テンプレートとに基づいてパターンマッチングするパターンマッチング工程と、前記画像処理装置が、前記パターンマッチングにて最も類似度の高い位置の交点を形成するエッジを検出対象となるエッジとして選択するエッジ選択工程と、を備えたことを特徴とする画像処理方法にある。   According to the present invention, the image processing device extracts a plurality of detection target edges on a reference image obtained by capturing a workpiece in advance, and a pattern matching feature point template centering on an intersection position of the detection target edges A feature point template creating step, and an edge intersection calculation step in which the image processing apparatus extracts a plurality of edges from a workpiece on the acquired input image, and calculates an intersection of each of the extracted plurality of edges, A pattern matching step in which the image processing device performs pattern matching based on the intersection position of each edge acquired in the edge intersection calculation step and the feature point template, and the image processing device is most similar in the pattern matching. An edge selection step of selecting an edge forming an intersection at a high position as an edge to be detected; In the image processing method characterized by comprising.

本発明によれば、検出対象のエッジ近傍にノイズエッジが出現しても、入力画像から抽出したエッジの交点と特徴点テンプレートとに基づきパターンマッチングを行う。これにより、ノイズエッジを含むエッジのうちの何れが検出対象となるエッジかを、的確に判断することができる。そのため、抽出したい検出対象エッジの近傍にノイズエッジが出るような場合でも、それらノイズエッジは採用せず、安定して検出対象エッジのみを選択することが可能となる。   According to the present invention, even if a noise edge appears in the vicinity of the detection target edge, pattern matching is performed based on the intersection of the edges extracted from the input image and the feature point template. Thereby, it is possible to accurately determine which of the edges including the noise edge is the detection target edge. Therefore, even when a noise edge appears in the vicinity of the detection target edge to be extracted, it is possible to select only the detection target edge stably without using the noise edges.

（ａ），（ｂ）は本発明に係る実施の形態の画像処理装置を備えたロボット装置を説明するための図である。(A), (b) is a figure for demonstrating the robot apparatus provided with the image processing apparatus of embodiment concerning this invention. 本実施形態におけるハード構成を示すブロック図である。It is a block diagram which shows the hardware constitutions in this embodiment. 第１の実施形態における画像処理装置の画像処理部の構成を詳細に示すブロック図である。2 is a block diagram illustrating in detail a configuration of an image processing unit of the image processing apparatus according to the first embodiment. FIG. 第１の実施形態を説明するためのフローチャート図である。It is a flowchart figure for demonstrating 1st Embodiment. （ａ），（ｂ），（ｃ）は第１の実施形態を説明するための図である。(A), (b), (c) is a figure for demonstrating 1st Embodiment. （ａ），（ｂ）は第１の実施形態を説明するための図である。(A), (b) is a figure for demonstrating 1st Embodiment. （ａ），（ｂ）は第１の実施形態を説明するための図である。(A), (b) is a figure for demonstrating 1st Embodiment. （ａ），（ｂ）は第１の実施形態を説明するための図である。(A), (b) is a figure for demonstrating 1st Embodiment. 第２の実施形態における画像処理装置の画像処理部の構成を詳細に示すブロック図である。It is a block diagram which shows in detail the structure of the image processing part of the image processing apparatus in 2nd Embodiment. 第２の実施形態を説明するためのフローチャート図である。It is a flowchart for demonstrating 2nd Embodiment. （ａ），（ｂ），（ｃ）は第２の実施形態を説明するための図である。(A), (b), (c) is a figure for demonstrating 2nd Embodiment. （ａ），（ｂ）は第２の実施形態を説明するための図である。(A), (b) is a figure for demonstrating 2nd Embodiment. （ａ），（ｂ），（ｃ）は第２の実施形態を説明するための図である。(A), (b), (c) is a figure for demonstrating 2nd Embodiment. （ａ），（ｂ）は第２の実施形態を説明するための図である。(A), (b) is a figure for demonstrating 2nd Embodiment. （ａ），（ｂ）は第２の実施形態を説明するための図である。(A), (b) is a figure for demonstrating 2nd Embodiment.

以下、図面に沿って、本発明に係る実施形態について説明する。まず、図１（ａ），（ｂ）を参照して、本発明に係る画像処理装置及びこの画像処理装置を備えるロボット装置について説明するが、本発明に係る画像処理方法については、画像処理装置及びロボット装置の説明を通して説明されるものとする。なお、図１（ａ）は画像処理装置を備えるロボット装置１００におけるカメラ１及び画像処理部２を用いて載置部４上の検出対象ワーク３からエッジを検出する際の概略構成図であり、図１（ｂ）はロボット装置１００の全体を示す斜視図である。   Hereinafter, embodiments according to the present invention will be described with reference to the drawings. First, an image processing apparatus according to the present invention and a robot apparatus including the image processing apparatus will be described with reference to FIGS. 1A and 1B. The image processing method according to the present invention is described below. And the explanation of the robot apparatus. FIG. 1A is a schematic configuration diagram when an edge is detected from the workpiece 3 to be detected on the placement unit 4 using the camera 1 and the image processing unit 2 in the robot apparatus 100 including the image processing apparatus. FIG. 1B is a perspective view showing the entire robot apparatus 100.

＜第１の実施形態＞
図１（ａ），（ｂ）に示すように、ロボット装置１００は、検出対象ワーク（ワーク）３を照らす照明装置１０５と、照明装置１０５に照らされた検出対象ワーク３を撮像するカメラ１とを備えている。さらに、ロボット装置１００は、コンピュータ１９により構成される画像処理装置と、カメラ１が撮像した入力画像に基づいて画像処理装置が算出した位置情報に基づき、検出対象ワーク３に対して所定の処理を施す作動アーム１０２とを備えている。 <First Embodiment>
As shown in FIGS. 1A and 1B, the robot apparatus 100 includes a lighting device 105 that illuminates a detection target work (work) 3, and a camera 1 that images the detection target work 3 illuminated by the lighting device 105. It has. Furthermore, the robot apparatus 100 performs predetermined processing on the detection target workpiece 3 based on the image processing apparatus configured by the computer 19 and the positional information calculated by the image processing apparatus based on the input image captured by the camera 1. And an operating arm 102 to be applied.

即ち、ロボット装置１００は、複数の枠部材１０４によって形成されたブース１０３と、ブース１０３の下部中央に配置された架台１０１とを備えている。さらに、架台１０１上部に配置された作動アーム１０２と、作動アーム１０２に対向する位置に配置された状態で検出対象ワーク３を載置する載置部４とを備えている。架台１０１内には、画像処理部２等を有するコンピュータ１９が配設されている。ブース１０３における作動アーム１０２の上方には、撮像手段としてのカメラ１と、このカメラ１の両隣りに配置された照明装置１０５とが配設されている。作動アーム１０２は、多関節シリアルリンクロボットから成り、その各関節は、コンピュータ１９に基づくモータ駆動によりアーム先端部１０２ａの位置及び姿勢が制御される。   In other words, the robot apparatus 100 includes a booth 103 formed by a plurality of frame members 104 and a gantry 101 disposed at the lower center of the booth 103. Furthermore, an operating arm 102 disposed on the top of the gantry 101 and a mounting unit 4 for mounting the workpiece 3 to be detected in a state of being disposed at a position facing the operating arm 102 are provided. A computer 19 having an image processing unit 2 and the like is disposed in the gantry 101. Above the operation arm 102 in the booth 103, a camera 1 as an imaging unit and an illumination device 105 arranged on both sides of the camera 1 are disposed. The operating arm 102 is composed of an articulated serial link robot, and the position and posture of the arm tip 102 a are controlled by a motor drive based on the computer 19.

カメラ１は、不図示のレンズにより光像を形成し、不図示の撮像素子により光像を撮像信号に変換し、この撮像信号を、エッジの検出対象である入力画像として画像処理部２に提供する撮像手段を構成している。   The camera 1 forms an optical image with a lens (not shown), converts the optical image into an imaging signal with an imaging element (not shown), and provides the imaging signal to the image processing unit 2 as an input image that is an edge detection target. The imaging means to perform is comprised.

図１（ａ）に示すように、アーム先端部１０２ａに取り付けられたハンド部１０２ｂは、検出対象ワーク（ワーク）３を把持及び解放し得るように構成されている。ハンド部１０２ｂは、把持した検出対象ワーク３の位置・姿勢を修正するのに十分な範囲においての、手首に相当する関節での回転機構や多関節指機構等の制御機構を備えている。このようなハンド部１０２ｂを有する作動アーム１０２の駆動制御は、カメラ１からの撮像データに基づく画像処理部２、及びこの画像処理部２からのデータを用いるコンピュータ１９によって実現される。   As shown in FIG. 1A, the hand portion 102b attached to the arm tip portion 102a is configured to be able to grip and release the workpiece 3 to be detected (workpiece). The hand unit 102b includes a control mechanism such as a rotation mechanism at a joint corresponding to the wrist or a multi-joint finger mechanism within a range sufficient to correct the position / posture of the gripped detection target workpiece 3. Such drive control of the operating arm 102 having the hand unit 102b is realized by the image processing unit 2 based on the imaging data from the camera 1 and the computer 19 using the data from the image processing unit 2.

図２に示すように、コンピュータ１９のコンピュータ本体１９ａには、ＣＰＵ５を主体として機能する画像処理部２等が収納されている。ＣＰＵ５には、画像処理部２の他に、ＲＡＭ２９及びＲＯＭ３０等がバス７を介して接続されている。ＲＡＭ２９には、ＣＰＵ５に対する作業領域が確保される。ＲＯＭ３０には、コンピュータ１９の基本制御に必要なプログラムが格納されている。画像処理部２は、後述する画像処理機能の他、ＣＰＵ５からの描画指示に応じて液晶等のディスプレイ４０を制御して所定の画像を表示させる機能を備える。コンピュータ１９における上記ＲＯＭ３０には、コンピュータ１９を画像処理装置として機能させるための画像処理プログラムが格納されている。   As shown in FIG. 2, a computer main body 19a of a computer 19 houses an image processing unit 2 and the like that mainly function as a CPU 5. In addition to the image processing unit 2, a RAM 29 and a ROM 30 are connected to the CPU 5 via the bus 7. A working area for the CPU 5 is secured in the RAM 29. The ROM 30 stores a program necessary for basic control of the computer 19. The image processing unit 2 has a function of displaying a predetermined image by controlling the display 40 such as a liquid crystal according to a drawing instruction from the CPU 5 in addition to an image processing function described later. The ROM 30 in the computer 19 stores an image processing program for causing the computer 19 to function as an image processing apparatus.

ＣＰＵ５には、バス７に接続された入力インターフェース（インターフェイス）４１を介して、入力装置としてのキーボード４２及びマウス４３が接続されており、エッジ検出等に必要な指定情報、メニュー選択指示、あるいはその他の指示の入力を可能としている。また、ＣＰＵ５には、バス７に接続された入力インターフェース４７を介して、カメラ１が接続されている。そして、バス７には、記録ディスク読取装置４４が接続されており、種々の情報を記録した記録媒体４５を読み込み、例えばＲＯＭ３０に格納できるようになっている。また、バス７には、通信装置４６が接続されており、上述のような記録媒体４５を使用せずに、通信装置４６を介してインターネット等から配信される種々の情報をダウンロード可能に構成されている。   A keyboard 42 and a mouse 43 as input devices are connected to the CPU 5 via an input interface (interface) 41 connected to the bus 7. Specification information necessary for edge detection and the like, menu selection instructions, and others It is possible to input instructions. In addition, the camera 1 is connected to the CPU 5 via an input interface 47 connected to the bus 7. A recording disk reader 44 is connected to the bus 7 so that a recording medium 45 on which various information is recorded can be read and stored in, for example, the ROM 30. In addition, a communication device 46 is connected to the bus 7 so that various information distributed from the Internet or the like via the communication device 46 can be downloaded without using the recording medium 45 as described above. ing.

次に、図３を参照して、本発明に係る第１の実施形態におけるコンピュータ１９内の画像処理部２の詳細について説明する。即ち、図３に示すように、本実施形態の画像処理部２は、特徴点テンプレート画像記憶部８、入力画像記憶部９、エッジ抽出画像記憶部１０、交点座標記憶部１１、パターンマッチング処理部２６、及び選択部２７を有している。   Next, the details of the image processing unit 2 in the computer 19 according to the first embodiment of the present invention will be described with reference to FIG. That is, as shown in FIG. 3, the image processing unit 2 of the present embodiment includes a feature point template image storage unit 8, an input image storage unit 9, an edge extraction image storage unit 10, an intersection coordinate storage unit 11, and a pattern matching processing unit. 26 and a selection unit 27.

このような画像処理部２では、カメラ１から提供された入力画像２２（図６参照）が入力画像記憶部９に記憶され、またＣＰＵ５は、バス７を介して各記憶部８〜１１並びにパターンマッチング処理部２６、選択部２７に適時アクセスして各処理を実行する。   In such an image processing unit 2, the input image 22 (see FIG. 6) provided from the camera 1 is stored in the input image storage unit 9, and the CPU 5 stores each of the storage units 8 to 11 and the pattern via the bus 7. Each process is executed by accessing the matching processing unit 26 and the selection unit 27 in a timely manner.

特徴点テンプレート画像記憶部８は、ＣＰＵ５の指示に従って、パターンマッチング用の特徴点テンプレート画像（テンプレート画像）を記憶する。即ち、ＣＰＵ５及び特徴点テンプレート画像記憶部８により、記憶部が構成されている。この記憶部は、予め検出対象ワーク３を撮像して作成されて入力画像記憶部９から取得された参照画像２１（図５参照）上にて、検出対象となるエッジ１２，１３同士の交点を中心として作成されたパターンマッチング用の特徴点テンプレートを記憶する。   The feature point template image storage unit 8 stores a feature point template image (template image) for pattern matching in accordance with an instruction from the CPU 5. That is, the CPU 5 and the feature point template image storage unit 8 constitute a storage unit. This storage unit picks up the intersection of the edges 12 and 13 to be detected on the reference image 21 (see FIG. 5) that is created in advance by imaging the workpiece 3 to be detected and acquired from the input image storage unit 9. The feature point template for pattern matching created as the center is stored.

入力画像記憶部９は、ＣＰＵ５の指示に従って、カメラ１から提供された入力画像２２（図６参照）を記憶する。ＣＰＵ５は、カメラ１から提供された入力画像２２から、検出対象の画像の比較対象となるワーク画像である参照画像２１（図５参照）を作成して、入力画像記憶部９に記憶させる。   The input image storage unit 9 stores an input image 22 (see FIG. 6) provided from the camera 1 in accordance with an instruction from the CPU 5. The CPU 5 creates a reference image 21 (see FIG. 5), which is a work image to be compared with the detection target image, from the input image 22 provided from the camera 1 and stores the reference image 21 in the input image storage unit 9.

エッジ抽出画像記憶部１０は、ＣＰＵ５の指示に従って、入力画像２２や参照画像２１からエッジを抽出して、その画像を記憶する。即ち、ＣＰＵ５及びエッジ抽出画像記憶部１０により、取得した入力画像２２からエッジ２５（図６参照）を抽出するエッジ抽出部が構成されている。   The edge extracted image storage unit 10 extracts edges from the input image 22 and the reference image 21 in accordance with instructions from the CPU 5 and stores the images. That is, the CPU 5 and the edge extraction image storage unit 10 constitute an edge extraction unit that extracts the edge 25 (see FIG. 6) from the acquired input image 22.

交点座標記憶部１１は、ＣＰＵ５の指示に従って、図８（ｂ）（図１５（ａ）も併せて参照）に示すようなエッジ組合せ交点表を作成し、記憶する。即ち、上記エッジ抽出部（５，１０）が抽出した各エッジ２５について、入力画像上における他のエッジとの交点を算出するエッジ交点算出部が構成されている。   The intersection coordinate storage unit 11 creates and stores an edge combination intersection table as shown in FIG. 8B (see also FIG. 15A) in accordance with an instruction from the CPU 5. That is, for each edge 25 extracted by the edge extraction unit (5, 10), an edge intersection calculation unit that calculates an intersection with another edge on the input image is configured.

パターンマッチング処理部２６は、ＣＰＵ５の指示に従って、上記エッジ交点算出部（５，１１）によって抽出された各エッジ２５の交点位置にて上記特徴点テンプレートを使用して、ターゲットパターンと比較して形状がマッチするかのパターンマッチングを行う。即ち、ＣＰＵ５及びパターンマッチング処理部２６により、記憶されている特徴点テンプレートを用いて、上記エッジ交点算出部（５，１１）によって算出された入力画像２２上の交点にてパターンマッチングを行うパターンマッチング部が構成されている。   The pattern matching processing unit 26 uses the feature point template at the intersection position of each edge 25 extracted by the edge intersection calculation unit (5, 11) in accordance with an instruction from the CPU 5, and compares the shape with the target pattern. Perform pattern matching to see if matches. That is, the pattern matching is performed by the CPU 5 and the pattern matching processing unit 26 using the stored feature point template to perform pattern matching at the intersection on the input image 22 calculated by the edge intersection calculation unit (5, 11). The part is composed.

特徴点テンプレートは、上記交点を中心として参照画像２１から切取られた所定範囲の画像である。上記パターンマッチング部（５，２６）は、入力画像２２上の各交点位置での輝度値及びこの各交点を中心とした上記所定範囲内の平均輝度値に基づいて、特徴点テンプレートとの類似度を示す相関値を求める。   The feature point template is an image in a predetermined range cut from the reference image 21 with the intersection point as the center. The pattern matching unit (5, 26) calculates the similarity to the feature point template based on the luminance value at each intersection position on the input image 22 and the average luminance value within the predetermined range centered on each intersection. Is obtained.

選択部２７は、ＣＰＵ５の指示に従って、上記パターンマッチングにて最も類似度の高い位置の交点をなすエッジ（例えば図８の２５１，２５５）を検出対象エッジとして選択する。即ち、ＣＰＵ５及び選択部２７により、パターンマッチングにて最も類似度の高い交点を形成するエッジ２５１，２５５を検出対象となるエッジ（検出対象エッジ）として選択するエッジ選択部が構成されている。 In accordance with an instruction from the CPU 5, the selection unit 27 selects edges (for example, 25 1 and 25 5 in FIG. 8) that form intersections of positions having the highest similarity in the pattern matching as detection target edges. That is, the CPU5 and selection unit 27, an edge selector that selects as the edge (detected edge) to be detected edges 25 1, 25 5 to form a highly intersection most similarity in the pattern matching is constructed .

上記特徴点テンプレートは、上記交点を中心として参照画像２１から切取られた所定範囲の画像である。上記パターンマッチング部（５，２６）は、入力画像２２上の各交点位置での輝度値及びこの各交点を中心とした上記所定範囲内の平均輝度値に基づいて、上記特徴点テンプレートとの類似度を示す相関値を求める。   The feature point template is an image of a predetermined range cut from the reference image 21 with the intersection point as the center. The pattern matching unit (5, 26) is similar to the feature point template based on the luminance value at each intersection position on the input image 22 and the average luminance value within the predetermined range centered on each intersection. A correlation value indicating the degree is obtained.

図４は、本実施の形態を説明するためのフローチャート図である。各処理フローの詳細を下記で説明する。すなわち、ステップＳ１，Ｓ２は、特徴点テンプレート作成工程を示す処理である。この特徴点テンプレート作成工程では、画像処理装置が、予めワークを撮像した参照画像上の複数の検出対象となるエッジを抽出し、検出対象となるエッジの交点位置を中心としたパターンマッチング用の特徴点テンプレートを作成する。この特徴点テンプレート作成工程について、図５（ａ），（ｂ），（ｃ）を参照して説明する。   FIG. 4 is a flowchart for explaining the present embodiment. Details of each processing flow will be described below. That is, steps S1 and S2 are processes showing a feature point template creation process. In this feature point template creation step, the image processing apparatus extracts a plurality of detection target edges on a reference image obtained by capturing a workpiece in advance, and features for pattern matching centering on the intersection position of the detection target edges Create a point template. This feature point template creation process will be described with reference to FIGS. 5 (a), 5 (b), and 5 (c).

まず、ステップＳ１において、カメラ１から提供された画像を参照画像２１として、入力画像記憶部９に記憶する。この参照画像２１を、図５（ａ）に示す。   First, in step S <b> 1, the image provided from the camera 1 is stored in the input image storage unit 9 as a reference image 21. This reference image 21 is shown in FIG.

検出対象とするエッジを、図５（ｂ）における検出対象エッジ１２，１３とする。検出対象エッジ１２，１３としては、各エッジの交点部周辺にワークの特徴的な部分（例えばワークの角部）が含まれるエッジを選択する。   The detection target edges are set as detection target edges 12 and 13 in FIG. As the detection target edges 12 and 13, an edge including a characteristic part of the workpiece (for example, a corner portion of the workpiece) is selected around the intersection of each edge.

ステップＳ２では、図５（ｃ）に示すように、検出対象エッジ１２，１３の交点部を中心としたｎ×ｎの矩形領域１４を参照画像２１から切り出す。そして、パターンマッチング用の特徴点テンプレート画像１６（図８（ａ）参照）として、画像処理部２の特徴点テンプレート画像記憶部８に記憶しておく。これらの処理は、ＣＰＵ５及び特徴点テンプレート画像記憶部８からなる記憶部により実行される。なお、入力画像記憶部９に記憶した参照画像２１は、ステップＳ２以降は使用しないため、削除してよい。   In step S <b> 2, as shown in FIG. 5C, an n × n rectangular area 14 centered on the intersection of the detection target edges 12 and 13 is cut out from the reference image 21. Then, it is stored in the feature point template image storage unit 8 of the image processing unit 2 as a feature point template image 16 for pattern matching (see FIG. 8A). These processes are executed by a storage unit including the CPU 5 and the feature point template image storage unit 8. The reference image 21 stored in the input image storage unit 9 may be deleted because it is not used after step S2.

続くステップＳ３は、画像入力工程であり、カメラ１より得た検出対象となる検出対象ワーク３の入力画像２２を、入力画像記憶部９に記憶する。   The subsequent step S3 is an image input process, and the input image 22 of the detection target workpiece 3 to be detected obtained from the camera 1 is stored in the input image storage unit 9.

ステップＳ４は、ＣＰＵ５及びエッジ抽出画像記憶部１０からなるエッジ抽出部によるエッジ抽出工程であり、入力画像２２に対してエッジ抽出を行う。このエッジ抽出工程では、画像処理装置（１９）が、取得した入力画像２２上の検出対象ワーク３から複数のエッジ２５を抽出するが、例えば、入力画像２２に対して代表的手法であるソーベルフィルタを使用してエッジ抽出を行う。   Step S <b> 4 is an edge extraction process by an edge extraction unit including the CPU 5 and the edge extraction image storage unit 10, and performs edge extraction on the input image 22. In this edge extraction step, the image processing device (19) extracts a plurality of edges 25 from the detection target work 3 on the acquired input image 22. For example, a Sobel that is a representative method for the input image 22 is used. Edge extraction is performed using a filter.

つまり、エッジ抽出では、物体の輪郭を抽出することができ、図６（ａ）に示す入力画像２２からエッジを抽出するエッジ抽出を行って、ノイズエッジを含む全てのエッジ２５を抽出すると、図６（ｂ）に示す画像のようになる。図６（ｂ）では、実際の輪郭部を示す部分以外にもノイズエッジが出ている状態が現れている。ノイズエッジは、画像の背景や物体の傷、照明の輝度ムラ等、様々な原因により発生する。エッジ抽出フィルタとしては様々なものが知られているが、ソーベルフィルタ以外のものを使用しても良い。   That is, in the edge extraction, the contour of the object can be extracted, and when the edge extraction for extracting the edge from the input image 22 shown in FIG. 6A is performed and all the edges 25 including the noise edge are extracted, It looks like the image shown in 6 (b). In FIG. 6B, a state in which a noise edge appears is shown in addition to the portion showing the actual contour portion. Noise edges occur due to various causes such as the background of an image, scratches on an object, and uneven brightness of illumination. Various edge extraction filters are known, but filters other than Sobel filters may be used.

抽出したエッジは、交点部近傍での連結性があるものを１つのエッジとしてまとめるラべリング処理を行い、それぞれの連結したエッジに番号を振り分け識別できるようにしておく（エッジ１、２、３・・・）。そして、生成されたエッジ画像は、画像処理部２のエッジ抽出画像記憶部１０に記憶される。   The extracted edges are subjected to a labeling process in which those having connectivity in the vicinity of the intersection are combined as one edge so that each connected edge can be assigned a number (edges 1, 2, 3). ...). Then, the generated edge image is stored in the edge extracted image storage unit 10 of the image processing unit 2.

ステップＳ５は、ＣＰＵ５及び交点座標記憶部１１からなるエッジ交点算出部によるエッジ交点算出工程であり、図７（ａ）に示すように、前記抽出した各エッジ（検出対象エッジ１２，１３を含む）の交点位置を算出する。ここで、或るエッジの両端点座標が（ｘ１，ｙ１）、（ｘ２，ｙ２）、他のエッジの両端点座標が（ｘ３，ｙ３）、（ｘ４，ｙ４）とした場合、２つのエッジは下記式（１）、式（２）の直線で表すことができる。   Step S5 is an edge intersection calculation step by an edge intersection calculation unit comprising the CPU 5 and the intersection coordinate storage unit 11, and as shown in FIG. 7A, each of the extracted edges (including the detection target edges 12 and 13). The intersection position of is calculated. Here, if the end point coordinates of a certain edge are (x1, y1), (x2, y2), and the end point coordinates of another edge are (x3, y3), (x4, y4), the two edges are It can represent with the straight line of following formula (1) and formula (2).

Figure 2013114547
Figure 2013114547

Figure 2013114547
Figure 2013114547

それぞれの直線の傾きをａ、ｃ、切片をｂ、ｄとすると、これらａ、ｂ、ｃ、ｄは下記式（３）でそれぞれ表され、また２直線の交点座標（ｘ，ｙ）は、連立方程式（４）の解となる。式（４）の解、つまり交点座標を式（５）に示す。   Assuming that the slope of each straight line is a, c, and the intercepts are b, d, these a, b, c, d are respectively expressed by the following formula (3), and the intersection coordinates (x, y) of the two straight lines are: This is the solution of the simultaneous equations (4). The solution of equation (4), that is, the intersection coordinates are shown in equation (5).

Figure 2013114547
Figure 2013114547

Figure 2013114547
Figure 2013114547

Figure 2013114547
Figure 2013114547

交点座標（ｘ，ｙ）を、入力画像２２から抽出した全エッジに対して求める。また、全エッジの組合せと交点座標とを識別できるように、図７（ｂ）に示すような「エッジ組合せ交点表」を作成して、交点座標記憶部１１に記憶しておく。   The intersection coordinates (x, y) are obtained for all edges extracted from the input image 22. Further, an “edge combination intersection table” as shown in FIG. 7B is created and stored in the intersection coordinate storage unit 11 so that combinations of all edges and intersection coordinates can be identified.

ステップＳ６は、ＣＰＵ５及びパターンマッチング処理部２６によるパターンマッチング工程を示し、この工程では、画像処理装置（１９）が、上記エッジ交点算出工程にて取得した各エッジの交点位置と特徴点テンプレートとに基づいてパターンマッチングする。即ち、入力画像２２に対して前記算出した全交点座標位置と、テンプレート作成工程で作成した特徴点テンプレート画像１６とを使用して、パターンマッチングを行う。   Step S6 shows a pattern matching process performed by the CPU 5 and the pattern matching processing unit 26. In this process, the image processing device (19) uses the intersection position and the feature point template of each edge acquired in the edge intersection calculation process. Based on the pattern matching. That is, pattern matching is performed on the input image 22 using the calculated all intersection coordinate positions and the feature point template image 16 created in the template creation step.

まず、図８（ａ）に示すように、交点座標記憶部１１に記憶した上記「エッジ組合せ交点表」を参照し、１つ目の交点座標位置を中心とするｎ×ｎの矩形領域１５を、入力画像２２から抜き出す。そして、正規化相関法により、ステップＳ２で作成した特徴点テンプレート画像１６との相関値を求める。   First, as shown in FIG. 8 (a), with reference to the “edge combination intersection table” stored in the intersection coordinate storage unit 11, an n × n rectangular area 15 centered on the first intersection coordinate position is defined. , Extracted from the input image 22. Then, a correlation value with the feature point template image 16 created in step S2 is obtained by a normalized correlation method.

そして、上記「エッジ組合せ交点表」に、求めた相関値を追記していく。上記処理を全エッジ交点に対して行い、図８（ｂ）に示すように、「エッジ組合せ交点表」に「相関値」を追加した表データを作成し、交点座標記憶部１１に記憶しておく。正規化相関法による相関値は、下記式（６）で算出することができる。   Then, the obtained correlation value is added to the “edge combination intersection table”. The above processing is performed on all edge intersections, and as shown in FIG. 8B, table data in which “correlation value” is added to the “edge combination intersection table” is created and stored in the intersection coordinate storage unit 11. deep. The correlation value obtained by the normalized correlation method can be calculated by the following equation (6).

Figure 2013114547
Figure 2013114547

上記画像内の位置（ｉ，ｊ）とは、被探索画像からテンプレート画像に対応する大きさの画像を抽出した画像内とテンプレート画像内との位置のことを表す。相関値は、１から−１で表わされ、１が最も類似性が高いことを示す。この処理は、パターンマッチング処理部２６が、ＣＰＵ５の指示に従って実行する。   The position (i, j) in the image represents a position between an image obtained by extracting an image having a size corresponding to the template image from the searched image and the template image. Correlation values are represented from 1 to -1, with 1 being the most similar. This process is executed by the pattern matching processing unit 26 in accordance with an instruction from the CPU 5.

ステップＳ７は、ＣＰＵ５及び選択部２７によるエッジ選択工程を示す。この工程では、画像処理装置（１９）が、上記パターンマッチングにて最も類似度の高い位置の交点を形成するエッジを検出対象となるエッジとして選択する。   Step S <b> 7 shows an edge selection process by the CPU 5 and the selection unit 27. In this step, the image processing device (19) selects an edge that forms an intersection of positions with the highest similarity in the pattern matching as an edge to be detected.

つまり、前記作成したエッジ組合せ交点表の相関値を比較し、最も相関値の大きいエッジの組合せを選択する。例えば図８（ｂ）に示す表の場合、相関値が最も大きいのは、一方のエッジ番号が「１」、もう一方のエッジ番号が「５」の場合である。この選択したエッジを、検出対象エッジ１２，１３にマッチする検出対象エッジとする。この処理は、選択部２７が、ＣＰＵ５の指示に従って実行する。   That is, the correlation values of the created edge combination intersection table are compared, and the edge combination having the largest correlation value is selected. For example, in the case of the table shown in FIG. 8B, the largest correlation value is when one edge number is “1” and the other edge number is “5”. The selected edge is set as a detection target edge that matches the detection target edges 12 and 13. This process is executed by the selection unit 27 in accordance with an instruction from the CPU 5.

上記処理フローが、交差関係にある１組の検出対象エッジに対する本発明に係る画像処理方法である。   The above processing flow is an image processing method according to the present invention for a set of detection target edges in an intersecting relationship.

そして、ステップＳ８にて、２組以上の交差関係にある検出対象エッジを検出する場合は、ステップＳ６に戻り、新たなテンプレート画像を用いたパターンマッチングにより、エッジ選択を行っていく。設定した検出対象エッジの組数分でのエッジ選択が完了すれば、ステップＳ３に戻り、次の入力画像からエッジの検出を行い、次に撮像する入力画像２２がなければ、処理は終了となる（ステップＳ９）。   In step S8, when two or more sets of detection target edges having an intersecting relationship are detected, the process returns to step S6, and edge selection is performed by pattern matching using a new template image. If edge selection for the set number of detection target edges is completed, the process returns to step S3, the edge is detected from the next input image, and if there is no input image 22 to be captured next, the processing ends. (Step S9).

このように第１の実施形態では、抽出した各エッジの交点で、特徴点テンプレート画像１６によるマッチングを行う。これにより、予め参照画像２１から取得した検出対象エッジ１２，１３に対応する２本の検出対象エッジ（例えば図８（ａ）のエッジ２５１，２５５）のみを、複数のエッジの中から選択することができる。また、複数の特徴点テンプレート画像を用いれば、さらに多くの検出対象エッジを迅速に選択することが可能となる。 As described above, in the first embodiment, matching using the feature point template image 16 is performed at the intersection of the extracted edges. Thereby, only two detection target edges (for example, edges 25 1 and 25 5 in FIG. 8A) corresponding to the detection target edges 12 and 13 acquired in advance from the reference image 21 are selected from the plurality of edges. can do. Further, if a plurality of feature point template images are used, it is possible to quickly select more detection target edges.

すなわち、以上の本実施形態では、まず入力画像２２に対してエッジ抽出を行い、抽出した複数のエッジ２５…から、その全ての交点位置を算出する。さらに、算出した全交点位置にて、予め登録しておいた検出対象エッジ１２，１３の交点位置、つまり検出対象ワーク３の角部を中心位置とした特徴点テンプレート画像１６を用いてパターンマッチングを行う。そして、全交点位置でのパターンマッチングの結果から、最も類似度の高かった交点位置を形成するエッジを、検出対象エッジ１２，１３に対応する検出対象とするエッジとして選択することができる。   That is, in the present embodiment described above, edge extraction is first performed on the input image 22, and all intersection positions are calculated from the extracted edges 25. Furthermore, pattern matching is performed using the feature point template image 16 centered on the intersection position of the detection target edges 12 and 13 registered in advance, that is, the corner of the detection target workpiece 3 at all the calculated intersection positions. Do. Then, from the pattern matching results at all the intersection positions, the edge forming the intersection position with the highest similarity can be selected as the detection target edge corresponding to the detection target edges 12 and 13.

このような画像処理方法により、検出対象エッジ近傍にノイズエッジが出現しても、前記交点部でのパターンマッチングにより、どのエッジが検出対象のエッジかを判断し、ノイズエッジを有効に除去することができる。つまり、検出対象エッジ１２，１３の交点部分に係る特徴点テンプレート画像１６を持っておくことで、検出対象エッジ同士の交点位置でのパターンマッチングでは類似度が高くなる。このため、ノイズエッジ同士、ノイズエッジと検出対象エッジとの交点位置では類似度が低くなり、検出対象エッジのみを的確に検出することができる。   By such an image processing method, even if a noise edge appears in the vicinity of the detection target edge, it is possible to determine which edge is the detection target edge by pattern matching at the intersection and effectively remove the noise edge. Can do. That is, by having the feature point template image 16 related to the intersection part of the detection target edges 12 and 13, the degree of similarity is increased in pattern matching at the intersection position of the detection target edges. For this reason, the degree of similarity is low at the intersections between the noise edges and between the noise edge and the detection target edge, and only the detection target edge can be accurately detected.

＜第２の実施形態＞
以下、本発明に係る画像処理装置及びこの画像処理装置を備えるロボット装置について説明するが、本実施形態においても本発明に係る画像処理方法については、画像処理装置及びロボット装置の説明を通して説明されるものとする。本第２の実施形態は、図１等で説明した第１の実施形態に比し、ウィンドウ設定用テンプレート画像記憶部１７、ウィンドウ位置記憶部１８、ウィンドウ位置設定部３１を付設した点が異なるが、他の部分は略々同一である。そのため、主要部分に同一符号を付して説明を省略する。なお、ウィンドウとは、エッジ抽出を行うための処理領域を意味する。 <Second Embodiment>
Hereinafter, an image processing apparatus according to the present invention and a robot apparatus including the image processing apparatus will be described. In the present embodiment, the image processing method according to the present invention will be described through the description of the image processing apparatus and the robot apparatus. Shall. The second embodiment differs from the first embodiment described in FIG. 1 and the like in that a window setting template image storage unit 17, a window position storage unit 18, and a window position setting unit 31 are added. The other parts are substantially the same. For this reason, the same reference numerals are given to the main parts and description thereof is omitted. The window means a processing area for performing edge extraction.

即ち、図９に示すように、本実施形態の画像処理部２は、特徴点テンプレート画像記憶部８、ウィンドウ設定用テンプレート画像記憶部１７、ウィンドウ位置記憶部１８、及びウィンドウ位置設定部３１を備えている。さらに、この画像処理部２は、入力画像記憶部９、エッジ抽出画像記憶部１０、交点座標記憶部１１、パターンマッチング処理部２６、及び選択部２７を備えている。   That is, as shown in FIG. 9, the image processing unit 2 of the present embodiment includes a feature point template image storage unit 8, a window setting template image storage unit 17, a window position storage unit 18, and a window position setting unit 31. ing. The image processing unit 2 further includes an input image storage unit 9, an edge extracted image storage unit 10, an intersection coordinate storage unit 11, a pattern matching processing unit 26, and a selection unit 27.

ＣＰＵ５及び特徴点テンプレート画像記憶部８からなる記憶部は、参照画像２１上にて設定されたエッジの抽出範囲を記憶している。この記憶部（５，８）は、エッジの抽出範囲を含むように参照画像２１を切取った探索用テンプレート画像２８（図１２の破線矩形部分）、この探索用テンプレート画像内における上記エッジ抽出範囲の位置情報（ウィンドウの中心位置と角度、長さ）を記憶する。   A storage unit including the CPU 5 and the feature point template image storage unit 8 stores an edge extraction range set on the reference image 21. This storage unit (5, 8) includes a search template image 28 (broken line rectangular portion in FIG. 12) obtained by cutting out the reference image 21 so as to include the edge extraction range, and the edge extraction range in the search template image. The position information (center position and angle of window, length) is stored.

ウィンドウ設定用テンプレート画像記憶部１７は、参照画像２１から切り出された、ワーク全体を囲う領域を記憶するものであり、参照画像２１からエッジを抽出する際のウィンドウ位置を記憶する。   The window setting template image storage unit 17 stores an area surrounding the entire work cut out from the reference image 21, and stores a window position when an edge is extracted from the reference image 21.

ウィンドウ位置設定部３１は、ウィンドウ設定用テンプレート画像記憶部１７に記憶されたウィンドウ位置に基づいて、入力画像２２上の検出対象ワーク３からエッジ２５を抽出する際のエッジ抽出ウィンドウ２４ａ，２４ｂを設定する。   The window position setting unit 31 sets edge extraction windows 24 a and 24 b for extracting the edge 25 from the detection target work 3 on the input image 22 based on the window position stored in the window setting template image storage unit 17. To do.

ウィンドウ位置記憶部１８は、上記ウィンドウ位置設定部３１によって複数設定されたウィンドウ領域（エッジ抽出ウィンドウ２４ａ，２４ｂ）を記憶する。   The window position storage unit 18 stores a plurality of window areas (edge extraction windows 24a and 24b) set by the window position setting unit 31.

ＣＰＵ５及びウィンドウ位置設定部３１により、入力画像２２上にて上記エッジ抽出部（５，１０）がエッジ２５を抽出する範囲であるエッジ抽出ウィンドウ２４ａ，２４ｂを設定するウィンドウ設定部が構成されている。このウィンドウ設定部（５，３１）は、上記記憶部（５，８）に記憶されたエッジ抽出範囲を入力画像２２上に適応して、エッジ抽出ウィンドウ２４ａ，２４ｂを設定する。   The CPU 5 and the window position setting unit 31 constitute a window setting unit for setting the edge extraction windows 24a and 24b, which are ranges in which the edge extraction unit (5, 10) extracts the edge 25 on the input image 22. . This window setting unit (5, 31) adapts the edge extraction range stored in the storage unit (5, 8) onto the input image 22 and sets the edge extraction windows 24a, 24b.

上記ウィンドウ設定部（５，３１）は、上記探索用テンプレート画像２８を用いて入力画像２２内をパターンマッチングにより探索する。そして、このパターンマッチングの結果及び記憶された上記探索用テンプレート画像２８内における上記エッジ抽出範囲の位置情報を用いて、入力画像２２内に上記エッジ抽出ウィンドウ２４ａ，２４ｂを設定する。   The window setting unit (5, 31) searches the input image 22 by pattern matching using the search template image. Then, the edge extraction windows 24 a and 24 b are set in the input image 22 using the pattern matching result and the stored position information of the edge extraction range in the search template image 28.

図１０は、本第２の実施形態を説明するためのフローチャート図である。各処理フローの詳細を下記で説明する。   FIG. 10 is a flowchart for explaining the second embodiment. Details of each processing flow will be described below.

ステップＳ１１，Ｓ１２は、第１の実施形態におけるステップＳ１，Ｓ２と同様であり、まずステップＳ１１にて、カメラ１から提供された画像を参照画像２１（図５（ａ）参照）として入力画像記憶部９に記憶する。検出対象となるエッジを、図５（ｂ）の検出対象エッジ１２，１３とする。検出対象とするエッジ１２，１３としては、各エッジの交点部周辺にワークの特徴的な部分（例えばワークの角部）が含まれるエッジを選択する。   Steps S11 and S12 are the same as steps S1 and S2 in the first embodiment. First, in step S11, the image provided from the camera 1 is stored as an input image 21 (see FIG. 5A). Store in unit 9. The detection target edges are set as detection target edges 12 and 13 in FIG. As the edges 12 and 13 to be detected, an edge including a characteristic part of the work (for example, a corner of the work) is selected around the intersection of each edge.

ステップＳ１２では、図５（ｃ）に示すように、検出対象エッジ１２，１３の交点部を中心としたｎ×ｎの矩形領域１４を参照画像２１から切り出す。そして、パターンマッチング用の特徴点テンプレート画像（特徴点テンプレート）として、特徴点テンプレート画像記憶部８に記憶しておく。   In step S <b> 12, as shown in FIG. 5C, an n × n rectangular area 14 centered on the intersection of the detection target edges 12 and 13 is cut out from the reference image 21. Then, it is stored in the feature point template image storage unit 8 as a feature point template image (feature point template) for pattern matching.

ステップＳ１３，Ｓ１４は、第１の実施形態では無かったウィンドウ位置記憶工程を示すものである。即ち、ステップＳ１３では、図１１（ａ）の破線で示すように、ワーク全体を囲う矩形領域２３を参照画像２１から切り出す。そして、ウィンドウ設定用テンプレート画像（探索用テンプレート画像２８）として、画像処理部２のウィンドウ設定用テンプレート画像記憶部１７に記憶しておく。   Steps S13 and S14 show a window position storing step that was not in the first embodiment. That is, in step S13, a rectangular area 23 surrounding the entire workpiece is cut out from the reference image 21, as indicated by a broken line in FIG. Then, it is stored in the window setting template image storage unit 17 of the image processing unit 2 as a window setting template image (search template image 28).

ステップＳ１４では、図１１（ａ）の参照画像２１から切り出した矩形領域２３内で、検出対象エッジの周辺に、図１１（ｂ）の破線で示すようなウィンドウ領域２４を設定する。このウィンドウ領域２４の設定は、図１１（ｃ）に示すように、前記切り出したウィンドウ設定用テンプレート画像内での領域の中心位置（ｘ，ｙ）と長辺の長さＬ１、短辺の長さＬ２、画像のｘ軸に対する角度θをそれぞれ設定する。そして、ウィンドウ領域２４をエッジ抽出ウィンドウ２４ａ，２４ｂとして複数設定し、画像処理部２のウィンドウ位置記憶部１８に記憶しておく。つまりウィンドウ位置設定部３１は、検出対象物体の概略位置をパターンマッチングで探索するためのウィンドウ設定用テンプレート画像（探索用テンプレート画像２８）と、ウィンドウ設定用テンプレート画像内でのウィンドウの中心位置と角度、長さを記憶する。   In step S14, a window area 24 as indicated by a broken line in FIG. 11B is set around the detection target edge in the rectangular area 23 cut out from the reference image 21 in FIG. As shown in FIG. 11 (c), the window area 24 is set with the center position (x, y), the long side length L1, and the short side length in the clipped window setting template image. The angle L2 and the angle θ with respect to the x-axis of the image are set. A plurality of window areas 24 are set as edge extraction windows 24 a and 24 b and stored in the window position storage unit 18 of the image processing unit 2. That is, the window position setting unit 31 uses a window setting template image (search template image 28) for searching the approximate position of the detection target object by pattern matching, and the center position and angle of the window in the window setting template image. , Remember the length.

ステップＳ１５は、第１の実施形態のステップＳ３と同様であり、カメラ１より得た検出対象ワーク３の入力画像２２を入力画像記憶部９に記憶する。   Step S15 is the same as step S3 of the first embodiment, and the input image 22 of the workpiece 3 to be detected obtained from the camera 1 is stored in the input image storage unit 9.

ステップＳ１６は、第１の実施形態では無かったウィンドウ位置設定工程を示すものである。この工程では、入力画像２２と探索用テンプレート画像（ウィンドウ設定用テンプレート画像）２８とでパターンマッチングを行い、前記記憶しているウィンドウ位置から、入力画像２２内にウィンドウ領域を設定する。   Step S16 shows a window position setting step that was not in the first embodiment. In this step, pattern matching is performed between the input image 22 and the search template image (window setting template image) 28, and a window area is set in the input image 22 from the stored window position.

即ち、上記ウィンドウ設定部（５，３１）は、エッジの抽出範囲を含むように参照画像２１を切取った探索用テンプレート画像２８を用いて、入力画像２２内をパターンマッチングにより探索する。このパターンマッチングの結果及び記憶された探索用テンプレート画像２８内におけるエッジ抽出範囲の位置情報を用いて、入力画像２２内にエッジ抽出ウィンドウ２４ａ，２４ｂを設定する。つまり、探索用テンプレート画像（ウィンドウ設定用テンプレート画像）２８と入力画像２２とを用いてパターンマッチングを行う。さらに、パターンマッチング結果と、探索用テンプレート画像２８内でのウィンドウの中心位置と角度、長さにより、入力画像２２に対しエッジ抽出ウィンドウ２４ａ，２４ｂを設定する。なお、入力画像記憶部９に記憶した参照画像２１は、ステップＳ１４以降は使用しないため、入力画像記憶部９から削除してよい。   That is, the window setting unit (5, 31) searches the input image 22 by pattern matching using the search template image 28 obtained by cutting the reference image 21 so as to include the edge extraction range. Edge extraction windows 24 a and 24 b are set in the input image 22 using the pattern matching result and the stored position information of the edge extraction range in the search template image 28. That is, pattern matching is performed using the search template image (window setting template image) 28 and the input image 22. Further, edge extraction windows 24 a and 24 b are set for the input image 22 based on the pattern matching result and the center position, angle, and length of the window in the search template image 28. Since the reference image 21 stored in the input image storage unit 9 is not used after step S14, it may be deleted from the input image storage unit 9.

パターンマッチング方法としては、正規化相関法や残差逐次検定法など様々な方法が知られおり、いずれを使用しても可能であるが、本第２の実施形態では、正規化相関法を使用したパターンマッチング、ウィンドウ設定方法について説明する。   As a pattern matching method, various methods such as a normalized correlation method and a residual sequential test method are known, and any method can be used, but in the second embodiment, a normalized correlation method is used. The pattern matching and window setting method will be described.

ここで、正規化相関法の相関値を求める計算式として前記式（６）を用いる。以下、正規化相関法によるパターンマッチングの方法について説明する。   Here, the formula (6) is used as a calculation formula for obtaining the correlation value of the normalized correlation method. Hereinafter, a pattern matching method using the normalized correlation method will be described.

即ち、図１２（ａ），（ｂ）に示すように、テンプレート画像を被探索画像内においてピクセル単位で範囲をずらしながら、この被探索画像から探索用テンプレート画像（テンプレート画像）２８に対応する大きさの画像を抽出する。そして、抽出した画像と探索用テンプレート画像２８との相関値Ｒを、前記式（６）により求めていく。前記相関値が最も高い位置を、マッチングした位置とする。   That is, as shown in FIGS. 12A and 12B, the template image is shifted in size in units of pixels in the searched image, and the size corresponding to the search template image (template image) 28 is changed from the searched image. Extract the image. Then, the correlation value R between the extracted image and the search template image 28 is obtained by the equation (6). The position having the highest correlation value is set as a matched position.

次に、ウィンドウ設定方法を下記に示す。図１３（ａ）に示すように、前記正規化相関法によりマッチングした位置を（Ｘｍ，Ｙｍ）とすると、ウィンドウ領域の中心位置は、探索用テンプレート画像（ウィンドウ設定用テンプレート画像）２８内の（ｘ，ｙ）の位置にある。そのため、入力画像内の（Ｘｍ＋ｘ，Ｙｍ＋ｙ）の位置が、ウィンドウ領域２４（エッジ抽出ウィンドウ２４ａ，２４ｂ）の中心位置となる。   Next, the window setting method is shown below. As shown in FIG. 13A, when the position matched by the normalized correlation method is (Xm, Ym), the center position of the window area is ((template image for window setting) 28) in the search template image. x, y). Therefore, the position of (Xm + x, Ym + y) in the input image becomes the center position of the window area 24 (edge extraction windows 24a, 24b).

そして、入力画像内の（Ｘｍ＋ｘ，Ｙｍ＋ｙ）を領域の中心位置として、予め記憶しておいた長辺の長さＬ１、短辺の長さＬ２、画像のｘ軸に対する角度θの領域を、入力画像２２内に設定する。同様に全ての記憶しておいたエッジ抽出ウィンドウ２４ａ，２４ｂに対し、入力画像２２内にエッジ抽出ウィンドウ２４ａ，２４ｂを設定する。この処理は、エッジ抽出ウィンドウ設定工程で行う。   Then, using (Xm + x, Ym + y) in the input image as the center position of the area, the area of the long side length L1, the short side length L2, and the angle θ with respect to the x axis of the image is input. Set in image 22. Similarly, edge extraction windows 24a and 24b are set in the input image 22 for all stored edge extraction windows 24a and 24b. This process is performed in the edge extraction window setting step.

ただし、検出の際にカメラ１に対して検出対象ワーク３が毎回一定の位置に来るような場合は、パターンマッチングを使用せず、予め入力画像２２内のウィンドウ設定位置を参照画像２１により決めておくことができる。従って、毎回同じ位置にウィンドウを設定すればよい。つまり、前記マッチング位置（Ｘｍ，Ｙｍ）を固定値とすることができる。また、その場合は、探索用テンプレート画像（ウィンドウ設定用テンプレート画像）２８の作成、記憶を行う必要はない。   However, when the detection target workpiece 3 comes to a certain position with respect to the camera 1 at the time of detection, the window setting position in the input image 22 is determined in advance by the reference image 21 without using pattern matching. I can leave. Therefore, the window may be set at the same position every time. That is, the matching position (Xm, Ym) can be a fixed value. In this case, it is not necessary to create and store a search template image (window setting template image) 28.

ステップＳ１７は、エッジ抽出工程であり、入力画像２２の前記エッジ抽出ウィンドウ２４ａ，２４ｂ内のみでのエッジ抽出を行う。具体的なエッジ抽出方法は、第１の実施形態におけるステップＳ４と同様である。つまり、入力画像２２に対して、例えばソーベルフィルタを使用してエッジ抽出を行う。   Step S17 is an edge extraction process, in which edge extraction is performed only within the edge extraction windows 24a and 24b of the input image 22. A specific edge extraction method is the same as that in step S4 in the first embodiment. That is, edge extraction is performed on the input image 22 using, for example, a Sobel filter.

図１３（ｂ）の破線で示すエッジ抽出ウィンドウ２４ａ，２４ｂ内のみでのエッジ抽出を行った結果を、図１３（ｃ）に示す。上記処理は、エッジ抽出部によって行う。   FIG. 13C shows the result of edge extraction performed only in the edge extraction windows 24a and 24b indicated by broken lines in FIG. The above processing is performed by the edge extraction unit.

ステップＳ１８は、第１の実施形態では無かったエッジ交点算出工程を示すものである。この工程では図１４（ａ），（ｂ）のように、抽出したエッジ抽出ウィンドウ２４ａ，２４ｂ内のエッジが交差関係にある、上記ウィンドウ２４ａ内の各エッジ２５１，２５２，２５３と、上記ウィンドウ２４ｂ内の各エッジ２５４，２５５との全交点位置を算出する。 Step S18 shows an edge intersection calculation step that was not in the first embodiment. In this step, as shown in FIGS. 14A and 14B, the edges 25 1 , 25 2 , 25 3 in the window 24a in which the edges in the extracted edge extraction windows 24a, 24b are in a crossing relationship, calculating the total intersection between each edge 25 4, 25 5 within the window 24b.

即ち、上記ウィンドウ２４ａの或るエッジの両端点座標が（ｘ１，ｙ１）、（ｘ２，ｙ２）、上記ウィンドウ２４ｂの或るエッジの両端点座標が（ｘ３，ｙ３）、（ｘ４，ｙ４）とすると、エッジ抽出ウィンドウ２４ａのエッジは前記式（１）の直線で表される。エッジ抽出ウィンドウ２４ｂのエッジは、前記式（２）の直線で表すことができる。そして、第１の実施形態と同様に、エッジの交点座標を求めることができる。   That is, the end point coordinates of a certain edge of the window 24a are (x1, y1) and (x2, y2), and the end point coordinates of a certain edge of the window 24b are (x3, y3) and (x4, y4). Then, the edge of the edge extraction window 24a is represented by the straight line of the formula (1). The edge of the edge extraction window 24b can be represented by the straight line of the above equation (2). Then, as in the first embodiment, the intersection coordinates of the edges can be obtained.

図１４（ｂ）に示すように、交点座標（ｘ，ｙ）を、エッジ抽出ウィンドウ２４ａ内の各エッジ２５１，２５２，２５３と、エッジ抽出ウィンドウ２４ｂ内の各エッジエッジ２５４，２５５との全交点に関して求める。また、エッジ抽出ウィンドウ２４ａ，２４ｂの全エッジの組合せと交点座標とを識別できるように、図１５（ａ）に示すような「エッジ組合せ交点表」を作成し、交点座標記憶部１１に記憶しておく。上記処理は、エッジ交点算出工程で行う。 As shown in FIG. 14B, the intersection coordinates (x, y) are determined based on each edge 25 1 , 25 2 , 25 3 in the edge extraction window 24a and each edge edge 25 4 , 25 in the edge extraction window 24b. Find all intersections with 5 . Further, an “edge combination intersection table” as shown in FIG. 15A is created and stored in the intersection coordinate storage unit 11 so that the combinations of all the edges of the edge extraction windows 24a and 24b and the intersection coordinates can be identified. Keep it. The above processing is performed in the edge intersection calculation step.

ステップＳ１９は、第１の実施形態におけるステップＳ６と同様である。つまり、ステップＳ１９では、入力画像２２に対して算出した全交点座標位置と、特徴点テンプレート作成部にて作成した特徴点テンプレート画像とを使用して、パターンマッチングを行う。   Step S19 is the same as step S6 in the first embodiment. That is, in step S19, pattern matching is performed using all the intersection coordinate positions calculated for the input image 22 and the feature point template image created by the feature point template creation unit.

ステップＳ２０は、第１の実施形態におけるステップＳ７と同様である。つまり、エッジ選択工程であり、前記作成した「エッジ組合せ交点表」の相関値を比較し、最も相関値の大きいエッジの組合せを選択する。例えば図１５（ｂ）の表の場合、相関値が最も大きいのはエッジ抽出ウィンドウ２４ａのエッジ番号が「２」、エッジ抽出ウィンドウ２４ｂのエッジ番号が「１」のときである。そこで、前記選択したエッジを、検出対象エッジとする。上記処理は、エッジ選択部にて行う。   Step S20 is the same as step S7 in the first embodiment. That is, in the edge selection step, the correlation values of the created “edge combination intersection table” are compared, and the combination of edges having the largest correlation value is selected. For example, in the case of the table of FIG. 15B, the largest correlation value is when the edge number of the edge extraction window 24a is “2” and the edge number of the edge extraction window 24b is “1”. Therefore, the selected edge is set as a detection target edge. The above processing is performed by the edge selection unit.

上記処理フローが、交差関係にある１組のエッジ抽出ウィンドウに対する本発明の画像処理方法である。ステップＳ２１では、２組以上のエッジ抽出ウィンドウが交差関係にあるウィンドウを設定している場合、ステップＳ１８に戻り、新たな交差関係にあるウィンドウ内のエッジ選択を行っていく。   The above processing flow is the image processing method of the present invention for a set of edge extraction windows in an intersecting relationship. In step S21, when two or more sets of edge extraction windows have set a crossing relationship window, the process returns to step S18 to select an edge in a new crossing relationship window.

そして、設定した全ウィンドウ内でのエッジ選択が完了すると、ステップＳ１５に戻り、次の入力画像２２からエッジの検出を行い、次に撮像する入力画像２２がなければ、処理は終了となる（ステップＳ２２）。   When the edge selection in all the set windows is completed, the process returns to step S15, the edge is detected from the next input image 22, and if there is no input image 22 to be captured next, the process ends (step S1). S22).

以上のように本実施形態では、エッジ抽出を行う場合、検出対象エッジ付近にエッジ抽出を行うウィンドウ領域２４を限定し、設定した複数の限定領域（エッジ抽出ウィンドウ２４ａ，２４ｂ）のみでエッジ抽出を行う。そして、１つのエッジ抽出ウィンドウ２４ａ内のエッジと交差関係にあるエッジ抽出ウィンドウ２４ｂ内のエッジとの全交点を算出する。そして、算出した全交点位置で、予め登録しておいた検出対象エッジの交点位置、つまりワークの角部を中心位置としたテンプレート画像を用いてパターンマッチングを行う。   As described above, in the present embodiment, when performing edge extraction, the window region 24 where the edge is extracted is limited to the vicinity of the detection target edge, and the edge extraction is performed only with a plurality of set limited regions (edge extraction windows 24a and 24b). Do. Then, all intersections with the edges in the edge extraction window 24b that intersect with the edges in one edge extraction window 24a are calculated. Then, pattern matching is performed using a template image centered at the intersection position of the detection target edge registered in advance, that is, the corner of the workpiece, at all the calculated intersection positions.

この方法により、検出対象エッジ１２，１３付近のエッジ２５１，２５５のみを抽出できるため、入力画像２２の全体に対してエッジ抽出を行うよりも、抽出されるノイズエッジの数が低減する。これにより、不必要なエッジを余分に抽出せずに済むため、より正確に交点位置でのパターンマッチングを行うことができる。また、抽出されるエッジの数が減ることにより、交点位置の算出、パターンマッチングの回数が減るため高速に処理を行うことができる。 In this way, it is possible to extract only the edge 25 1, 25 5 in the vicinity of detected edges 12,13, than whole performs edge extraction on the input image 22, the number of noise edges to be extracted is reduced. This eliminates unnecessary extraction of unnecessary edges, so that pattern matching at the intersection position can be performed more accurately. Further, since the number of extracted edges is reduced, the number of times of intersection position calculation and pattern matching is reduced, so that processing can be performed at high speed.

また、検出したい検出対象エッジ１２，１３付近にエッジ抽出を行うウィンドウ領域２４を限定する際に、検出対象物体の概略位置を探索するための探索用テンプレート画像（ウィンドウ設定用テンプレート画像）２８を記憶する。そして、探索用テンプレート画像２８内でのウィンドウの位置、角度、長さを記憶しておく。さらに、入力画像２２と探索用テンプレート画像２８とによりパターンマッチングを行い、その結果により、限定領域（エッジ抽出ウィンドウ２４ａ，２４ｂ）の位置を決める。これにより、検出対象物体の計測位置がカメラ１に対して固定されていなくても、パターンマッチングにより検出対象物体の概略位置がわかるため、検出対象エッジ１２，１３付近にエッジ抽出領域を設定することができる。   Further, a search template image (window setting template image) 28 for searching for the approximate position of the detection target object is stored when the window region 24 where the edge is extracted is limited to the vicinity of the detection target edges 12 and 13 to be detected. To do. The window position, angle, and length in the search template image 28 are stored. Furthermore, pattern matching is performed using the input image 22 and the search template image 28, and the position of the limited region (edge extraction windows 24a and 24b) is determined based on the result. Thereby, even if the measurement position of the detection target object is not fixed with respect to the camera 1, the approximate position of the detection target object can be known by pattern matching, so an edge extraction region is set near the detection target edges 12 and 13. Can do.

１…カメラ、３…ワーク（検出対象ワーク）、５，８…記憶部（ＣＰＵ，特徴点テンプレート画像記憶部）、５，１０…エッジ抽出部（ＣＰＵ，エッジ抽出画像記憶部）、５，１１…エッジ交点算出部（ＣＰＵ，交点座標記憶部）、５，２６…パターンマッチング部（ＣＰＵ，パターンマッチング処理部）、５，２７…エッジ選択部（ＣＰＵ，選択部）、５，３１…ウィンドウ設定部（ＣＰＵ，ウィンドウ位置設定部）、１２，１３…エッジ（検出対象エッジ）、１９…コンピュータ、２１…参照画像、２２…入力画像、２４…ウィンドウ領域、２４ａ，２４ｂ…エッジ抽出ウィンドウ、２５，２５１〜２５５…エッジ、２８…探索用テンプレート画像、１００…ロボット装置、１０２…作動アーム DESCRIPTION OF SYMBOLS 1 ... Camera, 3 ... Work (work to be detected), 5, 8 ... Storage unit (CPU, feature point template image storage unit), 5, 10 ... Edge extraction unit (CPU, edge extraction image storage unit), 5, 11 ... edge intersection calculation unit (CPU, intersection coordinate storage unit), 5, 26 ... pattern matching unit (CPU, pattern matching processing unit), 5, 27 ... edge selection unit (CPU, selection unit), 5, 31 ... window setting Part (CPU, window position setting part), 12, 13 ... edge (edge to be detected), 19 ... computer, 21 ... reference image, 22 ... input image, 24 ... window region, 24a, 24b ... edge extraction window, 25, 25 1 to 25 5 ... Edge, 28... Template image for search, 100... Robot device, 102.

Claims (7)

予めワークを撮像した参照画像上にて、検出対象となるエッジ同士の交点を中心として作成されたパターンマッチング用の特徴点テンプレートを記憶した記憶部と、
取得した入力画像からエッジを抽出するエッジ抽出部と、
前記エッジ抽出部が抽出した各エッジについて、前記入力画像上における他のエッジとの交点を算出するエッジ交点算出部と、
記憶されている前記特徴点テンプレートを用いて、前記エッジ交点算出部によって算出された前記入力画像上の交点にてパターンマッチングを行うパターンマッチング部と、
前記パターンマッチングにて最も類似度の高い交点を形成するエッジを前記検出対象となるエッジとして選択するエッジ選択部と、を備えた、
ことを特徴とする画像処理装置。 A storage unit that stores a feature point template for pattern matching created around an intersection of edges to be detected on a reference image obtained by imaging a workpiece in advance;
An edge extraction unit that extracts edges from the acquired input image;
For each edge extracted by the edge extraction unit, an edge intersection calculation unit that calculates an intersection with another edge on the input image;
A pattern matching unit that performs pattern matching at the intersection point on the input image calculated by the edge intersection point calculation unit, using the stored feature point template;
An edge selection unit that selects an edge forming an intersection with the highest similarity in the pattern matching as an edge to be detected; and
An image processing apparatus. 前記入力画像上にて前記エッジ抽出部がエッジを抽出する範囲であるエッジ抽出ウィンドウを設定するウィンドウ設定部を備え、
前記記憶部は、前記参照画像上にて設定されたエッジの抽出範囲を記憶しており、
前記ウィンドウ設定部は、前記記憶部に記憶されたエッジ抽出範囲を前記入力画像上に適応して前記エッジ抽出ウィンドウを設定する、
請求項１記載の画像処理装置。 A window setting unit that sets an edge extraction window that is a range in which the edge extraction unit extracts edges on the input image;
The storage unit stores an edge extraction range set on the reference image,
The window setting unit adapts the edge extraction range stored in the storage unit on the input image and sets the edge extraction window;
The image processing apparatus according to claim 1. 前記記憶部は、前記エッジの抽出範囲を含むように前記参照画像を切取った探索用テンプレート画像、前記探索用テンプレート画像内における前記エッジ抽出範囲の位置情報を記憶し、
前記ウィンドウ設定部は、前記探索用テンプレート画像を用いて前記入力画像内をパターンマッチングにより探索し、このパターンマッチングの結果及び記憶された前記探索用テンプレート画像内における前記エッジ抽出範囲の位置情報を用いて、前記入力画像内に前記エッジ抽出ウィンドウを設定する、
請求項２記載の画像処理装置。 The storage unit stores a search template image obtained by cutting the reference image so as to include the edge extraction range, position information of the edge extraction range in the search template image,
The window setting unit searches the input image by pattern matching using the search template image, and uses the pattern matching result and the position information of the edge extraction range in the stored search template image. And setting the edge extraction window in the input image,
The image processing apparatus according to claim 2. 前記特徴点テンプレートは、前記交点を中心として前記参照画像から切取られた所定範囲の画像であり、
前記パターンマッチング部は、前記入力画像上の各交点位置での輝度値及びこの各交点を中心とした前記所定範囲内の平均輝度値に基づいて、前記特徴点テンプレートとの類似度を示す相関値を求める、
請求項１乃至３のいずれか１項記載の画像処理装置。 The feature point template is an image of a predetermined range cut from the reference image around the intersection.
The pattern matching unit is a correlation value indicating similarity to the feature point template based on a luminance value at each intersection position on the input image and an average luminance value within the predetermined range centered on each intersection. Seeking
The image processing apparatus according to claim 1. コンピュータを、請求項１乃至４のいずれか１項記載の画像処理装置として機能させる、
ことを特徴とする画像処理プログラム。 A computer is caused to function as the image processing apparatus according to any one of claims 1 to 4.
An image processing program characterized by that. ワークを撮像するカメラと、
請求項１乃至４のいずれか１項記載の画像処理装置と、
前記カメラが撮像した入力画像に基づいて前記画像処理装置が算出した位置情報に基づき、ワークに対して所定の処理を施す作動アームと、を備えた、
ことを特徴とするロボット装置。 A camera for imaging the workpiece;
An image processing apparatus according to any one of claims 1 to 4,
An actuating arm that performs a predetermined process on a workpiece based on position information calculated by the image processing device based on an input image captured by the camera.
A robot apparatus characterized by that. 画像処理装置が、予めワークを撮像した参照画像上の複数の検出対象となるエッジを抽出し、前記検出対象となるエッジの交点位置を中心としたパターンマッチング用の特徴点テンプレートを作成する特徴点テンプレート作成工程と、
前記画像処理装置が、取得した入力画像上のワークから複数のエッジを抽出し、前記抽出された複数のエッジそれぞれの交点を算出するエッジ交点算出工程と、
前記画像処理装置が、前記エッジ交点算出工程にて取得した各エッジの交点位置と前記特徴点テンプレートとに基づいてパターンマッチングするパターンマッチング工程と、
前記画像処理装置が、前記パターンマッチングにて最も類似度の高い位置の交点を形成するエッジを検出対象となるエッジとして選択するエッジ選択工程と、を備えた、
ことを特徴とする画像処理方法。 Feature points for image processing apparatus to extract a plurality of detection target edges on a reference image obtained by imaging a workpiece in advance and create a feature point template for pattern matching centering on the intersection position of the detection target edges Template creation process,
The image processing device extracts a plurality of edges from the workpiece on the acquired input image, and calculates an intersection of each of the extracted plurality of edges; and
A pattern matching step in which the image processing device performs pattern matching based on the intersection position of each edge acquired in the edge intersection calculation step and the feature point template;
The image processing apparatus comprises an edge selection step of selecting an edge forming an intersection of a position with the highest similarity in the pattern matching as an edge to be detected.
An image processing method.
JP2011261696A 2011-11-30 2011-11-30 Image processing apparatus, image processing program, robot apparatus, and image processing method Expired - Fee Related JP5939775B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011261696A JP5939775B2 (en) 2011-11-30 2011-11-30 Image processing apparatus, image processing program, robot apparatus, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011261696A JP5939775B2 (en) 2011-11-30 2011-11-30 Image processing apparatus, image processing program, robot apparatus, and image processing method

Publications (3)

Publication Number Publication Date
JP2013114547A true JP2013114547A (en) 2013-06-10
JP2013114547A5 JP2013114547A5 (en) 2015-01-22
JP5939775B2 JP5939775B2 (en) 2016-06-22

Family

ID=48710024

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011261696A Expired - Fee Related JP5939775B2 (en) 2011-11-30 2011-11-30 Image processing apparatus, image processing program, robot apparatus, and image processing method

Country Status (1)

Country Link
JP (1) JP5939775B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104976951A (en) * 2014-04-09 2015-10-14 英懋达光电股份有限公司 Device and method for identifying image
CN111531544A (en) * 2020-05-13 2020-08-14 深圳赛动生物自动化有限公司 Robot control system based on image geometric matching and control method thereof
JP2021111354A (en) * 2020-01-10 2021-08-02 株式会社Mujin Method and calculation system for object recognition or object registration based on image classification
JP2021162878A (en) * 2020-03-30 2021-10-11 矢崎総業株式会社 Crimp terminal appearance inspection device
US11727667B2 (en) 2020-12-09 2023-08-15 Brother Kogyo Kabushiki Kaisha Computer-readable storage medium, image processing apparatus, and method for image processing
US11772271B2 (en) 2020-01-10 2023-10-03 Mujin, Inc. Method and computing system for object recognition or object registration based on image classification
US11869215B2 (en) 2020-12-09 2024-01-09 Brother Kogyo Kabushiki Kaisha Computer-readable storage medium, image processing apparatus, and method for image processing

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05159055A (en) * 1991-12-05 1993-06-25 Omron Corp Edge image generating device
JP2004325146A (en) * 2003-04-23 2004-11-18 Juki Corp Method and device for recognizing part
JP2006015803A (en) * 2004-06-30 2006-01-19 Nissan Motor Co Ltd Display device for vehicle and vehicle on which display device for vehicle is mounted
JP2007094906A (en) * 2005-09-29 2007-04-12 Toshiba Corp Characteristic point detection device and method
JP2007333679A (en) * 2006-06-19 2007-12-27 Mitsubishi Electric Corp Three-dimensional position correcting apparatus
US20090010482A1 (en) * 2004-06-02 2009-01-08 Toyota Jidosha Kabushiki Kaisha Diagrammatizing Apparatus
JP2010211746A (en) * 2009-03-12 2010-09-24 Omron Corp Three-dimensional recognition result displaying method and three-dimensional visual sensor

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05159055A (en) * 1991-12-05 1993-06-25 Omron Corp Edge image generating device
JP2004325146A (en) * 2003-04-23 2004-11-18 Juki Corp Method and device for recognizing part
US20090010482A1 (en) * 2004-06-02 2009-01-08 Toyota Jidosha Kabushiki Kaisha Diagrammatizing Apparatus
JP2006015803A (en) * 2004-06-30 2006-01-19 Nissan Motor Co Ltd Display device for vehicle and vehicle on which display device for vehicle is mounted
JP2007094906A (en) * 2005-09-29 2007-04-12 Toshiba Corp Characteristic point detection device and method
JP2007333679A (en) * 2006-06-19 2007-12-27 Mitsubishi Electric Corp Three-dimensional position correcting apparatus
JP2010211746A (en) * 2009-03-12 2010-09-24 Omron Corp Three-dimensional recognition result displaying method and three-dimensional visual sensor

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104976951A (en) * 2014-04-09 2015-10-14 英懋达光电股份有限公司 Device and method for identifying image
JP2015201193A (en) * 2014-04-09 2015-11-12 英懋達光電股▲ふん▼有限公司Ｉｎｖｅｎｔｅｃ Ｅｎｅｒｇｙ Ｃｏｒｐｏｒａｔｉｏｎ Image recognition device and image recognition method
JP2021111354A (en) * 2020-01-10 2021-08-02 株式会社Mujin Method and calculation system for object recognition or object registration based on image classification
US11772271B2 (en) 2020-01-10 2023-10-03 Mujin, Inc. Method and computing system for object recognition or object registration based on image classification
JP2021162878A (en) * 2020-03-30 2021-10-11 矢崎総業株式会社 Crimp terminal appearance inspection device
JP7164560B2 (en) 2020-03-30 2022-11-01 矢崎総業株式会社 Appearance inspection device for crimp terminals
CN111531544A (en) * 2020-05-13 2020-08-14 深圳赛动生物自动化有限公司 Robot control system based on image geometric matching and control method thereof
US11727667B2 (en) 2020-12-09 2023-08-15 Brother Kogyo Kabushiki Kaisha Computer-readable storage medium, image processing apparatus, and method for image processing
US11869215B2 (en) 2020-12-09 2024-01-09 Brother Kogyo Kabushiki Kaisha Computer-readable storage medium, image processing apparatus, and method for image processing

Also Published As

Publication number Publication date
JP5939775B2 (en) 2016-06-22

Similar Documents

Publication Publication Date Title
JP5939775B2 (en) Image processing apparatus, image processing program, robot apparatus, and image processing method
CN110167722B (en) Robot and electronic device for performing hand-eye calibration
JP5699788B2 (en) Screen area detection method and system
JP3977776B2 (en) Stereo calibration device and stereo image monitoring device using the same
JP6854840B2 (en) Map construction device and its map construction method
WO2011162388A4 (en) Point group data processing device, point group data processing system, point group data processing method, and point group data processing program
JP6571108B2 (en) Real-time 3D gesture recognition and tracking system for mobile devices
JP6648925B2 (en) Image processing method, image processing device, image processing system, production device, program, and recording medium
US10207409B2 (en) Image processing method, image processing device, and robot system
JP2016224919A (en) Data browsing device, data browsing method, and program
JP2010103694A (en) Camera with translation function, and method of displaying text
JP5769559B2 (en) Image processing apparatus, image processing program, robot apparatus, and image processing method
JP4935307B2 (en) Image processing apparatus, image registration method, program for causing computer to execute image registration method, and recording medium recording the program
WO2005096130A1 (en) Method and device for detecting directed position of image pickup device and program for detecting directed position of image pickup device
JPWO2005096129A1 (en) Method and apparatus for detecting designated position of imaging apparatus, and program for detecting designated position of imaging apparatus
JP4041060B2 (en) Image processing apparatus and image processing method
JP4972013B2 (en) Information presenting apparatus, information presenting method, information presenting program, and recording medium recording the program
JP3953450B2 (en) 3D object posture operation method and program
JP5519202B2 (en) Image processing apparatus and program
JP6170696B2 (en) Image processing apparatus and image processing method
JP2017068437A (en) Body detection apparatus, body detection method, and body detection program
JP5385048B2 (en) Image processing apparatus and program
US10372297B2 (en) Image control method and device
JP2015076026A (en) Pattern matching device and pattern matching method
JP2019021318A (en) Telepresence framework for marking region of interest using head-mounted devices

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141128

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160517

R151 Written notification of patent or utility model registration

Ref document number: 5939775

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees