JP2014164641A - Image processing apparatus, robot control system, robot, program, and image processing method - Google Patents
Image processing apparatus, robot control system, robot, program, and image processing method Download PDFInfo
- Publication number
- JP2014164641A JP2014164641A JP2013036772A JP2013036772A JP2014164641A JP 2014164641 A JP2014164641 A JP 2014164641A JP 2013036772 A JP2013036772 A JP 2013036772A JP 2013036772 A JP2013036772 A JP 2013036772A JP 2014164641 A JP2014164641 A JP 2014164641A
- Authority
- JP
- Japan
- Prior art keywords
- image
- workpiece
- orientation
- contour line
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像処理装置、ロボット制御システム、ロボット、プログラム及び画像処理方法等に関係する。 The present invention relates to an image processing apparatus, a robot control system, a robot, a program, an image processing method, and the like.
画像中の対象物体像から、その物体の３次元的な位置姿勢を知ることは、種々の応用において必要とされる。検出対象物の位置姿勢を知るために、例えば検出対象物のＣＡＤ（Computer Aided Design）モデルデータと、実際の検出対象物を撮像して得られる画像データとのマッチング処理を行う方法が広く用いられている。このようなＣＡＤモデルデータを生成して、ＣＡＤマッチングを行う発明としては、特許文献１や特許文献２に記載される従来技術がある。 It is necessary in various applications to know the three-dimensional position and orientation of an object from the target object image in the image. In order to know the position and orientation of the detection target, for example, a method of matching processing between CAD (Computer Aided Design) model data of the detection target and image data obtained by imaging the actual detection target is widely used. ing. As an invention for generating CAD model data and performing CAD matching, there are conventional techniques described in Patent Document 1 and Patent Document 2.
検出対象物が定形物である場合においては、前述した特許文献１や特許文献２に記載される方法などが非常に有効である。 When the detection object is a fixed object, the methods described in Patent Document 1 and Patent Document 2 described above are very effective.
しかし、検出対象物の一部が不定形な場合には、不定形部分のモデル化は一般的に難しく、不定形部分のモデル化が可能であったとしても学習に膨大な時間（コスト）が掛かる。 However, if a part of the object to be detected is irregular, it is generally difficult to model the irregular part. Even if the irregular part can be modeled, it takes a lot of time (cost) to learn. It takes.
本発明の幾つかの態様によれば、定形部及び不定形部を有する検出対象物の位置姿勢を推定することができる画像処理装置、ロボット制御システム、ロボット、プログラム及び画像処理方法等を提供することができる。 According to some aspects of the present invention, there are provided an image processing device, a robot control system, a robot, a program, an image processing method, and the like that can estimate the position and orientation of a detection target having a fixed part and an indefinite part. be able to.
本発明の一態様は、定形部及び不定形部を有するワークのＣＡＤ（Computer Aided Design）モデルデータから得られた複数の参照画像を記憶する参照画像記憶部と、前記ワークの撮像画像を取得する撮像画像取得部と、前記ワークの位置姿勢を特定する位置姿勢特定部と、を含み、前記位置姿勢特定部は、前記定形部の重み付けに比べて前記不定形部の重み付けが低い前記複数の参照画像の各参照画像と、前記撮像画像とのマッチング処理を行って、前記ワークの前記位置姿勢を特定する画像処理装置に関係する。 One embodiment of the present invention acquires a reference image storage unit that stores a plurality of reference images obtained from CAD (Computer Aided Design) model data of a work having a fixed part and an indeterminate part, and a captured image of the work. A plurality of references in which the weight of the irregular portion is lower than the weight of the fixed portion, the position and posture specifying portion including a captured image acquisition unit and a position / posture specifying unit that specifies the position and posture of the workpiece The present invention relates to an image processing device that performs matching processing between each reference image of an image and the captured image to identify the position and orientation of the workpiece.
本発明の一態様では、ワークの定形部の重み付けに比べて不定形部の重み付けが低い複数の参照画像の各参照画像と、撮像画像とのマッチング処理を行って、ワークの位置姿勢を特定する。 In one aspect of the present invention, the position and orientation of a workpiece are specified by performing matching processing between each of the reference images of a plurality of reference images having a lower weight of the amorphous portion than the weight of the fixed portion of the workpiece and the captured image. .
よって、定形部及び不定形部を有する検出対象物の位置姿勢を推定することが可能となる。 Therefore, it is possible to estimate the position and orientation of the detection object having the fixed part and the irregular part.
また、本発明の一態様では、前記位置姿勢特定部は、前記定形部の輪郭線の重み付け値に比べて、前記不定形部の輪郭線の重み付け値が低い前記各参照画像の輪郭線と、前記撮像画像の輪郭線との前記マッチング処理を行って、前記ワークの前記位置姿勢を特定してもよい。 In one aspect of the present invention, the position / orientation specifying unit includes a contour line of each reference image in which the weight value of the contour line of the amorphous part is lower than the weight value of the contour line of the fixed part, The position and orientation of the workpiece may be specified by performing the matching process with the contour line of the captured image.
これにより、マッチング処理において、不定形部の輪郭線よりも定形部の輪郭線における一致度を重視して、ワークの位置姿勢を特定すること等が可能になる。 As a result, in the matching process, it is possible to specify the position and orientation of the workpiece by placing more importance on the degree of matching in the contour line of the fixed part than the contour line of the irregular part.
また、本発明の一態様では、前記位置姿勢特定部は、前記不定形部の第１の輪郭線と第２の輪郭線とで重み付け値が異なる前記各参照画像の輪郭線と、前記撮像画像の輪郭線との前記マッチング処理を行って、前記ワークの前記位置姿勢を特定してもよい。 In one aspect of the present invention, the position / orientation specifying unit includes contour lines of the reference images having different weighting values between the first contour line and the second contour line of the indeterminate part, and the captured image. The position and orientation of the workpiece may be specified by performing the matching process with a contour line.
これにより、例えば不定形部の第１の輪郭線に対する重み付け値よりも、不定形部の第２の輪郭線に対する重み付け値を大きく設定して、ワークの位置姿勢の検出精度をより向上させること等が可能になる。 Thereby, for example, the weighting value for the second contour line of the irregular shape portion is set larger than the weighting value for the first contour line of the irregular shape portion, thereby improving the detection accuracy of the position and orientation of the workpiece. Is possible.
また、本発明の一態様では、前記位置姿勢特定部は、前記定形部の前記輪郭線の太さと前記不定形部の前記輪郭線の太さが異なる前記各参照画像の前記輪郭線と、前記撮像画像の前記輪郭線との前記マッチング処理を行ってもよい。 Moreover, in one aspect of the present invention, the position / orientation specifying unit includes the contour line of each reference image in which the thickness of the contour line of the fixed shape part and the thickness of the contour line of the irregular shape part are different from each other, You may perform the said matching process with the said outline of a captured image.
これにより、不定形部に比べて、定形部の位置が一致しているか否かの判定をより厳しくすること等が可能になる。 As a result, it is possible to make the determination of whether or not the positions of the fixed-shaped portions coincide with each other as compared with the irregular-shaped portions.
また、本発明の一態様では、前記位置姿勢特定部は、前記重み付け値が大きいほど前記輪郭線が細い前記各参照画像の前記輪郭線と、前記撮像画像の前記輪郭線との前記マッチング処理を行ってもよい。 In the aspect of the invention, the position / orientation specifying unit may perform the matching process between the contour line of each reference image and the contour line of the captured image that are thinner as the weighting value is larger. You may go.
これにより、大きな重み付け値を設定すればするほど、その輪郭線が一致しているか否かの判定をより厳しくすること等が可能になる。 As a result, the larger the weighting value is set, the more strict it is to determine whether or not the contour lines match.
また、本発明の一態様では、前記位置姿勢特定部は、輪郭の形状が異なる前記ワークを表す第１の画像〜第Ｎ（Ｎは２以上の整数）の画像に基づいて生成された前記各参照画像の輪郭線と、前記撮像画像の輪郭線との前記マッチング処理を行って、前記ワークの前記位置姿勢を特定してもよい。 Moreover, in one aspect of the present invention, the position / orientation specifying unit is configured to generate each of the first image to the Nth image (N is an integer of 2 or more) representing the workpieces having different contour shapes. The position and orientation of the workpiece may be specified by performing the matching process between the contour line of the reference image and the contour line of the captured image.
これにより、１枚の参照画像と撮像画像のマッチング処理を行うだけで、不定形部が取り得る複数の異なる形状のいずれかと、撮像画像に映るワークの不定形部が一致しているか否かを判定すること等が可能になる。 As a result, only by performing a matching process between one reference image and a captured image, it is determined whether any of a plurality of different shapes that can be taken by the indeterminate part matches the indeterminate part of the work shown in the taken image. It is possible to make a judgment.
また、本発明の一態様では、前記位置姿勢特定部は、前記不定形部の形状が異なる複数のＣＡＤモデルデータから生成された前記各参照画像の前記輪郭線と、前記撮像画像の前記輪郭線との前記マッチング処理を行ってもよい。 In the aspect of the invention, the position / orientation specifying unit may include the contour line of each reference image generated from a plurality of CAD model data having different shapes of the irregular shape part and the contour line of the captured image. The matching process may be performed.
これにより、第１のＣＡＤモデルデータ〜第ＮのＣＡＤモデルデータから第１の画像〜第Ｎの画像を生成し、第１の画像〜第Ｎの画像から参照画像を生成すること等が可能になる。 Accordingly, it is possible to generate the first image to the Nth image from the first CAD model data to the Nth CAD model data, and to generate the reference image from the first image to the Nth image. Become.
また、本発明の一態様では、前記各参照画像は、前記第１の画像〜前記第Ｎの画像を加重平均して生成された画像であってもよい。 In the aspect of the invention, each reference image may be an image generated by weighted averaging of the first image to the Nth image.
これにより、第１の画像〜第Ｎの画像のそれぞれにおいて、撮像画像と一致しているか否かの判定の厳しさを調整すること等が可能になる。 Accordingly, it is possible to adjust the severity of determination as to whether or not each of the first image to the Nth image matches the captured image.
また、本発明の一態様では、前記第１の画像〜前記第Ｎの画像の各画像には、前記各画像に映る輪郭により表される形状をした前記ワークの出現頻度に対応する重み付け値が設定されており、前記各参照画像は、前記第１の画像〜前記第Ｎの画像の前記各画像に設定された重み付け値に基づいて、前記第１の画像〜前記第Ｎの画像を加重平均して生成された画像であってもよい。 In one aspect of the present invention, each of the first image to the Nth image has a weighting value corresponding to the appearance frequency of the workpiece having a shape represented by a contour reflected in each image. Each reference image is a weighted average of the first image to the Nth image based on a weighting value set for each image of the first image to the Nth image. An image generated in this manner may be used.
これにより、例えば頻繁に出現する形状の画像に対しては、一致しているとより判定しやすくすること等が可能になる。 As a result, for example, it is possible to make it easier to determine that an image having a frequently appearing shape matches.
また、本発明の一態様では、前記参照画像記憶部は、前記複数の参照画像として、第１の視点から見た前記ワークのＣＡＤモデルを表す第１の参照画像と、前記第１の視点とは異なる第２の視点から見た前記ＣＡＤモデルを表す第２の参照画像と、を記憶してもよい。 In one aspect of the present invention, the reference image storage unit includes, as the plurality of reference images, a first reference image representing a CAD model of the workpiece viewed from a first viewpoint, the first viewpoint, May store a second reference image representing the CAD model viewed from a different second viewpoint.
これにより、位置姿勢の検出精度をより向上させること等が可能になる。 Thereby, it is possible to further improve the position and orientation detection accuracy.
また、本発明の一態様では、前記参照画像記憶部は、重み付け値として輝度値が設定された前記参照画像を記憶し、前記参照画像は、前記定形部に比べて低い前記輝度値が前記不定形部に設定された画像であってもよい。 Further, in one aspect of the present invention, the reference image storage unit stores the reference image in which a luminance value is set as a weighting value, and the reference image has a lower luminance value than the fixed portion. It may be an image set in the fixed part.
これにより、参照画像としてグレイスケール画像を生成すること等が可能になる。 This makes it possible to generate a grayscale image as a reference image.
また、本発明の他の態様では、前記画像処理装置と、前記ワークの前記位置姿勢の特定結果に基づいて、ロボットの各部を制御するロボット制御部と、を含むロボット制御システムに関係する。 According to another aspect of the present invention, the present invention relates to a robot control system including the image processing device and a robot control unit that controls each part of the robot based on the result of specifying the position and orientation of the workpiece.
また、本発明の他の態様では、前記ロボット制御システムを含むロボットに関係する。 Another aspect of the present invention relates to a robot including the robot control system.
また、本発明の他の態様では、定形部及び不定形部を有するワークのＣＡＤ（Computer Aided Design）モデルデータから得られた複数の参照画像を記憶する処理を行い、前記ワークの撮像画像を取得する処理を行い、前記定形部の重み付けに比べて前記不定形部の重み付けが低い前記複数の参照画像の各参照画像と、前記撮像画像とのマッチング処理を行い、前記ワークの前記位置姿勢を特定する処理を行い、前記ワークの前記位置姿勢の特定結果に基づいて、ロボットの各部を制御する処理を行うロボットに関係する。 In another aspect of the present invention, a process of storing a plurality of reference images obtained from CAD (Computer Aided Design) model data of a work having a fixed part and an indefinite part is performed, and a captured image of the work is obtained. And the matching processing of each reference image of the plurality of reference images, which has a lower weight of the irregular shape portion than the weight of the fixed shape portion, and the captured image, and specifies the position and orientation of the workpiece The present invention relates to a robot that performs a process for controlling each part of the robot based on a result of specifying the position and orientation of the workpiece.
また、本発明の他の態様では、上記各部としてコンピューターを機能させるプログラムに関係する。 Another aspect of the present invention relates to a program that causes a computer to function as each of the above-described units.
また、本発明の他の態様では、定形部及び不定形部を有するワークのＣＡＤ（Computer Aided Design）モデルデータから得られた複数の参照画像を記憶する処理を行い、前記ワークの撮像画像を取得する処理を行い、前記定形部の重み付けに比べて前記不定形部の重み付けが低い前記複数の参照画像の各参照画像と、前記撮像画像とのマッチング処理を行い、前記ワークの前記位置姿勢を特定する処理を行う画像処理方法に関係する。 In another aspect of the present invention, a process of storing a plurality of reference images obtained from CAD (Computer Aided Design) model data of a work having a fixed part and an indefinite part is performed, and a captured image of the work is obtained. And the matching processing of each reference image of the plurality of reference images, which has a lower weight of the irregular shape portion than the weight of the fixed shape portion, and the captured image, and specifies the position and orientation of the workpiece The present invention relates to an image processing method for performing processing.
以下、本実施形態について説明する。まず、本実施形態の概要を説明し、次に本実施形態のシステム構成例について説明する。そして、本実施形態の手法について具体例を交えつつ詳細に説明し、最後に、フローチャートを用いて本実施形態の処理の流れについて説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。 Hereinafter, this embodiment will be described. First, an outline of the present embodiment will be described, and then a system configuration example of the present embodiment will be described. Then, the method of the present embodiment will be described in detail with specific examples, and finally, the flow of processing of the present embodiment will be described using a flowchart. In addition, this embodiment demonstrated below does not unduly limit the content of this invention described in the claim. In addition, all the configurations described in the present embodiment are not necessarily essential configuration requirements of the present invention.
１．概要
画像中の対象物体像から、その物体の３次元的な位置姿勢を知ることは、種々の応用において必要とされる。一例として、産業用ロボットの応用においては、カメラなどを用いて検出対象物を撮像し、撮像した画像を用いて検出対象物の位置姿勢情報を検出し、検出した位置姿勢情報に基づいてロボットがその検出対象物を把持する、などと言うことが要求される。
1. Outline It is necessary for various applications to know the three-dimensional position and orientation of an object from the target object image in the image. As an example, in an industrial robot application, a detection object is imaged using a camera or the like, the position and orientation information of the detection object is detected using the captured image, and the robot is detected based on the detected position and orientation information. It is required to hold the detection object.
ここで、検出対象物の位置姿勢を知るために、検出対象物のＣＡＤ（Computer Aided Design）モデルデータと、実際の検出対象物を撮像して得られる画像データとのマッチング処理（ＣＡＤマッチング）を行う方法が広く用いられている。この方法は、ＣＡＤモデルデータの作成が比較的容易であることや、３次元的な学習が可能である点において有用である。このようなＣＡＤモデルデータを生成して、ＣＡＤマッチングを行う発明としては、前述した特許文献１や特許文献２に記載される発明がある。 Here, in order to know the position and orientation of the detection target, matching processing (CAD matching) between CAD (Computer Aided Design) model data of the detection target and image data obtained by imaging the actual detection target is performed. The method of doing is widely used. This method is useful in that it is relatively easy to create CAD model data and that three-dimensional learning is possible. As inventions for generating such CAD model data and performing CAD matching, there are inventions described in Patent Document 1 and Patent Document 2 described above.
検出対象物が定形物である場合においてはこのような方法は非常に有効である。しかし、検出対象物の一部が不定形な場合には、不定形部分のモデル化は一般的に難しく、不定形部分のモデル化が可能であったとしても学習に膨大な時間（コスト）が掛かる。 Such a method is very effective when the object to be detected is a fixed object. However, if a part of the object to be detected is irregular, it is generally difficult to model the irregular part. Even if the irregular part can be modeled, it takes a lot of time (cost) to learn. It takes.
そこで、本実施形態では、検出対象物の一部が定形で、他の部分が不定形である場合に、検出対象物の位置姿勢を推定することができる画像処理装置、ロボット制御システム、ロボット、プログラム及び画像処理方法等を提供する。 Therefore, in the present embodiment, an image processing apparatus, a robot control system, a robot, and the like that can estimate the position and orientation of a detection target object when a part of the detection target object is fixed and the other part is indefinite. A program and an image processing method are provided.
２．システム構成例
次に、図１に本実施形態の画像処理装置の構成例を示す。
2. System Configuration Example Next, FIG. 1 shows a configuration example of the image processing apparatus of the present embodiment.
画像処理装置１００は、参照画像記憶部１１０と、撮像画像取得部１２０と、位置姿勢特定部１３０と、を含む。なお、画像処理装置１００は、図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。 The image processing apparatus 100 includes a reference image storage unit 110, a captured image acquisition unit 120, and a position / orientation specifying unit 130. The image processing apparatus 100 is not limited to the configuration shown in FIG. 1, and various modifications such as omitting some of these components or adding other components are possible.
次に各部で行われる処理について説明する。 Next, processing performed in each unit will be described.
参照画像記憶部１１０は、定形部及び不定形部を有するワークのＣＡＤモデルデータから得られた複数の参照画像を記憶する。また、参照画像記憶部１１０の機能はＲＡＭ等のメモリーやＨＤＤ（ハードディスクドライブ）などにより実現できる。 The reference image storage unit 110 stores a plurality of reference images obtained from CAD model data of a workpiece having a fixed part and an indefinite part. The function of the reference image storage unit 110 can be realized by a memory such as a RAM or an HDD (hard disk drive).
撮像画像取得部１２０は、ワークの撮像画像を取得する処理を行う。撮像画像取得部１２０は、例えば撮像部と有線又は無線により通信を行う通信部（インターフェース部）であってもよいし、撮像部そのものであってもよい。 The captured image acquisition unit 120 performs processing for acquiring a captured image of a workpiece. The captured image acquisition unit 120 may be a communication unit (interface unit) that performs wired or wireless communication with the imaging unit, or may be the imaging unit itself.
位置姿勢特定部１３０は、ワークの位置姿勢を特定する処理を行う。なお、位置姿勢特定部１３０の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。 The position / orientation specifying unit 130 performs processing for specifying the position / orientation of the workpiece. The function of the position / orientation specifying unit 130 can be realized by hardware such as various processors (CPU or the like), ASIC (gate array or the like), a program, or the like.
また、図２に本実施形態のロボット制御システムの構成例を示す。 FIG. 2 shows a configuration example of the robot control system of this embodiment.
本実施形態のロボット制御システム２００は、画像処理装置１００と、ロボット制御部２１０と、を含む。 The robot control system 200 according to the present embodiment includes an image processing apparatus 100 and a robot control unit 210.
ロボット制御部２１０は、ワークの位置姿勢の特定結果に基づいて、ロボット３００の各部を制御する。なお、ロボット制御部２１０の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。 The robot control unit 210 controls each unit of the robot 300 based on the result of specifying the position and orientation of the workpiece. The function of the robot control unit 210 can be realized by hardware such as various processors (CPU or the like), ASIC (gate array or the like), a program, or the like.
次に、本実施形態のロボットの構成例を図３（Ａ）及び図３（Ｂ）に示す。例えば、図３（Ａ）のロボットは、ロボット本体３００（ロボット）とロボット制御システム２００とが別体に構成されている。しかし、本実施形態のロボットは図３（Ａ）の構成に限定されず、図３（Ｂ）のようにロボット本体３００とロボット制御システム２００とが一体に構成されていてもよい。具体的には図３（Ｂ）に示したように、ロボット３００は、ロボット本体（アーム及びハンドを有する）及びロボット本体を支えるベースユニット部を有し、当該ベースユニット部にロボット制御システム２００が格納されるものであってもよい。図３（Ｂ）のロボット３００には、ベースユニット部に車輪等が設けられ、ロボット全体が移動可能な構成となっている。なお、図３（Ａ）は単腕型の例であるが、ロボット３００は図３（Ｂ）に示すように双腕型等の多腕型のロボットであってもよい。また、ロボット３００は、人手により移動させられるものであってもよいし、車輪を駆動するモーターを設け、当該モーターをロボット制御システム２００により制御することにより、移動させられるものであってもよい。また、ロボット制御システム２００は、図３（Ｂ）のようにロボット３００の下に設けられたベースユニット部に設けられるとは限られない。 Next, a configuration example of the robot of the present embodiment is shown in FIGS. 3 (A) and 3 (B). For example, in the robot of FIG. 3A, the robot body 300 (robot) and the robot control system 200 are configured separately. However, the robot of the present embodiment is not limited to the configuration shown in FIG. 3A, and the robot main body 300 and the robot control system 200 may be integrated as shown in FIG. Specifically, as shown in FIG. 3B, the robot 300 includes a robot body (having an arm and a hand) and a base unit portion that supports the robot body, and the robot control system 200 is provided in the base unit portion. It may be stored. The robot 300 in FIG. 3B has a configuration in which wheels and the like are provided in the base unit portion so that the entire robot can move. 3A is an example of a single arm type, the robot 300 may be a multi-arm type robot such as a double arm type as shown in FIG. 3B. The robot 300 may be moved manually, or may be moved by providing a motor for driving wheels and controlling the motor by the robot control system 200. In addition, the robot control system 200 is not necessarily provided in the base unit provided below the robot 300 as shown in FIG.
３．本実施形態の手法
次に、本実施形態の手法について説明する。本実施形態では、例えば図４（Ａ）に示すような定形部と不定形部とを有するワークＷＫを検出対象物とし、ワークＷＫの位置姿勢を検出する。図４（Ａ）のワークＷＫは、実際のワークそのものである。
3. Next, the method of this embodiment will be described. In the present embodiment, for example, a work WK having a fixed part and an indeterminate part as shown in FIG. 4A is used as a detection target, and the position and orientation of the work WK are detected. The work WK in FIG. 4A is an actual work itself.
ここで、定形部とは、物体において、所与の大きさ以下の外力が加えられても変形しない部分（部材又は領域）のことをいう。一方、不定形部とは、物体において、所与の大きさ以下の外力が加えられた場合に、外力の大きさに応じて変形する部分（部材又は領域）のことをいう。例えば、図４（Ａ）のワークＷＫにおいては、キャップ（口部）が定形部ＦＦであり、チューブ部（容器）が不定形部ＵＦである。なお、実際には、定形部に所与の大きさ以下の外力が加えられた場合にも、極僅かに定形部が変形することもあるが、変形量が所与の大きさ以下である際には、その部分を定形部であるとみなしてよい。また、以下で説明するワークＷＫの表面には、模様がないものとするが、ワークＷＫの表面に模様が描かれていても構わない。 Here, the fixed shape portion refers to a portion (member or region) that does not deform even when an external force of a given magnitude or less is applied to the object. On the other hand, the indefinite shape portion refers to a portion (member or region) that deforms according to the magnitude of the external force when an external force of a given magnitude or less is applied to the object. For example, in the workpiece WK in FIG. 4A, the cap (mouth) is the fixed portion FF, and the tube portion (container) is the irregular portion UF. Actually, even when an external force of a given size or less is applied to the fixed part, the fixed part may be slightly deformed, but when the amount of deformation is less than the given size. The part may be regarded as a fixed part. In addition, although the surface of the work WK described below has no pattern, the pattern may be drawn on the surface of the work WK.
そして、このようなワークＷＫの位置姿勢の特定処理を行う際には、ワークＷＫのＣＡＤモデルデータを生成し、図４（Ｂ）に示すような参照画像ＲＥＩＭをＣＡＤモデルデータに基づいて生成する。さらに、生成した参照画像と、実際にワークＷＫを撮像して得られる撮像画像とのマッチング処理を行い、ワークＷＫの位置姿勢を推定する。 Then, when performing such processing for specifying the position and orientation of the workpiece WK, CAD model data of the workpiece WK is generated, and a reference image REIM as shown in FIG. 4B is generated based on the CAD model data. . Furthermore, a matching process between the generated reference image and a captured image obtained by actually capturing the workpiece WK is performed to estimate the position and orientation of the workpiece WK.
しかし、本例のようにワークＷＫが定形部ＦＦだけでなく、不定形部ＵＦを含む場合には、ワークＷＫは無数の形状を取り得る。そのため、参照画像により表されるワークＷＫの形状と、実際の撮像画像に映るワークＷＫの形状とが大きく異なる場合には、同一のワークＷＫを表す参照画像と撮像画像のマッチング処理を行っても、ワークＷＫの位置姿勢を正しく特定することができない場合がある。 However, when the workpiece WK includes not only the fixed portion FF but also the indeterminate portion UF as in this example, the workpiece WK can take an infinite number of shapes. Therefore, when the shape of the workpiece WK represented by the reference image and the shape of the workpiece WK reflected in the actual captured image are greatly different, the matching processing between the reference image representing the same workpiece WK and the captured image is performed. In some cases, the position and orientation of the workpiece WK cannot be correctly specified.
従って、マッチング処理において、どのような参照画像を用いるかが重要となる。例えば、参照画像の生成方法として２つの例を説明する。 Therefore, what kind of reference image is used in the matching process is important. For example, two examples of reference image generation methods will be described.
まず、一つの目の方法としては、不定形部ＵＦに凹み等がない状態のＣＡＤモデルから生成した図４（Ｃ）に示すような参照画像ＲＥＩＭを用いる方法がある。 First, as a first method, there is a method using a reference image REIM as shown in FIG. 4C generated from a CAD model in which there is no dent or the like in the indeterminate portion UF.
また、もう一つの方法としては、形状が変化する不定形部ＵＦを無視して、形状が変化しない定形部ＦＦのみに着目した図４（Ｄ）に示すような参照画像ＲＥＩＭを用いる方法がある。 Further, as another method, there is a method of using a reference image REIM as shown in FIG. 4 (D) that ignores the irregular shape portion UF whose shape changes and focuses only on the regular shape portion FF whose shape does not change. .
しかし、これらの方法では、図５（Ａ）及び図５（Ｂ）に示すような誤検出が多発するという問題がある。なお、図５（Ａ）及び図５（Ｂ）では、撮像画像に映るワークＷＫを実線で表し、撮像画像に対する参照画像のマッチング位置を点線で表している。 However, these methods have a problem in that erroneous detection as shown in FIGS. 5 (A) and 5 (B) frequently occurs. In FIGS. 5A and 5B, the workpiece WK shown in the captured image is represented by a solid line, and the matching position of the reference image with respect to the captured image is represented by a dotted line.
具体的には、図４（Ｃ）に示す参照画像ＲＥＩＭを用いた場合には、例えば図５（Ａ）に示すように、撮像画像中に映るワークＷＫに対してＭＲ１、ＭＲ２又はＭＲ３の位置で参照画像とマッチングしてしまう。本例のマッチング処理においては、撮像画像と参照画像の輪郭がどれだけ一致したか、言い換えれば、一致している輪郭線の長さがどれだけ長いかでスコアが決まり、最も高いスコアになった結果を検出結果として返す。そのため、マッチング処理において、定形部ＦＦよりも輪郭線が長い不定形部ＵＦの一致度が重視されてしまい、図５（Ａ）に示すような結果となってしまう。 Specifically, when the reference image REIM shown in FIG. 4C is used, for example, as shown in FIG. 5A, the position of MR1, MR2, or MR3 with respect to the work WK shown in the captured image. Will match the reference image. In the matching process of this example, the score is determined by how much the contours of the captured image and the reference image match, in other words, how long the matching contour length is, and the score is the highest. The result is returned as a detection result. Therefore, in the matching process, the degree of coincidence of the irregular part UF having a longer contour line than the regular part FF is emphasized, and the result shown in FIG. 5A is obtained.
その結果、図５（Ａ）の例では、本来であればワークＷＫがＤＲ１方向を向いていることが検出できれば良いのであるが、期待通りにマッチング処理が進まず、マッチング位置がＭＲ１になった場合には、ワークＷＫがＤＲ２方向を向いていると検出し、マッチング位置がＭＲ２になった場合には、ワークＷＫがＤＲ３方向を向いていると検出し、マッチング位置がＭＲ３になった場合には、ワークＷＫがＤＲ４方向を向いている、と誤って特定してしまう。 As a result, in the example of FIG. 5A, it is only necessary to detect that the workpiece WK is oriented in the DR1 direction, but the matching process does not proceed as expected, and the matching position becomes MR1. In this case, it is detected that the workpiece WK is facing the DR2 direction, and when the matching position is MR2, it is detected that the workpiece WK is facing the DR3 direction, and the matching position is MR3. Would mistakenly specify that the work WK is facing the DR4 direction.
一方で、図４（Ｄ）に示す参照画像ＲＥＩＭを用いた場合には、図５（Ｂ）に示すように、撮像画像中に映るワークＷＫに対してＭＲ１〜ＭＲ６のいずれかの位置で参照画像とマッチングしてしまい、この場合にも正しい位置姿勢の特定ができない。 On the other hand, when the reference image REIM shown in FIG. 4 (D) is used, as shown in FIG. 5 (B), reference is made at any position of MR1 to MR6 with respect to the work WK shown in the captured image. In this case, the correct position and orientation cannot be specified.
前述したように、定形部の形状は、所与の大きさ以下の外力が加わっても変化せず（変化しにくく）、一方で不定形部の形状は変化しやすい。すなわち、ほとんどの場合に、参照画像と撮像画像の両方に同じ形状の定形部が映っているが、一方で、参照画像と撮像画像とで全く同じ形状の不定形部が映っていることは稀であり、不定形部の一部の形状が異なっていることが大抵である。それにも関わらず、上記の方法ではマッチング処理において、定形部と不定形部とを同等に扱っており、このことが上記のような誤検出を発生させる原因であると考えられる。 As described above, the shape of the fixed-shaped portion does not change even when an external force of a given magnitude or less is applied (not easily changed), while the shape of the irregular-shaped portion is likely to change. That is, in most cases, a fixed-shaped part having the same shape appears in both the reference image and the captured image, but on the other hand, it is rare that an irregular-shaped part having the same shape is reflected in the reference image and the captured image. In many cases, the shape of a part of the indeterminate portion is different. Nevertheless, in the above method, the fixed portion and the indeterminate portion are treated equally in the matching process, and this is considered to be the cause of the above-described erroneous detection.
そこで、本実施形態では、定形部の重み付けを不定形部に対して大きく設定する。 Therefore, in the present embodiment, the weight of the fixed part is set larger than that of the irregular part.
すなわち、本実施形態の画像処理装置１００では、定形部及び不定形部を有するワークのＣＡＤモデルデータから得られた複数の参照画像を記憶する参照画像記憶部１１０と、ワークの撮像画像を取得する撮像画像取得部１２０と、ワークの位置姿勢を特定する位置姿勢特定部１３０と、を含む。そして、位置姿勢特定部１３０は、定形部の重み付けに比べて不定形部の重み付けが低い複数の参照画像の各参照画像と、撮像画像とのマッチング処理を行って、ワークの位置姿勢を特定する。 That is, in the image processing apparatus 100 of the present embodiment, the reference image storage unit 110 that stores a plurality of reference images obtained from CAD model data of a work having a fixed part and an indeterminate part, and a captured image of the work are acquired. A captured image acquisition unit 120 and a position / orientation specifying unit 130 that specifies the position and orientation of the workpiece are included. Then, the position / orientation specifying unit 130 specifies the position / orientation of the workpiece by performing matching processing between each of the reference images of the plurality of reference images whose weight of the amorphous part is lower than that of the fixed part and the captured image. .
ここで、ＣＡＤ（Computer Aided Design）とは、コンピューター支援設計とも呼ばれ、コンピューターを用いて設計することを指す。そして、ＣＡＤモデルデータとは、ＣＡＤにおいて設計される設計対象を表すデータのことをいう。 Here, CAD (Computer Aided Design) is also called computer-aided design and refers to designing using a computer. The CAD model data refers to data representing a design target designed in CAD.
また、参照画像とは、ＣＡＤモデルデータから生成される画像であって、撮像画像に映る検出対象の位置姿勢を推定するために用いられる画像のことをいう。 The reference image is an image generated from CAD model data and used for estimating the position and orientation of the detection target shown in the captured image.
さらに、撮像画像とは、撮像部によって検出対象を撮像して得られる画像又は外部の記憶部に記憶された検出対象が映っている画像のことをいう。撮像画像は、ネットワークを介して取得される画像であってもよい。 Furthermore, the captured image refers to an image obtained by imaging a detection target by the imaging unit or an image in which the detection target stored in an external storage unit is shown. The captured image may be an image acquired via a network.
このように本実施形態では、検出対象物の一部が不定形な場合であっても、不定形部分のモデル化を容易にすることが可能であり、不定形部を含む参照画像の学習に膨大な時間（コスト）を掛ける必要もない。 As described above, in this embodiment, even when a part of the detection target is irregular, it is possible to easily model the irregular part, and for learning the reference image including the irregular part. There is no need to spend enormous time (cost).
よって、定形部及び不定形部を有する検出対象物の位置姿勢を推定することが可能となる。 Therefore, it is possible to estimate the position and orientation of the detection object having the fixed part and the irregular part.
また、定形部及び不定形部の重み付けとは、例えばワークの輪郭線に対して設定する重み付け値であってもよい。 Further, the weighting of the fixed part and the irregular part may be, for example, a weighting value set for the contour line of the workpiece.
すなわち、位置姿勢特定部１３０は、定形部の輪郭線の重み付け値に比べて、不定形部の輪郭線の重み付け値が低い各参照画像の輪郭線と、撮像画像の輪郭線とのマッチング処理を行って、ワークの位置姿勢を特定してもよい。 That is, the position / orientation specifying unit 130 performs matching processing between the contour line of each reference image and the contour line of the captured image, in which the weight value of the contour line of the amorphous part is lower than the weight value of the contour part of the fixed part. The position and orientation of the workpiece may be specified by going.
具体例を図６に示す。図６では、定形部の輪郭線ＦＦＬに対する重み付け値として１０を設定し、不定形部の輪郭線ＵＦＬに対する重み付け値として１を設定している。 A specific example is shown in FIG. In FIG. 6, 10 is set as the weighting value for the contour line FFL of the fixed part, and 1 is set as the weighting value for the contour line UFL of the irregular part.
これにより、マッチング処理において、不定形部の輪郭線よりも定形部の輪郭線における一致度を重視して、ワークの位置姿勢を特定すること等が可能になる。 As a result, in the matching process, it is possible to specify the position and orientation of the workpiece by placing more importance on the degree of matching in the contour line of the fixed part than the contour line of the irregular part.
また、前述したように、定形部と不定形部とでは、定形部の方が変形しにくく、参照画像と撮像画像に同じ形状の定形部が映っている可能性が高い。そして、同じ形状の定形部同士のマッチング処理の方が、形状が異なることがある不定形部同士のマッチング処理よりも容易であり、ワークの位置姿勢の検出精度も高い。そのため、ワークが定形部と不定形部の両方を有する場合には、不定形部よりも定形部の方がマッチング処理において重視すべき部分であると言える。 Further, as described above, the fixed-shaped portion and the irregular-shaped portion are less likely to be deformed, and there is a high possibility that the fixed-shaped portion having the same shape is reflected in the reference image and the captured image. The matching process between the fixed parts having the same shape is easier than the matching process between the irregular parts having different shapes, and the position / orientation detection accuracy of the workpiece is high. For this reason, when the work has both a fixed part and an irregular part, it can be said that the fixed part is a part to be emphasized in the matching process rather than the irregular part.
ここで、不定形部内においても、不定形部を把持した時などに変形しにくい領域と、変形しやすい領域が存在することがある。この場合には、定形部と不定形部の例を用いて説明したのと同様の理由で、変形しやすい領域よりも変形しにくい領域の方がマッチング処理において重視すべき領域であると言える。 Here, even in the amorphous part, there may be a region that is difficult to deform when the amorphous part is gripped, and a region that is easily deformed. In this case, for the same reason as described using the example of the fixed part and the irregular part, it can be said that the region that is hard to deform is more important in the matching process than the region that is easily deformed.
そこで、不定形部の領域毎にあらかじめ変形のしやすさが分かっている場合には、あらかじめくびれを想定して図７のように変形したＣＡＤモデルを生成しておいても良い。そして、不定形部において変形しやすい領域の第１の輪郭線と、不定形部において変形しにくい領域の第２の輪郭線とに対して異なる重み付け値を設定してもよい。 Therefore, when the ease of deformation is known in advance for each region of the irregular shaped portion, a CAD model deformed as shown in FIG. 7 may be generated in advance assuming constriction. Then, different weighting values may be set for the first contour line of the region that is easily deformed in the amorphous part and the second contour line of the region that is difficult to deform in the amorphous part.
すなわち、位置姿勢特定部１３０は、不定形部の第１の輪郭線と第２の輪郭線とで重み付け値が異なる各参照画像の輪郭線と、撮像画像の輪郭線とのマッチング処理を行って、ワークの位置姿勢を特定してもよい。 That is, the position / orientation specifying unit 130 performs matching processing between the contour line of each reference image and the contour line of the captured image, in which the weighting values are different between the first contour line and the second contour line of the indeterminate part. The position and orientation of the workpiece may be specified.
ここで、第１の輪郭線とは、例えば不定形部において変形しやすい領域の輪郭線であり、図７の例ではＵＦＬ１に相当する。 Here, the first contour line is, for example, a contour line of a region that is easily deformed in the indeterminate shape portion, and corresponds to UFL1 in the example of FIG.
一方で、第２の輪郭線とは、例えば不定形部において変形しにくい領域の輪郭線であり、図７の例ではＵＦＬ２に相当する。 On the other hand, the second contour line is, for example, a contour line of a region that is not easily deformed in the indefinite shape portion, and corresponds to UFL2 in the example of FIG.
図７の例を詳細に説明すると、不定形部において変形しやすい領域の第１の輪郭線ＵＦＬ１に対する重み付け値を１に設定し、不定形部において変形しにくい領域の第２の輪郭線ＵＦＬ２に対する重み付け値を２に設定している。そして、定形部の輪郭線ＦＦＬに対しては、不定形部の第１の輪郭線ＵＦＬ１及び第２の輪郭線ＵＦＬ２に対して設定した重み付け値よりも大きい値である１０を、重み付け値として設定している。 The example of FIG. 7 will be described in detail. The weighting value for the first contour line UFL1 of the region that is easily deformed in the indeterminate portion is set to 1, and the second contour line UFL2 in the region that is difficult to deform in the indefinite portion The weighting value is set to 2. For the contour line FFL of the fixed part, 10 is set as a weighting value that is larger than the weight value set for the first contour line UFL1 and the second contour line UFL2 of the irregular part. doing.
これにより、例えば不定形部の第１の輪郭線に対する重み付け値よりも、不定形部の第２の輪郭線に対する重み付け値を大きく設定して、ワークの位置姿勢の検出精度をより向上させること等が可能になる。 Thereby, for example, the weighting value for the second contour line of the irregular shape portion is set larger than the weighting value for the first contour line of the irregular shape portion, thereby improving the detection accuracy of the position and orientation of the workpiece. Is possible.
４．処理の詳細
次に、本実施形態の画像処理装置を含むロボット制御システム及びロボットが行う処理の流れを、図８のフローチャートを用いて説明する。このロボット制御システム及びロボットは、上述したＣＡＤマッチング処理を行うことにより、ワークの位置姿勢を検出し、検出した位置姿勢に基づいて、ワークに対して操作を行うものである。
4). Details of Processing Next, the flow of processing performed by the robot control system including the image processing apparatus of the present embodiment and the robot will be described with reference to the flowchart of FIG. The robot control system and the robot detect the position and orientation of the workpiece by performing the CAD matching process described above, and operate the workpiece based on the detected position and orientation.
具体的には、まず参照画像を取得し（Ｓ１００）、次に撮像画像の前処理を行う（Ｓ１１０）。ここで、撮像画像の前処理の流れを図９のフローチャートに示す。 Specifically, first, a reference image is acquired (S100), and then preprocessing of the captured image is performed (S110). Here, the flow of the preprocessing of the captured image is shown in the flowchart of FIG.
まず、ワークを撮像することにより、撮像画像を取得する（Ｓ１１１）。そして、撮像画像において着目領域（ＲＯＩ：Region of Interest）を設定する（Ｓ１１２）。ここで、着目領域は、撮像画像内のワークが映る領域及びワークの周辺領域のことをいう。そして、撮像画像の着目領域内に映るワークに対して輪郭抽出処理を行う（Ｓ１１３）。 First, a captured image is acquired by imaging a workpiece (S111). Then, a region of interest (ROI) is set in the captured image (S112). Here, the region of interest refers to a region where a work is shown in a captured image and a peripheral region of the work. Then, a contour extraction process is performed on the work shown in the focused area of the captured image (S113).
次に、図８のフローチャートに戻り、取得した参照画像と前処理後の撮像画像を用いてＣＡＤマッチングを行う（Ｓ１２０）。そして、対象物（ワーク）が見つかったか否かの判定を行い（Ｓ１３０）、対象物が見つかったと判定した場合には、対象物をハンドリングして（Ｓ１４０）、処理を終了する。一方で、対象物が見つからなかったと判定した場合には、そのまま処理を終了する。 Next, returning to the flowchart of FIG. 8, CAD matching is performed using the acquired reference image and the pre-processed captured image (S120). Then, it is determined whether or not the object (work) has been found (S130). If it is determined that the object has been found, the object is handled (S140), and the process ends. On the other hand, if it is determined that the object has not been found, the process is terminated as it is.
ここで、ステップＳ１００において取得する参照画像の生成処理の流れについて、図１０のフローチャートを用いて説明する。 Here, the flow of the reference image generation process acquired in step S100 will be described with reference to the flowchart of FIG.
まず、ワークの定形部のＣＡＤモデルデータ（３Ｄ）の作成処理を行う（Ｓ２００）。または、ワークの定形部のＣＡＤモデルデータ（３Ｄ）があらかじめ作成されている場合には、ＣＡＤモデルデータの読み込み処理を行う。なお、定形部は形状が変わらないことを前提とするため、一つのワークに対して一つのＣＡＤモデルデータを作成すればよい。 First, CAD model data (3D) creation processing of the fixed part of the work is performed (S200). Alternatively, when CAD model data (3D) of the fixed part of the workpiece has been created in advance, the CAD model data is read. In addition, since it is assumed that the shape of the fixed portion does not change, one CAD model data may be created for one workpiece.
次に、ワークの不定形部のＮ個の代表姿勢に対して、ＣＡＤモデルデータ（３Ｄ）をそれぞれ作成する（Ｓ２０１）。なお、Ｎは任意の正の整数であるが、Ｎ＝２〜１０程度であることが望ましい。 Next, CAD model data (3D) is created for each of the N representative postures of the irregular part of the workpiece (S201). N is an arbitrary positive integer, but it is desirable that N = 2 to 10 or so.
例えば、前述した図４（Ａ）のワークのＣＡＤモデルデータを作成する場合には、図１１（Ａ）のような定形部のＣＡＤモデルＦＦＭのデータを一つ生成し、図１１（Ｂ）のようなＮ個の不定形部のＣＡＤモデルＵＦＭ１〜ＵＦＭＮのデータを生成する。これらのＣＡＤモデルを結合すると、図１１（Ｃ）に示すようなワーク全体を表す第１のＣＡＤモデルＲＰＭ１〜第ＮのＣＡＤモデルＲＰＭＮとなる。 For example, when the CAD model data of the workpiece of FIG. 4A described above is created, one CAD model FFM data of a fixed portion as shown in FIG. 11A is generated, and the CAD model data of FIG. Data of CAD models UFM <b> 1 to UFMN of such N irregular shaped parts is generated. When these CAD models are combined, the first CAD model RPM1 to the Nth CAD model RPMN representing the entire workpiece as shown in FIG.
そして、実際のカメラとワークとの位置関係に基づいて、第１のＣＡＤモデルＲＰＭ１〜第ＮのＣＡＤモデルＲＰＭＮを構成するように、定形部のＣＡＤモデルＦＦＭと不定形部のＣＡＤモデルＵＦＭ１〜ＵＦＭＮとを組み合わせてレンダリングし（Ｓ２０２）、Ｎ枚の２次元画像を得る。さらに以降の処理では、取得したＮ枚の２次元画像に映るワークの各輪郭線に対して重み付け処理を行う。 Then, based on the positional relationship between the actual camera and the workpiece, the CAD model FFM of the fixed part and the CAD models UFM1 to UFMN of the amorphous part are configured so as to constitute the first CAD model RPM1 to the Nth CAD model RPMN. Are combined and rendered (S202) to obtain N two-dimensional images. Further, in the subsequent processing, weighting processing is performed on each contour line of the work shown in the acquired N two-dimensional images.
具体的には、レンダリングした２次元画像から輪郭線を一本、抽出し（Ｓ２０３）、抽出した輪郭線が定形部の輪郭線であるか、不定形部の輪郭線であるかを判断する（Ｓ２０４）。 Specifically, one contour line is extracted from the rendered two-dimensional image (S203), and it is determined whether the extracted contour line is the contour line of the fixed part or the contour line of the irregular part ( S204).
そして、選択した輪郭線が定形部の輪郭線であると判断した場合には、輪郭線の線幅を１に設定し、画素輝度を２５５に設定する（Ｓ２０５）。 When it is determined that the selected contour line is the contour line of the fixed part, the line width of the contour line is set to 1 and the pixel luminance is set to 255 (S205).
一方で、選択した輪郭線が不定形部の輪郭線であると判断した場合には、輪郭線の線幅をＮ（Ｎは不定形部のＣＡＤモデルの数）に設定し、画素輝度を２５５／Ｎに設定する（Ｓ２０６）。なお、ここでは、画素輝度をそのまま重み付け値として用いて、輪郭線をグレイスケール画像として描画する。また、画素輝度は０〜２５５の範囲を取り得る。すなわち、画素輝度が最大値である２５５に近づくほど大きな重み付けをしていることになり、同時に輪郭線の色が黒色から白色に近づく。 On the other hand, when it is determined that the selected contour line is the contour line of the amorphous part, the line width of the contour line is set to N (N is the number of CAD models of the irregular part), and the pixel luminance is 255. / N is set (S206). Here, the pixel luminance is directly used as a weighting value, and the contour line is drawn as a gray scale image. Further, the pixel luminance can take a range of 0 to 255. That is, as the pixel luminance approaches 255, which is the maximum value, weighting is increased, and at the same time, the color of the contour line approaches from black to white.
次に、全ての輪郭線に対してステップＳ２０４〜Ｓ２０６の処理を行ったか否かを判定し（Ｓ２０７）、全ての輪郭線に対してステップＳ２０４〜Ｓ２０６の処理を行っていないと判定した場合には、ステップＳ２０４の処理に戻る。 Next, it is determined whether or not the processing of steps S204 to S206 has been performed on all the contour lines (S207), and it is determined that the processing of steps S204 to S206 has not been performed on all the contour lines. Returns to the process of step S204.
一方で、全ての輪郭線に対してステップＳ２０４〜Ｓ２０６の処理を行ったと判定した場合には、第１のＣＡＤモデルＲＰＭ１〜第ＮのＣＡＤモデルＲＰＭＮの全てに対してステップＳ２０４〜Ｓ２０７の処理を行ったか否かを判定する（Ｓ２０８）。第１のＣＡＤモデルＲＰＭ１〜第ＮのＣＡＤモデルＲＰＭＮの全てに対してステップＳ２０２〜Ｓ２０７の処理を行っていないと判定した場合には、ステップＳ２０２の処理に戻る。 On the other hand, if it is determined that the processes in steps S204 to S206 have been performed on all the contour lines, the processes in steps S204 to S207 are performed on all of the first CAD model RPM1 to the Nth CAD model RPMN. It is determined whether or not it has been performed (S208). If it is determined that the processes of steps S202 to S207 are not performed on all of the first CAD model RPM1 to the Nth CAD model RPMN, the process returns to the process of step S202.
一方で、第１のＣＡＤモデルＲＰＭ１〜第ＮのＣＡＤモデルＲＰＭＮの全てに対してステップＳ２０２〜Ｓ２０７の処理を行ったと判定した場合には、図１２に示すような第１の画像ＯＩＭ１〜第Ｎの画像ＯＩＭＮが生成できている。そして、第１の画像ＯＩＭ１〜第Ｎの画像ＯＩＭＮの重ね合わせ処理を行い、図１３に示すような参照画像ＲＥＩＭを生成する（Ｓ２０９）。 On the other hand, when it is determined that the processes of steps S202 to S207 have been performed on all of the first CAD model RPM1 to the Nth CAD model RPMN, the first images OIM1 to NN as shown in FIG. The image OIMN can be generated. Then, the first image OIM1 to the Nth image OIMN are overlapped to generate a reference image REIM as shown in FIG. 13 (S209).
具体的には、第１の画像ＯＩＭ１〜第Ｎの画像ＯＩＭＮ間で対応する位置にある画素の画素値の平均処理を行って、平均値を求め、求めた平均値を参照画像での画素値とする。 Specifically, the pixel values of the pixels at corresponding positions between the first image OIM1 to the Nth image OIMN are averaged to obtain an average value, and the obtained average value is the pixel value in the reference image. And
この時、単純な平均処理を行うのではなく、第１のＣＡＤモデルＲＰＭ１〜第ＮのＣＡＤモデルＲＰＭＮの予想される出現頻度に応じて、加重平均処理を行ってもよい。加重平均処理を行う場合の参照画像の各画素値Ｐ（ｘ，ｙ）は、式（１）により表される。 At this time, instead of performing a simple averaging process, a weighted averaging process may be performed according to the expected frequency of appearance of the first CAD model RPM1 to the Nth CAD model RPMN. Each pixel value P (x, y) of the reference image when performing the weighted average process is expressed by Expression (1).
なお、ｗｉは、各ＣＡＤモデルの出現頻度、言い換えれば不定形部がその形状になる頻度の度合いを表す。そして、出現頻度が高いほど、ｗｉは大きくなる。例えば、図１１（Ｃ）では、第１のＣＡＤモデルＲＰＭ１の出現頻度がｗ１＝０．４であって、第２のＣＡＤモデルＲＰＭ２の出現頻度がｗ２＝０．３であって、第３のＣＡＤモデルＲＰＭ３の出現頻度がｗ３＝０．２であって、第ＮのＣＡＤモデルＲＰＭＮの出現頻度がｗＮ＝０．１である。 Note that w i represents the frequency of appearance of each CAD model, in other words, the degree of frequency at which the indeterminate portion takes its shape. And the higher the appearance frequency, the larger w i . For example, in FIG. 11C, the appearance frequency of the first CAD model RPM1 is w 1 = 0.4, the appearance frequency of the second CAD model RPM2 is w 2 = 0.3, The appearance frequency of the third CAD model RPM3 is w 3 = 0.2, and the appearance frequency of the Nth CAD model RPMN is w N = 0.1.
ただし、式（１）において出現頻度による重み付けを行わない場合には、ｗｉ＝１／Ｎとする。この場合には、前述したように各画像の画素値を単純平均した値が、参照画像の画素値として算出される。 However, if weighting by appearance frequency is not performed in Equation (1), w i = 1 / N. In this case, as described above, a value obtained by simply averaging the pixel values of each image is calculated as the pixel value of the reference image.
このようにして生成した参照画像は参照画像記憶部に記憶され、前述した図８のステップＳ１００において取得される。 The reference image generated in this way is stored in the reference image storage unit, and is acquired in step S100 of FIG. 8 described above.
次に、図８のステップＳ１２０のＣＡＤマッチングの詳細な処理の流れを、図１４のフローチャートを用いて説明する。 Next, the detailed processing flow of CAD matching in step S120 of FIG. 8 will be described with reference to the flowchart of FIG.
まず、例えば図１５に示すような撮像画像ＣＩＭを取得する（Ｓ１２１）。なお、ここで取得する撮像画像ＣＩＭは、図１５に示すような二値化処理などの前処理後の画像である。 First, for example, a captured image CIM as shown in FIG. 15 is acquired (S121). The captured image CIM acquired here is an image after preprocessing such as binarization processing as shown in FIG.
そして、参照画像ＲＥＩＭを撮像画像ＣＩＭ内の初期位置へ置く（Ｓ１２２）。 Then, the reference image REIM is placed at the initial position in the captured image CIM (S122).
次に、参照画像ＲＥＩＭ上の任意の一点を代表点Ｇ（Ｇｘ，Ｇｙ）として定める。代表点Ｇ（Ｇｘ，Ｇｙ）は、例えば画像の重心や画像の中心、画像の左上隅、Ｐ（ｘ，ｙ）が０でない最も左上の画素などとする。 Next, an arbitrary point on the reference image REIM is determined as a representative point G (G x , G y ). The representative point G (G x , G y ) is, for example, the center of gravity of the image, the center of the image, the upper left corner of the image, or the upper left pixel where P (x, y) is not 0.
次に、下式（２）及び下式（３）に従って、Ｐ（ｘ，ｙ）の座標を代表点Ｇ（Ｇｘ，Ｇｙ）からの相対座標に書き換え、Ｐ（Ｐｘ，Ｐｙ）とする。 Next, according to the following formulas (2) and (3), the coordinates of P (x, y) are rewritten to the relative coordinates from the representative point G (G x , G y ), and P (P x , P y ) And
そして、図１５の矢印ＤＲのように参照画像ＲＥＩＭを撮像画像ＣＩＭ上で移動させるラスタスキャンを行いながら、スコア（得票値）Ｓ（ｘ,ｙ,θ）を計算する（Ｓ１２３）。スコアＳ（ｘ,ｙ,θ）は、例えば下式（４）などにより求める。 Then, a score (voting value) S (x, y, θ) is calculated while performing a raster scan for moving the reference image REIM on the captured image CIM as indicated by an arrow DR in FIG. 15 (S123). The score S (x, y, θ) is obtained by the following equation (4), for example.
なお、図１６に示すように、式（４）において、Ｈは参照画像ＲＥＩＭの高さであり、Ｗは参照画像ＲＥＩＭの幅である。また、Ｃ（Ｃｘ，Ｃｙ）は撮像画像ＣＩＭの画素値であり、Ｃｘ及びＣｙは、撮像画像ＣＩＭにおける代表点Ｇ（Ｇｘ，Ｇｙ）を基準とする相対座標である。 Note that, as shown in FIG. 16, in Expression (4), H is the height of the reference image REIM, and W is the width of the reference image REIM. C (C x , C y ) is a pixel value of the captured image CIM, and C x and C y are relative coordinates based on the representative point G (G x , G y ) in the captured image CIM.
式（４）で求めたスコアＳ（ｘ,ｙ,θ）は、参照画像ＲＥＩＭと撮像画像ＣＩＭに映るワークＷＫが重なれば重なるほど、大きな値となる。 The score S (x, y, θ) obtained by Expression (4) becomes a larger value as the work WK reflected in the reference image REIM and the captured image CIM overlap.
具体例を図１７（Ａ）〜図１７（Ｆ）に示す。図１７（Ａ）の撮像画像ＣＩＭ１と図１７（Ｂ）の参照画像ＲＥＩＭ１を重ね合わせた場合のマッチング結果ＭＲ１では、図１７（Ｃ）に示す白い部分でしかマッチングしていないことが分かる。一方で、図１７（Ｄ）の撮像画像ＣＩＭ２と図１７（Ｅ）の参照画像ＲＥＩＭ２を重ね合わせた場合には、マッチング結果ＭＲ２は図１７（Ｆ）のようになり、図１７（Ｃ）のマッチング結果ＭＲ１よりもマッチングしている部分（白い部分）が増えている。この時、マッチング結果ＭＲ２におけるスコアＳ（ｘ,ｙ,θ）の方が、マッチング結果ＭＲ１におけるスコアＳ（ｘ,ｙ,θ）よりも大きくなる。 Specific examples are shown in FIGS. 17A to 17F. In the matching result MR1 when the captured image CIM1 in FIG. 17A and the reference image REIM1 in FIG. 17B are overlaid, it can be seen that only the white portion shown in FIG. On the other hand, when the captured image CIM2 in FIG. 17D and the reference image REIM2 in FIG. 17E are overlapped, the matching result MR2 is as shown in FIG. 17F, and FIG. The matching portion (white portion) is larger than the matching result MR1. At this time, the score S (x, y, θ) in the matching result MR2 is larger than the score S (x, y, θ) in the matching result MR1.
そして、ステップＳ１２３の処理を全てのｘ、ｙに対して行い（Ｓ１２４、Ｓ１２５）、さらに参照画像をθだけ回転させて、ステップＳ１２３の処理を繰り返す（Ｓ１２６）。ここで、図１８に示すように、θは撮像画像ＣＩＭに対する参照画像ＲＥＩＭの任意の回転角である。なお、ｘ方向への移動、ｙ方向への移動、θの回転の３つの順番は問わない。 Then, the process of step S123 is performed for all x and y (S124, S125), the reference image is further rotated by θ, and the process of step S123 is repeated (S126). Here, as shown in FIG. 18, θ is an arbitrary rotation angle of the reference image REIM with respect to the captured image CIM. The three orders of movement in the x direction, movement in the y direction, and rotation of θ do not matter.
最後に、スコアＳ（ｘ,ｙ,θ）が最大となるｘ,ｙ,θをワークＷＫの位置姿勢として求めて（Ｓ１２７）、処理を終了する。 Finally, x, y, θ that maximizes the score S (x, y, θ) is obtained as the position / posture of the workpiece WK (S127), and the process ends.
以上のように、位置姿勢特定部１３０は、定形部の輪郭線の太さと不定形部の輪郭線の太さが異なる各参照画像の輪郭線と、撮像画像の輪郭線とのマッチング処理を行ってもよい。 As described above, the position / orientation specifying unit 130 performs matching processing between the contour line of each reference image and the contour line of the captured image, in which the thickness of the contour line of the fixed part and the contour line of the irregular part are different. May be.
これにより、不定形部に比べて、定形部の位置が一致しているか否かの判定をより厳しくすること等が可能になる。 As a result, it is possible to make the determination of whether or not the positions of the fixed-shaped portions coincide with each other as compared with the irregular-shaped portions.
また、位置姿勢特定部１３０は、重み付け値が大きいほど輪郭線が細い各参照画像の輪郭線と、撮像画像の輪郭線とのマッチング処理を行ってもよい。 Further, the position / orientation specifying unit 130 may perform a matching process between the contour line of each reference image and the contour line of the captured image, which are thinner as the weighting value is larger.
これにより、大きな重み付け値を設定すればするほど、その輪郭線が一致しているか否かの判定をより厳しくすること等が可能になる。つまり、小さな重み付け値を設定した輪郭線よりも、大きな重み付け値を設定した輪郭線が一致しているか否かの判定をより厳しくすること等が可能になる。 As a result, the larger the weighting value is set, the more strict it is to determine whether or not the contour lines match. That is, it is possible to make it more strict to determine whether or not the contour line set with a large weight value matches the contour line set with a small weight value.
例えば、大きな重み付け値を設定する定形部の輪郭線を細くし、小さな重み付け値を設定する不定形部の輪郭線を太くしてもよい。 For example, the contour line of the fixed part for setting a large weighting value may be thinned, and the contour line of the irregular part for setting a small weighting value may be thickened.
その結果、定形部の位置が少しでもずれている時には式（４）のスコアが大きくならないが、定形部の位置が一致している場合には、式（４）のスコアが急激に大きくなる。一方で、不定形部の位置は多少ずれていても、参照画像の不定形部の輪郭線を太くしているため、一致しているとみなすことができ、式（４）のスコアが大幅に小さくなることはない。 As a result, the score of equation (4) does not increase when the position of the fixed shape portion is shifted even a little, but when the position of the fixed shape portion matches, the score of equation (4) increases rapidly. On the other hand, even if the position of the irregular shape part is slightly deviated, the contour line of the irregular shape part of the reference image is thickened, so that it can be regarded as matching, and the score of Expression (4) is greatly increased. It will never get smaller.
また、位置姿勢特定部１３０は、輪郭の形状が異なるワークを表す第１の画像〜第Ｎ（Ｎは２以上の整数）の画像に基づいて生成された各参照画像の輪郭線と、撮像画像の輪郭線とのマッチング処理を行って、ワークの位置姿勢を特定してもよい。 In addition, the position / orientation specifying unit 130 includes a contour line of each reference image generated based on images of a first image to an Nth image (N is an integer of 2 or more) representing a workpiece having a different contour shape, and a captured image. The position and orientation of the workpiece may be specified by performing matching processing with the contour line.
前述したように、例えば第１の画像〜第Ｎ（Ｎは２以上の整数）の画像は、図１２の画像ＯＩＭ１〜ＯＩＭＮである。 As described above, for example, the first image to the Nth image (N is an integer of 2 or more) are the images OIM1 to OIMN in FIG.
これにより、１枚の参照画像と撮像画像のマッチング処理を行うだけで、不定形部が取り得る複数の異なる形状のいずれかと、撮像画像に映るワークの不定形部が一致しているか否かを判定すること等が可能になる。よって、不定形部の形状が異なる場合のそれぞれにおいて、マッチング処理を行う場合よりも、処理量を削減すること等ができる。 As a result, only by performing a matching process between one reference image and a captured image, it is determined whether any of a plurality of different shapes that can be taken by the indeterminate part matches the indeterminate part of the work shown in the taken image. It is possible to make a judgment. Therefore, in each case where the shapes of the irregular shaped parts are different, the processing amount can be reduced as compared with the case where the matching process is performed.
また、位置姿勢特定部１３０は、不定形部の形状が異なる複数のＣＡＤモデルデータから生成された各参照画像の輪郭線と、撮像画像の輪郭線とのマッチング処理を行ってもよい。 Further, the position / orientation specifying unit 130 may perform a matching process between the contour line of each reference image generated from a plurality of CAD model data having different shapes of the indeterminate part and the contour line of the captured image.
これにより、第１のＣＡＤモデルデータ〜第ＮのＣＡＤモデルデータから、第１の画像〜第Ｎの画像を生成し、第１の画像〜第Ｎの画像から参照画像を生成すること等が可能になる。 Accordingly, it is possible to generate the first image to the Nth image from the first CAD model data to the Nth CAD model data, and to generate the reference image from the first image to the Nth image. become.
また、各参照画像は、第１の画像〜第Ｎの画像を加重平均して生成された画像であってもよい。 Each reference image may be an image generated by weighted averaging of the first image to the Nth image.
これにより、第１の画像〜第Ｎの画像のそれぞれにおいて、撮像画像と一致しているか否かの判定の厳しさを調整すること等が可能になる。 Accordingly, it is possible to adjust the severity of determination as to whether or not each of the first image to the Nth image matches the captured image.
具体的には、第１の画像〜第Ｎの画像の各画像には、各画像に映る輪郭により表される形状をしたワークの出現頻度に対応する重み付け値が設定されていてもよい。そして、各参照画像は、第１の画像〜第Ｎの画像の各画像に設定された重み付け値に基づいて、第１の画像〜第Ｎの画像を加重平均して生成された画像であってもよい。 Specifically, for each of the first image to the Nth image, a weighting value corresponding to the appearance frequency of a work having a shape represented by an outline shown in each image may be set. Each reference image is an image generated by weighted averaging the first image to the Nth image based on the weighting values set for the first image to the Nth image. Also good.
これにより、例えば頻繁に出現する形状の画像に対しては、一致しているとより判定しやすくすること等が可能になる。 As a result, for example, it is possible to make it easier to determine that an image having a frequently appearing shape matches.
また、参照画像記憶部１１０は、複数の参照画像として、第１の視点から見たワークのＣＡＤモデルを表す第１の参照画像と、第１の視点とは異なる第２の視点から見たＣＡＤモデルを表す第２の参照画像と、を記憶してもよい。 The reference image storage unit 110 also includes a first reference image representing a CAD model of the work viewed from the first viewpoint as a plurality of reference images, and a CAD viewed from a second viewpoint different from the first viewpoint. A second reference image representing the model may be stored.
これにより、位置姿勢の検出精度をより向上させること等が可能になる。 Thereby, it is possible to further improve the position and orientation detection accuracy.
また、参照画像記憶部１１０は、重み付け値として輝度値が設定された参照画像を記憶してもよい。そして、参照画像は、定形部に比べて低い輝度値が不定形部に設定された画像であってもよい。 Further, the reference image storage unit 110 may store a reference image in which a luminance value is set as a weighting value. The reference image may be an image in which a lower luminance value is set in the amorphous part than in the fixed part.
これにより、参照画像としてグレイスケール画像を生成すること等が可能になる。 This makes it possible to generate a grayscale image as a reference image.
なお、本実施形態の画像処理装置１００、ロボット制御システム２００及びロボット３００等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサーがプログラムを実行することで、本実施形態の画像処理装置１００、ロボット制御システム２００及びロボット３００等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶媒体（コンピューターにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリー（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサーは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピューター（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピューターに実行させるためのプログラム）が記憶される。 Note that the image processing apparatus 100, the robot control system 200, the robot 300, and the like of the present embodiment may realize part or most of the processing by a program. In this case, the image processing apparatus 100, the robot control system 200, the robot 300, and the like of the present embodiment are realized by a processor such as a CPU executing a program. Specifically, a program stored in the information storage medium is read, and a processor such as a CPU executes the read program. Here, the information storage medium (computer-readable medium) stores programs, data, and the like, and functions as an optical disk (DVD, CD, etc.), HDD (hard disk drive), or memory (card type). It can be realized by memory, ROM, etc. A processor such as a CPU performs various processes according to the present embodiment based on a program (data) stored in the information storage medium. That is, in the information storage medium, a program for causing a computer (an apparatus including an operation unit, a processing unit, a storage unit, and an output unit) to function as each unit of the present embodiment (a program for causing the computer to execute processing of each unit) Is memorized.
以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、画像処理装置、ロボット制御システム及びロボット等の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。 Although the present embodiment has been described in detail as described above, it will be easily understood by those skilled in the art that many modifications can be made without departing from the novel matters and effects of the present invention. Accordingly, all such modifications are intended to be included in the scope of the present invention. For example, a term described at least once together with a different term having a broader meaning or the same meaning in the specification or the drawings can be replaced with the different term in any part of the specification or the drawings. The configurations and operations of the image processing apparatus, the robot control system, the robot, and the like are not limited to those described in this embodiment, and various modifications can be made.
１００ 画像処理装置、１１０ 参照画像記憶部、１２０ 撮像画像取得部、
１３０ 位置姿勢特定部、２００ ロボット制御システム、２１０ ロボット制御部、
３００ ロボット（ロボット本体）
100 image processing apparatus, 110 reference image storage unit, 120 captured image acquisition unit,
130 position and orientation identification unit, 200 robot control system, 210 robot control unit,
300 Robot (Robot body)
Claims (16)
前記ワークの撮像画像を取得する撮像画像取得部と、
前記ワークの位置姿勢を特定する位置姿勢特定部と、
を含み、
前記位置姿勢特定部は、
前記定形部の重み付けに比べて前記不定形部の重み付けが低い前記複数の参照画像の各参照画像と、前記撮像画像とのマッチング処理を行って、前記ワークの前記位置姿勢を特定することを特徴とする画像処理装置。 A reference image storage unit for storing a plurality of reference images obtained from CAD (Computer Aided Design) model data of a work having a fixed part and an indefinite part;
A captured image acquisition unit that acquires a captured image of the workpiece;
A position and orientation specifying unit for specifying the position and orientation of the workpiece;
Including
The position and orientation specifying unit
The position and orientation of the workpiece is specified by performing a matching process between each of the reference images of the plurality of reference images and the captured image, the weight of the irregular portion being lower than the weight of the regular portion. An image processing apparatus.
前記位置姿勢特定部は、
前記定形部の輪郭線の重み付け値に比べて、前記不定形部の輪郭線の重み付け値が低い前記各参照画像の輪郭線と、前記撮像画像の輪郭線との前記マッチング処理を行って、前記ワークの前記位置姿勢を特定することを特徴とする画像処理装置。 In claim 1,
The position and orientation specifying unit
Performing the matching process between the contour line of each reference image and the contour line of the captured image in which the weight value of the contour line of the irregular part is lower than the weight value of the contour line of the fixed part, An image processing apparatus that identifies the position and orientation of a workpiece.
前記位置姿勢特定部は、
前記不定形部の第１の輪郭線と第２の輪郭線とで重み付け値が異なる前記各参照画像の輪郭線と、前記撮像画像の輪郭線との前記マッチング処理を行って、前記ワークの前記位置姿勢を特定することを特徴とする画像処理装置。 In claim 1 or 2,
The position and orientation specifying unit
Performing the matching process between the contour lines of the reference images and the contour lines of the captured image, each having a different weighting value between the first contour line and the second contour line of the irregular shape part, and An image processing apparatus characterized by specifying a position and orientation.
前記位置姿勢特定部は、
前記定形部の前記輪郭線の太さと前記不定形部の前記輪郭線の太さが異なる前記各参照画像の前記輪郭線と、前記撮像画像の前記輪郭線との前記マッチング処理を行うことを特徴とする画像処理装置。 In claim 2 or 3,
The position and orientation specifying unit
The matching process between the contour line of each reference image and the contour line of the captured image, in which the thickness of the contour line of the fixed shape part and the thickness of the contour line of the irregular shape part are different, is performed. An image processing apparatus.
前記位置姿勢特定部は、
前記重み付け値が大きいほど前記輪郭線が細い前記各参照画像の前記輪郭線と、前記撮像画像の前記輪郭線との前記マッチング処理を行うことを特徴とする画像処理装置。 In any of claims 2 to 4,
The position and orientation specifying unit
An image processing apparatus that performs the matching process between the contour line of each reference image and the contour line of the captured image that are thinner as the weighting value is larger.
前記位置姿勢特定部は、
輪郭の形状が異なる前記ワークを表す第１の画像〜第Ｎ（Ｎは２以上の整数）の画像に基づいて生成された前記各参照画像の輪郭線と、前記撮像画像の輪郭線との前記マッチング処理を行って、前記ワークの前記位置姿勢を特定することを特徴とする画像処理装置。 In any one of Claims 1 thru | or 5,
The position and orientation specifying unit
The contour line of each reference image generated based on the first image to the Nth image (N is an integer of 2 or more) representing the workpiece having different contour shapes, and the contour line of the captured image An image processing apparatus that performs a matching process to identify the position and orientation of the workpiece.
前記位置姿勢特定部は、
前記不定形部の形状が異なる複数のＣＡＤモデルデータから生成された前記各参照画像の前記輪郭線と、前記撮像画像の前記輪郭線との前記マッチング処理を行うことを特徴とする画像処理装置。 In claim 6,
The position and orientation specifying unit
An image processing apparatus that performs the matching process between the contour line of each reference image generated from a plurality of CAD model data having different shapes of the irregular shape part and the contour line of the captured image.
前記各参照画像は、
前記第１の画像〜前記第Ｎの画像を加重平均して生成された画像であることを特徴とする画像処理装置。 In claim 6 or 7,
Each of the reference images is
An image processing apparatus, wherein the image processing apparatus is an image generated by weighted averaging of the first image to the Nth image.
前記第１の画像〜前記第Ｎの画像の各画像には、
前記各画像に映る輪郭により表される形状をした前記ワークの出現頻度に対応する重み付け値が設定されており、
前記各参照画像は、
前記第１の画像〜前記第Ｎの画像の前記各画像に設定された重み付け値に基づいて、前記第１の画像〜前記第Ｎの画像を加重平均して生成された画像であることを特徴とする画像処理装置。 In claim 8,
In each of the first image to the Nth image,
A weighting value corresponding to the appearance frequency of the workpiece having a shape represented by the contour reflected in each image is set,
Each of the reference images is
The first image to the Nth image are images generated by weighted averaging of the first image to the Nth image based on the weighting values set for the respective images of the first image to the Nth image. An image processing apparatus.
前記参照画像記憶部は、
前記複数の参照画像として、第１の視点から見た前記ワークのＣＡＤモデルを表す第１の参照画像と、前記第１の視点とは異なる第２の視点から見た前記ＣＡＤモデルを表す第２の参照画像と、を記憶することを特徴とする画像処理装置。 In any one of Claims 1 thru | or 9,
The reference image storage unit
As the plurality of reference images, a first reference image representing a CAD model of the workpiece viewed from a first viewpoint, and a second reference representing the CAD model viewed from a second viewpoint different from the first viewpoint. And a reference image of the image processing apparatus.
前記参照画像記憶部は、
重み付け値として輝度値が設定された前記参照画像を記憶し、
前記参照画像は、
前記定形部に比べて低い前記輝度値が前記不定形部に設定された画像であることを特徴とする画像処理装置。 In any one of Claims 1 thru | or 10.
The reference image storage unit
Storing the reference image in which a luminance value is set as a weighting value;
The reference image is
An image processing apparatus, wherein the luminance value is lower than that of the fixed-shaped portion, and the image is set in the irregular-shaped portion.
前記ワークの前記位置姿勢の特定結果に基づいて、ロボットの各部を制御するロボット制御部と、
を含むロボット制御システム。 The image processing apparatus according to any one of claims 1 to 11,
A robot controller that controls each part of the robot based on the result of specifying the position and orientation of the workpiece;
Including robot control system.
前記ワークの撮像画像を取得する処理を行い、
前記定形部の重み付けに比べて前記不定形部の重み付けが低い前記複数の参照画像の各参照画像と、前記撮像画像とのマッチング処理を行い、
前記ワークの前記位置姿勢を特定する処理を行い、
前記ワークの前記位置姿勢の特定結果に基づいて、ロボットの各部を制御する処理を行うことを特徴とするロボット。 A process of storing a plurality of reference images obtained from CAD (Computer Aided Design) model data of a work having a fixed part and an irregular part,
A process for obtaining a captured image of the workpiece is performed,
A matching process is performed between each of the reference images of the plurality of reference images and the captured image in which the weight of the amorphous part is lower than the weight of the fixed part,
A process for identifying the position and orientation of the workpiece;
A robot that performs processing for controlling each part of the robot based on a result of specifying the position and orientation of the workpiece.
前記ワークの撮像画像を取得する撮像画像取得部と、
前記ワークの位置姿勢を特定する位置姿勢特定部として、
コンピューターを機能させ、
前記位置姿勢特定部は、
前記定形部の重み付けに比べて前記不定形部の重み付けが低い前記複数の参照画像の各参照画像と、前記撮像画像とのマッチング処理を行って、前記ワークの前記位置姿勢を特定することを特徴とするプログラム。 A reference image storage unit for storing a plurality of reference images obtained from CAD (Computer Aided Design) model data of a work having a fixed part and an indefinite part;
A captured image acquisition unit that acquires a captured image of the workpiece;
As a position and orientation identification unit that identifies the position and orientation of the workpiece,
Make the computer work,
The position and orientation specifying unit
The position and orientation of the workpiece is specified by performing a matching process between each of the reference images of the plurality of reference images and the captured image, the weight of the irregular portion being lower than the weight of the regular portion. Program.
前記ワークの撮像画像を取得する処理を行い、
前記定形部の重み付けに比べて前記不定形部の重み付けが低い前記複数の参照画像の各参照画像と、前記撮像画像とのマッチング処理を行い、
前記ワークの前記位置姿勢を特定する処理を行うことを特徴とする画像処理方法。 A process of storing a plurality of reference images obtained from CAD (Computer Aided Design) model data of a work having a fixed part and an irregular part,
A process for obtaining a captured image of the workpiece is performed,
A matching process is performed between each of the reference images of the plurality of reference images and the captured image in which the weight of the amorphous part is lower than the weight of the fixed part,
An image processing method comprising performing processing for specifying the position and orientation of the workpiece.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013036772A JP2014164641A (en) | 2013-02-27 | 2013-02-27 | Image processing apparatus, robot control system, robot, program, and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013036772A JP2014164641A (en) | 2013-02-27 | 2013-02-27 | Image processing apparatus, robot control system, robot, program, and image processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014164641A true JP2014164641A (en) | 2014-09-08 |
Family
ID=51615167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013036772A Withdrawn JP2014164641A (en) | 2013-02-27 | 2013-02-27 | Image processing apparatus, robot control system, robot, program, and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014164641A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021117117A1 (en) * | 2019-12-10 | 2021-06-17 | 三菱電機株式会社 | Model generation device and picking robot |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008282089A (en) * | 2007-05-08 | 2008-11-20 | Omron Corp | Person attribute estimation device |
| JP2009129237A (en) * | 2007-11-26 | 2009-06-11 | Toshiba Corp | Image processing apparatus and its method |
| JP2011090450A (en) * | 2009-10-21 | 2011-05-06 | Toyota Motor Corp | Object detector |
| JP2012069084A (en) * | 2010-08-27 | 2012-04-05 | Hitachi High-Technologies Corp | Weighted template matching execution device and program |
| JP2012166279A (en) * | 2011-02-10 | 2012-09-06 | Seiko Epson Corp | Robot apparatus, position detecting device, position detecting program, and position detecting method |
-
2013
- 2013-02-27 JP JP2013036772A patent/JP2014164641A/en not_active Withdrawn
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008282089A (en) * | 2007-05-08 | 2008-11-20 | Omron Corp | Person attribute estimation device |
| JP2009129237A (en) * | 2007-11-26 | 2009-06-11 | Toshiba Corp | Image processing apparatus and its method |
| JP2011090450A (en) * | 2009-10-21 | 2011-05-06 | Toyota Motor Corp | Object detector |
| JP2012069084A (en) * | 2010-08-27 | 2012-04-05 | Hitachi High-Technologies Corp | Weighted template matching execution device and program |
| JP2012166279A (en) * | 2011-02-10 | 2012-09-06 | Seiko Epson Corp | Robot apparatus, position detecting device, position detecting program, and position detecting method |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021117117A1 (en) * | 2019-12-10 | 2021-06-17 | 三菱電機株式会社 | Model generation device and picking robot |
| JPWO2021117117A1 (en) * | 2019-12-10 | 2021-06-17 | ||
| JP7162760B2 (en) | 2019-12-10 | 2022-10-28 | 三菱電機株式会社 | Model generator and picking robot |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11400598B2 (en) | Information processing apparatus, method, and robot system | |
| JP4825253B2 (en) | System and method for deformable object recognition | |
| JP5328979B2 (en) | Object recognition method, object recognition device, autonomous mobile robot | |
| JP2021062978A5 (en) | ||
| JP6397354B2 (en) | Human area detection apparatus, method and program | |
| CN110246127A (en) | Workpiece identification and localization method and system, sorting system based on depth camera | |
| JP6054831B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP6983828B2 (en) | Systems and methods for simultaneously considering edges and normals in image features with a vision system | |
| US20180247150A1 (en) | Information processing device, information processing method, and article manufacturing method | |
| JPWO2009028489A1 (en) | Object detection method, object detection apparatus, and robot system | |
| JP6503153B2 (en) | System and method for automatically selecting a 3D alignment algorithm in a vision system | |
| JP6836561B2 (en) | Image processing device and image processing method | |
| JP2020197978A (en) | Object detection device, object gripping system, object detection method, and object detection program | |
| JP2014029664A (en) | Image comparison range generation method, positional orientation detection method, image comparison range generation device, positional orientation detection device, robot, robot system, image comparison range generation program and positional orientation detection program | |
| JP2017201276A (en) | Information processor, information processing method, program, system, and article manufacturing method | |
| JP2018022247A (en) | Information processing apparatus and control method thereof | |
| JP2010184300A (en) | Attitude changing device and attitude changing method | |
| US20230150142A1 (en) | Device and method for training a machine learning model for generating descriptor images for images of objects | |
| JP2015085434A (en) | Robot, image processing method and robot system | |
| JP2014164641A (en) | Image processing apparatus, robot control system, robot, program, and image processing method | |
| JP2008085491A (en) | Image processor, and image processing method thereof | |
| JP7161857B2 (en) | Information processing device, information processing method, and program | |
| JP6719925B2 (en) | Information processing device, information processing method, and program | |
| JP2015160256A (en) | Robot system, processor and control method | |
| JP6179267B2 (en) | Image processing apparatus, robot control system, image processing method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150109 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160218 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160610 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20160624 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161115 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20161129 |