JP2000304509A - Method and device for specifying object - Google Patents
Method and device for specifying objectInfo
- Publication number
- JP2000304509A JP2000304509A JP11113170A JP11317099A JP2000304509A JP 2000304509 A JP2000304509 A JP 2000304509A JP 11113170 A JP11113170 A JP 11113170A JP 11317099 A JP11317099 A JP 11317099A JP 2000304509 A JP2000304509 A JP 2000304509A
- Authority
- JP
- Japan
- Prior art keywords
- information
- objects
- specifying
- state
- recognition target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、ロボット装置など
に設けられた把持手段にて把持する際に把持対象物体を
特定するため、任意の載置状態にある複数の同一外形の
認識対象物体から１つの物体を特定する物体特定方法に
関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for identifying an object to be grasped when grasping by a grasping means provided in a robot apparatus or the like. The present invention relates to an object specifying method for specifying one object.
【０００２】[0002]
【従来の技術】従来、例えばコンテナ内にバラ積みされ
た部品を、ロボット装置に設けられた把持手段にてフレ
キシブルにピッキングするときには、多くの場合、画像
処理手法を用いて複数の認識対象物体の３次元位置・姿
勢計測を行い、その把持手段にてビンピッキングする方
法が採用されている。したがって、この３次元位置・姿
勢を計測して１つの物体を特定する物体特定プロセスに
おいては、把持すべき物体を的確に決定するとともに、
その位置・姿勢を正確に把持手段へ伝達することが重要
となる。2. Description of the Related Art Conventionally, for example, when parts stacked in a container are flexibly picked by a gripping means provided in a robot device, in many cases, a plurality of objects to be recognized are recognized by using an image processing method. A method of performing three-dimensional position / posture measurement and bin picking by the gripping means is adopted. Therefore, in the object identification process of identifying one object by measuring the three-dimensional position and orientation, the object to be grasped is accurately determined,
It is important to accurately transmit the position / posture to the gripping means.
【０００３】上記の把持手段などにて物体を把持するた
めの、任意に載置されて不特定な位置・姿勢にある同一
外形の認識対象物体から把持対象物体を特定する方法と
して、例えば、日本機械学会［Ｎｏ．９７−２２］ロボ
ティクス・メカトロニクス講演会’９７講演論文集［Ｖ
ｏｌ．Ｂ］に記載されている、「画像処理による重畳対
象の最上位認識」がある。この場合、撮像した画像か
ら、認識対象物体のエッジデータを用いて２次元形状特
徴を抽出し、次いで、予め与えられた形状モデルとのマ
ッチングを行った後、重畳された物体相互間の上下関係
の判定を重畳によって生じる物体のエッジの有無により
行っていた。As a method for specifying an object to be gripped from an object having the same external shape and being arbitrarily placed and having an unspecified position / posture for gripping the object with the above-described gripping means, for example, Japan Japan Society of Mechanical Engineers [No. 97-22] Proc. Of Robotics and Mechatronics Conference '97 [V
ol. B], “the highest-order recognition of a superimposition target by image processing”. In this case, a two-dimensional shape feature is extracted from the captured image using the edge data of the object to be recognized, and then a matching with a given shape model is performed. Is determined based on the presence or absence of the edge of the object caused by the superposition.
【０００４】また、上記以外の把持対象物体を特定する
方法としては、特開平３−２０２２９０の「ばら積み物
体の取出装置」として開示されている方法がある。この
場合、まず、認識対象物体上面の高さを計測し、次い
で、この計測された上面高さ情報において所定の基準高
さ以上の物体の中から把持対象物体を特定していた。As another method of specifying the object to be grasped other than the above, there is a method disclosed in Japanese Unexamined Patent Publication No. Hei. In this case, first, the height of the top surface of the recognition target object is measured, and then the grasp target object is specified from objects having a predetermined reference height or more in the measured top surface height information.
【０００５】[0005]
【発明が解決しようとする課題】しかしながら、上記従
来の技術において、前者の場合は、均一な色合いを呈し
た複数の認識対象物体の上下関係における、重畳された
物体相互間に生じるエッジがあいまいで、重畳関係を正
確に決定することが困難なことがあった。また、後者の
場合は、その上面の高さが基準高さ以上の物体を選択し
て把持対象物体を特定するため、３次元姿勢における物
体の傾きが大きいとき、あるいは物体相互の重なり状態
が複雑なときには、的確に１つの物体を特定することが
できないという問題があった。さらに、上記どちらの場
合においても、画像情報である認識対象物体の載置状態
情報自体に対する誤差が考慮されておらず、ロボット装
置へ不正確な位置・姿勢を伝達することがあって上記の
把持手段を過った位置に移動させる恐れもあった。However, in the above-mentioned prior art, in the former case, the edge generated between the superimposed objects in the vertical relationship of a plurality of recognition target objects having uniform colors is ambiguous. In some cases, it is difficult to accurately determine the superposition relationship. In the latter case, the object whose top surface is higher than the reference height is selected to specify the object to be grasped. Therefore, when the inclination of the object in the three-dimensional posture is large, or the overlapping state between the objects is complicated. In such a case, there is a problem that one object cannot be specified accurately. Further, in both cases, an error with respect to the placement state information itself of the recognition target object, which is image information, is not considered, and an incorrect position / posture may be transmitted to the robot apparatus. There was also a risk of moving the means to an excessive position.
【０００６】本発明は、上記事由に鑑みてなしたもの
で、その目的とするところは、任意の載置状態にある複
数の同一外形の認識対象物体を正確に認識して１つの物
体を確実に特定できる物体特定方法及び装置を提供する
ことにある。SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances, and it is an object of the present invention to accurately recognize a plurality of recognition target objects having the same outer shape in an arbitrary mounted state and to reliably identify one object. It is an object of the present invention to provide an object specifying method and apparatus that can specify the object.
【０００７】[0007]
【課題を解決するための手段】上記目的を達成するため
に、本発明の物体特定方法にあっては、任意の載置状態
にある複数の同一外形の認識対象物体から１つの物体を
特定する物体特定方法であって、略水平面上に載置され
た複数の認識対象物体を撮像してその画像情報から各物
体それぞれの載置状態情報を求め、その各載置状態情報
から各物体相互間の位置情報を求め、この位置情報から
各物体相互の重なり状態を求めて判定して１つの物体を
特定することを特徴としている。In order to achieve the above object, according to the object specifying method of the present invention, one object is specified from a plurality of recognition target objects having the same outer shape in an arbitrary mounted state. An object identification method, in which a plurality of recognition target objects placed on a substantially horizontal plane are imaged, and mounting state information of each object is obtained from the image information, and an inter-object distance is obtained from the mounting state information. Is obtained by determining the overlapping state of each object based on the position information and determining one overlapping object.
【０００８】また、任意の載置状態にある複数の同一外
形の認識対象物体から１つの物体を特定する物体特定方
法であって、略水平面上に載置された複数の認識対象物
体を撮像してその画像情報から各物体それぞれの載置状
態情報を求め、その各載置状態情報における任意の認識
対象物体の載置状態情報と予め与えられたその物体の外
形情報とにより前記載置状態情報の信頼度を求めるとと
もに、同各載置状態情報から各物体相互間の位置情報を
求め、この位置情報から各物体相互の重なり状態を求め
るとともに、その重なり状態の上方位置のものから順次
に前記信頼度が所定値以上か否かを判定して１つの物体
を特定することも特徴としている。An object specifying method for specifying one object from a plurality of recognition target objects having the same outer shape in an arbitrary mounted state, wherein a plurality of recognition target objects mounted on a substantially horizontal plane are imaged. The placement state information of each object is obtained from the image information, and the placement state information of any object to be recognized in the placement state information and the external form information of the object given in advance are used to describe the placement state information. And the position information between the objects is obtained from the mounting state information, and the overlapping state of the objects is obtained from the position information. It is also characterized in that one object is specified by determining whether or not the reliability is equal to or more than a predetermined value.
【０００９】そして、本発明の物体特定装置にあって
は、任意の載置状態にある複数の同一外形の認識対象か
ら１つの物体を特定する物体特定装置であって、略水平
面上に載置された複数の認識対象物体を撮像してその画
像情報から各物体それぞれの載置状態情報を取り込む情
報入力手段と、この情報入力手段にて得られる認識対象
物体の載置状態情報から各物体相互間の位置情報を求め
る位置演算手段と、この位置演算手段の位置情報から各
物体相互の重なり状態を求めて１つの物体を特定する特
定手段とを備えている。The object specifying apparatus according to the present invention is an object specifying apparatus for specifying one object from a plurality of recognition targets having the same outer shape in an arbitrary mounting state, and is provided on a substantially horizontal plane. Information input means for capturing the plurality of recognized recognition target objects, and capturing the placement state information of each object from the image information. A position calculating means for obtaining positional information between the two, and a specifying means for determining an overlapping state of the objects from the position information of the position calculating means to specify one object.
【００１０】この場合、情報入力手段にて、略水平面上
に載置された複数の認識対象物体が撮像されてその画像
情報から各物体それぞれの載置状態情報を取り込むこと
ができる。位置演算手段にて、同情報入力手段にて得ら
れる認識対象物体の載置状態情報から各物体相互間の位
置情報を求めることができる。特定手段にて、同位置演
算手段の位置情報から、任意の載置状態にある複数の同
一外形の認識対象の各物体相互の重なり状態を求めて、
１つの物体を特定できる。In this case, a plurality of recognition target objects placed on a substantially horizontal plane are imaged by the information input means, and the placement state information of each object can be captured from the image information. Position information between the objects can be obtained by the position calculation means from the placement state information of the recognition target object obtained by the information input means. In the identification means, from the position information of the same position calculation means, determine the overlapping state of each of the plurality of objects to be recognized having the same outer shape in an arbitrary mounting state,
One object can be specified.
【００１１】また、任意の載置状態にある複数の同一外
形の認識対象から１つの物体を特定する物体特定装置で
あって、略水平面上に載置された複数の認識対象物体を
撮像してその画像情報から各物体それぞれの載置状態情
報を取り込む情報入力手段と、この情報入力手段にて得
られる任意の認識対象物体の載置状態情報と予め与えら
れたその物体の外形情報とにより該載置状態情報の信頼
度を求める信頼度演算手段と、前記情報入力手段にて得
られる認識対象物体の載置状態情報と前記信頼度の情報
とを演算して信頼度が所定値以上の物体相互間の位置情
報を求める位置演算手段と、この位置演算手段の位置情
報から各物体相互の重なり状態を求めて１つの物体を特
定する特定手段とを備えている。An object specifying apparatus for specifying one object from a plurality of recognition objects having the same outer shape in an arbitrary mounted state, wherein an image of a plurality of recognition target objects mounted on a substantially horizontal plane is taken. Information input means for capturing the placement state information of each object from the image information, and the placement state information of an arbitrary recognition target object obtained by the information input means and the external shape information of the object given in advance. A reliability calculating means for obtaining the reliability of the mounting state information; and an object having a reliability higher than a predetermined value by calculating the mounting state information of the recognition target object and the reliability information obtained by the information input means. There are provided position calculation means for obtaining mutual position information, and specifying means for determining one object by obtaining an overlapping state of the respective objects based on the position information of the position calculation means.
【００１２】この場合、情報入力手段にて、略水平面上
に載置された複数の認識対象物体が撮像されてその画像
情報から各物体それぞれの載置状態情報を取り込むこと
ができる。信頼度演算手段にて、前記情報入力手段にて
得られる任意の認識対象物体の載置状態情報と予め与え
られたその物体の外形情報とにより該載置状態情報の信
頼度を求めることができる。位置演算手段にて、同情報
入力手段にて得られる認識対象物体の載置状態情報と前
記信頼度の情報とを演算して信頼度が所定値以上の物体
相互間の位置情報を求めることができる。特定手段に
て、同位置演算手段の位置情報から、任意の載置状態に
ある複数の同一外形の認識対象の各物体相互の重なり状
態を求めて、１つの物体を特定できる。In this case, a plurality of recognition target objects placed on a substantially horizontal plane are imaged by the information input means, and the placement state information of each object can be captured from the image information. The reliability calculating means can determine the reliability of the mounting state information from the mounting state information of an arbitrary recognition target object obtained by the information input means and the external shape information of the object given in advance. . The position calculation means may calculate the placement state information of the recognition target object obtained by the information input means and the reliability information to obtain position information between objects having a reliability equal to or more than a predetermined value. it can. The specifying means obtains, from the position information of the same position calculating means, the overlapping state of a plurality of objects to be recognized having the same outer shape in an arbitrary mounting state, and specifies one object.
【００１３】そして、上記情報入力手段は、認識対象物
体の任意の基準面の３次元位置情報を取り込むととも
に、位置演算手段が、該認識対象物体相互の一方の物体
と他方の物体との該基準面どうしの相対的な高さ位置を
演算することが好ましい。The information input means fetches three-dimensional position information of an arbitrary reference plane of the object to be recognized, and the position calculation means operates the reference operation between one object and the other object of the object to be recognized. It is preferable to calculate the relative height position between the surfaces.
【００１４】この場合、情報入力手段にて、認識対象物
体の任意の基準面の３次元位置情報が取り込まれる。位
置演算手段にて、同認識対象物体相互の一方の物体と他
方の物体との該基準面どうしの相対的な高さ位置が演算
される。In this case, the information input means takes in three-dimensional position information of an arbitrary reference plane of the object to be recognized. The relative height position of the reference plane between one object and the other object of the same recognition target object is calculated by the position calculation means.
【００１５】また、上記位置演算手段は、認識対象物体
の任意の基準面の、前記水平面上における一方の物体と
他方の物体相互間の距離を演算する距離演算手段を有
し、特定手段が、その演算結果の距離値を所定の距離値
とを比較する比較手段を備えるのが好ましい。The position calculating means has a distance calculating means for calculating a distance between one object and the other object on the horizontal plane of an arbitrary reference plane of the object to be recognized. It is preferable to provide a comparing means for comparing the distance value of the calculation result with a predetermined distance value.
【００１６】この場合、位置演算手段に設けられた距離
演算手段にて、認識対象物体の任意の基準面の、前記水
平面上における一方の物体と他方の物体相互間の距離が
演算される。特定手段に設けられた比較手段にて、同演
算結果の距離値が所定の距離値とを比較され１つの物体
を特定される。In this case, the distance between the one object and the other object on the horizontal plane of the arbitrary reference plane of the object to be recognized is calculated by the distance calculating means provided in the position calculating means. The comparing means provided in the specifying means compares the distance value of the calculation result with a predetermined distance value to specify one object.
【００１７】また、上記位置演算手段は、認識対象物体
の任意の基準面を前記水平面上に投影した、その各投影
面相互の重なり状態を演算する投影面演算手段を有し、
特定手段が、その演算結果の重なり状態を判定する判定
手段を備えるのが好ましい。Further, the position calculating means has a projection plane calculating means for calculating an overlapping state of the respective projection planes obtained by projecting an arbitrary reference plane of the object to be recognized on the horizontal plane,
It is preferable that the identification unit includes a determination unit that determines an overlapping state of the calculation results.
【００１８】この場合、位置演算手段に設けられた投影
面演算手段にて、認識対象物体の任意の基準面を前記水
平面上に投影した、その各投影面相互の重なり状態が演
算される。特定手段に設けられた判定手段にて、同演算
結果の重なり状態が判定され１つの物体を特定される。In this case, the projection plane calculation means provided in the position calculation means calculates an overlapping state of the respective projection planes obtained by projecting an arbitrary reference plane of the object to be recognized on the horizontal plane. The judging means provided in the specifying means determines an overlapping state of the calculation results and specifies one object.
【００１９】また、位置演算手段は、前記情報入力手段
にて得られる任意の基準面の３次元位置情報から認識対
象物体の傾き状態を演算するとともにその傾き状態の大
きい物体を特定の除外対象として記憶する記憶手段を有
し、特定手段が、同記憶手段の記憶情報を加えて演算す
るのが好ましい。Further, the position calculating means calculates the inclination state of the object to be recognized from the three-dimensional position information of an arbitrary reference plane obtained by the information input means, and designates an object having a large inclination state as a specific exclusion target. It is preferable that the information processing apparatus further includes a storage unit for storing, and the specifying unit performs the operation by adding the storage information of the storage unit.
【００２０】この場合、位置演算手段に設けられた記憶
手段にて、前記情報入力手段にて得られる任意の基準面
の３次元位置情報から認識対象物体の傾き状態を演算さ
れたその傾き状態の大きい物体が特定の除外対象として
記憶される。特定手段にて、同記憶手段の記憶情報を加
えて演算され１つの物体を特定される。In this case, the inclination state of the object to be recognized is calculated from the three-dimensional position information of an arbitrary reference plane obtained by the information input means in the storage means provided in the position operation means. Large objects are stored as specific exclusions. The specifying means calculates by adding the information stored in the storage means and specifies one object.
【００２１】[0021]
【発明の実施の形態】図１乃至図４は、本発明の請求項
１、３、５全てに対応する第１の実施の形態を示し、図
５乃至８は、本発明の請求項２、４、６に対応する第２
の実施の形態を示し、図９、１０は、本発明の請求項７
に対応する第３の実施の形態を示し、図１１、１２は、
本発明の請求項８に対応する第４の実施の形態を示して
いる。1 to 4 show a first embodiment corresponding to all of the first, third and fifth aspects of the present invention, and FIGS. 5 to 8 show the second and third aspects of the present invention. Second corresponding to 4 and 6
9 and 10 show a seventh embodiment of the present invention.
11 and 12 show a third embodiment corresponding to FIGS.
A fourth embodiment corresponding to claim 8 of the present invention is shown.
【００２２】［第１の実施の形態］図１は、第１の実施
の形態の物体特定方法を使用する物体特定装置を示す概
略構成図である。図２は、同実施の形態の物体特定方法
を示すフローチャートである。図３は、同物体特定装置
の３次元画像処理を示す説明図である。図４は、同物体
特定装置の位置演算部の演算処理の説明図である。[First Embodiment] FIG. 1 is a schematic block diagram showing an object specifying apparatus using the object specifying method according to the first embodiment. FIG. 2 is a flowchart illustrating an object identification method according to the embodiment. FIG. 3 is an explanatory diagram showing three-dimensional image processing of the object specifying device. FIG. 4 is an explanatory diagram of a calculation process of a position calculation unit of the object specifying device.
【００２３】この実施の形態の物体特定装置１は、任意
の載置状態にある複数の同一外形の認識対象から１つの
物体を特定する物体特定装置であって、略水平面Ｐ上に
載置された複数の認識対象物体Ｂ、Ｂ…を撮像してその
画像情報から各物体それぞれの載置状態情報を取り込む
情報入力手段２と、この情報入力手段２にて得られる認
識対象物体Ｂ、Ｂ…の載置状態情報から各物体相互間の
位置情報を求める位置演算手段５と、この位置演算手段
５の位置情報から各物体相互の重なり状態を求めて１つ
の物体Ａを特定する特定手段６とを備えてなる。The object specifying device 1 of this embodiment is an object specifying device for specifying one object from a plurality of recognition targets having the same outer shape in an arbitrary mounted state, and is mounted on a substantially horizontal plane P. , Which captures the plurality of recognition target objects B, B... And captures the placement state information of each object from the image information, and the recognition target objects B, B. Position calculating means 5 for obtaining positional information between the respective objects from the mounting state information, and specifying means 6 for determining the overlapping state of the respective objects from the positional information of the position calculating means 5 to specify one object A. Is provided.
【００２４】又、該実施の形態の物体特定装置１におい
ては、情報入力手段２は、認識対象物体Ｂ、Ｂ…の任意
の基準面の３次元位置情報を取り込むとともに、位置演
算手段５が、該認識対象物体Ｂ、Ｂ…相互の一方の物体
Ｂ１と他方の物体Ｂ２との該基準面どうしの相対的な高
さ位置を演算するようなしてもいる。Further, in the object identification device 1 of the embodiment, the information input means 2 takes in three-dimensional position information of an arbitrary reference plane of the recognition target objects B, B. The relative height positions of the reference planes of the recognition target objects B, B... Of one object B1 and the other object B2 are calculated.
【００２５】又、該実施の形態の物体特定方法において
は、任意の載置状態にある複数の同一外形の認識対象物
体から１つの物体を特定する物体特定方法であって、略
水平面上に載置された複数の認識対象物体Ｂ、Ｂ…を撮
像してその画像情報から各物体それぞれの載置状態情報
を求め、その各載置状態情報から各物体相互間の位置情
報を求め、この位置情報から各物体相互の重なり状態を
求めて判定して１つの物体Ａを特定している。The object specifying method according to the embodiment is an object specifying method for specifying one object from a plurality of recognition target objects having the same outer shape in an arbitrary mounting state, and the object specifying method is performed on a substantially horizontal plane. A plurality of placed recognition target objects B, B... Are imaged, and mounting state information of each object is obtained from the image information, and positional information between the objects is obtained from the mounting state information. One object A is specified by determining the overlapping state of each object from the information and determining.
【００２６】詳しくは、この物体特定装置１は、例えば
ロボット装置１２に設けられた把持手段１３にてフレキ
シブルにピッキングするときに、複数の認識対象物体
Ｂ、Ｂ…の３次元位置・姿勢計測を行い、その把持手段
１３にてビンピッキングするのに使用される。そして、
ＣＣＤカメラにて形成される撮像部３、３、及び、この
撮像部３、３から出力される画像情報の３次元画像処理
を行う３次元画像処理部４を備える情報入力手段２と、
位置演算手段５に相当する位置演算部と、特定手段６に
相当する物体特定部とを有して構成され、各部それぞれ
がマイクロコンピュータを中心に形成されている。More specifically, the object identification device 1 measures the three-dimensional positions and orientations of a plurality of recognition target objects B, B,. It is used for bin picking by the holding means 13. And
An information input unit 2 including an imaging unit 3, 3 formed by a CCD camera, and a three-dimensional image processing unit 4 for performing three-dimensional image processing of image information output from the imaging unit 3, 3,
It has a position calculating unit corresponding to the position calculating unit 5 and an object specifying unit corresponding to the specifying unit 6, and each unit is formed mainly by a microcomputer.
【００２７】撮像部３、３は、認識対象物体Ｂ、Ｂ…の
任意の基準面の３次元位置・姿勢計測のための２つの異
なる画像を取り込むもので、それぞれが２つの異なる位
置に固定されており、略水平面Ｐ上に載置された複数の
認識対象物体Ｂ、Ｂ…を撮像する。The image pickup sections 3, 3 take in two different images for three-dimensional position / posture measurement of arbitrary reference planes of the objects B, B,..., Each of which is fixed at two different positions. , And a plurality of recognition target objects B, B... Placed on a substantially horizontal plane P are imaged.
【００２８】３次元画像処理部４は、この場合、撮像部
３、３により得られた、認識対象物体Ｂ、Ｂ…の２つの
異なる画像から、認識対象物体Ｂ、Ｂ…の載置状態情報
である平行ステレオ画像情報を得るためのもので、図２
に示す、Ｓ４１乃至Ｓ４５の手順にて、いわゆる平行ス
テレオ変換の演算処理を行う。この平行ステレオ変換処
理によって、撮像部３、３から出力される２つの異なる
画像は、その各画像が同じ焦点距離・同じ光軸方向のカ
メラで撮像したのと同様になるよう画像データの変換処
理がなされて平行ステレオ画像情報となる。なお、この
変換に必要なパラメータは，公知のキャリブレーション
手法により予め求められる。In this case, the three-dimensional image processing section 4 uses the two different images of the recognition target objects B, B... 2 is used to obtain parallel stereo image information as shown in FIG.
In the steps S41 to S45 shown in the above, arithmetic processing of so-called parallel stereo conversion is performed. By this parallel stereo conversion process, two different images output from the imaging units 3 and 3 are converted into image data so that each image is the same as the image captured by a camera having the same focal length and the same optical axis direction. To obtain parallel stereo image information. Note that parameters required for this conversion are obtained in advance by a known calibration method.
【００２９】具体的には、まず、図３（ａ）に示す、平
行ステレオ画像のうちの一方の画像（以下、基準画像と
称する）中から、直線ｂ１、ｂ２、ｂ３、ｂ４を検出す
る。この直線検出は、例えばハフ変換と呼ばれている、
基準画像中のエッジ点をパラメータ空間に投票すること
によりその画像中の直線を検出する手法により行ってい
る。次いで、例えばエリアベースのステレオマッチング
法と呼ばれる方法にて、ステレオ３次元計測を行う。具
体的には、上記基準画像中から抽出した例えば直線ｂ１
上に設定した小領域ｓ１、ｓ２、ｓ３、ｓ４に対応する
領域が、図２（ｂ）に示す、他方の画像（以下、参照画
像と称する）中のどこにあるかが求められて各領域毎の
３次元データ演算処理を行い平行ステレオ画像情報を出
力する。Specifically, first, straight lines b1, b2, b3, and b4 are detected from one of the parallel stereo images (hereinafter, referred to as a reference image) shown in FIG. 3A. This straight line detection is called, for example, Hough transform.
The method is performed by voting an edge point in a reference image in a parameter space to detect a straight line in the image. Next, stereo three-dimensional measurement is performed by, for example, a method called an area-based stereo matching method. Specifically, for example, a straight line b1 extracted from the reference image
Where the regions corresponding to the small regions s1, s2, s3, and s4 set above are located in the other image (hereinafter referred to as a reference image) shown in FIG. And outputs parallel stereo image information.
【００３０】位置演算手段５は、この場合、上記３次元
画像処理部４から出力される平行ステレオ画像の３次元
データから各物体相互間の位置情報を求めて、認識対象
物体Ｂ、Ｂ…の各物体相互の、一方の物体Ｂ１と他方の
物体Ｂ２との該基準面どうしの相対的な高さ位置を演算
するもので、平行ステレオ画像情報から精度良く各物体
相互間の位置情報を求めて重なりの上下を決定するた
め、図２に示すＳ５１乃至Ｓ５７の手順にて、図４に示
す、一方の物体Ｂ１と他方の物体Ｂ２とのそれぞれの基
準面どうしの相対的な高さ位置の演算を行う。In this case, the position calculating means 5 obtains positional information between the respective objects from the three-dimensional data of the parallel stereo image output from the three-dimensional image processing unit 4 and obtains the position information of the objects B, B. A relative height position between the reference planes of one object B1 and the other object B2 of each object is calculated, and position information between the objects is obtained with high accuracy from parallel stereo image information. In order to determine the upper and lower sides of the overlap, the relative height positions of the reference planes of the one object B1 and the other object B2 shown in FIG. 4 are calculated by the procedures of S51 to S57 shown in FIG. I do.
【００３１】具体的には、図４に示すように３次元位置
・姿勢の計測された２つの物体Ｂ１、Ｂ２を選び出し、
各物体Ｂ１、Ｂ２を代表する面Ｑ１、Ｑ２をそれぞれ決
定する。そして一方の面Ｑ１を参照面、他方の面Ｑ２を
対象面として、参照面である面Ｑ１を拡張した参照平面
Ｐ’の表向き方向を正領域Ｒ＋、その裏向き方向を負領
域Ｒ−とする。次いで、対象面である面Ｑ２を構成する
物体Ｂ２の頂点ｃ１、ｃ２、ｃ３、ｃ４のすべてについ
て、参照平面Ｐ’に対する正領域Ｒ＋にある頂点数を求
める。その後、面Ｑ１、Ｑ２の参照面と対象面との関係
を入れ替えて上記と同様の処理を行う。その結果、例え
ば正領域Ｒ＋にある頂点数の多い面を持つ物体Ｂ２を上
側に存在する物体と判定する。このようにして，物体の
相互位置関係の重なりの上下を決定するのである。More specifically, as shown in FIG. 4, two objects B1 and B2 whose three-dimensional positions and orientations have been measured are selected.
The surfaces Q1 and Q2 representing the objects B1 and B2, respectively, are determined. With one surface Q1 as a reference surface and the other surface Q2 as a target surface, the front direction of the reference plane P ′ obtained by expanding the surface Q1 as the reference surface is defined as a positive region R +, and the reverse direction thereof is defined as a negative region R−. . Next, for all the vertices c1, c2, c3, and c4 of the object B2 constituting the surface Q2, which is the target surface, the number of vertices in the positive region R + with respect to the reference plane P 'is obtained. After that, the same processing as described above is performed by exchanging the relation between the reference planes and the target planes of the planes Q1 and Q2. As a result, for example, an object B2 having a surface having a large number of vertices in the normal region R + is determined to be an object existing above. In this way, the upper and lower positions of the mutual positional relationship of the objects are determined.
【００３２】上記の後、特定手段６である物体特定部に
より、全ての各物体相互の重なり状態を求めて判定して
１つの物体Ａを特定し、上記ロボット装置１２へ出力す
る。その結果、このロボット装置１２は、把持失敗の可
能性が低い物体Ａを把持対象物体として、このロボット
装置１２に設けられた把持手段１３によりアプローチ
し、把持する際に他の物体と干渉することなく特定され
た物体Ａをピックアップするのである。After the above, the object specifying unit, which is the specifying means 6, determines and determines the overlapping state of all the objects, specifies one object A, and outputs it to the robot device 12. As a result, the robot apparatus 12 approaches the object A having a low possibility of grasping failure as a grasp target object by the grasping means 13 provided in the robot apparatus 12, and interferes with other objects when grasping. Then, the specified object A is picked up.
【００３３】次に、上記の手順を図２のフローチャート
に基づいて説明する。情報入力手段２は、まず、ステレ
オペアを作成し（ステップ４１）、次いで、平行ステレ
オ変換を行い（ステップ４２）、その後、基準画像から
直線検出を行い（ステップ４３）、基準画像の直線上に
設定した小領域の３次元計測を行い（ステップ４４）、
認識対象物体の任意の基準面の各直線の３次元位置情報
を取り込む（ステップ４５）。Next, the above procedure will be described with reference to the flowchart of FIG. The information input means 2 first creates a stereo pair (step 41), then performs parallel-stereo conversion (step 42), and then detects a straight line from the reference image (step 43), and places it on the straight line of the reference image. Three-dimensional measurement of the set small area is performed (step 44),
The three-dimensional position information of each straight line on an arbitrary reference plane of the recognition target object is fetched (step 45).
【００３４】位置演算手段５は、まず、２つの物体の代
表面Ｂ１、Ｂ２を決定し（ステップ５１）、次いで、一
方の面Ｑ１を参照面、他方の面Ｑ２を対象面とし（ステ
ップ５２）、参照面を拡張した参照平面Ｐ’の表向き方
向を正領域Ｒ＋、裏向き方向を負領域Ｒ−とする（ステ
ップ５３）。その後、対象面を構成する頂点ｃ１、ｃ
２、ｃ３、ｃ４すべてについて、参照平面Ｐ’に対して
正領域Ｒ＋ある頂点数を求め（ステップ５４）、フラグ
確認を行い（ステップ５５）、参照面と対象面を入れ替
えるとともにフラグを変更し（ステップ５６）、上記ス
テップ５３乃至５５の処理を行った後、正領域Ｒ＋にあ
る頂点数の多い面を持つ物体が、上側に存在する物体と
判定する（ステップ５７）。The position calculating means 5 first determines representative surfaces B1 and B2 of the two objects (step 51), and then sets one surface Q1 as a reference surface and the other surface Q2 as a target surface (step 52). The frontal direction of the reference plane P ′ obtained by expanding the reference plane is defined as a positive region R +, and the reverse direction is defined as a negative region R− (step 53). Thereafter, the vertices c1 and c constituting the target surface
For all 2, c3, and c4, the number of the positive region R + a certain vertex with respect to the reference plane P 'is obtained (step 54), the flag is checked (step 55), and the reference plane and the target plane are exchanged and the flag is changed (step 54). Step 56) After performing the processes of Steps 53 to 55, an object having a surface having a large number of vertices in the normal region R + is determined to be an object existing on the upper side (Step 57).
【００３５】したがって、以上説明した物体特定装置１
及び物体特定方法によると、情報入力手段２にて、略水
平面Ｐ上に載置された複数の認識対象物体Ｂ、Ｂ…が撮
像されてその画像情報から各物体それぞれの載置状態情
報を取り込むことができる。位置演算手段５にて、同情
報入力手段２にて得られる認識対象物体Ｂ、Ｂ…の載置
状態情報から各物体相互間の位置情報を求めることがで
きる。特定手段６にて、同位置演算手段５の位置情報か
ら、任意の載置状態にある複数の同一外形の認識対象の
各物体相互の重なり状態を求めて、１つの物体を特定で
きるので、任意の載置状態にある複数の同一外形の認識
対象物体Ｂ、Ｂ…を正確に認識して１つの物体Ａを確実
に特定できる。Therefore, the object identifying device 1 described above
According to the object specifying method, a plurality of recognition target objects B, B... Mounted on a substantially horizontal plane P are imaged by the information input means 2, and the mounting state information of each object is taken from the image information. be able to. The position calculation means 5 can obtain position information between the respective objects from the placement state information of the recognition target objects B obtained by the information input means 2. The identifying means 6 can determine the overlapping state of the plurality of objects to be recognized having the same outer shape in a given mounting state from the position information of the same position calculating means 5 and identify one object. Can accurately identify the plurality of recognition target objects B, B,...
【００３６】そして、情報入力手段２にて、認識対象物
体Ｂ、Ｂ…の任意の基準面の３次元位置情報が取り込ま
れる。位置演算手段５にて、同認識対象物体Ｂ、Ｂ…相
互の一方の物体と他方の物体との該基準面どうしの相対
的な高さ位置が演算されるので、より正確に認識対象物
体Ｂ、Ｂ…を認識して１つの物体Ａをでき、以て、例え
ば把持失敗の発生を少なくできる。Then, the information input means 2 fetches three-dimensional position information of an arbitrary reference plane of the recognition target objects B. Since the relative height positions of the reference planes of the one object and the other object relative to each other are calculated by the position calculation means 5, the recognition target objects B can be more accurately calculated. , B... Can be made into one object A, so that, for example, the occurrence of grip failure can be reduced.
【００３７】なお、本発明は、上記実施の形態として示
された、直線検出方法にハフ変換、及びステレオ３次元
計測にエリアベースのステレオマッチング方法を用いた
もの以外に、各種画像処理手段を用いた形態のものを含
むことは言うまでもない。It should be noted that the present invention uses various image processing means in addition to the Huff transform used for the straight line detection method and the area-based stereo matching method used for stereo three-dimensional measurement shown in the above embodiment. Needless to say, it includes those in different forms.
【００３８】［第２の実施の形態］図５は、第２の実施
の形態の物体特定装置の位置演算部の信頼度演算処理を
示すフローチャートである。図６は、同物体特定装置の
物体特定方法の信頼度演算手段の説明図である。図７
は、同物体特定装置の位置演算部の距離演算処理を示す
フローチャートである。図８は、同物体特定装置の位置
演算部の距離演算処理の説明図である。[Second Embodiment] FIG. 5 is a flowchart showing the reliability calculation processing of the position calculation unit of the object identification device according to the second embodiment. FIG. 6 is an explanatory diagram of reliability calculating means of the object specifying method of the object specifying device. FIG.
5 is a flowchart showing a distance calculation process of a position calculation unit of the object specifying device. FIG. 8 is an explanatory diagram of a distance calculation process of a position calculation unit of the object specifying device.
【００３９】この実施の形態の物体特定装置１は、位置
演算部の演算処理の一部が第１の実施の形態と異なるも
ので、他の構成は第１の実施の形態のものと同一で、該
実施の形態の物体特定装置１は、任意の載置状態にある
複数の同一外形の認識対象から１つの物体を特定する物
体特定装置であって、略水平面Ｐ上に載置された複数の
認識対象物体Ｂ、Ｂ…を撮像してその画像情報から各物
体それぞれの載置状態情報を取り込む情報入力手段２
と、この情報入力手段２にて得られる任意の認識対象物
体Ｂ、Ｂ…の載置状態情報と予め与えられたその物体の
外形情報とにより該載置状態情報の信頼度を求める信頼
度演算手段７と、前記情報入力手段２にて得られる認識
対象物体の載置状態情報と前記信頼度の情報とを演算し
て信頼度が所定値以上の物体相互間の位置情報を求める
位置演算手段５と、この位置演算手段５の位置情報から
各物体相互の重なり状態を求めて１つの物体を特定する
特定手段６とを備えてなる。The object identification device 1 of this embodiment differs from the first embodiment in a part of the operation processing of the position operation unit, and the other configuration is the same as that of the first embodiment. The object specifying device 1 of the embodiment is an object specifying device that specifies one object from a plurality of recognition targets having the same outer shape in an arbitrary mounted state, and includes a plurality of objects mounted on a substantially horizontal plane P. Information input means 2 for capturing the recognition target objects B, B... And taking in the mounting state information of each object from the image information
.. Obtained from the information input means 2 and the mounting state information of the arbitrary recognition target objects B, B... Means 7 for calculating position information of the object to be recognized obtained by the information input means 2 and the information of the reliability to obtain position information between objects having a reliability not less than a predetermined value; 5 and a specifying means 6 for determining an overlapping state between the respective objects from the position information of the position calculating means 5 to specify one object.
【００４０】又、該実施の形態の物体特定装置は、位置
演算手段５は、認識対象物体Ｂ、Ｂ…の任意の基準面
の、前記水平面上における一方の物体と他方の物体相互
間の距離を演算する距離演算手段８を有し、特定手段６
が、その演算結果の距離値を所定の距離値とを比較する
比較手段９を備えてなる。In the object specifying apparatus of this embodiment, the position calculating means 5 determines the distance between one object and the other object on the horizontal plane of an arbitrary reference plane of the recognition target objects B, B. And a distance calculating means 8 for calculating
Has comparison means 9 for comparing the distance value of the calculation result with a predetermined distance value.
【００４１】又、該実施の形態の物体特定方法は、任意
の載置状態にある複数の同一外形の認識対象物体から１
つの物体を特定する物体特定方法であって、略水平面上
に載置された複数の認識対象物体Ｂ、Ｂ…を撮像してそ
の画像情報から各物体それぞれの載置状態情報を求め、
その各載置状態情報における任意の認識対象物体の載置
状態情報と予め与えられたその物体の外形情報とにより
前記載置状態情報の信頼度を求めるとともに、同各載置
状態情報から各物体相互間の位置情報を求め、この位置
情報から各物体相互の重なり状態を求めるとともに、そ
の重なり状態の上方位置のものから順次に前記信頼度が
所定値以上か否かを判定して１つの物体Ａを特定してい
る。Further, the object identification method of the present embodiment is a method in which a plurality of recognition target objects having the same outer shape in an arbitrary mounted state are
A plurality of recognition target objects B, B... Mounted on a substantially horizontal plane, and mounting state information of each object is obtained from the image information.
The reliability of the above-described placement state information is obtained from the placement state information of an arbitrary recognition target object in each of the placement state information and the contour information of the object given in advance, and each object is obtained from the placement state information. The position information between the objects is obtained, the overlapping state of the objects is obtained from the position information, and it is determined whether or not the reliability is equal to or more than a predetermined value in order from the position above the overlapping state. A is specified.
【００４２】このものの位置演算手段５は、第１の実施
の形態にて説明した３次元データの処理にて得られた載
置状態情報である平行ステレオ画像情報から、より精度
良く各物体相互間の位置情報を求めて重なりの上下を決
定するため、図５に示すフローチャートのＳ７１からＳ
７６に示す如く、個々の物体Ｂの載置状態情報の信頼度
演算行う信頼度演算手段７を備えている。The position calculating means 5 calculates the position of each object with higher accuracy from the parallel stereo image information, which is the mounting state information obtained by the processing of the three-dimensional data described in the first embodiment. In order to determine the position information and determine the upper and lower sides of the overlap, the steps S71 to S71 in the flowchart shown in FIG.
As shown at 76, a reliability calculating means 7 for calculating the reliability of the placement state information of each object B is provided.
【００４３】具体的には、この場合、図２に示した３次
元データの計測処理にて得られた各小領域ｓ１、ｓ２、
ｓ３、ｓ４に係わるデータを、対応する小領域同士の類
似度として各領域毎に記憶する。次いで、直線ｂ１上の
各領域の３次元データから、直線ｂ１の３次元情報であ
る、位置及び方向を求めるのと同時に、直線ｂ１上の各
領域のステレオマッチング時の類似度を全て加算し、そ
の合計値を直線ｂ１の計測信頼度とし、直線ｂ１、ｂ
２、ｂ３、ｂ４が基準画像の水平方向との角度θをそれ
ぞれ求め、下記の（式１）に示す導出式にて算出される
係数αを、各々の直線の計測信頼度に乗じる。 α＝（１＋１００ｓｉｎ（θ）） （式１） 但し、θは直線ｂ１と基準画像水平方向とのなす角度で
ある。More specifically, in this case, each of the small areas s1, s2,... Obtained by the measurement processing of the three-dimensional data shown in FIG.
Data relating to s3 and s4 is stored for each area as the similarity between corresponding small areas. Next, from the three-dimensional data of each region on the straight line b1, the position and the direction, which are the three-dimensional information of the straight line b1, are obtained, and at the same time, all the similarities at the time of the stereo matching of each region on the straight line b1 are added, The sum is defined as the measurement reliability of the straight line b1, and the straight lines b1, b
2, b3 and b4 respectively determine the angle θ with respect to the horizontal direction of the reference image, and multiply the measurement reliability of each straight line by the coefficient α calculated by the following derivation equation (Equation 1). α = (1 + 100 sin (θ)) (Equation 1) where θ is the angle between the straight line b1 and the horizontal direction of the reference image.
【００４４】そして、上記の如く、基準画像中で検出し
た直線ｂ１、ｂ２、ｂ３、ｂ４に対する３次元情報（位
置・方向）と計測信頼度を求めた後、各直線の３次元情
報と、図４に示すように予め与えられたその物体の外形
情報と照合し、下記の（式２）に示す導出式にてその外
形情報との整合度を求める。After the three-dimensional information (position and direction) and the measurement reliability for the straight lines b1, b2, b3, and b4 detected in the reference image are obtained as described above, the three-dimensional information of each straight line and the figure Then, as shown in FIG. 4, it is compared with the external shape information of the object given in advance, and the degree of matching with the external shape information is obtained by a derivation formula shown in (Equation 2) below.
【００４５】 Ｍ＝ ｜（直線ｂ１と直線ｂ２の距離）−Ｌ１｜ ＋｜（直線ｂ３と直線ｂ４の距離）−Ｌ２｜ ＋｜（直線ｂ１と直線ｂ４のなす角）−θ1｜ ＋｜（直線ｂ２と直線ｂ３のなす角）−θ2｜ （式２）M = | (distance between straight line b1 and straight line b2) −L1 | + | (distance between straight line b3 and straight line b4) −L2 | + | (angle between straight line b1 and straight line b4) −θ1 | + | ( Angle between straight line b2 and straight line b3) −θ2 | (Equation 2)
【００４６】すなわち、画像から計測された直線の組み
合わせにより複数のモデルとの整合度Ｍがこの式２によ
り得られるが、この得られた整合度Ｍの中の最小の整合
度となる直線の組み合わせより，物体の位置・姿勢を求
め、さらに、その最小の整合度と組み合わせた各直線の
計測信頼度とを全て加算し、この加算された合計値を物
体の位置・姿勢である載置状態情報の信頼度とするので
ある。That is, the matching degree M with a plurality of models can be obtained from the combination of the straight lines measured from the image according to the equation (2). Then, the position / posture of the object is obtained, and further, the minimum matching degree and the measurement reliability of each of the combined straight lines are all added, and the added value is the mounting state information which is the position / posture of the object. Of reliability.
【００４７】また、この位置演算手段５は、図７に示す
フローチャートに基づいて、前述の３次元データの処理
にて得られた載置状態情報と上記信頼度演算手段７によ
る信頼度の情報とを演算して信頼度が所定値以上の物体
相互間の一方の物体Ｂ１と他方の物体Ｂ２相互間の距離
の演算行う距離演算手段８を備えている。Further, the position calculating means 5 is provided with the mounting state information obtained by the processing of the three-dimensional data and the reliability information by the reliability calculating means 7 based on the flowchart shown in FIG. And a distance calculation means 8 for calculating the distance between one object B1 and the other object B2 between objects having a reliability of a predetermined value or more.
【００４８】具体的には、まず，載置状態情報の３次元
データの位置・姿勢データにおいて認識対象物体Ｂ、Ｂ
…の位置・姿勢を高いものから順番に並べ替え、次い
で、その内の最も高い位置にある物体を取り出して仮の
対象物体とする。この場合、その対象物体の上記手順に
て求めた信頼度がしきいの所定値以下であれば、この仮
の対象物体より計測上の位置データが次に低い物体を改
めて対象物体とする。その後、残りの物体から対象物体
以外の物体を１つ選択し、そして，この２つの物体を物
体の置かれた前記の水平面Ｐ上へ投影して距離値を演算
する。More specifically, first, in the position / posture data of the three-dimensional data of the placement state information, the objects B, B
.. Are rearranged in descending order, and then the object at the highest position is taken out as a temporary target object. In this case, if the reliability of the target object obtained by the above procedure is equal to or smaller than a predetermined threshold value, an object whose position data on measurement is lower than that of the temporary target object is determined as the target object again. Thereafter, one object other than the target object is selected from the remaining objects, and the two objects are projected onto the horizontal plane P on which the objects are placed to calculate a distance value.
【００４９】なお、この場合の特定手段６は、上記の演
算結果の距離値を所定の距離値とを比較する比較手段９
を備えている。In this case, the specifying means 6 includes a comparing means 9 for comparing the distance value obtained as a result of the above calculation with a predetermined distance value.
It has.
【００５０】具体的には、比較手段９は、図８に示すよ
うに、投影された２つの物体Ｂ１、Ｂ２の代表点Ｔ１、
Ｔ２をそれぞれの中心点とした場合、２つの代表点Ｔ
１、Ｔ２間の距離が、図８（ａ）に示すような２つの物
体Ｂ１、Ｂ２の最大中心距離、すなわち、所定の距離値
である重なり可能のしきい値ＭＩよりも大きければ、例
えば図８（ｂ）に示すように、２つの物体Ｂ１、Ｂ２が
重なりを生じていないことを判定している。More specifically, as shown in FIG. 8, the comparing means 9 determines the representative points T1, T2 of the two projected objects B1, B2.
If T2 is the respective center point, two representative points T
If the distance between T1 and T2 is larger than the maximum center distance between the two objects B1 and B2 as shown in FIG. As shown in FIG. 8B, it is determined that the two objects B1 and B2 do not overlap.
【００５１】次に、上記の手順を図５、図７のフローチ
ャートに基づいて位置演算手段５の信頼度演算手段７、
距離演算手段８と特定手段６の比較手段９の説明を行
う。Next, the above procedure will be described with reference to the flow charts of FIGS.
The distance calculating means 8 and the comparing means 9 of the specifying means 6 will be described.
【００５２】信頼度演算手段７は、前述のステップ４５
における、直線の３次元情報である、３次元データの計
測処理にて得られた各小領域ｓ１、ｓ２、ｓ３、ｓ４に
係わるデータ（位置・方向）から、まず、そのステレオ
マッチング時の類似度を加算して直線の計測信頼度（Ｃ
ｌｉ）を算出し（ステップ７１）、次いで、基準画像の
水平方向とのなす角度をθとして（Ｃｌｉ＝Ｃｌｉ×
（１+１００ｓｉｎ（θ））の計算を行い（ステップ７
２）、その後、直線の組み合わせを選択を行い（ステッ
プ７３）、モデルデータとマッチングさせて、各物体の
モデルとの整合度（Ｍｊ）の算出を行った（ステップ７
４）後、Ｍ（最小のＭｊ）となる直線の組み合わせよ
り、物体の位置・姿勢を算出し（ステップ７５）、（計
測信頼度＝Ｍ＋組み合わせた直線の計測計測信頼度）と
して計測信頼度の算出を行う（ステップ７６）。The reliability calculating means 7 performs the processing in step 45 described above.
First, from the data (position / direction) relating to each of the small areas s1, s2, s3, and s4 obtained by the measurement processing of the three-dimensional data, which is the three-dimensional information of the straight line, first, the similarity at the time of stereo matching Is added to the measurement reliability of the straight line (C
li) is calculated (step 71), and then the angle between the reference image and the horizontal direction is defined as θ (Cli = Cli ×
(1 + 100 sin (θ)) is calculated (step 7)
2) After that, a combination of straight lines is selected (step 73), matched with the model data, and the degree of matching (Mj) with the model of each object is calculated (step 7).
4) After that, the position and orientation of the object are calculated from the combination of the straight lines M (minimum Mj) (step 75), and (measurement reliability = M + measurement measurement reliability of the combined straight line) is used as the measurement reliability. Calculation is performed (step 76).
【００５３】なお、このようにして、ステレオペア毎に
得られた計測結果の中で計測信頼度が最も高い計測結果
を物体の位置・姿勢としても良い。The measurement result having the highest measurement reliability among the measurement results obtained for each stereo pair in this manner may be used as the position / posture of the object.
【００５４】また、距離演算手段８は、まず、物体の３
次元位置・姿勢計測データを、高さ順に並べ替え（ステ
ップ８１）、次いで、上位高さにある物体を１つ、対象
物体として取り出し（ステップ８２）、そのものの計測
信頼度が所定の許容範囲内か否かの判定を行う。（ステ
ップ８３）。このとき許容範囲以上であれば再びステッ
プ８２へ戻るが、そうでない場合は、残りの物体から順
番に対象物体と比較するものとし（ステップ８４）、物
体を特定平面へ投影し（ステップ８５）、この２つの物
体の中心の２次元距離を計算を行う（ステップ８６）。Further, the distance calculation means 8 first determines the 3
The dimensional position / posture measurement data is rearranged in the order of height (step 81). Then, one object at a higher height is taken out as a target object (step 82), and the measurement reliability of the object is within a predetermined allowable range. Is determined. (Step 83). At this time, if it is more than the allowable range, the process returns to step 82 again. If not, the remaining objects are compared with the target object in order (step 84), and the object is projected on a specific plane (step 85). The two-dimensional distance between the centers of these two objects is calculated (step 86).
【００５５】上記の計算結果を受けて、比較手段９は、
まず、物体間の２次元距離が重なり可能しきい値Ｍ１よ
り大きいか否かを判定する（ステップ９１）。このとき
重なり可能しきい値Ｍ１以上であれば後述するステップ
９４へ移行するが、そうでない場合、投影された物体の
辺の関係で重なり判定を行うものとし（ステップ９
２）、重なり有りか否かの判定を行う（ステップ９
３）。このとき重なりがあれば再び上記距離演算手段８
のステップ８２へ戻るが、そうでない場合は、まだ比較
していない物体があるか否かを判定するものとし（ステ
ップ９４）、まだ比較していない物体のある場合は、上
記距離演算手段８のステップ８４へ戻るが、そうでない
場合は、上下に重なりのない物体と判定して物体Ａの特
定を行う（ステップ９５）。In response to the above calculation result, the comparison means 9
First, it is determined whether or not the two-dimensional distance between the objects is larger than the overlap possible threshold value M1 (step 91). At this time, if the value is equal to or more than the overlap possible threshold value M1, the process proceeds to step 94 described later. If not, the overlap determination is performed based on the relationship between the sides of the projected object (step 9).
2), it is determined whether or not there is an overlap (step 9)
3). At this time, if there is an overlap, the distance calculating means 8 is again used.
Returning to step 82, if not, it is determined whether there is any object that has not been compared yet (step 94). If there is an object that has not been compared yet, Returning to step 84, if not, it is determined that the object does not overlap vertically and the object A is specified (step 95).
【００５６】したがって、以上説明した物体特定装置１
及び物体特定方法によると、情報入力手段２にて、略水
平面Ｐ上に載置された複数の認識対象物体Ｂ、Ｂ…が撮
像されてその画像情報から各物体それぞれの載置状態情
報を取り込むことができる。信頼度演算手段７にて、前
記情報入力手段２にて得られる任意の認識対象物体の載
置状態情報と予め与えられたその物体の外形情報とによ
り該載置状態情報の信頼度を求めることができる。位置
演算手段５にて、同情報入力手段２にて得られる認識対
象物体Ｂ、Ｂ…の載置状態情報と前記信頼度の情報とを
演算して信頼度が所定値以上の物体相互間の位置情報を
求めることができる。特定手段６にて、同位置演算手段
５の位置情報から、任意の載置状態にある複数の同一外
形の認識対象の各物体相互の重なり状態を求めて、１つ
の物体を特定できるので、任意の載置状態にある複数の
同一外形の認識対象物体Ｂ、Ｂ…を正確に認識して１つ
の物体Ａを確実に特定できる。Therefore, the object identifying device 1 described above
According to the object specifying method, a plurality of recognition target objects B, B... Mounted on a substantially horizontal plane P are imaged by the information input means 2, and the mounting state information of each object is taken from the image information. be able to. The reliability calculation means 7 obtains the reliability of the mounting state information from the mounting state information of an arbitrary recognition target object obtained by the information input means 2 and the external shape information of the object given in advance. Can be. The position calculation means 5 calculates the placement state information of the recognition target objects B, B... Obtained by the information input means 2 and the information on the reliability, and calculates the reliability between objects having a reliability equal to or more than a predetermined value. Location information can be determined. The identifying means 6 can determine the overlapping state of the plurality of objects to be recognized having the same outer shape in a given mounting state from the position information of the same position calculating means 5 and identify one object. Can accurately identify the plurality of recognition target objects B, B,...
【００５７】また、位置演算手段５に設けられた距離演
算手段８にて、認識対象物体Ｂ、Ｂ…の任意の基準面
の、前記水平面Ｐ上における一方の物体と他方の物体相
互間の距離が演算される。特定手段６に設けられた比較
手段９にて、同演算結果の距離値が所定の距離値とを比
較され１つの物体を特定されるので、簡単な処理手順に
て認識対象の各物体相互の重なり状態を求めて、１つの
物体Ａを特定することができ、以て、短い処理時間にて
１つの物体Ａを特定できる。The distance calculating means 8 provided in the position calculating means 5 calculates the distance between one object and the other object on the horizontal plane P of an arbitrary reference plane of the recognition target objects B. Is calculated. The comparing means 9 provided in the specifying means 6 compares the distance value of the calculation result with a predetermined distance value and specifies one object, so that a simple processing procedure is used to identify each object to be recognized. One object A can be specified by determining the overlapping state, and thus one object A can be specified in a short processing time.
【００５８】［第３の実施の形態］図９は、第３の実施
の形態の物体特定装置の位置演算部の投影面演算処理を
示すフローチャートである。図１０は、同物体特定装置
の位置演算部の投影面演算処理の説明図である。[Third Embodiment] FIG. 9 is a flowchart showing the projection plane calculation processing of the position calculation unit of the object identification device according to the third embodiment. FIG. 10 is an explanatory diagram of a projection plane calculation process of a position calculation unit of the object specifying device.
【００５９】この実施の形態の物体特定装置１は、位置
演算部の演算処理の一部が第１の実施の形態と異なるも
ので、他の構成は第１の実施の形態のものと同一で、該
実施の形態の物体特定装置１は、位置演算手段５は、認
識対象物体Ｂ、Ｂ…の任意の基準面を前記水平面Ｐ上に
投影した、その各投影面相互の重なり状態を演算する投
影面演算手段１０を有し、特定手段６が、その演算結果
の重なり状態を判定する判定手段を備えてなる。The object identification device 1 of this embodiment differs from the first embodiment in a part of the operation processing of the position operation unit, and the other configuration is the same as that of the first embodiment. In the object identification device 1 of the embodiment, the position calculating means 5 calculates an overlapping state of the respective projection planes, which are obtained by projecting an arbitrary reference plane of the recognition target objects B, B. It has a projection plane calculating means 10, and the specifying means 6 has a judging means for judging an overlapping state of the calculation results.
【００６０】詳しくは、この位置演算手段５の投影面演
算手段１０は、図９に示すフローチャートに基づいて、
前述の３次元データの処理にて得られた載置状態情報を
前記水平面Ｐ上に投影させ、その各投影面相互の重なり
状態を演算して物体相互間の一方の物体Ｂ１と他方の物
体Ｂ２の重なり状態の判定演算行う。More specifically, the projection plane calculating means 10 of the position calculating means 5 is based on the flowchart shown in FIG.
The placement state information obtained by the above-described processing of the three-dimensional data is projected onto the horizontal plane P, and the overlapping state of the respective projection planes is calculated to calculate one of the objects B1 and the other object B2 between the objects. Is performed to determine the overlapping state of.
【００６１】具体的には、この場合、まず，２つの物体
Ｂ１、Ｂ２に対して、図１０（ａ）に示すように物体の
輪郭を特定の面に投影し、一方の物体Ｂ１を参照物体、
他方の物体Ｂ２を対象物体とする。そして，図１０
（ｂ）に示すように、前記参照物体である物体Ｂ１の辺
を、左回りの辺ベクトルｄ１、ｄ２、ｄ３、ｄ４とお
き，対象物体である物体Ｂ２の頂点をｅ１、ｅ２、ｅ
３、ｅ４と置く。次いで、前記頂点ｅ１、ｅ２、ｅ３、
ｅ４が左回りの辺ベクトルｄ１、ｄ２、ｄ３、ｄ４それ
ぞれの左半平面に存在する数を調べる。ここで、前記左
半平面に存在する頂点が１つでも存在すれば、前記の物
体Ｂ１、Ｂ２は重なりを生じていると判定することがで
きる。More specifically, in this case, first, as shown in FIG. 10A, the contours of the two objects B1 and B2 are projected onto a specific surface, and one of the objects B1 is referred to as a reference object. ,
The other object B2 is set as a target object. And FIG.
As shown in (b), the sides of the object B1 as the reference object are set as counterclockwise side vectors d1, d2, d3, and d4, and the vertices of the object B2 as the target object are e1, e2, e.
3, e4. Next, the vertices e1, e2, e3,
The number of e4 present in the left half plane of each of the counterclockwise side vectors d1, d2, d3, d4 is examined. Here, if at least one vertex exists in the left half plane, it can be determined that the objects B1 and B2 are overlapping.
【００６２】また，前記左半平面に存在する頂点が全く
無ければ、前記の物体Ｂ１、Ｂ２を入れ替えて同様の演
算処理を行い、その結果、前記左半平面に存在する頂点
が全く存在しなければ、物体Ｂ１、Ｂ２は重なりを生じ
ていないと判定でき、前記左半平面に存在する頂点が1
つでも存在すれば、物体Ｂ１、Ｂ２は重なりを生じてい
ると判定できる。このようにして、２つの物体Ｂ１、Ｂ
２の重なり状態の判定することができる。If there is no vertex existing in the left half plane, the same operation is performed by exchanging the objects B1 and B2. As a result, no vertex exists in the left half plane. Thus, it can be determined that the objects B1 and B2 do not overlap, and the vertex existing in the left half plane is 1
If there is at least one, it can be determined that the objects B1 and B2 are overlapping. Thus, the two objects B1, B
2 can be determined.
【００６３】次に、上記の手順を図９のフローチャート
に基づいて説明する。投影面演算手段１０は、まず、２
つの物体の輪郭を特定の面に投影し（ステップ１０
１）、次いで、一方の物体Ｂ１を参照物体、他方の物体
Ｂ２を対象物体とし（ステップ１０２）、参照物体であ
る物体Ｂ１の輪郭を左回りの辺ベクトルで構成する（ス
テップ１０３）。その後、対象物体である物体Ｂ２の１
つ以上の頂点が、物体Ｂ１の各辺ベクトルに対して、左
半平面にあるか否かの判定を行い（ステップ１０４）、
左半平面にある場合には物体Ｂ１、Ｂ２どうしは重なっ
ていると判定し（ステップ１０５）、前述の特定手段６
に設けられた判定手段にて、同演算結果の重なり状態が
判定され１つの物体を特定される。Next, the above procedure will be described with reference to the flowchart of FIG. First, the projection plane calculation means 10
Project the contours of the two objects onto a specific surface (step 10)
1) Next, one object B1 is set as a reference object, and the other object B2 is set as a target object (Step 102), and the contour of the object B1 as a reference object is formed by a left-handed side vector (Step 103). Then, one of the objects B2 as the target object
It is determined whether or not one or more vertices are on the left half plane with respect to each side vector of the object B1 (step 104).
If it is on the left half plane, it is determined that the objects B1 and B2 overlap (step 105),
The overlapping state of the calculation results is determined by the determination means provided in the step (a), and one object is specified.
【００６４】また、そうでないときにはフラグ確認を行
い（ステップ１０６）、参照面と対象面を入れ替えると
ともにフラグを変更して、再びステップ１０３へ移行す
る（ステップ１０７）が、上記ステップ１０６のフラグ
確認結果が、参照物体及び対象物体の入れ替え後の処理
であるときには、物体Ｂ１、Ｂ２どうしは重なっていな
い可能性があると判定する（ステップ１０８）。なお、
この場合には、その後、更に詳しい判定を行うために位
置演算手段５の前述のステップ５１に移行している。If not, the flag is checked (step 106), the reference plane and the target plane are exchanged, the flag is changed, and the process returns to step 103 (step 107). Is the process after the replacement of the reference object and the target object, it is determined that there is a possibility that the objects B1 and B2 do not overlap (step 108). In addition,
In this case, the process proceeds to the above-mentioned step 51 of the position calculating means 5 in order to make a more detailed determination.
【００６５】したがって、以上説明した物体特定装置１
によると、位置演算手段５に設けられた投影面演算手段
１０にて、認識対象物体の任意の基準面を前記水平面Ｐ
上に投影した、その各投影面相互の重なり状態が演算さ
れる。特定手段６に設けられた判定手段にて、同演算結
果の重なり状態が判定され１つの物体を特定されるの
で、簡単な処理手順にて認識対象の各物体相互の重なり
状態のある旨判定して１つの物体Ａを特定することがで
き、以て、短い処理時間にて重なりのある１つの物体Ａ
を特定できる。Therefore, the object identification device 1 described above
According to the above, an arbitrary reference plane of the recognition target object is set in the horizontal plane P by the projection plane arithmetic unit 10 provided in the position arithmetic unit 5.
An overlapping state of the projection planes projected on each other is calculated. The determining unit provided in the specifying unit 6 determines the overlapping state of the calculation results and identifies one object. Therefore, it is determined that there is an overlapping state among the objects to be recognized by a simple processing procedure. One object A can be identified by the
Can be specified.
【００６６】［第４の実施の形態］図１１は、第４の実
施の形態の物体特定装置の位置演算部の記憶処理を示す
フローチャートである。図１２は、同物体特定装置の位
置演算部の記憶処理の説明図である。[Fourth Embodiment] FIG. 11 is a flowchart showing the storage processing of the position calculation unit of the object identification device according to the fourth embodiment. FIG. 12 is an explanatory diagram of a storage process of a position calculation unit of the object specifying device.
【００６７】この実施の形態の物体特定装置は、位置演
算部の演算処理の一部が第１の実施の形態と異なるもの
で、他の構成は第１の実施の形態のものと同一で、該実
施の形態の物体特定装置１は、位置演算手段５は、前記
情報入力手段２にて得られる任意の基準面の３次元位置
情報から認識対象物体Ｂ、Ｂ…の傾き状態を演算すると
ともにその傾き状態の大きい物体を特定の除外対象とし
て記憶する記憶手段１１を有し、特定手段６が、同記憶
手段１１の記憶情報を加えて演算するようなしている。The object specifying apparatus of this embodiment differs from the first embodiment in a part of the operation processing of the position operation unit, and the other configuration is the same as that of the first embodiment. In the object identification device 1 of this embodiment, the position calculating means 5 calculates the inclination state of the recognition target objects B from the three-dimensional position information of an arbitrary reference plane obtained by the information input means 2. The storage unit 11 stores the object having a large inclination state as a specific exclusion target, and the specifying unit 6 calculates by adding information stored in the storage unit 11.
【００６８】詳しくは、この位置演算手段５は、第１の
実施の形態にて説明した情報入力手段２による３次元デ
ータの処理にて得られた載置状態情報から、前記の把持
手段１３による把持失敗が発生することなく、精度良く
把持しやすい状態の物体を特定するため、把持し損なう
可能性のあるものを把持対象物体から除外し特定する方
法で、この実施の形態の物体特定装置１のメインフロー
に連なる、図１１に示すフローチャートのＳ６１からＳ
６３に示す過程で、その傾き状態の大きい物体を特定の
除外対象として記憶するための記憶手段１１を備えてい
る。More specifically, the position calculating means 5 uses the holding state information obtained by the processing of the three-dimensional data by the information input means 2 described in the first embodiment. In order to accurately identify an object that is easy to grasp without causing a failure in grasping, the object identifying device 1 according to the present embodiment is a method of excluding and identifying objects that may possibly fail to grasp from grasping objects. S61 through S61 of the flowchart shown in FIG.
In the process indicated by 63, a storage means 11 for storing an object having a large inclination state as a specific exclusion target is provided.
【００６９】具体的には、把持失敗が発生しやすい状態
の物体とは、例えば図１２（ａ）に示すように、把持対
象物体Ｂの傾きが大きく，把持手段１３がアプローチで
きないもの、あるいは把持手段１３の接触等によってそ
のアプローチの把持以前に把持対象物体Ｂの位置・姿勢
が変化してしまう状態にある物体が一例として挙げられ
る。そのため、このような傾きの大きい物体は、把持手
段１３による把持失敗が発生する可能性が大として図１
１に示すフローチャートの手順に基づいて、前述の３次
元データの処理にて得られた物体の載置状態情報である
平行ステレオ画像情報から相互位置関係を判定し、把持
対象物体Ａとして決定した後、その傾きが大きい場合に
は把持失敗が発生しやすいものであると判定して記憶手
段１１に記憶させ、その後再びこの把持対象物体Ａと重
なりのない他の把持対象物体Ａを特定する。More specifically, an object in a state in which gripping failure is likely to occur is, for example, an object in which the gripping target object B has a large inclination and cannot be approached by the gripping means 13 as shown in FIG. An example is an object in a state where the position / posture of the object B to be grasped changes before grasping the approach due to contact of the means 13 or the like. Therefore, such an object having a large inclination is likely to cause a failure in gripping by the gripping unit 13 as shown in FIG.
After determining the mutual positional relationship from the parallel stereo image information that is the placement state information of the object obtained by the above-described processing of the three-dimensional data based on the procedure of the flowchart illustrated in FIG. If the inclination is large, it is determined that a grip failure is likely to occur, and the result is stored in the storage unit 11. Thereafter, another grip target object A that does not overlap with the grip target object A is specified again.
【００７０】なお、把持失敗が発生しやすいものである
と判定して記憶手段１１に記憶させるものは、上記の傾
きが大きいもの以外に、図１２（ｂ）に示すように、例
えば計測誤差が大きくて前述の載置状態情報の信頼度の
低い場合に、実際の物体Ｂと外れた位置として載置状態
情報が求まる場合、あたかも破線にて示す位置に物体Ｂ
があるように誤った判定をするのを防止するために記憶
させても良い。It is to be noted that, in addition to those having a large inclination as described above, for example, as shown in FIG. When the placement state information is large and the reliability of the placement state information is low, and the placement state information is obtained as a position deviating from the actual object B, the object B is positioned at a position indicated by a broken line.
May be stored in order to prevent making an erroneous determination.
【００７１】次に、上記の手順を図１１のフローチャー
トに基づいて説明する。この物体特定装置１は、プログ
ラムがスタートすると（ステップ１）、まず、情報入力
手段２にて３次元位置・姿勢計測がなされ（ステップ
２）、次いで、位置演算手段５にて相互位置関係判定が
なされ（ステップ５）、その後、特定手段６にて、ま
ず、把持対象物体が決定され（ステップ６１）、把持対
象物体の位置・姿勢で傾きが大きいか否かが判定される
が（ステップ６２）、このときその傾き状態が所定の値
より大きいときには記憶手段１１に記憶され（ステップ
１１）、再びステップ２へ移行する。また、その傾き状
態が所定の値より小さいときにはこの把持対象物体と重
なりの無い他の把持対象物体を決定する（ステップ６
３）。なお、このとき、重なり状態の判定は、物体の重
なりのある場合についてのみ上記の処理を行うことで、
より効率的に物体同士の相互の位置関係を判定すること
ができる。Next, the above procedure will be described with reference to the flowchart of FIG. When the program starts (step 1), the object identification device 1 first measures three-dimensional position and orientation by the information input means 2 (step 2), and then determines the mutual positional relationship by the position calculation means 5. This is performed (step 5), and then, the specifying unit 6 first determines the object to be grasped (step 61), and determines whether the position / posture of the object to be grasped has a large inclination (step 62). At this time, if the inclination state is larger than the predetermined value, it is stored in the storage means 11 (step 11), and the process returns to step 2. If the tilt state is smaller than a predetermined value, another grasp target object that does not overlap with the grasp target object is determined (step 6).
3). At this time, the determination of the overlapping state is performed by performing the above processing only when there is an overlapping of the objects.
The mutual positional relationship between objects can be determined more efficiently.
【００７２】したがって、以上説明した物体特定装置１
によると、位置演算手段５に設けられた記憶手段１１に
て、前記情報入力手段２にて得られる任意の基準面の３
次元位置情報から認識対象物体の傾き状態を演算された
その傾き状態の大きい物体が特定の除外対象として記憶
される。特定手段６にて、同記憶手段１１の記憶情報を
加えて演算され１つの物体を特定されるので、記憶手段
１１に記憶された把持失敗が発生しやすいものであると
判定された物体を予め除外して判定がなされ、以て、よ
り短時間に物体Ａを特定できる。Therefore, the object specifying device 1 described above
According to the above, in the storage means 11 provided in the position calculation means 5, an arbitrary reference plane 3 obtained by the information input means 2 is stored.
An object having a large tilt state, which is obtained by calculating the tilt state of the recognition target object from the dimensional position information, is stored as a specific exclusion target. The specifying means 6 calculates one by adding the information stored in the storage means 11 and specifies one object. Therefore, the object stored in the storage means 11 which is determined to be likely to cause gripping failure is determined in advance. The determination is made with exclusion, whereby the object A can be specified in a shorter time.
【００７３】なお、本発明の物体特定方法は、上記の処
理手順に示したもの以外に、例えば、図１３のフローチ
ャートに示すように、まず、物体の３次元位置・姿勢を
計測し、相互位置関係を判定し、次いで、前述の相互位
置関係の演算結果を用いて重なり状態のない物体が存在
するかを判定、重なり状態のない物体が存在する場合に
は、さらに重なり状態のないの物体は２つ以上存在する
かどうかを判定し、このとき、１つしか存在しなければ
この物体を把持対象物体と決定し、２つ以上存在すれば
計測信頼度の高い方の物体を把持対象物体とし、また、
一方、相互位置関係の演算結果において、重なり状態の
ある場合には、さらに重なりの状態の組みが２つ以上存
在するかどうかを判定して、重なりの状態の組みが１つ
であれば重なりの最上部の物体を把持対象物体と決定
し、また、重なりの状態の組みが２つ以上存在していれ
ば、各重なりの最上部の物体を全て選び出して計測信頼
度が最も高い物体を把持対象物体と決定する等、各種手
順を組み合わたものを含むことは言うまでもない。In the object specifying method of the present invention, in addition to the above-described processing procedure, for example, as shown in the flowchart of FIG. Determine the relationship, and then determine whether there is an object without an overlap state using the above-described calculation result of the mutual positional relationship.If there is an object without an overlap state, an object without an overlap state is further determined. It is determined whether or not there are two or more objects. At this time, if there is only one object, the object is determined as the object to be grasped. If there are two or more objects, the object having higher measurement reliability is regarded as the object to be grasped. ,Also,
On the other hand, in the calculation result of the mutual positional relationship, if there is an overlapping state, it is further determined whether or not two or more sets of overlapping states exist. The top object is determined as the object to be grasped, and if there are two or more sets of overlapping states, all the objects at the top of each overlap are selected and the object with the highest measurement reliability is grasped. Needless to say, it includes a combination of various procedures such as determining an object.
【００７４】[0074]
【発明の効果】本発明の物体特定方法及び装置は、上述
の実施態様の如く実施されて、情報入力手段にて、略水
平面上に載置された複数の認識対象物体が撮像されてそ
の画像情報から各物体それぞれの載置状態情報を取り込
むことができる。位置演算手段にて、同情報入力手段に
て得られる認識対象物体の載置状態情報から各物体相互
間の位置情報を求めることができる。特定手段にて、同
位置演算手段の位置情報から、任意の載置状態にある複
数の同一外形の認識対象の各物体相互の重なり状態を求
めて、１つの物体を特定できるので、任意の載置状態に
ある複数の同一外形の認識対象物体を正確に認識して１
つの物体を確実に特定できる。The object specifying method and apparatus of the present invention are implemented as in the above-described embodiment, and a plurality of recognition target objects placed on a substantially horizontal plane are imaged by the information input means, and the images thereof are obtained. The placement state information of each object can be captured from the information. Position information between the objects can be obtained by the position calculation means from the placement state information of the recognition target object obtained by the information input means. The specifying means obtains, from the position information of the same position calculating means, the overlapping state of the plurality of objects having the same outer shape and which are to be recognized, and identifies one object. Accurately recognizes multiple recognition target objects with the same external shape
Two objects can be specified reliably.
【００７５】また、情報入力手段にて、略水平面上に載
置された複数の認識対象物体が撮像されてその画像情報
から各物体それぞれの載置状態情報を取り込むことがで
きる。信頼度演算手段にて、前記情報入力手段にて得ら
れる任意の認識対象物体の載置状態情報と予め与えられ
たその物体の外形情報とにより該載置状態情報の信頼度
を求めることができる。位置演算手段にて、同情報入力
手段にて得られる認識対象物体の載置状態情報と前記信
頼度の情報とを演算して信頼度が所定値以上の物体相互
間の位置情報を求めることができる。特定手段にて、同
位置演算手段の位置情報から、任意の載置状態にある複
数の同一外形の認識対象の各物体相互の重なり状態を求
めて、１つの物体を特定できるので、任意の載置状態に
ある複数の同一外形の認識対象物体を正確に認識して１
つの物体を確実に特定できる。Further, a plurality of recognition target objects placed on a substantially horizontal plane are imaged by the information input means, and the placement state information of each object can be taken from the image information. The reliability calculating means can determine the reliability of the mounting state information from the mounting state information of an arbitrary recognition target object obtained by the information input means and the external shape information of the object given in advance. . The position calculation means may calculate the placement state information of the recognition target object obtained by the information input means and the reliability information to obtain position information between objects having a reliability equal to or more than a predetermined value. it can. The specifying means obtains, from the position information of the same position calculating means, the overlapping state of the plurality of objects having the same outer shape and which are to be recognized, and identifies one object. Accurately recognizes multiple recognition target objects with the same external shape
Two objects can be specified reliably.
【００７６】そして、情報入力手段にて、認識対象物体
の任意の基準面の３次元位置情報が取り込まれる。位置
演算手段にて、同認識対象物体相互の一方の物体と他方
の物体との該基準面どうしの相対的な高さ位置が演算さ
れるので、より正確に認識対象物体を認識して１つの物
体をでき、以て、例えば把持失敗の発生を少なくでき
る。Then, the information input means fetches three-dimensional position information of an arbitrary reference plane of the object to be recognized. The relative height position between the reference planes of one object and the other object of the same recognition target object is calculated by the position calculation means, so that the recognition target object can be more accurately recognized and An object can be formed, and thus, for example, occurrence of grip failure can be reduced.
【００７７】また、位置演算手段に設けられた距離演算
手段にて、認識対象物体の任意の基準面の、前記水平面
上における一方の物体と他方の物体相互間の距離が演算
される。特定手段に設けられた比較手段にて、同演算結
果の距離値が所定の距離値とを比較され１つの物体を特
定されるので、簡単な処理手順にて認識対象の各物体相
互の重なり状態を求めて、１つの物体を特定することが
でき、以て、短い処理時間にて１つの物体を特定でき
る。In addition, the distance calculating means provided in the position calculating means calculates the distance between one object and the other object on the horizontal plane of an arbitrary reference plane of the object to be recognized. The comparing means provided in the specifying means compares the distance value of the calculation result with a predetermined distance value and specifies one object, so that the overlapping state of the objects to be recognized is determined by a simple processing procedure. , One object can be specified, so that one object can be specified in a short processing time.
【００７８】また、位置演算手段に設けられた投影面演
算手段にて、認識対象物体の任意の基準面を前記水平面
上に投影した、その各投影面相互の重なり状態が演算さ
れる。特定手段に設けられた判定手段にて、同演算結果
の重なり状態が判定され１つの物体を特定されるので、
簡単な処理手順にて認識対象の各物体相互の重なり状態
のある旨判定して１つの物体を特定することができ、以
て、短い処理時間にて重なりのある１つの物体を特定で
きる。Further, the projection plane computing means provided in the position computing means computes an overlapping state of the respective projection planes obtained by projecting an arbitrary reference plane of the object to be recognized on the horizontal plane. Since the determination unit provided in the specifying unit determines the overlapping state of the calculation results and specifies one object,
It is possible to determine that there is an overlapping state among the objects to be recognized by a simple processing procedure, and to specify one object, so that one overlapping object can be specified in a short processing time.
【００７９】また、位置演算手段に設けられた記憶手段
にて、前記情報入力手段にて得られる任意の基準面の３
次元位置情報から認識対象物体の傾き状態を演算された
その傾き状態の大きい物体が特定の除外対象として記憶
される。特定手段にて、同記憶手段の記憶情報を加えて
演算され１つの物体を特定されるので、記憶手段に記憶
された把持失敗が発生しやすいものであると判定された
物体を予め除外して判定がなされ、以て、より短時間に
物体を特定できる。Further, the storage means provided in the position calculating means stores an arbitrary reference plane 3 obtained by the information input means.
An object having a large tilt state, which is obtained by calculating the tilt state of the recognition target object from the dimensional position information, is stored as a specific exclusion target. The specifying means calculates one of the objects by adding the information stored in the storage means, and specifies one object. Therefore, the object stored in the storage means and which is determined to be one in which the failure in gripping is likely to occur is excluded in advance. The determination is made, and the object can be specified in a shorter time.
【００８０】[0080]
【図１】本発明の第１の実施の形態の物体特定方法を使
用する物体特定装置を示す概略構成図である。FIG. 1 is a schematic configuration diagram illustrating an object identification device that uses an object identification method according to a first embodiment of the present invention.
【図２】同実施の形態の物体特定方法を示すフローチャ
ートである。FIG. 2 is a flowchart illustrating an object identification method according to the embodiment;
【図３】同物体特定装置の３次元画像処理を示す説明図
である。FIG. 3 is an explanatory diagram showing three-dimensional image processing of the object specifying device.
【図４】同物体特定装置の位置演算部の演算処理の説明
図である。FIG. 4 is an explanatory diagram of a calculation process of a position calculation unit of the object specifying device.
【図５】第２の実施の形態の物体特定装置の位置演算部
の信頼度演算処理を示すフローチャートである。FIG. 5 is a flowchart illustrating a reliability calculation process of a position calculation unit of the object identification device according to the second embodiment.
【図６】同物体特定装置の物体特定方法の信頼度演算手
段の説明図である。FIG. 6 is an explanatory diagram of reliability calculating means of the object specifying method of the object specifying device.
【図７】同物体特定装置の位置演算部の距離演算処理を
示すフローチャートである。FIG. 7 is a flowchart showing a distance calculation process of a position calculation unit of the object specifying device.
【図８】同物体特定装置の位置演算部の距離演算処理の
説明図である。FIG. 8 is an explanatory diagram of a distance calculation process of a position calculation unit of the object specifying device.
【図９】第３の実施の形態の物体特定装置の位置演算部
の投影面演算処理を示すフローチャートである。FIG. 9 is a flowchart illustrating a projection plane calculation process of a position calculation unit of the object identification device according to the third embodiment.
【図１０】同物体特定装置の位置演算部の投影面演算処
理の説明図である。FIG. 10 is an explanatory diagram of a projection plane calculation process of a position calculation unit of the object specifying device.
【図１１】第４の実施の形態の物体特定装置の位置演算
部の記憶処理を示すフローチャートである。FIG. 11 is a flowchart illustrating a storage process of a position calculation unit of the object identification device according to the fourth embodiment.
【図１２】同物体特定装置の位置演算部の記憶処理の説
明図である。FIG. 12 is an explanatory diagram of a storage process of a position calculation unit of the object identification device.
【図１３】本発明の他の実施例の物体特定方法を示すフ
ローチャートである。FIG. 13 is a flowchart illustrating an object identification method according to another embodiment of the present invention.
１ 物体特定装置 ２ 情報入力手段 ５ 位置演算手段 ６ 特定手段 ７ 信頼度演算手段 ８ 距離演算手段 ９ 比較手段 １０ 投影面演算手段 １１ 記憶手段 Ａ 物体 Ｂ 認識対象物体 Ｂ１ 一方の物体 Ｂ２ 他方の物体 Ｐ 水平面 REFERENCE SIGNS LIST 1 object specifying device 2 information input means 5 position calculating means 6 specifying means 7 reliability calculating means 8 distance calculating means 9 comparing means 10 projection plane calculating means 11 storage means A object B recognition target object B1 one object B2 other object P Horizontal plane
───────────────────────────────────────────────────── フロントページの続き (72)発明者 荒木 秀和 大阪府門真市大字門真1048番地松下電工株 式会社内 (72)発明者 顧 海松 大阪府門真市大字門真1048番地松下電工株 式会社内 Ｆターム(参考） 2F065 AA00 AA04 AA06 AA20 AA24 AA31 AA51 BB05 DD06 FF05 JJ03 JJ05 PP11 PP25 QQ00 QQ21 QQ23 QQ24 QQ25 QQ27 QQ38 5B057 AA05 DA07 DB03 ──────────────────────────────────────────────────続 き Continuing from the front page (72) Inventor Hidekazu Araki 1048, Kazumasa Kadoma, Kadoma-shi, Osaka Matsushita Electric Works, Ltd. Terms (reference) 2F065 AA00 AA04 AA06 AA20 AA24 AA31 AA51 BB05 DD06 FF05 JJ03 JJ05 PP11 PP25 QQ00 QQ21 QQ23 QQ24 QQ25 QQ27 QQ38 5B057 AA05 DA07 DB03
Claims (8)
認識対象物体から１つの物体を特定する物体特定方法で
あって、 略水平面上に載置された複数の認識対象物体を撮像して
その画像情報から各物体それぞれの載置状態情報を求
め、その各載置状態情報から各物体相互間の位置情報を
求め、この位置情報から各物体相互の重なり状態を求め
て判定して１つの物体を特定する物体特定方法。1. An object specifying method for specifying one object from a plurality of recognition target objects having the same outer shape in an arbitrary mounted state, wherein a plurality of recognition target objects mounted on a substantially horizontal plane are imaged. Then, the mounting state information of each object is obtained from the image information, the position information between the objects is obtained from the mounting state information, and the overlapping state between the objects is obtained from the position information to make a decision. An object identification method that identifies two objects.
認識対象物体から１つの物体を特定する物体特定方法で
あって、 略水平面上に載置された複数の認識対象物体を撮像して
その画像情報から各物体それぞれの載置状態情報を求
め、その各載置状態情報における任意の認識対象物体の
載置状態情報と予め与えられたその物体の外形情報とに
より前記載置状態情報の信頼度を求めるとともに、同各
載置状態情報から各物体相互間の位置情報を求め、この
位置情報から各物体相互の重なり状態を求めるととも
に、その重なり状態の上方位置のものから順次に前記信
頼度が所定値以上か否かを判定して１つの物体を特定す
る物体特定方法。2. An object specifying method for specifying one object from a plurality of recognition target objects having the same outer shape in an arbitrary mounting state, wherein a plurality of recognition target objects mounted on a substantially horizontal plane are imaged. The placement state information of each object is obtained from the image information, and the placement state information of any object to be recognized in the placement state information and the external form information of the object given in advance are used to describe the placement state information. And the position information between the objects is obtained from the mounting state information, and the overlapping state of the objects is obtained from the position information. An object identification method for identifying one object by determining whether the reliability is equal to or greater than a predetermined value.
認識対象から１つの物体を特定する物体特定装置であっ
て、 略水平面上に載置された複数の認識対象物体を撮像して
その画像情報から各物体それぞれの載置状態情報を取り
込む情報入力手段と、この情報入力手段にて得られる認
識対象物体の載置状態情報から各物体相互間の位置情報
を求める位置演算手段と、この位置演算手段の位置情報
から各物体相互の重なり状態を求めて１つの物体を特定
する特定手段とを備えてなる物体特定装置。3. An object specifying apparatus for specifying one object from a plurality of recognition targets having the same outer shape in an arbitrary mounted state, wherein the plurality of recognition target objects mounted on a substantially horizontal plane are imaged. Information input means for capturing the placement state information of each object from the image information, position calculation means for obtaining positional information between the objects from the placement state information of the recognition target object obtained by the information input means, An object identification device comprising: identification means for identifying one object by obtaining the overlapping state of the objects from the position information of the position calculation means.
認識対象から１つの物体を特定する物体特定装置であっ
て、 略水平面上に載置された複数の認識対象物体を撮像して
その画像情報から各物体それぞれの載置状態情報を取り
込む情報入力手段と、この情報入力手段にて得られる任
意の認識対象物体の載置状態情報と予め与えられたその
物体の外形情報とにより該載置状態情報の信頼度を求め
る信頼度演算手段と、前記情報入力手段にて得られる認
識対象物体の載置状態情報と前記信頼度の情報とを演算
して信頼度が所定値以上の物体相互間の位置情報を求め
る位置演算手段と、この位置演算手段の位置情報から各
物体相互の重なり状態を求めて１つの物体を特定する特
定手段とを備えてなる物体特定装置。4. An object specifying device for specifying one object from a plurality of recognition targets having the same outer shape in an arbitrary mounted state, wherein an image of a plurality of recognition target objects mounted on a substantially horizontal plane is captured. Information input means for capturing the placement state information of each object from the image information, and the placement state information of an arbitrary recognition target object obtained by the information input means and the external shape information of the object given in advance. A reliability calculating means for obtaining the reliability of the mounting state information; and an object having a reliability higher than a predetermined value by calculating the mounting state information of the recognition target object and the reliability information obtained by the information input means. An object specifying apparatus, comprising: position calculating means for obtaining mutual positional information; and specifying means for determining an overlapping state of each object from the positional information of the position calculating means to specify one object.
基準面の３次元位置情報を取り込むとともに、位置演算
手段が、該認識対象物体相互の一方の物体と他方の物体
との該基準面どうしの相対的な高さ位置を演算するよう
なしたことを特徴とする請求項３又は４記載の物体特定
装置。5. The information input means takes in three-dimensional position information of an arbitrary reference plane of the recognition target object, and the position calculation means makes the reference plane of one object and the other object of the recognition target object mutually. 5. The object specifying device according to claim 3, wherein relative height positions between the objects are calculated.
基準面の、前記水平面上における一方の物体と他方の物
体相互間の距離を演算する距離演算手段を有し、特定手
段が、その演算結果の距離値を所定の距離値とを比較す
る比較手段を備えてなることを特徴とする請求項５記載
の物体特定装置。6. The position calculating means has a distance calculating means for calculating a distance between one object and the other object on the horizontal plane of an arbitrary reference plane of the object to be recognized. 6. The object specifying apparatus according to claim 5, further comprising a comparison unit that compares a distance value of the calculation result with a predetermined distance value.
基準面を前記水平面上に投影した、その各投影面相互の
重なり状態を演算する投影面演算手段を有し、特定手段
が、その演算結果の重なり状態を判定する判定手段を備
えてなることを特徴とする請求項５記載の物体特定装
置。7. The position calculating means has a projection plane calculating means for calculating an overlapping state of the respective projection planes obtained by projecting an arbitrary reference plane of the object to be recognized on the horizontal plane, and the specifying means comprises: 6. The object specifying apparatus according to claim 5, further comprising a determination unit configured to determine an overlap state of the calculation results.
得られる任意の基準面の３次元位置情報から認識対象物
体の傾き状態を演算するとともにその傾き状態の大きい
物体を特定の除外対象として記憶する記憶手段を有し、
特定手段が、同記憶手段の記憶情報を加えて演算するよ
うなしたことを特徴とする請求項５乃至７のいずれか一
つの請求項記載の物体特定装置。8. The position calculating means calculates a tilt state of the recognition target object from three-dimensional position information of an arbitrary reference plane obtained by the information input means, and designates an object having a large tilt state as a specific exclusion target. Having storage means for storing,
8. The object identification apparatus according to claim 5, wherein the identification unit performs an operation by adding information stored in the storage unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11317099A JP3654042B2 (en) | 1999-04-21 | 1999-04-21 | Object identification method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11317099A JP3654042B2 (en) | 1999-04-21 | 1999-04-21 | Object identification method and apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000304509A true JP2000304509A (en) | 2000-11-02 |
| JP3654042B2 JP3654042B2 (en) | 2005-06-02 |
Family
ID=14605343
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11317099A Expired - Lifetime JP3654042B2 (en) | 1999-04-21 | 1999-04-21 | Object identification method and apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3654042B2 (en) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009248214A (en) * | 2008-04-03 | 2009-10-29 | Kanto Auto Works Ltd | Image processing device and robot control system |
| JP2010064202A (en) * | 2008-09-11 | 2010-03-25 | Ihi Corp | Picking device and method |
| JP2010071743A (en) * | 2008-09-17 | 2010-04-02 | Yaskawa Electric Corp | Method of detecting object, object detection device and robot system |
| JP2011041990A (en) * | 2009-08-19 | 2011-03-03 | Denso Wave Inc | Robot control apparatus and method of teaching robot |
| JP2011095858A (en) * | 2009-10-27 | 2011-05-12 | Panasonic Electric Works Co Ltd | Three-dimensional digitizer |
| US7996114B2 (en) | 2006-05-29 | 2011-08-09 | Fanuc Ltd | Workpiece picking device and method |
| WO2012066819A1 (en) * | 2010-11-17 | 2012-05-24 | 三菱電機株式会社 | Work pick-up apparatus |
| JP2013052490A (en) * | 2011-09-06 | 2013-03-21 | Mitsubishi Electric Corp | Workpiece takeout device |
| JP2016045088A (en) * | 2014-08-22 | 2016-04-04 | 西部電機株式会社 | Indeterminate form position estimating method, indeterminate form position estimation apparatus and program |
| JP2016181183A (en) * | 2015-03-24 | 2016-10-13 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
| JP2017039189A (en) * | 2015-08-20 | 2017-02-23 | 株式会社東芝 | Layout detector and picking apparatus |
| WO2018131108A1 (en) * | 2017-01-12 | 2018-07-19 | 株式会社Ｆｕｊｉ | Work machine and pick-up position selection method |
| JP2018111140A (en) * | 2017-01-10 | 2018-07-19 | オムロン株式会社 | Image processing system, image processing apparatus, workpiece pickup method, and workpiece pickup program |
| WO2018163613A1 (en) * | 2017-03-10 | 2018-09-13 | 株式会社 東芝 | Conveying device |
| WO2020121399A1 (en) * | 2018-12-11 | 2020-06-18 | 株式会社Ｆｕｊｉ | Robot control system and robot control method |
| JP2020183019A (en) * | 2019-05-09 | 2020-11-12 | トヨタ自動車株式会社 | Work-piece identification method |
| CN111937037A (en) * | 2018-03-30 | 2020-11-13 | 日本电气方案创新株式会社 | Object recognition apparatus, object recognition method, and non-transitory computer-readable medium storing control program |
| JP2021051548A (en) * | 2019-09-25 | 2021-04-01 | 東芝テック株式会社 | Article recognition device |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6245880B2 (en) | 2013-07-31 | 2017-12-13 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06249631A (en) * | 1993-02-26 | 1994-09-09 | Murata Mach Ltd | Method for measuring three-dimensional image of cargo |
| JPH07299782A (en) * | 1994-04-26 | 1995-11-14 | Kawasaki Heavy Ind Ltd | Method and device for image preparation for depalletizing |
| JPH08271223A (en) * | 1995-02-03 | 1996-10-18 | Kobe Steel Ltd | Device for recognizing object position |
| JPH09255158A (en) * | 1996-03-22 | 1997-09-30 | Kobe Steel Ltd | Article disposition recognizing device |
| JPH1031742A (en) * | 1996-07-15 | 1998-02-03 | Mitsubishi Electric Corp | Image processor and object transfer device |
-
1999
- 1999-04-21 JP JP11317099A patent/JP3654042B2/en not_active Expired - Lifetime
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06249631A (en) * | 1993-02-26 | 1994-09-09 | Murata Mach Ltd | Method for measuring three-dimensional image of cargo |
| JPH07299782A (en) * | 1994-04-26 | 1995-11-14 | Kawasaki Heavy Ind Ltd | Method and device for image preparation for depalletizing |
| JPH08271223A (en) * | 1995-02-03 | 1996-10-18 | Kobe Steel Ltd | Device for recognizing object position |
| JPH09255158A (en) * | 1996-03-22 | 1997-09-30 | Kobe Steel Ltd | Article disposition recognizing device |
| JPH1031742A (en) * | 1996-07-15 | 1998-02-03 | Mitsubishi Electric Corp | Image processor and object transfer device |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7996114B2 (en) | 2006-05-29 | 2011-08-09 | Fanuc Ltd | Workpiece picking device and method |
| JP2009248214A (en) * | 2008-04-03 | 2009-10-29 | Kanto Auto Works Ltd | Image processing device and robot control system |
| JP2010064202A (en) * | 2008-09-11 | 2010-03-25 | Ihi Corp | Picking device and method |
| JP2010071743A (en) * | 2008-09-17 | 2010-04-02 | Yaskawa Electric Corp | Method of detecting object, object detection device and robot system |
| JP2011041990A (en) * | 2009-08-19 | 2011-03-03 | Denso Wave Inc | Robot control apparatus and method of teaching robot |
| JP2011095858A (en) * | 2009-10-27 | 2011-05-12 | Panasonic Electric Works Co Ltd | Three-dimensional digitizer |
| JPWO2012066819A1 (en) * | 2010-11-17 | 2014-05-12 | 三菱電機株式会社 | Work picking device |
| JP5558585B2 (en) * | 2010-11-17 | 2014-07-23 | 三菱電機株式会社 | Work picking device |
| US9089966B2 (en) | 2010-11-17 | 2015-07-28 | Mitsubishi Electric Corporation | Workpiece pick-up apparatus |
| WO2012066819A1 (en) * | 2010-11-17 | 2012-05-24 | 三菱電機株式会社 | Work pick-up apparatus |
| JP2013052490A (en) * | 2011-09-06 | 2013-03-21 | Mitsubishi Electric Corp | Workpiece takeout device |
| JP2016045088A (en) * | 2014-08-22 | 2016-04-04 | 西部電機株式会社 | Indeterminate form position estimating method, indeterminate form position estimation apparatus and program |
| CN105513040A (en) * | 2014-08-22 | 2016-04-20 | 西部电机株式会社 | Shapeless body position presumption method, and shapeless body position presumption device and program |
| CN105513040B (en) * | 2014-08-22 | 2020-05-05 | 西部电机株式会社 | Method for estimating position of amorphous body, device for estimating position of amorphous body, and program |
| US10532459B2 (en) | 2015-03-24 | 2020-01-14 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium for grasping an object |
| JP2016181183A (en) * | 2015-03-24 | 2016-10-13 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
| JP2017039189A (en) * | 2015-08-20 | 2017-02-23 | 株式会社東芝 | Layout detector and picking apparatus |
| JP2018111140A (en) * | 2017-01-10 | 2018-07-19 | オムロン株式会社 | Image processing system, image processing apparatus, workpiece pickup method, and workpiece pickup program |
| JP7047249B2 (en) | 2017-01-10 | 2022-04-05 | オムロン株式会社 | Image processing system, image processing device, work pickup method, and work pickup program |
| WO2018131108A1 (en) * | 2017-01-12 | 2018-07-19 | 株式会社Ｆｕｊｉ | Work machine and pick-up position selection method |
| JPWO2018131108A1 (en) * | 2017-01-12 | 2019-11-07 | 株式会社Ｆｕｊｉ | Working machine and sampling position selection method |
| US11745957B2 (en) | 2017-03-10 | 2023-09-05 | Kabushiki Kaisha Toshiba | Transport device |
| JP2018149618A (en) * | 2017-03-10 | 2018-09-27 | 株式会社東芝 | Transfer device |
| WO2018163613A1 (en) * | 2017-03-10 | 2018-09-13 | 株式会社 東芝 | Conveying device |
| CN111937037A (en) * | 2018-03-30 | 2020-11-13 | 日本电气方案创新株式会社 | Object recognition apparatus, object recognition method, and non-transitory computer-readable medium storing control program |
| CN111937037B (en) * | 2018-03-30 | 2024-06-18 | 日本电气方案创新株式会社 | Object recognition device, object recognition method, and non-transitory computer-readable medium |
| WO2020121399A1 (en) * | 2018-12-11 | 2020-06-18 | 株式会社Ｆｕｊｉ | Robot control system and robot control method |
| JPWO2020121399A1 (en) * | 2018-12-11 | 2021-09-02 | 株式会社Ｆｕｊｉ | Robot control system and robot control method |
| JP7057841B2 (en) | 2018-12-11 | 2022-04-20 | 株式会社Fuji | Robot control system and robot control method |
| JP2020183019A (en) * | 2019-05-09 | 2020-11-12 | トヨタ自動車株式会社 | Work-piece identification method |
| JP7183941B2 (en) | 2019-05-09 | 2022-12-06 | トヨタ自動車株式会社 | Work identification method |
| JP7337628B2 (en) | 2019-09-25 | 2023-09-04 | 東芝テック株式会社 | Article recognition device |
| JP2021051548A (en) * | 2019-09-25 | 2021-04-01 | 東芝テック株式会社 | Article recognition device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3654042B2 (en) | 2005-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2000304509A (en) | Method and device for specifying object | |
| JP4004899B2 (en) | Article position / orientation detection apparatus and article removal apparatus | |
| JP5839971B2 (en) | Information processing apparatus, information processing method, and program | |
| JP5713159B2 (en) | Three-dimensional position / orientation measurement apparatus, method and program using stereo images | |
| JP6749034B1 (en) | Post-detection refinement based on edges and multidimensional corners | |
| Zhang | A flexible new technique for camera calibration | |
| JP3768174B2 (en) | Work take-out device | |
| US20170154397A1 (en) | Device for measuring positions and postures of plurality of articles, and robot system having the device | |
| KR100693262B1 (en) | Image processing apparatus | |
| JP5088278B2 (en) | Object detection method, object detection apparatus, and robot system | |
| US20130230235A1 (en) | Information processing apparatus and information processing method | |
| CN112276936B (en) | Three-dimensional data generating device and robot control system | |
| JP4709668B2 (en) | 3D object recognition system | |
| JP5093591B2 (en) | 3D position and orientation measurement method and apparatus | |
| Hauck et al. | Visual determination of 3D grasping points on unknown objects with a binocular camera system | |
| CN113269835A (en) | Industrial part pose identification method and device based on contour features and electronic equipment | |
| US10628968B1 (en) | Systems and methods of calibrating a depth-IR image offset | |
| US20230297068A1 (en) | Information processing device and information processing method | |
| Lambrecht | Robust few-shot pose estimation of articulated robots using monocular cameras and deep-learning-based keypoint detection | |
| JP2020163502A (en) | Object detection method, object detection device, and robot system | |
| JP2008309595A (en) | Object recognizing device and program used for it | |
| JP7488033B2 (en) | Object detection device and computer program for object detection | |
| JP5462662B2 (en) | Position / orientation measurement apparatus, object identification apparatus, position / orientation measurement method, and program | |
| Hietanen et al. | Benchmarking 6d object pose estimation for robotics | |
| JP4793109B2 (en) | Object detection method and robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050208 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050221 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080311 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 4 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100311 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100311 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110311 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120311 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120311 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130311 Year of fee payment: 8 |