JP2015169515A - Posture estimation system, program and posture estimation method - Google Patents
Posture estimation system, program and posture estimation method Download PDFInfo
- Publication number
- JP2015169515A JP2015169515A JP2014043863A JP2014043863A JP2015169515A JP 2015169515 A JP2015169515 A JP 2015169515A JP 2014043863 A JP2014043863 A JP 2014043863A JP 2014043863 A JP2014043863 A JP 2014043863A JP 2015169515 A JP2015169515 A JP 2015169515A
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- reference object
- generation information
- appearance generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Manipulator (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、産業用ロボットなどにおいてワークの姿勢を推定する技術に関する。 The present invention relates to a technique for estimating the posture of a workpiece in an industrial robot or the like.
従来より、自動車製造工場の生産ラインなどで使用される産業用ロボットにおいては、特定の工程を精密かつ高速に実行することが求められていた。一方で、従来の産業用ロボットでは、ティーチングという作業によって多くの時間をかけて特定の工程を教え込む必要があった。例えば、特許文献１には、対象物（ワーク）の姿勢を推定する工程のために、精密なＣＡＤデータを用いる技術が記載されている。従来の産業用ロボットは、このようにして教え込んだ特定の工程を、可能な限り「高速に」、「失敗なく」実行することが求められていた。
Conventionally, an industrial robot used in a production line of an automobile manufacturing factory has been required to execute a specific process precisely and at high speed. On the other hand, in the conventional industrial robot, it is necessary to teach a specific process by taking a lot of time by the work of teaching. For example,
これに対して、昨今、人間の作業を代替する「セル型」ロボットが注目されつつある。セル型ロボットは、従来の産業用ロボットと異なり、従事する作業が頻繁に変更されることを前提としており、短時間で各作業を習得する必要がある。また、ある程度の失敗を許容する代わりに、失敗を学習し、復帰することが求められる。 On the other hand, recently, “cell type” robots that replace human work are attracting attention. Unlike conventional industrial robots, cell-type robots are based on the premise that the work to be engaged is frequently changed, and it is necessary to learn each work in a short time. Also, instead of allowing a certain amount of failure, it is required to learn the failure and return.
ところが、特許文献１に記載されている技術をセル型ロボットに適用してワークの姿勢を推定させようとすると、短時間で作業を習得することが困難であり、多品種のワークに対する様々な作業工程に柔軟に対応することができなくなるという問題があった。
However, if the technique described in
本発明は、上記課題に鑑みてなされたものであり、簡易に習得することのできる姿勢推定技術を提供することを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to provide a posture estimation technique that can be easily learned.
上記の課題を解決するため、請求項１の発明は、姿勢推定システムであって、一の計測方向から基準物体を測定することにより前記基準物体の前記一の計測方向に対応する三次元形状情報を取得する計測手段と、前記計測手段により取得された三次元形状情報に基づいて、前記基準物体を観測方向から擬似的に捉えた二次元画像情報を、互いに異なる複数の前記観測方向のそれぞれについて作成する疑似画像作成手段と、前記疑似画像作成手段により作成された二次元画像情報を学習素材として見え方生成情報を作成するモデル作成手段と、前記モデル作成手段により作成された見え方生成情報を予め記憶する記憶手段と、前記基準物体によって代表される物体を撮像して撮像画像を取得する撮像手段と、前記記憶手段により記憶された見え方生成情報と前記撮像手段により取得された撮像画像とに基づいて、前記物体の姿勢を推定する推定手段とを備える。
In order to solve the above problems, the invention of
また、請求項２の発明は、請求項１の発明に係る姿勢推定システムであって、前記推定手段による推定結果の適否を判定する判定手段をさらに備え、前記モデル作成手段は、前記判定手段による判定結果に応じて、新たな見え方生成情報を作成する姿勢推定システム。
The invention of
また、請求項３の発明は、請求項２の発明に係る姿勢推定システムであって、前記物体を把持する把持手段をさらに備え、前記判定手段は、前記把持手段により前記物体を把持することができたか否かに応じて、前記推定結果の適否を判定する。
The invention of
また、請求項４の発明は、請求項２または３の発明に係る姿勢推定システムであって、前記モデル作成手段により作成された複数の見え方生成情報のそれぞれに重み付けを行う評価手段をさらに備え、前記推定手段は、前記評価手段による重み付けに応じて、前記複数の見え方生成情報の中から推定に用いる見え方生成情報を選択する。
The invention of claim 4 is the posture estimation system according to the invention of
また、請求項５の発明は、請求項４の発明に係る姿勢推定システムであって、前記評価手段は、前記判定手段による判定結果に応じて前記重み付けを行う。 The invention of claim 5 is the posture estimation system according to the invention of claim 4, wherein the evaluation means performs the weighting according to a determination result by the determination means.
また、請求項６の発明は、コンピュータ読み取り可能なプログラムであって、前記コンピュータによって実行されることにより、前記コンピュータを、一の計測方向から基準物体を測定することにより前記基準物体の前記一の計測方向に対応する三次元形状情報を取得する計測手段と、前記計測手段により取得された三次元形状情報に基づいて、前記基準物体を観測方向から擬似的に捉えた二次元画像情報を、互いに異なる複数の前記観測方向のそれぞれについて作成する疑似画像作成手段と、前記疑似画像作成手段により作成された二次元画像情報を学習素材として見え方生成情報を作成するモデル作成手段と、前記モデル作成手段により作成された見え方生成情報を予め記憶する記憶手段と、前記基準物体によって代表される物体を撮像して撮像画像を取得する撮像手段と、前記記憶手段により記憶された見え方生成情報と前記撮像手段により取得された撮像画像とに基づいて、前記物体の姿勢を推定する推定手段とを備える姿勢推定システムとして機能させる。 According to a sixth aspect of the present invention, there is provided a computer-readable program that is executed by the computer so that the computer measures the reference object from one measurement direction, thereby measuring the one of the reference objects. Measurement means for acquiring three-dimensional shape information corresponding to the measurement direction, and two-dimensional image information obtained by simulating the reference object from the observation direction based on the three-dimensional shape information acquired by the measurement means, A pseudo image creating means for creating each of a plurality of different observation directions, a model creating means for creating appearance generation information using the two-dimensional image information created by the pseudo image creating means as a learning material, and the model creating means Storage means for storing in advance the appearance generation information created by, and imaging an object represented by the reference object Posture estimation comprising: imaging means for acquiring a captured image; and estimation means for estimating the posture of the object based on the appearance generation information stored in the storage means and the captured image acquired by the imaging means Make it function as a system.
また、請求項７の発明は、姿勢推定方法であって、一の計測方向から基準物体を測定することにより前記基準物体の前記一の計測方向に対応する三次元形状情報を取得する工程と、取得された前記三次元形状情報に基づいて、前記基準物体を観測方向から擬似的に捉えた二次元画像情報を、互いに異なる複数の前記観測方向のそれぞれについて作成する工程と、作成された前記二次元画像情報を学習素材として見え方生成情報を作成する工程と、作成された前記見え方生成情報を予め記憶手段に記憶する工程と、前記基準物体によって代表される物体を撮像して撮像画像を取得する工程と、前記記憶手段により記憶された見え方生成情報と取得された撮像画像とに基づいて、前記物体の姿勢を推定する工程とを有する。 The invention of claim 7 is a posture estimation method, the step of acquiring three-dimensional shape information corresponding to the one measurement direction of the reference object by measuring the reference object from one measurement direction; Based on the acquired three-dimensional shape information, a step of creating two-dimensional image information obtained by simulating the reference object from an observation direction for each of a plurality of different observation directions, and the created two A step of creating appearance generation information using dimensional image information as a learning material, a step of previously storing the generated appearance generation information in a storage unit, and an image represented by the reference object. A step of acquiring, and a step of estimating the posture of the object based on the appearance generation information stored by the storage unit and the acquired captured image.
請求項１ないし７に記載の発明は、一の計測方向から基準物体を測定することにより当該基準物体の前記一の計測方向に対応する三次元形状情報を取得し、取得された三次元形状情報に基づいて、当該基準物体を観測方向から擬似的に捉えた二次元画像情報を、互いに異なる複数の観測方向のそれぞれについて作成し、作成された二次元画像情報を学習素材として見え方生成情報を作成し、当該基準物体によって代表される物体を撮像して撮像画像を取得し、当該見え方生成情報と取得された撮像画像とに基づいて、当該物体の姿勢を推定ことにより、正確な三次元形状情報がなくても、簡単な計測で物体の姿勢を推定できる。したがって、姿勢を推定する技術を簡易に習得することができる。 According to the first to seventh aspects of the present invention, three-dimensional shape information corresponding to the one measurement direction of the reference object is acquired by measuring the reference object from one measurement direction, and the acquired three-dimensional shape information Based on the above, two-dimensional image information that captures the reference object from the observation direction is created for each of a plurality of different observation directions, and the generated two-dimensional image information is used as learning material to generate appearance generation information. Create and capture a captured image by capturing an object represented by the reference object, and estimate the posture of the object based on the appearance generation information and the acquired captured image. Even without shape information, the posture of an object can be estimated by simple measurement. Therefore, the technique for estimating the posture can be easily learned.
以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。ただし、以下の説明において特に断らない限り、方向や向きに関する記述は、当該説明の便宜上、図面に対応するものであり、例えば実施品、製品または権利範囲等を限定するものではない。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the accompanying drawings. However, unless otherwise specified in the following description, descriptions of directions and orientations correspond to the drawings for the convenience of the description, and do not limit, for example, a product, a product, or a scope of rights.
＜１． 実施の形態＞
図１は、姿勢推定システム１を示す図である。姿勢推定システム１は、制御装置２および運搬ロボット３とを備えている。
<1. Embodiment>
FIG. 1 is a diagram showing a
基準物体７は、計測に用いる基準となる物体であり、図１に示すように、ここではミニカーを例に挙げる。また、物体８は、基準物体７によって代表される物体（ワーク）であり、運搬ロボット３による作業の対象となる物体である。基準物体７と物体８とは必ずしも同一の物体である必要はない。例えば、素材や物性は異なってもよい。また、基準物体７と物体８とは同一形状かつ同一配色の物体であることが好ましい。しかし、両者の間に外観上の多少の違いがあっても許容される場合がある。すなわち、基準物体７と物体８は、外観において物理的な完全同一までは要求されない。なお、図１において、物体８が載置される台（ベルトコンベアや作業台など）は省略している。
The reference object 7 is a reference object used for measurement, and as shown in FIG. 1, here, a minicar is taken as an example. The
また、ネットワーク９は、製造工場内に敷設された構内ＬＡＮであるが、特に構内ＬＡＮに限定されるものではない。ネットワーク９は、インターネットや公衆網、ＷＡＮなどであってもよい。 The network 9 is a local LAN laid in the manufacturing factory, but is not particularly limited to the local LAN. The network 9 may be the Internet, a public network, a WAN, or the like.
図２は、制御装置２のブロック図である。制御装置２は、ＣＰＵ２０、記憶装置２１、操作部２２、表示部２３、計測台２４、ステッピングモータ２５、計測部２６および通信部２７を備える。詳細は後述するが、制御装置２は、ネットワーク９を介して運搬ロボット３を制御する機能を有している。
FIG. 2 is a block diagram of the
ＣＰＵ２０は、記憶装置２１に格納されているプログラム２１０を読み取りつつ実行し、各種データの演算や制御信号の生成等を行う。これにより、ＣＰＵ２０は、制御装置２が備える各構成を制御するとともに、各種データを演算し作成する機能を有している。すなわち、制御装置２は、一般的なコンピュータとして構成されている。なお、ＣＰＵ２０によって実現される機能については後述する。
The
記憶装置２１は、制御装置２において各種データを記憶する機能を提供する。言い換えれば、記憶装置２１が制御装置２において電子的に固定された情報を保存する。
The
記憶装置２１としては、ＣＰＵ２０の一時的なワーキングエリアとして使用されるＲＡＭやバッファ、読み取り専用のＲＯＭ、不揮発性のメモリ（例えばＮＡＮＤメモリなど）、比較的大容量のデータを記憶するハードディスク、専用の読み取り装置に装着された可搬性の記憶媒体（ＣＤ−ＲＯＭ、ＰＣカード、ＳＤカード、ＵＳＢメモリなど）等が該当する。図２においては、記憶装置２１を、あたかも１つの構造物であるかのように図示している。しかし、通常、記憶装置２１は、上記例示した各種装置（あるいは媒体）のうち、必要に応じて採用される複数種類の装置から構成されるものである。すなわち、記憶装置２１は、データを記憶する機能を有する装置群の総称である。
As the
また、現実のＣＰＵ２０は高速にアクセス可能なＲＡＭを内部に備えた電子回路である。しかし、このようなＣＰＵ２０が備える記憶装置も、説明の都合上、記憶装置２１に含めて説明する。すなわち、以下の説明では、一時的にＣＰＵ２０自体が記憶するデータも、記憶装置２１が記憶するとして説明する。図２に示すように、記憶装置２１は、プログラム２１０、三次元形状情報２１１、二次元画像情報２１２および見え方生成情報２１３等を記憶するために使用される。
The
三次元形状情報２１１は、計測部２６によって作成される情報である。三次元形状情報２１１は、一の計測方向から基準物体７を捉えた情報であって、一の計測方向に限定されているとはいえ、当該基準物体７を三次元で表現した情報である。姿勢推定システム１では、制御装置２は、基準物体７の全周にわたる三次元の情報は取得しない。
The three-
二次元画像情報２１２は、計測部２６により取得された三次元形状情報２１１に基づいて作成される複数の画像情報である。二次元画像情報２１２のそれぞれは識別番号と、画像情報と、観測方向とを含んでいる。すなわち、二次元画像情報２１２において、識別情報と、画像情報と、観測方向とが互いに関連づけられている。なお、「観測方向」とは、対応する画像情報に関する、視点からの方向（視線方向）である。
The two-
二次元画像情報２１２に格納される画像情報は、基準物体７を観測方向から擬似的に捉えた二次元の画像情報である。複数の二次元画像情報２１２は、互いに異なる複数の観測方向のそれぞれについて作成されている。すなわち、１つ（１回の計測）の三次元形状情報２１１から、複数の画像情報が作成される。そして、これらの複数の画像情報は、観測方向をずらしながら基準物体７を捉えた画像情報である。以下、１つ（１回の計測）の三次元形状情報２１１から作成される一連の画像情報を、「１セットの画像情報」と呼ぶ場合がある。
The image information stored in the two-
なお、見え方生成情報２１３については、後述する。
The
操作部２２は、制御装置２に対してオペレータ等が指示を入力するために操作するハードウエアである。操作部２２としては、例えば、各種キーやボタン類、スイッチ、タッチパネル、ポインティングデバイス、あるいは、ジョグダイヤルなどが該当する。
The
表示部２３は、各種データを表示することによりオペレータ等に対して出力する機能を有するハードウェアである。表示部２３としては、例えば、ランプやＬＥＤ、ＣＲＴ、液晶ディスプレイや液晶パネルなどが該当する。
The
計測台２４は、計測部２６によって基準物体７を計測する際に、当該基準物体７を載置するために設けられている台である。計測台２４は、基準物体７が載置される載置板２４０を備えている。載置板２４０はステッピングモータ２５からの駆動力により回転させることが可能である。
The measurement table 24 is a table provided for placing the reference object 7 when the
ステッピングモータ２５は、計測台２４の載置板２４０を水平面内で回転させる機能を有している。なお、ステッピングモータ２５は、ＣＰＵ２０からの制御信号により、回転方向および回転角（回転量）を制御することが可能である。これにより、制御装置２は、計測部２６に対する基準物体７の向きを調整し、計測部２６がどの方向から基準物体７を計測するのかを決定する。
The stepping
計測部２６は、いわゆる三次元ビジョンセンサであり、計測方向から被写体を計測することにより、被写体の輝度や色だけでなく、距離（計測部２６からの距離）も計測できる装置である。計測部２６は、計測台２４の載置板２４１上に載置された基準物体７を計測して、三次元形状情報２１１を作成する。すなわち、計測部２６は、一の計測方向から基準物体７を測定することにより基準物体７の当該一の計測方向に対応する三次元形状情報２１１を取得する。計測部２６による対象物（基準物体７）の計測の方式等については、従来より様々な方式のものが提案されているが、ここでは詳細な説明を省略する。
The
通信部２７は、制御装置２をネットワーク９にデータ通信が可能な状態で接続する機能を提供する。これにより、制御装置２は、ネットワーク９を介して、運搬ロボット３との間でデータ通信を行うことができる。
The
図３は、制御装置２が備える機能ブロックをデータの流れとともに示す図である。図３に示す計測制御部２００、疑似画像作成部２０１、モデル作成部２０２、推定部２０３および評価部２０４は、ＣＰＵ２０がプログラム２１０に従って動作することにより実現される機能ブロックである。
FIG. 3 is a diagram illustrating functional blocks included in the
計測制御部２００は、操作部２２からの指示または評価情報２１５に応じて、計測部２６を制御して、計測部２６に基準物体７の計測を実行させる。また、計測制御部２００は、計測部２６による計測に先立って、ステッピングモータ２５を制御し、載置板２４０を回転させる。これにより、基準物体７の計測部２６に対する向き（すなわち、基準物体７の計測方向）が決定される。
The
疑似画像作成部２０１は、計測部２６が基準物体７を計測することにより取得された三次元形状情報２１１に基づいて、基準物体７を観測方向から擬似的に捉えた二次元画像情報２１２を、互いに異なる複数の観測方向のそれぞれについて作成する。より詳細には、１つの三次元形状情報２１１から、１セットの画像情報が作成され、それぞれが二次元画像情報２１２となる。
Based on the three-
なお、複数の観測方向の定義の仕方として、例えば、基準となる観測方向を１つ定義した後、当該基準となる観測方向からθ（数度程度）ずつずらしながら１つ１つの観測方向を定義し、全周にわたって複数の観測方向を定義することが想定される。ただし、複数の観測方向は、このようにして定義されたものに限定されるものではない。物体の三次元の情報から、このような二次元の画像情報を作成する手法としては、従来から様々な技術が提案されており、それらを適宜採用することができる。 In addition, as a method of defining a plurality of observation directions, for example, after defining one reference observation direction, each observation direction is defined while being shifted by θ (about several degrees) from the reference observation direction. It is assumed that a plurality of observation directions are defined over the entire circumference. However, the plurality of observation directions are not limited to those defined in this way. Various techniques have been conventionally proposed as a method for creating such two-dimensional image information from three-dimensional information of an object, and these techniques can be appropriately employed.
また、本実施の形態における疑似画像作成部２０１は、二次元画像情報２１２を作成すると、その元となった三次元形状情報２１１を削除する。すなわち、本実施の形態における姿勢推定システム１では、同一の三次元形状情報２１１から二次元画像情報２１２が複数回作成されることはない。ただし、三次元形状情報２１１を削除せずに、記録しておいてもよい。
In addition, when the
モデル作成部２０２は、疑似画像作成部２０１により作成された二次元画像情報２１２を学習素材として見え方生成情報２１３を作成する。姿勢推定システム１は、モデル作成部２０２を実現する技術として、例えば、「"Visual vehicl tracking based on an appearance generative model", Kazuhiko Kawamoto, Tatsuya Yonekawa, Kazushi Okamoto, SCIS-ISIS 2012, Kobe, Japan, November 20-24, 2012」（以下、「非特許文献」と称する。）に記載されている技術を用いる。
The
なお、本実施の形態におけるモデル作成部２０２は、学習画像として二次元画像情報２１２を用いて見え方生成情報２１３を作成すると、その元となったすべての二次元画像情報２１２を削除する。すなわち、本実施の形態における姿勢推定システム１では、同一の１セットの画像情報（複数の二次元画像情報２１２）から見え方生成情報２１３を複数回作成することはない。ただし、二次元画像情報２１２を削除せずに、記録しておいてもよい。
Note that, when the
詳細は後述するが、すでに作成した見え方生成情報２１３を採用したとしても、推定部２０３が物体８の姿勢を推定することに失敗した場合（そのような場合が判定情報３１２に示される。）、計測部２６は、再度、基準物体７の計測をおこない、新たな三次元形状情報２１１を取得する。そして、その場合には、疑似画像作成部２０１が新たに作成された三次元形状情報２１１に基づいて新たな二次元画像情報２１２（新たな１セットの画像情報）を作成する。このように、判定部３０１による判定結果に応じて、計測部２６および疑似画像作成部２０１が三次元形状情報２１１および二次元画像情報２１２を順次作成する。
Although details will be described later, even when the generated
このようにして新たな１セットの画像情報が作成されると、モデル作成部２０２は新たに作成された１セット分の二次元の画像情報に基づいて新たな見え方生成情報２１３を作成する。すなわち、モデル作成部２０２は、判定部３０１による判定結果（判定情報３１２）に応じて、新たな見え方生成情報２１３を作成する。そして、作成された見え方生成情報２１３は、それぞれ保存される。
When a new set of image information is created in this way, the
推定部２０３は、記憶装置２１により記憶された見え方生成情報２１３と撮像部３６により取得された撮像情報３１１とに基づいて、物体８の姿勢を推定して、推定情報２１４を作成する機能を有している。すなわち、確率モデルである見え方生成情報２１３と、観測値である撮像情報３１１とによって、尤度評価することにより、前提条件としての物体８の姿勢（観測方向）を推定する。なお、推定部２０３による推定の詳細については、上記非特許文献に記載されている技術を用いるため、ここでは詳細な説明を省略する。
The
また、推定部２０３は、複数の見え方生成情報２１３が作成されており、各見え方生成情報２１３に重み付けがされている場合には、当該重み付けに応じた順序で物体８の姿勢を推定する（詳細は後述する。）。すなわち、推定部２０３は、重み付けに応じて、複数の見え方生成情報２１３の中から推定に用いる見え方生成情報２１３を選択する。
Further, the
評価部２０４は、モデル作成部２０２により作成された複数の見え方生成情報２１３のそれぞれに重み付けを行う。より具体的には、評価部２０４は、判定部３０１による作成された判定情報３１２に応じて重み付けを行う。
The
図４は、運搬ロボット３のブロック図である。運搬ロボット３は、ＣＰＵ３０、記憶装置３１、操作部３２、表示部３３、アーム部３４、対物センサ３５、撮像部３６および通信部３７を備える。詳細は後述するが、運搬ロボット３は、物体８を把持して所定の位置まで運ぶ機能を有している。
FIG. 4 is a block diagram of the
ＣＰＵ３０は、記憶装置３１に格納されているプログラム３１０を読み取りつつ実行し、各種データの演算や制御信号の生成等を行う。これにより、ＣＰＵ３０は、運搬ロボット３が備える各構成を制御するとともに、各種データを演算し作成する機能を有している。すなわち、運搬ロボット３は、一般的なコンピュータとして構成されている。なお、ＣＰＵ３０によって実現される機能については後述する。
The
記憶装置３１は、運搬ロボット３において各種データを記憶する機能を提供する。言い換えれば、記憶装置３１が運搬ロボット３において電子的に固定された情報を保存する。
The
記憶装置３１としては、ＣＰＵ３０の一時的なワーキングエリアとして使用されるＲＡＭやバッファ、読み取り専用のＲＯＭ、不揮発性のメモリ（例えばＮＡＮＤメモリなど）、比較的大容量のデータを記憶するハードディスク、専用の読み取り装置に装着された可搬性の記憶媒体（ＣＤ−ＲＯＭ、ＰＣカード、ＳＤカード、ＵＳＢメモリなど）等が該当する。図４においては、記憶装置３１を、あたかも１つの構造物であるかのように図示している。しかし、通常、記憶装置３１は、上記例示した各種装置（あるいは媒体）のうち、必要に応じて採用される複数種類の装置から構成されるものである。すなわち、記憶装置３１は、データを記憶する機能を有する装置群の総称である。
As the
また、現実のＣＰＵ３０は高速にアクセス可能なＲＡＭを内部に備えた電子回路である。しかし、このようなＣＰＵ３０が備える記憶装置も、説明の都合上、記憶装置３１に含めて説明する。すなわち、以下の説明では、一時的にＣＰＵ３０自体が記憶するデータも、記憶装置３１が記憶するとして説明する。図４に示すように、記憶装置３１は、プログラム３１０、撮像情報３１１、判定情報３１２および推定情報２１４等を記憶するために使用される。
Further, the
操作部３２は、オペレータなどによって操作されるハードウェアである。操作部３２は、オペレータ等が運搬ロボット３に対して指示を入力するために使用される。
The
表示部３３は、オペレータ等に運搬ロボット３の状態などに関する情報を提供する出力装置である。表示部３３としては、例えば、ランプやＬＥＤ、液晶パネルなどが該当する。
The
アーム部３４は、ＣＰＵ３０からの制御信号に応じて駆動され、当該物体８を把持して、指示された位置に向けて搬送する。
The
対物センサ３５は、所定の方向に検出光（レザー光や赤外線など）を照射し、反射光を読み取ることにより、当該所定の方向に物体が存在するか否かを検出する装置である。対物センサ３５は、アーム部３４により把持された物体８を検出することができるように設置されている。逆に言えば、対物センサ３５によって物体８が検出されていなければ、アーム部３４は物体８を把持していないものとみなせる。
The
撮像部３６は、一般的なデジタルカメラであって、詳細は省略するが、光学レンズやレンズ駆動部、光電変換素子、画像処理部などを備えている。撮像部３６は、ＣＰＵ３０からの制御信号に応じて、被写体を撮像して静止画像を取得する機能を有しており、物体８を撮像して撮像情報３１１を作成する。
The
通信部３７は、運搬ロボット３をネットワーク９にデータ通信が可能な状態で接続する機能を提供する。これにより、運搬ロボット３は、ネットワーク９を介して、制御装置２との間でデータ通信を行うことができる。通信部３７は、撮像情報３１１や判定情報３１２などを制御装置２に向けて送信する一方で、制御情報（図示せず）や推定情報２１４などを制御装置２から受信する。
The
図５は、運搬ロボット３が備える機能ブロックをデータの流れとともに示す図である。図５に示すアーム制御部３００および判定部３０１は、ＣＰＵ３０がプログラム３１０に従って動作することにより実現される機能ブロックである。
FIG. 5 is a diagram showing the functional blocks provided in the
アーム制御部３００は、物体８について推定された姿勢を示す推定情報２１４に基づいて、物体８を把持するようにアーム部３４を制御する。また、アーム制御部３００は、アーム部３４に物体８を把持させたタイミングに応じて、対物センサ３５に物体８を検出するように対物センサ３５を制御する。さらに、アーム制御部３００は、アーム部３４が物体８を正常に把持することができた場合（対物センサ３５が物体８を検出した場合）、把持した物体８を所定の位置に搬送するようにアーム部３４を制御する。
The
判定部３０１は、対物センサ３５が物体８を検出したか否かに応じて、推定結果の適否を示す判定情報３１２を作成する。すなわち、判定部３０１は、アーム部３４により物体８を把持することができたか否かに応じて、推定情報２１４に示されている推定結果（物体８の姿勢）の適否を判定する。
The
以上が、姿勢推定システム１の構成および機能の説明である。次に、姿勢推定システム１を用いて物体８の姿勢を推定する方法について説明する。
The above is the description of the configuration and function of the
図６ないし図８は、姿勢推定方法における、主に制御装置２において実行される工程を示す流れ図である。制御装置２は、オペレータによって電源が投入されると、図示しない所定の初期設定を実行する。初期設定では、例えば、これから運搬ロボット３によって運搬する物体８を選択する処理（ワーク決定処理）なども実行されるものとする。所定の初期設定が終了すると、制御装置２は、ステップＳ１を実行する。
6 to 8 are flowcharts showing the steps executed mainly in the
ステップＳ１において、ＣＰＵ２０は、物体８に対する見え方生成情報２１３がすでに作成され、記憶装置２１上に存在しているか否かを判定する。
In step S <b> 1, the
見え方生成情報２１３が１つも存在していない状態では、制御装置２（推定部２０３）は、物体８の姿勢を推定することはできない。したがって、ステップＳ１においてＮｏと判定された場合には、制御装置２は、まず、見え方生成情報２１３を作成する必要がある。そこで、制御装置２は、ステップＳ２ないしＳ７の処理を実行する。
In a state where there is no
まず、ＣＰＵ２０は、表示部２３にメッセージを表示させ、オペレータに基準物体７を準備するように促す。例えば、「三次元計測を実行します。計測台の載置板上に、計測する基準となる物体を載置してください。」などのメッセージを表示する。
First, the
表示部２３に表示されたメッセージを確認することにより、オペレータは、基準物体７を準備し、計測台２４の載置板２４０に基準物体７を載置する（ステップＳ２）。なお、基準物体７が載置板２４０に載置されたか否かは、オペレータが操作部２２を操作して、載置完了を制御装置２に知らせるものとする。ただし、様々なセンサにより、自動的に検出するようにしてもよい。
By confirming the message displayed on the
次に、ＣＰＵ２０は、再び表示部２３にメッセージを表示させ、オペレータに計測方向を決定するように促す。例えば、「計測する向きを選択してください。」などのメッセージと、選択可能な計測方向の一覧などを表示する。
Next, the
このメッセージに従って、オペレータが操作部２２を操作して計測方向を選択し入力すると、計測制御部２００は、オペレータによって選択された計測方向となるように、ステッピングモータ２５を制御する。これにより、ステッピングモータ２５が載置板２４０を回転させて、基準物体７の計測部２６に対する向きがオペレータが所望した向きとなるように調整し、計測方向が決定される（ステップＳ３）。
When the operator operates the
なお、ステップＳ３が繰り返され、同一の基準物体７に対する２つ目以降の見え方生成情報２１３が作成される場合には、計測方向は、それまでに採用したものと異なるものとして決定する必要がある。同一の計測方向（同一条件）での計測を繰り返して見え方生成情報２１３を作成しても、原則として推定精度は向上しないからである。したがって、見え方生成情報２１３が存在している状態で、ステップＳ３が実行される場合には、表示部２３は、選択可能な計測方向の一覧から、すでに採用された計測方向を除外（あるいは選択不能の状態で表示）する。
When step S3 is repeated and second and subsequent
また、ステップＳ３における計測方向の決定は、必ずしもオペレータによって決定されなければならないわけではなく、制御装置２により自動的に行われてもよい。例えば、載置板２４０に載置されるときの基準物体７の向きを指定しておき、ステップＳ２においてはこの向きとなるようにオペレータに基準物体７を載置させる。そして、計測回数に応じて、計測方向を予め設定しておき、見え方生成情報２１３の個数から計測回数を判定して、計測方向を決定してもよい。
Further, the determination of the measurement direction in step S3 does not necessarily have to be determined by the operator, and may be performed automatically by the
基準物体７が準備され、計測方向が決定されると、計測制御部２００は、計測部２６に計測を実行するように制御する。これにより、計測部２６が計測を行い（ステップＳ４）、新しい三次元形状情報２１１が作成される（ステップＳ５）。すでに、説明したように、ステップＳ４では、ステップＳ３において決定された一の計測方向についてのみ、基準物体７に対する三次元の計測が行われる。
When the reference object 7 is prepared and the measurement direction is determined, the
このようにして作成される三次元形状情報２１１は、全周にわたる詳細な三次元の情報に比べて、簡易に取得することができる。したがって、姿勢推定システム１は、物体８が頻繁に変更されたとしても、従来の技術に比べて、準備に要する負担が軽く、すばやく適応することができる。
The three-
ステップＳ５が実行されると、疑似画像作成部２０１は、新たに作成された三次元形状情報２１１に基づいて、観測方向の異なる複数の二次元画像情報２１２（１セットの画像情報）を新たに作成する（ステップＳ６）。
When step S5 is executed, the pseudo
次に、モデル作成部２０２は、ステップＳ６において新たに作成された複数の二次元画像情報２１２に基づいて、新たな見え方生成情報２１３を作成する（ステップＳ７）。
Next, the
なお、見え方生成情報２１３のそれぞれには、物体８を識別する情報と、ステップＳ３において決定された計測方向を識別する情報と、推定部２０３による推定に使用された回数（以下、「使用回数」と称する。）と、当該推定において正しく推定された回数（以下、「成功回数」と称する。）とが関連づけられる。当然のことながら、使用回数および成功回数は、見え方生成情報２１３が作成されたときには、いずれも初期値としての「０」である。
Each of the
ステップＳ７が実行されるか、または、ステップＳ１においてＹｅｓと判定されると、制御装置２は、ステップＳ１１を実行しつつ、撮像情報３１１の受信を監視しつづける状態（以下、「監視状態」と称する。）に移行する。なお、後述するステップＳ１８が実行されたときにも、制御装置２は、監視状態に移行する。
When step S7 is executed or when it is determined as Yes in step S1, the
監視状態において、通信部２７により撮像情報３１１が受信されると、ＣＰＵ２０は、ステップＳ１１においてＹｅｓと判定する。そして、ステップＳ１１においてＹｅｓと判定されると、推定部２０３は、記憶装置２１に記憶されている見え方生成情報２１３から、推定に使用する見え方生成情報２１３を選択する（ステップＳ１２）。
When the
ステップＳ１２において、推定部２０３は、物体８を識別する情報に基づいて、記憶装置２１に記憶されている見え方生成情報２１３から、物体８について作成された見え方生成情報２１３を抽出する。
In step S <b> 12, the
なお、物体８を識別するための情報は、予めオペレータにより特定されていてもよい。すなわち、運搬ロボット３のワーク（物体８）が特定されていてもよい。しかし、例えば、受信した撮像情報３１１に対して画像認識処理を施し、撮像されている物体８を認識することにより特定してもよい。このように構成することにより、運搬ロボット３のワーク（物体８）について様々な物体が混在する状況（運搬ロボット３のところにどの物体がどのタイミングで来るか不定の場合）にも対応することができる。
Note that information for identifying the
ここで、抽出された見え方生成情報２１３が１つの場合は、当該見え方生成情報２１３を選択する。
Here, when the extracted
一方、抽出した見え方生成情報２１３が複数である場合には、当該抽出した見え方生成情報２１３に関連づけられている使用回数および成功回数を取得して、各見え方生成情報２１３の「重み」を演算する。重みは、例えば、成功回数／使用回数で求めることができる。抽出されたすべての見え方生成情報２１３について「重み」が求まると、推定部２０３は「重み」が最大の見え方生成情報２１３を選択する。すなわち、推定部２０３は、重み付けに応じて、複数の見え方生成情報２１３の中から推定に用いる見え方生成情報２１３を選択する。
On the other hand, when there are a plurality of extracted
推定に使用する見え方生成情報２１３が選択されると、推定部２０３は、受信した撮像情報３１１を観測値として、見え方生成情報２１３に基づいて、当該撮像情報３１１が撮像されたときの物体８の姿勢を推定し（ステップＳ１３）、推定情報２１４を作成する（ステップＳ１４）。
When the
推定情報２１４が作成されると、通信部２７は、当該推定情報２１４を運搬ロボット３に向けて送信する（ステップＳ１５）。すなわち、制御装置２は、運搬ロボット３からの撮像情報３１１に対するレスポンスとして、推定情報２１４を作成して運搬ロボット３に向けて送信する。言い換えれば、運搬ロボット３が撮像情報３１１を送信することにより、当該撮像情報３１１に撮像されている物体８の姿勢を制御装置２に問い合わせ、当該問い合わせに対して、制御装置２が当該物体８の姿勢を推定して、回答としての推定情報２１４を運搬ロボット３に送信するのである。
When the estimated
推定情報２１４を送信すると、ＣＰＵ２０は、判定情報３１２を受信したか否かを判定し（ステップＳ１６）、判定情報３１２を受信するまでステップＳ１６を繰り返しつつ待機する。判定情報３１２は、推定情報２１４に対するレスポンスとして、運搬ロボット３から制御装置２に向けて送信される情報である。
When the
判定情報３１２が受信されると（ステップＳ１６においてＹｅｓ。）、評価部２０４は、受信された判定情報３１２において判定結果が「０」となっているか否かを判定する（ステップＳ１７）。
When the
判定結果が「０」の場合とは、制御装置２から送信された推定情報２１４によって推定された姿勢に基づいてアーム部３４を制御した結果、物体８を正常に把持することができたことを表している。姿勢推定システム１は、物体８を正常に把持できたか否かによって、推定部２０３による推定結果（推定情報２１４）の適否を判定する。
The case where the determination result is “0” means that the
判定結果が「０」の場合（ステップＳ１７においてＹｅｓ。）、評価部２０４は、ステップＳ１２において選択された見え方生成情報２１３（推定に使用された見え方生成情報２１３）の使用回数と、成功回数とをそれぞれインクリメントすることにより、当該見え方生成情報２１３の重み付けを行う（ステップＳ１８）。
When the determination result is “0” (Yes in Step S17), the
このように、評価部２０４は、モデル作成部２０２により作成された複数の見え方生成情報２１３のそれぞれに重み付けを行う。これにより、推定した姿勢により物体８の把持に成功し、判定結果が「０」となった場合には、当該推定に使用された見え方生成情報２１３の「重み」の値が大きくなり、以後、優先的にステップＳ１２において選択されるようになる。
In this way, the
なお、ステップＳ１８が実行されると、すでに説明したように、制御装置２は、監視状態に戻る。
Note that when step S18 is executed, the
一方、判定結果が「１」の場合（ステップＳ１７においてＮｏ。）、評価部２０４は、ステップＳ１２において選択された見え方生成情報２１３の使用回数のみをインクリメントすることにより、当該見え方生成情報２１３の重み付けを行う（ステップＳ２１）。
On the other hand, when the determination result is “1” (No in Step S17), the
これにより、推定した姿勢により物体８の把持に失敗し、判定結果が「１」となった場合には、当該推定に使用された見え方生成情報２１３の「重み」の値が小さくなり、以後、ステップＳ１２において選択される確率は低下する。
As a result, when the gripping of the
次に、推定部２０３は、同じ物体８について準備されている見え方生成情報２１３が他に存在しているか否か（ステップＳ１２において、物体８を識別する情報によって抽出されたすべての見え方生成情報２１３による推定が終了したか否か）を判定する（ステップＳ２２）。
Next, the
そして、未だ終了していない見え方生成情報２１３が存在する場合（ステップＳ２２においてＮｏ。）、これらの見え方生成情報２１３について「重み」を演算し、「重み」の値が最も大きい見え方生成情報２１３に変更して（ステップＳ２３）、ステップＳ１３からの処理を繰り返す。
If there is
一方、すべての見え方生成情報２１３による推定が終了している場合（ステップＳ２２においてＹｅｓ。）、当該物体８について準備されている見え方生成情報２１３では、正常に姿勢を推定することができないとみなして、ステップＳ２からの処理を繰り返す。
On the other hand, when the estimation based on all the
ステップＳ２２においてＹｅｓと判定した場合、評価部２０４は、見え方生成情報２１３を再度生成するように指示する評価情報２１５を作成する。これにより、計測制御部２００は、ステップＳ２ないしＳ７の処理を実行する。
When it determines with Yes in step S22, the
すでに説明したように、ステップＳ２ないしＳ７の処理が実行されると、物体８について新たな見え方生成情報２１３が作成され、記憶装置２１に格納される。そして、物体８について新たな見え方生成情報２１３が作成されると、制御装置２は、当該見え方生成情報２１３によってステップＳ１３からの処理を繰り返す。
As described above, when the processes of steps S2 to S7 are executed, new
以上が、主に、制御装置２において実行される工程である。次に、運搬ロボット３において実行される工程について説明する。
The above is the process mainly executed in the
図９および図１０は、姿勢推定方法における、主に運搬ロボット３において実行される工程を示す流れ図である。なお、運搬ロボット３は、電源が投入されると、所定の初期設定を実行した後、運搬すべき物体８の到着を待つ状態となる。運搬ロボット３のこの状態を待機状態と称する。
FIG. 9 and FIG. 10 are flowcharts showing steps executed mainly in the
待機状態において、物体８を検出すると、ＣＰＵ３０は、ステップＳ３１においてＹｅｓと判定し、検出した物体８を撮像するように撮像部３６を制御する。これにより、撮像部３６は、到着した物体８を撮像し（ステップＳ３２）、撮像情報３１１を作成する（ステップＳ３３）。
When the
撮像情報３１１が作成されると、通信部３７は、当該撮像情報３１１を制御装置２に向けて送信する（ステップＳ３４）。これにより、制御装置２に対して、物体８についての姿勢推定依頼がされたことになる。
When the
撮像情報３１１が送信されると、ＣＰＵ３０は、ステップＳ３５を実行することにより、推定情報２１４を受信するまで待機する。言い換えれば、ステップＳ３５は、運搬ロボット３が姿勢推定依頼に対するレスポンスを待っている状態である。
When the
推定情報２１４を受信すると（ステップＳ３５においてＹｅｓ。）、アーム制御部３００は、当該推定情報２１４に基づいて、物体８を把持するようにアーム部３４を制御する。これにより、アーム部３４は、物体８を把持する動作を実行する（ステップＳ４１）。
When the
アーム部３４が把持動作を完了すると、アーム制御部３００は、物体８を検出するように対物センサ３５を制御する。これにより、対物センサ３５が物体８の検出を行う（ステップＳ４２）。
When the
対物センサ３５は、物体８がアーム部３４によって正常に把持されているときに、当該物体８を検出するように設置されている。したがって、対物センサ３５によって物体８が検出されたか否かを判定することによって、アーム部３４が物体８を正常に把持できたか否かを判定することができる。そこで、ＣＰＵ３０は、対物センサ３５によって物体８を検出できたか否かを判定する（ステップＳ４３）。
The
対物センサ３５が物体８を検出した場合（ステップＳ４３においてＹｅｓ。）、アーム制御部３００は、物体８を所定の位置に搬送するようにアーム部３４を制御する。これにより、アーム部３４は、把持した物体８を所定の位置に搬送する（ステップＳ４４）。
When the
ステップＳ４４と並行して、判定部３０１は、判定結果として「０（把持完了）」を含む判定情報３１２を作成する（ステップＳ４５）。そして、通信部３７は、作成された判定情報３１２を制御装置２に向けて送信する（ステップＳ４６）。なお、ステップＳ４６の処理を終了すると、運搬ロボット３はステップＳ３１に戻って処理を繰り返す。
In parallel with step S44, the
一方、対物センサ３５が物体８を検出しなかった場合（ステップＳ４３においてＮｏ。）、判定部３０１は、判定結果として「１（把持失敗）」を含む判定情報３１２を作成する（ステップＳ４７）。そして、通信部３７は、作成された判定情報３１２を制御装置２に向けて送信する（ステップＳ４８）。
On the other hand, when the
ステップＳ４８の処理を終了すると、運搬ロボット３はステップＳ３５に戻って処理を繰り返す。すなわち、ステップＳ３５によって新たな推定情報２１４が受信されるのを待ってから、再び、ステップＳ４１ないし４３の処理を実行する。
When the process of step S48 is completed, the
なお、アーム部３４が物体８の把持に失敗した場合、把持を試みたアーム部３４により物体８の姿勢は撮像時から変化していることも想定される。したがって、把持に失敗した場合において、運搬ロボット３は、ステップＳ３２，Ｓ３３に相当する工程を実行し、新たに撮像しなおした撮像情報３１１を判定情報３１２とともに送信してもよい。
In addition, when the
以上のように、姿勢推定システム１は、一の計測方向から基準物体７を測定することにより基準物体７の当該一の計測方向に対応する三次元形状情報２１１を取得する計測部２６と、計測部２６により取得された三次元形状情報２１１に基づいて、基準物体７を観測方向から擬似的に捉えた二次元画像情報２１２を、互いに異なる複数の観測方向のそれぞれについて作成する疑似画像作成部２０１と、疑似画像作成部２０１により作成された二次元画像情報２１２を学習素材として見え方生成情報２１３を作成するモデル作成部２０２と、モデル作成部２０２により作成された見え方生成情報２１３を予め記憶する記憶装置２１と、物体８を撮像して撮像情報３１１を取得する撮像部３６と、記憶装置２１により記憶された見え方生成情報２１３と撮像部３６により取得された撮像情報３１１とに基づいて、物体８の姿勢を推定する推定部２０３とを備える。
As described above, the
これにより、正確な三次元の形状情報（例えばＣＡＤ情報）がなくても、簡単な計測で物体８の姿勢を推定できる。セル生産に従事するセル型ロボット（運搬ロボット３）において、ワークが様々に変化したとしても、学習に時間を要することなく、柔軟に対応することができる。
Thereby, the posture of the
また、推定部２０３による推定情報２１４の適否を判定する判定部３０１をさらに備え、モデル作成部２０２は、判定部３０１による判定情報３１２に応じて、新たな見え方生成情報２１３を作成する。これにより、失敗した場合においても、短い時間で復帰が可能となる。
In addition, a
また、物体８を把持するアーム部３４をさらに備え、判定部３０１は、アーム部３４により物体８を把持することができたか否かに応じて、推定情報２１４の適否を判定する。このように、要求された作業が達成できたか否かで推定された姿勢の適否を判定することにより、実際の要求精度に応じて判定することができる。
Furthermore, the
また、モデル作成部２０２により作成された複数の見え方生成情報２１３のそれぞれに重み付けを行う評価部２０４をさらに備え、推定部２０３は、評価部２０４による重み付けに応じて、複数の見え方生成情報２１３の中から推定に用いる見え方生成情報２１３を選択する。そして、評価部２０４は、判定部３０１による判定情報３１２に応じて当該重み付けを行う。これにより、推定情報２１４の成績に応じて優先的に用いる見え方生成情報２１３を選択することができる。
The
＜２． 変形例＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
<2. Modification>
Although the embodiments of the present invention have been described above, the present invention is not limited to the above embodiments, and various modifications can be made.
例えば、上記実施の形態に示した各工程は、あくまでも例示であって、上記に示した順序や内容に限定されるものではない。すなわち、同様の効果が得られるならば、適宜、順序や内容が変更されてもよい。 For example, each process shown in the above embodiment is merely an example, and is not limited to the order and contents shown above. That is, as long as the same effect can be obtained, the order and contents may be changed as appropriate.
また、上記実施の形態に示した機能ブロック（例えば、推定部２０３や評価部２０４、判定部３０１など）は、ＣＰＵ２０，３０がプログラム２１０，３１０に従って動作することにより、ソフトウェア的に実現されると説明した。しかし、これらの機能ブロックの一部または全部を専用の論理回路で構成し、ハードウェア的に実現してもよい。
In addition, the functional blocks (for example, the
また、アーム部３４によって物体８が把持されているか否かを検出する手法は、対物センサ３５による手法に限定されるものではない。例えば、撮像部３６がアーム部３４を撮像し、撮像情報３１１を画像解析して物体８が正常に把持されているか否かを判定してもよい。あるいは、アーム部３４に接触センサを設けて、アーム部３４が物体８に接触し続けているか否かを検出することにより物体８が把持されているか否かを判定することも可能である。また、物体８が正常に把持されていれば、物体８はアーム部３４によって移動され、当該場所に物体８は存在しなくなる。したがって、物体８が載置されていた場所に物体８が存在し続けているか否かによってアーム部３４が物体８を把持することができたか否かを判定してもよい。
Further, the method for detecting whether or not the
また、運搬ロボット３が物体８を支持する方法は、把持に限定されるものではない。例えば、吸着であってもよい。吸着は、アーム部３４の先端付近に吸着口を形成し、コンプレッサー等で空気を吸着口から内部に吸い込むことにより物体８を支持する方法である。吸着の場合は、吸着に適した部分を探索するために姿勢推定が必要であるものの、把持に比べて姿勢の自由度は高く、姿勢推定の精度が低くても適用可能である。
Further, the method by which the
また、上記実施の形態では、詳細な三次元の情報であるＣＡＤデータは必要ないと説明したが、すでに基準物体７に関するＣＡＤデータが存在するのであれば、これを三次元形状情報２１１の代わりに用いてもよい。
Further, in the above embodiment, it has been described that CAD data that is detailed three-dimensional information is not necessary. However, if CAD data relating to the reference object 7 already exists, this is used instead of the three-
また、上記実施の形態では、制御装置２と運搬ロボット３とが別々の装置を構成しており、互いにネットワーク９によって接続されていた。しかし、制御装置２と運搬ロボット３とが一体的な装置を構成していてもよい。あるいは、制御装置２が２以上のコンピュータによって構成されていてもよい。
Moreover, in the said embodiment, the
また、上記実施の形態では、一度、二次元画像情報２１２の作成に用いられた三次元形状情報２１１を削除せずに記録しておくこともできると説明した。このように過去の三次元形状情報２１１を記録している場合には、これを再利用してもよい。例えば、運搬ロボット３が物体８を正常に把持できなかった場合において、計測により新たな三次元形状情報２１１を取得するのではなく、記録されている過去の三次元形状情報２１１に基づいて、従来に比べて観測方向を増やして（観測方向のずれ角θを小さくして）二次元画像情報２１２を作成してもよい。これにより、１セットの画像情報に含まれる二次元画像情報２１２の数が増え、観測方向に関するピッチが細かくなる。このようにして作成された１セットの画像情報（二次元画像情報２１２）から新たな見え方生成情報２１３を作成して、再度、姿勢推定を行ってもよい。
In the above embodiment, it has been described that the
１ 姿勢推定システム
２ 制御装置
２０ ＣＰＵ
２０，３０ ＣＰＵ
２００ 計測制御部
２０１ 疑似画像作成部
２０２ モデル作成部
２０３ 推定部
２０４ 評価部
２１，３１ 記憶装置
２１０，３１０ プログラム
２１１ 三次元形状情報
２１２ 二次元画像情報
２１３ 見え方生成情報
２１４ 推定情報
２１５ 評価情報
２２，３２ 操作部
２３，３３ 表示部
２４ 計測台
２４０ 載置板
２４１ 載置板
２５ ステッピングモータ
２６ 計測部
２７ 通信部
３ 運搬ロボット
３００ アーム制御部
３０１ 判定部
３１１ 撮像情報
３１２ 判定情報
３４ アーム部
３５ 対物センサ
３６ 撮像部
３７ 通信部
７ 基準物体
８ 物体
９ ネットワーク
1 posture
20,30 CPU
DESCRIPTION OF
Claims (7)
前記計測手段により取得された三次元形状情報に基づいて、前記基準物体を観測方向から擬似的に捉えた二次元画像情報を、互いに異なる複数の前記観測方向のそれぞれについて作成する疑似画像作成手段と、
前記疑似画像作成手段により作成された二次元画像情報を学習素材として見え方生成情報を作成するモデル作成手段と、
前記モデル作成手段により作成された見え方生成情報を予め記憶する記憶手段と、
前記基準物体によって代表される物体を撮像して撮像画像を取得する撮像手段と、
前記記憶手段により記憶された見え方生成情報と前記撮像手段により取得された撮像画像とに基づいて、前記物体の姿勢を推定する推定手段と、
を備える姿勢推定システム。 Measuring means for acquiring three-dimensional shape information corresponding to the one measurement direction of the reference object by measuring the reference object from one measurement direction;
Based on the three-dimensional shape information acquired by the measurement means, pseudo-image creation means for creating two-dimensional image information obtained by simulating the reference object from the observation direction for each of a plurality of different observation directions ,
Model creation means for creating appearance generation information using the two-dimensional image information created by the pseudo image creation means as a learning material;
Storage means for storing in advance the appearance generation information created by the model creating means;
Imaging means for capturing an image represented by the reference object and acquiring a captured image;
Estimation means for estimating the posture of the object based on the appearance generation information stored by the storage means and the captured image acquired by the imaging means;
A posture estimation system comprising:
前記推定手段による推定結果の適否を判定する判定手段をさらに備え、
前記モデル作成手段は、前記判定手段による判定結果に応じて、新たな見え方生成情報を作成する姿勢推定システム。 The posture estimation system according to claim 1,
A determination unit for determining whether the estimation result by the estimation unit is appropriate;
The model creation unit is a posture estimation system that creates new appearance generation information according to a determination result by the determination unit.
前記物体を把持する把持手段をさらに備え、
前記判定手段は、前記把持手段により前記物体を把持することができたか否かに応じて、前記推定結果の適否を判定する姿勢推定システム。 The posture estimation system according to claim 2,
It further comprises gripping means for gripping the object,
The posture estimation system in which the determination unit determines whether the estimation result is appropriate according to whether or not the object can be gripped by the gripping unit.
前記モデル作成手段により作成された複数の見え方生成情報のそれぞれに重み付けを行う評価手段をさらに備え、
前記推定手段は、前記評価手段による重み付けに応じて、前記複数の見え方生成情報の中から推定に用いる見え方生成情報を選択する姿勢推定システム。 The posture estimation system according to claim 2 or 3,
Further comprising an evaluation means for weighting each of the plurality of appearance generation information created by the model creation means,
The estimation means is a posture estimation system that selects appearance generation information used for estimation from the plurality of appearance generation information according to weighting by the evaluation means.
前記評価手段は、前記判定手段による判定結果に応じて前記重み付けを行う姿勢推定システム。 The posture estimation system according to claim 4,
The posture estimation system in which the evaluation unit performs the weighting according to a determination result by the determination unit.
一の計測方向から基準物体を測定することにより前記基準物体の前記一の計測方向に対応する三次元形状情報を取得する計測手段と、
前記計測手段により取得された三次元形状情報に基づいて、前記基準物体を観測方向から擬似的に捉えた二次元画像情報を、互いに異なる複数の前記観測方向のそれぞれについて作成する疑似画像作成手段と、
前記疑似画像作成手段により作成された二次元画像情報を学習素材として見え方生成情報を作成するモデル作成手段と、
前記モデル作成手段により作成された見え方生成情報を予め記憶する記憶手段と、
前記基準物体によって代表される物体を撮像して撮像画像を取得する撮像手段と、
前記記憶手段により記憶された見え方生成情報と前記撮像手段により取得された撮像画像とに基づいて、前記物体の姿勢を推定する推定手段と、
を備える姿勢推定システムとして機能させるプログラム。 A computer-readable program that is executed by the computer to cause the computer to
Measuring means for acquiring three-dimensional shape information corresponding to the one measurement direction of the reference object by measuring the reference object from one measurement direction;
Based on the three-dimensional shape information acquired by the measurement means, pseudo-image creation means for creating two-dimensional image information obtained by simulating the reference object from the observation direction for each of a plurality of observation directions different from each other; ,
Model creation means for creating appearance generation information using the two-dimensional image information created by the pseudo image creation means as a learning material;
Storage means for storing in advance the appearance generation information created by the model creating means;
Imaging means for capturing an image represented by the reference object and acquiring a captured image;
Estimation means for estimating the posture of the object based on the appearance generation information stored by the storage means and the captured image acquired by the imaging means;
A program for functioning as a posture estimation system.
取得された前記三次元形状情報に基づいて、前記基準物体を観測方向から擬似的に捉えた二次元画像情報を、互いに異なる複数の前記観測方向のそれぞれについて作成する工程と、
作成された前記二次元画像情報を学習素材として見え方生成情報を作成する工程と、
作成された前記見え方生成情報を予め記憶手段に記憶する工程と、
前記基準物体によって代表される物体を撮像して撮像画像を取得する工程と、
前記記憶手段により記憶された見え方生成情報と取得された撮像画像とに基づいて、前記物体の姿勢を推定する工程と、
を有する姿勢推定方法。 Obtaining three-dimensional shape information corresponding to the one measurement direction of the reference object by measuring the reference object from one measurement direction;
Based on the acquired three-dimensional shape information, creating two-dimensional image information obtained by simulating the reference object from the observation direction for each of a plurality of different observation directions,
Creating appearance generation information using the created two-dimensional image information as a learning material;
Storing the created appearance generation information in a storage means in advance;
Capturing an image represented by the reference object to obtain a captured image;
Estimating the posture of the object based on the appearance generation information stored by the storage means and the acquired captured image;
A posture estimation method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014043863A JP6265784B2 (en) | 2014-03-06 | 2014-03-06 | Posture estimation system, program, and posture estimation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014043863A JP6265784B2 (en) | 2014-03-06 | 2014-03-06 | Posture estimation system, program, and posture estimation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015169515A true JP2015169515A (en) | 2015-09-28 |
| JP6265784B2 JP6265784B2 (en) | 2018-01-24 |
Family
ID=54202379
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014043863A Active JP6265784B2 (en) | 2014-03-06 | 2014-03-06 | Posture estimation system, program, and posture estimation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6265784B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018092449A (en) * | 2016-12-05 | 2018-06-14 | 株式会社ソニー・インタラクティブエンタテインメント | System, jig, information processing apparatus, information processing method, and program |
| JP2020110911A (en) * | 2019-01-08 | 2020-07-27 | 本田技研工業株式会社 | Depth perception modeling for grasping object |
| KR20220116940A (en) * | 2021-02-16 | 2022-08-23 | 네이버랩스 주식회사 | Learning data collection system and method |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61262986A (en) * | 1985-05-17 | 1986-11-20 | Fujitsu Ltd | Producing device for seeming dictionary of cube |
| JP2000293695A (en) * | 1999-04-08 | 2000-10-20 | Fanuc Ltd | Picture processor |
| JP2006026790A (en) * | 2004-07-15 | 2006-02-02 | Fanuc Ltd | Teaching model production device |
| JP2007245283A (en) * | 2006-03-15 | 2007-09-27 | Nissan Motor Co Ltd | Workpiece attitude detecting device, workpiece attitude detecting method, picking system, and picking method |
| JP2010020487A (en) * | 2008-07-09 | 2010-01-28 | Nippon Hoso Kyokai <Nhk> | Optional viewpoint video generation device and optional viewpoint video generation program |
| JP2010112729A (en) * | 2008-11-04 | 2010-05-20 | Omron Corp | Method of creating three-dimensional model, and object recognition device |
| JP2013217893A (en) * | 2012-03-13 | 2013-10-24 | Canon Inc | Model generation device, position posture estimation device, information processor, model generation method, position posture estimation method, information processing method |
| US20130338826A1 (en) * | 2010-12-30 | 2013-12-19 | Zenrobotics Oy | Method, computer program and apparatus for determining a gripping location |
-
2014
- 2014-03-06 JP JP2014043863A patent/JP6265784B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61262986A (en) * | 1985-05-17 | 1986-11-20 | Fujitsu Ltd | Producing device for seeming dictionary of cube |
| JP2000293695A (en) * | 1999-04-08 | 2000-10-20 | Fanuc Ltd | Picture processor |
| JP2006026790A (en) * | 2004-07-15 | 2006-02-02 | Fanuc Ltd | Teaching model production device |
| JP2007245283A (en) * | 2006-03-15 | 2007-09-27 | Nissan Motor Co Ltd | Workpiece attitude detecting device, workpiece attitude detecting method, picking system, and picking method |
| JP2010020487A (en) * | 2008-07-09 | 2010-01-28 | Nippon Hoso Kyokai <Nhk> | Optional viewpoint video generation device and optional viewpoint video generation program |
| JP2010112729A (en) * | 2008-11-04 | 2010-05-20 | Omron Corp | Method of creating three-dimensional model, and object recognition device |
| US20130338826A1 (en) * | 2010-12-30 | 2013-12-19 | Zenrobotics Oy | Method, computer program and apparatus for determining a gripping location |
| JP2013217893A (en) * | 2012-03-13 | 2013-10-24 | Canon Inc | Model generation device, position posture estimation device, information processor, model generation method, position posture estimation method, information processing method |
Non-Patent Citations (1)
| Title |
|---|
| K.KAWAMOTO ET AL.: "Visual vehicle tracking based on an appearance generative model", SCIS-ISIS 2012, JPN6017045803, 20 November 2012 (2012-11-20), pages 711 - 714, XP032376163, ISSN: 0003691282, DOI: 10.1109/SCIS-ISIS.2012.6505283 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018092449A (en) * | 2016-12-05 | 2018-06-14 | 株式会社ソニー・インタラクティブエンタテインメント | System, jig, information processing apparatus, information processing method, and program |
| US11200695B2 (en) | 2016-12-05 | 2021-12-14 | Sony Interactive Entertainment Inc. | System, jig, information processing device, information processing method, and program |
| JP7051287B2 (en) | 2016-12-05 | 2022-04-11 | 株式会社ソニー・インタラクティブエンタテインメント | Systems, jigs, and information processing methods |
| JP2020110911A (en) * | 2019-01-08 | 2020-07-27 | 本田技研工業株式会社 | Depth perception modeling for grasping object |
| US11185978B2 (en) | 2019-01-08 | 2021-11-30 | Honda Motor Co., Ltd. | Depth perception modeling for grasping objects |
| JP7050740B2 (en) | 2019-01-08 | 2022-04-08 | 本田技研工業株式会社 | Depth perception modeling for gripping objects |
| KR20220116940A (en) * | 2021-02-16 | 2022-08-23 | 네이버랩스 주식회사 | Learning data collection system and method |
| KR102590730B1 (en) * | 2021-02-16 | 2023-10-19 | 네이버랩스 주식회사 | Learning data collection system and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6265784B2 (en) | 2018-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112091970B (en) | Robotic system with enhanced scanning mechanism | |
| JP2008021092A (en) | Simulation apparatus of robot system | |
| CN101927494B (en) | Shape detection system | |
| JP5743499B2 (en) | Image generating apparatus, image generating method, and program | |
| JP6892286B2 (en) | Image processing equipment, image processing methods, and computer programs | |
| JP6331517B2 (en) | Image processing apparatus, system, image processing method, and image processing program | |
| JP2019056966A (en) | Information processing device, image recognition method and image recognition program | |
| JP2018027581A (en) | Picking system | |
| JP2017087326A (en) | Robot control device and robot control method | |
| JP2010210584A (en) | Three-dimensional visual sensor | |
| JP2013036988A (en) | Information processing apparatus and information processing method | |
| WO2020190166A1 (en) | Method and system for grasping an object by means of a robotic device | |
| JP6902369B2 (en) | Presentation device, presentation method and program, and work system | |
| JP6265784B2 (en) | Posture estimation system, program, and posture estimation method | |
| WO2021039775A1 (en) | Image processing device, image capturing device, robot, and robot system | |
| JP2020197978A (en) | Object detection device, object gripping system, object detection method, and object detection program | |
| JP2018122376A (en) | Image processing device, robot control device, and robot | |
| JP2010184300A (en) | Attitude changing device and attitude changing method | |
| US11989928B2 (en) | Image processing system | |
| JP2020142323A (en) | Robot control device, robot control method and robot control program | |
| JP2015132523A (en) | Position/attitude measurement apparatus, position/attitude measurement method, and program | |
| CN112743537A (en) | Annotating device | |
| JP5862382B2 (en) | Work support device | |
| JP2021061014A (en) | Learning device, learning method, learning model, detector, and gripping system | |
| TWI788253B (en) | Adaptive mobile manipulation apparatus and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170214 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171025 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171205 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6265784 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |