JP2022138329A - Recognition device, robot control system, recognition method, and program - Google Patents
Recognition device, robot control system, recognition method, and program Download PDFInfo
- Publication number
- JP2022138329A JP2022138329A JP2021038144A JP2021038144A JP2022138329A JP 2022138329 A JP2022138329 A JP 2022138329A JP 2021038144 A JP2021038144 A JP 2021038144A JP 2021038144 A JP2021038144 A JP 2021038144A JP 2022138329 A JP2022138329 A JP 2022138329A
- Authority
- JP
- Japan
- Prior art keywords
- orientation
- predetermined object
- recognition
- measurement
- measurement image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 33
- 238000005259 measurement Methods 0.000 claims abstract description 99
- 238000003384 imaging method Methods 0.000 claims description 46
- 238000012545 processing Methods 0.000 abstract description 22
- 230000036544 posture Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、認識装置、ロボット制御システム、認識方法、およびプログラムに関する。 The present invention relates to recognition devices, robot control systems, recognition methods, and programs.
従来、各姿勢の或る物体の特徴を示すテンプレートと、撮像装置が当該物体を撮像して取得した画像(計測画像)とを照合することによって、当該物体の位置姿勢を認識(推定)することが行われている。 Conventionally, the position and orientation of an object are recognized (estimated) by comparing a template indicating the characteristics of an object in each orientation with an image (measurement image) obtained by imaging the object with an imaging device. is being done.
特許文献1では、距離センサから得た距離に応じてテンプレートのサイズを変えて、照合を行うシステムが開示されている。これによれば、システムが保持するテンプレートの数を少なくすることができる。そして、距離に応じてテンプレートを選択することにより照合回数を少なくすることができる。 Patent Literature 1 discloses a system that performs matching by changing the size of a template according to the distance obtained from a distance sensor. This makes it possible to reduce the number of templates held by the system. By selecting a template according to the distance, the number of matching times can be reduced.
しかし、特許文献1のようにテンプレートの数を少なくしても、物体の姿勢ごとにテンプレートを用意して、それぞれのテンプレートと画像とを照合しなければならないため、未だに多くの回数の照合が必要であった。このため、物体の位置姿勢を推定するために、多くの処理が必要であった。 However, even if the number of templates is reduced as in Patent Document 1, a template must be prepared for each posture of the object, and each template must be compared with the image. Met. Therefore, a lot of processing is required to estimate the position and orientation of the object.
そこで、本発明は、物体を計測した計測画像を用いて、物体の位置姿勢を推定する場合に、処理数を低減できる技術を提供することを目的とする。 SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to provide a technique capable of reducing the number of processes when estimating the position and orientation of an object using measurement images obtained by measuring the object.
上記目的を達成するために本発明は、以下の構成を採用する。 In order to achieve the above objects, the present invention employs the following configurations.
すなわち、本発明の一側面に係る認識装置は、所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の3次元モデルとを比較することによって、前記計測画像における前記所定の物体の位置姿勢を認識する認識装置であって、過去において前記認識装置が認識した前記所定の物体の位置姿勢に基づき、現在における前記所定の物体の位置姿勢を推定する推定手段と、前記推定手段が推定した位置姿勢を前記所定の物体の前記3次元モデルの位置姿勢の初期値として、前記3次元モデルを前記計測画像における前記所定の物体に合わせ込んだ結果に応じて、前記計測画像における前記所定の物体の位置姿勢を認識する認識手段と、を有することを特徴とする認識装置である。 That is, the recognition device according to one aspect of the present invention compares a measurement image representing a result of measuring a measurement range including a predetermined object with a three-dimensional model of the predetermined object, thereby performing the predetermined measurement in the measurement image. an estimation means for estimating the current position and orientation of the given object based on the position and orientation of the given object recognized by the recognition device in the past; Using the position and orientation estimated by means as an initial value of the position and orientation of the three-dimensional model of the predetermined object, in accordance with the result of fitting the three-dimensional model to the predetermined object in the measurement image, and recognition means for recognizing the position and orientation of the predetermined object.
このような構成によれば、テンプレートを用いずに、高速に物体の位置姿勢を推定することができる。そして、3次元モデルと計測画像の比較の前に、物体の位置姿勢を大まかに把握することができるので、比較における3次元モデルの物体の位置姿勢の範囲を限定することができる。従って、より高速に、かつ、より効率的に、物体の位置姿勢の認識をすることができる。 With such a configuration, the position and orientation of an object can be estimated at high speed without using templates. Since the position and orientation of the object can be roughly grasped before comparing the 3D model and the measured image, the range of the position and orientation of the 3D model object in the comparison can be limited. Therefore, the position and orientation of the object can be recognized more quickly and efficiently.
上記認識装置において、前記計測範囲を設定する設定手段をさらに有し、前記推定手段は、さらに、前記推定手段が推定した位置または位置姿勢に基づき前記所定の物体が存在
する範囲である推定範囲を推定し、前記設定手段は、前記推定範囲を前記計測範囲として設定してもよい。これによれば、計測範囲を限定することができるので、より高速に計測画像を取得することが可能になる。
The recognition apparatus further includes setting means for setting the measurement range, and the estimation means further sets an estimated range, which is a range in which the predetermined object exists, based on the position or position/orientation estimated by the estimation means. The setting means may set the estimated range as the measurement range. According to this, since the measurement range can be limited, it becomes possible to acquire the measurement image at a higher speed.
上記認識装置において、前記推定手段は、過去の少なくとも2つの時点間における前記所定の物体の位置姿勢の変化に基づき、現在における前記所定の物体の位置姿勢を推定してもよい。これによれば、簡単な方法(つまり、少ないステップ)で所定の物体の位置姿勢を推定できる。このため、さらに、高速に、かつ、効率的に、物体の位置姿勢の認識をすることができる。 In the above recognition apparatus, the estimation means may estimate the current position and orientation of the given object based on changes in the position and orientation of the given object between at least two past points in time. According to this, the position and orientation of a given object can be estimated by a simple method (that is, a small number of steps). Therefore, the position and orientation of the object can be recognized more quickly and efficiently.
上記認識装置において、前記計測画像は、撮像センサによって計測された結果を表し、前記撮像センサの位置姿勢は、ロボットによって制御され、前記推定手段は、過去における前記所定の物体の位置姿勢と現在におけるロボットの位置姿勢とに基づき、現在における前記所定の物体の位置姿勢を推定してもよい。これによれば、過去の1つの時点の所定の物体の位置姿勢しか推定に用いることができない場合にも、現在における前記所定の物体の位置姿勢を推定できる。 In the above recognition apparatus, the measurement image represents a result measured by an imaging sensor, the position and orientation of the imaging sensor are controlled by a robot, and the estimation means determines the position and orientation of the predetermined object in the past and the current position and orientation of the object. The current position and orientation of the predetermined object may be estimated based on the position and orientation of the robot. According to this, even when only the position and orientation of the predetermined object at one past point in time can be used for estimation, the current position and orientation of the predetermined object can be estimated.
上記認識装置において、前記計測画像は、被写体までの距離を各画素が表す距離画像であってもよい。 In the recognition device described above, the measurement image may be a distance image in which each pixel represents a distance to a subject.
上記認識装置において、前記過去における前記所定の物体の位置姿勢の前記認識手段による認識結果が存在しない場合には、前記推定手段は、現在における前記所定の物体の位置姿勢を推定せず、前記認識手段は、前記所定の物体の特徴量を示す複数のテンプレートのそれぞれと前記計測画像との照合結果に応じて前記所定の物体の位置姿勢を認識してもよい。これによれば、過去の所定の物体の位置姿勢の認識結果がない場合にも、現在における前記所定の物体の位置姿勢を推定できる。 In the recognition apparatus, if there is no recognition result of the position and orientation of the predetermined object in the past by the recognition means, the estimation means does not estimate the current position and orientation of the predetermined object, and does not estimate the current position and orientation of the predetermined object. The means may recognize the position and orientation of the predetermined object according to a comparison result between each of a plurality of templates indicating feature amounts of the predetermined object and the measurement image. According to this, even if there is no past recognition result of the position and orientation of the predetermined object, the current position and orientation of the predetermined object can be estimated.
また、上記認識装置と、前記計測範囲を計測する撮像センサと、前記認識装置が認識した結果に基づき、前記所定の物体の位置姿勢を制御するロボットと、を有することを特徴とするロボット制御システムであってもよい。これによれば、高速に所定の物体の位置姿勢を認識できるため、ロボットを効率的に制御することができる。 A robot control system comprising: the recognition device; an imaging sensor that measures the measurement range; and a robot that controls the position and orientation of the predetermined object based on the recognition result of the recognition device. may be According to this, since the position and orientation of a predetermined object can be recognized at high speed, the robot can be efficiently controlled.
本発明は、上記手段の少なくとも一部を有する装置として捉えてもよいし、電子機器や制御システム、情報処理システム、情報処理装置、認識装置、認識システム、ロボットとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む制御方法、照合方法、認識方法、ロボット制御方法として捉えてもよい。また、本発明は、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体(記憶媒体)として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合せて本発明を構成することができる。 The present invention may be regarded as an apparatus having at least part of the above means, or may be regarded as an electronic device, a control system, an information processing system, an information processing device, a recognition device, a recognition system, or a robot. Further, the present invention may be regarded as a control method, matching method, recognition method, and robot control method including at least part of the above processing. The present invention can also be regarded as a program for realizing such a method and a recording medium (storage medium) in which the program is non-temporarily recorded. It should be noted that each of the means and processes described above can be combined with each other as much as possible to constitute the present invention.
本発明によれば、物体を計測した計測画像を用いて、物体の位置姿勢を推定する場合に、処理数を低減できる。 According to the present invention, the number of processes can be reduced when estimating the position and orientation of an object using a measurement image obtained by measuring the object.
以下、本発明を実施するための実施形態について図面を用いて記載する。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.
<適用例>
以下では、或る物体の3次元モデル(3次元データ)に基づく当該物体の特徴量を示すテンプレートと、撮像センサが当該物体を計測した結果を表す画像(計測画像)とを照合する認識システム1は、過去の物体の位置姿勢に応じて現在の物体の位置姿勢を推定する。そして、認識システム1は、推定した位置姿勢を初期値にした物体の3次元モデル(3次元データ)と計測画像とを比較することによって、物体の位置姿勢を認識する。なお、位置姿勢とは、以下の実施形態では、位置および姿勢であるが、技術的な矛盾が生じなければ、位置または姿勢であってもよい。
<Application example>
In the following, a recognition system 1 that compares a template representing a feature amount of an object based on a three-dimensional model (three-dimensional data) of the object with an image (measurement image) representing the result of measuring the object by an imaging sensor. estimates the current object pose according to the past object poses. Then, the recognition system 1 recognizes the position and orientation of the object by comparing the three-dimensional model (three-dimensional data) of the object with the estimated position and orientation as initial values and the measured image. Note that the position and orientation are position and orientation in the following embodiments, but may be position or orientation as long as there is no technical contradiction.
これによれば、テンプレートを用いずに、高速に物体の位置姿勢を推定することができる。そして、3次元モデルと計測画像の比較の前に、物体の位置姿勢を大まかに把握することができるので、比較における3次元モデルの物体の位置姿勢の範囲を限定することができる。従って、より高速に、かつ、より効率的に、物体の位置姿勢の認識をすることができる。 According to this, the position and orientation of an object can be estimated at high speed without using templates. Since the position and orientation of the object can be roughly grasped before comparing the 3D model and the measured image, the range of the position and orientation of the 3D model object in the comparison can be limited. Therefore, the position and orientation of the object can be recognized more quickly and efficiently.
<実施形態1>
[認識システムの構成]
図1を参照して、実施形態1に係る認識システム1の構成を説明する。認識システム1は、物体2(所定の物体)についての3次元モデルと物体2を計測した結果を表す計測画像とを比較することによって、物体2の位置姿勢を認識する。認識システム1は、撮像センサ10、テンプレート生成装置20、認識装置30、記憶装置40、ロボット制御装置50、ロボット60を有する。また、認識システム1は、把持物体3を物体2に接続するロボット60を制御するロボット制御システムでもある。
<Embodiment 1>
[Configuration of recognition system]
A configuration of a recognition system 1 according to the first embodiment will be described with reference to FIG. The recognition system 1 recognizes the position and orientation of the
撮像センサ10は、現在の物体2を含む計測範囲を計測することによって計測画像を取得する。本実施形態では、撮像センサ10は、左レンズを介して被写体を撮像した画像と右レンズを介して被写体を撮像した画像を取得し、その2つの画像(左右画像)の差異を比較することによって、距離画像を計測画像として取得する3次元センサである。距離画像は、各画素が撮像センサ10から被写体までの距離を示す。なお、撮像センサ10は、三角測量計測やToF(Time of Flight)方式など任意の方法によって、距離画像を取得してよい。また、計測画像は、各画素が被写体の温度を示す温度画像であってもよいし、通常の光学画像(被写体の色や輝度を表現した画像)であってもよい。
The
テンプレート生成装置20は、物体2を事前に計測した3次元モデル、または、物体2を設計する際に用いた物体2の3次元モデルに基づき、物体2の特徴量を示すテンプレートを生成する。例えば、3次元モデル(3次元データ)は、点群データによって物体2を表現するデータでもよいし、CADデータのように物体2の形状や構造を定義するデータでもよい。
The
認識装置30は、撮像センサ10が取得した計測画像を用いて、物体2の現在の位置姿
勢の推定処理を行う。また、認識装置30は、推定結果に基づき、物体2の現在の位置姿勢を認識する。
The
記憶装置40は、物体2の3次元モデル、テンプレート生成装置20が生成したテンプレート、認識装置30が照合した照合結果、または/および認識装置30が認識した物体2の位置姿勢の情報を記憶(記録)する。記憶装置40は、ハードディスク(HDD)やメモリ(RAM;Ramdom Access Memory)を有するサーバなどであり得る。また、記憶装置40は、テンプレート生成装置20および認識装置30に対して抜き差し可能な記憶媒体であってもよい。記憶装置40には、互いに異なる姿勢の物体2(互いに異なる視点から見た物体2)の特徴を表す複数のテンプレートが記憶される。
The
ロボット制御装置50は、物体2の位置姿勢の認識結果に基づき、ロボット60の姿勢(位置姿勢)を制御する。ロボット制御装置50は、ロボット60の把持部61によって把持された把持物体3が物体2に接続するように、ロボット60の姿勢を制御する。
The
ロボット60は、ロボット制御装置50によって姿勢が制御される。ロボット60は、把持物体3を把持する把持部61と、ロボット60の端部を固定する土台62を有する。従って、ロボット60は、把持物体3の位置姿勢を制御することができる。また、把持部61の一部において、撮像センサ10が固定(接続)される。
The posture of the
(テンプレート生成装置の内部構成)
図2を参照して、テンプレート生成装置20の内部構成を説明する。テンプレート生成装置20は、制御部201、情報取得部202、投影画像生成部203、特徴量算出部204、テンプレート生成部205、情報出力部206を有する。
(Internal configuration of template generator)
The internal configuration of the
制御部201は、非一時的に記憶媒体に記憶されたプログラムに従って、テンプレート生成装置20の各機能部を制御する。
The
情報取得部202は、物体2の3次元モデル(3次元データ;3次元画像データ)を取得する。情報取得部202は、物体2の3次元モデルを、記憶装置40から取得してもよいし、他の外部装置から取得してもよい。また、情報取得部202は、撮像センサ10の撮像パラメータ(カメラ焦点距離、画像の中心座標、レンズ歪みの補正係数)を取得する。
The
投影画像生成部203は、3次元モデルを2次元画像に変換することによって投影画像を生成する。具体的には、投影画像生成部203は、各姿勢の物体2を2次元画像によって表した投影画像を生成する。このとき、撮像センサ10の撮像パラメータによって計測画像が変化するため、投影画像生成部203は、撮像パラメータによって補正した投影画像を生成する。
A projection
特徴量算出部204は、3次元モデルまたは投影画像に基づき、投影画像における各画素(各領域)の特徴量を算出する。ここで、特徴量とは、エッジ特徴量(エッジ方向ヒストグラム)や、法線特徴量(法線方向ヒストグラム)でありえる。しかし、これに限らず、特徴量は、距離情報、温度情報、色彩情報であってもよい。
A feature
テンプレート生成部205は、特徴量算出部204が算出した特徴量を各画素が示す2次元画像であるテンプレートを生成する。また、テンプレート生成部205は、テンプレートの基となった投影画像に対応する物体2の姿勢の情報を、当該テンプレートに付加する。
The
情報出力部206は、テンプレート生成部205が生成したテンプレートを記憶装置40に出力する。
なお、本実施形態では、投影画像生成部203は、3次元モデルから複数の投影画像を生成する。このとき、複数の投影画像は、互いに異なる姿勢の物体2を2次元画像によって表した画像である。その後、特徴量算出部204は、複数の投影画像のそれぞれに対して、特徴量を算出する。そして、テンプレート生成部205は複数の投影画像のそれぞれについてテンプレートを生成して、情報出力部206は、複数のテンプレートを記憶装置40に出力する。
Note that, in this embodiment, the projection
(認識装置の内部構成)
図2を参照して、認識装置30の内部構成について説明する。認識装置30は、制御部301、画像取得部302、情報取得部303、特徴量算出部304、範囲設定部305、推定部306、照合部307、認識部308、結果出力部309を有する。
(Internal configuration of recognition device)
The internal configuration of the
制御部301は、非一時的に記憶媒体に記憶されたプログラムに従って、認識装置30の各機能部を制御する。
The
画像取得部302は、撮像センサ10から計測画像を取得する。なお、画像取得部302は、撮像センサ10から計測画像を取得する必要はなく、例えば、記憶装置40に記憶された計測画像を取得してもよい。
The
情報取得部303は、記憶装置40から複数のテンプレートを取得する。
特徴量算出部304は、計測画像の各画素(各領域)の特徴量を算出する。
The
範囲設定部305は、物体2が存在する可能性のある範囲(推定部306が推定した推定範囲)を、撮像センサ10が計測する対象の範囲(計測範囲)に設定する。
The
推定部306は、過去における物体2の位置姿勢に基づき、現在における物体2の位置姿勢を推定する。なお、推定部306は、時間および工数のかかるテンプレートを用いた照合を実行しない。このため、推定部306は、テンプレートを用いた照合によって物体2の位置姿勢を推定する場合よりも高速に、物体2の位置姿勢を推定できる。また、推定部306は、推定した物体2の位置または位置姿勢から、物体2が存在する可能性のある範囲(推定範囲)を推定する。推定範囲は、例えば、推定した物体2の位置を中心とした所定の大きさの直方体状、円柱状または球状などの任意の形状の範囲である。
The
照合部307は、情報取得部303が取得したテンプレートと、計測画像との照合を行う。そして、照合部307は、合致度が所定値よりも大きければ、照合が成功したと判定する。一方、照合部307は、合致度が所定値よりも以下であれば、照合が失敗したと判定する。また、照合部307は、照合が成功したと判定された際のテンプレートから、大まかな物体2の位置姿勢を推定(認識)する。具体的には、照合部307は、テンプレートに付加された物体2の姿勢の情報と、計測時のロボット60の姿勢の情報とに基づき、物体2の位置姿勢を推定することができる。
A
認識部308は、推定部306または照合部307が推定した物体2の位置姿勢を3次元モデルの物体2の位置姿勢の初期値として、3次元モデルの物体2を計測画像(計測データ)に現れる物体2に合わせ込む。この合わせ込みは、例えば、ICP(Iterative Closest Point)アルゴリズムを用いた3次元モデルの物体2と計測画像の物体2との各点の比較によって実現できる。認識部308は、3次元モデルを計
測画像に合わせ込んだ結果に応じて、計測画像における詳細な物体2の位置姿勢を認識する。
The
結果出力部309は、照合結果や物体2の位置姿勢の認識結果を記憶装置40や外部装置に出力する。物体2を駆動するためのロボット制御装置50などに結果出力部309が認識結果を出力すれば、ロボット制御装置50は、物体2の位置姿勢に応じて、ロボット60(把持物体3)を所定の位置姿勢にするための制御を行うことができる。
The
また、テンプレート生成装置20および認識装置30は、例えば、CPU(プロセッサ)、メモリ、ストレージなどを備えるコンピュータにより構成することができる。その場合、図2に示す構成は、ストレージに格納されたプログラムをメモリにロードし、CPUが当該プログラムを実行することによって実現されるものである。かかるコンピュータは、パーソナルコンピュータ、サーバコンピュータ、タブレット端末、スマートフォンのような汎用的なコンピュータでもよいし、オンボードコンピュータのように組み込み型のコンピュータでもよい。あるいは、図2に示す構成の全部または一部を、ASICやFPGAなどで構成してもよい。あるいは、図2に示す構成の全部または一部を、クラウドコンピューティングや分散コンピューティングにより実現してもよい。
Also, the
[物体の位置姿勢の認識処理]
図3のフローチャートを用いて、認識装置30が物体2の位置姿勢を認識する認識処理を説明する。図3のフローチャートの各処理は、制御部301がプログラムを実行することによって実現できる。
[Recognition processing of object position and orientation]
Recognition processing in which the
ステップS1001において、制御部301は、画像取得部302を制御して、撮像センサ10から左右画像(左レンズを介して被写体を撮像した画像と右レンズを介して被写体を撮像した画像)を取得する。また、制御部301は、情報取得部303を制御して、記憶装置40から複数のテンプレートおよび物体2の3次元モデルを取得する。ここで、複数のテンプレートはそれぞれ、物体2の互いに異なる姿勢に対応するテンプレート(多視点テンプレート)である。なお、制御部301は、撮像センサ10から撮像パラメータを取得してもよい。
In step S<b>1001 , the
ステップS1002において、制御部301は、過去(過去のフレーム)における物体2の位置姿勢の認識結果が記憶装置40に記憶されているか否かを判定する。なお、過去(過去のフレーム)における物体2の位置姿勢の認識結果は、認識装置30の不図示の記憶部に記憶されていてもよく、制御部301は、過去における物体2の位置姿勢の認識結果が記憶部に記憶されているか否かを判定してもよい。過去における物体2の位置姿勢の認識結果が記憶されていると判定された場合にはステップS1006に進み、そうでない場合にはステップS1003に進む。
In step S<b>1002 , the
ステップS1003において、制御部301は、左右画像の重複する全ての範囲について距離を計測するように撮像センサ10を制御して、計測画像を取得する(3次元計測をする)。具体的には、撮像センサ10は、左右画像の2つの間の対応する画素を特定して、対応する画素の位置の差を算出する。そして、撮像センサ10は、対応する画素の位置の差と、左右のレンズの位置の差とに基づき、三角測量の技術を用いて、被写体までの距離を計測する。これによって、撮像センサ10は、例えば、点群データを有するような距離画像である計測画像を取得できる。
In step S1003, the
ステップS1004において、制御部301は、特徴量算出部304を制御して、計測画像から特徴量を取得する。
In step S1004, the
ステップS1005において、制御部301は、照合部307を制御して、ステップS1001において取得した複数のテンプレートを用いて、物体2の大まかな位置姿勢を推定(認識)する。具体的には、まず、照合部307は、複数のテンプレートが示す特徴量と計測画像が示す特徴量とを比較することによって、照合を行う。例えば、照合部307は、計測画像の或る範囲とテンプレートとにおける各画素間での特徴量の差分Dの総合計Sum(D)の逆数1/Sum(D)を合致度として取得する。なお、これに限らず、任意の照合方法によって、合致度の取得が行われてよい。そして、照合部307は、合致度が最も高くなるテンプレートに対応する姿勢と、ロボット60の姿勢(撮像センサ10の位置姿勢)とに基づき、物体2の姿勢を推定する。また、照合部307は、計測画像において当該テンプレートと最も合致する位置と、ロボット60の姿勢とに基づき、物体2の位置を推定する。
In step S1005, the
ステップS1006において、制御部301は、過去における物体2の位置姿勢の情報(過去情報)を用いた認識処理を実行する。過去情報を用いた認識処理の詳細については、図4のフローチャートを用いて後述する。
In step S<b>1006 , the
ステップS1007において、制御部301は、ステップS1006における認識処理によって物体2の位置姿勢を認識できたか否かを判定する。物体2の位置姿勢を認識できたと判定された場合にはステップS1009に進み、そうでない場合にはステップS1003に進む。
In step S1007, the
ステップS1008において、制御部301は、認識部308を制御して、物体2の3次元モデルと、計測画像との比較をして、計測画像における物体2の位置姿勢を詳細に認識する。具体的には、認識部308は、照合部307が推定した位置姿勢を初期値として、物体2の3次元モデルを計測画像に合わせ込むことにより、計測画像における物体2の位置姿勢を認識する。認識部308は、例えば、ICPアルゴリズムを用いて、3次元モデルと計測画像が示す物体2の各点の比較(マッチング)を行うことによって、物体2の3次元モデルを計測画像に合わせ込むことができる。
In step S1008, the
ステップS1009において、制御部301は、結果出力部309を制御して、物体2の位置姿勢の情報を、記憶装置40に出力する。これによって、物体2の位置姿勢の情報が記憶装置40に記憶される。
In step S<b>1009 , the
(過去情報を用いた認識処理;ステップS1006)
図4のフローチャートを用いて、ステップS1006において行われる過去情報を用いた認識処理について説明する。図4のフローチャートの各処理は、制御部301がプログラムを実行することによって実現できる。
(Recognition processing using past information; step S1006)
The recognition processing using past information performed in step S1006 will be described with reference to the flowchart of FIG. Each process in the flowchart of FIG. 4 can be realized by the
ステップS2001において、制御部301は、推定部306を制御して、過去における物体2の位置姿勢の認識結果に基づき、計測画像の過去の2つのフレーム間の物体2の位置姿勢の変化量(移動量および回転量)を算出する。具体的には、推定部306は、2つのフレーム間の物体2の位置姿勢の差分を変化量として算出すればよい。なお、推定部306は、3以上の時点の物体の位置姿勢の認識結果に基づき、フレーム間の物体2の位置姿勢の変化量を算出してもよい。
In step S2001, the
ステップS2002において、制御部301は、推定部306を制御して、計測画像の過去の2つのフレーム間の物体2の変化量に基づき、前回フレームから現在フレームの間での物体2の変化量(推定変化量;移動量および回転量)を推定する。具体的には、推定部306は、例えば、過去の2つのフレーム間が複数フレーム分離れている場合には、計測画像の過去の2つのフレーム間の物体2の変化量を、当該過去の2つのフレーム間のフ
レーム数で除算することによって、推定変化量を算出(推定)する。
In step S2002, the
ステップS2003において、制御部301は、推定部306を制御して、前回フレームの物体2の位置姿勢と、前回フレームから現在フレームの間での物体2の推定変化量とに基づき、現在フレームの物体2の位置姿勢を推定する。推定部306は、前回フレームの物体2の位置姿勢から、推定変化量の分だけ動いたと推定して、現在フレームの物体2の位置姿勢を推定する。このように、ステップS2003では、推定部306は、ステップS1005におけるテンプレートを用いた照合による物体2の位置姿勢の推定の代わりに、過去の物体2の位置姿勢に基づき、現在の物体2の位置姿勢を推定する。
In step S2003, the
ステップS2004において、制御部301は、推定部306を制御して、推定した現在の物体の位置姿勢に基づき、現在フレームにおいて物体2が存在する可能性がある範囲(推定範囲)を推定する。例えば、推定部306は、ステップ2003において推定した物体2の位置を中心とする所定の大きさ(例えば、物体2の1.5倍や2倍の大きさ)の範囲を推定領域として決定する。そして、制御部301は、範囲設定部305を制御して、推定領域を、撮像センサ10が計測する範囲である計測範囲に設定する。
In step S2004, the
ステップS2005において、制御部301は、撮像センサ10を制御して、ステップS2004において設定した計測範囲(推定範囲)のみを計測するように制御して、計測画像を取得する。これによれば、物体2が存在する可能性がある計測範囲のみが計測されるため、撮像センサ10による計測が効率化できる。
In step S2005, the
具体的には、撮像センサ10は、左右画像のうちの計測範囲に対応する範囲においてのみ、対応する画素の位置の差を算出することによって、物体2の存在する可能性がある計測範囲のみを計測する。このため、左右画像のうち画素の位置の差の算出処理の対象となる画素の数を減らすことができる。また、撮像センサ10からの計測すべき距離が限定されるため、一方の画像の画素に対する他方の画像の画素の対応位置を探索する範囲が絞られる。つまり、左右画像間の対応する画素の算出に係る処理数も減少する。このように、撮像センサ10は、物体2が存在する可能性がある位置を含む所定の範囲についてのみ、計測を実行することができる。つまり、撮像センサ10では、物体2が存在する位置から遠い位置について計測することが不要になる。
Specifically, the
ステップS2006において、制御部301は、認識部308を制御して、物体2の3次元モデルと、計測画像との比較をして、物体2の位置姿勢を詳細に認識する。具体的には、認識部308は、照合部307が推定した位置姿勢を初期値として、物体2の3次元モデルを計測画像に合わせ込むことにより、計測画像における物体2の位置姿勢を認識する。認識部308は、ICPアルゴリズムを用いて、物体2の3次元モデルと計測画像が示す物体2の各点の比較(マッチング)を行うことによって、物体2の3次元モデルを計測画像に合わせ込むことができる。
In step S<b>2006 , the
なお、ステップS2001~S2006の処理のうちいずれかが完了できなかった所定の場合には、図4のフローチャートの処理が終了し、物体2の位置姿勢を認識できなかったとして、ステップS1007においてステップS1003に進む。所定の場合とは、例えば、過去の1つのフレームの物体2の位置姿勢のみが記憶されており、ステップS2001において過去フレーム間の物体2の変化量が算出できない場合であり得る。また、所定の場合とは、計測範囲(推定範囲)内に物体2が存在しなかったことに起因して、ステップS2006において物体2の3次元モデルを計測画像に合わせ込むことができなかった場合であり得る。
Note that if any one of the processes of steps S2001 to S2006 cannot be completed in a predetermined case, the process of the flowchart in FIG. proceed to The predetermined case may be, for example, the case where only the position and orientation of
本実施形態によれば、過去における物体2の位置姿勢に基づき、大まかな物体2の位置
姿勢を推定できるため、テンプレートと計測画像との照合処理をなくすことができる。従って、物体2の位置姿勢を認識する場合において、認識処理を効率化することができる。
According to this embodiment, the position and orientation of the
<実施形態2>
実施形態2では、ロボット60の位置姿勢に基づき、現在における物体2の位置姿勢を推定する認識システム1を説明する。実施形態2に係る認識システム1の構成は、実施形態1に係る認識システム1に係る構成と同様であるため、説明を省略する。実施形態2では、図2に示すステップS1006の処理(過去情報を用いた認識処理)のみが、実施形態1と異なるので、図5に示すフローチャートを用いて過去情報を用いた認識処理を説明する。
<
In the second embodiment, the recognition system 1 that estimates the current position and orientation of the
ここで、認識システム1における座標系について説明する。認識システム1において、図6に示すように、ベース座標系、オブジェクト座標系、ツール座標系、カメラ座標系の4つの座標系が存在する。ベース座標系は、ロボット60の土台62を中心とする座標系であり、固定された座標系である。オブジェクト座標系は、物体2を中心とする座標系である。ツール座標系は、ロボット60の把持部61(または把持物体3)を中心とする座標系である。カメラ座標系は、撮像センサ10を中心とする座標系である。ここで、実施形態1に係る「物体2の位置姿勢」とは、カメラ座標系の物体2の位置姿勢であってもよいし、ベース座標系の物体2の位置姿勢であってもよい。
Here, the coordinate system in the recognition system 1 will be explained. In the recognition system 1, as shown in FIG. 6, there are four coordinate systems: a base coordinate system, an object coordinate system, a tool coordinate system, and a camera coordinate system. The base coordinate system is a coordinate system centered on the
図5は、実施形態2に係る過去情報を用いた認識処理を示すフローチャートである。図5において、ステップS2004~S2006の処理は、実施形態1に係るステップS2004~S2006の処理と同様である。このため、ステップS2004~S2006についての説明は省略する。 FIG. 5 is a flowchart showing recognition processing using past information according to the second embodiment. In FIG. 5, the processing of steps S2004 to S2006 is the same as the processing of steps S2004 to S2006 according to the first embodiment. Therefore, description of steps S2004 to S2006 is omitted.
ステップS3001において、制御部301は、推定部306を用いて、カメラ座標系の過去フレームの物体2の位置姿勢と、ベース座標系の過去フレームのロボット60(把持部61)の位置姿勢とに基づき、カメラ座標系の過去フレームの物体2の位置姿勢をベース座標系に変換する。具体的には、制御部301は、下記の式1によって、過去フレームのベース座標系の物体2における位置(並進)T’obj-baseと回転(姿勢)R’obj-baseを取得する。
式1において、位置T’obj-camと回転R’obj-camは、それぞれカメラ座標系の過去フレームの物体2の位置(座標)と回転(姿勢)である。なお、位置T’obj-camと回転R’obj-camは、認識装置30による過去の物体2の位置姿勢の認識結果である。位置T’tool-baseと回転R’tool-baseは、それぞれベース座標系の過去フレームの把持部61(ロボット60)の位置と回転である。位置Tcam-toolと回転Rcam-toolは、それぞれツール座標系の撮像センサ10の位置と回転である。なお、撮像センサ10と把持部61との相対的な位置関係は一定であるため、位置Tcam-toolと回転Rcam-toolは、過去フレームと現在フレームとを問わず、一定の値である。そのため、位置Tcam-toolと回転Rcam-toolは、事前に計測して取得することができる。
In Expression 1, the position T' obj-cam and the rotation R' obj-cam are the position (coordinates) and rotation (orientation) of the
ここで、オブジェクト座標系からベース座標系への変換ベクトルをlとし、オブジェクト座標系からカメラ座標系への変換ベクトルをmとする。そして、ツール座標系からカメラ座標系への変換ベクトルをnとし、ベース座標系からツール座標系への変換ベクトルを
oとする。すると、l=m+n-1+o-1という式が成り立つ。これを、位置および回転によって表すと、式2のように表すことができる。これによって、式1の計算式が算出できる。
ステップS3002において、制御部301は、推定部306を用いて、ステップS3001にて算出した過去フレームのベース座標系の物体2の位置姿勢と、ツール座標系の現在フレームのロボット60(土台62)の位置姿勢とに基づき、カメラ座標系の現在フレームの物体2の位置姿勢を推定する。具体的には、制御部301は、下記の式3によって、過去フレームのカメラ座標系の物体2における位置Tobj-camと回転(姿勢)R’obj-camを取得する。
位置Tbase-toolと回転Rbase-toolは、それぞれツール座標系の現在フレームの土台62(ロボット60)の位置(座標)および回転(姿勢)である。位置Ttool-camと回転Rtool-camは、それぞれカメラ座標系の把持部61の
位置および回転である。なお、撮像センサ10と把持部61との相対的な位置関係は一定であるため、位置Ttool-camと回転Rtool-camは、過去フレームと現在
フレームとを問わず、一定の値である。そのため、位置Ttool-camと回転Rto
ol-camは、事前に計測して取得することができる。
Position T base-tool and rotation R base-tool are respectively the position (coordinates) and rotation (pose) of the base 62 (robot 60) of the current frame in the tool coordinate system. The position T tool-cam and the rotation R tool-cam are the position and rotation of the
The ol-cam can be obtained by measuring in advance.
このように、ステップS3001およびS3002によって、推定部306は、現在フレームの物体2の位置姿勢を推定することができる。ここで、実施形態1では、推定部306は、現在フレームの物体の位置姿勢を推定するために、過去の複数のフレーム(2つの時点)の物体2の位置姿勢を把握している必要がある。一方、実施形態2によれば、推定部306は、過去の1つのフレームにおいて物体2やロボット60の位置姿勢が把握できていれば、現在フレームの物体2の位置姿勢を推定することができる。つまり、推定部306は、1つの時点での計測によって、現在フレームの物体2の位置姿勢を推定することができる。
Thus, the
従って、実施形態2では、認識システム1は、実施形態1よりも効率的に、物体2の位置姿勢を認識する場合において、認識処理を実行することができる。
Therefore, in the second embodiment, the recognition system 1 can perform recognition processing more efficiently than in the first embodiment when recognizing the position and orientation of the
なお、実施形態1および実施形態2では、認識システム1は、図1に示すように、移動する撮像センサ10によって計測した計測画像に基づき、物体2の位置姿勢を推定して、推定結果に応じて物体2の位置姿勢を認識する。しかし、図7に示すように、撮像センサ10の位置が固定されており、物体2の位置姿勢が時刻経過に応じて変化する場合にも、
各実施形態に係る認識システム1を適用することができる。つまり、このような場合にも、認識システム1は、実施形態1または実施形態2に説明した方法(推定方法:認識方法)によって、過去の物体2の位置姿勢に基づき、現在の物体2の位置姿勢を推定することができる。
In
The recognition system 1 according to each embodiment can be applied. That is, even in such a case, the recognition system 1 calculates the current position of the
また、各実施形態に係る認識システム1(推定部306)は、過去の物体2の姿勢位置に加えて、物体2に対する設定(移動速度や加速度、動作軌跡の設定情報)をさらに用いて、現在の物体2の位置姿勢を推定してもよい。さらに、認識システム1(推定部306)は、ロボット60の姿勢変化の設定(関節のエンコーダ値や加速度、動作軌跡の設定情報)に基づき、現在の物体2の位置姿勢を推定してもよい。
In addition, the recognition system 1 (estimating unit 306) according to each embodiment further uses the settings for the object 2 (moving speed, acceleration, and motion trajectory setting information) in addition to the past posture position of the
なお、実施形態に記載された事項のみによって特許請求の範囲の記載の解釈が限定されるものではない。特許請求の範囲の記載の解釈には、出願時の技術常識を考慮した、発明の課題が解決できることを当業者が認識できるように記載された範囲も含む。 Note that the interpretation of the claims is not limited only by the matters described in the embodiments. The interpretation of the description of the claims also includes the scope described so that a person skilled in the art can recognize that the problems of the invention can be solved in consideration of the common general knowledge as of the filing.
(付記1)
所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の3次元モデルとを比較することによって、前記計測画像における前記所定の物体の位置姿勢を認識する認識装置(30)であって、
過去において前記認識装置(30)が認識した前記所定の物体の位置姿勢に基づき、現在における前記所定の物体の位置姿勢を推定する推定手段(306)と、
前記推定手段(306)が推定した位置姿勢を前記所定の物体の前記3次元モデルの位置姿勢の初期値として、前記3次元モデルを前記計測画像における前記所定の物体に合わせ込んだ結果に応じて、前記計測画像における前記所定の物体の位置姿勢を認識する認識手段(308)と、
を有することを特徴とする認識装置(30)。
(Appendix 1)
A recognition device (30) for recognizing the position and orientation of a predetermined object in the measurement image by comparing a measurement image representing a result of measuring a measurement range including the predetermined object with a three-dimensional model of the predetermined object. and
estimation means (306) for estimating the current position and orientation of the given object based on the position and orientation of the given object recognized by the recognition device (30) in the past;
Using the position and orientation estimated by the estimating means (306) as an initial value of the position and orientation of the three-dimensional model of the predetermined object, according to the result of fitting the three-dimensional model to the predetermined object in the measurement image , recognition means (308) for recognizing the position and orientation of the predetermined object in the measurement image;
A recognition device (30), characterized in that it comprises:
(付記2)
所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の3次元モデルとを比較することによって、前記計測画像における前記所定の物体の位置姿勢を認識する認識方法であって、
過去において認識された前記所定の物体の位置姿勢に基づき、現在における前記所定の物体の位置姿勢を推定する推定ステップ(S2001,S2002,S2003)と、
前記推定ステップにおいて推定された位置姿勢を前記所定の物体の前記3次元モデルの位置姿勢の初期値として、前記3次元モデルを前記計測画像における前記所定の物体に合わせ込んだ結果に応じて、前記計測画像における前記所定の物体の位置姿勢を認識する認識ステップ(S2006)と、
を有することを特徴とする認識方法。
(Appendix 2)
A recognition method for recognizing the position and orientation of a predetermined object in the measurement image by comparing a measurement image representing a result of measuring a measurement range including the predetermined object with a three-dimensional model of the predetermined object, ,
an estimation step (S2001, S2002, S2003) of estimating the current position and orientation of the predetermined object based on the position and orientation of the predetermined object recognized in the past;
Using the position and orientation estimated in the estimation step as an initial value of the position and orientation of the three-dimensional model of the predetermined object, according to the result of fitting the three-dimensional model to the predetermined object in the measurement image, the a recognition step of recognizing the position and orientation of the predetermined object in the measurement image (S2006);
A recognition method characterized by having
1:認識システム、2:物体、3:把持物体、
10:撮像センサ、20:テンプレート生成装置、30:認識装置、
40:記憶装置、50:ロボット制御装置、60:ロボット、
61:把持部、62:土台、
201:制御部、202:情報取得部、203:投影画像生成部、
204:特徴量算出部、205:テンプレート生成部、206:情報出力部、
301:制御部、302:画像取得部、303:情報取得部、
304:特徴量算出部、305:範囲設定部、306:推定部、
307:照合部、308:認識部、309:結果出力部
1: recognition system, 2: object, 3: grasped object,
10: imaging sensor, 20: template generation device, 30: recognition device,
40: storage device, 50: robot control device, 60: robot,
61: Grip, 62: Base,
201: control unit, 202: information acquisition unit, 203: projection image generation unit,
204: feature amount calculation unit; 205: template generation unit; 206: information output unit;
301: control unit, 302: image acquisition unit, 303: information acquisition unit,
304: feature amount calculation unit, 305: range setting unit, 306: estimation unit,
307: collation unit, 308: recognition unit, 309: result output unit
Claims (9)
過去において前記認識装置が認識した前記所定の物体の位置姿勢に基づき、現在における前記所定の物体の位置姿勢を推定する推定手段と、
前記推定手段が推定した位置姿勢を前記所定の物体の前記3次元モデルの位置姿勢の初期値として、前記3次元モデルを前記計測画像における前記所定の物体に合わせ込んだ結果に応じて、前記計測画像における前記所定の物体の位置姿勢を認識する認識手段と、
を有することを特徴とする認識装置。 A recognition device that recognizes the position and orientation of a predetermined object in the measurement image by comparing a measurement image representing a result of measuring a measurement range including the predetermined object with a three-dimensional model of the predetermined object, ,
estimating means for estimating the current position and orientation of the predetermined object based on the position and orientation of the predetermined object recognized by the recognition device in the past;
Using the position and orientation estimated by the estimating means as an initial value of the position and orientation of the three-dimensional model of the predetermined object, the measurement is performed according to the result of fitting the three-dimensional model to the predetermined object in the measurement image. recognition means for recognizing the position and orientation of the predetermined object in the image;
A recognition device characterized by comprising:
前記推定手段は、さらに、前記推定手段が推定した位置または位置姿勢に基づき前記所定の物体が存在する範囲である推定範囲を推定し、
前記設定手段は、前記推定範囲を前記計測範囲として設定する、
ことを特徴とする請求項1に記載の認識装置。 further comprising setting means for setting the measurement range;
The estimating means further estimates an estimated range, which is a range in which the predetermined object exists, based on the position or position/orientation estimated by the estimating means,
The setting means sets the estimated range as the measurement range,
2. The recognition device according to claim 1, characterized in that:
ことを特徴とする請求項1または2に記載の認識装置。 The estimating means estimates the current position and orientation of the given object based on changes in the position and orientation of the given object between at least two past points in time.
3. The recognition device according to claim 1 or 2, characterized in that:
前記撮像センサの位置姿勢は、ロボットによって制御され、
前記推定手段は、過去における前記所定の物体の位置姿勢と現在におけるロボットの位置姿勢とに基づき、現在における前記所定の物体の位置姿勢を推定する、
ことを特徴とする請求項1から3のいずれか1項に記載の認識装置。 The measurement image represents a result measured by an imaging sensor,
The position and orientation of the imaging sensor are controlled by a robot,
The estimation means estimates the current position and orientation of the predetermined object based on the past position and orientation of the predetermined object and the current position and orientation of the robot.
4. The recognition device according to any one of claims 1 to 3, characterized in that:
ことを特徴とする請求項1から4のいずれか1項に記載の認識装置。 The measurement image is a distance image in which each pixel represents the distance to the subject,
5. The recognition device according to any one of claims 1 to 4, characterized in that:
前記推定手段は、現在における前記所定の物体の位置姿勢を推定せず、
前記認識手段は、前記所定の物体の特徴量を示す複数のテンプレートのそれぞれと前記計測画像との照合結果に応じて前記所定の物体の位置姿勢を認識する、
ことを特徴とする請求項1から5のいずれか1項に記載の認識装置。 When there is no recognition result by the recognition means of the position and orientation of the predetermined object in the past,
wherein the estimation means does not estimate the current position and orientation of the given object;
The recognizing means recognizes the position and orientation of the predetermined object according to a comparison result between each of a plurality of templates indicating feature amounts of the predetermined object and the measurement image.
6. The recognition device according to any one of claims 1 to 5, characterized in that:
前記計測範囲を計測する撮像センサと、
前記認識装置が認識した結果に基づき、前記所定の物体の位置姿勢を制御するロボットと、
を有することを特徴とするロボット制御システム。 a recognition device according to any one of claims 1 to 6;
an imaging sensor that measures the measurement range;
a robot that controls the position and orientation of the predetermined object based on the result recognized by the recognition device;
A robot control system comprising:
過去において認識された前記所定の物体の位置姿勢に基づき、現在における前記所定の物体の位置姿勢を推定する推定ステップと、
前記推定ステップにおいて推定された位置姿勢を前記所定の物体の前記3次元モデルの
位置姿勢の初期値として、前記3次元モデルを前記計測画像における前記所定の物体に合わせ込んだ結果に応じて、前記計測画像における前記所定の物体の位置姿勢を認識する認識ステップと、
を有することを特徴とする認識方法。 A recognition method for recognizing the position and orientation of a predetermined object in the measurement image by comparing a measurement image representing a result of measuring a measurement range including the predetermined object with a three-dimensional model of the predetermined object, ,
an estimating step of estimating the current position and orientation of the given object based on the previously recognized position and orientation of the given object;
Using the position and orientation estimated in the estimation step as an initial value of the position and orientation of the three-dimensional model of the predetermined object, according to the result of fitting the three-dimensional model to the predetermined object in the measurement image, the a recognition step of recognizing the position and orientation of the predetermined object in the measurement image;
A recognition method characterized by having
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021038144A JP2022138329A (en) | 2021-03-10 | 2021-03-10 | Recognition device, robot control system, recognition method, and program |
PCT/JP2021/047103 WO2022190534A1 (en) | 2021-03-10 | 2021-12-20 | Recognition device, robot control system, recognition method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021038144A JP2022138329A (en) | 2021-03-10 | 2021-03-10 | Recognition device, robot control system, recognition method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022138329A true JP2022138329A (en) | 2022-09-26 |
Family
ID=83226522
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021038144A Pending JP2022138329A (en) | 2021-03-10 | 2021-03-10 | Recognition device, robot control system, recognition method, and program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2022138329A (en) |
WO (1) | WO2022190534A1 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5567908B2 (en) * | 2009-06-24 | 2014-08-06 | キヤノン株式会社 | Three-dimensional measuring apparatus, measuring method and program |
US9437005B2 (en) * | 2011-07-08 | 2016-09-06 | Canon Kabushiki Kaisha | Information processing apparatus and information processing method |
US9279661B2 (en) * | 2011-07-08 | 2016-03-08 | Canon Kabushiki Kaisha | Information processing apparatus and information processing method |
JP6978454B2 (en) * | 2019-02-22 | 2021-12-08 | ファナック株式会社 | Object detector, control device and computer program for object detection |
JP7442078B2 (en) * | 2019-07-09 | 2024-03-04 | パナソニックIpマネジメント株式会社 | Image processing device and image processing method |
-
2021
- 2021-03-10 JP JP2021038144A patent/JP2022138329A/en active Pending
- 2021-12-20 WO PCT/JP2021/047103 patent/WO2022190534A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022190534A1 (en) | 2022-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5812599B2 (en) | Information processing method and apparatus | |
JP4556873B2 (en) | Image collation system and image collation method | |
JP4653606B2 (en) | Image recognition apparatus, method and program | |
JP4093273B2 (en) | Feature point detection apparatus, feature point detection method, and feature point detection program | |
CN110992356A (en) | Target object detection method and device and computer equipment | |
JP4709668B2 (en) | 3D object recognition system | |
JP6836561B2 (en) | Image processing device and image processing method | |
CN113393524B (en) | Target pose estimation method combining deep learning and contour point cloud reconstruction | |
JP2017123087A (en) | Program, device and method for calculating normal vector of planar object reflected in continuous photographic images | |
GB2567245A (en) | Methods and apparatuses for depth rectification processing | |
JP6626338B2 (en) | Information processing apparatus, control method for information processing apparatus, and program | |
JP6922348B2 (en) | Information processing equipment, methods, and programs | |
JP4921847B2 (en) | 3D position estimation device for an object | |
JP2018195070A (en) | Information processing apparatus, information processing method, and program | |
WO2022021093A1 (en) | Photographing method, photographing apparatus, and storage medium | |
WO2022190534A1 (en) | Recognition device, robot control system, recognition method and program | |
JP2006113832A (en) | Stereoscopic image processor and program | |
JP5030183B2 (en) | 3D object position and orientation measurement method | |
CN111179342A (en) | Object pose estimation method and device, storage medium and robot | |
JP2021021577A (en) | Image processing device and image processing method | |
WO2022190533A1 (en) | Template generation device, collation system, collation device, template generation method, collation method, and program | |
JP2007034964A (en) | Method and device for restoring movement of camera viewpoint and three-dimensional information and estimating lens distortion parameter, and program for restoring movement of camera viewpoint and three-dimensional information and estimating lens distortion parameter | |
CN113361400A (en) | Head posture estimation method and device and storage medium | |
JP2004362128A (en) | Method for correcting three-dimensional attitude in model image collation | |
KR102382883B1 (en) | 3d hand posture recognition apparatus and method using the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240116 |