JP2016170050A - 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム - Google Patents
位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2016170050A JP2016170050A JP2015050094A JP2015050094A JP2016170050A JP 2016170050 A JP2016170050 A JP 2016170050A JP 2015050094 A JP2015050094 A JP 2015050094A JP 2015050094 A JP2015050094 A JP 2015050094A JP 2016170050 A JP2016170050 A JP 2016170050A
- Authority
- JP
- Japan
- Prior art keywords
- orientation
- dimensional
- image
- shape model
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】位置姿勢計測装置は、計測対象の物体の2次元画像を取得する第1の取得手段と、前記物体の形状を表す3次元形状データを取得する第2の取得手段と、前記物体の形状モデルを保存する保存手段と、前記第2の取得手段により取得された前記物体の前記3次元形状データと、前記保存手段に保存される前記物体の前記形状モデルとに基づいて、前記物体の主平面の位置及び姿勢を前記物体の第1の位置及び姿勢として算出する第1の算出手段と、前記第1の算出手段により算出された前記第1の位置及び姿勢に基づいて、前記第1の取得手段により取得された前記2次元画像と前記形状モデルとを照合することにより、前記物体の3次元空間上の第2の位置及び姿勢を算出する第2の算出手段と、を具備する。
【選択図】図1
Description
工業製品の生産現場における部品の位置及び姿勢の計測方法として、カメラから得られる2次元画像(濃淡画像、カラー画像を含む)を利用する方法が公知である。
下記非特許文献1は、ワイヤフレームモデルによって表される物体の3次元形状モデルの投影像を、カメラから得られる濃淡画像上のエッジに当てはめることで計測対象物体の位置及び姿勢を計測する方法を開示する。
しかしながら、この方法によれば、最初に与えられる物体の概略の位置及び姿勢と、計測対象の物体の濃淡画像上の位置及び姿勢、の差(初期値のずれ)がある程度存在すると、制御点と画像上のエッジとの対応付けに失敗してしまう。すなわち、物体の位置及び姿勢の計測におけるロバスト性が低くなるという課題があった。
本発明は上記課題に鑑みてなされたものであり、3次元形状が既知である計測対象の物体の画像から、当該物体の位置及び姿勢を、よりロバストかつ高精度に計測することができる位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラムを提供することを目的とする。
なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。
以降の実施形態では、計測対象物体の「主平面」とは、計測対象物体の現在の位置及び姿勢における最も広い平面をいうものとする。
実施形態1においては、計測対象物体の位置及び姿勢の推定を段階的及び選択的に実行する。
すなわち、本実施形態1では、まず、計測対象物体の3次元データ(3次元形状データ)の情報、例えば物体の表面上の点群の3次元座標値、を用いて、当該物体の主平面の位置及び姿勢を推定する。その後、計測対象物体の2次元画像(以下、「濃淡画像」として説明するが、カラー画像を用いることもできる。)上の特徴に対して物体の3次元モデルが当てはまるようにフィッティングして位置及び姿勢の推定を行う。
なお、本実施形態1では、物体の位置及び姿勢の初期値はあらかじめ与えられるものとする。また、計測対象の物体が1つの場合を例として説明するが、本実施形態1は計測対象物体が複数である場合にも適用することができる。
図1は、本実施形態1における位置姿勢計測装置101の構成を示す。図1に示すように、位置姿勢計測装置101は、モデル保存部110、2次元画像入力部130、3次元データ入力部150、第1位置姿勢算出部160、第2位置姿勢算出部165から構成されている。また、位置姿勢計測装置101には、2次元画像撮像部100、距離計測部105が接続される。以下、位置姿勢計測装置101を構成する各部、及び、位置姿勢計測装置101に接続する各部の構成について説明する。
この2次元画像において、カメラの焦点距離や主点位置、レンズ歪みパラメータなどの内部パラメータは、例えばZhangの方法などによって事前にキャリブレーションしておいてよい(Z. Zhang, “A flexible new technique for camera calibration”, IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol.22, No.11, pages 1330-1334, 2000.)。
本実施形態1では、距離に基づいて算出される計測装置基準の座標系における3次元座標が保存されているものとする。例えば、座標系としては、2次元画像撮像部100であるカメラのカメラ中心を原点とし、画像の水平方向をx軸、垂直方向をy軸、カメラの光軸をz軸とした座標系を採用することができる。
上記の距離画像に含まれる距離値から3次元点群への変換は、距離画像の各画素について、画素位置に対応する視線ベクトルに距離値を乗算することにより行う。この結果、物体の表面の点群の3次元座標値が得られる。
距離計測部105が計測した距離画像は、位置姿勢計測装置101中の3次元データ入力部150に入力されることで取得される。
モデル保存部110には、位置及び姿勢を計測する対象である物体の3次元形状モデル及び各姿勢ごとの主平面の情報等が保存されている。モデル保存部110には、さらに、例えば、パターンマッチングに用いるテンプレート、その他の情報などが保存されていてもよい。本実施形態1では、物体を線分と面から構成される3次元形状モデルとして説明する。
図2ないし図5は、本実施形態1において利用する3次元形状モデルを説明する図である。これらの図に示すように、3次元形状モデルは、点の集合、及び各点を結んで構成される線分の集合によって定義される。
図2A,図2Bにおいては、計測対象である物体10の3次元形状モデルが点P1〜点P14の14点から構成されている。図2Aでは、計測対象である物体10の3次元形状モデルの点が表面から描かれており、一方、図2Bでは、物体10の裏面から描かれている。
図4においては、物体10の3次元形状モデルの点P1〜点P14が3次元座標値によって表されている。また、図5においては、物体10の3次元形状モデルの線分L1〜L16が線分を構成する両端の点のIDによって表されている。
すなわち、計測対象物体10の各面は、各面を構成する点のIDによって表される。以下、単に物体10という場合は、特に説明しない限り、計測対象物体10を示すものとする。図2の3次元形状モデルでは、直方体を構成する6つの面の情報が記憶されている。「主平面」、すなわち物体の現在の位置及び姿勢における最も広い平面、の情報としては、任意の姿勢と主平面となる面の関係を備えることができる。具体的には、物体10の各面が、その面自身が主平面となる姿勢の範囲を保持するようにする。このように構成される3次元形状モデルは、第1位置姿勢算出部160及び第2位置姿勢算出部165において、物体10の位置及び姿勢を算出する際に用いられる。
第2位置姿勢算出部165は、第1位置姿勢算出部160から出力された第1の位置及び姿勢をもとに、物体10の第2の位置及び姿勢を計測(推定)する。この第2の位置及び姿勢の計測において、第2位置姿勢算出部165は、2次元画像入力部130によって入力された2次元画像と、モデル保存部110に保存される3次元形状モデルとを用いる。この第2の位置及び姿勢は、例えば、最終的に計測したい物体10の位置及び姿勢である。
図6は、本実施形態1における物体10の位置及び姿勢の計測の処理手順の概略を表すフローチャートである。
まず、物体10の位置及び姿勢を算出するための計測データを取得する(S610)。この計測データは、物体10の濃淡画像と距離画像を含む。具体的には、2次元画像撮像部100によって撮影された濃淡画像を、位置姿勢計測装置101の2次元画像入力部130が取得する。また、距離計測部105から出力された距離画像を、位置姿勢計測装置101の3次元データ入力部150が取得する。
S610で取得した距離画像の情報に基づいて、第1位置姿勢算出部160が、物体10の第1の位置及び姿勢の算出を行う(S620)。具体的には、第1位置姿勢算出部160は、距離画像から得られる物体10の表面上の3次元点群データに、モデル保存部110に保存される物体の3次元形状モデルの主平面が当てはまるように、物体10の第1の位置及び姿勢を算出する。
図7は、図6のS620における第1の位置及び姿勢の計測の処理手順詳細を表すフローチャートである。ここでは、第1位置姿勢算出部が、計測対象である物体10の3次元形状モデルの平面と、上記距離画像から得られる物体表面上の3次元点群の3次元空間中における誤差の二乗和が最小になるように、位置及び姿勢の最適化を行う。
物体10の位置及び姿勢の算出をする方法は、例えばRANSAC(RANdom SAmple Consensus)アルゴリズムなどの、はずれ値に対してロバストな方法を用いてもよい(M.Armstrong and A. Zisserman, “Robust object tracking” in Proceedings of Asian Conference on Computer Vision, pp. 58-62, 1995.)。
まず、第1位置姿勢算出部160は、物体10の位置及び姿勢の概略値を取得する(S710)。本実施形態1では、物体10が置かれているおおよその位置や姿勢が既知であり、あらかじめ与えられている(所与である)ことを前提としており、その値を概略値(初期値)として用いる。この概略値は、外部の所定の装置から与えられてもよいし、位置姿勢計測装置101の操作者がキーボードやタッチパネル等の入力手段を用いて与えてもよい。なお、物体10の位置及び姿勢の概略値は、予め与えられている場合だけでなく、他の手法で適宜取得することもできる。
あるいは、過去の位置及び姿勢の計測結果をもとに、位置及び姿勢の変化量を推定し、過去の位置及び姿勢と推定された変化量から現在の位置及び姿勢を予測したものを概略値として用いてもよい。
この対応付けの方法の一例は、大石、中澤、池内、“インデックス画像を用いた複数距離画像の高速同時位置合せ”, 電子情報通信学会論文誌D, Vol.J89-D, No.3, pp.513-521, 2006.に開示されている。
ここでは、距離画像と同サイズの画像バッファを準備し、当該画像バッファに対して、校正済みであるカメラの内部パラメータと、位置及び姿勢の概略値とを用いてポリゴンモデルを描画していく。以下、ポリゴンモデルを描画した画像を「ポリゴン描画画像」と呼ぶ。
なお、ポリゴンの描画処理をGPU(Graphics Processing Unit)上で高速に行い、描画された結果の画像を読み出してもよい。ポリゴンモデルを描画した後、ポリゴン描画画像の各画素の値を読み取る。黒以外の値が保存されている画素については、距離画像のその画素に保持されている3次元座標とポリゴン描画画像上の色に相当するポリゴンとを対応付ける。この対応付け方法は、広い平面であるほど正しく対応づけられる可能性が高くなるため、本実施形態1の図6のS620では、物体10の主平面のみの位置及び姿勢の算出をまず実行する。
具体的には、まず、ポリゴンの位置及び姿勢の変化による変動と、対応付け結果の残差の変化と、の間の相関を表す係数行列を算出する。さらに、対応付け結果の残差を表す誤差ベクトルを算出する。なお、物体10の3次元形状モデルに登録された各面は、その面自身が主平面となる姿勢の範囲を保持している。このため、概略位置姿勢が各面に登録された姿勢範囲に入っている場合に主平面と判断することで主平面を特定し、その面のIDを取得する。
ここでは、3次元形状モデル中のある平面の計測物体の座標系における方程式を、ax+by+cz=eであるとする。なお、計測物体の座標系は、以下、計測物体座標系と称する。この平面の方程式は、位置及び姿勢の概略値に基づいて、位置姿勢を計測する側を基準とした座標系である基準座標系における平面の方程式a'x+b'y+c'z=e'に変換できる。位置及び姿勢の概略値に基づいて、計測物体座標系から基準座標系への座標変換を行う式は、
このとき、基準座標系における平面の方程式の係数は次式のように表される。
そして、物体10が、ある位置及び姿勢spである場合に、3次元座標(x0、y0、z0)の近傍で1次のテイラー展開によって、下記の式3のように近似できる。
この仮定によれば、式3を平面の方程式に代入することによって、下記式4が得られる。この式4は観測方程式と呼ばれる。
式4の観測方程式はspの各成分の微小変化Δspii(i=1、2、3)についての方程式になっており、式4の観測方程式を全ての点群データについて立式すると、式6に示すようなΔspiに関する線形連立方程式を立てることができる。
しかしながら、距離画像の対応付けデータ中に、誤った対応付けその他の原因による外れ値が混入することを完全に避けることは困難である。そこで、本実施形態1では、次に述べるようなロバスト推定手法を用いることができる。
一般に、外れ値を生じるような対応付けにおいては、式6の右辺の誤差ベクトルの値が大きくなる。そこで、本実施形態1においては、誤差の絶対値が大きいデータには小さな重みを与え、誤差が小さいデータには大きな重みを与えるようにして、誤差の大きいデータの影響を抑制している。本実施形態1では、重みとして、例えば次の式8に示すようなTukeyの関数により与えることができる。
各計測データに対応する重みをwiとする。ここで式9のように重み行列Wpを定義する。
図8は、図6のステップS630における第2の位置及び姿勢の計測の処理手順詳細を表すフローチャートである。
本実施形態1では、第2位置姿勢算出部165が、濃淡画像上のエッジと推定される位置及び物体10の姿勢に基づいて、濃淡画像上に投影される線分との距離の二乗和が最小になるように、物体10の位置及び姿勢の最適化を行うことで物体10の第2の位置及び姿勢の推定が行われる。
次に、図6のS610において入力された濃淡画像において画像特徴の検出を行い、検出した画像特徴と、モデル保存部110が保存する物体10の3次元形状モデルとの対応付けを行う(S820)。すなわち、物体10の画像特徴と、3次元形状モデルの幾何特徴と、の照合、対応付けを行う。
本実施形態1では、画像特徴としてエッジを検出する。このエッジは、濃度勾配が極値となる点(又はその点の集合)である。本実施形態1では、例えば、非特許文献1に記載されている方法によって、画像の特徴としてエッジ検出を行うことができる。同文献が開示するエッジ検出方法は、3次元形状モデル側から対応するエッジを探索する方法であるため、検出と対応付けが一度に実行される。
図9に示されように、線分の濃淡画像への投影像は、その濃淡画像上でも線分(投影された線分900)となる。
図10は、このエッジ検出の原理を示すグラフを表す図である。エッジ930は、画素値の濃度勾配が極値をとる位置の点として検出される。したがって、図10に示すように、近傍に、濃度勾配が極値1000を取る点が複数存在する場合には、複数のエッジ930が検出されることがある。本実施形態1では、検出されるエッジ930のうち最も濃度勾配の大きいものを対応するエッジ930と見なしている。
図11は、線分の投影像と検出されたエッジの関係を説明する図である。図11では、濃淡画像の水平方向、垂直方向をそれぞれu軸、v軸と定義している。位置及び姿勢の概略値s0に基づいて投影された線分900上のある制御点910の濃淡画像上での位置を(u0、v0)、該制御点910が属する線分900の画像上での傾きをu軸に対する傾きθで表す。傾きθは、線分の両端の3次元座標をsの概略値(s0)に基づいて濃淡画像上に投影し、濃淡画像上での両端の座標を結んだ直線の傾きとして算出する。該線分(投影された線分900)の濃淡画像上での法線ベクトルは(sinθ、−cosθ)となる。また、該制御点910の対応点(エッジ)930の画像座標を(u’、v’)とする。ここで、点(u’、v’)を通り、傾きがθである直線が図11において破線で示されている。
この破線上の任意の点(u、v)は、
制御点910の画像座標(u、v)は(u0、v0)の近傍で1次のテイラー展開によって式15のように近似できる。但しΔsi(i=1、2、 … 、6)はsの各成分の微小変化を表す。
式16の観測方程式は対応付けが行われたすべての制御点910について立式することができる。式16はsの各成分の微小変化Δsi(i=1、2、 … 、6)に関する方程式になっているので、複数の制御点910について立式することによって、Δsiに関する線形連立方程式を立てることができる。
これらの線形連立方程式を合わせると式18のように表すことができる。
式19をもとに、位置及び姿勢の補正値Δsを算出する。しかし、エッジ930の対応付けデータに誤対応などの外れ値が混入する可能性がある。
そのため、S730で述べたようなロバスト推定手法により重み行列Wを用いて式20によって、補正値Δsを算出する。
他方、収束していない場合は、S830に戻って、残差の最小化の処理からふたたび処理を繰り返す。収束判定は、図7のS750と同様、種々の手法を採用することができる。例えば、補正値Δsがほぼ0であると判断する場合や、誤差ベクトルの二乗和が補正前と補正後でほとんど変わらない場合に収束したと判定してもよい。また、例えば、補正値Δsが所定の基準値未満になった場合に収束したと判定してもよい。
実施形態1の変形例1は、主平面に関する3自由度以外の位置及び姿勢の成分を、濃淡画像とモデルから算出するものである。
上述した実施形態1では、前段の処理において、平面の位置及び姿勢の3自由度を推定した後、後段の処理において、濃淡画像と距離画像の両方を利用して計測対象である物体10の位置及び姿勢を6自由度すべて推定した。
実施形態1の変形例2は、第2の位置及び姿勢の計算に濃淡画像と距離画像を併用するものである。
実施形態1では、図6のS630において、第2の位置及び姿勢の算出時に濃淡画像のみを用いた。これに替えて、距離画像と濃淡画像の両方を用いてもよい。この場合、3次元データ入力部150から得られる距離画像を、第2位置姿勢算出部165でも用いるように構成する。そのうえで、例えば、図8のS830の説明中の連立方程式(式18)の算出時に、式16の条件以外の条件も算出することができる。例えば、式16だけでなく、S730の説明中の式4の条件も位置及び姿勢の6自由度のパラメータに関して算出し、下記の式22を係数行列として用いてよい。
以下、本発明の実施形態2を、実施形態1と異なる点について説明する。
本実施形態2においては、まず第1の位置姿勢推定において、距離画像から主平面に相当する平面を検出する。そして、第2の位置姿勢推定において、求めた物体10の第1の位置及び姿勢に基づいて検出した平面が、正面向きになるように濃淡画像を補正して、パターンマッチングにより物体10の第2の位置及び姿勢を算出する。
図12は、本実施形態2に係る位置姿勢計測装置1201の構成を説明する図である。図12に示すように、位置姿勢計測装置1201は、モデル保存部1210、
2次元画像入力部130、3次元データ入力部150、第1位置姿勢算出部1260、第2位置姿勢算出部1265、とから構成されている。また、位置姿勢計測装置1201には、2次元画像撮像部100と、距離計測部105とが接続されている。
モデル保存部1210は、位置及び姿勢を計測する対象の物体10をパターンマッチングによって検出する際に用いるテンプレートと、当該物体10の主平面の情報とを保存する。本実施形態2において、このテンプレートは、ある位置及び姿勢における物体10を画像として取得した場合の、当該画像の各画素の輝度値の情報を持つものとする。
本実施形態2では、テンプレートは、計測対象である物体10の主平面が視軸と垂直となる場合の輝度値の情報を持つものとする。また、実施形態1と同様に、物体10を表す3次元形状モデルは、当該物体10の点の集合、及び、当該物体10の面を構成する点のID、によって表現されている。さらに、当該物体10の各面が、その面自身が主平面となる姿勢の範囲も、モデル保存部1210に保持されている。このように、その面が主平面となる姿勢の範囲もモデル保存部1210に情報として保持されていることによって、主平面の情報を保持している。テンプレートと、主平面の情報とは、第2位置姿勢算出部1265がその処理に用いる。
第2位置姿勢算出部1265は、第1位置姿勢算出部1260が算出した第1の位置及び姿勢を用いて、2次元画像入力部1230が入力した2次元画像中の物体10の主平面が視軸と垂直になるように画像を変換する。当該変換した画像に対して、モデル保存部210に保存されている計測する対象の物体10のテンプレートをもとに、パターンマッチングを行い、物体10の第2の位置及び姿勢を計測する。
図6を参照して、まず、物体10の位置及び姿勢を算出するための計測データを取得する(S610)。具体的には、物体10の濃淡画像と距離画像とを取得する。位置姿勢計測装置1201中の2次元画像入力部1230が、2次元画像撮像部1200が撮像した濃淡画像を取得する。また、3次元データ入力部1250が、距離計測部1205が出力する距離画像を取得する。
次に、面積の大きい順番に、セグメントが平面かどうかを、例えば平面フィッティングにより確認する。平面フィッティングの結果、セグメントのすべての点が平面との距離がある閾値(例えば1mmなど)以下であれば、着目しているセグメントが平面であると判断する。以上のような処理によって、距離画像上の3次元点(点群)に基づき、面積最大の平面を検出する。
ここでは、濃淡画像の現在の視点、すなわち変換前の視点を、以降、「旧視点」と呼ぶ。また、この旧視点の視軸とS620において検出した平面との交点を、以降、「視軸と平面の交点」と呼ぶ。そして、当該旧視点と、視軸と平面の交点と、の距離が変化せず、かつ、S620において検出した平面が当該視軸と垂直になるような視点を、「正面視点」と呼ぶ。
ここで、濃淡画像を撮像したカメラの内部パラメータは既知であり、濃淡画像の各座標に対応する3次元座標も既知であるので、これらパラメータを利用して、正面視点における画像を計算することができる。
まず、正面視点の3次元空間上での座標は、視軸と平面の交点から、図6のS620において検出した平面の法線方向に、旧視点からの視軸と平面との交点の間の距離だけ移動した場所にある。
次に、座標軸を決定する。旧視点に対するx、y、z軸をそれぞれ決定する。ここでは、旧視点に対するx軸を、濃淡画像上で左から右向き、かつ、z軸と垂直の向きとする。旧視点に対するy軸を、濃淡画像上で上から下向き、かつ、z軸と垂直の向きとする。旧視点に対するz軸を、旧視点から濃淡画像上で奥の向き、と決定する。
同様に、正面視点に対する座標軸x’、 y’、z’軸それぞれ決定する。正面視点に対するz’軸は、正面視点から視軸と平面の交点への向きとする。正面視点に対するx’軸は、濃淡画像上で左から右向き、かつ、z’軸と垂直の向きとする。正面視点に対するy’軸は、濃淡画像上で上から下向き、かつ、z’軸と垂直の向きとする。
図13に戻り、S1310において変換した濃淡画像に対して、モデル保存部1210に保存されているテンプレートを用いて、パターンマッチングを行い、第2の位置および姿勢の推定を行う(S1320)。
ここで、パターンマッチングの方法は、様々なパターンマッチングの方法を利用してよい。本実施形態2では、例えば正規化相関法により計算することができる。この正規化相関法では、テンプレートtと、テンプレートtと同じサイズの画像Iに対して以下のような評価値Rを算出する。
実施形態2の変形例1では、パターンマッチングを実行した後に、精度が向上するフィッティングを行う。
この変形例1では、上述の実施形態2についての図6のS630の処理による出力(すなわち、第2の位置及び姿勢)を、物体10の概略の位置姿勢として、上述の実施形態1についてのS630の処理を行う。これにより、物体10の位置及び姿勢の推定の精度を高めることができる。あるいは、パターンマッチングにおけるテンプレートのバリエーション数を減らしても、推定の精度を維持することができる。
実施形態2の変形例2は、上述した実施形態2の動作において、第1の位置及び姿勢の算出処理を、実施形態1で説明した処理を用いる。
すなわち、上記実施形態2における第1の位置及び姿勢の算出処理を、実施形態1で説明した図6のS610、S620の処理を用いて求めてもよい。実施形態1についての図6のS620で最適化した3自由度のパラメータspから主平面の位置及び姿勢を算出し、図6のS630の入力として利用すればよい。
実施形態2の変形例3は、複数の対象物体の位置及び姿勢を算出する。
取得した画像に複数の計測対象の部品が撮影されている場合、図6のS620において、距離画像のセグメンテーションによって得られた平面の中で、面積の大きい方から、複数の平面のセグメントを選び出してもよい。当該複数の平面のセグメントに対して、実施形態2で説明した図6のS620の処理を行い、複数の対象物体10に対して、第1の位置及び姿勢を算出してもよい。
以下、本発明の実施形態3を、上記実施形態と異なる点について説明する。
実施形態3においては、実施形態2における第2位置姿勢算出部1265が、特徴点ベースのモデルフィッティングを実行するものである。
この実施形態3においては、実施形態2と同様に、第2位置姿勢算出部1265が、主平面が視軸と垂直となるように変換した濃淡画像から特徴点を検出する。そして、第2位置姿勢算出部1265は、主平面が視軸と垂直となっている画像における例えばSIFT(Scale-Invariant Feature Transform)特徴点のデータベース上の特徴点との対応をもとに、物体10の位置及び姿勢を算出する。
第2位置姿勢算出部1265は、変換した画像に対して、モデル保存部1210に保存されている計測する対象である物体10のSIFT特徴点のデータベース中のSIFT特徴点群を、変換済み画像から抽出したSIFT特徴点と対応付ける。そして、第2位置姿勢算出部1265は、例えばDLT(Direct Linear Transform)法によって、物体10の第2の位置及び姿勢を計測(算出)する。ここで、DLT法として、Y. I. Abdel-Aziz and H. M. Karara.,”Direct linear transformation from comparator coordinates into object space coordinates in close-range photogrammetry”, In Proceedings of the Symposium on Close-Range Photogrammetry, pp. 1-18. American Society of Photogrammetry, Falls Church, 1971.”に記載の方法等を利用することができる。
すなわち、第2位置姿勢算出部1265は、S620において算出された第1の位置及び姿勢と、濃淡画像とに基づいて物体10の第2の位置及び姿勢の計測(算出)を行う(S630)。このS630においては、濃淡画像を、S620において検出した平面が視軸と垂直になるように変換する。変換後の画像に対して、データベース上のSIFT特徴点と、視軸と主平面が垂直となっている画像上のSIFT特徴点との対応付けを行う。当該対応付けの処理においては、第2位置姿勢算出部1265は、モデル保存部1210に保存されているSIFT特徴量のデータベースを用いてよい。第2位置姿勢算出部1265は、当該対応付けの後、例えばDLT法によって位置及び姿勢を算出する。
以下、S1410からS1430を参照して、実施形態3におけるS630の処理の詳細を説明する。なお、図14のS1410の処理は、図13に示すS1310と同様のため説明は省略し、S1420から説明を行う。
まず、S1410において変換した濃淡画像(以降、「正面画像」と呼ぶ。)上のSIFT特徴点と、モデル保存部1210に保存されているデータベース上のSIFT特徴点(以降、「モデル上のSIFT特徴点」と呼ぶ。)との対応付けを行う(S1420)。ここで、正面画像からSIFT特徴点を検出する方法は、例えば、David G. Lowe, “Distinctive image features from scale-invariant keypoints”, Int. Journal of Computer Vision, Vol. 60, No. 2, pp.91-110, 2004.に記載されている方法を採用できる。
正面画像から検出されたSIFT特徴点群は、ノイズなどの影響で、異なる姿勢から検出されたモデル上のSIFT特徴点群に対応付けられてしまう可能性がある。この場合、すべての姿勢Pにおいて、正面画像から検出されたSIFT特徴点群に対応付いたモデル上のSIFT特徴点群の中から、Pから検出されたモデル上のSIFT特徴点の個数を算出する。そして、前述の個数が最も多くなるような姿勢Pmaxを選択する。選択された姿勢Pmaxから検出されたモデル上のSIFT特徴点群に含まれる正面画像から、検出されたSIFT特徴点を抽出する。そして、当該抽出されたSIFT特徴点に対応付いたモデル上のSIFT点のみを、最終的な正面画像から検出されたSIFT特徴点群に対応付いたモデル上のSIFT特徴点群とする。
以上、説明したように、実施形態3においては、まず距離画像を用いて距離画像上の平面を検出して、当該平面が視線と垂直になるように濃淡画像を変換する。この処理によって、データベース中に保存されている対象の物体10のSIFT特徴点により近いSIFT特徴点が出現しやすくなる。したがって、対応付けの精度が向上し、よりロバストに、物体10の位置及び姿勢を算出できる。
実施形態3の変形例1においては、実施形態3の第1の位置及び姿勢の算出処理を、実施形態1に替えて実行する。
すなわち、実施形態3における第1の位置及び姿勢算出を、実施形態1において説明した図6のS610、S620の処理によって求めてもよい。実施形態1のS620で最適化した3自由度のパラメータspから主平面の位置及び姿勢を算出し、実施形態3についての図6のS630の入力とすることができる。
実施形態3の変形例2においては、複数の計測対象である物体10の位置及び姿勢を算出する。
取得した画像に複数の計測対象の部品が撮影されている場合、図6のS620において、距離画像のセグメンテーションによって得られた面積の大きい複数の平面のセグメントを抽出する。この抽出した複数の平面のセグメントに対してS620の処理をそれぞれ行い、複数の対象である物体10のそれぞれに関して位置及び姿勢を算出してもよい。
以下、本発明の実施形態4を、上記実施形態と異なる点につき説明する。
実施形態4は、位置姿勢計測装置だけでなく、ロボット制御装置の構成まで含んだ全体的なシステムである。
図15は、本実施形態4における情報処理装置1510の構成の一例を示す。本実施形態4において、図15を参照して、情報処理装置1510は、位置姿勢計測装置1505、センサ部1500、ロボットコントローラ部1501を備えている。さらに、情報処理装置1510は、ロボット1502、物体抽出・概略位置姿勢取得部1520を備えてよい。
センサ部1500は、例えば、小型プロジェクタと2次元画像を撮影する小型カメラから構成することができる。このセンサ部1500は、パレット1504の上方に固定的に配置され、山積みされた対象物体1503の画像を撮影し、2次元画像入力部130、3次元データ入力部150に対して濃淡画像や、距離画像等の出力を行ってよい。センサ部1500の小型プロジェクタと小型カメラとの相対的な位置関係は予めキャリブレーションにより求まっているものとする。
この照射パターンとしては、例えば、空間符号化法の幅の異なる複数の縞模様パターンや、複数の線パターンなどを利用してよい。また、例えば、2次元的なパターンやランダムドットのようなパターンでもよい。また、センサ部1500は、例えば、回折格子と照明とカメラから構成されてもよい。この場合は回折格子と照明により対象物体にパターン光を投射し、カメラによりパターンを撮影することができる。
計測対象である物体1503は、例えば、工業製品を構成する部品である。物体1503は、ロボット1502によって、例えばピックされて製品に組み付けられてよい。物体1503の素材は、例えば、プラスチック、金属、ビニールなど、様々なものを用いることができる。図15は、一例として、複数の対象である物体1503が様々な姿勢になるようにパレット1504に山積みされている様子を示す。
なお、ロボット1502の作業は移動、把持、吸着に限られるものではなく、対象である物体1503の外観検査など、他の作業も含んでよい。さらに、ロボット1502も多関節ロボットではなくNC制御可能な可動式の機械でもよい。ロボット制御部1680は、ロボット作業指示部1670からの指示情報を受けて、ロボット1502の制御を行う。
また、上記各実施形態は、以下の処理を実行することによっても実現される。即ち、上述した各実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給することによって実現してよい。その場合、当該システム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して処理を実行する。また、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供してもよい。
以上、本発明の実施形態について詳細に説明したが、これら実施形態、本発明を実施するにあたっての具体例を示したに過ぎず、本発明の技術的範囲は、上記実施形態に限定されるものではない。本発明は、その趣旨を逸脱しない範囲において種々の変更が可能であり、それらも本発明の技術的範囲に含まれる。
Claims (20)
- 計測対象である物体の位置及び姿勢を計測する位置姿勢計測装置であって、
前記物体の2次元画像を取得する第1の取得手段と、
前記物体の形状を表す3次元形状データを取得する第2の取得手段と、
前記物体の形状モデルを保存する保存手段と、
前記第2の取得手段により取得された前記物体の前記3次元形状データと、前記保存手段に保存される前記物体の前記形状モデルとに基づいて、前記物体の主平面の位置及び姿勢を前記物体の第1の位置及び姿勢として算出する第1の算出手段と、
前記第1の算出手段により算出された前記第1の位置及び姿勢に基づいて、前記第1の取得手段により取得された前記2次元画像と前記形状モデルとを照合することにより、前記物体の3次元空間上の第2の位置及び姿勢を算出する第2の算出手段と、
を具備することを特徴とする位置姿勢計測装置。 - 前記3次元形状データは、前記物体の表面上の点群の3次元座標であり、
前記第1の算出手段は、前記物体の前記点群の3次元座標のデータが、前記3次元形状モデルの前記主平面に当てはまるように、前記物体の前記第1の距離及び姿勢を算出する、ことを特徴とする請求項1に記載の位置姿勢計測装置。 - 前記3次元形状データは、前記物体上の点群の撮像視点からの距離を表す距離画像から得られる、ことを特徴とする請求項1又は2に記載の位置姿勢計測装置。
- 前記形状モデルは、前記物体の3次元形状モデルを構成する面と、当該面が前記主平面となる前記物体の姿勢の情報と、を含む、ことを特徴とする請求項1から3のいずれか1項に記載の位置姿勢計測装置。
- 前記第1の算出手段は、前記3次元形状データと前記3次元形状モデルとから得られる対応付け結果に基づき、与えられる前記物体の位置及び姿勢の初期値を補正することによって、前記物体の前記第1の位置及び姿勢を算出する、ことを特徴とする請求項1から4のいずれか1項に記載の位置姿勢計測装置。
- 前記第1の算出手段は、前記3次元形状データから、前記物体の平面を検出し、検出された前記平面が、前記形状モデルの前記主平面と一致するように、前記物体の前記第1の位置及び姿勢を算出する、ことを特徴とする請求項1から4のいずれか1項に記載の位置姿勢計測装置。
- 前記第2の算出手段は、前記第1の位置及び姿勢に基づいて、前記形状モデル上の幾何特徴と、前記2次元画像から抽出された画像特徴とを対応付け、当該対応付けの結果に基づいて、前記物体の前記第2の位置及び姿勢を算出する、ことを特徴とする請求項1から6のいずれか1項に記載の位置姿勢計測装置。
- 前記第2の算出手段は、前記第1の位置及び姿勢に基づいて、前記2次元画像を、前記形状モデルの前記主平面が前記2次元画像の撮影における視軸に垂直になる正面画像に変換し、前記主平面が前記視軸に垂直な視点において前記物体を観察した像に相当するパターン群を前記正面画像に照合することによって、前記物体の前記第2の位置及び姿勢を算出する、ことを特徴とする請求項1から6のいずれか1項に記載の位置姿勢計測装置。
- 前記第1の算出手段は、前記物体の前記主平面の法線方向の1自由度の位置の成分、及び前記主平面と平行な方向周りの回転による2自由度の姿勢の成分から成る前記第1の位置及び姿勢を算出し、
前記第2の算出手段は、前記物体の前記主平面と平行な方向の2自由度の位置の成分、及び前記主平面の法線方向周りの回転による1自由度の姿勢の成分から成る前記第2の位置及び姿勢を算出する、ことを特徴とする請求項1から8のいずれか1項に記載の位置姿勢計測装置。 - 前記第2の算出手段は、前記第1の位置及び姿勢に基づいて、前記形状モデル上の幾何特徴と、前記2次元画像から抽出された画像特徴とを対応付け、さらに、前記第1の位置及び姿勢と、前記3次元形状データと前記3次元形状モデルとから得られる対応付け結果とに基づいて、前記物体の前記第2の位置及び姿勢を算出する、ことを特徴とする請求項1から9のいずれか1項に記載の位置姿勢計測装置。
- 請求項1から10のいずれか1項に記載の位置姿勢計測装置と、
前記位置姿勢計測装置に対して、前記物体の前記2次元画像と、前記物体の前記3次元形状データと、を出力するセンサ部と、
前記位置姿勢計測装置に対して、前記物体の概略の位置及び姿勢を設定する設定部と、
前記位置姿勢計測装置が出力する前記物体の位置及び姿勢に基づき、ロボットを制御するコントローラと、
前記コントローラによって制御されるロボットと、
を具備することを特徴とする情報処理装置。 - 計測対象である物体の位置及び姿勢を計測する位置姿勢計測方法であって、
前記物体の2次元画像を取得するステップと、
前記物体の形状を表す3次元形状データを取得するステップと、
前記物体の形状モデルを保存するステップと、
取得された前記物体の前記3次元形状データと、記憶装置に保存される前記物体の形状モデルとに基づいて、前記物体の主平面の位置及び姿勢を前記物体の第1の位置及び姿勢として算出するステップと、
算出された前記第1の位置及び姿勢に基づいて、取得された前記2次元画像と前記形状モデルとを照合することにより、前記物体の3次元空間上の第2の位置及び姿勢を算出するステップと、
を含むことを特徴とする位置姿勢計測方法。 - 前記3次元形状データは、前記物体の表面上の点群の3次元座標であり、
前記第1の距離及び姿勢は、前記物体の前記点群の3次元座標のデータが、前記3次元形状モデルの前記主平面に当てはまるように、算出される、ことを特徴とする請求項12に記載の位置姿勢計測方法。 - 前記3次元形状データは、前記物体上の点群の撮像視点からの距離を表す距離画像から得られる、ことを特徴とする請求項12又は13に記載の位置姿勢計測方法。
- 前記形状モデルは、前記物体の3次元形状モデルを構成する面と、当該面が前記主平面となる前記物体の姿勢の情報と、を含む、ことを特徴とする請求項12から13のいずれか1項に記載の位置姿勢計測方法。
- 前記物体の前記第1の位置及び姿勢は、前記3次元形状データと前記3次元形状モデルとから得られる対応付け結果に基づき、与えられる前記物体の位置及び姿勢の初期値を補正することによって、算出される、ことを特徴とする請求項12から15のいずれか1項に記載の位置姿勢計測方法。
- 前記物体の前記第1の位置及び姿勢は、前記3次元形状データから、前記物体の平面を検出し、検出された前記平面が、前記形状モデルの前記主平面と一致するように、算出される、ことを特徴とする請求項12から15のいずれか1項に記載の位置姿勢計測方法。
- 前記物体の前記第2の位置及び姿勢は、前記第1の位置及び姿勢に基づいて、前記形状モデル上の幾何特徴と、前記2次元画像から抽出された画像特徴とを対応付け、当該対応付けの結果に基づいて、算出される、ことを特徴とする請求項12から17のいずれか1項に記載の位置姿勢計測方法。
- 前記物体の前記第2の位置及び姿勢は、前記第1の位置及び姿勢に基づいて、前記2次元画像を、前記形状モデルの前記主平面が前記2次元画像の撮影における視軸に垂直になる正面画像に変換し、前記主平面が前記視軸に垂直な視点において前記物体を観察した像に相当するパターン群を前記正面画像に照合することによって、算出される、ことを特徴とする請求項12から17のいずれか1項に記載の位置姿勢計測方法。
- コンピュータが読み取り実行することで、前記コンピュータを、請求項1から10のいずれか1項に記載の位置姿勢計測装置の各手段として機能させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015050094A JP2016170050A (ja) | 2015-03-12 | 2015-03-12 | 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015050094A JP2016170050A (ja) | 2015-03-12 | 2015-03-12 | 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016170050A true JP2016170050A (ja) | 2016-09-23 |
Family
ID=56982444
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015050094A Pending JP2016170050A (ja) | 2015-03-12 | 2015-03-12 | 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016170050A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018077837A (ja) * | 2016-10-28 | 2018-05-17 | Jfeスチール株式会社 | 位置認識方法およびシステム、ならびに異常判定方法およびシステム |
CN109934869A (zh) * | 2017-12-19 | 2019-06-25 | 欧姆龙株式会社 | 位置姿势推断装置、位置姿势推断方法及记录介质 |
JP2019136828A (ja) * | 2018-02-13 | 2019-08-22 | Kyoto Robotics株式会社 | 箱状物ピッキング装置及びその方法 |
WO2020049766A1 (ja) * | 2018-09-07 | 2020-03-12 | オムロン株式会社 | 対象物認識装置、マニピュレータ、および移動ロボット |
CN111353416A (zh) * | 2020-02-26 | 2020-06-30 | 广东温氏种猪科技有限公司 | 基于牲畜三维测量的姿态检测方法、系统及存储介质 |
US10755439B2 (en) | 2018-03-08 | 2020-08-25 | Fujitsu Limited | Estimation device, estimation method and storage medium |
JP7093881B1 (ja) | 2021-09-06 | 2022-06-30 | Dmg森精機株式会社 | システム、及び自動搬送車 |
CN115359192A (zh) * | 2022-10-14 | 2022-11-18 | 阿里巴巴(中国)有限公司 | 三维重建与商品信息处理方法、装置、设备及存储介质 |
JP7502641B2 (ja) | 2020-11-17 | 2024-06-19 | 株式会社デンソーウェーブ | 認識システム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008217544A (ja) * | 2007-03-06 | 2008-09-18 | Yaskawa Electric Corp | 物体検出方法、物体検出装置、及びそれを備えたロボット |
JP2010127819A (ja) * | 2008-11-28 | 2010-06-10 | Fuji Electric Holdings Co Ltd | 多面体位置検出装置及び検出方法 |
JP2012123781A (ja) * | 2010-11-19 | 2012-06-28 | Canon Inc | 情報処理装置、情報処理システム及び情報処理方法 |
JP2012141962A (ja) * | 2010-12-14 | 2012-07-26 | Canon Inc | 位置姿勢計測装置及び位置姿勢計測方法 |
JP2014046433A (ja) * | 2012-09-03 | 2014-03-17 | Canon Inc | 情報処理システム、方法及びプログラム |
-
2015
- 2015-03-12 JP JP2015050094A patent/JP2016170050A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008217544A (ja) * | 2007-03-06 | 2008-09-18 | Yaskawa Electric Corp | 物体検出方法、物体検出装置、及びそれを備えたロボット |
JP2010127819A (ja) * | 2008-11-28 | 2010-06-10 | Fuji Electric Holdings Co Ltd | 多面体位置検出装置及び検出方法 |
JP2012123781A (ja) * | 2010-11-19 | 2012-06-28 | Canon Inc | 情報処理装置、情報処理システム及び情報処理方法 |
JP2012141962A (ja) * | 2010-12-14 | 2012-07-26 | Canon Inc | 位置姿勢計測装置及び位置姿勢計測方法 |
JP2014046433A (ja) * | 2012-09-03 | 2014-03-17 | Canon Inc | 情報処理システム、方法及びプログラム |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018077837A (ja) * | 2016-10-28 | 2018-05-17 | Jfeスチール株式会社 | 位置認識方法およびシステム、ならびに異常判定方法およびシステム |
CN109934869A (zh) * | 2017-12-19 | 2019-06-25 | 欧姆龙株式会社 | 位置姿势推断装置、位置姿势推断方法及记录介质 |
JP2019109747A (ja) * | 2017-12-19 | 2019-07-04 | オムロン株式会社 | 位置姿勢推定装置、位置姿勢推定方法及びプログラム |
JP2019136828A (ja) * | 2018-02-13 | 2019-08-22 | Kyoto Robotics株式会社 | 箱状物ピッキング装置及びその方法 |
JP7065632B2 (ja) | 2018-02-13 | 2022-05-12 | Kyoto Robotics株式会社 | 箱状物ピッキング装置及びその方法 |
US10755439B2 (en) | 2018-03-08 | 2020-08-25 | Fujitsu Limited | Estimation device, estimation method and storage medium |
JP7031540B2 (ja) | 2018-09-07 | 2022-03-08 | オムロン株式会社 | 対象物認識装置、マニピュレータ、および移動ロボット |
JP2020042421A (ja) * | 2018-09-07 | 2020-03-19 | オムロン株式会社 | 対象物認識装置、マニピュレータ、および移動ロボット |
WO2020049766A1 (ja) * | 2018-09-07 | 2020-03-12 | オムロン株式会社 | 対象物認識装置、マニピュレータ、および移動ロボット |
US11964399B2 (en) | 2018-09-07 | 2024-04-23 | Omron Corporation | Target object recognition device, manipulator, and mobile robot |
CN111353416A (zh) * | 2020-02-26 | 2020-06-30 | 广东温氏种猪科技有限公司 | 基于牲畜三维测量的姿态检测方法、系统及存储介质 |
CN111353416B (zh) * | 2020-02-26 | 2023-07-07 | 广东温氏种猪科技有限公司 | 基于牲畜三维测量的姿态检测方法、系统及存储介质 |
JP7502641B2 (ja) | 2020-11-17 | 2024-06-19 | 株式会社デンソーウェーブ | 認識システム |
JP7093881B1 (ja) | 2021-09-06 | 2022-06-30 | Dmg森精機株式会社 | システム、及び自動搬送車 |
WO2023032400A1 (ja) * | 2021-09-06 | 2023-03-09 | Dmg森精機株式会社 | 自動搬送装置、及びシステム |
JP2023037769A (ja) * | 2021-09-06 | 2023-03-16 | Dmg森精機株式会社 | システム、及び自動搬送車 |
CN115359192A (zh) * | 2022-10-14 | 2022-11-18 | 阿里巴巴(中国)有限公司 | 三维重建与商品信息处理方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5839971B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP5567908B2 (ja) | 3次元計測装置、その計測方法及びプログラム | |
JP6370038B2 (ja) | 位置姿勢計測装置及び方法 | |
JP2016170050A (ja) | 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム | |
JP6573354B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6465789B2 (ja) | デプスカメラの内部パラメータを算出するプログラム、装置及び方法 | |
JP6271953B2 (ja) | 画像処理装置、画像処理方法 | |
JP5624394B2 (ja) | 位置姿勢計測装置、その計測処理方法及びプログラム | |
JP6021533B2 (ja) | 情報処理システム、装置、方法及びプログラム | |
JP6180087B2 (ja) | 情報処理装置及び情報処理方法 | |
JP6004809B2 (ja) | 位置姿勢推定装置、情報処理装置、情報処理方法 | |
JP6324025B2 (ja) | 情報処理装置、情報処理方法 | |
JP5393318B2 (ja) | 位置姿勢計測方法及び装置 | |
JP5627325B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
JP5863440B2 (ja) | 情報処理装置および方法 | |
JP6092530B2 (ja) | 画像処理装置、画像処理方法 | |
US20130230235A1 (en) | Information processing apparatus and information processing method | |
JP2011175477A (ja) | 3次元計測装置、処理方法及びプログラム | |
JP5976089B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
JP5698815B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
JP2015007639A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6040264B2 (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
JP6890422B2 (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
JP2011174891A (ja) | 位置姿勢計測装置、位置姿勢計測方法、及びプログラム | |
JP6766229B2 (ja) | 位置姿勢計測装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180309 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190328 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190702 |