JP2022189368A - 物品記録装置及び物品記録方法 - Google Patents
物品記録装置及び物品記録方法 Download PDFInfo
- Publication number
- JP2022189368A JP2022189368A JP2021097913A JP2021097913A JP2022189368A JP 2022189368 A JP2022189368 A JP 2022189368A JP 2021097913 A JP2021097913 A JP 2021097913A JP 2021097913 A JP2021097913 A JP 2021097913A JP 2022189368 A JP2022189368 A JP 2022189368A
- Authority
- JP
- Japan
- Prior art keywords
- image
- article
- feature
- information
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 230000009466 transformation Effects 0.000 claims abstract description 29
- 239000000284 extract Substances 0.000 claims abstract description 14
- 230000006835 compression Effects 0.000 claims description 27
- 238000007906 compression Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 5
- 230000009467 reduction Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 19
- 239000011159 matrix material Substances 0.000 description 15
- 238000007689 inspection Methods 0.000 description 9
- 230000001815 facial effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000005484 gravity Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000012636 effector Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000005389 magnetism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】物品のマスタ情報の作成コストを低減しつつ認識成功率の低下を防止する。【解決手段】物品の撮影画像を異なる角度で透視投影変換して変形し、疑似的な斜め画像を生成する画像変形部21と、当該斜め画像から少なくとも、画像特徴と、当該画像特徴の撮影画像上での位置情報を抽出する画像特徴抽出部22と、当該斜め画像の画像特徴と位置情報とを紐づけて、物品のマスタ情報として記憶装置30に出力する出力部410,480と、を備える。【選択図】図5
Description
本発明は、物品の情報を記録する物品記録装置及び物品記録方法に関する。
物品(ワーク)に対する作業や検査を画像認識処理に基づいて行う技術が知られている。撮影画像から事前登録した物品を認識するロボットシステムは、物品の画像特徴(マスタデータ)を事前登録する物品記憶装置を備える。従来、物品を正対した状態で撮影し、物品表面の画像特徴を記録している。
例えば、照明条件や撮影条件の変化に対して頑健な外観検査を行うことを目的とした技術が開示されている(例えば、特許文献1参照。)。特許文献1には、「ロボット装置の検査装置は、撮像装置が任意方向から撮像して得た画像データに含まれる検査対象物体画像に対する視点を、あらかじめ記憶したテンプレート画像データに含まれるテンプレート画像に対する視点に一致させるように当該画像データを変換画像データに変換する。そして、検査装置は、その変換画像データにおける検査領域からねじの有無を判定し、その検査結果データを出力する。」と記載されている。この検査装置を備えたロボット装置は、三次元空間内の任意方向(例えば斜め方向)から撮像した画像データから生成した変換画像データを用いて、検査部位の状態の検査を行うことができる。
ところで、特許文献1に記載のロボット装置のように、物品を斜め方向から撮影すると、画像特徴(対応する領域の輝度値)同士が一致しなくなり、テンプレート画像データと撮影した画像データ(変換画像データ)が対応づけられなくなる可能性がある。
物品の位置を認識するために、事前に物品表面をカメラに正対させて撮影し、撮影画像から物品表面の濃淡パターン(テクスチャ)を画像特徴として抽出して、画像特徴とその三次元分布をマスタとして記録する。ロボットシステムは、物品を撮影し、撮影画像内の濃淡パターンから画像特徴を抽出し、その画像特徴をマスタ内の画像特徴と照合して、物品の有無とその位置及び姿勢を推定する。
このとき、物品が斜めから撮影されると、ロボットシステムが撮影画像から画像特徴を抽出しても、濃淡パターンが変化してしまうため、撮影画像の画像特徴と事前登録したマスタの画像特徴とが一致しなくなる。そのため、ロボットシステムは、撮影画像の画像特徴とマスタの画像特徴が照合できず、物品認識を失敗することがあった。
この対策として、物品を回転させて複数方向から撮影することで、斜め撮影時の画像特徴を抽出してマスタに登録する方法があった。しかし、物品を回転させながら複数方向から撮影していたため、マスタ作成の工数が多くなりコストが増大していた。
上記の状況から、物品のマスタ情報の作成コストを低減しつつ認識成功率の低下を防止する手法が要望されていた。
上記課題を解決するために、本発明の一態様の物品記録装置は、撮影装置により撮影された物品の撮影画像を異なる角度で透視投影変換して変形し、疑似的な斜め画像を生成する画像変形部と、当該斜め画像から少なくとも、画像特徴と、当該画像特徴の撮影画像上での位置情報を抽出する画像特徴抽出部と、当該斜め画像の画像特徴と位置情報とを紐づけて、物品のマスタ情報として記憶装置に出力する出力部と、を備える。
本発明の少なくとも一態様によれば、物品を実際に回転させずに、物品の撮影画像から疑似的に斜め画像を生成し、その斜め画像から画像特徴を抽出するため、マスタ作成の工数を減らすことができる。それにより、物品のマスタ情報の作成コストを低減しつつ認識成功率の低下を防止することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
以下、本発明を実施するための形態の例について、添付図面を参照して説明する。本明細書及び添付図面において実質的に同一の機能又は構成を有する構成要素については、同一の符号を付して重複する説明を省略する。
<一実施形態>
まず、本発明の一実施形態に係る、物品に対して仕分けやピッキング等の作業、検査を行うロボットシステムの全体構成について図1を参照して説明する。
まず、本発明の一実施形態に係る、物品に対して仕分けやピッキング等の作業、検査を行うロボットシステムの全体構成について図1を参照して説明する。
[ロボットシステムの全体構成]
図1は、本発明の一実施形態に係る物品記録装置を含むロボットシステムの全体構成例を示すブロック図である。図1に示すロボットシステム100は、カメラ10、物品記録装置20、記憶装置30、物品認識装置40、カメラ50、ロボット制御装置60、及びロボット70を備える。
図1は、本発明の一実施形態に係る物品記録装置を含むロボットシステムの全体構成例を示すブロック図である。図1に示すロボットシステム100は、カメラ10、物品記録装置20、記憶装置30、物品認識装置40、カメラ50、ロボット制御装置60、及びロボット70を備える。
カメラ10,50は、所定のフレームレート(例えば30フレーム/秒)で被写体を撮像し画像データを出力するイメージセンサを備えた、モノクロ撮影又はカラー撮影が可能なビデオカメラ装置(撮影装置の一例)である。カメラ10,50は、例えば、照明の照度に応じて露光を自動的に調整する機能を備えていてもよい。さらに言えば、カメラ10,50は、2次元の画像データに加えて、被写体の表面までの距離(深度)の情報を持つ距離画像データを出力する機能を有する距離画像センサ(いわゆる3Dセンサ)である。2次元画像データに距離画像データを合せたものが3次元画像データである。3Dセンサの3Dセンシング方式として、例えばToF(Time Of Flight)方式やステレオカメラ方式や、レーザ光を用いたパターン照射方式などがある。カメラ10,50は同一のカメラであってもよい。本明細書では、カメラ10,50が出力する画像データを「撮影画像」又は「物品画像」と称する。
物品記録装置20は、カメラ10により撮影された物品の画像(物品画像)を入力し、物品画像から疑似的な斜め画像を生成する。そして、物品記録装置20は、斜め画像から画像特徴(特徴的な画像パターン)を抽出し、その画像特徴と対応する位置情報とを紐づけた物品情報を、物品のマスタ情報として記憶装置30へ記録する装置である。
記憶装置30は、物品画像の画像特徴と対応する位置情報とが紐づけられた物品情報(マスタ情報)を記憶する装置である。記憶装置30は不揮発性ストレージであり、例えばHDD(Hard Disk Drive)、SSD(Solid State Drive)、磁気や光を利用するディスク装置、又は不揮発性の半導体メモリ等が用いられる。
物品認識装置40は、カメラ50で撮影された物品の物品画像を取得すると、当該物品画像に基づいて、記憶装置30にマスタ情報として保存されている物品情報を検索し読み出す。そして、物品認識装置40は、読み出した物品情報に基づいて、撮影した物品の位置及び姿勢を認識し、認識結果を物品位置姿勢情報としてロボット制御装置60へ出力する。このように、物品認識装置40は、周知慣用の技術を用いて、物品位置姿勢情報をロボット制御装置60に出力する。
ロボット制御装置60は、物品認識装置40から入力される物品の物品位置姿勢情報に基づいて、ロボット70に制御指令を出力し、対象物品に対するロボット70の動作を制御する。制御指令は、例えばロボット70のアームの関節やエンドエフェクタ等に設けられたアクチュエータ(モータ等)に対する電流値や電圧値などを示す信号である。
ロボット70は、ロボット制御装置60から入力される制御指令に基づいて、内蔵の駆動回路が該当するアクチュエータに駆動信号を供給する。これにより、ロボット70は、現在の物品の位置及び姿勢に応じて、アームやエンドエフェクタ等の位置、姿勢及び動作が適切に制御される。
[マスタ情報]
ここで、本実施形態において記憶装置30に記憶されるマスタ情報(物品情報)の内容を説明する。
ここで、本実施形態において記憶装置30に記憶されるマスタ情報(物品情報)の内容を説明する。
図2は、記憶装置30に記憶されるマスタ情報の例(画像特徴、三次元位置)を示す。図示するマスタ情報(物品情報)の物品200は、直方体状の箱であり、正面Fに顔画像210が印刷され、顔画像210の左目211付近に特徴領域215が設定されている。上面Tと側面Sには顔画像がない。例えば、物品200の中央を原点とし幅方向をx方向、高さ方向をy方向、及び奥行方向をz方向とする座標系を設定し、物品200の奥行を0.04mとする。物品200の撮影画像(物品画像)の「画像特徴」と「三次元位置」とが紐づけられた物品情報が、マスタ情報として保存される。一例として、物品200の物品情報は、画像特徴“000000100000000”、三次元位置“-0.020,0.040,0.020”である。なお、本明細書では、画像特徴を「特徴量」と言い換えることがある。
図3は、記憶装置30に記憶されるマスタ情報の例(複数の画像特徴と三次元位置)を示す。図3は、マスタ情報として、複数の画像特徴と位置情報を保存する例である。図3に示す物品200Aは、直方体状の箱であり、正面Fに顔画像210、上面Tに顔画像220及び側面Sに顔画像230が印刷されている。正面Fの顔画像210の左目211付近に、特徴領域215が設定されている。特徴領域は、画像の特徴的な部分(画像特徴)を当該画像から切り出すために設定される領域であり、複数の画素から構成される。
物品200Aの撮影画像(物品画像)の正面F、上面T及び側面Sのそれぞれに印刷された顔画像210~230の「画像特徴」と「三次元位置」とが紐づけられた物品情報が、マスタ情報として保存される。例えば、撮影画像(物品画像)の正面F、上面T及び側面Sのそれぞれに印刷された顔画像210~230の左目から画像特徴を抽出したとする。一例として、物品200Aの物品情報は、正面F(顔画像210)の画像特徴“000000100000000”及び三次元位置“-0.020,0.040,0.020”、上面T(顔画像220)の画像特徴“000000100000000”及び三次元位置“-0.020,0.050,0.000”、並びに、側面S(顔画像230)の画像特徴“000000100000000”及び三次元位置“1.000,0.040,0.000”である。
物品記録装置20は、このような物品情報の画像特徴及び位置情報(図3では三次元位置)を、物品画像250の画像特徴及び位置情報と照合することで、物品情報の物品200Aの各面の画像特徴と、物品画像250の各面の画像特徴のそれぞれの対応関係を判断する。図3に示す例では、物品画像250の上面tの顔画像260が物品200Aの正面Fの顔画像210に、物品画像250の側面sの顔画像280が物品200Aの上面Tの顔画像220に、そして、物品画像250の正面fの顔画像260が物品200Aの側面Sの顔画像230に対応する。物品画像250の正面fは、撮影時にカメラ50と正対した面である。
[各装置のハードウェア構成]
次に、ロボットシステム100が備える各装置のハードウェア構成について図4を参照して説明する。
次に、ロボットシステム100が備える各装置のハードウェア構成について図4を参照して説明する。
図4は、ロボットシステム100を構成する各装置が備える計算機のハードウェア構成例を示すブロック図である。図示する計算機400は、例えば物品記録装置20、物品認識装置40、及びロボット制御装置60で使用されるコンピューターを構成するハードウェアの一例である。計算機400には、例えばパーソナルコンピュータを用いることができる。
計算機400は、バス440にそれぞれ接続されたCPU(Central Processing Unit)410、ROM(Read Only Memory)420、及びRAM(Random Access Memory)430を備える。さらに、計算機400は、不揮発性ストレージ460、入出力インターフェース470、及びネットワークインターフェース480を備える。
CPU410は、本実施形態に係る各装置の機能を実現するソフトウェアのプログラムコードをROM420から読み出し、該プログラムをRAM430にロードして実行する。RAM430には、CPU410の演算処理の途中で発生した変数やパラメーター等が一時的に書き込まれる。RAM430に書き込まれた変数やパラメーターなどは、CPU410によって適宜読み出される。演算処理装置としてCPU410を用いているが、MPU(Micro Processing Unit)等の他のプロセッサを用いてもよい。
不揮発性ストレージ460は、記録媒体の一例であり、プログラムが使用するデータやプログラムを実行して得られたデータなどを保存することが可能である。不揮発性ストレージ460に、OS(Operating System)や、CPU410が実行するプログラムを記録してもよい。不揮発性ストレージ460としては、半導体メモリやHDD(Hard Disk Drive)、SSD(Solid State Drive)、磁気や光を利用するディスク装置等が用いられる。例えば、記憶装置30を、物品記録装置20又は物品認識装置40が備える不揮発性ストレージ460で実現してもよい。
入出力インターフェース470は、自装置以外の他の装置が備える各センサ(例えばカメラ10,50のイメージセンサなど)や各アクチュエータとの間で、信号やデータの通信を行うインターフェースである。入出力インターフェース470が、入力信号又は出力信号を処理する図示しないA/D(Analog/digital)変換器、及び/又は、D/A変換器を兼ねてもよい。
ネットワークインターフェース480は、例えばNIC(Network Interface Card)やモデム等が用いられる。ネットワークインターフェース480は、端子が接続されたLANやインターネット等の通信ネットワーク又は専用線等を介して、外部装置との間で各種のデータを送受信することが可能である。入出力インターフェース470は、CPU410と協働して出力部を構成する。
[物品記録装置]
次に、物品記録装置20の機能及び動作について図5~図17を参照して説明する。
図5は、物品記録装置20の機能構成例を示すブロック図である。物品記録装置20は、画像変形部21と、画像特徴抽出部22と、三次元位置計算部23と、特徴情報圧縮部24を備える。物品記録装置20の各ブロックの機能は、CPU410がROM420又は不揮発性ストレージ460に記録されたプログラムを実行することにより実現される。なお、以降の説明において、二次元を「2D」、三次元を「3D」と表記することがある。
次に、物品記録装置20の機能及び動作について図5~図17を参照して説明する。
図5は、物品記録装置20の機能構成例を示すブロック図である。物品記録装置20は、画像変形部21と、画像特徴抽出部22と、三次元位置計算部23と、特徴情報圧縮部24を備える。物品記録装置20の各ブロックの機能は、CPU410がROM420又は不揮発性ストレージ460に記録されたプログラムを実行することにより実現される。なお、以降の説明において、二次元を「2D」、三次元を「3D」と表記することがある。
画像変形部21は、カメラ10により撮影された物品の撮影画像(例えばカメラ10と正面の物品画像の2D画像)を異なる角度で透視投影変換して変形し、疑似的な斜め画像(変形画像)を生成する。ここでの撮影画像は、カメラ10が物品表面と正対した状態で物品を撮影した画像(物品画像)である。カメラ10が出力する物品画像のデータは、3次元画像(3D画像)データである。3次元画像(3D画像)データには、二次元画像(2D画像)データと、カメラ10から物品の表面までの距離の情報を持つ距離画像データが含まれる。画像変形部21は、物品画像の2D画像を変形設定ファイル600の変形設定に従って変形処理することで、物品画像から疑似的な斜め画像(変形画像)を生成する。はじめに、カメラ10が物品正面と正対した状態の撮影画像(物品画像)を取得することで、後述する斜め画像の画像特徴に対して撮影画像上での位置情報を計算する際に、正対していない状態の撮影画像を用いる場合と比較して、位置情報の精度が向上する。
画像特徴抽出部22は、画像変形部21で生成された疑似的な斜め画像(変形画像)から少なくとも、画像特徴を抽出し、その斜め画像の画像特徴の撮影画像上での位置情報(二次元位置)を計算する。同様に、画像特徴抽出部22は、撮影画像(物品画像の2D画像)の画像特徴と、当該画像特徴の位置情報(二次元位置)を抽出及び計算する。なお、撮影画像の画像特徴は、撮影画像に対する透視投影変換時の角度を0度として画像変形した斜め画像(角度0度のため実質的に変形なし)から抽出することが可能である。この角度0度で画像変形した斜め画像は、後述する図6の変形画像615に相当し、角度0度のため何ら変形しない撮影画像と実質的に同じである。
そして、画像特徴抽出部22は、撮影画像(物品画像の2D画像)及びその斜め画像の各々から抽出した画像特徴の情報を、特徴情報圧縮部24へ出力する。また、画像特徴抽出部22は、撮影画像(物品画像の2D画像)及びその斜め画像における画像特徴の撮影画像上での二次元位置の座標(特徴点2D座標)を、三次元位置計算部23へ出力する。本明細書では、撮影画像上での画像特徴を抽出した特徴領域又はその位置のことを「特徴点」と呼ぶ。
三次元位置計算部23は、距離情報を含む撮影画像(物品画像の3D画像)に基づいて、画像変形部21から入力される撮影画像(物品画像の2D画像)及びその斜め画像における画像特徴の二次元位置(特徴点2D座標)に対して、物品(物品画像の3D画像)上での三次元位置(特徴点3D座標)を計算する。三次元位置計算部23は、撮影画像及び斜め画像の特徴点3D座標を特徴情報圧縮部24に出力する。
特徴情報圧縮部24は、画像特徴の情報量の圧縮を行う。特徴情報圧縮部24は、撮影画像及びその疑似的な斜め画像の各々の画像特徴の情報と、対応する位置情報(特徴点3D座標)が入力されると、範囲設定ファイル1600から3D位置範囲設定と特徴量一致範囲設定とを読み込む(後述する図16参照)。そして、特徴情報圧縮部24は、複数の画像特徴に対応する各々の位置(例えば三次元位置)が予め設定された3D位置範囲内であって、複数の画像特徴の各々の特徴量が予め設定された特徴量一致範囲内であるかどうかを判定する。そして、特徴情報圧縮部24は、複数の画像特徴がこの2つの条件を満たす場合には、該当する複数の画像特徴と対応する情報位置の組み合わせを同一グループに分類し、同一グループに分類された画像特徴と位置情報の複数の組み合わせを代表する一つの画像特徴と対応する一つの位置情報を設定する。
そして、CPU410(出力部の一例)は、特徴情報圧縮部24から出力された一つの画像特徴と、対応する一つの位置情報位置(特徴点3D座標)とを、ネットワークI/F480を介して、物品のマスタ情報(物品情報)として記憶装置30に記録する。
なお、特徴情報圧縮部24は必須ではなく削除することもできる。この場合、CPU410は、撮影画像及びその斜め画像の特徴情報、すなわち画像特徴と位置情報について、重複する特徴情報を削減する処理を行わない。CPU410は、画像特徴抽出部22で抽出された撮影画像及びその疑似的な斜め画像の各々の画像特徴の情報と、三次元位置計算部23で計算された位置情報(特徴点3D座標)とを紐づけて、ネットワークI/F480を介して、物品のマスタ情報(物品情報)として記憶装置30に記録する。以下、各ブロック部についてさらに説明する。
(画像変形部の動作)
次に、画像変形部21の動作について図6を参照して詳細に説明する。
図6は、画像変形部21の動作例を示す。画像変形部21は、物品の撮影画像Imの2D画像を入力すると、変形設定ファイル600に記述された変形設定に基づいて、物品画像の2D画像に対する画像変形を行う。変形設定ファイル600には、物品の姿勢(透視投影変換時の角度)を変化させる範囲と、間隔が設定されている。変形設定ファイル600は、ROM420又は不揮発性ストレージ460に保存される。また、変形設定に対応する行列Rも、ROM420又は不揮発性ストレージ460に保存されているものとする。
次に、画像変形部21の動作について図6を参照して詳細に説明する。
図6は、画像変形部21の動作例を示す。画像変形部21は、物品の撮影画像Imの2D画像を入力すると、変形設定ファイル600に記述された変形設定に基づいて、物品画像の2D画像に対する画像変形を行う。変形設定ファイル600には、物品の姿勢(透視投影変換時の角度)を変化させる範囲と、間隔が設定されている。変形設定ファイル600は、ROM420又は不揮発性ストレージ460に保存される。また、変形設定に対応する行列Rも、ROM420又は不揮発性ストレージ460に保存されているものとする。
例えば、図6の例では、撮影画像Im(2D画像)のヨーイングに関して“x-range=[-30:+30]、x-step=30”が設定されている。これは、撮影時の物品の角度を0度として、透視投影変換時の物品のヨー角を-30度から+30度の範囲において、30度間隔で変化させるという設定である。また、撮影画像Imのピッチングに関して、“y-range=[-30:+30]、y-step=30”が設定されている。これは、撮影時の物品の角度を0度として、透視投影変換時の物品のピッチ角を-30度から+30度の範囲において、30度間隔で変化させるという設定である。この変形設定に従うと、図6に示すように、1枚の撮影画像Imから9枚の変形画像610(変形画像611~619)が生成される。画像変形部21は、変形設定に応じた行列Rを撮影画像Imに適用し、撮影画像Imを構成している各画素の情報を変換する。図中、ヨーイングを右又は左、ピッチングを下又は上と表している。
ここで、変形画像611~619の中央にある変形画像615は、ヨー角及びピッチ角ともに0度(図中、右0度)のときの変形画像である。すなわち、変形画像615は、撮影画像Im(2D画像)に対して実質的に画像変形処理しない画像に相当する。
(画像特徴抽出部の動作)
次に、画像特徴抽出部22の動作について図7を参照して詳細に説明する。
図7は、画像特徴抽出部22の動作例を示す。まず、画像特徴抽出部22は、入力された斜め画像(例えば、右30度の変形画像616)から画像特徴を抽出する。この例では、変形画像616から破線で示した5か所の画像特徴が抽出されている。次に、画像特徴抽出部22は、撮影画像Im(2D画像)に行列Rを適用後の変形画像(例えば、変形画像616)に対し、行列Rの逆行列R-1を適用する。これにより、右30度の変形画像616が、変形前の撮影画像Imと実質的に同じ撮影角度(例えば正面)の逆変換画像615rに変換される。逆変換画像615rの角度は、変形画像615(右0度)とも同じである。画像特徴抽出部22は、撮影時と同じ角度に戻された逆変換画像615rを用いて、変形画像616の画像特徴の二次元位置(x座標、y座標)を計算する。
次に、画像特徴抽出部22の動作について図7を参照して詳細に説明する。
図7は、画像特徴抽出部22の動作例を示す。まず、画像特徴抽出部22は、入力された斜め画像(例えば、右30度の変形画像616)から画像特徴を抽出する。この例では、変形画像616から破線で示した5か所の画像特徴が抽出されている。次に、画像特徴抽出部22は、撮影画像Im(2D画像)に行列Rを適用後の変形画像(例えば、変形画像616)に対し、行列Rの逆行列R-1を適用する。これにより、右30度の変形画像616が、変形前の撮影画像Imと実質的に同じ撮影角度(例えば正面)の逆変換画像615rに変換される。逆変換画像615rの角度は、変形画像615(右0度)とも同じである。画像特徴抽出部22は、撮影時と同じ角度に戻された逆変換画像615rを用いて、変形画像616の画像特徴の二次元位置(x座標、y座標)を計算する。
画像特徴抽出部22は、変形画像616から抽出した各画像特徴について、逆変換画像615r(=撮影画像Im)上での二次元位置を計算する。すなわち、画像特徴抽出部22は、変形画像の画像特徴の2次元位置(特徴点2D座標)として、画像変形前の元の撮影画像Im上での二次元位置を求める。画像特徴抽出部22は、このような画像特徴とその位置を抽出及び計算する処理をすべての変形画像について実施し、画像特徴情報と特徴点2D座標を得る。なお、図7に特徴点2D座標として示したx座標とy座標の値は、他図(例えば図10)の座標値と関係していない。
図8は、画像特徴抽出部22により撮影画像Imを画像変形した際の行列Rの逆行列R-1を示す。図8上段は、撮影画像Imから変形画像616(右30度)に変形した際の、行列Rの逆行列R-1の例である。図8下段は、撮影画像Imから変形画像615(右0度)に変形した際の行列Rの逆行列R-1の例である。変形画像615は撮影画像Imと角度が同じであり、逆変換でも角度が変化しないため逆行列R-1は単位行列となる。図中の破線で示す四角には0が入る。
(画像特徴抽出方法)
次に、画像特徴を抽出する方法について図9~図11を参照して詳細に説明する。
図9は、正面(右0度)の変形画像615と上左30度の変形画像617を示す。図9右側の変形画像615において、顔画像901の左目911の一部を含む特徴領域910が、また顔画像901の輪郭及び口921の一部(左側口角)を含む特徴領域920が設定されている。一方、図9左側の変形画像617において、顔画像905の左目951の一部を含む特徴領域950が、また顔画像905の口961の一部(左側口角)を含む特徴領域960が設定されている。画像特徴抽出部22は、四角形の特徴領域枠を対象画像の左上から順次走査し、対象画像全体にわたって画像特徴を抽出する処理を実施する。本実施形態では、画像特徴が抽出されたときの特徴領域の中心位置Cを、画像特徴の位置とする。
次に、画像特徴を抽出する方法について図9~図11を参照して詳細に説明する。
図9は、正面(右0度)の変形画像615と上左30度の変形画像617を示す。図9右側の変形画像615において、顔画像901の左目911の一部を含む特徴領域910が、また顔画像901の輪郭及び口921の一部(左側口角)を含む特徴領域920が設定されている。一方、図9左側の変形画像617において、顔画像905の左目951の一部を含む特徴領域950が、また顔画像905の口961の一部(左側口角)を含む特徴領域960が設定されている。画像特徴抽出部22は、四角形の特徴領域枠を対象画像の左上から順次走査し、対象画像全体にわたって画像特徴を抽出する処理を実施する。本実施形態では、画像特徴が抽出されたときの特徴領域の中心位置Cを、画像特徴の位置とする。
図10は、画像特徴抽出部22により画像特徴(特徴的な画像パターン)を抽出する方法の一例を示す。画像特徴を抽出する方法としてORB(Oriented FAST and Rotated BRIEF)が知られている。ORBは、基本的にFASTによる特徴点検出と、BRIEFによる特徴量記述子を組み合わせたものである。以下、図10を参照しORBを利用した画像特徴抽出方法の概要を説明する。
図10は、図9に記載した変形画像615と変形画像617から画像特徴を抽出する例を示している。大まかに説明すると、ORBでは、対象画像を走査する検出ウィンドウ(特徴領域に相当)内の重心に位置する画素などを基準に、検出ウィンドウ内に存在する画素の値を回転方向に検出してバイナリ列を生成し、特徴領域の画像特徴とする。以降の説明において、画像特徴を「特徴量」と呼ぶことがある。画像特徴抽出部22は、ある特徴領域の特徴量が周辺の特徴領域の特徴量と比較して相対的に違いが大きい場合、該当する特徴領域を特徴点として抽出する。なお、図10及び後述する図11に記載した画素配列は一例であって、実際にはより多くの画素が縦横に密に整列している。
図10では、右0度の変形画像615内の特徴領域910(左目911の一部を含む)において、特徴量“000000100000000”、撮影画像Im上での二次元位置“x,y=160,60”の画像特徴が抽出されている。また、特徴領域920(顔画像901の輪郭と口921の左側口角それぞれの一部を含む)において、特徴量“000110110000000”、撮影画像Im上での二次元位置“x,y=165,180”の画像特徴が抽出されている。
同様に、上左30度の変形画像617内の特徴領域950(左目951の一部を含む)において、特徴量“000000100000000”、変形画像617上での二次元位置“x,y=120,80”の画像特徴が抽出されている。この変形画像617上での二次元位置“x,y=120,80”は、撮影画像Im上での二次元位置“base(x,y)=160.1,60.2”に対応する。また、特徴領域960(顔画像905の輪郭と口961の左側口角それぞれの一部を含む)において、特徴量“010001110100010”、変形画像917上での二次元位置“x,y=120,120”の画像特徴が抽出されている。この変形画像617上での二次元位置“x,y=120,120”は、撮影画像Im上での二次元位置“base(x,y)=165.1,180.2”に対応する。
図11は、画像特徴抽出部22により画像特徴を抽出する方法の他の例を示す。画像特徴を抽出する他の方法としてSIFT(Scale-Invariant Feature Transform)が挙げられる。SIFTの詳細は省略するが、SIFTは検出ウィンドウ内の画素の輝度勾配と勾配方向を検出する。以下、図11を参照しSIFTを利用した画像特徴抽出方法の概要を説明する。
図11では、特徴領域910内における所定方向の画素の値が順に230,225,215,200,-30,-50,・・・であって、中心位置Cの画素の値が125、そのほぼ真上の少し離れた位置にある画素の値が255とする。この場合、画像特徴の一つとして、2つの画素の輝度勾配が255-125=230、勾配方向はほぼ真上方向という情報が抽出される。図10及び図11を用いてORB及びSIFTの概要を説明したが、SURF(Speeded-Up Robust Features)など他の手法を用いて画像特徴(特徴点)を抽出してもよい。
(三次元位置計算部の処理)
次に、三次元位置計算部23の処理について図12~図14を参照して説明する。
図12は、三次元位置計算部23の処理の手順例を示すフローチャートである。はじめに、三次元位置計算部23は、物品画像の3D画像(距離情報)と、2D画像とを紐づける(S1)。図13に、物品の3D画像1300と2D画像1350を対応づけている例が示されている。
次に、三次元位置計算部23の処理について図12~図14を参照して説明する。
図12は、三次元位置計算部23の処理の手順例を示すフローチャートである。はじめに、三次元位置計算部23は、物品画像の3D画像(距離情報)と、2D画像とを紐づける(S1)。図13に、物品の3D画像1300と2D画像1350を対応づけている例が示されている。
次いで、三次元位置計算部23は、複数の変形画像(例えば変形画像611~619)から抽出された全ての特徴点(画像特徴)に対して、ステップS2~S4の処理を繰り返し実行する。まず、三次元位置計算部23は、特徴点2D座標の近傍4画素に対応する3D座標を3D画像から取得する(S2)。近傍4画素は、特徴点2D座標に最も近い4つの画素とする。次いで、三次元位置計算部23は、近傍4画素に対応する3D座標の平均値を計算する(S3)。次いで、4つの3D座標の平均値を特徴点の3D座標としてRAM430に一時記録する(S4)。
そして、三次元位置計算部23は、複数の変形画像内の全特徴点に対して3D座標の計算が終了したかどうかを判定し、全特徴点に対して3D座標の計算が終了していない場合にはステップS2~S4の処理を繰り返す。一方、三次元位置計算部23は、全特徴点に対して3D座標の計算が終了した場合、本フローチャートの処理を終了する。
図13及び後述する図14に示すように、3D画像と2D画像は整数画素単位で紐付けされている。一方、特徴点座標は小数画素単位で求まる。したがって、特徴点2D座標の周囲にある2D画像の複数の座標の各々に対応する3D画像の座標を加重平均して、特徴点座標の三次元位置(特徴点3D座標)を計算する。
図14は、三次元位置計算部23において2D画像上の座標を3D画像上の座標へ変換する手法を示す。ここで、変形画像の特徴点2D座標(x,y)を(1.3,1.2)とする。この場合、特徴点2D座標(1.3,1.2)の近傍4画素の座標は、(1,1)、(1,2)、(2,1)、(2,2)である。そして、(1,1)に対応する3D画像上の座標は(0.3,0.4,0.5)である。同様に、(1,2)に対応する3D画像上の座標は(0.3,0.5,0.5)、(2,1)に対応する3D画像上の座標は(0.4,0.4,0.5)、(2,2)に対応する3D画像上の座標は(0.4,0.5,0.5)である。したがって、変形画像の特徴点2D座標(1.3,1.2)に対応する特徴点3D座標として、(0.35,0.45,0.5)が得られる。
(特徴情報圧縮部の処理)
次に、特徴情報圧縮部24の処理について図15~図17を参照して説明する。
図15は、特徴情報圧縮部24の処理の手順例を示すフローチャートである。はじめに、特徴情報圧縮部24は、範囲設定ファイル1600(図5参照)から、3D位置範囲設定1610(後述の図16参照)と、特徴量一致範囲設定1620(図16参照)を読み込む(S11)。変形設定ファイル600は、ROM420又は不揮発性ストレージ460に保存される。
次に、特徴情報圧縮部24の処理について図15~図17を参照して説明する。
図15は、特徴情報圧縮部24の処理の手順例を示すフローチャートである。はじめに、特徴情報圧縮部24は、範囲設定ファイル1600(図5参照)から、3D位置範囲設定1610(後述の図16参照)と、特徴量一致範囲設定1620(図16参照)を読み込む(S11)。変形設定ファイル600は、ROM420又は不揮発性ストレージ460に保存される。
次いで、特徴情報圧縮部24は、特徴点の3D座標が3D位置範囲設定以下、かつ特徴量が特徴量一致範囲設定以内で一致する特徴点群をグループ化する(S12)。次いで、特徴情報圧縮部24は、グループ化された特徴点群を削除し、削除した特徴点群と同一の特徴量であって3D座標が重心位置となる特徴点を追加する(S13)。そして、特徴情報圧縮部24は、追加した特徴点の特徴量とその3D座標情報とを紐づけて物品情報(マスタ情報)として記憶装置30に出力する(S14)。ステップS14の処理後、本フローチャートの処理を終了する。
図16は、特徴情報圧縮部24における3D位置範囲設定1610及び特徴量一致範囲設定1620に基づく判定結果の例を示す。図16上側に、変形画像615の特徴領域910(特徴点(2))及び変形画像617の特徴領域950(特徴点(1))から抽出した画像特徴の特徴量と位置情報の例を示している。特徴領域950を特徴点(1)、特徴領域910を特徴点(2)とする。図16上側の画像特徴の抽出例は、図10に記載した画像特徴の抽出例と同じである。ただし、説明の都合上、変形画像617における特徴領域950の画像特徴の特徴量を“000000100000001”としている。また、図16下側に、3D位置範囲設定1610及び特徴量一致範囲設定1620の一例と判定結果を示している。
図16下側に、3D位置範囲設定1610の設定値として、“1.0”と“0.1”の例が示されている。特徴点3D座標(1)は特徴点(1)の特徴点3D座標を表わし、特徴点3D座標(2)は特徴点(2)の特徴点3D座標を表わす。3D位置範囲設定1610が“1.0”の場合、特徴点(1)と特徴点(2)の特徴点3D座標のy座標の差分が0.2であるから、判定結果は“一致”となる。一方、3D位置範囲設定1610が“0.1”の場合は、特徴点(1)と特徴点(2)の特徴点3D座標についての判定結果は“不一致”となる。
また、図16下側に、特徴量一致範囲設定1620の設定値として、“0bit”と“1bit”の例が示されている。特徴量一致範囲設定1620が“0bit”の場合は、特徴点(1)と特徴点(2)の特徴量の差分は1bitであるから、判定結果は“不一致”となる。一方、特徴量一致範囲設定1620が“1bit”の場合は、特徴点(1)と特徴点(2)の特徴量についての判定結果は“一致”となる。
図17は、2つの特徴点の画像特徴と位置情報の例を示す。上左30度の変形画像617の特徴領域950を特徴点(1)、下右30度の変形画像613の特徴領域1710を特徴点(3)とする。そして、特徴点(1)の画像特徴の特徴量を“000000100000000”、撮像画像Im上での二次元位置“x,y=160.1,60.2”、特徴点(3)の画像特徴の特徴量を“000000100000000”、撮像画像Im上での二次元位置を“x,y=160.1,60.2”とする。
特徴点(1)と特徴点(2)は、特徴点3D座標が“x,y=160.1,60.2”で一致し、特徴量が“000000100000000”で一致する。よって、特徴点(1)と特徴点(2)は重複する画像特徴であるから、特徴情報圧縮部24は、特徴点(1)と特徴点(2)を削除し、削除した特徴点(1)と特徴点(2)を代表する特徴点を追加する。
画像特徴と位置情報が同じかどうかを比較及びグループ化する画像は、撮影画像Imと変形画像でもよいし、変形画像同士でもよい。
上述した物品記録装置20により疑似的な斜め画像から画像特徴を抽出し、当該画像特徴とその位置情報からなる物品情報をマスタ情報として登録する場合、マスタ情報に登録される物品情報が増え、マスタ情報のデータ量が増大する。例えば、マスタ情報のファイルサイズが増大し、後述する物品認識装置40における物品認識(マッチング処理)にかかる時間が長くなる。
例えば、同じ画像特徴で位置情報(例えば特徴点3D座標)が同じ場合は、同じ画像位置の複数の斜め画像から同じ画像特徴が抽出されている。そこで、本実施形態に係る特徴情報圧縮部24では、内容(画像特徴、位置情報)が重複する物品情報をグループ化し、同じグループに分類された複数の物品情報を削除して代表する画像特徴と位置情報のみを備える物品情報をマスタ情報に追加する。これにより、マスタ情報のデータ量を低減し、記憶装置30の大容量化を防止できる。
(追加特徴点の3D座標)
なお、図15の説明では、グループ化された特徴点群を削除し、削除した特徴点群と同一の特徴量であって3D座標が重心位置となる特徴点を追加すると説明した。しかし、グループ化された複数の特徴点を削除後に追加する特徴点の3D座標の計算方法は、重心(平均値)の他、中央値、複数の3D座標から任意選択などが考えられる。
なお、図15の説明では、グループ化された特徴点群を削除し、削除した特徴点群と同一の特徴量であって3D座標が重心位置となる特徴点を追加すると説明した。しかし、グループ化された複数の特徴点を削除後に追加する特徴点の3D座標の計算方法は、重心(平均値)の他、中央値、複数の3D座標から任意選択などが考えられる。
例えば、グループ化された3個の特徴点の3D座標がそれぞれ、(160.2,180.3,90)、(159.8,179.5,90.1)、(160,180,90)である場合を想定する。一例として、追加する特徴点の重心(平均値)、中央値、任意選択は次のようになる。
重心:{(160.2,180.3,90)+(159.8,179.5,90.1)+(160,180,90)}/3
中央値:(159.8,179.5,90.1)
任意選択:(160.2,180.3,90)
重心:{(160.2,180.3,90)+(159.8,179.5,90.1)+(160,180,90)}/3
中央値:(159.8,179.5,90.1)
任意選択:(160.2,180.3,90)
このように、グループ化された複数の特徴点を削除後に追加する特徴点の3D座標として、複数の3D座標の重心(平均値)、中央値、又は複数の3D座標から任意選択のいずれかを採用することにより、複数の特徴点を削除した前後で、特徴点の3D座標の継続性が確保される。なお、特徴点の3D座標だけではなく、特徴点の特徴量(画像特徴)についても、重心(平均値)、中央値、任意選択の中からいずれかを採用するようにしてもよい。
[物品認識装置]
次に、物品認識装置40の機能及び動作について図18及び図19を参照して説明する。
図18は、物品認識装置40の機能構成例を示すブロック図である。
図19は、物品認識装置40が備える画像対応部41及び誤対応除去部42の動作例を示す図である。
次に、物品認識装置40の機能及び動作について図18及び図19を参照して説明する。
図18は、物品認識装置40の機能構成例を示すブロック図である。
図19は、物品認識装置40が備える画像対応部41及び誤対応除去部42の動作例を示す図である。
図18に示すように、物品認識装置40は、画像対応部41、誤対応除去部42、及び物品位置姿勢計算部43を備える。画像対応部41は、カメラ50から物品の物品画像(2D画像)を入力するとともに、記憶装置30から物品情報(マスタ情報)を読み出す。次いで、画像対応部41は、入力した2D画像から画像特徴(特徴点)を抽出し、抽出した画像特徴と一致する画像特徴を物品情報内の画像特徴(特徴点)の中から検索する。そして、画像対応部41は、物品情報内の画像特徴の中に、抽出した画像特徴と一致する画像特徴がある場合には、特徴点対応情報を誤対応除去部42へ出力する。特徴点対応情報は、物品画像の2D画像から抽出した画像特徴(特徴点)と、マスタ情報の物品情報内の画像特徴(特徴点)が対応していることを示す情報である。
誤対応除去部42は、画像対応部41から特徴点対応情報を入力し、当該特徴点対応情報において対応づけられている特徴点における、2D画像の3D座標と、物品情報内の3D座標が一致するかどうかを判定する。そして、誤対応除去部42は、特徴点対応情報に含まれた2D画像の3D座標と物品情報内の3D座標が一致しない場合、その特徴点対応情報を誤対応情報として除外し、除外されずに残った特徴点対応情報を正解対応情報とする。
例えば図19では、物品情報(マスタ情報)における物品200Aの顔画像220,230の画像特徴と、物品画像250の顔画像280,260の画像特徴とが対応づけられている(正解対応)。また、物品情報の物品200Aの顔画像210の画像特徴と、物品画像250の顔画像260の画像特徴とが対応づけられている(誤対応)。しかし、物品200Aの顔画像210の画像特徴は、物品画像250の顔画像270の画像特徴と対応づけられるのが正解である。このため、誤対応除去部42は、物品200Aの顔画像210の画像特徴と物品画像250の顔画像260の画像特徴とを対応づけた特徴点対応情報を誤対応として除外する。
物品位置姿勢計算部43は、正解対応情報内の“物品情報の画像特徴の3D座標”と“物品画像の画像特徴の3D座標”との対応関係から、撮影された物品の位置及び姿勢を計算する。そして、物品位置姿勢計算部43は、計算した物品の位置及び姿勢を物品位置姿勢情報としてロボット制御装置60へ出力する。
ロボット制御装置60は、物品位置姿勢計算部43から物品の物品位置姿勢情報を取得し、当該物品位置姿勢情報に基づいてロボット70に対する制御指令を生成してロボット70に出力する。
以上のとおり、上述した一実施形態に係る物品記録装置20は、撮影装置(カメラ10)により撮影された物品の撮影画像を異なる角度で透視投影変換して変形し、疑似的な斜め画像(例えば変形画像611~619)を生成する画像変形部21と、斜め画像から少なくとも、画像特徴と、当該画像特徴の撮影画像上での位置情報(2次元座標又は3次元座標)を抽出する画像特徴抽出部22と、斜め画像の画像特徴と位置情報とを紐づけて、物品のマスタ情報として記憶装置30に出力する出力部(CPU410,ネットワークインターフェース480)と、を備える。
上述した一実施形態に係る物品記録装置20では、事前に物品を正対させて表面を撮影した撮影画像を取得し、撮影画像を異なる角度で透視投影変換して疑似的な斜め画像(例えば変形画像611~619)を生成し、疑似的な斜め画像から画像特徴を抽出し、画像特徴とその位置情報をマスタ情報として記録する。このように、物品を実際に回転させずに、疑似的な斜め画像から画像特徴を抽出するため、マスタ作成の工数を減らすことができる。それゆえ、物品のマスタ情報の作成コストを低減しつつ認識成功率の低下を防止することができる。
<変形例>
マスタ情報は、画像特徴と三次元位置ではなく、画像特徴と二次元位置でもよい。例えば、物品の向きを固定した状態で作業又は検査するなど、物品の画像特徴を有する面が特定できるのであれば、マスタ情報の位置情報は三次元位置でなくてもよい。すなわち、注目する画像特徴が、物品のどの表面に形成された画像のどこの位置かがわかればよい。このような場合、三次元位置計算部23での処理を省略できる。また、特徴情報圧縮部24では、3D位置範囲設定ではなく、特定の面での2D位置範囲設定を用いて、特徴情報圧縮を行うようにしてもよい。
マスタ情報は、画像特徴と三次元位置ではなく、画像特徴と二次元位置でもよい。例えば、物品の向きを固定した状態で作業又は検査するなど、物品の画像特徴を有する面が特定できるのであれば、マスタ情報の位置情報は三次元位置でなくてもよい。すなわち、注目する画像特徴が、物品のどの表面に形成された画像のどこの位置かがわかればよい。このような場合、三次元位置計算部23での処理を省略できる。また、特徴情報圧縮部24では、3D位置範囲設定ではなく、特定の面での2D位置範囲設定を用いて、特徴情報圧縮を行うようにしてもよい。
図20は、一実施形態に係るマスタ情報の他の例(画像特徴、三次元位置、面位置)を示す。図20に示す物品200は、図2と同様に、正面Fに顔画像210が印刷され、顔画像210の左目211付近に特徴領域215が設定されている。この場合、マスタ情報(物品情報)を、「画像特徴(特徴量)」、「二次元位置」、「面位置」で構成してもよい。例えば、物品200の物品情報は、画像特徴“000000100000000”、二次元位置“-0.020,0.040”、面位置“正面”を有する。
さらに、本発明は上述した一実施形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、その他種々の応用例、変形例を取り得ることは勿論である。例えば、上述した一実施形態は本発明を分かりやすく説明するために物品記録装置及びロボットシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成要素を備えるものに限定されない。また、一実施形態の構成の一部について、他の構成要素の追加又は置換、削除をすることも可能である。
また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。ハードウェアとして、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)などの広義のプロセッサデバイスを用いてもよい。また、上述した一実施形態にかかる物品記録装置の各構成要素は、それぞれのハードウェアがネットワークを介して互いに情報を送受信できるならば、いずれのハードウェアに実装されてもよい。また、ある処理部により実施される処理が、1つのハードウェアにより実現されてもよいし、複数のハードウェアによる分散処理により実現されてもよい。
10…カメラ、 20…物品記録装置、 21…画像変形部、 22…画像特徴抽出部、 23…三次元位置計算部、 24…特徴情報圧縮部、 30…記憶装置、 40…物品認識装置、 41…画像対応部、 42…誤対応除去部、 43…物品位置姿勢計算部、 50…カメラ、 60…ロボット制御装置、 70…ロボット、 100…ロボットシステム、 200,200A…物品、 210,220,230…顔画像、 215…特徴領域、 250…物品画像、 260,270,280…顔画像、 600…変形設定ファイル、 610,611~619…変形画像、 615r…逆変換画像、 910,920,950,960…特徴領域、 1600…範囲設定ファイル、 1610…3D位置範囲設定、 1620…特徴量一致範囲設定、 Im…撮影画像(物品画像)、 F,f…正面、 S,s…側面、 T,t…上面
Claims (7)
- 撮影装置により撮影された物品の撮影画像を異なる角度で透視投影変換して変形し、疑似的な斜め画像を生成する画像変形部と、
前記斜め画像から少なくとも、画像特徴と、当該画像特徴の前記撮影画像上での位置情報を抽出する画像特徴抽出部と、
前記斜め画像の前記画像特徴と前記位置情報とを紐づけて、前記物品のマスタ情報として記憶装置に出力する出力部と、を備える
物品記録装置。 - 前記物品の前記撮影画像は、前記撮影装置が前記物品の表面と正対した状態で前記物品を撮影した画像である
請求項1に記載の物品記録装置。 - 前記撮影画像には前記撮影装置から前記物品上の位置までの距離情報が含まれ、
前記距離情報に基づき、前記斜め画像の前記画像特徴に対して、前記物品上での三次元位置を求める三次元位置計算部、を備え、
前記出力部は、前記斜め画像の前記画像特徴と前記三次元位置とを紐づけて、前記物品の前記マスタ情報として前記記憶装置に出力する
請求項2に記載の物品記録装置。 - 複数の前記画像特徴に対応する各々の位置が予め設定された位置範囲内であって、複数の前記画像特徴の各々の特徴量が予め設定された特徴量一致範囲内である場合、該当する複数の前記画像特徴と前記位置情報の組み合わせを同一グループに分類し、同一グループに分類された前記画像特徴と前記位置情報の複数の組み合わせを代表する一つの画像特徴と対応する一つの位置情報を設定する特徴情報圧縮部、を備え、
前記出力部は、代表に設定された前記画像特徴と対応する前記位置情報とを、前記マスタ情報として前記記憶装置へ出力する
請求項1乃至3のいずれか一項に記載の物品記録装置。 - 前記特徴情報圧縮部は、同一グループに分類された前記画像特徴と前記位置情報の複数の組み合わせを削除する
請求項4に記載の物品記録装置。 - 前記特徴情報圧縮部は、同一グループに分類された前記画像特徴と前記位置情報の複数の組み合わせを代表する前記一つの画像特徴に対応する前記一つの位置情報は、前記複数の位置情報の平均値、中央値、又は前記複数の位置情報から任意選択のいずれかを採用する
請求項5に記載の物品記録装置。 - 物品記録装置により物品の情報を記録する物品記録方法であって、
撮影装置により撮影された物品の撮影画像を異なる角度で透視投影変換して変形し、疑似的な斜め画像を生成する処理と、
前記斜め画像から少なくとも、画像特徴と、当該画像特徴の前記撮影画像上での位置情報を抽出する処理と、
前記斜め画像の前記画像特徴と前記位置情報とを紐づけて、前記物品のマスタ情報として記憶装置に出力する処理と、を含む
物品記録方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021097913A JP2022189368A (ja) | 2021-06-11 | 2021-06-11 | 物品記録装置及び物品記録方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021097913A JP2022189368A (ja) | 2021-06-11 | 2021-06-11 | 物品記録装置及び物品記録方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022189368A true JP2022189368A (ja) | 2022-12-22 |
Family
ID=84533015
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021097913A Pending JP2022189368A (ja) | 2021-06-11 | 2021-06-11 | 物品記録装置及び物品記録方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022189368A (ja) |
-
2021
- 2021-06-11 JP JP2021097913A patent/JP2022189368A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10573018B2 (en) | Three dimensional scene reconstruction based on contextual analysis | |
US10515291B2 (en) | Template creation device and template creation method | |
JP6125188B2 (ja) | 映像処理方法及び装置 | |
WO2018232518A1 (en) | DETERMINING POSITIONS AND OBJECT ORIENTATIONS | |
US10803615B2 (en) | Object recognition processing apparatus, object recognition processing method, and program | |
JP5261501B2 (ja) | 不変の視覚場面及び物体の認識 | |
CN110926330B (zh) | 图像处理装置和图像处理方法 | |
US10713530B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP7064257B2 (ja) | 画像深度確定方法及び生き物認識方法、回路、装置、記憶媒体 | |
JP6172432B2 (ja) | 被写体識別装置、被写体識別方法および被写体識別プログラム | |
JP2019192022A (ja) | 画像処理装置、画像処理方法及びプログラム | |
TWI716874B (zh) | 影像處理裝置、影像處理方法、及影像處理程式 | |
KR101478709B1 (ko) | Rgb-d 영상 특징점 추출 및 특징 기술자 생성 방법 및 장치 | |
KR20220017697A (ko) | 복수의 센서간 캘리브레이션 방법 및 장치 | |
JP7298687B2 (ja) | 物体認識装置及び物体認識方法 | |
KR102195762B1 (ko) | 포토그래메트리를 이용한 고품질 3차원 공간 정보 획득 방법 | |
JP2022189368A (ja) | 物品記録装置及び物品記録方法 | |
CN113034345B (zh) | 一种基于sfm重建的人脸识别方法及系统 | |
JP4953211B2 (ja) | 特徴抽出装置および特徴抽出方法 | |
KR102267442B1 (ko) | 가변 시점에서 촬영된 카메라 왜곡 보정 방법 및 이를 이용한 블록 3차원 모델링 방법 | |
JP6751663B2 (ja) | 画像処理装置、画像処理方法 | |
JP7197211B2 (ja) | 三次元グラフィックスデータ作成方法、プログラム及び三次元グラフィックスデータ作成システム | |
WO2022102015A1 (ja) | 画像情報取得装置、画像情報取得方法及びコンピュータープログラム | |
WO2023140266A1 (ja) | ピッキング装置及び画像生成プログラム | |
WO2023163219A1 (ja) | 情報処理装置、ロボット制御システム及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230324 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240319 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240910 |