JP2022189368A - 物品記録装置及び物品記録方法 - Google Patents

Abstract

【課題】物品のマスタ情報の作成コストを低減しつつ認識成功率の低下を防止する。【解決手段】物品の撮影画像を異なる角度で透視投影変換して変形し、疑似的な斜め画像を生成する画像変形部２１と、当該斜め画像から少なくとも、画像特徴と、当該画像特徴の撮影画像上での位置情報を抽出する画像特徴抽出部２２と、当該斜め画像の画像特徴と位置情報とを紐づけて、物品のマスタ情報として記憶装置３０に出力する出力部４１０，４８０と、を備える。【選択図】図５

Description

本発明は、物品の情報を記録する物品記録装置及び物品記録方法に関する。

物品（ワーク）に対する作業や検査を画像認識処理に基づいて行う技術が知られている。撮影画像から事前登録した物品を認識するロボットシステムは、物品の画像特徴（マスタデータ）を事前登録する物品記憶装置を備える。従来、物品を正対した状態で撮影し、物品表面の画像特徴を記録している。

例えば、照明条件や撮影条件の変化に対して頑健な外観検査を行うことを目的とした技術が開示されている（例えば、特許文献１参照。）。特許文献１には、「ロボット装置の検査装置は、撮像装置が任意方向から撮像して得た画像データに含まれる検査対象物体画像に対する視点を、あらかじめ記憶したテンプレート画像データに含まれるテンプレート画像に対する視点に一致させるように当該画像データを変換画像データに変換する。そして、検査装置は、その変換画像データにおける検査領域からねじの有無を判定し、その検査結果データを出力する。」と記載されている。この検査装置を備えたロボット装置は、三次元空間内の任意方向（例えば斜め方向）から撮像した画像データから生成した変換画像データを用いて、検査部位の状態の検査を行うことができる。

特開２０１２－１６４０１７号公報

ところで、特許文献１に記載のロボット装置のように、物品を斜め方向から撮影すると、画像特徴（対応する領域の輝度値）同士が一致しなくなり、テンプレート画像データと撮影した画像データ（変換画像データ）が対応づけられなくなる可能性がある。

物品の位置を認識するために、事前に物品表面をカメラに正対させて撮影し、撮影画像から物品表面の濃淡パターン（テクスチャ）を画像特徴として抽出して、画像特徴とその三次元分布をマスタとして記録する。ロボットシステムは、物品を撮影し、撮影画像内の濃淡パターンから画像特徴を抽出し、その画像特徴をマスタ内の画像特徴と照合して、物品の有無とその位置及び姿勢を推定する。

このとき、物品が斜めから撮影されると、ロボットシステムが撮影画像から画像特徴を抽出しても、濃淡パターンが変化してしまうため、撮影画像の画像特徴と事前登録したマスタの画像特徴とが一致しなくなる。そのため、ロボットシステムは、撮影画像の画像特徴とマスタの画像特徴が照合できず、物品認識を失敗することがあった。

この対策として、物品を回転させて複数方向から撮影することで、斜め撮影時の画像特徴を抽出してマスタに登録する方法があった。しかし、物品を回転させながら複数方向から撮影していたため、マスタ作成の工数が多くなりコストが増大していた。

上記の状況から、物品のマスタ情報の作成コストを低減しつつ認識成功率の低下を防止する手法が要望されていた。

上記課題を解決するために、本発明の一態様の物品記録装置は、撮影装置により撮影された物品の撮影画像を異なる角度で透視投影変換して変形し、疑似的な斜め画像を生成する画像変形部と、当該斜め画像から少なくとも、画像特徴と、当該画像特徴の撮影画像上での位置情報を抽出する画像特徴抽出部と、当該斜め画像の画像特徴と位置情報とを紐づけて、物品のマスタ情報として記憶装置に出力する出力部と、を備える。

本発明の少なくとも一態様によれば、物品を実際に回転させずに、物品の撮影画像から疑似的に斜め画像を生成し、その斜め画像から画像特徴を抽出するため、マスタ作成の工数を減らすことができる。それにより、物品のマスタ情報の作成コストを低減しつつ認識成功率の低下を防止することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の一実施形態に係るロボットシステムの全体構成例を示すブロック図である。 本発明の一実施形態に係るマスタ情報の例（画像特徴、三次元位置）を示す図である。 本発明の一実施形態に係るマスタ情報の例（複数の画像特徴と三次元位置）を示す図である。 本発明の一実施形態に係るロボットシステムを構成する各装置のハードウェア構成例を示すブロック図である。 本発明の一実施形態に係る物品記録装置の機能構成例を示すブロック図である。 本発明の一実施形態に係る画像変形部の動作例を示す図である。 本発明の一実施形態に係る画像特徴抽出部の動作例を示す図である。 本発明の一実施形態に係る画像特徴抽出部により撮影画像を画像変形した際の行列の逆行列を示す図である。 正面の変形画像（右０度）と上左の変形画像（上左３０度）を示す図である。 本発明の一実施形態に係る画像特徴抽出部により画像特徴を抽出する方法の一例を示す図である。 本発明の一実施形態に係る画像特徴抽出部により画像特徴を抽出する方法の他の例を示す図である。 本発明の一実施形態に係る三次元位置計算部の処理の手順例を示すフローチャートである。 本発明の一実施形態に係る３Ｄ画像、２Ｄ画像、及び特徴点２Ｄ座標の例を示す図である。 本発明の一実施形態に係る三次元位置計算部において２Ｄ画像上の座標を３Ｄ画像上の座標へ変換する手法を示す図である。 本発明の一実施形態に係る特徴情報圧縮部の処理の手順例を示すフローチャートである。 本発明の一実施形態に係る特徴情報圧縮部における３Ｄ位置範囲設定及び特徴量一致範囲設定に基づく各判定結果の例を示す図である。 ２つの特徴点の画像特徴と位置情報の例を示す図である。 本発明の一実施形態に係る物品認識装置の機能構成例を示すブロック図である。 本発明の一実施形態に係る画像対応部及び誤対応除去部の動作例を示す図である。 本発明の一実施形態に係るマスタ情報の他の例（画像特徴、二次元位置、面位置）を示す図である。

以下、本発明を実施するための形態の例について、添付図面を参照して説明する。本明細書及び添付図面において実質的に同一の機能又は構成を有する構成要素については、同一の符号を付して重複する説明を省略する。

＜一実施形態＞
まず、本発明の一実施形態に係る、物品に対して仕分けやピッキング等の作業、検査を行うロボットシステムの全体構成について図１を参照して説明する。

［ロボットシステムの全体構成］
図１は、本発明の一実施形態に係る物品記録装置を含むロボットシステムの全体構成例を示すブロック図である。図１に示すロボットシステム１００は、カメラ１０、物品記録装置２０、記憶装置３０、物品認識装置４０、カメラ５０、ロボット制御装置６０、及びロボット７０を備える。

カメラ１０，５０は、所定のフレームレート（例えば３０フレーム／秒）で被写体を撮像し画像データを出力するイメージセンサを備えた、モノクロ撮影又はカラー撮影が可能なビデオカメラ装置（撮影装置の一例）である。カメラ１０，５０は、例えば、照明の照度に応じて露光を自動的に調整する機能を備えていてもよい。さらに言えば、カメラ１０，５０は、２次元の画像データに加えて、被写体の表面までの距離（深度）の情報を持つ距離画像データを出力する機能を有する距離画像センサ（いわゆる３Ｄセンサ）である。２次元画像データに距離画像データを合せたものが３次元画像データである。３Ｄセンサの３Ｄセンシング方式として、例えばＴｏＦ（Time Of Flight）方式やステレオカメラ方式や、レーザ光を用いたパターン照射方式などがある。カメラ１０，５０は同一のカメラであってもよい。本明細書では、カメラ１０，５０が出力する画像データを「撮影画像」又は「物品画像」と称する。

物品記録装置２０は、カメラ１０により撮影された物品の画像（物品画像）を入力し、物品画像から疑似的な斜め画像を生成する。そして、物品記録装置２０は、斜め画像から画像特徴（特徴的な画像パターン）を抽出し、その画像特徴と対応する位置情報とを紐づけた物品情報を、物品のマスタ情報として記憶装置３０へ記録する装置である。

記憶装置３０は、物品画像の画像特徴と対応する位置情報とが紐づけられた物品情報（マスタ情報）を記憶する装置である。記憶装置３０は不揮発性ストレージであり、例えばＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気や光を利用するディスク装置、又は不揮発性の半導体メモリ等が用いられる。

物品認識装置４０は、カメラ５０で撮影された物品の物品画像を取得すると、当該物品画像に基づいて、記憶装置３０にマスタ情報として保存されている物品情報を検索し読み出す。そして、物品認識装置４０は、読み出した物品情報に基づいて、撮影した物品の位置及び姿勢を認識し、認識結果を物品位置姿勢情報としてロボット制御装置６０へ出力する。このように、物品認識装置４０は、周知慣用の技術を用いて、物品位置姿勢情報をロボット制御装置６０に出力する。

ロボット制御装置６０は、物品認識装置４０から入力される物品の物品位置姿勢情報に基づいて、ロボット７０に制御指令を出力し、対象物品に対するロボット７０の動作を制御する。制御指令は、例えばロボット７０のアームの関節やエンドエフェクタ等に設けられたアクチュエータ（モータ等）に対する電流値や電圧値などを示す信号である。

ロボット７０は、ロボット制御装置６０から入力される制御指令に基づいて、内蔵の駆動回路が該当するアクチュエータに駆動信号を供給する。これにより、ロボット７０は、現在の物品の位置及び姿勢に応じて、アームやエンドエフェクタ等の位置、姿勢及び動作が適切に制御される。

［マスタ情報］
ここで、本実施形態において記憶装置３０に記憶されるマスタ情報（物品情報）の内容を説明する。

図２は、記憶装置３０に記憶されるマスタ情報の例（画像特徴、三次元位置）を示す。図示するマスタ情報（物品情報）の物品２００は、直方体状の箱であり、正面Ｆに顔画像２１０が印刷され、顔画像２１０の左目２１１付近に特徴領域２１５が設定されている。上面Ｔと側面Ｓには顔画像がない。例えば、物品２００の中央を原点とし幅方向をｘ方向、高さ方向をｙ方向、及び奥行方向をｚ方向とする座標系を設定し、物品２００の奥行を０．０４ｍとする。物品２００の撮影画像（物品画像）の「画像特徴」と「三次元位置」とが紐づけられた物品情報が、マスタ情報として保存される。一例として、物品２００の物品情報は、画像特徴“000000100000000”、三次元位置“-0.020,0.040,0.020”である。なお、本明細書では、画像特徴を「特徴量」と言い換えることがある。

図３は、記憶装置３０に記憶されるマスタ情報の例（複数の画像特徴と三次元位置）を示す。図３は、マスタ情報として、複数の画像特徴と位置情報を保存する例である。図３に示す物品２００Ａは、直方体状の箱であり、正面Ｆに顔画像２１０、上面Ｔに顔画像２２０及び側面Ｓに顔画像２３０が印刷されている。正面Ｆの顔画像２１０の左目２１１付近に、特徴領域２１５が設定されている。特徴領域は、画像の特徴的な部分（画像特徴）を当該画像から切り出すために設定される領域であり、複数の画素から構成される。

物品２００Ａの撮影画像（物品画像）の正面Ｆ、上面Ｔ及び側面Ｓのそれぞれに印刷された顔画像２１０～２３０の「画像特徴」と「三次元位置」とが紐づけられた物品情報が、マスタ情報として保存される。例えば、撮影画像（物品画像）の正面Ｆ、上面Ｔ及び側面Ｓのそれぞれに印刷された顔画像２１０～２３０の左目から画像特徴を抽出したとする。一例として、物品２００Ａの物品情報は、正面Ｆ（顔画像２１０）の画像特徴“000000100000000”及び三次元位置“-0.020,0.040,0.020”、上面Ｔ（顔画像２２０）の画像特徴“000000100000000”及び三次元位置“-0.020,0.050,0.000”、並びに、側面Ｓ（顔画像２３０）の画像特徴“000000100000000”及び三次元位置“1.000,0.040,0.000”である。

物品記録装置２０は、このような物品情報の画像特徴及び位置情報（図３では三次元位置）を、物品画像２５０の画像特徴及び位置情報と照合することで、物品情報の物品２００Ａの各面の画像特徴と、物品画像２５０の各面の画像特徴のそれぞれの対応関係を判断する。図３に示す例では、物品画像２５０の上面ｔの顔画像２６０が物品２００Ａの正面Ｆの顔画像２１０に、物品画像２５０の側面ｓの顔画像２８０が物品２００Ａの上面Ｔの顔画像２２０に、そして、物品画像２５０の正面ｆの顔画像２６０が物品２００Ａの側面Ｓの顔画像２３０に対応する。物品画像２５０の正面ｆは、撮影時にカメラ５０と正対した面である。

［各装置のハードウェア構成］
次に、ロボットシステム１００が備える各装置のハードウェア構成について図４を参照して説明する。

図４は、ロボットシステム１００を構成する各装置が備える計算機のハードウェア構成例を示すブロック図である。図示する計算機４００は、例えば物品記録装置２０、物品認識装置４０、及びロボット制御装置６０で使用されるコンピューターを構成するハードウェアの一例である。計算機４００には、例えばパーソナルコンピュータを用いることができる。

計算機４００は、バス４４０にそれぞれ接続されたＣＰＵ（Central Processing Unit）４１０、ＲＯＭ（Read Only Memory）４２０、及びＲＡＭ（Random Access Memory）４３０を備える。さらに、計算機４００は、不揮発性ストレージ４６０、入出力インターフェース４７０、及びネットワークインターフェース４８０を備える。

ＣＰＵ４１０は、本実施形態に係る各装置の機能を実現するソフトウェアのプログラムコードをＲＯＭ４２０から読み出し、該プログラムをＲＡＭ４３０にロードして実行する。ＲＡＭ４３０には、ＣＰＵ４１０の演算処理の途中で発生した変数やパラメーター等が一時的に書き込まれる。ＲＡＭ４３０に書き込まれた変数やパラメーターなどは、ＣＰＵ４１０によって適宜読み出される。演算処理装置としてＣＰＵ４１０を用いているが、ＭＰＵ（Micro Processing Unit）等の他のプロセッサを用いてもよい。

不揮発性ストレージ４６０は、記録媒体の一例であり、プログラムが使用するデータやプログラムを実行して得られたデータなどを保存することが可能である。不揮発性ストレージ４６０に、ＯＳ（Operating System）や、ＣＰＵ４１０が実行するプログラムを記録してもよい。不揮発性ストレージ４６０としては、半導体メモリやＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気や光を利用するディスク装置等が用いられる。例えば、記憶装置３０を、物品記録装置２０又は物品認識装置４０が備える不揮発性ストレージ４６０で実現してもよい。

入出力インターフェース４７０は、自装置以外の他の装置が備える各センサ（例えばカメラ１０，５０のイメージセンサなど）や各アクチュエータとの間で、信号やデータの通信を行うインターフェースである。入出力インターフェース４７０が、入力信号又は出力信号を処理する図示しないＡ／Ｄ（Analog/digital）変換器、及び／又は、Ｄ／Ａ変換器を兼ねてもよい。

ネットワークインターフェース４８０は、例えばＮＩＣ（Network Interface Card）やモデム等が用いられる。ネットワークインターフェース４８０は、端子が接続されたＬＡＮやインターネット等の通信ネットワーク又は専用線等を介して、外部装置との間で各種のデータを送受信することが可能である。入出力インターフェース４７０は、ＣＰＵ４１０と協働して出力部を構成する。

［物品記録装置］
次に、物品記録装置２０の機能及び動作について図５～図１７を参照して説明する。
図５は、物品記録装置２０の機能構成例を示すブロック図である。物品記録装置２０は、画像変形部２１と、画像特徴抽出部２２と、三次元位置計算部２３と、特徴情報圧縮部２４を備える。物品記録装置２０の各ブロックの機能は、ＣＰＵ４１０がＲＯＭ４２０又は不揮発性ストレージ４６０に記録されたプログラムを実行することにより実現される。なお、以降の説明において、二次元を「２Ｄ」、三次元を「３Ｄ」と表記することがある。

画像変形部２１は、カメラ１０により撮影された物品の撮影画像（例えばカメラ１０と正面の物品画像の２Ｄ画像）を異なる角度で透視投影変換して変形し、疑似的な斜め画像（変形画像）を生成する。ここでの撮影画像は、カメラ１０が物品表面と正対した状態で物品を撮影した画像（物品画像）である。カメラ１０が出力する物品画像のデータは、３次元画像（３Ｄ画像）データである。３次元画像（３Ｄ画像）データには、二次元画像（２Ｄ画像）データと、カメラ１０から物品の表面までの距離の情報を持つ距離画像データが含まれる。画像変形部２１は、物品画像の２Ｄ画像を変形設定ファイル６００の変形設定に従って変形処理することで、物品画像から疑似的な斜め画像（変形画像）を生成する。はじめに、カメラ１０が物品正面と正対した状態の撮影画像（物品画像）を取得することで、後述する斜め画像の画像特徴に対して撮影画像上での位置情報を計算する際に、正対していない状態の撮影画像を用いる場合と比較して、位置情報の精度が向上する。

画像特徴抽出部２２は、画像変形部２１で生成された疑似的な斜め画像（変形画像）から少なくとも、画像特徴を抽出し、その斜め画像の画像特徴の撮影画像上での位置情報（二次元位置）を計算する。同様に、画像特徴抽出部２２は、撮影画像（物品画像の２Ｄ画像）の画像特徴と、当該画像特徴の位置情報（二次元位置）を抽出及び計算する。なお、撮影画像の画像特徴は、撮影画像に対する透視投影変換時の角度を０度として画像変形した斜め画像（角度０度のため実質的に変形なし）から抽出することが可能である。この角度０度で画像変形した斜め画像は、後述する図６の変形画像６１５に相当し、角度０度のため何ら変形しない撮影画像と実質的に同じである。

そして、画像特徴抽出部２２は、撮影画像（物品画像の２Ｄ画像）及びその斜め画像の各々から抽出した画像特徴の情報を、特徴情報圧縮部２４へ出力する。また、画像特徴抽出部２２は、撮影画像（物品画像の２Ｄ画像）及びその斜め画像における画像特徴の撮影画像上での二次元位置の座標（特徴点２Ｄ座標）を、三次元位置計算部２３へ出力する。本明細書では、撮影画像上での画像特徴を抽出した特徴領域又はその位置のことを「特徴点」と呼ぶ。

三次元位置計算部２３は、距離情報を含む撮影画像（物品画像の３Ｄ画像）に基づいて、画像変形部２１から入力される撮影画像（物品画像の２Ｄ画像）及びその斜め画像における画像特徴の二次元位置（特徴点２Ｄ座標）に対して、物品（物品画像の３Ｄ画像）上での三次元位置（特徴点３Ｄ座標）を計算する。三次元位置計算部２３は、撮影画像及び斜め画像の特徴点３Ｄ座標を特徴情報圧縮部２４に出力する。

特徴情報圧縮部２４は、画像特徴の情報量の圧縮を行う。特徴情報圧縮部２４は、撮影画像及びその疑似的な斜め画像の各々の画像特徴の情報と、対応する位置情報（特徴点３Ｄ座標）が入力されると、範囲設定ファイル１６００から３Ｄ位置範囲設定と特徴量一致範囲設定とを読み込む（後述する図１６参照）。そして、特徴情報圧縮部２４は、複数の画像特徴に対応する各々の位置（例えば三次元位置）が予め設定された３Ｄ位置範囲内であって、複数の画像特徴の各々の特徴量が予め設定された特徴量一致範囲内であるかどうかを判定する。そして、特徴情報圧縮部２４は、複数の画像特徴がこの２つの条件を満たす場合には、該当する複数の画像特徴と対応する情報位置の組み合わせを同一グループに分類し、同一グループに分類された画像特徴と位置情報の複数の組み合わせを代表する一つの画像特徴と対応する一つの位置情報を設定する。

そして、ＣＰＵ４１０（出力部の一例）は、特徴情報圧縮部２４から出力された一つの画像特徴と、対応する一つの位置情報位置（特徴点３Ｄ座標）とを、ネットワークＩ／Ｆ４８０を介して、物品のマスタ情報（物品情報）として記憶装置３０に記録する。

なお、特徴情報圧縮部２４は必須ではなく削除することもできる。この場合、ＣＰＵ４１０は、撮影画像及びその斜め画像の特徴情報、すなわち画像特徴と位置情報について、重複する特徴情報を削減する処理を行わない。ＣＰＵ４１０は、画像特徴抽出部２２で抽出された撮影画像及びその疑似的な斜め画像の各々の画像特徴の情報と、三次元位置計算部２３で計算された位置情報（特徴点３Ｄ座標）とを紐づけて、ネットワークＩ／Ｆ４８０を介して、物品のマスタ情報（物品情報）として記憶装置３０に記録する。以下、各ブロック部についてさらに説明する。

（画像変形部の動作）
次に、画像変形部２１の動作について図６を参照して詳細に説明する。
図６は、画像変形部２１の動作例を示す。画像変形部２１は、物品の撮影画像Ｉｍの２Ｄ画像を入力すると、変形設定ファイル６００に記述された変形設定に基づいて、物品画像の２Ｄ画像に対する画像変形を行う。変形設定ファイル６００には、物品の姿勢（透視投影変換時の角度）を変化させる範囲と、間隔が設定されている。変形設定ファイル６００は、ＲＯＭ４２０又は不揮発性ストレージ４６０に保存される。また、変形設定に対応する行列Ｒも、ＲＯＭ４２０又は不揮発性ストレージ４６０に保存されているものとする。

例えば、図６の例では、撮影画像Ｉｍ（２Ｄ画像）のヨーイングに関して“x-range=[-30:+30]、x-step=30”が設定されている。これは、撮影時の物品の角度を０度として、透視投影変換時の物品のヨー角を－３０度から＋３０度の範囲において、３０度間隔で変化させるという設定である。また、撮影画像Ｉｍのピッチングに関して、“y-range=[-30:+30]、y-step=30”が設定されている。これは、撮影時の物品の角度を０度として、透視投影変換時の物品のピッチ角を－３０度から＋３０度の範囲において、３０度間隔で変化させるという設定である。この変形設定に従うと、図６に示すように、１枚の撮影画像Ｉｍから９枚の変形画像６１０（変形画像６１１～６１９）が生成される。画像変形部２１は、変形設定に応じた行列Ｒを撮影画像Ｉｍに適用し、撮影画像Ｉｍを構成している各画素の情報を変換する。図中、ヨーイングを右又は左、ピッチングを下又は上と表している。

ここで、変形画像６１１～６１９の中央にある変形画像６１５は、ヨー角及びピッチ角ともに０度（図中、右０度）のときの変形画像である。すなわち、変形画像６１５は、撮影画像Ｉｍ（２Ｄ画像）に対して実質的に画像変形処理しない画像に相当する。

（画像特徴抽出部の動作）
次に、画像特徴抽出部２２の動作について図７を参照して詳細に説明する。
図７は、画像特徴抽出部２２の動作例を示す。まず、画像特徴抽出部２２は、入力された斜め画像（例えば、右３０度の変形画像６１６）から画像特徴を抽出する。この例では、変形画像６１６から破線で示した５か所の画像特徴が抽出されている。次に、画像特徴抽出部２２は、撮影画像Ｉｍ（２Ｄ画像）に行列Ｒを適用後の変形画像（例えば、変形画像６１６）に対し、行列Ｒの逆行列Ｒ^－１を適用する。これにより、右３０度の変形画像６１６が、変形前の撮影画像Ｉｍと実質的に同じ撮影角度（例えば正面）の逆変換画像６１５ｒに変換される。逆変換画像６１５ｒの角度は、変形画像６１５（右０度）とも同じである。画像特徴抽出部２２は、撮影時と同じ角度に戻された逆変換画像６１５ｒを用いて、変形画像６１６の画像特徴の二次元位置（ｘ座標、ｙ座標）を計算する。

画像特徴抽出部２２は、変形画像６１６から抽出した各画像特徴について、逆変換画像６１５ｒ（＝撮影画像Ｉｍ）上での二次元位置を計算する。すなわち、画像特徴抽出部２２は、変形画像の画像特徴の２次元位置（特徴点２Ｄ座標）として、画像変形前の元の撮影画像Ｉｍ上での二次元位置を求める。画像特徴抽出部２２は、このような画像特徴とその位置を抽出及び計算する処理をすべての変形画像について実施し、画像特徴情報と特徴点２Ｄ座標を得る。なお、図７に特徴点２Ｄ座標として示したｘ座標とｙ座標の値は、他図（例えば図１０）の座標値と関係していない。

図８は、画像特徴抽出部２２により撮影画像Ｉｍを画像変形した際の行列Ｒの逆行列Ｒ^－１を示す。図８上段は、撮影画像Ｉｍから変形画像６１６（右３０度）に変形した際の、行列Ｒの逆行列Ｒ^－１の例である。図８下段は、撮影画像Ｉｍから変形画像６１５（右０度）に変形した際の行列Ｒの逆行列Ｒ^－１の例である。変形画像６１５は撮影画像Ｉｍと角度が同じであり、逆変換でも角度が変化しないため逆行列Ｒ^－１は単位行列となる。図中の破線で示す四角には０が入る。

（画像特徴抽出方法）
次に、画像特徴を抽出する方法について図９～図１１を参照して詳細に説明する。
図９は、正面（右０度）の変形画像６１５と上左３０度の変形画像６１７を示す。図９右側の変形画像６１５において、顔画像９０１の左目９１１の一部を含む特徴領域９１０が、また顔画像９０１の輪郭及び口９２１の一部（左側口角）を含む特徴領域９２０が設定されている。一方、図９左側の変形画像６１７において、顔画像９０５の左目９５１の一部を含む特徴領域９５０が、また顔画像９０５の口９６１の一部（左側口角）を含む特徴領域９６０が設定されている。画像特徴抽出部２２は、四角形の特徴領域枠を対象画像の左上から順次走査し、対象画像全体にわたって画像特徴を抽出する処理を実施する。本実施形態では、画像特徴が抽出されたときの特徴領域の中心位置Ｃを、画像特徴の位置とする。

図１０は、画像特徴抽出部２２により画像特徴（特徴的な画像パターン）を抽出する方法の一例を示す。画像特徴を抽出する方法としてＯＲＢ（Oriented FAST and Rotated BRIEF）が知られている。ＯＲＢは、基本的にＦＡＳＴによる特徴点検出と、ＢＲＩＥＦによる特徴量記述子を組み合わせたものである。以下、図１０を参照しＯＲＢを利用した画像特徴抽出方法の概要を説明する。

図１０は、図９に記載した変形画像６１５と変形画像６１７から画像特徴を抽出する例を示している。大まかに説明すると、ＯＲＢでは、対象画像を走査する検出ウィンドウ（特徴領域に相当）内の重心に位置する画素などを基準に、検出ウィンドウ内に存在する画素の値を回転方向に検出してバイナリ列を生成し、特徴領域の画像特徴とする。以降の説明において、画像特徴を「特徴量」と呼ぶことがある。画像特徴抽出部２２は、ある特徴領域の特徴量が周辺の特徴領域の特徴量と比較して相対的に違いが大きい場合、該当する特徴領域を特徴点として抽出する。なお、図１０及び後述する図１１に記載した画素配列は一例であって、実際にはより多くの画素が縦横に密に整列している。

図１０では、右０度の変形画像６１５内の特徴領域９１０（左目９１１の一部を含む）において、特徴量“000000100000000”、撮影画像Ｉｍ上での二次元位置“x,y=160,60”の画像特徴が抽出されている。また、特徴領域９２０（顔画像９０１の輪郭と口９２１の左側口角それぞれの一部を含む）において、特徴量“000110110000000”、撮影画像Ｉｍ上での二次元位置“x,y=165,180”の画像特徴が抽出されている。

同様に、上左３０度の変形画像６１７内の特徴領域９５０（左目９５１の一部を含む）において、特徴量“000000100000000”、変形画像６１７上での二次元位置“x,y=120,80”の画像特徴が抽出されている。この変形画像６１７上での二次元位置“x,y=120,80”は、撮影画像Ｉｍ上での二次元位置“base(x,y)=160.1,60.2”に対応する。また、特徴領域９６０（顔画像９０５の輪郭と口９６１の左側口角それぞれの一部を含む）において、特徴量“010001110100010”、変形画像９１７上での二次元位置“x,y=120,120”の画像特徴が抽出されている。この変形画像６１７上での二次元位置“x,y=120,120”は、撮影画像Ｉｍ上での二次元位置“base(x,y)=165.1,180.2”に対応する。

図１１は、画像特徴抽出部２２により画像特徴を抽出する方法の他の例を示す。画像特徴を抽出する他の方法としてＳＩＦＴ（Scale-Invariant Feature Transform）が挙げられる。ＳＩＦＴの詳細は省略するが、ＳＩＦＴは検出ウィンドウ内の画素の輝度勾配と勾配方向を検出する。以下、図１１を参照しＳＩＦＴを利用した画像特徴抽出方法の概要を説明する。

図１１では、特徴領域９１０内における所定方向の画素の値が順に230,225,215,200,-30,-50,・・・であって、中心位置Ｃの画素の値が１２５、そのほぼ真上の少し離れた位置にある画素の値が２５５とする。この場合、画像特徴の一つとして、２つの画素の輝度勾配が255-125=230、勾配方向はほぼ真上方向という情報が抽出される。図１０及び図１１を用いてＯＲＢ及びＳＩＦＴの概要を説明したが、ＳＵＲＦ（Speeded-Up Robust Features）など他の手法を用いて画像特徴（特徴点）を抽出してもよい。

（三次元位置計算部の処理）
次に、三次元位置計算部２３の処理について図１２～図１４を参照して説明する。
図１２は、三次元位置計算部２３の処理の手順例を示すフローチャートである。はじめに、三次元位置計算部２３は、物品画像の３Ｄ画像（距離情報）と、２Ｄ画像とを紐づける（Ｓ１）。図１３に、物品の３Ｄ画像１３００と２Ｄ画像１３５０を対応づけている例が示されている。

次いで、三次元位置計算部２３は、複数の変形画像（例えば変形画像６１１～６１９）から抽出された全ての特徴点（画像特徴）に対して、ステップＳ２～Ｓ４の処理を繰り返し実行する。まず、三次元位置計算部２３は、特徴点２Ｄ座標の近傍４画素に対応する３Ｄ座標を３Ｄ画像から取得する（Ｓ２）。近傍４画素は、特徴点２Ｄ座標に最も近い４つの画素とする。次いで、三次元位置計算部２３は、近傍４画素に対応する３Ｄ座標の平均値を計算する（Ｓ３）。次いで、４つの３Ｄ座標の平均値を特徴点の３Ｄ座標としてＲＡＭ４３０に一時記録する（Ｓ４）。

そして、三次元位置計算部２３は、複数の変形画像内の全特徴点に対して３Ｄ座標の計算が終了したかどうかを判定し、全特徴点に対して３Ｄ座標の計算が終了していない場合にはステップＳ２～Ｓ４の処理を繰り返す。一方、三次元位置計算部２３は、全特徴点に対して３Ｄ座標の計算が終了した場合、本フローチャートの処理を終了する。

図１３及び後述する図１４に示すように、３Ｄ画像と２Ｄ画像は整数画素単位で紐付けされている。一方、特徴点座標は小数画素単位で求まる。したがって、特徴点２Ｄ座標の周囲にある２Ｄ画像の複数の座標の各々に対応する３Ｄ画像の座標を加重平均して、特徴点座標の三次元位置（特徴点３Ｄ座標）を計算する。

図１４は、三次元位置計算部２３において２Ｄ画像上の座標を３Ｄ画像上の座標へ変換する手法を示す。ここで、変形画像の特徴点２Ｄ座標（x,y）を（1.3,1.2）とする。この場合、特徴点２Ｄ座標（1.3,1.2）の近傍４画素の座標は、（1,1）、（1,2）、（2,1）、（2,2）である。そして、（1,1）に対応する３Ｄ画像上の座標は（0.3,0.4,0.5）である。同様に、（1,2）に対応する３Ｄ画像上の座標は（0.3,0.5,0.5）、（2,1）に対応する３Ｄ画像上の座標は（0.4,0.4,0.5）、（2,2）に対応する３Ｄ画像上の座標は（0.4,0.5,0.5）である。したがって、変形画像の特徴点２Ｄ座標（1.3,1.2）に対応する特徴点３Ｄ座標として、（0.35,0.45,0.5）が得られる。

（特徴情報圧縮部の処理）
次に、特徴情報圧縮部２４の処理について図１５～図１７を参照して説明する。
図１５は、特徴情報圧縮部２４の処理の手順例を示すフローチャートである。はじめに、特徴情報圧縮部２４は、範囲設定ファイル１６００（図５参照）から、３Ｄ位置範囲設定１６１０（後述の図１６参照）と、特徴量一致範囲設定１６２０（図１６参照）を読み込む（Ｓ１１）。変形設定ファイル６００は、ＲＯＭ４２０又は不揮発性ストレージ４６０に保存される。

次いで、特徴情報圧縮部２４は、特徴点の３Ｄ座標が３Ｄ位置範囲設定以下、かつ特徴量が特徴量一致範囲設定以内で一致する特徴点群をグループ化する（Ｓ１２）。次いで、特徴情報圧縮部２４は、グループ化された特徴点群を削除し、削除した特徴点群と同一の特徴量であって３Ｄ座標が重心位置となる特徴点を追加する（Ｓ１３）。そして、特徴情報圧縮部２４は、追加した特徴点の特徴量とその3D座標情報とを紐づけて物品情報（マスタ情報）として記憶装置３０に出力する（Ｓ１４）。ステップＳ１４の処理後、本フローチャートの処理を終了する。

図１６は、特徴情報圧縮部２４における３Ｄ位置範囲設定１６１０及び特徴量一致範囲設定１６２０に基づく判定結果の例を示す。図１６上側に、変形画像６１５の特徴領域９１０（特徴点（２））及び変形画像６１７の特徴領域９５０（特徴点（１））から抽出した画像特徴の特徴量と位置情報の例を示している。特徴領域９５０を特徴点（１）、特徴領域９１０を特徴点（２）とする。図１６上側の画像特徴の抽出例は、図１０に記載した画像特徴の抽出例と同じである。ただし、説明の都合上、変形画像６１７における特徴領域９５０の画像特徴の特徴量を“000000100000001”としている。また、図１６下側に、３Ｄ位置範囲設定１６１０及び特徴量一致範囲設定１６２０の一例と判定結果を示している。

図１６下側に、３Ｄ位置範囲設定１６１０の設定値として、“1.0”と“0.1”の例が示されている。特徴点３Ｄ座標（１）は特徴点（１）の特徴点３Ｄ座標を表わし、特徴点３Ｄ座標（２）は特徴点（２）の特徴点３Ｄ座標を表わす。３Ｄ位置範囲設定１６１０が“1.0”の場合、特徴点（１）と特徴点（２）の特徴点３Ｄ座標のｙ座標の差分が0.2であるから、判定結果は“一致”となる。一方、３Ｄ位置範囲設定１６１０が“0.1”の場合は、特徴点（１）と特徴点（２）の特徴点３Ｄ座標についての判定結果は“不一致”となる。

また、図１６下側に、特徴量一致範囲設定１６２０の設定値として、“0bit”と“1bit”の例が示されている。特徴量一致範囲設定１６２０が“0bit”の場合は、特徴点（１）と特徴点（２）の特徴量の差分は1bitであるから、判定結果は“不一致”となる。一方、特徴量一致範囲設定１６２０が“1bit”の場合は、特徴点（１）と特徴点（２）の特徴量についての判定結果は“一致”となる。

図１７は、２つの特徴点の画像特徴と位置情報の例を示す。上左３０度の変形画像６１７の特徴領域９５０を特徴点（１）、下右３０度の変形画像６１３の特徴領域１７１０を特徴点（３）とする。そして、特徴点（１）の画像特徴の特徴量を“000000100000000”、撮像画像Ｉｍ上での二次元位置“x,y=160.1,60.2”、特徴点（３）の画像特徴の特徴量を“000000100000000”、撮像画像Ｉｍ上での二次元位置を“x,y=160.1,60.2”とする。

特徴点（１）と特徴点（２）は、特徴点３Ｄ座標が“x,y=160.1,60.2”で一致し、特徴量が“000000100000000”で一致する。よって、特徴点（１）と特徴点（２）は重複する画像特徴であるから、特徴情報圧縮部２４は、特徴点（１）と特徴点（２）を削除し、削除した特徴点（１）と特徴点（２）を代表する特徴点を追加する。

画像特徴と位置情報が同じかどうかを比較及びグループ化する画像は、撮影画像Ｉｍと変形画像でもよいし、変形画像同士でもよい。

上述した物品記録装置２０により疑似的な斜め画像から画像特徴を抽出し、当該画像特徴とその位置情報からなる物品情報をマスタ情報として登録する場合、マスタ情報に登録される物品情報が増え、マスタ情報のデータ量が増大する。例えば、マスタ情報のファイルサイズが増大し、後述する物品認識装置４０における物品認識（マッチング処理）にかかる時間が長くなる。

例えば、同じ画像特徴で位置情報（例えば特徴点３Ｄ座標）が同じ場合は、同じ画像位置の複数の斜め画像から同じ画像特徴が抽出されている。そこで、本実施形態に係る特徴情報圧縮部２４では、内容（画像特徴、位置情報）が重複する物品情報をグループ化し、同じグループに分類された複数の物品情報を削除して代表する画像特徴と位置情報のみを備える物品情報をマスタ情報に追加する。これにより、マスタ情報のデータ量を低減し、記憶装置３０の大容量化を防止できる。

（追加特徴点の３Ｄ座標）
なお、図１５の説明では、グループ化された特徴点群を削除し、削除した特徴点群と同一の特徴量であって３Ｄ座標が重心位置となる特徴点を追加すると説明した。しかし、グループ化された複数の特徴点を削除後に追加する特徴点の３Ｄ座標の計算方法は、重心（平均値）の他、中央値、複数の３Ｄ座標から任意選択などが考えられる。

例えば、グループ化された３個の特徴点の３Ｄ座標がそれぞれ、(160.2,180.3,90)、（159.8,179.5,90.1)、(160,180,90)である場合を想定する。一例として、追加する特徴点の重心（平均値）、中央値、任意選択は次のようになる。
重心：{(160.2,180.3,90)+(159.8,179.5,90.1)+(160,180,90)}/3
中央値：(159.8,179.5,90.1)
任意選択：(160.2,180.3,90)

このように、グループ化された複数の特徴点を削除後に追加する特徴点の３Ｄ座標として、複数の３Ｄ座標の重心（平均値）、中央値、又は複数の３Ｄ座標から任意選択のいずれかを採用することにより、複数の特徴点を削除した前後で、特徴点の３Ｄ座標の継続性が確保される。なお、特徴点の３Ｄ座標だけではなく、特徴点の特徴量（画像特徴）についても、重心（平均値）、中央値、任意選択の中からいずれかを採用するようにしてもよい。

［物品認識装置］
次に、物品認識装置４０の機能及び動作について図１８及び図１９を参照して説明する。
図１８は、物品認識装置４０の機能構成例を示すブロック図である。
図１９は、物品認識装置４０が備える画像対応部４１及び誤対応除去部４２の動作例を示す図である。

図１８に示すように、物品認識装置４０は、画像対応部４１、誤対応除去部４２、及び物品位置姿勢計算部４３を備える。画像対応部４１は、カメラ５０から物品の物品画像（２Ｄ画像）を入力するとともに、記憶装置３０から物品情報（マスタ情報）を読み出す。次いで、画像対応部４１は、入力した２Ｄ画像から画像特徴（特徴点）を抽出し、抽出した画像特徴と一致する画像特徴を物品情報内の画像特徴（特徴点）の中から検索する。そして、画像対応部４１は、物品情報内の画像特徴の中に、抽出した画像特徴と一致する画像特徴がある場合には、特徴点対応情報を誤対応除去部４２へ出力する。特徴点対応情報は、物品画像の２Ｄ画像から抽出した画像特徴（特徴点）と、マスタ情報の物品情報内の画像特徴（特徴点）が対応していることを示す情報である。

誤対応除去部４２は、画像対応部４１から特徴点対応情報を入力し、当該特徴点対応情報において対応づけられている特徴点における、２Ｄ画像の３Ｄ座標と、物品情報内の３Ｄ座標が一致するかどうかを判定する。そして、誤対応除去部４２は、特徴点対応情報に含まれた２Ｄ画像の３Ｄ座標と物品情報内の３Ｄ座標が一致しない場合、その特徴点対応情報を誤対応情報として除外し、除外されずに残った特徴点対応情報を正解対応情報とする。

例えば図１９では、物品情報（マスタ情報）における物品２００Ａの顔画像２２０，２３０の画像特徴と、物品画像２５０の顔画像２８０，２６０の画像特徴とが対応づけられている（正解対応）。また、物品情報の物品２００Ａの顔画像２１０の画像特徴と、物品画像２５０の顔画像２６０の画像特徴とが対応づけられている（誤対応）。しかし、物品２００Ａの顔画像２１０の画像特徴は、物品画像２５０の顔画像２７０の画像特徴と対応づけられるのが正解である。このため、誤対応除去部４２は、物品２００Ａの顔画像２１０の画像特徴と物品画像２５０の顔画像２６０の画像特徴とを対応づけた特徴点対応情報を誤対応として除外する。

物品位置姿勢計算部４３は、正解対応情報内の“物品情報の画像特徴の３Ｄ座標”と“物品画像の画像特徴の３Ｄ座標”との対応関係から、撮影された物品の位置及び姿勢を計算する。そして、物品位置姿勢計算部４３は、計算した物品の位置及び姿勢を物品位置姿勢情報としてロボット制御装置６０へ出力する。

ロボット制御装置６０は、物品位置姿勢計算部４３から物品の物品位置姿勢情報を取得し、当該物品位置姿勢情報に基づいてロボット７０に対する制御指令を生成してロボット７０に出力する。

以上のとおり、上述した一実施形態に係る物品記録装置２０は、撮影装置（カメラ１０）により撮影された物品の撮影画像を異なる角度で透視投影変換して変形し、疑似的な斜め画像（例えば変形画像６１１～６１９）を生成する画像変形部２１と、斜め画像から少なくとも、画像特徴と、当該画像特徴の撮影画像上での位置情報（２次元座標又は３次元座標）を抽出する画像特徴抽出部２２と、斜め画像の画像特徴と位置情報とを紐づけて、物品のマスタ情報として記憶装置３０に出力する出力部（ＣＰＵ４１０，ネットワークインターフェース４８０）と、を備える。

上述した一実施形態に係る物品記録装置２０では、事前に物品を正対させて表面を撮影した撮影画像を取得し、撮影画像を異なる角度で透視投影変換して疑似的な斜め画像（例えば変形画像６１１～６１９）を生成し、疑似的な斜め画像から画像特徴を抽出し、画像特徴とその位置情報をマスタ情報として記録する。このように、物品を実際に回転させずに、疑似的な斜め画像から画像特徴を抽出するため、マスタ作成の工数を減らすことができる。それゆえ、物品のマスタ情報の作成コストを低減しつつ認識成功率の低下を防止することができる。

＜変形例＞
マスタ情報は、画像特徴と三次元位置ではなく、画像特徴と二次元位置でもよい。例えば、物品の向きを固定した状態で作業又は検査するなど、物品の画像特徴を有する面が特定できるのであれば、マスタ情報の位置情報は三次元位置でなくてもよい。すなわち、注目する画像特徴が、物品のどの表面に形成された画像のどこの位置かがわかればよい。このような場合、三次元位置計算部２３での処理を省略できる。また、特徴情報圧縮部２４では、３Ｄ位置範囲設定ではなく、特定の面での２Ｄ位置範囲設定を用いて、特徴情報圧縮を行うようにしてもよい。

図２０は、一実施形態に係るマスタ情報の他の例（画像特徴、三次元位置、面位置）を示す。図２０に示す物品２００は、図２と同様に、正面Ｆに顔画像２１０が印刷され、顔画像２１０の左目２１１付近に特徴領域２１５が設定されている。この場合、マスタ情報（物品情報）を、「画像特徴（特徴量）」、「二次元位置」、「面位置」で構成してもよい。例えば、物品２００の物品情報は、画像特徴“000000100000000”、二次元位置“-0.020,0.040”、面位置“正面”を有する。

さらに、本発明は上述した一実施形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、その他種々の応用例、変形例を取り得ることは勿論である。例えば、上述した一実施形態は本発明を分かりやすく説明するために物品記録装置及びロボットシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成要素を備えるものに限定されない。また、一実施形態の構成の一部について、他の構成要素の追加又は置換、削除をすることも可能である。

また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。ハードウェアとして、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などの広義のプロセッサデバイスを用いてもよい。また、上述した一実施形態にかかる物品記録装置の各構成要素は、それぞれのハードウェアがネットワークを介して互いに情報を送受信できるならば、いずれのハードウェアに実装されてもよい。また、ある処理部により実施される処理が、１つのハードウェアにより実現されてもよいし、複数のハードウェアによる分散処理により実現されてもよい。

１０…カメラ、 ２０…物品記録装置、 ２１…画像変形部、 ２２…画像特徴抽出部、 ２３…三次元位置計算部、 ２４…特徴情報圧縮部、 ３０…記憶装置、 ４０…物品認識装置、 ４１…画像対応部、 ４２…誤対応除去部、 ４３…物品位置姿勢計算部、 ５０…カメラ、 ６０…ロボット制御装置、 ７０…ロボット、 １００…ロボットシステム、 ２００，２００Ａ…物品、 ２１０，２２０，２３０…顔画像、 ２１５…特徴領域、 ２５０…物品画像、 ２６０，２７０，２８０…顔画像、 ６００…変形設定ファイル、 ６１０，６１１～６１９…変形画像、 ６１５ｒ…逆変換画像、 ９１０，９２０，９５０，９６０…特徴領域、 １６００…範囲設定ファイル、 １６１０…３Ｄ位置範囲設定、 １６２０…特徴量一致範囲設定、 Ｉｍ…撮影画像（物品画像）、 Ｆ，ｆ…正面、 Ｓ，ｓ…側面、 Ｔ，ｔ…上面

Claims (7)

1. 撮影装置により撮影された物品の撮影画像を異なる角度で透視投影変換して変形し、疑似的な斜め画像を生成する画像変形部と、
   前記斜め画像から少なくとも、画像特徴と、当該画像特徴の前記撮影画像上での位置情報を抽出する画像特徴抽出部と、
   前記斜め画像の前記画像特徴と前記位置情報とを紐づけて、前記物品のマスタ情報として記憶装置に出力する出力部と、を備える
   物品記録装置。
2. 前記物品の前記撮影画像は、前記撮影装置が前記物品の表面と正対した状態で前記物品を撮影した画像である
   請求項１に記載の物品記録装置。
3. 前記撮影画像には前記撮影装置から前記物品上の位置までの距離情報が含まれ、
   前記距離情報に基づき、前記斜め画像の前記画像特徴に対して、前記物品上での三次元位置を求める三次元位置計算部、を備え、
   前記出力部は、前記斜め画像の前記画像特徴と前記三次元位置とを紐づけて、前記物品の前記マスタ情報として前記記憶装置に出力する
   請求項２に記載の物品記録装置。
4. 複数の前記画像特徴に対応する各々の位置が予め設定された位置範囲内であって、複数の前記画像特徴の各々の特徴量が予め設定された特徴量一致範囲内である場合、該当する複数の前記画像特徴と前記位置情報の組み合わせを同一グループに分類し、同一グループに分類された前記画像特徴と前記位置情報の複数の組み合わせを代表する一つの画像特徴と対応する一つの位置情報を設定する特徴情報圧縮部、を備え、
   前記出力部は、代表に設定された前記画像特徴と対応する前記位置情報とを、前記マスタ情報として前記記憶装置へ出力する
   請求項１乃至３のいずれか一項に記載の物品記録装置。
5. 前記特徴情報圧縮部は、同一グループに分類された前記画像特徴と前記位置情報の複数の組み合わせを削除する
   請求項４に記載の物品記録装置。
6. 前記特徴情報圧縮部は、同一グループに分類された前記画像特徴と前記位置情報の複数の組み合わせを代表する前記一つの画像特徴に対応する前記一つの位置情報は、前記複数の位置情報の平均値、中央値、又は前記複数の位置情報から任意選択のいずれかを採用する
   請求項５に記載の物品記録装置。
7. 物品記録装置により物品の情報を記録する物品記録方法であって、
   撮影装置により撮影された物品の撮影画像を異なる角度で透視投影変換して変形し、疑似的な斜め画像を生成する処理と、
   前記斜め画像から少なくとも、画像特徴と、当該画像特徴の前記撮影画像上での位置情報を抽出する処理と、
   前記斜め画像の前記画像特徴と前記位置情報とを紐づけて、前記物品のマスタ情報として記憶装置に出力する処理と、を含む
   物品記録方法。

Images