JP2018085034A - 物品認識装置 - Google Patents

物品認識装置 Download PDF

Info

Publication number
JP2018085034A
JP2018085034A JP2016228951A JP2016228951A JP2018085034A JP 2018085034 A JP2018085034 A JP 2018085034A JP 2016228951 A JP2016228951 A JP 2016228951A JP 2016228951 A JP2016228951 A JP 2016228951A JP 2018085034 A JP2018085034 A JP 2018085034A
Authority
JP
Japan
Prior art keywords
article
image
processor
region
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016228951A
Other languages
English (en)
Other versions
JP6896401B2 (ja
Inventor
真明 安永
Masaaki Yasunaga
真明 安永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2016228951A priority Critical patent/JP6896401B2/ja
Priority to CN201711097126.5A priority patent/CN108108655B/zh
Priority to US15/816,579 priority patent/US10552686B2/en
Publication of JP2018085034A publication Critical patent/JP2018085034A/ja
Priority to US16/739,800 priority patent/US10853662B2/en
Application granted granted Critical
Publication of JP6896401B2 publication Critical patent/JP6896401B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/203—Inventory monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/268—Lexical context
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Vascular Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】認識対象とする複数の物品の状態を判定できる物品認識装置を提供する。
【解決手段】物品認識装置６は、カメラ４とプロセッサ１１とを有する。カメラ４は、物品配置領域を含む撮影領域を撮影した撮影画像を取得する。プロセッサ１１は、撮影画像から特定する物品領域において個々の物品を特定し、物品を特定する辞書情報に含まれる物品の外形を示す外形情報を用いて物品領域において特定した各物品の全体の外形として推定する推定物品領域を特定し、推定物品領域により撮影画像における各物品の重なり状態を判定する。
【選択図】図２

Description

本発明の実施形態は、物品認識装置に関する。
撮影画像から複数の物品（対象物）を認識する物品認識装置が実用化されている。物品認識装置は、物品が配置される領域を含む撮影領域を撮影した撮影画像から物品の画像領域を特定し、特定した物品の画像領域において物品を特定する処理を行う。しかしながら、従来の物品認識装置は、複数の物品が重なって配置されている場合、個々の物品、及び、それらの配置を正確に認識するのが難しい。
ＷＯ２０１５／１４０８５５
上記した課題を解決するために、認識対象とする複数の物品の状態を判定できる物品認識装置を提供する。
実施形態によれば、物品認識装置は、画像取得部とプロセッサとを有する。画像取得部は、物品配置領域を含む撮影領域を撮影した撮影画像を取得する。プロセッサは、前記撮影画像から特定する物品領域において個々の物品を特定し、物品を特定する辞書情報に含まれる物品の外形を示す外形情報を用いて前記物品領域において特定した各物品の全体の外形として推定する推定物品領域を特定し、前記推定物品領域により前記撮影画像における各物品の重なり状態を判定する。
図１は、第１の実施形態に係る物品認識装置を含む物品認識システムの構成例を示す模式図である。 図２は、第１の実施形態に係る物品認識装置の構成例を示すブロック図である。 図３は、第１の実施形態に係る物品認識装置における辞書登録処理を説明するためのフローチャートである。 図４は、第１の実施形態に係る物品認識装置の辞書に登録される情報を模式的に示す図である。 図５は、第１の実施形態に係る物品認識装置における物品認識処理を説明するためのフローチャートである。 図６は、第１の実施形態に係る物品認識装置による物品認識処理において、認識対象となる物品の配置状態、撮影画像及び物品領域の例を示す図である。 図７は、第２の実施形態に係る物品認識装置を含む物品認識システムの構成例を示す模式図である。 図８は、第２の実施形態に係る物品認識装置の構成例を示すブロック図である。 図９は、第２の実施形態に係る物品認識装置における辞書登録処理を説明するためのフローチャートである。 図１０は、第２の実施形態に係る物品認識装置における物品認識処理を説明するためのフローチャートである。 図１１は、第２の実施形態に係る物品認識装置による物品認識処理において、認識対象となる物品の配置状態、撮影画像及び物品領域の例を示す図である。 図１２は、第２の実施形態に係る物品認識装置による物品認識処理における同一判定処理の具体例を説明するための図である。
以下、図面を参照しながら実施形態について説明する。
（第１の実施形態）
まず、第１の実施形態に係る物品認識装置６を含む物品認識システム１の構成について説明する。
図１は、第１の実施形態に係る物品認識装置６を含む物品認識システム１の構成例を模式的に示す側面図である。また、図２は、第１の実施形態に係る物品認識装置６の構成例を示すブロック図である。
図１に示すように、物品認識システム１は、台２、フレーム３、カメラ４、及び物品認識装置６を有する。物品認識システム１は、カメラ４が撮影する撮影画像に含まれる個々の物品を物品認識装置６が認識するシステムである。また、物品認識システム１は、図２に示すように、物品認識装置６に接続する表示装置７および入力装置８を有する。例えば、物品認識システム１は、物品認識装置６が認識する物品に対する決済を行う決済装置として実施して良い。物品認識システム１を決済装置として実施する場合、物品認識システム１は、物品の料金を計算する機能と物品の料金を決済する機能とを設ければ良い。また、物品認識システム１は、物品認識装置６が認識する物品を計数又は検品する計数装置又は検品装置として実施しても良い。
台２は、認識対象とする物品５ａ、５ｂを載置する面を有する。台２は、物品を載置する面上には認識対象となる物品を配置する領域（物品配置領域）が設定される。台２は、認識対象となる複数の物品を配置する物品配置領域がカメラ４の撮影範囲に含まれるものであれば良い。例えば、台２は、物品を載置する面が所定のパターン（例えば黒色）で塗装されるようにしても良い。また、台２は、認識対象とする複数の物品を入れた状態のカゴが載置されるようにしても良い。また、台２は、複数の物品が載置された状態のままで搬送されるベルトコンベアを具備するものであっても良い。
フレーム３は、カメラ４を支持する支持部材である。フレーム３は、台２における物品を載置する面と対向する位置にカメラ４を取り付け可能に構成する。
カメラ４は、物品の認識対象となる画像を撮影する撮影装置である。例えば、カメラ４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）イメージセンサ或はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの撮像素子と、撮像素子に光を結像させるレンズと、を備える。カメラ４は、不可視光を撮像する構成であってもよい。例えば、カメラ４は、赤外カメラであってもよい。
カメラ４は、レンズの撮像光軸が台２に対向するようにフレーム３に取り付ける。カメラ４は、台２上の物品配置領域を撮影領域に含むように設定する。カメラ４は、台２上の物品配置領域に配置された物品５ａ、５ｂの上面の画像を含む画像を撮影する。カメラ４は、撮影した撮影画像を物品認識装置６へ供給する。カメラ４は、物品認識装置６の制御に応じて画像を撮影するようにして良い。
物品認識装置６は、カメラ４が撮影する撮影画像に対して物品認識処理を行う。物品認識装置６は、後述する認識処理が実行可能な情報処理装置としての電子計算機により構成される。図２に示す構成例において、物品認識装置６は、プロセッサ１１、メモリ１２、記憶装置１３、カメラＩ／Ｆ１５、表示Ｉ／Ｆ１６、および入力Ｉ／Ｆ１７を有する。プロセッサ１１、メモリ１２、記憶装置１３、カメラＩ／Ｆ１５、表示Ｉ／Ｆ１６、および入力Ｉ／Ｆ１７は、バスを介して互いに通信可能な状態で接続する。
プロセッサ１１は、演算処理を実行する回路を有する演算素子である。プロセッサ１１は、例えば、ＣＰＵである。プロセッサ１１は、メモリ１２または記憶装置１３が記憶するプログラムを実行することにより種々の処理機能を実現する。例えば、プロセッサ１１は、特徴抽出部、外形抽出部、辞書登録部、物品特定部、外形推定部、状態判定部などとして機能する。特徴抽出部は、画像から物品を特定するための特徴情報を抽出する機能である。外形抽出部は、画像から物品の外形を特定するための外形情報を抽出する。辞書登録部は、特徴情報及び外形情報を含む辞書情報を辞書に登録する機能である。物品特定部は、画像から抽出する特徴情報と辞書の特徴情報とにより物品を特定する機能である。外形推定部は、個々の物品全体の領域を推定する機能である。状態判定部は、各物品の状態を判定する機能である。
メモリ１２は、プロセッサ１１が処理を実行するための制御用のメモリである。例えば、メモリ１２は、ＲＯＭおよびＲＡＭを有する。メモリ１２のＲＯＭは、読み出し専用の不揮発性メモリである。ＲＯＭは、物品認識システム１の仕様に応じたプログラム及びプログラムで用いる制御データなどを記憶する。また、メモリ１２のＲＡＭは、ワーキングメモリとして機能する揮発性のメモリである。ＲＡＭは、プロセッサ１１が実行するプログラム或は処理中のデータなどを格納する。
記憶装置１３は、書換えが可能な不揮発性の記憶装置である。記憶装置１３は、例えば、ハードディスクドライブ（ＨＤＤ）又はソリッドステイトドライブ（ＳＳＤ）などの大容量の記憶装置である。また、記憶装置１３は、メモリカードなどの記録媒体を挿入可能なカードスロットなどのメモリＩ／Ｆとして構成しても良い。記憶装置１３は、認識用の辞書情報を記憶する辞書（データベース）１４を有する。また、記憶装置１３は、プロセッサ１１が実行するプログラム及び制御データなどを記憶しても良い。
なお、辞書１４は、プロセッサ１１がアクセス可能なものであれば良く、物品認識装置６内に設けられるものに限定されない。例えば、辞書１４は、プロセッサ１１が通信接続可能な外部装置に設けても良い。
カメラインタフェース（Ｉ／Ｆ）１５は、カメラ４と通信可能に構成された端子を備える。カメラＩ／Ｆ１５は、プロセッサ１１とカメラ４との間のデータの入出力を中継する。例えば、カメラ４は、撮影した撮影画像をカメラＩ／Ｆ１５を介してプロセッサ１１へ供給する。
表示インタフェース（Ｉ／Ｆ）１６は、表示装置７に接続する。表示Ｉ／Ｆ１６は、プロセッサ１１と表示装置７との間のデータの入出力を中継する。表示装置７は、表示Ｉ／Ｆ１６を介してプロセッサ１１から供給される表示制御に基づいて画面を表示する。表示装置７は、表示パネルと表示パネルに画面を表示させる駆動回路とを備える。表示パネルは、例えば液晶ディスプレイ、或は有機ＥＬディスプレイなどの表示装置である。
入力インタフェース（Ｉ／Ｆ）１７は、入力装置８に接続する。入力Ｉ／Ｆ１７は、プロセッサ１１と入力装置８との間のデータの入出力を中継する。入力装置８は、操作部材を有し、ユーザが操作部材を用いて入力する情報を入力Ｉ／Ｆ１７を介してプロセッサ１１へ供給する。入力装置８の操作部材は、例えば、タッチセンサ、キーボード、及びテンキーなどである。タッチセンサは、例えば、抵抗膜式タッチセンサ、または静電容量式タッチセンサ等である。タッチセンサは、表示装置７の表示パネルと一体にタッチスクリーンとして構成しても良い。
次に、第１の実施形態に係る物品認識装置６における認識用の辞書情報を辞書に登録する辞書登録処理について説明する。
図３は、第１の実施形態に係る物品認識装置６による辞書登録処理を説明するためのフローチャートである。
例えば、オペレータは、入力装置８により動作モードとして辞書登録モードを指示するものとする。さらに、オペレータは、登録対象とする物品を台２上の物品配置領域に単体で載置し、辞書登録処理の開始を指示する。辞書登録処理の開始が指示されると、プロセッサ１１は、カメラ４に画像の撮影を指示する。カメラ４は、物品認識装置６からの指示により物品が載置された台２上を含む撮影領域の画像を撮影する。カメラ４は、撮影した撮影画像を物品認識装置６へ供給する。
カメラ４に撮影を指示した後、物品認識装置６は、カメラ４からの撮影画像をカメラＩ／Ｆ１５により取得する（ＡＣＴ１１）。カメラ４から撮影画像を取得すると、プロセッサ１１は、撮影画像から物品の外形を特定するための外形情報を抽出する（ＡＣＴ１２）。外形情報は、物品全体の領域を推定するための情報である。外形情報は、例えば、端点、もしくは、輪郭の形状などの少なくとも輪郭の一部を示す情報である。
また、プロセッサ１１は、撮影画像から、外形情報の内側の画像情報を用いて、物品を特定するための特徴情報を抽出する（ＡＣＴ１３）。特徴情報は、物品を認識（特定）するためのマッチング用情報である。例えば、特徴情報は、特徴点情報および局所特徴量などの物品の画像から抽出可能な特徴量を示す情報である。局所特徴量は、例えば、ＳＩＦＴなどの手法により抽出される。
また、特徴情報と端点もしくは輪郭などの外形情報とは、各々の位置的な依存関係を示す情報（つまり、相対位置情報）を有するものとする。相対位置情報は、例えば、カメラ４と物品との相対的な位置の変動による生じる物品の撮影画像の拡大又は縮小に対応するための情報である。
撮影画像から物品の特徴情報と外形情報とを抽出すると、プロセッサ１１は、抽出した特徴情報と外形情報とを物品の種類を示す情報等に対応づけた辞書情報を作成する（ＡＣＴ１４）。作成した辞書情報は、登録対象の物品におけるカメラ４が撮影した面に対する認識用の情報である。カメラ４が撮影した面に対する辞書情報を作成すると、プロセッサ１１は、作成した辞書情報を辞書１４に登録する（ＡＣＴ１５）。
図４は、辞書１４に登録される特徴情報と外形情報との例を模式的に示す図である。
図４に示す物品の撮影画像において、ばつ（×）印で示す箇所が外形情報の一例としての端点である。また、図４に示す物品の撮影画像において、丸（〇）印で示す部分が特徴点を含む領域であり、各特徴点について局所特徴量が算出される。図４に示す物品の撮影画像が得られた場合、プロセッサ１１は、図４に示すように、各端点を示す外形情報と特徴点及び局所特徴量を示す特徴量情報とを辞書１４に登録する。
本実施形態で説明する辞書登録処理は、単一の物品が台２上の物品配置領域に配置された状態で撮影した撮影画像に基づいて実施されることが前提であるものとする。従って、登録処理においてカメラ４が撮影する撮影画像中には、１つの物品の撮影画像が含まれる。このため、プロセッサ１１は、辞書登録処理において、撮影画像中から物品単体の画像を抽出できる。この結果、プロセッサ１１は、物品単体の画像から端点もしくは輪郭等の物品全体の外形を特定するための外形情報を抽出でき、抽出した外形情報を辞書に登録できる。
また、図４に示す例において、物品の特徴情報は、物品の撮影された面の画像に存在する複数の特徴点情報（特徴点及び局所特徴量）である。このような特徴情報によれば、プロセッサ１１は、撮影画像から物品を特定する処理において、物品の少なくとも一部を撮影した画像から物品を特定することが可能となる。また、プロセッサ１１は、特定した物品に対する辞書の外形情報を参照すれば、撮影画像から抽出する端点の一部又は輪郭の一部等の情報により物品全体の領域を推定できる。
ＡＣＴ１１〜１５の処理は、登録対象とする物品における各面について実施される。すなわち、プロセッサ１１は、ＡＣＴ１５の辞書情報の登録が終了すると、辞書登録処理を終了するか否かを判定する（ＡＣＴ１６）。例えば、物品認識装置６は、オペレータからの登録終了又は別の面に対する辞書登録の指示に応じて辞書登録の終了又は継続を判断するようにして良い。プロセッサ１１は、入力装置８により別の面の登録が指示された場合（ＡＣＴ１６、ＮＯ）、ＡＣＴ１１へ戻り、上記ＡＣＴ１１〜１５の処理を再度実行する。この場合、オペレータは、カメラ４に対向する物品の面を変更して辞書登録の再開を指示するようにすれば良い。また、プロセッサ１１は、入力装置８により登録終了が指示された場合（ＡＣＴ１６、ＹＥＳ）、辞書登録処理を終了する。
以上の処理により、記憶装置１３の辞書１４には、物品に対する特徴情報及び外形情報を含む辞書情報としての認証用の辞書情報（物品特定用情報）が登録される。
次に、第１の実施形態に係る物品認識装置６における物品認識処理について説明する。
図５は、第１の実施形態に係る物品認識装置６による物品認識処理を説明するためのフローチャートである。また、図６は、複数の物品の配置状態Ｓ１１の例と撮影画像Ｓ１２の例と物品の画像領域Ｓ１３の例とを示す図である。以下、図６に示す具体例を参照しつつ、図５に示す物品認識処理の流れを説明する。
オペレータは、入力装置８により動作モードとして認識処理モードを指示し、台２上の物品配置領域に認識対象とする物品を配置する。ここでは、複数の物品が台２上の物品配置領域に配置されるものとする。
例えば、物品を配置した後、オペレータは入力装置８により物品認識処理の開始を指示する。なお、物品認識処理は、物品が載置されたことを検知して開始するようにしても良い。物品認識処理の開始が指示されると、プロセッサ１１は、カメラ４に画像の撮影を指示する。カメラ４は、物品認識装置６からの指示に応じて物品載置領域を含む撮影領域の画像を撮影する。カメラ４は、撮影した撮影画像を物品認識装置６へ供給する。
物品認識装置６のプロセッサ１１は、物品認識処理の開始指示を受けて認識用の辞書１４にアクセスし（ＡＣＴ２１）、カメラ４からの撮影画像を受付ける。カメラ４が撮影画像を出力すると、物品認識装置６のプロセッサ１１は、カメラＩ／Ｆ１５によりカメラ４からの撮影画像を取得する（ＡＣＴ２２）。カメラ４から撮影画像を取得すると、プロセッサ１１は、撮影画像における物品領域を抽出する（ＡＣＴ２３）。
例えば、プロセッサ１１は、背景画像と撮影画像との差分（背景差分法）により、物品の領域（物品領域）と物品以外の領域（非物品領域）とを分ける。また、プロセッサ１１は、背景差分法以外の手法により物品領域と非物品領域とを区別しても良い。図６に示す例では、配置状態Ｓ１１の物品を撮影すると、撮影画像Ｓ１２が得られる。図６に示す撮影画像Ｓ１２は、斜線部分が背景領域Ｒ１１であり、それ以外が前景領域（物品の画像領域）Ｒ１２である。撮影画像Ｓ１２と背景のみを撮影した背景画像との差分を算出すれば、図６に示す物品領域の画像Ｓ１３が得られる。
物品領域を抽出すると、プロセッサ１１は、物品領域に含まれる個々の物品を特定する物品特定処理を行う（ＡＣＴ２４）。例えば、プロセッサ１１は、物品領域の画像Ｓ１３の左側から特徴情報を抽出すると、画像Ｓ１３の左側にある画像領域ｒａから得られる特徴情報により物品Ａを特定する。また、プロセッサ１１は、物品領域の画像Ｓ３の右側から特徴情報を抽出すると、画像Ｓ１３の右側にある画像領域ｒｂから得られる特徴情報により物品Ｂを特定する。
１つの物品を特定すると、プロセッサ１１は、撮影画像における特定した物品の画像領域から端点などの外形情報の少なくとも一部を抽出する。プロセッサ１１は、特定した物品に対する辞書１４の外形情報と撮影画像から抽出した外形情報とにより、当該物品の外形を推定して推定物品領域を特定する（ＡＣＴ２５）。推定物品領域は、撮影画像における当該物品全体の外形領域として推定される領域である。物品の全体（外形全体）が撮影されている場合、推定物品領域は、当該物品の画像と一致する。これに対し、物品の一部だけが撮影されている場合（物品の一部が他の物品に隠れている場合）、推定物品領域には、他の物品の画像が含まれる。図６に示す例では、物品Ｂについては、推定物品領域が物品Ｂの画像領域ｒｂと一致する。これに対して、図６に示す例における物品Ａに対する推定物品領域は、物品Ａの画像領域ｒａと物品Ｂの画像領域ｒｂとを含むものとなる。
特定した物品に対する推定物品領域を特定すると、プロセッサ１１は、当該撮影画像において未認識の物品が存在するか否かを判定する（ＡＣＴ２６）。例えば、プロセッサ１１は、物品が特定されていない領域が撮影画像に存在するか否かにより未認識の物品が存在するか否かを判定する。未認識の物品が存在すると判定した場合（ＡＣＴ２６、ＮＯ）、プロセッサ１１は、ＡＣＴ２４へ戻り、別の物品特定処理を実行する。
また、未認識の物品が存在しないと判定した場合（ＡＣＴ２６、ＹＥＳ）、プロセッサ１１は、特定した各物品の状態を判定する状態判定処理を行う（ＡＣＴ２７）。例えば、プロセッサ１１は、状態判定処理として、各物品の重なり状態を判定する。推定物品領域と撮影画像における特定された物品の画像とが一致する場合、プロセッサ１１は、当該物品には重なりが無いと判定する。また、推定物品領域と撮影画像における特定された物品の画像とが一致しない場合、プロセッサ１１は、当該物品には別の物品が重なっていると判定する。例えば、図６に示す例では、物品Ｂは重なりがないと判定し、物品Ａは物品Ｂと重なっていると判定する。
また、プロセッサ１１は、状態判定処理において、同一種類の物品として特定された２つの画像領域が、同一の物品の領域であるかを判定する同一判定処理を行う。例えば、プロセッサ１１は、同一判定処理として、別の物品が重なっていると判定された１つの物品が２つの物品として特定されていないかを判定する。また、プロセッサ１１は、同一種類の物品が複数存在する場合に同一判定処理を行うようにしても良い。この場合、プロセッサ１１は、同一種類と特定された複数の物品に対する複数の推定物品領域が重なる場合に同一の物品であると判定するようにしても良い。
以上により、プロセッサ１１は、撮影画像から物品を特定した結果と特定した各物品に対する状態判定処理の結果とを物品認識処理の結果として物品認識処理を終了する。
上述した第１の実施形態に係る物品認識装置は、撮影画像から複数の物品を特定するだけでなく、当該撮影画像における各物品の重なり状態を検出する。すなわち、第１の実施形態に係る物品認識装置は、物品の重なり状態を検出することにより、高精度が物品の特定が可能となる。例えば、第１の実施形態に係る物品認識装置は、物品の重なり状態を検出することにより、商品の認識漏れを防止できたり、商品を重ねることにより、上の商品の下に別の小さい商品が入り込む空洞ができていないかを確認したりすることができる。
（第２の実施形態）
次に、第２の実施形態に係る物品認識装置６´を含む物品認識システム１´の構成について説明する。
図７は、第２の実施形態に係る物品認識装置６´を含む物品認識システム１´の構成例を模式的に示す側面図である。また、図８は、第２の実施形態に係る物品認識装置６´の構成例を示すブロックである。
図７に示すように、物品認識システム１´は、台２、フレーム３、カメラ４、物品認識装置６´、及び距離センサ９を有する。物品認識システム１´は、カメラ４が撮影する撮影画像に含まれる個々の物品を物品認識装置６´が認識するシステムである。また、物品認識システム１´は、図８に示すように、物品認識装置６に接続する表示装置７および入力装置８を有する。例えば、物品認識システム１´は、第１の実施形態と同様に、決済装置として実施して良いし、計数装置又は検品装置として実施しても良い。
台２、フレーム３、カメラ４、表示装置７及び入力装置８は、第１の実施形態で説明した図１及び図２に示すものと同様なもので実現可能であるため、詳細な説明を省略する。
距離センサ９は、基準点から対象物までの距離を示す距離情報を取得するセンサである。距離センサ９は、距離画像などの距離データ（距離情報）を取得する。距離センサ９は、台２における物品を配置する面に対して距離データを取得するものであれば良い。距離センサ９は、例えば、距離データとしての距離画像を撮影する３Ｄカメラである。また、距離センサ９は、距離データを計測する超音波センサなどであっても良い。距離画像を撮影する距離センサ９としては、例えば、ステレオ画像方式のセンサ、パターン光照射方式のセンサ、またはＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式のセンサなどのいずれかを備える。
ここでは、距離センサ９が、距離画像を撮影する３Ｄカメラであるものとして説明する。距離センサ９としての３Ｄカメラは、撮像素子とカメラ４の画角よりも広い範囲からの光を撮像素子に結像させるレンズとを備える。距離センサ９としての３Ｄカメラは、レンズの撮像光軸が台２に対向するようにフレーム３に取り付ける。このような構成により、距離センサ９は、台２上の対象物までの距離を示す距離画像を取得する。
なお、カメラ４と距離センサ９とは、一体に構成されていてもよい。例えば、カメラ４と距離センサ９とは、レンズが共有される構成であってもよいし、レンズと撮像素子とが共有される構成であってもよい。
第２の実施形態に係る物品認識装置６´は、カメラ４が撮影する撮影画像に対し、距離センサ９が取得する距離画像を用いて物品認識処理を行う。物品認識装置６´は、後述する認識処理が実行可能な情報処理装置としての電子計算機により構成される。図８に示す構成例において、物品認識装置６´は、プロセッサ１１、メモリ１２、記憶装置１３、カメラＩ／Ｆ１５、表示Ｉ／Ｆ１６、入力Ｉ／Ｆ１７、および距離センサＩ／Ｆ１８を有する。プロセッサ１１、メモリ１２、記憶装置１３、カメラＩ／Ｆ１５、表示Ｉ／Ｆ１６、入力Ｉ／Ｆ１７および距離センサＩ／Ｆ１８は、バスを介して互いに通信可能な状態で接続する。なお、プロセッサ１１、メモリ１２、記憶装置１３、カメラＩ／Ｆ１５、表示Ｉ／Ｆ１６および入力Ｉ／Ｆ１７は、物理的な構成が第１の実施形態で説明したものと同様なもので実現できるため、詳細な説明を省略する。
第２の実施形態に係る物品認識装置６´のプロセッサ１１は、第１の実施形態で説明した処理機能だけでなく、高さ抽出部、領域抽出部などを有する。高さ抽出部は、距離画像から物品の高さを特定する機能である。領域抽出部は、距離画像に基づいて撮影画像における物品候補領域を抽出する機能である。
距離センサインタフェース（Ｉ／Ｆ）１８は、距離センサ９と通信可能に構成された端子を備える。距離センサＩ／Ｆ１８は、プロセッサ１１と距離センサ９との間のデータの入出力を中継する。例えば、距離センサ９は、撮影した距離画像を距離センサＩ／Ｆ１５を介してプロセッサ１１へ供給する。
次に、第２の実施形態に係る物品認識装置６´における認識用の辞書情報を辞書１４に登録する辞書登録処理について説明する。
図９は、第２の実施形態に係る物品認識装置６´による辞書登録処理を説明するためのフローチャートである。
オペレータは、入力装置８により動作モードとして辞書登録モードを指示するものとする。さらに、オペレータは、登録対象とする物品を台２上の物品配置領域に単体で載置し、辞書登録処理の開始を指示する。辞書登録処理の開始が指示されると、プロセッサ１１は、カメラ４に画像の撮影を指示し、距離センサ９に距離画像の撮影を指示する。カメラ４は、物品認識装置６´からの指示に応じて台２上の物品配置領域を含む撮影領域の画像を撮影し、撮影した撮影画像を物品認識装置６´へ供給する。また、距離センサ９は、物品認識装置６´からの指示に応じて台２上の物品配置領域を含む領域の距離画像を撮影し、撮影した距離画像を物品認識装置６´へ供給する。
カメラ４に撮影を指示した後、物品認識装置６´は、カメラ４からの撮影画像をカメラＩ／Ｆ１５により取得する（ＡＣＴ５１）。また、距離センサ９に距離画像の撮影を指示した後、物品認識装置６´は、距離センサ９からの距離画像を距離センサＩ／Ｆ１８により取得する（ＡＣＴ５２）。
撮影画像及び距離画像を取得すると、プロセッサ１１は、距離画像から物品の外形を特定するための外形情報を抽出する（ＡＣＴ５３）。外形情報は、第１の実施形態で説明したもの同様に、物品全体の領域（外形）を推定するための情報である。また、物品の領域(外形)内の距離画像を用いて物品の高さを特定する（ＡＣＴ５４）。例えば、プロセッサ１１は、距離センサ９から台２における物品を載置する面までの距離（所定の距離）と距離画像との差異により物品の高さを算出する。
カメラ４から撮影画像を取得すると、プロセッサ１１は、距離画像から取得した外形情報を用いて、撮影画像における商品領域を特定し、撮影画像の商品領域の画素情報を用いて物品を特定するための特徴情報を抽出する（ＡＣＴ５５）。特徴情報は、第１の実施形態で説明したもの同様に、物品を認識（特定）するためのマッチング用情報である。
高さ、特徴情報及び外形情報を取得すると、プロセッサ１１は、取得した物品の高さ、特徴情報及び外形情報を物品の種類を示す情報等に対応づけた辞書情報を作成する（ＡＣＴ５６）。作成した辞書情報は、登録対象の物品のカメラ４が撮影した面に対する認識用の情報である。プロセッサ１１は、作成した辞書情報を辞書１４に登録する（ＡＣＴ５７）。
ＡＣＴ５１〜５７の処理は、登録対象とする物品における各面について実施される。すなわち、プロセッサ１１は、ＡＣＴ５６の辞書情報の登録が終了すると、辞書登録処理を終了するか否かを判定する（ＡＣＴ５８）。例えば、物品認識装置６は、オペレータからの登録終了又は次の面に対する辞書登録の指示に応じて辞書登録の終了又は継続を判断するようにして良い。プロセッサ１１は、入力装置８により別の面の登録開始が指示された場合（ＡＣＴ５８、ＮＯ）、ＡＣＴ５１へ戻り、上記ＡＣＴ５１〜５７の処理を再度実行する。この場合、オペレータは、当該物品のカメラ４に対向する物品の面を変更して辞書登録の再開を指示するようにすれば良い。また、プロセッサ１１は、入力装置８により登録終了が指示された場合（ＡＣＴ５８、ＹＥＳ）、辞書登録処理を終了する。
以上の処理により、第２の実施形態の物品認識装置６´の辞書１４には、特徴情報及び外形情報に加えて高さ情報を含む認証用の情報（物品特定用情報）が登録される。
次に、第２の実施形態に係る物品認識装置６´における物品認識処理について説明する。
図１０は、第２の実施形態に係る物品認識装置６´による物品認識処理を説明するためのフローチャートである。また、図１１は、複数の物品の配置状態Ｓ２１の例と撮影画像Ｓ２２の例と物品の画像領域Ｓ２３の例とを示す図である。また、図１２は、図１１に示す物品の画像領域に対する同一判定処理の例を示す図である。
オペレータは、入力装置８により動作モードとして認識処理モードを指示し、台２上の物品配置領域に認識対象とする物品を配置する。ここでは、複数の物品が台２上の物品配置領域に配置されるものとする。
物品を配置した後、オペレータは入力装置８により物品認識処理の開始を指示する。なお、物品認識処理は、物品が載置されたことを検知して開始するようにしても良い。物品認識処理の開始が指示されると、プロセッサ１１は、カメラ４へ画像の撮影を指示するとともに、距離センサ９へ距離画像の撮影を指示する。カメラ４は、物品認識装置６´からの指示に応じて物品載置領域を含む撮影領域の画像を撮影する。カメラ４は、撮影した撮影画像を物品認識装置６´へ供給する。また、距離センサ９は、物品認識装置６´からの指示に応じて物品載置領域を含む撮影領域に対する距離画像を撮影する。距離センサ９は、撮影した距離画像を物品認識装置６´へ供給する。
また、物品認識処理を開始すると、プロセッサ１１は、辞書１４にアクセスし（ＡＣＴ６１）、カメラ４からの撮影画像と距離センサ９からの距離画像とを受付ける。カメラ４が撮影画像を出力すると、物品認識装置６´のプロセッサ１１は、カメラＩ／Ｆ１５によりカメラ４からの撮影画像を取得する（ＡＣＴ６２）。また、距離センサ９が距離画像を出力すると、物品認識装置６´のプロセッサ１１は、距離センサＩ／Ｆ１８により距離センサ９からの距離画像を取得する（ＡＣＴ６３）。
撮影画像及び距離画像を取得すると、プロセッサ１１は、距離画像を用いて撮影画像における個々の物品の候補となる領域（物品候補領域）を特定する（ＡＣＴ６４）。例えば、プロセッサ１１は、撮影画像において、類似距離となる画素をグルーピング（ラべリング）することにより物品候補領域を特定する。また、プロセッサ１１は、距離によるグルーピング以外の手法により物品候補領域を特定しても良い。ここでは、複数の物品を認識対象としているため、複数（例えば、Ｎ個）の物品候補領域が特定されるものとする。
例えば、図１１に示す配置状態Ｓ２１の物品Ｘと物品ＡＢＣとを撮影すると、図１１に示す撮影画像Ｓ２２が得られる。図１１に示す撮影画像Ｓ２２は、斜線部分が背景領域Ｒ２１であり、それ以外が前景領域（物品の画像領域）Ｒ２２である。さらに、物品の画像領域Ｒ２２は、距離によるグルーピングなどの手法により３つの領域（物品候補領域）ｒα、ｒβ、ｒγが得られる。領域ｒβは、物品Ｘの画像領域である。領域ｒαと領域ｒγとは、それぞれ物品Ｘの画像により分断された物品ＡＢＣの画像の一部である。
なお、物品の画像領域Ｒ２２は、上述した背景差分法により得ることができるが、距離画像を用いて求めてもよい。前景領域には物品が存在するため、背景領域とは異なる距離となる。従って、背景領域とは異なる距離となる領域が物品の画像領域Ｓ２３として得られる。ただし、第２の実施形態では、距離画像から個々の物品の候補領域を特定するため、物品の画像領域Ｒ２３は特定しなくても良い。
複数の物品候補領域を抽出すると、プロセッサ１１は、各物品候補領域について物品の特定と外形の推定とを実行する（ＡＣＴ６５−６９）。すなわち、プロセッサ１１は、複数の物品候補領域を抽出すると、変数ｎを初期化（ｎ＝０）する（ＡＣＴ６５）。変数ｎを初期化した後、プロセッサ１１は、変数ｎをインクリメント（ｎ＝ｎ＋１）する（ＡＣＴ６６）。変数をインクリメントすると、プロセッサ１１は、ｎ個目の物品候補領域に対して物品を特定する物品特定処理を行う（ＡＣＴ６７）。例えば、プロセッサ１１は、図１１に示す３つの領域ｒα、ｒβ、ｒγを順番に処理する。領域ｒαは物品ＡＢＣの画像の一部である。このため、領域ｒαを処理対象とする場合、プロセッサ１１は、領域ｒαから得られる特徴情報によって物品ＡＢＣを特定する。また、領域ｒβを処理対象とする場合、プロセッサ１１は、領域ｒβから得られる特徴情報によって物品Ｘを特定する。領域ｒγを処理対象とする場合、プロセッサ１１は、領域ｒγから得られる特徴情報によって物品ＡＢＣを特定する。
ｎ個目の物品候補領域における物品を特定すると、プロセッサ１１は、当該物品候補領域から端点などの外形情報の少なくとも一部を抽出する。プロセッサ１１は、物品候補領域から抽出した外形情報と特定した物品に対応する辞書１４の外形情報（辞書情報）とにより、当該物品の外形を推定して推定物品領域を特定する（ＡＣＴ６８）。推定物品領域は、物品全体の外形領域として推定される領域である。物品候補領域に物品全体（外形全体）が撮影されている場合、推定物品領域は、当該物品候補領域と一致する領域となる。これに対し、物品候補領域に物品全体が撮影されていない場合（物品の一部が他の物品に隠れている場合）、推定物品領域は、当該物品候補領域とは一致しない領域となる。この場合、物品候補領域は、物品の一部の画像であり、推定物品領域は、当該物品候補領域を含む領域となる。
例えば、図１１に示す領域ｒαは、局所特徴量などの特徴情報によって物品ＡＢＣと特定される。物品ＡＢＣと特定される領域ｒαについては、図１２の画像Ｉ１に示すように、物品ＡＢＣの端点（外形）が推定され、これらの端点によって推定物品領域が特定される。また、物品Ｘと特定される領域ｒβについては、図１２の画像Ｉ２に示すように、物品Ｘの端点（外形）が推定され、これらの端点によって推定物品領域が特定される。また、物品ＡＢＣと特定される領域ｒγについては、図１２の画像Ｉ３に示すように、物品ＡＢＣの端点（外形）が推定され、これらの端点によって推定物品領域が特定される。
特定した物品に対する推定物品領域を特定すると、プロセッサ１１は、変数ｎが物品候補領域の総数（例えば、Ｎ）であるか否かを判定する（ＡＣＴ６９）。これは、全ての物品候補領域に対して物品特定と外形推定とを実施したかを判定するものである。ｎが物品候補領域の総数でない場合、つまり、物品特定および外形推定が未実施の物品候補領域が存在する場合（ＡＣＴ６９、ＮＯ）、プロセッサ１１は、ＡＣＴ６６へ戻る。ＡＣＴ６６へ戻ると、プロセッサ１１は、変数ｎをインクリメントし、次の物品候補領域に対する物品特定と外形推推定とを実施する。
また、ｎが物品候補領域の総数である場合、つまり、物品特定および外形推定を全ての物品候補領域に対して実施済みである場合（ＡＣＴ６９、ＹＥＳ）、プロセッサ１１は、状態判定処理を行う（ＡＣＴ７０）。状態判定処理としては、第１の実施形態で説明したような各物品の重なり状態を判定する処理であっても良いし、同一の物品を特定する同一判定処理であっても良い。ここでは、状態判定処理として同一判定処理を行う場合の動作例について説明する。プロセッサ１１は、各物品候補領域から特定された物品のうち同一種類の物品の推定物品領域が一致するか否かにより同一の物品かを判定する同一判定処理を行う。
例えば、図１２の画像Ｉ３に示す領域ｒβから特定した物品Ｘの推定物品領域は、辞書１４に登録されている外形情報から得られる物品Ｘの外形と一致する。これにより、図１２の画像Ｉ５に示すように、領域ｒβは、１つの物品Ｘの全体画像であると特定できる。これに対し、図１２の画像Ｉ１に示す領域ｒαから特定した物品ＡＢＣの推定物品領域は、図１２の画像Ｉ３に示す領域ｒγから特定した物品ＡＢＣの推定物品領域と一致する。これにより、図１２の画像Ｉ４に示すように、領域ｒαと領域ｒγとは、１つの物品ＡＢＣ（同一物品）の一部の画像であると特定できる。つまり、同一の種類の物品を特定した２つの領域については、推定物品領域を比較することにより、１つの物品であるか２つの物品であるかを判定（同一判定）できる。
また、プロセッサ１１は、同一種類の物品と判定された複数の物品候補領域について距離画像から得られる高さに基づいて同一判定を行うようにしても良い。例えば、プロセッサ１１は、図１１に示す２つの領域ｒα、ｒγに対応する距離画像から得られる高さが同程度であるかを判定する。２つの領域ｒα、ｒγの高さが同程度であると判定した場合、プロセッサ１１は、領域ｒαの物品ＡＢＣと領域ｒγの物品ＡＢＣとが同一であると判定する。さらに、プロセッサ１１は、上述した推定物品領域の比較と距離画像による高さの比較とを組み合わせて同一判定を行うようにしても良い。
上記の状態判定を終了すると、プロセッサ１１は、物品を特定した結果と特定した各物品に対する状態判定処理の結果とを物品認識処理の結果として物品認識処理を終了する。
上述した第２の実施形態に係る物品認識装置は、撮影画像と距離画像とを用いて撮影画像における複数の物品を特定し、特定した各物品の状態を判定する。第２の実施形態に係る物品認識装置は、特定した各物品の状態を判定することにより撮影画像に認識対象の物品が複数ある場合であっても、個々の物品を正確に認識できる。
また、第２の実施形態に係る物品認識装置は、各物品の状態として、２つの領域から同じ種類と特定された物品が、同一の物品（単一の物品）か２つの物品かを判定する。これにより、第２の実施形態によれば、複数の物品の配置状態によって、１つの物品が複数の物品として認識されることを防止し、個々の物品を正確に認識できる。
さらに、第２の実施形態に係る物品認識装置は、距離画像を用いて物品候補領域を特定し、距離画像を用いて同じ種類と特定された２つの物品が同一物品かを判定する。これにより、第２の実施形態によれば、距離画像を用いて個々の物品を正確に認識できる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１、１´…物品認識システム、２…台、３…フレーム、４…カメラ、６、６´…物品認識装置、７…表示装置、８…入力装置、９…距離センサ、１１…プロセッサ、１２…メモリ、１３…記憶装置、１４…辞書、１５…カメラインタフェース（画像取得部）、１６…表示インタフェース、１７…入力インタフェース、１８…距離センサインタフェース（距離取得部）。

Claims (5)

  1. 物品配置領域を含む撮影領域を撮影した撮影画像を取得する画像取得部と、
    前記撮影画像から特定する物品領域において個々の物品を特定し、
    物品を特定する辞書情報に含まれる物品の外形を示す外形情報を用いて前記物品領域において特定した各物品の全体の外形として推定する推定物品領域を特定し、
    前記推定物品領域により前記撮影画像における各物品の重なり状態を判定する、プロセッサと、
    を有する物品認識装置。
  2. さらに、基準点から前記撮影領域における対象物までの距離を示す距離情報を取得する距離取得部を有し、
    前記プロセッサは、前記距離情報を用いて前記撮影画像における個々の物品の候補となる物品候補領域を特定し、前記物品候補領域における物品の種類を特定し、特定した物品に対する推定物品領域を特定する、
    請求項１に記載の物品認識装置。
  3. 前記プロセッサは、同じ種類の物品として特定された複数の物品候補領域が存在する場合、前記同じ種類として特定された各物品に対する複数の推定物品領域により、複数の物品候補領域から同じ種類として特定された物品が単一の物品であるかを判定する、
    請求項２に記載の物品認識装置。
  4. 前記外形情報は、物品の輪郭の少なくとも一部を示す情報である、
    請求項１乃至３の何れか１項に記載の物品認識装置。
  5. 前記プロセッサは、前記辞書情報に含まれる物品を特定するための特徴情報と外形特定情報とが位置的な依存関係を示す相対位置情報を有し、前記相対位置情報を用いて推定物品領域を特定する、
    請求項４に記載の物品認識装置。
JP2016228951A 2016-11-25 2016-11-25 物品認識装置 Active JP6896401B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016228951A JP6896401B2 (ja) 2016-11-25 2016-11-25 物品認識装置
CN201711097126.5A CN108108655B (zh) 2016-11-25 2017-11-09 物品识别装置及控制方法、终端设备
US15/816,579 US10552686B2 (en) 2016-11-25 2017-11-17 Object recognition device that determines overlapping states for a plurality of objects
US16/739,800 US10853662B2 (en) 2016-11-25 2020-01-10 Object recognition device that determines overlapping states for a plurality of objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016228951A JP6896401B2 (ja) 2016-11-25 2016-11-25 物品認識装置

Publications (2)

Publication Number Publication Date
JP2018085034A true JP2018085034A (ja) 2018-05-31
JP6896401B2 JP6896401B2 (ja) 2021-06-30

Family

ID=62190238

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016228951A Active JP6896401B2 (ja) 2016-11-25 2016-11-25 物品認識装置

Country Status (3)

Country Link
US (2) US10552686B2 (ja)
JP (1) JP6896401B2 (ja)
CN (1) CN108108655B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020027037A (ja) * 2018-08-13 2020-02-20 東芝テック株式会社 物品認識装置
JP2021019285A (ja) * 2019-07-19 2021-02-15 江利子 瀧澤 ラベル情報表示システム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6126437B2 (ja) 2013-03-29 2017-05-10 キヤノン株式会社 画像処理装置および画像処理方法
US10643177B2 (en) * 2017-03-21 2020-05-05 Kellogg Company Determining product placement compliance
JP6930601B2 (ja) * 2017-12-01 2021-09-01 日本電気株式会社 情報処理装置、表示位置調整方法、およびプログラム
JP2021018470A (ja) * 2019-07-17 2021-02-15 東芝テック株式会社 物品特定装置及びプログラム
JP7337628B2 (ja) 2019-09-25 2023-09-04 東芝テック株式会社 物品認識装置
JP7360997B2 (ja) * 2020-06-18 2023-10-13 京セラ株式会社 情報処理システム、情報処理装置、および情報処理方法
JP7451320B2 (ja) * 2020-06-18 2024-03-18 京セラ株式会社 情報処理システム、情報処理装置、及び、情報処理方法
JPWO2022215161A1 (ja) * 2021-04-06 2022-10-13

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6441076A (en) * 1987-08-06 1989-02-13 Fuji Electric Co Ltd Form recognizing system
JP2001034758A (ja) * 1999-07-19 2001-02-09 Japan Science & Technology Corp 画像理解方法、画像理解プログラムを記録した記録媒体及び画像理解システム
JP2014229154A (ja) * 2013-05-24 2014-12-08 株式会社ブレイン 物品識別システムとそのプログラム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5819016A (en) * 1993-10-05 1998-10-06 Kabushiki Kaisha Toshiba Apparatus for modeling three dimensional information
US6141462A (en) * 1995-10-11 2000-10-31 Dainippon Screen Mfg. Co., Ltd. Image processing using adjoining relationships between image parts
US6901167B2 (en) * 2001-04-04 2005-05-31 Microsoft Corporation Detecting multiple objects in digital image data
FR2841487B1 (fr) * 2002-06-26 2004-08-20 Solystic Procede de detection de plis simples et de plis en prise multiple dans une installation de tri postal
US7949568B2 (en) * 2007-08-31 2011-05-24 Accenture Global Services Limited Determination of product display parameters based on image processing
JP5058952B2 (ja) * 2007-11-22 2012-10-24 東芝テック株式会社 物品データ処理装置
KR100951890B1 (ko) * 2008-01-25 2010-04-12 성균관대학교산학협력단 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법
JP5259286B2 (ja) * 2008-07-16 2013-08-07 株式会社日立製作所 ３次元物体認識システム及びそれを用いた棚卸システム
JP2010121999A (ja) * 2008-11-18 2010-06-03 Omron Corp ３次元モデルの作成方法および物体認識装置
US8571298B2 (en) * 2008-12-23 2013-10-29 Datalogic ADC, Inc. Method and apparatus for identifying and tallying objects
JP2010187194A (ja) * 2009-02-12 2010-08-26 Olympus Corp 画像処理装置、撮像装置および画像処理方法
EP2426643A4 (en) * 2009-04-28 2017-07-05 Nec Corporation Object position inference device, object position inference method, and program
JP5550970B2 (ja) * 2010-04-12 2014-07-16 住友重機械工業株式会社 画像生成装置及び操作支援システム
US8594425B2 (en) * 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
JP5746550B2 (ja) * 2011-04-25 2015-07-08 キヤノン株式会社 画像処理装置、画像処理方法
US9785898B2 (en) * 2011-06-20 2017-10-10 Hi-Tech Solutions Ltd. System and method for identifying retail products and determining retail product arrangements
US9367770B2 (en) * 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
JP5431429B2 (ja) * 2011-09-06 2014-03-05 東芝テック株式会社 情報処理装置及びプログラム
JP2013145525A (ja) * 2012-01-16 2013-07-25 Fuji Electric Co Ltd 物品取り出し判定装置、物品取り出し判定システム、物品取り出しシステム、物品取り出し判定プログラムおよび物品取り出し判定方法
JP5586641B2 (ja) * 2012-02-24 2014-09-10 東芝テック株式会社 商品読取装置及び商品読取プログラム
CN104488002A (zh) * 2012-03-20 2015-04-01 西门子公司 行李可视化和虚拟开检
JP5826152B2 (ja) * 2012-11-20 2015-12-02 東芝テック株式会社 商品認識装置及び商品認識プログラム
US10438084B2 (en) * 2013-03-04 2019-10-08 Nec Corporation Article management system, information processing apparatus, and control method and control program of information processing apparatus
JP5797703B2 (ja) * 2013-08-08 2015-10-21 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
US9495606B2 (en) * 2014-02-28 2016-11-15 Ricoh Co., Ltd. Method for product recognition from multiple images
US20150262116A1 (en) * 2014-03-16 2015-09-17 International Business Machines Corporation Machine vision technology for shelf inventory management
JP6494253B2 (ja) * 2014-11-17 2019-04-03 キヤノン株式会社 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム
US10169677B1 (en) * 2014-12-19 2019-01-01 Amazon Technologies, Inc. Counting stacked inventory using image analysis
US10169660B1 (en) * 2014-12-19 2019-01-01 Amazon Technologies, Inc. Counting inventory items using image analysis
US9792480B2 (en) 2014-12-23 2017-10-17 Toshiba Tec Kabushiki Kaisha Image recognition apparatus, commodity information processing apparatus and image recognition method
CN105718833B (zh) * 2014-12-23 2018-09-14 东芝泰格有限公司 图像识别装置及商品信息处理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6441076A (en) * 1987-08-06 1989-02-13 Fuji Electric Co Ltd Form recognizing system
JP2001034758A (ja) * 1999-07-19 2001-02-09 Japan Science & Technology Corp 画像理解方法、画像理解プログラムを記録した記録媒体及び画像理解システム
JP2014229154A (ja) * 2013-05-24 2014-12-08 株式会社ブレイン 物品識別システムとそのプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SCOTT BERMAN ET AL.: ""Computer Recognition of TWO Overlapping Parts Using a Single Camera"", COMPUTER, vol. 18, no. 3, JPN6020044154, 31 March 1985 (1985-03-31), US, pages 70 - 80, ISSN: 0004432525 *
橋本 学、外２名: ""低解像度距離画像と濃淡画像を用いた物体移載ロボット用視覚システムの構築"", 電子情報通信学会論文誌, vol. 84, no. 6, JPN6020044156, 1 June 2001 (2001-06-01), JP, pages 985 - 993, ISSN: 0004502911 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020027037A (ja) * 2018-08-13 2020-02-20 東芝テック株式会社 物品認識装置
JP2021019285A (ja) * 2019-07-19 2021-02-15 江利子 瀧澤 ラベル情報表示システム

Also Published As

Publication number Publication date
US10853662B2 (en) 2020-12-01
US10552686B2 (en) 2020-02-04
US20180150699A1 (en) 2018-05-31
JP6896401B2 (ja) 2021-06-30
US20200151463A1 (en) 2020-05-14
CN108108655A (zh) 2018-06-01
CN108108655B (zh) 2022-04-05

Similar Documents

Publication Publication Date Title
JP6896401B2 (ja) 物品認識装置
JP7102490B2 (ja) 画像認識装置
JP2019200697A (ja) 棚管理システムおよびプログラム
US20210398096A1 (en) Automatic vending method and apparatus, and computer-readable storage medium
JP6789002B2 (ja) 画像処理装置
US11341740B2 (en) Object identification method and object identification device
JP7049983B2 (ja) 物体認識装置および物体認識方法
US20170068945A1 (en) Pos terminal apparatus, pos system, commodity recognition method, and non-transitory computer readable medium storing program
CN108921098B (zh) 人体运动分析方法、装置、设备及存储介质
US10692291B2 (en) Apparatus, method, and medium for generating a 3D model of a finger using captured image
JP6344389B2 (ja) 光学文字認識装置
JP2018133071A (ja) 物品認識装置、決済装置および物品認識方法
US9805357B2 (en) Object recognition apparatus and method for managing data used for object recognition
KR101188296B1 (ko) 스트랩다운 이중 모드 영상탐색기의 가중치 기반 표적 결정 방법 및 이를 이용한 가중치 기반 표적 결정 시스템
JP6293968B2 (ja) 移動ロボット運用システム、移動ロボット、及び対象物取り出し方法
US10534950B2 (en) Device, method, and non-transitory computer-readable storage medium for biometric authentication
US11386573B2 (en) Article recognition apparatus
JP2017004438A (ja) 入力装置、指先位置検出方法及び指先位置検出用コンピュータプログラム
KR101175751B1 (ko) 스트랩다운 이중 모드 영상탐색기의 베이시안 규칙 기반 표적 결정 방법
CN110766671A (zh) 一种基于机器视觉软件的图像处理方法
JP7444652B2 (ja) 商品管理装置及び商品管理システム
US20230139490A1 (en) Automatic training data sample collection
JP2018097773A (ja) 情報処理装置、情報処理システム、情報処理方法、及び、プログラム
JP2022036669A (ja) 撮影装置および撮影方法
JP2017123152A (ja) 商品登録装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210609

R150 Certificate of patent or registration of utility model

Ref document number: 6896401

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150