JP2019204233A - 物品認識装置 - Google Patents

Abstract

【課題】距離センサの最小弁別距離よりも高さが低い物品を認識することができる物品認識装置を提供する。【解決手段】実施形態によれば、物品認識装置は、画像インターフェースと、距離情報インターフェースと、支持部と、プロセッサと、を備える。支持部は、距離センサの基準面から距離センサの最小弁別距離以上の高さに物品を支持し、距離センサが距離を測定することができない部材から構成される。プロセッサは、画像インターフェースを通じて、支持部に支持された物品を撮影した撮影画像を取得し、距離情報インターフェースを通じて、距離センサが基準面に向かって測定した距離情報を取得し、距離情報に基づいて、基準面から最小弁別距離以上の高さを有する領域を物品の物品領域として撮影画像から抽出し、物品領域の画像から物品を認識する。【選択図】 図３

Description

本発明の実施形態は、物品認識装置に関する。

商品などの物品を認識する物品認識装置には、物品を撮影した画像及び物品との距離を測定した距離情報などに基づいて物品を認識するものがある。そのような物品認識装置は、距離情報に基づいて所定の高さを有する領域を物品が写る物品領域として画像から抽出する。

従来、物品認識装置は、距離センサが認識可能な高さ（最小弁別距離）よりも物品の高さが低い場合、物品領域を特定することができないという課題がある。

特開２０１７−０１０５３５号公報

上記の課題を解決するため、距離センサの最小弁別距離よりも高さが低い物品を認識することができる物品認識装置を提供する。

実施形態によれば、物品認識装置は、画像インターフェースと、距離情報インターフェースと、支持部と、プロセッサと、を備える。画像インターフェースは、撮影画像を取得する。距離情報インターフェースは、距離センサからの距離情報を取得する。支持部は、前記距離センサの基準面から前記距離センサの最小弁別距離以上の高さに物品を支持し、前記距離センサが距離を測定することができない部材から構成される。プロセッサは、前記画像インターフェースを通じて、前記支持部に支持された前記物品を撮影した撮影画像を取得し、前記距離情報インターフェースを通じて、前記距離センサが前記基準面に向かって測定した距離情報を取得し、前記距離情報に基づいて、前記基準面から前記最小弁別距離以上の高さを有する領域を前記物品の物品領域として前記撮影画像から抽出し、前記物品領域の画像から前記物品を認識する。

図１は、実施形態に係るチェックアウト装置の構成例を概略的に示す図である。 図２は、実施形態に係るチェックアウト装置の構成例を示すブロック図である。 図３は、実施形態に係るチェックアウト装置の距離センサの動作例を示す図である。 図４は、実施形態に係るチェックアウト装置の動作例を示すフローチャートである。 図５は、実施形態に係るチェックアウト装置の距離センサの動作例の変形例を示す図である。

以下、実施形態について、図面を参照して説明する。
実施形態に係るチェックアウト装置（物品認識装置）は、商品（物品）を決済する。チェックアウト装置は、自身にセットされた商品を撮影する。チェックアウト装置は、撮影画像から商品を認識し決済する。チェックアウト装置は、商品を販売する店舗などに設置される。たとえば、チェックアウト装置は、商品が所定の位置に配置された場合又はチェックアウト装置が所定の操作を受け付けた場合に、商品について決済処理を実行する。チェックアウト装置は、利用者が自ら決済処理を行うセルフレジとして設置されてもよい。また、チェックアウト装置は、店舗の店員が決済処理をする通常のレジとして設置されてもよい。

図１は、実施形態に係るチェックアウト装置１の構成例を概略的に示すブロック図である。図１が示すように、チェックアウト装置１は、筐体２、カメラ３、距離センサ４、操作パネル５、設置台６及び制御部１０などを備える。

筐体２は、チェックアウト装置１の外形を形成するフレームである。筐体２は、設置台６を設置することができるように形成される。図１が示す例においては、筐体２は、コの字型に形成される。

カメラ３は、筐体２の上部に下向きで設置される。カメラ３は、設置台６上の商品Ａを撮影する。即ち、カメラ３は、商品Ａを上方から撮影するように設置される。カメラ３は、斜め上方から商品Ａを撮影するように設置されてもよい。カメラ３が設置される位置及び向きは、特定の構成に限定されるものではない。カメラ３は、撮影した画像を制御部１０に送信する。

距離センサ４は、筐体２の上部に下向きで設置される。距離センサ４は、設置台６上にある商品Ａと距離センサ４までの距離又は商品Ａから距離センサ４に水平な面までの距離を測定する。

距離センサ４は、測定結果に基づいて、所定の基準面からの距離を示す距離情報を生成する。即ち、距離センサ４は、所定の基準面に向って測定した距離情報を生成する。たとえば、距離情報は、所定の三次元座標系における各点の座標を示す。距離センサ４は、生成した距離情報を制御部１０に送信する。また、測定結果に基づいて、所定の基準面からの距離を示す距離情報の生成を制御部１０内のプロセッサ１１が行ってもよい。

距離センサ４は、所定の分解能で距離を測定する。即ち、距離センサ４は、所定の閾値（最小弁別距離）以上の高さを測定する。ここでは、距離センサ４は、所定の基準面から最小弁別距離以上の高さを有する領域までの距離を算出する。

たとえば、距離センサ４は、光源と光源から照射される光の反射光を検出するセンサとを備える。距離センサ４は、光源から照射される光（可視光又は不可視光）の反射光に基づいて距離を測定する。たとえば、距離センサ４は、照射された光が測定対象で反射し距離センサ４に届くまでの時間に基づいて当該測定対象との距離を測定するＴｏＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）方式を行ってもよい。

距離センサ４は、２つのカメラ（ステレオカメラ）が撮影した各画像の視差に基づいて距離を算出するものであってもよい。
距離センサ４の構成は、特定の構成に限定されるものではない。

操作パネル５は、オペレータからの指示の入力を受け付け、オペレータに種々の情報を表示するインターフェースである。操作パネル５は、指示の入力を受け付ける操作部と、情報を表示する表示部とから構成される。

操作パネル５は、操作部の動作として、オペレータから受け付けた操作を示す信号を制御部１０へ送信する。ここでは、操作部は、タッチパネルから構成される。

操作パネル５は、表示部の動作として、制御部１０からの画像を表示する。たとえば、表示部は、液晶モニタから構成される。表示部は、操作部としてのタッチパネルと一体的に形成される。
なお、操作部は、キーボード又はテンキーをさらに備えてもよい。

設置台６（支持部）は、筐体２の下部に設置される。設置台６は、商品Ａを支持する台である。たとえば、設置台６は、所定の大きさの矩形状に形成される。設置台６は、距離センサ４の最小弁別距離以上の厚さを有する。即ち、設置台６は、距離センサ４に向って、最小弁別距離以上の高さに形成される。

また、設置台６は、距離センサ４が距離を測定することができない部材から構成される。
距離センサ４がＴｏＦ方式で距離を測定する場合、設置台６は、距離センサ４からの電波を透過させる素材から形成される。
また、距離センサ４がステレオカメラを備える場合、設置台６は、ステレオカメラに写らない透明な素材から形成される。

たとえば、設置台６は、アクリル板又はガラス板などから構成される。また、設置台６は、先端の尖った複数の支持部材から構成されてもよい。設置台６の構成は、特定の構成に限定されるものではない。

制御部１０は、チェックアウト装置１全体を制御する。制御部１０は、オペレータからの指示などに基づいて、設置台６に設置される商品Ａを決済する。
たとえば、制御部１０は、操作パネル５を通じて、オペレータから種々の入力を受け付ける。また、制御部１０は、操作パネル５を通じて、オペレータに種々の情報を表示する。

図２は、チェックアウト装置１の構成例を示すブロック図である。図２が示すように、チェックアウト装置１は、制御部１０、カメラ３、距離センサ４及び操作パネル５などを備える。制御部１０と、カメラ３、距離センサ４及び操作パネル５とは、電気的に接続する。カメラ３、距離センサ４及び操作パネル５は、前述の通りである。

制御部１０は、プロセッサ１１、ＲＯＭ１２、ＲＡＭ１３、ＮＶＭ１４、カメラインターフェース１５、距離センサインターフェース１６及び入出力インターフェース１７などを備える。プロセッサ１１と、ＲＯＭ１２、ＲＡＭ１３、ＮＶＭ１４、カメラインターフェース１５、距離センサインターフェース１６及び入出力インターフェース１７とは、電気的に接続する。カメラインターフェース１５は、カメラ３と電気的に接続する。距離センサインターフェース１６は、距離センサ４と電気的に接続する。入出力インターフェース１７は、操作パネル５と電気的に接続する。

プロセッサ１１は、制御部１０全体の動作を制御する。即ち、プロセッサ１１は、チェックアウト装置１全体の動作を制御する。プロセッサ１１は、内部キャッシュ及び各種のインターフェースなどを備えてもよい。プロセッサ１１は、内部キャッシュ、ＲＯＭ１２又はＮＶＭ１４が予め記憶するプログラムを実行することにより種々の処理を実現する。

なお、プロセッサ１１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであってもよい。この場合、プロセッサ１１は、ハードウエア回路により実行される機能を制御する。

ＲＯＭ１２は、制御プログラム及び制御データなどが予め記憶された不揮発性のメモリである。ＲＯＭ１２に記憶される制御プログラム及び制御データは、制御部１０の仕様に応じて予め組み込まれる。ＲＯＭ１２は、たとえば、制御部１０の回路基板を制御するプログラムなどを格納する。

ＲＡＭ１３は、揮発性のメモリである。ＲＡＭ１３は、プロセッサ１１の処理中のデータなどを一時的に格納する。ＲＡＭ１３は、プロセッサ１１からの命令に基づき種々のアプリケーションプログラムを格納する。また、ＲＡＭ１３は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。

ＮＶＭ１４は、データの書き込み及び書き換えが可能な不揮発性のメモリである。ＮＶＭ１４は、たとえば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（登録商標）（Electrically Erasable Programmable Read-Only Memory）又はフラッシュメモリなどから構成される。ＮＶＭ１４は、制御部１０の運用用途に応じて制御プログラム、アプリケーション及び種々のデータなどを格納する。

ＮＶＭ１４は、商品に関する商品データベースを格納する。たとえば、商品データベースは、商品名、価格、外寸、及び、商品を認識するための辞書情報などを対応付けて格納する。ＮＶＭ１４は、予め商品データベースを格納する。商品データベースは、適宜更新されてもよい。

カメラインターフェース１５（画像インターフェース）は、カメラとデータを送受信するためのインターフェースである。たとえば、カメラインターフェース１５は、プロセッサ１１の制御に基づいて、カメラ３に撮影を指示する信号を送信する。また、カメラインターフェース１５は、カメラ３から撮影で得られた撮影画像を取得する。たとえば、カメラインターフェース１５は、ＵＳＢ接続をサポートするものであってもよいし、Ethernet（登録商標）もしくはカメラリンクによる接続をサポートするものでもよい。

距離センサインターフェース１６（距離情報インターフェース）は、距離センサ４とデータを送受信するためのインターフェースである。たとえば、距離センサインターフェース１６は、プロセッサ１１の制御に基づいて、距離センサ４に距離情報を取得させる信号を送信する。また、距離センサインターフェース１６は、距離センサ４から、距離情報を取得する。たとえば、距離センサインターフェース１６は、ＵＳＢ接続をサポートするものであってもよいし、Ethernetもしくはカメラリンクによる接続をサポートするものでもよい。

入出力インターフェース１７は、操作パネル５とデータを送受信するためのインターフェースである。たとえば、入出力インターフェース１７は、オペレータから受け付けた操作を示す信号を操作パネル５から受信する。また、入出力インターフェース１７は、プロセッサ１１の制御に基づいて、オペレータに表示する画面を示す情報を操作パネル５に送信する。たとえば、入出力インターフェース１７は、ＵＳＢ接続をサポートするものであってもよいし、EthernetやパラレルI/Fによる接続をサポートするものでもよい。

なお、チェックアウト装置１は、図１及び図２が示すような構成の他に必要に応じた構成を具備したり、チェックアウト装置１から特定の構成が除外されたりしてもよい。

次に、プロセッサ１１が実現する機能について説明する。以下の機能は、プロセッサ１１がＲＯＭ１２又はＮＶＭ１４などに格納されるプログラムを実行することで実現される。

まず、プロセッサ１１は、商品Ａが配置された設置台６を撮影した画像（撮影画像）を取得する機能を有する。

プロセッサ１１は、決済処理を開始するか判定する。たとえば、プロセッサ１１は、設置台６上に利用者によって商品Ａが配置されたことを検知すると、決済処理を開始すると判定する。プロセッサ１１は、カメラ３からの画像に基づいて設置台６上に商品Ａが配置されたことを検知する。また、プロセッサ１１は、利用者から決済処理を開始することを示す操作を受け付けてもよい。

プロセッサ１１は、決済処理を開始すると判定すると、商品Ａを含む画像を撮影する。たとえば、プロセッサ１１は、カメラ３に対して撮影を行う信号を送信する。プロセッサ１１は、カメラ３から撮影画像を取得する。なお、プロセッサ１１は、画像を撮影するために、撮影パラメータをカメラ３に設定してもよい。
なお、プロセッサ１１は、外部装置から撮影画像を取得してもよい。

また、プロセッサ１１は、距離センサ４から距離情報を取得する機能を有する。
プロセッサ１１は、決済処理を開始すると判定すると、距離センサ４から距離情報を取得する。たとえば、プロセッサ１１は、距離センサ４に対して距離の測定を行う信号を送信する。プロセッサ１１は、距離センサ４から距離情報を取得する。

プロセッサ１１は、撮影画像を取得した後に距離情報を取得してもよい。また、プロセッサ１１は、撮影画像と同時に距離情報を取得してもよい。また、プロセッサ１１は、撮影画像を取得する前に距離情報を取得してもよい。

図３は、距離センサ４が距離情報を取得する動作例を示す図である。図３が示すように、距離センサ４は、測定範囲５１を設定する。測定範囲５１は、距離センサ４が距離を測定する領域である。即ち、距離センサ４は、測定範囲５１において各部の距離を測定する。測定範囲５１は、距離センサ４を頂点とする円錐状に形成される。

また、距離センサ４は、測定範囲５１の端面（円錐の底面）に基準面１０１を設定する。距離センサ４は、距離センサ４から測定範囲５１内にある物体までの距離を測定する。たとえば、プロセッサ１１は、基準面１０１を距離センサ４に設定する。

基準面１０１は、設置台６の底面を拡張した平面に設定される。即ち、基準面１０１は、設置台６を設置する筐体２上に設定される。設置台６の高さが十分高ければ基準面１０１は、設置台６を設置する筐体２上でなくてもよい。

その結果、距離センサ４は、設置台６を設定する筐体２からの距離を算出する。

前述の通り、設置台６は、最小弁別距離以上の厚さに形成される。そのため、設置台６は、基準面１０１から最小弁別距離以上、距離センサ４に近い位置に商品Ａを支持する。

距離センサ４は、最小弁別距離以上の高さに支持された商品Ａの上面の高さ（設置台６の厚さ及び商品Ａの高さの合算）を測定する。

また、プロセッサ１１は、距離情報に基づいて、撮影画像から商品が写る商品領域（物品領域）を抽出する機能を有する。
商品の上面が写る領域は、商品の高さ及び設置台６の厚さの分だけ基準面１０１よりも高い。従って、プロセッサ１１は、商品の高さが低くても基準面１０１よりも高い領域を商品領域として抽出することができる。

撮影画像に複数の商品が写る場合、プロセッサ１１は、各商品の商品領域を抽出する。

また、プロセッサ１１は、商品領域の商品を認識する機能を有する。
たとえば、商品が自身を特定する識別情報を備える場合、プロセッサ１１は、識別情報に基づいて商品を特定する。たとえば、識別情報は、バーコード、ＱＲコード（登録商標）、文字、数字又はマークなどである。プロセッサ１１は、商品領域の画像から識別情報を検索し、発見した識別情報を読み取る。プロセッサ１１は、読取結果に基づいて、商品画像の商品を示す商品コードを取得する。

また、プロセッサ１１は、オブジェクト認識で商品領域の商品を認識してもよい。プロセッサ１１は、ＮＶＭ１４が格納する商品データベースなどから各商品情報の辞書情報を取得する。

たとえば、プロセッサ１１は、辞書情報と商品領域の画像とを比較する。プロセッサ１１は、商品領域の画像とマッチする辞書情報に対応する商品情報の商品コードを、商品画像の商品を示す商品コードとして特定する。
プロセッサ１１は、複数の商品領域を抽出した場合、各商品領域の商品を認識する。
なお、プロセッサ１１が商品を認識する方法は、特定の方法に限定されるものではない。

また、プロセッサ１１は、予め格納される商品の外寸及び当該商品の商品領域の面積などに基づいて、商品の認識が適切に行われたかを判定してもよい。また、プロセッサ１１は、予め格納される商品の外寸及び当該商品の商品領域の高さなどに基づいて、商品の認識が適切に行われたかを判定してもよい。

また、プロセッサ１１は、認識された商品を決済する機能を有する。
プロセッサ１１は、商品データベースを参照して、認識された商品の商品コードなどに基づいて代金を取得する。また、プロセッサ１１は、外部装置から特定された商品の代金を取得してもよい。

プロセッサ１１は、商品の代金に基づいて商品を決済する。たとえば、プロセッサ１１は、利用者からクレジットカード情報の入力を受け付ける。たとえば、プロセッサ１１は、クレジットカードリーダなどを用いてクレジットカード情報を取得してもよい。プロセッサ１１は、クレジットカード情報に基づいて商品を決済する。

また、プロセッサ１１は、現金、デビットカード又は電子マネーなどを用いて商品を決済してもよい。プロセッサ１１が商品を決済する方法は、特定の方法に限定されるものではない。

次に、チェックアウト装置１の動作例について説明する。図４は、チェックアウト装置１の動作例について説明するためのフローチャートである。

まず、チェックアウト装置１のプロセッサ１１は、決済処理を開始するか判定する（ＡＣＴ１１）。決済処理を開始しないと判定すると（ＡＣＴ１１、ＮＯ）、プロセッサ１１は、ＡＣＴ１１に戻る。

決済処理を開始すると判定すると（ＡＣＴ１１、ＹＥＳ）、プロセッサ１１は、カメラ３を用いて撮影画像を取得する（ＡＣＴ１２）。撮影画像を取得すると、プロセッサ１１は、距離センサ４を用いて、距離情報を取得する（ＡＣＴ１３）。

距離情報を取得すると、プロセッサ１１は、距離情報に基づいて商品領域を抽出する（ＡＣＴ１４）。商品領域を抽出すると、プロセッサ１１は、商品領域の商品を認識する（ＡＣＴ１５）。

商品を認識すると、プロセッサ１１は、認識した商品を決済する（ＡＣＴ１６）。認識した商品を決済すると、プロセッサ１１は、動作を終了する。

次に、距離センサ４が距離情報を取得する動作例の変形例について説明する。図５は、距離センサ４が距離情報を取得する動作例の変形例を示す図である。

図５が示すように、距離センサ４は、測定範囲５２を設定する。測定範囲５１は、距離センサ４が距離を測定する領域である。即ち、距離センサ４は、測定範囲５２において各部の距離を測定する。測定範囲５２は、距離センサ４を頂点とする円錐状に形成される。

また、距離センサ４は、測定範囲５２の端面（円錐の底面）に基準面１０２を設定する。即ち、距離センサ４は、基準面１０２からの距離を測定する。たとえば、プロセッサ１１は、基準面１０２を距離センサ４に設定する。

基準面１０２は、設置台６の上面から最小弁別距離以上遠方の位置に設定される。また、基準面１０２は、設置台６の底面よりも距離センサ４に近い位置に設定される。即ち、基準面１０２は、設置台６の上面及び底面の間であって、設置台６の上面から最小弁別距離以上、離れた平面上に設定される。
そのため、設置台６上に設置される商品Ａは、基準面１０２から最小弁別距離以上の高さに支持される。

距離センサ４は、最小弁別距離以上の高さに支持された商品Ａの上面の高さ（設置台６の厚さ及び商品Ａの高さの合算）を測定する。

なお、チェックアウト装置１は、設置台６の代わりに、商品を基準面から最小弁別距離以上の高さに支持するワイヤなどを備えてもよい。たとえば、チェックアウト装置１は、水平に張られる複数本のワイヤを備えてもよい。

また、チェックアウト装置１は、設置台６の代わりに、商品を基準面から最小弁別距離以上の高さに支持する支持板などを備えてもよい。たとえば、支持板は、チェックアウト装置１の上部から下方に向って伸びるワイヤによって所定の高さに吊り下げられる。また、支持板は、距離センサ４が高さを検出することができない素材から形成される。

以上のように構成されたチェックアウト装置は、距離センサの最小弁別距離以上の高さに商品を支持する設置台を有する。チェックアウト装置は、設置台に配置される商品を撮影した撮影画像を取得する。また、チェックアウト装置は、距離センサを用いて設置台に配置される商品の高さを示す距離情報を取得する。

チェックアウト装置は、距離情報に基づいて、撮影画像から商品領域を抽出する。即ち、チェックアウト装置は、基準面よりも高い領域を商品領域として抽出する。設置台の厚さが最小弁別距離以上であるため、商品の高さが最小弁別距離より低い場合であっても、商品の上面は、最小弁別距離以上の高さとなる。その結果、チェックアウト装置は、当該商品の上面を基準面よりも高い領域として抽出することができる。従って、チェックアウト装置は、商品の高さが最小弁別距離より低い場合であっても、距離情報を用いて撮影画像から商品領域を適切に抽出することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…チェックアウト装置、２…筐体、３…カメラ、４…距離センサ、５…操作パネル、６…設置台、１０…制御部、１１…プロセッサ、１２…ＲＯＭ、１３…ＲＡＭ、１４…ＮＶＭ、１５…カメラインターフェース、１６…距離センサインターフェース、１７…入出力インターフェース、５１…測定範囲、５２…測定範囲、１０１…基準面、１０２…基準面。

Claims (5)

1. 撮影画像を取得する画像インターフェースと、
   距離センサからの距離情報を取得する距離情報インターフェースと、
   前記距離センサの基準面から前記距離センサの最小弁別距離以上の高さに物品を支持し、前記距離センサが距離を測定することができない部材から構成される支持部と、
   前記画像インターフェースを通じて、前記支持部に支持された前記物品を撮影した撮影画像を取得し、
   前記距離情報インターフェースを通じて、前記距離センサが前記基準面に向かって測定した距離情報を取得し、
   前記距離情報に基づいて、前記基準面から前記最小弁別距離以上の高さを有する領域を前記物品の物品領域として前記撮影画像から抽出し、
   前記物品領域の画像から前記物品を認識する、
   プロセッサと、
   を備える物品認識装置。
2. 前記支持部は、前記最小弁別距離以上の厚さを有し、前記距離センサが距離を測定することができない素材から形成される設置台である、
   前記請求項１に記載の物品認識装置。
3. 前記基準面は、前記設置台の底面を拡張した平面に設定される、
   前記請求項２に記載の物品認識装置。
4. 前記基準面は、前記設置台の上面と底面との間であって、前記設置台の上面から前記最小弁別距離以上、離れた平面に設定される、
   前記請求項２に記載の物品認識装置。
5. 前記画像インターフェースに接続するカメラと、
   前記距離センサと、
   を備える、
   前記請求項１乃至４の何れか１項に記載の物品認識装置。