JP2018067307A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】対象物が重なっている場合に認識に失敗したことを提示することができる画像読取装置及び画像読取方法を提供する。【解決手段】実施形態によれば、スクリーンと、カメラと、距離センサと、プロセッサと、を備える。スクリーンは、一方の面に対象物を配置する。カメラは、撮影画像として前記スクリーンの他方の面から画像を撮影する。距離センサは、前記スクリーンの前記一方の面から距離を測定し、前記距離を示す距離情報を生成する。プロセッサは、前記撮影画像から対象物の領域を抽出し、前記対象物の領域の画像から対象物を特定し、特定された前記対象物に予め設定された外寸を取得し、前記距離情報に基づいて前記スクリーンの前記一方の面に配置される前記対象物の、前記スクリーンからの長さを算出し、前記外寸と、前記対象物の前記長さとが一致しない場合に、アラートを出力する。【選択図】図１

Description

本発明の実施形態は、画像処理装置及び画像処理方法に関する。

決済装置には、スクリーン上に配置される商品を下方から撮影した画像に基づいて商品を認識する画像処理装置を備え認識結果に基づいて商品決済を行うものがある。画像処理装置は、画像から商品がある商品領域を特定し、商品領域からバーコードなどを読み取って商品を認識する。

従来、画像処理装置は、複数の商品が重ねて設置される場合に、商品の認識に失敗したと判定することができないという課題がある。

国際公開２０１５／１４０８５５号

上記の課題を解決するために、対象物が重なっている場合に認識に失敗したと判定することができる画像処理装置及び画像処理方法を提供する。

実施形態によれば、スクリーンと、カメラと、距離センサと、プロセッサと、を備える。スクリーンは、一方の面に対象物を配置する。カメラは、撮影画像として前記スクリーンの他方の面から画像を撮影する。距離センサは、前記スクリーンの前記一方の面から距離を測定し、前記距離を示す距離情報を生成する。プロセッサは、前記撮影画像から対象物の領域を抽出し、前記対象物の領域の画像から対象物を特定し、特定された前記対象物に予め設定された外寸を取得し、前記距離情報に基づいて前記スクリーンの前記一方の面に配置される前記対象物の、前記スクリーンからの高さを算出し、前記外寸と、前記対象物の前記長さとが一致しない場合に、アラートを出力する。

図１は、第１実施形態に係る決済装置の構成例を概略的に示す図である。 図２は、第１実施形態に係る決済装置の構成例を示すブロック図である。 図３は、第１実施形態に係る商品領域の例を示す図である。 図４は、第１実施形態に係る重なった商品の例を示す図である。 図５は、第１実施形態に係る決済装置の表示例を示す図である。 図６は、第１実施形態に係る決済装置の動作例を示すフローチャートである。 図７は、第１実施形態に係る決済装置の動作例を示すフローチャートである。 図８は、第２実施形態に係る決済装置の構成例を概略的に示す図である。 図９は、第２実施形態に係る決済装置の構成例を示すブロック図である。

以下、実施形態について、図面を参照して説明する。
（第１実施形態）
まず、第１実施形態に係る決済装置（画像処理装置）について説明する。
図１は、第１実施形態に係る決済装置１の構成例を概略的に示す。

決済装置１は、スクリーン１２上の商品２について決済処理する。決済装置１は、商品を販売する店舗などに設置される。たとえば、決済装置１は、所定の操作を受け付けた場合に、スクリーン１２上の商品について決済処理を実行する。決済装置１は、利用者が自ら決済処理を行うセルフレジとして設置されてもよい。また、決済装置１は、店舗の店員が決済処理をする通常のレジとして設置されてもよい。

図１が示すように、決済装置１は、筐体１１、スクリーン１２、カメラ１３、距離センサ１４、ディスプレイ１５、操作部１６及びカードリーダ１７などを備える。
筐体１１は、決済装置１の外形を形成するフレームである。筐体１１は、スクリーン１２及びカメラ１３などを保持する。

筐体１１は、支柱１１ａを備える。支柱１１ａは、垂直に上方に伸び所定の位置から水平に伸びる。支柱１１ａの先端は、スクリーン１２の上方に形成される。支柱１１ａは、距離センサ１４、ディスプレイ１５及び操作部１６を保持する。

スクリーン１２は、筐体１１の上面に設置される。スクリーン１２は、照明光を透過する部材で構成する。たとえば、スクリーン１２は、透明又は半透明なガラス又はプラスチックなどで構成する。スクリーン１２は、決済対象となる商品２が置かれる台である。即ち、スクリーン１２は、決済対象の商品２をセットする所定領域となる。商品２は、被撮影面が下向きになるように、スクリーン１２の上面（一方の面）に置かれる。即ち、商品２は、被撮影面がスクリーン１２に対向するように、スクリーン１２にセットされる。被撮影面が下向きでスクリーン１２上にセットされた商品２は、被撮影面がスクリーン１２の下側（他方の面）から撮影できる状態となる。

カメラ１３は、スクリーン１２の下方に上向きで設置される。カメラ１３は、スクリーン１２の下側からスクリーン１２上の撮影領域の画像（スクリーン１２の他方の面を撮影範囲とした画像）を撮影する。カメラ１３は、スクリーン１２上に置かれた商品２の被撮影面の画像を含む撮影画像を撮影する。また、カメラ１３は、近赤外線などの不可視光の画像を撮影するものであってもよい。

また、カメラ１３は、スクリーン１２の上面（スクリーン１２上に置かれた商品２の少なくとも一部が接する面）付近にフォーカスを合わせる。これにより、カメラ１３は、少なくとも一部がスクリーン１２の上面に接する商品２の被撮影面にフォーカスを合わせた状態で撮影ができる。たとえば、スクリーン１２上に複数の商品を置いた場合であっても、各商品の形状に依らず、各商品の被撮影面がスクリーン１２の上面に近接する。このため、スクリーン１２の上面にフォーカスを合わせたカメラ１３は、各商品の被撮影面にピントが合った状態で画像（商品の画像）を撮影しやすくなる。

距離センサ１４は、スクリーン１２の上方に下向きで設置される。たとえば、距離センサ１４は、カメラ１３の位置に対してスクリーン１２を中心に対向する位置に設置される。たとえば、距離センサ１４は、カメラ１３からスクリーン１２に対して直角に伸びる線の延長線上に設置される。図１が示す例では、距離センサ１４は、支柱１１ａの先端に設置される。

距離センサ１４は、基準点又は基準面からの距離(たとえば、距離センサ１４からの距離又は距離センサ１４に水平な面からの距離)を測定する。たとえば、距離センサ１４は、基準点又は基準面から商品２及びスクリーン１２までの距離を測定する。

距離センサ１４は、スクリーン１２上の各部における基準点又は基準面からの距離を示す距離情報を生成する。距離情報は、スクリーン１２までの距離又は商品２までの距離を示す。たとえば、距離情報は、距離に応じて色が異なる距離画像であってもよい。

距離センサ１４は、たとえば、光源から照射される光（可視光又は不可視光）の反射光に基づいて距離を測定する。たとえば、距離センサ１４は、照射された光が測定対象で反射し距離センサ１４に届くまでの時間に基づいて当該測定対象との距離を測定するＴｏＦ（Ｔｉｍｅ−ｆｏ−Ｆｌｉｇｈｔ）方式を行ってもよい。なお、距離センサ１４が距離を測定する方法は、特定の方法に限定されるものではない。
なお、決済装置１は、複数の距離センサを備えてもよい。

ディスプレイ１５は、後述するＣＰＵ２１が出力する画像を表示する表示装置である。ディスプレイ１５は、たとえば、液晶モニタなどである。

操作部１６は、決済装置１の利用者によって、種々の操作指示が入力される。操作部１６は、操作者に入力された操作指示のデータをＣＰＵ２１へ送信する。操作部１６は、たとえば、キーボード、テンキー、及び、タッチパネルなどである。また、操作部１６は、利用者からジェスチャーの入力を受け付けてもよい。
ここでは、操作部１６は、タッチパネルであり、ディスプレイ１５と一体的に形成されているものとする。

カードリーダ１７は、ユーザが所持するカードから種々の情報を取得する。たとえば、カードリーダ１７は、接触又は非接触でＩＣチップとデータを送受信するものである。また、カードリーダ１７は、カードから磁気を読み取るものであってもよい。

たとえば、カードリーダ１７は、ユーザが所持するカードからクレジット情報又はＳＦ（Ｓｔｏｒｅｄ Ｆａｒｅ）情報などを取得する。
なお、カードリーダ１７は、カードに対してデータを書き込むことができるものであってもよい。

次に、決済装置１の制御系の構成例について説明する。
図２は、決済装置１の制御系の構成例を示すブロック図である。
図２が示すように、決済装置１は、カメラ１３、距離センサ１４、ディスプレイ１５、操作部１６、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、ＮＶＭ２４、カメラインターフェース２５及び距離センサインターフェース２６などを備える。これらの各部は、データバスを介して互いに接続される。なお、決済装置１は、図２が示すような構成の他に必要に応じた構成を具備したり、特定の構成を除外したりしてもよい。

カメラ１３、距離センサ１４、ディスプレイ１５及び操作部１６は、前述の通りである。
ＣＰＵ２１は、決済装置１全体の動作を制御する機能を有する。ＣＰＵ２１は、内部キャッシュおよび各種のインターフェースなどを備えても良い。ＣＰＵ２１は、内部メモリ又はＮＶＭ２４などに予め記憶したプログラムを実行することにより種々の処理を実現する。ＣＰＵ２１は、たとえば、プロセッサである。

なお、ＣＰＵ２１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであっても良い。この場合、ＣＰＵ２１は、ハードウエア回路により実行される機能を制御する。

ＲＯＭ２２は、予め制御用のプログラム及び制御データなどを記憶する不揮発性のメモリである。ＲＯＭ２２は、製造段階で制御プログラム及び制御データなどを記憶した状態で決済装置１に組み込まれる。即ち、ＲＯＭ２２に記憶される制御プログラム及び制御データは、予め決済装置１の仕様に応じて組み込まれる。

ＲＡＭ２３は、揮発性のメモリである。ＲＡＭ２３は、ＣＰＵ２１の処理中のデータなどを一時的に格納する。ＲＡＭ２３は、ＣＰＵ２１からの命令に基づき種々のアプリケーションプログラムを格納している。また、ＲＡＭ２３は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。

ＮＶＭ２４（格納部）は、例えば、ＥＥＰＲＯＭ（登録商標）あるいはフラッシュＲＯＭなどのデータの書き込み及び書換えが可能な不揮発性のメモリにより構成される。ＮＶＭ２４は、決済装置１の運用用途に応じて制御プログラム、アプリケーション、及び種々のデータを格納する。例えば、ＮＶＭ２４では、プログラムファイル及びデータファイルなどが作成される。作成された各ファイルは、制御プログラム及び種々のデータなどが書き込まれる。

ＮＶＭ２４は、商品情報を格納する。商品情報は、商品に関する情報である。商品情報は、商品コードと商品の外寸と対応付けて格納する。
商品コードは、商品を特定する情報である。たとえば、商品コードは、数字、文字、記号又はそれらの組合せである。

商品の外寸は、商品の所定面からの高さである。たとえば、商品情報は、商品の外寸として、バーコードが印字される面からの高さを備える。また、商品情報は、商品の外寸として、各面からの高さを備えてもよい。
なお、商品情報は、さらに、商品名及び価格などを備えてもよい。商品情報の構成は、特定の構成に限定されるものではない。

カメラインターフェース２５は、ＣＰＵ２１がカメラ１３と通信するためのインターフェースである。たとえば、ＣＰＵ２１は、カメラインターフェース２５を通じて、カメラ１３に画像を取得させる信号を送信する。また、ＣＰＵ２１は、カメラインターフェース２５を通じて撮影のためのカメラパラメータをカメラ１３に設定してもよい。

また、カメラインターフェース２５は、カメラ１３が撮影した画像（撮影画像）を取得する。カメラインターフェース２５は、取得した画像をＣＰＵ２１へ送信する。ＣＰＵ２１は、カメラインターフェース２５からカメラ１３が撮影した画像を取得する。

距離センサインターフェース２６は、ＣＰＵ２１が距離センサ１４と通信するためのインターフェースである。たとえば、距離センサインターフェース２６は、距離センサ１４から距離情報を取得する。たとえば、ＣＰＵ２１は、距離センサインターフェース２６から距離情報を取得する。

次に、ＣＰＵ２１が実現する機能について説明する。
まず、ＣＰＵ２１は、カメラ１３から商品２を含む撮影画像を取得する機能を有する。
たとえば、ＣＰＵ２１は、カメラ１３に対して撮影を行う信号を送信する。ＣＰＵ２１は、カメラ１３から撮影画像を取得する。なお、ＣＰＵ２１は、撮影画像を撮影するために、撮影パラメータをカメラ１３に設定してもよい。
なお、ＣＰＵ２１は、外部装置から撮影画像を取得してもよい。

また、ＣＰＵ２１は、距離センサ１４から距離情報を取得する機能を有する。
たとえば、ＣＰＵ２１は、距離センサ１４に対して距離の測定を行う信号を送信する。ＣＰＵ２１は、距離センサ１４から距離情報を取得する。

また、ＣＰＵ２１は、撮影画像から商品（対象物）が写る商品領域を抽出する機能を有する。
たとえば、ＣＰＵ２１は、撮影画像と距離情報と基づいて商品領域を特定する。たとえば、ＣＰＵ２１は、距離情報に基づいて商品領域の位置を特定する。商品２が配置される領域（商品領域）は、商品の高さの分だけ基準点又は基準面に近づく。従って、ＣＰＵ２１は、スクリーン１２までの距離よりも近い距離にある領域を商品領域として特定する。
また、ＣＰＵ２１は、同一の距離にある領域を商品領域と特定してもよい。

また、ＣＰＵ２１は、距離情報に基づいて特定した商品領域を撮影画像に基づいて修正する。たとえば、距離センサ１４は商品の陰となる領域については距離を測定することができないため、距離情報に基づいて特定した商品領域はエッジがぼやけやすい。そのため、ＣＰＵ２１は、撮影画像に基づいて商品領域のエッジを補正する。

なお、ＣＰＵ２１は、距離情報と撮影画像との座標値を互いに対応するように位置合わせを行ってもよい。たとえば、ＣＰＵ２１は、カメラ１３の角度並びに視野角、及び、距離センサ１４の角度並びに測定領域などから距離情報又は撮影画像の座標値を補正してもよい。

なお、ＣＰＵ２１が商品領域を特定する方法は、特定の方法に限定されるものではない。

図３は、ＣＰＵ２１が特定した商品領域の例を示す。
図３（ａ）は、スクリーン１２上に配置される商品Ａ及び商品Ｂを示す。商品Ａの高さは、商品Ｂの高さよりも低い。そのため、ＣＰＵ２１は、距離情報に基づいて商品Ａの商品領域と商品Ｂの商品領域とを特定することができる。

図３（ｂ）は、撮影画像上に設定される商品領域を示す。図３（ｂ）が示すように、ＣＰＵ２１は、商品Ａの商品領域として商品領域３１ａを設定する。また、ＣＰＵ２１は、商品Ｂの商品領域として商品領域３１ｂを設定する。

また、ＣＰＵ２１は、商品画像から商品を特定する機能を有する。
たとえば、商品が自身を特定する識別情報を備える場合、ＣＰＵ２１は、識別情報に基づいて商品を特定する。たとえば、識別情報は、バーコード、ＱＲコード（登録商標）、文字、数字又はマークなどである。ＣＰＵ２１は、商品画像から識別情報を検索し、発見した識別情報を読み取る。ＣＰＵ２１は、読取結果に基づいて、商品画像の商品を示す商品コードを取得する。

また、ＣＰＵ２１は、オブジェクト認識で商品を特定してもよい。たとえば、ＣＰＵ２１は、ＮＶＭ２４などが格納する各商品の画像又は画像の特徴量と商品画像又は商品画像の特徴量とを比較する。ＣＰＵ２１は、画像又は画像の特徴量がマッチする商品の商品コードを、商品画像の商品を示す商品コードとして特定する。たとえば、特徴量は、濃度勾配又は色ヒストグラムなどである。
なお、ＣＰＵ２１が商品を特定する方法は、特定の方法に限定されるものではない。

また、ＣＰＵ２１は、特定された商品に予め設定された外寸を取得する機能を有する。
たとえば、ＣＰＵ２１は、ＮＶＭ２４から、特定された商品の商品コードを含む商品情報を取得する。ＣＰＵ２１は、取得した商品情報が含む外寸を予め設定された外寸として取得する。なお、ＣＰＵ２１は、外部装置から商品の外寸を取得してもよい。

また、ＣＰＵ２１は、商品領域における商品の高さ（スクリーン１２からの長さ）と、当該商品の外寸とが一致するか判定する機能を有する。
たとえば、ＣＰＵ２１は、スクリーン１２まで距離と商品領域まで距離との差を算出して、商品領域に置かれた商品の高さを算出する。

ＣＰＵ２１は、商品の高さと外寸とを比較する。たとえば、バーコードを読み取って商品を特定した場合、ＣＰＵ２１は、外寸として商品のバーコード面からの高さを取得する。ＣＰＵ２１は、商品の高さと、バーコード面からの高さとを比較する。

また、オブジェクト認識で商品を特定した場合、ＣＰＵ２１は、外寸としてオブジェクト認識を行った商品の面からの高さを取得する。ＣＰＵ２１は、商品の高さと、当該面からの高さとを比較する。
また、ＣＰＵ２１は、商品の高さと外寸とが一定の範囲内にある場合には、両者が一致すると判定してもよい。

ＣＰＵ２１は、商品の高さと外寸とが一致したと判定すると、当該商品領域において商品の認識に成功したと判定する。
また、ＣＰＵ２１は、商品の高さと外寸とが一致しないと判定すると、当該商品領域において商品の認識に失敗したと判定する。
ＣＰＵ２１は、商品の高さと外寸とが一致しない判定すると、当該商品領域に対して商品の認識に失敗したことを示す警告フラグを設定する。

図４は、商品の高さと外寸とが一致しない例について説明するための図である。
図４（ａ）は、スクリーン１２上に重ねて配置される商品Ｃ及び商品Ｄを示す。図４（ａ）が示す例では、商品Ｄの上に商品Ｃが配置される。

図４（ｂ）は、距離情報の例である。ここでは、距離情報は、距離画像である。図４（ｂ）が示すように、商品Ｃのある領域は、商品Ｄの高さよりも高い。また、撮影画像は、下方からの画像であるため、商品Ｄを含む。従って、ＣＰＵ２１は、撮影画像から商品Ｄを特定する。

ＣＰＵ２１は、商品Ｄの外寸と商品Ｄの商品領域の高さとを比較する。商品Ｄの上には商品Ｃが重なっているため、当該商品領域の高さは、商品Ｄの外寸よりも大きい。従って、ＣＰＵ２１は、商品領域における商品の高さと特定された商品の外寸とが一致しないと判定する。

また、ＣＰＵ２１は、商品の特定に成功した商品領域と、商品の認識に失敗した商品領域（警告フラグがセットされた商品領域）とを表示する機能を有する。
たとえば、ＣＰＵ２１は、ディスプレイ１５の所定の領域に、撮影画像を表示する。ＣＰＵ２１は、撮影画像上において、商品の認識に成功した商品領域の周囲に実線枠（読取成功を示す情報）を表示する。即ち、ＣＰＵ２１は、商品の認識に成功した商品領域の周囲に実線枠を表示することで、当該商品領域において商品の認識に成功したことを提示する。

また、ＣＰＵ２１は、撮影画像上において、商品の認識に失敗した商品領域の周囲に破線枠（認識失敗を示す情報）を表示する。即ち、ＣＰＵ２１は、商品の認識に失敗した商品領域の周囲に破線枠を表示することで、当該商品領域において商品の認識に失敗したことを提示する。

なお、ＣＰＵ２１が商品の特定に成功した商品領域と、商品の認識に失敗した商品領域とを表示する方法は、特定の方法に限定されるものではない。

次に、ＣＰＵ２１が一部の商品領域において商品の認識に失敗した場合のディスプレイ１５の表示例について説明する。
図５は、ＣＰＵ２１が一部の商品領域において商品の認識に失敗した場合のディスプレイ１５の表示例（出力画像）を示す。ここでは、商品画像は、商品Ｅと商品Ｆとを写すものとする。また、ＣＰＵ２１は、商品Ｅが写る領域と商品Ｆが写る領域とにそれぞれ商品領域３２ａ及び３２ｂを設定しているものとする。

図５が示すように、ＣＰＵ２１は、ディスプレイ１５内に実線枠１５ａ及び破線枠１５ｂを表示する。

実線枠１５ａは、商品Ｅの商品領域３２ａを囲っている。従って、ＣＰＵ２１は、商品Ｅの商品領域３２ａにおいて商品の認識に成功したことを示す。
破線枠１５ｂは、商品Ｆの商品領域３２ｂを囲っている。従って、ＣＰＵ２１は、商品Ｆの商品領域３２ｂにおいて商品の認識に失敗したことを示す。

また、ＣＰＵ２１は、各商品領域において商品の認識に成功した場合、商品の代金を決済する機能を有する。
たとえば、ＣＰＵ２１は、認識した商品の商品情報から価格を取得する。ＣＰＵ２１は、各商品の価格を合算して商品の代金を算出する。

また、ＣＰＵ２１は、商品を購入する購入者のクレジット情報を取得する。たとえば、ＣＰＵ２１は、購入者が所持するカードからカードリーダ１７を通じてクレジット情報の入力を受け付けてもよい。また、ＣＰＵ２１は、カメラなどを用いて購入者の画像を取得し、当該画像に対応するクレジット情報を取得してもよい。

ＣＰＵ２１は、取得したクレジット情報に基づいて商品の代金を決済する。たとえば、ＣＰＵ２１は、クレジット情報と商品の代金とをクレジットサーバなどへ送信する。
なお、ＣＰＵ２１は、現金処理部などを備えて、購入者から現金を受領してもよい。また、ＣＰＵ２１は、カードからＳＦ情報を取得し、当該ＳＦ情報に基づいて商品の代金を決済してもよい。

また、ＣＰＵ２１は、商品の認識に失敗した商品領域（警告フラグがセットされた商品領域）がある場合にアラートを出力する機能を有する。
たとえば、ＣＰＵ２１は、外部装置に対して商品の認識に失敗したことを示すアラートを出力する。また、ＣＰＵ２１は、スピーカなどを備え、音声でアラートを出力してもよい。また、ＣＰＵ２１は、商品の認識に失敗した商品領域を示すアラートを出力してもよい。また、ＣＰＵ２１は、商品の認識に失敗した商品領域があることを示す情報を外部装置に送信してもよい。ＣＰＵ２１が出力するアラートは、特定の構成に限定されるものではない。

次に、ＣＰＵ２１の動作例について説明する。
図６及び７は、ＣＰＵ２１の動作例について説明するためのフローチャートである。
まず、ＣＰＵ２１は、商品認識処理を開始するか判定する（ＡＣＴ１１）。たとえば、ＣＰＵ２１は、操作部１６を通じて商品認識処理を開始する操作を受け付けたか判定する。また、ＣＰＵ２１は、スクリーン１２上に商品が配置されたか判定してもよい。商品認識処理を開始しないと判定すると（ＡＣＴ１１、ＮＯ）、ＣＰＵ２１は、ＡＣＴ１１に戻る。

商品認識処理を開始すると判定すると（ＡＣＴ１１、ＹＥＳ）、ＣＰＵ２１は、カメラ１３を通じて撮影画像を取得する（ＡＣＴ１２）。撮影画像を取得すると、ＣＰＵ２１は、距離センサ１４を通じて距離情報を取得する（ＡＣＴ１３）。

距離情報を取得すると、ＣＰＵ２１は、撮影画像から商品領域を抽出する（ＡＣＴ１４）。商品領域を抽出すると、ＣＰＵ２１は、１つの商品領域から商品を特定する（ＡＣＴ１５）。

商品を特定すると、ＣＰＵ２１は、特定した商品の外寸を取得する（ＡＣＴ１６）。外寸を取得すると、ＣＰＵ２１は、当該商品領域の高さが商品の外寸と一致するか判定する（ＡＣＴ１７）。

当該商品領域の高さが商品の外寸と一致しないと判定すると（ＡＣＴ１７、ＮＯ）、ＣＰＵ２１は、当該商品領域に警告フラグをセットする（ＡＣＴ１８）。

当該商品領域の高さが商品の外寸と一致すると判定した場合（ＡＣＴ１７、ＹＥＳ）、又は、当該商品領域に警告フラグをセットした場合（ＡＣＴ１８）、ＣＰＵ２１は、他に商品を特定していない商品領域があるか判定する（ＡＣＴ１９）。

他に商品を特定していない商品領域があると判定すると（ＡＣＴ１９、ＹＥＳ）、ＣＰＵ２１は、ＡＣＴ１５に戻る。

他に商品を特定していない商品領域がないと判定すると（ＡＣＴ１９、ＮＯ）、ＣＰＵ２１は、商品の特定に成功した商品領域と商品の特定に失敗した商品領域とをディスプレイ１５に表示する（ＡＣＴ２０）。

両商品領域を表示すると、ＣＰＵ２１は、警告フラグがセットされた商品領域があるか判定する（ＡＣＴ２１）。警告フラグがセットされた商品領域があると判定すると（ＡＣＴ２１、ＹＥＳ）、ＣＰＵ２１は、アラートを出力する（ＡＣＴ２２）。

警告フラグがセットされた商品領域がないと判定すると（ＡＣＴ２１、ＮＯ）、ＣＰＵ２１は、決済処理を行う（ＡＣＴ２３）。なお、ＣＰＵ２１は、操作部１６を通じて決済処理を行う処理を受け付けた場合に、決済処理を行ってもよい。

アラートを出力した場合（ＡＣＴ２２）、又は、決済処理を行った場合（ＡＣＴ２３）、ＣＰＵ２１は、動作を終了する。

なお、ＣＰＵ２１は、ＡＣＴ１３を行ってからＡＣＴ１２を行ってもよい。また、ＣＰＵ２１は、ＡＣＴ１２及びＡＣＴ１３を同時並行で行ってもよい。

また、ＣＰＵ２１は、ＡＣＴ１５で商品領域から商品の特定に失敗した場合、当該商品領域に警告フラグをセットしてもよい。

また、ＣＰＵ２１は、警告フラグがセットされた商品領域がある場合、商品の置きなおしを促すメッセージなどをディスプレイ１５に表示してもよい。その場合、ＣＰＵ２１は、再度ＡＣＴ１２以降を実行してもよい。

以上のように構成された決済装置は、カメラで下方からスクリーン上の商品を撮影する。そのため、決済装置は、形状の異なる複数の商品を上側から撮影する場合に比べて、スクリーン上の各商品の被撮影面にカメラのピントを合わせことが容易である。従って、決済装置は、カメラの被写界深度が狭くても良く、撮影距離を近接させて十分に高い解像度で撮影することが可能となる。その結果、決済装置は、小型化することが可能となる。

また、決済装置は、撮影画像及び距離情報に基づいて商品領域を抽出する。そのため、決済装置は、高さの異なる領域を異なる商品領域として抽出することができる。その結果、決済装置は、複数の商品が隣接してスクリーン上に配置された場合であっても、商品ごとに商品領域を特定することができる。

また、決済装置は、商品領域の高さと、商品領域から特定された商品の外寸とを比較する。決済装置は、両者が一致しない場合には、商品領域において商品の認識に失敗したものと判定する。そのため、決済装置は、商品が重なって配置されている場合に商品の認識に失敗したものと判定することができる。その結果、決済装置は、不正な決済処理を防止することができる。

また、決済装置は、カメラと距離センサとをスクリーンを挟んで対向する位置に設置する。その結果、決済装置は、カメラから取得した撮影画像と距離センサから取得した距離情報とを容易にマッチさせることができる。たとえば、決済装置は、アフィン変換などの座標変換を行わずに、両者をマッチさせることができる。
（第２実施形態）
次に、第２実施形態に係る決済装置について説明する。
第２実施形態に係る決済装置１’は、照明と反射体とを備える点で第１実施形態に係る決済装置１と異なる。従って、同一の構成については、同一の符号を付して詳細な説明を省略する。

図８は、第１実施形態に係る決済装置１’の構成例を概略的に示す。
図８が示すように、決済装置１’は、さらに、照明１８及び反射体１９などを備える。

照明１８は、カメラ１３が撮影する商品の被撮影面を十分な照度とするための光を発光する。ここでは、照明１８は、照明１８ａ及び照明１８ｂから構成される。

照明１８は、出射する照明光による光沢反射を避けるために、商品２の被撮影面に直接光が入射しないように配置される。図８が示すように、照明１８は、反射体１９側に光を出射するように配置される。照明１８は、可視光を照射するものであってもよいし、不可視光を照射するものであってもよい。また、照明１８は、可視光及び不可視光を照射するものであってもよい。

反射体１９は、照明１８からの光をスクリーン１２上の商品の被撮影面に導く。反射体１９は、例えば、拡散反射体である。図８が示す例では、反射体１９は、スクリーン１２側に開放した碗上に形成される。反射体１９は、スクリーン１２の下側（他方の面側）に設置される。反射体１９は、照明１８からの光を反射して、スクリーン１２の下側からスクリーン１２に照射させる。照明１８が発光する光（照明光）は、反射体１９を介してスクリーン１２上の商品２の被撮影面に照射される。即ち、反射体１９からの反射光は、拡散された照明光として商品２の被撮影面をスクリーン１２越しに照明する。
照明１８および反射体１９は、カメラ１３の撮影視野を遮らないよう取り付けられる。

次に、決済装置１’の制御系の構成例について説明する。
図９は、決済装置１’の制御系の構成例を示すブロック図である。
図９が示すように、決済装置１’は、さらに照明１８を備える。照明１８は、データバスを介してＣＰＵ２１に接続される。

ＣＰＵ２１は、カメラ１３が画像を撮影する際に、照明１８を点灯する。たとえば、ＣＰＵ２１は、所定のタイミングで照明１８を点灯する。ＣＰＵ２１は、照明１８が点灯している間にカメラ１３に画像を撮影させる。なお、ＣＰＵ２１は、距離センサ１４に距離を測定させるタイミングでは、照明１８をオフにしてもよい。

また、照明１８から出射する光（照明光）は、反射体１９で反射されてスクリーン１２を照明する。反射体１９で反射された照明光は、商品２が置かれていない部分では、スクリーン１２を通して上方へ照射される。このため、照明光を白色光などの可視光とすると、決済装置１を操作する利用者は、スクリーン１２が眩しく感じる可能性がある。このため、照明１８は、照明光として、可視光の波長領域を外れた光（不可視光）を用いても良い。例えば、照明１８は、照明光として、７００ｎｍ以上の近赤外光を用いる。照明１８が出射する照明光が近赤外光であれば、利用者は、照明光を直視しても眩しく感じなくなる。

照明１８が不可視光を照射する場合、スクリーン１２は、可視光を透過させないフィルムを備えてもよい。また、カメラ１３は、当該不可視光を用いて画像を撮影する。当該フィルムにより、カメラ１３は、外部からの可視光の影響を受けにくくなる。その結果、撮影画像では、商品の被写体面が明るくなり、商品以外は比較的暗くなる。そのため、ＣＰＵ２１は、撮影画像からの商品領域の抽出が安易になる。

また、照明１８また、不可視光と可視光では透過する物質が異なる為、画像の特性が異なり、認識精度に影響する場合も考えられる。たとえば、照明１８は、可視光と不可視光とを照射する構成であってもよい。カメラ１３は、可視光と不可視光とを用いて画像を撮影する。

ＣＰＵ２１は、不可視光で取得した撮影画像から商品領域を特定し、さらに、可視光照明で取得した撮影画像を用いて各商品の画像領域を特定してもよい。上記の仕組みで各商品の商品領域を抽出した際、第１実施形態にあるように距離情報から商品領域を抽出するよりも、特に商品のエッジ付近の画素に関しては精度が高くなる。そのため、ＣＰＵ２１は、双方で取得した各商品領域を照合し位置補正などを行っても良い。

以上のように構成された決済装置は、スクリーンの下部から照明で商品の被撮影面を照らす。その結果、決済装置は、十分な照度の撮影画像を取得することができる。従って、決済装置は、精度よく商品領域の抽出及び商品の特定を行うことができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…決済装置、１１…筐体、１２…スクリーン、１３…カメラ、１４…距離センサ、１５…ディスプレイ、１６…操作部、１８…照明、１９…反射体、２１…ＣＰＵ、２５…カメラインターフェース、２６…距離センサインターフェース。

Claims (5)

1. 一方の面に対象物を配置するスクリーンと、
   撮影画像として前記スクリーンの他方の面から画像を撮影するカメラと、
   前記スクリーンの前記一方の面から距離を測定し、前記距離を示す距離情報を生成する距離センサと、
   前記撮影画像から対象物の領域を抽出し、
   前記対象物の領域の画像から対象物を特定し、
   特定された前記対象物に予め設定された外寸を取得し、
   前記距離情報に基づいて前記スクリーンの前記一方の面に配置される前記対象物の、前記スクリーンからの長さを算出し、
   前記外寸と、前記対象物の前記長さとが一致しない場合に、アラートを出力する、
   プロセッサと、
   を備える画像処理装置。
2. 前記プロセッサは、
   前記外寸と前記対象物の前記長さとが一致しない場合に、前記対象物の領域の画像と前記対象物の認識失敗を示す情報とを含む出力画像を出力する、
   前記請求項１に記載の画像処理装置。
3. 前記プロセッサは、
   前記距離情報に基づいて前記対象物の領域を抽出する、
   前記請求項１又は２に記載の画像処理装置。
4. 前記対象物は、商品である、
   前記請求項１乃至３の何れか１項に記載の画像処理装置。
5. 撮影画像として一方の面に対象物を配置するスクリーンの他方の面から画像を撮影し、
   前記スクリーンの前記一方の面から距離を測定し、前記距離を示す距離情報を生成し、
   前記撮影画像から対象物の領域を抽出し、
   前記対象物の領域の画像から対象物を特定し、
   特定された前記対象物に予め設定された外寸を取得し、
   前記距離情報に基づいて前記スクリーンの前記一方の面に配置される前記対象物の、前記スクリーンからの長さを算出し、
   前記外寸と、前記対象物の前記長さとが一致しない場合に、アラートを出力する、
   画像処理方法。