JP2018101206A - 情報処理装置およびプログラム - Google Patents

Abstract

【課題】一般物体認識において物品を検出する精度を向上させることができる情報処理装置およびプログラムを提供する。
【解決手段】情報処理装置は、撮像制御手段と、検出手段と、抽出手段と、算出手段と、識別手段とを備える。前記撮像制御手段は、第１の波長領域と、第２の波長領域との光に感度を有する撮像部の撮像動作を制御する。前記検出手段は、前記撮像部が前記第１の波長領域の光に基づいて撮像した画像から当該画像に含まれる物品を検出する。前記抽出手段は、前記検出手段が検出した物品の特徴を示す特徴量を、前記撮像部が前記第２の波長領域の光に基づいて撮像した画像から抽出する。前記算出手段は、各物品の照合用の特徴量と、前記抽出手段が抽出した特徴量との類似度を算出する。前記識別手段は、前記算出手段が算出した類似度に基づいて前記撮像部が撮像した物品を識別する。
【選択図】図６

Description

本発明の実施形態は、情報処理装置およびプログラムに関する。

従来、撮像した画像から抽出した物品の特徴量と、予め用意された照合用の特徴量とを比較した類似度に応じて物品の種別等を認識する一般物体認識（オブジェクト認識）に関する技術がある。一般物体認識は、ＲＧＢ（Red Green Blue）画像から画像に含まれている物品を切り出す。そして、一般物体認識は、切り出した範囲から物品の特徴量を抽出している。

ところで、撮像した画像の物体のブレを小さくするためには、シャッタ時間を短くする必要がある。しかし、シャッタ時間を短くすると、撮像した画像が暗くなってしまう。この場合、カメラの露光タイミングに合わせて可視光線等の照明を照射することにより、撮像した画像が暗くなってしまうことを防止することができる。

しかしながら、このような方法で撮像した画像は、撮像対象の物体は撮像されているが、背景は反射物が無いため黒色になってしまう。よって、撮像対象の物体が茄子やアボカド等の黒色の場合には、物体であるか背景であるかの識別が困難なために、撮像した画像から物品を切り出すことが困難な場合があった。

本発明が解決しようとする課題は、一般物体認識において物品を検出する精度を向上させることができる情報処理装置およびプログラムを提供することである。

実施形態の情報処理装置は、撮像制御手段と、検出手段と、抽出手段と、算出手段と、識別手段とを備える。前記撮像制御手段は、第１の波長領域と、第２の波長領域との光に感度を有する撮像部の撮像動作を制御する。前記検出手段は、前記撮像部が前記第１の波長領域の光に基づいて撮像した画像から当該画像に含まれる物品を検出する。前記抽出手段は、前記検出手段が検出した物品の特徴を示す特徴量を、前記撮像部が前記第２の波長領域の光に基づいて撮像した画像から抽出する。前記算出手段は、各物品の照合用の特徴量と、前記抽出手段が抽出した特徴量との類似度を算出する。前記識別手段は、前記算出手段が算出した類似度に基づいて前記撮像部が撮像した物品を識別する。

図１は、第１の実施形態に係るチェックアウトシステムの一例を示す斜視図である。 図２は、商品読取部の一例を示す正面図である。 図３は、商品読取部の一例を示す断面図である。 図４は、ＰＯＳ端末及び商品読取装置のハードウェア構成の一例を示すブロック図である。 図５は、ＰＬＵファイルのデータ構成の一例を示す説明図である。 図６は、ＰＯＳ端末が有する特徴的な機能構成を示すブロック図である。 図７は、画像データテーブルのデータ構成の一例を示す説明図である。 図８は、商品登録処理の一例を示すフローチャート図である。 図９は、第２の実施形態に係るＰＯＳ端末が有する特徴的な機能構成を示すブロック図である。 図１０は、セルフＰＯＳの構成の一例を示す斜視図である。 図１１は、セルフＰＯＳのハードウェア構成の一例を示すブロック図である。

以下、図面を参照して、実施形態に係る情報処理装置及びプログラムについて詳細に説明する。以下に説明する実施形態は、情報処理装置及びプログラムの一実施形態であって、その構成や仕様等を限定するものではない。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。

（第１の実施形態）
図１は、第１の実施形態に係るチェックアウトシステム１の一例を示す斜視図である。チェックアウトシステム１は、商品に関する情報を読み取る商品読取装置２０と、一取引に係る商品の登録、精算を行うＰＯＳ（Point Of Sales）端末３０とを備える。以下、情報処理装置をＰＯＳ端末３０に適用した例について説明する。また、一般物体認識の対象の物品の一例として、対象物品が商品である場合について説明するが、対象物品は商品以外の物品であってもよい。

ＰＯＳ端末３０は、チェックアウト台４０上のドロワ５０上面に載置される。ＰＯＳ端末３０は、ドロワ５０の開放動作を制御する。ＰＯＳ端末３０は、上面に操作者（店員）が操作を入力するキーボード３１を備える。ＰＯＳ端末３０は、キーボード３１を操作する操作者から見てキーボード３１よりも奥側に、操作者等に向けて各種情報を表示する第１表示部３２を備える。第１表示部３２は、各種操作を受け付けるタッチパネル３３を備える。ＰＯＳ端末３０は、第１表示部３２よりも更に奥側に、回転可能に立設した第２表示部３４を備える。図１に示す第２表示部３４は、図１中手前側に向いているが、図１中奥側に向くように回転させることにより、顧客に各種情報を表示する。

横長テーブル状のカウンタ台６０は、ＰＯＳ端末３０が載置されているチェックアウト台４０とＬ字を形成するよう配置される。カウンタ台６０には、商品を収納する買物カゴ７０が載置される。なお、買物カゴ７０は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。または、買物カゴ７０は、箱状や袋状等であってもよい。買物カゴ７０には、顧客が持ち込む第１の買物カゴ７１と、第１の買物カゴ７１から商品読取装置２０を挟んだ位置に載置される第２の買物カゴ７２とがある。

カウンタ台６０には、ＰＯＳ端末３０とデータ送受信可能に接続された商品読取装置２０が設置される。商品読取装置２０は、正面に読取窓２１を備える薄型矩形形状のハウジング２２に覆われている。商品読取装置２０は、ハウジング２２の上部に表示操作部８０を備える。

表示操作部８０は、タッチパネル８１が表面に積層された第１表示部８２を備える。商品読取装置２０は、第１表示部８２の右隣にキーボード８３を備える。商品読取装置２０は、キーボード８３の右隣には、カードリーダ８４（図４参照）のカード読取溝８５を備える。商品読取装置２０は、操作者から見て表示操作部８０の裏面左奥側には、顧客に向けて情報を提供する第２表示部８６を備える。

商品読取装置２０は、ハウジング２２の内部に商品読取部９０（図２参照）を備える。商品読取部９０は、読取窓２１の奥側に撮像部９１（図２参照）を備える。

第１の買物カゴ７１には、一取引に係る商品が収納されている。商品読取装置２０を操作する操作者は、第１の買物カゴ７１内の商品を第２の買物カゴ７２に移動する。操作者は、この移動過程において、商品を商品読取装置２０の読取窓２１にかざす。この際、読取窓２１内に配置された撮像部９１（図２参照）は、商品を撮像する。

図２は、商品読取部９０の一例を示す正面図である。図３は、商品読取部９０の一例を示す断面図である。商品読取部９０は、読取窓２１の内側に、撮像部９１と、光学フィルタ９２と、結像レンズ９３と、赤外線照明部９４と、可視光線照明部９５とを備える。赤外線照明部９４と、可視光線照明部９５とは、読取窓２１の上辺の内側に交互に配置される。赤外線照明部９４は、例えば赤外線ＬＥＤ（Light Emitting Diode）等の赤外線を照射する照明装置である。赤外線照明部９４は、図３に示す赤外線照射領域９４１に対して赤外線を照射する。すなわち、赤外線照明部９４は、撮像部９１の撮像領域９１１と、赤外線照射領域９４１とが重なり合うように可視光線を照射する。

可視光線照明部９５は、例えばＬＥＤ等の可視光線を照射する照明装置である。可視光線照明部９５は、図３に示す可視光線照射領域９５１に対して可視光線を照射する。すなわち、可視光線照明部９５は、撮像部９１の撮像領域９１１と、可視光線照射領域９５１とが重なり合うように可視光線を照射する。また、赤外線照明部９４と、可視光線照明部９５とは、交互に並べて配置されている。よって、図３に示すように赤外線照射領域９４１と、可視光線照射領域９５１とは略同一となっている。これにより、赤外線照明部９４と、可視光線照明部９５とは、撮像部９１の撮像領域９１１に対して、可視光線と赤外線とを均一に照射することができる。なお、図２に示す商品読取部９０は、赤外線照明部９４と、可視光線照明部９５とを４個ずつ備えているが、それぞれの個数を増減させてもよい。

結像レンズ９３は、例えば固定焦点レンズである。結像レンズ９３は、撮像領域９１１にある物体の像を撮像部９１に結像させるレンズである。

光学フィルタ９２は、特定の波長領域の光の透過を阻止する例えばバンドパスフィルタである。光学フィルタ９２は、結像レンズ９３と撮像部９１との間に配置される。例えば、光学フィルタ９２は、各色成分が重なり合う波長領域の光の透過を阻止する。そして、光学フィルタ９２は、Ｒ（Red）と、Ｇ（Green）と、Ｂ（Blue）と、ＩＲ（InfRared）との波長領域の光を透過させる。これにより、光学フィルタ９２は、波長領域の光のコントラストを強調する。

撮像部９１は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサである。撮像部９１は、光学フィルタ９２が透過した光に基づいて、撮像領域９１１にかざされた商品を撮像する。そして、撮像部９１は、第１の波長領域と第２の波長領域との光に対して感度を有している。ここで、第１の波長領域とは、例えば赤外線として取り扱われる波長の領域である。第２の波長領域とは、例えば可視光線として取り扱われる波長の領域である。すなわち、撮像部９１は、Ｒと、Ｇと、Ｂと、ＩＲとの波長の領域の光に対して感度を有している。これにより、撮像部９１は、Ｒと、Ｇと、Ｂと、ＩＲとのそれぞれの成分を、画素ごとに有する画像を撮像することができる。なお、可視光線の波長領域に基づいたＲＧＢ画像の撮像と、赤外線の波長領域に基づいたＩＲ画像の撮像とはそれぞれ異なる撮像部が撮像してもよい。但し、異なる撮像部が撮像する場合には、各撮像部はそれぞれ略同じ位置に設置されることが好ましい。このように、略同じ位置に撮像部を設置することにより、ＲＧＢ画像とＩＲ画像とが異なる領域を撮像した画像となってしまうことを防止することができる。また、撮像部９１は、光学フィルタ９２が表面に積層されたオンチップカラーフィルタであってもよい。

図４は、ＰＯＳ端末３０及び商品読取装置２０のハードウェア構成の一例を示すブロック図である。ＰＯＳ端末３０は、ＣＰＵ（Central Processing Unit）３０１と、ＲＯＭ（Read Only Memory）３０２と、ＲＡＭ（Random Access Memory）３０３と、記憶部３０４と、通信インタフェース３０５と、キーボード３１と、第１表示部３２と、タッチパネル３３と、第２表示部３４と、接続インタフェース３０６と、ドロワ５０と、プリンタ３０７とを備える。ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、記憶部３０４と、通信インタフェース３０５と、キーボード３１と、第１表示部３２と、タッチパネル３３と、第２表示部３４と、接続インタフェース３０６と、ドロワ５０と、プリンタ３０７とは、バスを介して接続されている。

ＣＰＵ３０１は、ＰＯＳ端末３０の動作を統括的に制御する。ＲＯＭ３０２は、各種プログラムやデータを記憶する。ＲＡＭ３０３は、各種プログラムを一時的に記憶するとともに、各種データを書き換え自在に記憶する。また、ＲＡＭ３０３は、後述する画像データテーブル３０８を記憶する。なお、画像データテーブル３０８は、ＲＡＭ３０３に限らず、記憶部３０４等の他の記憶媒体に記憶されていてもよいし、ストアサーバ等の他の機器に記憶されていてもよい。すなわち、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３とは、ＰＯＳ端末３０を制御するコンピュータを構成する。

キーボード３１は、ＰＯＳ端末３０を操作する各種キーを備える。例えば、キーボード３１は、一取引に係る商品を登録する商品登録処理を終了する締めキー等を備える。

記憶部３０４は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の不揮発性の記憶装置である。記憶部３０４は、制御プログラム３０９と、ＰＬＵ（Price Look Up）ファイル３１０とを記憶する。なお、ＰＬＵファイル３１０は、記憶部３０４に限らず、他の記憶媒体に記憶されていてもよいし、ストアサーバ等の他の機器に記憶されていてもよい。

制御プログラム３０９は、オペレーティングシステムや、ＰＯＳ端末３０が備えている機能を発揮させるためのプログラムである。制御プログラム３０９には、本実施形態に係る特徴的な機能を発揮させるプログラムが含まれる。

ＰＬＵファイル３１０は、店舗に陳列して販売する各種商品の各々について、商品の売上登録に係る情報を格納する商品ファイルである。ここで、図５は、ＰＬＵファイル３１０のデータ構成の一例を示す説明図である。ＰＬＵファイル３１０は、商品ごとに、商品コードと、商品情報と、イラスト画像と、照合用特徴量とを関連付けて記憶する。商品コードは、商品を識別可能な識別情報である。商品情報は、商品が属する商品分類、商品名、単価等の情報である。イラスト画像は、その商品を示す画像である。照合用特徴量は、商品の外観の特徴を、画像から抽出してパラメータ化したデータである。商品の外観の特徴には、商品の標準的な形状、表面の色合い、模様、凹凸状況等が含まれる。すなわち、照合用特徴量は、ＲＧＢ画像に基づいたＲと、Ｇと、Ｂとの成分を有するデータである。また、照合用特徴量は、後述する類似度の判定に用いられる照合用のデータである。

図４に戻り、ＰＯＳ端末３０のＣＰＵ３０１には、通信インタフェース３０５が接続される。通信インタフェース３０５は、ネットワークを介して、ストアコンピュータ等の外部機器と通信するためのインタフェースである。

接続インタフェース３０６は、商品読取装置２０と接続するためのインタフェースである。プリンタ３０７は、一取引における取引内容をレシート用紙に印字する。

商品読取装置２０の商品読取部９０は、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、撮像部９１と、赤外線照明部９４と、可視光線照明部９５と、音声出力部９０４と、接続インタフェース９０５とを備える。ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、撮像部９１と、赤外線照明部９４と、可視光線照明部９５と、音声出力部９０４と、接続インタフェース９０５とは、バスを介して接続されている。

ＣＰＵ９０１は、商品読取装置２０の動作を統括的に制御する。ＲＯＭ９０２は、各種プログラムやデータを記憶する。ＲＡＭ９０３は、各種プログラムを一時的に記憶するとともに、各種データを書き換え自在に記憶する。すなわち、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３とは、商品読取装置２０を制御するコンピュータを構成する。

撮像部９１は、例えば、３０ｆｐｓ（Frame Per Second）等のフレームレートで画像データを撮像する。撮像部９１は、順次撮像した画像データをＲＡＭ９０３に保存する。

音声出力部９０４は、予め設定された警告音等を発生するための音声回路とスピーカ等である。

接続インタフェース９０５は、ＰＯＳ端末３０及び表示操作部８０と接続するためのインタフェースである。

商品読取装置２０の表示操作部８０は、接続インタフェース８０１と、キーボード８３と、第１表示部８２と、タッチパネル８１と、第２表示部８６と、カードリーダ８４とを備える。接続インタフェース８０１と、キーボード８３と、第１表示部８２と、タッチパネル８１と、第２表示部８６と、カードリーダ８４とは、バスを介して接続されている。

表示操作部８０は、商品読取部９０のＣＰＵ９０１、又はＰＯＳ端末３０のＣＰＵ３０１により制御される。

接続インタフェース８０１は、ＰＯＳ端末３０及び商品読取部９０と接続するためのインタフェースである。

カードリーダ８４は、クレジットカード等の決済に用いるカードの記憶媒体が記憶する情報の読み取りを実行する装置である。カードリーダ８４は、カード読取溝８５に挿入されたカードの記憶媒体が記憶する情報の読み取りを実行する。

次に、ＰＯＳ端末３０が有する特徴的な機能について説明する。ここで、図６は、ＰＯＳ端末３０が有する特徴的な機能構成を示すブロック図である。ＣＰＵ３０１は、記憶部３０４の制御プログラム３０９をＲＡＭ３０３に展開し、制御プログラム３０９に従って動作することで、図６に示す各機能部をＲＡＭ３０３に生成する。具体的には、ＣＰＵ３０１は、機能部として、撮像制御部３００１と、画像生成部３００２と、商品検出部３００３と、特徴量抽出部３００４と、類似度算出部３００５と、記憶制御部３００６と、商品識別部３００７と、商品登録部３００８と、表示制御部３００９と、操作制御部３０１０とを備える。

撮像制御部３００１は、撮像制御手段の一例である。撮像制御部３００１は、撮像部９１の撮像動作を制御する。例えば、撮像制御部３００１は、商品読取装置２０に撮像要求を出力して撮像部９１に撮像動作を開始させる。撮像部９１は、順次撮像した画像データをＲＡＭ９０３に記憶する。商品読取装置２０は、ＲＡＭ９０３に記憶された画像データをＰＯＳ端末３０の撮像制御部３００１に順次出力する。そして、撮像制御部３００１は、撮像部９１が撮像した画像データの入力を順次受け付ける。

画像生成部３００２は、撮像制御部３００１が取り込んだ画像データから、撮像部９１が可視光線の波長領域の光に基づいて撮像したＲＧＢ画像と、撮像部９１が赤外線の波長領域の光に基づいて撮像したＩＲ画像とを生成する。例えば、画像生成部３００２は、画像データに含まれるＲと、Ｇと、Ｂとのそれぞれの成分を画素ごとに抽出する。そして、画像生成部３００２は、抽出したＲと、Ｇと、Ｂとのそれぞれの成分に基づいてＲＧＢ画像を生成する。また、画像生成部３００２は、画像データに含まれるＩＲの成分を画素ごとに抽出する。そして、画像生成部３００２は、抽出したＩＲの成分に基づいてＩＲ画像を生成する。

商品検出部３００３は、検出手段の一例である。商品検出部３００３は、撮像制御部３００１が受け付けたＩＲ画像に含まれている商品を検出する。例えば、商品検出部３００３は、ＩＲ画像に含まれる商品の全部または一部を、パターンマッチング技術等を用いて検出する。具体的には、商品検出部３００３は、ＩＲ画像を２値化した画像から輪郭線等を抽出する。商品検出部３００３は、予め用意したＩＲ画像から抽出した輪郭線と、検出対象のＩＲ画像から抽出した輪郭線との差分に基づいて、商品を検出する。ここで、予め用意したＩＲ画像は、商品等が含まれていない背景を撮像部９１が撮像したＩＲ画像である。よって、商品検出部３００３は、検出対象のＩＲ画像に商品が含まれている場合に、予め用意したＩＲ画像から抽出した輪郭線にはない輪郭線を、検出対象のＩＲ画像から抽出した輪郭線から検出することができる。そして、商品検出部３００３は、予め用意したＩＲ画像から抽出した輪郭線にはない輪郭線に基づいて商品を検出する。

なお、商品検出部３００３は、ＩＲ画像に限らず、他の形式の画像から商品を検出してもよい。例えば、商品検出部３００３は、撮像制御部３００１が取り込んだ画像データから商品を検出してもよい。すなわち、商品検出部３００３は、撮像部９１が可視光線の波長領域、及び赤外線の波長領域の光に基づいて撮像した、Ｒと、Ｇと、Ｂと、ＩＲとの４つの成分を有する画像データから商品を検出してもよい。

特徴量抽出部３００４は、抽出手段の一例である。特徴量抽出部３００４は、ＲＧＢ画像において、商品検出部３００３が検出した商品の輪郭線の内側に相当する領域を識別する。特徴量抽出部３００４は、ＲＧＢ画像の識別した領域から、色合いや凹凸状況等の商品の表面の状態を、商品の特徴を示す特徴量として抽出する。これにより、特徴量抽出部３００４は、撮像部９１が撮像した画像データに含まれる商品の特徴量を抽出する。

類似度算出部３００５は、算出手段の一例である。類似度算出部３００５は、ＰＬＵファイル３１０に登録された商品の照合用特徴量と、特徴量抽出部３００４が抽出した商品の特徴量とを比較することで、ＰＬＵファイル３１０に登録された各商品との類似度をそれぞれ算出する。ここで、類似度は、ＰＬＵファイル３１０に記憶されている商品の照合用特徴量を１００％＝「類似度：１．０」とした場合に、商品の全部または一部がどの程度類似しているかを示すものである。なお、類似度算出部３００５は、例えば、色合いと表面の凹凸状況とでは、重み付けを変えて類似度を算出してもよい。

このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６，[平成２８年１２月７日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２８年１２月７日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

なお、ＰＬＵファイル３１０に登録された各種商品の照合用特徴量と、特徴量抽出部３００４が抽出した商品の特徴量との類似度の算出方法は特に問わないものとする。例えば、類似度算出部３００５は、ＰＬＵファイル３１０に登録された商品の照合用特徴量と、特徴量抽出部３００４が抽出した商品の特徴量との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

特徴量抽出部３００４は、ＲＧＢ画像に限らず、他の形式の画像から特徴量を抽出してもよい。例えば、特徴量抽出部３００４は、撮像制御部３００１が取り込んだ画像データから特徴量を抽出してもよい。すなわち、特徴量抽出部３００４は、撮像部９１が可視光線の波長領域、及び赤外線の波長領域の光に基づいて撮像した、Ｒと、Ｇと、Ｂと、ＩＲとの４つの成分を有する画像データから特徴量を抽出してもよい。この場合、ＰＬＵファイル３１０は、ＲＧＢ画像とＩＲ画像との両方に基づいた照合用特徴量を記憶する。そして、類似度算出部３００５は、ＰＬＵファイル３１０に登録されたＲと、Ｇと、Ｂと、ＩＲとの４つの成分を有する照合用特徴量と比較して類似度を算出する。または、特徴量抽出部３００４は、ＩＲ画像から特徴量を抽出してもよい。この場合、ＰＬＵファイル３１０は、ＩＲ画像に基づいた照合用特徴量を記憶する。そして、類似度算出部３００５は、ＰＬＵファイル３１０に登録されたＩＲの成分を有する照合用特徴量と比較して類似度を算出する。

記憶制御部３００６は、撮像部９１が撮像した画像データ等を画像データテーブル３０８に記憶させる。ここで、図７は、画像データテーブル３０８のデータ構成の一例を示す説明図である。画像データテーブル３０８は、識別番号と、画像データと、特徴量と、類似度とを関連付けて一又は複数記憶する。識別番号は、画像データテーブル３０８に記憶された情報を識別可能な識別情報である。画像データは、撮像制御部３００１が受け付けた画像データである。なお、画像データは、ＲＧＢ画像と、ＩＲ画像とであってもよい。特徴量は、関連付けられた画像データに含まれる商品について特徴量抽出部３００４が抽出した特徴量である。類似度は、関連付けられた画像データに含まれる商品について類似度算出部３００５が算出したＰＬＵファイル３１０に登録された各種商品との類似度である。そして、記憶制御部３００６は、商品が売上登録されたことを条件に、画像データテーブル３０８に記憶させた画像データ等を全て削除する。なお、記憶制御部３００６は、画像データと、特徴量と、類似度とを同一のデータテーブルに限らず、それぞれ異なったデータテーブルに記憶させてもよい。

図６に戻り、商品識別部３００７は、識別手段の一例である。商品識別部３００７は、画像データテーブル３０８に記憶された類似度に基づいて、画像データに含まれる商品に該当する商品をＰＬＵファイル３１０から抽出する。そして、商品識別部３００７は、抽出結果に基づいて、撮像部９１が撮像した画像データに含まれている商品を識別する。商品識別部３００７は、画像データテーブル３０８に記憶された類似度に応じて、確定商品と、商品候補と、抽出不可との段階に分けて抽出する。なお、類似度に応じた分類分けは、一例であって、他の方法による分類分けであってもよい。

ここで、確定商品とは、画像データテーブル３０８に記憶された類似度に基づいて、操作者による確認操作によらずに登録可能な商品であることを示している。商品識別部３００７は、画像データテーブル３０８の類似度の商品ごとに、第１閾値以上の類似度が所定個数以上登録されているか否かを判定する。商品識別部３００７は、第１閾値以上の類似度が所定個数以上登録されている商品を確定商品として抽出する。そして、商品識別部３００７は、抽出した確定商品が画像データに含まれる商品であると識別する。

ここで、商品候補は、撮像部９１が撮像した商品の候補であることを示している。そして、商品候補は、一又は複数の商品候補から該当する商品を選択させる等の操作者の確認操作により販売対象の商品として売上登録される。商品識別部３００７は、画像データテーブル３０８の類似度の商品ごとに、第２閾値以上の類似度が所定個数以上登録されているか否かを判定する。商品識別部３００７は、第２閾値以上の類似度が所定個数以上登録されている商品を商品候補として抽出する。なお、第２閾値は、第１閾値よりも低い値である。なお、商品候補の類似度の所定個数は、確定商品の類似度の所定個数と同一であってもよいし、異なっていてもよい。そして、商品識別部３００７は、商品候補から選択された商品が画像データに含まれる商品であると識別する。

ここで、抽出不可は、画像データに含まれる商品に該当する商品をＰＬＵファイル３１０から抽出できていないことを示している。商品識別部３００７は、画像データテーブル３０８の類似度の商品ごとに、第２閾値以上の類似度が所定個数以上登録されていない場合に、識別不可と識別する。

商品登録部３００８は、商品識別部３００７等が抽出した商品を販売対象の商品として売上登録する。すなわち、商品登録部３００８は、販売対象の商品の商品情報を売上登録する。商品登録部３００８は、商品識別部３００７が確定商品を抽出した場合には、確定商品を販売対象の商品として売上登録する。また、商品登録部３００８は、商品識別部３００７が商品候補を抽出した場合には、商品候補から選択された商品を販売対象の商品として売上登録する。なお、商品登録部３００８は、撮像部９１等がコードシンボル等を読み取った場合等においても、コードシンボルが示す商品コードにより特定される商品を販売対象の商品として売上登録する。

表示制御部３００９は、第１表示部３２、第２表示部３４、第１表示部８２、及び第２表示部８６の全部又は一部を制御して、各種画面を表示させる。例えば、表示制御部３００９は、一又は複数の商品候補から売上登録する商品を選択させる画面を表示させる。また、表示制御部３００９は、商品登録部３００８が登録した販売対象の商品を表示した商品登録画面を表示させる。

操作制御部３０１０は、キーボード３１、タッチパネル３３、タッチパネル８１、及びキーボード８３の全部又は一部を制御して、各種操作を受け付ける。例えば、操作制御部３０１０は、一又は複数の商品候補から売上登録する商品を選択する操作を受け付ける。

次に、ＰＯＳ端末３０が実行する商品登録処理について説明する。ここで、図８は、第１の実施形態のＰＯＳ端末３０が実行する商品登録処理の一例を示すフローチャート図である。

ＰＯＳ端末３０の撮像制御部３００１は、商品読取部９０に撮像部９１による撮像開始を要求する（ステップＳ１）。

ＰＯＳ端末３０の撮像制御部３００１は、商品読取部９０から撮像部９１が撮像した画像データの入力を受け付ける（ステップＳ２）。

ＰＯＳ端末３０の画像生成部３００２は、入力された画像データからＲＧＢ画像と、ＩＲ画像とを生成する（ステップＳ３）。

ＰＯＳ端末３０の商品検出部３００３は、ＩＲ画像から商品を検出することができるか否かを判定する（ステップＳ４）。商品を検出することができなかった場合に（ステップＳ４；Ｎｏ）、ＰＯＳ端末３０は、ステップＳ２に移行する。

一方、商品を検出することができた場合に（ステップＳ４；Ｙｅｓ）、ＰＯＳ端末３０の特徴量抽出部３００４は、商品検出部３００３が検出した商品の特徴量をＲＧＢ画像から抽出する（ステップＳ５）。ＰＯＳ端末３０の類似度算出部３００５は、特徴量抽出部３００４が抽出した特徴量と、ＰＬＵファイル３１０の各種商品の照合用特徴量とを比較して、商品ごとの類似度を算出する（ステップＳ６）。

ＰＯＳ端末３０の記憶制御部３００６は、画像データと、特徴量と、類似度とを画像データテーブル３０８に記憶させる（ステップＳ７）。

ＰＯＳ端末３０の商品識別部３００７は、画像データテーブル３０８に記憶された類似度に基づいて、確定商品を抽出したか否かを判定する（ステップＳ８）。確定商品を抽出した場合に（ステップＳ８；Ｙｅｓ）、ＰＯＳ端末３０の商品登録部３００８は、確定商品を売上登録する（ステップＳ９）。

確定商品を抽出できない場合に（ステップＳ８；Ｎｏ）、ＰＯＳ端末３０の商品識別部３００７は、商品候補を抽出したか否かを判定する（ステップＳ１０）。商品候補を抽出することができない場合に（ステップＳ１０；Ｎｏ）、ＰＯＳ端末３０は、ステップＳ２に移行する。

一方、商品候補を抽出することができることを条件に（ステップＳ１０；Ｙｅｓ）、ＰＯＳ端末３０の表示制御部３００９は、抽出した商品候補を売上登録する商品候補ボタンを商品登録画面に表示する（ステップＳ１１）。

ＰＯＳ端末３０の操作制御部３０１０は、商品候補ボタンの押下が検出されたか否かを判定する（ステップＳ１２）。商品候補ボタンの押下が検出されないことを条件に（ステップＳ１２；Ｎｏ）、ＰＯＳ端末３０は、ステップＳ２に移行する。

一方、商品候補ボタンの押下が検出されたことを条件に（ステップＳ１２；Ｙｅｓ）、ＰＯＳ端末３０の商品登録部３００８は、商品候補ボタンに関連付けられた商品を販売対象の商品として売上登録する（ステップＳ１３）。

次いで、ＰＯＳ端末３０の操作制御部３０１０は、締めキーの押下を検出したか否かを判定する（ステップＳ１４）。締めキーの押下を検出しないことを条件に（ステップＳ１４；Ｎｏ）、ＰＯＳ端末３０は、ステップＳ２に移行する。

一方、締めキーの押下を検出したことを条件に（ステップＳ１４；Ｙｅｓ）、ＰＯＳ端末３０は、商品登録処理を終了する。

以上により、ＰＯＳ端末３０は、商品登録処理を終了する。

以上のように、第１の実施形態に係るＰＯＳ端末３０によれば、撮像部９１は、可視光線の波長領域と、赤外線の波長領域とに対して感度を有している。そして、商品検出部３００３は、撮像部９１が撮像した画像データから生成したＩＲ画像に基づいて、商品を検出する。特徴量抽出部３００４は、撮像部９１が撮像した画像データから生成したＲＧＢ画像から特徴量を抽出する。そして、商品識別部３００７は、特徴量抽出部３００４が抽出した特徴量と、ＰＬＵファイル３１０に記憶された特徴量との類似度に基づいて、商品を識別する。このように、ＰＯＳ端末３０は、ＩＲ画像に基づいて商品を検出しているため、商品の色等に関わらず商品を検出することができる。従って、ＰＯＳ端末３０は、一般物体認識において物品を検出する精度を向上させることができる。

（第２の実施形態）
次に、第２の実施形態について説明する。なお、第１の実施形態との相違点の説明を主に行い、第１の実施形態と同様の機能を有する構成要素については、第１の実施形態と同様の名称・符号を付し、その説明を省略する。

ここで、図９は、第２の実施形態に係るＰＯＳ端末３０が有する特徴的な機能構成を示すブロック図である。第２の実施形態に係るＰＯＳ端末３０は、実行制御部３０１１を備えている点が、第１の実施形態に係るＰＯＳ端末３０と異なっている。

実行制御部３０１１は、実行制御手段の一例である。実行制御部３０１１は、商品検出部３００３、又は特徴量抽出部３００４が処理の対象とする画像の形式を変更して、撮像部９１が撮像した商品を識別する処理を再度実行させる。撮像部９１が撮像した商品を識別する処理とは、例えば図８が示す商品登録処理のステップＳ４からステップＳ１３までの処理等である。

例えば、最初の処理において、商品検出部３００３がＩＲ画像から商品を検出し、特徴量抽出部３００４がＲＧＢ画像から特徴量を抽出したとする。次の処理において、実行制御部３０１１は、商品検出部３００３の対象をＩＲ画像に設定して、特徴量抽出部３００４の対象をＲＧＢとＩＲとの成分を有する画像データに設定して、撮像部９１が撮像した商品を識別する処理を再実行させる。さらに次の処理において、実行制御部３０１１は、商品検出部３００３の対象をＲＧＢとＩＲとの成分を有する画像データに設定して、特徴量抽出部３００４の対象をＩＲ画像に設定して、撮像部９１が撮像した商品を識別する処理を再実行させる。なお、実行制御部３０１１が、何れの形式の画像に設定するかは任意である。さらに、実行制御部３０１１が、再実行させる画像の形式の組み合わせの順番も任意である。また、実行制御部３０１１が、再実行させる回数も任意である。

また、実行制御部３０１１が、再実行を許可する条件が定められていてもよい。例えば、実行制御部３０１１は、商品を識別する処理において、商品識別部３００７が確定商品を抽出していないこと、又は商品候補を抽出していないことを条件の一つとして、再実行させる。また、実行制御部３０１１は、商品検出部３００３が商品を検出してから所定の時間が経過していないことを条件の一つとして、再実行させる。

以上のように、第２の実施形態に係るＰＯＳ端末３０によれば、実行制御部３０１１は、商品検出部３００３が商品を検出する対象画像を変更して、商品の識別を再実行させる。よって、第２の実施形態に係るＰＯＳ端末３０は、ＩＲ画像で商品を検出することができなかった場合であっても、他の形式の画像で商品の検出を試みるため、商品を検出する精度を向上させることができる。また、実行制御部３０１１は、特徴量抽出部３００４が特徴量を抽出する対象画像を変更して、商品の識別を再実行させる。よって、第２の実施形態に係るＰＯＳ端末３０は、ＲＧＢ画像から抽出した特徴量を用いて商品を識別することができなかった場合であっても、他の形式の画像で商品の検出を試みるため、商品を識別する精度を向上させることができる。

さらに、実行制御部３０１１は、所定の時間内であることを条件の一つとして、商品を識別する処理を再実行させる。よって、第２の実施形態に係るＰＯＳ端末３０は、商品を識別する処理を繰り返し実行する場合においても、レスポンスタイムが長くなってしまうことを防止することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

また、上記実施形態では、特徴的な機能（撮像制御部３００１、画像生成部３００２、商品検出部３００３、特徴量抽出部３００４、類似度算出部３００５、記憶制御部３００６、商品識別部３００７、商品登録部３００８、表示制御部３００９、操作制御部３０１０、及び実行制御部３０１１）を有する情報処理装置としてＰＯＳ端末３０を適用した。しかし、これに限らず、これら特徴的な機能（撮像制御部３００１、画像生成部３００２、商品検出部３００３、特徴量抽出部３００４、類似度算出部３００５、記憶制御部３００６、商品識別部３００７、商品登録部３００８、表示制御部３００９、操作制御部３０１０、及び実行制御部３０１１）を有する情報処理装置として商品読取装置２０を適用してもよい。さらに、これら特徴的な機能は、ＰＯＳ端末３０及び商品読取装置２０に分散されていてもよい。

また、上記実施形態では、ＰＯＳ端末３０と商品読取装置２０とを備えるチェックアウトシステム１に適用した。しかし、これに限るものではなく、ＰＯＳ端末３０及び商品読取装置２０の機能を備えた１台構成の装置に適用するようにしてもよい。ＰＯＳ端末３０及び商品読取装置２０の機能を備えた１台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置（以降、単にセルフＰＯＳと称する）が挙げられる。

ここで、図１０は、セルフＰＯＳ１０００の構成の一例を示す斜視図である。図１１は、セルフＰＯＳ１０００のハードウェア構成の一例を示すブロック図である。尚、以下では、図１および図４に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。図１０および図１１に示すように、セルフＰＯＳ１０００の本体１００２は、タッチパネル８１が表面に配設された第１表示部８２や、商品の種別等を認識（検出）するために商品画像を読み取る商品読取部９０を備える。

第１表示部８２は、例えば液晶表示器である。第１表示部８２は、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。

商品読取部９０は、顧客が商品に付されたコードシンボルを商品読取部９０の読取窓２１にかざすことで商品画像を撮像部９１により読み取る。

また、セルフＰＯＳ１０００は、本体１００２の右側に、かごに入った未精算の商品を置くための商品載置台１００３を備える。セルフＰＯＳ１０００は、本体１００２の左側に、精算済みの商品を置くための商品載置台１００４を備える。商品載置台１００４は、精算済みの商品を入れるための袋を掛ける袋掛けフック１００５や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台１００６を備える。商品載置台１００３、１００４は、計量器１００７、１００８がそれぞれ備えられており、精算の前後で商品の重量が同じであることを確認する機能を有する。

また、セルフＰＯＳ１０００の本体１００２は、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器１００１を備える。

このような構成のセルフＰＯＳ１０００をチェックアウトシステム１に適用した場合、セルフＰＯＳ１０００が情報処理装置として機能することになる。

上記実施形態や変形例の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らないものとする。例えば、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。

また、上記実施形態や変形例の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよいし、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

１ チェックアウトシステム
３０ ＰＯＳ端末
９１ 撮像部
３１０ ＰＬＵファイル
３００１ 撮像制御部
３００２ 画像生成部
３００３ 商品検出部
３００４ 特徴量抽出部
３００５ 類似度算出部
３００６ 記憶制御部
３００７ 商品識別部
３００８ 商品登録部
３００９ 表示制御部
３０１０ 操作制御部
３０１１ 実行制御部

特開２０１５−１３２８９１号公報

Claims (6)

1. 第１の波長領域と、第２の波長領域との光に感度を有する撮像部の撮像動作を制御する撮像制御手段と、
   前記撮像部が前記第１の波長領域の光に基づいて撮像した画像から当該画像に含まれる物品を検出する検出手段と、
   前記検出手段が検出した物品の特徴を示す特徴量を、前記撮像部が前記第２の波長領域の光に基づいて撮像した画像から抽出する抽出手段と、
   各物品の照合用の特徴量と、前記抽出手段が抽出した特徴量との類似度を算出する算出手段と、
   前記算出手段が算出した類似度に基づいて前記撮像部が撮像した物品を識別する識別手段と、
   を備える情報処理装置。
2. 前記抽出手段は、前記撮像部が前記第１の波長領域、及び前記第２の波長領域の光に基づいて撮像した画像から、前記検出手段が検出した物品の特徴量を抽出し、
   前記算出手段は、各物品の照合用の特徴量と、前記抽出手段が抽出した特徴量との類似度を算出する、
   請求項１に記載の情報処理装置。
3. 前記検出手段は、前記撮像部が前記第１の波長領域、及び前記第２の波長領域の光に基づいて撮像した画像から、当該撮像部が撮像した物品を検出する、
   請求項１又は２に記載の情報処理装置。
4. 前記検出手段、又は前記抽出手段が処理の対象とする画像を変更して、物品を識別する処理を再度実行させる実行制御手段を更に備える、
   請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記実行制御手段は、前記検出手段が前記物品を検出してから所定の時間が経過していないことを条件の一つとして、再度実行させる、
   請求項４に記載の情報処理装置。
6. コンピュータを、
   第１の波長領域と、第２の波長領域との光に感度を有する撮像部の撮像動作を制御する撮像制御手段と、
   前記撮像部が前記第１の波長領域の光に基づいて撮像した画像から当該画像に含まれる物品を検出する検出手段と、
   前記検出手段が検出した物品の特徴を示す特徴量を、前記撮像部が前記第２の波長領域の光に基づいて撮像した画像から抽出する抽出手段と、
   各物品の照合用の特徴量と、前記抽出手段が抽出した特徴量との類似度を算出する算出手段と、
   前記算出手段が算出した類似度に基づいて前記撮像部が撮像した物品を識別する識別手段と、
   して機能させるためのプログラム。

Images