JP2020064331A - 読取装置およびプログラム - Google Patents

Abstract

【課題】オブジェクト認識処理とコード読取処理との切替えを効率的に行うことができる読取装置およびプログラムを提供することである。【解決手段】実施形態の読取装置は、撮像画像読込手段と、物品検出手段と、物体認識手段と、コード読取手段と、を備える。撮像画像読込手段は、物品までの距離を示す距離情報を対応付けた撮像画像を撮像する撮像装置から、距離情報を対応付けた撮像画像を読み込む。物品検出手段は、撮像画像のうち予め定めた所定の撮像領域内において物品の画像を検出する。物体認識手段は、距離情報に基づいて、所定の撮像領域内で検出された物品のうち撮像装置からの距離が最も近い物品を対象物として物体認識処理を行う。コード読取手段は、距離情報に基づいて、対象物と撮像装置との距離が所定の距離以下となると、所定の撮像領域からコードシンボルを検出して当該コードシンボルからコード情報を読み取るコード読取処理を行う。【選択図】図６

Description

本発明の実施形態は、読取装置およびプログラムに関する。

従来、店舗での売上登録において、オブジェクト認識（一般物体認識、generic object recognition）の機能を有した読取装置を用いて商品を特定する処理、あるいは、商品の候補を選出してオペレータに選択させる処理を行って、商品登録を補助する技術が用いられている。例えば、従来技術として、バーコード等のコードシンボルから商品コードを読み取るコード読取処理と、オブジェクト認識処理とを切替えて商品を特定し、商品登録を行う商品読取装置に関する技術が開示されている。

また近年、登録処理の効率向上またはチェッカの負担軽減のため、登録する商品をカゴまたはレジカウンタ上に置いたままでも、オブジェクト認識による商品特定または商品候補の選定を行うことができる読取装置の開発が進められている。このような読取装置において、オブジェクト認識処理とコード読取処理との切替えの最適化を図って、読取精度あるいは読取効率の向上を図ることができる技術が望まれていた。

本発明が解決しようとする課題は、オブジェクト認識処理とコード読取処理との切替えを効率的に行うことができる読取装置およびプログラムを提供することである。

実施形態の読取装置は、撮像画像読込手段と、物品検出手段と、物体認識手段と、コード読取手段と、を備える。撮像画像読込手段は、物品までの距離を示す距離情報を対応付けた撮像画像を撮像する撮像装置から、前記距離情報を対応付けた撮像画像を読み込む。物品検出手段は、前記撮像画像のうち予め定めた所定の撮像領域内において物品の画像を検出する。物体認識手段は、前記距離情報に基づいて、前記所定の撮像領域内で検出された物品のうち前記撮像装置からの距離が最も近い物品を対象物として物体認識処理を行う。コード読取手段は、前記距離情報に基づいて、前記対象物と前記撮像装置との距離が所定の距離以下となると、前記所定の撮像領域からコードシンボルを検出して当該コードシンボルからコード情報を読み取るコード読取処理を行う。

図１は、本実施形態にかかるＰＯＳシステムの全体構成を示すブロック図である。 図２は、スキャナの外観図である。 図３は、スキャナとは別体として撮像部を設けた場合の外観図である。 図４は、スキャナのＣＰＵが実現する機能構成を示したブロック図である。 図５は、オブジェクト認識処理中の画面例を示した図である。 図６は、商品候補から１つの商品が選択された際の画面構成例を示す図である。 図７は、バーコードの付された商品が掲げられ、コード読取処理が開始した場合の画面例を示した図である。 図８は、スキャナが実行する読取処理の手順例を示したフローチャートである。

以下に添付図面を参照して、本実施形態に係る読取装置およびプログラムの一実施形態を詳細に説明する。以下の実施形態では読取装置として、スーパーマーケットやコンビニエンスストア等で使用されるＰＯＳ（Point Of Sales）端末に接続して用いられるスキャナを適用した例について説明するが、適用例はこれに限定されない。本実施形態の読取装置を、セルフチェックアウト装置に搭載または接続して用いてもよい。

図１は、本実施形態にかかるＰＯＳシステム１００の全体構成を示すブロック図である。ＰＯＳシステム１００は、ＰＯＳ端末１０と、ＰＯＳ端末１０と接続されたスキャナ１０１とを備えている。

ＰＯＳ端末１０は、情報処理を実行するマイクロコンピュータ（制御部６０）を備える。制御部６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１と、ＲＯＭ（Read Only Memory）６２と、ＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。

ＰＯＳ端末１０のＣＰＵ６１には、ドロワ２１、キーボード２２、店員用表示器２３、タッチパネル２６、客用表示器２４が各種の入出力回路を介して接続されている。ＣＰＵ６１はこれら各部を制御する。

ＰＯＳ端末１０のＣＰＵ６１には、ＨＤＤ（Hard Disk Drive）６４が接続されている。ＨＤＤ６４は商品マスタファイルＦ１を格納している。商品マスタファイルＦ１は、開店前等の所定のタイミングでストアコンピュータＳＣから配信されて、ＨＤＤ６４に格納される。

商品マスタファイルＦ１は、商品を識別するための商品コードに対応付けて、当該商品の商品名、単価、分類等の情報を記憶している。また、商品マスタファイルＦ１は、オブジェクト認識に用いる参照用データとして、その商品の撮像画像（基準画像）を格納している。尚、商品マスタファイルＦ１は、オブジェクト認識用の参照用データとして、基準画像から抽出された特徴量、即ち、基準画像の色情報、表面形状、表面の風合い等を示すデータを格納していてもよい。このように、商品マスタファイルＦ１（商品情報記憶手段）は、商品の撮像画像にかかる情報（撮像画像または撮像画像にかかるデータ）と、商品を識別する識別情報（商品コードまたは商品名等）とを対応付けている。

ＰＯＳ端末１０のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信Ｉ／Ｆ（Interface）２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。なお、ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１０に配信される商品マスタファイルＦ１が格納されている。

さらに、ＰＯＳ端末１０のＣＰＵ６１には、スキャナ１０１との間でデータ送受信を可能にする接続Ｉ／Ｆ６５が接続されている。接続Ｉ／Ｆ６５には、スキャナ１０１が接続されている。また、ＰＯＳ端末１０のＣＰＵ６１には、レシートなどに印字するプリンタ６６が接続されている。プリンタ６６は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。

スキャナ１０１は、ＣＰＵ１６１とＲＯＭ１６２とＲＡＭ１６３とがバス接続されているマイクロコンピュータ（制御部１６０）を備えている。ＲＯＭ１６２は、本実施形態にかかるプログラムＰＲを格納している。ＣＰＵ１６１には、各種バスやＩ／Ｆを介して、照明部１１、撮像部１２、音声出力部１６５等が接続されており、これら各部の動作を制御する。制御部１６０は、接続Ｉ／Ｆ１７５を介してＰＯＳ端末１０と接続している。

音声出力部１６５は、予め設定された警告音などを発生するための音声回路とスピーカなどである。照明部１１は例えば複数のＬＥＤ（Light Emitting Diode）をライン状に並べて構成されている。照明部１１は、制御部１６０から入力される発光制御信号に応じてパルス発光し、撮像部１２の撮像領域を照らす。なお、照明部１１はその他の発光素子で構成されてもよい。

撮像部１２は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等のイメージセンサ（撮像素子ともいう）と、レンズ等の光学素子とを備えた撮像装置である。撮像部１２は、撮像制御信号に基づくフレームレート（１秒間に読み込まれるフレーム数）でフレーム画像をＲＡＭ１６３に順次読み込む。

本実施形態では、撮像部１２として、ＴＯＦ（Time Of Flight）機能を有する撮像部１２（ＴＯＦカメラともいう）を用いる。ＴＯＦカメラは、例えば、アレイ状に並んだ赤外ＬＥＤから周波数変調を施した赤外線を投光し、視野内の対象物（物品）から反射してきた変調信号の位相を計測することで、物品までの距離を計測する。ＴＯＦカメラは、リアルタイムに距離情報を取得することができる撮像手段である。即ち、撮像部１２は、物品までの距離を示す距離情報を対応付けた撮像画像を撮像する撮像装置である。

本実施形態のＰＯＳシステム１００はＴＯＦカメラにより距離情報を取得する。これにより、買物カゴの中で一番上側にある物品、即ち、撮像部１２から最も近い物品を選択可能である。また、本実施形態では、距離情報を用いて撮像部１２から商品までの距離を判定し、商品と撮像部１２との距離に応じてオブジェクト認識モードとコード読取モードとを自動的に切替える。

撮像部１２は、距離情報が対応付けられた画像データ、即ち、撮像画像を順次、スキャナ１０１の制御部１６０に出力する。尚、ＰＯＳ端末１０側で各処理を行う場合には撮像画像の出力先はＰＯＳ端末１０の制御部６０とすればよい。

尚、撮像部１２は、フレーム画像を取得するためのイメージセンサと、距離画像を取得するためのＴＯＦカメラとを、それぞれ別のセンサデバイスとして備えていてもよいし、双方の機能を有する１つのセンサデバイスを備えていてもよい。

また、ＣＰＵ１６１には、接続Ｉ／Ｆ１７５、１７６を介して、店員用の操作表示部１０４と、客用表示器１０９（ともに図２も参照）とが接続されている。尚、店員用の操作表示部１０４および客用表示器１０９は、接続Ｉ／Ｆ１７６およびＰＯＳ端末１０の接続Ｉ／Ｆ６５を介して、ＰＯＳ端末１０のＣＰＵ６１に接続されている。店員用の操作表示部１０４は、キーボード１０７と、店員用表示器１０６と、店員用表示器１０６上に配設されたタッチパネル１０５とを備えている。

店員用表示器１０６は例えば液晶ディスプレイで構成され、液晶面上にタッチパネル１０５が積層された構成を有する。客用表示器１０９としては、液晶ディスプレイ、あるいは、複数行を表示することができるラインインジケータ等を用いることができる。

図２は、スキャナ１０１の外観図である。図２に例示するように、スキャナ１０１はサッカー台２の上面に設置されて用いられる。サッカー台２は、その上面に買物カゴや商品等を載置して使用する作業台であり、レジカウンタとして用いられる。スキャナ１０１は、平板型の支持部２０の上端に、店員用の操作表示部１０４を備えている。なお、店員用の操作表示部１０４の反対側には、店員用の操作表示部１０４と略背中合わせとなるように、客用表示器１０９が設けられている。

また、スキャナ１０１は、操作表示部１０４に対面したオペレータから見て手前側であって、店員用表示器１０６の画面より下方となる位置に、撮像部１２を備えている。撮像部１２の位置（高さ）および光軸の角度は、サッカー台２上に置かれた買物カゴ３ａの中身全体が、撮像部１２の撮像領域内に含まれるように構成される。尚、運用時には、買物カゴを用いず商品をサッカー台２上に直接置くとしてもよい。

概略的な運用方法としては、客から購入予定商品の入った買物カゴ３ａを受け取ると、オペレータは買物カゴ３ａを撮像部１２の下方のサッカー台２上に置く。スキャナ１０１は、買物カゴ３ａを認識しオブジェクト認識処理を開始する。スキャナ１０１は、野菜や果物など、オブジェクト認識処理の対象商品については、買物カゴ３ａ内に入れたままでオブジェクト認識処理を行い商品の特定を行う。スキャナ１０１は、商品が特定されて買物カゴ３ａの外に出されたことを検出すると、商品に係る情報をＰＯＳ端末１０に出力する。一方、オブジェクト認識処理の対象商品以外については、オペレータが当該商品をスキャナ１０１の撮像部１２に近づけて、商品に付されているバーコードを撮像部１２に翳してコード読取を行う。スキャナ１０１は、商品コードが読み取られた後に商品が買物カゴ３ａの外に出されたことを検出すると、読み取った商品情報をＰＯＳ端末１０に出力する。

本実施形態において、スキャナ１０１は、撮像対象物が撮像部１２から所定の距離Ｌ１以内となると、読取モードをオブジェクト認識モードからコード読取モードに自動的に切り替えて、コード読取処理を開始する。所定の距離Ｌ１は、サッカー台２のカウンタ上面に対して定められた所定の高さＨ１と捉えることもできる。言い換えれば、スキャナ１０１は、撮像対象物が予め定められたコード読取開始高さＨ１となると、読取モードをオブジェクト認識モードからコード読取モードに切り替えて、コード読取処理を開始する。

スキャナ１０１は、オブジェクト認識モードでは、自然光の下でカラー画像を撮像する。一方、コード読取モードでは、照明部１１（図１参照）を点灯して、モノクロ画像を撮像する。これにより、コード読取モードにおいて、コードシンボルの白黒のコントラストを十分に高めて、コード読取効率、読取精度の向上を図る。

本実施形態では、買物カゴ３ａから商品を取ってバーコードを撮像部１２に翳し、読取後の商品を買物カゴ３ｂに移すという、オペレータが従来行ってきたコード読取処理の一連の動作に沿ったタイミングで、読取モード自動的に切替えることができる。即ち、商品を撮像部１２に近づけて翳すという動作をトリガとして、読取モードをオブジェクト認識モードからコード読取モードに切り替える。従って、オペレータにとっては自然な動作の中で負担無くコード読取モードを開始させることができ、オブジェクト認識処理とコード読取処理との切替えを効率的に行うことができる。

（撮像部のその他の構成例）
尚、図２では、撮像部１２が支持部２０の正面に保持された構成例を示したが、撮像部１２の設置位置はこれに限定されない。

図３は、スキャナとは別体として撮像部を設けた場合の外観図である。図２では、読取対象とする買物カゴ３ａをスキャナ１０１の正面に置いて読み取りを行うとしたが、買物カゴ３ａの載置位置は適宜変更可能である。図３に示すように、スキャナ２１０１の右側に未登録の商品を入れた、読取対象とする買物カゴ３ａを置き、スキャナ２１０１の左側に、登録後の商品を入れた買物カゴ３ｂを置く運用としてもよい。

このような運用方法に合わせて、図３では、スキャナ２１０１とは別体の撮像部２１２を、スキャナ２１０１の右側のサッカー台２上に立設するとした。即ち、撮像部２１２は、撮像部２１２の支持部２２０により、サッカー台２の上面に設置される。撮像部２１２の高さおよび光軸の角度は、読取対象とする買物カゴ３ａの中身全体が撮像領域に含まれるように構成される。尚、撮像部２１２のハードウェア構成、および、スキャナ２１０１の他の構成との接続に変更はない。図１で示したように撮像部２１２は、接続Ｉ／Ｆ１７５を介して、スキャナ２１０１のＣＰＵ１６１およびＰＯＳ端末１０に接続される。

図３に示した構成においても、図２と同様に読取モードを切り替える際の位置を、撮像部１２からの所定の距離Ｌ１と設定すればよい。あるいは、サッカー台２のカウンタ上面からの高さであるコード読取開始高さＨ１を、モード切替の判定基準としてもよい。

尚、未登録の商品を入れた読取対象の買物カゴ３ａをスキャナ２１０１の左右どちらに置くかについては、店舗のレイアウト等に応じて適宜変更可能とする。図３とは左右を入れ替えて、スキャナ２１０１の左側のサッカー台２の上面に、撮像部２１２の支持部２２０を設置してもよい。

次に、本実施形態のスキャナ１０１が実行するプログラムＰＲ（図１参照）について説明する。ソフトウェア構成については、上述のスキャナ１０１、２１０１のいずれの構成においても差異なく適用できるので、以下ではスキャナ１０１での実施として符号を付して説明する。

図４は、スキャナ１０１のＣＰＵ１６１が実現する機能構成を示したブロック図である。スキャナ１０１のＲＯＭ１６２に格納されたプログラムＰＲ（図１参照）は、図４に示すように、距離画像読込部５１、対象物選択部５２、候補抽出部５３、表示制御部５４、操作受付部５５、コード読取部５６、撮像モード切替部５７、情報出力部５８を含むモジュール構成となっている。ＣＰＵ１６１（プロセッサ）は、ＲＯＭ１６２からプログラムＰＲを読み出して、上記各部を主記憶装置上にロードする。これにより、上記各部が主記憶装置上に生成される。

なお、本実施形態のスキャナ１０１で実行されるプログラムＰＲは、ＲＯＭ１６２に予め組み込まれて提供される。本実施形態のスキャナ１０１で実行されるプログラムＰＲは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施形態のスキャナ１０１で実行されるプログラムＰＲを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のスキャナ１０１で実行されるプログラムＰＲをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、本実施形態のプログラムＰＲをＰＯＳ端末１０のＨＤＤ６４等に格納し、ＰＯＳ端末１０のＣＰＵ６１が実行することにより、上記各部の機能を実現してもよい。次に、各部の機能について説明する。

距離画像読込部５１（撮像画像読込手段）は、撮像部１２が撮像した撮像画像（距離画像）を、スキャナ１０１のＲＡＭ１６３上に読み込む。

対象物選択部５２（物品検出手段）は、撮像画像のうち予め定めた所定の撮像領域内において物品の画像を検出する。所定の撮像領域内としては、買物カゴ３ａを載置する際に用いる案内表示７２（図５参照）の領域内や、買物カゴ３ａの内側の撮像領域の領域内などとすればよい。

また、対象物選択部５２は、距離情報に基づいて、撮像部１２からの距離が近い順に物品を登録処理の対象物として選択する。例えば、対象物選択部５２は、距離画像を距離ごとに多層構造の画像に分割し、距離情報と位置情報（２次元の位置を示す情報）とに基づいて、ひとかたまりと認識された物品を抽出する。対象物選択部５２は、最上層に位置する物品を、撮像部１２から最も近い物品とし、登録処理の対象物として選択する。

尚、物品を抽出（検出）する際には、距離情報を特に含まない２次元のカラー画像またはモノクロ画像を用いて、エッジ検出等の処理を行い、物品を抽出してもよい。また、距離情報、位置情報、エッジ検出等の処理は適宜組み合わせてもよいし、各処理を組み合わせる手順は特に限定しないとする。

候補抽出部５３は、対象物選択部５２が選択した対象物の画像に対して、オブジェクト認識処理を開始する。即ち、対象物選択部５２および候補抽出部５３は、距離情報に基づいて、対象物選択部５２が上述の所定の撮像領域内で検出した物品のうち、撮像部１２からの距離が最も近い物品を対象物としてオブジェクト認識処理（物体認識処理）を行う物体認識手段として機能する。

尚、オブジェクト認識は、撮像画像データから対象となる物品の外見的特徴を識別し、物品の種別等を特定する技術である。候補抽出部５３は、対象物選択部５２が選択した物品の画像領域から、外観特徴を示すデータである特徴量を抽出する。候補抽出部５３は、抽出した特徴量を、商品マスタファイルＦ１が有する各商品の基準画像の特徴量データと照合して類似度を算出する。候補抽出部５３は、類似度の高い商品を、商品候補として少なくとも１つ抽出する。

候補抽出部５３は、オブジェクト認識処理の結果として、登録対象とする物品に類似した商品の候補（商品候補）を、商品マスタファイルＦ１（図１参照）から少なくとも１つ抽出する。即ち、候補抽出部５３（候補選択手段）は、商品マスタファイルＦ１から、対象物選択部５２が選択した対象物に対応する商品候補を選択する。

表示制御部５４は、スキャナ１０１の店員用表示器１０６、客用表示器１０９に出力する表示データをそれぞれ生成し、各表示器における表示処理を制御する。例えば、表示制御部５４は、スキャナ１０１の店員用表示器１０６に、商品の読取処理時に表示する読取画面７０（図５〜図７参照）を表示する。また、表示制御部５４（表示出力手段）は、候補抽出部５３が選択した商品候補を示す情報を店員用表示器１０６に選択可能に表示するための表示データを生成し、店員用表示器１０６に出力する。画面構成例については後述する。

操作受付部５５は、スキャナ１０１のキーボード１０７およびタッチパネル１０５に対する操作を受付ける。例えば、操作受付部５５は、表示制御部５４が店員用表示器１０６に表示した商品候補に対し、１つの商品を選択する操作を受付ける。また、操作受付部５５（操作受付手段）は、表示制御部５４が表示出力した表示画面を介して、候補抽出部５３が選択した商品候補を販売対象の商品として選択する操作を受付ける。

コード読取部５６（コード読取手段）は、距離画像が有する距離情報に基づいて、撮像対象物と撮像部１２との距離が予め設定された所定の距離Ｌ１以下となると、コード読取処理を開始する。コード読取部５６は、コード読取処理において、所定の撮像領域からバーコード等のコードシンボルを検出して、当該コードシンボルをデコードし、商品コードや値引コード等のコード情報を読み取る。所定の撮像領域内としては、買物カゴ３ａを載置する際に用いる案内表示７２（図５参照）の領域内や、買物カゴ３ａの内側の撮像領域内などとすればよい。

撮像モード切替部５７（撮像条件切替手段）は、対象物選択部５２が選択した対象物と撮像部１２との距離が所定の距離Ｌ１以下となると、撮像部１２の読取モードを、オブジェクト認識モードからコード読取モードに切り替える。この際に、撮像モード切替部５７は、撮像部１２の撮像条件を、オブジェクト認識処理時の撮像条件から、コード読取処理時の撮像条件に切替える。

オブジェクト認識モードでは、自然光での撮像とし、照明部１１はオフとする。また、オブジェクト認識モードでは、距離画像読込部５１は撮像部１２からＲＧＢ画像等のカラー画像を読み込む。オブジェクト認識モードでは、表面の素材感が得られる程度の画質が得られればよい。従って、オブジェクト認識モードでは高解像度の画像とする必要がないので、距離画像読込部５１は撮像部１２から動画像を取り込んでもよいし、静止画像を取り込む場合には、シャッタースピードを上げる必要はない。即ち、所定のフレームレートでフレーム画像を取り込む場合には、フレームレートを低めに設定してよい。また、画像にノイズが多少のっていても画像の特徴量を抽出することができるので、照明無しの状態でも撮像素子のゲインを上げて、感度を上げた状態で撮像画像を得ればよい。

一方、コード読取モードでは、バーコードや二次元コード等のコードシンボルに対して、黒色部分のエッジを検出しなければならない。従って、コード読取モードでは、照明を用いた撮像とし、照明部１１を点灯させる。また、コード読取モードでは、距離画像読込部５１は撮像部１２によりモノクロ画像を読み込む。また、撮像素子のゲインを上げると、感度が上がるのでノイズが乗り易いため、コード読取モードでは撮像素子のゲインを下げて、ノイズの低下を図り、これによりエッジ検出をしやすくする。また、コード読取モードでは、距離画像読込部５１は撮像部１２により静止画を撮像するとし、コードシンボル画像のエッジがぶれないように、シャッタースピードを上げるとよい。

尚、上述ではオブジェクト認識モードで照明部１１をオフとするとしたが、コード読取モードよりも暗めの照度で照明部１１を点灯させておいてもよい。即ち言い換えれば、撮像モード切替部５７は、コード読取処理において撮像用の照明の照度を上げる。

情報出力部５８（情報出力手段）は、対象物選択部５２が選択した対象物が所定の撮像領域外に出ると、コード読取部５６が読み取ったコード情報を販売対象にかかる情報として、ＰＯＳ端末１０に出力する。所定の撮像領域内としては、買物カゴ３ａを載置する際に用いる案内表示７２（図５参照）の領域内や、買物カゴ３ａの内側の撮像領域内などとすればよい。

また、情報出力部５８は、対象物選択部５２が選択した対象物と撮像部１２との距離が所定の距離Ｌ１以下にはならずに当該対象物が上述した所定の撮像領域外（例えば、買物カゴ３ａの画像領域外）に出ると、操作受付部５５が選択操作を受付けた商品候補を示す情報を、販売対象にかかる情報としてＰＯＳ端末１０に出力する。

尚、販売対象にかかる情報の出力先はＰＯＳ端末１０に限定されず、スキャナ１０１の適用先のシステムに応じてその他の装置に出力してもよい。

なお、ＰＯＳ端末１０のＣＰＵ６１（図１参照）は、スキャナ１０１の情報出力部５が出力した商品情報を受信して、当該商品情報に基づき、対象物の情報登録を行う登録手段として機能する。尚、情報登録としては商品の販売登録に限定されず、値引きクーポンや、レジ袋等の要・不要、募金の申込み等を示すカード等の物品から各種情報処理に必要な情報を読み取って、登録する処理を行ってもよい。また、この際に、会員カードから読み取った会員情報を対応付けて登録してもよい。

次に、図５ないし図７を参照して、表示画面の構成例および遷移例について説明する。

図５は、読取画面７０の構成例を示した図である。読取画面７０には、撮像部１２の撮像画像７１がリアルタイムで表示される。表示制御部５４は、撮像画像７１の表示領域に、買物カゴ３ａを載置すべき位置を示した案内表示（ガイドライン）７２を表示する。案内表示７２は、例えば色付きの枠線等で表示すると分かり易い。一例として、案内表示７２を黄色の長方形状の枠線とするとよい。

このように案内表示７２を画面上に表示することで、撮像部１２の撮像領域内に収まるように、買物カゴ３ａを置くことができる。また、買物カゴ３ａを用いずに、商品をサッカー台２上に直接置く場合にも、撮像領域内に収まるように商品を置くことができる。オブジェクト認識処理およびコード読取処理は、案内表示７２の領域内の物品に対して実行される。また、いずれかの処理により読み込まれた商品情報は、対象物が案内表示７２の領域外から出たことが検出されると、ＰＯＳ端末１０に出力される。尚、案内表示７２を表示せずに、買物カゴ３ａの画像領域を自動的に認識し、買物カゴ３ａ内の物品に対してオブジェクト認識処理およびコード読取処理を行い、商品が買物カゴ３ａから出たことが検出されると、ＰＯＳ端末１０に出力されるとしてもよい。

表示制御部５４は、読取画面７０において、対象物選択部５２が選択した登録対象の物品を、撮像画像上で判別可能な状態で表示する。例えば、表示制御部５４は、登録対象とする商品Ａに第１の識別表示７３を付して表示する。一例として、第１の識別表示７３を、登録対象とする物品の画像領域をほぼ囲う、色付きの枠線（例えば、赤枠）等で構成するとよい。商品の形状は多種多用であるから、枠線は特に長方形状でなくともよく、円形や楕円状としてもよいし、形状に合わせて適宜変更してもよい。また、第１の識別表示７３は、まだ商品の特定がなされていない物品に付されるので、枠線を点線などで表示してもよいし、枠線を点滅して表示してもよい。あるいは、第１の識別表示７３を枠線ではなく、マークで構成してもよいし、当該マークにテキストやイラストを含めてもよい。

また、表示制御部５４は、候補抽出部５３が抽出した少なくとも１つの商品候補について、当該商品候補を示す情報として、例えば商品名、商品のイラストあるいは写真画像等を商品マスタファイルＦ１から読み込んで、店員用表示器１０６に表示する。読取画面７０において、撮像画像７１の右隣の表示領域は、商品候補を表示するための表示領域として用いられる。図５では、商品Ａに類似する商品候補として、２つの商品候補７４ａ〜７４ｂが抽出された例を示している。表示制御部５４は、各商品候補７４ａ〜７４ｂに対応するイラストを、類似度の高い順に上から並べて表示する。尚、類似度が高い商品候補が１つしか抽出されなかった場合には、当該１つの商品候補のイラストが表示される。

図６は、商品候補から１つの商品が選択された際の画面構成例を示す図である。表示制御部５４は、操作受付部５５が商品候補７４ａに対する選択操作を受付けると、第１の識別表示７３に替わって、第１の識別表示７３とは異なる第２の識別表示７５を、登録対象として選択された商品Ａに付して表示する。一例として、第１の識別表示７３を赤枠で表示し、一の商品候補が選択されると、表示制御部５４は第２の識別表示７５を青枠で表示するとよい。あるいは、第２の識別表示７５として、枠内を網掛けして、特定済みの物品をグレイアウトさせて表示してもよい。あるいは、第２の識別表示７５として「済」などのマークを表示し、特定処理が済んでいることを明示してもよい。

また、表示制御部５４は、一の商品候補が選択されると、選択された商品候補７４ａのイラストのみを残し、選択されなかった商品候補７４ｂ（図５参照）のイラストはグレイアウトとする。

また、表示制御部５４は、一の商品候補が選択されると、選択された商品候補に対応付けられた商品情報を商品マスタファイルＦ１から読み込んで、商品の数量とともに、読込情報表示領域７６に表示する。尚、表示制御部５４は、客用表示器１０９においても読込情報表示領域７６に表示した内容と同等の情報を表示する。

尚、図６に示すように、読取画面７０には、ＰＬＵ（Price Look Up）ボタン８１、コード入力ボタン８２、再認識ボタン８３、取消ボタン８４等が設けられている。ＰＬＵボタン８１は、商品マスタファイルＦ１に問い合わせて商品分類や商品名等に基づいて商品を選択する処理を開始するための操作子である。コード入力ボタン８２は、キーボード１０７のテンキー等を介して、商品コードを入力し、商品マスタファイルＦ１から該当する商品の商品情報を読み込む処理を開始するための操作子である。再認識ボタン８３は、適切な商品候補が選出されない場合等に、再度オブジェクト認識を実行させるための操作子である。取消ボタン８４は、１つの商品候補が選択されて、読込情報表示領域７６に商品情報が表示された後に、当該商品の登録を取り消すための操作子である。

第２の識別表示７５（例えば、青枠）で囲われ、商品名が特定された商品Ａが買物カゴ３ａから取り出されると、対象物選択部５２は商品Ａがフレームアウトしたことを検出する。表示制御部５４は読取画面７０を更新して、商品候補７４ａの操作子、読込情報表示領域７６に表示された情報などを消去する。情報出力部５８は、読込情報表示領域７６に表示していた商品名、個数、価格等の、商品マスタファイルＦ１から読み込んだ商品情報を、ＰＯＳ端末１０に出力する。ＰＯＳ端末１０の制御部６０は、受信した商品情報を、商品登録用の登録画面に表示する。

対象物選択部５２は、上記物品がフレームアウトした後の撮像画像（距離画像）および距離情報に基づいて、最上層に位置している物品を、次の登録処理対象の物品として選択する。表示制御部５４は、対象物選択部５２が選択した物品に上述した第１の識別表示７３（例えば、赤枠）を付して表示する。候補抽出部５３は、対象物選択部５２が選択した物品の画像に対して、オブジェクト認識処理を開始し、商品候補を抽出する。

このように、本実施形態では、読取の終わった商品が買物カゴ３ａ（即ち、案内表示７２の撮像領域）から取り出されたことをトリガとして、次の商品の読取に自動的に移行する。

次に、オペレータが買物カゴからバーコードの付された商品を持ち上げて、撮像部１２に近づけてコード読取処理を行う場合の画面例について説明する。

図７は、バーコードの付された商品が掲げられ、コード読取処理が開始した場合の画面例を示した図である。図７の例において、商品Ｂが持ち上げられて撮像部１２に近づけられると、当該商品Ｂは、撮像部１２からの距離が最も近くなる。従って、対象物選択部５２は、距離画像の距離情報に基づいて、最上層に位置している商品Ｂを、登録処理の対象物として選択する。表示制御部５４は、対象物選択部５２が選択した商品Ｂに上述した第１の識別表示７３（例えば、赤枠）を付して表示する。候補抽出部５３は、対象物選択部５２が選択した対象物の画像に対してオブジェクト認識処理を開始する。

商品Ｂがさらに高く掲げられ、撮像部１２からの距離が所定の距離Ｌ１以下となり、サッカー台２のカウンタ上面からの高さがＨ１以上となると、撮像モード切替部５７は、読取モードをオブジェクト認識モードからコード読取モードに切り替える。候補抽出部５３は、オブジェクト認識処理を中断し、コード読取部５６はコード読取処理を開始して、撮像画像に含まれるバーコードの画像９３をデコードし、商品コードを読み取る。コード読取部５６は、読み取った商品コードに対応する商品情報を商品マスタファイルＦ１から読み込む。表示制御部５４は、商品マスタファイルＦ１から読み取られた商品情報を読込情報表示領域７６に表示する。商品情報としては、図７に例示するように、読み取られた商品コード、商品名、商品マスタファイルＦ１から読み込んだ単価などの情報を適用できる。

尚、商品Ｂと撮像部１２との距離が所定の距離Ｌ１以下となり、対象物に対する処理がオブジェクト認識処理からコード読取処理に切り替わった際に、第１の識別表示７３（例えば、赤枠）に第１の識別表示７３とは異なる第３の識別表示（例えば、緑枠）を付して処理が切替わったことを示してもよい。第３の識別表示として、例えば「コード読取中」のメッセージや、バーコードのマークなど点滅させて表示してコード読取処理中であることをオペレータに報知してもよい。

商品情報の読取後、すなわち、商品情報が読込情報表示領域７６に表示出力された後に、商品Ｂが買物カゴ３ａから取り出されて、商品Ｂの画像が案内表示７２の領域外に出たことが検出されると、情報出力部５８は当該商品の商品情報をＰＯＳ端末１０に出力する。ＰＯＳ端末１０は、受信した商品情報を販売対象商品の情報として店員用表示器２３、客用表示器２４に表示し、売上データとして登録する。

尚、商品Ｂと撮像部１２との距離が一度所定の距離Ｌ１以下となったものの、その後、商品コードが読み取られずに、商品Ｂと撮像部１２との距離が所定の距離Ｌ１より大きくなった場合には、撮像モード切替部５７は読取モードをオブジェクト認識モードに戻す。このように本実施形態のスキャナ１０１は、撮像部１２との距離で商品Ｂに対する読取方法を簡便に切り替えることができる。

一般的に、オブジェクト認識では自然光の下で撮像した撮像画像を用いれば認識処理は十分行うことが可能であり、逆に照明を用いると照明ムラが発生して認識率が低下しやすい。また、オブジェクト認識で照明を用いると、実機搭載時に照明具の種類や設置箇所が異なる場合もあり、装置毎に商品上での照明の当たり方が変化する可能性がある。従って、照明具による照明下で画像を撮像する場合、装置毎にオブジェクト認識の学習を行わなければならず、学習コストが増大してしまう。このように、オブジェクト認識では自然光を用いて画像を撮像した方が認識率を向上させやすい。

一方で、コード読取処理では、撮像画像において、コードシンボルのエッジコントラストが鮮明な方がコード読取率を向上させることができる。即ち、自然光下で撮像するよりも、照明具を用いた方がコード読取効率を向上させやすい。

このように、オブジェクト認識処理とコード読取処理とでは、好適な照明方法が異なるため、従来、双方の読取効率をより簡便な方法でともに向上させたいという課題があった。

これに対して本実施形態では、オブジェクト認識処理の対象物と撮像部１２との距離が所定の距離Ｌ１（図５参照）以下となると、オブジェクト認識処理からコード読取処理に切り替わり、同時に、撮像装置の撮像条件（撮像モード）を切替えるとした。これにより、バーコードの付された商品は従来と同様に読取窓にかざす動作を行えば、商品と撮像部１２との距離が近づくことにより、コード読取処理に適した撮像モードに切り替わってバーコードを撮像することができる。従って、対象物をカゴに入れたままオブジェクト認識処理を行える読取装置においても、自動的に撮像条件を切替えて、コードシンボルの読取精度あるいは読取効率の向上を図ることができる。

次に、スキャナ１０１が実行する読取処理の手順例について説明する。図８は、スキャナ１０１が実行する読取処理の手順例を示したフローチャートである。

距離画像読込部５１は、撮像部１２の撮像画像（距離画像）の取り込みを開始する（ステップＳ１）。撮像モード切替部５７は、撮像部１２をオブジェクト認識モードとして、所定のフレームレートによる撮像を開始する（ステップＳ２）。対象物選択部５２は、案内表示７２の領域内において、距離情報に基づいて最上層に位置する物品を、撮像部１２から一番近い物品として選択する（ステップＳ３）。

候補抽出部５３は、ステップＳ２で選択された物品の画像に対して、オブジェクト認識処理を行い、商品候補を抽出する（ステップＳ４）。表示制御部５４は、ステップＳ４で抽出された商品候補を示すイラスト（アイコン）を読取画面７０に表示する（ステップＳ５）。操作受付部５５はいずれか１つの商品候補に対する選択操作を受付けたか否かを判定する（ステップＳ６）。選択操作を受付けると（ステップＳ６：Ｙｅｓ）、表示制御部５４は、選択された商品候補の商品情報を商品マスタファイルＦ１から読み込んで、読込情報表示領域７６に表示する。

対象物選択部５２は、オブジェクト認識処理の対象物が買物カゴ３ａから取り出されて、案内表示７２（図５参照）の領域外に出たか否かを判定する（ステップＳ７）。ステップＳ７：Ｎｏであれば、ステップＳ７で待つ。ステップＳ７：Ｙｅｓであれば、情報出力部５８は、商品マスタファイルＦ１から読み込んだ商品情報をＰＯＳ端末１０に出力する（ステップＳ８）。その後、ステップＳ１４に移行する。

ステップＳ６：Ｎｏであれば、対象物選択部５２は、オブジェクト認識の対象物の画像、即ち、撮像部１２から一番近い物品の画像について、撮像部１２からの距離が所定の距離Ｌ１以下となり、コード読取開始高さＨ１以上に持ち上げられたか判定する（ステップＳ９）。ステップＳ９：Ｎｏであれば、ステップＳ２に戻る。ステップＳ９：Ｙｅｓであれば、撮像モード切替部５７は、撮像部１２の撮像モードをオブジェクト認識モードからコード読取モードに切り替えて、照明部１１を点灯させる（ステップＳ１０）。コード読取部５６は、コード読取処理を開始して、撮像画像からバーコードの画像領域を抽出する。バーコードの画像領域が抽出されると、コード読取部５６は当該バーコードをデコードして商品コードを読み取り、商品コードに対応する商品情報を商品マスタファイルＦ１から読み込む。表示制御部５４は、読み込まれた商品情報を読込情報表示領域７６に表示する。

コード読取が無ければ（ステップＳ１１：Ｎｏ）、ステップＳ９に戻る。コード読取後（ステップＳ１１：Ｙｅｓ）はステップＳ１２に移行し、対象物選択部５２は、コード読取処理の対象物が買物カゴ３ａから取り出されて、案内表示７２の領域外に出たか否かを判定する（ステップＳ１２）。ステップＳ１２：ＮｏであればステップＳ１２で待つ。ステップＳ１２：Ｙｅｓであれば、情報出力部５８は、商品マスタファイルＦ１から読み込んだ商品情報をＰＯＳ端末１０に出力し（ステップＳ１３）、ステップＳ１４に移行する。

操作受付部５５が、キーボード１０７において読取終了ボタン（不図示）等のキー操作を受付けて、読取終了の指示を受付けると（ステップＳ１４：Ｙｅｓ）、距離画像読込部５１は撮像画像の取り込みを終了し（ステップＳ１５）、撮像部１２をオフとする撮像オフ信号を撮像部１２に出力する。撮像部１２は撮像動作を終了し、照明部１１が点灯している場合には消灯する。ステップＳ１４：Ｎｏであれば、ステップＳ２に戻って、オブジェクト認識処理を行う。

なお、上述では、対象物が案内表示７２の領域外に出た際に、商品が買物カゴ３ａから取り出されたと判定するとしたが、商品が買物カゴ３ａから取り出された際の判定方法はこれに限定されない。その他の例として、買物カゴ３ａを画像認識で識別し、対象物が買物カゴ３ａとして認識した画像の領域外に出たことをトリガとして、商品情報をＰＯＳ端末１０に出力してもよい。

また、買物カゴ３ａから出たことを判定する際に、案内表示７２の画像領域に対して横方向に領域外となったか否かを判定してもよいし、高さ方向（即ち、撮像部１２との距離）に領域外となったか否かを併せて判定してもよい。この場合、例えば、買物カゴ３ａの高さをスキャナ１０１に設定しておき、商品が買物カゴ３ａの高さよりも高い位置となって、かつ、買物カゴ３ａに対して横方向に領域外となった場合に、商品が買物カゴ３ａから取り出されたと判定すればよい。なお、商品が買物カゴ３ａの高さよりも高い位置に取り上げられた後さらに、上述のコード読取開始高さＨ１（図２、図３参照）よりも高い位置となった場合には、上述したようにコード読取処理を開始すればよい。

尚、再認識ボタン８３、ＰＬＵボタン８１およびコード入力ボタン８２（ともに図６参照）に対する応答は随時割り込み可能とする。即ち、操作受付部５５が再認識ボタン８３の操作を受付けるとステップＳ２に移行し、候補抽出部５３は再度、撮像部１２から一番近い物品を選択し（ステップＳ３）、オブジェクト認識処理を実行して商品候補抽出をリトライする（ステップＳ４）。ステップＳ５以降の手順は上述と同様である。

一方、ＰＬＵボタン８１が操作されると、情報出力部５８は商品マスタファイルＦ１から商品を選択するＰＬＵ処理を開始する。ＰＬＵ処理については、従来一般的に利用されている技術を適用すればよい。情報出力部５８は、商品分類により階層的に構成された商品選択画面等を介して、商品の選択を受付ける。そして、情報出力部５８は、選択された商品の商品情報を商品マスタファイルＦ１から読み込んで、ステップＳ７に移行する。

また、コード入力ボタン８２が操作されると、情報出力部５８はテンキー等から商品コードを直接受付けるコード受付処理を開始する。コード受付処理については、従来一般的に利用されている技術を適用すればよい。即ち、情報出力部５８は、キーボード１０７のテンキー等を介して商品コードが入力されると、当該商品コードに対応する商品情報を商品マスタファイルＦ１から読み込んで、ステップＳ７に移行する。

このように、本実施形態では、オブジェクト認識処理の対象物と撮像装置との距離が所定の距離以下となると、オブジェクト認識処理からコード読取処理に自動的に切り替わる。従って、バーコードの付された商品については従来と同様に読取窓にかざす動作を行えば、自動的にコード読取処理を開始することができる。つまり、従来慣れた動作をトリガとして、オブジェクト認識処理からコード読取処理に切替えることができる。従って、本実施形態によれば、オブジェクト認識処理とコード読取処理との切替えを効率的に行うことができる読取装置およびプログラムを提供することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ ＰＯＳ端末
１１ 照明部
１２、２１２ 撮像部
５１ 距離画像読込部
５２ 対象物選択部
５３ 候補抽出部
５４ 表示制御部
５５ 操作受付部
５６ コード読取部
５７ 撮像モード切替部
５８ 情報出力部
１００ ＰＯＳシステム
１０１、２１０１ スキャナ

特許第５２７０７７０号公報

Claims (6)

1. 物品までの距離を示す距離情報を対応付けた撮像画像を撮像する撮像装置から、前記距離情報を対応付けた撮像画像を読み込む撮像画像読込手段と、
   前記撮像画像のうち予め定めた所定の撮像領域内において物品の画像を検出する物品検出手段と、
   前記距離情報に基づいて、前記所定の撮像領域内で検出された物品のうち前記撮像装置からの距離が最も近い物品を対象物として物体認識処理を行う物体認識手段と、
   前記距離情報に基づいて、前記対象物と前記撮像装置との距離が所定の距離以下となると、前記所定の撮像領域からコードシンボルを検出して当該コードシンボルからコード情報を読み取るコード読取処理を行うコード読取手段と、
   を備えた読取装置。
2. 前記対象物と前記撮像装置との距離が前記所定の距離以下となると、前記撮像装置の撮像条件を切替える撮像条件切替手段を更に備える、請求項１に記載の読取装置。
3. 前記撮像条件切替手段は、前記コード読取処理において撮像用の照明の照度を上げる、請求項２に記載の読取装置。
4. 前記対象物が前記所定の撮像領域外に出ると、前記コード読取手段が読み取った前記コード情報を販売対象にかかる情報として出力する情報出力手段を更に備えた、請求項１ないし３のいずれか１つに記載の読取装置。
5. 前記読取装置は、
   前記物体認識処理において、商品の撮像画像にかかる情報と商品を識別する識別情報とを対応付けた商品情報記憶手段から前記対象物に対応する商品候補を選択する候補選択手段と、
   前記商品候補を示す情報を表示器に選択可能に出力する表示出力手段と、
   前記商品候補を販売対象の商品として選択する操作を受付ける操作受付手段とを更に備え、
   前記情報出力手段は、前記対象物と前記撮像装置との距離が前記所定の距離以下にはならずに前記対象物が前記所定の撮像領域外に出ると、前記操作受付手段が選択操作を受付けた前記商品候補を示す情報を、販売対象にかかる情報として出力する、請求項４に記載の読取装置。
6. 読取装置を制御するコンピュータを、
   物品までの距離を示す距離情報を対応付けた撮像画像を撮像する撮像装置から、前記距離情報を対応付けた撮像画像を読み込む撮像画像読込手段と、
   前記撮像画像のうち予め定めた所定の撮像領域内において物品の画像を検出する物品検出手段と、
   前記距離情報に基づいて、前記所定の撮像領域内で検出された物品のうち前記撮像装置からの距離が最も近い物品を対象物として物体認識処理を行う物体認識手段と、
   前記距離情報に基づいて、前記対象物と前記撮像装置との距離が所定の距離以下となると、前記所定の撮像領域からコードシンボルを検出して当該コードシンボルからコード情報を読み取るコード読取処理を行うコード読取手段と、
   として機能させるプログラム。

Images