JP2014052805A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】物品の特定にかかる処理速度を低下させることなく、効率的に処理を行うことを可能とする。
【解決手段】撮像手段が撮像した画像を順次取り込む取込手段と、前記取り込まれた画像に含まれる物品を検出する検出手段と、前記取り込まれた画像に含まれるコードシンボルを読み取る第１の読取処理を行う第１の読取手段と、前記物品が検出された画像の特徴量を読み取ることによって前記検出された物品を認識する第２の読取処理を行う第２の読取手段と、前記第１の読取処理により前記コードシンボルを読み取らせ、当該コードシンボルが読み取られない状態で、且つ前記検出手段での前記商品の検出が所定時間継続した場合に、前記第１の読取処理及び前記第２の読取処理を切り替える切替手段と、を備える。
【選択図】図１

Description

本発明の実施形態は、情報処理装置及びプログラムに関する。

従来、商品に添付したバーコードやＱＲコード（登録商標）などのコードシンボルの読み取りを行い、商品の売上登録を行う技術が知られている。また、物品を撮像した画像データから当該物品の特徴量を抽出し、予め用意された照合用のデータ（特徴量）と比較して当該物品の種別等を認識（検出）する一般物体認識に係る技術を用いて売上登録する商品を特定する技術が開発されている。

上述した技術を併用した場合、コードシンボルの読み取り処理とともに、物品の外観から商品を識別するオブジェクト認識処理が並行して行われていることから、商品の特定にかかる処理速度を低下させる場合や、コードシンボルの読み取りにより商品の特定が行われた後に物体認識処理が行われる場合があり、より効率的な処理が望まれている。

上述した課題を解決するために、実施形態の情報処理装置は、取込手段と、検出手段と、第１の読取手段と、第２の読取手段と、切替手段とを備える。取込手段は、撮像手段が撮像した画像を順次取り込む。検出手段は、前記取り込まれた画像に含まれる物品を検出する。読取手段は、前記取り込まれた画像に含まれるコードシンボルを読み取る第１の読取処理を行う。第２の読取手段は、前記物品が検出された画像の特徴量を読み取ることによって前記検出された物品を認識する第２の読取処理を行う。切替手段は、前記第１の読取処理により前記コードシンボルを読み取らせ、当該コードシンボルが読み取られない状態で、且つ前記検出手段での前記商品の検出が所定時間継続した場合に、前記第１の読取処理及び前記第２の読取処理を切り替える。

図１は、実施形態に係るチェックアウトシステムの一例を示す斜視図である。 図２は、商品読取装置が備える撮像部の撮像範囲を説明するための図である。 図３は、商品読取装置が備える撮像部の撮像範囲を説明するための図である。 図４は、商品読取装置が備える撮像部の他の構成例を説明するための図である。 図５は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。 図６は、ＰＬＵファイルのデータ構成を例示する概念図である。 図７は、ＰＯＳ端末及び商品読取装置の機能構成を示すブロック図である。 図８は、商品の検出の一例を示す概念図である。 図９は、商品読取装置の動作の一例を示すフローチャートである。 図１０は、ＰＯＳ端末の動作の一例を示すフローチャートである。 図１１は、実施形態に係るセルフＰＯＳの一例を示す斜視図である。 図１２は、セルフＰＯＳのハードウェア構成を示すブロック図である。

以下、添付図面を参照して、情報処理装置及びプログラムの実施形態を詳細に説明する。なお、以下に説明する実施形態は、情報処理装置及びプログラムの一実施形態であって、その構成や仕様等を限定するものではない。本実施形態は、スーパーマーケット等の店舗に導入された、一取引にかかる商品の登録・精算を行うＰＯＳ端末と、商品に関する情報を読み取る商品読取装置とを備えるチェックアウトシステムへの適用例である。

図１は、チェックアウトシステム１の一例を示す斜視図である。図１に示すように、チェックアウトシステム１は、ＰＯＳ端末１１と、情報処理装置としての商品読取装置１０１とを備える。なお、以下では、複数の図面に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する場合がある。

ＰＯＳ端末１１は、チェックアウト台４１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転可能に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。

ＰＯＳ端末１１が載置されているチェックアウト台４１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受面１５２が形成されている。荷受面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。

カウンタ台１５１の荷受面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。

このような商品読取装置１０１は、商品読取部１１０（図５参照）を備えている。また、商品読取装置１０１は、読取窓１０３の奥側等に撮像部１６４を配置している（図２〜図４参照）。

顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納されている。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂに移動される。この移動過程で、商品Ｇが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図２、図３参照）は商品Ｇを撮像する。

ここで、図２、図３は、商品読取装置１０１が備える撮像部１６４の撮像範囲を説明するための図である。同図に示すように、読取窓１０３の奥側に配置された撮像部１６４は、商品Ｇに付されているバーコード等のコードシンボルから商品Ｇを示す商品ＩＤ（商品情報）を光学的に読み取るための有効範囲となる撮像領域Ａ１を有している。商品読取装置１０１を操作するオペレータにより撮像領域Ａ１に移動されると、撮像部１６４は、撮像領域Ａ１に存在する商品Ｇを撮像した撮像画像を取得する。

なお、図２では、撮像領域Ａ１の基準となる撮像部１６４の撮像方向Ｂ１を、荷受面１５２と略水平方向しているため、商品読取装置１０１を操作するオペレータは、商品Ｇを把持した状態で商品Ｇを撮像することを想定しているが、これに限定されるものではない。

例えば、図３に示すように、撮像部１６４の撮像方向Ｂ１を、荷受面１５２に向けて設置することで、荷受面１５２上に撮像領域Ａ１を形成してもよい。この場合、商品Ｇは荷受面１５２上に載置された状態で撮像されることが好ましい。また、この撮像方法を採用する場合には、図４に示すように、保持具１６４ａ等により撮像部１６４を商品読取装置１０１の上部に設置し、撮像部１６４の撮像方向Ｂ１を荷受面１５２に向けることで、荷受面１５２上に撮像領域Ａ１を形成する形態としてもよい。ここで、図４は、商品読取装置１０１が備える撮像部１６４の他の構成例を説明するための図である。なお、図４の構成を採用する場合には、読取窓１０３は取り除く形態としてもよい。

図１に戻り、商品読取装置１０１では、ＰＬＵファイルＦ１（図６参照）を参照し、撮像部１６４により撮像された画像に含まれる商品Ｇを、商品Ｇに添付されたバーコードやＱＲコード（登録商標）等のコードシンボルの読み取り、又は一般物体認識により特定する（詳細は後述する）。次いで、商品読取装置１０１では、特定した商品Ｇの確認や、個数などの入力を受け付ける画面を表示・操作部１０４に表示し、確認の入力が受け付けられた商品Ｇの商品ＩＤ、入力された個数などの情報をＰＯＳ端末１１に通知する。ＰＯＳ端末１１では、商品読取装置１０１から通知される商品ＩＤ、個数等の情報に基づき、商品ＩＤに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル（図示しない）等に記録して売上登録を行う。

図５は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。

ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。

キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。

ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ（Hard Disk Drive）６４が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。

ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ｇの各々について、商品Ｇの売上登録にかかる情報と、その商品Ｇの画像との関連付けが設定された商品ファイルである。

図６は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図６に示すように、ＰＬＵファイルＦ１は、商品Ｇごとに、ユニークに割り当てられた商品ＩＤ、商品Ｇが属する商品分類、商品名、単価等の商品に関する情報と、その商品を撮像した商品画像（基準画像）とを、その商品Ｇの商品情報として格納するファイルである。なお、商品画像は、類似度の判定に用いられる商品の撮像画像（写真）である。なお、ＰＬＵファイルＦ１は、後述する接続インターフェース６５を介し、商品読取装置１０１が読み出し可能に構成されている。

なお、ＰＬＵファイルＦ１のデータ構成は図６の例に限らず、例えば、商品画像から読み取られる色合いや表面の凹凸状況等の特徴量を、各商品について格納する形態としてもよい。

図５に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。

さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。

商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５、計時部１６６が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介して、商品読取部１１０及びＰＯＳ端末１１に接続されている。表示・操作部１０４は、商品読取部１１０のＣＰＵ１６１、ＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。

撮像部１６４は、ＣＣＤ（Charged Coupled Device）撮像素子やＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子などのカラーイメージセンサであり、ＣＰＵ１６１の制御の下で撮像を行う撮像装置である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。

音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音や音声による報知を行う。計時部１６６は、ＲＴＣ（Real Time Clock）等であり、ＣＰＵ１６１の制御の下で時刻を計時する。

さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。また、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。

次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能構成について、図７を参照して説明する。

図７は、ＰＯＳ端末１１及び商品読取装置１０１の機能構成を示すブロック図である。図７に示すように、商品読取装置１０１のＣＰＵ１６１は、ＲＯＭ１６２が格納するプログラムを実行することにより、画像取込部５１、商品検出部５２、コード読取部５３、オブジェクト認識部５４、モード切替部５５、入力受付部５６、情報出力部５７としての機能を備える。また、同様に、ＰＯＳ端末１１のＣＰＵ６１は、プログラムＰＲを実行することにより、売上登録部６１１としての機能を備える。

画像取込部５１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部５１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたカラーのフレーム画像を順次取り込む。画像取込部５１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。

商品検出部５２は、画像取込部５１により取り込まれたフレーム画像に含まれる商品Ｇの全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線などを抽出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓１０３に向けられた商品Ｇの写り込みを検出する。なお、商品Ｇを検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品Ｇの輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品Ｇを把持していることから、商品Ｇの写り込みを検出する。

図８は、商品Ｇの検出の一例を示す概念図である。図８に示すように、画像取込部５１は、直近のフレーム画像Ｇ１０、Ｇ２０同士を比較し、輝度階調の差分から何も撮像していないフレーム画像Ｇ１０と、商品Ｇや店員の手Ｈ等の何らかの物体の写り込みがあるフレーム画像Ｇ２０とを識別する。次いで、画像取込部５１は、何らかの物体の写り込みが識別されたフレーム画像Ｇ２０について、上述した輪郭線の抽出や肌色領域の検出などの画像処理を行うことで、商品Ｇの検出を行う。

なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手が検出された場合は、この肌色領域の近傍において上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合、この物体の輪郭から商品を検出する。

コード読取部５３は、画像取込部５１により取り込まれたフレーム画像をもとに、撮像部１６４において撮像された商品Ｇに添付されているバーコードや二次元コード（例えばＱＲコード（登録商標））等のコードシンボルをデコードして読み取る。この読み取られたコードシンボルをもとに、ＰＬＵファイルＦ１を参照することで撮像された商品Ｇが特定される。具体的には、コード読取部５３は、ＲＡＭ１６３に保存されたフレーム画像を読み出して、パターンマッチング技術によるバーコードの検出や、所定のファインダパターンから二次元コードの検出を行う。次いで、コード読取部５３は、検出されたバーコードや二次元コードから、商品コード（商品ＩＤ）等の商品Ｇの商品情報を読み取る。次いで、コード読取部５３は、ＰＬＵファイルＦ１を参照して読み取った商品情報（例えば商品コード）に該当する商品Ｇを特定する。

オブジェクト認識部５４は、画像取込部５１により取り込まれたフレーム画像をもとに、撮像部１６４において撮像された商品Ｇの色合いや表面の凹凸状況等の表面の状態を特徴量として読み取る。この読み取られた特徴量をもとに、ＰＬＵファイルＦ１を参照することで撮像された商品Ｇが特定される。具体的には、オブジェクト認識部５４は、ＲＡＭ１６３に保存されたフレーム画像を読み出して、商品Ｇの全部または一部を、パターンマッチング技術等を用いて検出する。例えば、取り込まれたフレーム画像を２値化した画像から輪郭線等を抽出する。次いで、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、売上登録のために読取窓１０３に向けられた商品Ｇを検出する。

次いで、オブジェクト認識部５４は、撮像部１６４により撮像された商品Ｇの全部または一部の画像から、商品Ｇの色合いや表面の凹凸状況等の表面の状態を特徴量として読み取る。なお、オブジェクト認識部５４は、処理時間の短縮を図るため、商品Ｇの輪郭や大きさは考慮しないものとする。

また、オブジェクト認識部５４は、ＰＬＵファイルＦ１に登録された各商品（以下、登録商品という）の画像から、その登録商品の色合いや表面の凹凸状況等の表面の状態を特徴量として読み取り、商品Ｇの特徴量とそれぞれ比較することで、商品ＧとＰＬＵファイルＦ１に登録された商品との類似度を算出する。ここで、類似度は、ＰＬＵファイルＦ１に記憶されている各商品の画像を１００％＝「類似度：１．０」とした場合に、商品Ｇの全部または一部の画像がどの程度類似しているかを示す値である。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えて類似度を算出してもよい。次いで、オブジェクト認識部５４は、ＰＬＵファイルＦ１の商品の中で、算出した類似度がもっとも高い商品を、撮像された商品Ｇとして特定する。なお、類似度の概念は、この例に限らず、商品Ｇの特徴量とＰＬＵファイルＦ１に登録された各登録商品の特徴量とを基に得られる値であればよい。例えば、商品Ｇの特徴量と各登録商品の特徴量との一致度を示す値や、商品Ｇの特徴量と各登録商品の特徴量とがどの程度相関するかを示す値であってもよい。

このように画像中に含まれる物体を認識するオブジェクト認識は一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２４年８月３１日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２４年８月３１日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

なお、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された登録商品の画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

類似度を絶対評価として算出する場合、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、ＰＬＵファイルＦ１に５つの登録商品（商品ＧＡ、ＧＢ、ＧＣ、ＧＤ、ＧＥ）が登録されていたとすると、撮像された商品Ｇは、商品ＧＡに対して類似度が０．６、商品ＧＢに対しては類似度が０．１、商品ＧＣに対しては類似度が０．１、商品ＧＤに対しては類似度が０．１、商品ＧＥに対しては類似度が０．１等、各登録商品との類似度の総和が１．０（１００％）となるよう算出すればよい。

ここで、オブジェクト認識部５４のオブジェクト認識により商品Ｇが特定できる場合とは、上述した類似度が所定の閾値を超える商品がＰＬＵファイルＦ１より見つかった場合を指すものとする。例えば、類似度を相対評価として算出する場合に、ＰＬＵファイルＦ１に５つの登録商品（商品ＧＡ、ＧＢ、ＧＣ、ＧＤ、ＧＥ）が登録されていたとする。また、オブジェクト認識ができたと判定する閾値は０．５とする。撮像された商品Ｇに対する商品ＧＡの類似度が０．６、商品ＧＢの類似度が０．１、商品ＧＣの類似度が０．１、商品ＧＤの類似度が０．１、商品ＧＥの類似度が０．１等である場合は、商品ＧＡの類似度が閾値を超えていることから、オブジェクト認識部５４によるオブジェクト認識ができたものとする。また、撮像された商品Ｇに対する商品ＧＡの類似度が０．４、商品ＧＢの類似度が０．２、商品ＧＣの類似度が０．２、商品ＧＤの類似度が０．１、商品ＧＥの類似度が０．１等である場合は、商品ＧＡの類似度が閾値を超えていないことから、オブジェクト認識部５４によるオブジェクト認識ができなかったものとする。

モード切替部５５は、撮像部１６４の撮像範囲に商品Ｇが所定時間連続して存在したか否か、つまり商品検出部５２での商品Ｇの検出が所定時間継続したか否かに応じて、コード読取部５３により商品Ｇを特定する第１の読取処理を行う動作モード（コード読取モード）と、オブジェクト認識部５４により商品Ｇを特定する第２の読取処理を行う動作モード（オブジェクト認識モード）とを切り替える。

具体的に、モード切替部５５は、画像取込部５１により取り込まれたフレーム画像から商品検出部５２が商品Ｇを検出すると、コード読取モードに切り替えることでコード読取部５３により商品Ｇを特定させる。また、モード切替部５５は、このコード読取モードでコードシンボルが読み取られない状態で、且つ商品検出部５２により検出された画像中での商品Ｇの存在位置が、所定時間の間静止状態にあると判定すると、オブジェクト認識モードに切り替えることでオブジェクト認識部５４により商品Ｇを特定させる。

ここで、静止状態か否かの判定は、画像取込部５１により取り込まれた所定時間分のフレーム画像の各々から、商品検出部５２が検出した商品Ｇの検出位置を対比することで行うものとする。また、本実施形態において、静止状態とは、複数のフレーム画像に亘って存在位置が一定となる完全静止の状態と、所定範囲のブレを含む略静止の状態とを含む概念であるとする。

なお、モード切替部５５が静止状態の判定に係る時間については、予めＲＯＭ１６２等に設定されており、例えば数百ｍｓｅｃ程度で設定される。例えば、撮像部１６４において３０ｆｐｓで撮像されている場合には、３４０ｍｓｅｃ程度（１０フレーム程度）の値が設定される。なお、上述した切替えの設定については、時間だけでなく、フレーム数で設定してもよい。

入力受付部５６は、タッチパネル１０５またはキーボード１０７を介して表示デバイス１０６の表示に対応する各種入力操作を受付ける。例えば情報出力部５７は、コード読取部５３やオブジェクト認識部５４により特定された商品Ｇの確認画面を表示デバイス１０６に表示させ、その確認画面に対する選択操作に基づいて、特定された商品Ｇの売上登録を行うことの入力操作（確認操作）をキーボード１０７で受け付ける。この情報出力部５７が受け付けた確認操作は、情報出力部５７によりＰＯＳ端末１１に通知される。また、入力受付部５６は、商品Ｇの売上登録を行うことの確認操作の後、売上登録を行う商品Ｇの個数の入力を受け付ける操作画面を表示デバイス１０６に表示させ、個数の入力操作をキーボード１０７で受け付ける。この入力受付部５６が受け付けた個数は、情報出力部５７によりＰＯＳ端末１１に通知される。ＰＯＳ端末１１では、確認操作、個数の通知を受信して、売上登録部６１１における売上登録を行う。

情報出力部５７は、上述のようにして確認操作が行われた商品Ｇについて、その商品を示す情報（例えば、商品ＩＤや商品名等）や個数を、接続インターフェース１７５を介してＰＯＳ端末１１に出力する。情報出力部５７がＰＯＳ端末１１に出力する情報としては、コード読取部５３やオブジェクト認識部５４により特定された商品Ｇをもとに、情報出力部５７がＰＬＵファイルＦ１から読み出した商品ＩＤを直接通知してもよいし、商品ＩＤを特定することが可能な商品名、または、商品画像のファイル名を通知してもよいし、その商品ＩＤの格納場所（ＰＬＵファイルＦ１での格納アドレス）をＰＯＳ端末１１に通知してもよい。

ＰＯＳ端末１１の売上登録部６１１は、情報出力部５７から出力された商品ＩＤ、売上登録を行う個数、値引き額や値引き率等のサービス情報に基づいて、対応する商品の売上登録を行う。具体的に、売上登録部６１１は、ＰＬＵファイルＦ１を参照して、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、個数とともに売上マスタファイル等に記録して売上登録を行う。

次に、チェックアウトシステム１の動作について詳細に説明する。先ず、商品読取装置１０１の動作について説明する。図９は、商品読取装置１０１の動作の一例を示すフローチャートである。

図９に示すように、ＰＯＳ端末１１による商品登録の開始等に応じて処理が開始されると、画像取込部５１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（ステップＳ１１）。次いで、画像取込部５１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像の取り込みを開始する（ステップＳ１２）。

次いで、ＣＰＵ１６は、画像取込部５１により取り込まれたフレーム画像から商品検出部５２が商品Ｇを検知したか否かを判定する（ステップＳ１３）。ここで、商品Ｇを検知していない場合（ステップＳ１３；Ｎｏ）、ＣＰＵ１６はステップＳ１２に処理を戻す。なお、ステップＳ１３の処理は、商品Ｇの検出を行う処理に代えて、撮像した画像内に含まれるバーコード等のコードシンボルを検出する処理としてもよい。この場合、撮像した画像からコードシンボルを検出できなかった場合に（ステップＳ１３；Ｎｏ）、ステップＳ１６の処理へと進む。

画像取込部５１により取り込まれたフレーム画像から商品Ｇが検知された場合（ステップＳ１３；Ｙｅｓ）、モード切替部５５は、コード読取部５３により商品Ｇを特定する第１の読取処理を行うコード読取モードに動作モードを切り替える（ステップＳ１４）。次いで、モード切替部５５は、コード読取部５３によりコードシンボルがデコードされて、商品Ｇが特定できたか否かを判定する（ステップＳ１５）。なお、本処理では、商品Ｇが検知された場合に、コード読取モードに切り替える形態としているが、これに限らず、初期設定としてコード読取モードを設定することで、商品Ｇの検知が行われる前、或いは商品Ｇの検知と並列して、コード読取モードによる読取処理を行う形態としてもよい。

ステップＳ１５において、コード読取部５３により商品Ｇが特定できない場合（ステップＳ１５；Ｎｏ）、モード切替部５５は、ステップＳ１３での検出位置に基づき、前回取り込まれたフレーム画像と同じ位置（又は略同位置）で、今回取り込まれたフレーム画像から商品Ｇが検知されたか否かを判定する（ステップＳ１６）。ここで、前回と異なる位置で検出されたと判定した場合（ステップＳ１６；Ｎｏ）、モード切替部５５は、静止状態の判定に係るタイマーカウントをリセットした後（ステップＳ１７）、ステップＳ１２に処理を戻す。

また、ステップＳ１６において、前回と同位置で検出されたと判定した場合（ステップＳ１６；Ｙｅｓ）、モード切替部５５は、計時部１６６を用いることで、タイマーカウントを１インクリメントする（ステップＳ１８）。次いで、モード切替部５５は、タイマーカウントの値が所定数（例えば“１０”）以上か否かを判定し、所定数未満の場合には（ステップＳ１９；Ｎｏ）、ステップＳ１２に処理を戻す。

一方、ステップＳ１９において、タイマーカウントの値が所定数以上と判定した場合（ステップＳ１９；Ｙｅｓ）、モード切替部５５は、商品Ｇが静止状態にあると判定し、オブジェクト認識部５４により商品Ｇを特定する第２の読取処理を行うオブジェクト読取モードに動作モードを切り替える（ステップＳ２０）。

したがって、商品読取装置１０１では、画像取込部５１により取り込まれたフレーム画像に含まれる商品Ｇを商品検出部５２が検出したことに応じて、コード読取モードを開始し、当該コード読取モードで商品Ｇの特定が行われないまま、商品Ｇの静止状態が所定時間継続すると、オブジェクト認識モードに切り替えることで、オブジェクト認識部５４により商品Ｇの特定を開始する。このため、商品読取装置１０１では、コードシンボルの読み取りとともに、オブジェクト認識が行われることがないことから、コード読取部５３、又はオブジェクト認識部５４における処理速度を低減させることなく、商品Ｇを特定できる。また、コード読取部５３による商品Ｇの特定ができないまま、商品Ｇの静止状態が所定時間継続した場合にオブジェクト認識モードに切り替えられることから、コードシンボルの読み取りにより商品Ｇの特定が行われた後にオブジェクト認識が行われることがないため、効率的に商品Ｇを特定できる。

例えば、図８に例示したフレーム画像Ｇ２０において、商品Ｇに添付されたバーコード等が映り込んでいる場合は、オブジェクト認識部５４による商品Ｇの特定を行うことなく、コード読取部５３によりバーコードのデコードが行われて、商品Ｇが特定されることとなる。また、図８に例示したフレーム画像Ｇ２０において、商品Ｇに添付されたバーコード等が映り込んでいない場合（例えばバーコードが読取窓１０３に向けられていない場合）は、コード読取部５３により商品Ｇの特定ができないこととなる。この場合、商品読取装置１０１のオペレータが所定時間の間、商品Ｇを静止状態とすると、オブジェクト認識モードに切り替わることとなるため、商品Ｇに添付されたバーコード等の写り込みに関係なく、オブジェクト認識部５４により商品Ｇを特定することができる。

続くステップＳ２０に次いで、ＣＰＵ１６１は、オブジェクト認識部５４によりオブジェクト認識が行われて、商品Ｇが特定できたか否かを判定する（ステップＳ２１）。オブジェクト認識部５４のオブジェクト認識で商品Ｇが特定できない場合（ステップＳ２１；Ｎｏ）、ＣＰＵ１６１は、ステップＳ１２に処理を戻す。また、ステップＳ２１において、オブジェクト認識部５４により商品Ｇが特定できた場合（ステップＳ２１；Ｙｅｓ）には、ステップＳ２３に移行する。

このように、コード読取部５３で商品Ｇを特定することができず、且つ商品Ｇが所定時間以上静止状態にある場合は、コード読取モードからオブジェクト認識モードに切り替えて商品Ｇの特定を試みる。したがって、処理の負荷が大きいオブジェクト認識部５４については、商品Ｇの特定に必要とする時に動作させることができる。

なお、ステップＳ１５において、コード読取部５３により商品Ｇが特定できた場合（ステップＳ１５；Ｙｅｓ）、モード切替部５５は、タイマーカウントをリセットした後（ステップＳ２２）、ステップＳ２３に処理を移行する。

続くステップＳ２３において、入力受付部５６は、ＰＬＵファイルＦ１を参照して特定した商品Ｇを示す情報（商品名、商品画像）等の読み取り結果を表示デバイス１０６に表示する（ステップＳ２３）。次いで、入力受付部５６は、売上登録を行う商品Ｇの確認やその個数の入力をキーボード１０７より受け付ける（ステップＳ２４）。次いで、情報出力部５７は、ステップＳ２４において確認された商品Ｇについての商品ＩＤや、ステップＳ２４で受け付けた個数をＰＯＳ端末１１に出力する（ステップＳ２５）。

次いで、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知等による業務終了の有無を判定する（ステップＳ２６）。業務を継続する場合（ステップＳ２６；Ｎｏ）、ＣＰＵ１６１は、ステップＳ１２に処理を戻して処理を継続させる。業務を終了する場合（ステップＳ２６：Ｙｅｓ）、画像取込部５１は、撮像部１６４に撮像オフ信号を出力して撮像部１６４による撮像を終了し（ステップＳ２７）、処理を終了する。

なお、上述した商品読取装置１０１のフローチャートでは、経過時間を計時するためのタイマーカウントに基づいて静止状態が所定時間継続したか否かを判定する構成を例示した。しかしながら、上記判定は、時間だけでなく、フレーム数であってもよい。具体的には、フレーム数をタイマーカウントとして計数し、所定のフレーム数（例えば１０フレーム）以上となった場合に静止状態が所定時間継続したと判定してもよい。また同様に、所定のフレーム数（例えば３フレーム）を一単位とし、この単位数をタイマーカウントとして計数する形態としてもよい。

また、ＣＰＵ１６１は、読取処理の切替えに応じて表示デバイス１０６における表示画面上の表示を異ならせるようにしてもよい。具体的には、動作モードがコード読取モードである場合は、商品Ｇに添付されているコードシンボルの読取処理中である旨を表示画面上に表示する。次いで、コード読取モードからオブジェクト認識モードに動作モードが切り替わった場合は、オブジェクト認識中である旨を表示画面上に表示する。このように現在の動作モードを表示画面上に表示させることで、現在、読取処理がコードシンボルの読み取り、又はオブジェクト認識による読み取りのいずれで行なっているかを操作者に対して報知できる。このような報知をすることで、例えばコードシンボルの読み取り中である旨の表示が出ている場合は、コードシンボルを読取窓１０３に翳すように操作者に対して促すことができる。また、オブジェクト認識中である旨の表示が出ている場合は、読取窓１０３に無理にコードシンボルを翳す必要がないことを操作者に把握させることができる。

また、上述した商品読取装置１０１のフローチャートでは、先にコード読取モードに切り替え、次にオブジェクト認識モードに切り替える構成を例示した。しかしながら、コード読取モード、オブジェクト認識モードの切り替え順は特に限定するものではない。例えば、ステップＳ１４と、ステップＳ２０の処理を交換することで、上述した順序とは逆の順序で切り替えてもよい。

また、上述した商品読取装置１０１のフローチャートでは、商品Ｇの静止状態が所定時間継続したことをトリガに、オブジェクト認識モードに切り替える形態について説明したが、撮像部１６４の撮像範囲に商品Ｇが所定時間連続して存在したこと、つまり商品検出部５２での商品Ｇの検出が所定時間継続したことをトリガに、オブジェクト認識モードに切り替える形態についても同様の手順で処理することができる。具体的には、ステップＳ１６の処理で、前回取り込まれたフレーム画像と今回取り込まれたフレーム画像とで商品Ｇが検出されたか否かを判定することで対応することできる。なお、この形態を採用する場合においても、コードシンボルの読み取りと、オブジェクト認識とが同時に行われることはないため、上記実施形態と同様の効果を奏することができる。

次に、ＰＯＳ端末１１の動作について説明する。図１０は、ＰＯＳ端末１１が実行する売上登録処理の手順を示すフローチャートである。

まず、キーボード２２の操作指示による商品登録の開始等に応じて処理が開始されると、ＣＰＵ６１は、商品読取装置１０１が図９のステップＳ２４で出力した、商品Ｇの商品ＩＤとその個数とを受信する（ステップＳ３１）。次いで、売上登録部６１１は、ステップＳ３１で受信した商品ＩＤ、個数に基づいて、ＰＬＵファイルＦ１から商品種別や単価等を読み出し、商品読取装置１０１で読み取られた商品Ｇの売上を売上マスタファイルに登録する（ステップＳ３２）。続いて、ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了等による業務終了の有無を判定する（ステップＳ３３）。業務を継続する場合（ステップＳ３３；Ｎｏ）、ＣＰＵ６１は、ステップＳ３１へ再び戻り処理を継続させる。業務を終了する場合（ステップＳ３３；Ｙｅｓ）、ＣＰＵ６１は処理を終了する。

以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上記実施形態では、ＰＯＳ端末１１が、ＰＬＵファイルＦ１を備える形態としたが、これに限らず、商品読取装置１０１が、ＰＬＵファイルＦ１の一部又は全てを備える形態としてもよい。

また、上記実施形態では、ＰＯＳ端末１１側でコードシンボルの読み取りと、オブジェクトの認識とを行う形態としたが、これに限らず、ＰＯＳ端末１１側でコードシンボルの読み取りと、オブジェクトの認識とを行う形態としてもよい。この場合、例えば、ＰＯＳ端末１１が、画像取込部５１、商品検出部５２、コード読取部５３、オブジェクト認識部５４、モード切替部５５、入力受付部５６を備えることで、ＰＯＳ端末１１側でコードシンボルの読み取りと、オブジェクトの認識とを行うことができる。なお、この場合、商品読取装置１０１は、撮像装置として機能し、撮像部１６４で撮像されたフレーム画像を、ＰＯＳ端末１１に順次出力する。

また、商品読取装置１０１の機能部の一部又は全てをＰＯＳ端末１１が備える形態としてもよい。例えば、ＰＯＳ端末１１が、画像取込部５１、商品検出部５２、コード読取部５３、オブジェクト認識部５４及びモード切替部５５を備え、商品読取装置１０１が、入力受付部５６及び情報出力部５７を備える形態としてもよい。この場合、商品読取装置１０１は、撮像部１６４で撮像されたフレーム画像をＰＯＳ端末１１に順次出力し、このフレーム画像に基づきＰＯＳ端末１１で特定された商品の結果を受信する。そして、商品読取装置１０１の入力受付部５６は、特定された商品Ｇを示す情報等の読み取り結果を表示デバイス１０６に表示し、その商品のＩＤや入力を受け付けた商品の個数をＰＯＳ端末１１に出力する。

また、上記実施形態では、据置型のスキャナ装置（商品読取装置１０１）を用いた例を説明したが、これに限らず、いわゆるハンディタイプのスキャナ装置がＰＯＳ端末１１に接続された形態であってもよい。

また、上記実施形態では、ＰＯＳ端末１１と商品読取装置１０１とで構成されるチェックアウトシステム１のうち、商品読取装置１０１に本発明の実施形態を適用したが、これに限るものではない。例えば、図１にて示すＰＯＳ端末１１と商品読取装置１０１とを有するチェックアウトシステム１に、本実施形態の情報処理装置を適用してもよい。この場合、ＰＯＳ端末１１と商品読取装置１０１とを有するチェックアウトシステム１全体に本実施形態を実現するための機能を有するように構成すればよい。また、本実施形態の情報処理装置をＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置に適用するようにしてもよい。ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置としては、例えば、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置（以降、単にセルフＰＯＳと称する）が挙げられる。

ここで、図１１は、セルフＰＯＳ２００の一例を示す斜視図、図１２は、セルフＰＯＳ２００のハードウェア構成を示すブロック図である。なお、以下では、図１及び図５に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。

図１１及び図１２に示すように、セルフＰＯＳ２００の本体２０２は、タッチパネル１０５が表面に配設された表示デバイス１０６や、商品の種別等を認識（検出）するために商品画像を読み取る商品読取部１１０を備えている。

表示デバイス１０６としては例えば液晶表示器が用いられる。表示デバイス１０６は、客にセルフＰＯＳ２００の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部１１０で読み込んだ商品情報を表示する登録画面、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。

商品読取部１１０は、客が商品に付されたコードシンボルを商品読取部１１０の読取窓１０３にかざすことで商品画像を撮像部１６４により読み取るものである。

また、本体２０２の右側にはかごに入った未精算の商品を置くための商品載置台２０３が設けられ、本体２０２の左側には精算済みの商品を置くための商品載置台２０４が設けられ、精算済みの商品を入れるための袋を掛けるための袋掛けフック２０５や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台２０６が設けられている。商品載置台２０３及び２０４には計量器２０７及び２０８がそれぞれ備えられており、精算の前後で商品の重量が同じであることを確認する機能を有している。

また、セルフＰＯＳ２００の本体２０２には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器２０１が設けられている。

このような構成のセルフＰＯＳ２００に本実施形態を適用した場合、セルフＰＯＳ２００が情報処理装置として機能することになる。なお、ＰＯＳ端末１１と商品読取装置１０１との機能を備えた１台構成の装置は、上述した構成のセルフＰＯＳ２００に限らず、計量器２０７及び２０８を除いて構成された装置であってもよい。

また、上記実施形態の商品読取装置１０１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態の商品読取装置１０１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、上記実施形態の商品読取装置１０１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の商品読取装置１０１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

上記実施形態の商品読取装置１０１で実行されるプログラムは、上述した各部（画像取込部５１、商品検出部５２、コード読取部５３、オブジェクト認識部５４、モード切替部５５、入力受付部５６、情報出力部５７）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、主記憶装置上に生成されるようになっている。

また、上記実施形態のプログラムを、通信機能を有する携帯電話、スマートフォン、ＰＤＡ（Personal Digital Assistant）等の携帯情報端末に組み込んで、その機能を実現させる形態としてもよい。

１…チェックアウトシステム、１１…ＰＯＳ端末、２１…ドロワ、２２…キーボード、２２ｄ…テンキー、２２ｅ…仮締めキー、２２ｆ…締めキー、２３…表示デバイス、２３ａ…表示面、２４…顧客用表示デバイス、２４ａ…表示面、２５…通信インターフェース、２６…タッチパネル、４１…チェックアウト台、５１…画像取込部、５２…商品検出部、５３…コード読取部、５４…オブジェクト認識部、５５…モード切替部、５６…入力受付部、５７…情報出力部、６０…マイクロコンピュータ、６１…ＣＰＵ、６２…ＲＯＭ、６３…ＲＡＭ、６４…ＨＤＤ、６５…接続インターフェース、６６…プリンタ、１０１…商品読取装置、１０２…ハウジング、１０３…読取窓、１０４…表示・操作部、１０５…タッチパネル、１０６…表示デバイス、１０７…キーボード、１０８…カード読取溝、１０９…顧客用表示デバイス、１１０…商品読取部、１５１…カウンタ台、１５２…荷受面、１５３…買物カゴ、１５３ａ…第１の買物カゴ、１５３ｂ…第２の買物カゴ、１６０…マイクロコンピュータ、１６１…ＣＰＵ、１６２…ＲＯＭ、１６３…ＲＡＭ、１６４…撮像部、１６５…音声出力部、１６６…計時部、１７５、１７６…接続インターフェース、６１１…売上登録部、Ｇ…商品、Ｇ１０、Ｇ２０…フレーム画像、Ｈ…手、Ｆ１…ＰＬＵファイル、ＰＲ…プログラム、ＳＣ…ストアコンピュータ

特開２０１１−１５４４０９号公報

Claims (6)

1. 撮像手段が撮像した画像を順次取り込む取込手段と、
   前記取り込まれた画像に含まれる物品を検出する検出手段と、
   前記取り込まれた画像に含まれるコードシンボルを読み取る第１の読取処理を行う第１の読取手段と、
   前記物品が検出された画像の特徴量を読み取ることによって前記検出された物品を認識する第２の読取処理を行う第２の読取手段と、
   前記第１の読取処理により前記コードシンボルを読み取らせ、当該コードシンボルが読み取られない状態で、且つ前記検出手段での前記商品の検出が所定時間継続した場合に、前記第１の読取処理及び前記第２の読取処理を切り替える切替手段と、
   を備える情報処理装置。
2. 前記切替手段は、前記第１の読取処理により前記コードシンボルが読み取られない状態で、且つ前記物品の静止状態が所定時間継続した場合に、前記第２の読取処理により前記検出された物品を認識させるように、前記第１の読取処理及び前記第２の読取処理を切り替える、
   請求項１に記載の情報処理装置。
3. 前記切替手段は、前記第１の読取処理により前記コードシンボルが読み取られない状態で、且つ前記物品の静止状態が所定のフレーム数分継続した場合に、前記第２の読取処理により前記検出された物品を認識させるように、前記第１の読取処理及び前記第２の読取処理を切り替える、
   請求項１又は２に記載の情報処理装置。
4. 前記切替手段は、前記取込手段で取り込まれた複数フレーム分の画像から、前記検出手段が検出した前記物品の存在位置に基づいて、前記静止状態か否かを判定する、
   請求項２又は３に記載の情報処理装置。
5. 前記切替手段は、前記検出手段で検出された物品が、前記第２の読取処理で認識できない場合、当該第２の読取処理から前記第１の読取処理へ切り替える、
   請求項１〜４の何れか一項に記載の情報処理装置。
6. コンピュータを、
   撮像手段が撮像した画像を順次取り込む取込手段と、
   前記取り込まれた画像に含まれる物品を検出する検出手段と、
   前記取り込まれた画像に含まれるコードシンボルを読み取る第１の読取処理を行う第１の読取手段と、
   前記物品が検出された画像の特徴量を読み取ることによって前記検出された物品を認識する第２の読取処理を行う第２の読取手段と、
   前記第１の読取処理により前記コードシンボルを読み取らせ、当該コードシンボルが読み取られない状態で、且つ前記検出手段での前記商品の検出が所定時間継続した場合に、前記第１の読取処理及び前記第２の読取処理を切り替える切替手段と、
   して機能させるためのプログラム。

Images