JP2021072134A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】一物品当たりのオブジェクト認識処理の結果の取得時間を短縮することのできる情報処理装置及びプログラムを提供することである。【解決手段】実施形態の情報処理装置は、物品の画像を取り込む取込手段と、物品を検知する検知手段と、上記取込手段が取り込んだ画像に基づいて、物品のコードシンボルを抽出するための抽出処理を行う第１の抽出手段と、上記取込手段が取り込んだ画像に基づいて、物品を示す情報を抽出するための抽出処理を行う第２の抽出手段と、上記検知手段が物品を検知すると第１の抽出手段及び第２の抽出手段に抽出処理の開始を指示する指示手段と、開始後の所定期間は、上記第１の抽出手段により抽出されるコードシンボルを商品登録先に通知し、コードシンボルが抽出されなければ、上記第２の抽出手段により上記所定期間内に抽出された上記物品を示す情報を上記所定期間の経過後に上記商品登録先に通知する通知制御手段と、を備える。【選択図】図３

Description

本発明の実施形態は、情報処理装置及びプログラムに関する。

従来、物品の撮像画像から、物品に付加されているコードシンボル（バーコード等）の読取処理や、物品のオブジェクト認識処理を行うオブジェクト認識スキャナがある。ＰＯＳ（Point-of-Sale）システムは、このオブジェクト認識スキャナにより、コードシンボルの読取処理を行い、コードシンボルの読取情報が得られなかった場合にオブジェクト認識処理を行う。オブジェクト認識処理は、キャッシャによる切替ボタンの押下による切替信号に基づきコードシンボルの読取処理に遅れて開始される。しかし、この遅れは、キャッシャが読取窓に物品を翳し始めてからオブジェクト認識処理の結果が得られるまでの時間にロスを生むことになる。このロスにより、コードシンボルが読み取られるまでの時間に比べ、オブジェクト認識処理の結果が得られるまでに更に多くの時間を要することになるため、改善が望まれている。

本発明が解決しようとする課題は、一物品当たりのオブジェクト認識処理の結果の取得時間を短縮することのできる情報処理装置及びプログラムを提供することである。

実施形態の情報処理装置は、取込手段と、検知手段と、第１の抽出手段と、第２の抽出手段と、指示手段と、通知制御手段とを備え、上記取込手段は、撮像手段が撮像した物品の画像を取り込み、上記検知手段は、物品を検知し、上記第１の抽出手段は、上記取込手段が取り込んだ画像に基づいて、上記検知手段が検知した物品に付加されているコードシンボルを抽出するための抽出処理を行い、上記第２の抽出手段は、上記取込手段が取り込んだ画像に基づいて、上記検知手段が検知した物品を示す情報を抽出するための抽出処理を行い、上記指示手段は、前記検知手段が物品を検知すると第１の抽出手段及び第２の抽出手段に抽出処理の開始を指示し、上記通知制御手段は、開始後の所定期間は、上記第１の抽出手段により抽出されるコードシンボルを商品登録先に通知し、コードシンボルが抽出されなければ、上記第２の抽出手段により上記所定期間内に抽出された上記物品を示す情報を上記所定期間の経過後に上記商品登録先に通知する。

図１は、実施形態に係るチェックアウトシステムの外観斜視図である。 図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成の一例を示すブロック図である。 図３は、ＰＯＳ端末及び商品読取装置の機能ブロック構成の一例を示す図である。 図４は、チェックアウトシステムの商品登録及び精算処理の一例を示すフロー図である。 図５は、商品読取処理の一例を示すフロー図である。 図６は、変形例の商品読取処理の一例を示すフロー図である。 図７は、セルフＰＯＳの外観斜視図である。 図８は、セルフＰＯＳのハードウェア構成の一例を示すブロック図である。

以下、添付図面を参照して、情報処理装置及びプログラムの実施形態を詳細に説明する。本実施形態では、係る情報処理装置及びプログラムの一実施形態として、スーパーマーケット等の店舗に設けられたチェックアウトシステムの商品読取装置への適用例を示す。

図１は、チェックアウトシステム１の一例の外観斜視図である。図１に示すように、チェックアウトシステム１は、物品の商品識別情報の読み取りを行う商品読取装置１０１と、商品識別情報が読み取られた商品を客の買上商品として登録して一取引区切りで精算処理を行うＰＯＳ端末１１とを備える。なお、以下において、商品識別情報は、コード読取情報又は候補商品を示す情報（候補商品情報）であるものとする。コード読取情報は、物品の商品コードの読取処理により得られる商品コードや商品コードに基づく識別情報である。また、候補商品情報は、後述するオブジェクト認識処理により得られる候補商品の識別ＩＤ等の識別情報である。

図１の例において、ＰＯＳ端末１１は、レジ台４１上にドロワ２１に載置した状態で設けられる。ＰＯＳ端末１１は、上面に、操作用の押下キーが配列されたキーボード２２を有する。また、ＰＯＳ端末１１は、キーボード２２の上方に、ユーザ（一例として以下ではキャッシャとする）が入力等に使用する第１の表示デバイス２３と、客が確認に使用する第２の表示デバイス２４を有する。第１の表示デバイス２３は、液晶等の表示パネル２３ａを有し、表示パネル２３ａにタッチパネル２６が積層されたタッチ入力式のものである。第２の表示デバイス２４は液晶等の表示パネル２４ａを有する。第２の表示デバイス２４は、ＰＯＳ端末１１の上部に回転可能に立設されている。ドロワ２１は、内部に紙幣や硬貨などを収納し、ＰＯＳ端末１１からの制御により内部を開放する。

レジ台４１の隣には、レジ台４１と共にＬ字を形成するサッカー台１５１を設けている。サッカー台１５１は、上面に、買物カゴ１５３などを載置するための荷受面１５２が形成されている。本例では、買物カゴ１５３として、第１の買物カゴ１５３ａと第２の買物カゴ１５３ｂとを示している。第１の買物カゴ１５３ａは、客が持ち込んだ買物カゴである。つまり第１の買物カゴ１５３ａは、商品識別情報が読み取られる前の物品（例えば物品Ｇ）の入った買い物カゴである。第２の買物カゴ１５３ｂは、商品読取装置１０１により商品識別情報の読み取りを終えた物品（例えば第１の買物カゴ１５３ａの物品Ｇ）を収納するための買物カゴである。キャッシャは、第１の買物カゴ１５３ａから読取前の例えば物品Ｇを手に取り、商品読取装置１０１に物品Ｇの商品識別情報を読み取らせた後、物品Ｇを第２の買物カゴ１５３ｂに移し替える。

商品読取装置１０１はサッカー台１５１の荷受面１５２の中央部に立設され、ＰＯＳ端末１１と有線又は無線によりデータ送受信可能に接続された情報処理装置である。商品読取装置１０１は、ハウジング１０２の正面に読取窓１０３が露出されるように配置された読取ユニット１１０（図２参照）を有する。読取窓１０３は透明なガラス板等により構成されている。ハウジング１０２の上部には、表示・操作ユニット１０４を設けている。表示・操作ユニット１０４は主にキャッシャが入力に使用するための液晶等の第３の表示デバイス１０６を有する。第３の表示デバイス１０６の画面には、タッチパネル１０５を積層し、画面のタッチ入力を可能にしている。また、第３の表示デバイス１０６の右隣にキーボード１０７を設け、キャッシャによるキーボード入力も可能にしている。また、主に客が確認に使用するための第４の表示デバイス１０９を表示・操作ユニット１０４の背面側に向けて設けている。

読取ユニット１１０は、読取窓１０３の奥に、手や、物品や、固定の構造物といった物体を撮像するための撮像部１６４（図２参照）を備える。キャッシャは、第１の買物カゴ１５３ａから読取前の例えば物品Ｇを手に取り、物品Ｇを第２の買物カゴ１５３ｂに移す際に、読取窓１０３に物品Ｇを翳して商品を読み取らせる。撮像部１６４は、読取窓１０３に翳された物品Ｇを撮像してフレーム画像を生成する。読取ユニット１１０は、そのフレーム画像を基に、物品Ｇを検知する。更に、読取ユニット１１０は、そのフレーム画像を対象に、物品Ｇに付されたバーコードやＱＲコード（登録商標）等のコードシンボルを読み取るコード読取処理や、後述する一般物体認識方式によるオブジェクト認識処理を行う。そして、読取ユニット１１０は、何れか一方の処理結果から、商品を確定させる。読取ユニット１１０は、商品を確定させると、確定した商品（商品コードに対応する商品又は候補商品）の商品情報を表示・操作ユニット１０４に出力する。その後、読取ユニット１１０は、確定した商品を買上商品として商品登録させるために、その商品の商品識別情報をＰＯＳ端末１１に通知する。

表示・操作ユニット１０４は、例えば商品を選択するための商品キーや個数などを入力するためのテンキーなどが配列されたプリセット画面を第３の表示デバイス１０６に入力可能に表示する。また、読取ユニット１１０において撮像された物品の商品がコード読取処理又はオブジェクト認識処理の結果に基づいて確定されたとする。その場合、表示・操作ユニット１０４は、その確定された商品の商品情報を第３の表示デバイス１０６に表示する。

ＰＯＳ端末１１では、商品読取装置１０１から通知される商品識別情報に基づき、商品識別情報に対応する商品の商品分類、商品名、単価、割引等の商品情報を、登録ファイル（不図示）に登録し、一取引分の登録商品の精算処理を行って売上登録する。

図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、ＣＰＵ（Central Processing Unit）６１、ＲＯＭ（Read Only Memory）６２、ＲＡＭ（Random Access Memory）６３、第１の表示デバイス２３、タッチパネル２６、第２の表示デバイス２４、キーボード２２、ＨＤＤ６４、ドロワ２１、プリンタ６６、通信インターフェース２５、接続インターフェース６５などを有する。ＣＰＵ６１と、ＲＯＭ６２と、ＲＡＭ６３はバスにより接続されている。また、第１の表示デバイス２３、タッチパネル２６、第２の表示デバイス２４、キーボード２２、ＨＤＤ６４、ドロワ２１、プリンタ６６、通信インターフェース２５、接続インターフェース６５は、いずれも各種の入出力回路（いずれも図示せず）を介して上記バスに接続されている。

ＣＰＵ６１は、ＰＯＳ端末１１の全体の制御を司る中央演算処理装置である。ＲＯＭ６２は固定プログラムなどを格納する不揮発性メモリである。ＲＡＭ６３は、ＣＰＵ６１が作業エリアなどとして使用する揮発性メモリである。

ＨＤＤ６４には、各種プログラムや各種ファイルが記憶されている。各種プログラムは商品販売データ処理用の登録／精算処理のプログラムＰＲなどである。各種ファイルは、ストアコンピュータＳＣから配信されて格納されたＰＬＵファイルＦ１などである。

ＰＬＵファイルＦ１には、店舗に陳列して販売する各物品の商品情報と商品の特徴量とが関連付けて設定されている。商品情報は、商品コード等の商品識別情報や、「野菜」等の商品分類や、「人参」等の商品名や、その他、単価や割引などの情報である。特徴量は、物品のサンプル画像からオブジェクト認識処理と同じ所定のアルゴリズムで事前に抽出した物品の特徴を示す特徴量である。

通信インターフェース２５は、ストアコンピュータＳＣとデータ通信を行うためのネットワークカード等である。ストアコンピュータＳＣは、店舗のバックヤード等に設置されたものである。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。

接続インターフェース６５は、商品読取装置１０１との間の通信を可能にするインターフェースである。通信は、有線又は無線により行う。プリンタ６６は、取引内容をレシート等に印字し、そのレシートを排出する印字装置である。

商品読取装置１０１は、ＣＰＵ１６１、ＲＯＭ１６２、ＲＡＭ１６３、撮像部１６４、音声出力部１６５、タイマー１６６、接続インターフェース１７５、接続インターフェース１７６、タッチパネル１０５、第３の表示デバイス１０６、キーボード１０７、第４の表示デバイス１０９などを有する。ＣＰＵ１６１と、ＲＯＭ１６２と、ＲＡＭ１６３はバスにより接続されている。また、撮像部１６４、音声出力部１６５、タイマー１６６、接続インターフェース１７５は、いずれも各種の入出力回路（いずれも図示せず）を介して上記バスに接続されている。また、接続インターフェース１７５と接続インターフェース１７６とは、有線又は無線により通信が可能に接続されている。タッチパネル１０５、第３の表示デバイス１０６、キーボード１０７、第４の表示デバイス１０９は、いずれも各種の入出力回路（いずれも図示せず）を介して接続インターフェース１７６に接続されている。

ＣＰＵ１６１は、商品読取装置１０１の全体の制御を司る中央演算処理装置である。ＲＯＭ１６２は制御プログラムなどを格納する不揮発性メモリである。制御プログラムには、コード読取処理やオブジェクト認識処理を同時に開始させたり、オブジェクト認識処理により得られる結果の出力を保留したりするプログラムなども含まれる。ＲＡＭ１６３は、ＣＰＵ１６１が作業エリアなどとして使用する揮発性メモリである。ＲＡＭ１６３の記憶領域の一部は、後の動作フローで説明する「商品検知フラグ」と「オブジェクト認識フラグ」のそれぞれの状態フラグを設定するための領域として使用する。

撮像部１６４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を有するカラーイメージセンサである。撮像部１６４は、ＣＰＵ１６１からの撮像オン信号により撮像を開始し、読取窓１０３を介して入射する光（物体の反射光）を所定のフレームレート（例えば３０ｆｐｓなど）で電気信号に変換し、フレーム画像を順次出力する。

音声出力部１６５は、予め設定された読取音（“ピッ”）や警告音や音声等を再生するための再生回路やスピーカ等を有する。音声出力部１６５は、ＣＰＵ１６１からの制御信号により読取音や警告音や音声等を再生して読取状態等を音で報知する。
タイマー１６６は、ＣＰＵ１６１の制御信号により計時を開始し、設定時間（本例では後述する優先期間の終了を示す時間）になるとＣＰＵ１６１に優先期間の終了を示す信号を出力する。

更に、ＣＰＵ１６１には接続インターフェース１７５が接続されている。接続インターフェース１７５は、ＰＯＳ端末１１の接続インターフェース６５と通信接続し、商品読取装置１０１とＰＯＳ端末１１との間のデータ送受信を可能にする。また、接続インターフェース１７５は、接続インターフェース１７６と通信接続し、表示・操作ユニット１０４との間でデータ送受信を行う。

接続インターフェース１７５は、ＰＯＳ端末１１や商品読取装置１０１の表示・操作ユニット１０４との間の通信を可能にするインターフェースである。接続インターフェース１７６は、ＰＯＳ端末１１や商品読取装置１０１の読取ユニット１１０との間の通信を可能にするインターフェースである。

次に、ＰＯＳ端末１１及び商品読取装置１０１の機能ブロックの構成について説明する。
図３は、ＰＯＳ端末１１及び商品読取装置１０１のそれぞれの機能ブロックの構成の一例を示す図である。商品読取装置１０１では、ＣＰＵ１６１がＲＯＭ１６２の格納プログラムを適宜実行して、画像取込部５１、商品検知部５２、コード読取部５３、オブジェクト認識部５４、読取制御部５５、表示制御部５６、入力受付部５７、確定部５８などの機能部を実現する。ＰＯＳ端末１１では、ＣＰＵ６１がＲＯＭ６２やＨＤＤ６４の格納プログラムを適宜実行して、売上登録部６１１などの機能部を実現する。

画像取込部５１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部５１は、撮像動作開始後に撮像部１６４から出力されるフレーム画像を取り込み、ＲＡＭ１６３に順次保存する。

商品検知部５２は、画像取込部５１によりＲＡＭ１６３にフレーム画像が保存されると、連続する複数のフレーム画像に基づいて物品が読取窓１０３に翳されたことを検知する。具体的に、商品検知部５２は、撮像部１６４からフレーム画像が出力されると、その出力されたフレーム画像をＲＡＭ１６３から読み出し、直近に読み出したフレーム画像との輝度を比較する。商品検知部５２は、その輝度の比較において、輝度階調に差分があった場合に手や物品等の何等かの写り込みがあるフレーム画像と判断する。更に、商品検知部５２は、写り込みのあるフレーム画像と連続するフレーム画像を２値化して物品の輪郭線を抽出する。そして、商品検知部５２は、連続するフレーム画像の輪郭線の位置に変化があったときに、その輪郭線内の画像を読取窓１０３に翳された物品を示す物品画像として特定する。こうして、商品検知部５２は、物品が読取窓１０３に翳されたことを検知する。

なお、物品画像を特定する方法は上記に限らず、他の方法を用いても良い。例えば、フレーム画像内の物品の輪郭線ではなく、肌色領域の有無により特定するようにしても良い。肌色領域が有る場合、キャッシャの手の写り込みがあることが予想される。従って、そのフレーム画像において輪郭線を抽出し、手の形状を示す輪郭線の、手で物品を把持する位置の輪郭線内の画像を、物品画像として特定する。

コード読取部５３は、物品に付されているバーコードや二次元コード（例えばＱＲコード（登録商標））等のコードシンボルを読み取るためのコード読取処理（読取処理）を行って、コード化されている商品コードを出力する。具体的に、コード読取部５３は、ＲＡＭ１６３から物品画像を含むフレーム画像を読み出し、そのフレーム画像にコードシンボルのデコード処理を実行する。コード読取部５３は、そのデコード処理により所定形式の商品コードを得ると、当該商品コードを例えばＰＬＵファイルＦ１に照会する。そして、コード読取部５３は、同じ商品コードが存在する場合に、コード読取情報として当該商品コードを読取制御部５５に出力する。

オブジェクト認識部５４は、フレーム画像内の物品画像を対象にオブジェクト認識処理（抽出処理の一例）を施し、物品の候補商品（候補商品を示す候補商品情報）を抽出して出力する。具体的に、オブジェクト認識部５４は、ＲＡＭ１６３から物品画像を含むフレーム画像を読み出し、物品画像から物品の色合いや表面の凹凸等の表面状態を物品の特徴量として読み取る。そして、オブジェクト認識部５４は、読み取った特徴量をＰＬＵファイルＦ１に登録されている各商品の特徴量と照合し、類似度の高い候補商品（候補商品情報）を抽出する。その後、オブジェクト認識部５４は、抽出した候補商品（候補商品情報）を読取制御部５５に出力する。

本実施形態では、オブジェクト認識部５４は、抽出した候補商品（候補商品情報）の内、類似度が閾値以上で且つ最も高い候補商品（候補商品情報）を読取制御部５５に出力する。抽出した候補商品（候補商品情報）の全ての類似度が閾値未満の場合、オブジェクト認識部５４は、オブジェクト認識ができなかったものとし、読取制御部５５への出力を行わない。この場合、オブジェクト認識部５４は、引き続き取り込まれたフレーム画像をＲＡＭ１６３から読み出し、その物品画像に対してオブジェクト認識処理を施す。

類似度は、例えばＰＬＵファイルＦ１内の各商品の特徴量を１００％＝「類似度：１．０」とした場合に、物品画像の特徴量がどの程度類似しているかを示すものである。類似度の結果は、絶対評価で算出しても良いし、相対評価で算出しても良い。

例えば類似度を絶対評価で算出するとする。その場合、物品画像の特徴量と、ＰＬＵファイルＦ１の各登録商品の特徴量とを１対１で比較し、この比較の結果算出される類似度をそのまま採用する。ここで類似度９５％を閾値にしたとする。その場合、オブジェクト認識部５４は、類似度９５％以上の登録商品があったときにその内の類似度の最も高い商品を読取制御部５５に出力する。一方、オブジェクト認識部５４は、全ての登録商品が類似度９５％未満であった場合には、読取制御部５５への出力を行わない。つまり、オブジェクト認識ができなかったものとし、続いて取り込まれたフレーム画像を対象に商品の類似度を算出し直す。

また、類似度を相対評価で算出するとする。その場合、ＰＬＵファイルＦ１の各登録商品との類似度の総和が１．０（１００％）となるよう算出する。例えばＰＬＵファイルＦ１に５つの登録商品（第１の商品、第２の商品、第３の商品、第４の商品、第５の商品）の特徴量が登録されているものとする。その場合の類似度は、例えば第１の商品に対する類似度「０．６」、第２の商品に対する類似度「０．１」、第３の商品に対する類似度「０．１」、第４の商品に対する類似度「０．１」、第５の商品に対する類似度「０．１」等とし、類似度の総和が常に１．０になるようにする。ここで類似度０．５を閾値にしたとする。その場合、オブジェクト認識部５４は、類似度０．５以上の登録商品があったときに、その登録商品を読取制御部５５に出力する。一方、オブジェクト認識部５４は、全ての登録商品が類似度０．５未満であった場合には、読取制御部５５への出力を行わない。つまり、オブジェクト認識ができなかったものとし、続いて取り込まれたフレーム画像を対象に商品の類似度を算出し直す。

なお、画像中に含まれる物体を認識するオブジェクト認識は、一般物体認識（generic object recognition）とも呼ばれている。一般物体認識の各種認識技術については、下記の文献のように解説されたものがあるため、詳しくはそちらを参照されたい。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

読取制御部５５は、コード読取処理とオブジェクト認識処理とを同時に開始させる。そして、読取制御部５５は、開始から所定時間までの期間（優先期間）にオブジェクト認識処理の結果が得られた場合、その結果の出力を一時保留し、コード読取処理によって読み取られた商品コードを確定部５８に優先的に出力する。また、読取制御部５５は、優先期間内にコード読取処理により商品コードが得られなかった場合は、優先期間内に得られたオブジェクト認識処理の結果を優先期間が終了した際に確定部５８に出力する。また、読取制御部５５は、優先期間内にオブジェクト認識処理の結果も得られなかった場合は、優先期間の終了後に、コード読取処理及びオブジェクト認識処理により先に得られた方の情報を確定部５８に出力する。

ここで、優先期間の設定方法の一例について説明する。先ず、バーコードの付された物品のコード読取処理を１点毎に試行し、１点毎に、バーコードの読み取りが完了するまでの経過時間を求める。そして、試行した物品の内の、所定数の物品又は全ての物品に適合する、バーコードの読み取りが完了するまでの経過時間（又はその直近の時間）を、読取制御部５５が優先期間の終了を検出するためのタイマー１６６に設定する。具体的に数値で示すと、撮像部１６４の撮像スピードが３０ｆｐｓであるとすると、３００ｍｓｅｃ〜５００ｍｓｅｃ程度の値を設定する。この設定値は予めＲＯＭ１６２等に記憶させておき、タイマー１６６の起動時などにその設定値が設定されるようにする。上記の例では、３００ｍｓｅｃ〜５００ｍｓｅｃ内の任意の値をＲＯＭ１６２等に設定する。なお、優先期間の終了を検出するための情報としてフレーム数をＲＯＭ１６２等に記憶させ、読取制御部５５がフレーム数に基づいて優先期間の終了を検出できるように変形しても良い。例えば優先期間を「５００ｍｓｅｃ」とした場合には５００ｍｓｅｃ相当のフレーム数を記憶させる。

読取制御部５５は、開始から所定時間の経過をタイマー１６６の出力によりモニタし、所定時間が経過すると、優先期間の終了と判断する。

表示制御部５６は、各種画面を第３の表示デバイス１０６に表示させる。表示制御部５６は、各種画面として、例えば商品を選択するための商品キーや個数などを入力するためのテンキーなどが配列されたプリセット画面を表示させる。また、表示制御部５６は、オブジェクト認識部５４の結果を示す画面や、コード読取部５３やオブジェクト認識部５４の結果に基づいて確定された商品の情報を示す画面などを表示させる。

入力受付部５７は、タッチパネル１０５またはキーボード１０７を介しての各種入力操作を受付ける。例えば第３の表示デバイス１０６に入力画面が表示されている場合に、タッチパネル１０５のタッチ操作やキーボード１０７の押下操作を、入力画面上の対応する操作子の操作情報等として受け付ける。

確定部５８は、読取制御部５５が出力する商品コードや候補商品情報の商品を買上商品として確定し、その商品の商品識別情報をＰＯＳ端末１１の売上登録部６１１に通知する。売上登録部６１１への通知は、確定部５８が接続インターフェース１７５に売上登録部６１１への通知を指示することにより行う。これにより、接続インターフェース１７５から接続インターフェース６５に商品識別情報が送信され、その商品識別情報が売上登録部６１１に通知される。なお、商品識別情報は、ＰＯＳ端末１１で商品を一意に識別することのできる情報であれば良い。商品識別情報として、例えば、商品コードや、商品名などを利用することができる。

売上登録部６１１は、確定部５８から送信された商品識別情報を受信し、商品識別情報が示す商品を買上商品として登録する。そして、売上登録部６１１は、例えばタッチパネル２６などからの締めの入力操作に基づき、それまでに登録した一取引分の商品の精算処理を行って、登録商品を売り上げる。

次に、チェックアウトシステム１の動作について説明する。
図４は、チェックアウトシステム１の商品登録及び精算処理の一取引分の処理の一例を示すフロー図である。以下、図４に示すフロー図を例にチェックアウトシステム１の動作について説明する。

先ず、ＰＯＳ端末１１が商品読取装置１０１に対して商品読取処理の開始を指示する（Ｓ１）。例えば、キャッシャがキーボード２２やタッチパネル２６の所定キーを操作し、商品登録処理の開始を宣言する。ＰＯＳ端末１１は、その宣言により、商品読取装置１０１に対して商品読取処理の開始を指示するための読取開始信号を送信する。また、ＰＯＳ端末１１は、商品読取装置１０１から商品読取処理等の結果として通知される商品識別情報を売上登録部６１１で待ち受ける。売上登録部６１１は、ＣＰＵ６１がＲＯＭ６２やＨＤＤ６４などに格納された売上登録に係るプログラムを実行して実現する。

商品読取装置１０１は、ステップＳ１において商品読取装置１０１から送信された読取開始信号を受信すると、所定の商品読取処理を行う（Ｓ２）。具体的に、商品読取装置１０１は、撮像部１６４（図２参照）の撮像を開始し、読取窓１０３を含む撮像範囲のフレーム画像を取り込む。更に、商品読取装置１０１は、フレーム画像から読取窓１０３に翳された物品を検知するとコード読取処理とオブジェクト認識処理とを同時に走らせる。商品読取装置１０１は、優先期間内にオブジェクト認識処理の結果を得ると、その結果を一時保留する。そして、商品読取装置１０１は、優先期間内にコード読取処理の結果が得られない場合に、優先期間内に得たオブジェクト認識処理の結果を優先期間の終了後に買上商品として確定する。なお、この一連の商品読取処理については、その処理の一例として示すフロー図（図５）を用いて後に改めて説明する。

ステップＳ２の処理後、商品読取装置１０１は、ステップＳ２で確定させた商品の商品識別情報をＰＯＳ端末１１の売上登録部６１１に通知する（Ｓ３−１）。

ここで、商品読取装置１０１は、上記一連の商品読取処理に並行して、キャッシャによる商品キーからの商品識別情報の入力も受け付ける。具体的に、表示制御部５６がプリセット画面を第３の表示デバイス１０６に表示し、入力受付部５７がキャッシャによるタッチパネル１０５やキーボード１０７からの商品キーの操作入力を受け付ける。キャッシャが商品キーを操作した場合に、商品読取装置１０１は当該商品キーに対応する商品識別情報をＰＯＳ端末１１の売上登録部６１１に通知する。

続いて、ＰＯＳ端末１１は、商品読取装置１０１から商品識別情報の通知を受信し、その商品を買上商品として登録処理する（Ｓ４−１）。具体的には、売上登録部６１１が上記通知を受信する。そして、売上登録部６１１は、通知された商品識別情報に対応する各種商品情報（価格や割引等）をＰＬＵファイルＦ１から抽出する。更に、売上登録部６１１は抽出した情報一式を買上商品として登録ファイル（不図示）等に登録する。

買上商品を全て読み取るまで、ステップＳ３−ＮとステップＳ４−Ｎを繰り返す。ただし、Ｎ＝２、３、・・・を示す整数とする。

続いて、ＰＯＳ端末１１は、商品読取装置１０１から商品読取処理の終了を示す読取終了信号を受信し（Ｓ５）、登録した一取引分の商品の精算処理を行う（Ｓ６）。例えばキャッシャが商品読取装置１０１のタッチパネル１０５やキーボード１０７の締めキーを押下する。すると、商品読取装置１０１から読取終了信号が送信され、この信号をＰＯＳ端末１１が受信する（Ｓ５）。ＰＯＳ端末１１は、その読取終了信号の受信により、登録ファイルの一取引分の商品を抽出し、合計金額やつり銭額を算出するなどの精算処理を行う（Ｓ６）。

次に、図４のステップＳ２、ステップＳ３に示す一連の商品読取処理の具体例を示す。一連の商品読取処理は、ＣＰＵ１６１がＲＯＭ１６２の格納プログラムを実行し、画像取込部５１、商品検知部５２、コード読取部５３、オブジェクト認識部５４、読取制御部５５、入力受付部５７、確定部５８を実現することにより行われる。

図５は、一連の商品読取処理の具体例のフロー図である。以下では、上記各部が実現されているものとして説明する。また、本例では、読取制御部５５がＲＡＭ１６３に「商品検知フラグ」と「オブジェクト認識フラグ」のフラグ領域を確保し、フラグの設定に応じて処理を制御する例を示す。

先ず、読取制御部５５が、ＲＡＭ１６３の「商品検知フラグ」及び「オブジェクト認識フラグ」にデフォルト値の「０」を設定する（Ｓ２１、Ｓ２２）。

続いて、画像取込部５１が撮像部１６４に撮像オン信号を出力して撮像部１６４からフレーム画像を取り込み、商品検知部５２がそのフレーム画像を対象に物品の画像を含むフレーム画像を仕分ける（Ｓ２３）。この仕分処理として、商品検知部５２は、例えば画像取込部５１が一つ前に取り込んだフレーム画像から輝度階調の差を求める。輝度階調の差がある場合、各フレーム画像に物品の画像が含まれている可能性がある。従って、その場合、商品検知部５２は、各フレーム画像から更に物体の輪郭線を抽出し、それぞれの物体の輪郭線の位置を比較する。この比較により輪郭線の位置に変化があるものは、物品を示す輪郭線である可能性が高い。その場合に、商品検知部５２は、画像取込部５１が取り込んだフレーム画像を読取対象のフレーム画像として仕分ける。

続いて、商品検知部５２が、物品が読取窓１０３に翳されているかをフレーム画像から判定する（Ｓ２４）。ここで、商品検知部５２は、ステップＳ２３の仕分処理により読取対象のフレーム画像を得た場合に、物品が読取窓１０３に翳されていると判定する（ステップＳ２４：Ｙｅｓ判定）。一方、商品検知部５２は、ステップＳ２３で読取対象のフレーム画像が得られなかった場合に、物品が読取窓１０３に翳されていないと判定する（ステップＳ２４：Ｎｏ判定）。

ステップＳ２４がＹｅｓ判定であったとする。すると、続いて、読取制御部５５が、ＲＡＭ１６３の「商品検知フラグ」の値を読み取って「１」に設定されているかを判定する（Ｓ２５）。１巡目は、商品検知フラグが「０」であるため、ステップＳ２５はＮｏ判定となる。２巡目以後は、１巡目のステップＳ２８で「商品検知フラグ」が「１」に設定されるため、ステップＳ３３で「商品検知フラグ」が「０」に戻されるまでの間、ステップＳ２５はＹｅｓ判定となる。

ステップＳ２５がＮｏ判定であったとする。すると、続いて読取制御部５５は、コード読取部５３とオブジェクト認識部５４に起動を指示し、コード読取処理とオブジェクト認識処理とを同時に開始させる（Ｓ２６）。これにより、コード読取部５３とオブジェクト認識部５４は、ステップＳ２３で読取対象として仕分けられたフレーム画像を対象に、同時スタートでコード読取処理とオブジェクト認識処理を実行し、それぞれの処理を並列に処理する。

更に読取制御部５５は優先期間の終了のタイミングを検出するためのタイマー１６６をスタートさせる（Ｓ２７）。具体的に、読取制御部５５は優先期間を示す情報（例えば５００ｍｓｅｃ等）がセットされたタイマー１６６に開始信号を出力して優先期間のカウントを開始させる。

そして、読取制御部５５はＲＡＭ１６３の「商品検知フラグ」の設定を「１」に変更し（Ｓ２８）、ステップＳ２９の処理に移行する。

なお、ステップＳ２５がＹｅｓ判定であった場合は、上述したステップＳ２６〜Ｓ２８の処理をとばして、次のステップＳ２９の処理に移行する。

続いて、読取制御部５５は、コード読取部５３により商品コードが読み取られたかを判定する（Ｓ２９）。読取制御部５５は、コード読取部５３からコード読取処理の結果が返ると、コード読取部５３により商品コードが読み取られたと判定する（ステップＳ２９：Ｙｅｓ判定）。また、コード読取部５３からコード読取処理の結果が返らないと、コード読取部５３により商品コードが読み取られていないと判定する（ステップＳ２９：Ｎｏ判定）。Ｎｏ判定となる場合は、コード読取部５３によるコード読取処理がまだ試行中の場合などである。例えば物品に付されたバーコードがフレーム画像に含まれていないため、コード読取部５３がその商品コードをまだ読み取れない場合である。また、物品にバーコードが付されていないため、コード読取処理自体が不可能な場合である。

ステップＳ２９がＹｅｓ判定であったとする。すると、続いて確定部５８が、読み取られた商品コードに対応する商品識別情報をＰＯＳ端末１１（売上登録部６１１）に通知する（Ｓ３０）。具体的には、読取制御部５５はコード読取部５３から商品コードが返ると、その商品コードを確定部５８に出力する。確定部５８はその商品コード又はそれに対応する他の商品識別情報を売上登録部６１１に通知する。

ステップＳ３０の通知後、読取制御部５５は、コード読取処理及びオブジェクト認識処理を初期化する（Ｓ３１）。例えば、読取制御部５５はコード読取部５３やオブジェクト認識部５４に指示し、コード読取処理及びオブジェクト認識処理を処理の開始前の状態に初期化させる。また、読取制御部５５は、ＲＡＭ１６３に保存されているフレーム画像や、ステップＳ３６で表示に使用される候補商品の表示情報や、ステップＳ３７でＲＡＭ１６３に保存される候補商品（候補商品情報）等をクリアする。ステップＳ３６、Ｓ３７の処理については後述する。更に、読取制御部５５は、ステップＳ２７でスタートさせたタイマー１６６を停止し、初期状態にリセットする（Ｓ３２）。また、読取制御部５５は、ＲＡＭ１６３の「商品検知フラグ」及び「オブジェクト認識フラグ」の設定をデフォルト値「０」に戻す（Ｓ３３）。そして、ステップＳ３３の処理が終わると、ステップＳ２３の処理に移行する。一方、ステップＳ２９がＮｏ判定であった場合、読取制御部５５は次に示す処理を行う。

先ず、読取制御部５５は、オブジェクト認識部５４から結果が得られたか判定する（Ｓ３４）。例えば、オブジェクト認識部５４から読取制御部５５に、類似度が所定の閾値を超える最上位の候補商品情報が返るとする。その場合、読取制御部５５は、オブジェクト認識部５４から結果が得られたと判定する（ステップＳ３４：Ｙｅｓ判定）。一方、オブジェクト認識部５４からオブジェクト認識処理の結果が何も返らない場合、読取制御部５５は、オブジェクト認識部５４から結果が得られていないと判定する（Ｓ３４：Ｎｏ判定）。ここでＮｏ判定となる場合は、オブジェクト認識部５４によるオブジェクト認識処理がまだ試行中の場合などである。例えば読取対象のフレーム画像の数が不足しているなどの理由で、オブジェクト認識処理が行えない場合である。また、物品の向きが悪いために類似度が所定の閾値を超えるものが得られない場合などである。

ステップＳ３４がＹｅｓ判定の場合、読取制御部５５は、ＲＡＭ１６３の「オブジェクト認識フラグ」の値を読み取り、「オブジェクト認識フラグ」が「１」に設定されているかを判定する（Ｓ３５）。初回は、「オブジェクト認識フラグ」が「０」であるため、ステップＳ３５はＮｏ判定となる。

ここでステップＳ３５がＮｏ判定であったとする。すると、読取制御部５５は、オブジェクト認識部５４から返った候補商品情報の画像や商品情報等を第３の表示デバイス１０６に表示させる（Ｓ３６）。更に、読取制御部５５は、オブジェクト認識部５４から返った候補商品情報の、確定部５８への出力、つまり買上商品としての確定を、一時保留する制御を行う（Ｓ３７）。具体的に、読取制御部５５は、オブジェクト認識部５４から返った候補商品情報をＲＡＭ１６３に保存しておく。そして、読取制御部５５は、優先期間が終了するまでの間、つまりタイマー１６６がタイムアップを示す信号を出力するまでの間、確定部５８への候補商品情報の出力を保留する。そして、読取制御部５５は、ＲＡＭ１６３のオブジェクト認識フラグの設定を「０」から「１」に変更し（Ｓ３８）、ステップＳ３９の処理に移行する。なお、ステップＳ３６の表示情報やステップＳ３７の保留情報は、ステップＳ３１の処理でＲＡＭ１６３からクリアするものとする。

一方、ステップＳ３５がＹｅｓ判定の場合、ステップＳ３６〜ステップＳ３８をとばしてステップＳ３９の処理に移行する。

続いて、読取制御部５５は、優先期間が終了したかを判定する（Ｓ３９）。本例では、読取制御部５５は、タイマー１６６の出力を読み取り、タイマー１６６からタイムアップを示す信号が出力されている場合に優先期間が終了したと判定する（ステップＳ３９：Ｙｅｓ判定）。タイマー１６６からタイムアップを示す信号が出力されていない場合は、読取制御部５５は、優先期間内であると判定する（ステップＳ３９：Ｎｏ判定）。ステップＳ３９がＮｏ判定の場合、ステップＳ２３の処理に戻る。

一方、ステップＳ３９がＹｅｓ判定の場合、読取制御部５５はオブジェクト認識処理により得られた候補商品情報を確定部５８に出力し、その商品識別情報を売上登録部６１１に通知させる（Ｓ４０）。例えば、読取制御部５５は、一時的に確定部５８への出力を保留した候補商品情報をＲＡＭ１６３から読み出し、それを確定部５８に対して出力する。また、優先期間内に候補商品情報が得られなかった場合の優先期間後の処理においては、読取制御部５５は、直近のステップＳ３４の時点で得られた候補商品情報を確定部５８に対して出力する。確定部５８は、読取制御部５５から出力された候補商品情報の商品を買上商品として自動確定し、その候補商品の商品識別情報を売上登録部６１１に通知する。そして、ステップＳ３１の処理に移行する。

なお、ステップＳ３４がＮｏ判定の場合、読取制御部５５は、ステップＳ３９と同様に、優先期間が終了したかを判定する（Ｓ４１）。更にステップＳ４１がＮｏ判定の場合、読取制御部５５は、商品キーが押下されたか否かを判定する（Ｓ４２）。ここで商品キーが押下されている場合は（ステップＳ４２：Ｙｅｓ判定）、確定部５８が商品キーに対応する商品識別情報を売上登録部６１１に通知する（Ｓ４３）。ステップＳ４３の処理後は、ステップＳ３１に移行する。一方、商品キーが押下されていない場合は（ステップＳ４２：Ｎｏ判定）、ステップＳ２３の処理に移行する。

また、ステップＳ４１がＹｅｓ判定の場合は、読取制御部５５は、ステップＳ３５と同様に、ＲＡＭ１６３の「オブジェクト認識フラグ」の値を読み取り、「オブジェクト認識フラグ」が「１」に設定されているかを判定する（Ｓ４４）。ステップＳ２６のオブジェクト認識処理の開始後にステップＳ３４で１度でもＹｅｓ判定になれば、「オブジェクト認識フラグ」は「１」になる。従って、そのような場合は、ステップＳ４４がＹｅｓ判定となり、ステップＳ４０の処理に移行する。つまり、読取制御部５５は一時的に確定部５８への出力を保留した候補商品情報を確定部５８に出力し、その商品識別情報を売上登録部６１１に通知させる。一方、ステップＳ３４で１度もＹｅｓ判定にならなかった場合は、「オブジェクト認識フラグ」は「０」のままとなる。その場合は、ステップＳ４４はＮｏ判定となって、ステップＳ４２の処理に移行する。

また、ステップＳ２４がＮｏ判定の場合、読取制御部５５は、タイマー１６６が起動中であるかを判定する（Ｓ４５）。タイマー１６６が起動中である場合（ステップＳ４５：Ｙｅｓ判定）、ステップＳ４１の処理に移行する。タイマー１６６が停止している場合（ステップＳ４５：Ｎｏ判定）、ステップＳ２３の処理に移行する。

以上の処理において、優先期間内にコード読取部５３から商品コードが得られると、ステップＳ２９がＹｅｓ判定となり、ステップＳ３０が実行される。これにより、商品読取装置１０１はＰＯＳ端末１１に商品コードに基づく商品識別情報を送信する。

また、優先期間内にコード読取部５３よりも前にオブジェクト認識部５４から結果が得られるとする。その場合、ステップＳ３４がＹｅｓ判定となって、ステップＳ３７で一時的にその結果の出力を保留する。その後、優先期間内にコード読取部５３から商品コードが得られると、ステップＳ２９がＹｅｓ判定となり、ステップＳ３０が実行される。つまり、商品読取装置１０１がＰＯＳ端末１１に商品コードに基づく商品識別情報を送信する。その場合、ステップＳ３７で一時的に出力が保留された結果はステップＳ３１において破棄される。

また、優先期間内にコード読取部５３から商品コードが得られなかったとする。その場合、優先期間内にオブジェクト認識部５４から結果が得られていれば、優先期間の終了後に行われる最初のステップＳ３９又はステップＳ４１の判定処理がＹｅｓ判定となり、ステップＳ４０が実行される。つまり、商品読取装置１０１はＰＯＳ端末１１にステップＳ３７で一時的に出力が保留された上記結果の商品識別情報を送信する。

また、優先期間内にコード読取部５３からもオブジェクト認識部５４からも結果が得られなかったとする。その場合、優先期間の終了後に行われる最初のステップＳ４４の判定でＮｏ判定となる。そして、ステップＳ４２（Ｎｏ判定）、ステップＳ２３、Ｓ２４（Ｙｅｓ判定又はＮｏ判定）、Ｓ２５（Ｙｅｓ判定）、Ｓ２９（Ｎｏ判定）、Ｓ３４（Ｎｏ判定）、Ｓ４１（Ｙｅｓ判定）、Ｓ４４（Ｎｏ判定）のループ処理を、ステップＳ２９、ステップＳ３４、又はステップＳ４２の何れかの判定結果がＹｅｓ判定になるまで繰り返す。

以上のように、本実施形態では、情報処理装置としての商品読取装置１０１は、撮像手段としての撮像部１６４、取込手段としての画像取込部５１、検知手段としての商品検知部５２、第１の抽出手段としてのコード読取部５３、第２の抽出手段としてのオブジェクト認識部５４、指示手段及び通知制御手段としての読取制御部５５並びに確定部５８を備える。

この構成により、商品読取装置１０１は、コード読取処理とオブジェクト認識処理を同時に開始させる。そして、優先期間内は、オブジェクト認識処理の結果がコード読取処理の結果よりも先に得られたとしても、そのオブジェクト認識処理の結果を保留し、後から得られるコード読取処理の結果を物品を示す商品識別情報として適用する。優先期間内にコード読取処理の結果が得られない場合には、優先期間内に得られ、保留したオブジェクト認識処理の結果を、物品を示す商品識別情報として適用する。

これにより、コード読取処理の試行後、その間に結果が得られていれば直ちにオブジェクト認識処理の結果を取得できる。また、その間に結果が得られていなくても、既にオブジェクト認識処理は開始されているため、コード読取処理の試行後の早い段階でオブジェクト認識処理の結果を取得できる。従って、一物品当たりのオブジェクト認識処理の結果の取得時間を短縮することが可能になる。

（変形例）
実施形態では、オブジェクト認識部５４が、抽出した候補商品（候補商品情報）の内、類似度が閾値以上で且つ最も高い候補商品（候補商品情報）を読取制御部５５に出力し、その商品を確定部５８が買上商品として自動確定する態様のものについて示した。ここでは、オブジェクト認識部５４が、抽出した候補商品（候補商品情報）の上位グループを読取制御部５５に出力し、確定部５８がそのグループから一つの候補商品（候補商品情報）をキャッシャの入力に応じて確定させる変形例を示す。以下では、実施形態と重複する説明は適宜省略し、変形例の主な特徴について説明する。

変形例のチェックアウトシステムにおいて、オブジェクト認識部５４（図３参照）は、オブジェクト認識処理により候補商品（候補商品情報）を抽出すると、その内の上位グループ（例えば上位６点の候補商品情報など）を読取制御部５５（図３参照）に出力する。

読取制御部５５は、上位グループの候補商品情報を取得すると、キャッシャが選択する一つの候補商品（候補商品情報）を入力受付部５７（図３参照）から取得するまで、確定部５８（図３参照）への候補商品情報の出力を保留する。従って、この間、読取制御部５５は、上位グループの候補商品情報をＲＡＭ１６３に記憶させておく。また、読取制御部５５は、上位グループの候補商品情報を取得すると、表示制御部５６（図３参照）に上位グループの候補商品の表示を指示する。また、読取制御部５５は、入力受付部５７から、キャッシャにより選択された一つの候補商品を示す情報を取得すると、その情報に対応するＲＡＭ１６３の候補商品情報を確定部５８に出力する。

表示制御部５６は、読取制御部５５から上位グループの候補商品の表示が指示されると、上位グループの候補商品の表示情報を生成して第３の表示デバイス１０６（図２参照）に出力する。

入力受付部５７は、第３の表示デバイス１０６に上位グループの候補商品が表示されると、それらの内の一つの候補商品のキャッシャによる選択入力を受け付ける。

確定部５８は、キャッシャにより一つの候補商品が選択された場合、その商品を買上商品として確定する。

次に、変形例の商品読取装置の読取制御フローについて説明する。
図６は、変形例の商品読取装置の読取制御フロー図である。図６は、実施形態の商品読取装置１０１の読取制御フロー図（図５参照）に候補商品の表示処理や判定処理などを追加したものである。以下では、図５と異なる部分について説明する。

先ず、ステップＳ３６からの処理を示す。ステップＳ３６において、読取制御部５５は、オブジェクト認識部５４から返った上位グループの候補商品（候補商品情報）の選択画面を第３の表示デバイス１０６に表示させる。具体的に、読取制御部５５は表示制御部５６に上位グループの候補商品の選択画面の表示を指示する。そして、表示制御部５６が上位グループの候補商品の選択キーを含む表示画面情報を生成して第３の表示デバイス１０６にその表示画面情報を出力する。これにより、上位グループの候補商品の選択画面を第３の表示デバイス１０６に表示させる。更に、ステップＳ３７において、読取制御部５５は、オブジェクト認識部５４から返った上位グループの候補商品情報をＲＡＭに一時的に保存しておき、確定部５８への出力を保留する。ステップＳ３８では、読取制御部５５は、ＲＡＭ１６３のオブジェクト認識フラグの設定を「０」から「１」に変更する。

続いて、読取制御部５５は、上位グループの候補商品の中から一つの候補商品が選択されたかを判定する（Ｓ５０）。具体的に、第３の表示デバイス１０６に表示されている上位グループの候補商品から、キャッシャが対応する選択キーをタッチするなどして一つの候補商品を選択するとする。すると、その選択キーの入力を入力受付部５７が受け付ける。読取制御部５５は、入力受付部５７から入力情報を取得し、その入力情報に、ＲＡＭに記憶した上位グループの候補商品情報の内の何れか一つの候補商品情報が含まれているかを、互いに対比させるなどして、上記判定を行う。

ここで、キャッシャが一つの候補商品を選択したとする（ステップＳ５０：Ｙｅｓ判定）。その場合は、ステップＳ４０に移行し、読取制御部５５は、オブジェクト認識処理により得られた候補商品情報を確定部５８に出力する。ただし、確定部５８に出力する候補商品情報は、キャッシャにより選択された一つの候補商品情報のみとする。

一方、キャッシャが候補商品を選択していない場合（ステップＳ５０：Ｎｏ判定）、読取制御部５５は、ステップＳ３９の優先期間の終了を判定する処理を行う。優先期間内の場合（ステップＳ３９：Ｎｏ判定）、ステップＳ２３の処理に移行する。優先期間を終了している場合（ステップＳ３９：Ｙｅｓ判定）、読取制御部５５は、その旨を示す情報を第３の表示デバイス１０６の選択画面に表示させる（Ｓ５１）。具体的に、読取制御部５５は表示制御部５６に対し、選択キーの入力をキャッシャに促す画面の表示を指示する。そして、表示制御部５６が、上記選択画面に選択キーの入力を促す情報を設定してなる画面の表示画面情報を生成して第３の表示デバイス１０６にその表示画面情報を出力する。選択キーの入力を促す情報は、例えば、「選択キーを押下してください」などのメッセージや、選択キー又は背景画面等の所定色への変更や、画面の点滅など、キャッシャが視覚的に判断できるものを適宜設定して良い。

ステップＳ５１の処理が終わると、ステップＳ５０の処理に移行し、再び、上位グループの候補商品の中から一つの候補商品が選択されたかを判定する。ステップＳ５０（Ｎｏ判定）、Ｓ３９（Ｙｅｓ判定）、Ｓ５１、Ｓ５０の順のループ処理は、キャッシャが一つの候補商品を選択し、ステップＳ５０でＹｅｓ判定となるまで繰り返す。

次に、ステップＳ３４（Ｎｏ判定）からの処理を示す。ステップＳ３４において、読取制御部５５がオブジェクト認識部５４から結果が得られていないと判定した（ステップＳ３４：Ｎｏ判定）とする。すると、読取制御部５５は、ステップＳ５０と同様に、上位グループの候補商品の中から一つの候補商品が選択されたかを判定する（Ｓ５２）。ステップＳ２６のオブジェクト認識処理の開始後にステップＳ３４で１度でもＹｅｓ判定になれば、第３の表示デバイス１０６に上位グループの候補商品が表示されている。従って、キャッシャが対応する選択キーをタッチすれば、ステップＳ５２がＹｅｓ判定となる。一方、ステップＳ３４で１度もＹｅｓ判定になっていない場合は、第３の表示デバイス１０６に上位グループの候補商品が表示されないため、ステップＳ５２はＮｏ判定となる。

ステップＳ５２がＹｅｓ判定の場合、ステップＳ４０に移行し、読取制御部５５は、オブジェクト認識処理により得られた候補商品情報を確定部５８に出力する。ただし、確定部５８に出力する候補商品情報は、キャッシャにより選択された一つの候補商品情報のみとする。

ステップＳ５２がＮｏ判定の場合、読取制御部５５は、ステップＳ４１の優先期間の終了を判定する処理を行う。優先期間内の場合（ステップＳ４１：Ｎｏ判定）、ステップＳ４２の処理に移行する。優先期間を終了している場合（ステップＳ４１：Ｙｅｓ判定）、読取制御部５５は、ＲＡＭ１６３の「オブジェクト認識フラグ」の値を読み取り、「オブジェクト認識フラグ」が「１」に設定されているかを判定する（Ｓ４４）。

ここで、ステップＳ４４がＹｅｓ判定であったとする。その場合、読取制御部５５は、ステップＳ５１と同様にして、キャッシャに選択キーの入力を促す情報を第３の表示デバイス１０６の選択画面に表示させる（Ｓ５３）。ステップＳ５３の処理が終わると、ステップＳ５２の処理に移行し、読取制御部５５は、再び、上位グループの候補商品の中から一つの候補商品が選択されたかを判定する。その後、ステップＳ５２（Ｎｏ判定）、Ｓ４１（Ｙｅｓ判定）、Ｓ４４（Ｙｅｓ判定）、Ｓ５３、Ｓ５２の順のループ処理は、キャッシャが一つの候補商品を選択し、ステップＳ５２でＹｅｓ判定となるまで繰り返す。一方、ステップＳ４４がＮｏ判定の場合は、ステップＳ４２の処理に移行する。

なお、ステップＳ４５（Ｙｅｓ判定）の場合においても、ステップＳ５２の判定処理を行って、上述した手順の処理を行う。

なお、変形例では、優先期間が終了すると、オブジェクト認識処理により抽出された上位の候補商品の、表示画面の選択キーにおける選択を促す情報を、表示画面に視覚的に表示させる例を示した。しかし、これに限らず、警報音や音声などにより、選択を促しても良い。例えば、優先期間が終了すると、所定の警報音（例えば“ピー”など）や、“候補商品を選択キーから選択してください”などの音声を、音声出力部１６５において再生させても良い。

以上のように、変形例では、オブジェクト認識部５４から結果が返ると、読取制御部５５は、上位グループの候補商品の選択キーを画面に表示させる。キャッシャは、キャベツなどの物品を読取窓１０３に翳した場合には、予めバーコードが付されていない物品であることが分かっている。従って、そのような場合は、優先期間内であっても、キャッシャが選択キーを選択することにより、上位の候補商品の内の一つの候補商品に物品を確定させることができる。また、優先期間の終了後は、選択キーの入力をキャッシャに促す画面に切り替わる。このため、キャッシャは、優先期間が終了したことを視覚的に判断し、速やかに選択キーを入力することができる。

このように、変形例では、オブジェクト認識処理により得られた候補商品から物品を確定させる処理を優先期間内に済ませることもできる。

また、コード読取処理とオブジェクト認識処理に限らず、その他の読取処理を適用しても良い。

また、実施形態及び変形例においては、商品検知部５２を検知手段として設け、商品検知部５２がフレーム画像から物品画像を検知することにより、読取窓１０３に物品が翳されたことを検知するようにした。しかし、その他の検知手段により、読取窓１０３に物品が翳されたことを検知するようにしても良い。例えば物品が読取窓１０３に翳されたことを赤外線センサにより検知するようにしても良い。

また、優先期間として示す３００ｍｓｅｃ〜５００ｍｓｅｃ程度の値は、一例であり、キャッシャの処理能力や、装置のスペックや、オブジェクト認識処理のスピードなどに応じて、適宜、設定を調節しても良い。例えば、バーコードの読取が速いキャッシャの場合には、優先期間を更に短くしても良い。また、バーコードの読取が遅いキャッシャの場合には、優先期間を更に長くしても良い。

また、優先期間を変更するための変更手段を設けても良い。例えば、変更手段として、優先期間を設定するための設定画面を設け、呼び出しの信号により、表示画面に設定画面を表示させる。表示されている設定画面においてキャッシャなどにより優先期間が設定されると、その設定情報を当該プログラムの優先期間に反映する。

本実施形態及び変形例においては、係る情報処理装置及びプログラムを、精算や商品登録を行うＰＯＳ端末と商品識別情報を読み取る読取装置とが別体のチェックアウトシステムに適用した場合の例を示したが、この限りではない。係る情報処理装置及びプログラムを、精算、商品登録、商品識別情報の読み取りを一体装置で行う例えばセルフＰＯＳなどに適用しても良い。

ここで、セルフＰＯＳの構成例を示す。
図７は、セルフＰＯＳ２００の構成を示す外観斜視図である。
図８は、セルフＰＯＳ２００のハードウェア構成を示すブロック図である。
なお、以下では、図１および図２に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。

図７及び図８に示すように、セルフＰＯＳ２００の本体２０２は、タッチパネル１０５が表面に配設された第３の表示デバイス１０６や、商品画像を読み取るための読取ユニット１１０などを備える。第３の表示デバイス１０６は、実施形態に示すプリセット画面や候補商品の選択画面の他に、精算画面などを表示する。また、本体２０２は、右側に未精算の商品の入った買物カゴ１５３ａ（図１参照）を置くための商品載置台２０３を備え、左側に精算済みの商品を置くための商品載置台２０４を備える。商品載置台２０４は、精算済みの商品を入れるための袋を掛ける袋掛けフック２０５や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台２０６を備える。商品載置台２０３、２０４は、計量器２０７、２０８をそれぞれ兼ね備え、精算前後で商品の重量が同じであることを確認するための機能を有する。更に、本体２０２は、前面に釣り銭器２０１などを備える。

セルフＰＯＳ２００は、ＣＰＵ１６１がＲＯＭ１６２の格納プログラムを適宜実行して、図３に示す画像取込部５１、商品検知部５２、コード読取部５３、オブジェクト認識部５４、読取制御部５５、表示制御部５６、入力受付部５７、確定部５８などの機能部を実現する。また、ＣＰＵ６１がＲＯＭ６２やＨＤＤ６４の格納プログラムを適宜実行して、図３に示す売上登録部６１１などの機能部を実現する。タッチパネル１０５から商品登録処理の開始を宣言する入力があると、その入力信号が接続インターフェース１７６と接続インターフェース６５を介してＣＰＵ６１に入力される。ＣＰＵ６１はその入力信号に基づき、接続インターフェース６５と接続インターフェース１７５を介して読取開始信号を読取ユニット１１０へ出力する。セルフＰＯＳ２００のその他の動作は、図４〜図６で説明したものと略同様に説明できる。ここでの動作の説明は繰り返しになるため省略する。

なお、ＲＯＭ６２やＨＤＤ６４に所定のプログラムを格納し、ＣＰＵ６１が売上登録部６１１の他に、画像取込部５１、商品検知部５２、コード読取部５３、オブジェクト認識部５４、読取制御部５５、表示制御部５６、入力受付部５７、確定部５８などの機能部の一部又は全てを実現するようにしても良い。ＣＰＵ６１が読取制御部５５を実現する場合、確定部５８を省略し、読取制御部５５が売上登録部６１１に商品コードや候補商品の商品識別情報を直接出力して、商品登録させる。

本実施形態及び変形例の情報処理装置で使用する各種プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供し、情報処理装置のＨＤＤやフラッシュＲＯＭなどに読み込ませて実行してもよい。

また、当該プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。

以上の実施形態及び変形例において、情報処理装置及びプログラムについての構成を説明したが、この実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態及び変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１１ ＰＯＳ端末
５１ 画像取込部
５２ 商品検知部
５３ コード読取部
５４ オブジェクト認識部
５５ 読取制御部
５６ 表示制御部
５７ 入力受付部
５８ 確定部
６１、１６１ ＣＰＵ
６４ ＨＤＤ
１０１ 商品読取装置
６１１ 売上登録部
Ｆ１ ＰＬＵファイル

特開２０１３−１７８７２２号公報

実施形態の情報処理装置は、撮像画像を取り込む取込手段と、前記撮像画像において物品を検知すると、当該物品の画像からコードを読み取るコード読取処理と、前記物品の画像に基づいて前記物品の候補商品を抽出するオブジェクト認識処理と、を同時に開始させる読取制御手段と、前記オブジェクト認識処理で先に前記候補商品が抽出された場合、前記コード読取処理と前記オブジェクト認識処理とを開始してから前記処理の対象となる前記物品の画像における所定のフレーム数内に前記コードが読み取られれば読み取られたコードを売上登録部に通知し、前記所定のフレーム数内に前記コードが読み取られなければ、前記所定のフレーム数の経過後に、前記候補商品を示す情報を売上登録部に通知する通知制御手段と、を備える。

Claims (6)

1. 撮像手段が撮像した物品の画像を取り込む取込手段と、
   物品を検知する検知手段と、
   前記取込手段が取り込んだ画像に基づいて、前記検知手段が検知した物品に付加されているコードシンボルを抽出するための抽出処理を行う第１の抽出手段と、
   前記取込手段が取り込んだ画像に基づいて、前記検知手段が検知した物品を示す情報を抽出するための抽出処理を行う第２の抽出手段と、
   前記検知手段が物品を検知すると第１の抽出手段及び第２の抽出手段に抽出処理の開始を指示する指示手段と、
   開始後の所定期間は、前記第１の抽出手段により抽出されるコードシンボルを商品登録先に通知し、コードシンボルが抽出されなければ、前記第２の抽出手段により前記所定期間内に抽出された前記物品を示す情報を前記所定期間の経過後に前記商品登録先に通知する通知制御手段と、
   を備えることを特徴とする情報処理装置。
2. 前記通知制御手段は、前記所定期間内において前記第２の抽出手段により前記物品を示す情報が抽出されると、該物品を示す情報を記憶手段に一時的に保存し、前記所定期間の経過後に、前記記憶手段に保存した前記物品を示す情報を前記商品登録先に通知する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記通知制御手段は、前記所定期間内に前記コードシンボル又は前記物品を示す情報が抽出されなかった場合、前記所定期間の経過後に、前記コードシンボル又は前記物品を示す情報の内の先に抽出された情報を前記商品登録先に通知する、
   ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記通知制御手段は、前記第２の抽出手段により前記物品を示す情報が抽出された場合に、該物品を示す情報を表示手段に表示させる、
   ことを特徴とする請求項１乃至３の内の何れか１項に記載の情報処理装置。
5. 前記通知制御手段は、前記第２の抽出手段により前記物品を示す情報が複数抽出された場合に、前記複数の情報から一つの情報を選択するための選択画面を表示手段に表示させ、前記選択画面により一つの情報が選択されると、該一つの情報を前記商品登録先に通知する、
   ことを特徴とする請求項１乃至４の内の何れか１項に記載の情報処理装置。
6. コンピュータを、
   撮像手段が撮像した物品の画像を取り込む取込手段と、
   物品を検知する検知手段と、
   前記取込手段が取り込んだ画像に基づいて、前記検知手段が検知した物品に付加されているコードシンボルを抽出するための抽出処理を行う第１の抽出手段と、
   前記取込手段が取り込んだ画像に基づいて、前記検知手段が検知した物品を示す情報を抽出するための抽出処理を行う第２の抽出手段と、
   前記検知手段が物品を検知すると第１の抽出手段及び第２の抽出手段に抽出処理の開始を指示する指示手段と、
   開始後の所定期間は、前記第１の抽出手段により抽出されるコードシンボルを商品登録先に通知し、コードシンボルが抽出されなければ、前記第２の抽出手段により前記所定期間内に抽出された前記物品を示す情報を前記所定期間の経過後に前記商品登録先に通知する通知制御手段と、
   として機能させるプログラム。

Images