以下、本開示に係る実施形態について、図面を参照して説明する。
図1に示すように、精算システム11は、少なくとも1つの情報処理システム10と、サーバ12とを含む。サーバ12は、物理サーバであってよいし、クラウドサーバであってよい。情報処理システム10とサーバ12とは、ネットワーク13を介して通信可能である。ネットワーク13は、無線、有線、又は、無線及び有線の組み合わせであってよい。
情報処理システム10は、コンビニエンスストア及びスーパーマーケット等の任意の店舗に、配置されてよい。情報処理システム10は、店舗のキャッシュレジスタ端末として構成されてよい。情報処理システム10は、顧客が後述の載置台14に載置した商品を撮像することにより、撮像画像を生成する。情報処理システム10は、生成した撮像画像中の物体が、店舗の何れの商品であるかを特定する。本開示において「撮像画像中の物体」は、撮像画像中の、画像として描画される物体の像を意味する。情報処理システム10は、特定した商品情報を、ネットワーク13を介してサーバ12に送信する。当該商品情報には、商品名及び商品の数等が含まれ得る。サーバ12は、商品情報に基づいて、顧客に対する請求金額を算出する。サーバ12は、請求金額を、ネットワーク13を介して情報処理システム10に送信する。情報処理システム10は、顧客に請求金額を提示することにより、顧客に請求金額の支払いを要求する。
図2に示すように、情報処理システム10は、カメラ16(撮像部)と、情報処理装置18とを含む。情報処理システム10は、載置台14と、支持柱15と、表示装置17とを含んでよい。
載置台14は、載置面14aを含む。顧客は、会計時に、購入したい商品を載置面14aに載置する。本実施形態では、載置面14aは、略長方形状である。ただし、載置面14aは、任意の形状であってよい。
支持柱15は、載置台14の側部から、載置面14aの法線方向の一方に向けて延びる。当該法線方向の一方は、載置面14aの法線方向のうち、載置面14aから離れる方向であってよい。支持柱15の先端には、カメラ16が位置する。
カメラ16は、撮像により撮像画像に相当する画像信号を生成する。カメラ16は、載置台14の載置面14aの少なくとも一部を撮像可能に、配置されていてよい。カメラ16は、載置面14aに光軸が垂直になるように、配置されていてよい。カメラ16は、支持柱15の先端に、配置されてよい。カメラ16は、載置台14の載置面14aを撮像可能に、例えば支持柱15の先端に、固定されていてよい。
カメラ16は、情報処理装置18から、撮像開始を指示する信号を取得し得る。カメラ16は、撮像開始を指示する信号を取得すると、撮像を開始し得る。カメラ16は、撮像により生成した画像信号を、通信線を介して情報処理装置18に、出力する。カメラ16は、任意のフレームレートで撮像を実行してよい。カメラ16は、任意のフレームレートで連続的に撮像を実行してよいし、所定トリガーに基づいて静止画を随時撮像してよい。当該所定トリガーは、情報処理装置18からの撮像を指示する信号であってよい。
表示装置17は、液晶ディスプレイ等の任意のディスプレイを含んで構成されてよい。表示装置17は、情報処理装置18から取得した信号に基づいて、画像を表示する。例えば、表示装置17は、情報処理装置18から、商品の請求金額を示す信号を取得し得る。表示装置17は、当該商品の請求金額を示す信号に基づいて、請求金額を示す画像を表示し得る。
表示装置17は、タッチスクリーン機能を有してよい。表示装置17は、載置台14の近辺の近くに配置されてよい。表示装置17は、顧客が商品を載置台14に置く際に、顧客の方を向くように、配置されていてよい。
情報処理装置18は、載置台14の近辺に配置されてよい。図3に示すように、情報処理装置18は、制御部23を含む。情報処理装置18は、通信部20と、入力部21と、記憶部22とを含んでよい。
通信部20は、任意の通信モジュールを含む。当該任意の通信モジュールは、通信線を介してカメラ16と通信可能な通信モジュール、通信線を介して表示装置17と通信可能なモジュール、及び、ネットワーク13を介してサーバ12と通信可能な通信モジュールを含んでよい。カメラ16と通信部20との間の通信線、及び、表示装置17と通信部20との間の通信線は、有線又は無線を含んで構成されていてよい。
入力部21は、ユーザ入力を検出可能な1つ以上のインターフェースを含む。例えば、入力部21は、物理キー、静電容量キー及びタッチスクリーンの少なくとも何れかを含んで構成されてよい。本実施形態においては、入力部21は、タッチスクリーンである。タッチスクリーンである入力部21は、表示装置17と一体として設けられている。
記憶部22は、RAM(Random Access Memory)及びROM(Read Only Memory)等の任意の記憶デバイスを含む。記憶部22は、制御部23を機能させる多様なプログラム及び制御部23が用いる多様な情報を記憶する。記憶部22は、店舗の商品データを記憶してよい。
商品データは、文字データを含んでよい。文字データは、商品のパッケージ等に付された文字列を含んでよい。商品のパッケージ等に付された文字列は、商品を識別する識別子に対応付けられてよい。識別子の一例として、商品名、商品コード、バーコード及び任意のID(Identification)等が挙げられる。以下、説明の便宜上、商品を識別する識別子は、商品名であるものとする。文字データは、後述の第1処理にて用いられ得る。商品データは、文字データ以外にも、後述の第1処理にて用いられる任意のデータを含んでよい。例えば、後述の第1処理にて後述のコード認識が用いられる場合、バーコード等の一次元コード、QRコード(登録商標)等の二次元コード、及び、識別マーカ等のマーカの画像を含んでよい。これらの画像は、識別子に対応付けられてよい。
商品データは、機械学習モデルを含んでよい。機械学習モデルは、後述のように、機械学習と学習データによって生成され得る。機械学習モデルは、後述の第2処理で用いられ得る。機械学習モデルは、学習済みであってよい。
商品データは、商品画像データを含んでよい。商品画像データは、商品を識別する識別子に対応付けた、商品画像を含んでよい。以下、説明の便宜上、商品を識別する識別子は、商品名であるものとする。商品画像データは、後述の第2処理及び第3処理にて用いられ得る。同じ商品画像データが、後述の第2処理及び第3処理において用いてよい。又は、異なる商品画像データが、後述の第2処理及び第3処理において用いてよい。異なる商品画像データが後述の第2処理及び第3処理にて用いられる場合、記憶部22は、第2処理で用いられる商品画像データと、第3処理で用いられる商品画像データとを記憶してよい。また、後述の第2処理にて後述の特徴量マッチング以外の物体認識が用いられる場合、商品データは、識別子と対応付けられた、当該物体認識に応じたデータを含んでよい。
制御部23は、1つ以上のプロセッサ及びメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び、特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けIC(ASIC:
Application Specific Integrated Circuit)を含んでよい。プロセッサは、プログラマブルロジックデバイス(PLD:Programmable Logic Device)を含んでよい。PLDは、FPGA(Field-Programmable Gate Array)を含んでよい。制御部23は、1つ又は複数のプロセッサが協働するSoC(System-on-a-Chip)、及び、SiP(System In a Package)の何れかであってよい。
制御部23は、ネットワーク13を介してサーバ12から、上述の商品データを、通信部20によって取得してよい。制御部23は、取得した商品データを、記憶部22に記憶させてよい。
制御部23は、カメラ16に、撮像開始を指示する信号を、通信部20によって送信し得る。制御部23は、情報処理装置18が起動したときに、撮像開始を指示する信号を送信してよい。制御部23は、撮像開始を指示するユーザ入力を、入力部21によって検出したとき、撮像開始を指示する信号を送信してよい。当該ユーザ入力は、店員によって、店舗の開店時等に、入力部21から入力され得る。
制御部23は、カメラ16から、画像信号を、通信部20によって取得する。制御部23は、画像信号を取得することにより、画像信号に相当する撮像画像を取得し得る。制御部23は、取得した撮像画像を記憶部22に記憶させてよい。例えば、制御部23は、図4に示すような撮像画像30を取得し得る。
撮像画像30は、部分画像30aと、部分画像30bと、部分画像30cとを含む。部分画像30a、部分画像30b及び部分画像30cは、撮像画像30の一部である。部分画像30aは、梅のおにぎりに対応する。部分画像30bは、バターに対応する。部分画像30cは、チョコレートに対応する。梅のおにぎり、バター及びチョコレートは、店舗の商品である。梅のおにぎりのパッケージ及びバターのパッケージには、文字列が付されている。チョコレートのパッケージには、縞模様が施されている。梅のおにぎり、バター及びチョコレートは、顧客によって載置台14の載置面14aに載置されている。載置台14においてバターの上におにぎりが重ねられていることにより、部分画像30bの一部は、欠けている。ここで、本開示において「部分画像の一部が欠ける」とは、実際の部分画像と、カメラ16側から観た際の当該物体全体の外観とを比較した場合に、その実際の部分画像の一部が欠けていることを意味する。載置台14においてチョコレートの上にバターが重ねられていることにより、部分画像30cの一部は、欠けている。
制御部23は、撮像画像に、複数の画像処理のうちの少なくとも何れかを実行する。画像処理は、物体認識処理であってよい。物体認識処理は、撮像画像に含まれる物体に対応する部分画像を検出して、当該物体が何れの商品であるかを特定する処理であってよい。制御部23は、実行した当該画像処理の処理結果に信頼度を付与してよい。信頼度は、処理結果の信頼性を示す指標である。以下、物体が何れの商品であるかを特定することは、物体の商品名を特定することであるものとする。複数の画像処理は、第1処理、第2処理及び第3処理を含む。ただし、複数の画像処理は、第1処理、第2処理及び第3処理に限定されない。
第1処理は、記号認識を用いた物体認識処理である。記号認識は、限定ではないが、文字認識及びコード認識を含んでよい。コード認識は、限定ではないが、バーコード等の一次元コードを認識する処理、QRコード(登録商標)等の二次元コードを認識する処理、及び、商品を識別する識別マーカ等のマーカを認識する処理を含んでよい。第1処理は、文字認識、一次元コードを認識する処理、二次元コードを認識する処理、マーカを認識する処理、又は、これらの少なくとも一部の組み合わせを用いた、物体認識処理であってよい。
本実施形態では、第1処理は、記号認識として文字認識を用いた、物体認識処理であるものとする。つまり、本実施形態では、第1処理は、文字認識によって、撮像画像中の物体の商品名を特定する処理となる。一例として、第1処理では、制御部23は、撮像画像から文字画像を抽出する。制御部23は、抽出した文字画像から文字列を抽出する。制御部23は、抽出した文字列を解析することにより、物体の商品名を特定する。当該解析として、制御部23は、抽出した文字列と、記憶部22の文字データに含まれる文字列とをマッチングしていくことにより、文字列を抽出した部分画像に対応する物体の商品名を特定してよい。例えば、制御部23は、撮像画像30の部分画像30aから「おにぎり 梅」との文字列を抽出する。制御部23は、抽出した「おにぎり 梅」との文字列と、記憶部22の文字データをマッチングしていくことにより、部分画像30aに対応する物体の商品名が、商品名「梅のおにぎり」であると特定する。
第1処理では、制御部23は、信頼度を、第1処理の処理結果に付与してよい。制御部23は、抽出した文字列と、記憶部22の文字データに含まれる文字列とをマッチングさせる際の、マッチング率に基づいて、信頼度を算出してよい。
第1処理の処理速度は、比較的、高速となり得る。例えば第1処理にて文字認識が用いられる場合、第1処理の処理速度は、後述の特徴量マッチングが用いられる第3処理の処理速度よりも、高速となり得る。
第1処理を実行するための事前のデータ準備は、後述の第2処理及び第3処理を実行するための事前のデータ準備よりも、比較的容易である。例えば第1処理にて文字認識が用いられる場合、第1処理で用いられる文字データは、後述の第2処理及び第3処理で用いられる商品画像データよりも、比較的容易に準備され得る。
第1処理では、撮像画像から文字列が抽出可能であれば、制御部23は、当該文字列によって、物体を特定することができる。第1処理では、載置台14上における物体の状況に応じては、後述の第2処理及び第3処理よりも、当該物体を、精度良く特定することができる。
例えば、店舗で扱われる商品の中には、異なる商品であっても、外観が類似する商品がある。一例として、商品「梅のおにぎり」と商品「昆布のおにぎり」とは、異なる商品である。しかしながら、商品「梅のおにぎり」の外観と商品「昆布のおにぎり」の外観とは、これらの商品が同じ三角形状を有する場合、類似し得る。外観が類似する商品を、異なる商品として、撮像画像から、後述の第2処理及び第3処理によって特定することは困難となる場合がある。外観が類似する商品であっても、当該商品に文字列が付されていれば、第1処理によって、異なる商品として、撮像画像から特定することができる。例えば、第1処理では、制御部23は、部分画像30aから「おにぎり 梅」の文字列を抽出することにより、部分画像30aに対応する物体の商品名を「梅のおにぎり」と特定することができる。
例えば、店舗で扱われる商品の中には、変形し得る商品がある。一例として、パッケージが袋である商品は、外部から力が加えられて袋が変形することにより、変形し得る。商品が変形すると、撮像画像内の当該商品に対応する画像の形状も変わり得る。物体に対応する部分画像の形状が変わると、後述の第2処理において、変形した部分画像に対応可能な後述の機械学習モデルを準備できない場合がある。この場合、後述の第2処理によって当該物体を特定することは困難となる場合がある。これに対して、部分画像の形状が変わっても、当該部分画像から文字列が抽出可能であれば、第1処理によって当該物体を特定することができる。
例えば、複数の商品が載置台14上において重ねられている場合がある。複数の商品が重ねられていることにより、撮像画像中で、商品に対応する部分画像の一部が欠ける場合がある。物体に対応する部分画像の一部が欠けていると、後述の第3処理において、後述の予め決定されている特徴量を十分に抽出できない場合がある。この場合、後述の第3処理によって当該物体を特定することは困難となる場合がある。物体に対応する部分画像の一部が欠けても、当該部分画像から文字列が抽出可能であれば、第1処理によって当該物体を特定することができる。例えば、部分画像30bの一部は、欠けている。部分画像30bからは、「バター」の文字列が抽出可能である。第1処理において、制御部23は、部分画像30bから「バター」の文字列を抽出することにより、部分画像30bに対応する物体の商品名が、商品名「バター」であると特定することができる。
第2処理は、機械学習を用いた物体認識処理である。本実施形態では、第2処理は、機械学習に基づいて、撮像画像中の物体の商品名を特定する処理となる。制御部23は、機械学習モデルに基づいて、物体認識に用いる特徴量を決定する。特徴量は、商品画像に含まれる画素の輝度及び色、商品画像の形状、商品画像を構成する画素の数の少なくとも何れかを含んでよい。本実施形態では、物体認識は、限定ではないが、特徴量マッチングであるものとする。特徴量マッチングは、撮像画像から抽出された特徴量と、記憶部22の商品画像データの商品画像の特徴量とをマッチングさせていくことにより、物体の商品名を特定することである。つまり、第2処理では、制御部23は、機械学習モデルによって、部分画像から抽出する特徴量を決定する。制御部23は、決定した特徴量を部分画像から抽出し、抽出した特徴量と、記憶部22の商品画像データの商品画像の特徴量とをマッチングさせていくことにより、物体の商品名を特定する。
第2処理において、機械学習モデルは、機械学習と学習データとに基づいて生成されてよい。第2処理では、学習済みの機械学習モデルが用いられてよい。機械学習モデルの生成に用いられる機械学習は、サポートベクターマシン(SVM:Support Vector Machine)、ベイス推定及び深層学習(DNN:Deep Neural Network)等の少なくとも何れかであってよい。機械学習モデルは、サポートベクターマシン、ベイス推定及び深層学習等を適宜組み合わせて、生成されてよい。
第2処理では、制御部23は、信頼度を、第2処理の処理結果に付与してよい。制御部23は、特徴量マッチングにおける、部分画像の特徴量と、記憶部22の商品画像の特徴量とのマッチング率に基づいて、信頼度を算出してよい。
第2処理では、特徴量マッチング等の物体認識に用いられる特徴量が機械学習モデルによって決定され得る。これに対し、後述のように、第3処理では、特徴量マッチングに用いられる特徴量は、予め決められている。第2処理の処理速度は、特徴量が機械学習モデルによって決定されることにより、後述の第3処理の処理速度よりも、高速となり得る。
第2処理では、載置台14上における物体の状況に応じては、第1処理及び後述の第3処理よりも、当該物体を、精度良く特定することができる。
例えば、店舗で扱われる商品の中には、パッケージ等に文字列が付されていない商品がある。文字列が付されていない物体を、撮像画像から、上述の第1処理によって特定することは困難となる場合がある。パッケージ等に文字列が付されていない物体であっても、第2処理によって、撮像画像から特定することができる。例えば、図4に示すように、商品であるチョコレートのパッケージには文字列が付されていないため、部分画像30cからは、文字列が抽出できない。第3処理によって、部分画像30cの商品名をチョコレートと特定することができる。
例えば、店舗で扱われる商品の中には、同じ商品として扱われるものであっても、個体毎に異なる外観を有する商品がある。当該商品の一例として、野菜及び果物等が挙げられる。個体毎に異なる外観を有する商品では、商品に対応する部分画像毎に、特徴量マッチング等の物体認識に用いるべき特徴量が、変わる場合がある。この場合、当該商品を、後述の第3処理によって、撮像画像から特定することも困難となる場合がある。その理由は、後述のように、第3処理では、特徴量マッチングで用いられる特徴量が予め決定されているためである。これに対し、第2処理では、部分画像毎に、特徴量マッチング等の物体認識に用いる特徴量が機械学習モデルによって決定され得る。このような構成により、個体毎に異なる外観を有する商品であっても、第2処理によって、同じ商品として、撮像画像から、特定することができる。
例えば、上述のように、複数の商品が重ねられていることにより、撮像画像中で、商品に対応する画像の一部が欠ける場合がある。物体に対応する部分画像の一部が欠けていると、後述の第3処理において、特徴量マッチングに用いられる特徴量を十分に抽出できない場合がある。この場合、後述の第3処理によって、当該物体を特定することは困難となる場合がある。これに対し、第2処理では、部分画像毎に、特徴量マッチング等の物体認識に用いられる特徴量が機械学習モデルによって決定され得る。また、物体に文字列が付されている場合でも、物体に対応する部分画像の一部が欠けていることにより、第1処理において、当該画像から文字列が抽出できない場合がある。この場合、第1処理によって、当該物体を特定することは困難である。第2処理では、第1処理とは異なり、物体に対応する画像の一部が欠けることにより文字列が抽出できなくても、当該画像から物体を特定することができる。
第3処理は、特徴量マッチングを用いた物体認識処理である。本実施形態では、第3処理は、特徴量マッチングにより、撮像画像中の物体の商品名を特定する処理となる。第3処理では、上述の第2処理とは異なり、特徴量マッチングで用いられる特徴量が予め決定されている。特徴量マッチングで用いられる特徴量は、上述した特徴量の中から、適宜決定されてよい。つまり、第3処理では、制御部23は、部分画像から、予め決定されている特徴量を抽出する。制御部23は、抽出した特徴量と、記憶部22の商品画像データの商品画像の特徴量とをマッチングさせていくことにより、物体の商品名を特定する。
第3処理では、制御部23は、信頼度を、第3処理の処理結果に付与してよい。また、制御部23は、特徴量マッチングにおける、部分画像の特徴量と、記憶部22の商品画像の特徴量とのマッチング率に基づいて、信頼度を算出してよい。
第3処理を実行するための事前のデータ準備は、上述の第2処理を実行するための事前のデータ準備よりも、比較的、容易である。例えば、第3処理では、特徴量マッチングに用いられる特徴量が予め決定されている。第3処理では、特徴量が予め決定されていることにより、上述の第2処理のように特徴量を決定するための機械学習モデルを準備しなくてよい。
第3処理では、載置台14上における物体の状況に応じては、第1処理及び第2処理よりも、当該物体を、精度良く特定することができる。
例えば、上述のように、店舗で扱われる商品の中には、パッケージ等に文字列が付されていない商品がある。文字列が付されていない物体を、撮像画像から、上述の第1処理によって特定することは困難となる場合がある。パッケージ等に文字列が付されていない物体であっても、第3処理によって、撮像画像から特定することができる。
例えば、上述のように、店舗で扱われる商品の中には、変形し得る商品がある。上述のように、商品が変形すると、撮像画像内の物体に対応する部分画像の形状も変わり得る。物体に文字列が付されている場合でも、当該物体に対応する部分画像の変形の度合いに応じては、第1処理において、当該部分画像から文字列が抽出できない場合がある。この場合、第1処理によって、当該物体を特定することは困難である。第3処理では、第1処理とは異なり、画像が変形することにより文字列が抽出できなくても、当該部分画像から物体を特定することができる。また、第2処理において、変形した部分画像に対応可能な機械学習モデルを準備できない場合がある。この場合、第2処理によって、変形した部分画像から、物体を特定することは困難である。第3処理では、機械学習モデルを用いないことにより、変形した部分画像から、物体を特定することができる。
本開示において、制御部23は、部分画像に対応する物体の状況、又は、処理結果に付与した信頼度の何れかに基づいて、部分画像に対応する物体を特定する。本実施形態では、制御部23は、処理結果に付与した信頼度に基づいて、部分画像に対応する物体を特定する。
具体的には、制御部23は、撮像画像に、第1処理、第2処理及び第3処理を実行する。制御部23は、実行した第1処理、第2処理及び第3処理の処理結果に、信頼度を付与する。ただし、制御部23は、複数の画像処理のうちの少なくとも2つを実行すればよい。例えば、制御部23は、複数の画像処理のうちの少なくとも2つとして、第1処理に含まれる文字認識及びコード認識を実行してよいし、第1処理及び第2処理を実行してよい。また、制御部23は、第1処理、第2処理及び第3処理を、並行して実行してよいし、所定順序で順次実行してよい。また、制御部23は、第1処理等の実行前に、公知の物体検出方法によって、撮像画像から、物体の数を検出してよい。この場合、制御部23は、撮像画像から複数の物体を検出した場合、物体に対応する部分画像毎に、第1処理、第2処理及び第3処理を実行して、第1処理、第2処理及び第3処理の処理結果に信頼度を付与してよい。例えば、制御部23は、撮像画像30から3つの物体を検出し得る。制御部23は、各物体に対応する部分画像30a,30b,30c毎に、第1処理、第2処理及び第3処理を実行し、その処理結果に、信頼度を付与してよい。例えば、制御部23は、図5に示すような、処理結果を取得する。
図5に示すように、制御部23は、部分画像30aに対する第1処理の処理結果として、物体の商品名が「梅のおにぎり」であると特定する。制御部23は、当該第1処理の処理結果に付与する信頼度を95%と算出する。また、制御部23は、部分画像30aに対する第2処理の処理結果として、物体の商品名が「梅のおにぎり」であると特定する。制御部23は、当該第2処理の処理結果に付与する信頼度を65%と算出する。また、制御部23は、部分画像30aに対する第3処理の処理結果として、物体の商品名が「昆布のおにぎり」であると特定する。制御部23は、当該第3処理の処理結果に付与する信頼度を64%と算出する。
図5に示すように、制御部23は、部分画像30bに対する第1処理の処理結果として、物体の商品名が「バター」であると特定する。制御部23は、当該第1処理の処理結果に付与する信頼度を94%と算出する。また、制御部23は、部分画像30bに対する第2処理の処理結果として、物体の商品名が「バター」であると特定する。制御部23は、当該第2処理の処理結果に付与する信頼度を90%と算出する。また、制御部23は、部分画像30bに対する第3処理の処理結果として、物体の商品名が「チーズ」であると特定する。制御部23は、当該第3処理の処理結果に付与する信頼度を75%と算出する。
図5に示すように、制御部23は、部分画像30cから文字列が抽出できないことにより、第1処理の処理結果を、特定不可とする。また、制御部23は、部分画像30cに対する第2処理の処理結果として、物体の商品名が「チョコレート」であると特定する。制御部23は、当該第2処理の処理結果に付与する信頼度を80%と算出する。また、制御部23は、部分画像30cに対する第3処理の認識結果として、物体の商品名が「チョコレート」であると認識する。制御部23は、当該第3処理の認識結果に付与する信頼度を70%と算出する。
本実施形態では、制御部23は、付与した信頼度が最も高い処理結果に基づいて、部分画像に対応する物体を特定する。制御部23は、上述のように、複数の物体にそれぞれ対応する部分画像毎に、第1処理、第2処理及び第3処理を実行した場合、部分画像毎に、対応する物体を特定してよい。
例えば、部分画像30aについて、制御部23は、信頼度が95%と最も高い第1処理の処理結果を取得する。制御部23は、第1処理の処理結果に基づいて、部分画像30aに対応する物体の商品名が「梅のおにぎり」であると特定する。
例えば、部分画像30bについて、制御部23は、信頼度が94%と最も高い第1処理の処理結果を取得する。制御部23は、第1処理の処理結果に基づいて、部分画像30bに対応する物体の商品名が「バター」であると特定する。
例えば、部分画像30cについて、制御部23は、信頼度が80%と最も高い第2処理の処理結果を取得する。制御部23は、第2処理の処理結果に基づいて、部分画像30cに対応する物体の商品名が「チョコレート」であると特定する。
制御部23は、特定した商品情報を、ネットワーク13を介してサーバ12に、通信部20によって送信する。当該商品情報には、商品名及び商品の数等が含まれ得る。サーバ12は、当該商品情報を、ネットワーク13を介して情報処理装置18から取得する。サーバ12は、当該商品情報に基づいて、顧客に対して請求すべき請求金額を算出する。サーバ12は、請求金額を示す信号を、ネットワーク13を介して情報処理装置18に送信する。制御部23は、ネットワーク13を介してサーバ12から、請求金額を示す信号を、通信部20によって取得する。制御部23は、請求金額を示す信号を、通信部20によって表示装置17に送信する。
図6は、本開示の一実施形態に係る情報処理システム10の物体特定処理を示すフローチャートである。制御部23は、カメラ16から1フレームの撮像画像に相当する画像信号を取得する度に、物体特定処理を実行してよい。制御部23は、取得した撮像画像を記憶部22に記憶させてよい。
制御部23は、撮像画像から、物体の数を検出する(ステップS10)。ステップS10の処理では、制御部23は、検出した物体の数を、記憶部22に記憶させる。
制御部23は、後述のステップS14の処理を実行していない部分画像を選択する(ステップS11)。制御部23は、ステップS11の処理で選択した部分画像に、第1処理、第2処理及び第3処理を並行して実行する(ステップS12)。ステップS12の処理では、制御部23は、第1処理、第2処理及び第3処理の処理結果に信頼度を付与する。
制御部23は、第1処理、第2処理及び第3処理の処理結果の中から、信頼度が最も高い処理結果を取得する(ステップS13)。制御部23は、ステップS13の処理で取得した処理結果に基づいて、物体を特定する(ステップS14)。
制御部23は、撮像画像に含まれる物体に対応する部分画像の全てに対して、ステップS14の処理を実行したか否か判定する(ステップS15)。制御部23は、当該部分画像の全てに対してステップS14の処理を実行したと判定しない場合(ステップS15:NО)、ステップS11の処理に戻る。一方、制御部23は、当該部分画像の全てに対してステップS14の処理を実行したと判定する場合(ステップS15:YES)、ステップS16の処理に進む。
ステップS16の処理では、制御部23は、商品情報を、ネットワーク13を介してサーバ12に、通信部20によって送信する。
ここで、店舗形態に応じては、顧客が購入する商品の数が1つ又は2つとなる場合がある。この場合、ステップS10,S11,S15の処理は、実行されなくてよい。ステップS10,S11,S15の処理が実行されない場合、ステップS12の処理において、制御部23は、撮像画像に、第1処理、第2処理及び第3処理を実行してよい。
また、ステップS12の処理において、制御部23は、第1処理、第2処理及び第3処理を並行して実行しなくてよい。例えば、制御部23は、第1処理、第2処理及び第3処理を、所定順序で順次実行してよい。
このように本実施形態に係る情報処理装置18では、制御部23は、撮像画像に、第1処理、第2処理及び第3処理を実行する。制御部23は、第1処理、第2処理及び第3処理の処理結果の中で、付与した信頼度が最も高い処理結果に基づいて、撮像画像から物体を特定する。信頼度が最も高い処理結果に基づいて物体を特定することにより、載置台14に載置された物体を複数方向から撮像した画像を用いなくても、物体を精度良く特定することができる。載置台14に載置された物体を複数方向から撮像しなくてよいことにより、情報処理システム10は、簡潔に構成され得る。よって、本実施形態によれば、改善された、情報処理システム10、情報処理装置18及び情報処理方法が提供され得る。
本開示の他の実施形態に係る情報処理装置18の処理について説明する。上述した実施形態と同じく、制御部23は、撮像画像に、第1処理、第2処理及び第3処理を実行する。上述した実施形態と同じく、制御部23は、第1処理、第2処理及び第3処理を、並行して実行してよいし、所定順序で順次実行してよい。制御部23は、第1処理、第2処理及び第3処理の処理結果に信頼度を付与する。上述した実施形態と同じく、制御部23は、第1処理、第2処理及び第3処理の処理結果に付与した信頼度の中から、最も高い信頼度を取得する。
本開示の他の実施形態では、制御部23は、最も高い信頼度が閾値を超える場合、最も高い信頼度が付与された処理結果に基づいて、物体を特定する。閾値は、過去の処理結果の正解率等に基づいて、適宜設定されてよい。一方、制御部23は、最も高い信頼度が閾値以下である場合、当該信頼度が付与された処理結果に基づいて物体の候補を特定する。
例えば、制御部23は、図5を参照した上述した結果を得るものとする。閾値は、90%であるものとする。
部分画像30aについて、最も高い信頼度は、第1処理の処理結果に付与された信頼度の95%である。部分画像30aについて、制御部23は、最も高い信頼度95%が閾値90%を超えると判定する。制御部23は、第1処理の処理結果に基づいて、部分画像30aに対応する物体の商品名が「梅のおにぎり」であると特定する。
部分画像30bについて、最も高い信頼度は、第1処理の処理結果に付与された信頼度の94%である。部分画像30bについて、制御部23は、最も高い信頼度94%が閾値90%を超えると判定する。制御部23は、第1処理の処理結果に基づいて、部分画像30bに対応する物体の商品名が「バター」であると特定する。
部分画像30cについて、最も高い信頼度は、第2処理の認識結果に付与された信頼度の80%である。部分画像30cについて、制御部23は、最も高い信頼度80%が閾値90%以下であると判定する。制御部23は、第2処理の認識結果に基づいて、部分画像30cに対応する物体の候補が「チョコレート」であると特定する。
制御部23は、物体の候補を特定する場合、制御信号を表示装置17に通信部20によって適宜送信することにより、物体の候補を表示装置17に表示させてよい。制御部23は、物体の候補を、表示装置17に表示させることにより、顧客に提示してよい。制御部23は、物体の候補とともに所定メッセージを、表示装置17に表示させることにより、顧客に提示してよい。所定メッセージは、顧客に対して、物体の候補が実際の物体と合っているか否かを問うメッセージであってよい。上述の部分画像30cの例では、所定メッセージは、「商品はチョコレートであってますか?」であってよい。
制御部23は、入力部21によって検出したユーザ入力に応じて、物体の候補を確定又は修正してよい。制御部23は、入力部21によって検出したユーザ入力が所定メッセージを肯定する入力である場合、物体の候補を、部分画像に対する物体として特定してよい。上述の部分画像30cの例では、ユーザ入力が「商品はチョコレートであってますか?」というメッセージを肯定する入力である場合、制御部23は、チョコレートとの物体の候補を、部分画像30cに対応する物体として確定してよい。また、制御部23は、ユーザ入力が所定メッセージを否定する入力である場合、物体の候補を修正してよい。この場合、制御部23は、制御信号を表示装置17に通信部20によって適宜送信することにより、顧客に対して正しい商品名の入力を促すメッセージを、表示装置17に表示させてよい。制御部23は、入力部21によって商品名を示すユーザ入力を検出すると、部分画像に対する物体の商品名を、ユーザ入力が示す商品名に修正してよい。
ここで、上述した実施形態と類似して、制御部23は、第1処理等の実行前に、公知の物体検出方法によって、撮像画像から、物体の数を検出してよい。この場合、制御部23は、撮像画像から複数の物体を検出した場合、物体に対応する部分画像毎に、第1処理、第2処理及び第3処理を実行して、第1処理、第2処理及び第3処理の処理結果に信頼度を付与してよい。さらに、制御部23は、部分画像毎に、信頼度に応じて、物体を特定又は物体の候補を特定してよい。
図7は、本開示の他の実施形態に係る情報処理システム10の物体特定処理を示すフローチャートである。制御部23は、カメラ16から1フレームの撮像画像に相当する画像信号を取得する度に、物体特定処理を実行してよい。制御部23は、取得した撮像画像を記憶部22に記憶させてよい。
制御部23は、図6に示すステップS10の処理と同じく、ステップS20の処理を実行する。制御部23は、後述のステップS25又はステップS28の処理を実行していない部分画像を選択する(ステップS21)。
制御部23は、ステップS21の処理で選択した部分画像に、第1処理、第2処理及び第3処理を並行して実行する(ステップS22)。ステップS22の処理では、制御部23は、第1処理、第2処理及び第3処理の処理結果に信頼度を付与する。
制御部23は、第1処理、第2処理、第3処理の認識結果に付与した信頼度の中から、最も高い信頼度を取得する(ステップS23)。制御部23は、最も高い信頼度が閾値を超えるか否か判定する(ステップS24)。制御部23は、最も高い信頼度が閾値を超えると判定する場合(ステップS24:YES)、ステップS25の処理に進む。一方、制御部23は、最も高い信頼度が閾値以下であると判定する場合(ステップS24:NO)、ステップS26の処理に進む。
ステップS25の処理では、最も高い信頼度が付与された処理結果に基づいて、部分画像に対応する物体を特定する。
ステップS26の処理では、制御部23は、最も高い信頼度が付与された処理結果に基づいて物体の候補を特定する。ステップS27の処理では、制御部23は、物体の候補を、表示装置17に表示させることにより、顧客に提示する。ステップS28の処理では、制御部23は、入力部21によって検出したユーザ入力に応じて、物体の候補を確定又は修正する。
ステップS29の処理では、制御部23は、撮像画像に含まれる物体に対応する部分画像の全てに対して、ステップS25の処理又はステップS28の処理を実行したか否か判定する。制御部23は、当該部分画像の全てにステップS25の処理又はステップS28の処理を実行したと判定しない場合(ステップS29:NO)、ステップS21の処理に戻る。一方、制御部23は、当該部分画像の全てにステップS25の処理又はステップS28の処理を実行したと判定する場合(ステップS29:YES)、ステップS30の処理に進む。
ステップS30の処理では、制御部23は、ステップS25の処理により特定した商品情報、又は、ステップS28の処理により確定又は修正した商品情報を、ネットワーク13を介してサーバ12に、通信部20によって送信する。
ここで、店舗形態に応じては、顧客が購入する商品の数が1つ又は2つとなる場合がある。この場合、ステップS20,S21,S29の処理は、実行されなくてよい。ステップS20,S21,S29の処理が実行されない場合、ステップS22の処理において、制御部23は、撮像画像に、第1処理、第2処理及び第3処理を実行してよい。
また、ステップS22の処理において、制御部23は、第1処理、第2処理及び第3処理を並行して実行しなくてよい。例えば、制御部23は、第1処理、第2処理及び第3処理を、所定順序で順次実行してよい。
本開示のさらに他の実施形態に係る情報処理装置18の処理について説明する。本実施形態では、制御部23は、撮像画像に、複数の画像処理を、所定順序で実行する。以下、所定順序は、第1処理、第2処理及び第3処理の順序であるものとする。ただし、所定順序は、第1処理、第2処理及び第3処理の順序に限定されない。
制御部23は、撮像画像に第1処理を実行し、実行した第1処理の処理結果に信頼度を付与する。制御部23は、付与した信頼度が閾値を超える場合、第1処理の処理結果に基づいて、部分画像に対応する物体を特定する。閾値は、上述のように、過去の処理結果の正解率等に基づいて、適宜設定されてよい。上述のように、第1処理の処理速度は、比較的、高速となり得る。第1処理を最初に実行することにより、商品に文字列が付されている場合、より高速に、物体を特定することができる。
制御部23は、第1処理の処理結果に付与した信頼度が閾値以下である場合、撮像画像に、第2処理を実行する。制御部23は、第2処理の処理結果に信頼度を付与する。制御部23は、第2処理の処理結果に付与した信頼度が閾値を超える場合、第2処理の処理結果に基づいて、物体を特定する。上述のように、第2処理の処理速度は、第3処理の処理速度よりも、高速となり得る。第2処理を第3処理よりも先に実行することにより、物体が第2処理により特定可能である場合、より高速に、物体を特定することができる。
制御部23は、第2処理の処理結果に付与した信頼度が閾値以下である場合、撮像画像に、第3処理を実行する。制御部23は、第3処理の処理結果に信頼度を付与する。制御部23は、第3処理の処理結果に付与した信頼度が閾値を超える場合、第3処理の処理結果に基づいて、物体を特定する。
制御部23は、第3処理の処理結果に付与した信頼度が閾値以下である場合、第1処理の処理結果、第2処理の処理結果及び第3処理の処理結果の何れかに基づいて、物体の候補を特定する。制御部23は、第1処理、第2処理及び第3処理の処理結果のうち、最も高い信頼度が付与された処理結果に基づいて、物体の候補を特定してよい。上述の他の実施形態と同じく、制御部23は、物体の候補を特定する場合、制御信号を表示装置17に通信部20によって適宜送信することにより、物体の候補を表示装置17に表示させてよい。制御部23は、物体の候補を、表示装置17に表示させることにより、顧客に提示してよい。上述の他の実施形態と同じく、制御部23は、物体の候補とともに所定メッセージを、表示装置17に表示させることにより、顧客に提示してよい。上述の他の実施形態と同じく、制御部23は、入力部21によって検出したユーザ入力に応じて、物体の候補を確定又は修正してよい。
ここで、上述した実施形態と類似にして、制御部23は、第1処理等の実行前に、公知の物体検出方法によって、撮像画像から、物体の数を検出してよい。この場合、制御部23は、撮像画像から複数の物体を検出した場合、物体に対応する部分画像毎に、第1処理、第2処理及び第3処理を順次実行して、第1処理、第2処理及び第3処理の処理結果に信頼度を付与してよい。さらに、制御部23は、部分画像毎に、信頼度に応じて、物体を特定又は物体の候補を特定してよい。
図8は、本開示のさらに他の実施形態に係る情報処理システム10の物体特定処理を示すフローチャートである。制御部23は、カメラ16から1フレームの撮像画像に相当する画像信号を取得する度に、物体特定処理を実行してよい。制御部23は、取得した撮像画像を記憶部22に記憶させてよい。
制御部23は、図6に示すステップS10の処理と同じく、ステップS40の処理を実行する。制御部23は、後述のステップS44,S47,S50,S53の処理の何れも実行していない部分画像を選択する(ステップS41)。
制御部23は、ステップS41の処理で選択した部分画像に、第1処理を実行する(ステップS42)。ステップS42の処理では、実行した第1処理の処理結果に信頼度を付与する。
制御部23は、第1処理の処理結果に付与した信頼度が閾値を超えるか否か判定する(ステップS43)。制御部23は、信頼度が閾値を超えると判定する場合(ステップS43:YES)、ステップS44の処理に進む。一方、制御部23は、信頼度が閾値以下であると判定する場合(ステップS43:NO)、ステップS45の処理に進む。
ステップS44の処理では、制御部23は、第1処理の処理結果に基づいて、部分画像に対応する物体を特定する。ステップS44の処理を実行した後、制御部23は、ステップS54の処理に進む。
ステップS45の処理では、制御部23は、ステップS41の処理で選択した部分画像に、第2処理を実行する。ステップS45の処理では、制御部23は、第2処理の処理結果に信頼度を付与する。
ステップS46の処理では、制御部23は、第2処理の処理結果に付与した信頼度が閾値を超えるか否か判定する。制御部23は、信頼度が閾値を超えると判定する場合(ステップS46:YES)、ステップS47の処理に進む。一方、制御部23は、信頼度が閾値以下であると判定する場合(ステップS46:NO)、ステップ48の処理に進む。
ステップS47の処理では、制御部23は、第2処理の処理結果に基づいて、物体を特定する。ステップS47の処理を実行した後、制御部23は、ステップS54の処理に進む。
ステップS48の処理では、制御部23は、ステップS41の処理で選択した部分画像に、第3処理を実行する。ステップS48の処理では、制御部23は、第3処理の処理結果に信頼度を付与する。
ステップS49の処理では、制御部23は、第3処理の処理結果に付与した信頼度が閾値を超えるか否か判定する。制御部23は、信頼度が閾値を超えると判定する場合(ステップS49:YES)、ステップS50の処理に進む。一方、制御部23は、信頼度が閾値以下であると判定する場合(ステップS49:NO)、ステップS51の処理に進む。
ステップS50の処理では、制御部23は、第3処理の処理結果に基づいて、物体を特定する。ステップS50の処理を実行した後、制御部23は、ステップS54の処理に進む。
ステップS51の処理では、制御部23は、第1処理の処理結果、第2処理の処理結果及び第3処理の処理結果の何れかに基づいて、物体の候補を特定する。ステップS52の処理では、制御部23は、物体の候補を、表示装置17に表示させることにより、顧客に提示する。ステップS53の処理では、制御部23は、入力部21によって検出したユーザ入力に応じて、物体の候補を確定又は修正する。ステップS53の処理を実行した後、制御部23は、ステップS54の処理に進む。
ステップS54の処理では、制御部23は、撮像画像に含まれる物体に対応する部分画像の全てに対して、ステップS44,S47,S50,S53の処理の何れかを実行したか否か判定する。制御部23は、当該部分画像の全てに対して、ステップS44,S47,S50,S53の処理の何れかを実行したと判定しない場合(ステップS54:NO)、ステップS41の処理に戻る。一方、制御部23は、当該部分画像の全てに対して、ステップS44,S47,S50,S53の処理の何れかを実行したと判定する場合(ステップS54:YES)、ステップS55の処理に進む。
ステップS55の処理では、制御部23は、ステップS44,S47,S50の処理で特定した商品情報、及び、ステップS53の処理で確定又は修正した商品情報を、ネットワーク13を介してサーバ12に、通信部20によって送信する。
ここで、店舗形態に応じては、顧客が購入する商品の数が1つ又は2つとなる場合がある。この場合、ステップS40,S41,S54の処理は、実行されなくてよい。ステップS40,S41,S54の処理が実行されない場合、ステップS42,S45,S48の処理において、制御部23は、撮像画像に、第1処理、第2処理及び第3処理を実行してよい。
本開示のさらに他の実施形態に係る情報処理装置18の処理について説明する。本実施形態では、制御部23は、撮像画像から載置台14上における所定状況の物体を検出した場合、当該物体に対応する部分画像に、当該所定状況に応じた画像処理を実行して、当該物体を特定する。
制御部23は、所定状況として、撮像画像から重畳した物体を検出した場合、当該物体に対応する部分画像に、第2処理を実行して、当該物体を検出してよい。制御部23は、公知の方法を用いて、撮像画像から重畳した物体を検出してよい。重畳した物体は、重なり合う物体のうち、別の物体の下に位置することにより、対応する部分画像が欠ける物体であってよい。この場合、重畳した物体は、上述の撮像画像30(図4)の例では、部分画像30bに対応するバター、及び、部分画像30cに対応するチョコレートとなり得る。又は、重畳した物体は、重なり合う物体の全てであってよい。この場合、重畳した物体は、上述の撮像画像30では、部分画像30aに対応するおにぎり、部分画像30bに対応するバター、及び、部分画像30cに対応するチョコレートとなり得る。
制御部23は、所定状況として、撮像画像から変形した物体を検出した場合、当該物体に対応する部分画像に、第3処理を実行して、当該物体を検出してよい。制御部23は、公知の方法を用いて、撮像画像から変形した物体を検出してよい。
制御部23は、所定状況として、撮像画像から検出した物体が重畳及び変形していない場合、当該物体に対応する部分画像に、第1処理を実行して、当該物体を検出してよい。また、制御部23は、所定状況として、所定画像から文字列が検出された場合、第1処理を実行して、文字列が検出された物体を特定してよい。
制御部23は、所定状況として、撮像画像から、ハレーションを発生させている物体を検出した場合、当該物体に対応する部分画像に、第2処理を実行して、当該物体を特定してよい。物体の一部からの反射光の光量が局所的に多いと、当該物体に対応する部分画像においてハレーションが生じ得る。ハレーションを発生させる物体の一例として、鏡面を含む物体及び光沢面を含む物体等が挙げられる。制御部23は、公知の方法を用いて、撮像画像から、ハレーションを発生させている物体を検出してよい。制御部23は、部分画像のうちの、ハレーションが生じている領域を除いた領域に、第2処理を実行して、物体を特定してよい。ここで、部分画像にハレーションが生じている場合、当該物体に文字列が付されていても、制御部23は、当該部分画像から、文字列を抽出できない場合がある。この場合、第1処理によって当該物体を特定することは、困難となり得る。また、部分画像にハレーションが生じている場合、制御部23は、当該部分画像から、第3処理にて用いる特徴量を検出できない場合がある。この場合、第3処理によって当該物体を特定することは、困難となり得る。
制御部23は、所定状況として、撮像画像から、破損した物体を検出した場合、制御信号を表示装置17に通信部20によって適宜送信することにより、商品が破損している旨を、表示装置17に表示させてよい。制御部23は、商品が破損している旨を、表示装置17に表示させることにより、顧客及び/又は店員に提示してよい。
制御部23は、所定状況として、撮像画像から、汚れた物体を検出した場合、制御信号を表示装置17に通信部20によって適宜送信することにより、商品が汚れている旨を、表示装置17に表示させてよい。制御部23は、商品が汚れている旨を、表示装置17に表示させることにより、顧客及び/又は定員に提示してよい。
ここで、上述した実施形態と類似にして、制御部23は、公知の物体検出方法によって、撮像画像から、物体の数を検出してよい。この場合、制御部23は、撮像画像から複数の物体を検出した場合、当該物体に対応する部分画像毎に、複数の画像処理のうちの、当該物体の状況に応じた画像処理を実行して、当該物体を特定してよい。
以下、上述の処理の一例を説明する。制御部23は、図9に示すような撮像画像31を取得する。撮像画像31は、部分画像31aと、部分画像31bと、部分画像31cとを含む。部分画像31a、部分画像31b及び部分画像31cは、撮像画像31の一部である。制御部23は、部分画像31aに対応する物体が重畳及び変形していないと判定し得る。制御部23は、部分画像31bに対応する物体及び部分画像31cに対応する物体が重畳していると判定し得る。制御部23は、部分画像31aに第1処理を実行して、部分画像31aに対応する物体の商品名が「梅のおにぎり」であると特定してよい。制御部23は、部分画像31b及び部分画像31cに第2処理を実行して、部分画像31bに対応する物体の商品名が「バター」であり、部分画像30cに対応する物体の商品名が「チョコレート」であると特定してよい。
図10は、本開示の他の実施形態に係る情報処理システム10の物体特定処理を示すフローチャートである。制御部23は、カメラ16から1フレームの撮像画像に相当する画像信号を取得する度に、物体特定処理を実行してよい。制御部23は、取得した撮像画像を記憶部22に記憶させてよい。
制御部23は、図6に示すステップS10の処理と同じく、ステップS60の処理を実行する。制御部23は、後述のステップS64,S67,S69の処理の何れも実行していない部分画像を選択する(ステップS61)。
制御部23は、ステップS61の処理で選択した部分画像に対応する物体が重畳しているか否か判定する(ステップS62)。制御部23は、当該物体が重畳していると判定する場合(ステップS62:YES)、ステップS63の処理に進む。一方、制御部23は、当該物体が重畳していないと判定する場合(ステップS62:NO)、ステップS65の処理に進む。
ステップS63の処理では、制御部23は、ステップS61の処理で選択した部分画像に、第2処理を実行する。ステップS64の処理では、制御部23は、ステップ63の処理における第2処理の処理結果に基づいて、部分画像に対応する物体を特定する。ステップS64の処理を実行した後、制御部23は、ステップS70の処理に進む。
ステップS65の処理では、制御部23は、ステップS61の処理で選択した部分画像に対応する物体が変形しているか否か判定する。制御部23は、当該物体が変形していると判定する場合(ステップS65:YES)、ステップS66の処理に進む。一方、制御部23は、当該物体が変形していないと判定する場合(ステップS65:NO)、ステップS68の処理に進む。
ステップS66の処理では、制御部23は、ステップS61の処理で選択した部分画像に、第3処理を実行する。ステップS67の処理では、制御部23は、ステップS66の処理における第3処理の処理結果に基づいて、部分画像に対応する物体を特定する。ステップS66の処理を実行した後、制御部23は、ステップS70の処理に進む。
ステップS68の処理では、制御部23は、ステップS61の処理で選択した部分画像に、第1処理を実行する。つまり、制御部23は、ステップS61の処理で選択した部分画像に対応する物体が重畳及び変形していない場合、部分画像に、第1処理を実行する。ステップS69の処理では、制御部23は、ステップS68の処理における第1処理の処理結果に基づいて、部分画像に対応する物体を特定する。ステップS69の処理を実行した後、制御部23は、ステップS70の処理に進む。
ステップS70の処理では、制御部23は、撮像画像に含まれる物体に対応する部分画像の全てに対して、ステップS64,S67,S69の処理の何れかを実行したか否か判定する。制御部23は、当該部分画像の全てに対して、ステップS64,S67,S69の処理の何れかを実行したと判定しない場合(ステップS70:NO)、ステップS61の処理に戻る。一方、制御部23は、当該部分画像の全てに対して、ステップS64,S67,S69の処理の何れかを実行したと判定する場合(ステップS70:YES)、ステップS71の処理に進む。
ステップS71の処理では、制御部23は、ステップS64,S67,S69の処理で特定した商品情報を、ネットワーク13を介してサーバ12に、通信部20によって送信する。
ここで、店舗形態に応じては、顧客が購入する商品の数が1つ又は2つとなる場合がある。この場合、ステップS60,S61,S70の処理は、実行されなくてよい。ステップS60,S61,S70の処理が実行されない場合、ステップS63,S66,S68の処理において、制御部23は、撮像画像に、第1処理、第2処理及び第3処理をそれぞれ実行してよい。
本開示のさらに他の実施形態に係る情報処理装置18の処理について説明する。本実施形態では、情報処理装置18において、商品の値段を算出する処理を説明する。本実施形態では、記憶部22は、商品名に対応付けられた、商品の価格を記憶してよい。
制御部23は、物体の商品名を特定した後、当該物体に対応する部分画像に、値引きシールの画像が含まれているか否か判定する。制御部23は、値引きシールの画像が含まれていると判定する場合、値引きシールの画像から、値引きの情報を取得する。例えば、制御部23は、「〇〇円引き」といった情報を取得する。制御部23は、取得した情報と、記憶部22に記憶されている商品の価格とに基づいて、商品の値段を確定する。一方、制御部23は、値引きシールの画像が含まれていると判定しない場合、記憶部22に記憶されている商品の価格を、商品の値段として確定する。
制御部23は、確定した商品の値段を、ネットワーク13を介してサーバ12に、通信部20によって送信してよい。又は、制御部23は、制御信号を表示装置17に通信部20によって適宜送信することにより、商品の値段を表示装置17に表示させてよい。制御部23は、商品の値段を、表示装置17に表示させることにより、顧客に提示してよい。
図11は、本開示のさらに他の実施形態に係る情報処理システム10の商品の値段の算出処理を示すフローチャートである。制御部23は、図9に示すステップS16の処理、図7に示すステップS30の処理、図8に示すステップS55の処理及び図10に示すステップS71の処理に代えて、商品の値段の算出処理を実行してよい。
制御部23は、物体に対応する部分画像に、値引きシールの画像が含まれているか否か判定する(ステップS80)。制御部23は、値引きシールの画像が含まれていると判定する場合(ステップS80:YES)、ステップS81の処理に進む。一方、制御部23は、値引きシールの画像が含まれていると判定しない場合(ステップS80:NO)、ステップS82の処理に進む。
ステップS82の処理では、制御部23は、値引きシールの画像から、値引きの情報を取得する。
ステップS83の処理では、制御部23は、ステップS82の処理で値引きの情報を取得した場合、取得した情報と、記憶部22に記憶されている商品の価格とに基づいて、商品の値段を確定する。制御部23は、ステップS81の処理にて値引きシールの画像が含まれていると判定しない場合、記憶部22に記憶されている商品の価格を、商品の値段として確定する。
ステップS84の処理では、確定した商品の値段を、ネットワーク13を介してサーバ12に、通信部20によって送信する。確定した商品の値段をサーバ12に送信する代わりに、制御部23は、商品の値段を、表示装置17に表示させることにより、顧客に提示してよい。
本開示に係る構成は、以上説明してきた実施形態にのみ限定されるものではなく、幾多の変形又は変更が可能である。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を1つに組み合わせたり、或いは、分割したりすることが可能である。
例えば、上述の実施形態では、カメラ16は、載置台14の載置面14aに、顧客によって載置された商品を、撮像するものとして説明した。ただし、カメラ16が撮像する商品は、載置台14の載置面14aに載置された商品に限定されない。例えば、カメラ16は、顧客が載置台14の載置面14aに載置せずにカメラ16の前にかざした商品を、撮像してよい。
本開示において「第1」及び「第2」等の記載は、当該構成を区別するための識別子である。本開示における「第1」及び「第2」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第1処理は、第2処理と識別子である「第1」と「第2」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第1」及び「第2」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。