JP2021131638A - 情報処理システム、情報処理装置、情報処理方法 - Google Patents

Abstract

【課題】購買者が手動で商品をスキャンすることなく、商品が買い物かごを含む容器等から収納袋等に入れられるまでを追跡し、商品が適切に認識されたか否かを判断すること。【解決手段】第１の撮像部１と、前記第１の撮像部１によって撮像された画像に関する処理を行う制御部２とを備え、前記制御部２は、物体を容器１１に入れる第１の段階及び前記物体を前記容器１１外に出す第２の段階のそれぞれにおいて撮像された画像に基づいて処理を行う、情報処理システム。【選択図】図１

Description

本発明は、情報処理システム、情報処理装置及び情報処理方法に関するものである。

小売業での購買商品の精算において、例えば特許文献１では、商品が買い物かごから取り出されてから収納袋に入れられるまでを追跡し、商品が適切にスキャンされたか否かを判断する発明が開示されている。

特開２０１１−５４０３８

この開示に係る発明では、商品の特定のために購買者が手動で商品をスキャンする必要があり、この点において改善の余地がある。

従って、上記の点に鑑みてなされた本開示の目的は、購買者が手動で商品をスキャンすることなく、商品が買い物かごを含む容器等から収納袋等に入れられるまでを追跡し、商品が適切に認識されたか否かを判断することにある。

上述した目的を達成するため、本開示の一側面である情報処理システムは、第１の撮像部と、前記第１の撮像部によって撮像された画像に関する処理を行う制御部とを備え、前記制御部は、物体を容器に入れる第１の段階及び前記物体を前記容器外に出す第２の段階のそれぞれにおいて撮像された画像に基づいて処理を行うことを含む。

また、本開示の一側面である情報処理装置は、第１の撮像部によって撮像された画像に関する処理を行う制御部を備え、前記制御部は、物体を容器に入れる第１の段階及び前記物体を前記容器外に出す第２の段階のそれぞれにおいて撮像された画像に基づいて処理を行うことを含む。

また、本開示の一側面である情報処理方法は、物体を容器に入れる第１の段階において第１の撮像部が撮像を行い、前記物体を前記容器外に出す第２の段階において前記第１の撮像部が撮像を行い、前記第１の段階と前記第２の段階のそれぞれにおいて前記第１の撮像部が撮像した画像に基づいて処理を行うことを含む。

上記のように構成された本開示によれば、購買者が手動で商品をスキャンすることなく、商品が買い物かごから収納袋等に入れられるまでを追跡し、商品が適切に認識されたか否かを判断することが可能になる。

図１は、本開示に係る情報処理システムの概略構成を示す機能ブロック図である。 図２は、第１の段階における撮像方法等に関するイメージ図である。 図３は、第２の段階における撮像方法等に関するイメージ図である。 図４は、本開示の第１の実施形態に係る情報処理システムの情報処理方法に関するフローチャート図である。 図５は、第１の段階における撮像方法等の変形例に関するイメージ図である。 図６は、本開示の第２の実施形態に係る情報処理システムの情報処理方法に関するフローチャート図である。 図７は、本開示の第３の実施形態に係る情報処理システムの情報処理方法に関するフローチャート図である。 図８は、本開示の第１乃至第３の実施形態に係る情報処理システムの情報処理方法で用いる第１のリストの変形例のイメージ図である。

以下、本開示に係る情報処理システムの実施形態について、図面を参照して説明する。

図１に示すように、本開示に係る情報処理システムは、第１の撮像部１、制御部２を含んで構成される。また、情報処理システムは、報知部３、センサ４を含んで構成されてよい。

以後の図において、各機能ブロックを結ぶ実線の矢印は、制御信号または通信されるデータの流れを示す。矢印が示す通信は、有線／無線のどちらであってもよく、また、両者の組み合わせであってもよい。

第１の撮像部１は、物体を一時的に保管する容器１１に出し入れする物体の撮像を行う。

物体の撮像を行って画像を生成するため、第１の撮像部１は、撮像光学系及び撮像素子を含んで構成される。撮像光学系は、例えば１個以上のレンズ及び絞りなどの光学部材を含む。レンズは、焦点距離に囚われずどのようなものであってもよく、例えば一般的なレンズ、魚眼レンズを含む広角レンズまたは焦点距離が可変であるズームレンズであってもよい。撮像光学系は、被写体像を撮像素子の受光面に結像させる。撮像素子は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどを含む。撮像素子は、受光面上に結像された被写体像を撮像して画像を生成する。

なお、第１の撮像部１は、任意のフレームにて連続的に静止画を撮像してもよいし、特定のタイミングにて静止画を非連続的に撮像してもよい。また、第１の撮像部１は動画を撮像してもよい。

また、第１の撮像部１は、買い物かごまたはショッピングカートを含む容器１１に出し入れする物体の撮像ができるのであれば、どのような形態にて備えられてもよい。例えば容器１１に備えられてもよいし、例えばスマートフォンや業務用端末を含む携帯電子端末等の形で備えられてもよいし、小売店の店内の商品棚や天井、キャッシュレジスタ等に備えられてもよい。特に、容器１１に備えられる場合、容器１１に出し入れする物体の撮像が容易である。また、第１の撮像部１が携帯電子端末に備えられる場合、容器１１は携帯電子端末を保持するホルダーを備えてもよい。なお、以下の説明では、容器１１に備えられるものとする（図１においても容器１１に備えられているものとして示す）。

また、第１の撮像部１が撮像した画像は、第１の撮像部１と併せて備えられる通信部１２を経由して制御部２に送信される。

容器１１と、後述する制御部２、報知部３及びセンサ４に備えられるものを含む、通信部１２（以下、容器の通信部１２），２２（制御部の通信部２２），３１（報知部の通信部３１）及び４１（センサの通信部４１）は、有線／無線モジュールのどちらか、または両方を含んで構成される。通信部１２，２２，３１及び４１はいずれも同一の構成である必要はなく、それぞれ異なる構成であってよい。通信部１２，２２，３１及び４１は、制御信号またはデータの送受信を行う。

制御部２は、第１の撮像部１が撮像した画像に基づく処理等を行う。

制御部２は、内部モジュールとして、演算部２１、制御部の通信部２２、保存部２３を含んで構成される。また、制御部２は、物理的に、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などを含むプロセッサと、それに加えて保存部２３として、例えば半導体メモリ、磁気メモリ、及び光メモリ等の何れか一つ以上を含んで構成される。半導体メモリは、揮発性メモリ及び不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスク及び磁気テープ等を含んでよい。光メモリは、例えばＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、及びＢＤ（Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ）等を含んで構成されてもよい。

演算部２１は、第１の撮像部１が撮像した画像に基づく処理等として、例えば第１の撮像部１の撮像に係る制御、第１の撮像部１が撮像した画像に係る物体検出／認識処理、認識結果に係るデータ処理およびデータ処理結果に係る報知部３の報知に係る制御等を行うことを含む。認識結果に係るデータ処理は、例えば認識結果のステータス管理を含む。ステータス管理は、例えば容器１１内に物体が追加または削除されたことに関するリストへの物体の認識結果の追加または削除を行うことを含む。

演算部２１は、認識結果及び認識結果の属性情報として、例えば認識した物体の物体名（商品名）、値段、物体の移動方向、信頼度を含んで出力してよい。物体の移動方向とは、例えば物体が容器１１内に投入されたか／容器１１外に取り出されたかの２値情報であることを含む。例えば信頼度とは、認識結果がどれほど信頼できるものかを数値化したものであり、高い信頼度を得るほど認識結果の確度が高いといえる。

制御部の通信部２２は、例えば次のような制御信号またはデータの送受信を行うことを含む。１．容器の通信部１２から第１の撮像部１が撮像した画像を受信する。２．センサの通信部４１からセンサ４が取得した信号を受信する。３．演算部２１と各種制御信号またはデータの送受信をする。４．容器の通信部１２へ第１の撮像部１の制御信号を送信する。５．報知部の通信部３１へ報知部３の制御信号を送信する。

保存部２３は、第１の撮像部１が撮像した画像、第１の撮像部１が撮像した画像に基づいて演算部２１が行う物体検出／認識処理によって得られた認識結果、認識結果に基づいて行った処理の処理結果、センサ４から取得した信号または情報処理システムでの処理に関するプログラム等の少なくとも何れか１つ以上を保存することを含む。

なお、制御部２は必ずしもオンプレミスである必要はなく、Ｗｅｂサービス上のクラウドにて処理を行ってよい。また、制御部２は、モジュール単位でオンプレミスまたはクラウドで処理を行うといったように機能の分割をしてもよい。例えば演算部２１はクラウドにて処理を行ってもよい。また、保存部２３はオンプレミスにて処理を行ってもよい。

報知部３は、報知部の通信部３１を経由して、制御部２からの制御信号等に基づいて報知を行う。報知する内容は、例えば制御部２が得た認識結果または認識結果に基づいて処理を行い、その処理によって得られた結果を含んでよい。

報知部３は、上述した報知を行うための手段として、例えば視覚、聴覚または触覚に訴えるものを含む。そのため、報知部３は例えばディスプレイ、ランプ、スピーカ、モータ等を含んで構成されてもよい。また、報知部３は、例えば報知された認識結果等に関して修正を行ったり、確定入力を行ったりするための入力部を備えてよい。入力部とは、例えばマウス、キーボード、マイク、タッチセンサを含んでよく、タッチセンサについてはタッチディスプレイとしてディスプレイに備えられてもよい。

センサ４は、購買者または物体の動きを監視し、監視して得られた検知データを制御部２に送信する。

センサ４は、例えば重量センサ、赤外線センサ、撮像光学系及び撮像素子を含んで構成される第２の撮像部を含む。また、これらの制御または検知データに関する演算処理については、制御部２が行ってもよいし、センサ４が別途制御部２に相当するものを備え、これを行ってもよい。

センサ４は、容器１１に備えられる場合、例えば容器１１の底に重量センサとして備えられてもよい。重量センサが検知する重量が変化した場合、容器１１内に物体が追加または削除されたとして、重量センサの検知結果に基づいて制御部２または重量センサは第１の撮像部１が撮像を行うためのトリガ信号を生成してもよい。

また、センサ４は、容器１１外に備えられる場合、例えば小売店の店内の商品棚や天井に備えられてもよい。例えばセンサ４として重量センサが商品棚に備えられ、重量センサが検知する重量が変化した場合、容器１１内に物体が追加または削除されたとして、重量センサはトリガ信号を生成してもよい。同じく、例えばセンサ４として第２の撮像部が天井に備えられ、第２の撮像部が撮像した画像から容器１１に物体を追加または削除しようとする特定の動き（例えば購買者が物体を商品棚から取り出す動作、物体が商品棚から動く軌跡など）が検出された場合、容器１１内に物体が追加または削除されたとして、第２の撮像部の撮像した画像に基づいて制御部２または第２の撮像部はトリガ信号を生成してもよい。

次に、図２及び３を用いて第１の段階及び第２の段階における撮像方法等について簡単に説明する。

図２は、物体を容器１１に入れる第１の段階における撮像方法等に関するイメージ図である。ここでの第１の段階とは、購買者が購入しようとする商品（物体）を選ぶ段階を意味することを含む。つまり第１の段階とは、購買者が会計処理を行うレジカウンターを含む特定のエリアにおいて購入する商品の確定（商品の認識結果の確定）を行う前である認識確定前段階と換言できる。

図２によると、物体Ａ（物体）が容器１１に投入された場合、第１の撮像部１は撮像した物体Ａの画像を制御部２へ送信する。

次に、制御部２は画像に基づいて物体検出／認識処理を行い、認識結果を取得する。

図３は、物体を容器１１外に出す第２の段階における撮像方法等に関するイメージ図である。ここでの第２の段階とは、購買者が購入しようとする商品の会計処理を行う段階を意味することを含む。つまり第２の段階とは、特定のエリアにて購入する商品の確定を行う認識確定段階と換言できる。

図３によると、まず第１の段階から第２の段階に移行するために、例えば第１の撮像部１は特定のエリアに設けられたマーカを撮像し、撮像した画像を制御部２に送信する。その後、制御部２は第１の段階から第２の段階へ移行する。つまり制御部２が特定のエリアに設けられたマーカを認識する以前を第１の段階とし、マーカを認識した以降を第２の段階とすることと換言できる。

なお、第１の段階から第２の段階に移行したことを決定するためには、他の手段、例えば特定のエリアに重量センサを設け、重量センサの上に容器１１が置かれることによって重量が変化することを重量センサが検知することに基づいてもよいし、容器１１に別途センサを設け、別途センサが特定のエリアに設けられたマーカを含む特定の信号または物体等を検知することに基づいてもよい。

第２の段階に移行した後に容器１１から物体Ａが取り出された場合、第１の撮像部１は撮像した物体Ａの画像を制御部２へ送信する。

次に、制御部２は画像に基づいて物体検出／認識処理を行い、認識結果を取得する。

その後、制御部２は物体を容器１１に入れる第１の段階及び前記物体を前記容器１１外に出す第２の段階のそれぞれにおいて撮像された画像に基づいて認識結果の最終確定処理を行う。

このとき、制御部２は、最終確定処理を行った認識結果を報知部３に報知させるように制御信号を送信してもよい。また、制御部２は、第２の段階で第１の撮像部１が撮像した物体の認識結果を、認識結果の最終確定処理前に報知部３に報知させるように制御信号を送信してもよい。例えば、図３によると、第１の段階及び第２の段階で撮像した物体Ａの画像に基づいて取得したそれぞれの認識結果が「りんご」と一致した場合、報知部３には「りんご」と表示される。

次に、本開示の第１の実施形態に係る情報処理システムの情報処理方法を説明する。本開示の第１の実施形態に係る情報処理システムの情報処理方法において、第１の撮像部１は任意のフレームレートで連続的に撮像を行い、制御部２は第１の撮像部１が撮像した画像に基づいて物体検出及び物体認識を行う。そして、認識結果のステータス管理の方法として第１乃至第４のリストを用い、これらのリストに基づいて制御部２は認識結果の最終確定処理を行う。

そして、第１の段階において制御部２は、容器１１に投入された物体であると判断されたものを購買候補商品として、購買候補商品の認識結果を格納する第１のリストに追加する。

また、第２の段階において制御部２は、容器１１から取り出されたものであると判断されたものを購買商品として、購買商品の認識結果を格納する第２のリストに追加する。

そして、第１のリストと第２のリストとが完全一致しているかを検証し、完全一致した場合、制御部２はそのまま最終確定購買商品として、第２のリストに含まれる物体の認識結果を、最終確定購買商品の認識結果を格納する第３のリストに追加し、物体の認識結果を確定する。また、第１のリストと第２のリストとが完全一致ではなかった場合、一致した物体の認識結果を第３のリストに、一致しなかった物体の認識結果、即ち最終認識失敗商品の認識結果を格納する第４のリストにそれぞれ追加する。

制御部２は、第３のリストに格納された認識結果に基づいて精算処理を行ってよく、また、第４のリストに格納された認識結果に基づいて認識が失敗した物体の認識結果及び認識候補の物体をリスト形式で報知部３にて表示し、顧客が報知部３に備えられる入力部を用いて修正するよう示唆してもよい。第３のリストまたは第４のリスト基づく処理は、第２の実施形態以降においても同じであってもよい。

以下、図４に基づいて本開示の第１の実施形態に係る情報処理システムの処理フローを説明する。

＜Ｓ００１＞第１の撮像部１は、任意のフレームレートで連続的に撮像を開始する。その後、＜Ｓ００２＞に進む。

＜Ｓ００２＞制御部２は、第１の段階であると決定する。その後、＜Ｓ００３＞に進む。

＜Ｓ００３＞制御部２は、第１の段階から第２の段階へ移行すべきかを判断する。判断方法として、例えば段落［００３７］乃至［００３９］に記載の方法を用いてよい。制御部２が第１の段階から第２の段階へ移行すべきと判断した場合、制御部２は、第１の段階から第２の段階へ移行する。その後、＜Ｓ００８＞に進む。制御部２が第１の段階から第２の段階へ移行すべきと判断しなかった場合、＜Ｓ００４＞に進む。

＜Ｓ００４＞制御部２は、第１の撮像部１が撮像した画像に基づいて物体検出したかを判断する。制御部２が物体検出した場合、＜Ｓ００５＞に進む。制御部２が物体検出しなかった場合、＜Ｓ００３＞に戻る。

なお、物体検出の手法として、公知に用いられている物体検出手法を用いてよい。公知に用いられている物体検出手法とは、例えばセグメンテーション、セマンティックセグメンテーション及び／またはバウンディングボックスを利用する方法、もしくは後述する物体認識と併せてパターンマッチングまたは深層学習を含む機械学習を行うことが挙げられる。

＜Ｓ００５＞制御部２は、物体検出結果に基づいて物体認識を行う。その後、＜Ｓ００６＞に進む。

なお、物体認識の手法として、公知に用いられている物体認識手法を用いてよい。公知に用いられている物体認識手法とは、例えばパターンマッチングまたは深層学習を含む機械学習を含む。

＜Ｓ００６＞制御部２は、認識結果を購買候補商品として第１のリストに追加すべきかを判断する。追加するべきとの判断基準として、例えば認識結果の信頼度が所定の閾値以上であること、物体の移動が容器１１内へ投入されるものであると判断されたことが挙げられる。制御部２が認識結果を購買候補商品として第１のリストに追加すべきと判断した場合、＜Ｓ００７＞に進む。制御部２が認識結果を購買候補商品として第１のリストに追加すべきと判断しなかった場合、当該認識結果を破棄したうえで＜Ｓ００３＞に戻る。

＜Ｓ００７＞制御部２は、認識結果を第１のリストに追加する。その後、＜Ｓ００３＞に戻る。

＜Ｓ００８＞制御部２は、第１の撮像部１が撮像した画像に基づいて物体検出したかを判断する。制御部２が物体検出した場合、＜Ｓ００９＞に進む。制御部２が物体検出しなかった場合、＜Ｓ０１１＞に進む。

＜Ｓ００９＞制御部２は、物体検出結果に基づいて物体認識を行う。その後、＜Ｓ０１０＞に進む。

＜Ｓ０１０＞制御部２は、認識結果を第２のリストに追加する。その後、＜Ｓ０１１＞に進む。

＜Ｓ０１１＞制御部２は、第２の段階を終了すべきか判断する。判断方法として、例えば一定時間物体の検出がない場合が挙げられる。制御部２が第２の段階を終了すると判断した場合、＜Ｓ０１２＞に進む。制御部２が第２の段階を終了すると判断しなかった場合、＜Ｓ００８＞に戻る。

＜Ｓ０１２＞制御部２は、第１のリストと第２のリストに含まれる認識結果が完全一致するかを判断する。第１のリストと第２のリストに含まれる認識結果が完全一致する場合、＜Ｓ０１３＞に進む。第１のリストと第２のリストに含まれる認識結果が完全一致しなかった場合、＜Ｓ０１４＞に進む。

＜Ｓ０１３＞制御部２は、第２のリストに含まれる認識結果をコピーし、第３のリストに追加する。その後、情報処理システムは処理を終了する。

＜Ｓ０１４＞制御部２は第１のリストと第２のリストとで一致した物体の認識結果については、第２のリストに含まれる認識結果をコピーして第３のリストに追加する。そして、第１のリストと第２のリストとで一致しなかった物体の認識結果については、一致しなかった物体の認識結果を第４のリストに追加する。その後、制御部２は第３のリスト及び第４のリストに基づく処理を行い、その後全体処理を終了する。

次に、本開示の第２の実施形態に係る情報処理システムの情報処理方法を説明する。本開示の第１の実施形態に係る情報処理システムの情報処理方法では連続的に撮像を行っているが、制御部２が扱うデータ量が増加する懸念がある。よって本開示の第２の実施形態に係る情報処理システムの情報処理方法では、購買者が容器１１に物体を入れるタイミングを予測することで第１の撮像部１の撮像タイミングを推定する。そして、推定した撮像タイミングに基づいて第１の撮像部１は撮像を行う。この方法によって、第１の撮像部１は連続的に撮像を行う必要がなくなり、制御部２が扱うデータ量が削減されることが期待される。

図５は、第２の実施形態での第１の段階における撮像方法等に関するイメージ図である。図５は、図２及び第１の実施形態と比較して、センサ４が新たな構成要件として追加されている。なお、ここでのセンサ４は小売店の店内の天井に備えられているが、実際にはこのパターンに限られない。

センサ４は容器１１及び／または容器１１を保持する顧客を監視し、取得した検知データを制御部２に送信する。

制御部２は、物体Ａが容器１１に投入されるかをセンサ４が取得する検知データに基づいて判断する。判断方法として、例えば段落［００２９］乃至［００３２］に記載の方法を用いてもよい。

制御部２は、センサ４が取得する検知データに基づいて物体Ａが容器１１に投入されると判断した場合、第１の撮像部１に対して撮像を行うためのトリガ信号を送信する。

第１の撮像部１は、制御部２からトリガ信号を受信した場合、撮像を行う。その後第１の撮像部１は、撮像した画像を制御部２に送信する。

なお、図５は第１の段階における撮像方法についての説明ではあるが、第２の段階においても同様の撮像方法を用いてよい。

以下、図６に基づいて本開示の第２の実施形態に係る情報処理システムの処理フローを説明する。

＜Ｓ１０１＞本処理は第１の実施形態の＜Ｓ００２＞に対応する。本処理の実行後、＜Ｓ１０２＞に進む。

＜Ｓ１０２＞制御部２は、センサ４が取得した検知データに基づいて、購買者が物体を容器１１に投入するタイミングを予測する。その後、＜Ｓ１０３＞に進む。

＜Ｓ１０３＞制御部２は、購買者が物体を容器１１に投入するタイミングの予測結果に基づいて第１の撮像部１が撮像をするタイミングであるかを判断する。第１の撮像部１が撮像をするタイミングであると判断した場合、制御部２はトリガ信号を第１の撮像部１に送信する。その後、＜Ｓ１０４＞に進む。第１の撮像部１が撮像をするタイミングではないと判断した場合、＜Ｓ１０２＞に戻る。

＜Ｓ１０４＞第１の撮像部１は、制御部２からのトリガ信号に基づいて物体の撮像を行う。その後、＜Ｓ１０５＞に進む。

＜Ｓ１０５＞本処理は第１の実施形態の＜Ｓ００５＞に対応する。本処理の実行後、＜Ｓ１０６＞に進む。

＜Ｓ１０６＞本処理は第１の実施形態の＜Ｓ００６＞に対応する。制御部２が認識結果を購買候補商品として第１のリストに追加すべきと判断した場合、＜Ｓ１０７＞に進む。制御部２が認識結果を購買候補商品として第１のリストに追加すべきと判断しなかった場合、当該認識結果を破棄したうえで＜Ｓ１０２＞に戻る。

＜Ｓ１０７＞本処理は第１の実施形態の＜Ｓ００７＞に対応する。本処理の実行後、＜Ｓ１０８＞に進む。

＜Ｓ１０８＞本処理は第１の実施形態の＜Ｓ００３＞に対応する。制御部２が第１の段階から第２の段階へ移行すべきと判断した場合、制御部２は、第１の段階から第２の段階へ移行する。その後、＜Ｓ１０９＞に進む。制御部２が第１の段階から第２の段階へ移行すべきと判断しなかった場合、＜Ｓ１０２＞に戻る。

＜Ｓ１０９＞制御部２は、センサ４が取得した検知データに基づいて、購買者が物体を容器１１から出すタイミングを予測する。その後、＜Ｓ１１０＞に進む。

＜Ｓ１１０＞本処理は＜Ｓ１０３＞に対応する。第１の撮像部１が撮像をするタイミングであると判断した場合、制御部２はトリガ信号を第１の撮像部１に送信する。その後、＜Ｓ１１１＞に進む。第１の撮像部１が撮像をするタイミングではないと判断した場合、＜Ｓ１０９＞に戻る。

＜Ｓ１１１＞乃至＜Ｓ１１３＞これらの処理はそれぞれ＜Ｓ１０４＞、＜Ｓ１０５＞及び＜Ｓ０１０＞に対応する。＜Ｓ１１１＞の処理後は＜Ｓ１１２＞に、＜Ｓ１１２＞の処理後は＜Ｓ１１３＞に、＜Ｓ１１３＞の処理後は＜Ｓ１１４＞に進む。

＜Ｓ１１４＞本処理は第１の実施形態の＜Ｓ０１１＞に対応する。制御部２が第２の段階を終了すると判断した場合、＜Ｓ１１５＞に進む。制御部２が第２の段階を終了すると判断しなかった場合、＜Ｓ１０９＞に戻る。

＜Ｓ１１５＞本処理は第１の実施形態の＜Ｓ０１２＞に対応する。第１のリストと第２のリストに含まれる認識結果が完全一致する場合、＜Ｓ１１６＞に進む。第１のリストと第２のリストに含まれる認識結果が完全一致しなかった場合、＜Ｓ１１７＞に進む。

＜Ｓ１１６＞及び＜Ｓ１１７＞本処理はそれぞれ＜Ｓ０１３＞及び＜Ｓ０１４＞に対応する。制御部２はそれぞれの処理の実行及び第３のリスト及び第４のリストに基づく処理を行い、その後全体処理を終了する。

次に、本開示の第３の実施形態に係る情報処理システムの情報処理方法を説明する。本開示の第１及び第２の実施形態に係る情報処理システムの情報処理方法では第１の段階及び第２の段階で撮像した画像に基づく認識結果がそれぞれ一致するかという判定処理を必ず行っているが、例えば第１の段階での認識結果で高い認識率が出た場合など、必ずしも２回の撮像及び撮像した画像に基づいて処理が必要とは限らない場合も想定される。よって本開示の第３の実施形態に係る情報処理システムの情報処理方法では、第１の段階にて第１の撮像部１が撮像した画像に基づく物体認識での認識率が所定の条件（例えば認識率が９０％以上など、任意の閾値）を満たした場合、直接第３のリストに追加する。全ての物体が第３のリストに追加されたことを制御部２が確認した場合、第２の段階で撮像した画像に基づく物体認識を行わない。この方法によって、制御部２のデータ処理量が削減されることが期待される。

以下、図７に基づいて本開示の第１の実施形態に係る情報処理システムの処理フローを説明する。

＜Ｓ２０１＞乃至＜Ｓ２０５＞これらの処理はそれぞれ第２の実施形態の＜Ｓ１０１＞乃至＜Ｓ１０５＞に対応する。＜Ｓ２０１＞の処理後は＜Ｓ２０２＞に、＜Ｓ２０２＞の処理後は＜Ｓ２０３＞に、＜Ｓ２０３＞の処理後は＜Ｓ２０４＞に、＜Ｓ２０４＞の処理後は＜Ｓ２０５＞に、＜Ｓ２０５＞の処理後は＜Ｓ２０６＞に進む。

＜Ｓ２０６＞制御部２は、第１の段階にて第１の撮像部１が撮像した画像に基づいて物体認識で得られた認識率が所定の条件を満たしているかを判断する。認識結果が所定の条件を満たしていると判断した場合、＜Ｓ２０７＞に進む。認識結果が所定の条件を満たしていると判断しなかった場合、＜Ｓ２０８＞に進む。

＜Ｓ２０７＞制御部２は、認識結果を第３のリストに追加する。その後、＜Ｓ２０９＞に進む。

＜Ｓ２０８＞制御部２は、認識結果を第１のリストに追加する。その後、＜Ｓ２０９＞に戻る。

＜Ｓ２０９＞本処理は第２の実施形態の＜Ｓ１０８＞に対応する。制御部２が第１の段階から第２の段階へ移行すべきと判断した場合、制御部２は、第１の段階から第２の段階へ移行する。その後、＜Ｓ２１０＞に進む。制御部２が第１の段階から第２の段階へ移行すべきと判断しなかった場合、＜Ｓ２０２＞に戻る。

＜Ｓ２１０＞制御部２は、第１のリストが空値、即ち全ての認識した物体が所定の条件を満たしていたかを判断する。第１のリストが空値であると判断した場合、そのまま情報処理システムは処理を終了する。第１のリストが空値であると判断しなかった場合、＜Ｓ２１１＞に進む。

＜Ｓ２１１＞本処理は第２の実施形態の＜Ｓ１０９＞に対応する。本処理の実行後、＜Ｓ２１２＞に進む。

＜Ｓ２１２＞本処理は第２の実施形態の＜Ｓ１１０＞に対応する。第１の撮像部１が撮像をするタイミングであると判断した場合、制御部２はトリガ信号を第１の撮像部１に送信する。その後、＜Ｓ２１３＞に進む。第１の撮像部１が撮像をするタイミングではないと判断した場合、＜Ｓ２１１＞に戻る。

＜Ｓ２１３＞乃至＜Ｓ２１５＞これらの処理はそれぞれ第２の実施形態の＜Ｓ１１１＞乃至＜Ｓ１１３＞に対応する。＜Ｓ２１３＞の処理後は＜Ｓ２１４＞に、＜Ｓ２１４＞の処理後は＜Ｓ２１５＞に、＜Ｓ２１５＞の処理後は＜Ｓ２１６＞に進む。

＜Ｓ２１６＞本処理は第２の実施形態の＜Ｓ１１４＞に対応する。制御部２が第２の段階を終了すると判断した場合、＜Ｓ２１７＞に進む。制御部２が第２の段階を終了すると判断しなかった場合、＜Ｓ２１１＞に戻る。

＜Ｓ２１７＞制御部２は、第２のリストに含まれる認識結果と、第１のリスト及び第３のリストに含まれる認識結果とを組み合わせたものとが完全一致するかを判断する。第１のリスト及び第３のリストに含まれる認識結果を組み合わせたものが完全一致する場合、＜Ｓ２１８＞に進む。第１のリスト及び第３のリストに含まれる認識結果を組み合わせたものが完全一致しなかった場合、＜Ｓ２１９＞に進む。

＜Ｓ２１８＞及び＜Ｓ２１９＞これらの処理はそれぞれ第２の実施形態の＜Ｓ１１６＞及び＜Ｓ１１７＞に対応する。それぞれの処理の実行を以てして、情報処理システムは処理を終了する。

ここまでが、第１乃至第３の実施形態に係る情報処理システムの情報処理方法の説明である。

なお、ここまでの説明では、制御部２が物体の認識結果を第３のリストまたは第４のリストに追加することまでの言及となっているが、例えば段落［００２７］及び［００２８］にあるように、制御部２が物体の認識結果を第３のリストまたは第４のリストに追加した後、制御部２は、第３のリストまたは第４のリストに基づいて報知部３へ制御信号を送信してもよい。

例えば報知部３は、第４のリストに基づいて認識が失敗した物体の認識結果及び認識候補の物体をリスト形式で表示し、顧客が報知部３に備えられる入力部を用いて修正するよう示唆してもよい。

また、報知部３は、第４のリストに物体の認識結果が含まれている場合、エラー警告を顧客または小売店の従業員等に通知してもよい。

また、報知部３は、第３のリスト及び先述した顧客による修正を反映した第４のリストに基づいて合算金額を表示し、顧客に会計処理を行うよう示唆してもよい。

ここまで、情報処理システム、情報処理装置及び情報処理方法について、本開示を諸図正を行うことが容易であることに注意されたい。

例えば第１乃至第３の実施形態に係る情報処理システムの情報処理方法において、第１の段階で第１の撮像部１の認識結果に含まれる物体の移動方向に基づいて、既に第１のリストに追加されている物体が容器１１外に取り出されることを制御部２が検出した場合、制御部２は容器１１外に取り出された物体の認識結果を第１のリストから削除してもよい。

また、第１乃至第３の実施形態に係る情報処理システムの情報処理方法において、第２のリストの生成が完了した後に第１のリストとの照合を行っているが、例えば第２のリストに認識結果を追加すると同時に追加した認識結果が第１のリストに含まれるかを照合してもよい。

また、第１乃至第３の実施形態に係る情報処理システムの情報処理方法において、制御部２は第１乃至第４のリストに基づいて処理を行っているが、図８に示すように、例えば第２乃至第４のリストを用いずに、第１のリストに含まれる認識結果の属性として、Ｙｅｓ／Ｎｏ（以下Ｙ／Ｎ）の２値で表される第１のリストに対応する「第１撮像での認識有」、第２のリストに対応する「第２撮像での認識有」を新たに用いてもよい（以下鍵括弧は省略）。この場合、第１の段階で追加された認識結果には第１撮像での認識有にＹを、第２の段階で追加された認識結果には第２撮像での認識有にＹを付与してよい。つまり、第１の段階及び第２の段階共に認識された物体の認識結果には第１撮像での認識有及び第２撮像での認識有にＹが付与され、第１の段階では認識されたが第２の段階では認識されなかった物体の認識結果には、第１撮像での認識有にＹ、第２撮像での認識有にＮが付与され、第１の段階では認識されなかったが第２の段階では認識された物体の認識結果には第１撮像での認識有にＮ、第２撮像での認識有にＹが付与されることとなる。

例えば図８を参照すると、ＩＤ番号が１のりんごは、第１の撮像有及び第２の撮像有共にＹが付与されており、制御部２は、りんごを第３のリストに対応する最終確定購買商品として処理してもよい。一方、ＩＤ番号が２及び３のなし及びみかんは、第１撮像での認識有及び第２撮像での認識有の何れか一方にＮが付与されており、制御部２は、なし及びみかんを第４のリストに対応する最終認識失敗商品として処理してもよい。

また、第３の実施形態に係る情報処理システムの情報処理方法において、制御部２は、第１の段階での物体の認識結果で認識率が所定の条件を満たさないものを制御部２が保存部２３に一時的に保存させ、第２の段階において制御部２は認識率が低いもののみを第１の撮像部１によって撮像させることを、報知部３を介して顧客に促してもよい。即ち、第１の段階で物体認識の認識率が所定の条件を満たすものはそのまま認識結果の最終確定を行う処理を、また、第１の段階で物体認識の認識率が所定の条件を満たさないものは第２の段階で第１の撮像部１が撮像した画像に基づいて処理を、制御部２は実行してもよい。

また、第１乃至第３の実施形態に係る情報処理システムの情報処理方法において、顧客は容器１１を用いることとなっているが、必ずしも顧客は容器１１を用いるわけではなく、例えば顧客自身の手で保持することも想定される。その場合、情報処理システムは、例えば第１の撮像部１を容器１１に備える代わりに小売店の店内の商品棚や天井等に備えてもよく、例えば第１の撮像部１は顧客を常時トラッキングし、第１のリストと顧客との紐づけを常に行ってもよい。

また、第１乃至第３の実施形態に係る情報処理システムの情報処理方法において、第１の段階及び第２の段階で物体の撮像を行う第１の撮像部１は同一のものであるが、必ずしもそうである必要はなく、例えば第１の段階での第１の撮像部１は容器１１に備えたものを、第２の段階での第１の撮像部１はキャッシュレジスタ端末に備えたものとするように、それぞれ異なるものを用いてもよい。

さらに、これまでに述べたように、本開示の解決手段を情報処理システム、情報処理装置及び情報処理方法として説明してきたが、本開示はこれらを含む態様としても実現し得るものであり、また、これらに実質的に相当するプログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本開示の範囲にはこれらも包含されるものと理解されたい。

１ 第１の撮像部
２ 制御部
３ 報知部
４ センサ
１１ 容器
１２ 容器の通信部
２１ 演算部
２２ 制御部の通信部
２３ 保存部
３１ 報知部の通信部
４１ センサの通信部

Claims (14)

1. 第１の撮像部と、
   前記第１の撮像部によって撮像された画像に関する処理を行う制御部とを備え、
   前記制御部は、物体を容器に入れる第１の段階及び前記物体を前記容器外に出す第２の段階のそれぞれにおいて撮像された画像に基づいて処理を行う、
   情報処理システム。
2. 前記制御部は、前記第１の段階及び前記第２の段階のそれぞれで撮像された画像に含まれる前記物体を認識し、前記物体の認識結果に基づいて処理を行う、請求項１に記載の情報処理システム。
3. 前記制御部は、前記認識結果のステータス管理を行う、請求項２に記載の情報処理システム。
4. 前記ステータス管理は、前記第１の段階で撮像された前記画像において認識された前記物体を第１のリストに追加し、
   前記第２の段階で撮像された前記画像において認識された前記物体を第２のリストに追加することを前記制御部が行うことを含む、請求項３に記載の情報処理システム。
5. 前記制御部は、前記第１のリスト及び前記の第２のリストに基づいて前記物体の認識結果を確定する、請求項４に記載の情報処理システム。
6. 前記撮像部は前記容器に備えられる、請求項１乃至５の何れか一項に記載の情報処理システム。
7. 前記第１の段階は、さらに、特定のエリアにおいて前記物体の認識結果の確定を行う前である認識確定前段階であり、
   前記第２の段階は、さらに、前記認識結果の確定を行う認識確定段階である、請求項１乃至６の何れか一項に記載の情報処理システム。
8. 前記制御部は、さらに、前記制御部が前記特定のエリアに設けられたマーカを認識する以前の場合、前記認識確定前段階であるとし、
   前記マーカを認識した以降の場合、前記認識確定段階であるとする、請求項７に記載の情報処理システム。
9. 前記第１の撮像部は、別途備えるセンサの検知結果に基づいて撮像を行う、請求項１乃至８の何れか一項に記載の情報処理システム。
10. 前記センサは、前記容器に備えられる重量センサであり、
    前記第１の撮像部は、前記重量センサが検知した総重量が変化した場合、撮像を行う、請求項９に記載の情報処理システム。
11. 前記センサは、前記容器外に備えられる重量センサ、赤外線センサまたは第２の撮像部である、請求項９に記載の情報処理システム。
12. 前記物体は、購買者が購入しようとする商品である、請求項１乃至１１の何れか一項に記載の情報処理システム。
13. 第１の撮像部によって撮像された画像に関する処理を行う制御部を備え、
    前記制御部は、物体を容器に入れる第１の段階及び前記物体を前記容器外に出す第２の段階のそれぞれにおいて撮像された画像に基づいて処理を行う、
    情報処理装置。
14. 物体を容器に入れる第１の段階において第１の撮像部が撮像を行い、
    前記物体を前記容器外に出す第２の段階において前記第１の撮像部が撮像を行い、
    前記第１の段階と前記第２の段階のそれぞれにおいて前記第１の撮像部が撮像した画像に基づいて処理を行う、
    情報処理方法。

Images