JP2020061164A - 情報処理システム - Google Patents

情報処理システム Download PDF

Info

Publication number
JP2020061164A
JP2020061164A JP2019214145A JP2019214145A JP2020061164A JP 2020061164 A JP2020061164 A JP 2020061164A JP 2019214145 A JP2019214145 A JP 2019214145A JP 2019214145 A JP2019214145 A JP 2019214145A JP 2020061164 A JP2020061164 A JP 2020061164A
Authority
JP
Japan
Prior art keywords
product
unit
camera
information
settlement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019214145A
Other languages
English (en)
Other versions
JP6836256B2 (ja
Inventor
寧 蒲原
Yasushi Kambara
寧 蒲原
敏也 波川
Toshiya Namikawa
敏也 波川
英揮 川端
Hideki Kawabata
英揮 川端
友洋 佐々木
Tomohiro Sasaki
友洋 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Signpost Corp
Original Assignee
Signpost Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Signpost Corp filed Critical Signpost Corp
Priority to JP2019214145A priority Critical patent/JP6836256B2/ja
Publication of JP2020061164A publication Critical patent/JP2020061164A/ja
Application granted granted Critical
Publication of JP6836256B2 publication Critical patent/JP6836256B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】購入者が商品を購入する際に、商品の代金の精算の自動化を可能にすると共に、商品の特定精度を高めること。【解決手段】物体認識部２３３は、物体を被写体に含む画像から物体を認識する。商品特定部２３５は、画像認識等の手法を用いて前記物体を商品として特定する。目検結果取得部２３９は、目検用端末Ｑに当該画像を送信し、目検用端末Ｑから送信された目検による商品の特定の結果を取得する。精算部２３７は、商品特定部２３５と目検結果取得部２３９の結果に基づいて特定された商品について、精算処理を行う。【選択図】図９

Description

本発明は、情報処理システムに関する。
従来より、コンビニエンスストア、スーパーマーケットやショッピングセンター、各種の量販店等の商店では、購入者が商品棚から商品を取り、ショッピングカートや買い物カゴに入れて商店の出口付近に設けられたレジまで運び、セルフキャッシュレジスターにより商品の代金の精算を行っている（例えば、特許文献１参照）。
特開２００１−７６２６１号公報
しかし、レジでショッピングカートや買い物カゴに入っている商品を精算する場合には、セルフレジであっても商品の夫々のバーコードの読み取りが発生してしまうため、レジ待ちの列を解消することはできず、購入者は長時間レジ待ちをすることになる。
また、購入者が商店で購入したい商品を購入するときに、他にも多数の購入者がいる場合には、購入者は買い物を諦めてしまう場合が存在する。
したがって、上記のような事情を考慮すると、購入者が商店に陳列されている商品を購入する際に、商品の代金の精算の自動化及び商品の代金の精算にかかる時間の短縮を図ることができるシステムが要求されている。
さらにまた、従来の店舗では買い物客やレジ担当者による万引き等の不正も問題となっており、このような不正防止が可能になるシステムも要求されている。
本発明は、このような状況に鑑みてなされたものであり、購入者が商品を購入する際に、商品の代金の精算の自動化を可能にすると共に、商品の特定精度を高めることを目的とする。
上記目的を達成するため、本発明の一態様の情報処理システムは、
物体を被写体に含む画像に対して、目検者が目視による確認をする第１手法を用いて、当該物体を商品として特定することを試みた結果を取得する第１特定手段と、
前記第１特定手段の結果に基づいて特定された商品について、精算処理を行う精算手段と、
を備える。
本発明によれば、購入者が商品を購入する際に、商品の代金の精算の自動化を可能にすると共に、商品の特定精度を高めることが可能な情報処理システムを提供することができる。
本発明に係る情報処理システムの実施形態１乃至実施形態４の要点を一覧表にした図である。 実施形態１，２におけるシステムフローの概要を表す模式図である。 実施形態３，４におけるシステムフローの概要を表す模式図である。 実施形態１における商品認識システムを採用するコンビニエンスストアのレイアウト例を示す図である。 実施形態１で採用するレジ端末の外観の構成例を示す概略透視図である。 本発明の情報処理システムの実施形態１としての商品認識システムの構成を示す構成図である。 図６の商品認識システムのうちサーバのハードウェア構成を示すブロック図である。 図６の商品認識システムのうちレジ端末のハードウェア構成を示す構成図である。 図７のサーバと図８のレジ端末との機能的構成の一例を示す機能ブロック図である。 レジ端末に置かれた物体の撮像画面の例を示している。 レジ端末に置かれた物体の数を算出するための真理値表の一例を示す図である。 図９のサーバとレジ端末が実行する自動精算処理を説明するフローチャートである。 図９のサーバとレジ端末が実行する自動精算処理において売買制限商品の処理を説明するフローチャートである。 実施形態２における商品認識システムを採用する書店のレイアウト例を示す図である。 実施形態２で採用するレジ端末によって書籍を自動精算している一例を示す概略斜視図である。 本発明の情報処理システムの実施形態２としての商品認識システムの構成を示す構成図である。 図１６の商品認識システムのうち売場装置のハードウェア構成を示すブロック図である。 図７のサーバと図８のレジ端末と図１７の売場装置との機能的構成の一例を示す機能ブロック図である。 図１８の売場装置に備えられた移動物体追跡部の詳細な機能的構成例を示す機能ブロック図である。 図１８の売場装置に備えられた位置情報管理部の詳細な機能的構成例を示す機能ブロック図である。 図１８の売場装置に備えられた冊数カウント部の詳細な機能的構成例を示す機能ブロック図である。 図１８のサーバとレジ端末と売場装置が実行する自動精算処理を説明するフローチャートである。 図２２のステップＳ２１０において商品の冊数情報と精算される冊数とを検証する場合のフローチャートである。 実施形態３における商品認識システムを採用するスーパーマーケットのレイアウト例を示す図である。 実施形態３としての商品認識システムの構成を示す構成図である。 図２５の商品認識システムのうち売場装置のハードウェア構成を示すブロック図である。 図７のサーバと精算機と図２６の売場装置との機能的構成の一例を示す機能ブロック図である。 図２７の売場装置に備えられた移動物体追跡部の詳細な機能的構成例を示す機能ブロック図である。 図２７の売場装置に備えられた棚商品認識部の詳細な機能的構成例を示す機能ブロック図である。 図２７の売場装置に備えられたカゴ商品認識部の詳細な機能的構成例を示す機能ブロック図である。 図２７のサーバと売場装置と精算機が実行する自動精算処理の基本的な流れを説明するフローチャートである。 図２７のサーバ売場装置と精算機が実行する自動精算処理のカゴ内商品を認識する処理を説明するフローチャートである。 実施形態４における商品認識システムを採用するスーパーマーケットのレイアウト例を示す図である。 本発明の情報処理システムの実施形態４としての商品認識システムの構成を示す構成図である。 図３４の商品認識システムのうち精算ゲートのハードウェア構成を示す図である。 図７のサーバと図２６の売場装置と図３５の精算ゲートとの機能構成の一例を示す機能ブロック図である。 実施形態４における売場装置に備えられた移動物体追跡部の詳細な機能的構成例を示す機能ブロック図である。 実施形態４における売場装置に備えられた棚商品認識部の詳細な機能的構成例を示す機能ブロック図である。 図３６のサーバ１と売場装置と精算ゲートが実行する自動精算処理を説明するフローチャートである。 図３６のサーバ１と売場装置と精算ゲートが実行する自動精算処理を説明するフローチャートである。
〔概要〕
以下、本発明の情報処理システムの実施形態の概要について説明する。
本発明の情報処理システムは、商品を自動精算する商品認識システムとして適用される。以下、商品を特定するためのレジ端末を含む商品認識システムの実施形態１，２、及び、商品を特定するためのレジ端末を含まない商品認識システムの実施形態３，４について、夫々説明する。
図１は、本発明の情報処理システムの実施形態１乃至実施形態４の要点を一覧表にした図である。
図１中の「実施店舗」欄には、実施形態１乃至４の夫々の実施店舗が記載されている。例えば、実施形態１は、主としてコンビニエンスストアでの適用を想定する情報処理システムである。
ただし、この実施店舗は、あくまで例示に過ぎず、実施形態１乃至４の夫々の適用先は特に限定されない。例えば、実施形態１の実施店舗をスーパーマーケット等の小売店舗や食堂、精算が行われる店舗としてもよい。
図１中の「精算場所」欄には、実施形態１乃至４の夫々において、買い物客が精算を行う場所が記載されている。実施形態１，２での精算場所は、レジ端末を例示している。レジ端末は、物体を商品として特定し、その商品を精算する機能を有している。実施形態３での精算場所は、レジ台である。レジ台は、物体から商品として既に特定されたものが置かれ、その商品を精算する機能を有している。実施形態４での精算場所は、精算ゲートを例示している。精算ゲートは、物体から商品として既に特定されたものをレジ台に置かずに、その商品を精算する機能を有している。
図１中の「概要」欄には、各実施形態１乃至４の夫々の概要が記載されている。例えば、実施形態１の情報処理システムは、要約すると、レジ端末に置かれた商品の自動精算を行う情報処理システムである。
図１中の「詳細」欄には、各実施形態の詳細が記載されている。つまり、例えば、実施形態１の情報処理システムは、レジ端末に設置されたレジカメラによってレジ端末に置かれた手持ち商品を認識し、その商品の自動精算を行う。
ここで、店舗において販売されている商品がどのような商品か特定される前のものを「物体」と呼ぶ。なお、商品ではないものの、例えば買い物客が持参する私物等も「物体」となる。そして、「物体」が商品として特定されたものを「商品」と呼ぶ。したがって、「商品」とは、店頭において販売されているものを意味する。
また、実施形態１乃至４の商品認識システムは、物体を撮像する１台以上のセンシングデバイスを備えている。センシングデバイスは、画像センサー（カメラ等）の他、温度センサーや距離センサー等種々のものを採用することができる。
カメラ等の画像センサーにより撮像された画像を、以下「撮像画像」と呼ぶ。さらに、物体を被写体として含む撮像画像を、以下「物体撮像画像」と呼ぶ。一方、商品を被写体として含む撮像画像を、以下「商品撮像画像」と呼ぶ。
また、本明細書では、商品撮像画像及び物体撮像画像に対して各種画像処理を施す場合、実際にはデータの形態で取り扱うが、以下においては説明の便宜上、データは省略して説明する。
ここで、物体撮像画像及び商品撮像画像としては、例えば、レジ端末の物体が置かれる領域全体の撮像画像、商品を個別に切り出した画像、商品のロゴの画像、商品のバーコードの画像、商品のラベルの画像、商品の棚全体の撮像画像、店舗内を天井等から撮像した店舗内の画像等を用いることができる。
また、本発明の情報処理システムでは、物体が商品として特定される場合、物体撮像画像に対して各種認識手法を用いることにより、物体撮像画像の被写体がいずれの商品であるか推定され、物体撮像画像の被写体が合致する商品及びその合致度合いのリスト（以下、「商品候補リスト」とも呼ぶ。）が生成される。
さらに、実施形態１乃至４の情報処理システムでは、商品を精算する際に、商品として特定できなかった物体や、売買制限されている商品について、物体撮像画像や商品撮像画像を目検用端末に送信し、目検用端末において、目検者が商品の特定や売買制限の判定（売買制限を解除するか否かの判定等）が行われる。売買制限商品の売買制限の解除は、判定の結果を受けて店員がその場で対応する、もしくはシステムとして目検の結果を採用する、のいずれかの方法で行う。そして、目検者による目検結果が適宜参照されて、商品の精算が行われる。
図２は、実施形態１，２におけるシステムフローの概要を表す模式図である。
図２に示すように、実施形態１，２においては、（１）レジ端末で物体撮像画像の撮像及び商品の特定が行われ、（２）商品の特定が行えない物体または売買制限商品であると判定されると、（３）これらの物体あるいは商品に関する関連情報が目検用端末に送信される。関連情報として、例えば、物体撮像画像、商品撮像画像、認識結果のログ、商品候補リスト等を採用することができる。この際、複数フレームの物体撮像画像を送信する構成としてもよい。そして、（４）目検用端末において目検の依頼（目検対象に関する関連情報の受信）が報知され、（５）目検者が目検を実行する。これにより、レジ端末において商品の特定が行えなかった物体を商品として一意に特定したり、売買制限商品の売買制限を解除したりすることができる。さらに、（６）目検者による目検結果（商品の特定結果あるいは売買制限の判定結果等）がレジ端末に送信され、（７）レジ端末において、目検結果が参照される。このとき、レジ端末において、売買制限商品である旨を報知することも可能である。
目検を経ても商品不特定との結果が返されたときや、売買制限商品の売買制限の解除判定に用いる物体（購入者の顔や身分証明書等）の撮像画像が不鮮明なとき等は、レジ端末において画面表示等で購入者に知らせる構成としてもよいし、音声で案内をする構成としてもよい。具体的に考えられるケースとしては（Ａ）商品不特定となった際に、購入者へ商品の置き直し（商品同士を離す、商品を重ねない）を依頼する、（Ｂ）売買制限の解除判定に用いる購入者の顔や身分証明書の撮像画像が不鮮明な際に、画像の撮り直しを依頼する、（Ｃ）購入者へのレジ端末の使用方法のガイドを行う、等がある。
音声案内をする際には、予め録音された音声を流してもよい。また、レジ端末に備え付けられたマイクロフォンとスピーカーを介して、購入者と目検者等が通話する構成としてもよい。
また、図３は、実施形態３，４におけるシステムフローの概要を表す模式図である。
図３に示すように、実施形態３，４においては、（１）店舗内（売場内）で物体撮像画像の撮像及び商品の特定が行われ、（２）商品の特定が行えない物体または売買制限商品であると判定されると、（３）これらの物体あるいは商品に関する関連情報が目検用端末に送信される。関連情報として、例えば、物体撮像画像、商品撮像画像、認識結果のログ、商品候補リスト、物体撮像画像が撮像された位置情報、店舗内で商品あるいは買い物客を追跡するための情報等を採用することができる。この際、複数フレームの物体撮像画像を送信してもよい。そして、（４）目検用端末において目検の依頼（目検対象に関する関連情報の受信）が報知され、（５）目検者が目検を実行する。これにより、店舗内において商品の特定が行えなかった物体を商品として一意に特定したり、売買制限商品の売買制限を解除したりすることができる。さらに、（６）目検者による目検結果（商品の特定結果あるいは売買制限の判定結果等）が売場内に設置された売場装置に送信され、（７）売場装置において、目検結果が参照される。このとき、売場装置において、売買制限商品である旨を報知することも可能である。
目検を経ても商品不特定との結果が返されたときや、売買制限商品の売買制限の解除判定に用いる物体（購入者の顔や身分証明書等）の撮像画像が不鮮明なとき等は、売場装置等において画面表示等で購入者に知らせる構成としてもよいし、音声で案内をする構成としてもよい。具体的に考えられるケースとしては、（Ａ）商品不特定となった際に、購入者へ商品の取り直し（棚からの取り直し、カゴへの入れ直し）を依頼する、（Ｂ）売買制限の解除判定に用いる購入者の顔や身分証明書等の撮像画像が不鮮明な際に、画像の撮り直しを依頼する、（Ｃ）購入者への売場装置等の使用方法のガイドを行う、等がある。
音声案内をする際には、予め録音された音声を流してもよい。また、売場装置等に備え付けられたマイクロフォンとスピーカーを介して、購入者と目検者等が通話する構成としてもよい。
このようなシステムフローが実行される情報処理システムの実施形態１乃至４は、具体的には、以下のような商品認識システムとして実現することができる。
実施形態１の商品認識システムは、レジ端末に置かれた物体を被写体として含む物体撮像画像に基づいて、物体の存を認識する。
具体的には例えば、実施形態１では、レジ端末はセンシングデバイスの一例として、１台以上のレジカメラを備えている。レジカメラは、レジ端末の所定エリアを撮像する。具体的には、レジカメラは、物体が置かれる前の所定エリアを撮像する。また、レジカメラは、物体が所定エリアに置かれた後の所定エリアを撮像する。そこで、実施形態１の商品認識システムのうちレジ端末は、物体がレジ端末の所定エリアに置かれる前の撮像画像と、物体がレジ端末の所定エリアに置かれた後の物体撮像画像とを対比することで、物体の存在を認識する。
また、物体がレジ端末の所定エリアに置かれる前の撮像画像と、物体がレジ端末の所定エリアに置かれた後の物体撮像画像とを対比する以外の画像認識におけるセグメンテーション技術を用いて、物体がレジ端末の所定エリアに置かれた後の物体撮像画像のみから物体の存在を認識してもよい。
実施形態１では、レジ端末は、この認識された物体の夫々がいずれの商品であるかを画像認識による物体認識手法によって特定する。ここでは、例えば、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）により、商品候補を作成し、その後、検証機能を発揮させることで、商品を高い精度で特定する手法が採用される。
また、実施形態１では、設定された条件に応じて、レジ端末に置かれた物体を、レジ端末とネットワークを介して接続された目検用端末において目検者が確認する。この確認結果（目検結果）はレジ端末に送信される。なお、「目検」とは、人間が目視により物体を確認して、例えばその物体が何の商品であるかを特定する等、何らかの結論を出すことを意味する。このような結論を、以下、「確認結果」または「目検結果」と呼ぶ。
このような確認結果（目検結果）がレジ端末に送信された場合、当該レジ端末は、上述の画像認識による物体認識手法による特定結果と、確認結果とに基づいて、最終的な商品の特定を行う。なお、最終的な商品の特定は、レジ端末ではなく、その他の図示せぬ装置や自然人により行われてもよい。
そして、実施形態１では、レジ端末は、次に特定された商品の数量を認識する。実施形態１では、次に特定された商品の精算をする。
実施形態２の商品認識システムは、書店のような店舗に対して適用する。具体的には、実施形態２の商品認識システムは、書店内の売場に設置された棚と棚との間やワゴンのような台上（以下、台上を含めて「棚内」として説明する）の物体を書籍の冊数として認識し、この書籍が取られたときにレジ端末に置かれるまで買い物客を追跡し、レジ端末に書籍が置かれた場合、置かれた書籍の冊数を認識したうえで、その書籍を特定することで商品として認識し、当該書籍を自動精算する。このとき、実施形態２では、設定された条件に応じて、レジ端末に置かれた書籍を、レジ端末とネットワークを介して接続された目検用端末において目検者が確認（当該書籍を商品として特定）する。そこで、実施形態２の商品認識システムは、この確認結果（目検結果）もさらに考慮して、商品を特定するようにしてもよい。
なお、目検者は、上述の「書籍」の目視による確認の前に、上述の買い物客を目視で確認してもよい。これにより、商品認識システムによる追跡が失敗等した場合であっても、商品の特定が可能になる。
実施形態３の商品認識システムは、スーパーマーケット等の小売店舗に対して適用する。具体的には、実施形態３の商品認識システムは、スーパーマーケット等の小売店舗の売場に置かれたカゴ類（買い物カゴやカート）を認識し、売場を移動するカゴ類を追跡する。実施形態３の商品認識システムでは、物体が棚内から取られた段階でその物体を商品として認識・特定し、レジ台にカゴ類が置かれることで、カゴ類に入れられた商品のリストが読み出され、その商品を自動精算する。このとき、実施形態３では、設定された条件に応じて、棚から取られた物体は、売場に設置されたカメラ等とネットワークを介して接続された目検用端末において目検者によって確認される。そこで、実施形態３の商品認識システムは、この確認結果（目検結果）もさらに考慮して、商品を特定するようにしてもよい。
実施形態４の商品認識システムは、スーパーマーケット等の小売店舗に対して適用する。具体的には、買い物客や、スーパーマーケットに置かれた買い物カゴ及びカートだけでなく、買い物客のマイバッグやレジ袋等を含めたカゴ類と買い物客とを移動物体として認識して追跡する。そして、実施形態４の商品認識システムでは、棚から物体が取られた段階で商品を認識・特定し、商品がレジ端末に置かれなくてもレジゲートにて自動精算できるようにする。このとき、実施形態４では、設定された条件に応じて、棚から取られた物体は、売場に設置されたカメラ等とネットワークを介して接続された目検用端末において目検者によっても確認される。そこで、実施形態４の商品認識システムは、この確認結果（目検結果）もさらに考慮して、商品を特定するようにしてもよい。
以下、実施形態１乃至実施形態４について、夫々図面を参照して説明する。
〔実施形態１〕
実施形態１の情報処理システムは、図４に示すようなコンビニエンスストア等の店舗に採用される図５に示すようなレジ端末２を有する商品認識システムである。実施形態１の情報処理システムは、商品がレジ端末に置かれることで、自動精算することができるようにしてある。
図４は、実施形態１の情報処理システムを採用する店舗がコンビニエンスストアである場合のレイアウト例を示す図である。
店舗１０内の出入口１１付近には、レジカウンター１２が設置されている。レジカウンター１２上には、商品を自動精算するための無人のレジ端末２が設置されている。このレジ端末２の隣には、有人のレジスター１３が設置されている。
店舗１０内には、商品を陳列する複数台の棚ラック１４が設置され、向き合った棚ラック１４間が、買い物客が移動する通路１５とされている。
棚内の商品は、通路１５を移動してきた買い物客によって取られ、レジ端末２の所定エリア（後述の図５の所定エリアＡ等）に置かれる。所定エリアに置かれた商品は、買い物客のレジ端末２に対する所定の操作をトリガーとして、レジ端末２により複数商品が一括で特定されて自動精算される。
なお、有人のレジスター１３は、従来通り、店員が商品を１個ずつバーコードで認識し、精算する。
無人のレジ端末２の外観の構成例について図５を参照して説明する。
図５は、レジ端末２の外観の構成例を示す概略透視図である。
レジ端末２は、物体が載置される所定エリアＡを囲む囲繞部２７０を備えている。囲繞部２７０は、天板部２７１と、底板部２７２と、一対の側板部２７３と、を備えている。
天板部２７１と一対の側板部２７３の夫々には、所定エリアＡを撮像するレジカメラ２１１が夫々固定されている。レジカメラ２１１は、所定エリアＡに置かれた物体を撮像する。
なお、図５において、レジカメラ２１１は、３台のみ描画されているが、後述のように５台でもよく、少なくとも１台以上存在すれば足り、台数は限定されない。また、レジ端末２は、買い物客の顔や手等を撮像する外部カメラ２１２も備える。
底板部２７２上に筐体部２７５が設置されている。筐体部２７５の正面には、図５には図示しないレシート出力部や表示部（後述する図８の出力部２０６のレシート出力部Ｒや表示部Ｄ）が備えられている。
筐体部２７５上には物体を載せる半透明のプレート２７６が設置される。プレート２７６の上面の盤面が所定エリアＡとされる。プレート２７６の盤面は、波形状に形成されている。波形状は、正弦波形状だけでなく、矩形波であってもよく、さらに、ピッチや振幅は、均等だけでなく、不均等であってもよい。
プレート２７６は、このように所定エリアＡが凹部と凸部とを繰り返して形成したものとされることで、円柱状や球状の物体の少なくとも一部を凸部と凸部との間に挟み、転がらないようにすることができる。
このプレート２７６内と囲繞部２７０の天板部２７１内には、所定エリアＡを照明する照明部２２１が備えられている。照明部２２１は、囲繞部２７０の側板部２７３に備えられてもよい。
照明部２２１は、白色だけでなく、青色や赤色その他限定しない種々の色で発光する。照明部２２１が発光することで、所定エリアＡに置かれた物体の影が所定エリアＡに生じないまたは減少するようにされている。
囲繞部２７０は、レジ端末２の状態、例えば、正常待機中の状態であるか、精算中の状態であるか、店員が操作中の状態であるか、さらに異常事態が発生しているか等を色で視認できるように、提示部２１０を変色可能としている。
囲繞部２７０のうち少なくとも天板部２７１と側板部２７３は、透明になる透明状態と、不透明になる不透明状態とに切り替えられるように、瞬間調光シートで構成されていてもよい。
その場合、囲繞部２７０が透明状態とされることで、所定エリアＡの視認性を確保することができる。囲繞部２７０が不透明状態とされることで、撮影時において外部光の影響を抑制しつつ、物体撮像画像を取得することができる。
このようなレジ端末２は、情報処理システムの実施形態１としての商品認識システムに組み込まれる。
図６は、本発明の情報処理システムの実施形態１としての商品認識システムの構成を示す構成図である。
実施形態１の商品認識システムは、サーバ１と、ｎ台（ｎは１以上の任意の整数値）のレジ端末２−１乃至２−ｎと、目検用端末Ｑと、を有している。
サーバ１と、ｎ台のレジ端末２−１乃至２−ｎと、目検用端末Ｑとは、インターネット等のネットワークＮを介して相互に接続されている。目検用端末Ｑは、レジ端末２から離れた店員が所持したり、店舗のバックヤードに備えたり、店舗から遠隔地にあるコールセンターに備えたりすることができる。
なお、説明の便宜上、図６のサーバ１は、１台しか描画されていないが、実際には複数台の場合もある。
また、以下、レジ端末２−１乃至２−ｎを個々に区別する必要がない場合、これらをまとめて「レジ端末２」と呼ぶ。
サーバ１は、複数のレジ端末２の各動作が調和して行われるべく、必要な処理を実行する。レジ端末２は、図４に示したレジカウンター１２上に置かれている。レジ端末２では、買い物客によりレジ端末２の所定エリアＡに置かれた物体の数量を特定したうえ、商品を特定し、自動精算する。
ただし、レジ端末２は必ずしもサーバ１の存在を必要とせず、単独でも機能し得る。この場合、サーバ１の有する機能のうち一部または全てを、他の情報処理装置（例えば、レジ端末２）が有する。
図７は、図６の実施形態１の情報処理システムのうちサーバ１のハードウェア構成を示すブロック図である。
サーバ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、バス１０４と、入出力インターフェース１０５と、出力部１０６と、入力部１０７と、記憶部１０８と、通信部１０９と、ドライブ１１０と、を備えている。
ＣＰＵ１０１は、ＲＯＭ１０２に記憶されているプログラム、または、記憶部１０８からＲＡＭ１０３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１０３には、ＣＰＵ１０１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
ＣＰＵ１０１、ＲＯＭ１０２及びＲＡＭ１０３は、バス１０４を介して相互に接続されている。このバス１０４には、また、入出力インターフェース１０５も接続されている。入出力インターフェース１０５には、出力部１０６、入力部１０７、記憶部１０８、通信部１０９及びドライブ１１０が接続されている。
出力部１０６は、ディスプレイやスピーカー等で構成され、各種情報を画像や音声として出力する。
入力部１０７は、タッチパネル、キーボード、マウスやマイクロフォン等で構成され、各種情報を入力する。
記憶部１０８は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
通信部１０９は、図６に示すように、インターネットを含むネットワークＮを介してレジ端末２との間で通信を行う。
ドライブ１１０には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなるリムーバブルメディア１２０が適宜装着される。ドライブ１１０によってリムーバブルメディア１２０から読み出されたプログラムは、必要に応じて記憶部１０８にインストールされる。
また、リムーバブルメディア１２０は、記憶部１０８に記憶されている各種データも、記憶部１０８と同様に記憶することができる。
図８は、図６の実施形態１の情報処理システムのうちレジ端末２のハードウェア構成を示すブロック図である。
レジ端末２は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、バス２０４と、入出力インターフェース２０５と、出力部２０６と、入力部２０７と、照明部２２１と、遮光部２０９と、提示部２１０と、レジカメラ２１１と、記憶部２０８と、通信部２１３と、ドライブ２１４と、を備えている。
ドライブ２１４には、リムーバブルメディア２２０が適宜装着される。
レジ端末２のＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、バス２０４、入出力インターフェース２０５、記憶部２０８、通信部２１３、ドライブ２１４、リムーバブルメディア２２０は、サーバ１のこれらと同様に構成されている。
出力部２０６は、図５に示した筐体部２７５に備えられる。出力部２０６は、商品に関する情報や精算に関する情報等を表示する表示部Ｄと、レシートを出力するレシート出力部Ｒ、音声を出力するスピーカーＳとを備えている。
入力部２０７は、図５に示した筐体部２７５に備えられる。入力部２０７は、タッチパネル（図示せず）やカードリーダー部Ｃ、マイクロフォンＭを備えている。また、図示しないバーコードリーダーを備えていてもよい。
遮光部２０９は、囲繞部２７０が瞬間調光シートで構成されている場合に、図５に示した囲繞部２７０を透明状態と不透明状態とに切り替える。
提示部２１０は、レジ端末２の状態が正常待機中の状態であるか、精算中の状態であるか、店員が操作中の状態であるか、さらに異常事態が発生しているか等がわかるように、図５に示した提示部２１０が異なる色で発光するように切り替える。なお、提示部２１０は、前面だけでなく、背面にも備えている。
レジカメラ２１１は、所定エリアＡに置かれた物体を撮像し、その結果として得られる１以上の撮像画像を物体撮像画像として出力する。
なお、目検用端末Ｑのハードウェア構成はサーバ１のハードウェア構成と同様であるため、目検用端末Ｑのハードウェア構成については、図７及びその説明を適宜参照することとし、ここでは説明を省略する。
図９は、サーバ１、レジ端末２及び目検用端末Ｑの機能的構成の一例を示す機能ブロック図である。
サーバ１のＣＰＵ１０１においては、個人情報及び商品情報等を管理するＤＢ管理部１４１が機能する。ＤＢ管理部１４１はレジ端末２の夫々に備える構成としてもよい。
サーバ１の記憶部１０８の一領域には、商品ＤＢ１３１が設けられている。商品ＤＢ１３１は、商品情報を記憶するＤＢ（Ｄａｔａ Ｂａｓｅ）である。
レジ端末２のＣＰＵ２０１においては、図９に示すように、発光制御部２２８と、遮光制御部２２９と、提示制御部２３０と、個人認証部２３１と、画像取得部２３２と、物体認識部２３３と、物体数量認識部２３４と、商品特定部２３５と、売買制限商品判定部２３６と、精算部２３７と、表示制御部２３８と、目検結果取得部２３９と、が機能する。
なお、レジ端末２は、個人情報及び商品情報等を保持するＤＢ情報保持部２４１を備えている。
目検用端末ＱのＣＰＵ１０１においては、画像表示制御部４１１と、目検結果送信部４１２と、が機能する。
レジ端末２のＣＰＵ２０１の発光制御部２２８は、物体を撮像するタイミングで照明部２２１を発光させる状態と、物体を撮像しないタイミングで照明部２２１を発光させない状態とに切り替える制御や、所定エリアＡに置かれる物体を認識する状況等に応じて照明部２２１の発光色を切り替える制御を実行する。
遮光制御部２２９は、囲繞部２７０が瞬間調光シートで構成されている場合に、囲繞部２７０を不透明状態と透明状態とに切り替える。即ち、遮光制御部２２９は、囲繞部２７０に備えられた遮光部２０９が所定エリアＡに置かれた物体を撮影するタイミングでの不透明状態と、撮像しないタイミングでの透明状態とのうち一方から他方に切り替える制御を実行する。
提示制御部２３０は、提示部２１０がレジ端末２の状態を提示する発光色を変化させるように制御を実行する。
個人認証部２３１は、精算処理の最中において、ＤＢ管理部１４１によって管理されている個人情報を参照することにより、買い物客の個人認証を行う。具体的には、個人認証部２３１は、商品の画像認識前に、顔認証や、カード認証、指紋認証、静脈認証、虹彩認証等の各種生体認証等の認証手法を用いた認証処理を実施する。ＤＢ管理部１４１によって管理されている個人情報は、年齢やアレルギー、ハラル等の情報を含んでいる。したがって、個人認証部２３１によって取得された個人情報は、売買制限商品判定部２３６で活用される。
画像取得部２３２は、物体が所定エリアＡに置かれてレジカメラ２１１によって撮像された物体撮像画像を図１０に示すように取得する。
図１０は、レジ端末２に置かれた物体の撮像画面の例を示している。ここでは、図１０は、所定エリアＡに置かれた物体Ｘ、Ｙ、Ｚ、Ｚ’が３台のレジカメラ２１１の夫々により撮像された結果得られる物体撮像画像の例を示す図である。
図１０（ａ）は、レジ端末２の天板部２７１に固定されたレジカメラ２１１によって物体Ｘ、Ｙ、Ｚ、Ｚ’が撮像された結果得られる物体撮像画像の例を示している。この物体撮像画像には、６個の物体が含まれている。この物体撮像画像は、物体の影になる物体Ｘ、Ｙ、Ｚ、Ｚ’がないため、所定エリアＡに置かれた全ての物体Ｘ、Ｙ、Ｚ、Ｚ’が撮像されている。
図１０（ｂ）は、レジ端末２の一方の側板部２７３に固定されたレジカメラ２１１によって物体Ｘ、Ｙ、Ｚ、Ｚ’が撮像された結果得られる物体撮像画像の例を示している。この物体撮像画像には、２個の物体が含まれている。この物体撮像画像は、レジカメラ２１１側の物体Ｘ、Ｙ、Ｚ、Ｚ’が奥側の物体を隠した状態となっている。
図１０（ｃ）は、レジ端末２の他方の側板部２７３に固定されたレジカメラ２１１によって物体Ｘ、Ｙ、Ｚ、Ｚ’が撮像された結果得られる撮像画像を示している。この物体撮像画像には、２個の物体が含まれている。この物体撮像画像は、レジカメラ２１１側の物体Ｘ、Ｙ、Ｚ、Ｚ’が奥側の物体を隠した状態となっている。
図１０（ｂ）と図１０（ｃ）の夫々の物体撮像画像に含まれる２つの物体Ｚのうち、一方は同一の物体Ｚ’であるが、他方は異なる物体である。
物体認識部２３３は、上述した所定の画像認識手法を用いて、画像取得部２３２によって取得された物体撮像画像から、所定エリアＡに置かれた物体の存在を認識する。即ち、物体認識部２３３は、レジ端末２の所定エリアＡに物体が置かれる前の背景画像と、物体が置かれた後の物体撮像画像を比較し、背景差分処理により、物体ごとに物体領域を定義（特定）することで、物体の存在を認識する。
なお、物体認識部２３３は、背景差分処理以外の方法を用い、所定エリアＡに物体が置かれる前の背景画像と、物体が置かれた後の物体撮像画像を比較せず、物体撮像画像のみから物体領域を定義することで、物体の存在を認識するようにしてもよい。
物体数量認識部２３４は、物体認識数量と精算数量とを比較することで、所定エリアＡに置かれた物体の数量を認識する。物体認識数量は、レジ端末２の複数台のレジカメラ２１１によって撮像された物体撮像画像から、物体認識部２３３が認識した物体の数量である。
精算数量は、精算対象の商品の数量である。
物体認識数量は、図１０に示すように、レジカメラ２１１によって異なることがある。即ち、図１０（ａ）では、６個の物体が撮像されているが、図１０（ｂ）（ｃ）では、２個の物体が撮像されている。
このような場合、物体数量認識部２３４は、図１１に示すような論理和を取ることで、物体の数量を認識する。
図１１は、レジ端末２に置かれた物体の個数を算出するための真理値表の一例を示す図である。
図１１は、図１０で示した物体Ｘ、Ｙ、Ｚ、Ｚ’についてレジ端末２（図５）に備えられた第１乃至第５のレジカメラ２１１が撮像し、撮像できた場合は「１」、撮像できなかった場合は「０」で表している。なお、物体Ｚと物体Ｚ’は、同じ物体であるものの、撮像したレジカメラ２１１が異なることから、異なる状態に撮像されていることを表すものである。
図１１において、第１のレジカメラ２１１は「レジ台カメラ１」と表され、同様に、第２乃至第５のレジカメラ２１１は「レジ台カメラ２」乃至「レジ台カメラ５」と表されている。
図１１の例では、物体Ｘは第１、第４及び第５のレジカメラ２１１に撮像されている。物体Ｙは第２、第４及び第５のレジカメラ２１１に撮像されている。物体Ｚは第２、第３及び第５のレジカメラ２１１に撮像されている。物体Ｚ’は第１及び第３のレジカメラ２１１に撮像されている。
図１１の例では、第１乃至第５の全てのレジカメラ２１１に撮像された商品は存在しない。また、物体Ｚと物体Ｚ’は、同じ商品であるにもかかわらず、撮像したレジカメラ２１１が異なることから別の物体のように撮像されている。これは、撮像するレジカメラ２１１のアングルが異なるからであると考えられる。
このことを踏まえ、物体数量認識部２３４は、論理和を用いた手法によって商品の数量を認定する。即ち、物体が重なって所定エリアＡに置かれたり、ある物体が他の物体の影になるように所定エリアＡに置かれても、いずれかのレジカメラ２１１が撮像した物体については、論理和を用いることで所定エリアＡに置かれたと認識される。
このようにして複数の物体撮像画像から真理値表を用いて認識された物体認識数量と、精算数量とが同一でない場合、物体数量認識部２３４は、数量が異なるという情報を表示制御部２３８に出力する。
図９に戻り、商品特定部２３５は、物体認識部２３３によって存在が認識された物体について、ＤＢ情報保持部２４１に保持されている商品情報とマッチングさせる。即ち、商品特定部２３５は、まず、特定物体認識、一般物体認識、ディープラーニング等の画像認識手法により、商品候補をリストアップする。このリストアップされた商品候補を「商品候補リストＳ」と呼ぶ。その後、商品特定部２３５は、検証機能を発揮させ、商品を高い精度で特定する。
検証機能は前述の商品候補をリストアップする手法と異なるアルゴリズムによって「商品候補リストＰ」をリストアップする機能である。商品候補リストＳとＰの結果をマッチングさせて、所定の閾値を超える場合、商品を特定する。
「商品候補リスト」のリストアップ手法として、例えば、存在が認識された物体から得られる物体の画像情報と、ＤＢ情報保持部２４１やメモリ上に保持されている画像情報とマッチングさせる方法により実現されてもよい。即ち、両画像の特徴情報が一致する（閾値を超える）と、物体認識部２３３によって存在が認識された物体が、ＤＢ情報保持部２４１に登録されている商品であるため、商品特定部２３５は、そのＤＢ情報保持部２４１に登録された商品であると特定する。
ここで、商品特定部２３５が画像処理手法によって商品を特定できなかったときに、その結果を商品不特定として出力する具体例について説明する。まず、商品特定部２３５は、ＤＢ情報保持部２４１に保存されている商品画像と所定エリアＡで撮像された物体撮像画像とを比較し、両画像が類似する特徴点（類似特徴点）及び特徴量を算出する。次に、商品特定部２３５は、商品候補リストに含む商品の画像の特徴点及び特徴量をサーバ１の商品ＤＢ１３１から読み取る。次に、商品特定部２３５は、読み取られた商品候補リストに含む商品の特徴点ごとの特徴量と、認識された物体の特徴点ごとの特徴量とを比較し、ＤＢ情報保持部２４１に保存されている商品画像と所定エリアＡで撮像された物体撮像画像との類似特徴点をマッチングする。
次に、商品特定部２３５は、類似特徴点の各組の対応点座標を用いて位置関係を比較し、回転、並進による変化において正しく対応していない（位置関係が合っていない）類似特徴点の組を除去し、残った類似特徴点の数を算出する。商品特定部２３５は、類似特徴点の数が閾値未満の場合に商品不特定とする。
このような商品不特定とする方法にあっては、パッケージ商品でない弁当のような商品を不特定商品とすることがある。弁当は、おかずの位置が若干異なることがあり、このような場合に不特定商品とされるおそれがある。このような場合は、商品特定部２３５は、商品に貼付されているラベルに記載されたバーコード等を含む多次元コード等各種コードや商品名等の文字を検出し、ＤＢ情報保持部２４１やサーバ１の商品ＤＢ１３１に記憶されている商品情報をもとに商品名や商品コード等を読み取り、商品を特定してもよい。
さらに、商品特定部２３５は、類似商品や関連商品（以下「グループ商品」と呼ぶ）についてＤＢ情報保持部２４１やサーバ１の商品ＤＢ１３１に記憶されている商品情報を用いて検証する。商品特定部２３５では、例えば、サイズや色等が違うシリーズもののグループ商品について商品の大きさや色等の特徴を用いて閾値を比較する。商品特定部２３５は、その閾値が所定の閾値未満の場合に商品不特定とする。
本実施形態においては、特定の物体について目検用端末Ｑによる目検が行われるモード（以下、「特定物体目検モード」と呼ぶ。）と、全ての物体について目検用端末Ｑによる目検が行われるモード（以下、「全物体目検モード」と呼ぶ。）とが設定可能となっている（以下の各実施形態においても同様とする）。
特定物体目検モードに設定されている場合、商品特定部２３５は、商品不特定とされた物体の物体撮像画像及び関連する情報等を、目検結果取得部２３９を介して目検用端末Ｑに送信する。一方、全物体目検モードに設定されている場合、商品特定部２３５は、商品の特定結果及び特定された商品の商品撮像画像と、商品不特定とされた物体の物体撮像画像及び関連する情報等とを目検結果取得部２３９を介して目検用端末Ｑに送信する。
そして、商品特定部２３５は、目検結果取得部２３９が目検用端末Ｑから取得した目検結果に基づいて、商品の特定を行う。具体的には、商品特定部２３５によって特定された商品については、目検結果により特定結果が承認または修正された場合、商品特定部２３５は、目検結果が示す内容に従って、商品の特定を行う。また、商品特定部２３５によって商品不特定とされた物体については、商品特定部２３５は、その物体を目検結果が示す商品として特定する。
売買制限商品判定部２３６は、判定情報に基づいて、商品特定部２３５によって特定された商品が、売買制限商品に該当するか否かを判定する。
なお、売買制限商品としては、（Ａ）タバコ、酒類等のような一定の年齢に達しないと購入できない商品、（Ｂ）消費期限切れ・賞味期限切れの商品、（Ｃ）アレルギー成分を含むため、体質によって、摂取すべきでない商品、（Ｄ）ハラル食品以外の商品等、宗教による制限のある商品、が該当する。
本実施形態において、売買制限商品判定部２３６は、売買制限商品に該当する商品の商品撮像画像を、目検結果取得部２３９を介して目検用端末Ｑに送信する。このとき、売買制限商品判定部２３６は、売買制限商品の種別（上記の（Ａ）〜（Ｄ）等）に応じて、買い物客に関する画像（顔画像、身分証明書の画像等）を、目検結果取得部２３９を介して目検用端末Ｑに適宜送信する。この際、買い物客に関する画像が不鮮明なときは、レジ端末２において画面表示や音声案内等で購入者に知らせて、画像の撮り直しを依頼する構成としてもよい。さらに、レジ端末２に備え付けられたマイクロフォンＭとスピーカーＳを介して、購入者と目検者等が通話する構成としてもよい。
そして、売買制限商品判定部２３６は、目検結果取得部２３９が目検用端末Ｑから取得した目検結果に基づいて、売買制限商品の販売が許可されるか否か（売買制限が解除されたか否か）を判定する。
精算部２３７は、商品特定部２３５で特定された全ての商品について合計金額を算出する。その際、売買制限商品判定部２３６により、売買制限商品があるとされた場合には、それら売買制限商品の全てに対し制限が解除されている必要がある。そこで、精算部２３７は、所定エリアＡに置かれた商品の価格をＤＢ情報保持部２４１から読み出し、表示部Ｄ（図８）に表示させる。
表示制御部２３８は、物体数量認識部２３４によって物体認識数量と精算数量とが一致しなかった場合に、商品の数量を確認するよう買い物客や店員に向けて出力部２０６によって警告するように制御する。表示制御部２３８は、商品特定部２３５によって商品が特定されなかった場合、あるいは、目検用端末Ｑにおける目検によって商品が特定されなかった場合に、買い物客や店員に向けて注意喚起（物体の置き直しの指示等）を出力するように出力部２０６を制御する。具体的には、画面表示や音声案内等で購入者に知らせて、購入者へ商品の置き直しを依頼する構成としてもよい。さらに、レジ端末２に備え付けられたマイクロフォンＭとスピーカーＳを介して、購入者と目検者等が通話する構成としてもよい。表示制御部２３８は、売買制限商品判定部２３６によって物体が売買制限商品であると認定された場合に、売買制限商品である旨を買い物客や店員に向けて警告するように出力部２０６を制御する。さらに、精算部２３７で合計金額が算出された場合に、その商品の商品名や価格等を買い物客及び店員に向けて表示させるように出力部２０６を制御する。
目検結果取得部２３９は、物体撮像画像、または、商品の特定結果及び特定された商品の商品撮像画像を目検用端末Ｑに送信することにより、目検による商品の特定を依頼し、この依頼に応じて目検用端末Ｑから送信された目検結果を取得する。目検結果取得部２３９は、取得した目検結果（商品の特定結果）を商品特定部２３５に出力する。また、目検結果取得部２３９は、売買制限商品に該当する商品の商品撮像画像を目検用端末Ｑに送信することにより、目検による売買制限商品の判定を依頼し、目検用端末Ｑから送信された目検結果を取得する。このとき、目検結果取得部２３９は、売買制限商品の種別に応じて、買い物客に関する画像（顔画像、身分証明書の画像等）を、適宜、目検用端末Ｑに送信する。目検結果取得部２３９は、取得した目検結果（売買制限商品の判定結果）を売買制限商品判定部２３６に出力する。
売買制限商品判定部２３６において物体が売買制限商品であると認定され、目検結果によっても売買制限が解除されなかった商品について、その旨の警告が提示部２１０や出力部２０６から提示される。この提示に気づいた店員は売買制限商品を販売しないように、売買制限商品を回収する等の対応を行う。
本商品認識システムにおいて、目検用端末Ｑとは別に、売買制限商品に対する売買制限の解除を指示するための遠隔操作部を備えることとしてもよい。遠隔操作部は、レジ端末２から離れた店員が所持したり、店舗のバックヤードに備えたりすることができる。遠隔操作部は、１台で複数台のレジ端末２を遠隔操作することも可能である。
目検用端末Ｑにおいて、画像表示制御部４１１は、レジ端末２から目検の依頼が行われた場合に、レジ端末２から送信された物体撮像画像あるいは商品撮像画像等の画像及びこれらの画像に付随して送信された各種情報（商品候補リスト等）を出力部１０６に出力する。
目検結果送信部４１２は、出力部１０６に出力された物体撮像画像あるいは商品撮像画像について、目検者が入力部１０７を介して入力した目検結果（商品の特定結果あるいは売買制限商品の判定結果等）を、目検を依頼したレジ端末２に送信する。
本明細書の情報処理システムとして適用される商品認識システムは、店舗１０で販売される商品について、商品の外観を撮像し商品の価格等の商品情報と共に登録しておくための商品登録システムを備える。商品登録は、店舗１０内で行われてもよく、また、商品のメーカーや卸売業者等の店舗外において行われてもよく、場所は限られない。
この商品登録システムは、図示しない登録画像生成部と、商品マスタ登録部と、撮像画像取得部と、認識部と、を備える。
登録画像生成部は、レジ端末２の所定エリアＡに置かれ得る商品の画像を、商品登録画像として生成する。
商品マスタ登録部は、登録画像生成部により生成された商品登録画像と、当該商品登録画像に被写体として含まれる商品に対して一意に付与された商品識別子とを関連付けて登録する。
撮像画像取得部は、レジ端末２の所定エリアＡに置かれた物体の撮像画像を、物体撮像画像として取得する。この物体撮像画像と商品登録画像とに基づいて、商品特定部２３５は、存在を認識した物体がいずれの商品かを特定する。
物体認識部２３３は、取得された物体撮像画像に基づいて、所定エリアＡに置かれた物体の存在を認識する。
この商品認識システムは、存在が認識された物体の物体撮像画像とＤＢ情報保持部２４１またはサーバ１の記憶部１０８に保持されている商品の画像を上述したようにマッチングさせることで、商品特定部２３５によっていずれの商品であるかが特定される。
このような商品認識システムを設置した店舗１０では、商品登録画像を生成し、この商品登録画像に含まれる商品に商品識別子を付与することで、商品に一意に付与された商品識別子によるマスタ登録が可能になる。さらに、この商品登録システムを備えた商品認識システムは、バーコードシールを貼付できない商品の商品管理をすることができる。
ここで、実施形態１の商品認識システムにおける商品の精算方法について、図１２を参照して説明する。
図１２は、図９のサーバ１、レジ端末２及び目検用端末Ｑが実行する商品の精算処理を説明するフローチャートである。
この商品の自動精算処理に先立って、レジ端末２の所定エリアＡに物体が置かれていない状態で予め撮像された所定エリアＡの画像が画像取得部２３２に保存されている。
この予め撮像された所定エリアＡの画像は、所定のタイミングで更新され、買い物客がレジ端末２を使用するたびに更新されず、買い物客が変わっても共用されてもよい。
そして、買い物客がレジ端末の操作ボタンを押すことで、自動精算処理が開始される。
ステップＳ１０１において、レジ端末２のレジカメラ２１１は、レジ端末２の所定エリアＡ上に物体が置かれた後の画像を撮像する。その画像は、例えば、図１０に示すような物体撮像画像として画像取得部２３２に入力される。
この物体撮像画像は、レジ端末２内が照明部２２１によって照明されることで、物体の影が生じないまたは減少するようにされている。
物体撮像画像は、表示制御部２３８に入力され、出力部２０６から出力されてもよい。
また、レジ端末２の外部カメラ２１２が買い物客を撮像することで、個人認証部２３１が買い物客を個人認証する。
ステップＳ１０２において、レジ端末２の物体認識部２３３は、上述した所定の画像認識手法を用いて、画像取得部２３２によって取得された物体撮像画像から、所定エリアＡに置かれた物体の存在を認識する。即ち、物体認識部２３３は、レジ端末２の所定エリアＡに物体が置かれる前の背景画像と、物体が置かれた後の物体撮像画像を比較し、背景差分処理により、物体ごとに物体領域を定義（特定）することで、物体の存在を認識する。
ステップＳ１０３において、レジ端末２の商品特定部２３５は、レジ端末２の所定エリアＡに置かれている物体の中にいずれの商品であるか特定できない物体があるかどうか判定する。
ステップＳ１０４において、レジ端末２の商品特定部２３５は、特定物体目検モードまたは全物体目検モードのいずれに設定されているか判定する。
特定物体目検モードに設定されている場合、処理はステップＳ１０６に進む。
また、全物体目検モードに設定されている場合、処理はステップＳ１０５に進む。
ステップＳ１０５において、レジ端末２の目検結果取得部２３９は、対象となる物体または商品について、目検用端末Ｑにおける目検（商品の特定）を依頼し、その目検結果を取得する。
ステップＳ１０５の後、処理はステップＳ１０７に進む。
なお、ステップＳ１０５において、目検用端末Ｑにおける目検によっても商品が特定されない物体が存在する場合、レジ端末２の提示部２１０によってエラー状態が色や音等によって知らされる。
商品不特定によるエラー状態となった場合、物体を置き直し、レジ端末２において、所定の操作をすることで、ステップＳ１０１に戻り、再度、物体を撮像し直すこととしてもよい。置き直しは、エラー状態を発見した店員が行ってもよく、買い物客自身で行ってもよい。レジ端末２に備え付けられたマイクロフォンＭとスピーカーＳを介して、購入者と目検者等が通話する構成としてもよい。
なお、エラー状態となるのは、レジ端末２のシステム処理が異常となった場合、物体の特徴部分を撮像できなかったり、物体が重なりあったり、影になったりした場合、売買制限商品がレジ端末２に置かれた場合、レジ端末２に商品や私物が置き忘れられた場合等である。物体が重なりあったり、影になったりした場合は、物体を置き直すことで、物体がいずれの商品であるか撮像し、商品を特定できるようになる。
商品特定部２３５がいずれの商品であるか特定できない物体がある場合（ステップＳ１０５においてＹＥＳ）は、処理はステップＳ１０５に進む。
ステップＳ１０６において商品特定部２３５がいずれの商品であるか特定できない物体がない場合（ステップＳ１０３においてＮＯ）は、商品特定部２３５は、ＤＢ情報保持部２４１またはサーバ１の記憶部に保持された商品名や価格、売買制限商品である等の情報を含めて商品を特定する。これにより、処理はステップＳ１０７に進む。特定された商品情報は、表示制御部２３８に出力されてもよい。
ステップＳ１０７において、売買制限商品判定部２３６は、売買制限商品の処理を実行する。売買制限商品の処理とは、特定された商品が売買制限商品であるかどうかを判定する処理である。具体的には、売買制限商品判定部２３６は、例えば、特定された商品が年齢制限商品かどうか、ハラル非該当商品またはアレルギー成分を含む商品かどうか、消費期限切れ・賞味期限切れ商品かどうか等を判定する。売買制限商品の処理の詳細については、図１３を参照して後述する。
なお、ステップＳ１０５まで（ステップＳ１０１以前を含む）の任意のタイミングで個人認証が事前に取得されることで、売買制限商品判定部２３６は、買い物客ごとに売買制限商品の処理を実行することができる。
ステップＳ１０８において、精算部２３７は、所定エリアＡに置かれている商品を精算する。
具体的には、精算部２３７は、ステップＳ１０３において特定された商品の価格を個々に取得し、合計することにより、所定エリアＡに置かれている全ての商品を精算する。
精算された商品の商品名や価格等の商品情報は、表示制御部２３８から出力部２０６に出力され、出力部２０６の表示部Ｄに表示され、レシート出力部Ｒからレシートに印刷されて出力される。
また、このレジ端末２は、通信部２１３を介してサーバ１に接続されていることから、ＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅ）として活用することができる。即ち、レジ端末２によって、精算された商品の購買情報及び年齢性別推定情報がＰＯＳシステムに連携される。
なお、ステップＳ１０８において、レジ端末２の提示部２１０は、物体数量認識部２３４が特定した物体の数量と、商品特定部２３５が特定した商品の数量と精算数量とが異なる場合に、その旨を提示してもよい。レジ端末２は、キャンセル機能を備えることで、精算処理を中止することができる。
次に、ステップＳ１０７における売買制限商品の処理について図１３を参照して詳しく説明する。
図１３は、図９のサーバ１、レジ端末２及び目検用端末Ｑが実行する売買制限商品の処理を説明するフローチャートである。売買制限商品の売買制限の解除は、判定の結果を受けて店員がその場で対応する、もしくはシステムとして目検の結果を採用する、いずれかの方法で行う。図１３ではシステムとして目検の結果を採用する場合について説明する。
ステップＳ１１１において、売買制限商品判定部２３６は、商品特定部２３５によって特定された商品がアルコール飲料等の年齢確認が必要とされる商品であるかどうかを判定する。
ステップＳ１１１において、商品特定部２３５によって特定された商品が年齢確認必要とされる商品であると判定された場合は、即ちＹＥＳと判定された場合、処理はステップＳ１１２に進む。
ステップＳ１１２において、レジ端末２は、外部カメラ２１２により、購入者の顔や年齢確認用書類を撮像した画像を取得する。ただし、買い物客の個人情報が取得され、ここで年齢確認する必要がない場合は、ステップＳ１１２はスキップされ、処理はステップＳ１１６に進む。
ステップＳ１１３において、レジ端末２の売買制限商品判定部２３６は、取得した画像を、目検結果取得部２３９を介して目検用端末Ｑに送信し、目検を依頼する。この画像を受信した目検者は、画像を元に購入者の年齢を確認する。
この際、購入者の顔や年齢確認用書類を撮像した画像が不鮮明なとき等、購入者の年齢認証に問題があるときは、レジ端末２において画面表示や音声案内等で購入者に知らせて、購入者に画像の撮り直しを依頼する構成としてもよい。さらに、レジ端末２に備え付けられたマイクロフォンＭとスピーカーＳを介して、購入者と目検者等が通話する構成としてもよい。
ステップＳ１１４において、売買制限商品判定部２３６は、目検結果取得部２３９を介して、目検用端末Ｑから、売買制限を解除する指示を受け付けたか否かを判定する。
ステップＳ１１４において売買制限を解除する指示を受け付けていないと判定された場合は、処理はステップＳ１１５に進む。
ステップＳ１１４において売買制限を解除する解除指示を受け付けたと判定されると、即ちＹＥＳと判定されると、処理はステップＳ１１６に進む。
ステップＳ１１５において、目検用端末Ｑの目検結果送信部４１２は、目検結果によっても売買制限が解除されなかった旨の警告を送信する。この警告を受信することにより、例えば、レジ端末２の表示制御部２３８は、目検結果によっても売買制限が解除されなかった旨の警告を、出力部２０６を介して提示する。ステップＳ１１５の後、売買制限処理は、終了する。
ステップＳ１１６において、売買制限商品判定部２３６は、売買制限を解除する。
このようにしてステップＳ１１６が終了されるか、またはステップＳ１１１において年齢制限商品でないと判定された場合（ＮＯであると判定された場合）、処理はステップＳ１１７に進む。
ステップＳ１１７において、売買制限商品判定部２３６は、商品特定部２３５によって特定された商品がハラル（許されている）食品以外の商品であるか否か、またはアレルギー商品であるか否かの判定をする。
売買制限商品判定部２３６が、ハラル商品以外の商品（許されていない商品）である、またはアレルギー商品であると判定した場合は、ステップＳ１１８に進む。
ステップＳ１１８において、表示制御部２３８がレジの表示部Ｄに、ハラル商品以外の商品である旨、またはアレルギー商品である旨を表示させる。ただし、買い物客の個人情報が取得され、ここでハラル非該当商品であるかアレルギー商品であるかを判定する必要がない場合は、ステップＳ１１８はスキップされ、処理はステップＳ１２１に進む。
ステップＳ１１９において、売買制限商品判定部２３６は、売買制限を解除する指示を受けたかどうか判定する。
売買制限を解除する指示を受けていないと判定された場合（ＮＯと判定された場合）は、処理はステップＳ１１５に進む。
売買制限を解除する指示を受けたと判定された場合（ＹＥＳと判定された場合）は、ステップＳ１２０に進む。
ステップＳ１２０において、売買制限商品判定部２３６は、売買制限を解除する。
このようにしてステップＳ１２０が終了されるか、またはステップＳ１１７においてハラル商品以外の商品でない、またはアレルギー商品でない場合（ＮＯであると判定された場合）、処理はステップＳ１２１に進む。
ステップＳ１２１において、売買制限商品判定部２３６は、商品特定部２３５によって特定された商品が消費期限切れの商品であるかどうかを判定する。
売買制限商品判定部２３６が消費期限切れの商品を含んでいると判定した場合は、ステップＳ１２１においてＹＥＳと判定され、処理はステップＳ１２２に進む。
ステップＳ１２２において、表示制御部２３８は、レジ端末２の表示部Ｄに消費期限切れの商品を含んでいる可能性がある旨の表示をさせる。
ステップＳ１２３において、売買制限を解除する指示を受け付けていないと判定された場合は、ＮＯと判定され、処理はステップＳ１１５に進む。
ステップＳ１２３において、売買制限を解除する指示を受け付けたと判定されると、ＹＥＳと判定され、ステップＳ１２４に進む。
ステップ１２４において、売買制限商品判定部２３６は、売買制限を解除する。
売買制限商品判定部２３６が消費期限切れの商品を含んでいないと判定した場合は、ステップＳ１２１においてＮＯと判定され、処理は終了する。
これにより、売買制限処理は、終了する。そして、処理は、ステップＳ１０６のレジ端末での精算に進む。
このようにして、本情報処理システムは、レジ端末に置かれた商品を認識し、自動精算することができる。また、このとき、目検の対象とされる物体や商品（例えば、レジ端末２において商品の特定が行えない物体や、売買制限商品に該当する商品等）については、目検用端末Ｑにおける目検が行われ、目検結果（商品の特定結果や売買制限商品の判定結果等）に応じて、自動精算が行われる。
したがって、本情報処理システムによれば、買い物客が商品を購入する際に、商品の代金の精算の自動化が可能になると共に、商品の特定精度を高めることができる。
実施形態１は、上述の実施形態に限定されるものでなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、図５に示されたレジ端末２の外観構成は、例示であり、この外観に限定されない。レジ端末２は、少なくとも所定エリアＡ、レジカメラ２１１のような撮像部、出力部２０６が含まれていればよく、他の構成要素を追加してもよい。
また、実施形態１の商品認識システムは、１以上の物体を上流側から下流側へ搬送する搬送機構（例えばベルトコンベア）を設けてもよい。上流側には、撮像部を有する所定エリアが配置される。下流側には、精算エリアが配置される。
所定エリアでは、撮像部によって撮像された物体の数量が計数される。この商品認識システムは、計数された物体の数量と精算エリアで精算された商品の数量が異なる場合に、エラーとして検知する。
〔実施形態２〕
実施形態２の情報処理システムは、図１４に示すような書店等の店舗２０において、図５及び図１５に示すようなレジ端末２を含む商品認識システムである。実施形態２の情報処理システムは、商品である書籍がレジ台に置かれることで、自動精算することができるようにしてある。
図１４は、実施形態２の情報処理システムを採用する書店のレイアウト例を示す図である。
書店のような店舗２０は、ゲート２１を有する出入口２２を設置している。出入口２２は、店舗２０の規模によって、図示したような２か所に限らず、１か所でも３か所以上であってもよい。ゲート２１は、図示したような開閉部材を備えるタイプだけでなく、図示しないがスピーカーやランプのように音や光で異常事態の発生を知らせる機能を備えるタイプ等、不正行為があった場合に対処できるようにされている。
そして、店舗２０は、書籍を陳列する複数の棚ラック２３を設置している。棚ラック２３は、鉛直方向に複数の棚を、間隔をあけて並べ、書籍を陳列する。水平方向に向き合った棚ラック２３と棚ラック２３との間が通路２４とされる。
通路２４の天井には、複数（図面では１台のみ描かれている）の天井カメラ３１０が設置されている。天井カメラ３１０は、店内の状態を死角なく、入店した買い物客を常時撮像する。
また、各棚ラック２３には、各棚ラック２３内を常時撮像する複数（図面では１台のみ描かれている）の棚カメラ３１１が設置されてもよい。棚カメラ３１１は、棚内の状態を死角なく撮像し、棚ラック４３の前に立つ買い物客も撮像できるように複数台配置されている。
また、店舗２０内の出入口２２付近には、レジカウンター２５が設置されている。レジカウンター２５上には、自動精算するための無人のレジ端末２が複数設置されている。このレジ端末２の隣には、有人のレジスター２６が設置されている。なお、出入口２２付近や通路２４には、書籍を入れるための買い物カゴ（図示せず）が置かれることもある。
通路２４やレジカウンター２５内等において、店員Ｍｔが作業している。店員Ｍｔは、情報端末９を所持している。なお、情報端末９は、店舗２０のバックヤードや店舗２０外の統括本部等にも設置される。
本情報処理システムは、買い物客が棚ラック２３の棚内から１冊以上の書籍を取り出したり戻したりした行為を天井カメラ３１０が撮像し、買い物客に取られた書籍の冊数を把握したうえで、図１５に示すように無人のレジ端末２に置かれた書籍の価格等の情報を取得して自動精算する。
実施形態２では、買い物客を「移動物体Ｍｏ」として説明する。
図１５は、実施形態２で採用するレジ端末２の概観構成を示す概略斜視図であって、書籍（採番せず）を精算している状態を示している。
実施形態２の無人のレジ端末２は、図５に示した実施形態１のレジ端末２と外観構成を同様にしたものを採用する。
したがって、レジ端末２は、書籍が載置される所定エリアＡを囲む囲繞部２７０を備えている。囲繞部２７０は、天板部２７１と、底板部２７２と、一対の側板部２７３と、を備えている。この囲繞部２７０は、図５に示す実施形態１の囲繞部２７０と同様に構成されている。
したがって、天板部２７１と一対の側板部２７３には、所定エリアＡを撮像するレジカメラ２１１が固定されている。少なくとも１台のレジカメラ２１１は、図１５に示すように、所定エリアＡに置かれた書籍の少なくとも背表紙を撮像する。なお、図１５において、書籍は、片方の側板部２７３に寄せて、背表紙が他方の側板部２７３に向くように置かれているが、天板部２７１に設置されるレジカメラ２１１に背表紙が向けられてもよく、書籍の置き方は制限されない。
このようなレジ端末２は、情報処理システムの一実施形態としての商品認識システムに組み込まれる。
図１６は、本発明の情報処理システムの実施形態２としての商品認識システムの構成を示す構成図である。
商品認識システムは、サーバ１と、レジ端末２−１乃至２−ｎと、売場装置３と、目検用端末Ｑと、を有している。売場装置３は、天井カメラ３１０によって撮像された書籍の撮像画像から書籍の冊数を認識する機能を備えている。
なお、サーバ１は、レジ端末２−１乃至２−ｎ、売場装置３及び目検用端末Ｑを管理するため、店舗２０のバックヤードまたは店舗外に設置される。また、売場装置３は、図１４に示す店舗２０内での移動物体Ｍｏを発見し、追跡するため、店舗２０内に設置された天井カメラ３１０を制御する。
サーバ１と、レジ端末２−１乃至２−ｎと、売場装置３と、目検用端末Ｑとは、インターネット（Ｉｎｔｅｒｎｅｔ）回線等のネットワークＮを介して相互に接続されている。目検用端末Ｑは、レジ端末２から離れた店員が所持したり、店舗のバックヤードに備えたり、店舗から遠隔地にあるコールセンターに備えたりすることができる。
なお、説明の便宜上、図１６のサーバ１は、１台しか描画されていないが、実際には複数台の場合もある。
また、以下、レジ端末２−１乃至２−ｎを個々に区別する必要がない場合、これらをまとめて「レジ端末２」と呼ぶ。
サーバ１は、レジ端末２及び売場装置３の各動作を管理すべく、各処理を実行する。
サーバ１は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、バス１０４と、入出力インターフェース１０５と、出力部１０６と、入力部１０７と、記憶部１０８と、通信部１０９と、ドライブ１１０と、を備えている。これらは、図７に示した実施形態１で説明したサーバ１と同様に構成されている。
このようなサーバ１にネットワークＮを介して売場装置３が接続されている。
図１７は、図１６の商品認識システムのうち売場装置３のハードウェア構成を示すブロック図である。
売場装置３は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、バス３０４と、入出力インターフェース３０５と、天井カメラ３１０と、棚カメラ３１１と、通信部３１５と、情報端末９と、を備えている。
売場装置のＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、バス３０４、入出力インターフェース３０５、通信部３１５は、図７に示したサーバ１のこれらと同様に構成されている。
天井カメラ３１０は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルによってネットワークと接続されている。
棚カメラ３１１は、魚眼カメラ等の広角を撮像できるカメラを採用してもよい。
また、棚カメラ３１１は、ＵＳＢケーブルによってネットワークと接続されている。
情報端末９は、遠隔操作部３９０や表示部３９１等を備えているスマートフォンやタブレット等の情報機器である。遠隔操作部３９０は、システム処理異常のようなエラー状態等を遠隔操作で解消する機能を備えている。表示部は、エラー状態や移動物体Ｍｏ等を表示する画面を備えている。また、情報端末９は、エラー状態を通知する音声発生部（図示せず）を備えている。
店舗内におけるエラー状態としては、例えば、天井カメラ３１０が棚内から取られた書籍の冊数を認識できなかった場合や精算されていない書籍が店舗外に持ち出されようとした場合等がある。また、レジ端末におけるエラー状態としては、レジ端末２において、書籍を特定できなかったり、冊数を認識できなかった場合、年齢制限商品が精算されようとした場合、レジ端末２内に書籍が置き忘れられている場合等である。
また、サーバ１は、このようなエラーを表示するエラー表示部１５１と、エラー状態を解除するエラー解除部１５２とを設けている。
なお、本実施形態において、レジ端末２において、書籍を特定できなかったり、冊数を認識できなかった場合、年齢制限商品が精算されようとした場合には、目検用端末Ｑによる目検を依頼することにより、エラー状態を解消することも可能となっている。
このような売場装置３にネットワークＮを介してレジ端末２が接続されている。
レジ端末２は、図８に示す実施形態１のレジ端末と同様に構成されている。
したがって、実施形態２のレジ端末２は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、バス２０４と、入出力インターフェース２０５と、出力部２０６と、入力部２０７と、照明部２２１と、遮光部２０９と、提示部２１０と、レジカメラ２１１と、記憶部２０８と、通信部２１３と、ドライブ２１４と、を備えている。
レジカメラ２１１は、所定エリアＡに置かれた書籍を撮像し、その結果として得られる撮像画像を物体撮像画像としてＣＰＵ２０１内の画像取得部２３２に出力する。レジカメラ２１１が魚眼カメラのように広角で撮像できる場合や、書籍の背表紙のみ撮像することに特化した場合は、レジカメラ２１１は１台のみ備えてもよい。
なお、目検用端末Ｑのハードウェア構成はサーバ１のハードウェア構成と同様であるため、目検用端末Ｑのハードウェア構成については、図７及びその説明を適宜参照することとし、ここでは説明を省略する。
図１８は、サーバ１、レジ端末２、売場装置３及び目検用端末Ｑの機能的構成の一例を示す機能ブロック図である。
サーバ１のＣＰＵ１０１は、エラー判定部１５０を備えている。
サーバ１の記憶部１０８の一領域には、商品ＤＢ１３１と、位置情報管理ＤＢ１３２とが設けられている。
商品ＤＢ１３１は、書籍に関する書名、価格、著者名、出版社等の情報を記憶するＤＢ（Ｄａｔａ Ｂａｓｅ）である。位置情報管理ＤＢ１３２は、移動物体Ｍｏの位置を管理する。
レジ端末２のＣＰＵ２０１においては、図１８に示すように、発光制御部２２８と、遮光制御部２２９と、提示制御部２３０と、画像取得部２３２と、物体認識部２３３と、商品特定部２３５と、売買制限商品判定部２３６と、精算部２３７と、表示制御部２３８と、目検結果取得部２３９と、が機能する。
目検用端末ＱのＣＰＵ１０１においては、画像表示制御部４１１と、目検結果送信部４１２と、が機能する。
発光制御部２２８は、書籍を撮像するタイミングで照明部２２１を発光させる状態と、書籍を撮像しないタイミングで発光させない状態とに切り替える制御や、所定エリアＡに置かれる書籍を認識する状況等に応じて発光色を切り替える制御を実行する。
遮光制御部２２９は、囲繞部２７０に備えられた遮光部２０９が所定エリアＡに置かれた書籍を撮影するタイミングでの不透明状態と，撮像しないタイミングでの透明状態とに切り替える制御を実行する。
提示制御部２３０は、提示部２１０がレジ端末２の状態を提示する発光色を変化させるように制御を実行する。
画像取得部２３２は、物体が所定エリアＡに置かれてレジカメラ２１１によって撮像された物体画像のデータを取得する。
物体認識部２３３は、上述した所定の画像認識手法を用いて、所定エリアＡに置かれた物体の存在を認識する。
商品特定部２３５は、物体認識部２３３によって存在が認識された物体について、特定物体認識、一般物体認識、文字認識やディープラーニング等の画像処理手法により、商品候補をリストアップする。このリストアップされた商品候補を「商品候補リストＳ」と呼ぶ。その後、商品特定部２３５は、検証機能を発揮させ、商品を高い精度で特定する。なお、以下において説明する「画像認識手法」とは、何らかの画像を用いて何からのものを認識する手法を意味する。例えば特定物体認識、一般物体認識、文字認識、ディープラーニングは、画像認識手法の一例である。
検証機能は前述の商品候補をリストアップする手法と異なるアルゴリズムによって「商品候補リストＰ」をリストアップする。商品候補リストＳとＰの結果をマッチングさせて、所定の閾値を超える場合、商品を特定する。
「商品候補リスト」のリストアップ手法として、例えば、存在が認識された物体から得られる物体の画像情報と、ＤＢ情報保持部２４１やメモリ上に保持されている画像情報とマッチングさせる方法により実現されてもよい。即ち、両画像の特徴情報が一致する（閾値を超える）と、物体認識部２３３によって存在が認識された物体が、ＤＢ情報保持部２４１に登録されている商品であるため、商品特定部２３５は、そのＤＢ情報保持部２４１に登録された商品であると特定する。
なお、本実施形態においても、実施形態１と同様に、レジ端末２において商品を特定できなかったときは、その結果が商品不特定として出力される。
そして、実施形態１と同様に、特定物体目検モードに設定されている場合、商品特定部２３５は、商品不特定とされた物体の物体撮像画像及び関連する情報等を、目検結果取得部２３９を介して目検用端末Ｑに送信する。一方、全物体目検モードに設定されている場合、商品特定部２３５は、商品の特定結果及び特定された商品の商品撮像画像と、商品不特定とされた物体の物体撮像画像及び関連する情報等とを目検結果取得部２３９を介して目検用端末Ｑに送信する。
また、本実施形態においては、レジ端末２に置かれた商品（書籍）の冊数と、売場装置３でカウントされた書籍の冊数とが一致しない場合にも、その結果が商品数（冊数）の不一致として出力される。この場合、商品特定部２３５は、物体撮像画像及び売場装置３でカウントされた書籍の冊数を目検結果取得部２３９を介して目検用端末Ｑに送信する。
さらに、商品特定部２３５は、目検結果取得部２３９が目検用端末Ｑから取得した目検結果に基づいて、商品の特定を行う。具体的には、商品特定部２３５によって特定された商品については、目検結果により特定結果が承認または修正された場合、商品特定部２３５は、目検結果が示す内容に従って、商品の特定を行う。また、商品特定部２３５によって商品不特定とされた物体については、商品特定部２３５は、その物体を目検結果が示す商品として特定する。なお、目検によって冊数が確認（冊数の不一致が解消）されない場合には、エラー表示が行われ、精算が中止される。
売買制限商品判定部２３６は、判定情報に基づいて、商品特定部２３５によって特定された商品が売買制限商品か否かを判定し、提示する。売買制限商品とは、例えば、ある年齢以下の買い物客には、販売が規制されている書籍である。店員が書籍を販売する場合は、買い物客を見た店員が買い物客の年齢を確認し、販売してよいかどうかを判断できる。
しかし、対面販売ではない、自動精算を採用する本システムでは、店員が買い物客の年齢を確認できる仕組みが必要となる。
本実施形態において、売買制限商品を特定したレジ端末２の売買制限商品判定部２３６は、売買制限商品に該当する商品の商品撮像画像を、目検結果取得部２３９を介して目検用端末Ｑに送信する。このとき、売買制限商品判定部２３６は、買い物客に関する画像（顔画像、身分証明書の画像等）を、目検結果取得部２３９を介して目検用端末Ｑに適宜送信する。この際、買い物客に関する画像が不鮮明なときは、レジ端末２において画面表示や音声案内等で購入者に知らせて、画像の撮り直しを依頼する構成としてもよい。さらに、レジ端末２に備え付けられたマイクロフォンＭとスピーカーＳを介して、購入者と目検者等が通話する構成としてもよい。
そして、売買制限商品判定部２３６は、目検結果取得部２３９が目検用端末Ｑから取得した目検結果に基づいて、売買制限商品の販売が許可されるか否か（売買制限が解除されたか否か）を判定する。
目検結果によって売買制限商品の販売が許可された場合には、商品の精算が継続される。一方、目検結果によって売買制限商品の販売が許可されない場合には、売買制限商品である旨を提示し、精算処理を中断する。この場合、エラー表示部１５１により、エラー状態を受け取った店員が買い物客の年齢を確認し、レジ端末２を操作し、制限状態を解除することとしてもよい。それにより、精算処理が再開される。また、レジ端末２は、買い物客の顔や手等を写すレジカメラ２１１を備え、買い物客の年齢を推定することで、所定の年齢に達していないと判断される買い物客には売買制限商品を販売しないようにしてもよい。
そのため、売買制限商品判定部２３６は、サーバ１のＤＢ管理部１４１の情報から年齢制限書籍等の売買制限商品を特定する。
売買制限商品判定部２３６は、個人認証に得られる買い物客の情報と紐づけ、売買制限してもよい。当該書籍が売買制限商品であると判定されると、表示部Ｄが売買制限商品である旨を提示する。
精算部２３７は、商品特定部２３５で特定された書籍であって、売買制限商品判定部２３６で販売可能とされた書籍について合計金額を算出する。例えば、精算部２３７は、所定エリアＡに置かれた書籍の価格をＤＢ情報保持部２４１から読み出して加算し、表示部Ｄ（図８）に表示させ、精算する。
表示制御部２３８は、レジ端末２のレジカメラ２１１で撮像され、精算部２３７で精算される書籍の題名や価格等を購入者及び店員に向けて表示させる制御を実行する。表示制御部２３８は、商品特定部２３５によって商品が特定されなかった場合、あるいは、目検用端末Ｑにおける目検によって商品が特定されなかった場合に、買い物客や店員に向けて注意喚起（物体の置き直しの指示等）を出力するように出力部２０６を制御する。具体的には、画面表示や音声案内等で購入者に知らせて、購入者へ商品の置き直しを依頼する構成としてもよい。さらに、レジ端末２に備え付けられたマイクロフォンＭとスピーカーＳを介して、購入者と目検者等が通話する構成としてもよい。
目検結果取得部２３９は、物体撮像画像、または、商品の特定結果及び特定された商品の商品撮像画像を目検用端末Ｑに送信することにより、目検による商品の特定を依頼し、この依頼に応じて目検用端末Ｑから送信された目検結果を取得する。目検結果取得部２３９は、取得した目検結果（商品の特定結果）を商品特定部２３５に出力する。また、目検結果取得部２３９は、売買制限商品に該当する商品の商品撮像画像を目検用端末Ｑに送信することにより、目検による売買制限商品の判定を依頼し、目検用端末Ｑから送信された目検結果を取得する。このとき、目検結果取得部２３９は、買い物客に関する画像（顔画像、身分証明書の画像等）を、適宜、目検用端末Ｑに送信する。目検結果取得部２３９は、取得した目検結果（売買制限商品の判定結果）を売買制限商品判定部２３６に出力する。
目検用端末Ｑにおいて、画像表示制御部４１１は、レジ端末２から目検の依頼が行われた場合に、レジ端末２から送信された物体撮像画像あるいは商品撮像画像等の画像及びこれらの画像に付随して送信された各種情報（商品候補リスト等）を出力部１０６に出力する。
目検結果送信部４１２は、出力部１０６に出力された物体撮像画像あるいは商品撮像画像について、目検者が入力部１０７を介して入力した目検結果（商品の特定結果あるいは売買制限商品の判定結果等）を、目検を依頼したレジ端末２に送信する。
売場装置３のＣＰＵ３０１においては、図１８に示すように、個人認証部３２０と、移動物体追跡部３３０と、位置情報管理部３４０と、冊数カウント部３５０と、が機能する。
個人認証部３２０は、個人情報取得部３２１を備えている。
個人認証部３２０は、個人情報取得部３２１によって取得された買い物客の個人情報から、サーバ１のＤＢ管理部１４１において登録されている買い物客が誰であるかを個人認証する。なお、個人認証部３２０と個人情報取得部３２１は、実施形態１と同様にレジ端末２に備えてもよい。
ここでの個人情報は、例えば、氏名や性別、生年月日、住所、電話番号といった個人を特定できる情報だけでなく、指紋や静脈、虹彩等の生体情報、クレジットカード番号や銀行口座番号といった金融に関する情報等のプライバシーに関する情報も含まれる。
個人情報取得部３２１は、例えば出入口２２に設置されたゲート２１に備えられる。この個人情報取得部３２１は、買い物客のＩＣカードやスマートフォン、タブレット等の携帯情報端末をタッチする読取装置や、指紋や静脈、虹彩等の生体情報を読み取る読取装置等が採用される。
入店時に個人認証できなかった場合は、買い物中において天井カメラ３１０が撮像した買い物客の画像から個人認証してもよい。
取得された個人情報は、売買制限（解除含む）や購買分析に活用される。
図１９は、図１８の売場装置３に備えられた移動物体追跡部３３０の詳細な機能的構成例を示している機能ブロック図である。
移動物体追跡部３３０は、図１９に示すように、天井カメラ３１０によって撮像された画像から移動物体Ｍｏを発見し、移動する移動物体Ｍｏを追跡するため、天井カメラによる移動物体発見部３３０２と、天井カメラによる移動物体領域定義部３３０４と、天井カメラによる移動物体領域追跡部３３０５とを備える。
また、天井カメラによる移動物体追跡部３３０は、ＵＳＢケーブルやネットワークＮ等を通じて天井カメラ３１０と接続されている。したがって、天井カメラ３１０は、他の天井カメラ３１０やパーソナルコンピュータ等と連携される。
天井カメラによる移動物体発見部３３０２は、移動物体Ｍｏの状態を、天井カメラ３１０によって撮像された撮像画像に基づいて状態空間モデル（ベイジアンフィルタ等）を用いて推定し、移動物体Ｍｏを発見し、一意に識別可能なＩＤを採番する。
ところで、天井カメラ３１０からの映像では、天井カメラ３１０に正対していない移動物体Ｍｏの周辺領域が角度をもって（斜め方向から）撮像されるため、移動物体Ｍｏの位置情報を正確に取得できないおそれがある。したがって、撮像画像に対してキャリブレーションによる補正をかけることで、正対しているように撮像することも考えられる。しかし、このような補正をかけても、精度高く位置情報を取得できない場合がある。
そこで、天井カメラ３１０は、距離センサー等を用いて移動物体Ｍｏの高さ情報を取得することで、精度の高い位置情報を取得してもよい。
天井カメラによる移動物体領域定義部３３０４は、移動した後の移動物体Ｍｏの領域の位置情報を更新する。移動物体Ｍｏは、移動し続けるため、１つの天井カメラ３１０によって撮像されている範囲内で移動領域が変更し、他の天井カメラ３１０によって撮像される範囲内でも移動する。移動物体Ｍｏが移動するたびに移動物体領域が定義され、位置情報を管理する位置情報管理ＤＢ１３２やメモリ等の各移動物体領域の位置情報が更新される。
移動物体領域追跡部３３０５は、移動物体領域の位置を推定し、移動物体Ｍｏの移動物体領域を追跡し続ける。
図２０は、図１８売場装置３に備えられた位置情報管理部３４０の詳細な機能的構成例を示している機能ブロック図である。
位置情報管理部３４０は、カメラ間情報受け渡し部３４１と、各カメラの位置定義部３４２と、移動物体表示部３４３と、を備える。
カメラ間情報受け渡し部３４１は、各天井カメラ３１０に撮像された画像情報を他の天井カメラ３１０に撮像された画像情報と共有するようにすることにより、移動物体Ｍｏがある天井カメラ３１０の撮像画像から別の天井カメラ３１０に撮像されるようになっても、移動物体領域を追跡し続けることができる。
カメラ間情報受け渡し部３４１は、例えば、天井カメラ３１０に撮像されて得られた情報を統括するサーバ１を通じて、商品ＤＢ１３１を含め、記憶部１０８上において天井カメラ３１０間で情報をやり取りする。
他の例として、天井カメラ３１０の台数が多いことに鑑み、カメラ間情報受け渡し部３４１は、サーバ１を通じることなく各天井カメラ３１０で撮像された画像を各天井カメラ３１０間で例えばＰ２Ｐによって受け渡すようにしてもよい。
各カメラの位置定義部３４２は、各天井カメラ３１０が店内のどこを映しているかの位置情報を定義する。即ち、各カメラの位置定義部３４２は、カメラ間情報受け渡し部３４１によって別々の天井カメラ３１０に撮像された移動物体が店舗内のどこに位置しているかを把握する。
この各カメラの位置定義部３４２は、各天井カメラ３１０の撮像画像を合成し、１枚の店舗マップを作成する。また、この各カメラの位置定義部３４２は、各天井カメラ３１０、棚カメラ３１１の座標を店舗マップ上の座標に置き換える。また、各カメラの位置定義部３４２は、各天井カメラ３１０によって撮像された撮像画像について、透視変換により、計算上、店舗内床面に正対した撮像画像となるように補正する。
なお、天井カメラ３１０が距離センサーを搭載することにより、高さ情報を取得するようにすることで、位置情報管理部３４０は、歪んだ撮像画像を的確に補正し、移動物体Ｍｏを的確に認識することができる。
移動物体表示部３４３は、各カメラの位置定義部３４２によって写されている位置情報を、店舗３０内の移動物体Ｍｏを表示する。移動物体表示部３４３は、店員Ｍｔが保持する情報端末９、あるいは店舗のバックヤードの画面等として採用されてもよい。
図２１は、図１８の売場装置３に備えられた冊数カウント部３５０の詳細な機能的構成例を示している機能ブロック図である。
冊数カウント部３５０は、冊数認識部３５１と、移動物体と冊数紐づけ部３５２と、冊数不特定判定部３５３と、人と紐づく冊数管理部３５４と、天井カメラによる移動物体領域間受け渡し認識部３５５と、天井カメラによる受け渡された冊数認識部３５６を備える。
冊数認識部３５１は、移動物体Ｍｏが棚から取った書籍と棚に戻した書籍の冊数を天井カメラ３１０に撮像された撮像画像から認識する。冊数認識部３５１は、撮像画像内に「物体進入検知ライン」等が設けられることにより、棚内への移動物体領域の入出を検知し、この検知した際の撮像画像から、移動物体Ｍｏが棚内から取った物体と、棚に戻した物体の領域を定義する。その物体領域の数を書籍の冊数として認識する。なお、天井カメラ３１０にズーム機能が備わっている場合に、天井カメラ３１０と移動物体Ｍｏとの距離を考慮して、天井カメラがズームをした後、冊数認識部３５１が、冊数認識を行ってもよい。
さらに冊数認識部３５１は、棚カメラ３１１によって、移動物体Ｍｏが棚から取った書籍と棚に戻した書籍の冊数を認識してもよく、天井カメラ３１０と棚カメラ３１１の組み合わせから、買い物客が棚から取った書籍と棚に戻した書籍の冊数を認識してもよい。その際の棚カメラ３１１は、広範囲にわたって撮像できるカメラであってもよい。
移動物体と冊数紐づけ部３５２は、冊数認識部３５１によって認識された書籍の冊数と、その書籍を取った当該人とを紐づける。
冊数不特定判定部３５３は、冊数が認識できなかった場合、冊数が認識できなかったことを移動物体Ｍｏに紐づける。
人と紐づく冊数管理部３５４は、位置情報管理ＤＢ１３２等を活用し、移動物体ＭｏのＩＤに紐づく冊数カウントリストを常に管理し続ける。書籍が棚から取られた際は、取得された書籍数分が加算される。反対に、書籍が棚に戻された際は、戻された書籍数分が減算される。
天井カメラによる移動物体領域間受け渡し認識部３５５は、移動物体領域間で書籍が受け渡された場合、各移動物体Ｍｏに紐づく冊数情報を受け渡された移動物体Ｍｏに受け渡す。
なお、この天井カメラによる移動物体領域間受け渡し認識部３５５は、ディープラーニング等の物体認識手法を用いて、人の動きを分析し、受け渡し認識してもよく、受け渡しの際に移動物体領域の中の手を認識しても良く、移動物体領域（手を含んでもよい）間の重なりを認識してもよい。天井カメラによる移動物体領域間受け渡し認識部３５５は、天井カメラ３１０に替えて棚カメラ３１１を使用してもよい。その際の棚カメラ３１１は、広範囲にわたって撮像できるカメラでもよい。
天井カメラによる受け渡された冊数認識部３５６は、移動物領域体間で書籍が受け渡された場合、その書籍の数を認識する。例えば、天井カメラによる受け渡された冊数認識部３５６は、受け渡しが認識された時点での撮像画像から書籍の数を認識する。
天井カメラによる受け渡された冊数認識部３５６は、ズーム機能を有する天井カメラを備えることにより、受け渡しが行われたと推定される箇所をズームアップし、書籍の数を認識してもよい。
天井カメラによる受け渡された冊数認識部３５６は、天井カメラ３１０に替えて広範囲を撮像できる棚カメラ３１１を使用することで、書籍の数を認識してもよい。
また、天井カメラによる受け渡された冊数認識部３５６は、天井カメラによる移動物体領域間受け渡し認識部３５５によって特定された夫々の移動物体Ｍｏと、ここで認識された書籍の数とを紐づけ、冊数リストを更新する。
次に、実施形態２の商品認識システムにおける書籍の精算方法について、図２２を中心に図１４も合わせて参照して説明する。
図２２は、実施形態２において書籍の精算処理を説明するフローチャートである。
ステップＳ２０１において、買い物客（移動物体Ｍｏ）が店舗（図１４）の出入口２２から店内に入店すると、出入口２２付近に設置された天井カメラ３１０がその買い物客の撮像を開始する。
買い物客が通路２４を進むと、奥側の天井カメラ３１０がその買い物客を撮像する。このようにして、複数の天井カメラ３１０が買い物客を常時撮像する。出入口２２付近にゲート２１を設けてもよい。
出入口２２にゲート２１が備えられている場合、ゲート２１は、常時、閉じられているが、買い物客が入店するタイミングで開けられ、入店後に閉じられる。なお、ステップＳ２０１の前に、個人認証部３２０が買い物客の個人認証し、買い物客の個人情報を取得してもよい。
ステップＳ２０２において、天井カメラによる移動物体発見部３３０２が、ステップＳ２０１で撮像されている買い物客の領域（移動物体領域）のみを抽出することで移動物体Ｍｏとして定義のうえ、移動物体ＭｏにＩＤを発番し、当該ＩＤとＩＤに紐づく店内における位置情報を位置情報管理ＤＢ１３２や売場装置３のＲＡＭ３０３に登録する。
ステップＳ２０３において、天井カメラによる移動物体領域定義部３３０４が、天井カメラ３１０によって撮像されている範囲内で移動したときに、移動後の移動物体Ｍｏの領域の位置を改めて定義する。位置情報は人の位置を管理する位置情報管理ＤＢ１３２やメモリ等で管理され、領域定義ごとに更新される。この定義された位置は、別の天井カメラ３１０において撮像されている位置でも認識される。
ステップＳ２０４において、買い物客が購入したい書籍を目指して通路２４を移動することを踏まえ、天井カメラによる移動物体領域追跡部３３０５が移動物体領域の位置を推定し、移動物体Ｍｏを追跡し続ける。ステップＳ２０１において移動物体Ｍｏが常時撮像され、ステップＳ２０２において、移動物体ＭｏにＩＤが発番され、ステップＳ２０３において、移動後の移動物体Ｍｏの領域の位置情報を更新し、さらにカメラ間情報受け渡し部３４１によって位置情報がやり取りされているため、移動物体Ｍｏが通路２４を移動し、異なる天井カメラ３１０で撮像されても、天井カメラによる移動物体領域追跡部３３０５は、移動物体Ｍｏを追跡し続けることができる。
ステップＳ２０５において、冊数認識部３５１が、ＩＤを発番された移動物体Ｍｏによって棚から取られた書籍と棚に戻された書籍の冊数を認識する。
なお、ステップＳ２０５において、取られた書籍の冊数をカウントできなかった場合は、図示していない冊数不特定判定部がエラーを出力する。
ステップＳ２０６において、移動物体と冊数紐づけ部３５２が、ステップＳ２０５で認識（カウント）された書籍の冊数と移動物体Ｍｏとを紐づける。したがって、冊数認識部３５１は、一意に特定された買い物客が何冊の書籍を取ったかを認識する。
ステップＳ２０７において、人と紐づく冊数管理部３６３が、サーバ１のＤＢ管理部１４１を活用して人と紐づく書籍の冊数を管理し続ける。したがって、買い物客が棚内から取った書籍が棚内に戻されたときであっても、人と紐づく冊数管理部３６３は、買い物客が所持している書籍の冊数を認識する。
買い物客は、書籍を取り終えると、レジ端末２まで行き、その書籍をレジ端末２の所定エリアＡに置く。その書籍は、図１５に示すように、背表紙がレジ端末２の少なくとも１台以上のカメラ２１１に写されるように置かれる。そして、買い物客がレジ端末２に備えられた入力部２０７であるボタンを押下等する。レジ端末２は、このボタンの押下等をトリガーとし、商品特定を行う。商品特定は画像認識手法を駆使し、書籍の表紙や背表紙等から書名を特定することにより行われる。
ステップＳ２１０において、レジ端末２の商品特定部２３５が、ステップＳ２０７で認識された移動物体Ｍｏに紐づく冊数情報と、レジ端末２の所定エリアＡに置かれた書籍の冊数情報とが一致するかどうかを検証する。この検証の具体的な流れについては、図２３を参照して後述する。
移動物体Ｍｏに紐づく冊数情報と、レジ端末２の所定エリアＡに置かれた書籍の冊数情報とが一致しない場合は、目検用端末Ｑにおける目検（冊数の確認）が依頼される。目検によって冊数が確認（冊数の不一致が解消）されない場合には、エラー表示部１５１にエラーが表示され、精算することができない。また、その状態で退店を試みると、出入口２２付近に設置されたエラー表示部１５１が音、光等により警告が発せられる。ゲート２１が設置されている場合は、閉じられた状態を維持する。
ステップＳ２１０において、レジ端末２に置かれた書籍が制限有無に該当するかどうかを売買制限商品判定部２３６が併せて判定する。ステップＳ２０７まで（ステップＳ２０１以前を含む）の任意のタイミングで個人情報が事前に取得されることで、売買制限商品判定部２３６は、制限のある書籍を購入できない買い物客が購入しようとしているときに、エラー表示部１５１によってエラー表示する。
ステップＳ２１１において、レジ端末２の精算部２３７が所定エリアＡに置かれた書籍の合計金額を精算する。即ち、実施形態１において説明したように商品特定部２３５によって書籍の価格等の情報が得られ、合計金額が算出される。買い物客は、クレジットカードや電子マネー等で支払うことで、精算が完了する。
なお、精算が完了すると、ＤＢ管理部１４１は、人に紐づく冊数カウントリストを「精算済」の状態に更新する。
また、出入口２２付近において、買い物客が精算されていない書籍を持ち出そうとしているとき、即ち移動物体Ｍｏに紐づく冊数カウントリストが「精算済」になっていない状態のときは、持ち出し検知部がそれを検知し、出入口２２付近のエラー表示部１５１やレジ端末２の提示部２１０が音や光等で提示する。また、ゲート２１が設置されている場合、ゲート２１は閉じた状態を維持し、買い物客は退店することができない。ゲート２１が閉じた状態を維持する他、エラー表示部１５１等が音や光等により警告を発してもよい。これにより、万引きを防止することができる。
エラー表示部１５１やレジ端末２の提示部２１０は、エラー状態に応じて異なる色で発光するようにもされてもよい。
図２３は、図２２のステップＳ２１０において書籍の冊数情報と精算される冊数との検証について説明するフローチャートである。
ステップＳ２２１において、レジ端末２の入力部２０７の読取開始ボタンが押下されると、レジ端末２の画像取得部２３２がレジ端末２の所定エリアＡに置かれた物体撮像画像を取得した後、存在が認識された物体について、商品特定部２３５がいずれの商品かを特定し、商品の冊数をも認識する。
ステップＳ２２２において、売場装置３の冊数カウント部３５０の人と冊数紐づけ部３６２が、レジ端末２に置かれた書籍の冊数の情報を移動物体ＭｏのＩＤから照会する。
ステップＳ２２３において、商品特定部２３５が、レジ端末２に置かれた書籍の冊数と、人と紐づく冊数管理部でカウントされた書籍の冊数とが一致するか判定する。
レジ端末２に置かれた書籍の冊数と、人と紐づく冊数管理部でカウントされた書籍の冊数とが一致する場合（ＹＥＳ）は、処理はステップＳ２２６に進む。
レジ端末２に置かれた書籍の冊数と、人と紐づく冊数管理部でカウントされた書籍の冊数とが一致しない場合（ＮＯ）は、処理はステップＳ２２４に進む。
ステップＳ２２４において、商品特定部２３５は、物体撮像画像及び売場装置３でカウントされた書籍の冊数を目検結果取得部２３９を介して目検用端末Ｑに送信することにより、目検用端末Ｑにおける目検（冊数の確認）を依頼し、その目検結果を取得する。
ステップＳ２２５において、商品特定部２３５は、冊数の不一致が解消した旨の目検結果を取得したか否かを判定する。
ステップＳ２２５において冊数の不一致が解消した旨の目検結果を取得していないと判定された場合は、レジ端末２のエラー表示部１５１がエラーを表示し、警告を発する。
この際、レジ端末２に備え付けられたマイクロフォンＭとスピーカーＳを介して、購入者と目検者等が通話する構成としてもよい。
なお、警告が発せられた状態のまま退店を試みると、出入口２２付近のエラー表示部１５１が音や光等により警告を発する。ゲート２１が設置されている場合は、ゲート２１は閉じた状態を維持し、買い物客は退店できない。これにより、万引きを防止することができる。
ステップＳ２２５において冊数の不一致が解消した旨の目検結果を取得したと判定された場合は、処理はステップＳ２２６に進む。
ステップＳ２２６において、商品特定部２３５は、特定物体目検モードまたは全物体目検モードのいずれに設定されているか判定する。
特定物体目検モードに設定されている場合、処理はステップＳ２２７に進む。
また、全物体目検モードに設定されている場合、処理はステップＳ２２８に進む。
ステップＳ２２７において、目検結果取得部２３９は、対象となる書籍について、目検用端末Ｑにおける目検（商品の特定）を依頼し、その目検結果を取得する。
ステップＳ２２７の後、処理はステップＳ２２９に進む。
ステップＳ２２８において、商品特定部２３５は、レジ端末２の所定エリアＡに置かれている書籍の中にいずれの書籍であるか特定できないものがあるかどうか判定する。商品特定部２３５がいずれの書籍であるか特定できないものがある場合（ステップＳ２２８においてＹＥＳ）は、処理はステップＳ２２７に進む。
ステップＳ２２８において商品特定部２３５がいずれの書籍であるか特定できないものがない場合（ステップＳ２２８においてＮＯ）は、商品特定部２３５は、ＤＢ情報保持部２４１またはサーバ１の記憶部に保持された書籍名や価格、売買制限商品である等の情報を含めて書籍を特定する。これにより、処理はステップＳ２２９に進む。特定された書籍の情報は、表示制御部２３８に出力されてもよい。
ステップＳ２２９において、売買制限商品判定部２３６は、商品特定部２３５によって特定された書籍が、年齢確認が必要とされる書籍であるかどうかを判定する。
ステップＳ２２９において、商品特定部２３５によって特定された書籍が、年齢確認が必要とされる書籍であると判定された場合は、即ちＹＥＳと判定された場合、処理はステップＳ２３０に進む。
ステップＳ２２９において、商品特定部２３５によって特定された書籍が、年齢確認が必要とされる書籍でないと判定された場合は、即ちＮＯと判定された場合、処理は書籍の自動精算処理に戻る。
ステップＳ２３０において、表示制御部２３８は、レジ端末２の表示部Ｄに年齢確認のための画面を表示させる。ただし、買い物客の個人情報が取得され、ここで年齢確認する必要がない場合は、ステップＳ２３０はスキップされ、処理はステップＳ２３４に進む。
この際、購入者の顔や年齢確認用書類を撮像した画像が不鮮明なとき等、購入者の年齢認証に問題があるときは、レジ端末２において画面表示や音声案内等で購入者に知らせて、購入者に画像の撮り直しを依頼する構成としてもよい。さらに、レジ端末２に備え付けられたマイクロフォンＭとスピーカーＳを介して、購入者と目検者等が通話する構成としてもよい。
ステップＳ２３１において、目検結果取得部２３９は、対象となる書籍について、目検用端末Ｑにおける目検（売買制限商品の判定）を依頼し、その目検結果を取得する。
ステップＳ２３２において、売買制限商品判定部２３６は、売買制限を解除する指示を受け付けたか否かを判定する。
ステップＳ２３２において売買制限を解除する指示を受け付けていないと判定された場合は、処理はステップＳ２３３に進む。
ステップＳ２３２において売買制限を解除する解除指示を受け付けたと判定されると、即ちＹＥＳと判定されると、処理はステップＳ２３４に進む。
ステップＳ２３３において、目検用端末Ｑの目検結果送信部４１２は、目検結果によっても売買制限が解除されなかった旨の警告を送信する。この警告を受信することにより、例えば、レジ端末２の表示制御部２３８は、目検結果によっても売買制限が解除されなかった旨の警告を、出力部２０６を介して提示する。ステップＳ２３４の後、処理は終了し、精算が中止となる。
ステップＳ２３４において、売買制限商品判定部２３６は、売買制限を解除する。
このようにしてステップＳ２３４が終了されるか、またはステップＳ２２９において年齢制限商品でないと判定された場合（ＮＯであると判定された場合）、処理は書籍の自動精算処理に戻る。
このようにして、本情報処理システムは、店舗内で買い物客が取った書籍の冊数を認識し、レジ端末に置かれた書籍の冊数との一致を判定する。また、このとき、目検の対象とされる場合（例えば、冊数が一致しない場合、レジ端末２において商品の特定が行えない場合、売買制限商品に該当する書籍の場合等）については、目検用端末Ｑにおける目検が行われ、目検結果（書籍の冊数の確認結果、書籍の特定結果、売買制限商品の判定結果等）に応じて、自動精算が行われる。
したがって、本情報処理システムによれば、買い物客が書籍等の商品を購入する際に、商品の代金の精算の自動化が可能になると共に、商品の特定精度を高めることができる。
実施形態２において、移動物体Ｍｏ（買い物客）の追跡において想定されるエラーには、（Ａ）買い物客が店舗２０の出入口２２から入店した際に、天井カメラによる移動物体発見部３３０２が移動物体を検出できなかった場合、（Ｂ）天井カメラによる移動物体領域追跡部３３０５が追跡中の移動物体Ｍｏを見失った場合、（Ｃ）二つ以上の異なる移動物体Ｍｏの夫々に紐付けられたＩＤが追跡途中に入れ替わった場合、等が含まれる（当然これらに限定されない）。
各エラー状態に応じ、本実施形態が採用するシステムが、以下の例を含む、種々の対応を行う。
（Ａ）天井カメラ３１０により撮像された買い物客を被写体として含む画像を目検用端末Ｑに送信し、目検による買い物客の検出を依頼する。目検者が買い物客を検出した場合は、新たな移動物体Ｍｏを定義の上、ＩＤを発番して、天井カメラによる移動物体領域追跡部３３０５による追跡を開始する。目検者が買い物客を検出できなかった場合は、その旨を店員に報知する。
（Ｂ）位置情報管理ＤＢ１３２に登録されているどのＩＤとも紐づけられていない買い物客が認められた場合、その買い物客の撮像画像と、紐づけられるべきＩＤ候補のリストが目検用端末Ｑに送信される。目検者は、過去の買い物客とＩＤとの紐づけ情報に基づいて、最も適切なＩＤを当該買い物客に紐づけ、天井カメラによる移動物体領域追跡部３３０５による再追跡を開始する。何らかの理由で再追跡が開始できなかった場合は、その旨が店員に報知される。
また、買い物客との紐づけを失ったＩＤが検出された場合には、当該ＩＤと、どのＩＤとも紐づけられていない買い物客の撮像画像のリストが目検用端末Ｑに送信される。目検者は、過去の買い物客とＩＤとの紐づけ情報に基づいて、当該ＩＤに買い物客を紐づけることを試み、紐づけが成功した場合は、天井カメラによる移動物体領域追跡部３３０５による再追跡を開始する。何らかの理由で再追跡の開始が失敗した場合は、その旨が店員に報知される。
（Ｃ）夫々の買い物客の画像リストと、夫々の買い物客に紐づけられるべきＩＤのリストが目検用端末Ｑに送信される。目検者は、過去の買い物客とＩＤとの紐づけ情報に基づいて、最も適切に、ＩＤを買い物客に割り振ることを試みる。ＩＤを買い物客に適切に割り振ることができた場合は天井カメラによる移動物体領域追跡部３３０５による再追跡を開始する。ＩＤを買い物客に適切に割り振ることができない場合は、割り振りを諦め、紐づけが入れ替わったままの旨を店員に報知する。
〔実施形態３〕
図２４は、実施形態３の商品認識システムを採用するスーパーマーケットのレイアウト例を示す図である。
実施形態３の商品認識システムは、図２４に示すようなスーパーマーケット等の店舗３０に対して適用するシステムである。
店舗３０では、入口３１から出口３２まで売場が設けられている。売場には、商品を陳列する複数の棚ラック３３が設置されている。向き合った２つの棚ラック３３の間は、通路３４とされている。
入口３１には、買い物カゴやショッピングカート等のカゴ類（採番せず）が置かれている。出口３２の手前は、精算エリア３５とされている。精算エリア３５内には、複数のレジ台３６が設置されている。レジ台３６は、ｎ台の精算機４を備えている。実施形態３では、実施形態１，２で採用したようなレジ端末２を備えない。また、実施形態３では買い物客を移動物体Ｍｏとして扱う実施形態２と異なり、システム上把握（発見・追跡等）されるカゴ類を移動物体Ｍｏとして扱う。
買い物客は、入口３１から入店し、カゴ類を取って通路３４を進む。買い物客は、棚内の商品を取って、カゴ類の中に入れて通路３４を進む。買い物客は、購入したい商品を全て取ると、精算エリア３５へ進み、精算機４で精算する。
通路３４や精算エリア３５等において、店員Ｍｔが見回り等をしている。店員Ｍｔは、情報端末９ａを所持している。情報端末９ａは、スマートフォン等の携帯型情報処理端末であり、店内の状態を表示する画面等を備えている。
図２４において、雲形で描かれた線図の内側には、店舗３０内でなく、店舗３０外や店舗３０のバックヤードの様子が描画されている。店舗３０外には、サーバ１（図７）が設置されている。店舗３０外に存在する管理センターや店舗３０バックヤード等では、店員Ｍｔが大型モニターの画面（図示せず）や情報端末９ｂの画面を通じて店舗３０内を監視している。また、以下、情報端末９ａと情報端末９ｂとを区別する必要がない場合、これらをまとめて、「情報端末９」と呼ぶ。また、図２４には図示されていないが、本実施形態においても、実施形態１，２と同様に、目検用端末Ｑが設置されている。
通路３４や棚ラック３３、その他、店舗３０内の任意の位置の上方の天井には、複数の天井カメラ３１０が離間して夫々設置されている。天井カメラ３１０は、通路３４や棚ラック３３、その他その下方の所定領域を撮像する。即ち、天井カメラ３１０は、移動物体Ｍｏが進入した場合には、移動物体Ｍｏを被写体として含む当該所定領域を撮像する。
また、各棚ラック３３内の各棚の複数個所の夫々には、センシングデバイスの一例として棚カメラ３１１が設置されている。棚カメラ３１１は、棚内や棚内の商品、その他所定領域を撮像する。また、棚カメラ３１１は、棚内の所定領域内に買い物客の手等が進入した場合や、棚内から物体が取られた場合に、その手や棚内の物体等を物体撮像画像として撮像する。
カゴ類の夫々には、センシングデバイスの一例としてカゴカメラ３１２（図２４において図示せず）が取り付けられていてもよい。
その場合、売場装置３のカゴカメラ３１２は、カゴ類に１台以上設置され、カゴ類に入れられた物体を常時撮像する。カゴカメラ３１２は、カゴ類の内側を死角なく撮像できるように設置されている。カゴカメラ３１２は、カゴ類に入れられた物体の少なくとも正面等の特徴がある部位を撮像する。
また、カゴカメラ３１２は、ネットワークＮを通じて天井カメラ３１０や棚カメラ３１１と連携される。この連携により、売場装置３は、カゴカメラ３１２によって撮像された撮像画像と、天井カメラ３１０や棚カメラ３１１によって撮像された物体の撮像画像の両撮像画像とを共有することができる。この共有により、この撮像画像に撮像された物体から商品を特定する精度を高めることができる。
実施形態３の商品認識システムは、天井カメラ３１０によって撮像される移動物体Ｍｏが移動しても、その移動物体Ｍｏを追跡し続ける機能を備えている。実施形態３の情報処理システムは、棚ラック３３から取られた物体がいずれの商品であるかを、棚カメラ３１１によって撮像された撮像画像から特定する機能を備えている。
実施形態３の商品認識システムは、カゴ類に入れられた物体がいずれの商品であるかを、カゴカメラ３１２によって撮像された撮像画像から特定する機能を備えていてもよい。
実施形態３の商品認識システムは、棚内の物体がいずれの商品であるかが特定され、さらに、その商品が精算機４において自動精算する機能を備えている。この自動精算に際して、精算機４において移動物体Ｍｏと紐づけられていた商品の情報とが読み出され、自動精算が可能となる。
精算機４は、購入商品の合計金額、点数、明細の表示、売買制限商品判定の表示、決済機能等、買い物を完結するために必要な機能を含んでいる。
天井カメラ３１０、棚カメラ３１１及びカゴカメラ３１２は、図２５及び図２６に示すような売場装置３に組み込まれる。売場装置３は、天井カメラ３１０や棚カメラ３１１等によって撮像された撮像画像から商品を特定するための機能や移動物体Ｍｏを発見・追跡するための機能を備える。この売場装置３は、図２５に示すような商品認識システムに組み込まれる。
図２５は、実施形態３の商品認識システムの構成を示す構成図である。
実施形態３の商品認識システムは、サーバ１と、売場装置３と、精算機４と、目検用端末Ｑと、を有している。実施形態３では、物体がいずれの商品であるかを売場装置３が特定するために、実施形態１，２で説明したレジ端末２に替えて精算機４を備えている。
図２５において、サーバ１及び売場装置３は、１台しか描画されていないが、実際には複数台の場合もある。また、以下、精算機４を個々に区別する必要がない場合、これらをまとめて、「精算機４」と呼ぶ。
サーバ１と、売場装置３と、精算機４と、目検用端末Ｑとは、インターネット等のネットワークＮを介して相互に接続されている。
サーバ１は、実施形態１のサーバ１（図７）と同様に構成される。また、目検用端末Ｑは、実施形態１の目検用端末Ｑと同様に構成される。
図２６は、図２５の商品認識システムのうち売場装置３のハードウェア構成を示すブロック図である。
売場装置３は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、バス３０４と、入出力インターフェース３０５と、天井カメラ３１０と、棚カメラ３１１と、カゴカメラ３１２と、通信部３１５と、情報端末９と、を備える。
売場装置３のＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、バス３０４、入出力インターフェース３０５、通信部３１５は、図７に示したサーバ１のこれらと同様に構成される。
売場装置３の天井カメラ３１０、棚カメラ３１１、通信部３１５、情報端末９は、実施形態２において説明した売場装置３（図１７）のこれらと同様に構成される。
図２７は、サーバ１、売場装置３、精算機４及び目検用端末Ｑの機能的構成の一例を示す機能ブロック図である。
サーバ１は、ＣＰＵ１０１と、記憶部１０８と、通信部１０９と、エラー表示部１５１と、エラー解除部１５２と、を備えている。
これらは、図１８に示した実施形態２と同様に構成されている。
目検用端末Ｑにおいて、画像表示制御部４１１は、売場装置３または精算機４から目検の依頼が行われた場合に、売場装置３または精算機４から送信された物体撮像画像あるいは商品撮像画像等の画像及びこれらの画像に付随して送信された各種情報（商品候補リスト等）を出力部１０６に出力する。
目検結果送信部４１２は、出力部１０６に出力された物体撮像画像あるいは商品撮像画像について、目検者が入力部１０７を介して入力した目検結果（商品の特定結果あるいは売買制限商品の判定結果等）を、目検を依頼した売場装置３または精算機４に送信する。
売場装置３のＣＰＵ３０１においては、図２７に示すように、個人認証部３２０と、移動物体追跡部３３０と、位置情報管理部３４０と、棚商品認識部３６０と、カゴ商品認識部３７０と、売買制限商品判定部３８０と、目検結果取得部３０１ａと、が機能する。
個人認証部３２０は、個人情報取得部３２１を備えている。
個人認証部３２０及び個人情報取得部３２１は、図１８に示した実施形態２と同様に構成されている。
図２８は、図２７の売場装置３に備えられた移動物体追跡部３３０の詳細な機能的構成例を示す機能ブロック図である。
移動物体追跡部３３０は、図２８に示すように、天井カメラによる移動物体発見部３３０２と、天井カメラによるカゴ発見部３３０３と、天井カメラによるカゴ領域定義部３３０６と、天井カメラによるカゴ領域追跡部３３０７と、グルーピング部３３０８天井カメラによるカゴ領域間受け渡し認識部３３１０と、天井カメラによる受け渡された物体認識部３３１２と、天井カメラによる受け渡された商品特定部３３１３と、を備えている。
ただし、実施形態３の移動物体追跡部３３０は、買い物客を移動物体として扱う実施形態２と異なり、システム上把握（発見・追跡等）されるカゴ類を移動物体Ｍｏとして扱う。
移動物体追跡部３３０は、天井カメラ３１０とＵＳＢケーブルやネットワークＮ等を通じて接続されている。したがって、天井カメラ３１０は、他の天井カメラ３１０やパーソナルコンピュータ等と連携される。
天井カメラによる移動物体発見部３３０２は、天井カメラ３１０によって撮像された撮像画像に基づいて状態空間モデル（ベイジアンフィルタ等）を用いて店内を移動する物体（買い物客、カゴ、カート等）を発見する。
天井カメラによるカゴ発見部３３０３は、移動物体発見部３３０２にて発見された店舗３０内を移動する物体からカゴ類（移動物体Ｍｏ）を発見し、その移動物体Ｍｏに個別のＩＤを採番する。この移動物体ＭｏのＩＤは、退店または精算完了等の所定のタイミングまで使い続けられる。
この店舗３０内を移動する物体から移動物体Ｍｏを発見する手法としては、例えば、個体識別可能な情報を保持したマーカーを各カゴ類に１か所以上付けておき、天井カメラによるカゴ発見部３３０３は、このマーカーを目印として移動物体Ｍｏを発見する。マーカーは、例えば２次元コードや特徴的な形状のような、移動物体Ｍｏを特定できればよく、限定されない。
店舗３０内を移動する物体から移動物体Ｍｏを発見する他の手法として、天井カメラによるカゴ発見部３３０３は、カゴ類の色情報や形状情報等のカゴ特有の情報を利用してもよい。その際、天井カメラによるカゴ発見部３３０３は、カゴ類の色や形状が床面等から区別できることから、移動物体Ｍｏを発見することができる。
店舗３０内を移動する物体から移動物体Ｍｏを発見する手法として、カゴ類を低温にして、サーモグラフィ等を使用してもよい。その際、天井カメラによるカゴ発見部３３０３は、カゴ類以外の領域との温度差から、低温にされた移動物体Ｍｏを発見する。
店舗３０内を移動する物体から移動物体Ｍｏを発見する手法として、カゴ類から無害なガスを発生させ、サーモグラフィ等を使用してもよい。その際、天井カメラによるカゴ発見部３３０３は、カゴ類から発生した無害なガスの発生に伴う温度変化をサーモグラフィ等で検知し、移動物体Ｍｏを発見する。
店舗３０内を移動する物体から移動物体Ｍｏを発見する手法として、カゴ類から可聴音かどうかにかかわらず音を発生させてもよい。その際、天井カメラによるカゴ発見部３３０３は、そのカゴ類から発生する音を検知することで、移動物体Ｍｏを発見する。
店舗３０内を移動する物体から移動物体Ｍｏを発見する手法として、不可視の塗料をカゴ類に塗布し、不可視の塗料を認識できるセンサーを使用してもよい。その際、天井カメラによるカゴ発見部３３０３は、カゴ類に塗布された不可視の塗料をセンサーが認識することによって移動物体Ｍｏを発見する。
店舗３０内を移動する物体から移動物体Ｍｏを発見する手法として、天井カメラ３１０からカゴ類に可視光や赤外線等を照射してもよい。その際、天井カメラによるカゴ発見部３３０３は、カゴ類に照射された可視光や赤外線の反射光を受信することで移動物体Ｍｏを発見する。
天井カメラによるカゴ領域定義部３３０６は、天井カメラによるカゴ発見部３３０３によって発見された移動物体Ｍｏの周辺のうち撮像画像内の一定の範囲を移動物体Ｍｏの領域として定義する。移動物体Ｍｏの領域を定義するには、例えば、上述のようにカゴ類にマーカーを付けた場合において、このマーカーを付けた添付位置から一定の範囲を移動物体Ｍｏの領域として定義する。
カゴ類に複数のマーカーが付けられている場合において、天井カメラによるカゴ領域定義部３３０６は、天井カメラ３１０が全てのマーカーを撮像できなくても、各マーカーが移動物体Ｍｏの領域における自らの位置情報を保持していることから、１つ以上のマーカーから移動物体Ｍｏの領域を定義してもよい。
天井カメラによるカゴ領域定義部３３０６は、上述のカゴ領域を定義する手法を補完する手法を併用してもよい。補完手法としては、上述のようにカゴ類を低温にする場合において、サーモグラフィ及び画像認識から低温の領域を移動物体Ｍｏの領域と定義する。
別の補完的手法としては、上述のようにカゴ類から無害のガスを発生させる場合において、ガスの発生に伴う温度変化をサーモグラフィ等で検知し、画像認識技術をも駆使することで、温度変化のあった領域を移動物体Ｍｏの領域と定義する。
さらに別の補完的手法としては、天井カメラによるカゴ領域定義部３３０６は、上述のようにカゴ類の縁に不可視の塗料を塗布した場合において、塗料の塗布位置からカゴ類の縁を推定し、その縁により閉じられた領域を移動物体Ｍｏの領域と定義する。
さらに別の補完的手法としては、天井カメラによるカゴ領域定義部３３０６は、上述のように天井カメラ３１０から可視光や赤外線等を照射する場合において、その反射の測定結果から移動物体Ｍｏの領域を定義する。
天井カメラによるカゴ領域追跡部３３０７は、移動物体Ｍｏの領域の位置を推定（定義）する。天井カメラによるカゴ領域追跡部３３０７は、移動物体Ｍｏを発見した時点から退店または精算完了等の所定の時点まで、同一のＩＤにより、移動物体Ｍｏを追跡し、位置情報を把握し続ける。
そのため、天井カメラによるカゴ領域追跡部３３０７は、例えば、多数の天井カメラ３１０が連携することで、常時、撮像画像内のカゴ領域を追跡し続ける。多数の天井カメラ３１０が連携するようにするため、天井カメラによるカゴ領域追跡部３３０７は、ある天井カメラ３１０によって撮像された撮像画像が隣り合った天井カメラによって撮像された撮像画像に引き継がれるようにする。天井カメラによるカゴ領域追跡部３３０７は、追跡している移動物体Ｍｏの位置情報をサーバ１の位置情報管理ＤＢ１３２や記憶部１０８に格納する。
天井カメラによるカゴ領域追跡部３３０７が移動物体Ｍｏを追跡するための他の手法として、移動物体Ｍｏを特定する情報を有するマーカーが各カゴ類に付けられ、天井カメラ３１０がこのマーカーを含む移動物体Ｍｏを撮像する。天井カメラによるカゴ領域追跡部３３０７は、撮像画像からマーカーを抽出することで、移動物体Ｍｏを発見し、位置情報を取得する。
天井カメラによるカゴ領域追跡部３３０７は、マーカーを撮像画像から発見し、移動物体Ｍｏの位置情報を取得することで、移動物体Ｍｏが移動しても、移動物体Ｍｏを追跡し続けることができる。
天井カメラによるカゴ領域追跡部３３０７は、移動物体Ｍｏを追跡するための他の手法として、ベイジアンフィルタ、高速フーリエ変換、ＴＬＤ等の画像内における物体追跡の技術を用いて移動物体Ｍｏを追跡してもよい。
あるいは、天井カメラによるカゴ領域追跡部３３０７は、カゴ類が持つ色や形状等の特徴データをもとに、同じ特徴データを取得した移動物体Ｍｏは同一の移動物体Ｍｏである、と推定しながら移動物体Ｍｏを追跡してもよい。その際、天井カメラによるカゴ領域追跡部３３０７は、追跡対象の特徴データを収集し続ける。
いずれにしても、天井カメラ３１０からの映像では、天井カメラ３１０に正対していない移動物体Ｍｏが角度をもって（斜め方向から）撮像されるため、位置情報を正確に取得できないおそれがある。したがって、撮像画像に対してキャリブレーションによる補正をかけることで、正対しているように撮像することも考えられる。しかし、このような補正をかけても、高い精度で移動物体Ｍｏの位置情報を取得できないことがあり得る。
そこで、天井カメラによるカゴ領域追跡部３３０７は、距離センサー等を用いて移動物体Ｍｏの高さ情報を取得することで、精度の高い位置情報を取得する。このようにして天井カメラによるカゴ領域追跡部３３０７は、移動物体Ｍｏを追跡し続けてもよい。
グルーピング部３３０８は、複数のカゴ類（移動物体Ｍｏ）を紐づけてもよい。このように紐づけられることで、精算エリア３５内に設置された精算機４において、各移動物体Ｍｏの商品リストをまとめて精算することができる。
天井カメラによるカゴ領域間受け渡し認識部３３１０は、移動物体Ｍｏ間で物体が受け渡された（出入りがあった）ことを天井カメラ３１０等によって認識する。天井カメラによるカゴ領域間受け渡し認識部３３１０は、移動物体Ｍｏの領域間の重なりを認識して受け渡しを認識してもよい。天井カメラによるカゴ領域間受け渡し認識部３３１０は、物体の受け渡しがされた移動物体Ｍｏを特定し、各移動物体ＭｏのＩＤに紐づく商品リストを読み込む。
天井カメラによる受け渡された物体認識部３３１２は、受け渡しが認識された時点の撮像画像から物体の領域を定義する。
天井カメラによる受け渡された物体認識部３３１２は、天井カメラ３１０をズーム可能なカメラにし、受け渡しが行われたと推定される箇所をズームアップし、物体の領域定義をしてもよい。
天井カメラによる受け渡された商品特定部３３１３は、受け渡された物体が、物体領域定義後の画像から、読み込まれた移動物体Ｍｏに紐づく商品リストのうちいずれの商品かを特定し、前記天井カメラによるカゴ領域間受け渡し認識部３３１０で特定した移動物体Ｍｏと、受け渡しで特定された商品を紐づけ、各移動物体Ｍｏに紐づく商品のリストを更新する。
天井カメラによる受け渡された物体認識部３３１２、天井カメラによる受け渡された商品特定部３３１３は、天井カメラ３１０の代わりに、広範囲を撮像可能な棚カメラ３１１等で実現してもよい。
位置情報管理部３４０は、実施形態２において説明した位置情報管理部３４０と同様に構成されている。
即ち、位置情報管理部３４０は、図２０に示すように、カメラ間情報受け渡し部３４１と、各カメラの位置定義部３４２と、移動物体表示部３４３と、を備えている。
図２９は、図２７の売場装置３に備えられた棚商品認識部３６０の詳細な機能的構成を示す機能ブロック図である。
棚商品認識部３６０は、棚カメラによる物体認識部３６０２と、棚カメラによる商品特定部３６０３と、カゴと商品紐づけ部３６０５と、カゴと紐づく商品リスト管理部３６０７と、棚カメラによる物体入出検知部３６０８と、商品不特定判定部３６０９と、ラベル認識部３６１０と、値引きシール認識部３６１１と、棚カメラまたは天井カメラによるカゴ入出検知部３６１２と、を備える。
棚商品認識部３６０は、棚カメラ３１１とＵＳＢケーブルやネットワークを通じ、他のカメラやパーソナルコンピュータ等と連携される。
棚カメラによる物体認識部３６０２は、物体が棚内から取られた、または物体が棚内に置かれた（戻された）画像の前後の画像を比較し、商品特定の対象となる画像領域を定義する（領域定義）。
即ち、棚カメラによる物体認識部３６０２は、物体が棚内から取られたまたは棚に置かれた前の物体撮像画像と、物体が棚内から取られたまたは棚に置かれた後の物体撮像画像の変化前後の物体撮像画像を比較し、変化のあった画像領域を特定する。棚カメラによる物体認識部３６０２は、画像領域を特定する際にＲＧＢデータ夫々で変化を確認する。
また、棚カメラによる物体認識部３６０２は、物体入出検知部をトリガーに、物体が棚内から取られたまたは棚に置かれた前の物体撮像画像と、物体が棚内から取られたまたは棚に置かれた後の物体撮像画像の変化前後の比較とは別の方法を用い、１枚の物体撮像画像のみから物体の領域を定義してもよい。
物体の色データが同じであるため、入出等の変化があっても変化がなかったと判定されないようにするため、棚カメラによる物体認識部３６０２は、物体の影を利用することによっても領域を定義してもよい。
認識した物体領域の情報は、棚カメラによる商品特定部３６０３に引き渡される。
棚カメラによる商品特定部３６０３は、棚カメラによる物体認識部３６０２によって認識された棚内の物体がいずれの商品であるかを特定する。棚カメラによる商品特定部３６０３は、特定物体認識、一般物体認識、ディープラーニング等の画像処理手法により、商品候補をリストアップする。このリストアップされた商品候補を「商品候補リストＳ」と呼ぶ。その後、棚カメラによる商品特定部３６０３は、検証機能を発揮させることで、商品を高い精度で特定する。
検証機能は前述の商品候補をリストアップする手法と異なるアルゴリズムによって「商品候補リストＰ」をリストアップする。商品候補リストＳとＰの結果をマッチングさせて、所定の閾値を超える場合、商品を特定する。
「商品候補リスト」のリストアップ手法として、例えば、存在が認識された物体から得られる物体の画像情報と、商品ＤＢ１３１やメモリ上に保持されている画像情報とマッチングさせる方法により実現されてもよい。即ち、両画像の特徴情報が一致する（閾値を超える）と、棚カメラによる物体認識部３６０２によって存在が認識された物体が、商品ＤＢ１３１に登録されている商品であるため、棚カメラによる商品特定部３６０３は、その商品ＤＢ１３１に登録された商品であると特定する。ディープラーニングにより、商品候補を作成し、その後、検証機能を発揮させることで、商品を高い精度で特定する。
棚カメラによる商品特定部３６０３は、棚カメラ３１１によって撮像された撮像画像の１フレームで商品を特定せず、天井カメラ３１０によって撮像された撮像画像も駆使し、複数の撮像画像にわたって商品を特定してもよい。その際、棚カメラによる商品特定部３６０３は、商品候補に対し、パーセンテージを持たせ、購入履歴、時間、場所、人の嗜好等の情報をもとに、パーセンテージを加算し、一定の閾値を超えたときに商品を特定する。
カゴと商品紐づけ部３６０５は、棚カメラによる商品特定部３６０３によって特定された商品の商品情報と移動物体Ｍｏとを紐づける。この前提として、１台の棚カメラ３１１が撮像する所定エリア内に、１台の移動物体Ｍｏのみが存在する場合であれば、当該移動物体ＭｏのＩＤを特定することで、移動物体Ｍｏと商品情報とを紐づけることができる。この際、カゴと商品紐づけ部３６０５は、移動物体Ｍｏに付けられたマーカー等に付随する位置情報を用いて移動物体ＭｏのＩＤを特定する。
別の前提として、１台の棚カメラ３１１が撮像する所定エリア内に複数台の移動物体Ｍｏが存在する場合であれば、後述の棚カメラまたは天井カメラによるカゴ入出検知部が移動物体Ｍｏ内への物体の入出を検知した結果、棚内から取られた物体が入った移動物体Ｍｏを特定し、当該移動物体Ｍｏと商品情報とを紐づける。
さらに別の前提として、１台の棚カメラ３１１が撮像する所定エリア内に移動物体Ｍｏが１台も存在しないとされる場合であれば、少なくとも１台以上の棚カメラ３１１または少なくとも１台以上のカゴカメラ３１２によって、移動物体Ｍｏへの入出を検知し、その移動物体Ｍｏを特定したうえで、その特定された移動物体Ｍｏと商品情報とを紐づける。
カゴと紐づく商品リスト管理部３６０７は、精算までの間、移動物体Ｍｏと特定された商品とを紐づける商品リストを管理し続ける。即ち、カゴと紐づく商品リスト管理部３６０７は、位置情報管理ＤＢ１３２等を活用し、移動物体ＭｏのＩＤに紐づく商品のリストを常に管理し続ける。
物体が棚内から取られた際、カゴと紐づく商品リスト管理部３６０７は、取得された商品数分加算される。反対に、商品が棚内に戻された際、カゴと紐づく商品リスト管理部３６０７は、戻された商品数分を減算する。
棚カメラによる物体入出検知部３６０８は、棚内へ物体が進入したことを検知することで、棚カメラによる物体認識部３６０２の発動のトリガーとすることができる。
例えば、棚カメラによる物体入出検知部３６０８は、棚内への物体の進入を、各棚カメラ３１１の撮像画像に設定した「進入検知領域」における画像データの変化から検知する。また、棚カメラによる物体入出検知部は、入ってきた物体を画像内で追跡することで、物体が領域外に退出したことも検知する。
物体を追跡するために、棚カメラによる物体入出検知部３６０８は、棚内の進入検知領域にパーティクルフィルタをまく。複数の買い物客が同時に手を伸ばした場合のように、複数の移動物体Ｍｏを同時に追跡できるようにするため、１つ目の物体が進入後に、前記「進入検知領域」に再度、パーティクルをまき、次の物体の進入に備える。
ただし、同じ領域に複数の物体が進入しないことを前提とすれば、棚カメラによる物体入出検知部３６０８は、既に物体が存在する領域にかかる進入検知領域にはパーティクルをまかない。
棚カメラによる物体入出検知部３６０８は、所定領域において、一定の尤度を持つパーティクルの占める割合が閾値以上の場合は「物体入」と判定し、一定の尤度を持つパーティクルが閾値未満の場合は「物体出」と判定する。
一度になるべく少ない量の物体の領域が推定されるように、棚カメラによる物体入出検知部は、商品が進入される都度、入出を検知する。
変化前後の画像は、推定領域で利用できるようにサーバ１の記憶部１０８に記憶される。
棚カメラによる物体入出検知部３６０８は、上述の例以外に、物体の撮像画像から得られるスペクトル（波長）データから物体入出を検知してもよい。さらに、棚カメラによる物体入出検知部は、重量・圧力センサー、赤外線センサー、エチレンガスセンサー等の方法を用いて物体入出を検知してもよい。
商品不特定判定部３６０９は、棚カメラによる商品特定部３６０３によって商品を特定できなかったことを棚から物体を取った移動物体Ｍｏと紐づける。
ここで、棚カメラによる商品特定部３６０３における検証機能により、商品を特定することができなかった場合について説明する。まず、棚カメラによる商品特定部３６０３は、物体が棚から取られた画像と物体が棚に置かれた画像とが類似する特徴点数を特定する。例えば、両画像に撮像された物体のサイズを特定したうえで比較し、色違いを特定したうえで色を比較し、両物体が類似しているかどうかを決定する。特徴点数が少ないと、商品を特定することができず、誤って精算されないようにすることができる。
ラベル認識部３６１０は、棚カメラによる商品特定部３６０３によって特定された商品に応じて、貼付されたラベルを認識する。ラベル認識部３６１０は、画像認識の手法を駆使し、ラベルに記載された文字、バーコード等を含む多次元コードを読み取り、商品特定を補完する。
値引きシール認識部３６１１は、棚カメラによる商品特定部３６０３によって特定された商品に応じて、貼付された値引きシールを認識する。値引きシール認識部３６１１は、画像認識の手法を駆使し、商品に貼付された値引きシールの値引き額や割引率を特定する。値引きシール認識部３６１１は、商品特定部の処理中に実行される。
棚カメラまたは天井カメラによるカゴ入出検知部３６１２は、棚カメラ３１１または天井カメラ３１０の少なくともいずれか一方がカゴ類に付けられたマーカー等から棚カメラ及び天井カメラの所定エリア内に移動物体Ｍｏが存在しているかどうかや存在していない場合の移動物体Ｍｏへの入出を検知する。棚カメラまたは天井カメラによるカゴ入出検知部３６１２は、さらに、マーカー等により定義された移動物体Ｍｏの領域への進入を検知してもよい。その際、移動物体Ｍｏの領域への進入は、追跡されている商品の位置情報と移動物体Ｍｏの領域の進入検知ライン（カゴの縁等）の位置情報との比較により行う。
実施形態３の情報処理システムは、さらに、カゴ商品認識部３７０を備えていてもよい。
図３０は、図２７の売場装置３に備えられたカゴ商品認識部３７０の詳細な機能的構成例を示す機能ブロック図である。
カゴ商品認識部３７０は、カゴカメラによるカゴ入出検知部３７２と、カゴカメラによる物体認識部３７３と、カゴカメラによる商品特定部３７４と、カゴ商品の不特定判定部３７５と、カゴ商品のラベル認識部３７６と、カゴ商品の値引きシール認識部３７７と、を備える。
カゴカメラによるカゴ入出検知部３７２は、カゴ類（移動物体Ｍｏ）内へ買い物客の手のような物体が進入した際に、その進入を検知することで、カゴカメラによる物体認識部３７３の発動のトリガーとすることができる。カゴカメラによるカゴ入出検知部３７２は、カゴ類内への物体の進入を、各カゴカメラ３１２の撮像画像に設定した「進入検知領域」における画像の変化から検知する。
カゴカメラによるカゴ入出検知部３７２は、撮像画像のフレーム内に入ってきた物体をそのフレーム内で追跡することで、その移動物体Ｍｏがそのフレーム外に退出したことも検知する。カゴカメラによるカゴ入出検知部３７２は、パーティクルフィルタを用いて物体を追跡する。
カゴカメラによるカゴ入出検知部３７２は、複数の移動物体Ｍｏを同時に追跡するため、１つ目の物体が進入した後、進入検知領域に再度、パーティクルをまき、次の物体の進入に備える。
カゴカメラによるカゴ入出検知部３７２は、所定領域内において、一定の尤度を持つパーティクルの占める割合が閾値以上である場合に「物体入」と判定し、閾値未満である場合に「物体出」と判定する。カゴカメラによるカゴ入出検知部は、一度になるべく少ない量の物体の領域を推定するように、物体が入出するたびに入出を検出する。
カゴカメラによる物体認識部３７３は、買い物客の手等の物体がカゴ類（移動物体Ｍｏ）内に入った際の画像とカゴ類（移動物体Ｍｏ）内から出た後の画像とを比較し、棚内から取られてカゴ類（移動物体Ｍｏ）内に入れられた（またはカゴ類（移動物体Ｍｏ）内から棚に戻された）物体を商品特定するために画像領域を定義する。カゴカメラによる物体認識部３７３は、ＲＧＢデータを用いて領域の変化を確認する。
カゴカメラによる物体認識部３７３は、物体の撮像画像から得られるスペクトル（波長）データ、重量センサー、圧力センサー、赤外線センサー、メチレンガスセンサー等から物体を認識してもよい。
カゴカメラによる商品特定部３７４は、カゴ類に入れられた物体がいずれの商品かを特定する。カゴカメラによる商品特定部３７４は、カゴカメラによる物体認識部３７３により認識された物体について、特定物体認識、一般物体認識、ディープラーニング等の画像処理手法により、商品候補をリストアップする。このリストアップされた商品候補を「商品候補リストＳ」と呼ぶ。その後、カゴカメラによる商品特定部３７４は、検証機能を発揮させ、商品を高い精度で特定する。
検証機能は、前述の商品候補をリストアップする手法と異なるアルゴリズムによって「商品候補リストＰ」をリストアップする。カゴカメラによる商品特定部３７４は、商品候補リストＳとＰとをマッチングさせ、所定の閾値を超える場合に商品を特定する。
商品候補のリストアップの手法として、例えば、存在が認識された物体から得られる物体撮像画像の情報と、商品ＤＢ１３１や記憶部１０８によって保持されている画像情報とをマッチングさせる方法により、実現してもよい。即ち、両画像の特徴情報が一致する、即ち、閾値を超えると、カゴカメラによる物体認識部３７３によって存在が認識された物体は、その商品ＤＢ１３１に登録された商品であると特定する。
カゴカメラによる商品特定部３７４は、撮像画像の１フレームで商品を特定せず、複数フレームにわたる撮像画像から商品を特定してもよい。その際、カゴカメラによる商品特定部３７４は、商品候補に対し、パーセンテージを持たせ、購入履歴、時間、場所、人の嗜好等の情報をもとにパーセンテージを加算し、一定の閾値を超えたときに商品を特定してもよい。
本実施形態においては、特定の物体について目検用端末Ｑによる目検が行われる特定物体目検モードと、全ての物体について目検用端末Ｑによる目検が行われる全物体目検モードとが設定可能となっている。
特定物体目検モードに設定されている場合、カゴカメラによる商品特定部３７４は、商品不特定とされた物体の物体撮像画像及び関連する情報等を、目検結果取得部３０１ａを介して目検用端末Ｑに送信する。一方、全物体目検モードに設定されている場合、カゴカメラによる商品特定部３７４は、商品の特定結果及び特定された商品の商品撮像画像と、商品不特定とされた物体の物体撮像画像及び関連する情報等とを目検結果取得部３０１ａを介して目検用端末Ｑに送信する。
そして、カゴカメラによる商品特定部３７４は、目検結果取得部３０１ａが目検用端末Ｑから取得した目検結果に基づいて、商品の特定を行う。具体的には、カゴカメラによる商品特定部３７４によって特定された商品については、目検結果により特定結果が承認または修正された場合、カゴカメラによる商品特定部３７４は、目検結果が示す内容に従って、商品の特定を行う。また、カゴカメラによる商品特定部３７４によって商品不特定とされた物体については、カゴカメラによる商品特定部３７４は、その物体を目検結果が示す商品として特定する。なお、カゴカメラによる商品特定部３７４が目検による商品の特定を依頼する場合、カゴ商品のラベル認識部３７６による商品特定の補完を経た後に、依頼を行うこととしてもよい。この場合、カゴ商品のラベル認識部３７６による商品特定の補完の結果、商品が特定されたものを除外して、目検による商品の特定を行うことができる。
カゴ商品の不特定判定部３７５は、カゴカメラによる商品特定部３７４によって、カゴに入れられた物体を商品として認識できなかったことを当該移動物体ＭｏのＩＤと紐づける。
カゴ商品のラベル認識部３７６は、カゴカメラによる商品特定部３７４によって、カゴに入れられて特定された商品に応じて、貼付されたラベルを認識する。カゴ商品のラベル認識部は、画像認識の手法を駆使し、ラベルに記載された文字、バーコード等を含む多次元コードを読み取り、商品特定を補完する。
カゴ商品の値引きシール認識部３７７は、画像認識の手法を駆使し、カゴカメラによる商品特定部３７４によって特定された商品に貼付された値引きシールの値引き額や、割引率を特定する。カゴ商品の値引きシール認識部は、カゴカメラによる商品特定部が処理中に値引き額等の特定を実行する。
また、本情報処理システムは、売買制限商品判定部３８０と、遠隔操作部３９０と、を備える。
売買制限商品判定部３８０は、実施形態１において説明したように、特定された商品が売買制限商品であるか否かを判定する。売買制限商品判定部は、売買制限商品を検知すると、その情報をエラー表示部１５１に表示されるようにする。
本実施形態において、売買制限商品判定部３８０は、売買制限商品に該当する商品の商品撮像画像を、目検結果取得部３０１ａを介して目検用端末Ｑに送信する。このとき、売買制限商品判定部３８０は、売買制限商品の種別に応じて、買い物客に関する情報（顔画像、個人情報等）を、目検結果取得部３０１ａを介して目検用端末Ｑに適宜送信する。
そして、売買制限商品判定部３８０は、目検結果取得部３０１ａが目検用端末Ｑから取得した目検結果に基づいて、売買制限商品の販売が許可されるか否か（売買制限が解除されたか否か）を判定する。
遠隔操作部３９０は、情報端末３８やサーバ１に備えられ、例えば、エラー状態が通知されたときに、エラー状態を解消する機能を有している。
目検結果取得部３０１ａは、物体撮像画像、または、商品の特定結果及び特定された商品の商品撮像画像を目検用端末Ｑに送信することにより、目検による商品の特定を依頼し、この依頼に応じて目検用端末Ｑから送信された目検結果を取得する。目検結果取得部３０１ａは、取得した目検結果（商品の特定結果）を棚商品認識部３６０に出力する。また、目検結果取得部３０１ａは、売買制限商品に該当する商品の商品撮像画像を目検用端末Ｑに送信することにより、目検による売買制限商品の判定を依頼し、目検用端末Ｑから送信された目検結果を取得する。このとき、目検結果取得部３０１ａは、買い物客に関する情報（顔画像、個人情報等）を、適宜、目検用端末Ｑに送信する。目検結果取得部３０１ａは、取得した目検結果（売買制限商品の判定結果）を売買制限商品判定部３８０に出力する。
精算エリア３５内に設置された精算機４は、１以上のカゴ類内に入れられた全商品の合計金額を算出し、精算乃至、決済する。精算機では、追跡し続けた移動物体Ｍｏ及び移動物体Ｍｏに紐づいた商品情報をもとに精算する。
そのため、精算機４は、図２７に示すように、ＣＰＵ４０１と、入力部４０６と、出力部４０７と、通信部４０９と、を備えている。
ＣＰＵ４０１においては、精算部４３５と、入力制御部４３６と、出力制御部４３７と、が機能する。
入力部４０６は、クレジットカードや電子マネーの読み取り部等を備えている。
出力部４０７は、精算商品を表示する画面やレシートを出力する機能等を備えている。
精算部４３５は、精算金額及び精算対象品を確定する。
入力制御部４３６は、入力部４０６からの信号を入力し、ＣＰＵ４０１を作動させる。
出力制御部４３７は、精算部４３５の演算結果を出力部４０７に出力する。
精算機４は、移動物体Ｍｏの位置情報と予め定められた精算エリア３５の位置関係を比較し、移動物体Ｍｏの位置情報が精算エリア３５内に入ったこと、あるいは、移動物体Ｍｏが精算機４に置かれたことをトリガーに精算する。
あるいは、精算機４に精算開始を指示するボタンが備えられ、ボタン押下等をトリガーに精算してもよく、精算機４に重量センサー（図示せず）を備え、移動物体Ｍｏが置かれた際の重量の変化を認識し、精算機４が精算するようにしてもよい。
精算機４は、現金だけでなく、商品券や金券、仮想通貨等でも支払いができるようにされている。
このような精算機４においては、エラー状態が起こり得る。エラー状態とは、（Ａ）システム処理異常、（Ｂ）商品不特定の物体が移動物体Ｍｏに紐づいている場合、（Ｃ）売買制限商品が移動物体Ｍｏに紐づいている場合、等が例として挙げられる（当然これらに限定されない）。
各エラー状態に応じ、本実施形態が採用するシステムが種々の対応を行う。
（Ａ）の場合は、システム処理異常の旨を精算機４、情報端末３８ａ、情報端末３８ｂ、サーバ１に提示する。これにより、店員がエラー状態を解消することが可能となる。エラー状態の解消は、遠隔操作部３９０により、行われてもよい。
（Ｂ）の場合は、商品不特定の物体が移動物体Ｍｏに紐づいている旨が精算機４、情報端末３８ａ、情報端末３８ｂ、サーバ１に提示される。本実施形態において、（Ｂ）のエラー状態が発生した場合、目検用端末Ｑにおける目検が行われ、その目検結果に応じて、精算が継続または中止される。これにより、精算を自動的に行うことが可能なケースを増加させることができる。なお、（Ｂ）のエラー状態が発生した場合、店員がエラー状態を解消することとしてもよい。エラー状態の解消は、遠隔操作部３９０により、行うことができる。
（Ｃ）の場合、売買制限商品が移動物体Ｍｏに紐づいている旨が精算機４、情報端末３８ａ、情報端末３８ｂ、サーバ１に提示する。本実施形態において、（Ｃ）のエラー状態が発生した場合、目検用端末Ｑにおける目検が行われ、その目検結果に応じて、精算が継続または中止される。これにより、精算を自動的に行うことが可能なケースを増加させることができる。なお、（Ｃ）のエラー状態が発生した場合、例えば年齢制限による売買制限商品の場合であれば、店員が買い物客の年齢を確認したり、消費・賞味期限切れの商品による売買制限商品の場合であれば、店員が商品の交換対応をしたり、アレルギー・ハラル食品以外による売買制限商品の場合であれば、買い物客が自ら確認することにより、エラー状態を解消することとしてもよい。エラー状態の解消は、遠隔操作部３９０により、行うことができる。
ここで、実施形態３の商品認識システムによって、物体から商品を特定し、その商品について精算する方法について、図３１を参照して説明する。
図３１は、図２７のサーバ１と売場装置３と精算機４が実行する自動精算処理の基本的な流れを説明するフローチャートである。
ステップＳ３０１において、買い物客が（移動物体）が店舗３０（図２４）の入口３１から店内に入店し、入口３１付近に設置された天井カメラ３１０がその買い物客の撮像を開始する。買い物客がカゴやカードを手にし、通路３４を進むと奥の天井カメラ３１０がその買い物客の撮像を開始する。このようにして複数の天井カメラ３１０が買い物客、カゴ、カートを含む店舗３０内全体を常時撮像する。なお、ステップＳ３０１の前に、個人認証部３２０が買い物客の個人認証し、買い物客の個人情報を取得してもよい。
ステップＳ３０２において、天井カメラによる移動物体発見部３３０２は、状態空間モデル（ベイジアンフィルタ）等を用いて撮像画像中の移動する物体（採番せず）を発見する。
撮像画像には、店舗３０内を移動する物体だけでなく、静止物体も撮像されているため、天井カメラによる移動物体発見部３３０２は、静止物体を除去した店舗３０内を移動する物体のみ発見する。
ステップＳ３０３において、天井カメラによるカゴ発見部３３０３は、天井カメラによる移動物体発見部３３０２によって発見された物体の中から、カゴ類（実施形態３における移動物体Ｍｏ）を発見し、個別のＩＤを採番する。ＩＤは、退店または精算完了等の特定のタイミングまで使い続けられる。
ステップＳ３０４において、天井カメラによるカゴ領域定義部３３０６は、天井カメラによるカゴ発見部３３０３によって発見した移動物体Ｍｏの領域の位置を定義する。また、天井カメラ３１０によって撮像されている範囲内で移動物体Ｍｏが移動したときに、移動後の移動物体Ｍｏの領域の位置を改めて定義する。位置情報は移動物体ＭｏのＩＤと紐づけて位置情報管理ＤＢ１３２やメモリ等で管理され、領域定義ごとに更新される。この定義された位置は、別の天井カメラ３１０において撮像されている位置でも認識される。
ステップＳ３０５において、天井カメラによるカゴ領域追跡部３３０７は、ある天井カメラ３１０によって撮像されている撮像画像内で移動物体Ｍｏが移動する位置を推定する。さらに、天井カメラによるカゴ領域定義部３３０６が移動したと推定される位置に対し、移動物体Ｍｏの領域を定義し、位置情報管理ＤＢ１３２やメモリ上に記憶されている移動物体Ｍｏの位置情報を更新する。
ステップＳ３０６において、棚カメラによる物体入出検知部３６０８は、買い物客の手等の物体が棚内に入ったこと及び出たことを検知する。この検知がトリガーとなって、棚カメラによる物体認識部３６０２が発動する。棚内への物体の進入は、各棚カメラ３１１に設定された進入検知領域における画像データが変化したかどうかによって検知する。
棚カメラによる物体入出検知部３６０８は、棚内に進入した物体を追跡し続けることで物体が棚内から退出したことを検知する。
ステップＳ３０７において、棚カメラによる物体認識部３６０２は、棚内へ前記物体が進入する前の撮像画像と、棚内から移動物体Ｍｏが退出した後の撮像画像とを比較し、棚内から取られた物体を認識する。
ステップＳ３０８において、棚カメラによる商品特定部３６０３は、検出された移動物体Ｍｏがいずれの商品であるかを特定する。棚カメラによる商品特定部３６０３は、物体認識部３６０２により検出された物体について、特定物体認識、一般物体認識、ディープラーニング等の画像処理手法により、商品候補をリストアップする。このリストアップされた商品候補を「商品候補リストＳ」と呼ぶ。その後、棚カメラによる商品特定部３６０３は、検証機能を発揮させ、商品を高い精度で特定する。
検証機能は、前述の商品候補をリストアップする手法と異なるアルゴリズムによって「商品候補リストＰ」をリストアップする。棚カメラによる商品特定部３６０３は、商品候補リストＳとＰとをマッチングさせ、所定の閾値を超える場合に商品を特定する。
商品候補のリストアップの手法として、例えば、存在が認識された物体から得られる物体撮像画像の情報と、商品ＤＢ１３１や記憶部１０８によって保持されている画像情報とをマッチングさせる方法により、実現してもよい。即ち、両画像の特徴情報が一致する、即ち、閾値を超えると、棚カメラによる物体認識部３６０２によって存在が認識された物体は、その商品ＤＢ１３１保持された商品であると特定する。
なお、商品不特定判定部３６０９は、商品を特定することができなかった場合に、エラー情報をサーバ１へ送信する。このエラー情報は、エラー表示部１５１や情報端末３８に表示される。
ステップＳ３０９において、カゴと商品紐づけ部３６０５は、棚カメラによる商品特定部３６０３によって特定された商品と移動物体ＭｏのＩＤと紐づける。即ち、特定された商品を取った買い物客が持つカゴ類（移動物体Ｍｏ）がいずれかを特定する。
また、棚から商品または物体を取った・戻した時に商品不特定判定部３６０９によって商品を特定できなかった場合、商品不特定の情報（エラー情報）を移動物体ＭｏのＩＤと紐づける。
ステップＳ３１０において、移動物体Ｍｏと紐づく商品リスト管理部３５７は、移動物体ＭｏのＩＤに紐づく商品のリストを管理し続ける。この管理は移動物体Ｍｏが精算エリア３５に移動する等、所定のタイミングまで続けられる。
ステップＳ３１１において、精算エリア３５において、移動物体Ｍｏの全商品が合計され、精算機３７で精算乃至決済されると、移動物体Ｍｏに紐づく商品リストを精算済みのステータスに更新し、自動精算処理を終了する。また、移動物体Ｍｏが商品不特定の情報（エラー情報）に紐づいていた場合は、自動精算処理を終了せず、エラー情報をサーバ１へ送信する。このエラー情報は、エラー表示部１５１や情報端末３８に表示される。即ち、店員が買い物客のもとにかけよりエラーの確認・解除を行うことができる。
なお、精算されていない移動物体Ｍｏが出口３２を通過した場合、エラー情報がサーバ１へ送信される。このエラー情報は、エラー表示部１５１や情報端末３８ａ、情報端末３８ｂに表示される。出口３２付近に警報機（図示せず）が備えられていると、警報機は音や光等により、警告を発する。
実施形態３の自動精算処理は、棚カメラによって撮像された画像に基づいて商品を特定するため、カゴに入れられた物体について商品を特定する必要はない。
しかし、その商品が間違って特定されていないかを検証するため、カゴに入れられた物体についても商品を特定することが好ましい。
図３２は、図２７のサーバ売場装置と精算機が実行する自動精算処理のカゴ内商品を認識する処理を説明するフローチャートである。
ステップＳ３２１において、カゴカメラによるカゴ入出検知部３７２は、カゴの領域以外の尤度が低くなるように、事前に撮像画像内の所定の位置に設定された進入検知領域にパーティクルを設置する。
ステップＳ３２２において、カゴカメラによるカゴ入出検知部３７２は、パーティクルの尤度によって物体（買い物客の手等）がカゴ内の進入検知領域に進入したことを検知する。なお、複数物体の進入に備えるため、物体がカゴ内の進入検知領域に進入したのち、カゴカメラによるカゴ入出検知部３７２は、新たなパーティクルを設置する。
ステップＳ３２３において、カゴカメラ３１２は、物体（買い物客の手等）が進入検知領域に進入した時点のカゴ内の状態を撮像する。カゴカメラ３１２は、進入検知領域外も撮像している。
例えば、撮像された画像（前画像）には、３個の商品が撮像されていたとする。なお、前画像に撮像されている商品は、すでに物体から特定されているため、商品となる。
ステップＳ３２４において、カゴカメラ３１２は、物体が進入検知領域から退出した時点のカゴ内の状態を撮像する。例えば、このときに撮像された画像（後画像）には、前述の３個の商品に追加して１個の物体が撮像されていたとする。
ステップＳ３２５において、カゴカメラによる物体認識部３７３は、前画像と後画像とを比較し、追加された１個の物体についての画像領域を定義する。
ステップＳ３２６において、カゴカメラによる商品特定部３７４は、増加した１個の物体がいずれの商品であるかを特定する。この商品の特定は、棚商品認識部３６０がした特定の手法と同じ手法を採用することができる。
ステップＳ３２７において、カゴカメラによる商品特定部３７４は、特定物体目検モードまたは全物体目検モードのいずれに設定されているか判定する。
特定物体目検モードに設定されている場合、処理はステップＳ３２８に進む。
また、全物体目検モードに設定されている場合、処理はステップＳ３２９に進む。
ステップＳ３２８において、目検結果取得部３０１ａは、対象となる物体について、目検用端末Ｑにおける目検（商品の特定）を依頼し、その目検結果を取得する。
ステップＳ３２８の後、処理はステップＳ３２９に進む。
ステップＳ３２９において、カゴカメラによる商品特定部３７４は、追加された１個の物体がいずれの商品であるか特定できないものであるかどうか判定する。カゴカメラによる商品特定部３７４がいずれの商品であるか特定できないものである場合（ステップＳ３２９においてＹＥＳ）は、処理はステップＳ３２７に進む。
ステップＳ３２９においてカゴカメラによる商品特定部３７４がいずれの商品であるか特定できた場合（ステップＳ３２９においてＮＯ）は、カゴカメラによる商品特定部３７４は、サーバ１の記憶部に保持された商品名や価格、売買制限商品である等の情報を含めて商品を特定する。これにより、処理はステップＳ３３０に進む。特定された商品情報は、出力部４０７に出力されてもよい。
また、ステップＳ３２９においてカゴカメラによる商品特定部３７４がいずれの商品であるか特定できなかった場合は、カゴカメラに備え付けられた図示しない表示部の画面表示や、図示しないスピーカーによる音声案内等で、購入者へ商品のカゴへの入れ直しを依頼する構成としてもよい。さらに、カゴカメラに備え付けられた図示しないマイクロフォンを介して、購入者と目検者等が通話する構成としてもよい。
ステップＳ３３０において、売買制限商品判定部３８０は、カゴカメラによる商品特定部３７４によって特定された商品が、年齢確認が必要とされる商品であるかどうかを判定する。
ステップＳ３３０において、カゴカメラによる商品特定部３７４によって特定された商品が、年齢確認が必要とされる商品であると判定された場合は、即ちＹＥＳと判定された場合、処理はステップＳ３３１に進む。
ステップＳ３３０において、カゴカメラによる商品特定部３７４によって特定された商品が、年齢確認が必要とされる商品でないと判定された場合は、即ちＮＯと判定された場合、カゴ内商品の認識処理は終了となる。
ステップＳ３３１において、出力制御部４３７は、精算機４の出力部４０７に年齢確認のための画面を表示させる。ただし、買い物客の個人情報が取得され、ここで年齢確認する必要がない場合は、ステップＳ３３０はスキップされ、処理はステップＳ３３５に進む。ここで、買い物客の年齢認証に問題があるときは、精算機４に備え付けられた図示しないスピーカーと図示しないマイクロフォンを介して、購入者と目検者等が通話する構成としてもよい。
ステップＳ３３２において、目検結果取得部３０１ａは、対象となる商品について、目検用端末Ｑにおける目検（売買制限商品の判定）を依頼し、その目検結果を取得する。
ステップＳ３３３において、売買制限商品判定部３８０は、売買制限を解除する指示を受け付けたか否かを判定する。
ステップＳ３３３において売買制限を解除する指示を受け付けていないと判定された場合は、処理はステップＳ３３４に進む。
ステップＳ３３３において売買制限を解除する解除指示を受け付けたと判定されると、即ちＹＥＳと判定されると、処理はステップＳ３３５に進む。
ステップＳ３３４において、目検用端末Ｑの目検結果送信部４１２は、目検結果によっても売買制限が解除されなかった旨の警告を送信する。この警告を受信することにより、例えば、精算機４の出力制御部４３７は、目検結果によっても売買制限が解除されなかった旨の警告を、出力部４０７を介して提示する。ステップＳ３３４の後、処理は終了し、精算が中止となる。
ステップＳ３３５において、売買制限商品判定部３８０は、売買制限を解除する。
このようにしてステップＳ３３５が終了されるか、またはステップＳ３３０において年齢制限商品でないと判定された場合（ＮＯであると判定された場合）、カゴ内商品の認識処理は終了となる。
このようにして、本情報処理システムは、カゴ内に入れられた物体がいずれの商品であるかを特定する。
そして、本情報処理システムは、上述のステップＳ３０８において特定した商品とステップＳ３２６において特定した商品とが一致しているかどうかを検証することができる。商品が不特定の場合、エラー状態の旨がエラー表示部１５１、情報端末３８ａ、情報端末３８ｂに表示される。そして、目検の対象とされる物体や商品（例えば、レジ端末２において商品の特定が行えない物体や、売買制限商品に該当する商品等）については、目検用端末Ｑにおける目検が行われ、目検結果（商品の特定結果や売買制限商品の判定結果等）に応じて、自動精算が行われる。
したがって、本情報処理システムによれば、買い物客が商品を購入する際に、商品の代金の精算の自動化が可能になると共に、商品の特定精度を高めることができる。
また、精算することが適切でない物体や商品が精算にかけられた場合に、誤って精算されないようにすることができる。また、商品が不特定の旨が情報端末３８ａ、情報端末３８ｂに表示されると、店員がこのカゴが位置している売場まで行き、商品を検証してもよく、店内外の店員等が遠隔操作でエラー状態を解除してもよい。
実施形態３において、移動物体Ｍｏ（カゴやカート）の追跡において想定されるエラーには、（Ａ）買い物客が店舗３０の入口３１から入店し、カゴやカートを手にした際に、天井カメラによる移動物体発見部３３０２が移動物体Ｍｏを検出できなかった場合、（Ｂ）天井カメラによるカゴ領域追跡部３３０７が追跡中の移動物体Ｍｏを見失った場合、（Ｃ）二つ以上の異なる移動物体Ｍｏの夫々に紐付けられたＩＤが追跡途中に入れ替わった場合、等が含まれる（当然これらに限定されない）。
各エラー状態に応じ、本実施形態が採用するシステムが、以下の例を含む、種々の対応を行う。
（Ａ）天井カメラ３１０により撮像された、カゴやカートを保持する買い物客を被写体として含む画像を目検用端末Ｑに送信し、目検による移動物体Ｍｏの検出を依頼する。目検者が移動物体Ｍｏを検出した場合は、当該買い物客の保持するカゴやカートに対応する新たな移動物体Ｍｏを定義の上、ＩＤを発番して、天井カメラによるカゴ領域追跡部３３０７による追跡を開始する。目検者が移動物体Ｍｏを検出できなかった場合は、その旨を店員に報知する。
（Ｂ）位置情報管理ＤＢ１３２に登録されているどのＩＤとも紐づけられていないカゴやカートが認められた場合、そのカゴやカートを保持する買い物客を含む撮像画像と、紐づけられるべきＩＤ候補のリストが目検用端末Ｑに送信される。目検者は、過去のカゴやカートとＩＤとの紐づけ情報に基づいて、最も適切なＩＤを当該カゴやカートに紐づけ、天井カメラによるカゴ領域追跡部３３０７による再追跡を開始する。何らかの理由で再追跡が開始できなかった場合は、その旨が店員に報知される。
また、カゴやカートとの紐づけを失ったＩＤが検出された場合には、当該ＩＤと、どのＩＤとも紐づけられていないカゴやカートを保持する買い物客の撮像画像のリストが目検用端末Ｑに送信される。目検者は、過去のカゴやカートとＩＤとの紐づけ情報に基づいて、当該ＩＤにカゴやカートを紐づけることを試み、紐づけが成功した場合は、天井カメラによるカゴ領域追跡部３３０７による再追跡を開始する。何らかの理由で再追跡の開始が失敗した場合は、その旨が店員に報知される。
（Ｃ）夫々のカゴやカートを保持する買い物客の画像リストと、夫々のカゴやカートに紐づけられるべきＩＤのリストが目検用端末Ｑに送信される。目検者は、過去のカゴやカートとＩＤとの紐づけ情報に基づいて、最も適切に、ＩＤをカゴやカートに割り振ることを試みる。ＩＤをカゴやカートに適切に割り振ることができた場合は天井カメラによる移動物体領域追跡部３３０５による再追跡を開始する。ＩＤをカゴやカートに適切に割り振ることができない場合は、割り振りを諦め、紐づけが入れ替わったままの旨を店員に報知する。
〔実施形態４〕
図３３は、実施形態４における商品認識システムを採用するスーパーマーケットのレイアウト例を示す図である。
実施形態４の情報処理システムは、図３３に示すようなスーパーマーケット等の店舗４０に対して適用する商品認識システムである。実施形態４の情報処理システムは、商品がレジ台に置かれることなく精算ゲート５−１乃至５−３を通過するだけでも自動精算できるようになされている。
店舗４０において、入口４１には、買い物カゴやショッピングカート等（採番せず）が置かれている。出口４２の手前には、精算ゲート５−１乃至５−３と店員Ｍｔが操作する精算レジ６とが設置されている。また、入口４１から出口４２までの間に、商品を陳列する複数の棚ラック４３が設置されている。棚ラック４３においては、鉛直方向に複数の棚が、所定の間隔をあけて並べられ、複数の棚の夫々には各種商品が陳列される。以下、棚と棚との間を「棚内」とも記述する。水平方向に向き合った棚ラック４３と棚ラック４３との間が通路４４とされる。
買い物客は、入口４１から入店し、買い物カゴを取って、ショッピングカートを押して、あるいは、持参したマイバッグを持って通路４４を進む。買い物客は、棚内の商品を取って、カゴ類の中に入れて通路４４を進む。買い物客は、購入したい商品を全て取ると、精算エリア４５へ進み、精算する。
通路４４や精算エリア４５等において、店員Ｍｔが見回り等をしている。店員Ｍｔは、情報端末９ａを所持している。情報端末９ａは、スマートフォン等の携帯型情報処理端末であり、店内の状態を表示する機能、店内で発生したエラー状態を表示する機能、遠隔操作機能等を備えている。
図３３において、雲形で描かれた線図の内側には、店舗４０内でなく、店舗４０外や店舗４０のバックヤードの様子が描画されている。店舗４０外または店舗のバックヤードには、サーバ１（図７）が設置されている。店舗外やバックヤードでは、店員Ｍｔが大型モニターの画面（図示せず）や情報端末９ｂの画面を通じて店舗４０内を監視することができる。
なお、買い物カゴ、ショッピングカート及びマイバッグを含めてカゴ類と呼ぶ。精算ゲート５−１乃至５−３を含む通路４４が精算エリア４５とされる。また、カゴ類等と買い物客を含めて移動物体Ｍｏと呼ぶ。
入口４１から出口４２までの間の通路４４の天井には、複数の天井カメラ３１０が設置されている。また、各棚ラック４３内の各棚の複数個所には、複数の棚カメラ３１１が設置されている。
なお、図３３において、雲形で描かれた線図の内側には、店舗４０内でなく、店舗４０外や店舗４０のバックヤードの様子が描画されている。店舗４０外には、サーバ１（図７）が設置されている。バックヤードでは、店員Ｍｔが大型モニターの画面（図示せず）や情報端末９ｂの画面を通じて店舗３０内を監視している。
図３４は、本情報処理システムの実施形態４としての商品認識システムの構成を示す構成図である。
実施形態４の商品認識システムは、図３５に示すような構成を有している。
商品認識システムは、サーバ１と、売場装置３と、ｎ台（ｎは任意の整数）の精算ゲート５−１乃至５−ｎと、を有している。なお、実施形態１及び２において採用したレジ端末２は、実施形態４において採用されない。
サーバ１と、売場装置３と、精算ゲート５−１乃至５−ｎとの夫々は、インターネット（Ｉｎｔｅｒｎｅｔ）回線等のネットワークＮを介して相互に接続されている。
なお、説明の便宜上、図３４のサーバ１は、１台しか描画されていないが、実際には複数台の場合もある。
また、以下、精算ゲート５−１乃至５−ｎを個々に区別する必要がない場合、これらをまとめて「精算ゲート５」と呼ぶ。
サーバ１は、売場装置３及び精算ゲート５の各動作を管理すべく、各処理を実行する。サーバ１は、図７に示した実施形態１のサーバ１のハードウェア構成と同様に構成されている。
したがって、サーバ１は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、バス１０４と、入出力インターフェース１０５と、出力部１０６と、入力部１０７と、記憶部１０８と、通信部１０９と、ドライブ１１０と、を備えている。
売場装置３は、図２６に示した実施形態３のハードウェア構成と同様に構成されているが、図示されたカゴカメラ３１２を備えていない。
したがって、売場装置３は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、バス３０４と、入出力インターフェース３０５と、天井カメラ３１０と、棚カメラ３１１と、情報端末９と、通信部３１５と、を備えている。
ただし、実施形態４でのエラー状態は、システム処理において異常が発生した場合や、棚商品認識において商品を特定できなかった場合、不特定の物体や売買制限商品が紐づいている移動物体Ｍｏが精算ゲート５を通過しようとした場合、精算していない買い物客（移動物体Ｍｏ）が退店しようとしている場合等種々の状況下で発生する。
このような売場装置３にネットワークＮを介して精算ゲート５が接続されている。
精算ゲート５は、精算機５ａを用いた精算ゲート５−１、電子マネー等を利用する精算ゲート５−２、通過するだけで精算できる精算ゲート５−３に区分されている。
有人の精算レジ６以外の精算ゲート５−１〜５−３には、常時閉じている開閉部材（採番せず）が備えられていてもよい。
また、精算機５ａを用いた精算ゲート５−１は、精算ボタン（図示せず）を備え、購入商品の金額の合計を算出し、出口４２側に設置された精算機５ａにて精算する。精算機５ａは、精算ゲート５−１よりも出口４２側に設置されている。この精算機５ａは、現金、クレジットカード、電子マネー、ポイント支払い、商品券・仮想通貨、プリペイドカード等で支払いができる決算手段を備えている。
この精算機５ａを用いた精算ゲート５−１にあっては、決済する人が、精算ボタンを押下すると、この押下がトリガーとなって後述する移動物体領域に紐づく商品情報が読み出され、精算金額が確定し、精算ゲート５−１を通過可能となる。開閉部材が備えられている場合は、開閉部材が開く。そして、決済する人が精算機５ａによって決済すると、退店可能となる。
電子マネー等を利用する精算ゲート５−２は、ゲート本体に電子マネー等をかざすことで精算する。即ち、電子マネー等を利用する精算ゲートは、カード読取部（図示せず）を備え、精算機５ａを用いた精算ゲート５−１のような精算ボタンを備えず、精算機５ａを使用しない。
電子マネー等には、決済可能なＩＣカードだけでなく、クレジットカード、いわゆるポイントカード、プリペイドカード等の狭義のカードだけでなく、情報携帯端末も含まれるが、以下、各種カードとして説明する。
決済する人がこの精算ゲート５−２の精算エリア４５に進入し、各種カードがカード読取部に読み取られると、後述する移動物体領域に紐づく商品情報が読み出され、精算及び決済が完了し、精算ゲート５−２を通過可能となる。
精算ゲート５−３は、入口４１や通路４４等において個人情報が取得された買い物客が、精算ゲート５−３を通過するのみで、精算及び決済が完了させる。即ち、現金を支払う、カードを読み取らせる等せずに、精算及び決済が完了する。
有人の精算レジ６は、店員Ｍｔが商品の価格を個々に入力し、精算する。
図３５は、図３４の商品認識システムのうち精算ゲート５のハードウェア構成を示すブロック図である。
精算ゲート５は、ＣＰＵ５０１と、ＲＯＭ５０２と、ＲＡＭ５０３と、バス５０４と、入出力インターフェース５０５と、入力部５０６と、出力部５０７と、記憶部５０８と、通信部４０９と、を備えている。
精算ゲート５のＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、バス５０４、入出力インターフェース５０５、記憶部５０８、通信部５０９は、サーバ１のこれらと同様に構成されている。
入力部５０６は、精算機５ａを用いた精算ゲート５−１にあってはゲート本体に備えられた精算ボタンであり、電子マネーを利用する精算ゲート５−２と通過するだけで精算できる精算ゲート５−３にあっては各種カード等の情報を検知する情報読取部である。
出力部５０７は、精算ゲート５−１〜５−３に備えられた開閉部材（採番せず）を開閉する信号を出力する。また、精算機５ａを用いた精算ゲート５−１は、精算機５ａに精算する金額や商品名等を出力する。
図３６は、上述した図７のサーバ１と図２６の売場装置３と図３５の精算ゲート５との機能的構成の一例を示す機能ブロック図である。
サーバ１は、実施形態３と同様のＣＰＵ１０１と、記憶部１０８と、エラー表示部１５１と、エラー解除部１５２とを備えている。
サーバ１は、実施形態３のサーバ１と同様に構成されている。
図３７は、実施形態３における売場装置３に備えられた移動物体追跡部３３０の詳細な機能的構成例を示す機能ブロック図である。
売場装置３のＣＰＵ３０１においては、図３７に示すように、個人認証部３２０と、移動物体追跡部３３０と、位置情報管理部３４０と、棚商品認識部３６０と、カゴ商品認識部３７０と、売買制限商品判定部３８０と、を備える。
個人認証部３２０と、移動物体追跡部３３０と、位置情報管理部３４０と、カゴ商品認識部３７０と、売買制限商品判定部３８０は、実施形態３と同様に構成されている。
個人認証部３２０は、実施形態３と同様の個人情報取得部３２１を備えている。個人認証部３２０は、個人情報取得部３２１またはサーバ１のＤＢ管理部１４１から個人情報を取得する。
移動物体追跡部３３０は、図３７に示すように、天井カメラによる移動物体発見部３３０２と、天井カメラによる移動物体領域定義部３３０４と、天井カメラによる移動物体領域追跡部３３０５と、グルーピング部３３０８と、血縁関係判定部３３０９と、天井カメラによる移動物体領域間受け渡し認識部３３１１と、天井カメラによる受け渡された物体認識部３３１２と、天井カメラによる受け渡された商品特定部３３１３と、を備えている。
天井カメラによる移動物体発見部３３０２は、天井カメラ３１０によって撮像された撮像画像に基づいて状態空間モデル（ベイジアンフィルタ等）を用いて移動物体Ｍｏ（買い物客、カゴ、カート等）を発見する。
天井カメラによる移動物体領域定義部３３０４は、天井カメラによる移動物体発見部３３０２により発見された移動物体Ｍｏの領域を移動物体領域として定義する。天井カメラによる移動物体領域定義部３３０４は、移動物体Ｍｏを中心として、変化のあった領域を連続的に見つけることで、移動物体領域を定義する。即ち、天井カメラによる移動物体領域定義部３３０４は、発見した移動物体Ｍｏと、その移動物体Ｍｏ及びその移動物体Ｍｏの周辺のうち一定の範囲内を移動物体領域として定義する。
その上で、買い物客を上側から見た場合の骨格モデルを当てはめることで、おおよそのポーズを推定し、実際に得られた映像での移動物体領域と比較することで、移動物体Ｍｏを明確に定義してもよい。
ここで、人を中心とした領域を人領域と呼ぶと、人領域は移動物体領域の下位概念となる。
また、カゴ類を中心とした領域をカゴ領域と呼ぶと、カゴ領域は移動物体領域の下位概念となる。
また、カートを中心とした領域をカート領域と呼ぶと、カート領域は移動物体領域の下位概念となる。
天井カメラによる移動物体領域追跡部３３０５は、移動物体Ｍｏの移動を追跡する。例えば、天井カメラによる移動物体領域追跡部３３０５は、移動物体Ｍｏの特徴データ（色や形状等）を収集することによっても、移動物体Ｍｏの移動を追跡する。
あるいは、天井カメラによる移動物体領域追跡部３３０５は、ベイジアンフィルタ、高速フーリエ変換、ＴＬＤ（Ｔｒａｃｋｉｎｇ−Ｌｅａｒｎｉｎｇ−Ｄｅｔｅｃｔｉｏｎ）等の画像内における物体追跡の技術を用いて、移動物体Ｍｏの移動を追跡する。
グルーピング部３３０８は、家族や友人等の複数人で来店した場合において、その複数人をグルーピングする。
また、グルーピング部３３０８は、移動物体Ｍｏ同士の距離感（重なり、くっついている等）、移動方向（ベクトル）等の情報を用い、複数人をグルーピングしてもよい。
グルーピング部３３０８は、人領域とカゴ領域・カート領域を紐づけてもよい。
このようにグルーピング部３３０８が機能することにより、精算ゲート５において、一人によって精算することができる。
血縁関係判定部３３０９は、顔認証手法を用い、親子関係や兄弟関係等を見分ける。血縁関係判定部は、グルーピング部の機能を補助する。血縁関係判定部は、ディープラーニングの顔認識手法を用いて顔の類似度を判定し、血縁関係を推定してもよい。
買い物客（移動物体Ｍｏ）から買い物客（移動物体Ｍｏ）への商品の受け渡しが発生した場合、天井カメラによる移動物体領域間受け渡し認識部３３１１が移動物体Ｍｏから移動物体Ｍｏへ物体が受け渡されたことを認識し、受け渡した／渡された移動物体Ｍｏを特定し、各移動物体Ｍｏに紐づく商品リストを読み込む。
天井カメラによる移動物体領域間受け渡し認識部３３１１は、買い物客（移動物体Ｍｏ）から買い物客（移動物体Ｍｏ）への商品の受け渡しが発生したことを認識し、この受け渡した移動物体Ｍｏと渡された移動物体Ｍｏとを特定し、各移動物体Ｍｏに紐づく商品リストを読み込む。天井カメラによる受け渡された物体認識部３３１２は、その後、受け渡しが認識された時点の撮像画像から物体の領域を定義する。
さらに、天井カメラによる受け渡された商品特定部が受け渡された物体が、物体領域定義後の画像から、読み込まれた受け渡しを行った移動物体Ｍｏに紐づく商品リストのうちいずれの商品かを特定し、天井カメラによる移動物体領域間受け渡し認識部３３１１で特定した各移動物体Ｍｏと、受け渡しで特定された商品を紐づけ、夫々の商品のリストを更新する。
天井カメラによる移動物体領域間受け渡し認識部３１１１は、ディープラーニング等の物体認識手法を用いて、買い物客（移動物体Ｍｏ）の動きを分析し、受け渡し認識してもよく、受け渡しの際に人領域の中の手を認識してもよく、受け渡しの認識は人領域（手を含んでもよい）間の重なりを認識してもよい。
天井カメラによる移動物体領域間受け渡し認識部３３１１は、天井カメラの代わりに、広範囲を撮像可能な棚カメラ等で実現されてもよい。
その後天井カメラによる受け渡された物体認識部３３１２が、受け渡しが認識された時点の撮像画像から物体の領域を定義する。
さらに、天井カメラによる受け渡された商品特定部３３１３が、天井カメラによる受け渡された物体認識部３３１２により、認識された物体が、読み込まれた移動物体Ｍｏ（受け渡しを行った人）に紐づく商品リストのうちいずれの商品かを特定し、天井カメラによる移動物体領域間受け渡し認識部３３１１で特定した各移動物体Ｍｏと、天井カメラによる受け渡された商品特定部３３１３で特定された商品を紐づけ、各移動物体Ｍｏの商品のリストを更新する。
天井カメラによる受け渡された物体認識部３３１２は、天井カメラをズーム可能なカメラにし、受け渡しが行われたと推定される箇所をズームアップし、物体の領域定義をしてもよい。
天井カメラによる移動物体領域間受け渡し認識部３３１１、天井カメラによる受け渡された物体認識部３３１２、天井カメラによる受け渡された商品特定部３３１３は、天井カメラの代わりに、広範囲を撮像可能な棚カメラ等で実現されてもよい。
位置情報管理部３４０は、実施形態２と同様、図２０に示すように、カメラ間情報受け渡し部３４１と、各カメラの位置定義部３４２と、移動物体表示部３４３を備える。
図３８は、実施形態４における売場装置３に備えられた棚商品認識部３６０の詳細な機能的構成例を示す機能ブロック図である。
棚商品認識部３６０は、図３８に示す棚カメラによる物体認識部３６０２と、棚カメラによる商品特定部３６０３と、移動物体と商品紐づけ部３６０４と、移動物体と紐づく商品リスト管理部３６０６と、棚カメラによる物体入出検知部３６０８と、商品不特定判定部３６０９と、ラベル認識部３６１０と、値引きシール認識部３６１１と、を備えている。
これらのうち、棚カメラによる商品特定部３６０３は、棚カメラによる物体認識部３６０２によって認識された棚内の物体がいずれの商品であるかを特定する。棚カメラによる商品特定部３６０３は、特定物体認識、一般物体認識、ディープラーニング等の画像処理手法により、商品候補をリストアップする。このリストアップされた商品候補を「商品候補リストＳ」と呼ぶ。その後、棚カメラによる商品特定部３６０３は、検証機能を発揮させることで、商品を高い精度で特定する。
検証機能は前述の商品候補をリストアップする手法と異なるアルゴリズムによって「商品候補リストＰ」をリストアップする。商品候補リストＳとＰの結果をマッチングさせて、所定の閾値を超える場合、商品を特定する。
「商品候補リスト」のリストアップ手法として、例えば、存在が認識された物体から得られる物体の画像情報と、商品ＤＢ１３１やメモリ上に保持されている画像情報とマッチングさせる方法により実現されてもよい。即ち、両画像の特徴情報が一致する（閾値を超える）と、棚カメラによる物体認識部３６０２によって存在が認識された物体が、商品ＤＢ１３１に登録されている商品であるため、棚カメラによる商品特定部３６０３は、その商品ＤＢ１３１に登録された商品であると特定する。ディープラーニングにより、商品候補を作成し、その後、検証機能を発揮させることで、商品を高い精度で特定する。
棚カメラによる商品特定部３６０３は、棚カメラ３１１によって撮像された撮像画像の１フレームで商品を特定せず、天井カメラ３１０によって撮像された撮像画像も駆使し、複数の撮像画像にわたって商品を特定してもよい。その際、棚カメラによる商品特定部３６０３は、商品候補に対し、パーセンテージを持たせ、購入履歴、時間、場所、人の嗜好等の情報をもとに、パーセンテージを加算し、一定の閾値を超えた時に商品を特定する。
本実施形態においては、特定の物体について目検用端末Ｑによる目検が行われる特定物体目検モードと、全ての物体について目検用端末Ｑによる目検が行われる全物体目検モードとが設定可能となっている。
特定物体目検モードに設定されている場合、棚カメラによる商品特定部３６０３は、商品不特定とされた物体の物体撮像画像及び関連する情報等を、目検結果取得部３０１ａを介して目検用端末Ｑに送信する。一方、全物体目検モードに設定されている場合、棚カメラによる商品特定部３６０３は、商品の特定結果及び特定された商品の商品撮像画像と、商品不特定とされた物体の物体撮像画像及び関連する情報等とを目検結果取得部３０１ａを介して目検用端末Ｑに送信する。
そして、棚カメラによる商品特定部３６０３は、目検結果取得部３０１ａが目検用端末Ｑから取得した目検結果に基づいて、商品の特定を行う。具体的には、棚カメラによる商品特定部３６０３によって特定された商品については、目検結果により特定結果が承認または修正された場合、棚カメラによる商品特定部３６０３は、目検結果が示す内容に従って、商品の特定を行う。また、棚カメラによる商品特定部３６０３によって商品不特定とされた物体については、棚カメラによる商品特定部３６０３は、その物体を目検結果が示す商品として特定する。なお、棚カメラによる商品特定部３６０３が目検による商品の特定を依頼する場合、カゴ商品のラベル認識部３７６による商品特定の補完を経た後に、依頼を行うこととしてもよい。この場合、ラベル認識部３６１０による商品特定の補完の結果、商品が特定されたものを除外して、目検による商品の特定を行うことができる。
なお、棚商品認識部３６０における他の機能部については、実施形態２と同様である。
精算ゲート５のＣＰＵ５０１においては、図３５に示すように、精算部５３５と、入力制御部５３６と、出力制御部５３７と、が機能する。
精算部５３５は、追跡され続けた移動物体領域が精算エリア４５に進入したときに、１以上の移動物体領域に紐づく商品情報（商品のリスト）が通信部５０９を介してサーバ１から入力され、精算金額及び精算対象商品を確定する。
入力制御部５３６は、ゲート本体に備えられた精算ボタンや情報読取部等の入力部５０６からの信号を入力する。
出力制御部４３７は、出力部５０７に精算金額を表示させたり、精算機５ａに情報を出力したり、開閉部材を開閉させたりする。
また、精算部５３５は、追跡され続けた移動物体Ｍｏが、即ち、決済する人が精算エリア４５に進入した場合、１以上の移動物体Ｍｏに紐づく商品情報（商品のリスト）をもとに、精算金額・精算対象商品を確定する。
また、例えば、父親が財布を持って決済する場合において、同伴者である母親と子供に紐づく商品情報（商品のリスト）をも、グルーピングを活用し、父親が決済できるようにしてもよい。
そして、精算機５ａを用いた精算ゲート５−１は、商品金額の合計を算出し、精算する装置であり、精算ボタン（図示せず）を備えている。精算機５ａは、精算ゲート５よりも出口４２側に設置されている。この精算機５ａは、現金、ポイント支払い、商品券・金券等で支払いができる決済手段を備えている。
この精算ゲート５−１にあっては、決済する人が精算ボタンを押下すると、この押下がトリガーとなって移動物体Ｍｏに紐づく商品情報が読み出され、精算金額が確定し、精算ゲート５−１を通過可能となる。そして、決済する人が精算機によって決済すると、退店可能となる。
ただし、例えば、精算対象商品が年齢制限商品であり、年齢確認ができていないといったエラー状態となった場合は、情報端末９ａ、情報端末９ｂやエラー表示部１５１にエラー状態の旨が提示される。その際、精算ゲート５−１は、開閉部材を閉じたままにする等し、通過不可の状態を維持する。精算ゲート５−１は、音や光等の手段によって、エラー状態である旨を提示してもよい。店員Ｍｔが年齢を確認する等、制限を解除できる状態となると、店員Ｍｔの操作によってエラー解除部１５２の操作により、制限が解除され、精算ゲート５−１は通過可能な状態となる。なお、制限の解除は、遠隔操作によって実現することもできる。
また、移動物体Ｍｏにいずれの商品か特定できない物体（不特定の物体）が紐づいている場合も、年齢制限商品の際と同様の流れとなる。なお、この不特定の物体を、有人の精算レジ６において、店員Ｍｔが対応し、商品を特定してもよい。
また、電子マネーを用いた精算ゲート５−２にあっては、カード読取部（図示せず）を備え、前記精算ゲート５−１のような精算ボタンを備えず，精算機５ａを使用しない。カード読取部は、カードがクレジットカード、デビッドカード、電子マネー、プリペイドカード等いずれあっても、対応できるようにされている。
そして、決済する人がこの精算ゲート５−２の精算エリア４５に進入し、カードがカード読取部に読み取られると、移動物体Ｍｏに紐づく商品情報が読み出され、精算及び決済が完了し、精算ゲート５−２を通過可能となる。
精算対象商品が売買制限商品であったり、移動物体Ｍｏに不特定の物体が紐づいている場合は、上述の精算ゲート５−１と同じ動作となる。
また、精算ゲート５−３は、追跡され続けた移動物体Ｍｏが個人認証済みであり、決済の情報が特定されている必要がある。
精算ゲート５−３は、決済する人が精算ゲート５−３の精算エリア４５に進入すると、エラーがない限り、自動精算され、精算ゲート５−３を通過可能となる。
精算対象商品が売買制限商品であったり、移動物体Ｍｏに不特定の物体が紐づいている場合は、上述の精算ゲート５−１と同じ動作となる。
実施形態４の商品認識システムは、上述した機能以外に、図示しない遠隔操作部を備えてもよい。
売買制限商品判定部３８０は、特定された商品が売買制限商品に該当するか否かを判定する。即ち、売買制限商品判定部３８０は、ＤＢ情報から、特定された商品が酒類、タバコ類の年齢制限による売買制限商品と判定する。また、売買制限商品判定部３８０は、画像認識等を活用し、当該商品が消費期限・賞味期限切れによる売買制限商品と判定する。また、売買制限商品判定部３８０は、個人認証により得られた個人情報と紐づけ、当該商品が買い物客に対しアレルギー、ハラル食品以外等の売買制限商品と判定する。
また、売買制限商品判定部３８０は、当該商品が売買制限商品であると判定した場合、売買制限商品である旨を提示する。また、売買制限商品判定部３８０は、個人認証から得られた個人情報から売買制限を行ってもよい。また、売買制限商品判定部３８０は、顔や手認識から年齢性別を推定し、売買制限を行ってもよい。
遠隔操作部は、システム処理異常、商品不特定または売買制限等のエラー状態の通知を受けた場合、遠隔操作でエラー状態を解消する。エラー状態を検知した天井カメラ３１０、棚カメラ３１１や精算ゲート５は、エラー状態である旨と当該状態の撮像画像を、ネットワークＮを経由し、店内または店外の遠隔操作用の情報端末９ａ，９ｂやサーバ１に通知する。これら装置の操作により、エラー状態を解消することができる。
当然、店内の有人レジにてエラー状態を解除してもよく、店員Ｍｔ等がエラー状態の発生している場に赴きエラー状態を解除してもよい。
次に、本実施形態４の商品認識システムにおける商品の精算方法について、図３９を参照して説明する。
図３９及び図４０は、図３６のサーバ１と売場装置３と精算ゲート５が実行する自動精算処理を説明するフローチャートである。
ステップＳ４０１において、買い物客が（移動物体）が店舗４０（図３３）の入口４１から店内に入店し、入口４１付近に設置された天井カメラ３１０がその買い物客の撮像を開始する。買い物客がカゴやカードを手にし、通路４４を進むと奥の天井カメラ３１０がその買い物客の撮像を開始する。このようにして実施形態３と同様に複数の天井カメラ３１０が買い物客、カゴ、カートを含む店舗３０内全体を常時撮像する。なお、ステップＳ４０１の前に、個人認証部３２０が買い物客の個人認証し、買い物客の個人情報を取得してもよい。
ステップＳ４０２において、天井カメラによる移動物体発見部３３０２が移動物体Ｍｏを発見し、個別のＩＤを採番する。ＩＤは、退店または精算完了等の特定のタイミングまで使い続けられる。なお、このタイミングで個人認証部３２０が買い物客の個人認証をし、買い物客の個人情報を取得してもよい。さらに、グルーピング部３３０８が複数の移動物体Ｍｏを１つのまとまりとして、グルーピングしてもよく、血縁関係判定部３３０９が複数の買い物客（移動物体Ｍｏ）の血縁関係を判定し、グルーピング部３３０８の補完をしてもよい。
ステップＳ４０３において、天井カメラによる移動物体領域定義部３３０４が天井カメラによる移動物体発見部３３０２によって発見した移動物体Ｍｏを含む所定の領域を定義する。また、天井カメラ３１０によって撮像されている範囲内で移動物体Ｍｏが移動したときに、移動後の移動物体Ｍｏの領域の位置を改めて定義する。位置情報は移動物体ＭｏのＩＤと紐づけて位置情報管理ＤＢ１３２やメモリ等で管理され、領域定義ごとに更新される。この定義された位置は、別の天井カメラ３１０において撮像されている位置でも認識される。
ステップＳ４０４において、天井カメラによる移動物体領域追跡部３３０５がある天井カメラ３１０によって撮像されている撮像画像内で移動物体Ｍｏが移動する位置を推定する。さらに、移動物体領域定義部３３４が移動したと推定される位置に対し、移動物体Ｍｏの領域を定義し、位置情報管理ＤＢ１３２やメモリ上に記憶されている移動物体Ｍｏの位置情報を更新する。
ステップＳ４０５において、実施形態３と同様に、棚カメラによる物体入出検知部３６０８が物体の棚内への入出を検知する。
ステップＳ４０６において、実施形態３と同様に、棚カメラによる物体入出検知部３６０８発動をトリガーとし、棚カメラによる物体認識部３６０２が、物体が取られた画像または物体が置かれた画像の前後の画像を比較し、商品特定の対象となる画像領域を定義する。
また、ステップＳ４０６に際して、天井カメラによる物体取得認識部が棚内等から移動物体Ｍｏが物体を取得したことを認識してもよい。
ステップＳ４０７において、実施形態３と同様に、棚カメラによる商品特定部３６０３が、物体がいずれの商品であるかを特定する。この特定された商品が売買制限商品である場合は、移動物体Ｍｏに売買制限商品が紐づけられる。また、物体がいずれの商品であるかが特定できなかった場合も、商品不特定の物体が移動物体Ｍｏに紐づけられる。なお、情報端末９ａ、情報端末９ｂ、サーバ１に商品不特定によるエラー状態である旨が提示され、エラー状態を認識した店員Ｍｔが遠隔操作でエラー状態を解消してもよい（当然、店員Ｍｔが直接エラー状態を解除しに行ってもよい）。
また、ステップＳ４０７に際して、ラベル認識部が、特定された商品に応じて紐づけされたラベルを認識してもよい。
また、ステップＳ４０７に際して、値引きシール認識部が、特定された商品に応じて、貼付された値引きシールを認識してもよい。
また、ステップＳ４０７に際して、天井カメラによる商品特定部が、天井カメラによる物体取得認識部が取得した物体領域について、いずれの商品かを特定してもよい。
ステップＳ４０８において、棚カメラによる商品特定部３６０３は、特定物体目検モードまたは全物体目検モードのいずれに設定されているか判定する。
特定物体目検モードに設定されている場合、処理はステップＳ４０９に進む。
また、全物体目検モードに設定されている場合、処理はステップＳ４１０に進む。
ステップＳ４１０において、目検結果取得部３０１ａは、対象となる物体について、目検用端末Ｑにおける目検（商品の特定）を依頼し、その目検結果を取得する。
ステップＳ４０９の後、処理はステップＳ４１１に進む。
ステップＳ４１０において、棚カメラによる商品特定部３６０３は、追加された１個の物体がいずれの商品であるか特定できないものであるかどうか判定する。棚カメラによる商品特定部３６０３がいずれの商品であるか特定できないものである場合（ステップＳ４１０においてＹＥＳ）は、処理はステップＳ４０９に進む。
ステップＳ４１０において棚カメラによる商品特定部３６０３がいずれの商品であるか特定できた場合（ステップＳ４１０においてＮＯ）は、棚カメラによる商品特定部３６０３は、サーバ１の記憶部に保持された商品名や価格、売買制限商品である等の情報を含めて商品を特定する。これにより、処理はステップＳ４１１に進む。特定された商品情報は、出力部５０７に出力されてもよい。
また、ステップＳ４１０において、棚カメラによる商品特定部３６０３がいずれの商品であるか特定できなかった場合は、売場装置３に備え付けられた図示しない表示部の画面表示や、図示しないスピーカーによる音声案内等で、購入者へ商品の棚からの取り直しを依頼する構成としてもよい。さらに、売場装置３備え付けられた図示しないマイクロフォンを介して、購入者と目検者等が通話する構成としてもよい。
ステップＳ４１１において、売買制限商品判定部３８０は、棚カメラによる商品特定部３６０３によって特定された商品が、年齢確認が必要とされる商品であるかどうかを判定する。
ステップＳ４１１において、棚カメラによる商品特定部３６０３によって特定された商品が、年齢確認が必要とされる商品であると判定された場合は、即ちＹＥＳと判定された場合、処理はステップＳ４１２に進む。
ステップＳ４１１において、棚カメラによる商品特定部３６０３によって特定された商品が、年齢確認が必要とされる商品でないと判定された場合は、即ちＮＯと判定された場合、処理はステップＳ４１７に進む。
ステップＳ４１２において、出力制御部４３７は、精算ゲート５の出力部５０７に年齢確認のための画面を表示させる。ただし、買い物客の個人情報が取得され、ここで年齢確認する必要がない場合は、ステップＳ４１２はスキップされ、処理はステップＳ４１６に進む。ここで、買い物客の年齢認証に問題があるときは、精算ゲート５に備え付けられた図示しないスピーカーと図示しないマイクロフォンを介して、購入者と目検者等が通話する構成としてもよい。
ステップＳ４１３において、目検結果取得部３０１ａは、対象となる商品について、目検用端末Ｑにおける目検（売買制限商品の判定）を依頼し、その目検結果を取得する。
ステップＳ４１４において、売買制限商品判定部３８０は、売買制限を解除する指示を受け付けたか否かを判定する。売買制限商品の売買制限の解除は、判定の結果を受けて店員がその場で対応する、もしくはシステムとして目検の結果を採用する、いずれかの方法で行う。ここではシステムとして目検の結果を採用する場合について説明する。
ステップＳ４１４において売買制限を解除する指示を受け付けていないと判定された場合は、処理はステップＳ４１５に進む。
ステップＳ４１４において売買制限を解除する解除指示を受け付けたと判定されると、即ちＹＥＳと判定されると、処理はステップＳ４１６に進む。
ステップＳ４１５において、目検用端末Ｑの目検結果送信部４１２は、目検結果によっても売買制限が解除されなかった旨の警告を送信する。この警告を受信することにより、例えば、精算ゲート５の出力制御部５３７は、目検結果によっても売買制限が解除されなかった旨の警告を、出力部５０７を介して提示する。ステップＳ４１６の後、処理は終了し、精算が中止となる。
ステップＳ４１６において、売買制限商品判定部３８０は、売買制限を解除する。
このようにしてステップＳ４１６が終了されるか、またはステップＳ４１１において年齢制限商品でないと判定された場合（ＮＯであると判定された場合）、処理はステップＳ４１７に進む。
ステップＳ４１７において、移動物体と商品紐づけ部３６０４が、移動物体Ｍｏと特定された商品を紐づける。
ステップＳ４１８において、移動物体と紐づく商品リスト管理部３６０６が、人と紐づく商品リストを精算まで管理し続ける。
ステップＳ４１９において、移動物体Ｍｏに紐づく商品情報に基づき、精算ゲート５が精算乃至決済する。
なお、ステップＳ４１９までの途中、またはステップＳ４１９の際に、エラー表示部１５１、情報端末９ａ、情報端末９ｂや精算ゲート５の出力部５０７が、何かしらのエラー状態を店員等に通知してもよい。
また、ステップＳ４１０において、売買制限商品が移動物体Ｍｏに紐づいている場合、ゲートを開けずに閉じたままとし、エラー状態を表示してもよい。
実施形態４において、移動物体Ｍｏ（買い物客）の追跡において想定されるエラーには、（Ａ）買い物客が店舗４０の入口４１から入店した際に、天井カメラによる移動物体発見部３３０２が移動物体を検出できなかった場合、（Ｂ）天井カメラによる移動物体領域追跡部３３０５が追跡中の移動物体Ｍｏを見失った場合、（Ｃ）二つ以上の異なる移動物体Ｍｏの夫々に紐付けられたＩＤが追跡途中に入れ替わった場合、等が含まれる（当然これらに限定されない）。
各エラー状態に応じ、本実施形態が採用するシステムが、以下の例を含む、種々の対応を行う。
（Ａ）天井カメラ３１０により撮像された買い物客を被写体として含む画像を目検用端末Ｑに送信し、目検による買い物客の検出を依頼する。目検者が買い物客を検出した場合は、新たな移動物体Ｍｏを定義の上、ＩＤを発番して、天井カメラによる移動物体領域追跡部３３０５による追跡を開始する。目検者が買い物客を検出できなかった場合は、その旨を店員に報知する。
（Ｂ）位置情報管理ＤＢ１３２に登録されているどのＩＤとも紐づけられていない買い物客が認められた場合、その買い物客の撮像画像と、紐づけられるべきＩＤ候補のリストが目検用端末Ｑに送信される。目検者は、過去の買い物客とＩＤとの紐づけ情報に基づいて、最も適切なＩＤを当該買い物客に紐づけ、天井カメラによる移動物体領域追跡部３３０５による再追跡を開始する。何らかの理由で再追跡が開始できなかった場合は、その旨が店員に報知される。
また、買い物客との紐づけを失ったＩＤが検出された場合には、当該ＩＤと、どのＩＤとも紐づけられていない買い物客の撮像画像のリストが目検用端末Ｑに送信される。目検者は、過去の買い物客とＩＤとの紐づけ情報に基づいて、当該ＩＤに買い物客を紐づけることを試み、紐づけが成功した場合は、天井カメラによる移動物体領域追跡部３３０５による再追跡を開始する。何らかの理由で再追跡の開始が失敗した場合は、その旨が店員に報知される。
（Ｃ）夫々の買い物客の画像リストと、夫々の買い物客に紐づけられるべきＩＤのリストが目検用端末Ｑに送信される。目検者は、過去の買い物客とＩＤとの紐づけ情報に基づいて、最も適切に、ＩＤを買い物客に割り振ことを試みる。ＩＤを買い物客に適切に割り振ることができた場合は天井カメラによる移動物体領域追跡部３３０５による再追跡を開始する。ＩＤを買い物客に適切に割り振ることができない場合は、割り振りを諦め、紐づけが入れ替わったままの旨を店員に報知する。
〔他の実施形態〕
本発明は、上述の実施形態に限定されるものでなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、本情報処理システムは、物体を被写体に含む画像に対して、目検者が目視による確認をする手法を用いて、当該物体を商品として特定することを試みた結果を取得する商品特定手段と、当該商品特定手段の結果に基づいて特定された商品について、精算処理を行う精算手段とを備える構成としてもよい。
これにより、購入者が商品を購入する際に、有人レジと同等の商品特定の精度を維持しながら、商品の代金の精算の自動化を可能にすることができる。
さらに、例えば、本情報処理システムは、棚在庫管理機能を備えてもよい。棚在庫管理機能は、店員判別手段と在庫情報更新手段とを備える。
店員判別手段は、店員と買い物客とを判別する。例えば、店員判別部は、店員を識別できる物理的なマーカーを帽子や服等、店員が身に着けているものに付与する。この物理的なマーカーを天井カメラ及び棚カメラが撮像することで、店員を判別する。この店員判別手段は、特に実施形態３，４において有効に利用することができる。
また、店員判別手段は、店舗のバックヤード等の所定のエリアに設けられたボタンを備えてもよい。この店員判別手段は。所定のエリアに存在する店員にボタンを押されることでその店員にＩＤを採番する。この店員判別手段は、特に実施形態４において有効に利用することができる。なお、店員判別部は、店員と認識した人物の領域を天井カメラが追跡し続ける。
そして、在庫情報の更新手段は、店員が棚に商品を補充した場合（加算）または取り出したり廃棄したりした場合（減算）に、物体認識部及び商品特定部を駆使し、棚の在庫情報をサーバの商品ＤＢにおいて更新する。
在庫情報の更新手段は、商品が購入された場合に、当該商品が存在する棚の在庫及び店舗全体の在庫情報を更新する。
在庫情報の更新手段は、棚の在庫及び店舗全体の在庫情報を管理し、在庫数が閾値を下回ると、遠隔操作部に通知する、または自動発注する。
また、本発明は、買い物客の属性推定機能を備えてもよい。買い物客の属性推定機能は、買い物客の大まかな年齢や年代、性別等の属性を例えば顔認識から推定する。買い物客の属性推定機能は、実施形態１では、レジ端末に備えられ、実施形態２乃至４では売場装置に備えられる。なお、実施形態２においては、レジ端末に備えられていてもよい。また、本発明は、購買情報や買い物客の属性情報をＰＯＳシステムに連携する。購買情報は、商品名や金額等の情報をデータ化して、決済完了後にその情報をＰＯＳシステムに連携する。買い物客の属性情報は、上述の買い物客の属性推定機能にて得られた情報をＰＯＳシステム連携する。
買い物客の属性推定機能は、例えば売買制限商品判定部と連携されてもよい。この買い物客の属性推定機能は、属性を推定した結果、買い物客が明らかに年齢確認を必要としない３０歳代以上であれば、売買制限商品判定部が年齢確認をしないように制御してもよい。
ここで上述の実施形態１乃至４、及び他の実施形態に関する課題について補足する。各実施形態における商品認識システムでの商品認識手法として、ディープラーニングを用いた画像認識が有望である。しかし、ディープラーニングは、商品を特定できなかったとき、もしくは誤認識したときに再学習をさせる必要があり、その際には正解商品の画像を人の手で与える必要があり、多大な手間がかかる。
上述の課題の解決方法として、本発明の商品認識システムは、
商品購入時に、目検者の目視による確認や、バーコードスキャン等を行い、商品認識を修正する機能と、
商品認識の修正が行われた際に、正解商品画像及び必要な情報（修正後の商品番号や特定のコード等）を紐付けて記録する機能と、
前記正解商品画像及び必要な情報をもとに、ディープラーニングの学習を自動で実行する機能と、
学習結果を自動で同商品認識システムに配備する機能と、
を実装することにより、上記の一連のディープラーニングの再学習処理を自動化を実現できる。
ここで、学習結果の配備とは、商品認識に用いることができるよう、学習の結果に基づいて、同商品認識システムの、例えばディープラーニングのモデル等を更新する処理を指す。
上記の再学習処理は、例えば商品特定の失敗等の所定の条件をトリガーとして開始される構成としてもよいし、担当者による明示の操作、例えばボタンの押下等をトリガーとして開始される構成としてもよい。
上記のようなディープラーニングの再学習処理によれば、ディープラーニングの再学習にかかる煩雑な作業を簡略化し人手を削減できると共に、商品認識精度が向上し続ける商品認識システムを提供することができる。
また、上述の実施形態１乃至４及び他の実施形態を含む各実施形態において、物体を商品として特定する場合に適用される画像認識手法として、例えばＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いた物体認識、特徴点・特徴量を用いた物体認識、商品のロゴの形状認識、文字認識（ＡＩを用いた文字形状の認識、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）を用いた文字の認識等）を採用することが可能である。また、画像認識手法に加えて、重量認識（重量センサを用いた物体の重量認識）、バーコードやＱＲコード（登録商標）等の識別情報のスキャンによる商品認識（赤外線センサーあるいは画像読み取り等によるバーコードやＱＲコード（登録商標）等のスキャン）、ＲＦＩＤ等の電子的に記録された識別情報の読み取りによる商品認識の１つまたは複数の認識手法を組み合わせて、物体を商品として認識することが可能である。この場合、各認識手法による物体の認識結果をスコア化し、その物体をスコアが最も高い商品であると推定すること等が可能である。
さらに、上記の重量認識、バーコードやＱＲコード（登録商標）等の識別情報のスキャンによる商品認識、電子的に記録された識別情報の読み取りによる商品認識等の認識手法は、画像認識手法と組み合わせずに、１つまたは複数を組み合わせて、物体を商品として認識することが可能である。
上述の各実施形態において、物体または商品の目検を目検用端末Ｑによって行うこととしたが、これに限られない。即ち、目検者による目検をレジ端末２、精算機４、情報端末９等の他の装置によって行うこととしてもよい。
また、上述の各実施形態において、１つの店舗または１つのレジ端末２ごとに１つの目検用端末Ｑを備えることや、複数の店舗または複数のレジ端末ごとに１つの目検用端末Ｑを備えることが可能である。
また、上述の実施形態におけるハイブリッドチェックシステム（目検）は必ずしも商品特定のみに用いられるわけではない。即ち、例えば、商品が（Ａ）タバコ、酒類等のような一定の年齢に達しないと購入できない商品、（Ｂ）消費期限切れ・賞味期限切れの商品、（Ｃ）アレルギー成分を含むため、体質によって、摂取すべきでない商品、（Ｄ）ハラル食品以外の商品等、宗教による制限のある商品、であるか否か等の判定にも利用可能である。
また、本発明は、上述のＣＰＵによる画像処理をＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）による処理としてもよい。
また、図示したハードウェア構成やブロック図は、本発明の目的を達成するための例示に過ぎず、本発明は図示された例に限定されない。
また、機能ブロックの存在場所は、図示されたものに限定されず、任意でよい。例えば、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらを組み合わせで構成してもよい。各機能ブロックの処理をソフトウェアにより実行される場合には、そのソフトウェアを構成するプログラムがコンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれるコンピュータであってもよいし、スマートフォンやパーソナルコンピュータであってもよい。
また、実施形態１において説明した売買制限商品の処理は、実施形態２乃至４においても適用することができる。ただし、実施形態２での売買制限商品は、年齢制限商品に適用される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等により構成される全体的な装置を意味するものである。
以上まとめると、本発明が適用される情報処理システムは、次のような構成を取れば足り、上述の実施形態１乃至４の他、各種各様な実施形態を取ることができる。
即ち、情報処理システムは、
物体を被写体に含む画像に対して、目検者が目視による確認をする第１手法を用いて、当該物体を商品として特定することを試みた結果を取得する第１特定手段（例えば、目検結果取得部２３９及び目検用端末Ｑ）と、
前記第１特定手段の結果に基づいて特定された商品について、精算処理を行う精算手段（例えば、精算部２３７）と、
を備える。
これにより、購入者が商品を購入する際に、有人レジと同等の商品特定の精度を維持しながら、商品の代金の精算の自動化を可能にすることができる。
さらに言えば、このような自動精算処理システムは、商品購入の手続きを購入者とシステムの間で完結することを可能にし、無人化店舗実現へのハードルを下げることができる。
前記第１手法以外の第２手法を用いて、前記物体を商品として特定することを試みる第２特定手段（例えば、物体認識部２３３）をさらに備え、
前記精算手段は、前記第１特定手段と前記第２特定手段のうち、少なくとも一方の結果に基づいて特定された商品について精算処理を行う構成としてもよい。
前記第２手法は、少なくとも所定の画像認識手法（例えば、ディープラーニング）を含む構成としてもよい。
前記所定の画像認識手法により商品と特定されなかった前記物体については、
前記第１特定手段及び前記第２特定手段により、前記所定の画像認識手法を含まない１以上の手法を用いて商品として特定された前記物体の商品情報と、前記画像とを紐付けし、
紐づけられた前記商品情報と前記画像とを含む情報を用いて、前記所定の画像認識手法の再学習をおこない、
前記再学習で得られた学習結果を前記第２特定手段に配備する画像認識再学習手段とをさらに備える構成としてもよい。
前記第２手法は、少なくとも、重量認識、識別情報のスキャン、及び、電子的に記録された識別情報の読み取りのうち、１以上の手法を含む構成としてもよい。
前記第２手法により商品として特定されなかった前記物体については、前記第１特定手段による結果に基づいて特定された商品が、前記精算手段による前記精算処理の対象となる構成としてもよい。
前記第１特定手段及び前記第２特定手段の夫々の結果に基づいて特定された商品が、前記精算手段による前記精算処理の対象となる構成としてもよい。
１・・・サーバ、２，２−１，２−ｎ・・・レジ端末、３・・・売場装置、４，４−１，４−ｎ，５ａ・・・精算機、５，５−１，５−２，５−３，５−ｎ・・・精算ゲート、６・・・精算レジ、９，９ａ，９ｂ・・・情報端末、１０，２０，３０，４０・・・店舗、１１，２２・・・出入口、１２，２５・・・レジカウンター、１３，２６・・・有人のレジスター、１４，２３，３３，４３・・・棚ラック、１５，２４，３４，４４・・・通路、２１・・・ゲート、３１，４１・・・入口、３２，４２・・・出口、３５，４５・・・精算エリア、３６・・・レジ台、１０１，２０１，３０１，４０１，５０１・・・ＣＰＵ、１０２，２０２，３０２，５０２・・・ＲＯＭ、１０３，２０３，３０３，５０３・・・ＲＡＭ、１０４，２０４，３０４，５０４・・・バス、１０５，２０５，３０５，５０５・・・入出力インターフェース、１０６，２０６，４０６，５０６・・・出力部、１０７，２０７，４０７，５０７・・・入力部、１０８，２０８，５０８・・・記憶部、１０９，２１３，３１５，４０９，５０９・・・通信部、１１０，２１４・・・ドライブ、１２０，２２０・・・リムーバブルメディア、１３１・・・商品ＤＢ、１３２・・・位置情報管理ＤＢ、１４１・・・ＤＢ管理部、１５０・・・エラー判定部、１５１・・・エラー表示部、１５２・・・エラー解除部、２０９・・・遮光部、２１０・・・提示部、２１１・・・レジカメラ、２１２・・・外部カメラ、２２１・・・照明部、２２８・・・発光制御部、２２９・・・遮光制御部、２３０・・・提示制御部、２３１，３２０・・・個人認証部、２３２・・・画像取得部、２３３・・・物体認識部、２３４・・・物体数量認識部、２３５・・・商品特定部、２３６・・・売買制限商品判定部、２３７，４３５，５３５・・・精算部、２３８・・・表示制御部、２３９，３０１ａ・・・目検結果取得部、２４１・・・ＤＢ情報保持部、２７０・・・囲繞部、２７１・・・天板部、２７２・・・底板部、２７３・・・側板部、２７５・・・筐体部、２７６・・・プレート、３１０・・・天井カメラ、３１１・・・棚カメラ、３１２・・・カゴカメラ、３２１・・・個人情報取得部、３３０・・・移動物体追跡部、３４０・・・位置情報管理部、３４１・・・カメラ間情報受け渡し部、３４２・・・各カメラの位置定義部、３４３・・・移動物体表示部、３５０・・・冊数カウント部、３５１・・・冊数認識部、３５２・・・移動物体と冊数紐づけ部、３５３・・・冊数不特定判定部、３５４・・・移動物体と紐づく冊数管理部、３５５・・・天井カメラによる移動物体領域間受け渡し認識部、３５６・・・天井カメラによる受け渡された冊数認識部、３６０・・・棚商品認識部、３７０・・・カゴ商品認識部、３７２・・・カゴカメラによるカゴ入出検知部、３７３・・・カゴカメラによる物体認識部、３７４・・・カゴカメラによる商品特定部、３７５・・・カゴ商品の商品不特定判定部、３７６・・・カゴ商品のラベル認識部、３７７・・・カゴ商品の値引きシール認識部、３８０・・・売買制限商品判定部、３９０・・・遠隔操作部、３９１，Ｄ・・・表示部、４１１・・・画像表示制御部、４１２・・・目検結果送信部、４３６，５３６・・・入力制御部、４３７，５３７・・・出力制御部、３３０２・・・天井カメラによる移動物体発見部、３３０３・・・天井カメラによるカゴ発見部、３３０４・・・天井カメラによる移動物体領域定義部、３３０５・・・天井カメラによる移動物体領域追跡部、３３０６・・・天井カメラによるカゴ領域定義部、３３０７・・・天井カメラによるカゴ領域追跡部、３３０８・・・グルーピング部、３３０９・・・血縁関係判定部、３３１０・・・天井カメラによるカゴ領域間受け渡し認識部、３３１１・・・天井カメラによる移動物体領域間受け渡し認識部、３３１２・・・天井カメラによる受け渡された物体認識部、３３１３・・・天井カメラによる受け渡された商品特定部、３６０２・・・棚カメラによる物体認識部、３６０３・・・棚カメラによる商品特定部、３６０４・・・移動物体と商品紐づけ部、３６０５・・・カゴと商品紐づけ部、３６０６・・・移動物体と紐づく商品リスト管理部、３６０７・・・カゴと紐づく商品リスト管理部、３６０８・・・棚カメラによる物体入出検知部、３６０９・・・商品不特定判定部、３６１０・・・ラベル認識部、３６１１・・・値引きシール認識部、３６１２・・・棚カメラまたは天井カメラによるカゴ入出検知部、Ａ・・・所定エリア、Ｃ・・・カードリーダー部、Ｍｏ・・・移動物体、Ｍｔ・・・店員、Ｍ・・・マイクロフォン、Ｎ・・・ネットワーク、Ｑ・・・目検用端末、Ｒ・・・レシート部、Ｓ・・・スピーカー

Claims (9)

  1. 物体を被写体に含む画像に対して、目検者が目視による確認をする第１手法を用いて、当該物体を商品として特定することを試みた結果を取得する第１特定手段と、
    前記第１特定手段の結果に基づいて特定された商品について、精算処理を行う精算手段と、
    を備える情報処理システム。
  2. 前記第１手法以外の第２手法を用いて、前記物体を商品として特定することを試みる第２特定手段をさらに備え、
    前記精算手段は、前記第１特定手段と前記第２特定手段のうち、少なくとも一方の結果に基づいて特定された商品について精算処理を行う、
    請求項１に記載の情報処理システム。
  3. 前記第２手法は、少なくとも所定の画像認識手法を含む、
    請求項２に記載の情報処理システム。
  4. 前記所定の画像認識手法により商品と特定されなかった前記物体については、
    前記第１特定手段及び前記第２特定手段により、前記所定の画像認識手法を含まない１以上の手法を用いて商品として特定された前記物体の商品情報と、前記画像とを紐付けし、
    紐づけられた前記商品情報と前記画像とを含む情報を用いて、前記所定の画像認識手法の再学習をおこない、
    前記再学習で得られた学習結果を前記第２特定手段に配備する画像認識再学習手段と、
    をさらに備える請求項３に記載の情報処理システム。
  5. 前記第２手法は、少なくとも、重量認識、識別情報のスキャン、及び、電子的に記録された識別情報の読み取りのうち、１以上の手法を含む、
    請求項２乃至４のうちいずれか１項に記載の情報処理システム。
  6. 前記第２手法により商品として特定されなかった前記物体については、前記第１特定手段による結果に基づいて特定された商品が、前記精算手段による前記精算処理の対象となる、
    請求項２乃至５のうちいずれか１項に記載の情報処理システム。
  7. 前記第１特定手段及び前記第２特定手段の夫々の結果に基づいて特定された商品が、前記精算手段による前記精算処理の対象となる、
    請求項２乃至５のうちいずれか１項に記載の情報処理システム。
  8. 情報処理装置が実行する情報処理方法であって、
    物体を被写体に含む画像に対して、目検者が目視による確認をする手法を用いて、当該物体を商品として特定することを試みた結果を取得する特定ステップと、
    前記特定ステップの処理の結果に基づいて特定された商品について、精算処理を行う精算ステップと、
    を含む情報処理方法。
  9. コンピュータに、
    物体を被写体に含む画像に対して、目検者が目視による確認をする手法を用いて、当該物体を商品として特定することを試みた結果を取得する特定ステップと、
    前記特定ステップの処理の結果に基づいて特定された商品について、精算処理を行う精算ステップと、
    を含む制御処理を実行させるプログラム。
JP2019214145A 2019-11-27 2019-11-27 情報処理システム Active JP6836256B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019214145A JP6836256B2 (ja) 2019-11-27 2019-11-27 情報処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019214145A JP6836256B2 (ja) 2019-11-27 2019-11-27 情報処理システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018193014A Division JP6653813B1 (ja) 2018-10-12 2018-10-12 情報処理システム

Publications (2)

Publication Number Publication Date
JP2020061164A true JP2020061164A (ja) 2020-04-16
JP6836256B2 JP6836256B2 (ja) 2021-02-24

Family

ID=70220211

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019214145A Active JP6836256B2 (ja) 2019-11-27 2019-11-27 情報処理システム

Country Status (1)

Country Link
JP (1) JP6836256B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022230639A1 (ja) 2021-04-30 2022-11-03 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法、及び、プログラム
JP7315049B1 (ja) 2022-02-22 2023-07-26 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014052805A (ja) * 2012-09-06 2014-03-20 Toshiba Tec Corp 情報処理装置及びプログラム
JP2017139019A (ja) * 2017-05-01 2017-08-10 東芝テック株式会社 情報処理装置、及びプログラム
JP2017157216A (ja) * 2016-02-29 2017-09-07 サインポスト株式会社 情報処理システム
JP2017220202A (ja) * 2016-06-02 2017-12-14 サインポスト株式会社 情報処理システム、情報処理方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014052805A (ja) * 2012-09-06 2014-03-20 Toshiba Tec Corp 情報処理装置及びプログラム
JP2017157216A (ja) * 2016-02-29 2017-09-07 サインポスト株式会社 情報処理システム
JP2017220202A (ja) * 2016-06-02 2017-12-14 サインポスト株式会社 情報処理システム、情報処理方法、及びプログラム
JP2017139019A (ja) * 2017-05-01 2017-08-10 東芝テック株式会社 情報処理装置、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022230639A1 (ja) 2021-04-30 2022-11-03 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法、及び、プログラム
JP7315049B1 (ja) 2022-02-22 2023-07-26 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置

Also Published As

Publication number Publication date
JP6836256B2 (ja) 2021-02-24

Similar Documents

Publication Publication Date Title
JP6968399B2 (ja) 情報処理システム
JP6653813B1 (ja) 情報処理システム
US11948364B2 (en) Portable computing device installed in or mountable to a shopping cart
JP7093783B2 (ja) 自動化買物環境における動的な顧客チェックアウト体験のためのシステム及び方法
RU2727084C1 (ru) Устройство и способ определения информации о заказе
JP7225434B2 (ja) 情報処理システム
US10383461B2 (en) System of control and identification of goods in a shop
JP2015106380A (ja) セルフチェックアウト端末
JP6836256B2 (ja) 情報処理システム
TWM570489U (zh) 智慧商店購物系統
JP2023162229A (ja) 監視装置及びプログラム
TW202006628A (zh) 智慧商店購物系統及使用其之購物方法
US11651416B2 (en) Goods purchase analysis assist system
JP6735888B2 (ja) 商品データ処理システム、商品データ処理方法
JP6983955B2 (ja) 情報処理装置、プログラム、及び情報処理方法
JP2021179927A (ja) 販売システム、精算装置、プログラム
JP2021128363A (ja) 商品販売データ処理システム、携帯端末装置、及びコンピュータ
JP2024037466A (ja) 情報処理システム、情報処理方法及びプログラム
JP2022045990A (ja) 商品販売データ処理システム、携帯端末、及びプログラム
JP2023028007A (ja) プログラム
JP2022098820A (ja) 商品販売データ処理システム、及びプログラム
JP2022008316A (ja) チェック装置、及びチェックプログラム
JP2023127257A (ja) 販売情報処理システム
CN117043809A (zh) 信息处理装置、信息处理方法和记录介质
CN111919233A (zh) 店铺管理设备和店铺管理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200129

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200129

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200129

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210121

R150 Certificate of patent or registration of utility model

Ref document number: 6836256

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150