JP2022116092A - 会計装置、会計システム、商品識別方法、およびプログラム - Google Patents
会計装置、会計システム、商品識別方法、およびプログラム Download PDFInfo
- Publication number
- JP2022116092A JP2022116092A JP2022081442A JP2022081442A JP2022116092A JP 2022116092 A JP2022116092 A JP 2022116092A JP 2022081442 A JP2022081442 A JP 2022081442A JP 2022081442 A JP2022081442 A JP 2022081442A JP 2022116092 A JP2022116092 A JP 2022116092A
- Authority
- JP
- Japan
- Prior art keywords
- display
- product
- image
- product identification
- accounting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 21
- 238000003384 imaging method Methods 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 241000699670 Mus sp. Species 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Cash Registers Or Receiving Machines (AREA)
- Image Analysis (AREA)
Abstract
【課題】画像を用いて商品を識別する際の精度の低下を抑制する。【解決手段】会計システム(1)は、会計装置(10)、撮像装置(30)、およびディスプレイ(40)を含んで構成される。ディスプレイ(40)は、商品の載置面としても利用される。撮像装置(30)は、ディスプレイ(40)上に載置された商品(P)を撮影してその商品(P)の画像を生成する。会計装置(10)は、ディスプレイ(40)上に載置された商品(P)の撮影時に、ディスプレイ(40)の表示を所定時間オフにさせる表示制御部(110)と、ディスプレイ(40)の表示がオフの間にディスプレイ(40)上の商品(P)を撮影することにより生成される商品識別用画像を取得する画像取得部(120)と、商品識別用画像を解析することにより、ディスプレイ(40)上の商品(P)を識別する商品識別部(130)と、を備える。【選択図】図1
Description
本発明は、店舗での業務を支援する技術に関する。
下記特許文献1には、処理装置が、商品の載置台に向けられた撮像装置により撮影された画像のデータを用いて載置台上に存在する商品を認識し、投影装置が、認識された商品及び/又は載置台の載置面上に会計処理に関する像を投影する技術が開示されている。
特許文献1に開示されるような技術において、撮像装置が商品を撮影する際、載置台などが背景として画像が写り込む。この背景の影響により、商品の識別精度が低下する可能性がある。
本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、画像を用いて商品を識別する際の精度の低下を抑制する技術を提供することである。
本発明の会計装置は、
ディスプレイ上に載置された商品の撮影時に、前記ディスプレイの表示を所定時間オフにさせる表示制御手段と、
前記ディスプレイの表示がオフの間に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得する画像取得手段と、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する商品識別手段と、
を備える。
ディスプレイ上に載置された商品の撮影時に、前記ディスプレイの表示を所定時間オフにさせる表示制御手段と、
前記ディスプレイの表示がオフの間に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得する画像取得手段と、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する商品識別手段と、
を備える。
本発明の会計システムは、
表示面が商品の載置面として利用されるディスプレイと、
前記ディスプレイ上に載置された商品が写る画像を生成する撮像装置と、
前記商品の撮影時に、前記ディスプレイの表示を所定時間オフにさせる表示制御手段と、
前記ディスプレイの表示がオフの間に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得する画像取得手段と、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する商品識別手段と、
を備える。
表示面が商品の載置面として利用されるディスプレイと、
前記ディスプレイ上に載置された商品が写る画像を生成する撮像装置と、
前記商品の撮影時に、前記ディスプレイの表示を所定時間オフにさせる表示制御手段と、
前記ディスプレイの表示がオフの間に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得する画像取得手段と、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する商品識別手段と、
を備える。
本発明の商品識別方法は、
コンピュータが、
ディスプレイ上に載置された商品の撮影時に、前記ディスプレイの表示を所定時間オフにさせ、
前記ディスプレイの表示がオフの間に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得し、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する、
ことを含む。
コンピュータが、
ディスプレイ上に載置された商品の撮影時に、前記ディスプレイの表示を所定時間オフにさせ、
前記ディスプレイの表示がオフの間に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得し、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する、
ことを含む。
本発明のプログラムは、コンピュータに上述の商品識別方法を実行させる。
本発明によれば、画像を用いて商品を識別する際に、識別精度が低下することを抑制できる。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
[第1実施形態]
〔システム構成〕
図1は、第1実施形態における会計システム1の構成例を示す図である。なお、図1はあくまで例示であり、本発明に係る会計システム1は図1に描かれる構成に限定されない。図1に示されるように、会計システム1は、会計装置10、撮像装置30、およびディスプレイ40を含んで構成される。会計装置10は、図示しない配線等によって撮像装置30、およびディスプレイ40と接続されている。また、会計装置10には、会計処理を行うための会計処理用機器(図示せず)が接続されている。会計処理機器は、例えば、バーコードスキャナ、キャッシャ、ドロワ、自動釣銭機、レシートプリンタ、キーボードやマウスなどの入力機器、スピーカーなどの出力機器などである。
〔システム構成〕
図1は、第1実施形態における会計システム1の構成例を示す図である。なお、図1はあくまで例示であり、本発明に係る会計システム1は図1に描かれる構成に限定されない。図1に示されるように、会計システム1は、会計装置10、撮像装置30、およびディスプレイ40を含んで構成される。会計装置10は、図示しない配線等によって撮像装置30、およびディスプレイ40と接続されている。また、会計装置10には、会計処理を行うための会計処理用機器(図示せず)が接続されている。会計処理機器は、例えば、バーコードスキャナ、キャッシャ、ドロワ、自動釣銭機、レシートプリンタ、キーボードやマウスなどの入力機器、スピーカーなどの出力機器などである。
ディスプレイ40は、店舗の業務(例えば、商品の精算業務など)で利用する様々な画像をその表示面上に表示する。なお、ディスプレイ40は、指やタッチペンなどを用いたタッチ操作による入力を受け付ける機能を有するタッチパネルディスプレイであってもよい。ディスプレイ40の表示面は、図示されるように、商品Pを載置する載置面としても利用される。
図1に示されるように、撮像装置30は、ディスプレイ40を撮像範囲に含むように配置されている。撮像装置30は、ディスプレイ40の表示面上に載置された商品Pを撮影して、商品Pが写る画像を生成する。撮像装置30により生成された画像は、会計装置10に送信される。
図1に例示されるように、本実施形態の会計装置10は、表示制御部110、画像取得部120、および商品識別部130を備える。
表示制御部110は、撮像装置30がディスプレイ40上に載置された商品Pを撮影する時、商品Pの識別処理に用いる画像の背景となる画像(以下、「背景画像」と表記)をディスプレイ40に所定時間表示させる。なお、背景画像のデータは、例えば、会計装置10のストレージデバイスなどに予め記憶されている。背景画像は、商品を識別する時にノイズとなり得る情報(すなわち、商品の識別精度を下げる可能性のある情報)が少ない画像である方が好ましい。例えば、無地の画像(特に単色無地の画像)は、何らかの物体の特徴点として誤って認識され得る要素が少なく、「商品を識別する時にノイズとなり得る情報の少ない画像」と言える。商品とは異なる色や反対色の背景画像は、商品と同化する可能性が低く、撮影された画像から商品の領域を把握しやすい画像といえる。但し、背景画像は無地の画像に限定されない。このような背景画像を用いた場合、背景画像と商品Pとの境界(すなわち、商品Pの領域)をコンピュータ(会計装置10)が把握しやすくなるという利点がある。
画像取得部120は商品識別用画像を取得する。商品識別用画像は、上述の背景画像がディスプレイ40に表示されている間に、撮像装置30がディスプレイ40上の商品Pを撮影することにより生成される。すなわち、商品識別用画像は、表示制御部110によってディスプレイ40に表示された背景画像、および、ディスプレイ40上に表示された商品Pが写る画像である。
商品識別部130は、商品識別用画像を解析することにより、ディスプレイ40上の商品Pを識別する。例えば、商品識別部130は、既知の物体認識技術(例えば、パターンマッチングや機械学習により構築された識別器など)を用いて、撮像装置30により生成された画像に写っている商品を識別することができる。また、撮像装置30により生成された画像に複数の商品が写っている場合であっても、商品識別部130は、既知の物体認識アルゴリズムを用いて、それらの商品をそれぞれ個別に識別することができる。また、商品識別部130は、商品に関する情報(以下、「商品情報」と表記)を記憶する記憶部(図示せず)から、識別された商品の商品情報を取得することができる。商品情報は、例えば、商品名、商品の価格、割引や値引きなどの特典の有無などの情報である。会計装置10は、商品識別部130により取得された商品情報を使って、商品の精算業務に係る処理を実行することができる。
〔ハードウエア構成例〕
会計システム1は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、会計システム1がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
会計システム1は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、会計システム1がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
図2は、会計システム1のハードウエア構成を例示するブロック図である。
会計装置10は、バス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060を有する。
バス1010は、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1020などを互いに接続する方法は、バス接続に限定されない。
プロセッサ1020は、CPU(Central Processing Unit) やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
メモリ1030は、RAM(Random Access Memory)などで実現される主記憶装置である。
ストレージデバイス1040は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。ストレージデバイス1040は会計装置10の各機能(表示制御部110、画像取得部120、商品識別部130など)を実現するプログラムモジュールを記憶している。プロセッサ1020がこれら各プログラムモジュールをメモリ1030上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。
入出力インタフェース1050は、会計装置10と各種入出力デバイスとを接続するためのインタフェースである。図2では、会計装置10は、撮像装置30およびディスプレイ40と、入出力インタフェース1050を介して接続されている。撮像装置30は、例えば、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを搭載するカメラである。撮像装置30は、図示されるように、ディスプレイ40(およびディスプレイ40上に載置される商品P)を撮像範囲に含むように設置される。撮像装置30は、ディスプレイ40上に載置された商品Pを撮影して、その商品Pが写る画像を生成する。ディスプレイ40は、一般的な表示用のデバイスである。ディスプレイ40は、タッチ機能付きのディスプレイ(タッチパネルディスプレイ)であってもよい。なお、ディスプレイ40は、商品Pの載置面としても利用される。そのため、ディスプレイ40の表示面としては、好ましくは、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro Luminescence)などの平面型ディスプレイが利用される。また、入出力インタフェース1050には、図示しない会計処理用機器が接続されている。会計処理用機器は、例えば、バーコードスキャナ、キャッシャ、ドロワ、自動釣銭機、レシートプリンタ、キーボードやマウスなどの入力機器、スピーカーなどの出力機器を含む。また、会計処理用機器として、店員専用または顧客専用のディスプレイ(ディスプレイ40とは異なるディスプレイ)が、入出力インタフェース1050を介して会計装置10と接続されていてもよい。
ネットワークインタフェース1060は、会計装置10をネットワークに接続するためのインタフェースである。このネットワークは、例えばLAN(Local Area Network)やWAN(Wide Area Network)である。ネットワークインタフェース1060がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。
図2は、あくまで一例であり、会計システム1のハードウエア構成は図2の例に制限されない。例えば、会計装置10は、ネットワークインタフェース1060を介して、撮像装置30およびディスプレイ40と接続されていてもよい。
〔処理の流れ〕
図3を用いて、本実施形態の会計システム1により実行される処理の流れを説明する。図3は、第1実施形態の会計システム1により実行される処理の流れを例示するシーケンス図である。
図3を用いて、本実施形態の会計システム1により実行される処理の流れを説明する。図3は、第1実施形態の会計システム1により実行される処理の流れを例示するシーケンス図である。
表示制御部110は、背景画像を表示させるための映像信号をディスプレイ40に送信する(S102)。表示制御部110は、例えばストレージデバイス1040などに記憶されている背景画像のデータを読み出し、その画像データを映像信号に変換してディスプレイ40に送信する。ディスプレイ40は、表示制御部110からの映像信号に基づいて、背景画像を表示面に表示させる(S104)。
ここで、表示制御部110は、撮像装置30のフレームレートに合わせて、背景画像の表示時間を制御することができる。例えば、撮像装置30のフレームレートがN[fps(frame per second)]である場合、表示制御部110は、1/N[s]よりも長い時間、背景画像をディスプレイ40に表示させる。ここで、撮像装置30のフレームレートがN[fps]の場合、撮像装置30のシャッタースピード(1フレーム分の露光時間)は1/N[s]以下となる。よって、背景画面がディスプレイ40に表示される時間の長さを1/N[s]よりも長い時間に制御することにより、撮像装置30は、ディスプレイ40上に背景画像が表示されている状態で撮影した画像(=商品識別用画像)を、1秒間に少なくとも1枚生成することができる。なお、撮像装置30のフレームレートの情報は、例えば、表示制御部110のプログラムモジュール内で予め定義されている。また、表示制御部110は、定期的に撮像装置30と通信してフレームレートの情報を取得してもよい。
なお、ディスプレイ40は店舗の業務で利用する画面などを表示するためのディスプレイでもある。そのため、表示制御部110は、背景画像を表示する時間以外では、例えば、商品の識別結果に基づいて表示する情報(例えば、識別した商品の名称、識別した商品の位置、精算処理を進めるための各種ボタンなど)を、ディスプレイ40上に表示させている。つまり、上述のS102およびS104の処理によって、ディスプレイ40の表示内容は、商品の識別結果に基づいて表示する情報から、背景画像に一時的に切り替えられる。ここで、背景画像の表示時間が長いほど、画像の切り替えによるチラつきが人の目で知覚され易くなる。すなわち、背景画像の表示時間が長いほど、ディスプレイ40を見ている店員や顧客に違和感を与える可能性が高くなってしまう。この問題を解決するため、表示制御部110は、好ましくは、背景画像を表示する時間の長さを、人(店員や顧客)が気付きにくい長さに制御する。ここで、人間の目の時間分解能は約50~100ミリ秒程度と言われている。よって、表示制御部110は、背景画像を表示する時間の長さを、好ましくは1/10秒以下、更に好ましくは1/20秒以下となるように制御する。このようにすることで、背景画像をディスプレイ40に表示させた場合に、店員や顧客に違和感を与える可能性を低減できる。
撮像装置30は、背景画像がディスプレイ40に表示されている間に撮影を行い、背景画像とディスプレイ40上に載置された商品とが写る商品識別用画像を生成する。撮像装置30により生成された商品識別用画像は、会計装置10に送信され、画像取得部120により取得される(S106)。
商品識別部130は、商品識別用画像を解析して、商品識別用画像に写っている商品を識別する(S108)。商品識別部130は、例えば、機械学習により構築された商品識別用の画像識別エンジンや、パターンマッチング技術などを利用して、商品識別用画像に写っている商品を識別することができる。商品識別部130は、各商品の商品情報を記憶する商品情報記憶部(図示せず)から、識別された商品に対応する商品情報を取得することができる。そして、会計装置10は、商品識別部130により取得された商品情報を用いて、商品の精算処理を進めることができる。
以上、本実施形態では、ディスプレイ40上に載置された商品を識別するために利用する画像(商品識別用画像)生成する際、ディスプレイ40上に背景画像が所定時間表示される。背景画像は、好ましくは、ノイズとなり得る情報や商品との同化が少ない、シンプルな画像である。このような背景画像を用いることによって、背景画像と商品との境界(すなわち、商品の領域)をコンピュータが精度よく検出することができる。結果として、商品の識別精度の低下を抑制できる。
〔第1実施形態の変形例〕
表示制御部110は、背景画像を表示する代わりに、ディスプレイ40への映像信号をオフにする(ディスプレイ40に何も表示させない)制御を実行するように構成されていてもよい。ディスプレイ40に何も表示されていない状態は、黒色無地の背景画像を表示させた状態と同様と言える。すなわち、ディスプレイ40への映像信号をオフにする制御によっても、上述したような効果が期待できる。
表示制御部110は、背景画像を表示する代わりに、ディスプレイ40への映像信号をオフにする(ディスプレイ40に何も表示させない)制御を実行するように構成されていてもよい。ディスプレイ40に何も表示されていない状態は、黒色無地の背景画像を表示させた状態と同様と言える。すなわち、ディスプレイ40への映像信号をオフにする制御によっても、上述したような効果が期待できる。
[第2実施形態]
〔システム構成例〕
本実施形態は、表示制御部110が、複数の背景画像を切り替えてディスプレイ40に表示させる点を除き、上述の第1実施形態と同様の構成(例:図1)を有する。
〔システム構成例〕
本実施形態は、表示制御部110が、複数の背景画像を切り替えてディスプレイ40に表示させる点を除き、上述の第1実施形態と同様の構成(例:図1)を有する。
本実施形態の表示制御部110は、ディスプレイ40に、それぞれ内容の異なる複数の背景画像を切り替えて表示させる。本実施形態では、ディスプレイ40に表示された背景画像別に撮像装置30により撮影が実行され、それぞれ背景画像が異なる複数の商品識別用画像(背景画像別の商品識別用画像)が生成される。画像取得部120は、この背景画像別の商品識別用画像を取得する。そして、商品識別部130は、背景画像別の商品識別用画像を用いて、ディスプレイ40上の商品を識別する。
〔背景画像の切り替え表示動作例〕
一例として、表示制御部110は、それぞれ色の異なる、複数の単色無地の画像をディスプレイ40上に切り替えて表示することができる。具体的な例として、表示制御部110は、赤色無地の背景画像、白色無地の背景画像、および青色無地の背景画像を、それぞれ切り替えてディスプレイ40上に表示させる。この場合、画像取得部120は、赤色無地の背景画像とディスプレイ40上の商品とが写る第1の商品識別用画像、白色無地の背景画像とその商品とが写る第2の商品識別用画像、および青色無地の背景画像とその商品とが写る第3の商品識別用画像をそれぞれ取得することができる。
一例として、表示制御部110は、それぞれ色の異なる、複数の単色無地の画像をディスプレイ40上に切り替えて表示することができる。具体的な例として、表示制御部110は、赤色無地の背景画像、白色無地の背景画像、および青色無地の背景画像を、それぞれ切り替えてディスプレイ40上に表示させる。この場合、画像取得部120は、赤色無地の背景画像とディスプレイ40上の商品とが写る第1の商品識別用画像、白色無地の背景画像とその商品とが写る第2の商品識別用画像、および青色無地の背景画像とその商品とが写る第3の商品識別用画像をそれぞれ取得することができる。
なお、表示制御部110は、複数の背景画像を連続的に切り替えてディスプレイ40上に表示させてもよいし、複数の背景画像の少なくとも一部について間隔をあけてディスプレイ40上に表示させてもよい。以下、図4を用いて、撮像装置30のフレームレートが30[fps]である場合における表示動作の具体例について説明する。図4は、表示制御部110が複数の背景画像を切り替え表示するタイミングの一例を示す図である。図4aに例示されるように、表示制御部110は、例えば、第1~3フレームに対応する期間でそれぞれ色が異なる3つの背景画像を切り替えてディスプレイ40上に表示させてもよい。また、表示制御部110は、例えば、一定の間隔をあけて、それぞれ色が異なる3つの背景画像を切り替えてディスプレイ40上に表示させてもよい。例えば、図4bに例示されるように、表示制御部110は、第1、11、21フレームに対応する期間に、それぞれ色の異なる3つの背景画像をそれぞれ表示させてもよい。また、表示制御部110は、各背景画像を複数回繰り返してディスプレイ40に表示させてもよい。例えば、図4cに例示されるように、表示制御部110は、第1~3フレームに対応する期間、第11~13フレームに対応する期間、および、第21~23フレーム対応する期間のそれぞれにおいて、それぞれ色が異なる3つの背景画像を切り替えてディスプレイ40上に表示させてもよい。また、図4dに例示されるように、表示制御部110は、第1、11、21フレームに対応する期間、および、第6、16、26フレームに対応する期間のそれぞれにおいて、それぞれ色の異なる3つの背景画像をそれぞれ表示させてもよい。
商品識別部130は、このように取得された複数の商品識別用画像を用いることにより、商品の領域をより精度よく検出することが可能となる。例えば、商品識別部130は、複数の商品識別用画像間での輝度の変化量を用いて、商品の領域を検出することができる。複数の商品識別用画像のそれぞれについて、ディスプレイ40上に表示されている背景画像の色は異なる。そのため、商品とディスプレイ40とが重なっていない領域での輝度の変化量は、商品とディスプレイ40とが重なっていない領域(すなわち、ディスプレイ40上に載置された商品の領域)の輝度の変化量よりも大きくなる。商品識別部130は、複数の商品識別用画像を用いて算出可能な、輝度の変化量の大小に基づいて、商品の領域を精度よく切り出すことができる。
以上、本実施形態によれば、商品識別部130がより高精度に商品の領域を検出することができる。結果として、より精度よく商品を識別することが可能となる。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
例えば、本発明は、購入商品の登録から代金の支払いまでの操作を店員用の装置で行う一般的な方式のみならず、所謂セミセルフ方式やセルフ方式にも適用できる。セミセルフ方式では、商品登録用のレジ装置と代金支払い用の精算装置が別々に設けられている。そして、この商品登録用のレジ装置に、上述の会計装置10の機能を持たせることができる。また、セルフ方式では、購入商品の登録から代金の支払いまでを顧客が操作する装置で行う。そして、この顧客が操作する装置に、上述の会計装置10の機能を持たせることができる。
また、上述の説明で用いたシーケンス図では、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1.
ディスプレイ上に載置された商品の撮影時に、前記商品の識別処理に用いる画像の背景画像を前記ディスプレイに所定時間表示させる表示制御手段と、
前記背景画像が表示されている間に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得する画像取得手段と、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する商品識別手段と、
を備える会計装置。
2.
前記表示制御手段は、前記ディスプレイに、それぞれ内容の異なる複数の背景画像を切り替えて表示させ、
前記画像取得手段は、前記背景画像別の前記商品識別用画像を取得し、
前記商品識別手段は、前記背景画像別の商品識別用画像を用いて、前記ディスプレイ上の商品を識別する、
1.に記載の会計装置。
3.
前記表示制御手段は、前記商品識別用画像を生成する撮像装置のフレームレートがN[fps(frame per second)]である場合、1/Nよりも長い時間、前記背景画像を前記ディスプレイに表示させる、
1.または2.に記載の会計装置。
4.
前記表示制御手段は、前記背景画像の表示時間を1/10秒以下に制御する、
3.に記載の会計装置。
5.
前記表示制御手段は、前記背景画像の表示時間を1/20秒以下に制御する、
4.に記載の会計装置。
6.
前記表示制御手段は、前記背景画像の表示時間外では、前記商品の識別結果に基づいて表示する情報を前記ディスプレイ上に表示させる、
1.から5.のいずれか1つに記載の会計装置。
7.
表示面が商品の載置面として利用されるディスプレイと、
前記ディスプレイ上に載置された商品が写る画像を生成する撮像装置と、
前記商品の撮影時に、前記商品の識別処理に用いる画像の背景画像を前記ディスプレイに所定時間表示させる表示制御手段と、
前記背景画像の表示中に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得する画像取得手段と、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する商品識別手段と、
を備える会計システム。
8.
前記表示制御手段は、前記ディスプレイに、それぞれ内容の異なる複数の背景画像を切り替えて表示させ、
前記画像取得手段は、前記背景画像別の前記商品識別用画像を取得し、
前記商品識別手段は、前記背景画像別の商品識別用画像を用いて、前記ディスプレイ上の商品を識別する、
7.に記載の会計システム。
9.
前記表示制御手段は、前記商品識別用画像を生成する撮像装置のフレームレートがN[fps(frame per second)]である場合、1/Nよりも長い時間、前記背景画像を前記ディスプレイに表示させる、
7.または8.に記載の会計システム。
10.
前記表示制御手段は、前記背景画像の表示時間を1/10秒以下に制御する、
9.に記載の会計システム。
11.
前記表示制御手段は、前記背景画像の表示時間を1/20秒以下に制御する、
10.に記載の会計システム。
12.
前記表示制御手段は、前記背景画像の表示時間外では、前記商品の識別結果に基づいて表示する情報を前記ディスプレイ上に表示させる、
7.から11.のいずれか1つに記載の会計システム。
13.
コンピュータが、
ディスプレイ上に載置された商品の撮影時に、前記商品の識別処理に用いる画像の背景画像を前記ディスプレイに所定時間表示させ、
前記背景画像の表示中に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得し、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する、
ことを含む商品識別方法。
14.
前記コンピュータが、
前記ディスプレイに、それぞれ内容の異なる複数の背景画像を切り替えて表示させ、
前記背景画像別の前記商品識別用画像を取得し、
前記背景画像別の商品識別用画像を用いて、前記ディスプレイ上の商品を識別する、
こと含む13.に記載の商品識別方法。
15.
前記コンピュータが、
前記商品識別用画像を生成する撮像装置のフレームレートがN[fps(frame per second)]である場合、1/Nよりも長い時間、前記背景画像を前記ディスプレイに表示させる、
ことを含む13.または14.に記載の商品識別方法。
16.
前記コンピュータが、
前記背景画像の表示時間を1/10秒以下に制御する、
ことを含む15.に記載の商品識別方法。
17.
前記コンピュータが、
前記背景画像の表示時間を1/20秒以下に制御する、
ことを含む16.に記載の商品識別方法。
18.
前記コンピュータが、
前記背景画像の表示時間外では、前記商品の識別結果に基づいて表示する情報を前記ディスプレイ上に表示させる、
ことを含む13.から17.のいずれか1つに記載の商品識別方法。
19.
コンピュータに、13.から18.のいずれか1つに記載の商品識別方法を実行させるためのプログラム。
1.
ディスプレイ上に載置された商品の撮影時に、前記商品の識別処理に用いる画像の背景画像を前記ディスプレイに所定時間表示させる表示制御手段と、
前記背景画像が表示されている間に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得する画像取得手段と、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する商品識別手段と、
を備える会計装置。
2.
前記表示制御手段は、前記ディスプレイに、それぞれ内容の異なる複数の背景画像を切り替えて表示させ、
前記画像取得手段は、前記背景画像別の前記商品識別用画像を取得し、
前記商品識別手段は、前記背景画像別の商品識別用画像を用いて、前記ディスプレイ上の商品を識別する、
1.に記載の会計装置。
3.
前記表示制御手段は、前記商品識別用画像を生成する撮像装置のフレームレートがN[fps(frame per second)]である場合、1/Nよりも長い時間、前記背景画像を前記ディスプレイに表示させる、
1.または2.に記載の会計装置。
4.
前記表示制御手段は、前記背景画像の表示時間を1/10秒以下に制御する、
3.に記載の会計装置。
5.
前記表示制御手段は、前記背景画像の表示時間を1/20秒以下に制御する、
4.に記載の会計装置。
6.
前記表示制御手段は、前記背景画像の表示時間外では、前記商品の識別結果に基づいて表示する情報を前記ディスプレイ上に表示させる、
1.から5.のいずれか1つに記載の会計装置。
7.
表示面が商品の載置面として利用されるディスプレイと、
前記ディスプレイ上に載置された商品が写る画像を生成する撮像装置と、
前記商品の撮影時に、前記商品の識別処理に用いる画像の背景画像を前記ディスプレイに所定時間表示させる表示制御手段と、
前記背景画像の表示中に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得する画像取得手段と、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する商品識別手段と、
を備える会計システム。
8.
前記表示制御手段は、前記ディスプレイに、それぞれ内容の異なる複数の背景画像を切り替えて表示させ、
前記画像取得手段は、前記背景画像別の前記商品識別用画像を取得し、
前記商品識別手段は、前記背景画像別の商品識別用画像を用いて、前記ディスプレイ上の商品を識別する、
7.に記載の会計システム。
9.
前記表示制御手段は、前記商品識別用画像を生成する撮像装置のフレームレートがN[fps(frame per second)]である場合、1/Nよりも長い時間、前記背景画像を前記ディスプレイに表示させる、
7.または8.に記載の会計システム。
10.
前記表示制御手段は、前記背景画像の表示時間を1/10秒以下に制御する、
9.に記載の会計システム。
11.
前記表示制御手段は、前記背景画像の表示時間を1/20秒以下に制御する、
10.に記載の会計システム。
12.
前記表示制御手段は、前記背景画像の表示時間外では、前記商品の識別結果に基づいて表示する情報を前記ディスプレイ上に表示させる、
7.から11.のいずれか1つに記載の会計システム。
13.
コンピュータが、
ディスプレイ上に載置された商品の撮影時に、前記商品の識別処理に用いる画像の背景画像を前記ディスプレイに所定時間表示させ、
前記背景画像の表示中に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得し、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する、
ことを含む商品識別方法。
14.
前記コンピュータが、
前記ディスプレイに、それぞれ内容の異なる複数の背景画像を切り替えて表示させ、
前記背景画像別の前記商品識別用画像を取得し、
前記背景画像別の商品識別用画像を用いて、前記ディスプレイ上の商品を識別する、
こと含む13.に記載の商品識別方法。
15.
前記コンピュータが、
前記商品識別用画像を生成する撮像装置のフレームレートがN[fps(frame per second)]である場合、1/Nよりも長い時間、前記背景画像を前記ディスプレイに表示させる、
ことを含む13.または14.に記載の商品識別方法。
16.
前記コンピュータが、
前記背景画像の表示時間を1/10秒以下に制御する、
ことを含む15.に記載の商品識別方法。
17.
前記コンピュータが、
前記背景画像の表示時間を1/20秒以下に制御する、
ことを含む16.に記載の商品識別方法。
18.
前記コンピュータが、
前記背景画像の表示時間外では、前記商品の識別結果に基づいて表示する情報を前記ディスプレイ上に表示させる、
ことを含む13.から17.のいずれか1つに記載の商品識別方法。
19.
コンピュータに、13.から18.のいずれか1つに記載の商品識別方法を実行させるためのプログラム。
Claims (8)
- ディスプレイ上に載置された商品の撮影時に、前記ディスプレイの表示を所定時間オフにさせる表示制御手段と、
前記ディスプレイの表示がオフの間に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得する画像取得手段と、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する商品識別手段と、
を備える会計装置。 - 前記表示制御手段は、前記商品識別用画像を生成する撮像装置のフレームレートがN[fps(frame per second)]である場合、1/Nよりも長い時間、前記ディスプレイの表示をオフにさせる、
請求項1に記載の会計装置。 - 前記表示制御手段は、前記ディスプレイの表示をオフにさせる時間を1/10秒以下に制御する、
請求項2に記載の会計装置。 - 前記表示制御手段は、前記ディスプレイの表示をオフにさせる時間を1/20秒以下に制御する、
請求項3に記載の会計装置。 - 前記表示制御手段は、前記ディスプレイの表示をオフにさせる時間外では、前記商品の識別結果に基づいて表示する情報を前記ディスプレイ上に表示させる、
請求項1から4のいずれか1項に記載の会計装置。 - 表示面が商品の載置面として利用されるディスプレイと、
前記ディスプレイ上に載置された商品が写る画像を生成する撮像装置と、
前記商品の撮影時に、前記ディスプレイの表示を所定時間オフにさせる表示制御手段と、
前記ディスプレイの表示がオフの間に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得する画像取得手段と、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する商品識別手段と、
を備える会計システム。 - コンピュータが、
ディスプレイ上に載置された商品の撮影時に、前記ディスプレイの表示を所定時間オフにさせ、
前記ディスプレイの表示がオフの間に前記ディスプレイ上の商品を撮影することにより生成される商品識別用画像を取得し、
前記商品識別用画像を解析することにより、前記ディスプレイ上の商品を識別する、
ことを含む商品識別方法。 - コンピュータに、請求項7に記載の商品識別方法を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022081442A JP7468921B2 (ja) | 2018-03-29 | 2022-05-18 | 会計装置、会計システム、商品識別方法、およびプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020508768A JP7078105B2 (ja) | 2018-03-29 | 2018-03-29 | 会計装置、会計システム、商品識別方法、およびプログラム |
PCT/JP2018/013473 WO2019186972A1 (ja) | 2018-03-29 | 2018-03-29 | 会計装置、会計システム、商品識別方法、およびプログラム |
JP2022081442A JP7468921B2 (ja) | 2018-03-29 | 2022-05-18 | 会計装置、会計システム、商品識別方法、およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020508768A Division JP7078105B2 (ja) | 2018-03-29 | 2018-03-29 | 会計装置、会計システム、商品識別方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022116092A true JP2022116092A (ja) | 2022-08-09 |
JP7468921B2 JP7468921B2 (ja) | 2024-04-16 |
Family
ID=68061152
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020508768A Active JP7078105B2 (ja) | 2018-03-29 | 2018-03-29 | 会計装置、会計システム、商品識別方法、およびプログラム |
JP2022081442A Active JP7468921B2 (ja) | 2018-03-29 | 2022-05-18 | 会計装置、会計システム、商品識別方法、およびプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020508768A Active JP7078105B2 (ja) | 2018-03-29 | 2018-03-29 | 会計装置、会計システム、商品識別方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP7078105B2 (ja) |
WO (1) | WO2019186972A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003506800A (ja) * | 1999-08-10 | 2003-02-18 | アジャックス・クック・プロプライエタリー・リミテッド | 品物認識方法および装置 |
JP2004040521A (ja) * | 2002-07-04 | 2004-02-05 | Oki Electric Ind Co Ltd | 書画カメラ装置およびそのプログラム |
JP2005151418A (ja) * | 2003-11-19 | 2005-06-09 | Nec Viewtechnology Ltd | プロジェクタ |
JP2005182413A (ja) * | 2003-12-18 | 2005-07-07 | Tomohiro Hatsugawa | 像分離装置 |
JP2009163331A (ja) * | 2007-12-28 | 2009-07-23 | Toshiba Tec Corp | 商品販売データ処理装置及びコンピュータプログラム |
US20170017944A1 (en) * | 2015-07-15 | 2017-01-19 | Toshiba Tec Kabushiki Kaisha | Commodity-sales-data processing apparatus, commodity-sales-data processing method, and computer-readable storage medium |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6651816B2 (ja) | 2015-11-30 | 2020-02-19 | 株式会社寺岡精工 | 商品販売データ処理装置 |
-
2018
- 2018-03-29 JP JP2020508768A patent/JP7078105B2/ja active Active
- 2018-03-29 WO PCT/JP2018/013473 patent/WO2019186972A1/ja active Application Filing
-
2022
- 2022-05-18 JP JP2022081442A patent/JP7468921B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003506800A (ja) * | 1999-08-10 | 2003-02-18 | アジャックス・クック・プロプライエタリー・リミテッド | 品物認識方法および装置 |
JP2004040521A (ja) * | 2002-07-04 | 2004-02-05 | Oki Electric Ind Co Ltd | 書画カメラ装置およびそのプログラム |
JP2005151418A (ja) * | 2003-11-19 | 2005-06-09 | Nec Viewtechnology Ltd | プロジェクタ |
JP2005182413A (ja) * | 2003-12-18 | 2005-07-07 | Tomohiro Hatsugawa | 像分離装置 |
JP2009163331A (ja) * | 2007-12-28 | 2009-07-23 | Toshiba Tec Corp | 商品販売データ処理装置及びコンピュータプログラム |
US20170017944A1 (en) * | 2015-07-15 | 2017-01-19 | Toshiba Tec Kabushiki Kaisha | Commodity-sales-data processing apparatus, commodity-sales-data processing method, and computer-readable storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP7078105B2 (ja) | 2022-05-31 |
WO2019186972A1 (ja) | 2019-10-03 |
JPWO2019186972A1 (ja) | 2021-03-18 |
JP7468921B2 (ja) | 2024-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017126253A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
TWI545508B (zh) | 用於執行臉部追蹤功能的方法及其電子裝置 | |
US20120048926A1 (en) | Code reading apparatus, code reading system, and code reading method | |
US20130208122A1 (en) | Commodity reading apparatus and commodity reading method | |
US20200242362A1 (en) | System, server, program, and method for confirming acquisition of target object | |
JP5114294B2 (ja) | 商品販売データ処理装置およびその制御プログラム | |
JP5640112B2 (ja) | 商品認識装置及び商品認識プログラム | |
JP2018097631A (ja) | 表示装置及び表示装置の表示方法 | |
JP6319450B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2012185753A (ja) | 画像表示制御装置及びプログラム | |
JP2022116092A (ja) | 会計装置、会計システム、商品識別方法、およびプログラム | |
JP6947283B2 (ja) | 店舗装置、店舗システム、画像取得方法、およびプログラム | |
JP7006767B2 (ja) | 画像識別レジ装置、画像識別レジシステム、会計処理方法、およびプログラム | |
JP2021149623A (ja) | 情報処理装置及びプログラム | |
JP7067608B2 (ja) | 情報処理システム | |
KR20010056596A (ko) | 포스 모니터 화상과 감시카메라 화상을 처리하는 방법 | |
JP2019113976A (ja) | 動線分析システム、動線分析システムの制御方法、およびプログラム | |
JPWO2019186974A1 (ja) | 画像識別レジ装置、画像識別レジシステム、商品情報表示方法、およびプログラム | |
JP2019168818A (ja) | 商品情報取得装置、商品情報取得方法、およびプログラム | |
JP2022010292A (ja) | 登録装置、登録方法及びプログラム | |
JP7020538B2 (ja) | 会計装置、会計システム、商品識別方法、およびプログラム | |
JP7160087B2 (ja) | 画像識別レジ装置、画像識別レジシステム、情報提示方法、およびプログラム | |
JP2019139711A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2015069491A (ja) | 表示制御装置およびプログラム | |
JP2023017034A (ja) | 登録装置、登録方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230418 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240328 |