JP2016192089A - 商品登録装置、プログラム、制御方法、及び精算システム - Google Patents
商品登録装置、プログラム、制御方法、及び精算システム Download PDFInfo
- Publication number
- JP2016192089A JP2016192089A JP2015072037A JP2015072037A JP2016192089A JP 2016192089 A JP2016192089 A JP 2016192089A JP 2015072037 A JP2015072037 A JP 2015072037A JP 2015072037 A JP2015072037 A JP 2015072037A JP 2016192089 A JP2016192089 A JP 2016192089A
- Authority
- JP
- Japan
- Prior art keywords
- product
- image
- imaging
- unit
- imaging unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Cash Registers Or Receiving Machines (AREA)
Abstract
【課題】精算対象の商品を装置に認識させる作業の効率を高くする技術を提供する。
【解決手段】商品登録装置２０００は、複数の撮像部２０２０、及び認識部２０３０を有する。撮像部２０２０は商品を撮像して商品画像を生成する。認識部２０３０は、各撮像部２０２０が生成した商品画像に写っている、商品の画像又は商品情報シンボルの画像を用いて、その商品を認識する。商品情報シンボルは、商品に付されていて、その商品を特定するシンボルである。
【選択図】図１
【解決手段】商品登録装置２０００は、複数の撮像部２０２０、及び認識部２０３０を有する。撮像部２０２０は商品を撮像して商品画像を生成する。認識部２０３０は、各撮像部２０２０が生成した商品画像に写っている、商品の画像又は商品情報シンボルの画像を用いて、その商品を認識する。商品情報シンボルは、商品に付されていて、その商品を特定するシンボルである。
【選択図】図１
Description
本発明は、商品登録装置、プログラム、制御方法、及び精算システムに関する。
スーパーマーケット等の店舗において、操作者が自分で操作するレジ端末が運用され始めている。操作者は、購入する商品に付されているバーコードなどをレジ端末に認識させることで、購入する商品の登録を行う。その後、操作者は、画面に表示される代金をレジ端末に投入することで、登録した商品を購入する。
このようなレジ端末に関連する技術を開示する文献として、例えば特許文献１がある。特許文献１は、スキャナとカメラを１つずつ有し、商品をスキャンした結果と、カメラによる商品の撮像結果とを利用して、スキャンされた商品と撮像された商品の異同を判定する技術を開示している。
レジ端末に商品を認識させる作業を行う操作者は、商品を通過させるべき位置などを意識しながら作業を行う必要がある。商品がレジ端末のスキャナ等の前を通らないと、レジ端末が商品を認識できないためである。
本発明は、上記の課題に鑑みてなされたものである。本発明の目的は、精算対象の商品を装置に認識させる作業の効率を高くする技術を提供することである。
本発明の第１の商品登録装置は、商品を撮像して商品画像を生成する複数の撮像手段を互いに異なる位置に有し、各前記撮像手段によって生成された商品画像に写っている、商品の画像又はその商品に付されていてその商品を特定するシンボルである商品情報シンボルの画像を用いて、その商品を認識する認識手段を有する。
本発明の第２の商品登録装置は、商品を撮像して商品画像を生成する複数の撮像手段と、各前記撮像手段によって生成された商品画像に写っている、商品の画像又はその商品に付されていてその商品を特定するシンボルである商品情報シンボルの画像を用いて、その商品を認識する認識手段と、を有し、各前記撮像手段は異なる方向にある商品を撮像する。
本発明のプログラムは、コンピュータを、本発明の第１の商品登録装置又は本発明の第２の商品登録装置として動作させる。
本発明の第１の制御方法は、コンピュータによって実行させる制御方法である。当該制御方法は、互いに異なる位置に設けられた複数の撮像手段が、商品を撮像して商品画像を生成する撮像ステップと、各前記撮像手段によって生成された商品画像に写っている、商品の画像又はその商品に付されていてその商品を特定するシンボルである商品情報シンボルの画像を用いて、その商品を認識する認識ステップと、を有する。
本発明の第２の制御方法は、コンピュータによって実行される。当該制御方法は、複数の撮像手段が、商品を撮像して商品画像を生成する撮像ステップと、各前記撮像手段によって生成された商品画像に写っている、商品の画像又はその商品に付されていてその商品を特定するシンボルである商品情報シンボルの画像を用いて、その商品を認識する認識ステップと、を有する。各前記撮像手段は異なる方向にある商品を撮像する。
本発明の精算システムは、本発明の商品登録装置と、その商品登録装置の前記認識手段によって認識された商品の精算処理を行う精算装置と、を有する。
本発明によれば、精算対象の商品を装置に認識させる作業の効率を高くする技術が提供される。
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
［実施形態１］
図１は、実施形態１に係る商品登録装置２０００を例示するブロック図である。図１において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
図１は、実施形態１に係る商品登録装置２０００を例示するブロック図である。図１において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
商品登録装置２０００は、複数の撮像部２０２０、及び認識部２０３０を有する。撮像部２０２０は商品を撮像して画像を生成する。以下、この画像を商品画像と表記する。
各撮像部２０２０の撮像範囲は、商品通過エリアの一部又は全部を含む。商品通過エリアは、商品登録装置２０００を操作する操作者が、精算対象の商品を登録するためにその商品を通過させる空間である。ここで、操作者は店員であってもよいし、顧客であってもよい。
図２は商品通過エリアを例示する図である。台２０は、商品かごなどを載せる台である。商品通過エリア１０は、商品通過エリアである。このように、例えば商品通過エリアは、台２０上の空間である。ただし、商品通過エリア１０は、撮像部２０２０に対して商品情報を読み取らせるために操作者が商品を通過させる空間であればよく、図２に例示する空間に限定されない。また、商品登録装置２０００を運用する店舗は、商品かごを利用する店舗に限定されない。
認識部２０３０は、各撮像部２０２０が生成した商品画像を用いて商品を認識する。商品の認識とは、商品を特定し、その商品を精算対象として登録することを意味する。
例えば認識部２０３０は、商品画像に写っている商品情報シンボルの画像を解析することで商品の特定を行う。商品情報シンボルは、商品に関する情報を認識するシンボルである。ここで、シンボルとは、バーコード、２次元コード（ＱＲコード（登録商標）など）、又は文字列シンボルなどである。なお、ここでいう文字列には、数値列も含まれる。そして、商品情報シンボルは、商品情報を認識する情報（商品情報のＩＤなど）が符号化されたバーコード等、又は商品情報を認識する情報を表す文字列シンボルなどである。
また例えば、認識部２０３０は、商品画像に写っている商品自体の画像に対してオブジェクト認識を行うことで、商品の特定を行う。
＜作用・効果＞
本実施形態の商品登録装置２０００は、複数の撮像部２０２０を有する。そのため、いずれかの撮像部２０２０によって商品が撮像されれば、認識部２０３０がその商品を認識できる可能性がある。例えば操作者が商品通過エリアで商品を移動させた場合に、その商品が、ある撮像部２０２０の撮像範囲に配置されなかったとする。この場合、商品登録装置２０００が他に撮像部２０２０を備えていなければ、この商品は認識部２０３０によって認識されず、精算対象として登録されない。よって、操作者は、撮像部２０２０に商品情報の読み取りを行わせる作業をやり直す必要がある。一方、商品登録装置２０００が他の撮像部２０２０を備えていれば、商品が当該他の撮像部２０２０の撮像範囲内に配置される可能性があるため、認識部２０３０が商品を認識できる可能性がある。
本実施形態の商品登録装置２０００は、複数の撮像部２０２０を有する。そのため、いずれかの撮像部２０２０によって商品が撮像されれば、認識部２０３０がその商品を認識できる可能性がある。例えば操作者が商品通過エリアで商品を移動させた場合に、その商品が、ある撮像部２０２０の撮像範囲に配置されなかったとする。この場合、商品登録装置２０００が他に撮像部２０２０を備えていなければ、この商品は認識部２０３０によって認識されず、精算対象として登録されない。よって、操作者は、撮像部２０２０に商品情報の読み取りを行わせる作業をやり直す必要がある。一方、商品登録装置２０００が他の撮像部２０２０を備えていれば、商品が当該他の撮像部２０２０の撮像範囲内に配置される可能性があるため、認識部２０３０が商品を認識できる可能性がある。
また、前述した通り、商品画像を用いた商品の認識は、商品情報シンボルを解析したり、オブジェクト認識で商品を特定したりすることで行われる。ここで、商品情報シンボルを解析するためには、商品画像に商品情報シンボルが写っている必要がある。また、オブジェクト認識で商品を特定するためには、商品の特徴的な部分が商品画像に写っている必要がある。例えば缶コーヒーの種類をオブジェクト認識で特定する場合、缶の底のみが写っている商品画像では特定を行うことができず、ラベル等が写っている商品画像が必要となる。本実施形態の商品登録装置２０００によれば、いずれかの撮像部２０２０によって商品情報シンボル又は商品の特徴的な部分が撮像されれば、認識部２０３０がその商品を認識できる。
よって、本実施形態の商品登録装置２０００によれば、撮像部２０２０を１つしか備えない場合と比較し、商品が認識部２０３０によって認識される確率が高くなる。そのため、商品が精算対象として登録される確率が高くなるため、商品登録装置２０００に商品を認識させる作業の効率が高くなる。
以下、本実施形態の商品登録装置２０００について、さらに詳細に説明する。
＜商品登録装置２０００のハードウエア構成の例＞
商品登録装置２０００は、ハードウエア（例：ハードワイヤードされた電子回路など）のみで実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。
商品登録装置２０００は、ハードウエア（例：ハードワイヤードされた電子回路など）のみで実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。
商品登録装置２０００は、例えばレジ端末などの専用端末を用いて実装される。ただし商品登録装置２０００は、このような専用端末ではなく、PC（Personal Computer）やサーバマシンなどの種々の汎用計算機を用いて実装されてもよい。
図３は、商品登録装置２０００の実装に用いられる計算機１０００のハードウエア構成を例示するブロック図である。計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、及び入出力インタフェース１１００を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、及び入出力インタフェース１１００が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、例えば CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などの演算処理装置である。メモリ１０６０は、例えば RAM (Random Access Memory) や ROM (Read Only Memory) などのメモリである。ストレージ１０８０は、例えばハードディスク、SSD (Solid State Drive)、又はメモリカードなどの記憶装置である。また、ストレージ１０８０は、RAM や ROM 等のメモリであってもよい。ストレージ１０８０は各種データやプログラムを記憶する。
入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。計算機１０００は、入出力インタフェース１１００を介して、キーボード、マウス、又はディスプレイなどと接続される。
＜＜撮像部２０２０のハードウエア構成＞＞
例えば撮像部２０２０は、撮像素子を有するカメラ９０によって実現される。また例えば、撮像部２０２０はバーコードリーダによって実現されてもよい。この場合、撮像部２０２０は、商品に対して光を照射し、反射した光を受光素子で受光することで、バーコードのパターンを表すデータを生成する。商品画像には、このバーコードのパターンを表すデータも含まれる。
例えば撮像部２０２０は、撮像素子を有するカメラ９０によって実現される。また例えば、撮像部２０２０はバーコードリーダによって実現されてもよい。この場合、撮像部２０２０は、商品に対して光を照射し、反射した光を受光素子で受光することで、バーコードのパターンを表すデータを生成する。商品画像には、このバーコードのパターンを表すデータも含まれる。
＜撮像部２０２０の配置＞
撮像部２０２０の数は２つ以上の任意の数である。以下、撮像部２０２０の数が２つ、４つ、及び８つのそれぞれの場合について、具体的な撮像部２０２０の配置を例示する。なお、各配置における撮像部２０２０の間の距離は任意である。例えばこの距離は 5cm である。
撮像部２０２０の数は２つ以上の任意の数である。以下、撮像部２０２０の数が２つ、４つ、及び８つのそれぞれの場合について、具体的な撮像部２０２０の配置を例示する。なお、各配置における撮像部２０２０の間の距離は任意である。例えばこの距離は 5cm である。
＜＜配置１＞＞
図４は、２つの撮像部２０２０の配置を例示する第１の斜視図である。図４において、ｘ方向は操作者が商品を移動させる方向である。ｙ方向は、台２０の奥行き方向である。またｚ方向は鉛直方向である。
図４は、２つの撮像部２０２０の配置を例示する第１の斜視図である。図４において、ｘ方向は操作者が商品を移動させる方向である。ｙ方向は、台２０の奥行き方向である。またｚ方向は鉛直方向である。
図５は、図４の配置に対応する平面図である。図５（ａ）は図４のｙｚ平面図であり、図５（ｂ）は図４のｘｙ平面図である。撮像範囲３０は、撮像部２０２０の撮像範囲を表す。また、撮像方向４０は、撮像部２０２０を始点として、その撮像部２０２０の撮像範囲３０の中心を通る方向である。以下、撮像部２０２０の撮像方向４０を、「撮像部２０２０の向き」とも表記する。
図５（ａ）が示すように、撮像部２０２０−１と撮像部２０２０−２のｙ方向の位置は異なる位置である。具体的には、撮像部２０２０−１のｙ方向の位置は、ｙ方向における台２０の一端であり、撮像部２０２０−２のｙ方向の位置は、ｙ方向における台２０の別の一端である。一方、撮像部２０２０−１と撮像部２０２０−２のｚ方向の位置は同じ位置である。これらはいずれも、台２０上に設置されている。また、図５（ｂ）に示すように、撮像部２０２０−１と撮像部２０２０−２のｘ方向の位置は同じ位置である。
図５（ａ）に示すように、撮像部２０２０−１と撮像部２０２０−２の向きはいずれも、ｙｚ平面視において商品通過エリア１０を斜め下から見上げる方向である。なお、図５（ｂ）に示すように、撮像部２０２０−１と撮像部２０２０−２は、撮像範囲３０の一部が互いに重複していることが好ましい。
このような配置により、商品がｙ方向について異なる複数の方向から撮像されるようになる。よって、商品がいずれか一方向からのみ撮像される場合と比較し、商品情報シンボル又は商品の特徴的な部分が商品画像に写る確率が高くなるため、認識部２０３０が商品を認識できる確率が高くなる。
なお、図４及び図５の配置における各撮像部２０２０の向きはｚ方向であってもよい。
＜＜配置２＞＞
図６は、２つの撮像部２０２０の配置を例示する第２の斜視図である。ここで、保持部２０４０は、撮像部２０２０を保持するための部材である。
図６は、２つの撮像部２０２０の配置を例示する第２の斜視図である。ここで、保持部２０４０は、撮像部２０２０を保持するための部材である。
図７は、図６の配置に対応する平面図である。図７（ａ）は図６のｙｚ平面図、図７（ｂ）は図６のｘｙ平面図である。図７（ａ）が示すように、撮像部２０２０−１と撮像部２０２０−２のｙ方向の位置は異なる位置であり、その位置関係は図４の場合と同様である。また、撮像部２０２０−１と撮像部２０２０−２のｚ方向の位置は同じ位置であるが、図４の場合とは異なる位置である。具体的には、撮像部２０２０−１と撮像部２０２０−２は、商品通過エリア１０の上に位置している。図７（ｂ）が示すように、撮像部２０２０−１と撮像部２０２０−２のｘ方向の位置は同じ位置である。
図７（ａ）に示すように、撮像部２０２０−１と撮像部２０２０−２の向きはいずれも、ｙｚ平面視において商品通過エリア１０を斜め上から見下ろす方向である。なお、図７（ｂ）に示すように、撮像部２０２０−１と撮像部２０２０−２は、撮像範囲３０が一部の範囲で重複していることが好ましい。
このような配置により、商品がｙ方向について異なる複数の方向から撮像されるようになる。よって、商品がいずれか一方向からのみ撮像される場合と比較し、商品情報シンボル又は商品の特徴的な部分が商品画像に写る確率が高くなるため、認識部２０３０が商品を認識できる確率が高くなる。
なお、図６及び図７の配置おける各撮像部２０２０の向きは、−ｚ方向の向きであってもよい。
＜＜配置３＞＞
図８は、２つの撮像部２０２０の配置を例示する第３の斜視図である。図９は、図８の配置に対応する平面図である。図９（ａ）は図８のｙｚ平面図であり、図９（ｂ）は図８のｘｙ平面図である。図９（ａ）が示すように、撮像部２０２０−１と撮像部２０２０−２のｙ方向の位置は異なる位置であり、その位置関係は図４の場合と同様である。また、撮像部２０２０−１と撮像部２０２０−２のｚ方向の位置は異なる位置である。具体的には、撮像部２０２０−１は台２０上に設置されており、撮像部２０２０−２は保持部２０４０に保持されて商品通過エリア１０の上に位置している。図９（ｂ）が示すように、撮像部２０２０−１と撮像部２０２０−２のｘ方向の位置は異なる位置である。
図８は、２つの撮像部２０２０の配置を例示する第３の斜視図である。図９は、図８の配置に対応する平面図である。図９（ａ）は図８のｙｚ平面図であり、図９（ｂ）は図８のｘｙ平面図である。図９（ａ）が示すように、撮像部２０２０−１と撮像部２０２０−２のｙ方向の位置は異なる位置であり、その位置関係は図４の場合と同様である。また、撮像部２０２０−１と撮像部２０２０−２のｚ方向の位置は異なる位置である。具体的には、撮像部２０２０−１は台２０上に設置されており、撮像部２０２０−２は保持部２０４０に保持されて商品通過エリア１０の上に位置している。図９（ｂ）が示すように、撮像部２０２０−１と撮像部２０２０−２のｘ方向の位置は異なる位置である。
図９（ａ）に示すように、撮像部２０２０−１と撮像部２０２０−２の向きは、ｙｚ平面視において、商品通過エリア１０を挟んで互いに対向している。また、図９（ｂ）に示すように、撮像部２０２０−１と撮像部２０２０−２の向きは、ｘｙ平面視においても互いに対向している。なお、撮像部２０２０−１と撮像部２０２０−２は、撮像範囲３０が一部の範囲で重複していることが好ましい。
このような配置により、商品がｙ方向について異なる複数の方向から撮像されるようになる。よって、商品がいずれか一方向からのみ撮像される場合と比較し、商品情報シンボル又は商品の特徴的な部分が商品画像に写る確率が高くなるため、認識部２０３０が商品を認識できる確率が高くなる。さらに、商品が上下双方から撮像されるため、商品が上から又は下からのみ撮像される場合と比較し、商品情報シンボル又は商品の特徴的な部分が商品画像に写る確率が高くなるため、認識部２０３０が商品を認識できる確率が高くなる。
なお、図８及び図９の配置において、撮像部２０２０−１の向きを−ｚ方向にし、撮像部２０２０−２の向きをｚ方向にしてもよい。
＜＜配置４＞＞
図１０は、４つの撮像部２０２０の配置を例示する第１の斜視図である。図１１は、図１０の配置に対応する平面図である。図１１（ａ）は図１０のｙｚ平面図であり、図１１（ｂ）は図１０のｘｙ平面図である。図１１（ａ）に示すように、ｙ方向については、撮像部２０２０−１と撮像部２０２０−２の位置が同じであり、撮像部２０２０−３と撮像部２０２０−４の位置が同じである。具体的には、撮像部２０２０−１及び撮像部２０２０−２のｙ方向の位置は、台２０の一端であり、撮像部２０２０−３及び撮像部２０２０−４のｙ方向の位置は、台２０の別の一端である。ｚ方向については、撮像部２０２０−１と撮像部２０２０−４の位置が同じであり、撮像部２０２０−２及び撮像部２０２０−３の位置が同じである。具体的には、撮像部２０２０−１及び撮像部２０２０−４は保持部２０４０に保持されて商品通過エリア１０の上に位置しており、撮像部２０２０−２及び撮像部２０２０−３は台２０上に設置されている。図１１（ｂ）に示すように、各撮像部２０２０のｘ方向の位置は同じである。
図１０は、４つの撮像部２０２０の配置を例示する第１の斜視図である。図１１は、図１０の配置に対応する平面図である。図１１（ａ）は図１０のｙｚ平面図であり、図１１（ｂ）は図１０のｘｙ平面図である。図１１（ａ）に示すように、ｙ方向については、撮像部２０２０−１と撮像部２０２０−２の位置が同じであり、撮像部２０２０−３と撮像部２０２０−４の位置が同じである。具体的には、撮像部２０２０−１及び撮像部２０２０−２のｙ方向の位置は、台２０の一端であり、撮像部２０２０−３及び撮像部２０２０−４のｙ方向の位置は、台２０の別の一端である。ｚ方向については、撮像部２０２０−１と撮像部２０２０−４の位置が同じであり、撮像部２０２０−２及び撮像部２０２０−３の位置が同じである。具体的には、撮像部２０２０−１及び撮像部２０２０−４は保持部２０４０に保持されて商品通過エリア１０の上に位置しており、撮像部２０２０−２及び撮像部２０２０−３は台２０上に設置されている。図１１（ｂ）に示すように、各撮像部２０２０のｘ方向の位置は同じである。
撮像部２０２０−１と撮像部２０２０−３の撮像方向４０は互いに対向している。また、撮像部２０２０−２と撮像部２０２０−４の撮像方向４０は互いに対向している。なお、撮像部２０２０−１から撮像部２０２０−４の撮像方向４０はそれぞれ、撮像部２０２０−１から撮像部２０２０−４の中心点を向いていることが好ましい。また、各撮像部２０２０は、撮像範囲３０が一部の範囲で互いに重複していることが好ましい。
このように４つの撮像部２０２０がそれぞれ異なる方向から商品を撮像するため、撮像部２０２０の数が２つの場合と比較し、撮像部２０２０の死角が少なくなる。よって、撮像部２０２０の数が２つの場合と比較し、商品情報シンボル又は商品の特徴的な部分が商品画像に写る確率が高くなるため、認識部２０３０が商品を認識できる確率が高くなる。
なお、図８及び図９に示す配置における各撮像部２０２０の向きは、図８及び図９に示す向きに限定されない。例えば撮像部２０２０−１と撮像部２０２０−４がｚ方向を向いており、撮像部２０２０−２と撮像部２０２０−３が−ｚ方向を向いていてもよい。
＜＜配置５＞＞
図１２は、４つの撮像部２０２０の配置を例示する第２の斜視図である。図１３は、図１２の配置に対応する平面図である。図１３（ａ）は図１２のｙｚ平面図であり、図１３（ｂ）は図１２のｘｙ平面図である。図１３（ａ）に示すように、これらのｙ方向の位置及びｚ方向の位置関係は、図１１（ａ）の場合と同様である。一方、図１３（ｂ）に示すように、これらのｘ方向の位置関係は、図１１（ｂ）の場合と異なる。具体的には、撮像部２０２０−１と撮像部２０２０−４のｘ方向の位置が、図１１（ｂ）の場合と異なる。
図１２は、４つの撮像部２０２０の配置を例示する第２の斜視図である。図１３は、図１２の配置に対応する平面図である。図１３（ａ）は図１２のｙｚ平面図であり、図１３（ｂ）は図１２のｘｙ平面図である。図１３（ａ）に示すように、これらのｙ方向の位置及びｚ方向の位置関係は、図１１（ａ）の場合と同様である。一方、図１３（ｂ）に示すように、これらのｘ方向の位置関係は、図１１（ｂ）の場合と異なる。具体的には、撮像部２０２０−１と撮像部２０２０−４のｘ方向の位置が、図１１（ｂ）の場合と異なる。
各撮像部２０２０の撮像方向４０の関係は、図８及び図９における関係と同様である。
また、各撮像部２０２０は、撮像範囲３０が一部の範囲で互いに重複していることが好ましい。
また、各撮像部２０２０は、撮像範囲３０が一部の範囲で互いに重複していることが好ましい。
図１２及び図１３の配置は、図１０及び図１１の配置と異なり、ｘ方向について異なる方向から商品が撮像されるようになる。よって、図１０及び図１１の配置と比較し、商品情報シンボル又は商品の特徴的な部分が商品画像に写る確率が高くなるため、認識部２０３０が商品を認識できる確率が高くなる。
なお、図１２及び図１３の配置における各撮像部２０２０の向きは、図１２及び図１３に示す向きに限定されない。例えば撮像部２０２０−１と撮像部２０２０−２が互いに対応する向きを向いており、撮像部２０２０−３と撮像部２０２０−４が互いに対向する向きを向いていてもよい。
＜＜配置６＞＞
図１４は、８つの撮像部２０２０の配置を例示する図である。図１５は、図１４の配置に対応する平面図である。図１５（ａ）は図１４のｙｚ平面図であり、図１５（ｂ）は図１４のｘｙ平面図である。これらの図が示すように、撮像部２０２０−１から撮像部２０２０−４の位置関係、及び撮像部２０２０−５から撮像部２０２０−８の位置関係はそれぞれ、図１０及び図１１の配置における位置関係と同様となっている。ただし、図１５（ｂ）に示すように、撮像部２０２０−１から撮像部２０２０−４と、撮像部２０２０−５から撮像部２０２０−８とは、ｘ方向の位置が異なる。
図１４は、８つの撮像部２０２０の配置を例示する図である。図１５は、図１４の配置に対応する平面図である。図１５（ａ）は図１４のｙｚ平面図であり、図１５（ｂ）は図１４のｘｙ平面図である。これらの図が示すように、撮像部２０２０−１から撮像部２０２０−４の位置関係、及び撮像部２０２０−５から撮像部２０２０−８の位置関係はそれぞれ、図１０及び図１１の配置における位置関係と同様となっている。ただし、図１５（ｂ）に示すように、撮像部２０２０−１から撮像部２０２０−４と、撮像部２０２０−５から撮像部２０２０−８とは、ｘ方向の位置が異なる。
撮像部２０２０−１と撮像部２０２０−７の撮像方向４０、撮像部２０２０−２と撮像部２０２０−８の撮像方向４０、撮像部２０２０−３と撮像部２０２０−５の撮像方向４０、及び撮像部２０２０−４と撮像部２０２０−６の撮像方向４０はそれぞれ、互いに対向している。なお、各撮像部２０２０の撮像方向４０はいずれも、全ての撮像部２０２０の中心位置を向いていることが好ましい。また、各撮像部２０２０は、撮像範囲３０が一部の範囲で互いに重複していることが好ましい。
図１４及び図１５の配置によれば、撮像部２０２０の数が２つの場合や４つの場合と比較し、撮像部２０２０の死角が少なくなる。よって、商品情報シンボル又は商品の特徴的な部分が商品画像に写る確率が高くなるため、認識部２０３０が商品を認識できる確率が高くなる。
＜＜保持部２０４０について＞＞
保持部２０４０は可視光を通過させる部材で構成されることが好ましい。例えばこの部材は、透明なプラスチックやガラスなどで出来た棒、柱、又は板などである。保持部２０４０が可視光を通過するようにすることで、保持部２０４０によって商品に光が当たらなくなることを防ぐことができる。その結果、認識部２０３０による商品の認識の精度が低下することを防ぐことができる。
保持部２０４０は可視光を通過させる部材で構成されることが好ましい。例えばこの部材は、透明なプラスチックやガラスなどで出来た棒、柱、又は板などである。保持部２０４０が可視光を通過するようにすることで、保持部２０４０によって商品に光が当たらなくなることを防ぐことができる。その結果、認識部２０３０による商品の認識の精度が低下することを防ぐことができる。
＜処理の流れ＞
図１６は、実施形態１の商品登録装置２０００によって実行される処理の流れを例示するフローチャートである。撮像部２０２０は商品画像を生成する（Ｓ１０２）。認識部２０３０は商品画像を用いて商品を認識する（Ｓ１０４）。
図１６は、実施形態１の商品登録装置２０００によって実行される処理の流れを例示するフローチャートである。撮像部２０２０は商品画像を生成する（Ｓ１０２）。認識部２０３０は商品画像を用いて商品を認識する（Ｓ１０４）。
＜撮像部２０２０が行う処理の詳細＞
撮像部２０２０は商品画像を生成する（Ｓ１０２）。撮像部２０２０は静止画像を撮像してもよいし、動画を撮像してもよい。後者の場合、操作者画像は動画を構成する各フレームである。
撮像部２０２０は商品画像を生成する（Ｓ１０２）。撮像部２０２０は静止画像を撮像してもよいし、動画を撮像してもよい。後者の場合、操作者画像は動画を構成する各フレームである。
撮像部２０２０が撮像を行うタイミングは様々である。例えば撮像部２０２０は、操作者が商品登録装置２０００に商品を認識させるタイミング及びその前後で撮像を行う。例えば商品登録装置２０００の付近に人の検出を行う赤外線センサなどを設ける。商品登録装置２０００は、この赤外線センサからの通知を受けることで、商品登録装置２０００の付近に操作者がいることを把握することができる。そこで例えば、撮像部２０２０は、この赤外線センサによって商品登録装置２０００の付近に操作者がいることが検出された時から、この赤外線センサによって操作者が検出されなくなるまでの間、撮像を行う。
また例えば撮像部２０２０は、定期的に繰り返し撮像を行ってもよい。撮像部２０２０が繰り返し撮像を行う頻度は、例えば一般的な動画のフレームレートと同じ 1/30 秒である。
＜認識部２０３０が行う処理の詳細＞
認識部２０３０は、撮像部２０２０が生成した商品画像を用いて商品の認識を行う（Ｓ１０４）。例えば認識部２０３０は、各撮像部２０２０によって生成された各商品画像について、商品画像に写っている商品情報シンボルの検出及び検出した商品情報シンボルの解析を行うことで、商品の特定を行う。また例えば、認識部２０３０は、各撮像部２０２０が生成した商品画像に写っている商品自体についてオブジェクト認識を行うことにより、商品の特定を行う。そして、いずれかの商品画像から商品を特定できた場合、特定した商品を精算対象として登録する。
認識部２０３０は、撮像部２０２０が生成した商品画像を用いて商品の認識を行う（Ｓ１０４）。例えば認識部２０３０は、各撮像部２０２０によって生成された各商品画像について、商品画像に写っている商品情報シンボルの検出及び検出した商品情報シンボルの解析を行うことで、商品の特定を行う。また例えば、認識部２０３０は、各撮像部２０２０が生成した商品画像に写っている商品自体についてオブジェクト認識を行うことにより、商品の特定を行う。そして、いずれかの商品画像から商品を特定できた場合、特定した商品を精算対象として登録する。
ここで、複数の商品画像それぞれについて行った特定の結果が、異なる商品を示す可能性がある。例えば、ある撮像部２０２０によって生成された商品画像を用いた特定の結果が「商品はＸである」という結果を示し、別の撮像部２０２０によって生成された商品画像を用いた特定の結果が「商品はＹである」という結果を示しているとする。この場合、例えば認識部２０３０は、最も確からしい結果を用いて商品を特定する。例えば認識部２０３０は、同じ特定結果となった商品画像が最も多い結果を採用する。例えば、ある３つの商品画像それぞれを解析した結果が「商品はＸである」という結果を示しており、別の５つの商品画像それぞれを解析した結果が「商品はＹである」という結果を示しているとする。この場合、認識部２０３０は、商品画像の数が多い「商品はＹである」という結果を採用し、商品Ｙを精算対象として登録する。ただし認識部２０３０は、このように商品を一意に特定できなかった場合、警告を出してもよい。
［実施形態２］
実施形態２の商品登録装置２０００は、実施形態１の商品登録装置２０００と同様に図１で表される。実施形態２の商品登録装置２０００は、撮像部２０２０の配置が異なる点を除き、実施形態１の商品登録装置２０００と同様である。
実施形態２の商品登録装置２０００は、実施形態１の商品登録装置２０００と同様に図１で表される。実施形態２の商品登録装置２０００は、撮像部２０２０の配置が異なる点を除き、実施形態１の商品登録装置２０００と同様である。
実施形態２の商品登録装置２０００は、複数の撮像部２０２０のうち、少なくとも２つ以上の商品登録装置２０００が、互いに異なる方向にある商品を撮像するように配置される。以下、撮像部２０２０の配置について具体的に説明する。
＜配置１＞
図１７は、３つの撮像部２０２０の配置を例示する斜視図である。ｘ方向、ｙ方向、及びｚ方向はそれぞれ、操作者が商品を移動させる方向、台２０の奥行き方向、及び鉛直方向である。撮像範囲３０は、撮像部２０２０の撮像範囲である。撮像方向４０は、撮像部２０２０を始点として、その撮像部２０２０の撮像範囲３０の中心を通る方向である。
図１７は、３つの撮像部２０２０の配置を例示する斜視図である。ｘ方向、ｙ方向、及びｚ方向はそれぞれ、操作者が商品を移動させる方向、台２０の奥行き方向、及び鉛直方向である。撮像範囲３０は、撮像部２０２０の撮像範囲である。撮像方向４０は、撮像部２０２０を始点として、その撮像部２０２０の撮像範囲３０の中心を通る方向である。
図１７に示すように、各撮像部２０２０の撮像方向４０は互いに異なる向きとなっている。そして、各撮像部２０２０は、同じ筐体１００に収められている。
図１８は、図１７の配置に対応する平面図である。図１８（ａ）は図１７のｙｚ平面図であり、図１８（ｂ）は図１７のｘｙ平面図である。図１８（ｂ）に示すように、各撮像部２０２０は、互いに異なる方向にある商品５０を撮像する。
このように撮像部２０２０を配置することで、商品が互いに異なる複数の方向から撮像されるため、商品情報シンボル又は商品の特徴的な部分が商品画像に写る確率が高くなり、認識部２０３０が商品を認識できる確率が高くなる。また、図１７及び図１８の配置に示すように、複数の撮像部２０２０を近い位置に配置することができるため、複数の撮像部２０２０同じ筐体に収めることができる。よって、撮像部２０２０の設置が容易になる。
＜配置２＞
図１９は、８つの撮像部２０２０の配置を例示する斜視図である。図１９において、撮像部２０２０−１から撮像部２０２０−３が同じ筐体１００−１に収められている。同様に、撮像部２０２０−４から撮像部２０２０−６が同じ筐体１００−２に収められている。筐体１００−１と筐体１００−２は、互いに対向するように設置されている。撮像部２０２０−７は、台２０上に設置されている。一方、撮像部２０２０−８は、商品通過エリア１０の上に設置されている。図示は省略しているが、撮像部２０２０−８は保持部２０４０によって保持される。
図１９は、８つの撮像部２０２０の配置を例示する斜視図である。図１９において、撮像部２０２０−１から撮像部２０２０−３が同じ筐体１００−１に収められている。同様に、撮像部２０２０−４から撮像部２０２０−６が同じ筐体１００−２に収められている。筐体１００−１と筐体１００−２は、互いに対向するように設置されている。撮像部２０２０−７は、台２０上に設置されている。一方、撮像部２０２０−８は、商品通過エリア１０の上に設置されている。図示は省略しているが、撮像部２０２０−８は保持部２０４０によって保持される。
図２０は、図１９の配置に対応する平面図である。図２０（ａ）は図１９のｙｚ平面図であり、図２０（ｂ）は図１９のｘｙ平面図である。図２０（ｂ）に示すように、撮像部２０２０−１から撮像部２０２０−３は、図１７の配置と同様に、互いに異なる方向にある商品５０を撮像する。また、撮像部２０２０−４から撮像部２０２０−６も、互いに異なる方向にある商品５０を撮像する。撮像部２０２０−２と撮像部２０２０−５、及び撮像部２０２０−３と撮像部２０２０−６はそれぞれ、同じ位置にある商品５０を互いに異なる方向から撮像する。また、撮像部２０２０−１、撮像部２０２０−４、撮像部２０２０−７及び撮像部２０２０−８は、同じ位置にある商品５０を互いに異なる方向から撮像する。
図１９及び図２０の配置によれば、図１７及び図１８の場合よりも多くの撮像部２０２０によって様々な方向から商品５０を撮像できるため、商品情報シンボル又は商品の特徴的な部分が商品画像に写る確率が高くなり、認識部２０３０が商品を認識できる確率が高くなる。
実施形態２の商品登録装置２０００のハードウエア構成は、撮像部２０２０の配置を除き、実施形態１の商品登録装置２０００と同様である。
また、実施形態２の商品登録装置２０００の各機能構成部が実行する処理は、実施形態１の商品登録装置２０００の各機能構成部が実行する処理と同様である。
＜作用・効果＞
本実施形態の商品登録装置２０００によれば、複数の撮像部２０２０によって商品を互いに異なる方向から撮像するため、撮像部２０２０の数が１つの場合と比較し、商品情報シンボル又は商品の特徴的な部分が商品画像に写る確率が高くなる。よって、認識部２０３０が商品を認識できる確率が高くなる。さらに、本実施形態の商品登録装置２０００は、同じ又は近い位置に複数の商品登録装置２０００を設置し、これらの撮像部２０２０が異なる方向にある商品を撮像する。そのため、これらの撮像部２０２０を共通の筐体に収めることができるため、撮像部２０２０の設置が容易になる。
本実施形態の商品登録装置２０００によれば、複数の撮像部２０２０によって商品を互いに異なる方向から撮像するため、撮像部２０２０の数が１つの場合と比較し、商品情報シンボル又は商品の特徴的な部分が商品画像に写る確率が高くなる。よって、認識部２０３０が商品を認識できる確率が高くなる。さらに、本実施形態の商品登録装置２０００は、同じ又は近い位置に複数の商品登録装置２０００を設置し、これらの撮像部２０２０が異なる方向にある商品を撮像する。そのため、これらの撮像部２０２０を共通の筐体に収めることができるため、撮像部２０２０の設置が容易になる。
［実施形態３］
図２１は、実施形態３に係る商品登録装置２０００を例示するブロック図である。図２１において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
図２１は、実施形態３に係る商品登録装置２０００を例示するブロック図である。図２１において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
実施形態３の商品登録装置２０００は制御部２０６０を有する。制御部２０６０は、操作者の動作を撮像して画像を生成する。以下、制御部２０６０によって生成される画像を操作者画像と表記する。そして制御部２０６０は、操作者画像を用いて撮像部２０２０の制御を行う。
＜商品登録装置２０００のハードウエア構成＞
実施形態３の商品登録装置２０００のハードウエア構成は、実施形態１の商品登録装置２０００のハードウエア構成と同様に図３で表される。
実施形態３の商品登録装置２０００のハードウエア構成は、実施形態１の商品登録装置２０００のハードウエア構成と同様に図３で表される。
制御部２０６０は操作者画像を生成するための撮像素子を有する。例えば制御部２０６０は、撮像素子を有するカメラを用いて実装される。図２２は、実施形態３の商品登録装置２０００を具体的に例示する図である。図２２の商品登録装置２０００は、制御部２０６０を実現するためのカメラ１１０が、保持部２０４０の上に設置されている。ただし、カメラ１１０の設置位置は図２２に示す位置に限定されない。
なお、制御部２０６０が有するカメラは１つであってもよいし、複数であってもよい。
ここで、制御部２０６０の撮像素子の解像度は、撮像部２０２０の撮像素子の解像度よりも低くてよい。これは、後述するように商品や商品情報シンボルの位置などの検出に利用できればよい操作者画像の解像度は、商品の特定に利用できる必要がある商品画像の解像度と比べ、必要となる解像度が低いためである。このように制御部２０６０の撮像素子の解像度を低くすることで、商品登録装置２０００の製造コストを安くすることができる。ただし、制御部２０６０の撮像素子の解像度は、撮像部２０２０の撮像素子の解像度以上であってもよい。
実施形態３のストレージ１０８０は、実施形態３の各機能構成部を実現するためのプログラムモジュールをさらに記憶する。そして、プロセッサ１０４０は、これら各プログラムモジュールを実行することで、実施形態４の各機能構成部の機能を実現する。
＜処理の流れ＞
図２３は、実施形態３の商品登録装置２０００によって実行される処理の流れを例示するフローチャートである。制御部２０６０は操作者画像を生成する（Ｓ２０２）。制御部２０６０は、操作者画像に基づいて撮像部２０２０を制御する（Ｓ２０４）。撮像部２０２０は、制御部２０６０による制御に基づいて商品を撮像し、商品画像を生成する（Ｓ２０６）。認識部２０３０は生成された商品画像を用いて商品を認識する（Ｓ２０８）。
図２３は、実施形態３の商品登録装置２０００によって実行される処理の流れを例示するフローチャートである。制御部２０６０は操作者画像を生成する（Ｓ２０２）。制御部２０６０は、操作者画像に基づいて撮像部２０２０を制御する（Ｓ２０４）。撮像部２０２０は、制御部２０６０による制御に基づいて商品を撮像し、商品画像を生成する（Ｓ２０６）。認識部２０３０は生成された商品画像を用いて商品を認識する（Ｓ２０８）。
＜制御部２０６０が行う処理の詳細＞
制御部２０６０は、操作者画像を生成する（Ｓ２０２）。制御部２０６０は、静止画像を撮像してもよいし、動画を撮像してもよい。後者の場合、操作者画像は動画を構成する各フレームである。
制御部２０６０は、操作者画像を生成する（Ｓ２０２）。制御部２０６０は、静止画像を撮像してもよいし、動画を撮像してもよい。後者の場合、操作者画像は動画を構成する各フレームである。
制御部２０６０が撮像を行うタイミングは様々である。そのタイミングは、実施形態１で説明した撮像部２０２０が撮像を行うタイミングと同様である。
さらに制御部２０６０は、操作者画像を用いて撮像部２０２０を制御する（Ｓ２０４）。制御部２０６０が撮像部２０２０を制御する具体的な方法は様々である。以下、その方法を例示して説明する。
＜＜制御方法１＞＞
制御部２０６０は、各撮像部２０２０が商品の撮像を行うタイミングを制御する。まず制御部２０６０は、操作者画像を用いて、商品の検出、並びに商品の移動方向及び移動速度の算出を行う。ここで、画像から商品を検出する方法には、オブジェクト認識等の技術を利用できる。また制御部２０６０は、複数の操作者画像に写っている商品の位置の変化に基づいて、商品の移動方向や移動速度を算出する。
制御部２０６０は、各撮像部２０２０が商品の撮像を行うタイミングを制御する。まず制御部２０６０は、操作者画像を用いて、商品の検出、並びに商品の移動方向及び移動速度の算出を行う。ここで、画像から商品を検出する方法には、オブジェクト認識等の技術を利用できる。また制御部２０６０は、複数の操作者画像に写っている商品の位置の変化に基づいて、商品の移動方向や移動速度を算出する。
そして、制御部２０６０は、操作者画像の撮像時点、商品の移動方向、及び商品の移動速度を用いて、撮像部２０２０ごとに、商品が撮像部２０２０の撮像範囲内に配置されるタイミングを算出する。そして、制御部２０６０は、各撮像部２０２０について算出した上記タイミングで、各撮像部２０２０に商品を撮像させる。こうすることで、認識部２０３０が商品を認識できる確率が高いタイミングで各撮像部２０２０を動作させることができるため、認識部２０３０商品を認識できる確率が高くなる。
また、制御部２０６０は、商品が撮像範囲内に配置されない撮像部２０２０については、商品の撮像を行わせなくてもよい。こうすることで、撮像部２０２０の電力消費を抑え、かつ撮像部２０２０の劣化を防ぐことができる。
ここで、商品が撮像部２０２０によって撮像される際、その商品は操作者の手に保持されているため、その商品の表面の一部が、操作者の手で覆われている状態にある。そのため、操作者画像には、商品の一部が欠けているような状態で商品が写る場合がある。
このような場合、操作者画像に写っていない部分を補完して商品全体を再現した上で、撮像部２０２０の撮像タイミングを決定する制御を行うという方法も考えられる。しかし制御部２０６０は、このような補完を行わず、操作者画像に写っている商品の領域を用いて撮像部２０２０の撮像タイミングを決定することが好ましい。このように操作者の手で覆われていたりする部分は撮像部２０２０が生成する商品画像にも写らない確率が高いため、このような部分が配置されるタイミングで撮像部２０２０に商品を撮像させることは適切でないためである。
そこで例えば、制御部２０６０は、商品の領域のうち、操作者画像に写っている部分の領域のみがその商品を表すものとして、各撮像部２０２０の撮像タイミングを決定する。こうすることで、制御部２０６０は、商品画像に写る商品の領域（手などで覆われていない部分）が撮像範囲内に配置されるタイミングで撮像部２０２０に撮像を行わせることができる。また、制御部２０６０は、商品画像に写る商品の領域が撮像範囲内に配置される撮像部２０２０のみに撮像を行わせることができる。
なお、商品の移動速度は、操作者画像を用いて算出するのではなく、予め固定値として設定されていてもよい。例えば、商品登録装置２０００の運用を開始する前に、商品登録装置２０００の開発者等が、商品登録装置２０００に商品を認識させる運用テストを行う。こうすることで、開発者等は、商品登録装置２０００に商品を認識させる際の商品の移動速度を繰り返し実測し、その結果を用いて開発者等が上記固定値を決定する。この場合、制御部２０６０は、操作者画像の撮像時間、操作者画像から割り出した商品の移動方向、及び予め固定値として設定されている商品の移動速度を用いて、前述と同様の制御を行う。
また、商品の移動方向も、予め固定値として設定されていてもよい。例えばこの固定値は、台６０の長辺方向である。
上述の各固定値は、制御部２０６０に予め設定されていてもよいし、制御部２０６０からアクセス可能な記憶部に記憶されていてもよい。後者の場合、制御部２０６０は、この記憶部から各固定値を読み出して利用する。
また、制御部２０６０が有するカメラ等の位置及び撮像方向、並びに撮像部２０２０の位置及び認識方向が固定であれば、操作者画像内の商品の位置に関連付けて、その位置で商品が検出された場合にどの撮像部２０２０に撮像を行わせるかを予め決定しておくことができる。そこで、このように予め決定した制御方法を、制御部２０６０からアクセス可能な記憶部に記憶しておく。この場合、制御部２０６０は、操作者画像から商品を検出した際、この記憶部に記憶されている情報を参照動作することで、撮像部２０２０を制御する。
＜＜制御方法２＞＞
制御部２０６０は、商品情報シンボルの位置、移動速度、及び移動方向を算出し、これらに基づいて撮像部２０２０を制御する。例えば制御部２０６０は、商品情報シンボルが撮像部２０２０の撮像範囲内に配置されるタイミングで、撮像部２０２０に撮像を行わせる。また例えば制御部２０６０は、商品情報シンボルが撮像範囲内に配置される撮像部２０２０のみに撮像を行わせ、商品情報シンボルが撮像範囲内に配置されない撮像部２０２０に撮像を行わせないように撮像部２０２０を制御する。ここで、商品情報シンボルの位置、移動速度、及び移動方向を算出する方法は、商品の位置、移動速度、及び移動方向を算出する方法と同様である。また、商品情報シンボルの位置、移動速度、及び移動方向に基づいて、各撮像部２０２０に撮像を行わせるタイミングを決定したり、一部の撮像部２０２０のみに撮像を行わせたり方法は、商品の位置、移動速度、及び移動方向に基づいて、各撮像部２０２０に撮像を行わせるタイミングを決定したり、一部の撮像部２０２０のみに撮像を行わせたりする方法と同様である。
制御部２０６０は、商品情報シンボルの位置、移動速度、及び移動方向を算出し、これらに基づいて撮像部２０２０を制御する。例えば制御部２０６０は、商品情報シンボルが撮像部２０２０の撮像範囲内に配置されるタイミングで、撮像部２０２０に撮像を行わせる。また例えば制御部２０６０は、商品情報シンボルが撮像範囲内に配置される撮像部２０２０のみに撮像を行わせ、商品情報シンボルが撮像範囲内に配置されない撮像部２０２０に撮像を行わせないように撮像部２０２０を制御する。ここで、商品情報シンボルの位置、移動速度、及び移動方向を算出する方法は、商品の位置、移動速度、及び移動方向を算出する方法と同様である。また、商品情報シンボルの位置、移動速度、及び移動方向に基づいて、各撮像部２０２０に撮像を行わせるタイミングを決定したり、一部の撮像部２０２０のみに撮像を行わせたり方法は、商品の位置、移動速度、及び移動方向に基づいて、各撮像部２０２０に撮像を行わせるタイミングを決定したり、一部の撮像部２０２０のみに撮像を行わせたりする方法と同様である。
ここで、商品情報シンボルは操作者画像に写らない場合もある。例えば制御部２０６０が操作者の動作を斜め上から撮像する場合、商品の下に付されている商品情報シンボルは写らない場合がある。そこで、制御部２０６０は、操作者画像から商品を検出したものの商品情報シンボルを検出できない場合、制御部２０６０のカメラの死角になる位置に配置されている撮像部２０２０に撮像を行わせ、それ以外の撮像部２０２０に撮像を行わせないように撮像部２０２０を制御してもよい。制御部２０６０のカメラの死角になる位置に配置されている撮像部２０２０は、制御部２０６０の位置及び撮像方向、並びに各撮像部２０２０の配置から予め把握することができる。
このように商品情報シンボルの位置などに基づいて撮像部２０２０を制御する方法によれば、商品の位置などに基づいて撮像部２０２０を制御させる方法よりもさらに適切なタイミングで撮像部２０２０に撮像を行わせたり、商品情報シンボルを読み取ることができる撮像部２０２０のみに撮像を行わせたりすることができる。なおこの場合、認識部２０３０は、商品情報シンボルを解析することで商品を認識する。
＜作用・効果＞
本実施形態によれば、操作者画像に基づいて撮像部２０２０の制御が行われる。そのため、前述したように、認識部２０３０が商品を認識できる確率を高くすることができ、撮像部２０２０の電力消費を減らすことができ、かつ撮像部２０２０の劣化を防ぐことができる。
本実施形態によれば、操作者画像に基づいて撮像部２０２０の制御が行われる。そのため、前述したように、認識部２０３０が商品を認識できる確率を高くすることができ、撮像部２０２０の電力消費を減らすことができ、かつ撮像部２０２０の劣化を防ぐことができる。
［実施形態４］
実施形態４の商品登録装置２０００は、実施形態３の商品登録装置２０００と同様に図２１によって表される。下記で説明する点を除き、実施形態４の商品登録装置２０００は、実施形態３の商品登録装置２０００と同様である。
実施形態４の商品登録装置２０００は、実施形態３の商品登録装置２０００と同様に図２１によって表される。下記で説明する点を除き、実施形態４の商品登録装置２０００は、実施形態３の商品登録装置２０００と同様である。
実施形態４の制御部２０６０は、操作者画像及び各撮像部２０２０の位置や向きに基づき、商品の認識に用いる１つ以上の商品画像を決定する。認識部２０３０は、制御部２０６０によって決定された商品画像を用いて商品を認識する。
＜ハードウエア構成＞
実施形態４の商品登録装置２０００のハードウエア構成は、実施形態１の商品登録装置２０００のハードウエア構成と同様に図３で表される。実施形態４のストレージ１０８０は、実施形態４の各機能構成部を実現するためのプログラムモジュールをさらに記憶する。そして、プロセッサ１０４０は、これら各プログラムモジュールを実行することで、実施形態４の各機能構成部の機能を実現する。
実施形態４の商品登録装置２０００のハードウエア構成は、実施形態１の商品登録装置２０００のハードウエア構成と同様に図３で表される。実施形態４のストレージ１０８０は、実施形態４の各機能構成部を実現するためのプログラムモジュールをさらに記憶する。そして、プロセッサ１０４０は、これら各プログラムモジュールを実行することで、実施形態４の各機能構成部の機能を実現する。
＜処理の流れ＞
図２４は、実施形態４の商品登録装置２０００によって実行される処理の流れを例示するフローチャートである。各撮像部２０２０は商品画像を生成する（Ｓ３０２）。制御部２０６０は操作者画像を生成する（Ｓ３０４）。制御部２０６０は、操作者画像を用いて、商品の認識に用いる商品画像を決定する（Ｓ３０６）。認識部２０３０は、決定された商品画像を用いて商品を認識する（Ｓ３０８）。
図２４は、実施形態４の商品登録装置２０００によって実行される処理の流れを例示するフローチャートである。各撮像部２０２０は商品画像を生成する（Ｓ３０２）。制御部２０６０は操作者画像を生成する（Ｓ３０４）。制御部２０６０は、操作者画像を用いて、商品の認識に用いる商品画像を決定する（Ｓ３０６）。認識部２０３０は、決定された商品画像を用いて商品を認識する（Ｓ３０８）。
＜制御部２０６０が行う処理の詳細＞
制御部２０６０は操作者画像を用いて商品画像を決定する（Ｓ３０６）。そのために、制御部２０６０は、実施形態３の制御部２０６０と同様の方法で、商品が各撮像部２０２０の撮像範囲内に配置されるタイミングなどを算出する。ただし、本実施形態では、このように算出するタイミングなどの利用方法が、実施形態３と異なる。以下、詳細に説明する。
制御部２０６０は操作者画像を用いて商品画像を決定する（Ｓ３０６）。そのために、制御部２０６０は、実施形態３の制御部２０６０と同様の方法で、商品が各撮像部２０２０の撮像範囲内に配置されるタイミングなどを算出する。ただし、本実施形態では、このように算出するタイミングなどの利用方法が、実施形態３と異なる。以下、詳細に説明する。
＜＜制御方法１＞＞
例えば制御部２０６０は、実施形態３で説明した制御方法１と同様の方法により、各撮像部２０２０について、商品が撮像範囲内に配置されるタイミングを割り出す。そして、制御部２０６０は、撮像部２０２０ごとに、その撮像部２０２０によって生成された各商品画像のうち、商品が撮像範囲内に配置されるタイミングで撮像された商品画像を特定する。そして、制御部２０６０は、特定された各商品画像を商品の認識に用いることを決定する。
例えば制御部２０６０は、実施形態３で説明した制御方法１と同様の方法により、各撮像部２０２０について、商品が撮像範囲内に配置されるタイミングを割り出す。そして、制御部２０６０は、撮像部２０２０ごとに、その撮像部２０２０によって生成された各商品画像のうち、商品が撮像範囲内に配置されるタイミングで撮像された商品画像を特定する。そして、制御部２０６０は、特定された各商品画像を商品の認識に用いることを決定する。
また例えば制御部２０６０は、実施形態３で説明した制御方法１と同様の方法により、撮像範囲内に商品が配置される撮像部２０２０を割り出す。そして、制御部２０６０は、撮像範囲内に商品が配置される撮像部２０２０によって生成された商品画像を商品の認識に用いることを決定する。
＜＜制御方法２＞＞
例えば制御部２０６０は、実施形態３で説明した制御方法２と同様の方法により、商品情報シンボルが撮像範囲内に配置されるタイミングを割り出す。そして、制御部２０６０は、撮像部２０２０ごとに、その撮像部２０２０によって生成された各商品画像のうち、商品情報シンボルが撮像範囲内に配置されるタイミングで撮像された商品画像を特定する。そして、制御部２０６０は、特定された各商品画像を商品の認識に用いることを決定する。
例えば制御部２０６０は、実施形態３で説明した制御方法２と同様の方法により、商品情報シンボルが撮像範囲内に配置されるタイミングを割り出す。そして、制御部２０６０は、撮像部２０２０ごとに、その撮像部２０２０によって生成された各商品画像のうち、商品情報シンボルが撮像範囲内に配置されるタイミングで撮像された商品画像を特定する。そして、制御部２０６０は、特定された各商品画像を商品の認識に用いることを決定する。
また例えば制御部２０６０は、実施形態３で説明した制御方法２と同様の方法により、撮像範囲内に商品情報シンボルが配置される撮像部２０２０を割り出す。そして、制御部２０６０は、撮像範囲内に商品情報シンボルが配置される撮像部２０２０によって生成された商品画像を商品の認識に用いることを決定する。
＜作用・効果＞
本実施形態によれば、実施形態３と同様の理由により、商品登録装置２０００が商品を認識できる確率が高くなる。さらに、本実施形態によれば、制御部２０６０は撮像部２０２０を制御する必要がない。そのため、商品登録装置２０００による撮像部２０２０の制御がシンプルになる。
本実施形態によれば、実施形態３と同様の理由により、商品登録装置２０００が商品を認識できる確率が高くなる。さらに、本実施形態によれば、制御部２０６０は撮像部２０２０を制御する必要がない。そのため、商品登録装置２０００による撮像部２０２０の制御がシンプルになる。
［実施形態５］
実施形態５の商品登録装置２０００は、実施形態４の商品登録装置２０００と同様に、図２１で表される。下記で説明する点を除き、実施形態５の商品登録装置２０００は、実施形態４の商品登録装置２０００と同様である。
実施形態５の商品登録装置２０００は、実施形態４の商品登録装置２０００と同様に、図２１で表される。下記で説明する点を除き、実施形態５の商品登録装置２０００は、実施形態４の商品登録装置２０００と同様である。
実施形態４の制御部２０６０は、商品又は商品情報シンボルが各撮像部２０２０の撮像範囲内に配置されるタイミングを算出する。しかし、制御部２０６０が算出するタイミングは予測値であるため、実際に商品又は商品情報シンボルが各撮像部２０２０の撮像範囲内に配置されるタイミングは、この予測値とずれることがある。
また、実施形態４の制御部２０６０は、商品の移動方向などを算出することで、商品又は商品情報シンボルが撮像範囲内に配置される撮像部２０２０を予測する。しかし、商品の移動方向は変化することがあるため、「商品が撮像範囲内に配置される」と予測された撮像部２０２０の撮像範囲内に商品が配置されなかったり、「商品が撮像範囲内に配置されない」と予測された撮像部２０２０の撮像範囲内に商品が配置されることがある。
そこで実施形態５の制御部２０６０は、撮像部２０２０によって撮像された商品画像に対して重み付けを行う。そして、認識部２０３０は、重み付けがされた各商品画像を用いて、商品の認識を行う。
＜処理の流れ＞
図２５は、実施形態５の商品登録装置２０００によって実行される処理の流れを例示するフローチャートである。Ｓ３０２及びＳ３０４で行われる処理は、図２３の場合と同様である。制御部２０６０は、各商品画像に対して重み付けを行う（Ｓ４０２）。認識部２０３０は、重み付けされた商品画像を用いて商品を認識する（Ｓ４０４）。
図２５は、実施形態５の商品登録装置２０００によって実行される処理の流れを例示するフローチャートである。Ｓ３０２及びＳ３０４で行われる処理は、図２３の場合と同様である。制御部２０６０は、各商品画像に対して重み付けを行う（Ｓ４０２）。認識部２０３０は、重み付けされた商品画像を用いて商品を認識する（Ｓ４０４）。
＜制御部２０６０が行う処理の詳細＞
実施形態５の制御部２０６０は、操作者画像を用いて、各商品画像に対して重みをつける（Ｓ４０２）。具体的には、実施形態３や実施形態４で説明した各制御方法を利用して、商品画像に対して重み付けを行う。例えば制御部２０６０は、「商品又は商品情報シンボルが撮像範囲内に配置される」と予測された撮像部２０２０の重みを、「商品又は商品情報シンボルが撮像範囲内に配置されない」と予測された撮像部２０２０の重みよりも大きくする。また、制御部２０６０は、商品又は商品情報シンボルが撮像範囲内に配置されると予測されたタイミングに近い時点で撮像された商品画像ほど、重みを大きくする。
実施形態５の制御部２０６０は、操作者画像を用いて、各商品画像に対して重みをつける（Ｓ４０２）。具体的には、実施形態３や実施形態４で説明した各制御方法を利用して、商品画像に対して重み付けを行う。例えば制御部２０６０は、「商品又は商品情報シンボルが撮像範囲内に配置される」と予測された撮像部２０２０の重みを、「商品又は商品情報シンボルが撮像範囲内に配置されない」と予測された撮像部２０２０の重みよりも大きくする。また、制御部２０６０は、商品又は商品情報シンボルが撮像範囲内に配置されると予測されたタイミングに近い時点で撮像された商品画像ほど、重みを大きくする。
ここで、制御部２０６０が商品又は商品情報シンボルが撮像範囲内に配置されるか否かに基づいて商品画像ｉにつける重みを ai とし、制御部２０６０が商品又は商品情報シンボルが撮像範囲内に配置されるタイミングと商品画像の撮像時点との乖離に基づいて商品画像ｉにつける重みを bi とする。この場合、例えば制御部２０６０は商品画像ｉに対して ai*bi の重みをつける。ただし制御部２０６０は、商品画像ｉに対して、ai 又は bi のみをつけてもよい。
＜認識部２０３０が行う処理の詳細＞
認識部２０３０は、重み付けがされた商品画像を用いて商品を認識する（Ｓ４０４）。ここで、認識部２０３０は、商品画像につけられた重みを、その商品画像を用いて認識される商品の確からしさの指標として用いる。具体的には、認識部２０３０は、同じ商品が写っている商品画像それぞれについて、その商品画像に写っている商品を特定する。そして認識部２０３０は、商品を一意に特定できなかった場合、各商品画像につけられた重みをその商品画像に基づく特定の確からしさとすることで、商品を一意に特定する。
認識部２０３０は、重み付けがされた商品画像を用いて商品を認識する（Ｓ４０４）。ここで、認識部２０３０は、商品画像につけられた重みを、その商品画像を用いて認識される商品の確からしさの指標として用いる。具体的には、認識部２０３０は、同じ商品が写っている商品画像それぞれについて、その商品画像に写っている商品を特定する。そして認識部２０３０は、商品を一意に特定できなかった場合、各商品画像につけられた重みをその商品画像に基づく特定の確からしさとすることで、商品を一意に特定する。
例えば、ある１つの商品について生成された複数の商品画像のうち、一部の商品画像については、オブジェクト認識等により、「商品はＸである」と特定されたとする。一方、別の商品画像については、オブジェクト認識等の結果により、「商品はＹである」と特定されたとする。この場合、認識部２０３０は、各商品画像につけられた重みを用いて上記２つの特定の確からしさを算出し、より確からしい方の結果を、商品の特定結果とする。例えば認識部２０３０は、「商品はＸである」という特定がされた商品画像の重みと、「商品はＹである」という特定がされた商品画像の重みを、それぞれの特定の確からしさとして用いる。そして認識部２０３０は、重みが大きい方の特定を、最終的な特定結果とする。
なお上述の例において、「商品はＸである」という特定がされた商品画像と、「商品はＹである」という特定がされた商品画像が、それぞれ複数あるとする。この場合、認識部２０３０は、「商品はＸである」という特定がされた商品画像の重みの合計値と、「商品はＹである」という特定がされた商品画像の重みの合計値を比較し、重みの合計値が大きい方の特定を、最終的な特定結果とする。
＜作用・効果＞
本実施形態の商品登録装置２０００によれば、商品が撮像部２０２０の撮像範囲内に配置されるタイミングの予測値などを用いて各商品画像に重み付けをすることで、商品を高い精度で一意に特定することができる。よって、商品登録装置２０００による商品の認識の精度が高くなる。
本実施形態の商品登録装置２０００によれば、商品が撮像部２０２０の撮像範囲内に配置されるタイミングの予測値などを用いて各商品画像に重み付けをすることで、商品を高い精度で一意に特定することができる。よって、商品登録装置２０００による商品の認識の精度が高くなる。
［実施形態６］
図２６は、実施形態６に係る精算システム４０００を例示するブロック図である。図１において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
図２６は、実施形態６に係る精算システム４０００を例示するブロック図である。図１において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
精算システム４０００は、実施形態１から実施形態５の商品登録装置２０００のいずれか、及び精算装置３０００を有する。精算装置３０００は、認識部２０３０によって認識された商品の精算処理を行う装置である。
商品登録装置２０００は、認識部２０３０によって認識することで精算対象として登録した商品について、その商品の精算に用いる精算情報を生成する。ここで、１つの精算処理における精算対象には、複数の商品が含まれうる。例えば商品登録装置２０００は、精算対象の登録処理の開始を指示する操作を受け付けた後、精算対象の登録処理の終了を指示する操作を受け付けるまでの間に認識部２０３０によって認識された１つ又は複数の商品を、１つの精算処理における精算対象として登録する。ある精算処理に関する精算情報は、その精算処理の対象として登録された各商品のＩＤなどを示す。また精算情報は、取引番号、各商品の金額、及び合計金額などをさらに示してもよい。
精算装置３０００は、精算対象として登録された商品の精算処理に用いられる。具体的には、精算装置３０００は、合計金額を提示する処理、代金の投入を受け付ける処理、投入された代金を数え上げる処理、おつりを返却する処理、及びレシートを発行する処理などを行う。
精算装置３０００は、商品登録装置２０００と一体に設けられてもよいし、別体に設けられてもよい。精算装置３０００が商品登録装置２０００と一体に設けられる場合、計算機１０００は、商品登録装置２０００として動作する機能だけでなく、精算装置３０００として動作する機能も有する。
精算装置３０００が商品登録装置２０００と別体に設けられる場合、精算装置３０００は、レジ端末などの専用端末で実装されてもよいし、汎用計算機で実装されてもよい。精算装置３０００を実現する計算機のハードウエア構成は、例えば図３の計算機１０００のハードウエア構成と同様である。さらに、精算装置３０００を実現する計算機の入出力インタフェースには、顧客が代金を投入するためのデバイス、おつりを返金するためのデバイス、及びレシートを発行するためのデバイスなどが接続される。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
以下、参考形態の例を付記する。
１． 商品を撮像して商品画像を生成する複数の撮像手段を、互いに異なる位置に有し、
各前記撮像手段によって生成された商品画像に写っている、商品の画像又はその商品に付されていてその商品を特定するシンボルである商品情報シンボルの画像を用いて、その商品を認識する認識手段を有する商品登録装置。
２． 第１の前記撮像手段と第２の前記撮像手段は、互いに異なる方向から商品を撮像する、１．に記載の商品登録装置。
３． 第１の前記撮像手段と第２の前記撮像手段は、商品が通過する商品通過エリアを挟んで互いに対向する位置に設けられている、１．又は２．に記載の商品登録装置。
４． 商品を撮像して商品画像を生成する複数の撮像手段と、
各前記撮像手段によって生成された商品画像に写っている、商品の画像又はその商品に付されていてその商品を特定するシンボルである商品情報シンボルの画像を用いて、その商品を認識する認識手段と、を有し、
各前記撮像手段は、異なる方向にある商品を撮像する、商品登録装置。
５． 各前記撮像手段は、撮像範囲に、商品が通過する商品通過エリアの一部又は全てを含む、１．乃至４．いずれか一つに記載の商品登録装置。
６． 前記撮像手段を保持し、かつ可視光を通過させる保持手段を有し、
前記保持手段を通過した可視光は、商品が通過する商品通過エリアを通る、１．乃至５．いずれか一つに記載の商品登録装置。
７． 操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、複数の前記撮像手段の内、一部の前記撮像手段に商品を撮像させる制御手段を有する１．乃至６．いずれか一つに記載の商品登録装置。
８． 操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、各撮像手段によって撮像された商品画像の中から、商品の認識に用いる商品画像を決定する制御手段と、
前記認識手段は、前記制御手段によって決定された商品画像を用いて商品の認識を行う、１．乃至６．いずれか一つに記載の商品登録装置。
９． 操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、商品の認識に用いる商品画像を決定する制御手段を有し、
前記認識手段は、重み付けがされた各前記商品画像を用いて商品の認識を行う１．乃至６．いずれか一つに記載の商品登録装置。
１０． コンピュータを、１．乃至９．いずれか一つに記載の商品登録装置として動作させるプログラム。
１１． コンピュータによって実行させる制御方法であって、
互いに異なる位置に設けられた撮像手段が、商品を撮像して商品画像を生成する撮像ステップと、
各前記撮像手段によって生成された商品画像に写っている、商品の画像又はその商品に付されていてその商品を特定するシンボルである商品情報シンボルの画像を用いて、その商品を認識する認識ステップと、を有する制御方法。
１２． 第１の前記撮像手段と第２の前記撮像手段は、互いに異なる方向から商品を撮像する、１１．に記載の制御方法。
１３． 第１の前記撮像手段と第２の前記撮像手段は、商品が通過する商品通過エリアを挟んで互いに対向する位置に設けられている、１１．又は１２．に記載の制御方法。
１４． コンピュータによって実行される制御方法であって、複数の撮像手段が、商品を撮像して商品画像を生成する撮像ステップと、
各前記撮像手段によって生成された商品画像に写っている、商品の画像又はその商品に付されていてその商品を特定するシンボルである商品情報シンボルの画像を用いて、その商品を認識する認識ステップと、を有し、
各前記撮像手段は、異なる方向にある商品を撮像する、制御方法。
１５． 各前記撮像手段は、撮像範囲に、商品が通過する商品通過エリアの一部又は全てを含む、請求項１１．乃至１４．いずれか一項に記載の制御方法。
１６． 前記撮像手段を保持し、かつ可視光を通過させる保持手段を有し、
前記保持手段を通過した可視光は、商品が通過する商品通過エリアを通る、１１．乃至１５．いずれか一つに記載の制御方法。
１７． 操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、複数の前記撮像手段の内、一部の前記撮像手段に商品を撮像させる制御ステップを有する１１．乃至１６．いずれか一つに記載の制御方法。
１８． 操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、各撮像手段によって撮像された商品画像の中から、商品の認識に用いる商品画像を決定する制御ステップと、
前記認識ステップは、前記制御ステップによって決定された商品画像を用いて商品の認識を行う、１１．乃至１６．いずれか一つに記載の制御方法。
１９． 操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、商品の認識に用いる商品画像を決定する制御ステップを有し、
前記認識ステップは、重み付けがされた各前記商品画像を用いて商品の認識を行う１１．乃至１６．いずれか一つに記載の制御方法。
２０． １．乃至９．いずれか一項に記載の商品登録装置と、その商品登録装置の前記認識手段によって認識された商品の精算処理を行う精算装置と、を有する精算システム。
１． 商品を撮像して商品画像を生成する複数の撮像手段を、互いに異なる位置に有し、
各前記撮像手段によって生成された商品画像に写っている、商品の画像又はその商品に付されていてその商品を特定するシンボルである商品情報シンボルの画像を用いて、その商品を認識する認識手段を有する商品登録装置。
２． 第１の前記撮像手段と第２の前記撮像手段は、互いに異なる方向から商品を撮像する、１．に記載の商品登録装置。
３． 第１の前記撮像手段と第２の前記撮像手段は、商品が通過する商品通過エリアを挟んで互いに対向する位置に設けられている、１．又は２．に記載の商品登録装置。
４． 商品を撮像して商品画像を生成する複数の撮像手段と、
各前記撮像手段によって生成された商品画像に写っている、商品の画像又はその商品に付されていてその商品を特定するシンボルである商品情報シンボルの画像を用いて、その商品を認識する認識手段と、を有し、
各前記撮像手段は、異なる方向にある商品を撮像する、商品登録装置。
５． 各前記撮像手段は、撮像範囲に、商品が通過する商品通過エリアの一部又は全てを含む、１．乃至４．いずれか一つに記載の商品登録装置。
６． 前記撮像手段を保持し、かつ可視光を通過させる保持手段を有し、
前記保持手段を通過した可視光は、商品が通過する商品通過エリアを通る、１．乃至５．いずれか一つに記載の商品登録装置。
７． 操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、複数の前記撮像手段の内、一部の前記撮像手段に商品を撮像させる制御手段を有する１．乃至６．いずれか一つに記載の商品登録装置。
８． 操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、各撮像手段によって撮像された商品画像の中から、商品の認識に用いる商品画像を決定する制御手段と、
前記認識手段は、前記制御手段によって決定された商品画像を用いて商品の認識を行う、１．乃至６．いずれか一つに記載の商品登録装置。
９． 操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、商品の認識に用いる商品画像を決定する制御手段を有し、
前記認識手段は、重み付けがされた各前記商品画像を用いて商品の認識を行う１．乃至６．いずれか一つに記載の商品登録装置。
１０． コンピュータを、１．乃至９．いずれか一つに記載の商品登録装置として動作させるプログラム。
１１． コンピュータによって実行させる制御方法であって、
互いに異なる位置に設けられた撮像手段が、商品を撮像して商品画像を生成する撮像ステップと、
各前記撮像手段によって生成された商品画像に写っている、商品の画像又はその商品に付されていてその商品を特定するシンボルである商品情報シンボルの画像を用いて、その商品を認識する認識ステップと、を有する制御方法。
１２． 第１の前記撮像手段と第２の前記撮像手段は、互いに異なる方向から商品を撮像する、１１．に記載の制御方法。
１３． 第１の前記撮像手段と第２の前記撮像手段は、商品が通過する商品通過エリアを挟んで互いに対向する位置に設けられている、１１．又は１２．に記載の制御方法。
１４． コンピュータによって実行される制御方法であって、複数の撮像手段が、商品を撮像して商品画像を生成する撮像ステップと、
各前記撮像手段によって生成された商品画像に写っている、商品の画像又はその商品に付されていてその商品を特定するシンボルである商品情報シンボルの画像を用いて、その商品を認識する認識ステップと、を有し、
各前記撮像手段は、異なる方向にある商品を撮像する、制御方法。
１５． 各前記撮像手段は、撮像範囲に、商品が通過する商品通過エリアの一部又は全てを含む、請求項１１．乃至１４．いずれか一項に記載の制御方法。
１６． 前記撮像手段を保持し、かつ可視光を通過させる保持手段を有し、
前記保持手段を通過した可視光は、商品が通過する商品通過エリアを通る、１１．乃至１５．いずれか一つに記載の制御方法。
１７． 操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、複数の前記撮像手段の内、一部の前記撮像手段に商品を撮像させる制御ステップを有する１１．乃至１６．いずれか一つに記載の制御方法。
１８． 操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、各撮像手段によって撮像された商品画像の中から、商品の認識に用いる商品画像を決定する制御ステップと、
前記認識ステップは、前記制御ステップによって決定された商品画像を用いて商品の認識を行う、１１．乃至１６．いずれか一つに記載の制御方法。
１９． 操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、商品の認識に用いる商品画像を決定する制御ステップを有し、
前記認識ステップは、重み付けがされた各前記商品画像を用いて商品の認識を行う１１．乃至１６．いずれか一つに記載の制御方法。
２０． １．乃至９．いずれか一項に記載の商品登録装置と、その商品登録装置の前記認識手段によって認識された商品の精算処理を行う精算装置と、を有する精算システム。
１０ 商品通過エリア
２０ 台
３０ 撮像範囲
４０ 撮像方向
５０ 商品
６０ 台
９０ カメラ
１００ 筐体
１１０ カメラ
１０００ 計算機
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージ
１１００ 入出力インタフェース
２０００ 商品登録装置
２０２０ 撮像部
２０３０ 認識部
２０４０ 保持部
２０６０ 制御部
２０ 台
３０ 撮像範囲
４０ 撮像方向
５０ 商品
６０ 台
９０ カメラ
１００ 筐体
１１０ カメラ
１０００ 計算機
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージ
１１００ 入出力インタフェース
２０００ 商品登録装置
２０２０ 撮像部
２０３０ 認識部
２０４０ 保持部
２０６０ 制御部
Claims (13)
- 商品を撮像して商品画像を生成する複数の撮像手段を、異なる位置に有し、
各前記撮像手段によって生成された商品画像に写っている、商品の画像又はその商品に付されていてその商品を特定するシンボルである商品情報シンボルの画像を用いて、その商品を認識する認識手段を有する商品登録装置。 - 第１の前記撮像手段と第２の前記撮像手段は、互いに異なる方向から商品を撮像する、請求項１に記載の商品登録装置。
- 第１の前記撮像手段と第２の前記撮像手段は、商品が通過する商品通過エリアを挟んで互いに対向する位置に設けられている、請求項１又は２に記載の商品登録装置。
- 商品を撮像して商品画像を生成する複数の撮像手段と、
各前記撮像手段によって生成された商品画像に写っている、商品の画像又はその商品に付されていてその商品を特定するシンボルである商品情報シンボルの画像を用いて、その商品を認識する認識手段と、を有し、
各前記撮像手段は、異なる方向にある商品を撮像する、商品登録装置。 - 各前記撮像手段は、撮像範囲に、商品が通過する商品通過エリアの一部又は全てを含む、請求項４に記載の商品登録装置。
- 前記撮像手段を保持し、かつ可視光を通過させる保持手段を有し、
前記保持手段を通過した可視光は、商品が通過する商品通過エリアを通る、請求項１乃至５いずれか一項に記載の商品登録装置。 - 操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、複数の前記撮像手段の内、一部の前記撮像手段に商品を撮像させる制御手段を有する、請求項１乃至６いずれか一項に記載の商品登録装置。
- 操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、各撮像手段によって撮像された商品画像の中から、商品の認識に用いる商品画像を決定する制御手段と、
前記認識手段は、前記制御手段によって決定された商品画像を用いて商品の認識を行う、請求項１乃至６いずれか一項に記載の商品登録装置。 - 操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、商品の認識に用いる商品画像を決定する制御手段を有し、
前記認識手段は、重み付けがされた各前記商品画像を用いて商品の認識を行う請求項１乃至６いずれか一項に記載の商品登録装置。 - コンピュータを、請求項１乃至９いずれか一項に記載の商品登録装置として動作させるプログラム。
- コンピュータによって実行させる制御方法であって、
互いに異なる位置に設けられた複数の撮像手段が、商品を撮像して商品画像を生成する撮像ステップと、
各前記撮像手段によって生成された商品画像に写っている、商品の画像又はその商品に付されていてその商品を特定するシンボルである商品情報シンボルの画像を用いて、その商品を認識する認識ステップと、を有する制御方法。 - コンピュータによって実行される制御方法であって、
複数の撮像手段が、商品を撮像して商品画像を生成する撮像ステップと、
各前記撮像手段によって生成された商品画像に写っている、商品の画像又はその商品に付されていてその商品を特定するシンボルである商品情報シンボルの画像を用いて商品を認識する認識ステップと、を有し、
各前記撮像手段は、異なる方向にある商品を撮像する、制御方法。 - 請求項１乃至９いずれか一項に記載の商品登録装置と、その商品登録装置の前記認識手段によって認識された商品の精算処理を行う精算装置と、を有する精算システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015072037A JP6891389B2 (ja) | 2015-03-31 | 2015-03-31 | 商品登録装置、プログラム、制御方法、及び精算システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015072037A JP6891389B2 (ja) | 2015-03-31 | 2015-03-31 | 商品登録装置、プログラム、制御方法、及び精算システム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021027120A Division JP2021093188A (ja) | 2021-02-24 | 2021-02-24 | 商品登録装置及び制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016192089A true JP2016192089A (ja) | 2016-11-10 |
| JP6891389B2 JP6891389B2 (ja) | 2021-06-18 |
Family
ID=57245598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015072037A Active JP6891389B2 (ja) | 2015-03-31 | 2015-03-31 | 商品登録装置、プログラム、制御方法、及び精算システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6891389B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018116371A (ja) * | 2017-01-16 | 2018-07-26 | 東芝テック株式会社 | 商品認識装置 |
| WO2022045085A1 (ja) * | 2020-08-28 | 2022-03-03 | 京セラ株式会社 | 情報処理システム、情報処理装置及び情報処理方法 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0797059A (ja) * | 1993-09-28 | 1995-04-11 | Toyota Motor Corp | 物体取出装置 |
| JPH1183461A (ja) * | 1997-09-09 | 1999-03-26 | Mitsubishi Electric Corp | 物品種別認識システム |
| JP2008024382A (ja) * | 2006-07-18 | 2008-02-07 | Denso Wave Inc | 情報コード読取装置 |
| JP2009139857A (ja) * | 2007-12-10 | 2009-06-25 | Unicast Corp | コンテンツ表示制御装置、コンテンツ表示制御方法およびコンテンツ表示制御プログラム |
| JP2009176209A (ja) * | 2008-01-28 | 2009-08-06 | Hitachi Keiyo Engineerring & System Ltd | 食堂用自動精算装置 |
| US20100059589A1 (en) * | 2008-09-05 | 2010-03-11 | Luis Goncalves | System and method for preventing cashier and customer fraud at retail checkout |
| US20100217678A1 (en) * | 2009-02-09 | 2010-08-26 | Goncalves Luis F | Automatic learning in a merchandise checkout system with visual recognition |
| JP2012014297A (ja) * | 2010-06-29 | 2012-01-19 | Mitsubishi Heavy Ind Ltd | 部品検索装置及び部品検索用コンピュータプログラム |
| JP2013054673A (ja) * | 2011-09-06 | 2013-03-21 | Toshiba Tec Corp | 情報処理装置及びプログラム |
| JP2013088895A (ja) * | 2011-10-14 | 2013-05-13 | Haruta Kensetsu:Kk | 施工補助装置、施工補助方法 |
| JP2013089088A (ja) * | 2011-10-19 | 2013-05-13 | Toshiba Tec Corp | 読取装置およびプログラム |
| JP2013121134A (ja) * | 2011-12-08 | 2013-06-17 | Toshiba Tec Corp | 撮像装置、商品販売処理装置、およびプログラム |
| JP2014035618A (ja) * | 2012-08-08 | 2014-02-24 | Toshiba Corp | 駅務システム、自動改札機及び中央管理サーバ |
| JP2016038796A (ja) * | 2014-08-08 | 2016-03-22 | 東芝テック株式会社 | 情報処理装置及びプログラム |
-
2015
- 2015-03-31 JP JP2015072037A patent/JP6891389B2/ja active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0797059A (ja) * | 1993-09-28 | 1995-04-11 | Toyota Motor Corp | 物体取出装置 |
| JPH1183461A (ja) * | 1997-09-09 | 1999-03-26 | Mitsubishi Electric Corp | 物品種別認識システム |
| JP2008024382A (ja) * | 2006-07-18 | 2008-02-07 | Denso Wave Inc | 情報コード読取装置 |
| JP2009139857A (ja) * | 2007-12-10 | 2009-06-25 | Unicast Corp | コンテンツ表示制御装置、コンテンツ表示制御方法およびコンテンツ表示制御プログラム |
| JP2009176209A (ja) * | 2008-01-28 | 2009-08-06 | Hitachi Keiyo Engineerring & System Ltd | 食堂用自動精算装置 |
| US20100059589A1 (en) * | 2008-09-05 | 2010-03-11 | Luis Goncalves | System and method for preventing cashier and customer fraud at retail checkout |
| US20100217678A1 (en) * | 2009-02-09 | 2010-08-26 | Goncalves Luis F | Automatic learning in a merchandise checkout system with visual recognition |
| JP2012014297A (ja) * | 2010-06-29 | 2012-01-19 | Mitsubishi Heavy Ind Ltd | 部品検索装置及び部品検索用コンピュータプログラム |
| JP2013054673A (ja) * | 2011-09-06 | 2013-03-21 | Toshiba Tec Corp | 情報処理装置及びプログラム |
| JP2013088895A (ja) * | 2011-10-14 | 2013-05-13 | Haruta Kensetsu:Kk | 施工補助装置、施工補助方法 |
| JP2013089088A (ja) * | 2011-10-19 | 2013-05-13 | Toshiba Tec Corp | 読取装置およびプログラム |
| JP2013121134A (ja) * | 2011-12-08 | 2013-06-17 | Toshiba Tec Corp | 撮像装置、商品販売処理装置、およびプログラム |
| JP2014035618A (ja) * | 2012-08-08 | 2014-02-24 | Toshiba Corp | 駅務システム、自動改札機及び中央管理サーバ |
| JP2016038796A (ja) * | 2014-08-08 | 2016-03-22 | 東芝テック株式会社 | 情報処理装置及びプログラム |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018116371A (ja) * | 2017-01-16 | 2018-07-26 | 東芝テック株式会社 | 商品認識装置 |
| US11216657B2 (en) | 2017-01-16 | 2022-01-04 | Toshiba Tec Kabushiki Kaisha | Commodity recognition apparatus |
| WO2022045085A1 (ja) * | 2020-08-28 | 2022-03-03 | 京セラ株式会社 | 情報処理システム、情報処理装置及び情報処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6891389B2 (ja) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6686290B2 (ja) | システム及び方法 | |
| US10510218B2 (en) | Information processing apparatus, information processing method, and non-transitory storage medium | |
| JPWO2017126253A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
| JP6648408B2 (ja) | 商品登録装置、プログラム、及び制御方法 | |
| JP6891389B2 (ja) | 商品登録装置、プログラム、制御方法、及び精算システム | |
| US20180308084A1 (en) | Commodity information reading device and commodity information reading method | |
| US10539454B2 (en) | Method and apparatus for zeroing a weigh scale | |
| JP6443184B2 (ja) | 精算システム、商品登録装置、精算装置、プログラム、及び精算方法 | |
| JP6481467B2 (ja) | 商品登録装置、精算システム、プログラム、及び制御方法 | |
| JP2021093188A (ja) | 商品登録装置及び制御方法 | |
| CN112154488A (zh) | 信息处理装置、控制方法和程序 | |
| JP2020074082A (ja) | 商品登録装置、プログラム、及び制御方法 | |
| EP2544156A1 (en) | Optical code scanner | |
| US10631668B2 (en) | Inspection system, information collection apparatus, inspection method, information collection method, and non-transitory storage medium | |
| JP7444454B2 (ja) | 商品登録システム、商品登録装置、商品登録装置の制御方法、およびプログラム | |
| JP6702461B2 (ja) | 商品登録装置、精算システム、プログラム、及び制御方法 | |
| EP2600280B1 (en) | Processing images in an imaging based optical code scanner | |
| JP6532114B1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP2022111378A (ja) | 情報処理装置、情報処理方法、およびプログラム、ならびに、情報処理システム | |
| WO2019181033A1 (ja) | 登録システム、登録方法及びプログラム | |
| JP7322945B2 (ja) | 処理装置、処理方法及びプログラム | |
| JP6696554B2 (ja) | 精算システム及び精算方法 | |
| WO2017126255A1 (ja) | 情報処理装置、制御方法、及びプログラム | |
| WO2021245835A1 (ja) | 処理装置、処理方法及びプログラム | |
| WO2017126245A1 (ja) | 情報処理装置、制御方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180205 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180918 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180925 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190702 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190829 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200309 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200623 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201201 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210224 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210224 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210302 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210309 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210330 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210414 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210427 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210510 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6891389 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |