JP2019194926A - Pos terminal device, pos system, image processing method, and program - Google Patents
Pos terminal device, pos system, image processing method, and program Download PDFInfo
- Publication number
- JP2019194926A JP2019194926A JP2019144256A JP2019144256A JP2019194926A JP 2019194926 A JP2019194926 A JP 2019194926A JP 2019144256 A JP2019144256 A JP 2019144256A JP 2019144256 A JP2019144256 A JP 2019144256A JP 2019194926 A JP2019194926 A JP 2019194926A
- Authority
- JP
- Japan
- Prior art keywords
- image
- product
- distance
- unit
- pos terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Cash Registers Or Receiving Machines (AREA)
Abstract
Description
本発明は、POS(Point Of Sales)端末装置、POSシステム、商品抽出方法及びプログラムに関し、特に商品の決済を行うために用いられるPOS端末装置、POSシステム、画像処理方法及びプログラムに関する。 The present invention relates to a POS (Point Of Sales) terminal device, a POS system, a product extraction method, and a program, and more particularly to a POS terminal device, a POS system, an image processing method, and a program that are used for settlement of products.
スーパマーケットや量販店等の決済場所(料金支払所:レジ)に設置するPOS(Point Of Sales)端末においては、バーコードの付いた商品については、店員がバーコード入力装置によって入力を行い、バーコードの付けられない商品については、店員がキーボードによって商品のデータを入力している。このため、店員の熟練度により、バーコードが付けられていない商品の入力時間に大きな差が生じる。店員が、バーコードが付されていない商品に予め店舗用のバーコードを付すことも行われているが、作業時間の増大につながっている。さらに、近年は、顧客が自分で直接POS端末装置を操作するセルフレジも増加している。顧客は、商品のどの位置にバーコードが付されているかの判断に時間がかかるため、POS端末装置の操作に要する時間はさらに増大する。 In a POS (Point Of Sales) terminal installed at a payment place (charge payment place: cash register) such as a supermarket or a mass retailer, the store clerk inputs products with barcodes using a barcode input device. For products that cannot be coded, the store clerk inputs product data using the keyboard. For this reason, a big difference arises in the input time of the goods to which the barcode is not attached depending on the skill level of the store clerk. Although a store clerk has added a bar code for a store in advance to a product without a bar code, it leads to an increase in work time. Furthermore, in recent years, self-checkout, in which customers directly operate POS terminal devices themselves, is increasing. Since it takes time for the customer to determine at which position of the product the barcode is attached, the time required for operating the POS terminal device further increases.
そのため、POS端末装置に内蔵されたカメラ等で商品を撮像して、得られた画像データから、画像認識技術を用いて商品を認識する技術が提案されている。ここで、カメラで商品を撮影する際、商品の画像だけでなく背景の画像も撮影されてしまう。商品の認識処理において、背景の画像は不要なノイズとなる。したがって、商品の認識処理をするためには、背景の画像を除去する必要がある。背景の画像を除去する技術として、特許文献1には、予め撮影しておいた背景画像と、被写体が撮影された入力画像との差分をとることによって、入力画像から背景画像を除去する技術が開示されている。 For this reason, a technology has been proposed in which a product is imaged with a camera or the like built in the POS terminal device, and the product is recognized from the obtained image data using an image recognition technology. Here, when the product is photographed by the camera, not only the product image but also the background image is photographed. In the product recognition process, the background image becomes unnecessary noise. Therefore, it is necessary to remove the background image in order to perform the product recognition process. As a technique for removing a background image, Patent Document 1 discloses a technique for removing a background image from an input image by taking a difference between a background image taken in advance and an input image obtained by photographing a subject. It is disclosed.
特許文献1のような、予め撮影しておいた背景画像と、被写体が撮影された入力画像との差分によって背景の画像(背景画像)を除去する技術には、以下のような問題がある。POS端末装置のカメラで商品を撮影したときに、商品以外の物体が写りこむことがある。例えば、カメラで商品を撮影するときに、商品を持つ人の体が写りこむことがある。このような場合、背景画像との差分として、商品以外の物体(例えば商品を持つ人の体)も抽出されてしまう。そのため、商品の画像に、商品以外の物体(例えば商品を持つ人の体)の画像も含まれてしまう。また、例えば外光(例えば夕日)等の影響により背景の色合いが変化した場合等、背景画像を予め撮影したときとは背景自体が異なることがある。そのような場合、背景は差分と認識されるので、背景画像が除去されず、商品の画像に商品以外の物体の画像が含まれてしまう。このように、商品の画像に商品以外の物体の画像が含まれると、その商品以外の物体の画像を含んだ状態で商品認識を行う。このような場合、商品認識の精度が悪化するため、商品の認識率が悪化するおそれがあった。 The technique for removing a background image (background image) based on a difference between a background image captured in advance and an input image obtained by capturing a subject, such as Patent Document 1, has the following problems. When a product is photographed with the camera of the POS terminal device, an object other than the product may be reflected. For example, when a product is photographed with a camera, the body of the person holding the product may be reflected. In such a case, an object other than the product (for example, the body of a person who has the product) is also extracted as a difference from the background image. Therefore, the image of the product includes an image of an object other than the product (for example, a human body having the product). Also, the background itself may be different from when the background image is taken in advance, for example, when the color of the background changes due to the influence of outside light (for example, sunset). In such a case, since the background is recognized as a difference, the background image is not removed, and an image of an object other than the product is included in the product image. As described above, when an image of an object other than the product is included in the product image, the product recognition is performed in a state where the image of the object other than the product is included. In such a case, since the accuracy of product recognition is deteriorated, the recognition rate of the product may be deteriorated.
本発明は、このような課題を解決するためになされたものであり、商品の認識率の向上に寄与するために、撮像手段によって撮影された画像から商品の画像を抽出することが可能なPOS端末装置、POSシステム、画像処理方法及びプログラムを提供することにある。 The present invention has been made to solve such a problem, and in order to contribute to an improvement in the recognition rate of a product, a POS capable of extracting a product image from an image taken by an imaging unit. It is to provide a terminal device, a POS system, an image processing method, and a program.
本発明にかかるPOS端末装置は、物体を撮像して画像を生成する撮像手段と、前記撮像手段によって生成された画像に対応する物体の位置までの距離を計測する距離計測手段と、前記撮像手段によって生成された画像から、前記距離計測手段によって計測された距離が予め定められた第1の範囲内にある位置に対応する画像区域を、商品の画像として抽出する商品画像抽出手段とを有する。 The POS terminal device according to the present invention includes an imaging unit that images an object to generate an image, a distance measuring unit that measures a distance to the position of an object corresponding to the image generated by the imaging unit, and the imaging unit Product image extracting means for extracting an image area corresponding to a position where the distance measured by the distance measuring means is within a first range determined in advance as an image of the product.
また、本発明にかかるPOSシステムは、POS端末装置と、前記POS端末装置と通信を行う管理装置とを有する。 The POS system according to the present invention includes a POS terminal device and a management device that communicates with the POS terminal device.
また、本発明にかかる画像処理方法は、物体を撮像して画像を生成し、前記生成された画像に対応する物体の位置までの距離を計測し、前記生成された画像から、前記計測された距離が予め定められた第1の範囲内にある位置に対応する画像区域を、商品の画像として抽出する。 Further, the image processing method according to the present invention captures an object to generate an image, measures a distance to the position of the object corresponding to the generated image, and measures the measured from the generated image. An image area corresponding to a position where the distance is within a predetermined first range is extracted as an image of the product.
また、本発明にかかるプログラムは、撮像手段に物体を撮像させて画像を生成させるステップと、距離計測手段に前記生成された画像に対応する物体の位置までの距離を計測させるステップと、前記生成された画像から、前記計測された距離が予め定められた第1の範囲内にある位置に対応する画像区域を、商品の画像として抽出するステップとをコンピュータに実行させる。 The program according to the present invention includes a step of causing an imaging unit to capture an object and generating an image, a step of causing a distance measurement unit to measure a distance to a position of an object corresponding to the generated image, and the generation A step of causing the computer to execute, as a product image, an image area corresponding to a position where the measured distance is within a predetermined first range from the measured image.
本発明によれば、商品の認識率の向上に寄与するために、撮像手段によって撮影された画像から商品の画像を抽出することが可能なPOS端末装置、POSシステム、画像処理方法及びプログラムを提供できる。 According to the present invention, there is provided a POS terminal device, a POS system, an image processing method, and a program capable of extracting an image of a product from an image taken by an imaging unit in order to contribute to an improvement in the recognition rate of the product. it can.
(本発明にかかる実施の形態の概要)
実施の形態の説明に先立って、本発明にかかる実施の形態の概要を説明する。図1は、本発明の実施の形態にかかるPOS端末装置1の概要を示す図である。図1に示すように、POS端末装置1は、撮像部2と、距離計測部4と、商品画像抽出部6とを有する。
(Outline of the embodiment of the present invention)
Prior to the description of the embodiment, an outline of the embodiment according to the present invention will be described. FIG. 1 is a diagram showing an outline of a POS terminal device 1 according to an embodiment of the present invention. As illustrated in FIG. 1, the POS terminal device 1 includes an
撮像部2は、物体を撮像して画像を生成する。距離計測部4は、撮像部2によって生成された画像に対応する物体の位置までの距離を計測する。商品画像抽出部6は、撮像部2によって生成された画像から、距離計測部4によって計測された距離が予め定められた第1の範囲内にある位置に対応する画像区域を、商品の画像として抽出する。本発明の実施の形態にかかるPOS端末装置1は、商品の認識率の向上に寄与するために、撮像部2によって撮影された画像から商品の画像を抽出することが可能となる。
The
(実施の形態1)
以下、図面を参照して本発明の実施の形態について説明する。
図2は、実施の形態1にかかるPOS端末装置100の外観を示す側面図である。また、図3は、実施の形態1にかかるPOS端末装置100のハードウェア構成を示す図である。POS端末装置100は、店員用表示操作部102と、顧客用表示部104と、情報処理装置110と、商品読取装置120とを有する。POS端末装置100は、例えばカウンタ台(図示せず)に載置され、POS端末装置100を挟んで、図2の左側に顧客が、右側に店員が対峙する。
(Embodiment 1)
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 2 is a side view showing an appearance of the
店員用表示操作部102は、例えばタッチパネル、LCD(Liquid Crystal Display)、又はキーボード等である。店員用表示操作部102は、情報処理装置110の制御によって、店員に必要な情報を表示し、店員の操作を受け付ける。
The salesclerk
顧客用表示部104は、例えばタッチパネル又はLCD等である。顧客用表示部104は、情報処理装置110の制御によって、顧客に必要な情報を表示する。また、顧客用表示部104は、入力装置を有してもよく、必要に応じて顧客の操作を受け付けてもよい。
The
情報処理装置110は、例えばコンピュータである。情報処理装置110は、例えばCPU(Central Processing Unit)等の制御部112と、例えばメモリ又はハードディスク等の記憶部114と、通信装置116とを有する。情報処理装置110は、店員用表示操作部102、顧客用表示部104及び商品読取装置120の動作を制御する。また、情報処理装置110は、店員用表示操作部102によって受け付けられた操作に応じて必要な処理を行う。また、情報処理装置110は、商品読取装置120によって読み取られた画像情報に応じて、画像処理等の必要な処理を行う。通信装置116は、ネットワークを介して接続されたサーバ等の管理装置と通信を行うために必要な処理を行う。
The
商品読取装置120は、筐体122と、光透過性の素材で形成された商品読取面124と、3次元カメラ130とを有する。商品読取面124は、筐体122の店員側の面に設けられており、商品を撮像させる(読み取らせる)ときに当該商品が向けられる。3次元カメラ130は、筐体122の内部の、商品読取面124とは反対側に設けられている。店員が顧客から受け取った商品を商品読取面124に向けると、3次元カメラ130が商品の画像を読み取る。これによって、POS端末装置100は、商品の認識処理を行う。詳しくは後述する。
The
3次元カメラ130は、撮像部132と、距離センサ134(距離計測手段)とを有する。撮像部132は、例えばCCD(Charge-Coupled Device)等の撮像素子(カメラ)であって、商品の画像を読み取る処理を行う。具体的には、撮像部132は、商品読取面124に向けられた物体を撮像して、その物体の画像を含む2次元のカラー画像又はモノクロ画像(2次元画像)を生成する。なお、以下、用語「2次元画像」は、情報処理における処理対象としての、「2次元画像を示す画像データ」も意味する。
The three-
距離センサ134は、例えばTOF(Time Of Flight)方式で、距離センサ134から、商品読取面124に向けられた物体の位置までの距離を計測する。つまり、距離センサ134は、赤外線等の光線を照射し、照射された光線が物体まで往復するのにかかる時間から、距離を計測する。なお、本実施の形態では、赤外線が照射されるとしたが、これに限定されない。例えば、距離センサ134は、レーザを照射してもよい。
The
距離センサ134は、赤外線照射部136と、赤外線受光部138と、距離画像生成部140とを有する。赤外線照射部136は、商品読取面124の外側に向けて、赤外線を照射する。商品読取面124の近傍に物体が存在するときは、赤外線照射部136によって照射された赤外線は、その物体を反射する。赤外線受光部138は、例えばイメージセンサ(例えばCCD又はCMOS(Complementary Metal-Oxide Semiconductor)等)であって、物体を反射した赤外線を受光する。
The
距離画像生成部140は、赤外線照射部136が赤外線を照射した時間と、赤外線受光部138が反射光を受光した時間との時間差から、物体までの距離(奥行き)を算出する。具体的には、赤外線照射部136と赤外線受光部138とは同期するようになっており、距離画像生成部140は、赤外線照射部136が照射する赤外線の位相と、赤外線受光部138が受光する反射光の位相との位相差を計測することにより、上記時間差を計測する。
The distance
さらに具体的には、距離画像生成部140は、赤外線受光部138が受光した物体の各位置からの反射光それぞれについて、時間差を計測し、各位置それぞれについて、距離を計測する。これによって、距離画像生成部140は、物体の各位置の距離を示す画素の集合である距離画像(3次元画像)を生成する。なお、以下、用語「距離画像」は、情報処理における処理対象としての、「距離画像を示す画像データ」も意味する。
More specifically, the distance
例えば、距離センサ134から15cmの位置については、距離画像の中の当該位置に対応する画素は、「距離15cm」を示す距離情報を含む。また、距離センサ134から30cmの位置については、距離画像の中の当該位置に対応する画素は、「距離30cm」を示す距離情報を含む。
For example, for a position 15 cm from the
なお、距離センサ134と物体との距離が近すぎると、照射光と反射光との位相差を検出できず、時間差を計測できない。したがって、物体までの距離を計測することができなくなる。したがって、距離センサ134が計測できる最小の時間差(位相差)に合わせて、距離センサ134(3次元カメラ130)と物体との距離が保たれるように、距離センサ134(3次元カメラ130)は、商品読取面124から間隔L離れて設置されている。つまり、距離センサ134(3次元カメラ130)は、計測可能な最小の距離を保つように、商品読取面124から間隔L離れて設置されている。赤外線の速度(光速)は30万km毎秒であり、したがって、赤外線は、1ナノ秒で30cm進む。つまり、距離センサ134と物体の間の距離が15cm(往復30cm)変化したときに、光を照射してから反射光を受光するまでの時間が、1ナノ秒変化する。したがって、例えば、計測できる最小の時間差が1ナノ秒である場合、間隔Lは15cmとなる。
If the distance between the
また、撮像部132及び距離センサ134は、互いに近接して(つまり略同じ位置に)配置される。そのため、撮像部132によって得られた2次元画像と、距離センサ134によって得られた距離画像とが、互いに対応するように構成されている。つまり、撮影対象の物体のある位置Pが2次元画像の画素位置(X1,Y1)に対応する場合、位置Pは、距離画像においても画素位置(X1,Y1)にほぼ対応する。言い換えると、距離センサ134によって得られた距離画像の各画素位置は、撮像部132によって得られた2次元画像の各画素位置と、互いに対応するように構成されている。なお、撮像部132の位置と距離センサ134の位置とが多少ずれているような場合などにおいては、撮像部132と距離センサ134との間の距離と、撮像部132及び距離センサ134それぞれの視野角とから、距離画像の各画素位置と2次元画像の各画素位置との位置合わせを行うような処理を行ってもよい。
Further, the
図4は、実施の形態1にかかるPOS端末装置100の機能ブロック図である。また、図5及び図6は、実施の形態1にかかるPOS端末装置100の処理を示すフローチャートである。POS端末装置100は、開始制御部200と、認識処理部220とを有する。開始制御部200は、距離画像取得部202と、物体接近判別部204と、認識処理実行制御部206とを有する。また、認識処理部220は、商品画像撮影制御部222と、距離画像撮影制御部224と、商品画像抽出部226と、商品認識処理部228と、商品情報格納部230とを有する。
FIG. 4 is a functional block diagram of the POS
なお、開始制御部200及び認識処理部220は、例えば、制御部112の制御によって、プログラムを実行させることによって実現できる。より具体的には、記憶部114に格納されたプログラムを、制御部112の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、開始制御部200及び認識処理部220の各構成要素は、例えばFPGA(field-programmable gate array)又はマイコン等の、使用者がプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。
The
開始制御部200は、物体が商品読取面124(つまり3次元カメラ130)に接近したか否かを判別して、認識処理部220に処理を実行させるか否かを制御する。認識処理部220は、開始制御部200によって処理を実行するように制御された場合に、商品の認識処理(商品認識処理)を行う。
The
以下、開始制御部200及び認識処理部220の処理について、具体的に説明する。図5は、実施の形態1にかかる開始制御部200の処理を示すフローチャートである。また、図6は、実施の形態1にかかる認識処理部220の処理を示すフローチャートである。
Hereinafter, the processes of the
距離画像取得部202は、距離センサ134を制御して、距離画像を取得する(S102)。具体的には、距離画像取得部202は、商品読取面124の正面の距離画像を撮影するように、距離センサ134を制御する。距離センサ134は、距離画像取得部202の制御に応じて、商品読取面124の正面の距離画像を撮影し、距離画像(距離画像を示す画像データ)を生成する。距離画像取得部202は、生成された距離画像を取得し、物体接近判別部204に出力する。
The distance
物体接近判別部204は、距離画像を用いて、閾値Th1(第1の閾値)以内に物体が接近したか否かを判別する(S104)。例えば、物体接近判別部204は、距離画像を解析して、距離センサ134から閾値Th1以内の距離を示す画素が存在するか否かを判別する。物体接近判別部204は、閾値Th1以内の距離を示す画素が存在する場合に、物体が接近していると判別する。一方、物体接近判別部204は、閾値Th1以内の距離を示す画素が存在しない場合に、物体が接近していないと判別する。
The object
なお、閾値Th1は、商品読取面124に店員等が商品を向けて商品認識をさせようとするときの、商品読取面124から商品(物体)までの距離を考慮して決定される。また、商品読取面124から閾値Th1の位置までの間には、店員等が商品読取面124に商品を向けるとき以外のときには、物体が存在しないように、閾値Th1が決定される。例えば、商品読取面124から閾値Th1の位置までの距離(Th1−L)が25cmであるとすると、間隔Lが15cmの場合、閾値Th1は、40cmとなる。
The threshold value Th1 is determined in consideration of the distance from the
物体接近判別部204によって閾値Th1以内に物体が接近していると判別された場合(S104のYES)、認識処理実行制御部206は、認識処理部220に対し、商品認識処理を開始するように制御する(S106)。
When the object
一方、物体接近判別部204によって閾値Th1以内に物体が接近していないと判別された場合(S104のNO)、認識処理実行制御部206は、認識処理部220が商品認識処理を行っているか否かを判断する(S108)。認識処理部220が商品認識処理を行っていない場合(S108のNO)、処理はS102に戻る。
On the other hand, when the object
一方、認識処理部220が商品認識処理を行っている場合(S108のYES)、認識処理実行制御部206は、認識処理部220に対し、商品認識処理を終了するように制御する(S110)。つまり、開始制御部200の処理は、POS端末装置100が起動している間は、常に行われてもよい。一旦、物体(商品)が商品読取面124に接近したために、認識処理部220による商品の認識処理が開始された場合であっても、認識処理が終了したとき又は認識処理を行っている間に、物体(商品)が商品読取面124から離れた(距離センサ134から物体までの距離が閾値Th1を超過した)ときは、開始制御部200は、認識処理部220に対し、商品認識処理を終了するように制御する。
On the other hand, when the
このように、本実施の形態にかかるPOS端末装置100は、物体(商品)が商品読取面124(距離センサ134)に接近したときのみ商品認識処理を行う。商品認識処理を行うとき、POS端末装置100(特に撮像部132、制御部112及び記憶部114)の負荷は増大する。したがって、このように構成されていることによって、商品認識処理を行う必要がないときに、POS端末装置100の資源の負荷を低減させることが可能となる。なお、ここでいう「資源」とは、POS端末装置100自体のハードウェア資源だけでなく、ネットワーク資源をも含む。
As described above, the
商品画像撮影制御部222は、商品の画像(商品画像)を含む2次元画像を、撮像部132に撮影させる(S202)。具体的には、商品画像撮影制御部222は、撮像部132を制御して、商品読取面124に向けられた商品を撮像させる。そして、商品画像撮影制御部222は、撮像部132によって生成された2次元画像を取得し、商品画像抽出部226に対して出力する。なお、この2次元画像には、商品画像の他に、背景の画像(背景画像)も含まれうる。
The product image capturing
距離画像撮影制御部224は、2次元画像に対応する距離画像を、距離センサ134に撮影させる(S204)。具体的には、距離画像撮影制御部224は、距離センサ134を制御して、商品読取面124に向けられた商品を含む距離画像を撮影させる。そして、距離画像撮影制御部224は、距離センサ134によって生成された距離画像を取得し、商品画像抽出部226に対して出力する。なお、上述したように、撮像部132及び距離センサ134は、互いに近接して配置されているので、距離画像は、2次元画像に対応する。なお、距離画像撮影制御部224の処理(S204)は、S102の処理で代用してもよい。つまり、距離画像取得部202において取得された距離画像が、商品画像抽出部226に対して出力されてもよい。
The distance image capturing
商品画像抽出部226は、距離画像において距離センサ134からの距離が範囲S1(第1の範囲)内の区域を判別し、2次元画像から、その区域に対応する画像区域を、商品画像として抽出する(S206)。さらに、商品画像抽出部226は、抽出された商品画像を、商品認識処理部228に対して出力する。
The product
具体的には、商品画像抽出部226は、2次元画像と距離画像とを重ね合わせる。また、商品画像抽出部226は、距離画像において距離が範囲S1内の区域が、2次元画像においてどの領域に対応するかを判別する。さらに、商品画像抽出部226は、その対応する領域を、商品画像に対応する画像区域であると判断する。そして、商品画像抽出部226は、その画像区域を、商品画像として抽出する。
Specifically, the product
さらに具体的には、商品画像抽出部226は、距離画像から、範囲S1内の距離を示す画素(範囲内画素)を抽出する。また、商品画像抽出部226は、抽出された範囲内画素が、それぞれ、2次元画像のどの画素に対応するかを判別する。さらに、商品画像抽出部226は、2次元画像から、範囲内画素に対応する画素を抽出する。商品画像抽出部226は、この、2次元画像から抽出された画素の集合を、商品画像に対応する画像区域として抽出する。
More specifically, the product
なお、範囲S1の下限は、例えば、距離センサ134から商品読取面124までの距離(間隔L)であってもよい。また、範囲S1の上限は、店員等が商品を読み取らせるために当該商品を商品読取面124に向ける際に、商品を商品読取面124にどれだけ接近させるかを考慮して設定される。例えば、範囲S1の上限は、閾値Th1よりも小さくなるように設定されてもよい。例えば、商品読取面124から範囲S1の上限の位置までの距離が15cmであるとすると、間隔Lが15cmの場合、範囲S1は、15cm<S1<30cmとなる。なお、範囲S1の下限は設定されなくてもよく、その場合、下限値は0cmとなる。
The lower limit of the range S1 may be a distance (interval L) from the
図7は、商品画像抽出部226の処理を説明するための図である。図7(a)は、商品画像撮影制御部222の制御によって撮像部132が撮影した、商品画像を含む2次元画像Im2を例示する図である。2次元画像Im2には、商品画像A(実線で示す)と、背景画像B(一点鎖線で示す)とが含まれる。商品画像Aに対応する商品は、距離センサ134(商品読取面124)からの距離が範囲S1内である位置にある。背景画像Bに対応する物体は、距離センサ134(商品読取面124)から範囲S1を逸脱するほど離れた位置にある。
FIG. 7 is a diagram for explaining the processing of the product
図7(b)は、距離画像撮影制御部224の制御によって距離センサ134が撮影した、2次元画像に対応する距離画像Im3を例示する図である。ここで、Cで示す領域は、距離センサ134からの距離が範囲S1内の区域を示す。またDで示す斜線で示された領域は、距離センサ134からの距離が範囲S1を逸脱した区域を示す。
FIG. 7B is a diagram illustrating a distance image Im3 corresponding to a two-dimensional image captured by the
商品画像抽出部226は、2次元画像Im2と距離画像Im3とを重ね合わせる。そして、商品画像抽出部226は、距離画像Im3のCで示す区域に対応する画像領域を、2次元画像Im2から抜き出す。これによって、図7(c)に例示するような、商品画像Eが抽出される。ここで、商品画像Eには、背景画像が含まれていない。つまり、商品画像抽出部226は、2次元画像Im2から、背景画像Bを除去している。
The product
商品認識処理部228(図4)は、商品画像抽出部226によって抽出された商品画像を用いて、商品認識処理を行う(S208)。また、商品認識処理部228は、商品認識処理によって得られた商品情報を、商品情報格納部230に格納する。商品情報は、商品に付されるバーコードに含まれる情報を含む。さらに、商品情報は、商品のサイズ(容量)を含んでもよい。POS端末装置100は、商品認識処理部228による商品認識処理によって得られた商品情報を用いて、その商品の決済処理等を行う。
The product recognition processing unit 228 (FIG. 4) performs product recognition processing using the product image extracted by the product image extraction unit 226 (S208). In addition, the product recognition processing unit 228 stores the product information obtained by the product recognition processing in the product
商品認識処理について、具体的には、例えば、商品認識処理部228は、予め、商品名とその商品に関する情報(基準商品情報)とを対応付けて記憶している。商品認識処理部228は、抽出された商品画像と予め記憶されている基準商品情報とのパターンマッチングを行う。基準商品情報については、以下に例示する。 Regarding the product recognition process, specifically, for example, the product recognition processing unit 228 previously stores a product name and information (reference product information) related to the product in association with each other. The product recognition processing unit 228 performs pattern matching between the extracted product image and reference product information stored in advance. The reference product information is exemplified below.
例えば、基準商品情報は、商品の基準となる画像(基準商品画像)であってもよい。その場合、商品認識処理部228は、抽出された商品画像と基準商品画像とを照合する。そして、商品認識処理部228は、両者の類似度が許容値を満たす場合に、その商品を、その基準商品画像に対応する商品名と対応付ける。 For example, the reference product information may be an image (reference product image) that serves as a reference for the product. In that case, the product recognition processing unit 228 collates the extracted product image with the reference product image. Then, the product recognition processing unit 228 associates the product with the product name corresponding to the reference product image when the similarity between the two satisfies an allowable value.
また、例えば、基準商品情報は、商品の基準となる特徴を示すデータ(商品特徴データ)であってもよい。商品特徴データは、例えば、商品の形状を示す情報と、商品の色を示す情報と、商品の質感(つや等)を示す情報と、商品のパッケージに付された文字情報及び模様を示す情報との少なくとも1つを含んでもよい。この場合、商品認識処理部228は、抽出された商品画像から、その画像の特徴を抽出する。そして、商品認識処理部228は、抽出された画像の特徴と、商品特徴データとを照合する。そして、商品認識処理部228は、両者の類似度が許容値を満たす場合に、その商品を、その商品特徴データに対応する商品名と対応付ける。また、商品認識処理部228は、商品のパッケージに付された文字情報をOCR(Optical Character Reader)によって読み取ることによって、商品名を認識してもよい。 Further, for example, the reference product information may be data (product feature data) indicating a feature that is a reference of the product. The product feature data includes, for example, information indicating the shape of the product, information indicating the color of the product, information indicating the texture of the product (such as gloss), information indicating character information and a pattern attached to the package of the product, May be included. In this case, the product recognition processing unit 228 extracts the feature of the image from the extracted product image. Then, the product recognition processing unit 228 collates the extracted image feature with the product feature data. Then, the product recognition processing unit 228 associates the product with the product name corresponding to the product feature data when the similarity between the two satisfies the allowable value. In addition, the product recognition processing unit 228 may recognize the product name by reading character information attached to the product package using an OCR (Optical Character Reader).
ここで、商品画像抽出部226によって抽出された商品画像は、背景が除去されている。したがって、商品認識処理部228が商品の認識処理を行う際に、背景を除外して処理する必要がなくなる。2次元画像に商品画像だけでなく背景画像が含まれると、商品認識処理において、まず、2次元画像において、商品画像がどこにあるかを認識する必要がある。特に、セルフレジ等のように、不特定多数の顧客がPOS端末装置100を使用する場合、商品読取面124のどの位置に商品を向けるかは、その顧客によって異なる。この、商品画像がどこにあるかを認識する処理は、例えば、基準商品情報を、2次元画像に含まれる全ての画像について照合しなければならない。そのため、処理時間が膨大となる。
Here, the background of the product image extracted by the product
一方、本実施の形態においては、商品画像そのものを使用するので、2次元画像において商品画像がどこにあるかを認識する必要はない。したがって、本実施の形態にかかるPOS端末装置100は、商品認識処理の処理速度を向上させることが可能となる。言い換えると、本実施の形態にかかるPOS端末装置100は、商品認識処理における資源の負荷を低減させることが可能となる。また、商品画像のデータ量は、2次元画像のデータ量よりも、背景が除去されている分、小さくなる。したがって、処理対象のデータ量を削減できるので、資源の低減及び負荷の低減を実現することが可能となる。したがって、タブレット端末等の、資源に乏しい装置を、本実施の形態にかかるPOS端末装置100として使用することも可能となる。なお、ここでいう「資源」とは、POS端末装置100自体のハードウェア資源だけでなく、ネットワーク資源をも含む。つまり、本実施の形態においては、ネットワーク負荷を低減することも可能である。
On the other hand, in the present embodiment, since the product image itself is used, it is not necessary to recognize where the product image is in the two-dimensional image. Therefore, the
さらに、商品画像に背景画像が含まれると、商品認識処理において、その背景画像が考慮されてしまう。そのため、認識率が悪化する。一方、商品画像抽出部226によって抽出された商品画像は、背景が除去されているので、認識率を向上させることが可能となる。
Furthermore, when a background image is included in the product image, the background image is considered in the product recognition process. As a result, the recognition rate deteriorates. On the other hand, since the background of the product image extracted by the product
また、撮像部132によって撮影された商品画像を含む2次元画像に、その商品を持った店員等の体の画像が含まれてしまう場合がある。ここで、商品画像を抽出する際に、予め撮影しておいた背景画像との差分を用いる方法では、この店員等の体も差分として認識される。したがって、抽出された商品画像に店員等の体の画像も含まれてしまい、店員等の体の画像がノイズとなって認識率が低下する。
In addition, a two-dimensional image including a product image photographed by the
ここで、人が商品を商品読取面124に商品を向けるとき、通常、手を伸ばして商品を向ける。したがって、店員等の体は、通常、商品読取面124(距離センサ134)から離れている。したがって、本実施の形態においては、商品画像抽出部226は、店員等の体の画像を除去することができる。そのため、商品認識処理部228は、店員等の体の画像を考慮せずに、商品の画像のみで、商品の認識処理を行うことができる。したがって、本実施の形態にかかるPOS端末装置100は、認識率をさらに向上させることが可能となる。
Here, when a person directs a product to the
また、予め撮影しておいた背景画像との差分を用いる方法では、外光(例えば夕日)等の影響で背景の色合いが予め撮影しておいた背景画像と異なる場合も、商品画像を抽出する際に、この背景も差分として認識されてしまう。したがって、商品画像に背景の画像も含まれてしまい、背景の画像がノイズとなって認識率が低下する。 Further, in the method using a difference from a previously captured background image, the product image is extracted even when the background color is different from the previously captured background image due to the influence of external light (for example, sunset). At this time, this background is also recognized as a difference. Therefore, the background image is also included in the product image, and the background image becomes noise and the recognition rate is lowered.
ここで、背景に対応する物体は、商品読取面124(距離センサ134)から離れている。したがって、本実施の形態においては、商品画像抽出部226は、背景の色の変化に関わらず、背景を確実に除去できる。したがって、本実施の形態にかかるPOS端末装置100は、認識率をさらに向上させることが可能となる。
Here, the object corresponding to the background is separated from the product reading surface 124 (distance sensor 134). Therefore, in the present embodiment, the product
また、商品の中には、商品の形状及びパッケージが同じであっても、サイズが異なるものがある。例えば、図8に示すように、ペットボトル飲料は、中身が同じであっても、サイズ(容量)が異なる複数の種類のものが販売されている。このような商品は、一般的に、サイズによって価格が異なる。このような場合、単に商品画像を用いて商品認識処理を行うだけでは、その商品のサイズは認識できない。したがって、適切な価格で決済するためには、店員等が価格又は容量等を手で入力する必要がある。 Some products have different sizes even if the shape and package of the product are the same. For example, as shown in FIG. 8, a plurality of types of plastic bottle drinks having different sizes (capacities) are sold even if the contents are the same. Such products generally have different prices depending on their sizes. In such a case, the size of the product cannot be recognized simply by performing the product recognition process using the product image. Therefore, in order to make a settlement at an appropriate price, it is necessary for a clerk or the like to manually input the price or capacity.
一方、本実施の形態にかかるPOS端末装置100は、上述したように、距離センサ134によって、商品までの距離を計測することができる。2次元画像における商品画像の寸法は、実際の商品の寸法が同じであっても、その距離(奥行き)が遠くなるほど小さくなり、距離(奥行き)が近くなるほど大きくなる。つまり、2次元画像における商品画像の寸法と、商品までの距離とから、幾何学的に、実際の商品のサイズを把握することができる。
On the other hand, as described above, the POS
したがって、商品認識処理部228は、距離画像撮影制御部224から、商品までの距離を示す情報を取得し、商品画像の寸法を計測することによって、商品のサイズを認識するようにしてもよい。具体的には、商品認識処理部228は、距離画像撮影制御部224から、距離画像を取得する。また、商品認識処理部228は、距離画像を用いて、商品画像抽出部226によって抽出された商品画像の区域内の画素それぞれについて、距離情報を取得する。さらに、商品認識処理部228は、取得した各画素の距離情報から、商品までの距離を算出する。算出方法は、例えば、商品画像のエッジに対応する画素が示す距離を、商品までの距離としてもよいし、商品画像の区域内の各画素が示す距離の平均を、商品までの距離としてもよい。
Therefore, the product recognition processing unit 228 may acquire information indicating the distance to the product from the distance image capturing
さらに、商品認識処理部228は、2次元画像における商品画像のサイズを計測する。商品画像のサイズは、例えば、縦寸法及び横寸法が計測される。そして、商品認識処理部228は、商品画像のサイズと、商品までの距離とから、実際の商品の寸法を算出する。ここで、商品認識処理の基準となる基準商品情報は、商品の寸法と容量とを含んでもよい。したがって、商品認識処理部228は、商品の名称及び容量(図8の例では、「商品名ABCの容量500ml」)といったことを把握することができる。 Further, the product recognition processing unit 228 measures the size of the product image in the two-dimensional image. As the size of the product image, for example, a vertical dimension and a horizontal dimension are measured. Then, the product recognition processing unit 228 calculates the actual product dimensions from the size of the product image and the distance to the product. Here, the reference product information serving as a reference for the product recognition process may include the size and capacity of the product. Therefore, the product recognition processing unit 228 can grasp the name and capacity of the product (“product name ABC capacity 500 ml” in the example of FIG. 8).
(実施の形態2)
次に、実施の形態2について説明する。実施の形態2においては、後述するように、商品認識処理をPOS端末装置100が行わない点で、実施の形態1と異なる。なお、実施の形態1と実質的に同様の構成部分については同じ符号を付し、説明を省略する。
(Embodiment 2)
Next, a second embodiment will be described. As described later, the second embodiment is different from the first embodiment in that the product recognition process is not performed by the POS
図9は、実施の形態2にかかるPOSシステム300を示す図である。図9に示すように、POSシステム300は、POS端末装置100と、管理装置310とを有する。POS端末装置100と、管理装置310とは、通信可能に接続されている。両者間の通信は、有線通信又は無線通信のいずれであってもよく、様々な通信規格が適用されうる。POS端末装置100と、管理装置310とは、ネットワーク(例えば、無線LAN(Local Area Network)又はインターネット等)を介して互いに接続されていてもよい。また、POS端末装置100と、管理装置310とは、赤外線通信又はBluetooth(登録商標)等の近距離無線通信方式によって互いに通信してもよい。
FIG. 9 is a diagram illustrating a
実施の形態2にかかるPOS端末装置100は、実施の形態1にかかるPOS端末装置100と実質的に同一のハードウェア構成を有している。POS端末装置100は、通信装置116を用いて、管理装置310と通信を行う。この場合、通信装置116は、管理装置310と通信を行うために必要な処理を行う。
The POS
管理装置310は、商品情報等を管理する情報処理装置である。管理装置310は、POS端末装置100が配置された店舗に配置されていてもよい。また、管理装置310は、複数の店舗に配置された各POS端末装置100を一括して管理してもよく、この場合、管理装置310は、POS端末装置100が配置された店舗とは別の場所に配置されうる。また、管理装置310は、例えばサーバであって、クラウドサーバであってもよい。
The
図10は、実施の形態2にかかる管理装置310のハードウェア構成を示す図である。管理装置310は、例えばCPU等の制御部312と、例えばタッチパネル、LCD又はキーボード等のユーザインタフェースである入出力部314と、例えばメモリ又はハードディスク等の記憶部316と、通信装置318とを有する。通信装置318は、POS端末装置100(又は他の管理装置310)と通信を行うために必要な処理を行う。
FIG. 10 is a diagram illustrating a hardware configuration of the
図11は、実施の形態2にかかるPOS端末装置100の機能ブロック図である。POS端末装置100は、開始制御部200と、認識処理部240とを有する。開始制御部200は、距離画像取得部202と、物体接近判別部204と、認識処理実行制御部206とを有する。また、認識処理部240は、商品画像撮影制御部222と、距離画像撮影制御部224と、商品画像抽出部226と、商品画像送信部248とを有する。上述したように、開始制御部200及び認識処理部240は、例えば、制御部112の制御によって、プログラムを実行させることによって実現できる。
FIG. 11 is a functional block diagram of the POS
実施の形態2にかかる認識処理部240は、商品認識処理部228及び商品情報格納部230を有さず、商品画像送信部248を有する点で、実施の形態1にかかる認識処理部220と異なる。商品画像抽出部226は、抽出された商品画像を、商品画像送信部248に対して出力する。商品画像送信部248は、商品画像(商品画像の画像データ)を、管理装置310に対して送信する。なお、商品画像送信部248は、商品画像を送信する際に、現在の時刻及びPOS端末装置100の識別情報等も、管理装置310に対して送信してもよい。また、管理装置310において商品のサイズが算出され得るように、商品画像送信部248は、距離画像(距離画像の画像データ)も、管理装置310に対して送信してもよい。
The
図12は、実施の形態2にかかる管理装置310の機能ブロック図である。管理装置310は、認識処理部320を有する。また、認識処理部320は、商品画像受信部322と、商品認識処理部328と、商品情報格納部330とを有する。
FIG. 12 is a functional block diagram of the
なお、認識処理部320は、例えば、制御部312の制御によって、プログラムを実行させることによって実現できる。より具体的には、記憶部316に格納されたプログラムを、制御部312の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、認識処理部320の各構成要素は、例えばFPGA(field-programmable gate array)又はマイコン等の、使用者がプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。
Note that the
商品画像受信部322は、POS端末装置100によって送信された商品画像(商品画像データ)等を受信し、商品認識処理部328に対して出力する。商品認識処理部328は、実施の形態1にかかる商品認識処理部228と実質的に同一の機能を有する。したがって、商品認識処理部328は、商品画像抽出部226によって抽出された商品画像を用いて、上述した実施の形態1と同様に、商品認識処理を行う。さらに、商品認識処理部328は、商品認識処理によって得られた商品情報を、商品情報格納部330に格納する。さらに、管理装置310は、得られた商品情報を、POS端末装置100に対して送信する。POS端末装置100は、管理装置310から受信した商品情報を用いて、その商品の決済処理等を行う。
The product
実施の形態2のように、商品認識処理をPOS端末装置100ではなく管理装置310で行うことによって、商品認識処理に必要な基準商品情報を、各POS端末装置100が記憶する必要がなく、また、POS端末装置100が商品認識処理を行う必要がない。したがって、POS端末装置100の資源を節約することが可能となる。また、タブレット端末等、資源の乏しいPOS端末装置100においても、本実施の形態を適用することが可能となる。また、実施の形態2においても、商品画像抽出部226によって商品画像が抽出される。したがって、実施の形態1と同様に、管理装置310による商品認識処理において、資源の負荷を低減させること、処理速度を向上させること、認識率を向上させること、及び、商品のサイズ(容量)を把握することが、可能となる。
As in the second embodiment, the product recognition process is performed not by the POS
また、上述したように、商品画像抽出部226によって抽出される商品画像は、撮像部132の撮影によって得られた2次元画像から、背景画像が除去されている。したがって、商品画像のデータ量は、2次元画像のデータ量よりも小さい。管理装置310で商品認識処理を行う場合に、管理装置310に対し、POS端末装置100が2次元画像の画像データを送信すると、データ量が大きいため、通信ネットワークの負荷が増大する。一方、管理装置310に対し、POS端末装置100が商品画像の画像データを送信すると、データ量が小さいため、通信ネットワークの負荷が低減される。
Further, as described above, the product image extracted by the product
(変形例)
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述したフローチャートにおける処理の順序は、適宜、変更可能である。また、上述したフローチャートにおける複数の処理の少なくとも1つは、なくても構わない。例えば、図6のフローチャートにおいて、S202の処理は、S204の処理の後で行われてもよい。また、図5のフローチャートにおいて、S108及びS110の処理は、なくてもよい。
(Modification)
Note that the present invention is not limited to the above-described embodiment, and can be changed as appropriate without departing from the spirit of the present invention. For example, the order of processing in the flowcharts described above can be changed as appropriate. Further, at least one of the plurality of processes in the above-described flowchart may not be provided. For example, in the flowchart of FIG. 6, the process of S202 may be performed after the process of S204. Further, in the flowchart of FIG. 5, the processing of S108 and S110 may be omitted.
また、本実施の形態にかかる構成は、POS端末装置に適用されるとしたが、これに限られない。例えば、倉庫等で荷物の仕分けをするために用いられる物体認識装置等の一般的な物体認識装置、及び、この物体認識装置を含むシステムにおいても適用可能である。 Moreover, although the structure concerning this Embodiment was applied to the POS terminal device, it is not restricted to this. For example, the present invention can be applied to a general object recognition device such as an object recognition device used for sorting packages in a warehouse or the like, and a system including the object recognition device.
また、本実施の形態にかかるPOS端末装置100は、例えば、セルフレジにも適用可能である。セルフレジのように、顧客がPOS端末を使用する場合、顧客は、商品に付されたバーコードを読取装置に読み取らせることに慣れていない。そのため、セルフレジにおいては、バーコードを使用しない方法、つまり、商品を直接読み取らせる方法が求められる。したがって、セルフレジについて本実施の形態にかかるPOS端末装置100を適用することで、上述したような、商品を直接読み取らせることに起因する問題が解決される。
Further, the
また、本実施の形態にかかるPOS端末装置100は、上述したように、タブレット端末(タブレットPOS)等の、資源が乏しい端末にも応用可能である。この場合、3次元カメラ130は、タブレット端末に内蔵されていなくてもよく、タブレット端末とは別個(外付け)の装置であってもよい。
Further, as described above, the
また、上述した実施の形態においては、開始制御部200により、商品認識処理の開始又は終了を制御するとしたが、これに限られない。つまり、開始制御部200は必須の構成要素ではなく、図5に示した開始制御部200の処理は、必ずしも必要ではない。しかしながら、上述したように、開始制御部200の処理を行うことによって、資源の低減を実現することが可能となる。なお、開始制御部200の代わりに、店員等が商品認識処理を開始又は終了するスイッチを操作することによって、商品認識処理の開始又は終了を制御してもよい。しかしながら、開始制御部200の処理を行うことによって、店員等が当該スイッチを操作することが不要となる。
In the above-described embodiment, the
また、実施の形態1の構成と実施の形態2の構成とを組み合わせてもよい。例えば、実施の形態2にかかるPOS端末装置100においても、商品認識処理を行うようにしてもよい。言い換えると、実施の形態2にかかるPOS端末装置100が、商品認識処理部228を有してもよい。この場合、POS端末装置100の負荷が予め定められた第1の負荷値よりも増加した場合に、POS端末装置100が管理装置310に商品画像を送信し、商品認識処理を管理装置310が行うようにしてもよい。一方、管理装置310の負荷が予め定められた第2の負荷値よりも増加している場合、又は通信ネットワークの負荷が予め定められた第3の負荷値よりも増加している場合に、POS端末装置100は、管理装置310に商品画像を送信しないで、自らのPOS端末装置100で商品認識処理を行うようにしてもよい。
Further, the configuration of the first embodiment and the configuration of the second embodiment may be combined. For example, in the
このように、POS端末装置100の負荷、管理装置310の負荷及び通信ネットワークの負荷に応じて、適宜、負荷分散を行うことが可能となる。この場合、POS端末装置100又は管理装置310が、POS端末装置100の負荷、管理装置310の負荷及び通信ネットワークの負荷を計測する手段、及び、計測された負荷と第1〜第3の負荷値とをそれぞれ比較する手段を有してもよい。
Thus, load distribution can be performed as appropriate according to the load on the
また、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 The program can be stored using various types of non-transitory computer readable media and supplied to a computer. Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer-readable media include magnetic recording media (for example, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (for example, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (random access memory)) are included. The program may also be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
1 POS端末装置
2 撮像部
4 距離計測部
6 商品画像抽出部
100 POS端末装置
110 情報処理装置
120 商品読取装置
124 商品読取面
130 3次元カメラ
132 撮像部
134 距離センサ
136 赤外線照射部
138 赤外線受光部
140 距離画像生成部
200 開始制御部
202 距離画像取得部
204 物体接近判別部
206 認識処理実行制御部
220 認識処理部
222 商品画像撮影制御部
224 距離画像撮影制御部
226 商品画像抽出部
228 商品認識処理部
230 商品情報格納部
240 認識処理部
248 商品画像送信部
300 POSシステム
310 管理装置
312 制御部
320 認識処理部
322 商品画像受信部
328 商品認識処理部
330 商品情報格納部
DESCRIPTION OF SYMBOLS 1
Claims (10)
物体までの距離を計測する計測手段と、
前記計測手段が計測した距離が所定の条件を満たした場合に、画像を用いて商品を認識する認識手段と、
を有するPOS端末装置。 Imaging means for imaging an object and generating an image;
A measuring means for measuring the distance to the object;
Recognizing means for recognizing a product using an image when the distance measured by the measuring means satisfies a predetermined condition;
A POS terminal device.
前記認識手段は、前記抽出手段が抽出した画像を用いて商品を認識する、
請求項1に記載のPOS端末装置。 The image processing apparatus further includes an extraction unit that extracts an image area corresponding to a position where the distance measured by the measurement unit is within a predetermined threshold from the image generated by the imaging unit as a product image,
The recognizing means recognizes a product using the image extracted by the extracting means;
The POS terminal device according to claim 1.
前記抽出手段は、前記判別手段によって前記物体が接近したと判別された場合に、前記抽出する処理を実行する
請求項2に記載のPOS端末装置。 A determination unit that determines that an object has approached within a predetermined threshold distance measured by the measurement unit;
The POS terminal apparatus according to claim 2, wherein the extracting unit executes the extracting process when the determining unit determines that the object has approached.
物体までの距離を計測する計測手段と、
前記撮像手段が生成した画像と、前記計測手段が計測した物体までの距離とに基づいて商品のサイズを認識し、認識したサイズを用いて当該物体がどの商品であるかを認識する認識手段と、
を有するPOS端末装置。 Imaging means for imaging an object to generate an image;
A measuring means for measuring the distance to the object;
Recognizing means for recognizing the size of the product based on the image generated by the imaging means and the distance to the object measured by the measuring means, and recognizing which product the object is using the recognized size; ,
A POS terminal device.
前記筐体は、商品を撮像させるときに当該商品が向けられる読取面を有し、
前記計測手段は、前記読取面から、当該計測手段が計測可能な最小の距離に応じて予め定められた距離だけ離れて設置されている
請求項1から4のいずれか1項に記載のPOS端末装置。 The imaging means and the measuring means are provided inside a housing,
The housing has a reading surface to which the product is directed when the product is imaged,
The POS terminal according to any one of claims 1 to 4, wherein the measuring unit is installed away from the reading surface by a predetermined distance according to a minimum distance that the measuring unit can measure. apparatus.
前記距離情報が所定の条件を満たした場合に、距離画像を用いて商品を認識する認識手段と、
を有するPOS端末装置。 An imaging means for imaging an object and generating a distance image including distance information to the object;
Recognizing means for recognizing a product using a distance image when the distance information satisfies a predetermined condition;
A POS terminal device.
前記POS端末装置と通信を行う管理装置と
を有するPOSシステム。 The POS terminal device according to any one of claims 1 to 6,
A POS system comprising: a management device that communicates with the POS terminal device.
前記POS端末装置は、
物体までの距離を計測する計測手段と、
前記撮像手段が生成した画像から、前記計測手段が計測した距離が予め定められた閾値以内にある位置に対応する画像区域を、商品の画像として抽出する抽出手段と、
をさらに有し、
前記POS端末装置の負荷が予め定められた第1の負荷値よりも増加した場合に、前記POS端末装置は、前記管理装置に対して、前記抽出された商品の画像を示すデータを送信し、前記管理装置が、当該商品の認識処理を行い、
前記管理装置の負荷が予め定められた第2の負荷値よりも増加している場合、又は前記通信ネットワークの負荷が予め定められた第3の負荷値よりも増加している場合に、前記POS端末装置は、前記管理装置に前記抽出された商品の画像を示すデータを送信せず、
前記認識手段が、当該商品の認識処理を行う
請求項7に記載のPOSシステム。 The POS terminal device and the management device are connected via a communication network,
The POS terminal device
A measuring means for measuring the distance to the object;
An extraction means for extracting, as an image of the product, an image area corresponding to a position where the distance measured by the measurement means is within a predetermined threshold from the image generated by the imaging means;
Further comprising
When the load of the POS terminal device increases from a predetermined first load value, the POS terminal device transmits data indicating an image of the extracted product to the management device, The management device performs recognition processing of the product,
The POS when the load on the management device is greater than a predetermined second load value, or when the load on the communication network is greater than a predetermined third load value The terminal device does not transmit data indicating the image of the extracted product to the management device,
The POS system according to claim 7, wherein the recognition unit performs a recognition process for the product.
物体までの距離を計測し、
計測された距離が所定の条件を満たした場合に、画像を用いて商品を認識する、
画像処理方法。 Image an object, generate an image,
Measure the distance to the object,
When the measured distance meets a predetermined condition, the product is recognized using an image.
Image processing method.
計測手段に物体までの距離を計測させるステップと、
前記計測手段が計測した距離が所定の条件を満たした場合に、画像を用いて商品を認識するステップと、
をコンピュータに実行させるプログラム。 Causing the imaging means to image an object to generate an image;
Causing the measuring means to measure the distance to the object;
A step of recognizing a product using an image when the distance measured by the measuring unit satisfies a predetermined condition;
A program that causes a computer to execute.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019144256A JP7144058B2 (en) | 2019-08-06 | 2019-08-06 | POS terminal device, POS system, image processing method and program |
JP2021089390A JP7201020B2 (en) | 2019-08-06 | 2021-05-27 | Information processing device, system, image processing method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019144256A JP7144058B2 (en) | 2019-08-06 | 2019-08-06 | POS terminal device, POS system, image processing method and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018071261A Division JP6569762B2 (en) | 2018-04-03 | 2018-04-03 | POS terminal device, POS system, image processing method and program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021089390A Division JP7201020B2 (en) | 2019-08-06 | 2021-05-27 | Information processing device, system, image processing method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019194926A true JP2019194926A (en) | 2019-11-07 |
JP7144058B2 JP7144058B2 (en) | 2022-09-29 |
Family
ID=68469404
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019144256A Active JP7144058B2 (en) | 2019-08-06 | 2019-08-06 | POS terminal device, POS system, image processing method and program |
JP2021089390A Active JP7201020B2 (en) | 2019-08-06 | 2021-05-27 | Information processing device, system, image processing method and program |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021089390A Active JP7201020B2 (en) | 2019-08-06 | 2021-05-27 | Information processing device, system, image processing method and program |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7144058B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07320146A (en) * | 1994-05-30 | 1995-12-08 | Tec Corp | Checkout device |
JP2001216571A (en) * | 2000-02-03 | 2001-08-10 | Glory Ltd | Method and device for adjusting charge |
JP2008129900A (en) * | 2006-11-22 | 2008-06-05 | Yamaha Motor Co Ltd | Automatic vending machine |
JP2010026683A (en) * | 2008-07-17 | 2010-02-04 | Seiko Epson Corp | Wearable device, ordering system, and program |
JP2010067079A (en) * | 2008-09-11 | 2010-03-25 | Dainippon Printing Co Ltd | Behavior analysis system and behavior analysis method |
-
2019
- 2019-08-06 JP JP2019144256A patent/JP7144058B2/en active Active
-
2021
- 2021-05-27 JP JP2021089390A patent/JP7201020B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07320146A (en) * | 1994-05-30 | 1995-12-08 | Tec Corp | Checkout device |
JP2001216571A (en) * | 2000-02-03 | 2001-08-10 | Glory Ltd | Method and device for adjusting charge |
JP2008129900A (en) * | 2006-11-22 | 2008-06-05 | Yamaha Motor Co Ltd | Automatic vending machine |
JP2010026683A (en) * | 2008-07-17 | 2010-02-04 | Seiko Epson Corp | Wearable device, ordering system, and program |
JP2010067079A (en) * | 2008-09-11 | 2010-03-25 | Dainippon Printing Co Ltd | Behavior analysis system and behavior analysis method |
Also Published As
Publication number | Publication date |
---|---|
JP2021128798A (en) | 2021-09-02 |
JP7144058B2 (en) | 2022-09-29 |
JP7201020B2 (en) | 2023-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6318557B2 (en) | POS terminal device, POS system, image processing method and program | |
JP6222345B2 (en) | POS terminal device, POS system, image processing method and program | |
CN108320404B (en) | Commodity identification method and device based on neural network and self-service cash register | |
JP6172380B2 (en) | POS terminal device, POS system, product recognition method and program | |
US9412099B1 (en) | Automated item recognition for retail checkout systems | |
RU2739542C1 (en) | Automatic registration system for a sales outlet | |
US10169752B2 (en) | Merchandise item registration apparatus, and merchandise item registration method | |
JP6520913B2 (en) | Object detection apparatus, POS terminal apparatus, object detection method and computer program | |
JP6651705B2 (en) | Information processing apparatus, information processing method, and program | |
JP6191701B2 (en) | POS terminal device, product recognition method and program | |
JP2014092975A (en) | Commodity recognition device and commodity recognition program | |
US20150206119A1 (en) | Commodity reading apparatus, sales data processing apparatus having the same and method for recognizing commodity | |
US20180068534A1 (en) | Information processing apparatus that identifies an item based on a captured image thereof | |
KR102233126B1 (en) | System and method for verifying barcode scanning | |
US20130182122A1 (en) | Information processing apparatus and method | |
JP6569762B2 (en) | POS terminal device, POS system, image processing method and program | |
CN108320403B (en) | Commodity identification device, control method and terminal equipment | |
JP2017120557A (en) | Sale data processor and program | |
JP7201020B2 (en) | Information processing device, system, image processing method and program | |
US20210019724A1 (en) | Information processing system, information processing method, and storage medium | |
JP6388108B2 (en) | POS terminal device, POS system, information processing system, image recognition method, and image recognition program | |
JP2020074189A (en) | Commodity registration device, control method, and program | |
JP6551712B2 (en) | POS terminal device, POS system, information processing system, image recognition method, and image recognition program | |
JP2020074163A (en) | Home delivery system | |
WO2017126245A1 (en) | Information processing device, control method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190806 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200929 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201126 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210309 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210527 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210831 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220329 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20220419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220615 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220705 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220816 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220816 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220908 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7144058 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |