JP7201020B2

JP7201020B2 - Information processing device, system, image processing method and program

Info

Publication number: JP7201020B2
Application number: JP2021089390A
Authority: JP
Inventors: 準小林; 英路村松; 哲夫井下; 浩太岩元; 壮馬白石
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2019-08-06
Filing date: 2021-05-27
Publication date: 2023-01-10
Anticipated expiration: 2033-11-11
Also published as: JP2021128798A; JP2019194926A; JP7144058B2

Description

本発明は、情報処理装置、システム、画像処理方法及びプログラムに関する。 The present invention relates to an information processing device, system, image processing method and program.

スーパマーケットや量販店等の決済場所（料金支払所：レジ）に設置するＰＯＳ（Point Of Sales）端末においては、バーコードの付いた商品については、店員がバーコード入力装置によって入力を行い、バーコードの付けられない商品については、店員がキーボードによって商品のデータを入力している。このため、店員の熟練度により、バーコードが付けられていない商品の入力時間に大きな差が生じる。店員が、バーコードが付されていない商品に予め店舗用のバーコードを付すことも行われているが、作業時間の増大につながっている。さらに、近年は、顧客が自分で直接ＰＯＳ端末装置を操作するセルフレジも増加している。顧客は、商品のどの位置にバーコードが付されているかの判断に時間がかかるため、ＰＯＳ端末装置の操作に要する時間はさらに増大する。 At POS (Point Of Sales) terminals installed at payment locations (payment counters: cash registers) in supermarkets and mass retailers, the store clerk uses a barcode input device to input information on products with barcodes. For products that cannot be assigned a code, the store clerk inputs product data using a keyboard. For this reason, the input time for products with no bar code attached varies greatly depending on the skill level of the store clerk. A store clerk attaches a bar code for a shop in advance to products that do not have a bar code attached, but this leads to an increase in work time. Furthermore, in recent years, there has been an increase in the number of self-checkouts in which customers directly operate POS terminals by themselves. Since it takes time for the customer to determine where the bar code is attached to the product, the time required to operate the POS terminal increases further.

そのため、ＰＯＳ端末装置に内蔵されたカメラ等で商品を撮像して、得られた画像データから、画像認識技術を用いて商品を認識する技術が提案されている。ここで、カメラで商品を撮影する際、商品の画像だけでなく背景の画像も撮影されてしまう。商品の認識処理において、背景の画像は不要なノイズとなる。したがって、商品の認識処理をするためには、背景の画像を除去する必要がある。背景の画像を除去する技術として、特許文献１には、予め撮影しておいた背景画像と、被写体が撮影された入力画像との差分をとることによって、入力画像から背景画像を除去する技術が開示されている。 Therefore, a technique has been proposed in which an image of a product is captured by a camera or the like built in a POS terminal device, and the product is recognized using image recognition technology from the obtained image data. Here, when a product is photographed with a camera, not only the product image but also the background image is photographed. In product recognition processing, the background image becomes unnecessary noise. Therefore, it is necessary to remove the background image in order to perform product recognition processing. As a technique for removing a background image, Patent Document 1 discloses a technique for removing a background image from an input image by taking a difference between a previously captured background image and an input image in which a subject is captured. disclosed.

特開２００１－５２１７７号公報JP-A-2001-52177

特許文献１のような、予め撮影しておいた背景画像と、被写体が撮影された入力画像との差分によって背景の画像（背景画像）を除去する技術には、以下のような問題がある。ＰＯＳ端末装置のカメラで商品を撮影したときに、商品以外の物体が写りこむことがある。例えば、カメラで商品を撮影するときに、商品を持つ人の体が写りこむことがある。このような場合、背景画像との差分として、商品以外の物体（例えば商品を持つ人の体）も抽出されてしまう。そのため、商品の画像に、商品以外の物体（例えば商品を持つ人の体）の画像も含まれてしまう。また、例えば外光（例えば夕日）等の影響により背景の色合いが変化した場合等、背景画像を予め撮影したときとは背景自体が異なることがある。そのような場合、背景は差分と認識されるので、背景画像が除去されず、商品の画像に商品以外の物体の画像が含まれてしまう。このように、商品の画像に商品以外の物体の画像が含まれると、その商品以外の物体の画像を含んだ状態で商品認識を行う。このような場合、商品認識の精度が悪化するため、商品の認識率が悪化するおそれがあった。 The technique of removing a background image (background image) based on the difference between a background image captured in advance and an input image in which a subject is captured, as disclosed in Patent Document 1, has the following problems. When a product is photographed by the camera of the POS terminal, objects other than the product may be captured. For example, when photographing a product with a camera, the body of the person holding the product may be captured. In such a case, an object other than the product (for example, the body of a person holding the product) is also extracted as a difference from the background image. Therefore, an image of a product includes an image of an object other than the product (for example, the body of a person holding the product). In addition, for example, when the color of the background changes due to the influence of external light (for example, sunset), the background itself may differ from that when the background image is captured in advance. In such a case, since the background is recognized as a difference, the background image is not removed, and the image of the object other than the product is included in the image of the product. In this way, when an image of an object other than the product is included in the image of the product, product recognition is performed in a state in which the image of the object other than the product is included. In such a case, the accuracy of product recognition deteriorates, and thus the product recognition rate may deteriorate.

本発明は、このような課題を解決するためになされたものであり、商品の認識率の向上に寄与するために、撮像手段によって撮影された画像から商品の画像を抽出することが可能なＰＯＳ端末装置、ＰＯＳシステム、画像処理方法及びプログラムを提供することにある。 SUMMARY OF THE INVENTION The present invention has been made to solve such problems. An object of the present invention is to provide a terminal device, a POS system, an image processing method, and a program.

本発明にかかる情報処理装置は、物体の画像を生成する撮像手段と、前記物体までの距離を計測する距離計測手段と、前記生成された画像のうち、前記計測された距離が所定値以下である領域を商品の画像として抽出する抽出手段と、前記抽出された画像に基づいて商品の認識を行う商品認識手段と、を有する。 An information processing apparatus according to the present invention includes image capturing means for generating an image of an object, distance measuring means for measuring a distance to the object, and if the measured distance in the generated image is equal to or less than a predetermined value. It has extraction means for extracting a certain area as an image of a product, and product recognition means for recognizing the product based on the extracted image.

また、本発明にかかるシステムは、情報処理装置と、前記情報処理装置と通信を行う管理装置とを有する。 A system according to the present invention includes an information processing device and a management device that communicates with the information processing device.

また、本発明にかかる画像処理方法は、物体の画像を生成し、前記物体までの距離を計測し、前記生成された画像のうち、前記計測された距離が所定値以下である領域を商品の画像として抽出し、前記抽出された画像に基づいて商品の認識を行う。 Further, the image processing method according to the present invention generates an image of an object, measures the distance to the object, and selects a region of the generated image where the measured distance is equal to or less than a predetermined value as the product. The product is extracted as an image, and the product is recognized based on the extracted image.

また、本発明にかかるプログラムは、物体の画像を生成するステップと、前記物体までの距離を計測するステップと、前記生成された画像のうち、前記計測された距離が所定値以下である領域を商品の画像として抽出するステップと、前記抽出された画像に基づいて商品の認識を行うステップと、をコンピュータに実行させる。 Further, the program according to the present invention includes steps of generating an image of an object, measuring a distance to the object, and determining a region in the generated image where the measured distance is equal to or less than a predetermined value. A computer is caused to execute a step of extracting an image of a product and a step of recognizing the product based on the extracted image.

本発明によれば、商品の認識率の向上に寄与するために、撮像手段によって撮影された画像から商品の画像を抽出することが可能なＰＯＳ端末装置、ＰＯＳシステム、画像処理方法及びプログラムを提供できる。 According to the present invention, there is provided a POS terminal device, a POS system, an image processing method, and a program capable of extracting an image of a product from an image captured by an imaging means in order to contribute to an improvement in the product recognition rate. can.

本発明の実施の形態にかかるＰＯＳ端末装置の概要を示す図である。1 is a diagram showing an overview of a POS terminal device according to an embodiment of the present invention; FIG. 実施の形態１にかかるＰＯＳ端末装置の外観を示す側面図である。1 is a side view showing the appearance of a POS terminal device according to a first embodiment; FIG. 実施の形態１にかかるＰＯＳ端末装置のハードウェア構成を示す図である。2 is a diagram showing the hardware configuration of the POS terminal device according to the first embodiment; FIG. 実施の形態１にかかるＰＯＳ端末装置の機能ブロック図である。2 is a functional block diagram of the POS terminal device according to the first embodiment; FIG. 実施の形態１にかかる開始制御部の処理を示すフローチャートである。6 is a flowchart showing processing of a start control unit according to the first embodiment; 実施の形態１にかかる認識処理部の処理を示すフローチャートである。4 is a flowchart showing processing of a recognition processing unit according to the first embodiment; 実施の形態１にかかる商品画像抽出部の処理を説明するための図である。4 is a diagram for explaining processing of a product image extraction unit according to the first embodiment; FIG. 形状及びパッケージが同じであっても、サイズが異なる商品を例示する図である。FIG. 10 is a diagram illustrating products having the same shape and package but different sizes; 実施の形態２にかかるＰＯＳシステムを示す図である。1 is a diagram showing a POS system according to a second embodiment; FIG. 実施の形態２にかかる管理装置のハードウェア構成を示す図である。FIG. 10 illustrates a hardware configuration of a management device according to a second embodiment; FIG. 実施の形態２にかかるＰＯＳ端末装置の機能ブロック図である。2 is a functional block diagram of a POS terminal device according to a second embodiment; FIG. 実施の形態２にかかる管理装置の機能ブロック図である。8 is a functional block diagram of a management device according to a second embodiment; FIG.

（本発明にかかる実施の形態の概要）
実施の形態の説明に先立って、本発明にかかる実施の形態の概要を説明する。図１は、本発明の実施の形態にかかるＰＯＳ端末装置１の概要を示す図である。図１に示すように、ＰＯＳ端末装置１は、撮像部２と、距離計測部４と、商品画像抽出部６とを有する。 (Overview of Embodiments According to the Present Invention)
Prior to describing the embodiments, an outline of the embodiments according to the present invention will be described. FIG. 1 is a diagram showing an overview of a POS terminal device 1 according to an embodiment of the invention. As shown in FIG. 1 , the POS terminal device 1 has an imaging section 2 , a distance measuring section 4 and a product image extracting section 6 .

撮像部２は、物体を撮像して画像を生成する。距離計測部４は、撮像部２によって生成された画像に対応する物体の位置までの距離を計測する。商品画像抽出部６は、撮像部２によって生成された画像から、距離計測部４によって計測された距離が予め定められた第１の範囲内にある位置に対応する画像区域を、商品の画像として抽出する。本発明の実施の形態にかかるＰＯＳ端末装置１は、商品の認識率の向上に寄与するために、撮像部２によって撮影された画像から商品の画像を抽出することが可能となる。 The imaging unit 2 captures an object and generates an image. The distance measurement unit 4 measures the distance to the position of the object corresponding to the image generated by the imaging unit 2 . The product image extraction unit 6 extracts an image area corresponding to a position where the distance measured by the distance measurement unit 4 is within a predetermined first range from the image generated by the imaging unit 2 as an image of the product. Extract. The POS terminal device 1 according to the embodiment of the present invention can extract the image of the product from the image captured by the imaging unit 2 in order to contribute to the improvement of the recognition rate of the product.

（実施の形態１）
以下、図面を参照して本発明の実施の形態について説明する。
図２は、実施の形態１にかかるＰＯＳ端末装置１００の外観を示す側面図である。また、図３は、実施の形態１にかかるＰＯＳ端末装置１００のハードウェア構成を示す図である。ＰＯＳ端末装置１００は、店員用表示操作部１０２と、顧客用表示部１０４と、情報処理装置１１０と、商品読取装置１２０とを有する。ＰＯＳ端末装置１００は、例えばカウンタ台（図示せず）に載置され、ＰＯＳ端末装置１００を挟んで、図２の左側に顧客が、右側に店員が対峙する。 (Embodiment 1)
BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 2 is a side view showing the appearance of the POS terminal device 100 according to the first embodiment. FIG. 3 is a diagram showing the hardware configuration of the POS terminal device 100 according to the first embodiment. The POS terminal device 100 has a clerk display/operation unit 102 , a customer display unit 104 , an information processing device 110 , and a commodity reading device 120 . The POS terminal device 100 is placed, for example, on a counter stand (not shown), and the customer faces the left side of FIG.

店員用表示操作部１０２は、例えばタッチパネル、ＬＣＤ（Liquid Crystal Display）、又はキーボード等である。店員用表示操作部１０２は、情報処理装置１１０の制御によって、店員に必要な情報を表示し、店員の操作を受け付ける。 The clerk display operation unit 102 is, for example, a touch panel, an LCD (Liquid Crystal Display), or a keyboard. Under the control of the information processing device 110, the store clerk display/operation unit 102 displays necessary information for the store clerk and accepts operations by the store clerk.

顧客用表示部１０４は、例えばタッチパネル又はＬＣＤ等である。顧客用表示部１０４は、情報処理装置１１０の制御によって、顧客に必要な情報を表示する。また、顧客用表示部１０４は、入力装置を有してもよく、必要に応じて顧客の操作を受け付けてもよい。 The customer display unit 104 is, for example, a touch panel or an LCD. The customer display unit 104 displays necessary information for the customer under the control of the information processing device 110 . In addition, the customer display unit 104 may have an input device, and may receive customer operations as necessary.

情報処理装置１１０は、例えばコンピュータである。情報処理装置１１０は、例えばＣＰＵ（Central Processing Unit）等の制御部１１２と、例えばメモリ又はハードディスク等の記憶部１１４と、通信装置１１６とを有する。情報処理装置１１０は、店員用表示操作部１０２、顧客用表示部１０４及び商品読取装置１２０の動作を制御する。また、情報処理装置１１０は、店員用表示操作部１０２によって受け付けられた操作に応じて必要な処理を行う。また、情報処理装置１１０は、商品読取装置１２０によって読み取られた画像情報に応じて、画像処理等の必要な処理を行う。通信装置１１６は、ネットワークを介して接続されたサーバ等の管理装置と通信を行うために必要な処理を行う。 The information processing device 110 is, for example, a computer. The information processing device 110 includes a control unit 112 such as a CPU (Central Processing Unit), a storage unit 114 such as a memory or hard disk, and a communication device 116 . The information processing device 110 controls operations of the store clerk display/operation unit 102 , the customer display unit 104 and the commodity reading device 120 . Further, the information processing device 110 performs necessary processing according to an operation accepted by the store clerk display operation unit 102 . The information processing device 110 also performs necessary processing such as image processing according to the image information read by the product reading device 120 . The communication device 116 performs processing necessary to communicate with a management device such as a server connected via a network.

商品読取装置１２０は、筐体１２２と、光透過性の素材で形成された商品読取面１２４と、３次元カメラ１３０とを有する。商品読取面１２４は、筐体１２２の店員側の面に設けられており、商品を撮像させる（読み取らせる）ときに当該商品が向けられる。３次元カメラ１３０は、筐体１２２の内部の、商品読取面１２４とは反対側に設けられている。店員が顧客から受け取った商品を商品読取面１２４に向けると、３次元カメラ１３０が商品の画像を読み取る。これによって、ＰＯＳ端末装置１００は、商品の認識処理を行う。詳しくは後述する。 The product reading device 120 has a housing 122 , a product reading surface 124 made of a light-transmissive material, and a three-dimensional camera 130 . The product reading surface 124 is provided on the face of the housing 122 facing the clerk, and the product is directed when the product is imaged (read). The three-dimensional camera 130 is provided inside the housing 122 on the side opposite to the product reading surface 124 . When the store clerk directs the product received from the customer to the product reading surface 124, the three-dimensional camera 130 reads the image of the product. Thereby, the POS terminal device 100 performs product recognition processing. Details will be described later.

３次元カメラ１３０は、撮像部１３２と、距離センサ１３４（距離計測手段）とを有する。撮像部１３２は、例えばＣＣＤ（Charge-Coupled Device）等の撮像素子（カメラ）であって、商品の画像を読み取る処理を行う。具体的には、撮像部１３２は、商品読取面１２４に向けられた物体を撮像して、その物体の画像を含む２次元のカラー画像又はモノクロ画像（２次元画像）を生成する。なお、以下、用語「２次元画像」は、情報処理における処理対象としての、「２次元画像を示す画像データ」も意味する。 The three-dimensional camera 130 has an imaging unit 132 and a distance sensor 134 (distance measuring means). The imaging unit 132 is an imaging element (camera) such as a CCD (Charge-Coupled Device), and performs processing for reading an image of a product. Specifically, the imaging unit 132 captures an image of an object directed toward the commodity reading surface 124 and generates a two-dimensional color image or monochrome image (two-dimensional image) including the image of the object. Hereinafter, the term "two-dimensional image" also means "image data representing a two-dimensional image" as a processing target in information processing.

距離センサ１３４は、例えばＴＯＦ（Time Of Flight）方式で、距離センサ１３４から、商品読取面１２４に向けられた物体の位置までの距離を計測する。つまり、距離センサ１３４は、赤外線等の光線を照射し、照射された光線が物体まで往復するのにかかる時間から、距離を計測する。なお、本実施の形態では、赤外線が照射されるとしたが、これに限定されない。例えば、距離センサ１３４は、レーザを照射してもよい。 The distance sensor 134 measures the distance from the distance sensor 134 to the position of the object facing the product reading surface 124 by, for example, a TOF (Time Of Flight) method. That is, the distance sensor 134 irradiates a light beam such as infrared rays, and measures the distance from the time it takes for the irradiated light beam to travel back and forth to the object. In addition, although infrared rays are emitted in the present embodiment, the present invention is not limited to this. For example, the distance sensor 134 may emit a laser.

距離センサ１３４は、赤外線照射部１３６と、赤外線受光部１３８と、距離画像生成部１４０とを有する。赤外線照射部１３６は、商品読取面１２４の外側に向けて、赤外線を照射する。商品読取面１２４の近傍に物体が存在するときは、赤外線照射部１３６によって照射された赤外線は、その物体を反射する。赤外線受光部１３８は、例えばイメージセンサ（例えばＣＣＤ又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等）であって、物体を反射した赤外線を受光する。 The distance sensor 134 has an infrared irradiation section 136 , an infrared reception section 138 and a distance image generation section 140 . The infrared irradiation unit 136 irradiates infrared rays toward the outside of the product reading surface 124 . When an object exists in the vicinity of the product reading surface 124, the infrared rays emitted by the infrared irradiation unit 136 are reflected by the object. The infrared light receiving unit 138 is, for example, an image sensor (for example, CCD or CMOS (Complementary Metal-Oxide Semiconductor), etc.), and receives infrared rays reflected by an object.

距離画像生成部１４０は、赤外線照射部１３６が赤外線を照射した時間と、赤外線受光部１３８が反射光を受光した時間との時間差から、物体までの距離（奥行き）を算出する。具体的には、赤外線照射部１３６と赤外線受光部１３８とは同期するようになっており、距離画像生成部１４０は、赤外線照射部１３６が照射する赤外線の位相と、赤外線受光部１３８が受光する反射光の位相との位相差を計測することにより、上記時間差を計測する。 The distance image generation unit 140 calculates the distance (depth) to the object from the time difference between the time when the infrared irradiation unit 136 emits infrared rays and the time when the infrared reception unit 138 receives the reflected light. Specifically, the infrared irradiation section 136 and the infrared reception section 138 are synchronized, and the distance image generation section 140 detects the phase of the infrared rays emitted by the infrared irradiation section 136 and the infrared rays received by the infrared reception section 138. The time difference is measured by measuring the phase difference with respect to the phase of the reflected light.

さらに具体的には、距離画像生成部１４０は、赤外線受光部１３８が受光した物体の各位置からの反射光それぞれについて、時間差を計測し、各位置それぞれについて、距離を計測する。これによって、距離画像生成部１４０は、物体の各位置の距離を示す画素の集合である距離画像（３次元画像）を生成する。なお、以下、用語「距離画像」は、情報処理における処理対象としての、「距離画像を示す画像データ」も意味する。 More specifically, the distance image generator 140 measures the time difference for each reflected light from each position of the object received by the infrared receiver 138, and measures the distance for each position. As a result, the distance image generator 140 generates a distance image (three-dimensional image), which is a set of pixels indicating the distance of each position of the object. In addition, hereinafter, the term "distance image" also means "image data representing a distance image" as a processing target in information processing.

例えば、距離センサ１３４から１５ｃｍの位置については、距離画像の中の当該位置に対応する画素は、「距離１５ｃｍ」を示す距離情報を含む。また、距離センサ１３４から３０ｃｍの位置については、距離画像の中の当該位置に対応する画素は、「距離３０ｃｍ」を示す距離情報を含む。 For example, for a position 15 cm from the range sensor 134, the pixel corresponding to that position in the range image contains range information indicating "distance 15 cm". Also, for a position 30 cm from the distance sensor 134, the pixel corresponding to that position in the distance image contains distance information indicating "distance 30 cm".

なお、距離センサ１３４と物体との距離が近すぎると、照射光と反射光との位相差を検出できず、時間差を計測できない。したがって、物体までの距離を計測することができなくなる。したがって、距離センサ１３４が計測できる最小の時間差（位相差）に合わせて、距離センサ１３４（３次元カメラ１３０）と物体との距離が保たれるように、距離センサ１３４（３次元カメラ１３０）は、商品読取面１２４から間隔Ｌ離れて設置されている。つまり、距離センサ１３４（３次元カメラ１３０）は、計測可能な最小の距離を保つように、商品読取面１２４から間隔Ｌ離れて設置されている。赤外線の速度（光速）は３０万ｋｍ毎秒であり、したがって、赤外線は、１ナノ秒で３０ｃｍ進む。つまり、距離センサ１３４と物体の間の距離が１５ｃｍ（往復３０ｃｍ）変化したときに、光を照射してから反射光を受光するまでの時間が、1ナノ秒変化する。したがって、例えば、計測できる最小の時間差が１ナノ秒である場合、間隔Ｌは１５ｃｍとなる。 Note that if the distance between the distance sensor 134 and the object is too short, the phase difference between the irradiation light and the reflected light cannot be detected, and the time difference cannot be measured. Therefore, it becomes impossible to measure the distance to the object. Therefore, the distance sensor 134 (three-dimensional camera 130) maintains the distance between the distance sensor 134 (three-dimensional camera 130) and the object according to the minimum time difference (phase difference) measurable by the distance sensor 134. , is placed at a distance L from the commodity reading surface 124 . In other words, the distance sensor 134 (three-dimensional camera 130) is installed at a distance L from the product reading surface 124 so as to maintain the minimum measurable distance. The speed of infrared light (the speed of light) is 300,000 km/s, so infrared light travels 30 cm in 1 nanosecond. That is, when the distance between the distance sensor 134 and the object changes by 15 cm (30 cm round trip), the time from the irradiation of light to the reception of the reflected light changes by 1 nanosecond. Thus, for example, if the smallest measurable time difference is 1 nanosecond, the distance L would be 15 cm.

また、撮像部１３２及び距離センサ１３４は、互いに近接して（つまり略同じ位置に）配置される。そのため、撮像部１３２によって得られた２次元画像と、距離センサ１３４によって得られた距離画像とが、互いに対応するように構成されている。つまり、撮影対象の物体のある位置Ｐが２次元画像の画素位置（Ｘ１，Ｙ１）に対応する場合、位置Ｐは、距離画像においても画素位置（Ｘ１，Ｙ１）にほぼ対応する。言い換えると、距離センサ１３４によって得られた距離画像の各画素位置は、撮像部１３２によって得られた２次元画像の各画素位置と、互いに対応するように構成されている。なお、撮像部１３２の位置と距離センサ１３４の位置とが多少ずれているような場合などにおいては、撮像部１３２と距離センサ１３４との間の距離と、撮像部１３２及び距離センサ１３４それぞれの視野角とから、距離画像の各画素位置と２次元画像の各画素位置との位置合わせを行うような処理を行ってもよい。 In addition, the imaging unit 132 and the distance sensor 134 are arranged close to each other (that is, at approximately the same position). Therefore, the two-dimensional image obtained by the imaging unit 132 and the distance image obtained by the distance sensor 134 are configured to correspond to each other. That is, if the position P of the object to be photographed corresponds to the pixel position (X1, Y1) in the two-dimensional image, the position P substantially corresponds to the pixel position (X1, Y1) in the range image as well. In other words, each pixel position of the distance image obtained by the distance sensor 134 is configured to correspond to each pixel position of the two-dimensional image obtained by the imaging unit 132 . Note that when the position of the imaging unit 132 and the position of the distance sensor 134 are slightly deviated from each other, the distance between the imaging unit 132 and the distance sensor 134 and the field of view of each of the imaging unit 132 and the distance sensor 134 A process of aligning each pixel position of the range image and each pixel position of the two-dimensional image from the corners may be performed.

図４は、実施の形態１にかかるＰＯＳ端末装置１００の機能ブロック図である。また、図５及び図６は、実施の形態１にかかるＰＯＳ端末装置１００の処理を示すフローチャートである。ＰＯＳ端末装置１００は、開始制御部２００と、認識処理部２２０とを有する。開始制御部２００は、距離画像取得部２０２と、物体接近判別部２０４と、認識処理実行制御部２０６とを有する。また、認識処理部２２０は、商品画像撮影制御部２２２と、距離画像撮影制御部２２４と、商品画像抽出部２２６と、商品認識処理部２２８と、商品情報格納部２３０とを有する。 FIG. 4 is a functional block diagram of the POS terminal device 100 according to the first embodiment. 5 and 6 are flowcharts showing processing of the POS terminal device 100 according to the first embodiment. The POS terminal device 100 has a start control section 200 and a recognition processing section 220 . The start control unit 200 has a distance image acquisition unit 202 , an object approach determination unit 204 , and a recognition processing execution control unit 206 . The recognition processing unit 220 also has a product image shooting control unit 222 , a distance image shooting control unit 224 , a product image extraction unit 226 , a product recognition processing unit 228 , and a product information storage unit 230 .

なお、開始制御部２００及び認識処理部２２０は、例えば、制御部１１２の制御によって、プログラムを実行させることによって実現できる。より具体的には、記憶部１１４に格納されたプログラムを、制御部１１２の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、開始制御部２００及び認識処理部２２０の各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、使用者がプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。 Note that the start control unit 200 and the recognition processing unit 220 can be realized by executing programs under the control of the control unit 112, for example. More specifically, the program stored in storage unit 114 is implemented by executing the program under the control of control unit 112 . Moreover, each component may be implemented by any combination of hardware, firmware, and software, without being limited to being implemented by program software. Also, each component of the start control unit 200 and the recognition processing unit 220 may be implemented using a user-programmable integrated circuit such as an FPGA (field-programmable gate array) or a microcomputer. In this case, this integrated circuit may be used to implement a program composed of the above components.

開始制御部２００は、物体が商品読取面１２４（つまり３次元カメラ１３０）に接近したか否かを判別して、認識処理部２２０に処理を実行させるか否かを制御する。認識処理部２２０は、開始制御部２００によって処理を実行するように制御された場合に、商品の認識処理（商品認識処理）を行う。 The start control unit 200 determines whether or not an object has approached the product reading surface 124 (that is, the three-dimensional camera 130), and controls whether or not to cause the recognition processing unit 220 to execute processing. The recognition processing unit 220 performs product recognition processing (product recognition processing) when controlled to execute processing by the start control unit 200 .

以下、開始制御部２００及び認識処理部２２０の処理について、具体的に説明する。図５は、実施の形態１にかかる開始制御部２００の処理を示すフローチャートである。また、図６は、実施の形態１にかかる認識処理部２２０の処理を示すフローチャートである。 The processing of the start control unit 200 and the recognition processing unit 220 will be specifically described below. FIG. 5 is a flow chart showing processing of the start control unit 200 according to the first embodiment. FIG. 6 is a flow chart showing processing of the recognition processing unit 220 according to the first embodiment.

距離画像取得部２０２は、距離センサ１３４を制御して、距離画像を取得する（Ｓ１０２）。具体的には、距離画像取得部２０２は、商品読取面１２４の正面の距離画像を撮影するように、距離センサ１３４を制御する。距離センサ１３４は、距離画像取得部２０２の制御に応じて、商品読取面１２４の正面の距離画像を撮影し、距離画像（距離画像を示す画像データ）を生成する。距離画像取得部２０２は、生成された距離画像を取得し、物体接近判別部２０４に出力する。 The distance image acquisition unit 202 acquires a distance image by controlling the distance sensor 134 (S102). Specifically, the distance image acquisition unit 202 controls the distance sensor 134 so as to capture a distance image in front of the product reading surface 124 . The distance sensor 134 captures a distance image in front of the product reading surface 124 and generates a distance image (image data representing the distance image) under the control of the distance image acquisition unit 202 . The distance image acquisition unit 202 acquires the generated distance image and outputs it to the object proximity determination unit 204 .

物体接近判別部２０４は、距離画像を用いて、閾値Ｔｈ１（第１の閾値）以内に物体が接近したか否かを判別する（Ｓ１０４）。例えば、物体接近判別部２０４は、距離画像を解析して、距離センサ１３４から閾値Ｔｈ１以内の距離を示す画素が存在するか否かを判別する。物体接近判別部２０４は、閾値Ｔｈ１以内の距離を示す画素が存在する場合に、物体が接近していると判別する。一方、物体接近判別部２０４は、閾値Ｔｈ１以内の距離を示す画素が存在しない場合に、物体が接近していないと判別する。 The object approach determination unit 204 uses the distance image to determine whether or not the object has approached within a threshold Th1 (first threshold) (S104). For example, the object proximity determination unit 204 analyzes the distance image and determines whether or not there is a pixel indicating a distance within the threshold Th1 from the distance sensor 134 . The object approach determination unit 204 determines that an object is approaching when there is a pixel indicating a distance within the threshold Th1. On the other hand, the object approach determination unit 204 determines that an object is not approaching when there is no pixel indicating a distance within the threshold Th1.

なお、閾値Ｔｈ１は、商品読取面１２４に店員等が商品を向けて商品認識をさせようとするときの、商品読取面１２４から商品（物体）までの距離を考慮して決定される。また、商品読取面１２４から閾値Ｔｈ１の位置までの間には、店員等が商品読取面１２４に商品を向けるとき以外のときには、物体が存在しないように、閾値Ｔｈ１が決定される。例えば、商品読取面１２４から閾値Ｔｈ１の位置までの距離（Ｔｈ１－Ｌ）が２５ｃｍであるとすると、間隔Ｌが１５ｃｍの場合、閾値Ｔｈ１は、４０ｃｍとなる。 Note that the threshold value Th1 is determined in consideration of the distance from the product reading surface 124 to the product (object) when the store clerk or the like faces the product to the product reading surface 124 and tries to recognize the product. The threshold value Th1 is determined so that no object exists between the product reading surface 124 and the position of the threshold value Th1 except when the store clerk or the like points the product to the product reading surface 124 . For example, assuming that the distance (Th1-L) from the product reading surface 124 to the position of the threshold value Th1 is 25 cm, the threshold value Th1 is 40 cm when the interval L is 15 cm.

物体接近判別部２０４によって閾値Ｔｈ１以内に物体が接近していると判別された場合（Ｓ１０４のＹＥＳ）、認識処理実行制御部２０６は、認識処理部２２０に対し、商品認識処理を開始するように制御する（Ｓ１０６）。 When the object approach determination unit 204 determines that the object is approaching within the threshold value Th1 (YES in S104), the recognition processing execution control unit 206 instructs the recognition processing unit 220 to start product recognition processing. control (S106).

一方、物体接近判別部２０４によって閾値Ｔｈ１以内に物体が接近していないと判別された場合（Ｓ１０４のＮＯ）、認識処理実行制御部２０６は、認識処理部２２０が商品認識処理を行っているか否かを判断する（Ｓ１０８）。認識処理部２２０が商品認識処理を行っていない場合（Ｓ１０８のＮＯ）、処理はＳ１０２に戻る。 On the other hand, when the object approach determination unit 204 determines that the object is not approaching within the threshold value Th1 (NO in S104), the recognition processing execution control unit 206 determines whether the recognition processing unit 220 is performing product recognition processing. (S108). If the recognition processing unit 220 has not performed product recognition processing (NO in S108), the process returns to S102.

一方、認識処理部２２０が商品認識処理を行っている場合（Ｓ１０８のＹＥＳ）、認識処理実行制御部２０６は、認識処理部２２０に対し、商品認識処理を終了するように制御する（Ｓ１１０）。つまり、開始制御部２００の処理は、ＰＯＳ端末装置１００が起動している間は、常に行われてもよい。一旦、物体（商品）が商品読取面１２４に接近したために、認識処理部２２０による商品の認識処理が開始された場合であっても、認識処理が終了したとき又は認識処理を行っている間に、物体（商品）が商品読取面１２４から離れた（距離センサ１３４から物体までの距離が閾値Ｔｈ１を超過した）ときは、開始制御部２００は、認識処理部２２０に対し、商品認識処理を終了するように制御する。 On the other hand, if the recognition processing unit 220 is performing product recognition processing (YES in S108), the recognition processing execution control unit 206 controls the recognition processing unit 220 to end the product recognition processing (S110). In other words, the processing of the start control unit 200 may be always performed while the POS terminal device 100 is activated. Even if the product recognition processing by the recognition processing unit 220 is started because the object (product) has once approached the product reading surface 124, the recognition processing is completed or while the recognition processing is being performed. , when the object (product) has left the product reading surface 124 (the distance from the distance sensor 134 to the object exceeds the threshold value Th1), the start control unit 200 instructs the recognition processing unit 220 to end the product recognition processing. control to

このように、本実施の形態にかかるＰＯＳ端末装置１００は、物体（商品）が商品読取面１２４（距離センサ１３４）に接近したときのみ商品認識処理を行う。商品認識処理を行うとき、ＰＯＳ端末装置１００（特に撮像部１３２、制御部１１２及び記憶部１１４）の負荷は増大する。したがって、このように構成されていることによって、商品認識処理を行う必要がないときに、ＰＯＳ端末装置１００の資源の負荷を低減させることが可能となる。なお、ここでいう「資源」とは、ＰＯＳ端末装置１００自体のハードウェア資源だけでなく、ネットワーク資源をも含む。 Thus, the POS terminal device 100 according to the present embodiment performs product recognition processing only when an object (product) approaches the product reading surface 124 (distance sensor 134). When performing product recognition processing, the load on the POS terminal device 100 (especially the imaging unit 132, the control unit 112, and the storage unit 114) increases. Therefore, with this configuration, it is possible to reduce the load on the resources of the POS terminal device 100 when there is no need to perform product recognition processing. The term "resources" as used herein includes not only hardware resources of the POS terminal device 100 itself, but also network resources.

商品画像撮影制御部２２２は、商品の画像（商品画像）を含む２次元画像を、撮像部１３２に撮影させる（Ｓ２０２）。具体的には、商品画像撮影制御部２２２は、撮像部１３２を制御して、商品読取面１２４に向けられた商品を撮像させる。そして、商品画像撮影制御部２２２は、撮像部１３２によって生成された２次元画像を取得し、商品画像抽出部２２６に対して出力する。なお、この２次元画像には、商品画像の他に、背景の画像（背景画像）も含まれうる。 The product image capturing control unit 222 causes the image capturing unit 132 to capture a two-dimensional image including the product image (product image) (S202). Specifically, the product image capturing control unit 222 controls the imaging unit 132 to capture an image of the product facing the product reading surface 124 . The product image shooting control unit 222 acquires the two-dimensional image generated by the imaging unit 132 and outputs it to the product image extraction unit 226 . Note that the two-dimensional image may include a background image (background image) in addition to the product image.

距離画像撮影制御部２２４は、２次元画像に対応する距離画像を、距離センサ１３４に撮影させる（Ｓ２０４）。具体的には、距離画像撮影制御部２２４は、距離センサ１３４を制御して、商品読取面１２４に向けられた商品を含む距離画像を撮影させる。そして、距離画像撮影制御部２２４は、距離センサ１３４によって生成された距離画像を取得し、商品画像抽出部２２６に対して出力する。なお、上述したように、撮像部１３２及び距離センサ１３４は、互いに近接して配置されているので、距離画像は、２次元画像に対応する。なお、距離画像撮影制御部２２４の処理（Ｓ２０４）は、Ｓ１０２の処理で代用してもよい。つまり、距離画像取得部２０２において取得された距離画像が、商品画像抽出部２２６に対して出力されてもよい。 The distance image capturing control unit 224 causes the distance sensor 134 to capture a distance image corresponding to the two-dimensional image (S204). Specifically, the distance image capturing control unit 224 controls the distance sensor 134 to capture a distance image including the product facing the product reading surface 124 . Then, the distance image capturing control section 224 acquires the distance image generated by the distance sensor 134 and outputs it to the product image extraction section 226 . As described above, the imaging unit 132 and the distance sensor 134 are arranged close to each other, so the distance image corresponds to a two-dimensional image. Note that the processing (S204) of the distance image capturing control unit 224 may be substituted with the processing of S102. That is, the distance image acquired by the distance image acquisition section 202 may be output to the product image extraction section 226 .

商品画像抽出部２２６は、距離画像において距離センサ１３４からの距離が範囲Ｓ１（第１の範囲）内の区域を判別し、２次元画像から、その区域に対応する画像区域を、商品画像として抽出する（Ｓ２０６）。さらに、商品画像抽出部２２６は、抽出された商品画像を、商品認識処理部２２８に対して出力する。 The product image extraction unit 226 determines the area within the range S1 (first range) in the distance image from the distance sensor 134, and extracts the image area corresponding to the area from the two-dimensional image as the product image. (S206). Furthermore, the product image extraction unit 226 outputs the extracted product image to the product recognition processing unit 228 .

具体的には、商品画像抽出部２２６は、２次元画像と距離画像とを重ね合わせる。また、商品画像抽出部２２６は、距離画像において距離が範囲Ｓ１内の区域が、２次元画像においてどの領域に対応するかを判別する。さらに、商品画像抽出部２２６は、その対応する領域を、商品画像に対応する画像区域であると判断する。そして、商品画像抽出部２２６は、その画像区域を、商品画像として抽出する。 Specifically, the product image extraction unit 226 superimposes the two-dimensional image and the distance image. In addition, the product image extraction unit 226 determines which area in the two-dimensional image corresponds to the area within the distance range S1 in the distance image. Furthermore, the product image extraction unit 226 determines that the corresponding area is an image area corresponding to the product image. Then, the product image extraction unit 226 extracts the image area as a product image.

さらに具体的には、商品画像抽出部２２６は、距離画像から、範囲Ｓ１内の距離を示す画素（範囲内画素）を抽出する。また、商品画像抽出部２２６は、抽出された範囲内画素が、それぞれ、２次元画像のどの画素に対応するかを判別する。さらに、商品画像抽出部２２６は、２次元画像から、範囲内画素に対応する画素を抽出する。商品画像抽出部２２６は、この、２次元画像から抽出された画素の集合を、商品画像に対応する画像区域として抽出する。 More specifically, the product image extraction unit 226 extracts pixels (in-range pixels) indicating the distance within the range S1 from the distance image. The product image extraction unit 226 also determines which pixels in the two-dimensional image each of the extracted pixels within the range corresponds to. Furthermore, the product image extraction unit 226 extracts pixels corresponding to the pixels within the range from the two-dimensional image. The product image extraction unit 226 extracts a set of pixels extracted from the two-dimensional image as an image area corresponding to the product image.

なお、範囲Ｓ１の下限は、例えば、距離センサ１３４から商品読取面１２４までの距離（間隔Ｌ）であってもよい。また、範囲Ｓ１の上限は、店員等が商品を読み取らせるために当該商品を商品読取面１２４に向ける際に、商品を商品読取面１２４にどれだけ接近させるかを考慮して設定される。例えば、範囲Ｓ１の上限は、閾値Ｔｈ１よりも小さくなるように設定されてもよい。例えば、商品読取面１２４から範囲Ｓ１の上限の位置までの距離が１５ｃｍであるとすると、間隔Ｌが１５ｃｍの場合、範囲Ｓ１は、１５ｃｍ＜Ｓ１＜３０ｃｍとなる。なお、範囲Ｓ１の下限は設定されなくてもよく、その場合、下限値は０ｃｍとなる。 Note that the lower limit of the range S1 may be, for example, the distance (interval L) from the distance sensor 134 to the product reading surface 124 . The upper limit of the range S1 is set in consideration of how close the product is to the product reading surface 124 when the store clerk or the like directs the product to the product reading surface 124 so that the product can be read. For example, the upper limit of range S1 may be set to be smaller than threshold Th1. For example, if the distance from the product reading surface 124 to the upper limit position of the range S1 is 15 cm, and the interval L is 15 cm, the range S1 is 15 cm<S1<30 cm. Note that the lower limit of the range S1 may not be set, in which case the lower limit will be 0 cm.

図７は、商品画像抽出部２２６の処理を説明するための図である。図７（ａ）は、商品画像撮影制御部２２２の制御によって撮像部１３２が撮影した、商品画像を含む２次元画像Ｉｍ２を例示する図である。２次元画像Ｉｍ２には、商品画像Ａ（実線で示す）と、背景画像Ｂ（一点鎖線で示す）とが含まれる。商品画像Ａに対応する商品は、距離センサ１３４（商品読取面１２４）からの距離が範囲Ｓ１内である位置にある。背景画像Ｂに対応する物体は、距離センサ１３４（商品読取面１２４）から範囲Ｓ１を逸脱するほど離れた位置にある。 FIG. 7 is a diagram for explaining the processing of the product image extraction unit 226. As shown in FIG. FIG. 7A is a diagram illustrating a two-dimensional image Im2 including a product image captured by the imaging unit 132 under the control of the product image capturing control unit 222. FIG. The two-dimensional image Im2 includes a product image A (indicated by a solid line) and a background image B (indicated by a dashed-dotted line). The product corresponding to the product image A is located within the range S1 from the distance sensor 134 (product reading surface 124). The object corresponding to the background image B is positioned so far away from the distance sensor 134 (the product reading surface 124) as to deviate from the range S1.

図７（ｂ）は、距離画像撮影制御部２２４の制御によって距離センサ１３４が撮影した、２次元画像に対応する距離画像Ｉｍ３を例示する図である。ここで、Ｃで示す領域は、距離センサ１３４からの距離が範囲Ｓ１内の区域を示す。またＤで示す斜線で示された領域は、距離センサ１３４からの距離が範囲Ｓ１を逸脱した区域を示す。 FIG. 7B is a diagram exemplifying a distance image Im3 corresponding to a two-dimensional image captured by the distance sensor 134 under the control of the distance image capturing control section 224. As shown in FIG. Here, the area indicated by C indicates an area whose distance from the distance sensor 134 is within the range S1. A shaded area indicated by D indicates an area where the distance from the distance sensor 134 deviates from the range S1.

商品画像抽出部２２６は、２次元画像Ｉｍ２と距離画像Ｉｍ３とを重ね合わせる。そして、商品画像抽出部２２６は、距離画像Ｉｍ３のＣで示す区域に対応する画像領域を、２次元画像Ｉｍ２から抜き出す。これによって、図７（ｃ）に例示するような、商品画像Ｅが抽出される。ここで、商品画像Ｅには、背景画像が含まれていない。つまり、商品画像抽出部２２６は、２次元画像Ｉｍ２から、背景画像Ｂを除去している。 The product image extraction unit 226 superimposes the two-dimensional image Im2 and the distance image Im3. Then, the product image extraction unit 226 extracts from the two-dimensional image Im2 an image area corresponding to the area indicated by C in the distance image Im3. As a result, a product image E is extracted as illustrated in FIG. 7(c). Here, the product image E does not include a background image. That is, the product image extraction unit 226 removes the background image B from the two-dimensional image Im2.

商品認識処理部２２８（図４）は、商品画像抽出部２２６によって抽出された商品画像を用いて、商品認識処理を行う（Ｓ２０８）。また、商品認識処理部２２８は、商品認識処理によって得られた商品情報を、商品情報格納部２３０に格納する。商品情報は、商品に付されるバーコードに含まれる情報を含む。さらに、商品情報は、商品のサイズ（容量）を含んでもよい。ＰＯＳ端末装置１００は、商品認識処理部２２８による商品認識処理によって得られた商品情報を用いて、その商品の決済処理等を行う。 The product recognition processing unit 228 (FIG. 4) performs product recognition processing using the product image extracted by the product image extraction unit 226 (S208). The product recognition processing unit 228 also stores product information obtained by the product recognition processing in the product information storage unit 230 . The product information includes information included in the barcode attached to the product. Furthermore, the product information may include the size (capacity) of the product. The POS terminal device 100 uses the product information obtained by the product recognition processing by the product recognition processing unit 228 to perform payment processing and the like for the product.

商品認識処理について、具体的には、例えば、商品認識処理部２２８は、予め、商品名とその商品に関する情報（基準商品情報）とを対応付けて記憶している。商品認識処理部２２８は、抽出された商品画像と予め記憶されている基準商品情報とのパターンマッチングを行う。基準商品情報については、以下に例示する。 Regarding the product recognition processing, specifically, for example, the product recognition processing unit 228 stores in advance the product name and information (reference product information) related to the product in association with each other. The product recognition processing unit 228 performs pattern matching between the extracted product image and pre-stored reference product information. Examples of the reference product information are given below.

例えば、基準商品情報は、商品の基準となる画像（基準商品画像）であってもよい。その場合、商品認識処理部２２８は、抽出された商品画像と基準商品画像とを照合する。そして、商品認識処理部２２８は、両者の類似度が許容値を満たす場合に、その商品を、その基準商品画像に対応する商品名と対応付ける。 For example, the reference product information may be a reference product image (reference product image). In that case, the product recognition processing unit 228 collates the extracted product image with the reference product image. Then, when the degree of similarity between the two satisfies the allowable value, the product recognition processing unit 228 associates the product with the product name corresponding to the reference product image.

また、例えば、基準商品情報は、商品の基準となる特徴を示すデータ（商品特徴データ）であってもよい。商品特徴データは、例えば、商品の形状を示す情報と、商品の色を示す情報と、商品の質感（つや等）を示す情報と、商品のパッケージに付された文字情報及び模様を示す情報との少なくとも１つを含んでもよい。この場合、商品認識処理部２２８は、抽出された商品画像から、その画像の特徴を抽出する。そして、商品認識処理部２２８は、抽出された画像の特徴と、商品特徴データとを照合する。そして、商品認識処理部２２８は、両者の類似度が許容値を満たす場合に、その商品を、その商品特徴データに対応する商品名と対応付ける。また、商品認識処理部２２８は、商品のパッケージに付された文字情報をＯＣＲ（Optical Character Reader）によって読み取ることによって、商品名を認識してもよい。 Further, for example, the reference product information may be data (product feature data) indicating characteristics that serve as a reference for the product. The product feature data includes, for example, information indicating the shape of the product, information indicating the color of the product, information indicating the texture of the product (gloss, etc.), and information indicating character information and pattern attached to the package of the product. may include at least one of In this case, the product recognition processing unit 228 extracts features of the image from the extracted product image. Then, the product recognition processing unit 228 collates the features of the extracted image with the product feature data. When the degree of similarity between the two satisfies the allowable value, the product recognition processing unit 228 associates the product with the product name corresponding to the product characteristic data. Further, the product recognition processing unit 228 may recognize the product name by reading character information attached to the package of the product with an OCR (Optical Character Reader).

ここで、商品画像抽出部２２６によって抽出された商品画像は、背景が除去されている。したがって、商品認識処理部２２８が商品の認識処理を行う際に、背景を除外して処理する必要がなくなる。２次元画像に商品画像だけでなく背景画像が含まれると、商品認識処理において、まず、２次元画像において、商品画像がどこにあるかを認識する必要がある。特に、セルフレジ等のように、不特定多数の顧客がＰＯＳ端末装置１００を使用する場合、商品読取面１２４のどの位置に商品を向けるかは、その顧客によって異なる。この、商品画像がどこにあるかを認識する処理は、例えば、基準商品情報を、２次元画像に含まれる全ての画像について照合しなければならない。そのため、処理時間が膨大となる。 Here, the background is removed from the product image extracted by the product image extraction unit 226 . Therefore, when the product recognition processing unit 228 performs product recognition processing, it is not necessary to exclude the background from processing. When the two-dimensional image includes not only the product image but also the background image, it is necessary to recognize where the product image is located in the two-dimensional image in the product recognition process. In particular, when the POS terminal device 100 is used by an unspecified number of customers, such as at a self-checkout, the position on the product reading surface 124 to which the product should be directed differs depending on the customer. For the process of recognizing where the product image is, for example, reference product information must be collated for all images included in the two-dimensional image. Therefore, the processing time becomes enormous.

一方、本実施の形態においては、商品画像そのものを使用するので、２次元画像において商品画像がどこにあるかを認識する必要はない。したがって、本実施の形態にかかるＰＯＳ端末装置１００は、商品認識処理の処理速度を向上させることが可能となる。言い換えると、本実施の形態にかかるＰＯＳ端末装置１００は、商品認識処理における資源の負荷を低減させることが可能となる。また、商品画像のデータ量は、２次元画像のデータ量よりも、背景が除去されている分、小さくなる。したがって、処理対象のデータ量を削減できるので、資源の低減及び負荷の低減を実現することが可能となる。したがって、タブレット端末等の、資源に乏しい装置を、本実施の形態にかかるＰＯＳ端末装置１００として使用することも可能となる。なお、ここでいう「資源」とは、ＰＯＳ端末装置１００自体のハードウェア資源だけでなく、ネットワーク資源をも含む。つまり、本実施の形態においては、ネットワーク負荷を低減することも可能である。 On the other hand, in the present embodiment, since the product image itself is used, it is not necessary to recognize where the product image is located in the two-dimensional image. Therefore, the POS terminal device 100 according to the present embodiment can improve the processing speed of product recognition processing. In other words, the POS terminal device 100 according to the present embodiment can reduce the resource load in product recognition processing. Also, the data amount of the product image is smaller than that of the two-dimensional image because the background is removed. Therefore, since the amount of data to be processed can be reduced, it is possible to reduce resources and load. Therefore, it is possible to use a resource-poor device such as a tablet terminal as the POS terminal device 100 according to the present embodiment. The term "resources" as used herein includes not only hardware resources of the POS terminal device 100 itself, but also network resources. That is, in this embodiment, it is also possible to reduce the network load.

さらに、商品画像に背景画像が含まれると、商品認識処理において、その背景画像が考慮されてしまう。そのため、認識率が悪化する。一方、商品画像抽出部２２６によって抽出された商品画像は、背景が除去されているので、認識率を向上させることが可能となる。 Furthermore, if the product image includes a background image, the background image will be taken into account in the product recognition process. Therefore, the recognition rate deteriorates. On the other hand, since the product image extracted by the product image extraction unit 226 has the background removed, it is possible to improve the recognition rate.

また、撮像部１３２によって撮影された商品画像を含む２次元画像に、その商品を持った店員等の体の画像が含まれてしまう場合がある。ここで、商品画像を抽出する際に、予め撮影しておいた背景画像との差分を用いる方法では、この店員等の体も差分として認識される。したがって、抽出された商品画像に店員等の体の画像も含まれてしまい、店員等の体の画像がノイズとなって認識率が低下する。 Also, the two-dimensional image including the product image captured by the imaging unit 132 may include an image of the body of the store clerk holding the product. Here, when extracting the product image, in the method of using the difference from the pre-photographed background image, the body of the store clerk or the like is also recognized as the difference. Therefore, the image of the salesclerk's body is also included in the extracted product image, and the image of the salesclerk's body becomes noise, which lowers the recognition rate.

ここで、人が商品を商品読取面１２４に商品を向けるとき、通常、手を伸ばして商品を向ける。したがって、店員等の体は、通常、商品読取面１２４（距離センサ１３４）から離れている。したがって、本実施の形態においては、商品画像抽出部２２６は、店員等の体の画像を除去することができる。そのため、商品認識処理部２２８は、店員等の体の画像を考慮せずに、商品の画像のみで、商品の認識処理を行うことができる。したがって、本実施の形態にかかるＰＯＳ端末装置１００は、認識率をさらに向上させることが可能となる。 Here, when a person points the product to the product reading surface 124, the person usually reaches out and points the product. Therefore, the body of the store clerk or the like is normally away from the product reading surface 124 (distance sensor 134). Therefore, in the present embodiment, product image extraction unit 226 can remove the image of the body of a store clerk or the like. Therefore, the product recognition processing unit 228 can perform product recognition processing using only the image of the product without considering the image of the body of the store clerk or the like. Therefore, the POS terminal device 100 according to this embodiment can further improve the recognition rate.

また、予め撮影しておいた背景画像との差分を用いる方法では、外光（例えば夕日）等の影響で背景の色合いが予め撮影しておいた背景画像と異なる場合も、商品画像を抽出する際に、この背景も差分として認識されてしまう。したがって、商品画像に背景の画像も含まれてしまい、背景の画像がノイズとなって認識率が低下する。 In addition, in the method of using the difference from the background image taken in advance, the product image can be extracted even if the color of the background differs from the background image taken in advance due to the influence of external light (for example, sunset). In some cases, this background is also recognized as a difference. Therefore, the background image is also included in the product image, and the background image becomes noise, which lowers the recognition rate.

ここで、背景に対応する物体は、商品読取面１２４（距離センサ１３４）から離れている。したがって、本実施の形態においては、商品画像抽出部２２６は、背景の色の変化に関わらず、背景を確実に除去できる。したがって、本実施の形態にかかるＰＯＳ端末装置１００は、認識率をさらに向上させることが可能となる。 Here, the object corresponding to the background is separated from the product reading surface 124 (distance sensor 134). Therefore, in the present embodiment, product image extraction section 226 can reliably remove the background regardless of changes in background color. Therefore, the POS terminal device 100 according to this embodiment can further improve the recognition rate.

また、商品の中には、商品の形状及びパッケージが同じであっても、サイズが異なるものがある。例えば、図８に示すように、ペットボトル飲料は、中身が同じであっても、サイズ（容量）が異なる複数の種類のものが販売されている。このような商品は、一般的に、サイズによって価格が異なる。このような場合、単に商品画像を用いて商品認識処理を行うだけでは、その商品のサイズは認識できない。したがって、適切な価格で決済するためには、店員等が価格又は容量等を手で入力する必要がある。 In addition, some products have different sizes even if they have the same shape and package. For example, as shown in FIG. 8, a plurality of types of PET bottle beverages with the same content but different sizes (capacities) are sold. Such products generally have different prices depending on the size. In such a case, the size of the product cannot be recognized simply by performing the product recognition process using the product image. Therefore, in order to settle the bill at an appropriate price, the store clerk or the like needs to manually input the price or capacity.

一方、本実施の形態にかかるＰＯＳ端末装置１００は、上述したように、距離センサ１３４によって、商品までの距離を計測することができる。２次元画像における商品画像の寸法は、実際の商品の寸法が同じであっても、その距離（奥行き）が遠くなるほど小さくなり、距離（奥行き）が近くなるほど大きくなる。つまり、２次元画像における商品画像の寸法と、商品までの距離とから、幾何学的に、実際の商品のサイズを把握することができる。 On the other hand, the POS terminal device 100 according to this embodiment can measure the distance to the product by the distance sensor 134 as described above. The size of the product image in the two-dimensional image becomes smaller as the distance (depth) increases, and increases as the distance (depth) decreases, even if the actual product size is the same. That is, it is possible to geometrically grasp the actual product size from the dimensions of the product image in the two-dimensional image and the distance to the product.

したがって、商品認識処理部２２８は、距離画像撮影制御部２２４から、商品までの距離を示す情報を取得し、商品画像の寸法を計測することによって、商品のサイズを認識するようにしてもよい。具体的には、商品認識処理部２２８は、距離画像撮影制御部２２４から、距離画像を取得する。また、商品認識処理部２２８は、距離画像を用いて、商品画像抽出部２２６によって抽出された商品画像の区域内の画素それぞれについて、距離情報を取得する。さらに、商品認識処理部２２８は、取得した各画素の距離情報から、商品までの距離を算出する。算出方法は、例えば、商品画像のエッジに対応する画素が示す距離を、商品までの距離としてもよいし、商品画像の区域内の各画素が示す距離の平均を、商品までの距離としてもよい。 Therefore, the product recognition processing unit 228 may acquire information indicating the distance to the product from the distance image capturing control unit 224 and measure the dimensions of the product image to recognize the size of the product. Specifically, the product recognition processing unit 228 acquires the distance image from the distance image shooting control unit 224 . The product recognition processing unit 228 also uses the distance image to obtain distance information for each pixel in the area of the product image extracted by the product image extraction unit 226 . Furthermore, the product recognition processing unit 228 calculates the distance to the product from the obtained distance information of each pixel. For the calculation method, for example, the distance indicated by the pixels corresponding to the edge of the product image may be used as the distance to the product, or the average of the distances indicated by each pixel in the area of the product image may be used as the distance to the product. .

さらに、商品認識処理部２２８は、２次元画像における商品画像のサイズを計測する。商品画像のサイズは、例えば、縦寸法及び横寸法が計測される。そして、商品認識処理部２２８は、商品画像のサイズと、商品までの距離とから、実際の商品の寸法を算出する。ここで、商品認識処理の基準となる基準商品情報は、商品の寸法と容量とを含んでもよい。したがって、商品認識処理部２２８は、商品の名称及び容量（図８の例では、「商品名ＡＢＣの容量５００ｍｌ」）といったことを把握することができる。 Furthermore, the product recognition processing unit 228 measures the size of the product image in the two-dimensional image. As for the size of the product image, for example, the vertical dimension and the horizontal dimension are measured. Then, the product recognition processing unit 228 calculates the actual size of the product from the size of the product image and the distance to the product. Here, the reference product information that serves as a reference for product recognition processing may include product dimensions and capacity. Therefore, the product recognition processing unit 228 can grasp the name and volume of the product (in the example of FIG. 8, "volume of 500 ml for product name ABC").

（実施の形態２）
次に、実施の形態２について説明する。実施の形態２においては、後述するように、商品認識処理をＰＯＳ端末装置１００が行わない点で、実施の形態１と異なる。なお、実施の形態１と実質的に同様の構成部分については同じ符号を付し、説明を省略する。 (Embodiment 2)
Next, Embodiment 2 will be described. Embodiment 2 differs from Embodiment 1 in that the POS terminal device 100 does not perform product recognition processing, as will be described later. Components substantially similar to those of the first embodiment are assigned the same reference numerals, and descriptions thereof are omitted.

図９は、実施の形態２にかかるＰＯＳシステム３００を示す図である。図９に示すように、ＰＯＳシステム３００は、ＰＯＳ端末装置１００と、管理装置３１０とを有する。ＰＯＳ端末装置１００と、管理装置３１０とは、通信可能に接続されている。両者間の通信は、有線通信又は無線通信のいずれであってもよく、様々な通信規格が適用されうる。ＰＯＳ端末装置１００と、管理装置３１０とは、ネットワーク（例えば、無線ＬＡＮ（Local Area Network）又はインターネット等）を介して互いに接続されていてもよい。また、ＰＯＳ端末装置１００と、管理装置３１０とは、赤外線通信又はＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信方式によって互いに通信してもよい。 FIG. 9 is a diagram showing a POS system 300 according to the second embodiment. As shown in FIG. 9 , the POS system 300 has a POS terminal device 100 and a management device 310 . The POS terminal device 100 and the management device 310 are communicably connected. Communication between the two may be either wired communication or wireless communication, and various communication standards may be applied. The POS terminal device 100 and the management device 310 may be connected to each other via a network (for example, a wireless LAN (Local Area Network), the Internet, etc.). Also, the POS terminal device 100 and the management device 310 may communicate with each other by infrared communication or a short-range wireless communication method such as Bluetooth (registered trademark).

実施の形態２にかかるＰＯＳ端末装置１００は、実施の形態１にかかるＰＯＳ端末装置１００と実質的に同一のハードウェア構成を有している。ＰＯＳ端末装置１００は、通信装置１１６を用いて、管理装置３１０と通信を行う。この場合、通信装置１１６は、管理装置３１０と通信を行うために必要な処理を行う。 The POS terminal device 100 according to the second embodiment has substantially the same hardware configuration as the POS terminal device 100 according to the first embodiment. The POS terminal device 100 uses the communication device 116 to communicate with the management device 310 . In this case, the communication device 116 performs processing necessary for communicating with the management device 310 .

管理装置３１０は、商品情報等を管理する情報処理装置である。管理装置３１０は、ＰＯＳ端末装置１００が配置された店舗に配置されていてもよい。また、管理装置３１０は、複数の店舗に配置された各ＰＯＳ端末装置１００を一括して管理してもよく、この場合、管理装置３１０は、ＰＯＳ端末装置１００が配置された店舗とは別の場所に配置されうる。また、管理装置３１０は、例えばサーバであって、クラウドサーバであってもよい。 The management device 310 is an information processing device that manages product information and the like. The management device 310 may be placed in the store where the POS terminal device 100 is placed. Moreover, the management device 310 may collectively manage the POS terminal devices 100 installed in a plurality of stores. can be placed in place. Also, the management device 310 may be, for example, a server or a cloud server.

図１０は、実施の形態２にかかる管理装置３１０のハードウェア構成を示す図である。管理装置３１０は、例えばＣＰＵ等の制御部３１２と、例えばタッチパネル、ＬＣＤ又はキーボード等のユーザインタフェースである入出力部３１４と、例えばメモリ又はハードディスク等の記憶部３１６と、通信装置３１８とを有する。通信装置３１８は、ＰＯＳ端末装置１００（又は他の管理装置３１０）と通信を行うために必要な処理を行う。 FIG. 10 is a diagram showing the hardware configuration of the management device 310 according to the second embodiment. The management device 310 has a control unit 312 such as a CPU, an input/output unit 314 such as a user interface such as a touch panel, LCD or keyboard, a storage unit 316 such as a memory or hard disk, and a communication device 318 . The communication device 318 performs processing necessary to communicate with the POS terminal device 100 (or other management device 310).

図１１は、実施の形態２にかかるＰＯＳ端末装置１００の機能ブロック図である。ＰＯＳ端末装置１００は、開始制御部２００と、認識処理部２４０とを有する。開始制御部２００は、距離画像取得部２０２と、物体接近判別部２０４と、認識処理実行制御部２０６とを有する。また、認識処理部２４０は、商品画像撮影制御部２２２と、距離画像撮影制御部２２４と、商品画像抽出部２２６と、商品画像送信部２４８とを有する。上述したように、開始制御部２００及び認識処理部２４０は、例えば、制御部１１２の制御によって、プログラムを実行させることによって実現できる。 FIG. 11 is a functional block diagram of the POS terminal device 100 according to the second embodiment. The POS terminal device 100 has a start control section 200 and a recognition processing section 240 . The start control unit 200 has a distance image acquisition unit 202 , an object approach determination unit 204 , and a recognition processing execution control unit 206 . The recognition processing unit 240 also has a product image shooting control unit 222 , a distance image shooting control unit 224 , a product image extraction unit 226 , and a product image transmission unit 248 . As described above, the start control unit 200 and the recognition processing unit 240 can be realized by executing programs under the control of the control unit 112, for example.

実施の形態２にかかる認識処理部２４０は、商品認識処理部２２８及び商品情報格納部２３０を有さず、商品画像送信部２４８を有する点で、実施の形態１にかかる認識処理部２２０と異なる。商品画像抽出部２２６は、抽出された商品画像を、商品画像送信部２４８に対して出力する。商品画像送信部２４８は、商品画像（商品画像の画像データ）を、管理装置３１０に対して送信する。なお、商品画像送信部２４８は、商品画像を送信する際に、現在の時刻及びＰＯＳ端末装置１００の識別情報等も、管理装置３１０に対して送信してもよい。また、管理装置３１０において商品のサイズが算出され得るように、商品画像送信部２４８は、距離画像（距離画像の画像データ）も、管理装置３１０に対して送信してもよい。 The recognition processing unit 240 according to the second embodiment differs from the recognition processing unit 220 according to the first embodiment in that it does not have the product recognition processing unit 228 and the product information storage unit 230, but has a product image transmission unit 248. . The product image extraction unit 226 outputs the extracted product image to the product image transmission unit 248 . The product image transmission unit 248 transmits the product image (image data of the product image) to the management device 310 . The product image transmission unit 248 may also transmit the current time and identification information of the POS terminal device 100 to the management device 310 when transmitting the product image. In addition, the product image transmission unit 248 may also transmit a distance image (image data of the distance image) to the management device 310 so that the management device 310 can calculate the size of the product.

図１２は、実施の形態２にかかる管理装置３１０の機能ブロック図である。管理装置３１０は、認識処理部３２０を有する。また、認識処理部３２０は、商品画像受信部３２２と、商品認識処理部３２８と、商品情報格納部３３０とを有する。 FIG. 12 is a functional block diagram of the management device 310 according to the second embodiment. The management device 310 has a recognition processing section 320 . The recognition processing unit 320 also has a product image receiving unit 322 , a product recognition processing unit 328 , and a product information storage unit 330 .

なお、認識処理部３２０は、例えば、制御部３１２の制御によって、プログラムを実行させることによって実現できる。より具体的には、記憶部３１６に格納されたプログラムを、制御部３１２の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、認識処理部３２０の各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、使用者がプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。 Note that the recognition processing unit 320 can be realized by, for example, executing a program under the control of the control unit 312 . More specifically, the program stored in storage unit 316 is implemented by executing the program under the control of control unit 312 . Moreover, each component may be implemented by any combination of hardware, firmware, and software, without being limited to being implemented by program software. Also, each component of the recognition processing unit 320 may be implemented using a user-programmable integrated circuit such as an FPGA (field-programmable gate array) or a microcomputer. In this case, this integrated circuit may be used to implement a program composed of the above components.

商品画像受信部３２２は、ＰＯＳ端末装置１００によって送信された商品画像（商品画像データ）等を受信し、商品認識処理部３２８に対して出力する。商品認識処理部３２８は、実施の形態１にかかる商品認識処理部２２８と実質的に同一の機能を有する。したがって、商品認識処理部３２８は、商品画像抽出部２２６によって抽出された商品画像を用いて、上述した実施の形態１と同様に、商品認識処理を行う。さらに、商品認識処理部３２８は、商品認識処理によって得られた商品情報を、商品情報格納部３３０に格納する。さらに、管理装置３１０は、得られた商品情報を、ＰＯＳ端末装置１００に対して送信する。ＰＯＳ端末装置１００は、管理装置３１０から受信した商品情報を用いて、その商品の決済処理等を行う。 The product image receiving unit 322 receives product images (product image data) and the like transmitted by the POS terminal device 100 and outputs them to the product recognition processing unit 328 . The product recognition processing unit 328 has substantially the same functions as the product recognition processing unit 228 according to the first embodiment. Therefore, the product recognition processing unit 328 uses the product image extracted by the product image extraction unit 226 to perform product recognition processing, as in the first embodiment described above. Furthermore, the product recognition processing unit 328 stores the product information obtained by the product recognition processing in the product information storage unit 330 . Furthermore, the management device 310 transmits the obtained product information to the POS terminal device 100 . The POS terminal device 100 uses the product information received from the management device 310 to perform payment processing and the like for the product.

実施の形態２のように、商品認識処理をＰＯＳ端末装置１００ではなく管理装置３１０で行うことによって、商品認識処理に必要な基準商品情報を、各ＰＯＳ端末装置１００が記憶する必要がなく、また、ＰＯＳ端末装置１００が商品認識処理を行う必要がない。したがって、ＰＯＳ端末装置１００の資源を節約することが可能となる。また、タブレット端末等、資源の乏しいＰＯＳ端末装置１００においても、本実施の形態を適用することが可能となる。また、実施の形態２においても、商品画像抽出部２２６によって商品画像が抽出される。したがって、実施の形態１と同様に、管理装置３１０による商品認識処理において、資源の負荷を低減させること、処理速度を向上させること、認識率を向上させること、及び、商品のサイズ（容量）を把握することが、可能となる。 As in the second embodiment, by performing product recognition processing in the management device 310 instead of the POS terminal device 100, each POS terminal device 100 does not need to store reference product information necessary for product recognition processing. , the POS terminal device 100 does not need to perform product recognition processing. Therefore, the resources of the POS terminal device 100 can be saved. Also, the present embodiment can be applied to the resource-poor POS terminal device 100 such as a tablet terminal. Also in Embodiment 2, the product image is extracted by the product image extraction unit 226 . Therefore, as in the first embodiment, in product recognition processing by the management device 310, it is possible to reduce the resource load, improve the processing speed, improve the recognition rate, and reduce the product size (capacity). It is possible to comprehend.

また、上述したように、商品画像抽出部２２６によって抽出される商品画像は、撮像部１３２の撮影によって得られた２次元画像から、背景画像が除去されている。したがって、商品画像のデータ量は、２次元画像のデータ量よりも小さい。管理装置３１０で商品認識処理を行う場合に、管理装置３１０に対し、ＰＯＳ端末装置１００が２次元画像の画像データを送信すると、データ量が大きいため、通信ネットワークの負荷が増大する。一方、管理装置３１０に対し、ＰＯＳ端末装置１００が商品画像の画像データを送信すると、データ量が小さいため、通信ネットワークの負荷が低減される。 In addition, as described above, the product image extracted by the product image extraction unit 226 is obtained by removing the background image from the two-dimensional image captured by the imaging unit 132 . Therefore, the data amount of the product image is smaller than the data amount of the two-dimensional image. When the management device 310 performs product recognition processing, if the POS terminal device 100 transmits two-dimensional image data to the management device 310, the amount of data is large and the load on the communication network increases. On the other hand, when the POS terminal device 100 transmits the image data of the product image to the management device 310, the load on the communication network is reduced because the amount of data is small.

（変形例）
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述したフローチャートにおける処理の順序は、適宜、変更可能である。また、上述したフローチャートにおける複数の処理の少なくとも１つは、なくても構わない。例えば、図６のフローチャートにおいて、Ｓ２０２の処理は、Ｓ２０４の処理の後で行われてもよい。また、図５のフローチャートにおいて、Ｓ１０８及びＳ１１０の処理は、なくてもよい。 (Modification)
It should be noted that the present invention is not limited to the above embodiments, and can be modified as appropriate without departing from the scope of the invention. For example, the order of processing in the flowcharts described above can be changed as appropriate. Also, at least one of the plurality of processes in the flowcharts described above may be omitted. For example, in the flowchart of FIG. 6, the process of S202 may be performed after the process of S204. Moreover, in the flowchart of FIG. 5, the processes of S108 and S110 may be omitted.

また、本実施の形態にかかる構成は、ＰＯＳ端末装置に適用されるとしたが、これに限られない。例えば、倉庫等で荷物の仕分けをするために用いられる物体認識装置等の一般的な物体認識装置、及び、この物体認識装置を含むシステムにおいても適用可能である。 Also, although the configuration according to the present embodiment is applied to a POS terminal device, it is not limited to this. For example, it can be applied to a general object recognition device such as an object recognition device used for sorting packages in a warehouse or the like, and to a system including this object recognition device.

また、本実施の形態にかかるＰＯＳ端末装置１００は、例えば、セルフレジにも適用可能である。セルフレジのように、顧客がＰＯＳ端末を使用する場合、顧客は、商品に付されたバーコードを読取装置に読み取らせることに慣れていない。そのため、セルフレジにおいては、バーコードを使用しない方法、つまり、商品を直接読み取らせる方法が求められる。したがって、セルフレジについて本実施の形態にかかるＰＯＳ端末装置１００を適用することで、上述したような、商品を直接読み取らせることに起因する問題が解決される。 Also, the POS terminal device 100 according to the present embodiment can be applied to, for example, a self-checkout. When a customer uses a POS terminal like a self-checkout, the customer is not accustomed to having a reader read the bar code attached to the product. Therefore, in self-checkout, there is a demand for a method that does not use barcodes, that is, a method that directly reads products. Therefore, by applying the POS terminal device 100 according to the present embodiment to the self-checkout, the above-described problems caused by direct reading of products can be solved.

また、本実施の形態にかかるＰＯＳ端末装置１００は、上述したように、タブレット端末（タブレットＰＯＳ）等の、資源が乏しい端末にも応用可能である。この場合、３次元カメラ１３０は、タブレット端末に内蔵されていなくてもよく、タブレット端末とは別個（外付け）の装置であってもよい。 In addition, as described above, the POS terminal device 100 according to the present embodiment can also be applied to a resource-poor terminal such as a tablet terminal (tablet POS). In this case, the three-dimensional camera 130 may not be built in the tablet terminal, and may be a separate (externally attached) device from the tablet terminal.

また、上述した実施の形態においては、開始制御部２００により、商品認識処理の開始又は終了を制御するとしたが、これに限られない。つまり、開始制御部２００は必須の構成要素ではなく、図５に示した開始制御部２００の処理は、必ずしも必要ではない。しかしながら、上述したように、開始制御部２００の処理を行うことによって、資源の低減を実現することが可能となる。なお、開始制御部２００の代わりに、店員等が商品認識処理を開始又は終了するスイッチを操作することによって、商品認識処理の開始又は終了を制御してもよい。しかしながら、開始制御部２００の処理を行うことによって、店員等が当該スイッチを操作することが不要となる。 Further, in the above-described embodiment, the start control unit 200 controls the start or end of the product recognition process, but the present invention is not limited to this. In other words, the start control unit 200 is not an essential component, and the processing of the start control unit 200 shown in FIG. 5 is not necessarily required. However, as described above, by performing the processing of the start control unit 200, it is possible to realize resource reduction. Instead of the start control unit 200, a store clerk or the like may operate a switch for starting or ending the product recognition process to control the start or end of the product recognition process. However, by performing the processing of the start control unit 200, it becomes unnecessary for the store clerk or the like to operate the switch.

また、実施の形態１の構成と実施の形態２の構成とを組み合わせてもよい。例えば、実施の形態２にかかるＰＯＳ端末装置１００においても、商品認識処理を行うようにしてもよい。言い換えると、実施の形態２にかかるＰＯＳ端末装置１００が、商品認識処理部２２８を有してもよい。この場合、ＰＯＳ端末装置１００の負荷が予め定められた第１の負荷値よりも増加した場合に、ＰＯＳ端末装置１００が管理装置３１０に商品画像を送信し、商品認識処理を管理装置３１０が行うようにしてもよい。一方、管理装置３１０の負荷が予め定められた第２の負荷値よりも増加している場合、又は通信ネットワークの負荷が予め定められた第３の負荷値よりも増加している場合に、ＰＯＳ端末装置１００は、管理装置３１０に商品画像を送信しないで、自らのＰＯＳ端末装置１００で商品認識処理を行うようにしてもよい。 Also, the configuration of the first embodiment and the configuration of the second embodiment may be combined. For example, the POS terminal device 100 according to the second embodiment may also perform product recognition processing. In other words, the POS terminal device 100 according to the second embodiment may have the merchandise recognition processing section 228 . In this case, when the load on the POS terminal device 100 exceeds a predetermined first load value, the POS terminal device 100 transmits the product image to the management device 310, and the management device 310 performs the product recognition process. You may do so. On the other hand, if the load on the management device 310 has increased by more than a predetermined second load value, or if the load on the communication network has increased by more than a predetermined third load value, the POS The terminal device 100 may perform product recognition processing on its own POS terminal device 100 without transmitting product images to the management device 310 .

このように、ＰＯＳ端末装置１００の負荷、管理装置３１０の負荷及び通信ネットワークの負荷に応じて、適宜、負荷分散を行うことが可能となる。この場合、ＰＯＳ端末装置１００又は管理装置３１０が、ＰＯＳ端末装置１００の負荷、管理装置３１０の負荷及び通信ネットワークの負荷を計測する手段、及び、計測された負荷と第１～第３の負荷値とをそれぞれ比較する手段を有してもよい。 In this way, it is possible to appropriately distribute the load according to the load on the POS terminal device 100, the load on the management device 310, and the load on the communication network. In this case, the POS terminal device 100 or the management device 310 measures the load of the POS terminal device 100, the load of the management device 310 and the load of the communication network, and the measured load and the first to third load values and may have means for comparing each.

また、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 Also, the program can be stored and delivered to the computer using various types of non-transitory computer readable media. Non-transitory computer-readable media include various types of tangible storage media. Examples of non-transitory computer-readable media include magnetic recording media (eg, flexible discs, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical discs), CD-ROMs (Read Only Memory), CD-Rs, CD-R/W, semiconductor memory (eg, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (random access memory)). The program may also be delivered to the computer on various types of transitory computer readable medium. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves. Transitory computer-readable media can deliver the program to the computer via wired channels, such as wires and optical fibers, or wireless channels.

１ＰＯＳ端末装置
２撮像部
４距離計測部
６商品画像抽出部
１００ＰＯＳ端末装置
１１０情報処理装置
１２０商品読取装置
１２４商品読取面
１３０３次元カメラ
１３２撮像部
１３４距離センサ
１３６赤外線照射部
１３８赤外線受光部
１４０距離画像生成部
２００開始制御部
２０２距離画像取得部
２０４物体接近判別部
２０６認識処理実行制御部
２２０認識処理部
２２２商品画像撮影制御部
２２４距離画像撮影制御部
２２６商品画像抽出部
２２８商品認識処理部
２３０商品情報格納部
２４０認識処理部
２４８商品画像送信部
３００ＰＯＳシステム
３１０管理装置
３１２制御部
３２０認識処理部
３２２商品画像受信部
３２８商品認識処理部
３３０商品情報格納部 1 POS terminal device 2 imaging unit 4 distance measuring unit 6 product image extracting unit 100 POS terminal device 110 information processing device 120 product reading device 124 product reading surface 130 three-dimensional camera 132 imaging unit 134 distance sensor 136 infrared irradiation unit 138 infrared light receiving unit 140 Distance image generation unit 200 Start control unit 202 Distance image acquisition unit 204 Object proximity determination unit 206 Recognition processing execution control unit 220 Recognition processing unit 222 Product image shooting control unit 224 Distance image shooting control unit 226 Product image extraction unit 228 Product recognition processing Unit 230 Product information storage unit 240 Recognition processing unit 248 Product image transmission unit 300 POS system 310 Management device 312 Control unit 320 Recognition processing unit 322 Product image reception unit 328 Product recognition processing unit 330 Product information storage unit

Claims

imaging means for generating an image of an object;
distance measuring means for measuring the distance to the object;
extracting means for extracting, from the generated image, an area in which the measured distance is equal to or less than a predetermined value as an image of the product;
product recognition means for recognizing products based on the extracted image;
a determination means for determining that an object has approached such that the measured distance is equal to or less than a threshold;
Information processing device having

2. The information processing apparatus according to claim 1 , wherein said extraction means executes said extraction process when said determination means determines that said object has approached.

The product recognition means recognizes the product when the determination means determines that the object has approached;
The information processing apparatus according to claim 1 or 2.

The product recognition means is
measuring the size of the image of the extracted product in the image;
recognizing the size of the product based on the measured size of the image of the product and the measured distance to the object;
The information processing apparatus according to claim 2 , wherein recognition processing of the product is performed based on the recognized size of the product.

5. The apparatus according to any one of claims 1 to 4, further comprising transmitting means for transmitting data representing the extracted image of the product to a management device that performs recognition processing of the product based on the extracted image of the product. The information processing device according to the item.

an information processing device;
a management device that communicates with the information processing device;
has
The information processing device and the management device are connected via a communication network,
The information processing device is
imaging means for generating an image of an object;
distance measuring means for measuring the distance to the object;
extracting means for extracting, from the generated image, an area in which the measured distance is equal to or less than a predetermined value as an image of the product;
product recognition means for recognizing products based on the extracted image;
has
when the load on the information processing device increases beyond a predetermined first load value, the information processing device transmits data indicating the image of the extracted product to the management device; The management device performs recognition processing of the product,
system.

When the load on the management device has increased by more than a predetermined second load value, or when the load on the communication network has increased by more than a predetermined third load value, the information 7. The system according to claim 6 , wherein the processing device does not transmit data indicating the image of the extracted product to the management device, and the product recognition means performs recognition processing of the product.

generate an image of the object,
measuring the distance to the object;
extracting, from the generated image, an area where the measured distance is equal to or less than a predetermined value as an image of the product;
recognizing a product based on the extracted image;
Determining that the object has approached such that the measured distance is less than or equal to a threshold;
Image processing method.

generating an image of the object;
measuring the distance to the object;
a step of extracting, from the generated image, an area where the measured distance is equal to or less than a predetermined value as an image of the product;
a step of recognizing a product based on the extracted image;
determining that the object has approached such that the measured distance is equal to or less than a threshold;
A program that makes a computer run