JP2001216571A - Method and device for adjusting charge - Google Patents

Method and device for adjusting charge

Info

Publication number
JP2001216571A
JP2001216571A JP2000026164A JP2000026164A JP2001216571A JP 2001216571 A JP2001216571 A JP 2001216571A JP 2000026164 A JP2000026164 A JP 2000026164A JP 2000026164 A JP2000026164 A JP 2000026164A JP 2001216571 A JP2001216571 A JP 2001216571A
Authority
JP
Japan
Prior art keywords
image
information
height
color
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000026164A
Other languages
Japanese (ja)
Inventor
Toshio Onoe
Hirotaka Tsubota
浩貴 坪田
壽男 尾上
Original Assignee
Glory Ltd
グローリー工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Glory Ltd, グローリー工業株式会社 filed Critical Glory Ltd
Priority to JP2000026164A priority Critical patent/JP2001216571A/en
Publication of JP2001216571A publication Critical patent/JP2001216571A/en
Application status is Pending legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To provide a method and device for adjusting a charge capable of automatically adjusting the charge by recognizing merchandise itself. SOLUTION: Based on images picked up by image pickup parts 11-1 and 11-2, a height recognition part 13a recognizes the height of the merchandise, a shape recognition part 13b recognizes the shape of the merchandise, a color recognition part 13c recognizes the color of the merchandise, and an identification part 14 recognizes the merchandise directly.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】この発明は、料金精算方法および装置に関し、特に、カフェテリア方式の飲食店等において、料金を自動精算する料金精算方法および装置に関する。 TECHNICAL FIELD The present invention relates to a fee settlement method and apparatus, in particular, in restaurants and the like cafeteria system, Pricing settlement method and apparatus for automatically settling rates.

【0002】 [0002]

【従来の技術】カフェテリア方式の飲食店では、客(購買者)が購入する商品を自由に選択してトレイ等に載せ、精算所で店員が商品を確認して料金の精算を行っている。 In the restaurant of the Prior Art cafeteria system, placed on a tray or the like is free to choose the products that the customer (purchaser) to purchase, the clerk at the checkout counter is performing a settlement of the fee to check the goods. このようなカフェテリア方式の飲食店では、固定メニューの飲食店と比較すると、その特性上、料金精算の自動化が遅れている。 In such a restaurant such cafeteria method, when compared to restaurants fixed menu, its characteristics, automation of fee settlement is delayed.

【0003】カフェテリア方式の料金精算を自動化する方法としては、例えば、特開平10−69579号公報に記載されている「飲食代金自動精算装置」を適用することが考えられる。 As a method to automate the fee settlement cafeteria system, for example, it is conceivable to apply the "total bill automatic accounting device" described in JP-A-10-69579 JP. この「飲食代金自動精算装置」は、 This "total bill automatic checkout device",
トレイ上に載置された食器にスリット光を照射して走査し、これをテレビカメラにより撮像して得た画像から食器の3次元情報を取得するもので、取得した食器の3次元情報に基づいて料金を識別している。 Scanned by irradiating slit light onto the placed dishes on the tray, which is configured to acquire three-dimensional information of the dishes from the image obtained by imaging by the TV camera, based on the obtained three-dimensional information of tableware identifying the fee Te.

【0004】 [0004]

【発明が解決しようとする課題】ところが、上述の「飲食代金自動精算装置」は、商品自体の識別を行っていないため、価格に応じた食器に商品を盛りつける必用があり、特に、食器を必用としないファーストフード店等においては、利用することが困難である。 The object of the invention is to be Solved However, "total bill automatic checkout device" described above, because it does not go the identity of the product itself, there is a necessity to Serve the goods to tableware in accordance with the price, especially, necessity dishes and in fast food restaurants or the like, not, it is difficult to use.

【0005】そこで、この発明は、商品自体の認識を行い、料金の自動精算を行うことのできる料金精算方法および装置を提供することを目的とする。 [0005] Therefore, the present invention performs recognition of the product itself, and to provide the price settlement method and apparatus capable of performing automatic fare payment.

【0006】 [0006]

【課題を解決するための手段】上述した目的を達成するため、請求項1の発明は、トレイ上に載置された商品を識別し、該識別した商品の精算を行う料金精算方法において、所定の間隔で配設された第1の撮像手段および第2の撮像手段によりトレイ上に載置された商品の画像をそれぞれ取得し、前記第1の撮像手段により取得された第1の画像と前記第2の撮像手段により取得された第2 To achieve the above object, according to an aspect of, the invention of claim 1, identifying the placed item on the tray, the fee settlement method for performing settlement of the products that the identified predetermined wherein the first imaging means and a second image of the product placed on the tray by the image pickup means disposed at an interval respectively acquired, a first image acquired by the first image pickup means the acquired by the second imaging means 2
の画像とに基づいて前記商品の高さ情報を取得し、前記第1の画像と前記第2の画像の少なくとも一方に基づいて前記商品の形状情報と色情報とを算出し、該算出した高さ情報、形状情報、色情報に基づいて商品を識別して料金を精算することを特徴とする。 Of acquired height information of the product on the basis of the image, the first image and on the basis of at least one of the second image to calculate the shape information and color information of the product, high the calculated is information, shape information, characterized in that settling rates to identify the product based on the color information.

【0007】また、請求項2の発明は、請求項1の発明において、前記識別は、前記高さ情報に基づいて、前記第1の画像と前記第2の画像の少なくとも一方から所定の高さの商品のみを示す複数の距離画像を作成し、該作成した複数の距離画像のそれぞれに対して形状情報、色情報を算出して行うことを特徴とする。 [0007] According to a second aspect of the invention, in the invention of claim 1, wherein the identification is on the basis of the height information, from at least one of the predetermined height of the first image and the second image create a plurality of range images showing only product, the shape information for each of the plurality of distance images the creation, and carrying out to calculate the color information.

【0008】また、請求項3の発明は、請求項1または2の発明において、前記形状情報は、前記商品の大きさを示す情報を含むことを特徴とする。 Further, the invention of claim 3, in the invention of claim 1 or 2, wherein the shape information is characterized by including information indicating the size of the product.

【0009】また、請求項4の発明は、トレイ上に載置された商品を識別し、該識別した商品の精算を行う料金精算装置において、所定の間隔で配設された第1の撮像手段および第2の撮像手段と、前記第1の撮像手段により取得された第1の画像と前記第2の撮像手段により取得された第2の画像とに基づいて前記商品の高さ情報を取得する高さ認識手段と、前記第1の画像と前記第2の画像の少なくとも一方に基づいて前記商品の形状情報を取得する形状認識手段と、前記第1の画像と前記第2の画像との少なくとも一方に基づいて前記商品の色情報を取得する色認識手段と、前記高さ認識手段が取得した高さ情報、前記形状認識手段が取得した形状情報、前記色認識手段が取得した色情報に基づいて商品を識別する商品識別手段とを具 Further, the invention of claim 4, identifying the placed item on the tray, the fee settlement apparatus that performs settlement of goods that the identified, first imaging means arranged at a predetermined interval a and the second imaging means to acquire the height information of the product on the basis of the second image acquired by the first image and the second image pickup means which is acquired by the first image pickup means the height recognition means, a shape recognition means for obtaining shape information of said product based on at least one of the first image and the second image, at least between the first image and the second image on the other hand the color recognition means for acquiring color information of the product on the basis of, based on the height information the height recognition means obtained, said shape recognition means shape information acquired color information and the color recognition means obtains ingredients and product identification means for identifying a product Te することを特徴とする。 Characterized in that it.

【0010】また、請求項5の発明は、請求項4の発明において、前記高さ認識手段は、取得した高さ情報に基づいて、前記第1の画像と前記第2の画像の少なくとも一方から所定の高さの商品のみを示す複数の距離画像を生成し、前記形状認識手段および前記色認識手段は、前記高さ認識手段が生成した複数の距離画像毎に、それぞれ形状情報と色情報とを取得することを特徴とする。 [0010] The invention of claim 5 is the invention of claim 4, wherein the height recognition means, based on the obtained height information, from at least one of the first image and the second image generating a plurality of distance images showing only items of a predetermined height, said shape recognition means and the color recognition means, wherein the height recognition means each of the plurality of range images generated, respectively the shape and color information the and acquiring.

【0011】また、請求項6の発明は、請求項4または5の発明において、前記形状認識手段は、取得する形状情報に前記商品の大きさを示す情報を含むことを特徴とする。 [0011] The invention of claim 6 is the invention of claim 4 or 5, wherein the shape recognition means is characterized by including information indicating the size of the item into the shape information acquired.

【0012】 [0012]

【発明の実施の形態】以下、この発明に係る料金精算方法および装置の一実施の形態について、添付図面を参照して詳細に説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, an embodiment of the fee settlement method and apparatus according to the present invention will be described in detail with reference to the accompanying drawings.

【0013】図1は、この発明に係る料金精算装置の外観を示した図である。 [0013] Figure 1 is a diagram showing the appearance of the fee settlement device according to the present invention. 料金精算装置10は、トレイ20 Fee settlement device 10, tray 20
上に載置された商品を撮像して得た画像データに基づいて商品を識別し、料金の精算を行う。 Identify the item based on the placed on goods in image data obtained by imaging, perform settlement of fees.

【0014】図2は、料金精算装置10の構成を示すブロック図である。 [0014] Figure 2 is a block diagram showing the configuration of a fee settlement device 10. 同図に示すように、料金精算装置10 As shown in the figure, fee settlement device 10
は、2つの撮像部11−1および11−2と、記憶部1 Includes two imaging units 11-1 and 11-2, a storage unit 1
2、認識部13、識別部14、精算部15、表示部1 2, the recognition unit 13, the identification unit 14, settlement unit 15, a display unit 1
6、入力部17、データ転送部18を具備して構成される。 6, the input unit 17, and comprises a data transfer unit 18. また、認識部13は、高さ認識部13aと形状認識部13b、色認識部13cを具備して構成される。 Further, the recognition unit 13, the height recognition unit 13a and the shape recognition unit 13b, configured to include a color recognition unit 13c.

【0015】撮像部11−1および11−2は、それぞれトレイ20およびトレイ20上に載置された商品を撮像する。 The imaging unit 11-1 and 11-2 captures the product placed on the respective tray 20 and the tray 20. 記憶部12は、撮像部11−1、11−2が撮像した画像データを記憶し、認識部13が、この画像データに基づいて各商品の画像を認識する。 Storage unit 12 stores the image data by the imaging unit 11-1 and 11-2 is captured, the recognizing unit 13 recognizes the image of each product on the basis of the image data. 認識部13では、高さ認識部13aが2つの画像データから各商品の高さを認識し、形状認識部13bが2つの画像データのいずれかから各商品の形状を認識し、色認識部13cが2つの画像データのいずれかから各商品の色を認識する。 The recognition unit 13, the height recognition unit 13a recognizes the height of each product from the two image data, shape recognizing unit 13b recognizes the shape of each item from one of the two image data, color recognition section 13c There recognizing the color of each item from one of the two image data.

【0016】識別部14は、認識部13により得られた各商品の高さ、形状、色の各情報に基づいて商品の識別を行い、この識別結果に基づいて精算部15が料金の精算を行う。 The identifying unit 14, the recognition unit of each product obtained by the 13 height, shape, performs identification of the product based on the color pieces of information, the settlement of the settlement section 15 based on the identification result Rates do. このとき、識別部14により識別できなかった商品が存在した場合には、表示部16にその旨を表示し、これを受けた店員が商品の識別を行い、入力部17 At this time, if the goods that could not be recognized by the recognition unit 14 is present, and displays it by display section 16, the clerk receiving this performs identification of the product, the input unit 17
より商品名(種別)を入力し、精算部15が精算を行う。 Enter more trade name (type), settlement unit 15 performs the settlement. 精算部15が精算した料金データは、データ転送部18よりPOSシステム等へ転送される。 Rate data settlement unit 15 is settled, it is transferred from the data transfer unit 18 to the POS system or the like.

【0017】ここで、認識部13における各情報の取得方法について説明する。 [0017] Here it will be described in the recognition unit 13 a method for acquiring the information. 認識部13では、まず、高さ認識部13aが商品の高さ情報を取得する。 The recognition unit 13, firstly, the height recognition unit 13a acquires the height information of the product. 高さ情報の取得は、図3に示すようにカメラ101−1、101−2 Obtaining height information, the camera as shown in FIG. 3 101 -
(撮像手段11−1、11−2に相当、102−1、1 (Corresponding to the imaging means 11-1 and 11-2, 102-1,1
02−2は光源)の間隔をA、焦点距離をF、後述する視差をDとすれば、カメラからの距離Z、つまり、商品の高さ情報は式1から得ることができる。 02-2 is if the distance between the light source) A, the focal length F, the disparity to be described later is D, the distance from the camera Z, i.e., the height information of the product can be obtained from Equation 1.

【0018】 [0018]

【式1】 [Formula 1]

【0019】ここで、視差Dについて説明する。 [0019] Here, a description will be given of parallax D. 視差D Parallax D
は、カメラ101−1、101−2が撮像した2枚の画像から取得する。 The camera 101-1 and 101-2 are obtained from two images captured. 例えば、図4(a)および図4(b) For example, FIGS. 4 (a) and 4 (b)
に示す2枚の画像から、それぞれトレイ20のエッジを基準にX方向にトレイ20(画像)を抽出する。 Of two images shown in, for extracting the tray 20 (image) in the X direction relative to the edge of the tray 20, respectively. 抽出したトレイ20の画像右端からの距離をそれぞれΔX1, It extracted the distance from the image right end of the tray 20, respectively .DELTA.X1,
ΔX2とする。 And ΔX2.

【0020】ここで、抽出されたトレイ20が、カメラ101−1、101−2から等距離にあることを利用し、X方向の濃度変化(一次元情報、図4(a)中矢印で示したライン上の濃度変化を図4(c)に示し、図4 [0020] Here, the extracted tray 20, by utilizing the fact that the camera 101-1 and 101-2 are equidistant, the concentration change of the X direction (one-dimensional information, shown in FIGS. 4 (a) arrow and the density change on the line shown in FIG. 4 (c), 4
(b)中矢印で示したライン上の濃度変化を図4(d) Figure concentration change on the line indicated by (b) in an arrow 4 (d)
に示す。 To show. )をDPマッチング(動的計画法)により対応付けを行い、視差を算出する。 ) Was subjected to mapping by DP matching (Dynamic Programming), and calculates the parallax. ただし、DPマッチングを行う際には、両端固定(トレイ20の長さが一定)、 However, when performing DP matching, (constant length of the tray 20) fixed at both ends,
パス幅制限M(それ以上ずれることはないという最大の幅で、M<|ΔX1−ΔX2|)、後戻り対応なし(対応付けの順序の逆は生じない)であることを条件とする。 Path width limiting M (a maximum width that is not greater shift it, M <| ΔX1-ΔX2 |), with the proviso that a no backtracking corresponding (reverse order of correspondence does not occur).

【0021】このようにして、既知であるΔX1,ΔX [0021] In this way, it is known ΔX1, ΔX
2を利用すると、各点の視差Dxは、式2のようになる。 Utilizing 2, parallax Dx of each point is as shown in Equation 2.

【0022】 [0022]

【式2】 [Equation 2] ただし、dxは、トレイ20の端部を基準に切り出された左右画像(カメラ101−1、101−2による画像)における、ある1ラインの対応付けにより求められた視差である。 However, dx is the left and right images of the end cut out in the reference of the tray 20 (an image by the camera 101-1, 101-2), a parallax obtained by correspondence of a certain line. また、DPの距離計算(コスト関数)については、色情報(R,G,B)または濃度情報((R As for the DP calculation of distance (cost function), color information (R, G, B) or density information ((R
+G+B)/3)での正規化相関を用い、式3のように定義し、各画素毎の対応付けを行う。 + G + B) / 3) using the normalized correlation in, and defined by the equation 3, to associate for each pixel. 図5に対応付けを示す。 Figure 5 shows the correspondence. なお、式3の右辺の第2項が正規化相関を表す。 Note that the second term on the right-hand side of Equation 3 represents the normalized correlation.

【0023】また、2枚の左右画像に対して対応付けを行うための条件として、図6に示すように3次元空間中にx−y−z座標をとったとき、各画像の画像面は、x Further, as a condition for performing association against two left and right images, when taken x-y-z coordinates in 3-dimensional space as shown in FIG. 6, the image plane of each image , x
−y平面に平行な同一面にあり、走査線方向はx軸に平行になるようにする。 -y is in the same plane parallel to the plane, the scanning line direction to be parallel to the x-axis.

【0024】 [0024]

【式3】 [Equation 3] このように、視差Dを求めることで、カメラ101− Thus, by obtaining the parallax D, a camera 101-
1、101−2からの距離を計算し、深さ方向の距離画像を得る。 The distance from 1,101-2 calculated to obtain a distance image in the depth direction. つまり、各画素毎にカメラ101−1、10 In other words, the camera 101-1,10 for each pixel
1−2からの距離情報を持った距離画像を得ることができ、この距離画像から商品の高さ情報を取得することができる。 Distance image having distance information from 1-2 can be obtained, it is possible to acquire the height information of the product from the distance image.

【0025】なお、高さ情報の精度については、カメラ101−1、101−2により取得された画像の大きさにより限定されるため、1画素のずれ量による精度に限界がある。 [0025] Note that the accuracy of the height information, because it is limited by the size of the image acquired by the camera 101-1 and 101-2, there is a limit in accuracy due to the deviation amount of 1 pixel. この精度を向上させるためには、図7に示すように、隣り合うX方向の画素、nとn+1の平均値N To improve the accuracy, as shown in FIG. 7, X-direction adjacent pixels, n and n + 1 of the average value N
を求め、式4により補正を行うことで、距離精度を必用な精度まで向上させることが可能となる。 The calculated, by performing the correction by the equation 4, it is possible to improve the distance accuracy to necessity accuracy.

【0026】 [0026]

【式4】 [Equation 4]

【0027】次に、認識部13は、高さ認識部13aが生成した距離画像に基づいて、画像(左右画像のいずれか一方)を加工する。 Next, the recognition section 13, based on the distance image height recognition unit 13a to generate and process the image (either the left and right images). ここでの加工は、各画像から距離に応じた点(画素)の集合を抽出するもので、これにより、所定の範囲内の高さにある商品の領域を抽出する。 Here processing, the extracts a set of points in accordance with the distance from each image (pixel), thereby extracting a region of the product at a height within a predetermined range.

【0028】例えば、図8(a)に示すように、トレイ20上にコップ21とコーヒーフレッシュ22、ハンバーガー23、ダブルバーガー24、アップルパイ25、 [0028] For example, as shown in FIG. 8 (a), cups 21 and coffee fresh 22 on the tray 20, Hamburgers 23, double Burger 24, apple pie 25,
チキン26、ポテト27の各商品が存在する画像から、 From the image of chicken 26, each item of potato 27 is present,
高さが10cm以上の商品を抽出すると同図(b)に示すように、コップ21とダブルバーガー24のみが存在する画像を得ることができる。 Height as shown in FIG Extracting or more items 10 cm (b), it is possible to obtain an image in which only the cup 21 and a double burger 24 is present. 同様に、高さが5cm以上10cm未満の商品の画像を抽出すると、同図(c) Similarly, the height to extract the product image below 10cm above 5 cm, FIG. (C)
に示すように、ハンバーガー23とチキン26、ポテト27のみが存在する画像を得ることができ、高さが5c As shown in, it is possible to obtain an image hamburger 23 chicken 26, only potatoes 27 are present, the height 5c
m未満(実際には、2cm以上5cm未満とし、トレイ20との区別を容易にするとともに、ナプキン等の紙類を排除する)の画像を抽出すると、同図(d)に示すように、コーヒーフレッシュ22とアップルパイ25のみが存在する画像を得ることができる。 Less than m (in fact, be less than 2cm above 5 cm, while facilitating the distinction between the tray 20, to eliminate the paper such as napkins) when extracting the image, as shown in FIG. 2 (d), Coffee it is possible to obtain an image in which only fresh 22 and apple pie 25 is present.

【0029】このようにして商品の高さ毎に分類された画像を得た後に、認識部13は、形状認識部13bにより商品の形状を認識し、色認識部13cにより商品の色を認識する。 [0029] After this manner give a high classified images for each of the products, the recognition unit 13 recognizes the shape of the product by the shape recognizing section 13b, recognizes the color of the product by the color recognizing unit 13c .

【0030】形状認識部13bでは、商品の高さ毎に分類された画像から商品の形状および大きさを認識する。 [0030] In the shape recognizing section 13b, recognizing the shape and size of the items from the images classified into each height of the product.
認識する形状は、矩形、正方形、長方形、円形(真円度を含む)等であるが、対象の商品がファーストフードである場合には、所定の包装が施されており、その包装の特徴(箱類は長方形、コップ類は円形など)のみに分類することができればよい。 Recognizes shapes, rectangular, square, rectangular, but a like circular (including roundness), when the target item is a fast food has been subjected to a predetermined packaging, the packaging features ( box such rectangle, drinking glasses may if it can be classified only circular, etc.).

【0031】色認識部13cでは、各商品の画像の色空間をRGB(R:赤、G:緑、B:青)からHLS [0031] In the color recognition unit 13c, the color space of each product image RGB (R: red, G: green, B: blue) from the HLS
(H:色相、L:明度、S:彩度)に変換し、商品の色を認識する。 (H: Hue, L: luminosity, S: saturation) was converted to recognize the color of the product. 式5にRGBからHLSへの変換式を示す。 From RGB to equation 5 shows a conversion formula to HLS.

【0032】 [0032]

【式5】 [Equation 5] 色の認識は、基本的にH、Sを用いて色の成分の分布をチェックすることで行う。 Color recognition is performed by checking the distribution of the color components using fundamentally H, S. 例えば、ある商品Aの包装紙の特有の色Iが、H平面でα1<I<α2、かつ、S平面でβ1<I<β2である画素の数が、一定数以上存在する場合には、当該商品はAであると認識できる。 For example, if specific color I wrapping paper of a product A is, [alpha] 1 in H-plane <I <[alpha] 2, and the number of pixels is .beta.1 <I <.beta.2 in S plane, it occurs more than a predetermined number, the product can be recognized as a.

【0033】また、青系統のH、Sのみでの色判定が困難なものに対しては、必用に応じて明度Lも判定に用いる。 Further, H of bluish, against those difficult to color determination only in S, the lightness L also used for the determination in accordance with the necessity.

【0034】このようにして、認識部13が認識した商品の高さ、形状、色に基づいて識別部14が商品の識別を行うが、この識別は、図9に示すようなテーブルを参照して行う。 [0034] In this way, the height of the product recognition part 13 recognizes the shape, but the identification unit 14 performs identification of the product based on color, the identification, with reference to a table as shown in FIG. 9 carried out. この際、コーヒーフレッシュ22のように課金外のものは、精算対象から除外する。 In this case, of those charged outside as coffee fresh 22, excluded from the settlement target. なお、図9に示す商品とその価格とは、別途テーブルとして精算部1 Incidentally, and its price items shown in FIG. 9, settlement section 1 as a separate table
5に持っておくか、図9のテーブルに価格も含めておく。 5 to either leave have, in advance, including the price in the table of FIG. 9.

【0035】なお、トレイ20上に商品が接触している状態で載置されていた場合であっても、商品の高さが異なれば高さ認識部13aで別個の商品として分離され、 [0035] Even when the item into the tray 20 on had been placed in a state of being in contact, it is separated as a separate product at a height recognition unit 13a Different height of the product,
色が異なっていれば色認識部13cで別個の商品として分離される。 It is isolated as a separate product the color recognizing unit 13c if different colors. また、高さ、色が同じであっても、形状認識部13bで商品の大きさを認識しているため、別個の商品としての認識は可能である。 The height, even the color is the same, because it recognizes the size of the product in the shape recognizing section 13b, it is possible recognition as a separate product. ただし、商品が垂直方向に重ねられていた場合にはこの限りではない。 However, this does not apply if the goods have been stacked in a vertical direction.

【0036】次に、料金精算装置10を利用した料金精算の流れを説明する。 [0036] Next, the flow of fee settlement using the charge settlement device 10. 図10は、料金精算の流れを示した図である。 Figure 10 is a diagram showing the flow of fee settlement.

【0037】まず、利用客が任意の商品をトレイ20上に載置し、このトレイ20を料金精算装置10の所定の位置にセットする(ステップ301)。 Firstly, patron placed any items on the tray 20, sets the tray 20 at a predetermined position of the fee settlement device 10 (step 301). すると、料金精算装置10が商品を撮像して得た画像から商品を認識し(ステップ302)、認識不能な商品が存在した場合には不明物を問い合わせる表示を行う(ステップ30 Then, rates settlement device 10 recognizes the merchandise from the image obtained by imaging the item (step 302), if the unrecognizable products exist performs display for inquiring the unknown product (Step 30
3)。 3). これを受けて、店員が商品を視認し、不明商品の種別を選択する操作を行う(ステップ304)。 In response to this, the clerk is viewing the goods, performs an operation to select the type of the unknown commodity (step 304). なお、 It should be noted that,
料金精算装置10が全ての商品を認識した場合には、ステップ303および304の処理は省略される。 Rates settlement device 10 when recognizing all products, the processing of steps 303 and 304 are omitted.

【0038】料金精算装置10が全ての商品を認識した場合、または、店員により不明商品を選択する操作が為されると、料金精算装置10は、金額を表示し(ステップ305)、店員により確認の意味としての「OKキー」の押下が為されると(ステップ306)、POSシステム等へ精算データが入力され(ステップ307)、 [0038] If the charge settlement device 10 recognizes all of the goods, or, when an operation of selecting an unknown commodity by the clerk is made, the fee settlement device 10 displays the amount of money (step 305), confirmed by the clerk When depression of the "OK key" as meaning the is made (step 306), the adjustment data is input to the POS system or the like (step 307),
精算処理が終了となる。 Settlement process is completed.

【0039】続いて、料金精算装置10の動作の流れを説明する。 [0039] Next, an operation flow of the charge settlement device 10. 図11は、料金精算装置10の動作の流れを示すフローチャートである。 Figure 11 is a flowchart showing a flow of operations of the fee settlement device 10.

【0040】料金精算装置10は、所定の位置にトレイ20がセットされると動作を開始し、撮像部11−1、 The rates settlement device 10 starts operation and the tray 20 to a predetermined position is set, the imaging unit 11-1,
11−2が撮像を行い、トレイ20および載置された商品の画像を取得する(ステップ401)。 11-2 performs imaging, acquires the tray 20 and placed on the product image (step 401). 続いて、取得した画像(2枚)を記憶部12に記憶し、認識部13が記憶部12に記憶されている2枚の画像から距離画像を生成し(ステップ402)、これに基づいて、商品の画像領域を抽出する(ステップ403)。 Then, store the acquired images (two) in the storage unit 12, recognition unit 13 generates a distance image from two images stored in the storage unit 12 (step 402), and based on this, extracting an image area of ​​the product (step 403). 認識部13が領域を抽出すると、識別部14が商品の識別を行う(ステップ404)。 When recognizing unit 13 extracts an area, the identification unit 14 performs identification of the product (step 404).

【0041】次に、識別部14の識別結果に基づいて精算部15が料金の精算を行うが、当該識別結果に不明商品が存在していた場合には(ステップ405でYE Next, the settlement unit 15 performs the settlement of the fee based on the identification result of the identification portion 14, when on the identification result is unknown item was present YE in (step 405
S)、精算部15は、表示部16に不明商品に関するデータの入力を促す表示を行い(ステップ406)、店員による入力部17からのデータ入力を待つ(ステップ4 S), the settlement unit 15, performs a display that prompts you to enter the data about the unknown items on the display unit 16 (step 406), and waits for data input from the input unit 17 by the clerk (step 4
07でNO)。 NO 07).

【0042】この後、店員によりデータの入力があった場合(ステップ407でYES)、または、識別部14 [0042] Thereafter, when the input of data by the clerk (YES at step 407), or, the identification unit 14
の識別結果に不明商品が存在しなかった場合には(ステップ405でNO)、精算部15は、表示部16に全商品の金額を表示し、店員により確認の意味としての「O "O of when the identification result to the unknown item is not present (NO in step 405), settlement unit 15 displays the amount of all items on the display unit 16, as the meaning of the confirmation by the clerk
Kキー」の入力を待つ(ステップ409でNO)。 Wait for the input of the K key "(NO in step 409).

【0043】続いて、店員により入力部17に「OKキー」の入力があると(ステップ409でYES)、精算部15は、データ転送部18から精算データをPOSシステム等に転送し(ステップ410)、処理を終了する。 [0043] Subsequently, when the input unit 17 by the clerk has entered a "OK key" (YES in step 409), settlement unit 15 transferred from the data transfer unit 18 the adjustment data to the POS system or the like (step 410 ), the process is terminated.

【0044】なお、上述の説明では、精算対象の商品をファーストフードとして説明したが、対象商品は、ファーストフードに限らず、カフェテリア形式のようなセルフピッキング方式で販売する商品の精算に適用することができる。 [0044] In the above description, has been described of the settlement subject merchandise as fast food, the subject goods is not limited to fast food, it is applied to the settlement of the commodity to be sold in a self-picking system, such as the cafeteria format can.

【0045】 [0045]

【発明の効果】以上説明したように、この発明によれば、商品の高さや形状、色等に基づいて商品を直接識別して精算を行うように構成したので、自動精算用の皿やタグなどを準備することなく精算を自動化することが可能となり、効率よく商品の販売を行うことができる。 As described in the foregoing, according to the present invention, the height and shape of the product, since it is configured to perform settlement by identifying the item directly based on the color or the like, plates and tags for automated checkout it is possible to automate the settlement without preparing, etc., can be efficiently carried out the sale of goods.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】この発明に係る料金精算装置の外観を示した図である。 1 is a diagram showing the appearance of the fee settlement device according to the present invention.

【図2】料金精算装置10の構成を示すブロック図である。 2 is a block diagram showing the configuration of a fee settlement device 10.

【図3】高さ情報を取得方法を説明するための図(1) [Figure 3] for explaining a method of obtaining the height information Figure (1)
である。 It is.

【図4】高さ情報を取得方法を説明するための図(2) [Figure 4] for explaining a method of obtaining the height information Fig (2)
である。 It is.

【図5】コスト関数の対応付けを示した図である。 5 is a diagram showing the correspondence of the cost function.

【図6】2枚の左右画像に対して対応付けを行うための条件を説明するための図である。 6 is a diagram for explaining a condition for performing association against two left and right images.

【図7】距離精度の向上方法を説明するための図である。 7 is a diagram for explaining a distance accuracy method.

【図8】距離画像を示した図である。 8 is a diagram showing a distance image.

【図9】商品識別テーブルを示した図である。 FIG. 9 is a diagram showing the product identification table.

【図10】料金精算の流れを示した図である。 FIG. 10 is a diagram showing the flow of fee settlement.

【図11】料金精算装置10の動作の流れを示すフローチャートである。 11 is a flowchart showing a flow of operations of the fee settlement device 10.

【符号の説明】 DESCRIPTION OF SYMBOLS

10 料金精算装置 11−1、11−2 撮像部 12 記憶部 13 認識部 13a 高さ認識部 13b 形状認識部 13c 色認識部 14 識別部 15 精算部 16 表示部 17 入力部 18 データ転送部 20 トレイ 21 コップ 22 コーヒーフレッシュ 23 ハンバーガー 24 ダブルバーガー 25 アップルパイ 26 チキン 27 ポテト 101−1、101−2 カメラ 102−1、102−2 光源 10 Rate settlement device 11-1 and 11-2 imaging unit 12 storage unit 13 the recognition unit 13a height recognizing section 13b shape recognizing unit 13c color recognition unit 14 identifies portion 15 settlement unit 16 display unit 17 input unit 18 the data transfer unit 20 tray 21 cups 22 coffee fresh 23 hamburger 24 double burger 25 Apple pie 26 chicken 27 potato 101-1, 101-2, 102-1, 102-2 camera light source

───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 3E042 AA04 BA17 CC10 5B057 AA02 BA19 CA01 CA12 CA16 CB01 CB12 CB16 CE08 CE09 DB02 DB06 DC09 5L096 AA02 CA02 EA27 EA35 FA66 FA69 ────────────────────────────────────────────────── ─── front page of continued F-term (reference) 3E042 AA04 BA17 CC10 5B057 AA02 BA19 CA01 CA12 CA16 CB01 CB12 CB16 CE08 CE09 DB02 DB06 DC09 5L096 AA02 CA02 EA27 EA35 FA66 FA69

Claims (6)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 トレイ上に載置された商品を識別し、該識別した商品の精算を行う料金精算方法において、 所定の間隔で配設された第1の撮像手段および第2の撮像手段によりトレイ上に載置された商品の画像をそれぞれ取得し、 前記第1の撮像手段により取得された第1の画像と前記第2の撮像手段により取得された第2の画像とに基づいて前記商品の高さ情報を取得し、 前記第1の画像と前記第2の画像の少なくとも一方に基づいて前記商品の形状情報と色情報とを算出し、 該算出した高さ情報、形状情報、色情報に基づいて商品を識別して料金を精算することを特徴とする料金精算方法。 [Claim 1] identifies the placed item on the tray, the fee settlement method for performing settlement of the products that the identified, by the first imaging means and second imaging means arranged at a predetermined interval the placed image of the commodity on the tray respectively acquired, on the basis of the said second image acquired by the first image and the second image pickup means which is acquired by the first imaging means product height information acquired in the first image and the based on at least one of the second image to calculate the shape information and color information of the product, the calculated height information issued, shape information, the color information rates settlement method characterized by checking out the price to identify the product based on.
  2. 【請求項2】 前記識別は、 前記高さ情報に基づいて、前記第1の画像と前記第2の画像の少なくとも一方から所定の高さの商品のみを示す複数の距離画像を作成し、該作成した複数の距離画像のそれぞれに対して形状情報、色情報を算出して行うことを特徴とする請求項1記載の料金精算方法。 Wherein said identification, on the basis of height information, creating a plurality of range images showing only items of a predetermined height from at least one of the first image and the second image, the shape information for each of the plurality of range images created, rates settlement method according to claim 1, characterized in that to calculate the color information.
  3. 【請求項3】 前記形状情報は、 前記商品の大きさを示す情報を含むことを特徴とする請求項1または2記載の料金精算方法。 Wherein the shape information, rates settlement method according to claim 1, wherein it contains information that indicates the size of the product.
  4. 【請求項4】 トレイ上に載置された商品を識別し、該識別した商品の精算を行う料金精算装置において、 所定の間隔で配設された第1の撮像手段および第2の撮像手段と、 前記第1の撮像手段により取得された第1の画像と前記第2の撮像手段により取得された第2の画像とに基づいて前記商品の高さ情報を取得する高さ認識手段と、 前記第1の画像と前記第2の画像の少なくとも一方に基づいて前記商品の形状情報を取得する形状認識手段と、 前記第1の画像と前記第2の画像の少なくとも一方に基づいて前記商品の色情報を取得する色認識手段と、 前記高さ認識手段が取得した高さ情報、前記形状認識手段が取得した形状情報、前記色認識手段が取得した色情報に基づいて商品を識別する商品識別手段とを具備することを特徴とする 4. Identify the placed item on the tray, the fee settlement apparatus that performs settlement of goods that the identification, in the first imaging means and second imaging means arranged at a predetermined interval , the height recognition means for obtaining the height information of the commodity based on the second image acquired by the first image the second image pickup device obtained by the first imaging means, the a shape recognition means for obtaining shape information of said product based on at least one of the first image and the second image, the first image and the second color of the product based on at least one of the image a color recognition means for obtaining information, height information the height recognition means obtained, said shape recognition means acquired shape information, product identification means for identifying the items based on the color information and the color recognition means obtains characterized by comprising a preparative 金精算装置。 Gold settlement device.
  5. 【請求項5】 前記高さ認識手段は、 取得した高さ情報に基づいて、前記第1の画像と前記第2の画像の少なくとも一方から所定の高さの商品のみを示す複数の距離画像を生成し、 前記形状認識手段および前記色認識手段は、 前記高さ認識手段が生成した複数の距離画像毎に、それぞれ形状情報と色情報とを取得することを特徴とする請求項4記載の料金精算装置。 Wherein said height recognition means, based on the obtained height information, a plurality of range images showing only items of a predetermined height from at least one of the first image and the second image generated, said shape recognition means and said color recognizer rates of claim 4, characterized in that the height recognition means for each of the plurality of range images generated, acquires the shape information and color information, respectively settlement device.
  6. 【請求項6】 前記形状認識手段は、 取得する形状情報に前記商品の大きさを示す情報を含むことを特徴とする請求項4または5記載の料金精算装置。 Wherein said shape recognition means, rates settlement apparatus according to claim 4 or 5, wherein it contains information indicating the size of the item into the shape information acquired.
JP2000026164A 2000-02-03 2000-02-03 Method and device for adjusting charge Pending JP2001216571A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000026164A JP2001216571A (en) 2000-02-03 2000-02-03 Method and device for adjusting charge

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000026164A JP2001216571A (en) 2000-02-03 2000-02-03 Method and device for adjusting charge

Publications (1)

Publication Number Publication Date
JP2001216571A true JP2001216571A (en) 2001-08-10

Family

ID=18551928

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000026164A Pending JP2001216571A (en) 2000-02-03 2000-02-03 Method and device for adjusting charge

Country Status (1)

Country Link
JP (1) JP2001216571A (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7845554B2 (en) 2000-10-30 2010-12-07 Fujitsu Frontech North America, Inc. Self-checkout method and apparatus
JP2012205015A (en) * 2011-03-24 2012-10-22 Casio Comput Co Ltd Image processor and image processing method, and program
JP2013030202A (en) * 2012-11-05 2013-02-07 Toshiba Tec Corp Store system and program
CN103116952A (en) * 2013-01-25 2013-05-22 大连壹鑫通科技发展有限公司 Intelligent catering settlement system based on internet of things technology application
CN103208156A (en) * 2013-02-06 2013-07-17 浙江科技学院 Automatic catering settlement system and automatic catering settlement method
CN103646475A (en) * 2013-11-14 2014-03-19 成都博约创信科技有限责任公司 Cashier system integrating image identification and label identification
JP2014092960A (en) * 2012-11-05 2014-05-19 Toshiba Tec Corp Commodity recognition device and commodity recognition program
CN104269003A (en) * 2014-09-12 2015-01-07 李龙龙 Food recognition method, device and system
JP2015194791A (en) * 2014-03-31 2015-11-05 日本電気株式会社 Pos terminal equipment
US9269005B2 (en) 2012-11-15 2016-02-23 Toshiba Tec Kabushiki Kaisha Commodity recognition apparatus and commodity recognition method
JPWO2015125478A1 (en) * 2014-02-24 2017-03-30 日本電気株式会社 Object detection device, POS terminal device, object detection method, and computer program
US10061490B2 (en) 2013-07-12 2018-08-28 Toshiba Tec Kabushiki Kaisha Commodity recognition apparatus and commodity recognition method

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7845554B2 (en) 2000-10-30 2010-12-07 Fujitsu Frontech North America, Inc. Self-checkout method and apparatus
JP2012205015A (en) * 2011-03-24 2012-10-22 Casio Comput Co Ltd Image processor and image processing method, and program
JP2013030202A (en) * 2012-11-05 2013-02-07 Toshiba Tec Corp Store system and program
JP2014092960A (en) * 2012-11-05 2014-05-19 Toshiba Tec Corp Commodity recognition device and commodity recognition program
US9269005B2 (en) 2012-11-15 2016-02-23 Toshiba Tec Kabushiki Kaisha Commodity recognition apparatus and commodity recognition method
CN103116952A (en) * 2013-01-25 2013-05-22 大连壹鑫通科技发展有限公司 Intelligent catering settlement system based on internet of things technology application
CN103208156A (en) * 2013-02-06 2013-07-17 浙江科技学院 Automatic catering settlement system and automatic catering settlement method
US10061490B2 (en) 2013-07-12 2018-08-28 Toshiba Tec Kabushiki Kaisha Commodity recognition apparatus and commodity recognition method
CN103646475A (en) * 2013-11-14 2014-03-19 成都博约创信科技有限责任公司 Cashier system integrating image identification and label identification
JPWO2015125478A1 (en) * 2014-02-24 2017-03-30 日本電気株式会社 Object detection device, POS terminal device, object detection method, and computer program
JP2015194791A (en) * 2014-03-31 2015-11-05 日本電気株式会社 Pos terminal equipment
CN104269003A (en) * 2014-09-12 2015-01-07 李龙龙 Food recognition method, device and system

Similar Documents

Publication Publication Date Title
US5546475A (en) Produce recognition system
US8104680B2 (en) Method and apparatus for auditing transaction activity in retail and other environments using visual recognition
JP5336449B2 (en) Self-shopping support to acquire content from electronic shelf labels (ESL)
CN101159084B (en) Self-checkout terminals
US6592033B2 (en) Item recognition method and apparatus
JP2004535030A (en) Automatic clearing system
US7646887B2 (en) Optical flow for object recognition
US9135491B2 (en) Digital point-of-sale analyzer
US20160110703A1 (en) Method, product, and system for identifying items for transactions
DE60102721T2 (en) Customer-operated goods acquisition and billing facility for supermarkets
US8494909B2 (en) Automatic learning in a merchandise checkout system with visual recognition
US8430311B2 (en) Systems and methods for merchandise automatic checkout
US5883968A (en) System and methods for preventing fraud in retail environments, including the detection of empty and non-empty shopping carts
WO2010016281A1 (en) Search support system, search support method, and search support program
US20150039458A1 (en) Method and system for automated retail checkout using context recognition
JP3704499B2 (en) Automatic merchandise clearing system, merchandise clearing device, and merchandise cart
JP2014531636A (en) Method and mechanism for identifying an object
US8196822B2 (en) Self checkout with visual recognition
CN100595802C (en) RFID tag recognition apparatus and method and article sales data processing apparatus
JP5194149B2 (en) Store system and program
US9600982B2 (en) Methods and arrangements for identifying objects
US5497314A (en) Automated apparatus and method for object recognition at checkout counters
US7319990B1 (en) Produce identification and pricing system for checkouts
US7229015B2 (en) Self-checkout system
US20130223673A1 (en) Methods and arrangements for identifying objects

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090428

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090915