CN109300263A - 基于卷积神经网络的图像识别技术的结算方法和装置 - Google Patents
基于卷积神经网络的图像识别技术的结算方法和装置 Download PDFInfo
- Publication number
- CN109300263A CN109300263A CN201711008973.XA CN201711008973A CN109300263A CN 109300263 A CN109300263 A CN 109300263A CN 201711008973 A CN201711008973 A CN 201711008973A CN 109300263 A CN109300263 A CN 109300263A
- Authority
- CN
- China
- Prior art keywords
- commodity
- result
- picture
- model
- shooting angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 34
- 238000012417 linear regression Methods 0.000 claims abstract description 57
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 238000013145 classification model Methods 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 21
- 235000013399 edible fruits Nutrition 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 8
- 230000001537 neural effect Effects 0.000 claims description 4
- 238000012790 confirmation Methods 0.000 abstract description 2
- 229910052500 inorganic mineral Inorganic materials 0.000 description 6
- 239000011707 mineral Substances 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 244000088401 Pyrus pyrifolia Species 0.000 description 4
- 235000001630 Pyrus pyrifolia var culta Nutrition 0.000 description 4
- 235000011572 Pyrus ussuriensis Nutrition 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- JLQUFIHWVLZVTJ-UHFFFAOYSA-N carbosulfan Chemical compound CCCCN(CCCC)SN(C)C(=O)OC1=CC=CC2=C1OC(C)(C)C2 JLQUFIHWVLZVTJ-UHFFFAOYSA-N 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 241000353135 Psenopsis anomala Species 0.000 description 1
- CZMRCDWAGMRECN-UGDNZRGBSA-N Sucrose Chemical compound O[C@H]1[C@H](O)[C@@H](CO)O[C@@]1(CO)O[C@@H]1[C@H](O)[C@@H](O)[C@H](O)[C@@H](CO)O1 CZMRCDWAGMRECN-UGDNZRGBSA-N 0.000 description 1
- 229930006000 Sucrose Natural products 0.000 description 1
- 239000003513 alkali Substances 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 235000013312 flour Nutrition 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Accounting & Taxation (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Finance (AREA)
- Databases & Information Systems (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Signal Processing (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Image Analysis (AREA)
- Cash Registers Or Receiving Machines (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种基于卷积神经网络的图像识别技术的结算方法和装置,方法包括采集放置在结算台上的待分类的M个商品的N张图片,与N张图片对应的N个拍摄角度中至少有一个正上方向下进行拍照的拍摄角度;先对正上方向下采集的图片进行目标检测以获取第一矩形区域图像,再根据该图像数量对剩余图片分别进行目标检测以获取剩余矩形区域图像,根据第一及剩余矩形区域图像和预先训练的一级分类模型获取初级分类结果,根据初级分类结果和预先训练的一级线性回归模型获取一级分类结果;根据以一级分类结果作为的第一次分类结果进行结算。装置包括采集装置、目标检测装置、第一分类装置、确认装置和结算装置。本发明能准确识别商品,便于自助结算。
Description
技术领域
本发明属于图像识别技术领域,特别涉及一种基于卷积神经网络的图像识别技术的结算方法和装置。
背景技术
顾客在超市、餐厅等购物场所看到自己喜欢或需要的商品时,需在结算台进行结算才能得到。
现有技术中,常用的结算方法有两种:第一种是基于条形码的结算方法,该方法是通过扫描商品上的条形码的方式识别商品,然后对识别的商品进行结算,扫描操作由收银员完成或者顾客自助完成。该方法具有如下缺陷:扫描比较麻烦、费人工、对操作有一定的要求,而且一般每次只能扫描一件商品,不能同时扫多件商品、效率低。第二种是基于RFID的结算方法,该方法是在商品上贴一个不需要电池的射频小模块,当该商品通过结算台时,结算台会向该商品发射无线信号,该射频小模块接收到该信号之后会回馈一个信号给结算台,该回馈信号中带有商品的ID信息,然后据此进行结算。该方法具有如下缺陷:需要在每件商品上贴射频小模块、比较麻烦,而且如果射频小模块从商品上掉落,无论自然掉落还是人为撕掉,都会给商家造成损失。此外,当商品为金属商品时,在其上贴附RFID,可能会存在信号被屏蔽问题。
发明内容
为了至少解决现有技术中存在的问题,本发明一方面提供了一种基于卷积神经网络的图像识别技术的结算方法,其包括:采集步骤,采集放置在结算台上的待分类的M个商品的N张图片,N张所述图片与N个拍摄角度一一对应,N个拍摄角度中至少有一个第一拍摄角度,所述第一拍摄角度为从M个商品的正上方向下对M个商品进行拍照的拍摄角度;目标检测步骤,先对在所述第一拍摄角度下采集的图片进行目标检测以获取与M个商品一一对应的M个第一矩形区域图像,再根据所述第一矩形区域图像的数量对N张所述图片中剩余的图片分别进行目标检测以在每张图片中获取与M个商品一一对应的M个剩余矩形区域图像;第一分类步骤,根据所述第一矩形区域图像、所述剩余矩形区域图像和预先训练的一级分类模型,获取与每个商品对应的N个初级分类结果,所述一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型,根据与每个商品对应的N个所述初级分类结果和预先训练的一级线性回归模型获取与每个商品对应的一级分类结果;确认步骤,以与每个商品对应的所述一级分类结果作为每个商品的第一次分类结果;结算步骤,根据每个商品的所述第一次分类结果对M个商品进行结算;其中,M、N为大于等于2的自然数。
在如上所述的结算方法中,优选地,在第一分类步骤之后,确认步骤之前,所述结算方法还包括:第二分类步骤,若所述一级分类结果为相似商品,则根据与所述相似商品对应的所述第一矩形区域图像、所述剩余矩形区域图像和预先训练的二级分类模型,获得与所述相似商品对应的N个次级分类结果,再根据N个所述次级分类结果和预先训练的二级线性回归模型获取与所述相似商品对应的二级分类结果,并以所述二级分类结果作为所述相似商品的第一次分类结果,所述二级分类模型为预先基于卷积神经网络的图像识别技术架构且经购物场所内相似商品训练的模型,否则执行确认步骤。
在如上所述的结算方法中,优选地,在确认步骤之后,结算步骤之前,所述结算方法还包括:根据与每个商品对应的第一矩形区域图像、剩余矩形区域图像和与每个商品的所述第一次分类结果对应的预先训练的支持向量机模型,判断图片中的商品是否与所述第一次分类结果一致,若一致则执行结算步骤,否则提醒顾客商品无库存。
在如上所述的结算方法中,优选地,在待分类的M个商品的正上方布置1个摄像头,以从正上方向下对M个所述商品进行拍照来采集图片;在待分类的M个所述商品的四周布置4个摄像头,以从斜下方向上对M个所述商品进行拍照来采集图片。
本发明另一方面提供了一种基于卷积神经网络的图像识别技术的结算装置,其包括:采集装置,用于采集放置在结算台上的待分类的M个商品的N张图片,N张所述图片与N个拍摄角度一一对应,N个拍摄角度中至少有一个第一拍摄角度,所述第一拍摄角度为从M个商品的正上方向下对M个商品进行拍照的拍摄角度;目标检测装置,用于先对在所述第一拍摄角度下采集的图片进行目标检测以获取与M个商品一一对应的M个第一矩形区域图像,再根据所述第一矩形区域图像的数量对N张所述图片中剩余的图片分别进行目标检测以在每张图片中获取与M个商品一一对应的M个剩余矩形区域图像;第一分类装置,根据所述第一矩形区域图像、所述剩余矩形区域图像和预先训练的一级分类模型,获取与每个商品对应的N个初级分类结果,所述一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型,根据与每个商品对应的N个所述初级分类结果和预先训练的一级线性回归模型获取与每个商品对应的一级分类结果;确认装置,用于以与每个商品对应的所述一级分类结果作为每个商品的第一次分类结果;和结算装置,用于根据每个商品的所述第一次分类结果对M个商品进行结算;其中,M、N为大于等于2的自然数。
在如上所述的结算装置中,优选地,所述结算装置还包括:第二分类装置,若所述一级分类结果为相似商品,则根据与所述相似商品对应的所述第一矩形区域图像、所述剩余矩形区域图像和预先训练的二级分类模型,获得与所述相似商品对应的N个次级分类结果,再根据N个所述次级分类结果和预先训练的二级线性回归模型获取与所述相似商品对应的二级分类结果,并以所述二级分类结果作为所述相似商品的第一次分类结果,所述二级分类模型为预先基于卷积神经网络的图像识别技术架构且经购物场所内相似商品训练的模型;对应地,所述结算装置在所述一级分类结果为相似商品时,根据所述第二分类装置获取的二级分类结果进行结算,否则根据所述第一分类装置获取的一级分类结果进行结算。
在如上所述的结算装置中,优选地,所述结算装置还包括:判断装置,用于根据与每个商品对应的第一矩形区域图像、剩余矩形区域图像和与每个商品的所述第一次分类结果对应的预先训练的支持向量机模型,判断图片中的商品是否与第一次分类结果一致;和选择装置,若一致调用所述结算装置,否则提醒顾客商品无库存。
在如上所述的结算装置中,优选地,所述采集装置为摄像头,在待分类的M个商品的正上方布置1个摄像头,以从正上方向下对M个所述商品进行拍照来采集图片;在待分类的M商品的四周布置4个摄像头,以从斜下方向上对M个所述商品进行拍照来采集图片。
本发明有一方面提供了一种基于卷积神经网络的图像识别技术的结算装置,其包括:N个摄像头,用于采集放置在结算台上的待分类的M个商品的N张图片,N张所述图片与N个拍摄角度一一对应,N个拍摄角度中至少有一个第一拍摄角度,所述第一拍摄角度为从M个商品的正上方向下对M个商品进行拍照的拍摄角度;处理器;用于存储处理器可执行的指令的存储器;其中,所述处理器被配置为:先对在所述第一拍摄角度下采集的图片进行目标检测以获取与M个商品一一对应的M个第一矩形区域图像,再根据所述第一矩形区域图像的数量对N张所述图片中剩余的图片分别进行目标检测以在每张图片中获取与M个商品一一对应的M个剩余矩形区域图像;根据所述第一矩形区域图像、所述剩余矩形区域图像和预先训练的一级分类模型,获取与每个商品对应的N个初级分类结果,所述一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型,根据与每个商品对应的N个所述初级分类结果和预先训练的一级线性回归模型获取与每个商品对应的一级分类结果;以与每个商品对应的所述一级分类结果作为每个商品的第一次分类结果;根据每个商品的所述第一次分类结果对M个商品进行结算;其中,M、N为大于等于2的自然数。
在如上所述的结算装置中,优选地,所述处理器还被配置为:若所述一级分类结果为相似商品,则根据与所述相似商品对应的所述第一矩形区域图像、所述剩余矩形区域图像和预先训练的二级分类模型,获得与所述相似商品对应的N个次级分类结果,再根据N个所述次级分类结果和预先训练的二级线性回归模型获取与所述相似商品对应的二级分类结果,并以所述二级分类结果作为所述相似商品的第一次分类结果,所述二级分类模型为预先基于卷积神经网络的图像识别技术架构且经购物场所内相似商品训练的模型,否则以所述一级分类结果作为第一次分类结果。
本发明实施例通过上述技术方案带来的有益效果如下:
能准确识别商品,便于自助结算。
附图说明
图1为本发明一实施例提供的一种基于卷积神经网络的图像识别技术的结算方法的流程示意图;
图2为本发明另一实施例提供的一种基于卷积神经网络的图像识别技术的结算方法的流程示意图;
图3为本发明又一实施例提供的一种基于卷积神经网络的图像识别技术的结算方法的流程示意图;
图4为本发明实施例提供的一种基于卷积神经网络的图像识别技术的结算装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
为了提高结算效率,本发明实施例尤其适用于顾客将M个商品放置在结算台的应用场景,M为大于等于2的自然数。
参见图1,本发明一实施例提供一种基于卷积神经网络的图像识别技术的结算方法,其包括:
采集步骤101,采集放置在结算台上的待分类的M个商品的N张图片,N张图片与N个拍摄角度一一对应,N个拍摄角度中至少有一个第一拍摄角度,第一拍摄角度为从M个商品的正上方向下对M个商品进行拍照的拍摄角度,N为大于等于2的自然数。
目标检测步骤102,先对在第一拍摄角度下采集的图片进行目标检测以获取与M个商品一一对应的M个第一矩形区域图像,第一矩形区域图像为包含商品的矩形区域图像,再根据第一矩形区域图像的数量对N张图片中剩余的图片分别进行目标检测以在每张图片中获取与M个商品一一对应的M个剩余矩形区域图像,剩余矩形区域图像为包含商品的矩形区域图像。
第一分类步骤103,根据第一矩形区域图像、剩余矩形区域图像和预先训练的一级分类模型,获取与每个商品对应的N个初级分类结果,一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型,根据与每个商品对应的N个初级分类结果和预先训练的一级线性回归模型获取与每个商品对应的一级分类结果。
确认步骤104,以与每个商品对应的一级分类结果作为每个商品的第一次分类结果。
结算步骤105,根据每个商品的第一次分类结果对M个商品进行结算。
综上,通过在多个拍摄角度下对多个商品进行图片采集,然后利用第一拍摄角度下的图片确定商品的数量,并获取第一矩形区域图像,根据该数量在多张图片中剩余的图片分别进行目标检测以在每张图片中获取同数量的剩余矩形区域图像,利用一级分类模型对多个第一矩形区域图像进行处理,获得每个商品的一个分类结果,利用一级分类模型对多个图片中剩余图片的每张图片的多个剩余矩形区域图形进行处理,获取每个商品的一些分类结果,该分类结果的数量与前述分类结果的数量(即一个)之和与图片的数量相同,然后对每个商品的多个分类结果进行数据融合以输出一个最终的结果,即利用线性回归模型进行处理,得到该商品为哪个商品,对应地,得到多个商品分别为哪个商品,从而提高了结算效率,还提高了商品识别的准确率。
参见图2,本发明另一实施例提供了一种基于卷积神经网络的图像识别技术的结算方法,该方法包括以下步骤:
步骤201,采集放置在结算台上的待分类的M个商品的N张图片,N张图片与N个拍摄角度一一对应,N个拍摄角度中至少有一个第一拍摄角度,第一拍摄角度为从M个商品的正上方向下对M个商品进行拍照的拍摄角度。
在该步骤中,从某一拍摄角度对该商品进行拍照,可以采集一张图片。由于一个拍摄角度与一张图片相对应,变换不同的拍摄角度,从而可以采集与不同的拍摄角度对应的图片。当拍摄角度的数量为N个时,即可采集N张图片,如此能够确保捕捉到用于识别商品的关键信息,该关键信息是指商品外观上对商品识别(或称分类)起重要作用的信息,例如商品为矿泉水时,矿泉水的种类有很多,区分不同种类的矿泉水主要是依靠矿泉水瓶上贴的一圈塑料纸上的图案,该图案即为矿泉水的关键信息。
在结算台上按照形成N个拍摄角度的方式布置N个摄像头,N可以为5、4或6,摄像头的数量与图片的张数相同。为了准确的识别M个商品,N个拍摄角度中至少有一个从M个商品的正上方向下对M个商品进行拍照的拍摄角度,该拍摄角度称为第一拍摄角度,即在M个商品的正上方布置1个摄像头,从正上方向下对M个商品进行拍照。当摄像头的数量N为5个时,其他4个摄像头可以是在待分类的M个商品的四周均匀布置,都从斜下方向上对M个商品进行拍照;也可以是,在待分类的商品的四周均匀布置4个摄像头,其中两个摄像头从斜向下对M个商品进行拍照,另外2个摄像头从斜下方向上对商品进行拍照,本实施例不对摄像头的数量和布置方式进行限定。通常,摄像头的数量越多,则采集的图片数量越多,所有图片上含有的商品的信息也越多,如此有利于商品的分类,但这样会增大硬件的复杂度,增大运算量,所以可以根据实际情况来选择摄像头的数量。
需要说明的是,本文中的拍摄角度可以指拍摄方向一个因素,也可以指拍摄方向和拍摄距离两个因素,还可以指其他因素或其他数量的因素,本实施例对此不进行限定。
采集动作(或称拍照动作)可以由结算台上布置的秤触发,如秤为具有压力传感器的秤,根据秤感应到的重量的变化来决定是否触发拍摄。当秤感受到重量发生了变化、并且该变化已经稳定下来时,如在预设时间(即以重量发生变化时刻为初始时刻,以初始时刻+预设时间为结束时刻的时间段)内重量没有再发生变化,则摄像头去开始拍照,这样能够保证拍到符合要求的图片,就是顾客把商品放上去以后,拍到这个时刻的图片。在其他的实施例中,摄像头拍照动作的触发可以采用图形识别、计算机视觉的技术手段,摄像头首先对放置商品的区域持续观察和拍摄,比如当发现顾客的手伸进来、放下一个商品、再把手拿开,当从视频中捕捉到这样一个动作,即商品的放置动作,记录下初始时刻,在预设时间(即以捕捉到该动作时刻为初始时刻,以初始时刻+预设时间为结束时刻的时间段)内从视频中再没有捕捉到这样一个动作,则去下拍照的指令,即触发摄像头进行拍照。
步骤202,先对在第一拍摄角度下采集的图片进行目标检测以获取与M个商品一一对应的M个第一矩形区域图像,再根据第一矩形区域图像的数量对N张图片中剩余的图片分别进行目标检测以在每张图片中获取与M个商品一一对应的M个剩余矩形区域图像。
具体地,先对第一拍摄角度下采集的图片进行目标检测,目标检测时,会在该张图片上拉出包含商品的M个矩形框(或称矩形区域),每个矩形框包含一个商品,该矩形框所对应的图像(或称第一矩形区域图像)是用于对商品进行分类的图像,输出至步骤203,矩形框的数量与待分类的商品的数量相同。由于没有遮挡,在从M个商品的正上方向下进行拍照而采集的图片中能准确地确定放置在结算台上待分类的商品的数量,根据此数量,再对在其他拍摄角度下采集的每张图片进行目标检测,目标检测时,在其他拍摄角度下的每张图片上拉出与商品数量相同的矩形框,每个矩形框也包含一个商品,该矩形框所对应的图像(或称剩余矩形区域图像)是用于对商品进行分类的图像,输出至步骤203。当商品数量M为4个,图片数量N为5张且第一拍摄角度下采集的图片为一张时,在从第一拍摄角度下采集的图片中获取了4个与包含商品的矩形区域对应的图像,则从剩余的4张图片中的每张图片获取4个与包含商品的矩形区域对应的图像。
步骤203,根据第一矩形区域图像、剩余矩形区域图像和预先训练的一级分类模型,获取与每个商品对应的N个初级分类结果,一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型。
具体地,采集数据建立数据集,采集数据的过程包括:1)对购物场所内所有商品从各个角度以及在各个姿态下拍照来获取大量的照片。2)然后对这些照片进行标注:对照片中商品的位置、大小以及类别进行标注。数据集包括的数据是指前述这些照片以及这些照片上进行的标注。一级分类模型为基于卷积神经网络的图像识别技术架构的模型,并使用购物场所内所有商品的数据对一级分类模型进行了训练,训练时可以通过梯度下降的方式进行。
训练好的一级分类模型对每张图片的M个第一矩形区域图像或M个剩余矩形区域图像中的商品进行分类,由于图片的张数为N,则得到与每个商品对应的N个初级分类结果,即初级分类结果的数量与图片的张数一致,该初级分类结果为一个O维向量,O表示购物场所内商品的总数量,向量中每个元素的含义表示一级分类模型认为待分类的该商品属于O个商品中每个商品的概率。当图片数量N为5张时,初级分类结果的数量为5个O维向量。
步骤204,根据与每个商品对应的N个初级分类结果和预先训练的一级线性回归模型获取每个商品对应的一级分类结果,若一级分类结果为相似商品,则执行下述步骤205,否则以与每个商品对应的一级分类结果作为每个商品的第一次分类结果。
具体地,将在步骤203中,训练一级分类模型时,一级分类模型输出的初级分类结果作为一级线性回归模型的输入,该初级分类结果对应的图片中所包含的商品的正确分类作为一级线性回归模型的输出,以此来训练一级线性回归模型。训练好的一级线性回归模型对每个商品的N个初级分类结果进行数据融合,得到与每个商品对应的一个一级分类结果,该一级分类结果表示一级线性回归模型预测图片中的某一个商品为购物场所内商品中哪个类别。
购物场所内的商品有多种,在该多种商品中会存在一些外观相近及通过视觉易混淆的商品,将这些商品称为相似商品,如黄元帅苹果和黄色的雪花梨。若待分类的单个商品为相似商品时,一级分类模型难以准确地对该商品进行分类,如把黄元帅的苹果与黄色的雪花梨弄混,将黄元帅的苹果分类为黄色的雪花梨,因此需要执行下述步骤205,否则直接将与每个商品对应的一级分类结果作为与每个商品对应的第一次分类结果,用于结算。
步骤205,根据与相似商品对应的第一矩形区域图像、剩余矩形区域图像和预先训练的二级分类模型,获得与相似商品对应的N个次级分类结果,再根据N个次级分类结果和预先训练的二级线性回归模型获取与相似商品对应的二级分类结果,并以二级分类结果作为相似商品的第一次分类结果,二级分类模型为预先基于卷积神经网络的图像识别技术架构且经购物场所内相似商品组中商品训练的模型。
具体地,利用在步骤203中建立的数据集中的相似商品的数据对二级分类模型进行训练,训练时可以通过梯度下降的方式进行。二级分类模型和一级分类模型的区别在于训练时所使用的数据不同,一级分类模型使用的数据为购物场所内所有商品的数据,二级分类模型使用的数据为购物场所内相似商品数据。
训练好的二级分类模型对与相似商品对应的第一矩形区域图像和剩余矩形区域图像中的商品进行分类,得到与相似商品对应的N个次级分类结果,该每个次级分类结果也为一个p维向量,向量中每个元素的含义表示二级分类模型认为待分类的商品属于p个相似商品中每个商品的概率。当图片数量N为5张时,次级分类结果的数量为5个p维向量,p小于等于O,且其表示购物场所内相似商品的总数量。
实际中,购物场所内的相似商品有多组,如一组相似商品中包括黄元帅苹果和黄色的雪花梨,另一组相似商品中包括散装的盐和散装的白糖;再一组相似商品中包括碱面和面粉。可以针对所有组相似商品训练一个二级分类模型,为了进一步提高对商品分类的准确率,针对每组相似商品训练一个二级分类模型,此时,若一级分类结果为相似商品,则调用该一级分类结果对应的二级分类模型。
将训练二级分类模型时,二级分类模型输出的次级分类结果作为二级线性回归模型的输入,该次级分类结果对应的图片中所包含的商品的正确分类作为二级线性回归模型的输出,以此来训练二级线性回归模型。训练好的二级线性回归模型对与相似商品对应的N个次级分类结果进行数据融合,得到一个二级分类结果,并以其作为相似商品的第一次分类结果,该二级分类结果表示二级线性回归模型预测图片中商品为购物场所内商品中哪个类别。
步骤206,根据每个商品的第一次分类结果对M个商品进行结算。
第一次分类结果获取后,再获取与第一次分类结果对应的商品价格,继而获取了放置在结算台上的M个商品的商品价格,则顾客为放置在结算台上的M个商品所需支付的费用就确定了,可以通过结算台上的显示器显示商品名称、商品价格、支付费用,还可以通过语音将商品名称提示给顾客。顾客支付费用时,可以通过扫描显示器显示的二维码或将移动终端上自己账户的二维码对准结算台上的扫码终端完成支付。
为了避免出现分类错误,提高结算的准确率,参见图3,在步骤206之前还包括:
步骤207,根据与每个商品对应的第一矩形区域图像、剩余矩形区域图像和与该商品的第一次分类结果对应的预先训练的支持向量机模型,判断图片中的商品是否与第一次分类结果一致,若一致则执行上述步骤206,否则提醒顾客商品无库存。
具体地,为购物场所内的每个商品构建支持向量机的机器学习模型(或称支持向量机模型),即每一个商品都有与其对应的支持向量机模型,并用步骤203建立的数据集中商品对应的数据对该模型进行训练。在构建一级分类模型时,存在一个中间计算结果,其为一个长度是1024的向量,可以将该向量看成是图片的一个特征,据此构建了一个从该向量到判断该商品是否属于某个类别商品的支持向量机模型。
每个商品的第一次分类结果获取后,先利用与其中一个商品的第一次分类结果对应的支持向量机模型对N张图片中的第一矩形区域图像和剩余矩形区域图像中所包含的该商品分别进行判断,得到N个初步判断结果,该初步判断结果表示每张图片中的该商品是否与第一次分类结果一致。第一矩形区域图像和剩余矩形区域图像的数量为N张,则初步判断结果共有N个。若N个初步判断结果中一致的数量大于等于预设的阈值,则判断该张图片中的此商品与第一次分类结果一致,否则,提醒顾客该商品无库存,即无法结算,可以在第一拍摄角度下采集的图片中对该商品进行标注表明M个商品中的该商品无法结算,并通过显示器显示以提醒给顾客。如图片的张数N为5张,预设的阈值为3,5个初步判断结果依次为:一致、一致、不一致、不一致、一致,则一致的数量为3。由于一致的数量等于预设的阈值,所以支持向量机模型判断该图片中的此商品与第一次分类结果一致,则认为前述分类过程是正确的,即识别到一种正确的商品,此时顾客可以通过结算获得该商品。若5个初步判断结果依次为不一致、不一致、不一致、不一致、一致,则一致的数量为1。由于一致的数量小于预设的阈值,所以支持向量机模型判断该图片中的此商品与第一次分类结果不一致,则认为前述分类过程是不成功的,即识别失败,此时通过语音和/画面提示:‘库里没有该商品,无法识别该商品’等来提醒顾客该商品无法结算。如此循环,可以完成利用支持向量机模型对M个商品进行判断。
本发明一实施例提供了一种基于卷积神经网络的图像识别技术的结算装置,其包括:
采集装置301,用于采集放置在结算台上的待分类的M个商品的N张图片,N张图片与N个拍摄角度一一对应,N个拍摄角度中至少有一个第一拍摄角度,第一拍摄角度为从M个商品的正上方向下对M个商品进行拍照的拍摄角度,M、N为大于等于2的自然数。
优选地,采集装置301为摄像头,在待分类的M个商品的正上方布置1个摄像头,以从正上方向下对M个商品进行拍照来采集图片;在待分类的M个商品的四周布置4个摄像头,以从斜下方向上对M个商品进行拍照来采集图片。
目标检测装置302,用于用于先对在第一拍摄角度下采集的图片进行目标检测以获取与M个商品一一对应的M个第一矩形区域图像,再根据第一矩形区域图像的数量对N张图片中剩余的图片分别进行目标检测以在每张图片中获取与M个商品一一对应的M个剩余矩形区域图像。
第一分类装置303,用于根据第一矩形区域图像、剩余矩形区域图像和预先训练的一级分类模型,获取与每个商品对应的N个初级分类结果,一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型,根据与每个商品对应的N个初级分类结果和预先训练的一级线性回归模型获取与每个商品对应的一级分类结果;
确认装置304,用于以与每个商品对应的一级分类结果作为每个商品的第一次分类结果;和
结算装置305,用于根据每个商品的第一次分类结果对M个商品进行结算。
该结算装置还包括:第二分类装置,用于若一级分类结果为相似商品,则根据与相似商品对应的第一矩形区域图像、剩余矩形区域图像和预先训练的二级分类模型,获得与相似商品对应的N个次级分类结果,再根据N个次级分类结果和预先训练的二级线性回归模型获取与相似商品对应的二级分类结果,并以二级分类结果作为相似商品的第一次分类结果,二级分类模型为预先基于卷积神经网络的图像识别技术架构且经购物场所内相似商品训练的模型;对应地,结算装置在一级分类结果为相似商品时,根据第二分类装置获取的二级分类结果进行结算,否则根据第一分类装置获取的一级分类结果进行结算。
该结算装置还包括:判断装置,用于根据与每个商品对应的第一矩形区域图像、剩余矩形区域图像和与每个商品的第一次分类结果对应的预先训练的支持向量机模型,判断图片中的商品是否与第一次分类结果一致;和选择装置,若一致调用结算装置305,否则提醒顾客商品无库存。
需要说明的是,关于采集装置301的具体描述可参见上述实施例中步骤101和201的相关内容,关于目标检测装置302的具体描述可参见上述实施例中步骤102和203的相关内容,关于第一分类装置303的具体描述可参见上述实施例中步骤103和203的相关内容,关于确认装置304的具体描述可参见上述实施例中步骤104和204的相关内容,关于结算装置305的具体描述可参见上述实施例中步骤105和206的相关内容,关于第二分类装置的具体描述可参见上述实施例中步骤205的相关内容,关于判断装置和选择装置的具体描述可参见上述实施例中步骤207的相关内容,此处不再一一赘述。
本发明一实施例提供了一种基于卷积神经网络的图像识别技术的结算装置,其包括:摄像头、处理器和存储器。
N个摄像头用于采集放置在结算台上的待分类的M个商品的N张图片,N张图片与N个拍摄角度一一对应,N个拍摄角度中至少有一个第一拍摄角度,第一拍摄角度为从M个商品的正上方向下对M个商品进行拍照的拍摄角度。存储器用于存储处理器可执行的指令。处理器被配置为:先对在第一拍摄角度下采集的图片进行目标检测以获取与M个商品一一对应的M个第一矩形区域图像,再根据第一矩形区域图像的数量对N张图片中剩余的图片分别进行目标检测以在每张图片中获取与M个商品一一对应的M个剩余矩形区域图像;根据第一矩形区域图像、剩余矩形区域图像和预先训练的一级分类模型,获取与每个商品对应的N个初级分类结果,一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型,根据与每个商品对应的N个初级分类结果和预先训练的一级线性回归模型获取与每个商品对应的一级分类结果;以与每个商品对应的一级分类结果作为每个商品的第一次分类结果;根据每个商品的第一次分类结果对M个商品进行结算;其中,M、N为大于等于2的自然数。
处理器还被配置为:若一级分类结果为相似商品,则根据与相似商品对应的第一矩形区域图像、剩余矩形区域图像和预先训练的二级分类模型,获得与相似商品对应的N个次级分类结果,再根据N个次级分类结果和预先训练的二级线性回归模型获取与相似商品对应的二级分类结果,并以二级分类结果作为相似商品的第一次分类结果,二级分类模型为预先基于卷积神经网络的图像识别技术架构且经购物场所内相似商品训练的模型,否则以一级分类结果作为第一次分类结果。
下面对本方法的具体过程进行说明:
顾客在结账过程中,向称重台上先后放置了一瓶矿泉水和一袋瓜子,当称重台的电子秤检测到重量变化,并且重量区域稳定时,开始从5个摄像头采集数据,采集到了5张照片,将5张照片统一缩放到某个预设的尺寸。然后用目标检测模型在从正上方向下采集的照片上检测商品,检测结果为在照片上找出两个包含商品的矩形区域,由于商品的数量为两个,则矩形区域的数量为两个。再用目标检测模型在剩下的4张照片上以数量为两个进行商品检测,检测结果也是在每张照片上找出两个包含商品的矩形局域。接着用一级分类模型对与每个商品对应的各个矩形区域进行分类,得到每个商品属于各个类别商品的概率。之后将每个商品的所有的概率结果经过一个一级线性回归模型,得到每个商品在所有商品类别中的一级分类结果,若该一级分类结果属于需要用二级分类模型进行进一步分类的商品类别,即一级分类结果为相似商品,则调取相应的二级分类模型,对与相似商品对应的各个矩形框进行分类,得到该商品属于各个类别的一个概率值,然后再用二级线性回归模型得到该商品在所有商品类别中的分类结果。最后再用该类别的支持向量机模型(或称小模型)对5张照片中的矩形框进行判断,判别该商品是否属于该类别。如果是,那么就返回该商品类别,如果不是,就认定该商品不属于任何一个商品类别。
综上,本发明实施例带来的有益效果如下:
能准确识别商品,便于自助结算。
由技术常识可知,本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此,上述公开的实施方案,就各方面而言,都只是举例说明,并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。
Claims (10)
1.一种基于卷积神经网络的图像识别技术的结算方法,其特征在于,所述结算方法包括:
采集步骤,采集放置在结算台上的待分类的M个商品的N张图片,N张所述图片与N个拍摄角度一一对应,N个拍摄角度中至少有一个第一拍摄角度,所述第一拍摄角度为从M个商品的正上方向下对M个商品进行拍照的拍摄角度;
目标检测步骤,先对在所述第一拍摄角度下采集的图片进行目标检测以获取与M个商品一一对应的M个第一矩形区域图像,再根据所述第一矩形区域图像的数量对N张所述图片中剩余的图片分别进行目标检测以在每张图片中获取与M个商品一一对应的M个剩余矩形区域图像;
第一分类步骤,根据所述第一矩形区域图像、所述剩余矩形区域图像和预先训练的一级分类模型,获取与每个商品对应的N个初级分类结果,所述一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型,根据与每个商品对应的N个所述初级分类结果和预先训练的一级线性回归模型获取与每个商品对应的一级分类结果;
确认步骤,以与每个商品对应的所述一级分类结果作为每个商品的第一次分类结果;
结算步骤,根据每个商品的所述第一次分类结果对M个商品进行结算;
其中,M、N为大于等于2的自然数。
2.根据权利要求1所述的结算方法,其特征在于,在第一分类步骤之后,确认步骤之前,所述结算方法还包括:
第二分类步骤,若所述一级分类结果为相似商品,则根据与所述相似商品对应的所述第一矩形区域图像、所述剩余矩形区域图像和预先训练的二级分类模型,获得与所述相似商品对应的N个次级分类结果,再根据N个所述次级分类结果和预先训练的二级线性回归模型获取与所述相似商品对应的二级分类结果,并以所述二级分类结果作为所述相似商品的第一次分类结果,所述二级分类模型为预先基于卷积神经网络的图像识别技术架构且经购物场所内相似商品训练的模型,否则执行确认步骤。
3.根据权利要求1或2所述的结算方法,其特征在于,在确认步骤之后,结算步骤之前,所述结算方法还包括:
根据与每个商品对应的第一矩形区域图像、剩余矩形区域图像和与每个商品的所述第一次分类结果对应的预先训练的支持向量机模型,判断图片中的商品是否与所述第一次分类结果一致,若一致则执行结算步骤,否则提醒顾客商品无库存。
4.根据权利要求1所述的结算方法,其特征在于,在待分类的M个商品的正上方布置1个摄像头,以从正上方向下对M个所述商品进行拍照来采集图片;
在待分类的M个所述商品的四周布置4个摄像头,以从斜下方向上对M个所述商品进行拍照来采集图片。
5.一种基于卷积神经网络的图像识别技术的结算装置,其特征在于,所述结算装置包括:
采集装置,用于采集放置在结算台上的待分类的M个商品的N张图片,N张所述图片与N个拍摄角度一一对应,N个拍摄角度中至少有一个第一拍摄角度,所述第一拍摄角度为从M个商品的正上方向下对M个商品进行拍照的拍摄角度;
目标检测装置,用于先对在所述第一拍摄角度下采集的图片进行目标检测以获取与M个商品一一对应的M个第一矩形区域图像,再根据所述第一矩形区域图像的数量对N张所述图片中剩余的图片分别进行目标检测以在每张图片中获取与M个商品一一对应的M个剩余矩形区域图像;
第一分类装置,根据所述第一矩形区域图像、所述剩余矩形区域图像和预先训练的一级分类模型,获取与每个商品对应的N个初级分类结果,所述一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型,根据与每个商品对应的N个所述初级分类结果和预先训练的一级线性回归模型获取与每个商品对应的一级分类结果;
确认装置,用于以与每个商品对应的所述一级分类结果作为每个商品的第一次分类结果;和
结算装置,用于根据每个商品的所述第一次分类结果对M个商品进行结算;
其中,M、N为大于等于2的自然数。
6.根据权利要求5所述的结算装置,其特征在于,所述结算装置还包括:
第二分类装置,若所述一级分类结果为相似商品,则根据与所述相似商品对应的所述第一矩形区域图像、所述剩余矩形区域图像和预先训练的二级分类模型,获得与所述相似商品对应的N个次级分类结果,再根据N个所述次级分类结果和预先训练的二级线性回归模型获取与所述相似商品对应的二级分类结果,并以所述二级分类结果作为所述相似商品的第一次分类结果,所述二级分类模型为预先基于卷积神经网络的图像识别技术架构且经购物场所内相似商品训练的模型;
对应地,所述结算装置在所述一级分类结果为相似商品时,根据所述第二分类装置获取的二级分类结果进行结算,否则根据所述第一分类装置获取的一级分类结果进行结算。
7.根据权利要求5所述的结算装置,其特征在于,所述结算装置还包括:
判断装置,用于根据与每个商品对应的第一矩形区域图像、剩余矩形区域图像和与每个商品的所述第一次分类结果对应的预先训练的支持向量机模型,判断图片中的商品是否与第一次分类结果一致;和
选择装置,若一致调用所述结算装置,否则提醒顾客商品无库存。
8.根据权利要求5所述的结算装置,其特征在于,所述采集装置为摄像头,在待分类的M个商品的正上方布置1个摄像头,以从正上方向下对M个所述商品进行拍照来采集图片;
在待分类的M商品的四周布置4个摄像头,以从斜下方向上对M个所述商品进行拍照来采集图片。
9.一种基于卷积神经网络的图像识别技术的结算装置,其特征在于,所述结算装置包括:
N个摄像头,用于采集放置在结算台上的待分类的M个商品的N张图片,N张所述图片与N个拍摄角度一一对应,N个拍摄角度中至少有一个第一拍摄角度,所述第一拍摄角度为从M个商品的正上方向下对M个商品进行拍照的拍摄角度;
处理器;
用于存储处理器可执行的指令的存储器;
其中,所述处理器被配置为:
先对在所述第一拍摄角度下采集的图片进行目标检测以获取与M个商品一一对应的M个第一矩形区域图像,再根据所述第一矩形区域图像的数量对N张所述图片中剩余的图片分别进行目标检测以在每张图片中获取与M个商品一一对应的M个剩余矩形区域图像;根据所述第一矩形区域图像、所述剩余矩形区域图像和预先训练的一级分类模型,获取与每个商品对应的N个初级分类结果,所述一级分类模型为基于卷积神经网络的图像识别技术架构且经购物场所内所有商品训练的模型,根据与每个商品对应的N个所述初级分类结果和预先训练的一级线性回归模型获取与每个商品对应的一级分类结果;以与每个商品对应的所述一级分类结果作为每个商品的第一次分类结果;根据每个商品的所述第一次分类结果对M个商品进行结算;其中,M、N为大于等于2的自然数。
10.根据权利要求9所述的结算装置,其特征在于,所述处理器还被配置为:
若所述一级分类结果为相似商品,则根据与所述相似商品对应的所述第一矩形区域图像、所述剩余矩形区域图像和预先训练的二级分类模型,获得与所述相似商品对应的N个次级分类结果,再根据N个所述次级分类结果和预先训练的二级线性回归模型获取与所述相似商品对应的二级分类结果,并以所述二级分类结果作为所述相似商品的第一次分类结果,所述二级分类模型为预先基于卷积神经网络的图像识别技术架构且经购物场所内相似商品训练的模型,否则以所述一级分类结果作为第一次分类结果。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/328,948 US11151427B2 (en) | 2017-07-24 | 2017-12-11 | Method and apparatus for checkout based on image identification technique of convolutional neural network |
PCT/CN2017/115443 WO2019019525A1 (zh) | 2017-07-24 | 2017-12-11 | 基于卷积神经网络的图像识别技术的结算方法和装置 |
JP2019502005A JP6709320B6 (ja) | 2017-07-24 | 2017-12-11 | 畳み込みニューラルネットワーク画像認識技術による会計方法及び会計設備 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710607759X | 2017-07-24 | ||
CN201710607759 | 2017-07-24 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109300263A true CN109300263A (zh) | 2019-02-01 |
Family
ID=63804471
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710806862.7A Active CN109299715B (zh) | 2017-07-24 | 2017-09-08 | 基于卷积神经网络的图像识别技术的结算方法和装置 |
CN201711008973.XA Pending CN109300263A (zh) | 2017-07-24 | 2017-10-25 | 基于卷积神经网络的图像识别技术的结算方法和装置 |
CN201821688423.7U Active CN209028742U (zh) | 2017-07-24 | 2017-10-25 | 基于卷积神经网络的图像识别技术的结算装置 |
CN201721396195.1U Active CN207993164U (zh) | 2017-07-24 | 2017-10-25 | 基于卷积神经网络的图像识别技术的结算装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710806862.7A Active CN109299715B (zh) | 2017-07-24 | 2017-09-08 | 基于卷积神经网络的图像识别技术的结算方法和装置 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201821688423.7U Active CN209028742U (zh) | 2017-07-24 | 2017-10-25 | 基于卷积神经网络的图像识别技术的结算装置 |
CN201721396195.1U Active CN207993164U (zh) | 2017-07-24 | 2017-10-25 | 基于卷积神经网络的图像识别技术的结算装置 |
Country Status (4)
Country | Link |
---|---|
US (2) | US10853702B2 (zh) |
JP (2) | JP6709862B6 (zh) |
CN (4) | CN109299715B (zh) |
WO (2) | WO2019019291A1 (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109919086A (zh) * | 2019-03-05 | 2019-06-21 | 北京美餐巧达科技有限公司 | 一种基于图像识别的智能餐台系统及结算方法 |
CN110987140A (zh) * | 2019-11-28 | 2020-04-10 | 浙江由由科技有限公司 | 一种商品称重辅助设备及称重设备 |
CN112001419A (zh) * | 2020-07-22 | 2020-11-27 | 李峰 | 一种防伪识别方法和装置 |
CN113344012A (zh) * | 2021-07-14 | 2021-09-03 | 马上消费金融股份有限公司 | 物品识别方法、装置及设备 |
WO2021179137A1 (zh) * | 2020-03-09 | 2021-09-16 | 图灵通诺(北京)科技有限公司 | 结算方法、装置和系统 |
WO2023124172A1 (zh) * | 2021-12-30 | 2023-07-06 | 百富计算机技术(深圳)有限公司 | 商品结算处理方法、装置、终端设备及存储介质 |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190034897A1 (en) | 2017-07-26 | 2019-01-31 | Sbot Technologies Inc. | Self-Checkout Anti-Theft Vehicle Systems and Methods |
US11562614B2 (en) * | 2017-12-25 | 2023-01-24 | Yi Tunnel (Beijing) Technology Co., Ltd. | Method, a device and a system for checkout |
US20200151692A1 (en) * | 2018-04-18 | 2020-05-14 | Sbot Technologies, Inc. d/b/a Caper Inc. | Systems and methods for training data generation for object identification and self-checkout anti-theft |
JP7218984B2 (ja) * | 2018-04-27 | 2023-02-07 | 日本電気株式会社 | 商品登録装置、商品登録方法及びプログラム |
CN111222388B (zh) * | 2018-12-11 | 2023-09-19 | 图灵通诺(北京)科技有限公司 | 基于视觉识别的结算方法和系统 |
JP7261022B2 (ja) * | 2019-01-30 | 2023-04-19 | キヤノン株式会社 | 情報処理システム、端末装置及びその制御方法、プログラム、記憶媒体 |
CN109816045A (zh) * | 2019-02-11 | 2019-05-28 | 青岛海信智能商用系统股份有限公司 | 一种商品识别方法及装置 |
JP7398779B2 (ja) * | 2019-02-12 | 2023-12-15 | 株式会社イシダ | 計量機 |
US11170186B2 (en) * | 2019-03-29 | 2021-11-09 | Ncr Corporation | Scanner bar |
CN110032654B (zh) * | 2019-04-19 | 2021-02-09 | 浪潮集团有限公司 | 一种基于人工智能的超市商品录入方法及系统 |
CN110414559B (zh) * | 2019-06-26 | 2021-09-03 | 武汉大学 | 智能零售柜商品目标检测统一框架的构建方法及商品识别方法 |
US11128737B1 (en) * | 2019-08-28 | 2021-09-21 | Massachusetts Mutual Life Insurance Company | Data model monitoring system |
CN110718016A (zh) * | 2019-09-02 | 2020-01-21 | 上海理工大学 | 一种生鲜自助售卖系统 |
CN110706075B (zh) * | 2019-09-27 | 2022-04-29 | 支付宝(杭州)信息技术有限公司 | 一种基于ai模型的物料铺设的方法和设备 |
CN110781823B (zh) * | 2019-10-25 | 2022-07-26 | 北京字节跳动网络技术有限公司 | 录屏检测方法、装置、可读介质及电子设备 |
US11205094B2 (en) * | 2019-10-29 | 2021-12-21 | Accel Robotics Corporation | Multi-angle rapid onboarding system for visual item classification |
US11743418B2 (en) | 2019-10-29 | 2023-08-29 | Accel Robotics Corporation | Multi-lighting conditions rapid onboarding system for visual item classification |
CN111062786B (zh) * | 2019-12-25 | 2023-05-23 | 创新奇智(青岛)科技有限公司 | 一种基于建立商品外观特征映射表的模型更新方法 |
CN111104988B (zh) * | 2019-12-28 | 2023-09-29 | Oppo广东移动通信有限公司 | 图像识别方法及相关装置 |
CN111401499A (zh) * | 2020-02-11 | 2020-07-10 | 王娅雯 | 一种基于ai条形码防伪的方法 |
US11809999B2 (en) * | 2020-02-24 | 2023-11-07 | Zebra Technologies Corporation | Object recognition scanning systems and methods for implementing artificial based item determination |
CN111368900A (zh) * | 2020-02-28 | 2020-07-03 | 桂林电子科技大学 | 一种图像目标物识别方法 |
CN111401422B (zh) * | 2020-03-09 | 2024-03-08 | 南京览笛信息科技有限公司 | 一种基于多角度深度推理的深度网络图像分类方法 |
CN111613225A (zh) * | 2020-04-27 | 2020-09-01 | 深圳壹账通智能科技有限公司 | 基于语音及图像处理的道路违规自动上报方法及系统 |
CN111428698A (zh) * | 2020-06-10 | 2020-07-17 | 北京云迹科技有限公司 | 一种模型样本采集方法、更新方法、电子设备及存储介质 |
CN111860219B (zh) * | 2020-06-30 | 2024-01-05 | 杭州科度科技有限公司 | 一种高速占道判断方法、装置及电子设备 |
US20220277313A1 (en) * | 2021-02-26 | 2022-09-01 | Ncr Corporation | Image-based produce recognition and verification |
CN113095228B (zh) * | 2021-04-13 | 2024-04-30 | 地平线(上海)人工智能技术有限公司 | 图像中的目标检测方法、装置及计算机可读存储介质 |
CN113688893A (zh) * | 2021-08-19 | 2021-11-23 | 西交利物浦大学 | 一种图片分类的方法、装置、电子设备及存储介质 |
CN113743481B (zh) * | 2021-08-20 | 2024-04-16 | 北京电信规划设计院有限公司 | 类人化图像识别方法和系统 |
US11681997B2 (en) * | 2021-09-30 | 2023-06-20 | Toshiba Global Commerce Solutions Holdings Corporation | Computer vision grouping recognition system |
JP2023077805A (ja) * | 2021-11-25 | 2023-06-06 | 東芝テック株式会社 | 決済者監視装置及びそのプログラム、決済者監視方法 |
CN114660112B (zh) * | 2022-05-25 | 2022-09-02 | 河南源宏高分子新材料有限公司 | 一种再生聚酯材料温度阻隔性能的检测方法 |
CN114813635B (zh) * | 2022-06-28 | 2022-10-04 | 华谱智能科技(天津)有限公司 | 煤炉燃烧参数的优化方法及电子设备 |
CN117077083B (zh) * | 2023-10-10 | 2024-01-05 | 上海英内物联网科技股份有限公司 | 装箱物品自动识别统计方法 |
Family Cites Families (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5729623A (en) * | 1993-10-18 | 1998-03-17 | Glory Kogyo Kabushiki Kaisha | Pattern recognition apparatus and method of optimizing mask for pattern recognition according to genetic algorithm |
US5497314A (en) * | 1994-03-07 | 1996-03-05 | Novak; Jeffrey M. | Automated apparatus and method for object recognition at checkout counters |
JP2007293575A (ja) * | 2006-04-25 | 2007-11-08 | Shigeru Furuno | 電子商取引システム |
CN102119387B (zh) * | 2008-08-08 | 2014-12-03 | 株式会社尼康 | 检索辅助系统、检索辅助方法以及检索辅助程序 |
CN102063616A (zh) | 2010-12-30 | 2011-05-18 | 上海电机学院 | 一种基于图像特征匹配的商品自动识别系统及方法 |
JP2012247968A (ja) * | 2011-05-27 | 2012-12-13 | Toshiba Tec Corp | 情報処理装置、情報処理方法及び制御プログラム |
JP5554796B2 (ja) * | 2011-09-06 | 2014-07-23 | 東芝テック株式会社 | 情報処理装置およびプログラム |
EP2859716B1 (en) * | 2012-06-11 | 2017-09-20 | Stylinity Inc. | Photographic stage |
CN103034839B (zh) | 2012-12-04 | 2016-08-03 | 南京航空航天大学 | 基于图像识别技术的食堂支付系统及方法 |
US9269022B2 (en) * | 2013-04-11 | 2016-02-23 | Digimarc Corporation | Methods for object recognition and related arrangements |
US10296814B1 (en) * | 2013-06-27 | 2019-05-21 | Amazon Technologies, Inc. | Automated and periodic updating of item images data store |
CN103412938B (zh) * | 2013-08-22 | 2016-06-29 | 成都数之联科技有限公司 | 一种基于图片交互式多目标提取的商品比价方法 |
CN103632460A (zh) * | 2013-11-08 | 2014-03-12 | 青岛中科英泰商用系统有限公司 | 同步向顾客提供交易过程视频的超市自助结算用防损方法 |
CN103729777A (zh) | 2013-12-12 | 2014-04-16 | 福建伊时代信息科技股份有限公司 | 基于图像识别技术的网络购物方法、购物装置及购物系统 |
US9275293B2 (en) * | 2014-02-28 | 2016-03-01 | Thrift Recycling Management, Inc. | Automated object identification and processing based on digital imaging and physical attributes |
JP6145416B2 (ja) * | 2014-02-28 | 2017-06-14 | 富士フイルム株式会社 | 商品検索装置及び方法、商品検索システム |
US20150310601A1 (en) * | 2014-03-07 | 2015-10-29 | Digimarc Corporation | Methods and arrangements for identifying objects |
CN104077842B (zh) | 2014-07-02 | 2017-02-15 | 浙江大学 | 基于图像识别的自选餐厅自助付费装置及其使用方法 |
JP6336351B2 (ja) * | 2014-08-08 | 2018-06-06 | 東芝テック株式会社 | 情報処理装置及びプログラム |
US10282722B2 (en) * | 2015-05-04 | 2019-05-07 | Yi Sun Huang | Machine learning system, method, and program product for point of sale systems |
US20160350336A1 (en) * | 2015-05-31 | 2016-12-01 | Allyke, Inc. | Automated image searching, exploration and discovery |
CN106355188B (zh) * | 2015-07-13 | 2020-01-21 | 阿里巴巴集团控股有限公司 | 图像检测方法及装置 |
CN106023220B (zh) * | 2016-05-26 | 2018-10-19 | 史方 | 一种基于深度学习的车辆外观部件图像分割方法 |
CN106096932A (zh) | 2016-06-06 | 2016-11-09 | 杭州汇萃智能科技有限公司 | 基于餐具形状的菜品自动识别系统的计价方法 |
US9928448B1 (en) * | 2016-09-23 | 2018-03-27 | International Business Machines Corporation | Image classification utilizing semantic relationships in a classification hierarchy |
WO2018073510A1 (fr) * | 2016-10-20 | 2018-04-26 | Jes Labs | Systeme d'identification ou d'aide a l'identification d'un produit ou ensemble de produits |
CN106548145A (zh) * | 2016-10-31 | 2017-03-29 | 北京小米移动软件有限公司 | 图像识别方法及装置 |
US20180197218A1 (en) * | 2017-01-12 | 2018-07-12 | Verizon Patent And Licensing Inc. | System and method for object detection in retail environment |
WO2018144650A1 (en) * | 2017-01-31 | 2018-08-09 | Focal Systems, Inc. | Automated checkout system through mobile shopping units |
CN109409175B (zh) * | 2017-08-16 | 2024-02-27 | 图灵通诺(北京)科技有限公司 | 结算方法、装置和系统 |
US11562614B2 (en) * | 2017-12-25 | 2023-01-24 | Yi Tunnel (Beijing) Technology Co., Ltd. | Method, a device and a system for checkout |
CA3090092A1 (en) * | 2018-01-31 | 2019-08-08 | Walmart Apollo, Llc | Systems and methods for verifying machine-readable label associated withmerchandise |
US20200151692A1 (en) * | 2018-04-18 | 2020-05-14 | Sbot Technologies, Inc. d/b/a Caper Inc. | Systems and methods for training data generation for object identification and self-checkout anti-theft |
US10867186B2 (en) * | 2018-05-15 | 2020-12-15 | Genetec Inc. | Transaction monitoring |
EP3794577B1 (en) * | 2018-05-16 | 2024-05-08 | Conex Digital LLC | Smart platform counter display system and method |
WO2020056041A1 (en) * | 2018-09-11 | 2020-03-19 | Pointivo, Inc. | Improvements in data acquistion, processing, and output generation for use in analysis of one or a collection of physical assets of interest |
WO2020061236A1 (en) * | 2018-09-18 | 2020-03-26 | Focal Systems, Inc. | Product onboarding machine |
US11423648B2 (en) * | 2018-09-27 | 2022-08-23 | Ncr Corporation | Item recognition processing over time |
US10783403B2 (en) * | 2018-10-29 | 2020-09-22 | EMC IP Holding Company LLC | Automated design testing through deep learning |
-
2017
- 2017-09-08 CN CN201710806862.7A patent/CN109299715B/zh active Active
- 2017-09-08 US US16/328,904 patent/US10853702B2/en active Active
- 2017-09-08 WO PCT/CN2017/100999 patent/WO2019019291A1/zh active Application Filing
- 2017-09-08 JP JP2018567956A patent/JP6709862B6/ja active Active
- 2017-10-25 CN CN201711008973.XA patent/CN109300263A/zh active Pending
- 2017-10-25 CN CN201821688423.7U patent/CN209028742U/zh active Active
- 2017-10-25 CN CN201721396195.1U patent/CN207993164U/zh active Active
- 2017-12-11 US US16/328,948 patent/US11151427B2/en active Active
- 2017-12-11 WO PCT/CN2017/115443 patent/WO2019019525A1/zh active Application Filing
- 2017-12-11 JP JP2019502005A patent/JP6709320B6/ja active Active
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109919086A (zh) * | 2019-03-05 | 2019-06-21 | 北京美餐巧达科技有限公司 | 一种基于图像识别的智能餐台系统及结算方法 |
CN110987140A (zh) * | 2019-11-28 | 2020-04-10 | 浙江由由科技有限公司 | 一种商品称重辅助设备及称重设备 |
WO2021179137A1 (zh) * | 2020-03-09 | 2021-09-16 | 图灵通诺(北京)科技有限公司 | 结算方法、装置和系统 |
CN112001419A (zh) * | 2020-07-22 | 2020-11-27 | 李峰 | 一种防伪识别方法和装置 |
CN113344012A (zh) * | 2021-07-14 | 2021-09-03 | 马上消费金融股份有限公司 | 物品识别方法、装置及设备 |
WO2023124172A1 (zh) * | 2021-12-30 | 2023-07-06 | 百富计算机技术(深圳)有限公司 | 商品结算处理方法、装置、终端设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP6709320B6 (ja) | 2020-08-05 |
US20190244055A1 (en) | 2019-08-08 |
US10853702B2 (en) | 2020-12-01 |
JP2019536121A (ja) | 2019-12-12 |
JP2019526848A (ja) | 2019-09-19 |
JP6709320B2 (ja) | 2020-06-10 |
JP6709862B6 (ja) | 2020-07-22 |
US20190220692A1 (en) | 2019-07-18 |
CN109299715B (zh) | 2021-07-13 |
CN109299715A (zh) | 2019-02-01 |
WO2019019525A1 (zh) | 2019-01-31 |
CN209028742U (zh) | 2019-06-25 |
US11151427B2 (en) | 2021-10-19 |
WO2019019291A1 (zh) | 2019-01-31 |
JP6709862B2 (ja) | 2020-06-17 |
CN207993164U (zh) | 2018-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109300263A (zh) | 基于卷积神经网络的图像识别技术的结算方法和装置 | |
CN109409175B (zh) | 结算方法、装置和系统 | |
CN108320404B (zh) | 基于神经网络的商品识别方法、装置、自助收银台 | |
US11501523B2 (en) | Goods sensing system and method for goods sensing based on image monitoring | |
CN108961547A (zh) | 一种商品识别方法、无人售货机及计算机可读存储介质 | |
CN107038822A (zh) | 一种自助收银系统及方法 | |
WO2019127618A1 (zh) | 结算方法、装置和系统 | |
EP3901841A1 (en) | Settlement method, apparatus, and system | |
CN109934569B (zh) | 结算方法、装置和系统 | |
WO2021179138A1 (zh) | 商超货架上商品的分析方法和系统 | |
CN111222388B (zh) | 基于视觉识别的结算方法和系统 | |
CN110600101A (zh) | 一种中药自动配药设备的信息化监管系统及方法 | |
TW202147177A (zh) | 適用於自助結帳服務之辨識設備及辨識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |