CN111640268A - 一种基于餐盘形状和颜色的智能结算方法和系统 - Google Patents

一种基于餐盘形状和颜色的智能结算方法和系统 Download PDF

Info

Publication number
CN111640268A
CN111640268A CN202010322594.3A CN202010322594A CN111640268A CN 111640268 A CN111640268 A CN 111640268A CN 202010322594 A CN202010322594 A CN 202010322594A CN 111640268 A CN111640268 A CN 111640268A
Authority
CN
China
Prior art keywords
dinner plate
data
preset
image
dinner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010322594.3A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Topband Co Ltd
Original Assignee
Shenzhen Topband Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Topband Co Ltd filed Critical Shenzhen Topband Co Ltd
Priority to CN202010322594.3A priority Critical patent/CN111640268A/zh
Publication of CN111640268A publication Critical patent/CN111640268A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • G07G1/0045Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • G06Q20/201Price look-up processing, e.g. updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • G06Q20/4014Identity check for transactions
    • G06Q20/40145Biometric identity checks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/12Cash registers electronically operated

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Finance (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于餐盘形状和颜色的智能结算方法及系统。包括:通过图像采集装置获取餐盘的图像信息;图像信息为动态的视频流;对图像信息进行预处理,获得目标图像;获取预设餐盘识别模型;基于预设餐盘识别模型对目标图像进行识别处理,获得餐盘的类别信息;类别信息包括:餐盘的形状和颜色;根据餐盘的类别信息,结合预设标定价格,获得当前的消费金额。本发明不需定制餐具,成本更低,餐具分类简单易操作,稳定性及可靠性高,鲁棒性好。

Description

一种基于餐盘形状和颜色的智能结算方法和系统
技术领域
本发明涉及餐饮计帐的技术领域,更具体地说,涉及一种基于餐盘形状和颜色的智能结算方法和系统。
背景技术
餐饮是人们生活中必不可少的环节,随着城市生活节奏的不断加快,越来越多的人通过餐厅解决包含问题。目前餐厅的结算方式主要有传统人工结算方法、基于条码识别的结算方法、基于RFID识别的结算方法以及基于图像识别的结算方法。
然而上述结算方法均存在一定的缺陷:传统人工结算由人工辨别菜品类别、费用并作总计,就餐高峰期时就餐人员较多,人工结算效率低且容易导致错误。基于条码识别的结算方法,通过在餐盘上贴条码标签与对应的关联,在计费终端用红外或激光条码扫描枪进行读取得到相应价格,再以人工或自动的方式的计算总金额实行结算。相较于传统的人工结算,结果更精确可靠,但是由于需要对餐盘逐个扫描,结算效率提升有限,且条码标签易损坏,实际使用时效果不理想。
基于RFID识别的结算方法,其主要技术特点是事先在餐盘内嵌RFID芯片,将菜品价格与相应芯片关联,在计费终端对芯片内容进行读取得到相应菜肴价格。此方法的缺点是需要对每个餐盘定稿数据,费时。芯片易受高温、物理变形等影响,极易损坏,需要定期更换餐盘。此外,RFID结算台体积巨大,结算台不断发射电磁波,有一定车身定制餐盘昂贵、成本高,消毒时所需的高温就可能造成芯片损坏,后期损耗极大。由于餐具内部需要封装RFID芯片,餐厅推动了自由选购权,其使用寿命及更换频率均将依赖于指定制造商,耗材成本大幅度上升。此外,指识别存在误差、技术标准尚未统一、读写次数受限导致RFID技术在餐饮结算中的局限。
现有的基于图像识别的结算方法,将菜品的像素特征或餐盘的颜色、形状、花纹特征与菜价进行关联,在计费终端通过图像识别方法得到相应菜品价格。其中:菜品识别模型复杂,识别率低、易出错,且推出新菜需要重新更新复杂模型;基于餐盘颜色、形状识别的结算系统,识别特征单一,易受光线、角度、餐盘遮挡因素的影响,面对识别环境较差的场景鲁棒性很差;对于在餐盘上印刷特殊图案的识别结算方法,需要使用专门的特殊餐具,后期增添新餐具将不通用,实用性差。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供一种基于餐盘形状和颜色的智能结算方法和系统。
本发明解决其技术问题所采用的技术方案是:提供一种基于餐盘形状和颜色的智能结算方法,包括:
通过图像采集装置获取餐盘的图像信息;所述图像信息为动态的视频流;
对所述图像信息进行预处理,获得目标图像;
获取预设餐盘识别模型;
基于所述预设餐盘识别模型对所述目标图像进行识别处理,获得所述餐盘的类别信息;所述类别信息包括:所述餐盘的形状和颜色;
根据所述餐盘的类别信息,结合预设标定价格,获得当前的消费金额。
在一个实施例中,还包括:
获取消费者的人脸信息;
基于所述人脸信息和所述消费金额发送支付请求;
根据所述支付请求从与所述人脸信息关联的支付账号中扣除对应的消费金额,完成结算。
在一个实施例中,所述对所述图像信息进行预处理,获得目标图像包括:
对所述图像信息进行关键帧提取,获得所述目标图像;
所述目标图像为包括餐盘放置稳定图像。
在一个实施例中,所述获取预设餐盘识别模型包括:
采集装有菜品的样本餐盘的数据,所述装有菜品的样本餐盘的数据为样本数据;
对所述样本数据进行预处理,获得预处理数据;
采用所述预处理数据对卷积神经网络进行训练,获得所述预设餐盘识别模型;所述预设餐盘识别模型包括:可用于识别不同类型的餐盘的最优卷积神经网络参数。
在一个实施例中,所述对所述样本数据进行预处理,获得预处理数据包括:
对所述样本数据进行标识;
对经过标识的样本数据进行分类;
对分类后的不同类别样本数据的数量进行判断,若所述不同类别样本数据的数量小于预设值,则对数量小于预设值的类别样本数据进行数据增广,获得所述预处理数据;所述预处理数据包括数量大于或等于预设值的分类后的样本数据。
在一个实施例中,所述采用所述预处理数据对卷积神经网络进行训练,获得所述预设餐盘识别模型包括:
对所述预处理数据进行划分,得到相应的训练集;
将所述训练集转换为预设数据文件格式;
对所述训练集进行均值处理,获得均值数据;
对所述均值数据进行数据增广和白化处理;
设定神经网络模型的网络参数和训练参数;
采用预设方法,将训练数据导入神经网络模型中进行训练,获得所述预设餐盘识别模型;所述训练数据为经过数据增广和白化处理的均值数据。
在一个实施例中,所述预设方法为:随机梯度下降法。
本发明还提供一种基于餐盘形状和颜色的智能结算系统,包括:用于放置餐盘的工作台、设置在所述工作台上方以获取餐盘的图像信息的图像采集装置、以及:
预处理模块,所述预处理模块用于对所述图像信息进行预处理,获得目标图像;
第一获取模块,用于获取预设餐盘识别模型;
识别模块,用于基于所述预设餐盘识别模型对所述目标图像进行识别处理,获得所述餐盘的类别信息;所述类别信息包括:所述餐盘的形状和颜色;
计价模块,用于根据所述餐盘的类别信息,结合预设标定价格,获得当前的消费金额。
在一个实施例中,还包括:
第二获取模块,用于获取消费者的人脸信息;
发送模块,用于基于所述人脸信息和所述消费金额发送支付请求;
结算模块,用于根据所述支付请求从与所述人脸信息关联的支付账号中扣除对应的消费金额,完成结算。
在一个实施例中,所述第一获取模块包括:
采集模块,用于采集样本餐盘的样本数据;
子处理模块,用于对所述样本数据进行预处理,获得预处理数据;
训练模块,采用所述预处理数据对卷积神经网络进行训练,获得所述预设餐盘识别模型;所述预设餐盘识别模型包括:可用于识别不同类型的餐盘的最优卷积神经网络参数。
实施本发明的基于餐盘形状和颜色的智能结算方法及系统,具有以下有益效果:包括:通过图像采集装置获取餐盘的图像信息;图像信息为动态的视频流;对图像信息进行预处理,获得目标图像;获取预设餐盘识别模型;基于预设餐盘识别模型对目标图像进行识别处理,获得餐盘的类别信息;根据餐盘的类别信息,结合预设标定价格,获得当前的消费金额。本发明不需定制餐具,成本更低,餐具分类简单易操作,稳定性及可靠性高,鲁棒性好。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明一实施例提供的基于餐盘形状和颜色的智能结算方法的流程示意图;
图2是本发明另一实施例提供的基于餐盘形状和颜色的智能结算方法的流程示意图;
图3是本发明一实施提供的基于餐盘形状和颜色的智能结算系统的结构示意图;
图4是本发明一实施提供的基于餐盘形状和颜色的智能结算系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参考图1,为本发明提供的基于餐盘形状和颜色的智能结算方法一优选实施例的流程示意图。本发明公开的基于餐盘形状和颜色的智能结算方法可应用于餐饮等结算环境。
如图1所示,该基于餐盘形状和颜色的智能结算方法包括:步骤S1、步骤S2、步骤S3、步骤S4和步骤S5。
具体的,步骤S1、通过图像采集装置11获取餐盘的图像信息;图像信息为动态的视频流。
本发明实施例中,图像采集装置11对餐盘的图像信息的获取为一个动态的过程,即图像采集装置11根据设定的模式(如实时采集图像)采集餐盘的图像信息。在具体应用中,图像采集装置11一直在获取在其拍摄角度范围内的图像,以实现当装有菜品的餐盘进入其视角范围内时,图像采集装置11可实时采集到。
可选的,本发明实施例的图像采集装置11可以为照相机,所采用的照相机包括但不限于工业相机等。
进一步地,图像采集装置11实时获取到餐盘的图像信息后,将所获取的图像信息传送至后台,由后台对获取的图像信息进行处理。
步骤S2、对图像信息进行预处理,获得目标图像。
本发明实施例中,对图像信息进行预处理可通过位于后台的服务器或者结算中心等平台进行处理。即对图像采集装置11传送过来的视频流进行实时处理,以获得目标图像。
进一步地,对图像信息进行预处理,获得目标图像包括:对图像信息进行关键帧提取,获得目标图像。其中,该目标图像为包括餐盘放置稳定图像。需要说明的是,在结算过程中,一般由消费者将餐盘放入放置餐盘的工作台,图像采集装置11设置在工作台的上方,以达到可以实时采集进入工作台的餐盘的图像信息,而在消费者将装有菜品的餐盘放置于工作台上的过程为一个动态的过程,为了保证后续图像处理信息的稳定可靠,本发明需提取餐盘稳定于工作台上的图像,因此,将目标图像设定为包括餐盘旋转稳定图像。
进一步地,本发明实施例中,目标图像不仅包括了餐盘,同时还标出了餐盘的具体在工作台上的位置。
步骤S3、获取预设餐盘识别模型。
本发明实施例中,获取预设餐盘识别模型具体可以通过以下步骤实现:
步骤S31、采集装有菜品的样本餐盘的数据,装有菜品的样本餐盘的数据为样本数据。
步骤S32、对样本数据进行预处理,获得预处理数据。
具体的,对样本数据进行预处理,获得预处理数据具体通过以下方法实现:
步骤S321、对样本数据进行标识。
步骤S322、对经过标识的样本数据进行分类。
步骤S323、对分类后的不同类别样本数据的数量进行判断,若所述不同类别样本数据的数量小于预设值,则对数量小于预设值的类别样本数据进行数据增广,获得预处理数据。该预处理数据包括数量大于或等于预设值的分类后的样本数据。本发明实施例中,对数量小于预设值的类别样本数据进行数据增广,可以避免出现过拟合的现象,保证数据的有效性和稳定性。可以理解地,本发明实施例中,对标识后的样本数据进行分类后,可以获得不同类别的样本数据(即不同类别样本数据),其中,不同类别的样本数据的数量不同,因此,对于数量小于预设值的类别,需对其样本数据进行增广处理,以保证后续数据的有效性和稳定性。
步骤S33、采用预处理数据对卷积神经网络进行训练,获得预设餐盘识别模型;预设餐盘识别模型包括:可用于识别不同类型的餐盘的最优卷积神经网络参数。
本发明实施例中,采用预处理数据对卷积神经网络进行训练,获得预设餐盘识别模型具体可以通过以下步骤实现:
步骤S331、对预处理数据进行划分,得到相应的训练集。
步骤S332、将训练集转换为预设数据文件格式。
步骤S333、对训练集进行均值处理,获得均值数据。
步骤S334、对均值数据进行数据增广和白化处理。
步骤S335、设定神经网络模型的网络参数和训练参数。
步骤S336、采用预设方法,将训练数据导入神经网络模型中进行训练,获得预设餐盘识别模型;训练数据为经过数据增广和白化处理的均值数据。
本发明实施例中,预设方法为:随机梯度下降法。
步骤S4、基于预设餐盘识别模型对目标图像进行识别处理,获得餐盘的类别信息;类别信息包括:餐盘的形状和颜色。
步骤S5、根据餐盘的类别信息,结合预设标定价格,获得当前的消费金额。
本发明实施例中,预设标定价格为根据不同餐盘的种类设定的价格,其中,不同餐盘的种类可以根据餐盘的形状和颜色设定,并将设定好的价格预存在存储器或者数据库中,在现场实时结算时可直接根据所获得的餐盘的形状和颜色调用对应的价格,进而完成消费金额的结算。
本发明的基于餐盘形状和颜色的智能结算方法,通过预先采集餐盘的样本数据,使用卷积神经网络训练获得预设餐盘识别模型,通过设置在现场的图像采集装置11实时采集图像信息,并从视频流中提取关键帧图像,然后通过所获得的预设餐盘识别模型对关键帧图像进行处理,得到餐盘的类别,进而基于餐盘的类别根据预先录入的价格计算菜品的总价格(即消费金额)。
参考图2,为本发明提供的基于餐盘形状和颜色的智能结算方法另一优选实施例的流程示意图。
如图2所示,该基于餐盘形状和颜色的智能结算方法还包括:
步骤S6、获取消费者的人脸信息。
步骤S7、基于人脸信息和消费金额发送支付请求。
步骤S8、根据支付请求从与人脸信息关联的支付账号中扣除对应的消费金额,完成结算。
本发明实施例中,获取消费者的人脸信息可以通过摄像头采集得到,其中所采用的摄像头可以为现有常规的摄像头,以可以清晰获得位于工作台前的消费者的人脸信息即可,本发明不作具体限定。
进一步地,结算方式可以采用现有的结算方式,包括但不限于银行卡结算、二维码扫码结算等,本发明不作具体要求和限定。
参考图3,为本发明提供的基于餐盘形状和颜色的智能结算系统一优选实施例的结构示意图。
如图3所示,该基于餐盘形状和颜色的智能结算系统,包括:用于放置餐盘的工作台、设置在工作台上方以获取餐盘的图像信息的图像采集装置11、以及预处理模块21、第一获取模块22、识别模块23和计价模块24。其中,预处理模块21、第一获取模块22、识别模块23和计价模块24可设置于服务器中。
图像采集装置11用于获取餐盘的图像信息,其中,图像信息为动态的视频流。
本发明实施例中,图像采集装置11对餐盘的图像信息的获取为一个动态的过程,即图像采集装置11根据设定的模式(如实时采集图像)采集餐盘的图像信息。在具体应用中,图像采集装置11一直在获取在其拍摄角度范围内的图像,以实现当装有菜品的餐盘进入其视角范围内时,图像采集装置11可实时采集到。
可选的,本发明实施例的图像采集装置11可以为照相机,所采用的照相机包括但不限于工业相机等。
进一步地,图像采集装置11实时获取到餐盘的图像信息后,将所获取的图像信息传送至预处理模块21,由预处理模块21对获取的图像信息进行处理。
具体的,预处理模块21,预处理模块21用于对图像信息进行预处理,获得目标图像。
进一步地,预处理模块21对图像信息进行预处理,获得目标图像包括:对图像信息进行关键帧提取,获得目标图像。其中,该目标图像为包括餐盘放置稳定图像。需要说明的是,在结算过程中,一般由消费者将餐盘放入放置餐盘的工作台,图像采集装置11设置在工作台的上方,以达到可以实时采集进入工作台的餐盘的图像信息,而在消费者将装有菜品的餐盘放置于工作台上的过程为一个动态的过程,为了保证后续图像处理信息的稳定可靠,本发明需提取餐盘稳定于工作台上的图像,因此,将目标图像设定为包括餐盘旋转稳定图像。
进一步地,本发明实施例中,目标图像不仅包括了餐盘,同时还标出了餐盘的具体在工作台上的位置。
第一获取模块22,用于获取预设餐盘识别模型。
本发明实施例中,第一获取模块22包括:采集模块,用于采集样本餐盘的样本数据;子处理模块,用于对样本数据进行预处理,获得预处理数据;训练模块,采用预处理数据对神经网络进行训练,获得预设餐盘识别模型;预设餐盘识别模型包括:可用于识别不同类型的餐盘的最优卷积神经网络参数。
本发明实施例中,对样本数据进行预处理,获得预处理数据具体通过以下方法实现:对样本数据进行标识。对经过标识的样本数据进行分类。对分类后的不同类别样本数据的数量进行判断,若不同类别样本数据的数量小于预设值,则对数量小于预设值的类别样本数据进行数据增广,获得预处理数据;预处理数据包括数量大于或等于预设值的分类后的样本数据。本发明实施例中,对数量小于预设值的样本数据进行数据增广,可以避免出现过拟合的现象,保证数据的有效性和稳定性。可以理解地,本发明实施例中,对标识后的样本数据进行分类后,可以获得不同类别的样本数据(即不同类别样本数据),其中,不同类别的样本数据的数量不同,因此,对于数量小于预设值的类别,需对其样本数据进行增广处理,以保证后续数据的有效性和稳定性。
进一步地,采用预处理数据对卷积神经网络进行训练,获得预设餐盘识别模型具体可以通过以下方法实现:
对预处理数据进行划分,得到相应的训练集。
将训练集转换为预设数据文件格式。
对训练集进行均值处理,获得均值数据。
对均值数据进行数据增广和白化处理。
设定神经网络模型的网络参数和训练参数。
采用预设方法,将训练数据导入神经网络模型中进行训练,获得预设餐盘识别模型;训练数据为经过数据增广和白化处理的均值数据。
本发明实施例中,预设方法为:随机梯度下降法。
识别模块23,用于基于预设餐盘识别模型对目标图像进行识别处理,获得餐盘的类别信息;类别信息包括:餐盘的形状和颜色;
计价模块24,用于根据餐盘的类别信息,结合预设标定价格,获得当前的消费金额。
本发明实施例中,预设标定价格为根据不同餐盘的种类设定的价格,其中,不同餐盘的种类可以根据餐盘的形状和颜色设定,并将设定好的价格预存在存储器或者数据库中,在现场实时结算时可直接根据所获得的餐盘的形状和颜色调用对应的价格,进而完成消费金额的结算。
参考图4,为本发明提供的基于餐盘形状和颜色的智能结算系统另一优选实施例的结构示意图。
如图4所示,该实现例在图3实施例的基础上,进一步还包括:
第二获取模块25,用于获取消费者的人脸信息。
发送模块26,用于基于人脸信息和消费金额发送支付请求。
结算模块,用于根据支付请求从与人脸信息关联的支付账号中扣除对应的消费金额,完成结算。
其中,第二获取模块25可以由图像采集装置11实现。发送模块26、结算模块可内置于服务器。
本发明实施例中,获取消费者的人脸信息可以通过摄像头采集得到,其中所采用的摄像头可以为现有常规的摄像头,以可以清晰获得位于工作台前的消费者的人脸信息即可,本发明不作具体限定。
进一步地,结算方式可以采用现有的结算方式,包括但不限于银行卡结算、二维码扫码结算等,本发明不作具体要求和限定。
进一步地,为了减少环境因素的影响以及提高系统的稳定性和可靠性,可以通过增加光源的方式保证环境场景的鲁棒性,如可在图像采集装置11的旁侧增加光源(如LED光源),或者在图像采集装置11(如摄像头的镜头底部增设有亮度可调的LED环形补偿灯),以满足对于不同环境下对摄像头光照补偿,保证可获得更高质量的实时视频,确保结算计算不受环境光的影响。
另外,对于后期的图像处理,本发明通过关键帧图像提取的方式,可以有效减小由于淘汰的影响带来的噪声,能够极大程度上提高检测效率,识别率可达到98.9%以上;消费者将托盘放至在工作台上,图像采集装置11即实时采集图像。
本发明公开的基于餐盘形状和颜色的智能结算系统,在放置餐盘的工作台上放置托盘,托盘内可放置不同形状和颜色的餐盘等,设置在工作台上主的图像采集装置11可实时采集放置在工作台上的餐盘的图像信息,并将所获得的图像信息实时传送至预处理模块21,由预处理模块21对视频流进行处理,高效提取出关键帧图像,然后通过卷积神经网络根据关键帧图像识别出托盘中不同形状和颜色的餐盘,并根据预先对不同形状和颜色的餐盘标定的价格,计算出消费总额。本发明不需要对现有餐盘进行任何改进,后期改进升级非常便捷,大大提升了餐厅的工作效率和智能化,具有较高的实用价值。
另外,本发明的图像识别可以对包括但不限于陶瓷、密胺、蒸笼、酸奶杯子、纸杯、不锈钢等多种材质的餐具进行识别,因此,对餐具没有特殊定制要求,不需要定制餐具不需要大规模改造现有模式,同时后期餐具采购有更多的选择性。而且,相较于RFID射频技术的方式,本发明成本低40%~60%,甚至更低,维护更加方便。由于不需要定制餐具,可较大节约成本,同时,餐具有更多的选择性,不存在高温导致芯片损坏影响使用的问题,也可以提供数据分析等增值服务,易于餐具分类,简单易操作,稳定性、可靠性更高。
以上实施例只为说明本发明的技术构思及特点,其目的在于让熟悉此项技术的人士能够了解本发明的内容并据此实施,并不能限制本发明的保护范围。凡跟本发明权利要求范围所做的均等变化与修饰,均应属于本发明权利要求的涵盖范围。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于餐盘形状和颜色的智能结算方法,其特征在于,包括:
通过图像采集装置获取餐盘的图像信息;所述图像信息为动态的视频流;
对所述图像信息进行预处理,获得目标图像;
获取预设餐盘识别模型;
基于所述预设餐盘识别模型对所述目标图像进行识别处理,获得所述餐盘的类别信息;所述类别信息包括:所述餐盘的形状和颜色;
根据所述餐盘的类别信息,结合预设标定价格,获得当前的消费金额。
2.根据权利要求1所述的基于餐盘形状和颜色的智能结算方法,其特征在于,还包括:
获取消费者的人脸信息;
基于所述人脸信息和所述消费金额发送支付请求;
根据所述支付请求从与所述人脸信息关联的支付账号中扣除对应的消费金额,完成结算。
3.根据权利要求1所述的基于餐盘形状和颜色的智能结算方法,其特征在于,所述对所述图像信息进行预处理,获得目标图像包括:
对所述图像信息进行关键帧提取,获得所述目标图像;
所述目标图像为包括餐盘放置稳定图像。
4.根据权利要求1所述的基于餐盘形状和颜色的智能结算方法,其特征在于,所述获取预设餐盘识别模型包括:
采集装有菜品的样本餐盘的数据,所述装有菜品的样本餐盘的数据为样本数据;
对所述样本数据进行预处理,获得预处理数据;
采用所述预处理数据对卷积神经网络进行训练,获得所述预设餐盘识别模型;所述预设餐盘识别模型包括:可用于识别不同类型的餐盘的最优卷积神经网络参数。
5.根据权利要求4所述的基于餐盘形状和颜色的智能结算方法,其特征在于,所述对所述样本数据进行预处理,获得预处理数据包括:
对所述样本数据进行标识;
对经过标识的样本数据进行分类;
对分类后的不同类别样本数据的数量进行判断,若所述不同类别样本数据的数量小于预设值,则对数量小于预设值的类别样本数据进行数据增广,获得所述预处理数据;所述预处理数据包括数量大于或等于预设值的分类后的样本数据。
6.根据权利要求4所述的基于餐盘形状和颜色的智能结算方法,其特征在于,所述采用所述预处理数据对卷积神经网络进行训练,获得所述预设餐盘识别模型包括:
对所述预处理数据进行划分,得到相应的训练集;
将所述训练集转换为预设数据文件格式;
对所述训练集进行均值处理,获得均值数据;
对所述均值数据进行数据增广和白化处理;
设定神经网络模型的网络参数和训练参数;
采用预设方法,将训练数据导入神经网络模型中进行训练,获得所述预设餐盘识别模型;所述训练数据为经过数据增广和白化处理的均值数据。
7.根据权利要求6所述的基于餐盘形状和颜色的智能结算方法,其特征在于,所述预设方法为:随机梯度下降法。
8.一种基于餐盘形状和颜色的智能结算系统,其特征在于,包括:用于放置餐盘的工作台、设置在所述工作台上方以获取餐盘的图像信息的图像采集装置、以及:
预处理模块,所述预处理模块用于对所述图像信息进行预处理,获得目标图像;
第一获取模块,用于获取预设餐盘识别模型;
识别模块,用于基于所述预设餐盘识别模型对所述目标图像进行识别处理,获得所述餐盘的类别信息;所述类别信息包括:所述餐盘的形状和颜色;
计价模块,用于根据所述餐盘的类别信息,结合预设标定价格,获得当前的消费金额。
9.根据权利要求8所述的基于餐盘形状和颜色的智能结算系统,其特征在于,还包括:
第二获取模块,用于获取消费者的人脸信息;
发送模块,用于基于所述人脸信息和所述消费金额发送支付请求;
结算模块,用于根据所述支付请求从与所述人脸信息关联的支付账号中扣除对应的消费金额,完成结算。
10.根据权利要求8所述的基于餐盘形状和颜色的智能结算系统,其特征在于,所述第一获取模块包括:
采集模块,用于采集样本餐盘的样本数据;
子处理模块,用于对所述样本数据进行预处理,获得预处理数据;
训练模块,采用所述预处理数据对卷积神经网络进行训练,获得所述预设餐盘识别模型;所述预设餐盘识别模型包括:可用于识别不同类型的餐盘的最优卷积神经网络参数。
CN202010322594.3A 2020-04-22 2020-04-22 一种基于餐盘形状和颜色的智能结算方法和系统 Pending CN111640268A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010322594.3A CN111640268A (zh) 2020-04-22 2020-04-22 一种基于餐盘形状和颜色的智能结算方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010322594.3A CN111640268A (zh) 2020-04-22 2020-04-22 一种基于餐盘形状和颜色的智能结算方法和系统

Publications (1)

Publication Number Publication Date
CN111640268A true CN111640268A (zh) 2020-09-08

Family

ID=72330748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010322594.3A Pending CN111640268A (zh) 2020-04-22 2020-04-22 一种基于餐盘形状和颜色的智能结算方法和系统

Country Status (1)

Country Link
CN (1) CN111640268A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132060A (zh) * 2020-09-25 2020-12-25 广州市派客朴食信息科技有限责任公司 一种智能识别结算食物的方法
CN112906513A (zh) * 2021-02-03 2021-06-04 拉扎斯网络科技(上海)有限公司 就餐资源信息的处理方法、装置及设备
CN113408631A (zh) * 2021-06-23 2021-09-17 佛山缔乐视觉科技有限公司 一种陶瓷洁具的款式识别方法、装置及存储介质
CN115346110A (zh) * 2022-10-20 2022-11-15 浪潮通信信息系统有限公司 餐盘识别方法、系统、电子设备和存储介质
CN116503614A (zh) * 2023-04-27 2023-07-28 杭州食方科技有限公司 餐盘形状特征提取网络训练方法和餐盘形状信息生成方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103208156A (zh) * 2013-02-06 2013-07-17 浙江科技学院 一种餐饮自动结算系统和方法
CN103632463A (zh) * 2013-11-14 2014-03-12 成都博约创信科技有限责任公司 一种基于图像识别技术的结算方法
CN103632464A (zh) * 2013-11-14 2014-03-12 成都博约创信科技有限责任公司 集图像识别与标签识别于一体的收银方法
CN103971471A (zh) * 2014-05-08 2014-08-06 上海海事大学 基于颜色识别的餐盘自动计价方法及其系统
CN104200584A (zh) * 2014-07-31 2014-12-10 北京邮电大学 一种快速结算方法和装置
CN109145839A (zh) * 2018-08-29 2019-01-04 福建超汇信息技术有限公司 基于机器视觉识别的计价方法及计算机可读存储介质
CN109615358A (zh) * 2018-11-01 2019-04-12 北京伟景智能科技有限公司 一种基于深度学习图像识别的餐厅自动结算方法及系统
CN110852733A (zh) * 2019-10-22 2020-02-28 杭州效准智能科技有限公司 一种基于rfid融合菜品图像匹配识别的智能餐饮结算系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103208156A (zh) * 2013-02-06 2013-07-17 浙江科技学院 一种餐饮自动结算系统和方法
CN103632463A (zh) * 2013-11-14 2014-03-12 成都博约创信科技有限责任公司 一种基于图像识别技术的结算方法
CN103632464A (zh) * 2013-11-14 2014-03-12 成都博约创信科技有限责任公司 集图像识别与标签识别于一体的收银方法
CN103971471A (zh) * 2014-05-08 2014-08-06 上海海事大学 基于颜色识别的餐盘自动计价方法及其系统
CN104200584A (zh) * 2014-07-31 2014-12-10 北京邮电大学 一种快速结算方法和装置
CN109145839A (zh) * 2018-08-29 2019-01-04 福建超汇信息技术有限公司 基于机器视觉识别的计价方法及计算机可读存储介质
CN109615358A (zh) * 2018-11-01 2019-04-12 北京伟景智能科技有限公司 一种基于深度学习图像识别的餐厅自动结算方法及系统
CN110852733A (zh) * 2019-10-22 2020-02-28 杭州效准智能科技有限公司 一种基于rfid融合菜品图像匹配识别的智能餐饮结算系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132060A (zh) * 2020-09-25 2020-12-25 广州市派客朴食信息科技有限责任公司 一种智能识别结算食物的方法
CN112906513A (zh) * 2021-02-03 2021-06-04 拉扎斯网络科技(上海)有限公司 就餐资源信息的处理方法、装置及设备
CN113408631A (zh) * 2021-06-23 2021-09-17 佛山缔乐视觉科技有限公司 一种陶瓷洁具的款式识别方法、装置及存储介质
CN115346110A (zh) * 2022-10-20 2022-11-15 浪潮通信信息系统有限公司 餐盘识别方法、系统、电子设备和存储介质
CN116503614A (zh) * 2023-04-27 2023-07-28 杭州食方科技有限公司 餐盘形状特征提取网络训练方法和餐盘形状信息生成方法

Similar Documents

Publication Publication Date Title
CN111640268A (zh) 一种基于餐盘形状和颜色的智能结算方法和系统
CN109559457B (zh) 基于神经网络识别商品的收银方法以及自助收银台
JP6709320B6 (ja) 畳み込みニューラルネットワーク画像認識技術による会計方法及び会計設備
CN103208156B (zh) 一种餐饮自动结算系统和方法
CN107767590A (zh) 物品自动识别商用条码电子秤及物品自动识别方法
CN109214806A (zh) 自助结算方法、装置以及存储介质
CN109712346A (zh) 一种自助式智能识别计价收银一体机
US8320633B2 (en) System and method for identifying produce
MXPA02001474A (es) Metodo y dispositivo para reconocimiento de articulos.
CN109920178B (zh) 一种无人超市系统
CN214202398U (zh) 一种快递智能网联安全设备
US11409977B1 (en) Universal product labeling for vision-based commerce
CN107038425A (zh) 基于机器视觉的智能餐厅的结算系统
CN113222582B (zh) 一种人脸支付零售终端机
CN104978585A (zh) 一种自动计价方法
CN110310419A (zh) 一种基于人脸识别的智能售烟方法
CN116012085B (zh) 一种电子卡券自动识别与回收系统
CN107506933A (zh) 一种书店图书管理系统和方法
CN103116952A (zh) 一种基于物联网技术应用的智能餐饮结算系统
CN108830126B (zh) 一种基于图像智能识别的产品营销互动方法
CN115511584A (zh) 一种电商平台虚假交易订单监控方法及系统
US20190122231A1 (en) Container, non-transitory computer-readable storage medium for storing program, and customer management method
CN110942361A (zh) 一种基于云平台的智慧农贸市场综合管理系统
CN111316305A (zh) 用于认证消费产品的系统和方法
KR20230082750A (ko) 영상처리 및 딥러닝 기반의 절화 품질 관리 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200908

RJ01 Rejection of invention patent application after publication