CN109830072A - 基于视觉识别的计价和收银装置、控制系统及方法 - Google Patents

Abstract

本发明公开了一种基于视觉识别的计价和收银装置、控制系统及方法，装置包括主机、客服触控屏、顾客触控屏、菜品识别摄像头、餐盘放置板和辅助多功能刷卡机，在餐盘放置板的底面设置压力传感器，在顾客触控屏的显示区域上方和下方分别设置顾客识别摄像头和菜品识别辅助光源。控制系统包括菜品录入模块、顾客信息录入模块和结算支付模块以实现快速刷脸支付。方法采用高效和稳定性的训练模型学习，确保了菜品录入、人脸录入和支付结算的准确性。本发明解决在实际场景中客户排队时间长、结算效率低、菜品数据难留存等实际问题，以实现提高客户体验、减少排队时间、精准分析数据、降低运营成本等多种客户实际需求。

Description

基于视觉识别的计价和收银装置、控制系统及方法

技术领域

本发明涉及一种自动收银系统，尤其涉及一种基于视觉识别的计价和收银装置、控制系统及方法。

背景技术

2018年中国餐饮市场规模约四万亿元，其中团餐占1/3，约13000亿元，市场空间巨大。但受人工成本攀升(收银员、点餐员)、顾客体验不佳(排长队结算、结算易出错)、消费数据留存少和转化低(畅销和滞销、用餐时间、消费频率、客单价)三大主要问题的制约，整体而言，团餐行业商家的盈利能力较差。商家急需有效方案，来帮助提高盈利水平和运营效率。

顾客自选，自助结算，自助支付是解决上述问题的一个很好的方案。

顾客自选，是就餐模式的一种改变，主要特点是餐厅服务人员(具体的说是负责打菜的服务员，以下简称打菜员)根据目标售价预先将菜按照预定的分量分装到小菜碟中，顾客就餐时，根据自己的喜好以及预算，自助选取对应菜品到托盘中；收银员根据菜品定价计算出托盘上所有菜品的总价，并在收银机上输入总价，顾客可以通过支付现金，或者通过一卡通支付，或者通过扫码支付，或者其他的电子支付手段，完成支付。

在上述流程中，我们可以看到，通过自选，减少了顾客与打菜员的沟通时间，顾客的选择和打菜员的补菜可以同步进行，提高了效率；而在结算过程中，收银员需要识别并记住对应菜品的价格，完成价格的输入和总价的计算，需要耗费时间也容易出错；而在支付环节，现金涉及找零，效率低下且不卫生，逐渐被淘汰；电子支付的方式，涉及的媒介的交互，例如掏出卡片或者掏出手机调出二维码，都需要耗费时间，效率不高。

随着信息技术和物联网技术的发展，市面上针对结算问题也提出了一些解决方案，主要可以分成两大类：

第一类：餐具识别

这类方案主要时通过餐具特征进行标识并定价，从而让收银设备可以识别出对应的菜品并识别出对应的价格，从而完成结算。

具体的事先手段又可以分成两种：

通过电子标签，例如在餐具中植入rfid芯片或者nfc芯片，并在芯片中写入价格，收银设备通过芯片信息读写装置，在结算时读出托盘上所有芯片对应的价格，从而算出总价；该类方案的主要弊端在于依赖芯片，以来增加成本，二来芯片在餐具中，经过长期的分拣，消毒，会经过碰撞和高温，芯片的可靠性会降低，从而出现误识别或者漏识别；且这些情况不易被发现，导致结算的错误，且无法被追溯。

通过视觉方案，使用特殊形状，颜色，或者标记的餐具；事先规定好各个餐具对应的价格，从而该餐具盛的菜品销售对应的价格；这类方案，在以往的实现方式中，依赖于餐具的预先训练分类，在食堂需要加入新的餐具或者更换餐具的时候，需要重新训练和分类，耗费几天的时间，灵活性差，影响餐厅的正常运转。

第二类：菜品识别

这类方案主要利用饭菜本身的特征如形状，颜色来进行识别和结算；如CN104077842，利用机器学习的方法，对菜品进行离线训练和学习，然后在结算时进行识别得到对应菜价；这类方法主要的问题在于使用离线训练的方法，需要将该餐厅中所有菜品预先收集并进行训练分类；而同一个菜品，每一天的做法可能会不一样，而且，餐厅很需要随时推出新菜；不可能有时间和人力用于专门事先采集数据并训练；所以，该方案不是一个行之有效的方案。

随着信息技术和物联网技术的发展，市面上针对支付问题也提出了一些解决方案，主要可以分成三大类：

第一类：刷卡支付

该方案主要依赖于电子卡片，容易出现忘带卡或者卡片损坏等情况；且在支付过程中，需要找出卡片并刷卡，需要耗费时间。

第二类：扫码支付

扫码支付是随着智能手机和移动互联网的普及，推出了一种新的支付方案；主要优点在于将识别码集成在手机app中，只要带手机则可以完成支付，避免了忘带卡和卡片损坏的问题，该方案主要的问题在于，每次支付需要先掏出手机，再调出app并调出二维码，需要耗费比刷卡支付更长的时间。

第三类：刷脸支付

随着人脸识别技术的发展，一些企业推出了刷脸支付功能，顾客将面部图片和账户绑定，在支付时，输出自己的账户并刷脸验证，则可以完成支付；该方案的优势在于去媒介；一定程度上提高了效率；但是每次依然要输入自己的账户号或者短密码，依然不够方便；在技术实现上，该方案并没有实现大规模，高准确度的1：N人脸比对，而是通过账号，实现了1：1的人俩比对，在这个实现中，人脸只做为校验的密码校验，而非身份识别；而通过短密码的方式，也是将本地的人脸库，通过短密码的筛选，定位到很小的人员范围内，数量级在几十；该技术的实现是相对非常简单且没有技术进步性的。

总的来说，对于目前自选餐厅的场景，依然缺少一种结算和支付足够高效，实施方便且稳定可靠，同时经济性比较好的方案。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种基于视觉识别的计价和收银装置、控制系统及方法。

本发明的目的采用以下技术方案实现：

一种基于视觉识别的计价和收银装置，包括主机、顾客触控屏、菜品识别摄像头和餐盘放置板，所述菜品识别摄像头正对所述餐盘放置板设置于顾客触控屏的下方，所述餐盘放置板固定设置在收银台上，在所述顾客触控屏的显示区域上方设置顾客识别摄像头，在所述顾客触控屏的下方设置菜品识别辅助光源，所述菜品识别辅助光源设置在所述菜品识别摄像头的两侧。

优选的，装置还包括辅助多功能刷卡机，当人脸识别支付失败后，通过所述辅助多功能刷卡机完成支付。

优选的，在所述餐盘放置板的底面设置压力传感器以感知是否有待结算的菜品摆放在餐盘放置板上。

优选的，所述菜品识别摄像头根据输入的影像变化，自动感知是否有待结算的菜品摆放在餐盘放置板上。

优选的，所述餐盘放置板设置有发光区，当待结算的菜品摆放在餐盘放置板上时，遮挡发光区，以增强菜品识别摄像头感知是否有有待结算的菜品摆放在餐盘放置板上的准确率。

优选的，装置还包括客服触控屏，所述客服触控屏和顾客触控屏相对的设置在所述主机的两侧。

优选的，装置还包括语音播报器，自动向顾客播报语音提示，语音提示内容包括待支付菜品明细、菜价、结算总金额以及结算是否成功。

优选的，所述客服触控屏和顾客触控屏采用液晶触屏，所述菜品识别辅助光源采用LED光源。

一种基于视觉识别的计价和收银控制系统，控制系统包括：菜品录入模块、顾客信息录入模块和结算支付模块。

所述菜品录入模块通过菜品识别摄像头对标准餐盘内的新菜品拍照，将获取菜品照片传送给处理器，由主机的处理器对菜品照片提取图像特征信息并结合人工处理，确定菜品名称和价格；

所述顾客信息录入模块通过顾客识别摄像头对顾客头部进行拍照，将获取的顾客照片传送给处理器，由主机的处理器对顾客照片进行图形特征提取并显示在顾客触控屏上，并结合顾客人工处理，录入顾客人脸、身份信息及支付账号信息；

所述结算支付模块通过菜品识别摄像头对餐盘放置板内的菜品进行拍照、计价并将用餐信息显示在顾客触控屏上；同时，由顾客识别摄像头抓拍顾客脸部照片，经处理器分析识别顾客并将顾客信息显示在顾客触控屏上；在所述顾客触控屏上同时显示顾客确认支付的选项由顾客确认完成刷脸支付。

优选的，系统还包括辅助支付模块，所述辅助支付模块通过辅助多功能刷卡机进行收款，所述辅助支付模块包括IC刷卡支付模式、二维码支付模式、或快闪支付模式。

一种基于视觉识别的计价和收银方法，方法包括：

准备过程，准备过程完成餐具模板录入，为使用过程中的菜品录入和菜品识别做好准备；以及完成顾客信息录入，将顾客的人脸信息和账户信息绑定，为刷脸支付做好准备；

开餐使用过程，开餐使用过程包含开餐前的菜品录入、开餐时的结算支付、以及开餐后的数据查看过程；其中菜品录入将更新和调整历史菜品及价格，同时录入新菜品及对应价格；结算支付，通过视觉的菜品和菜品识别相结合的方式实现结算，以及通过免密的1：N的刷脸支付的方式进行支付；数据查看，统计每餐的销售情况，包括每个菜的销售量、销售总额、顾客个人消费额、顾客历史消费菜品及顾客历史消费总额；

菜品及营养数据推送过程，将顾客一段时间内的用餐信息、用餐配料及营养数据、消费信息和健康配餐建议信息传送给顾客。

优选的，所述准备过程的餐具模板录入包括如下步骤：

⑴接通电源，开启装置；使得菜品识别辅助光源打亮餐盘放置板，配合摄像头参数，获得清晰的照片；以此对不同的餐厅有灵活稳定的适应性照片获取环境；

⑵操作员准备好食堂中所有的餐具，并准备一定量的菜品；

⑶操作员启动系统，进行餐具拍摄；

⑷操作员取一个餐具，并在餐具中装入一定量的菜品，将餐具放置在托盘的各个位置，并调整餐具的角度，拍摄若干照片；将照片保存在同一个文件位置；

⑸操作员对每一个餐具重复步骤⑷；

⑹当所有餐具图片准备完成后，运行餐具模板录入和学习程序，完成餐具录入和学习；

⑺已经录入的餐具，在后续的餐厅的正常运作中可以使用；当更换或者增加新餐具时，则删除不要的餐具图片，补拍新餐具的图片并重复步骤⑹完成新餐具的录入和学习。

优选的，所述准备过程的顾客信息录入包括如下步骤：

⑴开启装置，启动系统，选择进入顾客信息录入模块；

⑵顾客根据系统提示输入账户信息，账户信息在后台可以关联用户的手机号、身份证号、学号、邮箱、地址、和/或工号；

⑶顾客输入信息后，系统校验是否是合法账户，确认账户是否存在；如果不合法则提示要求重新输入；

⑷提示顾客正视顾客识别摄像头，提示方式包括语音提示、文字提示、和/或指示灯提示；

⑸启动拍照程序抓拍客户头部照片，提示顾客抬头点头、左右摇头、和/或眨眼睛，照片拍摄完成后，送入照片质量程序，对照片质量通过评估算法进行评估，首先判断照片是否模糊，如果模糊则重新拍照，照片质量通过则通过人脸特征抽取算法抽取人脸特征点，判断人脸是否完整、角度是否合适，不符合要求则重新拍照，符合要求则进行下一步；

⑹提醒顾客识别成功，并将拍摄过程中多个角度的图片存入该顾客的关联图片位置；对顾客的照片通过人脸特征提取算法抽取各个角度的人脸特征，并将这些特征与该顾客的账户信息关联；

⑺录入客户账户密码，弹出输入密码窗口并提示输入密码，该密码应对未来支付时的特殊情况；提示再次输入密码并校验；不通过则重新输入，通过则进行下一步；

⑻如果该账户中之前已经录入过人脸，则判断新录入人脸和原来的人脸是否是同一个人；如果是则通过；否则报错误信息，并要求联系工作人员；

⑼全部完成则提示录入成功。

优选的，所述开餐使用过程的菜品录入包括如下步骤：

⑴开启装置，启动系统，选择进入菜品录入模块；打开菜品识别辅助光源打亮餐盘放置板，配合摄像头参数，获得清晰的照片；以此对不同的餐厅有灵活稳定的适应性照片获取环境；

⑵操作员准备好当餐的每个菜品的一个样品，每个菜品装在一个餐具中，并且保证这个菜品一直装在该餐具中；

⑶操作员将需要录入的菜品放置到标准餐盘中，将标准餐盘放置到餐盘放置板上的识别区；

⑷确认正确放置后，启动菜品识别程序；识别程序调用菜品识别摄像头拍摄一张照片，校验质量后送入菜品检测程序；检测程序检测画面中的菜品和杂物，并将画面中菜品和杂物部分从图片中分割出来，送入分类程序，将杂物剔除；

⑸对于检测到的菜品，首先识别该菜品所用的餐具；抽取餐具信息，与之前录入的餐具模板做比对，匹配出最高的几个餐具；如果匹配的最高的餐具满足阈值条件，则计算和第二个相似的餐具的相似度；否则认为这个餐具在实现录入的餐具模板中不存在，这个餐具需要录入餐具模板；如果餐具在模板中存在，且最相似和次相似的相差比较大，则判定该餐具为餐具模板中top1相似的餐具；否则，抛出几个可能的餐具，让操作员人工选择，以确保准确度；以上完成餐具的匹配过程；

⑹对于确认完成餐具匹配的菜品，出现一个可输入的文本框；操作员通过触摸屏点击该文本框，可输入该菜品的名称和价格；

⑺对于每个完成价格设置的菜品，图片送入菜品识别程序，通过事先训练的菜品特征抽取算法抽取该菜品的特征数据；

⑻操作员点击确认菜品录入，程序校验是否所有的菜品都有价格，而且相同的菜品没有不同的价格，则通过；该标准餐盘上所有菜品录入到当餐的菜品数据库中；

⑼重复上述过程⑶～⑻，完成所有菜品的录入。

优选的，所述开餐使用过程的结算支付包括如下步骤：

⑴开启装置，启动系统，选择进入结算支付模块；打开菜品识别辅助光源打亮餐盘放置板对应的识别区，以此对不同的餐厅有灵活稳定的适应性照片获取环境；

⑵客户将盛有菜品餐具的标准餐盘放置到餐盘放置板，菜品识别摄像头拍摄标准餐盘的照片，并将照片传送给检测程序；

⑶检测程序检测照片画面中的菜品和杂物，通过预先训练的杂物识别算法将画面中菜品和杂物部分从画面中分割，送入分类程序，将杂物剔除；

⑷对于检测出的菜品，将检测出的菜品框选分割好；

⑸确认的菜品识别范围，对于某个菜品，首先抽取餐具特征，将餐具特征与当餐录入的餐具特征对比，得到相似度前几个的餐具；如果top1餐具不满足相似度通过阈值，则判定该餐具不合法；如果top1过阈值，则计算top1-top2的值；如果top1-top2的值大于阈值，则top1的餐具有显著性，则只需在top1对应的餐具中识别菜品；如果top1-top2的值小于阈值，则top1的餐具不具有显著性，需在top1和top2对应的餐具中匹配对应的菜品，以确保准确定和可靠性；

⑹在确认的菜品识别范围后，识别菜品：首先抽取菜品特征，菜品特征与对应餐具范围内的菜品特征对比，得到菜品相似度排序；如果top1菜品不满足相似度通过阈值，则判定该菜品未录入；如果top1过阈值，则计算top1-top2的值；如果top1-top2的值大于阈值，则top1的菜品有显著性，则判定为top1的菜品；如果top1-top2的值小于阈值，则top1的菜品不具有显著性，综合菜的匹配信息和餐具的匹配信息，加权计算得到一个综合值，并取top1菜品为识别出来的菜品；同时记录风险，以备追溯；

⑺重复步骤⑸～⑹，完成所有菜品的识别，并根据录入的价格，得到菜品的价格，计算出用餐总价；

⑻将上述照片以分割方式及对应价格显示在顾客触摸屏上，并显示用餐总价，文字和/或语音提示顾客用餐总价并进行支付；

⑼在菜品完成计价后或计价同时，启动顾客识别摄像头，获取清洗完整的顾客头部照片，抽取人脸特征点，判断人脸是否完整，角度是否合适，不合适则重拍，合适则进行下一步；

⑽将符合质量的人脸图片送入人脸识别程序，抽取人脸特征，并和已经录入数据库中的人脸特征进行比对；得到相似度top1和top2的人脸照片；首先判断top1的相似度是否满足通过阈值，如果不满足，则判定该顾客不在用户库中；提示人脸未录入；此时录入人脸或通过辅助支付的模式支付；

如果top1的人脸满足阈值，则需要判断是这个人的风险；计算top1-top2的值，如果该值大于风险阈值，则判定top1具有显著性；如果该值小于风险阈值，则判定top1具有风险性，需要额外的验证手段保证准确定，此时，顾客可以输入录入人脸时的录入密码进行二次校验，完成身份确认，并进行刷脸支付。

优选的，所述开餐使用过程的餐后数据查看包括：统计一段时间内的餐厅总的销售数据和单个菜品的销售数据，每个顾客的用餐消费总价、用餐配料及营养数据。

相比现有技术，本发明的有益效果在于：采用了较多的基础结算结构，系统和方法使得结算和支付高效，也使得装置的整体结构得到简化；菜品录入过程简单高效；用户脸部特征与用户账号直接关联，刷脸支付时无需另外输入用户的账号或者另外提供用户账号所绑定的手机、卡片等辅助设备，方便双手端餐盘的用户结算；整个系统的识别准确率高，实施方便且稳定可靠，经济性比较好。

附图说明

图1为基于视觉识别的计价和收银装置的结构示意图；

图2为基于视觉识别的计价和收银系统的主界面示意图；

图3为顾客信息录入模块的界面示意图；

图4为菜品录入模块的界面示意图；

图5为结算支付模块的界面示意图；

图6为顾客信息录入方法流程图；

图7为菜品录入方法流程图；

图8为结算支付的方法流程图。

图中：100、收银台；1、主机；2、客服触控屏；3、顾客触控屏；4、顾客识别摄像头；5、菜品识别摄像头；6、餐盘放置板；7、辅助多功能刷卡机；71、输入键盘；72、刷卡区；8、标准餐盘；9、菜品识别辅助光源。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

参见图1，一种基于视觉识别的计价和收银装置，包括主机1、客服触控屏2、顾客触控屏3、菜品识别摄像头5、餐盘放置板6和辅助多功能刷卡机7，所述客服触控屏2和顾客触控屏3相背的交错设置在收银台100上。菜品识别摄像头5正对所述餐盘放置板6的设置于顾客触控屏3的下方。餐盘放置板6固定设置在收银台100上，在顾客触控屏3的显示区域上方设置顾客识别摄像头4，在所述顾客触控屏3的下方设置菜品识别辅助光源9，所述菜品识别辅助光源9设置在所述菜品识别摄像头5的两侧。

其中，客服触控屏2和顾客触控屏3采用液晶触屏，所述菜品识别辅助光源9采用LED光源。

其中，所述菜品识别摄像头5根据输入的影像变化，自动感知是否有待结算的菜品摆放在餐盘放置板6上。

可选择的，餐盘放置板6设置有发光区，当待结算的菜品摆放在餐盘放置板6上时，遮挡发光区，以增强菜品识别摄像头5感知是否有有待结算的菜品摆放在餐盘放置板6上的准确率。

对于辅助多功能刷卡机7，包括输入键盘71、刷卡区72、二维码扫描区和或快闪支付感应区。二维码扫描区可以对应支付宝或微信等支付方式。由此降低研发成本，并未突发不能刷脸支付情况做应急支付处理。

进一步的，装置还包括语音播报器，自动向顾客播报语音提示，语音提示内容包括待支付菜品明细、菜价、结算总金额以及结算是否成功。

此外，在餐厅中还可设置一个专用的终端机，以此实现与收银台相分离的信息录入。

参见图2-图5，发明还提供了一种基于视觉识别的计价和收银控制系统，控制系统包括：菜品录入模块、顾客信息录入模块和结算支付模块。

其中，参见图3，顾客信息录入模块通过顾客识别摄像头4对顾客头部进行拍照，将获取的顾客照片传送给处理器，由主机1的处理器对顾客照片进行图形特征提取并显示在顾客触控屏3上，并结合顾客人工处理，录入顾客人脸、身份信息及支付账号信息。

其中，参见图4，菜品录入模块通过菜品识别摄像头5对标准餐盘8内的新菜品拍照，将获取菜品照片传送给处理器，由主机1的处理器对菜品照片提取图像特征信息并结合人工处理，确定菜品名称和价格。

其中，参见图5，结算支付模块通过菜品识别摄像头5对餐盘放置板6内的菜品进行拍照、计价并将用餐信息显示在顾客触控屏3上；同时，由顾客识别摄像头4抓拍顾客脸部照片，经处理器分析识别顾客并将顾客信息显示在顾客触控屏3上；在所述顾客触控屏3上同时显示顾客确认支付的选项由顾客确认完成刷脸支付。

此外，系统还包括辅助支付模块，辅助支付模块通过辅助多功能刷卡机7进行收款，辅助支付模块包括IC刷卡支付模式、二维码支付模式、或快闪支付模式等。

一种基于视觉识别的计价和收银方法，方法包括：

准备过程，准备过程完成餐具模板录入，为使用过程中的菜品录入和菜品识别做好准备；以及完成顾客信息录入，将顾客的人脸信息和账户信息绑定，为刷脸支付做好准备。

开餐使用过程，开餐使用过程包含开餐前的菜品录入、开餐时的结算支付、以及开餐后的数据查看过程；其中菜品录入将更新和调整历史菜品及价格，同时录入新菜品及对应价格；结算支付，通过视觉的菜品和菜品识别相结合的方式实现结算，以及通过免密的1：N的刷脸支付的方式进行支付；数据查看，统计每餐的销售情况，包括每个菜的销售量、销售总额、顾客个人消费额、顾客历史消费菜品及顾客历史消费总额。

菜品及营养数据推送过程，将顾客一段时间内的用餐信息、用餐配料及营养数据、消费信息和健康配餐建议信息传送给顾客。

其中，餐具模板录入过程为：

接通电源，开启装置；设备中的计算机，摄像头，光源等设备同时启动；补光灯主要用于打亮托盘区域，配合相机参数，获得清晰的照片；这样可以对不同的餐厅环境有灵活稳定的适应性。

操作员准备好食堂中所有的餐具，并准备一定量的菜品，菜品可以随意。

操作员启动餐具拍摄程序。

操作员取一个餐具，并在餐具中装入一定量的菜品，将餐具放置在托盘的各个位置，并调整餐具的角度，拍摄若干照片；并将这些照片保存在同一个文件位置。

操作员对每一个餐具重复上述操作。

当所有餐具图片准备完成后，运行餐具模板录入和学习程序，几秒种内，餐具将完成录入和学习。

已经录入的餐具，在后续的餐厅的正常运作中可以使用；如果更换或者增加新餐具，则只需删除不要的餐具图片，或者补拍摄新餐具的图片，并再次运行餐具录入程序即可。

以上步骤，依赖事先大批量餐具数据的采集，以及算法训练，从而得到一个具备抽取餐具特征的智能算法模型；

其中，顾客信息录入，参见图6所示的流程示意图：人脸录入的目的是将顾客的人脸信息和账户信息绑定，包括：

启动顾客信息录入程序。

顾客根据提示输入账户信息，账户信息在后台可以关联用户的手机号，身份证号，工号等；所以，用户可以输入关联的任何信息。

用户输入信息后，首先程序校验是否是合法账户，即账户是否存在；如果不合法则要求重新输入。

提示用户正式摄像头，提示方式可以通过语音，文字，指示灯等多种形式和组合。

启动拍照程序抓拍一张照片，拍照时，补光灯会根据环境情况和人脸的明暗自动调节亮度，以拍摄到清晰的人脸照片；照片拍摄完成后，送入照片质量评估算法模块，首先判断照片是否模糊，如果模糊则重新拍，通过则通过人脸特征抽取算法，抽取人脸特征点，判断人脸是否完整，角度是否合适；不合适则重拍；合适则进行下一步。

提醒顾客左右摇头；拍照并判断质量和角度是否符合；此处计算角度有一套高级算法。

提醒顾客抬头点头；拍照并判断质量和角度是否符合；此处计算角度有一套高级算法。

上述步骤都通过，则提醒顾客识别成功，并将拍摄过程中多个角度的图片存入该顾客的关联图片位置；并启动抽取人脸特征的算法，抽取各个角度的人脸特征，并将这些特征与该顾客的账户关联。

弹出输入密码窗口并提示输入密码。

用户可以输入一串密码，以应对未来支付时的特殊情况；正常情况下，用户在支付时不需要用到这个密码。

提示再次输入密码并校验；不通过则重新输入，通过则进行下一步。

如果该账户中之前已经录入过人脸，则需要判断新录入和人脸和原来的人脸是否是同一个人；如果是则通过；否则报错误信息，并要求联系工作人员。

全部完成则提示录入成功。

为了应对可能存在的多个人相似的情况；本发明提供了一种动态阈值的方法，即对于每一个新录入的人脸信息，首先抽取特征，并将该特征与人脸库中的其他用户进行特征对比，求取相似度；如果该人脸与其他人脸存在相似度较高的情况，则给这个人脸设定一个比较高的通过阈值；即未来进入识别的人，需要与该人脸相似度很高才能判定为同一个人；反之，如果该人脸与其他人脸的相似度都不高，则可以给该人脸设定一个相对低的通过阈值；阈值具体数值的设定方法，有多种算法可以实现；动态阈值的方法，主要兼顾和安全性和体验。

在实现路径上，人脸录入的步骤，可以在收银机器人本机上实现，也可以在餐厅中设置一个专用的终端机实现，也可以通过手机等移动终端实现。

其中，菜品录入参见图7所示的流程示意图，包括如下步骤。

接通电源，开启装置；设备中的计算机，摄像头，光源等设备同时启动；补光灯主要用于打亮托盘区域，配合相机参数，获得清晰的照片；这样可以对不同的餐厅环境有灵活稳定的适应性。

操作员准备好当餐的每个菜品的一个样品，每个菜品装在一个餐具中，并且保证这个菜品在当餐一直装在该餐具中。

本发明支持一次性录入多个菜品以提高效率。

操作员将多个需要录入的菜品放置到托盘中，将托盘放置到钢化玻璃台面上的识别区。

确认正确放置后，启动识别程序；识别程序调用摄像头拍摄一张照片，校验质量后送入菜品检测程序；检测程序检测画面中的菜品和杂物，并将画面中菜品和杂物部分从图片中分割出来，送入分类程序，将杂物剔除(此处依赖一个预先训练的可以识别杂物的算法模型)。

对于检测到的菜品，首先识别该菜品所用的餐具；抽取餐具信息，与之前录入的餐具模板做比对，匹配出最高的几个餐具；如果匹配的最高的餐具满足一定的阈值条件，则计算和第二个相似的餐具的相似度；否则认为这个餐具在实现录入的餐具模板中不存在，这个餐具需要录入餐具模板；如果餐具在模板中存在，且最相似和次相似的相差比较大，则判定该餐具为餐具模板中top1相似的餐具；否则，抛出几个可能的餐具，让操作员人工选择，以确保准确度；以上完成餐具的匹配过程。

对于确认完成餐具匹配的菜品，出现一个可输入的文本框；操作员通过触摸屏点击该文本框，可输入该菜品的价格。

对于每个完成价格设置的菜品，图片送入菜品识别程序，抽取该菜品的特征数据；此处依赖一个事先训练的可以抽取菜品特征的算法模型；该模型通过采集大量的菜品数据，分类后通过深度学习训练得到。

操作员点击确认录入，程序校验是否所有的菜品都有价格，而且相同的菜品没有不同的价格，则通过；该餐盘上所有菜品录入到当餐的菜品数据库中。

重复上述过程，完成当餐所有菜品的录入。

其中，结算支付方法参见图8所述的流程示意图，主要包括如下步骤。

接通电源，开启装置；设备中的计算机，摄像头，光源等设备同时启动；补光灯主要用于打亮托盘区域，配合相机参数，获得清晰的照片；这样可以对不同的餐厅环境有灵活稳定的适应性。

启动结算程序。

由于结算程序要实现无感的自动识别，尽可能减少顾客的交互；所以，首先需要智能地抓拍到一张清晰，完整，且无遮挡的餐盘图片。

菜品识别摄像头启动，程序智能抓拍一张餐盘图片进行识别。并送入程序中的识别区判断模块。

为了保证餐盘图片的完整，识别区设计了一个大小合适的识别框，以确保该识别框在完全被遮挡的情况下，得到的照片中，餐盘是完整的；识别区也可以通过压力传感器，红外测距传感器等方法事先；此时程序判断识别区被完整覆盖，判定有餐盘正确放置在识别区上；如果餐盘只覆盖部分识别区，程序将判定餐盘没有正确放置在识别区上。

为了确保餐盘图片的清晰和无遮挡，需要确保照片中的餐盘是静止不动的，且餐盘上面也没有运动的物体，比如手；具体实现上，程序会隔一段时间取一张图片，具体实现上，也可以每帧都取，为了实现速度，也可以优选的选择隔几十毫秒抓拍一次；在抓拍到图片后，和前面抓拍的图片进行比对，如果画面没有不同，则认为餐盘已经稳定且没有遮挡；如果图片相对前面的图片有不同，则判定餐盘还没有稳定，或者餐盘上面有移动的遮挡的物体。

检测程序检测画面中的菜品和杂物，并将画面中菜品和杂物部分从图片中分割出来，送入分类程序，将杂物剔除(此处依赖一个预先训练的可以识别杂物的算法模型)。

对于检测出的菜品，将检测出的菜品框选分割好。

对于某个菜品，首先抽取餐具特征，将餐具特征与当餐录入的餐具特征对比，得到相似度前几个的餐具；如果top1餐具不满足相似度通过阈值，则判定该餐具不合法；如果top1过阈值，则计算top1-top2的值；如果top1-top2的值大于阈值，则说明top1的餐具有显著性，则只需要在top1对应的餐具中识别菜即可；如果top1-top2的值小于阈值，则说明top1的餐具不具有显著性，需要在top1和top2对应的餐具中匹配对应的菜，以确保准确定和可靠性。

在确认的菜品识别范围后，菜品识别的方式和餐具识别的方式类似；首先抽取菜品特征，菜品特征与对应餐具范围内的菜品特征对比，得到相似度前几个的菜品；如果top1菜品不满足相似度通过阈值，则判定该菜品未录入；如果top1过阈值，则计算top1-top2的值；如果top1-top2的值大于阈值，则说明top1的菜品有显著性，则判定为top1的菜品；如果top1-top2的值小于阈值，则说明top1的菜品不具有显著性，此时，需要综合菜的匹配信息和餐具的匹配信息，加权计算得到一个综合值，并取top1菜为识别出来的菜；同时记录风险，以备追溯；通过前述的方法，可以实现菜品识别的准确度达到99.99％以上。

重复前面步骤，完成所有菜品的识别，并根据录入的价格，得到菜品的价格，计算出总价。

具体在实现上，餐具识别，菜品识别可以单独进行，也可以结合进行；如果只是用餐具，则对餐具进行定价，操作中装入对应价格的菜品；另外一种实现路径，也可以不依赖餐具，直接进行菜品的识别。

通过文字显示总价格，通过提示音播报价格，以让顾客知晓并确认；如果顾客发现有识别或者计算错误，可通过触摸屏上的寻找帮助，呼叫收银员进行人工干预处理，以提高可靠性。

在菜品完成计价后，启动人脸识别摄像头，拍照程序抓拍一张照片，拍照时，补光灯会根据环境情况和人脸的明暗自动调节亮度，以拍摄到清晰的人脸照片；照片拍摄完成后，送入照片质量评估算法模块，首先判断照片是否模糊，如果模糊则重新拍，通过则通过人脸特征抽取算法，抽取人脸特征点，判断人脸是否完整，角度是否合适；不合适则重拍；合适则进行下一步。

将符合质量的人脸图片送入人脸识别程序，抽取人脸特征，并和已经录入数据库中的人脸特征进行比对；得到最相似的top1和top2的人脸；首先判断top1的相似度是否满足通过阈值，特别的，此处用的阈值，是根据人脸数据库中事先计算出来的优选的动态阈值；如果不满足，则判定该顾客不在用户库中；提示人脸未录入；此时可以录入人脸或者通过其他的方式支付。

如果top1的人脸满足阈值，则需要判断是这个人的风险；计算top1-top2的值，如果该值大于风险阈值(特别的，此处的风险阈值，是根据已经录入的人脸数据库，计算出的优选的动态阈值)，则判定top1具有显著性；如果该值小于风险阈值，则判定top1具有风险性，需要额外的验证手段保证准确定，此时，顾客可以输入录入人脸时录入的密码进行二次校验，完成身份确认。

通过以上三个步骤，对于绝大多数的人，可以实现人脸识别的准确度到99.999％以上，加上密码校验，则可以实现人脸识别100％的准确；实现绝大多数情况下，用户的快速可靠的1：N的免密刷脸支付。

此外，数据查看过程即餐后数据查看包括：统计一段时间内的餐厅总的销售数据和单个菜品的销售数据，每个顾客的用餐消费总价、用餐配料及营养数据。

在餐中或者餐后，餐厅管理者都可以查看统计数据；可以在本机上查看每餐的销售数据，也可以在后台登陆web页面，查看历史每餐的销售数据。以此对菜品配料等作出调整。

此外，系统及方法还提供了进阶功能。

对于菜品，可以根据餐厅的运营情况，事先整理一个菜品清单；同时对于每个菜品，可以事先录入菜品的配料数据以及营养数据。

在前面的前提下，在每餐开餐录入数据时，可以勾选对应的菜品，如此，则在结算时，可以显示菜品名称及菜品的营养数据。

在前面的基础下，可以统计每天消耗的各个原材料的数量；没餐厅提前预定原料提供数据参考。

在前面的基础上，可以统计每个人每餐，每天，或者一段时间内的营养摄入情况；并以此提供对应的健康建议；该数据和建议，可以通过移动运用发送到顾客的账户上；顾客可以通过移动终端和移动程序，实时查看；并可以获得健康提醒的推送。

本发明的技术方案，是以智能收银机器人为主体，结合餐厅布局、标准餐盘、数据平台的整体解决方案。通过自动菜品识别、免密刷脸支付、数字化智能运营等功能，解决在实际场景中客户排队时间长、结算效率低、菜品数据难留存等实际问题，以实现提高客户体验、减少排队时间、精准分析数据、降低运营成本等多种客户实际需求。

该发明适应但不限于餐厅、学校食堂等用餐场所。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上诉教导，可以进行很多改变及变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变，即根据以上描述的技术方案以及构思，本领域的技术人员能够做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (16)

1.一种基于视觉识别的计价和收银装置，包括主机(1)、顾客触控屏(3)、菜品识别摄像头(5)和餐盘放置板(6)，所述菜品识别摄像头(5)正对所述餐盘放置板(6)的设置于顾客触控屏(3)的下方，其特征在于：所述餐盘放置板(6)固定设置在收银台(100)上，在所述顾客触控屏(3)的显示区域上方设置顾客识别摄像头(4)，在所述顾客触控屏(3)的下方设置菜品识别辅助光源(9)，所述菜品识别辅助光源(9)设置在所述菜品识别摄像头(5)的两侧。

2.根据权利要求1所述的装置，其特征在于：装置还包括辅助多功能刷卡机(7)，当人脸识别支付失败后，通过所述辅助多功能刷卡机(7)完成支付。

3.根据权利要求1或2所述的装置，其特征在于：在所述餐盘放置板(6)的底面设置压力传感器以感知是否有待结算的菜品摆放在餐盘放置板(6)上。

4.根据权利要求1或2所述的装置，其特征在于：所述菜品识别摄像头(5)根据输入的影像变化，自动感知是否有待结算的菜品摆放在餐盘放置板(6)上。

5.根据权利要求1或2所述的装置，其特征在于：所述餐盘放置板(6)设置有发光区，当待结算的菜品摆放在餐盘放置板(6)上时，遮挡发光区，以增强菜品识别摄像头(5)感知是否有有待结算的菜品摆放在餐盘放置板(6)上的准确率。

6.根据权利要求1或2所述的装置，其特征在于：装置还包括客服触控屏(2)，所述客服触控屏(2)和顾客触控屏(3)相背的交错设置在所述收银台(100)上。

7.根据权利要求1或2所述的装置，其特征在于：装置还包括语音播报器，自动向顾客播报语音提示，语音提示内容包括待支付菜品明细、菜价、结算总金额以及结算是否成功。

8.根据权利要求6所述的装置，其特征在于：所述客服触控屏(2)和顾客触控屏(3)采用液晶触屏，所述菜品识别辅助光源(9)采用LED光源。

9.一种基于视觉识别的计价和收银控制系统，其特征在于，控制系统包括：菜品录入模块、顾客信息录入模块和结算支付模块，

所述菜品录入模块通过菜品识别摄像头(5)对标准餐盘(8)内的新菜品拍照，将获取菜品照片传送给处理器，由主机(1)的处理器对菜品照片提取图像特征信息并结合人工处理，确定菜品名称和价格；

所述顾客信息录入模块通过顾客识别摄像头(4)对顾客头部进行拍照，将获取的顾客照片传送给处理器，由主机(1)的处理器对顾客照片进行图形特征提取并显示在顾客触控屏(3)上，并结合顾客人工处理，录入顾客人脸、身份信息及支付账号信息；

所述结算支付模块通过菜品识别摄像头(5)对餐盘放置板(6)内的菜品进行拍照、计价并将用餐信息显示在顾客触控屏(3)上；同时，由顾客识别摄像头(4)抓拍顾客脸部照片，经处理器分析识别顾客并将顾客信息显示在顾客触控屏(3)上；在所述顾客触控屏(3)上同时显示顾客确认支付的选项由顾客确认完成刷脸支付。

10.根据权利要求9所述的控制系统，其特征在于：系统还包括辅助支付模块，所述辅助支付模块通过辅助多功能刷卡机(7)进行收款，所述辅助支付模块包括IC刷卡支付模式、二维码支付模式、或快闪支付模式。

11.一种基于视觉识别的计价和收银方法，其特征在于，方法包括：

准备过程，准备过程完成餐具模板录入，为使用过程中的菜品录入和菜品识别做好准备；以及完成顾客信息录入，将顾客的人脸信息和账户信息绑定，为刷脸支付做好准备；

开餐使用过程，开餐使用过程包含开餐前的菜品录入、开餐时的结算支付、以及开餐后的数据查看过程；其中菜品录入将更新和调整历史菜品及价格，同时录入新菜品及对应价格；结算支付，通过视觉的菜品和菜品识别相结合的方式实现结算，以及通过免密的1：N的刷脸支付的方式进行支付；数据查看，统计每餐的销售情况，包括每个菜的销售量、销售总额、顾客个人消费额、顾客历史消费菜品及顾客历史消费总额；

菜品及营养数据推送过程，将顾客一段时间内的用餐信息、用餐配料及营养数据、消费信息和健康配餐建议信息传送给顾客。

12.根据权利要求11所述的方法，其特征在于：所述准备过程的餐具模板录入包括如下步骤：

⑴接通电源，开启装置；使得菜品识别辅助光源(9)打亮餐盘放置板(6)，配合摄像头参数，获得清晰的照片；以此对不同的餐厅有灵活稳定的适应性照片获取环境；

⑵操作员准备好食堂中所有的餐具，并准备一定量的菜品；

⑶操作员启动系统，进行餐具拍摄；

⑷操作员取一个餐具，并在餐具中装入一定量的菜品，将餐具放置在托盘的各个位置，并调整餐具的角度，拍摄若干照片；将照片保存在同一个文件位置；

⑸操作员对每一个餐具重复步骤⑷；

⑹当所有餐具图片准备完成后，运行餐具模板录入和学习程序，完成餐具录入和学习；

⑺已经录入的餐具，在后续的餐厅的正常运作中可以使用；当更换或者增加新餐具时，则删除不要的餐具图片，补拍新餐具的图片并重复步骤⑹完成新餐具的录入和学习。

13.根据权利要求11所述的方法，其特征在于：所述准备过程的顾客信息录入包括如下步骤：

⑴开启装置，启动系统，选择进入顾客信息录入模块；

⑵顾客根据系统提示输入账户信息，账户信息在后台可以关联用户的手机号、身份证号、学号、邮箱、地址、和/或工号；

⑶顾客输入信息后，系统校验是否是合法账户，确认账户是否存在；如果不合法则提示要求重新输入；

⑷提示顾客正视顾客识别摄像头，提示方式包括语音提示、文字提示、和/或指示灯提示；

⑸启动拍照程序抓拍客户头部照片，提示顾客抬头点头、左右摇头、和/或眨眼睛，照片拍摄完成后，送入照片质量程序，对照片质量通过评估算法进行评估，首先判断照片是否模糊，如果模糊则重新拍照，照片质量通过则通过人脸特征抽取算法抽取人脸特征点，判断人脸是否完整、角度是否合适，不符合要求则重新拍照，符合要求则进行下一步；

⑹提醒顾客识别成功，并将拍摄过程中多个角度的图片存入该顾客的关联图片位置；对顾客的照片通过人脸特征提取算法抽取各个角度的人脸特征，并将这些特征与该顾客的账户信息关联；

⑺录入客户账户密码，弹出输入密码窗口并提示输入密码，该密码应对未来支付时的特殊情况；提示再次输入密码并校验；不通过则重新输入，通过则进行下一步；

⑻如果该账户中之前已经录入过人脸，则判断新录入人脸和原来的人脸是否是同一个人；如果是则通过；否则报错误信息，并要求联系工作人员；

⑼全部完成则提示录入成功。

14.根据权利要求11所述的方法，其特征在于：所述开餐使用过程的菜品录入包括如下步骤：

⑴开启装置，启动系统，选择进入菜品录入模块；打开菜品识别辅助光源打亮餐盘放置板，配合摄像头参数，获得清晰的照片；以此对不同的餐厅有灵活稳定的适应性照片获取环境；

⑵操作员准备好当餐的每个菜品的一个样品，每个菜品装在一个餐具中，并且保证这个菜品一直装在该餐具中；

⑶操作员将需要录入的菜品放置到标准餐盘中，将标准餐盘放置到餐盘放置板上的识别区；

⑷确认正确放置后，启动菜品识别程序；识别程序调用菜品识别摄像头拍摄一张照片，校验质量后送入菜品检测程序；检测程序检测画面中的菜品和杂物，并将画面中菜品和杂物部分从图片中分割出来，送入分类程序，将杂物剔除；

⑸对于检测到的菜品，首先识别该菜品所用的餐具；抽取餐具信息，与之前录入的餐具模板做比对，匹配出最高的几个餐具；如果匹配的最高的餐具满足阈值条件，则计算和第二个相似的餐具的相似度；否则认为这个餐具在实现录入的餐具模板中不存在，这个餐具需要录入餐具模板；如果餐具在模板中存在，且最相似和次相似的相差比较大，则判定该餐具为餐具模板中top1相似的餐具；否则，抛出几个可能的餐具，让操作员人工选择，以确保准确度；以上完成餐具的匹配过程；

⑹对于确认完成餐具匹配的菜品，出现一个可输入的文本框；操作员通过触摸屏点击该文本框，可输入该菜品的名称和价格；

⑺对于每个完成价格设置的菜品，图片送入菜品识别程序，通过事先训练的菜品特征抽取算法抽取该菜品的特征数据；

⑻操作员点击确认菜品录入，程序校验是否所有的菜品都有价格，而且相同的菜品没有不同的价格，则通过；该标准餐盘上所有菜品录入到当餐的菜品数据库中；

⑼重复上述过程⑶～⑻，完成所有菜品的录入。

15.根据权利要求11所述的方法，其特征在于：所述开餐使用过程的结算支付包括如下步骤：

⑴开启装置，启动系统，选择进入结算支付模块；打开菜品识别辅助光源打亮餐盘放置板对应的识别区，以此对不同的餐厅有灵活稳定的适应性照片获取环境；

⑵客户将盛有菜品餐具的标准餐盘放置到餐盘放置板，菜品识别摄像头拍摄标准餐盘的照片，并将照片传送给检测程序；

⑶检测程序检测照片画面中的菜品和杂物，通过预先训练的杂物识别算法将画面中菜品和杂物部分从画面中分割，送入分类程序，将杂物剔除；

⑷对于检测出的菜品，将检测出的菜品框选分割好；

⑸确认的菜品识别范围，对于某个菜品，首先抽取餐具特征，将餐具特征与当餐录入的餐具特征对比，得到相似度前几个的餐具；如果top1餐具不满足相似度通过阈值，则判定该餐具不合法；如果top1过阈值，则计算top1-top2的值；如果top1-top2的值大于阈值，则top1的餐具有显著性，则只需在top1对应的餐具中识别菜品；如果top1-top2的值小于阈值，则top1的餐具不具有显著性，需在top1和top2对应的餐具中匹配对应的菜品，以确保准确定和可靠性；

⑹在确认的菜品识别范围后，识别菜品：首先抽取菜品特征，菜品特征与对应餐具范围内的菜品特征对比，得到菜品相似度排序；如果top1菜品不满足相似度通过阈值，则判定该菜品未录入；如果top1过阈值，则计算top1-top2的值；如果top1-top2的值大于阈值，则top1的菜品有显著性，则判定为top1的菜品；如果top1-top2的值小于阈值，则top1的菜品不具有显著性，综合菜的匹配信息和餐具的匹配信息，加权计算得到一个综合值，并取top1菜品为识别出来的菜品；同时记录风险，以备追溯；

⑺重复步骤⑸～⑹，完成所有菜品的识别，并根据录入的价格，得到菜品的价格，计算出用餐总价；

⑻将上述照片以分割方式及对应价格显示在顾客触摸屏上，并显示用餐总价，文字和/或语音提示顾客用餐总价并进行支付；

⑼在菜品完成计价后或计价同时，启动顾客识别摄像头，获取清洗完整的顾客头部照片，抽取人脸特征点，判断人脸是否完整，角度是否合适，不合适则重拍，合适则进行下一步；

⑽将符合质量的人脸图片送入人脸识别程序，抽取人脸特征，并和已经录入数据库中的人脸特征进行比对；得到相似度top1和top2的人脸照片；首先判断top1的相似度是否满足通过阈值，如果不满足，则判定该顾客不在用户库中；提示人脸未录入；此时录入人脸或通过辅助支付的模式支付；

如果top1的人脸满足阈值，则需要判断是这个人的风险；计算top1-top2的值，如果该值大于风险阈值，则判定top1具有显著性；如果该值小于风险阈值，则判定top1具有风险性，需要额外的验证手段保证准确定，此时，顾客可以输入录入人脸时的录入密码进行二次校验，完成身份确认，并进行刷脸支付。

16.根据权利要求11所述的方法，其特征在于：所述开餐使用过程的餐后数据查看包括：统计一段时间内的餐厅总的销售数据和单个菜品的销售数据，每个顾客的用餐消费总价、用餐配料及营养数据。