CN109145839A - 基于机器视觉识别的计价方法及计算机可读存储介质 - Google Patents

基于机器视觉识别的计价方法及计算机可读存储介质 Download PDF

Info

Publication number
CN109145839A
CN109145839A CN201810993026.9A CN201810993026A CN109145839A CN 109145839 A CN109145839 A CN 109145839A CN 201810993026 A CN201810993026 A CN 201810993026A CN 109145839 A CN109145839 A CN 109145839A
Authority
CN
China
Prior art keywords
service plate
identification region
image
payment amount
plate type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810993026.9A
Other languages
English (en)
Inventor
郑庚
林江
许荣贺
王保青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Super Information Technology Co Ltd
Original Assignee
Fujian Super Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Super Information Technology Co Ltd filed Critical Fujian Super Information Technology Co Ltd
Priority to CN201810993026.9A priority Critical patent/CN109145839A/zh
Publication of CN109145839A publication Critical patent/CN109145839A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/12Hotels or restaurants
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/01Details for indicating
    • G07G1/06Details for indicating with provision for the noting of the money to be paid

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉识别的计价方法及计算机可读存储介质,方法包括:获取各餐盘类型的餐盘特征,并分别与预设的价格信息进行关联;按照第一时间周期拍摄得到识别区域的第一图像;对第一图像进行简单识别,若判定餐盘进入识别区域,则间隔第二时间周期后拍摄得到识别区域的第二图像;对所述第二图像进行深度识别,得到识别区域中各餐盘的形状数据和颜色数据;匹配得到各餐盘对应的餐盘类型;计算得到支付金额;重复执行深度识别的步骤;若连续预设次数计算得到的支付金额一致,则显示所述支付金额对应的支付信息。本发明可在无需改造餐台、使用原有餐具的情况下,提高自动计价的快速性和准确性。

Description

基于机器视觉识别的计价方法及计算机可读存储介质
技术领域
本发明涉及机器视觉识别技术领域,尤其涉及一种基于机器视觉识别的计价方法及计算机可读存储介质。
背景技术
目前餐饮行业实现无人值守自助就餐的方案包括以下两种:
方案一:通过在餐具底部加装射频卡,通过射频技术实现。其工作原理是在餐盘底部植入RFID射频芯片,餐具进入结算区后(射频天线感应区),通过对餐具底部RFID射频芯片进行读写操作,借助于计算机及其通讯技术,实现对餐具底部RFID射频芯片的通信和管理,实现快速结算。
方案二:通过图像识别实现。目前一般是通过一个红外感应器或图像帧差法确认餐盘是否放到检测区,检测到后发送信号给视频采集模块拍照保存,然后对图片信息进行算法分析,得到对应盘子种类的数量后计价,顾客刷卡支付。
但方案一需要定制餐盘、改造结算台,改造成本高,适应性难度大;嵌置芯片的餐具不宜高温消毒,在长期使用的过程中摔打磨损会降低识别的效率,餐具损耗加大运营过程中耗材成本。
对于方案二,无论是红外感应还是帧差法确认餐具放好后再触发识别都存在一定的弊端,餐盘只进行一次识别,识别成功立即调用支付设备进行支付,如果此时用餐人员增加餐盘菜品,计费金额不会再进行调整;并且支付方式比较传统,大部分为储值卡支付,随着时代的发展,无卡支付已经是趋势,所以不能满足顾客的支付需求。
发明内容
本发明所要解决的技术问题是:提供一种基于机器视觉识别的计价方法及计算机可读存储介质,提高自动计价的快速性和准确性。
为了解决上述技术问题,本发明采用的技术方案为:一种基于机器视觉识别的计价方法,包括:
获取各餐盘类型的餐盘特征,并分别将各餐盘类型与预设的价格信息进行关联,所述餐盘特征包括形状数据和颜色数据;
按照预设的第一时间周期对识别区域进行拍摄,得到识别区域的第一图像;
对所述第一图像进行简单识别,判断餐盘是否进入识别区域;
若是,则间隔预设的第二时间周期后,对识别区域进行拍摄,得到识别区域的第二图像;
对所述第二图像进行深度识别,得到识别区域中各餐盘的形状数据和颜色数据;
分别将所述各餐盘的形状数据和颜色数据与各餐盘类型的餐盘特征进行匹配,得到各餐盘对应的餐盘类型;
根据各餐盘对应的餐盘类型以及餐盘类型对应的价格信息,计算得到支付金额;
重复执行所述间隔预设的第二时间周期后,对识别区域进行拍摄,得到识别区域的第二图像的步骤至所述根据各餐盘对应的餐盘类型以及餐盘类型对应的价格信息,计算得到支付金额的步骤;
若连续预设次数计算得到的支付金额一致,则显示所述支付金额对应的支付信息。
本发明还涉及一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如下步骤:
获取各餐盘类型的餐盘特征,并分别将各餐盘类型与预设的价格信息进行关联,所述餐盘特征包括形状数据和颜色数据;
按照预设的第一时间周期对识别区域进行拍摄,得到识别区域的第一图像;
对所述第一图像进行简单识别,判断餐盘是否进入识别区域;
若是,则间隔预设的第二时间周期后,对识别区域进行拍摄,得到识别区域的第二图像;
对所述第二图像进行深度识别,得到识别区域中各餐盘的形状数据和颜色数据;
分别将所述各餐盘的形状数据和颜色数据与各餐盘类型的餐盘特征进行匹配,得到各餐盘对应的餐盘类型;
根据各餐盘对应的餐盘类型以及餐盘类型对应的价格信息,计算得到支付金额;
重复执行所述间隔预设的第二时间周期后,对识别区域进行拍摄,得到识别区域的第二图像的步骤至所述根据各餐盘对应的餐盘类型以及餐盘类型对应的价格信息,计算得到支付金额的步骤;
若连续预设次数计算得到的支付金额一致,则显示所述支付金额对应的支付信息。
本发明的有益效果在于:通过获取餐盘类型的餐盘特征用于后续匹配,可最大限度的使用商户现有餐具;通过拍摄图像对图像进行分析识别,可无需对餐台进行特定改造,节约了改造成本,也无需在餐盘上嵌置芯片,保证识别效率且节约耗材成本;通过先定时进行简单识别,识别到餐盘进入识别区域后再进行深度识别,节约处理器的性能;通过重复进行深度识别,在顾客增加或减少餐盘时,都能及时地重新自动计价并刷新支付金额,提高了自动计价的准确性,且提高了客户体验。本发明可在无需改造餐台、使用现有餐具的情况下实现自动计价,且计价迅速准确,从而可缓解结算排队的问题,同时减少人工投入,提升商家利润。
附图说明
图1为本发明的一种基于机器视觉识别的计价方法的流程图;
图2为本发明实施例一的方法流程图;
图3为本发明实施例二的步骤S3的方法流程图;
图4为本发明实施例二的步骤S5的方法流程图。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果,以下结合实施方式并配合附图详予说明。
本发明最关键的构思在于:基于机器视觉识别进行计价,降低成本;增加了识别验证和识别修正流程,保证计价准确性。
请参阅图1,一种基于机器视觉识别的计价方法,包括:
获取各餐盘类型的餐盘特征,并分别将各餐盘类型与预设的价格信息进行关联,所述餐盘特征包括形状数据和颜色数据;
按照预设的第一时间周期对识别区域进行拍摄,得到识别区域的第一图像;
对所述第一图像进行简单识别,判断餐盘是否进入识别区域;
若是,则间隔预设的第二时间周期后,对识别区域进行拍摄,得到识别区域的第二图像;
对所述第二图像进行深度识别,得到识别区域中各餐盘的形状数据和颜色数据;
分别将所述各餐盘的形状数据和颜色数据与各餐盘类型的餐盘特征进行匹配,得到各餐盘对应的餐盘类型;
根据各餐盘对应的餐盘类型以及餐盘类型对应的价格信息,计算得到支付金额;
重复执行所述间隔预设的第二时间周期后,对识别区域进行拍摄,得到识别区域的第二图像的步骤至所述根据各餐盘对应的餐盘类型以及餐盘类型对应的价格信息,计算得到支付金额的步骤;
若连续预设次数计算得到的支付金额一致,则显示所述支付金额对应的支付信息。
从上述描述可知,本发明的有益效果在于:可无需对餐台进行特定的改造,也可最大限度地使用商户现有的餐具,管理人员易于学习管理,定价方便,计价迅速准确,支付安全,从而可减少运营成本,提升翻台率,提高顾客的满意度。
进一步地,所述显示所述支付金额对应的支付信息之后,进一步包括:
在开始支付前重复执行所述间隔预设的第二时间周期后,对识别区域进行拍摄,得到识别区域的第二图像的步骤至所述根据各餐盘对应的餐盘类型以及餐盘类型对应的价格信息,计算得到支付金额的步骤;
将所显示的支付信息对应的支付金额作为第一支付金额,将显示支付信息后且开始支付前计算得到的支付金额作为第二支付金额,若连续预设次数计算得到的第二支付金额与所述第一支付金额不一致,且连续预设次数计算得到的第二支付金额一致,则将支付信息变更为所述第二支付金额对应的支付信息。
由上述描述可知,增加了识别修正流程,在顾客支付前,餐盘数量增加或减少,都能及时地重新自动计价并刷新支付金额,进一步提高了自动计价的准确性。
进一步地,所述获取各餐盘类型的餐盘特征,并分别将各餐盘类型与预设的价格信息进行关联,所述餐盘特征包括形状数据和颜色数据具体为:
将一餐盘类型的餐盘放入识别区域;
拍摄得到所述识别区域的图像;
对所述识别区域的图像进行分析识别,得到所述餐盘的形状数据和颜色数据,作为所述一餐盘类型的餐盘特征;
将所述一餐盘类型与预设的价格信息和时间信息进行关联。
由上述描述可知,通过获取餐盘类型的餐盘特征用于后续匹配,可最大限度的使用商户现有餐具。
进一步地,所述识别区域中设置有预设个数的识别标志;
所述对所述第一图像进行简单识别,判断餐盘是否进入识别区域具体为:
对所述第一图像进行分析识别,得到所述第一图像中的识别标志的个数;
判断所述识别标志的个数与预设个数是否一致;
若一致,则判定餐盘未进入识别区域;
若不一致,则判定餐盘进入识别区域。
由上述描述可知,通过设置识别标志,可简单方便地识别餐盘是否被放入识别区域。
进一步地,所述对所述第二图像进行深度识别,得到识别区域中各餐盘的形状数据和颜色数据具体为:
复制所述第二图像,得到图像副本;
对所述图像副本进行二值化处理,得到二值图像;
根据凹凸性,对所述二值图像进行图像分割,得到餐盘碎片;
对所述餐盘碎片进行图像碎片拼接,得到识别区域中各餐盘的形状数据,所述形状数据为边缘轮廓点的坐标集合;
分别根据所述各餐盘的形状数据,在所述第二图像中获取各餐盘的颜色数据。
由上述描述可知,通过深度识别,识别得到餐盘的形状数据和颜色数据,用于后续作为匹配餐盘类型的依据。
本发明还提出一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如下步骤:
获取各餐盘类型的餐盘特征,并分别将各餐盘类型与预设的价格信息进行关联,所述餐盘特征包括形状数据和颜色数据;
按照预设的第一时间周期对识别区域进行拍摄,得到识别区域的第一图像;
对所述第一图像进行简单识别,判断餐盘是否进入识别区域;
若是,则间隔预设的第二时间周期后,对识别区域进行拍摄,得到识别区域的第二图像;
对所述第二图像进行深度识别,得到识别区域中各餐盘的形状数据和颜色数据;
分别将所述各餐盘的形状数据和颜色数据与各餐盘类型的餐盘特征进行匹配,得到各餐盘对应的餐盘类型;
根据各餐盘对应的餐盘类型以及餐盘类型对应的价格信息,计算得到支付金额;
重复执行所述间隔预设的第二时间周期后,对识别区域进行拍摄,得到识别区域的第二图像的步骤至所述根据各餐盘对应的餐盘类型以及餐盘类型对应的价格信息,计算得到支付金额的步骤;
若连续预设次数计算得到的支付金额一致,则显示所述支付金额对应的支付信息。
进一步地,所述显示所述支付金额对应的支付信息之后,进一步包括:
在开始支付前重复执行所述间隔预设的第二时间周期后,对识别区域进行拍摄,得到识别区域的第二图像的步骤至所述根据各餐盘对应的餐盘类型以及餐盘类型对应的价格信息,计算得到支付金额的步骤;
将所显示的支付信息对应的支付金额作为第一支付金额,将显示支付信息后且开始支付前计算得到的支付金额作为第二支付金额,若连续预设次数计算得到的第二支付金额与所述第一支付金额不一致,且连续预设次数计算得到的第二支付金额一致,则将支付信息变更为所述第二支付金额对应的支付信息。
进一步地,所述获取各餐盘类型的餐盘特征,并分别将各餐盘类型与预设的价格信息进行关联,所述餐盘特征包括形状数据和颜色数据具体为:
将一餐盘类型的餐盘放入识别区域;
拍摄得到所述识别区域的图像;
对所述识别区域的图像进行分析识别,得到所述餐盘的形状数据和颜色数据,作为所述一餐盘类型的餐盘特征;
将所述一餐盘类型与预设的价格信息和时间信息进行关联。
进一步地,所述识别区域中设置有预设个数的识别标志;
所述对所述第一图像进行简单识别,判断餐盘是否进入识别区域具体为:
对所述第一图像进行分析识别,得到所述第一图像中的识别标志的个数;
判断所述识别标志的个数与预设个数是否一致;
若一致,则判定餐盘未进入识别区域;
若不一致,则判定餐盘进入识别区域。
进一步地,所述对所述第二图像进行深度识别,得到识别区域中各餐盘的形状数据和颜色数据具体为:
复制所述第二图像,得到图像副本;
对所述图像副本进行二值化处理,得到二值图像;
根据凹凸性,对所述二值图像进行图像分割,得到餐盘碎片;
对所述餐盘碎片进行图像碎片拼接,得到识别区域中各餐盘的形状数据,所述形状数据为边缘轮廓点的坐标集合;
分别根据所述各餐盘的形状数据,在所述第二图像中获取各餐盘的颜色数据。
实施例一
请参照图2,本发明的实施例一为:一种基于机器视觉识别的计价方法,可应用于自助餐饮行业中的自动计价系统,所述方法包括如下步骤:
S1:获取各餐盘类型的餐盘特征,并分别将各餐盘类型与预设的价格信息进行关联,所述餐盘特征包括形状数据和颜色数据。
S2:按照预设的第一时间周期对识别区域进行拍摄,得到识别区域的第一图像;优选地,所述第一时间周期为10ms;即每隔10ms就对识别区域进行拍摄识别。
S3:对所述第一图像进行简单识别,判断餐盘是否进入识别区域,若是,则执行步骤S4,若否,则继续定时拍摄识别区域并判断是否有餐盘进入识别区域,即返回执行步骤S2。
S4:间隔预设的第二时间周期后,对识别区域进行拍摄,得到识别区域的第二图像;优选地,所述第二时间周期为10ms。
S5:对所述第二图像进行深度识别,得到识别区域中各餐盘的形状数据和颜色数据。
S6:分别将所述各餐盘的形状数据和颜色数据与各餐盘类型的餐盘特征进行匹配,得到各餐盘对应的餐盘类型;具体地,可通过机器视觉中的轮廓匹配算法进行匹配。
S7:根据各餐盘对应的餐盘类型以及餐盘类型对应的价格信息,计算得到支付金额;即将各餐盘的餐盘类型对应的价格进行相加,即可得到支付金额。进一步地,保存所述支付金额。
S8:判断是否已显示支付信息,若否,则执行步骤S9,若是,则执行步骤S13。
S9:X=X+1,所述X的初始值为0;X可表示显示支付信息前进行深度识别并计算支付金额的次数。
S10:判断X是否大于或等于预设次数,若是,则执行步骤S11,若否,则再进行一轮深度识别并再计算一次支付金额,即重复执行步骤S4-S7。
S11:判断连续预设次数计算得到的支付金额是否一致,若是,则执行步骤S12,若否,则返回执行步骤S4。优选地,所述预设次数为3。本步骤即判断是否连续三次计算得到的支付金额是一致的。
S12:显示所述支付金额对应的支付信息;进一步地,同时语音播放所述支付金额。
S13:判断是否开始支付,即通过判断是否已启动支付流程来判断用户是否开始支付,若是,则执行支付流程,若否,则执行步骤S14。
S14:Y=Y+1,所述Y的初始值为-1,Y可表示显示支付信息后、开始支付前,进行深度识别并计算支付金额的次数。
S15:判断Y是否大于或等于预设次数,若是,则执行步骤S16,若否,则返回执行步骤S4。
S16:将所显示的支付信息对应的支付金额作为第一支付金额,将显示支付信息后且开始支付前计算得到的支付金额作为第二支付金额,判断连续预设次数计算得到的第二支付金额是否一致且与所述第一支付金额不一致,若是,即连续预设次数计算得到的第二支付金额一致且与步骤S12中的支付金额不一致,则执行步骤S17,若否,即连续预设次数计算得到的第二支付金额不一致或连续预设次数计算得到的第二支付金额与步骤S12中的支付金额一致,则继续进行深度识别,即执行步骤S4,直至启动支付流程。
S17:将支付信息变更为所述第二支付金额对应的支付信息。
进一步地,在步骤S17后,令Y=-1,然后继续返回执行步骤S4,直至开始支付流程。
优选地,所述预设次数为3。步骤S16-S17即若在显示支付信息后、开始支付前,连续三次计算得到的支付金额与所显示的支付金额不一致,且这连续三次计算得到的支付金额一致,则将支付信息变更为这连续三次计算得到的支付金额对应的支付信息。
进一步地,若在显示支付信息或变更支付信息后,顾客如果感觉支付信息不合理,可手工触发重新识别流程,或联系管理人员进行人工定价处理。
对于步骤S13中的支付流程,本实施例可集成多种渠道支付方式,如包括较为传统的银联卡、储值卡、员工卡消费,还包括当今市面较为流行的第三方平台(如微信、支付宝等)扫码支付以及科技前沿的人脸支付。可对支付方式的优先级进行设定。
与自动计价系统配置连接的智能收银终端,支持受理多收单行交易业务,支持磁卡、IC卡、云闪付交易。储值卡、员工卡交易数据采用金融行业传统8583包格式传输,确保资金数据的安全性。微信、支付宝、人脸支付数据采用HTTPS通讯协议与第三方平台对接,防止数据被恶意篡改,保证数据安全。
顾客可选择适当的支付方式进行支付。自动计价系统中的支付模块对支付数据进行处理并把支付结果回调给智能收银终端,智能收银终端中的收银程序对支付结果(包括交易结果码、交易金额、交易参考号等)进行判断提示,若支付成功则记录收银流水并保留交易图片于本地,在网络正常的情况下定时上传到管理平台,管理平台可根据交易图片对交易场景进行追溯。
在具体应用场景中,顾客取餐完毕,将托盘放置于识别区域,自动计价系统就会自动感应进行识别计价,然后语音提示进入支付环节,顾客选择适当的支付方式进行支付,系统对支付结果进行判断,若支付成功则提示顾客取餐,整个过程不需要收银员干预即可自动完成。
本实施例相比现有的自动计价方法,增加了识别验证和识别修正流程,在顾客支付前,餐盘数量增加或减少,都能及时地重新自动计价并刷新支付金额,提高了自动计价的准确性;同时本实施例中的修正流程的逻辑可忽略短时间内识别结果变动带来的误差,使程序输入结果变的稳定可靠,提高了抗干扰能力;并且,本实施例的支付方式多样且安全。本实施例可无需对餐台进行特定的改造,也可最大限度地使用商户现有的餐具,管理人员易于学习管理,定价方便,计价迅速准确,支付安全,从而可减少运营成本,提升翻台率,提高顾客的满意度。
实施例二
请参照图3-4,本实施例是实施例一的进一步拓展。
如图3所示,步骤S1包括如下步骤:
S101:将一餐盘类型的餐盘放入识别区域;优选地,每次只放入一个空餐盘到识别区域。
S102:拍摄得到所述识别区域的图像;优选地,从识别区域正上方进行拍摄,保证后续识别的准确性。
S103:对所述识别区域的图像进行分析识别,得到所述餐盘的形状数据和颜色数据,作为所述一餐盘类型的餐盘特征。由于每次只放入一个餐盘,且餐盘上无干扰物,因此可以容易识别到餐盘的轮廓,采集边缘轮廓点的坐标集合,即可得到形状数据,然后获取轮廓附件的像素点信息,即可得到颜色数据。
S104:将所述一餐盘类型与预设的价格信息和时间信息进行关联。通过将餐盘类型与价格信息进行关联,实现餐盘类型的定价,同时与时间信息进行关联,以支持时段价格的设定,即不同时段设定不同的价格。
每种餐盘类型都代表一种价格,对于每种餐盘类型都进行步骤S101-104的操作。
对于步骤S3,具体地,使用在位检测技术,在餐盘放置底座,即识别区域中设置预设个数的识别标志,例如固定大小的圆形的识别点。当有托盘或餐盘放入识别区域中时,某些识别标志会被部分或全部遮住,图像识别到识别标志个数会发生变化,因此,在步骤S3中,先对对所述第一图像进行分析识别,得到所述第一图像中的识别标志的个数;然后判断所述识别标志的个数与预设个数是否一致,即是否与原来设置的识别标志的个数一致,若一致,则判定餐盘未进入识别区域,继续按照第一时间周期进行简单识别;若不一致,则判定餐盘进入识别区域,此时发出信号通知系统开始进行深度识别,即执行步骤S4。
对于步骤S5,如图4所示,具体包括如下步骤:
S501:复制所述第二图像,得到图像副本。
S502:对所述图像副本进行二值化处理,得到二值图像。
一般在餐厅中,会将餐盘放在托盘上,然后将整个托盘放入识别区域,因此,为了使图像数据二值化后易处理,降低后续的识别难度,餐盘颜色与托盘颜色、识别区域的背景颜色要有凸出对比,例如,餐盘选用亮色系,托盘和背景采用深色系。
S503:根据凹凸性,对所述二值图像进行图像分割,得到餐盘碎片。
S504:对所述餐盘碎片进行图像碎片拼接,得到识别区域中各餐盘的形状数据,所述形状数据为边缘轮廓点的坐标集合。
对于步骤S503-504,优选地,对于没有交界的餐盘,即不与其他餐盘触碰的餐盘不进行分割处理,而是可直接获取其餐盘轮廓,然后获取边缘轮廓点的坐标集合,得到该餐盘的形状数据。而对于多个由重叠的餐盘,在交界处会产生凹槽,相邻的两个盘子会有两个交接处,对应两个凹槽的里面的点,从而将两个盘子分割。由于两个盘子的交界处的凹陷比较大,比较容易就能提取出凹陷处的最低点,根据两个最低点就能将两个盘子分开。本实施例的分割方案较根据像素差异分割方案的好处在于,在处理形状不规则的餐盘时能有效的排除菜品轮廓和其它外接干扰对餐盘轮廓的干扰。
然后对餐盘碎片进行拼接。首先,根据各个餐盘碎片的外接矩形,提取轮廓较大的餐盘碎片,并对这些餐盘碎片进行合并,从而大概将不同餐盘的轮廓区分开来。再提取轮廓较小的餐盘碎片,并根据距离、形状、角度以及连接后凹凸性等因素,将这些轮廓较小的餐盘碎片合并到最合理的轮廓较大的餐盘碎片中。提取合并完后的轮廓的边缘点坐标集合,即可得到餐盘的形状数据。本实施例中,可采用跨平台计算机视觉库来进行碎片拼接。提取的边缘轮廓点可调用链码函数,生成对应的模板文件,要获取坐标时,只要调用对应的链码函数进行解码即可。
该过程根据餐盘的特有属性,比如餐盘颜色是亮色系,以及餐盘的部分相比菜品的部分一般是比较大的,通过一系列的去噪声和干扰的算法(通过二值化,形态滤波等操作),尽量过滤出餐盘的部分。
进一步地,对合并得到的轮廓进行多余部分的裁剪,该步骤主要根据轮廓的边缘,一般来说,餐盘凹陷和凸出的部分不会太大,如果轮廓的边缘凸出部分太大,作为餐盘边缘并不合理,则按照凸出的方向,向内进行裁剪,根据这一属性可把干扰部分裁剪掉,尽可能的接近原始餐盘形状。
S505:分别根据所述各餐盘的形状数据,在所述第二图像中获取各餐盘的颜色数据。具体地,依据餐盘在副本图像中的坐标信息获取原图餐盘边缘附近颜色数据。
传统餐具自动计价采用RFID方式,餐具和餐台都需要特殊定制,造价成本高,且带有芯片的餐具不宜做高温消毒处理。而机器视觉识别则不受这些限制,商户可延用原有的餐具,采用本实施例的方法即能达到自动识别快速收银的目的,每次识别只需几百毫秒,反应灵敏,顾客在支付前增加或减少餐盘系统均能快速响应,且支付渠道多样、安全、快速,从而缓解决结算排队问题,同时减少人工投入,为商家提升利润,打造便捷的智慧创意餐厅。
实施例三
本实施例是对应上述实施例的一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如下步骤:
获取各餐盘类型的餐盘特征,并分别将各餐盘类型与预设的价格信息进行关联,所述餐盘特征包括形状数据和颜色数据;
按照预设的第一时间周期对识别区域进行拍摄,得到识别区域的第一图像;
对所述第一图像进行简单识别,判断餐盘是否进入识别区域;
若是,则间隔预设的第二时间周期后,对识别区域进行拍摄,得到识别区域的第二图像;
对所述第二图像进行深度识别,得到识别区域中各餐盘的形状数据和颜色数据;
分别将所述各餐盘的形状数据和颜色数据与各餐盘类型的餐盘特征进行匹配,得到各餐盘对应的餐盘类型;
根据各餐盘对应的餐盘类型以及餐盘类型对应的价格信息,计算得到支付金额;
重复执行所述间隔预设的第二时间周期后,对识别区域进行拍摄,得到识别区域的第二图像的步骤至所述根据各餐盘对应的餐盘类型以及餐盘类型对应的价格信息,计算得到支付金额的步骤;
若连续预设次数计算得到的支付金额一致,则显示所述支付金额对应的支付信息。
进一步地,所述显示所述支付金额对应的支付信息之后,进一步包括:
在开始支付前重复执行所述间隔预设的第二时间周期后,对识别区域进行拍摄,得到识别区域的第二图像的步骤至所述根据各餐盘对应的餐盘类型以及餐盘类型对应的价格信息,计算得到支付金额的步骤;
将所显示的支付信息对应的支付金额作为第一支付金额,将显示支付信息后且开始支付前计算得到的支付金额作为第二支付金额,若连续预设次数计算得到的第二支付金额与所述第一支付金额不一致,且连续预设次数计算得到的第二支付金额一致,则将支付信息变更为所述第二支付金额对应的支付信息。
进一步地,所述获取各餐盘类型的餐盘特征,并分别将各餐盘类型与预设的价格信息进行关联,所述餐盘特征包括形状数据和颜色数据具体为:
将一餐盘类型的餐盘放入识别区域;
拍摄得到所述识别区域的图像;
对所述识别区域的图像进行分析识别,得到所述餐盘的形状数据和颜色数据,作为所述一餐盘类型的餐盘特征;
将所述一餐盘类型与预设的价格信息和时间信息进行关联。
进一步地,所述识别区域中设置有预设个数的识别标志;
所述对所述第一图像进行简单识别,判断餐盘是否进入识别区域具体为:
对所述第一图像进行分析识别,得到所述第一图像中的识别标志的个数;
判断所述识别标志的个数与预设个数是否一致;
若一致,则判定餐盘未进入识别区域;
若不一致,则判定餐盘进入识别区域。
进一步地,所述对所述第二图像进行深度识别,得到识别区域中各餐盘的形状数据和颜色数据具体为:
复制所述第二图像,得到图像副本;
对所述图像副本进行二值化处理,得到二值图像;
根据凹凸性,对所述二值图像进行图像分割,得到餐盘碎片;
对所述餐盘碎片进行图像碎片拼接,得到识别区域中各餐盘的形状数据,所述形状数据为边缘轮廓点的坐标集合;
分别根据所述各餐盘的形状数据,在所述第二图像中获取各餐盘的颜色数据。
综上所述,本发明提供的一种基于机器视觉识别的计价方法及计算机可读存储介质,通过获取餐盘类型的餐盘特征用于后续匹配,可最大限度的使用商户现有餐具;通过拍摄图像对图像进行分析识别,可无需对餐台进行特定改造,节约了改造成本,也无需在餐盘上嵌置芯片,保证识别效率且节约耗材成本;通过先定时进行简单识别,识别到餐盘进入识别区域后再进行深度识别,节约处理器的性能;通过重复进行深度识别,在顾客增加或减少餐盘时,都能及时地重新自动计价并刷新支付金额,提高了自动计价的准确性,且提高了客户体验;通过增加识别修正流程,在顾客支付前,餐盘数量增加或减少,都能及时地重新自动计价并刷新支付金额,进一步提高了自动计价的准确性;本发明可在无需改造餐台、使用现有餐具的情况下实现自动计价,且计价迅速准确,从而可缓解结算排队的问题,同时减少人工投入,提升商家利润。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等同变换,或直接或间接运用在相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于机器视觉识别的计价方法,其特征在于,包括:
获取各餐盘类型的餐盘特征,并分别将各餐盘类型与预设的价格信息进行关联,所述餐盘特征包括形状数据和颜色数据;
按照预设的第一时间周期对识别区域进行拍摄,得到识别区域的第一图像;
对所述第一图像进行简单识别,判断餐盘是否进入识别区域;
若是,则间隔预设的第二时间周期后,对识别区域进行拍摄,得到识别区域的第二图像;
对所述第二图像进行深度识别,得到识别区域中各餐盘的形状数据和颜色数据;
分别将所述各餐盘的形状数据和颜色数据与各餐盘类型的餐盘特征进行匹配,得到各餐盘对应的餐盘类型;
根据各餐盘对应的餐盘类型以及餐盘类型对应的价格信息,计算得到支付金额;
重复执行所述间隔预设的第二时间周期后,对识别区域进行拍摄,得到识别区域的第二图像的步骤至所述根据各餐盘对应的餐盘类型以及餐盘类型对应的价格信息,计算得到支付金额的步骤;
若连续预设次数计算得到的支付金额一致,则显示所述支付金额对应的支付信息。
2.根据权利要求1所述的基于机器视觉识别的计价方法,其特征在于,所述显示所述支付金额对应的支付信息之后,进一步包括:
在开始支付前重复执行所述间隔预设的第二时间周期后,对识别区域进行拍摄,得到识别区域的第二图像的步骤至所述根据各餐盘对应的餐盘类型以及餐盘类型对应的价格信息,计算得到支付金额的步骤;
将所显示的支付信息对应的支付金额作为第一支付金额,将显示支付信息后且开始支付前计算得到的支付金额作为第二支付金额,若连续预设次数计算得到的第二支付金额与所述第一支付金额不一致,且连续预设次数计算得到的第二支付金额一致,则将支付信息变更为所述第二支付金额对应的支付信息。
3.根据权利要求1所述的基于机器视觉识别的计价方法,其特征在于,所述获取各餐盘类型的餐盘特征,并分别将各餐盘类型与预设的价格信息进行关联,所述餐盘特征包括形状数据和颜色数据具体为:
将一餐盘类型的餐盘放入识别区域;
拍摄得到所述识别区域的图像;
对所述识别区域的图像进行分析识别,得到所述餐盘的形状数据和颜色数据,作为所述一餐盘类型的餐盘特征;
将所述一餐盘类型与预设的价格信息和时间信息进行关联。
4.根据权利要求1所述的基于机器视觉识别的计价方法,其特征在于,所述识别区域中设置有预设个数的识别标志;
所述对所述第一图像进行简单识别,判断餐盘是否进入识别区域具体为:
对所述第一图像进行分析识别,得到所述第一图像中的识别标志的个数;
判断所述识别标志的个数与预设个数是否一致;
若一致,则判定餐盘未进入识别区域;
若不一致,则判定餐盘进入识别区域。
5.根据权利要求1所述的基于机器视觉识别的计价方法,其特征在于,所述对所述第二图像进行深度识别,得到识别区域中各餐盘的形状数据和颜色数据具体为:
复制所述第二图像,得到图像副本;
对所述图像副本进行二值化处理,得到二值图像;
根据凹凸性,对所述二值图像进行图像分割,得到餐盘碎片;
对所述餐盘碎片进行图像碎片拼接,得到识别区域中各餐盘的形状数据,所述形状数据为边缘轮廓点的坐标集合;
分别根据所述各餐盘的形状数据,在所述第二图像中获取各餐盘的颜色数据。
6.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如下步骤:
获取各餐盘类型的餐盘特征,并分别将各餐盘类型与预设的价格信息进行关联,所述餐盘特征包括形状数据和颜色数据;
按照预设的第一时间周期对识别区域进行拍摄,得到识别区域的第一图像;
对所述第一图像进行简单识别,判断餐盘是否进入识别区域;
若是,则间隔预设的第二时间周期后,对识别区域进行拍摄,得到识别区域的第二图像;
对所述第二图像进行深度识别,得到识别区域中各餐盘的形状数据和颜色数据;
分别将所述各餐盘的形状数据和颜色数据与各餐盘类型的餐盘特征进行匹配,得到各餐盘对应的餐盘类型;
根据各餐盘对应的餐盘类型以及餐盘类型对应的价格信息,计算得到支付金额;
重复执行所述间隔预设的第二时间周期后,对识别区域进行拍摄,得到识别区域的第二图像的步骤至所述根据各餐盘对应的餐盘类型以及餐盘类型对应的价格信息,计算得到支付金额的步骤;
若连续预设次数计算得到的支付金额一致,则显示所述支付金额对应的支付信息。
7.根据权利要求6所述的计算机可读存储介质,其特征在于,所述显示所述支付金额对应的支付信息之后,进一步包括:
在开始支付前重复执行所述间隔预设的第二时间周期后,对识别区域进行拍摄,得到识别区域的第二图像的步骤至所述根据各餐盘对应的餐盘类型以及餐盘类型对应的价格信息,计算得到支付金额的步骤;
将所显示的支付信息对应的支付金额作为第一支付金额,将显示支付信息后且开始支付前计算得到的支付金额作为第二支付金额,若连续预设次数计算得到的第二支付金额与所述第一支付金额不一致,且连续预设次数计算得到的第二支付金额一致,则将支付信息变更为所述第二支付金额对应的支付信息。
8.根据权利要求6所述的计算机可读存储介质,其特征在于,所述获取各餐盘类型的餐盘特征,并分别将各餐盘类型与预设的价格信息进行关联,所述餐盘特征包括形状数据和颜色数据具体为:
将一餐盘类型的餐盘放入识别区域;
拍摄得到所述识别区域的图像;
对所述识别区域的图像进行分析识别,得到所述餐盘的形状数据和颜色数据,作为所述一餐盘类型的餐盘特征;
将所述一餐盘类型与预设的价格信息和时间信息进行关联。
9.根据权利要求6所述的计算机可读存储介质,其特征在于,所述识别区域中设置有预设个数的识别标志;
所述对所述第一图像进行简单识别,判断餐盘是否进入识别区域具体为:
对所述第一图像进行分析识别,得到所述第一图像中的识别标志的个数;
判断所述识别标志的个数与预设个数是否一致;
若一致,则判定餐盘未进入识别区域;
若不一致,则判定餐盘进入识别区域。
10.根据权利要求6所述的计算机可读存储介质,其特征在于,所述对所述第二图像进行深度识别,得到识别区域中各餐盘的形状数据和颜色数据具体为:
复制所述第二图像,得到图像副本;
对所述图像副本进行二值化处理,得到二值图像;
根据凹凸性,对所述二值图像进行图像分割,得到餐盘碎片;
对所述餐盘碎片进行图像碎片拼接,得到识别区域中各餐盘的形状数据,所述形状数据为边缘轮廓点的坐标集合;
分别根据所述各餐盘的形状数据,在所述第二图像中获取各餐盘的颜色数据。
CN201810993026.9A 2018-08-29 2018-08-29 基于机器视觉识别的计价方法及计算机可读存储介质 Withdrawn CN109145839A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810993026.9A CN109145839A (zh) 2018-08-29 2018-08-29 基于机器视觉识别的计价方法及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810993026.9A CN109145839A (zh) 2018-08-29 2018-08-29 基于机器视觉识别的计价方法及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN109145839A true CN109145839A (zh) 2019-01-04

Family

ID=64828862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810993026.9A Withdrawn CN109145839A (zh) 2018-08-29 2018-08-29 基于机器视觉识别的计价方法及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109145839A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109830072A (zh) * 2019-02-26 2019-05-31 魔珐(上海)信息科技有限公司 基于视觉识别的计价和收银装置、控制系统及方法
CN110008968A (zh) * 2019-04-09 2019-07-12 哈尔滨新中新电子股份有限公司 一种基于图像视觉的机器人结算自动触发方法
CN110222569A (zh) * 2019-05-05 2019-09-10 北京三快在线科技有限公司 对象检测方法、装置、电子设备及可读存储介质
CN110428564A (zh) * 2019-08-08 2019-11-08 上海中通吉网络技术有限公司 智能结算方法、装置、设备和存储介质
CN110580505A (zh) * 2019-08-29 2019-12-17 杭州火小二科技有限公司 一种基于餐盘识别的智慧收银方法
CN111265166A (zh) * 2020-01-23 2020-06-12 深圳市大拿科技有限公司 一种智能洗碗机的控制方法及相关产品
CN111640268A (zh) * 2020-04-22 2020-09-08 深圳拓邦股份有限公司 一种基于餐盘形状和颜色的智能结算方法和系统
CN111680776A (zh) * 2020-06-11 2020-09-18 成都捷德科技有限公司 一种无人旋转送餐式饭店操作方法和系统
CN112101928A (zh) * 2020-08-31 2020-12-18 佛山科学技术学院 一种自助餐厅的自动结算方法及系统
CN112365255A (zh) * 2020-10-28 2021-02-12 中标慧安信息技术股份有限公司 用于超市的无感支付方法和系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101576960A (zh) * 2009-06-12 2009-11-11 广州广电运通金融电子股份有限公司 一种异物检测方法及系统
CN102760004A (zh) * 2011-12-02 2012-10-31 联想(北京)有限公司 一种控制数据显示状态的方法及装置
CN103034839A (zh) * 2012-12-04 2013-04-10 南京航空航天大学 基于图像识别技术的食堂支付系统及方法
CN103208156A (zh) * 2013-02-06 2013-07-17 浙江科技学院 一种餐饮自动结算系统和方法
CN103714498A (zh) * 2013-12-26 2014-04-09 江苏大学 一种基于图像识别技术的快速付费系统及其方法
CN104269003A (zh) * 2014-09-12 2015-01-07 李龙龙 一种食物识别方法、装置及系统
CN104463167A (zh) * 2014-11-20 2015-03-25 中国科学院上海微系统与信息技术研究所 一种餐厅自动结算方法及系统
CN105117693A (zh) * 2015-08-12 2015-12-02 杜宪利 基于光学标识的视频检测方法
CN105371935A (zh) * 2015-11-13 2016-03-02 广州市中崎商业机器股份有限公司 带打印机的物流运费自动计算装置及其计算方法
CN107038425A (zh) * 2017-04-25 2017-08-11 上海理工大学 基于机器视觉的智能餐厅的结算系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101576960A (zh) * 2009-06-12 2009-11-11 广州广电运通金融电子股份有限公司 一种异物检测方法及系统
CN102760004A (zh) * 2011-12-02 2012-10-31 联想(北京)有限公司 一种控制数据显示状态的方法及装置
CN103034839A (zh) * 2012-12-04 2013-04-10 南京航空航天大学 基于图像识别技术的食堂支付系统及方法
CN103208156A (zh) * 2013-02-06 2013-07-17 浙江科技学院 一种餐饮自动结算系统和方法
CN103714498A (zh) * 2013-12-26 2014-04-09 江苏大学 一种基于图像识别技术的快速付费系统及其方法
CN104269003A (zh) * 2014-09-12 2015-01-07 李龙龙 一种食物识别方法、装置及系统
CN104463167A (zh) * 2014-11-20 2015-03-25 中国科学院上海微系统与信息技术研究所 一种餐厅自动结算方法及系统
CN105117693A (zh) * 2015-08-12 2015-12-02 杜宪利 基于光学标识的视频检测方法
CN105371935A (zh) * 2015-11-13 2016-03-02 广州市中崎商业机器股份有限公司 带打印机的物流运费自动计算装置及其计算方法
CN107038425A (zh) * 2017-04-25 2017-08-11 上海理工大学 基于机器视觉的智能餐厅的结算系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109830072A (zh) * 2019-02-26 2019-05-31 魔珐(上海)信息科技有限公司 基于视觉识别的计价和收银装置、控制系统及方法
CN110008968B (zh) * 2019-04-09 2023-08-08 哈尔滨新中新电子股份有限公司 一种基于图像视觉的机器人结算自动触发方法
CN110008968A (zh) * 2019-04-09 2019-07-12 哈尔滨新中新电子股份有限公司 一种基于图像视觉的机器人结算自动触发方法
CN110222569A (zh) * 2019-05-05 2019-09-10 北京三快在线科技有限公司 对象检测方法、装置、电子设备及可读存储介质
CN110428564A (zh) * 2019-08-08 2019-11-08 上海中通吉网络技术有限公司 智能结算方法、装置、设备和存储介质
CN110580505A (zh) * 2019-08-29 2019-12-17 杭州火小二科技有限公司 一种基于餐盘识别的智慧收银方法
CN111265166A (zh) * 2020-01-23 2020-06-12 深圳市大拿科技有限公司 一种智能洗碗机的控制方法及相关产品
CN111640268A (zh) * 2020-04-22 2020-09-08 深圳拓邦股份有限公司 一种基于餐盘形状和颜色的智能结算方法和系统
CN111680776B (zh) * 2020-06-11 2023-06-02 成都捷德科技有限公司 一种无人旋转送餐式饭店操作方法和系统
CN111680776A (zh) * 2020-06-11 2020-09-18 成都捷德科技有限公司 一种无人旋转送餐式饭店操作方法和系统
CN112101928A (zh) * 2020-08-31 2020-12-18 佛山科学技术学院 一种自助餐厅的自动结算方法及系统
CN112365255A (zh) * 2020-10-28 2021-02-12 中标慧安信息技术股份有限公司 用于超市的无感支付方法和系统
CN112365255B (zh) * 2020-10-28 2021-08-31 中标慧安信息技术股份有限公司 用于超市的无感支付方法和系统

Similar Documents

Publication Publication Date Title
CN109145839A (zh) 基于机器视觉识别的计价方法及计算机可读存储介质
US11861584B2 (en) Self-service settlement method, apparatus and storage medium
CN103208156B (zh) 一种餐饮自动结算系统和方法
CN104463167B (zh) 一种餐厅自动结算方法及系统
CN109830072A (zh) 基于视觉识别的计价和收银装置、控制系统及方法
CN107122730A (zh) 自选餐厅自动计价方法
CN110119915B (zh) 对象入库处理方法、装置和系统
CN108428123A (zh) 基于身份识别的支付方法以及装置
CN112700352A (zh) 一种智慧餐厅的自助管理系统及方法
CN103714498A (zh) 一种基于图像识别技术的快速付费系统及其方法
CN109345735A (zh) 一种无人售货机商品识别方法及系统
US11562338B2 (en) Automated point of sale systems and methods
CN203931023U (zh) 自助刷卡结账收银机
CN206236159U (zh) 一种可自助点餐的交易终端设备
CN205644837U (zh) 一种基于面部识别的超市终端设备
CN113222582A (zh) 一种人脸支付零售终端机
CN112581114A (zh) 购物结算方法、相关设备和系统
CN105243365B (zh) 一种数据处理方法及数据处理系统
CN207676378U (zh) 一种基于面部识别的商品交易系统
CN107563760A (zh) 一种支持1比n多人比对的生物识别收银方法及系统
CN209199274U (zh) 一种带3d结构光刷脸支付的自助终端
CN112581115A (zh) 购物结算方法、相关设备和系统
CN112581047A (zh) 基于编码转换的数据传输方法、相关设备和系统
CN112581116A (zh) 商品校验方法、相关设备和系统
CN110942295A (zh) 一种智能收银系统及其收银方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190104