CN110084587B - 一种基于边缘上下文的餐盘自动结算方法 - Google Patents

一种基于边缘上下文的餐盘自动结算方法 Download PDF

Info

Publication number
CN110084587B
CN110084587B CN201910152834.7A CN201910152834A CN110084587B CN 110084587 B CN110084587 B CN 110084587B CN 201910152834 A CN201910152834 A CN 201910152834A CN 110084587 B CN110084587 B CN 110084587B
Authority
CN
China
Prior art keywords
dinner plate
image
feature vector
dinner
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910152834.7A
Other languages
English (en)
Other versions
CN110084587A (zh
Inventor
许来钊
张曹伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhizhunbao Intelligent Technology Shanghai Co ltd
Original Assignee
Zhizhunbao Intelligent Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhizhunbao Intelligent Technology Shanghai Co ltd filed Critical Zhizhunbao Intelligent Technology Shanghai Co ltd
Priority to CN201910152834.7A priority Critical patent/CN110084587B/zh
Publication of CN110084587A publication Critical patent/CN110084587A/zh
Application granted granted Critical
Publication of CN110084587B publication Critical patent/CN110084587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Strategic Management (AREA)
  • Evolutionary Biology (AREA)
  • Accounting & Taxation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于边缘上下文的餐盘自动结算方法，包括：获取盛有菜品的餐盘样本图片，提取样本图片中的餐盘边缘上下文特征；采集盛有菜品的餐盘图像，将采集到的餐盘图像进行图像处理；基于图像处理后的结果结合步骤一中提取到的餐盘边缘上下文特征进行特征匹配；如果匹配成功，则根据匹配对应的菜品价格进行结算。通过针对不同餐盘形状对应不同价格的菜品的食堂，可以对餐盘图像自动进行识别，从而计算出价格，一方面节省了人力资源的投入，另一方面提高了效率，降低结算错误出现的概率。

Description

一种基于边缘上下文的餐盘自动结算方法
技术领域
本发明属于图像处理领域，涉及一种基于边缘上下文的餐盘自动结系统。
背景技术
随着科学技术的发展，无人看守的餐盘自动结算方法凭借着无人力要求、快捷的特点越来越流行，其中，结算方法中常用到的方法基本上可分为三类：RFID电子标签法，压力传感器法和基于图像识别的餐盘检测法。电子标签法虽然准确率高，检测速度快，但是成本较高，在食堂这样潮湿的环境下，损坏现象也经常发生。利用压力传感器方法来识别餐盘的方法精确度不高。现有的基于图像识别的餐盘检测法有基于颜色特征和基于形状特征的，基于颜色特征的餐盘识别算法没有考虑到食堂的盘子使用率高，颜色容易发生改变，而现有的基于形状特征的餐盘识别算法大多都是用霍夫变换来匹配形状，检测效率不高。
发明内容
为解决上述问题，本发明针对现有的餐盘识别技术的缺点，提出了一种基于边缘上下文的餐盘自动结算方法，提高了餐盘自动结算方法中餐盘识别的效率。
为实现上述目的，本发明的技术方案为基于边缘上下文的餐盘自动结算方法，包括：
步骤一，获取盛有菜品的餐盘样本图片，提取样本图片中的餐盘边缘上下文特征；
步骤二，采集盛有菜品的餐盘图像，将采集到的餐盘图像进行图像处理；
步骤三，基于图像处理后的结果结合步骤一中提取到的餐盘边缘上下文特征进行特征匹配；
步骤四，如果匹配成功，则根据匹配对应的菜品价格进行结算。
可选的，所述获取盛有菜品的餐盘样本图片，提取样本图片中的餐盘边缘上下文特征，包括：
对盛有菜品的餐盘图像进行预处理；
对预处理后的图像进行特征提取，获取各餐盘的特征向量。
可选的，所述对盛有菜品的餐盘图像进行预处理包括：
获取到的餐盘图片转化为灰度图，采用以下公式将三通道彩色图片转化为灰度图：
Gray＝R*0.299+G*0.587+B*0.114
其中R、G、B分别表示RGB颜色空间中红绿蓝三个通道的颜色值，Gray表示转化后的灰度值。
可选的，所述对预处理后的图像进行特征提取，获取各餐盘的特征向量包括：
将餐盘图像的中心作为中心点p，在以p为圆心，R为半径的局域内按对数距离间隔建立2个同心圆，将此区域按圆周方向四等分，得到八个空间区域；
计算每个空间区域每个像素的梯度方向与强度，用四个不同方向的卷积掩膜作为模板对每个区域的所有像素值进行卷积运算，从而计算出每个像素的梯度方向与梯度强度。
可选的，所述基于图像处理后的结果结合步骤一中提取到的餐盘边缘上下文特征进行特征匹配包括：
在图像上滑动窗口遍历所有像素并计算边缘上下文特征，预先设立一个与录入的餐盘图像大小一致的窗口，用该窗口遍历图像的每个像素，计算所有像素的边缘上下文特征；
将待识别图像的特征向量与录入的餐盘特征向量进行匹配，计算区域的特征向量和模板特征向量的误差，来表示它们的相似程度，当误差小于阈值时，表示匹配成功。
本发明和现有技术相比，至少具有如下有益效果：
通过针对不同餐盘形状对应不同价格的菜品的食堂，可以对餐盘图像自动进行识别，从而计算出价格，一方面节省了人力资源的投入，另一方面提高了效率，降低结算错误出现的概率。
附图说明
图1为本发明方案实施例的基于边缘上下文的餐盘自动结算方法的流程图；
图2为本发明划分空间区域的示意图；
图3为本发明所述提取边缘上下文特征的原理图；
图4为本发明所示边缘上下文特征向量示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
参见图1，本发明技术方案为基于边缘上下文的餐盘自动结算方法，包括以下步骤：
步骤一，获取盛有菜品的餐盘样本图片，提取样本图片中的餐盘边缘上下文特征；
步骤二，采集盛有菜品的餐盘图像，将采集到的餐盘图像进行图像处理；
步骤三，基于图像处理后的结果结合步骤一中提取到的餐盘边缘上下文特征进行特征匹配；
步骤四，如果匹配成功，则根据匹配对应的菜品价格进行结算。
步骤一种获取餐盘图像的采集系统为餐盘自动结算方法中的固定相机，需要在光线充足的情况下对餐盘进行拍摄，将图片中的餐盘截取出来得到正方形的餐盘图像，登录入系统。
在采集了餐盘图像之后，需要提取各类形状的餐盘的边缘上下文特征，首先对图像进行预处理，将图片转化为灰度图，能更方便地提取边缘上下文特征，转化公式如下：
Gray＝R*0.299+G*0.587+B*0.114
其中，R、G、B分别表示在RGB颜色空间中红、绿、蓝三个通道的颜色值。Gray为转化后的灰度值。
进一步，提取样本图片中的餐盘边缘上下文特征，具体包括：
首先将正方形餐盘图像的中心作为中心点p，在p为圆心，R2为半径的局域内以对数距离的间隔建立两个同心圆，将此区域按圆周方向四等分，如图2所示，2、3、4、5、6、7、8、9区域为靶状的八个空间区域。1为带有椭圆餐盘的正方形图像，两个同心圆的半径关系为：
Figure GDA0002082866310000051
其中，R1为小圆的半径，R2为大圆的半径，大圆的半径由物体中心与距离中心最远的边界点决定。
然后，计算各区域每个像素的梯度方向与强度，需要对梯度的方向和强度进行离散化，用四个不同方向的卷积掩膜作为模板对各个区域的所有像素值进行卷积运算，如图3所示，四个方向分别与水平方向成0°，45°，90°，135°，可分别计算出区域中的点在四个方向上的梯度值，实现了梯度在方向上的离散化，计算公式如下：
g1(x,y)＝|f(x-1,y-1)+f(x-1,y)+f(x-1,y+1)-f(x+1,y-1)-f(x+1,y)-f(x+1,y+1)|
Figure GDA0002082866310000052
g3(x,y)＝|f(x,y-1)+f(x+1,y-1)+f(x+1,y)-f(x-1,y)-f(x-1,y+1)-f(x,y+1)|
g4(x,y)＝|f(x-1,y-1)+f(x,y-1)+f(x-1,y)-f(x+1,y)-f(x,y+1)-f(x+1,y+1)|
其中，f(x,y)表示原图像在(x,y)像素点的像素值，g1(x,y),g2(x,y),g3(x,y),g4(x,y)分别表示原像素点经过四个卷积运算后的新的像素值，设立四个阈值，当g1(x,y),g2(x,y),g3(x,y),g4(x,y)大于对应的阈值时，表示该点存在该方向上的梯度。
如图4所示，餐盘图像边缘的空间信息和梯度信息共同组成了4*8的餐盘边缘上下文特征向量，得到特征向量后就可以将向量信息录入系统中以便进行后续的比对。
步骤三，基于图像处理后的结果结合步骤一中提取到的餐盘边缘上下文特征进行特征匹配的过程包括：
将待识别图像的特征向量与所录入的餐盘特征向量进行匹配中，将滑动窗口内图像的边缘上下文特征与录入的各餐盘边缘上下文特征进行比对，用下式来表示待识别区域与餐盘模板的相似性：
DB(p,q)＝-ln(∑sqrt(pi,j*qi,j))
其中，DB(p,q)表示目标餐盘模板和待检测区域之间的误差程度，pi,j表示目标餐盘模板的特征向量的取值，i从1取到4，j从1取到8，遍历整个特征向量。qi,j表示待检测区域的特征向量的取值。误差程度越小表示匹配度越高，取一个误差阈值DB0，当DB(p,q)＜DB0时，表示匹配成功，该区域存在该模板所表示的餐盘形状。
本发明实施例提出了基于边缘上下文的餐盘自动结算方法，包括：获取盛有菜品的餐盘样本图片，提取样本图片中的餐盘边缘上下文特征；采集盛有菜品的餐盘图像，将采集到的餐盘图像进行图像处理；基于图像处理后的结果结合步骤一中提取到的餐盘边缘上下文特征进行特征匹配；如果匹配成功，则根据匹配对应的菜品价格进行结算。通过针对不同餐盘形状对应不同价格的菜品的食堂，可以对餐盘图像自动进行识别，从而计算出价格，一方面节省了人力资源的投入，另一方面提高了效率，降低结算错误出现的概率。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于边缘上下文的餐盘自动结算方法，其特征在于，所述自动结算方法包括：
步骤一，获取盛有菜品的餐盘样本图片，提取样本图片中的餐盘边缘上下文特征；
步骤二，采集盛有菜品的餐盘图像，将采集到的餐盘图像进行图像处理；
步骤三，基于图像处理后的结果结合步骤一中提取到的餐盘边缘上下文特征进行特征匹配；
步骤四，如果匹配成功，则根据匹配对应的菜品价格进行结算；
所述获取盛有菜品的餐盘样本图片，提取样本图片中的餐盘边缘上下文特征，包括：
对盛有菜品的餐盘图像进行预处理；
对预处理后的图像进行特征提取，获取各餐盘的特征向量；
所述对预处理后的图像进行特征提取，获取各餐盘的特征向量包括：
将餐盘图像的中心作为中心点p，在以p为圆心，R为半径的局域内按对数距离间隔建立2个同心圆，将此区域按圆周方向四等分，得到八个空间区域；两个同心圆的半径关系为：
Figure FDA0002935320010000011
其中，R1为小圆的半径，R2为大圆的半径，大圆的半径由物体中心与距离中心最远的边界点决定；
计算每个空间区域每个像素的梯度方向与强度，用四个不同方向的卷积掩膜作为模板对每个区域的所有像素值进行卷积运算，从而计算出每个像素的梯度方向与梯度强度。
2.根据权利要求1所述的自动结算方法，其特征在于，所述对盛有菜品的餐盘图像进行预处理包括：
获取到的餐盘图片转化为灰度图，采用以下公式将三通道彩色图片转化为灰度图：
Gray＝R*0.299+G*0.587+B*0.114
其中R、G、B分别表示RGB颜色空间中红绿蓝三个通道的颜色值，Gray表示转化后的灰度值。
3.根据权利要求1所述的自动结算方法，其特征在于，所述基于图像处理后的结果结合步骤一中提取到的餐盘边缘上下文特征进行特征匹配包括：
在图像上滑动窗口遍历所有像素并计算边缘上下文特征，预先设立一个与录入的餐盘图像大小一致的窗口，用该窗口遍历图像的每个像素，计算所有像素的边缘上下文特征；
将待识别图像的特征向量与录入的餐盘特征向量进行匹配，计算区域的特征向量和模板特征向量的误差，来表示它们的相似程度，当误差小于阈值时，表示匹配成功。
CN201910152834.7A 2019-02-28 2019-02-28 一种基于边缘上下文的餐盘自动结算方法 Active CN110084587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910152834.7A CN110084587B (zh) 2019-02-28 2019-02-28 一种基于边缘上下文的餐盘自动结算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910152834.7A CN110084587B (zh) 2019-02-28 2019-02-28 一种基于边缘上下文的餐盘自动结算方法

Publications (2)

Publication Number Publication Date
CN110084587A CN110084587A (zh) 2019-08-02
CN110084587B true CN110084587B (zh) 2021-08-10

Family

ID=67413140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910152834.7A Active CN110084587B (zh) 2019-02-28 2019-02-28 一种基于边缘上下文的餐盘自动结算方法

Country Status (1)

Country Link
CN (1) CN110084587B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889429A (zh) * 2019-10-22 2020-03-17 杭州效准智能科技有限公司 一种基于深度学习的智能菜品匹配识别方法
CN112132063B (zh) * 2020-09-25 2023-06-20 广州市派客朴食信息科技有限责任公司 一种基于聚类量化实时匹配的食物识别方法
CN112115901A (zh) * 2020-09-25 2020-12-22 广州市派客朴食信息科技有限责任公司 一种高准确度的食物识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170028067A (ko) * 2015-09-03 2017-03-13 제이씨스퀘어주식회사 원격 주문 시스템 및 방법
CN107122730A (zh) * 2017-04-24 2017-09-01 乐金伟 自选餐厅自动计价方法
CN108550229A (zh) * 2018-04-08 2018-09-18 珠海博明视觉科技有限公司 一种人工智能自动收银方法
CN109165611A (zh) * 2018-08-31 2019-01-08 广州市派客朴食信息科技有限责任公司 一种基于机器视觉和神经网络的碗碟识别智能结算方法
CN109215260A (zh) * 2018-08-21 2019-01-15 金华市缤果科技有限公司 一种自助餐厅人工智能结算系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170028067A (ko) * 2015-09-03 2017-03-13 제이씨스퀘어주식회사 원격 주문 시스템 및 방법
CN107122730A (zh) * 2017-04-24 2017-09-01 乐金伟 自选餐厅自动计价方法
CN108550229A (zh) * 2018-04-08 2018-09-18 珠海博明视觉科技有限公司 一种人工智能自动收银方法
CN109215260A (zh) * 2018-08-21 2019-01-15 金华市缤果科技有限公司 一种自助餐厅人工智能结算系统
CN109165611A (zh) * 2018-08-31 2019-01-08 广州市派客朴食信息科技有限责任公司 一种基于机器视觉和神经网络的碗碟识别智能结算方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于菜盘颜色特征的食堂自助结算系统;周建平;《电脑知识与技术》;20170925;第13卷(第27期);第181-183页 *

Also Published As

Publication number Publication date
CN110084587A (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
CN107610114B (zh) 基于支持向量机的光学卫星遥感影像云雪雾检测方法
CN106709500B (zh) 一种图像特征匹配的方法
CN102426649B (zh) 一种简单的高准确率的钢印数字自动识别方法
CN110084587B (zh) 一种基于边缘上下文的餐盘自动结算方法
CN103164692B (zh) 一种基于计算机视觉的特种车辆仪表自动识别系统及方法
WO2020206850A1 (zh) 基于高维图像的图像标注方法和装置
CN109409355B (zh) 一种新型变压器铭牌识别的方法及装置
CN111639629B (zh) 一种基于图像处理的猪只体重测量方法、装置及存储介质
CN109685075A (zh) 一种基于图像的电力设备识别方法、装置及系统
CN108335331A (zh) 一种钢卷双目视觉定位方法及设备
CN111539330B (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
CN112149667A (zh) 一种基于深度学习的指针式仪表的自动读数的方法
CN114511770A (zh) 道路标识标牌识别方法
CN112784835A (zh) 圆形印章的真实性识别方法、装置、电子设备及存储介质
CN107729863B (zh) 人体指静脉识别方法
CN113723314A (zh) 一种基于YOLOv3算法的甘蔗茎节识别方法
CN113657339A (zh) 一种基于机器视觉的仪表指针计数读取方法及介质
CN112396638A (zh) 一种图像处理方法、终端和计算机可读存储介质
CN111798472A (zh) 一种基于hsi空间的绪下茧分割和识别方法
Tan et al. Gesture segmentation based on YCb'Cr'color space ellipse fitting skin color modeling
CN115187969B (zh) 一种基于视觉识别的铅酸电池回收系统和方法
CN109325487B (zh) 一种基于目标检测的全种类车牌识别方法
Kaur et al. 2-D geometric shape recognition using canny edge detection technique
CN114926635B (zh) 与深度学习方法相结合的多焦图像中目标分割方法
CN115909401A (zh) 融合深度学习的牛脸识别方法、装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: No.1 building and No.2 building, No.333, Haiyang 1st Road, Lingang New District, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201208

Applicant after: Zhizhunbao Intelligent Technology (Shanghai) Co.,Ltd.

Address before: Room 606, 6 / F, building 1, Huiyin center, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province, 310016

Applicant before: Zhejiang Xiaozhun Intelligent Technology Co.,Ltd.

Address after: Room 606, 6 / F, building 1, Huiyin center, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province, 310016

Applicant after: Zhejiang Xiaozhun Intelligent Technology Co.,Ltd.

Address before: 310016 room B501, building 1, No.9, Jiuhuan Road, Jianggan District, Hangzhou City, Zhejiang Province

Applicant before: HANGZHOU XIAOZHUN INTELLIGENT TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant