CN103034839A - 基于图像识别技术的食堂支付系统及方法 - Google Patents

Abstract

本发明公开一种基于图像识别技术的食堂支付系统及方法，系统包括摄像头、压力传感器、主机、刷卡机和显示器；摄像头、压力传感器、刷卡机和显示器均与主机连接。方法获取整体图像数据后，从样本数据库中取出一菜盘样本，遍历整体图像数据，当整体图像数据中某个菜盘图像数据与菜盘样本数据的相似度大于80%时，则认为当前遍历的菜盘与菜盘样本为同一个菜盘，所述主机从数据库中调出匹配成功的菜盘样本的对应的菜肴信息，并将菜肴信息和菜肴份数输出到显示器，并存储菜肴信息和菜肴份数到消费数据库中；当整体图像中的所有菜盘均被识别出后，计算并输出菜的总价，主机通过显示器提醒消费者通过刷卡机支付消费金额。

Description

基于图像识别技术的食堂支付系统及方法

技术领域

本发明涉及一种基于图像识别技术的食堂支付系统及方法，具体是通过识别盛放菜肴的盘子，判断消费者所购买的菜肴信息，计算菜肴价格的食堂支付系统及方法。

背景技术

众多机关单位和高校等机构均通过自办食堂的方式解决在岗员工工作间隙的饮食问题，在销售端，目前主流的做法是自助选择，刷卡结算，作为相对先进的结算方式，IC卡结算系统已被广泛运用于各种需要快速结算的场合，较之最原始的饭票制，已有很大改观。但是，随着消费水平的不断发展，食堂的菜品品种也日益增多，消费场所的人流量也不断增长，这给计费终端带来了很大的压力，在消费高峰时期打卡处排起了长龙成为了一种普遍现象。打卡员在IC卡划卡处不仅需要识别花样繁多的菜品及其价格还要计算叠加，速度和准确度都没有有效的方法来保证，只能寄希望于操作人员的熟练度和负责程度。

RFID形式的自动化结算方式，要求在餐盘上装有感应芯片，对于易损的餐盘，改造成本巨大，不适宜推广。

同时现有技术中，对于交易过程中的海量信息并没有进行收集和利用，对每个人只能统计消费价格，无法统计具体消费内容，这不能不说是一种巨大的资源和人力的浪费。

发明内容

发明目的：为克服食堂人流量大，环境不确定，菜盘多少不确定的情况，提供一种基于图像识别技术的食堂支付系统及方法。

技术方案：一种基于图像识别技术的食堂支付系统，包括摄像头、压力传感器、主机、刷卡机和显示器；所述摄像头、压力传感器、刷卡机和显示器均与主机连接；菜盘放在装有压力传感器的台子上之后，压力传感器向主机发出当前压力信息；所述主机接收到当前压力信息之后，在预设的时间内，进行压力变化判断：若压力传感器的压力信息无变化且不为零的情况下，则启动摄像头拍摄当前台子及其上的所有菜盘的整体图像信息，并将拍摄的整体图像数据发送给主机；

所述主机接收到整体图像数据后，从样本数据库中取出一个菜盘样本，遍历整体图像数据，将整体图像数据与样本数据库中的菜盘样本数据进行比较，当整体图像数据中某个菜盘图像数据与菜盘样本数据的相似度大于80%时，则认为当前遍历的菜盘与菜盘样本为同一个菜盘，所述主机从数据库中调出匹配成功的菜盘样本的对应的菜肴信息，并将菜肴信息和菜肴份数（匹配成功一次，菜肴份数即为一份）输出到显示器，并存储菜肴信息和菜肴份数到消费数据库中；当整体图像中的所有菜盘均被识别出后，计算并输出菜的总价，主机通过显示器提醒消费者通过刷卡机支付消费金额。

消费者刷卡后，刷卡机获取消费者的个人信息并反馈给主机，主机记录消费者当前消费的菜肴信息和菜肴份数。

一种基于图像识别技术的食堂支付方法，包括如下步骤：

步骤1，建立样本数据库

将菜盘放在所述台子上，通过摄像头获取台子及其上菜盘的整体样本图像数据；根据台子与菜盘的不同像素点，找出整个菜盘的图像区域，以菜盘的中心点为基准，对原菜盘进行80%-98%的缩放，从而获得缩放菜盘图像数据；将原菜盘与缩放菜盘重复的图像数据去除，剩下的环形边缘图像区域即为所述原菜盘的样本数据，并将所有菜盘样本数据存储，形成样本数据库；

步骤2，关联样本数据与预售菜肴信息

将每个菜盘样本与当日预售菜肴信息对应关联，即一个菜盘样本对应一道菜肴（此步骤需要在执行收费之前，手动操作，若不操作，则默认菜肴与菜盘样本信息对应关系，同上一次使用情况）； 

步骤3，获取整体图像数据

客户在买菜过程中，将需要购买的菜盘一一放在摄像头下方的带有压力传感器的台子上；当压力传感器的压力在预设的时间内稳定且不为零时，通过所述摄像头拍摄台子及其上菜盘的整体图像，并将获取的整体图像数据传输给主机；

步骤4，匹配菜盘，并输出菜肴信息、菜肴价格和支付金额

首先从样本数据库中取出第一个菜盘样本数据，然后遍历整体图像数据上的每个坐标点；当整体图像上的其中某个菜盘图像数据与菜盘样本数据的相似度大于80%时，则认为菜盘图像数据和菜盘样本数据相同，匹配菜盘成功，输出菜盘样本所对应的菜肴信息、菜肴价格，并将匹配后的菜盘区域颜色变换为台子的色素，以避免重复计算；继续遍历剩余的整体图像上的坐标点，直到台子上的坐标点遍历完；

判断整体图像是否为同一种颜色，如果是，匹配过程结束，计算支付金额，提醒消费者通过刷卡机结算消费金额，如果不是，依次从样本数据库中取出下一个菜盘样本数据，然后遍历整体图像数据上的每个坐标点，匹配过程和上述匹配过程相同，直到整体图像上的所有颜色均为同一种颜色。

所述菜肴信息包括菜名、菜价、重量和营养成分等信息。

消费者通过刷卡机结算消费金额之后，获取消费者个人信息和其消费的菜肴信息、菜肴价格，并存储到数据库中。

有益效果：与现有技术相比，本发明提供的基于图像识别技术的食堂支付系统及方法，通过摄像头采集图像，进行图像识别，识别出菜肴信息后，由主机自动识别每项菜品价格，累加之后显示在打卡终端，消费者只需要持卡确认，同意之后直接划卡，结算过程自主完成，效率和准确度大大提高，基本不会出现结算处排长队的情况，消费体验大大提升。在计价和划款的同时，采集的大量消费者消费数据，为进行数据库的存储与分析，建立数据库支撑体系。

附图说明

图1为本发明实施例的系统原理图；

图2为本发明实施例的样本采集之前的整体图像；

图3为本发明实施例的样本采集结果图；

图4为本发明实施例中有多个主机组成的系统。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，基于图像识别技术的食堂支付系统，包括、摄像头、压力传感器、主机、刷卡机和显示器；摄像头、压力传感器、刷卡机和显示器均与主机连接；菜盘放在装有压力传感器的台子上之后，压力传感器向主机发出当前压力信息；主机接收到当前压力信息之后，在预设的时间内，进行压力变化判断：若压力传感器的压力信息无变化且不为零的情况下，则启动摄像头拍摄当前台子及其上的所有菜盘的整体图像信息，并将拍摄的整体图像数据发送给主机；

主机接收到整体图像数据后，从样本数据库中取出一个菜盘样本，遍历整体图像数据，将整体图像数据与样本数据库中的菜盘样本数据进行比较，当整体图像数据中某个菜盘图像数据与菜盘样本数据的相似度大于80%时，则认为当前遍历的菜盘与菜盘样本为同一个菜盘，主机从数据库中调出匹配成功的菜盘样本的对应的菜肴信息，并将菜肴信息和菜肴份数输出到显示器，并存储菜肴信息和菜肴份数到消费数据库中；当整体图像中的所有菜盘均被识别出后，计算并输出菜的总价，主机通过显示器提醒消费者通过刷卡机支付消费金额。

消费者刷卡后，刷卡机获取消费者的个人信息并反馈给主机，主机记录消费者当前消费的菜肴信息和菜肴份数。

基于图像识别技术的食堂支付方法，对于放置在台子上的样本菜盘a（如图2所示），获取样本数据的过程为：

通过摄像头获取台子及菜盘a的整体样本图像数据；根据台子与菜盘a的不同色素点，找出整个菜盘a的图像区域，以菜盘a的中心点o为基准，对菜盘a进行90%的缩放，从而获得缩放菜盘a2图像数据；将菜盘a与缩放菜盘a2重复的图像数据去除，剩下的环形边缘图像区域a1（如图3所示）即为菜盘a的样本数据，并将a1图像数据存储到样本数据库中；

假设样本数据库中目前存放有菜盘a、菜盘b和菜盘c的样本数据，分别为a1、b1和c1；在数据库中，根据预售菜肴，编辑样本数据对应的菜肴，目前消费者从左向右、从上至下依次将1-1#菜菜盘、1-2#菜菜盘和2#菜菜盘（其中，1-1#菜、1-2#菜的使用相同菜盘a盛放，2#菜使用b盛放）放在带有压力传感器的台子上，压力传感器等待5秒，判断出没有菜盘继续放上去，则向主机发出压力数据，主机判断压力数据不为零，则启动摄像头拍摄包括1-1#菜菜盘、1-2#菜菜盘、2#菜菜盘和台子的整体图像；

主机从样本数据库中取出样本数据a1，从整体图像的左上角至右下角自左向右、自上向下逐个像素点遍历（将整体图像上与a1当前位置坐标一至的点颜色的RGB值与样本数据对应点的RGB值作差，若相减结果为0，则认为该整体图像上此区域存在一个a盘），直到样本数据a1与整体图像上1-1#菜菜盘区域的匹配程度>80%时，则认为1-1#菜菜盘为a菜盘，1-1#菜即为a菜盘对应的菜肴，将a菜盘对应的菜肴名称、价格和份数等信息通过显示器输出，并将1-1#菜菜盘图像区域范围内的颜色信息变为与台子颜色，以保证不会重复计数；按照上述方法，继续遍历整体图像，遍历到图像的右下角结束；取出样本数据b1同a1路径形式遍历，至此往复，直到整体图像不存在与样本库中相同盘子的信息（或整体图像为一个色素）之时，停止遍历，输出总菜肴价和对应单价菜名，主机通过显示器提醒消费者通过刷卡机支付消费金额。

消费者刷卡后，刷卡机获取消费者的个人信息并反馈给主机，主机记录消费者当前消费的菜肴信息和菜肴份数。

在菜盘匹配之前，用户可设置所需匹配样本数据的个数，因为食堂每天销售的菜肴种类不同，用户只需将需要盛菜肴的样本数据设为当日需要匹配的样本数据。

如图4所示，当消费终端较多时，一个主机处理数据较慢，可通过增设多个主机进行扩展，多个主机将消费记录和样本数据库存放到服务器上，通过访问服务器进行菜盘的匹配和数据的存储。同时，可通过消费数据，根据需求，进行数据分析用户消费情况和饮食情况。

Claims (6)

1. 一种基于图像识别技术的食堂支付系统，其特征在于：包括摄像头、压力传感器、主机、刷卡机和显示器；所述摄像头、压力传感器、刷卡机和显示器均与主机连接；菜盘放在装有压力传感器的台子上之后，压力传感器向主机发出当前压力信息；所述主机接收到当前压力信息之后，在预设的时间内，进行压力变化判断：若压力传感器的压力信息无变化且不为零的情况下，则启动摄像头拍摄当前台子及其上的所有菜盘的整体图像信息，并将拍摄的整体图像数据发送给主机；

所述主机接收到整体图像数据后，从样本数据库中取出一个菜盘样本，遍历整体图像数据，将整体图像数据与样本数据库中的菜盘样本数据进行比较，当整体图像数据中某个菜盘图像数据与菜盘样本数据的相似度大于80%时，则认为当前遍历的菜盘与菜盘样本为同一个菜盘，所述主机从数据库中调出匹配成功的菜盘样本的对应的菜肴信息，并将菜肴信息和菜肴份数输出到显示器，并存储菜肴信息和菜肴份数到消费数据库中；当整体图像中的所有菜盘均被识别出后，计算并输出菜的总价，主机通过显示器提醒消费者通过刷卡机支付消费金额。

2.如权利要求1所述的基于图像识别技术的食堂支付系统，其特征在于：消费者刷卡后，刷卡机获取消费者的个人信息并反馈给主机，主机记录消费者当前消费的菜肴信息和菜肴份数。

3.如权利要求1或2所述的基于图像识别技术的食堂支付系统，其特征在于：菜肴信息包括菜名、菜价、重量和营养成分信息。

4.一种基于图像识别技术的食堂支付方法，其特征在于，包括如下步骤：

步骤1，建立样本数据库

将菜盘放在所述台子上，通过摄像头获取台子及其上菜盘的整体样本图像数据；根据台子与菜盘的不同像素点颜色区别，找出整个菜盘的图像区域，以菜盘的中心点为基准，对原菜盘进行80%-98%的缩放，从而获得缩放菜盘图像数据；将原菜盘与缩放菜盘重叠部分舍去，剩下的环形边缘图像区域的相对位置关系及颜色信息即为所述原菜盘的样本数据，并将所有菜盘样本数据存储，形成样本数据库；

步骤2，关联样本数据与预售菜肴信息

将每个菜盘样本与当日预售菜肴信息对应关联，即一个菜盘样本对应一道菜肴； 

步骤3，获取整体图像数据

客户在买菜过程中，将需要购买的装有食物的菜盘一一放在摄像头下方的带有压力传感器的台子上；当压力传感器的压力在预设的时间内稳定且不为零时，通过所述摄像头拍摄台子及其上菜盘的整体图像，并将获取的整体图像数据传输给主机；

步骤4，匹配菜盘，并输出菜肴信息、菜肴价格和支付金额

首先从样本数据库中取出第一个菜盘样本数据，然后遍历整体图像数据上的每个坐标点；当整体图像上的其中某块图像区域与菜盘样本数据的相似度大于80%时，则认为存在与菜盘样本相同的菜盘，匹配菜盘成功，输出菜盘样本所对应的菜肴信息、菜肴价格，并将匹配后的菜盘区域色素变换为台子的颜色；继续遍历剩余的整体图像上的坐标点，直到台子上的坐标点遍历完；

整体图像是否为同一种颜色，如果是，匹配过程结束，计算支付金额，提醒消费者通过刷卡机结算消费金额，如果不是，依次从样本数据库中取出下一个菜盘样本数据，然后遍历整体图像数据上的每个坐标点，匹配过程和上述匹配过程相同，直到整体图像上的所有颜色均为同一种颜色。

5.如权利要求4所述的基于图像识别技术的食堂支付方法，其特征在于：消费者通过刷卡机结算消费金额之后，获取消费者个人信息和其消费的菜肴信息、菜肴价格，并存储到数据库中。

6.如权利要求4或5所述的基于图像识别技术的食堂支付方法，其特征在于：菜肴信息包括菜名、菜价、重量和营养成分信息。

Images