CN110069995A - 一种基于深度学习的餐盘运动状态识别方法 - Google Patents

一种基于深度学习的餐盘运动状态识别方法 Download PDF

Info

Publication number
CN110069995A
CN110069995A CN201910215013.3A CN201910215013A CN110069995A CN 110069995 A CN110069995 A CN 110069995A CN 201910215013 A CN201910215013 A CN 201910215013A CN 110069995 A CN110069995 A CN 110069995A
Authority
CN
China
Prior art keywords
service plate
key frame
deep learning
service
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910215013.3A
Other languages
English (en)
Inventor
熊继平
叶灵枫
朱凌云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Normal University CJNU
Original Assignee
Zhejiang Normal University CJNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Normal University CJNU filed Critical Zhejiang Normal University CJNU
Priority to CN201910215013.3A priority Critical patent/CN110069995A/zh
Publication of CN110069995A publication Critical patent/CN110069995A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的餐盘运动状态识别方法，利用卷积神经网络来确定餐盘的运动状态。该方法包括：利用卷积神经网络训练一个餐盘位置检测模型；按关键帧检测餐盘，得到餐盘的位置信息；对关键帧中前后两帧的餐盘位置信息进行判断，确定餐盘的运动状态。该方法能够通过摄像头来确定餐盘的运动状态，在进行餐盘检测时不需要额外的传感器来确定所需检测的餐盘，可以在不影响检测速度的同时减少成本。

Description

一种基于深度学习的餐盘运动状态识别方法
技术领域
本发明涉及计算机视觉领域，尤其涉及一种基于深度学习的餐盘运动状态识别方法。
背景技术
随着人工智能的快速发展，越来越多的领域已经将人工智能应用在实际的生活中。最近智能餐厅越来越受到重视，如何方便快捷的进行结账支付成为了一个研究的热点。现有的基于深度学习的智能支付方式普遍是利用红外，超声波等一些传感器来判断餐盘的运动状态，待餐盘进入摄像头的捕捉区域后触发摄像头拍照进行餐盘或者菜品的识别，最终根据识别结果结账计费。然而上诉方法因为使用了传感器，会额外增加成本，同时对于后期的维护和更新都会带来极大的不便，其次传感器对环境的依赖会直接影响后续的识别。
其次现有的基于传统图像处理的物体运动状态判断方法都存在一些问题，例如帧间差分法，虽然它对光线等场景变化不太敏感，能够适应各种动态环境，但是对于帧间的时间间隔选择没有一个合适的范围，间隔过大过小都会影响它的检测准确率，其次最重要的是它无法检测出静止的物体。背景差分法，在实际的餐厅中很难获得一个统一的背景，因此，需要不断的动态更新背景，这会大大降低检测的速度，同时一些细微的抖动都会对其的检测结果造成干扰。边缘检测法，它对于颜色较为敏感，因此餐盘，菜品的颜色会对其造成很大的影响，同时光照的变化以及拍摄角度都会对其造成干扰。
总体来说，传统的图像处理检测物体运动状态的方法可靠性比较差，存在着光照、图像阴影和噪声、物体的遮挡和检测速度慢等问题，容易受到环境的影响，造成检测结果的不准确及误判，在实际的应用中，难以用来确定餐盘的运动状态。
本发明提供了一种基于深度学习的餐盘运动状态识别方法，通过摄像头获取的餐盘图像关键帧，利用卷积神经网络得到餐盘的位置信息，对比相邻关键帧之间的餐盘位置信息来判断餐盘的运动状态，当餐盘处于静止状态后进行后续的餐盘或者菜品识别工作。该方法能够解决传统图像处理检测餐盘运动状态所存在的问题，同时该方法不需要额外的传感器来触发摄像头，能够减小传感器依赖所造成的影响，并且该方法相对于传感器不会增加所需时间，能够在保证检测速度的同时降低成本。
发明内容
本发明的目的在于能够利用摄像头获取的图片帧来判断餐盘的运动状态，解决目前对于餐盘及菜品检测中常使用红外传感器等一些额外的硬件来判断餐盘的运动状态，在保证检测速度的同时能够有效减少成本。
为了实现上述目的，本发明提供了一种基于深度学习的餐盘运动状态识别方法，该方法包括：
收集餐盘样本，利用卷积神经网络训练一个餐盘位置检测模型；
利用摄像头装置对餐盘图像进行实时检测；
按关键帧对检测得到的餐盘位置信息进行判断；
判断餐盘置于稳定状态后将检测结果输出；
继续检测餐盘运动状态，判断餐盘是否移出摄像头范围，重置显示。
其中，根据所述收集餐盘样本，利用卷积神经网络训练餐盘位置检测模型，包括：
在实际餐厅中采集餐盘样本；
对餐盘样本进行数据增强，标注餐盘数据；
卷积神经网络为基础网络，利用得到的样本训练餐盘检测模型。
其中，根据所述利用摄像头进行实时检测，包括：
利用训练好的检测模型进行实时检测。
其中，根据所述按关键帧对检测得到的餐盘位置信息进行判断，包括：
由检测模型在关键帧位置获取餐盘的位置坐标信息；
对比前后两个关键帧中餐盘的位置信息判断餐盘的运动状态。
其中，根据所述判断餐盘置于稳定状态后将激活后续的餐盘或菜品识别模型，包括：
判断得到餐盘为稳定状态；
激活后续的餐盘或者菜品识别。
其中，根据所述继续检测餐盘运动状态，判断餐盘是否移出摄像头范围，重置显示，包括：
待餐盘或者菜品识别模型输出结果后再次触发餐盘位置检测模型；
按关键帧判断餐盘的位置坐标信息；
当不在获得餐盘的位置坐标信息后，确定餐盘移出摄像头范围，重置显示。
本发明所述的一种基于深度学习的餐盘运动状态识别方法，通过摄像头获取到餐盘图像的关键帧，对比前后两个关键帧中的餐盘坐标信息来确定餐盘的运动状态，具体而言，本发明将首先利用卷积神经网络通过样本来训练一个检测餐盘位置的网络模型，其次通过该模型获取从摄像头捕捉到的餐盘图片的餐盘位置信息，最后对前后关键帧之间的位置信息进行对比分析，确定餐盘的运动状态。
基于上述发明方法，与现有方法相比具有突出的区别和贡献在于：
本发明充分利用图像关键帧之间的餐盘位置信息，能够判断出餐盘处于移动或者静止状态，同时在保证检测速度的同时能够不依赖于红外或超声波等传感器，避免了传感器所带来的干扰因素例如光照、环境等影响，其次能够方便后续的硬件更新，可以大大降低开发和维护的成本。并且本发明相较于传统图像处理中的方法，检测速度更快，识别率更高，对于环境的要求较低，同时也可以降低对图像质量的依赖，减少摄像头成本。
附图说明：
图1为本申请实施例的一种基于深度学习的餐盘运动状态识别方法的流程图。
图2为本申请实施例获取样本并训练模型的流程图。
图3为本申请实施例关键帧的确定以及餐盘运动状态的判断的流程图。
图4为本申请实施例后续的餐盘或菜品识别后重置显示的流程图。
具体实施方式：
以下将通过具体的实施例及附图来详细介绍本发明的目的、技术方案和优点。
图1所示的本申请实施例的整个流程示意图，具体实施如下：
步骤S110，收集实际餐厅中的餐盘样本，利用卷积神经网络训练一个餐盘检测模型；
步骤S120，利用摄像头装置对餐盘图像进行实时检测；
步骤S130，将获取的餐盘图像输入到已训练好的模型中，按关键帧检测餐盘图像，得到餐盘的位置信息；
步骤S140，对连续的前后两帧中的餐盘位置信息进行判断，确定餐盘的运动状态，当餐盘处于静止稳定状态后激活后续的餐盘或菜品检测模型；
步骤S150，继续检测餐盘运动状态，判断餐盘是否移出摄像头范围，重置显示。
以下对本申请实施例的若干关键步骤作详细介绍。
一、图2表示获取样本并训练模型
本申请实施例从餐厅中获取实际的餐盘样本图像，利用标注软件对其进行标注，并利用卷积神经网络训练一个餐盘位置检测模型，其中：
获取的餐盘图像应包含各类别餐盘；
卷积神经网络采用较小的网络结构，提高检测速度。
步骤S210，利用标注软件在获取的餐盘图像中进行各类别餐盘的标注，即在餐盘图像中框出各个类别并打上标签；
步骤S220，将标注好的样本输入到一个浅层的卷积神经网络中进行训练，得到一个餐盘位置检测模型。
二、图3表示关键帧的确定以及餐盘运动状态的判断
本申请实施例从摄像头获取的餐盘连续帧中提取关键帧，并根据餐盘位置检测模型判断餐盘的运动状态，其中：
根据摄像头得到的餐盘图像连续帧，每隔5帧为一个关键帧，以25FPS的摄像头为例，则存在6个关键帧；
在每个关键帧中利用餐盘位置检测模型进行餐盘检测，获取餐盘的坐标信息；
对比前后关键帧中的餐盘坐标信息确定餐盘的运动状态。
步骤S310，从连续的餐盘图像帧中每隔5帧提取关键帧；
步骤S320，在提取出来的关键帧处利用已经训练好的餐盘位置检测模型进行检测，得到餐盘的位置坐标信息；
步骤S330，对比前后两个关键帧处的餐盘位置坐标信息来判断餐盘的运动状态；若前后两帧检测到的餐盘坐标不在发生变化，并且餐盘的坐标个数保持不变，则确定餐盘静止，处于稳定状态；反之则餐盘处于移动状态，继续进行关键帧的对比。
步骤S340，餐盘处于稳定状态后，激活后续的餐盘或菜品检测模型，进行餐盘或者菜品的识别。
三、图4表示后续的餐盘或菜品识别后重置显示
本申请实施例在后续餐盘或菜品识别结束后，继续检测餐盘运动状态，判断餐盘是否移出摄像头范围，重置显示，其中：
待餐盘或菜品检测模型输出识别结果后，餐盘位置检测模型在关键帧处进行检测；
得到关键帧处的餐盘位置坐标信息；
对比前后关键帧处的坐标信息，确定餐盘移出摄像头后重置显示。
步骤S410，得到餐盘或菜品检测模型输出识别结果后，餐盘位置检测模型继续在关键帧处进行餐盘位置的检测；
步骤S420，若餐盘位置检测模型一直检测到坐标信息，则认为餐盘依然处于摄像头范围，若检测模型不再检测到坐标信息，且后续两个关键帧处都不再有坐标信息则认为餐盘移出摄像头范围，重置显示界面。

Claims (5)

1.一种基于深度学习的餐盘运动状态识别方法，用于通过图像信息来确定餐盘的运动状态，其特征在于，所述方法包括以下步骤：
收集餐盘样本，利用卷积神经网络训练一个餐盘位置检测模型；
利用摄像头装置对餐盘图像进行实时检测；
按关键帧对检测得到的餐盘位置信息进行判断；
判断餐盘置于稳定状态后将激活后续的餐盘或菜品识别模型；
继续检测餐盘运动状态，判断餐盘是否移出摄像头范围，重置显示。
2.根据权利要求1所述的基于深度学习的餐盘运动状态识别方法，其特征在于，利用卷积神经网络训练一个餐盘位置检测模型，包括：
采集实际餐厅餐盘数据并进行标记；
利用卷积神经网络训练一个餐盘位置检测模型。
3.根据权利要求1所述的基于深度学习的餐盘运动状态识别方法，其特征在于，按关键帧对检测得到的餐盘位置信息进行判断，包括：
确定整个餐盘运动过程中的关键帧；
利用训练好的餐盘位置检测模型在关键帧处进行检测，得到餐盘的位置信息；
通过对比前后关键帧中的餐盘位置信息进行餐盘运动状态的判断。
4.根据权利要求1所述的基于深度学习的餐盘运动状态识别方法，其特征在于，判断餐盘置于稳定状态后将激活后续的餐盘或菜品识别模型，包括：
根据关键帧之间的对比结果确定餐盘处于静止或者移动状态；
若在两个关键帧之间检测到的餐盘数量未发生变化则确定餐盘稳定；
激活后续的餐盘或菜品检测模型进行识别。
5.根据权利要求1所述的基于深度学习的餐盘运动状态识别方法，其特征在于，继续检测餐盘位置，判断餐盘是否移出摄像头范围，重置显示，包括：
待餐盘或菜品检测模型输出识别结果后，再次进行餐盘位置检测；
当检测结果不在输出餐盘位置信息时，确定餐盘已移出摄像头范围；
确认结账结束，重置显示。
CN201910215013.3A 2019-03-16 2019-03-16 一种基于深度学习的餐盘运动状态识别方法 Pending CN110069995A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910215013.3A CN110069995A (zh) 2019-03-16 2019-03-16 一种基于深度学习的餐盘运动状态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910215013.3A CN110069995A (zh) 2019-03-16 2019-03-16 一种基于深度学习的餐盘运动状态识别方法

Publications (1)

Publication Number Publication Date
CN110069995A true CN110069995A (zh) 2019-07-30

Family

ID=67366419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910215013.3A Pending CN110069995A (zh) 2019-03-16 2019-03-16 一种基于深度学习的餐盘运动状态识别方法

Country Status (1)

Country Link
CN (1) CN110069995A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112730895A (zh) * 2020-12-22 2021-04-30 中国科学院物理研究所 一种原子/分子搬运方法及系统
CN114202714A (zh) * 2020-10-30 2022-03-18 杭州食方科技有限公司 托盘运动状态检测方法、装置、电子设备和可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090324086A1 (en) * 2008-06-27 2009-12-31 Canon Kabushiki Kaisha Image processing apparatus for retrieving object from moving image and method thereof
CN107122730A (zh) * 2017-04-24 2017-09-01 乐金伟 自选餐厅自动计价方法
CN109325979A (zh) * 2018-07-20 2019-02-12 上海理工大学 基于深度学习的机器人回环检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090324086A1 (en) * 2008-06-27 2009-12-31 Canon Kabushiki Kaisha Image processing apparatus for retrieving object from moving image and method thereof
CN107122730A (zh) * 2017-04-24 2017-09-01 乐金伟 自选餐厅自动计价方法
CN109325979A (zh) * 2018-07-20 2019-02-12 上海理工大学 基于深度学习的机器人回环检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
汪冲;席志红;肖春丽;: "基于背景差分的运动目标检测方法" *
赵小禹;华钢;刘淑桢;: "基于帧差法的矿用胶带机运动检测" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114202714A (zh) * 2020-10-30 2022-03-18 杭州食方科技有限公司 托盘运动状态检测方法、装置、电子设备和可读介质
CN112730895A (zh) * 2020-12-22 2021-04-30 中国科学院物理研究所 一种原子/分子搬运方法及系统

Similar Documents

Publication Publication Date Title
US9400935B2 (en) Detecting apparatus of human component and method thereof
CN102004906A (zh) 人脸识别系统及方法
KR101350922B1 (ko) 열화상 카메라를 사용한 객체 추적 방법 및 장치
CN109145708B (zh) 一种基于rgb和d信息融合的人流量统计方法
CN109446942A (zh) 目标跟踪方法、装置和系统
CN102609720B (zh) 一种基于位置校正模型的行人检测方法
KR101697161B1 (ko) 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법
CN111814635B (zh) 基于深度学习的烟火识别模型建立方法和烟火识别方法
CN106548111A (zh) 一种二维码外观缺陷检测方法及装置
CN108648211A (zh) 一种基于深度学习的小目标检测方法、装置、设备和介质
CN103413149B (zh) 复杂背景中实现静态目标检测和识别的方法
CN112541403B (zh) 一种利用红外摄像头的室内人员跌倒检测方法
CN108230607A (zh) 一种基于区域特征分析的图像火灾探测方法
CN110069995A (zh) 一种基于深度学习的餐盘运动状态识别方法
CN111753587B (zh) 一种倒地检测方法及装置
KR20070036123A (ko) 자동 시각 이벤트 검출 방법 및 장치
CN114613006A (zh) 一种远距离手势识别方法及装置
KR100885418B1 (ko) 오버헤드 카메라 영상에서 사람을 감지하고 추적하는시스템 및 그 방법
CN105869413A (zh) 基于摄像头视频检测车流量和车速的方法
CN110298864A (zh) 一种高尔夫推杆设备的视觉感测方法及装置
CN106056080B (zh) 一种可视化的生物计量信息采集装置和方法
CN116310263A (zh) 一种指针式航空地平仪示数自动读取实现方法
KR101560810B1 (ko) 템플릿 영상을 이용한 공간 관리 방법 및 장치
CN106446837B (zh) 一种基于运动历史图像的挥手检测方法
JPH06111018A (ja) イメージ処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination