CN114898287A - 用于餐盘检测预警的方法、装置、电子设备、存储介质 - Google Patents

用于餐盘检测预警的方法、装置、电子设备、存储介质 Download PDF

Info

Publication number
CN114898287A
CN114898287A CN202210485786.5A CN202210485786A CN114898287A CN 114898287 A CN114898287 A CN 114898287A CN 202210485786 A CN202210485786 A CN 202210485786A CN 114898287 A CN114898287 A CN 114898287A
Authority
CN
China
Prior art keywords
dinner plate
target detection
track
meal
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210485786.5A
Other languages
English (en)
Inventor
范清
唐大闰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Minglue Zhaohui Technology Co Ltd
Original Assignee
Beijing Minglue Zhaohui Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Minglue Zhaohui Technology Co Ltd filed Critical Beijing Minglue Zhaohui Technology Co Ltd
Priority to CN202210485786.5A priority Critical patent/CN114898287A/zh
Publication of CN114898287A publication Critical patent/CN114898287A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Medical Informatics (AREA)
  • Human Resources & Organizations (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Evolutionary Computation (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及计算机视觉技术领域，公开一种用于餐盘检测预警的方法，包括：接收门店监控视频采集的用餐视频；利用本地餐盘及人体目标检测模型对采集的用餐视频进行分析，获得用餐人员轨迹与餐盘轨迹；根据用餐人员轨迹、餐盘轨迹建立餐盘与用餐人员的匹配关系，并在匹配关系满足滞留判断条件的情况下，发送滞留预警信息。通过餐盘及人体目标检测模型，分别确定用餐人员轨迹与餐盘轨迹，并建立餐盘与用餐人员的匹配关系，从而实现餐盘与用餐人员的追踪。并且在特征提取的过程中采用全局操作，无需对图像降维，从而减小细节的损失与特征关联的欠缺，提高餐盘检测的准确性。本申请还公开一种用于餐盘检测预警的装置、电子设备、存储介质。

Description

用于餐盘检测预警的方法、装置、电子设备、存储介质
技术领域
本申请涉及计算机视觉技术领域，例如涉及一种用于餐盘检测预警的方法、装置、电子设备、存储介质。
背景技术
随着经济的发展，人工智能、大数据等新兴技术与传统餐饮行业的融合，给餐饮行业的管理带来新的发展方向，使得餐厅的监控视频中餐盘以及用餐人员的追踪成为可能。
目前，为实现用餐人员追踪检测，相关技术中提出了一种用餐智能检测评分方法，包括：步骤A：采集实时用餐视频数据流，获取用餐图像；步骤B：获取用餐图像中的人脸信息，将人脸信息在人脸比对库中进行对比，识别人脸身份；步骤C：获取用餐视频数据流中的餐盘信息，对餐盘信息进行识别，获取所识别的人脸身份的用餐情况，得出用餐评分等级，生成个人用餐情况信息；步骤D：根据用餐评分等级控制提示装置发出用餐提醒。
在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：
在相关技术中，为实现用餐人员追踪检测是通过获取用餐图像中的人脸信息，并通过比对，识别人脸身份，在比对、识别的过程中通常需要逐步减小特征图的空间分辨率，之后再一次性或逐步地放大特征图分辨率至原始输入分辨率。在特征图分辨率改变过程中，不可避免的将造成信息的流失，无法保证餐盘检测的准确性。
发明内容
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
本公开实施例提供了一种用于餐盘检测预警的方法、装置、电子设备、存储介质，以提高餐盘检测的准确性。
在一些实施例中，所述用于餐盘检测预警的方法包括：
接收门店监控视频采集的用餐视频；
利用本地餐盘及人体目标检测模型对采集的用餐视频进行分析，获得用餐人员轨迹与餐盘轨迹；
根据用餐人员轨迹、餐盘轨迹建立餐盘与用餐人员的匹配关系，并在匹配关系满足滞留判断条件的情况下，发送滞留预警信息。
可选地，对采集的用餐视频进行分析，获得用餐人员轨迹与餐盘轨迹，包括：
将用餐视频输入预训练的本地餐盘及人体目标检测模型，得到餐盘及人体的目标检测框；
根据人体的目标检测框，确定用餐人员轨迹；
根据餐盘的目标检测框，确定餐盘轨迹。
可选地，本地餐盘及人体目标检测模型的训练过程，包括：
建立本地数据集；
利用本地数据集调整餐盘及人体检测模型，得到本地餐盘及人体目标检测模型。
可选地，将用餐视频输入预训练的本地餐盘及人体目标检测模型，得到餐盘及人体的目标检测框，包括：
根据本地餐盘及人体目标检测模型，分别确定餐盘及人体的检测框，及与目标检测框分别对应的概率；
根据与目标检测框分别对应的概率和概率阈值的对应关系，过滤目标检测框，并以过滤后的目标检测框分别作为餐盘及人体的目标检测框。
可选地，根据人体的目标检测框，确定用餐人员轨迹，包括：
根据人体的目标检测框，确定用餐人员的标识特征；
利用人体的目标检测框与用餐人员标识特征，确定运动匹配程度和表现匹配程度；
通过级联匹配的方式为确定的匹配程度分配优先权，获得与目标检测框相匹配的用餐人员轨迹。
可选地，根据餐盘的目标检测框，确定餐盘轨迹，包括：
以餐盘的目标检测框创建跟踪器并标注标识；
根据创建的跟踪器及标识，确定餐盘的目标检测框的最优关联结果；
以确定的餐盘的目标检测框更新跟踪器，并确定餐盘轨迹。
可选地，根据用餐人员轨迹、餐盘轨迹建立餐盘与用餐人员的匹配关系，并在匹配关系满足滞留判断条件的情况下，发送滞留预警信息，包括：
计算用餐人员轨迹与餐盘轨迹的距离；
建立用餐人员轨迹、餐盘轨迹、计算结果的匹配关系；
在匹配关系中计算结果满足滞留判断条件的情况下，发送滞留预警信息。
在一些实施例中，所述用于餐盘检测预警的装置包括：
处理器和存储有程序指令的存储器，所述处理器被配置为在运行所述程序指令时，执行如上述用于餐盘检测预警的方法。
在一些实施例中，所述电子设备包括：
如上述的用于餐盘检测预警的装置。
在一些实施例中功能，所述存储介质包括：
存储有程序指令，所述程序指令在运行时，执行如上述用于餐盘检测预警的方法。
本公开实施例提供的用于餐盘检测预警的方法、装置、电子设备、存储介，可以实现以下技术效果：
本申请采用应用于深度学习技术领域的技术手段，通过餐盘及人体目标检测模型，分别确定用餐人员轨迹与餐盘轨迹，并建立餐盘与用餐人员的匹配关系，从而实现餐盘与用餐人员的追踪。并且在特征提取的过程中采用全局操作，无需对图像降维，从而减小细节的损失与特征关联的欠缺，提高餐盘检测的准确性。除此之外，在餐盘与用餐人员的匹配关系满足滞留判断条件时，还可以发送滞留预警信息，从而可以准确的判断餐盘滞留情况，便于餐厅管理，提升用户体验。
以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1是本公开实施例提供的一个用于餐盘检测预警的系统环境示意图；
图2是本公开实施例提供的一个用于餐盘检测预警的方法的示意图；
图3是本公开实施例提供的另一个用于餐盘检测预警的方法的示意图；
图4是本公开实施例提供的一个调整餐盘及人体目标检测模型的示意图；
图5是本公开实施例提供的另一个用于餐盘检测预警的方法的示意图；
图6是本公开实施例提供的一个用于餐盘检测预警的装置的示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
除非另有说明，术语“多个”表示两个或两个以上。
本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。
术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。
术语“对应”可以指的是一种关联关系或绑定关系，A与B相对应指的是A与B之间是一种关联关系或绑定关系。
CBS为Conv、BN与Silu，其中Conv为卷积，BN(批规范化，BatchNorm)是深度网络中经常用到的加速神经网络训练，加速收敛速度及稳定性的算法，是目前深度网络必不可少的一部分，Silu(Sigmoid Weighted Liner Unit)是一种激活函数。
结合图1所示，本公开实施例提供的一个用于餐盘检测预警的系统包括：监控相机、餐盘滞留检测、后头服务器与滞留预警信息提醒。通过n个设置在门店的监控相机采集用餐视频，并基于监控相机采集的用餐视频进行餐盘滞留判断，其中n为正整数。在检测到餐盘滞留的情况下，保存餐盘对应的图像证据，并通过后台服务器发送滞留预警信息提醒至相应门店。应该理解的是，对于监控相机的分布以及数量，可根据实际工况进行设定，本申请对此不做具体限定，只要可用于反映通过监控相机采集用餐视频并进行餐盘滞留检测即可。
结合图2所示，本公开实施例提供一种用于餐盘检测预警的方法，包括：
S21，餐盘检测预警系统接收门店监控视频采集的用餐视频。
在本公开实施例中，接收门店监控相机采集的用餐视频可以是采用NvidiaXavier NX设备，同时拉取多路视频流，视频流可以是RTSP视频流、RTP视频流、RTCP视频流或其他形式的视频流，本申请对此不做具体限定，可根据实际工况设定。
S22，餐盘检测预警系统利用本地餐盘及人体目标检测模型对采集的用餐视频进行分析，获得用餐人员轨迹与餐盘轨迹。
在本公开实施例中，采集的用餐视频分析是指通过Nvidia DeepStream库部署滞留餐盘检测插件，包括使用ffmpeg库对用餐视频进行解码，提取视频图像关键帧。并通过对图像的人工标注结合预先训练的本地餐盘及人体目标检测模型，获得用餐人员轨迹与餐盘轨迹。对于采集的用餐视频进行解码并提取视频图像关键帧可以是以固定时间间隔输入到预先训练的本地餐盘及人体目标检测模型。固定时间间隔可以是每两秒采样一帧、每五秒采样一帧或其他时间间隔，本申请对此不作具体限定。
S23，餐盘检测预警系统根据用餐人员轨迹、餐盘轨迹建立餐盘与用餐人员的匹配关系，并在匹配关系满足滞留判断条件的情况下，发送滞留预警信息。
在本公开实施例中，用餐人员与餐盘匹配关系的建立是通过将餐盘与用餐人员的距离作为匹配因素，建立的对应匹配关系。滞留判断条件用于衡量餐盘与用餐人员的距离，从而作为发送滞留预警信息的判断条件。
采用本公开实施例提供的用于餐盘检测预警的方法，通过餐盘及人体目标检测模型，分别确定用餐人员轨迹与餐盘轨迹，并建立餐盘与用餐人员的匹配关系，从而实现餐盘与用餐人员的追踪。并且在特征提取的过程中采用全局操作，无需对图像降维，从而减小细节的损失与特征关联的欠缺，提高餐盘检测的准确性。除此之外，在餐盘与用餐人员的匹配关系满足滞留判断条件时，还可以发送滞留预警信息，从而可以准确的判断餐盘滞留情况，便于餐厅管理，提升用户体验。
结合图3所示，本公开实施例提供一种用于餐盘检测预警的方法，包括：
S31，接收门店监控视频采集的用餐视频。
S32，将用餐视频输入预训练的本地餐盘及人体目标检测模型，得到餐盘及人体的目标检测框。
可选地，本地餐盘及人体目标检测模型的训练过程，包括：
建立本地数据集；
利用本地数据集调整餐盘及人体检测模型，得到本地餐盘及人体目标检测模型。
在本公开实施例中，建立本地数据集的过程包括，接收各门店采集的用餐视频。提取视频关键帧。对关键帧中的图像进行标注，生成跟踪轨迹标注。
在实际应用中，视频关键帧的提取可以是使用ffmpeg库进行视频关键帧的提取，也可以是通过其他记录、转换视频的工具，本申请对此不做具体限定，可根据实际工况具体选用。关于利用记录、转换视频的工具进行视频关键帧的提取属于较为成熟的技术，本申请对此不再进行赘述。
在实际应用中，跟踪轨迹标注的标注形式为目标检测框，目标检测框可以是矩形框，标注内容包括当前帧id、餐盘目标id、用餐人员目标id、对应目标检测框左上角坐标、检测框宽、检测框高，其中，对应目标检测框包括餐盘目标检测框与用餐人员目标检测框。跟踪轨迹标注为后续确定餐盘及人体的检测框、用餐人员的标识特征以及通过餐盘与用餐人员的匹配关系发送滞留预警信息提供数据基础。
可选地，标注内容还包括标志位。
在实际应用中，标志位的取值范围为两个数值，可以是0或1，也可以是a或b，或其他类型。标志位的取值用于表示目标是否为有效目标，其中目标包括餐盘和用餐人员。在标志位的取值为0或1的情况下，取0可以表示对应目标模糊或太小或其他原因导致目标为无效目标，取1可以表示对应目标为有效目标。应该理解的是，标志位的取值可以根据实际工况设定，本申请对此不做具体限定，只要可用于反映通过标志表示目标是否为有效目标即可。这样，通过标注标志位可以对多个单相机采集的道路车辆视频进行筛选，将无效目标剔除，从而减少后续搜索空间，提高跨相机车辆跟踪的准确性。
在本公开实施例中，利用本地数据集调整餐盘及人体检测模型，得到本地餐盘及人体目标检测模型，包括在开源数据集中预训练餐盘及人体检测模型。将训练后的餐盘及人体检测模型在本地数据集上进行调整，以得到本地餐盘及人体目标检测模型。
在实际应用中，开源数据集可以是开源目标检测数据集，如MS-COCO目标检测数据集，或其他开源目标检测数据集。餐盘及人体检测模型可以是基于YOLOX算法的餐盘及人体检测模型，或其他餐盘及人体检测模型。其中，基于YOLOX算法的餐盘及人体检测模型可以是YOLOX-l模型、YOLOX-m模型、YOLOX-s模型、YOLOX-tiny模型或其他模型。应该理解的是，开源目标检测数据集与餐盘及人体检测模型的选用可根据实际工况选择，本申请对此不做具体限定。
在实际应用中，结合图4所示，本公开实施例提供的一个调整餐盘及人体目标检测模型的示意图，示例性给出利用本地数据集调整基于YOLOX算法的餐盘及人体检测模型，得到本地餐盘及人体目标检测模型的过程。调整过程涉及修改原YOLOX网络head部分，修改后的结构如图4所示，将Cls分支的卷积核修改为两个大小为1*1的卷积核，Conv经激活函数激活后分别输出目标为餐盘的概率和目标为用餐人员的概率。Obj分支Conv采用一个大小为1*1的卷积核，经激活函数激活后输出目标是前景的概率，Loc分支Conv采用四个大小为1*1的卷积核，经激活函数激活后输出目标在图像中的位置，即输出目标检测框。
可选地，将用餐视频输入预训练的本地餐盘及人体目标检测模型，得到餐盘及人体的目标检测框，包括：
根据本地餐盘及人体目标检测模型，分别确定餐盘及人体的检测框，及与目标检测框分别对应的概率；
根据与目标检测框分别对应的概率和概率阈值的对应关系，过滤目标检测框，并以过滤后的目标检测框分别作为餐盘及人体的目标检测框。
在本公开实施例中，分别确定餐盘及人体的检测框是指确定餐盘的目标检测框与用餐人员的目标检测框。与目标检测框分别对应的概率是指输出目标为有效目标的概率和/或输出目标为真实目标的概率。
在实际应用中，通过Cls分支分别输出的目标是餐盘的概率与目标是用餐人员的概率，可以通过设置概率阈值对每个餐盘的目标检测框和每个用餐人员的目标检测框进行过滤。概率阈值的取值可以是0.4、0.5或其他数值，可根据实际工况进行设定，只要可用于反映输出目标的有效性即可，其中，大于或等于相应概率阈值的目标概率为有效目标。通过Obj分支输出的前景的概率是指输出结果为餐盘目标检测框或用餐人员目标检测框的前景或背景的概率，即干扰因素的概率。可以通过设置干扰因素概率阈值对每个餐盘的目标检测框和每个用餐人员的目标检测框进行过滤。干扰因素概率阈值的取值可以是0.5、0.6或其他数值，可根据实际工况进行设定，只要可用于确定输出目标是否为干扰因素即可，其中，大于或等于相应干扰因素阈值的目标概率为真实目标，否则认为对应目标为干扰。通过Loc分支输出目标检测框是指每个餐盘的目标检测框或每个用餐人员的目标检测框，其中输出的目标检测框包括检测框、检测框左上角坐标、检测框宽和检测框高。
在实际应用中，根据与目标检测框分别对应的概率和概率阈值的对应关系，过滤目标检测框，并以过滤后的目标检测框分别作为餐盘及人体的目标检测框是指根据概率阈值和/或干扰因素的概率对餐盘及人体的目标检测框进行过滤，从而对输出目标的是否为有效目标和/或真实目标进行过滤，从而减少搜索空间，提高餐盘检测的准确性。
S33，根据人体的目标检测框，确定用餐人员轨迹。
可选地，根据人体的目标检测框，确定用餐人员轨迹，包括：
根据人体的目标检测框，确定用餐人员的标识特征；
利用人体的目标检测框与用餐人员标识特征，确定运动匹配程度和表现匹配程度；
通过级联匹配的方式为确定的匹配程度分配优先权，获得与目标检测框相匹配的用餐人员轨迹。
在本公开实施例中，根据人体的目标检测框，确定用餐人员的标识特征是指将人体目标检测框输入预训练的本地用餐人员标识模型，得到用餐人员的特征标识。
在本公开实施例中，本地用餐人员标识模型的训练过程包括，在开源数据集中预训练用餐人员标识模型。将训练后的用餐人员标识模型在本地数据集上进行调整，以得到本地用餐人员标识模型。
在实际应用中，开源数据集可以是开源人体重识别数据集，如VeRi数据集，或其他数据集。用餐人员标识模型可以是基于transReID的人体重识别模型，或其他人体重识别模型。应该理解的是，开源数据集与人体重识别模型的选用可根据实际工况选择，本申请对此不做具体限定。
在实际应用中，人体重识别模型用于提取用餐人员的标识特征，用餐人员的标识特征的提取是实现目标正确关联的关键因素，可以通过对比用餐人员标识特征，确定前后时刻的图像是否为同一目标。基于transReID的人体重识别模型通过给定的固定图像块，即每个用餐人员的目标检测框作为输入，输出图像的全局特征。在这一过程中，由于均为全局的操作，不需要进行图像降维，从而减小细节的损失与特征关联的欠缺，提高用餐人员轨迹的准确性，进而为后续保证餐盘检测的准确性提供数据基础。
在本公开实施例中，利用人体的目标检测框与用餐人员标识特征，确定运动匹配程度和表现匹配程度是指根据人体的目标检测框与用餐人员标识特征，采用马氏距离体现运动匹配程度，采用最小余弦距离体现表现匹配程度。
在实际应用中，结合马氏距离和目标成功跟踪的最近k个深度特征集与检测结果特征向量间的最小余弦距离计算前后帧目标之间的匹配程度，其中，马氏距离用于进行方差归一化，马氏距离是作为距离度量的方式，余弦距离是作为一种相似度度量的方式。马氏距离针对于位置进行区分，余弦距离是针对于方向。使用余弦距离，可以衡量不同个体在维度之间的差异，而每个个体中，维度与维度的差异可以使用马氏距离进行弥补，从而在整体上可以达到一个相对于全面的差异性衡量。从而优化度量方式，更好地完成匹配。应该理解的是采用马氏距离体现运动匹配程度，采用最小余弦距离体现表现匹配程度属于较为成熟的现有技术，本申请对此不进行赘述。
在本公开实施例中，通过级联匹配的方式为确定的匹配程度分配优先权，获得与目标检测框相匹配的用餐人员轨迹是指通过级联匹配的方式进行不同优先级的匹配。在级联匹配中，是给上一帧最先匹配的目标最高优先权，给几帧均未匹配成功的目标逐渐降低优先权，直至慢慢放弃。
在实际应用中，根据人体的目标检测框，确定用餐人员轨迹可以是将目标检测框与标识特征输入到基于Deep-Sort目标跟踪算法或基于Sort目标跟踪算法的用餐人员跟踪模型，得到与目标检测框相匹配的用餐人员轨迹轨迹。用餐人员轨迹包括用餐人员ID、帧id、人体的目标检测框、用餐人员标识特征。
S34，根据餐盘的目标检测框，确定餐盘轨迹。
可选地，根据餐盘的目标检测框，确定餐盘轨迹，包括：
以餐盘的目标检测框创建跟踪器并标注标识；
根据创建的跟踪器及标识，确定餐盘的目标检测框的最优关联结果；
以确定的餐盘的目标检测框更新跟踪器，并确定餐盘轨迹。
在本公开实施例中，以餐盘的目标检测框创建跟踪器并标注标识是指通过以餐盘的目标检测框作为目标初始化创建新的跟踪器，并对每个目标标注标识。其中标注的标识用于通过对比标识，确定前后时刻的图像是否为同一目标，即是否为同一餐盘。
在实际应用中，在当前时刻，输入当前帧所对应的用餐视频，并通过上述实施例中描述的将用餐视频输入预训练的本地餐盘及人体目标检测模型，得到餐盘的目标检测框的方式，确定餐盘的目标检测框，餐盘的目标检测框并以初始化并创建跟踪器。并对每个目标进行标注，标注的形式包括为目标分配餐盘id。在下一时刻，输入下一帧所对应的用餐视频，通过卡尔曼滤波器得到当前帧餐盘的目标检测框产生的状态预测和协方差预测。应该理解的是采用卡尔曼滤波器得到前一帧目标的状态预测和协方差预测，属于较为成熟的现有技术，本申请对此不进行赘述。应该理解的是，当前时刻与当前帧从时间顺序上是相对应的，下一时刻与下一帧从时间书序上是相对应的。如当前时刻记为t0，下一时刻可以记为t0+1，t0为自然数，用于表示某一时刻。
在本公开实施里中，根据创建的跟踪器及标识，确定餐盘的目标检测框的最优关联结果包括确定跟踪器所有目标状态预测与当前帧检测的餐盘的目标检测框的IOU(交并比，Intersection over Union)。并确定IOU的最大唯一匹配。
在实际应用中，确定跟踪器所有目标状态预测与当前帧检测的餐盘的目标检测框的IOU的是指确定卡尔曼滤波器的预测目标与餐盘的目标检测框的交集和并集的比值。即，预测的边框与真实的边框的交集和并集的比值。
在实际应用中，确定IOU的最大唯一匹配是指通过匈牙利指派算法得到IOU的最大唯一匹配。应该理解的是，通过匈牙利指派算法确定IOU的最大唯一匹配属于较为成熟的现有技术，本申请对此不进行赘述。
在本公开实施例中，以确定的餐盘的目标检测框更新跟踪器，并确定餐盘轨迹是指根据当前帧中匹配成功的餐盘目标检测框去更新卡尔曼跟踪器，计算卡尔曼增益、状态更新和协方差更新，并将状态更新值输出，作为当前帧的餐盘轨迹。对于当前帧中没有匹配成功的目标，重新初始化跟踪器，以判断对应餐盘的目标检测框为被遮挡或结束。
在实际应用中，对应餐盘的目标检测框结束是指对应餐盘已离开当前画面或对应餐盘是新出现在当前画面中的。
在实际应用中，如果卡尔曼滤波器预测的检测框没有找到对应的餐盘目标检测框，则认为对应餐盘已离开当前画面或被遮挡，重新初始化跟踪器。如果某个餐盘的目标检测框找不到对应的卡尔曼滤波器预测的检测框，则认为对应餐盘是新出现在当前画面中的或被遮挡，重新初始化跟踪器。应该理解的是，采用匹配成功的餐盘目标检测框更新卡尔曼滤波器，计算卡尔曼增益、状态更新和协方差更新，属于较为成熟的现有技术，本申请对此不进行赘述。
S35，根据用餐人员轨迹、餐盘轨迹建立餐盘与用餐人员的匹配关系，并在匹配关系满足滞留判断条件的情况下，发送滞留预警信息。
这样，通过餐盘及人体目标检测模型，分别确定用餐人员轨迹与餐盘轨迹，并建立餐盘与用餐人员的匹配关系，从而实现餐盘与用餐人员的追踪。并且在特征提取的过程中采用全局操作，无需对图像降维，从而减小细节的损失与特征关联的欠缺，提高餐盘检测的准确性。除此之外，在餐盘与用餐人员的匹配关系满足滞留判断条件时，还可以发送滞留预警信息，从而可以准确的判断餐盘滞留情况，便于餐厅管理，提升用户体验。
结合图5所示，本公开实施例提供一种用于餐盘检测预警的方法，包括：
S51，接收门店监控视频采集的用餐视频。
S52，利用本地餐盘及人体目标检测模型对采集的用餐视频进行分析，获得用餐人员轨迹与餐盘轨迹。
S53，计算用餐人员轨迹与餐盘轨迹的距离。
在本公开实施例中，计算用餐人员轨迹与餐盘轨迹的距离是指计算餐盘的目标检测框中心到用餐人员的目标检测框的中心的距离。并将计算结果根据相机参数转换计算的距离至相机空间。应该理解的是，将计算距离转换至相机空间属于较为成熟的技术，本申请对此不再进行赘述。
S54，建立用餐人员轨迹、餐盘轨迹、计算结果的匹配关系。
在本公开实施例中，建立用餐人员轨迹、餐盘轨迹、计算结果的匹配关系是指通过计算结果与预设距离阈值的对应关系，建立用餐人员轨迹与餐盘轨迹的匹配关系。
在实际应用中，预设距离阈值可以固定值或区间范围值。在预设距离阈值为区间范围值的情况下，区间范围可以是[30cm,50cm]、[40cm,60cm]或其他数值。区间范围内的数值作为合理范围容错，如针对小孩与成年人之间由于臂展的不同所产生的餐盘与用餐人员距离的差值容错范围。此种情况下，餐盘与用餐人员的距离小于区间范围最小值则认为对应餐盘与对应用餐人员相互匹配。餐盘与用餐人员的距离大于区间范围最大值则认为对应用餐人员离开对应餐盘。在预设距离阈值为固定值的情况下，预设距离阈值可以是40cm、45cm或其他数值。此种情况下，餐盘与用餐人员的距离小于预设距离阈值则认为对应餐盘与对应用餐人员相互匹配。餐盘与用餐人员的距离大于预设距离阈值则认为对应用餐人员离开对应餐盘。
S55，在匹配关系中计算结果满足滞留判断条件的情况下，发送滞留预警信息。
可选地，计算结果满足滞留判断条件包括：计算结果满足预设距离阈值，且满足预设距离阈值的时间满足预设时间阈值的情况下，认为计算结果满足滞留判断条件。
在本公开实施例中，计算结果满足预设距离阈值是指餐盘与用餐人员的距离大于预设距离阈值。满足预设距离阈值的时间满足预设时间阈值是指餐盘与用餐人员的距离大于预设距离阈值大于或等于预设时间阈值。预设时间阈值的取值可以是5分钟、4分钟或其他数值。
在实际应用中，认为计算结果满足滞留判断条件的情况下，餐盘检测预警系统将保存餐盘对应的图像证据，并通过后台服务器发送滞留预警信息提醒至相应门店。以使相应门店可以准确判断餐盘滞留情况，便于餐厅管理，提升用户体验。
这样，通过餐盘及人体目标检测模型，分别确定用餐人员轨迹与餐盘轨迹，并建立餐盘与用餐人员的匹配关系，从而实现餐盘与用餐人员的追踪。并且在特征提取的过程中采用全局操作，无需对图像降维，从而减小细节的损失与特征关联的欠缺，提高餐盘检测的准确性。除此之外，在餐盘与用餐人员的匹配关系满足滞留判断条件时，还可以发送滞留预警信息，从而可以准确的判断餐盘滞留情况，便于餐厅管理，提升用户体验。
结合图6所示，本公开实施例提供一种用于餐盘检测预警的装置，包括处理器(processor)600和存储器(memory)601。可选地，该装置还可以包括通信接口(Communication Interface)602和总线603。其中，处理器600、通信接口602、存储器601可以通过总线603完成相互间的通信。通信接口602可以用于信息传输。处理器600可以调用存储器601中的逻辑指令，以执行上述实施例的用于餐盘检测预警的方法。
此外，上述的存储器601中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器601作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器600通过运行存储在存储器601中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中用于餐盘检测预警的方法。
存储器601可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器601可以包括高速随机存取存储器，还可以包括非易失性存储器。
本公开实施例提供了一种电子设备，包含上述的用于餐盘检测预警的装置。
本公开实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述用于餐盘检测预警的方法。
本公开实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述用于餐盘检测预警的方法。
上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (10)

1.一种用于餐盘检测预警的方法，其特征在于，包括：
接收门店监控视频采集的用餐视频；
利用本地餐盘及人体目标检测模型对采集的用餐视频进行分析，获得用餐人员轨迹与餐盘轨迹；
根据用餐人员轨迹、餐盘轨迹建立餐盘与用餐人员的匹配关系，并在匹配关系满足滞留判断条件的情况下，发送滞留预警信息。
2.根据权利要求1所述的方法，其特征在于，所述利用本地餐盘及人体目标检测模型对采集的用餐视频进行分析，获得用餐人员轨迹与餐盘轨迹，包括：
将用餐视频输入预训练的本地餐盘及人体目标检测模型，得到餐盘及人体的目标检测框；
根据人体的目标检测框，确定用餐人员轨迹；
根据餐盘的目标检测框，确定餐盘轨迹。
3.根据权利要求2所述的方法，其特征在于，所述本地餐盘及人体目标检测模型的训练过程，包括：
建立本地数据集；
利用本地数据集调整餐盘及人体检测模型，得到本地餐盘及人体目标检测模型。
4.根据权利要求2所述的方法，其特征在于，所述将用餐视频输入预训练的本地餐盘及人体目标检测模型，得到餐盘及人体的目标检测框，包括：
根据本地餐盘及人体目标检测模型，分别确定餐盘及人体的检测框，及与目标检测框分别对应的概率；
根据与目标检测框分别对应的概率和概率阈值的对应关系，过滤目标检测框，并以过滤后的目标检测框分别作为餐盘及人体的目标检测框。
5.根据权利要求2所述的方法，其特征在于，所述根据人体的目标检测框，确定用餐人员轨迹，包括：
根据人体的目标检测框，确定用餐人员的标识特征；
利用人体的目标检测框与用餐人员标识特征，确定运动匹配程度和表现匹配程度；
通过级联匹配的方式为确定的匹配程度分配优先权，获得与目标检测框相匹配的用餐人员轨迹。
6.根据权利要求2所述的方法，其特征在于，所述根据餐盘的目标检测框，确定餐盘轨迹，包括：
以餐盘的目标检测框创建跟踪器并标注标识；
根据创建的跟踪器及标识，确定餐盘的目标检测框的最优关联结果；
以确定的餐盘的目标检测框更新跟踪器，并确定餐盘轨迹。
7.根据权利要求1所述的方法，其特征在于，所述根据用餐人员轨迹、餐盘轨迹建立餐盘与用餐人员的匹配关系，并在匹配关系满足滞留判断条件的情况下，发送滞留预警信息，包括：
计算用餐人员轨迹与餐盘轨迹的距离；
建立用餐人员轨迹、餐盘轨迹、计算结果的匹配关系；
在匹配关系中计算结果满足滞留判断条件的情况下，发送滞留预警信息。
8.一种用于餐盘检测预警的装置，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在运行所述程序指令时，执行如权利要求1至7任一项所述的用于餐盘检测预警的方法。
9.一种电子设备，其特征在于，包括如权利要求8所述的用于餐盘检测预警的装置。
10.一种存储介质，存储有程序指令，其特征在于，所述程序指令在运行时，执行如权利要求1至7任一项所述的用于餐盘检测预警的方法。
CN202210485786.5A 2022-05-06 2022-05-06 用于餐盘检测预警的方法、装置、电子设备、存储介质 Pending CN114898287A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210485786.5A CN114898287A (zh) 2022-05-06 2022-05-06 用于餐盘检测预警的方法、装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210485786.5A CN114898287A (zh) 2022-05-06 2022-05-06 用于餐盘检测预警的方法、装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN114898287A true CN114898287A (zh) 2022-08-12

Family

ID=82718909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210485786.5A Pending CN114898287A (zh) 2022-05-06 2022-05-06 用于餐盘检测预警的方法、装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN114898287A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311608A (zh) * 2022-10-11 2022-11-08 之江实验室 一种多任务多目标关联追踪的方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311608A (zh) * 2022-10-11 2022-11-08 之江实验室 一种多任务多目标关联追踪的方法及装置

Similar Documents

Publication Publication Date Title
US11188783B2 (en) Reverse neural network for object re-identification
US10140508B2 (en) Method and apparatus for annotating a video stream comprising a sequence of frames
US8855363B2 (en) Efficient method for tracking people
CN103593654B (zh) 一种人脸定位的方法与装置
CN103824070A (zh) 一种基于计算机视觉的快速行人检测方法
KR102132722B1 (ko) 영상 내 다중 객체 추적 방법 및 시스템
CN112434566B (zh) 客流统计方法、装置、电子设备及存储介质
CN104615986A (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN110827432B (zh) 一种基于人脸识别的课堂考勤方法及系统
CN102254394A (zh) 一种基于视频差异分析的输电线路杆塔防盗监控方法
US20160343144A1 (en) Method of detecting vehicle, database structure for detecting vehicle, and method of establishing database for detecting vehicle
CN110232331B (zh) 一种在线人脸聚类的方法及系统
KR20220076398A (ko) Ar장치를 위한 객체 인식 처리 장치 및 방법
CN111008574A (zh) 一种基于形体识别技术的重点人员轨迹分析方法
CN111353338A (zh) 一种基于营业厅视频监控的能效改进方法
CN112132873A (zh) 一种基于计算机视觉的多镜头行人识别与跟踪
US20230095533A1 (en) Enriched and discriminative convolutional neural network features for pedestrian re-identification and trajectory modeling
CN111353343A (zh) 一种基于视频监控的营业厅服务规范质检方法
CN112926522A (zh) 一种基于骨骼姿态与时空图卷积网络的行为识别方法
CN117292338B (zh) 基于视频流解析的车辆事故识别和分析方法
CN114898287A (zh) 用于餐盘检测预警的方法、装置、电子设备、存储介质
WO2020232697A1 (zh) 一种在线人脸聚类的方法及系统
CN111738059A (zh) 一种面向无感场景的人脸识别方法
CN114937248A (zh) 用于跨相机的车辆跟踪方法、装置、电子设备、存储介质
CN114419480A (zh) 一种多人身份和动作关联识别方法、装置及可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination