CN112906513A - 就餐资源信息的处理方法、装置及设备 - Google Patents

就餐资源信息的处理方法、装置及设备 Download PDF

Info

Publication number
CN112906513A
CN112906513A CN202110147722.XA CN202110147722A CN112906513A CN 112906513 A CN112906513 A CN 112906513A CN 202110147722 A CN202110147722 A CN 202110147722A CN 112906513 A CN112906513 A CN 112906513A
Authority
CN
China
Prior art keywords
dining
resource
service
information
resource information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110147722.XA
Other languages
English (en)
Other versions
CN112906513B (zh
Inventor
沈国斌
何田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rajax Network Technology Co Ltd
Original Assignee
Rajax Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rajax Network Technology Co Ltd filed Critical Rajax Network Technology Co Ltd
Priority to CN202110147722.XA priority Critical patent/CN112906513B/zh
Publication of CN112906513A publication Critical patent/CN112906513A/zh
Application granted granted Critical
Publication of CN112906513B publication Critical patent/CN112906513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/12Hotels or restaurants
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种就餐资源信息的处理方法、装置及设备,涉及互联网技术领域,实体对象能够向用户提供精准的服务指引,提高就餐资源信息的服务效果。其中方法包括:获取就餐过程中各个服务环节关联的视频关键帧,所述视频关键帧为覆盖服务环节内资源特征的视频帧;对所述视频关键帧内的资源特征进行关联识别,提取各个服务环节内资源特征映射在不同属性维度上的就餐资源信息;将所述资源特征映射在不同属性维度上的就餐资源信息与预先配置的就餐指引信息进行匹配,形成就餐资源信息在调度服务上的预判结果;利用所述预判结果对所述就餐资源信息进行加工,得到包含有就餐指引的服务线索,传输所述服务线索。

Description

就餐资源信息的处理方法、装置及设备
技术领域
本申请涉及互联网技术领域,尤其是涉及到一种就餐资源信息的处理方法、装置及设备。
背景技术
随着社会生活水平的提高,人们的餐饮消费观念逐步改变,外出就餐的人群越来越多。在智能化就餐场景中,为了引导用户的就餐流程,实体对象可以从初始的人工操作,服务员安排就坐、人工点餐的方式逐步转变为人工智能,手机扫码点餐自助下单,链接解算等无需人工操作的就餐环境。
相关技术中,针对就餐流程的每个服务环节都会相应产生就餐资源信息,实体对象会以就餐资源信息作为服务指引,向就餐用户提供更优的服务,例如,针对自助排队叫号的服务环节会收集就餐用户的排序信息,引导用户有序进行就餐,针对机器人迎宾的服务环节会收集就餐用户的人数信息等,引导用户到相应人数的餐桌。
上述服务环节产生的就餐资源信息虽然能够从一定程度提升实体对象内的就餐服务,然而,由于就餐资源信息仅能针对固定的服务环节提供就餐服务,使得就餐资源信息具有一定片面性,很难适配到其他服务环节,实体对象很难向就餐用户提供精准的服务指引,影响就餐资源信息的服务效果。
发明内容
有鉴于此,本申请提供了一种就餐资源信息的处理方法、装置及设备,主要目的在于解决现有技术中实体对象很难向就餐用户提供精准的服务指引,影响就餐资源数据的服务效果的问题。
根据本申请的第一个方面,提供了一种就餐资源信息的处理方法,该方法包括:
获取就餐过程中各个服务环节关联的视频关键帧,所述视频关键帧为覆盖服务环节内资源特征的视频帧;
对所述视频关键帧内的资源特征进行关联识别,提取各个服务环节内资源特征映射在不同属性维度上的就餐资源信息;
将所述资源特征映射在不同属性维度上的就餐资源信息与预先配置的就餐指引信息进行匹配,形成就餐资源信息在调度服务上的预判结果;
利用所述预判结果对所述就餐资源信息进行加工,得到包含有就餐指引的服务线索,传输所述服务线索。
进一步地,所述获取就餐过程中各个服务环节关联的视频关键帧,具体包括:
接收视频设备所采集就餐用户在实体对象内形成的视频帧数据,所述就餐过程包括就餐用户在实体对象所覆盖区域内对接的各个服务环节;
利用针对各个服务环节预先训练的分析模型,将所述视频帧数据拆分为就餐过程中各个服务环节关联的视频关键帧,所述分析模型记录有视频帧数据与不同服务环节上资源特征的映射关系。
进一步地,所述各个服务环节具有时间顺序,所述利用针对各个服务环节预先训练的分析模型,将所述视频帧数据拆分为就餐过程中各个服务环节关联的视频关键帧,具体包括:
利用针对各个服务环节预先训练的分析模型,识别所述视频帧数据与各个服务环节之间的关联信息,所述关联信息包括视频帧数据映射的视频帧特征与服务环节内资源特征之间的相似度;
按照各个服务环节具有的时间顺序,筛选所述相似度大于预设阈值的视频帧数据作为各个服务环节关联的视频关键帧。
进一步地,所述对所述视频关键帧内的资源特征进行关联识别,提取各个服务环节内资源特征映射在不同属性维度上的就餐资源信息,具体包括:
通过监测所述视频关键帧,识别资源特征在不同就餐节点上关联的就餐场景信息;
基于所述就餐场景信息,提取各个服务环节内资源特征映射在不同属性维度上的就餐资源信息。
进一步地,所述就餐资源信息至少包括就餐人数维度、就餐时间维度、餐品状态维度,所述基于所述就餐场景信息,提取各个服务环节内资源特征映射在不同属性维度上的就餐资源信息,具体包括:
针对就餐人数维度,统计就餐场景信息中餐桌内覆盖的就餐人数,提取各个服务环节内资源特征映射在就餐人数维度上的就餐资源信息;
针对就餐时间维度,计算就餐场景信息中就餐行为关联的时间信息,提取各个服务环节内资源特征映射在就餐人数维度上的就餐资源信息;
针对餐品状态维度,识别就餐场景信息中餐桌内覆盖的餐品类型以及餐品类型的消耗信息,提取各个服务环节内资源特征映射在餐品状态维度上的就餐资源信息。
进一步地,所述针对餐品状态维度,识别就餐场景信息中餐桌内覆盖的餐品类型以及餐品类型的消耗信息,提取各个服务环节内资源特征映射在餐品状态维度上的就餐资源信息,具体包括:
针对餐品状态维度,利用预先训练的餐品识别模型,确定就餐场景中餐桌内覆盖的餐品类型;
对所述就餐场景中餐桌内覆盖的餐品类型进行跟踪,以获取餐品类型处于不同消耗状态的时间序列;
根据餐品类型处于不同消耗状态的时间序列,提取各个服务环节内资源特征映射在餐品状态维度上的就餐资源信息。
进一步地,所述对所述就餐场景中餐桌内覆盖的餐品类型进行跟踪,以获取餐品类型处于不同消耗状态的时间序列,具体包括:
针对就餐场景中餐桌内覆盖的餐品类型,提取餐品类型处于不同时间点的消耗状态;
将所述餐品类型处于不同时间点的消耗状态进行拼接,获取餐品类型处于不同消耗状态的时间序列。
进一步地,所述针对就餐场景中餐桌内覆盖的餐品类型,提取餐品类型处于不同时间点的消耗状态,具体包括:
利用追踪法定位所述就餐场景中餐桌内覆盖的餐品类型,提取餐品类型处于不同时间点的消耗状态;或
利用逻辑判断算法对所述就餐场景中餐桌内不同时间点覆盖的餐品类型进行匹配,提取餐品类型处于不同时间点的消耗状态。
进一步地,所述预先配置的就餐指引信息包括餐品在标定流程上的调度信息,所述将所述资源特征映射在不同属性维度上的就餐资源信息与预先配置的就餐指引信息进行匹配,形成就餐资源信息在调度服务上的预判结果,具体包括:
通过将所述资源特征映射在不同属性维度上的就餐资源信息与餐品在标定流程上的调度信息进行匹配,确定餐品资源信息存在的调度需求;
对所述餐品资源信息存在的调度需求进行逻辑判断,形成就餐资源信息在调度服务上的预判结果。
进一步地,所述预判结果为针对就餐资源信息在调度需求上进行逻辑判断的结果,所述利用所述预判结果对所述就餐资源信息进行加工,得到包含有就餐指引的服务线索,传输所述服务线索,具体包括:
利用所述针对就餐资源信息在调度需求上进行逻辑判断的结果,确定就餐资源信息在调度需求上映射的资源字段;
将所述就餐资源信息在调度需求上映射的资源字段处理为就餐指引,对所述就餐资源信息进行加工,得到包含有就餐指引的服务线索。
根据本申请的第二个方面,一种就餐资源信息的处理方法,该方法包括:
接收包括就餐指引的服务线索;
根据所述服务线索中就餐指引在调度需求上映射的资源字段,从资源平台中选取调度状态处于空闲状态的目标服务资源,所述资源平台中记录并实时更新实体对象内服务资源的调度状态;
将所述资源线索推送至所述目标服务资源。
进一步地,在所述将所述资源线索推送至所述目标服务资源之后,所述方法还包括:
响应于所述资源线索的触达指令,将基于所述触达指令获取的资源处理结果生成共享回调信息,发送所述共享回调信息。
根据本申请的第三个方面,提供了一种应用于服务端的就餐资源信息的处理装置,该装置包括:
获取单元,用于获取就餐过程中各个服务环节关联的视频关键帧,所述视频关键帧为覆盖服务环节内资源特征的视频帧;
提取单元,用于对所述视频关键帧内的资源特征进行关联识别,提取各个服务环节内资源特征映射在不同属性维度上的就餐资源信息;
匹配单元,用于将所述资源特征映射在不同属性维度上的就餐资源信息与预先配置的就餐指引信息进行匹配,形成就餐资源信息在调度服务上的预判结果;
加工单元,用于利用所述预判结果对所述就餐资源信息进行加工,得到包含有就餐指引的服务线索,传输所述服务线索。
进一步地,所述获取单元包括:
接收模块,用于接收视频设备所采集就餐用户在实体对象内形成的视频帧数据,所述就餐过程包括就餐用户在实体对象所覆盖区域内对接的各个服务环节;
拆分模块,用于利用针对各个服务环节预先训练的分析模型,将所述视频帧数据拆分为就餐过程中各个服务环节关联的视频关键帧,所述分析模型记录有视频帧数据与不同服务环节上资源特征的映射关系。
进一步地,所述各个服务环节具有时间顺序,所述拆分模块包括:
识别子模块,用于利用针对各个服务环节预先训练的分析模型,识别所述视频帧数据与各个服务环节之间的关联信息,所述关联信息包括视频帧数据映射的视频帧特征与服务环节内资源特征之间的相似度;
筛选子模块,用于按照各个服务环节具有的时间顺序,筛选所述相似度大于预设阈值的视频帧数据作为各个服务环节关联的视频关键帧。
进一步地,所述提取单元包括:
监测模块,用于通过监测所述视频关键帧,识别资源特征在不同就餐节点上关联的就餐场景信息;
提取模块,用于基于所述就餐场景信息,提取各个服务环节内资源特征映射在不同属性维度上的就餐资源信息。
进一步地,所述就餐资源信息至少包括就餐人数维度、就餐时间维度、餐品状态维度,
针对就餐人数维度,所述提取模块,具体用于统计就餐场景信息中餐桌内覆盖的就餐人数,提取各个服务环节内资源特征映射在就餐人数维度上的就餐资源信息;
针对就餐时间维度,所述提取模块,具体用于计算就餐场景信息中就餐行为关联的时间信息,提取各个服务环节内资源特征映射在就餐人数维度上的就餐资源信息;
针对餐品状态维度,所述提取模块,具体用于识别就餐场景信息中餐桌内覆盖的餐品类型以及餐品类型的消耗信息,提取各个服务环节内资源特征映射在餐品状态维度上的就餐资源信息。
进一步地,针对餐品状态维度,所述提取模块包括:
确定子模块,用于针对餐品状态维度,利用预先训练的餐品识别模型,确定就餐场景中餐桌内覆盖的餐品类型;
跟踪子模块,用于对所述就餐场景中餐桌内覆盖的餐品类型进行跟踪,以获取餐品类型处于不同消耗状态的时间序列;
提取子模块,用于根据餐品类型处于不同消耗状态的时间序列,提取各个服务环节内资源特征映射在餐品状态维度上的就餐资源信息。
进一步地,所述跟踪子模块,具体用于针对就餐场景中餐桌内覆盖的餐品类型,提取餐品类型处于不同时间点的消耗状态;
所述跟踪子模块,具体还用于将所述餐品类型处于不同时间点的消耗状态进行拼接,获取餐品类型处于不同消耗状态的时间序列。
进一步地,所述跟踪子模块,具体还用于利用追踪法定位所述就餐场景中餐桌内覆盖的餐品类型,提取餐品类型处于不同时间点的消耗状态;或
利用逻辑判断算法对所述就餐场景中餐桌内不同时间点覆盖的餐品类型进行匹配,提取餐品类型处于不同时间点的消耗状态。
进一步地,所述预先配置的就餐指引信息包括餐品在标定流程上的调度信息,所述匹配单元包括:
匹配模块,用于通过将所述资源特征映射在不同属性维度上的就餐资源信息与餐品在标定流程上的调度信息进行匹配,确定餐品资源信息存在的调度需求;
判断模块,用于对所述餐品资源信息存在的调度需求进行逻辑判断,形成就餐资源信息在调度服务上的预判结果。
进一步地,所述预判结果为针对就餐资源信息在调度需求上进行逻辑判断的结果,所述加工单元包括:
确定模块,用于利用所述针对就餐资源信息在调度需求上进行逻辑判断的结果,确定就餐资源信息在调度需求上映射的资源字段;
加工模块,用于将所述就餐资源信息在调度需求上映射的资源字段处理为就餐指引,对所述就餐资源信息进行加工,得到包含有就餐指引的服务线索。
根据本申请的第四个方面,提供了一种应用于客户端的就餐资源信息的处理装置,该装置包括:
接收单元,用于接收包括就餐指引的服务线索;
选取单元,用于根据所述服务线索中就餐指引在调度需求上映射的资源字段,从资源平台中选取调度状态处于空闲状态的目标服务资源,所述资源平台中记录并实时更新实体对象内服务资源的调度状态;
推送单元,用于将所述资源线索推送至所述目标服务资源。
进一步地,所述装置还包括:
生成单元,用于在所述将所述资源线索推送至所述目标服务资源之后,响应于所述资源线索的触达指令,将基于所述触达指令获取的资源处理结果生成共享回调信息,发送所述共享回调信息。
根据本申请的第五个方面,提供了一种就餐资源信息的处理系统,该系统包括接收端和发送端;
获取就餐过程中各个服务环节关联的视频关键帧,所述视频关键帧为覆盖服务环节内资源特征的视频帧,所述发送端对所述视频关键帧内的资源特征进行关联识别,提取各个服务环节内资源特征映射在不同属性维度上的就餐资源信息;
所述发送端将所述资源特征映射在不同属性维度上的就餐资源信息与预先配置的就餐指引信息进行匹配,形成就餐资源信息在调度服务上的预判结果,利用所述预判结果对所述就餐资源信息进行加工,得到包含有就餐指引的服务线索,传输所述服务线索;
接收包括就餐指引的服务线索,所述接收端根据所述服务线索中就餐指引在调度需求上映射的资源字段,从资源平台中选取调度状态处于空闲状态的目标服务资源,所述资源平台中记录并实时更新实体对象内服务资源的调度状态;
所述接收端将所述资源线索推送至所述目标服务资源。
根据本申请的第六个方面,提供了一种存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述就餐资源信息的处理方法。
根据本申请的第七个方面,提供了一种客户端设备和服务器设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述就餐资源信息的处理方法。
借由上述技术方案,本申请提供的一种就餐资源信息的处理方法、装置及设备,与目前现有方式中就餐资源信息仅针对固定服务环节提供就餐服务的方式相比,本申请通过获取就餐过程中各个服务环节关联的视频关键帧,该视频关键帧为覆盖服务环节内资源特征的视频帧,能够全面监测就餐所有服务环节,并对视频关键帧内的资源特征进行关联识别,提取各个服务环节内资源特征映射在不同属性维度上的就餐资源信息,将资源特征映射在不同属性维度上的就餐资源信息与预先配置的就餐指引信息进行匹配,形成就餐资源信息在调度服务上的预判结果,该预判结果能够针对后续服务环节进行提前预判,有利于优化就餐流程,进一步利用预判结果对就餐资源信息进行加工,得到包含有就餐指引的服务线索,将服务线索提供给调度需求的资源处理方,使得实体对象能够根据服务线索及时向用户提供精准的服务指引,提高就餐资源信息的服务效果。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1示出了本申请实施例提供的一种就餐资源信息的处理方法的流程示意图;
图2示出了本申请实施例提供的另一种就餐资源信息的处理方法的流程示意图;
图3示出了本申请实施例提供的另一种就餐资源信息的处理方法的流程示意图;
图4示出了本申请实施例提供的一种就餐资源信息的处理方法的交互时序图;
图5示出了本申请实施例提供的一种就餐资源信息的处理装置的结构示意图;
图6示出了本申请实施例提供的另一种就餐资源信息的处理装置的结构示意图;
图7示出了本申请实施例提供的另一种就餐资源信息的处理装置的结构示意图;
图8示出了本申请实施例提供的另一种就餐资源信息的处理装置的结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本申请。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
本申请涉及的就餐资源信息的处理系统包括发送端和接收端,其中,发送端为实体对象的服务端,具体可应用于实体对象中的调度平台,该调度平可以对接到不同服务环节的设备端,为了能够准确向各个服务环节提供服务线索,用于获取就餐过程中各个服务环节关联的视频关键帧,该视频关键帧为覆盖服务环节内资源特征的视频帧,对视频关键帧内的资源特征进行关联识别,提取各个服务环节内资源特征映射在不同属性维度上的就餐资源信息,并将资源特征映射在不同属性维度上的就餐资源信息与预先配置的就餐指引信息进行匹配,形成就餐资源在调度服务上的预判结果,利用该预判结果对就餐信息进行加工,得到包含有就餐指引的服务线索,传输服务线索至各个服务环节的设备端。接收端为各个服务环节的设备端,该设备端可以接收包含就餐指引的服务线索,并根据服务线索中就餐指引在调度需求上映射的资源字段,从资源平台中选取调度状态处于空闲状态的目标服务资源,资源平台中记录并实时更新实体对象内服务资源的调度状态,将资源线索推送至目标服务资源。具体在实际应用过程中,就餐资源信息的处理系统还可以包括具有拍摄功能的视频采集设备,该视频采集设备可以获取实体对象内的视频帧数据,并将视频帧数据传输至实体对象的服务端,还可以将视频帧数据处理为各个服务环节的视频关键帧后传输至实体对象的服务端,这里视频采集设备可以具有分析模块的联网视觉系统,能够在观测用户就餐流程的过程中对采集到的视频帧数据进行视频关键帧提取,考虑到分析模块的处理速度,还可以设置针对特定场景的视频帧数据进行视频关键帧提取,而其他场景的由实体对象的服务端进行处理,还可以直接由实体对象的服务端进行处理,利用视频关键帧来关联识别出各个服务环节内的就餐资源特征,并应用于调度平台来向相应服务环节提供资源服务,以向就餐用户提供精准的服务指引,提高用户体验和实体对象的服务效率。
为了解决该问题,本实施例提供了一种就餐资源信息的处理方法,如图1所示,该方法应用于实体对象的服务端,包括如下步骤:
101、获取就餐过程中各个服务环节关联的视频关键帧。
其中,就餐过程中各个服务环节可以为涉及用户从进入实体对象到结束用餐后离开实体对象的过程,具体包括迎宾服务环节、点餐服务环节、等待上餐服务环节、出餐服务环节等,这里实体对象为下线餐饮类门店,可以为具有人工服务人员的餐饮门店,还可以为智慧餐厅类全自助类的餐饮门店。通常情况下,可以通过在实体对象内布置联网视觉系统来捕获实体对象内的视频帧数据,该联网视觉系统可以为实体对象内不同就餐区域布置的一个或者多个具有拍摄功能的视频采集设备,例如,摄像头、监测器等,也可以是佩戴在实体对象内移动机器人或者服务人员身上的微型拍摄设备。由于视频帧数据覆盖实体对象内不同区域,而并非所有视频帧数据都具有服务价值,可以从视频帧数据中提取出各个服务环节关联的视频关键帧,该视频关键帧为覆盖有服务环节内资源特征的视频帧,该资源特征可以为反映服务环节特点的特征,例如,针对迎宾服务环节,通常包含前台指引、就餐人数统计等资源特征,针对点餐服务环节,通常包含点餐、餐品统计等资源特征。
可以理解的是,视频帧数据中每个视频帧代表一幅静止的图片,每帧图片都会包含有不同的图片特征,该图片特征可能会反映就餐场景中的资源特征,例如,图片中包含的就餐人数,图片中包含的餐品类型,图片中包含的选餐动作等,还可能会包含有大量无效部分,通常为不包含资源特征的静止图片,例如,餐桌空闲的情况,实体对象内用户等待餐品的情况,这里可以针对每个视频采集设备所采集到的视频帧数据进行无效数据帧过滤处理,以使得对就餐过程具有分析价值的视频帧数据能够被完整保留下来。对于保留下来的有效视频帧数据,由于视频相比于图像来说信息更加丰富,每个视频帧通常会包含冗余信息,这里可以将与动作有关的视频帧作为关键视频帧,还可以选取包括视频场景事件的视频帧作为关键视频帧,不同的动作或视频场景事件,关键视频帧相差很大,进一步针对服务环节内的资源特征结合就餐过程服务环节顺序,将关键视频帧与服务环节进行关联分析,以获取就餐过程中各个服务环节关联的视频关键帧。
具体将视频关键帧帧与服务环节进行关联分析过程中,作为一种实施方式,资源特征可以为动作信息和/或视频场景事件,根据视频关键帧中所包含动作信息和/或视频场景事件,生成关键帧标签,该标签可以包含动作特征、事件特征、时间特征等多维度的描述特征,由于每个服务环节都具有属于环节内发生的动作和事件,进一步将关键帧标签与各个服务环节进行匹配,识别出属于不同服务环节的关键帧标签,将该关键帧标签对应的视频关键帧与相应服务环节进行关联。
具体将视频关键帧帧与服务环节进行关联分析过程中,作为另一种实施方式,可以利用各个服务环节覆盖的资源特征数据预先训练处一个关键帧识别模型,该识别模型可以对视频关键帧进行分类,相当于服务环节与视频关键帧之间的映射关系,针对每一个视频关键帧,通过输入至关键帧识别模型,可以获取到该视频关键帧关联的服务环节,进而将视频关键帧与相应服务环节进行关联。
对于本发明实施例的执行主体可以为就餐资源信息的处理平台,该平台相当于实体对象的服务端,可以与联网视觉系统进行通信连接以接收视频采集器获取的视频数据帧,并对视频数据帧进行处理后获取各个服务环节关联的视频关键帧,还可以直接接收联网视觉系统处理后各个服务环节关联的视频关键帧。通常情况下,在用户进入到视频采集设备的监测范围内,视频采集设备会不断采集视频帧数据,一种实施方式可以利用联网视觉系统中内嵌的处理模块对视频帧数据进行处理分析,并将提取各个服务环节关联的视频关键帧传输到服务端,还可以直接将视频帧数据传输到服务端。
102、对所述视频关键帧内的资源特征进行关联识别,提取各个服务环节内资源特征映射在不同属性维度上的就餐资源信息。
针对不同服务环节,视频关键帧内所包含资源特征具有不同属性维度的就餐资源信息,能够为服务环节提供不同维度的服务支撑,这里的就餐资源数据可以是与时间维度关联的就餐资源信息,例如,排队时间,就餐等待时间,用餐时间等,还可以是与动作维度关联的就餐资源信息,例如,上菜动作,点菜动作,用餐动作等,还可以是与服务维度关联的就餐资源信息,例如,追加服务,呼叫服务等,为了向用户提供更细致的就餐服务,还可以根据实际需求增加更细致的属性维度,例如,针对餐品状态的属性维度,针对食餐速度的维度等。由于视频关键帧内的资源特征之间具有关联性,不同属性维度的就餐资源信息可通过关联识别来提取各个服务环节内资源特征映射在不同属性维度上的就餐资源信息。
具体在对视频关键帧内的资源特征进行关联识别过程中,可以针对不同属性维度的就餐资源信息的属性特征,设置不同的关联方式,利用不同的关联方式,来提取相应属性维度的就餐资源信息,对于时间属性维度如等候时间、上餐时间等,通常为服务环节之间所形成的时间间歇,可以通过查询相应服务环节资源特征映射的时间点来提取与时间关联的就餐资源信息,针对动作维度如点餐动作、上餐动作等,通常为服务环节内的动作细节,可以通过生成相应服务环节内资源特征的动作序列来提取与动作关联的就餐资源信息,同样类似的方式,可以提取各个服务环节内资源特征映射在不同属性维度上的就餐资源信息。
103、将所述资源特征映射在不同属性维度上的就餐资源信息与预先配置的就餐指引信息进行匹配,形成就餐资源信息在调度服务上的预判结果。
就餐资源信息仅可以提供就餐过程所收集到的资源信息,以使得实体对象可以查看到用户就餐过程以及实体对象的服务过程,该就餐过程与服务过程是否达到用户预期以及商家预期,是否需要调整或者优化,可以利用预先配置的就餐指引信息与就餐资源信息进行匹配,形成就餐资源信息在调度服务上的预判结果,该预先配置的就餐指引信息为结合历史就餐信息以及实体对象的经营模式生成,就餐资源信息在调度服务商的预判结果可以包括就餐资源信息的调度服务需求以及调度服务的需求处理方等信息,例如,就餐等候时间超过30分钟,预判结果为就餐资源信息需要调度服务,就餐排队人数超过10人,预判结果为就餐资源信需要调度服务。
可理解的是,预先配置的就餐指引信息可以为实体对象针对历史就餐数据沉淀出的适用于不同资源特征信息是否需要调度服务的阈值,例如,等候时间的阈值,就餐人数与就餐数量的映射范围等,该就餐指引信息可以为时间阈值,例如,等候时间阈值,还可以为动作特征,例如,用户招手或者按键的动作特征,还可为进度阈值,例如,用户餐品消耗进度阈值,该就餐指引信息还可以根据实体对象实际经营过程进行调整,如增加就餐指引信息和删除就餐指引信息。具体匹配过程中,如果就餐资源信息符合就餐指引信息中的触发条件或者就餐资源信息达到相应时间阈值,可以预判就餐资源信息具有调度服务的需求,否则,可以预判就餐资源信息并不具有调度服务的需求,这里针对具有调度服务需求的就餐资源信息,设置需求等级,以使得需求等级高的就餐资源信息应优先被处理,例如,对于超过时间阈值较长的就餐资源信息,应该优先接收调度服务,从而提高用户就餐过程的服务体验。
104、利用所述预判结果对所述就餐资源信息进行加工,得到包含有就餐指引的服务线索,传输所述服务线索。
由于预判结果只是作为一个判定结果,说明就餐资源信息是否需要调度服务的需求以及需求处理方等信息,而处理方具体需求处理的内容并无法获知,需要利用判定那结果对就餐资源信息进行加工,该加工过程相当于对调度服务的需求进行包装的过程,能够将就餐资源信息在调度服务上的需求信息形成包含有就餐指引的服务线索。
本申请实施例提供的就餐资源信息的处理方法,与目前现有方式中就餐资源信息仅针对固定服务环节提供就餐服务的方式相比,本申请通过获取就餐过程中各个服务环节关联的视频关键帧,该视频关键帧为覆盖服务环节内资源特征的视频帧,能够全面监测就餐所有服务环节,并对视频关键帧内的资源特征进行关联识别,提取各个服务环节内资源特征映射在不同属性维度上的就餐资源信息,将资源特征映射在不同属性维度上的就餐资源信息与预先配置的就餐指引信息进行匹配,形成就餐资源信息在调度服务上的预判结果,该预判结果能够针对后续服务环节进行提前预判,有利于优化就餐流程,进一步利用预判结果对就餐资源信息进行加工,得到包含有就餐指引的服务线索,将服务线索提供给调度需求的资源处理方,使得实体对象能够根据服务线索及时向用户提供精准的服务指引,提高就餐资源信息的服务效果。
进一步的,作为上述实施例具体实施方式的细化和扩展,为了完整说明本实施例的具体实施过程,本实施例提供了另一种就餐资源信息的处理方法,如图2所示,该方法包括:
201、接收视频设备所采集就餐用户在实体对象内形成的视频帧数据。
具体在就餐场景中,视频设备可以设置实体对象内不同区域,针对同一餐桌可以采集到不同角度的视频帧数据,例如,监测点餐过程,点餐后用户的等待过程,该视频设备可以为固定的视频采集设备,还可以为移动的视频采集设备,例如,佩戴在服务人员身上或者移动机器人内的视频采集设备。
为了便于对视频帧数据进行分析,这些视频帧数据可以携带区域标识,例如,就餐区域、点餐区域、结账区域等,可以根据区域标识来确定服务环节,这些视频帧数据还可以携带时间信息,例如,点餐时间,等餐时间等,可以根据该时间信息来确定每个服务环节的消耗时间。
202、利用针对各个服务环节预先训练的分析模型,将所述视频帧数据拆分为就餐过程中各个服务环节关联的视频关键帧。
其中,分析模型可以为利用各个服务环节收集的资源特征数据使用网络模型进行训练所形成的,这里可以使用神经网络模型,还可以使用普通的预测模型,能够在输入每个视频帧后,分析出该视频帧与不同服务环节的关联程度,关联程度越高,说明视频帧符合该服务环节,进而分析出每个视频帧关联的服务环节,将视频数据帧拆分为就餐过程中各个服务环节关联的视频关键帧。
由于就餐过程通常为一整套流程,各个服务环节具有时间顺序,通常先点餐,点餐后等餐,然后上餐,用户使用餐品后进行结账,最后撤餐,具体可以利用针对各个服务环节预先训练的分析模型,识别视频帧数据与各个服务环节之间的关联信息,该关联信息包括视频帧数据映射的视频帧特征与服务环节内资源特征之间的相似度,进一步按照各个服务环节具有的时间顺序,筛选相似度大于预设阈值的视频帧数据作为各个服务环节关联的视频关键帧,例如,点餐服务环节可能包含用户扫码或者服务人员使用点菜宝下单等动作特征,如果视频帧数据映射的视频特征与点餐环境包含的动作特征相似度较高,则说明该视频帧数据为点餐服务环节关联的视频关键帧。
203、通过监测所述视频关键帧,识别资源特征在不同就餐节点上关联的就餐场景信息。
其中,就餐节点可以为触发就餐动作的时间节点,例如,用户就坐的时间点,扫码动作的时间点,下单动作的时间点,就餐场景信息可以包含服务环节内就餐节点上的状态信息、动作信息、时间信息等,例如,就餐用户人数,就餐用户的点餐动作,就餐用户的点餐时间等,由于视频关键帧中覆盖有服务环节的资源特征,该资源特征可以包含丰富的就餐场景信息,可以作为提供就餐服务的依据,例如,就餐场景信息为监测点餐过程和时间,以及点餐后用户的等待时间,可为后厨提供服务,就餐场景信息为探知用户就坐时间,可为点餐和/或呼叫提供服务,就餐场景信息为检测扫码行为、与服务人员交互行为,可为点餐提供服务,就餐场景信息为监测等餐时间,可为后厨提供服务。
204、基于所述就餐场景信息,提取各个服务环节内资源特征映射在不同属性维度上的就餐资源信息。
其中,就餐资源信息至少包括就餐人数维度、就餐时间维度、餐品状态维度,具体针对就餐人数维度,可通过统计就餐场景信息中餐桌内覆盖的就餐人数,提取各个服务环节内资源特征映射在就餐人数维度上的就餐资源信息,针对就餐时间维度,可通过计算就餐场景信息中就餐行为关联的时间信息,提取各个服务环节内资源特征映射在就餐人数维度上的就餐资源信息,针对餐品状态维度,可通过识别就餐场景信息中餐桌内覆盖的餐品类型以及餐品类型的消耗信息,提取各个服务环节内资源特征映射在餐品状态维度上的就餐资源信息。
由于餐桌上通常会包含多种餐品以及不同的餐品类型,考虑到用户喜好的情况,不同餐品类型可能处于不同的消耗状态和不同的消耗速度,具体可以针对餐品状态维度,利用预先训练的餐品识别模型,确定就餐场景中餐桌内覆盖的餐品类型,对就餐场景中餐桌内覆盖的餐品类型进行跟踪,以获取餐品类型处于不同消耗状态的时间序列,进一步根据餐品类型处于不同消耗状态的时间序列,提取各个服务环节内资源特征映射在餐品状态维度上的就餐资源信息。
可以理解的是,餐品在餐桌上的位置会经常改变,并且随着时间推移餐品消耗状态会发生改变,具体可以针对就餐场景中餐桌内覆盖的餐品类型,提取餐品类型处于不同时间点的消耗状态,进一步将餐品类型处于不同时间点的消耗状态进行拼接,获取餐品类型处于不同消耗状态的时间序列,例如,时间点1对应消耗状态为0,时间点2对应消耗状态为10%,时间点3对应消耗状态为50%等。这里可以使用两种不同的方式来提取餐品类型处于不同时间点的消耗状态,一种是利用追踪法定位就餐场景中餐桌内覆盖的餐品类型,提取餐品类型处于不同时间点的消耗状态,该方式适用于固定摄像头的情况,通过检测餐桌上的物体,并时刻跟踪物体,能够追踪餐品从上桌到结束(包括中途撤走或者被其他餐品堆叠或者合并的情形),另一种是利用逻辑判断算法对就餐场景中餐桌内不同时间点覆盖的餐品类型进行匹配,提取餐品类型处于不同时间点的消耗状态,该方式适用于服务人员或者餐厅机器人佩戴摄像头的情况,通过同步获得视频内容之间的匹配,间接从初始的餐品识别结果进行继承,并结合用户下单新等进行综合逻辑判断,甚至结合餐盘的形状或者位置等信息,找到优选匹配的结果,例如,服务人员在经过餐桌的过程中拍摄图片,在t0时刻记录餐桌a的图片,在t1时刻记录餐桌a的图片发生了变化,可以匹配餐桌a中的餐品信息产生了哪些变更特征,通过记录多个时刻的变更特征形成匹配列表,针对匹配列表中的变更特征进行逻辑怕判定,以获取到餐品在不同时间点的消耗状态。
205、通过将所述资源特征映射在不同属性维度上的就餐资源信息与餐品在标定流程上的调度信息进行匹配,确定餐品资源信息存在的调度需求。
由于预先配置的就餐指引信息包括餐品在标定流程上的调度信息,该标定过流程上的调度信息通常为结合实体对象的历史经营数据或者结合餐饮行业的特点所沉淀出来的,能够对就餐流程起到指引作用,通过将餐品资源特征映射在不同属性维度上的就餐资源信息与餐品在标定流程上的调度信息进行匹配,可以确定餐品资源信息存在的调度需求,例如,上餐等候时间与上餐流程的调度信息相匹配,说明餐品资源信息在上餐流程上存在调度需求,点餐等候时间与点餐流程的调度信息相匹配,说明餐品资源信息在点餐流程上存在调度需求。
206、对所述餐品资源信息存在的调度需求进行逻辑判断,形成就餐资源信息在调度服务上的预判结果。
可以理解的是,调度需求可以说明用户在相应就餐环境存在服务需求,但是该服务需求可能是正在被处理或者正在处理,对于等候就餐和等候上餐在实体对象中都是很难避免的,但是就餐用户如果等待时间过长就会产生不好的就餐体验,对于调度需求的逻辑判断主要是针对需求程度的判断过程,具体可以利用时间阈值、动作阈值或者服务信息来进行逻辑判断,如果超出时间阈值,则说明需要优先处理该就餐用户,如果就餐过程产生意外动作,则说明需要服务人员到场帮助,如果服务信息表明用户订餐存在不合适的情况,则说明需要提醒用户调整服务信息或者向用户确认服务信息等。
207、利用所述针对就餐资源信息在调度需求上进行逻辑判断的结果,确定就餐资源信息在调度需求上映射的资源字段。
上述预判结果为针对就餐资源信息在调度需求上进行逻辑判断的结果,该预判结果可以为一个比较结果,可以为指示信息,相当于就餐信息在调度需求上映射的资源字段,例如,是/否,超时/不超时,加餐提示,服务提示等。
208、将所述就餐资源信息在调度需求上映射的资源字段处理为就餐指引,对所述就餐资源信息进行加工,得到包含有就餐指引的服务线索。
服务线索作为就餐过程传递的服务信息,可以直接提供给实体对象内的各个处理方,例如,后厨端,前台端、结账端、云端等,进一步由处理方来针对服务线索来调配相应的服务资源,例如,如果用户点餐数量过少,该服务线索可以提供给服务人员或者点餐终端以提醒用户增加餐品数量,如果用户等候就餐时间过长,该服务线索可以提供给后厨人员以优先制作相应餐品。
在实际应用场景中,可以结合订单信息和实际就餐人数,不匹配的时候形成预判结果为提示加餐或确认,将其加工为服务线索后传输给点餐终端或者服务人员,点餐终端和服务人员还可根据餐厅内历史订单信息,提醒用户加餐分量是否合适,可以为过多或过少。还可以根据餐桌的等候时间形成预判结果为提示上餐,将其加工为服务线索传递给后厨,后厨可以优先调整餐品制作顺序,并优先制作该餐品,以保证等候时间过长的用户可尽快吃上餐品。还可以监测餐桌菜品的消耗进度,并根据消耗进度形成预判结果为提示上餐,同样将其加工为服务线索传递给后厨,后厨可以优先调整餐品制作顺序,并优先制作该餐品,特别是针对用户在等待最后一两道餐品的就餐场景,应对服务线索设置较高的优先级,以避免因为一两道餐品的等待而影响用户的就餐体验。
进一步地,为了优化实体对象内的服务质量,还可以根据餐品消耗速度、就餐结束时间的剩余餐品分量,综合用户所点餐品的信息,上餐的先后顺序等,结合机器学习的方法,确定不同餐品的受欢迎程度、餐品的流行搭配,还可以根据餐品的实际消耗量建议后厨制作餐品的分量,以供实体对象进行餐品优化。
可以理解的是,在识别餐品类型的过程中,可以根据网络平台的餐品数据训练出一个通用的餐品识别模型,还可以在餐品识别模型的基础上,结合实体对象内餐品类型、菜谱数据等对餐品识别模型进行微调,以形成适合不同实体对象的餐品识别模型,针对有条件的实体对象内会为每个餐桌设置有大屏幕,该大屏幕可以根据餐品信息播放相关内容,例如,餐品图片,餐品制作过程等,从而提升用户的就餐体验,还可以避免上错餐品等情况。
进一步地,为了保证就餐用户的隐私,针对具有隐私需求的用户,可以在对视频帧数据进行分析的过程中可以设置避免对用户面部区域的识别,而非隐私需求的用户通过面部区域的识别可以更好地了解用户对餐品的喜好,以提高用户就餐体验,具体可以由商户决定是否开启对面部区域进行识别的选项。
通过上述对就餐过程所形成服务线索提供给实体对象的方式,可以对实体对象运营提供多种经营建议,例如,点餐时间过长,会建议优化点菜系统,菜品消耗过程的信息,可以调节后厨(人工调度或者连接厨房调度系统)的制餐顺序,保证用户尽早用餐,餐品的丰富度以及避免长时间的餐品等待,这些都可以提高用户的就餐体验,同时客观反映出餐品的受欢迎程度,对餐品优化能够提供有效建议。
本实施例提供了另一种就餐资源信息的处理方法,如图3所示,该方法应用于各个服务环节的设备端,包括如下步骤:
301、接收包括就餐指引的服务线索。
其中,就餐指引的服务线索可以作为服务指示信息,提示各个服务环节的处理方提供相应的服务内容,例如,服务线索为调整上餐顺序,后厨方可以优先制作相应餐品,服务线索为提供点餐服务,服务人员可到相应餐桌提供点餐服务。
302、根据所述服务线索中就餐指引在调度需求上映射的资源字段,从资源平台中选取调度状态处于空闲状态的目标服务资源。
其中,资源平台中记录并实时更新实体对象内服务资源的调度状态,这里服务资源可以具体到服务环节内的每个服务设备,例如,后厨端针对每个厨师设置的服务设备,前台端针对每个服务员或者机器人设置的服务设备,该服务设备可以为能够实现短距离通信的设备,可以为终端设备、显示设备或者呼叫设备等。
由于不同服务资源在用户就餐过程可能会处于不同的调度状态,对于处于服务中的服务资源无法兼顾到其他服务中,通过资源平台来实时记录并更新服务资源的调度状态,以将处于空闲状态的服务资源作为目标服务资源,对服务,优先调取目标服务资源来执行相应服务。
303、将所述资源线索推送至所述目标服务资源。
应说明的是,如果资源平台中此时并不存在空闲状态的服务资源,还可以结合服务资源的调度状态来获取相应服务进度,可以将服务进度即将结束的服务资源优先作为目标服务资源,例如,监测到服务资源A即将完成餐桌001的点餐服务,可以将服务资源A作为目标服务资源,还可以结合服务资源的调度状态来获取资源字段的关联性,将关联性较高的服务资源作为目标服务资源,例如,资源字段为倒水,而服务资源B正在向餐桌002的就餐用户提供倒水服务,可以将服务资源B作为目标服务资源。
进一步地,为了便于服务资源能够及时传达,避免目标服务资源重复执行服务,还可以在将资源线索推送至目标服务资源之后,响应于资源线索的触达指令,将基于触达指令获取的资源处理结果生成共享回调信息,发送共享回调信息,该共享回调信息携带有服务资源的执行状态、是否还需要服务协助等信息,以使得各个服务环节的设备端之间可以消息共享,对于已经执行的无需重复执行,而对于需要辅助的服务资源,则调取相应服务环节的处理方来参与到服务中。
本发明实施例提供了另一种就餐资源信息的处理方法,如图4所示,该方法涉及到服务端与客户端之间的交互,包括:
401、获取就餐过程中各个服务环节关联的视频关键帧,该视频关键帧为覆盖服务环节内资源特征的视频帧,服务端对视频关键帧内的资源特征进行关联识别,提取各个服务环节内资源特征映射在不同属性维度上的就餐资源信息。
402、服务端将资源特征映射在不同属性维度上的就餐资源信息与预先配置的就餐指引信息进行匹配,形成就餐资源信息在调度服务上的预判结果,利用预判结果对就餐资源信息进行加工,得到包含有就餐指引的服务线索,传输服务线索。
403、接收包括就餐指引的服务线索,客户端根据服务线索中就餐指引在调度需求上映射的资源字段,从资源平台中选取调度状态处于空闲状态的目标服务资源,该资源平台中记录并实时更新实体对象内服务资源的调度状态。
404、客户端将资源线索推送至目标服务资源。
可以理解的是,服务端作为实体对象内部的调度平台,一方面可以连接视频采集设备形成的联网视觉系统,该视频采集设备可以获取到丰富的视频帧数据,并针对就餐场景分析出适用于就餐过程中各个服务环节关联的视频关键帧,传输给服务端,还可以直接将视频帧数据传输给服务端,由服务端执行对视频帧数据的分析过程,以获取就餐过程中各个服务环节关联的视频关键帧;另一方面,视频关键帧可以对视频关键帧内的资源特征进行关联识别,提取各个服务环节内资源特征映射在不同属性维度上的就餐资源信息,以将就餐资源信与预先配置的就餐指引信息进行匹配,形成就餐资源信息在调度需求上的预判结果,利用预判结果将就餐资源信息加工为包含有就餐指引的服务线索,将服务线索传输给相应服务环节的处理端,以使得处理端可根据服务资源所处的调度状态确定目标服务资源,并向目标服务资源推送服务线索。
上述就餐信息的处理过程可以将整个就餐过程进行数字化处理,形成就餐资源信息的预判结果,并利用预判结果将就餐资源信息加工为服务线索,传输给各个服务环节的处理方,以使得实体对象可以第一时间了解用户就餐动态,并利用就餐用户的就餐状态捕获就餐需求,同时根据就餐需求提供相应的就餐服务,提升用户的就餐体验和餐厅的服务效率。
进一步的,作为图1-图2方法的具体实现,本申请实施例提供了一种应用于服务端的就餐资源信息的处理装置,如图5所示,该装置包括:获取单元51、提取单元52、匹配单元53、加工单元54。
获取单元51,可以用于获取就餐过程中各个服务环节关联的视频关键帧,所述视频关键帧为覆盖服务环节内资源特征的视频帧;
提取单元52,可以用于对所述视频关键帧内的资源特征进行关联识别,提取各个服务环节内资源特征映射在不同属性维度上的就餐资源信息;
匹配单元53,可以用于将所述资源特征映射在不同属性维度上的就餐资源信息与预先配置的就餐指引信息进行匹配,形成就餐资源信息在调度服务上的预判结果;
加工单元54,可以用于利用所述预判结果对所述就餐资源信息进行加工,得到包含有就餐指引的服务线索,传输所述服务线索。
本发明实施例提供的就餐资源信息的处理装置,与目前现有方式中就餐资源信息仅针对固定服务环节提供就餐服务的方式相比,本申请通过获取就餐过程中各个服务环节关联的视频关键帧,该视频关键帧为覆盖服务环节内资源特征的视频帧,能够全面监测就餐所有服务环节,并对视频关键帧内的资源特征进行关联识别,提取各个服务环节内资源特征映射在不同属性维度上的就餐资源信息,将资源特征映射在不同属性维度上的就餐资源信息与预先配置的就餐指引信息进行匹配,形成就餐资源信息在调度服务上的预判结果,该预判结果能够针对后续服务环节进行提前预判,有利于优化就餐流程,进一步利用预判结果对就餐资源信息进行加工,得到包含有就餐指引的服务线索,将服务线索提供给调度需求的资源处理方,使得实体对象能够根据服务线索及时向用户提供精准的服务指引,提高就餐资源信息的服务效果。
在具体的应用场景中,如图6所示,所述获取单元51包括:
接收模块511,可以用于接收视频设备所采集就餐用户在实体对象内形成的视频帧数据,所述就餐过程包括就餐用户在实体对象所覆盖区域内对接的各个服务环节;
拆分模块512,可以用于利用针对各个服务环节预先训练的分析模型,将所述视频帧数据拆分为就餐过程中各个服务环节关联的视频关键帧,所述分析模型记录有视频帧数据与不同服务环节上资源特征的映射关系。
在具体的应用场景中,如图6所示,所述各个服务环节具有时间顺序,所述拆分模块512包括:
识别子模块5121,可以用于利用针对各个服务环节预先训练的分析模型,识别所述视频帧数据与各个服务环节之间的关联信息,所述关联信息包括视频帧数据映射的视频帧特征与服务环节内资源特征之间的相似度;
筛选子模块5122,可以用于按照各个服务环节具有的时间顺序,筛选所述相似度大于预设阈值的视频帧数据作为各个服务环节关联的视频关键帧。
在具体的应用场景中,所述提取单元52包括:
监测模块521,可以用于通过监测所述视频关键帧,识别资源特征在不同就餐节点上关联的就餐场景信息;
提取模块522,可以用于基于所述就餐场景信息,提取各个服务环节内资源特征映射在不同属性维度上的就餐资源信息。
在具体的应用场景中,所述就餐资源信息至少包括就餐人数维度、就餐时间维度、餐品状态维度,
针对就餐人数维度,所述提取模块522,具体可以用于统计就餐场景信息中餐桌内覆盖的就餐人数,提取各个服务环节内资源特征映射在就餐人数维度上的就餐资源信息;
针对就餐时间维度,所述提取模块522,具体可以用于计算就餐场景信息中就餐行为关联的时间信息,提取各个服务环节内资源特征映射在就餐人数维度上的就餐资源信息;
针对餐品状态维度,所述提取模块522,具体可以用于识别就餐场景信息中餐桌内覆盖的餐品类型以及餐品类型的消耗信息,提取各个服务环节内资源特征映射在餐品状态维度上的就餐资源信息。
在具体的应用场景中,如图6所示,针对餐品状态维度,所述提取模块522包括:
确定子模块5221,可以用于针对餐品状态维度,利用预先训练的餐品识别模型,确定就餐场景中餐桌内覆盖的餐品类型;
跟踪子模块5222,可以用于对所述就餐场景中餐桌内覆盖的餐品类型进行跟踪,以获取餐品类型处于不同消耗状态的时间序列;
提取子模块5223,可以用于根据餐品类型处于不同消耗状态的时间序列,提取各个服务环节内资源特征映射在餐品状态维度上的就餐资源信息。
在具体的应用场景中,所述跟踪子模块5222,具体可以用于针对就餐场景中餐桌内覆盖的餐品类型,提取餐品类型处于不同时间点的消耗状态;
所述跟踪子模块5222,具体还可以用于将所述餐品类型处于不同时间点的消耗状态进行拼接,获取餐品类型处于不同消耗状态的时间序列。
在具体的应用场景中,所述跟踪子模块5222,具体还可以用于利用追踪法定位所述就餐场景中餐桌内覆盖的餐品类型,提取餐品类型处于不同时间点的消耗状态;或
利用逻辑判断算法对所述就餐场景中餐桌内不同时间点覆盖的餐品类型进行匹配,提取餐品类型处于不同时间点的消耗状态。
在具体的应用场景中,如图6所示,所述预先配置的就餐指引信息包括餐品在标定流程上的调度信息,所述匹配单元53包括:
匹配模块531,可以用于通过将所述资源特征映射在不同属性维度上的就餐资源信息与餐品在标定流程上的调度信息进行匹配,确定餐品资源信息存在的调度需求;
判断模块532,可以用于对所述餐品资源信息存在的调度需求进行逻辑判断,形成就餐资源信息在调度服务上的预判结果。
在具体的应用场景中,如图6所示,所述预判结果为针对就餐资源信息在调度需求上进行逻辑判断的结果,所述加工单元54包括:
确定模块541,可以用于利用所述针对就餐资源信息在调度需求上进行逻辑判断的结果,确定就餐资源信息在调度需求上映射的资源字段;
加工模块542,可以用于将所述就餐资源信息在调度需求上映射的资源字段处理为就餐指引,对所述就餐资源信息进行加工,得到包含有就餐指引的服务线索。
需要说明的是,本实施例提供的一种可应用于服务端侧的就餐资源信息的处理装置所涉及各功能单元的其它相应描述,可以参考图1和图2中的对应描述,在此不再赘述。
进一步地,作为图3方法的具体实现,本申请实施例提供了一种应用于客户端的就餐资源信息的处理装置,如图7所示,该装置包括:接收单元61、选取单元62、推送单元63。
接收单元61,可以用于接收包括就餐指引的服务线索;
选取单元62,可以用于根据所述服务线索中就餐指引在调度需求上映射的资源字段,从资源平台中选取调度状态处于空闲状态的目标服务资源,所述资源平台中记录并实时更新实体对象内服务资源的调度状态;
推送单元63,可以用于将所述资源线索推送至所述目标服务资源。
在具体的应用场景中,如图8所示,所述装置还包括:
生成单元64,可以用于在所述将所述资源线索推送至所述目标服务资源之后,响应于所述资源线索的触达指令,将基于所述触达指令获取的资源处理结果生成共享回调信息,发送所述共享回调信息。
需要说明的是,本实施例提供的一种可应用于客户端侧的就餐资源信息的处理装置所涉及各功能单元的其它相应描述,可以参考图3中的对应描述,在此不再赘述。
基于上述如图1-图2所示方法,相应的,本申请实施例还提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述如图1-图2所示的就餐资源信息的处理方法;基于上述如图3所示方法,相应的,本申请实施例还提供了另一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述如图3所示的就餐资源信息的处理方法。
基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景所述的方法。
基于上述如图1-图2所示的方法,以及图5-图6所示的虚拟装置实施例,为了实现上述目的,本申请实施例还提供了一种服务端实体设备,具体可以为计算机,服务器,或者其他网络设备等,该实体设备包括存储介质和处理器;存储介质,用于存储计算机程序;处理器,用于执行计算机程序以实现上如图1-图2所示的就餐资源信息的处理方法。
基于上述如图3所示的方法,以及图7图8所示的虚拟装置实施例,为了实现上述目的,本申请实施例还提供了一种客户端实体设备,具体可以为计算机,智能手机,平板电脑,智能手表,或者网络设备等,该实体设备包括存储介质和处理器;存储介质,用于存储计算机程序;处理器,用于执行计算机程序以实现上述如图3所示的就餐资源信息的处理方法。
可选的,上述两种实体设备都还可以包括用户接口、网络接口、摄像头、射频(Radio Frequency,RF)电路,传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等,可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)等。
本领域技术人员可以理解,本实施例提供的一种就餐资源信息的处理的实体设备结构并不构成对该实体设备的限定,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述店铺搜索信息处理的实体设备硬件和软件资源的程序,支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信,以及与信息处理实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现,也可以通过硬件实现。通过应用本申请的技术方案,与目前现有方式相比,本申请利用预判结果对就餐资源信息进行加工,得到包含有就餐指引的服务线索,该预判结果能够针对后续服务环节进行提前预判,有利于优化就餐流程,将服务线索提供给调度需求的资源处理方,使得实体对象能够根据服务线索及时向用户提供精准的服务指引,提高就餐资源信息的服务效果。
本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述,不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景,但是,本申请并非局限于此,任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (10)

1.一种就餐资源信息的处理方法,其特征在于,包括:
获取就餐过程中各个服务环节关联的视频关键帧,所述视频关键帧为覆盖服务环节内资源特征的视频帧;
对所述视频关键帧内的资源特征进行关联识别,提取各个服务环节内资源特征映射在不同属性维度上的就餐资源信息;
将所述资源特征映射在不同属性维度上的就餐资源信息与预先配置的就餐指引信息进行匹配,形成就餐资源信息在调度服务上的预判结果;
利用所述预判结果对所述就餐资源信息进行加工,得到包含有就餐指引的服务线索,传输所述服务线索。
2.根据权利要求1所述的方法,其特征在于,所述获取就餐过程中各个服务环节关联的视频关键帧,具体包括:
接收视频设备所采集就餐用户在实体对象内形成的视频帧数据,所述就餐过程包括就餐用户在实体对象所覆盖区域内对接的各个服务环节;
利用针对各个服务环节预先训练的分析模型,将所述视频帧数据拆分为就餐过程中各个服务环节关联的视频关键帧,所述分析模型记录有视频帧数据与不同服务环节上资源特征的映射关系。
3.根据权利要求2所述的方法,其特征在于,所述各个服务环节具有时间顺序,所述利用针对各个服务环节预先训练的分析模型,将所述视频帧数据拆分为就餐过程中各个服务环节关联的视频关键帧,具体包括:
利用针对各个服务环节预先训练的分析模型,识别所述视频帧数据与各个服务环节之间的关联信息,所述关联信息包括视频帧数据映射的视频帧特征与服务环节内资源特征之间的相似度;
按照各个服务环节具有的时间顺序,筛选所述相似度大于预设阈值的视频帧数据作为各个服务环节关联的视频关键帧。
4.根据权利要求1所述的方法,其特征在于,所述对所述视频关键帧内的资源特征进行关联识别,提取各个服务环节内资源特征映射在不同属性维度上的就餐资源信息,具体包括:
通过监测所述视频关键帧,识别资源特征在不同就餐节点上关联的就餐场景信息;
基于所述就餐场景信息,提取各个服务环节内资源特征映射在不同属性维度上的就餐资源信息。
5.一种就餐资源信息的处理方法,其特征在于,包括:
接收包括就餐指引的服务线索;
根据所述服务线索中就餐指引在调度需求上映射的资源字段,从资源平台中选取调度状态处于空闲状态的目标服务资源,所述资源平台中记录并实时更新实体对象内服务资源的调度状态;
将所述资源线索推送至所述目标服务资源。
6.一种就餐资源信息的处理装置,其特征在于,包括:
获取单元,用于获取就餐过程中各个服务环节关联的视频关键帧,所述视频关键帧为覆盖服务环节内资源特征的视频帧;
提取单元,用于对所述视频关键帧内的资源特征进行关联识别,提取各个服务环节内资源特征映射在不同属性维度上的就餐资源信息;
匹配单元,用于将所述资源特征映射在不同属性维度上的就餐资源信息与预先配置的就餐指引信息进行匹配,形成就餐资源信息在调度服务上的预判结果;
加工单元,用于利用所述预判结果对所述就餐资源信息进行加工,得到包含有就餐指引的服务线索,传输所述服务线索。
7.一种就餐资源信息的处理装置,其特征在于,包括:
接收单元,用于接收包括就餐指引的服务线索;
选取单元,用于根据所述服务线索中就餐指引在调度需求上映射的资源字段,从资源平台中选取调度状态处于空闲状态的目标服务资源,所述资源平台中记录并实时更新实体对象内服务资源的调度状态;
推送单元,用于将所述资源线索推送至所述目标服务资源。
8.一种就餐资源信息的处理系统,其特征在于,包括:接收端和发送端;
获取就餐过程中各个服务环节关联的视频关键帧,所述视频关键帧为覆盖服务环节内资源特征的视频帧,所述发送端对所述视频关键帧内的资源特征进行关联识别,提取各个服务环节内资源特征映射在不同属性维度上的就餐资源信息;
所述发送端将所述资源特征映射在不同属性维度上的就餐资源信息与预先配置的就餐指引信息进行匹配,形成就餐资源信息在调度服务上的预判结果,利用所述预判结果对所述就餐资源信息进行加工,得到包含有就餐指引的服务线索,传输所述服务线索;
接收包括就餐指引的服务线索,所述接收端根据所述服务线索中就餐指引在调度需求上映射的资源字段,从资源平台中选取调度状态处于空闲状态的目标服务资源,所述资源平台中记录并实时更新实体对象内服务资源的调度状态;
所述接收端将所述资源线索推送至所述目标服务资源。
9.一种存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现权利要求1至5中任一项所述的就餐资源信息的处理方法。
10.一种服务端设备和客户端设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至5中任一项所述的就餐资源信息的处理方法。
CN202110147722.XA 2021-02-03 2021-02-03 就餐资源信息的处理方法、装置及设备 Active CN112906513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110147722.XA CN112906513B (zh) 2021-02-03 2021-02-03 就餐资源信息的处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110147722.XA CN112906513B (zh) 2021-02-03 2021-02-03 就餐资源信息的处理方法、装置及设备

Publications (2)

Publication Number Publication Date
CN112906513A true CN112906513A (zh) 2021-06-04
CN112906513B CN112906513B (zh) 2023-04-07

Family

ID=76121766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110147722.XA Active CN112906513B (zh) 2021-02-03 2021-02-03 就餐资源信息的处理方法、装置及设备

Country Status (1)

Country Link
CN (1) CN112906513B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268692A (zh) * 2014-09-26 2015-01-07 牛占峰 基于网络的餐饮智能管理系统
CA3051001A1 (en) * 2017-01-20 2018-07-26 Robert Johnsen System and method for assessing customer service times
CN109377272A (zh) * 2018-09-30 2019-02-22 口碑(上海)信息技术有限公司 一种异常用餐环节的确定方法、装置及系统
CN109523428A (zh) * 2018-09-13 2019-03-26 上海交通大学 基于图像识别技术的智能餐饮结算方法、系统、装置及介质
CN109657827A (zh) * 2018-12-19 2019-04-19 口碑(上海)信息技术有限公司 基于资源状态的服务预约方法及装置
CN109816126A (zh) * 2019-01-04 2019-05-28 口碑(上海)信息技术有限公司 订餐信息的处理方法、装置及系统
CN109858949A (zh) * 2018-12-26 2019-06-07 秒针信息技术有限公司 一种基于监控摄像的顾客满意度评估方法和评估系统
CN110210999A (zh) * 2018-02-28 2019-09-06 阿里巴巴集团控股有限公司 餐饮信息处理方法、装置及系统
CN110931109A (zh) * 2019-12-06 2020-03-27 杭州雄伟科技开发股份有限公司 一种饮食情况分析方法及系统
CN111344734A (zh) * 2017-11-14 2020-06-26 金大熏 餐饮服务管理系统及其操作方法
CN111402519A (zh) * 2020-03-10 2020-07-10 杨竣斐 一种基于机器视觉和云平台的校园用餐系统
CN211149511U (zh) * 2019-11-20 2020-07-31 西安同瑞恒达电子科技有限公司 无人自助餐厅系统
CN111597254A (zh) * 2020-04-14 2020-08-28 口碑(上海)信息技术有限公司 资源数据的共享方法、装置及设备
CN111640268A (zh) * 2020-04-22 2020-09-08 深圳拓邦股份有限公司 一种基于餐盘形状和颜色的智能结算方法和系统
CN111652043A (zh) * 2020-04-15 2020-09-11 北京三快在线科技有限公司 对象状态识别方法、装置、图像采集设备及存储介质
CN111783499A (zh) * 2019-04-03 2020-10-16 北京百度网讯科技有限公司 结账提醒方法及装置
CN112287829A (zh) * 2020-10-29 2021-01-29 北京易通易联科技有限公司 餐厅的信息管理方法、装置和计算机可读存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268692A (zh) * 2014-09-26 2015-01-07 牛占峰 基于网络的餐饮智能管理系统
CA3051001A1 (en) * 2017-01-20 2018-07-26 Robert Johnsen System and method for assessing customer service times
CN111344734A (zh) * 2017-11-14 2020-06-26 金大熏 餐饮服务管理系统及其操作方法
CN110210999A (zh) * 2018-02-28 2019-09-06 阿里巴巴集团控股有限公司 餐饮信息处理方法、装置及系统
CN109523428A (zh) * 2018-09-13 2019-03-26 上海交通大学 基于图像识别技术的智能餐饮结算方法、系统、装置及介质
CN109377272A (zh) * 2018-09-30 2019-02-22 口碑(上海)信息技术有限公司 一种异常用餐环节的确定方法、装置及系统
CN109657827A (zh) * 2018-12-19 2019-04-19 口碑(上海)信息技术有限公司 基于资源状态的服务预约方法及装置
CN109858949A (zh) * 2018-12-26 2019-06-07 秒针信息技术有限公司 一种基于监控摄像的顾客满意度评估方法和评估系统
CN109816126A (zh) * 2019-01-04 2019-05-28 口碑(上海)信息技术有限公司 订餐信息的处理方法、装置及系统
CN111783499A (zh) * 2019-04-03 2020-10-16 北京百度网讯科技有限公司 结账提醒方法及装置
CN211149511U (zh) * 2019-11-20 2020-07-31 西安同瑞恒达电子科技有限公司 无人自助餐厅系统
CN110931109A (zh) * 2019-12-06 2020-03-27 杭州雄伟科技开发股份有限公司 一种饮食情况分析方法及系统
CN111402519A (zh) * 2020-03-10 2020-07-10 杨竣斐 一种基于机器视觉和云平台的校园用餐系统
CN111597254A (zh) * 2020-04-14 2020-08-28 口碑(上海)信息技术有限公司 资源数据的共享方法、装置及设备
CN111652043A (zh) * 2020-04-15 2020-09-11 北京三快在线科技有限公司 对象状态识别方法、装置、图像采集设备及存储介质
CN111640268A (zh) * 2020-04-22 2020-09-08 深圳拓邦股份有限公司 一种基于餐盘形状和颜色的智能结算方法和系统
CN112287829A (zh) * 2020-10-29 2021-01-29 北京易通易联科技有限公司 餐厅的信息管理方法、装置和计算机可读存储介质

Also Published As

Publication number Publication date
CN112906513B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
KR102387495B1 (ko) 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체
CN109978356A (zh) 标注任务分配方法、装置、介质和计算机设备
CN103079092B (zh) 在视频中获取人物信息的方法和装置
CN112306442B (zh) 跨设备的内容投屏方法、装置、设备及存储介质
CN111263170B (zh) 一种视频播放方法、装置、设备及可读存储介质
CN104506946B (zh) 一种基于图像识别的电视节目识别方法和系统
CN105264523B (zh) 通过模式识别的简化合作搜索
CN110703913A (zh) 对象交互方法和装置、存储介质及电子装置
CN110858423A (zh) 一种排队方案、队列推送方法和处理系统
CN111643900A (zh) 一种展示画面控制方法、装置、电子设备和存储介质
CN112734514A (zh) 房源带看方法及装置
CN112752153A (zh) 一种对视频的播放处理方法及智能设备、存储介质
CN112399239A (zh) 视频播放方法及装置
CN110198472B (zh) 视频资源的播放方法及装置
CN112188223B (zh) 直播视频播放方法、装置、设备及介质
CN105979331A (zh) 一种智能电视的数据推荐方法和装置
CN112906513B (zh) 就餐资源信息的处理方法、装置及设备
WO2018000248A1 (zh) 一种智能健身器材的多用户管理方法和系统
CN110233897A (zh) 信息推送方法及装置
CN110363683A (zh) 商品监控方法和装置
US10887629B1 (en) Basketball video interaction method and device, intelligent basketball stand and storage medium
CN110574066B (zh) 服务器装置以及记录介质
CN109766052B (zh) 菜品图片上传方法、装置、计算机设备及可读存储介质
CN111401346B (zh) 信息处理方法、装置、系统、存储介质及计算机设备
CN105288993A (zh) 一种智能猜图系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant