CN112822441A - 视频处理方法、系统、终端设备、服务器及管理系统 - Google Patents

Abstract

本申请公开一种用于房间清洁任务的视频处理方法、系统、终端设备、服务器及管理系统，其中方法包括以下步骤：获取关于一房间的清洁任务的视频图像；所述视频图像中包含至少一类清洁要素；在所述清洁任务的执行期间，输出与所述清洁要素相关联的辅助清洁信息；所述辅助清洁信息是基于所述清洁任务所对应的清洁操作规范对所述至少一类清洁要素进行分析得到的。本申请通过分析视频图像中的清洁要素对清洁员的清洁操作进行监督和及时的提示，能够辅助清洁员进行全面细致的清洁工作，提高清洁效率。

Description

视频处理方法、系统、终端设备、服务器及管理系统

技术领域

本申请涉及计算机网络处理领域，具体的涉及一种用于房间清洁任务的视频处理方法、系统及终端设备、用于房间清洁任务的视频处理方法、系统及服务器、用于房间清洁操作的管理系统、及计算机可读存储介质。

背景技术

随着生活水平的提高，用户对于酒店的卫生环境提出了更高的要求。一方面，清洁员对酒店内各房间的清洁工作十分繁琐，清洁员在清洁过程中极易因为匆忙而遗漏房间内一些需要清洁的地方，由此导致对房间的清洁不彻底。另一方面，清洁员在清洁过程中会出现清洁操作不符合规范、清洁效果不达标的问题。

发明内容

鉴于以上所述相关技术的缺点，本申请的目的在于提供一种用于房间清洁任务的视频处理方法、系统及终端设备、用于房间清洁任务的视频处理方法、系统及服务器、用于房间清洁操作的管理系统、及计算机可读存储介质，用以克服上述相关技术中存在的无法监督清洁员的清洁工作是否符合规范的技术问题。

为实现上述目的及其他相关目的，本申请公开的第一方面提供一种用于房间清洁任务的视频处理方法，包括以下步骤：获取关于一房间的清洁任务的视频图像；所述视频图像中包含至少一类清洁要素；在所述清洁任务的执行期间，输出与所述清洁要素相关联的辅助清洁信息；所述辅助清洁信息是基于所述清洁任务所对应的清洁操作规范对所述至少一类清洁要素进行分析得到的。

本申请公开的第二方面提供一种用于房间清洁任务的视频处理系统，包括：获取模块，用于获取关于一房间的清洁任务的视频图像；所述视频图像中包含至少一类清洁要素；输出模块，用于在所述清洁任务的执行期间，输出与所述清洁要素相关联的辅助清洁信息；所述辅助清洁信息是基于所述清洁任务所对应的清洁操作规范对所述至少一类清洁要素进行分析得到的。

本申请公开的第三方面提供一种终端设备，包括：摄像装置，用于采集视频图像；至少一个存储器，用于存储至少一个程序；至少一个处理器，与所述至少一个存储器连接，用于运行所述至少一个程序时执行并实现如第一方面任一所述的用于房间清洁任务的视频处理方法。

本申请公开的第四方面提供一种用于房间清洁任务的视频处理方法，包括以下步骤：接收关于一房间的清洁任务的视频图像；所述视频图像中包含至少一类清洁要素；基于所述清洁任务所对应的清洁操作规范对所述视频图像中至少一类清洁要素进行分析，生成与所述清洁要素相关联的辅助清洁信息以供核查。

本申请公开的第五方面提供一种用于房间清洁任务的视频处理系统，包括：接收模块，用于接收关于一房间的清洁任务的视频图像；所述视频图像中包含至少一类清洁要素；生成模块，用于基于所述清洁任务所对应的清洁操作规范对所述视频图像中至少一类清洁要素进行分析，生成与所述清洁要素相关联的辅助清洁信息以供核查。

本申请公开的第六方面提供一种服务器，包括：至少一存储设备，用于存储至少一个程序；至少一处理设备，与所述存储设备相连，用于运行所述至少一个程序时执行并实现如第四方面任一所述的用于房间清洁任务的视频处理方法。

本申请公开的第七方面提供一种用于房间清洁操作的管理系统，包括：至少一个如第三方面所述的终端设备；以及，如第六方面所述的服务器。

本申请公开的第八方面提供一种计算机可读存储介质，存储有至少一个程序，所述程序被处理器执行时执行并实现如第一方面任一所述的用于房间清洁任务的视频处理方法，或如第四方面任一所述的用于房间清洁任务的视频处理方法。

综上所述，本申请提供的用于房间清洁任务的视频处理方法、系统及终端设备、用于房间清洁任务的视频处理方法、系统及服务器、用于房间清洁操作的管理系统、及计算机可读存储介质，利用清洁员在清洁过程中采集的对房间进行清洁的视频，对视频进行分析以判断清洁员的操作是否符合规范/标准，并及时地对清洁员的清洁操作进行监督和提示，能够辅助清洁员进行全面细致的清洁工作，提高了清洁效率，防止由于清洁员遗忘或疏忽而导致的清洁工作不彻底，解决了相关技术中监督费时费力的问题。

本领域技术人员能够从下文的详细描述中容易地洞察到本申请的其它方面和优势。下文的详细描述中仅显示和描述了本申请的示例性实施方式。如本领域技术人员将认识到的，本申请的内容使得本领域技术人员能够对所公开的具体实施方式进行改动而不脱离本申请所涉及发明的精神和范围。相应地，本申请的附图和说明书中的描述仅仅是示例性的，而非为限制性的。

附图说明

本申请所涉及的发明的具体特征如所附权利要求书所显示。通过参考下文中详细描述的示例性实施方式和附图能够更好地理解本申请所涉及发明的特点和优势。对附图简要说明如下：

图1显示为本申请用于房间清洁任务的视频处理方法在一实施例中的流程示意图。

图2显示为本申请用于房间清洁任务的视频处理系统在一实施例中的模块组成框图。

图3显示为本申请终端设备在一实施例中的模块组成框图。

图4显示为本申请用于房间清洁任务的视频处理方法在一实施例中的流程示意图。

图5显示为本申请用于房间清洁任务的视频处理系统在一实施例中的模块组成框图。

图6显示为本申请服务器在一实施例中的模块组成框图。

图7显示为本申请用于房间清洁操作的管理系统在一实施例中的模块组成框图。

图8显示为本申请用于房间清洁任务的视频处理方法在另一实施例中的流程示意图。

具体实施方式

以下由特定的具体实施例说明本申请的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。

在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本公开的精神和范围的情况下进行模块或单元组成、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。

虽然在一些实例中术语第一、第二等在本文中用来描述各种元件或参数，但是这些元件或参数不应当被这些术语限制。这些术语仅用来将一个元件或参数与另一个元件或参数进行区分。例如，第一操作模型可以被称作第二操作模型，并且类似地，第二操作模型可以被称作第一操作模型，而不脱离各种所描述的实施例的范围。第一操作模型和第二操作模型均是在描述一个操作模型，但是除非上下文以其他方式明确指出，否则它们不是同一个操作模型。类似地情况还例如第一发送模块和第二发送模块等。取决于语境，比如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”。

再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

在对酒店内各房间进行清洁的过程中，清洁员极易因为匆忙而遗漏房间内一些需要清洁的地方，由此导致对房间的清洁不彻底。同时，由于缺乏监督手段，清洁员在清洁过程中会出现清洁操作不符合规范的问题。

通常由专门的检查人员在清洁员完成清洁后对房间进行检查，以审核清洁员的清洁工作，间接督促清洁员按照规范和卫生标准进行清洁。而这种人工检查的方式并不能解决上述所言的清洁员在清洁过程中存在的问题，同时容易陷入形式性检查的困境，耗费大量人力成本。

有鉴于此，本申请提供一种用于房间清洁任务的视频处理方法，利用摄像装置采集的清洁员对酒店内房间进行清洁的视频，并对视频进行分析，从而判断清洁员的操作是否符合规范/标准。本申请能够通过检测视频图像中的信息对清洁员的清洁操作进行监督和提示，能够辅助清洁员进行全面细致的清洁工作，并且监督清洁员的清洁操作是否符合规范，解决了相关技术中监督费时费力的问题。

在此，所述用于房间清洁任务的视频处理方法可以依据配置条件而清洁员携带的终端设备执行，或由服务器执行，或由终端设备和服务器协同执行。例如，若终端设备的硬件配置差，数据处理速度慢，则可以将获取的视频图像发送至服务器，而由服务器对视频图像进行分析并反馈提示，由终端设备播报提示；反之，如果终端设备硬件配置较好，存储空间足够，也可以在本地执行所述用于房间清洁任务的视频处理方法，即，由终端设备获取的视频图像并进行分析，以实现对清洁员的清洁操作的监督和提示。

以下实施例将暂以终端设备为执行主体进行阐述。所述终端设备例如为装载有APP应用程序或具备网页/网站访问性能的电子设备，所述电子设备包括存储器、存储器控制器、一个或多个处理单元(CPU)、外设接口、RF电路、音频电路、扬声器、麦克风、输入/输出(I/O)子系统、显示屏、其他输出或控制设备，以及外部端口等组件，这些组件通过一条或多条通信总线或信号线进行通信。所述电子设备还可以是由带有多个虚拟机的主机和对应每个虚拟机的人机交互装置(如触控显示屏、键盘和鼠标)所构成的电子设备。

在一些实施例中，所述终端设备包括但不限于如记录仪、手机、平板电脑、智能眼镜、运动相机(例如Go Pro、Insta 360等)等电子设备。

请参阅图1，显示为本申请用于房间清洁任务的视频处理方法在一实施例中的流程示意图，所述方法包括步骤S101和步骤S102。

应理解，本申请实施例可以应用在对酒店中的房间进行清洁的场景中，但并不局限于此，举例而言，也可以应用在其他场所进行清洁的场景中，例如对于办公场所的清洁、对于公寓的清洁、对于商场的清洁等；或者，也可以应用在需要对人员的操作进行监控的场景中，例如公寓保洁、家政服务、以及一些需要标准化操作的场合等。

为了便于理解，下文将以清洁员对酒店中的房间进行清洁的场景作为示例进行描述，后文将不再赘述。

其中，术语“清洁操作”并不局限于清扫的操作，例如布草操作、更换操作等能够使房间保持干净整洁的操作均属于清洁操作。例如，更换床单、毛巾也属于清洁操作。

其中，术语“清洁操作”和“清洁动作”均用于描述清洁员进行清洁时的动作、姿势、或动作和姿势组合而形成的行为。在实施例中除非特别指出另有含义，二者可互换使用。

其中，所述酒店包括但不限于经济型连锁酒店、商务宾馆、豪华或星级酒店、民宿、以及租房公寓等。在一些实施例中，所述酒店可以为在OTA(Online Travel Agent，在线旅行社)平台上注册或入驻的酒店，用户能够在所述酒店/OTA平台的网站、所述酒店/OTA平台所对应的APP应用程序或者小程序上通过在线预订的方式预订所述酒店的房间。所述OTA平台例如为美团、大众点评、飞猪、以及携程等OTA平台。

在步骤S101中，获取清洁员执行一房间的清洁任务的视频图像；所述视频图像中包含至少一类清洁要素。其中，所述清洁任务指的是清洁员在清洁房间时对某一清洁对象进行清洁的任务，各清洁任务之间以清洁对象的不同而划分。通常来说，清洁员清洁一房间需执行多个清洁任务。例如，一清洁任务为清洁杯具，另一清洁任务为更换毛巾，等等。

为了便于描述，将清洁员需要对一房间进行清洁的任务称为清洁工作，清洁员在清洁工作中对某一清洁对象进行清洁的任务称为清洁任务。一清洁工作包括至少一个清洁任务。

每一清洁任务对应有一清洁操作规范。其中，所述清洁操作规范为清洁员为执行该清洁任务所需遵循的操作标准。在实际的场景中，所述清洁操作规范可以是经权威机构规定的，或由酒店自行规定的等。例如，一清洁任务为清洁杯具，所对应的清洁操作规范例如为：“使用杯具专用抹布清洗杯具”。又如，一清洁任务为清洁马桶，所对应的清洁操作规范例如为：“使用马桶专用抹布擦拭马桶”等。

在此，所述终端设备通过摄像装置获取清洁员执行一房间的清洁任务的视频图像。其中，所述终端设备通过控制摄像装置进行摄像/录制。示例性地，所述摄像装置包括视频摄像机、集成有光学系统或CCD芯片的摄像模块、以及集成有光学系统和CMOS芯片的摄像模块等。

在一些实施例中，所述摄像装置可以独立于所述终端设备。例如，所述摄像装置为可拆卸地设置在清洁员身上的运动相机，由清洁员通过一手机(对应终端设备)上装载的用于控制所述运动相机的APP程序进行控制或执行触发操作。

在另一些实施例中，所述终端设备与所述摄像装置集成于一体。例如，所述终端设备为具备摄像/录制功能的手机，通过控制所述手机中的摄像头进行摄像/录制。在一些实施例中，所述终端设备为可携带设备/可穿戴设备。例如，所述终端设备为清洁员佩戴的运动相机。又如，所述终端设备为清洁员佩戴的智能眼镜。又如，所述终端设备为可拆卸地设置在一坎肩上，由清洁员穿戴该坎肩进行携带和摄像/录制。

在一些实施例中，所述终端设备通过获取清洁员对所述终端设备的触发操作，以使所述摄像装置开始采集视频图像；所述触发操作的方式包括触控触发方式、语音触发方式、以及姿态触发方式中的至少一种。

以所述触控触发方式为例，所述清洁员可以在所述终端设备上触发(例如点击、长按、按压、或者重复触控等)一按键(例如实体按键、虚拟按键等)，以控制摄像装置开始摄像/录制视频。

以所述语音触发方式为例，所述终端设备上可以设置有语音采集模块，通过采集清洁员的语音，解析所述语音中包含的特定关键字所对应的指令，以控制摄像装置开始摄像/录制。

以所述姿态触发方式为例，所述清洁员向所述终端设备作出特定手势，所述终端设备通过摄像装置采集到包含所述特定手势的图像后，通过解析图像获得所述特定手势对应的指令，以控制摄像装置开始摄像/录制。

所述终端设备将获取的摄像装置所采集的单帧图像或连续的视频流作为视频图像。所述视频流中包含多帧连续的图像。

在获取清洁员的触发操作时，所述终端设备开始摄像/录制视频图像，以将清洁员执行清洁任务的过程转为利用视频图像进行记录的视频文件/视频流。换言之，清洁员执行所述清洁任务的过程中的动作和/或对象都将以至少一帧视频图像的方式被转换成可供终端设备识别分析的数据。相应地，所述终端设备所获取的视频图像中也记录有清洁员在执行清洁任务期间的图像数据。例如，视频图像中记录有清洁员在执行更换床单的清洁任务期间旧床单和新床单的图像、更换床单的动作等等。

为了利用对视频图像进行数据处理的方式对清洁员所执行的清洁操作进行监督/提示，预设地，对视频图像中能够反映清洁员依照/不依照清洁操作规范的至少一类数据称为相应类型的清洁要素。换言之，在清洁员执行清洁工作期间所摄像/录制的视频图像中包含有至少一类清洁要素。

其中，所述清洁要素的类型包括清洁对象、清洁工具、以及清洁姿态等。所述清洁对象为清洁员对房间进行清洁所需要执行清洁操作的对象。示例性地，所述清洁对象可以是酒店规定的该房间需清洁的物品。例如，所述清洁对象可以为洗漱台、杯具、浴缸、以及马桶等。所述清洁工具为清洁员为对所述清洁对象进行清洁所利用的工具。例如，装有清洁剂的容器、不同清洁对象对应的专用抹布、毛刷、扫帚等。所述清洁姿态为清洁员对所述清洁对象进行清洁时的动作、手势等。例如，清洁员的擦拭动作、清洗动作、拆换动作等。应理解，所述清洁姿态往往基于连续多帧视频图像以被识别。

在获得所述视频图像时，所述终端设备还可以对所述视频图像进行旋转、裁剪去除图像中的噪音等预处理，从而提高数据处理的准确性。

在获得所述视频图像(或经预处理后的视频图像)后，还包括基于所述清洁操作规范对所述至少一类清洁要素进行分析的步骤。在此，为了规范清洁员的清洁工作，对视频图像中的清洁要素进行的分析应当在预先规定的清洁操作规范的约束下进行的。在一些实施例中，可以由管理人员实时查看所述终端设备所采集的视频，并人工审核清洁员的清洁工作是否符合清洁操作规范。出于提高清洁效率的目的，以及避免人力资源的浪费，可以利用图像处理技术对视频图像中的清洁要素进行分析。

在一些实施例中，所述终端设备将视频图像(或经预处理后的视频图像)发送至服务器，以触发所述服务器执行基于所述清洁任务所对应的清洁操作规范对所述至少一类清洁要素进行分析等步骤。示例性地，所述服务器利用所述清洁操作规范所对应的至少一个清洁操作模型对所述至少一类清洁要素进行分析。该方式此处暂不展开，请容后再述。

在另一些实施例中，在获得所述视频图像(或经预处理后的视频图像)时，所述终端设备执行基于所述清洁任务所对应的清洁操作规范对所述至少一类清洁要素进行分析的步骤。在此，所述终端设备基于各清洁任务所对应的清洁操作规范，利用图像处理技术视频图像中的至少一类清洁要素进行分析。

在一些实施例中，所述终端设备根据预存储的用来识别至少一类清洁要素的识别逻辑，以及根据清洁操作规范而设置的评价逻辑，对所获取的视频图像进行分析处理。

示例性地，所述识别逻辑包括利用预设的对应至少一类清洁要素的图像特征而设置的算法模型。例如，所述终端设备利用预设的所有类别清洁要素的图像特征对所获取的视频图像进行图像识别或目标跟踪等识别分析，以得到所述视频内图像中对应至少一类清洁要素的特征数据。

示例性地，所述识别逻辑包括经机器学习而得到的具有图像处理结构的至少一个算法模型。例如，在各算法模型被运行时，所述终端设备得到所述视频图像中的清洁要素与预设的各类清洁要素的匹配度；其中，所述匹配度用于表征视频图像与某一/某些/所有类型清洁要素的相似程度。

示例性地，所述评价逻辑为利用清洁操作规范中与至少一类清洁要素相关的评价规则而设置的评价方式。例如，所述评价逻辑为利用清洁操作规范中包含/不包含至少一类清洁要素、和/或所包含/不包含的至少一类清洁要素属于/不属于相应的清洁任务而设置的算法模型。

示例性地，所述评价逻辑为利用经机器学习而得到的对所识别的结果进行决策处理的至少一个算法模型。例如，在各相应算法模型被运行时，所述终端设备对所识别出的用于描述至少一类清洁要素的匹配度进行决策处理，以得到相应的分析结果。

需要说明的是，所述识别逻辑和评价逻辑并非一定具有先后顺序。在一些实施例中，所述终端设备可在识别清洁要素期间，当确定所识别出的任一类清洁要素所对应的清洁任务时，利用当前所识别出的清洁要素进行基于清洁操作规范的评价处理，由此及时获得对视频图像的分析结果，以便于后续结果的及时输出。

在一些实施例中，所述终端设备获得上述步骤获得的对视频图像的分析结果后，根据分析结果生成对应的清洁辅助信息。

其中，所述辅助清洁信息用于根据清洁员的清洁操作对清洁员进行提示，辅助清洁员进行清洁，以提高清洁效率。根据所述终端设备评价清洁要素的时机，所生成的辅助清洁信息的内容不同。所述时机包括：清洁任务执行开始阶段和/或执行期间的异常阶段等。

示例性地，当识别出所述视频图像中清洁要素仅包括清洁对象时，所述终端设备根据执行相应清洁任务的清洁操作规范，生成用于提示清洁员正确的清洁操作的辅助清洁信息。又如，当识别出清洁要素包括清洁对象，以及清洁工具和/或清洁姿态时，所述终端设备在检测到按照清洁对象所属的清洁任务，所识别出的清洁对象、以及清洁工具和/或清洁姿态不符合相应的清洁操作规范时，生成用于提示清洁员当前的清洁操作有误的辅助清洁信息等。

为此，所述辅助清洁信息用于向清洁员提供与所监督的清洁任务的执行情况相关的信息等，其包括规范提示信息、异常提示信息中的至少一种。

其中，所述规范提示信息用于提示清洁员对于某一清洁任务的执行规范。例如，在所述终端设备识别到所述视频图像中包含杯具的清洁对象时，生成一规范提示信息如：“请用杯具专用抹布清洗杯具”。所述异常提示信息用于提示清洁员出现异常，例如，当所述终端设备识别到清洁员对于一清洁对象使用了错误的清洁工具或者错误的清洁姿态时，生成一异常提示信息如：“当前使用的清洁工具不符合规定”或“请使用正确的工具进行清洁”等。

以所述清洁对象为一杯具为例，示例性地，当识别出所述视频图像中包括杯具和正确的清洁工具时，所述终端设备生成与所述杯具相关联的规范提示信息，以提示清洁员按照清洁操作规范执行。例如，所生成的辅助清洁信息包括“请使用杯具专用抹布持续清洗杯具至少15秒”等。

示例性地，当识别出所述视频图像中包括杯具和错误的清洁工具时，所述终端设备生成与所述杯具相关联的规范提示信息，和/或，生成与所述错误的清洁工具相关联的异常提示信息。例如，所述终端设备所生成的辅助清洁信息包括“请使用杯具专用抹布”，或所生成的辅助清洁信息包括“工具不符合规范，请更换”等。

示例性地，当识别出所述视频图像中包括杯具和正确的清洁姿态时，所述终端设备生成与所述杯具相关联的规范提示信息，以提示清洁员按照清洁操作规范执行。例如，所述终端设备所生成的辅助清洁信息包括“请使用抹布擦拭内壁”等。

示例性地，当识别出所述视频图像中包括杯具和错误的清洁姿态时，所述终端设备生成与所述杯具相关联的规范提示信息，和/或，生成与所述错误的清洁姿态相关联的异常提示信息。例如，所述终端设备所生成的辅助清洁信息包括“请使用抹布擦拭内壁”，或所生成的辅助清洁信息包括“操作不符合规范，请重新清洁”等。

示例性地，当识别出所述视频图像中包括杯具、正确的清洁工具、以及正确的清洁姿态时，所述终端设备生成与所述杯具相关联的规范提示信息，以作为清洁操作规范的提示。

示例性地，当识别出所述视频图像中包括杯具、正确的清洁工具、以及错误的清洁姿态时，所述终端设备生成与所述杯具相关联的规范提示信息，和/或，生成与所述错误的清洁姿态相关联的异常提示信息，以提示清洁员及时按照标准执行清洁的动作。

示例性地，当识别出所述视频图像中包括杯具、错误的清洁工具、以及正确的清洁姿态时，所述终端设备生成与所述杯具相关联的规范提示信息，和/或，生成与所述错误的清洁工具相关联的异常提示信息，以提示清洁员及时更换为正确的清洁工具。

示例性地，当识别出所述视频图像中包括杯具、错误的清洁工具、以及错误的清洁姿态时，所述终端设备生成与所述杯具相关联的规范提示信息，和/或，生成与所述错误的清洁工具/错误的清洁姿态相关联的异常提示信息，以提示清洁员及时更换为正确的清洁工具，并按照标准执行清洁的动作。

应理解，上述示例仅作为具体的举例说明，而不限制本申请的范围。

基于上述各示例，所述终端设备可以利用所述清洁操作规范所对应的至少一个清洁操作模型对所述至少一类清洁要素进行分析，以获得所述辅助清洁信息。其中，清洁操作模型为可执行对视频图像中所描述的至少一类清洁要素进行分析的软件算法。

例如，所述清洁操作模型为所述终端设备可执行的计算机程序；当所述终端设备运行所述计算机程序时，可实现基于所述清洁操作规范对视频图像中所描述的至少一类清洁要素进行分析的步骤。

在一些实施例中，所述清洁操作模型集成有对视频图像中所包含的至少一类清洁要素进行识别分析以及对所识别的清洁要素是否符合清洁操作规范的评价分析的软件算法。举例而言，所述清洁操作模型为一种经机器学习的方式训练得到的软件算法，其输入所获取的视频图像(例如，一帧视频图像或连续拍摄的多帧视频图像)，以及输出相应的辅助清洁信息。例如，所述清洁操作模型为基于所述清洁操作规范的约束下经训练后得到的卷积神经网络；所述视频图像输入至所述卷积神经网络后，所述卷积神经网络输出对所述视频图像进行分析后得到的辅助清洁信息。

在训练期间，利用经标签的视频图像样本对所述清洁操作模型进行训练，使其输出辅助清洁信息；根据标签和辅助清洁信息相匹配/不相匹配的结果进行反向传播，以调整清洁操作模型中的参数，直至调整参数后的清洁操作模型的处理成功率达到预设概率阈值为止。其中，为对应不同时机输出相应的辅助清洁信息，在训练期间，利用包含不同类型的清洁要素的视频图像样本进行训练，以使得在清洁员执行一清洁任务期间的不同时机，收到不同内容的辅助清洁信息。

示例性地，当所输入的视频图像样本中包含清洁对象为杯具的清洁要素时，输出包含“请用杯具专用抹布清洗杯具”的辅助清洁信息；或者，当所输入的视频图像样本中包含清洁对象为杯具和清洁工具为非专用抹布的两类清洁要素时，输出包含“当前使用的清洁工具不符合规定”的辅助清洁信息。

在另一些示例中，所述利用所述清洁操作规范所对应的至少一个清洁操作模型对所述至少一类清洁要素进行分析的步骤包括：利用第一操作模型识别所述视频图像中的至少一类清洁要素；以及，利用第二操作模型分析所述至少一类清洁要素所对应的清洁任务是否符合所述清洁操作规范。

示例性地，所述清洁操作模型包括用于执行如前面示例中所描述的识别逻辑的至少一个第一操作模型、和用于执行分析逻辑的至少一个第二操作模型；所述至少一个第一操作模型和至少一个第二操作模型通过接口调用等方式实现数据连接，利用多个具有单独处理功能的模型协同对视频图像进行数据处理以得到辅助清洁信息。

示例性地，所述第一操作模型包括经机器学习而得到的算法模型。例如，所述视频图像输入至所述第一操作模型后，所述第一操作模型依据所述视频图像中的至少一类清洁要素与预设的各类清洁要素的匹配度，将所述视频图像中的至少一类清洁要素归类至其中一类清洁要素中，以生成对所述视频图像中的至少一类清洁要素的识别结果；其中，所述匹配度用于表征视频图像与某一/某些/所有类型清洁要素的相似程度。

例如，所述第一操作模型包括经训练的孪生神经网络。所述终端设备将所述视频图像作为输入，由所述孪生神经网络对所述视频图像进行分析，以将所述视频图像中的至少一类清洁要素归类至预先设置好的分类中，例如，将杯具归类至清洁对象中，将毛刷归类至清洁工具中。

应理解，所述清洁姿态的识别往往利用多帧连续的视频图像。例如，所述多帧连续的视频图像输入至所述第一操作模型中，所述第一操作模型依据各帧图像中包含的动作之间的区别与关联关系，识别所述清洁姿态。

示例性地，所述第二操作模型包括对所述视频图像中的至少一类清洁要素进行图像理解的至少一个算法模型。例如，所述第二操作模型被运行时，所述终端设备得到所述至少一类清洁要素所对应的清洁任务是否符合所述清洁操作规范的判断结果。

需要说明的是，所述第一操作模型和第二操作模型的执行顺序并非固定的。具有一定先后顺序。在一些实施例中，所述终端设备可在识别清洁要素期间，当确定利用第一操作模型所识别出的任一类清洁要素所对应的清洁任务时，即可利用第二操作模型对当前所识别出的清洁要素进行基于清洁操作规范的评价处理，由此及时获得相应的辅助清洁信息，以便于终端设备及时进行输出，以及时地对清洁员的清洁工作进行提示。

在一些实施例中，所述第二操作模型还可以用于检测至少两类清洁要素之间的执行关系。在此，所述第二操作模型依据符合常理认知的逻辑，识别所述至少两类清洁要素之间的执行关系。所述符合常理认知的逻辑例如为：清洁员为清洁姿态的执行主体，清洁对象为清洁姿态的被执行客体，清洁工具为执行主体为实现对被执行客体的清洁而利用的手段。举例而言，“清洁员利用抹布擦拭马桶”是符合常理认知的逻辑的，而“清洁员利用马桶擦拭抹布”则不符合常理认知的逻辑。

示例性地，所述第二操作模型利用存储有样本图像的数据库对所述视频图像中的图像特征进行学习和推理，以获得对所述至少两类清洁要素之间的执行关系的识别结果。

示例性地，所述第二操作模型为经训练的图像语义模型，所述图像语义模型能够对输入的视频图像进行合乎人类认知过程的图像理解和语义分析，从而识别所述视频图像中包含的至少两类清洁要素之间的执行关系。

例如，当所述第一操作模型识别到所述视频图像中包含一个杯具(对应清洁对象)、一块红色抹布(对应清洁工具)和一手部的擦拭动作(对应清洁姿态)时，所述第二操作模型根据对视频图像的图像理解和语义分析，识别各清洁要素之间的执行关系为：“清洁员使用红色抹布对该杯具进行擦拭”。

在一些实施例中，所述第二操作模型还可以用于检测清洁任务的执行时长。

在此，所述第二操作模型通过检测所述视频图像中同一清洁对象在视频中出现所持续的时间，获得所述清洁对象对应的清洁任务的执行时长。举例而言，所述第二操作模型通过计算同一清洁对象在连续的视频图像帧中出现所对应的连续帧的帧数，并通过所述连续帧与实际时长的转化关系获得清洁员清洁所述清洁对象的清洁任务所执行的时长。

示例性地，当利用第二操作模型检测清洁任务的执行时长不满足清洁操作规范时，生成辅助清洁信息以对清洁员进行提示。例如，所述第二操作模型生成包含“未按照要求执行更换床品操作”的辅助清洁信息等。

示例性地，当利用第二操作模型检测清洁任务的执行时长满足清洁操作规范时，生成辅助清洁信息以对清洁员进行提示。例如，所述第二操作模型生成包含“更换床品操作符合规范”的辅助清洁信息等。

在一些实施例中，所述第二操作模型还可以综合检测至少两类清洁要素之间的执行关系和清洁任务的执行时长，以辅助判断所述清洁任务是否符合相应的清洁操作规范。

在实际的场景中，有时因为清洁员的动作幅度大，使得视频图像中的清洁对象的部分或全部并非一直保持在视频图像中，因此，所述第二操作模型还可以通过已识别到的清洁对象和相应的清洁姿态在视频中出现所持续的时间，获得所述清洁对象对应的清洁任务的执行时长。

举例而言，所述第二操作模型已识别到一清洁对象和一清洁姿态，以及所述清洁姿态是用于清洁所述清洁对象的执行关系，数帧后，所述清洁对象在视频图像中消失，但仍能识别到对应所述清洁对象的清洁姿态，则可以根据所述执行关系获得清洁员仍在清洁所述清洁对象的分析结果。由此，所述第二操作模型还可以根据所述清洁对象和清洁姿态在连续视频图像中所持续的时长之和，获得对应的清洁任务的执行时长，以及，根据所识别到的清洁工具和/或清洁姿态、所述清洁任务的执行时长，获得所述清洁任务是否符合相应的清洁操作规范的判断结果。

在一些实施例中，所述执行利用所述清洁操作规范所对应的至少一个清洁操作模型对所述至少一类清洁要素进行分析的步骤是通过调用配置在服务器上的清洁操作模型实现的。在此，考虑到所述终端设备的本地存储空间有限，所述清洁操作模型可以存储在服务器上；当所述终端设备需要对所述至少一类清洁要素进行分析时，即可调用服务器上存储的所述清洁操作模型进行分析处理。

鉴于清洁员在对一房间进行清洁期间通常会执行多个清洁任务，为了避免清洁员遗漏了需要清洁的物品却认为完成了清洁工作(所有清洁任务)，需要检测清洁员清洁工作是否完成；以及在清洁工作未完成的情况下，需要提示清洁员哪些清洁任务尚未完成等。

为此，所述辅助清洁信息还包括：结束提示信息。所述结束提示信息用于提示清洁员是否完成清洁工作(所有清洁任务)。

因此，在一些实施例中，还包括如下步骤：利用所检测到的清洁要素中的清洁对象查询所有清洁任务的完成度；输出与所述完成度相关的辅助清洁信息。

在此，所述终端设备利用所能识别的清洁对象，对所生成的辅助清洁信息和各清洁对象所对应的清洁任务建立关联关系，以在检测到清洁员还未完成所有清洁任务时，或在检测到清洁员已完成全部清洁任务时，生成相应的结束提示信息并输出。

示例性地，所述终端设备例如预存有一清洁对象清单，所述清洁对象清单中包含清洁员清洁一房间时所需要清洁的全部的清洁对象。在清洁过程中，每当从视频图像中识别到一清洁对象，所述终端设备将所述清洁对象与所述清洁对象清单中预存的清洁对象进行一一比对，并根据所述清洁对象所对应的清洁任务的执行情况，综合判断清单中的清洁对象是否完成清洁。

示例性地，当所述终端设备从视频图像中识别到一清洁对象，通过分析获得所述清洁对象所对应的清洁工具和/或清洁姿态符合清洁操作规范时，所述终端设备在识别到下一个清洁对象时，将前一个清洁对象所对应的清洁任务的状态更新为“已完成”，并继续获取视频图像，检测视频图像中是否包含状态为“未完成”的清洁对象；当所述清单中的清洁对象所对应的清洁任务全部完成清洁时，判断所述清洁任务全部完成，生成所述结束提示信息。

在一些实施例中，所述终端设备根据所述清洁任务的完成度，生成与所述完成度相关的辅助清洁信息(例如用于提示清洁任务未完成的结束提示信息，和用于提示清洁任务已完成的结束提示信息等)，并将所述辅助清洁信息予以输出，以提示清洁员是否完成工作。

对应地，在一些实施例中，所述输出与所述完成度相关的辅助清洁信息的步骤包括：在检测到尚有清洁任务未完成的情况下，继续获取视频图像，以及输出辅助清洁信息以提示清洁员继续清洁操作；或者，在检测到所述清洁任务已全部完成的情况下，输出辅助清洁信息以提示清洁员结束清洁操作。

在此，所述终端设备在检测到尚有清洁任务未完成的情况下，使摄像装置继续采集视频图像，并输出结束提示信息以提示清洁员清洁任务未完成，需继续执行清洁操作。示例性地，所述终端设备所生成的辅助清洁信息包括“本次清洁工作尚未完成”或“尚有XX未被清洁”等。

示例性地，所述终端设备在预设时间内未检测到任何一类清洁要素时，及时输出结束提示信息，以提示清洁员是否确实完成清洁工作。例如，当所述终端设备在10s内检测不到任何清洁要素时，生成结束提示信息并及时输出，由此能够防止由于清洁员遗忘或疏忽而导致的清洁工作不彻底。

所述终端设备在检测到所述清洁任务已全部完成的情况下，例如判断清单中的清洁对象已全部完成清洁，则输出结束提示信息提示清洁员本次的清洁任务已完成，可以结束摄像/录制。示例性地，所述终端设备所生成的辅助清洁信息包括“本次清洁工作已完成”等。

为了及时提示清洁员所进行的清洁操作是否规范，所述终端设备在获得所述与所述清洁要素相关联的辅助清洁信息后，即可在清洁员执行清洁任务期间及时将所述辅助清洁信息予以输出。

示例性地，为了及时提示清洁员按照清洁操作规范进行清洁，在检测到所述视频中包含清洁对象时，所述终端设备及时输出与所述清洁对象相关的规范提示信息，以提示清洁员正确的清洁操作。

示例性地，为了防止清洁员操作不规范，例如清洁员为了方便而顺手用刚清洁完马桶的抹布继续对洗漱台进行清洁等诸如此类的不规范操作，当检测到所述视频图像中包含清洁工具和清洁姿态中的至少一类、以及清洁对象时，所述终端设备及时输出对应的规范提示信息和/或异常提示信息。

为此，在步骤S102中，在所述清洁任务的执行期间，输出与所述清洁要素相关联的辅助清洁信息；所述辅助清洁信息是基于所述清洁任务所对应的清洁操作规范对所述至少一类清洁要素进行分析得到的。

在此，所述终端设备输出与所述清洁要素相关联的辅助清洁信息的方式包括：以音频的方式予以输出、和/或以可视化的方式予以输出。其中，所述辅助清洁信息例如为预先存储的文字信息或预先录制的语音信息或根据对视频图像中的清洁要素进行分析后生成的。

示例性地，所述终端设备在其显示器上以可视化的方式展示所述与所述清洁要素相关联的辅助清洁信息。所述可视化的展示方式包括文字展示、图形展示、或文字展示和图形展示的结合等。

在实际的场景中，清洁员可能由于正在进行清洁工作而不便于查看可视化展示的结果，为此，示例性地，所述终端设备还可以通过语音的方式播报语音信息，以确保清洁员知悉了该提示。或者，所述终端设备还可以通过语音转化工具，将所述文字信息转化为语音信息后再进行语音播报。

本申请提供的用于房间清洁任务的视频处理方法，通过采集清洁员对房间进行清洁的视频并进行分析清洁要素，并实时输出与清洁要素相关联的辅助清洁信息，能够在清洁员的清洁过程中有效地监督清洁员对房间进行清洁，避免了人工监督方式中存在的主观因素。通过在清洁员的清洁过程中实时输出辅助清洁信息，能够及时的对清洁员的清洁工作进行提示，不仅提高了清洁效率，同时能够防止由于清洁员遗忘或疏忽而导致的清洁工作不彻底。

承前所述，所述用于房间清洁任务的视频处理方法还可以利用终端设备和服务器协同执行。其中，所述服务器与终端设备网络连接。所述网络可以是因特网、移动网络、局域网(LAN)、广域网(WLAN)、存储局域网(SAN)、或者一个或多个内部网等，或其适当组合，本申请实施例对终端设备、服务器的种类，或者终端设备与服务器之间通信网络的类型或协议等在本申请中均不作限定。

请参阅图8，显示为本申请用于房间清洁任务的视频处理方法在另一实施例中的流程示意图。包括以下步骤：

在步骤S801中，所述终端设备获取清洁员执行一房间的清洁任务的视频图像；所述视频图像中包含至少一类清洁要素。

在此，所述终端设备执行前述的步骤S101；具体实施例请参照前述步骤S101中的描述，此处不再赘述。

在步骤S802中，所述终端设备将所述视频图像(或经预处理后的视频图像)上传至服务器，以供所述服务器对所述至少一类清洁要素进行分析并反馈所述辅助清洁信息。

在此，为了及时地输出辅助清洁信息以提示清洁员，所述终端设备可以将所述视频图像及时发送给所述服务器。在实际的场景中，房间各个位置的网络稳定性无法达到理想情况，则可以利用例如断点续传等技术实现在一定程度上对视频图像的实时传输。当然并不局限于此，本申请实施例对上传的方式不作具体限定。

在步骤S803中，所述服务器接收所述终端设备发送的视频图像，执行基于所述清洁操作规范对所述至少一类清洁要素进行分析以获得辅助清洁信息的步骤。

在此，考虑到终端设备在本地执行对所述视频图像进行分析获得所述辅助清洁信息的步骤对其硬件条件有一定的要求，所述终端设备还可以将所述视频图像(或经预处理后的视频图像)发送给服务器，由服务器基于所述清洁操作规范对所述至少一类清洁要素进行分析，并获得所述辅助清洁信息。

应理解，服务器基于所述清洁操作规范对所述至少一类清洁要素进行分析的步骤与前述实施例中终端设备基于所述清洁操作规范对所述至少一类清洁要素进行分析的步骤的方法和原理类似，并具有相应的技术效果；具体实施例请参照前述实施例中的描述，此处不再赘述。

在步骤S804中，所述终端设备接收所述辅助清洁信息，并将在所述清洁任务的执行期间将所述辅助清洁信息予以输出。

在此，所述终端设备执行前述的步骤S102；具体实施例请参照前述步骤S102中的描述，此处不再赘述。

本申请提供的用于房间清洁任务的视频处理方法，通过采集清洁员对房间进行清洁的视频并进行分析清洁要素，并实时输出与清洁要素相关联的辅助清洁信息，能够在清洁员的清洁过程中有效地监督清洁员对房间进行清洁，避免了人工监督方式中存在的主观因素。通过在清洁员的清洁过程中实时输出辅助清洁信息，能够及时的对清洁员的清洁工作进行提示，不仅提高了清洁效率，同时能够防止由于清洁员遗忘或疏忽而导致的清洁工作不彻底。

本申请还提供一种用于房间清洁任务的视频处理系统，用于执行图1所示的用于房间清洁任务的视频处理方法或图8所示的用于房间清洁任务的视频处理方法，具备相应的功能模块并能够实现相同的技术效果。

请参阅图2，显示为本申请用于房间清洁任务的视频处理系统在一实施例中的模块组成框图。如图所示，所述系统2包括获取模块201和输出模块202。

其中，所述获取模块201用于获取关于清洁员执行一房间的清洁任务的视频图像；所述视频图像中包含至少一类清洁要素。所述输出模块202用于在所述清洁任务的执行期间，输出与所述清洁要素相关联的辅助清洁信息；所述辅助清洁信息是基于所述清洁任务所对应的清洁操作规范对所述至少一类清洁要素进行分析得到的。

在一些实施例中，所述输出模块还用于当检测到所述视频图像中包含清洁对象时，输出所述清洁对象对应的规范提示信息；和/或，所述输出模块还用于当检测到所述视频图像中包含清洁工具和清洁姿态中的至少一类、以及清洁对象时，输出对应的规范提示信息和/或异常提示信息。

在一些实施例中，还包括上传模块，用于将所述视频图像上传至服务器，以供所述服务器进行存储；和/或，所述上传模块还用于将所述视频图像上传至服务器，以供所述服务器对所述至少一类清洁要素进行分析并反馈所述辅助清洁信息。

在一些实施例中，所述输出模块还用于以音频的方式将所述辅助清洁信息予以输出、和/或以可视化的方式将所述辅助清洁信息予以输出。

在一些实施例中，还包括查询模块，用于利用所检测到的清洁要素中的清洁对象查询所述清洁任务的完成度；对应地，所述输出模块还用于输出与所述完成度相关的辅助清洁信息。

在实施例中，为简化说明，所述系统中的获取模块和输出模块可以通过执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以通过专用硬件与计算机指令的组合来实现上述图1所示实施例中的用于房间清洁任务的视频处理方法，或上述图8所示实施例中的用于房间清洁任务的视频处理方法的步骤，此处不再赘述。

本申请提供的用于房间清洁任务的视频处理系统，通过采集清洁员对房间进行清洁的视频并进行分析清洁要素，并输出与清洁要素相关联的辅助清洁信息，能够有效地监督清洁员对房间进行清洁，避免了人工监督方式中存在的主观因素，同时通过在清洁员的清洁过程中即时输出辅助清洁信息，提高了清洁效率，防止由于清洁员遗忘或疏忽而导致的清洁工作不彻底。

本申请还提供一种终端设备，用于在清洁员执行房间的清洁任务期间通过摄像装置进行摄像/录制，以对视频图像进行分析并获得辅助清洁信息，和/或，以将视频图像提供至服务器进行分析并接收辅助清洁信息。

请参阅图3，显示为本申请终端设备在一实施例中的模块组成框图，如图所示，本申请的终端设备3包括摄像装置301、至少一个存储器302、以及至少一个处理器302。

在实施例中，所述终端设备例如为装载有APP应用程序或具备网页/网站访问性能的电子设备，所述电子设备包括存储器、存储器控制器、一个或多个处理单元(CPU)、外设接口、RF电路、音频电路、扬声器、麦克风、输入/输出(I/O)子系统、显示屏、其他输出或控制设备，以及外部端口等组件，这些组件通过一条或多条通信总线或信号线进行通信。所述电子设备还可以是由带有多个虚拟机的主机和对应每个虚拟机的人机交互装置(如触控显示屏、键盘和鼠标)所构成的电子设备。在一些实施例中，所述终端设备包括但不限于如记录仪、手机、平板电脑、智能眼镜、运动相机(例如Go Pro、Insta 360等)等电子设备。

其中，所述终端设备通过控制摄像装置进行摄像/录制。在一些实施例中，所述摄像装置可以独立于所述终端设备。例如，所述摄像装置为可拆卸地设置在清洁员身上的运动相机，由清洁员通过一手机(对应终端设备)上装载的用于控制所述运动相机的APP程序进行控制或执行触发操作。在一些实施例中，所述终端设备与所述摄像装置集成于一体。例如，所述终端设备为具备摄像/录制功能的手机，通过控制所述手机中的摄像头进行摄像/录制。

在一些实施例中，所述终端设备为可携带设备/可穿戴设备。例如，所述终端设备为清洁员佩戴的运动相机。又如，所述终端设备为清洁员佩戴的智能眼镜。又如，所述终端设备可以可拆卸地设置在一坎肩上，由清洁员穿戴该坎肩进行携带和摄像/录制。

在一些实施例中，所述终端设备还包括显示器。所述显示器的功能是通过电子设备中的图形模块及显示其控制器实现的，所述图形模块包括用于在触摸屏上呈现和显示图形的各种已知软件组件。注意术语“图形”包括可以显示给用户的任何对象，包括但不局限于文本、网页、图标(例如包括软按键在内的用户界面对象)、数字图像、视频、动画等等。显示屏例如为触摸屏，在设备与用户之间同时提供输出接口和输入接口。触摸屏控制器接收/发送来自/去往触摸屏的电信号。该触摸屏则向用户显示可视输出。这个可视输出可以包括文本、图形、视频及其任意组合。

所述至少一个存储器用于存储至少一个程序；在实施例中，所述存储器可包括高速随机存取存储器，并且还可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。在某些实施例中，存储器还可以包括远离一个或多个处理器的存储器，例如经由RF电路或外部端口以及通信网络访问的网络附加存储器，其中所述通信网络可以是因特网、一个或多个内部网、局域网、广域网、存储局域网等，或其适当组合。存储器控制器可控制设备的诸如CPU和外设接口之类的其他组件对存储器的访问。

在一些实施例中，所述至少一个处理器与所述至少一个存储器连接，用于运行所述至少一个程序时执行并实现如上述用于房间清洁任务的视频处理方法所描述的至少一种实施例，比如图1所描述的实施例，或图8所描述的实施例。在实施例中，所述处理器可操作地与存储器和/或非易失性存储设备耦接。更具体地，处理器可执行在存储器和/或非易失性存储设备中存储的指令以在计算设备中执行操作，诸如生成图像数据和/或将图像数据传输到电子显示器。如此，处理器可包括一个或多个通用微处理器、一个或多个专用处理器、一个或多个现场可编程逻辑阵列、或它们的任何组合。

本申请提供的终端设备，通过采集清洁员对房间进行清洁的视频并进行分析清洁要素，并通过语音输出等方式将所述与清洁要素相关联的辅助清洁信息予以输出，能够有效地监督清洁员对房间进行清洁，并及时地提示清洁员的清洁操作是否符合规范，提高了清洁效率，防止由于清洁员遗忘或疏忽而导致的清洁工作不彻底。

承前所述，所述用于房间清洁任务的视频处理方法可以依据配置条件而由服务器执行。以下实施例将暂以服务器为执行主体进行阐述。所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上。

在一些实施例中，所述服务器可以为基于云架构的服务器，所述服务器指的是云计算提供商所提供的云计算平台，所述云计算平台能够提供IaaS(Infrastructure-as-a-Service，基础设施即服务)、PaaS(Platform-as-a-Service，平台即服务)、以及SaaS(Software-as-a-Service，软件即服务)等服务。

其中，所述云计算平台包括公共云(Public Cloud)、私有云(Private Cloud)、以及混合云(Hybrid Cloud)等，例如，美团云计算服务平台、阿里云计算服务平台、百度云计算平台、以及腾讯云计算平台等。

在一些实施例中，所述服务器可以由分布的或集中的服务器集群构成。例如，所述服务器集群由至少一台实体服务器构成。每个实体服务器中配置多个虚拟服务器，每个虚拟服务器运行所述系统中的至少一功能模块，各虚拟服务器之间通过网络通信。

请参阅图4，显示为本申请用于房间清洁任务的视频处理方法在一实施例中的流程示意图。如图所示，所述视频处理方法包括步骤S401和步骤S402。

在步骤S401中，接收清洁员执行一房间的清洁任务的视频图像；所述视频图像中包含至少一类清洁要素。

在此，所述服务器接收一终端设备发送的清洁员执行一房间的清洁任务的视频图像。

其中，所述服务器与终端设备网络连接。所述网络可以是因特网、移动网络、局域网、广域网、存储局域网、或者一个或多个内部网等，或其适当组合，本申请实施例对终端设备、服务器的种类，或者终端设备与服务器之间通信网络的类型或协议等在本申请中均不作限定。

其中，所述清洁要素的类型包括清洁对象、清洁工具、以及清洁姿态等。所述清洁对象为清洁员对房间进行清洁所需要执行清洁操作的对象。示例性地，所述清洁对象可以是酒店规定的该房间需清洁的物品。例如，所述清洁对象可以为洗漱台、杯具、浴缸、以及马桶等。所述清洁工具为清洁员为对所述清洁对象进行清洁所利用的工具。例如，装有清洁剂的容器、不同清洁对象对应的专用抹布、毛刷、扫帚等。所述清洁姿态为清洁员对所述清洁对象进行清洁时的动作、手势等。例如，清洁员的擦拭动作、清洗动作、拆换动作等。应理解，所述清洁姿态往往基于连续多帧视频图像以被识别。

在一些实施例中，在接收所述视频图像后，所述服务器还可以对所述视频图像进行旋转、裁剪去除图像中的噪音等预处理，从而提高数据处理的准确性。

在另一些实施例中，所述服务器接收的所述视频图像为经所述终端设备预处理后的视频图像。

在一些实施例中，所述服务器在接收所述视频图像(或经预处理后的视频图像)后，将所述视频图像(或经预处理后的视频图像)与所述房间的房间信息关联存储至数据库中，以供管理人员对所录制的清洁员的清洁工作进行核查。例如，所述管理人员对清洁员的清洁工作进行实时核查；或者，所述管理人员在日后进行审核时查阅所述视频图像以进行核查。

其中，所述房间的房间信息包括但不限于房间号信息、楼层信息、房态信息(例如已入住待清洁状态、未入住待清洁状态、已入住干净状态、未入住干净状态等)等中的一种或多种。

示例性地，所述服务器将所述视频图像与所录制的清洁员执行清洁工作所在房间的房间号、清洁员的标识信息(例如姓名、编号、等级等)、日期等中的至少一种信息进行关联，并存储至数据库中，以供后续的核查。

在步骤S402中，基于所述清洁任务所对应的清洁操作规范对所述视频图像中至少一类清洁要素进行分析，生成与所述清洁要素相关联的辅助清洁信息以供核查。

在此，所述服务器在接收所述视频图像(或经预处理后的视频图像)后，基于所述清洁任务所对应的清洁操作规范对所述视频图像中至少一类清洁要素进行分析生成与所述清洁要素相关联的辅助清洁信息。

在一些实施例中，所述服务器在生成所述辅助清洁信息后，将所述辅助清洁信息与所述房间的房间信息关联存储至数据库中以供核查。例如，所述服务器根据所生成的辅助清洁信息生成对应的文字记录，以供管理人员对清洁员的清洁工作进行实时核查/事后核查；或者，所述管理人员结合所存储的视频图像与辅助清洁信息核查清洁员的清洁工作。

示例性地，所述服务器将所述辅助清洁信息、视频图像、所录制的清洁员执行清洁工作所在房间的房间号、清洁员的标识信息(例如姓名、编号、等级等)、日期等中的至少一种信息进行关联，并存储至数据库中以供核查。

在一些实施例中，所述服务器基于各清洁任务所对应的清洁操作规范，利用图像处理技术视频图像中的至少一类清洁要素进行分析，以生成与所述清洁要素相关联的辅助清洁信息。

在一些实施例中，所述服务器根据预存储的用来识别至少一类清洁要素的识别逻辑，以及根据清洁操作规范而设置的评价逻辑，对所获取的视频图像进行分析处理。

示例性地，所述识别逻辑包括利用预设的对应至少一类清洁要素的图像特征而设置的算法模型。例如，所述服务器利用预设的所有类别清洁要素的图像特征对所获取的视频图像进行图像识别或目标跟踪等识别分析，以得到所述视频内图像中对应至少一类清洁要素的特征数据。

示例性地，所述识别逻辑包括经机器学习而得到的具有图像处理结构的至少一个算法模型。例如，在各算法模型被运行时，所述服务器得到所述视频图像中的清洁要素与预设的各类清洁要素的匹配度；其中，所述匹配度用于表征视频图像与某一/某些/所有类型清洁要素的相似程度。

示例性地，所述评价逻辑为利用清洁操作规范中与至少一类清洁要素相关的评价规则而设置的评价方式。例如，所述评价逻辑为利用清洁操作规范中包含/不包含至少一类清洁要素、和/或所包含/不包含的至少一类清洁要素属于/不属于相应的清洁任务而设置的算法模型。

示例性地，所述评价逻辑为利用经机器学习而得到的对所识别的结果进行决策处理的至少一个算法模型。例如，在各相应算法模型被运行时，所述服务器对所识别出的用于描述至少一类清洁要素的匹配度进行决策处理，以得到相应的分析结果。

需要说明的是，所述识别逻辑和评价逻辑并非一定具有先后顺序。在一些实施例中，所述服务器可在识别清洁要素期间，当确定所识别出的任一类清洁要素所对应的清洁任务时，利用当前所识别出的清洁要素进行基于清洁操作规范的评价处理，由此及时获得对视频图像的分析结果，以便于后续结果的及时输出。

在一些实施例中，所述服务器获得上述步骤获得的对视频图像的分析结果后，根据分析结果生成对应的清洁辅助信息。其中，所述辅助清洁信息用于根据清洁员的清洁操作对清洁员进行提示，辅助清洁员进行清洁，以提高清洁效率。根据评价清洁要素的时机，所生成的辅助清洁信息的内容不同。所述时机包括：清洁任务执行开始阶段和/或执行期间的异常阶段等。

示例性地，当识别出所述视频图像中清洁要素仅包括清洁对象时，所述服务器根据执行相应清洁任务的清洁操作规范，生成用于提示清洁员正确的清洁操作的辅助清洁信息。又如，当识别出清洁要素包括清洁对象，以及清洁工具和/或清洁姿态时，所述服务器在检测到按照清洁对象所属的清洁任务，所识别出的清洁对象、以及清洁工具和/或清洁姿态不符合相应的清洁操作规范时，生成用于提示清洁员当前的清洁操作有误的辅助清洁信息等。

为此，所述辅助清洁信息用于向清洁员提供与所监督的清洁任务的执行情况相关的信息等，其包括规范提示信息、异常提示信息中的至少一种。

其中，所述规范提示信息用于提示清洁员对于某一清洁任务的执行规范。例如，在识别到所述视频图像中包含杯具的清洁对象时，所述服务器生成一规范提示信息如：“请用杯具专用抹布清洗杯具”。所述异常提示信息用于提示清洁员出现异常，例如，当识别到清洁员对于一清洁对象使用了错误的清洁工具或者错误的清洁姿态时，所述服务器生成一异常提示信息如：“当前使用的清洁工具不符合规定”或“请使用正确的工具进行清洁”等。

以所述清洁对象为一杯具为例，示例性地，当识别出所述视频图像中包括杯具和正确的清洁工具时，所述服务器生成与所述杯具相关联的规范提示信息，以提示清洁员按照清洁操作规范执行。例如，所生成的辅助清洁信息包括“请使用杯具专用抹布持续清洗杯具至少15秒”等。

示例性地，当识别出所述视频图像中包括杯具和错误的清洁工具时，所述服务器生成与所述杯具相关联的规范提示信息，和/或，生成与所述错误的清洁工具相关联的异常提示信息。例如，所述服务器所生成的辅助清洁信息包括“请使用杯具专用抹布”，或所生成的辅助清洁信息包括“工具不符合规范，请更换”等。

示例性地，当识别出所述视频图像中包括杯具和正确的清洁姿态时，所述服务器生成与所述杯具相关联的规范提示信息，以提示清洁员按照清洁操作规范执行。例如，所述服务器所生成的辅助清洁信息包括“请使用抹布擦拭内壁”等。

示例性地，当识别出所述视频图像中包括杯具和错误的清洁姿态时，所述服务器生成与所述杯具相关联的规范提示信息，和/或，生成与所述错误的清洁姿态相关联的异常提示信息。例如，所述服务器所生成的辅助清洁信息包括“请使用抹布擦拭内壁”，或所生成的辅助清洁信息包括“操作不符合规范，请重新清洁”等。

示例性地，当识别出所述视频图像中包括杯具、正确的清洁工具、以及正确的清洁姿态时，所述服务器生成与所述杯具相关联的规范提示信息，以作为清洁操作规范的提示。

示例性地，当识别出所述视频图像中包括杯具、正确的清洁工具、以及错误的清洁姿态时，所述服务器生成与所述杯具相关联的规范提示信息，和/或，生成与所述错误的清洁姿态相关联的异常提示信息，以提示清洁员及时按照标准执行清洁的动作。

示例性地，当识别出所述视频图像中包括杯具、错误的清洁工具、以及正确的清洁姿态时，所述服务器生成与所述杯具相关联的规范提示信息，和/或，生成与所述错误的清洁工具相关联的异常提示信息，以提示清洁员及时更换为正确的清洁工具。

示例性地，当识别出所述视频图像中包括杯具、错误的清洁工具、以及错误的清洁姿态时，所述服务器生成与所述杯具相关联的规范提示信息，和/或，生成与所述错误的清洁工具/错误的清洁姿态相关联的异常提示信息，以提示清洁员及时更换为正确的清洁工具，并按照标准执行清洁的动作。

应理解，上述示例仅作为具体的举例说明，而不限制本申请的范围。

基于上述各示例，所述服务器可以利用所述清洁操作规范所对应的至少一个清洁操作模型对所述至少一类清洁要素进行分析，以获得所述辅助清洁信息。其中，清洁操作模型为可执行对视频图像中所描述的至少一类清洁要素进行分析的软件算法。

例如，所述清洁操作模型为所述终端设备可执行的计算机程序；当所述服务器运行所述计算机程序时，可实现基于所述清洁操作规范对视频图像中所描述的至少一类清洁要素进行分析的步骤。

在一些实施例中，所述清洁操作模型集成有对视频图像中所包含的至少一类清洁要素进行识别分析以及对所识别的清洁要素是否符合清洁操作规范的评价分析的软件算法。举例而言，所述清洁操作模型为一种经机器学习的方式训练得到的软件算法，其输入所获取的视频图像(例如，一帧视频图像或连续拍摄的多帧视频图像)，以及输出相应的辅助清洁信息。例如，所述清洁操作模型为基于所述清洁操作规范的约束下经训练后得到的卷积神经网络；所述视频图像输入至所述卷积神经网络后，所述卷积神经网络输出对所述视频图像进行分析后得到的辅助清洁信息。

在训练期间，利用经标签的视频图像样本对所述清洁操作模型进行训练，使其输出辅助清洁信息；根据标签和辅助清洁信息相匹配/不相匹配的结果进行反向传播，以调整清洁操作模型中的参数，直至调整参数后的清洁操作模型的处理成功率达到预设概率阈值为止。其中，为对应不同时机输出相应的辅助清洁信息，在训练期间，利用包含不同类型的清洁要素的视频图像样本进行训练，以使得在清洁员执行一清洁任务期间的不同时机，收到不同内容的辅助清洁信息。

示例性地，当所输入的视频图像样本中包含清洁对象为杯具的清洁要素时，输出包含“请用杯具专用抹布清洗杯具”的辅助清洁信息；或者，当所输入的视频图像样本中包含清洁对象为杯具和清洁工具为非专用抹布的两类清洁要素时，输出包含“当前使用的清洁工具不符合规定”的辅助清洁信息。

在另一些示例中，所述利用所述清洁操作规范所对应的至少一个清洁操作模型对所述至少一类清洁要素进行分析的步骤包括：利用第一操作模型识别所述视频图像中的至少一类清洁要素；以及，利用第二操作模型分析所述至少一类清洁要素所对应的清洁任务是否符合所述清洁操作规范。

示例性地，所述清洁操作模型包括用于执行如前面示例中所描述的识别逻辑的至少一个第一操作模型、和用于执行分析逻辑的至少一个第二操作模型；所述至少一个第一操作模型和至少一个第二操作模型通过接口调用等方式实现数据连接，利用多个具有单独处理功能的模型协同对视频图像进行数据处理以得到辅助清洁信息。

示例性地，所述第一操作模型包括经机器学习而得到的算法模型。例如，所述视频图像输入至所述第一操作模型后，所述第一操作模型依据所述视频图像中的至少一类清洁要素与预设的各类清洁要素的匹配度，将所述视频图像中的至少一类清洁要素归类至其中一类清洁要素中，以生成对所述视频图像中的至少一类清洁要素的识别结果；其中，所述匹配度用于表征视频图像与某一/某些/所有类型清洁要素的相似程度。

例如，所述第一操作模型包括经训练的孪生神经网络。所述服务器将所述视频图像作为输入，由所述孪生神经网络对所述视频图像进行分析，以将所述视频图像中的至少一类清洁要素归类至预先设置好的分类中，例如，将杯具归类至清洁对象中，将毛刷归类至清洁工具中。

应理解，所述清洁姿态的识别往往利用多帧连续的视频图像。例如，所述多帧连续的视频图像输入至所述第一操作模型中，所述第一操作模型依据各帧图像中包含的动作之间的区别与关联关系，识别所述清洁姿态。

示例性地，所述第二操作模型包括对所述视频图像中的至少一类清洁要素进行图像理解的至少一个算法模型。例如，所述第二操作模型被运行时，所述服务器得到所述至少一类清洁要素所对应的清洁任务是否符合所述清洁操作规范的判断结果。

需要说明的是，所述第一操作模型和第二操作模型的执行顺序并非固定的。具有一定先后顺序。在一些实施例中，所述服务器可在识别清洁要素期间，当确定利用第一操作模型所识别出的任一类清洁要素所对应的清洁任务时，即可利用第二操作模型对当前所识别出的清洁要素进行基于清洁操作规范的评价处理，由此及时获得相应的辅助清洁信息，以便于服务器及时进行输出，以及时地对清洁员的清洁工作进行提示。

在一些实施例中，所述第二操作模型还可以用于检测至少两类清洁要素之间的执行关系。在此，所述第二操作模型依据符合常理认知的逻辑，识别所述至少两类清洁要素之间的执行关系。所述符合常理认知的逻辑例如为：清洁员为清洁姿态的执行主体，清洁对象为清洁姿态的被执行客体，清洁工具为执行主体为实现对被执行客体的清洁而利用的手段。举例而言，“清洁员利用抹布擦拭马桶”是符合常理认知的逻辑的，而“清洁员利用马桶擦拭抹布”则不符合常理认知的逻辑。

示例性地，所述第二操作模型利用存储有样本图像的数据库对所述视频图像中的图像特征进行学习和推理，以获得对所述至少两类清洁要素之间的执行关系的识别结果。

示例性地，所述第二操作模型为经训练的图像语义模型，所述图像语义模型能够对输入的视频图像进行合乎人类认知过程的图像理解和语义分析，从而识别所述视频图像中包含的至少两类清洁要素之间的执行关系。

例如，当所述第一操作模型识别到所述视频图像中包含一个杯具(对应清洁对象)、一块红色抹布(对应清洁工具)和一手部的擦拭动作(对应清洁姿态)时，所述第二操作模型根据对视频图像的图像理解和语义分析，识别各清洁要素之间的执行关系为：“清洁员使用红色抹布对该杯具进行擦拭”。

在一些实施例中，所述第二操作模型还可以用于检测清洁任务的执行时长。

在此，所述第二操作模型通过检测所述视频图像中同一清洁对象在视频中出现所持续的时间，获得所述清洁对象对应的清洁任务的执行时长。举例而言，所述第二操作模型通过计算同一清洁对象在连续的视频图像帧中出现所对应的连续帧的帧数，并通过所述连续帧与实际时长的转化关系获得清洁员清洁所述清洁对象的清洁任务所执行的时长。

示例性地，当利用第二操作模型检测清洁任务的执行时长不满足清洁操作规范时，生成辅助清洁信息以对清洁员进行提示。例如，所述第二操作模型生成包含“未按照要求执行更换床品操作”的辅助清洁信息等。

示例性地，当利用第二操作模型检测清洁任务的执行时长满足清洁操作规范时，生成辅助清洁信息以对清洁员进行提示。例如，所述第二操作模型生成包含“更换床品操作符合规范”的辅助清洁信息等。

在一些实施例中，所述第二操作模型还可以综合检测至少两类清洁要素之间的执行关系和清洁任务的执行时长，以辅助判断所述清洁任务是否符合相应的清洁操作规范。

举例而言，所述第二操作模型已识别到一清洁对象和一清洁姿态，以及所述清洁姿态是用于清洁所述清洁对象的执行关系，数帧后，所述清洁对象在视频图像中消失，但仍能识别到对应所述清洁对象的清洁姿态，则可以根据所述执行关系获得清洁员仍在清洁所述清洁对象的分析结果。由此，所述第二操作模型还可以根据所述清洁对象和清洁姿态在连续视频图像中所持续的时长之和，获得对应的清洁任务的执行时长，以及，根据所识别到的清洁工具和/或清洁姿态、所述清洁任务的执行时长，获得所述清洁任务是否符合相应的清洁操作规范的判断结果。

在一些实施例中，所述服务器在所述清洁任务的执行期间，将所述辅助清洁信息发送至终端设备，以供所述终端设备予以输出。

在此，所述服务器在生成所述辅助清洁信息后，为了及时地对清洁员进行提示，所述服务器还及时地将所述辅助清洁信息发送至所述终端设备；所述终端设备接收到所述辅助清洁信息后予以输出，以实时对清洁员的清洁工作进行监督和提示。所述终端设备输出所述辅助清洁信息的方式请见前述实施例中的描述，此处不再赘述。

鉴于清洁员在对一房间进行清洁期间通常会执行多个清洁任务，为了避免清洁员遗漏了需要清洁的物品却认为完成了清洁工作(所有清洁任务)，需要检测清洁员清洁工作是否完成；以及在清洁工作未完成的情况下，需要检测清洁员哪些清洁任务尚未完成等。

为此，所述辅助清洁信息还包括：结束提示信息。所述结束提示信息用于提示清洁员是否完成清洁工作(所有清洁任务)。

因此，在一些实施例中，还包括如下步骤：利用所检测到的清洁要素中的清洁对象查询所有清洁任务的完成度，生成与所述完成度相关的辅助清洁信息；将所述与完成度相关的辅助清洁信息与所述房间的房间信息关联存储至数据库中以供核查。

在此，所述服务器利用所能识别的清洁对象，对所生成的辅助清洁信息和各清洁对象所对应的清洁任务建立关联关系，以在检测到清洁员还未完成所有清洁任务时，或在检测到清洁员已完成全部清洁任务时，生成相应的结束提示信息。

示例性地，所述服务器例如预存有一清洁对象清单，所述清洁对象清单中包含清洁员清洁一房间时所需要清洁的全部的清洁对象。在清洁过程中，每当从视频图像中识别到一清洁对象，所述服务器将所述清洁对象与所述清洁对象清单中预存的清洁对象进行一一比对，并根据所述清洁对象所对应的清洁任务的执行情况，综合判断清单中的清洁对象是否完成清洁。

示例性地，当所述服务器从视频图像中识别到一清洁对象，通过分析获得所述清洁对象所对应的清洁工具和/或清洁姿态符合清洁操作规范时，所述服务器在识别到下一个清洁对象时，将前一个清洁对象所对应的清洁任务的状态更新为“已完成”，并继续获取视频图像，检测视频图像中是否包含状态为“未完成”的清洁对象；当所述清单中的清洁对象所对应的清洁任务全部完成清洁时，判断所述清洁任务全部完成，生成所述结束提示信息。

为了及时地对清洁员进行提示，所述服务器在所述清洁员执行所述清洁任务期间，将所述与完成度相关的辅助清洁信息发送至终端设备，以供所述终端设备予以输出。

对应地，在一些实施例中，所述服务器将所述与完成度相关的辅助清洁信息发送至所述终端设备，以供所述终端设备予以输出的步骤包括：在检测到尚有清洁任务未完成的情况下，继续接收视频图像，以及将所述辅助清洁信息发送至终端设备以供提示清洁员继续清洁操作；或者，在检测到清洁任务已全部完成的情况下，将所述辅助清洁信息发送至终端设备以供提示清洁员结束清洁操作。

在此，所述服务器在检测到尚有清洁任务未完成的情况下，继续接收终端设备发送的视频图像，生成结束提示信息并发送至所述终端设备，以供所述终端设备输出并提示清洁员清洁任务未完成，需继续执行清洁操作。例如，所述服务器生成结束提示信息并发送至所述终端设备，以供所述终端设备语音播报：“本次清洁工作尚未完成”或“尚有XX未被清洁”等。

示例性地，所述服务器在预设时间内未检测到任何一类清洁要素时，生成结束提示信息，并及时发送至终端设备，终端设备及时提示清洁员是否确实完成清洁工作。例如，当所述服务器在10s内检测不到任何清洁要素时，生成结束提示信息并使所述结束提示信息及时输出，由此能够防止由于清洁员遗忘或疏忽而导致的清洁工作不彻底。

所述服务器在检测到清洁任务已全部完成的情况下，例如判断清单中的清洁对象已全部完成清洁，则生成结束提示信息并发送至所述终端设备，以供所述终端设备提示清洁员本次的清洁任务已完成，可以结束摄像/录制。示例性地，所述终端设备语音播报：“本次清洁工作已全部完成”等。

本申请提供的用于房间清洁任务的视频处理方法，服务器通过对接收到的关于清洁员清洁房间的视频图像进行分析，根据识别到的清洁要素生成相关联的辅助清洁信息并进行存储，能够在日后进行审核，以评价清洁员的工作。同时，服务器还能够将生成的辅助清洁信息及时地发送至终端设备，由所述终端设备在清洁员尚在清洁任务的执行期间进行输出提示，能够有效地监督清洁员对房间进行清洁，并及时地提示清洁员的清洁操作是否符合规范，从而提高了清洁效率，防止由于清洁员遗忘或疏忽而导致的清洁工作不彻底。

本申请还提供一种用于房间清洁任务的视频处理系统，用于执行图4所示的用于房间清洁任务的视频处理方法，具备相应的功能模块并能够实现相同的技术效果。

请参阅图5，显示为本申请用于房间清洁任务的视频处理系统在一实施例中的模块组成框图。如图所示，所述系统5包括接收模块501和生成模块502。

其中，所述接收模块501用于接收清洁员执行一房间的清洁任务的视频图像；所述视频图像中包含至少一类清洁要素；所述生成模块502用于基于所述清洁任务所对应的清洁操作规范对所述视频图像中至少一类清洁要素进行分析，生成与所述清洁要素相关联的辅助清洁信息以供核查。

在一些实施例中，还包括存储模块，用于将所述辅助清洁信息与所述房间的房间信息关联存储至数据库中。

在一些实施例中，还包括第一发送模块，用于在所述清洁任务的执行期间，将所述辅助清洁信息发送至终端设备，以供所述终端设备予以输出。

在一些实施例中，所述生成模块用于利用所述清洁操作规范所对应的至少一个清洁操作模型对所述至少一类清洁要素进行分析。

在一些实施例中，还包括查询模块，用于利用所检测到的清洁要素中的清洁对象查询所述清洁任务的完成度，生成与所述完成度相关的辅助清洁信息。对应地，所述存储模块还用于将所述与完成度相关的辅助清洁信息与所述房间的房间信息关联存储以供核查。

在一些实施例中，还包括第二发送模块，用于在接收所述清洁任务的视频图像期间，将所述与完成度相关的辅助清洁信息发送至终端设备，以供所述终端设备予以输出。

其中，所述第一发送模块和第二发送模块可以是同一个发送模块，也可以是不同的发送模块，此处不作限制。

在实施例中，为简化说明，所述系统中的接收模块和生成模块可以通过执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以通过专用硬件与计算机指令的组合来实现上述图4所示实施例中的用于房间清洁任务的视频处理方法的步骤，此处不再赘述。

本申请提供的用于房间清洁任务的视频处理系统，服务器通过对接收到的关于清洁员清洁房间的视频图像进行分析，根据识别到的清洁要素生成相关联的辅助清洁信息并进行存储，能够在日后进行审核，以评价清洁员的工作。同时，服务器还能够将生成的辅助清洁信息及时地发送至终端设备，由所述终端设备在清洁员尚在清洁任务的执行期间进行输出提示，能够有效地监督清洁员对房间进行清洁，并及时地提示清洁员的清洁操作是否符合规范，从而提高了清洁效率，防止由于清洁员遗忘或疏忽而导致的清洁工作不彻底。

本申请还提供一种服务器，用于执行图4所示的用于房间清洁任务的视频处理方法。在实施例中，所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上。

在一些实施例中，所述服务器可以为基于云架构的服务器，所述服务器指的是云计算提供商所提供的云计算平台，所述云计算平台能够提供IaaS、PaaS、以及SaaS等服务。其中，所述云计算平台包括公共云、私有云、以及混合云等，例如，美团云计算服务平台、阿里云计算服务平台、百度云计算平台、以及腾讯云计算平台等。

在一些实施例中，所述服务器可以由分布的或集中的服务器集群构成。例如，所述服务器集群由至少一台实体服务器构成。每个实体服务器中配置多个虚拟服务器，每个虚拟服务器运行所述系统中的至少一功能模块，各虚拟服务器之间通过网络通信。

请参阅图6，显示为本申请服务器在一实施例中的模块组成框图。如图所示，所述服务器6包括至少一存储设备601和至少一处理设备602。

其中，所述存储设备用于存储至少一个程序；在实施例中，所述存储设备包括存储服务器或者存储器，所述存储器可包括高速随机存取存储器，并且还可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。在某些实施例中，所述存储设备还可以包括远离一个或多个处理器的存储器，例如经由RF电路或外部端口以及通信网络(未示出)访问的网络附加存储器，其中所述通信网络可以是因特网、一个或多个内部网、局域网、广域网、存储局域网等，或其适当组合。存储器控制器可控制设备的诸如CPU和外设接口之类的其他组件对存储器的访问。

所述处理设备与所述存储设备相连，用于运行所述至少一个程序时以执行并实现上述图4所示实施例中的用于房间清洁任务的视频处理方法所描述的至少一种实施例。所述处理设备例如为包括处理器的服务器，比如应用服务器等，所述处理器可操作地与存储器和/或非易失性存储设备耦接。更具体地，处理设备可执行在存储器和/或非易失性存储设备中存储的指令以在计算设备中执行操作，诸如生成图像数据和/或将图像数据传输到电子显示器。如此，处理设备可包括一个或多个通用微处理器、一或多个专用处理器、一个或多个现场可编程逻辑阵列、或它们的任何组合。

本申请提供的服务器，通过对接收到的关于清洁员清洁房间的视频图像进行分析，根据识别到的清洁要素生成相关联的辅助清洁信息并进行存储，能够在日后进行审核，以评价清洁员的工作。同时，服务器还能够将生成的辅助清洁信息及时地发送至终端设备，由所述终端设备在清洁员尚在清洁任务的执行期间进行输出提示，能够有效地监督清洁员对房间进行清洁，并及时地提示清洁员的清洁操作是否符合规范，从而提高了清洁效率，防止由于清洁员遗忘或疏忽而导致的清洁工作不彻底。

本申请还提供一种用于房间清洁操作的管理系统，酒店可以通过所述管理系统对清洁员对各房间的清洁工作进行监督。请参阅图7，显示为本申请用于房间清洁操作的管理系统在一实施例中的模块组成框图。如图所示，所述管理系统7包括至少一个终端设备701和服务器702。

在一些实施例中，所述终端设备例如为装载有APP应用程序或具备网页/网站访问性能的电子设备，所述电子设备包括存储器、存储器控制器、一个或多个处理单元(CPU)、外设接口、RF电路、音频电路、扬声器、麦克风、输入/输出(I/O)子系统、显示屏、其他输出或控制设备，以及外部端口等组件，这些组件通过一条或多条通信总线或信号线进行通信。所述电子设备还可以是由带有多个虚拟机的主机和对应每个虚拟机的人机交互装置(如触控显示屏、键盘和鼠标)所构成的电子设备。

在一些实施例中，所述终端设备包括但不限于如记录仪、手机、平板电脑、智能眼镜、运动相机(例如Go Pro、Insta 360等)等电子设备。

其中，所述终端设备通过控制摄像装置进行摄像/录制。在一些实施例中，所述摄像装置可以独立于所述终端设备。例如，所述摄像装置为可拆卸地设置在清洁员身上的运动相机，由清洁员通过一手机(对应终端设备)上装载的用于控制所述运动相机的APP程序进行控制或执行触发操作。在一些实施例中，所述终端设备与所述摄像装置集成于一体。例如，所述终端设备为具备摄像/录制功能的手机，通过控制所述手机中的摄像头进行摄像/录制。

在一些实施例中，所述终端设备为可携带设备/可穿戴设备。例如，所述终端设备为清洁员佩戴的运动相机。又如，所述终端设备为清洁员佩戴的智能眼镜。又如，所述终端设备为可拆卸地设置在一坎肩上，由清洁员穿戴该坎肩进行携带和摄像/录制。

在一些实施例中，所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上。在一些实施例中，所述服务器可以为基于云架构的服务器，所述服务器指的是云计算提供商所提供的云计算平台，所述云计算平台能够提供IaaS、PaaS、以及SaaS等服务。其中，所述云计算平台包括公共云、私有云、以及混合云等，例如，美团云计算服务平台、阿里云计算服务平台、百度云计算平台、以及腾讯云计算平台等。

在一些实施例中，所述服务器可以由分布的或集中的服务器集群构成。例如，所述服务器集群由至少一台实体服务器构成。每个实体服务器中配置多个虚拟服务器，每个虚拟服务器运行所述系统中的至少一功能模块，各虚拟服务器之间通过网络通信。

在一些实施例中，所述终端设备与所述服务器网络连接，所述网络可以是因特网、移动网络、局域网、广域网、存储局域网、或者一个或多个内部网等，或其适当组合。

示例性地，各清洁员各自携带一终端设备，并使所述终端设备在清洁过程中进行摄像/录制。在清洁员的清洁过程中，所述终端设备将视频图像上传至服务器，服务器将所述视频图像进行存储。例如，所述服务器将所述视频图像与所述房间的房间信息、清洁员的信息(例如身份信息)、日期信息等中的至少一种信息关联并存储至数据库中。由此，管理人员能够通过所述管理系统对各清洁员的清洁工作进行实时监控或事后核查等，从而监督清洁员的清洁操作是否符合规范。

示例性地，所述终端设备通过调用服务器上存储的至少一个清洁操作模型，对所采集的视频图像进行分析，获得辅助清洁信息并输出。所述终端设备还可以将所述辅助清洁信息发送至服务器，服务器进行存储以供核查。

示例性地，所述终端设备将所述视频图像发送至服务器，所述服务器利用至少一个清洁操作模型，对所采集的视频图像进行分析，获得辅助清洁信息并发送给所述终端设备，以供所述终端设备及时输出，以及时地对清洁员的清洁工作进行提示。

本申请提供的用于房间清洁操作的管理系统，由至少一个终端设备与服务器通信连接，构成对清洁员的清洁工作的监督和管理架构，能够有效地督促清洁员按照操作规范和卫生标准对房间进行清洁，避免了人工监督方式中存在的主观因素，提高了清洁员的清洁效率。

本申请还提供一种计算机可读写存储介质，存储有计算机程序，所述计算机程序被执行时实现上述针对用于房间清洁任务的视频处理方法所描述的至少一种实施例，比如图1或图8所描述的实施例。

本申请还提供一种计算机可读写存储介质，存储有计算机程序，所述计算机程序被执行时实现上述针对用于房间清洁任务的视频处理方法所描述的至少一种实施例，比如图4所描述的实施例。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。

于本申请提供的实施例中，所述计算机可读写存储介质可以包括只读存储器、随机存取存储器、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁存储设备、闪存、U盘、移动硬盘、或者能够用于存储具有指令或数据结构形式的期望的程序代码并能够由计算机进行存取的任何其它介质。另外，任何连接都可以适当地称为计算机可读介质。例如，如果指令是使用同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或者诸如红外线、无线电和微波之类的无线技术，从网站、服务器或其它远程源发送的，则所述同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线电和微波之类的无线技术包括在所述介质的定义中。然而，应当理解的是，计算机可读写存储介质和数据存储介质不包括连接、载波、信号或者其它暂时性介质，而是旨在针对于非暂时性、有形的存储介质。如申请中所使用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘则用激光来光学地复制数据。

在一个或多个示例性方面，本申请所述方法的计算机程序所描述的功能可以用硬件、软件、固件或其任意组合的方式来实现。当用软件实现时，可以将这些功能作为一个或多个指令或代码存储或传送到计算机可读介质上。本申请所公开的方法或算法的步骤可以用处理器可执行软件模块来体现，其中处理器可执行软件模块可以位于有形、非临时性计算机可读写存储介质上。有形、非临时性计算机可读写存储介质可以是计算机能够存取的任何可用介质。

本申请上述的附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。基于此，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以通过执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以通过专用硬件与计算机指令的组合来实现。

上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (39)

1.一种用于房间清洁任务的视频处理方法，其特征在于，包括以下步骤：

获取关于一房间的清洁任务的视频图像；所述视频图像中包含至少一类清洁要素；

在所述清洁任务的执行期间，输出与所述清洁要素相关联的辅助清洁信息；所述辅助清洁信息是基于所述清洁任务所对应的清洁操作规范对所述至少一类清洁要素进行分析得到的。

2.根据权利要求1所述的用于房间清洁任务的视频处理方法，其特征在于，所述清洁要素包括清洁对象、清洁工具、以及清洁姿态中的至少一类。

3.根据权利要求1所述的用于房间清洁任务的视频处理方法，其特征在于，所述辅助清洁信息包括规范提示信息、异常提示信息、以及结束提示信息中的至少一种。

4.根据权利要求2所述的用于房间清洁任务的视频处理方法，其特征在于，所述输出与所述清洁要素相关联的辅助清洁信息的步骤包括：

当检测到所述视频图像中包含清洁对象时，输出所述清洁对象对应的规范提示信息。

5.根据权利要求2所述的用于房间清洁任务的视频处理方法，其特征在于，所述输出与所述清洁要素相关联的辅助清洁信息的步骤包括：

当检测到所述视频图像中包含清洁工具和清洁姿态中的至少一类、以及清洁对象时，输出对应的规范提示信息和/或异常提示信息。

6.根据权利要求1所述的用于房间清洁任务的视频处理方法，其特征在于，还包括如下步骤：

将所述视频图像上传至服务器，以供所述服务器进行存储；和/或，将所述视频图像上传至服务器，以供所述服务器对所述至少一类清洁要素进行分析并反馈所述辅助清洁信息。

7.根据权利要求1所述的用于房间清洁任务的视频处理方法，其特征在于，还包括利用所述清洁操作规范所对应的至少一个清洁操作模型对所述至少一类清洁要素进行分析的步骤。

8.根据权利要求7所述的用于房间清洁任务的视频处理方法，其特征在于，所述清洁操作模型包括第一操作模型和第二操作模型；所述利用所述清洁操作规范所对应的至少一个清洁操作模型对所述至少一类清洁要素进行分析的步骤包括：

利用第一操作模型识别所述视频图像中的至少一类清洁要素；

利用第二操作模型分析所述至少一类清洁要素所对应的清洁任务是否符合所述清洁操作规范。

9.根据权利要求8所述的用于房间清洁任务的视频处理方法，其特征在于，所述第二操作模型用于检测清洁任务的执行时长、和/或检测至少两类清洁要素之间的执行关系。

10.根据权利要求7所述的用于房间清洁任务的视频处理方法，其特征在于，所述执行利用所述清洁操作规范所对应的至少一个清洁操作模型对所述至少一类清洁要素进行分析的步骤是通过调用配置在服务器上的清洁操作模型实现的。

11.根据权利要求1所述的用于房间清洁任务的视频处理方法，其特征在于，所述输出与所述清洁要素相关联的辅助清洁信息的方式包括：以音频的方式予以输出、和/或以可视化的方式予以输出。

12.根据权利要求1所述的用于房间清洁任务的视频处理方法，其特征在于，还包括如下步骤：

利用所检测到的清洁要素中的清洁对象查询所有清洁任务的完成度；

输出与所述完成度相关的辅助清洁信息。

13.根据权利要求12所述的用于房间清洁任务的视频处理方法，其特征在于，所述输出与所述完成度相关的辅助清洁信息的步骤包括：

在检测到尚有清洁任务未完成的情况下，继续获取视频图像，以及输出辅助清洁信息以输出继续清洁操作的提示；或者，

在检测到清洁任务已全部完成的情况下，输出辅助清洁信息以输出结束清洁操作的提示。

14.一种用于房间清洁任务的视频处理系统，其特征在于，包括：

获取模块，用于获取关于一房间的清洁任务的视频图像；所述视频图像中包含至少一类清洁要素；

输出模块，用于在所述清洁任务的执行期间，输出与所述清洁要素相关联的辅助清洁信息；所述辅助清洁信息是基于所述清洁任务所对应的清洁操作规范对所述至少一类清洁要素进行分析得到的。

15.根据权利要求14所述的用于房间清洁任务的视频处理系统，其特征在于，所述输出模块还用于当检测到所述视频图像中包含清洁对象时，输出所述清洁对象对应的规范提示信息；和/或，所述输出模块还用于当检测到所述视频图像中包含清洁工具和清洁姿态中的至少一类、以及清洁对象时，输出对应的规范提示信息和/或异常提示信息。

16.根据权利要求14所述的用于房间清洁任务的视频处理系统，其特征在于，还包括上传模块，用于将所述视频图像上传至服务器，以供所述服务器进行存储；和/或，所述上传模块还用于将所述视频图像上传至服务器，以供所述服务器对所述至少一类清洁要素进行分析并反馈所述辅助清洁信息。

17.根据权利要求14所述的用于房间清洁任务的视频处理系统，其特征在于，所述输出模块还用于以音频的方式将所述辅助清洁信息予以输出、和/或以可视化的方式将所述辅助清洁信息予以输出。

18.根据权利要求14所述的用于房间清洁任务的视频处理系统，其特征在于，还包括查询模块，用于利用所检测到的清洁要素中的清洁对象查询所述清洁任务的完成度；对应地，所述输出模块还用于输出与所述完成度相关的辅助清洁信息。

19.一种终端设备，其特征在于，包括：

摄像装置，用于采集视频图像；

至少一个存储器，用于存储至少一个程序；

至少一个处理器，与所述至少一个存储器连接，用于运行所述至少一个程序时执行并实现如权利要求1至13任一所述的用于房间清洁任务的视频处理方法。

20.根据权利要求19所述的终端设备，其特征在于，所述终端设备为可穿戴式设备和/或可携带式设备。

21.一种用于房间清洁任务的视频处理方法，其特征在于，包括以下步骤：

接收关于一房间的清洁任务的视频图像；所述视频图像中包含至少一类清洁要素；

基于所述清洁任务所对应的清洁操作规范对所述视频图像中至少一类清洁要素进行分析，生成与所述清洁要素相关联的辅助清洁信息以供核查。

22.根据权利要求21所述的用于房间清洁任务的视频处理方法，其特征在于，将所述辅助清洁信息与所述房间的房间信息关联存储至数据库中。

23.根据权利要求21所述的用于房间清洁任务的视频处理方法，其特征在于，所述清洁要素包括清洁对象、清洁工具、以及清洁姿态中的至少一类。

24.根据权利要求21所述的用于房间清洁任务的视频处理方法，其特征在于，所述辅助清洁信息包括规范提示信息、异常提示信息、以及结束提示信息中的至少一种。

25.根据权利要求21所述的用于房间清洁任务的视频处理方法，其特征在于，还包括如下步骤：在所述清洁任务的执行期间，将所述辅助清洁信息发送至终端设备，以供所述终端设备予以输出。

26.根据权利要求21所述的用于房间清洁任务的视频处理方法，其特征在于，所述基于所述清洁任务所对应的清洁操作规范对所述视频图像中至少一类清洁要素进行分析的步骤包括：利用所述清洁操作规范所对应的至少一个清洁操作模型对所述至少一类清洁要素进行分析。

27.根据权利要求26所述的用于房间清洁任务的视频处理方法，其特征在于，所述清洁操作模型包括第一操作模型和第二操作模型；所述利用所述清洁操作规范所对应的至少一个清洁操作模型对所述至少一类清洁要素进行分析的步骤包括：

利用第一操作模型识别所述视频图像中的至少一类清洁要素；

利用第二操作模型分析所述至少一类清洁要素所对应的清洁任务是否符合所述清洁操作规范。

28.根据权利要求27所述的用于房间清洁任务的视频处理方法，其特征在于，所述第二操作模型用于检测清洁任务的执行时长、和/或检测至少两类清洁要素之间的执行关系。

29.根据权利要求21所述的用于房间清洁任务的视频处理方法，其特征在于，还包括如下步骤：

利用所检测到的清洁要素中的清洁对象查询所有清洁任务的完成度，生成与所述完成度相关的辅助清洁信息；

将所述与完成度相关的辅助清洁信息与所述房间的房间信息关联存储至数据库中以供核查。

30.根据权利要求29所述的用于房间清洁任务的视频处理方法，其特征在于，还包括如下步骤：在所述清洁任务执行期间，将所述与完成度相关的辅助清洁信息发送至终端设备，以供所述终端设备予以输出。

31.根据权利要求30所述的用于房间清洁任务的视频处理方法，其特征在于，所述将所述与完成度相关的辅助清洁信息发送至所述终端设备，以供所述终端设备予以输出的步骤包括：

在检测到尚有清洁任务未完成的情况下，继续接收视频图像，以及将所述辅助清洁信息发送至终端设备以供输出继续清洁操作的提示；或者，

在检测到清洁任务已全部完成的情况下，将所述辅助清洁信息发送至终端设备以供输出结束清洁操作的提示。

32.一种用于房间清洁任务的视频处理系统，其特征在于，包括：

接收模块，用于接收关于一房间的清洁任务的视频图像；所述视频图像中包含至少一类清洁要素；

生成模块，用于基于所述清洁任务所对应的清洁操作规范对所述视频图像中至少一类清洁要素进行分析，生成与所述清洁要素相关联的辅助清洁信息以供核查。

33.根据权利要求32所述的用于房间清洁任务的视频处理系统，其特征在于，还包括存储模块，用于将所述辅助清洁信息与所述房间的房间信息关联存储至数据库中。

34.根据权利要求32所述的用于房间清洁任务的视频处理系统，其特征在于，还包括第一发送模块，用于在所述清洁任务的执行期间，将所述辅助清洁信息发送至终端设备，以供所述终端设备予以输出。

35.根据权利要求32所述的用于房间清洁任务的视频处理系统，其特征在于，还包括查询模块，用于利用所检测到的清洁要素中的清洁对象查询所述清洁任务的完成度，生成与所述完成度相关的辅助清洁信息。

36.根据权利要求35所述的用于房间清洁任务的视频处理系统，其特征在于，还包括第二发送模块，用于在接收所述清洁任务的视频图像期间，将所述与完成度相关的辅助清洁信息发送至终端设备，以供所述终端设备予以输出。

37.一种服务器，其特征在于，包括：

至少一存储设备，用于存储至少一个程序；

至少一处理设备，与所述存储设备相连，用于运行所述至少一个程序时执行并实现权利要求21至31任一所述的用于房间清洁任务的视频处理方法。

38.一种用于房间清洁操作的管理系统，其特征在于，包括：至少一个如权利要求19至20所述的终端设备；以及，如权利要求37所述的服务器。

39.一种计算机可读存储介质，其特征在于，存储有至少一个程序，所述程序被处理器执行时执行并实现如权利要求1至13任一所述的用于房间清洁任务的视频处理方法，或如权利要求21至31任一所述的用于房间清洁任务的视频处理方法。

Images