CN110830772A - 一种厨房视频分析资源调度方法、装置及系统 - Google Patents

Abstract

一种厨房视频分析资源调度方法、装置及系统，所述方法包括，所述前置硬件获取所述摄像头的图像，根据所述摄像头监控的异常行为对所述图像进行初步分析；如果所述初步分析检测到所述图像可能包括所述异常行为，截取所述图像中包含所述异常行为的图像区域，发送所述图像区域和所述异常行为信息到所述视频分析云服务器；所述云服务器调用所述异常行为的分析算法对收到的图像进行精确分析，并返回精确分析结果到所述前置硬件；如果所述精确分析结果确认所述异常行为发生，发送相关信息到所述监管平台。采用本发明的技术后，前置硬件采用视频流初筛与云端分析相结合，降低硬件成本，减少宽带流量，减少云端的计算，适合厨房食品安全监管。

Description

一种厨房视频分析资源调度方法、装置及系统

技术领域

本发明涉及一种厨房视频分析资源调度方法、装置及系统。

背景技术

现有的针对厨房视频分析的装置大致有两种：

1.将视频分析功能置于前端硬件

每个厨房都需配备一套这样的前端硬件装置，且需装有高配置的GPU（GraphicsProcessing Unit，图形处理器）、CPU（Central Processing Unit，中央处理器）等用来做深度学习分析，成倍的提升了硬件成本，而且大部分时间并没有异常行为告警发生，导致使用效率不高。此外，视频分析领域不同企业技术特长不同，没有一家企业能够做全领域的视频分析处理，因此，前端硬件很少能独立完成所需的视频分析服务。

2.将视频分析功能置于云端

云端需要通过公用网络接收连续的视频流并解码，使得对网络带宽的速度和流量以及云端计算能力都要求较高，从而提升网络资源成本和计算成本。而且大部分视频流数据中是没有告警信息的，从而造成了大量的网络传输和云端计算的浪费。

因此，如何将前端硬件与云服务器结合起来高效的实现所需要的视频分析就是当前所需解决的问题。

发明内容

本发明的目的是提供一种更低成本且有效的针对厨房视频分析资源调度的方法、装置及系统，且能综合不同企业的视频分析技术资源，高效快速的实现所需要的视频分析业务。

为了实现本发明，本发明提供一种厨房视频分析资源调度方法，所述厨房设置有若干路摄像头及前置硬件，所述前置硬件通过网络通信与视频分析云服务器和监管平台进行通信，所述方法包括，所述前置硬件获取所述摄像头的图像，根据所述摄像头监控的异常行为对所述图像进行初步分析；如果所述初步分析检测到所述图像可能包括所述异常行为，截取所述图像中包含所述异常行为的图像区域，发送所述图像区域和所述异常行为信息到所述视频分析云服务器；所述云服务器调用所述异常行为的分析算法对收到的图像进行精确分析，并返回精确分析结果到所述前置硬件；如果所述精确分析结果确认所述异常行为发生，发送相关信息到所述监管平台。

更进一步，所述方法还包括，所述异常行为为非后厨人员进入，所述初步分析为在设定的敏感时间内和/或设定的敏感区域内进行人脸检测，如果所述初步分析检测到人脸出现，截取所述人脸区域，发送所述人脸区域图像和所述异常行为类别至所述视频分析云服务器；所述视频分析云服务器调用陌生人识别算法对所述人脸区域图像进行精确分析。

更进一步，所述方法还包括，所述异常行为为着装异常或抽烟玩手机异常，所述初步分析为在设定的敏感时间内和/或设定的敏感区域内进行人体姿态检测，如果所述初步分析检测到人体姿态，截取所述人体姿态矩形区域，发送所述人体姿态矩形区域图像和所述异常行为类别至所述视频分析云服务器；所述视频分析云服务器调用人体服装特征模型、抽烟姿态模型和玩手机姿态模型，对所述人体姿态矩形区域图像进行精确分析。

更进一步，所述方法还包括，所述异常行为为动物活体进入，所述初步分析为在设定的敏感时间内进行目标移动检测，如果所述初步分析检测到移动目标，截取所述移动目标出现的矩形区域，发送所述移动目标出现的矩形区域图像和所述异常行为类别至所述视频分析云服务器；所述视频分析云服务器调用特定动物数据模型，对所述移动目标出现的矩形区域图像进行精确分析。

更进一步，所述方法还包括，所述异常行为为卫生脏乱，所述初步分析为在设定的敏感时间内截取设定的敏感区域的图像，发送所述截取的敏感区域图像和所述异常行为类别至所述视频分析云服务器；所述视频分析云服务器调用卫生脏乱数据模型，对所述截取的敏感区域图像进行精确分析。

更进一步，如果所述精确分析结果确认所述异常行为发生，所述视频分析云服务器保存所接收到的图像信息用作模型训练或者进一步的分析。

更进一步，如果所述初步分析的频率根据所述监控的异常行为的不同而分别设置。

更进一步，如果所述精确分析结果确认所述异常行为发生，所述前置硬件或者所述视频分析云服务器发送相关信息到所述监管平台。

本发明还提供一种用于所述的厨房视频分析资源调度方法的厨房视频分析资源调度装置，包括CPU、内存条、主板以及网络通信单元，所述装置还包括图像获取单元以及图像初步分析单元，所述图像获取单元周期性地获取所述厨房中监控特定异常行为的摄像头拍摄的图像，并对所述图像进行初步分析；如果所述初步分析检测到所述图像可能包括所述特定异常行为，截取所述图像中包含所述特定异常行为的图像区域，发送所述图像区域和所述异常行为信息到视频分析云服务器；所述初步分析的异常行为包括非后厨人员进入、着装异常或抽烟玩手机异常、动物活体进入以及卫生脏乱；所述网络通信单元与所述视频分析云服务器及所述监管平台进行网络通信。

本发明还提供一种执行所述的厨房视频分析资源调度方法的厨房视频分析资源调度系统，所述监管平台包括网页端软件、手机端软件和餐厅大屏客户端软件，用来显示异常数据。

采用本发明的技术后，对每个通道的视频所分析的异常行为类型做单独配置，如敏感区域、敏感时间等，每个前置硬件只需处理与其通信连接的若干摄像机视频数据，运算量不会太大；前置硬件采用视频流初筛与云端分析相结合，降低硬件成本，减少宽带流量，减少云端的计算，适合厨房食品安全监管。

附图说明

图1为本发明的厨房视频分析资源调度系统的系统图；

图2为本发明的厨房视频分析资源调度方法的流程图。

具体实施方式

下面结合附图来详细说明本发明的实施方式。

图1为本发明的厨房视频分析资源调度系统的系统图，从图中看出，位于厨房1和厨房2中的各设置一个四通道摄像头，101、102、103和104为厨房1中的四通道摄像机的四个通道，前置硬件201置于厨房中的，每个厨房都需要布置一套多通道摄像机和一台前置硬件，301是云服务端，监管平台4包括网页端401、手机端402和餐厅大屏客户端403，前置硬件201分别与云服务端301和监管平台4通过网络通信相联接。厨房2的设置与厨房1基本相同。

厨房视频分析需要捕获的异常行为告警有以下几种：

A.着装异常，所有后厨工作人员需要统一的服装，包括帽子和口罩；

B.非后厨人员进入；

C.抽烟、玩手机等异常行为；

D.老鼠、猫和狗等动物进入；

E.卫生脏乱。

通常摄像机通道的拍摄范围是很大的，但并不是整个范围内都会发生异常行为告警，可以为每个摄像机通道设置不同的敏感区域和敏感时间。敏感区域即异常行为告警可能发生的区域，例如对于异常行为B，当有人进入厨房时人脸出现的位置仅可能是门框附近区域。敏感时间即异常告警行为可能发生的时间范围，如异常行为A、B、C属于人体特征行为，通常只会发生在厨房工作时间内，比如早6点至晚10点，非工作时间则不需要处理。设置敏感区域会减小前置硬件201在整个图像内搜索的范围，而设置敏感时间会成倍的降低前置硬件201工作的时间，从而降低从前置硬件201到云服务301的网络带宽以及各自计算的消耗。

摄像机通道101的拍摄范围可以为后厨大门，用于检测异常行为B，即非后厨人员进入，设置敏感区域为摄像机画面中的整个大门位置，即有人进入后厨时人脸可能出现的矩形区域，设置敏感时间为当前厨房的上班时间。摄像机通道102的拍摄范围可以为整个厨房，用来检测异常行为A和C，都属于人体行为特征检测，最后传给云服务301的图像同时做人体服装检测和人体姿态检测，从而判定工作人员是否为统一的厨师着装，以及是否有抽烟、玩手机等行为。设置摄像机通道102的敏感区域为厨房工作人员所有可能出现的区域，即排除掉墙面、工作台等工作人员不能到达的区域，同样设置敏感时间为上班时间。摄像机通道103的拍摄范围为整个地面区域，用来检测异常行为D，即是否有老鼠、猫、狗等动物进入，属于特定动物识别范畴。摄像机通道103不用设置敏感区域，因为老鼠可能出现在任何位置，其敏感时间可以设置为非工作时间，因为通常有人的情况下，老鼠等动物出现的可能性很小，也可以根据实际情况修改敏感时间。摄像机通道104的拍摄范围可以为灶台或者垃圾箱，用来检测异常行为E，即卫生脏乱情况，属于背景建模及分析范畴，设置其敏感区域为灶台或者垃圾箱等卫生容易出现脏乱的地方，敏感时间也为工作时间内。

前置硬件201只具有相对低价的普通配置，包括CPU（Central Processing Unit，中央处理器）、内存条、主板、以及网络通信单元等，主要功能是定时获取各个摄像机通道的视频流并解码获取图像，然后进行初筛。前置硬件201通过厨房内的局域网连接摄像机的各个通道，同一局域网内数据传输速度较快，不会形成带宽瓶颈，因此，即使在摄像机和前置硬件201之间进行大量视频数据的传输也不会对视频数据的分析效率产生明显的影响。相对的，前置硬件201和云服务端301之间的网络为公用网络，其带宽资源比较珍贵，应尽量避免传输大量的数据。市面上的主流摄像机都支持RTSP（Real Time Streaming Protocol，实时流传输协议）、RTMP（Real Time Messaging Protocol，实时消息传输协议）等直播流协议，能提供高清的视频流。

前置硬件201获取各个摄像机通道的高清直播流并解码获取图像数据进行初筛分析，然后把初筛后的图像等信息通过网络传输给云服务301，云服务301调用对应的算法进一步处理并得到最终处理结果，即是否出现了上述A、B、C、D或者E类异常告警信息，最后把告警信息推送给监管平台。关于图像网络传输，如果直接基于像素访问进行传输，传输的大小是图像的分辨率以及它的通道数，一般普通摄像机拍摄到图像大小的分辨率是640*480，对于3通道彩色图像，一次传输的数据量大小是640*480*3=921600个字节，这个数据量对网络资源的消耗是非常大的，所以在网络传输前需要对图像进行二进制编码，云端收到二进制数据后再进行解码。经测试，图像二进制编码后会节省几十倍甚至几百倍网络传输流量。

对于摄像机通道101：前置硬件201可以设置每隔3-5秒检测一次其视频流解码后的图像，当在设置的敏感区域内和敏感时间内检测到有人脸出现时便可进行后续工作。如果把这张带人脸信息的图像直接传给云服务301的话，云服务收到整张图像后先要检索出人脸，才能跟自己保存的白名单人脸进行对比，对于这样的图像除了人脸区域外都是冗余的信息，既浪费了网络流量也消耗了云端计算资源，所以需要对该图像做裁剪。裁剪后只保留类似一寸照片样式的人脸图像，这样需要传输和计算的图像就缩小了几十倍。把这张裁剪后的人脸图像先进行二进制编码，同时标记要检测的异常类型为B即非后厨人员进入检测，连同当前厨房的前置硬件201的信息打包成一个任务通过网络传给云服务301。云服务收到该任务后，首先从中获取到待检测异常类型为B，然后根据任务中前置硬件201的信息找到自己存放的对应厨房的人脸白名单，然后把任务中的二进制数据解码为人脸图像，跟白名单一一比对，即可知道是否是陌生人，把处理的结果返回给对应的前置硬件201，如果确为陌生人，云服务端把这张图片作为新样本存放到对应厨房的人脸黑名单，使得后面的分析可以得出该陌生人的非法进入次数，同时，前置硬件把此告警信息推送给监管平台，监管人员和其他相关人员就可以通过各种监管终端查看到这个告警信息。

对于摄像机通道102：前置硬件201可以设置每隔几十秒检测一次其视频流解码后的图像，当在设置的敏感区域和敏感时间内检测到人体姿态时，记录人体姿态出现的矩形区域，然后把该图像进行二进制编码，标记待检测类型为A和C即着装异常检测和抽烟玩手机行为检测，连同人体矩形区域，以及前置硬件201的信息一起打包成任务通过网络发送给云服务301。云服务收到该任务后，首先从中获取到待检测异常类型为A和C，然后根据任务中前置硬件201的信息找到自己存放的对应厨房的人体服装特征模型，人体服装特征模型是提前用深度学习算法根据对应厨房的工作服装特征提前训练好的数据模型，每个厨房根据不同的厨师服装需要训练自己的数据模型，然后把任务中的二进制数据解码为图像，矩形区域作为参数，用该模型预测，即可知道是否为异常类型A着装异常。同时对该图像使用抽烟姿态模型和玩手机姿态模型，抽烟姿态模型和玩手机姿态模型也是提前根据大量相关图片训练好的数据模型，且每个厨房都可以使用，即可得出是否为异常类型C。最后把处理的结果返回给对应的前置硬件201，如果确为异常行为，则由前置硬件把此告警信息推送给监管平台。同时云服务端把这张告警图片作为新样本加入到自己的训练模型中，使得后面的预测更加准确。任务中人体出现的矩形区域是作为模型预测的参数使用，使得检索更高效，并且把图像加入到训练模型时也需要目标区域来区分样本的前景数据和背景数据。

对于摄像机通道103：前置硬件201也可以设置每隔几十秒检测一次其视频流解码后的图像，当在其设定的敏感时间内检测到有目标移动时，记录移动目标出现的矩形区域。我们可以提前定义要检测的移动目标矩形大小范围，因为待检测的老鼠、猫、狗等动物在摄像机中出现的尺寸是有一定范围的，这样可以过滤掉明显不合适的目标。然后把该图像进行二进制编码，标记待检测类型为D即动物检测，连同目标出现的矩形区域，以及前置硬件201的信息一起打包成任务通过网络发送给云服务301。云服务收到该任务后，首先从中获取到待检测异常类型为D，然后根据任务中前置硬件201的信息找到自己存放的对应厨房的特定动物数据模型，特定动物数据模型也是根据大量的老鼠、猫、狗等动物的图片提前训练好的数据模型，且对所有厨房都适用，然后把任务中的二进制数据解码为图像，目标矩形区域作为参数，用该模型识别，即可知道是否是老鼠、猫、狗等动物，最后把处理的结果返回给对应的前置硬件201，如果的确检测到对应的动物，则由前置硬件把此告警信息推送给监管平台。同时云服务端把这张告警图片作为新样本加入到自己的训练模型中，使得后面的预测更加准确。任务中移动目标出现的矩形区域是作为模型预测的参数使用，使得检索更高效，并且把图像加入到动物训练模型时也需要目标区域来区分样本图像的前景数据和背景数据。

对于摄像机通道104，前置硬件201也可以设置每隔半小时检测一次其视频流解码后的图像，同样，检测也只是在其设定的敏感时间和敏感区域内进行。同样需要对其图像进行裁剪，只保留敏感区域即灶台或者垃圾箱区域，然后把图像进行二进制编码，标记待检测类型为E即卫生脏乱检测，连同前置硬件201的信息一起打包成任务通过网络发送给云服务301。云服务收到该任务后，首先从中获取到待检测异常类型为E，然后根据任务中前置硬件201的信息找到自己存放的对应厨房的卫生脏乱数据模型，卫生脏乱数据模型也是根据大量的厨房自定义的相关图片提前训练好的数据模型，每个厨房都需要训练一套自己的卫生脏乱数据模型，然后把任务中的二进制数据解码为图像，用该模型对比识别，即可知道当前图像显示的卫生情况，最后把处理的结果返回给对应的前置硬件201，如果检测到卫生脏乱，则由前置硬件把此告警信息推送给监管平台。同时云服务端把这张告警图片作为新样本加入到自己的训练模型中，使得后面的预测更加准确。

云服务端301载有高配的多核CPU（Central Processing Unit，中央处理器）以及多个GPU（Graphics Processing Unit，图形处理器）等硬件，并运行着人脸识别、人体姿态检测、特定动物识别、卫生脏乱等多种深度学习算法，同时有异常类型B所需要的厨房工作人员人脸白名单和其他异常类型的训练数据模型。云服务端根据需求可以直接处理视频数据或者图片数据，如果直接处理视频流数据需要在云端布置一套视频解码库，如果多个摄像机提供了不同格式的视频流数据，还要做兼容。同时视频解码和网络传输都非常消耗资源，对于我们要检测的异常类型，完全可以用图像处理。如果后期某个摄像机有目标跟踪等需求，可以考虑直接使用该摄像机的视频流来计算。云服务端301将前置硬件201传来的一个个任务放置到分析队列中，然后取出队列中的任务，根据任务中的图像和异常类型等参数使用对应深度学习算法和数据模型进一步分析，得到更准确的异常行为告警，然后把结果返回给前置硬件201，再由前置硬件推送给监管平台，用于显示在监管大屏或监管人手机等平台。这样设计使得各个模块功能独立，云服务端301仅和前置硬件201交互，接收前置硬件上传的参数作为输入，经过各种图像算法处理后把结果返回给前置硬件，不涉及到具体业务逻辑。而前置硬件则负责处理视频流和业务逻辑，降低耦合度。云服务端301同时把相关异常类型的图像作为新样本加入到对应的深度学习模型中，这样云平台就可以通过自己的学习能力使得后面的告警越来越准确。由于前置硬件分担了大部分的计算任务并过滤了大量的无效视频流，有效的降低了云服务对资源的消耗。

通常深度学习算法是通过对图像使用模型预测的方式来计算异常告警发生的概率值，比如人脸图像跟白名单中某个人脸对比相似度为90%，检测到厨师衣服有80%不符合，人体姿态有90%的可能性在玩手机，某张动物图像有80%的可能性是一只猫，卫生检测图像有80%显示为卫生脏乱等。可以在云服务端针对不同的异常行为告警设置不同的百分比阈值来保证检测的准确度，监控平台端也可以根据实际情况或者对某个厨房的要求设置不同的百分比阈值用来确定异常行为告警的检测。这样可以更灵活的使用深度学习算法的计算结果。

监管平台，包括网页端401、手机终端402和位于餐厅的大屏客户端403，用来显示从各个厨房的前置硬件201传过来的异常数据，监管人员和其他相关人员可以根据自己的需求通过监管平台的各个终端来查看每个厨房的异常行为告警情况。

图2为本发明的厨房视频分析资源调度方法的流程图。首先，前置硬件获取厨房摄像头视频流中的图像；然后，前置硬件初步检测该图像中是否存在设定的异常行为；如果有可能存在设定的异常行为，截取异常行为出现区域的图片及辅助信息发送到视频分析云服务器；视频分析云服务器根据收到的图片及辅助信息对异常行为进行进一步分析；视频分析云服务器将分析结果返回给前置硬件；如果返回结果确定该异常行为发生，前置硬件发送相关信息到监管平台。

需要指出的是，前面异常告警信息都是由前置硬件201发送给监管平台4，还可以由云服务器301来发送给监管平台4。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种厨房视频分析资源调度方法，所述厨房设置有若干路摄像头及前置硬件，所述前置硬件通过网络通信与视频分析云服务器和监管平台进行通信，其特征在于，所述方法包括，所述前置硬件获取所述摄像头的图像，根据所述摄像头监控的异常行为对所述图像进行初步分析；如果所述初步分析检测到所述图像可能包括所述异常行为，截取所述图像中包含所述异常行为的图像区域，发送所述图像区域和所述异常行为信息到所述视频分析云服务器；所述云服务器调用所述异常行为的分析算法对收到的图像进行精确分析，并返回精确分析结果到所述前置硬件；如果所述精确分析结果确认所述异常行为发生，发送相关信息到所述监管平台。

2.如权利要求1所述的厨房视频分析资源调度方法，其特征在于，所述方法还包括，所述异常行为为非后厨人员进入，所述初步分析为在设定的敏感时间内和/或设定的敏感区域内进行人脸检测，如果所述初步分析检测到人脸出现，截取所述人脸区域，发送所述人脸区域图像和所述异常行为类别至所述视频分析云服务器；所述视频分析云服务器调用陌生人识别算法对所述人脸区域图像进行精确分析。

3.如权利要求1所述的厨房视频分析资源调度方法，其特征在于，所述方法还包括，所述异常行为为着装异常或抽烟玩手机异常，所述初步分析为在设定的敏感时间内和/或设定的敏感区域内进行人体姿态检测，如果所述初步分析检测到人体姿态，截取所述人体姿态矩形区域，发送所述人体姿态矩形区域图像和所述异常行为类别至所述视频分析云服务器；所述视频分析云服务器调用人体服装特征模型、抽烟姿态模型和玩手机姿态模型，对所述人体姿态矩形区域图像进行精确分析。

4.如权利要求1所述的厨房视频分析资源调度方法，其特征在于，所述方法还包括，所述异常行为为动物活体进入，所述初步分析为在设定的敏感时间内进行目标移动检测，如果所述初步分析检测到移动目标，截取所述移动目标出现的矩形区域，发送所述移动目标出现的矩形区域图像和所述异常行为类别至所述视频分析云服务器；所述视频分析云服务器调用特定动物数据模型，对所述移动目标出现的矩形区域图像进行精确分析。

5.如权利要求1所述的厨房视频分析资源调度方法，其特征在于，所述方法还包括，所述异常行为为卫生脏乱，所述初步分析为在设定的敏感时间内截取设定的敏感区域的图像，发送所述截取的敏感区域图像和所述异常行为类别至所述视频分析云服务器；所述视频分析云服务器调用卫生脏乱数据模型，对所述截取的敏感区域图像进行精确分析。

6.如权利要求1至5中任意一项所述的厨房视频分析资源调度方法，其特征在于，如果所述精确分析结果确认所述异常行为发生，所述视频分析云服务器保存所接收到的图像信息用作模型训练或者进一步的分析。

7.如权利要求6所述的厨房视频分析资源调度方法，其特征在于，如果所述初步分析的频率根据所述监控的异常行为的不同而分别设置。

8.如权利要求1至5中任意一项所述的厨房视频分析资源调度方法，其特征在于，如果所述精确分析结果确认所述异常行为发生，所述前置硬件或者所述视频分析云服务器发送相关信息到所述监管平台。

9.一种用于权利要求1至8中任意一项所述的厨房视频分析资源调度方法的厨房视频分析资源调度装置，包括CPU、内存条、主板以及网络通信单元，其特征在于，所述装置还包括图像获取单元以及图像初步分析单元，所述图像获取单元周期性地获取所述厨房中监控特定异常行为的摄像头拍摄的图像，并对所述图像进行初步分析；如果所述初步分析检测到所述图像可能包括所述特定异常行为，截取所述图像中包含所述特定异常行为的图像区域，发送所述图像区域和所述异常行为信息到视频分析云服务器；所述初步分析的异常行为包括非后厨人员进入、着装异常或抽烟玩手机异常、动物活体进入以及卫生脏乱；所述网络通信单元与所述视频分析云服务器及所述监管平台进行网络通信。

10.一种执行权利要求1至8中任意一项所述的厨房视频分析资源调度方法的厨房视频分析资源调度系统，其特征在于，所述监管平台包括网页端软件、手机端软件和餐厅大屏客户端软件，用来显示异常数据。

Images