CN109815851A - 厨房卫生检测方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种基于人工智能的厨房卫生检测方法、装置、计算机设备和存储介质。所述方法包括：接收第一终端发送的视频数据，将视频数据进行预处理获取视频帧；获取目标关键帧，根据目标关键帧识别视频帧是否存在异物；若存在异物，则获取视频帧的前后帧；根据视频帧和前后帧确定异物特征；调用深度神经网络模型，将异物特征输入至深度神经网络模型得到检测结果。采用本方法能够降低资源消耗且提高效率。

Description

厨房卫生检测方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种厨房卫生检测方法、装置、计算机设备和存储介质。

背景技术

城市中各种环境卫生是影响市民健康和居住条件的一项即为重要的指标，尤其是餐饮方面的卫生对市民健康有着更为直接的影响。因此，人们对于饮食健康的关注度也越来越高，餐饮企业的后厨卫生也时刻被人们关注。

为了保证后厨卫生合格，餐饮业开展了“明厨亮灶”的计划。通过在后厨安装云摄像机，人们可以通过视频内容实时监管后厨工作和卫生。然而，通过摄像拍摄的视频还是需要人工进行审核，导致人力资源消耗大且效率低下。

发明内容

基于此，有必要针对上述技术问题，提供一种能够降低资源消耗且提高效率的厨房卫生检测方法、装置、计算机设备和存储介质。

一种厨房卫生检测方法，所述方法包括：

接收第一终端发送的视频数据，将所述视频数据进行预处理获取视频帧；

获取目标关键帧，根据所述目标关键帧识别所述视频帧是否存在异物；

若存在异物，则获取所述视频帧的前后帧；

根据所述视频帧和前后帧确定异物特征；

调用深度神经网络模型，将所述异物特征输入至所述深度神经网络模型得到检测结果。

在其中一个实施例中，所述根据所述目标关键帧识别所述视频帧是否存在异物包括：

将所述目标关键帧进行网格划分，获取所述目标关键帧的每一网格的网格图像；

将所述视频帧进行网格划分，获取所述视频帧的每一网格的网格图像；

比较所述视频帧的网格图像和所述目标关键帧的网格图像；

若所述视频帧的网格图像与所述目标关键帧的网格图像存在不一致的图像内容，则确定所述视频帧存在异物。

在其中一个实施例中，所述根据所述视频帧和前后帧确定异物特征包括：

将所述视频帧的网格图像进行编号，得到所述视频帧的每一网格图像的网格编号；

将前后帧进行网格划分，获取所述前后帧的每一网格的网格图像；

根据所述视频帧的网格编号将所述前后帧的网格图像进行编号，得到前后帧的每一网格图像的网格编号；

根据异物在所述视频帧的网格图像的网格编号，得到异物在所述视频帧的第一网格编号信息；

根据异物在所述前后帧的网格图像的网格编号，得到异物在所述前后帧的第二网格编号信息；

根据所述第一网格编号信息和第二网格编号信息的差异确定异物特征。

在其中一个实施例中，所述异物特征包括异物体积和异物运动轨迹；

所述根据所述第一网格编号信息和第二网格编号信息的差异确定异物特征包括：

根据所述第一网格编号信息和第二网格编号信息确定异物所占网格数量，根据所述异物所占网格数量确定异物体积；

比较所述第一网格编号信息和第二网格编号信息确定编号差值，根据所述编号差值确定异物运动轨迹。

在其中一个实施例中，所述将所述异物特征输入至所述深度神经网络模型得到检测结果后还包括：

获取预设规则，根据所述检测结果和所述预设规则生成事件；

根据所述事件生成确认指令并发送给第一终端；

接收第一终端返回的确认结果，所述确认结果由终端响应所述确认指令根据所述事件生成；

根据所述确认结果将所述事件保存至对应的事件库；

定期从所述事件库中获取事件并推送给第二终端。

在其中一个实施例中，所述方法还包括：

若检测到所述视频帧存在人体，则调用人脸识别模型并输入所述视频帧；

根据所述人脸识别模型从所述人体中获取人脸图像；

识别所述人脸图像得到识别结果和识别分值，根据所述识别结果和识别分值确定人体是否携带口罩。

在其中一个实施例中，所述调用深度神经网络模型之前包括：

获取异物样本和标准结果，将所述异物样本分成训练集和测试集；

根据所述标准结果和训练集对深度神经网络模型进行迭代训练；

根据所述测试集对训练后的深度神经网络模型进行测试，得到测试结果；

根据所述测试结果对训练后的深度神经网络模型的模型参数进行调整后再次进行迭代训练，得到最终的深度神经网络模型。

一种厨房卫生检测装置，所述装置包括：

接收模块，用于接收第一终端发送的视频数据，将所述视频数据进行预处理获取视频帧；

识别模块，用于获取目标关键帧，根据所述目标关键帧识别所述视频帧是否存在异物；

获取模块，用于若存在异物，则获取所述视频帧的前后帧；

确定模块，用于根据所述视频帧和前后帧确定异物特征；

调用模块，用于调用深度神经网络模型，将所述异物特征输入至所述深度神经网络模型得到检测结果。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任意一项所述的厨房卫生检测方法。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任意一项所述的厨房卫生检测方法。

上述厨房卫生检测方法、装置、计算机设备和存储介质，通过对从第一终端接收到的视频数据进行预处理后获取视频帧，从而保证获取到高质量的视频图像。通过预存的目标关键帧分析所获取的视频帧存在异物后，获取异物的异物特征。并利用深度神经网络模型对异物进行检测直接得到检测结果，不需要人工进行审核，降低了人力资源消耗且提高了效率。

附图说明

图1为一个实施例中厨房卫生检测方法的应用场景图；

图2为一个实施例中厨房卫生检测方法的流程示意图；

图3为一个实施例中识别视频帧是否存在异物步骤的流程示意图；

图4为一个实施例中网格标号示意图；

图5为一个实施例中厨房卫生检测装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的厨房卫生检测方法，可以应用于如图1所示的应用环境中。其中，第一终端102通过网络与服务器104进行通信，第二终端106通过网络与服务器104进行通信。服务器104接收第一终端102发送的视频数据，服务器104将视频数据进行预处理获取视频帧。服务器104获取目标关键帧，根据目标关键帧识别视频帧是否存在异物。若服务器104识别到存在异物，则获取视频帧的前后帧。服务器104根据视频帧和前后帧确定异物特征，并调用深度神经网络模型，将异物特征输入至深度神经网络模型得到检测结果。其中，第一终端102和第二终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种厨房卫生检测方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

步骤S202，接收第一终端发送的视频数据，将视频数据进行预处理获取视频帧。

其中，视频数据是利用第一终端采集设备采集视频图像后，通过第一终端对视频图像进行编码得到的。视频帧是指影像动画中最小单位的单幅影像画面，一帧就是一副静止的视频图像。预处理是指在对视频数据进行分析之前对视频数据加以完善的过程。预处理包括解码、分割、灰度调整、去噪以及锐化等技术处理。解码是还原视频图像的过程，灰度调整是指通过改变视频图像中像素灰度值的方法改善画质，使得图像更加清晰。并且由于视频图像在数字化和传输过程中通常会受到设备和外部环境噪声干扰等影响，而噪声是图像干扰的重要原因。因此，去噪是指减少图像中的噪声的过程。而锐化是指提高图像中某一部位的清晰度或者焦距程度，使得图像特定区域的色彩更加鲜明。

具体地，当服务器接收到第一终端发送的视频数据后，首先通过视频解码器对接收到视频数据进行解码还原视频图像。基于时域分割的方法进行视频图像的分割，也就是利用视频图像相邻之间的连续性和相关性进行分割。可以通过当前视频帧的和背景帧相减来获得差分图像，同样可以利用两帧之间或者多帧之间的差来获得差分图像。视频图线分割完成后对视频图像进行线性变换以及利用去噪算法完成视频图像的预处理从而增强视频图像。

例如，当用户将第一终端的采集设备安装在固定地点，或者通过手持第一终端的采集设备采集固定餐饮地点的厨房或者家用厨房的视频图像。当采集设备将采集到的视频图像发送给第一终端后，第一终端将视频图像进行编码压缩成MPEG或者H.26X格式的视频数据并发送给服务器。服务器接收到进行编码压缩过得视频数据后，首先通过解码把格式为MPEG或者H.26X的视频数据还原成视频图像，并且通过对视频图像进行分割、灰度调整、去噪以及锐化等预处理得到清晰高质量的视频图像。

步骤S204，获取目标关键帧，根据目标关键帧识别视频帧是否存在异物。

目标关键帧是指在目标地点预先采集标准状态下用于进行比对的视频图像。例如，目标地点厨房的每日清扫完成时间是晚上九点，则在每天晚上时厨房的干净程度为最佳。因此，每天在晚上九点时利用终端的采集设备采集一张视频图像存储至数据库，用于与第二天所采集的视频帧进行对比。异物是指在原有物体当中出现其本身以外的物质，本实施例异物是指不属于厨房区域且妨碍厨房卫生的物体，例如苍蝇、老鼠等。

具体地，服务器从数据库中获取前一天所采集的目标关键帧，将目标关键帧与当前视频帧进行比对。若服务器根基比对识别到视频帧与目标关键帧的视频内容不一致，则确定视频帧存在异物。

步骤S206，若步骤S204识别到视频帧存在异物，则获取视频帧的前后帧。

其中，前后帧是指当前视频帧的前后视频帧，包括前视频帧和后视频帧。以该视频帧为基准前面的视频帧均可称为前视频帧，以该视频帧为基准后面的视频帧均为后视频帧。

具体地，当服务器获取目标关键帧，将视频帧与目标关键帧进行对比后识别到该视频帧存在异物，则获取该视频帧的前视频帧和后视频帧。其中，获取的前视频帧和后视频帧的数量根据实际情况决定。例如，当以该视频帧为基准获取到前二个视频帧和后一个视频帧即可确定异物的异物特征，则只需要获取到前二个视频帧和后一个视频帧，无需再往前或往后获取视频帧。若获取前三个视频帧即可确定异物的异物特征，则只需要获取前三个视频帧，无需再往前后或者往后获取视频帧。

步骤S208，根据视频帧和前后帧确定异物特征。

其中，异物特征包括异物体积和异物运动轨迹。异物体积即为异物所占空间的大小叫做物体的体积。异物运动轨迹即为异物从一个开始位置到结束位置所经过的路线所组成的动作的空间特征。

具体地，当服务器将视频帧与预先采集的目标关键帧进行比对后识别到视频帧存在异物后，以该视频帧为基准获取前后视频帧。服务器再次通过比对该视频帧以及该视频帧对应的前后视频帧确定异物体积和异物的运动轨迹。

步骤S210，调用深度神经网络模型，将异物特征输入至深度神经网络模型得到检测结果。

其中，深度神经网络模型为通过预先收集大量异物样本，根据比例将异物样本进行分类得到训练集和样本集，通过训练集和样本集训练构建而成用于识别检测厨房异物的模型。检测结果为检测出的异物类型。例如，深度神经网络模型根据异物特征检测出该异物为苍蝇，则检测结果为苍蝇。

具体地，服务器将比对视频帧和前后视频帧确定的异物特征输入至预先训练好的深度神经网络模型中，深度神经网络模型根据异物特征得到异物的特征向量，根据异物的特征向量确定异物类型。进一步的，异物特征还可以包括异物图像，服务器从视频帧和前后视频帧中截取到异物的异物图像，将异物图像输入至深度神经网络模型中，深度神经网络模型获取到异物图像的图像特征，根据图像特征确定异物图像中的异物类型。并且，可以将异物体积、异物运动轨迹以及异物图像同时输入至深度神经网络模型中识别异物类型。深度神经网络模型最终的输入可以根据训练时的使用的输入决定，例如，若训练深度神经网络模型所使用的输入为异物图像，则训练完成后，调用深度神经网络模型时的输入即为异物图像。若训练深度神经网络模型时输入为异物图像、异物体积以及异物运动轨迹，则训练完成后，调用深度神经网络模型的输入为异物图像、异物体积以及异物运动轨迹。

上述厨房卫生检测方法中，通过对从第一终端接收到的视频数据进行预处理后获取视频帧，从而保证获取到高质量的视频图像。通过预存的目标关键帧分析所获取的视频帧存在异物后，获取异物的异物特征。并利用深度神经网络模型对异物进行检测直接得到检测结果，不需要人工进行审核，降低了人力资源消耗且提高了效率。

在一个实施例中，如图3所示，获取目标关键帧，根据目标关键帧识别视频帧是否存在异物包括以下步骤：

步骤S302，将目标关键帧进行网格划分，获取目标关键帧的每一网格的网格图像。

其中，网格划分是指根据预设标准大小将一帧视频图像划分成多个视频图像格子，也就是多个网格图像。每个网格图像中的视频内容不一样，但是能组成一帧完整的视频图像。例如，预设的网格划分标准为10*10，则将一帧视频图像按照10*10标准可以等均划分为100个视频图像格子。

具体地，服务器获取到预存的目标关键帧后，根据预设的划分标准将目标关键帧进行网格划分，并且获取完成网格划分的目标关键帧中每一网格的网格图像。

步骤S304，将视频帧进行网格划分，获取视频帧的每一网格的网格图像。

其中，视频帧进行网格划分的划分标准与目标关键帧进行网格划分的划分标准相同。例如，若目标关键帧网格划分的划分标准为10*10，则服务器对视频帧进行网格划分时的划分标准为10*10。若目标关键帧网格划分的划分标准为5*7，则服务器对视频帧进行网格划分时的划分标准为5*7。

具体地，服务器获取预存的划分标准，该划分标准应与目标关键进行网格划分的划分标准相同。根据该划分标准服务器将视频帧进行网格划分，并获取视频帧中每一网格的网格图像。

步骤S306，比较视频帧的网格图像和目标关键帧的网格图像。

具体地，服务器将目标关键帧和视频帧按照相同的划分标准进行网格划分并分别获取到目标关键帧和视频帧中每一网格的网格图像后，比较视频帧的网格图像和目标关键帧的网格图像的视频内容。例如，若目标关键帧和视频帧是以10*10＝100个格子的标准划分，目标关键帧和视频帧即分别有100个网格图像。则将目标关键帧的100个网格图像和视频帧的100个网格图像一一对应进行视频内容的比较。

其中，服务器可以将每个网格进行编号，当进行比较时即可根据对应的编号进行一一比较。例如，目标关键帧和视频帧分别为100个网格图像，即可利用数据1-100进行编号。当进行视频内容比较时要比较第3个网格图像的视频内容时，则分别获取目标关键帧和视频帧的第3网格图像的视频内容进行比较。

步骤S308，若视频帧的网格图像与目标关键帧的网格图像存在不一致的图像内容，则确定视频帧存在异物。

具体地，服务器比较视频帧的网格图像与目标关键帧的网格图像，若识别到视频帧中任意一个的网格图像的视频图像内容与目标关键帧中所对应的网格图像的视频图像内容不一致，则表示视频帧出现异物，即视频帧存在异物。在本实施例，通过将视频帧与干净无异物的目标关键帧进行网格划分后，一一比较网格图像中的视频内容确定是否存在异物，提高识别的准确性。

在一个实施例中，根据视频帧和前后帧确定异物特征具体包括：将视频帧的网格图像进行编号，得到视频帧的每一网格图像的网格编号；将前后帧进行网格划分，获取前后帧的每一网格的网格图像；根据视频帧的网格编号将前后帧的网格图像进行编号，得到前后帧的每一网格图像的网格编号；根据异物在视频帧的网格图像的网格编号，得到异物在视频帧的第一网格编号信息；根据异物在前后帧的网格图像的网格编号，得到异物在前后帧的第二网格编号信息；根据第一网格编号信息和第二网格编号信息的差异确定异物特征。

其中，视频帧的网格图像是指根据划分标准进行网格划分后所得。前后帧即为当前视频帧的前视频帧和后视频帧。前后帧的网格图像即为根据视频帧的网格划分标准进行网格划分后所得。网格编号是指将视频帧和前后帧根据划分标准已经进行网格划分后，将划分所得到的网格图像进行标号的过程。第一网格编号信息是指异物在视频帧中所存在时的网格编号的编号信息，第二网格编号信息是指异物在前后帧中所存在时的网格编号的编号信息。

具体地，服务器将视频帧与预存的目标关键帧进行比较识别到视频帧存在异物时，将视频帧进行网格划分获取到视频帧每一网格的网格图像。并且，将该视频帧的网格图像进行编号得到每一网格图像的网格编号。其中，网格编号可以使用数字、字母或者符号等任意一种作为编号符号。并且，编号时可以按照从左到右、从上到下的方式进行编号，或者从右到左、从下到上的方式进行编号，或者无规律随意进行编号，只要保证编号不重复即可。

根据视频帧网格划分的划分标准同样将该视频帧对应的前后帧进行网格划分获取前后帧的每一网格图像，并且按照视频帧的网格图像的编号方式将前后帧的每一网格图像进行编号得到前后帧的每一网格图像的网格编号。也就是说，若视频帧的网格图像是按照从左到右的方式进行标号，则前后帧的网格图像同样根据从左到右的方式进行编号。若视频帧的网格图像是无规律随意的方式进行编号，则前后帧的网格图像同样根据无规律随意的方式进行编号。无论以何种方式进行编号，均要保证视频帧中的网格图像的网格编号与前后帧中的网格图像的网格编号一一对应。例如，如图4所示，视频帧与前后帧按照5*5标准进行网格划分，即视频帧与前后帧分别有25个网格图像。视频帧的网格编号按照无规律随意的方式进行编号，则前后帧的网格编号根据同样的方式进行编号，保证二者的网格编号一一对应。

当视频帧的网格编号和前后帧的网格编号以相同的方式分别进行编号后，服务器则从视频帧中获取异物所在的网格图像的网格编号，根据在视频帧的网格编号得到编号信息为第一网格编号信息。同样的，服务器从前后帧中获取异物所在的网格图像的网格编号，根据在前后帧的网格编号得到编号信息为第二网格编号信息。根据第一网格编号信息和第二网格编号信息的差异确定异物特征。例如，若异物在视频帧中所在的网格图像的网格编号为a1、a2，则第一网格编号信息为(a1、a2)，2个格子。若异物在前后帧中所在的网格图像的网格编号为b3、b4，则第二网格编号信息为(b3、b4)，2个格子。

在一个实施例中，根据第一网格编号信息和第二网格编号信息的差异确定异物特征具体包括：根据第一网格编号信息和第二网格编号信息确定异物所占网格数量，根据异物所占网格数量确定异物体积；比较第一网格编号信息和第二网格编号信息确定编号差值，根据编号差值确定异物运动轨迹。

具体地，当服务器将视频帧和获取的视频帧所对应的前后帧进行网格划分以及编号后，并且从视频帧中获取异物的第一网格编号信息，从前后帧中获取异物的第二网格编号信息。服务器根据第一网格编号信息和第二网格编号信息确定异物所占的网格数量，异物所占网格数量即为异物的体积大小。并且，根据比较第一网格编号信息和第二网格编号信息得到二者的编号差值，根据编号差值确定异物运动轨迹。

例如，以从左至右的编号方式为例，若通过将视频帧进行编号后得到的视频帧的网格图像的网格编号包括a1、a2、a3、a4、a5。相同的，将前后帧进行网格编号后得到的前后帧的网格图像的网格编号包括b1、b2、b3、b4、b5。其中，a1、a2、a3、a4、a5与b1、b2、b3、b4、b5所表示的网格图像是一一对应的。若服务器在视频帧中发现异物占据a1、a2、a3，即三个网格图像的网格编号，在前后帧占据b3、b4、b5，同样为三个网格图像的网格编号。则根据异物占据格子的数量确定异物体积为3格，再根据对比视频帧的a1、a2、a3和前后帧的b3、b4、b5，得到编号差异为2，结合实际的编号方式即可得知异物的运动轨迹为向右移动了2格。并且服务器还可以截取a1、a2、a3的网格图像和b3、b4、b5的网格图像为异物图像。其中，在实际应用中可以将格换算成体积单位表示异物体积大小，例如根据图像体积和实际体积的比例尺换算出占据一格的异物实际体积为多大。

在一个实施例中，根据输入异物特征得到检测结果后还包括：获取预设规则，根据检测结果和预设规则生成事件；根据事件生成确认指令并发送给第一终端；接收第一终端返回的确认结果，确认结果由终端响应确认指令根据事件生成；根据确认结果将事件保存至对应的事件库；定期从事件库中获取事件并推送给第二终端。

其中，预设规则是指根据不同的检测结果生成不同事件的业务逻辑。事件包括事件描述、事件地址和事件标签，事件描述是指根据检测结果对卫生状况进行的整体描述，事件地址是指被检测厨房的地理位置，事件标签为检测结果所检测到的异物类型。

具体地，当服务器调用深度神经网络模型，将异物特征输入至深度神经网络模型中得到检测结果后，根据预设规则和检测结果生成对应的事件描述、事件地址以及事件标签。例如，检测结果为三只苍蝇，则在检测结果为三只苍蝇的情况下根据预设规则生成的事件描述为厨房卫生状况差，并且根据设备终端反馈的地址确定事件地址为XX市XX区XXX楼，事件标签为苍蝇。

服务器获取到事件的事件描述、事件地址和事件标签后，将该事件对应的视频帧和事件返回给第一终端。用户根据事件中携带的事件描述、事件地址和事件标签进一步确认检测是否正确，若正确，则向服务器返回确认结果。服务器根据接收到的确认结果将事件对应的视频帧以及事件存储指对应的事件库中。服务器定期将事件库中的事件推送至第二终端。其中，第二终端是指与服务器对接的政务部门系统，包括市容部门系统和工商部门系统等。例如，若该事件为厨房卫生检测，卫生检测属于市容部门所管理，则将该事件存储市容事件库。并定期将市容事件库中的事件和视频帧推送给市容部门系统，当市容部门接收到推送后，根据事件进行相关整顿措施。

在一个实施例中，厨房卫生检测方法还包括：若检测到视频帧存在人体，则调用人脸识别模型并输入所述视频帧；根据人脸识别模型从人体中获取人脸图像；识别人脸图像得到识别结果和识别分值，根据识别结果和识别分值确定人体是否携带口罩。

其中，人脸识别模型通过预先采集样本进行训练所得。具体地，当服务器检测到视频帧中存在人体时，通过聚焦脸部区域获取视频帧中人体的人脸区域，提取人脸区域所在的图像为人脸图像。并调用人脸识别模型，将从人体中进行局部提取获取到人脸图像输入至人脸识别模型中识别分析人体是否携带口罩，并输出识别分值。服务器根据识别结果和识别分值进行判断并得到检测结果。当识别分值大于等于预设值，则表明识别结果准确，检测结果即为识别结果。若识别分值小于预设分值，则表明识别结果不准确，检测结果即为未识别出。例如，若识别结果为携带口罩，并且识别分值大于等于80％，则表明识别准确，检测结果即为携带了口罩。若识别结果为携带口罩，但是识别分值小于80％，则表明识别不准确，检测结果即为未识别出。当检测结果为未识别出时，服务器将检测结果反馈给第一终端，第一终端用户根据检测结果进行模型调整和再训练。在本实施例中，当识别到人体时结合人脸识别模型识别厨房工作人员是否携带口罩，从多方面检测厨房卫生，保证了检测的准确性。

在一个实施例中，调用深度神经网络模型之前包括：获取异物样本和标准结果，将异物样本分成训练集和测试集；根据标准结果和训练集对深度神经网络模型进行迭代训练；根据测试集对训练后的深度神经网络模型进行测试，得到测试结果；根据测试结果对训练后的深度神经网络模型的模型参数进行调整后再次进行迭代训练，得到最终的深度神经网络模型。

其中，标准结果是根据异物样本所得用于与模型训练时输出的结果进行比对的，例如异物样本为苍蝇，则标准结果即为苍蝇。训练集是指用于训练深度神经网络模型的异物样本，测试集是指用于测试深度神经网络检测性能的异物样本。迭代训练是指一种为了逼近所需目标或结果而进行重复反馈过程的活动。

具体地，深度神经网络模型为预先训练的，通过收集大量的异物样本按照比例7:3分为训练集和测试集，并且根据异物样本设定好标准结果。首先通过将标准结果和训练集的异物样本输入至深度神经网络模型中，根据模型输出的训练结果与标准结果进行比较后，通过比较结果调整模型参数进行反复的训练，直至模型的训练结果与标准结果满足要求时完成模型的训练。其中，在训练过程中调整模型参数，即初始化权重、偏置、迭代次数等参数可以根据训练结果不断进行优化。并且，在训练过程中可以根据异物特征将训练集进行分类放入深度神经网络模型中训练，使深度神经网络模型既学习到局部的细节的特征，同时又学习到了整体结构信息。在深度神经网络模型经过训练集完成训练之后，即可以利用测试集对训练好的深度神经网络模型进行测试，也就是测试深度神经网络模型的识别检测性能。并且，当将测试集的异物样本输入至深度神经网络模型后，根据模型反馈的测试结果与异物样本实际进行对比获得其测试的准确率。若在获得测试结果后，其准确率没有满足预设要求，则根据测试结果再次调整深度神经网络模型的模型参数，根据调整后的模型参数再次进行迭代训练完成深度神经网络的优化，提高模型的识别检测的精度。

应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种厨房卫生检测装置，包括：接收模块502、识别模块504、获取模块506、确定模块508和调用模块510，其中：

接收模块502，用于接收第一终端发送的视频数据，将视频数据进行预处理获取视频帧。

识别模块504，用于获取目标关键帧，根据目标关键帧识别视频帧是否存在异物。

获取模块506，用于若存在异物，则获取视频帧的前后帧。

确定模块508，用于根据视频帧和前后帧确定异物特征。

调用模块510，用于调用深度神经网络模型，将异物特征输入至深度神经网络模型得到检测结果。

在一个实施例中，识别模块504还用于将目标关键帧进行网格划分，获取目标关键帧的每一网格的网格图像；将视频帧进行网格划分，获取视频帧的每一网格的网格图像；比较视频帧的网格图像和目标关键帧的网格图像；若视频帧的网格图像与目标关键帧的网格图像存在不一致的图像内容，则确定视频帧存在异物。

在一个实施例中，确定模块508还用于将视频帧的网格图像进行编号，得到视频帧的每一网格图像的网格编号；将前后帧进行网格划分，获取前后帧的每一网格的网格图像；根据视频帧的网格编号将前后帧的网格图像进行编号，得到前后帧的每一网格图像的网格编号；根据异物在视频帧的网格图像的网格编号，得到异物在视频帧的第一网格编号信息；根据异物在前后帧的网格图像的网格编号，得到异物在前后帧的第二网格编号信息；根据第一网格编号信息和第二网格编号信息的差异确定异物特征。

在一个实施例中，确定模块508还用于根据第一网格编号信息和第二网格编号信息确定异物所占网格数量，根据异物所占网格数量确定异物体积；比较第一网格编号信息和第二网格编号信息确定编号差值，根据编号差值确定异物运动轨迹。

在一个实施例中，还包括推送模块，用于获取预设规则，根据检测结果和预设规则生成事件；根据事件生成确认指令并发送给第一终端；接收第一终端返回的确认结果，确认结果由终端响应确认指令根据事件生成；根据确认结果将事件保存至对应的事件库；定期从事件库中获取事件并推送给第二终端。

在一个实施例中，还包括人脸识别模块，用于若检测到视频帧存在人体，则调用人脸识别模型并输入视频帧；根据人脸识别模型从人体中获取人脸图像；识别人脸图像得到识别结果和识别分值，根据识别结果和识别分值确定人体是否携带口罩。

在一个实施例中，还包括构建模块，用于获取异物样本和标准结果，将异物样本分成训练集和测试集；根据标准结果和训练集对深度神经网络模型进行迭代训练；根据测试集对训练后的深度神经网络模型进行测试，得到测试结果；根据测试结果对训练后的深度神经网络模型的模型参数进行调整。

关于厨房卫生检测装置的具体限定可以参见上文中对于厨房卫生检测方法的限定，在此不再赘述。上述厨房卫生检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种厨房卫生检测方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

接收第一终端发送的视频数据，将视频数据进行预处理获取视频帧；

获取目标关键帧，根据目标关键帧识别视频帧是否存在异物；

若存在异物，则获取视频帧的前后帧；

根据视频帧和前后帧确定异物特征；

调用深度神经网络模型，将异物特征输入至深度神经网络模型得到检测结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

将目标关键帧进行网格划分，获取目标关键帧的每一网格的网格图像；

将视频帧进行网格划分，获取视频帧的每一网格的网格图像；

比较视频帧的网格图像和目标关键帧的网格图像；

若视频帧的网格图像与目标关键帧的网格图像存在不一致的图像内容，则确定视频帧存在异物。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

将视频帧的网格图像进行编号，得到视频帧的每一网格图像的网格编号；

将前后帧进行网格划分，获取前后帧的每一网格的网格图像；

根据视频帧的网格编号将前后帧的网格图像进行编号，得到前后帧的每一网格图像的网格编号；

根据异物在视频帧的网格图像的网格编号，得到异物在视频帧的第一网格编号信息；

根据异物在前后帧的网格图像的网格编号，得到异物在前后帧的第二网格编号信息；

根据第一网格编号信息和第二网格编号信息的差异确定异物特征。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

根据第一网格编号信息和第二网格编号信息确定异物所占网格数量，根据异物所占网格数量确定异物体积；

比较第一网格编号信息和第二网格编号信息确定编号差值，根据编号差值确定异物运动轨迹。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取预设规则，根据检测结果和预设规则生成事件；

根据事件生成确认指令并发送给第一终端；

接收第一终端返回的确认结果，确认结果由终端响应确认指令根据事件生成；

根据确认结果将事件保存至对应的事件库；

定期从事件库中获取事件并推送给第二终端。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

若检测到视频帧存在人体，则调用人脸识别模型并输入视频帧；

根据人脸识别模型从人体中获取人脸图像；

识别人脸图像得到识别结果和识别分值，根据识别结果和识别分值确定人体是否携带口罩。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取异物样本和标准结果，将异物样本分成训练集和测试集；

根据标准结果和训练集对深度神经网络模型进行迭代训练；

根据测试集对训练后的深度神经网络模型进行测试，得到测试结果；

根据测试结果对训练后的深度神经网络模型的模型参数进行调整。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

接收第一终端发送的视频数据，将视频数据进行预处理获取视频帧；

获取目标关键帧，根据目标关键帧识别视频帧是否存在异物；

若存在异物，则获取视频帧的前后帧；

根据视频帧和前后帧确定异物特征；

调用深度神经网络模型，将异物特征输入至深度神经网络模型得到检测结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

将目标关键帧进行网格划分，获取目标关键帧的每一网格的网格图像；

将视频帧进行网格划分，获取视频帧的每一网格的网格图像；

比较视频帧的网格图像和目标关键帧的网格图像；

若视频帧的网格图像与目标关键帧的网格图像存在不一致的图像内容，则确定视频帧存在异物。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

将视频帧的网格图像进行编号，得到视频帧的每一网格图像的网格编号；

将前后帧进行网格划分，获取前后帧的每一网格的网格图像；

根据视频帧的网格编号将前后帧的网格图像进行编号，得到前后帧的每一网格图像的网格编号；

根据异物在视频帧的网格图像的网格编号，得到异物在视频帧的第一网格编号信息；

根据异物在前后帧的网格图像的网格编号，得到异物在前后帧的第二网格编号信息；

根据第一网格编号信息和第二网格编号信息的差异确定异物特征。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据第一网格编号信息和第二网格编号信息确定异物所占网格数量，根据异物所占网格数量确定异物体积；

比较第一网格编号信息和第二网格编号信息确定编号差值，根据编号差值确定异物运动轨迹。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取预设规则，根据检测结果和预设规则生成事件；

根据事件生成确认指令并发送给第一终端；

接收第一终端返回的确认结果，确认结果由终端响应确认指令根据事件生成；

根据确认结果将事件保存至对应的事件库；

定期从事件库中获取事件并推送给第二终端。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

若检测到视频帧存在人体，则调用人脸识别模型并输入视频帧；

根据人脸识别模型从人体中获取人脸图像；

识别人脸图像得到识别结果和识别分值，根据识别结果和识别分值确定人体是否携带口罩。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取异物样本和标准结果，将异物样本分成训练集和测试集；

根据标准结果和训练集对深度神经网络模型进行迭代训练；

根据测试集对训练后的深度神经网络模型进行测试，得到测试结果；

根据测试结果对训练后的深度神经网络模型的模型参数进行调整。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种厨房卫生检测方法，所述方法包括：

接收第一终端发送的视频数据，将所述视频数据进行预处理获取视频帧；

获取目标关键帧，根据所述目标关键帧识别所述视频帧是否存在异物；

若存在异物，则获取所述视频帧的前后帧；

根据所述视频帧和前后帧确定异物特征；

调用深度神经网络模型，将所述异物特征输入至所述深度神经网络模型得到检测结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标关键帧识别所述视频帧是否存在异物包括：

将所述目标关键帧进行网格划分，获取所述目标关键帧的每一网格的网格图像；

将所述视频帧进行网格划分，获取所述视频帧的每一网格的网格图像；

比较所述视频帧的网格图像和所述目标关键帧的网格图像；

若所述视频帧的网格图像和所述目标关键帧的网格图像存在不一致的图像内容，则确定所述视频帧存在异物。

3.根据权利要求2所述的方法，其特征在于，所述根据所述视频帧和前后帧确定异物特征包括：

将所述视频帧的网格图像进行编号，得到所述视频帧的每一网格图像的网格编号；

将前后帧进行网格划分，获取所述前后帧的每一网格的网格图像；

根据所述视频帧的网格编号将所述前后帧的网格图像进行编号，得到前后帧的每一网格图像的网格编号；

根据异物在所述视频帧的网格图像的网格编号，得到异物在所述视频帧的第一网格编号信息；

根据所述异物在所述前后帧的网格图像的网格编号，得到异物在所述前后帧的第二网格编号信息；

根据所述第一网格编号信息和第二网格编号信息的差异确定异物特征。

4.根据权利要求3所述的方法，其特征在于，所述异物特征包括异物体积和异物运动轨迹；

所述根据所述第一网格编号信息和第二网格编号信息的差异确定异物特征包括：

根据所述第一网格编号信息和第二网格编号信息确定异物所占网格数量，根据所述异物所占网格数量确定异物体积；

比较所述第一网格编号信息和第二网格编号信息确定编号差值，根据所述编号差值确定异物运动轨迹。

5.根据权利要求1所述的方法，其特征在于，所述将所述异物特征输入至所述深度神经网络模型得到检测结果后还包括：

获取预设规则，根据所述检测结果和所述预设规则生成事件；

根据所述事件生成确认指令并发送给第一终端；

接收第一终端返回的确认结果，所述确认结果由终端响应所述确认指令根据所述事件生成；

根据所述确认结果将所述事件保存至对应的事件库；

定期从所述事件库中获取事件并推送给第二终端。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若检测到所述视频帧存在人体，则调用人脸识别模型并输入所述视频帧；

根据所述人脸识别模型从所述人体中获取人脸图像；

识别所述人脸图像得到识别结果和识别分值，根据所述识别结果和识别分值确定人体是否携带口罩。

7.根据权利要求1所述的方法，其特征在于，所述调用深度神经网络模型之前包括：

获取异物样本和标准结果，将所述异物样本分成训练集和测试集；

根据所述标准结果和训练集对深度神经网络模型进行迭代训练；

根据所述测试集对训练后的深度神经网络模型进行测试，得到测试结果；

根据所述测试结果对训练后的深度神经网络模型的模型参数进行调整后再次进行迭代训练，得到最终的深度神经网络模型。

8.一种厨房卫生检测装置，其特征在于，所述装置包括：

接收模块，用于接收第一终端发送的视频数据，将所述视频数据进行预处理获取视频帧；

比较模块，用于获取目标关键帧，根据所述目标关键帧识别所述视频帧是否存在异物；

获取模块，用于若存在异物，则获取所述视频帧的前后帧；

确定模块，用于根据所述视频帧和前后帧确定异物特征；

调用模块，用于调用深度神经网络模型，将所述异物特征输入至所述深度神经网络模型得到检测结果。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。