CN113348663B - 一种货箱监控方法、终端设备及存储介质 - Google Patents

Abstract

本方案适用于货箱监控技术领域，提供一种货箱监控方法、终端设备及存储介质。本方案实施例通过获取第一监控画面；通过自适应校正模块对第一监控画面进行校正，获得第二监控画面；根据第一监控画面的偏移参数，通过已训练的得分估计模块获取第一监控画面的质量分数；当第一监控画面的质量分数小于第一预设阈值时，输出用于表征第一监控画面的质量的质量预警信号；检测第一预设时间段内输出质量预警信号的次数；当第一预设时间段内输出质量预警信号的次数大于第二预设阈值时，输出用于表征摄像模块角度状态的第一报警信号，以及时修正摄像模块的角度，在运输过程中可以实时对货箱中的货物进行监控，提高货物运输的安全性。

Description

一种货箱监控方法、终端设备及存储介质

技术领域

本方案涉及货箱监控技术领域，具体涉及一种货箱监控方法、终端设备及存储介质。

背景技术

这里的陈述仅提供与本方案有关的背景信息，而不必然构成现有技术。

随着经济的发展，货物运输量在逐渐增大，对于货物的管理非常重要。由于货箱在运输途中产生剧烈震动，容易导致货物从货箱中坠落从而引发交通事故。

如今，为了避免货物从货箱中坠落，通常会在货箱内安装摄像头以监控货物状态，然而安装在货箱的摄像头因为货箱震动产生移位、甚至脱落，导致无法准确监控货物状态，存在安全隐患。

技术问题

本方案实施例的目的之一在于：提供一种货箱监控方法、终端设备及存储介质，旨在解决安装在货箱的摄像头因为货箱震动产生移位、甚至脱落，导致无法准确监控货物状态，存在安全隐患的问题。

技术解决方案

为解决上述技术问题，本方案实施例采用的技术方案是：

第一方面，提供了一种货箱监控方法，包括：

获取第一监控画面；

通过自适应校正模块对所述第一监控画面进行校正，获得第二监控画面；

根据所述第一监控画面的偏移参数，通过已训练的得分估计模块获取所述第一监控画面的质量分数；

当所述第一监控画面的质量分数小于第一预设阈值时，输出用于表征所述第一监控画面的质量的质量预警信号；

检测第一预设时间段内输出所述质量预警信号的次数；

当所述第一预设时间段内输出所述质量预警信号的次数大于第二预设阈值时，输出用于表征所述摄像模块角度状态的第一报警信号。

第二方面，提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如第一方面所述的货箱监控方法的步骤。

第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如第一方面所述的货箱监控方法的步骤。

有益效果

本方案实施例提供的货箱监控方法的有益效果在于：自适应矫正模块和已训练的得分估计模块可以获取第一监控画面的质量分数，对第一监控画面的质量分数进行实时监控从而可以得到货箱的摄像模块角度状态，当摄像模块角度状态出现异常时，可以及时提醒驾驶者修正摄像模块的角度，并通过自适应矫正模块输出的矫正后的第二监控画面，使驾驶者可以观察到货箱的中心区域，从而在运输过程中可以实时对货箱中的货物进行监控，提高货物运输的安全性。

可以理解的是，上述第二方面和第三方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本方案实施例中的技术方案，下面将对实施例或示范性技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本方案的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本方案实施例提供的货箱监控方法的第一种流程示意图；

图2是本方案实施例提供的货箱监控方法的第二种流程示意图；

图3是本方案实施例提供的预设区域为第二监控画面按预设长度划分为三个区域后的中间区域、货箱的中心区域为完整的货箱尾门和预设比例的货箱底面的第二监控画面示意图；

图4是本方案实施例提供的货箱监控方法的第三种流程示意图；

图5是本方案实施例提供的预设区域预设区域为第二监控画面按预设长度划分为三个区域后的中间区域、货箱的中心区域为完整的货箱尾门和预设比例的货箱底面，并包括货箱的状态和质量分数的第二监控画面示意图；

图6是本方案实施例提供的货箱监控方法的第四种流程示意图；

图7是本方案实施例提供的货箱监控方法的第五种流程示意图；

图8是本方案实施例提供的货箱监控方法的第六种流程示意图；

图9是本方案实施例提供的货箱监控方法的第七种流程示意图；

图10是本方案实施例提供的货箱监控装置的第一种结构示意图；

图11是本方案实施例提供的货箱监控装置的第二种结构示意图；

图12是本方案实施例提供的货箱监控装置的第三种结构示意图；

图13是本方案实施例提供的终端设备的结构示意图。

本发明的实施方式

为了使本方案的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本方案进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本方案，并不用于限定本方案。

应当理解，当在本方案说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本方案说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

另外，在本方案说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本方案说明书中描述的参考“一个实施例”意味着在本方案的一个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”不是必然都参考相同的实施例，而是意味着“一个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

在应用中，本方案实施例提供的货箱监控方法可以用于对任意类型的货箱进行监控，例如，集装箱(container)、货运车厢等，集装箱可以是海运集装箱、陆运集装箱或航空集装箱等，货运车厢可以是箱式货车车厢、渣土车车厢、货车货运车厢、汽车后备箱等。

如图1所示，本方案实施例提供的货箱监控方法，包括如下步骤S101至步骤S106：

步骤S101、获取第一监控画面。

在应用中，可以通过数码相机、红外相机等成像设备获取第一监控画面，第一监控画面为由成像设备输出的未经旋转和偏移的货箱画面；第一监控画面可以通过调整成像设备的参数或在画面输出之后进行数字图像处理(Digital Image Processing)，具体的，可以调整第一监控画面的亮度、对比度、饱和度、锐化度等参数，以对第一监控画面进行降噪和增强从而提升清晰度，便于驾驶者观察货箱状态。

在一个实施例中，步骤S101包括：

通过摄像模块获取所述第一监控画面。

在应用中，摄像模块用于获取货箱画面，根据货箱画面的用途，货箱画面可以分为第一监控画面等不同用途的画面；摄像模块可以包括闪光灯，闪光灯用于当摄像模块检测到环境亮度过低时，自动打开闪光灯，提升环境亮度以保证获取到的货箱画面的质量。

在应用中，摄像模块设置在货箱的预设安装位置，摄像模块还设置有预设安装状态，摄像模块的预设安装状态包括摄像模块的预设旋转角度、摄像模块的预设第一方向偏移角度、摄像模块的预设第二方向偏移角度和摄像模块的预设缩放系数。当摄像模块位于在货箱的预设安装位置并处于预设安装状态时获取的监控画面为预设监控画面，预设监控画面可以设置有预设区域，货箱中心区域完全位于预设监控画面的预设区域中，可以完整清晰地观察货箱的状态，其中，第一方向和第二方向相互垂直，第一方向可以是第一监控画面的水平方向，第二方向可以是第一监控画面的垂直方向，预设区域可以是按照画面的长度等长划分三个区域后的中间区域。

在应用中，摄像模块的预设安装位置和预设安装状态可以根据实际需要进行设置。在一可选实施例中，预设安装位置可以是货箱靠近车头侧的前板的上方长边的中点，此时预设旋转角度为0度，预设第一方向偏移角度为0度，预设第二方向偏移角度可以为第一监控画面包括货箱完整的尾门时摄像模块的垂直方向偏移角度。

步骤S102、通过自适应校正模块对所述第一监控画面进行校正，获得第二监控画面。

在应用中，通过将第一监控画面输入自适应校正模块中，其中，自适应校正模块包括形变矩阵，形变矩阵可以对第一监控画面进行校正，并输出校正后的第二监控画面，第二监控画面可以设置为货箱中心区域完全位于第二监控画面的预设区域中，以完整清晰地观察货箱的状态，驾驶者可以通过第二监控画面观察货箱，避免运输途中货物从货箱中坠落，提高货物运输的安全性。其中，自适应校正模块可以通过空间变换网络等图形校正算法实现，形变矩阵可以是两行三列矩阵，也可以是三行三列矩阵，本方案实施例对自适应校正模块选用的图形校正算法以及形变矩阵的类型不作任何限制。

在一个实施例中，步骤S102包括：

通过自适应校正模块计算所述第一监控画面的偏移参数，所述第一监控画面的偏移参数包括所述第一监控画面的旋转角度、第一方向偏移距离、第二方向偏移距离以及缩放系数；

根据所述第一监控画面的旋转角度、第一方向偏移距离、第二方向偏移距离、和缩放系数，对所述第一监控画面进行校正，获得所述第二监控画面。

在应用中，监控画面可以包括偏移参数，偏移参数可以包括旋转角度、第一方向偏移距离、第二方向偏移距离和缩放系数。由于第一监控画面的偏移是相对于预设监控画面所产生的偏移，因此，可以以预设监控画面的旋转角度、第一方向偏移距离、第二方向偏移距离和缩放系数为预设偏移参数，并基于预设偏移参数获取第一监控画面的偏移参数，第一监控画面的偏移参数包括第一监控画面的旋转角度、第一方向偏移距离、第二方向偏移距离和缩放系数。其中，第一监控画面的旋转角度是基于预设监控画面的旋转角度计算得到的，第一监控画面的第一方向偏移距离是基于预设监控画面的第一方向偏移距离计算得到的，第一监控画面的第二方向偏移距离是基于预设监控画面的第二方向偏移距离计算得到的，第一监控画面的缩放系数是基于预设监控画面的缩放系数计算得到的。其中，所述第一方向和第二方向相互垂直，第一方向可以是第一监控画面的水平方向，第二方向可以是第一监控画面的垂直方向。

在应用中，自适应校正模块包括参数回归模块和网络生成模块，通过参数回归模块计算第一监控画面的偏移参数，并通过网络生成模块将第一监控画面的偏移参数代入形变矩阵中，以对第一监控画面进行校正，并获得第二监控画面，当摄像模块位于在货箱的预设安装位置并处于预设安装状态时，第二监控画面的偏移参数为预设偏移参数。例如，假设预设监控画面的货箱中心区域完全位于预设区域中，则第二监控画面的货箱中心区域也完全位于预设区域中。

步骤S103、根据所述第一监控画面的偏移参数，通过已训练的得分估计模块获取所述第一监控画面的质量分数。

在应用中，已训练的得分估计模块用于根据第一监控画面的偏移参数，准确预测第一监控画面的质量分数，质量分数表示第一监控画面的货箱中心区域落在预设区域中的面积占比，并反映了第一监控画面的质量，第一监控画面的偏移参数和第一监控画面的质量分数呈负相关。根据第一监控画面的每秒显示帧数(Frames per Second，FPS)，可以确定获取第一监控画面的质量分数的时间间隔，例如，假设第一监控画面的每秒显示帧数为25帧，则获取第一监控画面的质量分数的时间间隔为0.04秒，其中，每次获取的第一监控画面的质量分数和每帧的第一监控画面一一对应。

步骤S104、当所述第一监控画面的质量分数小于第一预设阈值时，输出用于表征所述第一监控画面的质量的质量预警信号。

在应用中，当第一监控画面的质量分数小于第一预设阈值时，说明第一监控画面偏移过大，即使通过自适应校正模块对第一监控画面进行校正，获得的第二监控画面的偏移参数相比预设偏移参数仍偏差过大，输出用于表征第一监控画面的质量的质量预警信号，其中，第一预设阈值可以根据实际需要进行设置。

步骤S105、检测第一预设时间段内输出所述质量预警信号的次数；

步骤S106、当所述第一预设时间段内输出所述质量预警信号的次数大于第二预设阈值时，输出用于表征所述摄像模块角度状态的第一报警信号。

在应用中，第一预设时间段和第二预设阈值可以根据实际需要进行设置。例如，假设第一预设时间段为10秒，第二预设阈值为200，则当10秒内输出质量预警信号的次数大于200时，输出第一报警信号。可以理解的是，第二预设阈值小于第一监控画面在第一预设时段内显示的帧数。

在应用中，第一报警信号可以在校正后的第二监控画面上显示，以警示驾驶者摄像模块角度状态异常，无法有效监控货箱中的货物状态，存在安全隐患。

在一个实施例中，在步骤S106之后，包括：

通过第一复位电机将摄像模块在货箱的安装位置复位至货箱的预设安装位置；

通过第二复位电机将摄像模块的安装状态复位至预设安装状态。

在应用中，第一复位电机可以控制摄像模块在货箱的安装位置，当输出第一报警信号时，通过第一复位电机可以将摄像模块在货箱的安装位置复位至货箱的预设安装位置；第二复位电机可以控制摄像模块的安装状态，当输出第一报警信号时，通过第二复位电机可以将摄像模块的安装状态复位至预设安装状态，以自动消除摄像模块角度状态异常的情况，在运输过程中可以实时对货箱中的货物进行监控，提高货物运输的安全性。

如图2所示，在一个实施例中，基于图1所对应的实施例，在步骤S101之前，包括如下步骤S201至步骤S209：

步骤S201、根据第一训练画面，获取所述第一训练画面中货箱的状态。

在应用中，可以通过摄像模块获取第一训练画面，也可以通过数据库获取第一训练画面，数据库可以预设存储有多张适合进行训练的货箱画面，数据库也可以通过网络爬虫(web crawler)从互联网中获取可以适合训练的货箱画面。根据第一训练画面，可以通过人工标定的方式获取第一训练画面中货箱的状态，也可以通过现有的图像识别算法获取第一训练画面中货箱的状态。获取的第一训练画面中货箱的状态真实反映了货箱状态，不存在误差。

在一个实施例中，步骤S201包括：

所述货箱的状态包括空箱状态、装载状态和密闭状态。

在应用中，根据第一训练画面，获取第一训练画面中货箱的状态，第一训练画面中货箱的状态包括空箱状态、装载状态和密闭状态，装载状态表示货箱为开厢状态，即货箱没有关闭上盖或者货箱没有安装上盖，装载状态根据货物重量可以包括轻载状态和重载状态等，装载状态根据货物摆放方式可以包括平放状态和堆叠状态等；密闭状态表示货箱装有上盖，摄像模块可以检测环境亮度，当摄像模块检测到环境亮度过低时，自动打开闪光灯，以保证货箱处于密闭状态时获取的货箱画面的质量，密闭状态根据货物重量可以包括轻载状态和重载状态等，密闭状态根据货物摆放方式可以包括平放状态和堆叠状态等。

步骤S202、根据所述第一训练画面中货箱的中心区域落在预设区域中的面积占比，获取所述第一训练画面的第一质量分数。

在应用中，货箱的中心区域可以是完整的货箱尾门，也可以是完整的货箱尾门和预设比例的货箱底面，还可以是完整的货箱尾门和完整的货箱底面。预设区域可以是将第二监控画面等长横向划分为三个区域后的中间区域，也可以是将第二监控画面按预设长度划分为三个区域后的中间区域，货箱的中心区域和预设区域可以根据时间需要进行设置。

在应用中，根据第一训练画面中货箱的中心区域落在预设区域中的面积占比，可以通过人工标定的方式获取第一训练画面的第一质量分数，也可以通过现有的图像识别算法获取第一训练画面的第一质量分数。获取的第一训练画面的第一质量分数真实反映了第一训练画面中货箱的中心区域落在预设区域中的面积占比，不存在误差。

在一个实施例中，步骤S202包括：

所述第一训练画面中货箱的中心区域落在预设区域中的面积占比的取值范围为0至1；

所述第一训练画面的第一质量分数的取值范围为0至1；

所述第一训练画面中货箱的中心区域落在预设区域中的面积占比和所述第一训练画面的第一质量分数一一对应。

在应用中，根据第一训练画面中货箱的中心区域落在预设区域中的面积占比获取一一对应的第一训练画面的质量分数。例如，当第一训练画面中货箱的中心区域落在预设区域中的面积占比为0时，第一训练画面的质量分数为0；当第一训练画面中货箱的中心区域落在预设区域中的面积占比为0.2时，第一训练画面的质量分数为0.2；当第一训练画面中画像的中心区域落在预设区域中的面积占比为1时，第一训练画面的质量分数为1。

图3示例性的示出了预设区域31为第二监控画面按预设长度划分为三个区域后的中间区域、货箱的中心区域为完整的货箱尾门32和预设比例的货箱底面33的第二监控画面示意图，其中，还包括货箱的侧面34。

步骤S203、通过自适应校正模块对所述第一训练画面进行校正，获得第二训练画面。

在应用中，通过将第一训练画面输入自适应校正模块，自适应校正模块包括形变矩阵，通过形变矩阵对第一监控画面进行校正，并输出校正后的第二监控画面。

在一个实施例中，步骤S203包括：

通过自适应校正模块计算所述第一训练画面的偏移参数，所述第一训练画面的偏移参数包括所述第一训练画面的旋转角度、第一方向偏移距离、第二方向偏移距离和缩放系数；

根据所述第一训练画面的旋转角度、第一方向偏移距离、第二方向偏移距离、和缩放系数，通过自适应校正模块对所述第一训练画面进行校正，获得所述第二训练画面。

在应用中，训练画面可以包括偏移参数，偏移参数可以包括旋转角度、第一方向偏移距离、第二方向偏移距离和缩放系数。训练画面的偏移参数的计算方式和步骤S102中第一监控画面的偏移参数的计算方式相同，在此不再赘述。

在应用中，自适应校正模块包括参数回归模块和网络生成模块，通过自适应校正模块的参数回归模块计算第一训练画面的偏移参数，并通过自适应校正模块的网络生成模块将第一训练画面的偏移参数代入形变矩阵中，以对第一训练画面进行校正，并获得第二训练画面。

步骤S204、根据所述第二训练画面，通过类别预测模块获取所述第二训练画面中货箱的状态。

在应用中，类别预测模块可以根据货箱画面预测货箱的状态，因此，将第二训练画面输入类别预测模块，可以对第二训练画面中货箱的状态进行预测，预测得到的第二训练画面中货箱的状态的准确性由类别预测模块的训练情况确定。

步骤S205、根据所述第一训练画面的偏移参数，通过得分估计模块获取所述第一训练画面的第二质量分数。

在应用中，得分估计模块可以根据偏移参数预测质量分数，因此，将第一训练画面的偏移参数输入自适应校正模块，可以对第一训练画面的第二质量分数进行预测，预测得到的第一训练画面的第二质量分数的准确性由得分估计模块的训练情况确定。

步骤S206、根据所述第一训练画面的第一质量分数和所述第一训练画面的第二质量分数构建质量分数损失函数。

在应用中，第一训练画面的第一质量分数为质量分数损失函数的真实值，第一训练画面的第二质量分数为质量分数损失函数的预测值。质量分数损失函数可以反映第一训练画面的第二质量分数相对于第一训练画面的第一质量分数的误差，以分析当前得分估计模块的训练情况。质量分数损失函数可以是0-1损失函数、L1范数损失函数(Mean AbsoluteErrorLoss Function)、对数损失函数(Logistic Loss Function)、平方损失函数(Quadratic Loss Function)、指数损失函数(Exponential Loss Function)、交叉熵损失函数(Cross Entropy Loss Function)等不同类型的损失函数，质量分数损失函数可以根据实际需要选择损失函数的类型。

在一个实施例中，步骤S206包括：

根据所述第一训练画面的第一质量分数和所述第一训练画面的第二质量分数构建的质量分数损失函数为L1范数损失函数。

在应用中，通过将第一训练画面的第二质量分数和第一训练画面的第一质量分数相减，可以准确的获取第一训练画面的第二质量分数相对于第一训练画面的第一质量分数的误差，因此，当质量分数损失函数的类型为L1范数损失函数时，可以准确获取上述两者之间的误差，并提高质量分数损失函数的计算速度，节省运算资源。

步骤S207、根据所述第一训练画面中货箱的状态和所述第二训练画面中货箱的状态构建货箱状态损失函数。

在应用中，第一训练画面中货箱的状态为货箱状态损失函数的真实值，第二训练画面中的货箱状态为货箱的状态损失函数的预测值。货箱状态损失函数可以反映第二训练画面中的货箱的状态是否和第一训练画面中货箱的状态相同，以分析当前类别预测模块的训练情况。质量分数损失函数可以是0-1损失函数、平均绝对误差损失函数、对数损失函数、平方损失函数、指数损失函数、交叉熵损失函数等不同类型的损失函数，货箱状态损失函数可以根据实际需要选择损失函数的类型。

在一个实施例中，步骤S207包括：

根据所述第一训练画面中货箱的状态和所述第二训练画面中货箱的状态构建的货箱状态损失函数为交叉熵损失函数。

在应用中，当货箱状态损失函数为交叉熵损失函数时，可以准确判定第二训练画面中货箱的状态是否和第一训练画面中货箱的状态相同，并提高货箱状态损失函数的计算速度。

步骤S208、根据所述质量分数损失函数和所述货箱状态损失函数获取总损失函数。

在应用中，通过对质量分数损失函数和货箱状态损失函数进行加权，可以获取总损失函数，以同时分析当前得分估计模块和类别预测模块的训练情况，提高质量分数损失函数和货箱状态损失函数的计算速度，节省运算资源。

步骤S209、根据所述总损失函数训练所述类别预测模块和所述得分估计模块。

在应用中，根据总损失函数，可以分析当前得分估计模块和类别预测模块的训练情况，以确定得分估计模块和类别预测模块后续进行训练时训练算法的参数。

在应用中，由自适应校正模块、得分估计模块和类别预测模块共同构成用于货箱监控的神经网络，上述神经网络的输入层为第一训练画面、第一训练画面的质量分数和第一训练画面中货箱的状态，输入层经过自适应校正模块、得分估计模块和类别预测模块得到输出层，输出层为第一训练画面的第二质量分数和第二训练画面中货箱的状态。上述神经网络通过总损失函数对得分估计模块和类别预测模块进行训练，上述神经网络的训练算法可以是梯度下降法(Gradient Descent)、牛顿算法(Newton’s Method)、共轭梯度法(Conjugate Gradient)、准牛顿法(Quasi-Newton Method)或最小二乘法(LeastSqaureMethod)等不同类型的训练算法，上述神经网络的训练算法可以根据实际需要进行设置。

在应用中，通过总损失函数不断对类别类别预测模块和得分估计模块进行训练，每次训练总损失函数、类别预测模块和得分估计模块都会进行更新，直至类别预测模块预测得到的货箱的状态的准确性达到第三预设阈值，以及得分估计模块估计得到的第一训练画面的第二质量分数的准确性达到第四预设阈值，判定类别预测模块和得分估计模块训练完成。

在应用中，当类别预测模块和得分估计模块训练完成后，可以通过已训练的类别预测模块和已训练的得分估计模块执行步骤S101至步骤S106的货箱监控方法，以保障运输过程中可以实时对货箱中的货物进行监控，提高货物运输的安全性。

如图4所示，在一个实施例中，基于图2所对应的实施例，在步骤S103之后，包括如下步骤S401：

步骤S401、当所述第一监控画面的质量分数大于第一预设阈值时，根据所述第二监控画面，通过已训练的类别预测模块获取第二监控画面中货箱的状态。

在应用中，当第一监控画面的质量分数大于第一预设阈值时，通过自适应校正模块对第一监控画面进行校正后，获得的第二监控画面的偏移参数可以接近预设偏移参数，从而驾驶者可以通过第二监控画面观察货箱，或根据第二监控画面中货箱的状态了解当前货箱和货物情况，避免运输途中货物从货箱中坠落，提高货物运输的安全性。

在一个实施例中，步骤S401包括：

第二监控画面包括时间信息、车牌信息、速度信息、行进方向、货箱的状态、质量分数、货物信息、第一报警信号、摄像模块的安装状态信息和经纬度信息。

在应用中，可以根据实际需要在第二监控画面上显示信息，以使驾驶者获取当前运输情况。

图5示例性的示出了预设区域51为第二监控画面按预设长度划分为三个区域后的中间区域、货箱的中心区域为完整的货箱尾门52和预设比例的货箱底面53，并包括货箱的状态和质量分数的第二监控画面示意图，其中，还包括货箱的侧面54。

如图6所示，在一个实施例中，基于图1或图2所对应的实施例，还包括步骤S601至步骤S604：

步骤S601、在第一预设时间段内获取多个第一监控画面；

步骤S602、通过自适应校正模块分别计算多个所述第一监控画面的旋转角度；

步骤S603、计算多个所述第一监控画面的旋转角度的第一平均值；

步骤S604、当所述第一平均值超出第一预设范围时，输出用于表征摄像模块松动的第二报警信号。

在应用中，通过获取第一预设时间段内的多个第一监控画面，以及通过自适应校正模块分别计算上述多个第一监控画面的旋转角度，计算上述多个第一监控画面的旋转角度的第一平均值，当第一平均值超出第一预设范围时，输出用于表征摄像模块松动的第二报警信号，可以监控摄像模块是否松动，并当摄像模块松动时，可以输出第二报警信号至第二监控画面显示，也可以通过蜂鸣器、LED灯等声光设备警示驾驶者及时修复摄像模块，避免由于摄像模块松动无法获取货箱的状态，以提高货物运输的安全性，其中，第一预设时间段和第一预设范围可以根据实际需要进行设置。

如图7所示，在一个实施例中，基于图1或图2所对应的实施例，还包括步骤S701至步骤S704：

步骤S701、在第一预设时间段内获取多个第一监控画面；

步骤S702、通过自适应校正模块分别计算多个所述第一监控画面的第一方向偏移距离；

步骤S703、计算多个所述第一监控画面的第一方向偏移距离的第二平均值；

步骤S704、当所述第二平均值超出第二预设范围时，输出用于表征摄像模块松动的第二报警信号。

在应用中，通过在第一预设时间段内获取多个第一监控画面，以及通过自适应校正模块分别计算多个第一监控画面的第一方向偏移距离，计算多个第一监控画面的第一方向偏移距离的第二平均值，当第二平均值超出第二预设范围时，输出用于表征摄像模块松动的第二报警信号，输出第二报警信号的作用和上述步骤S604中输出第二报警信号的作用相同，在此不再赘述。

如图8所示，在一个实施例中，基于图1或图2所对应的实施例，还包括步骤S801至步骤S804：

步骤S801、在第一预设时间段内获取多个第一监控画面；

步骤S802、通过自适应校正模块分别计算多个所述第一监控画面的第二方向偏移距离；

步骤S803、计算多个所述第一监控画面的第二方向偏移距离的第三平均值；

步骤S804、当所述第三平均值超出第三预设范围时，输出用于表征摄像模块松动的第二报警信号。

在应用中，通过在第一预设时间段内获取多个第一监控画面，通过自适应校正模块分别计算多个第一监控画面的第二方向偏移距离，计算多个第一监控画面的第二方向偏移距离的第三平均值，当三平均值超出第三预设范围时，输出用于表征摄像模块松动的第二报警信号，输出第二报警信号的作用和上述步骤S604中输出第二报警信号的作用相同，在此不再赘述。

如图9所示，在一个实施例中，基于图1或图2所对应的实施例，还包括步骤S901至步骤S904：

步骤S901、在第一预设时间段内获取多个第一监控画面；

步骤S902、通过自适应校正模块分别计算多个所述第一监控画面的缩放系数；

步骤S903、计算多个所述第一监控画面的缩放系数的第四平均值；

步骤S904、当所述第四平均值超出第四预设范围时，输出用于表征摄像模块松动的第二报警信号。

在应用中，在第一预设时间段内获取多个第一监控画面，通过自适应校正模块分别计算多个第一监控画面的缩放系数，计算多个第一监控画面的缩放系数的第四平均值，当第四平均值超出第四预设范围时，输出用于表征摄像模块松动的第二报警信号，输出第二报警信号的作用和上述步骤S604中输出第二报警信号的作用相同，在此不再赘述。

本方案实施例提供的货箱监控方法，通过获取第一监控画面；通过自适应校正模块对所述第一监控画面进行校正，获得第二监控画面；根据所述第一监控画面的偏移参数，通过已训练的得分估计模块获取所述第一监控画面的质量分数；当所述第一监控画面的质量分数小于第一预设阈值时，输出用于表征所述第一监控画面的质量的质量预警信号；检测第一预设时间段内输出所述质量预警信号的次数；当所述第一预设时间段内输出所述质量预警信号的次数大于第二预设阈值时，输出用于表征所述摄像模块角度状态的第一报警信号，以及时修正摄像模块的角度，在运输过程中可以实时对货箱中的货物进行监控，提高货物运输的安全性。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本方案实施例的实施过程构成任何限定。

如图10所示，本方案实施例还提供一种货箱监控装置，用于执行上述货箱监控方法实施例中的步骤。货箱监控装置可以是终端设备中的虚拟装置(virtual appliance)，由终端设备的处理器运行，也可以是终端设备本身。

如图10所示，本方案实施例提供的货箱监控装置10，包括：

获取模块101，用于获取第一监控画面；

自适应校正模块102，用于通过自适应校正模块对所述第一监控画面进行校正，获得第二监控画面；

得分估计模块103，用于根据所述第一监控画面的偏移参数，通过已训练的得分估计模块获取所述第一监控画面的质量分数；

得分检测模块104，用于当所述第一监控画面的质量分数小于第一预设阈值时，输出用于表征所述第一监控画面的质量的质量预警信号；

质量预警信号检测模块105，用于检测第一预设时间段内输出所述质量预警信号的次数；

第一报警模块106，用于当所述第一预设时间段内输出所述质量预警信号的次数大于第二预设阈值时，输出用于表征所述摄像模块角度状态的第一报警信号。

在一个实施例中，所述获取模块101，包括：

摄像模块，用于通过摄像模块获取第一监控画面。

在一个实施例中，所述自适应校正模块102，包括：

参数回归模块，用于通过自适应校正模块计算所述第一监控画面的偏移参数，所述第一监控画面的偏移参数包括所述第一监控画面的旋转角度、第一方向偏移距离、第二方向偏移距离和缩放系数；

网络生成模块，用于根据所述第一监控画面的旋转角度、第一方向偏移距离、第二方向偏移距离、和缩放系数，对所述第一监控画面进行校正，获得所述第二监控画面。

如图11所示，在一个实施例中，所述货箱监控装置10，包括：

货箱状态获取模块111，用于根据第一训练画面，获取所述第一训练画面中货箱的状态；

质量分数获取模块112，用于根据所述第一训练画面中货箱的中心区域落在预设区域中的面积占比，获取所述第一训练画面的第一质量分数；

自适应校正模块102，用于通过自适应校正模块对所述第一训练画面进行校正，获得第二训练画面；

类别预测模块113，用于根据所述第二训练画面，通过类别预测模块获取所述第二训练画面中货箱的状态；

得分估计模块103，用于根据所述第一训练画面的偏移参数，通过得分估计模块获取所述第一训练画面的第二质量分数；

质量分数损失函数模块114，用于根据所述第一训练画面的第一质量分数和所述第一训练画面的第二质量分数构建质量分数损失函数；

货箱状态损失函数模块115，用于根据所述第一训练画面中货箱的状态和所述第二训练画面中货箱的状态构建货箱状态损失函数；

总损失函数模块116，用于根据所述质量分数损失函数和所述货箱状态损失函数获取总损失函数；

训练模块117，用于根据所述总损失函数训练所述类别预测模块和所述得分估计模块。

在一个实施例中，所述货箱监控装置10，包括：

类别预测模块，用于当所述第一监控画面的质量分数大于第一预设阈值时，根据所述第二监控画面，通过已训练的类别预测模块获取第二监控画面中货箱的状态。

如图12所示，在一个实施例中，基于图10所对应的实施例，所述货箱监控装置10，还包括：

第二报警模块121，用于在第一预设时间段内获取多个第一监控画面；还用于通过自适应校正模块分别计算多个所述第一监控画面的旋转角度；还用于计算多个所述第一监控画面的旋转角度的第一平均值；还用于当所述第一平均值超出第一预设范围时，输出用于表征摄像模块松动的第二报警信号；还用于在第一预设时间段内获取多个第一监控画面；还用于通过自适应校正模块分别计算多个所述第一监控画面的第一方向偏移距离；还用于计算多个所述第一监控画面的第一方向偏移距离的第二平均值；还用于当所述第二平均值超出第二预设范围时，输出用于表征摄像模块松动的第二报警信号；还用于在第一预设时间段内获取多个第一监控画面；还用于通过自适应校正模块分别计算多个所述第一监控画面的第二方向偏移距离；还用于计算多个所述第一监控画面的第二方向偏移距离的第三平均值；还用于当所述三平均值超出第二预设范围时，输出用于表征摄像模块松动的第二报警信号；还用于在第一预设时间段内获取多个第一监控画面；还用于通过自适应校正模块分别计算多个所述第一监控画面的缩放系数；还用于计算多个所述第一监控画面的缩放系数的第四平均值；还用于当所述第四平均值超出第二预设范围时，输出用于表征摄像模块松动的第二报警信号。

在应用中，货箱监控装置中的各模块可以为软件程序模块，也可以通过处理器中集成的不同逻辑电路实现，还可以通过多个分布式处理器实现。

如图13所示，本方案实施例还提供一种终端设备13包括存储器130、处理器131以及存储在所述存储器130中并可在所述处理器131上运行的计算机程序132，处理器131执行计算机程序132时实现上述各个货箱监控方法实施例中的步骤。

在应用中，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在应用中，存储器在一些实施例中可以是终端设备的内部存储单元，例如终端设备的硬盘或内存。存储器在另一些实施例中也可以是终端设备的外部存储设备，例如终端设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器还可以既包括终端设备的内部存储单元也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如计算机程序的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。

需要说明的是，上述装置/模块之间的信息交互、执行过程等内容，由于与本方案方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中，上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本方案的保护范围。上述系统中模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本方案实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个货箱监控方法实施例中的步骤。

本方案实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个货箱监控方法实施例中的步骤。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本方案实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。

以上仅为本方案的可选实施例而已，并不用于限制本方案。对于本领域的技术人员来说，本方案可以有各种更改和变化。凡在本方案的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本方案的权利要求范围之内。

Claims (14)

1.一种货箱监控方法，其特征在于，包括：

获取第一监控画面；

通过自适应校正模块计算所述第一监控画面的偏移参数，并根据所述第一监控画面的偏移参数对所述第一监控画面进行校正，获得第二监控画面；

根据所述第一监控画面的偏移参数，通过已训练的得分估计模块获取所述第一监控画面的质量分数；

当所述第一监控画面的质量分数小于第一预设阈值时，输出用于表征所述第一监控画面的质量的质量预警信号；

检测第一预设时间段内输出所述质量预警信号的次数；

当所述第一预设时间段内输出所述质量预警信号的次数大于第二预设阈值时，输出用于表征摄像模块角度状态的第一报警信号；

所述通过自适应校正模块对所述第一监控画面进行校正，获得第二监控画面之前，包括：

根据第一训练画面，获取所述第一训练画面中货箱的状态；

根据所述第一训练画面中货箱的中心区域落在预设区域中的面积占比，获取所述第一训练画面的第一质量分数；

通过自适应校正模块对所述第一训练画面进行校正，获得第二训练画面；

根据所述第二训练画面，通过类别预测模块获取所述第二训练画面中货箱的状态；

根据所述第一训练画面的偏移参数，通过得分估计模块获取所述第一训练画面的第二质量分数；

根据所述第一训练画面的第一质量分数和所述第一训练画面的第二质量分数构建质量分数损失函数；

根据所述第一训练画面中货箱的状态和所述第二训练画面中货箱的状态构建货箱状态损失函数；

根据所述质量分数损失函数和所述货箱状态损失函数获取总损失函数；

根据所述总损失函数训练所述类别预测模块和所述得分估计模块。

2.根据权利要求1所述的货箱监控方法，其特征在于，所述通过自适应校正模块计算所述第一监控画面的偏移参数，并根据所述第一监控画面的偏移参数对所述第一监控画面进行校正，获得第二监控画面，包括：

通过自适应校正模块计算所述第一监控画面的偏移参数，所述第一监控画面的偏移参数包括所述第一监控画面的旋转角度、第一方向偏移距离、第二方向偏移距离和缩放系数；

根据所述第一监控画面的旋转角度、第一方向偏移距离、第二方向偏移距离、和缩放系数，对所述第一监控画面进行校正，获得所述第二监控画面。

3.根据权利要求1所述的货箱监控方法，其特征在于，所述根据所述第一监控画面的偏移参数，通过已训练的得分估计模块获取所述第一监控画面的质量分数之后，包括：

当所述第一监控画面的质量分数大于第一预设阈值时，根据所述第二监控画面，通过已训练的类别预测模块获取第二监控画面中货箱的状态。

4.根据权利要求1所述的货箱监控方法，其特征在于，还包括：

在第一预设时间段内获取多个第一监控画面；

通过自适应校正模块分别计算多个所述第一监控画面的旋转角度；

计算多个所述第一监控画面的旋转角度的第一平均值；

当所述第一平均值超出第一预设范围时，输出用于表征摄像模块松动的第二报警信号。

5.根据权利要求1所述的货箱监控方法，其特征在于，还包括：

在第一预设时间段内获取多个第一监控画面；

通过自适应校正模块分别计算多个所述第一监控画面的第一方向偏移距离；

计算多个所述第一监控画面的第一方向偏移距离的第二平均值；

当所述第二平均值超出第二预设范围时，输出用于表征摄像模块松动的第二报警信号。

6.根据权利要求1所述的货箱监控方法，其特征在于，还包括：

在第一预设时间段内获取多个第一监控画面；

通过自适应校正模块分别计算多个所述第一监控画面的第二方向偏移距离；

计算多个所述第一监控画面的第二方向偏移距离的第三平均值；

当所述第三平均值超出第三预设范围时，输出用于表征摄像模块松动的第二报警信号。

7.根据权利要求1所述的货箱监控方法，其特征在于，还包括：

在第一预设时间段内获取多个第一监控画面；

通过自适应校正模块分别计算多个所述第一监控画面的缩放系数；

计算多个所述第一监控画面的缩放系数的第四平均值；

当所述第四平均值超出第四预设范围时，输出用于表征摄像模块松动的第二报警信号。

8.根据权利要求1所述的货箱监控方法，其特征在于，所述获取第一监控画面，包括：

通过摄像模块获取第一监控画面。

9.根据权利要求1所述的货箱监控方法，其特征在于，所述货箱的状态包括空箱状态、装载状态和密闭状态。

10.根据权利要求1所述的货箱监控方法，其特征在于，所述根据所述第一训练画面中货箱的中心区域落在预设区域中的面积占比，获取所述第一训练画面的第一质量分数，包括：

所述第一训练画面中货箱的中心区域落在预设区域中的面积占比的取值范围为0至1；

所述第一训练画面的第一质量分数的取值范围为0至1；

所述第一训练画面中货箱的中心区域落在预设区域中的面积占比和所述第一训练画面的第一质量分数一一对应。

11.根据权利要求1所述的货箱监控方法，其特征在于，所述根据所述第一训练画面的第一质量分数和所述第一训练画面的第二质量分数构建质量分数损失函数，包括：

根据所述第一训练画面的第一质量分数和所述第一训练画面的第二质量分数构建的质量分数损失函数为L1范数损失函数。

12.根据权利要求1所述的货箱监控方法，其特征在于，所述根据所述第一训练画面中货箱的状态和所述第二训练画面中货箱的状态构建货箱状态损失函数，包括：

根据所述第一训练画面中货箱的状态和所述第二训练画面中货箱的状态构建的货箱状态损失函数为交叉熵损失函数。

13.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至12任一项所述的货箱监控方法的步骤。

14.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12任一项所述的货箱监控方法的步骤。

Images