CN115641045A - 一种冷链运输远程监控系统 - Google Patents
一种冷链运输远程监控系统 Download PDFInfo
- Publication number
- CN115641045A CN115641045A CN202211660476.9A CN202211660476A CN115641045A CN 115641045 A CN115641045 A CN 115641045A CN 202211660476 A CN202211660476 A CN 202211660476A CN 115641045 A CN115641045 A CN 115641045A
- Authority
- CN
- China
- Prior art keywords
- training
- feature
- neural network
- network model
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 claims abstract description 200
- 230000008859 change Effects 0.000 claims abstract description 98
- 238000003062 neural network model Methods 0.000 claims abstract description 54
- 238000012549 training Methods 0.000 claims description 135
- 238000013527 convolutional neural network Methods 0.000 claims description 71
- 230000032258 transport Effects 0.000 claims description 64
- 230000004927 fusion Effects 0.000 claims description 59
- 238000010586 diagram Methods 0.000 claims description 56
- 239000013598 vector Substances 0.000 claims description 53
- 239000011159 matrix material Substances 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 29
- 238000005070 sampling Methods 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 14
- 230000005012 migration Effects 0.000 claims description 14
- 238000013508 migration Methods 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 12
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- ONUFESLQCSAYKA-UHFFFAOYSA-N iprodione Chemical compound O=C1N(C(=O)NC(C)C)CC(=O)N1C1=CC(Cl)=CC(Cl)=C1 ONUFESLQCSAYKA-UHFFFAOYSA-N 0.000 claims description 3
- 238000000034 method Methods 0.000 description 31
- 230000008569 process Effects 0.000 description 11
- 230000000295 complement effect Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000005057 refrigeration Methods 0.000 description 4
- 230000033228 biological regulation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001351 cycling effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008092 positive effect Effects 0.000 description 2
- 241000272522 Anas Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000010257 thawing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
一种冷链运输远程监控系统，其通过作为颜色特征提取器的第一卷积神经网络模型和作为纹理特征提取器的第二卷积神经网络模型从待冷链运输的物品的监控视频中挖掘出该冷链运输物品的颜色隐藏特征和纹理隐藏特征，并将这两种特征进行融合；然后，通过使用三维卷积核的第三卷积神经网络模型提取出所述待冷链运输物品在时序上的状态动态变化特征信息，并以此得到用于表示所设置的冷链运输温度是否合理的分类结果。这样，可以基于所述待冷链运输的物品品类对于冷链运输的温度进行实时智能控制，进而保证冷链运输物品的货物品质。
Description
技术领域
本申请涉及智能化监控技术领域，且更为具体地，涉及一种冷链运输远程监控系统。
背景技术
冷链运输（Cold-chaintransportation）是指在运输全过程中，无论是装卸搬运、变更运输方式、更换包装设备等环节，都使所运输货物始终保持一定温度的运输。
冷链运输方式可以是公路运输、水路运输、铁路运输、航空运输，也可以是多种运输方式组成的综合运输方式。冷链运输是冷链物流的一个重要环节，冷链运输成本高且冷链运输管理包含更多的风险和不确定性。
目前，在冷链监控领域，由于控制逻辑复杂，监测与控制功能是分离的，或仅有本地控制而无可视化及远程监测功能，或仅具有远程监测而无远程控制功能。此外，司机运输前需根据运输物品手动设置冷库温度并启动控制系统，不具备智能性，无法实现冷链运输的远程实时智能监控。
因此，期待一种优化的冷链运输远程监控方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种冷链运输远程监控系统，其通过作为颜色特征提取器的第一卷积神经网络模型和作为纹理特征提取器的第二卷积神经网络模型从待冷链运输的物品的监控视频中挖掘出该冷链运输物品的颜色隐藏特征和纹理隐藏特征，并将这两种特征进行融合；然后，通过使用三维卷积核的第三卷积神经网络模型提取出所述待冷链运输物品在时序上的状态动态变化特征信息，并以此得到用于表示所设置的冷链运输温度是否合理的分类结果。这样，可以基于所述待冷链运输的物品品类对于冷链运输的温度进行实时智能控制，进而保证冷链运输物品的货物品质。
根据本申请的一个方面，提供了一种冷链运输远程监控系统，其包括：
视频监控单元，用于获取待冷链运输的物品的监控视频；
采样单元，用于从所述监控视频提取多个监控关键帧；
颜色空间转换单元，用于将所述多个监控关键帧中的各个监控关键帧分别从RGB颜色空间转化到YCbCr颜色空间并抽取各个通道的LBP纹理特征直方图;
纹理特征聚合单元，用于将所述各个通道的LBP纹理特征直方图沿着通道维度进行聚合以得到多通道LBP纹理特征直方图；
颜色特征提取单元，用于将所述各个监控关键帧分别通过作为颜色特征提取器的第一卷积神经网络模型以得到颜色特征图；
纹理特征提取单元，用于将所述多通道LBP纹理特征直方图分别通过作为纹理特征提取器的第二卷积神经网络模型以得到纹理特征图；
融合单元，用于分别融合所述颜色特征图和所述纹理特征图以得到多个融合特征图；
状态变化特征提取单元，用于将所述多个融合特征图通过使用三维卷积核的第三卷积神经网络模型以得到运输物品状态变化特征图；以及，监控结果生成单元，用于将所述运输物品状态变化特征图通过分类器以得到分类结果，所述分类结果用于表示所设置的冷链运输温度是否合理。
在上述冷链运输远程监控系统中，所述采样单元，进一步用于以预定采样频率从所述监控视频提取所述多个监控关键帧。
在上述冷链运输远程监控系统中，所述颜色特征提取单元，进一步用于：使用所述作为颜色特征提取器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为颜色特征提取器的第一卷积神经网络模型的最后一层输出所述颜色特征图，其中，所述作为颜色特征提取器的第一卷积神经网络模型的第一层的输入为所述各个监控关键帧。
在上述冷链运输远程监控系统中，所述纹理特征提取单元，进一步用于：使用所述作为纹理特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为纹理特征提取器的第二卷积神经网络模型的最后一层输出所述纹理特征图，其中，所述作为纹理特征提取器的第二卷积神经网络模型的第一层的输入为所述多通道LBP纹理特征直方图。
在上述冷链运输远程监控系统中，所述融合单元，包括：叠加子单元，用于将所述颜色特征图和所述纹理特征图进行按位置相乘以得到叠加特征图；模板特征提取子单元，用于对所述叠加特征图进行卷积处理以得到模板特征图；第一残差融合子单元，用于计算所述模板特征图和所述颜色特征图的按位置加权和以得到第一融合特征图；第二残差融合子单元，用于计算所述模板特征图和所述纹理特征图的按位置加权和以得到第二融合特征图；以及，再融合子单元，用于融合所述第一融合特征图和所述第二融合特征图以得到所述融合特征图。
在上述冷链运输远程监控系统中，所述状态变化特征提取单元，用于：使用所述使用三维卷积核的第三卷积神经网络模型的各层在层的正向传递过程中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述使用三维卷积核的第三卷积神经网络模型的最后一层的输出为所述运输物品状态变化特征图，所述使用三维卷积核的第三卷积神经网络模型的第一层的输入为所述多个融合特征图。
在上述冷链运输远程监控系统中，所述监控结果生成单元，进一步用于：使用所述分类器以如下公式对所述运输物品状态变化特征图进行处理以得到分类结果，其中，所述公式为：
，其中，
到
为权重矩阵，
到
为偏置向量，
为所述运输物品状态变化特征图投影为向量。
在上述冷链运输远程监控系统中，还包含用于对所述作为颜色特征提取器的第一卷积神经网络模型、所述作为纹理特征提取器的第二卷积神经网络模型、所述使用三维卷积核的第三卷积神经网络模型和所述分类器进行训练的训练模块。
在上述冷链运输远程监控系统中，所述训练模块，包括：训练视频监控单元，用于获取训练数据，所述训练数据包括训练监控视频，以及，所述所设置的冷链运输温度是否合理的真实值；训练采样单元，用于从所述训练监控视频提取多个训练监控关键帧；训练颜色空间转换单元，用于将所述多个训练监控关键帧中的各个训练监控关键帧分别从RGB颜色空间转化到YCbCr颜色空间并抽取各个通道的训练LBP纹理特征直方图;训练纹理特征聚合单元，用于将所述各个通道的训练LBP纹理特征直方图沿着通道维度进行聚合以得到训练多通道LBP纹理特征直方图；训练颜色特征提取单元，用于将所述各个训练监控关键帧分别通过所述作为颜色特征提取器的第一卷积神经网络模型以得到训练颜色特征图；训练纹理特征提取单元，用于将所述训练多通道LBP纹理特征直方图分别通过所述作为纹理特征提取器的第二卷积神经网络模型以得到训练纹理特征图；训练融合单元，用于分别融合所述训练颜色特征图和所述训练纹理特征图以得到多个训练融合特征图；训练状态变化特征提取单元，用于将所述多个训练融合特征图通过所述使用三维卷积核的第三卷积神经网络模型以得到训练运输物品状态变化特征图；以及，分类损失单元，用于将所述训练运输物品状态变化特征图通过所述分类器以得到分类损失函数值；训练单元，用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述作为颜色特征提取器的第一卷积神经网络模型、所述作为纹理特征提取器的第二卷积神经网络模型、所述使用三维卷积核的第三卷积神经网络模型和所述分类器进行训练，其中，在所述训练的每一轮迭代中，基于远程迁移矩阵和惩罚向量对所述训练运输物品状态变化特征图展开后得到的分类特征向量进行迭代。
在上述冷链运输远程监控系统中，在所述训练的每一轮迭代中，基于所述远程迁移矩阵和所述惩罚向量以如下公式对所述训练运输物品状态变化特征图展开后得到的分类特征向量进行迭代；
其中，所述公式为：
其中
表示所述训练运输物品状态变化特征图展开后得到的分类特征向量，
表示具有可学习的参数的所述远程迁移矩阵，
表示每次迭代时所述分类器的初始全连接权重矩阵，且
为所述惩罚向量，
表示
激活函数，
表示按位置加法，
表示按位置减法， 
表示矩阵相乘，
表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值。
与现有技术相比，本申请提供的冷链运输远程监控系统，其通过作为颜色特征提取器的第一卷积神经网络模型和作为纹理特征提取器的第二卷积神经网络模型从待冷链运输的物品的监控视频中挖掘出该冷链运输物品的颜色隐藏特征和纹理隐藏特征，并将这两种特征进行融合；然后，通过使用三维卷积核的第三卷积神经网络模型提取出所述待冷链运输物品在时序上的状态动态变化特征信息，并以此得到用于表示所设置的冷链运输温度是否合理的分类结果。这样，可以基于所述待冷链运输的物品品类对于冷链运输的温度进行实时智能控制，进而保证冷链运输物品的货物品质。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及，其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的冷链运输远程监控系统的应用场景图。
图2为根据本申请实施例的冷链运输远程监控系统的框图。
图3为根据本申请实施例的冷链运输远程监控系统中所述融合单元的框图。
图4为根据本申请实施例的冷链运输远程监控系统中所述训练模块的框图。
图5为根据本申请实施例的系统架构图。
图6为根据本申请实施例的电源电路图。
图7为根据本申请实施例的模拟量输出图。
图8为根据本申请实施例的模拟量输入图。
图9为根据本申请实施例的开关量输入图。
图10为根据本申请实施例的电源接线端子示意图。
图11为根据本申请实施例的开关量输入接线端子及指示灯示意图。
图12为根据本申请实施例的温度传感器输入接线端子示意图。
图13为根据本申请实施例的0-12V输入接线端子示意图。
图14为根据本申请实施例的模拟量输出接线端子示意图。
图15为根据本申请实施例的整体软件架构图。
图16为根据本申请实施例的启动流程图。
图17为根据本申请实施例的冷链运输远程监控方法的流程图。
图18为根据本申请实施例的冷链运输远程监控方法的架构的示意图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述
如上所述，在冷链监控领域，由于控制逻辑复杂，监测与控制功能是分离的，或仅有本地控制而无可视化及远程监测功能，或仅具有远程监测而无远程控制功能。此外，司机运输前需根据运输物品手动设置冷库温度并启动控制系统，不具备智能性，无法实现冷链运输的远程实时智能监控。因此，期待一种优化的冷链运输远程监控方案。
近年来，深度学习以及，神经网络的发展为冷链运输的远程智能监控提供了新的解决思路和方案。
相应地，考虑到由于传统的冷链运输温度控制方案大多数是通过司机手动根据运输物品的适宜存放温度来进行设置，这样并没有考虑到实际的运输环境，同时智能性也较差，因此，期望基于对冷链运输物品的实时监测来智能地进行运输冷库温度的自适应控制。具体地，考虑到对于冷链运输温度的适宜控制需要根据物品的状态变化特征来得到，而冷链运输物品的状态变化特征可以根据物品的颜色和纹理隐含特征来提取，因此，在本申请的技术方案中，利用基于深度学习的人工智能算法来从对于冷链运输物品的监控视频中挖掘出该所述冷链运输物品的颜色隐藏特征和纹理隐藏特征，并以这两者的融合特征来表示所述冷链运输物品的品类状态特征以进行冷链运输温度的智能控制。这样，能够通过该方案构建不同运输物品的数据库，确定其最佳的储藏温度，并在车辆启动后根据所运输物品智能调节运输环境，避免人为操作带来的误差，进而保证冷链运输物品的货物品质。
具体地，在本申请的技术方案中，首先，通过摄像头获取待冷链运输的物品监控视频。应可以理解，所述待冷链运输的物品的状态变化特征可以通过所述监控视频中相邻监控帧之间的差分来表示，也就是，通过相邻图像帧的图像表征来表示所述冷链运输物品的状态变化情况。但是，考虑到所述监控视频中相邻帧的差异较小，存在大量数据冗余，因此，为了降低计量算，且避免数据冗余给检测带来的不良影响，以预定采样频率对所述待冷链运输的物品监控视频进行关键帧采样，从而得到所述多个监控关键帧。
接着，考虑到由于灰度图的纹理分析在低分辨率的所述监控关键帧中准确率不高，因此，在本申请的技术方案中，需要进一步将所述多个监控关键帧中的各个监控关键帧分别从RGB颜色空间转化到YCbCr颜色空间并抽取各个通道的LBP纹理特征直方图，以利用更准确的所述经表面改性处理后的多个监控关键帧中的各个监控关键帧的隐含纹理特征来进行所述冷链运输物品的状态监测。接着，对于所述各个通道的LBP纹理特征直方图，将其沿着通道维度进行聚合以得到多通道LBP纹理特征直方图。
然后，进一步将所述多通道LBP纹理特征直方图分别通过作为纹理特征提取器的第二卷积神经网络模型中进行特征挖掘，以提取出所述多通道LBP纹理特征直方图中关于所述待冷链运输物品的纹理隐含特征变化信息，即所述待冷链运输物品状态变化的动态特征，从而得到纹理特征图。
进一步地，同样地，对于所述待冷链运输物品的颜色特征提取，将所述各个监控关键帧分别通过作为颜色特征提取器的第一卷积神经网络模型以得到颜色特征图，也就是，通过所述作为颜色特征提取器的第一卷积神经网络模型提取出所述待冷链运输物品的颜色隐含特征的动态变化信息，从而得到颜色特征图。
然后，在得到所述颜色特征图和所述纹理特征图后，分别融合所述颜色特征图和所述纹理特征图以得到多个融合特征图。具体地，可以利用乘加互补运算来融合所述颜色特征图和所述纹理特征图中的特征信息，也就是，首先，利用乘加互补运算将两个降维featuremap按对应元素相乘并经过3×3卷积结构进行特征提取，进而产生具有综合性描述的模板特征，此模板特征反映了两支路featuremap中所述颜色特征图和所述纹理特征图的互异信息，表征了有用信息和冗余噪声信息的综合特征分布。然后，再将该所述模板特征与残差分支按元素相加，即分别与所述颜色特征图和所述纹理特征图按位置相加，使得原featuremap会根据其与所述模板特征的差异进行融合，此为特征互补的过程，最后得到多个融合特征图。
接着，在得到了用于表示所述待冷链运输的物品的颜色特征和纹理特征融合后的状态特征后，将所述多个融合特征图通过使用三维卷积核的第三卷积神经网络模型以得到运输物品状态变化特征图。也就是，通过使用三维卷积核的第三卷积神经网络模型来对于所述多个融合特征图进行处理，以提取出所述待冷链运输物品在时序上的状态动态变化特征信息，从而得到运输物品状态变化特征图，并以此来进行分类，就能够得到用于表示所设置的冷链运输温度是否合理的分类结果。
特别地，在本申请的技术方案中，这里，由于所述颜色特征图和所述纹理特征图本身具有特征分布差异，在使用乘加互补运算结构来进行融合时，会直接将这种特征分布差异进入所述多个融合特征图中，并且进一步由使用三维卷积核的第三卷积神经网络模型引入运输物品状态变化特征图中。这样，所述运输物品状态变化特征图的特征分布会相对于所述颜色特征图和所述纹理特征图的特征分布存在跨分类器的远程分布偏差，从而影响分类器的训练速度和所述运输物品状态变化特征图对所述颜色特征图和所述纹理特征图的特征融合程度，即影响所述运输物品状态变化特征图的分类准确性。
因此，在本申请的技术方案中，在模型的训练过程中，使用跨分类器的远程分布描述性增强来优化所述运输物品状态变化特征图的分类过程，具体地，在分类过程中，在每次分类器的权重矩阵的迭代过程中，通过下式来计算输入分类器的分类特征向量：
这样，通过以具有可学习的参数的远程迁移矩阵
来对跨分类器的分布迁移进行特征分布的支持性描述，可以支持优化后的分类特征向量
跨分类器的全连接权重矩阵
的远程分布对预定分类的类概率的描述性，并且，惩罚向量
作为偏置并以
激活函数进行激活，用于保留具有正向作用的分布描述依赖的增强，由此，就提升了分类器的训练速度和所述运输物品状态变化特征图对所述颜色特征图和所述纹理特征图的特征融合程度，由此提升了所述运输物品状态变化特征图的分类准确性。这样，能够基于所述待冷链运输的物品品类对于冷链运输的温度进行实时智能控制，也就是，通过该方案构建不同运输物品的数据库，确定其最佳的储藏温度，并在车辆启动后根据所运输物品智能调节运输环境，以避免人为操作带来的误差，进而保证冷链运输物品的货物品质。
图1为根据本申请实施例的冷链运输远程监控系统的应用场景图。如图1所示，在该应用场景中，首先通过摄像头（例如，图1中所示意的C）获取待冷链运输的物品的监控视频（例如，图1中所示意的M）；然后，将获取的监控视频输入至部署有冷链运输远程监控系统的服务器中（例如，图1中所示意的S），其中，所述服务器能够使用冷链运输远程监控算法对所述监控视频进行处理，以生成用于表示所设置的冷链运输温度是否合理的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图2为根据本申请实施例的冷链运输远程监控系统的框图。如图2所示，根据本申请实施例的冷链运输远程监控系统100，包括：视频监控单元110，用于获取待冷链运输的物品的监控视频；采样单元120，用于从所述监控视频提取多个监控关键帧；颜色空间转换单元130，用于将所述多个监控关键帧中的各个监控关键帧分别从RGB颜色空间转化到YCbCr颜色空间并抽取各个通道的LBP纹理特征直方图；纹理特征聚合单元140，用于将所述各个通道的LBP纹理特征直方图沿着通道维度进行聚合以得到多通道LBP纹理特征直方图；颜色特征提取单元150，用于将所述各个监控关键帧分别通过作为颜色特征提取器的第一卷积神经网络模型以得到颜色特征图；纹理特征提取单元160，用于将所述多通道LBP纹理特征直方图分别通过作为纹理特征提取器的第二卷积神经网络模型以得到纹理特征图；融合单元170，用于分别融合所述颜色特征图和所述纹理特征图以得到多个融合特征图；状态变化特征提取单元180，用于将所述多个融合特征图通过使用三维卷积核的第三卷积神经网络模型以得到运输物品状态变化特征图；以及，监控结果生成单元190，用于将所述运输物品状态变化特征图通过分类器以得到分类结果，所述分类结果用于表示所设置的冷链运输温度是否合理。
具体地，在本申请实施例中，所述视频监控单元110和所述采样单元120，用于获取待冷链运输的物品的监控视频，以及，用于从所述监控视频提取多个监控关键帧。如前所述，在冷链监控领域，由于控制逻辑复杂，监测与控制功能是分离的，或仅有本地控制而无可视化及远程监测功能，或仅具有远程监测而无远程控制功能。此外，司机运输前需根据运输物品手动设置冷库温度并启动控制系统，不具备智能性，无法实现冷链运输的远程实时智能监控。因此，期待一种优化的冷链运输远程监控方案。
具体地，考虑到由于传统的冷链运输温度控制方案大多数是通过司机手动根据运输物品的适宜存放温度来进行设置，这样并没有考虑到实际的运输环境，同时智能性也较差，因此，期望基于对冷链运输物品的实时监测来智能地进行运输冷库温度的自适应控制。具体地，考虑到对于冷链运输温度的适宜控制需要根据物品的状态变化特征来得到，而冷链运输物品的状态变化特征可以根据物品的颜色和纹理隐含特征来提取，因此，在本申请的技术方案中，利用基于深度学习的人工智能算法来从对于冷链运输物品的监控视频中挖掘出该所述冷链运输物品的颜色隐藏特征和纹理隐藏特征，并以这两者的融合特征来表示所述冷链运输物品的品类状态特征以进行冷链运输温度的智能控制。这样，能够通过该方案构建不同运输物品的数据库，确定其最佳的储藏温度，并在车辆启动后根据所运输物品智能调节运输环境，避免人为操作带来的误差，进而保证冷链运输物品的货物品质。
综上所述，本申请技术方案的发明点在于：采用实时嵌入式操作系统保证本地监控和远程监控的同步实时；根据运输物品智能调节运输环境，避免人为操作带来的误差；具备系统故障监测与报警功能，实现本地监控与远程监控的联动。
本申请的技术方案解决的技术问题包括：实现冷链运输的远程监控的实时同步；以及，根据运输物品自动启动控制系统，无需人为操作。
具体地，在本申请的技术方案中，首先，通过摄像头获取待冷链运输的物品监控视频。在本申请一具体示例中，所述摄像头的数量可以为至少一个，以从多个角度获取所述待冷链运输的物品监控视频。应可以理解，所述待冷链运输的物品的状态变化特征可以通过所述监控视频中相邻监控帧之间的差分来表示，也就是，通过相邻图像帧的图像表征来表示所述冷链运输物品的状态变化情况。但是，考虑到所述监控视频中相邻帧的差异较小，存在大量数据冗余，因此，为了降低计量算，且避免数据冗余给检测带来的不良影响，以预定采样频率对所述待冷链运输的物品监控视频进行关键帧采样，也就是，以预定采样频率从所述监控视频提取所述多个监控关键帧，从而得到所述多个监控关键帧。
具体地，在本申请实施例中，所述颜色空间转换单元130和所述纹理特征聚合单元140，用于将所述多个监控关键帧中的各个监控关键帧分别从RGB颜色空间转化到YCbCr颜色空间并抽取各个通道的LBP纹理特征直方图，以及，用于将所述各个通道的LBP纹理特征直方图沿着通道维度进行聚合以得到多通道LBP纹理特征直方图。考虑到由于灰度图的纹理分析在低分辨率的所述监控关键帧中准确率不高，因此，在本申请的技术方案中，需要进一步将所述多个监控关键帧中的各个监控关键帧分别从RGB颜色空间转化到YCbCr颜色空间并抽取各个通道的LBP纹理特征直方图，以利用更准确的所述经表面改性处理后的多个监控关键帧中的各个监控关键帧的隐含纹理特征来进行所述冷链运输物品的状态监测。接着，对于所述各个通道的LBP纹理特征直方图，将其沿着通道维度进行聚合以得到多通道LBP纹理特征直方图。
具体地，在本申请实施例中，所述颜色特征提取单元150，用于将所述各个监控关键帧分别通过作为颜色特征提取器的第一卷积神经网络模型以得到颜色特征图。进一步地，对于所述待冷链运输物品的颜色特征提取，将所述各个监控关键帧分别通过作为颜色特征提取器的第一卷积神经网络模型以得到颜色特征图，也就是，通过所述作为颜色特征提取器的第一卷积神经网络模型提取出所述待冷链运输物品的颜色隐含特征的动态变化信息，从而得到颜色特征图。
进一步地，使用所述作为颜色特征提取器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为颜色特征提取器的第一卷积神经网络模型的最后一层输出所述颜色特征图，其中，所述作为颜色特征提取器的第一卷积神经网络模型的第一层的输入为所述各个监控关键帧。
应可以理解，所述作为颜色特征提取器的第一卷积神经网络模型可以实现对于所述待冷链运输物品的颜色特征提取，即通过所述作为颜色特征提取器的第一卷积神经网络模型提取出所述待冷链运输物品的颜色隐含特征的动态变化信息。
具体地，在本申请实施例中，所述纹理特征提取单元160，用于将所述多通道LBP纹理特征直方图分别通过作为纹理特征提取器的第二卷积神经网络模型以得到纹理特征图。进一步，同样地，将所述多通道LBP纹理特征直方图分别通过作为纹理特征提取器的第二卷积神经网络模型中进行特征挖掘，以提取出所述多通道LBP纹理特征直方图中关于所述待冷链运输物品的纹理隐含特征变化信息，即所述待冷链运输物品状态变化的动态特征，从而得到纹理特征图。
更具体地，使用所述作为纹理特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为纹理特征提取器的第二卷积神经网络模型的最后一层输出所述纹理特征图，其中，所述作为纹理特征提取器的第二卷积神经网络模型的第一层的输入为所述多通道LBP纹理特征直方图。
也就是，通过所述作为纹理特征提取器的第二卷积神经网络模型提取出所述多通道LBP纹理特征直方图中关于所述待冷链运输物品的纹理隐含特征变化信息，即将所述多通道LBP纹理特征直方图分别通过作为纹理特征提取器的第二卷积神经网络模型以得到纹理特征图。
具体地，在本申请实施例中，所述融合单元170，用于分别融合所述颜色特征图和所述纹理特征图以得到多个融合特征图。然后，在得到所述颜色特征图和所述纹理特征图后，分别融合所述颜色特征图和所述纹理特征图以得到多个融合特征图。
更具体地，可以利用乘加互补运算来融合所述颜色特征图和所述纹理特征图中的特征信息，也就是，首先，利用乘加互补运算将两个降维featuremap按对应元素相乘并经过3×3卷积结构进行特征提取，进而产生具有综合性描述的模板特征，此模板特征反映了两支路featuremap中所述颜色特征图和所述纹理特征图的互异信息，表征了有用信息和冗余噪声信息的综合特征分布。然后，再将该所述模板特征与残差分支按元素相加，即分别与所述颜色特征图和所述纹理特征图按位置相加，使得原featuremap会根据其与所述模板特征的差异进行融合，此为特征互补的过程，最后得到多个融合特征图。
在本申请实施例中，图3为根据本申请实施例的冷链运输远程监控系统中所述融合单元的框图，如图3所示，所述融合单元，包括：叠加子单元210，用于将所述颜色特征图和所述纹理特征图进行按位置相乘以得到叠加特征图；模板特征提取子单元220，用于对所述叠加特征图进行卷积处理以得到模板特征图；第一残差融合子单元230，用于计算所述模板特征图和所述颜色特征图的按位置加权和以得到第一融合特征图；第二残差融合子单元240，用于计算所述模板特征图和所述纹理特征图的按位置加权和以得到第二融合特征图；以及，再融合子单元250，用于融合所述第一融合特征图和所述第二融合特征图以得到所述融合特征图。
应可以理解，在得到所述颜色特征图和所述纹理特征图后，利用乘加互补运算来融合所述颜色特征图和所述纹理特征图中的特征信息，以使得所述待冷链运输的物品的表面信息得到充分融合，以有利于所述待冷链运输的物品的表面信息的提取。
具体地，在本申请实施例中，所述状态变化特征提取单元180，用于将所述多个融合特征图通过使用三维卷积核的第三卷积神经网络模型以得到运输物品状态变化特征图。接着，在得到了用于表示所述待冷链运输的物品的颜色特征和纹理特征融合后的状态特征后，将所述多个融合特征图通过使用三维卷积核的第三卷积神经网络模型以得到运输物品状态变化特征图。也就是，通过使用三维卷积核的第三卷积神经网络模型来对于所述多个融合特征图进行处理，以提取出所述待冷链运输物品在时序上的状态动态变化特征信息，从而得到运输物品状态变化特征图，并以此来进行分类，就能够得到用于表示所设置的冷链运输温度是否合理的分类结果。
进一步地，使用所述使用三维卷积核的第三卷积神经网络模型的各层在层的正向传递过程中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述使用三维卷积核的第三卷积神经网络模型的最后一层的输出为所述运输物品状态变化特征图，所述使用三维卷积核的第三卷积神经网络模型的第一层的输入为所述多个融合特征图。
应可以理解，通过使用三维卷积核的第三卷积神经网络模型来对于所述多个融合特征图进行处理，以提取出所述待冷链运输物品在时序上的状态动态变化特征信息，从而得到运输物品状态变化特征图，以使得分类结果更加准确。
具体地，在本申请实施例中，所述监控结果生成单元190，用于将所述运输物品状态变化特征图通过分类器以得到分类结果，所述分类结果用于表示所设置的冷链运输温度是否合理。这样，能够基于所述待冷链运输的物品品类对于冷链运输的温度进行实时智能控制，进而保证冷链运输物品的货物品质。
进一步地，在本申请实施例中，使用所述分类器以如下公式对所述运输物品状态变化特征图进行处理以得到分类结果，其中，所述公式为：
其中，
到
为权重矩阵，
到
为偏置向量，
为所述运输物品状态变化特征图投影为向量。
在本申请实施例中，所述冷链运输远程监控系统还包含用于对所述作为颜色特征提取器的第一卷积神经网络模型、所述作为纹理特征提取器的第二卷积神经网络模型、所述使用三维卷积核的第三卷积神经网络模型和所述分类器进行训练的训练模块300。
图4为根据本申请实施例的冷链运输远程监控系统中所述训练模块的框图，如图4所示，所述训练模块300，包括：训练视频监控单元301，用于获取训练数据，所述训练数据包括训练监控视频，以及，所述所设置的冷链运输温度是否合理的真实值；训练采样单元302，用于从所述训练监控视频提取多个训练监控关键帧；训练颜色空间转换单元303，用于将所述多个训练监控关键帧中的各个训练监控关键帧分别从RGB颜色空间转化到YCbCr颜色空间并抽取各个通道的训练LBP纹理特征直方图;训练纹理特征聚合单元304，用于将所述各个通道的训练LBP纹理特征直方图沿着通道维度进行聚合以得到训练多通道LBP纹理特征直方图；训练颜色特征提取单元305，用于将所述各个训练监控关键帧分别通过所述作为颜色特征提取器的第一卷积神经网络模型以得到训练颜色特征图；训练纹理特征提取单元306，用于将所述训练多通道LBP纹理特征直方图分别通过所述作为纹理特征提取器的第二卷积神经网络模型以得到训练纹理特征图；训练融合单元307，用于分别融合所述训练颜色特征图和所述训练纹理特征图以得到多个训练融合特征图；训练状态变化特征提取单元308，用于将所述多个训练融合特征图通过所述使用三维卷积核的第三卷积神经网络模型以得到训练运输物品状态变化特征图；以及，分类损失单元309，用于将所述训练运输物品状态变化特征图通过所述分类器以得到分类损失函数值；训练单元310，用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述作为颜色特征提取器的第一卷积神经网络模型、所述作为纹理特征提取器的第二卷积神经网络模型、所述使用三维卷积核的第三卷积神经网络模型和所述分类器进行训练，其中，在所述训练的每一轮迭代中，基于远程迁移矩阵和惩罚向量对所述训练运输物品状态变化特征图展开后得到的分类特征向量进行迭代。
特别地，在本申请的技术方案中，这里，由于所述颜色特征图和所述纹理特征图本身具有特征分布差异，在使用乘加互补运算结构来进行融合时，会直接将这种特征分布差异进入所述多个融合特征图中，并且进一步由使用三维卷积核的第三卷积神经网络模型引入运输物品状态变化特征图中。这样，所述运输物品状态变化特征图的特征分布会相对于所述颜色特征图和所述纹理特征图的特征分布存在跨分类器的远程分布偏差，从而影响分类器的训练速度和所述运输物品状态变化特征图对所述颜色特征图和所述纹理特征图的特征融合程度，即影响所述运输物品状态变化特征图的分类准确性。
因此，在本申请的技术方案中，在模型的训练过程中，使用跨分类器的远程分布描述性增强来优化所述运输物品状态变化特征图的分类过程，在所述训练的每一轮迭代中，基于所述远程迁移矩阵和所述惩罚向量以如下公式对所述训练运输物品状态变化特征图展开后得到的分类特征向量进行迭代；其中，所述公式为：
其中
表示所述训练运输物品状态变化特征图展开后得到的分类特征向量，
表示具有可学习的参数的所述远程迁移矩阵，
表示每次迭代时所述分类器的初始全连接权重矩阵，且
为所述惩罚向量
，表示
激活函数，
表示按位置加法，
表示按位置减法， 
表示矩阵相乘，
表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值。
这样，通过以具有可学习的参数的远程迁移矩阵
来对跨分类器的分布迁移进行特征分布的支持性描述，可以支持优化后的分类特征向量
跨分类器的全连接权重矩阵
的远程分布对预定分类的类概率的描述性，并且，惩罚向量
作为偏置并以
激活函数进行激活，用于保留具有正向作用的分布描述依赖的增强，由此，就提升了分类器的训练速度和所述运输物品状态变化特征图对所述颜色特征图和所述纹理特征图的特征融合程度，由此提升了所述运输物品状态变化特征图的分类准确性。这样，能够基于所述待冷链运输的物品品类对于冷链运输的温度进行实时智能控制，也就是，通过该方案构建不同运输物品的数据库，确定其最佳的储藏温度，并在车辆启动后根据所运输物品智能调节运输环境，以避免人为操作带来的误差，进而保证冷链运输物品的货物品质。
在本申请的一个具体实施例中，所述冷链运输远程监控系统包括硬件设计、软件设计和人机交互界面设计。其中，在所述冷链运输远程监控系统的所述硬件设计中，其采用如图5所示的STM32F429VIT6作为控制核心，拓展电源输入接口电路、模拟量输出接口电路、模拟量输入接口电路、开关量输入接口电路、人机交互接口电路和远程通讯接口电路。电源电路采用电平供电，利用URB2412YMD_10WR3实现稳压，提供标准DC12V输出，如图6所示，用于模拟量输入，通过LM2576S-5.0/TR将DC12V转换为DC5V，进而通过SC1117-3.3将DC5V转换为DC3.3V为MCU提供稳定电源。模拟量输出采用如图7所示的HF49FD/012-1H12G继电器接电平，用于输出DC12V电源，利用保险丝实现过流保护。模拟量输入通过精密电阻分压后接MCU模拟量输入引脚，如图8所示。开关量输入通过EL817光耦进行光电隔离，增强系统稳定性，如图9所示。电源接线端子为CN3，如图10所示，具体接线如表1所列。
表1电源接线方式
开关量输入接线端子为CN1，如图11所示，具体接线如表2所列。
表2开关量输入接线方式
模拟量输入接线端子为CN4（温度传感器）和CN5（0-12V模拟量输入），分别如图12和图13所示，具体接线如表3和表4所列。
表3温度传感器输入接线方式
表4 0-12V输入接线方式
模拟量输出12V电压，接线端子为CN6（有源输出）和CN2（无源输出），分别如图14所示，具体接线如表5所列。
表5模拟量输出接线方式
进一步地，在本申请的一个具体实施例中，所述冷链运输远程监控系统的所述软件设计中，所述软件设计采用国产操作系统RT-Thread，整体架构如图15所示。系统启动后，首先进行初始化，设置MCU各引脚工作模式，同时采集并显示各输入输出状态。用户通过触摸屏发送控制指令，包括开机、关机、设置工作模式等。人机交互采用标准的ModBus协议，控制系统作为主机，触摸屏作为从机。通讯协议如表6所列。
表6通讯协议
其中，所述软件设计的关键在于启动，启动流程如图16所示。
更进一步地，在本申请的一个具体实施例中，所述冷链运输远程监控系统的所述人机交互界面设计中，采用昆仑通态的MCGS7寸触摸屏，信号TPC7062TI，通过RS232与控制系统通讯。人机交互界面包括开机、主界面、参数设定、运行状态、故障档案、历史故障、常见故障处理和开关机。
（1）开机
开机后进入登录界面，用户名为“User1”，密码“000000”，默认已填，直接点击确认即可进入主界面。
（2）主界面
主界面显示当前时间、总运行时间、回风温度、设定温度、工作模式、高速锁定、运行工况、机组状态、备电输入及报警信息。下方有“参数设定”、“运行状态”、“故障档案”、“常见故障”和“开/关机”5个按钮，单击可执行相应操作。
（3）参数设定
单击“参数设定”按钮，弹出输入密码对话框，初始密码为“0”，默认已填，单击确定即可进入参数设定界面。
单击温度设定值、温度上偏差、温度下偏差输入框，弹出触摸键盘，可输入相应值进行设置。
单击“启动方式”按钮，设置手动和自动启动方式。启动方式为手动时，需在主界面单击“开/关机”按钮进行启动。启动方式为自动时，开机自动启动。
单击“温度单位”按钮可切换温度单位为摄氏或华氏。
单击“循环工作模式”按钮可切换工作模式为循环或连续。
单击“手动除霜”按钮可进行手动除霜。
单击“手动退除霜”按钮退出手动除霜。
单击“高速解除”按钮可解除高速或锁定高速。
单击“密码设置”按钮可设置参数设定界面进入密码。
单击“主页”按钮则返回主页。（其它界面相同）
（4）运行状态
运行状态界面包括数值显示和开关显示2个界面，单击“运行状态”按钮，进入运行状态（数值显示）界面，显示吸气温度、回风温度、出风温度、环境温度、电机转速、电平电压、排气温度、蒸发器温度、发动机水温、备电指示灯、发电机运行时间、系统运行时间和电动机运行时间等信息。
单击“上一页”按钮进入运行状态（开关显示）界面，上方X00-X15显示开关量输入状态，关（绿色）表示断开，开（红色）表示闭合。下方Y00-Y17显示模拟量输出状态，关（绿色）表示不输出，开（红色）表示输出12V。表示不输出，开（红色）表示输出12V。单击“上一页”按钮返回运行状态（数值显示）界面。单击“主页”按钮返回主页。
（5）故障档案
单击“故障档案”按钮，进入当前故障界面，显示当前存在故障（红色）。
单击“故障复位”按钮，确认故障，如果故障为消除，则绿色显示故障，如果故障已消除，则不再显示该故障。
单击“历史复位”按钮，进入历史故障界面，显示历史故障，红色表示故障存在，蓝色表示故障消除，绿色表示已确认故障。
（6）常见故障
单击“常见故障”按钮，进入常见故障处理界面，描述了常见故障原因及处理方法。
（7）单击“开/关机”按钮，弹出“确定是否开关机对话框”，如果控制系统未开机，则左侧按钮为绿色“开机”，单击可启动控制系统，然后自动进入主页。如果控制系统已开机，则左侧按钮为红色“关机”，单击可关机，然后自动进入主页。
综上所述，所述冷链运输远程监控系统可以产生的有益效果包括：
1、系统采用实时嵌入式操作系统作为控制核心，保证本地控制的稳定性和远程监控的实时性；
2、系统构建不同运输物品数据库，确定其最佳储藏温度，车辆启动后根据所运输物品自动开机调节冷库温度，并将监控信息发送至云平台。同时具备故障监测和报警功能，能够及时监测系统故障，通过声光报警提醒司机，同时将故障信息发送至云平台，实现本地监控与远程监控的联动。
综上，基于本申请实施例的冷链运输远程监控系统100被阐明，其通过作为颜色特征提取器的第一卷积神经网络模型和作为纹理特征提取器的第二卷积神经网络模型从待冷链运输的物品的监控视频中挖掘出该冷链运输物品的颜色隐藏特征和纹理隐藏特征，并将这两种特征进行融合；然后，通过使用三维卷积核的第三卷积神经网络模型提取出所述待冷链运输物品在时序上的状态动态变化特征信息，并以此得到用于表示所设置的冷链运输温度是否合理的分类结果。这样，可以基于所述待冷链运输的物品品类对于冷链运输的温度进行实时智能控制，进而保证冷链运输物品的货物品质。
示例性方法
图17为根据本申请实施例的冷链运输远程监控方法的流程图。如图17所示，根据本申请实施例的冷链运输远程监控方法，其包括：S110，获取待冷链运输的物品的监控视频；S120，从所述监控视频提取多个监控关键帧；S130，将所述多个监控关键帧中的各个监控关键帧分别从RGB颜色空间转化到YCbCr颜色空间并抽取各个通道的LBP纹理特征直方图;S140，将所述各个通道的LBP纹理特征直方图沿着通道维度进行聚合以得到多通道LBP纹理特征直方图；S150，将所述各个监控关键帧分别通过作为颜色特征提取器的第一卷积神经网络模型以得到颜色特征图；S160，将所述多通道LBP纹理特征直方图分别通过作为纹理特征提取器的第二卷积神经网络模型以得到纹理特征图；S170，分别融合所述颜色特征图和所述纹理特征图以得到多个融合特征图；S180，将所述多个融合特征图通过使用三维卷积核的第三卷积神经网络模型以得到运输物品状态变化特征图；以及，S190，将所述运输物品状态变化特征图通过分类器以得到分类结果，所述分类结果用于表示所设置的冷链运输温度是否合理。
图18为根据本申请实施例的冷链运输远程监控方法的架构的示意图，如图18所示，在所述冷链运输远程监控方法的架构中，首先，获取待冷链运输的物品的监控视频；然后，从所述监控视频提取多个监控关键帧；接着，将所述多个监控关键帧中的各个监控关键帧分别从RGB颜色空间转化到YCbCr颜色空间并抽取各个通道的LBP纹理特征直方图;然后，将所述各个通道的LBP纹理特征直方图沿着通道维度进行聚合以得到多通道LBP纹理特征直方图；接着，将所述各个监控关键帧分别通过作为颜色特征提取器的第一卷积神经网络模型以得到颜色特征图；然后，将所述多通道LBP纹理特征直方图分别通过作为纹理特征提取器的第二卷积神经网络模型以得到纹理特征图；接着，分别融合所述颜色特征图和所述纹理特征图以得到多个融合特征图；然后，将所述多个融合特征图通过使用三维卷积核的第三卷积神经网络模型以得到运输物品状态变化特征图；以及，最后，将所述运输物品状态变化特征图通过分类器以得到分类结果，所述分类结果用于表示所设置的冷链运输温度是否合理。
在本申请的一个实施例中，在上述冷链运输远程监控方法中，所述从所述监控视频提取多个监控关键帧，进一步包括以预定采样频率从所述监控视频提取所述多个监控关键帧。
在本申请的一个实施例中，在上述冷链运输远程监控方法中，所述将所述各个监控关键帧分别通过作为颜色特征提取器的第一卷积神经网络模型以得到颜色特征图，进一步包括：使用所述作为颜色特征提取器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为颜色特征提取器的第一卷积神经网络模型的最后一层输出所述颜色特征图，其中，所述作为颜色特征提取器的第一卷积神经网络模型的第一层的输入为所述各个监控关键帧。
在本申请的一个实施例中，在上述冷链运输远程监控方法中，所述将所述多通道LBP纹理特征直方图分别通过作为纹理特征提取器的第二卷积神经网络模型以得到纹理特征图，进一步包括：使用所述作为纹理特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为纹理特征提取器的第二卷积神经网络模型的最后一层输出所述纹理特征图，其中，所述作为纹理特征提取器的第二卷积神经网络模型的第一层的输入为所述多通道LBP纹理特征直方图。
在本申请的一个实施例中，在上述冷链运输远程监控方法中，所述分别融合所述颜色特征图和所述纹理特征图以得到多个融合特征图，包括：将所述颜色特征图和所述纹理特征图进行按位置相乘以得到叠加特征图；对所述叠加特征图进行卷积处理以得到模板特征图；计算所述模板特征图和所述颜色特征图的按位置加权和以得到第一融合特征图；计算所述模板特征图和所述纹理特征图的按位置加权和以得到第二融合特征图；以及，融合所述第一融合特征图和所述第二融合特征图以得到所述融合特征图。
在本申请的一个实施例中，在上述冷链运输远程监控方法中，所述将所述多个融合特征图通过使用三维卷积核的第三卷积神经网络模型以得到运输物品状态变化特征图，包括：使用所述使用三维卷积核的第三卷积神经网络模型的各层在层的正向传递过程中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述使用三维卷积核的第三卷积神经网络模型的最后一层的输出为所述运输物品状态变化特征图，所述使用三维卷积核的第三卷积神经网络模型的第一层的输入为所述多个融合特征图。
在本申请的一个实施例中，在上述冷链运输远程监控方法中，所述将所述运输物品状态变化特征图通过分类器以得到分类结果，所述分类结果用于表示所设置的冷链运输温度是否合理，进一步包括：使用所述分类器以如下公式对所述运输物品状态变化特征图进行处理以得到分类结果，其中，所述公式为：
，其中， 
到
为权重矩阵，
到
为偏置向量，
为所述运输物品状态变化特征图投影为向量。
在本申请的一个实施例中，在上述冷链运输远程监控方法中，还包含对所述作为颜色特征提取器的第一卷积神经网络模型、所述作为纹理特征提取器的第二卷积神经网络模型、所述使用三维卷积核的第三卷积神经网络模型和所述分类器进行训练。
在本申请的一个实施例中，在上述冷链运输远程监控方法中，所述对所述作为颜色特征提取器的第一卷积神经网络模型、所述作为纹理特征提取器的第二卷积神经网络模型、所述使用三维卷积核的第三卷积神经网络模型和所述分类器进行训练，包括：获取训练数据，所述训练数据包括训练监控视频，以及，所述所设置的冷链运输温度是否合理的真实值；从所述训练监控视频提取多个训练监控关键帧；将所述多个训练监控关键帧中的各个训练监控关键帧分别从RGB颜色空间转化到YCbCr颜色空间并抽取各个通道的训练LBP纹理特征直方图;将所述各个通道的训练LBP纹理特征直方图沿着通道维度进行聚合以得到训练多通道LBP纹理特征直方图；将所述各个训练监控关键帧分别通过所述作为颜色特征提取器的第一卷积神经网络模型以得到训练颜色特征图；将所述训练多通道LBP纹理特征直方图分别通过所述作为纹理特征提取器的第二卷积神经网络模型以得到训练纹理特征图；分别融合所述训练颜色特征图和所述训练纹理特征图以得到多个训练融合特征图；将所述多个训练融合特征图通过所述使用三维卷积核的第三卷积神经网络模型以得到训练运输物品状态变化特征图；以及，将所述训练运输物品状态变化特征图通过所述分类器以得到分类损失函数值；基于所述分类损失函数值并通过梯度下降的方向传播来对所述作为颜色特征提取器的第一卷积神经网络模型、所述作为纹理特征提取器的第二卷积神经网络模型、所述使用三维卷积核的第三卷积神经网络模型和所述分类器进行训练，其中，在所述训练的每一轮迭代中，基于远程迁移矩阵和惩罚向量对所述训练运输物品状态变化特征图展开后得到的分类特征向量进行迭代。
在本申请的一个实施例中，在上述冷链运输远程监控方法中，在所述训练的每一轮迭代中，基于所述远程迁移矩阵和所述惩罚向量以如下公式对所述训练运输物品状态变化特征图展开后得到的分类特征向量进行迭代；其中，所述公式为：
其中
表示所述训练运输物品状态变化特征图展开后得到的分类特征向量，
表示具有可学习的参数的所述远程迁移矩阵，
表示每次迭代时所述分类器的初始全连接权重矩阵，且
为所述惩罚向量，
表示
激活函数，
表示按位置加法，
表示按位置减法， 
表示矩阵相乘，
表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值。
这里，本领域技术人员可以理解，上述冷链运输远程监控方法中的各个步骤的具体操作已经在上面参考图1到图16的冷链运输远程监控系统的描述中得到了详细介绍，并因此，将省略其重复描述。
Claims (10)
1.一种冷链运输远程监控系统，其特征在于，包括：
视频监控单元，用于获取待冷链运输的物品的监控视频；
采样单元，用于从所述监控视频提取多个监控关键帧；
颜色空间转换单元，用于将所述多个监控关键帧中的各个监控关键帧分别从RGB颜色空间转化到YCbCr颜色空间并抽取各个通道的LBP纹理特征直方图;
纹理特征聚合单元，用于将所述各个通道的LBP纹理特征直方图沿着通道维度进行聚合以得到多通道LBP纹理特征直方图；
颜色特征提取单元，用于将所述各个监控关键帧分别通过作为颜色特征提取器的第一卷积神经网络模型以得到颜色特征图；
纹理特征提取单元，用于将所述多通道LBP纹理特征直方图分别通过作为纹理特征提取器的第二卷积神经网络模型以得到纹理特征图；
融合单元，用于分别融合所述颜色特征图和所述纹理特征图以得到多个融合特征图；
状态变化特征提取单元，用于将所述多个融合特征图通过使用三维卷积核的第三卷积神经网络模型以得到运输物品状态变化特征图；以及，监控结果生成单元，用于将所述运输物品状态变化特征图通过分类器以得到分类结果，所述分类结果用于表示所设置的冷链运输温度是否合理。
2.根据权利要求1所述的冷链运输远程监控系统，其特征在于，所述采样单元，进一步用于以预定采样频率从所述监控视频提取所述多个监控关键帧。
3.根据权利要求2所述的冷链运输远程监控系统，其特征在于，所述颜色特征提取单元，进一步用于：使用所述作为颜色特征提取器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为颜色特征提取器的第一卷积神经网络模型的最后一层输出所述颜色特征图，其中，所述作为颜色特征提取器的第一卷积神经网络模型的第一层的输入为所述各个监控关键帧。
4.根据权利要求3所述的冷链运输远程监控系统，其特征在于，所述纹理特征提取单元，进一步用于：使用所述作为纹理特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为纹理特征提取器的第二卷积神经网络模型的最后一层输出所述纹理特征图，其中，所述作为纹理特征提取器的第二卷积神经网络模型的第一层的输入为所述多通道LBP纹理特征直方图。
5.根据权利要求4所述的冷链运输远程监控系统，其特征在于，所述融合单元，包括：
叠加子单元，用于将所述颜色特征图和所述纹理特征图进行按位置相乘以得到叠加特征图；
模板特征提取子单元，用于对所述叠加特征图进行卷积处理以得到模板特征图；
第一残差融合子单元，用于计算所述模板特征图和所述颜色特征图的按位置加权和以得到第一融合特征图；
第二残差融合子单元，用于计算所述模板特征图和所述纹理特征图的按位置加权和以得到第二融合特征图；以及，再融合子单元，用于融合所述第一融合特征图和所述第二融合特征图以得到所述融合特征图。
6.根据权利要求5所述的冷链运输远程监控系统，其特征在于，所述状态变化特征提取单元，用于：使用所述使用三维卷积核的第三卷积神经网络模型的各层在层的正向传递过程中分别对输入数据进行：
对所述输入数据进行卷积处理以得到卷积特征图；
对所述卷积特征图进行池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述使用三维卷积核的第三卷积神经网络模型的最后一层的输出为所述运输物品状态变化特征图，所述使用三维卷积核的第三卷积神经网络模型的第一层的输入为所述多个融合特征图。
7.根据权利要求6所述的冷链运输远程监控系统，其特征在于，所述监控结果生成单元，进一步用于：使用所述分类器以如下公式对所述运输物品状态变化特征图进行处理以得到分类结果，其中，所述公式为：
，其中，
到
为权重矩阵，
到
为偏置向量，
为所述运输物品状态变化特征图投影为向量。
8.根据权利要求1所述的冷链运输远程监控系统，其特征在于，还包含用于对所述作为颜色特征提取器的第一卷积神经网络模型、所述作为纹理特征提取器的第二卷积神经网络模型、所述使用三维卷积核的第三卷积神经网络模型和所述分类器进行训练的训练模块。
9.根据权利要求8所述的冷链运输远程监控系统，其特征在于，所述训练模块，包括：
训练视频监控单元，用于获取训练数据，所述训练数据包括训练监控视频，以及，所述所设置的冷链运输温度是否合理的真实值；
训练采样单元，用于从所述训练监控视频提取多个训练监控关键帧；
训练颜色空间转换单元，用于将所述多个训练监控关键帧中的各个训练监控关键帧分别从RGB颜色空间转化到YCbCr颜色空间并抽取各个通道的训练LBP纹理特征直方图;
训练纹理特征聚合单元，用于将所述各个通道的训练LBP纹理特征直方图沿着通道维度进行聚合以得到训练多通道LBP纹理特征直方图；
训练颜色特征提取单元，用于将所述各个训练监控关键帧分别通过所述作为颜色特征提取器的第一卷积神经网络模型以得到训练颜色特征图；
训练纹理特征提取单元，用于将所述训练多通道LBP纹理特征直方图分别通过所述作为纹理特征提取器的第二卷积神经网络模型以得到训练纹理特征图；
训练融合单元，用于分别融合所述训练颜色特征图和所述训练纹理特征图以得到多个训练融合特征图；
训练状态变化特征提取单元，用于将所述多个训练融合特征图通过所述使用三维卷积核的第三卷积神经网络模型以得到训练运输物品状态变化特征图；以及，分类损失单元，用于将所述训练运输物品状态变化特征图通过所述分类器以得到分类损失函数值；
训练单元，用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述作为颜色特征提取器的第一卷积神经网络模型、所述作为纹理特征提取器的第二卷积神经网络模型、所述使用三维卷积核的第三卷积神经网络模型和所述分类器进行训练，其中，在所述训练的每一轮迭代中，基于远程迁移矩阵和惩罚向量对所述训练运输物品状态变化特征图展开后得到的分类特征向量进行迭代。
10.根据权利要求9所述的冷链运输远程监控系统，其特征在于，在所述训练的每一轮迭代中，基于所述远程迁移矩阵和所述惩罚向量以如下公式对所述训练运输物品状态变化特征图展开后得到的分类特征向量进行迭代；
其中，所述公式为：
其中
表示所述训练运输物品状态变化特征图展开后得到的分类特征向量，
表示具有可学习的参数的所述远程迁移矩阵，
表示每次迭代时所述分类器的初始全连接权重矩阵，且
为所述惩罚向量，
表示
激活函数，
表示按位置加法，
表示按位置减法，
表示矩阵相乘，
表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211660476.9A CN115641045A (zh) | 2022-12-23 | 2022-12-23 | 一种冷链运输远程监控系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211660476.9A CN115641045A (zh) | 2022-12-23 | 2022-12-23 | 一种冷链运输远程监控系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115641045A true CN115641045A (zh) | 2023-01-24 |
Family
ID=84949816
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211660476.9A Pending CN115641045A (zh) | 2022-12-23 | 2022-12-23 | 一种冷链运输远程监控系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115641045A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116247824A (zh) * | 2023-03-30 | 2023-06-09 | 国网河南省电力公司安阳供电公司 | 电力设备的控制方法及其系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190220746A1 (en) * | 2017-08-29 | 2019-07-18 | Boe Technology Group Co., Ltd. | Image processing method, image processing device, and training method of neural network |
| CN114768986A (zh) * | 2022-06-20 | 2022-07-22 | 江苏中腾石英材料科技股份有限公司 | 高纯熔融石英粉的精细化研磨装置及其研磨方法 |
| CN115311609A (zh) * | 2022-10-12 | 2022-11-08 | 山东劳兰电子科技有限公司 | 渣土车运输管理系统及其管理方法 |
| CN115393779A (zh) * | 2022-10-31 | 2022-11-25 | 济宁九德半导体科技有限公司 | 用于激光熔覆金属球制造的控制系统及其控制方法 |
| CN115410050A (zh) * | 2022-11-02 | 2022-11-29 | 杭州华得森生物技术有限公司 | 基于机器视觉的肿瘤细胞检测设备及其方法 |
| CN115456789A (zh) * | 2022-11-10 | 2022-12-09 | 杭州衡泰技术股份有限公司 | 基于交易模式识别的异常交易检测方法及其系统 |
-
2022
- 2022-12-23 CN CN202211660476.9A patent/CN115641045A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190220746A1 (en) * | 2017-08-29 | 2019-07-18 | Boe Technology Group Co., Ltd. | Image processing method, image processing device, and training method of neural network |
| CN114768986A (zh) * | 2022-06-20 | 2022-07-22 | 江苏中腾石英材料科技股份有限公司 | 高纯熔融石英粉的精细化研磨装置及其研磨方法 |
| CN115311609A (zh) * | 2022-10-12 | 2022-11-08 | 山东劳兰电子科技有限公司 | 渣土车运输管理系统及其管理方法 |
| CN115393779A (zh) * | 2022-10-31 | 2022-11-25 | 济宁九德半导体科技有限公司 | 用于激光熔覆金属球制造的控制系统及其控制方法 |
| CN115410050A (zh) * | 2022-11-02 | 2022-11-29 | 杭州华得森生物技术有限公司 | 基于机器视觉的肿瘤细胞检测设备及其方法 |
| CN115456789A (zh) * | 2022-11-10 | 2022-12-09 | 杭州衡泰技术股份有限公司 | 基于交易模式识别的异常交易检测方法及其系统 |
Non-Patent Citations (1)
| Title |
|---|
| 王红霞;董冲冲;陈亮;: "卷积神经网络在药品冷链监控系统中的应用" * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116247824A (zh) * | 2023-03-30 | 2023-06-09 | 国网河南省电力公司安阳供电公司 | 电力设备的控制方法及其系统 |
| CN116247824B (zh) * | 2023-03-30 | 2023-11-17 | 国网河南省电力公司安阳供电公司 | 电力设备的控制方法及其系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111462324B (zh) | 一种在线时空语义融合方法和系统 | |
| CN115641045A (zh) | 一种冷链运输远程监控系统 | |
| CN113936256A (zh) | 一种图像目标检测方法、装置、设备以及存储介质 | |
| CN112348870B (zh) | 一种基于残差融合的显著性目标检测方法 | |
| CN112131929B (zh) | 一种基于区块链的跨摄像机行人跟踪系统及方法 | |
| CN115586757A (zh) | 机械设备的智能控制系统及其方法 | |
| CN116247824B (zh) | 电力设备的控制方法及其系统 | |
| CN112862147A (zh) | 基于bp神经网络的综合管廊运维风险评价模型及方法 | |
| CN114170144A (zh) | 一种输电线路销钉缺陷检测方法、设备及介质 | |
| CN114444757A (zh) | 一种高原山地多模型多尺度新能源电站出力联合预测方法 | |
| CN113869418A (zh) | 一种基于全局注意力关系网络的小样本船舶目标识别方法 | |
| CN116402777B (zh) | 基于机器视觉的电力设备检测方法及系统 | |
| CN115294176B (zh) | 一种双光多模型长时间目标跟踪方法、系统及存储介质 | |
| CN114757088A (zh) | 一种基于数字孪生的能源设备监测系统及方法 | |
| CN111681176B (zh) | 自适应卷积的残差修正单幅图像去雨方法 | |
| CN115331081A (zh) | 图像目标检测方法与装置 | |
| CN113159164B (zh) | 基于分布式的工业互联网设备协同作业方法 | |
| CN115408568B (zh) | 一种对神经网络的算子进行融合的方法和相关产品 | |
| CN115112661A (zh) | 一种缺陷检测方法、装置、计算机设备和存储介质 | |
| CN111126310B (zh) | 一种基于场景迁移的行人性别识别方法 | |
| Shan et al. | Design and implementation of fault diagnosis system for power communication network based on CNN | |
| CN116528229B (zh) | 5g安全通信方法及其系统 | |
| KR102399047B1 (ko) | 자율주행에서의 시각적 속성 추정을 위한 시각 정보 처리 방법 및 시스템 | |
| CN117892224B (zh) | 一种具备唤醒机制的混合特征神经网络信号处理硬件电路 | |
| Sun et al. | L 1-PLS Based on Incremental Extreme Learning Machine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230124 |
|
| RJ01 | Rejection of invention patent application after publication |