CN113920493A - 遗落物品的检测方法、装置、设备及存储介质 - Google Patents

遗落物品的检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113920493A
CN113920493A CN202111527304.XA CN202111527304A CN113920493A CN 113920493 A CN113920493 A CN 113920493A CN 202111527304 A CN202111527304 A CN 202111527304A CN 113920493 A CN113920493 A CN 113920493A
Authority
CN
China
Prior art keywords
illumination
frame image
target
loss function
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111527304.XA
Other languages
English (en)
Other versions
CN113920493B (zh
Inventor
潘晨
刘国清
杨广
王启程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ruijian Zhixing Technology Co ltd
Original Assignee
Shenzhen Minieye Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Minieye Innovation Technology Co Ltd filed Critical Shenzhen Minieye Innovation Technology Co Ltd
Priority to CN202111527304.XA priority Critical patent/CN113920493B/zh
Publication of CN113920493A publication Critical patent/CN113920493A/zh
Application granted granted Critical
Publication of CN113920493B publication Critical patent/CN113920493B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Abstract

本申请公开了一种遗落物品的检测方法、装置、设备及存储介质，利用预设的光照补偿网络，确定历史帧图像的第一光照信息和第一反射度信息，以及当前帧图像的第二光照信息和第二反射度信息,并基于第一光照信息、第一反射度信息、第二光照信息和第二反射度信息，对历史帧图像和当前帧图像进行光照补偿，得到目标历史帧图像和目标当前帧图像，实现对历史帧图像和当前帧图像进行光照补偿，降低环境光干扰；利用预设的背景建模网络，对目标历史帧图像和目标当前帧图像进行背景建模，得到目标前景检测区域；最后对目标前景检测区域进行聚类分析，得到当前帧图像的遗落物品位置，实现对未知物品的检测。

Description

遗落物品的检测方法、装置、设备及存储介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种遗落物品的检测方法、装置、设备及存储介质。
背景技术
遗落物品的泛检测是检测驾驶舱内的人为遗落物品的检测方法，区别于传统检测方法需要指定待检测物品类别，泛检测方法需要检测未知物品类别。
目前的遗落物品检测主要有基于训练的方法和基于背景建模的方法，其中基于训练的方法通过对各类目标训练检测，但其依赖于物品纹理和形状等特征，无法满足泛检测对未知物品的检测需求；基于背景建模的方法通过背景目标像素值以及不同颜色空间特征进行判别，但是车辆在移动过程或随时间迁移会使帧间光照不一，导致背景光照不同，环境光干扰非常大。可见，驾驶舱的遗落物品检测受限于舱内复杂的光线变化。
发明内容
本申请提供了一种遗落物品的检测方法、装置、设备及存储介质，以解决驾驶舱的遗落物品检测受限于舱内复杂的光线变化的技术问题。
为了解决上述技术问题，第一方面，本申请实施例提供了一种遗落物品的检测方法，包括：
利用预设的光照补偿网络，确定历史帧图像的第一光照信息和第一反射度信息，以及当前帧图像的第二光照信息和第二反射度信息；
基于所述第一光照信息、所述第一反射度信息、所述第二光照信息和所述第二反射度信息，对所述历史帧图像和所述当前帧图像进行光照补偿，得到目标历史帧图像和目标当前帧图像；
利用预设的背景建模网络，对目标历史帧图像和目标当前帧图像进行背景建模，得到目标前景检测区域；
对目标前景检测区域进行聚类分析，得到当前帧图像的遗落物品位置。
本实施例通过利用预设的光照补偿网络，确定历史帧图像的第一光照信息和第一反射度信息，以及当前帧图像的第二光照信息和第二反射度信息,并基于所述第一光照信息、所述第一反射度信息、所述第二光照信息和所述第二反射度信息，对所述历史帧图像和所述当前帧图像进行光照补偿，得到目标历史帧图像和目标当前帧图像，利用反射度和光照实现对历史帧图像和当前帧图像进行光照补偿，降低环境光干扰；利用预设的背景建模网络，对目标历史帧图像和目标当前帧图像进行背景建模，得到目标前景检测区域，以在画面抖动、物体移动等场景时具有更高的鲁棒性；最后对目标前景检测区域进行聚类分析，得到当前帧图像的遗落物品位置，从而无需依赖遗落物品的纹理、形状和类别等特征进行检测，实现对未知物品的检测。
在一实施例中，利用预设的背景建模网络，对目标历史帧图像和目标当前帧图像进行背景建模，得到目标前景检测区域，包括：
利用预设的背景建模网络，对目标历史帧图像和目标当前帧图像进行特征分析，输出背景参考模板和第一前景检测区域；
基于背景参考模板，对当前帧图像进行差分，得到第二前景检测区域；
对第一前景检测区域与第二前景检测区域进行对比分析，得到目标前景检测区域。
在一实施例中，对目标前景检测区域进行聚类分析，得到当前帧图像的遗落物品位置之后，还包括：
截取遗落物品位置对应的位置图像；
基于预设的分类算法，对位置图像进行分类识别，得到遗落物品类别。
在一实施例中，利用预设的光照补偿网络，确定历史帧图像的第一光照信息和第一反射度信息，以及当前帧图像的第二光照信息和第二反射度信息之前，还包括：
获取第一图像训练集，第一图像训练集包含具有相同内容和不同光照强度的多帧第一图像样本；
基于多帧第一图像样本，对第一预设神经网络进行迭代训练，直至第一预设神经网络的第一损失函数达到第一预设收敛条件，停止迭代，得到光照补偿网络，第一损失函数包括光照损失函数、反射度损失函和重建损失函数数；
光照损失函数用于表征每次迭代得到的两帧光照图之间的光照误差，反射度损失函数用于表征每次迭代得到的两帧反射图之间的反射度误差，重建损失函数用于表征每次迭代得到的两帧还原图之间的还原误差，还原图基于反射图和光照图重建得到。
可选地，光照损失函数为：
Figure 750695DEST_PATH_IMAGE001
；
其中，
Figure 809525DEST_PATH_IMAGE002
表示通过高斯模糊后的低光照第一图像样本的一阶微分，
Figure DEST_PATH_IMAGE003
表示低光照的光照图在x方向上的一阶微分，
Figure 377910DEST_PATH_IMAGE004
表示低光照的光照图在y方向上的一阶微分，
Figure DEST_PATH_IMAGE005
表示通过高斯模糊后的高光照第一图像样本的一阶微分，
Figure 656444DEST_PATH_IMAGE006
表示高光照的光照图在x方向上的一阶微分，
Figure DEST_PATH_IMAGE007
表示高光照的光照图在y方向上的一阶微分。
在一实施例中，利用预设的背景建模网络，对目标历史帧图像和目标当前帧图像进行背景建模，得到目标前景检测区域之前，包括：
获取第二图像训练集，第二图像训练集包含具有相同场景和不同时间序列的多帧第二图像样本；
基于多帧第二图像样本，对第二预设神经网络进行迭代训练，直至第二预设神经网络的第二损失函数达到第二预设收敛条件，停止迭代，得到背景建模网络，第二损失函数包括背景损失函数和前景损失函数；
背景损失函数用于表征每次迭代得到的背景参考模板与预设干净背景图之间的误差，前景损失函数用于表征每次迭代得到的前景检测区域与预设掩膜之间的误差。
可选地，前景损失函数包括Dice损失函数和Cross Entropy损失函数。
第二方面，本申请实施例提供一种遗落物品的检测装置，包括：
确定模块，用于利用预设的光照补偿网络，确定历史帧图像的第一光照信息和第一反射度信息，以及当前帧图像的第二光照信息和第二反射度信息；
补偿模块，用于基于所述第一光照信息、所述第一反射度信息、所述第二光照信息和所述第二反射度信息，对所述历史帧图像和所述当前帧图像进行光照补偿，得到目标历史帧图像和目标当前帧图像；
建模模块，用于利用预设的背景建模网络，对目标历史帧图像和目标当前帧图像进行背景建模，得到目标前景检测区域；
聚类模块，用于对目标前景检测区域进行聚类分析，得到当前帧图像的遗落物品位置。
第三方面，本申请实施例提供一种计算机设备，包括处理器和存储器，存储器用于存储计算机程序，计算机程序被处理器执行时实现第一方面的遗落物品的检测方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其存储有计算机程序，计算机程序被处理器执行时实现第一方面的遗落物品的检测方法。
需要说明的是，上述第二方面至第四方面的有益效果请参见上述第一方面的相关描述，在此不再赘述。
附图说明
图1为本申请实施例提供的遗落物品的检测方法的流程示意图；
图2为本申请实施例提供的光照补偿网络的结构示意图；
图3为本申请实施例提供的背景建模网络的结构示意图；
图4为本申请实施例提供的两帧第一图像样本的示意图；
图5为本申请实施例提供的两帧第二图像样本示意图；
图6为本申请实施例提供的背景参考模板与预设干净背景图的示意图；
图7为本申请实施例提供的前景检测区域与预设掩膜的示意图；
图8为本申请实施例提供的遗落物品的检测装置的结构示意图；
图9为本申请实施例提供的计算机设备的流程示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如相关技术记载，目前的遗落物品检测主要有基于训练的方法和基于背景建模的方法，其中基于训练的方法通过对各类目标训练检测，但其依赖于物品纹理和形状等特征，无法满足泛检测对未知物品的检测需求；基于背景建模的方法通过背景目标像素值以及不同颜色空间特征进行判别，但是车辆在移动过程或随时间迁移会使帧间光照不一，导致背景光照不同，环境光干扰非常大。可见，驾驶舱的遗落物品检测受限于舱内复杂的光线变化。
为此，本申请实施例提供一种遗落物品的检测方法、装置、设备及存储介质，通过利用预设的光照补偿网络，确定历史帧图像的第一光照信息和第一反射度信息，以及当前帧图像的第二光照信息和第二反射度信息,并基于所述第一光照信息和所述第一反射度信息，对所述历史帧图像进行光照补偿，得到所述目标历史帧图像，以及基于所述第二光照信息和所述第二反射度信息，对所述当前帧图像进行光照补偿，得到所述目标当前帧图像，利用反射度和光照实现对历史帧图像和当前帧图像进行光照补偿，降低环境光干扰；利用预设的背景建模网络，对所述目标历史帧图像和所述目标当前帧图像进行背景建模，得到目标前景检测区域，以在画面抖动、物体移动等场景时具有更高的鲁棒性；最后对所述目标前景检测区域进行聚类分析，得到所述当前帧图像的遗落物品位置，从而无需依赖遗落物品的纹理、形状和类别等特征进行检测，实现对未知物品的检测。
请参照图1，图1为本申请实施例提供的一种遗落物品的检测方法的流程示意图。本申请实施例的遗落物品的检测方法可应用于计算机设备，该计算机设备包括但不限于智能手机、平板电脑、笔记本电脑、桌上型计算机、车载终端、物理服务器和云服务器等计算设备。如图1所示，遗落物品的检测方法包括步骤S101至步骤S105，详述如下：
步骤S101，利用预设的光照补偿网络，确定历史帧图像的第一光照信息和第一反射度信息，以及当前帧图像的第二光照信息和第二反射度信息。
步骤S102，基于所述第一光照信息、所述第一反射度信息、所述第二光照信息和所述第二反射度信息，对所述历史帧图像和当前图像帧进行光照补偿，得到目标历史帧图像和目标当前帧图像。
在步骤S101至S102中，由于物体的颜色是由物体对长波、中波和短波光线的反射能力决定,而不是由反射光强度的绝对值决定，且物体的色彩不受光照非均性的影响,具有一致性，所以一张图像
Figure 601266DEST_PATH_IMAGE008
由反射度
Figure 517532DEST_PATH_IMAGE009
和光照
Figure 460080DEST_PATH_IMAGE010
组成，其关系为
Figure 960332DEST_PATH_IMAGE011
。如图4所示，对于任意两张内容相同，但光照不同的图像，两者反射度一致，即
Figure 380949DEST_PATH_IMAGE012
。
可选地，将历史帧图像
Figure 915835DEST_PATH_IMAGE013
与当前帧图像
Figure 763706DEST_PATH_IMAGE014
作为输入，分别输入光照补偿网络，并得到第一光照信息
Figure 751253DEST_PATH_IMAGE015
、第一反射度信息
Figure 536413DEST_PATH_IMAGE016
、第二光照信息
Figure 863489DEST_PATH_IMAGE017
和第二反射度信息
Figure 210157DEST_PATH_IMAGE018
，比较
Figure 622684DEST_PATH_IMAGE019
与
Figure 447420DEST_PATH_IMAGE018
之间的大小（即通过比较
Figure 629003DEST_PATH_IMAGE020
是否大于1），确定光照较高的光照图作为补偿依据，假设
Figure 146572DEST_PATH_IMAGE016
为光照较高的光照图，再基于对应的光照信息和反射度信息，对历史帧图像
Figure 46395DEST_PATH_IMAGE021
与当前帧图像
Figure 176287DEST_PATH_IMAGE022
进行光照补偿，得到补偿后的历史帧图像
Figure 274693DEST_PATH_IMAGE023
、补偿后当前帧图像
Figure 900847DEST_PATH_IMAGE024
。
步骤S103，利用预设的背景建模网络，对所述目标历史帧图像和所述目标当前帧图像进行背景建模，得到目标前景检测区域。
在本步骤中，一张图片可区分为前景与后景，而通常任意一个时间序列的不同两帧图片，有较为相似的背景与不同的前景（如图5所示），所以对于一组帧对图片而言，可以认为每帧由两帧相同的部分
Figure 350282DEST_PATH_IMAGE025
与各自不同的部分
Figure 454505DEST_PATH_IMAGE026
组成，即
Figure 672996DEST_PATH_IMAGE027
，
Figure 470051DEST_PATH_IMAGE028
。
可选地，将补偿后的两帧图像（历史帧图像和当前帧图像）作为背景建模网络的输入，经过背景建模网络背景差分等操作后，得到目标前景检测区域。
步骤S104，对所述目标前景检测区域进行聚类分析，得到所述当前帧图像的遗落物品位置。
在本步骤中，获得各目标前景检测区域的目标框中心点坐标及长度和宽度：对前景建议区域应用聚类算法，使前景建议区域中原本的离散点转换为若干待输出的目标，采用最小外接矩形表示目标框中心点（遗落物品位置）及目标框长度和宽度。
在一实施例中，在图1所示实施例的基础上，上述步骤S103，包括：
利用预设的背景建模网络，对所述目标历史帧图像和所述目标当前帧图像进行特征分析，输出背景参考模板和第一前景检测区域；
基于所述背景参考模板，对所述当前帧图像进行差分，得到第二前景检测区域；
对所述第一前景检测区域与所述第二前景检测区域进行对比分析，得到所述目标前景检测区域。
在本实施例中，可选地，将补偿后的两帧图像作为背景建模网络的输入，得到背景参考模板
Figure 639739DEST_PATH_IMAGE029
及第一前景检测区域
Figure 875548DEST_PATH_IMAGE030
，将背景参考模板
Figure 886230DEST_PATH_IMAGE031
与补偿后当前帧图像
Figure 916503DEST_PATH_IMAGE032
进行直接差分，得到第二前景检测区域
Figure 12635DEST_PATH_IMAGE033
，将两次获得前景检测区域进行对比，并设定阈值删除离群点，得到目标前景检测区域
Figure 520976DEST_PATH_IMAGE034
。
在一实施例中，在图1所示实施例的基础上，上述步骤S104后，还包括：
截取所述遗落物品位置对应的位置图像；
基于预设的分类算法，对所述位置图像进行分类识别，得到遗落物品类别。
在本实施例中，根据待输出的目标数量及其目标框信息在原图中截图对应区域；应用分类算法对目标进行分类输出。
可以理解的是，本申请实施例可以检测未知遗落物品的位置，所以即使无法识别遗落物品的纹理、形状和类别等特征，也依旧能够检测出车舱内存在遗落物品，且能够检测出具体位置，实现对未知遗落物品的检测。而本实施例通过分类识别作为识别物品类型的进一步方案，以对能够基于纹理、形状和类别等特征进行识别，以便用户得到遗落物品是何物。
在一实施例中，在图1所示实施例的基础上，上述步骤S101前，还包括：
获取第一图像训练集，所述第一图像训练集包含具有相同内容和不同光照强度的多帧第一图像样本；
基于多帧所述第一图像样本，对第一预设神经网络进行迭代训练，直至所述第一预设神经网络的第一损失函数达到第一预设收敛条件，停止迭代，得到所述光照补偿网络，所述第一损失函数包括光照损失函数、反射度损失函和重建损失函数数；
所述光照损失函数用于表征每次迭代得到的两帧光照图之间的光照误差，所述反射度损失函数用于表征每次迭代得到的两帧反射图之间的反射度误差，所述重建损失函数用于表征对每次迭代得到的两帧还原图之间的还原误差，所述还原图基于所述反射图和所述光照图重建得到。
在本实施例中，如图4所示的两帧第一图像样本的示意图，对于光照补偿网络而言，需要若干组内容一致，但光照不同的图像。
可选地，为了增强训练数据，对输入数据做随机数据变换，数据增强方法包括但不限于水平翻转、随机旋转、随机截图、对比度增强、加高斯噪声和随机单应性变换。其中随机图像剪切，会使两帧输入图像可能不对齐，而对应的真值却是同样一个目标，所以在网络的学习过程中，学习到这种画面不对齐的因素，遇到实际的画面抖动也能很好的处理得到比较鲁棒的效果。
示例性地，如图2所示，将图像块变换到(240,120)的分辨率，经过图像除以255归一化处理后，送入光照补偿网络，网络每次的输入为2张有光照差异的图像对（即一帧光照较高的第一图像样本和一帧光照较低的第一图像样本），输出为反射图
Figure 651743DEST_PATH_IMAGE035
及光照图
Figure 354382DEST_PATH_IMAGE036
，其中
Figure 937810DEST_PATH_IMAGE037
是反射度较低的反射图，
Figure 249843DEST_PATH_IMAGE038
是反射度较高的反射图，
Figure 235117DEST_PATH_IMAGE039
是光照较低的光照图，
Figure 607192DEST_PATH_IMAGE040
是光照较高的光照图。
第一损失函数包括重建损失函数
Figure 677916DEST_PATH_IMAGE041
，光照损失函数
Figure 793640DEST_PATH_IMAGE042
及反射度损失函数
Figure 194272DEST_PATH_IMAGE043
，用来监督网络学习，即
Figure 674932DEST_PATH_IMAGE044
。
可选地，所述光照损失函数为：
Figure 29690DEST_PATH_IMAGE045
；
其中，
Figure 886787DEST_PATH_IMAGE002
表示通过高斯模糊后的低光照第一图像样本的一阶微分，
Figure 643391DEST_PATH_IMAGE003
表示低光照的所述光照图在x方向上的一阶微分，
Figure 294952DEST_PATH_IMAGE004
表示低光照的所述光照图在y方向上的一阶微分，
Figure 402585DEST_PATH_IMAGE046
表示通过高斯模糊后的高光照第一图像样本的一阶微分，
Figure 361576DEST_PATH_IMAGE006
表示高光照的所述光照图在x方向上的一阶微分，
Figure 910369DEST_PATH_IMAGE007
表示高光照的所述光照图在y方向上的一阶微分。
需要说明的是，
Figure 60728DEST_PATH_IMAGE047
是输入到光照损失网络的两帧第一图像样本中光照较低的一帧，
Figure 327761DEST_PATH_IMAGE048
是输入到光照损失网络的两帧第一图像样本中光照较高的一帧，
Figure 323399DEST_PATH_IMAGE049
为光照损失网络输出的光照图
Figure 992278DEST_PATH_IMAGE050
的一阶微分，一阶微分的公式为
Figure 313538DEST_PATH_IMAGE051
,
Figure 802288DEST_PATH_IMAGE052
。
在本实施例中，光照损失函数为光照平滑损失函数，由于光照应该具有全局平滑性，而图像中物体边缘会导致光照出现明显波动，所以在物体边缘部分应该降低惩罚，而对于图像中平滑的位置，则应该提高惩罚，而图像的一阶微分正好可以反应物体边缘，但由于一阶微分除了表达边缘外，还会含有丰富的图像细节，需要使用高斯模糊来将图像一阶微分中含有的细节擦除，所以本实施例采用了带权重的TV损失来模拟这一情况，将图像的微分作为分母，图像边缘明显的位置，其一阶微分大，故倒数则变小，符合惩罚项规则。
可选地，所述反射度损失函数为：
Figure 389169DEST_PATH_IMAGE053
；
Figure 912554DEST_PATH_IMAGE054
；
Figure 201453DEST_PATH_IMAGE055
；
其中，
Figure 443078DEST_PATH_IMAGE056
表示反射度一致性损失函数，
Figure 46098DEST_PATH_IMAGE057
表示噪声抑制损失函数，
Figure 423989DEST_PATH_IMAGE058
表示高反射度的反射图，
Figure 588517DEST_PATH_IMAGE059
表示低反射度的反射图。
在本实施例中，反射度损失函数包括反射一致性损失函数
Figure 51859DEST_PATH_IMAGE056
和噪声抑制损失函数
Figure 458570DEST_PATH_IMAGE060
，其中反射一致性损失采用L1损失，在本实施例中具体为
Figure 956547DEST_PATH_IMAGE054
；噪声抑制损失函数为TV损失(Total Variation Loss)，在本实施例具体为：
Figure 524932DEST_PATH_IMAGE061
，最终
Figure 803466DEST_PATH_IMAGE062
。
可选地，所述重建损失函数为：
Figure 685972DEST_PATH_IMAGE063
；
Figure 599308DEST_PATH_IMAGE064
；
Figure 338594DEST_PATH_IMAGE065
；
其中，
Figure 776528DEST_PATH_IMAGE066
表示图像分解损失函数，
Figure 525041DEST_PATH_IMAGE067
表示图像调整损失函数，I表示所述第一图像样本，
Figure 732032DEST_PATH_IMAGE068
表示反射图，
Figure 907798DEST_PATH_IMAGE069
表示光照图，
在本实施例中，重建损失使用的是L1损失函数，包括分解重建损失函数和调整重建损失函数。基于Retinex理论，反射是物体的固有属性，不受外界环境改变，所以同样的物体在不同光照下，即使成像不同也具有相同的反射度，即相同内容的图片具有相同的反射度，其中分解重建损失函数为：
Figure 833029DEST_PATH_IMAGE070
，所以对于任一张图像而言，均有I=R·L，则本实施例的分解重建损失函数为
Figure 621119DEST_PATH_IMAGE071
。具体地，
Figure 948195DEST_PATH_IMAGE072
，
Figure 294862DEST_PATH_IMAGE073
。
可选地，基于Retinex理论，低反射图与高光照图理论上可以完成对于高亮度图片的还原，所以
Figure 441810DEST_PATH_IMAGE074
，则
Figure 532126DEST_PATH_IMAGE075
,
Figure 713708DEST_PATH_IMAGE076
。进一步地，在实际应用中，高光照的原图细节保留更多，所以优选
Figure 231277DEST_PATH_IMAGE077
作为调整重建损失函数，则
Figure 691952DEST_PATH_IMAGE078
，而最终
Figure 258063DEST_PATH_IMAGE079
也将作为光照补偿网络在实际应用中对图像进行光照补偿的依据，从而达到光照补偿的效果。
在一实施例中，在图1所示实施例的基础上，上述步骤S103之前，还包括：
获取第二图像训练集，所述第二图像训练集包含具有相同场景和不同时间序列的多帧第二图像样本；
基于多帧所述第二图像样本，对第二预设神经网络进行迭代训练，直至所述第二预设神经网络的第二损失函数达到第二预设收敛条件，停止迭代，得到所述背景建模网络，所述第二损失函数包括背景损失函数和前景损失函数；
所述背景损失函数用于表征每次迭代得到的背景参考模板与预设干净背景图之间的误差，所述前景损失函数用于表征每次迭代得到的前景检测区域与预设掩膜之间的误差。
在本实施例中，如图5所示，背景建模网络需要若干组同一场景下，一个时间序列中的若干间隔帧图像。
可选地，为了增强训练数据，对输入数据做随机数据变换，数据增强方法包括但不限于水平翻转、随机旋转、随机截图、对比度增强、加高斯噪声和随机单应性变换。其中随机图像剪切，会使两帧输入图像可能不对齐，而对应的真值却是同样一个目标，所以在网络的学习过程中，学习到这种画面不对齐的因素，遇到实际的画面抖动也能很好的处理得到比较鲁棒的效果。
示例性地，将图像块变换到(240，120)的分辨率，经过图像除以255归一化处理后，送入网络，如图3所示，网络输入为两帧光照补偿后图像，输出为前景检测区域
Figure 356469DEST_PATH_IMAGE080
与背景参考模板
Figure 982622DEST_PATH_IMAGE081
，其中
Figure 166479DEST_PATH_IMAGE082
为当前帧图像的前景检测区域，
Figure 598597DEST_PATH_IMAGE083
为历史帧图像的前景检测区域。第二损失函数包括背景损失函数
Figure 754772DEST_PATH_IMAGE084
及前景损失函数
Figure 115609DEST_PATH_IMAGE085
。以图7所示的预设的干净背景图
Figure 724444DEST_PATH_IMAGE086
以及如图6所示的掩膜
Figure 694674DEST_PATH_IMAGE087
如来监督网络学习，即
Figure 705356DEST_PATH_IMAGE088
。
可选地，背景损失函数为：
Figure 735629DEST_PATH_IMAGE089
；
在本可选实施例中，背景损失采用L1损失作为重构损失，使用干净背景图作为该分支的真值，
Figure 831761DEST_PATH_IMAGE090
。
可选地，前景损失函数包括Dice损失函数和Cross Entropy损失函数。所述前景损失函数为：
Figure 605682DEST_PATH_IMAGE091
；
Figure 736449DEST_PATH_IMAGE092
；
Figure 436158DEST_PATH_IMAGE093
；
在本实施例中，前景损失函数采用传统分割常用的损失函数，即Dice损失与CrossEntropy损失。Dice损失是一种交并比的变种，其公式为
Figure 816324DEST_PATH_IMAGE094
,在本实施例中具体为
Figure 331619DEST_PATH_IMAGE095
，Cross Entropy损失为常见的分类损失，作为应用在每个像素上的约束，其公式为
Figure 379209DEST_PATH_IMAGE096
，在本实施例中为
Figure 688968DEST_PATH_IMAGE097
，最终
Figure 556430DEST_PATH_IMAGE098
。
为了执行上述方法实施例对应的遗落物品的检测方法，以实现相应的功能和技术效果。参见图8，图8示出了本申请实施例提供的一种遗落物品的检测装置的结构框图。为了便于说明，仅示出了与本实施例相关的部分，本申请实施例提供的台区识别装置，包括：
确定模块801，用于利用预设的光照补偿网络，确定历史帧图像的第一光照信息和第一反射度信息，以及当前帧图像的第二光照信息和第二反射度信息；
补偿模块802，用于基于所述第一光照信息、所述第一反射度信息、所述第二光照信息和所述第二反射度信息，对所述历史帧图像和当前帧图像进行光照补偿，得到目标历史帧图像和目标当前帧图像；
建模模块803，用于利用预设的背景建模网络，对所述目标历史帧图像和所述目标当前帧图像进行背景建模，得到目标前景检测区域；
聚类模块804，用于对所述目标前景检测区域进行聚类分析，得到所述当前帧图像的遗落物品位置。
在一实施例中，所述建模模块803，包括：
分析单元，用于利用预设的背景建模网络，对所述目标历史帧图像和所述目标当前帧图像进行特征分析，输出背景参考模板和第一前景检测区域；
差分单元，用于基于所述背景参考模板，对所述当前帧图像进行差分，得到第二前景检测区域；
对比单元，用于对所述第一前景检测区域与所述第二前景检测区域进行对比分析，得到所述目标前景检测区域。
在一实施例中，所述遗落物品的检测装置，还包括：
截取模块，用于截取所述遗落物品位置对应的位置图像；
分类模块，用于基于预设的分类算法，对所述位置图像进行分类识别，得到遗落物品类别。
在一实施例中，遗落物品的检测装置，还包括：
第一获取模块，用于获取第一图像训练集，所述第一图像训练集包含具有相同内容和不同光照强度的多帧第一图像样本；
第一训练模块，用于基于多帧所述第一图像样本，对第一预设神经网络进行迭代训练，直至所述第一预设神经网络的第一损失函数达到第一预设收敛条件，停止迭代，得到所述光照补偿网络，所述第一损失函数包括光照损失函数、反射度损失函和重建损失函数数；
所述光照损失函数用于表征每次迭代得到的两帧光照图之间的光照误差，所述反射度损失函数用于表征每次迭代得到的两帧反射图之间的反射度误差，所述重建损失函数用于表征对每次迭代得到的两帧还原图之间的还原误差，所述还原图基于所述反射图和所述光照图重建得到。
可选地，所述光照损失函数为：
Figure 609836DEST_PATH_IMAGE099
其中，
Figure 13398DEST_PATH_IMAGE002
表示通过高斯模糊后的低光照第一图像样本的一阶微分，
Figure 556375DEST_PATH_IMAGE003
表示低光照的所述光照图在x方向上的一阶微分，
Figure 114395DEST_PATH_IMAGE004
表示低光照的所述光照图在y方向上的一阶微分，
Figure 768230DEST_PATH_IMAGE046
表示通过高斯模糊后的高光照第一图像样本的一阶微分，
Figure 728096DEST_PATH_IMAGE006
表示高光照的所述光照图在x方向上的一阶微分，
Figure 441974DEST_PATH_IMAGE007
表示高光照的所述光照图在y方向上的一阶微分。
在一实施例中，遗落物品的检测装置，包括：
第二获取模块，用于获取第二图像训练集，所述第二图像训练集包含具有相同场景和不同时间序列的多帧第二图像样本；
第二训练模块，用于基于多帧所述第二图像样本，对第二预设神经网络进行迭代训练，直至所述第二预设神经网络的第二损失函数达到第二预设收敛条件，停止迭代，得到所述背景建模网络，所述第二损失函数包括背景损失函数和前景损失函数；
所述背景损失函数用于表征每次迭代得到的背景参考模板与预设干净背景图之间的误差，所述前景损失函数用于表征每次迭代得到的前景检测区域与预设掩膜之间的误差。
可选地，前景损失函数包括Dice损失函数和Cross Entropy损失函数。
上述的遗落物品的检测装置可实施上述方法实施例的遗落物品的检测方法。上述方法实施例中的可选项也适用于本实施例，这里不再详述。本申请实施例的其余内容可参照上述方法实施例的内容，在本实施例中，不再进行赘述。
图9为本申请一实施例提供的计算机设备的结构示意图。如图9所示，该实施例的计算机设备9包括：至少一个处理器90（图9中仅示出一个）处理器、存储器91以及存储在所述存储器91中并可在所述至少一个处理器90上运行的计算机程序92，所述处理器90执行所述计算机程序92时实现上述任意方法实施例中的步骤。
所述计算机设备9可以是智能手机、平板电脑、桌上型计算机和云端服务器等计算设备。该计算机设备可包括但不仅限于处理器90、存储器91。本领域技术人员可以理解，图9仅仅是计算机设备9的举例，并不构成对计算机设备9的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器90可以是中央处理单元(Central Processing Unit，CPU)，该处理器90还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器91在一些实施例中可以是所述计算机设备9的内部存储单元，例如计算机设备9的硬盘或内存。所述存储器91在另一些实施例中也可以是所述计算机设备9的外部存储设备，例如所述计算机设备9上配备的插接式硬盘，智能存储卡（Smart Media Card,SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器91还可以既包括所述计算机设备9的内部存储单元也包括外部存储设备。所述存储器91用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器91还可以用于暂时地存储已经输出或者将要输出的数据。
另外，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算机设备上运行时，使得计算机设备执行时实现上述各个方法实施例中的步骤。
在本申请所提供的几个实施例中，可以理解的是，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意的是，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的具体实施例，对本申请的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本申请的具体实施例而已，并不用于限定本申请的保护范围。特别指出，对于本领域技术人员来说，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种遗落物品的检测方法，其特征在于，包括：
利用预设的光照补偿网络，确定历史帧图像的第一光照信息和第一反射度信息，以及当前帧图像的第二光照信息和第二反射度信息；
基于所述第一光照信息、所述第一反射度信息、所述第二光照信息和所述第二反射度信息，对所述历史帧图像和所述当前帧图像进行光照补偿，得到目标历史帧图像和目标当前帧图像；
利用预设的背景建模网络，对所述目标历史帧图像和所述目标当前帧图像进行背景建模，得到目标前景检测区域；
对所述目标前景检测区域进行聚类分析，得到所述当前帧图像的遗落物品位置。
2.如权利要求1所述的遗落物品的检测方法，其特征在于，所述利用预设的背景建模网络，对所述目标历史帧图像和所述目标当前帧图像进行背景建模，得到目标前景检测区域，包括：
利用预设的背景建模网络，对所述目标历史帧图像和所述目标当前帧图像进行特征分析，输出背景参考模板和第一前景检测区域；
基于所述背景参考模板，对所述当前帧图像进行差分，得到第二前景检测区域；
对所述第一前景检测区域与所述第二前景检测区域进行对比分析，得到所述目标前景检测区域。
3.如权利要求1所述的遗落物品的检测方法，其特征在于，所述对所述目标前景检测区域进行聚类分析，得到所述当前帧图像的遗落物品位置之后，还包括：
截取所述遗落物品位置对应的位置图像；
基于预设的分类算法，对所述位置图像进行分类识别，得到遗落物品类别。
4.如权利要求1至3任一项所述的遗落物品的检测方法，其特征在于，所述利用预设的光照补偿网络，确定历史帧图像的第一光照信息和第一反射度信息，以及当前帧图像的第二光照信息和第二反射度信息之前，还包括：
获取第一图像训练集，所述第一图像训练集包含具有相同内容和不同光照强度的多帧第一图像样本；
基于多帧所述第一图像样本，对第一预设神经网络进行迭代训练，直至所述第一预设神经网络的第一损失函数达到第一预设收敛条件，停止迭代，得到所述光照补偿网络，所述第一损失函数包括光照损失函数、反射度损失函和重建损失函数数；
所述光照损失函数用于表征每次迭代得到的两帧光照图之间的光照误差，所述反射度损失函数用于表征每次迭代得到的两帧反射图之间的反射度误差，所述重建损失函数用于表征每次迭代得到的两帧还原图之间的还原误差，所述还原图基于所述反射图和所述光照图重建得到。
5.如权利要求4所述的遗落物品的检测方法，其特征在于，所述光照损失函数为：
Figure 438063DEST_PATH_IMAGE001
；
其中，
Figure 930224DEST_PATH_IMAGE002
表示通过高斯模糊后的低光照第一图像样本的一阶微分，
Figure 968587DEST_PATH_IMAGE003
表示低光照的所述光照图在x方向上的一阶微分，
Figure 900769DEST_PATH_IMAGE004
表示低光照的所述光照图在y方向上的一阶微分，
Figure 102163DEST_PATH_IMAGE005
表示通过高斯模糊后的高光照第一图像样本的一阶微分，
Figure 579541DEST_PATH_IMAGE006
表示高光照的所述光照图在x方向上的一阶微分，
Figure 308462DEST_PATH_IMAGE007
表示高光照的所述光照图在y方向上的一阶微分。
6.如权利要求1至3任一项所述的遗落物品的检测方法，其特征在于，所述利用预设的背景建模网络，对所述目标历史帧图像和所述目标当前帧图像进行背景建模，得到目标前景检测区域之前，包括：
获取第二图像训练集，所述第二图像训练集包含具有相同场景和不同时间序列的多帧第二图像样本；
基于多帧所述第二图像样本，对第二预设神经网络进行迭代训练，直至所述第二预设神经网络的第二损失函数达到第二预设收敛条件，停止迭代，得到所述背景建模网络，所述第二损失函数包括背景损失函数和前景损失函数；
所述背景损失函数用于表征每次迭代得到的背景参考模板与预设干净背景图之间的误差，所述前景损失函数用于表征每次迭代得到的前景检测区域与预设掩膜之间的误差。
7.如权利要求6所述的遗落物品的检测方法，其特征在于，前景损失函数包括Dice损失函数和Cross Entropy损失函数。
8.一种遗落物品的检测装置，其特征在于，包括：
确定模块，用于利用预设的光照补偿网络，确定历史帧图像的第一光照信息和第一反射度信息，以及当前帧图像的第二光照信息和第二反射度信息；
补偿模块，用于基于所述第一光照信息、所述第一反射度信息、所述第二光照信息和所述第二反射度信息，对所述历史帧图像和所述当前帧图像进行光照补偿，得到目标历史帧图像和目标当前帧图像；
建模模块，用于利用预设的背景建模网络，对所述目标历史帧图像和所述目标当前帧图像进行背景建模，得到目标前景检测区域；
聚类模块，用于对所述目标前景检测区域进行聚类分析，得到所述当前帧图像的遗落物品位置。
9.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7任一项所述的遗落物品的检测方法。
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的遗落物品的检测方法。
CN202111527304.XA 2021-12-15 2021-12-15 遗落物品的检测方法、装置、设备及存储介质 Active CN113920493B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111527304.XA CN113920493B (zh) 2021-12-15 2021-12-15 遗落物品的检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111527304.XA CN113920493B (zh) 2021-12-15 2021-12-15 遗落物品的检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113920493A true CN113920493A (zh) 2022-01-11
CN113920493B CN113920493B (zh) 2022-04-05

Family

ID=79249041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111527304.XA Active CN113920493B (zh) 2021-12-15 2021-12-15 遗落物品的检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113920493B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961004A (zh) * 2019-01-24 2019-07-02 深圳市梦网百科信息技术有限公司 一种偏光光源人脸检测方法和系统
CN112257752A (zh) * 2020-09-23 2021-01-22 上海东普信息科技有限公司 快递物品的识别分类方法、装置、设备和存储介质
CN112989962A (zh) * 2021-02-24 2021-06-18 上海商汤智能科技有限公司 轨迹生成方法、装置、电子设备及存储介质
US20210209731A1 (en) * 2020-01-03 2021-07-08 Beijing Baidu Netcom Science And Technology Co., Ltd. Video processing method, apparatus, device and storage medium
CN113223059A (zh) * 2021-05-17 2021-08-06 浙江大学 基于超分辨率特征增强的弱小空域目标检测方法
CN113781320A (zh) * 2021-08-02 2021-12-10 中国科学院深圳先进技术研究院 一种图像处理方法、装置、终端设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961004A (zh) * 2019-01-24 2019-07-02 深圳市梦网百科信息技术有限公司 一种偏光光源人脸检测方法和系统
US20210209731A1 (en) * 2020-01-03 2021-07-08 Beijing Baidu Netcom Science And Technology Co., Ltd. Video processing method, apparatus, device and storage medium
CN112257752A (zh) * 2020-09-23 2021-01-22 上海东普信息科技有限公司 快递物品的识别分类方法、装置、设备和存储介质
CN112989962A (zh) * 2021-02-24 2021-06-18 上海商汤智能科技有限公司 轨迹生成方法、装置、电子设备及存储介质
CN113223059A (zh) * 2021-05-17 2021-08-06 浙江大学 基于超分辨率特征增强的弱小空域目标检测方法
CN113781320A (zh) * 2021-08-02 2021-12-10 中国科学院深圳先进技术研究院 一种图像处理方法、装置、终端设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
于蒙 等: "基于反射感知模型的人脸识别算法研究", 《计算机工程与应用》 *

Also Published As

Publication number Publication date
CN113920493B (zh) 2022-04-05

Similar Documents

Publication Publication Date Title
CN109325954B (zh) 图像分割方法、装置及电子设备
Zhang et al. Single image defogging based on multi-channel convolutional MSRCR
Wan et al. CoRRN: Cooperative reflection removal network
Li et al. Fast guided global interpolation for depth and motion
US10592764B2 (en) Reconstructing document from series of document images
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN110570442A (zh) 一种复杂背景下轮廓检测方法、终端设备及存储介质
Wang et al. Morphological background detection and illumination normalization of text image with poor lighting
CN109977834B (zh) 从深度图像中分割人手与交互物体的方法和装置
CN111882565B (zh) 一种图像二值化方法、装置、设备及存储介质
Wu et al. Superpixel-based image noise variance estimation with local statistical assessment
CN110599516A (zh) 一种运动目标检测方法、装置、存储介质及终端设备
CN113033558A (zh) 一种用于自然场景的文本检测方法及装置、存储介质
CN113609984A (zh) 一种指针式仪表读数识别方法、装置及电子设备
CN114155285B (zh) 基于灰度直方图的图像配准方法
CN113409353B (zh) 运动前景检测方法、装置、终端设备及存储介质
CN114444565A (zh) 一种图像篡改检测方法、终端设备及存储介质
CN114674826A (zh) 基于布匹的视觉检测方法及检测系统
Rahman et al. Exploring a radically new exponential retinex model for multi-task environments
CN112288726B (zh) 一种井下带式输送机带面异物检测方法
CN110738678B (zh) 脸部细纹检测方法、装置、电子设备及可读存储介质
CN113920493B (zh) 遗落物品的检测方法、装置、设备及存储介质
CN110765875B (zh) 交通目标的边界检测方法、设备及装置
CN111311610A (zh) 图像分割的方法及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Floor 25, Block A, Zhongzhou Binhai Commercial Center Phase II, No. 9285, Binhe Boulevard, Shangsha Community, Shatou Street, Futian District, Shenzhen, Guangdong 518000

Patentee after: Shenzhen Youjia Innovation Technology Co.,Ltd.

Address before: 518051 401, building 1, Shenzhen new generation industrial park, No. 136, Zhongkang Road, Meidu community, Meilin street, Futian District, Shenzhen, Guangdong Province

Patentee before: SHENZHEN MINIEYE INNOVATION TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230823

Address after: No. 602-165, Complex Building, No. 1099, Qingxi Second Road, Hezhuang Street, Qiantang District, Hangzhou, Zhejiang, 310000

Patentee after: Hangzhou Ruijian Zhixing Technology Co.,Ltd.

Address before: Floor 25, Block A, Zhongzhou Binhai Commercial Center Phase II, No. 9285, Binhe Boulevard, Shangsha Community, Shatou Street, Futian District, Shenzhen, Guangdong 518000

Patentee before: Shenzhen Youjia Innovation Technology Co.,Ltd.