CN112150448A

CN112150448A - 图像处理方法、装置及设备、存储介质

Info

Publication number: CN112150448A
Application number: CN202011040453.9A
Authority: CN
Inventors: 申琳
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2020-09-28
Filing date: 2020-09-28
Publication date: 2020-12-29
Anticipated expiration: 2040-09-28
Also published as: CN112150448B

Abstract

本发明提供一种图像处理方法、装置及设备、存储介质，可以自动地确定出图像样本中标签信息的错误情况并纠正，减少标注工作量。该方法包括：将第一传感器采集的彩色图像输入至目标检测模型中，以得到检测结果，并依据检测结果为彩色图像标注各被检出对象对应的标签信息以得到图像样本；依据背景深度模型从第二传感器采集的深度图中检测出前景对象；对于任一前景对象，根据所述前景对象在所述深度图中的位置信息，将位置信息映射到图像样本，得到目标位置信息；根据目标位置信息和图像样本中已标注的被检出对象的位置信息，确定图像样本中是否存在前景对象的漏检和/或误检；若存在，对图像样本进行修正。

Description

图像处理方法、装置及设备、存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及的是一种图像处理方法、装置及设备、存储介质。

背景技术

随着安防行业对前端摄像头需求量的不断增长，对前端摄像头及其相关监控设备的智能化程度也提出更高的要求，而准确检测出场景中的目标对象是智能的基础，也是当前计算机视觉领域研究的热点。目前，广泛使用的目标检测模型大多采用深度学习的神经网络来实现，而神经网络需要通过训练才可得到所需的目标检测模型。

在相关的方式中，会通过线下针对某个场景收集大量图像，通过人工为图像打上标签信息，作为样本训练出所需的目标检测模型。但是，这样训练出来的目标检测模型泛化性不强，只能适用于较为单一的场景，在面对繁杂的监控场景时，比如，在一些场景中会存在光影变化(如太阳照射下的树荫)、小动物、人形物体(但是不是真正的人体)等，这些会干扰目标检测模型的检测，导致一定量的误检、漏检等问题，使得设备的智能化大打折扣。

为了减少这种误检、漏检问题，通常会选择针对各个繁杂的场景采集大量的多样化图像，然后通过人工一一标注。但是，这种方式中，不仅多样化图像较难获取，人工标注标签信息的工作量也会同步增加，成本非常大。

发明内容

有鉴于此，本发明提供一种图像处理方法、装置及设备、存储介质，可以自动地确定出图像样本中标签信息的错误情况并纠正，减少标注工作量。

本发明第一方面提供一种图像处理方法，应用于电子设备，该方法包括：

将第一传感器采集的彩色图像输入至目标检测模型中，以得到所述目标检测模型输出的检测结果，并依据所述检测结果为所述彩色图像标注各被检出对象对应的标签信息以得到标注有各个被检出对象的标签信息的图像样本；

依据已建立的背景深度模型从第二传感器采集的深度图中检测出前景对象，所述深度图与所述彩色图像是针对同一场景同步采集得到的，所述背景深度模型是基于针对所述场景采集的其他深度图建立的；

对于任一前景对象，获取并根据所述前景对象在所述深度图中的位置信息，将所述位置信息映射到所述图像样本，得到所述前景对象在所述图像样本中的目标位置信息；

根据所述目标位置信息和所述图像样本中已标注的被检出对象的位置信息，确定所述图像样本中是否存在所述前景对象的漏检和/或误检；

若存在，对所述图像样本进行修正，所述修正包括在所述图像样本中添加所述前景对象的标签信息和/或修改所述图像样本中与所述前景对象匹配的所述被检出对象的标签信息。

根据本发明的一个实施例，依据已建立的背景深度模型从第二传感器采集的深度图中检测出前景对象，包括：

根据所述背景深度模型，对所述深度图进行背景和目标的分离，从所述深度图中分离出至少一个前景目标，并从所述至少一个前景目标中确定所述前景对象。

根据本发明的一个实施例，从所述至少一个前景目标中确定所述前景对象，包括：

获取并根据所述第二传感器的安装高度和姿态信息以及所述前景目标在所述深度图中的深度信息，确定所述前景目标的宽度分布和高度分布；

根据所述前景目标的宽度分布和高度分布，确定所述前景目标的类型；

将类型与关心目标的类型一致的前景目标确定为所述前景对象。

根据本发明的一个实施例，所述标签信息包括被检出对象的类别标识；

所述对所述图像样本进行修正，包括：

若存在所述前景对象的漏检，根据所述前景对象的类型，在所述图像样本中添加所述前景对象的标签信息，所述标签信息包括所述前景对象的类别标识。

根据本发明的一个实施例，将所述位置信息映射到所述图像样本，得到所述前景对象在所述图像样本中的目标位置信息，包括：

按照预先标定的坐标转换关系将所述前景对象在所述深度图中的位置信息进行转换，得到所述前景对象映射到所述图像样本中的所述目标位置信息，所述坐标转换关系为深度图所应用的坐标系与所述彩色图像所应用的坐标系之间的空间坐标转换关系。

根据本发明的一个实施例，

根据所述目标位置信息和所述图像样本中已标注的被检出对象的位置信息，确定所述图像样本中是否存在所述前景对象的漏检和/或误检，包括：

若所述前景对象的所述目标位置信息与所述图像样本中某个已标注的被检出对象的位置信息匹配，且所述前景对象的尺寸与匹配的所述被检出对象的尺寸一致，确定所述图像样本中不存在所述前景对象的漏检；

若所述前景对象的所述目标位置信息与所述图像样本中某个已标注的被检出对象的位置信息匹配，但所述前景对象的尺寸与匹配的所述被检出对象的尺寸不一致，则所述图像样本中存在所述前景对象的误检；

若所述前景对象的目标位置信息与所述图像样本中所有的已标注的被检出对象的位置信息都不匹配，则确定所述图像样本中存在所述前景对象的漏检。

根据本发明的一个实施例，

所述前景对象的尺寸为所述前景对象在所述深度图中的尺寸；或者，

所述前景对象的尺寸为所述前景对象在所述图像样本中的尺寸。

根据本发明的一个实施例，

所述已标记的被检出对象的位置信息为所述被检出对象的轮廓在所述图像样本中的图像坐标信息，所述已标记的被检出对象的尺寸为所述被检出对象的轮廓在所述图像样本中的尺寸。

根据本发明的一个实施例，所述标签信息包括被检出对象的标记框；

所述已标记的被检出对象的位置信息为标记框的位置信息，所述已标记的被检出对象的尺寸为所述标记框的尺寸，所述标记框用于在所述图像样本中对所述被检出对象进行标记。

根据本发明的一个实施例，所述对所述图像样本进行修正，包括：

若存在所述前景对象的漏检，则根据所述前景对象的所述目标位置信息，在所述图像样本中增加所述前景对象的标签信息，所述标签信息包括所述前景对象的类别标识和所述前景对象的标记框；

若存在所述前景对象的误检，则根据所述前景对象的尺寸，更新与所述前景对象匹配的被检出对象的所述标签信息中的所述标记框。

根据本发明的一个实施例，所述方法还包括：

统计多个所述图像样本的累加修正次数，根据所述累加修正次数和次数阈值，确定是否更新所述目标检测模型；或者，

统计多个所述图像样本的误检率，根据所述误检率和设置的误检率阈值，确定是否更新所述目标检测模型；和/或，

统计多个所述图像样本的漏检率，根据所述漏检率和设置的漏检率阈值，确定是否更新所述目标检测模型；

在确定更新所述目标检测模型时，利用修正后的多个所述图像样本重新训练得到新目标检测模型。

根据本发明的一个实施例，利用修正后的多个所述图像样本重新训练得到新目标检测模型之后，该方法还包括：

将第一图像传感器采集的新彩色图像输入到所述新目标检测模型进行目标检测，得到所述新目标检测模型对所述新彩色图像的检测结果。

本发明第二方面提供一种图像处理装置，应用于电子设备，该装置包括：

图像样本获取模块，用于将第一传感器采集的彩色图像输入至目标检测模型中，以得到所述目标检测模型输出的检测结果，并依据所述检测结果为所述彩色图像标注各被检出对象对应的标签信息以得到标注有各个被检出对象的标签信息的图像样本；

前景对象检测模块，用于依据已建立的背景深度模型从第二传感器采集的深度图中检测出前景对象，所述深度图与所述彩色图像是针对同一场景同步采集得到的，所述背景深度模型是基于针对所述场景采集的其他深度图建立的；

位置信息确定模块，用于对于任一前景对象，获取并根据所述前景对象在所述深度图中的位置信息，将所述位置信息映射到所述图像样本，得到所述前景对象在所述图像样本中的目标位置信息；

漏检误检确定模块，用于根据所述目标位置信息和所述图像样本中已标注的被检出对象的位置信息，确定所述图像样本中是否存在所述前景对象的漏检和/或误检；

图像样本修正模块，若存在，对所述图像样本进行修正，所述修正包括在所述图像样本中添加所述前景对象的标签信息和/或修改所述图像样本中与所述前景对象匹配的所述被检出对象的标签信息。

根据本发明的一个实施例，所述前景对象检测模块依据已建立的背景深度模型从第二传感器采集的深度图中检测出前景对象时，具体用于：

根据本发明的一个实施例，所述前景对象检测模块从所述至少一个前景目标中确定所述前景对象时，具体用于：

所述图像样本修正模块对所述图像样本进行修正时，具体用于：

根据本发明的一个实施例，所述位置信息确定模块将所述位置信息映射到所述图像样本，得到所述前景对象在所述图像样本中的目标位置信息时，具体用于：

根据本发明的一个实施例，所述漏检误检确定模块根据所述目标位置信息和所述图像样本中已标注的被检出对象的位置信息，确定所述图像样本中是否存在所述前景对象的漏检和/或误检时，具体用于：

根据本发明的一个实施例，

根据本发明的一个实施例，所述图像样本修正模块对所述图像样本进行修正时，具体用于：

根据本发明的一个实施例，所述装置还包括：模型训练模块，用于：

根据本发明的一个实施例，该装置还包括：

循环模块，用于将第一图像传感器采集的新彩色图像输入到所述新目标检测模型进行目标检测，得到所述新目标检测模型对所述新彩色图像的检测结果。

本发明第三方面提供一种电子设备，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如前述实施例中所述的图像处理方法。

本发明第四方面提供一种机器可读存储介质，其上存储有程序，该程序被处理器执行时，实现如前述实施例中所述的图像处理方法。

本发明实施例具有以下有益效果：

本发明实施例中，由第一传感器采集的彩色图像经过目标检测模型检测之后可得到相应的检测结果，依据该检测结果为彩色图像标注各被检出对象对应的标签信息以得到图像样本，利用已建立的背景深度模型可以从采集的深度图中检测出前景对象，由于深度图和图像是针对同一场景同步采集得到的，所以对于任一个前景对象来说，都应该存在于彩色图像中，即理应被模型检测出来，可以基于前景对象在深度图中的位置信息映射到图像样本得到的目标位置信息、以及图像样本中已标注的被检出对象的位置信息，来确定图像样本中是否存在前景对象的漏检和/或误检，从而可以及时地对存在前景对象的漏检和/或误检的图像样本进行修正，使得图像样本中不存在前景对象的漏检和/或误检，上述方式中，在模型存在漏检和/或误检时，可以自动地确定并修正存在漏检和/或误检问题的图像样本的标签信息，不需要人工参与，可大大降低标注成本。

附图说明

图1是本发明一实施例的图像处理方法的流程示意图；

图2是本发明另一实施例的图像处理方法的流程示意图；

图3是本发明一实施例的图像处理系统的结构框图；

图4是本发明一实施例的图像处理装置的结构框图；

图5是本发明另一实施例的图像处理装置的结构框图；

图6是本发明一实施例的电子设备的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种器件，但这些信息不应限于这些术语。这些术语仅用来将同一类型的器件彼此区分开。例如，在不脱离本发明范围的情况下，第一器件也可以被称为第二器件，类似地，第二器件也可以被称为第一器件。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为了使得本发明的描述更清楚简洁，下面对本发明中的一些技术术语进行解释：

深度传感器：能获取场景中景物的深度信息的传感器设备。

深度信息：可利用深度传感器针对场景采集深度图，深度图中包含场景中景物的深度信息；或者，通过三维测绘仪器针对场景进行测绘得到景物的深度信息，深度信息指示了景物与深度传感器、或者深度传感器所在的图像采集设备之间距离的远近。

本发明实施例的图像处理方法，可以应用在多种监控场景中，如门禁、卡口、交通、小区、园区、周界防范、室内公共场所(如银行自助点)等这些需要进行监控的场景中，具体比如可以包括人体检测、人脸检测、车牌检测等目标检测场景中。

下面对本发明实施例的图像处理方法进行更具体的描述，但不应以此为限。在一个实施例中，参看图1，一种图像处理方法，应用于电子设备，该方法可以包括以下步骤：

S100：将第一传感器采集的彩色图像输入至目标检测模型中，以得到所述目标检测模型输出的检测结果，并依据所述检测结果为所述彩色图像标注各被检出对象对应的标签信息以得到标注有各个被检出对象的标签信息的图像样本；

S200：依据已建立的背景深度模型从第二传感器采集的深度图中检测出前景对象，所述深度图与所述彩色图像是针对同一场景同步采集得到的，所述背景深度模型是基于针对所述场景采集的其他深度图建立的；

S300：对于任一前景对象，获取并根据所述前景对象在所述深度图中的位置信息，将所述位置信息映射到所述图像样本，得到所述前景对象在所述图像样本中的目标位置信息；

S400：根据所述目标位置信息和所述图像样本中已标注的被检出对象的位置信息，确定所述图像样本中是否存在所述前景对象的漏检和/或误检；

S500：若存在，对所述图像样本进行修正，所述修正包括在所述图像样本中添加所述前景对象的标签信息和/或修改所述图像样本中与所述前景对象匹配的所述被检出对象的标签信息。

本发明实施例中，图像处理方法的执行主体为电子设备。电子设备比如可以是摄像机设备、计算机设备、或服务器等。当然，电子设备的具体类型不限，具有一定的处理能力即可。其中，摄像机设备可以为可见光摄像机设备，也可以是其他类型的摄像机设备。

步骤S100中，将第一传感器采集的彩色图像输入至目标检测模型中，以得到所述目标检测模型输出的检测结果，并依据所述检测结果为所述彩色图像标注各被检出对象对应的标签信息以得到标注有各个被检出对象的标签信息的图像样本。

这里的第一传感器比如可以是图像传感器，且是能够采集彩色图像的传感器，比如可以包括：CMOS图像传感器、CCD图像传感器等，具体不做限定。彩色图像比如可以为RGB图像，当然具体不限于此。

第一传感器可以集成在摄像机设备上，可选的，摄像机设备可以对第一传感器设备采集的彩色图像进行一定的处理之后再输入至目标检测模型中，这里的处理比如可以包括：图像增强、格式转换等，具体不做限定。

目标检测模型用于检测目标对象，这里的目标对象比如可以包括人体、人脸、车辆、车牌、字符、船只、动物、手部等，具体不做限定。

初始时，目标检测模型可以预先利用少量的样本训练得到，这些样本可以通过人工标注标签信息，样本的数量可以较少，不足以训练出性能满足设定要求的目标检测模型。换言之，目标检测模型的检测性能可以未满足设定要求，或者，可以如背景技术中所说的，初始时的目标检测模型可以泛化性不强，只能在较为单一的场景中实现较好的检测性能，在应用到繁杂的监控场景时，具有一定量的误检、漏检问题。

比如，一个彩色图像中可能有5个目标对象，但是目标检测模型可能只能检测出3个目标对象，可能还会将彩色图像中的其他对象误检为目标对象，即存在一定量的误检和漏检。当然，目标检测模型不限于此，也可以在单一场景中也无法实现较好的检测性能。

也就是说，在执行步骤S100时，目标检测模型具有一定的目标对象检测能力，但是误检率和/或漏检率可能会比较高，还需被进一步训练。

将第一传感器采集的彩色图像输入至目标检测模型中，以得到所述目标检测模型输出的检测结果，检测结果可以包括被检测对象的相关信息，依据所述检测结果为所述彩色图像标注各被检出对象对应的标签信息以得到标注有各个被检出对象的标签信息的图像样本。

比如，检测结果包括被检出对象在彩色图像中所处区域的区域位置信息，在此情况下，可以在彩色图像中针对每个被检出对象标注对应的标签信息，标签信息中可以包含对应被检出对象在图像中所处区域的区域位置信息，当然标签信息中还可以包括其他信息，比如类别标识等。

标注标签信息的方式比如可以包括：可以在彩色图像中被检测对象所在区域设置标注框，标注框即作为标签信息，该标注框在图像样本中对被检出对象进行标记；或者，将彩色图像的文件名命名为标签信息，后续，可以从图像样本的文件名中读取标签信息，具体方式不做限定。

步骤S200中，依据已建立的背景深度模型从第二传感器采集的深度图中检测出前景对象，所述深度图与所述彩色图像是针对同一场景同步采集得到的，所述背景深度模型是基于针对所述场景采集的其他深度图建立的。

第二传感器可以为深度传感器，具体类型不限，可以采集深度图即可。

本发明中，第一传感器和第二传感器可以是RGBD相机中的两个传感器，包括一个图像传感器和一个深度传感器。本发明中，深度传感器的含义是广义的，能获取深度图(包括深度信息和灰度图)的传感器或组合传感器都可以称作为深度传感器。深度传感器可以包括：TOF(Time of flight，利用飞行时间法3D成像)相机、结构光相机中的传感器、也可以是雷达和/或其他传感器(图像传感器、距离传感器等)的组合。

第一传感器和第二传感器可以独立安装或安装于同一设备中，可以由第一传感器在采集彩色图像时通知第二传感器同步采集深度图，或者由第二传感器在采集深度图时通知第一传感器同步采集彩色图像，或者由其他设备同步地通知第一传感器采集彩色图像、第二传感器采集深度图。当然，在安装于同一设备中时，第一传感器和第二传感器也可以由所在设备中的处理器通知同步采集，具体不做限定，只要彩色图像和深度图是同步采集的即可，彩色图像和深度图的采集可以是周期进行的。

并且，第一传感器与第二传感器的安装位置相同且可视范围相同，以保证彩色图像和深度图是针对同一场景同步采集得到的，彩色图像和深度图中包含相同的景物。

背景深度模型可以预先建立好，比如可以通过第二传感器针对所述场景采集多个其他深度图，其中至少一个其他深度图不包含任何前景目标即只有背景，按照预设的背景建模方式对其他深度图进行建模，得到包含其他深度图中的背景深度信息的背景深度模型。可选的，背景建模方式比如可以为高斯背景建模，具体建模方式不限。

第二传感器采集的深度图与其他深度图中的背景深度信息是相同的。比如，第二传感器在采集所述深度图和其他深度图时的位置与可视范围相同。这里的背景深度信息也就是深度图中除前景目标之外的背景的深度信息。

也就是说，背景深度模型可以包含深度图中的背景深度信息，当场景中存在可活动对象时，这些可活动对象会作为区别于背景的前景目标成像在采集的深度图中，因而，依据背景深度模型可以从深度图中检测出前景对象。

步骤S300中，对于任一前景对象，获取并根据所述前景对象在所述深度图中的位置信息，将所述位置信息映射到所述图像样本，得到所述前景对象在所述图像样本中的目标位置信息。

上述的对于任一前景对象，优选来说，可以是针对从深度图中检测出的每一前景对象，即步骤S300针对每一前景对象执行的。当然，此处只是优选，并不作为限制。

深度图是一个包含灰度值并在灰度值基础上增加表示物体远近的距离信息的灰度图。所以，可以理解深度图中包括位置信息和深度信息，位置信息用来进行坐标转以得到映射在图像样本中的相应坐标，由此可以确定出前景对象在图像样本中的目标位置信息。

在一个实施例中，步骤S300中，将所述位置信息映射到所述图像样本，得到所述前景对象在所述图像样本中的目标位置信息，可以包括以下步骤：

坐标转换关系可以预先标定好，可以基于第一传感器和第二传感器的安装位置、姿态及相机内参来标定，借助于该坐标转换关系可以将深度图所应用的坐标系中的位置信息映射到彩色图像所应用的坐标系中。比如，深度图中坐标与彩色图像中的像素坐标一一对应，对应关系就是上述的坐标转换关系。

可选的，深度图中前景对象的位置信息可以为区域的四个顶点的坐标中的至少一个坐标，或者可以是区域的中心坐标等，具体不做限定，只要能够确定前景对象在深度图中的位置即可。

举例来说，深度图中前景对象的位置信息比如可以为前景对象在深度图所处区域的四个顶点坐标，经过上述的坐标转换关系的转换，得到图像样本中对应的四个点坐标，以这四个点坐标作为顶点坐标确定出一个区域的位置信息，即目标位置信息，也就是前景对象在图像样本中所处区域的位置信息。

步骤S400中，根据所述目标位置信息和所述图像样本中已标注的被检出对象的位置信息，确定所述图像样本中是否存在所述前景对象的漏检和/或误检。

由于深度图和彩色图像是针对同一场景同步采集得到的，所以如果从深度图中检测出一个前景对象，那么该前景对象必然也存在于彩色图像中，而且该前景对象在彩色图像和深度图中的位置是对应的。

因而，可以根据前景对象映射在图像样本中的目标位置信息，以及图像样本中已标注的被检出对象的位置信息，确定图像样本中是否存在所述前景对象的漏检和/或误检。

如果前景对象映射在图像样本中的目标位置信息，以及图像样本中已标注的被检出对象的位置信息，两者对应不起来，则说明图像样本中存在着该前景目标的漏检或误检，在后续的实施例内容中将详细地描述。

步骤S500中，若存在，对所述图像样本进行修正，所述修正包括在所述图像样本中添加所述前景对象的标签信息和/或修改所述图像样本中与所述前景对象匹配的所述被检出对象的标签信息。

前景对象可以是关心的目标对象，图像样本中存在着该前景对象的漏检或误检，也就是目标检测模型在对彩色图像检测时，发生了漏检或误检，相应标注的标签信息存在错误，因而，此时，需要对图像样本进行修正，以避免目标检测模型后续对错误信息的学习。

如果存在漏检，则在所述图像样本中添加被漏检的前景对象的标签信息；如果存在误检，则修改所述图像样本中与前景对象匹配的所述被检出对象(即被误检的被检出对象)的标签信息。

其中，修改所述图像样本中被误检的被检出对象的标签信息比如可以包括：删除被误检的被检出对象的标签信息；或者，在标签信息中包含标注信息的情况下，标注信息被设置为用于指示对应的被检出对象为目标对象的第一值，可以修改将标注信息的第一值修改为用于指示对应的被检出对象不为目标对象的第二值；或者，基于前景对象的相关信息调整标签信息中的对应信息，具体修正方式不限，具体可视标签信息的标注方式而定。

在一个实施例中，步骤S200中，依据已建立的背景深度模型从第二传感器采集的深度图中检测出前景对象，可以包括以下步骤：

S201：根据所述背景深度模型，对所述深度图进行背景和目标的分离，从所述深度图中分离出至少一个前景目标，并从所述至少一个前景目标中确定所述前景对象。

根据所述背景深度模型，对所述深度图进行背景和目标的分离，从所述深度图中分离出至少一个前景目标，比如可以包括：将采集的深度图与所述背景深度模型进行差分运算，得到差分图，差分图中包含了从深度图中分离出的至少一个前景目标。可选的，背景深度模型同样可以以图像的格式呈现，差分运算可以采用已有的图像差分运算方式，具体不做限定。

前景目标在差分图中的位置信息，也就是前景目标在深度图中的位置信息，可以通过以下方式确定：将该差分图进行二值化处理，得到二值化图像，确定二值化图像中各个坐标点的取值大于设定值的至少一个连通域，针对每一连通域，将包围该连通域的最小矩形区域的位置信息确定为前景目标的位置信息。

由于深度图和彩色图像是针对同一场景同步采集得到的，所以深度图中的前景目标也会呈现在彩色图像中，这些前景目标可能是关心的目标对象，即前景对象，但也可能不是，比如关心的目标对象为人体时，一些人体剪影也会作为深度图中的前景目标。

因此，在确定出深度图中的前景目标之后，从所述至少一个前景目标中确定所述前景对象。

在一个实施例中，步骤S201中，从所述至少一个前景目标中确定所述前景对象，可以包括以下步骤：

彩色图像中有色彩信息和亮度信息，从彩色图像中可以看到前景目标的位置和自身色彩，而深度图中不仅包括场景的图像亮度信息，还包含了场景的深度信息，能反映出前景目标与相机镜头的远近距离，深度图相当于是能够体现物体远近的灰度图，图像亮度信息用灰度值表示可呈现物体位置，图像深度信息用距离来表示可呈现物体远近。

换言之，前景对象的深度信息可以表示前景对象与第二传感器之间的距离，第二传感器与第一传感器位置相同，所以也就表示了前景对象与第一传感器之间的距离。

可选的，前景目标在所述深度图中的深度信息可以通过以下方式确定：获取所述深度图中所述前景对象所处的各个坐标上的深度值；计算出所述深度值的平均值，将该平均值确定为所述前景对象的深度信息。

当然，上述的方式只是优选的方式，还可以有其他确定深度信息的方式，比如，可以将各个坐标上的深度值的中值作为前景对象的深度信息等，具体不做限定。

发明人发现，在第一传感器和/或第二传感器的安装高度、可视范围确定的情况下，目标与第一传感器和/或第二传感器的距离、与目标在第一传感器和/或第二传感器形成的画面中的尺寸(包括高度和宽度)是符合成像原理的，距离越远则尺寸越小(高度和宽度都越小)，距离越近则尺寸越大(高度和宽度都越大)。因而，根据第二传感器的安装高度和姿态信息以及所述前景目标在所述深度图中的深度信息，可以确定所述前景目标的宽度分布和高度分布。这里的宽度分布和高度分布可以指尺寸。

在此之前，还可以预先确定好不同目标在与第二传感器的距离为不同深度信息时对应的宽度分布和高度分布，同样可以基于成像原理来确定出，即距离越近则尺寸越大，距离越远则尺寸越小。比如，由第二传感器测量出目标距离第二传感器或第一传感器的实际距离，然后再根据目标在深度图中的位置信息、以及安装高度、姿态、相机内参确定的坐标转换关系，找到第一传感器采集的彩色图像中的目标的位置信息，从彩色图像中获取该目标的宽度分布和高度分布，记录该目标的距离与宽度分布和高度分布之间的对应关系，采用同样的方法对多个与第二传感器或第一传感器相距不同距离的目标建立对应关系，这里的距离即深度信息。

如此，可以根据所述前景目标的宽度分布和高度分布，确定所述前景目标的类型，比如前景目标的宽度分布和高度分布与预先确定好的某个目标的宽度分布和高度分布相匹配，且两者对应的深度信息是相同的，则该前景目标的类型即为该目标的类型，具体不做限定。

关心目标的类型可以预先指定，比如可以为人或车，如果前景目标的类型与关心目标的类型一致，则该前景目标可以确定为前景对象。

在一个实施例中，所述标签信息包括被检出对象的类别标识；

步骤S500中，所述对所述图像样本进行修正，包括：

比如，漏检的前景对象的类型为人，则可以在图像样本中添加该漏检的前景对象的标签信息，标签信息包括该前景对象的类别标识，该类别标识可以指示人这一类别。

在一个实施例中，步骤S400中，根据所述目标位置信息和所述图像样本中已标注的被检出对象的位置信息，确定所述图像样本中是否存在所述前景对象的漏检和/或误检，可以包括以下步骤：

S401：若所述前景对象的所述目标位置信息与所述图像样本中某个已标注的被检出对象的位置信息匹配，且所述前景对象的尺寸与匹配的所述被检出对象的尺寸一致，确定所述图像样本中不存在所述前景对象的漏检；

S402：若所述前景对象的所述目标位置信息与所述图像样本中某个已标注的被检出对象的位置信息匹配，但所述前景对象的尺寸与匹配的所述被检出对象的尺寸不一致，则所述图像样本中存在所述前景对象的误检；

S403：若所述前景对象的目标位置信息与所述图像样本中所有的已标注的被检出对象的位置信息都不匹配，则确定所述图像样本中存在所述前景对象的漏检。

可选的，前景对象的尺寸为前景对象在深度图中的尺寸，可以根据前景对象在深度图中的位置信息等确定；或者，前景对象的尺寸为所述前景对象在所述图像样本中的尺寸，可以根据前景对象在深度图中的位置信息映射到图像坐标系中的目标位置信息确定。

可选的，已标记的被检出对象的位置信息为所述被检出对象的轮廓在所述图像样本中的图像坐标信息，所述已标记的被检出对象的尺寸为所述被检出对象的轮廓在所述图像样本中的尺寸。

可选的，所述标签信息包括被检出对象的标记框；所述已标记的被检出对象的位置信息为标记框的位置信息，所述已标记的被检出对象的尺寸为所述标记框的尺寸，所述标记框用于在所述图像样本中对所述被检出对象进行标记。

在一个例子中，被检出对象的位置信息比如可以采用被检出对象在图像样本中的标记框的四个顶点的坐标表示，或者采用标记框的其中一个顶点的坐标与标记框的高度和宽度表示，以上述的方式表示被检出对象的位置信息，可以根据被检出对象的位置信息确定出被检出对象的尺寸，就是标记框的尺寸。

若前景对象的所述目标位置信息与所述图像样本中某个已标注的被检出对象的位置信息匹配，即检测结果中存在与目标位置信息匹配的位置信息，在此情况下，如果前景对象的尺寸与匹配的所述被检出对象的尺寸一致，则说明该被检出对象就是该前景对象，可以确定所述图像样本中不存在所述前景对象的漏检。此外，也可以确定图像样本中不存在所述前景对象的误检。

若前景对象的所述目标位置信息与所述图像样本中某个已标注的被检出对象的位置信息匹配，即检测结果中存在与目标位置信息匹配的位置信息，在此情况下，如果所述前景对象的尺寸与匹配的所述被检出对象的尺寸不一致，则说明该被检出对象是被误检的，可以确定图像样本中存在所述前景对象的误检。

若所述前景对象的目标位置信息与所述图像样本中所有的已标注的被检出对象的位置信息都不匹配，即检测结果中不存在与目标位置信息匹配的位置信息，说明该前景对象没有被检出，则确定所述图像样本中存在所述前景对象的漏检，即该前景对象被漏检了。

各个尺寸比如可以由高度和宽度组成。即前景对象的尺寸可以包括第一高度(如前景对象映射在彩色图像中的高度)和第一宽度(前景对象映射在彩色图像中的宽度)。被检出对象的尺寸可以包括第二高度(被检出对象在彩色图像中的高度)和第二宽度(被检出对象在彩色图像中的宽度)。

相应的，前景对象的尺寸与被检出对象的尺寸不匹配，比如可以为：前景对象的尺寸中的第一高度和被检出对象的尺寸中的第二高度不匹配、或、前景对象的尺寸中的第一宽度和被检出对象的尺寸中的第二宽度不匹配。

举例来说，不匹配的情况具体可以如下：

|(H2-H1)/H1|大于等于第一预设高度误差比，或，|(W2-W1)/W1|大于等于第一预设宽度误差比；

其中，H1为第一高度，H2为第二高度，W1为第一宽度，W2为第二宽度。

上述的例子中，“|(H2-H1)/H1|”表示“(H2-H1)/H1”的绝对值，其他也是同理。

相应的，前景对象的尺寸与被检出对象的尺寸匹配，则可以为：前景对象的尺寸中的第一高度和被检出对象的尺寸中的第二高度匹配、且、前景对象的尺寸中的第一宽度和被检出对象的尺寸中的第二宽度匹配。

举例来说，匹配的情况具体可以如下：

|(H2-H1)/H1|小于第一预设高度误差比，且，|(W2-W1)/W1|小于第一预设宽度误差比。

当然，检查前景对象的尺寸与被检出对象的尺寸是否匹配的方式不限于此，比如，严格来说，可以是高度一致且宽度一致则确定匹配，具体可以根据实际可接受的误差范围来定。

本实施例中，可以准确地检查出目标检测模型的漏检与误检问题，从而可准确地修正图像样本中的标签信息，以得到训练目标检测模型所需的图像样本，进而可优化目标检测模型的检测性能，减少其发生漏检与误检的情况。

在一个实施例中，步骤S500中，所述对所述图像样本进行修正，可以包括以下步骤：

比如，漏检的前景对象的类型为人，则可以在图像样本中添加该漏检的前景对象的标签信息，标签信息包括该前景对象的类别标识和前景对象的标记框，该类别标识可以指示人这一类别。该标记框可以用于确定前景对象的位置信息，也可以确定出相应的尺寸。

比如，前景对象原本为人，被误检成了车，并且标记信息中的标记框的尺寸也存在误差，此时，可以根据前景对象即人的尺寸，来更新标签信息中的标记框，比如将标记框缩小至前景对象的尺寸的大小。这里的前景对象的尺寸可以为前景对象在彩色图像中的尺寸，可以根据目标位置信息来确定。

可选的，在修正图像样本中的标签信息后，可以保存修正了标签信息后的图像样本。如果图像样本不存在被检出对象的误检或漏检，则说明目标检测模型可以准确检测出彩色图像中所有关心目标，目标检测模型不需要基于该图像样本进行再学习，此时不用修正标签信息，也可以不用保存图像样本。

如此，保存的图像样本都是目标检测模型无法准确检测的，目标检测模型有必要再基于这些图像样本进行学习。

在一个实施例中，所述方法还包括以下步骤：

比如，在修正所述图像样本中所述被检出对象的标签信息完成时，将已记录的修正次数与设定值累加得到累加修正次数，将已记录的修正次数修改为累加修正次数。这里的设定值比如可以为1，当然具体不作限定。

根据累加修正次数和次数阈值，确定是否更新所述目标检测模型，比如包括：在累加修正次数到次数阈值时，确定更新目标检测模型，否则确定不更新。这里的修正次数可以包括漏检次数、或误检次数、或漏检次数和误检次数之和。

误检率可以为误检次数与模型的检测次数的比值，根据所述误检率和设置的误检率阈值，确定是否更新所述目标检测模型，比如包括：在误检率达到误检率阈值时，确定更新目标检测模型，否则确定不更新。其中，在目标检测模型每次检测完成时，可以将已记录的检测次数与设定值累加得到新的检测次数，将已记录的检测此时修改为新的检测次数。

漏检率可以为漏检次数与模型的检测次数的比值，根据所述漏检率和设置的漏检率阈值，确定是否更新所述目标检测模型，比如包括：在漏检率达到漏检率阈值时，确定更新目标检测模型，否则确定不更新。

根据所述误检率和设置的误检率阈值、以及漏检率和设置的漏检率阈值，确定是否更新所述目标检测模型，比如包括：在误检率达到误检率阈值、且漏检率达到漏检率阈值时，确定更新目标检测模型，否则确定不更新。

在确定是否更新目标检测模型时，可以选择上述方式中的任一种。

当确定更新时，利用修正后的图像样本重新训练得到新的目标检测模型，让模型学习发生误检的图像样本，提升模型的检测性能。

在每次训练完成时，可删除保存的图像样本，并可以将已记录的修正次数修改为初始值比如0。在记录有检测次数的情况下，还需将检测次数修改为初始值比如0。

可选的，可以每隔一段时间(周期性地)执行上述确定是否更新的步骤。这里的周期可以大于彩色图像的采集周期，这样可以在每个执行周期积累一定量用于训练的图像样本。

在误检次数较少、或者漏检次数较小的情况下，可能是这段时间内目标对象出现的较少，这种情况下，即使用这些图像样本训练模型性能也不会提升很多，所以可不用这些图像样本训练。因而，在每次执行上述步骤时，当确定不更新时，可以删除已保存的图像样本，同时可以将已记录的修正次数修改为初始值比如0。在记录有检测次数的情况下，还需将检测次数修改为初始值比如0。

本实施例中，利用修正后的图像样本可以对目标检测模型进行再训练，以优化目标检测模型的检测性能，该方式可以由设备端针对其所应用的场景独立实现模型的自监督学习，不需要人工参与，从而不同设备可以自监督学习出适用于各自应用场景的模型，不需要再去训练出一个泛化性很强的模型。

在一个实施例中，利用修正后的图像样本重新训练得到新的目标检测模型之后，该方法进一步包括以下步骤：

本实施例中，经过循环，可以不断训练目标检测模型，不断优化目标检测模型的检测性能，进一步减少误检情况发生，从而达到自学习的目的。

图2示出了本发明实施例的图像处理方法的一个具体例子，上述图像处理方法可以通过执行程序来得到，首先输入带标签信息的图像样本、以及深度图，该图像样本可以采用上述的步骤S100获得；接着，进行图像样本复核，在此过程中需要借助于已建立的背景深度模型，当然还可以借助于预先为第一传感器和第二传感器标定的坐标转换关系，即彩色图像应用的坐标系与深度图应用的坐标系之间的转换关系，以确定出图像样本中的误检和漏检问题，并予以纠正；接着，可以检查误检率是否达到误检率阈值thd1、检查漏检率是否达到漏检率阈值thd2，如果任一个未达到，则可以返回输入带标签信息的图像样本、以及深度图的步骤继续执行，如果均达到，则重新训练模型，可以基于已修正的图像样本对目标检测模型进行再训练。上述的过程可以认为是模型的自监督学习。训练之后，可以将之后获得的彩色图像输入到更新的目标检测模型中，以得到输出的检测结果。

具体来说，参看图3，第一传感器200和第二传感器300安装位置相同且具有相同的可视范围，所以第一传感器200采集的图像和第二传感器300采集的深度图中，都会包含对象M1、M2、M3，其中，对象M1和M2为目标对象比如人体，对象M3为其他对象比如小狗。将彩色图像输入至目标检测模型进行检测之后，被检出对象可能是M1和M3，也就是说，对象M3被误检出，而将真正的目标对象M2被漏检了，所以对彩色图像的各被检出对象标注标签信息得到图像样本后，该图像样本中存在错误的标签信息。本发明实施例中，可以将第二传感器300采集的深度图中前景目标M1-M3的位置信息映射到图像坐标系中得到目标位置信息，基于前景目标M1-M3的位置信息和目标位置信息来确定图像样本中是否存在漏检和/或误检的前景对象，进而为图像确定出准确的标签信息，对目标检测模型进行再训练，完成目标检测模型的自监督学习，以提升目标检测模型相应场景下的检测性能。

本发明还提供一种图像处理装置，应用于电子设备，在一个实施例中，参看图4，该图像处理装置100包括：

图像样本获取模块101，用于将第一传感器采集的彩色图像输入至目标检测模型中，以得到所述目标检测模型输出的检测结果，并依据所述检测结果为所述彩色图像标注各被检出对象对应的标签信息以得到标注有各个被检出对象的标签信息的图像样本；

前景对象检测模块102，用于依据已建立的背景深度模型从第二传感器采集的深度图中检测出前景对象，所述深度图与所述彩色图像是针对同一场景同步采集得到的，所述背景深度模型是基于针对所述场景采集的其他深度图建立的；

位置信息确定模块103，用于对于任一前景对象，获取并根据所述前景对象在所述深度图中的位置信息，将所述位置信息映射到所述图像样本，得到所述前景对象在所述图像样本中的目标位置信息；

漏检误检确定模块104，用于根据所述目标位置信息和所述图像样本中已标注的被检出对象的位置信息，确定所述图像样本中是否存在所述前景对象的漏检和/或误检；

图像样本修正模块105，若存在，对所述图像样本进行修正，所述修正包括在所述图像样本中添加所述前景对象的标签信息和/或修改所述图像样本中与所述前景对象匹配的所述被检出对象的标签信息。

在一个实施例中，所述前景对象检测模块依据已建立的背景深度模型从第二传感器采集的深度图中检测出前景对象时，具体用于：

在一个实施例中，所述前景对象检测模块从所述至少一个前景目标中确定所述前景对象时，具体用于：

在一个实施例中，所述位置信息确定模块将所述位置信息映射到所述图像样本，得到所述前景对象在所述图像样本中的目标位置信息时，具体用于：

在一个实施例中，所述漏检误检确定模块根据所述目标位置信息和所述图像样本中已标注的被检出对象的位置信息，确定所述图像样本中是否存在所述前景对象的漏检和/或误检时，具体用于：

在一个实施例中，

在一个实施例中，所述标签信息包括被检出对象的标记框；

在一个实施例中，所述图像样本修正模块对所述图像样本进行修正时，具体用于：

在一个实施例中，参看图5，在图1示出的图像处理装置100的基础上，图传处理装置100还包括：模型训练模块106，用于：

在一个实施例中，该装置还包括：

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元。

本发明还提供一种电子设备，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如前述实施例中所述的图像处理方法。

本发明图像处理装置的实施例可以应用在电子设备上。以软件实现为例，作为一个逻辑意义上的装置，是通过其所处电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图6所示，图6是本发明根据一示例性实施例示出的图像处理装置100所处电子设备的一种硬件结构图，除了图6所示的处理器510、内存530、接口520、以及非易失性存储器540之外，实施例中装置100所处的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。

本发明还提供一种机器可读存储介质，其上存储有程序，该程序被处理器执行时，实现如前述实施例中所述的图像处理方法。

本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。机器可读存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。机器可读存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种图像处理方法，其特征在于，应用于电子设备，该方法包括：

2.如权利要求1所述的图像处理方法，其特征在于，依据已建立的背景深度模型从第二传感器采集的深度图中检测出前景对象，包括：

3.如权利要求2所述的图像处理方法，其特征在于，从所述至少一个前景目标中确定所述前景对象，包括：

4.如权利要求3所述的图像处理方法，其特征在于，所述标签信息包括被检出对象的类别标识；

所述对所述图像样本进行修正，包括：

5.如权利要求1所述的图像处理方法，其特征在于，将所述位置信息映射到所述图像样本，得到所述前景对象在所述图像样本中的目标位置信息，包括：

6.如权利要求5所述的图像处理方法，其特征在于，

7.如权利要求6所述的图像处理方法，其特征在于，

8.如权利要求6或7所述的图像处理方法，其特征在于，

9.如权利要求6或7所述的图像处理方法，其特征在于，所述标签信息包括被检出对象的标记框；

10.如权利要求9所述的图像处理方法，其特征在于，所述对所述图像样本进行修正，包括：

11.如权利要求1-6中任一项所述的图像处理方法，其特征在于，所述方法还包括：

12.如权利要求11所述的图像处理方法，其特征在于，利用修正后的多个所述图像样本重新训练得到新目标检测模型之后，该方法还包括：

13.一种图像处理装置，其特征在于，应用于电子设备，该装置包括：

14.一种电子设备，其特征在于，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如权利要求1-12中任意一项所述的图像处理方法。

15.一种机器可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现如权利要求1-12中任意一项所述的图像处理方法。