CN112115913B

CN112115913B - 图像处理方法、装置及设备、存储介质

Info

Publication number: CN112115913B
Application number: CN202011042163.8A
Authority: CN
Inventors: 申琳
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2020-09-28
Filing date: 2020-09-28
Publication date: 2023-08-25
Anticipated expiration: 2040-09-28
Also published as: CN112115913A

Abstract

本发明提供一种图像处理方法、装置及设备、存储介质，可以自动地确定出图像样本中标签信息的错误情况并纠正，减少标注工作量。该方法包括：将第一传感器采集的彩色图像输入至目标对象检测模型中，以得到检测结果，检测结果至少包括被检出对象在彩色图像中所处区域的区域位置信息，并依据检测结果为彩色图像中的被检出对象标注对应的标签信息以得到图像样本；依据区域位置信息从第二传感器采集的深度图中确定对应的目标深度信息；在已建立的对应关系中确定出目标深度信息对应的第一尺寸，依据第一尺寸确定图像样本中是否存在被检出对象的误检，若存在，则修正图像样本中被检出对象的标签信息。

Description

图像处理方法、装置及设备、存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及的是一种图像处理方法、装置及设备、存储介质。

背景技术

随着安防行业对前端摄像头需求量的不断增长，对前端摄像头及其相关监控设备的智能化程度也提出更高的要求，而准确检测出场景中的目标对象是智能的基础，也是当前计算机视觉领域研究的热点。目前，广泛使用的目标对象检测模型大多采用深度学习的神经网络来实现，而神经网络需要通过训练才可得到所需的目标对象检测模型。

在相关的方式中，会通过线下针对某个场景收集大量图像，通过人工为图像打上标签信息，作为样本训练出所需的目标对象检测模型。但是，这样训练出来的目标对象检测模型泛化性不强，只能适用于较为单一的场景，在面对繁杂的监控场景时，比如，在一些场景中会存在光影变化(如太阳照射下的树荫)、小动物、人形物体(但是不是真正的人体)等，这些会干扰目标对象检测模型的检测，导致一定量的误检等问题，使得设备的智能化大打折扣。

为了减少这种误检问题，通常会针对各个繁杂的场景采集大量的多样化图像，然后通过人工一一地为图像标注标签信息得到图像样本。但是，这种方式中，不仅多样化图像较难获取，人工标注标签信息的工作量也非常重，成本非常大。

发明内容

有鉴于此，本发明提供一种图像处理方法、装置及设备、存储介质，可以自动地确定出图像样本中标签信息的错误情况并纠正，减少标注工作量。

本发明第一方面提供一种图像处理方法，应用于电子设备，该方法包括：

将第一传感器采集的彩色图像输入至目标对象检测模型中，以得到所述目标对象检测模型输出的检测结果，所述检测结果至少包括被检出对象在所述彩色图像中所处区域的区域位置信息，并依据所述检测结果为所述彩色图像中的被检出对象标注对应的标签信息以得到标注有各个被检出对象的标签信息的图像样本；

依据所述检测结果中的所述区域位置信息从第二传感器采集的深度图中确定与所述区域位置信息匹配的位置所对应的目标深度信息，所述深度图与所述彩色图像是针对同一场景同步采集得到的；

在已建立的目标对象深度信息-目标对象尺寸的对应关系中确定出所述目标深度信息对应的第一尺寸，所述第一尺寸为目标对象与所述第一传感器的距离为所述目标深度信息时该目标对象映射在图像坐标系中的尺寸，所述图像坐标系为所述彩色图像所应用的坐标系，依据所述第一尺寸确定所述图像样本中是否存在被检出对象的误检，若存在，则修正所述图像样本中所述被检出对象的标签信息。

根据本发明的一个实施例，依据所述检测结果中的所述区域位置信息从第二传感器采集的深度图中确定与所述区域位置信息匹配的位置所对应的目标深度信息，包括：

按照预设的坐标转换关系将所述区域位置信息中被指定的坐标进行转换，得到目标坐标，所述坐标转换关系为所述彩色图像应用的坐标系与所述深度图应用的坐标系之间的转换关系；

依据所述目标坐标确定被检出对象在所述深度图中所处的数据区域；

依据所述数据区域中各个坐标上的深度值确定所述目标深度信息。

根据本发明的一个实施例，依据所述第一尺寸确定所述图像样本中是否存在被检出对象的误检，包括：

依据所述区域位置信息确定第二尺寸，所述第二尺寸为所述图像样本中该区域位置信息所对应的被检出对象在所述图像样本中的尺寸；

检查所述第一尺寸和所述第二尺寸是否匹配，如果否，则确定所述图像样本中存在所述被检出对象的误检。

根据本发明的一个实施例，检查所述第一尺寸和所述第二尺寸是否匹配，包括：

计算所述第一尺寸中的第一宽度与第一高度的比值，得到第一宽高比；

计算所述第二尺寸中的第二宽度与第二高度的比值，得到第二宽高比；

计算所述第二宽高比与第一宽高比的差值，并计算该差值与所述第一宽高比的比值，得到误差比；

当所述误差比大于设定误差比时，确定所述第一尺寸和第二尺寸不匹配。

根据本发明的一个实施例，

所述区域位置信息包括已标注的被检出对象所在的标注框的位置信息，所述标注框用于在所述图像样本中对所述被检出对象进行标记。

根据本发明的一个实施例，修正所述图像样本中所述被检出对象的标签信息，包括：

取消所述图像样本中被误检的被检出对象所在的标注框。

根据本发明的一个实施例，该方法进一步包括：

统计多个所述图像样本的累加修正次数，根据所述累加修正次数和次数阈值，确定是否更新所述目标检测模型；或者，

统计多个所述图像样本的误检率，根据所述误检率和设置的误检率阈值，确定是否更新所述目标检测模型；

在确定更新所述目标检测模型时，利用修正后的多个所述图像样本重新训练得到新目标检测模型。

根据本发明的一个实施例，利用修正后的样本图像重新训练得到新的目标对象检测模型之后，该方法进一步包括：

将第一传感器之后采集的图像输入到新的目标对象检测模型进行目标检测。

本发明第二方面提供一种图像处理装置，应用于电子设备，该装置包括：

图像样本获取模块，用于将第一传感器采集的彩色图像输入至目标对象检测模型中，以得到所述目标对象检测模型输出的检测结果，所述检测结果至少包括被检出对象在所述彩色图像中所处区域的区域位置信息，并依据所述检测结果为所述彩色图像中的被检出对象标注对应的标签信息以得到标注有各个被检出对象的标签信息的图像样本；

目标深度信息确定模块，用于依据所述检测结果中的所述区域位置信息从第二传感器采集的深度图中确定与所述区域位置信息匹配的位置所对应的目标深度信息，所述深度图与所述图像是针对同一场景同步采集得到的；

图像样本修正模块，用于在已建立的目标对象深度信息-目标对象尺寸的对应关系中确定出所述目标深度信息对应的第一尺寸，所述第一尺寸为目标对象与所述第一传感器的距离为所述目标深度信息时该目标对象映射在图像坐标系中的尺寸，所述图像坐标系为所述图像所应用的坐标系，依据所述第一尺寸确定所述图像样本中是否存在被检出对象的误检，若存在，则修正所述图像样本中所述被检出对象的标签信息。

根据本发明的一个实施例，所述目标深度信息确定模块依据所述检测结果中的所述区域位置信息从第二传感器采集的深度图中确定与所述区域位置信息匹配的位置所对应的目标深度信息时，具体用于：

根据本发明的一个实施例，所述图像样本修正模块依据所述第一尺寸确定所述图像样本中是否存在被检出对象的误检时，具体用于：

根据本发明的一个实施例，所述图像样本修正模块检查所述第一尺寸和所述第二尺寸是否匹配时，具体用于：

根据本发明的一个实施例，

根据本发明的一个实施例，所述图像样本修正模块修正所述图像样本中所述被检出对象的标签信息时，具体用于：

取消所述图像样本中被误检的被检出对象所在的标注框。

根据本发明的一个实施例，该装置进一步包括：

模型训练模块，用于统计多个所述图像样本的累加修正次数，根据所述累加修正次数和次数阈值，确定是否更新所述目标检测模型；或者，统计多个所述图像样本的误检率，根据所述误检率和设置的误检率阈值，确定是否更新所述目标检测模型；在确定更新所述目标检测模型时，利用修正后的多个所述图像样本重新训练得到新目标检测模型。

根据本发明的一个实施例，该装置进一步包括：

循环模块，用于将第一传感器之后采集的图像输入到新的目标对象检测模型进行目标检测。

本发明第三方面提供一种电子设备，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如前述实施例中所述的图像处理方法。

本发明第四方面提供一种机器可读存储介质，其上存储有程序，该程序被处理器执行时，实现如前述实施例中所述的图像处理方法。

本发明实施例具有以下有益效果：

本发明实施例中，由第一传感器采集的彩色图像经过目标对象检测模型检测之后可得到相应的检测结果，依据该检测结果为彩色图像标注各被检出对象对应的标签信息以得到图像样本，检测结果至少包括被检出对象在彩色图像中所处区域的区域位置信息，根据区域位置信息可以从深度图中确定出对应的目标深度信息，由于深度图和彩色图像是针对同一场景同步采集得到的，深度图和彩色图像中包含相同的对象，所以目标深度信息就是被检出对象的深度信息，在已建立的目标对象深度信息-目标对象尺寸的对应关系中确定出目标深度信息对应的第一尺寸，第一尺寸为目标对象与第一传感器的距离为目标深度信息时该目标对象映射在图像坐标系中的尺寸，也就是被检出对象为目标对象时在色彩图像中的理论尺寸，可以用来验证被检出对象是否被误检，从而可及时修正图像样本中被误检的被检出对象的标签信息，上述方式中，在模型存在误检时，可以自动地确定并纠正被误检的被检出对象的标签信息，不需要人工参与，可大大降低标注成本。

附图说明

图1是本发明一实施例的图像处理方法的流程示意图；

图2是本发明另一实施例的图像处理方法的流程示意图；

图3是本发明一实施例的图像处理系统的结构框图；

图4是本发明一实施例的图像处理装置的结构框图；

图5是本发明另一实施例的图像处理装置的结构框图；

图6是本发明一实施例的电子设备的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种器件，但这些信息不应限于这些术语。这些术语仅用来将同一类型的器件彼此区分开。例如，在不脱离本发明范围的情况下，第一器件也可以被称为第二器件，类似地，第二器件也可以被称为第一器件。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为了使得本发明的描述更清楚简洁，下面对本发明中的一些技术术语进行解释：

深度传感器：能获取场景中景物的深度信息的传感器设备。

深度信息：可利用深度传感器针对场景采集深度图，深度图中包含场景中景物的深度信息；或者，通过三维测绘仪器针对场景进行测绘得到景物的深度信息，深度信息指示了景物与深度传感器、或者深度传感器所在的图像采集设备之间距离的远近。

本发明实施例的图像处理方法，可以应用在多种监控场景中，如门禁、卡口、交通、小区、园区、周界防范、室内公共场所(如银行自助点)等这些需要进行监控的场景中，具体比如可以包括人体检测、人脸检测、车牌检测等目标检测场景中。

下面对本发明实施例的图像处理方法进行更具体的描述，但不应以此为限。在一个实施例中，参看图1，一种图像处理方法，应用于电子设备，该方法可以包括以下步骤：

S100：将第一传感器采集的彩色图像输入至目标对象检测模型中，以得到所述目标对象检测模型输出的检测结果，所述检测结果至少包括被检出对象在所述彩色图像中所处区域的区域位置信息，并依据所述检测结果为所述彩色图像中的被检出对象标注对应的标签信息以得到标注有各个被检出对象的标签信息的图像样本；

S200：依据所述检测结果中的所述区域位置信息从第二传感器采集的深度图中确定与所述区域位置信息匹配的位置所对应的目标深度信息，所述深度图与所述彩色图像是针对同一场景同步采集得到的；

S300：在已建立的目标对象深度信息-目标对象尺寸的对应关系中确定出所述目标深度信息对应的第一尺寸，所述第一尺寸为目标对象与所述第一传感器的距离为所述目标深度信息时该目标对象映射在图像坐标系中的尺寸，所述图像坐标系为所述彩色图像所应用的坐标系，依据所述第一尺寸确定所述图像样本中是否存在被检出对象的误检，若存在，则修正所述图像样本中所述被检出对象的标签信息。

本发明实施例中，图像处理方法的执行主体为电子设备。电子设备比如可以是摄像机设备、计算机设备、或服务器等。当然，电子设备的具体类型不限，具有一定的处理能力即可。其中，摄像机设备可以为可见光摄像机设备，也可以是其他类型的摄像机设备。

步骤S100中，将第一传感器采集的彩色图像输入至目标对象检测模型中，以得到所述目标对象检测模型输出的检测结果，所述检测结果至少包括被检出对象在所述彩色图像中所处区域的区域位置信息，并依据所述检测结果为所述彩色图像中的被检出对象标注对应的标签信息以得到标注有各个被检出对象的标签信息的图像样本。

这里的第一传感器比如可以是图像传感器，且是能够采集彩色图像的传感器，比如可以包括：CMOS图像传感器、CCD图像传感器等，具体不做限定。彩色图像比如可以为RGB图像，当然具体不限于此。

第一传感器可以集成在摄像机设备上，可选的，摄像机设备可以对第一传感器设备采集的彩色图像进行一定的处理之后再输入至目标对象检测模型中，这里的处理比如可以包括：图像增强、格式转换等，具体不做限定。

目标对象检测模型用于检测目标对象，这里的目标对象比如可以包括人体、人脸、车辆、车牌、字符、船只、动物、手部等，具体不做限定。

初始时，目标对象检测模型可以预先利用少量的样本训练得到，这些样本可以通过人工标注标签信息，样本的数量可以较少，不足以训练出性能满足设定要求的目标对象检测模型。换言之，目标对象检测模型的检测性能可以未满足设定要求，或者，可以如背景技术中所说的，初始时的目标对象检测模型可以泛化性不强，只能在较为单一的场景中实现较好的检测性能，在应用到繁杂的监控场景时，具有一定量的误检问题。

比如，一个彩色图像中包含其他对象，目标对象检测模型可能会将彩色图像中的其他对象误检为目标对象，即存在一定量的误检。当然，目标对象检测模型不限于此，也可以在单一场景中也无法实现较好的检测性能。

也就是说，在执行步骤S100时，目标对象检测模型具有一定的目标对象检测能力，但是误检率可能会比较高，还需被进一步训练。

将第一传感器采集的彩色图像输入至目标对象检测模型中，以得到所述目标对象检测模型输出的检测结果，检测结果可以包括被检测对象的相关信息，至少包括被检出对象在所述彩色图像中所处区域的区域位置信息。区域位置信息可以用包围该被检出对象的最小标注框的位置信息表示，比如由最小标注框的顶点坐标、以及高度与宽度组成。

依据所述检测结果为所述彩色图像中的被检出对象标注对应的标签信息，以得到标注有各个被检出对象的标签信息的图像样本，被检出对象的标签信息用于指示被检出对象的相关信息，比如区域位置信息。有多少个被检出对象，检测结果就会包含多少个区域位置信息，相应的，可以在彩色图像中打上对应数量的标签信息。

也就是说，可以在彩色图像中针对每个被检出对象标注对应的标签信息，标签信息中可以包含对应被检出对象在图像中所处区域的区域位置信息，当然标签信息中还可以包括其他信息，比如类型信息等。

标注标签信息的方式比如可以包括：可以在彩色图像中被检测对象所在区域设置标注框，标注框即作为标签信息，该标注框在图像样本中对被检出对象进行标记；或者，将彩色图像的文件名命名为标签信息，后续，可以从图像样本的文件名中读取标签信息，当然，具体不限于此。

步骤S200中，依据所述检测结果中的所述区域位置信息从第二传感器采集的深度图中确定与所述区域位置信息匹配的位置所对应的目标深度信息，所述深度图与所述图像是针对同一场景同步采集得到的。

第二传感器可以为深度传感器，具体类型不限，可以采集深度图即可。

本发明中，第一传感器和第二传感器可以是RGBD相机中的两个传感器，包括一个图像传感器和一个深度传感器。本发明中，深度传感器的含义是广义的，能获取深度图(包括深度信息和灰度图)的传感器或组合传感器都可以称作为深度传感器。深度传感器可以包括：TOF(Time of flight，利用飞行时间法3D成像)相机、结构光相机中的传感器、也可以是雷达和/或其他传感器(图像传感器、距离传感器等)的组合。

第一传感器和第二传感器可以独立安装或安装于同一设备中，可以由第一传感器在采集彩色图像时通知第二传感器同步采集深度图，或者由第二传感器在采集深度图时通知第一传感器同步采集彩色图像，或者由其他设备同步地通知第一传感器采集彩色图像、第二传感器采集深度图。当然，在安装于同一设备中时，第一传感器和第二传感器也可以由所在设备中的处理器通知同步采集，具体不做限定，只要彩色图像和深度图是同步采集的即可，彩色图像和深度图的采集可以是周期进行的。

并且，第一传感器与第二传感器的安装位置相同且可视范围相同，以保证彩色图像和深度图是针对同一场景同步采集得到的，彩色图像和深度图中包含相同的景物。

由于深度图和彩色图像是针对同一场景同步采集得到的，所以如果从彩色图像中检测出一个对象，那么该对象必然也存在于深度图中，而且该对象在彩色图像和深度图中的位置是对应的，彩色图像中有色彩信息和亮度信息，从彩色图像中可以看到前景目标的位置和自身色彩，而深度图中不仅包括场景的图像亮度信息，还包含了场景的深度信息，能反映出前景目标与相机镜头的远近距离，深度图相当于是能够体现物体远近的灰度图，图像亮度信息用灰度值表示可呈现物体位置，图像深度信息用距离来表示可呈现物体远近，所以，可以依据区域位置信息从深度图中确定对应的目标深度信息。

在一个实施例中，步骤S200中，依据所述检测结果中的所述区域位置信息从第二传感器采集的深度图中确定与所述区域位置信息匹配的位置所对应的目标深度信息，可以包括以下步骤：

区域位置信息包括已标注的被检出对象所在的标注框的位置信息，该标注框可以是包围该被检出对象的最小矩形框，该标注框的位置信息也就是被检出对象在图像中所处区域的区域位置信息，区域位置信息比如可以采用区域的四个顶点的坐标表示，或者采用区域的其中一个顶点的坐标与区域的高度和宽度表示，当然具体不做限定。

本实施例中，区域位置信息中被指定的坐标比如可以为：被检出对象在图像中所处区域的四个顶点坐标，或者其中三个顶点坐标，或者其中的左上角顶点坐标和右下角顶点坐标，或者其中的左下角顶点坐标和右上角顶点坐标，只要基于被指定的坐标可以确定出区域位置信息即可。

被指定的坐标经过转换之后得到目标坐标，基于得到的目标坐标可以确定被检出对象在所述深度图中所处的数据区域，即与所述区域位置信息匹配的位置所对应的数据区域，也就是深度图中与被检出对象在彩色图像中所处区域对应的数据区域。

上述的坐标转换关系可以预先标定好，可以将彩色图像所应用的坐标系中的坐标映射到深度图所应用的坐标系中。比如，彩色图像中的像素坐标与深度图中坐标一一对应，对应关系就是上述的坐标转换关系。

以区域位置信息中被指定的坐标为区域的四个顶点坐标为例，按照坐标转换关系对这四个顶点坐标转换之后，得到目标坐标包括位于深度图中对应的四个坐标，可以将以这四个坐标为顶点坐标的一块区域确定为被检出对象所处的数据区域。

确定出数据区域之后，可以依据数据区域中各个坐标上的深度值确定所述目标深度信息，比如包括：将数据区域中各个坐标上的深度值的平均值确定为所述目标深度信息。当然，上述方式只是优选的方式，当然还可以有其他方式，比如可以将数据区域中各个坐标上的深度值的中值确定为目标深度信息，具体不做限定。

步骤S300中，在已建立的目标对象深度信息-目标对象尺寸的对应关系中确定出所述目标深度信息对应的第一尺寸，所述第一尺寸为目标对象与所述第一传感器的距离为所述目标深度信息时该目标对象映射在图像坐标系中的尺寸，所述图像坐标系为所述彩色图像所应用的坐标系，依据所述第一尺寸确定所述图像样本中是否存在被检出对象的误检，若存在，则修正所述图像样本中所述被检出对象的标签信息。

发明人发现，在第一传感器和/或第二传感器的安装高度、可视范围确定的情况下，目标对象与第一传感器和/或第二传感器的距离、与目标对象在第一传感器和/或第二传感器形成的画面中的尺寸(包括高度和宽度)是符合成像原理的，距离越远则尺寸越小(高度和宽度都越小)，距离越近则尺寸越大(高度和宽度都越大)。

因此，可以根据上述原理，并结合第一传感器和/或第二传感器的安装高度、姿态以及内参，预先建立好目标对象深度信息-目标对象尺寸的对应关系。比如，由第二传感器测量出目标对象距离第二传感器或第一传感器的实际距离，然后再根据目标对象在深度图中的位置信息、以及安装高度、姿态、相机内参确定的坐标转换关系，找到第一传感器采集的彩色图像中的目标对象的位置信息，从彩色图像中获取该目标对象的尺寸，记录实际距离与尺寸之间的对应关系，采用同样的方法对多个与第二传感器或第一传感器相距不同距离的目标对象建立对应关系，这里的距离即深度信息。

得到的目标对象深度信息-目标对象尺寸的对应关系中，包含了目标对象与第一传感器的距离为不同深度信息时该目标对象映射在图像坐标系中的尺寸，也就是在第一传感器当时采集的彩色图像中的尺寸。图像坐标系为所述彩色图像所应用的坐标系。

从目标对象深度信息-目标对象尺寸的对应关系中确定出目标深度信息对应的第一尺寸，第一尺寸为目标对象与所述第一传感器的距离为所述目标深度信息时该目标对象映射在图像坐标系中的尺寸，也就是如果被检出对象为目标对象则被检出对象在彩色图像中的理论尺寸。

第二传感器与第一传感器位置可以相同，目标深度信息可以表示被检出对象与第二传感器之间的距离、以及被检出对象与第一传感器之间的距离。由于目标对象与第一传感器的距离、以及目标对象在彩色图像中的尺寸，两者之间的关系应当是符合成像原理的，即距离越近则目标对象的尺寸越大，距离越远则目标对象的尺寸越小。

那么，假设该被检出对象为目标对象，则从成像原理上来说，该被检出对象在彩色图像中的尺寸应该和第一尺寸匹配。因而，可以依据所述第一尺寸图像样本中是否存在被检出对象的误检，若存在，则修正所述图像样本中所述被检出对象的标签信息。

比如，可以删除被误检的被检出对象的标签信息；或者，在标签信息中包含标注信息的情况下，标注信息被设置为用于指示对应的被检出对象为目标对象的第一值，可以修改将标注信息的第一值修改为用于指示对应的被检出对象不为目标对象的第二值，具体修正方式不限，具体可视标签信息的标注方式而定。

由于被误检的被检出对象不是真实的目标对象，所以需要修改图像样本中被检出对象对应的标签信息，以避免目标对象检测模型后续对错误信息的学习。

在一个实施例中，所述区域位置信息包括已标注的被检出对象所在的标注框的位置信息，所述标注框用于在所述图像样本中对所述被检出对象进行标记。

可选的，该标注框可以为包围所述被检出对象的最小矩形框。图像样本中被检出对象背标注框标记，则说明该被检出对象为目标对象，但是，如果被检出对象是被误检的，则此时不应该标记有该标注框。

进一步的，修正所述图像样本中所述被检出对象的标签信息，可以包括：取消所述图像样本中被误检的被检出对象所在的标注框。

本实施例中，图像样本中被误检的被检出对象所在的标注框取消，即可以避免目标对象检测模型误认为该被检出对象为目标对象，以避免错误的学习。

在一个实施例中，步骤S300中，依据所述第一尺寸确定所述图像样本中是否存在被检出对象的误检，包括：

S301：依据所述区域位置信息确定第二尺寸，所述第二尺寸为所述图像样本中该区域位置信息所对应的被检出对象在所述图像样本中的尺寸；

S302：检查所述第一尺寸和所述第二尺寸是否匹配，如果否，则确定所述图像样本中存在所述被检出对象的误检。

如前所述，区域位置信息比如可以采用区域的四个顶点的坐标表示，或者采用区域的其中一个顶点的坐标与区域的高度和宽度表示，无论以哪种方式表示，都可以根据区域位置信息确定出该区域的尺寸。即，依据所述区域位置信息，确定图像样本中该区域位置信息所对应的被检出对象在图像中的尺寸，即第二尺寸。

第一尺寸为目标对象与所述第一传感器的距离为所述目标深度信息时该目标对象映射在图像坐标系中的尺寸，也就是被检出对象为目标对象时在彩色图像中的理论尺寸，如果被检出对象为目标对象，则第二尺寸理应与第一尺寸匹配(最理想的情况是相同，但是由于检测时可能会存在一定的误差，所以这里匹配不限于相同，也可以是存在一定的误差)，如果不匹配，则可以确定被检出对象不为目标对象，即可确定图像样本中存在所述被检出对象的误检。

可选的，如果图像样本中不存在被检出对象的误检，则不需要修正图像样本的标签信息，模型已经对该图像样本有了较好的学习，不需要针对该图像样本进行再学习，当然，此处不作为限制。

检查所述第一尺寸和所述第二尺寸是否匹配的方式有多种，比如可以检查第一尺寸和第二尺寸的误差是否处于设定误差范围内，如果是，则可以确定第一尺寸和第二尺寸匹配。这里的误差比如可以为第一尺寸与第二尺寸的高度误差和/或宽度误差。

在一个实施例中，步骤S302中，检查所述第一尺寸和所述第二尺寸是否匹配，可以包括以下步骤：

误差比通过公式表示，可以为：

|(W2/H2-W1/H1)/(W1/H1)|，其中，W1为第一宽度，H1为第一高度，W2为第二宽度，H2为第二高度。

如果|(W2/H2-W1/H1)/(W1/H1)|大于设定误差比，则确定第一尺寸和第二尺寸不匹配；如果|(W2/H2-W1/H1)/(W1/H1)|小于或等于设定误差比，则确定第一尺寸和第二尺寸匹配。

本实施例中，可以准确地检查出目标对象检测模型发生误检的情况，从而可修正图像样本中的标签信息，以得到训练目标对象检测模型所需的图像样本，优化目标对象检测模型的检测性能，减少其发生误检的情况。

可选的，在修正图像样本中的标签信息后，可以保存修正了标签信息后的图像样本。如果图像样本不存在被检出对象的误检，则说明目标对象检测模型可以准确检测出彩色图像中的目标对象，目标对象检测模型不需要基于该图像样本进行再学习，此时不用修正标签信息，也可以不用保存图像样本。

如此，保存的图像样本都是目标对象检测模型无法准确检测的，目标对象检测模型有必要再基于这些图像样本进行学习。

在一个实施例中，该图像处理方法进一步包括以下步骤：

比如，在修正所述图像样本中所述被检出对象的标签信息完成时，将已记录的修正次数与设定值累加得到累加修正次数，将已记录的修正次数修改为累加修正次数。这里的设定值比如可以为1，当然具体不作限定。

根据累加修正次数和次数阈值，确定是否更新所述目标对象检测模型，比如包括：在累加修正次数到次数阈值时，确定更新目标对象检测模型，否则确定不更新。

误检率可以为修正次数与模型的检测次数的比值，根据所述误检率和设置的误检率阈值，确定是否更新所述目标检测模型，比如包括：在误检率达到误检率阈值时，确定更新目标对象检测模型，否则确定不更新。其中，在目标对象检测模型每次检测完成时，可以将已记录的检测次数与设定值累加得到新的检测次数，将已记录的检测此时修改为新的检测次数。

当确定更新时，利用修正后的样本图像重新训练得到新的目标对象检测模型，让模型学习发生误检的图像样本，提升模型的检测性能。

在每次训练完成时，可删除保存的图像样本，并可以将已记录的修正次数修改为初始值比如0。在记录有检测次数的情况下，还需将检测次数修改为初始值比如0。

可选的，可以每隔一段时间(周期性地)执行上述的根据修正次数和阈值，或者根据修正概率和阈值，确定是否更新所述目标对象检测模型的步骤。这里的周期可以大于彩色图像的采集周期，这样可以在每个执行周期积累一定量用于训练的图像样本。

在修正次数较少、或者修正概率较小的情况下，可能是这段时间内目标对象出现的较少，这种情况下，即使用这些图像样本训练模型性能也不会提升很多，所以可不用这些图像样本训练。因而，在每次执行上述步骤时，当确定不更新时，可以删除已保存的图像样本，同时可以将已记录的修正次数修改为初始值比如0。在记录有检测次数的情况下，还需将检测次数修改为初始值比如0。

本实施例中，利用修正后的图像样本可以对目标对象检测模型进行再训练，以优化目标对象检测模型的检测性能，该方式可以由设备端针对其所应用的场景独立实现模型的自监督学习，不需要人工参与，从而不同设备可以自监督学习出适用于各自应用场景的模型，不需要再去训练出一个泛化性很强的模型。

在一个实施例中，利用修正后的样本图像重新训练得到新的目标对象检测模型之后，该方法进一步包括以下步骤：

本实施例中，经过循环，可以不断训练目标对象检测模型，不断优化目标对象检测模型的检测性能，进一步减少误检情况发生，从而达到自学习的目的。

图2示出了本发明实施例的图像处理方法的一个具体例子，上述图像处理方法可以通过执行程序来得到，首先输入带标签信息的图像样本、以及深度图，该图像样本可以采用上述的步骤S100获得；接着，进行图像样本重筛选，在此过程中需要借助于已标定的深度信息-尺寸的对应关系，即上述的目标对象深度信息-目标尺寸的对应关系，以确定出图像样本中的误检问题，并予以纠正；接着，可以检查误检率是否达到误检率阈值thd，如果未达到，则可以返回输入带标签信息的图像样本、以及深度图的步骤继续执行，如果达到，则重新训练模型，可以基于已修正的图像样本对目标检测模型进行再训练。上述的过程可以认为是模型的自监督学习。训练之后，可以将之后获得的彩色图像输入到更新的目标检测模型中，以得到输出的检测结果。

具体来说，参看图3，第一传感器200和第二传感器300安装位置相同且具有相同的可视范围，所以第一传感器200采集的图像和第二传感器300采集的深度图中，都会包含对象M1、M2、M3，其中，对象M1和M2为目标对象比如人体，对象M3为其他对象比如小狗。将彩色图像输入至目标对象检测模型进行检测之后，被检出对象可能是M1-M3，也就是说，目标对象检测模型将对象M3误检为目标对象，所以对彩色图像的各被检出对象标注标签信息得到图像样本后，该图像样本中存在错误的标签信息。本发明实施例中，可以基于第二传感器300采集的深度图确定检测结果中区域位置信息对应的目标深度信息，也就是被检出对象的深度信息，然后基于目标深度信息可以从目标对象深度信息-目标对象尺寸的对应关系中确定出第一尺寸，基于第一尺寸来确定图像样本是否存在被检出对象的误检，进而修正图像样本中错误的标签信息，之后，利用已修正的图像样本对目标对象检测模型进行再训练，完成目标对象检测模型的自监督学习，以提升目标对象检测模型相应场景下的检测性能。

本发明还提供一种图像处理装置，应用于电子设备，参看图4，该图像处理装置100包括：

图像样本获取模块101，用于将第一传感器采集的彩色图像输入至目标对象检测模型中，以得到所述目标对象检测模型输出的检测结果，所述检测结果至少包括被检出对象在所述彩色图像中所处区域的区域位置信息，并依据所述检测结果为所述彩色图像中的被检出对象标注对应的标签信息以得到标注有各个被检出对象的标签信息的图像样本；

目标深度信息确定模块102，用于依据所述检测结果中的所述区域位置信息从第二传感器采集的深度图中确定与所述区域位置信息匹配的位置所对应的目标深度信息，所述深度图与所述图像是针对同一场景同步采集得到的；

图像样本修正模块103，用于在已建立的目标对象深度信息-目标对象尺寸的对应关系中确定出所述目标深度信息对应的第一尺寸，所述第一尺寸为目标对象与所述第一传感器的距离为所述目标深度信息时该目标对象映射在图像坐标系中的尺寸，所述图像坐标系为所述图像所应用的坐标系，依据所述第一尺寸确定所述图像样本中是否存在被检出对象的误检，若存在，则修正所述图像样本中所述被检出对象的标签信息。

在一个实施例中，所述目标深度信息确定模块依据所述检测结果中的所述区域位置信息从第二传感器采集的深度图中确定与所述区域位置信息匹配的位置所对应的目标深度信息时，具体用于：

在一个实施例中，所述图像样本修正模块依据所述第一尺寸确定所述图像样本中是否存在被检出对象的误检时，具体用于：

在一个实施例中，所述图像样本修正模块检查所述第一尺寸和所述第二尺寸是否匹配时，具体用于：

在一个实施例中，

在一个实施例中，所述图像样本修正模块修正所述图像样本中所述被检出对象的标签信息时，具体用于：

取消所述图像样本中被误检的被检出对象所在的标注框。

在一个实施例中，参看图5，在图4示出的图像处理装置100的基础上，该图像处理装置100进一步包括：

在一个实施例中，该装置进一步包括：

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元。

本发明还提供一种电子设备，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如前述实施例中所述的图像处理方法。

本发明图像处理装置的实施例可以应用在电子设备上。以软件实现为例，作为一个逻辑意义上的装置，是通过其所处电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图6所示，图6是本发明根据一示例性实施例示出的图像处理装置100所处电子设备的一种硬件结构图，除了图6所示的处理器510、内存530、网络接口520、以及非易失性存储器540之外，实施例中图像处理装置100所处的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。

本发明还提供一种机器可读存储介质，其上存储有程序，该程序被处理器执行时，实现如前述实施例中所述的图像处理方法。

本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。机器可读存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。机器可读存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种图像处理方法，其特征在于，应用于电子设备，该方法包括：

在已建立的目标对象深度信息-目标对象尺寸的对应关系中确定出所述目标深度信息对应的第一尺寸，所述第一尺寸为目标对象与所述第一传感器的距离为所述目标深度信息时该目标对象映射在图像坐标系中的尺寸，所述图像坐标系为所述彩色图像所应用的坐标系，依据所述区域位置信息确定第二尺寸，所述第二尺寸为所述图像样本中该区域位置信息所对应的被检出对象在所述图像样本中的尺寸；计算所述第一尺寸中的第一宽度与第一高度的比值，得到第一宽高比；计算所述第二尺寸中的第二宽度与第二高度的比值，得到第二宽高比；计算所述第二宽高比与第一宽高比的差值，并计算该差值与所述第一宽高比的比值，得到误差比；当所述误差比大于设定误差比时，确定所述第一尺寸和第二尺寸不匹配，确定所述图像样本中存在所述被检出对象的误检，修正所述图像样本中所述被检出对象的标签信息。

2.如权利要求1所述的图像处理方法，其特征在于，依据所述检测结果中的所述区域位置信息从第二传感器采集的深度图中确定与所述区域位置信息匹配的位置所对应的目标深度信息，包括：

3.如权利要求1所述的图像处理方法，其特征在于，

4.如权利要求3所述的图像处理方法，其特征在于，修正所述图像样本中所述被检出对象的标签信息，包括：

取消所述图像样本中被误检的被检出对象所在的标注框。

5.如权利要求1-4中任一项所述的图像处理方法，其特征在于，该方法进一步包括：

统计多个所述图像样本的累加修正次数，根据所述累加修正次数和次数阈值，确定是否更新所述目标对象检测模型；或者，

统计多个所述图像样本的误检率，根据所述误检率和设置的误检率阈值，确定是否更新所述目标对象检测模型；

在确定更新所述目标对象检测模型时，利用修正后的多个所述图像样本重新训练得到新目标对象检测模型。

6.如权利要求5所述的图像处理方法，其特征在于，利用修正后的样本图像重新训练得到新的目标对象检测模型之后，该方法进一步包括：

7.一种图像处理装置，其特征在于，应用于电子设备，该装置包括：

图像样本修正模块，用于在已建立的目标对象深度信息-目标对象尺寸的对应关系中确定出所述目标深度信息对应的第一尺寸，所述第一尺寸为目标对象与所述第一传感器的距离为所述目标深度信息时该目标对象映射在图像坐标系中的尺寸，所述图像坐标系为所述图像所应用的坐标系，依据所述区域位置信息确定第二尺寸，所述第二尺寸为所述图像样本中该区域位置信息所对应的被检出对象在所述图像样本中的尺寸；计算所述第一尺寸中的第一宽度与第一高度的比值，得到第一宽高比；计算所述第二尺寸中的第二宽度与第二高度的比值，得到第二宽高比；计算所述第二宽高比与第一宽高比的差值，并计算该差值与所述第一宽高比的比值，得到误差比；当所述误差比大于设定误差比时，确定所述第一尺寸和第二尺寸不匹配，确定所述图像样本中存在所述被检出对象的误检，修正所述图像样本中所述被检出对象的标签信息。

8.一种电子设备，其特征在于，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如权利要求1-6中任意一项所述的图像处理方法。

9.一种机器可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现如权利要求1-6中任意一项所述的图像处理方法。