CN114445683A - 属性识别模型训练、属性识别方法、装置及设备 - Google Patents

Abstract

本公开提供的属性识别模型训练、属性识别方法、装置及设备，涉及人工智能领域，尤其涉及计算机视觉、图像识别和深度学习技术领域。其中，属性识别模型训练方法包括：获取图像训练集，该图像训练集中的每张图像携带有标注属性和标注物体区域，每张图像的标注物体区域对应物体的面积与所述图像的总面积的比值小于预设比例阈值，将图像训练集中的每张图像输入到预设网络，得到每张图像的预测物体热力图，根据每张图像的标注属性、标注物体区域的标注物体热力图和预测物体热力图，调整预设网络的参数，得到属性识别模型。属性识别方法包括：将待处理图像输入到上述训练得到的属性识别模型中，确定待处理图像是否包含目标属性。

Description

属性识别模型训练、属性识别方法、装置及设备

技术领域

本公开涉及人工智能领域中的计算机视觉、图像识别和深度学习技术领域，尤其涉及一种属性识别模型训练、属性识别方法、装置及设备。

背景技术

随着深度学习技术的发展，目标检测成为计算机视觉领域的基本任务之一，尤其是特殊场景下的属性识别越来越重要。例如，在驾驶场景下，识别驾驶室图像中是否包含驾驶员打电话属性，驾驶员是否抽烟属性，对确定驾驶员是否安全驾驶确定至关重要；在医院或商场等场景下，识别监控图像中是否包含用户抽烟属性，对公共场所的安全、环境维护至关重要等。

现有的目标检测算法是用于通用物体检测任务，而上述特殊场景下的图像属性识别主要与小物体相关，而小物体是图像中面积较小的物体，现有的目标检测算法用于上述特殊场景的目标属性识别时存在识别能力差，属性识别准确度低的问题。

发明内容

本公开提供了一种属性识别模型训练、属性识别方法、装置及设备。

根据本公开的第一方面，提供了一种属性识别模型训练方法，包括：

获取图像训练集，所述图像训练集中的每张图像携带有标注属性和标注物体区域，每张图像的标注物体区域对应物体的面积与所述图像的总面积的比值小于预设比例阈值；

将所述图像训练集中的每张图像输入到预设网络，得到每张图像的预测物体热力图；

根据每张图像的标注属性、标注物体区域的标注物体热力图和预测物体热力图，调整所述预设网络的参数，得到属性识别模型。

根据本公开的第二方面，提供了一种属性识别方法，包括：

获取待处理图像；

将所述待处理图像输入到属性识别模型，得到属性识别结果，所述属性识别结果包括：所述待处理图像中包含目标属性或者所述待处理图像中未包含目标属性；其中，所述属性识别模型是利用图像训练集中各张图像的标注属性、标注物体区域和所述标注物体区域的标注物体热力图对预设网络进行训练得到的，每张图像的标注物体区域对应物体的面积与所述图像的总面积的比值小于预设比例阈值。

根据本公开的第三方面，提供了一种属性识别模型训练装置，包括：

获取单元，用于获取图像训练集，所述图像训练集中的每张图像携带有标注属性和标注物体区域，每张图像的标注物体区域对应物体的面积与所述图像的总面积的比值小于预设比例阈值；

处理单元，用于将所述图像训练集中的每张图像输入到预设网络，得到每张图像的预测物体热力图；

训练单元，用于根据每张图像的标注属性、标注物体区域的标注物体热力图和预测物体热力图，调整所述预设网络的参数，得到属性识别模型。

根据本公开的第四方面，提供了一种属性识别装置，包括：

获取单元，用于获取待处理图像；

识别单元，用于将所述待处理图像输入到属性识别模型，得到属性识别结果，所述属性识别结果包括：所述待处理图像中包含目标属性或者所述待处理图像中未包含目标属性；其中，所述属性识别模型是利用图像训练集中各张图像的标注属性、标注物体区域和所述标注物体区域的标注物体热力图对预设网络进行训练得到的，每张图像的标注物体区域对应物体的面积与所述图像的总面积的比值小于预设比例阈值。

根据本公开的第五方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法，或者，执行第二方面所述的方法。

根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面所述的方法，或者，执行第二方面所述的方法。

根据本公开的第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法，或者执行第二方面所述的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开实施例提供的一种应用场景的示意图；

图2是本公开第一实施例提供的属性识别模型训练方法的流程示意图；

图3是本公开第二实施例提供的属性识别模型训练方法的流程示意图；

图4是本公开第三实施例提供的属性识别模型训练方法的流程示意图；

图5是本公开第一实施例提供的属性识别方法的流程示意图；

图6是本公开第二实施例提供的属性识别方法的流程示意图；

图7是本公开实施例提供的一种属性识别模型训练装置的结构示意图；

图8是本公开实施例提供的一种属性识别装置的结构示意图；

图9是可以用来实施本公开的实施例的示例电子设备的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

随着图像处理技术的不断更新及发展，深度学习在计算机视觉上的应用越来越广泛，并迅速在目标检测、图像分类，分割，图像生成等领域取得了重大突破。其中，目标检测是众多计算机视觉算法的基础，越来越受到众多研究者的关注。

示例性的，随着目标检测技术的迅速发展，特殊场景下的图像属性识别越来越重要。例如，在驾驶场景下，需要识别驾驶室图像中是否包含驾驶员打电话属性，驾驶员是否抽烟属性；在医院或商场等场景下，识别监控图像中是否包含用户抽烟属性等。

在实际应用中，上述特殊场景下的图像属性识别主要与小物体相关，例如，驾驶员是否打电话属性主要与驾驶室图像中的电话有关，驾驶员是否抽烟属性主要与驾驶室图像中的烟有关等，由于这些小物体的面积相对待处理图像的整体面积较小，利用针对通用物体的目标检测方法很难准确的识别出特殊场景下的小物体，导致上述特殊场景下的目标属性识别能力差，属性识别准确度低的问题。

示例性的，在实际应用中，现有针对通用物体的目标检测方法使用的深度卷积网络的下采样程度较大，由于图像中的小物体本身像素较少，信息会在下采样的过程中丢失，导致深度卷积网络最后无法输出小物体的检测结果，而且，现有的深度卷积网络是在全图上做物体检测，耗时长，占用资源大，且容易发生误识别等问题。

针对上述技术问题，本公开技术方案的构思过程如下：基于图像中小物体具有的本身像素少，面积小的特点，发明人发现：如果在训练过程中，提高小物体区域的直观效果，例如，利用标注小物体的热力图和属性识别过程中确定的预测小物体的热力图，可以迅速的定位出图像中的小物体区域，进而缩短属性识别模型的训练时长，提高属性识别模型的训练效率，从而可以在应用时，提高属性识别的识别准确度。

基于上述构思过程，本公开的实施例提供了一种属性识别模型训练方法，通过获取图像训练集，该图像训练集中的每张图像携带有标注属性和标注物体区域，每张图像的标注物体区域对应物体的面积与所述图像的总面积的比值小于预设比例阈值，将图像训练集中的每张图像输入到预设网络，得到每张图像的预测物体热力图，根据每张图像的标注属性、标注物体区域的标注物体热力图和预测物体热力图，调整预设网络的参数，得到属性识别模型，该方法可以迅速的定位出图像中的小物体区域，缩短了属性识别模型的训练时长，提高了属性识别模型的训练效率。可选的，本公开实施例还提供了一种属性识别方法，通过将待处理图像输入到上述训练的属性识别模型中，可以得到属性识别结果，该属性识别结果包括：待处理图像中包含目标属性或者待处理图像中未包含目标属性，从而提高了属性识别的准确度。

可理解，在本公开的实施例中，“属性识别模型”也称“模型”，可以接收待处理图像，并根据接收的待处理图像和当前的模型参数确定待处理图像是否包含目标属性的判断结果。该属性识别模型可以是回归模型、神经网络(artificial neural network，ANN)、深度神经网络(deep neural network，DNN)、支持向量机(support vector machine，SVM)或其他的机器学习模型等。本公开实施例并不对其进行限定。

示例性的，图1是本公开实施例提供的一种应用场景的示意图。如图1所示，该应用场景可以包括：两个阶段；其中：

第一阶段为属性识别模型的训练阶段。

在属性识别模型的训练阶段中，属性识别模型是用于识别图像属性的模型。在本公开应用的场景中，属性识别模型用于对获取到的待处理图像进行属性识别，确定待处理图像中是否包括目标属性。可选的，待处理图像中是否包括目标属性可以通过待处理图像是否包含目标物体来表征，且该目标物体的面积与待处理图像的总面积的比值小于预设比例阈值，即俗称的小物体。

可理解，本公开实施例中的目标物体，即，图像中的小物体是以整个图像的大小为基准进行定义的，例如，当图像中的某个物体的面积与整张图像的面积的比值小于预设比例，则可以将该物体称为小物体。

示例性的，在本公开的实施例中，参见图1，训练设备从N个图像库获取图像集合，然后从图像集合中提取出多张包括目标物体的图像，并获取到针对每张图像进行属性标注和物体区域标注后的每张图像组成图像训练集，再利用预设网络对图像训练集中的每张图像进行物体预测，得到每张图像的预测物体热力图，最后根据每张图像的标注属性、标注物体区域的标注物体热力图和预测物体热力图，调整预设网络的参数，得到属性识别模型。

第二阶段为利用属性识别模型进行图像属性识别的阶段。

在利用属性识别模型进行图像属性识别的阶段中，继续参见图1，上述第一训练得到的属性识别模型可以加载到识别设备中。识别设备利用属性识别模型进行属性识别。可选的，识别设备也可以称为智能设备。

示例性的，将待处理图像输入至识别设备进行属性识别，得到属性识别结果，该属性识别结果包括：待处理图像中包含目标属性或者待处理图像中未包含目标属性。进一步的，当待处理图像中包含目标属性时，可以生成提示信息，该提示信息为文本信息或者语音信息，并输出该提示信息，或者向预设设备发送该提示信息。

需要说明的是，图1仅是本公开实施例提供的一种应用场景示意图，本公开实施例并不限定应用场景中包括的具体设备，例如，该应用场景中还可以包括：图像采集设备、存储设备等。

示例性的，在图1所示的应用场景中，图像采集设备可以基于接收到的采集指令采集指定区域范围内的图像，并将采集的图像传输至识别设备进行属性识别，得到属性识别结果。

可选的，本实施例中的存储设备可以是用于存储图像，其可以是一个独立的设备，也可以集成在处理平台中。

可理解，图1中所示设备之间的位置关系不构成任何限制，例如，应用场景还包括图像采集设备和/或存储设备时，存储设备相对训练设备或识别设备可以是外部存储器，在其它情况下，也可以将存储设备置于识别设备中。

还需要说明的是，本公开实施例中训练设备和识别设备可以是同一设备，或者不同设备。训练设备和/或识别设备可以是终端设备，该终端设备包括但不限于：智能手机、笔记本电脑、台式电脑、平台电脑、车载设备、智能穿戴设备等，也可以是服务器或者虚拟机等，还可以是一个或多个服务器和/或计算机等组成的分布式计算机系统等，本公开实施例不作限定。其中，服务器可以为普通服务器或者云服务器，云服务器又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

值得说明的是，本公开的产品实现形态是包含在机器学习、深度学习平台软件中，并部署在服务器(也可以是计算云或移动终端等具有计算能力的硬件)上的程序代码。在图1所示的系统结构图中，本公开的程序代码可以存储在识别设备和训练设备内部。运行时，程序代码运行于服务器的主机内存和/或GPU内存。

本公开实施例中，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

下面，通过具体实施例对本公开的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

示例性的，下面首先结合几个具体的实施例对属性识别模型的训练过程进行详细描述。

图2是本公开第一实施例提供的属性识别模型训练方法的流程示意图。本实施例的方法可以由图1中的训练设备执行，也可以由训练设备中的处理器执行。本实施例中以训练设备执行该方法进行说明。如图2所示，本实施例提供的属性识别模型训练方法可以包括：

S201、获取图像训练集，该图像训练集中的每张图像携带有标注属性和标注物体区域，每张图像的标注物体区域对应物体的面积与该图像的总面积的比值小于预设比例阈值。

示例性的，训练设备可以从多个图像库获取大量的图像。

在本实施例的一种可能设计中，训练设备获取到的每张图像均是已被标注的图像，可选的，标注后的每张图像均携带有标注属性和标注物体区域。

其中，标注属性是指该图像中包含的至少一种属性信息，例如，驾驶室图像中包含驾驶员打电话属性和/或抽烟属性；标注物体区域是指标注的用于指示目标属性的目标物体所在的区域范围，例如，标注物体区域是指标注的用于驾驶员打电话属性的电话所在的区域范围，标注物体区域是指标注的用于驾驶员抽烟属性的烟或烟头所在的区域范围。

可理解，在本公开的实施例中，针对一些跟目标物体相关的属性识别(例如驾驶员打电话属性)响应低的问题，可以对目标物体区域标注检测框，同时使用位置响应(即后续的物体热力图)监督属性识别模型的训练，提高了目标物体对应区域的响应。

可理解，在本公开的实施例中，在每张图像中，标注物体区域可以是目标物体外围的矩形框区域，目标物体的面积与其所在图像的面积的比值小于预设比例阈值，也可以成为小物体。

S202、将图像训练集中的每张图像输入到预设网络，得到每张图像的预测物体热力图。

在本公开的实施例中，在属性识别模型的训练过程中，训练设备可以将图像训练集中的每张图像分别输入到预设网络中，可以输出每张图像中包括的目标属性对应的目标物体的预测物体热力图，即获取每张图像的预测物体热力图。

在实际应用中，热力图是以特殊高亮的形式显示目标物体所在的位置区域的图示，能够在训练过程中，确定出属性识别模型确定的目标物体预测物体热力图，为后续调整预设网络的参数奠定了基础。

S203、根据每张图像的标注属性、标注物体区域的标注物体热力图和预测物体热力图，调整该预设网络的参数，得到属性识别模型。

在本实施例中，训练设备还可以基于每张图像中标注物体区域确定出标注物体热力图，然后将其与S202中确定的预测物体热力图进行对比，根据预测物体热力图与标注物体热力图的一致性程度，确定出预设网络针对每张图像的预测属性，进而根据预设网络针对图像训练集中每张图像的预测属性和该图像的标注属性，调整该预设网络的参数，得到属性识别模型。

可理解，在本实施例中，预测物体热力图实际上是预测的目标物体的位置响应，且也即，本公开实施例的方案是基于位置响应的图像属性识别方法，其可以针对图像训练集中每张图像包含的与小物体相关的属性，例如驾驶员打电话属性，标注手机区域的位置信息(比如矩形框)，之后在训练过程中，利用该手机区域的位置信息生成标注物体热力图，进而在属性识别模型的训练过程中监督模型的训练，要求属性识别模型在识别驾驶员是否打电话的基础上，输出手机区域的预测位置区域以及该预测位置区域对应的预测物体热力图，从而提高了小物体的区域响应，提高了相关属性的识别精度。

本公开的实施例中，通过获取图像训练集，该图像训练集中的每张图像携带有标注属性和标注物体区域，每张图像的标注物体区域对应物体的面积与所述图像的总面积的比值小于预设比例阈值，将该图像训练集中的每张图像输入到预设网络，得到每张图像的预测物体热力图，最后根据每张图像的标注属性、标注物体区域的标注物体热力图和预测物体热力图，调整所述预设网络的参数，得到属性识别模型。该技术方案中，利用识别的属性对应的小物体位置信息，在模型训练中额外增加相关热力图监督，提高了属性识别模型对于小物体区域的响应，从而提高了图像中属性识别的准确率。

在图2所示实施例的基础上，下述对本公开实施例提供的属性识别模型训练方法进行更详细的介绍。

图3是本公开第二实施例提供的属性识别模型训练方法的流程示意图。如图3所示，在本公开的实施例中，上述S203可以通过如下步骤实现：

S301、根据每张图像的标注物体区域的标注物体热力图和每张图像的预测物体热力图，确定每张图像的预测属性。

示例性的，在本公开的实施例中，针对每张图像，在确定出标注物体区域的标注物体热力图和预测物体热力图后，可以将该标注物体热力图和预测物体热力图进行对比，确定出标注物体热力图和预测物体热力图表征的区域是否一致。

作为一种示例，响应于标注物体热力图和预测物体热力图表征的区域一致，确定该图像的预测属性为标注物体区域对应的物体相关的目标属性。

作为另一种示例，响应于标注物体热力图和预测物体热力图表征的区域不一致，确定该图像的预测属性为无或不包括标注物体区域对应的物体相关的目标属性。

S302、根据该图像训练集中每张图像的预测属性和每张图像的标注属性，确定该预设网络的属性识别准确度。

示例性的，在确定出图像训练集中每张图像的预测属性时，可以将其与该图像的标注属性进行对比，确定出图像训练集中预测正确的图像数量和图像训练集中的图像总数量，进而计算该图像训练集中预测正确的图像数量占图像训练集中的图像总数量的百分比，从而确定出该预设网络的属性识别准确度。

S303、响应于预设网络的属性识别准确度小于识别准确度阈值，调整该预设网络的参数，直到预设网络的属性识别准确度大于或等于识别准确度阈值，得到属性识别模型。

示例性的，训练设备中可以预配置有识别准确度阈值，响应于预设网络的属性识别准确度大于或等于识别准确度阈值，此时，预设网络即是用于属性识别的属性识别模型；响应于预设网络的属性识别准确度小于识别准确度阈值，此时，预设网络输出的所有图像的预测物体热力图中存在一部分的预测错误率，此时，可以通过调整预设网络的参数，直到预设网络输出的所有图像的预测物体热力图大于或等于识别准确度阈值数量的结果均是准确的，最终的预测网络即为训练得到的属性识别模型。

在本公开的实施例中，根据每张图像的标注物体区域的标注物体热力图和每张图像的预测物体热力图，确定每张图像的预测属性，根据该图像训练集中每张图像的预测属性和每张图像的标注属性，确定该预设网络的属性识别准确度，以及响应于预设网络的属性识别准确度小于识别准确度阈值，调整该预设网络的参数，直到预设网络的属性识别准确度大于或等于识别准确度阈值，得到属性识别模型。该技术方案中，通过基于属性识别结果调整预设网络的参数，从而可以有监督的训练属性识别模型，提高了图像属性的识别准确率。

在图2或图3所示实施例的基础上，图4是本公开第三实施例提供的属性识别模型训练方法的流程示意图。在本公开的实施例中，上述预设网络包括：全连接层；相应的，如图4所示，上述S202可以通过如下步骤实现：

S401、将图像训练集中的每张图像输入到预设网络，利用全连接层对每张图像进行二分类，得到每张图像的二分类结果。

示例性的，本公开实施例中的预设网络为深度卷积神经网络，而全连接层在计算机视觉领域正常用于深度神经网络的后面几层，用于图像分类任务。因而，在本公开的实施例中，当将图像训练集中的每张图像输入到预设网络时，则可以利用全连接层的分类作用对每张图像进行二分类，将图像中的目标物体区域从当前图像中划分出来，得到每张图像的二分类结果。

示例性的，全连接层可以将驾驶室图像中的手机区域从该驾驶室图像中划分出来，确定出驾驶室图像中的手机区域和图像其他区域，图像其他区域即驾驶室图像中除去手机区域外的区域。

S402、基于每张图像的二分类结果，生成每张图像的空间响应特征图。

示例性的，针对每张图像的二分类结果，即目标物体区域和图像其他区域，通过将该二分类结果作用于具有空间维度的特征图上，从而可以生成每张图像的空间响应特征图。

可选的，该空间响应特征图具有目标物体区域的空间激活信息。

S403、对每张图像的空间响应特征图进行渲染，得到每张图像的预测物体热力图。

示例性的，可以通过特殊高亮显示的渲染方式对每张图像进行处理，使得空间响应特征图能够在图像中突显出来，便于用户查看或计算机标记，从而得到每张图像的预测物体热力图。

在本公开的一种可能设计中，如图4所示，在上述S202之前，即在上述S401之前，该属性识别模型训练方法还可以包括：

S400、根据图像训练集中的每张图像的物体标注区域，生成每张图像的标注物体热力图。

示例性的，对于图像训练集中的每张图像，也可以采用特殊高亮显示的渲染方式对该图像的物体标注区域进行处理，使得物体标注区域能够在该图像中突显出来，从而得到该图像的标注物体热力图。

本公开实施例中，通过根据图像训练集中的每张图像的物体标注区域，生成每张图像的标注物体热力图，将图像训练集中的每张图像输入到预设网络，利用全连接层对每张图像进行二分类，得到每张图像的二分类结果，基于每张图像的二分类结果，生成每张图像的空间响应特征图，对每张图像的空间响应特征图进行渲染，得到每张图像的预测物体热力图。该技术方案中，通过热力图的形式可以有效的标记图像中的小物体，避免了训练过程中由于小物体在图像中面积较小导致的识别能力差的问题。

上述实施例描述的是属性识别模型的训练过程。下面结合几个具体的实施例对利用属性识别模型进行属性识别的过程进行介绍。

图5是本公开第一实施例提供的属性识别方法的流程示意图。本实施例的方法可以由图1中的识别设备执行，也可以由识别设备中的处理器执行。本实施例中以识别设备执行该方法进行说明。如图5所示，本实施例的方法包括：

S501、获取待处理图像。

示例性的，识别设备可以接收来自于其他设备的待处理图像，也可以从自身存储的图像库中读取待处理图像(此时，识别设备中部署有图像库)，还可以基于自身具有的采集组件采集待处理图像(此时，识别设备具有图像采集组件)。

S502、将待处理图像输入到属性识别模型，得到属性识别结果，该属性识别结果包括：待处理图像中包含目标属性或者待处理图像中未包含目标属性；其中，该属性识别模型是利用图像训练集中各张图像的标注属性、标注物体区域和标注物体区域的标注物体热力图对预设网络进行训练得到的，每张图像的标注物体区域对应物体的面积与所述图像的总面积的比值小于预设比例阈值。

在本公开的实施例中，识别设备上部署或加载有上述图2至图4中训练得到的属性识别模型。在实际应用中，在识别设备获取到待处理图像后，便可以将该待处理图像输入到该属性识别模型中，从而可以直接输出属性识别结果，以确定待处理图像是否包含目标属性。

可理解，在本实施例中，当属性识别模型在识别设备中创建时，可以去除输出与目标属性相关的目标物体的预测物体热力图的步骤，从而只使用属性识别模型的分类判断功能，即，在属性识别阶段，输出空间响应的操作可以去除，而只使用分类判断功能，未增加与属性识别无关的额外信息，加速了属性识别过程，同时提高属性识别模型的精度。

在图5所示实施例的基础上，下述对本公开实施例提供的属性识别方法进行更详细的介绍。

示例性的，图6是本公开第二实施例提供的属性识别方法的流程示意图。如图6所示，在本公开的实施例中，上述S502可以通过如下步骤实现：

S601、将待处理图像输入到属性识别模型，确定待处理图像中是否包含目标物体；若是，执行S602；若否，执行S603。

在本公开的实施例中，识别设备识别待处理图像是否包含目标属性的本质为确定待处理图像中是否包含与目标属性相关的目标物体，即确定待处理图像中是否包含用于指示目标属性的目标物体，例如，若判断驾驶室图像中是否包含驾驶员打电话属性，则判断驾驶室图像中是否包含电话，若判断驾驶室图像中是否包含驾驶员吸烟属性，则判断驾驶室图像中是否包含烟等。

相应的，识别设备将待处理图像输入到属性识别模型后，则可以通过空间激活响应等方式，首先判定待处理图像中是否包含目标物体，并基于判定结果执行后续操作。

S602、根据物体与属性的关联关系，确定待处理图像包含目标物体关联的目标属性。

作为一种示例，识别设备的属性识别模型中加载有物体与属性的关联关系，因而，响应于待处理图像包含目标物体，识别设备的属性识别模型会查询物体与属性的关联关系，确定待处理图像中包含与目标物体相关的目标属性。例如，在确定驾驶室图像中包含电话时，确定该驾驶室图像中包含驾驶员打电话属性；在确定驾驶室图像中包含烟时，则确定驾驶室图像中包含驾驶员吸烟属性。

S603、确定待处理图像未包含目标属性。

作为另一种示例，识别设备基于属性识别模型识别到待处理图像中未包含目标物体，则可以确定待处理图像未包含目标属性。例如，驾驶室图像中未包含电话时，确定该驾驶室图像中未包含驾驶员打电话属性；驾驶室图像中未包含烟时，确定驾驶室图像中未包含驾驶员吸烟属性。

可理解，在本公开的实施例中，属性识别模型是通过检测待处理图像中是否包含目标物体来确定待处理图像是否包含目标属性的，其在训练阶段会基于物体的热力图进行训练，但是在实际应用中，无需对检测的物体进行热力图显示，只利用属性识别模型的物体检测结果，便可以确定待处理图像中是否包含目标属性。

在本公开的实施例中，通过将待处理图像输入到属性识别模型，确定待处理图像中是否包含目标物体，响应于待处理图像包含目标物体，根据物体与属性的关联关系，确定待处理图像包含目标物体关联的目标属性；响应于待处理图像未包含目标物体，确定待处理图像未包含目标属性。该技术方案中，通过物体与属性的关联关系可以准确得出属性判断结果，提高了图像属性识别的准确度。

在本公开实施例的一些可能的实现方式中，上述S501(获取待处理图像)可以包括：

A1、获取属性识别请求，该属性识别请求用于指示识别的属性类型；

A2、基于该属性识别请求，获取属性类型对应的待处理图像。

示例性的，识别设备可以获取用户通过人机交互界面输入的属性识别请求，例如，基于通过人机交互界面获取到的打电话属性识别请求，确定需要识别打电话属性，或者，基于通过人机交互界面获取到的吸烟属性识别请求，确定需要识别吸烟属性等。

相应的，识别设备在确定出需要识别的属性类型时，便可以从其他设备获取该属性类型对应的待处理图像或利用自身的图像采集设备采集该属性类型对应的待处理图像。

作为一种示例，识别设备可以基于属性识别请求对应的属性类型，获取针对预设区域采集的待处理图像。

可选的，识别设备确定需要识别驾驶场景下的打电话属性时，便可以向安装在驾驶室的摄像设备发送摄像指令，以获取摄像设备针对驾驶室区域采集的图像，或者，识别设备包括安装在驾驶室的摄像设备，此时，识别设备便可以自动拍摄驾驶室区域的图像。

在本公开实施例的一些可能的实现方式中，在上述S502(将待处理图像输入到属性识别模型，得到属性识别结果)之后，该属性识别方法还可以包括：

B1、响应于待处理图像中包含目标属性，生成目标属性的提示信息，该提示信息为文本信息或者语音信息；

B2、输出该提示信息，或者向预设设备发送提示信息。

例如，当识别设备为终端设备时，响应于待处理图像中包含目标属性，便可以直接对提示信息进行显示或者播放，例如，显示文本信息或者播放语音信息。

例如，当识别设备为服务器时，识别设备在生成目标属性的提示信息后，可以向终端设备发送该提示信息，以使终端设备对提示信息进行显示或者播放。

在本公开的实施例中，响应于待处理图像中包含目标属性，生成目标属性的提示信息，该提示信息为文本信息或者语音信息，并输出该提示信息，或者向预设设备发送提示信息的方案，可以及时发出提示，以便用户或者研究人员及时获知识别结果。

图7是本公开实施例提供的一种属性识别模型训练装置的结构示意图。本实施例提供的属性识别模型训练装置可以为图1中的训练设备或者为训练设备中的装置。如图7所示，本公开实施例提供的属性识别模型训练装置700可以包括：

获取单元701，用于获取图像训练集，所述图像训练集中的每张图像携带有标注属性和标注物体区域，每张图像的标注物体区域对应物体的面积与所述图像的总面积的比值小于预设比例阈值；

处理单元702，用于将所述图像训练集中的每张图像输入到预设网络，得到每张图像的预测物体热力图；

训练单元703，用于根据每张图像的标注属性、标注物体区域的标注物体热力图和预测物体热力图，调整所述预设网络的参数，得到属性识别模型。

在本公开实施例的一种可能实现中，所述训练单元703，包括：

第一确定模块，用于根据每张图像的标注物体区域的标注物体热力图和每张图像的预测物体热力图，确定每张图像的预测属性；

第二确定模块，用于根据所述图像训练集中每张图像的预测属性和每张图像的标注属性，确定所述预设网络的属性识别准确度；

训练模块，用于响应于所述预设网络的属性识别准确度小于识别准确度阈值，调整所述预设网络的参数，直到所述预设网络的属性识别准确度大于或等于所述识别准确度阈值，得到属性识别模型。

在本公开实施例的一种可能实现中，所述预设网络包括：全连接层；

相应的，所述处理单元702，包括：

分类模块，用于将所述图像训练集中的每张图像输入到预设网络，利用所述全连接层对每张图像进行二分类，得到每张图像的二分类结果；

生成模块，用于基于每张图像的二分类结果，生成每张图像的空间响应特征图；

渲染模块，用于对每张图像的空间响应特征图进行渲染，得到每张图像的预测物体热力图。

在本公开实施例的一种可能实现中，所述处理单元702，还用于根据所述图像训练集中的每张图像的物体标注区域，生成每张图像的标注物体热力图。

本实施例提供的属性识别模型训练装置，可用于执行上述任意方法实施例中由训练设备执行的属性识别模型训练方法，其实现原理和技术效果类似，此处不做作赘述。

图8是本公开实施例提供的一种属性识别装置的结构示意图。本实施例提供的属性识别装置可以为图1中的识别设备或者为识别设备中的装置。如图8所示，本公开实施例提供的属性识别装置800可以包括：

获取单元801，用于获取待处理图像；

识别单元802，用于将所述待处理图像输入到属性识别模型，得到属性识别结果，所述属性识别结果包括：所述待处理图像中包含目标属性或者所述待处理图像中未包含目标属性；其中，所述属性识别模型是利用图像训练集中各张图像的标注属性、标注物体区域和所述标注物体区域的标注物体热力图对预设网络进行训练得到的，每张图像的标注物体区域对应物体的面积与所述图像的总面积的比值小于预设比例阈值。

在本公开实施例的一种可能实现中，所述识别单元802，包括：

识别模块，用于将所述待处理图像输入到属性识别模型，确定所述待处理图像中是否包含目标物体；

第一确定模块，用于响应于所述待处理图像包含目标物体，根据物体与属性的关联关系，确定所述待处理图像包含所述目标物体关联的目标属性；

第二确定模块，用于响应于所述待处理图像未包含目标物体，确定所述待处理图像未包含目标属性。

在本公开实施例的一种可能实现中，所述获取单元801，包括：

第一获取模块，用于获取属性识别请求，所述属性识别请求用于指示识别的属性类型；

第二获取模块，用于基于所述属性识别请求，获取所述属性类型对应的待处理图像。

可选的，所述第二获取模块，具体用于基于所述属性识别请求对应的属性类型，获取针对预设区域采集的所述待处理图像。

在本公开实施例的一种可能实现中，该属性识别装置还包括：

生成单元803，用于响应于所述待处理图像中包含目标属性，生成所述目标属性的提示信息，所述提示信息为文本信息或者语音信息；

输出单元804，用于输出所述提示信息，或者向预设设备发送所述提示信息。

本实施例提供的属性识别装置，可用于执行上述任意方法实施例中由识别设备执行的属性识别方法，其实现原理和技术效果类似，此处不做作赘述。

需要说明的是，本实施例中的属性识别模型并不是针对某一特定图像的属性识别模型，并不能反映出某一特定图像的属性信息。例如，该属性识别模型既可以针对驾驶场景下的驾驶室图像进行打电话属性识别或者吸烟属性识别，也可以针对医院或商场等场景下的监控图像进行用户抽烟属性识别。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

可选的，该电子设备可以是上述的训练设备，也可以是上述的识别设备，本实施例不对其进行限定。

图9是可以用来实施本公开的实施例的示例电子设备的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如，属性识别模型训练方法、属性识别方法。例如，在一些实施例中，属性识别模型训练方法、属性识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的属性识别模型训练方法、属性识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行属性识别模型训练方法、属性识别方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (21)

1.一种属性识别模型训练方法，包括：

获取图像训练集，所述图像训练集中的每张图像携带有标注属性和标注物体区域，每张图像的标注物体区域对应物体的面积与所述图像的总面积的比值小于预设比例阈值；

将所述图像训练集中的每张图像输入到预设网络，得到每张图像的预测物体热力图；

根据每张图像的标注属性、标注物体区域的标注物体热力图和预测物体热力图，调整所述预设网络的参数，得到属性识别模型。

2.根据权利要求1所述的方法，其中，所述根据每张图像的标注属性、标注物体区域的标注物体热力图和预测物体热力图，调整所述预设网络的参数，得到属性识别模型，包括：

根据每张图像的标注物体区域的标注物体热力图和每张图像的预测物体热力图，确定每张图像的预测属性；

根据所述图像训练集中每张图像的预测属性和每张图像的标注属性，确定所述预设网络的属性识别准确度；

响应于所述预设网络的属性识别准确度小于识别准确度阈值，调整所述预设网络的参数，直到所述预设网络的属性识别准确度大于或等于所述识别准确度阈值，得到属性识别模型。

3.根据权利要求1或2所述的方法，其中，所述预设网络包括：全连接层；

相应的，所述将所述图像训练集中的每张图像输入到预设网络，得到每张图像的预测物体热力图，包括：

将所述图像训练集中的每张图像输入到预设网络，利用所述全连接层对每张图像进行二分类，得到每张图像的二分类结果；

基于每张图像的二分类结果，生成每张图像的空间响应特征图；

对每张图像的空间响应特征图进行渲染，得到每张图像的预测物体热力图。

4.根据权利要求1至3任一项所述的方法，其中，在所述将所述图像训练集中的每张图像输入到预设网络，得到每张图像的预测物体热力图之前，还包括：

根据所述图像训练集中的每张图像的物体标注区域，生成每张图像的标注物体热力图。

5.一种属性识别方法，包括：

获取待处理图像；

将所述待处理图像输入到属性识别模型，得到属性识别结果，所述属性识别结果包括：所述待处理图像中包含目标属性或者所述待处理图像中未包含目标属性；其中，所述属性识别模型是利用图像训练集中各张图像的标注属性、标注物体区域和所述标注物体区域的标注物体热力图对预设网络进行训练得到的，每张图像的标注物体区域对应物体的面积与所述图像的总面积的比值小于预设比例阈值。

6.根据权利要求5所述的方法，其中，所述将所述待处理图像输入到属性识别模型，得到属性识别结果，包括：

将所述待处理图像输入到属性识别模型，确定所述待处理图像中是否包含目标物体；

响应于所述待处理图像包含目标物体，根据物体与属性的关联关系，确定所述待处理图像包含所述目标物体关联的目标属性；

响应于所述待处理图像未包含目标物体，确定所述待处理图像未包含目标属性。

7.根据权利要求5或6所述的方法，其中，所述获取待处理图像，包括：

获取属性识别请求，所述属性识别请求用于指示识别的属性类型；

基于所述属性识别请求，获取所述属性类型对应的待处理图像。

8.根据权利要求7所述的方法，其中，所述基于所述属性识别请求，获取所述属性类型对应的待处理图像，包括：

基于所述属性识别请求对应的属性类型，获取针对预设区域采集的所述待处理图像。

9.根据权利要求5-8任一项所述的方法，其中，在所述将所述待处理图像输入到属性识别模型，得到属性识别结果之后，还包括：

响应于所述待处理图像中包含目标属性，生成所述目标属性的提示信息，所述提示信息为文本信息或者语音信息；

输出所述提示信息，或者向预设设备发送所述提示信息。

10.一种属性识别模型训练装置，包括：

获取单元，用于获取图像训练集，所述图像训练集中的每张图像携带有标注属性和标注物体区域，每张图像的标注物体区域对应物体的面积与所述图像的总面积的比值小于预设比例阈值；

处理单元，用于将所述图像训练集中的每张图像输入到预设网络，得到每张图像的预测物体热力图；

训练单元，用于根据每张图像的标注属性、标注物体区域的标注物体热力图和预测物体热力图，调整所述预设网络的参数，得到属性识别模型。

11.根据权利要求10所述的装置，其中，所述训练单元，包括：

第一确定模块，用于根据每张图像的标注物体区域的标注物体热力图和每张图像的预测物体热力图，确定每张图像的预测属性；

第二确定模块，用于根据所述图像训练集中每张图像的预测属性和每张图像的标注属性，确定所述预设网络的属性识别准确度；

训练模块，用于响应于所述预设网络的属性识别准确度小于识别准确度阈值，调整所述预设网络的参数，直到所述预设网络的属性识别准确度大于或等于所述识别准确度阈值，得到属性识别模型。

12.根据权利要求10或11所述的装置，其中，所述预设网络包括：全连接层；

相应的，所述处理单元，包括：

分类模块，用于将所述图像训练集中的每张图像输入到预设网络，利用所述全连接层对每张图像进行二分类，得到每张图像的二分类结果；

生成模块，用于基于每张图像的二分类结果，生成每张图像的空间响应特征图；

渲染模块，用于对每张图像的空间响应特征图进行渲染，得到每张图像的预测物体热力图。

13.根据权利要求10至12任一项所述的装置，其中，所述处理单元，还用于根据所述图像训练集中的每张图像的物体标注区域，生成每张图像的标注物体热力图。

14.一种属性识别装置，包括：

获取单元，用于获取待处理图像；

识别单元，用于将所述待处理图像输入到属性识别模型，得到属性识别结果，所述属性识别结果包括：所述待处理图像中包含目标属性或者所述待处理图像中未包含目标属性；其中，所述属性识别模型是利用图像训练集中各张图像的标注属性、标注物体区域和所述标注物体区域的标注物体热力图对预设网络进行训练得到的，每张图像的标注物体区域对应物体的面积与所述图像的总面积的比值小于预设比例阈值。

15.根据权利要求14所述的装置，其中，所述识别单元，包括：

识别模块，用于将所述待处理图像输入到属性识别模型，确定所述待处理图像中是否包含目标物体；

第一确定模块，用于响应于所述待处理图像包含目标物体，根据物体与属性的关联关系，确定所述待处理图像包含所述目标物体关联的目标属性；

第二确定模块，用于响应于所述待处理图像未包含目标物体，确定所述待处理图像未包含目标属性。

16.根据权利要求14或15所述的装置，其中，所述获取单元，包括：

第一获取模块，用于获取属性识别请求，所述属性识别请求用于指示识别的属性类型；

第二获取模块，用于基于所述属性识别请求，获取所述属性类型对应的待处理图像。

17.根据权利要求16所述的装置，其中，所述第二获取模块，具体用于基于所述属性识别请求对应的属性类型，获取针对预设区域采集的所述待处理图像。

18.根据权利要求14-17任一项所述的装置，还包括：

生成单元，用于响应于所述待处理图像中包含目标属性，生成所述目标属性的提示信息，所述提示信息为文本信息或者语音信息；

输出单元，用于输出所述提示信息，或者向预设设备发送所述提示信息。

19.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4任一项所述的方法，或者，执行权利要求5-9任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-4任一项所述的方法，或者，执行权利要求5-9任一项所述的方法。

21.一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-4中任一项所述方法的步骤，或者，执行权利要求5-9任一项所述的方法的步骤。

Images