CN110717456A - 对象监控方法和装置、系统、电子设备、存储介质 - Google Patents

Abstract

本申请公开了一种对象监控方法和装置、系统、电子设备、存储介质、对象的属性识别方法，涉及监控技术领域。具体实现方案为：接收图像采集设备采集到的包括对象的图像，基于预设的识别模型对图像进行识别处理，得到对象的候选框，以及与候选框对应的属性识别结果，根据属性识别结果对对象进行监控，通过将图像输入至识别模型，可直接获得图像的候选框，以及与候选框对应的属性识别结果，实现了节约了时间，提高了识别效率，进而实现快速对对象进行监控，提高监控的可靠性的技术效果。

Description

对象监控方法和装置、系统、电子设备、存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及计算机视觉技术领域，具体涉及一种对象监控方法和装置、系统、电子设备、存储介质、对象的属性识别方法。

背景技术

随着互联网和人工智能技术的不断发展，越来越多的领域开始涉及计算机视觉自动化计算与分析，其中监控安防领域则是其中最为重要的应用场景之一。

为了能够利用安防场景中的监控录像来对对象(包括但不限于人体、车辆和动物)的属性进行识别，在现有技术中，采用的技术方案为先利用检测器对获取到的图像进行检测，得到识别对象，然后利用属性分析算法对检测器检测到的对象进行属性分析，得到属性识别结果，以便根据属性识别结果进行监控。

但是，通过上述现有技术的监控方案造成了确定属性识别的时间长，以至于监控的时效性欠佳的技术问题。

发明内容

本公开实施例提供了一种对象监控方法和装置、系统、电子设备、存储介质、对象的属性识别方法。

根据本公开实施例的一个方面，本公开实施例提供了一种对象监控方法，所述方法包括：

接收图像采集设备采集到的包括对象的图像；

基于预设的识别模型对所述图像进行识别处理，得到所述对象的候选框，以及与所述候选框对应的属性识别结果；

根据所述属性识别结果对所述对象进行监控。

在本公开实施例中，通过将图像输入至识别模型，可直接获得图像的候选框，以及与候选框对应的属性识别结果，并根据属性识别结果对对象进行监控，避免了现有技术中的分阶段识别(即检测器检测图像中的对象，和通过属性分析算法对对象进行属性分析两个阶段)造成的耗时长，以至于监控的实效性不佳的弊端，而本公开实施例通过两条支路并行(一条支路为确定候选框，另一条支路为确定属性识别结果)，实现了节约了时间，提高了识别效率，进而实现快速对对象进行监控，提高监控的可靠性的技术效果。

在一些实施例中，训练得到所述识别模型具体包括：

用矩形框对多个样本图像中的对象进行标注，得到所述对象的真实候选框以及，与所述真实候选框对应的真实属性识别结果；

基于初始模型确定所述多个样本图像对应的至少一个测试候选框，并确定所述多个样本图像的测试属性识别结果；

根据所述真实候选框、所述至少一个测试候选框、与所述真实候选框对应的真实属性识别结果、所述测试属性识别结果和所述初始模型确定所述识别模型。

在本公开实施例中，通过初始模型对多个样本图像进行训练，可实现得到可靠性高的识别模型，进而实现对象监控的高可靠性。

在一些实施例中，所述基于初始模型确定所述多个样本图像对应的至少一个测试候选框，并确定所述多个样本图像的测试属性识别结果包括：

对所述多个样本图像进行检测处理，得到所述至少一个测试候选框；

为所述至少一个测试候选框分配对应的真实属性识别结果；

对所述至少一个测试候选框以及为其分配的真实属性识所别结果依次进行区域特征聚集处理和分类处理，得到所述测试属性识别结果。

在一些实施例中，所述根据所述真实候选框、所述至少一个测试候选框、与所述真实候选框对应的真实属性识别结果、所述测试属性识别结果和所述初始模型确定所述识别模型包括：

计算所述真实候选框与所述至少一个测试候选框的第一损失值；

计算与所述真实候选框对应的真实属性识别结果与所述测试属性识别结果的第二损失值；

根据所述第一损失值和所述第二损失值对所述初始模型的参数进行调整，得到所述识别模型。

在一些实施例中，所述计算所述真实候选框与所述至少一个测试候选框的第一损失值包括：

根据均方差值损失函数计算所述第一损失值；

以及，所述计算与所述真实候选框对应的真实属性识别结果与所述测试属性识别结果的第二损失值包括：

根据交叉熵损失函数计算所述第二损失值。

在本公开实施例中，分别通过均方差值损失函数和交叉熵损失函数确定第一损失值和第二损失值，以便通过相对简便的计算确定相应的损失值，实现节约计算成本的技术效果，进而实现节约监控成本的技术效果。

在一些实施例中，所述方法还包括：

对所述至少一个测试候选框进行多类别非极大值抑制处理；

以及，所述为所述至少一个测试候选框分配对应的真实属性识别结果包括：

为经过多类别非极大值抑制处理的所述至少一个测试候选框进分配对应的真实属性识别结果。

在本公开实施例中，通过对所述至少一个测试候选框进行多类别非极大值抑制处理，可去除重叠的候选框，进而减少计算量，降低损耗，进而实现节约监控成本的技术效果。

在一些实施例中，所述方法还包括：

对所述图像进行缩放、扭曲、裁剪和归一化处理；

以及所述基于预设的识别模型对所述图像进行识别处理包括：

基于所述识别模型对经过缩放、扭曲、裁剪和归一化处理的图像进行识别处理。

在本公开实施例中，通过对图像进行预处理(即缩放、扭曲、裁剪和归一化处理)，可减少识别过程中的计算量，并提高识别的效率，进而实现节约监控成本，提高监控效率的技术效果。

根据本公开实施例的另一个方面，本公开实施例还提供了一种对象监控装置，所述装置包括：

获取模块，用于接收图像采集设备采集到的包括对象的图像；

识别模块，用于基于预设的识别模型对所述图像进行识别处理，得到所述对象的候选框，以及与所述候选框对应的属性识别结果；

监控模块，用于根据所述属性识别结果对所述对象进行监控。

在一些实施例中，所述装置还包括：

训练模块，用于用矩形框对多个样本图像中的对象进行标注，得到所述对象的真实候选框以及，与所述真实候选框对应的真实属性识别结果，基于初始模型确定所述多个样本图像对应的至少一个测试候选框，并确定所述多个样本图像的测试属性识别结果，根据所述真实候选框、所述至少一个测试候选框、与所述真实候选框对应的真实属性识别结果、所述测试属性识别结果和所述初始模型确定所述识别模型。

在一些实施例中，所述训练模块具体用于，对所述多个样本图像进行检测处理，得到所述至少一个测试候选框，为所述至少一个测试候选框分配对应的真实属性识别结果，对所述至少一个测试候选框以及为其分配的真实属性识所别结果依次进行区域特征聚集处理和分类处理，得到所述测试属性识别结果。

所述训练模块还具体用于，计算所述真实候选框与所述至少一个测试候选框的第一损失值，并计算与所述真实候选框对应的真实属性识别结果与所述测试属性识别结果的第二损失值，根据所述第一损失值和所述第二损失值对所述初始模型的参数进行调整，得到所述识别模型。

在一些实施例中，所述训练模块具体用于，根据均方差值损失函数计算所述第一损失值，并根据交叉熵损失函数计算所述第二损失值。

在一些实施例中，所述训练模块还用于，对所述至少一个测试候选框进行多类别非极大值抑制处理，为经过多类别非极大值抑制处理的所述至少一个测试候选框分配对应的真实属性识别结果。

在一些实施例中，所述装置还包括：

处理模块，用于对所述图像进行缩放、扭曲、裁剪和归一化处理；

以及所述识别模块具体用于，基于所述识别模型对经过缩放、扭曲、裁剪和归一化处理的图像进行识别处理。

根据本公开实施例的另一个方面，本公开实施例还提供了一种监控系统，所述系统包括：图像采集设备和如上任一实施例所述的对象监控装置，其中，所述图像采集设备用于，获取待识别的图像，并将所述图像发送至所述对象监控装置。

根据本公开实施例的另一个方面，本公开实施例还提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上任一实施例所述的方法。

根据本公开实施例的另一个方面，本公开实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上任一项实施例所述的方法。

根据本公开实施例的另一个方面，本公开实施例还提供了一种对象的属性识别方法，所述方法包括：

获取待识别图像；

根据预设的识别模型对所述待识别图像进行识别处理，得到所述待识别图像中的对象的候选框，以及与所述候选框对应的属性识别结果。

上本公开提供的接收图像采集设备采集到的包括对象的图像，基于预设的识别模型对图像进行识别处理，得到对象的候选框，以及与候选框对应的属性识别结果，根据属性识别结果对对象进行监控，通过将图像输入至识别模型，可直接获得图像的候选框，以及与候选框对应的属性识别结果，避免了现有技术中的分阶段识别(即检测器检测图像中的对象，和通过属性分析算法对对象进行属性分析两个阶段)造成的耗时长，以至于监控的实效性不佳的弊端，而本公开实施例通过两条支路并行(一条支路为确定候选框，另一条支路为确定属性识别结果)，实现了节约了时间，提高了识别效率，进而实现快速对对象进行监控，提高监控的可靠性的技术效果。

上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开实施例的对象监控方法的应用场景的示意图；

图2是本公开另一实施例的对象监控方法的应用场景的示意图；

图3为本公开实施例的对象监控方法的流程示意图；

图4为本公开实施例的训练得到识别模型的方法的流程示意图；

图5为本公开实施例的基于初始模型确定多个样本图像对应的至少一个测试候选框，并确定多个样本图像的测试属性识别结果的方法的流程示意图；

图6为本公开实施例的根据真实候选框、至少一个测试候选框、与真实候选框对应的真实属性识别结果、测试属性识别结果和初始模型确定识别模型的方法的流程示意图；

图7为本公开另一实施例的基于初始模型确定多个样本图像对应的至少一个测试候选框，并确定多个样本图像的测试属性识别结果的方法的流程示意图；

图8为本公开另一实施例的对象识别方法的流程示意图；

图9为本公开实施例的对象识别装置的模块示意图；

图10为本公开另一实施例的对象识别装置的模块示意图；

图11为本公开另一实施例的对象识别装置的模块示意图；

图12为本公开实施例的监控系统的示意图；

图13为本公开实施例的电子设备的结构示意图；

图14为本公开实施例的对象的属性识别方法的流程示意图；

附图标记：100、图像采集设备，200、对象监控装置，1、获取模块，2、识别模块，3、监控模块，4、训练模块，5、处理模块。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在一些可能实现的技术方案中，本公开实施例提供的对象监控方法，可以适用于如图1所示的应用场景。

在如图1所示的应用场景中，监控的对象为在商场购物的人体。具体地，可以通过如图1中所示的图像采集设备100对人体的图像进行获取。

在一些实施例中，可将图像采集设备100与对象监控装置一体合成，即将对象监控装置设置在图像采集设备100内，或者在图像采集设备100的处理器中写入可实现对象监控方法对应的程序。由图像采集设备100(具体为由图像采集设备100内设置的对象监控装置或者图像采集设备100内的处理器)执行本公开实施例提供的对象监控方法，进而实现对人体的监控。

在另一些实施例中，对象监控装置可以为与图像采集设备100通信连接的服务器，如图1所示的服务器200。图像采集设备100将获取到的包括人体的图像通过通信链路传输至服务器200，由服务器执行本公开实施例提供的对象监控方法，进而实现对人体的监控。

在另一些可能实现的技术方案中，本公开实施例提供的对象监控方法，还可以适用于如图2所示的应用场景。

在如图2所示的应用场景中，监控的对象为在公路上行驶的车辆，以及车辆上的人体(包括驾驶员和乘客)。

同理，在如图2所示的应用场景中，通过图像采集设备100对车辆的图像和人体的图像进行获取。且，可通过与图像采集设备100一体合成的对象监控装置执行本公开实施例提供的对象监控方法，或者，通过与图像采集设备100通信连接的服务器200执行本公开实施例提供的对象监控方法，进而实现对车辆或人体的监控。

需要说明的是，上述应用场景只是示范性地说明，而不能理解为对本公开实施例的对象监控方法的应用场景的限定。且，本公开实施例的对象监控方法的监控对象不仅包括如上述示例所述的人体和车辆，还可以包括动物和植物等。

在上述示例中，通过对象监控装置对图像进行获取，主要体现为实时获取，即在线获取。在一些可能实现的技术方案中，对象监控装置亦可实现线下监控。如，

对象监控装置可以对外接设备输入的图像数据或者是视频数据中的单帧图像进行属性识别，进而实现监控。其中，输入的图像数据或者视频数据中的单帧图像的外接设备为安防摄像头、智能手机、平板电脑、个人计算机等终端设备。即，输入的图像数据或者视频数据中的单帧图像可以是通过安防摄像头、智能手机、平板电脑、个人计算机等终端设备获得。而当所输入的为视频数据时，可以先对视频数据进行解帧处理，先对每帧图像进行单独识别，最后实现对所有图像帧的识别。

现以将本公开实施例的对象监控方法应用在警方嫌疑人排查领域为例进行说明。若警方此时从报案人提供的信息中获知嫌疑人为男性、青年、长发以及戴眼镜等属性识别结果，则可以通过获取该嫌疑人可能出没路段的安防视频，并对其进行监控，以帮助警方能够在大量的数据中快速筛选出符合线索的目标人物，从而提高目标人物识别效率，有利于实际推广应用。

下面以具体地实施例对本公开的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本公开的实施例进行描述。

一个方面，本公开实施例提供了一种适用于上述应用场景的对象监控方法。

请参阅图3，图3为本公开实施例的对象监控方法的流程示意图。

如图3所示，该方法包括：

S1：接收图像采集设备采集到的包括对象的图像。

其中，对象包括但不限于人体、车辆、动物和植物。

结合图1所示的应用场景，采集的图像为包括商场购物的人体的图像。

结合图2所示的应用场景，采集的图像为包括车辆的图像，或者为包括人体(如驾驶员和/或乘客)的图像。

S2：基于预设的识别模型对图像进行识别处理，得到对象的候选框，以及与候选框对应的属性识别结果。

在本公开实施例中，将图像输入至识别模型，由识别模型对图像进行识别处理，输出对象的候选框，以及与候选框对应的属性识别结果。

其中，候选框又称为包围框，用于指示对象在图像中的坐标位置、类别、置信度(置信度可以为对象属于类别的概率)等。

在一些实施例中，坐标位置可通过(xmin，ymin，w，h)表示。其中，xmin表示候选框左上角在预设坐标系中的x坐标，ymin表示候选框左上角在预设坐标系中的y坐标，w表示候选框的长度，h表示候选框的高值。需要说明的是，上述值通常以像素为单位。

其中，属性识别结果为对象的至少一个属性对应的值。

在一些实施例中，当属性为多个时，可将多个属性分为不同的属性类型，当属性为连续变量时，可以将该属性类型的属性称为回归属性，例如年龄。当属性为定性变量时，该属性不是回归属性，例如性别。

在一些实施例中，属性识别结果可以是数值形式，也可以是向量形式。示范性地，以采用数值形式来表示各个属性为例进行说明如下：

性别有两种，可以用0代表男，用1代表女。则当属性识别结果为0时，说明人体的性别为男性。

表情可以有6种：快乐、伤心、恐惧、愤怒、惊讶和厌恶。可以为6种表情进行编号，分别是0、1、2、3、4、5。则当属性识别结果为0时，则说明人体的表情为快乐。

其中，识别模型可以是基于多个样本图像以及多个样本图像对应的已知属性识别结果进行训练得到的。具体地训练过程将在后文中进行详细阐述。

结合图1所示的应用场景，基于识别模型对包括人体(商场购物的人体)的图像进行识别处理，得到人体的候选框，以及该人体的候选框对应的属性识别结果。

结合图2所示的应用场景，基于识别模型对包括车辆和人体(驾驶员和/或乘客)的图像进行识别处理，得到人体的候选框，以及该人体的候选框对应的属性识别结果。

其中，基于属性识别结果可以确定对象的类型信息，如小偷、犯罪嫌疑人、酒驾行为的驾驶员和吸烟者等。属性识别结果即对对象的画像结果。

结合图1所示的应用场景，属性识别结果可能为某人体为偷盗商品的小偷。

结合图2所示的应用场景，属性识别结果可能为某驾驶员为发生酒驾行为的驾驶员。

在另一些应用场景中，如候车室或者高铁，属性识别结果为某人体为吸烟者等。

在现有技术中，需要先确定图像中的对象，如通过检测器确定图像中的对象，然后利用属性分析算法对检测器确定出的对象进行属性分析，得到属性分析结果。但是，在本公开实施例中，将图像输入至识别模型，可直接获得图像的候选框，以及与候选框对应的属性识别结果。也就是说，本公开实施例相对于现有技术缩短了确定属性识别结果的时间，提高了识别的效率。

S3：根据属性识别结果对对象进行监控。

结合上述示例，若为图1所示的应用场景，则对偷盗商品的小偷进行监控。在一些实施例中，向工作人员发出告警信息，以便及时抓获小偷。

若为图2所示的应用场景，则对发生酒驾行为的驾驶员进行监控。在一些实施例中，向交警发出告警信息，以便阻止该驾驶员继续驾驶，以确保该驾驶员以及相关人员(包括乘客以及其它近距离行驶的车辆的人员)的安全。

若应用场景为高铁，则对吸烟者进行监控。在一些实施例中，向乘务人员发出告警信息，以便阻止该吸烟者的吸烟行为，以确保高铁安全可靠的运行。

本公开实施例提供了一种新的对象监控方法，该方法包括：接收图像采集设备采集到的包括对象的图像，基于预设的识别模型对图像进行识别处理，得到对象的候选框，以及与候选框对应的属性识别结果，根据属性识别结果对对象进行监控，通过将图像输入至识别模型，可直接获得图像的候选框，以及与候选框对应的属性识别结果，避免了现有技术中的分阶段识别(即检测器检测图像中的对象，和通过属性分析算法对对象进行属性分析两个阶段)造成的耗时长，以至于监控的实效性不佳的弊端，而本公开实施例通过两条支路并行(一条支路为确定候选框，另一条支路为确定属性识别结果)，实现了节约了时间，提高了识别效率，进而实现快速对对象进行监控，提高监控的可靠性的技术效果。

请参阅图4，图4为本公开实施例的训练得到识别模型的方法的流程示意图。

如图4所述，在一些实施例中，训练得到识别模型具体包括：

S01：用矩形框对多个样本图像中的对象进行标注，得到对象的真实候选框以及，与真实候选框对应的真实属性识别结果。

具体地，标注的内容可以包括对象的坐标位置、类别和置信度等。而真实属性识别结果的为基于属性信息实现，如性别和着装等。可参阅上述示例的描述，此处不再赘述。

示范性地，若共有n个样本图像，则针对n个样本图像中的每一个样本图像，均用矩形框进行标注，得到对象的真实候选框以及，与真实候选框对应的真实属性识别结果。

需要说明的是，一个样本图像中可能包括一个对象，也可能包括多个对象，当为一个对象时，则用矩形框对该对象进行标注，当为多个对象时，则针对每一个对象，均用矩形框对其进行标注。

S02：基于初始模型确定多个样本图像对应的至少一个测试候选框，并确定多个样本图像的测试属性识别结果。

其中，初始模型可以选择任意适当的神经网络模型，包括但不限于卷积神经网络模型、增强学习神经网络模型、对抗神经网络模型。且神经网络模型中具体结构的设置可以由本领域技术人员根据需求适当设定，如卷积层的层数、卷积核的个数和通道数量等等。

若选择的神经网络模型为卷积神经网络模型，由于卷积神经网络模型的计算过程可以为多层计算，上一层的输出用作下一层的输入，依次类推，得到最后一层的输出，并基于该最后一层的输出确定相应的测试值。即，在该步骤中，可以通过卷积神经网络模型确定出测试候选框和测试属性识别结果。

S03：根据真实候选框、至少一个测试候选框、与真实候选框对应的真实属性识别结果、测试属性识别结果和初始模型确定识别模型。

结合图5可知，在一些实施例中，S02包括：

S021：对多个样本图像进行检测处理，得到至少一个测试候选框。

在一些实施例中，可通过检测器yolov3实现检测处理。

S022：为至少一个测试候选框分配对应的真实属性识别结果。

若至少一个测试候选框具体为五个测试候选框，则为五个测试候选框中的每一个测试候选框均分配一个真实属性识别结果。

S023：对至少一个测试候选框以及为其分配的真实属性识所别结果依次进行区域特征聚集处理和分类处理，得到测试属性识别结果。

其中，通过采用区域特征聚集处理(roi_align)，可以取消量化操作，使整个特征聚集过程转化为一个连续的操作在该步骤中。

在一些实施例中，在进行区域特征聚集处理后，将处理后的结果经过全连接层输入至softmax分类器，进行分类处理，得到测试属性识别结果。

在一些实施例中，结合图6可知，S03包括：

S031：计算真实候选框与至少一个测试候选框的第一损失值。

在一些实施例中，可以根据均方差值损失函数计算第一损失值。即，采用均方差值损失函数对真实候选框与至少一个测试候选框进行计算，得到真实候选框与至少一个测试候选框之间的第一损失值。

S032：计算与真实候选框对应的真实属性识别结果与测试属性识别结果的第二损失值。

在一些实施例中，可以根据交叉熵损失函数计算第二损失值。即，采用交叉熵损失函数对与真实候选框对应的真实属性识别结果与测试属性识别结果进行计算，得到与真实候选框对应的真实属性识别结果与测试属性识别结果之间的第二损失值。

S033：根据第一损失值和第二损失值对初始模型的参数进行调整，得到识别模型。

在一些实施例中，可根据第一损失值和第二损失值确定总的损失值，若总的损失值大于预设的阈值，则对初始模型的参数进行调整。具体调整的力度可基于第一损失值和第二损失值的大小确定。一般而言，总的损失值越大，则调整的力度也越大。若总的损失值小于或等于阈值，则停止对初始模型的参数进行调整，并将该初始模型确定为识别模型。

在一些实施例中，针对第一损失值和第二损失值，采用反向传播梯度对初始模型进行迭代训练，直至迭代次数等于预设的迭代次数，或者，总的损失值小于或等于阈值。

结合图7可知，在一些实施例中，S02包括：

S0211：对多个样本图像进行检测处理，得到至少一个测试候选框。用。

其中，S0211的描述可参见上述示例中的S021，此处不再赘述。

S0211’：对至少一个测试候选框进行多类别非极大值抑制处理。

其中，多类别非极大值抑制(NMS，multiclass_nms)处理。用于搜素局部最大值，抑制极大值。

可以理解的是，在同一对象的坐标位置上可能产生至少一个测试候选框，当为多个测试候选框时，多个测试候选框相互之间可能会有重叠，而通过多类别非极大值抑制可以找到最佳的目标测试候选框，消除冗余的测试候选框。

示范性地，根据置信度对多个测试候选框进行排序，选择置信度最高的测试候选框添加到最终输出列表中，将其从测试候选框列表中删除，计算所有测试候选框的面积，计算置信度最高的测试候选框与其它测试候选框的IoU(intersection-over-union，即两个测试候选框的交集部分除以它们的并集)，删除IoU大于阈值的测试候选框，重复上述过程，直至测试候选框列表为空。

S0212：为经过多类别非极大值抑制处理的至少一个候选框分配对应的真实属性识别结果。

其中，S0212的描述可参见上述示例中的S022，此处不再赘述。

S0213：对至少一个测试候选框以及为其分配的真实属性识所别结果依次进行区域特征聚集处理和分类处理，得到测试属性识别结果。

其中，S0213的描述可参见上述示例中的S023，此处不再赘述。

请参阅图8，图8为本公开另一实施例的对象识别方法的流程示意图。

如图8所述，在一些实施例中，该方法包括：

S11：接收图像采集设备采集到的包括对象的图像。

其中，S11的描述可参见上述示例中的S1，此处不再赘述。

S11’：对图像进行缩放、扭曲、裁剪和归一化处理。

示范性地，可将图像的尺寸缩放成随机尺寸(如416*416、512*512等)，并对缩放后的图像进行归一化处理，如减去均值(如[0.485,0.456,0.406])，除以方差(如[0.229,0.224,0.225])等。

S12：基于识别模型对经过缩放、扭曲、裁剪和归一化处理的图像进行识别处理，得到对象的候选框，以及与候选框对应的属性识别结果。

其中，S12的描述可参见上述示例中的S2，此处不再赘述。

S13：根据属性识别结果对对象进行监控。

其中，S13的描述可参见上述示例中的S3，此处不再赘述。

根据本公开实施例的另一个方面，本公开实施例还提供了一种对象识别装置。

请参阅图9，图9为本公开实施例的对象识别装置的模块示意图。

如图9所述，该装置包括：

获取模块1，用于接收图像采集设备采集到的包括对象的图像；

识别模块2，用于基于预设的识别模型对所述图像进行识别处理，得到所述对象的候选框，以及与所述候选框对应的属性识别结果；

监控模块3，用于根据所述属性识别结果对所述对象进行监控。

结合图10可知，在一些实施例中，该装置还包括：

训练模块4，用于用矩形框对多个样本图像中的对象进行标注，得到所述对象的真实候选框以及，与所述真实候选框对应的真实属性识别结果，基于初始模型确定所述多个样本图像对应的至少一个测试候选框，并确定所述多个样本图像的测试属性识别结果，根据所述真实候选框、所述至少一个测试候选框、与所述真实候选框对应的真实属性识别结果、所述测试属性识别结果和所述初始模型确定所述识别模型。

在一些实施例中，所述训练模块具体用于，对所述多个样本图像进行检测处理，得到所述至少一个测试候选框，为所述至少一个测试候选框分配对应的真实属性识别结果，对所述至少一个测试候选框以及为其分配的真实属性识所别结果依次进行区域特征聚集处理和分类处理，得到所述测试属性识别结果。

在一些实施例中，所述训练模块4具体用于，计算所述测试真实候选框与所述至少一个测试候选框的第一损失值，并计算与所述真实候选框对应的真实属性识别结果与所述测试属性识别结果的第二损失值，根据所述第一损失值和所述第二损失值对所述初始模型的参数进行调整，得到所述识别模型。

在一些实施例中，所述训练模块4具体用于，根据均方差值损失函数计算所述第一损失值，并根据交叉熵损失函数计算所述第二损失值。

在一些实施例中，所述训练模块4还用于，对所述至少一个候选框进行多类别非极大值抑制处理，为经过多类别非极大值抑制处理的所述至少一个测试候选框进分配对应的真实属性识别结果。

结合图11可知，在一些实施例中，所述装置还包括：

处理模块5，用于对所述图像进行缩放、扭曲、裁剪和归一化处理；

以及所述识别模块2具体用于，基于所述识别模型对经过缩放、扭曲、裁剪和归一化处理的图像进行识别处理。

根据本公开实施例的另一个方面，本公开实施例还提供了一种监控系统。

请参阅图12，图12为本公开实施例的监控系统的示意图。

如图12所示，该系统包括：图像采集设备100和如上述任一实施例所述的对象监控装置200，其中，所述图像采集设备100用于，获取待识别的图像，并将所述图像发送至所述对象监控装置200。

根据本公开实施例的另一个方面，本公开实施例还提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上任一实施例所述的方法。

请参阅图13，图13为本公开实施例的电子设备的结构示意图。

如图13所示，该电子设备包括存储器和处理器，该电子设备还可以包括通信接口和总线，其中，处理器、通信接口和存储器通过总线连接；处理器用于执行存储器中存储的可执行模块，例如计算机程序。

其中，存储器可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。

其中，存储器用于存储程序，处理器在接收到执行指令后，执行程序，前述本公开实施例任一实施例揭示的方法可以应用于处理器中，或者由处理器实现。

处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

根据本公开实施例的另一个方面，本公开实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上任一实施例所述的方法。

根据本公开实施例的另一个方面，本公开实施例还提供了一种对象的属性识别方法。

请参阅图14，图14为本公开实施例的对象的属性识别方法的流程示意图。

如图14所示，该方法包括：

S100：获取待识别图像。

S200：根据预设的识别模型对所述识别图像进行识别处理，得到所述图像中的对象的候选框，以及与所述候选框对应的属性识别结果。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本公开实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

还应理解，在本公开各实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。

以上，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (18)

1.一种对象监控方法，其特征在于，所述方法包括：

接收图像采集设备采集到的包括对象的图像；

基于预设的识别模型对所述图像进行识别处理，得到所述对象的候选框，以及与所述候选框对应的属性识别结果；

根据所述属性识别结果对所述对象进行监控。

2.根据权利要求1所述的方法，其特征在于，训练得到所述识别模型具体包括：

用矩形框对多个样本图像中的对象进行标注，得到所述对象的真实候选框以及，与所述真实候选框对应的真实属性识别结果；

基于初始模型确定所述多个样本图像对应的至少一个测试候选框，并确定所述多个样本图像的测试属性识别结果；

根据所述真实候选框、所述至少一个测试候选框、与所述真实候选框对应的真实属性识别结果、所述测试属性识别结果和所述初始模型确定所述识别模型。

3.根据权利要求2所述的方法，其特征在于，所述基于初始模型确定所述多个样本图像对应的至少一个测试候选框，并确定所述多个样本图像的测试属性识别结果包括：

对所述多个样本图像进行检测处理，得到所述至少一个测试候选框；

为所述至少一个测试候选框分配对应的真实属性识别结果；

对所述至少一个测试候选框以及为其分配的真实属性识所别结果依次进行区域特征聚集处理和分类处理，得到所述测试属性识别结果。

4.根据权利要求2所述的方法，其特征在于，所述根据所述真实候选框、所述至少一个测试候选框、与所述真实候选框对应的真实属性识别结果、所述测试属性识别结果和所述初始模型确定所述识别模型包括：

计算所述真实候选框与所述至少一个测试候选框的第一损失值；

计算与所述真实候选框对应的真实属性识别结果与所述测试属性识别结果的第二损失值；

根据所述第一损失值和所述第二损失值对所述初始模型的参数进行调整，得到所述识别模型。

5.根据权利要求4所述的方法，其特征在于，

所述计算所述真实候选框与所述至少一个测试候选框的第一损失值包括：

根据均方差值损失函数计算所述第一损失值；

以及，所述计算与所述真实候选框对应的真实属性识别结果与所述测试属性识别结果的第二损失值包括：

根据交叉熵损失函数计算所述第二损失值。

6.根据权利要求3至5中任一项所述的方法，其特征在于，所述方法还包括：

对所述至少一个测试候选框进行多类别非极大值抑制处理；

以及，所述为所述至少一个测试候选框分配对应的真实属性识别结果包括：

为经过多类别非极大值抑制处理的所述至少一个测试候选框分配对应的真实属性识别结果。

7.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：

对所述图像进行缩放、扭曲、裁剪和归一化处理；

以及所述基于预设的识别模型对所述图像进行识别处理包括：

基于所述识别模型对经过缩放、扭曲、裁剪和归一化处理的图像进行识别处理。

8.一种对象监控装置，其特征在于，所述装置包括：

获取模块，用于接收图像采集设备采集到的包括对象的图像；

识别模块，用于基于预设的识别模型对所述图像进行识别处理，得到所述对象的候选框，以及与所述候选框对应的属性识别结果；

监控模块，用于根据所述属性识别结果对所述对象进行监控。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

训练模块，用于用矩形框对多个样本图像中的对象进行标注，得到所述对象的真实候选框以及，与所述真实候选框对应的真实属性识别结果，基于初始模型确定所述多个样本图像对应的至少一个测试候选框，并确定所述多个样本图像的测试属性识别结果，根据所述真实候选框、所述至少一个测试候选框、与所述真实候选框对应的真实属性识别结果、所述测试属性识别结果和所述初始模型确定所述识别模型。

10.根据权利要求9所述的装置，其特征在于，

所述训练模块具体用于，对所述多个样本图像进行检测处理，得到所述至少一个测试候选框，为所述至少一个测试候选框分配对应的真实属性识别结果，对所述至少一个测试候选框以及为其分配的真实属性识所别结果依次进行区域特征聚集处理和分类处理，得到所述测试属性识别结果。

11.根据权利要求9所述的装置，其特征在于，

所述训练模块还具体用于，计算所述真实候选框与所述至少一个测试候选框的第一损失值，计算与所述真实候选框对应的真实属性识别结果与所述测试属性识别结果的第二损失值，根据所述第一损失值和所述第二损失值对所述初始模型的参数进行调整，得到所述识别模型。

12.根据权利要求11所述的装置，其特征在于，

所述训练模块具体用于，根据均方差值损失函数计算所述第一损失值，并根据交叉熵损失函数计算所述第二损失值。

13.根据权利要求10至12中任一项所述的装置，其特征在于，

所述训练模块还用于，对所述至少一个测试候选框进行多类别非极大值抑制处理，为经过多类别非极大值抑制处理的所述至少一个测试候选框分配对应的真实属性识别结果。

14.根据权利要求8至12中任一项所述的装置，其特征在于，所述装置还包括：

处理模块，用于对所述图像进行缩放、扭曲、裁剪和归一化处理；

以及所述识别模块具体用于，基于所述识别模型对经过缩放、扭曲、裁剪和归一化处理的图像进行识别处理。

15.一种监控系统，其特征在于，所述系统包括：图像采集设备和如权利要求8至14中任一项所述的对象监控装置，其中，所述图像采集设备用于，获取待识别的图像，并将所述图像发送至所述对象监控装置。

16.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1－7中任一项所述的方法。

17.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1－7中任一项所述的方法。

18.一种对象的属性识别方法，其特征在于，所述方法包括：

获取待识别图像；

根据预设的识别模型对所述待识别图像进行识别处理，得到所述图像中的对象的候选框，以及与所述候选框对应的属性识别结果。

Images