CN110458198B

CN110458198B - 多分辨率目标识别方法及装置

Info

Publication number: CN110458198B
Application number: CN201910633575.XA
Authority: CN
Inventors: 徐勇; 王俊茜
Original assignee: Shenzhen Graduate School Harbin Institute of Technology
Current assignee: Shenzhen Graduate School Harbin Institute of Technology
Priority date: 2019-07-10
Filing date: 2019-07-10
Publication date: 2022-03-29
Anticipated expiration: 2039-07-10
Also published as: CN110458198A

Abstract

本发明公开了多分辨率目标识别方法及装置。涉及目标识别领域，其中，方法通过获取待测区域第一分辨率的第一图像，利用目标检测模型进行第一目标检测，得到第一辨识结果及对应的置信度，当置信度大于预设置信度时直接输出第一辨识结果，否则获取预设范围第二分辨率的第二图像，利用目标检测模型在第二图像中进行第二目标检测，获得第二辨识结果并输出，其中第二分辨率大于第一分辨率，实现了通过低分辨率进行大范围监控，当出现待测目标时，提高分辨率对待测目标进行辨识和确认，通过两种分辨率的状态切换，平衡识别效率和占用内存，提高了目标识别检测的效率和适用范围，可广泛应用于目标识别及相关领域。

Description

多分辨率目标识别方法及装置

技术领域

本发明涉及目标检测领域，尤其是一种多分辨率目标识别方法及装置。

背景技术

通过实时监控的画面进行画面中目标识别一直是计算机视觉的研究重点，在例如安防、监控、门禁等各种领域均有应用，通常是通过摄像头实时采集图像并将图像发送到处理系统进行目标检测与识别，但是如果摄像头的分辨率较低，其采集的图像清晰度较低，从图像中识别目标的难度增大并且准确度下降，如果采用高分辨率的摄像头，采集图像清晰也易于识别目标，但是大分辨率摄像头采集的图像占用内存大，处理时间增加。因此需要提出一种切换分辨率以根据不同需求进行多分辨率条件的目标识别方法。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的目的是提供一种切换分辨率以根据不同需求进行多分辨率条件的目标识别方法及装置。

本发明所采用的技术方案是：

第一方面，本发明提供一种多分辨率目标识别方法，包括：

获取待测区域第一分辨率的第一图像；

利用目标检测模型在所述第一图像中进行第一目标检测，得到待测区域的第一辨识结果，并获取所述第一辨识结果的置信度；

当所述置信度大于预设置信度时，直接输出所述第一辨识结果；

否则，以所述待测区域为中心区域，获取预设范围第二分辨率的第二图像，利用目标检测模型在所述第二图像中进行第二目标检测，获得第二辨识结果并输出；

所述第二分辨率大于所述第一分辨率。

进一步地，构建所述目标检测模型的过程具体为：

建立所述目标检测模型；

获取多个种类目标的第一分辨率图像和第二分辨率图像作为样本集；

将所述样本集的目标类别作为标签，并通过深度学习的方式训练所述目标检测模型。

进一步地，将所述第一图像输入到所述目标检测模型中，计算所述第一图像中目标区域与对比库中各类别目标的相似度得分，将最高相似度得分记为第一相似度得分；

将所述第一相似度得分对应的目标类别作为所述第一图像的第一标签；

根据所述第一标签计算所述第一标签的置信度。

进一步地，所述第二目标检测具体为：

将所述第二图像输入到所述目标检测模型中，计算所述第二图像中目标区域与对比库中各类别目标的相似度得分，将最高相似度得分记为第二相似度得分；

将所述第二相似度得分对应的目标类别作为所述第二图像的第二标签；

根据图像匹配，获取所述第一图像和所述第二图像的第三相似度得分；

结合所述第一相似度得分、第二相似度得分和第三相似度得分得到目标相似度得分；

根据所述目标相似度得分获得第二辨识结果并输出。

第二方面，本发明还提供一种多分辨率目标识别装置，，包括：

获取第一图像模块：用于获取待测区域第一分辨率的第一图像；

第一目标检测模块：利用目标检测模型在所述第一图像中进行第一目标检测，得到待测区域的第一辨识结果，并获取所述第一辨识结果的置信度；

第一结果输出模块：用于当所述置信度大于预设置信度时，直接输出所述第一辨识结果；

第二目标检测模块：用于以所述待测区域为中心区域，获取预设范围第二分辨率的第二图像，利用目标检测模型在所述第二图像中进行第二目标检测，获得第二辨识结果并输出，所述第二分辨率大于所述第一分辨率。

第三方面，本发明还提供一种人物目标识别装置，利用如第一方面任一项所述的方法识别人物目标，所述人物目标包括：人脸或人物姿态。

第四方面，本发明还提供一种车辆目标识别装置，利用如第一方面任一项所述的方法识别车辆目标。

第五方面，本发明还提供一种多任务目标识别系统，包括：显示屏、如第三方面所述的一种人物目标识别装置、如第四方面所述的一种车辆目标识别装置；

用于根据设置的目标识别任务，将所述人物目标识别装置和所述车辆目标识别装置的识别结果分别显示在显示屏上。

第六方面，本发明还提供一种多分辨率目标识别设备，包括：

至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；

其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如第一方面任一项所述的方法。

第七方面，本发明还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面任一项所述的方法。

本发明的有益效果是：

本发明通过获取待测区域第一分辨率的第一图像，然后利用目标检测模型在第一图像中进行第一目标检测，得到第一辨识结果及对应的置信度，当置信度大于预设置信度时直接输出第一辨识结果，否则以待测目标为中心区域，获取预设范围第二分辨率的第二图像，利用目标检测模型在第二图像中进行第二目标检测，获得第二辨识结果并输出，其中第二分辨率大于第一分辨率，实现了通过低分辨率进行大范围监控，当出现待测目标时，提高分辨率对待测目标进行辨识和确认，通过两种分辨率的状态切换，平衡识别效率和占用内存，提高了目标识别检测的效率和适用范围，可广泛应用于目标识别及相关领域。

附图说明

图1是本发明中多分辨率目标识别方法的一具体实施例的实现流程图；

图2是本发明中多分辨率目标识别方法的一具体实施例的另一流程图；

图3是本发明中多分辨率目标识别装置的一具体实施例的结构框图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

实施例一：

本发明实施例一提供一种多分辨率目标识别方法，图1为本发明实施例提供的一种多分辨率目标识别方法的实现流程图，如图1所示，该方法包括以下步骤：

S1：获取待测区域第一分辨率的第一图像，具体是以较低的分辨率实现较大视野的监控，可以理解的是，本实施例中通过能够自动变焦的摄像装置实现不同分辨率的图像获取

S2：利用目标检测模型在第一图像中进行第一目标检测，得到待测区域的第一辨识结果，并获取第一辨识结果的置信度，实现在低分辨率的第一图像中初步识别是否存在待测目标，待测目标指根据实际需求定义的目标，如某个人脸、行人、具有某种标识的车辆等。

S3：当置信度大于预设置信度时，直接输出第一辨识结果，即根据第一辨识结果的置信度判断画面中出现的目标是不是待测目标，并且其置信度满足实际需求，则直接输出第一辨识结果。

S4：否则，以待测区域为中心区域，获取预设范围第二分辨率的第二图像，利用目标检测模型在第二图像中进行第二目标检测，获得第二辨识结果并输出，即根据步骤S3的判断结果，初步判识待测区域存在目标时，以该目标所在区域为中心区域，选定拍摄范围，获取其高分辨率的图像，做进一步的目标辨识和确认。本实施例中，可选的，第二分辨率大于第一分辨率，第一分辨率是相比较第二分辨率而言的低分辨率。

具体的，步骤S2中，构建目标检测模型的过程具体为：

S211：建立目标检测模型，本实施例中，可选的，采用深度学习的方式搭建神经网络目标检测模型。

S212：获取多个种类目标的第一分辨率图像和第二分辨率图像作为样本集，即获取大量样本集，样本包括低分辨率图像样本和高分辨率图像样本，进行目标检测模型训练。

S213：将样本集的目标类别作为标签，并通过深度学习的方式训练目标检测模型，本实施例中，标签即样本集的目标类别，例如，一张狗的图片，设定其标签为“狗”，训练目标识别模型，标签用来判断识别结果是否正确。

本实施例中，第一目标检测具体为：

S221：将第一图像输入到所述目标检测模型中，计算第一图像中目标区域与对比库中各类别目标的相似度得分，将最高相似度得分记为第一相似度得分，记为s_low。

实际应用中，依据所有已知目标的低分辨率目标类别，计算得出第一图像区域与所有已知目标的相似得分，取最高值的已知目标作为该第一图像区域的目标，如果与已知第k个目标类别的图像特征的相似度得分最高，则该区域目标被辨识为第k个目标类别。

S222：将第一相似度得分对应的目标类别作为第一图像的第一标签，第一标签表示检测出的目标类别。

S223：根据第一标签计算第一标签的置信度。

本实施例中，获取的样本集既可以用于训练目标检测模型，同时用做对比库，并且可以实际需要进行调整，即对比库中存储待识别的每一类目标的低分辨率图像(及目标类别)和高低分辨率图像(及目标类别)。

本实施例中，计算两个图片的相似度得分可选的是通过cos值计算，具体如下：

S2221：分别扫描图片，获取图片像素的RGB参数；

S2222：为了使得到的cos的值卡在(0，1)之间，对图片进行归一化处理；

S2223：根据向量公式计算cos值作为相似度的分。

S223：根据第一相似度得分计算第一图像的置信度。

其中，置信度也称为可靠度或置信水平、置信系数，即在抽样对总体参数作出估计时，由于样本的随机性，其结论总是不确定的。因此，采用一种概率的陈述方法，也就是数理统计中的区间估计法，即估计值与总体参数在一定允许的误差范围以内，其相应的概率有多大，这个相应的概率称作置信度。例如，参数95％的置信度在区间A的意思是：采样100次计算95％置信度的置信区间，有95次计算所得的区间包含真实值。本实施例中，置信度指图像区域属于某一目标的可能性，通过置信度与预设置信度的比较，判断第一目标检测识别的目标是待测目标的概率大小，当判断其很大概率是待测目标时，则直接输出第一辨识结果。

步骤S4中，进一步地，第二目标检测具体为：

S41：将第二图像输入到目标检测模型中，计算第二图像中目标区域与对比库中各类别目标的相似度得分，将最高相似度得分记为第二相似度得分，记为s_high。

本实施例中，将分辨率转换为高分辨率后，通过图像匹配的方式，找出第一分辨率的目标区域在第二分辨率中的对应区域，并计算该区域的待测目标与对比库中所有目标类的相似得分，取最高值。

S42：将第二相似度得分对应的目标类别作为第二图像的第二标签。

S43：根据图像匹配，获取第一图像和第二图像的第三相似度得分，记为s_{high_low}

S44：结合第一相似度得分、第二相似度得分和第三相似度得分得到目标相似度得分，记为s，公式如下所示：

s＝s_low+s_high+s_{high_low}

S45：根据目标相似度得分获得第二辨识结果并输出，即判定为具有最大目标相似度得分的目标为待测目标。

如图2所示，为本实施例的多分辨率目标识别方法另一流程图，从图中可见，

1)首先获取低分辨率的第一图像；

2)利用目标检测模型对其进行第一目标检测，得到第一辨识结果；

3)判断其置信度与预设置信度的大小关系；

4)如果置信度大于预设置信度时直接输出第一辨识结果；

5)否则获取高分辨率的第二图像，利用目标检测模型进行目标检测，获得第二辨识结果并输出。

本实施例实现了通过低分辨率进行大范围监控，当出现待测目标时，提高分辨率对感待测目标进行辨识和确认，通过两种分辨率的状态切换，平衡识别效率和占用内存，提高了目标识别检测的效率和适用范围，可广泛应用于目标识别及相关领域。

实施例二：

本实施例提供一种多分辨率目标识别装置，用于执行如实施例一所述的方法，如图3所示，为本实施例的多分辨率目标识别装置结构框图，包括：

获取第一图像模块10：用于获取待测区域第一分辨率的第一图像；

第一目标检测模块20：利用目标检测模型在第一图像中进行第一目标检测，得到待测区域的第一辨识结果，并获取第一辨识结果的置信度；

第一结果输出模块30：用于当置信度大于预设置信度时，直接输出第一辨识结果；

第二目标检测模块40：用于以待测区域为中心区域，获取预设范围第二分辨率的第二图像，利用目标检测模型在第二图像中进行第二目标检测，获得第二辨识结果并输出，第二分辨率大于第一分辨率。

实施例三：

本实施例提供一种人物目标识别装置，利用如实施例一所述的方法来识别人物目标，人物目标包括：人脸或人物姿态，即本实施例中，待测目标为人脸或者人物姿态，可以理解的是，训练集中包括大量人脸或者人物姿态的图片样本用于训练目标识别模型。

实施例四：

本实施例提供一种车辆目标识别装置，利用如实施例一所述的方法来识别车辆目标，人，即本实施例中，待测目标为车辆，可以理解的是，训练集中包括大量车辆图片样本用于训练目标识别模型。

进一步地，本实施例可用于进行车辆跟踪或车辆异常行为分析等。

在某一种具体实施方式中，用于车辆跟踪的步骤如下所述：

1)实时获取待测区域目标车辆视频图像；

2)辨识不同视频帧中的目标车辆；

3)基于视频时间序列，得到目标车辆跟踪的结果；

在某一种具体实施方式中，用于车辆异常行为分析的步骤如下所述：

1)实时获取待测区域目标车辆视频图像；

2)辨识不同视频帧中的目标车辆；

3)基于视频时间序列，得到目标车辆跟踪的结果；

4)根据目标车辆的运行轨迹进行异常行为分析。

实施例五：

本实施例提供一种多任务目标识别系统，包括：显示屏、如实施例三的一种人物目标识别装置、如实施例四的一种车辆目标识别装置。用于根据设置的目标识别任务，将人物目标识别装置和车辆目标识别装置的识别结果分别显示在显示屏上。

进一步地，可进行功能细化，例如一种具体实施方式中，人物目标识别装置包括：至少一个人脸目标识别装置和至少一个行人目标识别装置，车辆目标识别装置包括：至少一个车辆跟踪识别装置和至少一个车辆异常行为分析装置等。

在实际运行中，根据需求选择运行其中一个、两个或多个功能装置，当多余两个功能装置被选择时，可选的，采用分屏方式在一块屏幕上同时显示各功能装置的结果画面。

本实施例中，可以合理利用计算与存储资源，并得出较为可靠的判识结果。

另外，本发明还提供一种多分辨率目标识别设备，包括：

至少一个处理器，以及与所述至少一个处理器通信连接的存储器；

其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如实施例一所述的方法。

另外，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，其中计算机可执行指令用于使计算机执行如实施例一所述的方法。

本发明通过获取待测区域第一分辨率的第一图像，然后利用目标检测模型在第一图像中进行第一目标检测，得到第一辨识结果及对应的置信度，当置信度大于预设置信度时直接输出第一辨识结果，否则以待测目标为中心区域，获取预设范围第二分辨率的第二图像，利用目标检测模型在第二图像中进行第二目标检测，获得第二辨识结果并输出，其中第二分辨率大于第一分辨率。可广泛应用于目标识别及相关领域。

以上各实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims

1.一种多分辨率目标识别方法，其特征在于，包括：

获取待测区域第一分辨率的第一图像；

所述第二分辨率大于所述第一分辨率；

构建所述目标检测模型的过程具体为：

建立所述目标检测模型；

将所述样本集的目标类别作为标签，并通过深度学习的方式训练所述目标检测模型；

所述第一目标检测具体为：

将所述第一图像输入到所述目标检测模型中，计算所述第一图像中目标区域与对比库中各类别目标的相似度得分，将最高相似度得分记为第一相似度得分；

根据所述第一标签计算所述第一标签的置信度。

2.根据权利要求1所述的一种多分辨率目标识别方法，其特征在于，所述第二目标检测具体为：

根据所述目标相似度得分获得第二辨识结果并输出。

3.一种多分辨率目标识别装置，其特征在于，包括：

4.一种人物目标识别装置，其特征在于，利用如权利要求1至2任一项所述的方法识别人物目标，所述人物目标包括：人脸或人物姿态。

5.一种车辆目标识别装置，其特征在于，利用如权利要求1至2任一项所述的方法识别车辆目标。

6.一种多任务目标识别系统，其特征在于，包括：显示屏、如权利要求4所述的一种人物目标识别装置、如权利要求5所述的一种车辆目标识别装置；

7.一种多分辨率目标识别设备，其特征在于，包括：

其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如权利要求1至2任一项所述的方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至2任一项所述的方法。