CN115830342A - 检测框的确定方法、装置、存储介质及电子装置 - Google Patents

Abstract

本发明实施例提供了一种检测框的确定方法、装置、存储介质及电子装置，其中，该方法包括：获取目标图像，其中，目标图像中包括目标对象；根据目标对象的一组关键点中各个关键点，在目标图像中确定与各个关键点对应的候选检测框，得到一组候选检测框，其中，一组关键点包括一个或多个关键点；在一组候选检测框中确定用于标识目标对象的目标检测框。通过本发明实施例，解决了相关技术中存在的对象检测的准确率较低的问题，达到了提高对象检测的准确率的效果。

Description

检测框的确定方法、装置、存储介质及电子装置

技术领域

本发明实施例涉及监控技术领域，具体而言，涉及一种检测框的确定方法、装置、存储介质及电子装置。

背景技术

目标对象检测在监控技术领域得到了广泛应用，主要利用计算机视觉技术来定位图像或视频序列中目标对象的位置，下面以行人检测为例，行人检测技术与行人跟踪、行人分析等技术结合，广泛应用于智能监控领域。由于行人目标具有各种尺度、姿态以及遮挡情况，同时在公共场景中行人较为密集，导致行人检测困难。现有的行人检测技术中，有结合人脸信息或基于人脸区域检测的行人检测方法，主要依据密集场景中行人遮挡严重但头部区域遮挡概率较低的特点，但是，相关技术中的方法当出现行人被遮挡上半身或人体姿态发生较大变化时，则无法准确检出。

针对相关技术中存在的对象检测的准确率较低的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种检测框的确定方法、装置、存储介质及电子装置，以至少解决相关技术中存在的对象检测的准确率较低的问题。

根据本发明的一个实施例，提供了一种检测框的确定方法，包括：获取目标图像，其中，所述目标图像中包括目标对象；根据所述目标对象的一组关键点中各个关键点，在所述目标图像中确定与所述各个关键点对应的候选检测框，得到一组候选检测框，其中，所述一组关键点包括一个或多个关键点；在所述一组候选检测框中确定用于标识所述目标对象的目标检测框。

在一个示例性实施例中，所述根据所述目标对象的一组关键点中各个关键点，在所述目标图像中确定与所述各个关键点对应的候选检测框，得到一组候选检测框，包括：通过目标神经网络模型中的关键点预测模块，在所述目标图像中确定M个候选关键点对应的M个位置信息，并通过所述目标神经网络模型中的检测框尺寸预测模块，在所述目标图像中确定M组尺寸信息，其中，所述M个位置信息中的各个位置信息用于表示所述M个候选关键点中对应的候选关键点在所述目标图像中的位置，所述M个候选关键点中的各个候选关键点分别对应所述M组尺寸信息中的一组尺寸信息，与所述M个候选关键点中的一个候选关键点对应的一个位置信息和一组尺寸信息用于确定所述一组候选检测框中的一个候选检测框，所述一组关键点包括所述M个候选关键点，M为大于或等于1的正整数；根据所述M个候选关键点对应的所述M个位置信息与所述M组尺寸信息，在所述目标图像中确定所述一组候选检测框。

在一个示例性实施例中，所述通过目标神经网络模型中的关键点预测模块，在所述目标图像中确定M个候选关键点对应的M个位置信息，并通过所述目标神经网络模型中的检测框尺寸预测模块，在所述目标图像中确定M组尺寸信息，包括：在所述目标图像中包括N个点、N个位置信息中的各个位置信息用于表示所述N个点中对应的点在所述目标图像中的位置的情况下，通过所述关键点预测模块，确定所述N个位置信息中的各个位置信息对应的置信度，得到N组置信度，其中，N为大于或等于M的正整数，所述N组置信度中的各组置信度包括M个置信度，所述M个置信度表示所述N个位置信息中的位置信息所对应的点是所述M个候选关键点中的各个候选关键点的概率；通过所述检测框尺寸预测模块，确定所述N个位置信息中的各个位置信息对应的一组尺寸信息，得到N组尺寸信息，其中，在所述N个位置信息和所述N组尺寸信息中，与所述N个点中的一个点对应的位置信息和一组尺寸信息用于确定N个候选检测框中的一个候选检测框；对于所述M个候选关键点中的各个候选关键点，在所述N个位置信息中确定置信度最大、且大于预定置信度阈值的位置信息，作为所述各个候选关键点对应的位置信息，得到所述M个候选关键点对应的所述M个位置信息；在所述N组尺寸信息中确定与所述M个位置信息对应的所述M组尺寸信息。

在一个示例性实施例中，所述根据所述M个候选关键点对应的所述M个位置信息与所述M组尺寸信息，在所述目标图像中确定所述一组候选检测框，包括：通过以下步骤确定所述一组候选检测框中与所述M个候选关键点中的第i个候选关键点对应的第i个候选检测框，其中，所述第i个候选关键点对应所述M个位置信息中的第i个位置信息和所述M组尺寸信息中的第i组尺寸信息：在所述第i组尺寸信息包括横坐标方向的尺寸和纵坐标方向的尺寸的情况下，根据所述第i个位置信息和所述横坐标方向的尺寸，在所述目标图像中确定所述第i个候选检测框在所述横坐标方向上的边，根据所述第i个位置信息和所述纵坐标方向的尺寸，在所述目标图像中确定所述第i个候选检测框在所述纵坐标方向上的边，其中，所述第i个候选检测框在所述横坐标方向上的边，以及所述第i个候选检测框在所述纵坐标方向上的边，组成了所述第i个候选检测框。

在一个示例性实施例中，所述M个候选关键点包括以下至少之一：所述目标对象的颈部关键点；所述目标对象的左右髋部关键点之间的中心点；所述目标对象的左右膝盖关键点之间的中心点。

在一个示例性实施例中，所述方法还包括：利用训练样本图像集合对原始神经网络模型进行训练，直至所述原始神经网络模型输出的预测样本结果与预先确定的实际样本结果之间的损失值满足预设的收敛条件，结束训练，将训练结束时的所述原始神经网络模型确定为所述目标神经网络模型，其中，在所述原始神经网络模型输出的所述预测样本结果与预先确定的所述实际样本结果之间的损失值不满足预设的所述收敛条件的情况下，所述原始神经网络模型中的参数被调整；其中，所述训练样本图像集合中的各个样本图像对应的实际样本结果包括与样本对象的所述M个候选关键点对应的M个实际位置信息以及M组实际尺寸信息，所述原始神经网络模型输出的所述各个样本图像对应的预测样本结果包括与所述样本对象的所述M个候选关键点对应的M个预测位置信息以及M组预测尺寸信息；所述M个实际位置信息中的各个实际位置信息用于表示所述样本对象的所述M个候选关键点中对应的候选关键点在所述样本图像中的实际位置；所述M个预测位置信息中的各个预测位置信息用于表示所述样本对象的所述M个候选关键点中对应的候选关键点在所述样本图像中的预测位置；其中，在所述M个实际位置信息以及所述M组实际尺寸信息中，与所述M个候选关键点中的一个候选关键点对应的一个实际位置信息和一组实际尺寸信息用于在所述样本图像中确定所述样本对象的一个实际检测框；在所述M个预测位置信息以及所述M组预测尺寸信息中，与所述M个候选关键点中的一个候选关键点对应的一个预测位置信息和一组预测尺寸信息用于在所述样本图像中确定所述样本对象的一个候选检测框。

在一个示例性实施例中，所述在所述一组候选检测框中确定用于标识所述目标对象的目标检测框，包括：根据所述M个位置信息中的各个位置信息对应的置信度，在所述一组候选检测框中确定所述目标检测框，其中，在所述M个位置信息中，用于确定所述目标检测框的位置信息的置信度最大，所述M个位置信息中的各个位置信息对应的置信度是通过所述关键点预测模块确定得到的置信度；或者根据所述M个位置信息中的各个位置信息对应的置信度，在所述一组候选检测框中确定所述目标检测框，其中，在所述M个位置信息中，用于确定所述目标检测框的位置信息的置信度最大，所述M个位置信息中的各个位置信息对应的置信度是通过所述关键点预测模块确定得到的置信度；在所述一组候选检测框中查找满足预设条件的冗余候选检测框，并删除所述冗余候选检测框，其中，所述预设条件是指所述一组候选检测框中除所述目标检测框之外的各个候选检测框中与所述目标检测框之间的交并比大于预定交并比阈值。

根据本发明的另一个实施例，还提供了一种检测框的确定装置，包括：获取模块，用于获取目标图像，其中，所述目标图像中包括目标对象；第一确定模块，用于根据所述目标对象的一组关键点中各个关键点，在所述目标图像中确定与所述各个关键点对应的候选检测框，得到一组候选检测框，其中，所述一组关键点包括一个或多个关键点；第二确定模块，用于在所述一组候选检测框中确定用于标识所述目标对象的目标检测框。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，通过获取目标图像，根据目标对象的一组关键点中各个关键点，在目标图像中确定与各个关键点对应的候选检测框，得到一组候选检测框，其中，再在一组候选检测框中确定用于标识目标对象的目标检测框。实现了根据目标对象的一组关键点确定出目标对象的一组候选检测框，进而在一组候选检测框中确定出目标对象的目标检测框的目的，避免了相关技术中主要通过人脸区域检测的方式，当头部被遮挡或人体姿态发生较大变化时无法准确检测出目标对象的问题。因此，解决了相关技术中存在的对象检测的准确率较低的问题，达到了提高对象检测的准确率的效果。

附图说明

图1是本发明实施例的检测框的确定方法的移动终端硬件结构框图；

图2是根据本发明实施例的检测框的确定方法的流程图；

图3是根据本发明实施例的行人检测方法的整体流程图；

图4是根据本发明实施例的行人候选区域构建示例图；

图5是根据本发明实施例的神经网络示意图；

图6是根据本发明实施例的检测框的确定装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明的实施例。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的检测框的确定方法的移动终端硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的检测框的确定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种检测框的确定方法，图2是根据本发明实施例的检测框的确定方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，获取目标图像，其中，所述目标图像中包括目标对象；

步骤S204，根据所述目标对象的一组关键点中各个关键点，在所述目标图像中确定与所述各个关键点对应的候选检测框，得到一组候选检测框，其中，所述一组关键点包括一个或多个关键点；

步骤S206，在所述一组候选检测框中确定用于标识所述目标对象的目标检测框。

通过上述步骤，通过获取目标图像，根据目标对象的一组关键点中各个关键点，在目标图像中确定与各个关键点对应的候选检测框，得到一组候选检测框，其中，再在一组候选检测框中确定用于标识目标对象的目标检测框。实现了根据目标对象的一组关键点确定出目标对象的一组候选检测框，进而在一组候选检测框中确定出目标对象的目标检测框的目的，避免了相关技术中主要通过人脸区域检测的方式，当头部被遮挡或人体姿态发生较大变化时无法准确检测出目标对象的问题。因此，解决了相关技术中存在的对象检测的准确率较低的问题，达到了提高对象检测的准确率的效果。

其中，上述步骤的执行主体可以为图像处理系统，或图像处理器，或视频监控系统，或终端，或行人检测系统，或者为配置在存储设备上的具备人机交互能力的处理器，或者为具备类似处理能力的处理设备或处理单元等，但不限于此。

在上述实施例中，获取目标图像，其中，目标图像中包括目标对象，例如，以目标对象是行人为例，目标图像可以是通过图像采集设备获取的行人图像序列；根据目标对象的一组关键点中各个关键点，在目标图像中确定与各个关键点对应的候选检测框，得到一组候选检测框，其中，一组关键点可以包括一个或多个关键点，例如，一组关键点可以是行人的颈部关键点，和/或左右髋部关键点，和/或左右髋部关键点之间的中心点，和/或左右膝盖关键点，和/或左右膝盖关键点之间的中心点等，上述一组关键点可以是这些关键点的部分关键点或全部关键点，可以通过样本图像训练神经网络模型，其中，样本图像中标注了人体关键点位置及对应的检测框尺寸，通过训练得到的神经网络模型可以根据行人图像预测出不同关键点位置及候选检测框的尺寸，这样，当行人的头部或脸部被遮挡的情况下，可以通过人体关键点位置预测出行人的候选检测框，或者，当行人的姿态发生较大变化(如弯腰)时，也可以通过上述关键点位置预测出行人的候选检测框，通过本实施例中的目标对象的一组关键点，可以得到一组候选检测框；然后，在一组候选检测框中确定用于标识目标对象的目标检测框，例如，上述神经网络模型在推理阶段获取行人的关键点位置及候选检测框时，可同时得到关键点位置的置信度值，可根据该置信度值确定出用于标识目标对象的目标检测框，可选地，可根据预测出的一组候选检测框，进行冗余候选检测框的筛选，例如，采用非极大值抑制算法，搜索局部最大值，抑制极大值，即去除冗余的候选检测框，经过冗余候选检测框的去除，最终可得到目标对象的行人检测框。当目标图像中包括多个行人时，采用如上述相同的方法，可以得到每个行人的检测框。通过本实施例，实现了根据目标对象的一组关键点确定出目标对象的一组候选检测框，进而在一组候选检测框中确定出目标对象的目标检测框的目的，避免了相关技术中主要通过人脸区域检测的方式，当头部被遮挡或人体姿态发生较大变化时无法准确检测出目标对象的问题。因此，解决了相关技术中存在的对象检测的准确率较低的问题，达到了提高对象检测的准确率的效果。

在一个可选的实施例中，所述根据所述目标对象的一组关键点中各个关键点，在所述目标图像中确定与所述各个关键点对应的候选检测框，得到一组候选检测框，包括：通过目标神经网络模型中的关键点预测模块，在所述目标图像中确定M个候选关键点对应的M个位置信息，并通过所述目标神经网络模型中的检测框尺寸预测模块，在所述目标图像中确定M组尺寸信息，其中，所述M个位置信息中的各个位置信息用于表示所述M个候选关键点中对应的候选关键点在所述目标图像中的位置，所述M个候选关键点中的各个候选关键点分别对应所述M组尺寸信息中的一组尺寸信息，与所述M个候选关键点中的一个候选关键点对应的一个位置信息和一组尺寸信息用于确定所述一组候选检测框中的一个候选检测框，所述一组关键点包括所述M个候选关键点，M为大于或等于1的正整数；根据所述M个候选关键点对应的所述M个位置信息与所述M组尺寸信息，在所述目标图像中确定所述一组候选检测框。

在上述实施例中，通过目标神经网络中的关键点预测模块，在目标图像中确定M个候选关键点对应的M个位置信息，并通过目标神经网络模型中的检测框尺寸预测模块，在目标图像中确定M组尺寸信息，例如，将目标图像输入该目标神经网络模型，经过特征提取网络提取全局特征，特征提取网络采用金字塔网络结构，由卷积层、批归一化层、池化层、激活函数层构成，将不同维度的信息进行融合输出。输出模块为全卷积网络结构，输出两个分支：关键点(或称为核心点)位置预测分支和行人检测框(对应于前述候选检测框)尺寸预测分支，其中，关键点位置预测分支负责预测关键点的位置，例如，上述M个候选关键点包括三个(或二个，或其它个)候选关键点，而行人检测框尺寸预测分支在每个关键点位置处预测到关键点到检测框四条边的距离；这样，可以根据M个候选关键点对应的M个位置信息及M组尺寸信息，得到一组候选检测框。可选地，在实际应用中，也可针对每个候选关键点确定多个位置信息，例如，针对每个候选关键点(如人体颈部关键点，或其它关键点)在目标图像中确定X个位置信息，目标神经网络模型在预测时会给出每个位置对应的置信度值，然后再根据X个位置信息分别对应的置信度值，选取作为候选检测框的位置信息及尺寸信息。通过本实施例，实现了通过目标神经网络模型确定M个候选关键点对应的位置信息及尺寸信息，进而获得一组候选检测框的目的。

在一个可选的实施例中，所述通过目标神经网络模型中的关键点预测模块，在所述目标图像中确定M个候选关键点对应的M个位置信息，并通过所述目标神经网络模型中的检测框尺寸预测模块，在所述目标图像中确定M组尺寸信息，包括：在所述目标图像中包括N个点、N个位置信息中的各个位置信息用于表示所述N个点中对应的点在所述目标图像中的位置的情况下，通过所述关键点预测模块，确定所述N个位置信息中的各个位置信息对应的置信度，得到N组置信度，其中，N为大于或等于M的正整数，所述N组置信度中的各组置信度包括M个置信度，所述M个置信度表示所述N个位置信息中的位置信息所对应的点是所述M个候选关键点中的各个候选关键点的概率；通过所述检测框尺寸预测模块，确定所述N个位置信息中的各个位置信息对应的一组尺寸信息，得到N组尺寸信息，其中，在所述N个位置信息和所述N组尺寸信息中，与所述N个点中的一个点对应的位置信息和一组尺寸信息用于确定N个候选检测框中的一个候选检测框；对于所述M个候选关键点中的各个候选关键点，在所述N个位置信息中确定置信度最大、且大于预定置信度阈值的位置信息，作为所述各个候选关键点对应的位置信息，得到所述M个候选关键点对应的所述M个位置信息；在所述N组尺寸信息中确定与所述M个位置信息对应的所述M组尺寸信息。在本实施例中，假设目标图像中包括N个点及对应的N个位置信息，例如，每个点对应为目标图像中的一个像素点，或按照其它方式确定的N个点，通过上述关键点预测模块，确定N个位置信息中的各个位置信息对应的置信度，例如，预测各个位置信息可能为某个候选关键点(如人体颈部关键点)的置信度，可选地，对于N个位置信息中每个位置信息，可分别预测出可能为M个候选关键点的置信度，例如，每个位置信息预测得到一组置信度，其中，每组置信度中包括M个置信度值，每个置信度值表示某个位置信息所对应的点可能是M个候选关键点中的各个候选关键点的概率，这样，N个位置信息可得到N组置信度；通过上述检测框尺寸预测模块，可确定出N个位置信息中的各个位置信息所对应的一组尺寸信息，其中，对应的一个点的位置信息与对应的一组尺寸信息可用于确定出一个候选检测框；可选地，在上述N个位置信息中确定置信度最大、且大于预定置信度阈值(如0.5，或0.6，或其他)的位置信息，作为各个候选关键点对应的位置信息，这样，可得到M个候选关键点对应的M个位置信息；然后，再从N组尺寸信息中确定出与M个位置信息对应的M组尺寸信息。可选地，在本实施例中，在针对每个位置信息对应的点进行预测时，可确定一个置信度值，例如，在预测某个点A可能为M个候选关键点中的各个候选关键点时，得到一组置信度，例如M个置信度值，可将置信度值最大的作为该点A的预测结果，即得到一个作为具体某个候选关键点的预测结果。

在一个可选的实施例中，所述根据所述M个候选关键点对应的所述M个位置信息与所述M组尺寸信息，在所述目标图像中确定所述一组候选检测框，包括：通过以下步骤确定所述一组候选检测框中与所述M个候选关键点中的第i个候选关键点对应的第i个候选检测框，其中，所述第i个候选关键点对应所述M个位置信息中的第i个位置信息和所述M组尺寸信息中的第i组尺寸信息：在所述第i组尺寸信息包括横坐标方向的尺寸和纵坐标方向的尺寸的情况下，根据所述第i个位置信息和所述横坐标方向的尺寸，在所述目标图像中确定所述第i个候选检测框在所述横坐标方向上的边，根据所述第i个位置信息和所述纵坐标方向的尺寸，在所述目标图像中确定所述第i个候选检测框在所述纵坐标方向上的边，其中，所述第i个候选检测框在所述横坐标方向上的边，以及所述第i个候选检测框在所述纵坐标方向上的边，组成了所述第i个候选检测框。在本实施例中，根据与M个候选关键点中的第i个候选关键点对应的第i个位置信息和第i组尺寸信息，将第i组尺寸信息中包括的横坐标方向的尺寸确定为第i个候选关键点距离第i个候选检测框在横坐标方向上边框的尺寸，例如，将第i组尺寸信息中包括的横坐标方向的尺寸作为第i个候选关键点距离第i个候选检测框左、右边框的尺寸，同理，将第i组尺寸信息中包括的纵坐标方向的尺寸作为第i个候选关键点距离第i个候选检测框上、下边框的尺寸，这样可确定出第i个候选检测框；以此类推，可确定出与M个候选关键点分别对应的M个候选检测框，得到上述一组候选检测框。在实际应用中，M个候选关键点中可能存在部分候选关键点被遮挡的情况，但是，只要确定出其它部分未被遮挡的关键点对应的候选检测框，也可以得到出目标对象的目标检测框。通过本实施例，实现了根据M个位置信息与M组尺寸信息在目标图像中确定出一组候选检测框的目的。

在一个可选的实施例中，所述M个候选关键点包括以下至少之一：所述目标对象的颈部关键点；所述目标对象的左右髋部关键点之间的中心点；所述目标对象的左右膝盖关键点之间的中心点。在本实施例中，M个候选关键点可以是目标对象的颈部关键点，或目标对象的左右髋部关键点之间的中心点，或目标对象的左右膝盖关键点之间的中心点，可选地，候选关键点也可以是左右髋部关键点，或左右膝盖关键点，或人体其他部位的关键点。

在一个可选的实施例中，所述方法还包括：利用训练样本图像集合对原始神经网络模型进行训练，直至所述原始神经网络模型输出的预测样本结果与预先确定的实际样本结果之间的损失值满足预设的收敛条件，结束训练，将训练结束时的所述原始神经网络模型确定为所述目标神经网络模型，其中，在所述原始神经网络模型输出的所述预测样本结果与预先确定的所述实际样本结果之间的损失值不满足预设的所述收敛条件的情况下，所述原始神经网络模型中的参数被调整；其中，所述训练样本图像集合中的各个样本图像对应的实际样本结果包括与样本对象的所述M个候选关键点对应的M个实际位置信息以及M组实际尺寸信息，所述原始神经网络模型输出的所述各个样本图像对应的预测样本结果包括与所述样本对象的所述M个候选关键点对应的M个预测位置信息以及M组预测尺寸信息；所述M个实际位置信息中的各个实际位置信息用于表示所述样本对象的所述M个候选关键点中对应的候选关键点在所述样本图像中的实际位置；所述M个预测位置信息中的各个预测位置信息用于表示所述样本对象的所述M个候选关键点中对应的候选关键点在所述样本图像中的预测位置；其中，在所述M个实际位置信息以及所述M组实际尺寸信息中，与所述M个候选关键点中的一个候选关键点对应的一个实际位置信息和一组实际尺寸信息用于在所述样本图像中确定所述样本对象的一个实际检测框；在所述M个预测位置信息以及所述M组预测尺寸信息中，与所述M个候选关键点中的一个候选关键点对应的一个预测位置信息和一组预测尺寸信息用于在所述样本图像中确定所述样本对象的一个候选检测框。

在上述实施例中，可通过利用训练样本图像集合对原始神经网络模型进行训练，直至原始神经网络模型输出的预测样本结果与预先确定的实际样本结果之间的损失值满足预设的收敛条件时结束，而当原始神经网络模型输出的预测样本结果与预先确定的实际样本结果之间的损失值不满足预设的收敛条件时，对原始神经网络模型中的参数进行调整，最终将训练结束时的原始神经网络模型确定为上述目标神经网络模型。其中，上述训练样本图像集合中的各个样本图像对应的实际样本结果包括与样本对象的M个候选关键点(例如，样本对象的颈部关键点，和/或样本对象的左右髋部关键点之间的中心点，和/或样本对象的左右膝盖关键点之间的中心点)对应的M个实际位置信息以及M组实际尺寸信息，而预测样本结果包括与M个候选关键点对应的M个预测位置信息以及M组预测尺寸信息；M个实际位置信息与M组实际尺寸信息中与每个候选关键点对应的一个实际位置信息和一组实际尺寸信息可用于确定样本对象的一个实际检测框，而M个预测位置信息与M组预测尺寸信息中与每个候选关键点对应的一个预测位置信息和一组预测尺寸信息可用于确定样本对象的一个候选检测框。通过本实施例，实现了通过训练得到上述目标神经网络模型的目的。

在一个可选的实施例中，所述在所述一组候选检测框中确定用于标识所述目标对象的目标检测框，包括：根据所述M个位置信息中的各个位置信息对应的置信度，在所述一组候选检测框中确定所述目标检测框，其中，在所述M个位置信息中，用于确定所述目标检测框的位置信息的置信度最大，所述M个位置信息中的各个位置信息对应的置信度是通过所述关键点预测模块确定得到的置信度；或者根据所述M个位置信息中的各个位置信息对应的置信度，在所述一组候选检测框中确定所述目标检测框，其中，在所述M个位置信息中，用于确定所述目标检测框的位置信息的置信度最大，所述M个位置信息中的各个位置信息对应的置信度是通过所述关键点预测模块确定得到的置信度；在所述一组候选检测框中查找满足预设条件的冗余候选检测框，并删除所述冗余候选检测框，其中，所述预设条件是指所述一组候选检测框中除所述目标检测框之外的各个候选检测框中与所述目标检测框之间的交并比大于预定交并比阈值。可选地，可根据M个位置信息中的各个位置信息对应的置信度，在一组候选检测框中确定出目标检测框，例如，将M个位置信息中对应的置信度最大的位置信息确定为目标检测框的位置信息；可选地，根据M个位置信息中的各个位置信息对应的置信度，在一组候选检测框中确定出目标检测框，然后在一组候选检测框中查找满足预设条件的冗余候选检测框，并删除冗余候选检测框，例如，上述预设条件可以是一组候选检测框中包括的各个候选检测框(除目标检测框之外)与目标检测框的交并比大于预定交并比阈值(如0.6，或0.7，或其它)。通过本实施例，实现了从一组候选检测框中去除冗余的候选检测框的目的。

显然，上述所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。现结合实施例对本发明进行具体说明。

图3是根据本发明实施例的行人检测方法的整体流程图，该流程包括：

S302，采集图像；例如，通过图像采集设备获取行人图像序列(对应于前述目标图像)。

S304，由深度模型(对应于前述目标神经网络模型)推理得到行人候选区域；例如，基于所述图像序列，在图像序列的每一帧图像中，由深度模型推理得到所有行人候选区域(对应于前述候选检测框)。

行人候选区域检测方法具体为：

(1)确定行人候选区域的构建方式，如图4所示，图4是根据本发明实施例的行人候选区域构建示例图，每个行人候选区域由核心点(对应于前述候选关键点)与核心点到检测框4条边的距离(对应于前述一组尺寸信息)构成，针对每个行人采用多核心预测的方式，作为一个示例，前述M个候选关键点可以包括图4中的候选关键点1、2、3。在本方案中分别采用颈部关键点、左右髋部关键点间的中心点，左右膝盖关键点的中心点，在每个核心点处预测到检测框四条边的距离，以此来构建行人候选检测框。相比传统方法仅采用检测框中心点作为预测位置，本方案采用同一行人多核心的方式来预测行人检测框，在行人密集场景中即使遮挡住大部分人体区域，也可以通过可见的核心点预测完整的行人区域，同时依赖于骨骼关键点确定核心点位置而非检测框中心点，其核心点的定义方式更加稳定，当人体姿态变化时，其核心点的相对位置不会随着检测框的变化而变化，可提升行人检测特征的稳定性，提升行人的检测能力。

(2)构建神经网络，如图5所示，图5是根据本发明实施例的神经网络示意图，输入行人图像(对应于前述目标图像)，经过特征提取网络提取全局特征，特征提取网络采用金字塔网络结构，由卷积层、批归一化层、池化层、激活函数层构成，将不同维度的信息进行融合输出。输出模块为全卷积网络结构，输出两个分支：核心点位置预测分支(对应于前述关键点预测模块)，负责预测三类核心点的位置；行人检测框尺寸预测分支(对应于前述检测框尺寸预测模块)，在每个核心点位置处预测到检测框四条边的距离。

(3)其中核心点位置预测分支在训练时，标签采用二维高斯分布的形式，如公式1所示，f(x,y)表示输入图像在位置(x,y)处的为核心点的置信度值，值的范围为[0,1]，表征当前位置为核心点的置信度，(u_x,u_y)表示图像中每一个核心点的位置，σ_x,σ_y表示x，y方向的标准差。越靠近核心点的位置其概率值越大。该分支的通道数C为1。训练时采用FocalLoss损失函数。

(4)行人检测框尺寸预测分支用来预测每个核心点到行人检测框上、下、左、右四条边的距离，通道为4，在训练过程中采用L1或者L2损失函数不断迭代优化。

(5)模型在推理阶段获取候选行人框。待测图像经模型计算得到两个分支的输出，遍历核心点预测分支每个位置(x,y)的置信度值V，当V>T时，选取该位置作为核心点位置，其中T为核心点置信度阈值，选取行人检测框尺寸预测分支在位置(x,y)处的输出，可获得该核心点处检测到的候选行人检测框。遍历完所有位置，可获得候选行人检测框集合(对应于前述一组候选检测框)。

S306，经过步骤S304得到候选行人检测框集合。由于本方案采用多核心预测的方式，同一目标可能存在多个行人候选框，因此需要进行冗余框的筛选。筛选算法可采用非极大值抑制算法(Non-Maximum Suppression)，搜索局部最大值，抑制极大值。

S308，经过冗余框的去除，可得到输入图像中所有的行人检测框(对应于前述目标检测框)。

在上述实施例中，采用同一行人多核心的方式构建行人候选检测框，解决密集场景下的行人遮挡问题，当发生部分人体区域遮挡时，也可通过可见核心点进行完整人体区域检测；核心点的位置采用人体骨骼关键点确定，当人体姿态发生变化时，核心点的相对位置不会发生改变；本申请实施例提出的一种密集场景下的行人检测方案，可有效解决该场景下的行人遮挡问题，实现有效提升密集场景中行人的检出能力的效果。

与相关技术相比，本申请实施例具有以下优点：1)本申请实施例针对密集场景下的行人检测，通过同一行人多核心预测的方式增强该场景下行人的检测能力，相比于结合头部信息的方式，本实施例不依赖于头部信息，即使遮挡上半身，也可通过可见核心点预测完整行人区域；2)本申请实施例主要工作集中于增强模型对行人候选区域的输出能力，相比于采用骨骼关键点进行冗余框去除，可提升密集场景下的行人候选区域检测能力；3)本申请实施例采用人体骨骼关键点确定核心点位置，相较于传统方法采用检测框确定核心点的方式，核心点位置稳定性更强，当人体姿态发生变化时，核心点的相对位置不会随着检测框的变化而发生改变。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种检测框的确定装置，图6是根据本发明实施例的检测框的确定装置的结构框图，如图6所示，该装置包括：

获取模块602，用于获取目标图像，其中，所述目标图像中包括目标对象；

第一确定模块604，用于根据所述目标对象的一组关键点中各个关键点，在所述目标图像中确定与所述各个关键点对应的候选检测框，得到一组候选检测框，其中，所述一组关键点包括一个或多个关键点；

第二确定模块606，用于在所述一组候选检测框中确定用于标识所述目标对象的目标检测框。

在一个可选的实施例中，上述第一确定模块604包括：第一确定单元，用于通过目标神经网络模型中的关键点预测模块，在所述目标图像中确定M个候选关键点对应的M个位置信息，并通过所述目标神经网络模型中的检测框尺寸预测模块，在所述目标图像中确定M组尺寸信息，其中，所述M个位置信息中的各个位置信息用于表示所述M个候选关键点中对应的候选关键点在所述目标图像中的位置，所述M个候选关键点中的各个候选关键点分别对应所述M组尺寸信息中的一组尺寸信息，与所述M个候选关键点中的一个候选关键点对应的一个位置信息和一组尺寸信息用于确定所述一组候选检测框中的一个候选检测框，所述一组关键点包括所述M个候选关键点，M为大于或等于1的正整数；第二确定单元，用于根据所述M个候选关键点对应的所述M个位置信息与所述M组尺寸信息，在所述目标图像中确定所述一组候选检测框。

在一个可选的实施例中，上述第一确定单元包括：第一确定子单元，用于在所述目标图像中包括N个点、N个位置信息中的各个位置信息用于表示所述N个点中对应的点在所述目标图像中的位置的情况下，通过所述关键点预测模块，确定所述N个位置信息中的各个位置信息对应的置信度，得到N组置信度，其中，N为大于或等于M的正整数，所述N组置信度中的各组置信度包括M个置信度，所述M个置信度表示所述N个位置信息中的位置信息所对应的点是所述M个候选关键点中的各个候选关键点的概率；第二确定子单元，用于通过所述检测框尺寸预测模块，确定所述N个位置信息中的各个位置信息对应的一组尺寸信息，得到N组尺寸信息，其中，在所述N个位置信息和所述N组尺寸信息中，与所述N个点中的一个点对应的位置信息和一组尺寸信息用于确定N个候选检测框中的一个候选检测框；获得子单元，用于对于所述M个候选关键点中的各个候选关键点，在所述N个位置信息中确定置信度最大、且大于预定置信度阈值的位置信息，作为所述各个候选关键点对应的位置信息，得到所述M个候选关键点对应的所述M个位置信息；第三确定子单元，用于在所述N组尺寸信息中确定与所述M个位置信息对应的所述M组尺寸信息。

在一个可选的实施例中，上述第二确定单元包括：第四确定子单元，用于通过以下步骤确定所述一组候选检测框中与所述M个候选关键点中的第i个候选关键点对应的第i个候选检测框，其中，所述第i个候选关键点对应所述M个位置信息中的第i个位置信息和所述M组尺寸信息中的第i组尺寸信息：在所述第i组尺寸信息包括横坐标方向的尺寸和纵坐标方向的尺寸的情况下，根据所述第i个位置信息和所述横坐标方向的尺寸，在所述目标图像中确定所述第i个候选检测框在所述横坐标方向上的边，根据所述第i个位置信息和所述纵坐标方向的尺寸，在所述目标图像中确定所述第i个候选检测框在所述纵坐标方向上的边，其中，所述第i个候选检测框在所述横坐标方向上的边，以及所述第i个候选检测框在所述纵坐标方向上的边，组成了所述第i个候选检测框。

在一个可选的实施例中，所述M个候选关键点包括以下至少之一：所述目标对象的颈部关键点；所述目标对象的左右髋部关键点之间的中心点；所述目标对象的左右膝盖关键点之间的中心点。

在一个可选的实施例中，上述装置还包括：训练模块，用于利用训练样本图像集合对原始神经网络模型进行训练，直至所述原始神经网络模型输出的预测样本结果与预先确定的实际样本结果之间的损失值满足预设的收敛条件，结束训练，将训练结束时的所述原始神经网络模型确定为所述目标神经网络模型，其中，在所述原始神经网络模型输出的所述预测样本结果与预先确定的所述实际样本结果之间的损失值不满足预设的所述收敛条件的情况下，所述原始神经网络模型中的参数被调整；其中，所述训练样本图像集合中的各个样本图像对应的实际样本结果包括与样本对象的所述M个候选关键点对应的M个实际位置信息以及M组实际尺寸信息，所述原始神经网络模型输出的所述各个样本图像对应的预测样本结果包括与所述样本对象的所述M个候选关键点对应的M个预测位置信息以及M组预测尺寸信息；所述M个实际位置信息中的各个实际位置信息用于表示所述样本对象的所述M个候选关键点中对应的候选关键点在所述样本图像中的实际位置；所述M个预测位置信息中的各个预测位置信息用于表示所述样本对象的所述M个候选关键点中对应的候选关键点在所述样本图像中的预测位置；其中，在所述M个实际位置信息以及所述M组实际尺寸信息中，与所述M个候选关键点中的一个候选关键点对应的一个实际位置信息和一组实际尺寸信息用于在所述样本图像中确定所述样本对象的一个实际检测框；在所述M个预测位置信息以及所述M组预测尺寸信息中，与所述M个候选关键点中的一个候选关键点对应的一个预测位置信息和一组预测尺寸信息用于在所述样本图像中确定所述样本对象的一个候选检测框。

在一个可选的实施例中，上述第二确定模块606包括：第三确定单元，用于根据所述M个位置信息中的各个位置信息对应的置信度，在所述一组候选检测框中确定所述目标检测框，其中，在所述M个位置信息中，用于确定所述目标检测框的位置信息的置信度最大，所述M个位置信息中的各个位置信息对应的置信度是通过所述关键点预测模块确定得到的置信度；或者第四确定单元，用于根据所述M个位置信息中的各个位置信息对应的置信度，在所述一组候选检测框中确定所述目标检测框，其中，在所述M个位置信息中，用于确定所述目标检测框的位置信息的置信度最大，所述M个位置信息中的各个位置信息对应的置信度是通过所述关键点预测模块确定得到的置信度；删除单元，用于在所述一组候选检测框中查找满足预设条件的冗余候选检测框，并删除所述冗余候选检测框，其中，所述预设条件是指所述一组候选检测框中除所述目标检测框之外的各个候选检测框中与所述目标检测框之间的交并比大于预定交并比阈值。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种检测框的确定方法，其特征在于，包括：

获取目标图像，其中，所述目标图像中包括目标对象；

根据所述目标对象的一组关键点中各个关键点，在所述目标图像中确定与所述各个关键点对应的候选检测框，得到一组候选检测框，其中，所述一组关键点包括一个或多个关键点；

在所述一组候选检测框中确定用于标识所述目标对象的目标检测框。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标对象的一组关键点中各个关键点，在所述目标图像中确定与所述各个关键点对应的候选检测框，得到一组候选检测框，包括：

通过目标神经网络模型中的关键点预测模块，在所述目标图像中确定M个候选关键点对应的M个位置信息，并通过所述目标神经网络模型中的检测框尺寸预测模块，在所述目标图像中确定M组尺寸信息，其中，所述M个位置信息中的各个位置信息用于表示所述M个候选关键点中对应的候选关键点在所述目标图像中的位置，所述M个候选关键点中的各个候选关键点分别对应所述M组尺寸信息中的一组尺寸信息，与所述M个候选关键点中的一个候选关键点对应的一个位置信息和一组尺寸信息用于确定所述一组候选检测框中的一个候选检测框，所述一组关键点包括所述M个候选关键点，M为大于或等于1的正整数；

根据所述M个候选关键点对应的所述M个位置信息与所述M组尺寸信息，在所述目标图像中确定所述一组候选检测框。

3.根据权利要求2所述的方法，其特征在于，所述通过目标神经网络模型中的关键点预测模块，在所述目标图像中确定M个候选关键点对应的M个位置信息，并通过所述目标神经网络模型中的检测框尺寸预测模块，在所述目标图像中确定M组尺寸信息，包括：

在所述目标图像中包括N个点、N个位置信息中的各个位置信息用于表示所述N个点中对应的点在所述目标图像中的位置的情况下，通过所述关键点预测模块，确定所述N个位置信息中的各个位置信息对应的置信度，得到N组置信度，其中，N为大于或等于M的正整数，所述N组置信度中的各组置信度包括M个置信度，所述M个置信度表示所述N个位置信息中的位置信息所对应的点是所述M个候选关键点中的各个候选关键点的概率；

通过所述检测框尺寸预测模块，确定所述N个位置信息中的各个位置信息对应的一组尺寸信息，得到N组尺寸信息，其中，在所述N个位置信息和所述N组尺寸信息中，与所述N个点中的一个点对应的位置信息和一组尺寸信息用于确定N个候选检测框中的一个候选检测框；

对于所述M个候选关键点中的各个候选关键点，在所述N个位置信息中确定置信度最大、且大于预定置信度阈值的位置信息，作为所述各个候选关键点对应的位置信息，得到所述M个候选关键点对应的所述M个位置信息；

在所述N组尺寸信息中确定与所述M个位置信息对应的所述M组尺寸信息。

4.根据权利要求2所述的方法，其特征在于，所述根据所述M个候选关键点对应的所述M个位置信息与所述M组尺寸信息，在所述目标图像中确定所述一组候选检测框，包括：

通过以下步骤确定所述一组候选检测框中与所述M个候选关键点中的第i个候选关键点对应的第i个候选检测框，其中，所述第i个候选关键点对应所述M个位置信息中的第i个位置信息和所述M组尺寸信息中的第i组尺寸信息：

在所述第i组尺寸信息包括横坐标方向的尺寸和纵坐标方向的尺寸的情况下，根据所述第i个位置信息和所述横坐标方向的尺寸，在所述目标图像中确定所述第i个候选检测框在所述横坐标方向上的边，根据所述第i个位置信息和所述纵坐标方向的尺寸，在所述目标图像中确定所述第i个候选检测框在所述纵坐标方向上的边，其中，所述第i个候选检测框在所述横坐标方向上的边，以及所述第i个候选检测框在所述纵坐标方向上的边，组成了所述第i个候选检测框。

5.根据权利要求2所述的方法，其特征在于，所述M个候选关键点包括以下至少之一：

所述目标对象的颈部关键点；

所述目标对象的左右髋部关键点之间的中心点；

所述目标对象的左右膝盖关键点之间的中心点。

6.根据权利要求2所述的方法，其特征在于，所述方法还包括：

利用训练样本图像集合对原始神经网络模型进行训练，直至所述原始神经网络模型输出的预测样本结果与预先确定的实际样本结果之间的损失值满足预设的收敛条件，结束训练，将训练结束时的所述原始神经网络模型确定为所述目标神经网络模型，其中，在所述原始神经网络模型输出的所述预测样本结果与预先确定的所述实际样本结果之间的损失值不满足预设的所述收敛条件的情况下，所述原始神经网络模型中的参数被调整；

其中，所述训练样本图像集合中的各个样本图像对应的实际样本结果包括与样本对象的所述M个候选关键点对应的M个实际位置信息以及M组实际尺寸信息，所述原始神经网络模型输出的所述各个样本图像对应的预测样本结果包括与所述样本对象的所述M个候选关键点对应的M个预测位置信息以及M组预测尺寸信息；所述M个实际位置信息中的各个实际位置信息用于表示所述样本对象的所述M个候选关键点中对应的候选关键点在所述样本图像中的实际位置；所述M个预测位置信息中的各个预测位置信息用于表示所述样本对象的所述M个候选关键点中对应的候选关键点在所述样本图像中的预测位置；

其中，在所述M个实际位置信息以及所述M组实际尺寸信息中，与所述M个候选关键点中的一个候选关键点对应的一个实际位置信息和一组实际尺寸信息用于在所述样本图像中确定所述样本对象的一个实际检测框；在所述M个预测位置信息以及所述M组预测尺寸信息中，与所述M个候选关键点中的一个候选关键点对应的一个预测位置信息和一组预测尺寸信息用于在所述样本图像中确定所述样本对象的一个候选检测框。

7.根据权利要求2至6中任一项所述的方法，其特征在于，所述在所述一组候选检测框中确定用于标识所述目标对象的目标检测框，包括：

根据所述M个位置信息中的各个位置信息对应的置信度，在所述一组候选检测框中确定所述目标检测框，其中，在所述M个位置信息中，用于确定所述目标检测框的位置信息的置信度最大，所述M个位置信息中的各个位置信息对应的置信度是通过所述关键点预测模块确定得到的置信度；

或者

根据所述M个位置信息中的各个位置信息对应的置信度，在所述一组候选检测框中确定所述目标检测框，其中，在所述M个位置信息中，用于确定所述目标检测框的位置信息的置信度最大，所述M个位置信息中的各个位置信息对应的置信度是通过所述关键点预测模块确定得到的置信度；

在所述一组候选检测框中查找满足预设条件的冗余候选检测框，并删除所述冗余候选检测框，其中，所述预设条件是指所述一组候选检测框中除所述目标检测框之外的各个候选检测框中与所述目标检测框之间的交并比大于预定交并比阈值。

8.一种检测框的确定装置，其特征在于，包括：

获取模块，用于获取目标图像，其中，所述目标图像中包括目标对象；

第一确定模块，用于根据所述目标对象的一组关键点中各个关键点，在所述目标图像中确定与所述各个关键点对应的候选检测框，得到一组候选检测框，其中，所述一组关键点包括一个或多个关键点；

第二确定模块，用于在所述一组候选检测框中确定用于标识所述目标对象的目标检测框。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述权利要求1至7任一项中所述的方法的步骤。

10.一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述权利要求1至7任一项中所述的方法的步骤。

Images