CN112288804A

CN112288804A - 一种目标定位的方法及装置

Info

Publication number: CN112288804A
Application number: CN201910678362.9A
Authority: CN
Inventors: 邓亦梁
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2019-07-25
Filing date: 2019-07-25
Publication date: 2021-01-29
Anticipated expiration: 2039-07-25

Abstract

本申请提供一种目标定位的方法及装置。方法，包括：将采集的目标对象的图像输入至已训练的矩形框检测模型，得到目标对象的参数信息，所述参数信息包括：目标对象的候选矩形框区域位置信息；从图像中的候选矩形框区域内确定目标对象中至少一个部位上的目标关键点位置信息；候选矩形框区域与候选矩形框区域位置信息对应；根据目标关键点位置信息确定目标对象的位置。如此，可以实现高效、准确的对目标进行定位。

Description

一种目标定位的方法及装置

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种目标定位的方法及装置。

背景技术

在某些场景中比如化学实验的场景，需要对实验操作者的操作规范性进行评估。该操作规范性一部分体现在对化学玻璃器皿(如试管、量筒、滴管、玻璃棒等)等的形态、位置是否准确，如果是由人工观察检测，则存在着效率较低的缺陷，并且存在一定的主观性，影响判断的准确率。并且考虑到化学玻璃器皿多是细条状的刚性物体，如果直接采用外接矩形框的检测方法，得到的玻璃器皿的外接矩形框往往不能精确地描述其位置，且存在较大的误判风险。

发明内容

有鉴于此，本申请提供一种目标定位的方法，以实现准确、高效的对目标进行定位。

具体地，本申请是通过如下技术方案实现的：

第一方面，本申请实施例中提供了一种目标定位的方法，包括：

将采集的目标对象的图像输入至已训练的矩形框检测模型，得到所述目标对象的参数信息，所述参数信息包括：所述目标对象的候选矩形框区域位置信息；

从所述图像中的候选矩形框区域内确定所述目标对象中至少一个部位上的目标关键点位置信息；所述候选矩形框区域与所述候选矩形框区域位置信息对应；

根据所述目标关键点位置信息确定所述目标对象的位置。

第二方面，本申请实施例中提供了一种目标定位装置，所述装置包括：

输入模块，用于将采集的目标对象的图像输入至已训练的矩形框检测模型，得到所述目标对象的参数信息，所述参数信息包括：所述目标对象的候选矩形框区域位置信息；

第一确定模块，用于从所述图像中的候选矩形框区域内确定所述目标对象中至少一个部位上的目标关键点位置信息；所述候选矩形框区域与所述候选矩形框区域位置信息对应；

第二确定模块，用于根据所述目标关键点位置信息确定所述目标对象的位置。

第三方面，本申请实施例中提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如第一方面所述的目标定位方法的步骤。

第四方面，本申请实施例中提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的目标定位方法的步骤。

本申请实施例中提供的一种目标定位方法及装置，首先通过预先训练好的矩形框检测模型对采集的图像中包含的目标对象进行检测，得到包含目标对象的候选矩形框区域，然后对候选矩形框区域进行关键点检测，得到目标对象中至少一个部位上的目标关键点位置信息，根据得到的目标关键点的位置信息进一步确定目标对象的位置。本申请相对于现有技术，具有对目标定位高效、准确的积极效果。

附图说明

图1是本申请一示例性实施例示出的一种目标定位的方法的流程示意图；

图2是本申请一示例性实施例示出的目标对象的检测示意图；

图3是本申请一示例性实施例示出的确定目标关键点位置信息的流程示意图；

图4是本申请一示例性实施例示出的关键点热度图的示意图；

图5是本申请一示例性实施例示出的计算目标关键点位置信息方法的流程示意图；

图6是本申请一示例性实施例示出的第一坐标系与第二坐标系的关系示意图；

图7是本申请一示例性实施例示出的计算目标关键点的坐标的方法的流程示意图；

图8是本申请一示例性实施例示出的一种目标定位的装置的结构示意图；

图9是本申请一示例性实施例示出的一种计算机设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

由于在对玻璃器皿等目标的位置进行检测时，如果是通过人工进行观察检测，存在着效率较低的缺陷；如果直接采用外接矩形框的检测方法，得到的玻璃器皿的外接矩形框往往不能精确地描述玻璃器皿的位置，且存在较大的误判风险。基于此，本申请实施例提供了一种目标定位的方法及装置。

图1为本申请一实施例示出的一种目标定位的方法的流程示意图；参照图1所示，该方法包括如下步骤S101-S102：

S101、将采集的目标对象的图像输入至已训练的矩形框检测模型，得到所述目标对象的参数信息，所述参数信息包括：所述目标对象的候选矩形框区域位置信息。

本实施例中，上述的矩形框检测模型可以是第一卷积神经网络模型；进而本实施例中，将采集的包含目标对象的图像输入至已训练的第一卷积神经网络模型中，通过该第一卷积神经网络模型的计算输出，得到包含该目标对象的候选矩形框区域位置信息；并可以得到该目标对象所属的类别，比如试管、量筒等。

图2是本申请一示例性实施例示出的目标对象的检测示意图。参照图2所示，该图2所示的实施例中以被检测目标对象为试管30为例，上述通过第一卷积神经网络模型得到的候选矩形框区域20的面积比被试管30实际所在的位置区域的面积要大。

S102、从所述图像中的候选矩形框区域内确定所述目标对象中至少一个部位上的目标关键点位置信息；所述候选矩形框区域与所述候选矩形框区域位置信息对应。

示例性的，以目标对象为玻璃试管为例，该试管的部位包括：管口和管底等部位。

S103、根据所述目标关键点位置信息确定所述目标对象的位置。

本申请上述实施例中，首先初步检测得到目标对象所在的候选矩形框区域的位置信息，然后在该候选矩形框区域内进行目标关键点检测，根据最终确定的目标关键点的位置信息确定目标对象的位置；相对于现有技术具有高效、准确的积极效果。

本申请一实施例中，上述的参数信息还包括：所述图像的特征图。该特征图可以由第一卷积神经网络模型的中间层输出得到。进而，本申请实施例中上述通过第一卷积神经网络模型对目标对象的图像进行处理以后，会得到被检测目标对象的候选矩形框区域的位置信息，以及得到该图像的特征图。

图3是本申请一示例性实施例示出的确定目标关键点位置信息的流程示意图。参照图3所示，本实施例中上述步骤S102中，从所述图像中的候选矩形框区域内确定所述目标对象中至少一个部位上的目标关键点位置信息，具体包括如下步骤S301-S303：

S301、依据所述候选矩形框区域位置信息和所述特征图，确定所述图像中所述候选矩形框区域对应的目标特征信息。

本实施例中在得到候选边框区域的位置信息和图像的特征图以后，通过对该特征图进行插值处理可以得到在特征图上与候选边框区域对应的目标特征图像块，该候选矩形框区域对应的目标特征信息与该目标特征图像块相对应。

S302、将所述目标特征信息输入至已训练的关键点检测模型得到所述目标对象中每一部位的关键点热度图，所述每一部位的关键点热度图包含该部位上各个关键点的位置信息以及各个关键点为目标关键点的概率值。

可选的，上述已训练的关键点检测模型可以是第二卷积神经网络模型，在得到目标特征信息后，把目标特征信息输入到预先训练好的第二卷积神经网络模型，得到被检测的目标对象的每个部位的关键点热度图。该关键点热度图中包含了关键点的位置信息和关键点为目标关键点的概率值。

上述的已训练的第二卷积神经网络模型是通过使用标注后的训练数据训练后得到的，该标注后的训练数据为包括目标对象且标注了目标对象的图像。

示例性的，如果该目标定位的方法是应用于对化学实验中的玻璃器皿进行检测，则该训练数据中所包含的目标对象包括：试管、量筒、量杯等各种玻璃器皿。

本实施例中，关键点热度图中包含的关键点50的还携带有部位标识，示例性的，参照图4所示，该部位标识可以是顺序标号，不同的顺序标号标识了目标对象的不同部位；例如，被检测目标对象为试管，各关键点的顺序标号参照图4所示，分别为①、②、③、④、⑤和⑥，分别用于标识不同部位的关键点。

S303、从每一关键点热度图中选择概率值最大的关键点，将从所述关键点热度图中选择的该概率值最大的关键点的位置信息确定为所述目标关键点位置信息。

本申请实施例中，在关键点热度图中查找概率值最大的关键点，即将该概率值最大的关键点确定为目标关键点，并得到该目标关键点的位置信息和该目标关键点所属的部位的标识。

本申请一实施例中，上述关键点热度图所处的第一坐标系是在候选矩形框区域中确定的，而图像所处的第二坐标系是在采集的完整的图像中确定的，若上述所得到的关键点热度图所处的第一坐标系与图像所处的第二坐标系不同时，为得到目标关键点在图像所处的第二坐标系中对应的位置信息，需要对得到的概率值最大的关键点进行坐标转换。

进而本实施例中，参照图5所示的实施例，上述步骤S303中，将从所述关键点热度图中选择的该概率值最大的关键点的位置信息确定为所述目标关键点位置信息，具体包括如下步骤S401-S402：

S401、根据第一坐标系与第二坐标系的映射关系将所述热度图中选择的概率值最大的关键点的位置信息转换为第二坐标系中的位置信息。

本实施例中，该第一坐标系与第二坐标系的映射关系可以是根据第一坐标系的原点与第二坐标系的原点的相对位置关系确定。

S402、将转换得到的第二坐标系中的位置信息确定为所述目标关键点位置信息。

示例性的，参照图6所示，本实施例中，第一坐标系的坐标原点为候选矩形框左上角顶点的坐标为(x_b，y_b)，该坐标(x_b，y_b)是第一坐标系的原点在第二坐标系中的坐标；而第二坐标系的原点为图像左上角顶点，该第二坐标系的原点在第二坐标系中的坐标为(x0，y0)。进而本实施例中，参照图7所示，将所述热度图中选择的某一概率值最大的关键点的位置信息转换为第二坐标系中的位置信息，具体包括如下步骤S501-S503：

S501、获取关键点热度图中的概率值最大的关键点的坐标(x_m，y_m)；该关键点的坐标为在第一坐标系中的坐标；

S502、确定候选外接矩形框左上角顶点(第一坐标系的原点)的在第二坐标系中的坐标(x_b，y_b)；

S503、计算得到在图像中的目标关键点的坐标(X，Y)，其中，X＝x_m+x_b，Y＝y_m+y_b。

本申请实施例中，分别从上述的关键点热度图中确定出概率值最大的关键点的位置信息，获取每个概率值最大的目标关键点的坐标(x_m，y_m)，然后将该关键点的坐标(x_m，y_m)和目标对象的候选外接矩形框的左上角顶点的坐标(x_b，y_b)相加，计算得到二维图像中的关键点的坐标(x_m+x_b，y_m+y_b)，计算该关键点在图像中的坐标信息以后，即可得到标识目标对象的某一部位的目标关键点在图像中的坐标(以该目标对象为玻璃器皿为例，该部位可以是器皿的管口、管底等)，通过得到的多个目标关键点的坐标，可以确定出目标对象的精确位置。

可选的，上述在得到多个目标关键点坐标以后，可以根据该多个目标关键点的坐标进一步计算得到目标对象的宽度、高度、直径等尺寸。

本申请一可选的实施例中，上述在得到目标关键点的位置信息以后，根据目标关键点的位置信息在图像中确定出目标矩形框区域，目标矩形框区域包含该目标关键点，再次参照图2所示，该目标矩形框区域10的面积小于上述候选矩形框区域20的面积，该目标矩形框区域10已经能够准确的描述目标对象所在的位置。进而，本实施例中，在得到更加接近于目标对象外部轮廓的目标矩形框区域以后，可以从该目标矩形框区域中能够进一步确定目标对象的位置。

本申请一可选的实施例中，上述在得到目标关键点的位置信息以后，上述方法还包括：

根据所述目标关键点位置信息确定所述目标对象的姿态信息；所述姿态信息包括：所述目标对象的倾斜角度。

进而，本实施例中，在得到目标对象的目标关键点位置信息以后，可以根据该不同部位的目标关键点信息进行确定目标对象的姿态信息，该姿态信息包括：目标对象的倾斜角度、目标对象相对于某一参照物的高度、管口朝向等信息。

可选的，在得到上述的目标对象的姿态信息以后，输出该姿态信息，以便于工作人员对该目标对象的姿态信息进行判断。

本申请上述实施例中所提供的一种目标定位的方法，可以是应用于对化学实验过程中所应用的各种化学玻璃器皿进行定位，该方法中同时采用矩形边框检测模型和关键点检测模型进行定位，能够准确的检测出被检测的玻璃器皿的类别、位置信息和姿态信息，进而能够实现根据该玻璃器皿的类别、位置信息和姿态信息自动的判断实验操作中该玻璃器皿的使用操作的准确性和规范性。相对于现有技术中靠人工肉眼观看进行判断是否操作准确和规范的方法相比，具有高效、准确的积极效果。

本申请一实施例中提供了一种目标定位装置，参照图8所示，该装置包括：

输入模块801，用于将采集的目标对象的图像输入至已训练的矩形框检测模型，得到所述目标对象的参数信息，所述参数信息包括：所述目标对象的候选矩形框区域位置信息；

第一确定模块802，用于从所述图像中的候选矩形框区域内确定所述目标对象中至少一个部位上的目标关键点位置信息；所述候选矩形框区域与所述候选矩形框区域位置信息对应；

第二确定模块803，用于根据所述目标关键点位置信息确定所述目标对象的位置。

可选的，所述参数信息还包括：所述图像的特征图；

所述第一确定模块802，具体用于：

依据所述候选矩形框区域位置信息和所述特征图，确定所述图像中所述候选矩形框区域对应的目标特征信息；

将所述目标特征信息输入至已训练的关键点检测模型得到所述目标对象中每一部位的关键点热度图，所述每一部位的关键点热度图包含该部位上各个关键点的位置信息以及各个关键点为目标关键点的概率值；

从每一关键点热度图中选择概率值最大的关键点，将从所述关键点热度图中选择的该概率值最大的关键点的位置信息确定为所述目标关键点位置信息。

可选的，若所述热度图所处的第一坐标系与所述图像所处的第二坐标系不同；所述第一确定模块802，具体用于：

根据已建立的第一坐标系与第二坐标系的映射关系，将所述热度图中选择的概率值最大的关键点的位置信息转换为第二坐标系中的位置信息；

将转换得到的第二坐标系中的位置信息确定为所述目标关键点位置信息。

可选的，所述第二确定模块803，具体用于：

根据所述目标关键点位置信息在所述图像中确定出目标矩形框区域，所述目标矩形框区域包含所述目标关键点，且所述目标矩形框区域的面积小于所述候选矩形框区域的面积；

从所述目标矩形框区域中确定所述目标对象的位置。

可选的，上述装置，还包括：

第三确定模块(图中未示出)，用于根据所述目标关键点位置信息确定所述目标对象的姿态信息；所述姿态信息包括：所述目标对象的倾斜角度。

本发明一实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例所述目标定位方法的步骤。

参照图9所示，本申请一实施例中提供了一种计算机设备，该计算机设备900，至少包括存储器902和处理器901；所述存储器902通过通信总线903和所述处理器901连接，用于存储所述处理器901可执行的计算机指令；所述处理器901用于从所述存储器902读取计算机指令以实现上述任一实施例所述的目标定位方法的步骤。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。

本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。

适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims

1.一种目标定位的方法，其特征在于，包括：

根据所述目标关键点位置信息确定所述目标对象的位置。

2.根据权利要求1所述的方法，其特征在于，所述参数信息还包括：所述图像的特征图；

所述从所述图像中的候选矩形框区域内确定所述目标对象中至少一个部位上的目标关键点位置信息，包括：

3.根据权利要求2所述的方法，其特征在于，若所述热度图所处的第一坐标系与所述图像所处的第二坐标系不同；所述将从所述热度图中该选择的概率值最大的关键点的位置信息确定为所述目标关键点位置信息，包括：

根据第一坐标系与第二坐标系的映射关系，将所述热度图中选择的概率值最大的关键点的位置信息转换为第二坐标系中的位置信息；

4.根据权利要求1所述的方法，其特征在于，所述根据所述目标关键点位置信息确定所述目标对象的位置，包括：

从所述目标矩形框区域中确定所述目标对象的位置。

5.根据权利要求1所述的方法，其特征在于，还包括：

6.一种目标定位装置，其特征在于，所述装置包括：

7.根据权利要求6所述的装置，其特征在于，所述参数信息还包括：所述图像的特征图；

所述第一确定模块，具体用于：

8.根据权利要求7所述的装置，其特征在于，若所述热度图所处的第一坐标系与所述图像所处的第二坐标系不同；所述第一确定模块，具体用于：

9.根据权利要求6所述的装置，其特征在于，所述第二确定模块，具体用于：

从所述目标矩形框区域中确定所述目标对象的位置。

10.根据权利要求6所述的装置，其特征在于，还包括：

第三确定模块，用于根据所述目标关键点位置信息确定所述目标对象的姿态信息；所述姿态信息包括：所述目标对象的倾斜角度。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-5任一所述目标定位方法的步骤。

12.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-5任一所述目标定位方法的步骤。