CN111783637A - 关键点标注方法及装置、目标物空间位姿确定方法及装置 - Google Patents

关键点标注方法及装置、目标物空间位姿确定方法及装置 Download PDF

Info

Publication number
CN111783637A
CN111783637A CN202010612573.5A CN202010612573A CN111783637A CN 111783637 A CN111783637 A CN 111783637A CN 202010612573 A CN202010612573 A CN 202010612573A CN 111783637 A CN111783637 A CN 111783637A
Authority
CN
China
Prior art keywords
target
image
key point
module
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010612573.5A
Other languages
English (en)
Other versions
CN111783637B (zh
Inventor
张雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Mumu Jucong Robot Technology Co ltd
Original Assignee
Shanghai Mumu Jucong Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Mumu Jucong Robot Technology Co ltd filed Critical Shanghai Mumu Jucong Robot Technology Co ltd
Priority to CN202010612573.5A priority Critical patent/CN111783637B/zh
Publication of CN111783637A publication Critical patent/CN111783637A/zh
Application granted granted Critical
Publication of CN111783637B publication Critical patent/CN111783637B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明提供了一种关键点标注方法及装置、目标物空间位姿确定方法及装置，其中，关键点标注方法包括：S11获取包含目标的图像；S12将同一时刻单线激光雷达的激光点映射于所述图像上；S13接收用户根据映射结果选定的激光点群；S14计算所述激光点群的重心；S15将计算得到的重心作为关键点并标注，完成所述图像中目标关键点的标注。其搭配单线激光雷达和单目相机、根据用户选定的激光点映射于图像上的激光点群得到关键点，半自动地实现对图像中关键点的标注，相比于现有技术中需要人为进行关键点标注的方法来说，该关键点标注方法结合了单线激光雷达的激光点，使得标注的关键点更具有实际意义，且可以根据实际的激光投射进行校验，标注过程更加的简单合理。

Description

关键点标注方法及装置、目标物空间位姿确定方法及装置
技术领域
本发明涉及目标检测技术领域，尤指一种关键点标注方法及装置、目标物空间位姿确定方法及装置。
背景技术
一些应用场景中会存在形态各异且摆放随机的障碍物，如，医院场景中，推车等各类型的障碍物会根据医护人员的需要随机摆放，机器人在这类复杂的场景中运行时，需要识别出障碍物进而避开。考虑到成本与功耗问题，传感器的搭配通常为单线激光设备、单目摄像头、深度相机等以对障碍物进行识别，尤其是运行过程中严重影响着机器人安全、容易发生碰撞的形态不规则、部分悬空、底部低于激光并延伸的等障碍物。虽然利用深度相机可以一定程度上缓解这类问题，但是，由于安装高度和传感器视野的限制，很多时候无法获取障碍物的全貌，导致机器人接近障碍物时发生碰撞，以此需要一种更可靠的障碍物识别方法获取障碍物的3D位姿用于避障和绕障。
目前，常用基于多线激光、基于RGBD点云、基于双目视觉等方式实现障碍物的3D检测，虽然都能有效的实现目的，但是，对于仅装备了单线激光的应用场景(如医院)来说，存在基于RGBD点云检测时数据稳定性不够及计算量大的问题，基于双目视觉的方法同样存在计算量大的问题，受限于机器人中传感器和处理器，这类方法并不适合这类型的场景。当然，也有一些基于单目视觉的3D检测方法，但是精度均不够高，且均需繁琐的数据标注过程，工作量大，不适合广泛采用。
发明内容
本发明的目的是提供一种关键点标注方法及装置、目标物空间位姿确定方法及装置，有效解决现有基于单目视觉的3D检测方法精度不高、标注过程繁琐等技术问题。
本发明提供的技术方案如下：
一种关键点标注方法，应用于配置有单线激光雷达和单目相机的移动设备，所述关键点标注方法包括：
S11获取包含目标的图像；
S12将同一时刻单线激光雷达的激光点映射于所述图像上；
S13接收用户根据映射结果选定的激光点群；
S14计算所述激光点群的重心；
S15将计算得到的重心作为关键点并标注，完成所述图像中目标关键点的标注。
一种目标物空间位姿确定方法，包括：
S10获取数据集，并采用上述关键点标注方法对所述数据集中包括含有目标的图像进行关键点标注形成训练集；
S20构造目标检测网络；
S30采用训练集对所述目标检测网络进行训练；
S40将待检测图像输入训练后的目标检测网络，确定图像中目标的位置区域、所属类别及目标中的关键点；
S50结合先验信息确定图像中目标的空间位姿。
进一步优选地，在所述S20构造目标检测网络中：构造的目标检测网络中包括特征提取网络、上采样层、目标中心点定位层、目标类别判断层及目标关键点和目标尺寸确定层；
在所述S40将待检测图像输入训练后的目标检测网络，确定图像中目标的位置区域及关键点中，包括：
S41将待检测图像输入训练后的目标检测网络；
S42确定图像中目标的中心点、所在位置区域及所属类别；
S43根据目标的中心点及所属类别计算得到目标所在位置区域的尺寸信息及关键点位置，其中，所述关键点位于目标所在位置区域内。
进一步优选地，在所述S50结合先验信息确定图像中目标的空间位姿中，包括：
S51根据关键点位置和目标的尺寸信息、利用射影几何计算得到目标的空间位姿；
S52反投影关键点位置、利用其对应的激光点获取目标的空间位姿并获得关键点位置；
S53循环步骤S51和S52直至目标的空间位姿收敛。
本发明还提供了一种关键点标注装置，应用于配置有单线激光雷达和单目相机的移动设备，所述关键点标注装置包括：
图像获取模块，用于获取包含目标的图像；
激光点映射模块，用于将同一时刻单线激光雷达的激光点映射于所述图像获取模块获取的图像上；
激光点群接收模块，用于接收用户根据所述激光点映射模块的映射结果选定的激光点群；
计算模块，用于计算所述激光点群接收模块接收的激光点群的重心；
关键点标注模块，用于将所述计算模块计算得到的重心作为关键点并标注，完成所述图像中目标关键点的标注。
本发明还提供了一种目标物空间位姿确定装置，包括：
数据集处理模块，用于获取数据集，并采用如权利要求5所述的关键点标注装置对所述数据集中包括含有目标的图像进行关键点标注形成训练集；
检测网络构造模块，用于构造目标检测网络；
网络训练模块，用于采用所述数据集处理模块形成的训练集对所述检测网络构造模块构造的目标检测网络进行训练；
目标识别模块，用于将待识别图像输入所述网络训练模块训练后的目标检测网络，确定图像中目标的位置区域、所属类别及目标中的关键点；
位姿确定模块，用于结合所述目标识别模块的输出及先验信息确定图像中目标的空间位姿。
进一步优选地，在所述检测网络构造模块中：构造的目标检测网络中包括特征提取网络、上采样层、目标中心点定位层、目标类别判断层及目标关键点和目标尺寸确定层；
所述目标检测网络输入验证集中的图像后，确定图像中目标的中心点、所在位置区域及所属类别，进而根据目标的中心点及所属类别计算得到目标所在位置区域的尺寸信息及关键点位置，其中，所述关键点位于目标所在位置区域内。
进一步优选地，在所述位姿确定模块中包括：
空间位姿计算单元，用于根据关键点位置和目标的尺寸信息、利用射影几何计算得到目标的空间位姿；
反投影计算单元，用于反投影关键点位置、利用其对应的激光点获取目标的空间位姿并获得关键点位置；
本发明还提供了一种移动机器人，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时实现上述目标物空间位姿确定方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述目标物空间位姿确定方法的步骤。
本发明提供的关键点标注方法及装置、目标物空间位姿确定方法及装置，至少能够带来以下有益效果：
在关键点标注中，可搭配单线激光雷达和单目相机、根据用户选定的激光点映射于图像上的激光点群得到关键点，半自动地实现对图像中关键点的标注，相比于现有技术中需要人为进行关键点标注的方法来说，该关键点标注方法结合了单线激光雷达的激光点，使得标注的关键点更具有实际意义，且可以根据实际的激光投射进行校验，标注过程更加的简单合理。
在目标物空间位姿确定中，可将单目3D检测看作是一个基于关键点检测与射影几何后处理的过程，具体来说，先对图像中的目标进行检测，获取其对应的2D框(目标于图像中的位置区域)和关键点，之后根据关键点及先验信息确定其空间位姿，整个过程中计算速度快，可实现对数据的实时处理，通过计算得到的目标的距离、朝向及投影到地面的尺寸信息放入costmap中进行避障使用，低成本的实现对目标的3D检测，尤其适用于医院等应用场景，对于医院场景下的物流机器人具有很高的实用价值。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施例，对上述特性、技术特征、优点及其实现方式予以进一步说明。
图1为本发明中关键点标注方法流程示意图；
图2为本发明中一实例中将单线激光雷达的激光点映射到包含病床的图像后结构示意图；
图3为本发明中目标物空间位姿确定方法流程示意图；
图4为本发明中关键点标注装置结构示意图；
图5为本发明中目标物空间位姿确定装置结构示意图；
图6为本发明中移动机器人结构示意图。
附图标号说明：
110-关键点标注装置，111-图像获取模块，112-激光点映射模块，113-激光点群接收模块，114-计算模块，115-关键点标注模块，100-目标物空间位姿确定装置，110-数据集处理模块，120-检测网络构造模块，130-网络训练模块，140- 目标识别模块，150-位姿确定模块。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施例。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施例。
本发明的第一种实施例，一种关键点标注方法，如图1所示，包括：S11获取包含目标的图像；S12将同一时刻单线激光雷达的激光点映射于图像上；S13 接收用户根据映射结果选定的激光点群；S14计算激光点群的重心；S15将计算得到的重心作为关键点并标注，完成图像中目标关键点的标注。
在本实施例中，适用于配置有单线激光雷达和单目相机的移动设备，尤其适用于一些目标(障碍物)种类多，但是目标尺寸均是已知的应用场景，如医院场景。由一般来说，移动设备中单目相机和单线激光雷达的安装位置是固定的，即单目相机和单线激光雷达的相对位置关系是确定，安装高度等实际物理信息也是确定的，故可使用该半自动地方法对目标的关键点进行标注。
在关键点标注过程中，首先通过单目相机拍摄得到包含目标的图像，之后将单线激光雷达的激光点映射到图像上，以此用户根据观测激光点在图像中目标上的位置，选择可观测的激光点群；最后计算选定的激光点群的重心，并将其作为目标的关键点(可视的2D关键点)。这一过程中，只需要选中目标中每个关键位置的激光点群后进一步计算重心即可，相对于现有技术中人为的标注过程(如手动标注人脸关键点中的左右眼、鼻尖、嘴角或者人体姿态检测中的关节点等)来说，这种标注方法更加的简单且具有实际意义。
对于将单线激光雷达的激光点映射到图像中的方法，可以根据实际情况进行选定，这里不做具体限定，只要能够实现映射目的的方法均包括在本实施例中。如，一实例中，可采用常用的坐标系转换的方法对激光数据和图像数据进行融合，即建立激光点与图像像素间的对应关系。具体，首先标定相机内参并对图像进行畸变矫正；之后建立的约束条件，求解相机坐标系和激光雷达坐标系之间的坐标转换矩阵；标定结束后将激光点通过坐标转换、基于相机内参矩阵的投影，间接建立与图像像素间的对应关系。
对于激光点群的选择，根据单目相机拍摄的图像即激光点的映射结果进行筛选，以易于区分便于识别为主。在实际应用中，由于对目标空间位置的确定需要确定目标中的至少3个关键点，因此，激光点群的数量受这一因素约束，即用户选定时，原则上来说选定至少3个激光点群，以确定目标中的至少3个关键点(每个激光点群确定1个关键点)。
对于激光点群重心位置的计算，可以以相机坐标系为基准，得到激光点群中各激光点于相机坐标系中的坐标值，进而计算各激光点的重心坐标，得到关键点的位置坐标。当然也可以采用其他方法进行计算，这里不做具体限定。
在一实例中，障碍物目标为医院中的病床，在对病床的关键点进行标注中，将单线激光雷达的激光点映射到包含病床的图像后结构示意图如图2所示(虚点对应激光点)，从图中可以看出，病床上可视的激光点群所在位置对应为位置A1、位置A2和位置A3(每个位置上对应一包含对个激光点的激光点群)，之后计算各位置处激光点群的重心，即可得到对应关键点的位置。
本发明的另一实施例，一种目标物空间位姿确定方法，如图3所示，包括：S10获取数据集，并采用上述关键点标注方法对数据集中包括含有目标的图像进行关键点标注形成训练集；S20构造目标检测网络；S30采用训练集对目标检测网络进行训练；S40将待检测图像输入训练后的目标检测网络，确定图像中目标的位置区域、所属类别及目标中的关键点；S50结合先验信息确定图像中目标的空间位姿。
在本实施例中，基于卷积神经元网络对目标检测网络进行构造，在对目标进行检测之前，使用训练集对其进行有监督的训练。为了丰富训练集，在步骤 S10中可以包括对数据集进行扩增的步骤，如将标注好的图像进行亮度、对比度、饱和度和色调的变换，或者进行一定角度的旋转，之后经人工筛选出合理的图像构造成训练集。另外，为了达到更好的训练效果，分别在数据集中挑选一定比例的图像形成训练集和验证集，在通过训练集对网络模型进行训练之后，使用验证集对其检测效果进行验证，以得到检测效果最优的网络模型。
对于构造的目标检测网络这里不做具体限定，可以使用任意能够完成对图像中的目标检测的网络模型，如SSD网络模型、Faster R-CNN网络模型、YOLO 网络模型等。
为了实现更好的检测效果，在一实施例中，基于Resnet18构造目标检测网络，包括特征提取网络、上采样层、目标中心点定位层、目标类别判断层及目标关键点和目标尺寸确定层，其中，上采样层用于对特征图进行放大，便于后续处理；目标中心点定位层用于根据提取的特征确定目标的中心点；目标类别判断层用于判断目标所属类别。
在该目标检测网络中，输出图像中每个目标除了包含目标尺寸信息(目标检测网络输出左上角和右下角的坐标以形成目标的2D框)之外，同时输出一中心点信息。其基于关键点进行目标检测，即将目标边界框检测为一对关键点 (即边界框的左上角和右下角)，并采用关键点估计中心点，进而回归到其他的目标属性，如尺寸、3D位置、方向甚至姿态。该目标检测网络通过将目标检测为成对的关键点，消除现有检测网络中对一对anchors的需要，从而提升了目标检测的速度。
具体，在步骤S40将待检测图像输入训练后的目标检测网络，确定图像中目标的位置区域及关键点中，包括：S41将待检测图像输入训练后的目标检测网络；S42确定图像中目标的中心点、所在位置区域及所属类别；S43根据目标的中心点及所属类别计算得到目标所在位置区域的尺寸信息及关键点位置，其中，关键点位于目标所在位置区域内。在检测过程中，计算得到目标的主要中心点之后进一步计算出各个关键点，同时计算出目标所在区域(2D框)的长和宽。
在对目标的空间位姿进行确定时，只需要确定目标中的至少三个关键点，即可计算出目标对应的空间姿态信息，具体，结合先验信息计算得到目标的距离、朝向及投影至地面的尺寸信息，进而确定目标的空间位姿。在实际应用中，将计算得到的目标信息放入到costmap中，即可进行避障使用。先验信息包括：各类型目标中关键点的位置信息及各关键点之间的关联关系，即激光可到达的关键点的信息。
对上述实施例进行改进得到本实施例，在本实施例中，建立基于双重注意力机制的目标检测网络，具体用于每个特征金字塔层内及金字塔层间。另外，金字塔通路中采用了concatenation操作。
对上述实施例进行改进得到本实施例，在本实施例中，在S50结合先验信息确定图像中目标的空间位姿中进一步包括：S51根据关键点位置和目标的尺寸信息、利用射影几何计算得到目标的空间位姿；S52反投影关键点位置、利用其对应的激光点获取目标的空间位姿并获得关键点位置；S53循环步骤S51 和S52直至目标的空间位姿收敛。在本实施例中，通过循环步骤S51和步骤S52 得到对空间位姿计算过程进行优化，得到更加准确的空间位姿。
本发明的另一实施例，一种关键点标注装置110，如图4所示，包括：图像获取模块111，用于获取包含目标的图像；激光点映射模块112，用于将同一时刻单线激光雷达的激光点映射于图像获取模块111获取的图像上；激光点群接收模块113，用于接收用户根据激光点映射模块112的映射结果选定的激光点群；计算模块114，用于计算激光点群接收模块113接收的激光点群的重心；关键点标注模块115，用于将计算模块114计算得到的重心作为关键点并标注，完成图像中目标关键点的标注。
在本实施例中，适用于配置有单线激光雷达和单目相机的移动设备，尤其适用于一些目标(障碍物)种类多，但是目标尺寸均是已知的应用场景，如医院场景。由一般来说，移动设备中单目相机和单线激光雷达的安装位置是固定的，即单目相机和单线激光雷达的相对位置关系是确定，安装高度等实际物理信息也是确定的，故可使用该半自动地方法对目标的关键点进行标注。
在关键点标注过程中，首先图像获取模块111通过单目相机拍摄得到包含目标的图像，之后激光点映射模块112将单线激光雷达的激光点映射到图像上，以此用户根据观测激光点在图像中目标上的位置，选择可观测的激光点群；最后激光点群接收模块113接收到用户选定的激光点群后，计算模块114对其重心进行计算，并通过关键点标注模块115将其作为目标的关键点(可视的2D 关键点)。这一过程中，只需要选中目标中每个关键位置的激光点群后进一步计算重心即可，相对于现有技术中人为的标注过程(如手动标注人脸关键点中的左右眼、鼻尖、嘴角或者人体姿态检测中的关节点等)来说，这种标注方法更加的简单且具有实际意义。
对于激光点映射模块112中使用的将单线激光雷达的激光点映射到图像中的方法，可以根据实际情况进行选定，这里不做具体限定，只要能够实现映射目的的方法均包括在本实施例中。如，一实例中，可采用常用的坐标系转换的方法对激光数据和图像数据进行融合，即建立激光点与图像像素间的对应关系。具体，首先标定相机内参并对图像进行畸变矫正；之后建立的约束条件，求解相机坐标系和激光雷达坐标系之间的坐标转换矩阵；标定结束后将激光点通过坐标转换、基于相机内参矩阵的投影，间接建立与图像像素间的对应关系。
对于激光点群的选择，根据单目相机拍摄的角度进行筛选。在实际应用中，由于对目标空间位置的确定，需要确定目标中的至少3个关键点，因此，激光点群的数量受这一因素约束，即用户选定时，原则上来说选定至少3个激光点群，以确定目标中的至少3个关键点(每个激光点群确定1个关键点)。
对于激光点群重心位置的计算，可以以相机坐标系为基准，得到激光点群中各激光点于相机坐标系中的坐标值，进而计算各激光点的重心坐标，得到关键点的位置坐标。当然也可以采用其他方法进行计算，这里不做具体限定。
本发明的另一实施例，一种目标物空间位姿确定装置100，如图5所示，包括：数据集处理模块110，用于获取数据集，并采用上述关键点标注装置110 对数据集中包括含有目标的图像进行关键点标注形成训练集；检测网络构造模块120，用于构造目标检测网络；网络训练模块130，用于采用数据集处理模块110形成的训练集对检测网络构造模块120构造的目标检测网络进行训练；目标识别模块140，用于将待识别图像输入网络训练模块130训练后的目标检测网络，确定图像中目标的位置区域、所属类别及目标中的关键点；位姿确定模块150，用于结合目标识别模块140的输出及先验信息确定图像中目标的空间位姿。
在本实施例中，检测网络构造模块120基于卷积神经元网络对目标检测网络进行构造，在对目标进行检测之前，使用训练集对其进行有监督的训练。为了丰富训练集，在数据集处理模块110中可以包括对数据集进行扩增的步骤，如将标注好的图像进行亮度、对比度、饱和度和色调的变换，或者进行一定角度的旋转，之后经人工筛选出合理的图像构造成训练集。另外，为了达到更好的训练效果，分别在数据集中挑选一定比例的图像形成训练集和验证集，在通过训练集对网络模型进行训练之后，使用验证集对其检测效果进行验证，以得到检测效果最优的网络模型。
对于检测网络构造模块120构造的目标检测网络这里不做具体限定，可以使用任意能够完成对图像中的目标检测的网络模型，如SSD网络模型、Faster R-CNN网络模型、YOLO网络模型等。
为了实现更好的检测效果，在一实施例中，基于Resnet18构造目标检测网络，包括特征提取网络、上采样层、目标中心点定位层、目标类别判断层及目标关键点和目标尺寸确定层，其中，上采样层用于对特征图进行放大，便于后续处理；目标中心点定位层用于根据提取的特征确定目标的中心点；目标类别判断层用于判断目标所属类别。
在该目标检测网络中，输出图像中每个目标除了包含目标尺寸信息(目标检测网络输出左上角和右下角的坐标以形成目标的2D框)之外，同时输出一中心点信息。其基于关键点进行目标检测，即将目标边界框检测为一对关键点(即边界框的左上角和右下角)，并采用关键点估计中心点，进而回归到其他的目标属性，如尺寸、3D位置、方向甚至姿态。该目标检测网络通过将目标检测为成对的关键点，消除现有检测网络中对一对anchors的需要，从而提升了目标检测的速度。
具体，目标检测网络输入验证集中的图像后，确定图像中目标的中心点、所在位置区域及所属类别，进而根据目标的中心点及所属类别计算得到目标所在位置区域的尺寸信息及关键点位置，其中，关键点位于目标所在位置区域内。在检测过程中，计算得到目标的主要中心点之后进一步计算出各个关键点，同时计算出目标所在区域(2D框)的长和宽。
在位姿确定模块150对目标的空间位姿进行确定时，只需要确定目标中的至少三个关键点，即可计算出目标对应的空间姿态信息，具体，结合先验信息计算得到目标的距离、朝向及投影至地面的尺寸信息，进而确定目标的空间位姿。在实际应用中，将计算得到的目标信息放入到costmap中，即可进行避障使用。先验信息包括：各类型目标中关键点的位置信息及各关键点之间的关联关系，即激光可到达的关键点的信息。
对上述实施例进行改进得到本实施例，在本实施例中，检测网络构造模块 120建立基于双重注意力机制的目标检测网络，具体用于每个特征金字塔层内及金字塔层间。另外，金字塔通路中采用了concatenation操作。
对上述实施例进行改进得到本实施例，在本实施例中，位姿确定模块150 进一步包括：空间位姿计算单元，用于根据关键点位置和目标的尺寸信息、利用射影几何计算得到目标的空间位姿；反投影计算单元，用于反投影关键点位置、利用其对应的激光点获取目标的空间位姿并获得关键点位置。在本实施例中，通过循环空间位姿计算单元和反投影计算单元的步骤得到对空间位姿计算过程进行优化，得到更加准确的空间位姿。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序单元或模块，以完成以上描述的全部或者部分功能。实施例中的各程序模块可以集成在一个处理单元中，也可是各个单元单独物理存在，也可以两个或两个以上单元集成在一个处理单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序单元的形式实现。另外，各程序模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
图6是本发明一个实施例中提供的移动机器人的结构示意图，如所示，该移动机器人200包括：处理器220、存储器210以及存储在存储器210中并可在处理器220上运行的计算机程序211，例如：目标物空间位姿确定程序。处理器220执行计算机程序211时实现上述各个目标物空间位姿确定方法实施例中的步骤，或者，处理器220执行计算机程序211时实现上述各目标物空间位姿确定装置实施例中各模块的功能。
移动机器人200可以为笔记本、掌上电脑、平板型计算机、手机等设备。移动机器人200可包括，但不仅限于处理器220、存储器210。本领域技术人员可以理解，图6仅仅是移动机器人200的示例，并不构成对移动机器人200 的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如：移动机器人200还可以包括输入输出设备、显示设备、网络接入设备、总线等。
处理器220可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器220可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器210可以是移动机器人200的内部存储单元，例如：移动机器人200 的硬盘或内存。存储器210也可以是移动机器人200的外部存储设备，例如：移动机器人200上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器210 还可以既包括移动机器人200的内部存储单元也包括外部存储设备。存储器210 用于存储计算机程序211以及移动机器人200所需要的其他程序和数据。存储器210还可以用于暂时地存储已经输出或者将要输出的数据。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述或记载的部分，可以参见其他实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露移动机器人和方法，可以通过其他的方式实现。例如，以上所描述的移动机器人实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性、机械或其他的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可能集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序211发送指令给相关的硬件完成，计算机程序211可存储于一计算机可读存储介质中，该计算机程序211在被处理器220执行时，可实现上述各个方法实施例的步骤。其中，计算机程序211包括：计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序211代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如：在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施例，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施例，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种关键点标注方法，其特征在于，应用于配置有单线激光雷达和单目相机的移动设备，所述关键点标注方法包括：
S11获取包含目标的图像；
S12将同一时刻单线激光雷达的激光点映射于所述图像上；
S13接收用户根据映射结果选定的激光点群；
S14计算所述激光点群的重心；
S15将计算得到的重心作为关键点并标注，完成所述图像中目标关键点的标注。
2.一种目标物空间位姿确定方法，其特征在于，包括：
S10获取数据集，并采用如权利要求1所述的关键点标注方法对所述数据集中包括含有目标的图像进行关键点标注形成训练集；
S20构造目标检测网络；
S30采用训练集对所述目标检测网络进行训练；
S40将待检测图像输入训练后的目标检测网络，确定图像中目标的位置区域、所属类别及目标中的关键点；
S50结合先验信息确定图像中目标的空间位姿。
3.如权利要求2所述的目标物空间位姿确定方法，其特征在于，在所述S20构造目标检测网络中：构造的目标检测网络中包括特征提取网络、上采样层、目标中心点定位层、目标类别判断层及目标关键点和目标尺寸确定层；
在所述S40将待检测图像输入训练后的目标检测网络，确定图像中目标的位置区域及关键点中，包括：
S41将待检测图像输入训练后的目标检测网络；
S42确定图像中目标的中心点、所在位置区域及所属类别；
S43根据目标的中心点及所属类别计算得到目标所在位置区域的尺寸信息及关键点位置，其中，所述关键点位于目标所在位置区域内。
4.如权利要求3所述的目标物空间位姿确定方法，其特征在于，在所述S50结合先验信息确定图像中目标的空间位姿中，包括：
S51根据关键点位置和目标的尺寸信息、利用射影几何计算得到目标的空间位姿；
S52反投影关键点位置、利用其对应的激光点获取目标的空间位姿并获得关键点位置；
S53循环步骤S51和S52直至目标的空间位姿收敛。
5.一种关键点标注装置，其特征在于，应用于配置有单线激光雷达和单目相机的移动设备，所述关键点标注装置包括：
图像获取模块，用于获取包含目标的图像；
激光点映射模块，用于将同一时刻单线激光雷达的激光点映射于所述图像获取模块获取的图像上；
激光点群接收模块，用于接收用户根据所述激光点映射模块的映射结果选定的激光点群；
计算模块，用于计算所述激光点群接收模块接收的激光点群的重心；
关键点标注模块，用于将所述计算模块计算得到的重心作为关键点并标注，完成所述图像中目标关键点的标注。
6.一种目标物空间位姿确定装置，其特征在于，包括：
数据集处理模块，用于获取数据集，并采用如权利要求5所述的关键点标注装置对所述数据集中包括含有目标的图像进行关键点标注形成训练集；
检测网络构造模块，用于构造目标检测网络；
网络训练模块，用于采用所述数据集处理模块形成的训练集对所述检测网络构造模块构造的目标检测网络进行训练；
目标识别模块，用于将待识别图像输入所述网络训练模块训练后的目标检测网络，确定图像中目标的位置区域、所属类别及目标中的关键点；
位姿确定模块，用于结合所述目标识别模块的输出及先验信息确定图像中目标的空间位姿。
7.如权利要求6所述的目标物空间位姿确定装置，其特征在于，
在所述检测网络构造模块中：构造的目标检测网络中包括特征提取网络、上采样层、目标中心点定位层、目标类别判断层及目标关键点和目标尺寸确定层；
所述目标检测网络输入验证集中的图像后，确定图像中目标的中心点、所在位置区域及所属类别，进而根据目标的中心点及所属类别计算得到目标所在位置区域的尺寸信息及关键点位置，其中，所述关键点位于目标所在位置区域内。
8.如权利要求7所述的目标物空间位姿确定装置，其特征在于，在所述位姿确定模块中包括：
空间位姿计算单元，用于根据关键点位置和目标的尺寸信息、利用射影几何计算得到目标的空间位姿；
反投影计算单元，用于反投影关键点位置、利用其对应的激光点获取目标的空间位姿并获得关键点位置。
9.一种移动机器人，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时实现如权利要求2-4中任一项所述目标物空间位姿确定方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求2-4中任一项所述目标物空间位姿确定方法的步骤。
CN202010612573.5A 2020-06-30 2020-06-30 关键点标注方法及装置、目标物空间位姿确定方法及装置 Active CN111783637B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010612573.5A CN111783637B (zh) 2020-06-30 2020-06-30 关键点标注方法及装置、目标物空间位姿确定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010612573.5A CN111783637B (zh) 2020-06-30 2020-06-30 关键点标注方法及装置、目标物空间位姿确定方法及装置

Publications (2)

Publication Number Publication Date
CN111783637A true CN111783637A (zh) 2020-10-16
CN111783637B CN111783637B (zh) 2023-11-14

Family

ID=72761344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010612573.5A Active CN111783637B (zh) 2020-06-30 2020-06-30 关键点标注方法及装置、目标物空间位姿确定方法及装置

Country Status (1)

Country Link
CN (1) CN111783637B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819953A (zh) * 2021-02-24 2021-05-18 北京创想智控科技有限公司 三维重建方法、网络模型训练方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008071014A1 (en) * 2006-12-15 2008-06-19 Ao Technology Ag Method and device for computer assisted distal locking of intramedullary nails
US20150071524A1 (en) * 2013-09-11 2015-03-12 Motorola Mobility Llc 3D Feature Descriptors with Camera Pose Information
CN110930454A (zh) * 2019-11-01 2020-03-27 北京航空航天大学 一种基于边界框外关键点定位的六自由度位姿估计算法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008071014A1 (en) * 2006-12-15 2008-06-19 Ao Technology Ag Method and device for computer assisted distal locking of intramedullary nails
US20150071524A1 (en) * 2013-09-11 2015-03-12 Motorola Mobility Llc 3D Feature Descriptors with Camera Pose Information
CN110930454A (zh) * 2019-11-01 2020-03-27 北京航空航天大学 一种基于边界框外关键点定位的六自由度位姿估计算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANKIT DHALL: "Real-time 3D Pose Estimation with a Monocular Camera Using Deep Learning and Object Priors", 《ARXIV》, pages 1 - 59 *
步国超: "基于地面激光雷达点云数据的树木胸径及树干形态提取方法研究", 《中国优秀硕士学位论文全文数据库（农业科技辑）》, pages 32 - 45 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819953A (zh) * 2021-02-24 2021-05-18 北京创想智控科技有限公司 三维重建方法、网络模型训练方法、装置及电子设备
CN112819953B (zh) * 2021-02-24 2024-01-19 北京创想智控科技有限公司 三维重建方法、网络模型训练方法、装置及电子设备

Also Published As

Publication number Publication date
CN111783637B (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
US11151744B1 (en) Automated data capture
AU2019432052B2 (en) Three-dimensional image measurement method, electronic device, storage medium, and program product
EP3407294B1 (en) Information processing method, device, and terminal
CN107798685B (zh) 行人身高确定方法、装置及系统
WO2018119889A1 (zh) 三维场景定位方法和装置
CN110568447A (zh) 视觉定位的方法、装置及计算机可读介质
CN110363817B (zh) 目标位姿估计方法、电子设备和介质
CN112967344B (zh) 相机外参标定的方法、设备、存储介质及程序产品
CN111462249B (zh) 一种交通摄像头标定方法及装置
CN104036488A (zh) 一种基于双目视觉的人体姿态动作研究方法
CN112288825B (zh) 相机标定方法、装置、电子设备、存储介质和路侧设备
US20210012166A1 (en) Cross-modal sensor data alignment
CN111612841A (zh) 目标定位方法及装置、移动机器人及可读存储介质
TW200838750A (en) Intelligent driving safety monitoring system integrating multiple direction information and method thereof
CN110807807B (zh) 一种单目视觉的目标定位的图案、方法、装置及设备
US11282180B1 (en) Object detection with position, pose, and shape estimation
CN112735253B (zh) 红绿灯自动标注方法及计算机设备
WO2022174594A1 (zh) 基于多相机的裸手追踪显示方法、装置及系统
CN112883955A (zh) 货架布局检测方法、装置及计算机可读存储介质
CN107122754A (zh) 姿势识别方法和装置
WO2023078169A1 (zh) 医学图像标记点识别方法、装置、电子设备及存储介质
CN113362446A (zh) 基于点云数据重建对象的方法及装置
WO2023273056A1 (zh) 机器人导航方法、机器人及计算机可读存储介质
CN111079470B (zh) 人脸活体检测的方法和装置
CN111783637B (zh) 关键点标注方法及装置、目标物空间位姿确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant