CN113065392A - 一种机器人的跟踪方法和装置 - Google Patents

一种机器人的跟踪方法和装置 Download PDF

Info

Publication number
CN113065392A
CN113065392A CN202110209206.5A CN202110209206A CN113065392A CN 113065392 A CN113065392 A CN 113065392A CN 202110209206 A CN202110209206 A CN 202110209206A CN 113065392 A CN113065392 A CN 113065392A
Authority
CN
China
Prior art keywords
target object
target
image data
determining
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110209206.5A
Other languages
English (en)
Inventor
钟火炎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Century Electronics Co ltd
Original Assignee
Suzhou Century Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Century Electronics Co ltd filed Critical Suzhou Century Electronics Co ltd
Priority to CN202110209206.5A priority Critical patent/CN113065392A/zh
Publication of CN113065392A publication Critical patent/CN113065392A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种机器人的跟踪方法和装置。所述机器人上设置有三维视觉传感器，包括：利用所述三维视觉传感器获取检测范围内的图像数据和深度数据；根据所述图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息；根据所述目标对象的位置信息，确定机器人的目标速度和目标方向，并控制所述机器人按照所述目标速度和目标方向行驶。本公开利用三维视觉传感器获取检测范围内的图像数据以及与其相匹配深度数据，能够较为准确的确定目标对象，无需进行其他的计算即可准确获得目标对象的位置信息，实现对待跟踪目标对象的跟踪。

Description

一种机器人的跟踪方法和装置
技术领域
本公开涉及自动化技术领域，尤其涉及一种机器人的跟踪方法和装置。
背景技术
机器人对目标物的跟踪，指的是机器人实时跟随目标物，并沿随目标物的运动方向运动。相关技术中，机器人上设置有激光雷达传感器，利用激光雷达的点云数据确定目标物，并根据激光雷达传感器数据确定目标物的方位和距离，实现对目标物的跟踪。由于激光雷达获取到的人体的特征点比较少，很难区分人体信息或者相同特征的物体信息，因此跟踪效果不佳。并且当多个类似目标物出现时，或目标物被遮挡时，可能出现目标物跟丢的情况。
发明内容
为克服相关技术中存在的问题，本公开提供一种机器人的跟踪方法和装置。
根据本公开实施例的第一方面，提供一种机器人的跟踪方法，所述机器人上设置有三维视觉传感器，包括：
利用所述三维视觉传感器获取检测范围内的图像数据和深度数据；
根据所述图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息；
根据所述目标对象的位置信息，确定机器人的目标速度和目标方向，并控制所述机器人按照所述目标速度和目标方向行驶。
在一种可能的实现方式中，所述根据所述图像数据和深度数据，确定待跟踪的目标对象及所述目标对象的位置信息，包括：
将所述图像数据输入目标检测模型，经所述目标检测模型输出标注有目标对象的图像数据，其中，所述目标检测模型被设置为利用图像数据与标注有目标对象的图像数据之间的对应关系训练获得；
根据所述标注有目标对象的图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息。
在一种可能的实现方式中，在所述目标对象包括多个的情况下，所述根据所述标注有目标对象的图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息，包括：
将所述标注有目标对象的图像数据输入至多目标标识模型，经所述多目标标识模型，输出包含有目标对象标识信息的图像数据，所述多目标标识模型被设置为利用标注有目标对象的图像数据与包含有目标对象标识信息的图像数据之间的对应关系训练获得；
根据包含有目标对象标识信息的图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息。
在一种可能的实现方式中，所述根据包含有目标对象识别信息的图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息，包括：
接收用户指定的待跟踪的目标对象的标识信息；
根据所述标识信息和所述深度数据，确定与所述标识信息相匹配的目标对象及所述目标对象的位置。
在一种可能的实现方式中，所述根据所述图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息，包括：
获取待跟踪的目标对象的身体特征信息；
从所述图像数据中确定与所述身体特征信息相匹配的目标对象；
根据所述目标对象及所述深度数据，确定所述目标对象的位置信息。
在一种可能的实现方式中，所述根据所述图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息，包括：
根据所述图像数据，确定待跟踪的目标对象及其在图像中的位置；
根据所述目标对象在图像中的位置，确定与所述位置相匹配的深度数据；
根据所述深度数据，确定待跟踪的目标对象相对于机器人的位置。
在一种可能的实现方式中，所述目标检测模型被设置为利用图像数据与标注有目标对象的图像数据之间的对应关系训练获得，包括：
获取图像样本集合，所述图像样本集合包括多个标注有目标对象的图像样本；
构建目标检测模型，所述目标检测模型中设置有训练参数；
分别将所述图像样本输入至所述目标检测模型，生成预测结果；
基于所述预测结果与标注有目标对象的图像样本之间的差异，对所述训练参数进行迭代调整，直至所述差异满足预设要求。
在一种可能的实现方式中，所述多目标标识模型被设置为利用标注有目标对象的图像数据与包含有目标对象标识信息的图像数据之间的对应关系训练获得，包括：
获取标注有目标对象的图像样本集合，所述图像样本集合中包括多个标注有目标对象标识信息的图像样本；
构建多目标标识模型，所述多目标标识模型中设置有训练参数；
分别将所述图像样本输入至所述多目标标识模型，生成预测结果；
基于所述预测结果与标注有目标对象标识信息的图像样本之间的差异，对所述训练参数进行迭代调整，直至所述差异满足预设要求。
根据本公开实施例的第二方面，提供一种机器人的跟踪装置，所述机器人上设置有三维视觉传感器，包括：
获取模块，用于利用所述三维视觉传感器获取检测范围内的图像数据和深度数据；
确定模块，用于根据所述图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息；
控制模块，用于根据所述目标对象的位置信息，确定机器人的目标速度和目标方向，并控制所述机器人按照所述目标速度和目标方向行驶。
在一种可能的实现方式中，所述确定模块包括：
目标检测模块，用于将所述图像数据输入目标检测模型，经所述目标检测模型输出标注有目标对象的图像数据，其中，所述目标检测模型被设置为利用图像数据与标注有目标对象的图像数据之间的对应关系训练获得；
第一确定子模块，用于根据所述标注有目标对象的图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息。
在一种可能的实现方式中，在所述目标对象包括多个的情况下，所述确定模块包括：
多目标标识模型，用于将所述标注有目标对象的图像数据输入至多目标标识模型，经所述多目标标识模型，输出包含有目标对象标识信息的图像数据，所述多目标标识模型被设置为利用标注有目标对象的图像数据与包含有目标对象标识信息的图像数据之间的对应关系训练获得；
第二确定子模块，用于根据包含有目标对象标识信息的图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息。
在一种可能的实现方式中，所述确定模块包括：
接收子模块，用于接收用户指定的待跟踪的目标对象的标识信息；
第三确定子模块，用于根据所述标识信息和所述深度数据，确定与所述识别标识信息相匹配的目标对象及所述目标对象的位置。
在一种可能的实现方式中，所述确定模块包括：
获取子模块，用于获取待跟踪的目标对象的身体特征信息；
匹配子模块，用于从所述图像数据中确定与所述身体特征信息相匹配的目标对象；
第四确定子模块，用于根据所述目标对象及所述深度数据，确定所述目标对象的位置信息。
在一种可能的实现方式中，所述确定模块包括：
第五确定子模块，根据所述图像数据，确定待跟踪的目标对象及其在图像中的位置；
第六确定子模块，根据所述目标对象在图像中的位置，确定与所述位置相匹配的深度数据
第七确定子模块，根据所述深度数据，确定待跟踪的目标对象相对于机器人的位置。
在一种可能的实现方式中，所述目标检测模型被设置为利用图像数据与标注有目标对象的图像数据之间的对应关系训练获得，包括：
获取图像样本集合，所述图像样本集合包括多个标注有目标对象的图像样本；
构建目标检测模型，所述目标检测模型中设置有训练参数；
分别将所述图像样本输入至所述目标检测模型，生成预测结果；
基于所述预测结果与标注有目标对象的图像样本之间的差异，对所述训练参数进行迭代调整，直至所述差异满足预设要求。
在一种可能的实现方式中，所述多目标标识模型被设置为利用标注有目标对象的图像数据与包含有目标对象标识信息的图像数据之间的对应关系训练获得，包括：
获取标注有目标对象的图像样本集合，所述图像样本集合中包括多个标注有目标对象标识信息的图像样本；
构建多目标标识模型，所述多目标标识模型中设置有训练参数；
分别将所述图像样本输入至所述多目标标识模型，生成预测结果；
基于所述预测结果与标注有目标对象标识信息的图像样本之间的差异，对所述训练参数进行迭代调整，直至所述差异满足预设要求。
根据本公开的第三方面，提供一种机器人的跟踪装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行本公开任一实施例所述的方法。
根据本公开的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得处理器能够执行根据本公开任一实施例所述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果：本公开利用三维视觉传感器获取检测范围内的图像数据以及与其相匹配深度数据，图像数据包含了目标对象较多的特征，能够较为准确的确定目标对象，深度数据与图像数据相匹配，因此，无需进行其他的计算即可准确获得目标对象的位置信息。实现对待跟踪目标对象的跟踪。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种机器人的跟踪方法的流程图。
图2(a)是根据一示例性实施例示出的一种目标检测模型检测目标对象的效果图。
图2(b)是根据一示例性实施例示出的一种目标检测模型检测目标对象的效果图。
图3(a)是根据一示例性实施例示出的一种多目标标识模型标识多个目标对象的效果图。
图3(b)是根据一示例性实施例示出的一种多目标标识模型标识多个目标对象的效果图。
图3(c)是根据一示例性实施例示出的一种多目标标识模型标识多个目标对象的效果图。
图4是根据一示例性实施例示出的一种机器人的跟踪装置的框图。
图5是根据一示例性实施例示出的一种机器人的跟踪装置的框图。
图6是根据一示例性实施例示出的一种机器人的跟踪装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
为了方便本领域技术人员理解本公开实施例提供的技术方案，下面先对技术方案实现的技术环境进行说明。
在目标物跟踪中，激光雷达传感器安装于机器人上，利用激光雷达传感器获取的点云数据，例如对于单线激光雷达可能是一条线上的点云数据，对于多线激光雷达可能是多条线上的点云数据。对获取到的激光雷达的传感器数据进行特征提取，将提取的特征与预设的目标物的特征进行特征匹配，识别目标物。再利用所述传感器数据确定目标物的位置，实现机器人对目标物的跟踪。激光雷达的方案获取到的目标物特征点太少，很难区分目标物或与目标物具有相同特征的其他物体。若将视觉传感器与所述激光雷达传感器相配合，配合后的视觉传感器和激光雷达传感器的匹配算法较为复杂，并且精度不高，很难实现准确的跟踪。
基于类似于上文所述的实际技术需求，本公开提供了一种机器人的跟踪方法和装置。
下面结合附图1对本公开所述的机器人的跟踪方法进行详细的说明。图1是根据一示例性实施例示出的机器人的跟踪方法的流程图，虽然本公开提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本公开实施例提供的执行顺序。
具体的，本公开提供的机器人的跟踪方法一种实施例如图1所示，所述方法可以应用于机器人包括：
步骤S101，利用所述三维视觉传感器获取检测范围内的图像数据和深度数据；
步骤S102，根据所述图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息；
步骤S103，根据所述目标对象的位置信息，确定机器人的目标速度和目标方向，并控制所述机器人按照所述目标速度和目标方向行驶。
本公开实施例中，所述三维视觉传感器可以包括具有双目或多目摄像头的相机，相机与投射器相结合的结构光系统，和相机与激光发射器相结合的TOF(Time of Flight)等。所述结构光系统原理可以包括通过投射器投射到物体表面，如激光条纹、格雷码、正弦条纹等，通过单个或多个相机拍摄物体表面得到结构光图像，基于三角测量原理获得图像的三维数据。所述TOF的原理可以包括由发射器向外发射激光，通过相机接收物体反射的激光以获取物体的三维图像。所述利用所述三维视觉传感器获取检测范围内的图像数据和深度数据，包括利用上述任一种三维视觉传感器获取检测范围内的图像数据以与图像数据相对应的深度数据。所述深度数据可以包括图像数据中每个像素点所对应的深度信息，所述深度信息包括物体上拍摄到的位置点与机器人的距离。
本公开实施例中，所述目标对象可以包括可运动的物体，如人体、动物、车辆等。所述根据所述图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息可以包括：利用背景减除法、帧间差分法、光流法、统计学方法及人工神经网络模型算法等从图像数据中确定目标对象。具体的，所述背景减除法可以包括利用当前图像与背景图像的差分运算来检测运动区域，即将每一帧图像与背景图像相减，若差值大于预设值，则判定为目标对象，相减的结果直接给出目标对象的位置、大小和形状等。所述背景减除法可以包括将相邻两帧图像或间隔几帧的两帧图像的像素值相减，并且阈值化来提取图像中的目标对象。所述光流法可以包括：光流法是利用运动目标在图像序列间，即随着时间变化的特性，通过计算帧间像素的位移来提取目标对象。光流是图像中各像素点运动的速度分布，它是一种顺时速度场，即向量场。每一个向量表示了景物中一个点在图像中位置的瞬时变化。所述统计学方法可以包括基于像素的统计特征从背景中提取目标对象。所述人工神经网络模型可以通过利用图像数据与标注有目标对象的图像数据之间的对应关系训练。在确定完所述目标对象后，获取与所述目标对象对应的深度数据，即可确定目标对象的位置。
本公开实施例中，在确定完目标对象的位置信息之后，可以基于机器人的位置到目标对象的位置进行路径规划，所述路径规划方法可以包括Dijkstra算法、A*算法、RRT算法、人工势场法、BUG算法、增量式启发算法等，并确定机器人的目标速度和目标方向，所述目标速度可以包括角速度和线速度以及加速度等。控制所述机器人按照所述目标速度和目标方向行驶。
本公开利用三维视觉传感器获取检测范围内的图像数据以及与其相匹配深度数据，图像数据包含了目标对象较多的特征，能够较为准确的确定目标对象，深度数据与图像数据相匹配，因此，无需进行其他的计算即可获得目标对象的位置信息。
图2(a)至图2(b)是根据一示例性实施例示出的一种目标检测模型检测目标对象的效果图。所述步骤S102，根据所述图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息，包括：
将所述图像数据输入目标检测模型，经所述目标检测模型输出标注有目标对象的图像数据，其中，所述目标检测模型被设置为利用图像数据与标注有目标对象的图像数据之间的对应关系训练获得；
根据所述标注有目标对象的图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息。
本公开实施例中，所述目标检测模型可以包括基于已有的目标检测网络，二阶段目标检测模型(two-stage)如，Faster R-CNN；以及一阶段目标检测模型(one-stage)如MobileNet YOLO,SSD,SqueezeDet,和DetectNet等。对所述图像数据中的目标对象进行检测。图像分类模型可以识别图像中的目标对象，但不能确定目标对象在图像中的位置。与图像分类不同的是，本公开中的目标检测模型不仅可以预测各个物体的边界框(boundingboxes)，还要定位出它们在图像中的位置。在一个示例中，目标检测模型可以预测出多个边界框，每个边界框设置一个置信度，表示其包含物体可能性的大小，可以通过设置置信度的阈值来过滤哪些置信度较低的边界框。在一个示例中，参照图2(a)和图2(b)所示，可以使用速度较快的一阶段目标检测模型，通过输入三维传感器获取到的检测范围内的图像数据，输出目标对象200的边界框201，从而迅速的确定目标对象。
根据所述目标对象在图像中的位置，以及所述图像数据与深度数据之间的关联关系，从所述深度数据中筛选出所述目标对象的深度数据。在一个示例中，可以将目标对象边界框的中心位置的深度数据作为所述目标对象的位置信息。
图3(a)至图3(c)是根据一示例性实施例示出的一种多目标标识模型标识多个目标对象的效果图。在所述目标对象包括多个的情况下，所述根据所述标注有目标对象的图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息，包括：
将所述标注有目标对象的图像数据输入至多目标标识模型，经所述多目标标识模型，输出包含有目标对象标识信息的图像数据，所述多目标标识模型被设置为利用标注有目标对象的图像数据与包含有目标对象标识信息的图像数据之间的对应关系训练获得；
根据包含有目标对象标识信息的图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息。
本公开实施例中，在所述目标对象包括多个的情况下，在一个示例中，所述目标对象为人体，而在图像数据中出现了多个人体。需要从图像数据中多个人体中确定待跟踪的人。在另一示例中，所述目标对象为汽车，而在图像数据中出现了多辆汽车，需要从图像数据中多辆汽车中确定待跟踪的汽车。本公开实施例中，所述标识信息能够唯一标识所述目标对象，可以与目标对象一一对应。可以使用符号、数字、或字符等表示所述标识信息。在一个示例中，所述多目标标识模型可以基于已有的多目标跟踪算法如SORT、DeepSORT、JDE、FairMOT等，对图像序列中的目标对象进行标识信息的标记。在一个示例中，参照图3(a)，图3(a)为视频图像的第1帧图像，图中包括多个目标对象，如人体。为每个目标对象分别设置标识信息，如人物1和人物2。图3(b)为视频图像的第40帧图像，图3(c)为视频图像的第80帧图像。则通过图3(b)和图3(c)可以看出，边界框对应的标识信息与各个目标对象是相对应的。
本公开实施例，提供了在多目标对象的情况下，如何跟踪目标对象的方法，并且所述多目标标识模型可以准确的标记出各个目标对象的标识信息，便于机器人从中筛选出待跟踪的目标对象。
在一种可能的实现方式中，所述步骤S102，根据所述图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息，包括：
接收用户指定的待跟踪的目标对象的标识信息；
根据所述标识信息和所述深度数据，确定与所述标识信息相匹配的目标对象及所述目标对象的位置。
本公开实施例中，可以上述实施例中任一种方法，确定多个目标对象的标识信息。可以通过语音识别、手势识别或其它人机交互的方式，获取用户指定的待跟踪的目标对象。在一个示例中，参考图3(a)所示，用户可以选中人物1作为待跟踪的目标对象，机器人则对人物1实施跟踪。具体的，可以获取所述标识信息对应的目标对象的深度数据，根据所述深度数据确定所述目标对象相对于机器人的位置。其中，根据所述深度数据确定所述目标对象相对于机器人位置的方法与上述实施例中记载的内容相同，在这里不再赘述。
在一种可能的实现方式中，所述根据所述图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息，包括：
获取待跟踪的目标对象的身体特征信息；
从所述图像数据中确定与所述身体特征信息相匹配的目标对象；
根据所述目标对象及所述深度数据，确定所述目标对象的位置信息。
本公开实施例中，所述身体特征信息可以包括目标对象的身材信息、人体关节点、骨骼方向等。所述待跟踪目标对象的身体特征信息可以预先存储于机器人中，还可以包括根据待跟踪的目标对象的图像数据，从所述图像数据中通过图像处理的方式，提取图像中的特征。其中，图像特征提取的方式可以包括尺度不变特征变换(Scale-invariantfeature transform，SIFT)、方向梯度直方图(Histogram Of Gradient，HOG)和加速稳健特征(Speeded Up Robust Features，SURF)等。从所述图像数据中确定与所述身体特征相匹配的目标对象。所述根据所述目标对象及所述深度数据，确定所述目标对象的位置信息的方法已在上述实施例中进行了阐述，在这里不再赘述。
在一种可能的实现方式中，所述根据所述图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息，包括：
根据所述图像数据，确定待跟踪的目标对象及其在图像中的位置；
根据所述目标对象在图像中的位置，确定与所述位置相匹配的深度数据；
根据所述深度数据，确定待跟踪的目标对象相对于机器人的位置。
本公开实施例中，所述根据所述图像数据，确定待跟踪的目标对象及其在图像中的位置与上述实施例中相同，在这里不再赘述。根据所述目标对象在图像中的位置，在一个示例中，例如所述目标对象的检测框四个顶点在图像中的位置分别为A(x1,y1)、B(x1,y2)、C(x2，y2)、D(x2，y1)，可以在所述深度数据中的筛选出与所述图像数据相应匹配的位置A(x1,y1)、B(x1,y2)、C(x2，y2)、D(x2，y1)的深度数据，根据所述深度数据，确定待跟踪的目标对象相对于机器人的位置。在另一个示例中，可以确定所述检测框的中心点位置，如对角线的交点，根据所述交点的深度数据，确定待跟踪的目标对象相对于机器人的位置。
在一种可能的实现方式中，所述目标检测模型被设置为利用图像数据与标注有目标对象的图像数据之间的对应关系训练获得，包括：
获取图像样本集合，所述图像样本集合包括多个标注有目标对象的图像样本；
构建目标检测模型，所述目标检测模型中设置有训练参数；
分别将所述图像样本输入至所述目标检测模型，生成预测结果；
基于所述预测结果与标注有目标对象的图像样本之间的差异，对所述训练参数进行迭代调整，直至所述差异满足预设要求。
本公开实施例中，所述图像样本集合中包括有预先标记好目标对象的图像样本，比如，可以用矩形框标记所述目标对象。所述预测结果可以包括两种，一种是目标对象类别的概率，一种是边界框的四个顶点位置。因此，模型的损失函数可以包括边界框的回归损失与分类的交叉熵损失相加。具体的训练过程可以包括：将所述图像样本输入至目标检测模型，生成目标对象类别和边界框的位置，分别计算预测的目标对象类别与真实类别的损失交叉熵以及预测边界框与真实边界框的损失交叉熵，将两个损失交叉熵相加，利用优化器如BGD、DGD、MBGD等对模型进行优化训练。在一个示例中，为了评估预测边界框与真实边界框的匹配程度，可以通过计算两个边界框之间的IOU(intersection-over-union)值。所述IOU值的取值范围在0-1之间，理想情况下预测边界框与真实边界框的IOU为100％，在一个示例中，可以去所述IOU值在预设值以上的预测结果作为最终的预测结果。
在一种可能的实现方式中，所述多目标标识模型被设置为利用标注有目标对象的图像数据与包含有目标对象标识信息的图像数据之间的对应关系训练获得，包括：
获取标注有目标对象的图像样本集合，所述图像样本集合中包括多个标注有目标对象标识信息的图像样本；
构建多目标标识模型，所述多目标标识模型中设置有训练参数；
分别将所述图像样本输入至所述多目标标识模型，生成预测结果；
基于所述预测结果与标注有目标对象标识信息的图像样本之间的差异，对所述训练参数进行迭代调整，直至所述差异满足预设要求。
本公开实施例中，可以通过边界框来标注目标对象，所述边界框的在某个时刻的轨迹状态可以使用一个8维空间表示轨迹在某个时刻的状态即
Figure BDA0002950762260000111
(u，v)表示边界框的中心坐标，γ表示宽高比，h表示高度，最后四个变量表示前面四个变量的速度信息。本公开实施例中，所述标注有目标对象标识信息的图像样本可以通过上述实施例中的目标检测模型检测获得，通过所述目标检测模型获得各个目标对象的标注边界框，通过多目标标识模型对目标对象进行运动估计，生成预测边界框，将所述预测边界框与标注边界框进行匹配，如果匹配成功，则标注边界框中的标识信息与预测边界框的标识信息相同。如果匹配不成功，则表示出现了新的目标对象。具体的训练过程可以包括：可以利用上述实施例中任一种目标检测模型检测图像数据中目标对象，生成目标对象对应的检测边界框，可以利用卡尔曼滤波器预测的每个轨迹的平均轨道位置(预测边界框)，将所述预测边界框与检测边界框之间利用匈牙利算法进行匹配，删除余弦距离过大的匹配结果。更新卡尔曼对轨迹预测的新的均值和协方差，对未匹配的检测分配新的标识信息。
图4是根据一示例性实施例示出的一种机器人的跟踪装置的框图。参照图4，一种机器人的跟踪装置，所述机器人上设置有三维视觉传感器，包括：
获取模块401，用于利用所述三维视觉传感器获取检测范围内的图像数据和深度数据；
确定模块402，用于根据所述图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息；
控制模块403，用于根据所述目标对象的位置信息，确定机器人的目标速度和目标方向，并控制所述机器人按照所述目标速度和目标方向行驶。
在一种可能的实现方式中，所述确定模块包括：
目标检测模块，用于将所述图像数据输入目标检测模型，经所述目标检测模型输出标注有目标对象的图像数据，其中，所述目标检测模型被设置为利用图像数据与标注有目标对象的图像数据之间的对应关系训练获得；
第一确定子模块，用于根据所述标注有目标对象的图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息。
在一种可能的实现方式中，在所述目标对象包括多个的情况下，所述确定模块包括：
多目标标识模型，用于将所述标注有目标对象的图像数据输入至多目标标识模型，经所述多目标标识模型，输出包含有目标对象标识信息的图像数据，所述多目标标识模型被设置为利用标注有目标对象的图像数据与包含有目标对象标识信息的图像数据之间的对应关系训练获得；
第二确定子模块，用于根据包含有目标对象标识信息的图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息。
在一种可能的实现方式中，所述确定模块包括：
接收子模块，用于接收用户指定的待跟踪的目标对象的标识信息；
第三确定子模块，用于根据所述标识信息和所述深度数据，确定与所述识别标识信息相匹配的目标对象及所述目标对象的位置。
在一种可能的实现方式中，所述确定模块包括：
获取子模块，用于获取待跟踪的目标对象的身体特征信息；
匹配子模块，用于从所述图像数据中确定与所述身体特征信息相匹配的目标对象；
第四确定子模块，用于根据所述目标对象及所述深度数据，确定所述目标对象的位置信息。
在一种可能的实现方式中，所述确定模块包括：
第五确定子模块，根据所述图像数据，确定待跟踪的目标对象及其在图像中的位置；
第六确定子模块，根据所述目标对象在图像中的位置，确定与所述位置相匹配的深度数据
第七确定子模块，根据所述深度数据，确定待跟踪的目标对象相对于机器人的位置。
在一种可能的实现方式中，所述目标检测模型被设置为利用图像数据与标注有目标对象的图像数据之间的对应关系训练获得，包括：
获取图像样本集合，所述图像样本集合包括多个标注有目标对象的图像样本；
构建目标检测模型，所述目标检测模型中设置有训练参数；
分别将所述图像样本输入至所述目标检测模型，生成预测结果；
基于所述预测结果与标注有目标对象的图像样本之间的差异，对所述训练参数进行迭代调整，直至所述差异满足预设要求。
在一种可能的实现方式中，所述多目标标识模型被设置为利用标注有目标对象的图像数据与包含有目标对象标识信息的图像数据之间的对应关系训练获得，包括：
获取标注有目标对象的图像样本集合，所述图像样本集合中包括多个标注有目标对象标识信息的图像样本；
构建多目标标识模型，所述多目标标识模型中设置有训练参数；
分别将所述图像样本输入至所述多目标标识模型，生成预测结果；
基于所述预测结果与标注有目标对象标识信息的图像样本之间的差异，对所述训练参数进行迭代调整，直至所述差异满足预设要求。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种机器人的跟踪装置500的框图。例如，装置500可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图5，装置500可以包括以下一个或多个组件：处理组件502，存储器504，电源组件506，多媒体组件508，音频组件510，输入/输出(I/O)的接口512，传感器组件514，以及通信组件516。
处理组件502通常控制装置500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。
存储器504被配置为存储各种类型的数据以支持在装置500的操作。这些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件506为装置500的各种组件提供电力。电源组件506可以包括电源管理系统，一个或多个电源，及其他与为装置500生成、管理和分配电力相关联的组件。
多媒体组件508包括在所述装置500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当装置500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(MIC)，当装置500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。
I/O接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件514包括一个或多个传感器，用于为装置500提供各个方面的状态评估。例如，传感器组件514可以检测到装置500的打开/关闭状态，组件的相对定位，例如所述组件为装置500的显示器和小键盘，传感器组件514还可以检测装置500或装置500一个组件的位置改变，用户与装置500接触的存在或不存在，装置500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件516被配置为便于装置500和其他设备之间有线或无线方式的通信。装置500可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由装置500的处理器520执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图6是根据一示例性实施例示出的一种机器人的跟踪装置600的框图。例如，装置600可以被提供为一服务器。参照图6，装置600包括处理组件622，其进一步包括一个或多个处理器，以及由存储器632所代表的存储器资源，用于存储可由处理组件622的执行的指令，例如应用程序。存储器632中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件622被配置为执行指令，以执行上述方法。
装置600还可以包括一个电源组件626被配置为执行装置600的电源管理，一个有线或无线网络接口650被配置为将装置600连接到网络，和一个输入输出(I/O)接口658。装置600可以操作基于存储在存储器632的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器632，上述指令可由装置600的处理组件622执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (18)

1.一种机器人的跟踪方法，其特征在于，所述机器人上设置有三维视觉传感器，包括：
利用所述三维视觉传感器获取检测范围内的图像数据和深度数据；
根据所述图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息；
根据所述目标对象的位置信息，确定机器人的目标速度和目标方向，并控制所述机器人按照所述目标速度和目标方向行驶。
2.根据权利要求1所述的方法，其特征在于，所述根据所述图像数据和深度数据，确定待跟踪的目标对象及所述目标对象的位置信息，包括：
将所述图像数据输入目标检测模型，经所述目标检测模型输出标注有目标对象的图像数据，其中，所述目标检测模型被设置为利用图像数据与标注有目标对象的图像数据之间的对应关系训练获得；
根据所述标注有目标对象的图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息。
3.根据权利要求2所述的方法，其特征在于，在所述目标对象包括多个的情况下，所述根据所述标注有目标对象的图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息，包括：
将所述标注有目标对象的图像数据输入至多目标标识模型，经所述多目标标识模型，输出包含有目标对象标识信息的图像数据，所述多目标标识模型被设置为利用标注有目标对象的图像数据与包含有目标对象标识信息的图像数据之间的对应关系训练获得；
根据包含有目标对象标识信息的图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息。
4.根据权利要求3所述的方法，其特征在于，所述根据包含有目标对象识别信息的图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息，包括：
接收用户指定的待跟踪的目标对象的标识信息；
根据所述标识信息和所述深度数据，确定与所述标识信息相匹配的目标对象及所述目标对象的位置。
5.根据权利要求1所述的方法，其特征在于，所述根据所述图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息，包括：
获取待跟踪的目标对象的身体特征信息；
从所述图像数据中确定与所述身体特征信息相匹配的目标对象；
根据所述目标对象及所述深度数据，确定所述目标对象的位置信息。
6.根据权利要求1所述的方法，其特征在于，所述根据所述图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息，包括：
根据所述图像数据，确定待跟踪的目标对象及其在图像中的位置；
根据所述目标对象在图像中的位置，确定与所述位置相匹配的深度数据；
根据所述深度数据，确定待跟踪的目标对象相对于机器人的位置。
7.根据权利要求2所述的方法，其特征在于，所述目标检测模型被设置为利用图像数据与标注有目标对象的图像数据之间的对应关系训练获得，包括：
获取图像样本集合，所述图像样本集合包括多个标注有目标对象的图像样本；
构建目标检测模型，所述目标检测模型中设置有训练参数；
分别将所述图像样本输入至所述目标检测模型，生成预测结果；
基于所述预测结果与标注有目标对象的图像样本之间的差异，对所述训练参数进行迭代调整，直至所述差异满足预设要求。
8.根据权利要求3所述的方法，其特征在于，所述多目标标识模型被设置为利用标注有目标对象的图像数据与包含有目标对象标识信息的图像数据之间的对应关系训练获得，包括：
获取标注有目标对象的图像样本集合，所述图像样本集合中包括多个标注有目标对象标识信息的图像样本；
构建多目标标识模型，所述多目标标识模型中设置有训练参数；
分别将所述图像样本输入至所述多目标标识模型，生成预测结果；
基于所述预测结果与标注有目标对象标识信息的图像样本之间的差异，对所述训练参数进行迭代调整，直至所述差异满足预设要求。
9.一种机器人的跟踪装置，其特征在于，所述机器人上设置有三维视觉传感器，包括：
获取模块，用于利用所述三维视觉传感器获取检测范围内的图像数据和深度数据；
确定模块，用于根据所述图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息；
控制模块，用于根据所述目标对象的位置信息，确定机器人的目标速度和目标方向，并控制所述机器人按照所述目标速度和目标方向行驶。
10.根据权利要求9所述的装置，其特征在于，所述确定模块包括：
目标检测模块，用于将所述图像数据输入目标检测模型，经所述目标检测模型输出标注有目标对象的图像数据，其中，所述目标检测模型被设置为利用图像数据与标注有目标对象的图像数据之间的对应关系训练获得；
第一确定子模块，用于根据所述标注有目标对象的图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息。
11.根据权利要求10所述的装置，其特征在于，在所述目标对象包括多个的情况下，所述确定模块包括：
多目标标识模型，用于将所述标注有目标对象的图像数据输入至多目标标识模型，经所述多目标标识模型，输出包含有目标对象标识信息的图像数据，所述多目标标识模型被设置为利用标注有目标对象的图像数据与包含有目标对象标识信息的图像数据之间的对应关系训练获得；
第二确定子模块，用于根据包含有目标对象标识信息的图像数据和所述深度数据，确定待跟踪的目标对象及所述目标对象的位置信息。
12.根据权利要求11所述的装置，其特征在于，所述确定模块包括：
接收子模块，用于接收用户指定的待跟踪的目标对象的标识信息；
第三确定子模块，用于根据所述标识信息和所述深度数据，确定与所述标识信息相匹配的目标对象及所述目标对象的位置。
13.根据权利要求9所述的装置，其特征在于，所述确定模块包括：
获取子模块，用于获取待跟踪的目标对象的身体特征信息；
匹配子模块，用于从所述图像数据中确定与所述身体特征信息相匹配的目标对象；
第四确定子模块，用于根据所述目标对象及所述深度数据，确定所述目标对象的位置信息。
14.根据权利要求10所述的装置，其特征在于，所述确定模块包括：
第五确定子模块，根据所述图像数据，确定待跟踪的目标对象及其在图像中的位置；
第六确定子模块，根据所述目标对象在图像中的位置，确定与所述位置相匹配的深度数据
第七确定子模块，根据所述深度数据，确定待跟踪的目标对象相对于机器人的位置。
15.根据权利要求10所述的装置，其特征在于，所述目标检测模型被设置为利用图像数据与标注有目标对象的图像数据之间的对应关系训练获得，包括：
获取图像样本集合，所述图像样本集合包括多个标注有目标对象的图像样本；
构建目标检测模型，所述目标检测模型中设置有训练参数；
分别将所述图像样本输入至所述目标检测模型，生成预测结果；
基于所述预测结果与标注有目标对象的图像样本之间的差异，对所述训练参数进行迭代调整，直至所述差异满足预设要求。
16.根据权利要求11所述的装置，其特征在于，所述多目标标识模型被设置为利用标注有目标对象的图像数据与包含有目标对象标识信息的图像数据之间的对应关系训练获得，包括：
获取标注有目标对象的图像样本集合，所述图像样本集合中包括多个标注有目标对象标识信息的图像样本；
构建多目标标识模型，所述多目标标识模型中设置有训练参数；
分别将所述图像样本输入至所述多目标标识模型，生成预测结果；
基于所述预测结果与标注有目标对象标识信息的图像样本之间的差异，对所述训练参数进行迭代调整，直至所述差异满足预设要求。
17.一种机器人的跟踪装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行权利要求1至8中任一项所述的方法。
18.一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得处理器能够执行根据权利要求1至8中任一项所述的方法。
CN202110209206.5A 2021-02-24 2021-02-24 一种机器人的跟踪方法和装置 Pending CN113065392A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110209206.5A CN113065392A (zh) 2021-02-24 2021-02-24 一种机器人的跟踪方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110209206.5A CN113065392A (zh) 2021-02-24 2021-02-24 一种机器人的跟踪方法和装置

Publications (1)

Publication Number Publication Date
CN113065392A true CN113065392A (zh) 2021-07-02

Family

ID=76559146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110209206.5A Pending CN113065392A (zh) 2021-02-24 2021-02-24 一种机器人的跟踪方法和装置

Country Status (1)

Country Link
CN (1) CN113065392A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114120373A (zh) * 2022-01-24 2022-03-01 苏州浪潮智能科技有限公司 一种模型训练方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004355601A (ja) * 2003-05-07 2004-12-16 Mitsubishi Space Software Kk 目標追跡装置及び目標追跡方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム
CN108673501A (zh) * 2018-05-17 2018-10-19 中国科学院深圳先进技术研究院 一种机器人的目标跟随方法及装置
CN109145781A (zh) * 2018-08-03 2019-01-04 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN110065074A (zh) * 2019-05-29 2019-07-30 北京禾泽方圆智能科技有限公司 一种采摘机器人的视觉伺服激光定位系统及方法
CN111251295A (zh) * 2020-01-16 2020-06-09 清华大学深圳国际研究生院 一种应用于参数化零件的视觉机械臂抓取方法及装置
CN111347411A (zh) * 2018-12-20 2020-06-30 中国科学院沈阳自动化研究所 基于深度学习的双臂协作机器人三维视觉识别抓取方法
CN111462154A (zh) * 2020-02-27 2020-07-28 中电莱斯信息系统有限公司 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人
CN111906782A (zh) * 2020-07-08 2020-11-10 西安交通大学 一种基于三维视觉的智能机器人抓取方法
CN112116635A (zh) * 2020-09-17 2020-12-22 赵龙 一种基于快速人体移动的视觉跟踪方法及装置
CN112223278A (zh) * 2020-09-09 2021-01-15 山东省科学院自动化研究所 一种基于深度视觉信息的探测机器人跟随方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004355601A (ja) * 2003-05-07 2004-12-16 Mitsubishi Space Software Kk 目標追跡装置及び目標追跡方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム
CN108673501A (zh) * 2018-05-17 2018-10-19 中国科学院深圳先进技术研究院 一种机器人的目标跟随方法及装置
CN109145781A (zh) * 2018-08-03 2019-01-04 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN111347411A (zh) * 2018-12-20 2020-06-30 中国科学院沈阳自动化研究所 基于深度学习的双臂协作机器人三维视觉识别抓取方法
CN110065074A (zh) * 2019-05-29 2019-07-30 北京禾泽方圆智能科技有限公司 一种采摘机器人的视觉伺服激光定位系统及方法
CN111251295A (zh) * 2020-01-16 2020-06-09 清华大学深圳国际研究生院 一种应用于参数化零件的视觉机械臂抓取方法及装置
CN111462154A (zh) * 2020-02-27 2020-07-28 中电莱斯信息系统有限公司 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人
CN111906782A (zh) * 2020-07-08 2020-11-10 西安交通大学 一种基于三维视觉的智能机器人抓取方法
CN112223278A (zh) * 2020-09-09 2021-01-15 山东省科学院自动化研究所 一种基于深度视觉信息的探测机器人跟随方法及系统
CN112116635A (zh) * 2020-09-17 2020-12-22 赵龙 一种基于快速人体移动的视觉跟踪方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114120373A (zh) * 2022-01-24 2022-03-01 苏州浪潮智能科技有限公司 一种模型训练方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111340766B (zh) 目标对象的检测方法、装置、设备和存储介质
CN108596116B (zh) 测距方法、智能控制方法及装置、电子设备和存储介质
CN108010060B (zh) 目标检测方法及装置
CN109725329B (zh) 一种无人车定位方法及装置
EP3163509A1 (en) Method for region extraction, method for model training, and devices thereof
CN111105454B (zh) 一种获取定位信息的方法、装置及介质
CN107480665B (zh) 文字检测方法、装置及计算机可读存储介质
CN106557759B (zh) 一种标志牌信息获取方法及装置
CN112115894B (zh) 手部关键点检测模型的训练方法、装置及电子设备
CN114267041B (zh) 场景中对象的识别方法及装置
CN112906484B (zh) 一种视频帧处理方法及装置、电子设备和存储介质
CN107886515B (zh) 利用光流场的图像分割方法及装置
CN111523485A (zh) 位姿识别方法及装置、电子设备和存储介质
CN111507973A (zh) 目标检测方法及装置、电子设备和存储介质
CN111126209B (zh) 车道线检测方法及相关设备
CN110796012B (zh) 图像处理方法、装置、电子设备及可读存储介质
JP2019149621A (ja) 情報処理装置、情報処理方法、およびプログラム
CN106372663B (zh) 构建分类模型的方法及装置
CN114581525A (zh) 姿态确定方法及装置、电子设备和存储介质
CN113052874B (zh) 目标跟踪方法及装置、电子设备和存储介质
CN113065392A (zh) 一种机器人的跟踪方法和装置
CN111832338A (zh) 对象检测方法及装置、电子设备和存储介质
CN109829393B (zh) 一种移动物体探测方法、装置及存储介质
CN111178115B (zh) 对象识别网络的训练方法及系统
US20230048952A1 (en) Image registration method and electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210702