CN112069879B - 一种目标人物跟随方法、计算机可读存储介质及机器人 - Google Patents

一种目标人物跟随方法、计算机可读存储介质及机器人 Download PDF

Info

Publication number
CN112069879B
CN112069879B CN202010709705.6A CN202010709705A CN112069879B CN 112069879 B CN112069879 B CN 112069879B CN 202010709705 A CN202010709705 A CN 202010709705A CN 112069879 B CN112069879 B CN 112069879B
Authority
CN
China
Prior art keywords
image
human body
tracking
frame
target person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010709705.6A
Other languages
English (en)
Other versions
CN112069879A (zh
Inventor
胡淑萍
程骏
张惊涛
郭渺辰
王东
顾在旺
庞建新
熊友军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ubtech Technology Co ltd
Original Assignee
Shenzhen Ubtech Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ubtech Technology Co ltd filed Critical Shenzhen Ubtech Technology Co ltd
Priority to CN202010709705.6A priority Critical patent/CN112069879B/zh
Publication of CN112069879A publication Critical patent/CN112069879A/zh
Application granted granted Critical
Publication of CN112069879B publication Critical patent/CN112069879B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

本申请属于机器人技术领域，尤其涉及一种目标人物跟随方法、计算机可读存储介质及机器人。所述方法包括：获取当前帧图像，并在当前帧图像中进行人体检测；若在当前帧图像中检测到人体，则在当前帧图像的各个人体检测框中进行人脸识别；若识别到目标人物，则在当前帧图像之后的各帧图像中对所述目标人物进行持续的人体跟踪，并控制机器人对所述目标人物进行跟随。通过本申请，无需目标人物的配合，即可主动对目标人物进行跟随，可以在安防场景中进行广泛使用。

Description

一种目标人物跟随方法、计算机可读存储介质及机器人
技术领域
本申请属于机器人技术领域，尤其涉及一种目标人物跟随方法、计算机可读存储介质及机器人。
背景技术
安防机器人作为用于协助人类完成安全防护工作的机器人，需要具备实时检测并跟随出现在安防场所内的目标人物，以及时向控制中心发出目标人物预警。当安防机器人检测到目标人物后，需要保持识别目标人物，并对目标人物进行跟随，以便对目标人物进行定位。
但是，目前已有的大部分机器人采用的均为配合式的跟随方法，即需要跟随目标进行相应的配合才可完成，而在安防场景中，目标人物不可能配合机器人来跟随自己，这就导致现有的跟随方法无法适用于安防场景中。
发明内容
有鉴于此，本申请实施例提供了一种目标人物跟随方法、计算机可读存储介质及机器人，以解决现有的跟随方法无法适用于安防场景中的问题。
本申请实施例的第一方面提供了一种目标人物跟随方法，可以包括：
获取当前帧图像，并在当前帧图像中进行人体检测；
若在当前帧图像中检测到人体，则在当前帧图像的各个人体检测框中进行人脸识别；
若识别到目标人物，则在当前帧图像之后的各帧图像中对所述目标人物进行持续的人体跟踪，并控制机器人对所述目标人物进行跟随，包括：获取新的当前帧图像，通过预设的跟踪算法确定所述目标人物在该图像中的位置以及可靠度；若所述可靠度大于或等于所述可靠度阈值，则将预设的跟踪次数增加一个计数单位；若所述跟踪次数大于所述跟踪次数阈值，则在当前帧图像中进行人体检测；若在当前帧图像中检测到人体，则分别计算当前帧图像的各个人体检测框与预设的跟踪框之间的交并比；从当前帧图像的各个人体检测框中选取优选检测框，所述优选检测框为与所述跟踪框之间的交并比最大的人体检测框；计算所述优选检测框中的图像与所述跟踪框中的图像之间的相似度；若所述优选检测框中的图像与所述跟踪框中的图像之间的相似度大于或等于预设的相似度阈值，则将所述优选检测框确定为新的跟踪框。
进一步地，所述目标人物跟随方法还包括：
若所述可靠度小于预设的可靠度阈值，则记录一次目标暂时跟丢。
进一步地，所述目标人物跟随方法还包括：
若所述跟踪次数小于或等于预设的跟踪次数阈值，则返回执行所述获取新的当前帧图像的步骤及其后续步骤。
进一步地，在记录一次目标暂时跟丢之后，所述目标人物跟随方法还包括：
获取新的当前帧图像，并在当前帧图像中进行人体检测；
若在当前帧图像中检测到人体，则分别计算当前帧图像的各个人体检测框中的图像与所述跟踪框中的图像之间的相似度；
从当前帧图像的各个人体检测框中选取相似检测框，所述相似检测框中的图像与所述跟踪框中的图像之间的相似度最大；
若所述相似检测框中的图像与所述跟踪框中的图像之间的相似度大于或等于预设的相似度阈值，则将所述相似检测框确定为新的跟踪框，并返回执行所述在当前帧图像之后的各帧图像中对所述目标人物进行持续的人体跟踪的步骤及其后续步骤。
进一步地，所述目标人物跟随方法还包括：
若所述相似检测框中的图像与所述跟踪框中的图像之间的相似度小于所述相似度阈值，则将目标暂时跟丢的次数增加一个计数单位；
若目标暂时跟丢的次数大于或等于预设的跟丢次数阈值，则确定目标完全跟丢；
若目标暂时跟丢的次数小于跟丢次数阈值，则返回执行所述获取新的当前帧图像，并在当前帧图像中进行人体检测的步骤及其后续步骤。
进一步地，所述控制机器人对所述目标人物进行跟随，包括：
确定所述机器人与所述目标人物之间的距离；
若所述距离大于预设的距离阈值，则控制所述机器人向所述目标人物靠近；
确定所述目标人物在当前帧图像中的位置；
若所述位置不在预设的中心区域内，则控制所述机器人根据所述位置进行方向调整。
本申请实施例的第二方面提供了一种机器人，可以包括：
人体检测模块，用于在图像中进行人体检测；
人脸识别模块，用于在人体检测框中进行人脸识别；
人体跟踪模块，用于在各帧图像中对目标人物进行持续的人体跟踪，包括：获取新的当前帧图像，通过预设的跟踪算法确定所述目标人物在该图像中的位置以及可靠度；若所述可靠度大于或等于所述可靠度阈值，则将预设的跟踪次数增加一个计数单位；若所述跟踪次数大于所述跟踪次数阈值，则在当前帧图像中进行人体检测；若在当前帧图像中检测到人体，则分别计算当前帧图像的各个人体检测框与预设的跟踪框之间的交并比；从当前帧图像的各个人体检测框中选取优选检测框，所述优选检测框为与所述跟踪框之间的交并比最大的人体检测框；计算所述优选检测框中的图像与所述跟踪框中的图像之间的相似度；若所述优选检测框中的图像与所述跟踪框中的图像之间的相似度大于或等于预设的相似度阈值，则将所述优选检测框确定为新的跟踪框；
人体重识别模块，用于计算人体图像之间的相似度，根据相似度重新识别目标人物；
运动控制模块，用于控制机器人对目标人物进行跟随。
本申请实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种目标人物跟随方法的步骤。
本申请实施例的第四方面提供了一种机器人，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一种目标人物跟随方法的步骤。
本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在机器人上运行时，使得机器人执行上述任一种目标人物跟随方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：本申请实施例获取当前帧图像，并在当前帧图像中进行人体检测；若在当前帧图像中检测到人体，则在当前帧图像的各个人体检测框中进行人脸识别；若识别到目标人物，则在当前帧图像之后的各帧图像中对所述目标人物进行持续的人体跟踪，并控制机器人对所述目标人物进行跟随。通过本申请实施例，无需目标人物的配合，即可主动对目标人物进行跟随，可以在安防场景中进行广泛使用。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例中一种机器人的一个实施例结构图；
图2为本申请实施例中一种目标人物跟随方法的一个实施例流程图；
图3为各帧图像中对目标人物进行持续的人体跟踪，并控制机器人对目标人物进行跟随的示意流程图；
图4为本申请实施例中一种机器人的示意框图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本申请一部分实施例，而非全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
机器人在需要对目标进行跟随的场景中可以采用配合式的跟随算法。比如：基于跟踪目标携带外设设备的跟随算法，在机器人跟随过程中，机器人对跟随目标的定位信息是由跟随目标身上携带的特殊无线发射设备发送的，该类算法一方面实施成本较高，需要借助于跟随目标的独立的无线发射设备、同时也需要机器人具备无线通信接收和发射功能，另一方面，在安防机器人跟随目标人物的场景中，目标人物属于“非配合”式的跟踪目标，不可能携带独立的外设设备。此外，还可以采用基于人体检测、人体跟踪、人体重识别(Re-identification，ReID)的跟随算法，该类跟随算法主要用于服务型机器人中，首先由跟随目标主动唤起跟随服务，然后机器人启用人体检测模块，记住发起跟随服务的跟随目标的表观特征，同时启用人体跟踪、人体ReID算法来保持对人体的跟随，此类算法同样存在需要跟随目标“配合”、“主动”发起跟随服务的问题，在安防场景中，目标人物不会主动来到机器人面前唤醒机器人，进而导致该类算法无法获取跟随目标及对应的特征，也就无法实现对目标人物的跟随。
本申请实施例主要实现的是安防场景下的目标人物跟随方法，其主要特点在于不需要跟随目标的配合，主动发起跟随。该方法基于视觉信息来实现对目标人物的识别和跟踪，进而向机器人发送对应的控制信息，由于安防场景下对目标人物的跟随是非配合式的，加入对目标人物的人脸识别模块，利用在机器人系统中存储已知的目标人物的人脸特征信息，结合人脸识别算法，在识别到目标人物后，由机器人主动发起跟随算法，而不需要目标人物对机器人的唤醒。
如图1所示，本申请实施例中的机器人可以包括：
人体检测模块101，用于在图像中进行人体检测；
人脸识别模块102，用于在人体检测框中进行人脸识别；
人体跟踪模块103，用于在各帧图像中对目标人物进行持续的人体跟踪；
人体重识别模块104，用于计算人体图像之间的相似度，根据相似度重新识别目标人物；
运动控制模块105，用于控制机器人对目标人物进行跟随。
该机器人对目标人物的跟随方法可以包括如图2所示的过程：
步骤S201、获取当前帧图像，并在当前帧图像中进行人体检测。
机器人可以通过内置或外置的摄像装置采集指定区域的图像，在本申请实施例的一种具体实现中，可以每隔一定的间隔时长即采集一帧图像，从而形成图像序列或视频流。采集的图像类型可以根据实际情况进行设置，一般地，该图像应为RGB图像，而在需要进行测距的场景中，一帧图像可以包括RGB图像(记为I)和深度图像(记为D)。
需要注意的是，本申请中所提及的“当前帧图像”，是指机器人当前正在处理的一帧图像，其指代的是一个动态的对象，而非特指某一帧图像，例如，机器人首先处理第一次采集的图像，将其记为图像1，则当前帧图像即为图像1，当机器人处理完图像1之后，继续处理第二次采集的图像，将其记为图像2，则当前帧图像即为图像2，当机器人处理完图像2之后，继续处理第三次采集的图像，将其记为图像3，则当前帧图像即为图像3，…，以此类推。
当机器人获取到当前帧图像之后，可以通过人体检测模块在当前帧图像的图像I中进行人体检测。在本申请实施例中，可以将检测到的所有人体的检测框(Bounding Box，BB)依次记为：p1、p2、…、pn、…、pN，其中，1≤n≤N，N为检测到的人体数目，pn＝[x,y,w,h]，表示第n个人体检测框在图像中的位置和大小，具体地，x和y分别为该人体检测框的中心点在图像中的横坐标和纵坐标，w和h分别为该人体检测框在图像中的宽度和高度。
若在当前帧图像中未检测到人体，即N＝0，则返回执行步骤S201，即重新获取新的当前帧图像，重复以上过程。
若在当前帧图像中检测到人体，即N≥1，则执行步骤S202。
步骤S202、在当前帧图像的各个人体检测框中进行人脸识别。
机器人可以通过人脸识别模块来进行人脸识别，以人体检测框pn为例，将该检测框中的图像记为in，容易理解地，in为I的子图像，即I中的某一部分的图像。人脸识别模块通过预设的人脸识别算法在in中进行人脸识别，将其人脸特征与预先设置的目标人物的人脸特征进行比对，判断其是否为目标人物。
若遍历所有的人体检测框，均未识别到目标人物，则返回执行步骤S201，即重新获取新的当前帧图像，重复以上过程。
若在某一个人体检测框中识别到目标人物，则执行步骤S203。
此处将识别到目标人物的人体检测框记为pt，相应地，该检测框中的图像记为it。
步骤S203、在当前帧图像之后的各帧图像中对所述目标人物进行持续的人体跟踪，并控制机器人对所述目标人物进行跟随。
如图3所示，步骤S203具体可以包括如下步骤：
步骤S301、对人体重识别模块和人体跟踪模块进行初始化。
在人体重识别模块的初始化过程中，可以将it输入到人体重识别模块，提取出目标人物的特征。在人体跟踪模块的初始化过程中，可以将pt设置为跟随目标，将pt和it输入到人体跟踪模块，对人体跟踪算法进行初始化，并设置跟踪次数m＝0。
步骤S302、控制机器人对所述目标人物进行跟随。
在本申请实施例中，可以结合人体检测模块、人体跟踪模块、人体重识别模块得到机器人与目标人物之间的距离以及目标人物在图像中距离图像中心区域的左右偏移度，通过运动控制模块控制机器人向相应的方向旋转或者前进，保持机器人与目标人物之间距离为一个固定的范围，并保持目标人物位于图像的中心区域内。
具体地，可以预先设置距离阈值(记为a)，并在深度图像D中找到目标人物，确定机器人与所述目标人物之间的距离(记为d)。
若d>a，则通过运动控制模块控制机器人以一定的速度向目标人物靠近；
若d≤a，则通过运动控制模块控制机器人保持原地不动。
还可以确定所述目标人物在当前帧图像中的位置，也即pt在I中的位置，判断pt是否在I中预设的中心区域内。
若pt不在I中的中心区域内，则通过运动控制模块控制机器人根据该位置进行方向调整：若pt在I中偏左，则通过运动控制模块控制机器人以一定的速度左转；若pt在I中偏右，则通过运动控制模块控制机器人以一定的速度右转。
若pt在I中的中心区域内，则通过运动控制模块控制机器人不进行方向调整。
步骤S303、获取新的当前帧图像，通过预设的跟踪算法确定所述目标人物在该图像中的位置以及可靠度。
机器人在获取新的一帧图像后，可以将该图像作为新的当前帧图像，并启用人体跟踪模块，通过预设的跟踪算法确定目标人物在该图像中的位置以及可靠度(记为α)。所述跟踪算法可以为现有技术中的任意一种跟踪算法，包括但不限于相关滤波跟踪算法以及基于深度神经网络的跟踪算法。对于相关滤波跟踪算法而言，α是当前跟踪框的最大响应值；对于基于深度神经网络的跟踪算法而言，α是当前跟踪框的置信度。
在本申请实施例中，可以预先设置可靠度阈值(记为αmin)，也即保证当前跟踪可靠的最低可靠度。
若α≥αmin，则说明当前跟踪可靠，执行步骤S304。
若α<αmin，则说明当前跟踪不可靠，记录一次目标暂时跟丢。若将目标暂时跟丢的次数记为L，此处即为：L＝1。在完成目标暂时跟丢的记录后，执行步骤S308。
步骤S304、更新人体跟踪模块。
对人体跟踪模块进行在线更新，将跟踪次数增加一个计数单位，即执行：m＝m+1。
在本申请实施例中，可以预先设置跟踪次数阈值(记为M)，也即保证当前跟踪可靠的最大跟踪次数。
若m≤M，则说明当前跟踪可靠，返回执行步骤S302。
若m>M，则说明当前跟踪可能不可靠，执行步骤S305。
步骤S305、在当前帧图像中进行人体检测。
人体检测的过程可以参见步骤S201中的具体描述，此处不再赘述。
若在当前帧图像中未检测到人体，即N＝0，则说明目标其实已经暂时跟丢，记录一次目标暂时跟丢：L＝1，然后执行步骤S308。
若在当前帧图像中检测到人体，即N≥1，需要进一步确认该人体是否为目标人物，则执行步骤S306。
步骤S306、从当前帧图像的各个人体检测框中选取优选检测框。
具体地，可以分别计算当前帧图像的各个人体检测框(即pn)与当前跟踪框(即pt)之间的交并比(Intersection over Union，IoU)，从中选取IoU最大的人体检测框作为优选检测框。
步骤S307、计算所述优选检测框中的图像与所述跟踪框中的图像之间的相似度。
此处将优选检测框记为ps，相应地，该检测框中的图像记为is。机器人可以通过人体重识别模块中的人体ReID算法，计算得到is与it之间的相似度(记为βs)。
在本申请实施例中，可以预先设置相似度阈值(记为βmin)，也即保证跟踪目标与检测目标为同一目标的最低相似度。
若βs≥βmin，则说明跟踪目标与检测目标为同一目标，将优选检测框确定为新的跟踪框，即进行如下更新：pt＝ps，it＝is，然后返回执行步骤S301。
若βs<βmin，则说明目标其实已经暂时跟丢，记录一次目标暂时跟丢：L＝1，然后执行步骤S308。
步骤S308、获取新的当前帧图像，并在当前帧图像中进行人体检测。
机器人在获取新的一帧图像后，可以将该图像作为新的当前帧图像。人体检测的过程可以参见步骤S201中的具体描述，此处不再赘述。
若在当前帧图像中未检测到人体，即N＝0，则说明目标仍然暂时跟丢，执行步骤S310。
若在当前帧图像中检测到人体，即N≥1，需要进一步确认该人体是否为目标人物，则执行步骤S309。
步骤S309、分别计算当前帧图像的各个人体检测框中的图像与所述跟踪框中的图像之间的相似度。
机器人可以通过人体重识别模块中的人体ReID算法，计算得到in与it之间的相似度(记为βn)。根据相似度计算结果从当前帧图像的各个人体检测框中选取相似检测框，所述相似检测框中的图像与所述跟踪框中的图像之间的相似度最大。此处将相似检测框设置为ps，相应地，该检测框中的图像设置为is，is与it之间的相似度设置为βs。
若βs≥βmin，则说明跟踪目标与检测目标为同一目标，将相似检测框确定为新的跟踪框，即进行如下更新：pt＝ps，it＝is，然后返回执行步骤S301。
若βs<βmin，则说明目标仍然暂时跟丢，执行步骤S310。
步骤S310、将目标暂时跟丢的次数增加一个计数单位。
即执行：L＝L+1。
在本申请实施例中，可以预先设置跟丢次数阈值(记为Lmax)。
若L<Lmax，则说明目标可能只是短暂的被遮挡，继续对其进行寻找，返回执行步骤S308。
若L≥Lmax，则说明目标完全跟丢，结束当前跟随进程，重新返回执行步骤S201。
机器人不断地执行上述的目标人物跟随方法，直至接收到预设的结束指令后，结束整个跟随过程。
综上所述，本申请实施例获取当前帧图像，并在当前帧图像中进行人体检测；若在当前帧图像中检测到人体，则在当前帧图像的各个人体检测框中进行人脸识别；若识别到目标人物，则在当前帧图像之后的各帧图像中对所述目标人物进行持续的人体跟踪，并控制机器人对所述目标人物进行跟随。通过本申请实施例，无需目标人物的配合，即可主动对目标人物进行跟随，可以在安防场景中进行广泛使用。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
图4示出了本申请实施例提供的一种机器人的示意框图，为了便于说明，仅示出了与本申请实施例相关的部分。
如图4所示，该实施例的机器人4包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42。所述处理器40执行所述计算机程序42时实现上述各个目标人物跟随方法实施例中的步骤，例如图2所示的步骤S201至步骤S203。或者，所述处理器40执行所述计算机程序42时实现上述机器人中各模块/单元的功能，例如图1所示模块101至模块105的功能。
示例性的，所述计算机程序42可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器41中，并由所述处理器40执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序42在所述机器人4中的执行过程。
本领域技术人员可以理解，图4仅仅是机器人4的示例，并不构成对机器人4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述机器人4还可以包括输入输出设备、网络接入设备、总线等。
所述处理器40可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述机器人4的内部存储单元，例如机器人4的硬盘或内存。所述存储器41也可以是所述机器人4的外部存储设备，例如所述机器人4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括所述机器人4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述机器人4所需的其它程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/机器人和方法，可以通过其它的方式实现。例如，以上所描述的装置/机器人实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种目标人物跟随方法，其特征在于，包括：
获取当前帧图像，并在当前帧图像中进行人体检测；
若在当前帧图像中检测到人体，则在当前帧图像的各个人体检测框中进行人脸识别；
若识别到目标人物，则在当前帧图像之后的各帧图像中对所述目标人物进行持续的人体跟踪，并控制机器人对所述目标人物进行跟随，包括：获取新的当前帧图像，通过预设的跟踪算法确定所述目标人物在该图像中的位置以及可靠度；若所述可靠度大于或等于所述可靠度阈值，则将预设的跟踪次数增加一个计数单位；若所述跟踪次数大于所述跟踪次数阈值，则在当前帧图像中进行人体检测；若在当前帧图像中检测到人体，则分别计算当前帧图像的各个人体检测框与预设的跟踪框之间的交并比；从当前帧图像的各个人体检测框中选取优选检测框，所述优选检测框为与所述跟踪框之间的交并比最大的人体检测框；计算所述优选检测框中的图像与所述跟踪框中的图像之间的相似度；若所述优选检测框中的图像与所述跟踪框中的图像之间的相似度大于或等于预设的相似度阈值，则将所述优选检测框确定为新的跟踪框。
2.根据权利要求1所述的目标人物跟随方法，其特征在于，还包括：
若所述可靠度小于预设的可靠度阈值，则记录一次目标暂时跟丢。
3.根据权利要求1所述的目标人物跟随方法，其特征在于，还包括：
若所述跟踪次数小于或等于预设的跟踪次数阈值，则返回执行所述获取新的当前帧图像的步骤及其后续步骤。
4.根据权利要求2所述的目标人物跟随方法，其特征在于，在记录一次目标暂时跟丢之后，还包括：
获取新的当前帧图像，并在当前帧图像中进行人体检测；
若在当前帧图像中检测到人体，则分别计算当前帧图像的各个人体检测框中的图像与预设的跟踪框中的图像之间的相似度；
从当前帧图像的各个人体检测框中选取相似检测框，所述相似检测框中的图像与所述跟踪框中的图像之间的相似度最大；
若所述相似检测框中的图像与所述跟踪框中的图像之间的相似度大于或等于预设的相似度阈值，则将所述相似检测框确定为新的跟踪框，并返回执行所述在当前帧图像之后的各帧图像中对所述目标人物进行持续的人体跟踪的步骤及其后续步骤。
5.根据权利要求4所述的目标人物跟随方法，其特征在于，还包括：
若所述相似检测框中的图像与所述跟踪框中的图像之间的相似度小于所述相似度阈值，则将目标暂时跟丢的次数增加一个计数单位；
若目标暂时跟丢的次数大于或等于预设的跟丢次数阈值，则确定目标完全跟丢；
若目标暂时跟丢的次数小于跟丢次数阈值，则返回执行所述获取新的当前帧图像，并在当前帧图像中进行人体检测的步骤及其后续步骤。
6.根据权利要求1至5中任一项所述的目标人物跟随方法，其特征在于，所述控制机器人对所述目标人物进行跟随，包括：
确定所述机器人与所述目标人物之间的距离；
若所述距离大于预设的距离阈值，则控制所述机器人向所述目标人物靠近；
确定所述目标人物在当前帧图像中的位置；
若所述位置不在预设的中心区域内，则控制所述机器人根据所述位置进行方向调整。
7.一种机器人，其特征在于，包括：
人体检测模块，用于在图像中进行人体检测；
人脸识别模块，用于在人体检测框中进行人脸识别；
人体跟踪模块，用于在各帧图像中对目标人物进行持续的人体跟踪，包括：获取新的当前帧图像，通过预设的跟踪算法确定所述目标人物在该图像中的位置以及可靠度；若所述可靠度大于或等于所述可靠度阈值，则将预设的跟踪次数增加一个计数单位；若所述跟踪次数大于所述跟踪次数阈值，则在当前帧图像中进行人体检测；若在当前帧图像中检测到人体，则分别计算当前帧图像的各个人体检测框与预设的跟踪框之间的交并比；从当前帧图像的各个人体检测框中选取优选检测框，所述优选检测框为与所述跟踪框之间的交并比最大的人体检测框；计算所述优选检测框中的图像与所述跟踪框中的图像之间的相似度；若所述优选检测框中的图像与所述跟踪框中的图像之间的相似度大于或等于预设的相似度阈值，则将所述优选检测框确定为新的跟踪框；
人体重识别模块，用于计算人体图像之间的相似度，根据相似度重新识别目标人物；
运动控制模块，用于控制机器人对目标人物进行跟随。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的目标人物跟随方法的步骤。
9.一种机器人，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的目标人物跟随方法的步骤。
CN202010709705.6A 2020-07-22 2020-07-22 一种目标人物跟随方法、计算机可读存储介质及机器人 Active CN112069879B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010709705.6A CN112069879B (zh) 2020-07-22 2020-07-22 一种目标人物跟随方法、计算机可读存储介质及机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010709705.6A CN112069879B (zh) 2020-07-22 2020-07-22 一种目标人物跟随方法、计算机可读存储介质及机器人

Publications (2)

Publication Number Publication Date
CN112069879A CN112069879A (zh) 2020-12-11
CN112069879B true CN112069879B (zh) 2024-06-07

Family

ID=73656473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010709705.6A Active CN112069879B (zh) 2020-07-22 2020-07-22 一种目标人物跟随方法、计算机可读存储介质及机器人

Country Status (1)

Country Link
CN (1) CN112069879B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112788238A (zh) * 2021-01-05 2021-05-11 中国工商银行股份有限公司 用于机器人跟随的控制方法和装置
CN113098089A (zh) * 2021-03-31 2021-07-09 北京云迹科技有限公司 机器人协同的无线充电方法及系统、机器人
CN113192107A (zh) * 2021-05-06 2021-07-30 上海锵玫人工智能科技有限公司 一种目标识别追踪方法及机器人
CN114200934A (zh) * 2021-12-06 2022-03-18 北京云迹科技股份有限公司 机器人目标跟随控制方法、装置、电子设备和存储介质
CN114501115B (zh) * 2022-02-12 2023-07-28 北京蜂巢世纪科技有限公司 针对球场录像的裁剪再加工方法、装置、设备及介质
CN117874289A (zh) * 2024-01-15 2024-04-12 深圳市智云看家科技有限公司 一种摄像头回放查找的方法、缺陷检测装置和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376576A (zh) * 2014-09-04 2015-02-25 华为技术有限公司 一种目标跟踪方法及装置
CN107644204A (zh) * 2017-09-12 2018-01-30 南京凌深信息科技有限公司 一种用于安防系统的人体识别与跟踪方法
WO2018121286A1 (zh) * 2016-12-30 2018-07-05 纳恩博（北京）科技有限公司 目标跟踪方法和装置
CN108304834A (zh) * 2018-02-27 2018-07-20 弗徕威智能机器人科技（上海）有限公司 一种物体跟随方法
CN109446942A (zh) * 2018-10-12 2019-03-08 北京旷视科技有限公司 目标跟踪方法、装置和系统
CN109992008A (zh) * 2017-12-29 2019-07-09 深圳市优必选科技有限公司 一种机器人的目标跟随方法及装置
CN110414447A (zh) * 2019-07-31 2019-11-05 京东方科技集团股份有限公司 行人跟踪方法、装置及设备
CN110853076A (zh) * 2019-11-08 2020-02-28 重庆市亿飞智联科技有限公司 一种目标跟踪方法、装置、设备及存储介质
CN111339855A (zh) * 2020-02-14 2020-06-26 睿魔智能科技（深圳）有限公司 基于视觉的目标跟踪方法、系统、设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376576A (zh) * 2014-09-04 2015-02-25 华为技术有限公司 一种目标跟踪方法及装置
WO2018121286A1 (zh) * 2016-12-30 2018-07-05 纳恩博（北京）科技有限公司 目标跟踪方法和装置
CN108269269A (zh) * 2016-12-30 2018-07-10 纳恩博（北京）科技有限公司 目标跟踪方法和装置
CN107644204A (zh) * 2017-09-12 2018-01-30 南京凌深信息科技有限公司 一种用于安防系统的人体识别与跟踪方法
CN109992008A (zh) * 2017-12-29 2019-07-09 深圳市优必选科技有限公司 一种机器人的目标跟随方法及装置
CN108304834A (zh) * 2018-02-27 2018-07-20 弗徕威智能机器人科技（上海）有限公司 一种物体跟随方法
CN109446942A (zh) * 2018-10-12 2019-03-08 北京旷视科技有限公司 目标跟踪方法、装置和系统
CN110414447A (zh) * 2019-07-31 2019-11-05 京东方科技集团股份有限公司 行人跟踪方法、装置及设备
CN110853076A (zh) * 2019-11-08 2020-02-28 重庆市亿飞智联科技有限公司 一种目标跟踪方法、装置、设备及存储介质
CN111339855A (zh) * 2020-02-14 2020-06-26 睿魔智能科技（深圳）有限公司 基于视觉的目标跟踪方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN112069879A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN112069879B (zh) 一种目标人物跟随方法、计算机可读存储介质及机器人
EP3338248B1 (en) Systems and methods for object tracking
US9111169B2 (en) Method and system of identifying one or more features represented in a plurality of sensor acquired data sets
US20160042223A1 (en) Method and apparatus for facial recognition
CN109948616B (zh) 图像检测方法、装置、电子设备及计算机可读存储介质
JP2006146626A (ja) パターン認識方法および装置
CN111401196A (zh) 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质
CN111928842B (zh) 一种基于单目视觉实现slam定位的方法及相关装置
CN111428644A (zh) 基于深度神经网络的斑马线区域监测方法、系统及介质
CN112949418A (zh) 说话对象的确定方法、装置、电子设备及存储介质
CN111928857A (zh) 一种动态环境中实现slam定位的方法及相关装置
US11861842B2 (en) Information processing method, program, and information processing system
CN117292338B (zh) 基于视频流解析的车辆事故识别和分析方法
Lee et al. A cumulative distribution function of edge direction for road-lane detection
CN116364064A (zh) 一种音频拼接方法、电子设备及存储介质
CN115115530B (zh) 一种图像去模糊的方法、装置、终端设备及介质
US20240221181A1 (en) Image processing system
CN113721240B (zh) 一种目标关联方法、装置、电子设备及存储介质
US20210110218A1 (en) Environment sensing method and device, control method and device, and vehicle
CN114882576A (zh) 人脸识别方法、电子设备、计算机可读介质和程序产品
CN112906495B (zh) 一种目标检测方法、装置、电子设备及存储介质
CN114140822A (zh) 行人重识别方法及装置
CN111814565B (zh) 一种目标检测方法和装置
CN110781710B (zh) 一种目标对象聚类方法及装置
CN113378803A (zh) 一种道路交通事故检测方法、装置、计算机及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant