CN112287846B - 目标人物跟随方法、装置、可移动机器人及可读存储介质 - Google Patents

目标人物跟随方法、装置、可移动机器人及可读存储介质 Download PDF

Info

Publication number
CN112287846B
CN112287846B CN202011194457.2A CN202011194457A CN112287846B CN 112287846 B CN112287846 B CN 112287846B CN 202011194457 A CN202011194457 A CN 202011194457A CN 112287846 B CN112287846 B CN 112287846B
Authority
CN
China
Prior art keywords
person
marked
character
identified
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011194457.2A
Other languages
English (en)
Other versions
CN112287846A (zh
Inventor
胡淑萍
程骏
张惊涛
郭渺辰
王东
顾在旺
庞建新
熊友军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ubtech Technology Co ltd
Original Assignee
Shenzhen Ubtech Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ubtech Technology Co ltd filed Critical Shenzhen Ubtech Technology Co ltd
Priority to CN202011194457.2A priority Critical patent/CN112287846B/zh
Publication of CN112287846A publication Critical patent/CN112287846A/zh
Application granted granted Critical
Publication of CN112287846B publication Critical patent/CN112287846B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种目标人物跟随方法、装置、可移动机器人及可读存储介质，涉及机器人控制技术领域。本申请通过获取待识别场景图像中待识别人物的人体位置信息及人体特征信息，并确定每个已标记人物在待识别场景图像中的预估位置信息，而后基于待识别人物的人体位置信息和人体特征信息，以及已标记人物的预估位置信息和预存人体特征信息，确定各待识别人物与各已标记人物之间的人物匹配结果，进而在经人物匹配结果确定与待识别人物成功匹配的已标记人物中存在目标人物时，按照与目标人物成功匹配的目标待识别人物的人体位置信息控制机器人进行人物跟随，从而提升对目标人物的识别精准度，降低出现跟踪漂移的概率，提升人物跟随准确性。

Description

目标人物跟随方法、装置、可移动机器人及可读存储介质
技术领域
本申请涉及机器人控制技术领域，具体而言，涉及一种目标人物跟随方法、装置、可移动机器人及可读存储介质。
背景技术
随着科学技术的不断发展，机器人技术因具有极大的研究价值及应用价值得到了各行各业的广泛重视，而对安防领域来说，为确保机器人能够协助人类完成安全防护工作，通常需要机器人具备实时识别并跟随出现在安防场所内的敏感人物的能力，以便于机器人及时向控制中心发出敏感人物预警信号。由此，在机器人对目标人物进行跟随的过程中，机器人对目标人物的识别精准度便是影响机器人跟随准确性的重要因素。
目前，主流的机器人跟随方法通常只关注于对敏感人物的跟踪，基本不会利用跟踪环境信息辅助实现人物识别。因此，在跟踪环境变得复杂和/或人流密度变高，出现人群交叉频繁现象的情况时，主流的机器人跟随方法会难以区分真实跟随目标与跟踪环境中的其他物体或人体，非常容易出现跟踪漂移的问题，产生人物跟丢的情况，严重影响人物跟随效果。
发明内容
有鉴于此，本申请的目的在于提供一种目标人物跟随方法、装置、可移动机器人及可读存储介质，能够在人物跟随过程中有效地利用跟踪环境信息，提升对目标人物的识别精准度，降低出现跟踪漂移的概率，提升人物跟随准确性。
为了实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供一种目标人物跟随方法，所述方法包括：
获取待识别场景图像中待识别人物的人体位置信息及人体特征信息；
根据已标记人物的预存运动轨迹参数，确定每个已标记人物在所述待识别场景图像中的预估位置信息；
计算每个待识别人物的人体位置信息与每个已标记人物的预估位置信息之间的运动关联度，并计算每个待识别人物的人体特征信息与每个已标记人物的预存人体特征信息之间的特征相似度；
根据每个待识别人物与每个已标记人物之间的运动关联度及特征相似度，对待识别人物与已标记人物进行人物匹配，得到人物匹配结果；
根据所述人物匹配结果确定与待识别人物成功匹配的已标记人物中是否存在目标人物；
在确定存在所述目标人物的情况下，根据与所述目标人物成功匹配的目标待识别人物的人体位置信息控制机器人进行位置调整，使所述机器人对所述目标人物进行跟随。
在可选的实施方式中，所述根据每个待识别人物与每个已标记人物之间的运动关联度及特征相似度，对待识别人物与已标记人物进行人物匹配，得到人物匹配结果的步骤，包括：
从得到的运动关联度中提取出数值大于或等于预设关联度阈值的待处理关联度，并从得到的特征相似度中提取出数值大于或等于预设相似度阈值的待处理相似度；
根据提取出的待处理关联度及待处理相似度，确定多个待匹配人物组合，其中每个所述待匹配人物组合包括一个待识别人物及一个已标记人物，每个所述待匹配人物组合同时对应一个待处理关联度及一个待处理相似度；
针对每个待匹配人物组合，对该待匹配人物组合所对应的待处理关联度及待处理相似度进行加权求和，得到该待匹配人物组合的匹配偏移度；
根据得到的每个待匹配人物组合的匹配偏移度，采用针对匹配偏移度的最小成本算法遍历所有待识别人物及所有已标记人物进行一对一配对；
将得到的与最小匹配偏移度和值对应的配对结果，作为所述人物匹配结果。
在可选的实施方式中，所述方法还包括：
若所述人物匹配结果中存在已标记人物与待识别人物成功匹配，则针对成功匹配的该已标记人物，采用对应的待识别人物的人体位置信息对该已标记人物的预存运动轨迹参数进行更新，并采用所述待识别人物的人体特征信息对该已标记人物的预存人体特征信息进行更新；
对该已标记人物的跟丢次数进行清零。
在可选的实施方式中，所述方法还包括：
若所述人物匹配结果中存在无法与已标记人物匹配的待识别人物，则将该待识别人物设为一个已标记人物，基于该待识别人物的人体位置信息配置所述已标记人物的预存运动轨迹参数，并采用该待识别人物的人体特征信息作为所述已标记人物的预存人体特征信息；
将该已标记人物的跟丢次数配置为零，并配置该已标记人物的跟丢次数阈值。
在可选的实施方式中，所述方法还包括：
若所述人物匹配结果中存在无法与待识别人物匹配的已标记人物，则将该已标记人物的跟丢次数加一，并判断该已标记人物的跟丢次数是否大于该已标记人物的跟丢次数阈值；
在判定该已标记人物的跟丢次数大于对应跟丢次数阈值的情况下，删除该已标记人物及其相关信息。
第二方面，本申请实施例提供一种目标人物跟随装置，所述装置包括：
人体信息获取模块，用于获取待识别场景图像中待识别人物的人体位置信息及人体特征信息；
位置信息预估模块，用于根据已标记人物的预存运动轨迹参数，确定每个已标记人物在所述待识别场景图像中的预估位置信息；
关联程度计算模块，用于计算每个待识别人物的人体位置信息与每个已标记人物的预估位置信息之间的运动关联度，并计算每个待识别人物的人体特征信息与每个已标记人物的预存人体特征信息之间的特征相似度；
人物对象匹配模块，用于根据每个待识别人物与每个已标记人物之间的运动关联度及特征相似度，对待识别人物与已标记人物进行人物匹配，得到人物匹配结果；
目标人物确认模块，用于确定与待识别人物成功匹配的已标记人物中是否存在目标人物；
位置跟随控制模块，用于在确定存在所述目标人物的情况下，根据与所述目标人物成功匹配的目标待识别人物的人体位置信息控制机器人进行位置调整，使所述机器人对所述目标人物进行跟随。
在可选的实施方式中，所述人物对象匹配模块包括：
待处理信息提取子模块，用于从得到的运动关联度中提取出数值大于或等于预设关联度阈值的待处理关联度，并从得到的特征相似度中提取出数值大于或等于预设相似度阈值的待处理相似度；
待匹配组合确认子模块，用于根据提取出的待处理关联度及待处理相似度，确定多个待匹配人物组合，其中每个所述待匹配人物组合包括一个待识别人物及一个已标记人物，每个所述待匹配人物组合同时对应一个待处理关联度及一个待处理相似度；
匹配偏移度计算子模块，用于针对每个待匹配人物组合，对该待匹配人物组合所对应的待处理关联度及待处理相似度进行加权求和，得到该待匹配人物组合的匹配偏移度；
人物遍历配对子模块，用于根据得到的每个待匹配人物组合的匹配偏移度，采用针对匹配偏移度的最小成本算法遍历所有待识别人物及所有已标记人物进行一对一配对；
匹配结果生成子模块，用于将得到的与最小匹配偏移度和值对应的配对结果，作为所述人物匹配结果。
在可选的实施方式中，所述装置还包括：
人物信息处理模块，用于若所述人物匹配结果中存在已标记人物与待识别人物成功匹配，则针对成功匹配的该已标记人物，采用对应的待识别人物的人体位置信息对该已标记人物的预存运动轨迹参数进行更新，并采用所述待识别人物的人体特征信息对该已标记人物的预存人体特征信息进行更新；
跟丢次数清零模块，用于对该已标记人物的跟丢次数进行清零。
在可选的实施方式中，所述装置还包括跟丢参数配置模块；
所述人物信息处理模块，还用于若所述人物匹配结果中存在无法与已标记人物匹配的待识别人物，则将该待识别人物设为一个已标记人物，基于该待识别人物的人体位置信息配置所述已标记人物的预存运动轨迹参数，并采用该待识别人物的人体特征信息作为所述已标记人物的预存人体特征信息；
所述跟丢参数配置模块，用于将该已标记人物的跟丢次数配置为零，并配置该已标记人物的跟丢次数阈值。
在可选的实施方式中，所述装置还包括：
跟丢次数管理模块，用于若所述人物匹配结果中存在无法与待识别人物匹配的已标记人物，则将该已标记人物的跟丢次数加一，并判断该已标记人物的跟丢次数是否大于该已标记人物的跟丢阈值；
标记人物删除模块，用于在判定该已标记人物的跟丢次数大于对应跟丢次数阈值的情况下，删除该已标记人物及其相关信息。
第三方面，本申请实施例提供一种可移动机器人，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序，实现前述实施方式中任意一项所述的目标人物跟随方法。
第四方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现前述实施方式中任意一项所述的目标人物跟随方法。
本申请实施例的有益效果包括如下内容：
本申请通过获取待识别场景图像中待识别人物的人体位置信息及人体特征信息，并根据已标记人物的预存运动轨迹参数，确定每个已标记人物在待识别场景图像中的预估位置信息，而后确定每个待识别人物的人体位置信息与每个已标记人物的预估位置信息之间的运动关联度，以及每个待识别人物的人体特征信息与每个已标记人物的预存人体特征信息之间的特征相似度，进而根据每个待识别人物与每个已标记人物之间的运动关联度及特征相似度，确定各待识别人物与各已标记人物之间的人物匹配结果，并在基于人物匹配结果确定与待识别人物成功匹配的已标记人物中存在目标人物的情况下，根据与目标人物成功匹配的目标待识别人物的人体位置信息控制机器人进行位置调整，以对目标人物进行跟随，从而将跟踪环境信息应用到人物跟随过程中，通过对跟踪环境信息进行多人物跟踪，并从跟踪环境信息的成功追踪人物中筛查目标人物进行跟随，提升对目标人物的识别精准度，降低出现跟踪漂移的概率，提升人物跟随准确性。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的可移动机器人的组成示意图；
图2为本申请实施例提供的目标人物跟随方法的流程示意图之一；
图3为图2中的步骤S240所包括的子步骤的流程示意图；
图4为本申请实施例提供的目标人物跟随方法的流程示意图之二；
图5为本申请实施例提供的目标人物跟随方法的流程示意图之三；
图6为本申请实施例提供的目标人物跟随方法的流程示意图之四；
图7为本申请实施例提供的目标人物跟随装置的组成示意图之一；
图8为图7中的人物对象匹配模块的组成示意图；
图9为本申请实施例提供的目标人物跟随装置的组成示意图之二。
图标：10-可移动机器人；11-存储器；12-处理器；13-通信单元；14-摄像单元；15-驱动机构；100-目标人物跟随装置；110-人体信息获取模块；120-位置信息预估模块；130-关联程度计算模块；140-人物对象匹配模块；150-目标人物确认模块；160-位置跟随控制模块；141-待处理信息提取子模块；142-待匹配组合确认子模块；143-匹配偏移度计算子模块；144-人物遍历配对子模块；145-匹配结果生成子模块；170-人物信息处理模块；180-跟丢次数清零模块；190-跟丢参数配置模块；191-跟丢次数管理模块；192-标记人物删除模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要理解的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互结合。
请参照图1，图1是本申请实施例提供的可移动机器人10的组成示意图。在本申请实施例中，所述可移动机器人10能够对目标人物进行高精准度地人物识别，并准确地对该目标人物进行跟随，降低出现跟踪漂移的概率。其中，所述目标人物为所述可移动机器人10真实需要跟随的人物，所述目标人物可以为用户选定的某个特定人物，也可以为所述可移动机器人10自行识别出的满足特定要求(比如，特定人脸特征规则、异常行为检测规则、特定姿势检测规则)的人物；所述可移动机器人10可以是，但不限于，仿人机器人、履带机器人、航拍机器人等。
在本实施例中，所述可移动机器人10可以包括存储器11、处理器12、通信单元13、摄像单元14、驱动机构15以及目标人物跟随装置100。其中，所述存储器11、所述处理器12、所述通信单元13、所述摄像单元14及所述驱动机构15各个元件相互之间接或间接地电性连接，以实现数据的传输或交互。例如，所述存储器11、所述处理器12、所述通信单元13、所述摄像单元14及所述驱动机构15这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
在本实施例中，所述存储器11可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，所述存储器11用于存储程序，所述处理器12在接收到执行指令后，可相应地执行所述程序。所述存储器11还可用于存储所述可移动机器人10所需跟随的目标人物的相关信息，所述相关信息可以包括该目标人物的衣着外观信息、人员档案信息及人体外貌信息等，也可以包括目标人物的检测规则，所述检测规则用于检测对应人物是否可以被识别为目标人物。
在本实施例中，所述处理器12可以是一种具有信号的处理能力的集成电路芯片。所述处理器12可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)及网络处理器(Network Processor，NP)中的至少一种。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。
在本实施例中，所述通信单元13用于通过网络建立所述可移动机器人10与其他电子设备之间的通信连接，并通过所述网络收发数据，其中所述网络包括有线通信网络及无线通信网络。例如，所述可移动机器人10通过所述通信单元13向安防控制中心发送自身对目标人物的跟随进度，并接收来自所述安防控制中心的新选定目标人物的相关信息。
在本实施例中，所述摄像单元14包括摄像头，所述可移动机器人10通过所述摄像头对所述可移动机器人10当前所处的人物跟踪环境进行图像采集，以便于所述可移动机器人10基于拍摄到的跟踪环境图像精准地确认出目标人物的真实位置，并对该目标人物进行跟随。
在本实施例中，所述驱动机构15用于调整所述可移动机器人10的移动位置，使所述可移动机器人10得以在确定出目标人物的真实位置时通过所述驱动机构15跟随该目标人物。
在本实施例中，所述目标人物跟随装置100包括至少一个能够以软件或固件的形式存储于所述存储器11中或固化在所述可移动机器人10的操作系统中的软件功能模块。所述处理器12可用于执行所述存储器11存储的可执行模块，例如所述目标人物跟随装置100所包括的软件功能模块及计算机程序等。所述可移动机器人10通过所述目标人物跟随装置100在人物跟随过程中有效地利用所述可移动机器人10所处的跟踪环境信息进行多人物跟踪，并从跟踪环境信息的成功追踪人物中筛查目标人物进行识别跟踪，以提升机器人对目标人物的识别精准度，降低机器人出现跟踪漂移的概率，提升了机器人的人物跟随准确性。
可以理解的是，图1所示的框图仅为所述可移动机器人10的一种组成示意图，所述可移动机器人10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
在本申请中，为确保所述可移动机器人10能够有效地将跟踪环境信息结合到人物跟随过程中进行充分利用，以提升对目标人物的识别精准度以及人物跟随准确性，本申请通过提供应用于上述可移动机器人10的目标人物跟随方法实现上述功能。下面对本申请提供的目标人物跟随方法进行详细描述。
可选地，请参照图2，图2是本申请实施例提供的目标人物跟随方法的流程示意图之一。在本申请实施例中，图2所示的目标人物跟随方法的具体流程和步骤如下文所示。
步骤S210，获取待识别场景图像中待识别人物的人体位置信息及人体特征信息。
在本实施例中，所述可移动机器人10在通过所述摄像单元14获取到用于表示该可移动机器人10当前所处的人物跟踪环境的待识别场景图像后，可通过对所述待识别场景图像进行人体检测，确定所述待识别场景图像中所有人物的人体位置信息，此时所述待识别场景图像中所有人物均为需要被识别的待识别人物。而后，所述可移动机器人10会对所述待识别场景图像中每个待识别人物所对应的图像区域进行人体外观特征提取，得到所述待识别场景图像中每个待识别人物的人体特征信息。在本实施例的一种实施方式中，所述人体位置信息可采用人体检测框的位置信息进行表示，所述人体特征信息可采用Re-ID(Person Re-identification，行人重识别)特征信息进行表示。
步骤S220，根据已标记人物的预存运动轨迹参数，确定每个已标记人物在待识别场景图像中的预估位置信息。
在本实施例中，所述已标记人物为所述可移动机器人10从当前待识别场景图像之前获取到的场景图像中检测出的拟跟踪人物，所述已标记人物的预存运动轨迹参数用于表示对应已标记人物在当前待识别场景图像之前的多帧连续场景图像中的位置移动轨迹状况。在本实施例的一种实施方式中，所述预存运动轨迹参数可采用对应人体的卡尔曼滤波参数或粒子滤波参数，以及用于表示对应人体的预测位置和真实位置的误差的协方差矩阵进行表达。
其中，所述可移动机器人10可针对每个已标记人物构建一个专属的跟踪器，使该跟踪器内包括有该已标记人物的预存运动轨迹参数，以便于所述可移动机器人10在得到当前的待识别场景图像后，通过激活该跟踪器的方式预测该跟踪器所对应的已标记人物在所述待识别场景图像中的预估位置信息。在本实施例的一种实施方式中，所述预估位置信息可采用跟踪器预测框的预测位置信息进行表示。
步骤S230，计算每个待识别人物的人体位置信息与每个已标记人物的预估位置信息之间的运动关联度，并计算每个待识别人物的人体特征信息与每个已标记人物的预存人体特征信息之间的特征相似度。
在本实施例中，所述运动关联度用于表示某个待识别人物与某个已标记人物在所述待识别场景图像中的位置邻近程度。在本实施例的一种实施方式中，所述运动关联度可采用马氏距离进行表达，此时所述运动关联度采用如下公式进行计算：
E(i,j)＝(dj-di)TSi -1(dj-di)
其中，E(i，j)用于表示第j个待识别人物与第i个已标记人物之间的运动关联度，dj用于表示第j个待识别人物的人体位置信息，di用于表示第i个已标记人物的预估位置信息，Si用于表示第i个已标记人物在位置误差方面的协方差矩阵。
而对已标记人物来说，所述预存人体特征信息用于表示对应已标记人物在当前待识别场景图像之前的多帧连续场景图像中的人体特征状况。所述可移动机器人10在针对每个已标记人物构建专属的跟踪器的过程中，也会使该跟踪器内包括有该已标记人物的预存人体特征信息。在本实施例的一种实施方式中，所述特征相似度可通过计算对应待识别人物与对应已标记人物在人体特征信息方面的最小余弦距离的方式求得。
所述可移动机器人10可通过激活每个已标记人物所对应的跟踪器，调用每个已标记人物的预存运动轨迹参数及预存人体特征信息，来计算该已标记人物与每个待识别人物之间的运动关联度及特征相似度。
步骤S240，根据每个待识别人物与每个已标记人物之间的运动关联度及特征相似度，对待识别人物与已标记人物进行人物匹配，得到人物匹配结果。
在本实施例中，当所述可移动机器人10确定出每个已标记人物与当前的每个待识别人物之间的运动关联度及特征相似度后，可通过将运动关联度与特征相似度进行结合的方式，将现有的各已标记人物与当前的各待识别人物进行人物匹配，得到对应的人物匹配结果，此时所述人物匹配结果会相应地记录现有的各已标记人物中有哪些已标记人物与当前的待识别人物成功匹配，现有的各已标记人物中有哪些已标记人物无法与当前的待识别人物匹配，以及当前的各待识别人物中有哪些待识别人物无法与现有的各已标记人物匹配。
步骤S250，根据人物匹配结果确定与待识别人物成功匹配的已标记人物中是否存在目标人物。
在本实施例的一种实施方式中，当所述可移动机器人10得到所述人物匹配结果后，可通过将所述人物匹配结果中与当前的待识别人物成功匹配的各已标记人物的预存人体特征信息，和选定的目标人物的相关信息(包括对应的人体外貌信息、衣着外观信息或前述检测规则等)进行匹配，并将与目标人物的相关信息匹配的已标记人物作为当前的目标人物，以确定所述待识别场景图像中是否存在所述目标人物。
在本实施例的另一种实施方式中，所述可移动机器人10在将某个人物作为一个已标定人物时，可相应地将该已标定人物的预存人体特征信息和目标人物的相关信息进行匹配，并在该已标记人物与目标人物的相关信息匹配或者直接由用户指定该已标记人物为目标人物时，记录当前目标人物即为该已标记人物，以便于所述可移动机器人10得到所述人物匹配结果后，直接通过将所述人物匹配结果中与当前的待识别人物成功匹配的各已标记人物中查找已记录的目标人物的方式，确定所述待识别场景图像中是否存在所述目标人物。其中，若所述可移动机器人10为每个已标记人物所对应的跟踪器分配有一个独属编号，则所述可移动机器人10可通过记录目标人物的跟踪器编号的方式实现目标人物的记录操作，并可通过在与当前的待识别人物成功匹配的各已标记人物的跟踪器编号中查找目标人物的跟踪器编号的方式，确定所述待识别场景图像中是否存在所述目标人物。
下面以一个例子对上述目标人物确定过程进行举例说明，若当前待识别场景图像中存在待识别人物1、待识别人物2、待识别人物3及待识别人物4，所述可移动机器人10记录有的已标记人物a、已标记人物b和已标记人物c，其中仅已标记人物b与待识别人物1成功匹配，以及已标记人物c与待识别人物3成功匹配。此时，可将目标人物的相关信息分别与已标记人物b和已标记人物c进行匹配，或在已标记人物b和已标记人物c各自的追踪器编号中查找目标人物的追踪器编号，以确定当前待识别场景图像中是否存在所述目标人物。
步骤S260，在确定存在目标人物的情况下，根据与目标人物成功匹配的目标待识别人物的人体位置信息控制机器人进行位置调整，使机器人对目标人物进行跟随。
在本实施例中，若所述与当前的待识别人物成功匹配的各已标记人物中存在所述目标人物，则表明所述待识别场景图像中存在所述目标人物，此时所述待识别场景图像中必定存在与所述目标人物对应的目标待识别人物。
下面以一个例子对目标待识别人物确定过程进行举例说明，若当前待识别场景图像中存在待识别人物1、待识别人物2、待识别人物3及待识别人物4，所述可移动机器人10记录有的已标记人物a、已标记人物b和已标记人物c，其中仅已标记人物b与待识别人物1成功匹配，以及已标记人物c与待识别人物3成功匹配。此时，如果目标人物为已标记人物b，那么相应的目标待识别人物即为待识别人物1；如果目标人物为已标记人物a，那么当前待识别场景图像中将不存在目标待识别人物；如果目标人物是某个当前未被认定为已标记人物但可能存在其他场景图像中的人物d，那么当前待识别场景图像中也将不存在目标待识别人物。
当所述可移动机器人10根据所述人物匹配结果确定所述待识别场景图像中存在与所述目标人物成功匹配的所述目标待识别人物时，所述可移动机器人10将按照所述目标待识别人物在所述待识别场景图像中的人体位置信息控制所述驱动机构15调整自身的位置，使所述可移动机器人10对所述目标人物进行跟随。其中，所述可移动机器人10在真实跟随的过程中，也会通过所述摄像单元14采集新的待识别场景图像，而后针对新的待识别场景图像再次执行上述步骤S210～步骤S260，以确保所述可移动机器人10能够持续地对所述目标人物进行跟随。
而当所述可移动机器人10根据所述人物匹配结果确定所述待识别场景图像中并不存在所述目标待识别人物时，所述可移动机器人10将对应调整所述摄像单元14的图像采集范围，并通过所述摄像单元14采集新的待识别场景图像，而后针对新的待识别场景图像再次执行上述步骤S210～步骤S260，以确保所述可移动机器人10能够有机会跟随所述目标人物。
在本实施例的一种实施方式中，当所述可移动机器人10根据所述人物匹配结果确定现有已标记人物中不存在所述目标人物时，表明所述可移动机器人10当前实质已经跟丢所述目标人物，此时所述可移动机器人10可放弃对所述目标人物的跟随作业。
由此，在本申请实施例中，所述可移动机器人10可通过执行上述步骤S210～步骤S260的方式，在人物跟随过程中有效地利用所述可移动机器人10所处的跟踪环境信息进行多人物跟踪，并从跟踪环境信息的成功追踪人物中筛查目标人物进行识别跟踪，以提升机器人对目标人物的识别精准度，降低机器人出现跟踪漂移的概率，提升了机器人的人物跟随准确性。
在本申请中，为确保所述可移动机器人10能够有效地检测出所述待识别场景图像中与现有的已标记人物之间的人物匹配状况，并减小所述可移动机器人10的人物匹配计算量，提升所述可移动机器人10的人物匹配效率，本申请可通过提供图3所示的步骤S20的子步骤流程示意图，实现上述功能。
请参照图3，图3是图2中的步骤S240所包括的子步骤的流程示意图。在本实施例中，所述步骤S240可以包括子步骤S241～子步骤S245。
子步骤S241，从得到的运动关联度中提取出数值大于或等于预设关联度阈值的待处理关联度，并从得到的特征相似度中提取出数值大于或等于预设相似度阈值的待处理相似度。
在本实施例中，所述预设关联度阈值与所述预设相似度阈值均可由机器人开发人员或安防人员根据人物跟随精度需求进行配置。
子步骤S242，根据提取出的待处理关联度及待处理相似度，确定多个待匹配人物组合。
在本实施例中，每个所述待匹配人物组合包括一个待识别人物及一个已标记人物，每个所述待匹配人物组合同时对应一个待处理关联度及一个待处理相似度。也就是说，一个待匹配人物组合所对应的运动关联度需大于或等于预设关联度阈值，且该待匹配人物组合所对应的特征相似度需大于或等于预设相似度阈值。
下面以一个例子对上述组合形成过程进行举例说明，若待识别场景图像中存在待识别人物1、待识别人物2和待识别人物3，所述可移动机器人10记录有的已标记人物a、已标记人物b和已标记人物c。其中，已标记人物a与待识别人物1的运动关联度为7，已标记人物a与待识别人物1的特征相似度为80％；已标记人物b与待识别人物1的运动关联度为8，已标记人物b与待识别人物1的特征相似度为90％；已标记人物c与待识别人物1的运动关联度为4，已标记人物c与待识别人物1的特征相似度为40％；已标记人物a与待识别人物2的运动关联度为2，已标记人物a与待识别人物2的特征相似度为80％；已标记人物b与待识别人物2的运动关联度为3，已标记人物b与待识别人物2的特征相似度为90％；已标记人物c与待识别人物2的运动关联度为4，已标记人物c与待识别人物2的特征相似度为40％；已标记人物a与待识别人物3的运动关联度为4，已标记人物a与待识别人物3的特征相似度为50％；已标记人物b与待识别人物3的运动关联度为3，已标记人物b与待识别人物3的特征相似度为80％；已标记人物c与待识别人物3的运动关联度为4，已标记人物c与待识别人物3的特征相似度为90％。
如果所述预设关联度阈值为4且所述预设相似度阈值为70％，则存在3个待匹配人物组合，这3个待匹配人物组合分别为(已标记人物c，待识别人物3)、(已标记人物a，待识别人物1)及(已标记人物b，待识别人物1)。而如果所述预设关联度阈值为3且所述预设相似度阈值为70％，则存在6个待匹配人物组合，这6个待匹配人物组合分别为(已标记人物c，待识别人物3)、(已标记人物a，待识别人物1)、(已标记人物b，待识别人物1)、(已标记人物c，待识别人物1)、(已标记人物b，待识别人物2)、(已标记人物b，待识别人物3)。
子步骤S243，针对每个待匹配人物组合，对该待匹配人物组合所对应的待处理关联度及待处理相似度进行加权求和，得到该待匹配人物组合的匹配偏移度。
在本实施例中，机器人开发人员或安防人员可预先为待处理关联度及待处理相似度各自分配一个权重，其中待处理关联度的权重与待处理相似度的权重相加为1。
子步骤S244，根据得到的每个待匹配人物组合的匹配偏移度，采用针对匹配偏移度的最小成本算法遍历所有待识别人物及所有已标记人物进行一对一配对。
在本实施例中，所述子步骤S244能够大幅度剔除非必要的待识别人物与已标记人物的人物配对步骤，简化整个人物匹配流程，提升人物匹配效率。其中，所述采用针对匹配偏移度的最小成本算法遍历所有待识别人物及所有已标记人物进行一对一配对的具体实施过程如下：将所有待识别人物及所有已标记人物按照待匹配人物组合进行一对一配对，使每个待识别人物仅与一个已标记人物配对成功，得到符合当前待匹配人物组合的目标配对组合，并计算目标配对组合所对应的匹配偏移度和值，最终输出与最小匹配偏移度和值对应的配对结果。
下面以一个例子对上述配对过程进行举例说明，若待识别场景图像中存在待识别人物1、待识别人物2和待识别人物3，所述可移动机器人10记录有的已标记人物a、已标记人物b和已标记人物c，且存在的待匹配人物组合分别为(已标记人物c，待识别人物1)、(已标记人物a，待识别人物1)、(已标记人物b，待识别人物2)、(已标记人物b，待识别人物3)，其中(已标记人物c，待识别人物1)所对应的匹配偏移度为2，(已标记人物a，待识别人物1)所对应的匹配偏移度为1，(已标记人物b，待识别人物2)所对应的匹配偏移度为1，(已标记人物b，待识别人物3)所对应的匹配偏移度为4。
在此情况下，如果已标记人物c与待识别人物1配对成功，已标记人物b与待识别人物2配对成功，已标记人物a与待识别人物3配对失败，则目标配对组合为(已标记人物c，待识别人物1)及(已标记人物b，待识别人物2)，相应的匹配偏移度和值为2+1＝3。
如果已标记人物a与待识别人物1配对成功，已标记人物b与待识别人物2配对成功，已标记人物c与待识别人物3配对失败，则目标配对组合为(已标记人物a，待识别人物1)及(已标记人物b，待识别人物2)，相应的匹配偏移度和值为1+1＝2。
如果已标记人物c与待识别人物1配对成功，已标记人物b与待识别人物3配对成功，已标记人物a与待识别人物2配对失败，则目标配对组合为(已标记人物c，待识别人物1)及(已标记人物b，待识别人物3)，相应的匹配偏移度和值为2+4＝6。
如果已标记人物a与待识别人物1配对成功，已标记人物b与待识别人物3配对成功，已标记人物c与待识别人物2配对失败，则目标配对组合为(已标记人物c，待识别人物1)及(已标记人物b，待识别人物3)，相应的匹配偏移度和值为1+4＝5。
此时，与最小匹配偏移度和值对应的配对结果即为已标记人物a与待识别人物1配对成功，已标记人物b与待识别人物2配对成功，已标记人物c与待识别人物3配对失败。
子步骤S245，将得到的与最小匹配偏移度和值对应的配对结果，作为人物匹配结果。
在本实施例中，在将与最小匹配偏移度和值对应的配对结果作为所述人物匹配结果后，该配对结果中目标配对组合即可代表对应已标记人物与待识别人物成功匹配。以上述与最小匹配偏移度和值对应的配对结果“已标记人物a与待识别人物1配对成功，已标记人物b与待识别人物2配对成功，已标记人物c与待识别人物3配对失败”作为人物匹配结果进行说明，其中已标记人物a与待识别人物1成功匹配，已标记人物b与待识别人物2成功匹配，待识别场景图像中的待识别人物3与已标记人物a、已标记人物b和已标记人物c均无法匹配，已标记人物c也与待识别人物1和待识别人物2无法匹配。
由此，所述可移动机器人10能够通过执行上述子步骤S241～子步骤S245，在确保自身能够有效地检测出所述待识别场景图像中与现有的已标记人物之间的人物匹配状况的同时，简化人物匹配流程，减小所述可移动机器人10的人物匹配计算量，提升所述可移动机器人10的人物匹配效率。
在本申请中，为确保所述可移动机器人10能够持续地对目标人物进行跟随，需提升所述可移动机器人10当前记录的已标记人物的数据有效性，此时本申请通过提供图4所示的目标人物跟随方法实现上述功能。
请参照图4，图4是本申请实施例提供的目标人物跟随方法的流程示意图之二。在本申请实施例中，图4所示的目标人物跟随方法与图2所示的目标人物跟随方法相比，还可以包括步骤S270及步骤S280。
步骤S270，若人物匹配结果中存在已标记人物与待识别人物成功匹配，则针对成功匹配的该已标记人物，采用对应的待识别人物的人体位置信息对该已标记人物的预存运动轨迹参数进行更新，并采用待识别人物的人体特征信息对该已标记人物的预存人体特征信息进行更新。
在本实施例中，当所述人物匹配结果表明存在与当前待识别场景图像中的待识别人物成功匹配的已标记人物，则可说明成功匹配的该已标记人物在当前待识别场景图像中被追踪成功，此时会以该当前待识别场景图像中对应匹配的待识别人物的人体位置信息对该已标记人物所对应的跟踪器内的预存运动轨迹参数进行更新。同时，也会采用该待识别人物的人体特征信息对该已标记人物所对应的跟踪器内的预存人体特征信息进行更新，以保证该已标记人物的预存运动轨迹参数及预存人体特征信息在下一帧待识别场景图像中是真实有效的。其中，前述更新的方式包括但不限于，数据添加及数据替换等。
步骤S280，对该已标记人物的跟丢次数进行清零。
在本实施例中，针对与当前待识别场景图像中的待识别人物成功匹配的已标记人物而言，其跟丢次数被清零，即可代表该已标记人物在当前待识别场景图像中被成功追踪，该已标记人物可在下一场景图像中参与多人物跟踪过程。
由此，所述可移动机器人10能够通过执行上述步骤S270及步骤S280，确保当前记录的已标记人物具有极强的数据有效性。
在本申请中，为确保所述可移动机器人10能够持续地扩充已标记人物，避免出现人物跟踪不到位的现象，本申请通过提供图5所示的目标人物跟随方法实现上述功能。
请参照图5，图5是本申请实施例提供的目标人物跟随方法的流程示意图之三。在本申请实施例中，图5所示的目标人物跟随方法与图2所示的目标人物跟随方法相比，还可以包括步骤S290及步骤S300。
步骤S290，若人物匹配结果中存在无法与已标记人物匹配的待识别人物，则将该待识别人物设为一个已标记人物，基于该待识别人物的人体位置信息配置已标记人物的预存运动轨迹参数，并采用该待识别人物的人体特征信息作为已标记人物的预存人体特征信息。
在本实施例中，当所述人物匹配结果表明当前待识别场景图像中存在与现有已标记人物无法匹配的待识别人物，则可说明无法被现有已标记人物匹配的该待识别人物属于未记录的人物形象，此时可针对该待识别人物单独创建一个专属跟踪器，以将该待识别人物设为一个新的已标记人物进行记录。而后，在该待识别人物所对应的跟踪器内，采用该待识别人物在当前待识别场景图像中的人体位置信息配置进行预存运动轨迹参数的配置作业，并采用该待识别人物在当前待识别场景图像中的人体特征信息进行预存人体特征信息配置作业，以完成对新的已标记人物的记录操作。
其中，在本实施例的一种实施方式中，在将与现有已标记人物无法匹配的待识别人物设为一个新已标记人物的过程中，可相应地将该待识别人物的人体特征信息与目标人物的相关信息进行匹配，并在该待识别人物与目标人物的相关信息匹配时将该待识别人物作为一个目标人物，或者直接由用户人工地将该待识别人物指定为目标人物。
可以理解的是，当所述可移动机器人10初次启动时，该可移动机器人10未曾创建有任何已标定人物，此时该可移动机器人10当前的已标定人物即为空，该可移动机器人10初次获取到的场景图像中的所有人物均为与现有已标记人物无法匹配的待识别人物，会相应地将该初次获取到的场景图像中的每个人物均设为新的已标记人物。
步骤S300，将该已标记人物的跟丢次数配置为零，并配置该已标记人物的跟丢次数阈值。
在本实施例中，针对新创建的已标记人物而言，其跟丢次数被配置为零，即可代表该已标记人物被成功记录。所述跟丢次数阈值用于表示对应已标定人物在人物跟踪过程中的最大持续跟丢次数。
在本实施例的一种实施方式中，目标人物的跟丢次数阈值与非目标人物的已标定人物的跟丢次数阈值可配置为相同数值。
在本实施例的一种实施方式中，若在创建已标定人物的过程中需要确定具体目标人物，则可将目标人物的跟丢次数阈值配置为大于非目标人物的已标定人物的跟丢次数阈值，以提升目标人物被追踪成功的可能性。
由此，所述可移动机器人10能够通过执行上述步骤S290及步骤S300，持续扩充已标记人物，避免出现人物跟踪不到位的现象。
在本申请中，为确保所述可移动机器人10记录的已标记人物的跟踪时效性，避免出现非必要的人物跟踪作业，本申请通过提供图6所示的目标人物跟随方法实现上述功能。
请参照图6，图6是本申请实施例提供的目标人物跟随方法的流程示意图之四。在本申请实施例中，图6所示的目标人物跟随方法与图2所示的目标人物跟随方法相比，还可以包括步骤S310及步骤S20。
步骤S310，若人物匹配结果中存在无法与待识别人物匹配的已标记人物，则将该已标记人物的跟丢次数加一，并判断该已标记人物的跟丢次数是否大于该已标记人物的跟丢次数阈值。
在本实施例中，当所述人物匹配结果表明现有已标记人物中存在与当前待识别场景图像的待识别人物无法匹配的已标记人物时，则可说明无法被匹配的该已标记人物在当前待识别场景图像中没有被成功追踪，该已标记人物被跟丢，此时会对该已标记人物的跟丢次数加一，并判断该已标记人物的跟丢次数是否大于该已标记人物的跟丢次数阈值。
步骤S320，在判定该已标记人物的跟丢次数大于对应跟丢次数阈值的情况下，删除该已标记人物及其相关信息。
在本实施例中，当判定无法被匹配的该已标记人物的跟丢次数大于对应次数阈值时，即可认定该已标记人物已无跟踪价值，继续对该已标记人物进行跟踪属于非必要行为，此时可相应地通过删除该已标记人物所对应的跟踪器的方式，删除该已标记人物及其相关信息。其中，该已标记人物的相关信息包括该已标记人物的预存运动轨迹参数、预存人体特征信息及跟丢次数。
由此，所述可移动机器人10能够通过执行上述步骤S310及步骤S320，确保所述可移动机器人10记录的已标记人物的跟踪时效性，避免出现非必要的人物跟踪作业。
在本申请中，为确保所述可移动机器人10所包括的目标人物跟随装置100能够正常实施，本申请通过对所述目标人物跟随装置100进行功能模块划分的方式实现其功能。下面对本申请提供的目标人物跟随装置100的具体组成进行相应描述。
可选地，请参照图7，图7是本申请实施例提供的目标人物跟随装置100的组成示意图之一。在本申请实施例中，所述目标人物跟随装置100可以包括人体信息获取模块110、位置信息预估模块120、关联程度计算模块130、人物对象匹配模块140、目标人物确认模块150及位置跟随控制模块160。
人体信息获取模块110，用于获取待识别场景图像中待识别人物的人体位置信息及人体特征信息。
位置信息预估模块120，用于根据已标记人物的预存运动轨迹参数，确定每个已标记人物在所述待识别场景图像中的预估位置信息。
关联程度计算模块130，用于计算每个待识别人物的人体位置信息与每个已标记人物的预估位置信息之间的运动关联度，并计算每个待识别人物的人体特征信息与每个已标记人物的预存人体特征信息之间的特征相似度。
人物对象匹配模块140，用于根据每个待识别人物与每个已标记人物之间的运动关联度及特征相似度，对待识别人物与已标记人物进行人物匹配，得到人物匹配结果。
目标人物确认模块150，用于根据所述人物匹配结果确定与待识别人物成功匹配的已标记人物中是否存在目标人物。
位置跟随控制模块160，用于在确定存在所述目标人物的情况下，根据与所述目标人物成功匹配的目标待识别人物的人体位置信息控制机器人进行位置调整，使所述机器人对所述目标人物进行跟随。
请参照图8，图8是图7中的人物对象匹配模块140的组成示意图。在本实施例中，所述人物对象匹配模块140可以包括待处理信息提取子模块141、待匹配组合确认子模块142、匹配偏移度计算子模块143、人物遍历配对子模块144及匹配结果生成子模块145。
待处理信息提取子模块141，用于从得到的运动关联度中提取出数值大于或等于预设关联度阈值的待处理关联度，并从得到的特征相似度中提取出数值大于或等于预设相似度阈值的待处理相似度。
待匹配组合确认子模块142，用于根据提取出的待处理关联度及待处理相似度，确定多个待匹配人物组合，其中每个所述待匹配人物组合包括一个待识别人物及一个已标记人物，每个所述待匹配人物组合同时对应一个待处理关联度及一个待处理相似度。
匹配偏移度计算子模块143，用于针对每个待匹配人物组合，对该待匹配人物组合所对应的待处理关联度及待处理相似度进行加权求和，得到该待匹配人物组合的匹配偏移度。
人物遍历配对子模块144，用于根据得到的每个待匹配人物组合的匹配偏移度，采用针对匹配偏移度的最小成本算法遍历所有待识别人物及所有已标记人物进行一对一配对。
匹配结果生成子模块145，用于将得到的与最小匹配偏移度和值对应的配对结果，作为所述人物匹配结果。
可选地，请参照图9，图9是本申请实施例提供的目标人物跟随装置100的组成示意图之二。在本申请实施例中，图9所示的目标人物跟随装置100与图7所示的目标人物跟随装置100相比，还可以包括人物信息处理模块170、跟丢次数清零模块180、跟丢参数配置模块190、跟丢次数管理模块191及标记人物删除模块192。
人物信息处理模块170，用于若所述人物匹配结果中存在已标记人物与待识别人物成功匹配，则针对成功匹配的该已标记人物，采用对应的待识别人物的人体位置信息对该已标记人物的预存运动轨迹参数进行更新，并采用所述待识别人物的人体特征信息对该已标记人物的预存人体特征信息进行更新。
跟丢次数清零模块180，用于对该已标记人物的跟丢次数进行清零。
所述人物信息处理模块170，还用于若所述人物匹配结果中存在无法与已标记人物匹配的待识别人物，则将该待识别人物设为一个已标记人物，基于该待识别人物的人体位置信息配置所述已标记人物的预存运动轨迹参数，并采用该待识别人物的人体特征信息作为所述已标记人物的预存人体特征信息。
跟丢参数配置模块190，用于将该已标记人物的跟丢次数配置为零，并配置该已标记人物的跟丢次数阈值。
跟丢次数管理模块191，用于若所述人物匹配结果中存在无法与待识别人物匹配的已标记人物，则将该已标记人物的跟丢次数加一，并判断该已标记人物的跟丢次数是否大于该已标记人物的跟丢次数阈值。
标记人物删除模块192，用于在判定该已标记人物的跟丢次数大于对应跟丢次数阈值的情况下，删除该已标记人物及其相关信息。
需要说明的是，本申请实施例所提供的目标人物跟随装置100，其基本原理及产生的技术效果与前述的目标人物跟随方法相同，为简要描述，本实施例部分未提及之处，可参考上述的针对目标人物跟随方法的描述内容。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，在本申请提供的一种目标人物跟随方法、装置、可移动机器人及可读存储介质中，本申请通过获取待识别场景图像中待识别人物的人体位置信息及人体特征信息，并根据已标记人物的预存运动轨迹参数，确定每个已标记人物在待识别场景图像中的预估位置信息，而后确定每个待识别人物的人体位置信息与每个已标记人物的预估位置信息之间的运动关联度，以及每个待识别人物的人体特征信息与每个已标记人物的预存人体特征信息之间的特征相似度，进而根据每个待识别人物与每个已标记人物之间的运动关联度及特征相似度，确定各待识别人物与各已标记人物之间的人物匹配结果，并在基于人物匹配结果确定与待识别人物成功匹配的已标记人物中存在目标人物的情况下，根据与目标人物成功匹配的目标待识别人物的人体位置信息控制机器人进行位置调整，以对目标人物进行跟随，从而将跟踪环境信息应用到人物跟随过程中，通过对跟踪环境信息进行多人物跟踪，并从跟踪环境信息的成功追踪人物中筛查目标人物进行跟随，提升对目标人物的识别精准度，降低出现跟踪漂移的概率，提升人物跟随准确性。
以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种目标人物跟随方法，其特征在于，所述方法包括：
获取待识别场景图像中待识别人物的人体位置信息及人体特征信息；
根据已标记人物的预存运动轨迹参数，确定每个已标记人物在所述待识别场景图像中的预估位置信息；
计算每个待识别人物的人体位置信息与每个已标记人物的预估位置信息之间的运动关联度，并计算每个待识别人物的人体特征信息与每个已标记人物的预存人体特征信息之间的特征相似度；
根据每个待识别人物与每个已标记人物之间的运动关联度及特征相似度，对待识别人物与已标记人物进行人物匹配，得到人物匹配结果；
根据所述人物匹配结果确定与待识别人物成功匹配的已标记人物中是否存在目标人物，其中所述目标人物为机器人真实需要跟随的人物；
在确定存在所述目标人物的情况下，根据与所述目标人物成功匹配的目标待识别人物的人体位置信息控制机器人进行位置调整，使所述机器人对所述目标人物进行跟随；
其中，所述根据每个待识别人物与每个已标记人物之间的运动关联度及特征相似度，对待识别人物与已标记人物进行人物匹配，得到人物匹配结果的步骤，包括：
从得到的运动关联度中提取出数值大于或等于预设关联度阈值的待处理关联度，并从得到的特征相似度中提取出数值大于或等于预设相似度阈值的待处理相似度；
根据提取出的待处理关联度及待处理相似度，确定多个待匹配人物组合，其中每个所述待匹配人物组合包括一个待识别人物及一个已标记人物，每个所述待匹配人物组合同时对应一个待处理关联度及一个待处理相似度；
针对每个待匹配人物组合，对该待匹配人物组合所对应的待处理关联度及待处理相似度进行加权求和，得到该待匹配人物组合的匹配偏移度；
根据得到的每个待匹配人物组合的匹配偏移度，采用针对匹配偏移度的最小成本算法遍历所有待识别人物及所有已标记人物按照待匹配人物组合进行一对一配对，使每个待识别人物仅与一个已标记人物配对成功，得到符合当前待匹配人物组合的目标配对组合，并计算目标配对组合所对应的匹配偏移度和值，最终输出与最小匹配偏移度和值对应的配对结果；
将得到的与最小匹配偏移度和值对应的配对结果，作为所述人物匹配结果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述人物匹配结果中存在已标记人物与待识别人物成功匹配，则针对成功匹配的该已标记人物，采用对应的待识别人物的人体位置信息对该已标记人物的预存运动轨迹参数进行更新，并采用所述待识别人物的人体特征信息对该已标记人物的预存人体特征信息进行更新；
对该已标记人物的跟丢次数进行清零。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
若所述人物匹配结果中存在无法与已标记人物匹配的待识别人物，则将该待识别人物设为一个已标记人物，基于该待识别人物的人体位置信息配置所述已标记人物的预存运动轨迹参数，并采用该待识别人物的人体特征信息作为所述已标记人物的预存人体特征信息；
将该已标记人物的跟丢次数配置为零，并配置该已标记人物的跟丢次数阈值。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
若所述人物匹配结果中存在无法与待识别人物匹配的已标记人物，则将该已标记人物的跟丢次数加一，并判断该已标记人物的跟丢次数是否大于该已标记人物的跟丢次数阈值；
在判定该已标记人物的跟丢次数大于对应跟丢次数阈值的情况下，删除该已标记人物及其相关信息。
5.一种目标人物跟随装置，其特征在于，所述装置包括：
人体信息获取模块，用于获取待识别场景图像中待识别人物的人体位置信息及人体特征信息；
位置信息预估模块，用于根据已标记人物的预存运动轨迹参数，确定每个已标记人物在所述待识别场景图像中的预估位置信息；
关联程度计算模块，用于计算每个待识别人物的人体位置信息与每个已标记人物的预估位置信息之间的运动关联度，并计算每个待识别人物的人体特征信息与每个已标记人物的预存人体特征信息之间的特征相似度；
人物对象匹配模块，用于根据每个待识别人物与每个已标记人物之间的运动关联度及特征相似度，对待识别人物与已标记人物进行人物匹配，得到人物匹配结果；
目标人物确认模块，用于根据所述人物匹配结果确定与待识别人物成功匹配的已标记人物中是否存在目标人物，其中所述目标人物为机器人真实需要跟随的人物；
位置跟随控制模块，用于在确定存在所述目标人物的情况下，根据与所述目标人物成功匹配的目标待识别人物的人体位置信息控制机器人进行位置调整，使所述机器人对所述目标人物进行跟随；
其中，所述人物对象匹配模块包括：
待处理信息提取子模块，用于从得到的运动关联度中提取出数值大于或等于预设关联度阈值的待处理关联度，并从得到的特征相似度中提取出数值大于或等于预设相似度阈值的待处理相似度；
待匹配组合确认子模块，用于根据提取出的待处理关联度及待处理相似度，确定多个待匹配人物组合，其中每个所述待匹配人物组合包括一个待识别人物及一个已标记人物，每个所述待匹配人物组合同时对应一个待处理关联度及一个待处理相似度；
匹配偏移度计算子模块，用于针对每个待匹配人物组合，对该待匹配人物组合所对应的待处理关联度及待处理相似度进行加权求和，得到该待匹配人物组合的匹配偏移度；
人物遍历配对子模块，用于根据得到的每个待匹配人物组合的匹配偏移度，采用针对匹配偏移度的最小成本算法遍历所有待识别人物及所有已标记人物按照待匹配人物组合进行一对一配对，使每个待识别人物仅与一个已标记人物配对成功，得到符合当前待匹配人物组合的目标配对组合，并计算目标配对组合所对应的匹配偏移度和值，最终输出与最小匹配偏移度和值对应的配对结果；
匹配结果生成子模块，用于将得到的与最小匹配偏移度和值对应的配对结果，作为所述人物匹配结果。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
人物信息处理模块，用于若所述人物匹配结果中存在已标记人物与待识别人物成功匹配，则针对成功匹配的该已标记人物，采用对应的待识别人物的人体位置信息对该已标记人物的预存运动轨迹参数进行更新，并采用所述待识别人物的人体特征信息对该已标记人物的预存人体特征信息进行更新；
跟丢次数清零模块，用于对该已标记人物的跟丢次数进行清零。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括跟丢参数配置模块；
所述人物信息处理模块，还用于若所述人物匹配结果中存在无法与已标记人物匹配的待识别人物，则将该待识别人物设为一个已标记人物，基于该待识别人物的人体位置信息配置所述已标记人物的预存运动轨迹参数，并采用该待识别人物的人体特征信息作为所述已标记人物的预存人体特征信息；
所述跟丢参数配置模块，用于将该已标记人物的跟丢次数配置为零，并配置该已标记人物的跟丢次数阈值。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
跟丢次数管理模块，用于若所述人物匹配结果中存在无法与待识别人物匹配的已标记人物，则将该已标记人物的跟丢次数加一，并判断该已标记人物的跟丢次数是否大于该已标记人物的跟丢次数阈值；
标记人物删除模块，用于在判定该已标记人物的跟丢次数大于对应跟丢次数阈值的情况下，删除该已标记人物及其相关信息。
9.一种可移动机器人，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序，实现权利要求1-4中任意一项所述的目标人物跟随方法。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1-4中任意一项所述的目标人物跟随方法。
CN202011194457.2A 2020-10-30 2020-10-30 目标人物跟随方法、装置、可移动机器人及可读存储介质 Active CN112287846B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011194457.2A CN112287846B (zh) 2020-10-30 2020-10-30 目标人物跟随方法、装置、可移动机器人及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011194457.2A CN112287846B (zh) 2020-10-30 2020-10-30 目标人物跟随方法、装置、可移动机器人及可读存储介质

Publications (2)

Publication Number Publication Date
CN112287846A CN112287846A (zh) 2021-01-29
CN112287846B true CN112287846B (zh) 2024-05-07

Family

ID=74353767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011194457.2A Active CN112287846B (zh) 2020-10-30 2020-10-30 目标人物跟随方法、装置、可移动机器人及可读存储介质

Country Status (1)

Country Link
CN (1) CN112287846B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554683A (zh) * 2021-09-22 2021-10-26 成都考拉悠然科技有限公司 一种基于视频分析和物体检测的特征追踪方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355603A (zh) * 2016-08-29 2017-01-25 深圳市商汤科技有限公司 人体跟踪方法和人体跟踪装置
CN107945215A (zh) * 2017-12-14 2018-04-20 湖南华南光电(集团)有限责任公司 高精度红外图像跟踪器及一种目标快速跟踪方法
CN108986138A (zh) * 2018-05-24 2018-12-11 北京飞搜科技有限公司 目标跟踪方法及设备
CN110110710A (zh) * 2019-06-03 2019-08-09 北京启瞳智能科技有限公司 一种场景异常状态识别方法、系统和智能终端
CN110148154A (zh) * 2019-04-04 2019-08-20 中国石油大学(华东) 一种基于无人机的数据关联行人跟踪算法
CN110705478A (zh) * 2019-09-30 2020-01-17 腾讯科技（深圳）有限公司 人脸跟踪方法、装置、设备及存储介质
CN110850403A (zh) * 2019-11-18 2020-02-28 中国船舶重工集团公司第七0七研究所 一种多传感器决策级融合的智能船水面目标感知识别方法
CN111339855A (zh) * 2020-02-14 2020-06-26 睿魔智能科技（深圳）有限公司 基于视觉的目标跟踪方法、系统、设备及存储介质
CN111626194A (zh) * 2020-05-26 2020-09-04 佛山市南海区广工大数控装备协同创新研究院 一种使用深度关联度量的行人多目标跟踪方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355603A (zh) * 2016-08-29 2017-01-25 深圳市商汤科技有限公司 人体跟踪方法和人体跟踪装置
CN107945215A (zh) * 2017-12-14 2018-04-20 湖南华南光电(集团)有限责任公司 高精度红外图像跟踪器及一种目标快速跟踪方法
CN108986138A (zh) * 2018-05-24 2018-12-11 北京飞搜科技有限公司 目标跟踪方法及设备
CN110148154A (zh) * 2019-04-04 2019-08-20 中国石油大学(华东) 一种基于无人机的数据关联行人跟踪算法
CN110110710A (zh) * 2019-06-03 2019-08-09 北京启瞳智能科技有限公司 一种场景异常状态识别方法、系统和智能终端
CN110705478A (zh) * 2019-09-30 2020-01-17 腾讯科技（深圳）有限公司 人脸跟踪方法、装置、设备及存储介质
CN110850403A (zh) * 2019-11-18 2020-02-28 中国船舶重工集团公司第七0七研究所 一种多传感器决策级融合的智能船水面目标感知识别方法
CN111339855A (zh) * 2020-02-14 2020-06-26 睿魔智能科技（深圳）有限公司 基于视觉的目标跟踪方法、系统、设备及存储介质
CN111626194A (zh) * 2020-05-26 2020-09-04 佛山市南海区广工大数控装备协同创新研究院 一种使用深度关联度量的行人多目标跟踪方法

Also Published As

Publication number Publication date
CN112287846A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN110516556B (zh) 基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质
EP2225727B1 (en) Efficient multi-hypothesis multi-human 3d tracking in crowded scenes
Angelov et al. An approach to automatic real‐time novelty detection, object identification, and tracking in video streams based on recursive density estimation and evolving Takagi–Sugeno fuzzy systems
KR101891887B1 (ko) 실시간 영상을 이용하여 위험 상황을 예측하기 위한 영상 처리 방법, 장치 및 그를 이용하여 위험 상황을 예측하는 방법, 서버
CN110706247B (zh) 一种目标跟踪方法、装置及系统
CN111292352B (zh) 多目标跟踪方法、装置、设备及存储介质
CN109635740B (zh) 视频目标检测方法、装置及图像处理设备
CN112907636B (zh) 多目标跟踪方法、装置、电子设备及可读存储介质
JP2019003299A (ja) 画像認識装置および画像認識方法
Chakravarty et al. Panoramic vision and laser range finder fusion for multiple person tracking
US11948312B2 (en) Object detection/tracking device, method, and program recording medium
CN112633205A (zh) 基于头肩检测的行人追踪方法及装置、电子设备、存储介质
CN113240718A (zh) 多目标识别及跟踪方法、系统、介质和计算设备
CN111104925A (zh) 图像处理方法、装置、存储介质和电子设备
CN112527107A (zh) 手势识别方法、装置、电子设备及存储介质
Bashar et al. Multiple object tracking in recent times: A literature review
CN113112525A (zh) 目标跟踪方法、网络模型及其训练方法、设备和介质
CN112287846B (zh) 目标人物跟随方法、装置、可移动机器人及可读存储介质
CN111899285A (zh) 目标对象的跟踪轨迹的确定方法和装置、存储介质
CN115984320A (zh) 基于长短期运动预测和有序数据关联的多目标跟踪方法
CN115035158A (zh) 目标跟踪的方法及装置、电子设备和存储介质
JP2010238008A (ja) 映像特徴抽出装置、及びプログラム
CN112561954B (zh) 目标对象跟踪轨迹的确定方法和装置、存储介质
CN112585944A (zh) 跟随方法、可移动平台、装置和存储介质
US20230131717A1 (en) Search processing device, search processing method, and computer program product

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant