CN106548151B - 面向智能机器人的目标物检测追踪识别方法和系统 - Google Patents

面向智能机器人的目标物检测追踪识别方法和系统 Download PDF

Info

Publication number
CN106548151B
CN106548151B CN201610953575.4A CN201610953575A CN106548151B CN 106548151 B CN106548151 B CN 106548151B CN 201610953575 A CN201610953575 A CN 201610953575A CN 106548151 B CN106548151 B CN 106548151B
Authority
CN
China
Prior art keywords
tracking
picture
current image
location information
identity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610953575.4A
Other languages
English (en)
Other versions
CN106548151A (zh
Inventor
陆羽皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Guangnian Wuxian Technology Co Ltd
Original Assignee
Beijing Guangnian Wuxian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Guangnian Wuxian Technology Co Ltd filed Critical Beijing Guangnian Wuxian Technology Co Ltd
Priority to CN201610953575.4A priority Critical patent/CN106548151B/zh
Publication of CN106548151A publication Critical patent/CN106548151A/zh
Application granted granted Critical
Publication of CN106548151B publication Critical patent/CN106548151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种面向智能机器人的目标物检测追踪识别方法，其包括以下步骤：获取多模态输入信息中的图片信息，检测存在待追踪目标物时，对目标物进行追踪，并生成目标物位置信息和目标物追踪编号，令目标物追踪编号对应目标物身份标记，身份标记为未知；基于目标物位置信息对输入图片中的目标物进行矫正操作；针对矫正后的目标物图片对目标物进行识别；保留识别结果直到输入图片中不存在目标物为止，并使用识别结果更新目标物追踪编号对应的身份标记。通过在人脸跟踪检测过程中保留之前的识别结果，可以有效地缩短人脸识别时间，从而使得智能机器人在与人的交互过程中能够很好地与用户持续交互，同时保证头部始终朝向人脸的位置。

Description

面向智能机器人的目标物检测追踪识别方法和系统
技术领域
本发明涉及智能机器人领域，具体地说，涉及一种面向智能机器人的目标物检测追踪识别方法和系统。
背景技术
智能机器人通常需要与用户进行交互，通过交互来满足用户的需求。在与用户的交互过程中，人脸的追踪识别至关重要，智能机器人的头部需要保持朝向人脸的位置，才能很好的实现与该用户的持续交互。
智能机器人进行人脸追踪识别时，通常需要对已识别的人脸进行重复识别。然而，由于人脸识别过程耗时较长，会导致对用户的位置信息不能实现连续的掌握。
综上，需要提供一种能够加快识别过程的目标物检测追踪识别三相混合方法。
发明内容
本发明的目的在于提供一种面向智能机器人的目标物检测追踪识别方法来解决上述技术问题。该方法包括以下步骤：
目标物位置信息获取步骤，获取多模态输入信息中的图片信息，检测存在待追踪目标物时，对所述目标物进行追踪，并生成目标物位置信息和目标物追踪编号，令所述目标物追踪编号对应所述目标物身份标记，所述身份标记为未知；
图片矫正步骤，基于目标物位置信息对输入图片中的目标物进行矫正操作；
身份识别步骤，针对矫正后的目标物图片对目标物进行识别，
身份更新步骤，保留识别结果直到输入图片中不存在目标物为止，并使用所述识别结果更新所述目标物追踪编号对应的身份标记。
根据本发明的面向智能机器人的目标物检测追踪识别方法，优选的是，所述方法的追踪线程和检测线程具体包括：
第一追踪步骤，接收含有目标物的当前图片，根据所述当前图片以及先前图片上的目标物位置来更新目标物在当前图片上的第一位置信息，将更新的第一位置信息保存在第一追踪器中，并输出选框序列；
检测步骤，复制所接收的含有目标物的当前图片，基于检测算法来检测目标物在所述当前图片中的第二位置信息并对当前图片进行目标物矫正；
第二追踪步骤，基于当前图片之前和之后所接收的图片以及所述第二位置信息进行目标物位置的追踪，得到当前时间点上接收的图片上的目标物的精确位置信息，将所述精确位置信息和与所述精确位置信息对应的目标物追踪编号保存在第二追踪器中。
根据本发明的面向智能机器人的目标物识别方法，优选的是，所述方法还包括在对身份未知的目标物进行识别之前的以下步骤：
基于检测线程处理中获得的当前图片中的目标物的位置对第二追踪器中保存的待识别的目标物进行匹配和修正，得到待识别的目标物编号队列和位置队列，其中，所述队列按照识别所花费的时间长度和目标物清晰度的加权得分进行排列。
根据本发明的面向智能机器人的目标物检测追踪识别方法，优选的是，从待识别的目标物编号队列中获取加权得分值最高的目标物位置。
根据本发明的面向智能机器人的目标物识别方法，优选的是，在检测线程中，用修正过目标物位置和身份信息的第二追踪器替换追踪线程中使用的第一追踪器。
根据本发明的另一个方面，还提供了一种面向智能机器人的目标物检测追踪识别系统。所述系统包括以下单元：
目标物位置信息获取单元，其用以获取多模态输入信息中的图片信息，检测存在待追踪目标物时，对所述目标物进行追踪，并生成目标物位置信息和目标物追踪编号，令所述目标物追踪编号对应所述目标物身份标记，所述身份标记为未知；
图片矫正单元，其用以基于目标物位置信息对输入图片中的目标物进行矫正操作；
身份识别单元，其用以针对矫正后的目标物图片对目标物进行识别，
身份更新单元，其用以保留识别结果直到输入图片中不存在目标物为止，并使用所述识别结果更新所述目标物追踪编号对应的身份标记。
根据本发明的面向智能机器人的目标物检测追踪识别系统，优选的是，所述系统还包括：
第一追踪单元，其用以接收含有目标物的当前图片，根据所述当前图片以及先前图片上的目标物位置来更新目标物在当前图片上的第一位置信息，将更新的第一位置信息保存在第一追踪器中，并输出选框序列；
检测单元，其用以复制所接收的含有目标物的当前图片，基于检测算法来检测目标物在所述当前图片中的第二位置信息并对当前图片进行目标物矫正；
第二追踪单元，其用以基于当前图片之前和之后所接收的图片以及所述第二位置信息进行目标物位置的追踪，得到当前时间点上接收的图片上的目标物的精确位置信息，将所述精确位置信息和与所述精确位置信息对应的目标物追踪编号保存在第二追踪器中。
根据本发明的面向智能机器人的目标物检测追踪识别系统，优选的是，所述系统还包括：
匹配修正单元，其用以基于检测线程处理中获得的当前图片中的目标物的位置对第二追踪器中保存的待识别的目标物进行匹配和修正，得到待识别的目标物编号队列和位置队列，其中，所述队列按照识别所花费的时间长度和目标物清晰度的加权得分进行排列。
根据本发明的面向智能机器人的目标物检测追踪识别系统，优选的是，在检测线程中，用修正过目标物位置和身份信息的第二追踪器替换追踪线程中使用的第一追踪器。
根据本发明的面向智能机器人的目标物检测追踪识别系统，优选的是，从待识别的目标物编号队列中获取加权得分值最高的目标物位置。
本发明的有益之处在于，通过在人脸跟踪检测过程中保留之前的识别结果，可以有效地缩短人脸识别时间，从而使得智能机器人在与人的交互过程中能够很好地与用户持续交互，同时保证头部始终朝向人脸的位置。此外，在追踪过程中，时刻追踪人脸所属的位置和身份。只要某人不超出视野范围，其识别结果就会一直保留，避免重复的身份识别，节约系统资源。并保证了机器人与人交互时，对人的身份恒常性和位置变化有连续的掌握。机器人在另一线程中对身份未知的人脸进行识别，并对追踪过程中的人脸信息做动态更新。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：
图1为根据本发明的一个实施例进行目标物追踪检测识别的方法流程图；
图2为根据本发明的一个实施例进行目标物追踪检测识别的更详细的方法流程图；
图3为根据本发明的一个实施例进行目标物追踪检测的优选方法流程图；
图4为根据本发明的一个实施例进行目标物追踪检测识别的追踪线程、检测线程以及识别线程的方法流程图；
图5显示了根据本发明一个实施例进行反向和前向追踪时对人脸身份进行识别和身份标记更新的过程示意图；以及
图6显示了根据本发明一个实施例的目标物追踪检测识别系统的框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明实施例作进一步地详细说明。
为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明实施例作进一步地详细说明。以下例子中，将以人脸为目标物体来进行本发明原理的说明。本领域的技术人员应该知晓，该实施例仅为说明目的，不用作对本发明的限制。
根据本发明的智能机器人目标物追踪检测系统，目标物主要为人脸。一般地，该系统主要包括人脸检测和人脸跟踪两个部分。当系统启动后，首先运行检测模块，对输入的第一帧静态图像进行人脸检测，定位人脸后，向跟踪模块发出锁定信号。跟踪模块根据锁定的人脸提取参考特征，开始进行人脸跟踪。如果跟踪失锁，则向检测模块发出失锁信号，重新启动人脸检测。在摄像机随动系统的跟踪过程中，摄像机控制模块根据人脸信息(位置、尺寸)动态调整摄像机姿态。在本发明的目标物追踪检测识别系统中，优选地还增加了人脸识别部分。
如图1所示，其中显示了根据本发明的一个实施例进行目标物追踪检测识别的方法流程图。方法开始于步骤S101。接下来，在步骤S102即目标物位置信息获取步骤中，获取多模态输入信息中的图片信息。在检测存在待追踪目标物时，对目标物进行追踪，并生成目标物位置信息和目标物追踪编号，令目标物追踪编号对应目标物身份标记，身份标记为未知。
接下来，方法流程进行到步骤S103即图片矫正步骤。在该步骤中，系统基于目标物位置信息对输入图片中的目标物进行矫正操作。
矫正操作一般指的是，首先根据人脸位置在原始图片上分割出人脸图片来，并做旋转缩放，便得到矫正后的人脸。
接下来，如图1所示方法进行到步骤S104，身份识别步骤。在该步骤中，针对矫正后的目标物图片对目标物进行识别。识别的过程包括从矫正后的图片中提取人脸身份特征，然后在数据库中查找与目标物如人脸身份特征所对应的人脸身份标记(比如姓名)。
最后，进入到身份更新步骤S105。在该步骤中，保留识别结果直到输入图片中不存在目标物为止，并使用识别出的结果来更新目标物追踪编号对应的身份标记。
优选的是，根据本发明的一个实施例，还标记了人脸的瞬时运动速度，并推算图片质量。人脸的瞬时运动速度即人脸与机器人摄像头的瞬时相对位移，和人脸部位图像的动态模糊程度有关。此数值和人脸身份识别的准确率高度相关。获取此数值能对模糊图片进行过滤并提升人脸识别的准确率。
如前所述，人脸识别一般耗时较长。现有技术采用卷积神经网络来提取人脸身份特征，访问数据库进行身份特征匹配或检索两个步骤等一般耗时均在1000ms或以上，导致机器人每1000ms才能获取一次视野中某个人脸的身份。并在1000ms的间隔间，机器人对人脸身份处于无知状态。此外，由于计算资源有限，可能会导致对视野中某个身份已知的人进行反复的人脸识别，而无法获知视野中其他人的身份。
因此，根据本发明，在实时获取人脸身份时，将身份标识与该人脸的目标物追踪编号相关联，从而在对该人脸进行追踪过程中，可以直接根据目标物追踪编号来获取该人脸的身份标识，不需要重复进行身份识别，而对于检测跟踪获得的图片中出现的人脸没有身份标记对应时，才进行身份识别，并对追踪器进行更新。
由于在智能机器人与人交互时，需要保证人脸位置的连续性，因此智能机器人的头部需要朝向人脸位置转动。在此过程中，人脸位置信息的更新速度至关重要。然而一些对目标物体(包括人脸、人体等)的检测算法精度较高，但延时较大。导致目标物体在摄像头视野内横向或纵向快速运动时，目标物体选框并不能反映目标物体当前的准确位置。而目标物体当前的准确位置对于机器人的目标物体追踪和人机交互至关重要。
为了解决这一延迟问题，我们在目标物体检测的间隔中，增加了目标物体追踪机制，使目标物体追踪的延迟缩小到20ms以下。并且身份识别后的结果将持续跟随追踪框。
因此，根据本发明的一个优选实施例，还提供了一种对跟踪处理进行优化的方法。如图2所示，在第一追踪步骤S201中，接收含有目标物的当前图片，并根据当前图片以及先前图片上的目标物位置来更新目标物在当前图片上的第一位置信息，将更新的第一位置信息保存在第一追踪器中，并输出选框序列。
在步骤S202的检测线程中，复制所接收的含有目标物的当前图片，基于检测算法来检测目标物在所述当前图片中的第二位置信息并对当前图片进行目标物矫正。
接下来，在第二追踪步骤S203中，其用以基于当前图片之前和之后所接收的图片以及第二位置信息进行目标物位置的追踪，得到当前时间点上接收的图片上的目标物的精确位置信息，将精确位置信息和与精确位置信息对应的目标物追踪编号保存在第二追踪器中。其中，保存在第二追踪器中的目标物追踪编号用于识别线程中的身份识别
根据本发明的优选实施例，第一追踪步骤为反向追踪步骤，如图4所示。在反向追踪步骤中，基于当前图片前一张已检测的图片中的目标物的位置并通过追踪算法对当前图片与所述前一张已检测的图片之间的未检测图片进行追踪，以获得未检测图片的目标物对应的位置信息。
而第二追踪步骤S203具体为前向追踪步骤。在该步骤中，输出反向追踪得到的当前图片前一张图片的目标物对应的位置信息和边界，并基于当前图片前一张图片的目标物对应的位置信息和边界对当前图片之后接收的图片进行追踪，以获取之后接收的图片中目标物对应的位置信息和边界并输出，直至根据当前图片的检测结果追踪到最新接收到的图片中目标物对应的位置信息和边界。
如果所追踪的人脸在视场范围内有快速运动情况时，常规的跟踪方法往往由于检测时间过长而使得追踪不上当前输入的图片内容。在根据本发明的一个示例中，如图3所示，其中显示了一种面向机器人的目标追踪检测方法。该方法开始于步骤S301。
需要说明的是，在目标物体跟踪检测过程中，图片例如为RGB图片连续地以一定时间间隔Ti输入到系统中，并保存在特定的存储空间，等待处理。由于检测算法相较于跟踪算法复杂，且耗费时间，因此检测的过程并不是针对所有输入的图片进行的。在本发明中，检测图片中包含的目标物期间，将停止接收新图片。也就是说，针对检测处理过程，根据检测所花费的时间Td和图片输入间隔Ti可以得到两张检测图片之间所漏过检测的图片数量，K1＝Td/Ti。这K1张图片仅保存在图片队列中，而不进入检测处理。
接下来，在步骤S302中，对当前图片In进行检测，以得到当前图片In中目标物例如人脸对应的位置信息和边界。其中，n为图片的编号序列，图片In输入的时间点为tn。检测所花费的时间Td与所选择的算法有关。根据本发明，在检测过程的Td或更长的时间窗内，检测系统停止接收新图片。请注意，这里仅针对检测过程而言，并不影响前述输入到跟踪处理过程中的图片接收。
如果在检测过程中，检测的结果发现图片中并没有目标物体，则将后面的反向追踪过程和前向追踪过程关闭，并令输出过程输出空的值，从而结束处理。接着，在步骤S303中，在检测当前图片In的期间或者之前，对当前图片之前的未检测图片(K1张图片，因关闭接收新图片而导致漏检的图片)进行目标物反向跟踪处理，其中，基于当前图片前一张已检测的图片In-k1中的目标物的位置并通过追踪算法遍历当前图片之前的所有K1张未检测图片，以获得这K1张未检测图片的目标物对应的位置信息。
具体说，每当检测过程在时间点tn上时，便会返回一次当前图片之前所检测的图片In-k1的目标物位置信息Pd_n-k1。利用该位置信息可以对上述K1张图片进行反向追踪处理。例如，令Pb_n-k1＝Pd_n-k1，并用追踪算法依次遍历图片队列中的所有图片，从而依次得到每张图片中目标物对应的位置信息Pb。根据本发明，优选的是，将已进行反向追踪处理的图片从图片队列中进行物理删除，从而为后续的图片进入做好准备。
接下来，在步骤S304中，在当前图片的检测期间或者在开始启动检测当前图片之前，输出反向追踪得到的当前图片前一张图片的目标物对应的位置信息和边界，并基于反向追踪得到的当前图片In前一张图片In-1的目标物位置对当前图片In之后的各个图片(K2张，In+1，……In+K2)进行前向跟踪处理，依次得到对应于当前图片In之后输入的各个图片(In+1，……In+K2)的目标物位置信息和边界选框，直到当前图片的检测过程结束为止。在本发明的一个实施例中，结束前向跟踪处理的条件可以设为直至根据当前图片的检测结果追踪到最新接收到的图片中目标物对应的位置信息和边界为止。
如图3所示，接下来，在步骤S305中，输出目标物位置信息和边界选框。在本发明这种情况下，虽然K1张图片并未进行检测，而且在检测期间又另外输入了K2张图片，但是由于采用了对当前图片之前的K1张图片进行反向跟踪以及对当前图片之后的K2图片进行前向跟踪，因此能够保证所得到的位置信息和选框比较真实地反映目标物体最新的运动信息。
在追踪算法的选择上，对meanshift,KCF,TLD,lukas-kanade光流等算法进行了对比。最终选定lukas-kanade光流作为追踪算法。它具有资源消耗少，抗位移效果极强等特点，并且能够判断物体表面运动向量，并能辅助预测图像模糊程度。当然，追踪算法的选择仅是本发明的优选实施例，而不是作为本发明范围的限制。在跟踪算法的选择上，本发明并未对其设有限制。此外，为了进一步访问方便，本发明在图片队列中排队的图片是用指针或路径表示的。
本发明具体地实现可参照图4来进行。如图4所示，其中显示了根据本发明的原理进行检测追踪识别三维混合算法的流程图。
该方法主要分别通过三个线程来完成：追踪线程、检测线程以及识别线程。
在追踪线程中，首先接收所输入的原始图片。对原始图片进行适当地尺寸缩放后，生成追踪用图片，并保存到图片库中。接下来，通过第一追踪器1进行人脸的位置追踪。该线程的输出是一个或多个人脸在原始图片上的位置序列和身份序列。优选的是，在一种情况下，还包括清晰度序列。
在追踪线程的内部处理过程中，如果发现检测线程空闲，便会触发一次人脸检测，从而激活检测线程进行处理。
在追踪线程中，系统根据输入的图片以及与此输入图片一个时间间隔以前的上一张输入图片上的所有人脸位置，来更新所有人脸在此图片上的位置，并输出人脸选框序列。如图3的流程图所描述的方法那样，采用反向跟踪与前向跟踪结合得到当前追踪到的人脸位置。
当检测线程被激活后，接收或者拷贝在追踪线程中输入的原始图片。优选地是，系统对该原始图片进行调整，例如将尺寸进行缩小，使得便于进行检测。采用人脸检测算法对该图片进行检测，看是否存在人脸这一身份特征。在中等延迟后(如300ms)得到图片上所有人脸的位置。
接下来，用修正过人脸位置和身份的第二追踪器2来替换追踪线程中的第一追踪器1中的人脸位置和身份序列。
具体地是，用人脸检测线程中得到的高精度位置，对第二追踪器2内部的所有人脸位置进行匹配(如匈牙利算法)和修正，并得到待识别的人脸编号队列及位置队列，队列按等待识别的时间长短及清晰度加权综合得分降序排列。注意此时第二追踪器2内部的所有人脸位置相较真实时间中的人脸位置有一定延迟。
此时，如图4所示，如果身份识别线程空闲，则从待识别的人脸编号队列中读取综合得分最高的人脸位置，并从原始图片上进行人脸分割，并提取人脸关键点特征进行旋转、缩放，得到矫正后的人脸。然后，将矫正后的人脸和其对应的目标物追踪编号一起提交给识别线程。
读取图片库中最底层的一张追踪用图片将其在图片库中移除，然后采用第二追踪器2对其进行追踪，更新第二追踪器2内部的所有人脸位置。
如果此时图片库中仍有图片，则重复上述步骤：即“读取图片库中最底层的一张追踪用图片将其在图片库中移除，然后采用第二追踪器2对其进行追踪，更新第二追踪器2内部的所有人脸位置”，直到图片库中无剩余图片。此时，第二追踪器2内部的人脸位置即为真实时间中的人脸位置。
如图4所示，在等待第一追踪器1空闲时，暂停追踪线程。删除第一追踪器1，同时复制第二追踪器2，并将第二追踪器2的复制品重命名为追踪器1，继续进行追踪线程的处理。
在识别线程中，获取矫正后的人脸图片，该人脸图片通过在原始图片上分割、旋转、缩放后获得。此外，还将第二追踪器2中的目标物追踪编号输入到识别线程中。
通过采用特征提取算法，将人脸图片中的人脸特征进行提取。随后，进行人脸身份的查询，在数据库中查找人脸身份特征所对应的人脸身份标记(如姓名)。
最后，用识别出的身份标记来将第二追踪器2中的人脸追踪编号对应的身份信息进行更新。
如图5所示，其中显示了根据本发明一个实施例进行反向和前向追踪时对人脸身份进行识别和身份标记更新的过程示意图。
图中，带数字的方块表示图片，编号为时间，而方块1代表时间1的输入图片。
如图所示，P1d,P6d分别为根据第1张和第6张图片得到的人脸检测位置信息。P1b,P5b是分别在时间4和时间5时第二追踪器2内部的人脸追踪位置信息。其中，第二追踪器为反向追踪器，P1b是由P1d矫正的，对应第1张图片的人脸位置，P5b是遍历追踪删除了图片库中1-5号图片得到的时间5对应的人脸位置。
P6b和P10b与P1b和P5b同理。即，P6b是时间9和时间10时第二追踪器2内部的人脸追踪位置信息，P10b是遍历追踪删除了图片库中6-10号图片得到的时间10对应的人脸位置。
如图4所示，N1为在身份识别线程中采用检测结果和反向追踪的结果进行身份识别的结果。
P5f和P6f是由第一追踪器1分别在时间5和时间6，分别通过图片5和图片6更新的人脸位置，分别与时间5和时间6的人脸位置对应。P7f，P8f，P9f，P10f以此类推。其中，第一追踪器1为前向追踪器。
身份识别线程识别出N1后，用N1替换追踪线程中的目标物追踪编号对应的身份信息，即此时该人脸的追踪线程中，目标物追踪编号对应的身份信息不再是未知，而是N1，那么在追踪线程后续追踪到该人脸时，系统不需要再去进行身份识别，即可知道该人脸对应的身份。
由于本发明的方法描述的是在计算机系统中实现的。该计算机系统例如可以设置在机器人的控制核心处理器中。例如，本文所述的方法可以实现为能以控制逻辑来执行的软件，其由机器人控制系统中的CPU来执行。本文所述的功能可以实现为存储在非暂时性有形计算机可读介质中的程序指令集合。当以这种方式实现时，该计算机程序包括一组指令，当该组指令由计算机运行时其促使计算机执行能实施上述功能的方法。可编程逻辑可以暂时或永久地安装在非暂时性有形计算机可读介质中，例如只读存储器芯片、计算机存储器、磁盘或其他存储介质。除了以软件来实现之外，本文所述的逻辑可利用分立部件、集成电路、与可编程逻辑设备(诸如，现场可编程门阵列(FPGA)或微处理器)结合使用的可编程逻辑，或者包括它们任意组合的任何其他设备来体现。所有此类实施例旨在落入本发明的范围之内。
因此，根据本发明的另一个方面，还提供了一种种面向智能机器人的目标物检测追踪识别系统600。如图6所示，该系统600包括以下单元：
目标物位置信息获取单元601，其用以获取多模态输入信息中的图片信息，检测存在待追踪目标物时，对所述目标物进行追踪，并生成目标物位置信息和目标物追踪编号，令所述目标物追踪编号对应所述目标物身份标记，所述身份标记为未知；
图片矫正单元602，其用以基于目标物位置信息对输入图片中的目标物进行矫正操作；
身份识别单元603，其用以针对矫正后的目标物图片对目标物进行识别，
身份更新单元604，其用以保留识别结果直到输入图片中不存在目标物为止，并使用所述识别结果更新所述目标物追踪编号对应的身份标记。
根据本发明的面向智能机器人的目标物检测追踪识别系统，优选的是，所述系统还包括：
第一追踪单元，其用以接收含有目标物的当前图片，根据所述当前图片以及先前图片上的目标物位置来更新目标物在当前图片上的第一位置信息，将更新的第一位置信息保存在第一追踪器中，并输出选框序列；
检测单元，其用以复制所接收的含有目标物的当前图片，基于检测算法来检测目标物在所述当前图片中的第二位置信息并对当前图片进行目标物矫正；
第二追踪单元，其用以基于当前图片之前和之后所接收的图片以及所述第二位置信息进行目标物位置的追踪，得到当前时间点上接收的图片上的目标物的精确位置信息，将所述精确位置信息和与所述精确位置信息对应的目标物追踪编号保存在第二追踪器中。
根据本发明的面向智能机器人的目标物检测追踪识别三相混合系统，优选的是，所述系统还包括：
匹配修正单元，其用以基于检测线程处理中获得的当前图片中的目标物的位置对第二追踪器中保存的待识别的目标物进行匹配和修正，得到待识别的目标物编号队列和位置队列，其中，所述队列按照识别所花费的时间长度和目标物清晰度的加权得分进行排列。
根据本发明的面向智能机器人的目标物检测追踪识别三相混合系统，优选的是，在检测线程中，用修正过目标物位置和身份信息的第二追踪器替换追踪线程中使用的第一追踪器。
根据本发明的面向智能机器人的目标物检测追踪识别三相混合系统，优选的是，从待识别的目标物编号队列中获取加权得分值最高的目标物位置。
应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。
说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。
虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (8)

1.一种面向智能机器人的目标物检测追踪识别方法，其特征在于，所述方法包括以下步骤：
目标物位置信息获取步骤，获取多模态输入信息中的图片信息，检测存在待追踪目标物时，对所述目标物进行追踪，并生成目标物位置信息和目标物追踪编号，令所述目标物追踪编号对应所述目标物身份标记，所述身份标记为未知；
图片矫正步骤，基于目标物位置信息对输入图片中的目标物进行矫正操作；
身份识别步骤，针对矫正后的目标物图片对目标物进行识别，
身份更新步骤，保留识别结果直到输入图片中不存在目标物为止，并使用所述识别结果更新所述目标物追踪编号对应的身份标记，其中，所述方法的追踪线程和检测线程具体包括：
第一追踪步骤，接收含有目标物的当前图片，根据所述当前图片以及先前图片上的目标物位置来更新目标物在当前图片上的第一位置信息，将更新的第一位置信息保存在第一追踪器中，并输出选框序列；
检测步骤，复制所接收的含有目标物的当前图片，基于检测算法来检测目标物在所述当前图片中的第二位置信息并对当前图片进行目标物矫正；
第二追踪步骤，基于当前图片之前和之后所接收的图片以及所述第二位置信息进行目标物位置的追踪，得到当前时间点上接收的图片上的目标物的精确位置信息，将所述精确位置信息和与所述精确位置信息对应的目标物追踪编号保存在第二追踪器中。
2.如权利要求1所述的面向智能机器人的目标物检测追踪识别方法，其特征在于，所述方法还包括在对身份未知的目标物进行识别之前的以下步骤：
基于检测线程处理中获得的当前图片中的目标物的位置对第二追踪器中保存的待识别的目标物进行匹配和修正，得到待识别的目标物编号队列和位置队列，其中，所述队列按照识别所花费的时间长度和目标物清晰度的加权得分进行排列。
3.如权利要求2所述的面向智能机器人的目标物检测追踪识别方法，其特征在于，从待识别的目标物编号队列中获取加权得分值最高的目标物位置。
4.如权利要求2所述的面向智能机器人的目标物检测追踪识别方法，其特征在于，在检测线程中，用修正过目标物位置和身份信息的第二追踪器替换追踪线程中使用的第一追踪器。
5.一种面向智能机器人的目标物检测追踪识别系统，其特征在于，所述系统包括以下单元：
目标物位置信息获取单元，其用以获取多模态输入信息中的图片信息，检测存在待追踪目标物时，对所述目标物进行追踪，并生成目标物位置信息和目标物追踪编号，令所述目标物追踪编号对应所述目标物身份标记，所述身份标记为未知；
图片矫正单元，其用以基于目标物位置信息对输入图片中的目标物进行矫正操作；
身份识别单元，其用以针对矫正后的目标物图片对目标物进行识别，
身份更新单元，其用以保留识别结果直到输入图片中不存在目标物为止，并使用所述识别结果更新所述目标物追踪编号对应的身份标记，其中，所述系统还包括：
第一追踪单元，其用以接收含有目标物的当前图片，根据所述当前图片以及先前图片上的目标物位置来更新目标物在当前图片上的第一位置信息，将更新的第一位置信息保存在第一追踪器中，并输出选框序列；
检测单元，其用以复制所接收的含有目标物的当前图片，基于检测算法来检测目标物在所述当前图片中的第二位置信息并对当前图片进行目标物矫正；
第二追踪单元，其用以基于当前图片之前和之后所接收的图片以及所述第二位置信息进行目标物位置的追踪，得到当前时间点上接收的图片上的目标物的精确位置信息，将所述精确位置信息和与所述精确位置信息对应的目标物追踪编号保存在第二追踪器中。
6.如权利要求5所述的面向智能机器人的目标物检测追踪识别系统，其特征在于，所述系统还包括：
匹配修正单元，其用以基于检测线程处理中获得的当前图片中的目标物的位置对第二追踪器中保存的待识别的目标物进行匹配和修正，得到待识别的目标物编号队列和位置队列，其中，所述队列按照识别所花费的时间长度和目标物清晰度的加权得分进行排列。
7.如权利要求6所述的面向智能机器人的目标物检测追踪识别系统，其特征在于，在检测线程中，用修正过目标物位置和身份信息的第二追踪器替换追踪线程中使用的第一追踪器。
8.如权利要求6所述的面向智能机器人的目标物检测追踪识别系统，其特征在于，从待识别的目标物编号队列中获取加权得分值最高的目标物位置。
CN201610953575.4A 2016-11-03 2016-11-03 面向智能机器人的目标物检测追踪识别方法和系统 Active CN106548151B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610953575.4A CN106548151B (zh) 2016-11-03 2016-11-03 面向智能机器人的目标物检测追踪识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610953575.4A CN106548151B (zh) 2016-11-03 2016-11-03 面向智能机器人的目标物检测追踪识别方法和系统

Publications (2)

Publication Number Publication Date
CN106548151A CN106548151A (zh) 2017-03-29
CN106548151B true CN106548151B (zh) 2019-11-29

Family

ID=58393753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610953575.4A Active CN106548151B (zh) 2016-11-03 2016-11-03 面向智能机器人的目标物检测追踪识别方法和系统

Country Status (1)

Country Link
CN (1) CN106548151B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832158A (zh) * 2017-10-16 2018-03-23 深圳市中钞信达金融科技有限公司 人脸识别方法及装置
CN108170160A (zh) * 2017-12-21 2018-06-15 中山大学 一种利用单目视觉和机载传感器旋翼无人机自主抓取方法
CN108304799A (zh) * 2018-01-30 2018-07-20 广州市君望机器人自动化有限公司 一种人脸追踪方法
CN109657609B (zh) * 2018-12-19 2022-11-08 新大陆数字技术股份有限公司 人脸识别方法及系统
CN109961012A (zh) * 2019-02-20 2019-07-02 博雅工道（北京）机器人科技有限公司 一种水下目标跟踪识别方法
CN110348348B (zh) * 2019-06-30 2021-08-31 华中科技大学 一种参建人员进场身份快速识别方法及预警系统
CN110503059B (zh) * 2019-08-27 2020-12-01 国网电子商务有限公司 一种人脸识别方法及系统
CN112666572A (zh) * 2019-09-30 2021-04-16 北京声智科技有限公司 基于雷达的唤醒方法、唤醒装置、电子设备及存储介质
CN113129333B (zh) * 2020-01-16 2023-06-16 舜宇光学（浙江）研究院有限公司 多目标实时跟踪方法及其系统和电子设备
CN111259907B (zh) * 2020-03-12 2024-03-12 Oppo广东移动通信有限公司 内容识别方法、装置以及电子设备
CN111652148A (zh) * 2020-06-04 2020-09-11 航天科工智慧产业发展有限公司 人脸识别方法、装置与电子设备
CN112330710B (zh) * 2020-10-15 2023-03-17 深圳市视必得科技有限公司 运动目标的识别追踪方法、装置、服务器及可读存储介质
CN113297952B (zh) * 2021-05-21 2022-06-24 哈尔滨工业大学（深圳） 一种复杂环境下绳驱柔性机器人的测量方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361327A (zh) * 2014-11-20 2015-02-18 苏州科达科技股份有限公司 一种行人检测方法和系统
CN105989608A (zh) * 2016-04-25 2016-10-05 北京光年无限科技有限公司 一种面向智能机器人的视觉捕捉方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361327A (zh) * 2014-11-20 2015-02-18 苏州科达科技股份有限公司 一种行人检测方法和系统
CN105989608A (zh) * 2016-04-25 2016-10-05 北京光年无限科技有限公司 一种面向智能机器人的视觉捕捉方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于红外图像的道路识别与运动目标跟踪;孙涵;《中国优秀博硕士学位论文全文数据库 (博士)信息科技辑》;20051115(第2005年第07期);55-56页 *
运动弱小目标先跟踪后检测技术的研究进展;张惠娟等;《红外技术》;20060731;第28卷(第7期);全文 *

Also Published As

Publication number Publication date
CN106548151A (zh) 2017-03-29

Similar Documents

Publication Publication Date Title
CN106548151B (zh) 面向智能机器人的目标物检测追踪识别方法和系统
Wang et al. Human short long-term cognitive memory mechanism for visual monitoring in IoT-assisted smart cities
Yuan et al. Robust visual tracking with correlation filters and metric learning
CN105405154B (zh) 基于颜色-结构特征的目标对象跟踪方法
CN105469041B (zh) 基于多任务正则化与逐层监督神经网络的人脸点检测系统
CN107742311A (zh) 一种视觉定位的方法及装置
CN108986138A (zh) 目标跟踪方法及设备
CN107392964A (zh) 基于室内特征点和结构线结合的室内slam方法
CN109176512A (zh) 一种体感控制机器人的方法、机器人及控制装置
CN110245545A (zh) 一种文字识别方法及装置
CN109460267A (zh) 移动机器人离线地图保存与实时重定位方法
CN110232379A (zh) 一种车辆姿态检测方法及系统
CN109087337B (zh) 基于分层卷积特征的长时间目标跟踪方法及系统
CN109522963A (zh) 一种单机运行的特征建筑目标检测方法和系统
CN107766851A (zh) 一种人脸关键点定位方法及定位装置
CN109145836A (zh) 基于深度学习网络和卡尔曼滤波的船只目标视频检测方法
CN109740537B (zh) 人群视频图像中行人图像属性的精确标注方法及系统
CN112734803B (zh) 基于文字描述的单目标跟踪方法、装置、设备及存储介质
CN108961385A (zh) 一种slam构图方法及装置
CN107194432A (zh) 一种基于深度卷积神经网络的冰箱门体识别方法及系统
CN107220588A (zh) 一种基于级联深度神经网络的实时手势追踪方法
CN108717522A (zh) 一种基于深度学习和相关滤波的人体目标跟踪方法
CN115131826B (zh) 物品检测识别方法、网络模型的训练方法和装置
Shi et al. Triplet network template for siamese trackers
Zhou et al. Tracking of drone flight by neural network Siamese-RPN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant