CN106250850B - 人脸检测跟踪方法及装置、机器人头部转动控制方法及系统 - Google Patents

人脸检测跟踪方法及装置、机器人头部转动控制方法及系统 Download PDF

Info

Publication number
CN106250850B
CN106250850B CN201610619340.1A CN201610619340A CN106250850B CN 106250850 B CN106250850 B CN 106250850B CN 201610619340 A CN201610619340 A CN 201610619340A CN 106250850 B CN106250850 B CN 106250850B
Authority
CN
China
Prior art keywords
face
tracking
frame
frame image
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610619340.1A
Other languages
English (en)
Other versions
CN106250850A (zh
Inventor
纪园
熊友军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ubtech Technology Co ltd
Original Assignee
Shenzhen Ubtech Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ubtech Technology Co ltd filed Critical Shenzhen Ubtech Technology Co ltd
Priority to CN201610619340.1A priority Critical patent/CN106250850B/zh
Priority to US15/348,641 priority patent/US9892312B1/en
Publication of CN106250850A publication Critical patent/CN106250850A/zh
Priority to JP2016250750A priority patent/JP6165959B1/ja
Priority to KR1020170091353A priority patent/KR101881820B1/ko
Application granted granted Critical
Publication of CN106250850B publication Critical patent/CN106250850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1684—Tracking a line or surface by means of sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种人脸检测跟踪方法及装置、机器人头部转动控制方法及系统。该人脸检测跟踪方法包括如下步骤：采集图像并对所述图像进行深度检测处理，获取所述图像中每一像素点的深度值；根据当前帧图像的每一像素点的深度值确定人脸候选区域；对所述人脸候选区域进行人脸检测，以确定所述当前帧图像的人脸框；根据所述当前帧图像的人脸框和跟踪人脸框，确定所述当前帧图像的跟踪框，并对所述当前帧图像的跟踪框内的人脸进行跟踪。该人脸检测跟踪方法有利于降低误检测率，提高人脸检测的准确率。该机器人头部转动控制方法采用该人脸检测跟踪方法进行人脸检测，有利于保障机器人头部转动过程中的流畅性，避免转动过程中出现卡顿现象。

Description

人脸检测跟踪方法及装置、机器人头部转动控制方法及系统
技术领域
本发明涉及人脸识别领域，尤其涉及一种人脸检测跟踪方法及装置、机器人头部转动控制方法及系统。
背景技术
随着计算机视觉技术的日趋成熟，计算机视觉技术已广泛应用于人们的日常生活中。如利用计算机视觉技术控制机器人，使得机器人具有视觉功能，从而实现各种检测、判断、识别和测量等智能操作。现有机器人内置摄像设备并结合人脸检测技术，能够检测到机器人摄像头采集到图像中的人脸，并能够通过机械运动跟踪人脸，使得机器人头部随人脸的移动而转动。但现有人脸检测跟踪方法的误检测率高，容易将非人脸检测成人脸。根据现有的人脸检测跟踪方法控制控制机器人头部转动时，因检测人脸的误检测率高，使得控制机器人头部转动过程不精准，容易出现卡顿。
发明内容
本发明要解决的技术问题在于，针对现有技术的缺陷，提供一种人脸检测跟踪方法及装置、机器人头部转动控制方法及系统。
本发明解决其技术问题所采用的技术方案是：一种人脸检测跟踪方法，包括如下步骤：
采集图像并对所述图像进行深度检测处理，获取所述图像中每一像素点的深度值；
根据当前帧图像的每一像素点的深度值确定人脸候选区域；
对所述人脸候选区域进行人脸检测，以确定所述当前帧图像的人脸框；
根据所述当前帧图像的人脸框和跟踪人脸框，确定所述当前帧图像的跟踪框，并对所述当前帧图像的跟踪框内的人脸进行跟踪。
优选地，所述根据当前帧图像的每一像素点的深度值确定人脸候选区域，包括如下步骤：
根据所述当前帧图像的每一像素点的深度值确定每一像素点对应的检测窗口；
根据所述检测窗口确定与所述检测窗口相邻的相邻窗口；
判断所述检测窗口和所述相邻窗口是否满足所述人脸候选区域的掩膜条件；
若满足，则所述检测窗口为所述人脸候选区域。
优选地，所述根据所述当前帧图像的每一像素点的深度值确定每一像素点对应的检测窗口，包括如下步骤：
根据所述当前帧图像的每一像素点的深度值确定每一所述像素点对应的人脸宽度；
以每一像素点为中心，以所述像素点对应的人脸宽度为边长，构建正方形的检测框为所述像素点对应的检测窗口。
优选地，所述根据所述检测窗口确定与所述检测窗口相邻的相邻窗口，包括如下步骤：
在所述检测窗口的左侧、右侧和上侧分别确定包围所述检测窗口的左窗口、右窗口和上窗口；所述左窗口、右窗口和上窗口与所述检测窗口间隔第一预设宽度。
优选地，所述人脸候选区域的掩膜条件，包括：所述检测窗口的平均深度值与像素点的深度值的差值的绝对值小于第一阈值，且所述相邻窗口的平均深度值与像素点的深度值的差值的绝对值小于第二阈值；其中，所述第一阈值小于所述第二阈值。
优选地，所述根据所述当前帧图像的人脸框和跟踪人脸框，确定所述当前帧图像的跟踪框，并对所述当前帧图像的跟踪框内的人脸进行跟踪，包括如下步骤：
判断所述当前帧图像是否为第一帧图像；
若所述当前帧图像是第一帧图像，则确定所述当前帧图像中面积最大的人脸框为所述当前帧图像的跟踪框，并对所述当前帧图像的跟踪框内的人脸进行跟踪；
若所述当前帧图像不是第一帧图像，则判断所述当前帧图像中面积最大的人脸框是否大于或等于所述跟踪人脸框的面积；
若是，则确定所述当前帧图像中面积最大的人脸框为所述当前帧图像的跟踪框，并对所述当前帧图像的跟踪框内的人脸进行跟踪；
若否，则对所述跟踪人脸框与所述当前帧图像的人脸框求交集区域，并将交集区域内的跟踪人脸框作为当前帧图像的跟踪框，并对所述当前帧图像的跟踪框内的人脸进行跟踪。
优选地，所述对所述当前帧图像的跟踪框内的人脸进行跟踪，包括如下步骤：
在前一帧图像中采集若干张目标图像和背景图像；并对所述目标图像和背景图像进行多尺度变换得到多尺度图像提取特征；再采用稀疏测量矩阵对所述多尺度图像提取特征进行降维得到降维特征；并用所述降维特征去训练朴素贝叶斯分类器；
扫描当前帧图像的目标窗口周围的若干扫描窗口的目标图像，并提取所述目标图像的多尺度图像提取特征；再采用所述稀疏测量矩阵对所述多尺度图像提取特征进行降维得到降维特征；并对所述降维特征采用所述朴素贝叶斯分类器进行分类，将分类分数最大的窗口认定为当前帧图像的目标窗口。
本发明还提供一种机器人头部转动控制方法，包括如下步骤：
预设图像的中心区域；
根据所述的人脸检测跟踪方法确定所述当前帧图像的跟踪框；
控制机器人头部转动，以使所述当前帧图像的跟踪框移动到所述中心区域上。
优选地，所述控制机器人头部转动，以使所述当前帧图像的跟踪框移动到所述中心区域上，包括：
计算所述中心区域的中心相对于所述跟踪框的中心的水平偏移度和垂直偏移度；
控制机器人头部沿水平方向转动水平偏移度并沿垂直方向转动垂直偏移度，使所述中心区域的中心和所述跟踪框的中心重叠。
优选地，所述控制机器人头部转动，以使所述当前帧图像的跟踪框移动到所述中心区域上，包括：
控制机器人头部沿水平方向和垂直方向转动，使跟踪框的中心位于所述中心区域的边界范围内。
本发明还提供一种人脸检测跟踪装置，包括：
深度检测处理模块，用于采集图像并对所述图像进行深度检测处理，获取所述图像中每一像素点的深度值；
人脸候选区域确定模块，用于根据当前帧图像的每一像素点的深度值确定人脸候选区域；
人脸框确定模块，用于对所述人脸候选区域进行人脸检测，以确定所述当前帧图像的人脸框；
人脸框跟踪模块，用于根据所述当前帧图像的人脸框和跟踪人脸框，确定所述当前帧图像的跟踪框，并对所述当前帧图像的跟踪框内的人脸进行跟踪。
优选地，所述人脸候选区域确定模块包括：
检测窗口确定子模块，用于根据所述当前帧图像的每一像素点的深度值确定每一像素点对应的检测窗口；
相邻窗口确定子模块，用于根据所述检测窗口确定与所述检测窗口相邻的相邻窗口；
掩膜条件判断子模块，用于判断所述检测窗口和所述相邻窗口是否满足所述人脸候选区域的掩膜条件；
候选区域确定子模块，用于在所述检测窗口和所述相邻窗口满足所述人脸候选区域的掩膜条件时，将所述检测窗口确定为所述人脸候选区域。
优选地，所述人脸框跟踪模块包括：
判断模块，用于判断所述当前帧图像是否为第一帧图像；
第一判断处理模块，用于在所述当前帧图像是第一帧图像时，确定所述当前帧图像中面积最大的人脸框为所述当前帧图像的跟踪框，并对所述当前帧图像的跟踪框内的人脸进行跟踪；
第二判断处理模块，用于在所述当前帧图像不是第一帧图像时，判断所述当前帧图像中面积最大的人脸框是否大于或等于所述跟踪人脸框的面积；
第一跟踪框确定模块，用于在所述当前帧图像中面积最大的人脸框大于或等于所述跟踪人脸框的面积时，确定所述当前帧图像中面积最大的人脸框为所述当前帧图像的跟踪框，并对所述当前帧图像的跟踪框内的人脸进行跟踪；
第二跟踪框确定模块，用于在所述当前帧图像中面积最大的人脸框小于所述跟踪人脸框的面积，则所述跟踪人脸框与所述当前帧图像的人脸框求交集区域，并将交集区域内的跟踪人脸框作为当前帧图像的跟踪框，并对所述当前帧图像的跟踪框内的人脸进行跟踪。
本发明还提供一种机器人转动控制系统，包括：
中心区域预设模块，用于预设图像的中心区域；
所述的人脸检测跟踪装置，用于确定所述当前帧图像的跟踪框；
头部转动控制模块，用于控制机器人头部转动，以使所述当前帧图像的跟踪框移动到所述中心区域上。
本发明与现有技术相比具有如下优点：本发明所提供人脸检测跟踪方法及装置，采集图像并对采集的图像进行深度检测处理，确定图像的每一像素点的深度值，并根据每一像素点的深度值确定人脸候选区域；再在人脸候选区域内进行人脸检测以确定当前帧图像的人脸框，有利于降低误检测率，提高人脸检测的准确率；然后再根据当前帧图像的人脸框确定当前帧图像的跟踪框并对跟踪框内的人脸进行跟踪，以保障检测到的人脸的连续性。
本发明所提供机器人头部转动控制方法及系统，预设图像的中心区域，并采用人脸检测跟踪方法确定当前帧图像的跟踪框，控制机器人头部转动以使跟踪框移动到中心区域上。该机器人头部转动控制方法可根据当前帧图像的跟踪框与图像的中心区域的位置，控制机器人左右转动或上下转动，使得机器人在运动时更加生动形象。采用人脸检测跟踪方法确定当前帧图像的跟踪框，有利于保障控制机器人头部转动过程的流畅性，避免转动过程出现卡顿现象。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例1中的人脸检测跟踪方法的一流程图。
图2是本发明实施例1中的人脸检测跟踪方法的另一流程图。
图3是本发明实施例1中的检测窗口与相邻窗口的示意图。
图4是本发明实施例2中的机器人头部转动控制方法的一流程图。
图5是本发明实施例2中采集到的当前帧图像的示意图。
图6是本发明实施例3中的人脸检测跟踪装置的一原理框图。
图7是本发明实施例4中的机器人转动控制系统的一原理框图。
图中：1、人脸检测跟踪装置；10、深度检测处理模块；20、人脸候选区域确定模块；21、检测窗口确定子模块；22、相邻窗口确定子模块；23、掩膜条件判断子模块；24、候选区域确定子模块；30、人脸框确定模块；40、人脸跟踪模块；41、判断模块；42、第一判断处理模块；43、第二判断处理模块；44、第一跟踪框确定模块；45、第二跟踪框确定模块；50、中心区域预设模块；60、头部转动控制模块。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
实施例1
图1和图2示出本实施例中的人脸检测跟踪方法的流程图。如图1所示，该人脸检测跟踪方法包括如下步骤：
S11：采集图像并对图像进行深度检测处理，获取图像中每一像素点的深度值。可以理解地，每一帧图像由I×J个像素点，图像中的每一像素点(i，j)是指第i行第j列的像素点，像素点(i，j)的深度值为d(i，j)。实施例中，采用深度传感器对采集到的图像进行深度检测处理，以获取每一像素点(i，j)的深度值d(i，j)。
S12：根据当前帧图像的每一像素点(i，j)的深度值d(i，j)确定人脸候选区域。可以理解地，该人脸候选区域是可能存在人脸的区域，再采用人脸检测方法对人脸候选区域进行人脸检测，可有利于提高人脸检测的准确性。其中，步骤S12具体包括如下步骤：
S121：根据所述当前帧图像的每一像素点(i，j)的深度值d(i，j)确定每一像素点对应的检测窗口w1。具体地，根据当前帧图像的每一像素点(i，j)的深度值d(i，j)确定每一像素点(i，j)对应的人脸宽度s(i，j)；再以每一像素点(i，j)为中心，以像素点(i，j)对应的人脸宽度s(i，j)为边长，构建正方形的检测框为像素点(i，j)对应的检测窗口w1。其中，
Figure BDA0001065039600000081
即
Figure BDA0001065039600000083
S122：根据检测窗口w1确定与检测窗口w1相邻的相邻窗口。相邻窗口包括设置在检测窗口w1左侧的左窗口w2、设置在检测窗口w1右侧的右窗口w3和设置在检测窗口w1上侧的上窗口w4。步骤S122具体包括如下步骤：如图3所示，在检测窗口w1的左侧、右侧和上侧分别确定包围检测窗口w1的左窗口w2、右窗口w3和上窗口w4，且左窗口w2、右窗口w3和上窗口w4与检测窗口w1的间距为第一预设宽度。本实施例中，第一预设宽度为1/4人脸宽度s(i，j)，则1/4人脸宽度s(i，j)为人脸候选区域与非人脸候选区域的边界。左窗口w2和右窗口w3是一边为1/2人脸宽度s(i，j)，另一边为5/4人脸宽度s(i，j)的矩形，且左窗口w2的下边和右窗口w3的下边与检测窗口w1的下边平齐。上窗口w4是一边为1/2人脸宽度s(i，j)，另一边为5/2人脸宽度s(i，j)的矩形；且上窗口w4的左边与左窗口w2的左边平齐，上窗口w4的右边与右窗口w3的右边平齐。本实施例中，检测窗口w1与相邻窗口(包括左窗口w2、右窗口w3和上窗口w4)的各边边长是经验值，与人脸候选区域的掩膜条件m(i,j)相关联。
S123：判断检测窗口w1和相邻窗口是否满足人脸候选区域的掩膜条件m(i,j)，相邻窗口包括左窗口w2、右窗口w3和上窗口w4。其中，人脸候选区域的掩膜条件m(i,j)具体包括：检测窗口w1的平均深度值μw1(i,j)与像素点的深度值d(i，j)的差值的绝对值小于第一阈值τ1，且相邻窗口的平均深度值(包括左窗口的平均深度值μw2(i,j)、右窗口的平均深度值μw3(i,j)和上窗口的平均深度值μw4(i,j))与像素点的深度值d(i，j)的差值的绝对值小于第二阈值τ2；其中，第一阈值τ1小于第二阈值τ2。即若|μw1(i,j)-d(i,j)|＜τ1，且|μw2(i,j)-d(i,j)|＜τ2、|μw3(i,j)-d(i,j)|＜τ2、|μw4(i,j)-d(i,j)|＜τ2，则人脸候选区域的掩膜条件m(i,j)为1，检测窗口w1所在的像素点为人脸候选区域；否则人脸候选区域的掩膜条件m(i,j)为0，检测窗口w1所在的像素点不为人脸候选区域。本实施例中，第一阈值τ1为100mm；第二阈值τ2为200mm。
检测窗口的平均深度值＝检测窗口w1内所有像素点的深度值d(i，j)与相应像素点的有效深度测量值v(i，j)的乘积的和值÷所有像素点的有效深度测量值v(i，j)之和与一常数ε的和值。相邻窗口的平均深度值＝相邻窗口内所有像素点的深度值d(i，j)与相应像素点的有效深度测量值v(i，j)的乘积的和值÷所有像素点的有效深度测量值v(i，j)之和与一常数ε的和值；其中，像素点的有效深度测量值为0或1；常数不为0。可以理解地，检测窗口w1、左窗口w2、右窗口w3和上窗口w4的平均深度值均可采用如下公式计算：
Figure BDA0001065039600000101
ε为常数，用于避免除数为0。
具体地，像素点的有效深度测量值通过如下步骤确定：判断像素点的深度值d(i，j)是否大于0且小于第三阈值T。若是，则像素点的有效深度测量值为1。若否，则像素点的有效深度测量值为0。其中，
Figure BDA0001065039600000103
可以理解地，若一个像素点的深度值d(i，j)大于第三阈值T，则该像素点的检测窗口s(i，j)的大小将会小于最小人脸宽度s*，在进行人脸检测时不能识别到该检测窗口s(i，j)。本实施例中，设置最小人脸宽度s*为20pixels，T为4.5m。
S124：若满足，则检测窗口w1为人脸候选区域。可以理解地，检测窗口w1内的每一像素点的深度值d(i，j)较接近，左窗口w2、右窗口w3和上窗口w4的每一像素点的深度值d(i，j)与检测窗口w1中每一像素点的深度值d(i，j)相差较大；因此，若检测窗口w1与相邻窗口满足人脸候选区域的掩膜m(i,j)条件，则认定检测窗口w1为人脸候选区域。
S13：对人脸候选区域进行人脸检测，以确定当前帧图像的人脸框。本实施例中，采用Viola-Jones人脸检测算法对采集到的人脸候选区域进行人脸检测。Viola-Jones算法利用积分图像来提取图像特征值，在一定程度上提高人脸检测的速度。同时，Viola-Jones算法利用Adaboost分类器的特征筛选特征，保留最有用特征，减少检测时的运算复杂度，使得人检检测速度更快。另外，Viola-Jones算法对Adaboost分类器进行改造，变成级联Adaboost分类器，以提高人脸检测的准确率。可以理解地，在人脸检测跟踪方法中，可采用但不限于本实施例所提供的Viola-Jones算法对采集到的人脸候选区域进行检测检测，以确定每一帧图像的人脸框。
S14：根据当前帧图像的人脸框和跟踪人脸框，确定当前帧图像的跟踪框，并对当前帧图像的跟踪框内的人脸进行跟踪。其中，跟踪人脸框是采用人脸跟踪算法在当前帧图像中跟踪到的人脸框。可以理解地，步骤S14的设置，用于将前一帧图像中跟踪到的人脸框作为后一帧图像的跟踪人脸框，用于避免采集到某一帧图像中没有人脸时，导致连续几帧图像的人脸检测结果不连续。步骤S14具体包括如下步骤：
S141：判断当前帧图像是否为第一帧图像。
S142：若当前帧图像是第一帧图像，则确定当前帧图像中面积最大的人脸框为当前帧图像的跟踪框，并对当前帧图像的跟踪框内的人脸进行跟踪。可以理解地，若当前帧图像为第一帧图像，则其跟踪人脸框为当前帧图像中的人脸框；而当前帧图像中可能存在一个或多个人脸框，每一人脸框的面积为其宽度与高度的乘积，此时，选取当前帧图像中面积最大的人脸框作为当前帧图像的跟踪框，并对当前帧图像的跟踪框的人脸进行跟踪。
S143：若当前帧图像不是第一帧图像，则判断前帧图像中面积最大的人脸框是否大于或等于跟踪人脸框的面积。其中，跟踪人脸框的面积为其宽度与高度的乘积。
S144：若当前帧图像中面积最大的人脸框大于或等于跟踪人脸框的面积，则确定当前帧图像中面积最大的人脸框为所述当前帧图像的跟踪框，并对当前帧图像的跟踪框内的人脸进行跟踪。
S145：若当前帧图像中面积最大的人脸框小于跟踪人脸框的面积，则对跟踪人脸框与当前帧图像的人脸框求交集区域，并将交集区域内的跟踪人脸框作为当前帧图像的跟踪框，并对当前帧图像的跟踪框内的人脸进行跟踪。若跟踪人脸框与人脸候选区域不存在交集区域，则将当前帧图像中面积最大的人脸框作为当前帧图像的跟踪框，并对当前帧图像的跟踪框内的人脸进行跟踪；此时，原来的跟踪人脸框为消失人脸。
具体地，采用压缩跟踪算法(Compressive Tracking)对当前帧图像的跟踪框内的人脸进行跟踪。压缩跟踪算法具体包括如下步骤：
在前一帧图像中采集若干张目标图像和背景图像；并对目标图像和背景图像进行多尺度变换得到多尺度图像提取特征；再采用稀疏测量矩阵对多尺度图像提取特征进行降维得到降维特征；再用降维特征去训练朴素贝叶斯分类器，用于当前帧图像的目标窗口的筛选。其中，目标图像是指当前帧图像的跟踪框内采集到的图像，每一张目标图像不相同。相应地，背景图像是指当前帧图像的跟踪框外采集到的图像，每一背景图像不相同。
扫描当前帧图像的目标窗口周围的若干扫描窗口的目标图像，并提取扫描窗口的目标图像的多尺度图像提取特征，以避免需扫描整幅当前帧图像；再采用同样的稀疏测量矩阵对多尺度图像提取特征进行降维得到降维特征；再对降维特征采用当前帧图像训练好的朴素贝叶斯分类器进行分类，将分类分数最大的窗口认定为后一帧图像的目标窗口，以实现从当前帧图像到后一帧图像的跟踪。可以理解地，在当前帧图像的目标窗口周围采集若干扫描窗口的目标图像并提取多尺度图像提取特征，再对多尺度提取特征进行降维处理，并训练朴素贝叶斯分类器进行分类，以实现从当前帧图像到后一帧图像的跟踪，可缩小了人脸跟踪算法的处理范围，提高其处理速度。
本实施例所提供人脸检测跟踪方法，对采集的图像进行深度检测处理，确定图像的每一像素点的深度值，并根据每一像素点的深度值确定人脸候选区域；再在人脸候选区域内进行人脸检测以确定当前帧图像的人脸框，有利于降低误检测率，提高人脸检测的准确率；然后再根据当前帧图像的人脸框确定当前帧图像的跟踪框并对跟踪框内的人脸进行跟踪，以保障检测到的人脸的连续性。
实施例2
图4示出本实施例中机器人头部转动控制方法。其中，该机器人上内置有用于采集图像的摄像设备和用于检测图像深度的深度传感器和处理器。该机器人头部转动控制方法主要由处理器执行，包括如下步骤：
S21：预设图像的中心区域。如图5所示，当前帧图像的左下角为原点O建立坐标系OXY，该预设图像的宽度为w，高度为h；若预设图像的中心区域的宽度为0.1w，高度为0.1h；由于预设图像的中心区域的中心位于预设图像的中心，则预设图像的中心区域的中心A的坐标为(0.5w，0.5h)。相应地，中心区域的左下角的坐标为(0.45w，0.45h)，左上角的坐标为(0.45w，0.55h)，右下角的坐标为(0.55w，0.45h)，右上角的坐标为(0.55w，0.55h)。可以理解地，该预设图像的中心区域的边界范围中宽度范围为(0.45w-0.55w)，高度范围为(0.45h-0.55h)。
S22：根据实施例1中的人脸检测跟踪方法确定当前帧图像的跟踪框，并确定跟踪框的中心，实时读取当前帧图像的跟踪框的中心B的坐标(x0，y0)。可以理解地，采用实施例1所提供的人脸检测跟踪方法跟踪人脸时，先通过图像的每一像素点的深度值确定人脸候选区域，再对人脸候选区域进行人脸检测，有利于降低误检测率，提高人脸检测的准确率；根据当前帧图像的人脸框确定当前帧图像的跟踪框并对跟踪框内的人脸进行跟踪，有利于保障控制机器人头部转动过程的流畅性，避免转动过程出现卡顿现象。
S23：控制机器人头部转动，以使当前帧图像的跟踪框移动到中心区域上。可以理解地，采集到的当前帧图像的跟踪框移动时，控制机器人的头部转动，使得当前帧图像的跟踪框保持在中心区域上，以实现机器人的头部转动跟随人脸转动。
步骤S23可采用如下步骤实现：计算中心区域的中心相对于跟踪框的中心的水平偏移度和垂直偏移度，控制机器人头部沿水平方向转动水平偏移度并沿垂直方向转动垂直偏移度，以使中心区域的中心和跟踪框的中心重叠。
图5中，水平偏移度为∠ABD，垂直偏移度为∠ABC，其中，A(0.5w，0.5h)，B(x0，y0)，则BD＝AC＝a＝|0.5h-y0|,BC＝AD＝b＝|0.5w-x0|,
Figure BDA0001065039600000141
根据余弦定理，则
Figure BDA0001065039600000142
故水平偏移度
Figure BDA0001065039600000143
同理，则
Figure BDA0001065039600000144
故水平偏移度
Figure BDA0001065039600000145
本实施例中，控制机器人头部在水平方向转动水平偏移度∠ABD，并控制机器人头部在垂直方向转动垂直偏移度∠ABC，即可使机器人采集到的当前帧图像的跟踪框的中心B与中心区域的中心A重叠，以使机器人的头部转动跟随检测到的人脸转动，使得机器人运动时更生动形象。
步骤S23也可采用如下步骤实现：控制机器人头部沿水平方向和垂直方向转动，以使跟踪框的中心位于中心区域的边界范围内。可以理解地，机器人实时读取当前帧图像的跟踪框的中心B的坐标(x0，y0)，并将x0与中心区域的边界范围的宽度范围为(0.45w-0.55w)进行比较；将y0与中心区域的边界范围的高度范围为(0.45h-0.55h)进行比较。当x0<0.45w时，控制机器人头部向左转；当x0>0.55w时，控制机器人头部向右转；当y0<0.45h时，控制机器人头部向下低头；当y0>0.55h时，控制机器人头部向上抬头；当跟踪人脸处在图像中心区域时，机器人头部保持不动。该方法控制机器人头部转动跟随检测到的人脸转动的过程简单，计算量少，控制速度快。
本实施例所提供机器人头部转动控制方法，通过内置摄像设备采集图像并预设图像的中心区域，并采用人脸检测跟踪方法确定当前帧图像的跟踪框，控制机器人头部转动以使跟踪框移动到中心区域上。该机器人头部转动控制方法可根据当前帧图像的跟踪框与图像的中心区域的位置，控制机器人左右转动或上下转动，使得机器人在运动时更加生动形象。采用人脸检测跟踪方法确定当前帧图像的跟踪框，有利于保障控制机器人头部转动过程的流畅性，避免转动过程出现卡顿现象。
实施例3
图6示出本实施例中的人脸检测跟踪装置1的框图。如图6所示，该人脸检测跟踪装置1包括：
深度检测处理模块10，用于采集图像并对图像进行深度检测处理，获取图像中每一像素点的深度值。可以理解地，每一帧图像由I×J个像素点，图像中的每一像素点(i，j)是指第i行第j列的像素点，像素点(i，j)的深度值为d(i，j)。实施例中，采用深度传感器对采集到的图像进行深度检测处理，以获取每一像素点(i，j)的深度值d(i，j)。
人脸候选区域确定模块20，用于根据当前帧图像的每一像素点(i，j)的深度值d(i，j)确定人脸候选区域。可以理解地，该人脸候选区域是可能存在人脸的区域，再采用人脸检测方法对人脸候选区域进行人脸检测，可有利于提高人脸检测的准确性。其中，人脸候选区域确定模块20具体包括：
检测窗口确定子模块21，用于根据所述当前帧图像的每一像素点(i，j)的深度值d(i，j)确定每一像素点对应的检测窗口w1。具体地，根据当前帧图像的每一像素点(i，j)的深度值d(i，j)确定每一像素点(i，j)对应的人脸宽度s(i，j)；再以每一像素点(i，j)为中心，以像素点(i，j)对应的人脸宽度s(i，j)为边长，构建正方形的检测框为像素点(i，j)对应的检测窗口w1。其中，
Figure BDA0001065039600000162
即
Figure BDA0001065039600000163
相邻窗口确定子模块22，用于根据检测窗口w1确定与检测窗口w1相邻的相邻窗口。相邻窗口包括设置在检测窗口w1左侧的左窗口w2、设置在检测窗口w1右侧的右窗口w3和设置在检测窗口w1上侧的上窗口w4。如图3所示，在检测窗口w1的左侧、右侧和上侧分别确定包围检测窗口w1的左窗口w2、右窗口w3和上窗口w4，且左窗口w2、右窗口w3和上窗口w4与检测窗口w1的间距为1/N人脸宽度s(i，j)，其中，N为大于1的正整数。
本实施例中，N设为何，即左窗口w2、右窗口w3和上窗口w4与检测窗口w1的间隔为1/4人脸宽度s(i，j)，则1/4人脸宽度s(i，j)为人脸候选区域与非人脸候选区域的边界。左窗口w2和右窗口w3是一边为1/2人脸宽度s(i，j)，另一边为5/4人脸宽度s(i，j)的矩形，且左窗口w2的下边和右窗口w3的下边与检测窗口w1的下边平齐。上窗口w4是一边为1/2人脸宽度s(i，j)，另一边为5/2人脸宽度s(i，j)的矩形；且上窗口w4的左边与左窗口w2的左边平齐，上窗口w4的右边与右窗口w3的右边平齐。本实施例中，检测窗口w1与相邻窗口(包括左窗口w2、右窗口w3和上窗口w4)的各边边长是经验值，与人脸候选区域的掩膜条件m(i,j)相关联。
掩膜条件判断子模块23，用于判断检测窗口w1和相邻窗口是否满足人脸候选区域的掩膜条件m(i,j)，相邻窗口包括左窗口w2、右窗口w3和上窗口w4。其中，人脸候选区域的掩膜条件m(i,j)具体包括：检测窗口w1的平均深度值μw1(i,j)与像素点的深度值d(i，j)的差值的绝对值小于第一阈值τ1，且相邻窗口的平均深度值(包括左窗口的平均深度值μw2(i,j)、右窗口的平均深度值μw3(i,j)和上窗口的平均深度值μw4(i,j))与像素点的深度值d(i，j)的差值的绝对值小于第二阈值τ2；其中，第一阈值τ1小于第二阈值τ2。即若|μw1(i,j)-d(i,j)|＜τ1，且|μw2(i,j)-d(i,j)|＜τ2、|μw3(i,j)-d(i,j)|＜τ2、|μw4(i,j)-d(i,j)|＜τ2，则人脸候选区域的掩膜条件m(i,j)为1，检测窗口w1所在的像素点为人脸候选区域；否则人脸候选区域的掩膜条件m(i,j)为0，检测窗口w1所在的像素点不为人脸候选区域。本实施例中，第一阈值τ1为100mm；第二阈值τ2为200mm。
检测窗口的平均深度值＝检测窗口w1内所有像素点的深度值d(i，j)与相应像素点的有效深度测量值v(i，j)的乘积的和值÷所有像素点的有效深度测量值v(i，j)之和与一常数ε的和值。相邻窗口的平均深度值＝相邻窗口内所有像素点的深度值d(i，j)与相应像素点的有效深度测量值v(i，j)的乘积的和值÷所有像素点的有效深度测量值v(i，j)之和与一常数ε的和值；其中，像素点的有效深度测量值为0或1；常数不为0。可以理解地，检测窗口w1、左窗口w2、右窗口w3和上窗口w4的平均深度值均可采用如下公式计算：
Figure BDA0001065039600000181
ε为常数，用于避免除数为0。
具体地，像素点的有效深度测量值通过如下步骤确定：判断像素点的深度值d(i，j)是否大于0且小于第三阈值T。若是，则像素点的有效深度测量值为1。若否，则像素点的有效深度测量值为0。其中，
Figure BDA0001065039600000183
可以理解地，若一个像素点的深度值d(i，j)大于第三阈值T，则该像素点的检测窗口s(i，j)的大小将会小于最小人脸宽度s*，在进行人脸检测时不能识别到该检测窗口s(i，j)。本实施例中，设置最小人脸宽度s*为20pixels，T为4.5m。
候选区域确定子模块24，用于在检测窗口w1和相邻窗口满足人脸候选区域的掩膜条件m(i,j)，将确定检测窗口w1为人脸候选区域。可以理解地，检测窗口w1内的每一像素点的深度值d(i，j)较接近，左窗口w2、右窗口w3和上窗口w4的每一像素点的深度值d(i，j)与检测窗口w1中每一像素点的深度值d(i，j)相差较大；因此，若检测窗口w1与相邻窗口满足人脸候选区域的掩膜m(i,j)条件，则认定检测窗口w1为人脸候选区域。
人脸框确定模块30，用于对人脸候选区域进行人脸检测，以确定当前帧图像的人脸框。本实施例中，采用Viola-Jones人脸检测算法对采集到的人脸候选区域进行人脸检测。Viola-Jones算法利用积分图像来提取图像特征值，在一定程度上提高人脸检测的速度。同时，Viola-Jones算法利用Adaboost分类器的特征筛选特征，保留最有用特征，减少检测时的运算复杂度，使得人检检测速度更快。另外，Viola-Jones算法对Adaboost分类器进行改造，变成级联Adaboost分类器，以提高人脸检测的准确率。可以理解地，在人脸检测跟踪方法中，可采用但不限于本实施例所提供的Viola-Jones算法对采集到的人脸候选区域进行检测检测，以确定每一帧图像的人脸框。
人脸跟踪模块40，用于根据当前帧图像的人脸框和跟踪人脸框，确定当前帧图像的跟踪框，并对当前帧图像的跟踪框内的人脸进行跟踪。其中，跟踪人脸框是采用人脸跟踪算法在当前帧图像中跟踪到的人脸框。具体地，人脸跟踪模块40用于将前一帧图像中跟踪到的人脸框作为后一帧图像的跟踪人脸框，用于避免采集到某一帧图像中没有人脸时，导致连续几帧图像的人脸检测结果不连续。人脸跟踪模块40具体包括：
判断模块41，用于判断当前帧图像是否为第一帧图像。
第一判断处理模块42，用于在当前帧图像是第一帧图像时，确定当前帧图像中面积最大的人脸框为当前帧图像的跟踪框，并对当前帧图像的跟踪框内的人脸进行跟踪。可以理解地，若当前帧图像为第一帧图像，则其跟踪人脸框为当前帧图像中的人脸框；而当前帧图像中可能存在一个或多个人脸框，每一人脸框的面积为其宽度与高度的乘积，此时，选取当前帧图像中面积最大的人脸框作为当前帧图像的跟踪框，并对当前帧图像的跟踪框的人脸进行跟踪。
第二判断处理模块43，用于在当前帧图像不是第一帧图像时，判断前帧图像中面积最大的人脸框是否大于或等于跟踪人脸框的面积。其中，跟踪人脸框的面积为其宽度与高度的乘积。
第一跟踪框确定模块44，用于在当前帧图像中面积最大的人脸框大于或等于跟踪人脸框的面积时，确定当前帧图像中面积最大的人脸框为所述当前帧图像的跟踪框，并对当前帧图像的跟踪框内的人脸进行跟踪。
第二跟踪框确定模块45，用于在当前帧图像中面积最大的人脸框小于跟踪人脸框的面积时，对跟踪人脸框与当前帧图像的人脸框求交集区域，并将交集区域内的跟踪人脸框作为当前帧图像的跟踪框，并对当前帧图像的跟踪框内的人脸进行跟踪。若跟踪人脸框与人脸候选区域不存在交集区域，则将当前帧图像中面积最大的人脸框作为当前帧图像的跟踪框，并对当前帧图像的跟踪框内的人脸进行跟踪；此时，原来的跟踪人脸框为消失人脸。
具体地，采用压缩跟踪算法(Compressive Tracking)对当前帧图像的跟踪框内的人脸进行跟踪。压缩跟踪算法具体包括如下步骤：
在前一帧图像中采集若干张目标图像和背景图像；并对目标图像和背景图像进行多尺度变换得到多尺度图像提取特征；再采用稀疏测量矩阵对多尺度图像提取特征进行降维得到降维特征；再用降维特征去训练朴素贝叶斯分类器，用于当前帧图像的目标窗口的筛选。其中，目标图像是指当前帧图像的跟踪框内采集到的图像，每一张目标图像不相同。相应地，背景图像是指当前帧图像的跟踪框外采集到的图像，每一背景图像不相同。
扫描当前帧图像的目标窗口周围的若干扫描窗口的目标图像，并提取扫描窗口的目标图像的多尺度图像提取特征，以避免需扫描整幅当前帧图像；再采用同样的稀疏测量矩阵对多尺度图像提取特征进行降维得到降维特征；再对降维特征采用当前帧图像训练好的朴素贝叶斯分类器进行分类，将分类分数最大的窗口认定为后一帧图像的目标窗口，以实现从当前帧图像到后一帧图像的跟踪。可以理解地，在当前帧图像的目标窗口周围采集若干扫描窗口的目标图像并提取多尺度图像提取特征，再对多尺度提取特征进行降维处理，并训练朴素贝叶斯分类器进行分类，以实现从当前帧图像到后一帧图像的跟踪，可缩小了人脸跟踪算法的处理范围，提高其处理速度。
本实施例所提供人脸检测跟踪装置1，通过深度检测处理模块10对采集的图像进行深度检测处理，确定图像的每一像素点的深度值；再通过人脸候选区域确定模块20根据每一像素点的深度值确定人脸候选区域；然后通过人脸框确定模块30在人脸候选区域内进行人脸检测以确定当前帧图像的人脸框，有利于降低误检测率，提高人脸检测的准确率；最后再通过人脸框跟踪模块40根据当前帧图像的人脸框确定当前帧图像的跟踪框并对跟踪框内的人脸进行跟踪，以保障检测到的人脸的连续性。
实施例4
图7示出本实施例中机器人转动控制系统。其中，该机器人上内置有用于采集图像的摄像设备和用于检测图像深度的深度传感器和处理器。该机器人转动控制系统包括：
中心区域预设模块50，用于预设图像的中心区域。如图5所示，当前帧图像的左下角为原点O建立坐标系OXY，该预设图像的宽度为w，高度为h；若预设图像的中心区域的宽度为0.1w，高度为0.1h；由于预设图像的中心区域的中心位于预设图像的中心，则预设图像的中心区域的中心A的坐标为(0.5w，0.5h)。相应地，中心区域的左下角的坐标为(0.45w，0.45h)，左上角的坐标为(0.45w，0.55h)，右下角的坐标为(0.55w，0.45h)，右上角的坐标为(0.55w，0.55h)。可以理解地，该预设图像的中心区域的边界范围中宽度范围为(0.45w-0.55w)，高度范围为(0.45h-0.55h)。
人脸检测跟踪装置，即实施例3中的人脸检测跟踪装置，用于确定当前帧图像的跟踪框，并确定跟踪框的中心，实时读取当前帧图像的跟踪框的中心B的坐标(x0，y0)。可以理解地，采用实施例1所提供的人脸检测跟踪方法跟踪人脸时，先通过图像的每一像素点的深度值确定人脸候选区域，再对人脸候选区域进行人脸检测，有利于降低误检测率，提高人脸检测的准确率；根据当前帧图像的人脸框确定当前帧图像的跟踪框并对跟踪框内的人脸进行跟踪，有利于保障控制机器人头部转动过程的流畅性，避免转动过程出现卡顿现象。
头部转动控制模块60，用于控制机器人头部转动，以使当前帧图像的跟踪框移动到中心区域上。可以理解地，采集到的当前帧图像的跟踪框移动时，控制机器人的头部转动，使得当前帧图像的跟踪框保持在中心区域上，以实现机器人的头部转动跟随人脸转动。
头部转动控制模块60可以用于计算中心区域的中心相对于跟踪框的中心的水平偏移度和垂直偏移度，控制机器人头部沿水平方向转动水平偏移度并沿垂直方向转动垂直偏移度，以使中心区域的中心和跟踪框的中心重叠。
图5中，水平偏移度为∠ABD，垂直偏移度为∠ABC，其中，A(0.5w，0.5h)，B(x0，y0)，则BD＝AC＝a＝|0.5h-y0|,BC＝AD＝b＝|0.5w-x0|,
Figure BDA0001065039600000221
根据余弦定理，则
Figure BDA0001065039600000222
故水平偏移度
Figure BDA0001065039600000223
同理，则
Figure BDA0001065039600000224
故水平偏移度
Figure BDA0001065039600000225
本实施例中，控制机器人头部在水平方向转动水平偏移度∠ABD，并控制机器人头部在垂直方向转动垂直偏移度∠ABC，即可使机器人采集到的当前帧图像的跟踪框的中心B与中心区域的中心A重叠，以使机器人的头部转动跟随检测到的人脸转动，使得机器人运动时更生动形象。
头部转动控制模块60也可以用于控制机器人头部沿水平方向和垂直方向转动，以使跟踪框的中心位于中心区域的边界范围内。可以理解地，机器人实时读取当前帧图像的跟踪框的中心B的坐标(x0，y0)，并将x0与中心区域的边界范围的宽度范围为(0.45w-0.55w)进行比较；将y0与中心区域的边界范围的高度范围为(0.45h-0.55h)进行比较。当x0<0.45w时，控制机器人头部向左转；当x0>0.55w时，控制机器人头部向右转；当y0<0.45h时，控制机器人头部向下低头；当y0>0.55h时，控制机器人头部向上抬头；当跟踪人脸处在图像中心区域时，机器人头部保持不动。该方法控制机器人头部转动跟随检测到的人脸转动的过程简单，计算量少，控制速度快。
本实施例所提供机器人转动控制系统，通过中心区域预设模块50内置摄像设备采集图像并预设图像的中心区域；并采用实施例3中的人脸检测跟踪装置1确定当前帧图像的跟踪框；然后通过头部转动控制模块60控制机器人头部转动以使跟踪框移动到中心区域上。该机器人转动控制系统可根据当前帧图像的跟踪框与图像的中心区域的位置，控制机器人左右转动或上下转动，使得机器人在运动时更加生动形象。采用人脸检测跟踪装置确定当前帧图像的跟踪框，有利于保障控制机器人头部转动过程的流畅性，避免转动过程出现卡顿现象。
本发明是通过上述具体实施例进行说明的，本领域技术人员应当明白，在不脱离本发明范围的情况下，还可以对本发明进行各种变换和等同替代。另外，针对特定情形或具体情况，可以对本发明做各种修改，而不脱离本发明的范围。因此，本发明不局限于所公开的具体实施例，而应当包括落入本发明权利要求范围内的全部实施方式。

Claims (14)

1.一种人脸检测跟踪方法，其特征在于，包括如下步骤：
采集图像并对所述图像进行深度检测处理，获取所述图像中每一像素点的深度值；
根据当前帧图像的每一像素点的深度值确定人脸候选区域；
对所述人脸候选区域进行人脸检测，以确定所述当前帧图像的人脸框；
根据所述当前帧图像的人脸框和跟踪人脸框，确定所述当前帧图像的跟踪框，并对所述当前帧图像的跟踪框内的人脸进行跟踪，包括如下步骤：
判断所述当前帧图像是否为第一帧图像；
若所述当前帧图像不是第一帧图像，则将前一帧图像中跟踪到的人脸框作为跟踪人脸框，根据所述当前帧图像中面积最大的人脸框与所述跟踪人脸框的面积确定所述当前帧图像的跟踪框，并对所述当前帧图像的跟踪框内的人脸进行跟踪，包括如下步骤：若所述当前帧图像不是第一帧图像，则判断所述当前帧图像中面积最大的人脸框是否大于或等于所述跟踪人脸框的面积；
若否，则对所述跟踪人脸框与所述当前帧图像的人脸框求交集区域，并将交集区域内的跟踪人脸框作为当前帧图像的跟踪框，并对所述当前帧图像的跟踪框内的人脸进行跟踪。
2.根据权利要求1所述的人脸检测跟踪方法，其特征在于，所述根据当前帧图像的每一像素点的深度值确定人脸候选区域，包括如下步骤：
根据所述当前帧图像的每一像素点的深度值确定每一像素点对应的检测窗口；
根据所述检测窗口确定与所述检测窗口相邻的相邻窗口；
判断所述检测窗口和所述相邻窗口是否满足所述人脸候选区域的掩膜条件；
若满足，则所述检测窗口为所述人脸候选区域。
3.根据权利要求2所述的人脸检测跟踪方法，其特征在于，所述根据所述当前帧图像的每一像素点的深度值确定每一像素点对应的检测窗口，包括如下步骤：
根据所述当前帧图像的每一像素点的深度值确定每一所述像素点对应的人脸宽度；
以每一像素点为中心，以所述像素点对应的人脸宽度为边长，构建正方形的检测框为所述像素点对应的检测窗口。
4.根据权利要求3所述的人脸检测跟踪方法，其特征在于，所述根据所述检测窗口确定与所述检测窗口相邻的相邻窗口，包括如下步骤：
在所述检测窗口的左侧、右侧和上侧分别确定包围所述检测窗口的左窗口、右窗口和上窗口；所述左窗口、右窗口和上窗口与所述检测窗口间隔第一预设宽度。
5.根据权利要求4所述的人脸检测跟踪方法，其特征在于，所述人脸候选区域的掩膜条件，包括：所述检测窗口的平均深度值与像素点的深度值的差值的绝对值小于第一阈值，且所述相邻窗口的平均深度值与像素点的深度值的差值的绝对值小于第二阈值；其中，所述第一阈值小于所述第二阈值。
6.根据权利要求1-5任一项所述的人脸检测跟踪方法，其特征在于，所述根据所述当前帧图像的人脸框和跟踪人脸框，确定所述当前帧图像的跟踪框，并对所述当前帧图像的跟踪框内的人脸进行跟踪，包括如下步骤：
判断所述当前帧图像是否为第一帧图像；
若所述当前帧图像是第一帧图像，则确定所述当前帧图像中面积最大的人脸框为所述当前帧图像的跟踪框，并对所述当前帧图像的跟踪框内的人脸进行跟踪；
若所述当前帧图像不是第一帧图像，则判断所述当前帧图像中面积最大的人脸框是否大于或等于所述跟踪人脸框的面积；
若是，则确定所述当前帧图像中面积最大的人脸框为所述当前帧图像的跟踪框，并对所述当前帧图像的跟踪框内的人脸进行跟踪。
7.根据权利要求6所述的人脸检测跟踪方法，其特征在于，所述对所述当前帧图像的跟踪框内的人脸进行跟踪，包括如下步骤：
在前一帧图像中采集若干张目标图像和背景图像；并对所述目标图像和背景图像进行多尺度变换得到多尺度图像提取特征；再采用稀疏测量矩阵对所述多尺度图像提取特征进行降维得到降维特征；并用所述降维特征去训练朴素贝叶斯分类器；
扫描当前帧图像的目标窗口周围的若干扫描窗口的目标图像，并提取所述目标图像的多尺度图像提取特征；再采用所述稀疏测量矩阵对所述多尺度图像提取特征进行降维得到降维特征；并对所述降维特征采用所述朴素贝叶斯分类器进行分类，将分类分数最大的窗口作为当前帧图像的目标窗口。
8.一种机器人头部转动控制方法，其特征在于，包括如下步骤：
预设图像的中心区域；
根据权利要求1-7任一项所述的人脸检测跟踪方法确定所述当前帧图像的跟踪框；
控制机器人头部转动，以使所述当前帧图像的跟踪框移动到所述中心区域上。
9.根据权利要求8所述的机器人头部转动控制方法，其特征在于，所述控制机器人头部转动，以使所述当前帧图像的跟踪框移动到所述中心区域上，包括：
计算所述中心区域的中心相对于所述跟踪框的中心的水平偏移度和垂直偏移度；
控制机器人头部沿水平方向转动水平偏移度并沿垂直方向转动垂直偏移度，使所述中心区域的中心和所述跟踪框的中心重叠。
10.根据权利要求8所述的机器人头部转动控制方法，其特征在于，所述控制机器人头部转动，以使所述当前帧图像的跟踪框移动到所述中心区域上，包括：
控制机器人头部沿水平方向和垂直方向转动，使跟踪框的中心位于所述中心区域的边界范围内。
11.一种人脸检测跟踪装置，其特征在于，包括：
深度检测处理模块，用于采集图像并对所述图像进行深度检测处理，获取所述图像中每一像素点的深度值；
人脸候选区域确定模块，用于根据当前帧图像的每一像素点的深度值确定人脸候选区域；
人脸框确定模块，用于对所述人脸候选区域进行人脸检测，以确定所述当前帧图像的人脸框；
人脸框跟踪模块，用于根据所述当前帧图像的人脸框和跟踪人脸框，确定所述当前帧图像的跟踪框，并对所述当前帧图像的跟踪框内的人脸进行跟踪，包括如下：
判断模块，用于判断所述当前帧图像是否为第一帧图像；
第二判断处理模块，用于在所述当前帧图像不是第一帧图像，则将前一帧图像中跟踪到的人脸框作为跟踪人脸框，根据所述当前帧图像中面积最大的人脸框与所述跟踪人脸框的面积确定所述当前帧图像的跟踪框，并对所述当前帧图像的跟踪框内的人脸进行跟踪，包括如下：若所述当前帧图像不是第一帧图像，则判断所述当前帧图像中面积最大的人脸框是否大于或等于所述跟踪人脸框的面积；
第二跟踪框确定模块，用于若否，则对所述跟踪人脸框与所述当前帧图像的人脸框求交集区域，并将交集区域内的跟踪人脸框作为当前帧图像的跟踪框，并对所述当前帧图像的跟踪框内的人脸进行跟踪。
12.根据权利要求11所述的人脸检测跟踪装置，其特征在于，所述人脸候选区域确定模块包括：
检测窗口确定子模块，用于根据所述当前帧图像的每一像素点的深度值确定每一像素点对应的检测窗口；
相邻窗口确定子模块，用于根据所述检测窗口确定与所述检测窗口相邻的相邻窗口；
掩膜条件判断子模块，用于判断所述检测窗口和所述相邻窗口是否满足所述人脸候选区域的掩膜条件；
候选区域确定子模块，用于在所述检测窗口和所述相邻窗口满足所述人脸候选区域的掩膜条件时，将所述检测窗口确定为所述人脸候选区域。
13.根据权利要求11所述的人脸检测跟踪装置，其特征在于，所述人脸框跟踪模块包括：
判断模块，用于判断所述当前帧图像是否为第一帧图像；
第一判断处理模块，用于在所述当前帧图像是第一帧图像时，确定所述当前帧图像中面积最大的人脸框为所述当前帧图像的跟踪框，并对所述当前帧图像的跟踪框内的人脸进行跟踪；
第二判断处理模块，用于在所述当前帧图像不是第一帧图像时，判断所述当前帧图像中面积最大的人脸框是否大于或等于所述跟踪人脸框的面积；
第一跟踪框确定模块，用于在所述当前帧图像中面积最大的人脸框大于或等于所述跟踪人脸框的面积时，确定所述当前帧图像中面积最大的人脸框为所述当前帧图像的跟踪框，并对所述当前帧图像的跟踪框内的人脸进行跟踪；
第二跟踪框确定模块，用于在所述当前帧图像中面积最大的人脸框小于所述跟踪人脸框的面积，则所述跟踪人脸框与所述当前帧图像的人脸框求交集区域，并将交集区域内的跟踪人脸框作为当前帧图像的跟踪框，并对所述当前帧图像的跟踪框内的人脸进行跟踪。
14.一种机器人头部转动控制系统，其特征在于，包括：
中心区域预设模块，用于预设图像的中心区域；
权利要求11-13任一项所述的人脸检测跟踪装置，用于确定所述当前帧图像的跟踪框；
头部转动控制模块，用于控制机器人头部转动，以使所述当前帧图像的跟踪框移动到所述中心区域上。
CN201610619340.1A 2016-07-29 2016-07-29 人脸检测跟踪方法及装置、机器人头部转动控制方法及系统 Active CN106250850B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610619340.1A CN106250850B (zh) 2016-07-29 2016-07-29 人脸检测跟踪方法及装置、机器人头部转动控制方法及系统
US15/348,641 US9892312B1 (en) 2016-07-29 2016-11-10 Face detecting and tracking method and device and method and system for controlling rotation of robot head
JP2016250750A JP6165959B1 (ja) 2016-07-29 2016-12-26 顔検出追跡方法、顔検出追跡装置、ロボット頭部の回動制御方法及びロボット頭部の回動制御システム
KR1020170091353A KR101881820B1 (ko) 2016-07-29 2017-07-19 얼굴 검출 추적 방법, 얼굴 검출 추적 장치, 로봇 헤드의 회전 제어 방법 및 로봇 헤드의 회전 제어 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610619340.1A CN106250850B (zh) 2016-07-29 2016-07-29 人脸检测跟踪方法及装置、机器人头部转动控制方法及系统

Publications (2)

Publication Number Publication Date
CN106250850A CN106250850A (zh) 2016-12-21
CN106250850B true CN106250850B (zh) 2020-02-21

Family

ID=57606883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610619340.1A Active CN106250850B (zh) 2016-07-29 2016-07-29 人脸检测跟踪方法及装置、机器人头部转动控制方法及系统

Country Status (4)

Country Link
US (1) US9892312B1 (zh)
JP (1) JP6165959B1 (zh)
KR (1) KR101881820B1 (zh)
CN (1) CN106250850B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106550136B (zh) * 2016-10-26 2020-12-29 努比亚技术有限公司 一种人脸提示框的追踪显示方法及移动终端
CN108227906B (zh) * 2016-12-22 2021-04-23 深圳大森智能科技有限公司 一种人机交互方法及装置
CN106780558B (zh) * 2016-12-27 2020-05-12 成都通甲优博科技有限责任公司 基于计算机视觉的点生成无人机目标初始跟踪框的方法
CN106650682B (zh) * 2016-12-29 2020-05-01 Tcl集团股份有限公司 一种人脸追踪的方法及装置
CN106875415B (zh) * 2016-12-29 2020-06-02 北京理工雷科电子信息技术有限公司 一种动态背景中弱小动目标的连续稳定跟踪方法
CN106886216B (zh) * 2017-01-16 2020-08-14 深圳前海勇艺达机器人有限公司 基于rgbd人脸检测的机器人自动跟踪方法和系统
CN108932731B (zh) * 2017-05-24 2021-02-05 上海云从企业发展有限公司 基于先验信息的目标跟踪方法及系统
KR102113591B1 (ko) 2017-09-12 2020-05-22 선전 구딕스 테크놀로지 컴퍼니, 리미티드 얼굴 검출 활성화 방법, 얼굴 검출 활성화 장치 및 전자 장치
US10778939B2 (en) * 2017-09-22 2020-09-15 Facebook, Inc. Media effects using predicted facial feature locations
CN109788185A (zh) * 2017-11-13 2019-05-21 郑宇杰 影像追踪装置及其影像追踪方法
CN107977636B (zh) * 2017-12-11 2021-11-30 北京小米移动软件有限公司 人脸检测方法及装置、终端、存储介质
CN108177146A (zh) * 2017-12-28 2018-06-19 北京奇虎科技有限公司 机器人头部的控制方法、装置及计算设备
CN109992008A (zh) * 2017-12-29 2019-07-09 深圳市优必选科技有限公司 一种机器人的目标跟随方法及装置
CN109063593A (zh) * 2018-07-13 2018-12-21 北京智芯原动科技有限公司 一种人脸跟踪方法及装置
CN109146906B (zh) * 2018-08-22 2021-03-23 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109871760B (zh) * 2019-01-15 2021-03-26 北京奇艺世纪科技有限公司 一种人脸定位方法、装置、终端设备及存储介质
CN111854107A (zh) * 2019-04-24 2020-10-30 杭州萤石软件有限公司 空气净化器的智能控制方法、装置及空气净化器
CN112288769B (zh) * 2019-07-23 2024-08-13 人加智能机器人技术（北京）有限公司 一种人体跟踪方法和装置
CN110503042B (zh) * 2019-08-23 2022-04-19 Oppo广东移动通信有限公司 图像处理方法、装置以及电子设备
CN110991250B (zh) * 2019-11-06 2023-04-25 江苏科技大学 融合颜色干扰模型与遮挡模型的人脸跟踪方法和跟踪系统
CN111168667B (zh) * 2019-12-13 2022-08-05 天津大学 基于贝叶斯分类器的机器人控制方法
CN111444850B (zh) * 2020-03-27 2023-11-14 北京爱笔科技有限公司 一种图片检测的方法和相关装置
US11232315B2 (en) 2020-04-28 2022-01-25 NextVPU (Shanghai) Co., Ltd. Image depth determining method and living body identification method, circuit, device, and medium
CN111783632B (zh) * 2020-06-29 2022-06-10 北京字节跳动网络技术有限公司 针对视频流的人脸检测方法、装置、电子设备及存储介质
CN111738193A (zh) * 2020-06-29 2020-10-02 湖南国科微电子股份有限公司 人脸抓拍方法和人脸抓拍系统
CN112183351B (zh) * 2020-09-28 2024-03-29 普联国际有限公司 结合肤色信息的人脸检测方法、装置、设备及可读存储介质
CN113284166A (zh) * 2021-04-15 2021-08-20 阳光暖果（北京）科技发展有限公司 一种基于深度级联神经网络的高速人脸跟踪方法及系统
CN114310935B (zh) * 2021-12-16 2023-08-04 杭州申昊科技股份有限公司 基于巡检机器人的轨道状态检测系统、机器人以及方法
CN116895047B (zh) * 2023-07-24 2024-01-30 北京全景优图科技有限公司 一种快速的人流量监控方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101196997A (zh) * 2007-12-29 2008-06-11 北京中星微电子有限公司 图像中最大人脸的跟踪装置和方法
CN101605269A (zh) * 2009-07-10 2009-12-16 清华大学 一种密集深度图像跟踪的方法和装置
CN103020580A (zh) * 2011-09-23 2013-04-03 无锡中星微电子有限公司 快速人脸检测方法
CN103870824A (zh) * 2014-03-28 2014-06-18 海信集团有限公司 一种在人脸检测跟踪过程中的人脸捕捉方法及装置
CN105116994A (zh) * 2015-07-07 2015-12-02 百度在线网络技术（北京）有限公司 基于人工智能的智能机器人追踪方法和追踪装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004107266A1 (en) * 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
JP4328286B2 (ja) * 2004-12-14 2009-09-09 本田技研工業株式会社 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム
JP5438601B2 (ja) * 2010-06-15 2014-03-12 日本放送協会 人物動作判定装置およびそのプログラム
US8836777B2 (en) * 2011-02-25 2014-09-16 DigitalOptics Corporation Europe Limited Automatic detection of vertical gaze using an embedded imaging device
CN102411368B (zh) 2011-07-22 2013-10-09 北京大学 机器人的主动视觉人脸跟踪方法和跟踪系统
KR101290782B1 (ko) * 2011-12-15 2013-07-30 한국산업기술대학교산학협력단 지능적 다중 객체 추적 알고리즘 기반의 다중 ｐｔｚ 카메라 제어 시스템 및 방법
JP2014106732A (ja) * 2012-11-27 2014-06-09 Sony Computer Entertainment Inc 情報処理装置および情報処理方法
US9754154B2 (en) * 2013-02-15 2017-09-05 Microsoft Technology Licensing, Llc Identification using depth-based head-detection data
US10055013B2 (en) * 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
US9792491B1 (en) * 2014-03-19 2017-10-17 Amazon Technologies, Inc. Approaches for object tracking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101196997A (zh) * 2007-12-29 2008-06-11 北京中星微电子有限公司 图像中最大人脸的跟踪装置和方法
CN101605269A (zh) * 2009-07-10 2009-12-16 清华大学 一种密集深度图像跟踪的方法和装置
CN103020580A (zh) * 2011-09-23 2013-04-03 无锡中星微电子有限公司 快速人脸检测方法
CN103870824A (zh) * 2014-03-28 2014-06-18 海信集团有限公司 一种在人脸检测跟踪过程中的人脸捕捉方法及装置
CN105116994A (zh) * 2015-07-07 2015-12-02 百度在线网络技术（北京）有限公司 基于人工智能的智能机器人追踪方法和追踪装置

Also Published As

Publication number Publication date
US9892312B1 (en) 2018-02-13
JP6165959B1 (ja) 2017-07-19
KR101881820B1 (ko) 2018-07-25
CN106250850A (zh) 2016-12-21
JP2018018489A (ja) 2018-02-01
US20180032794A1 (en) 2018-02-01
KR20180013725A (ko) 2018-02-07

Similar Documents

Publication Publication Date Title
CN106250850B (zh) 人脸检测跟踪方法及装置、机器人头部转动控制方法及系统
Wang et al. Automatic laser profile recognition and fast tracking for structured light measurement using deep learning and template matching
US10275639B2 (en) Face detecting and tracking method, method for controlling rotation of robot head and robot
JP4216668B2 (ja) 映像視覚情報を結合してリアルタイムで複数の顔を検出して追跡する顔検出・追跡システム及びその方法
CN101794385B (zh) 用于视频序列的多角度多目标快速人脸跟踪方法
US8902053B2 (en) Method and system for lane departure warning
US20190185295A1 (en) User detection system and image processing device
Li et al. Rapid and robust human detection and tracking based on omega-shape features
Geismann et al. A two-staged approach to vision-based pedestrian recognition using Haar and HOG features
KR101653278B1 (ko) 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템
CN106371148B (zh) 一种基于毫米波图像的人体异物检测方法及系统
US20060140481A1 (en) Target detecting system and method
TWI415032B (zh) Object tracking method
JP2008242571A (ja) 物体検出装置
KR20150002038A (ko) 하라이크 특징과 아다브스트에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 차량을 인식 및 추적하는 방법
JP2014059655A (ja) 道路状況監視装置、及び道路状況監視方法
Wang et al. Monocular based road vehicle detection with feature fusion and cascaded Adaboost algorithm
Zhao et al. APPOS: An adaptive partial occlusion segmentation method for multiple vehicles tracking
KR20190009006A (ko) 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법
CN106951831B (zh) 一种基于深度摄像机的行人检测跟踪方法
CN110321828B (zh) 一种基于双目摄像机和车底阴影的前方车辆检测方法
JPH07105487A (ja) 走行レーン認識装置
Kilicarslan et al. Pedestrian detection from non-smooth motion
Biswas et al. A Novel Approach to Detect and Classify the Defective of Missing Rail Anchors in Real-time
JP2014071482A (ja) 物体検出装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 518000 16th and 22nd Floors, C1 Building, Nanshan Zhiyuan, 1001 Xueyuan Avenue, Nanshan District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen UBTECH Technology Co.,Ltd.

Address before: 518000 16th and 22nd Floors, C1 Building, Nanshan Zhiyuan, 1001 Xueyuan Avenue, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen UBTECH Technology Co.,Ltd.

CP01 Change in the name or title of a patent holder