JP2018005881A - 顔検出追跡方法、ロボットヘッドの回動制御方法、及びロボット - Google Patents

顔検出追跡方法、ロボットヘッドの回動制御方法、及びロボット Download PDF

Info

Publication number
JP2018005881A
JP2018005881A JP2016249054A JP2016249054A JP2018005881A JP 2018005881 A JP2018005881 A JP 2018005881A JP 2016249054 A JP2016249054 A JP 2016249054A JP 2016249054 A JP2016249054 A JP 2016249054A JP 2018005881 A JP2018005881 A JP 2018005881A
Authority
JP
Japan
Prior art keywords
frame
face
image
tracking
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016249054A
Other languages
English (en)
Inventor
園 紀
Yuan Ji
園 紀
友軍 熊
Youjun Xiong
友軍 熊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ubtech Robotics Corp
Original Assignee
Ubtech Robotics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ubtech Robotics Corp filed Critical Ubtech Robotics Corp
Publication of JP2018005881A publication Critical patent/JP2018005881A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/167Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0014Image feed-back for automatic industrial control, e.g. robot with camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/33Director till display
    • G05B2219/33113Initialise each drive during start, load data to drive and image to controller

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

【課題】ロボットヘッドの回動制御方法を利用してヘッドの回動を制御することにより、ロボットの動作をより生き生きとすることができるロボットを提供する。【解決手段】本発明は、顔検出追跡方法、ロボットヘッドの回動制御方法、及びロボットを開示する。当該顔検出追跡方法は、画像を採取し、前記画像を顔検出して、各フレームの画像の顔枠を確定するステップと、現在フレーム画像を誤検出除去処理し、処理された前記現在フレーム画像の顔枠を第1の顔枠として保存するステップと、前記第1の顔枠及び追跡顔枠に基づいて、前記現在フレーム画像の追跡枠を確定し、前記現在フレーム画像の追跡枠内の顔を追跡するステップとを含む。【選択図】図1

Description

本発明は顔識別分野に関し、特に、顔検出追跡方法、ロボットヘッドの回動制御方法、及びロボットに関する。
コンピュータビジョン技術は、益々成熟するにつれて、人々の日常生活に広く使用されている。例えば、コンピュータビジョン技術を利用してロボットを制御することにより、ロボットに視覚機能を持たせ、検出、判断、識別及び測量等のインテリジェントな作業が実現される。従来のロボットでは、撮像装置が内蔵された上で顔検出技術と結合することで、ロボットカメラで採取した画像における顔を検出できるとともに、機械的動作による顔追跡により、ロボットヘッドを顔の移動につれて回動させることができた。しかし、従来の顔検出追跡方法は、誤検出率が高く、顔ではない部分を顔として検出する恐れがあった。従来の顔検出追跡方法をロボットヘッドの回動制御方法に適用する場合に、顔検出の誤検出率が高いため、ロボットヘッドの回動制御が正確ではなく、回動不調が発生しやすい問題があった。
前記従来技術における問題を解決するために、本発明は、顔検出追跡方法、ロボットヘッドの回動制御方法、及びロボットを提供する。
本発明は以下の手段により前記技術問題を解決する。
画像を採取し、前記画像に対し顔の検出を行い、各フレームの画像の顔枠を確定するステップと、
現在フレーム画像につき誤検出除去処理を行い、処理された前記現在フレーム画像の顔枠を第1の顔枠として保存するステップと、
前記第1の顔枠及び追跡顔枠に基づいて、前記現在フレーム画像の追跡枠を確定し、前記現在フレーム画像の追跡枠における顔を追跡するステップと、
を含む顔検出追跡方法。
好ましくは、 現在フレーム画像につき誤検出除去処理を行い、処理された前記現在フレーム画像の顔枠を第1の顔枠として保存するステップは、
前記現在フレーム画像及び直前フレーム画像に、いずれも顔枠が存在するか否かを判断するステップと、
いずれにも顔枠が存在した場合、前記現在フレーム画像の顔枠と前記直前フレーム画像の顔枠が、画像の対応する位置にあるか否かを判断するステップと、
画像の対応する位置にある場合、前記現在フレーム画像が誤検出顔枠ではないものとして、前記現在フレーム画像の顔枠を前記第1の顔枠として保存するステップと、を含む。
好ましくは、前記現在フレーム画像の顔枠と前記直前フレーム画像の顔枠とが、画像の対応する位置にあるか否かを判断するステップは、
前記現在フレーム画像の顔枠と前記直前フレーム画像の顔枠とが画像に重なる部分があるか否かを判断するステップと、
重なる部分があると、重なり面積と前記現在フレーム画像の顔枠面積との百分率を第1の重なり率として算出し、前記重なり面積と前記直前フレーム画像の顔枠面積との百分率を第2の重なり率として算出するステップと、
前記第1の重なり率及び前記第2の重なり率のそれぞれが重なり率の所定値より大きいか否かを判断するステップと、
前記第1の重なり率及び/又は前記第2の重なり率が前記重なり率の所定値より大きい場合、前記現在フレーム画像の顔枠と前記直前フレーム画像の顔枠が画像の対応する位置にあるステップと、を含む。
好ましくは、現在フレーム画像につき誤検出除去処理を行い、処理された前記現在フレーム画像の顔枠を第1の顔枠として保存するステップは、さらに、
前記現在フレーム画像の顔枠と前記直前フレーム画像の顔枠が画像の対応する位置に存在しない、或いは前記現在フレーム画像には顔枠が存在するものの、前記直前フレーム画像には顔枠が存在しない場合、前記現在フレーム画像の顔枠は新しく出現する顔枠又は誤検出顔枠であると判断し、前記現在フレーム画像の顔枠を保存するステップと、
前記現在フレーム画像に顔枠が存在しないが、前記直前フレーム画像に顔枠が存在すると、前記直前フレーム画像の顔枠は誤検出顔枠又は消失顔枠であり、前記直前フレーム画像の顔枠を保存しないステップと、を含む。
好ましくは、現在フレーム画像につき誤検出除去処理を行うステップの後に、さらに、前記現在フレーム画像の顔枠及び直前フレーム画像の顔枠に対してブレ除去処理を行い、処理された顔枠を前記第1の顔枠として保存するステップを含む。
好ましくは、前記現在フレーム画像の顔枠及び直前フレーム画像の顔枠に対してブレ除去処理を行うステップは、
前記現在フレーム画像の顔枠と前記直前フレーム画像の顔枠の中心、幅及び高さにつき、それぞれ平均値を求めるステップと、
顔枠の中心、幅及び高さの平均値に基づいて確定した顔枠を前記第1の顔枠として保存するステップと、を含む。
好ましくは、前記顔追跡ステップは、
前記第1の顔枠の面積と追跡顔枠の面積とを比較するステップと、
前記第1の顔枠の面積が追跡顔枠の面積以上であると、前記第1の顔枠を前記現在フレーム画像の追跡枠とし、前記現在フレーム画像の追跡枠内の顔を追跡するステップと、
前記第1の顔枠の面積が追跡顔枠の面積より小さいと、前記追跡顔枠を前記現在フレーム画像の追跡枠とし、前記現在フレーム画像の追跡枠内の顔を追跡するステップと、を含む。
本発明は、さらに、
画像の中心領域を予め設定するステップと、
前記顔検出追跡方法により、前記現在フレーム画像の追跡枠を確定するステップと、
前記現在フレーム画像の追跡枠を前記中心領域にまで移動させるように、ロボットヘッドの回動を制御するステップと、
を含むロボットヘッドの回動制御方法を提供する。
好ましくは、前記ロボットヘッドの回動制御方法は、
前記中心領域の中心の、前記追跡枠の中心に対する水平オフセット及び垂直オフセットを算出するステップと、
前記中心領域の中心と前記追跡枠の中心が重なるように、ロボットヘッドを水平方向に沿って水平オフセット回動させ、垂直方向に沿って垂直オフセット回動させるように制御するステップと、を含む。
好ましくは、前記ロボットヘッドの回動制御方法は、
追跡枠の中心を前記中心領域の境界範囲内に位置させるように、ロボットヘッドを水平方向及び垂直方向に沿って回動させるように制御するステップを含む。
本発明は、さらに、前記ロボットヘッドの回動制御方法によりロボットヘッドの回動を制御するロボットを提供する。
本発明の提供する顔検出追跡方法は、採取した画像を顔検出した後に、各フレームの画像の顔枠を確定し、さらに、現在フレーム画像を誤検出除去処理することにより、誤検出率の低減、顔検出の正確率の向上に有利である。そして、現在フレーム画像の追跡枠を確定し、追跡枠内の顔を追跡することにより、検出した顔の連続性を保障する。
本発明の提供するロボットヘッドの回動制御方法は、画像の中心領域を予め設定し、顔検出追跡方法を利用して現在フレーム画像の追跡枠を確定し、追跡枠を中心領域にまで移動させるようにロボットヘッドを制御する。当該ロボットヘッドの回動制御方法は、現在フレーム画像の追跡枠及び画像の中心領域の位置に基づいて、ロボットの左右回動又は上下回動を制御することにより、ロボットの動作をより生き生きとする。顔検出追跡方法を利用して現在フレーム画像の追跡枠を確定することにより、ロボットヘッドのスムーズな回動を確保し、回動過程に回動不調の発生を避けることができる。
本発明の提供するロボットは、ロボットヘッドの回動制御方法を利用してヘッドの回動を制御することにより、ロボットの動作をより生き生きとすることができる。
以下、図面及び実施例を参照しながら、本発明をより詳しく説明する。
図1は本発明の実施例1における顔検出追跡方法のフロー図である。 図2は本発明の実施例1における顔検出追跡方法の別のフロー図である。 図3は本発明の実施例2におけるロボットヘッドの回動制御方法のフロー図である。 図4は本発明の実施例2で採取した現在フレーム画像の模式図である。
本発明の技術特徴、目的及び効果を分かりやすくするために、図面を参照しながら本発明の具体的な実施態様を説明する。
図1及び図2は、本実施例における顔検出追跡方法を示す。当該顔検出追跡方法は以下のステップを含む。
S11:顔検出ステップ
画像を採取し、採取した画像をフレーム毎に顔検出して、各フレームの画像の顔枠を確定する。本実施例において、Viola-Jones顔検出アルゴリズムを採用して採取した各フレームの画像を顔検出する。Viola-Jonesアルゴリズムは、積分画像により画像の固有値を抽出することにより、ある程度に顔検出の速度を高める。また、Viola-Jonesアルゴリズムは、Adaboost分類器の特徴により特徴を選別し、最も有用な特徴を保留することで、検出際の演算の複雑度を低減し、顔検出の速度を速くする。さらに、Viola-JonesアルゴリズムはAdaboost分類器をカスケードAdaboost分類器に改造して、顔検出の正確度を高める。なお、顔検出追跡方法において、本実施例で使用されるViola-Jonesアルゴリズムにより採取した各フレームの画像を顔検出して、各フレームの画像の顔枠を確定することができるが、このViola-Jonesアルゴリズムに限られない。
S12:誤検出除去ステップ
現在フレーム画像を誤検出除去処理し、現在フレーム画像の顔枠を第1の顔枠として保存する。具体的には、当該第1の顔枠は、現在フレーム画像から採取した複数の顔枠のうち面積が最も大きな顔枠である。ここで、各フレームの画像の顔枠は矩形であり、顔枠の輝度と高さとの積は顔枠の面積である。誤検出除去ステップにより、顔検出の過程中の誤検出顔枠を除去することができ、顔検出の正確度を高めることに有利である。図2に示すように、ステップS12における誤検出除去ステップは以下のステップを含む。
S121:現在フレーム画像と直前フレーム画像にいずれも顔枠が存在するか否かを判断する。顔検出ステップにより各フレームの画像の顔枠を確定することができ、現在フレーム画像と直前フレーム画像にいずれも顔枠が存在するか否かを判断することにより、連続する2つのフレーム画像にいずれも顔枠が存在するか否かを判断できるため、誤検出顔枠の発生を判断することに便利である。
S122:現在フレーム画像と直前フレーム画像にいずれも顔枠が存在すると、現在フレーム画像の顔枠と直前フレーム画像の顔枠が画像の対応する位置にあるか否かを判断する。本実施例において、各フレームの画像の顔枠は矩形で、顔枠の幅と高さとの積は顔枠面積である。以各フレームの画像の左下角を座標原点として座標系を作成し、各フレームの画像の顔枠の中心及び幅と高さにより顔枠の境界範囲を確定することができる。ステップS122は具体的に以下のステップを含む。
S1221:現在フレーム画像の顔枠と直前フレーム画像の顔枠は画像に重なる部分があるか否かを判断する。つまり、現在フレーム画像の顔枠の境界範囲と直前フレーム画像の顔枠の境界範囲との間に重なる部分があるか否かを判断する。
S1222:現在フレーム画像の顔枠と直前フレーム画像の顔枠は画像に重なる部分があると、重なり面積と現在フレーム画像の顔枠面積との百分率を第1の重なり率として算出し、重なり面積と直前フレーム画像の顔枠面積との百分率を第2の重なり率として算出する。
S1223:第1の重なり率及び第2の重なり率が重なり率の所定値より大きいか否かを、それぞれ判断する。
S1224:第1の重なり率が重なり率の所定値より大きい、及び/又は第2の重なり率が重なり率の所定値より大きいと、現在フレーム画像の顔枠と直前フレーム画像の顔枠が画像の対応する位置にある。現在フレーム画像の顔枠が直前フレーム画像の顔枠の面積と異なる可能性があるので、重なり面積が同じであると、算出した第1の重なり率と第2の重なり率が異なり、本実施例において、第1の重なり率及び第2の重なり率のいずれか一方が重なり率の所定値より大きければ、現在フレーム画像の顔枠と直前フレーム画像の顔枠が画像の対応する位置にあると考えられる。
S123:現在フレーム画像の顔枠と直前フレーム画像の顔枠が画像の対応する位置にあると、現在フレーム画像は誤検出顔枠ではなく、現在フレーム画像の顔枠を前記第1の顔枠として保存する。ここで、第1の顔枠は誤検出が除去された顔枠である。現在フレーム画像と直前フレーム画像との対応する位置にいずれも顔枠がある、つまり、連続する2つのフレーム画像の対応する位置にいずれも顔枠があると、現在フレーム画像の顔枠が誤検出顔枠である確率は極めて低いと示されるので、現在フレーム画像の顔枠は第1の顔枠であると判定する。本実施例において、連続する2つのフレーム画像の対応する位置から採取した顔枠を第1の顔枠とし、いずれかのフレーム画像に顔枠がない場合又は連続する2つのフレーム画像の顔枠が対応する位置にない場合の現在フレーム画像の顔枠を、第1の顔枠から除くことにより、誤検出率を低減し、顔検出の正確率を高めることができる。
S124:現在フレーム画像の顔枠と直前フレーム画像の顔枠が画像の対応する位置にない、或いは現在フレーム画像に顔枠が存在するが、直前フレーム画像に顔枠が存在しないと、現在フレーム画像の顔枠は新しく出現する顔枠又は誤検出顔枠であり、現在フレーム画像の顔枠を第1の顔枠として保存するのではなく、直後フレーム画像と比較するために現在フレーム画像の顔枠を保存する。
S125:現在フレーム画像に顔枠が存在しないが、直前フレーム画像に顔枠が存在すると、直前フレーム画像の顔枠は誤検出顔枠又は消失顔枠であり、誤検出除去の効果を達するために、直前フレーム画像の顔枠を保存しない。
本実施例の誤検出除去ステップは、連続する2つのフレーム画像(即ち、現在フレーム画像と直前フレーム画像)の対応する位置にいずれも顔枠が存在するか否かを判断することにより、誤検出顔枠の除去の目的を達する。現在フレーム画像の顔枠と直前フレーム画像の対応する位置にある顔枠との位置及びサイズに小さな偏差がある可能性があるので、そのまま現在フレーム画像の顔枠を第1の顔枠とすると、顔検出の正確率に影響を与える。そのため、現在フレーム画像を誤検出除去処理した後に、ブレ除去ステップを設ける。つまり、現在フレーム画像の顔枠及び直前フレーム画像の顔枠に対してブレ除去処理し、処理した顔枠を第1の顔枠として保存することにより、現在フレーム画像の顔枠及び直前フレーム画像の対応する位置にある顔枠の位置ブレの除去の目的を達し、顔検出の正確率を保証する。
具体的には、ブレ除去ステップは、現在フレーム画像の顔枠と直前フレーム画像の顔枠の中心、幅及び高さにつき、それぞれ平均値を求め、顔枠の中心、幅及び高さの平均値に基づいて確定した顔枠を第1の顔枠として保存することを含む。つまり、現在フレーム画像の顔枠と直前フレーム画像の顔枠の中心、幅及び高さにつき、それぞれ平均値を求め、連続する2つのフレーム画像の中心平均値、幅平均値及び高さ平均値を得て、当該中心平均値、幅平均値及び高さ平均値により1つの位置ブレの無い顔枠を確定でき、当該顔枠を第1の顔枠として保存する。
S13:顔追跡ステップ
第1の顔枠及び追跡顔枠に基づいて、現在フレーム画像の追跡枠を確定し、現在フレーム画像の追跡枠内の顔を追跡する。ここで、追跡顔枠とは、顔追跡アルゴリズムにより現在フレーム画像において追跡した顔領域を意味する。顔追跡ステップは、採取したあるフレームの画像に顔がないと、連続する複数のフレーム画像の顔検出結果が連続しないことを避けるために設置するものである。本実施例において、顔追跡アルゴリズムはCamShiftアルゴリズムを含むが、これに限られない。CamShiftアルゴリズムは、直前フレーム画像において追跡した顔枠を直後フレーム画像の追跡顔枠として、追跡顔枠の中心、幅及び高さを含む追跡顔枠の位置情報を抽出するものである。本実施例の顔追跡ステップにおいて、直前フレーム画像で追跡した追跡顔枠とステップS12で確定した第1の顔枠とを比較して、現在フレーム画像の追跡枠を確定し、現在フレーム画像の追跡枠内の顔を追跡する。現在フレーム画像の追跡枠は直後フレーム画像の追跡顔枠とされることができる。顔追跡ステップは以下のステップを含む。
S131:第1の顔枠の面積と追跡顔枠の面積を比較する。なお、第1の顔枠の面積は第1の顔枠の幅と高さとの積である。追跡顔枠の面積は追跡顔枠の幅と高さとの積である。
S132:第1の顔枠の面積が追跡顔枠の面積以上であると、第1の顔枠を現在フレーム画像の追跡枠とし、現在フレーム画像の追跡枠内の顔を追跡する。この場合において、第1の顔枠を直後フレーム画像の追跡顔枠とする。具体的には、CamShiftアルゴリズムにより現在フレーム画像の追跡枠内の顔を追跡する。
S133:第1の顔枠の面積が追跡顔枠の面積より小さいと、追跡顔枠を現在フレーム画像の追跡枠として保存し、現在フレーム画像の追跡枠内の顔を追跡する。この場合において、もとの追跡顔枠を直後フレーム画像の処理際の追跡顔枠として保存する。第1の顔枠の面積が追跡顔枠の面積より小さいと、追跡顔枠を現在フレーム画像の追跡枠とし、現在フレーム画像の顔枠の面積より大きい。
当該顔追跡ステップにおいて、第1の顔枠の面積と追跡顔枠の面積とを比較し、面積が最も大きな顔枠を現在フレーム画像の追跡枠として選択し、CamShiftアルゴリズムにより現在フレーム画像の追跡枠内の顔を追跡する。面積が最も大きな顔枠を現在フレーム画像の追跡枠として選択することは、現在フレーム画像に複数の顔枠が存在する場合に、面積が最も大きな顔枠を現在フレーム画像の追跡枠として確定することにより、現在フレーム画像の追跡枠内の顔を追跡し、応答効率の向上を実現するためである。
本実施例に提供される顔検出追跡方法は、顔検出ステップにより採取した画像を顔検出した後に、各フレームの画像の顔枠を確定し、さらに、誤検出除去ステップにより現在フレーム画像を誤検出除去処理することにより、誤検出率の低減、顔検出の正確率の向上に有利である。そして、顔追跡ステップによりさらに現在フレーム画像の追跡枠を確定し、追跡枠内の顔を追跡することにより、検出した顔の連続性を保障する。また、誤検出除去ステップの後にブレ除去ステップを設置することで、顔検出の正確率をさらに高める。
図3には本実施例におけるロボットヘッドの回動制御方法を示す。ここで、当該ロボットには画像を採取するための撮像装置が内蔵されている。当該ロボットヘッドの回動制御方法は以下のステップを含む。
S21:中心領域予め設定ステップ
画像の中心領域を予め設定する。図4に示すように、現在フレーム画像の左下角を原点Oとして座標系OXYを製作し、当該予め設定画像の幅をw、高さをhとして、予め設定画像の中心領域の幅が0.1w、高さが0.1hであるとする。予め設定画像の中心領域の中心が予め設定画像の中心に位置するため、予め設定画像の中心領域の中心Aの座標は(0.5w、0.5h)となる。対応的には、中心領域の左下角の座標は(0.45w、0.45h)、左上角の座標は(0.45w、0.55h)、右下角の座標は(0.55w、0.45h)、右上角の座標は(0.55w、0.55h)となる。従って、当該予め設定画像の中心領域の境界範囲における幅の範囲は(0.45w-0.55w)、高さの範囲は(0.45h-0.55h)である。
S22:顔検出追跡ステップ
実施例1における顔検出追跡方法により現在フレーム画像の追跡枠を確定し、追跡枠の中心を確定し、現在フレーム画像の追跡枠の中心Bの座標(x0、y0)をリアルタイムに読み込む。実施例1に提供される顔検出追跡方法により顔を追跡する際に、顔検出ステップと顔追跡ステップとの間に誤検出除去ステップを設置することにより、誤検出率の低減、顔検出の正確率の向上に有利である。さらに、顔検出ステップと顔追跡ステップとの組合せにより、ロボットヘッドのスムーズな回動を確保し、回動過程に回動不調の発生を避ける。
S23:ヘッド回動制御ステップ
現在フレーム画像の追跡枠を中心領域にまで移動させるようにロボットヘッドの回動を制御する。採取した現在フレーム画像の追跡枠が移動する際に、現在フレーム画像の追跡枠が中心領域に保持されるようにロボットヘッドの回動を制御することにより、ロボットヘッドが顔につれて回動することを実現する。
ステップS23は、中心領域の中心の、追跡枠の中心に対する水平オフセット及び垂直オフセットを算出し、中心領域の中心と追跡枠の中心とが重なるように、ロボットヘッドを水平方向に沿って水平オフセット回動させ、及び垂直方向に沿って垂直オフセット回動させるように制御することにより実現されることができる。
図4では、水平オフセットは∠ABD、垂直オフセットは∠ABCである。ただし、A(0.5w、0.5h)、B(x0、y0)とされると、

本実施例において、ロボットヘッドを水平方向に水平オフセット∠ABD回動させ、及びロボットヘッドを垂直方向に垂直オフセット∠ABC回動させるように制御することにより、ロボットが採取した現在フレーム画像の追跡枠の中心Bと中心領域の中心Aとが重なり、ロボットヘッドが、検出した顔につれて回動することができ、ロボットの動作がより生き生きとなる。
ステップS23は、追跡枠の中心が中心領域の境界範囲内に位置するように、ロボットヘッドを平方向及び垂直方向に沿って回動させるように制御することによっても実現されることができる。ロボットは現在フレーム画像の追跡枠の中心Bの座標(x0、y0)をリアルタイムに読み込み、x0と中心領域の境界範囲の幅範囲(0.45w-0.55w)とを比較し、y0と中心領域の境界範囲の高さ範囲(0.45h-0.55h)を比較する。x0<0.45wである場合、ロボットヘッドを左に回動させ、x0>0.55wである場合に、ロボットヘッドを右に回動させ、y0<0.45hである場合に、ロボットヘッドを下げさせ、y0>0.55hである場合に、ロボットヘッドを上げさせ、追跡顔が画像中心領域に位置する場合に、ロボットヘッドをそのまま保持するように制御する。当該方法によりロボットヘッドを検出した顔につれて回動させる過程が簡単で、計算量が少なく、制御速度が速い。
本実施例に提供されるロボットヘッドの回動制御方法では、内蔵撮像装置により画像を採取し、画像の中心領域を予め設定し、顔検出追跡方法を利用して現在フレーム画像の追跡枠を確定し、追跡枠を中心領域にまで移動させるようにロボットヘッドを制御する。当該ロボットヘッドの回動制御方法は、現在フレーム画像の追跡枠及び画像の中心領域の位置に基づいて、ロボットの左右回動又は上下回動を制御することにより、ロボットの動作をより生き生きとする。顔検出追跡方法を利用して現在フレーム画像の追跡枠を確定することにより、ロボットヘッドのスムーズな回動を確保し、回動過程に回動不調の発生を避けることができる。
以上、実施例について説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。また、特定又は具体的な場合によって、本発明の趣旨を損なわない範囲内で種々の変形を行うことができる。従って、本発明は、上記実施例により限定されるものではなく、本発明の特許請求の範囲内のすべての実施態様も含むべきである。

Claims (11)

  1. 画像を採取し、前記画像に対し顔の検出を行い、各フレームの画像の顔枠を確定するステップと、
    現在フレーム画像につき誤検出除去処理を行い、処理された前記現在フレーム画像の顔枠を第1の顔枠として保存するステップと、
    前記第1の顔枠及び追跡顔枠に基づいて、前記現在フレーム画像の追跡枠を確定し、前記現在フレーム画像の追跡枠における顔を追跡するステップと、
    を含むことを特徴とする顔検出追跡方法。
  2. 現在フレーム画像につき誤検出除去処理を行い、処理された前記現在フレーム画像の顔枠を第1の顔枠として保存するステップは、
    前記現在フレーム画像及び直前フレーム画像に、いずれも顔枠が存在するか否かを判断するステップと、
    いずれにも顔枠が存在した場合、前記現在フレーム画像の顔枠と前記直前フレーム画像の顔枠が、画像の対応する位置にあるか否かを判断するステップと、
    画像の対応する位置にある場合、前記現在フレーム画像が誤検出顔枠ではないものとして、前記現在フレーム画像の顔枠を前記第1の顔枠として保存するステップと、
    を含むことを特徴とする請求項1に記載の顔検出追跡方法。
  3. 前記現在フレーム画像の顔枠と前記直前フレーム画像の顔枠とが、画像の対応する位置にあるか否かを判断するステップは、
    前記現在フレーム画像の顔枠と前記直前フレーム画像の顔枠とが画像の中で重なる部分があるか否かを判断するステップと、
    重なる部分がある場合、重なる面積と前記現在フレーム画像の顔枠面積との百分率を第1の重なり率として算出し、前記重なり面積と前記直前フレーム画像の顔枠面積との百分率を第2の重なり率として算出するステップと、
    前記第1の重なり率及び前記第2の重なり率のそれぞれが重なり率の所定値より大きいか否かを判断するステップと、
    前記第1の重なり率及び/又は前記第2の重なり率が前記重なり率の所定値より大きい場合、前記現在フレーム画像の顔枠と前記直前フレーム画像の顔枠が画像の対応する位置にあると判断するステップと、
    を含むことを特徴とする請求項2に記載の顔検出追跡方法。
  4. 現在フレーム画像につき誤検出除去処理を行い、処理された前記現在フレーム画像の顔枠を第1の顔枠として保存するステップは、さらに、
    前記現在フレーム画像の顔枠と前記直前フレーム画像の顔枠が画像の対応する位置に存在しない、或いは前記現在フレーム画像には顔枠が存在するものの、前記直前フレーム画像には顔枠が存在しない場合、前記現在フレーム画像の顔枠は新しく出現する顔枠又は誤検出顔枠であると判断し、前記現在フレーム画像の顔枠を保存するステップと、
    前記現在フレーム画像に顔枠が存在しなくて、前記直前フレーム画像に顔枠が存在する場合、前記直前フレーム画像の顔枠が誤検出顔枠又は消失顔枠であると判断し、前記直前フレーム画像の顔枠を保存しないステップと、
    を含むことを特徴とする請求項2に記載の顔検出追跡方法。
  5. 現在フレーム画像につき誤検出除去処理を行うステップの後に、さらに、
    前記現在フレーム画像の顔枠及び直前フレーム画像の顔枠に対しブレ除去処理を行い、処理された顔枠を前記第1の顔枠として保存するステップを含むことを特徴とする請求項1に記載の顔検出追跡方法。
  6. 前記現在フレーム画像の顔枠及び直前フレーム画像の顔枠に対しブレ除去処理を行うステップは、
    前記現在フレーム画像の顔枠と前記直前フレーム画像の顔枠の中心、幅及び高さにつき、それぞれ平均値を求めるステップと、
    顔枠の中心、幅及び高さの平均値に基づいて確定した顔枠を前記第1の顔枠として保存するステップと、
    を含むことを特徴とする請求項5に記載の顔検出追跡方法。
  7. 前記第1の顔枠及び追跡顔枠に基づいて、前記現在フレーム画像の追跡枠を確定し、前記現在フレーム画像の追跡枠における顔を追跡するステップは、
    前記第1の顔枠の面積と追跡顔枠の面積とを比較するステップと、
    前記第1の顔枠の面積が追跡顔枠の面積以上である場合、前記第1の顔枠を前記現在フレーム画像の追跡枠とし、前記現在フレーム画像の追跡枠内の顔を追跡するステップと、
    前記第1の顔枠の面積が追跡顔枠の面積より小さい場合、前記追跡顔枠を前記現在フレーム画像の追跡枠とし、前記現在フレーム画像の追跡枠内の顔を追跡するステップと、
    を含むことを特徴とする請求項1に記載の顔検出追跡方法。
  8. 画像の中心領域を予め設定するステップと、
    請求項1乃至請求項7のいずれか1項に記載の顔検出追跡方法により、前記現在フレーム画像の追跡枠を確定するステップと、
    前記現在フレーム画像の追跡枠を前記中心領域にまで移動させるように、ロボットヘッドの回動を制御するステップと、
    を含むことを特徴とするロボットヘッドの回動制御方法。
  9. 前記現在フレーム画像の追跡枠を前記中心領域にまで移動させるように、ロボットヘッドの回動を制御するステップは、
    前記中心領域の中心の、前記追跡枠の中心に対する水平オフセット及び垂直オフセットを算出するステップと、
    前記中心領域の中心と前記追跡枠の中心が重なるように、ロボットヘッドを水平方向に沿って水平オフセット回動させ、垂直方向に沿って垂直オフセット回動させるように制御するステップと、
    を含むことを特徴とする請求項8に記載のロボットヘッドの回動制御方法。
  10. 前記現在フレーム画像の追跡枠を前記中心領域にまで移動させるように、ロボットヘッドの回動を制御するステップは、
    追跡枠の中心を前記中心領域の境界範囲内に位置させるように、ロボットヘッドを水平方向及び垂直方向に沿って回動させるように制御するステップを含むことを特徴とする請求項8に記載のロボットヘッドの回動制御方法。
  11. ロボットであって、請求項8乃至請求項10のいずれか1項に記載のロボットヘッドの回動制御方法によりロボットヘッドの回動を制御することを特徴とするロボット。
JP2016249054A 2016-07-08 2016-12-22 顔検出追跡方法、ロボットヘッドの回動制御方法、及びロボット Pending JP2018005881A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610539480.8 2016-07-08
CN201610539480.8A CN106228112B (zh) 2016-07-08 2016-07-08 人脸检测跟踪方法及机器人头部转动控制方法和机器人

Publications (1)

Publication Number Publication Date
JP2018005881A true JP2018005881A (ja) 2018-01-11

Family

ID=57519046

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016249054A Pending JP2018005881A (ja) 2016-07-08 2016-12-22 顔検出追跡方法、ロボットヘッドの回動制御方法、及びロボット

Country Status (3)

Country Link
US (1) US10275639B2 (ja)
JP (1) JP2018005881A (ja)
CN (1) CN106228112B (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106550136B (zh) * 2016-10-26 2020-12-29 努比亚技术有限公司 一种人脸提示框的追踪显示方法及移动终端
CN106826867A (zh) * 2017-03-31 2017-06-13 上海思依暄机器人科技股份有限公司 一种机器人及控制机器人头部转动的方法
CN109040574A (zh) * 2017-06-08 2018-12-18 北京君正集成电路股份有限公司 一种转动摇头机跟踪目标的方法及装置
CN108053427B (zh) * 2017-10-31 2021-12-14 深圳大学 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN108875506B (zh) * 2017-11-17 2022-01-07 北京旷视科技有限公司 人脸形状点跟踪方法、装置和系统及存储介质
CN109955248A (zh) * 2017-12-26 2019-07-02 深圳市优必选科技有限公司 一种机器人及其人脸跟随方法
CN108304799A (zh) * 2018-01-30 2018-07-20 广州市君望机器人自动化有限公司 一种人脸追踪方法
CN108304001A (zh) * 2018-02-09 2018-07-20 成都新舟锐视科技有限公司 一种人脸检测跟踪方法、球机头部转动控制方法及球机
CN108647633B (zh) * 2018-05-08 2023-12-22 腾讯科技(深圳)有限公司 识别跟踪方法、识别跟踪装置和机器人
CN109002776B (zh) * 2018-06-29 2021-06-15 金蝶软件(中国)有限公司 人脸识别方法、系统、计算机设备和计算机可读存储介质
CN109308469B (zh) * 2018-09-21 2019-12-10 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN111010590B (zh) * 2018-10-08 2022-05-17 阿里巴巴(中国)有限公司 一种视频裁剪方法及装置
CN110191369A (zh) * 2019-06-06 2019-08-30 广州酷狗计算机科技有限公司 图像截取方法、装置、设备及存储介质
CN111179310B (zh) * 2019-12-20 2024-06-25 腾讯科技(深圳)有限公司 视频数据处理方法、装置、电子设备及计算机可读介质
CN111479062B (zh) * 2020-04-15 2021-09-28 上海摩象网络科技有限公司 目标对象的跟踪框显示方法、设备及手持相机
CN113766175A (zh) * 2020-06-04 2021-12-07 杭州萤石软件有限公司 目标监控方法、装置、设备及存储介质
CN113538274A (zh) * 2021-07-14 2021-10-22 Oppo广东移动通信有限公司 图像美颜处理方法、装置、存储介质与电子设备
CN114973033B (zh) * 2022-05-30 2024-03-01 青岛科技大学 一种无人机自动检测目标和跟踪方法
CN116166857B (zh) * 2023-04-26 2023-08-15 国网吉林省电力有限公司信息通信公司 基于大数据的电力数据处理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002056388A (ja) * 2001-05-28 2002-02-20 Nec Corp ロボット装置
JP2010021943A (ja) * 2008-07-14 2010-01-28 Sanyo Electric Co Ltd 撮像装置
JP2010183291A (ja) * 2009-02-04 2010-08-19 Olympus Imaging Corp 追尾装置および追尾方法
JP2011234314A (ja) * 2010-04-30 2011-11-17 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP2015132955A (ja) * 2014-01-10 2015-07-23 富士ソフト株式会社 ロボット、顔検出方法、およびコンピュータプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100818289B1 (ko) * 2007-02-02 2008-03-31 삼성전자주식회사 비디오 영상 트레킹 방법 및 장치
CN100589114C (zh) * 2007-12-29 2010-02-10 北京中星微电子有限公司 图像中最大人脸的跟踪装置和方法
US8855360B2 (en) * 2008-07-23 2014-10-07 Qualcomm Technologies, Inc. System and method for face tracking
US20100295782A1 (en) * 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
CN102592147A (zh) * 2011-12-30 2012-07-18 深圳市万兴软件有限公司 一种人脸检测的方法和装置
CN102750527B (zh) * 2012-06-26 2015-08-19 浙江捷尚视觉科技股份有限公司 一种银行场景中长期稳定的人脸检测与跟踪方法及装置
CN104021571B (zh) * 2014-06-03 2017-07-28 浙江宇视科技有限公司 一种增强用户体验的运动目标自动跟踪方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002056388A (ja) * 2001-05-28 2002-02-20 Nec Corp ロボット装置
JP2010021943A (ja) * 2008-07-14 2010-01-28 Sanyo Electric Co Ltd 撮像装置
JP2010183291A (ja) * 2009-02-04 2010-08-19 Olympus Imaging Corp 追尾装置および追尾方法
JP2011234314A (ja) * 2010-04-30 2011-11-17 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP2015132955A (ja) * 2014-01-10 2015-07-23 富士ソフト株式会社 ロボット、顔検出方法、およびコンピュータプログラム

Also Published As

Publication number Publication date
CN106228112B (zh) 2019-10-29
US20180012065A1 (en) 2018-01-11
CN106228112A (zh) 2016-12-14
US10275639B2 (en) 2019-04-30

Similar Documents

Publication Publication Date Title
JP2018005881A (ja) 顔検出追跡方法、ロボットヘッドの回動制御方法、及びロボット
US10747988B2 (en) Method and device for face tracking and smart terminal
US9916012B2 (en) Image processing apparatus, image processing method, and program
JP6165959B1 (ja) 顔検出追跡方法、顔検出追跡装置、ロボット頭部の回動制御方法及びロボット頭部の回動制御システム
AU2016352215B2 (en) Method and device for tracking location of human face, and electronic equipment
EP2416294B1 (en) Face feature point detection device and program
JP4516516B2 (ja) 人物検出装置、人物検出方法及び人物検出プログラム
US10853950B2 (en) Moving object detection apparatus, moving object detection method and program
US20160063731A1 (en) Tracking processing device and tracking processing system provided with same, and tracking processing method
US9916043B2 (en) Information processing apparatus for recognizing user operation based on an image
KR20170056860A (ko) 이미지 생성 방법 및 장치
KR102460665B1 (ko) 응시 거리를 결정하는 방법 및 디바이스
CN109255802B (zh) 行人跟踪方法、装置、计算机设备及存储介质
JP2020149111A (ja) 物体追跡装置および物体追跡方法
EP4068205A1 (en) Method for tracking object within video frame sequence, automatic parking method, and apparatus therefor
JP5278576B2 (ja) ジェスチャー認識装置、ジェスチャー認識方法及びそのプログラム
CN109831616B (zh) 一种基于单目摄像头的人脸跟随方法及其装置
TW201501080A (zh) 目標偵測與追蹤方法及系統
JP2019160299A5 (ja)
JP2010271876A (ja) 移動体追跡装置、移動体追跡方法及びプログラム
US9396386B2 (en) Information processing method, system and electronic device
US20220375104A1 (en) Image capturing control apparatus, image capturing apparatus, image capturing control method, and storage medium
KR20160111151A (ko) 영상처리방법 및 장치, 그리고 이를 이용한 제스처 인식 인터페이스 방법 및 장치
US20230196773A1 (en) Object detection device, object detection method, and computer-readable storage medium
KR20190139605A (ko) 제스처 인식 장치 및 방법

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171121