JP2000242787A - 物体検出装置 - Google Patents

物体検出装置

Info

Publication number
JP2000242787A
JP2000242787A JP11043099A JP4309999A JP2000242787A JP 2000242787 A JP2000242787 A JP 2000242787A JP 11043099 A JP11043099 A JP 11043099A JP 4309999 A JP4309999 A JP 4309999A JP 2000242787 A JP2000242787 A JP 2000242787A
Authority
JP
Japan
Prior art keywords
template
templates
vehicle driver
eye
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP11043099A
Other languages
English (en)
Inventor
Yasuhiro Takagi
泰宏 高城
Sukeyuki Usami
祐之 宇佐美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP11043099A priority Critical patent/JP2000242787A/ja
Publication of JP2000242787A publication Critical patent/JP2000242787A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 車両運転者が顔を傾けた場合でも、テンプレ
ートを用いて確実に車両運転者の眼部を検出する。 【解決手段】 CCDカメラ10にて得られた車両運転
者の顔画像は画像処理装置12に供給される。画像処理
装置12内の処理部16は、テンプレート記憶部18に
記憶されたテンプレートから所定角度ずつ傾けた複数の
テンプレートを作成し、更に作成した複数のテンプレー
トを合成することにより単一の基準テンプレートを作成
する。そして、入力画像と単一の基準テンプレートとの
相関演算を行い、相関値の高い部分を車両運転者の眼部
として出力する。所定角度ずつ傾けた複数のテンプレー
トを合成することで、車両運転者の顔の傾きに対応する
ことができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は物体検出装置、特に
撮影画像とテンプレートとの相関演算を行うことにより
物体を検出する装置に関する。
【0002】
【従来の技術】従来より、カメラにて画像を撮影し、得
られた画像と予め用意された物体のテンプレートとの相
関演算を行い、画像から物体を検出する装置が周知であ
る。
【0003】たとえば、特開平7−93700号公報に
は、車両運転者の顔画像を取得し、予め用意された運転
者の眼テンプレートと相関演算(テンプレートマッチン
グ)を行うことで画像内の車両運転者の眼位置を特定す
る技術が開示されている。
【0004】
【発明が解決しようとする課題】車両運転者が正面を向
いている場合には、このような相関演算を行うことで車
両運転者の眼位置を特定することができるが、車両運転
者が顔を傾けた場合、予め用意されたテンプレートの眼
の傾きと実際の画像内における眼の傾きとが異なるた
め、相関演算を行ってもその相関値が低くなり、画像内
において眼の位置を特定することが困難となる問題があ
った。
【0005】もちろん、車両運転者が顔を傾けることを
想定し、あらかじめ車両運転者の眼のテンプレートを所
定角度ずつ傾けた複数のテンプレートとし、複数のテン
プレートを用いてそれぞれ取得画像との相関演算を行う
ことも考えられるが、テンプレート枚数分の相関演算を
行う必要があるので処理時間が増加し、リアルタイム性
が損われる問題がある。
【0006】本発明は、上記従来技術の有する課題に鑑
みなされたものであり、その目的は、検出すべき物体、
例えば車両運転者の眼部が画像内で傾いた場合でも、単
一のテンプレートのみで相関演算を行い、物体を確実に
検出することができる装置を提供することにある。
【0007】
【課題を解決するための手段】上記目的を達成するため
に、第1の発明は、撮影画像と検出すべき物体のテンプ
レートとの相関演算を行うことにより撮影画像内の物体
を検出する物体検出装置において、前記テンプレートと
して傾きの異なる物体のテンプレートを複数記憶する記
憶手段と、前記複数のテンプレートに基づいて基準テン
プレートを作成する作成手段と、前記撮影画像と前記基
準テンプレートとの相関演算を行う演算手段とを有する
ことを特徴とする。傾きの異なる複数のテンプレートか
ら単一の基準テンプレートを作成し、この基準テンプレ
ートを用いて相関演算を行うことで、高精度かつ迅速な
検出が可能となる。
【0008】また、第2の発明は、第1の発明におい
て、前記作成手段は、前記複数のテンプレートを合成す
ることにより前記基準テンプレートを作成することを特
徴とする。複数のテンプレートを合成して基準テンプレ
ートを作成することで、複数のテンプレートのそれぞれ
の特徴を反映した基準テンプレートを作成でき、高精度
の検出が可能となる。
【0009】また、第3の発明は、第1の発明におい
て、前記作成手段は、前記複数のテンプレートの平均を
算出することにより前記基準テンプレートを作成するこ
とを特徴とする。平均演算により基準テンプレートを作
成することで、簡易な演算で確実に複数のテンプレート
の特徴を基準テンプレートに反映させることができる。
【0010】また、第4の発明は、第1〜第3の発明に
おいて、前記テンプレートは車両運転者の眼のテンプレ
ートであり、前記物体は車両運転者の眼であることを特
徴とする。これにより、車両運転者が顔を傾けた場合で
も、取得画像から眼部を確実に検出することができ、車
両運転者の居眠りや脇見などを監視することができる。
【0011】
【発明の実施の形態】以下、図面に基づき本発明の実施
形態について説明する。
【0012】図1には、本実施形態の構成ブロック図が
示されている。なお、本実施形態においては、検出すべ
き物体として車両運転者の眼を例にとり説明する。
【0013】図において、CCDカメラ10は車室内の
所定位置、例えばルームミラー部に設けられ、車両運転
者の顔画像を取得する。得られた顔画像は画像処理装置
12に供給される。画像処理装置12は、入力した顔画
像をデジタル変換するA/D変換部14、処理部16及
びテンプレート記憶部18を有して構成されている。処
理部16は、テンプレート記憶部18に記憶されたテン
プレートと入力画像との相関演算を行い、相関値の高い
部分を車両運転者の眼の部分として出力する。テンプレ
ート記憶部18には、車両運転者が正面を向いた状態で
取得した画像から得られた車両運転者の眼のテンプレー
トが記憶されており、通常はこのテンプレートを用いて
車両運転者の眼を抽出できる。
【0014】しかしながら、既述したように、車両運転
者が顔を傾けた場合には、テンプレート記憶部18に記
憶されたテンプレートを用いて相関演算を行っても、相
関値が低く、したがって相関値と所定のしきい値とを比
較し、しきい値以上の相関値を有する画像部分を眼とす
る検出アルゴリズムでは、眼の部分を抽出することが困
難となる。
【0015】そこで、本実施形態においては、処理部1
6はテンプレート記憶部18に記憶された眼のテンプレ
ート(正面を向いた状態でのテンプレート)を所定角度
ずつ傾けた複数のテンプレートを作成してテンプレート
記憶部18に記憶させ、さらにテンプレート記憶部18
に記憶された複数のテンプレートを合成することにより
新たに基準テンプレートを一つ作成し、この単一の基準
テンプレートを用いて入力画像との相関演算を行うこと
で眼部を検出する。
【0016】図2には、処理部16で作成されテンプレ
ート記憶部18に記憶される、所定角度ずつ回転させた
複数のテンプレート100が模式的に示されている。図
において、(a)〜(f)は車両運転者が正面を向いた
状態で得られたテンプレート(d)をそれぞれ時計回り
及び反時計回りに所定角度ずつ回転させることにより得
られるテンプレートを示している。すなわち、車両運転
者が正面を向いた状態で得られたテンプレート(d)に
対し、(a)〜(c)は時計方向に回転させて得られる
テンプレートであり、(e)は反時計方向に回転させて
得られるテンプレートである。なお、図においてテンプ
レート100内の符号100aは車両運転者の眉部を示
しており、100bは眼部を示している。
【0017】複数のテンプレートを作成する際の傾き角
度は任意であり、例えばステップ幅を5度とすることが
できる。また、作成する枚数も適宜設定することができ
る。角度及び枚数の最適化は本発明の技術思想の範囲内
であることは言うまでもない。
【0018】複数のテンプレートを作成しテンプレート
記憶部18に記憶した後、処理部16は、これら複数の
テンプレートを合成することで単一の基準テンプレート
を作成する。合成方法としては、たとえば複数のテンプ
レートの平均を採用することができる。すなわち、図2
(a)〜(f)に示された6枚のテンプレートを加算
し、得られた画像の各画素を枚数分の6で割ることで基
準テンプレートを作成する。もちろん、他の合成方法も
可能であり、たとえば図2に示された(b)、(d)、
(f)の3枚のテンプレートの平均を算出することで合
成することも可能である。合成の本質は、可能な限り複
数のテンプレートの特徴を単一の基準テンプレートに反
映させることにある。
【0019】図3には、図2(a)〜(f)に示された
6枚のテンプレートの平均を算出することで得られた基
準テンプレート110が模式的に示されている。所定角
度ずつ回転させた複数のテンプレートの平均を算出する
ことで、図に示されるように眉200aの領域及び眼部
200bの領域が回転角度分だけ拡大している。図4に
は、車両運転者が正面を向いた状態で作成されたテンプ
レート100が示されており、図3と図4を比較するこ
とで両者の相違が明らかとなろう。
【0020】以上のようにして単一の基準テンプレート
を作成すると、処理部16はこの基準テンプレートと入
力画像との相関演算を行い、相関値の高い部分を車両運
転者の眼部として抽出する。図3に示された基準テンプ
レートは、図2に示された6枚のテンプレートを合成し
て得られたものであり、したがってこれら6枚のテンプ
レートの特徴をすべて有している。したがって、入力画
像が任意の角度で傾いていたとしても、図3に示された
基準テンプレートを用いることで、従来以上に高い相関
値を得ることができ、所定のしきい値と比較した場合に
車両運転者の眼部を確実に抽出することが可能となる。
【0021】ここで、相関値のみを比較すると、(車両
運転者が正面を向いた状態で得られたテンプレートを用
いた相関値)<(本実施形態の相関値)<(図2に示さ
れた6枚のテンプレートそれぞれに対して相関演算を行
った場合の最大値)となるが、6枚のテンプレートのそ
れぞれに対して相関演算を行う方法では処理時間が増大
する問題がある。したがって、検出精度及びリアルタイ
ム性を兼ね備える本実施形態の方法は極めて有効であ
る。
【0022】なお、本実施形態においては1枚のテンプ
レートから所定角度ずつ傾けた複数のテンプレートを作
成し、これら複数のテンプレートを合成することで単一
の基準テンプレートを作成しているが、たとえば車両運
転者の顔の傾き角度が何らかの方法で検出できる場合、
たとえば図5に示されるように、入力画像の眼部に相当
すると考えられる上エッジ部分150aと下エッジ部分
150bを検出した場合、両エッジの端部を結ぶ直線と
上エッジ部分150aとのなす角度θを算出し、車両運
転者が正面を向いた状態で得られたテンプレートをこの
θだけ傾かせて単一の基準テンプレートとすることも好
適である。
【0023】以上、本発明の実施形態について説明した
が、本発明は車両運転者の眼部のみならず、画像内で時
間とともに傾く可能性がある任意の物体に適用すること
ができる。
【0024】
【発明の効果】以上説明したように、本発明によれば、
物体が傾いた場合でも単一のテンプレートを用いて画像
内から物体を確実に検出することができる。
【図面の簡単な説明】
【図1】 本発明の実施形態の構成ブロック図である。
【図2】 本発明の実施形態における複数のテンプレー
ト説明図である。
【図3】 図2に示された複数のテンプレートを合成し
て得られる基準テンプレート説明図である。
【図4】 車両運転者が正面を向いた状態で得られたテ
ンプレートである。
【図5】 本発明の他の実施形態における車両眼部の傾
きを示す説明図である。
【符号の説明】
10 CCDカメラ、12 画像処理装置、14 A/
D変換部、16 処理部、18 テンプレート記憶部、
100 テンプレート、110 基準テンプレート。
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 3D037 FA01 FA05 5B057 AA19 BA02 CA12 CA16 CC03 CD03 DA08 DA15 DB02 DC08 DC34 DC36 DC40 5H180 AA01 CC04 LL01 LL04 LL20 5L096 BA02 BA04 DA02 FA19 FA34 FA67 JA09 KA13

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 撮影画像と検出すべき物体のテンプレー
    トとの相関演算を行うことにより撮影画像内の物体を検
    出する物体検出装置において、 前記テンプレートとして傾きの異なる物体のテンプレー
    トを複数記憶する記憶手段と、 前記複数のテンプレートに基づいて基準テンプレートを
    作成する作成手段と、 前記撮影画像と前記基準テンプレートとの相関演算を行
    う演算手段と、 を有することを特徴とする物体検出装置。
  2. 【請求項2】 請求項1記載の装置において、 前記作成手段は、前記複数のテンプレートを合成するこ
    とにより前記基準テンプレートを作成することを特徴と
    する物体検出装置。
  3. 【請求項3】 請求項1記載の装置において、 前記作成手段は、前記複数のテンプレートの平均を算出
    することにより前記基準テンプレートを作成することを
    特徴とする物体検出装置。
  4. 【請求項4】 請求項1〜3のいずれかに記載の装置に
    おいて、 前記テンプレートは車両運転者の眼のテンプレートであ
    り、前記物体は車両運転者の眼であることを特徴とする
    物体検出装置。
JP11043099A 1999-02-22 1999-02-22 物体検出装置 Pending JP2000242787A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11043099A JP2000242787A (ja) 1999-02-22 1999-02-22 物体検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11043099A JP2000242787A (ja) 1999-02-22 1999-02-22 物体検出装置

Publications (1)

Publication Number Publication Date
JP2000242787A true JP2000242787A (ja) 2000-09-08

Family

ID=12654400

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11043099A Pending JP2000242787A (ja) 1999-02-22 1999-02-22 物体検出装置

Country Status (1)

Country Link
JP (1) JP2000242787A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044837A (ja) * 2001-07-30 2003-02-14 Digital Fashion Ltd 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体
US7227996B2 (en) 2001-02-01 2007-06-05 Matsushita Electric Industrial Co., Ltd. Image processing method and apparatus for comparing edges between images
KR101360412B1 (ko) * 2008-09-11 2014-02-27 포항공과대학교 산학협력단 머리 움직임 정보를 이용하는 산만/졸음 운전 감시 시스템
JP2016133950A (ja) * 2015-01-19 2016-07-25 株式会社メガチップス 特徴画像生成装置、判定装置及び制御プログラム並びに特徴画像生成方法及び判定方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7227996B2 (en) 2001-02-01 2007-06-05 Matsushita Electric Industrial Co., Ltd. Image processing method and apparatus for comparing edges between images
JP2003044837A (ja) * 2001-07-30 2003-02-14 Digital Fashion Ltd 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体
KR101360412B1 (ko) * 2008-09-11 2014-02-27 포항공과대학교 산학협력단 머리 움직임 정보를 이용하는 산만/졸음 운전 감시 시스템
JP2016133950A (ja) * 2015-01-19 2016-07-25 株式会社メガチップス 特徴画像生成装置、判定装置及び制御プログラム並びに特徴画像生成方法及び判定方法

Similar Documents

Publication Publication Date Title
US7502496B2 (en) Face image processing apparatus and method
US6278491B1 (en) Apparatus and a method for automatically detecting and reducing red-eye in a digital image
USRE42205E1 (en) Method and system for real-time facial image enhancement
US8055016B2 (en) Apparatus and method for normalizing face image used for detecting drowsy driving
US9740914B2 (en) Face location detection
JP4459788B2 (ja) 顔特徴照合装置、顔特徴照合方法、及びプログラム
JP2003015816A (ja) ステレオカメラを使用した顔・視線認識装置
EP1125241A1 (en) System and method for biometrics-based facial feature extraction
JP2000322561A (ja) 顔画像処理装置
JPH1166317A (ja) 顔映像の目位置検出装置及び方法
US11380130B2 (en) Face authentication device having database with small storage capacity
US11030799B2 (en) Image processing apparatus, image processing method and storage medium. With estimation of parameter of real illumination based on normal information on pixel included in high luminance area
JP2006343859A (ja) 画像処理装置及び画像処理方法
JP5101429B2 (ja) 画像監視装置
JP2000242787A (ja) 物体検出装置
US11354940B2 (en) Method and apparatus for foreground geometry and topology based face anti-spoofing
JP5244345B2 (ja) 顔認証装置
JP2007172509A (ja) 顔検出照合装置
JP2001222716A (ja) 人物認証方法および同装置
JPH11185025A (ja) 顔画像正規化装置
JP2005309992A (ja) 画像処理装置および画像処理方法
US11335123B2 (en) Live facial recognition system and method
JP2007004534A (ja) 顔判別方法および装置ならびに顔認証装置
Sala et al. Personal identification and minimum requirements on image metrological features
JP2006277682A (ja) 位置検出装置及び位置検出方法