JP2021026420A - 画像処理装置、モニタリング装置、制御システム、画像処理方法、及びコンピュータプログラム - Google Patents

画像処理装置、モニタリング装置、制御システム、画像処理方法、及びコンピュータプログラム Download PDF

Info

Publication number
JP2021026420A
JP2021026420A JP2019142705A JP2019142705A JP2021026420A JP 2021026420 A JP2021026420 A JP 2021026420A JP 2019142705 A JP2019142705 A JP 2019142705A JP 2019142705 A JP2019142705 A JP 2019142705A JP 2021026420 A JP2021026420 A JP 2021026420A
Authority
JP
Japan
Prior art keywords
face
specific individual
image processing
unit
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019142705A
Other languages
English (en)
Inventor
相澤　知禎
Chitei Aizawa
知禎 相澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2019142705A priority Critical patent/JP2021026420A/ja
Priority to PCT/JP2020/029232 priority patent/WO2021024905A1/ja
Publication of JP2021026420A publication Critical patent/JP2021026420A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Instrument Panels (AREA)

Abstract

【課題】 特定個人に対する顔向き推定処理を安定して精度よくリアルタイムに実施することができる画像処理装置を提供すること。【解決手段】 撮像部から入力される画像を処理する画像処理装置であって、学習済みの顔特徴量として、特定個人の顔特徴量と通常の顔特徴量とが記憶される顔特徴量記憶部と、画像から顔の特徴量を抽出しながら顔領域を検出する顔検出部と、検出された顔領域の特徴量と、特定個人の顔特徴量とを用いて、顔領域の顔が特定個人の顔であるか否かを判定する特定個人判定部と、特定個人の顔であると判定された場合、特定個人用の顔画像処理を行う第１顔画像処理部と、特定個人の顔ではないと判定された場合、通常の顔画像処理を行う第２顔画像処理部とを装備し、第１顔画像処理部に、特定個人の顔向き推定部を含む。【選択図】図６

Description

本発明は、画像処理装置、モニタリング装置、制御システム、画像処理方法、及びコンピュータプログラムに関する。
下記の特許文献１には、サービスを提供する対象（人物）の状況に応じて、適切なサービスに切り替え可能なサービス提供装置として利用されるロボット装置が開示されている。
前記ロボット装置には、第１カメラと、第２カメラと、ＣＰＵを含む情報処理装置とが装備され、前記ＣＰＵには、顔検出部、属性判定部、人物検出部、人物位置算出部、及び移動ベクトル検出部などが装備されている。
前記ロボット装置によれば、サービスの提供対象が、互いに意思疎通を行うなどの関係が成立している人物の集合である場合は、密なやり取りに基づいた情報を提供する第１のサービスの提供を決定する。
他方、サービスの提供対象が、互いに意思疎通を行うなどの関係が成立しているか否かが不明な人物の集合である場合は、やり取りを行わずに、一方的に情報を提供する第２のサービスの提供を決定する。これらにより、サービスの提供対象の状況に応じて、適切なサービスを提供することができるとしている。
［発明が解決しようとする課題］
特許文献１に開示された前記ロボット装置では、前記顔検出部が、前記第１カメラを用いて人物の顔検出を行う構成になっており、該顔検出には、公知の技術を利用することができるとしている。
しかしながら、従来の顔検出技術では、ケガなどにより、目、鼻、口などの顔器官の一部が欠損、若しくは大きく変形している場合、顔に大きなホクロやイボ、若しくはタトゥーなどの身体装飾が施されている場合、又は遺伝的疾患により、前記顔器官の配置が平均的な配置から大きくずれている場合などの特定個人（一般的な人物の、年齢、及び性別の違いなどがあったとしても共通する顔特徴とは異なる特徴を有する個人をいうものとする）に対する顔検出を前提とした顔向き推定の精度も低下してしまうという課題があった。
特開２０１４−１４８９９号公報
課題を解決するための手段及びその効果
本発明は上記課題に鑑みなされたものであって、上記のような特定個人に対する顔向き推定の精度を向上させることができる画像処理装置、モニタリング装置、制御システム、画像処理方法、及びコンピュータプログラムを提供することを目的としている。
上記目的を達成するために、本開示に係る画像処理装置（１）は、撮像部から入力される画像を処理する画像処理装置であって、
前記画像から顔を検出するための学習を行った学習済みの顔特徴量として、特定個人の顔特徴量と、通常の顔特徴量とが記憶される顔特徴量記憶部と、
前記画像から顔を検出するための特徴量を抽出しながら顔領域を検出する顔検出部と、
検出された前記顔領域の前記特徴量と、前記特定個人の顔特徴量とを用いて、前記顔領域の顔が前記特定個人の顔であるか否かを判定する特定個人判定部と、
該特定個人判定部により前記特定個人の顔であると判定された場合、特定個人用の顔画像処理を行う第１顔画像処理部と、
前記特定個人判定部により前記特定個人の顔ではないと判定された場合、通常の顔画像処理を行う第２顔画像処理部とを備え、
前記画像処理には、顔向き推定処理が含まれ、前記第１顔画像処理部には、特定個人の顔向き推定部が含まれていることを特徴としている。
上記画像処理装置（１）によれば、前記顔特徴量記憶部に前記学習済みの顔特徴量として、前記特定個人の顔特徴量と、前記通常の顔特徴量（換言すれば、前記特定個人以外の人である場合に用いる顔特徴量）とが記憶され、前記特定個人判定部により、前記顔検出部で検出された前記顔領域の前記特徴量と、前記特定個人の顔特徴量とを用いて、前記顔領域の顔が前記特定個人の顔であるか否かが判定される。
前記特定個人の顔特徴量を用いることにより、前記特定個人の顔であるか否かを精度良く判定することができる。
また、前記特定個人の顔であると判定された場合、前記第１顔画像処理部において前記特定個人の顔画像処理を精度良く実施することができる。
他方、前記特定個人の顔ではない、換言すれば、通常の顔（前記特定個人以外の人の顔）であると判定された場合、前記第２顔画像処理部において、前記通常の顔画像処理を精度良く実施することができる。
前記画像処理には、顔向き推定処理が含まれ、前記第１顔画像処理部には、特定個人の顔向き推定部が含まれているので、前記特定個人の顔検出を前提とする前記特定個人に対する顔向き推定処理を安定して精度よくリアルタイムに実施することができる。
また、本開示に係る画像処理装置（２）は、上記画像処理装置（１）において、
前記特定個人の顔向き推定部が、特定個人の特定部位を使用しない顔モデルフィッティング処理により顔向き推定を行う特定部位不使用顔向き推定部を備えていることを特徴としている。
上記画像処理装置（２）によれば、前記特定部位の影響を受けない顔モデルフィッティング処理を行うことにより、リアルタイム処理を維持しつつ、精度よく顔向きを推定することができる。
また、本開示に係る画像処理装置（３）は、上記画像処理装置（２）において、
前記特定部位以外の全ての部位各々の顔モデルフィッティングスコアを算出するスコア算出部と、
前記特定部位以外の全ての部位についての前記顔モデルフィッティングスコアが所定の条件を満たしているか否かを判定するフィッティングスコア判定部とを、さらに備えていることを特徴としている。
上記画像処理装置（３）によれば、前記特定部位を除いた部位のみによっても精度の高い顔向き推定処理の実施が可能か否かの判定を正確に行うことができることとなる。
また、本開示に係る画像処理装置（４）は、上記画像処理装置（３）において、
前記フィッティングスコア判定部において、前記特定部位以外の全ての部位についての前記顔モデルフィッティングスコアが所定の条件を満たしていると判定された場合には、トラッキング処理に際し、前記特定部位の特徴量を補完する補完処理部を、さらに備えていることを特徴としている。
上記画像処理装置（４）によれば、前記特定部位の特徴量を補完する補完処理部を備えることにより、前記特定部位を通常の部位、例えば、左目、右目、鼻、口などとして処理することが可能となる。
また、本開示に係る画像処理装置（５）は、上記画像処理装置（４）において、
前記特定部位の特徴量が補完された後は、通常の顔モデルフィッティング処理により顔向き推定を行う通常顔向き推定部を、さらに備えていることを特徴としている。
上記画像処理装置（５）によれば、前記特定部位が存在していても、通常の顔モデルフィッティング処理により顔向き推定を実施することができ、安定して高速、高精度な処理が可能となる。
また、本開示に係る画像処理装置（６）は、上記画像処理装置（１）〜（５）のいずれかにおいて、
顔向き角度のずれを補正する角度補正テーブルを、さらに備えていることを特徴としている。
上記画像処理装置（６）によれば、上記処理を実施しても、推定される顔向き角度に一定の角度のずれが生じる場合には、前記角度補正テーブルを用いて顔向き角のずれを補正することができ、高精度な顔向き角の算出が容易となる。
また、本開示に係る画像処理装置（７）は、上記画像処理装置（１）〜（６）のいずれかにおいて、
前記特定個人判定部が、
前記顔領域から抽出された前記特徴量と前記特定個人の顔特徴量との相関係数を算出し、
算出した前記相関係数に基づいて、前記顔領域の顔が前記特定個人の顔であるか否かを判定するものであることを特徴としている。
上記画像処理装置（７）によれば、前記顔領域から抽出された前記特徴量と前記特定個人の顔特徴量との相関係数を算出し、算出した前記相関係数に基づいて、前記顔領域の顔が前記特定個人の顔であるか否かが判定される。これにより、前記相関係数に基づいて前記顔領域の顔が前記特定個人の顔であるか否かを効率良く判定することができる。
また、本開示に係る画像処理装置（８）は、上記画像処理装置（７）において、
前記特定個人判定部が、
前記相関係数が所定の閾値より大きい場合、前記顔領域の顔が前記特定個人の顔であると判定し、
前記相関係数が前記所定の閾値以下の場合、前記顔領域の顔が前記特定個人の顔ではないと判定するものであることを特徴としている。
上記画像処理装置（８）によれば、前記相関係数が所定の閾値より大きい場合、前記顔領域の顔が前記特定個人の顔であると判定され、前記相関係数が前記所定の閾値以下の場合、前記顔領域の顔が前記特定個人の顔ではないと判定される。前記相関係数と前記所定の閾値とを比較する処理により、前記判定の処理効率を更に高めることができる。
また、本開示に係る画像処理装置（９）は、上記画像処理装置（１）〜（８）のいずれかにおいて、前記顔画像処理には、顔検出処理、視線方向推定処理、及び目開閉検出処理のうち少なくとも１つは含まれていることを特徴としている。
上記画像処理装置（９）によれば、前記顔画像処理には、顔検出処理、視線方向推定処理、及び目開閉検出処理のうち少なくとも１つは含まれているので、前記特定個人、又は前記特定個人以外の人のさまざまな顔の挙動を推定したり、検出したりする処理を精度良く行うことができる。
また、本開示に係るモニタリング装置（１）は、上記画像処理装置（１）〜（９）のいずれかと、
該画像処理装置に入力する画像を撮影する撮像部と、
前記画像処理装置による画像処理に基づく情報を出力する出力部とを備えていることを特徴としている。
上記モニタリング装置（１）によれば、前記通常の人の顔だけでなく、前記特定個人の顔を精度良くモニタリングすることができ、また、前記出力部から前記画像処理に基づく情報が出力可能なため、該情報を利用するモニタリングシステムなどを容易に構築することが可能となる。
また、本開示に係る制御システム（１）は、
上記モニタリング装置（１）と、
該モニタリング装置と通信可能に接続され、該モニタリング装置から出力される前記情報に基づいて、所定の処理を実行する１以上の制御装置とを備えていることを特徴としている。
上記制御システム（１）によれば、前記モニタリング装置から出力される前記情報に基づいて、１以上の前記制御装置で所定の処理を実行させることが可能となる。従って、前記通常の人のモニタリング結果だけでなく、前記特定個人のモニタリング結果を利用することができるシステムを構築することができる。
また、本開示に係る制御システム（２）は、上記制御システム（１）において、
前記モニタリング装置が、車両のドライバをモニタリングするための装置であり、
前記制御装置が、前記車両に搭載される電子制御ユニットを含むものであることを特徴としている。
上記制御システム（２）によれば、前記車両のドライバが前記特定個人である場合であっても、前記特定個人の顔を精度良くモニタリングすることができ、そのモニタリングの結果に基づいて、前記電子制御ユニットに所定の制御を適切に実行させることが可能となる。これにより、前記特定個人であっても安心して運転することができる安全性の高い車載システムを構築することが可能となる。
また、本開示に係る画像処理方法（１）は、撮像部から入力される画像を処理する画像処理方法であって、
前記画像から顔の特徴量を抽出しながら顔領域を検出する顔検出ステップと、
該顔検出ステップにより検出された前記顔領域の前記特徴量と、特定個人の顔を検出するための学習を行った学習済みの前記特定個人の顔特徴量とを用いて、前記顔領域の顔が前記特定個人の顔であるか否かを判定する特定個人判定ステップと、
該特定個人判定ステップにより、前記特定個人の顔であると判定された場合、特定個人用の顔画像処理を行う第１顔画像処理ステップと、
前記特定個人判定ステップにより、前記特定個人の顔ではないと判定された場合、通常の顔画像処理を行う第２顔画像処理ステップと、を含み、
前記画像処理には、顔向き推定処理が含まれ、前記第１顔画像処理ステップは、特定個人の顔向き推定ステップを含むことを特徴としている。
上記画像処理方法（１）によれば、前記特定個人判定ステップにより、前記顔検出ステップで検出された前記顔領域の前記特徴量と、前記特定個人の顔特徴量とを用いて、前記顔領域の顔が前記特定個人の顔であるか否かが判定される。前記特定個人の顔特徴量を用いることにより、前記特定個人の顔であるか否かを精度良く判定することができる。
また、前記特定個人の顔であると判定された場合、前記第１顔画像処理ステップにより前記特定個人の顔画像処理を精度良く実施することができる。一方、前記特定個人の顔ではない、換言すれば、前記特定個人ではない通常の顔であると判定された場合、前記第２顔画像処理ステップにより前記通常の顔画像処理を精度良く実施することができる。従って、前記特定個人であっても、特定個人以外の通常の人であっても、それぞれの顔のセンシングを精度良く実施することができる。
前記画像処理には、顔向き推定処理が含まれ、前記第１顔画像処理ステップは、特定個人の顔向き推定ステップを含んでいるので、前記特定個人に対する顔向き推定処理を安定して精度よくリアルタイムに実施することができる。
また、本開示に係るコンピュータプログラム（１）は、撮像部から入力される画像の処理を少なくとも１以上のコンピュータに実行させるためのコンピュータプログラムであって、
前記少なくとも１以上のコンピュータに、
前記画像から顔の特徴量を抽出しながら顔領域を検出する顔検出ステップと、
該顔検出ステップにより検出された前記顔領域の前記特徴量と、特定個人の顔を検出するための学習を行った学習済みの前記特定個人の顔特徴量とを用いて、前記顔領域の顔が前記特定個人の顔であるか否かを判定する特定個人判定ステップと、
該特定個人判定ステップにより前記特定個人の顔であると判定された場合、特定個人用の顔画像処理を行う第１顔画像処理ステップと、
前記特定個人判定ステップにより前記特定個人の顔ではないと判定された場合、通常の顔画像処理を行う第２顔画像処理ステップと、を実行させ、
前記画像処理には、顔向き推定処理が含まれ、前記第１顔画像処理ステップは、特定個人の顔向き推定ステップを含むことを特徴としている。
上記コンピュータプログラムによれば、前記少なくとも１以上のコンピュータに、前記顔領域の前記特徴量と、前記特定個人の顔特徴量とを用いて、前記顔領域の顔が前記特定個人の顔であるか否かを判定させることができ、前記特定個人の顔であるか否かを精度良く判定させることができる。
また、前記特定個人の顔であると判定された場合、前記特定個人の顔画像処理を精度良く実施させることができる。一方、前記特定個人の顔ではない、換言すれば、前記特定個人ではない通常の顔であると判定された場合、前記通常の顔画像処理を精度良く実施させることができる。従って、前記特定個人であっても、特定個人以外の通常の人であっても、それぞれの顔のセンシングを精度良く実施することができる装置やシステムを構築することができる。
前記画像処理には、顔向き推定処理が含まれ、前記第１顔画像処理ステップは、特定個人の顔向き推定ステップを含んでいるので、前記特定個人に対する顔向き推定処理を安定して精度よくリアルタイムに実施することができる。
なお、上記コンピュータプログラムは、記憶媒体に保存されたコンピュータプログラムであってもよいし、通信ネットワークを介して転送可能なコンピュータプログラムであってもよいし、通信ネットワークを介して実行されるコンピュータプログラムであってもよい。
本発明の実施の形態に係るドライバモニタリング装置を含む車載システムの一例を示す模式図である。 実施の形態に係るドライバモニタリング装置を含む車載システムのハードウェア構成の一例を示すブロック図である。 実施の形態に係るドライバモニタリング装置の画像処理部の機能構成例を示すブロック図である。 実施の形態に係るドライバモニタリング装置の画像処理部が行う処理動作の一例を示すフローチャートである。 実施の形態に係るドライバモニタリング装置の画像処理部が行う特定個人判定処理動作の一例を示すフローチャートである。 実施の形態に係るドライバモニタリング装置の画像処理部における特定個人の顔向き推定部のより詳細な機能構成例を示すブロック図である。 実施の形態に係るドライバモニタリング装置の画像処理部における特定個人の顔向き推定部が実施する処理動作の一例を示すイメージ概念図である。 実施の形態に係るドライバモニタリング装置の画像処理部における特定個人の顔向き推定部が行う処理動作の一例を示すフローチャートである。
以下、本発明に係る画像処理装置、モニタリング装置、制御システム、画像処理方法、及びコンピュータプログラムの実施の形態を図面に基づいて説明する。
［適用例］
本発明に係る画像処理装置は、例えば、カメラを用いて人などの対象物をモニタリングする装置やシステムに広く適用可能である。
また、本発明に係る画像処理装置は、例えば、車両などの各種移動体のドライバ（操縦者）をモニタリングする装置やシステムの他、工場内の機械や装置などの各種設備を操作したり、監視したり、所定の作業をしたりする人などをモニタリングする装置やシステムなどにも適用可能である。
［適用例１］
図１は、本開示に係る画像処理装置を、ドライバモニタリング装置を含む車載システムに適用した例を示す模式図である。
車載システム１は、車両２のドライバ３の状態（例えば、顔の挙動など）をモニタリングするドライバモニタリング装置１０、車両２の走行、操舵、又は制動などの制御を行う１以上のＥＣＵ（Electronic Control Unit）４０、及び車両各部の状態、又は車両周囲の状態などを検出する１以上のセンサ４１を含んで構成され、これらが通信バス４３を介して接続されている。
車載システム１は、例えば、ＣＡＮ（Controller Area Network）プロトコルに従って通信する車載ネットワークシステムとして構成されている。車載システム１の通信規格には、ＣＡＮの他、ＣＡＮ以外の他の通信規格も採用され得る。
ドライバモニタリング装置１０は、本発明に係る「モニタリング装置」の一例であり、車載システム１は、本発明に係る「制御システム」の一例である。
ドライバモニタリング装置１０は、ドライバ３の顔を撮影するためのカメラ１１と、カメラ１１から入力される画像を処理する画像処理部１２と、画像処理部１２による画像処理に基づく情報を、通信バス４３を介して所定のＥＣＵ４０に出力する処理などを行う通信部１６とを含んで構成されている。画像処理部１２は、本発明に係る「画像処理装置」の一例であり、カメラ１１は、本発明に係る「撮像部」の一例である。
ドライバモニタリング装置１０は、カメラ１１で撮影された画像からドライバ３の顔を検出し、検出されたドライバ３の顔の向き、視線の方向、あるいは目の開閉状態などの顔の挙動を検出する。ドライバモニタリング装置１０は、これら顔の挙動の検出結果に基づいて、ドライバ３の状態、例えば、前方注視、脇見、居眠り、後ろ向き、突っ伏しなどの状態を判定することが可能となる。また、ドライバモニタリング装置１０が、これらドライバ３の状態判定に基づく信号をＥＣＵ４０に出力し、ＥＣＵ４０が、例えば、前記信号に基づいてドライバ３への注意や警告処理、あるいは外部への通報、又は車両２の動作制御（例えば、減速制御、又は路肩への誘導制御など）などを実行するように構成されている。
ドライバモニタリング装置１０では、例えば、特定個人に対する顔向きを安定して精度良くリアルタイムで推定することを目的の一つとしている。
従来のドライバモニタリング装置では、車両２のドライバ３が、例えば、ケガなどにより、目、鼻、口などの顔器官の一部が欠損、若しくは大きく変形していたり、顔に大きなホクロやイボ、若しくはタトゥーなどの身体装飾が施されていたり、又は遺伝性の疾患などにより、前記顔器官の配置が平均的な位置から大きくずれていたりした場合、カメラで撮影された画像から顔向きを推定する精度が低下してしまうという課題があった。
また、顔向き推定の精度が低下すると、顔向き推定後の処理も適切に行われないこととなるため、ドライバ３の脇見や居眠りなどの状態判定も適切に行うことができなくなる。また、前記状態判定に基づいてＥＣＵ４０が実行すべき各種の制御も適切に行うことができなくなる虞があるという課題があった。
係る課題を解決すべく、実施の形態に係るドライバモニタリング装置１０では、前記特定個人に対する顔向き推定の精度を向上させるために、以下の構成が採用されている。
画像処理部１２には、画像から顔を検出するための学習を行った学習済みの顔特徴量として、特定個人の顔特徴量と、通常の顔特徴量（特定個人以外の人である場合に用いる顔特徴量）とを記憶させる。
画像処理部１２が、カメラ１１の入力画像から顔を検出するための特徴量を抽出しながら顔領域を検出する顔検出処理を行う。そして、画像処理部１２が、検出された前記顔領域の特徴量と、前記特定個人の顔特徴量とを用いて、前記顔領域の顔が前記特定個人の顔であるか否かを判定する特定個人判定処理を行う。
前記特定個人判定処理では、前記顔領域から抽出された特徴量と前記特定個人の顔特徴量との関係を示す指標、例えば、相関係数を算出し、算出された前記相関係数に基づいて、前記顔領域の顔が前記特定個人の顔であるか否かが判定される。
例えば、前記相関係数が所定の閾値より大きい場合、前記顔領域の顔が前記特定個人の顔であると判定され、前記相関係数が前記所定の閾値以下の場合、前記顔領域の顔が前記特定個人の顔ではないと判定される。なお、前記特定個人判定処理では、前記相関係数以外の指標が採用されてもよい。
また、前記特定個人判定処理では、カメラ１１からの入力画像の１フレームに対する判定結果に基づいて、前記顔領域の顔が前記特定個人の顔であるか否かが判定されてもよいし、カメラ１１からの入力画像の複数フレームに対する判定結果に基づいて、前記顔領域の顔が前記特定個人の顔であるか否かが判定されてもよい。
このように、ドライバモニタリング装置１０では、画像処理部１２に、学習済みの特定個人の顔特徴量を予め記憶させておき、特定個人の顔特徴量を用いることにより、前記特定個人の顔であるか否かを精度良く判定することが可能となっている。
また、前記特定個人判定処理により、前記特定個人の顔であると判定された場合、画像処理部１２は、特定個人用の顔画像処理を実行するので、前記特定個人の顔画像処理を精度良く実施することが可能となる。
一方、前記特定個人の顔ではない、換言すれば、通常の顔であると判定された場合、画像処理部１２は、通常の顔画像処理を実行するので、前記通常の顔画像処理を精度良く実施することができる。従って、ドライバ３が、特定個人であっても、特定個人以外の通常の人であっても、それぞれの顔のセンシングを精度良く実施することができる。
［ハードウェア構成例］
図２は、実施の形態に係るドライバモニタリング装置１０を含む車載システム１のハードウェア構成の一例を示すブロック図である。
車載システム１は、車両２のドライバ３の状態をモニタリングするドライバモニタリング装置１０、１以上のＥＣＵ４０、及び１以上のセンサ４１を含んで構成され、これらが通信バス４３を介して接続されている。また、ＥＣＵ４０には、１以上のアクチュエータ４２が接続されている。
ドライバモニタリング装置１０は、カメラ１１と、カメラ１１から入力される画像を処理する画像処理部１２と、外部のＥＣＵ４０などとデータや信号のやり取りを行うための通信部１６とを含んで構成されている。
カメラ１１は、運転席に着座しているドライバ３の顔を含む画像を撮影する装置であり、例えば、レンズ部、撮像素子部、光照射部、インターフェース部、これら各部を制御するカメラ制御部などを含んで構成されている。
前記撮像素子部は、例えば、ＣＣＤ(Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子、フィルタ、マイクロレンズなどを含んで構成されている。前記撮像素子部は、可視領域の光を受けて撮影画像を形成できる素子でもよいし、近赤外領域の光を受けて撮影画像を形成できる素子でもよい。
前記光照射部は、ＬＥＤ(Light Emitting Diode)などの発光素子を含んで構成され、昼夜を問わずドライバの顔を撮像できるように近赤外線ＬＥＤなどを含んでいてもよい。
カメラ１１は、所定のフレームレート（例えば、毎秒数十フレーム）で画像を撮影し、撮影された画像のデータが画像処理部１２に入力される。カメラ１１は、一体式の他、外付け式のものであってもよい。
画像処理部１２は、１以上のＣＰＵ（Central Processing Unit）１３、ＲＯＭ（Read Only Memory）１４、及びＲＡＭ（Random Access Memory）１５を含む画像処理装置として構成されている。ＲＯＭ１４は、プログラム記憶部１４１と顔特徴量記憶部１４２とを含み、ＲＡＭ１５は、カメラ１１からの入力画像を記憶する画像メモリ１５１を含んで構成されている。
なお、ドライバモニタリング装置１０に、別の記憶部が設けられ、その記憶部がプログラム記憶部１４１、顔特徴量記憶部１４２、及び画像メモリ１５１として用いられてもよい。前記別の記憶部は、半導体メモリでもよいし、ディスクドライブなどで読み込み可能な記憶媒体でもよい。
ＣＰＵ１３は、ハードウェアプロセッサの一例であり、ＲＯＭ１４のプログラム記憶部１４１に記憶されているコンピュータプログラム、顔特徴量記憶部１４２に記憶されている顔特徴量などのデータを読み込み、解釈し実行することで、カメラ１１から入力された画像の処理、例えば、顔検出処理、顔向き推定処理などの顔画像処理を行う。また、ＣＰＵ１３は、該顔画像処理により得られた結果（例えば、処理データ、判定信号、又は制御信号など）を、通信部１６を介してＥＣＵ４０などに出力する処理などを行う。
顔特徴量記憶部１４２には、画像から顔を検出するための学習を行った学習済みの顔特徴量として、図３に示す特定個人の顔特徴量１４２ａと、通常の顔特徴量１４２ｂとが記憶されている。
学習済みの顔特徴量には、画像から顔を検出するのに有効な各種の特徴量を用いることができる。例えば、顔の局所的な領域の明暗差（さまざまな大きさの２つの矩形領域の平均輝度の差）に着目した特徴量（Haar-like特徴量）が用いられる。
又は、顔の局所的な領域の輝度の分布の組み合わせに着目した特徴量（LBP (Local Binary Pattern) 特徴量）が採用され、あるいは、顔の局所的な領域の輝度の勾配方向の分布の組み合わせに着目した特徴量（HOG (Histogram of Oriented Gradients) 特徴量）が用いられてもよい。
顔検出に有効な特徴量を抽出する方法として、各種の機械学習による手法を用いることができる。機械学習とは、データ（学習データ）に内在するパターンをコンピュータにより見つけ出す処理のことをいう。例えば、統計的な学習手法の一例としてＡｄａＢｏｏｓｔが用いられてもよい。ＡｄａＢｏｏｓｔは、判別能力の低い判別器（弱判別器）を多数選び出し、これら多数の弱判別器の中からエラー率が小さい弱判別器を選択し、重みなどのパラメータを調整し、階層的な構造にすることで、強判別器を構築することのできる学習アルゴリズムである。判別器は、識別器、分類器、又は学習器とも称される。
例えば、顔の検出に有効な１つの特徴量を１つの弱判別器によって判別する構成とし、ＡｄａＢｏｏｓｔにより多数の弱判別器とその組み合わせを選び出し、これらを用いて、階層的な構造を有する強判別器が構築される。なお、１つの弱判別器からは、例えば、顔の場合は１、非顔の場合は０という情報が出力される。
また、学習手法には、顔らしさを０または１ではなく、０から１の実数で出力可能なＲｅａｌ ＡｄａＢｏｏｓｔという学習手法が採用されてもよい。
また、これら学習手法には、入力層、中間層、及び出力層を有するニューラルネットワークが採用されてもよい。
このような学習アルゴリズムが搭載された学習装置に、さまざまな条件で撮影された多数の顔画像と多数の顔以外の画像（非顔画像）とが学習データとして与えられ、学習が繰り返され、重みなどのパラメータが調整されて最適化が図られることにより、顔を高精度に検出可能な階層構造を有する強判別器が構築されてゆく。
そして、強判別器を構成する各階層の弱判別器で用いられる１以上の特徴量が、学習済みの顔特徴量として用いられる。
特定個人の顔特徴量１４２ａは、例えば、予め所定の場所で、特定個人の顔画像がさまざまな条件（さまざまな顔の向き、視線の方向、又は目の開閉状態などの条件）で個別に撮像され、これら多数の撮影画像が教師データとして、上記学習装置に入力され、学習処理によって調整された、特定個人の顔の特徴を示すパラメータである。
特定個人の顔特徴量１４２ａは、例えば、学習処理によって得られた、顔の局所的な領域の明暗差の組み合わせパターンでもよい。顔特徴量記憶部１４２に記憶される特定個人の顔特徴量１４２ａは、１人の特定個人の顔特徴量だけでもよいし、複数の特定個人が車両２を運転する場合には、複数人の特定個人の顔特徴量であってもよい。
通常の顔特徴量１４２ｂは、通常の人の顔画像がさまざまな条件（さまざまな顔の向き、視線の方向、又は目の開閉状態などの条件）で撮像された画像が教師データとして、上記学習装置に入力され、学習処理によって調整された、通常の人の顔の特徴を示すパラメータである。
通常の顔特徴量１４２ｂは、例えば、学習処理によって得られた、顔の局所的な領域の明暗差の組み合わせパターンであってもよい。
顔特徴量記憶部１４２に記憶される学習済みの顔特徴量は、例えば、クラウド上のサーバなどからインターネット、携帯電話網などの通信ネットワークを介して取り込まれ、顔特徴量記憶部１４２に記憶される構成であってもよい。
ＥＣＵ４０は、１以上のプロセッサ、メモリ、及び通信モジュールなどを含むコンピュータ装置で構成されている。そして、ＥＣＵ４０に搭載されたプロセッサが、メモリに記憶されたプログラムを読み込み、解釈し実行することで、アクチュエータ４２などに対する所定の制御が実行されるようになっている。
ＥＣＵ４０は、例えば、走行系ＥＣＵ、運転支援系ＥＣＵ、ボディ系ＥＣＵ、及び情報系ＥＣＵのうちの少なくとも１つを含んで構成されている。
前記走行系ＥＣＵには、例えば、駆動系ＥＣＵ、シャーシ系ＥＣＵなどが含まれている。前記駆動系ＥＣＵには、例えば、エンジン制御、モータ制御、燃料電池制御、ＥＶ（Electric Vehicle）制御、又はトランスミッション制御等の「走る」機能に関する制御ユニットが含まれている。
前記シャーシ系ＥＣＵには、例えば、ブレーキ制御、又はステアリング制御等の「止まる、曲がる」機能に関する制御ユニットが含まれている。
前記運転支援系ＥＣＵは、例えば、自動ブレーキ支援機能、車線維持支援機能（ＬＫＡ／Lane Keep Assistともいう）、定速走行・車間距離支援機能（ＡＣＣ／Adaptive Cruise Controlともいう）、前方衝突警告機能、車線逸脱警報機能、死角モニタリング機能、交通標識認識機能等、走行系ＥＣＵなどとの連携により自動的に安全性の向上、又は快適な運転を実現する機能（運転支援機能、又は自動運転機能）に関する制御ユニットを少なくとも１つ以上含んで構成される。
前記運転支援系ＥＣＵには、例えば、米国自動車技術会（ＳＡＥ）が提示している自動運転レベルにおけるレベル１（ドライバ支援）、レベル２（部分的自動運転）、及びレベル３（条件付自動運転）の少なくともいずれかの機能が装備されてもよい。
さらに、自動運転レベルのレベル４（高度自動運転）、又はレベル５（完全自動運転）の機能が装備されてもよいし、レベル１、２のみ、又はレベル２、３のみの機能が装備されてもよい。また、車載システム１が自動運転システムとして構成されていてもよい。
前記ボディ系ＥＣＵは、例えば、ドアロック、スマートキー、パワーウィンドウ、エアコン、ライト、メーターパネル、又はウィンカー等の車体の機能に関する制御ユニットを少なくとも１つ以上含んで構成され得る。
前記情報系ＥＣＵは、例えば、インフォテインメント装置、テレマティクス装置、又はＩＴＳ（Intelligent Transport Systems）関連装置を含んで構成され得る。
前記インフォテインメント装置には、例えば、ユーザインターフェースとして機能するＨＭＩ（Human Machine Interface）装置の他、カーナビゲーション装置、オーディオ機器などが含まれる。
前記テレマティクス装置には、外部と通信するための通信ユニットなどが含まれる。前記ＩＴＳ関連装置には、ＥＴＣ（Electronic Toll Collection System）、又はＩＴＳスポットなどの路側機との路車間通信、若しくは車々間通信などを行うための通信ユニットなどが含まれていてもよい。
センサ４１には、ＥＣＵ４０でアクチュエータ４２の動作制御を行うために必要となるセンシングデータを取得する各種の車載センサが含まれ得る。例えば、車速センサ、シフトポジションセンサ、アクセル開度センサ、ブレーキペダルセンサ、ステアリングセンサなどの他、車外撮影用カメラ、ミリ波等のレーダー（Ｒａｄａｒ）、ライダー（ＬＩＤＥＲ）、超音波センサなどの周辺監視センサなどが含まれていてもよい。
アクチュエータ４２は、ＥＣＵ４０からの制御信号に基づいて、車両２の走行、操舵、又は制動などに関わる動作を実行する装置であり、アクチュエータ４２には、例えば、エンジン、モータ、トランスミッション、油圧又は電動シリンダー等が含まれる。
［機能構成例］
図３は、実施の形態に係るドライバモニタリング装置１０の画像処理部１２の機能構成例を示すブロック図である。
画像処理部１２は、画像入力部２１、顔検出部２２、特定個人判定部２５、第１顔画像処理部２６、第２顔画像処理部３０、出力部３４、及び顔特徴量記憶部１４２を含んで構成されている。
画像入力部２１は、カメラ１１で撮影されたドライバ３の顔を含む画像を取り込む処理を行う。
顔検出部２２は、特定個人の顔検出部２３と、通常の顔検出部２４とを含んで構成され、入力画像から顔を検出するための特徴量を抽出しながら顔領域を検出する処理を行う。
特定個人の顔検出部２３は、顔特徴量記憶部１４２から読み込んだ特定個人の顔特徴量１４２ａを用いて、入力画像から顔領域を検出する処理を行う。
通常の顔検出部２４は、顔特徴量記憶部１４２から読み込んだ通常の顔特徴量１４２ｂを用いて、入力画像から顔領域を検出する処理を行う。
画像から顔領域を検出する手法は特に限定されないが、高速で高精度に顔領域を検出する手法が採用される。顔検出部２２は、例えば、入力画像に対して所定の探索領域（探索窓）を走査させながら、それぞれの探索領域で顔を検出するための特徴量を抽出する。
顔検出部２２は、例えば、顔の局所的な領域の明暗差（輝度差）、エッジ強度、又はこれら局所的領域間の関連性などを特徴量として抽出する。そして、顔検出部２２は、探索領域から抽出した特徴量と、顔特徴量記憶部１４２から読み込んだ通常の顔特徴量１４２ｂ、又は特定個人の顔特徴量１４２ａを用いて、階層的な構造（顔をおおまかにとらえる階層から顔の細部をとらえる階層構造）の検出器で顔か非顔かを判断し、画像中から顔領域を検出する処理を行う。
特定個人判定部２５は、顔検出部２２で検出された顔領域の特徴量と、顔特徴量記憶部１４２から読み込んだ特定個人の顔特徴量１４２ａとを用いて、検出された顔領域の顔が特定個人の顔であるか否かを判定する処理を行う。
特定個人判定部２５は、顔領域から抽出された特徴量と特定個人の顔特徴量１４２ａとの関係を示す指標、例えば、相関係数を算出し、算出された相関係数に基づいて、顔領域の顔が特定個人の顔であるか否かを判定する。例えば、顔領域内における１以上の局所的な領域のHaar-like特徴などの特徴量の相関が求められる。そして、例えば、相関係数が所定の閾値より大きい場合、検出した顔領域の顔が特定個人の顔であると判定し、相関係数が所定の閾値以下の場合、検出した顔領域の顔が特定個人の顔ではないと判定する。
また、特定個人判定部２５は、カメラ１１からの入力画像の１フレームに対する判定の結果に基づいて、検出した顔領域の顔が特定個人の顔であるか否かを判定し、あるいは、カメラ１１からの入力画像の複数フレームに対する判定の結果に基づいて、検出した顔領域の顔が特定個人の顔であるか否かを判定する。
第１顔画像処理部２６は、特定個人判定部２５により特定個人の顔であると判定された場合、特定個人の顔特徴量１４２ａを用いて、特定個人用の顔画像処理を行う。図示された第１顔画像処理部２６は、特定個人の顔向き推定部２７と、特定個人の目開閉検出部２８と、特定個人の視線方向推定部２９とを含んで構成されているが、さらに別の顔挙動推定部、検出部を含んで構成されてもよい。
特定個人の顔向き推定部２７は、特定個人の顔の向きを推定する処理を行う。特定個人の顔向き推定部２７は、例えば、特定個人の顔特徴量１４２ａを用いて、特定個人の顔検出部２３で検出された顔領域から目、鼻、口、眉などの顔器官の位置や形状を検出し、検出した顔器官の位置や形状に基づいて、顔の向きを推定する処理を行う。
画像中の顔領域から顔器官を検出する手法は特に限定されないが、高速で高精度に顔器官を検出できる手法を採用することが好ましい。例えば、３Ｄ顔形状モデルを作成し、これを２次元画像上の顔の領域にフィッティングさせ、顔の各器官の位置と形状を検出する手法が採用され得る。画像中の人の顔に３Ｄ顔形状モデルをフィッティングさせる技術として、例えば、特開２００７−２４９２８０号公報に記載された技術を採用することができるが、これに限定されるものではない。
また、特定個人の顔向き推定部２７は、特定個人の顔の向きの推定データとして、例えば、上記３Ｄ顔形状モデルのパラメータに含まれている、左右軸回りのピッチ角、上下軸回りのヨー角、及び前後軸回りのロール角を出力してもよい。
特定個人の目開閉検出部２８は、特定個人の目の開閉状態を検出する処理を行う。特定個人の目開閉検出部２８は、例えば、特定個人の顔向き推定部２７で求めた顔器官の位置や形状、特に目の特徴点（瞼、瞳孔）の位置や形状に基づいて、目の開閉状態、例えば、目を開けているか、閉じているかを検出する。
目の開閉状態は、例えば、さまざまな目の開閉状態における目の画像の特徴量（瞼の位置、瞳孔（黒目）の形状、又は、白目部分と黒目部分の領域サイズなど）を予め学習器を用いて学習し、これら学習済みの特徴量データとの類似度を評価することで検出されてもよい。
特定個人の視線方向推定部２９は、特定個人の視線の方向を推定する処理を行う。特定個人の視線方向推定部２９は、例えば、ドライバ３の顔の向き、及びドライバ３の顔器官の位置や形状、特に目の特徴点（目尻、目頭、瞳孔）の位置や形状に基づいて、視線の方向を推定する。視線の方向とは、ドライバ３が見ている方向のことであり、例えば、顔の向きと目の向きとの組み合わせによって求められる。
また、視線の方向は、例えば、さまざまな顔の向きと目の向きとの組み合わせにおける目の画像の特徴量（目尻、目頭、瞳孔の相対位置、又は白目部分と黒目部分の相対位置、濃淡、テクスチャーなど）を予め学習器を用いて学習し、これら学習した特徴量データとの類似度を評価することで推定されてもよい。
また、特定個人の視線方向推定部２９は、前記３Ｄ顔形状モデルのフィッティング結果などを用いて、顔の大きさや向きと目の位置などから眼球の大きさと中心位置とを推定するとともに、瞳孔の位置を検出し、眼球の中心と瞳孔の中心とを結ぶベクトルを視線方向として推定してもよい。
第２顔画像処理部３０は、特定個人判定部２５により特定個人の顔ではないと判定された場合、通常の顔特徴量１４２ｂを用いて、通常の顔画像処理を行う。第２顔画像処理部３０は、通常の顔向き推定部３１と、通常の目開閉検出部３２と、通常の視線方向推定部３３とを含んで構成されていてもよい。
通常の顔向き推定部３１と、通常の目開閉検出部３２と、通常の視線方向推定部３３とで行われる処理は、通常の顔特徴量１４２ｂを用いる点などを除き、特定個人の顔向き推定部２７と、特定個人の目開閉検出部２８と、特定個人の視線方向推定部２９と基本的に同様であるので、ここではその説明を省略する。
出力部３４は、画像処理部１２による画像処理に基づく情報をＥＣＵ４０などに出力する処理を行う。画像処理に基づく情報は、例えば、ドライバ３の顔の向き、視線の方向、又は目の開閉状態などの顔の挙動に関する情報でもよいし、顔の挙動の検出結果に基づいて判定されたドライバ３の状態（例えば、前方注視、脇見、居眠り、後ろ向き、突っ伏しなどの状態）に関する情報でもよい。また、画像処理に基づく情報は、ドライバ３の状態判定に基づく、所定の制御信号（注意や警告処理を行うための制御信号、又は車両２の動作制御を行うための制御信号など）でもよい。
［処理動作例］
図４は、実施の形態に係るドライバモニタリング装置１０における画像処理部１２のＣＰＵ１３が行う処理動作の一例を示すフローチャートである。カメラ１１では、例えば、毎秒数十フレームの画像が撮影され、各フレーム、又は一定間隔のフレーム毎に本処理が行われる。
まず、ステップＳ１では、ＣＰＵ１３は、画像入力部２１として動作し、カメラ１１で撮影された画像（ドライバ３の顔を含む画像）を読み込む処理が行われ、その後、ステップＳ２に処理を進める。
ステップＳ２では、ＣＰＵ１３は、通常の顔検出部２４として動作し、入力画像に対して通常の顔検出処理が行われ、その後、ステップＳ３に処理を進める。
ステップＳ２では、例えば、入力画像に対して所定の探索領域（探索窓）を走査させながら、それぞれの探索領域で顔を検出するための特徴量が抽出される。そして、探索領域から抽出した特徴量と、顔特徴量記憶部１４２から読み込まれた通常の顔特徴量１４２ｂとを用いて、顔か非顔かが判断され、画像中から顔領域を検出する処理が行われる。
ステップＳ３では、ＣＰＵ１３は、特定個人の顔検出部２３として動作し、入力画像に対して特定個人の顔検出処理が行われ、その後、ステップＳ４に処理を進める。
ステップＳ３では、例えば、入力画像に対して所定の探索領域（探索窓）を走査させながら、それぞれの探索領域で顔を検出するための特徴量が抽出される。そして、探索領域から抽出された特徴量と、顔特徴量記憶部１４２から読み込まれた特定個人の顔特徴量１４２ａとを用いて、顔か非顔かが判断され、画像中から顔領域を検出する処理が行われる。なお、ステップＳ２とステップＳ３の処理は、１つのステップ内で並列的に行われてもよいし、組み合わせて行われてもよい。
ステップＳ４では、ＣＰＵ１３は、特定個人判定部２５として動作し、ステップＳ２、ステップＳ３で検出された顔領域の特徴量と、顔特徴量記憶部１４２から読み込まれた特定個人の顔特徴量１４２ａとを用いて、顔領域の顔が特定個人の顔であるか否かを判定する処理が行われ、その後、ステップＳ５に処理を進める。
ステップＳ５では、ステップＳ４での判定処理の結果が、特定個人の顔であるか否かが判断され、特定個人の顔であると判断されれば、その後、ステップＳ６に処理を進める。
ステップＳ６では、ＣＰＵ１３は、特定個人の顔向き推定部２７として動作し、例えば、特定個人の顔特徴量１４２ａを用いて、ステップＳ３で検出された顔領域から目、鼻、口、眉などの顔器官の位置や形状が検出され、検出された顔器官の位置や形状に基づいて、顔の向きが推定され、その後、ステップＳ７に処理を進める。
ステップＳ７では、ＣＰＵ１３は、特定個人の目開閉検出部２８として動作し、例えば、ステップＳ６で求められた顔器官の位置や形状、特に目の特徴点（瞼、瞳孔）の位置や形状に基づいて、目の開閉状態、例えば、目を開けているか、閉じているかが検出され、その後、ステップＳ８に処理を進める。
ステップＳ８では、ＣＰＵ１３は、特定個人の視線方向推定部２９として動作し、例えば、ステップＳ６で求められた顔の向き、顔器官の位置や形状、特に目の特徴点（目尻、目頭、瞳孔）の位置や形状に基づいて、視線の方向が推定され、その後処理を終える。
一方ステップＳ５において、特定個人の顔ではない、換言すれば、通常の顔であると判断されれば、ステップＳ９に処理を進める。
ステップＳ９では、ＣＰＵ１３は、通常の顔向き推定部３１として動作し、例えば、通常の顔特徴量１４２ｂを用いて、ステップＳ２で検出された顔領域から目、鼻、口、眉などの顔器官の位置や形状が検出され、検出された顔器官の位置や形状に基づいて、顔の向きが推定され、その後、ステップＳ１０に処理を進める。
ステップＳ１０では、ＣＰＵ１３は、通常の目開閉検出部３２として動作し、例えば、ステップＳ９で求められた顔器官の位置や形状、特に目の特徴点（瞼、瞳孔）の位置や形状に基づいて、目の開閉状態、例えば、目を開けているか、閉じているかが検出され、その後、ステップＳ１１に処理を進める。
ステップＳ１１では、ＣＰＵ１３は、通常の視線方向推定部３３として動作し、例えば、ステップＳ９で求められた顔の向き、顔器官の位置や形状、特に目の特徴点（目尻、目頭、瞳孔）の位置や形状に基づいて、視線の方向が推定され、その後処理を終える。
図５は、実施の形態に係るドライバモニタリング装置１０における画像処理部１２のＣＰＵ１３が行う特定個人判定処理動作の一例を示すフローチャートである。本処理動作は、図４に示したステップＳ４における特定個人判定処理動作の一例であり、入力画像１枚（１フレーム）で判定する場合の処理動作例を示している。
まず、ステップＳ２１では、ＣＰＵ１３は、図４に示したステップＳ２、ステップＳ３の顔検出処理で検出された顔領域から抽出された特徴量を読み込む。
次のステップＳ２２では、顔特徴量記憶部１４２（図３）から学習済みの特定個人の顔特徴量１４２ａが読み込まれ、その後、ステップＳ２３に処理を進める。
ステップＳ２３では、ステップＳ２１で読み込まれた顔領域から抽出された特徴量と、ステップＳ２２で読み込まれた特定個人の顔特徴量１４２ａとの相関係数を算出する処理が行われ、その後、ステップＳ２４に進む。
ステップＳ２４では、算出された相関係数が、特定個人か否かを判定するための所定の閾値より大きいか否かが判断され、相関係数が所定の閾値よりも大きい、換言すれば、顔領域から抽出された特徴量と、特定個人の顔特徴量１４２ａとの相関性が高い（類似度が高い）と判断されれば、その後、ステップＳ２５に進む。
ステップＳ２５では、顔領域に検出された顔が特定個人の顔であると判定され、その後、処理を終える。
一方ステップＳ２４において、相関係数が所定の閾値以下である、換言すれば、顔領域から抽出された特徴量と、特定個人の顔特徴量１４２ａとの相関性が低い（類似度が低い）と判断されれば、その後、ステップＳ２６に処理を進める。
ステップＳ２６では、特定個人の顔ではない、換言すれば、通常の顔であると判定され、その後、処理を終える。
図６は、ドライバモニタリング装置１０の画像処理部１２における特定個人の顔向き推定部２７のより詳細な機能構成例を示すブロック図である。
特定個人の顔向き推定部２７は、特定個人の顔の向きを推定する処理を行う。特定個人の顔向き推定部２７は、例えば、特定個人の顔検出部２３で検出された顔領域から目、鼻、口、眉などの顔器官の位置や形状を検出し、検出された顔器官の位置や形状に基づいて、顔の向きを推定する処理を行う。
画像中の顔領域から顔器官を検出する手法は特に限定されないが、高速で高精度に顔器官を検出できる手法を採用することが好ましい。例えば、３Ｄ顔形状モデルを作成し、これを２次元画像上の顔の領域にフィッティングさせ、顔の各器官の位置と形状を検出する手法が採用され得る。
特定個人の顔向き推定部２７は、特定個人の特定部位を使用しないで顔モデルフィッティング処理を行う特定部位不使用顔モデルフィッティング部２７ａを備えており、例えば１秒間に、１５フレーム〜３０フレーム撮影される画像のうち、最初の１フレーム目は、特定個人の特定部位を寄与させずに顔モデルフィッティング処理を実施する。
前記特定部位の影響を受けない顔モデルフィッティング処理を行うことにより、通常の顔モデルフィッティング処理に近い高速処理を実現することができる。
特定個人の顔向き推定部２７は、さらに、前記特定部位以外の全ての部位各々の顔モデルフィッティングスコアを算出するスコア算出部２７ｂと、前記特定部位以外の全ての部位についての前記顔モデルフィッティングスコアが所定の閾値を上回ったか否かを判定するフィッティングスコア判定部２７ｃとを備えている。
このフィッティングスコア判定部２７ｃの存在により、前記特定部位を除いた部位のみによっても、精度の高い顔向き推定処理の実施が可能か否かの判定を正確に行うことができる
特定個人の顔向き推定部２７は、フィッティングスコア判定部２７ｃにおいて、前記特定部位以外の全ての部位についての前記顔モデルフィッティングスコアが所定の閾値を上回ったと判定された場合には、前記特定部位の特徴量を補完する補完処理部２７ｄを、さらに備えている。
前記特定部位の特徴量を補完する補完処理部２７ｄを備えることにより、前記特定部位を通常の部位、例えば、左目、右目、鼻、口などとして処理することが可能となる。
特定個人の顔向き推定部２７は、前記特定部位の特徴量が補完された後は、通常の顔モデルフィッティング処理により顔向き推定処理を行う通常顔向き推定部２７eを、さらに備えている。
前記特定部位が存在していても、通常の顔モデルフィッティング処理により顔向き推定処理を実施することができれば、安定した高精度のリアルタイム顔向き推定処理を実現することができる。
特定個人の顔向き推定部２７は、特定個人の顔向きの推定データとして、例えば、上記３Ｄ顔形状モデルのパラメータに含まれている、左右軸回りのピッチ角、上下軸回りのヨー角、及び前後軸回りのロール角を出力してもよい。
特定個人の顔向き推定部２７は、顔向き角度のずれを補正する角度補正テーブル２７ｆを、さらに備えている。
この角度補正テーブル２７ｆには、特定個人毎に、例えば、予め所定の場所で、特定個人の顔画像がさまざまな条件（さまざまな顔の向き、視線の方向、又は目の開閉状態などの条件）で個別に撮像され、これら多数の撮影画像が教師データとして、上記学習装置に入力され、学習処理によって調整された、特定個人毎の角度補正データがあらかじめ格納されている。
上記特定個人の特定部位を使用しない顔モデルフィッティング処理を実施しても、どうしても推定される顔向き角度に一定量のずれが生じる場合には、前記角度補正テーブルを用いて顔向き角のずれを補正する。この補正処理により、高精度な顔向き角の算出が容易となる。
図７は、実施の形態に係るドライバモニタリング装置１０の画像処理部１２における特定個人の顔向き推定部２７が実施する処理動作を示すイメージ概念図である。
特定個人の顔向き推定部２７は、特定個人の顔向き推定処理を行なうのに、例えば、
３Ｄ顔形状モデルを作成し、これを２次元画像上の顔の領域にフィッティングさせ、
顔の各器官の位置と形状を検出する手法を採用する。
画像中の人の顔に３Ｄ顔形状モデルをフィッティングさせる技術として、例えば、特開２００７−２４９２８０号公報に記載された技術を適用することができるが、これに限定されるものではない。
図７に示した特定個人の顔向き推定処理の場合、特定個人の特定部位を使用しないで特定個人対応３Ｄ顔モデルフィッティング処理を行う。例えば、１秒間に、１５フレーム〜３０フレーム撮影される画像のうち、最初の１フレーム目は、特定個人の特定部位（図７の場合、右目部分）を寄与させない特定個人対応３Ｄ顔モデルフィッティング処理を実施する。
そして、次に、前記特定部位以外の全ての部位各々の３Ｄ顔モデルフィッティングスコアを算出する処理を行い、前記特定部位以外の全ての部位についての前記特定個人対応３Ｄ顔モデルフィッティングスコアが所定の閾値を上回ったか否かを判定する。
前記特定個人対応３Ｄ顔モデルフィッティングスコアが所定の閾値を上回ったと判定された場合には、次のフレームからトラッキング処理に移行し、前記特定部位の特徴量を補完する補完処理を実施する。
図７に示した例では、特定部位が右目となっており、右目の部分に、例えば、補完処理として塗潰し処理を実施する。
このような補完処理を実施することにより、前記特定部位を通常の部位として処理することが可能となる。
補完処理を実施した後のトラッキング処理では、通常の３Ｄ顔モデルフィッティング処理により顔向き推定処理を実施することになるが、ここでは、特定部位以外のフィッティングスコアが所定の閾値を上回った場合には、特定部位も含めて精度よくフィッティングできたとみなし、次のフレームからは、顔器官点位置の１フレーム毎の動きが微小であるとみなせることを利用し、顔器官点のトラッキング処理を実施する。
具体的には、トラッキング時は、特定部位について、前フレームのフィッティング結果をベースに特徴量を補完する。例えば、図７に示したように、特定部位が右目であるとした場合、前フレームのフィッティング結果から、画像上の右目の位置を推定し、該画像において、その位置を黒く塗りつぶし、特徴量を抽出する。
このような処理とすることで、あたかも通常の３Ｄ顔モデルでのフィッティング相当処理とすることができ、安定した高精度のリアルタイム顔向き推定処理を実現することができる。
図８は、実施の形態に係るドライバモニタリング装置１０の画像処理部１２における特定個人の顔向き推定部２７（ＣＰＵ１３）が行う処理動作の一例を示すフローチャートである。
まず、ステップＳ６１では、フラグがフォールスに設定される。次に、ステップＳ６２において、ｔが１に設定される。
次に、ステップＳ６３において、ｔフレーム目の画像で上記した顔検出処理が行われる。次に、ステップＳ６４において、顔の検出ができたか否かが判断され、顔の検出ができなかったと判断されるとステップＳ７５に進み、フラグがフォールスに設定される一方、顔の検出ができたと判断されると、次に、ステップＳ６５に進む。
ステップＳ６５では、ｔフレーム目の画像で検出された顔画像の取り込み処理が行われる。
次に、ステップＳ６６では、フラグがツルーか否かが判断され、フラグがツルーでないと判断されると、次にステップＳ６７に進む一方、フラグがツルーであると判断されると、次に、ステップＳ７３に進む。
ステップＳ６７では、例えば、１分間に、１５フレーム〜３０フレーム撮影される画像のうち、最初の１フレーム目は、特定個人の特定部位を寄与させない特定個人対応３Ｄ顔モデルフィッティング処理を実施する。前記特定部位の影響を受けない顔モデルフィッティング処理を行うことにより、通常の顔モデルフィッティング処理に近い高速処理を実現することができる。
ステップＳ６７の処理を終えると、次にステップＳ６８に進み、ステップＳ６８では、特定部位を寄与させない特定個人対応３Ｄ顔モデルフィッティングスコアを算出する処理が行われる。
ステップＳ６８の処理を終えると、次に、ステップＳ６９に処理を進める。
ステップＳ６９では、フィッティングスコア判定処理が行われ、前記特定部位以外の全ての部位についての前記特定個人対応３Ｄ顔モデルフィッティングスコアが所定の閾値を上回ったか否かが判定される。
ステップＳ６９において、前記特定部位以外の全ての部位についての前記特定個人対応３Ｄ顔モデルフィッティングスコアが所定の閾値を上回ったと判定された場合には、その後、ステップＳ７０に処理を進める。
ステップＳ７０では、フラグがツルーに設定され、その後、ステップＳ７１に処理を進める。
他方、ステップＳ６９において、前記特定部位以外の全ての部位についての前記特定個人対応３Ｄ顔モデルフィッティングスコアが所定の閾値を上回らなかったと判定された場合には、ステップＳ７２に処理を進め、ステップＳ７２では、フレームが進む処理が施され、その後、ステップＳ６３に戻る。
他方、ステップＳ６６で、フラグがツルーであると判断され、次に、ステップＳ７３に進むと、ステップＳ７３では。前記特定部位の特徴量を補完する補完処理が実施される。この補完処理では、例えば、図７に示したように、特定部位が右目と判断された場合には、右目の部分に、例えば、黒塗潰し処理が施される。
このような補完処理を実施することにより、その後の処理において、前記特定部位を通常の部位、例えば、右目として処理することが可能となり、あたかも通常の顔モデルフィッティング相当の処理とすることが可能となる。
ステップＳ７３での補完処理を終えると、その後、ステップＳ７４に処理を進める。
ステップＳ７４では、通常の３Ｄ顔モデルフィッティング処理により顔向き推定処理が実施され、その後、ステップＳ７１に進む。
ステップＳ７４では、補完処理を実施した後のトラッキング処理が実施され、特定部位以外のフィッティングスコアが所定の閾値を上回った場合には、特定部位も含めて精度よくフィッティングできたとみなし、顔器官点位置の１フレーム毎の動きが微小であるとみなせることを利用し、顔器官点のトラッキング処理を実施する。
具体的には、トラッキング時は、特定部位について、前フレームのフィッティング結果をベースに特徴量を補完する。例えば、図７に示したように、特定部位が右目であるとした場合、前フレームのフィッティング結果から、画像上の右目の位置を推定し、該画像において、その位置を黒く塗りつぶし、特徴量を抽出する。
このような処理とすることで、あたかも通常の３Ｄ顔モデルでのフィッティング相当処理とすることができ、安定した高精度のリアルタイム顔向き推定処理を実現することができる。
この様に、前記特定部位が存在していても、前記特定部位の特徴量が補完された後は、通常の３Ｄ顔モデルフィッティング処理により顔向き推定処理を実施することが可能となり、安定して精度の良いリアルタイムな顔向き推定処理を実施することが可能となる。
ステップＳ７４において顔向き推定処理が実施されると、その後、ステップＳ７１に進み、ステップＳ７１では、予め特定個人毎に学習して作成しておいた、顔向き角度のずれを補正する角度補正テーブル２７ｆを用い、顔向き角のずれを補正する処理が実施される。
この補正処理は、上記特定個人の特定部位を使用しない特定個人対応３Ｄ顔モデルフィッティング処理を実施しても、推定される顔向き角度にどうしても一定のずれが生じる場合に行われるもので、予め特定個人毎に作成しておいた角度補正テーブル２７ｆを用いることにより、顔向き角のずれを特定個人毎に容易に補正することができ、高精度な顔向き角の算出を可能とする。
ステップＳ７１における顔向き角のずれを補正する処理が終了すると、その後、ステップＳ７２に処理を進め、ステップＳ７２では、フレームが進む処理が施され、その後、ステップＳ６３に戻る。 また、上記したステップＳ７５からもステップＳ７２に処理が進められ、ステップＳ７２では、同様にフレームが進む処理が施され、その後、ステップＳ６３に戻る。
上記した実施の形態に係るドライバモニタリング装置１０によれば、顔特徴量記憶部１４２に学習済みの顔特徴量として、特定個人の顔特徴量１４２ａと、通常の顔特徴量１４２ｂとが記憶され、特定個人判定部２５により、顔検出部２２で検出された顔領域の特徴量と、特定個人の顔特徴量１４２ａとを用いて、顔領域の顔が特定個人の顔であるか否かが判定される。従って、特定個人の顔特徴量１４２ａを用いることにより、特定個人の顔であるか否かを精度良く判定することができる。
また、特定個人判定部２５により特定個人の顔であると判定された場合、第１顔画像処理部２６により特定個人の顔画像処理を精度良く実施することができる。一方、特定個人判定部２５により特定個人の顔ではない、換言すれば、通常の顔（特定個人以外の人の顔）であると判定された場合、第２顔画像処理部３０により通常の顔画像処理を精度良く実施することができる。従って、ドライバ３が、特定個人であっても、特定個人以外の通常の人であっても、それぞれの顔のセンシングを精度良く実施することができる。
また、特定個人の顔向き推定について、前フレームでの顔モデルフィッティング結果をベースに、特定部位（顔器官欠損部位など）の特徴量を補完することで、安定して精度良くリアルタイムで顔向きを推定することが可能となる。
すなわち、具体的には、最初の１フレーム目は、特定部位を寄与させずにフィッティングする、いわゆる、特定個人対応顔モデルを用いる。
ここで、特定部位以外のフィッティングスコアが所定の閾値以上の場合、特定部位も含めて精度良くフィッティングできたとみなし、次フレームからは、15フレーム/秒あるいは30フレーム/秒のような動画においては、顔器官点位置の１フレーム毎の動きが微小であるとみなせることを利用した顔器官点のトラッキング処理を開始する。
すなわち、トラッキング時は、特定部位について、前フレームのフィッティング結果をベースに特徴量を補完する。例えば、特定部位が右目の場合、前フレームのフィッティング結果から、画像上における右目の位置を推定し、該画像において、その位置を黒く塗りつぶし、特徴量を抽出する。このようにすることで、あたかも通常の顔モデルフィッティング相当の処理とすることができ、結果として、安定して精度良くリアルタイムで顔向きを推定することができるようになる。
また、車載システム１が、ドライバモニタリング装置１０と、ドライバモニタリング装置１０から出力されるモニタリングの結果に基づいて、所定の処理を実行する１以上のＥＣＵ４０とを備えている。従って、前記モニタリングの結果に基づいて、ＥＣＵ４０に所定の制御を適切に実行させることが可能となる。これにより、特定個人であっても安心して運転することができる安全性の高い車載システムを構築することが可能となる。
以上、本発明の実施の形態を説明したが、前述までの説明はあらゆる点において本発明の例示に過ぎず、本発明の範囲を逸脱することなく、種々の改良や変更を実施することができることは言うまでもない。
上記実施の形態では、本発明に係る画像処理装置をドライバモニタリング装置１０に適用した場合について説明したが、適用例はこれに限定されない。例えば、工場内の機械や装置などの各種設備を操作したり、監視したり、所定の作業をしたりする人などをモニタリングする装置やシステムなどにおいて、モニタリング対象者に上記した特定個人が含まれる場合に、本発明に係る画像処理装置を適用可能である。
また、上記実施の形態では、特定個人（一般的な人物の、年齢、及び性別の違いなどがあったとしても共通する顔特徴とは異なる特徴を有する個人をいうものとする）に本発明を適用した場合について説明したが、本発明は、マスクで鼻や口が隠された人も特定個人として適用可能であり、あるいは眼帯を付けた人も特定個人として適用可能である。
［付記］
本発明の実施の形態は、以下の付記の様にも記載され得るが、これらに限定されない。
（付記１）
撮像部から入力される画像を処理する画像処理方法であって、
前記画像から顔の特徴量を抽出しながら顔領域を検出する顔検出ステップ（Ｓ２、Ｓ３）と、
該顔検出ステップ（Ｓ２、Ｓ３）により検出された前記顔領域の前記特徴量と、特定個人の顔を検出するための学習を行った学習済みの前記特定個人の顔特徴量（１４２ａ）とを用いて、前記顔領域の顔が前記特定個人の顔であるか否かを判定する特定個人判定ステップ（Ｓ４）と、
該特定個人判定ステップ（Ｓ４）により、前記特定個人の顔であると判定された場合、特定個人用の顔画像処理を行う第１顔画像処理ステップ（Ｓ６、Ｓ７、Ｓ８）と、
前記特定個人判定ステップ（Ｓ４）により、前記特定個人の顔ではないと判定された場合、通常の顔画像処理を行う第２顔画像処理ステップ（Ｓ９、Ｓ１０、Ｓ１１）と、を含み、
前記画像処理には、顔向き推定処理が含まれ、前記第１顔画像処理ステップ（Ｓ６、Ｓ７、Ｓ８）は、特定個人の顔向き推定ステップ（Ｓ６）を含むことを特徴とする画像処理方法。
１ 車載システム
２ 車両
３ ドライバ
１０ ドライバモニタリング装置
１１ カメラ
１２ 画像処理部
１３ ＣＰＵ
１４ ＲＯＭ
１４１ プログラム記憶部
１４２ 顔特徴量記憶部
１４２ａ 特定個人の顔特徴量
１４２ｂ 通常の顔特徴量
１５ ＲＡＭ
１５１ 画像メモリ
１６ 通信部
２１ 画像入力部
２２ 顔検出部
２３ 特定個人の顔検出部
２４ 通常の顔検出部
２５ 特定個人判定部
２６ 第１顔画像処理部
２７ 特定個人の顔向き推定部
２７ａ 特定部位不使用顔向き推定部
２７ｂ 顔モデルフィッティングスコア算出部
２７ｃ フィッティングスコア判定部
２７ｄ 補完処理部
２７ｅ 通常顔向き推定部
２７ｆ 角度補正テーブル
２８ 特定個人の目開閉検出部
２９ 特定個人の視線方向推定部
３０ 第２顔画像処理部
３１ 通常の顔向き推定部
３２ 通常の目開閉検出部
３３ 通常の視線方向推定部
３４ 出力部
４０ ＥＣＵ
４１ センサ
４２ アクチュエータ
４３ 通信バス

Claims (14)

  1. 撮像部から入力される画像を処理する画像処理装置であって、
    前記画像から顔を検出するための学習を行った学習済みの顔特徴量として、特定個人の顔特徴量と、通常の顔特徴量とが記憶される顔特徴量記憶部と、
    前記画像から顔を検出するための特徴量を抽出しながら顔領域を検出する顔検出部と、
    検出された前記顔領域の前記特徴量と、前記特定個人の顔特徴量とを用いて、前記顔領域の顔が前記特定個人の顔であるか否かを判定する特定個人判定部と、
    該特定個人判定部により前記特定個人の顔であると判定された場合、特定個人用の顔画像処理を行う第１顔画像処理部と、
    前記特定個人判定部により前記特定個人の顔ではないと判定された場合、通常の顔画像処理を行う第２顔画像処理部とを備え、
    前記画像処理には、顔向き推定処理が含まれ、前記第１顔画像処理部には、特定個人の顔向き推定部が含まれていることを特徴とする画像処理装置。
  2. 前記特定個人の顔向き推定部が、特定個人の特定部位を使用しない顔モデルフィッティング処理により顔向き推定を行う特定部位不使用顔向き推定部を備えていることを特徴とする請求項１記載の画像処理装置。
  3. 前記特定部位以外の全ての部位各々の顔モデルフィッティングスコアを算出するスコア算出部と、
    前記特定部位以外の全ての部位についての前記顔モデルフィッティングスコアが所定の条件を満たしているか否かを判定するフィッティングスコア判定部とを、さらに備えていることを特徴とする請求項２記載の画像処理装置。
  4. 前記フィッティングスコア判定部において、前記特定部位以外の全ての部位についての前記顔モデルフィッティングスコアが所定の条件を満たしていると判定された場合には、トラッキング処理に際し、前記特定部位の特徴量を補完する補完処理部を、さらに備えていることを特徴とする請求項３記載の画像処理装置。
  5. 前記特定部位の特徴量が補完された後は、通常の顔モデルフィッティング処理により顔向き推定を行う通常顔向き推定部を、さらに備えていることを特徴とする請求項４記載の画像処理装置。
  6. 顔向き角度のずれを補正する角度補正テーブルを、さらに備えていることを特徴とする請求項１〜５のいずれかの項に記載の画像処理装置。
  7. 前記特定個人判定部が、
    前記顔領域から抽出された前記特徴量と前記特定個人の顔特徴量との相関係数を算出し、
    算出した前記相関係数に基づいて、前記顔領域の顔が前記特定個人の顔であるか否かを判定するものであることを特徴とする請求項１〜６のいずれかの項に記載の画像処理装置。
  8. 前記特定個人判定部が、
    前記相関係数が所定の閾値より大きい場合、前記顔領域の顔が前記特定個人の顔であると判定し、
    前記相関係数が前記所定の閾値以下の場合、前記顔領域の顔が前記特定個人の顔ではないと判定するものであることを特徴とする請求項７記載の画像処理装置。
  9. 前記顔画像処理には、顔検出処理、視線方向推定処理、及び目開閉検出処理のうち少なくとも１つは含まれていることを特徴とする請求項１〜８のいずれかの項に記載の画像処理装置。
  10. 請求項１〜９のいずれかの項に記載の画像処理装置と、
    該画像処理装置に入力する画像を撮影する撮像部と、
    前記画像処理装置による画像処理に基づく情報を出力する出力部とを備えていることを特徴とするモニタリング装置。
  11. 請求項１０記載のモニタリング装置と、
    該モニタリング装置と通信可能に接続され、該モニタリング装置から出力される前記情報に基づいて、所定の処理を実行する１以上の制御装置とを備えていることを特徴とする制御システム。
  12. 前記モニタリング装置が、車両のドライバをモニタリングするための装置であり、
    前記制御装置が、前記車両に搭載される電子制御ユニットを含むものであることを特徴とする請求項１１記載の制御システム。
  13. 撮像部から入力される画像を処理する画像処理方法であって、
    前記画像から顔の特徴量を抽出しながら顔領域を検出する顔検出ステップと、
    該顔検出ステップにより検出された前記顔領域の前記特徴量と、特定個人の顔を検出するための学習を行った学習済みの前記特定個人の顔特徴量とを用いて、前記顔領域の顔が前記特定個人の顔であるか否かを判定する特定個人判定ステップと、
    該特定個人判定ステップにより、前記特定個人の顔であると判定された場合、特定個人用の顔画像処理を行う第１顔画像処理ステップと、
    前記特定個人判定ステップにより、前記特定個人の顔ではないと判定された場合、通常の顔画像処理を行う第２顔画像処理ステップと、を含み、
    前記画像処理には、顔向き推定処理が含まれ、前記第１顔画像処理ステップは、特定個人の顔向き推定ステップを含むことを特徴とする画像処理方法。
  14. 撮像部から入力される画像の処理を少なくとも１以上のコンピュータに実行させるためのコンピュータプログラムであって、
    前記少なくとも１以上のコンピュータに、
    前記画像から顔の特徴量を抽出しながら顔領域を検出する顔検出ステップと、
    該顔検出ステップにより検出された前記顔領域の前記特徴量と、特定個人の顔を検出するための学習を行った学習済みの前記特定個人の顔特徴量とを用いて、前記顔領域の顔が前記特定個人の顔であるか否かを判定する特定個人判定ステップと、
    該特定個人判定ステップにより前記特定個人の顔であると判定された場合、特定個人用の顔画像処理を行う第１顔画像処理ステップと、
    前記特定個人判定ステップにより前記特定個人の顔ではないと判定された場合、通常の顔画像処理を行う第２顔画像処理ステップと、を実行させ、
    前記画像処理には、顔向き推定処理が含まれ、前記第１顔画像処理ステップは、特定個人の顔向き推定ステップを含むことを特徴とするコンピュータプログラム。
JP2019142705A 2019-08-02 2019-08-02 画像処理装置、モニタリング装置、制御システム、画像処理方法、及びコンピュータプログラム Pending JP2021026420A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019142705A JP2021026420A (ja) 2019-08-02 2019-08-02 画像処理装置、モニタリング装置、制御システム、画像処理方法、及びコンピュータプログラム
PCT/JP2020/029232 WO2021024905A1 (ja) 2019-08-02 2020-07-30 画像処理装置、モニタリング装置、制御システム、画像処理方法、コンピュータプログラム、及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019142705A JP2021026420A (ja) 2019-08-02 2019-08-02 画像処理装置、モニタリング装置、制御システム、画像処理方法、及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
JP2021026420A true JP2021026420A (ja) 2021-02-22

Family

ID=74504081

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019142705A Pending JP2021026420A (ja) 2019-08-02 2019-08-02 画像処理装置、モニタリング装置、制御システム、画像処理方法、及びコンピュータプログラム

Country Status (2)

Country Link
JP (1) JP2021026420A (ja)
WO (1) WO2021024905A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030512B (zh) * 2022-08-04 2023-10-31 荣耀终端有限公司 注视点检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010198313A (ja) * 2009-02-25 2010-09-09 Denso Corp 開眼度特定装置
WO2013008305A1 (ja) * 2011-07-11 2013-01-17 トヨタ自動車株式会社 瞼検出装置
JP2015194884A (ja) * 2014-03-31 2015-11-05 パナソニックＩｐマネジメント株式会社 運転者監視システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010198313A (ja) * 2009-02-25 2010-09-09 Denso Corp 開眼度特定装置
WO2013008305A1 (ja) * 2011-07-11 2013-01-17 トヨタ自動車株式会社 瞼検出装置
JP2015194884A (ja) * 2014-03-31 2015-11-05 パナソニックＩｐマネジメント株式会社 運転者監視システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
八木澤 康明 YASUAKI YAGISAWA, 電子情報通信学会２０１０年エレクトロニクスソサイエティ大会講演論文集２ PROCEEDINGS OF THE 2010 IEIC, JPN6023007553, 31 August 2010 (2010-08-31), JP, pages 24, ISSN: 0005005684 *

Also Published As

Publication number Publication date
WO2021024905A1 (ja) 2021-02-11

Similar Documents

Publication Publication Date Title
EP2860664B1 (en) Face detection apparatus
Alioua et al. Driver head pose estimation using efficient descriptor fusion
EP3033999B1 (en) Apparatus and method for determining the state of a driver
US20230038039A1 (en) In-vehicle user positioning method, in-vehicle interaction method, vehicle-mounted apparatus, and vehicle
US9928404B2 (en) Determination device, determination method, and non-transitory storage medium
US9785828B2 (en) System and method for partially occluded object detection
CN111434553B (zh) 制动系统、方法、装置、疲劳驾驶模型的训练方法和装置
Rezaei et al. Simultaneous analysis of driver behaviour and road condition for driver distraction detection
WO2021024905A1 (ja) 画像処理装置、モニタリング装置、制御システム、画像処理方法、コンピュータプログラム、及び記憶媒体
Rani et al. Development of an Automated Tool for Driver Drowsiness Detection
JP2004334786A (ja) 状態検出装置及び状態検出システム
Llorca et al. Stereo-based pedestrian detection in crosswalks for pedestrian behavioural modelling assessment
JP2021009503A (ja) 個人データ取得システム、個人データ取得方法、画像処理装置用顔センシングパラメータの調整方法及びコンピュータプログラム
JP7230710B2 (ja) 画像処理装置、モニタリング装置、制御システム、画像処理方法、及びプログラム
WO2020261820A1 (ja) 画像処理装置、モニタリング装置、制御システム、画像処理方法、及びプログラム
CN116012822A (zh) 一种疲劳驾驶的识别方法、装置及电子设备
US11345354B2 (en) Vehicle control device, vehicle control method and computer-readable medium containing program
CN111267865B (zh) 基于视觉的安全驾驶预警方法、系统及存储介质
Nowosielski Vision-based solutions for driver assistance
WO2021262166A1 (en) Operator evaluation and vehicle control based on eyewear data
Rezaei Computer vision for road safety: a system for simultaneous monitoring of driver behaviour and road hazards
Kim et al. Driving environment assessment using fusion of in-and out-of-vehicle vision systems
US20230260269A1 (en) Biometric task network
WO2022244333A1 (ja) 物体認識装置、および、物体認識方法
US20230260328A1 (en) Biometric task network

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230501

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230814