JP2020052827A - 乗員モデリング装置、乗員モデリング方法および乗員モデリングプログラム - Google Patents

乗員モデリング装置、乗員モデリング方法および乗員モデリングプログラム Download PDF

Info

Publication number
JP2020052827A
JP2020052827A JP2018182750A JP2018182750A JP2020052827A JP 2020052827 A JP2020052827 A JP 2020052827A JP 2018182750 A JP2018182750 A JP 2018182750A JP 2018182750 A JP2018182750 A JP 2018182750A JP 2020052827 A JP2020052827 A JP 2020052827A
Authority
JP
Japan
Prior art keywords
face
unit
model
occupant
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018182750A
Other languages
English (en)
Other versions
JP7290930B2 (ja
Inventor
晋 大須賀
Susumu Osuga
晋 大須賀
加藤　隆志
Takashi Kato
隆志 加藤
善之 山田
Yoshiyuki Yamada
善之 山田
服部　哲也
Tetsuya Hattori
哲也 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Priority to JP2018182750A priority Critical patent/JP7290930B2/ja
Priority to US16/578,686 priority patent/US11210497B2/en
Priority to DE102019125921.5A priority patent/DE102019125921A1/de
Publication of JP2020052827A publication Critical patent/JP2020052827A/ja
Application granted granted Critical
Publication of JP7290930B2 publication Critical patent/JP7290930B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20121—Active appearance model [AAM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20124—Active shape model [ASM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Abstract

【課題】トラッキング処理を維持し易い乗員モデリング装置を提供する。【解決手段】乗員モデリング装置は、例えば、車両内において乗員の顔が存在する可能性のある領域を撮像することで得られる画像を取得する取得部と、取得部が取得する第１の画像に基づき顔のモデルを生成するモデルフィッティング部と、取得部が取得する第１の画像より後に取得された第２の画像にモデルを適合させるトラッキング部と、顔の顔部品位置に関する正解情報と不正解情報とに基づき学習させた学習済み情報を用いて、モデルが適合される第２の画像に含まれる顔部品位置の正否を判定する判定部と、判定部の判定結果に応じて、トラッキング部による処理を継続するか、モデルフィッティング部による処理を再実行するかを決定する処理部と、を備える。【選択図】図４

Description

本発明の実施形態は、乗員モデリング装置、乗員モデリング方法および乗員モデリングプログラムに関する。
従来、撮像された画像（静止画または動画）に含まれる顔の位置および向き、眼、口等の顔部品の状態等を検出する顔検出技術の開発が進められている。例えば、車両においては、運転者の顔検出を行うことによって、脇見運転や居眠り運転を検知し、警報等の所定のアクションを行うものが提案されている。このような検知を行うためにはリアルタイムで顔検出を実行することが望ましいが、車両の内部では、車外から差し込む光の強さや光の差し込む方向が変化しやすく、また車の揺れや周囲の確認動作により運転者の顔が動きやすい。顔検出の技術としては、例えば、非特許文献１には、最急降下法等を用いて統計的顔形状モデルを画像中の顔に合わせる、いわゆるモデルフィッティングを行うことによって、画像中の顔のモデルを生成する顔検出技術（ＡＳＭ：Active Shape Model、ＡＡＭ：Active Appearance Model）が開示されている。この技術によれば、画像中の顔のモデルを生成し、このモデルを用いて継続して画像中の顔に適合させる、すなわちトラッキングを行うことが可能で、経時的に顔の位置および向き、ならびに各顔部品の状態を特定することができる。また、特許文献１には、フレーム間の差分画像を用いて瞬目に起因する画像の変化領域を検出し、眼の位置を特定する顔部品検出技術が開示されている。
Stan Z. Li, Anil K. Jain、「Handbook of Face Recognition2nd Edition」
特許第４８９５８４７号公報
上述したモデルフィッティングを行う場合、顔形状モデルの初期状態（位置、形状、角度等）が実際の画像における顔の状態と大きく異なる場合、局所最適解に陥り、正しくフィッティング処理ができないことがある。そのため、フィッティング処理で生成されたモデルを用いたトラッキング処理を継続して行うと誤差の累積が生じて、顔の検出精度が低下してしまう場合がある。そのため、他のシステム、例えば、特許文献１の瞬目に基づく顔部品検出技術と組み合わせることで、トラッキング処理で正しいモデルが利用されているかチェック処理を行うことで精度の低下を軽減することが考えられる。しかしながら、瞬目の間隔には個人差があり、人によっては長時間（例えば１分近くまたそれ以上）瞬目をしない場合もある。このような場合、瞬目が検出されるまで、チェック処理が実行されない。その結果、適切なトラッキング処理が行われない期間が長くなり、顔検出精度の低下対策が十分にできないという問題があった。したがって、トラッキング処理を維持し易い乗員モデリング装置、乗員モデリング方法および乗員モデリングプログラムが提供できれば、顔検出精度の維持性能が向上できて有意義である。
本発明の実施形態にかかる乗員モデリング装置は、例えば、車両内において乗員の顔が存在する可能性のある領域を撮像することで得られる画像を取得する取得部と、上記取得部が取得する第１の画像に基づき上記顔のモデルを生成するモデルフィッティング部と、上記取得部が取得する上記第１の画像より後に取得された第２の画像に上記モデルを適合させるトラッキング部と、上記顔の顔部品位置に関する正解情報と不正解情報とに基づき学習させた学習済み情報を用いて、上記モデルが適合される上記第２の画像に含まれる上記顔部品位置の正否を判定する判定部と、上記判定部の判定結果に応じて、上記トラッキング部による処理を継続するか、上記モデルフィッティング部による処理を再実行するかを決定する処理部と、を備える。この構成によれば、例えば、乗員の顔の第２の画像が取得できれば、学習済み情報に基づき顔部品位置の正否の判定が可能になり、その判定結果に応じて、トラッキング部による処理を継続するか、モデルフィッティング部による処理を再実行するかを決定することができる。その結果、顔検知精度の低下したトラッキング処理が継続されることが抑制できる。
本発明の実施形態にかかる乗員モデリング装置の上記判定部は、例えば、上記トラッキング部の処理により顔部品位置と認識された情報に基づき、上記第２の画像の顔部品位置を特定し、上記学習済み情報との正否を判定してもよい。この構成によれば、トラッキング処理が正しく実施されているか否かを効率的に判定することができる。
本発明の実施形態にかかる乗員モデリング装置の上記判定部は、例えば、上記顔部品位置として、上記顔の眼の位置の正否を判定する第１の判定と、上記顔に含まれる複数の顔部品の位置の正否を判定する第２の判定と、のうち少なくとも一方に対して判定を実行するようにしてもよい。この構成によれば、例えば、第１の判定または第２の判定のいずれか一方で顔部品位置の正否判定を行う場合、効率的な判定処理ができる。また、第１の判定と第２の判定の両方で顔部品位置の正否判定を行う場合、判定精度をより向上することができる。
本発明の実施形態にかかる乗員モデリング方法は、例えば、車両内において乗員の顔が存在する可能性のある領域を撮像することで得られる画像を取得する取得ステップと、上記取得ステップで取得した第１の画像に基づき上記顔のモデルを生成するモデルフィッティングステップと、上記取得ステップが取得した上記第１の画像より後に取得された第２の画像に上記モデルを適合させるトラッキングステップと、上記顔の顔部品位置に関する正解情報と不正解情報とに基づき学習させた学習済み情報を用いて、上記モデルが適合される上記第２の画像に含まれる上記顔部品位置の正否を判定する判定ステップと、上記判定ステップの判定結果に応じて、上記トラッキングステップによる処理を継続するか、上記モデルフィッティングステップによる処理を再実行するかを決定する処理ステップと、を備える。この構成によれば、例えば、乗員の顔の第２の画像が取得できれば、学習済み情報に基づき顔部品位置の正否の判定が可能になり、その判定結果に応じて、トラッキングステップによる処理を継続するか、モデルフィッティングステップによる処理を再実行するかを決定することができる。その結果、顔検知精度の低下したトラッキングステップによる処理が継続されることが抑制できる。
本発明の実施形態にかかる乗員モデリングプログラムは、例えば、コンピュータに、車両内において乗員の顔が存在する可能性のある領域を撮像することで得られる画像を取得する取得ステップと、上記取得ステップで取得した第１の画像に基づき上記顔のモデルを生成するモデルフィッティングステップと、上記取得ステップが取得した上記第１の画像より後に取得された第２の画像に上記モデルを適合させるトラッキングステップと、上記顔の顔部品位置に関する正解情報と不正解情報とに基づき学習させた学習済み情報を用いて、上記モデルが適合される上記第２の画像に含まれる上記顔部品位置の正否を判定する判定ステップと、上記判定ステップの判定結果に応じて、上記トラッキングステップによる処理を継続するか、上記モデルフィッティングステップによる処理を再実行するかを決定する処理ステップと、を実行させる。この構成によれば、例えば、乗員の顔の第２の画像が取得できれば、学習済み情報に基づき顔部品位置の正否の判定が可能になり、その判定結果に応じて、トラッキングステップによる処理を継続するか、モデルフィッティングステップによる処理を再実行するかを決定することを、コンピュータに実行させることができる。その結果、顔検知精度の低下したトラッキング処理が継続されることが抑制できる。
図１は、実施形態にかかる乗員モデリング装置を搭載可能な車両の車室の一部が透視された状態が示された例示的な斜視図である。 図２は、実施形態にかかる乗員モデリング装置で利用する画像を撮像するための撮像部および赤外線照射器の配置の一例を示す模式図である。 図３は、実施形態にかかる乗員モデリング装置（乗員モデリング部）を実現するＥＣＵを含む車両制御システムの構成の例示的なブロック図である。 図４は、実施形態にかかる乗員モデリング装置（乗員モニタリング部）の各モジュールがＣＰＵで実現されることを例示的に示すブロック図である。 図５は、実施形態にかかる乗員モデリング装置で利用する顔のモデルを説明するための例示的な模式図である。 図６は、図５の顔のモデルに対応するテンプレートを説明するための例示的な模式図である。 図７は、実施形態にかかる乗員モデリング装置におけるトラッキング処理の様子を説明する模式図である。 図８は、実施形態にかかる乗員モデリング装置において、トラッキング処理と判定処理とが並列的に実行されていることを示す例示的な模式図である。 図９は、実施形態にかかる乗員モデリング装置における判定部が、顔部品位置として、顔の眼の位置の正否を判定する第１の判定を実行する場合の判定領域を示す例示的に模式図である。 図１０は、実施形態にかかる乗員モデリング装置における判定部が、顔部品位置として、顔に含まれる複数の顔部品の位置の正否を判定する第２の判定を実行する場合の判定領域を示す例示的に模式図である。 図１１は、実施形態にかかる乗員モデリング装置のおける乗員モニタリング処理の流れの一例を示すフローチャートである。 図１２は、実施形態にかかる乗員モデリング装置のおける判定処理の流れの一例を示すフローチャートである。
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
以下に示す実施形態では、車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
図１に示されるように、車両１の車体２は、運転者（不図示）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード１２（インストルメントパネル）から突出したステアリングホイールである。
また、図１に示されるように、本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。さらに、本実施形態では、これら四つの車輪３は、いずれも操舵されうるように（転舵可能に）構成されている。
また、車室２ａ内のダッシュボード１２の車幅方向すなわち左右方向の中央部には、モニタ装置１１が設けられている。モニタ装置１１には、表示装置や音声出力装置が設けられている。表示装置は、例えば、ＬＣＤ（Liquid Crystal Display）や、ＯＥＬＤ（Organic Electroluminescent Display）等である。音声出力装置は、例えば、スピーカである。また、表示装置は、例えば、タッチパネル等、透明な操作入力部１０（図３参照）で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８（図３参照）の表示画面に表示される画像に対応した位置において手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
また、図２に示すように、操舵部４を支持するハンドルコラム２０２には、撮像部２０１と、赤外線照射器２０３と、が設けられている。赤外線照射器２０３は、例えば、赤外線を照射するＬＥＤ（Light Emitting Diode）ライト等とすることができる。撮像部２０１は、例えば、赤外線による撮影に対応した、ＣＣＤ（Charge Coupled Device）カメラ等とすることができる。
撮像部２０１は、例えば、座席２ｂに着座する運転者３０２の顔が、視野中心に位置するように、視野角及び姿勢が調整されて設置されている。撮像部２０１は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。また、赤外線照射器２０３は、当該赤外線照射器２０３が照射する光の光軸が、座席２ｂに着座する運転者３０２の顔の近傍に来るように、調整されている。
赤外線照射器２０３は、上述した調整の結果、座席２ｂに運転者３０２（人）が座った場合に、当該運転者３０２の顔が存在する可能性がある範囲２５０に対して、赤外線２１２を照射する。赤外線２１２は、人の眼には光として認識されないため、赤外線２１２が運転者３０２の顔の方向に照射しても、照射対象となった運転者３０２はまぶしいと感じない。したがって、運転者３０２の運転時の快適性を確保しつつ、撮像部２０１による、運転者３０２の顔の撮像を容易に行うことができる。
撮像部２０１は、上述した調整の結果、赤外線照射器２０３により赤外線２１２が照射される、運転者３０２の顔が存在する可能性がある範囲２５０を撮像する。そして、撮像部２０１は、例えば車両１の運転が行われている間、運転者３０２の顔の撮影を継続し、撮影により得た撮像画像データを逐次、ＥＣＵ１４（Electronic Control Unit:図３参照）に出力する。なお、撮像部２０１による撮像は、常時行われてもよいし、一定期間間隔で周期的に行われてもよい。なお、撮像部２０１として赤外線カメラを用いる場合、周囲の光の影響を受け難く、運転者３０２の顔が存在する可能性のある領域の撮像を良好に行うことができる。また、別の実施形態においては、撮像部２０１は、可視光カメラを用いてもよい。この場合、赤外線照射器２０３を省略することが可能で、システムの簡略化が可能である。また、撮像部２０１および赤外線照射器２０３の設置位置は、ハンドルコラム２０２に限定されず、運転者３０２の顔が存在する可能性がある範囲２５０を概ね正面から撮像することができる場所であれば、適宜変更可能である。例えば、撮像部２０１および赤外線照射器２０３は、ダッシュボード１２上に設けられてもよいし、天井やルームミラー等に設置されてもよい。また、撮像部２０１と赤外線照射器２０３とは分離された位置にそれぞれ設けられてもよい。
図３には、本実施形態にかかる乗員モデリング装置（乗員モデリング部）を実現するＥＣＵ１４を含む車両制御システム１００の構成の例示的なブロック図が示されている。図３に例示されるように、車両制御システム１００では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（Controller Area Network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、アクチュエータ１３ａを含む操舵システム１３、アクチュエータ１８ａを含むブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。なお、本実施形態において、ＥＣＵ１４は、乗員モデリング装置の一例とすることができる。
ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（Central Processing Unit）や、ＲＯＭ１４ｂ（Read Only Memory）、ＲＡＭ１４ｃ（Random Access Memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（Solid State Drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、乗員モデリング装置（乗員モデリング部）を実現するとともに、車両１全体の制御を行う。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行できる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、撮像部２０１から取得した撮像画像データをＣＰＵ１４ａに提供するとともに、表示装置８で表示するための画像データを処理する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。
なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。
本実施形態では、ＥＣＵ１４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、撮像部２０１で撮像した撮像画像データから運転者３０２の顔を逐次抽出する処理を実行する。また、ＥＣＵ１４は、運転者３０２の顔の抽出が正しく行われているかを逐次確認するチェック処理を実現する。
図４は、ＥＣＵ１４に含まれるＣＰＵ１４ａが実現する乗員モデリング部３０（乗員モデリング装置）の機能ブロック図を例示的に示す図である。ＥＣＵ１４に含まれるＣＰＵ１４ａは、上述したような運転者３０２の顔を逐次抽出する処理、運転者３０２の顔の抽出が正しく行われているかを逐次確認するチェックする処理、およびチェック結果に応じて以降の処理を決定する判定処理を実行するための各種モジュールを実現する。また、ＣＰＵ１４ａは、抽出された運転者３０２の顔の状態（向きや表情等）に応じて、種々の警報処理を実行させたり、運転者３０２の操作の有無に拘わらず車両１の制御を実行させたりする、所定のアクションを実行するためのモジュールを実現する。各種モジュールは、ＣＰＵ１４ａがＲＯＭ１４ｂ等の記憶装置にインストールされ記憶された乗員モデリングプログラム１４ｂｐを読み出し、それを実行することで実現される。例えば、ＣＰＵ２４ａは、図４に示されるように、乗員モデリング部３０、アクション処理部３２等を実現する。なお、ＣＰＵ１４ａは、この他にも種々の処理装置（処理部）を実現しうる。また、乗員モデリング部３０、アクション処理部３２等は、ＣＰＵ１４ａとは異なるＣＰＵで実現されてもよいし、異なるＥＣＵにおいて実現されてもよい。また、専用のハードウェアとして構成されてもよい。
乗員モデリング部３０は、上述したように運転者３０２の顔を逐次抽出する処理および運転者３０２の顔の抽出が正しく行われているかを逐次確認するチェック処理を実行するモジュールとして、取得部３４、モデルフィッティング部３６、トラッキング部３８、判定部４０、処理部４２等を含む。
取得部３４は、撮像部２０１により撮像された撮像画像データを逐次取得し、ＲＡＭ１４ｃ等の記憶部にフレーム毎に格納させる。したがって、ＲＡＭ１４ｃは、ＣＰＵ１４ａによるプログラム実行時のワークエリアとして使用されるとともに、撮像画像データをフレーム毎に一時的に格納するフレーム・メモリとして使用されうる。また、ＲＡＭ１４ｃは、後述するモデルフィッティング処理の結果得られるモデル（３Ｄモデル）やモデルに基づくテンプレート等を一時的に格納することにも使用することができる。取得部３４は、撮像部２０１が逐次撮像する撮像画像データを取得してもよいし、取得部３４が所定のタイミングで撮像部２０１に撮像処理を実行させて、撮像画像データを取得するようにしてもよい。
モデルフィッティング部３６は、撮像部２０１により撮像される撮像画像データ（モデルフィッティング開始時の画像を「第１の画像」と称する場合がある）が取得部３４によって取得されると、モデルフィッティング処理を行い、運転者３０２の顔に対応するモデル（３Ｄモデル、顔モデル）を生成する。
図５は、本実施形態で用いる顔のモデルＭの一例を模式的に示した図である。モデルＭは、それぞれ所定の顔部品を表す複数の特徴点Ｐを含んでいる。特徴点Ｐは、任意の点を原点とした座標により表される。図５では眼、鼻、口、眉および輪郭を表す特徴点Ｐを示しているが、モデルＭは、図５に示した特徴点Ｐと異なる顔部品を示す特徴点Ｐを含んでもよい。本実施形態において、モデルフィッティング処理には、統計的顔形状モデル、すなわち予め作成した平均的な顔の仮モデルを初期状態として用い、この仮モデルの特徴点Ｐを、取得部３４が取得したモデルフィッティング開始時の第１の画像中の顔の各部分に位置させることによって、第１の画像の顔に近似したモデルＭを生成することができる。また、図６は、顔に含まれる特徴的な顔部分、例えば、眼、鼻、口、眉、輪郭等を規定する特徴点Ｐを探索する場合に利用するテンプレートＴの一例を模式的に示した図である。テンプレートＴは、図６に示すように、眼を表す特徴点Ｐを含む領域Ｔａ、鼻を表す特徴点Ｐを含む領域Ｔｂ、口を表す特徴点Ｐを含む領域Ｔｃ、輪郭を表す特徴点Ｐを含む領域Ｔｄおよび眉を表す特徴点Ｐを含む領域Ｔｅ等を含む。テンプレートＴの各領域は、１または２以上の特徴点Ｐと対応しており、特徴点Ｐの座標と紐付けられている。テンプレートＴが有する領域（Ｔａ〜Ｔｅ等）の位置および数は、モデルＭのトラッキングが可能である限り任意に設定することができる。
モデルフィッティング部３６は、ＲＡＭ１４ｃからモデルフィッティング処理開始時（顔検出処理開始時）のフレームの画像（第１の画像）および仮モデルを取得する。そして、モデルフィッティング部３６は、仮モデルを用いて、第１の画像に対してモデルフィッティングを行い、第１の画像に含まれる顔に適合したモデルＭおよびテンプレートＴを生成する。モデルフィッティング部３６で生成されたモデルＭおよびテンプレートＴは、トラッキング部３８が実行するトラッキング処理で用いるため、ＲＡＭ１４ｃ等に一時的に保存する。モデルフィッティング処理の方法には、周知のＡＡＭ（Active Appearance Model）法やＡＳＭ（Active Shape Model）法等の、任意のモデルフィッティング法を用いることができる。
トラッキング部３８は、モデルフィッティング部３６によるモデルフィッティングにおいてモデルＭが生成された後に、第１の画像より後に逐次撮像される第２の画像中で、角度や位置、大きさ等が変化している可能性のある顔に合うようにモデルＭを適合させる。この場合、テンプレートＴを用いることによって第２の画像の中から特徴点を抽出することで、モデルＭのトラッキングを行う。トラッキング部３８は、ＲＡＭ１４ｃから処理対象のフレームの画像（第２の画像）、前回処理で利用されたモデルＭおよびテンプレートＴを取得する。なお、最初のトラッキング処理の場合は、モデルフィッティング処理で生成されたモデルＭおよびテンプレートＴを取得する。また、連続する２回目以降のトラッキング処理の場合、前回のトラッキング処理で更新したモデルＭおよびテンプレートＴを取得する。そして、図７に示すように第２の画像ＦとテンプレートＴとの比較を行う。具体的には、トラッキング部３８は、テンプレートＴが有する各領域（Ｔａ〜Ｔｅ等）を第２の画像Ｆ上で走査して各位置における領域とその領域に含まれる画像とを比較する。トラッキング部３８は、比較の結果、最も近似している位置を用いてテンプレートＴが有する各領域の位置を決定し、位置が適用されたテンプレートＴをＲＡＭ１４ｃに保存する。その後、トラッキング部３８は、ＲＡＭ１４ｃから読み出されたモデルＭと、新たに保存されたテンプレートＴとに基づいて、テンプレートＴが有する各領域に紐付けられたモデルＭの角度、位置および大きさを決定する。つまり、モデルＭを第２の画像に適合するように回転させたり拡縮させたりすることで、角度、位置および大きさが適用されたモデルＭをとする。その結果、モデルＭが処理対象のフレームの画像（第２の画像）に適合（トラッキング）される。トラッキング部３８は、このモデルＭを更新されたモデルＭとしてＲＡＭ１４ｃに保存する。このように、トラッキング部３８は、テンプレートＴを用いてトラッキング処理を行うことで低い処理負荷でトラッキングを行うことができる。
ところで、上述したように、トラッキングの対象が顔の場合、例えば、眼鏡の縁や眉毛の位置と眼の位置とを誤って認識してしまう、いわゆる、トラッキングずれを起こす場合がある。この場合、トラッキングずれ（誤認識）を起こした状態でトラッキング処理をそのまま次のフレームの画像に対して継続して実行すると、トラッキングずれの影響が蓄積され、モデルＭの精度低下が増大する虞がある。そこで、本実施形態の乗員モデリング部３０は、図８に示すように、トラッキング処理と並列的に、トラッキング処理が正しく実行されているか、つまり、運転者３０２の顔の抽出が正しく行われているかを逐次確認するチェック処理を判定部４０で実行している。
判定部４０は、過去に取得した大量の顔の顔部品位置に関する正解情報と不正解情報とに基づき学習させたディープラーニング等の機械学習手法で作成した学習済み情報を用いて、モデルＭが適合される第２の画像に含まれる顔部品位置の正否を判定する。学習済みの情報（学習画像）は、例えば、図９に示すように、眼を中心とした矩形領域Ｄ１を正解情報（ポジティブデータ）とし、この正解情報に対して一定値以上、位置移動、拡大、縮小、回転等を単独または組み合わせて切り出した矩形領域Ｄ２、Ｄ３、・・・を不正解情報（ネガティブデータ）として学習させる。そして、判定部４０は、トラッキング処理において、モデルＭが適合される第２の画像で、例えば眼と認識されている位置（眼と見なした画像を抽出するために用いた特徴点Ｐ）を取得する。そして、判定部４０は、取得した特徴点Ｐに基づき、トラッキング処理で処理対象にしている第２の画像と同一の第２の画像から、トラッキング処理で認識された眼の周辺を一定の広さ（領域）で切り出した切出し画像を取得する。切出し画像の広さは、例えば、左右の眼の目尻で規定される距離＋αを領域の横幅とし、領域の縦幅は、例えば横幅の１／２〜１／３の幅とすることができる。判定部４０は、切出し画像に対して学習済みの情報を用いて判定することにより、トラッキング処理で認識している顔部品位置、例えば眼の位置の正否を判定することができる。例えば、顔具品位置としての眼の位置が所定量以上ずれてトラッキングされている場合（例えば、眼の位置を示す特徴点Ｐで、眼鏡の縁や眉毛等を眼と誤ってトラッキングしている場合）を判定することができる。なお、本実施形態において、上述したように、顔具品位置の正否判定を、眼の位置について実施する判定を「第１の判定」と称する場合がある。
また、判定部４０における別の判定では、顔に含まれる複数の顔部品位置に対して正否判定を行ってもよい。図１０に示すように、顔に含まれる複数の顔部品、例えば、眼、鼻、口、眉毛、輪郭等の顔全体を含むような矩形領域Ｅ１を正解情報（ポジティブデータ）とし、この正解情報に対して一定値以上、位置移動、拡大、縮小、回転等を単独または組み合わせて切り出した矩形領域Ｅ２、Ｅ３、・・・を不正解情報（ネガティブデータ）として学習させる。そして、判定部４０は、トラッキング処理において、モデルＭが適合される第２の画像で顔として認識されている位置（顔部品と見なした画像を抽出するために用いた各特徴点Ｐ）を取得する。そして、判定部４０は、取得した特徴点Ｐに基づき、トラッキング処理で処理対象にしている第２の画像と同一の第２の画像から、トラッキング処理で認識された顔を中心として一定の広さ（領域）で切り出した切出し画像を取得する。そして、判定部４０は、切出し画像に対して学習済みの情報を用いて判定することにより、トラッキング処理で認識している顔部品位置（顔の位置）の正否を判定することができる。この場合、顔の位置が大きくずれた状態、例えば、顔位置と全く異なる位置を顔と誤認識している誤トラッキングの発生、またはモデルフィッティング部３６における誤フィッティングの発生を判定することができる。なお、本実施形態において、上述したように、顔具品位置の正否判定を、顔に含まれる複数の顔部品（例えば、顔全体）の位置について実施する判定を「第２の判定」と称する場合がある。なお、第２の判定において、矩形領域Ｅ１等に含まれる顔部品は、複数種類であれば、種類の数は適宜変更してもよい。
なお、判定部４０は、第１の判定と第２の判定のうち、少なくともいずれか一方を実行する。例えば、第１の判定または第２の判定のいずれか一方で顔部品位置の正否判定を行う場合、効率的な判定処理ができる。特に第１の判定の場合、眼の位置を正確にチェックすることが可能で、効率的かる高精度のチェックが実施できる。また、第１の判定と第２の判定の両方で顔部品位置の正否判定を行う場合、判定精度を向上することができる。
処理部４２は、判定部４０の判定結果に応じて、トラッキング部３８による処理を継続するか、モデルフィッティング部３６による処理を再実行するかを決定する。例えば、図８に例示されるように、トラッキング処理と並列処理で実行されている判定処理（チェック処理）において、判定結果が「ＯＫ」の場合、トラッキング部３８が処理対象の第２の画像に対して正しい顔認識を行っていると見なす。したがって、処理部４２は、次の処理対処となる画像を第２の画像としてトラッキング処理を継続させる。一方、判定処理（チェック処理）において、判定結果が「ＮＧ」の場合、トラッキング部３８が処理対象としている第２の画像に対してトラッキングずれ（例えば、眼と眉毛を誤ってトラッキングする誤トラッキング）が発生していると見なす。したがって、処理部４２は、次の処理対処となる画像を第１の画像として、モデルフィッティング部３６によるモデルフィッティング処理を再実行させて、改めて生成したモデルＭによるトラッキング処理を再開させる。つまり、顔の再発見を実行させる。なお、判定部４０による判定は毎フレームに対して実行可能である。この場合、トラッキング部３８によるトラッキングずれを迅速に検出することが可能であり、モデルフィッティング処理を再実行して認識ずれの影響を最小限にすることができる。別の実施形態では、トラッキング処理の処理周期より長い処理周期で判定処理を時刻するようにしてもよい。この場合、ＣＰＵ１４ａの処理負荷の軽減に寄与できる。
アクション処理部３２は、乗員モデリング部３０により車両１の乗員、例えば運転者３０２の顔の認識結果に応じて警報処理や車両１の走行制御処理等の所定のアクションを実行する。例えば、アクション処理部３２は、トラッキング部３８によるトラッキング処理において適合されるモデルＭが正面を向いていない期間が所定期間以上の場合に運転者３０２が脇見状態であると判定し、警告処理を実行させる。例えば、音声制御部１４ｅに対して音声出力装置９を介して警報音やメッセージを出力するようにしてもよい。または、運転者３０２が認識できる位置に設置されたＬＥＤ等の警告ランプ等を発光させるようにしたり、操舵部４や座席２ｂに内蔵した振動体を振動させたりしてもよい。同様に、アクション処理部３２は、トラッキング処理において適合されるモデルが所定の時間以上下を向いている場合や閉眼状態にある場合は、運転者３０２が居眠り状態であると判定し、警告処理を実行させる。例えば、脇見状態と見なした場合と同様の警報または、それより強い警報を出力するようにすることができる。また、アクション処理部３２は、脇見状態や居眠り状態等の判定に基づいて、自動運転、例えば自動ブレーキシステムや自動操舵システム等を作動させて、車両１を安全な場所に誘導するようにしてもよい。
なお、図４に示すモジュール構成は一例であり、同様な処理ができれば、機能の分割や統合は適宜可能である。
以上にように構成される乗員モデリング部３０およびアクション処理部３２による乗員モニタリング処理およびアクション処理の流れの一例を図１１および図１２のフローチャートを用いて説明する。なお、図１１は、モデルフィッティング処理およびトラッキング処理の流れの一例を説明するフローチャートであり、図１２は、判定処理（チェック処理）の流れの一例を説明するフローチャートである。
ＣＰＵ１４ａの取得部３４は、車両１の電源がＯＮされている場合、走行の有無に拘わらず、常時、撮像部２０１が撮像する撮像画像データ（モデルフィッティング処理のための第１の画像）を逐次取得する（Ｓ１００：取得ステップ）。続いて、モデルフィッティング部３６は、取得部３４が取得した画像を第１の画像として、ＲＡＭ１４ｃから取得した仮モデルを用いて、第１の画像に対してモデルフィッティングを実行し（Ｓ１０２：モデルフィッティングステップ）、第１の画像に含まれる顔に適合したモデルＭおよびテンプレートＴを生成して、ＲＡＭ１４ｃに一時的に保存する（Ｓ１０４）。
続いて、取得部３４は、撮像部２０１で第１の画像より後に撮像される第２の画像を取得し（Ｓ１０６：取得ステップ）、トラッキング部３８は、前回処理で利用されたモデルＭおよびテンプレートＴを取得する（Ｓ１０８）。なお、最初のトラッキング処理の場合は、Ｓ１０２のモデルフィッティング処理で生成されたモデルＭおよびテンプレートＴを取得する。また、連続する２回目以降のトラッキング処理の場合、前回のトラッキング処理で更新したモデルＭおよびテンプレートＴを取得することになる。そして、トラッキング部３８は、第２の画像にモデルＭを適合させるトラッキング処理を実行する（Ｓ１１０：トラッキングステップ）。
トラッキング処理が実行されている場合、前述したように、判定部４０はディープラーニング等の機械学習手法で作成した学習済み情報を用いて、モデルＭが適合される第２の画像に含まれる顔部品位置の正否判定を実行している。例えば、判定部４０は、図１２のフローチャートで示すような判定処理（チェック処理）を実行する。まず、判定部４０は、現在トラッキング処理が実行中であるか否か確認し、トラッキング処理が実行中でない場合（Ｓ２００のＮｏ）、このフローを一旦終了する。一方、トラッキング処理が実行中の場合（Ｓ２００のＹｅｓ）、トラッキング処理で処理対象としている第２画像、すなわち、トラッキング処理において、モデルＭが適合される第２の画像で例えば、眼と認識されている位置（特徴点Ｐで認識される位置）の周辺を一定の広さ（領域）で切り出した切出し画像を取得する（Ｓ２０２）。そして、例えば、ＲＯＭ１４ｂ等に予め保持された学習済み情報を用いて、第２の画像に含まれる顔部品位置の正否を判定する（Ｓ２０４：判定ステップ）。つまり、トラッキング処理が正しく実行されて、運転者３０２の顔の抽出が正しく行われているかのチェック処理を実行し、その判定結果を処理部４２に出力する（Ｓ２０６）。
図１１のフローチャートに戻り、処理部４２が判定結果を取得した場合（Ｓ１１２）、処理部４２は、判定結果に応じてトラッキング処理を継続するか、モデルフィッティング処理を再実行（顔の再発見）するか決定する（Ｓ１１４：処理ステップ）。例えば、判定結果が「ＯＫ」の場合（Ｓ１１４のＹｅｓ）、トラッキング部３８は、トラッキング処理の結果得られたモデルＭおよびテンプレートＴをＲＡＭ１４ｃに保存する（Ｓ１１６）、つまり、トラッキング部３８は、トラッキング処理で認識している顔部品位置が許容範囲を超える位置ずれを伴うことなく正しく認識されていると判定された場合、現在のトラッキング処理で生成したモデルＭおよびテンプレートＴは、次の画像（第２の画像）に対するトラッキング処理で適用可能として、ＲＡＭ１４ｃに更新保存する。
そして、アクション処理部３２は、トラッキング処理において適合されるモデルＭの顔の向き等に基づき、アクション処理が必要か判定する（Ｓ１１８）。アクション処理部３２が、例えば、脇見状態や居眠り状態であると判定して、アクション処理が必要であると判定した場合（Ｓ１１８のＹｅｓ）、予め定められたアクション処理、例えば、警報音やメッセージの出力等を実行する（Ｓ１２０）。また、Ｓ１１８において、アクション処理が必要でないと判定された場合（Ｓ１１８のＮｏ）、つまり、認識したモデルＭから脇見状態や居眠り状態であると判定されない場合、Ｓ１２０の処理をスキップする。
そして、所定の終了条件（例えば、運転者３０２の離席、運転者３０２による車両１の電源ＯＦＦまたは特定のスイッチのＯＦＦ等）が満たされたことが、図示を省略したセンサ等で検出された場合（Ｓ１２２のＹｅｓ）、このフローを一旦終了する。一方、終了条件が満たされていない場合（Ｓ１２２のＮｏ）、Ｓ１０６の処理に戻り、取得部３４が取得する次の画像を第２の画像として、Ｓ１０６以降の処理を繰り返し実行する。つまり、処理部４２は、トラッキング部３８によるトラッキング処理の継続を許可する。その結果、ＣＰＵ１４ａの処理負荷を増大させることなく、乗員モニタリング処理を継続することができる。
一方、Ｓ１１４において、判定結果が「ＮＧ」の場合（Ｓ１１４のＮｏ）、処理部４２はトラッキング処理において、顔部品位置が正しく認識されていない、つまり、現在適用中のモデルＭがトラッキング処理には不適切であると判定し、Ｓ１００に戻る。したがって、取得部３４が取得する次の画像を第１の画像として、Ｓ１００以降の処理を実行する。つまり、処理部４２は、取得部３４によるモデルフィッティング処理を再実行させる。その結果、第１の画像に基づきモデルＭが再生成され、モデルフィッティング処理に続くトラッキング処理の処理精度を改善または向上させることができる。
このように、本実施形態によれば、例えば、乗員の顔の第２の画像が取得できれば、学習済み情報に基づき、顔部品位置の正否の判定が可能になり、その判定結果に応じて、トラッキング部によるトラッキング処理を継続するか、モデルフィッティング部によるモデルフィッティング処理を再実行するかを決定することができる。その結果、顔検知精度の低下したトラッキング処理が継続されることが抑制できる。
上述した実施形態では、運転席に着座した運転者３０２に対して乗員モデリング処理を実行する例を示したが、車両１の他の座席２ｂに着座する同乗者に対しても同様な処理が可能であり、同様な効果を得ることができる。なお、同乗者に対しては、アクション処理部３２によるアクション処理は、省略することができる。
本実施形態のＣＰＵ１４ａで実行される乗員モデリング処理のためのプログラム（乗員モデリングプログラム１４ｂｐ）は、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
さらに、乗員モデリングプログラム１４ｂｐを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される乗員モデリングプログラム１４ｂｐをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１…車両、１４…ＥＣＵ、１４ａ…ＣＰＵ、３０…乗員モデリング部（乗員モデリング装置）、３２…アクション処理部、３４…取得部、３６…モデルフィッティング部、３８…トラッキング部、４０…判定部、４２…処理部、１００…車両制御システム、２０１…撮像部、２０２…ハンドルコラム、２０３…赤外線照射器、２１２…赤外線、３０２…運転者、１４ｂｐ…乗員モデリングプログラム、Ｍ…モデル、Ｔ…テンプレート。

Claims (5)

  1. 車両内において乗員の顔が存在する可能性のある領域を撮像することで得られる画像を取得する取得部と、
    前記取得部が取得する第１の画像に基づき前記顔のモデルを生成するモデルフィッティング部と、
    前記取得部が取得する前記第１の画像より後に取得された第２の画像に前記モデルを適合させるトラッキング部と、
    前記顔の顔部品位置に関する正解情報と不正解情報とに基づき学習させた学習済み情報を用いて、前記モデルが適合される前記第２の画像に含まれる前記顔部品位置の正否を判定する判定部と、
    前記判定部の判定結果に応じて、前記トラッキング部による処理を継続するか、前記モデルフィッティング部による処理を再実行するかを決定する処理部と、
    を備える、乗員モデリング装置。
  2. 前記判定部は、前記トラッキング部の処理により顔部品位置と認識された情報に基づき、前記第２の画像の顔部品位置を特定し、前記学習済み情報との正否を判定する、請求項１に記載の乗員モデリング装置。
  3. 前記判定部は、前記顔部品位置として、前記顔の眼の位置の正否を判定する第１の判定と、前記顔に含まれる複数の顔部品の位置の正否の正否を判定する第２の判定と、のうち少なくとも一方に対して判定を実行する、請求項１または請求項２に記載の乗員モデリング装置。
  4. 車両内において乗員の顔が存在する可能性のある領域を撮像することで得られる画像を取得する取得ステップと、
    前記取得ステップで取得した第１の画像に基づき前記顔のモデルを生成するモデルフィッティングステップと、
    前記取得ステップが取得した前記第１の画像より後に取得された第２の画像に前記モデルを適合させるトラッキングステップと、
    前記顔の顔部品位置に関する正解情報と不正解情報とに基づき学習させた学習済み情報を用いて、前記第２の画像に含まれる前記顔部品位置の正否を判定する判定ステップと、
    前記判定ステップの判定結果に応じて、前記トラッキングステップによる処理を継続するか、前記モデルフィッティングステップによる処理を再実行するかを決定する処理ステップと、
    を備える、乗員モデリング方法。
  5. コンピュータに、
    車両内において乗員の顔が存在する可能性のある領域を撮像することで得られる画像を取得する取得ステップと、
    前記取得ステップで取得した第１の画像に基づき前記顔のモデルを生成するモデルフィッティングステップと、
    前記取得ステップが取得した前記第１の画像より後に取得された第２の画像に前記モデルを適合させるトラッキングステップと、
    前記顔の顔部品位置に関する正解情報と不正解情報とに基づき学習させた学習済み情報を用いて、前記第２の画像に含まれる前記顔部品位置の正否を判定する判定ステップと、
    前記判定ステップの判定結果に応じて、前記トラッキングステップによる処理を継続するか、前記モデルフィッティングステップによる処理を再実行するかを決定する処理ステップと、
    を実行させるための、乗員モニタリングプログラム。
JP2018182750A 2018-09-27 2018-09-27 乗員モデリング装置、乗員モデリング方法および乗員モデリングプログラム Active JP7290930B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018182750A JP7290930B2 (ja) 2018-09-27 2018-09-27 乗員モデリング装置、乗員モデリング方法および乗員モデリングプログラム
US16/578,686 US11210497B2 (en) 2018-09-27 2019-09-23 Occupant modeling device, occupant modeling method, and occupant modeling program
DE102019125921.5A DE102019125921A1 (de) 2018-09-27 2019-09-26 Insassenmodelliervorrichtung, Insassenmodellierverfahren und Insassenmodellierprogramm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018182750A JP7290930B2 (ja) 2018-09-27 2018-09-27 乗員モデリング装置、乗員モデリング方法および乗員モデリングプログラム

Publications (2)

Publication Number Publication Date
JP2020052827A true JP2020052827A (ja) 2020-04-02
JP7290930B2 JP7290930B2 (ja) 2023-06-14

Family

ID=69781263

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018182750A Active JP7290930B2 (ja) 2018-09-27 2018-09-27 乗員モデリング装置、乗員モデリング方法および乗員モデリングプログラム

Country Status (3)

Country Link
US (1) US11210497B2 (ja)
JP (1) JP7290930B2 (ja)
DE (1) DE102019125921A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021193528A1 (ja) 2020-03-24 2021-09-30 三菱マテリアル株式会社 接合体の製造方法及び絶縁回路基板の製造方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11205083B2 (en) * 2019-04-02 2021-12-21 Magna Electronics Inc. Vehicular driver monitoring system
DE102019004692B3 (de) * 2019-07-03 2020-11-12 Daimler Ag Vorrichtung und Verfahren zur Ermittlung von Bilddaten der Augen, von Augenpositionen und/oder einer Blickrichtung eines Fahrzeugnutzers in einem Fahrzeug
KR20220005297A (ko) * 2020-07-06 2022-01-13 주식회사 씽크아이 차량에 설치되는 인캐빈 안전센서 및 그 서비스 플랫폼 제공 방법
DE102021211739B4 (de) 2021-10-18 2023-07-06 Volkswagen Aktiengesellschaft Bestimmung der Sternumsposition
US20230362560A1 (en) * 2022-05-08 2023-11-09 Tuned Ltd. System and method for personalized, image analysis based positioning of hearing aids

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015075916A (ja) * 2013-10-09 2015-04-20 アイシン精機株式会社 顔検出装置、方法およびプログラム
JP2017215897A (ja) * 2016-06-02 2017-12-07 株式会社デンソーアイティーラボラトリ 特徴点位置推定装置、特徴点位置推定システム、特徴点位置推定方法、および特徴点位置推定プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2715511B2 (ja) 1989-01-31 1998-02-18 日産自動車株式会社 運転者の目の位置認識装置
JP4895847B2 (ja) 2007-02-08 2012-03-14 アイシン精機株式会社 瞼検出装置及びプログラム
CN103632136B (zh) * 2013-11-11 2017-03-29 北京天诚盛业科技有限公司 人眼定位方法和装置
CN104217350B (zh) * 2014-06-17 2017-03-22 北京京东尚科信息技术有限公司 实现虚拟试戴的方法和装置
CN107679448B (zh) * 2017-08-17 2018-09-25 平安科技（深圳）有限公司 眼球动作分析方法、装置及存储介质
US20200065559A1 (en) * 2018-08-22 2020-02-27 Nitin Vats Generating a video using a video and user image or video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015075916A (ja) * 2013-10-09 2015-04-20 アイシン精機株式会社 顔検出装置、方法およびプログラム
JP2017215897A (ja) * 2016-06-02 2017-12-07 株式会社デンソーアイティーラボラトリ 特徴点位置推定装置、特徴点位置推定システム、特徴点位置推定方法、および特徴点位置推定プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
J. M. WANG ET AL: "Extracting driver's facial features during driving", 2011 14TH INTERNATIONAL IEEE CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS (ITSC), JPN7022003384, 7 October 2011 (2011-10-07), US, ISSN: 0004970053 *
回 盻 他３名: "顔特徴点の信頼度と配置を用いた顔の誤検出除去", ＳＳＩＩ２０１２ 第１８回画像センシングシンポジウム 講演論文集 ［ＣＤ−ＲＯＭ］, JPN6022029987, 6 June 2012 (2012-06-06), JP, pages 1 - 19, ISSN: 0004970052 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021193528A1 (ja) 2020-03-24 2021-09-30 三菱マテリアル株式会社 接合体の製造方法及び絶縁回路基板の製造方法

Also Published As

Publication number Publication date
US11210497B2 (en) 2021-12-28
US20200104571A1 (en) 2020-04-02
DE102019125921A1 (de) 2020-04-02
JP7290930B2 (ja) 2023-06-14

Similar Documents

Publication Publication Date Title
JP7290930B2 (ja) 乗員モデリング装置、乗員モデリング方法および乗員モデリングプログラム
US11977675B2 (en) Primary preview region and gaze based driver distraction detection
US11535280B2 (en) Method and device for determining an estimate of the capability of a vehicle driver to take over control of a vehicle
EP3033999B1 (en) Apparatus and method for determining the state of a driver
US10089543B2 (en) System and method for detecting distraction and a downward vertical head pose in a vehicle
JP7198023B2 (ja) 眼球情報推定装置、眼球情報推定方法および眼球情報推定プログラム
JP2016115117A (ja) 判定装置および判定方法
JP2018032337A (ja) 運転者体調検知装置及び方法
JP2016115120A (ja) 開閉眼判定装置および開閉眼判定方法
JP6572538B2 (ja) 下方視判定装置および下方視判定方法
JP2016115119A (ja) 開閉眼判定装置、及び開閉眼判定方法
US20200104590A1 (en) Eyeball information detection device, eyeball information detection method, and occupant monitoring device
CN115344117A (zh) 适配的眼睛追踪机器学习模型引擎
US11501561B2 (en) Occupant monitoring device, occupant monitoring method, and occupant monitoring program
JP2019114118A (ja) 警告装置、自動車、警告方法、及びプログラム
JP2020052773A (ja) 乗員モニタリング装置、乗員モニタリング方法、および乗員モニタリングプログラム
US20220319203A1 (en) Distracted-driving monitoring apparatus for vehicle
US11138753B2 (en) Method and device for localizing a sensor in a vehicle
US20240029454A1 (en) Line of sight estimating device, storage medium for storing computer program for line of sight estimation, and line of sight estimating method
JP6932269B1 (ja) 運転支援制御装置及び運転支援制御方法
JP2024031625A (ja) 通知装置、通知方法、および通知用コンピュータプログラム
JP2018206037A (ja) 安全確認装置、及び安全確認方法
KR20210001777A (ko) 영상 기록 장치 및 그 동작 방법
JP2009245257A (ja) 顔位置推定装置
JP2021007717A (ja) 乗員観察装置、乗員観察方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220107

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20220107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230602

R150 Certificate of patent or registration of utility model

Ref document number: 7290930

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150