JP2020149507A

JP2020149507A - 乗員観察装置

Info

Publication number: JP2020149507A
Application number: JP2019047756A
Authority: JP
Inventors: 航太齊藤; Kota Saito; 勝鎬崔; Seung Ho Choi
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2019-03-14
Filing date: 2019-03-14
Publication date: 2020-09-17
Also published as: US11077814B2; CN111696312B; CN111696312A; US20200290544A1

Abstract

【課題】処理負荷を軽減し、且つ検出精度を向上させることができる乗員観察装置を提供すること。【解決手段】車両の乗員の頭部を撮像する撮像部と、前記撮像部により撮像された画像において、少なくとも前記乗員の眼の一部を検出する眼検出部と、を備え、前記眼検出部は、前記乗員の眼のうち前記撮像部に近い方の眼を検出対象とする、乗員観察装置。【選択図】図１

Description

本発明は、乗員観察装置に関する。

車両の運転者をはじめとする乗員の状態を装置によって検知する仕組みについて研究が進められている。乗員の状態には、眠気を感じているか否か、集中度合い、感情などが含まれる。乗員の状態を検知するために重要なファクターとして、眼の状態が挙げられる。従って、カメラによって乗員を撮像し、画像を解析して眼の状態を観察する装置の実用化が進められている。

例えば、特許文献１には、運転手の顔を撮像する撮像手段と、前記撮像手段により撮像された顔画像から運転手の口又は手の動き及び目の開閉を検出する検出手段と、前記検出手段により検出された前記口の鉛直方向成分の形状変化からあくびを検出し、前記口の水平方向成分の形状変化から溜め息又は深呼吸を検出し、前記口の形状変化から前記運転手の首または頭の運動動作を検出し、前記運転手の顔に接近または離間する手の動作を検出する第１特徴検出手段と、前記目の閉時間から閉眼率を検出する第２特徴検出手段と、前記第１特徴検出手段及び前記第２特徴検出手段により検出された特徴動作の経時的変化から前記運転手の覚醒状態、眠気に対する苦闘又は葛藤状態、居眠りの初期状態及び居眠り状態を判定する判定手段と、を備える運転支援装置が開示されている。

特許第５３４３６３１号公報

しかしながら、従来の技術では、画像において眼を検出する際の処理負荷が高く、所要時間が長くなることから車両のリアルタイム制御などに利用することが困難になる場合があった。また、誤検出の頻度も高くなる場合があった。

本発明は、このような事情を考慮してなされたものであり、処理負荷を軽減し、且つ検出精度を向上させることができる乗員観察装置を提供することを目的の一つとする。

この発明に係る乗員観察装置は、以下の構成を採用した。
（１）：この発明の一態様に係る乗員観察装置は、車両の乗員の頭部を撮像する撮像部と、前記撮像部により撮像された画像において、少なくとも前記乗員の眼の一部を検出する眼検出部と、を備え、前記眼検出部は、前記乗員の眼のうち前記撮像部に近い方の眼を検出対象とするものである。

（２）：上記（１）の態様において、前記撮像部は、車両における乗員の着座位置に正対する位置から横方向にオフセットした位置に取り付けられるものである。

（３）：上記（１）または（２）の態様において、前記眼検出部は、前記乗員の眼の輪郭の一部を少なくとも検出し、前記眼検出部により検出された輪郭における複数の特徴点の位置関係に基づいて、前記乗員の眼の開眼率を導出する開眼率導出部を更に備えるものである。

（４）：上記（３）の態様において、前記複数の特徴点は、前記輪郭における、横方向に関して前記撮像部に近い側の端部と、上端部と、下端部とを含むものである。

（５）：上記（１）〜（４）の態様において、前記眼検出部は、前記乗員の眼のうち前記撮像部に近い方の眼の検出度合いに基づいて、検出対象を、前記乗員の眼のうち前記撮像部から遠い方の眼に切り替えるものである。

上記（１）〜（５）の態様によれば、処理負荷を軽減し、且つ検出精度を向上させることができる。

上記（３）の態様によれば、更に処理負荷を軽減することができる。

上記（４）または（５）の態様によれば、更に、処理の継続性を高めることができる。

乗員観察装置１の構成と使用環境の一例を示す図である。撮像部１０の設置される位置を例示した図である。眼検出部２４による処理の内容を模式的に示す図である。開眼率導出部２８の処理について説明するための図（その１）である。開眼率導出部２８の処理について説明するための図（その２）である。検出度合いが基準よりも低くなる場合の撮像画像の一例を示す図である。画像処理装置２０により実行される処理の流れの一例を示すフローチャートである。変形例に係る乗員観察装置１Ａの構成と使用環境の一例を示す図である。

以下、図面を参照し、本発明の乗員観察装置の実施形態について説明する。乗員観察装置は、車両に搭載される。車両とは、四輪車両や二輪車両などである。以下の説明では、車両は四輪車両であるものとする。また、車両は右ハンドルの車両であることを前提とするが、左ハンドルの車両に適用する場合、以下の説明における左右関係を逆にして読み替えればよい。

図１は、乗員観察装置１の構成と使用環境の一例を示す図である。乗員観察装置１は、例えば、撮像部１０と、画像処理装置２０とを備える。画像処理装置２０は、例えば、眼検出部２４と、口検出部２６と、開眼率導出部２８と、状態推定部３０とを備える。乗員観察装置１は、例えば、車両の乗員の状態を推定し、推定結果を各種車載装置１００に出力する。乗員は、少なくとも運転者を含み、助手席乗員を含んでもよい。各種車載装置１００は、運転支援装置、自動運転制御装置、エージェント装置、その他の装置であり、乗員観察装置１は、各種車載装置１００の種類や目的に応じた乗員の状態を推定して出力する。乗員の状態は、眠気、視線の向き、感情などのうち一部または全部を含む。以下の説明では、乗員観察装置１は乗員の眠気を推定するものとする。

図２は、撮像部１０の設置される位置を例示した図である。撮像部１０は、例えば、車両のインストルメントパネルの中央部に設置され、車両の乗員の少なくとも頭部を撮像する。撮像部１０は、ステアリングホイールＳＷが設けられた運転席ＤＳ（着座位置の一例）と、助手席ＡＳ（着座位置の他の一例）とのいずれに対しても、それらに正対する位置から横方向にオフセットした位置に設置される。このため、撮像部１０の撮像する画像は、横方向に関して、斜めから乗員の頭部を撮像した画像となる。換言すると、撮像部１０の光軸上には乗員の少なくとも頭部が存在しない状況となる。

撮像部１０は、例えば、赤外線を撮像する赤外線カメラと、可視光をカラー画像として撮像するＲＧＢカメラとのうち一方または双方を含む。より好ましくは、撮像部１０は、少なくとも赤外線カメラを含み、更にＲＧＢカメラを含んでもよい。以下の説明では、撮像部１０は専ら赤外線カメラを含むものとし、ＲＧＢカメラを含む場合については後述する。

図１に戻り、画像処理装置２０の各部について説明する。画像処理装置２０の構成要素は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

眼検出部２４の機能について、一例として、エッジを抽出した後に眼を検出する手法について説明する。眼検出部２４は、例えば、まず撮像部１０によって撮像された画像（以下、撮像画像と称する）において、エッジを抽出する。エッジとは、自身の周辺の画素との画素値の差が基準よりも大きい画素（或いは画素群）、すなわち特徴的な画素である。眼検出部２４は、例えば、ＳＯＢＥＬフィルタなどのエッジ抽出フィルタを用いて、エッジを抽出する。なお、ＳＯＢＥＬフィルタを用いるのは単なる一例であり、眼検出部２４は、他のフィルタ、或いはアルゴリズムに基づいてエッジを抽出してもよい。

眼検出部２４は、例えば、撮像画像において抽出されたエッジの分布に基づいて、撮像画像における少なくとも乗員の眼の一部を検出する。このとき、眼検出部２４は、乗員の眼のうち撮像部１０に近い方の眼を検出対象とする。撮像部１０に近い方の眼とは、運転席ＤＳに着座した乗員であれば左眼であり、助手席ＡＳに着座した乗員であれば右目である。眼検出部２４は、エッジを抽出するのではなく、ディープラーニングなどの機械学習手法により生成された学習済みモデルに撮像画像を入力することで、眼の一部（或いは後述する特徴点）を直接的に検出するようにしてもよい。

図３は、眼検出部２４による処理の内容を模式的に示す図である。図中、ＩＭは撮像画像にエッジＥＧを重畳させた画像を表している。また、本図では専ら運転席ＤＳに着座した乗員に着目している。眼検出部２４は、まず、図３の上図に示すように、エッジＥＧに対して楕円や卵型などのモデルをフィッテイングすることで、輪郭ＣＴを抽出する。次に、眼検出部２４は、図３の中図に示すように、輪郭ＣＴを基準として鼻検出ウインドウＮＭを設定し、鼻検出ウインドウＮＭの中で、エッジが明確に抽出されやすい部位である鼻梁ＢＮの位置を検出する。次に、眼検出部２４は、図３の下図に示すように、鼻梁ＢＮの位置を基準として、乗員の左眼が存在する筈の鼻梁ＢＮの右側に所定のサイズの眼検出ウインドウＥＷを設定し、眼検出ウインドウＥＷの中で眼の少なくとも一部を検出する。これによって、運転席ＤＳに着座した乗員の左目に重なる位置に眼検出ウインドウＥＷが設定されることになるため、眼検出ウインドウＥＷの中で左目が検出されることになる。なお、「眼の少なくとも一部を検出する」処理の具体例については種々に定義されるが、以下の説明では、「目の輪郭の少なくとも一部を検出する」ものとする。輪郭を検出する際に、眼検出部２４は、例えば、エッジＥＧの分布に曲線モデルをフィッティングすることで、輪郭を検出する。

口検出部２６は、例えば、眼検出部２４の処理過程の一部を利用して、鼻梁ＢＮの位置を基準として口検出ウインドウＭＷ（不図示）を設定し、口検出ウインドウＭＷの中で口の輪郭の少なくとも一部を検出する。口の輪郭とは、例えば、上唇の下端線と下唇の上端線とを意味する。口検出部２６の処理については、本発明の中核をなす内容ではないため、詳細な説明を省略する。上記に代えて、口検出部２６は、ディープラーニングなどの機械学習手法により生成された学習済みモデルに撮像画像を入力することで、口の輪郭の一部を直接的に検出するようにしてもよい。

開眼率導出部２８は、眼検出部２４により検出された眼の輪郭における複数の特徴点の位置関係に基づいて、乗員の眼の開眼率を導出する。複数の特徴点とは、例えば、眼の輪郭における、横方向に関して撮像部１０に近い側の端部（目尻に相当する）である第１特徴点と、上端部である第２特徴点と、下端部である第３特徴点とを含む。図４は、開眼率導出部２８の処理について説明するための図（その１）である。図中、Ｐ１は第１特徴点、Ｐ２は第２特徴点、Ｐ３は第３特徴点である。開眼率導出部２８は、例えば、眼検出ウインドウＥＷ内で垂直線を眼検出ウインドウＥＷの右端から左に向かって仮想的に移動させ、最初に眼の輪郭ＥＣＴと交わったときの交点を第１特徴点Ｐ１とする。また、開眼率導出部２８は、例えば、眼検出ウインドウＥＷ内で水平線を眼検出ウインドウＥＷの上端から下に向かって仮想的に移動させ、最初に眼の輪郭ＥＣＴと交わったときの交点を第２特徴点Ｐ２とする。また、開眼率導出部２８は、例えば、眼検出ウインドウＥＷ内で水平線を眼検出ウインドウＥＷの下端から上に向かって仮想的に移動させ、最初に眼の輪郭ＥＣＴと交わったときの交点を第３特徴点Ｐ３とする。

そして、開眼率導出部２８は、第１特徴点Ｐ１と第２特徴点Ｐ２とを結ぶ第１直線と、第１特徴点Ｐ１と第３特徴点Ｐ３とを結ぶ第２直線とのなす角度に基づいて、乗員の開眼率を導出する。図５は、開眼率導出部２８の処理について説明するための図（その２）である。図中、Ｌ１が第１直線であり、Ｌ２が第２直線であり、θがそれらのなす角度である。開眼率導出部２８は、例えば、当該乗員が車両に乗り込んでから最初の数分程度の撮像画像に基づいて導出された角度の平均を求めた基準角度θiniを開眼率１００［％］と定義し、その後に導出された角度θを基準角度θiniで除算して開眼率αを導出する（式（１）参照）。なお、これに限らず、乗員の人物認証が行われる場合、乗員ごとの１００［％］に対応する基準角度をメモリに記憶させ、乗員ごとに基準角度をメモリから読み出して計算に使用してもよい。また、規定値を基準角度θiniに設定してもよいし、最初は規定値を使用し、徐々に乗員の平均的な角度に合わせていくようにしてもよい。

α＝ＭＩＮ｛θ／θini，１００［％］｝ …（１）

また、これまでの説明では、あくまで画像平面上での角度θに基づいて開眼率を導出するものとしているが、例えば、眼の三次元モデルを用意しておき、輪郭ＣＴと鼻梁ＢＮの関係から推定される顔向き角度に応じて回転させた目のモデルから二次元に写像した後に、上記説明した処理を行うことで、開眼率の推定精度を向上させることができる。

状態推定部３０は、例えば、開眼率導出部２８により導出された開眼率αと、口検出部２６により検出された口の輪郭の動きとに基づいて、乗員の眠気を数値化（或いは段階を示す符号化）し、各種車載装置１００に出力する。例えば、状態推定部３０は、開眼率αが小さくなるほど乗員の眠気が強いことを示す数値を出力し、口の輪郭の動きから「あくび」が推定された回数が多いほど乗員の眠気が強いことを示す数値を出力する。状態推定部３０は、例えば、開眼率αの逆数と観察期間におけるあくびの回数の加重和を求めることで、乗員の眠気を数値化する。なお、あくびの検出手法については、例えば、あくびをすると口が縦方向に大きく変化することから、口検出部２６により検出された口の輪郭の縦方向の長さを閾値と比較し、閾値以上である状態が所定時間以上、継続した場合にあくびをしたと判定する手法などが用いられてよい。

なお、眼検出部２４は、撮像部１０に近い方の眼に相当する位置に眼検出ウインドウＥＷを設定した結果、眼の検出度合いが基準よりも低い場合、検出対象を、撮像部１０から遠い方の眼に切り替える。具体的に、眼検出部２４は、運転席ＤＳに着座した乗員を観察する場合、鼻梁ＢＮの左側に眼検出ウインドウＥＷを設定することで、検出対象を右目に切り替える。その逆に、眼検出部２４は、助手席ＡＳに着座した乗員を観察する場合、鼻梁ＢＮの右側に眼検出ウインドウＥＷを設定することで、検出対象を左目に切り替える。「検出度合いが基準よりも低い」とは、例えば、眼検出ウインドウＥＷ内で基準数以上のエッジＥＧが存在しない、曲線へのフィッティング率が基準値以上でない、曲線にフィッティングした結果、閉曲線にならなかったり二つ以上の曲線に分かれたりしたなど、上記説明した処理の中で算出される指標値や事象が、所望の結果でないことを意味する。

図６は、検出度合いが基準よりも低くなる場合の撮像画像の一例を示す図である。図中、運転席ＤＳに着座した乗員ＯＣ１は、眼を完全に閉じているため、眼検出ウインドウＥＷ内でエッジＥＧからフィッティングされる曲線が一本の曲線にしかならない。また、助手席ＡＳに着座した乗員ＯＣ２は、大きく右方向を向いているため、撮像部１０に近い側の端部（目尻）が画像に映っていないため、眼検出ウインドウＥＷ内でエッジＥＧからフィッティングされる曲線が閉曲線にならない。双方とも、眼検出部２４により「検出度合いが基準よりも低い」と判定される。学習済みモデルを用いた場合も同様であり、図６に示すような撮像画像が入力されると、出力値が信頼度の高い値（高い確率）にならない。このため、眼検出部２４により「検出度合いが基準よりも低い」と判定されることが想定される。

図７は、画像処理装置２０により実行される処理の流れの一例を示すフローチャートである。まず、画像処理装置２０は、撮像部１０により撮像された画像（撮像画像）を取得する（ステップＳ２００）。

次に、眼検出部２４が、撮像部１０に近い方の眼を検出し（ステップＳ２０４）、近い方の眼について検出度合いが基準以上であるか否かを判定する（ステップＳ２０６）。検出度合いが基準以上であると判定した場合、開眼率導出部２８が、開眼率を導出する（ステップＳ２０８）。

ステップＳ２０４以降の処理と併行して、口検出部２６が、乗員の口を検出する（ステップＳ２１０）。

そして、状態推定部３０が、開眼率と口の動きとに基づいて乗員の状態を推定し、各種車載装置１００に出力する（ステップＳ２１２）。

ステップＳ２０６において検出度合いが基準以上でないと判定した場合、眼検出部２４は、撮像部１０から遠い方の眼を検出し（ステップＳ２１４）、遠い方の眼について検出度合いが基準以上であるか否かを判定する（ステップＳ２１６）。検出度合いが基準以上であると判定された場合、ステップＳ２０８に処理が進められる。

ステップＳ２１６において、検出度合いが基準以上でないと判定された場合、画像処理装置２０は、エラーを示す情報を出力する（ステップＳ２１８）。

以上説明した乗員観察装置１によれば、眼検出部２４が、まず、乗員の眼のうち撮像部１０に近い方の眼を検出対象とすることにより、処理負荷を軽減し、且つ検出精度を向上させることができる。双方の眼を検出対象とする場合、抽出されるエッジの数が増加し、エッジ抽出処理やフィッティング処理、特徴点の抽出処理の負荷が増加するのに対し、片側の眼を検出対象とする場合、これらの処理の負荷が軽減されるからである。また、撮像部１０に近い方の眼は、通常、撮像部１０から遠い方の眼に比して撮像画像において大きく映っているため、抽出されるエッジの数が多くなり、眼の輪郭を抽出する精度が遠い方の眼よりも高くなることか期待されるからである。学習済みモデルを用いる場合も同様であり、双方の眼を検出対象とする場合、入力ノード数が増加することで処理負荷が増大する。また、撮像画像において大きく映っている眼の部分を入力することで、精度の向上が見込まれる。

また、乗員観察装置１によれば、開眼率導出部２８が、眼検出部２４により検出された輪郭における複数の特徴点の位置関係に基づいて、乗員の眼の開眼率を導出するため、眼の輪郭全体の動きを解析する場合に比して、更に処理負荷を軽減することができる。また、複数の特徴点が、眼の輪郭における、横方向に関して撮像部１０に近い側の端部と、上端部と、下端部とを含むようにすることで、撮像画像に現れやすい特徴を処理対象とすることができ、処理の継続性を高めることができる。

また、乗員観察装置１によれば、眼検出部２４が、乗員の眼のうち撮像部１０に近い方の眼の検出度合いに基づいて、検出対象を、乗員の眼のうち撮像部１０から遠い方の眼に切り替えることで、乗員の姿勢が大きく動いた際や、光の具合で撮像部１０に近い方の眼がホワイトアウトした場合なども、継続的に乗員の眼を検出することができ、処理の継続性を高めることができる。

上記説明した実施形態では、撮像部１０が専ら赤外線カメラを含むものとしたが、更にＲＧＢカメラを含む場合、赤外線カメラの撮像画像から求められたエッジとＲＧＢカメラの撮像画像から求められたエッジとの論理和あるいは論理積を求めてから眼検出と口検出を行ってもよいし、双方について眼検出、口検出、開眼率導出などの処理を平行して行い、状態推定の処理において統合してもよいし、任意の手法によって二つ以上の画像に対する処理を統合してよい。また、夜間は赤外線カメラを使用し、昼間はＲＧＢカメラ（或いは赤外線カメラとＲＧＢカメラの双方）を使用する、というようにタイミングによって仕様するカメラを切り替えてもよい。学習済みモデルを用いる場合、赤外線カメラの撮像画像とＲＧＢカメラの撮像画像を結合したものを学習済みモデルに入力してもよい。

なお、口検出部２６の検出結果を利用し、あくびが発生したときの開口度の遷移をモデル化し、会話などと区別するドライブでしか起こらない口の動きに限定することで、精度向上音声情報を用いて会話や歌の認識を高精度化することができ、物体認識を用いて飲食、仕草、心拍、呼吸（肺の動き推定）などの認識を高精度化することができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

＜変形例＞
以下、実施形態の変形例について説明する。変形例の乗員観察装置は、専ら人物認証に使用される装置である。図８は、変形例に係る乗員観察装置１Ａの構成と使用環境の一例を示す図である。乗員観察装置１Ａは、開眼率導出部２８と状態推定部３０に代えて、人物認識部３２を備える。上記実施形態と同じ符号が付された構成要素は、上記説明した同じ機能を有するものとし、説明を省略する。

人物認識部３２は、眼検出部２４により検出された眼の例えば輪郭と、口検出部２６により検出された口の例えば輪郭とに基づいて、乗員が予め登録された乗員のいずれであるかを推定する（人物認識を行う）。人物認識部３２は、例えば、予めメモリに保存しておいた輪郭の形状やサイズを表す幾何データやビットマップデータ、或いは輪郭の特徴を表すデータなどと、入力される輪郭のデータとを比較して人物認識を行う。また、人物認識部３２は、機械学習によって得られた学習済みモデルに輪郭のデータを入力することで、人物認識を行ってもよい。

人物認識部３２の処理結果は、各種車載装置１００Ａに出力される。各種車載装置１００Ａは、人物認証を必要とする任意の装置であり、上記説明した各種車載装置１００と同じものであってもよいし、異なるものであってもよい。

以上説明した変形例によっても、実施形態と同様、処理負荷を軽減し、且つ検出精度を向上させることができる。

１、１Ａ乗員観察装置
１０撮像部
２０画像処理装置
２４眼検出部
２６口検出部
２８開眼率導出部
３０状態推定部
３２人物認識部
１００、１００Ａ各種車載装置

Claims

車両の乗員の頭部を撮像する撮像部と、
前記撮像部により撮像された画像において、少なくとも前記乗員の眼の一部を検出する眼検出部と、を備え、
前記眼検出部は、前記乗員の眼のうち前記撮像部に近い方の眼を検出対象とする、
乗員観察装置。
前記撮像部は、車両における乗員の着座位置に正対する位置から横方向にオフセットした位置に取り付けられる、
請求項１記載の乗員観察装置。
前記眼検出部は、前記乗員の眼の輪郭の一部を少なくとも検出し、
前記眼検出部により検出された輪郭における複数の特徴点の位置関係に基づいて、前記乗員の眼の開眼率を導出する開眼率導出部を更に備える、
請求項１または２記載の乗員観察装置。
前記複数の特徴点は、前記輪郭における、横方向に関して前記撮像部に近い側の端部と、上端部と、下端部とを含む、
請求項３記載の乗員観察装置。
前記眼検出部は、前記乗員の眼のうち前記撮像部に近い方の眼の検出度合いに基づいて、検出対象を、前記乗員の眼のうち前記撮像部から遠い方の眼に切り替える、
請求項１から４のうちいずれか１項記載の乗員観察装置。