JP2005071041A - 運転者視対象検出装置及び運転者視対象検出システム - Google Patents

Abstract

【課題】 処理負荷の軽減を図ると共に、容易に視対象を検出することが可能な運転者視対象検出装置、及び視対象を検出して所定の制御を行う運転者視対象検出システムを提供する。
【解決手段】 視対象学習部２６は、視対象が既知である特徴ベクトルに基づいて、運転者の視対象が未知である場合に視対象を特定するための視対象マップを生成する。一方、視対象検出部２７は、運転者の視対象が未知である特徴ベクトルと前記視対象マップとに基づいて、運転者がどの視対象を視認しているかを検出する。
【選択図】 図２

Description

本発明は、運転者視対象検出装置及び運転者視対象検出システムに関する。

従来、運転者が注視している注視点を検出する装置として、角膜反射像および網膜反射像を取得し、これらに基づいて運転者の視線方向を検出して注視点を計測する対象物検出装置が知られている（例えば特許文献１参照）。

また、運転者の眼球方向と運転者の頭部方向とを検出する視線計測装置が知られている。この装置では、視線方向出力手段が検出した眼球方向と頭部方向とを合成して視線方向を出力する。そして、交点検出手段は、この視線方向が被験者を囲む多面体Ｔのいずれかの面に交わる交点Ｃ（すなわち注視点相当）を検出する。次いで、交点表示手段は、検出された交点Ｃの位置を前記多面体Ｔの展開平面上に表示する（例えば特許文献２参照）。
特開２０００−０２８３１５号公報 特開平１１−２７６４３８号公報

しかしながら、特許文献１に記載の装置では、運転者の視線方向を検出するのみであるため、顔の動きを伴う注視点の検出が困難である。

また、特許文献２に記載の装置では、運転者の眼球方向と運転者の頭部方向とを検出するため、注視点を特定することができるが、眼球方向と頭部方向との双方を特定しなければならず、処理負荷が少ないものではない。

本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、処理負荷の軽減を図ると共に、容易に視対象を検出することが可能な運転者視対象検出装置、及び視対象を検出して所定の制御を行う運転者視対象検出システムを提供することにある。

本発明によれば、顔画像取得手段は、撮像された運転者の顔の画像を顔画像として取得し、顔部位検出追跡手段は、顔画像取得手段により取得された顔画像から顔部位を検出し追跡し、特徴ベクトル算出手段は、顔部位検出追跡手段により検出し追跡された顔部位のデータから特徴ベクトルを算出し、処理選択手段は、特徴ベクトル算出手段により算出された特徴ベクトルに基づく学習を行うか、視対象の検出を行うかを選択する。ここで、前記処理選択手段により学習を行うと選択された場合、クラス設定手段は、特徴ベクトル算出手段により算出された特徴ベクトルと視対象クラスとを対応付けた学習データを作成し、視対象学習手段は、クラス設定手段により作成された学習データに基づいて視対象マップを生成する。また、処理選択手段により視対象の検出を行うと選択された場合、視対象検出手段は、視対象学習手段により生成された視対象マップに基づいて、特徴ベクトル算出手段により算出された特徴ベクトルがいずれの視対象クラスに該当するかを検出し、視対象信号は、出力手段視対象検出手段により検出された視対象クラスに従う視対象信号を外部に出力する。

本発明によれば、学習を行うか視対象の検出を行うかを選択し、学習を行う場合には、特徴ベクトルに基づいて視対象マップの生成を行う。ここで、特徴ベクトルは、顔部位のデータから求められるものである。このため、視対象マップは、顔部位のデータに基づいて作成されることとなる。

また、視対象の検出を行う場合には、学習時に生成した視対象マップと、特徴ベクトルとに基づいて検出を行う。ここで、特徴ベクトルは顔部位のデータから求められるものである。このため、視対象の検出は、顔部位のデータから得られる視対象マップと、顔部位のデータから得られる特徴ベクトルとに基づいて行われることとなる。このように、視対象の検出には、顔部位のデータが必要であるが、顔の向きのデータは必ずしも必要でない。

このように、本発明では、顔の向きのデータを必要としていないため、処理負荷の増大を防止することができる。また、顔の向きのデータを必要としていないにもかかわらず、視対象の検出を行うことが可能であり、顔部位のデータだけに基づいて視対象の検出しようとして、顔の動きを伴う視対象の検出が困難となることがなくなっている。

従って、処理負荷の軽減を図ると共に、容易に視対象を検出することができる。

以下、本発明の好適な実施形態を図面に基づいて説明する。なお、以下の実施形態では、運転者視対象検出装置及び運転者視対象検出システムを車両に搭載した場合を例に説明する。

図１は、本発明の実施形態に係る運転者視対象検出システムの構成を示すブロック図である。同図に示すように、本実施形態の運転者視対象検出システム１は、運転者の視対象を検出して所定の制御処理を行うものであり、撮像装置（撮像手段）１０と運転者視対象検出装置２０と制御装置（制御手段）３０とを備えている。また、運転者視対象検出システム１は、車両状態検出部４０と環境情報検出部５０とを備えている。

撮像装置１０は、運転者の顔を時系列的に撮像するものである。具体的に撮像装置１０は、可視光を撮像するためのＣＣＤカメラやＣＭＯＳカメラ、近赤外光にて撮像するカメラ、及び人等の発する熱を遠赤外にて撮像するカメラ等の少なくとも１つから構成されている。

また、撮像装置１０は、例えば運転者の正面下方に設置され、運転者の頭部を含む画像を取得し、得られた撮像画像のデータをビデオ信号Ｓａとして運転者視対象検出装置２０に送出する。

運転者視対象検出装置２０は、撮像装置１０からのビデオ信号Ｓａに基づいて、所定の処理を実行し、運転者の視対象を検出するものである。また、運転者視対象検出装置２０は、視対象を検出すると、検出した視対象に応じた視対象信号Ｓｂを制御装置３０に出力する。ここで、視対象とは、運転者が視認している対象物である。具体的に視対象は、車室内に定常的に存在するものであり、例えば、右ドアミラー、左ドアミラー、ルームミラー、メータ、ナビゲーション装置、オーディオ装置、空調装置、灰皿、ハンドル、及びこれらと干渉しないフロントウィンドウ面のうち少なくとも１つ以上である。

車両状態検出部４０は、車両の状態を検出するものであり、車速や、ブレーキスイッチのオン／オフ情報、アクセルスイッチのオン／オフ情報、操舵角、シフトレンジ情報等の車両に関する状態を１つ以上検出するものである。また、車両状態検出部４０は、検出した車両状態を信号Ｓｃとして、制御装置３０に送信するものである。

環境情報検出部５０は、車両の周囲環境を検出するものであり、例えば、ナビゲーションシステムを利用して、走行中の道路の種別や交差点の有無等を検出するものである。また、環境情報検出部５０は、得られた環境情報を信号Ｓｄとして制御装置３０に送信するものである。

制御装置３０は、運転者視対象検出装置２０からの視対象信号Ｓｂに応じて、所定の制御処理をするものである。例えば、運転者がナビゲーション装置の画面を注視したときに、地図情報を表示させたり、あまりに長く注視している場合に警告をしたりするものである。また、脇見検出装置に応用した場合には、脇見であるか、ミラーにて車両周囲の確認を行ったかを区別することができる。

また、制御装置３０は、上記車両状態の信号Ｓｃ及び環境情報の信号Ｓｄを入力すると、これらの信号Ｓｃ，Ｓｄから運転者の見るべき方向等を特定するものである。そして、制御装置３０は、運転者が見るべきでない視対象方向を視認している場合に、警告を行うなどする。

次に、運転者視対象検出装置２０の詳細を図２に示す。図２は、図１に示した運転者視対象検出装置２０の詳細構成を示すブロック図である。

運転者視対象検出装置２０は、撮像装置１０により撮像された運転者の顔の画像を顔画像として取得する顔画像取得部（顔画像取得手段）２１を備えている。ここで、具体的に顔画像取得部２１は、撮像装置１０からのビデオ信号Ｓａを時系列的に連続して入力し、この入力したビデオ信号Ｓａをディジタル画像として所定の記憶領域に記憶させるものである。この記憶したディジタル画像が顔画像である。

また、本実施形態において、顔画像取得部２１は、横幅６４０画素、縦幅４８０画素、１画素あたり８ｂｉｔ（２５６階調）の濃淡データをディジタルデータに変換して、変換したデータを記憶領域に格納するものである。

また、運転者視対象検出装置２０は、顔画像取得部２１により取得された顔画像から顔部位を検出し追跡する顔部位検出追跡部（顔部位検出追跡手段）２２を有している。顔部位検出追跡部２２は、例えば、特開平１１−０９６３７９号公報に開示されるものと同様に構成され、顔画像から顔部位としての眼の位置を検出し、左右の眼の座標値（座標データ）を取得するものである。そして、その座標値をもとに顔部位を追跡していくものである。

具体的に顔部位検出追跡部２２は以下の動作を行う。図３は、顔部位検出追跡部２２の動作の説明図であり、（ａ）は顔画像の例を示し、（ｂ）は顔画像の一部領域を示し、（ｃ）は光量変化を示している。

まず、顔部位検出追跡部２２は、顔画像取得部２１から図３（ａ）に示す顔画像のデータを入力する。そして、顔部位検出追跡部２２は、画像縦方向に並ぶ各画素の濃度データを取得する。その後、顔部位検出追跡部２２は、濃度データが局所的に変化している画素を抽出する。そして、顔部位検出追跡部２２は、抽出した画素を集合させた画素群１０１を得る（図３（ｂ））。

ここで、眼は、横方向に延びる形状を為している。このため、図３（ｂ）に示す眼の画素群１０１は、形状的に画像横方向に連なるものとなる。このため、顔部位検出追跡部２２は、様々な画素群から、画像横方向に連なる画素群１０１を選択することで、眼の画素群１０１を検出する。そして、顔部位検出追跡部２２は、検出した眼の画素群１０１から、眼の座標値を取得する。

なお、図３（ｃ）に示すように、眼鏡枠や口付近の画素についても、濃度データが局所的に変化している。また、眼鏡枠や口の形状からすると、眼鏡枠や口付近において得られる画素群は、画像横方向に連続するものとなる。このため、画像横方向に連続する画素群は、眼以外にも複数得られることがある。ところが、本実施形態の顔部位検出追跡部２２は、予め設定される眼の長さや、眼が左右対称であることを利用して、眼の画素群１０１のみを検出することができる。

次いで、顔部位検出追跡部２２は、眼の座標値の取得後、この座標値に基づいて、眼の周囲に追跡用の領域を設定する。そして、この領域に基づいて眼を追跡していく。

再度、図２を参照する。上記運転者視対象検出装置２０は、顔部位検出追跡部２２により検出し追跡された顔部位のデータから特徴ベクトルを算出する特徴ベクトル算出部（特徴ベクトル算出手段）２３を具備している。ここで、特徴ベクトルは、１又は複数の顔部位の座標データに基づいて求められ、各画素の濃度データを含まないものである。

また、具体的に特徴ベクトル算出部２３は、顔部位の現在の位置、任意の期間における顔部位の移動平均に基づく基準位置、その基準位置と顔部位の現在の位置とから得られる移動ベクトル、一の顔部位と他の顔部位とを結ぶ線分の距離、一の顔部位と他の顔部位との現在の位置を結ぶ線分の任意の基準線に対する傾斜角のうちの少なくとも２つ以上を求めるものである。そして、特徴ベクトル算出部２３は、これらから特徴ベクトルを求める。

図４は、特徴ベクトル算出部２３による特徴ベクトルの算出動作例を示す説明図であり、（ａ）及び（ｂ）は所定時刻における算出動作例を示し、（ｃ）及び（ｄ）は所定時刻から一定時間経過した場合における算出動作例を示している。

まず、特徴ベクトル算出部２３は、両眼中心座標の基準位置（Ｒｘ，Ｒｙ）を求める。基準位置（Ｒｘ，Ｒｙ）は、各時刻において求められた両眼の中心位置について、任意の期間の移動平均を計算することにより求められる。これにより、特徴ベクトル算出部２３は「任意の期間における顔部位の移動平均に基づく基準位置」を求めている。

そして、図４（ａ）に示すように、特徴ベクトル算出部２３は、顔部位の現在位置Ｒ１，Ｌ１から中心座標Ｃ１（Ｃｘ，Ｃｙ）を求める。ここでの中心座標は、以下の式により求められる。

これにより、特徴ベクトル算出部２３は、「顔部位の現在の位置」を求めている。

また、図４（ｂ）に示すように、顔部位である右眼と左眼との現在位置Ｒ１，Ｌ１を結ぶ線分の基準線Ｒａに対する傾斜角Ｃａを求める。ここで、基準線Ｒａは画像横方向に水平な線であり、傾斜角Ｃａは、以下の式により求められる。

これにより、特徴ベクトル算出部２３は、「一の顔部位と他の顔部位との現在の位置を結ぶ線分の任意の基準線に対する傾斜角」を求めている。

そして、一定時間経過後、図４（ｃ）に示すように、特徴ベクトル算出部２３は、再度、両眼の中心位置を求める。この時点において、運転者の顔は、図４（ａ）のときよりやや左方向に移動しているが、数１と同様の式にて、顔部位の現在位置Ｒ２，Ｌ２から中心座標Ｃ２（Ｃｘ，Ｃｙ）を求める。

また、図４（ｄ）に示すように、特徴ベクトル算出部２３は、傾斜角を求める。この時点において、運転者の顔は、図４（ｂ）のときよりやや左方向に移動しているが、数２と同様の式にて、傾斜角Ｃａ２を求める。

そして、特徴ベクトル算出部２３は、上記処理を一定時間隔で繰り返し行い、随時眼の中心位置（Ｃｘ，Ｃｙ）や傾斜角Ｃａを求めていく。そして、この繰り返し処理の間に、特徴ベクトル算出部２３は、以下の演算を実行する。すなわち、

を実行する。ここで、Ｒａは、基準線の傾斜角であり、例えば「０」などが設定される。

また、数３にて得られたｄｘは、基準位置Ｒｘから両眼中心位置のＸ座標値までの移動量（移動ベクトル）に相当する。また、ｄｙは、基準位置Ｒｙから両眼中心位置のＹ座標値までの移動量（移動ベクトル）に相当する。すなわち、この時点で特徴ベクトル算出部２３は、「基準位置と顔部位の現在の位置とから得られる移動ベクトル」を求めたこととなる。さらに、得られたｄａは、基準の傾きＲａから傾斜角Ｃａまでの変化量に相当する。

以上の演算を終えると、特徴ベクトル算出部２３は、求めたｄｘ，ｄｙ，ｄａを「０．０」〜「１．０」の数に正規化して特徴ベクトルとする。具体的には、以下の演算を行う。

ここで、ｄｍａｘ，ｄｍｉｎは、以下の表による。

以上により、特徴ベクトル算出部２３は、ｄｘ’，ｄｙ’ｄａ’を求め、これを特徴ベクトルとする。なお、特徴ベクトル算出部２３は、上記「顔部位の現在の位置」などのほかに、「両眼（一の顔部位から他の顔部位）を結ぶ線分の距離」を利用して、特徴ベクトルを求めるようにしてもよい。

再度、図２を参照する。上記運転者視対象検出装置２０は、特徴ベクトル算出部２３により算出された特徴ベクトルに基づく学習を行うか、視対象の検出を行うかを選択する処理選択部（処理選択手段）２４を備えている。

処理選択部２４は、特徴ベクトルの視対象が未知であるか、既知であるかに基づいて、処理を選択するものである。処理選択部２４は、視対象が既知である場合、視対象が既にわかっていることから、学習データを作成して学習処理を行っていく。一方、視対象が未知である場合、視対象を特定すべく検出処理を行っていく。

さらに、運転者視対象検出装置２０は、処理選択部２４により学習を行うと選択された場合、特徴ベクトル算出部２３により算出された特徴ベクトルと視対象クラスとを対応付けた学習データを作成するクラス設定部（クラス設定手段）２５を有している。ここで、視対象クラスとは、視対象を示す情報をいう。

また、クラス設定部２５は、例えば視対象として正面、右及び左ドアミラー、ルームミラー、メータ等が視対象とされている場合、これらの視対象に視対象クラスとしての識別番号を割り振るものである。そして、識別番号をもとに処理を実行していくものである。

図５は、視対象クラスの説明図である。上記したように、視対象クラスは、視対象を示す情報であって、各視対象毎に識別番号として割り振られるものである。

同図に示すように、視対象クラスは、ａ〜ｇの識別番号として、右ドアミラー、左ドアミラー、ルームミラー、メータ、ナビ画面（ナビゲーション装置）、ＣＤ挿入口(オーディオ装置)、及び灰皿に設定される。また、ハンドルや空調の操作パネル（空調装置）に識別番号を割り振ってもよい。さらには、これらのものと干渉しないフロントウィンドウ面、例えば正面（同図破線枠内）に識別番号を割り振ってもよい。

ここで、学習処理においては特徴ベクトルが得られたときに既に視対象がわかっている。このため、クラス設定部２５は、この割り振った識別番号と特徴ベクトル算出部２３からの特徴ベクトルのデータとを対応付けて、例えば、以下の表に示す学習データを作成する。

これらの学習データをグラフ上にプロットしたものを図６に示す。図６は、視対象に対する両眼中心座標を示す説明図である。特徴ベクトルを求めるための両眼中心座標と、視対象クラスとを対応付けると、同図に示すようになる。

再度、図２を参照する。上記運転者視対象検出装置２０は、クラス設定部２５により作成された学習データに基づいて視対象マップを生成する視対象学習部（視対象学習手段）２６を備えている。具体的に視対象学習部２６は、ニューラルネットワーク、特にパターン認識に向いているとされているＲＢＦ（Radial Basis Function）により学習データを生成する。なお、ＲＢＦは、非線形分離問題において、他の統計解析による手法と比較して優れたものである。例えば、学習時において必要以上の領域を作らない点や、検出時における計算量が少なく処理が終了するという点で優れている。

次に図７を参照して、視対象学習部２６による視対象マップの作成方法について説明する。図７は、視対象学習部２６による視対象マップの作成方法の一例を示す説明図であり、（ａ）は時刻ｔにおける視対象マップを示し、（ｂ）は時刻ｔ＋１における視対象マップを示している。また、（ｃ）は時刻ｔ＋２における視対象マップを示し、（ｄ）は時刻ｔ＋３における視対象マップを示している。さらに、（ｅ）は時刻ｔ＋４における視対象マップを示し、（ｆ）は時刻ｔ＋５における視対象マップを示し、（ｇ）は時刻ｔ＋６における視対象マップを示している。

まず、図７（ａ）に示すように、視対象学習部２６は、特徴ベクトルの値ａ１を中心にして半径ｒｍａｘの領域を設定する。また、設定の際に視対象学習部２６は、視対象が右ドアミラーである場合、識別番号がａであることの情報を付与する。これにより、視対象学習部２６は視対象マップを生成する。

その後、視対象学習部２６は、同様の処理を行う。すなわち、図７（ｂ）に示すように、特徴ベクトルａ２について領域設定と識別情報の付与を行う。そして、時刻ｔ＋２においても、図７（ｃ）に示すように特徴ベクトルａ３について同様の処理を行う。

ここで、識別番号ａの学習データすべてについて、領域設定を行ったとすると、図７（ｄ）及び（ｅ）に示すように、識別番号がｂである特徴ベクトルｂ１，ｂ２について同様の処理を行う。そして、時刻ｔ＋５に至る。

ここで、時刻ｔ＋５において、特徴ベクトルの値ｂ３が識別番号ａである特徴ベクトルａ３の領域と識別番号ｂである特徴ベクトルｂ２の領域との双方に収まるものであったとする。この場合、視対象学習部２６は、図７（ｆ）に示すように、特徴ベクトルａ３の領域を小さくして、特徴ベクトルｂ３が特徴ベクトルｂ２の領域のみに収まるようにする。

その後、時刻ｔ＋６において、特徴ベクトルの値ｂ４が識別番号ｂである特徴ベクトルｂ１の領域と特徴ベクトルｂ２の領域との双方に収まるものであったとする。この場合、視対象学習部２６は、図７（ｇ）に示すように、領域を小さくすることはない。双方とも同じ視対象クラスの領域だからである。

そして、視対象学習部２６は、上記処理を繰り返し、全ての学習データに基づき領域設定を行って、視対象マップを生成する。なお、視対象学習部２６は、異なる視対象クラス同士で、重複する領域が全くない状態にすることが望ましいが、一部重複領域が存在していてもよい。

すなわち、視対象学習部２６は、視対象クラスが既知である複数の特徴ベクトルそれぞれに基づいて領域を設定し、異なる視対象クラス同士で重複領域がないように処理を行って、視対象マップを生成していればよい。これにより、概ね各領域が視対象クラス毎に分離されることとなる。

なお、視対象マップは、特徴ベクトルの次元数に応じた次元で生成される。すなわち、本実施形態では、特徴ベクトルがｄｘ’，ｄｙ’，ｄａ’の３次元であるので、視対象マップは３次元マップとして生成されることとなる。

上記のようにして、生成された視対象マップの例を示す。図８は、視対象学習部２６により生成された視対象マップの説明図である。なお、図８では、３次元マップとして生成された視対象マップを２次元平面上に投影するものとする。

同図から、視対象が灰皿である領域と、視対象がＣＤ挿入口（オーディオ装置）である領域とが分離していることがわかる。また、各領域は、大きさが異なっており、図７（ｆ）に示した処理と同様に、領域が小さくされたことがわかる。なお、３次元マップを２次元平面上に投影したため、２次元平面上では完全に重複する領域もあるが、３次元に戻すと、重複する領域は概ね分離されている。

再度、図２を参照する。上記運転者視対象検出装置２０は、処理選択部２４により視対象の検出を行うと選択された場合、視対象学習部２６により生成された視対象マップに基づいて、特徴ベクトル算出部２３により算出された特徴ベクトルがいずれの視対象クラスに該当するかを検出する視対象検出部（視対象検出手段）２７を備えている。

具体的に視対象検出部２７は、以下のようにして、いずれの視対象クラスに該当するかを検出する。図９は、視対象検出部２７による判断処理を示す説明図である。同図に示すように、例えば、視対象検出部２７に特徴ベクトルｐ１が入力したとする。このとき、視対象検出部２７は、特徴ベクトルｐ１が視対象マップ上でどの領域に属するかを判断する。図９において、特徴ベクトルｐ１は、識別番号ａの領域に属している。このため、視対象検出部２７は、右ドアミラーの視対象クラスに該当すると判断する。

また、視対象検出部２７に特徴ベクトルｐ２が入力したとする。このとき、視対象検出部２７は、特徴ベクトルｐ２が視対象マップ上でどの領域に属するかを判断する。図９において、特徴ベクトルｐ２は、識別番号ｂの領域に属している。このため、視対象検出部２７は、左ドアミラーの視対象クラスに該当すると判断する。

また、例えば、視対象検出部２７に特徴ベクトルｐ３が入力したとする。このとき、視対象検出部２７は、特徴ベクトルｐ３が視対象マップ上でどの領域に属するかを判断する。図９において、特徴ベクトルｐ３は、どの領域にも属していない。このため、視対象検出部２７は、いずれの視対象クラスにも該当しないと判断する。

再度、図２を参照する。上記運転者視対象検出装置２０は、視対象検出部２７により検出された視対象クラスに従う視対象信号Ｓｂを外部に出力する視対象信号出力部（視対象信号出力手段）２８を有している。ここで、視対象信号Ｓｂの出力先としては、上記したように制御装置３０である。

次に、本実施形態に係る運転者視対象検出装置２０を含む運転者視対象検出システム１の動作について説明する。図１０は、本実施形態に係る運転者視対象検出装置２０の動作の概略を示すデータフローダイヤグラムである。

まず、撮像装置１０により運転者の顔を含む画像が撮像され、その画像がビデオ信号Ｓａとして顔画像取得部２１に入力される。顔画像取得部２１は、撮像装置１０からのビデオ信号Ｓａを入力すると、ビデオ信号Ｓａをディジタルデータに変換して記憶領域に格納する。そして、顔画像取得部２１は、格納した顔画像データを顔部位検出追跡部２２に出力する。

その後、顔部位検出追跡部２２は、顔画像のデータに基づいて、顔部位データである座標データを求める。ここで、顔部位検出追跡部２２は、例えば図３に示したようにして、座標データを求める。そして、顔部位検出追跡部２２は、顔部位データを特徴ベクトル算出部２３に送信する。

特徴ベクトル算出部２３は、受信した顔部位データから、特徴ベクトルを求める。ここで、特徴ベクトル算出部２３は、例えば図４に示したようにして、座標データから特徴ベクトルを求める。そして、特徴ベクトル算出部２３は、求めた特徴ベクトルのデータを処理選択部２４に送信する。

処理選択部２４は、特徴ベクトルのデータを入力すると、このデータに基づいて視対象が既知のものであるか否かを判断する。既知のものであると判断した場合、処理選択部２４は、学習を行う旨の処理種別データを出力する。これにより、クラス設定部２５及び視対象学習部２６にて学習処理が行われていくこととなる。

一方、未知のものであると判断した場合、処理選択部２４は、視対象の検出を行う旨の処理種別データを出力する。これにより、視対象検出部２７にて検出処理が行われ、その結果が視対象信号出力部２８により出力される。

なお、既知であるか未知であるかの判断は、例えば、予め各視対象を視認したときの画像データを記憶しておき、その画像と撮像された画像との類似度を求めることにより判断する。また、これ以外の方法であってもよい。

まず、学習処理を説明する。学習処理において、クラス設定部２５は、視対象クラスのデータ、及び特徴ベクトル算出部２３からの特徴ベクトルのデータを入力する。入力後、クラス設定部２５は、図５に示したように、右ドアミラー等の各視対象に視対象クラスとしての識別番号を割り振る。そして、クラス設定部２５は、この割り振った識別番号と特徴ベクトルのデータとを対応付けて、例えば、表２や図６に示す学習データを作成する。その後、クラス設定部２５は、学習データを視対象学習部２６に送信する。

そして、視対象学習部２６は、受信した学習データに基づき、図７に示すようにして、例えば図８に示すような視対象マップを生成する。次いで、視対象学習部２６は、生成した視対象マップを視対象検出部２７に与える。

その後、運転者の顔が撮像され、視対象が未知である特徴ベクトルを得たとすると、処理選択部２４は、視対象の検出処理を選択する。検出処理が選択されると、特徴ベクトル算出部２３は、視対象検出部２７に特徴ベクトルのデータを送信する。送信後、視対象検出部２７は、送信された特徴ベクトルが視対象マップのどの領域に属するかを、例えば図９と同様にして判断し、属する視対象クラスを特定する。

その後、視対象検出部２７は、上記のようにして特定した視対象クラスのデータを視対象信号出力部２８に出力する。これを受信すると、視対象信号出力部２８は、視対象クラスに従う視対象信号Ｓｂを出力する。

そして、制御装置３０は、視対象信号Ｓｂを入力して所定の制御処理を行う。例えば、運転者がナビゲーション装置の画面を注視したときに、地図情報を表示させる処理などである。

ここで、視対象信号出力部２８による視対象信号Ｓｂの出力例を示す。図１１は、視対象信号Ｓｂの出力の様子を示す説明図であり、（ａ）は右ドアミラー視認時を示し、（ｂ）はルームミラー視認時を示し、（ｃ）はナビ画面視認時を示し、（ｄ）はオーディオ視認時を示している。なお、図１１では、一度出力された視対象信号Ｓｂを再度他の装置等で解析し、解析した視対象信号Ｓｂが示す視対象を顔画像に重ねて表示している。

これら図に示すように、右ドアミラー視認時、ルームミラー視認時、ナビ画面視認時、オーディオ視認時のそれぞれにおいて、的確に視対象が特定されていることがわかる。これにより、制御装置３０にて行う制御処理についても、運転者が視認する視対象に応じて的確な制御が行えることとなる。

このようにして、本実施形態に係る運転者視対象検出装置２０では、学習を行うか視対象の検出を行うかを選択し、学習を行う場合には、特徴ベクトルに基づいて視対象マップの生成を行う。ここで、特徴ベクトルは、顔部位のデータから求められるものである。このため、視対象マップは、顔部位のデータに基づいて作成されることとなる。

また、視対象の検出を行う場合には、学習時に生成した視対象マップと、特徴ベクトルとに基づいて検出を行う。ここで、特徴ベクトルは顔部位のデータから求められるものである。このため、視対象の検出は、顔部位のデータから得られる視対象マップと、顔部位のデータから得られる特徴ベクトルとに基づいて行われることとなる。このように、視対象の検出には、顔部位のデータが必要であるが、顔の向きのデータは必ずしも必要でない。

このように、本実施形態では、顔の向きのデータを必要としていないため、処理負荷の増大を防止することができる。また、顔の向きのデータを必要としていないにもかかわらず、視対象の検出を行うことが可能であり、顔部位のデータだけに基づいて視対象の検出しようとして、顔の動きを伴う視対象の検出が困難となることがなくなっている。

従って、処理負荷の軽減を図ると共に、容易に視対象を検出することができる。

ここで、特許第２５４６４１５号公報には、ニューラルネットワークを用いて顔の方向及び目の状態を検出する車両運転者監視装置が知られている。この装置では、運転者がいないときに運転席を含む領域を撮像して背景画像を取得しておく。そして、運転者の乗車時に得られた画像と、上記背景画像との差分から運転者の位置を特定する。その後、特定された運転者の顔部分の画像をニューラルネットワークに入力して顔の方向及び目の状態を検出する。

しかし、この装置では、特定された運転者の顔部分の画像をニューラルネットワークに入力して顔の方向及び目の状態を検出するので、処理負荷が一層多大なものとなってしまう。すなわち、運転者の顔部分の画像は、画素毎に濃度データを有しており、膨大な情報量を含んでいる。そして、これに基づいて検出を行うと、処理負荷は多大なものとなってしまう。

ところが、本実施形態において特徴ベクトルは、１又は複数の顔部位の座標データに基づいて求められ、具体的には顔部位の現在の位置や基準位置などの少なくとも２つ以上から求められ、濃度データを含まない。このため、特徴ベクトル自体のデータ量を少なくすることができ、一層処理負荷の軽減を図ることができる。

また、視対象クラスは、車室内に定常的に存在するものを示す情報であり、具体的にはドアミラーやルームミラーなどの少なくとも１つ以上を示す情報である。ここで、本装置２０は、特徴ベクトルがいずれの視対象クラスに属するかを検出し、検出された視対象クラスに従う視対象信号Ｓｂを出力する。このため、本装置２０は、運転者が特定の車室内対象物を視認していることを、信号にて出力することができ、例えば、運転者の脇見による報知制御などの種々の制御に役立てることができる。

また、各視対象クラスの領域が視対象クラス毎に概ね分離されることから、未知の特徴ベクトルを入力したとしても、その特徴ベクトルがいずれの領域に属するかを容易に判断でき、好適に視対象クラスを検出することができる。

また、視対象信号Ｓｂを出力して、制御装置３０にて制御を行うので、画像表示や脇見警告等で運転者の支援を行うことができる。

本発明の第１実施形態に係る運転者視対象検出システムの構成を示すブロック図である。 図１に示した運転者視対象検出装置の詳細構成を示すブロック図である。 顔部位検出追跡部の動作の説明図であり、（ａ）は顔画像の例を示し、（ｂ）は顔画像の一部領域を示し、（ｃ）は光量変化を示している。 特徴ベクトル算出部による特徴ベクトルの算出動作例を示す説明図であり、（ａ）は所定時刻において得られる座標データに基づく値の説明図であり、（ｂ）は所定時刻において得られる座標データに基づく他の値の説明図であり、（ｃ）は所定時刻から一定時間経過したときに得られる座標データに基づく値の説明図であり、（ｄ）は所定時刻から一定時間経過したときに得られる座標データに基づく他の値の説明図である。 視対象クラスの説明図である。 視対象に対する両眼中心座標を示す説明図である。 視対象学習部による視対象マップの作成方法の一例を示す説明図であり、（ａ）は時刻ｔにおける視対象マップを示し、（ｂ）は時刻ｔ＋１における視対象マップを示し、（ｃ）は時刻ｔ＋２における視対象マップを示し、（ｄ）は時刻ｔ＋３における視対象マップを示し、（ｅ）は時刻ｔ＋４における視対象マップを示し、（ｆ）は時刻ｔ＋５における視対象マップを示し、（ｇ）は時刻ｔ＋６における視対象マップを示している。 視対象学習部により生成された視対象マップの説明図である。 視対象検出部による判断処理を示す説明図である。 本実施形態に係る運転者視対象検出装置の動作の概略を示すデータフローダイヤグラムである。 視対象信号の出力の様子を示す説明図であり、（ａ）は右ドアミラー視認時を示し、（ｂ）はルームミラー視認時を示し、（ｃ）はナビ画面視認時を示し、（ｄ）はオーディオ視認時を示している。

符号の説明

１…運転者視対象検出システム
１０…撮像装置（撮像手段）
２０…運転者視対象検出装置
２１…顔画像取得部（顔画像取得手段）
２２…顔部位検出追跡部（顔部位検出追跡手段）
２３…特徴ベクトル算出部（特徴ベクトル算出手段）
２４…処理選択部（処理選択手段）
２５…クラス設定部（クラス設定手段）
２６…視対象学習部（視対象学習手段）
２７…視対象検出部（視対象検出手段）
２８…視対象信号出力部（視対象信号出力手段）
３０…制御装置（制御手段）
４０…車両状態検出部
５０…環境情報検出部
Ｓａ…ビデオ信号
Ｓｂ…視対象信号
Ｓｃ…状態信号
Ｓｄ…環境信号

Claims (8)

1. 撮像された運転者の顔の画像を顔画像として取得する顔画像取得手段と、
   前記顔画像取得手段により取得された顔画像から顔部位を検出し追跡する顔部位検出追跡手段と、
   前記顔部位検出追跡手段により検出し追跡された顔部位のデータから特徴ベクトルを算出する特徴ベクトル算出手段と、
   前記特徴ベクトル算出手段により算出された特徴ベクトルに基づく学習を行うか、視対象の検出を行うかを選択する処理選択手段と、
   前記処理選択手段により学習を行うと選択された場合、前記特徴ベクトル算出手段により算出された特徴ベクトルと視対象クラスとを対応付けた学習データを作成するクラス設定手段と、
   前記クラス設定手段により作成された学習データに基づいて視対象マップを生成する視対象学習手段と、
   前記処理選択手段により視対象の検出を行うと選択された場合、前記視対象学習手段により生成された視対象マップに基づいて、前記特徴ベクトル算出手段により算出された特徴ベクトルがいずれの視対象クラスに該当するかを検出する視対象検出手段と、
   前記視対象検出手段により検出された視対象クラスに従う視対象信号を外部に出力する視対象信号出力手段と、
   を備えることを特徴とする運転者視対象検出装置。
2. 前記特徴ベクトルは、１又は複数の顔部位の座標データに基づいて求められ、濃度データを含まないことを特徴とする請求項１に記載の運転者視対象検出装置。
3. 前記特徴ベクトルは、顔部位の現在の位置、任意の期間における顔部位の移動平均に基づく基準位置、当該現在の位置と当該基準位置から得られる移動ベクトル、一の顔部位と他の顔部位とを結ぶ線分の距離、当該一の顔部位と当該他の顔部位との現在の位置を結ぶ線分の任意の基準線に対する傾斜角のうちの少なくとも２つ以上に基づいて求められることを特徴とする請求項２に記載の運転者視対象検出装置。
4. 前記視対象クラスは、車室内に定常的に存在するものを示す情報であることを特徴とする請求項１〜請求項３のいずれかに記載の運転者視対象検出装置。
5. 前記視対象クラスは、車室内に定常的に存在するものとして、右ドアミラー、左ドアミラー、ルームミラー、メータ、ナビゲーション装置、オーディオ装置、空調装置、灰皿、ハンドル、及びこれらのものと干渉しないフロントウィンドウ面のうち少なくとも１つ以上を示す情報であることを特徴とする請求項４に記載の運転者視対象検出装置。
6. 視対象学習手段は、視対象クラスが既知である複数の特徴ベクトルそれぞれに基づいて、当該複数の特徴ベクトルに対応する領域を、異なる視対象クラス同士で重複しないように設定して、視対象マップを生成し、
   視対象検出手段は、視対象クラスが未知である特徴ベクトルが、視対象マップ上でどの領域に属するかを判断することで、いずれの視対象クラスに該当するかを検出する
   ことを特徴とする請求項１〜請求項５のいずれか１項に記載の運転者視対象検出装置。
7. 運転者の顔を撮像する撮像手段と、
   前記撮像手段により撮像された運転者の顔の画像を顔画像として取得する顔画像取得手段と、
   前記顔画像取得手段により取得された顔画像から顔部位を検出し追跡する顔部位検出追跡手段と、
   前記顔部位検出追跡手段により検出し追跡された顔部位のデータから特徴ベクトルを算出する特徴ベクトル算出手段と、
   前記特徴ベクトル算出手段により算出された特徴ベクトルに基づく学習を行うか、視対象の検出を行うかを選択する処理選択手段と、
   前記処理選択手段により学習を行うと選択された場合、前記特徴ベクトル算出手段により算出された特徴ベクトルと視対象クラスとを対応付けた学習データを作成するクラス設定手段と、
   前記クラス設定手段により作成された学習データに基づいて視対象マップを生成する視対象学習手段と、
   前記処理選択手段により視対象の検出を行うと選択された場合、前記視対象学習手段により生成された視対象マップに基づいて、前記特徴ベクトル算出手段により算出された特徴ベクトルがいずれの視対象クラスに該当するを検出する視対象検出手段と、
   前記視対象検出手段により検出された視対象クラスに従う視対象信号を出力する視対象信号出力手段と、
   前記視対象信号出力手段から出力される視対象信号を入力して所定の制御処理を行う制御手段と、
   を備えることを特徴とする運転者視対象検出システム。
8. 運転者の視対象が既知である顔画像から特徴ベクトルを算出し、この特徴ベクトルに基づいて、運転者の視対象が未知である場合に視対象を特定するための視対象マップを生成し、運転者の視対象が未知である顔画像から特徴ベクトルを算出し、この特徴ベクトルと前記視対象マップとに基づいて、視対象が未知であるときに、運転者がどの視対象を視認しているかを検出することを特徴とする運転者視対象検出装置。
   
   

Images