JP2013132970A - ミラー制御装置およびプログラム - Google Patents

Abstract

【課題】安全に運転者の運転姿勢に応じたミラー角度の制御を行うミラー制御装置およびプログラムを提供する。
【解決手段】ミラー制御ＥＣＵは、撮像部が撮影した画像に基づいて顔位置と顔部位の検出を行う（Ｓ２、Ｓ４）。そして検出した顔位置および顔部位とその履歴に基づいて更新されたホームポジションに基づく最適ミラー角度を算出し（Ｓ７）、ミラー角度変更条件を満たした場合にミラー角度を変更する（Ｓ８、Ｓ１０）。ミラー角度変更条件は、車両が停止している場合、あるいは、運転手の顔方向がミラー以外の方向である場合、である。
【選択図】図４

Description

本発明は、車両のドアミラーやルームミラーなどの動作を制御するミラー制御装置に関する。

車両に搭載されるドアミラーやルームミラーなどは、運転者の顔の位置によって良好に後方を映す適切な配置角度が変化するため、運転中に姿勢が変化するとミラーの適切な角度が変わってしまう。車両が走行している間に手動でミラー角度の操作を行うことは車両の周囲の確認が疎かになって危険である。また信号などで停止している間であっても周囲の環境の確認が疎かになってしまう虞があり、また走行中の姿勢と完全に一致しない状態では最適な位置にミラーを調整することが難しい。

そこで従来、自動的にミラーの位置を制御する装置が提案されている（特許文献１参照）。上記装置は、車載のカメラで撮影された運転者の顔向きを検出し、検出された顔向きから運転者が正面を向いたときの顔位置を推定する。そして、推定された顔位置に基づき最適なミラー角度を算出しミラー角度を調整する。

特開２００２−２７４２６５号公報

上述した特許文献１の装置では、ミラーを所定の角度とするためにミラーが動作している間に運転者がミラーを見ると、運転者は周囲の物体、例えばミラーに映る車両が擬似的に動いているように感じられ、誤った認識をしてしまう可能性がある。

本発明の目的は、安全に運転者の運転姿勢に応じたミラー角度の制御を行うミラー制御装置およびプログラムを提供することである。

上述した問題を解決するためになされた請求項１に記載のミラー制御装置は、車両の運転者の顔を含む画像を画像解析し、運転者の顔の位置及び／又は運転者の顔における所定の部位の位置の情報である顔位置情報を検出する。顔位置情報は、例えば３次元座標で示すことができる。この検出された顔位置情報に基づいて、運転者が車両に設けられたミラーの最適角度を算出する。最適角度とは、ミラーを介して所定の領域を視認することに適したミラーの角度である。

なお車両に設けられたミラーとは、左右のドアミラー、ルームミラーなどがあるが、それ以外のミラーであってもよい。
そして本発明のミラー制御装置は、以下の（１）、（２）のいずれかの条件を満たした場合に、ミラーが最適角度となるように、ミラーの角度を変更するアクチュエータを備える角度変更手段を制御することを特徴とする。
（１）車両の走行速度を測定する速度検出手段により測定された走行速度が所定の閾値以下である。
（２）運転者の顔方向を検出する方向検出手段により検出された運転者の顔方向が、ミラーの方向以外の方向である。なお方向検出手段は、ミラー制御装置によって検出された顔位置情報に基づいて運転者の顔方向を検出する手段であってもよい。

このようなミラー制御装置であれば、車両の走行速度が所定の閾値以下の場合や運転者がミラーを見ていない場合にミラーの角度を変更するため、安全に運転者の運転姿勢に応じたミラー制御を行うことができる。もちろん、上記（１）、（２）に他の条件を付加してもよい。例えば、現在のミラー角度と最適角度が所定の閾値以上差異がある場合や、ミラーの角度制御を行ってから所定の時間経過した場合、などを条件として付加してもよい。

本発明のミラー制御装置は、顔位置情報の履歴に基づいて、所定の期間における平均的な顔位置情報を算出し、その算出された顔位置情報に基づいてミラーの最適角度を算出する構成であってもよい。平均的な顔位置情報とは、所定の期間内に取得した顔位置情報を単純に平均したものであってもよいし、重み付けをして平均したものであってもよい。

このように構成されたミラー制御装置は、顔位置情報として所定の期間の平均値を用いるため、例えば運転者が前方を確認するために前方に体を倒した場合など、運転者が偶々行った動作の影響を小さくすることができる。

本発明のミラー制御装置は、入力手段への入力に基づいて角度変更手段を制御するものであってもよい。入力手段とは、ミラーの角度変更の許可、および当該角度変更の拒否のうち、少なくともいずれか一方の指令を運転者により入力可能である装置であって、一例としてステアリングやインパネに配置されるボタンが挙げられる。

具体的な制御としては、例えば、ミラーが最適角度となるように角度変更手段を制御した後において、入力手段に運転者により許可の指令が入力されなかった場合、または拒否の指令が入力された場合に、ミラーが最適角度となる以前の角度に戻るように角度変更手段を制御することが考えられる。

このようなミラー制御装置であれば、ミラーの角度変更を行った後のミラー角度が適切でないと運転者が感じる場合にミラーを元の角度に戻すことができるため、快適な運転を継続することができる。

また入力手段を利用した上記以外の制御としては、入力手段に許可の指令が入力された場合、または拒否の指令が入力されなかった場合に、ミラーが最適角度となるように角度変更手段を制御することが考えられる。

このようなミラー制御装置であれば、運転者がミラー角度を変更する必要がないと感じる場合にはミラー角度を変更しないため、快適な運転を継続することができる。
請求項５に記載の発明は、コンピュータを、請求項１から請求項４のいずれか１項に記載のミラー制御装置を構成する顔位置検出手段、角度算出手段、および制御手段として機能させるためのプログラムである。

このようなプログラムにより制御されるコンピュータは、請求項１から請求項４のいずれかに記載のミラー制御装置を構成することができる。
なお、上述したプログラムは、コンピュータによる処理に適した命令の順番付けられた列からなるものであって、各種記録媒体や通信回線を介して、ミラー制御装置やこれを利用するユーザに提供されるものである。

ミラー制御システムの概略構成を示すブロック図である。 ミラー制御システムの自動車内部における設置位置を示す図である。 ミラー制御ＥＣＵを機能ブロックにて示した機能ブロック図である。 ミラー制御処理の処理手順を説明するフローチャートである。 最適ミラー角度を算出する算出方法を説明する図である。

以下に本発明の実施形態を図面と共に説明する。
［実施例］
（１）ミラー制御システムの構成
図１は、本発明が適用されたミラー制御システムの概略構成を示すブロック図であり、図２は、ミラー制御システムの自動車内部における設置位置を示す図である。

このミラー制御システム１は、自動車の運転者が快適な運転操作を行うことを実現することを目的として、運転者の顔位置などを監視しミラーの角度を制御するシステムである。

本実施形態において、ミラー制御システム１は、撮像部１１、ステアリング１３に設けられる操作スイッチ１５、カーナビゲーションシステム１７の一部として組み込まれる表示装置１９およびスピーカ２１、ミラー制御ＥＣＵ２３、右ドアミラー制御部２５、左ドアミラー制御部２７、ルームミラー制御部２９を有する。

撮像部１１は、撮像素子により運転者の顔を含む画像を撮影する周知の撮像装置（いわゆるＣＣＤやＣＭＯＳなどの撮像素子と光学レンズ、光学フィルタ、電源等の周辺電子回路から成るカメラ）であり、撮像部１１の撮像範囲に運転者の顔が位置するように撮像部１１は配置される。撮像部１１としては赤外線カメラを用いることもでき、その場合には近赤外光を運転者の顔に向けて照射する発光装置を設けてもよい。撮像部１１は所定の時間間隔（例えば１／３０秒）ごとに画像を撮影し、ミラー制御ＥＣＵ２３に出力する。

操作スイッチ１５は後述するミラー制御処理において、各ミラー（右ドアミラー３１、左ドアミラー３３、およびルームミラー３５であり、これらを総称してミラーと述べる場合がある）の角度が変更されたときに、その変更を許可する指令を入力可能であるスイッチである。

表示装置１９およびスピーカ２１は、ミラー制御ＥＣＵ２３からの制御信号に従って、後述するミラー制御処理において各ミラーの角度を変更する際に運転者にその旨を報知するものである。

ミラー制御ＥＣＵ２３は、ＣＰＵ４１，ＲＯＭ４３，ＲＡＭ４５などからなる周知のマイクロコンピュータであって、ＲＯＭ４３に記憶されているプログラムに基づいて後述するミラー制御処理を実行する。また、車両の走行速度を測定する車速センサ３７から走行速度を示す信号を受信する。

右ドアミラー制御部２５は、右ドアミラー３１のミラー角度を制御するアクチュエータを有し、ミラー制御ＥＣＵ２３からの制御信号に従ってミラー角度を変更する。
左ドアミラー制御部２７およびルームミラー制御部２９も同様に、左ドアミラー３３、ルームミラー３５のミラー角度を制御するアクチュエータを有し、ミラー制御ＥＣＵ２３からの制御信号に従ってミラー角度を変更する。

図３は、ミラー制御ＥＣＵ２３を機能ブロックにて示した図である。
ミラー制御ＥＣＵ２３は、顔検出部５１、ホームポジション算出部５３、最適ミラー角度算出部５５、ミラー変更制御部５７、として機能する。なお、顔検出部５１は本発明における顔位置検出手段および方向検出手段の一例であり、ホームポジション算出部５３は位置算出手段の一例であり、最適ミラー角度算出部５５は角度算出手段の一例であり、ミラー変更制御部５７は制御手段の一例である。

顔検出部５１は、撮像部１１から取得した画像を画像解析し、運転者の顔位置と所定の顔部位を検出する。具体的には、まず画像における運転者の顔の位置を検出する。次に、検出した顔の位置から、顔部位（顔における特徴点の３次元座標）を検出する。また同時に、顔の向いている方向である顔方向を検出する。顔検出部５１はこれらの情報を所定の時間間隔で検出し、ミラー制御ＥＣＵ２３に出力する。

特徴点とは、例えば目、鼻などがあるが、顔の部位ではなく、顔の中心や重心の位置を特徴点として抽出してもよい。上述した顔の位置、および特徴点の３次元座標が本発明における顔位置情報の一例である。

画像解析によって運転者の顔位置や顔部位、および顔方向を検出する方法は周知技術を用いることができる。異なる位置に配置された２つのカメラにより撮影された２つの撮影画像を解析することで、顔位置および特徴点の３次元座標を求めてもよい。すなわち撮像部１１を２つ設ける構成であってもよい。

また画像解析によって運転者の顔位置や顔部位、および顔方向を検出する方法としては、例えば特開２００８−１３０２３号公報、特開２００５−６６０２３号公報、特開２００２−３５２２２８号公報、特開２００７−２４９２８０号公報、特開２００５−１８２４５２号公報記載の方法を用いることができる。

ホームポジション算出部５３は、顔検出部５１が検出した顔位置および顔部位の所定の期間における履歴に基づいて、ホームポジションを算出する。ホームポジションとは、所定の期間における平均的な顔位置や顔部位の位置情報であって、本実施例においては、ホームポジションは運転者の目の位置の３次元座標である。ホームポジションの算出方法については後述する。

最適ミラー角度算出部５５は、ホームポジション算出部５３により算出されたホームポジションに対応する、ミラーの最適角度を算出する。最適角度とは、運転者がミラーを介して所定の領域を視認することに適したミラーの最適な角度であって、ホームポジションに応じて定まる。

ミラー変更制御部５７は、ミラー角度を変更する所定の条件を満たしているか否かを判断し、所定の条件を満たした場合に、最適ミラー角度算出部５５により算出された最適ミラー角度となるように、右ドアミラー制御部２５、左ドアミラー制御部２７、およびルームミラー制御部２９に制御信号を出力する。

（２）ミラー制御ＥＣＵ２３が実行する処理
ミラー制御ＥＣＵ２３が実行するミラー制御処理を、図４に示すフローチャートに基づいて説明する。

このミラー制御処理は、ミラー制御ＥＣＵ２３に電力が供給されたときに（本実施形態では、イグニッションスイッチがオンされたときに）開始される。
本処理では、まず撮像部１１が撮影した画像を取得する（Ｓ１）。

次に、Ｓ１にて取得した画像に基づいて顔位置の検出を行う（Ｓ２）。そして顔位置の検出が成功したか否かを判定し（Ｓ３）、成功していなければ（Ｓ３：ＮＯ）処理がＳ８に移行する。顔位置の検出が成功していれば（Ｓ３：ＹＥＳ）、次に顔部位の検出を行う（Ｓ４）。ここでは、運転者の目の位置の３次元座標を検出する。

そして顔部位の検出が成功したか否かを判定し（Ｓ５）、成功していなければ（Ｓ５：ＮＯ）処理がＳ８に移行する。顔部位の検出が成功していれば（Ｓ５：ＹＥＳ）処理がＳ６に移行する。

次に、ホームポジションを更新する（Ｓ６）。ホームポジションの更新は、以下の（ｉ）〜（ｉｉｉ）のいずれかの算出手法を採ることができる。いずれの手法も、所定の期間に撮影された所定数のフレーム（画像）から求められた顔部位の座標を平均してホームポジションを算出する。上記所定数のフレームは、所定の時間間隔で時系列的に取得されたものであって、最も早く撮影されたフレームの撮影タイミングから最新のフレームの撮影タイミングまでの運転者の顔が撮影されている。したがって、これらから求まる顔部位を平均することで、上記期間の運転者の適切な顔部位を算出できる。平均値を算出する範囲、即ち何フレーム遡るかは任意に決定できる。

（ｉ）単純移動平均
所定数のフレーム（画像）から求められた顔部位の座標を単純に平均してホームポジションを算出する。具体的には以下の式で表すことができる。
H(t) = Σ_i=0〜_ND(t+i-N)*W
W = 1/(1+N)
なお、上式における変数の定義は以下のようになる。なお以下の定義は、後述する（ｉｉ），（ｉｉｉ）の計算方法においても同様である。
t：フレーム番号（≒時刻）
N：ホームポジションを算出するときに利用するフレーム数
D(t):時刻tで検出した顔部位（フレーム番号ｔの画像から検出した顔部位）
H(t):時刻tで算出したホームポジション
W：重み係数
この算出方法では、運転者が移動すると比較的その移動の影響を受けやすく、ホームポジションが運転者移動後の位置に寄った状態で更新され易い。つまり、ホームポジションを敏感に変更したい場合に都合がよい。

（ｉｉ）加重移動平均
所定数のフレームから求められた顔部位の座標を、重みをつけて平均してホームポジションを算出する。具体的には以下の式で表すことができる。
H(t) = Σ_i=0〜_ND(t+i-N)*W(i)
W(i) = w (i=N)、(1-w)/N (i≠N)
算出されるホームポジションの移動量はw（0.0〜1.0）で調整される。wが大きい場合は、現在の顔位置の影響が大きくなり、即ち現在の顔位置が更新前のホームポジションから大きく移動していればホームポジションの更新前からの移動量が大きくなる。一方wが小さい場合は現在の顔位置の影響が小さくなる。

（ｉｉｉ）指数移動平均
新たに取得したフレームから求めた顔部位と、前回求めたホームポジションと、にそれぞれ重みをつけて加算し新たなホームポジションを算出する。具体的には以下の式で表すことができる。
H(t) = H(t-1)*(1？W)+D(t)*W
上記（ｉｉ）と同様に、wが大きいほど現在の顔位置の影響が大きくなる。

なお、上述した加重移動平均は直近のNフレーム間のみでホームポジションが算出されるため、比較的敏感に現顔位置に基づく位置にホームポジションを更新することができるが、運転者が左右確認等で長時間運転姿勢から離れた位置に顔位置が停留した場合に、本来の運転者の運転姿勢における顔部位からずれ易い。

一方、指数移動平均の場合、位置運転姿勢が変更して現顔位置が従来のホームポジションから移動しても、すぐにはホームポジションが現顔位置に基づく位置に更新され難いが、顔位置が検出された全ての情報を加味できるため、左右確認のような場合に生じるノイズの影響を受け難くできる。

以上説明した方法のいずれかによりホームポジションを更新する。もちろん、上記（ｉ）〜（ｉｉｉ）以外の方法でホームポジションを計算してもよい。
次に、最適ミラー角度を算出する（Ｓ７）。算出方法の例を、図５を用いて説明する。ミラー中心（M）、目位置（E)、およびターゲット領域中心（T)は、いずれも３次元位置である。ミラー中心（M）はミラーの位置によって定まる。目位置（E)はホームポジションである。ターゲット領域中心（T)は予め定められたミラーに映して運転者に視認させるべき領域であるが、その領域は予め定められたものであってもよいし、運転者が自ら手動で設定したものであってもよい。

ミラー中心（M）から目位置（E)への単位ベクトル（Ve）と、ミラー中心（M)からターゲット領域中心（T)への単位ベクトル（Vt）と、の垂直２等分線（V）が、ミラー平面（Pm）の法線ベクトルになるようにミラー角度（角度θ）を算出する。ミラーは２軸で動作するように構成することもできる。上記各ベクトルは以下のように定義できる。
Ve＝（M-E）/｜M-E｜
Vt＝（M-T）/｜M-T｜
V＝（Ve＋Vt)/2
なお目位置（E)は片目の位置に限らず両目の平均位置でもよい。

次に、ミラー角度変更条件を満たすか否かを判定する（Ｓ８）。変更条件を満たす場合とは、以下の（Ａ）、（Ｂ）のいずれかである。
（Ａ）車両が停止している場合。車両の停止は、例えば車速センサ３７の出力から判断できる。
（Ｂ）運転者の顔方向が、ミラーの方向以外の方向である場合。

なお、上述した（Ａ），（Ｂ）の条件に加え、さらに、最も新しく更新したホームポジションと、現在のミラー角度に対応するホームポジションと、の間に所定の閾値を超える差異が発生していることを条件として追加してもよい。また上記差異の発生の判断は、所定の計測期間（例えば１０分）を経過したときに判断するように構成してもよい。

ミラー角度変更条件を満たさない場合（Ｓ８：ＮＯ）、処理がＳ１に戻る。
ミラー角度変更条件を満たす場合（Ｓ８：ＹＥＳ）、ミラー角度を変更することを報知する（Ｓ９）。具体的には、「ミラー角度を変更する」旨、および、「変更後の角度で設定してよい場合にはステアリング１３に備えた操作スイッチ１５を操作する」指示、を表示装置１９で表示するとともに、同様の内容をスピーカ２１にて音声で案内する。また別途ＬＥＤなどを設けて発光、点滅させることで報知を行ってもよい。

次に、ミラー角度を新たなホームポジションに基づいて変更する（Ｓ１０）。
次に、運転者からの承認操作を受け付けたか否かを判定する（Ｓ１１）。運転者が操作スイッチ１５を操作すれば（Ｓ１１：ＹＥＳ）、ミラーの角度を再度変更することなく処理がＳ１に戻る。一方、運転者が、所定の時間（例えば５秒）、操作スイッチ１５を操作しなければ（Ｓ１１：ＮＯ）、Ｓ１０にて変更したミラーの角度に問題がある可能性があるため、ミラーをＳ１０にて変更する以前の角度に戻し（Ｓ１２）、処理がＳ１に戻る。

（３）効果
本実施例のミラー制御システム１であれば、車両が停止している場合や運転者がミラーを見ていない場合にミラーの角度を変更するため、安全に運転者の運転姿勢に応じたミラー制御を行うことができる。また、所定の期間撮影した画像から得られた顔部位の位置の平均値を用いてホームポジションを算出しているため、例えば運転者が前方を確認するために前に移動した場合など、運転者が偶々行った動作の影響を小さくし、適切なミラー角度とすることができる。

また上記ミラー制御システム１では、ミラーの角度変更を行った後のミラー角度が適切でないと運転者が感じる場合に元の角度に戻すことができるため、快適な運転を継続することができる。

［変形例］
以上、本発明の実施例について説明したが、本発明は、上記実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。

例えば、上記実施例においては、図４のＳ１０にてミラー角度を変更した後において、運転者による操作スイッチ１５への入力を受け付ける構成を例示したが、運転者による操作スイッチ１５への入力の後にミラー角度の変更を行う構成であってもよい。その場合、Ｓ９において、「ミラー角度の変更を行う場合には操作スイッチ１５への入力を行う」旨を報知するとよい。

このように構成されたミラー制御システムでは、運転者がミラー角度を変更する必要がないと感じる場合にはミラー角度を変更することがないので、快適な運転を継続することができる。なお、ミラー角度の変更を拒否する場合に操作スイッチ１５への入力を行う構成であってもよく、その場合には、「ミラー角度の変更を拒否する場合には操作スイッチ１５への入力を行う」旨を報知した後、操作スイッチ１５への入力があればミラー角度を変更せず、報知から所定時間操作スイッチ１５への入力が無い場合にミラー角度を変更するように構成することができる。

また上記実施例においては、運転者が操作スイッチ１５を操作してミラー角度の変更を許可すれば、変更したミラー角度のまま設定する構成を例示したが、ミラー角度の変更を拒否する際に操作スイッチ１５を操作するように構成してもよい。

また、表示装置１９やスピーカ２１による報知を行わない構成であってもよい。
また上記実施例においては、車両が停止していることを１つの条件としてミラー角度を変更する構成を例示したが、停止状態ではなく、所定の閾値以下の速度の場合にミラー角度を変更する構成であってもよい。

また上記実施例においては、目などの顔部位を用いてホームポジションを算出する構成を例示したが、顔の詳細な特徴点を検出することなく、顔位置を用いてホームポジションを算出してもよい。

１…ミラー制御システム、１１…撮像部、１３…ステアリング、１５…操作スイッチ、１７…カーナビゲーションシステム、１９…表示装置、２１…スピーカ、２５…右ドアミラー制御部、２７…左ドアミラー制御部、２９…ルームミラー制御部、３１…右ドアミラー、３３…左ドアミラー、３５…ルームミラー、３７…車速センサ、５１…顔検出部、５３…ホームポジション算出部、５５…最適ミラー角度算出部、５７…ミラー変更制御部

Claims (5)

1. 車両の運転者の顔を含む画像を画像解析し、前記顔の位置及び／又は前記運転者の顔における所定の部位の位置の情報である顔位置情報を検出する顔位置検出手段と、
   前記顔位置検出手段により検出された顔位置情報に基づいて、前記運転者が車両に設けられたミラーを介して所定の領域を視認することに適した前記ミラーの最適角度を算出する角度算出手段と、
   以下の（１）、（２）のいずれかの条件を満たした場合に、前記ミラーが前記最適角度となるように、前記ミラーの角度を変更する角度変更手段を制御する制御手段と、を備える
   ことを特徴とするミラー制御装置。
   （１）前記車両の走行速度を測定する速度検出手段により測定された走行速度が所定の閾値以下である。
   （２）前記運転者の顔方向を検出する方向検出手段により検出された前記顔方向が、前記ミラーの方向以外の方向である。
2. 前記顔位置検出手段により検出された顔位置情報の履歴に基づいて、所定の期間における平均的な顔位置情報を算出する位置算出手段を備え、
   前記角度算出手段は、前記位置算出手段により算出された顔位置情報に基づいて前記ミラーの最適角度を算出する
   ことを特徴とする請求項１に記載のミラー制御装置。
3. 前記制御手段は、前記ミラーが前記最適角度となるように前記角度変更手段を制御した後において、前記ミラーの角度変更の許可、および当該角度変更の拒否のうち、少なくともいずれか一方の指令を前記運転者により入力可能である入力手段に前記許可の指令が入力されなかった場合、または前記拒否の指令が入力された場合に、前記ミラーが前記最適角度となる以前の角度に戻るように前記角度変更手段を制御する
   ことを特徴とする請求項１または請求項２に記載のミラー制御装置。
4. 前記制御手段は、前記ミラーの角度変更の許可、および当該角度変更の拒否のうち、少なくともいずれか一方の指令を前記運転者により入力可能である入力手段に前記許可の指令が入力された場合、または前記拒否の指令が入力されなかった場合に、前記ミラーが前記最適角度となるように前記角度変更手段を制御する
   ことを特徴とする請求項１または請求項２に記載のミラー制御装置。
5. コンピュータを、請求項１から請求項４のいずれか１項に記載のミラー制御装置を構成する顔位置検出手段、角度算出手段、および制御手段として機能させるためのプログラム。