JP2007172551A - 運転状況推定装置 - Google Patents

Abstract

【課題】車両の周囲の運転環境を推定する際に、その車両の周囲環境の複雑さも加味して行うようにした運転状況推定装置の提供。
【解決手段】車外風景撮像装置１〜４は、車両に配置されてその車両の運転中に車外の風景を撮像する。車外風景画像保存部５は、車外風景撮像装置１〜４で撮像された車外風景画像を保存する。フラクタル次元算出部６は、車外風景画像保存部５に保存された所定の１つの車外風景画像に対してフラクタル解析を行い、そのフラクタル次元を算出する。運転環境複雑度推定部７は、フラクタル次元算出部６で算出されたフラクタル次元の大きさに基づき、その車外風景画像の撮影時における運転環境の複雑度を推定する。
【選択図】 図１

Description

本発明は、車両の運転中に、車両の周囲情報の複雑さを加味して車両の周囲の変化状況を知らせるようにした運転状況推定装置に関するものである。

従来、車両の前方を撮影した画像に基づき、運転者に対する影響度（運転負荷）を推定する技術として、特許文献１に記載のものが知られている。
この技術は、車両の前方などをカメラで撮影し、その撮影した画像の明暗分布により検出対象域を割り出し、その割り出した検出対象域の重心と面積の変化によって移動体（周囲の車両）を検出して、移動体の移動量を推定し、自己の車両の周囲の移動体の変化状況を知らせるものである。
特開平３−２６０８１３号公報

しかしながら、従来の発明では、以下のような不具合があった。
すなわち、運転者が運転時に受ける負荷は周囲の車両（移動体）だけではなく、例えば込み入った市街地を運転する場合には、その周囲の環境による影響を大きくうけると考えられるが、車両の周囲の環境の複雑さが考慮されていなかった。
そこで、本発明の目的は、上記の点に鑑み、車両の周囲の運転環境を推定する際に、その車両の周囲環境の複雑さも加味して行うようにした運転状況推定装置を提供することにある。

上記の課題を解決し本発明の目的を達成するために、本発明は、以下のような構成からなる。
すなわち、本発明は、車両に配置されてその車両の運転中に車外の風景を撮像する車外風景撮像装置と、前記車外風景撮像装置で撮像された車外風景画像を保存する車外風景画像保存部と、前記車外風景画像保存部に保存された少なくとも１つの車外風景画像に対してフラクタル解析を行い、そのフラクタル次元を算出するフラクタル次元算出部と、前記フラクタル次元算出部で算出されたフラクタル次元の大きさに基づき、その車外風景画像の撮影時における運転環境の複雑度を推定する運転環境複雑度推定部と、を備えている。

本発明によれば、車外風景画像の撮像時における運転環境の複雑度を推定する際に、車両の周囲情報の複雑さを加味することができる。

以下、図面を参照して、本発明の実施形態について説明する。
（第１実施形態）
図１は、本発明の第１実施形態の構成を示すブロック図である。
この第１実施形態は、図１に示すように、車外風景撮像装置１〜４と、車外風景画像保存部５と、フラクタル次元算出部６と、運転環境複雑度推定部７とを、少なくとも備えている。ここで、図１の各装置や各部は、特許請求の範囲の各装置や各部に対応する。

次に、第１実施形態の各部の具体的な構成について説明する。
車外風景撮像装置１〜４は、車両を運転中（走行中）に車外の風景を撮影するために、車両上に搭載されたものである。この車外風景撮像装置１〜４は、例えばＣＣＤカメラからなる。
車外風景撮像装置１は、図２（ａ）に示すように、運転者８が前方を見ているときの車外風景と同等の画像が撮影できる位置に配置されている。例えば、ルームミラー部９にＣＣＤカメラを埋め込み（図２（ｂ）参照）、そのＣＣＤカメラが運転者の前方の風景画像が撮影できるように設定されている。

残りの車外風景撮像装置２〜４は、車両の右側方の風景画像、その左側方の風景画像、およびその後方の風景画像をそれぞれ撮像するようになっており、例えば、図２（ａ）に示すように、車体の所定位置にＣＣＤカメラがそれぞれ埋め込まれている。
車外風景画像保存部５は、車外風景撮像装置１〜４が撮影した風景画像を保存（記憶）するものであり、例えば半導体メモリなどからなる。この車外風景画像保存部５は、例えば、車外風景撮像装置１〜４が撮影する風景画像について、１秒間に３０コマの風景画像を保存できるようになっている。そして、図３に示すように、その各風景画像を保存の際に、画像データの他に、どの方向（前方、右側方、左側方、および後方）の画像であるという情報と、取得（撮影）した時間情報とを保存するようになっている。

また、車外風景画像保存部５は、保存できる風景画像が時間または画像数で制限されるようになっている。すなわち、図４に示すように、車外風景画像保存部５は、１コマずつの風景画像の保存が開始し（ステップＳ１）、時間制限のある場合には（ステップＳ２）、保存時間が一定時間Ｔ１以上になると（ステップＳ３）、古い風景画像から順に消去される（ステップＳ４）。一方、画像数に制限がある場合には（ステップＳ５）、保存が画像が所定値Ｓ１以上になると（ステップＳ６）、古い風景画像から順に消去される（ステップＳ７）。

フラクタル次元算出部６は、図５に示す各処理を行う行うものである。すなわち、フラクタル次元算出部６は、車外風景画像保存部５に保存されている車外風景画像のうちからその１つを抽出し（ステップＳ１１）、この抽出した１つの車外風景画像に対してフラクタル解析を行い（ステップＳ１２）、その車外風景画像に対するフラクタル次元の値を算出する（ステップＳ１３）。この算出されたフラクタル次元の値は、その値が大きいほど、その風景画像に対する複雑度が大きなことを意味する。

運転環境複雑度推定部７は、フラクタル次元算出部６で算出されたフラクタル次元の大きさに基づき、後述のように、その車外風景画像の撮影時における運転環境の複雑度を推定するものである。
次に、このような構成からなる第１実施形態の動作例について、図１および図６を参照して説明する。

車外風景撮像装置１〜４は、運転者が車両を運転中に、すなわち車両の走行中に車外の風景をそれぞれ撮影する（ステップＳ２１）。このように撮影された各車外風景画像は、車外風景画像保存部５に所定の順序で保存されていく（ステップＳ２２）。
その後、現在の車両の走行環境（運転環境）において、運転者がその運転環境の複雑さを感じる視覚環境（風景画像）が車外風景画像保存部５から抽出される。この抽出の指示は、例えば運転環境複雑度推定部７が行う。

ここで、車両が通常の走行であれば、運転者は前方を注視して運転することから、車外風景画像保存部５に保存される車外風景撮影装置１が撮影した１枚の前方車外風景画像が、一定時間Ｔ２ごとに車外風景画像保存部５から抽出される（ステップＳ２３）。その一定時間Ｔ２は、例えば０．１秒である。
フラクタル次元算出部６は、その抽出された前方車外風景画像に対してフラクタル解析を実行し（ステップＳ２４）、その画像に対するフラクタル次元Ｆ０を算出する（ステップＳ２５）。

運転環境複雑度推定部７は、その算出されたフラクタル次元Ｆ０を、その車外風景画像を撮影した時点における運転環境の複雑度を表わす運転環境複雑度の瞬時推定値として推定する（ステップＳ２６）。さらに、運転環境複雑度推定部７は、その瞬時推定値であるフラクタル次元Ｆ０が所定値ＦＢ以上であるときに運転環境の複雑さが大きいと推定（判定）し（ステップＳ２７）、そのフラクタル次元Ｆ０が所定値ＦＳ以下であるときに運転環境の複雑さが小さいと推定し（ステップＳ２８）、そのフラクタル次元Ｆ０が所定値ＦＢと所定値ＦＳとの間に存在するときには、運転環境の複雑さが普通であると推定する。ここで、所定値ＦＢ、ＦＳは、ＦＢ＞ＦＳの関係にあるものとする。
以上のように、第１実施形態は、上記のような構成からなるので、車両の周囲情報の複雑さも加味した運転状況の推定が可能となる。

（第２実施形態）
この第２実施形態は、図１に示す第１実施形態の構成を基本とし、図１に示す運転環境複雑度推定部７を、図７に示すような推定動作を行う運転環境複雑度推定部に置き換えたものである。
すなわち、第２実施形態に係る運転環境複雑度推定部は、フラクタル次元算出部で算出されたフラクタル次元の値を、運転環境複雑さ瞬時推定値として推定するとともに、その瞬時推定値を時系列で順次推定し、かつ、所定の時間内に推定された複数の瞬時推定値の平均を求め、この求めた平均値を運転環境複雑さ推定値とするようにした。

次に、この第２実施形態に係る運転環境複雑度推定部の動作について、図７を参照して説明する。
この運転環境複雑度推定部は、図１に示す運転環境複雑度推定部７と同様に、フラクタル次元算出部６の算出したフラクタル次元Ｆ０を運転環境複雑さ瞬時推定値として算出する（ステップＳ３１）。そして、その算出した運転環境複雑さ瞬時推定値は、一定時間Ｔ１にわたって順に図示しないメモリに蓄積される（ステップＳ３２）。

次に、その一定時間Ｔ１に蓄積された運転環境複雑さ瞬時推定値の総和と総数とをそれぞれ算出する（ステップＳ３３）。次に、その算出した瞬時推定値の総和と総数に基づいて、一定時間Ｔ１における運転環境複雑さ瞬時推定値における平均値を算出し（ステップＳ３４）、その算出した平均値の大きさに基づいて運転者が受ける運転環境の複雑さ度合いを推定する（ステップＳ３５）。その後、メモリに蓄積した運転環境複雑さ瞬時推定値を消去して初期化する（ステップＳ３６）。
以上のように、第２実施形態は、上記のような構成からなるので、ノイズに強い安定した運転状況の推定が可能となる。

（第３実施形態）
この第３実施形態は、図１に示す第１実施形態の構成を基本とし、図１に示す運転環境複雑度推定部７を、図８に示すような推定動作を行う運転環境複雑度推定部に置き換えたものである。
すなわち、第３実施形態に係る運転環境複雑度推定部は、フラクタル次元算出部で算出されたフラクタル次元の値を運転環境複雑度の瞬時推定値として推定するとともに、その瞬時推定値を時系列で順次推定し、かつ、所定の時間内に推定された複数の瞬時推定値の中から最大値と最小値をそれぞれ求め、この求めた最大値と最小値との差を運転環境複雑度の変化推定値として算出し、さらに、その算出した最小値、最大値、および変化推定値に基づいて運転環境の複雑度の増減を推定するようにした。

次に、この第３実施形態に係る運転環境複雑度推定部の動作について、図８を参照して説明する。
この運転環境複雑度推定部は、図１に示す運転環境複雑度推定部７と同様に、フラクタル次元算出部６の算出したフラクタル次元Ｆ０を運転環境複雑さ瞬時推定値として算出する（ステップＳ４１）。そして、その算出した運転環境複雑さ瞬時推定値を一定時間Ｔ２にわたって図示しないメモリに順に蓄積させる（ステップＳ４２）。

次に、その一定時間Ｔ２に蓄積された複数の運転環境複雑さ瞬時推定値のうちから、その瞬時推定値の最大値と最小値とを抽出する（ステップＳ４３）。次に、その抽出した最大値と最小値との差を算出し、この算出した運転環境複雑度さ変化推定値とする（ステップＳ４４）。
さらに、その算出した運転環境複雑度さ変化推定値が所定値ＦＶ以上である場合に（ステップＳ４５）、その瞬時推定値の時系列の変化が最小値から最大値に向けて変化する場合には運転環境の複雑度が増加したと推定し、一方、その瞬時推定値の時系列の変化が最大値から最小値に向けて変化する場合には運転環境の複雑度が減少したと推定する（ステップＳ４６）。
以上のように、第３実施形態は、上記のような構成からなるので、運転者にとって影響の大きな環境変化に対応した運転状況の推定が可能となる。

（第４実施形態）
図９は、本発明の第４実施形態の構成を示すブロック図である。
この第４実施形態は、図９に示すように、車外風景撮像装置１〜４と、車外風景画像保存部５と、フラクタル次元算出部６と、運転環境複雑度推定部７と、フラクタル次元補正部１０と、を備えている。ここで、図９の各装置や各部は、特許請求の範囲の各装置や各部に対応する。

この第４実施形態は、図１に示す第１実施形態の構成を基本とし、フラクタル次元補正部１０を追加したものである。
すなわち、フラクタル次元補正部１０は、車外風景画像保存部５に保存された各車外風景画像の明度をそれぞれ算出し、その算出した各明度に応じて必要なときに、フラクタル次元算出部６で算出されたフラクタル次元を補正する。また、運転環境複雑度推定部７は、その補正されたフラクタル次元に基づき、車外風景画像の撮影時における運転環境の複雑度を推定する。

さらに詳述すると、フラクタル次元補正部１０は、車外風景画像保存部５に保存される各車外風景画像の明度を算出し、この算出した明度に基づいてほぼ同一の明るさ環境にある画像をグループ化して第１グループとし、その第１グループの画像については、フラクタル次元算出部６で求めたフラクタル次元を補正しないようにした。これにより、明度がほぼ同一グループの画像間については、その補正しないフラクタル次元同士を運転環境複雑度推定部７が比較できるようになる。
一方、その算出した明度に基づき、上記第１グループの他に、その第１グループとは明るさが異なる環境にある画像をグループ化した第２グループがある場合に、その第２グループの画像については、フラクタル次元算出部６で求めたフラクタル次元に対して、所定の数値を加算して補正を行うようにした。

次に、第４実施形態のフラクタル次元補正部８の具体的な動作例について、図９および図１０を参照して説明する。
フラクタル次元補正部１０は、車外風景画像保存部５に保存される各車外風景画像を取り込んで、その各車外風景画像の明るさ度合い（明度）を算出し（ステップＳ５１）、その算出した各明度を一定時間Ｔｇにわたって図示しないメモリに順に蓄積していく（ステップＳ５２）。そして、一定時間Ｔｇになると、その蓄積した明度の平均値を算出する（ステップＳ５３）。

次に、その平均値と予め定めてある基準となる数値（明度）を比較し、その差異を求める（ステップＳ５４）。そして、その差異がある場合には、予め定めてある数値を、その差異がある車外風景画像に対してフラクタル次元算出部６が算出したフラクタル次元の値に加算することにより（ステップＳ５５）、そのフラクタル次元を補正する。
以上のように、第４実施形態は、上記のような構成からなるので、太陽光などで撮影画像が明るくなるような場合による影響を抑制でき、より精度の高い運転状況の推定が可能となる。

（第５実施形態）
図１１は、本発明の第５実施形態の構成を示すブロック図である。
この第５実施形態は、図１１に示すように、車外風景撮像装置１〜４と、車外風景画像保存部５と、画像領域分割部１１と、領域別フラクタル次元算出部１２と、車外風景画像分割領域重み設定部１３と、領域別運転環境複雑度推定部１４と、運転環境複雑度推定部１５と、車両進行方向予測部１６と、速度センサ１７と、視線方向検出部１８と、選択スイッチ１９と、を備えている。ここで、図１１の各装置や各部は、特許請求の範囲の各装置や各部に対応する。

次に、第５実施形態の各部の具体的な構成について説明する。
車外風景撮像装置１〜４および車外風景画像保存部５は、図１に示す車外風景撮像装置１〜４および車外風景画像保存部５と同様に構成される。
画像領域分割部１１は、車両の走行中に、車外風景画像保存部５から１つの車外風景画像（例えば前方の風景画像）を取り出し、その取り出した画像に対してｎ個の領域に分割するものである。

領域別フラクタル次元算出部１２は、画像領域分割部１１で分割された各画像分割領域に対してフラクタル解析を行い、その各画像分割領域のフラクタル次元の値をそれぞれ算出するものである。
車外風景画像分割領域重み設定部１３は、車両進行方向予測部１６、速度センサ１７、および視線方向検出部１８のうちのいずれか１つの出力に基づき、画像領域分割部１１で分割された各画像分割領域の重みを設定するものである。

領域別運転環境複雑度推定部１４は、領域別フラクタル次元算出部１２で算出された各画像分割領域ごとのフラクタル次元の値と車外風景画像分割領域重み設定部１３で設定された対応する各画像分割領域の重みとを掛け合わせた数値を求め、この求めた各数値を、車外風景画像の撮影時における画像分割領域ごとにおける運転環境の複雑度と推定するものである。
運転環境複雑度推定部１５は、領域別運転環境複雑度推定部１４が推定した画像分割領域ごとにおける運転環境の複雑度に基づき、総合的または全体的な運転環境の複雑度を推定するものである。

車両進行方向予測部１６は、車両の進行方向を予測するものである。この車両進行方向予測部１６の具体例としては、ナビゲーションシステムの位置情報に基づいて車両の進行方向を推定するもの、車速や操舵角などの車両情報に基づいて車両の進行方向を推定するもの、あるいは車外風景画像保存部５に保存ざれる風景画像、特に前方の風景画像を解析することにより車両の進行方向を推定するものなどがある。

速度センサ１７は、車両の速度を検出するものである。視線方向検出部１８は、車両の運転者の視線方向を検出するものである。スイッチ１９は、車両進行方向予測部１６が予測する車両の進行方向、速度センサ１７の検出する車両の速度、および視線方向検出部１８が検出する運転者の視線方向のうちのいずれか１つを選択して車外風景画像分割領域重み設定部１３に供給するものである。

次に、このような構成からなる第５実施形態の全体の動作の概要について、図１１および図１２を参照して説明する。
車外風景撮像装置１〜４は、運転者が車両を運転中に、すなわち車両の走行中に車外の風景をそれぞれ撮影する（ステップＳ６１）。このように撮影された各車外風景画像は、車外風景画像保存部５に所定の順序で保存されていく（ステップＳ６２）。

その後、現在の車両の運転環境において、運転者がその運転環境の複雑さを感じる視覚環境が車外風景画像保存部５から抽出される。この抽出の指示は、例えば運転環境複雑度推定部１５が行い、例えば１枚の前方車外風景画像が車外風景画像保存部５から抽出される（ステップＳ６３）。
その抽出された車外風景画像は、画像領域分割部１１によりｎ個の分割領域Ｐ１〜Ｐｎ（例えば５つ）に分割される（ステップＳ６４）。その車外風景画像の分割方法の一例について、前方の風景画像の場合について図１３を用いて説明する。

この前方の風景画像では、図示のように車両が走行する道路を中心とする道路環境部Ｐ３、その道路に沿って設けられている建物や街路樹などで構成される周囲環境部とに大別し、さらにその周囲環境部を、左前方遠方周囲環境部Ｐ１、左前方近傍周囲環境部Ｐ２、右前方遠方周囲環境部Ｐ４、および右前方近傍周囲環境部Ｐ５にそれぞれ分割する。従って、前方の風景画像の場合には、図１３に示すように５つの画像領域に分割される。

その分割された各画像分割領域Ｐ１〜Ｐｎに対して、領域別フラクタル次元算出部１２はフラクタル解析を実行し（ステップＳ６５）、その各画像分割領域のフラクタル次元をそれぞれ算出する（ステップＳ６６）。
車両進行方向予測部１６、速度センサ１７、および視線方向検出部１８のうちのいずれか１つの出力に基づき、車外風景画像分割領域重み設定部１３は、画像領域分割部１１で分割された各分割領域Ｐ１〜Ｐｎの重みをそれぞれ設定する（ステップＳ６７）。

これは、その分割された前方の風景画像の各分割領域Ｐ１〜Ｐｎは、運転者が運転の際に感じる運転環境の複雑さの程度が異なると考えられるので、その程度に応じて、その各分割領域Ｐ１〜Ｐｎに重みを設定するためである。
領域別運転環境複雑度推定部１４は、その算出された各画像分割領域ごとのフラクタル次元の値と、その設定された対応する各画像分割領域の重みとを掛け合わせた数値を求め、この求めた各数値を、車外風景画像の撮影時における各画像分割領域ごとにおける運転環境の複雑度と推定する（ステップＳ６８）。
運転環境複雑度推定部１５は、その推定された画像分割領域ごとの運転環境の複雑度に基づき、総合的または全体的な運転環境の複雑度を推定する（ステップＳ６９）。

次に、車外風景画像分割領域重み設定部１３が行う、各分割領域に対する各重み設定の具体的な方法について、図１４〜図１７を参照して説明する。
図１４は、車外風景画像分割領域重み設定部１３が、車両進行方向予測部１６の車両方向の予測に基づき、重みを設定する場合である。
この場合には、車両進行方向予測部１６が、自己の車両の進行方向の予測を行う（ステップＳ７１）。この車両の進行方向の予測は、例えばナビゲーションシステムの位置情報、車速や操舵角などの車両情報、あるいは車外風景画像保存部５に保存される前方の風景画像の画像解析などに基づいて行う。

ここで、その車両の進行方向の予測に基づいて車両の進行方向の同定を行うために、図１５に示すような進行方向予測パターン対応重み付けデータベースが用意されている。そして、このデータベースには、車両の進行方向が、車両が直線走行中、車線変更直前、車線変更中、カーブに差し掛かる直前、カーブ走行中、あるいはカーブから直線に戻る場合などのいくつかのパターンに予めじめ分類されるとともに、後進の場合についてもいくつかのパターンに予め分類されている。

そこで、車外風景画像分割領域重み設定部１３は、上記の位置情報などに基づいて、その分類した中から車両の具体的な進行方向を同定する（ステップＳ７２）。
次に、車外風景画像分割領域重み設定部１３は、その同定された進行方向に基づき、進行方向予測パターン対応重み付けデータベースを参照し（ステップＳ７３）、各画像領域Ｐ１〜Ｐ５に対する重み付けを設定する（ステップＳ７４）。

図１６は、車外風景画像分割領域重み設定部１３が、速度センサ１７が検出する車両の速度に応じて、重みを設定する場合である。
この場合には、速度センサ１７が自己の車両の速度を検出する（ステップＳ８１）。次に、車外風景画像分割領域重み設定部１３は、画像領域分割部１１で分割されている画像領域について前方遠方領域と、それ以外の領域とを設定する（ステップＳ８２）。ここで、図１３を例にすると、前方遠方領域は同図における領域Ｐ１、Ｐ４とし、同図のＰ１、Ｐ４以外の領域をそれ以外の領域とする。

次に、車外風景画像分割領域重み設定部１３は、その検出された車両速度に応じて、その設定された前方遠方領域とそれ以外の領域に対する各重みを、対応表（テーブル）を参照して抽出する（ステップＳ８３）。さらに、その抽出した各重みを、各画像領域Ｐ１〜Ｐ５に対する重みとして設定する（ステップＳ８４）。このとき、前方遠方領域についての重みを他の領域の重みに対して相対的に大きくする。

図１７は、車外風景画像分割領域重み設定部１３が、視線方向検出部１８が検出する運転者の視線方向に応じて、重みを設定する場合である。
この場合には、視線方向検出部１８が運転者の視線方向を検出する（ステップＳ９１）。次に、車外風景画像分割領域重み設定部１３は、一定時間Ｔｃの間に、各画像領域Ｐ１〜Ｐｎに対する一定時間停留した視線、すなわち固視点の頻度分布または累積注視時間をを算出する（ステップＳ９２）。

そして、車外風景画像分割領域重み設定部１３は、その算出された固視点の頻度分布または累積注視時間に基づき、各画像領域Ｐ１〜Ｐｎごとの固視点頻度分布の比率、または各画像領域Ｐ１〜Ｐｎごとの累積注視時間の比率をそれぞれ算出する（ステップＳ９３）。次に、各画像領域Ｐ１〜Ｐｎに基準の重み１を与え、その求めた固視点頻度分布の比率または累積注視時間を比率に基づき、例えば総加算点を５点とすると、５点の比率分、例えば８０％ならば、５点の８０％である４点をその分割領域の重みとして加算し、１＋４＝５点の重み付けを設定する（ステップＳ９４）。

以上のように、第５実施形態は、上記の構成からなるので、運転者にとって影響を受け易い車両の周囲情報の複雑さを考慮した運転状況の推定が可能となる。
また、車外風景画像分割領域重み設定部１３が、車両進行方向予測部１６の予測に応じて重みを設定する場合には、カーブ走行などのように周囲環境の影響が異なる状況に対しても、より精度の高い運転状況の推定が可能となる。

また、車外風景画像分割領域重み設定部１３が、速度センサ１７が検出する車両の速度に応じて重みを設定する場合には、高速走行または低速走行などによって車両の周囲環境の影響が異なる状況に対し、より精度の高い運転状況の推定が可能となる。
さらに、車外風景画像分割領域重み設定部１３が、視線方向検出部１８が検出する運転者の視線方向に応じて重みを設定する場合には、実際の運転者の視線方向を加味した車両の周囲環境の重み付けを行うことができるようになり、より精度の高い運転状況の推定が可能となる。

（その他の実施形態）
上記の第５実施形態では、領域別運転環境複雑度推定部１４が、その算出された各画像分割領域ごとのフラクタル次元の値と、その設定された対応する各画像分割領域の重みとを掛け合わせた数値を求め、この求めた各数値を、車外風景画像の撮影時における各画像分割領域ごとにおける運転環境の複雑度と推定するようにした。

しかし、領域別運転環境複雑度推定部１４は、上記のように各画像分割領域ごとにおける運転環境の複雑度と推定するとともに、その各画像分割領域ごとにおける各数値を時系列で順次推定し、かつ、所定の時間内に推定された各画像分割領域ごとにおける各数値の平均を求め、この求めた各平均値を各画像分割領域ごとの運転環境複雑さ推定値とするようにしても良い。

さらに、領域別運転環境複雑度推定部１４は、上記のように各画像分割領域ごとにおける運転環境の複雑度と推定するとともに、各画像分割領域ごとにおける各数値を時系列で順次推定し、かつ、所定の時間内に推定された各画像分割領域ごとにおける複数の数値の中から最大値と最小値をそれぞれ求め、この求めた最大値と最小値との差を各画像分割領域ごとにおける運転環境複雑度の変化推定値としてそれぞれ算出する。さらに、その算出した画像分割領域ごとにおける運転環境複雑度の変化推定値が各所定値以上であって、その瞬時推定値の時系列の変化が最小値から最大値に向けて変化する場合には、その画像分割領域については運転環境の複雑度が増加したと推定し、一方、その変化が最大値から最小値に向けて変化する場合には、その画像分割領域については運転環境の複雑度が減少したと推定するようにしても良い。

本発明の第１実施形態の構成を示すブロック図である。 車外風景撮像装置の配置構成例を説明する図である。 車外風景画像保存部における画像データの保存形式を示す図である。 車外風景画像保存部の動作を説明するフローチャートである。 フラクタル次元算出部の動作を説明するフローチャートである。 第１実施形態の全体の動作を説明するフローチャートである。 本発明の第２実施形態における運転環境複雑度推定部の動作を説明するフローチャートである。 本発明の第３実施形態における運転環境複雑度推定部の動作を説明するフローチャートである。 本発明の第４実施形態の構成を示すブロック図である。 フラクタル次元補正部の動作を説明するフローチャートである。 本発明の第５実施形態の構成を示すブロック図である。 第５実施形態の全体の動作を説明するフローチャートである。 車外風景画像の分割例を説明する図である。 車外風景画像分割領域重み設定部の第１の設定例を説明するフローチャートである。 進行方向予測パターン対応重み付けデータベースの一例を示す図である。 車外風景画像分割領域重み設定部の第２の設定例を説明するフローチャートである。 車外風景画像分割領域重み設定部の第３の設定例を説明するフローチャートである。

符号の説明

１〜４ 車外風景撮像装置
５ 車外風景画像保存部
６ フラクタル次元算出部
７ 運転環境複雑度推定部
１０ フラクタル次元補正部
１１ 画像領域分割部
１２ 領域別フラクタル次元算出部
１３ 車外風景画像分割領域重み設定部
１４ 領域別運転環境複雑度推定部
１５ 運転環境複雑度推定部
１６ 車両進行方向予測部
１７ 速度センサ
１８ 視線方向検出部

Claims (12)

1. 車両に配置されてその車両の運転中に車外の風景を撮像する車外風景撮像装置と、
   前記車外風景撮像装置で撮像された車外風景画像を保存する車外風景画像保存部と、
   前記車外風景画像保存部に保存された少なくとも１つの車外風景画像に対してフラクタル解析を行い、そのフラクタル次元を算出するフラクタル次元算出部と、
   前記フラクタル次元算出部で算出されたフラクタル次元の大きさに基づき、その車外風景画像の撮影時における運転環境の複雑度を推定する運転環境複雑度推定部と、
   を備えることを特徴とする運転状況推定装置。
2. 前記運転環境複雑度推定部は、
   前記フラクタル次元算出部で算出されたフラクタル次元の値を、その車外風景画像を撮影した時点における運転環境の複雑度を表わす運転環境複雑度の瞬時推定値として推定するようにし、
   その推定した瞬時推定値が第１の所定値以上の場合には運転環境の複雑さが大きいと推定し、その瞬時推定値が前記第１の所定値よりも小さな第２の所定値以下の場合には運転環境の複雑さが小さいと推定するようになっていることを特徴とする請求項１に記載の運転状況推定装置。
3. 前記運転環境複雑度推定部は、
   前記フラクタル次元算出部で算出されたフラクタル次元の値を、その車外風景画像を撮影した時点における運転環境の複雑度を表わす運転環境複雑度の瞬時推定値として推定するとともに、その瞬時推定値を時系列で順次推定し、
   かつ、所定の時間内に推定された複数の瞬時推定値の平均を求め、この求めた平均値を運転環境複雑度の推定値とすることを特徴とする請求項１に記載の運転状況推定装置。
4. 前記運転環境複雑度推定部は、
   前記フラクタル次元算出部で算出されたフラクタル次元の値を、その車外風景画像を撮影した時点における運転環境の複雑度を表わす運転環境複雑度の瞬時推定値として推定するとともに、その瞬時推定値を時系列で順次推定し、
   かつ、所定の時間内に推定された複数の瞬時推定値の中から最大値と最小値をそれぞれ求め、この求めた最大値と最小値との差を運転環境複雑度の変化推定値として算出し、
   さらに、その算出した変化推定値が所定値以上であって、その瞬時推定値の時系列の変化が最小値から最大値に向けて変化する場合には運転環境の複雑度が増加したと推定し、一方、その変化が最大値から最小値に向けて変化する場合には運転環境の複雑度が減少したと推定することを特徴とする請求項１に記載の運転状況推定装置。
5. 前記車外風景画像保存部に保存された各車外風景画像の明度をそれぞれ算出し、その算出した各明度に応じて必要なときに、前記フラクタル次元算出部で算出されたフラクタル次元を補正するフラクタル次元補正部をさらに備え、
   前記運転環境複雑度推定部は、前記補正されたフラクタル次元に基づき、車外風景画像の撮影時における運転環境の複雑度を推定するようになっていることを特徴とする請求項１に記載の運転状況推定装置。
6. 車両に配置されてその車両の運転中に車外の風景を撮像する車外風景撮像装置と、
   前記車外風景撮像装置で撮像された車外風景画像を保存する車外風景画像保存部と、
   前記車外風景画像保存部から取り出した１つの車外風景画像を複数の領域に分割する画像領域分割部と、
   前記画像領域分割部で分割された各画像分割領域に対してフラクタル解析を行い、そのフラクタル次元をそれぞれ算出するフラクタル次元算出部と、
   前記画像領域分割部で分割された各画像分割領域の重みを設定する画像分割領域重み設定部と、
   前記フラクタル次元算出部で算出された各画像分割領域ごとのフラクタル次元の値と前記画像分割重み設定部で設定された対応する各画像分割領域の重みとを掛け合わせた数値を求め、この求めた各数値を、車外風景画像の撮影時における画像分割領域ごとにおける運転環境の複雑度と推定する領域別運転環境複雑度推定部と、
   を備えることを特徴とする運転状況推定装置。
7. 前記領域別運転環境複雑度推定部は、
   前記フラクタル次元算出部で算出された各画像分割領域ごとのフラクタル次元の値と前記画像分割重み設定部で設定された対応する各画像分割領域の重みとを掛け合わせた数値を求め、この求めた各数値を、車外風景画像の撮影時における画像分割領域ごとにおける運転環境の複雑度と推定するとともに、
   その画像分割領域ごとにおける各数値を時系列で順次推定し、
   かつ、所定の時間内に推定された画像分割領域ごとにおける各数値の平均を求め、この求めた各平均値を画像分割領域ごとの運転環境複雑度の推定値とすることを特徴とする請求項６に記載の運転状況推定装置。
8. 前記領域別運転環境複雑度推定部は、
   前記フラクタル次元算出部で算出された各画像分割領域ごとのフラクタル次元の値と前記画像分割重み設定部で設定された対応する各画像分割領域の重みとを掛け合わせた数値を求め、この求めた各数値を、車外風景画像の撮影時における画像分割領域ごとにおける運転環境の複雑度と推定するとともに、
   その画像分割領域ごとにおける各数値を時系列で順次推定し、
   かつ、所定の時間内に推定された画像分割領域ごとにおける各数値の中から最大値と最小値をそれぞれ求め、この求めた最大値と最小値との差を画像分割領域ごとにおける運転環境複雑度の変化推定値としてそれぞれ算出し、
   さらに、その算出した画像分割領域ごとにおける運転環境複雑度の変化推定値が所定値以上であって、その瞬時推定値の時系列の変化が最小値から最大値に向けて変化する場合にはその画像分割領域については運転環境の複雑度が増加したと推定し、一方、その変化が最大値から最小値に向けて変化する場合にはその画像分割領域については運転環境の複雑度が減少したと推定することを特徴とする請求項７に記載の運転状況推定装置。
9. 車両の進行方向を予測する車両進行方向予測部をさらに備え、
   前記画像分割領域重み設定部は、前記車両進行方向予測部で予測された進行方向に応じて前記画像領域分割部で分割された各画像分割領域の重みを設定することを特徴とする請求項６乃至請求項８のうちのいずれかに記載の運転状況推定装置。
10. 車両の速度を検出する速度センサをさらに備え、
    前記画像分割領域重み設定部は、前記速度センサで検出された速度に応じて前記画像領域分割部で分割された各画像分割領域の重みを設定することを特徴とする請求項６乃至請求項８のうちのいずれかに記載の運転状況推定装置。
11. 前記画像分割領域重み設定部は、前記速度センサで検出された速度が所定値以上の場合に、前記画像領域分割部で分割された画像分割領域のうち、車外の前方を撮影した画像分割領域について遠方になるほど相対的に重みを大きく設定することを特徴とする請求項１０に記載の運転状況推定装置。
12. 運転者の視線方向を検出する視線方向検出部をさらに備え、
    前記画像分割領域重み設定部は、前記視線方向検出部で検出された視線方向に応じて前記画像領域分割部で分割された各画像分割領域の重みを設定することを特徴とする請求項６乃至請求項８のうちのいずれかに記載の運転状況推定装置。

Images