JP2010033321A - 画像処理アルゴリズムの評価システム - Google Patents

Abstract

【課題】画像処理することにより移動体の状況を判断する画像処理アルゴリズムのロバスト性を、短時間で確実に評価する。
【解決手段】実写画像データベース５０には、車載のノーズビューカメラにより撮影した多数の画像データＳが蓄積されている。実写画像データベース５０から出力された１つの画像データＳには、天候外乱シミュレータ５１により各種の天候外乱を示す画像が重畳され、基本外乱シミュレータ５２によりカメラの各種外乱である基本外乱を示す画像が重畳される。画像処理装置３に設定された画像処理アルゴリズムは、天候外乱と基本外乱が重畳された画像データＳを画像処理して、移動体がカメラ設置位置に到着するまでの時間である接近交差時間Ｔを求める。各種外乱を含む多数の画像データＳと接近交差時間Ｔとを比較判断することにより、画像処理アルゴリズムのロバスト性を精度良く評価する。
【選択図】図１

Description

本発明は画像処理アルゴリズムの評価システムに関し、画像処理アルゴリズムのロバスト性がどの程度あるのかを、容易かつ系統的・定量的に評価することができるように工夫したものである。

自動車を運転して、見通しの悪い交差点で頭出しをする場合には、交差する道路の左右の安全を確認することが困難であることがある。
そこで、自動車のフロントバンパーの左右に、それぞれノーズビューカメラを搭載し、ノーズビューカメラで撮影した左右の画像を、車室内のモニタに映し出して安全確認をする車載画像システムが、自動車に搭載されるようになってきた。

この車載画像システムの概要を、道路の交差点を上方から示す図２を参照して説明する。同図に示すように、自動車１の前部（例えばフロントバンパー）の左右に、それぞれ、ノーズビューカメラ２ａ，２ｂを備えている。

右側のノーズビューカメラ２ａの視野は、交差する道路の右側（図２において視野α）であり、この視野αに入る移動体（例えば自動車１０や自転車や歩行者など）を撮影する。左側のノーズビューカメラ２ｂの視野は、交差する道路の左側（図２において視野β）であり、この視野βに入る移動体（例えば自動車１１や自転車や歩行者など）を撮影する。
なお、自動車１を運転している運転者の視野は、図２において視野γである。

右側のノーズビューカメラ２ａで撮影した視野αの範囲の右側の動画の画像データと、左側のノーズビューカメラ２ｂで撮影した視野βの範囲の左側の動画の画像データは、自動車１の車室内に配置した１台のモニタに送られる。
このモニタは、運転席に座った運転者が視認できる位置に配置されており、モニタの画面の右側半分に右側画像が映し出され、モニタの画面の左側半分に左側画像が映し出される。つまり、１つのモニタに、右側画像と左側画像が左右に分かれて同時に映し出される。

このため運転者は、モニタ画面を見ることにより、視野α，βに存在する（即ち運転者の死角に入っている）移動体を確認することができ、安全確認ができる。

最近では、交差点事故の更なる低減を目指して、上記のノーズビューカメラ２ａ、２ｂにより撮影した画像データを画像処理して、運転者に情報提供をする「車載ノーズビューカメラによる移動体検出システム」が開発されている。

このシステムでは、ノーズビューカメラ２ａ、２ｂにより撮影した画像データを画像処理することにより、接近してくる移動体を検出して移動体がカメラ設置位置に到着する時点を予測し、移動体がカメラ設置位置に到着すると予測した時点からみて所定時間前（例えば２秒前）になると、移動体が接近していることを運転者に対して適切に情報提供（警告）をする。

なお、移動体がカメラ設置位置に到着するまでの時間を、「接近交差時間」と定義している。
「接近交差時間」について、道路の交差点を上方から示す図３を用いて更に説明すると、ノーズビューカメラ２ａ、２ｂを含む「車載ノーズビューカメラによる移動体検出システム」を搭載した自動車１に対して、移動体である自動車１０が右側カメラ２ａのカメラ位置（図３ではラインＡで示した位置）を横切るまでの時間を、この移動体（自動車１０）の接近交差時間（ＴＴＲ：Time To Crossing）といい、移動体である自動車１１が左側カメラ２ｂのカメラ位置（図３ではラインＢで示した位置）を横切るまでの時間を、この移動体（自動車１１）の接近交差時間（ＴＴＲ：Time To Crossing）という。

次に「車載ノーズビューカメラによる移動体検出システム」の概要を図４を参照して説明する。
図４において、ノーズビューカメラ２ａ，２ｂにより撮影して得た画像データＳは、車載の画像処理装置３に送られる。画像処理装置３には画像処理アルゴリズムが設定されている。

画像処理装置３は、画像処理アルゴリズムにより、次のような手順により画像処理をする。
（１）画像データＳの各画像における移動体の特徴点を抽出する。
（２）各画像の特徴点を追跡する。
（３）追跡した一連の特徴点のうち、ノイズ除去フィルタにより画面の中央方向に接近するもののみを選択する。
つまり、ノイズ除去フィルタにより、雨や雪などの天気による外乱画像を除去している。
（３）選択した特徴点を三次元復元して、接近交差時間を所定の演算周期（例えば１００ｍｓ）毎に算出する。

画像処理アルゴリズムには多数のパラメータが含まれており、パラメータを変更することにより、画像処理アルゴリズムの調整・修正ができるようになっている。

図５（ａ），（ｂ）は、演算により求めた接近交差時間の一例を示す。
なお、図５（ａ），（ｂ）において、縦軸は接近交差時間（秒）、横軸は時刻（秒）であり、点線は理論値を示し、実線は画像処理装置３により求めた接近交差時間である。
図５（ａ），（ｂ）においては、横軸の時刻が６秒のときに、移動体がカメラ設置位置に到達する状態を示している。

図５（ａ）に実線で示す接近交差時間は、晴天時に、一定の車速で移動体が接近してきたときの画像を画像処理アルゴリズムにより処理して得たものである。この例では、時刻が６秒の時点からみて、３．５秒前から移動体を検出して接近交差時間を算出することができている。
図５（ｂ）に実線で示す接近交差時間は、降雪時に、一定の車速で移動体が接近してきたときの画像を画像処理アルゴリズムにより処理して得たものである。この例では、時刻が６秒の時点からみて、２．５秒前から移動体を検出して接近交差時間を算出することができている。

このようにして接近交差時間を求め、この接近交差時間が２秒になったら、移動体が接近していることを運転者に対して適切に情報提供（警告）をするようにしている。

特開２００８−０７７６２１ 前村高広ほか，車載ノーズビューカメラによる移動物体検出システム，自動車技術会春季学術講演会予稿集，Ｎｏ．５６−０７（２００７） 上南恵資ほか，車載ノーズビューカメラによる移動物体検出システム（第２報），自動車技術会秋季学術講演会予稿集，Ｎｏ．１００−０７（２００７）

上述した移動体検出システムでは、降雨や降雪などの天候の違い（環境外乱）があっても、一定の性能が維持できる性能（ロバスト性）が求められている。

そこで従来では、移動体検出システムの画像処理装置３に設定した画像処理アルゴリズムのロバスト性を検証するために、天候や移動体の種類や移動速度が異なる各種の実環境下で大量の撮影をし、この大量の画像データを順に画像処理装置３に送り、一定の性能が発揮できているか否かを、各画像データ毎に検証していた。
つまり、実環境下で撮影した画像データを画像処理したときに、接近交差時間の検出開始時刻のバラツキや、接近交差時間の検出精度などについて検証していた。

そして、特定の画像データを画像処理装置３に送ったときに、ロバスト性が維持できない場合には、画像処理アルゴリズムのパラメータの変更等を行って、ロバスト性を向上させるように画像処理アルゴリズムの修正・調整を行っていた。

しかし、上述した移動体検出システムが実際に使用される実環境下でのあらゆる外乱を含む画像を取得するのは、現実的には困難である。
例えば、天候だけを考えても、「雪，雨，霧」といった環境での画像を取得するには、それぞれ実際にこのような天候が発生するのを待たなければならなかった。
更に、雪だけを考えても、雪の量や風の影響など、様々な要因によって画像の見かけが変わるため、単に雪の環境での１シーン画像を取得すれば十分というわけではない。

しかも、大量の画像データを取得したとしても、撮影した画像データは、多様な実環境を基準にすれば、実際の環境のうちの一部の環境状況を示すものでしかなく、実際の多様な実環境において、ロバスト性があるか否か精度の高い検証をすることができなかった。
このため、従来の手法では、検証できなかった環境下でのロバスト性があるか否かを判定することができなかった。

また実環境で撮影した画像は、各環境条件において自然環境に応じて変化していくため、再現性がなく定量評価をすることが困難であった。
例えば、降雨の環境下であったときに、風の影響で雨滴の落下方向が変化していったときや、降水量が少量から大量に段階的に変化していったときに、雨滴落下方向の変化や降水量の変化に応じてロバスト性がどのように変化していくかを定量的に評価することが困難であった。

また例えば、雨滴の落下方向の変化や降水量の多少にかかわらずロバスト性を平均的に向上させるためには、どのパラメータをどの程度変更すればよいかということを定量的に判定することも困難であった。
従来の手法では、実環境で撮影した画像を処理したときに得た接近交差時間の特性を、設計者が検討・判断して、いわば試行錯誤的に、特定のパラメータの値を変更して、ロバスト性を向上させようとしていた。しかも、変更するパラメータの特定や、パラメータの変更量は、設計者の知識や経験や推測により決定していた。

このため、ロバスト性を向上させようとしても、大量の画像データと、長時間の試験時間が必要であり、しかも、大量の画像データを用いて長時間の検証をしたとしても、多様な実環境で実際に使用されたときにロバスト性があるかどうかの見込みや確信を得ることができなかった。
したがって、実運用の時点で初めて遭遇する外乱があったときに、所定の性能を発揮できない恐れがあった。

また従来では、カメラや電子回路により生じる外乱（基本外乱）に対して、ロバスト性を向上させるような手法や工夫がされていなかった。

本発明は、上記従来技術に鑑み、系統的で定量的に、環境外乱や基本外乱に対する画像処理アルゴリズムのロバスト性の検証ができる、画像処理アルゴリズムの評価システムを提供することを目的とする。

上記課題を解決する本発明の構成は、カメラにより撮影して得た画像データを画像処理することにより、状況を判断する画像処理アルゴリズムの性能を評価する評価システムであって、
各種の天候状態を表す天候外乱を示す画像を、コンピュータグラフィックス用ソフトウエアにより生成し、生成した各種の天候外乱を示す画像を、前記画像データに重畳する天候外乱シミュレータと、
前記カメラで発生する各種の基本外乱を示す画像をコンピュータグラフィックス用ソフトウエアにより生成し、生成した各種の基本外乱を示す画像を前記画像データに重畳する基本外乱シミュレータと、
前記画像処理アルゴリズムが設定されており、天候外乱を示す画像と基本外乱を示す画像の少なくとも一方が重畳された前記画像データを前記画像処理アルゴリズムにより画像処理して、状況を判断する画像処理装置とを有することを特徴とする。

また本発明の構成は、屋外でカメラにより撮影して得た動画の画像データを画像処理することにより、移動体が前記カメラの設置位置に到着するまでの時間である接近交差時間を求める画像処理アルゴリズムの性能を評価する評価システムであって、
各種の天候状態を表す天候外乱を示す画像を、コンピュータグラフィックス用ソフトウエアにより生成し、生成した各種の天候外乱を示す画像を、前記画像データに重畳する天候外乱シミュレータと、
前記カメラで発生する各種の基本外乱を示す画像をコンピュータグラフィックス用ソフトウエアにより生成し、生成した各種の基本外乱を示す画像を前記画像データに重畳する基本外乱シミュレータと、
前記画像処理アルゴリズムが設定されており、天候外乱を示す画像と基本外乱を示す画像が重畳された前記画像データを前記画像処理アルゴリズムにより画像処理して、接近交差時間を求める画像処理装置とを有することを特徴とする。

また本発明の構成は、前記の画像処理アルゴリズムの評価システムにおいて、
前記画像処理装置により求められた状況判断データを記録する記録手段と、
前記画像処理装置に設定された前記画像処理アルゴリズムのパラメータを変更するパラメータ変更部とを有することを特徴とする。

また本発明の構成は、前記の画像処理アルゴリズムの評価システムにおいて、
前記カメラは、自動車の前部に備えられて、自動車の右側や左側の視野範囲を撮影するものであることを特徴とする。

本発明では、カメラにより撮影して得た画像データに対して、各種の天候外乱と各種の基本外乱を重畳することができるので、カメラにより撮影して得た画像データを基に、天候外乱と基本外乱が異なる多数の画像データを生成することができる。
このため、カメラにより撮影した得た画像データの数が限定されていても、天候外乱と基本外乱が異なる多数の画像データを基に、画像処理アルゴリズムのロバスト性の評価をすることができ、評価の精度が向上する。

また天候外乱と基本外乱を、それぞれ系統的に変化させることができるので、外乱を系統的に変化させたときの画像処理アルゴリズムのロバスト性の評価を定量的に判定することができる。
このように系統的に外乱を変化させたときの画像処理アルゴリズムのロバスト性を定量的に評価できるので、ロバスト性を向上させるために、画像処理アルゴリズムのどのパラメータをどの程度変化させればよいかの予測や判断を容易に行うことができ、よりロバスト性の高い画像処理アルゴリズムを短時間で容易に構築することが可能となる。

以下に本発明を実施するための最良の形態を実施例に基づき詳細に説明する。

図１は本発明の実施例に係る画像処理アルゴリズムの評価システムを示すブロック構成図である。

図１に示す画像処理装置３は、前述した「車載ノーズカメラによる移動体検出システム」に使用されるのと同じ画像処理装置である。この画像処理装置３には、画像データＳを画像処理して接近交差時間（状況判断データ）Ｔを求める画像処理アルゴリズムが設定されている。

実写画像データベース５０には、前述したノーズビューカメラ２ａ，２ｂにより、各種の実環境下で撮影をして得た多数の動画の画像データＳが記録・蓄積されている。この実写画像データベース５０からは、蓄積した多数の画像データのうちから選択した特定の１つの画像データＳが出力される。出力された画像データＳは、伝送ラインＬを介して画像処理装置３に送られるようになっている。

伝送ラインＬには、天候外乱シミュレータ５１と基本外乱シミュレータ５２が介装されている。

天候外乱シミュレータ５１は、コンピュータグラフィックス用ソフトウエアにより生成した各種の天候外乱を示す画像を、画像データＳに重畳する。
天候外乱を示す画像としては、降雨状態を示す画像や、降雪状態を示す画像や、霧発生状態を示す画像を生成することができる。
降雨状態を示す画像においては、雨の量や、雨の降る角度や、雨粒の反射率などを設定できるようになっている。降雪状態を示す画像では、雪の量や、雪の降る角度や、雪粒の反射率などを設定できるようになっている。霧発生状態を示す画像では、霧の濃さや、霧の流れる角度などを設定できるようになっている。

このため天候外乱シミュレータ５１は、実写画像がカメラに入力されるまでに発生する天候外乱を、画像データＳに模擬的に付加することができる。

基本外乱シミュレータ５２は、コンピュータグラフィックス用ソフトウエアにより生成した各種の基本外乱を示す画像を、画像データＳに重畳する。
基本外乱とは、カメラ内部で発生する外乱であり、カメラの内部のレンズや、撮像素子の特性や電子回路で発生する外乱である。
基本外乱シミュレータ５２では、これらの基本外乱を模擬するため、画像データＳに対して、コントラスト変化や、ガウシアンノイズ付加や、ゴマ塩ノイズ付加や、ガンマ値変化や、色温度変化や、歪み付加や、画像ぼけ付加や、変形付加を行って、基本外乱を示す画像を重畳している。

このため基本外乱シミュレータ５２は、カメラで発生する基本外乱を、画像データＳに模式的に付加することができる。

実写画像データベース５０から出力された画像データＳには、天候外乱シミュレータ５１により天候外乱を示す画像が重畳され、更に基本外乱シミュレータ５２により基本外乱を示す画像が重畳される。
このため、画像処理装置３には、天候外乱を示す画像と基本外乱を示す画像が重畳された画像データＳが入力される。
なお、天候外乱と基本外乱の両方を画像データＳに重畳するのが基本であるが、天候外乱と基本外乱の一方のみを画像データＳに重畳することもできる。

画像処理装置３は、天候外乱を示す画像と基本外乱を示す画像の双方、または一方が重畳された画像データＳを、画像処理アルゴリズムにより画像処理して接近交差時間（状況判断データ）Ｔを求める。画像処理装置３により求められた接近交差時間（状況判断データ）Ｔは処理データ記録部５３に送られて記録される。
処理データ記録部５３に記録された接近交差時間（状況判断データ）Ｔは、表示部５４にて、モニタに表示されたりプリントアウトされる。

パラメータ変更部５５は、画像処理装置３に設定した画像処理アルゴリズムのパラメータを変更することができる。パラメータを変更することにより、画像処理アルゴリズムの調整・修正ができる。

図１に示す画像処理アルゴリズムの評価システムでは、実写画像データベース５０から出力する特定の画像データＳに対して、天候外乱シミュレータ５１により各種の天候外乱を重畳することができると共に、基本外乱シミュレータ５２により各種の基本外乱を重畳することができるため、特定の１つの画像データＳに対して、天候外乱と基本外乱が異なる多数の画像データＳを生成することができる。
このように天候外乱と基本外乱が異なる多数の画像データＳを画像処理装置３により処理することにより、天候外乱と基本外乱が異なる多数の画像データＳにおける多数の接近交差時間Ｔを求めることができる。

しかも、実写画像データベース５０から出力する特定の画像データＳを別の画像データＳに変更することにより、この別の画像データＳに対しても、天候外乱と基本外乱が異なる多数の画像データＳを生成することができ、この天候外乱と基本外乱が異なる多数の別の画像データＳを画像処理装置３により処理して、天候外乱と基本外乱が異なる多数の画像データＳにおける多数の接近交差時間Ｔを求めることができる。

結局、実写画像データベース５０に記録・蓄積した画像データＳの数と、天候外乱シミュレータレータ５１により付与することができる天候外乱の種類の数と、基本外乱シミュレータ５２により付与することができる基本外乱の種類の数を乗算した数の、異なる種類の画像データＳを生成して、接近交差時間Ｔを求めることができる。

したがって、実写画像データベース５０に記録・蓄積した画像データＳが、基本的なシーン（光景）を撮影したものだけであっても、この基本的なシーンに対して天候変更があったときの多数のシーンや、カメラ等に取り付け誤差等が発生したときの多数のシーンを生成することができ、各種の外乱発生状態での接近交差時間Ｔを求めることができる。

この結果、実写画像データベース５０に記録・蓄積する画像データＳの数が限定されていても、実写画像データベース５０に記録・蓄積した画像データ数に対して、極めて多数のシーンでの接近交差時間Ｔを求めることができる。
このように大量の接近交差時間Ｔを求めることができるので、画像処理装置３に設定された画像処理アルゴリズムのロバスト性をより精度高く検証することができる。

また、実際に撮影して得なければならない画像データＳは、基本的なシーン（例えば晴れた日のシーン）を撮影したものだけですむため、実際に撮影して画像データを取得するのが容易になると共に、取得する画像データの数を、必要最小限にすることができる。

更に、天候外乱と基本外乱を、系統的に変化させていくことにより、画像処理アルゴリズムのロバスト性を定量的に評価することができる。

例えば、天候外乱シミュレータ５１により画像データＳに降雨状態を示す画像を重畳した場合、雨の量を少量から大量まで段階的に変化させていけば、雨量が異なる降雨状態を示す画像が重畳された各画像データＳ毎の接近交差時間Ｔを求めることができる。
このようにすれば、降雨量の変化により接近交差時間Ｔがどのように変化していくのかを検証することができ、降雨量の変化に応じた画像処理アルゴリズムのロバスト性を系統的且つ定量的に検証することができる。

例えば、降雨量が増加していくことにより、接近交差時間の開始時刻や接近交差時間の精度がどのように変化していくのかを検証することができる。

他の外乱についても、同様にして、他の外乱が系統的に変化したときの、画像処理アルゴリズムのロバスト性を定量的に評価することができる。

このように、外乱が系統的に変化したときに、接近交差時間の開始時刻や接近交差時間の精度がどのように変化していくのかを検証して、画像処理アルゴリズムのロバスト性を定量的に評価することができるため、画像処理アルゴリズムのロバスト性を更に向上させるために、どのようなパラメータをどの程度変更すればよいかを、明確に検出または予測できる。

したがって、パラメータ変更部５５により、ロバスト性を更に向上させると検出または予測されたパラメータを変更して、画像処理アルゴリズムの修正・調整をすることができる。

そして、パラメータ変更後において、再び外乱を系統的に変化させていって、接近交差時間の開始時刻や接近交差時間の精度がどのように変化していくのかを検証することにより、変更したパラメータの種類やパラメータの変更量が適切であったか否かを、正確に確認することができる。

このようにパラメータの変更、変更後の検証を繰り返すことにより、確実に画像処理アルゴリズムのロバスト性を、各外乱毎に向上させることができる。

かくして、本実施例によれば、画像処理アルゴリズムのロバスト性を精度良く検出することができる。
また、ロバスト性を向上させるために寄与するパラメータの選定と、選定したパラメータ値の変更を的確に行うことができ、これによりロバスト性を向上させるように画像処理アルゴリズムのパラメータを系統的かつ定量的に調整・修正することができる。

本発明は、「車載ノーズビューカメラによる移動体検出システム」に使用される画像処理装置用の画像処理アルゴリズムに限らず、画像データを処理して特定の処理結果（状況判断データ）を求める画像処理アルゴリズムの評価をする場合にも適用することができる。

本発明の実施例を示すシステム構成図。 車載画像処理システムを示す説明図。 接近交差時間を説明するための説明図。 車載ノーズビューカメラによる移動体検出システムを示す構成図。 接近交差時間の一例を示す特性図。

符号の説明

１ 自動車
２ａ，２ｂ ノーズビューカメラ
３ 画像処理装置
１０，１１ 自動車（移動体）
５０ 実写画像データベース
５１ 天候外乱シミュレータ
５２ 基本外乱シミュレータ
５３ 処理データ記録部
５４ 表示部
５５ パラメータ変更部
Ｓ 画像データ
Ｔ 接近交差時間
Ｌ 伝送ライン

Claims (4)

1. カメラにより撮影して得た画像データを画像処理することにより、状況を判断する画像処理アルゴリズムの性能を評価する評価システムであって、
   各種の天候状態を表す天候外乱を示す画像を、コンピュータグラフィックス用ソフトウエアにより生成し、生成した各種の天候外乱を示す画像を、前記画像データに重畳する天候外乱シミュレータと、
   前記カメラで発生する各種の基本外乱を示す画像をコンピュータグラフィックス用ソフトウエアにより生成し、生成した各種の基本外乱を示す画像を前記画像データに重畳する基本外乱シミュレータと、
   前記画像処理アルゴリズムが設定されており、天候外乱を示す画像と基本外乱を示す画像の少なくとも一方が重畳された前記画像データを前記画像処理アルゴリズムにより画像処理して、状況を判断する画像処理装置と、
   を有することを特徴とする画像処理アルゴリズムの評価システム。
2. 屋外でカメラにより撮影して得た動画の画像データを画像処理することにより、移動体が前記カメラの設置位置に到着するまでの時間である接近交差時間を求める画像処理アルゴリズムの性能を評価する評価システムであって、
   各種の天候状態を表す天候外乱を示す画像を、コンピュータグラフィックス用ソフトウエアにより生成し、生成した各種の天候外乱を示す画像を、前記画像データに重畳する天候外乱シミュレータと、
   前記カメラで発生する各種の基本外乱を示す画像をコンピュータグラフィックス用ソフトウエアにより生成し、生成した各種の基本外乱を示す画像を前記画像データに重畳する基本外乱シミュレータと、
   前記画像処理アルゴリズムが設定されており、天候外乱を示す画像と基本外乱を示す画像が重畳された前記画像データを前記画像処理アルゴリズムにより画像処理して、接近交差時間を求める画像処理装置と、
   を有することを特徴とする画像処理アルゴリズムの評価システム。
3. 請求項１または請求項２に記載の画像処理アルゴリズムの評価システムにおいて、
   前記画像処理装置により求められた状況判断データを記録する記録手段と、
   前記画像処理装置に設定された前記画像処理アルゴリズムのパラメータを変更するパラメータ変更部と、
   を有することを特徴とする画像処理アルゴリズムの評価システム。
4. 請求項１乃至請求項３の何れか一項に記載の画像処理アルゴリズムの評価システムにおいて、
   前記カメラは、自動車の前部に備えられて、自動車の右側や左側の視野範囲を撮影するものであることを特徴とする画像処理アルゴリズムの評価システム。

Images