JP2008067268A - 画像提示装置、自動車、及び画像提示方法 - Google Patents

Abstract

【課題】実際の撮像速度よりも速いカメラを用いているかのような動画像を提示する。
【解決手段】車両前方の走行環境を撮像した画像フレームを表示するものであって、撮像した画像フレームに基づいて、この画像フレーム内に存在する運動物体の挙動を予測した新たな画像フレームを作成し（ステップＳ４〜Ｓ９）、撮像した画像フレームと次に撮像される画像フレームとの間に、新たに作成した画像フレームを表示する。新たに作成する画像フレームでは、対比効果の高い運動物体を不鮮明に表示する。
【選択図】図２

Description

本発明は、画像提示装置、これを備えた自動車、及び画像提示方法に関する。

カメラからの画像データの出力にタイミングを合わせながら、書込みアドレスに従って画像データを出力用メモリに書込むことで、画像処理の高速化を図るものがあった（特許文献１参照）。
特開２００５−１１７５５４号公報

しかしながら、上記特許文献１に記載された従来例にあっては、画像の提示速度をカメラの撮像速度に近づけているに過ぎないので、高速動画を生成するには、撮像速度の速いカメラが必要になってしまう。
本発明の課題は、実際の撮像速度よりも速いカメラを用いているかのような動画像を生成し提示することである。

上記課題を解決するために、本発明に係る画像提示装置は、車両の走行環境を撮像した画像フレームを表示するものであって、撮像した画像フレームに基づいて、当該画像フレーム内に存在する運動物体の挙動を予測した新たな画像フレームを作成し、撮像した画像フレームと次に撮像される画像フレームとの間に、新たに作成した画像フレームを表示することを特徴とする。

本発明に係る画像提示装置によれば、運動物体の挙動を予測した新たな画像フレームを作成し、撮像した画像フレームを表示してから次に撮像される画像フレームを表示するまでの間に、新たに作成した画像フレームを介挿して表示することで、実際の撮像速度よりも速く撮像しているかのような滑らかな動画像を生成し提示することができる。

以下、本発明を実施するための最良の形態を図面に基づいて説明する。
《一実施形態》
《構成》
図１は、本発明の概略構成である。自動車１には、車両前方の環境を撮像するカメラ２と、画像データを表示するモニタ３とを搭載し、夫々をコントローラ４に接続する。
コントローラ４で実行する画像提示処理を、図２のフローチャートに従って説明する。
先ずステップＳ１では、カメラ２の撮像速度の倍の周期で動作するフレームカウンタが偶数であるか否かを判定する。フレームカウンタが奇数であるときにはステップＳ２に移行し、一方、フレームカウンタが偶数であるときには後述するステップＳ４に移行する。

ステップＳ２では、カメラ２が撮像した画像フレームをそのままフレームバッファに出力する。
続くステップＳ３では、フレームバッファに出力された画像フレームをモニタ３に表示してから所定のメインプログラムに復帰する。
一方、ステップＳ４では、カメラ２が撮像した画像フレーム内で、トラック、乗用車、バイク、自転車などの運動物体を認識する。
続くステップＳ５では、運動物体ごとにOpticalPotential（オプティカル・ポテンシャル）を算出する。

先ず、撮像した画像フレームに対してオプティカルフローを算出し、運動物体の平均オプティカルフロー（全ピクセルのオプティカルフローの平均）と、その周囲のオプティカルフローの平均差を算出し、空間周波数を計算する。そして、図３のマップを参照し、空間周波数から対比効果の値を算出し、これをOpticalPotentialとする。
対比効果とは、周辺にあるパターンが中心部のパターンの“見かけ”を変える視覚効果のことで、例えば周辺に高いコントラストがあるときに中心部のコントラストが減少して見えるといった現象が起こる。運動物体の場合、周辺の風景が流れると、オプティカルフローのコントラストが高くなるため、その運動物体を動画像の幾つかのフレームで不鮮明に表示したとしても、人の目にはシャープに見える。

続くステップＳ６では、運動物体ごとにMovementPotential（ムーブメント・ポテンシャル）を算出する。
先ず、運動物体を例えば『大型自動車』、『普通自動車』、『自動二輪車』、『自転車』、『その他』の５種類に分類し、図４〜図６に示すように、各運動物体の移動速度（前進速度）に応じて右左折・加減速する可能性、つまり各挙動変化の確率を推定する。例えば、トラック等の『大型自動車』は、車速が上がるほど、更に加速する確率は低くなり（エンジン性能に依存）、右左折する確率も低くなり（運動性能に依存）、逆に減速する確率は高くなる。また、『自動二輪車』は、同じ速度であっても『大型自動車』や『普通自動車』よりも右左折する確率は高く、広い車速領域で加減速も可能である。なお、ここでの右左折とは、左右への横移動をも含んでいる。

そして、走行環境を例えば『高速道路』、『広い道路』、『狭い道路』、『交差点手前』、『交差点内』、『横断歩道手前』、『右カーブ』、『左カーブ』の７種類に分類し、図７に示すように、運動物体ごとに移動速度毎のテーブルを用意し、走行環境に応じて右左折・加減速する確率を推定し、これをTrafficCoefficient（トラフィック・コウイフィシャント）とする。例えば、『交差点手前』や『横断歩道手前』では右左折するよりも減速する確率が高く、『広い道路』では『狭い道路』よりもレーンチェンジ等で横移動する確率が高い。

そして、下記に示すように、右左折する確率、加速する確率、減速する確率に、夫々のTrafficCoefficientを乗算し、その和をMovementPotentialとして算出する。
MovementPotential＝右左折の確率×TrafficCoefficient（右左折）
＋加速の確率×TrafficCoefficient（加速）
＋減速の確立×TrafficCoefficient（減速）
続くステップＳ７では、下記に示すように、OpticalPotentialとMovementPotentialとの乗算によって、運動物体ごとにBluringPotential（ブラーリング・ポテンシャル）を算出する。
BluringPotential＝OpticalPotential×MovementPotential

続くステップＳ８では、BluringPotentialが所定値以上となる運動物体を選択する。
続くステップＳ９では、選択された夫々の運動物体を不鮮明にした画像フレームを作成する。
先ず、図８に示すように、基準画像、基準画像を左に変位させた画像（左折画像）、基準画像を右に変位させた画像（右折画像）、基準画像を縮小した画像（加速画像）、基準画像を拡大した画像（減速画像）の５枚を半透明にして複製し、これら複製画像を重畳することにより、各運動物体を不鮮明にした画像を作成する。ここで、複製画像の透明度は、MovementPotentialの各項（右左折の確率、加速の確率、減速の確率）に応じて決定し、例えば右折する確率が低いほど、右に変位させる画像の透明度を低くする。

また、OpticalPotentialはどのぐらい不鮮明表示しても良いかの指標であるため、下記に示すように、その５枚のうち何枚を表示するかをOpticalPotentialに応じて決定してもよい。
枚数＝Int［OpticalPotential×５.１／max(OpticalPotential)］
そして、選択された運動物体以外は不動状態にある固定風景（道や建物）と同等と見なし、次のフレームまでの間を繋ぐ新たな画像フレームを作成する。固定風景の移動は、自車両の移動に依存しているので、最後に撮像された２つの画像フレーム間のピクセル単位での差、及び自車両の移動ベクトル（車速や操舵角を利用）からステレオマップを作成する等して、新たな画像フレームを作成し、これに運動物体の不鮮明画像を重畳して最終的な画像フレームを作成する。
続くステップＳ１０では、作成した新たな予測フレームをフレームバッファに出力してから前記ステップＳ３に移行する。

《作用》
今、図９に示すような走行環境を撮像したとする。
このとき、運動物体として車両前方に存在する３台の車両を認識し、各車両ごとにOpticalPotentialとMovementPotentialとに応じてBluringPotentialを算出する（ステップＳ５〜Ｓ７）。OpticalPotentialは、オプティカルフローでの運動物体と周囲とのコントラストに基づいて算出する。図１０は、OpticalPotentialの算出結果であり、明るいほど対比効果が高いことを表す。一方のMovementPotentialは、運動物体の種類、移動速度、及び道路環境に基づいて算出する。図１１はMovementPotentialの算出結果であり、明るいほど挙動変化の確率が高いことを表す。

こうして算出されたBluringPotentialに応じて不鮮明に表示する運動物体を決めてから（ステップＳ８）、対象となる運動物体を不鮮明にした画像を作成すると共に、固定風景の画像を作成し、これらを重ね合わせて新たな予測フレームを作成する（ステップＳ９）。
運動物体については、複数の複製画像を重畳して作成するが、基準画像に対して同サイズの複製画像を左右にずらして重ねたり、基準画像と異なるサイズの複製画像を重ねたりすることで、不一致状態で重畳した不鮮明な画像を作成する。すなわち、右折確率が高ければ右折画像を右にずらして重ねたり、減速確率が高ければ拡大画像を重ねたりすることで、運動物体の挙動を予測した不鮮明画像を作成する。このとき、複製画像の透明度合や重畳枚数を変更することによって、OpticalPotentialに応じた不鮮明度合を変更すればよい。

図１２は、新たに作成した画像フレームであり、交差点を直進している先行車両は最も不鮮明度合が高く、自車両から見て、交差点を左折しようとしている車両と、交差点を右方向へ横切っている車両とは、２枚の半透明画像のみで提示した例である。
このように、実際に撮像された画像フレームを順に表示してゆくなかで、撮像した画像フレームを表示してから次に撮像される画像フレームを表示するまでの間に、新たに作成した予測フレームを介挿して表示することで、実際の撮像速度よりも速く撮像しているかのような連続的で滑らかな動画像を生成し提示することができる。例えば３０fpsのカメラを用いた場合、図１３に示すように、描画速度に起因した違和感は、倍の速度の６０fpsのカメラを用いたときの状態に近づく。

《応用例》
上記の一実施形態では、車両前方の環境を撮像しているが、勿論、如何なる方向の環境を撮像する場合でも、同様の効果が得られる。
また、運動物体を半透明にした複数の複製画像を不一致状態で重畳することにより、不鮮明画像を作成しているが、１枚の画像を平滑化フィルタによって不鮮明にした画像を作成してもよい。この場合、左折画像、右折画像、加速画像、減速画像のうち、予測される挙動変化の確率が最も高い画像を選び、それをフィルタ処理する。これによれば、計算量が少なくて済む。例えば、図１４（ｂ）及び（ｃ）に示すような平均値フィルタや、図１４（ｄ）及び（ｅ）に示すようなガウシアンフィルタによって不鮮明画像を作成してもよく、不鮮明度合は単位領域を変更すればよい。

さらに、図１４（ａ）に示すように、１枚の画像のエッジだけを不鮮明にするだけでもよい。輪郭は注意を引っ張る特徴があり、この部分を不鮮明にするだけも充分な効果が得られる。
また、１台のカメラ２だけを搭載しているが、２台のカメラを搭載してもよい。この場合、一方は解像度が高く撮像速度の遅いもので、他方は解像度が低く撮像速度の速いものとし、一方のカメラが撮像した画像フレーム内の運動物体を、他方のカメラで撮像した運動物体に置換することにより、新たな画像フレームを作成するとよい。これによれば、運動物体の新しい位置は高速カメラから把握できるので、MovementPotentialの計算が不要になり、しかも解像度が低いため高速カメラで撮像した画像を利用すれば、それだけで不鮮明な画像を作成することができる。

《効果》
以上より、カメラ２が「撮像手段」に対応し、モニタ３が「表示手段」に対応し、ステップＳ１、Ｓ４〜Ｓ９の処理が「作成手段」に対応している。
（１）車両の走行環境を撮像する撮像手段と、撮像手段が撮像した画像フレームを表示する表示手段と、撮像手段が撮像した画像フレームに基づいて、この画像フレーム内に存在する運動物体の挙動を予測した新たな画像フレームを作成する作成手段とを備え、表示手段は、撮像手段が撮像した画像フレームと次に撮像される画像フレームとの間に、作成手段が作成した画像フレームを表示する。
このように、運動物体の挙動を予測した新たな画像フレームを作成し、撮像した画像フレームを表示してから次に撮像される画像フレームを表示するまでの間に、新たに作成した画像フレームを介挿して表示することで、実際の撮像速度よりも速く撮像しているかのような滑らかな動画像を生成し提示することができる。

（２）作成手段は、運動物体を不鮮明にした画像フレームを作成する。
これにより、膨大な画像処理を必要とせずに、違和感のない連続的な動画像を容易に作成することができる。
（３）作成手段は、撮像手段が撮像した画像フレームに対するオプティカルフローを算出し、算出したオプティカルフローにおける運動物体と周囲とのコントラストに基づいて、この運動物体の不鮮明度合を決定する。
このように、オプティカルフローのコントラストに起因した対比効果に基づいて、不鮮明度合を決定することで、不鮮明にしたとしても違和感がなくシャープに見える運動物体を効果的に画像提示することができる。

（４）作成手段は、運動物体の種類、現在の運動状態、及び走行環境に基づいて、この運動物体の挙動を予測する。
これにより、運動物体の挙動を容易に予測することができる。
（５）作成手段は、運動物体を半透明にした複数の複製画像を、不一致状態で重畳することにより、この運動物体を不鮮明にした画像フレームを作成する。
これにより、運動物体を不鮮明にした効果的な画像フレームを容易に作成することができる。

（６）作成手段は、運動物体の挙動を予測した結果に基づいて、複製画像のサイズ、及び複製画像の重畳位置を決定する。
これにより、運動物体の予測挙動を反映した効果的な画像フレームを容易に作成することができる。
（７）作成手段は、複製画像の透明度合、及び重畳枚数の少なくとも一方を変化させることにより、運動物体の不鮮明度合を変化させる。
これにより、対比効果に適した画像提示を容易に実現することができる。

（８）作成手段は、平滑化フィルタによって、運動物体を不鮮明にした画像フレームを作成する。
これによれば、計算量が少なくて済む。
（９）作成手段は、運動物体のエッジのみを不鮮明にした画像フレームを作成する。
これによれば、計算量が少なくて済む。また、輪郭のみを不鮮明にすることができるので、特に、MovementPotentialが高くOpticalPotentialが低い運動物体に対して、違和感の少ない画像提示が可能となる。

（１０）撮像手段は、第１の撮像手段と、この第１の撮像手段よりも解像度が低く且つ撮像速度の速い第２の撮像手段とを備え、作成手段は、第１の撮像手段が撮像した画像フレーム内の運動物体を、第２の撮像手段で撮像した運動物体に置換することにより、新たな画像フレームを作成する。
これによれば、運動物体の新しい位置は高速カメラから把握できるので、MovementPotentialの計算が不要になり、しかも解像度が低いため高速カメラで撮像した画像を利用すれば、それだけで不鮮明な画像を作成することができる。

本発明の概略構成図である。 画像提示処理のフローチャートである。 対比効果の算出に用いるマップである。 右左折確率の算出に用いるマップである。 減速確率の算出に用いるマップである。 加速確率の算出に用いるマップである。 TrafficCoefficientの算出に用いるテーブルである。 重畳する複製画像である。 撮像した画像フレームである。 OpticalPotentialの算出結果である。 MovementPotentialの算出結果である。 新たに作成した画像フレームである。 本実施形態の効果を説明した図である。 不鮮明画像の他の表示形態である。

符号の説明

１ 自動車
２ カメラ
３ モニタ
４ コントローラ

Claims (12)

1. 車両の走行環境を撮像する撮像手段と、該撮像手段が撮像した画像フレームを表示する表示手段と、前記撮像手段が撮像した画像フレームに基づいて、当該画像フレーム内に存在する運動物体の挙動を予測した新たな画像フレームを作成する作成手段とを備え、
   前記表示手段は、前記撮像手段が撮像した画像フレームと次に撮像される画像フレームとの間に、前記作成手段が作成した画像フレームを表示することを特徴とする画像提示装置。
2. 前記作成手段は、前記運動物体を不鮮明にした画像フレームを作成することを特徴とする請求項１に記載の画像提示装置。
3. 前記作成手段は、前記撮像手段が撮像した画像フレームに対するオプティカルフローを算出し、算出したオプティカルフローにおける前記運動物体と周囲とのコントラストに基づいて、当該運動物体の不鮮明度合を決定することを特徴とする請求項２に記載の画像提示装置。
4. 前記作成手段は、前記運動物体の種類、現在の運動状態、及び走行環境に基づいて、当該運動物体の挙動を予測することを特徴とする請求項２又は３に記載の画像提示装置。
5. 前記作成手段は、前記運動物体を半透明にした複数の複製画像を、不一致状態で重畳することにより、当該運動物体を不鮮明にした画像フレームを作成することを特徴とする請求項２〜４の何れか一項に記載の画像提示装置。
6. 前記作成手段は、前記運動物体の挙動を予測した結果に基づいて、前記複製画像のサイズ、及び前記複製画像の重畳位置を決定することを特徴とする請求項５に記載の画像提示装置。
7. 前記作成手段は、前記複製画像の透明度合、及び重畳枚数の少なくとも一方を変化させることにより、前記運動物体の不鮮明度合を変化させることを特徴とする請求項５又は６に記載の画像提示装置。
8. 前記作成手段は、平滑化フィルタによって、前記運動物体を不鮮明にした画像フレームを作成することを特徴とする請求項２〜７の何れか一項に記載の画像提示装置。
9. 前記作成手段は、前記運動物体のエッジのみを不鮮明にした画像フレームを作成することを特徴とする請求項２〜８の何れか一項に記載の画像提示装置。
10. 前記撮像手段は、第１の撮像手段と、該第１の撮像手段よりも解像度が低く且つ撮像速度の速い第２の撮像手段とを備え、
    前記作成手段は、前記第１の撮像手段が撮像した画像フレーム内の前記運動物体を、前記第２の撮像手段で撮像した運動物体に置換することにより、新たな画像フレームを作成することを特徴とする請求項１〜９の何れか一項に記載の画像提示装置。
11. 画像提示装置を備えた自動車において、
    前記画像提示装置は、
    車両の走行環境を撮像する撮像手段と、該撮像手段が撮像した画像フレームを表示する表示手段と、前記撮像手段が撮像した画像フレームに基づいて、当該画像フレーム内に存在する運動物体の挙動を予測した新たな画像フレームを作成する作成手段とを備え、
    前記表示手段は、前記撮像手段が撮像した画像フレームと次に撮像される画像フレームとの間に、前記作成手段が作成した画像フレームを表示することを特徴とする自動車。
12. 車両の走行環境を撮像した画像フレームを表示する画像提示方法において、
    撮像した画像フレームに基づいて、当該画像フレーム内に存在する運動物体の挙動を予測した新たな画像フレームを作成し、撮像した画像フレームを表示してから次に撮像される画像フレームを表示するまでの間に、前記新たな画像フレームを介挿して表示することを特徴とする画像提示方法。