JP2010088096A - 車載用カメラユニット、車両外部ディスプレイ方法及びドライビングコリドーマーカー生成システム - Google Patents

Abstract

【課題】外部ＥＣＵを別に設けることなしに、ドライビングコリドーディスプレイの機能を可能にする車載用カメラユニット、車両外部ディスプレイ方法及びドライビングコリドーマーカー生成システムを提供すること。
【解決手段】操向角度が得られ、非揮発性メモリから対応してドライビングコリドーイメージのパラメータが選択される。該パラメータは、二次ベジエ曲線またはキュービックベジエ曲線の方程式を用いて、ノードの軌跡を計算するのに使われる。該ノードはセグメントと結ばれ、ドライビングコリドーイメージを形成する。該ドライビングコリドーイメージは、前記センサから取り込まれたイメージ上に重ね合せられ、結果のイメージがディスプレイされる。
【選択図】 図６

Description

本発明は、運行安定性を向上させるために車両に取り付けられた１以上のイメージセンサ基盤カメラユニットを含む車載用カメラシステム、車両外部ディスプレイ方法及びドライビングコリドーマーカー生成システムに関するものである。

イメージセンサ基盤カメラは、車両に広く使われている。車両を取り囲んだ周囲環境の一部分を取り込み、それを運転者の手前のモニタ上にディスプレイすることによって、他のオブジェクト（他の車両、歩行者、サイクリスト、ビル、木、街路灯及びパーキング場表示など）に対して車両の位置及び方位の感知を更に可能にし、交通状況全般の制御を向上させ、これによって車両の運行安定性を向上させる。特に、図１に示すように、車両の後方部に取り付けられたカメラ（後方視野カメラ）は通常、運転者の席からは見ることのできない車両の後面領域を取り込む。同様に、前方視野カメラは車両の前方部に取り付けられ、車両の前方領域を取り込む。

このようなカメラユニットは、車両の外観を損なうことのないように、車両のグリルや後方パネルブートリード（ｒｅａｒ ｐａｎｅｌ ｂｏｏｔ ｌｉｄ）に配置される。そのためにも、十分に小さいものが望ましい。

カメラによって取り込まれ、モニタにディスプレイされる後方視野カメラは、その表示される領域を最大化するため、例えば、広域視野（ｆｉｅｌｄ ｏｆ ｖｉｅｗ：ＦＯＶ）で通常１２０°〜１３５°を有し、特定の場合に最大１９０゜を有するレンズが用いられている。このようなカメラは、カメラのＦＯＶと人間の視力の平均ＦＯＶとの間に差があり、その差によって、カメラから取り込まれた遠位オブジェクトが近位オブジェクトに比べ、人間の予想より小さく見えてしまうことが短所である。このような不均衡によって、取り込まれたイメージから見える他のオブジェクトに対して、運行中の車両の寸法を推定するのが難しくなり、混乱をもたらすことになる。

このような問題に対応するために、図２に示すように、モニタには、カメラによって取り込まれたイメージと共に、オブジェクト距離に対して車両の寸法を表したマーカーがディスプレイされる。この車両寸法マーカーは、車両に対する操向角度が変化する瞬間ごとに変化しないため、このような種類のディスプレイされたマーカーは通常「静的オーバーレイ（ｓｔａｔｉｃ ｏｖｅｒｌａｙ）」とも称される。

特に、車庫やパーキング場のように閉じられた空間で車両を動かす場合に、カメラシステムは、より安全で且つ容易な運行のために、通常「動的オーバーレイ（ｄｙｎａｍｉｃ ｏｖｅｒｌａｙ）」とも称されるドライビングコリドー（ｄｒｉｖｉｎｇ ｃｏｒｒｉｄｏｒ）を特徴的にディスプレイする。この機能は、車両の寸法を表したマーカーが操向角度によって変化するということを除いては、静的オーバーレイと類似する。従って、ドライビングコリドーは、車両が現在の操向角度に駆動されると仮定し、周辺物体に対して車両の仮想軌跡をディスプレイする。図３ａ〜図３ｃに示すように、運転者が操向ホイールを回して操向角度を変化させれば、これに伴って、ディスプレイされるドライビングコリドーは変化する。図３ａ〜図３ｃは各々操向角度−２０゜、０゜及び＋２０゜に対応するドライビングコリドーを表したマーカーを有するイメージを示している。

このような機能を実現するためには、他のインターフェースが用いられてもよいが、操向角度のディスクリプタ（ｄｅｓｃｒｉｐｔｏｒ）を得るために、カメラシステムは、通常、ＣＡＮ（ｃｏｎｔｒｏｌｌｅｒ ａｒｅａ ｎｅｔｗｏｒｋ）バスまたはＬＩＮ（ｌｏｃａｌ ｉｎｔｅｒｃｏｎｎｅｃｔ ｎｅｔｗｏｒｋ）バスを通じて、操向ホイールのような車両の他のデバイスと通信する必要がある。そのため、カメラシステムはインターフェース送受信器とインターフェース制御器とを組み込んでいる。インターフェース制御器は通常、入力／出力機能と基本計算をサポートするのに十分な処理能力（ｐｒｏｃｅｓｓｉｎｇ ｐｏｗｅｒ）とを有するマイクロプロセッサと、プログラム及びデータのためのランダムアクセスメモリ（ＲＡＭ）と、プログラムコード及びデータ（パラメータ）を格納するための非揮発性メモリ（ＲＯＭ、フラッシュメモリ）とを組み込んでいる。

カメラシステムは、動的オーバーレイを有するディスプレイイメージを生成するために、イメージ処理デバイスを統合する。このデバイスはイメージセンサによって取り込まれたイメージを入力し、ディスプレイされるべきオーバーレイ（ｏｖｅｒｌａｙ）を加えて、通常、アナログ信号、即ちＮＴＳＣまたはＰＡＬとして、結果的なイメージをモニタに伝送する。

オーバーレイイメージを生成するために、イメージ処理デバイスはＩ^２Ｃまたはその他の利用可能なインターフェースを通じてインターフェース制御器から操向角度のディスクリプタを入力する。その後、操向角度によって、イメージ上にドライビングコリドーを表したマーカーの位置はイメージ処理デバイスにて計算され、前記イメージセンサから取り込まれたイメージ上に重ね合せられる。

モニタにディスプレイされた動画の通常のフレームには、約３５０，０００個の要素（ピクセル）が含まれている。よって、イメージ処理デバイスは、通常要求される１秒当り約３０フレームの速度で、このような個数の要素を処理することができなければならない。

現在は、充分な処理能力を有する数種類のデバイス、即ちＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｅｒ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ ａｒｒａｙ）、ＣＰＬＤ（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）が存在する。

従来または現在使われている技術水準でのカメラシステムアーキテクチャーの一例が、図４に示されている。同図に示されたように、前記システムは大きく２種類のユニット、即ちカメラユニット１００と、電子制御ユニット２００（以下、ＥＣＵ２００と称する）とを含む。

ここで、まず、ＥＣＵ２００は、イメージ処理デバイス２０４（ＤＳＰ、ＦＰＧＡ、ＣＰＬＤ、ＡＳＩＣ）と、インターフェース送受信器２０１と、インターフェース制御器２０２と、アナログ信号デコーダ２０３と、アナログ信号エンコーダ２０５とを含む。そして、ＥＣＵ２００とは別のユニットであるカメラユニット１００は、アナログ（通常、ＮＴＳＣ／ＰＡＬ）信号としてのイメージを出力し、これをＥＣＵ２００に伝送する。

ＥＣＵ２００内のアナログ信号デコーダ２０３は、該信号をデジタル信号に変換し、これをイメージ処理デバイス２０４に伝送する。また、操向角度ディスクリプタ（ｓｔｒｅｅｒｉｎｇ ａｎｇｌｅ ｄｅｓｃｒｉｐｔｏｒ）は、インターフェース送受信器２０１によって獲得され、インターフェース制御器２０２に伝送される。これによって、インターフェース制御器２０２は、対応するデータをイメージ処理デバイス２０４に伝送する。該データに基づいて、イメージ処理デバイス２０４は対応するドライビングコリドーマーカーを生成し、該マーカーをカメラユニット１００から取り込まれたイメージ上に重ね合せて、イメージをアナログ信号に変換し、変換されたアナログ信号をモニタに伝送するアナログ信号エンコーダ２０５に結果イメージを伝送する。図４には、ドライビングコリドーマーカーを生成するために一般的に使われている従来技術のいずれかが示されている。

オーバーレイを表したビットマップ（通常は、各操向角度値当たり一つ）は、ＥＣＵ２００内の非揮発性メモリに予め格納されている。イメージ処理デバイス２０４は、インターフェース制御器２０２から操向角度値を得て、特定の操向角度値に対応するビットマップを非揮発性メモリからＲＡＭへとダウンロードし、ＥＣＵ２００とは別途のカメラユニット１００内のイメージセンサ１０１から取り込まれたイメージ上に、該ダウンロードしたビットマップを重ね合せる。

このように、全操向角度範囲をいずれも包括するオーバーレイされたビットマップを格納するのに要求される非揮発性メモリの量は非常に大きくなるため、前記システム全体の大きさや費用が増加する。

このような従来技術によるアーキテクチャーには、次のような問題がある。第１に、現在、カメラサイズの限界から、カメラユニット内にオーバーレイ済のビットマップを格納するのに十分な大きさを有する非揮発性メモリ及び／又は十分な処理能力を有するイメージ処理デバイスを組み込むことができない。そのため、カメラシステムは２以上の別のデバイス（カメラユニット及びＥＣＵ）を含むこととなり、多数のデバイスの使用によってシステムをより複雑にし、費用、全体寸法、重さなどがかさむ結果となる。

第２に、カメラユニットによって取り込まれたイメージは、アナログ信号としてＥＣＵに伝送されるため、カメラユニットとＥＣＵとの間の相当な距離によって、デジタルインターフェースが雑音に対して十分にロバスト（ｒｏｂｕｓｔ）せず、２以上のワイヤを必要としたり、不十分なビット速度を有するようになる。アナログインターフェースに要求される多重デジタル−アナログ変換及びアナログ−デジタル変換によって、イメージ品質は相当低下してしまう。

本発明は、上記に鑑みて成されたものであって、別の外部ＥＣＵなしに、ドライビングコリドーディスプレイの機能を可能にするカメラユニットを提供することをその目的の一つとする。

上述した課題を解決し、目的を達成するために、本発明によれば、車両の外部イメージを撮像するように構成されたイメージセンサと、操向角度に対する制御地点（ｃｏｎｔｒｏｌ ｐｏｉｎｔｓ）の組が格納され、該格納された制御地点の組から要求される操向角度に対するベジエ曲線（Ｂｅｚｉｅｒ ｃｕｒｖｅ）の制御地点がロードまたは計算され、複数のノードを生成するように構成されるインターフェース制御器と、該インターフェース制御器にて計算された複数のノードの座標を伝達され、互いに隣接したノードをラインセグメントによって結んでドライビングコリドーマークを生成し、該生成されたマークが前記イメージセンサにて撮像されたイメージと重ね合せられるように構成されるイメージ処理デバイスとを含む車載用カメラユニットが提供される。

望ましくは、前記イメージセンサ、前記インターフェース制御器及び前記イメージ処理デバイスは、いずれも一つのカメラユニット内に設けられる構成要素である。

ここで、前記複数のノードは、
Ｘ（ｔ）＝Ｘ_０（１−ｔ）^２＋Ｘ_１２ｔ（１−ｔ）＋Ｘ_２ｔ^２
Ｙ（ｔ）＝Ｙ_ｏ（１−ｔ）^２＋Ｙ_１２ｔ（１−ｔ）＋Ｙ_２ｔ^２
または、
Ｘ（ｔ）＝Ｘ_０（１−ｔ）^３＋Ｘ_１３ｔ（１−ｔ）^２＋Ｘ_２３ｔ^２（１−ｔ）＋Ｘ_３ｔ^３
Ｙ（ｔ）＝Ｙ_０（１−ｔ）^３＋Ｙ_１３ｔ（１−ｔ）^２＋Ｙ_２３ｔ^２（１−ｔ）＋Ｙ_３ｔ^３
によって定義される２次またはキュービックベジエ曲線にて計算され、ここで、Ｘ_０、Ｙ_０、Ｘ_１、Ｙ_１、Ｘ_２、Ｙ_２、Ｘ_３、Ｙ_３は制御地点の座標であり、ｔは［０，１］範囲で変化するパラメータであることが望ましい。

また、前記操向角度に対する制御地点の示された組は、前記インターフェース制御器の非揮発性メモリにルックアップテーブルの形態で格納されることが望ましく、前記要求される操向角度に対するベジエ曲線の制御地点は、前記ルックアップテーブルに格納されたパラメータの組から補間法によって計算されることが望ましい。

また、前記インターフェース制御器から計算され、前記イメージ処理デバイスに伝送された複数のノードの座標のうち、互いに隣接したノードを結ぶラインセグメントは、ブレセンハムのラインアルゴリズム（Ｂｒｅｓｅｎｈａｍ’ｓ ｌｉｎｅ ａｌｇｏｒｉｔｈｍ）にて計算されることが望ましい。

上述した課題を解決し、目的を達成するために、本発明によれば、車両の操向角度変化を感知するステップと、前記操向角度の変化に応じて、メモリからベジエ曲線（Ｂｅｚｉｅｒ ｃｕｒｖｅ）の制御地点をロードまたは計算し、該ロードまたは計算された制御地点に基づいてドライビングコリドーライン（ｄｒｉｖｉｎｇ ｃｏｒｒｉｄｏｒ ｌｉｎｅ）を生成するための複数のノードを前記ベジエ曲線を用いて計算するステップと、前記計算されたノードを互いに結んでラインセグメントを生成するステップと、前記ラインセグメントを有するオーバーレイをイメージセンサから取り込まれたイメージ上に重ね合せ、外部ディスプレイ装置にディスプレイさせるステップと、を含む車両外部ディスプレイ方法が提供される。

望ましくは、前記複数のノードは、
Ｘ（ｔ）＝Ｘ_０（１−ｔ）^２＋Ｘ_１２ｔ（１−ｔ）＋Ｘ_２ｔ^２
Ｙ（ｔ）＝Ｙ_ｏ（１−ｔ）^２＋Ｙ_１２ｔ（１−ｔ）＋Ｙ_２ｔ^２
または、
Ｘ（ｔ）＝Ｘ_０（１−ｔ）^３＋Ｘ_１３ｔ（１−ｔ）^２＋Ｘ_２３ｔ^２（１−ｔ）＋Ｘ_３ｔ^３
Ｙ（ｔ）＝Ｙ_０（１−ｔ）^３＋Ｙ_１３ｔ（１−ｔ）^２＋Ｙ_２３ｔ^２（１−ｔ）＋Ｙ_３ｔ^３
によって定義される２次またはキュービックベジエ曲線にて計算され、ここで、Ｘ_０、Ｙ_０、Ｘ_１、Ｙ_１、Ｘ_２、Ｙ_２、Ｘ_３、Ｙ_３は制御地点の座標であり、ｔは［０，１]範囲で変化するパラメータである。

ここで、前記操向角度に対する制御地点は、インターフェース制御器の非揮発性メモリにルックアップテーブルの形態で格納され、要求される操向角度に対するデータが前記テーブル内に格納されていない場合、前記ベジエ曲線の制御地点は前記ルックアップテーブルに格納された制御地点から補間法によって計算されることが望ましい。また、前記ラインセグメントは、ブレセンハムのラインアルゴリズムによってイメージ処理デバイスで計算されることが望ましい。

より望ましくは、前記ベジエ曲線を用いて複数のノードを計算し、その計算されたノードを互いに結んでラインセグメントを生成し、そのラインセグメントを含むオーバーレイをイメージセンサから取り込まれたイメージ上に重ね合せる各ステップは、いずれも一つのカメラユニット内で行われる。

また、上記課題を解決し、目的を達成するために、本発明によれば、車両外部のイメージと重ね合せるようにディスプレイされるドライビングコリドーマーカーの生成システムは、車両の操向角度の変化に応じて前記ドライビングコリドーマーカーが動的に変化するようにオーバーレイされ、前記動的な変化は、
Ｘ（ｔ）＝Ｘ_０（１−ｔ）^２＋Ｘ_１２ｔ（１−ｔ）＋Ｘ_２ｔ^２
Ｙ（ｔ）＝Ｙ_ｏ（１−ｔ）^２＋Ｙ_１２ｔ（１−ｔ）＋Ｙ_２ｔ^２
または、
Ｘ（ｔ）＝Ｘ_０（１−ｔ）^３＋Ｘ_１３ｔ（１−ｔ）^２＋Ｘ_２３ｔ^２（１−ｔ）＋Ｘ_３ｔ^３
Ｙ（ｔ）＝Ｙ_０（１−ｔ）^３＋Ｙ_１３ｔ（１−ｔ）^２＋Ｙ_２３ｔ^２（１−ｔ）＋Ｙ_３ｔ^３
によって定義される２次ベジエ曲線またはキュービックベジエ曲線を満たす複数のノードの座標を計算し、その計算された複数のノードを互いに結んでディスプレイされ、ここで、Ｘ_０、Ｙ_０、Ｘ_１、Ｙ_１、Ｘ_２、Ｙ_２、Ｘ_３、Ｙ_３は制御地点の座標であり、ｔは［０，１]範囲で変化するパラメータであることを特徴とする。ここで定義されるシステムとは、イメージ撮像用カメラユニットのみを意味することではなく、カメラユニット以外の外部デバイス（たとえば、車両内のＥＣＵ等）までも包括する概念であることに留意されたい。

望ましくは、前記複数のノードの座標は、前記車両操向角度の変化に応じてメモリからベジエ曲線の制御地点がロードまたは計算され、そのロードまたは計算された制御地点に基づいて前記ベジエ曲線を用いて計算される。また、前記複数のノードは、イメージ処理デバイスの外部、即ちインターフェース制御器にて計算されることが望ましい。また、前記計算された複数のノードの結びは、イメージ処理デバイスでの計算によって処理されることが望ましい。

ここで、前記インターフェース制御器及びイメージ処理デバイスは、いずれも一つのカメラユニット内に含まれた構成要素であることがより望ましい。

本発明によれば、外部ＥＣＵを別に設けることなしに、ドライビングコリドーディスプレイの機能を可能にすることができるという効果を奏する。

また、本発明によれば、ドライビングコリドーマーカーの生成がインターフェース制御器とイメージ処理デバイスとに配分されて行われるため、イメージ処理デバイスをカメラユニット筺体内に入れるほどの大きさに十分に小さくすることができる。

本発明のドライビングコリドー生成方法は、インターフェース制御器に組み込まれたマイクロプロセッサのように、少ない処理能力で、かつ、通常のインターフェース制御器で用いることのできるＲＡＭを用いて、計算を行うことができるようにする。

本発明によれば、ドライビングコリドーマーカーを生成するのに要求されるパラメータの個数は、インターフェース制御器で利用可能とされる限定的な非揮発性メモリにフィッティングさせるに十分に少ないものである。また、インターフェース制御器とイメージ処理デバイスとの間で伝送されるデータの量は、本発明の範囲を逸脱することがなければ他のインターフェースを用いてもよいが、Ｉ^２Ｃのような通常使われる標準インターフェースに対して十分に少ないものである。

本発明はさらに、イメージセンサによって取り込まれたイメージが、並列８／１０ビットインターフェースのように通常使われる標準デジタルインターフェース上でイメージ処理デバイスに伝送されることを可能にする。これは、多重デジタル−アナログ変換及び多重アナログ−デジタル変換が必要ではないので、さらに良好なイメージ品質を得ることになる。また、これはカメラシステムアーキテクチャーからアナログ信号デコーダ及びアナログ信号エンコーダを取り外すことができ、カメラシステムがあまり複雑にならず、費用を抑えることができる。

さらに、本発明によれば、非揮発性メモリに格納され、ディスプレイされたイメージを生成するのに使われたパラメータを変化させることによって、ディスプレイされたドライビングコリドーの調整を可能にする。

以下、添付図面を参照して、本発明の好適な実施の形態について説明する。本発明の好適な実施の形態によれば、イメージセンサによって取り込まれたイメージ上で重ね合せられたドライビングコリドーマーカーは、図６に示すように、複数の二次ベジエ曲線またはキュービックベジエ曲線によって近似化される。図６は、３個の制御地点（ｃｏｎｔｒｏｌ ｐｏｉｎｔｓ）の座標を用いて定義されたキュービックベジエ曲線を有するドライビングコリドーマーカーの近似値を示す図である。

本実施の形態によるカメラユニットは、例えば後方パネル、ブートリードまたはグリルのような車両の後方部や前方部に取り付けられる。図７は、本実施の形態によるカメラユニットのブロック図であって、カメラユニット１０は、レンズのような光学システム（図示せず）と、１つ以上のイメージセンサ１３と、イメージ処理デバイス１４と、インターフェース送受信器１１と、インターフェース制御器１２と、アナログ信号エンコーダ１５とを含む。即ち、本実施の形態によるドライビングコリドーマーカーを生成するにあたって、従来技術でのＥＣＵのようなカメラユニット以外の別の外部デバイスをさらに必要としないということである。しかしながら、ハードウェア上においては、インターフェース制御器１２及びインターフェース送受信器１１が同じ手段として組み合わさったアーキテクチャーのように、他のアーキテクチャーまたはアナログ信号エンコーダ１５がイメージ処理デバイス１４などの一部になってもよい。これらの変形は当業者にとって明らかな技術範囲に属し、本発明の範囲を逸脱することなく実現できる。

カメラユニット１０に含まれた光学システムの視野は、車両の後面または前方部の一定領域を包括する。イメージセンサ１３は、その表面上の光学システムによって投影されたイメージを取り込む。デジタル化されたイメージは、通常使われるデジタルインターフェース、例えば８／１０ビット並列インターフェースまたは直列インターフェース上でイメージ処理デバイス１４に伝送される。

操向角度のディスクリプタはインターフェースバス（通常、ＣＡＮ／ＬＩＮバス）を通じて伝送され、インターフェース送受信器１１によって獲得される。その後、ディスクリプタはインターフェース制御器１２に送られる。インターフェース制御器１２は、マイクロプロセッサ、ＲＡＭ、及びＲＯＭまたはフラッシュメモリのような非揮発性メモリを含む。

操向角度ディスクリプタの各々の値に対するパラメータの組は、非揮発性メモリ内に格納される。例えば、操向角度値の範囲が５゜増分で、−３５゜〜＋３５゜の範囲にあるとき、１５個のパラメータの組が非揮発性メモリに格納される。ここで、特定の値間にある操向角度の値に対して、パラメータは線形補間（ｌｉｎｅａｒｉｎｔｅｒｐｏｌａｔｉｏｎ）を用いて計算される。

インターフェース制御器１２は、インターフェース送受信器１１から与えられた操向角度ディスクリプタに応じてパラメータの組を選択する。

非揮発性メモリに格納されたパラメータの組は、制御地点のｘ及びｙの座標を含む。制御地点は、次の方程式によって一つまたは幾つかのベジエ曲線（Ｂｅｚｉｅｒ ｃｕｒｖｅｓ）が定義される。
Ｘ（ｔ）＝Ｘ_０（１−ｔ）^２＋Ｘ_１２ｔ（１−ｔ）＋Ｘ_２ｔ^２
Ｙ（ｔ）＝Ｙ_ｏ（１−ｔ）^２＋Ｙ_１２ｔ（１−ｔ）＋Ｙ_２ｔ^２ ・・・（１）

ここで、Ｘ_０、Ｙ_０、Ｘ_１、Ｙ_１、Ｘ_２、Ｙ_２は制御地点の座標であり、ｔは［０，１]範囲で変化するパラメータである。

また、他の実施の形態によれば、二次ベジエ曲線の代わりにキュービックベジエ曲線が用いられてもよい。ここで、キュービックベジエ曲線は次の方程式によって定義される。
Ｘ（ｔ）＝Ｘ_０（１−ｔ）^３＋Ｘ_１３ｔ（１−ｔ）^２＋Ｘ_２３ｔ^２（１−ｔ）＋Ｘ_３ｔ^３
Ｙ（ｔ）＝Ｙ_０（１−ｔ）^３＋Ｙ_１３ｔ（１−ｔ）^２＋Ｙ_２３ｔ^２（１−ｔ）＋Ｙ_３ｔ^３
・・・（２）

ここで、Ｘ_０、Ｙ_０、Ｘ_１、Ｙ_１、Ｘ_２、Ｙ_２、Ｘ_３、Ｙ_３は制御地点の座標であり、ｔは［０，１]範囲で変化するパラメータである。

インターフェース制御器１２に組み込まれたマイクロプロセッサは、式（１）または式（２）を用いて各々のベジエ曲線に対するＸ値及びＹ値を計算する。パラメータｔは、予め決められた増分で０と１との間で変化する。例えば、増分が１／１０の場合、イメージＸ及びＹ上においてそれらの座標によって定義された１１個のノードが、各々のベジエ曲線に対して生成される。

式（１）及び式（２）は、乗算及び加算のような単純な演算のみを含むので、ノードの個数は比較的少ないまま維持され、これは、ベジエ曲線１つ当り１０〜３０個のノードの場合、ドライビングコリドーを十分に高い正確性で近似化することができる。いずれにしても既存のインターフェース制御器に組み込まれるマイクロプロセッサが、要求される１秒当り３０フレームというフレーム速度をサポートするに十分な速さである数ミリ秒以内で計算することができる。

また、非揮発性メモリに格納されるセット当りパラメータの個数は、各々の二次ベジエ曲線に対して６個分小さいか、各々のキュービックベジエ曲線に対しては８個分小さいということに留意されたい。そこで、これらのパラメータは、現在通常使われているレベルの任意のインターフェース制御器に利用可能な非揮発性メモリに格納されることができる。

ノードに対する計算座標は、Ｉ^２Ｃインターフェース、またはインターフェース制御器とイメージ処理デバイスとの間に生成された任意のインターフェースを経てイメージ処理デバイス１４に伝送される。Ｉ^２Ｃを始め、現在通常使われているレベルのインターフェースバスのビットレートは、ノードの個数が比較的少ないと、一つのフレーム周期内でデータを伝送するに十分である。

イメージ処理デバイス１４、望ましくはＳＦＦ（ｓｍａｌｌ ｆｏｒｍ ｆａｃｔｏｒ) ＦＰＧＡ、ＣＰＬＤまたはＡＳＩＣは、図９に示すように、インターフェース制御器１２から獲得されたノードを用いてドライビングコリドーマーカーを生成する。図９は、セグメント付きノードを結んで生成されたドライビングコリドーマーカーを示す図である。本発明の好適な実施の形態においては、セグメントとノードとを結ぶために広く知られたブレセンハム（Ｂｒｅｓｅｎｈａｍ）のラインアルゴリズム（ｌｉｎｅ ａｌｇｏｒｉｔｈｍ）が使われる。しかしながら、本発明の範囲を逸脱することなく、その他のアルゴリズムを用いてもよい。

ブレセンハムのラインアルゴリズムのハードウェアの実現に大きい論理大きさが要求されないならば、イメージ処理デバイスに小型パッケージングを特徴とする低費用デバイスが用いられてもよい。

一方、ブレセンハムのラインアルゴリズムが計算のために高い処理能力を要求しないので、イメージ処理デバイスのＤＳＰ実現のために小型パッケージング大きさの低費用ＤＳＰデバイスが用いられてもよい。

最後に、生成されたラインセグメントはイメージング処理ユニット１４にてイメージセンサ１３から取り込まれたイメージ上に重ね合せられる。結果としてのイメージはアナログ信号エンコーダ１５に伝送されて、アナログ形態に変換され、モニタに伝送されてディスプレイされる。

前述した方法に対する具体的なフローチャートを図８に示す。図８は、本発明の好適な実施の形態による動的オーバーレイ方法のフローチャートである。

処理が開始されると、同図に示すように、まず、ＣＡＮ／ＬＩＮバスから操向角度を得る。次に、前の繰返し後に操向角度が変化したかを感知し、該操向角度が変化した場合、非揮発性メモリからベジエ曲線の制御地点をダウンロードするようになる。このようなダウンロード制御地点に基づいて、ドライビングコリドーラインを生成するためのノードを、上記式（１）または式（２）を用いてインターフェース制御器１２で計算する。一方、操向角度の前後変化がないと判断した場合、前述の別途のノードに対する計算なしに、下位のステップにスキップする。

その後、イメージ処理デバイス１４において、インターフェース制御器１２で計算されたノードをブレセンハムのラインアルゴリズムを用いて互いに結んでオーバーレイを生成する。その後、最後にイメージセンサ１３から取り込まれたイメージ上に、生成されたオーバーレイを重ね合せる。

このような本実施の形態によるドライビングコリドーマーカーの生成方法は、後述の＜好適な実施例＞によってより明らかになろう。

一方、各部品、各締結部及び組立体の不完全性を補償し、実軌跡からディスプレイされたドライビングコリドーの最小偏差を達成するため、カメラが車両に設けられた後、カメラ調整を行うことが一般的である。本発明の好適な実施の形態によれば、非揮発性メモリに格納されたベジエ曲線の制御地点を変化させることによって調整が行われる。これは、例えばテスト／調整チャートを用いることによって行われる。必要な計算はコンピュータのような外部デバイスによって、またはカメラに組み込まれたイメージ処理デバイスによって、行うことができる。

＜好適な実施例＞
操向角度が−３５゜〜＋３５゜間で変化し、０゜は車両の直線動作に該当するとする。イメージのサイズは７２０×４８０ピクセルであり、スクリーンの左上コーナーに原点がある。ドライビングコリドーマーカーは２個の二次ベジエ曲線によって近似化され、それらの制御地点は操向角度５゜ごとに特定化される。

パラメータ（制御地点の座標）は、１５個の少ない個体を有するルックアップテーブルの形態でインターフェース制御器１２の非揮発性メモリに格納される。ルックアップテーブルの全体大きさは、１８０個の値（１５個の個体、個体当り１２個の値）、または３６０バイト（各々の値が格納のためにメモリの２バイトを占めると仮定）を有する。

インターフェース送受信器１１によってインターフェース制御器１２に伝送された操向角度の新たな値を２２゜と仮定する。ルックアップテーブルには対応する値がないので、インターフェース制御器１２は２０゜及び２５゜（対応するパラメータの組１２及び１３）に対応するパラメータをロードする。

ルックアップテーブルからロードした値間の線形補間を用いて、要求される操向角度に対するベジエ曲線の制御地点が計算される。

上記式（１）を用いると、ノードの座標はインターフェース制御器１２にて計算される。パラメータｔは０．１の増分で０と１との間で変化すると仮定する。すると、１１個のノードの座標が２つのベジエ曲線に対してそれぞれ計算される。

この後、ノードの座標は、Ｉ^２Ｃインターフェースを通じて、イメージ処理デバイス１４（小型ＦＰＧＡチップ）に伝送される。イメージ処理デバイス１４において、互いに隣接したノードは、［Ｊ．Ｅ．Ｂｒｅｓｅｎｈａｍ、「Ａｌｇｏｒｉｔｈｍ ｆｏｒ ｃｏｍｐｕｔｅｒ ｃｏｎｔｒｏｌ ｏｆ ａ ｄｉｇｉｔａｌ ｐｌｏｔｔｅｒ」，ＩＢＭ Ｓｙｓｔｅｍｓ Ｊｏｕｒｎａｌ，Ｖｏｌ．４，Ｎｏ．１，１９６５年１月，ｐｐ．２５〜３０］に示されているブレセンハムのラインアルゴリズムのハードウェアを用いてオーバーレイされたイメージを形成するように、ラインセグメントによって結ばれる。その結果が図１０に示されている。これによって、オーバーレイされたイメージは、センサから取り込まれたイメージ上に重ね合せられ、結果としてのイメージが、運転者のモニタにディスプレイされる。

今回開示された実施の形態は例示にすぎず、制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内におけるすべての変更が含まれることが意図される。

取り付けられたカメラユニットと、モニタ上にディスプレイされたイメージとを有する車両を示す図である。 車両の寸法の表したマーカーを有するイメージ（静的オーバーレイ）を示す図である。 操向角度−２０゜に対応するドライビングコリドーの表したマーカーを有するイメージを示す図である。 操向角度０゜に対応するドライビングコリドーの表したマーカーを有するイメージを示す図である。 操向角度＋２０゜に対応するドライビングコリドーの表したマーカーを有するイメージを示す図である。 従来技術のカメラシステムアーキテクチャーのブロック図である。 従来技術の動的オーバーレイ方法のフローチャートである。 制御地点の座標を用いて定義されたキュービックベジエ曲線を有するドライビングコリドーマーカーの近似値を示す図である。 本発明によるカメラユニットのブロック図である。 本発明による動的オーバーレイ方法のフローチャートである。 セグメントを有するノードを結んで生成されたドライビングコリドーマーカーを示す図である。 本発明による方法によって生成されたドライビングコリドーマーカーの一例を示す図である。

符号の説明

１０ カメラユニット
１１ インターフェース送受信器
１２ インターフェース制御器
１３ イメージセンサ
１４ イメージ処理デバイス
１５ アナログ信号エンコーダ

Claims (21)

1. 車載用カメラユニットにおいて、
   車両の外部イメージを撮像するように構成されたイメージセンサと、
   操向角度に対する制御地点の組が格納され、該格納された制御地点の組から要求される操向角度に対するベジエ曲線の制御地点がロードまたは計算され、複数のノードを生成するように構成されるインターフェース制御器と、
   前記インターフェース制御器にて計算された複数のノードの座標を伝達し、互いに隣接したノードをラインセグメントによって結んでドライビングコリドーマークを生成し、該生成されたマークが前記イメージセンサによって撮像されたイメージと重ね合せられるように構成されるイメージ処理デバイスと、
   を含むことを特徴とする車載用カメラユニット。
2. 前記イメージセンサ、前記インターフェース制御器及び前記イメージ処理デバイスは、いずれも一つのカメラユニット内に設けられる構成要素であることを特徴とする請求項１に記載の車載用カメラユニット。
3. 前記複数のノードが、
   Ｘ（ｔ）＝Ｘ_０（１−ｔ）^２＋Ｘ_１２ｔ（１−ｔ）＋Ｘ_２ｔ^２
   Ｙ（ｔ）＝Ｙ_ｏ（１−ｔ）^２＋Ｙ_１２ｔ（１−ｔ）＋Ｙ_２ｔ^２
   によって定義される２次ベジエ曲線にて計算され、ここで、Ｘ_０、Ｙ_０、Ｘ_１、Ｙ_１、Ｘ_２、Ｙ_２は制御地点の座標であり、ｔは［０，１］範囲で変化するパラメータであることを特徴とする請求項１に記載の車載用カメラユニット。
4. 前記複数のノードが、
   Ｘ（ｔ）＝Ｘ_０（１−ｔ）^３＋Ｘ_１３ｔ（１−ｔ）^２＋Ｘ_２３ｔ^２（１−ｔ）＋Ｘ_３ｔ^３
   Ｙ（ｔ）＝Ｙ_０（１−ｔ）^３＋Ｙ_１３ｔ（１−ｔ）^２＋Ｙ_２３ｔ^２（１−ｔ）＋Ｙ_３ｔ^３
   によって定義されるキュービックベジエ曲線にて計算され、ここで、Ｘ_０、Ｙ_０、Ｘ_１、Ｙ_１、Ｘ_２、Ｙ_２、Ｘ_３、Ｙ_３は制御地点の座標であり、ｔは［０，１］範囲で変化するパラメータであることを特徴とする請求項１に記載の車載用カメラユニット。
5. 前記操向角度に対する制御地点の組が、前記インターフェース制御器の非揮発性メモリにルックアップテーブルの形態で格納されたことを特徴とする請求項１〜４のうちのいずれか一つに記載の車載用カメラユニット。
6. 前記要求される操向角度に対するベジエ曲線の制御地点が、前記ルックアップテーブルに格納されたパラメータの組から補間法によって計算されることを特徴とする請求項５に記載の車載用カメラユニット。
7. 前記インターフェース制御器から計算され、前記イメージ処理デバイスに伝送された複数のノードの座標のうち、互いに隣接したノードを結ぶラインセグメントが、ブレセンハムのラインアルゴリズムによって計算されることを特徴とする請求項１〜４のうちのいずれか一つに記載の車載用カメラユニット。
8. 前記操向角度の変化に対する信号を送受信するインターフェース送受信器をさらに含み、前記インターフェース送受信器は、前記インターフェース制御器の外部に別途に設けられるか、または前記インターフェース制御器の一部であることを特徴とする請求項１〜４のうちのいずれか一つに記載の車載用カメラユニット。
9. 前記イメージ処理デバイスによって生成されたマークが重ね合せられたイメージを外部モニタに伝達するためのアナログ信号エンコーダをさらに含み、前記アナログ信号エンコーダは、前記イメージ処理デバイスの外部に別に設けられるか、または前記イメージ処理デバイスの一部であることを特徴とする請求項１〜４のうちのいずれか一つに記載の車載用カメラユニット。
10. 車両の外部をディスプレイするための方法において、
    車両の操向角度の変化を感知するステップと、
    前記操向角度の変化に応じて、メモリからベジエ曲線の制御地点をロードまたは計算し、該ロードまたは計算された制御地点に基づいてドライビングコリドーラインを生成するための複数のノードを前記ベジエ曲線を用いて計算するステップと、
    前記計算されたノードを互いに結んでラインセグメントを生成するステップと、
    前記ラインセグメントを有するオーバーレイを、イメージセンサから取り込まれたイメージ上に重ね合せ、外部ディスプレイ装置にディスプレイさせるステップと、
    を含むことを特徴とする車両外部ディスプレイ方法。
11. 前記複数のノードが、
    Ｘ（ｔ）＝Ｘ_０（１−ｔ）^２＋Ｘ_１２ｔ（１−ｔ）＋Ｘ_２ｔ^２
    Ｙ（ｔ）＝Ｙ_ｏ（１−ｔ）^２＋Ｙ_１２ｔ（１−ｔ）＋Ｙ_２ｔ^２
    によって定義される２次ベジエ曲線にて計算され、ここで、Ｘ_０、Ｙ_０、Ｘ_１、Ｙ_１、Ｘ_２、Ｙ_２は制御地点の座標であり、ｔは［０，１]範囲で変化するパラメータであることを特徴とする請求項１０に記載の車両外部ディスプレイ方法。
12. 前記複数のノードが、
    Ｘ（ｔ）＝Ｘ_０（１−ｔ）^３＋Ｘ_１３ｔ（１−ｔ）^２＋Ｘ_２３ｔ^２（１−ｔ）＋Ｘ_３ｔ^３
    Ｙ（ｔ）＝Ｙ_０（１−ｔ）^３＋Ｙ_１３ｔ（１−ｔ）^２＋Ｙ_２３ｔ^２（１−ｔ）＋Ｙ_３ｔ^３
    によって定義されるキュービックベジエ曲線にて計算され、ここで、Ｘ_０、Ｙ_０、Ｘ_１、Ｙ_１、Ｘ_２、Ｙ_２、Ｘ_３、Ｙ_３は制御地点の座標であり、ｔは［０，１]範囲で変化するパラメータであることを特徴とする請求項１０に記載の車両外部ディスプレイ方法。
13. 前記操向角度に対する制御地点が、インターフェース制御器の非揮発性メモリにルックアップテーブルの形態で格納され、要求される操向角度に対するデータが前記テーブル内に格納されていない場合、前記ベジエ曲線の制御地点は前記ルックアップテーブルに格納された制御地点から補間法によって計算されることを特徴とする請求項１０〜１２のうちのいずれか一つに記載の車両外部ディスプレイ方法。
14. 前記ラインセグメントが、ブレセンハムのラインアルゴリズムによってイメージ処理デバイスで計算されることを特徴とする請求項１０〜１２のうちのいずれか一つに記載の車両外部ディスプレイ方法。
15. 前記ベジエ曲線を用いて複数のノードを計算し、該計算されたノードを互いに結んでラインセグメントを生成し、該ラインセグメントを含むオーバーレイをイメージセンサから取り込まれたイメージ上に重ね合せる各ステップは、いずれも一つのカメラユニット内で行われることを特徴とする請求項１０に記載の車両外部ディスプレイ方法。
16. 車両外部のイメージと重ね合せられるようにディスプレイされるドライビングコリドーマーカーの生成システムにおいて、
    車両の操向角度の変化に応じて、前記ドライビングコリドーマーカーが動的に変化するようにオーバーレイされ、該動的な変化は、
    Ｘ（ｔ）＝Ｘ_０（１−ｔ）^２＋Ｘ_１２ｔ（１−ｔ）＋Ｘ_２ｔ^２
    Ｙ（ｔ）＝Ｙ_ｏ（１−ｔ）^２＋Ｙ_１２ｔ（１−ｔ）＋Ｙ_２ｔ^２
    または、
    Ｘ（ｔ）＝Ｘ_０（１−ｔ）^３＋Ｘ_１３ｔ（１−ｔ）^２＋Ｘ_２３ｔ^２（１−ｔ）＋Ｘ_３ｔ^３
    Ｙ（ｔ）＝Ｙ_０（１−ｔ）^３＋Ｙ_１３ｔ（１−ｔ）^２＋Ｙ_２３ｔ^２（１−ｔ）＋Ｙ_３ｔ^３
    によって定義される２次ベジエ曲線またはキュービックベジエ曲線を満たす複数のノードの座標を計算し、該計算された複数のノードを互いに結ぶことによってディスプレイされ、ここで、Ｘ_０、Ｙ_０、Ｘ_１、Ｙ_１、Ｘ_２、Ｙ_２、Ｘ_３、Ｙ_３は制御地点の座標であり、ｔは［０，１]範囲で変化するパラメータであることを特徴とするドライビングコリドーマーカー生成システム。
17. 前記複数のノードの座標が、前記車両操向角度の変化に応じてメモリからベジエ曲線の制御地点がロードまたは計算され、該ロードまたは計算された制御地点に基づいて前記ベジエ曲線を用いて計算されることを特徴とする請求項１６に記載のドライビングコリドーマーカー生成システム。
18. 前記複数のノードが、イメージ処理デバイスの外部で計算されることを特徴とする請求項１６に記載のドライビングコリドーマーカー生成システム。
19. 前記複数のノードが、インターフェース制御器にて計算されることを特徴とする請求項１８に記載のドライビングコリドーマーカー生成システム。
20. 前記計算された複数のノードの結びが、イメージ処理デバイスでの計算によって処理されることを特徴とする請求項１９に記載のドライビングコリドーマーカー生成システム。
21. 前記インターフェース制御器及びイメージ処理デバイスは、いずれも一つのカメラユニット内に含まれた構成要素であることを特徴とする請求項２０に記載のドライビングコリドーマーカー生成システム。

Images