JP2020516100A - アラウンドビュー提供装置 - Google Patents

Abstract

アラウンドビュー提供装置は、第１及び第２映像情報を獲得する第１及び第２カメラと、プロセッサーを含む。プロセッサーは、第１及び第２映像をもとに被写体の重畳領域を含む第１領域と被写体の重畳領域を含まない第２領域とを含むアラウンドビュー映像を生成することができる。被写体の重畳領域は、第１及び第２映像で第１及び第２境界線の間に配置され、第１境界線は第１領域内に位置し、第２境界線は前記第２領域と接する。プロセッサーは、第１オブジェクトが一定の距離以内に近接して第２境界線を通ることと予測される場合、第２領域が被写体の重畳領域を含むように第２領域を変更させたアラウンドビュー映像を生成することができる。

Description

本発明は、アラウンドビュー提供装置に関する。

車両は、人または貨物を運送する目的に車両を駆動させて走行するすべての装置である。車両の一般的な例として自動車を挙げられる。

自動車は、使用される原動機の種類によって、内燃機関（ｉｎｔｅｒｎａｌ ｃｏｍｂｕｓｔｉｏｎ ｅｎｇｉｎｅ）自動車、外燃機関（ｅｘｔｅｒｎａｌ ｃｏｍｂｕｓｔｉｏｎ ｅｎｇｉｎｅ）自動車、ガスタービン（ｇａｓ ｔｕｒｂｉｎｅ）自動車または電気自動車（ｅｌｅｃｔｒｉｃ ｖｅｈｉｃｌｅ）などに分類され得る。

電気自動車は、電気をエネルギー源として使用して電気モーターを駆動させる自動車であって、また、純粋電気自動車、ハイブリッド電気車（Ｈｙｂｒｉｄ Ｅｌｅｃｔｒｉｃ Ｖｅｈｉｃｌｅ：ＨＥＶ）、プラグインハイブリッド電気車（Ｐｌｕｇ−ｉｎ Ｈｙｂｒｉｄ Ｅｌｅｃｔｒｉｃ Ｖｅｈｉｃｌｅ：ＰＨＥＶ）、水素燃料電池車（Ｆｕｅｌ Ｃｅｌｌ Ｅｌｅｃｔｒｉｃ Ｖｅｈｉｃｌｅ：ＦＣＥＶ）などに分類され得る。

最近、運転者と歩行者の安全や便宜のために知能型自動車（Ｓｍａｒｔ Ｖｅｈｉｃｌｅ）の開発及び商用化が活発に進行されている。知能型自動車は、情報通信技術（Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ：ＩＴ）を融合した最尖端自動車であって、自動車自らの先端システム導入はもちろん知能型交通システムとの連動を介して最適の交通效率を提供する。具体的に、知能型自動車は、自動走行機能、適応式定速走行制御（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ：ＡＣＣ）、障害物感知、衝突感知、精緻な地図提供、目的地までの経路設定及び主要場所に対する位置提供などを行うことによって、運転者と搭乗者及び歩行者の安全と便宜を極大化する。

このように運転者と搭乗者及び歩行者の安全と便宜を極大化するための装置のうち一つとしてアラウンドビュー提供装置が注目されている。

アラウンドビュー提供装置は、カメラを用いて車両を中心にアラウンドビュー映像を提供するものであって、運転者は、アラウンドビュー映像を介して車両周辺をリアルタイムで見ることができる。

アラウンドビュー映像は、互いに異なる方向から獲得された映像を合成して生成されるため、隣接する映像の間に境界が存在する。

しかし、従来のアラウンドビュー提供装置は、このような境界に歩行者や危険物体などが位置する場合、アラウンドビュー映像でこのような歩行者や危険物体などが重畳されたり消えるようになって、運転者が歩行者や危険物体を認知することができなくて歩行者事故や車両事故が発生するという問題がある。

本発明は、前述した問題及び他の問題を解決することを目的とする。

本発明の他の目的は、どんな状況でもアラウンドビュー映像でオブジェクトが消えたり重畳されないようにするアラウンドビュー提供装置、提供方法及びこれを備えた車両を提供する。

前記または他の目的を果たすために本発明の一側面によれば、アラウンドビュー提供装置は、第１及び第２映像情報を獲得する第１及び第２カメラ；及びプロセッサーを含む。前記プロセッサーは、前記第１及び第２映像をもとに被写体の重畳領域を含む第１領域と前記被写体の重畳領域を含まない第２領域とを含むアラウンドビュー映像を生成することができる。前記被写体の重畳領域は、前記第１及び第２映像で第１及び第２境界線の間に配置され、前記第１境界線は、前記第１領域内に位置され、前記第２境界線は、前記第２領域と接することができる。前記プロセッサーは、第１オブジェクトが一定の距離以内に近接して前記第２境界線を通ることと予測される場合、前記第２領域が前記被写体の重畳領域を含むように前記第２領域を変更させたアラウンドビュー映像を生成することができる。

本発明の他の側面によれば、アラウンドビュー提供装置は、第１及び第２映像を獲得する第１及び第２カメラ；及びプロセッサーを含む。

前記プロセッサーは、前記獲得された第１及び第２映像をもとに重畳領域を含む第１合成領域と前記重畳領域を含まない第２合成領域とを含むアラウンドビュー映像を生成し、第１オブジェクトが一定の距離以内に近接して第２境界線を通ることと予測される場合、前記重畳領域を含むように前記第２合成領域を拡大させたアラウンドビュー変造映像を生成する。前記重畳領域は、第１境界線及び前記第２境界線の間に配置され、前記第１境界線は、前記第１合成領域内に位置され、前記第２境界線は、前記第２合成領域と接する。

本発明のまた他の側面によれば、車両は、前記アラウンドビュー提供装置を備える。

本発明のまた他の側面によれば、アラウンドビュー提供方法は、第１及び第２カメラから獲得された第１及び第２映像をもとに重畳領域を含む第１合成領域と前記重畳領域を含まない第２合成領域とを含むアラウンドビュー映像を生成する段階−前記重畳領域は第１及び第２境界線の間に配置され、前記第１境界線は前記第１合成領域内に位置し、前記第２境界線は前記第２合成領域と接する−；及び第１オブジェクトが一定の距離以内に近接して前記第２境界線を通ることと予測される場合、前記重畳領域を含むように前記第２合成領域を拡大させたオラウンブビュ変造映像を生成する段階を含む。

本発明のまた他の側面によれば、コンピューターの読めるプログラムが記録された記録媒体は、次のようなアラウンドビュー提供方法を行うプログラムが記録される。

前記アラウンドビュー提供方法は、第１及び第２カメラそれぞれから獲得された第１及び第２映像をもとに重畳領域を含む第１合成領域と前記重畳領域を含まない第２合成領域とを含むアラウンドビュー映像を生成する段階；及びオブジェクトが一定の距離以内に近接して第２境界線を通ることと予測される場合、前記重畳領域を含むように前記第２合成領域を拡大させたアラウンドビュー変造映像を生成する段階を含む。

前記重畳領域は、第１境界線及び前記第２境界線の間に配置され、前記第１境界線は前記第１合成領域内に位置し、前記第２境界線は前記第２合成領域と接する。

本発明によるアラウンドビュー提供装置の效果について説明すれば次の通りである。

本発明の実施例の少なくとも一つによれば、アラウンドビュー映像の特定の境界線にオブジェクトが位置する場合、当該境界線が変更されるように当該境界線に隣接する合成領域が重畳領域をさらに含むように拡大されることによって、当該オブジェクトが境界線に位置しなくなり、前記拡大された合成領域が同じカメラによって獲得された映像に生成されて視点（ｖｉｅｗｐｏｉｎｔ）の連続性を維持する。これによって、当該境界線に位置したオブジェクトは、重畳されたり消えないという長所がある。

本発明の実施例の少なくとも一つによれば、アラウンドビュー映像の特定の境界線にオブジェクトが位置する場合、重畳領域が第１合成領域の映像で第２合成領域の映像に漸進的にまたは順に変更されることによって、映像のスムーズな転換を介して映像の急な変更による目障りのような不便を解消することができるという長所がある。

本発明の実施例の少なくとも一つによれば、少なくとも一つ以上のオブジェクトが接近されて、このうち第１オブジェクトの消失を防止するためにアラウンドビュー映像が変調され、第２オブジェクトが前記変調されたアラウンドビュー映像の特定の境界線に位置して第２オブジェクトが消えるようになる場合、第２オブジェクトが位置した部分を撮影するカメラから獲得された映像を別途の画面を介してディスプレイされるようにすることによって、第２オブジェクトの消失を補完して製品に対する信頼性が向上することができるという長所がある。

本発明の実施例の少なくとも一つによれば、アラウンドビュー映像が変調されて前記変調されたアラウンドビュー映像内の各合成領域の変更を容易に識別できるように識別バーがディスプレイされるようにすることによって、運転者の関心を誘導して事故により積極的に対処することができるという長所がある。

本発明の適用可能性の追加の範囲は、以下の詳細な説明から明らかになるであろう。しかし、本発明の思想及び範囲内で多様な変更及び修正は当業者にとって明確に理解され得るので、詳細な説明及び本発明の望ましい実施例のような特定実施例は、単なる例示として与えられたものと理解されるべきである。

実施例に係るアラウンドビュー提供装置の構成を示したブロック図である。 実施例に係るアラウンドビュー提供装置を備える車両の外観を示した図である。 実施例に係るアラウンドビュー提供装置に含まれるセンサー部が車両に配置された様子を示す。 実施例に係るアラウンドビュー提供装置を含む車両の構成を示したブロック図である。 アラウンドビュー映像を示す。 第１及び第３カメラそれぞれから獲得された映像を示す。 第１及び第３カメラそれぞれから獲得された映像をもとに生成された第１及び第３合成領域を示す。 第２及び第４カメラそれぞれから獲得された映像を示す。 第２及び第４カメラそれぞれから獲得された第２及び第４映像をもとに生成された第２及び第４合成領域を示す。 実施例に係るアラウンドビュー提供装置のプロセッサーの構成を示したブロック図である。 実施例に係るアラウンドビュー変造方法を説明する図である。 他の実施例に係るプロセッサーの構成を示したブロック図である。 複数のオブジェクトの接近と関連した画面構成の一例を示す。 また他の実施例に係るプロセッサーの構成を示したブロック図である。 アラウンドビュー映像が変調されるとき、各合成領域の変更を識別するようにする識別バーを示す。 アラウンドビュー映像の各合成領域の境界にオブジェクトが位置するときの処理過程を示す。 複数のオブジェクトの接近と関連した画面構成の他の例を示す。

発明の実施のための形態

以下、添付された図面を参照して本明細書に開示された実施例を詳しく説明するが、 図面符号に関係なく同一または類似の構成要素は同一の参照符号を付与し、これに対する重複説明は省略することにする。以下の説明で使用される構成要素に対する接尾辞「モジュール」および「部」は明細書作成の容易さだけが考慮されて付与されたり混用されるものであって、それ自体で互いに区別される意味または役割を有するものではない。また、本明細書に開示された実施例を説明するにおいて、関連した公知技術に対いする具体的な説明が、本明細書に開示された実施例の要旨を曖昧にし得ると判断される場合にはその詳細な説明を省略する。また、添付された図面は本明細書に開示された実施例を易しく理解するようにするためのことに過ぎず、添付された図面によって本明細書に開示された技術的思想が制限されず、本発明の思想および技術範囲に含まれるすべての変更、均等物ないし代替物を含むものと理解されるべきである。

第１、第２などのように序数を含む用語は多様な構成要素を説明するために使用され得るが、前記構成要素は前記用語によって限定されない。前記用語は一つの構成要素を他の構成要素から区別する目的だけで使用される。

ある構成要素が他の構成要素に「連結されて」いるとか「接続されて」いると言及された際には、その他の構成要素に直接的に連結されているか、または接続されていることもあるが、中間に他の構成要素が存在することもあると理解されるべきである。一方、ある構成要素が他の構成要素に「直接連結されて」いるとか「直接接続されて」いると言及された際には、中間に他の構成要素が存在しないことと理解されるべきである。

単数の表現は文脈上明白に異なるように意味しない限り、複数の表現を含む。

本出願において、「含む」または「有する」などの用語は明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定しようとすることによってあって、一つまたはその以上の他の特徴や数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものなどの存在または付加可能性を予め排除しないことと理解されるべきである。

本明細書で記述する車両は、自動車とバイクなどすべての種類の車両を含むことができる。以下では、自動車の場合を例を挙げて説明する。

また、車両は、動力源としてエンジンを備える内燃機関車両、動力源としてエンジンと電気モーターを備えるハイブリッド車両、動力源として電気モーターを備える電気車両などをすべて含む概念であり得る。

以下では、車両の左側は、車両の走行方向を基準に左側を意味し、車両の右側は、車両の走行方向を基準に右側を意味する。以下の説明においては、別途の言及がない限り、車両は、ハンドルが左側に位置したＬｅｆｔ Ｈａｎｄ Ｄｒｉｖｅ（ＬＨＤ）車両を意味する。

本明細書で説明するアラウンドビュー提供装置は、車両に備えられる別途の装置であって、車両とのデータ通信を介して必要な情報を取り交わして車両周辺のオブジェクトに対するアラウンドビュー映像を提供する装置と定義する。しかし、実施例によって、アラウンドビュー提供装置は、車両の構成要素のうち一部の集合で形成されて、車両の一部を構成することもできる。

アラウンドビューは、車両周辺を見せる映像であって、トップビュー（ｔｏｐ ｖｉｅｗ）またはバーズビュー（ｂｉｒｄ ｖｉｅｗ）と命名されることもある。このようなアラウンドビューは、互いに異なる方向から獲得された映像をもとに生成され得る。

アラウンドビュー提供装置が別途の装置であるとき、アラウンドビュー提供装置の各構成要素（図１参照）の少なくとも一部は、アラウンドビュー提供装置に含まれず、車両または車両に搭載された他の装置に含まれる外部構成要素であり得る。このような外部構成要素は、アラウンドビュー提供装置のインターフェース部を介してデータを送受信することによって、アラウンドビュー提供装置を構成することと理解することができる。

説明の便宜のために、本明細書においては、アラウンドビュー提供装置が図１に示された各構成要素を直接含むものと説明する。

以下、添付した図面を参照して実施例に係るアラウンドビュー提供装置について詳しく説明する。

図１は、実施例に係るアラウンドビュー提供装置の構成を示したブロック図である。

図１を参照すれば、アラウンドビュー提供装置１００は、センシング部１５５及びプロセッサー１７０を含むことができる。また、実施例に係るアラウンドビュー提供装置１００は、入力部１１０、通信部１２０、インターフェース部１３０、メモリー１４０、モニタリング部１６５、ディスプレイ部１８０、オーディオ出力部１８５及び電源供給部１９０の少なくとも一つ以上をさらに含むことができる。但し、図１に示された構成要素は、アラウンドビュー提供装置１００を実現することにおいて必須のものではないので、実施例に係るアラウンドビュー提供装置１００は、上記の列挙された構成要素より多いか、または少ない構成要素を有することができる。

各構成について詳しく説明すれば、入力部１１０は、ユーザの入力を感知することができる。例えば、ユーザは、入力部１１０を介してアラウンドビュー提供装置１００が提供するアラウンドビューに対する設定を入力するか、またはアラウンドビュー提供装置１００の電源をオン（ｏｎ）／オフ（ｏｆｆ）させる実行などを入力することができる。

このような入力部１１０は、ユーザのジェスチャーを感知するジェスチャー入力部（例えば、ｏｐｔｉｃａｌ ｓｅｎｓｏｒなど）、タッチを感知するタッチ入力部（例えば、タッチセンサー（ｔｏｕｃｈ ｓｅｎｓｏｒ）、タッチキ（ｔｏｕｃｈ ｋｅｙ）、プシキ（ｍｅｃｈａｎｉｃａｌ ｋｅｙ）など）及び音声入力を感知するマイクロホン（ｍｉｃｒｏｐｈｏｎｅ）の少なくとも一つ以上を含み、ユーザ入力を感知することができる。

通信部１２０は、他車両５１０、移動端末機６００及びサーバー５００などと通信を行うことができる。

この場合、アラウンドビュー提供装置１００は、通信部１２０を介してナビゲーション（Ｎａｖｉｇａｔｉｏｎ）情報、他車両の走行情報及び交通情報の少なくとも一つの情報を受信することができる。また、アラウンドビュー提供装置１００は、通信部１２０を介して当該アラウンドビュー提供装置１００が備えられた自車両に対する情報を送信することができる。

具体的に、通信部１２０は、移動端末機６００または／及びサーバー５００から位置情報、天気情報及び道路交通状況情報（例えば、ＴＰＥＧ（Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）など）の少なくとも一つの情報を受信することができる。

また、通信部１２０は、知能型交通システム（ＩＴＳ）を揃えたサーバー５００から交通情報を受信することができる。ここで、交通情報は、交通信号情報、車線情報、車両周辺情報または位置情報などを含むことができる。

通信部１２０は、移動端末機６００または／及びサーバー５００にナビゲーション情報を送信することができる。ここで、ナビゲーション情報は、車両の走行と関連した地図情報、車線情報、車両の位置情報、設定された目的地情報及び目的地に応じた経路情報の少なくとも一つ以上を含むことができる。

例えば、通信部１２０は、ナビゲーション情報で車両のリアルタイム位置を受信することができる。具体的に、通信部１２０は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュールまたは／及び ＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）モジュールを含んで車両の位置を獲得することができる。

また、通信部１２０は、他車両５１０から他車両５１０の走行情報を受信して自車両の情報に他車両５１０に送信して、車両間の走行情報を互いに共有することができる。ここで、互いに共有する走行情報は、車両の移動方向情報、位置情報、車速情報、加速度情報、移動経路情報、前進／後進情報、隣接車両情報及びターンシグナル情報の少なくとも一つ以上の情報を含むことができる。

また、ユーザが車両に乗った場合、ユーザの移動端末機６００とアラウンドビュー提供装置１００は、 自動的に、またはユーザのアプリケーション実行によって互いにペアリング（ｐａｉｒｉｎｇ）を行うことができる。

このような通信部１２０は、他車両５１０、移動端末機６００またはサーバー５００と無線（ｗｉｒｅｌｅｓｓ）方式でデータを交換することができる。

詳細には、通信部１２０は、無線データ通信方式を用いて無線通信を行うことができる。無線データ通信方式としては、移動通信のための技術標準または通信方式（例えば、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉ Ａｃｃｅｓｓ）、ＣＤＭＡ２０００（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉ Ａｃｃｅｓｓ２０００）、ＥＶ−ＤＯ（Ｅｎｈａｎｃｅｄ Ｖｏｉｃｅ−Ｄａｔａ Ｏｐｔｉｍｉｚｅｄ ｏｒ Ｅｎｈａｎｃｅｄ Ｖｏｉｃｅ−Ｄａｔａ Ｏｎｌｙ）、ＷＣＤＭＡ（Ｗｉｄｅｂａｎｄ ＣＤＭＡ）、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ＨＳＵＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｕｐｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ−Ａ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ−Ａｄｖａｎｃｅｄ）などを利用することができる。

また、通信部１２０は、無線インターネット技術を利用することができ、例えば、無線インターネット技術として、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ−Ｆｉｄｅｌｉｔｙ）、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）Ｄｉｒｅｃｔ、ＤＬＮＡ（Ｄｉｇｉｔａｌ Ｌｉｖｉｎｇ Ｎｅｔｗｏｒｋ Ａｌｌｉａｎｃｅ）、ＷｉＢｒｏ（Ｗｉｒｅｌｅｓｓ Ｂｒｏａｄｂａｎｄ）、ＷｉＭＡＸ（Ｗｏｒｌｄ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔy ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ＨＳＵＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｕｐｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ−Ａ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ−Ａｄｖａｎｃｅｄ）などを利用することができる。

また、通信部１２０は、近距離通信（Ｓｈｏｒｔ ｒａｎｇｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）を利用することができ、例えば、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ^ＴＭ）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ；ＩｒＤＡ）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）、ＺｉｇＢｅｅ、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ−Ｆｉｄｅｌｉｔｙ）、ｗｉ−ｆｉ Ｄｉｒｅｃｔ、Ｗｉｒｅｌｅｓｓ ＵＳＢ（Ｗｉｒｅｌｅｓｓ Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）技術の少なくとも一つを利用して、近距離通信を支援することができる。

また、アラウンドビュー提供装置１００は、近距離通信方式を用いて車両内部の移動端末機６００とペアリング（ｐａｒｉｎｇ）し、移動端末機６００の長距離無線通信モジュールを用いて他車両５１０またはサーバー５００などと無線でデータを交換することもできる。

インターフェース部１３０は、車両を全体的に制御するＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）７７０からデータを受信したり、プロセッサー１７０で処理または生成された信号を外部に伝送するなど、アラウンドビュー提供装置１００の内外部間のインターフェースを行うことができる。

具体的に、アラウンドビュー提供装置１００は、インターフェース部１３０を介して車両の走行情報、ナビゲーション情報及びセンシング情報の少なくとも一つの情報を受信することができる。

また、アラウンドビュー提供装置１００は、インターフェース部１３０を介してアラウンドビューの実行のための制御信号や、アラウンドビュー提供装置１００で生成した情報などを車両のＥＣＵ７７０に送信することができる。

このために、インターフェース部１３０は、有線通信または無線通信方式によって車両内部のＥＣＵ７７０、ＡＶＮ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｎａｖｉｇａｔｉｏｎ）装置４００及びセンシング部７６０の少なくとも一つとデータ通信を行うことができる。

具体的に、インターフェース部１３０は、ＥＣＵ７７０、ＡＶＮ 装置４００または／及び別途のナビゲーション装置（図示せず）とのデータ通信によってナビゲーション情報を受信することができる。

また、インターフェース部１３０は、ＥＣＵ７７０またはセンシング部７６０からセンシング情報を受信することができる。

ここで、センシング情報は、車両の方向情報、位置情報、車速情報、加速度情報、勾配情報、前進／後進情報、燃料情報、前後方の車両との距離情報、車両と車線との距離情報及びターンシグナル情報の少なくとも一つ以上の情報を含むことができる。

また、センシング情報は、ヘディングセンサー（ｈｅａｄｉｎｇ ｓｅｎｓｏｒ）、ヨーセンサー（ｙａｗ ｓｅｎｓｏｒ）、ジャイロセンサー（ｇｙｒｏ ｓｅｎｓｏｒ）、ポジションモジュール（ｐｏｓｉｔｉｏｎ ｍｏｄｕｌｅ）、車前進／後進センサー、ホイールセンサー（ｗｈｅｅｌ ｓｅｎｓｏｒ）、車両速度センサー、車体傾斜感知センサー、バッテリーセンサー、燃料センサー、タイヤセンサー、ハンドルの回転によるステアリングホイールセンサー、車両内部温度センサー、車両内部湿度センサー、ドアセンサーなどから獲得され得る。一方、ポジションモジュールは、ＧＰＳ情報受信のためのＧＰＳモジュールを含むことができる。

インターフェース部１３０は、車両のユーザ入力部７２４を介して受信されるユーザ入力を受信することができる。この場合、インターフェース部１３０は、ユーザ入力を車両の入力部７２４から直接受信するか、または車両のＥＣＵ７７０を介して受信することができる。

また、インターフェース部１３０は、サーバー５００から獲得された交通情報を受信することもできる。サーバー５００は、交通を管制する交通管制所に位置するサーバーであり得る。例えば、車両の通信部７１０を介してサーバー５００から交通情報が受信される場合、インターフェース部１３０は、交通情報を車両のＥＣＵ７７０から受信することもできる。

メモリー１４０は、プロセッサー１７０の処理または制御のためのプログラムなどアラウンドビュー提供装置１００の全般的な動作のための多様なデータを保存することができる。

また、メモリー１４０は、アラウンドビュー提供装置１００で駆動される複数の応用プログラム（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍまたはアプリケーション（ａｐｐｌｉｃａｔｉｏｎ））、アラウンドビュー提供装置１００の動作のためのデータ、命令語を保存することができる。このような応用プログラムの少なくとも一部は、無線通信を介して外部サーバーからダウンロードされ得る。また、このような応用プログラムの少なくとも一部は、アラウンドビュー提供装置１００の基本的な機能（例えば、車両周辺案内機能）のために出庫当時からアラウンドビュー提供装置１００上に存在することができる。

このような応用プログラムは、メモリー１４０に保存されて、プロセッサー１７０によってアラウンドビュー提供装置１００の動作または機能を行うように駆動され得る。

一方、メモリー１４０は、映像に含まれるオブジェクトを確認するためのデータを保存することができる。例えば、メモリー１４０は、カメラ１６０を介して獲得された車両周辺映像から所定のオブジェクトが検出される場合、多様なアルゴリズムによって、前記オブジェクトが何に該当するかを確認するためのデータを保存することができる。

例えば、メモリー１４０は、カメラ１６０を介して獲得された映像に含まれるオブジェクトが車線、交通表示板、二輪車、歩行者のようなオブジェクトに該当するかを判断するための比較映像及び比較データを保存することができる。

また、メモリー１４０は、アラウンドビュー映像を生成するのに使用される既に設定された合成情報や視点情報を保存することができる。

互いに異なる方向から獲得された映像が合成されてアラウンドビューが生成され得る。このとき、各映像から生成された合成領域の範囲情報と境界線情報が合成情報としてメモリー１４０に保存され得る。

視点情報は、カメラの視点から見られる方向に関する情報であり得るが、これに限定しない。

このようなメモリー１４０は、ハードウェア的に、フラッシュメモリータイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、ＳＳＤタイプ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ ｔｙｐｅ）、ＳＤＤタイプ（Ｓｉｌｉｃｏｎ Ｄｉｓｋ Ｄｒｉｖｅ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリー（例えば、ＳＤまたはＸＤメモリーなど）、ラム（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ；ＲＡＭ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ロム（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ；ＲＯＭ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、磁気メモリー、磁気ディスク及び光ディスクの少なくとも一つのタイプの保存媒体を含むことができる。

また、アラウンドビュー提供装置１００は、インターネット（ｉｎｔｅｒｎｅｔ）上でメモリー１４０の保存機能を行うウェブストレージ（ｗｅｂ ｓｔｏｒａｇｅ）と関連して動作されることもある。

モニタリング部１６５は、車両内部の状況に対する情報を獲得することができる。

モニタリング部１６５の感知する情報は、顔面認識情報、指紋認識（Ｆｉｎｇｅｒｐｒｉｎｔ）情報、虹彩認識（Ｉｒｉｓ−ｓｃａｎ）情報、網膜認識（Ｒｅｔｉｎａ−ｓｃａｎ）情報、掌形（Ｈａｎｄ ｇｅｏｍｅｔｒｙ）情報、音声認識（Ｖｏｉｃｅ ｒｅｃｏｇｎｉｔｉｏｎ）情報の少なくとも一つ以上の情報を含むことができる。そしてモニタリング部１６５は、このような生体認識情報を感知するその他センサーを含むことができる。

アラウンドビュー提供装置１００は、車両周辺のオブジェクトを感知するセンシング部１５５をさらに含むことができる。実施例によって、アラウンドビュー提供装置１００は、車両のセンシング部７６０で得られたセンシング情報をインターフェース部１３０を介して受信することもできる。このように獲得されたセンシング情報は、車両周辺情報に含まれ得る。

センシング部１５５は、車両周辺のオブジェクトの位置を感知する距離センサー１５０と、車両周辺を撮影して映像を獲得するカメラ１６０の少なくとも一つを含むことができる。

距離センサー１５０は、自車両に隣接したオブジェクトの位置、オブジェクトが離隔した方向、隔離距離またはオブジェクトの移動方向などを精緻に感知することができる。このような距離センサー１５０は、感知されたオブジェクトとの位置を持続的に測定して、自車両との位置関係に対する変化を正確に感知することができる。

距離センサー１５０は、車両の前後及び左右の少なくとも一つの領域に位置したオブジェクトを感知することができる。このために、距離センサー１５０は、車両の多様な位置に配置され得る。

距離センサー１５０は、ライだ（Ｌｉｄａｒ）センサー、レーザー（ｌａｓｅｒ）センサー、超音波（ｕｌｔｒａｓｏｎｉｃ ｗａｖｅｓ）センサー及びステレオカメラ（ｓｔｅｒｅｏ ｃａｍｅｒａ）など距離測定が可能な多様な種類のセンサーの少なくとも一つ以上を含むことができる。

例えば、距離センサー１５０は、レーザーセンサーであって、レーザー信号変造方法によって、時間遲延方式（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ、ＴＯＦ）または／及び位相変造方式（ｐｈａｓｅ−ｓｈｉｆｔ）などを用いて自車両とオブジェクトとの間の位置関係を正確に測定することができる。

一方、オブジェクトに対する情報は、カメラ１６０が撮影した映像をプロセッサー１７０が分析して獲得され得る。具体的に、アラウンドビュー提供装置１００は、カメラ１６０で車両周辺を撮影し、獲得された車両周辺映像をプロセッサー１７０が分析して車両周辺のオブジェクトを検出し、オブジェクトの属性を判断してセンシング情報を生成することができる。

ここで、オブジェクト情報は、オブジェクトの種類、オブジェクトが表示する交通信号情報、オブジェクトと車両との間の距離及びオブジェクトの位置の少なくとも一つの情報として、センシング情報に含まれ得る。

具体的に、プロセッサー１７０は、撮影された映像から映像処理を介してオブジェクトを検出し、オブジェクトをトラッキングし、オブジェクトとの距離を測定し、オブジェクトを確認するなどのオブジェクト分析を行うことによって、オブジェクト情報を生成することができる。

示されなかったが、センシング部１５５は、超音波センサーをさらに含むことができる。超音波センサーは、複数の超音波センサーを含むことができるが、これに限定しない。各超音波センサーから送信される超音波と、送信された超音波がオブジェクトによって反射して受信される超音波との間の差をもとに車両周辺のオブジェクトを感知することができる。

一方、プロセッサー１７０は、四方から撮影された映像を合成して車両を上部から見下ろしたアラウンドビュー映像を提供することができる。

プロセッサー１７０がオブジェクト分析をさらに容易に行うために、実施例においでカメラ１６０は、映像を撮影することと共にオブジェクトとの距離を測定するステレオカメラであり得る。

カメラ１６０は、映像センサーと映像処理モジュールを直接含むことができる。この場合、カメラ１６０は映像センサー（例えば、ＣＭＯＳまたはＣＣＤ）によって得られる静止映像または動映像を処理することができる。また、映像処理モジュールは、映像センサーを介して獲得された静止映像または動映像を加工して、必要な映像情報を抽出し、抽出された映像情報をプロセッサー１７０に伝達することができる。

センシング部１５５は、距離センサー１５０とカメラ１６０が結合されたステレオカメラであり得る。すなわち、ステレオカメラは、映像を獲得することと共にオブジェクトとの位置関係を感知することができる。

ディスプレイ部１８０は、アラウンドビュー映像を表示することができる。このようなディスプレイ部１８０は、必要に応じて少なくとも一つ以上のディスプレイ領域を含むことができる。各ディスプレイ領域に互いに異なる映像情報がディスプレイされ得る。

オーディオ出力部１８５は、アラウンドビューに対する説明、実行可否などを確認するメッセージをオーディオに出力することができる。これによって、アラウンドビュー提供装置１００は、ディスプレイ部１８０を介した視覚的な表示と共にオーディオ出力部１８５の音響出力を介してアラウンドビュー提供装置１００の機能に対する説明を互いに補完することができる。

実施例によって、アラウンドビュー提供装置１００は、ヘブティック信号を出力するヘブティック出力部（図示せず）をさらに含むことができる。ヘブティック出力部（図示せず）は、アラウンドビューに対するアラームをヘブティックに出力することができる。例えば、アラウンドビュー提供装置１００は、ナビゲーション情報、交通情報、通信情報、車両状態情報、運転補助機能（ＡＤＡＳ）情報及びその他運転者便宜情報の少なくとも一つの情報に運転者に対する警告が含まれると、これを震動でユーザに知らせることができる。

このようなヘブティック出力部（図示せず）は、方向性を有する震動を提供することができる。例えば、ヘブティック出力部（図示せず）は、操向を制御するステアリングホイールに配置されて震動を出力することができ、震動提供時、ステアリングホイールの左右を区分して震動を出力することによって、ヘブティック出力の方向性を付与することができる。

電源供給部１９０は、プロセッサー１７０の制御によって外部の電源、内部の電源が印加されて各構成要素の動作に必要な電源を供給することができる。

プロセッサー１７０は、アラウンドビュー提供装置１００内の各構成要素の全般的な動作を制御することができる。

また、プロセッサー１７０は、応用プログラムを駆動するために、アラウンドビュー提供装置１００に含まれた構成要素の少なくとも一部を制御するか、または少なくとも二つ以上を互いに組み合わせて動作させることができる。

このようなプロセッサー１７０は、ハードウェア側面において、ＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、制御機（ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロコントローラー（ｍｉｃｒｏ−ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセッサー１７０（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、その他機能遂行のための電気的ユニットの少なくとも一つの形態に実現され得る。

実施例によって、プロセッサー１７０は、車両のＥＣＵ７７０によって制御され得る。

プロセッサー１７０は、メモリー１４０に保存された応用プログラムと関連した動作外にも、通常的にアラウンドビュー提供装置１００の全般的な動作を制御する。プロセッサー１７０は、上で検討した構成要素を介して入力または出力される信号、データ、情報などを処理するか、またはメモリー１4０に保存された応用プログラムを駆動することによって、ユーザに適切な情報または機能を提供または処理することができる。

図２ａは、実施例に係るアラウンドビュー提供装置を備える車両の外観を示した図である。

図２ａを参照すれば、実施例に係る車両７００は、動力源によって回転する車輪１３ＦＬ、１３ＲＬと、ユーザに車両周辺のオブジェクト情報を提供するアラウンドビュー提供装置１００を含む。

アラウンドビュー提供装置１００は、車両７００の内部に設置され得る。この場合、アラウンドビュー提供装置１００の設置位置は、実施例によって多様に設定され得る。図２ａを参照すれば、アラウンドビュー提供装置１００は、車両７００の全面窓の下端に配置される。

図２ｂは、実施例に係るアラウンドビュー提供装置に含まれるセンサー部が車両に配置された様子を示す。

センシング部１５５に含まれる距離センサー１５０は、車両ボディーの前後と左右及び天井の少なくとも一つの位置に配置され得る。図２ｂを参照すれば、車両の左側側面と右側側面にそれぞれ距離センサー１５０ａ、１５０ｂが配置される。

センシング部１５５に含まれるカメラ１６０は、走行方向の前後と左右を監視できるように多様な位置に備えられ得る。図２ｂを参照すれば、車両の前方、後方、左側及び右側にカメラ１６０ａ、１６０ｂ、１６０ｃ、１６０ｄがそれぞれ配置される。

例えば、前方に設置されるカメラ１６０ａは第１カメラと命名され、右側に設置されるカメラ１６０ｂは第２カメラと命名され、後方に設置されるカメラ１６０ｃは第３カメラと命名され、左側に設置されるカメラ１６０ｄは第４カメラと命名され得るが、これに限定しない。複数のカメラ１６０ａ、１６０ｂ、１６０ｃ、１６０ｄの一番先に言及されるカメラが第１カメラと命名され、その次に言及されるカメラが第２カメラと 命名されることもある。

第１カメラ１６０ａは、走行方向の前方を撮影して前方映像を獲得することができる。このために、第１カメラ１６０ａは、エンブレム付近またはラジエーターグリル付近に配置され得る。

第２カメラ１６０ｂは、右側サイドミラーを取り囲むケース内に配置され得る。実施例によって、第２カメラ１６０ｂは、右側サイドミラーを取り囲むケース外部に配置されるか、または右側フロントドアや右側リアドアまたは右側フェンド（ｆｅｎｄｅｒ）外側の一領域に配置されることもある。

第３カメラ１６０ｃは、走行方向の後方を撮影して後方映像を獲得することができる。このような、第３カメラ１６０ｃは、後方番号版またはトランクスィッチ付近に配置され得る。

第４カメラ１６０ｄは、左側サイドミラーを取り囲むケース内に配置され得る。実施例によって、第４カメラ１６０ｄは、左側サイドミラーを取り囲むケース外部に配置されるか、または左側フロントドアや左側リアドアまたは左側フェンド（ｆｅｎｄｅｒ）外側の一領域に配置されることもできる。

示されなかったが、車両の天井に追加のカメラが設置されることもある。天井カメラは、車両の前後及び左右方向をすべて撮影することができる。

さらに、必要に応じて第１ないし第４カメラ１６０ａ、１６０ｂ、１６０ｃ、１６０ｄ以外に追加のカメラがさらに設置されることもある。

図３は、実施例に係るアラウンドビュー提供装置を含む車両の構成を示したブロック図である。

実施例に係るアラウンドビュー提供装置１００は、車両７００内に設置され得る。

図３を参照すれば、車両７００は、通信部７１０、入力部７２０、センシング部７６０、出力部７４０、車両駆動部７５０、メモリー７３０、インターフェース部７８０、ＥＣＵ７７０、電源部７９０、アラウンドビュー提供装置１００及びＡＶＮ装置４００を含むことができる。

通信部７１０は、車両７００と移動端末機６００との間、車両７００と外部サーバー５００との間または車両７００と他車両５１０との無線通信ができるようにする一つ以上のモジュールを含むことができる。また、通信部７１０は、車両７００を一つ以上のネットワークに連結する一つ以上のモジュールを含むことができる。

通信部７１０は、放送受信モジュール７１１、無線インターネットモジュール７１２、近距離通信モジュール７１３、位置情報モジュール７１４及び光通信モジュール７１５を含むことができる。

放送受信モジュール７１１は、放送チャンネルを介して外部の放送管理サーバーから放送信号または放送関連した情報を受信する。ここで、放送は、ラジオ放送またはＴＶ放送を含む。

無線インターネットモジュール７１２は、無線インターネット接続のためのモジュールを言うものであって、車両７００に内蔵されるか、または外装され得る。無線インターネットモジュール７１２は、無線インターネット技術による通信網で無線信号を送受信するように形成される。

無線インターネット技術としては、例えば、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ−Ｆｉｄｅｌｉｔｙ）、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）Ｄｉｒｅｃｔ、ＤＬＮＡ（Ｄｉｇｉｔａｌ Ｌｉｖｉｎｇ Ｎｅｔｗｏｒｋ Ａｌｌｉａｎｃｅ）、ＷｉＢｒｏ（Ｗｉｒｅｌｅｓｓ Ｂｒｏａｄｂａｎｄ）、ＷｉＭＡＸ（Ｗｏｒｌｄ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔy ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ＨＳＵＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｕｐｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ−Ａ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ−Ａｄｖａｎｃｅｄ）などがあり、前記無線インターネットモジュール７１２は、上記で列挙されていないインターネット技術まで含めた範囲で少なくとも一つの無線インターネット技術によってデータを送受信することになる。例えば、無線インターネットモジュール７１２は、外部サーバー５００と無線でデータを交換することができる。無線インターネットモジュール７１２は、外部サーバー５００から天気情報、道路の交通状況情報（例えば、ＴＰＥＧ（Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ Ｅｘｐｅｒｔ Ｇｒｏｕｐ））情報を受信することができる。

近距離通信モジュール７１３は、近距離通信（Ｓｈｏｒｔ ｒａｎｇｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）のためのものであって、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ^ＴＭ）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ；ＩｒＤＡ）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）、ＺｉｇＢｅｅ、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ−Ｆｉｄｅｌｉｔｙ）、ｗｉ−ｆｉ Ｄｉｒｅｃｔ、Ｗｉｒｅｌｅｓｓ ＵＳＢ（Ｗｉｒｅｌｅｓｓ Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）技術の少なくとも一つを利用して、近距離通信を支援することができる。

このような、近距離通信モジュール７１３は、近距離無線通信網（Ｗｉｒｅｌｅｓｓ Ａｒｅａ Ｎｅｔｗｏｒｋｓ）を形成して、車両と少なくとも一つの外部デバイスとの間の近距離通信を行うことができる。例えば、近距離通信モジュール７１３は、移動端末機６００と無線でデータを交換することができる。近距離通信モジュール７１３は、移動端末機６００から天気情報、道路の交通状況情報（例えば、ＴＰＥＧ（Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ Ｅｘｐｅｒｔ Ｇｒｏｕｐ））を受信することができる。例えば、ユーザが車両に乗った場合、ユーザの移動端末機６００と車両は、自動的に、またはユーザのアプリケーション実行によって、互いにペアリングを行うことができる。

位置情報モジュール７１４は、車両の位置を獲得するためのモジュールであって、その代表的な例としては、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュールがある。例えば、車両７００は、ＧＰＳモジュールを用いて、ＧＰＳ衛星から伝送する信号に基づいて車両７００の位置を獲得することができる。

光通信モジュール７１５は、光発信部と光受信部とを含むことができる。

光発信部は光（ｌｉｇｈｔ）信号を電気信号に変換して、情報を受信することができる。光発信部は、光を受信するためのフォトダイオード（ＰＤ、Ｐｈｏｔｏ Ｄｉｏｄｅ）を含むことができる。フォトダイオードは、光を電気信号に変換することができる。例えば、光発信部は、前方の車両に含まれた光源から放出される光を介して、前方の車両の情報を受信することができる。

光発信部は、電気信号を光信号に変換するための発光素子を少なくとも一つ以上含むことができる。ここで、発光素子は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）であることが望ましい。光発信部は、電気信号を光信号に変換して、外部に発信する。例えば、光発信部は、所定の周波数に対応する発光素子の点滅によって、光信号を外部に放出することができる。実施例によって、光発信部は、複数の発光素子アレイを含むことができる。実施例によって、光発信部は、車両に備えられたランプと一体化され得る。例えば、光発信部は、ヘッドライト、後尾灯、ブレーキランプ、方向指示灯及び車幅灯の少なくともいずれか一つであり得る。

一実施例によれば、光通信モジュール７１５は、光通信を介して他車両５１０とデータを交換することができる。

入力部７２０は、運転操作手段７２１、カメラ７２２、マイクロホン７２３、ユーザ入力部７２４及びモニタリング部７２５を含むことができる。

運転操作手段７２１は、車両運転のためのユーザ入力を受信する。運転操作手段７２１は、操向入力手段、シフト入力手段、加速入力手段、ブレーキ入力手段などを含むことができる。

操向入力手段は、車両７００の進行方向に対する入力を受信する。操向入力手段は、回転によって操向入力ができるようにホイール形状に形成されることが望ましい。実施例によって、操向入力手段は、タッチスクリーン、タッチパッドまたはボタンに形成されることもある。

シフト入力手段は、車両の駐車（Ｐ）、前進（Ｄ）、中立（Ｎ）及び後進（Ｒ）に対する入力を受信する。シフト入力手段は、レバー形状に形成されることが望ましい。実施例によって、シフト入力手段は、タッチスクリーンやタッチパッドまたはボタンに形成され得る。

加速入力手段は、車両の加速のための入力を受信する。ブレーキ入力手段は、車両の減速のための入力を受信する。この場合、加速入力手段及びブレーキ入力手段は、ペダル形状に形成されることが望ましい。実施例によって、加速入力手段またはブレーキ入力手段は、タッチスクリーン、タッチパッドまたはボタンに形成され得る。

カメラ７２２は、イメージセンサーと映像処理モジュールを含むことができる。カメラ７２２は、イメージセンサー（例えば、ＣＭＯＳまたはＣＣＤ）によって得られる静止映像または動映像を処理することができる。映像処理モジュールは、イメージセンサーを介して獲得された静止映像または動映像を加工して必要な情報を抽出し、抽出された情報をＥＣＵ７７０に伝達することができる。一方、車両７００は、車両の前方映像または車両の周辺映像を撮影するカメラ７２２及び車両の内部映像を撮影するモニタリング部７２５を含むことができる。

モニタリング部７２５は、搭乗者に対するイメージを獲得することができる。モニタリング部７２５は、搭乗者の生体認識のためのイメージを獲得することができる。

一方、図３ではモニタリング部７２５とカメラ７２２が入力部７２０に含まれることと示したが、カメラ７２２は、前述したようにアラウンドビュー提供装置１００に含まれることもある。

マイクロホン７２３は、外部の音響信号を電気的なデータに処理することができる。処理されたデータは、車両７００で遂行中の機能によって多様に活用され得る。マイクロホン７２３は、ユーザの音声命令を電気的データに変換することができる。変換された電気的データは、ＥＣＵ７７０に伝達することができる。

ユーザ入力部７２４は、ユーザから情報の入力を受けることができる。ユーザ入力部７２４を介して情報が入力されると、ＥＣＵ７７０は、入力された情報に対応するように車両７００の動作を制御することができる。ユーザ入力部７２４は、タッチ式入力手段または機械式入力手段を含むことができる。実施例によって、ユーザ入力部７２４は、ステアリングホイールの一領域に配置され得る。この場合、運転者はステアリングホイールを握った状態で、指でユーザ入力部７２４を操作することができる。

センシング部７６０は、車両の走行などと関連した信号をセンシングする。このために、センシング部７６０は、衝突センサー、ホイールセンサー（ｗｈｅｅｌ ｓｅｎｓｏｒ）、速度センサー、傾斜センサー、重量感知センサー、ヘディングセンサー（ｈｅａｄｉｎｇ ｓｅｎｓｏｒ）、ヨーセンサー（ｙａｗ ｓｅｎｓｏｒ）、ジャイロセンサー（ｇｙｒｏ ｓｅｎｓｏｒ）、ポジションモジュール（ｐｏｓｉｔｉｏｎ ｍｏｄｕｌｅ）、車両前進／後進センサー、バッテリーセンサー、燃料センサー、タイヤセンサー、ハンドル回転によるステアリングセンサー、車両内部温度センサー、車両内部湿度センサー、超音波センサー、レーダー、ライダーなどを含むことができる。

これによって、センシング部７６０は、車両衝突情報、車両方向情報、車両位置情報ＧＰＳ情報、車両角度情報、車両速度情報、車両加速度情報、車両勾配情報、車両前進／後進情報、バッテリー情報、燃料情報、タイヤ情報、車両ランプ情報、車両内部温度情報、車両内部湿度情報、ステアリングホイール回転角度などに対するセンシング信号を獲得することができる。

一方、センシング部７６０は、その外にも加速ペダルセンサー、圧力センサー、エンジン回転の速度センサー（ｅｎｇｉｎｅ ｓｐｅｅｄ ｓｅｎｓｏｒ）、空気流量センサー（ＡＦＳ）、吸気温度センサー（ＡＴＳ）、水温センサー（ＷＴＳ）、スロットル位置センサー（ＴＰＳ）、ＴＤＣセンサー、クランク角センサー（ＣＡＳ）などをさらに含むことができる。

センシング部７６０は、生体認識情報感知部を含むことができる。生体認識情報感知部は、搭乗者の生体認識情報を感知して獲得する。生体認識情報は、指紋認識（Ｆｉｎｇｅｒｐｒｉｎｔ）情報、虹彩認識（Ｉｒｉｓ−ｓｃａｎ）情報、 網膜認識（Ｒｅｔｉｎａ−ｓｃａｎ）情報、掌形（Ｈａｎｄ ｇｅｏｍｅｔｒｙ）情報 、顔面認識（Ｆａｃｉａｌ ｒｅｃｏｇｎｉｔｉｏｎ）情報、音声認識（Ｖｏｉｃｅ ｒｅｃｏｇｎｉｔｉｏｎ）情報を含むことができる。生体認識情報感知部は、搭乗者の生体認識情報をセンシングするセンサーを含むことができる。ここで、モニタリング部７２５及びマイクロフォン７２３がセンサーとして動作することができる。生体認識情報感知部は、モニタリング部７２５を介して、掌形情報、顔面認識情報を獲得することができる。

出力部７４０は、ＥＣＵ７７０で処理された情報を出力するための構成要素であって、ディスプレイ部７４１、音響出力部７４２及びヘブティック出力部７４３を含むことができる。

ディスプレイ部７４１は、ＥＣＵ７７０で処理される情報を表示することができる。例えば、ディスプレイ部７４１は、車両関連情報を表示することができる。ここで、車両関連情報は、車両に対する直接的な制御のための車両制御情報、または車両の運転者に運転をガイドするための車両運転補助情報を含むことができる。また、車両関連情報は、現在車両の状態を知らせる車両状態情報または車両の運行と関連した車両運行情報を含むことができる。

ディスプレイ部７４１は、アラウンドビュー提供装置１００のディスプレイ部１８０であり得、別個に備えられることもある。

ディスプレイ部７４１は、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＬＣＤ）、薄膜トランジスター液晶ディスプレイ（ｔｈｉｎ ｆｉｌｍ ｔｒａｎｓｉｓｔｏｒ−ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＴＦＴ ＬＣＤ）、有機発狂ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＯＬＥＤ）、フレキシブルディスプレイ（ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ、３次元ディスプレイ（３Ｄ ｄｉｓｐｌａｙ）、電子インクディスプレイ（ｅ−ｉｎｋ ｄｉｓｐｌａｙ）の少なくとも一つによって実現され得る。

ディスプレイ部７４１は、タッチセンサーと互いにレイヤー構造を形成するか、または一体型に形成されることによってタッチスクリーンを実現することができる。このようなタッチスクリーンは、車両７００とユーザとの間の入力インターフェースを提供するユーザ入力部７２４として機能することと共に、車両７００とユーザとの間の出力インターフェースを提供することができる。この場合、ディスプレイ部７４１は、タッチ方式によって制御命令の入力を受けることができるように、ディスプレイ部７４１に対するタッチを感知するタッチセンサーを含むことができる。これを用いて、ディスプレイ部７４１に対してタッチが行われると、タッチセンサーは前記タッチを感知し、ＥＣＵ７７０は、これに基づいて前記タッチに対応する制御命令を発生させるように構成され得る。タッチ方式によって入力される内容は、文字または数字であるか、各種モードでの指示または指定可能なメニュー項目などであり得る。

一方、ディスプレイ部７４１は、運転者が運転をすることと同時に車両状態情報または車両運行情報を確認するようにクラスタ（ｃｌｕｓｔｅｒ）を含むことができる。クラスタは、ダッシュボード（ｄａｓｈｂｏａｒｄ）上に位置することができる。この場合、運転者は、視線を車両の前方に維持したままクラスタに表示される情報を確認することができる。

一方、実施例によって、ディスプレイ部７４１は、ＨＵＤ（Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ）に実現され得る。ディスプレイ部７４１がＨＵＤに実現される場合、ウインドシールドに備えられる透明ディスプレイを介して情報を出力することができる。または、ディスプレイ部７４１は、投射モジュールを備えてウインドシールドに投射されるイメージを介して情報を出力することができる。

音響出力部７４２は、ＥＣＵ７７０からの電気信号をオーディオ信号に変換して出力する。このために、音響出力部７４２は、スピーカーなどを備えることができる。音響出力部７４２は、ユーザ入力部７２４によって入力された動作に対応するサウンドを出力することもできる。

ヘブティック出力部７４３は、触覚的な出力を発生させる。例えば、ヘブティック出力部７４３は、ステアリングホイール、シートベルト、シートを震動させて、ユーザが出力を認知できるように動作することができる。

車両駆動部７５０は、車両７００に含まれる各種装置及び構成要素の動作を制御することができる。車両駆動部７５０は、動力源駆動部７５１、操向駆動部７５２、ブレーキ駆動部７５３、ランプ駆動部７５４、空調駆動部７５５、ウィンドウ駆動部７５６、エアバッグ駆動部７５７、サンルーフ駆動部７５８及びサスペンション駆動部７５９を含むことができる。

動力源駆動部７５１は、車両７００内の動力源に対する電子式制御を行うことができる。

例えば、化石燃料基盤のエンジン（図示せず）が動力源の場合、動力源駆動部７５１は、エンジンに対する電子式制御を行うことができる。これによって、エンジンの出力トークなどを制御することができる。動力源駆動部７５１がエンジンの場合、ＥＣＵ７７０の制御によって、エンジン出力トークを制限して車両の速度を制限することができる。

他の例として、電気基盤のモーター（図示せず）が動力源の場合、動力源駆動部７５１は、モーターに対する制御を行うことができる。これによって、モーターの回転速度、トークなどを制御することができる。

操向駆動部７５２は、車両内の操向装置（ｓｔｅｅｒｉｎｇ ａｐｐａｒａｔｕｓ）に対する電子式制御を行うことができる。これによって、車両の進行方向を変更することができる。

ブレーキ駆動部７５３は、車内のブレーキ装置（ｂｒａｋｅ ａｐｐａｒａｔｕｓ）（図示せず）に対する電子式制御を行うことができる。例えば、車輪に配置されるブレーキの動作を制御して、車両の速度を減らすことができる。他の例として、左側の車輪と右側の車輪にそれぞれ配置されるブレーキの動作を異にして、車両の進行方向を左側、または右側に調整することができる。

ランプ駆動部７５４は、車両内部及び外部に配置されるランプのターンオン／ターンオフを制御することができる。また、ランプの光の強さ、方向などを制御することができる。例えば、方向指示ランプ、ブレーキランプなどに対する制御を行うことができる。

空調駆動部７５５は、車内の空調装置（ａｉｒ ｃｏｎｄｉｔｉｏｎｅｒ）（図示せず）に対する電子式制御を行うことができる。例えば、車両内部の温度が高い場合、空調装置を動作させて冷気が車両７００内部に供給されるように制御することができる。

ウィンドウ駆動部７５６は、車内のウィンドウ装置（ｗｉｎｄｏｗ ａｐｐａｒａｔｕｓ）に対する電子式制御を行うことができる。例えば、車両７００の側面の左側及び右側ウィンドウに対する開放または閉鎖を制御することができる。

エアバッグ駆動部７５７は、車内のエアバッグ装置（ａｉｒｂａｇ ａｐｐａｒａｔｕｓ）に対する電子式制御を行うことができる。例えば、事故危険のとき、エアバッグが裂けるように制御することができる。

サンルーフ駆動部７５８は、車内のサンルーフ装置（図示せず）に対する電子式制御を行うことができる。例えば、サンルーフの開放または閉鎖を制御することができる。

サスペンション駆動部７５９は、車両７００内のサスペンション装置（図示せず）に対する電子式制御を行うことができる。例えば、道路面に屈曲がある場合、サスペンション装置を制御して、車両の震動が低減されるように制御することができる。

メモリー７３０は、ＥＣＵ７７０と電気的に連結される。メモリー７３０は、ユニットに対する基本データ、ユニットの動作制御のための制御データ、入出力されるデータを保存することができる。メモリー７３０は、ハードウェア的に、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、フラッシュドライブ、ハードドライブなどのような多様な保存媒体であり得る。メモリー７３０は、ＥＣＵ７７０の処理または制御のためのプログラムなど、車両全般の動作のための多様なデータを保存することができる。

インターフェース部７８０は、車両７００に連結される多様な種類の外部器機との通路の役割を行うことができる。例えば、インターフェース部７８０は、移動端末機６００と連結可能なポートを備えることができ、前記ポートを介して移動端末機６００と連結され得る。この場合、インターフェース部７８０は移動端末機６００とデータを交換することができる。

一方、インターフェース部７８０は、連結された移動端末機６００に電気エネルギーを供給する通路の役割を行うことができる。移動端末機６００がインターフェース部７８０に電気的に連結される場合、ＥＣＵ７７０の制御によってインターフェース部７８０は、電源部７９０から供給される電気エネルギーを移動端末機６００に提供する。

ＥＣＵ７７０は、車両７００内の各構成要素の全般的な動作を制御することができる。ＥＣＵ７７０は、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）と命名され得る。

このようなＥＣＵ７７０は、アラウンドビュー提供装置１００の実行信号伝達によって、伝達した信号に対応する機能を行うことができる。

ＥＣＵ７７０は、ハードウェア的にＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、プロセッサー（ｐｒｏｃｅｓｓｏｒｓ）、制御機（ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロコントローラー（ｍｉｃｒｏ−ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセッサー（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、その他機能の遂行のための電気的ユニットの少なくとも一つの形態に実現され得る。

このときの制御機やマイクロプロセッサーは、アラウンドビュー提供装置１００に含まれるプロセッサー１７０とは別の装置であり得る。

電源部７９０は、ＥＣＵ７７０の制御によって、各構成要素の動作に必要な電源を供給することができる。この場合、電源部７９０は、車両内部のバッテリー（図示せず） などから電源を供給受けることができる。

ＡＶＮ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｎａｖｉｇａｔｉｏｎ）装置４００は、ＥＣＵ７７０とデータを交換することができる。ＥＣＵ７７０は、ＡＶＮ装置４００または別途のナビゲーション装置（図示せず）からナビゲーション情報を受信することができる。ここで、ナビゲーション情報は、設定された目的地情報、前記目的地による経路情報、車両の走行と関連したマップ情報または車両位置情報などを含むことができる。

図４は、アラウンドビュー映像を示す。

図４を参照すれば、アラウンドビュー映像は、第１ないし第４合成領域３０１、３０３、３０５、３０７を含むことができる。このようなアラウンドビュー映像は、ディスプレイ部１８０上にディスプレイされ得る。第１ないし第４合成領域３０１、３０３、３０５、３０７は、第１ないし第４領域と指称されることもある。

第１合成領域３０１は、車両７００の前方に設置される第１カメラによって獲得された前方映像をもとに生成され得る。第２合成領域３０３は、車両７００の右側に設置される第２カメラによって獲得された右側映像をもとに生成され得る。第３合成領域３０５は、車両７００の後方に設置される第３カメラによって獲得された後方映像をもとに生成され得る。第４合成領域３０７は、車両７００の左側に設置される第４カメラによって獲得された左側映像をもとに生成され得る。

各合成領域３０１、３０３、３０５、３０７の映像は、第１ないし第４カメラ１６０ａ、１６０ｂ、１６０ｃ、１６０ｄから獲得された映像と互いに異なることがある。

すなわち、第１ないし第４カメラ１６０ａ、１６０ｂ、１６０ｃ、１６０ｄから獲得された映像は、各カメラ１６０ａ、１６０ｂ、１６０ｃ、１６０ｄのレンズを介して入射した映像であって、オブジェクトの実際の様子がそのまま映像に表示され得る。これに対し、各合成領域３０１、３０３、３０５、３０７の映像は、第１ないし第４カメラ１６０ａ、１６０ｂ、１６０ｃ、１６０ｄから獲得された映像の前方視点をトップビュー視点に変更した映像であり得る。

例えば、第１ないし第４カメラ１６０ａ、１６０ｂ、１６０ｃ、１６０ｄのうち特定カメラから獲得された映像のオブジェクトが立っている人の場合、その獲得された映像から生成された合成領域でのオブジェクトである人は、立っていない、まるで横になっていることのように見えられる。

第１ないし第４合成領域３０１、３０３、３０５、３０７は、境界線３１１、３１３、３１５、３１７を中心に互いに隣接して配置され得る。例えば、第１合成領域３０１と第２合成領域３０３は、第１境界線３１１を中心に互いに隣接して配置され得る。第２合成領域３０３と第３合成領域３０５は、第２境界線３１３を中心に互いに隣接して配置され得る。第３合成領域３０５と第４合成領域３０７は、第３境界線３１５を中心に互いに隣接して配置され得る。第４合成領域３０７と第１合成領域３０１は、第４境界線３１７を中心に互いに隣接して配置され得る。

アラウンドビュー映像は、メモリー１４０に保存されている合成情報をもとに生成され得る。上述したように、合成情報は、第１ないし第４カメラ１６０ａ、１６０ｂ、１６０ｃ、１６０ｄからの映像それぞれから生成された第１ないし第４合成領域の範囲情報と第１ないし第４合成情報との間の境界線に関する境界線情報が合成情報おしてメモリー１４０に保存され得る。

境界線情報は、第１ないし第４境界線３１１、３１３、３１５、３１７の位置に設定され得る。合成領域の範囲情報は、各合成領域３０１、３０３、３０５、３０７の範囲に設定され得る。

したがって、プロセッサー１７０は、合成情報の範囲情報と境界線情報をもとに第１ないし第４カメラ１６０ａ、１６０ｂ、１６０ｃ、１６０ｄから獲得された映像から各合成領域３０１、３０３、３０５、３０７を生成し、各合成領域３０１、３０３、３０５、３０７を合成してアラウンドビュー映像を生成することができる。

このように生成されたアラウンドビュー映像は、ノーマルモード（ｎｏｒｍａｌ ｍｏｄｅ）のときにそのままディスプレイ部１８０上にディスプレイされ得る。

具体的に、プロセッサー１７０は、境界線情報に設定されている合成領域の範囲情報及び境界線情報をもとに第１ないし第４カメラ１６０ａ、１６０ｂ、１６０ｃ、１６０ｄから獲得された映像から各境界線３１１、３１３、３１５、３１７の間に該当する映像を抽出してこの抽出された映像をもとに第１ないし第４合成領域を含むアラウンドビュー映像を生成することができる。

前述したように、第１ないし第４カメラ１６０ａ、１６０ｂ、１６０ｃ、１６０ｄから獲得された映像とその映像から第１ないし第４合成領域は互いに異なる。

図５ａは、第１及び第３カメラそれぞれから獲得された映像を示し、図５ｂは、第１及び第３カメラそれぞれから獲得された映像をもとに生成された第１及び第３合成領域を示す。

第１及び第３カメラ１６０ａ、１６０ｃそれぞれから獲得された第１及び第３映像３２１、３２５（図５ａ）のサイズがそのまま第１及び第３合成領域３０１、３０５それぞれのサイズに生成され得る（図５ｂ）。

第１合成領域３０１の両端に第１境界線３１１及び第４境界線３１７が配置され得る。言い換えれば、第１合成領域３０１は、第１及び第４境界線３１１、３１７の間に配置され得る。

第３合成領域３０５の両端に第２境界線３１３及び第３境界線３１５が配置され得る。言い換えれば、第３合成領域３０５は、第２及び第３境界線３１３、３１５の間に配置され得る。

これとは異なり、第１及び第３カメラ１６０ａ、１６０ｃそれぞれから獲得された映像のうち一部領域に該当する第１及び第３映像をもとに第１及び第３合成領域３０１、３０５が生成されることもある。このような場合、第１及び第３合成領域３０１、３０５それぞれのサイズは、第１及び第３映像のサイズより小さいことがある。

図６ａは、第２及び第４カメラそれぞれから獲得された映像を示し、図６ｂは、第２及び第４カメラそれぞれから獲得された第２及び第４映像をもとに生成された第２及び第４合成領域を示す。

第２及び第４カメラ１６０ｂ、１６０ｄそれぞれから獲得された第２及び第４映像３２３、３２７（図６ａ）のうち一部領域３３５、３３７をもとに第２及び第４合成領域３０３、３０７が生成され得る（図６ｂ）。このような場合、第２及び第４合成領域３０３、３０７それぞれのサイズは、第２及び第４映像３２３、３２７のサイズより小さいことがある。

第２合成領域３０３の両端に第１境界線３１１及び第２境界線３１３が配置され得る。言い換えれば、第２合成領域３０３は、第１及び第２境界線３１１、３１３の間に配置され得る。

このような場合、第１境界線３１１は、第１合成領域３０１の一端に配置される第１境界線３１１と同一位置を有し、第２境界線３１３は、第３合成領域３０５の一端に配置される第２境界線３１３と同一位置を有することができる。

第４合成領域３０７の両端に第３境界線３１５及び第４境界線３１７が配置され得る、言い換えれば、第４合成領域３０７は、第３及び第４境界線３１５、３１７の間に配置され得る。

第３境界線３１５は、第３合成領域３０５の他端に配置される第３境界線３１５と同一位置を有し、第４境界線３１７は第１合成領域３０１の他端に配置される第４境界線３１７と同一位置を有することができる。

これによって、第１境界線３１１を基準に第１合成領域３０１と第２合成領域３０３が互いに隣接して配置され、第２境界線３１３を基準に第２合成領域３０３と第３合成領域３０５が互いに隣接して配置され得る。

また、第３境界線３１５を基準に第３合成領域３０５と第４合成領域３０７が互いに隣接して配置され、第４境界線３１７を基準に第４合成領域３０７と第１合成領域３０１が互いに隣接して配置され得る。

一方、重畳領域３３１ａ、３３１ｂ、３３３ａ、３３３ｂが備えられる。重畳領域３３１ａ、３３１ｂ、３３３ａ、３３３ｂは、隣接する合成領域のうち一つの合成領域に含まれ得る。重畳領域３３１ａ、３３１ｂ、３３３ａ、３３３ｂは、被写体の重畳領域であって、隣接するカメラの被写体から獲得された隣接する映像のうち重畳される領域を意味することができる。

例えば、第１重畳領域３３１ａが第１合成領域３０１に含まれ得る。第２合成領域３０３が拡大されるように変更される場合、第１重畳領域３３１ａは、第２合成領域３０３に含まれ得る。

このように、第１重畳領域３３１ａは、状況によって第１合成領域３０１または第２合成領域３０３に含まれ得る。

例えば、第１重畳領域３３１ａが第２合成領域３０３に含まれる場合、第２合成領域３０３が拡大されるので、このように拡大された第２合成領域３０３上に位置するオブジェクトは、消えないようになって運転者は当該オブジェクトの動きを容易に認知することができる。

第１実施例
図７は、実施例に係るアラウンドビュー提供装置のプロセッサーの構成を示したブロック図である。

図７を参照すれば、実施例に係るアラウンドビュー提供装置１００のプロセッサー１７０は、映像獲得部３５０、オブジェクト追跡部３５５、アラウンドビュー生成部３６０及びアラウンドビュー変調部３６５を含むことができる。

映像獲得部３５０は、第１ないし第４カメラ１６０ａ、１６０ｂ、１６０ｃ、１６０ｄから撮影された第１ないし第４映像３２１、３２３、３２５、３２７からデジタル映像を獲得することができる。

もし、第１ないし第４カメラ１６０ａ、１６０ｂ、１６０ｃ、１６０ｄにデジタル映像を獲得する手段が備えられる場合、前記映像獲得部３５０は省略され得る。

映像獲得部３５０から獲得された第１ないし第４映像３２１、３２３、３２５、３２７は、オブジェクト追跡部３５５及びアラウンドビュー生成部３６０として提供され得る。

オブジェクト追跡部３５５は、映像獲得部３５０から獲得された第１ないし第４映像３２１、３２３、３２５、３２７からオブジェクトを抽出することができる。

オブジェクトは、動く生物体と動かない無生物体すべてを含むことができる。

一例として、次のようにオブジェクトが抽出され得るが、これに限定しない。

先に、映像獲得部３５０から獲得された第１ないし第４映像３２１、３２３、３２５、３２７に含まれた歪曲が補正され、補正された第１ないし第４映像３２１、３２３、３２５、３２７からエッジ検出アルゴリズムを用いてオブジェクトの特徴が得られ、このようなオブジェクトの特徴をもとにオブジェクトが抽出され得る。

他の例として、ディスパリティー（ｄｉｓｐａｒｉｔｙ）情報に基づいて各映像３２１、３２３、３２５、３２７ 内のセグメント（ｓｅｇｍｅｎｔ）過程が行われて、背景（ｂａｃｋｇｒｏｕｎｄ）及び前景（ｆｏｒｅｇｒｏｕｎｄ）が分離されたセグメント情報が生成され得る。続いて、セグメント情報をもとにオブジェクトが抽出され得る。

オブジェクト追跡部３５５は、オブジェクト抽出だけではなく、その抽出されたオブジェクトの動きを追跡（ｔｒａｃｋｉｎｇ）できる。リアルタイムに撮影される第１ないし第４映像３２１、３２３、３２５、３２７は、複数のフレーム（ｆｒａｍｅ）で構成され得る。このような動きの追跡は、例えば、各フレームでオブジェクトが抽出される場合、各フレームの間のオブジェクトの変化が追跡されて当該オブジェクトの動きが検出され得る。

このようなオブジェクトの動き追跡を介して当該オブジェクトの移動経路と移動方向が把握され得る。

これによって、オブジェクト追跡部３５５は、オブジェクトの動きと関連したオブジェクト情報を生成することができる。オブジェクト情報は、オブジェクトの位置、オブジェクトの動きの方向、オブジェクトの動きの経路などを含むことができる。

一方、アラウンドビュー生成部３６０は、映像獲得部３５０から獲得された第１ないし第４映像３２１、３２３、３２５、３２７をもとに第１ないし第４合成領域３０１、３０３、３０５、３０７を含むアラウンドビュー映像を生成することができる。第１ないし第４映像３２１、３２３、３２５、３２７は、第１ないし第４カメラ１６０ａ、１６０ｂ、１６０ｃ、１６０ｄから獲得された映像であり得る。

このために、アラウンドビュー生成部３６０は、メモリー１４０にアクセス（ａｃｃｅｓｓ）してメモリー１４０に保存された合成情報を読むことができる。

アラウンドビュー生成部３６０は、合成情報をもとに第１ないし第４映像３２１、３２３、３２５、３２７から第１ないし第４合成領域３０１、３０３、３０５、３０７を生成し、第１ないし第４境界線３１１、３１３、３１５、３１７を基準互いに隣接するように第１ないし第４合成領域３０１、３０３、３０５、３０７を合成してアラウンドビュー映像を生成することができる。

アラウンドビュー変調部３６５は、オブジェクト追跡部３５５から受信されたオブジェクト情報及び距離情報をもとにアラウンドビュー生成部３６０で生成されたアラウンドビュー映像を変調することができる。

オブジェクト情報は、オブジェクトの位置、オブジェクトの動きの方向、オブジェクトの動きの経路などを含むことができる。

図８を参照して、アラウンドビュー変造方法を詳しく説明する。

アラウンドビュー変調部３６５は、オブジェクト追跡部３５５から生成されたオブジェクト情報をもとにオブジェクトの動きを把握することができる。

アラウンドビュー変調部３６５は、オブジェクト情報をもとにオブジェクトが車両７００のどの方向に接近して通るのか予測することができる。一方では、車両７００が運行中の場合、車両７００のどの側面にオブジェクトを通るかも予測され得る。

このような予測を通じて、図８ａないし図８ｄに示したように、オブジェクト、例えば、バイクが車両７００の右側に沿って通ると予測され得る。

アラウンドビュー変調部３６５は、車両７００の右側にオブジェクトが通ると予測される場合、当該オブジェクトが車両７００にどの程度近接したのか確認することができる。

すなわち、アラウンドビュー変調部３６５は、例えば、距離センサー１５０から入力される距離情報をもとに当該オブジェクトがどの程度近接したのかを確認することができる。

距離センサー１５０の代りに、第１ないし第４カメラ１６０ａ、１６０ｂ、１６０ｃ、１６０ｄから獲得された第１ないし第４映像３２１、３２３、３２５、３２７から直接オブジェクトと車両７００との間の距離が算出されることもあるが、これに限定しない。

アラウンドビュー変調部３６５は、当該オブジェクトが既に設定された距離以内に近接される場合、アラウンドビュー生成部３６０から入力されたアラウンドビュー映像を変調することができる。

当該オブジェクトが既に設定された距離以内に近接される場合、アラウンドビュー変調部３６５は、変更モードで動作することができる。

具体的に、図８ａに示したように、当該オブジェクトが既に設定された距離以内に近接されて車両７００の左側に通ると予測される場合、アラウンドビュー映像で第１境界線３１１と第２境界線３１３がそれぞれ第１合成領域３０１及び第３合成領域３０５内の位置に変更され得る。

これによって、図８ｂに示したように、第１境界線３１１の代りに第１合成領域３０１ 内の第１位置にまた他の境界線、即第１変更境界線３４１が設定され、第２境界線３１３の代りに第２合成領域３０３内の第２位置にまた他の境界線、即第２変更境界線３４３が設定され得る。このように新たに設定された第１及び第２境界線３１１、３１３によって第２合成領域３０３のサイズが拡大される代わりに第１合成領域３０１及び第３合成領域３０５それぞれのサイズは、縮小され得る。

第１境界線３１１を基準に互いに隣接して配置される第１及び第２合成領域３０１、３０３は、新たに変更された第１変更境界線３４１を基準に互いに隣接して配置され得る。

同様に、第２境界線３１３を基準に互いに隣接して配置される第２及び第３合成領域３０３、３０５は、新たに変更された第２変更境界線３４３を基準に互いに隣接して配置され得る。

このような場合、第１境界線３１１と第１変更境界線３４１との間の領域は、第１合成領域３０１の一部になるか、または第２合成領域３０３の一部になり得る第１重畳領域３４５であり得る。

また、第２境界線３１３と第２変更境界線３４３との間の領域は、第２合成領域３０３の一部になるか、または第３合成領域３０５の一部になり得る第２重畳領域３４７であり得る。

第１変更境界線３４１及び第２変更境界線３４３は、第２カメラ１６０ｂの最大広角に該当する映像の両端と一致することができるが、これに限定しない。

したがって、第２合成領域３０３が第１重畳領域３４５と第２重畳領域３４７に拡大されても、第２合成領域３０３、第１及び第２重畳領域３４５、３４７すべて第２カメラ１６０ｂから獲得された第２映像３２３から生成されたことなので、視点（ｖｉｅｗｐｏｉｎｔ）の連続性を維持するため、第２合成領域３０３と第１及び第２重畳領域３４５、３４７に含まれるオブジェクトは、重畳されたり消えないように連続性を有して優れた画質を維持することができる。

特に、第１境界線３１１と第２境界線３１３がオブジェクトが通らない他の領域に変更されることによって、従来に第１境界線及び第２境界線にオブジェクトが通るとき、当該オブジェクトが重畳されたり消える問題が解消され得る。

図８ｂでは第２合成領域３０３が第１及び第２重畳領域３４５、３４７に同時に拡大されるようにアラウンドビュー映像が変調されることが示されているが、実施例はこれに限定しない。

例えば、バイクが車両７００から一定の距離以内に接近される場合、第２合成領域３０３が第１重畳領域３４５を含むように拡大され、バイクが車両７００の左側に進入するとき、合成領域が第２重畳領域３４７を含むように拡大され得る。第２合成領域３０３が第１重畳領域３４５と第２重畳領域３４７を順に含まれるように拡大され得る。

図８ｂに示したように、アラウンドビュー映像が変調される場合、図８cに示したようにバイクが車両７００の右側に通る間、バイクがアラウンドビュー映像から消えたり、重畳されなくなる。

一方、アラウンドビュー変調部３６５は、図８ｄに示したようにバイクが車両７００の右側を介して車両７００の後方に完全に通った場合、元のアラウンドビュー映像に復元させることができるが、これに限定しない。

具体的に、第１及び第２変更境界線３４１、３４３は、再び第１及び第２境界線３１１、３１３に再設定され、このように再設定された第１及び第２境界線３１１、３１３を基準に第１ないし第３合成領域３０１、３０３、３０５が生成されて第４合成領域３０７と共に元のアラウンドビュー映像に復元され得る。

第２実施例
第２実施例のプロセッサー１７０の構成は、図７と同一である。

但し、第２実施例ではアラウンドビュー変造方法が第１実施例と互いに異なる。

すなわち、第１実施例ではオブジェクトが車両７００から一定の距離以内に近接する場合、オブジェクトが通る方向に位置した特定の合成領域のサイズをその特定の合成領域の両側に位置した重畳領域を含むように拡大することができる。これによって、当該オブジェクトが等しいカメラから得られた前記重畳領域を含む特定の合成領域上で通るようにすることができる。

これに対し、第２実施例はオブジェクトが車から一定の距離以内に近接する場合、オブジェクトが通る方向に位置した特定の合成領域のサイズをその特定の合成領域の両側に位置した重畳領域を含むように拡大するが、その重畳領域は、特定の合成領域と隣接合成領域それぞれの加重値をもとに特定の合成領域から隣接合成領域に漸進的にまたは順に変更され得る。

言い換えれば、一定の時間の間、前記第１合成領域の映像から前記第２合成領域の映像に前記重畳領域の全体領域単位ごとに変更され得る。例えば、一定の時間内に第１ないし第３時間t１、t２、t３単位に区分されると仮定する。このような場合、第１時間t１に重畳領域の全体領域が一定の時間内で前記第１合成領域の映像から前記第２合成領域の映像に変更され、第２時間t２に重畳領域の全体領域が一定の時間内で前記第１合成領域の映像から前記第２合成領域の映像に変更され、第３時間t３に重畳領域の全体領域が一定の時間内で前記第１合成領域の映像から前記第２合成領域の映像に変更され得る。

以下、第２実施例を具体的に説明する。

加重値マップには時間による各合成領域３０１、３０３、３０５、３０７と重畳領域での加重値が設定され得る。

このような加重値をもとに算出されるアラウンドビュー変造映像（Ｉｏｕｔ（ｘ、ｙ））は、数学式１のように表され得る。

[数１]

ｘ、ｙは映像の座標であり、Ｉ_ｆｒとＩ_ｒｇはそれぞれ第１及び第２合成領域３０１、３０３の映像であり、α（ｘ、ｙ）は平均加重値であり得る。

このとき、平均加重値は、数学式２のように表され得る。

[数２]

α１（ｘ、ｙ）は第１合成領域３０１の加重値であり、α２（ｘ、ｙ）は第２合成領域３０３の加重値であり、ｔは時間であり得る。

平均加重値は、第１合成領域３０１の加重値と第２合成領域３０３の加重値の合であり、時間が考慮され得る。

例えば、ｔが０．１秒単位に可変されると仮定すれば、毎０．１秒単位で数学式２による加重値が算出され、このように算出された加重値を数学式１に代入することによって、隣接する合成領域とその間に位置した重畳領域でのアラウンドビュー変造映像が算出され得る。

図５ａないし図５ｅの下端に示したように、初めには重畳領域３４５が第１カメラ１６０ａによって生成された第１合成領域３０１の映像に生成されるが、時間の経過に応じて漸次的に第１合成領域３０１の映像よりは第２カメラ１６０ｂによって生成された第２合成領域３０３の映像に重畳領域３４５が生成され、終わりには重畳領域３４５が完全に第２合成領域３０３の映像に生成され得る。

第２実施例は、第１実施例と違い、隣接する合成領域の間の重畳領域３４５が第１合成領域３０１の映像から第２合成領域３０３の映像に順に変更されるようにすることによって、映像のスムーズな転換を介して映像の急な変更による目障りのような不便を解消することができる。

第３実施例
第３実施例は、第１及び第２実施例とは異なり、例えば、少なくとも二つ以上の境界線付近にオブジェクトが接近するときの画面構成に関するものである。

図９は、他の実施例に係るプロセッサーの構成を示したブロック図である。

図９において、映像獲得部３５０、オブジェクト追跡部３５５、アラウンドビュー生成部３６０及びアラウンドビュー変調部３６５は、図７に同一の構成要素が示されており、このような構成要素については既に説明されたことがあるので、これ以上の説明は略する。

画面生成部３７０は、アラウンドビュー変調部３６５から入力されたアラウンドビュー変造映像がディスプレイ部１８０上にディスプレイされるように画面を構成することができる。

さらに、画面生成部３７０は、オブジェクト追跡部３５５から入力されたオブジェクトの動きの情報をもとにアラウンドビュー変造映像で特定の合成領域が拡大されて境界線が変更され、その変更された境界線の位置にまた他のオブジェクトが位置して消えるようになる場合、また他のオブジェクトの動きを明確に把握するためにまた他のオブジェクトが位置した部分を撮影するカメラから獲得された映像を別途の画面を介してディスプレイされるようにすることができる。

図１０ａに示したように、第１画面３７１上に第１ないし第４合成領域３０１、３０３、３０５、３０７を含むアラウンドビュー映像がディスプレイされ得る。アラウンドビュー映像は、第１画面３７１の全体領域にディスプレイされ得るが、これに限定しない。

このようにディスプレイ部１８０上にアラウンドビュー映像を含む第１画面３７１がディスプレイされる途中に、第１オブジェクト、例えば人が車両の前方から車両に接近して車両の右側に通る一方、第２オブジェクト、例えば自転車が車両の前方左側から右側に通る状況が発生し得る。

このような場合、図１０ｂに示したように、第１オブジェクトが車両の右側に通ることと予測される場合、プロセッサー１７０は、第２合成領域３０３が第１合成領域３０１に含まれた第１重畳領域３４５と第３合成領域３０５に含まれた第２重畳領域３４７とを含むように変更させたアラウンドビュー変造映像を生成することができる。このようなアラウンドビュー変造映像は、第１画面３７１に含まれ得る。

したがって、新たに変更された第２合成領域３０３のサイズは、第２合成領域３０３だけでなく第１重畳領域３４５及び第２重畳領域３４７をさらに含むことができ、このような第２合成領域３０３、第１及び第２重畳領域３４５、３４７は、第２カメラ１６０ｂによって獲得された第２映像３２３から生成され得る。詳しいことは第１実施例及び第２実施例から容易に理解され得る。

したがって、新たに変更された第２合成領域３０３によって車両の右側が完全にカバーされるので、図１０ｃに示したように、車両の右側に第１オブジェクトが通っても重畳や消えることが発生しない。

しかし、第２オブジェクトは、第１車両の前方を経由して新たに変更された第２合成領域３０３と第１合成領域３０１の境界線３６１を通るようになり、その境界線３６１で第２オブジェクトは消えることがある。

このように、境界線３６１にオブジェクトが位置して当該境界線３６１を変更することができない状況が発生する場合、画面生成部３７０は、画面を少なくとも一つ以上の画面に分割することができる。

すなわち、画面生成部３７０は、図１０ｄに示したように、画面を第１及び第２画面３７１、３７３に分割し、第１画面３７１は、アラウンドビュー変造映像を含むようにし、第２画面３７３は、前方カメラ、即第１カメラ１６０ａから獲得された第１映像３２１が含まれるようにすることができる。

第１カメラ１６０ａから獲得された第１映像３２１は、アラウンドビュー変造映像の第１合成領域３０１だけでなく第１重畳領域３４５をカバーすることができる。

したがって、第１カメラ１６０ａから獲得された第１映像３２１が第２画面３７３を介してディスプレイされる場合、第２オブジェクトがアラウンドビュー変造映像の境界線３６１に位置してアラウンドビュー変造映像では消えても第１カメラ１６０ａから獲得された第１映像３２１によって第２オブジェクトの動きが第２画面を介してディスプレイされ得る。これによって、運転者は、第１オブジェクトの動きは、第１画面３７１を介してディスプレイされるアラウンドビュー変造映像から認知し、第２オブジェクトの動きは、第２画面３７３を介してディスプレイされる第１カメラ１６０ａから獲得された第１映像３２１から認知することができる。

もし、追加的にアラウンド変造映像の他の境界線にまた他のオブジェクトが位置して消える場合、その部分をカバーするカメラから獲得された映像がディスプレイされるように第３画面（図示せず）がさらに追加され得る。

一方、図１０ｄに示したように、特定の部分を強調するためにオーバレイ（ｏｖｅｒｌａｙ）領域３７５、３７７がディスプレイされ得る。オーバレイ領域３７５、３７７は、既存の映像に重ね当てられる形態にディスプレイされ得るが、これに限定しない。

例えば、第１画面３７１でアラウンドビュー変造映像の境界線３６１を含んだ第１重畳領域３４５に第１オーバレイ領域３７５がディスプレイされ、第１カメラ１６０ａから獲得された第１映像３２１を含む第２画面３７３の枠に沿って第２オーバレイ領域３７７がディスプレイされ得る。

このようなオーバレイ領域３７５、３７７を介して運転者の関心を誘導してさらに 積極的に事故に対処するようにすることができる。

実施例は、少なくとも二つ以上のオブジェクトが車両に接近するが、一つのオブジェクトの動きは、特定の合成領域の変更を介して完全に把握することができるが、他のオブジェクトは、特定の合成領域の変更が不可能で境界線３６１に位置する状況が発生する場合、境界線３６１に位置するオブジェクトの動きを別に把握するように当該境界線３６１の付近を撮影することができるカメラ１６０ａ、１６０ｂ、１６０ｃ、１６０ｄから獲得された映像がディスプレイされるようにすることによって、少なくとも二つ以上のオブジェクトが車両に接近しても、これらの少なくとも二つ以上のオブジェクトの動きをすべて容易に把握することができる。

第４実施例
第４実施例は、アラウンドビュー映像の合成領域が変更されたとき、その変更されることを運転者が分かるようにする。

図１１は、また他の実施例に係るプロセッサーの構成を示したブロック図である。

図１１で画面生成部３７２を除いた残りの構成要素は、図７と同一である。したがって、画面生成部３７２を中心に説明するようにする。

画面生成部３７２は、アラウンドビュー変調部３６５から入力されたアラウンドビュー変造映像をもとにアラウンドビュー変造映像の合成領域が変更されることを識別することができる識別バー（ｂａｒ）を含む画面を生成することができる。

図１２ａに示したように、ノーマルモードの時第１ないし第４合成領域３０１、３０３、３０５、３０７を含むアラウンドビュー映像が画面上にディスプレイされ得る。このとき、アラウンドビュー映像は識別バー３８４、３８５、３８６、３８７及び車両形象とともにディスプレイされ得る。識別バー３８４、３８５、３８６、３８７は、車両形象の周辺に配置され得るが、これに限定しない。

識別バーは、複数の識別バー３８４、３８５、３８６、３８７を含むことができる。複数の識別バー３８４、３８５、３８６、３８７は、アラウンドビュー変造映像に含まれた第１ないし第４合成領域３０１、３０３、３０５、３０７の個数だけ備えられ得る。

第１識別バー３８４は、アラウンドビュー映像の第１合成領域３０１のサイズに対応するサイズを有することができる。第２識別バー３８５は、アラウンドビュー映像の第２合成領域３０３のサイズに対応するサイズを有することができる。第３識別バー３８６は、アラウンドビュー映像の第３合成領域３０５のサイズに対応するサイズを有することができる。第４識別バー３８７は、アラウンドビュー映像の第４合成領域３０７のサイズに対応するサイズを有することができる。

図１２ｂに示したようにオブジェクトの接近によってアラウンドビュー映像が変調されてアラウンドビュー変造映像に生成され得る。すなわち、オブジェクトが車両に接近して車両の右側に通ることと予測される場合、アラウンドビュー映像で第２合成領域３０３が第１重畳領域３４５及び第２重畳領域３４７を含むように変更されたアラウンドビュー変造映像が生成され得る。

図１２cに示したように、アラウンドビュー変造映像によってオブジェクトが車両の右側に通ってもオブジェクトが消える現象が防止され得る。

図１２ｂ及び図１２cに示したように、アラウンドビュー変造映像で第２合成領域３０３の変更により、第１合成領域３０１及び第３合成領域３０５も変更され得る。

第１ないし第３合成領域３０１、３０３、３０５が変更される場合、そのような変更に対応する第１ないし第３識別バー３８４、３８５、３８６も変更され得る。

すなわち、第２識別バー３８５のサイズは、大きくなることのに対し、第１及び第３識別バー３８４、３８６それぞれのサイズは小くなることがある。

図１２ｄに示したように、オブジェクトが車両の右側に完全に通った場合、アラウンドビュー変造映像は、元のアラウンドビュー映像に復元され得る。これによって、第１ないし第３識別バー３８４、３８５、３８６また元のサイズに復元され得る。

第５実施例
第５実施へのプロセッサー１７０の構成は、図９と同一である。

すなわち、第５実施例は、第１及び第２実施例とは異なり、オブジェクトの接近によってアラウンドビュー映像の境界線が変更されない状況、例えば少なくとも二つ以上の境界線の付近にオブジェクトが接近するときの画面構成に関するものである。

図１３に示したように、車両７００の前方からアラウンドビュー映像の第１及び第２合成領域３０１、３０３の間の境界線３６１に特定オブジェクトが進入するとき、当該オブジェクトは、境界線３６１によって重畳されたり消えることがある。

このような場合、運転者は、当該オブジェクトを認識することができなくなって、ともすれば事故が発生し得る。

第５実施例によれば、プロセッサー１７０は、特定オブジェクトが特定の境界線、例えば第１及び第２合成領域３０１、３０３の間の境界線３６１に進入するとき、警告音を出力するように制御することができる。このような警告音は、図１に示されたオーディオ出力部１８５を介して出力され得る。

他の例として、プロセッサー１７０は、特定オブジェクトが境界線３６１に進入するとき、当該境界線３６１やその隣接領域のきらめく現象がディスプレイされるようにすることができる。

第６実施例
第６実施例は、第３実施例図１０と類似している。すなわち、少なくとも二つ以上のオブジェクトが車両に接近し、一つのオブジェクトの動きは、特定の合成領域の変更を介して完全に把握することができるが、他のオブジェクトは、特定の合成領域の変更が不可能で境界線に位置する状況が発生するだけでなく現在後進モード動作で車両が後進されて第３カメラ１６０ｃから獲得された後方映像が画面にディスプレイされてこれ以上追加の画面が生成されることができない場合に関するものである。

図１４ａに示したように、第１オブジェクト、例えば人が車両の右側に通る前にアラウンドビュー変造映像を介して第２合成領域３０３が拡大され得る。これによって、第１オブジェクトが車両の右側に通ってもアラウンドビュー変造映像で消える現象が発生しないようになる。アラウンドビュー変造映像は、第１画面３７１を介してディスプレイされ得る。

しかし、第２オブジェクト、例えば自転車が車両の前方に移動中にアラウンドビュー変造映像の境界線３６１に位置する場合、第２オブジェクトは、アラウンドビュー変造映像で消えることがある。

第３実施例では。このように消えることがある第２オブジェクトの動きを明確に把握するように第１カメラ１６０ａから獲得された第１映像３２１が直接ディスプレイされ得る。

第６実施例では、追加的に現在後進モードに動作されて図１４ｂに示したように第３カメラ１６０ｃによって獲得された第３映像３２５が第２画面３８５を介してディスプレイされているので、余分の画面がないことがある。すなわち、ディスプレイ部１８０の画面は、最大２個の画面３７１、３８５に分割され得る。

このような場合、図１４ｂに示したように、第２オブジェクトがアラウンドビュー変造映像で消えるにもかかわらず、画面上に追加的に第２オブジェクトに関する映像がディスプレイされることができない場合、プロセッサー１７０は、第２オブジェクトが境界線３６１に進入するとき、警告音を出力するように制御することができる。このような警告音は、図１に示されたオーディオ出力部１８５を介して出力され得る。

プロセッサー１７０は、当該境界線３６１と第１重畳領域３４５の一部上に第１オーバレイ領域３８１がディスプレイされ得る。また、第３カメラ１６０ｃから獲得された第３映像３２５を含む第２画面３８５の枠に沿って第２オーバレイ領域３８３がディスプレイされ得る。

このようなオーバレイ領域３８１、３８３を介して運転者の関心を誘導してさらに 積極的に事故に対処するようにすることができる。

前記の詳細な説明はすべての面で制限的に解釈されてはならず、例示的なものとして考慮されなければならない。本発明の範囲は添付された請求項の合理的解釈によって 決定されなければならず、本発明の等価的範囲内でのすべての変更は本発明の範囲に含まれる。

産業上利用可能性

実施例は、燃料自動車に適用され得る。

実施例は、電気自動車や水素自動車のような親環境自動車に適用され得る。

実施例は、スマートカー、コネックティトカーや自律走行車のような未来型自動車に適用され得る。

Claims (10)

1. 第１及び第２映像情報を獲得する第１及び第２カメラ；及び
   プロセッサーを含み、
   前記プロセッサーは、
   前記第１及び第２映像をもとに被写体の重畳領域を含む第１領域と前記被写体の重畳領域を含まない第２領域とを含むアラウンドビュー映像を生成し、
   前記被写体の重畳領域は、前記第１及び第２映像で第１及び第２境界線の間に配置され、前記第１境界線は、前記第１領域内に位置され、前記第２境界線は、前記第２領域と接し、
   第１オブジェクトが一定の距離以内に近接して前記第２境界線を通ることと予測される場合、前記第２領域が前記被写体の重畳領域を含むように前記第２領域を変更させたアラウンドビュー映像を生成する、アラウンドビュー提供装置。
2. 前記第２領域が前記被写体の重畳領域に対応する領域を含むように拡大される場合、前記第１領域は、前記被写体の重畳領域に対応する領域が除かれて縮小される、請求項１に記載のアラウンドビュー提供装置。
3. 前記プロセッサーは、
   前記第２領域を変更させるために前記第２境界線の位置が前記第１境界線の位置に変更させる、請求項１に記載のアラウンドビュー提供装置。
4. 第１及び第２映像を獲得する第１及び第２カメラ；及び
   プロセッサーを含み、
   前記プロセッサーは、
   前記獲得された第１及び第２映像をもとに重畳領域を含む第１合成領域と前記重畳領域を含まない第２合成領域とを含むアラウンドビュー映像を生成し、前記重畳領域は第１及び第２境界線の間に配置され、前記第１境界線は前記第１合成領域内に位置し、前記第２境界線は前記第２合成領域と接し、
   第１オブジェクトが一定の距離以内に近接して前記第２境界線を通ることと予測される場合、前記重畳領域を含むように前記第２合成領域を拡大させて前記重畳領域が除かれた第１合成領域を縮小させたアラウンドビュー変造映像を生成するアラウンドビュー提供装置。
5. 前記プロセッサーは、
   前記第１オブジェクトが前記第２境界線を通った場合、前記重畳領域を含むように前記第１合成領域を拡大させたアラウンドビュー映像を復元させる、請求項４に記載のアラウンドビュー提供装置。
6. 前記プロセッサーは、
   前記獲得された第１及び第２映像の少なくとも一つの映像から少なくとも一つのオブジェクトを抽出し、前記抽出された少なくとも一つのオブジェクトの動きを追跡するオブジェクト追跡部；
   前記獲得された第１及び第２映像をもとに前記重畳領域を含む第１合成領域と前記重畳領域を含まない前記第２合成領域とを含む前記アラウンドビュー映像を生成するアラウンドビュー生成部；及び
   前記追跡されたオブジェクトの動きと距離情報をもとに前記重畳領域を含むように前記第２合成領域を拡大させたアラウンドビュー変造映像を生成するアラウンドビュー変造部を含む、請求項４に記載のアラウンドビュー提供装置。
7. 前記プロセッサーは、
   前記アラウンドビュー変造映像で前記第２合成領域が前記第１境界線に拡大されて前記第１境界線に第２オブジェクトが通る場合、前記第２オブジェクトが位置した部分を撮影するカメラから獲得された映像をディスプレイするための画面を生成する画面生成部をさらに含む、請求項６に記載のアラウンドビュー提供装置。
8. 前記プロセッサーは、
   前記アラウンドビュー変造映像で前記第２合成領域が前記第１境界線に拡大されて前記第１境界線に第２オブジェクトが通るが、前記第２オブジェクトが位置した部分を撮影するカメラから獲得された映像をディスプレイするための画面がない場合、警告音を出力する一方、前記アラウンドビュー変造映像の第１境界線の付近にオーバレイ領域をディスプレイさせる、請求項７に記載のアラウンドビュー提供装置。
9. 前記プロセッサーは、
   前記生成されたアラウンドビュー変造映像をもとにアラウンドビュー変造映像の合成領域が拡大されることを識別する複数の識別バーを含む画面を生成する画面生成部；及び
   前記複数の識別バーを含む画面をディスプレイさせるためのディスプレイ部をさらに含む、請求項６に記載のアラウンドビュー提供装置。
10. 前記合成領域は、複数であり、前記識別バーは、複数の前記合成領域のそれぞれに対応する領域に前記合成領域にそれぞれの面積に対応する面積を有するように配置される、請求項９に記載のアラウンドビュー提供装置。

Images