JP2002334322A - 透視投影画像生成システム、透視投影画像生成方法、透視投影画像生成プログラムおよび透視投影画像生成プログラムを記憶した記憶媒体 - Google Patents
透視投影画像生成システム、透視投影画像生成方法、透視投影画像生成プログラムおよび透視投影画像生成プログラムを記憶した記憶媒体Info
- Publication number
- JP2002334322A JP2002334322A JP2001140779A JP2001140779A JP2002334322A JP 2002334322 A JP2002334322 A JP 2002334322A JP 2001140779 A JP2001140779 A JP 2001140779A JP 2001140779 A JP2001140779 A JP 2001140779A JP 2002334322 A JP2002334322 A JP 2002334322A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- perspective projection
- projection image
- scale model
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000003287 optical effect Effects 0.000 claims description 25
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 32
- 240000004050 Pentaglottis sempervirens Species 0.000 description 28
- 230000000007 visual effect Effects 0.000 description 24
- 238000013500 data storage Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 101100316860 Autographa californica nuclear polyhedrosis virus DA18 gene Proteins 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101100321669 Fagopyrum esculentum FA02 gene Proteins 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101000946889 Homo sapiens Monocyte differentiation antigen CD14 Proteins 0.000 description 1
- 102100035877 Monocyte differentiation antigen CD14 Human genes 0.000 description 1
- 101100219325 Phaseolus vulgaris BA13 gene Proteins 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
Abstract
(57)【要約】
【課題】 撮像対象物との正確な位置関係を把握し得る
透視投影画像生成システム、透視投影画像生成方法、透
視投影画像生成プログラムおよび透視投影画像生成プロ
グラムを記憶した記憶媒体を提供する。 【解決手段】 双曲面ミラー１０の焦点Ｏｍから透視投
影画像面１２までの距離ｄと、双曲面ミラー１０の焦点
Ｏｍから実空間平面１３までの距離Ｄとの距離の相対比
ｄ／Ｄに基づいて、透視投影画像のサイズに対応した対
象物体のスケールモデルを作成し、このスケールモデル
を透視投影画像とともに提示することにより、撮像対象
物との位置関係、距離等を容易に把握することができ
る。
透視投影画像生成システム、透視投影画像生成方法、透
視投影画像生成プログラムおよび透視投影画像生成プロ
グラムを記憶した記憶媒体を提供する。 【解決手段】 双曲面ミラー１０の焦点Ｏｍから透視投
影画像面１２までの距離ｄと、双曲面ミラー１０の焦点
Ｏｍから実空間平面１３までの距離Ｄとの距離の相対比
ｄ／Ｄに基づいて、透視投影画像のサイズに対応した対
象物体のスケールモデルを作成し、このスケールモデル
を透視投影画像とともに提示することにより、撮像対象
物との位置関係、距離等を容易に把握することができ
る。
Description
【０００１】
【発明の属する技術分野】本発明は、全方位視覚センサ
ーを用いた透視投影画像生成システム、透視投影画像生
成方法、透視投影画像生成プログラムおよび透視投影画
像生成プログラムを記憶した記憶媒体に関する。
ーを用いた透視投影画像生成システム、透視投影画像生
成方法、透視投影画像生成プログラムおよび透視投影画
像生成プログラムを記憶した記憶媒体に関する。
【０００２】
【従来の技術】近年、自動車の駐車時等に運転者の運転
上の負担を軽減させるために自動車に搭載されるバック
モニターに代表されるように、自動車等の移動体にカメ
ラを搭載して、移動体の死角にあたる部分の画像をモニ
ター表示させる画像表示システムの研究が盛んに行われ
ている。
上の負担を軽減させるために自動車に搭載されるバック
モニターに代表されるように、自動車等の移動体にカメ
ラを搭載して、移動体の死角にあたる部分の画像をモニ
ター表示させる画像表示システムの研究が盛んに行われ
ている。
【０００３】しかし、従来の画像表示システムでは、例
えば、自動車の真後ろにあたる部分の視野角が狭くなっ
ている等、一部の情報を表示するに留まっており、運転
者の運転上の負担をさらに軽減するために、自動車と障
害物との位置関係についてのより正確な情報を得るため
には、視野角の広いカメラが求められる。
えば、自動車の真後ろにあたる部分の視野角が狭くなっ
ている等、一部の情報を表示するに留まっており、運転
者の運転上の負担をさらに軽減するために、自動車と障
害物との位置関係についてのより正確な情報を得るため
には、視野角の広いカメラが求められる。
【０００４】また、従来のバックモニター等の画像表示
システムでは、カメラからの画像をほぼそのまま表示画
面として表示しているため、表示される表示画像が自動
車後方等の特定視野領域に限定される。したがって、こ
のような画像表示システムでは、自動車の真後ろに位置
する障害物等を確認することや、どこまでバックできる
か等を確認することはできるが、自動車の下部に位置す
る駐車場の枠線、自動車の側部に位置する隣接の車等の
真後ろ以外の領域についての情報及び障害物との位置関
係を把握することができない。
システムでは、カメラからの画像をほぼそのまま表示画
面として表示しているため、表示される表示画像が自動
車後方等の特定視野領域に限定される。したがって、こ
のような画像表示システムでは、自動車の真後ろに位置
する障害物等を確認することや、どこまでバックできる
か等を確認することはできるが、自動車の下部に位置す
る駐車場の枠線、自動車の側部に位置する隣接の車等の
真後ろ以外の領域についての情報及び障害物との位置関
係を把握することができない。
【０００５】このため、自動車を運転する運転者は、モ
ニターからの画像と、バックミラー及びサイドミラーか
らの情報を目視すると共に、運転者としての経験によっ
て対応しなければならず、運転者としての経験が少ない
初心者等が安全な運転を行う場合に、大きな負担となっ
ている。
ニターからの画像と、バックミラー及びサイドミラーか
らの情報を目視すると共に、運転者としての経験によっ
て対応しなければならず、運転者としての経験が少ない
初心者等が安全な運転を行う場合に、大きな負担となっ
ている。
【０００６】このような状況から、自動車と駐車場等の
外部環境との正確な位置情報を運転者に提供する運転支
援システムとしての画像表示システムを実現することが
求められており、特願２０００−３１２６０号には、双
曲線ミラーを用いた全方位視覚センサーを視野方向を鉛
直下向きにした状態で、自動車の所定位置に設置し、こ
の全方位視覚センサーにより得られる透視投影画像によ
って、自動車の上方から地上面をみた鳥瞰図を作成する
移動体周辺確認装置が開示されている。この移動体周辺
確認装置により、自動車等の移動体の地上面に対する平
面的な位置情報が表示される。
外部環境との正確な位置情報を運転者に提供する運転支
援システムとしての画像表示システムを実現することが
求められており、特願２０００−３１２６０号には、双
曲線ミラーを用いた全方位視覚センサーを視野方向を鉛
直下向きにした状態で、自動車の所定位置に設置し、こ
の全方位視覚センサーにより得られる透視投影画像によ
って、自動車の上方から地上面をみた鳥瞰図を作成する
移動体周辺確認装置が開示されている。この移動体周辺
確認装置により、自動車等の移動体の地上面に対する平
面的な位置情報が表示される。
【０００７】
【発明が解決しようとする課題】特願２０００−３１２
６０号に記載された移動体周辺確認装置では、実際には
地上面に存在しない自動車の映像を地上面上にあるよう
な透視投影に変換した画像を作成するため、著しく歪ん
だ鳥瞰図となり、地上面における自動車の位置関係を判
断することが容易でないという問題がある。
６０号に記載された移動体周辺確認装置では、実際には
地上面に存在しない自動車の映像を地上面上にあるよう
な透視投影に変換した画像を作成するため、著しく歪ん
だ鳥瞰図となり、地上面における自動車の位置関係を判
断することが容易でないという問題がある。
【０００８】また、この特願２０００−３１２６０号で
は、歪みを生じた自動車の画像が占める領域に、自動車
を真上から見た画像を合成すれば、鳥瞰図における自動
車と地上面との位置関係を正確に分かりやすく表示でき
る構成が記載されているが、合成画像の作成方法につい
ての詳細な説明がなく、実際には、適切な画像を合成す
るためには、運転者が、画面を見ながら画面の調整を試
行錯誤によって繰り返すことにより作成されている。こ
のため、ズームアップ、ズームダウン等の画像の軽微な
変更にも対応することが容易ではなく、また、障害物、
駐車枠等と自動車との具体的な距離間隔を把握できない
という問題がある。
は、歪みを生じた自動車の画像が占める領域に、自動車
を真上から見た画像を合成すれば、鳥瞰図における自動
車と地上面との位置関係を正確に分かりやすく表示でき
る構成が記載されているが、合成画像の作成方法につい
ての詳細な説明がなく、実際には、適切な画像を合成す
るためには、運転者が、画面を見ながら画面の調整を試
行錯誤によって繰り返すことにより作成されている。こ
のため、ズームアップ、ズームダウン等の画像の軽微な
変更にも対応することが容易ではなく、また、障害物、
駐車枠等と自動車との具体的な距離間隔を把握できない
という問題がある。
【０００９】本発明は、上記問題を解決するためになさ
れたものであり、撮像対象物との正確な位置関係を把握
し得る透視投影画像生成システム、透視投影画像生成方
法、透視投影画像生成プログラムおよび透視投影画像生
成プログラムを記憶した記憶媒体を提供することを目的
とする。
れたものであり、撮像対象物との正確な位置関係を把握
し得る透視投影画像生成システム、透視投影画像生成方
法、透視投影画像生成プログラムおよび透視投影画像生
成プログラムを記憶した記憶媒体を提供することを目的
とする。
【００１０】
【課題を解決するための手段】上記課題を解決するた
め、本発明の透視投影画像生成システムは、二葉双曲面
のうちの一方の双曲面状の形状を有する双曲面ミラーか
らなる光学系と、該双曲面ミラーに対向して設置された
レンズにより集光された光を受光し入力画像データを生
成する撮像手段と、該撮像手段により取得された入力画
像データに基づいて、該双曲面ミラーの焦点を射影中心
（視点）とした透視投影の画像データを生成する画像変
換手段と、該双曲面ミラーの焦点と該双曲面ミラーの焦
点を通る直線に直交する物体面との距離と、該双曲面ミ
ラーの焦点と透視投影画像面との距離との相対比に基づ
いて、該物体面での物体の画像データを透視投影画像上
におけるサイズに対応する物体のスケールモデルの画像
データに変換するスケールモデル作成手段と、該透視投
影画像データと、該スケールモデルの画像データとを合
成した合成画像データを生成する画像合成手段と、該合
成画像データを表示する表示手段と、を備えたことを特
徴とするものである。
め、本発明の透視投影画像生成システムは、二葉双曲面
のうちの一方の双曲面状の形状を有する双曲面ミラーか
らなる光学系と、該双曲面ミラーに対向して設置された
レンズにより集光された光を受光し入力画像データを生
成する撮像手段と、該撮像手段により取得された入力画
像データに基づいて、該双曲面ミラーの焦点を射影中心
（視点）とした透視投影の画像データを生成する画像変
換手段と、該双曲面ミラーの焦点と該双曲面ミラーの焦
点を通る直線に直交する物体面との距離と、該双曲面ミ
ラーの焦点と透視投影画像面との距離との相対比に基づ
いて、該物体面での物体の画像データを透視投影画像上
におけるサイズに対応する物体のスケールモデルの画像
データに変換するスケールモデル作成手段と、該透視投
影画像データと、該スケールモデルの画像データとを合
成した合成画像データを生成する画像合成手段と、該合
成画像データを表示する表示手段と、を備えたことを特
徴とするものである。
【００１１】上記本発明の透視投影画像生成システムに
おいて、前記物体面が地上面であることが好ましい。
おいて、前記物体面が地上面であることが好ましい。
【００１２】上記本発明の透視投影画像生成システムに
おいて、前記射影中心と該透視投影画像面との距離が、
解像度の最小単位であるピクセル数により表されること
が好ましい。
おいて、前記射影中心と該透視投影画像面との距離が、
解像度の最小単位であるピクセル数により表されること
が好ましい。
【００１３】上記本発明の透視投影画像生成システムに
おいて、前記スケールモデルの画像データは、前記物体
面におけるスケールモデルの対象となる物体の情報に基
づいて作成されることが好ましい。
おいて、前記スケールモデルの画像データは、前記物体
面におけるスケールモデルの対象となる物体の情報に基
づいて作成されることが好ましい。
【００１４】上記本発明の透視投影画像生成システムに
おいて、前記情報は、前記対象物体の画像データである
元画像データ（ヘッダー情報を含む）と、該物体の実寸
法と、前記双曲面ミラーの焦点と該物体面との距離デー
タとを含んでいることが好ましい。
おいて、前記情報は、前記対象物体の画像データである
元画像データ（ヘッダー情報を含む）と、該物体の実寸
法と、前記双曲面ミラーの焦点と該物体面との距離デー
タとを含んでいることが好ましい。
【００１５】上記本発明の透視投影画像生成システムに
おいて、前記スケールモデル作成手段は、前記対象物体
の画像データである元画像データを、前記相対比を用い
て拡大または縮小してスケールモデルの画像データを作
成することが好ましい。
おいて、前記スケールモデル作成手段は、前記対象物体
の画像データである元画像データを、前記相対比を用い
て拡大または縮小してスケールモデルの画像データを作
成することが好ましい。
【００１６】上記本発明の透視投影画像生成システムに
おいて、前記光学系と同様の第２の光学系を有し、前記
スケールモデル作成手段によって作成されたスケールモ
デルの画像データに基づいて、該第２の光学系における
双曲面ミラーの焦点と該焦点を射影中心とした第２の光
学系における透視投影画像面との距離を逆算して求め、
該スケールモデルに対応した第２の光学系における双曲
面ミラーの焦点を射影中心とした透視投影画像データを
作成することが好ましい。
おいて、前記光学系と同様の第２の光学系を有し、前記
スケールモデル作成手段によって作成されたスケールモ
デルの画像データに基づいて、該第２の光学系における
双曲面ミラーの焦点と該焦点を射影中心とした第２の光
学系における透視投影画像面との距離を逆算して求め、
該スケールモデルに対応した第２の光学系における双曲
面ミラーの焦点を射影中心とした透視投影画像データを
作成することが好ましい。
【００１７】上記本発明の透視投影画像生成システムに
おいて、前記スケールモデルの画像データは、長さを表
示するゲージモデルであることが好ましい。
おいて、前記スケールモデルの画像データは、長さを表
示するゲージモデルであることが好ましい。
【００１８】また、本発明の透視投影画像生成方法は、
二葉双曲面のうちの一方の双曲面状の形状を有する双曲
面ミラーからなる光学系と、該双曲面ミラーに対向して
設置されたレンズにより集光された光を受光し入力画像
データを生成する撮像手段とを有する全方位視覚センサ
ーを用いて入力画像データを取得する工程と、該撮像手
段により取得された入力画像データに基づいて、双曲面
ミラーの焦点を射影中心（視点）とした透視投影の画像
データを生成する画像変換工程と、該双曲面ミラーの焦
点と該双曲面ミラーの焦点を通る直線に直交する物体面
との距離と、該双曲面ミラーの焦点と透視投影画像面と
の距離との相対比に基づいて、該物体面での物体の画像
データを該透視投影画像上におけるサイズに対応する物
体のスケールモデルの画像データに変換するスケールモ
デル作成工程と、該透視投影画像データと、該スケール
モデルの画像データとを合成した合成画像データを生成
する画像合成工程と、該合成画像データを表示する表示
工程と、を包含することを特徴とするものである。
二葉双曲面のうちの一方の双曲面状の形状を有する双曲
面ミラーからなる光学系と、該双曲面ミラーに対向して
設置されたレンズにより集光された光を受光し入力画像
データを生成する撮像手段とを有する全方位視覚センサ
ーを用いて入力画像データを取得する工程と、該撮像手
段により取得された入力画像データに基づいて、双曲面
ミラーの焦点を射影中心（視点）とした透視投影の画像
データを生成する画像変換工程と、該双曲面ミラーの焦
点と該双曲面ミラーの焦点を通る直線に直交する物体面
との距離と、該双曲面ミラーの焦点と透視投影画像面と
の距離との相対比に基づいて、該物体面での物体の画像
データを該透視投影画像上におけるサイズに対応する物
体のスケールモデルの画像データに変換するスケールモ
デル作成工程と、該透視投影画像データと、該スケール
モデルの画像データとを合成した合成画像データを生成
する画像合成工程と、該合成画像データを表示する表示
工程と、を包含することを特徴とするものである。
【００１９】また、本発明の透視投影画像生成プログラ
ムは、上記本発明の透視投影画像生成方法を実行する。
ムは、上記本発明の透視投影画像生成方法を実行する。
【００２０】また、本発明の記録媒体は、上記本発明の
透視投影画像生成方法をコンピュータで実行する為の透
視投影画像生成プログラムを記録している。
透視投影画像生成方法をコンピュータで実行する為の透
視投影画像生成プログラムを記録している。
【００２１】
【発明の実施の形態】以下、本発明に係る透視投影画像
生成システムについて説明する。
生成システムについて説明する。
【００２２】本発明の透視投影画像生成システムでは、
双曲面ミラーを用いた全方位視覚センサーによって得ら
れる入力画像データに基づいて、双曲面ミラーの焦点を
射影中心とする透視投影画像を生成する。
双曲面ミラーを用いた全方位視覚センサーによって得ら
れる入力画像データに基づいて、双曲面ミラーの焦点を
射影中心とする透視投影画像を生成する。
【００２３】まず、全方位視覚センサーについて説明す
る。
る。
【００２４】双曲面ミラーを用いた全方位視覚系の詳細
については、特開平６−２９５３３３号公報に説明され
ているので、ここでは、双曲面ミラーを用いた全方位視
覚系の特徴についてのみ説明する。
については、特開平６−２９５３３３号公報に説明され
ているので、ここでは、双曲面ミラーを用いた全方位視
覚系の特徴についてのみ説明する。
【００２５】図１は、全方位視覚センサーの光学系を説
明するための構成図である。
明するための構成図である。
【００２６】全方位視覚センサーの光学系は、図１に示
すように、双曲面ミラー１０を有している。双曲面ミラ
ー１０は、回転体の外周面が反射面になっており、図１
においては、その回転軸が３次元座標（ｘ、ｙ、ｚ）に
おけるｚ軸に配置されている。双曲面ミラー１０の焦点
Ｏｍはｚ軸上に位置している。双曲面ミラー１０の焦点
Ｏｍに向かって照射される光は、双曲面ミラー１０の反
射面にて反射されてｚ軸上の点Ｏｃに集光される。この
点Ｏｃは、双曲面ミラー１０を含む二葉双曲面における
もう一方の焦点位置に相当する。この点Ｏｃには、レン
ズ１４が配置されており、このレンズ１４の焦点距離ｆ
だけ離れた位置に、ＣＣＤ等の受光面である画像面１１
がｚ軸とは直交状態で配置されている。点Ｏｃは、レン
ズ１４のレンズ主点である。
すように、双曲面ミラー１０を有している。双曲面ミラ
ー１０は、回転体の外周面が反射面になっており、図１
においては、その回転軸が３次元座標（ｘ、ｙ、ｚ）に
おけるｚ軸に配置されている。双曲面ミラー１０の焦点
Ｏｍはｚ軸上に位置している。双曲面ミラー１０の焦点
Ｏｍに向かって照射される光は、双曲面ミラー１０の反
射面にて反射されてｚ軸上の点Ｏｃに集光される。この
点Ｏｃは、双曲面ミラー１０を含む二葉双曲面における
もう一方の焦点位置に相当する。この点Ｏｃには、レン
ズ１４が配置されており、このレンズ１４の焦点距離ｆ
だけ離れた位置に、ＣＣＤ等の受光面である画像面１１
がｚ軸とは直交状態で配置されている。点Ｏｃは、レン
ズ１４のレンズ主点である。
【００２７】このような光学系において、双曲面ミラー
１０の焦点Ｏｍから距離Ｄだけ離れた点Ｇを含み、焦点
Ｏｍと点Ｇとを結ぶ直線Ｏｍ−Ｇ（視野方向）に直交す
る実空間平面１３上の点Ｐから双曲面ミラー１０の焦点
Ｏｍに向かう照射光について考える。点Ｐは、ｘ−ｙ−
ｚ軸座標では、（Ｘ、Ｙ、Ｚ）にて表される。点Ｐから
焦点Ｏｍに照射される光は、双曲面ミラー１０によっ
て、レンズ１４のレンズ主点Ｏｃに向かって反射されて
レンズ１４によって、画像面１１の点ｐ（ｘ、ｙ）に結
像し、画像面１１に結像した点Ｐの画像が入力画像とな
る。この場合、双曲面ミラー１０がｚ軸を中心軸とする
回転体の外周面に構成されているので、双曲面ミラー１
０により反射された光により生成される入力画像は円形
画像となる。
１０の焦点Ｏｍから距離Ｄだけ離れた点Ｇを含み、焦点
Ｏｍと点Ｇとを結ぶ直線Ｏｍ−Ｇ（視野方向）に直交す
る実空間平面１３上の点Ｐから双曲面ミラー１０の焦点
Ｏｍに向かう照射光について考える。点Ｐは、ｘ−ｙ−
ｚ軸座標では、（Ｘ、Ｙ、Ｚ）にて表される。点Ｐから
焦点Ｏｍに照射される光は、双曲面ミラー１０によっ
て、レンズ１４のレンズ主点Ｏｃに向かって反射されて
レンズ１４によって、画像面１１の点ｐ（ｘ、ｙ）に結
像し、画像面１１に結像した点Ｐの画像が入力画像とな
る。この場合、双曲面ミラー１０がｚ軸を中心軸とする
回転体の外周面に構成されているので、双曲面ミラー１
０により反射された光により生成される入力画像は円形
画像となる。
【００２８】次に、入力画像を利用して光学系の周囲情
報の一部を双曲面ミラー１０の焦点Ｏｍを射影中心とし
た透視投影に変換した透視投影画像について説明する。
報の一部を双曲面ミラー１０の焦点Ｏｍを射影中心とし
た透視投影に変換した透視投影画像について説明する。
【００２９】今、前述した実空間平面１３の視野方向で
ある直線Ｏｍ−Ｇ上における点ｇを含み、この直線Ｏｍ
−Ｇに直交する透視投影画像面１２を考える。透視投影
画像面１２の点ｇは、双曲面ミラー１０における焦点Ｏ
ｍから距離ｄだけ離れており、透視投影画像面１２と実
空間平面１３は平行な面とする。そこで、実空間平面１
３と焦点Ｏｍとの間に光を遮断する物体がなければ、焦
点Ｏｍを射影中心とした透視投影画像面１２を考えた場
合、点Ｐ（Ｘ、Ｙ、Ｚ）から照射される光は、射影点ｐ
ｔ（ｔｘ、ｔｙ、ｔｚ）に投影される。前述したように
実空間平面１３上の点Ｐ（Ｘ、Ｙ、Ｚ）の光は画像面１
１における点ｐ（ｘ、ｙ）に結像するので、射影点ｐｔ
（ｔｘ、ｔｙ、ｔｚ）の値は点ｐ（ｘ、ｙ）の値により
決まる。このように透視投影画像面１２における各射影
点の値を画像面１１から求めることにより、焦点Ｏｍを
射影中心とした透視投影画像を得ることができる。
ある直線Ｏｍ−Ｇ上における点ｇを含み、この直線Ｏｍ
−Ｇに直交する透視投影画像面１２を考える。透視投影
画像面１２の点ｇは、双曲面ミラー１０における焦点Ｏ
ｍから距離ｄだけ離れており、透視投影画像面１２と実
空間平面１３は平行な面とする。そこで、実空間平面１
３と焦点Ｏｍとの間に光を遮断する物体がなければ、焦
点Ｏｍを射影中心とした透視投影画像面１２を考えた場
合、点Ｐ（Ｘ、Ｙ、Ｚ）から照射される光は、射影点ｐ
ｔ（ｔｘ、ｔｙ、ｔｚ）に投影される。前述したように
実空間平面１３上の点Ｐ（Ｘ、Ｙ、Ｚ）の光は画像面１
１における点ｐ（ｘ、ｙ）に結像するので、射影点ｐｔ
（ｔｘ、ｔｙ、ｔｚ）の値は点ｐ（ｘ、ｙ）の値により
決まる。このように透視投影画像面１２における各射影
点の値を画像面１１から求めることにより、焦点Ｏｍを
射影中心とした透視投影画像を得ることができる。
【００３０】この場合、図１に示すように、投射投影画
像面１２上の点ｇ及び点ｐｔと双曲面ミラー１０の焦点
Ｏｍとで形成される三角形Ｏｍ−ｇ−ｐｔと、実空間平
面１３上の点Ｇ及び点Ｐと双曲面ミラー１０の焦点Ｏｍ
とで形成される三角形Ｏｍ−Ｇ−Ｐとは、同軸となる直
線Ｏｍ−ｇ及びＯｍ−Ｇが共通であって、頂角ｇ−Ｏｍ
−ｐｔと頂角Ｇ−Ｏｍ−Ｐとが共通であるために、相似
の関係にある。
像面１２上の点ｇ及び点ｐｔと双曲面ミラー１０の焦点
Ｏｍとで形成される三角形Ｏｍ−ｇ−ｐｔと、実空間平
面１３上の点Ｇ及び点Ｐと双曲面ミラー１０の焦点Ｏｍ
とで形成される三角形Ｏｍ−Ｇ−Ｐとは、同軸となる直
線Ｏｍ−ｇ及びＯｍ−Ｇが共通であって、頂角ｇ−Ｏｍ
−ｐｔと頂角Ｇ−Ｏｍ−Ｐとが共通であるために、相似
の関係にある。
【００３１】したがって、透視投影画像面１２の点ｇと
点ｐｔとの長さと、実空間平面１３上の点Ｇと点Ｐとの
長さとの比は、上記の相似関係から、双曲面ミラー１０
の焦点Ｏｍからの距離の比ｄ／Ｄによって表すことがで
きる。
点ｐｔとの長さと、実空間平面１３上の点Ｇと点Ｐとの
長さとの比は、上記の相似関係から、双曲面ミラー１０
の焦点Ｏｍからの距離の比ｄ／Ｄによって表すことがで
きる。
【００３２】ここで、透視投影画像をデジタル画像とす
ると、透視投影画像面１２上のサイズを表す単位は、デ
ジタル画像の解像度の最小単位であるピクセル数を用い
れば便利である。このため、透視投影画像面１２と双曲
面ミラー１０の焦点Ｏｍまでの距離ｄもピクセル数を用
いて表し、また、実空間平面１３上の距離をｃｍを用い
て表すことにより、距離の比ｄ／Ｄは、［ｐｉｘｅｌ／
ｃｍ］により表される。これは、実空間平面１３上の１
ｃｍを表すために必要なピクセル数が、ｄ／Ｄであるこ
とを表している。
ると、透視投影画像面１２上のサイズを表す単位は、デ
ジタル画像の解像度の最小単位であるピクセル数を用い
れば便利である。このため、透視投影画像面１２と双曲
面ミラー１０の焦点Ｏｍまでの距離ｄもピクセル数を用
いて表し、また、実空間平面１３上の距離をｃｍを用い
て表すことにより、距離の比ｄ／Ｄは、［ｐｉｘｅｌ／
ｃｍ］により表される。これは、実空間平面１３上の１
ｃｍを表すために必要なピクセル数が、ｄ／Ｄであるこ
とを表している。
【００３３】図２は、図１に示す全方位視覚センサーの
光学系のｚ軸を含む平面による断面図である。
光学系のｚ軸を含む平面による断面図である。
【００３４】図２に示すように、ｚ軸を含む平面におけ
る光学系を考慮した場合、双曲面１０の焦点Ｏｍに向か
う入射光２２の入射角αとレンズ主点２１への入射角で
ある反射角βとの関係は、双曲面ミラー１０の形状を規
定する定数ａ、ｂ、ｃにより、次の（１）式により表さ
れる。
る光学系を考慮した場合、双曲面１０の焦点Ｏｍに向か
う入射光２２の入射角αとレンズ主点２１への入射角で
ある反射角βとの関係は、双曲面ミラー１０の形状を規
定する定数ａ、ｂ、ｃにより、次の（１）式により表さ
れる。
【００３５】
【数１】 （１）式により、反射光２３の角度βは、双曲面ミラー
１０の形状を規定する定数ａ、ｂ、ｃと入射光２２の入
射角αとによって規定される。
１０の形状を規定する定数ａ、ｂ、ｃと入射光２２の入
射角αとによって規定される。
【００３６】次に、上記の全方位視覚センサーを用いた
本発明の透視投影画像生成システムについて説明する。
本発明の透視投影画像生成システムについて説明する。
【００３７】この全方位視覚センサーを用いた透視投影
画像生成システムでは、上記に説明した距離の比ｄ／Ｄ
を利用して、実空間平面１３上のサイズが既知である対
象物体を表すために、対象物体を表す元画像データを拡
大もしくは縮小、または新たに作成することにより、透
視投影画像面１２のサイズに対応した対象物体のスケー
ルモデルを作成する。
画像生成システムでは、上記に説明した距離の比ｄ／Ｄ
を利用して、実空間平面１３上のサイズが既知である対
象物体を表すために、対象物体を表す元画像データを拡
大もしくは縮小、または新たに作成することにより、透
視投影画像面１２のサイズに対応した対象物体のスケー
ルモデルを作成する。
【００３８】このスケールモデルは、実空間平面１３上
でのサイズが既知である対象物体を、透視投影画像面１
２上で表すために、前述した距離の比ｄ／Ｄに対応した
サイズで作成したデジタル画像データである。例えば、
全方位視覚センサーを自動車に搭載し、対象物体を、地
上面における自動車の影の部分とした場合には、スケー
ルモデルとしてその自動車の大きさを表す画像データを
作成すれば、地上面における障害物と自動車との位置関
係がわかる。
でのサイズが既知である対象物体を、透視投影画像面１
２上で表すために、前述した距離の比ｄ／Ｄに対応した
サイズで作成したデジタル画像データである。例えば、
全方位視覚センサーを自動車に搭載し、対象物体を、地
上面における自動車の影の部分とした場合には、スケー
ルモデルとしてその自動車の大きさを表す画像データを
作成すれば、地上面における障害物と自動車との位置関
係がわかる。
【００３９】図３は、本発明の透視投影画像生成システ
ムの概略を説明するためのブロック図である。本実施の
形態では、自動車の右前方及び左後方のそれぞれに、図
１に示す光学系を有する全方位視覚センサーを設置して
鳥瞰図表示を得て、得られた鳥瞰図によって運転者の運
転を支援する車載用全方位視覚システムについて説明す
る。なお、以下の記載では、全方位視覚システムを搭載
した自動車を自車と称して表すこととする。
ムの概略を説明するためのブロック図である。本実施の
形態では、自動車の右前方及び左後方のそれぞれに、図
１に示す光学系を有する全方位視覚センサーを設置して
鳥瞰図表示を得て、得られた鳥瞰図によって運転者の運
転を支援する車載用全方位視覚システムについて説明す
る。なお、以下の記載では、全方位視覚システムを搭載
した自動車を自車と称して表すこととする。
【００４０】この透視投影画像生成システムは、図３に
示すように、第１全方位視覚センサー３１と、第２全方
位視覚センサー３２と、自車、第１全方位視覚センサー
３１及び第２全方位視覚センサー３２等に関するデータ
が記憶された記憶手段３３と、各種データを入力する入
力手段３４と、第１全方位視覚センサー３１及び第２全
方位視覚センサー３２のそれぞれの出力に基づいて作成
された画像を表示する表示手段３５と、第１全方位視覚
センサー３１及び第２全方位視覚センサー３２によって
得られるデータを一時的に記憶する画像データ記憶手段
３６と、これら全てを制御する制御手段３０とを有して
いる。
示すように、第１全方位視覚センサー３１と、第２全方
位視覚センサー３２と、自車、第１全方位視覚センサー
３１及び第２全方位視覚センサー３２等に関するデータ
が記憶された記憶手段３３と、各種データを入力する入
力手段３４と、第１全方位視覚センサー３１及び第２全
方位視覚センサー３２のそれぞれの出力に基づいて作成
された画像を表示する表示手段３５と、第１全方位視覚
センサー３１及び第２全方位視覚センサー３２によって
得られるデータを一時的に記憶する画像データ記憶手段
３６と、これら全てを制御する制御手段３０とを有して
いる。
【００４１】以下、上記各構成について説明する。
【００４２】図４は、図３に示す本実施形態の全方位視
覚システムを搭載した自車を示す概略図である。
覚システムを搭載した自車を示す概略図である。
【００４３】第１全方位視覚センサー３１は、図４に示
すように、自車の右前方にて、画像面となるＣＣＤカメ
ラが地上面に対して垂直上向き、双曲面ミラーの湾曲面
が地上面に対して垂直下向きになるように、地上面から
双曲面ミラーの焦点までの距離がＤ１になる位置に設置
され、自車の右前方にて撮像される画像データを第１入
力画像データとして取得する。
すように、自車の右前方にて、画像面となるＣＣＤカメ
ラが地上面に対して垂直上向き、双曲面ミラーの湾曲面
が地上面に対して垂直下向きになるように、地上面から
双曲面ミラーの焦点までの距離がＤ１になる位置に設置
され、自車の右前方にて撮像される画像データを第１入
力画像データとして取得する。
【００４４】第２全方位視覚センサー３２は、図４に示
すように、自車の左後方にて、画像面となるＣＣＤカメ
ラが地上面に対して垂直上向き、双曲面ミラーの湾曲面
が地上面に対して垂直下向きになるように、地上面から
双曲面ミラーの焦点までの距離がＤ２になる位置に設置
され、自車の左後方にて撮像される画像データを第２入
力画像データとして取得する。
すように、自車の左後方にて、画像面となるＣＣＤカメ
ラが地上面に対して垂直上向き、双曲面ミラーの湾曲面
が地上面に対して垂直下向きになるように、地上面から
双曲面ミラーの焦点までの距離がＤ２になる位置に設置
され、自車の左後方にて撮像される画像データを第２入
力画像データとして取得する。
【００４５】記憶手段３３は、磁気ディスク等の磁気記
憶装置、書き換え可能な不揮発性メモリー等によって構
成され、自車の画像データ、自車の実寸法の車幅値及び
全長値、第１全方位視覚センサー３１の双曲面ミラーに
おける焦点から地上面までの高さの値Ｄ１、第２全方位
視覚センサー３２の双曲面ミラーの焦点から地上面まで
の高さの値Ｄ２等の鳥瞰図上に表示する自車のスケール
モデルを作成するための情報を記憶する。なお、本実施
の形態では、上記の情報に基づいて、自車の画像データ
を拡大・縮小したスケールモデルを作成するので、この
スケールモデルを鮮明なものとするためにも、記憶手段
３３は、自車画像データに関する大容量のデータを記憶
し得る記憶容量を有していることが好ましい。また、こ
の自車画像データは、グラフィックツールを利用して作
成、もしくはデジタルカメラ等を使用して、自車の真上
から撮像した画像を用いてもよい。
憶装置、書き換え可能な不揮発性メモリー等によって構
成され、自車の画像データ、自車の実寸法の車幅値及び
全長値、第１全方位視覚センサー３１の双曲面ミラーに
おける焦点から地上面までの高さの値Ｄ１、第２全方位
視覚センサー３２の双曲面ミラーの焦点から地上面まで
の高さの値Ｄ２等の鳥瞰図上に表示する自車のスケール
モデルを作成するための情報を記憶する。なお、本実施
の形態では、上記の情報に基づいて、自車の画像データ
を拡大・縮小したスケールモデルを作成するので、この
スケールモデルを鮮明なものとするためにも、記憶手段
３３は、自車画像データに関する大容量のデータを記憶
し得る記憶容量を有していることが好ましい。また、こ
の自車画像データは、グラフィックツールを利用して作
成、もしくはデジタルカメラ等を使用して、自車の真上
から撮像した画像を用いてもよい。
【００４６】入力手段３４は、自車を運転する運転者が
押圧等によって指示することができるユーザーインター
フェース、例えば、キーボード、マウス、リモコン、タ
ッチパネル等を有し、表示された画像をズームアップま
たはズームダウンするための変数選択、ゲージモデルの
選択、ゲージモデルの表示または非表示の指定、第１全
方位視覚センサー３１と第２全方位視覚センサー３２と
の境界線の表示または非表示等を指定する。
押圧等によって指示することができるユーザーインター
フェース、例えば、キーボード、マウス、リモコン、タ
ッチパネル等を有し、表示された画像をズームアップま
たはズームダウンするための変数選択、ゲージモデルの
選択、ゲージモデルの表示または非表示の指定、第１全
方位視覚センサー３１と第２全方位視覚センサー３２と
の境界線の表示または非表示等を指定する。
【００４７】画像データ記憶手段３６は、第１及び第２
全方位視覚センサー３１及び３２が取得した入力画像デ
ータ等を一時的に記憶するためのメモリーであり、第１
の記憶領域から第７の記憶領域までの７つの記憶領域３
６ａ〜３６ｇを有している。
全方位視覚センサー３１及び３２が取得した入力画像デ
ータ等を一時的に記憶するためのメモリーであり、第１
の記憶領域から第７の記憶領域までの７つの記憶領域３
６ａ〜３６ｇを有している。
【００４８】第１の記憶領域３６ａは、第１全方位視覚
センサー３１で取得した自車の右前方周辺の第１入力画
像データを記憶する。第２の記憶領域３６ｂは、第２全
方位視覚センサー３２で取得した自車の左後方周辺の第
２入力画像データを記憶する。
センサー３１で取得した自車の右前方周辺の第１入力画
像データを記憶する。第２の記憶領域３６ｂは、第２全
方位視覚センサー３２で取得した自車の左後方周辺の第
２入力画像データを記憶する。
【００４９】第３の記憶領域３６ｃは、第１の記憶領域
３６ａに記憶された第１入力画像データに基づいて、透
視投影画像データに変換した第１透視投影画像データを
記憶する。第４の記憶領域３６ｄは、第２の記憶領域３
６ｂに記憶された第２入力画像データに基づいて、投影
投影画像データに変換した第２透視投影画像データを記
憶する。
３６ａに記憶された第１入力画像データに基づいて、透
視投影画像データに変換した第１透視投影画像データを
記憶する。第４の記憶領域３６ｄは、第２の記憶領域３
６ｂに記憶された第２入力画像データに基づいて、投影
投影画像データに変換した第２透視投影画像データを記
憶する。
【００５０】第５の記憶領域３６ｅは、記憶手段３３に
記憶した自車に関する画像データを拡大または縮小する
ことによって作成される自車のスケールモデルの画像デ
ータを記憶する。
記憶した自車に関する画像データを拡大または縮小する
ことによって作成される自車のスケールモデルの画像デ
ータを記憶する。
【００５１】第６の記憶領域３６ｆは、地上面に対する
縮尺を表すゲージモデルに関する画像データを記憶す
る。
縮尺を表すゲージモデルに関する画像データを記憶す
る。
【００５２】第７の記憶領域３６ｇは、第３の記憶領域
３６ｃに記憶した第１透視投影画像データと、第４の記
憶領域３６ｄに記憶した第２透視投影画像データと、第
５の記憶領域３６ｅに記憶した自車に関するスケールモ
デルとに基づいて合成される合成画像データを記憶す
る。なお、入力手段３４によって、運転者が、第６の記
憶領域３６ｆに記憶されたゲージモデルの表示を選択し
た場合には、第６の記憶領域３６ｆに記憶されたゲージ
モデルが上記の合成画像データとともに記憶される。
３６ｃに記憶した第１透視投影画像データと、第４の記
憶領域３６ｄに記憶した第２透視投影画像データと、第
５の記憶領域３６ｅに記憶した自車に関するスケールモ
デルとに基づいて合成される合成画像データを記憶す
る。なお、入力手段３４によって、運転者が、第６の記
憶領域３６ｆに記憶されたゲージモデルの表示を選択し
た場合には、第６の記憶領域３６ｆに記憶されたゲージ
モデルが上記の合成画像データとともに記憶される。
【００５３】表示手段３５は、カーナビ専用液晶テレビ
等の表示装置が使用され、合成画像データ等を画像表示
する。
等の表示装置が使用され、合成画像データ等を画像表示
する。
【００５４】制御手段３０は、鳥瞰図作成のためのプロ
グラムを格納したコンピュータであり、格納されたプロ
グラムに基づいて、上記の各構成を制御する。
グラムを格納したコンピュータであり、格納されたプロ
グラムに基づいて、上記の各構成を制御する。
【００５５】この制御手段３０に格納された鳥瞰図作成
に関連するプログラムについて説明する。
に関連するプログラムについて説明する。
【００５６】図５は、上記プログラムの概略を説明する
構成図である。このプログラムは制御手段３０内に格納
されている。
構成図である。このプログラムは制御手段３０内に格納
されている。
【００５７】この鳥瞰図作成プログラム５０は、図５に
示すように、画像変換工程５１と、拡大・縮小工程５２
と、画像合成工程５４と、縮尺作成工程５３とを実施す
る。
示すように、画像変換工程５１と、拡大・縮小工程５２
と、画像合成工程５４と、縮尺作成工程５３とを実施す
る。
【００５８】画像変換工程５１では、第１全方位視覚セ
ンサー３１と、第２全方位視覚センサー３２によってそ
れぞれ取得され、画像データ記憶手段３６の第１の記憶
領域３６ａ及び第２の記憶領域３６ｂにそれぞれ記憶さ
れた第１及び第２の入力画像データに基づいて、それぞ
れ、透視投影画像データを作成し、作成された各透視投
影画像を画像データ記憶手段３６の第３の記憶領域３６
ｃ及び第４の記憶領域３６ｄにそれぞれ記憶する。な
お、この画像変換工程５１における透視投影画像を作成
するためのアルゴリズムについては、特開平６−２５９
３３３号公報に記載されているので詳細な説明は省略す
る。
ンサー３１と、第２全方位視覚センサー３２によってそ
れぞれ取得され、画像データ記憶手段３６の第１の記憶
領域３６ａ及び第２の記憶領域３６ｂにそれぞれ記憶さ
れた第１及び第２の入力画像データに基づいて、それぞ
れ、透視投影画像データを作成し、作成された各透視投
影画像を画像データ記憶手段３６の第３の記憶領域３６
ｃ及び第４の記憶領域３６ｄにそれぞれ記憶する。な
お、この画像変換工程５１における透視投影画像を作成
するためのアルゴリズムについては、特開平６−２５９
３３３号公報に記載されているので詳細な説明は省略す
る。
【００５９】拡大・縮小工程５２では、記憶手段３３か
ら自車に関する元画像データを制御手段３０のメモリー
に読み込み、読み込んだ元画像データに基づいて、自車
の元画像を拡大または縮小したスケールモデルを作成す
る。作成されたスケールモデルは、画像データ記憶手段
３６の第５の記憶領域３６ｅに記憶される。なお、この
スケールモデルの作成に用いられるアルゴリズムは、従
来から汎用されている画像処理方法が使用される。例え
ば、画素間の線形補完法を利用した拡大手法、画素値の
間引き、平均化等を利用した縮小法等が使用される。
ら自車に関する元画像データを制御手段３０のメモリー
に読み込み、読み込んだ元画像データに基づいて、自車
の元画像を拡大または縮小したスケールモデルを作成す
る。作成されたスケールモデルは、画像データ記憶手段
３６の第５の記憶領域３６ｅに記憶される。なお、この
スケールモデルの作成に用いられるアルゴリズムは、従
来から汎用されている画像処理方法が使用される。例え
ば、画素間の線形補完法を利用した拡大手法、画素値の
間引き、平均化等を利用した縮小法等が使用される。
【００６０】縮尺作成工程５３では、例えば、４ｍ、１
ｍ等の所定の長さを所定の倍率で拡大あるいは縮小して
表すゲージモデルの画像データを作成する。作成された
ゲージモデルの画像データは、画像データ記憶手段の第
６の記憶領域３６ｆに記憶される。このゲージモデルの
画像データは、例えば、自車に対して横側にある対象物
との位置関係についての情報を知りたい場合には、４
ｍ、１ｍ等の長さに対応した長さであって、任意の幅に
て作成した帯状の２４ビットフルカラー画像データとす
る。
ｍ等の所定の長さを所定の倍率で拡大あるいは縮小して
表すゲージモデルの画像データを作成する。作成された
ゲージモデルの画像データは、画像データ記憶手段の第
６の記憶領域３６ｆに記憶される。このゲージモデルの
画像データは、例えば、自車に対して横側にある対象物
との位置関係についての情報を知りたい場合には、４
ｍ、１ｍ等の長さに対応した長さであって、任意の幅に
て作成した帯状の２４ビットフルカラー画像データとす
る。
【００６１】画像合成工程５４では、画像データ記憶手
段３６の第３の記憶領域３６ｃ及び第４の記憶領域３６
ｄにそれぞれ記憶された第１の透視投影画像データ及び
第２の透視投影画像データと、第５の記憶領域３６ｅに
記憶された自車のスケールモデルに関する画像データ
と、第６の記憶領域３６ｆに記憶されたゲージモデルに
関する画像データとを合成して鳥瞰図を作成する。作成
された鳥瞰図は、画像データ記憶手段３６の第７の記憶
領域３６ｇに記憶される。また、作成された鳥瞰図の画
像データは、表示手段３５に送信されて表示手段３５に
鳥瞰図が表示される。
段３６の第３の記憶領域３６ｃ及び第４の記憶領域３６
ｄにそれぞれ記憶された第１の透視投影画像データ及び
第２の透視投影画像データと、第５の記憶領域３６ｅに
記憶された自車のスケールモデルに関する画像データ
と、第６の記憶領域３６ｆに記憶されたゲージモデルに
関する画像データとを合成して鳥瞰図を作成する。作成
された鳥瞰図は、画像データ記憶手段３６の第７の記憶
領域３６ｇに記憶される。また、作成された鳥瞰図の画
像データは、表示手段３５に送信されて表示手段３５に
鳥瞰図が表示される。
【００６２】次に、全方位視覚センサーによって作成さ
れるスケールモデルの作成法及びゲージモデルの作成方
法について、具体的に説明する。
れるスケールモデルの作成法及びゲージモデルの作成方
法について、具体的に説明する。
【００６３】図６は、第１全方位視覚センサー３１の双
曲面ミラーの焦点Ｏｍと、透視投影画像面６１及び、実
際の地上面６２との関係を示す斜視図である。ここで
は、図１における直線Ｏｍ−Ｇ及び直線Ｏｍ−ｇをｚ軸
に一致させ、第１全方位視覚センサー３１を、地上面６
２に対して垂直に設置して、焦点ＯｍにおけるＸＹ平面
を地上面６２に対する傾斜角度を０°とすることによ
り、透視投影画像面６１の垂直軸である直線Ｏｍ−ｇと
ＸＹ平面との角度であるチルト角６３を−９０°とし
て、地上面６２に対して平行な透視投影画像面６１を作
成する。そして、このように設置された全方位視覚セン
サーにおいて、透視投影画像面６１と双曲面ミラーの焦
点Ｏｍとの間の距離をｄ１とし、地上面６２と双曲面ミ
ラーの焦点Ｏｍとの間の距離、すなわち、双曲面ミラー
の焦点Ｏｍの地上面６２からの高さをＤ１とする。この
距離Ｄ１は、第１全方位視覚センサー３１を自車に取り
付けて地上面６２からの高さを計測することにより得ら
れて、記憶手段３３に記憶されており、制御手段３０に
より、記憶手段３３から読み出される。なお、距離ｄ１
の単位は、解像度の最小単位であるｐｉｘｅｌによっ
て、また、距離Ｄ１の単位は、ｃｍでそれぞれ表され
る。距離ｄ１は、入力手段３４により画像をズームアッ
プまたはズームダウンする際のパラメータとなる。
曲面ミラーの焦点Ｏｍと、透視投影画像面６１及び、実
際の地上面６２との関係を示す斜視図である。ここで
は、図１における直線Ｏｍ−Ｇ及び直線Ｏｍ−ｇをｚ軸
に一致させ、第１全方位視覚センサー３１を、地上面６
２に対して垂直に設置して、焦点ＯｍにおけるＸＹ平面
を地上面６２に対する傾斜角度を０°とすることによ
り、透視投影画像面６１の垂直軸である直線Ｏｍ−ｇと
ＸＹ平面との角度であるチルト角６３を−９０°とし
て、地上面６２に対して平行な透視投影画像面６１を作
成する。そして、このように設置された全方位視覚セン
サーにおいて、透視投影画像面６１と双曲面ミラーの焦
点Ｏｍとの間の距離をｄ１とし、地上面６２と双曲面ミ
ラーの焦点Ｏｍとの間の距離、すなわち、双曲面ミラー
の焦点Ｏｍの地上面６２からの高さをＤ１とする。この
距離Ｄ１は、第１全方位視覚センサー３１を自車に取り
付けて地上面６２からの高さを計測することにより得ら
れて、記憶手段３３に記憶されており、制御手段３０に
より、記憶手段３３から読み出される。なお、距離ｄ１
の単位は、解像度の最小単位であるｐｉｘｅｌによっ
て、また、距離Ｄ１の単位は、ｃｍでそれぞれ表され
る。距離ｄ１は、入力手段３４により画像をズームアッ
プまたはズームダウンする際のパラメータとなる。
【００６４】透視投影画像面６１と地上面６２とは、前
述のように相似関係にあるので、距離ｄ１と距離Ｄ１の
比ｄ１／Ｄ１をｎ１とすると、このｎ１は、次の（２）
式のように表わされる。
述のように相似関係にあるので、距離ｄ１と距離Ｄ１の
比ｄ１／Ｄ１をｎ１とすると、このｎ１は、次の（２）
式のように表わされる。
【００６５】
【数２】 （２）式によって表されるｎ１は、地上面６２において
１ｃｍの長さを透視投影画像面６１において表示するた
めに必要なｐｉｘｅｌ数を表している。
１ｃｍの長さを透視投影画像面６１において表示するた
めに必要なｐｉｘｅｌ数を表している。
【００６６】図７は、実際の自車のサイズ７０、記憶手
段に記憶された自車に関する元画像７１、元画像７１に
基づいて作成された自車のスケールモデル７２をそれぞ
れ示す平面図である。実際の自車のサイズをＷ０（車
幅）×Ｌ０（全長）とすると、Ｗ０とＬ０の各値は、記
憶手段３３に予め、ｃｍを単位として記憶されている。
段に記憶された自車に関する元画像７１、元画像７１に
基づいて作成された自車のスケールモデル７２をそれぞ
れ示す平面図である。実際の自車のサイズをＷ０（車
幅）×Ｌ０（全長）とすると、Ｗ０とＬ０の各値は、記
憶手段３３に予め、ｃｍを単位として記憶されている。
【００６７】上記（２）式により、自車のスケールモデ
ルの車幅Ｗ２、全長Ｌ２は、ｐｉｘｃｅｌを単位とし
て、次の（３）式及び（４）式により表され、透視投影
画像面６１を拡大・縮小した自車のスケールモデル７２
の画像サイズは、Ｗ２×Ｌ２として表される。
ルの車幅Ｗ２、全長Ｌ２は、ｐｉｘｃｅｌを単位とし
て、次の（３）式及び（４）式により表され、透視投影
画像面６１を拡大・縮小した自車のスケールモデル７２
の画像サイズは、Ｗ２×Ｌ２として表される。
【００６８】
【数３】
【００６９】
【数４】 ここで、記憶手段３３に記憶されている自車の元画像７
１の画像サイズが、Ｗ１×Ｌ１である場合には、元画像
７１を拡大または縮小して、自車のスケールモデル７２
の画像サイズＷ２×Ｌ２のサイズにあわせる必要があ
り、車幅方向の倍率は、Ｗ２／Ｗ１、全長方向の倍率は
Ｌ２／Ｌ１となる。
１の画像サイズが、Ｗ１×Ｌ１である場合には、元画像
７１を拡大または縮小して、自車のスケールモデル７２
の画像サイズＷ２×Ｌ２のサイズにあわせる必要があ
り、車幅方向の倍率は、Ｗ２／Ｗ１、全長方向の倍率は
Ｌ２／Ｌ１となる。
【００７０】本実施の形態では、拡大・縮小工程５２に
より、元画像７１をＷ２×Ｌ２の画像サイズに拡大また
は縮小した画像を作成し、これを透視投影画像面６１に
おけるスケールモデルとして使用する。
より、元画像７１をＷ２×Ｌ２の画像サイズに拡大また
は縮小した画像を作成し、これを透視投影画像面６１に
おけるスケールモデルとして使用する。
【００７１】次に、ゲージモデルの作成方法について説
明する。本実施の形態では、１ｍと４ｍのゲージモデル
を作成する場合について説明する。
明する。本実施の形態では、１ｍと４ｍのゲージモデル
を作成する場合について説明する。
【００７２】図６に示す地上面６２における１ｍ及び４
ｍの長さに相当する透視投影画像面６１でのピクセル数
は、次の（５）式及び（６）式により求めることができ
る。
ｍの長さに相当する透視投影画像面６１でのピクセル数
は、次の（５）式及び（６）式により求めることができ
る。
【００７３】
【数５】
【００７４】
【数６】 図８は、上記（６）式により作成した４ｍのゲージモデ
ルを示している。このゲージモデルでは、長さが、ｎ１
×４００［ｐｉｘｃｅｌ］になっており、１ｍの長さを
示すように、１／４の等間隔ごとに区切りを付けてい
る。
ルを示している。このゲージモデルでは、長さが、ｎ１
×４００［ｐｉｘｃｅｌ］になっており、１ｍの長さを
示すように、１／４の等間隔ごとに区切りを付けてい
る。
【００７５】次に、本実施の形態の透視投影画像生成シ
ステムについて、図９に示すプログラム処理フローチャ
ートに基づいて説明する。
ステムについて、図９に示すプログラム処理フローチャ
ートに基づいて説明する。
【００７６】まず、ステップ１において、自車のスケー
ルモデルの変更が必要かどうかを判断する。スケールモ
デルの変更が必要と判断された場合、ステップ２におい
て、記憶手段３３に記憶された実際のスケールにおける
自車の車幅・全長の値、自車の画像データ、第１全方位
視覚センサー３１の二葉双曲面ミラーの焦点の地上面か
らの高さＤ１を記憶手段３３から読み出しで制御手段３
０に入力する。制御手段３０では、前述の拡大・縮小工
程５２を用いて、自車の画像データを拡大または縮小し
て自車画像のスケールモデルを作成する。また、作成し
たスケールモデルは、画像データ記憶手段３６の第５の
記憶領域３６ｅに記憶する。
ルモデルの変更が必要かどうかを判断する。スケールモ
デルの変更が必要と判断された場合、ステップ２におい
て、記憶手段３３に記憶された実際のスケールにおける
自車の車幅・全長の値、自車の画像データ、第１全方位
視覚センサー３１の二葉双曲面ミラーの焦点の地上面か
らの高さＤ１を記憶手段３３から読み出しで制御手段３
０に入力する。制御手段３０では、前述の拡大・縮小工
程５２を用いて、自車の画像データを拡大または縮小し
て自車画像のスケールモデルを作成する。また、作成し
たスケールモデルは、画像データ記憶手段３６の第５の
記憶領域３６ｅに記憶する。
【００７７】次に、ステップ３において、例えば、１ｍ
または４ｍのゲージモデルのピクセル数を前述の（５）
式及び（６）式により算出し、ゲージモデルの画像デー
タを作成して、画像データ記憶手段３６の第６の記憶領
域３６ｆに記憶する。
または４ｍのゲージモデルのピクセル数を前述の（５）
式及び（６）式により算出し、ゲージモデルの画像デー
タを作成して、画像データ記憶手段３６の第６の記憶領
域３６ｆに記憶する。
【００７８】次に、ステップ４において、制御手段３０
は、画像データ記憶手段３６の第１の記憶領域３６ａに
記憶した第１全方位視覚センサー３１によって取得され
た第１入力画像データを読み出して、前述の画像変換工
程５１を用いて、第１入力画像データに基づいて第１透
視投影画像データを作成する。作成された第１透視投影
画像データは、画像データ記憶手段３６の第３の記憶領
域３６ｃに記憶する。
は、画像データ記憶手段３６の第１の記憶領域３６ａに
記憶した第１全方位視覚センサー３１によって取得され
た第１入力画像データを読み出して、前述の画像変換工
程５１を用いて、第１入力画像データに基づいて第１透
視投影画像データを作成する。作成された第１透視投影
画像データは、画像データ記憶手段３６の第３の記憶領
域３６ｃに記憶する。
【００７９】図１０は、第１全方位視覚センサー３１に
より撮像された入力画像に基づいて作成された透視投影
画像を示す概略図である。図１０において、第１全方位
視覚センサー３１における双曲面ミラー上に投影された
ＣＣＤ自身の像１０１が投影されており、このＣＣＤ自
身の像１０１の中心位置は、図１に示す点ｇに対応して
いる。
より撮像された入力画像に基づいて作成された透視投影
画像を示す概略図である。図１０において、第１全方位
視覚センサー３１における双曲面ミラー上に投影された
ＣＣＤ自身の像１０１が投影されており、このＣＣＤ自
身の像１０１の中心位置は、図１に示す点ｇに対応して
いる。
【００８０】また、画像変換工程５１は、透視投影画像
１００におけるカメラ自身の像１１１の中心の座標が、
第１透視投影画像データの中心点からみて右方に、自車
のスケールモデルにおける車幅の１／２であるＷ２／
２、上方に、自車のスケールモデルにおける全長の１／
２であるＬ２／２ずれた位置関係になるように変換す
る。なお、第１全方位視覚センサー３１の焦点の位置
が、自車に対して適当な間隔をあけて取り付けた場合に
は、自車の端から第１全方位視覚センサー３１までの距
離［ｃｍ］を上記の（２）式に基づいてピクセル単位に
変換し、第１透視投影画像データの中心位置から算出さ
れたピクセル分だけさらにずれるように、画像変換する
必要がある。本実施の形態では、自車のコーナー部に一
致するように第１全方位視覚センサー３１を設置してい
る。
１００におけるカメラ自身の像１１１の中心の座標が、
第１透視投影画像データの中心点からみて右方に、自車
のスケールモデルにおける車幅の１／２であるＷ２／
２、上方に、自車のスケールモデルにおける全長の１／
２であるＬ２／２ずれた位置関係になるように変換す
る。なお、第１全方位視覚センサー３１の焦点の位置
が、自車に対して適当な間隔をあけて取り付けた場合に
は、自車の端から第１全方位視覚センサー３１までの距
離［ｃｍ］を上記の（２）式に基づいてピクセル単位に
変換し、第１透視投影画像データの中心位置から算出さ
れたピクセル分だけさらにずれるように、画像変換する
必要がある。本実施の形態では、自車のコーナー部に一
致するように第１全方位視覚センサー３１を設置してい
る。
【００８１】なお、図１０に示す透視投影画像１００に
おいて、カメラ自身の像１０１に対して左下側の領域に
対応する部分は、自車自身の影となるため、この部分の
地上面は画像として表示されない。
おいて、カメラ自身の像１０１に対して左下側の領域に
対応する部分は、自車自身の影となるため、この部分の
地上面は画像として表示されない。
【００８２】次に、ステップ５において、制御手段３０
は、同様にして、画像データ記憶手段３６の第２の記憶
領域３６ｂに記憶した第２全方位視覚センサー３２によ
って取得された第２入力画像データを読み出して、前述
の画像変換工程５１を用いて、第２入力画像データに基
づいて第２透視投影画像データを作成する。作成された
第２透視投影画像データは、画像データ記憶手段３６の
第４の記憶領域３６ｄに記憶する。
は、同様にして、画像データ記憶手段３６の第２の記憶
領域３６ｂに記憶した第２全方位視覚センサー３２によ
って取得された第２入力画像データを読み出して、前述
の画像変換工程５１を用いて、第２入力画像データに基
づいて第２透視投影画像データを作成する。作成された
第２透視投影画像データは、画像データ記憶手段３６の
第４の記憶領域３６ｄに記憶する。
【００８３】図１１は、第２全方位視覚センサー３２に
より撮像された入力画像に基づいて作成された透視投影
画像を示す概略図である。図１１において、第２全方位
視覚センサー３２における双曲面ミラー上に投影された
カメラ自身の像１１０が投影されており、このカメラ自
身の像１１１の中心位置は、図１に示す点ｇに対応して
いる。
より撮像された入力画像に基づいて作成された透視投影
画像を示す概略図である。図１１において、第２全方位
視覚センサー３２における双曲面ミラー上に投影された
カメラ自身の像１１０が投影されており、このカメラ自
身の像１１１の中心位置は、図１に示す点ｇに対応して
いる。
【００８４】また、画像変換工程５１は、透視投影画像
１１０におけるカメラ自身の像１１１の中心の座標が、
第２透視投影画像データの中心点からみて左方に自車の
スケールモデルにおける車幅の１／２であるＷ２／２、
下方に、自車のスケールモデルにおける全長の１／２で
あるＬ２／２ずれた位置関係になるように変換する。な
お、第２全方位視覚センサー３２の焦点の位置が、自車
に対して適当な間隔をあけて取り付けた場合には、自車
の端から第２全方位視覚センサー３２まで距離［ｃｍ］
を上記の（２）式に基づいてピクセル単位に変換し、第
２透視投影画像データの中心位置から算出されたピクセ
ル分だけさらにずれるように、画像変換する必要があ
る。本実施の形態では、自車のコーナー部に一致するよ
うに第２全方位視覚センサー３２を設置している。
１１０におけるカメラ自身の像１１１の中心の座標が、
第２透視投影画像データの中心点からみて左方に自車の
スケールモデルにおける車幅の１／２であるＷ２／２、
下方に、自車のスケールモデルにおける全長の１／２で
あるＬ２／２ずれた位置関係になるように変換する。な
お、第２全方位視覚センサー３２の焦点の位置が、自車
に対して適当な間隔をあけて取り付けた場合には、自車
の端から第２全方位視覚センサー３２まで距離［ｃｍ］
を上記の（２）式に基づいてピクセル単位に変換し、第
２透視投影画像データの中心位置から算出されたピクセ
ル分だけさらにずれるように、画像変換する必要があ
る。本実施の形態では、自車のコーナー部に一致するよ
うに第２全方位視覚センサー３２を設置している。
【００８５】なお、図１１に示す透視投影画像１１０に
おいて、カメラ自身の像１１１に対して右上側の領域に
対応する部分は、自車自身の影となるため、この部分の
地上面は画像として表示されない。
おいて、カメラ自身の像１１１に対して右上側の領域に
対応する部分は、自車自身の影となるため、この部分の
地上面は画像として表示されない。
【００８６】このように第１及び第２入力画像データを
それぞれ画像変換する際には、第１全方位視覚センサー
３１の第１透視投影画像面と双曲面ミラーの焦点Ｏｍと
の距離ｄ１に基づいて自車に関するスケールモデルを作
成する。そして、作成された自車のスケールモデルに基
づいて、第２全方位視覚センサー３２の双曲面ミラーの
焦点Ｏｍから第２透視投影画像面までの距離が設定され
る。第２全方位視覚センサー３２における透視投影画像
と地上面との距離の比をｎ２とした場合、次の（７）式
に示す関係が成り立つ。
それぞれ画像変換する際には、第１全方位視覚センサー
３１の第１透視投影画像面と双曲面ミラーの焦点Ｏｍと
の距離ｄ１に基づいて自車に関するスケールモデルを作
成する。そして、作成された自車のスケールモデルに基
づいて、第２全方位視覚センサー３２の双曲面ミラーの
焦点Ｏｍから第２透視投影画像面までの距離が設定され
る。第２全方位視覚センサー３２における透視投影画像
と地上面との距離の比をｎ２とした場合、次の（７）式
に示す関係が成り立つ。
【００８７】
【数７】 上記に示す（７）式において、双曲面ミラーの焦点から
透視投影画像面までの距離をｄ２、二葉双曲面ミラーの
焦点から地上面までの高さをＤ２としている。この高さ
Ｄ２は、第２全方位視覚センサー３２の設置位置によっ
て規定される一定値であり、記憶手段３３に予め記憶さ
れている。
透視投影画像面までの距離をｄ２、二葉双曲面ミラーの
焦点から地上面までの高さをＤ２としている。この高さ
Ｄ２は、第２全方位視覚センサー３２の設置位置によっ
て規定される一定値であり、記憶手段３３に予め記憶さ
れている。
【００８８】この高さＤ２が一定値であるため、次の
（８）式により、双曲面ミラーの焦点から透視投影画像
面までの距離ｄ２を逆算で求め、求められた距離ｄ２に
より、制御手段３０における画像変換工程５１により、
第２透視投影画像データが作成される。
（８）式により、双曲面ミラーの焦点から透視投影画像
面までの距離ｄ２を逆算で求め、求められた距離ｄ２に
より、制御手段３０における画像変換工程５１により、
第２透視投影画像データが作成される。
【００８９】
【数８】 次に、ステップ６において、制御手段３０は、画像合成
工程５４を用いて、自車を真上から概観する鳥瞰図を作
成する。作成された鳥瞰図は、画像データ記憶手段３６
の第７の記憶領域３６ｇに記憶される。
工程５４を用いて、自車を真上から概観する鳥瞰図を作
成する。作成された鳥瞰図は、画像データ記憶手段３６
の第７の記憶領域３６ｇに記憶される。
【００９０】図１２は、画像合成工程５４によって作成
される鳥瞰図を示す概略図である。
される鳥瞰図を示す概略図である。
【００９１】画像合成工程５４では、まず、画像データ
記憶手段３６の第５の記憶領域３６ｅに記憶された自車
に関するスケールモデルを鳥瞰図画像の中央部に貼り付
ける。そして、図１２中の第１領域１２１には、第１全
方位視覚センサー３１によって撮像された入力画像デー
タに基づく第１透視投影画像データの一部を、すなわ
ち、第１領域１２１に対応した領域の第１透視投影画像
データを貼り付ける。さらに、第２領域１２２には、第
２全方位視覚センサー３２の第２透視投影画像データの
一部、すなわち、第２領域１２２に対応した領域の第２
透視投影画像データを貼り付ける。
記憶手段３６の第５の記憶領域３６ｅに記憶された自車
に関するスケールモデルを鳥瞰図画像の中央部に貼り付
ける。そして、図１２中の第１領域１２１には、第１全
方位視覚センサー３１によって撮像された入力画像デー
タに基づく第１透視投影画像データの一部を、すなわ
ち、第１領域１２１に対応した領域の第１透視投影画像
データを貼り付ける。さらに、第２領域１２２には、第
２全方位視覚センサー３２の第２透視投影画像データの
一部、すなわち、第２領域１２２に対応した領域の第２
透視投影画像データを貼り付ける。
【００９２】第３領域１２３及び第４領域１２４には、
第１全方位視覚センサー３１もしくは第２全方位視覚セ
ンサー３２に基づく第１透視投影画像データもしくは第
２透視投影画像データのいずれか、すなわち、第３領域
１２３及び第４領域１２４に対応した領域の画像データ
を選択して貼り付けるか、または、背景画像を貼り付け
る。
第１全方位視覚センサー３１もしくは第２全方位視覚セ
ンサー３２に基づく第１透視投影画像データもしくは第
２透視投影画像データのいずれか、すなわち、第３領域
１２３及び第４領域１２４に対応した領域の画像データ
を選択して貼り付けるか、または、背景画像を貼り付け
る。
【００９３】また、自車の運転者がゲージモデルの表示
を所望する場合、入力手段３４を操作することによっ
て、画像データ記憶手段３６の第６の記憶領域３６ｆに
記憶されたゲージモデルの画像データが制御手段３０に
入力され、画像合成工程５４によって、入力されたゲー
ジモデルの画像データが取り込まれて、ゲージモデルが
鳥瞰図上に貼り付けられる。
を所望する場合、入力手段３４を操作することによっ
て、画像データ記憶手段３６の第６の記憶領域３６ｆに
記憶されたゲージモデルの画像データが制御手段３０に
入力され、画像合成工程５４によって、入力されたゲー
ジモデルの画像データが取り込まれて、ゲージモデルが
鳥瞰図上に貼り付けられる。
【００９４】ここで、透視投影画像上におけるゲージモ
デルの表示位置は、入力手段３４を操作することによ
り、自由に設定することが可能であり、また、その向き
も自由に変更することができる。
デルの表示位置は、入力手段３４を操作することによ
り、自由に設定することが可能であり、また、その向き
も自由に変更することができる。
【００９５】図１３は、上記のようにして作成された鳥
瞰図１３０の完成状態を示す概略図である。このように
して作成された鳥瞰図は、画像データ記憶手段３６にお
ける第７の記憶領域３６ｇに記憶され、表示手段３５に
より画面表示される。また、この鳥瞰図１３０上には、
入力手段３４を操作することにより、ゲージモデル１３
１、第１全方位視覚センサー３１によって撮像された画
像と第２全方位視覚センサー３２によって撮像された画
像との境界線１３２を適宜表示することができるように
なっている。
瞰図１３０の完成状態を示す概略図である。このように
して作成された鳥瞰図は、画像データ記憶手段３６にお
ける第７の記憶領域３６ｇに記憶され、表示手段３５に
より画面表示される。また、この鳥瞰図１３０上には、
入力手段３４を操作することにより、ゲージモデル１３
１、第１全方位視覚センサー３１によって撮像された画
像と第２全方位視覚センサー３２によって撮像された画
像との境界線１３２を適宜表示することができるように
なっている。
【００９６】以上に説明したステップ１〜６の処理を繰
り返すことにより、図１３に示すような鳥瞰図が経時的
に連続して作成され、作成された鳥瞰図は連続して表示
画面に表示される。このため、運転者は、鳥瞰図の表示
画像を視認することにより、自車の周囲の状況を自車を
移動させながらリアルタイムに正確に把握することがで
きる。
り返すことにより、図１３に示すような鳥瞰図が経時的
に連続して作成され、作成された鳥瞰図は連続して表示
画面に表示される。このため、運転者は、鳥瞰図の表示
画像を視認することにより、自車の周囲の状況を自車を
移動させながらリアルタイムに正確に把握することがで
きる。
【００９７】なお、図９のフローチャートにおいて、ズ
ームアップ・ズームダウン等のパラメータの変更がなけ
れば自車に関するスケールモデルを透視投影画像を作成
する都度、変更する必要がないので、ステップ１におけ
る自車に関するスケールモデル、ステップ２におけるゲ
ージモデルの作成の各工程を行うことなく、ステップ３
の透視投影画像の作成工程に進む。
ームアップ・ズームダウン等のパラメータの変更がなけ
れば自車に関するスケールモデルを透視投影画像を作成
する都度、変更する必要がないので、ステップ１におけ
る自車に関するスケールモデル、ステップ２におけるゲ
ージモデルの作成の各工程を行うことなく、ステップ３
の透視投影画像の作成工程に進む。
【００９８】また、本実施の形態における制御手段３０
は、画像変換工程５１、拡大・縮小工程５２、縮尺作成
工程５３、画像合成工程５４の各工程をプログラム化す
ることにより実行している。このような各工程は、専用
ＩＣ等のハードにより実行するようにすれば、処理速度
を大幅に向上させることができ、鳥瞰図の表示を運転者
に対してさらに円滑に提供することができる。
は、画像変換工程５１、拡大・縮小工程５２、縮尺作成
工程５３、画像合成工程５４の各工程をプログラム化す
ることにより実行している。このような各工程は、専用
ＩＣ等のハードにより実行するようにすれば、処理速度
を大幅に向上させることができ、鳥瞰図の表示を運転者
に対してさらに円滑に提供することができる。
【００９９】以上に説明した本発明の透視投影画像生成
システムは、特願２０００−３１２６０号記載の移動体
の周辺監視システムに使用される鳥瞰図の作成にも適用
することができ、例えば、自車がバックするとき、自車
のシフトギアがバックギアであることの情報を、自車の
メイン処理を制御する制御手段に送信し、その情報を受
信した制御手段が自車がバックギアになっていることを
判断して、メイン処理ルーチンから鳥瞰図処理ルーチン
へ移行するようすることができる。なお、この場合、運
転者が自らの判断で入力手段を操作することにより、鳥
瞰図表示処理の指示情報を入力することにより、メイン
処理から鳥瞰図処理ルーチンに移行するようにしてもよ
い。
システムは、特願２０００−３１２６０号記載の移動体
の周辺監視システムに使用される鳥瞰図の作成にも適用
することができ、例えば、自車がバックするとき、自車
のシフトギアがバックギアであることの情報を、自車の
メイン処理を制御する制御手段に送信し、その情報を受
信した制御手段が自車がバックギアになっていることを
判断して、メイン処理ルーチンから鳥瞰図処理ルーチン
へ移行するようすることができる。なお、この場合、運
転者が自らの判断で入力手段を操作することにより、鳥
瞰図表示処理の指示情報を入力することにより、メイン
処理から鳥瞰図処理ルーチンに移行するようにしてもよ
い。
【０１００】
【発明の効果】以上説明したように、本発明の透視投影
画像生成システムでは、双曲面ミラーからなる光学系の
焦点から撮像対象となる物体面までの距離と、双曲面ミ
ラーの焦点から透視投影画像面までの距離との比を利用
して、透視投影画像のサイズに対応したスケールモデル
を作成し、このスケールモデルを透視投影画像とともに
提示することにより、撮像対象物との位置関係、距離等
を容易に把握することができる。例えば、本発明の透視
投影画像作成システムを自動車の運転者の運転支援のた
めの車載用全方位視覚システムに適用すれば、駐車場に
駐車する際や、狭い道を通り抜ける際の運転者の運転上
の負担を軽減させることができる。
画像生成システムでは、双曲面ミラーからなる光学系の
焦点から撮像対象となる物体面までの距離と、双曲面ミ
ラーの焦点から透視投影画像面までの距離との比を利用
して、透視投影画像のサイズに対応したスケールモデル
を作成し、このスケールモデルを透視投影画像とともに
提示することにより、撮像対象物との位置関係、距離等
を容易に把握することができる。例えば、本発明の透視
投影画像作成システムを自動車の運転者の運転支援のた
めの車載用全方位視覚システムに適用すれば、駐車場に
駐車する際や、狭い道を通り抜ける際の運転者の運転上
の負担を軽減させることができる。
【図１】全方位視覚センサーの光学系を説明するための
概略図である。
概略図である。
【図２】図１の全方位視覚センサーの光学系のＺ軸を含
む平面における説明図である。
む平面における説明図である。
【図３】本発明の透視投影画像生成システムの概略を説
明するためのブロック図である。
明するためのブロック図である。
【図４】本発明の全方位視覚システムを搭載した自車を
示す概略図である。
示す概略図である。
【図５】制御手段が備えるプログラムの概略を説明する
構成図である。
構成図である。
【図６】第１全方位視覚センサーの双曲面ミラーの焦点
Ｏｍと、透視投影画像面及び地上面６２との関係を示す
斜視図である。
Ｏｍと、透視投影画像面及び地上面６２との関係を示す
斜視図である。
【図７】実際の自車のサイズ７０、自車のスケールモデ
ル７２、読み込み画像７１をそれぞれ示す平面図であ
る。
ル７２、読み込み画像７１をそれぞれ示す平面図であ
る。
【図８】４ｍのゲージモデル画像を示す概略図である。
【図９】鳥瞰図を作成するためのフローチャートであ
る。
る。
【図１０】自車の右前方に設置した全方位視覚センサー
の透視投影画像である。
の透視投影画像である。
【図１１】自車の左後方に設置した全方位視覚センサー
の透視投影画像である。
の透視投影画像である。
【図１２】画像合成工程によって鳥瞰図を作成する際の
透視投影画像を貼り付ける領域を示す概略図である。
透視投影画像を貼り付ける領域を示す概略図である。
【図１３】作成された鳥瞰図である。
１０ 双曲面ミラー １１ 画像面 １２ 透視投影画像面 １３ 実空間平面 １４ レンズ ２０ 双曲面ミラーの焦点 ２１ レンズ主点 ２２ 入射光 ２３ 反射光 ３０ 制御手段 ３１ 第１全方位視覚センサー ３２ 第２全方位視覚センサー ３３ 記憶手段 ３４ 入力手段 ３５ 表示手段 ３６ 画像データ記憶手段
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 17/40 Ｇ０６Ｔ 17/40 Ａ Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｋ Ｆターム(参考） 5B047 AA19 BC05 BC09 BC23 CA21 5B050 BA06 BA09 BA13 EA07 EA12 EA19 EA27 FA02 5B057 AA16 BA15 CA12 CA16 CB13 CB16 CC01 CD05 CD14 CE08 CH20 DA16 DB03 DC03 5C054 CC06 FA04 FD00 GA01 GB01 HA30
Claims (11)
- 【請求項１】 二葉双曲面のうちの一方の双曲面状の形
状を有する双曲面ミラーからなる光学系と、 該双曲面ミラーに対向して設置されたレンズにより集光
された光を受光し入力画像データを生成する撮像手段
と、 該撮像手段により取得された入力画像データに基づい
て、該双曲面ミラーの焦点を射影中心（視点）とした透
視投影の画像データを生成する画像変換手段と、 該双曲面ミラーの焦点と該双曲面ミラーの焦点を通る直
線に直交する物体面との距離と、該双曲面ミラーの焦点
と透視投影画像面との距離との相対比に基づいて、該物
体面での物体の画像データを透視投影画像上におけるサ
イズに対応する物体のスケールモデルの画像データに変
換するスケールモデル作成手段と、 該透視投影画像データと、該スケールモデルの画像デー
タとを合成した合成画像データを生成する画像合成手段
と、 該合成画像データを表示する表示手段と、 を備えたことを特徴とする透視投影画像生成システム。 - 【請求項２】 前記物体面が地上面である、請求項１に
記載の透視投影画像生成システム。 - 【請求項３】 前記射影中心と該透視投影画像面との距
離が、解像度の最小単位であるピクセル数により表され
る、請求項１に記載の透視投影画像生成システム。 - 【請求項４】 前記スケールモデルの画像データは、前
記物体面におけるスケールモデルの対象となる物体の情
報に基づいて作成される、請求項１に記載の透視投影画
像生成システム。 - 【請求項５】 前記情報は、前記対象物体の画像データ
である元画像データ（ヘッダー情報を含む）と、該物体
の実寸法と、前記双曲面ミラーの焦点と該物体面との距
離データとを含んでいる、請求項４に記載の透視投影画
像生成システム。 - 【請求項６】 前記スケールモデル作成手段は、前記対
象物体の画像データである元画像データを、前記相対比
を用いて拡大または縮小してスケールモデルの画像デー
タを作成する、請求項１に記載の透視投影画像生成シス
テム。 - 【請求項７】 前記光学系と同様の第２の光学系を有
し、前記スケールモデル作成手段によって作成されたス
ケールモデルの画像データに基づいて、該第２の光学系
における双曲面ミラーの焦点と該焦点を射影中心とした
第２の光学系における透視投影画像面との距離を逆算し
て求め、該スケールモデルに対応した第２の光学系にお
ける双曲面ミラーの焦点を射影中心とした透視投影画像
データを作成する、請求項１に記載の透視投影画像生成
システム。 - 【請求項８】 前記スケールモデルの画像データは、長
さを表示するゲージモデルである、請求項１〜７のいず
れかに記載の透視投影画像生成システム。 - 【請求項９】 二葉双曲面のうちの一方の双曲面状の形
状を有する双曲面ミラーからなる光学系と、該双曲面ミ
ラーに対向して設置されたレンズにより集光された光を
受光し入力画像データを生成する撮像手段とを有する全
方位視覚センサーを用いて入力画像データを取得する工
程と、 該撮像手段により取得された入力画像データに基づい
て、双曲面ミラーの焦点を射影中心（視点）とした透視
投影の画像データを生成する画像変換工程と、 該双曲面ミラーの焦点と該双曲面ミラーの焦点を通る直
線に直交する物体面との距離と、該双曲面ミラーの焦点
と透視投影画像面との距離との相対比に基づいて、該物
体面での物体の画像データを該透視投影画像上における
サイズに対応する物体のスケールモデルの画像データに
変換するスケールモデル作成工程と、 該透視投影画像データと、該スケールモデルの画像デー
タとを合成した合成画像データを生成する画像合成工程
と、 該合成画像データを表示する表示工程と、 を包含することを特徴とする透視投影画像生成方法。 - 【請求項１０】 請求項９に記載の透視投影画像生成方
法を実行するための透視投影画像生成プログラム。 - 【請求項１１】 請求項９に記載の透視投影画像生成方
法をコンピュータで実行する為の透視投影画像生成プロ
グラムを記録したコンピュータ読み取り可能な記録媒
体。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001140779A JP2002334322A (ja) | 2001-05-10 | 2001-05-10 | 透視投影画像生成システム、透視投影画像生成方法、透視投影画像生成プログラムおよび透視投影画像生成プログラムを記憶した記憶媒体 |
| TW091109468A TW591247B (en) | 2001-05-10 | 2002-05-07 | System, method and program for perspective projection image creation, and recording medium storing the same program |
| DE60206320T DE60206320T2 (de) | 2001-05-10 | 2002-05-09 | Vorrichtung und Verfahren zur perspektivischen Projektionbilderzeugung |
| US10/141,900 US6947611B2 (en) | 2001-05-10 | 2002-05-09 | System, method and program for perspective projection image creation, and recording medium storing the same program |
| EP02253236A EP1261199B1 (en) | 2001-05-10 | 2002-05-09 | System and method for perspective projection image creation |
| KR10-2002-0025777A KR100494540B1 (ko) | 2001-05-10 | 2002-05-10 | 투시투영 화상 생성을 위한 시스템, 방법 및 프로그램, 및그 프로그램을 기억하는 기록 매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001140779A JP2002334322A (ja) | 2001-05-10 | 2001-05-10 | 透視投影画像生成システム、透視投影画像生成方法、透視投影画像生成プログラムおよび透視投影画像生成プログラムを記憶した記憶媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002334322A true JP2002334322A (ja) | 2002-11-22 |
Family
ID=18987330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001140779A Pending JP2002334322A (ja) | 2001-05-10 | 2001-05-10 | 透視投影画像生成システム、透視投影画像生成方法、透視投影画像生成プログラムおよび透視投影画像生成プログラムを記憶した記憶媒体 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US6947611B2 (ja) |
| EP (1) | EP1261199B1 (ja) |
| JP (1) | JP2002334322A (ja) |
| KR (1) | KR100494540B1 (ja) |
| DE (1) | DE60206320T2 (ja) |
| TW (1) | TW591247B (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011016368A1 (ja) * | 2009-08-03 | 2011-02-10 | アイシン精機株式会社 | 車両周辺画像生成装置 |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4010444B2 (ja) * | 2002-02-28 | 2007-11-21 | シャープ株式会社 | 全方位監視制御システム、全方位監視制御方法および全方位監視制御プログラム |
| DE10303013A1 (de) * | 2003-01-27 | 2004-08-12 | Daimlerchrysler Ag | Fahrzeug mit einer katadioptrischen Kamera |
| JP2004312638A (ja) * | 2003-04-10 | 2004-11-04 | Mitsubishi Electric Corp | 障害物検知装置 |
| JP3992651B2 (ja) * | 2003-06-19 | 2007-10-17 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | 操作コンソール、ｘ線透視撮影装置、及びその制御方法、システム |
| JP2005062992A (ja) * | 2003-08-08 | 2005-03-10 | Nissan Motor Co Ltd | 画像生成装置および画角変換手法並びに画角変換プログラム |
| US20050031169A1 (en) * | 2003-08-09 | 2005-02-10 | Alan Shulman | Birds eye view virtual imaging for real time composited wide field of view |
| CN100498840C (zh) * | 2003-12-19 | 2009-06-10 | 皇家飞利浦电子股份有限公司 | 缩放三维模型的方法和缩放单元 |
| US7482916B2 (en) * | 2004-03-15 | 2009-01-27 | Anita Au | Automatic signaling systems for vehicles |
| WO2007015446A1 (ja) * | 2005-08-02 | 2007-02-08 | Nissan Motor Co., Ltd. | 車両周囲監視装置及び車両周囲監視方法 |
| US20090128630A1 (en) * | 2006-07-06 | 2009-05-21 | Nissan Motor Co., Ltd. | Vehicle image display system and image display method |
| KR101143176B1 (ko) * | 2006-09-14 | 2012-05-08 | 주식회사 만도 | 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템 |
| JP5194679B2 (ja) | 2007-09-26 | 2013-05-08 | 日産自動車株式会社 | 車両用周辺監視装置および映像表示方法 |
| JP5347257B2 (ja) | 2007-09-26 | 2013-11-20 | 日産自動車株式会社 | 車両用周辺監視装置および映像表示方法 |
| TW200925023A (en) * | 2007-12-07 | 2009-06-16 | Altek Corp | Method of displaying shot image on car reverse video system |
| WO2009119110A1 (ja) * | 2008-03-27 | 2009-10-01 | パナソニック株式会社 | 死角表示装置 |
| US20090265105A1 (en) * | 2008-04-21 | 2009-10-22 | Igt | Real-time navigation devices, systems and methods |
| US8044781B2 (en) * | 2008-11-10 | 2011-10-25 | Volkswagen Ag | System and method for displaying a 3D vehicle surrounding with adjustable point of view including a distance sensor |
| DE102010015079A1 (de) * | 2010-04-15 | 2011-10-20 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Anzeigen eines Bildes auf einer Anzeigeeinrichtung in einem Fahrzeug. Fahrerassistenzsystem und Fahrzeug |
| CN102692213B (zh) * | 2012-05-11 | 2014-12-03 | 浙江工业大学 | 基于主动式全景视觉传感器的交通事故现场测绘仪 |
| DE102015008042B3 (de) * | 2015-06-23 | 2016-12-15 | Mekra Lang Gmbh & Co. Kg | Anzeigeeinrichtung für Fahrzeuge, insbesondere Nutzfahrzeuge |
| CN112004051B (zh) * | 2019-05-27 | 2022-10-25 | 奥迪股份公司 | 用于车辆的图像显示系统、相应的方法和存储介质 |
| CN111901518B (zh) * | 2020-06-23 | 2022-05-17 | 维沃移动通信有限公司 | 显示方法、装置和电子设备 |
| CN113602196B (zh) * | 2021-08-25 | 2023-10-17 | 东风汽车集团股份有限公司 | 一种可透视化a柱及周边区域的显示系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09118178A (ja) * | 1995-10-24 | 1997-05-06 | Nissan Motor Co Ltd | 車両周囲モニタ装置 |
| JPH11151975A (ja) * | 1997-11-25 | 1999-06-08 | Nissan Motor Co Ltd | 死角範囲表示装置 |
| JPH11218409A (ja) * | 1998-02-03 | 1999-08-10 | Minolta Co Ltd | ３次元情報計測方法及び装置 |
| WO2000064175A1 (fr) * | 1999-04-16 | 2000-10-26 | Matsushita Electric Industrial Co., Ltd. | Dispositif de traitement d'images et systeme de surveillance |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2172167B (en) * | 1985-03-07 | 1988-06-15 | Sony Corp | Video signal processing |
| JPS6446875A (en) * | 1987-08-17 | 1989-02-21 | Toshiba Corp | Object discriminating device |
| US5185667A (en) * | 1991-05-13 | 1993-02-09 | Telerobotics International, Inc. | Omniview motionless camera orientation system |
| US5835641A (en) * | 1992-10-14 | 1998-11-10 | Mitsubishi Denki Kabushiki Kaisha | Image pick-up apparatus for detecting and enlarging registered objects |
| JP2939087B2 (ja) * | 1993-04-07 | 1999-08-25 | シャープ株式会社 | 全方位視覚系 |
| US5740224A (en) * | 1994-09-27 | 1998-04-14 | University Of Delaware | Cone beam synthetic arrays in three-dimensional computerized tomography |
| JP3371605B2 (ja) * | 1995-04-19 | 2003-01-27 | 日産自動車株式会社 | 大気効果表示機能付き鳥瞰図表示ナビゲーションシステム |
| JP3474022B2 (ja) * | 1995-04-20 | 2003-12-08 | 株式会社日立製作所 | 地図表示装置、地図表示方法、地図表示装置用演算処理部およびナビゲーションシステム |
| US6118474A (en) * | 1996-05-10 | 2000-09-12 | The Trustees Of Columbia University In The City Of New York | Omnidirectional imaging apparatus |
| JPH10257254A (ja) * | 1997-01-07 | 1998-09-25 | Minolta Co Ltd | 画像読み取り装置 |
| JP3663801B2 (ja) * | 1997-01-30 | 2005-06-22 | いすゞ自動車株式会社 | 車両後方視界支援装置 |
| JP3975472B2 (ja) * | 1997-06-02 | 2007-09-12 | ソニー株式会社 | デジタルマップの拡大縮小表示方法、デジタルマップの拡大縮小表示装置、及びデジタルマップの拡大縮小表示プログラムを格納した格納媒体 |
| US20010015751A1 (en) * | 1998-06-16 | 2001-08-23 | Genex Technologies, Inc. | Method and apparatus for omnidirectional imaging |
| JP3327255B2 (ja) | 1998-08-21 | 2002-09-24 | 住友電気工業株式会社 | 安全運転支援システム |
| JP3126955B2 (ja) * | 1999-02-12 | 2001-01-22 | 株式会社アドバネット | 画像変換用演算装置 |
| DE60003750T2 (de) * | 1999-04-28 | 2004-06-03 | Matsushita Electric Industrial Co., Ltd., Kadoma | Einparkhilfe-Assistenz-Vorrichtung |
| US6476730B2 (en) * | 2000-02-29 | 2002-11-05 | Aisin Seiki Kabushiki Kaisha | Assistant apparatus and method for a vehicle in reverse motion |
| JP3627914B2 (ja) | 2000-05-23 | 2005-03-09 | シャープ株式会社 | 車両の周囲監視システム |
-
2001
- 2001-05-10 JP JP2001140779A patent/JP2002334322A/ja active Pending
-
2002
- 2002-05-07 TW TW091109468A patent/TW591247B/zh not_active IP Right Cessation
- 2002-05-09 DE DE60206320T patent/DE60206320T2/de not_active Expired - Lifetime
- 2002-05-09 EP EP02253236A patent/EP1261199B1/en not_active Expired - Lifetime
- 2002-05-09 US US10/141,900 patent/US6947611B2/en not_active Expired - Fee Related
- 2002-05-10 KR KR10-2002-0025777A patent/KR100494540B1/ko not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09118178A (ja) * | 1995-10-24 | 1997-05-06 | Nissan Motor Co Ltd | 車両周囲モニタ装置 |
| JPH11151975A (ja) * | 1997-11-25 | 1999-06-08 | Nissan Motor Co Ltd | 死角範囲表示装置 |
| JPH11218409A (ja) * | 1998-02-03 | 1999-08-10 | Minolta Co Ltd | ３次元情報計測方法及び装置 |
| WO2000064175A1 (fr) * | 1999-04-16 | 2000-10-26 | Matsushita Electric Industrial Co., Ltd. | Dispositif de traitement d'images et systeme de surveillance |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011016368A1 (ja) * | 2009-08-03 | 2011-02-10 | アイシン精機株式会社 | 車両周辺画像生成装置 |
| JP2011055480A (ja) * | 2009-08-03 | 2011-03-17 | Aisin Seiki Co Ltd | 車両周辺画像生成装置 |
| US9156402B2 (en) | 2009-08-03 | 2015-10-13 | Aisin Seiki Kabushiki Kaisha | Wide view vehicle periphery image generation apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100494540B1 (ko) | 2005-06-13 |
| TW591247B (en) | 2004-06-11 |
| US20020181803A1 (en) | 2002-12-05 |
| US6947611B2 (en) | 2005-09-20 |
| EP1261199A2 (en) | 2002-11-27 |
| KR20020086290A (ko) | 2002-11-18 |
| DE60206320D1 (de) | 2006-02-09 |
| DE60206320T2 (de) | 2006-07-06 |
| EP1261199A3 (en) | 2004-03-31 |
| EP1261199B1 (en) | 2005-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002334322A (ja) | 透視投影画像生成システム、透視投影画像生成方法、透視投影画像生成プログラムおよび透視投影画像生成プログラムを記憶した記憶媒体 | |
| JP3286306B2 (ja) | 画像生成装置、画像生成方法 | |
| US6031941A (en) | Three-dimensional model data forming apparatus | |
| JP5208203B2 (ja) | 死角表示装置 | |
| JP7156937B2 (ja) | 画像処理装置及び画像処理方法 | |
| WO2000064175A1 (fr) | Dispositif de traitement d'images et systeme de surveillance | |
| WO2015194501A1 (ja) | 映像合成システムとそのための映像合成装置及び映像合成方法 | |
| JP2002135765A (ja) | カメラキャリブレーション指示装置及びカメラキャリブレーション装置 | |
| JP3778849B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| CN103770706A (zh) | 动态后视镜显示特征 | |
| JP2011182236A (ja) | カメラキャリブレーション装置 | |
| JP6255928B2 (ja) | 俯瞰画像生成装置 | |
| EP1686534A2 (en) | Omnidirectional visual system, image processing method, control program, and readable recording medium | |
| KR20180020274A (ko) | 패널 변환 | |
| JP3796417B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| EP2481636A1 (en) | Parking assistance system and method | |
| WO2010007960A1 (ja) | 車載用カメラの視点変換映像システム及び視点変換映像取得方法 | |
| CN112389459B (zh) | 基于全景环视的人机交互方法及装置 | |
| US11580689B2 (en) | Information display control device, method, and non-transitory computer-readable recording medium | |
| JP6625157B2 (ja) | 画像生成装置、画像表示システム及び画像生成方法 | |
| JP3850271B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| JP2008017303A (ja) | 画像表示装置 | |
| CN218877068U (zh) | 具有图像合成功能的数字式后视镜、车机系统和车辆 | |
| JP4401484B2 (ja) | 画像合成装置とその制御方法及び記憶媒体 | |
| CN108629827A (zh) | 用于显示图像的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051014 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051018 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060320 |