JP2012138876A - 画像生成装置、画像表示システム及び画像表示方法 - Google Patents
画像生成装置、画像表示システム及び画像表示方法 Download PDFInfo
- Publication number
- JP2012138876A JP2012138876A JP2010291687A JP2010291687A JP2012138876A JP 2012138876 A JP2012138876 A JP 2012138876A JP 2010291687 A JP2010291687 A JP 2010291687A JP 2010291687 A JP2010291687 A JP 2010291687A JP 2012138876 A JP2012138876 A JP 2012138876A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- overlapping area
- overlapping
- captured images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 239000002131 composite material Substances 0.000 claims abstract description 85
- 238000012545 processing Methods 0.000 claims description 48
- 230000002708 enhancing effect Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 description 54
- 238000010586 diagram Methods 0.000 description 32
- 238000001514 detection method Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Abstract
【課題】重複領域に含まれる物体の像を強調する技術を提供することを目的とする技術に関する。
【解決手段】
複数の撮影画像を合成して、仮想視点から見た車両の周辺の様子を示す合成画像を生成し、かつ、複数の車載カメラのうちの2つの車載カメラの撮影範囲が重なる領域に対応する合成画像の重複領域を生成する際に当該2つの車載カメラの2つの撮影画像を混合して、重複領域に含まれる物体の像を強調する。これにより、重複領域の画像の像をユーザが容易に認識できる。
【選択図】図1
【解決手段】
複数の撮影画像を合成して、仮想視点から見た車両の周辺の様子を示す合成画像を生成し、かつ、複数の車載カメラのうちの2つの車載カメラの撮影範囲が重なる領域に対応する合成画像の重複領域を生成する際に当該2つの車載カメラの2つの撮影画像を混合して、重複領域に含まれる物体の像を強調する。これにより、重複領域の画像の像をユーザが容易に認識できる。
【選択図】図1
Description
本発明は、車両に搭載された表示装置に表示させる画像を生成する技術に関する。
従来より、自動車などの車両に搭載され、車載カメラで車両の周辺を撮影して得られた画像を車室内のディスプレイに表示する画像表示システムが知られている。この画像表示システムを利用することにより、ドライバは車両の周辺の様子をほぼリアルタイムに把握することができる。
また、近年では、車両の異なる位置に配置された複数の車載カメラの複数の撮影画像を利用して、車両の直上などの仮想視点からみた車両の周辺の様子を示す合成画像を生成してディスプレイに表示する画像表示システムも提案されている(例えば、特許文献1参照。)。
このように仮想視点からの合成画像を生成する画像表示システムでは、例えば、車両の前方、左右側方及び後方にそれぞれ車載カメラが配置され、これらの4つの車載カメラで得られた4つの撮影画像を合成して、合成画像を生成することになる。この合成画像の生成に際して、4つの撮影画像を所定の境界線で単純に繋ぎ合わせた場合においては、撮影画像同士の境界部分に被写体の像の不連続性が発生する。このため、撮影画像同士の境界部分に対応する領域に存在する、あるいは、当該領域を通過する物体を認識しにくくなる。
これに対応するため、隣接して配置される2つの車載カメラが撮影する領域に重複する領域を持たせる。そして、合成画像における撮影画像同士の境界部分をこの2つの車載カメラの撮影画像を所定の割合で混合して生成することも提案されている(例えば、特許文献2参照。)。これによれば、撮影画像同士の境界部分における被写体の像の不連続性が緩和され、境界部分に対応する領域にある物体を認識しやすくできる。
しかしながら、2つの車載カメラの撮影画像を混合した場合、混合する前よりも2つの車載カメラの撮影画像の重複領域の画像の輝度値などが低下し、ユーザが撮影画像中の背景の画像と物体の像とを見分けることが困難な場合があった。その結果、重複領域に含まれる物体の像をユーザが正確に認識できない可能性があった。
本発明は、上記課題に鑑みてなされたものであり、重複領域に含まれる物体の像を容易に認識できる技術を提供することを目的とする。
上記課題を解決するため、請求項1の発明は、車両に搭載された表示装置に表示させる画像を生成する画像生成装置であって、前記車両の異なる位置に配置された複数の車載カメラの複数の撮影画像を取得する取得手段と、前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成し、かつ、前記複数の車載カメラのうちの2つの車載カメラの撮影範囲が重なる領域に対応する前記合成画像の重複領域を生成する際に該2つの車載カメラの2つの撮影画像を混合する生成手段と前記重複領域に含まれる物体の像を強調する強調手段と、前記合成画像を前記表示装置に出力して表示させる出力手段と、を備える。
また、請求項2の発明は、請求項1に記載の画像生成装置において、前記強調手段は、前記重複領域に含まれるエッジを強調する。
また、請求項3の発明は、請求項1または2に記載の画像処理装置において、前記強調手段は、前記重複領域の全体のコントラストを強調する。
また、請求項4の発明は、請求項1または2に記載の画像処理装置において、前記複数の撮影画像中の前記物体の像を検出する検出手段、をさらに備え、前記強調手段は、前記物体の像のみのコントラストを強調する。
また、請求項5の発明は、請求項1に記載の画像処理装置において、前記複数の撮影画像中の前記物体の像を検出する検出手段、をさらに備え、前記強調手段は、少なくとも一部が前記重複領域に含まれる前記物体の像を強調する。
また、請求項6の発明は、車両に搭載された表示装置に生成した画像を表示させる画像表示システムであって、前記車両の異なる位置に配置された複数の車載カメラの複数の撮影画像を取得する取得手段と、前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成し、かつ、前記複数の車載カメラのうちの2つの車載カメラの撮影範囲が重なる領域に対応する前記合成画像の重複領域を生成する際に該2つの車載カメラの2つの撮影画像を混合する生成手段と前記重複領域に含まれる物体の像を強調する強調手段と、前記合成画像を表示する表示手段と、を備える。
さらに、請求項7の発明は、車両に搭載された表示装置に表示させる画像を生成する画像表示方法であって、(a)前記車両の異なる位置に配置された複数の車載カメラの複数の撮影画像を取得する工程と、(b)前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成し、かつ、前記複数の車載カメラのうちの2つの車載カメラの撮影範囲が重なる領域に対応する前記合成画像の重複領域を生成する際に該2つの車載カメラの2つの撮影画像を混合する工程と、(c)前記重複領域に含まれる物体の像を強調する工程と、(d)前記合成画像を前記表示装置に表示する工程と、を備える。
請求項1ないし7の発明によれば、重複領域に含まれる物体の像を強調することで、重複領域の画像の像をユーザが容易に認識できる。
また、特に請求項2の発明によれば、強調手段は、重複領域に含まれるエッジを強調することで、重複領域の中の物体の輪郭をユーザが容易に認識できる。
また、特に請求項3の発明によれば、強調手段は、前記重複領域の全体のコントラストを強調することで、重複領域内の物体を含めた重複領域全体をユーザが容易に認識できる。
また、特に請求項4の発明によれば、強調手段は、前記物体の像のみのコントラストを強調することで、重複領域内の物体の像をユーザが容易に認識できる。
さらに、特に請求項5の発明によれば、強調手段は、少なくとも一部が重複領域に含まれる物体の像を強調することで、物体の像の一部が重複領域外であっても物体の像全体をユーザがより認識しやすくなる。
以下、図面を参照しつつ本発明の実施の形態について説明する。
<1.第1の実施の形態>
<1−1.システム構成>
図1は、第1の実施の形態の画像表示システム120の構成を示すブロック図である。この画像表示システム120は、車両(本実施の形態では、自動車)に搭載されるものであり、車両の周辺を撮影して画像を生成して車室内に表示する機能を有している。画像表示システム120のユーザ(代表的にはドライバ)は、この画像表示システム120を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
<1−1.システム構成>
図1は、第1の実施の形態の画像表示システム120の構成を示すブロック図である。この画像表示システム120は、車両(本実施の形態では、自動車)に搭載されるものであり、車両の周辺を撮影して画像を生成して車室内に表示する機能を有している。画像表示システム120のユーザ(代表的にはドライバ)は、この画像表示システム120を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
図1に示すように、画像表示システム120は、車両の周辺を示す画像を生成する画像生成装置100と、車両に乗車するユーザに対して各種情報を表示するナビゲーション装置20とを主に備えている。画像生成装置100で生成された画像は、ナビゲーション装置20において表示される。
ナビゲーション装置20は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ21と、ユーザが操作を行う操作部22と、装置全体を制御する制御部23と、画像生成装置100との間で通信を行う通信部24とを主に備えている。
ディスプレイ21の画面がユーザから視認可能なように、ナビゲーション装置20は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部22とタッチパネルとしてのディスプレイ21とによって受け付けられる。制御部23は、CPU、RAM及びROMなどを備えたコンピュータとして構成され、所定のプログラムに従ってCPUが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
ナビゲーション装置20は、通信部24により画像生成装置100と通信可能に接続され、画像生成装置100との間で各種の制御信号の送受信や、画像生成装置100で生成された画像の受信が可能となっている。ディスプレイ21には、制御部23の制御により、通常はナビゲーション装置20単体の機能に基づく画像が表示されるが、所定の条件下で画像生成装置100で生成された車両の周辺の様子を示す画像が表示される。これにより、ナビゲーション装置20は、画像生成装置100で生成された画像を受信して表示する表示装置としても機能する。
画像生成装置100は、その本体部10が画像を生成する機能を有するECU(Electronic Control Unit)として構成され、車両の所定の位置に配置される。画像生成装置100は、車両の周辺を撮影する撮影部5を備えており、この撮影部5で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する。
撮影部5は、本体部10に電気的に接続され本体部10からの信号に基づいて動作する。撮影部5は、車載カメラであるフロントカメラ51、バックカメラ52、左サイドカメラ53及び右サイドカメラ54を備えている。各車載カメラ51〜54は、レンズと撮像素子とを備えており電子的に画像を取得する。
これらの複数の車載カメラ51〜54は、車両の異なる位置にそれぞれ配置される。図2は、車載カメラ51〜54が車両9に配置される位置を示す図である。
図2に示すように、フロントカメラ51は、車両9の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸51aは車両9の直進方向に向けられている。バックカメラ52は、車両9の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸52aは車両9の直進方向の逆方向に向けられている。これらフロントカメラ51やバックカメラ52の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
また、左サイドカメラ53は左側のドアミラー93に設けられ、その光軸53aは車両9の左右方向(直進方向に直交する方向)に沿って車両9の左側に向けられている。一方、右サイドカメラ54は右側のドアミラー93に設けられ、その光軸54aは車両9の左右方向に沿って車両9の右側に向けられている。
これらの車載カメラ51〜54のレンズとしては魚眼レンズなどが採用されており、車載カメラ51〜54は180度以上の画角αを有している。このため、4つの車載カメラ51〜54を利用することで、車両9の全周囲の撮影が可能となっている。
また、図中においてハッチングで示す領域LA1〜LA4は、隣接して配置される2つの車載カメラの撮影範囲が重なる領域である。具体的には、車両9の前方左側の領域LA1は、フロントカメラ51及び左サイドカメラ53の撮影範囲が重なる領域である。また、車両9の前方右側の領域LA2は、フロントカメラ51及び右サイドカメラ54の撮影範囲が重なる領域である。また、車両9の後方左側の領域LA3は、バックカメラ52及び左サイドカメラ53の撮影範囲が重なる領域である。さらに、車両9の後方右側の領域LA4は、バックカメラ52及び右サイドカメラ54の撮影範囲が重なる領域である。
図1に戻り、画像生成装置100の本体部10は、装置全体を制御する制御部1と、撮影部5で取得された撮影画像を処理して表示用の画像を生成する画像生成部3と、ナビゲーション装置20との間で通信を行うナビ通信部42とを主に備えている。
ナビゲーション装置20の操作部22やディスプレイ21によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部42によって受け付けられて制御部1に入力される。これにより、画像生成装置100は、ナビゲーション装置20に対するユーザの操作に応答した動作が可能となっている。
画像生成部3は、各種の画像処理が可能なハードウェア回路として構成されており、撮影画像調整部31、合成画像生成部32、および、画像強調部33を主な機能として備えている。
撮影画像調整部31は、撮影部5で取得された撮影画像を対象とし、表示に利用するための調整を行うものである。具体的には、撮影画像調整部31は、撮影画像に対して、歪み補正、拡大縮小、及び、切り出しなどの画像処理を行う。
合成画像生成部32は、撮影部5の複数の車載カメラ51〜54で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた車両の周辺の少なくとも一部の領域を示す合成画像を生成する。合成画像生成部32が合成画像を生成する手法については後述する。
また、合成画像生成部32は、撮影部5の複数の車載カメラ51〜54のうちの2つの車載カメラの撮影範囲が重なる領域(図2に示すL1〜L4)に対応する合成画像の重複領域(図4に示すOA1〜OA4)を生成する際に2つの車載カメラの2つの撮影画像を混合する処理を行う。つまり、複数の撮影画像に基づいて合成画像を生成する場合に、車両90の周辺において撮影範囲が重なる領域に対応する画像中の領域については、画素の値(例えば、輝度値)を変更してから2つの撮影画像を混合する処理を行う。
画像強調部33は、重複領域に含まれる物体の像を強調する処理を行う。物体の像の強調処理の例としては、物体の像のエッジを強調したり、物体のコントラストを強調する処理がある。物体の像を強調する処理の詳細については後述する。尚、本発明において物体とは、障害物のような立体物に限るものではなく、路面に形成された白線等平面状の物体も含むものであり、背景色に対して色や輝度等に違いを有する全ての物体を含むものである。
このように画像生成部3で生成された合成画像はさらに表示用の画像に調整され、その後、ナビ通信部42によってナビゲーション装置20に出力される。これにより、被写体として車両の周辺の領域を含む画像がナビゲーション装置20のディスプレイ21に表示されることになる。
制御部1は、CPU、RAM及びROMなどを備えたコンピュータとして構成され、所定のプログラムに従ってCPUが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部11は、このようにして実現される制御部1の機能のうちの一部を示している。
画像制御部11は、画像生成部3によって実行される画像処理を制御するものである。例えば、画像制御部11は、合成画像生成部32が生成する合成画像の生成に必要な各種パラメータ、及び、画像強調部33が物体の像などを強調する場合に必要な各種パラメータなどを指示する。
また、画像生成装置100の本体部10は、不揮発性メモリ40、及び、信号入力部41をさらに備えており、これらは制御部1に接続されている。
不揮発性メモリ40は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ40には、車種別データ4aが記憶されている。車種別データ4aは、合成画像生成部32が合成画像を生成する際に必要となる車両の種別に応じたデータなどである。
また、信号入力部41は、車両に設けられた各種装置からの信号を入力する。この信号入力部41を介して、画像表示システム120の外部からの信号が制御部1に入力される。具体的には、シフトセンサ81、および、車速度センサ82などから、各種情報を示す信号が制御部1に入力される。
シフトセンサ81からは、車両の変速装置のシフトレバーの操作の位置、すなわち、”P(駐車)”,”D(前進)”,”N(中立)”,”R(後退)”などのシフトポジションが入力される。車速度センサ82からは、その時点の車両9の走行速度(km/h)が入力される。
<1−2.合成画像の生成>
次に、画像生成部3の合成画像生成部32が、撮影部5で得られた複数の撮影画像に基づいて任意の仮想視点からみた車両9の周辺の様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ40に予め記憶された車種別データ4aが利用される。図3は、合成画像を生成する手法を説明するための図である。
次に、画像生成部3の合成画像生成部32が、撮影部5で得られた複数の撮影画像に基づいて任意の仮想視点からみた車両9の周辺の様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ40に予め記憶された車種別データ4aが利用される。図3は、合成画像を生成する手法を説明するための図である。
撮影部5の4つの車載カメラ51〜54で同時に撮影が行われると、フロントカメラ51で車両9の前方を示す撮影画像P1、バックカメラ52で車両9の後方を示す撮影画像P2、左サイドカメラ53で車両9の左側方を示す撮影画像P3、右サイドカメラ54で車両9の右側方を示す撮影画像P4がそれぞれ取得される。これら4つの撮影画像P1〜P4には、撮影時点の車両9の全周囲を示す情報が含まれていることになる。
次に、4つの撮影画像P1〜P4の各画素が、仮想的な三次元空間における立体曲面SPに投影される。立体曲面SPは、例えば略半球状(お椀形状)をしており、その中心部分(お椀の底部分)が車両9が存在する位置として定められている。撮影画像P1〜P4に含まれる各画素の位置と、この立体曲面SPの各画素の位置とは予め対応関係が定められている。このため、立体曲面SPの各画素の値は、この対応関係と撮影画像P1〜P4に含まれる各画素の値とに基づいて決定できる。
撮影画像P1〜P4の各画素の位置と立体曲面SPの各画素の位置との対応関係は、車両9における4つの車載カメラ51〜54の配置(相互間距離、地上高さ、光軸角度等)に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ40に記憶された車種別データ4aに含まれている。
また、車種別データ4aに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両9の三次元形状を示すポリゴンモデルである車両像90が仮想的に構成される。そして、構成された車両像90は、立体曲面SPが設定される三次元空間において、車両9の位置と定められた略半球状の中心部分に配置される。
また、立体曲面SPが存在する三次元空間に対して、制御部1の画像制御部11により仮想視点VPが設定される。仮想視点VPは、視点位置と視野方向とで規定され、この三次元空間における車両9の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
そして、設定された仮想視点VPに応じて、立体曲面SPにおける必要な領域が画像として切り出される。仮想視点VPと、立体曲面SPにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ40等に予め記憶されている。一方で、設定された仮想視点VPに応じてポリゴンで構成された車両像90に関してレンダリングがなされ、その結果となる二次元の車両像90が、切り出された画像に対して重畳される。これにより、任意の仮想視点からみた車両9及びその車両9の周辺の様子を示す合成画像が生成されることになる。
例えば、視点位置が車両9の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点VP1を設定した場合は、車両9の略直上から車両9を見下ろすように、車両9(実際には車両像90)及び車両9の周辺の様子を示す合成画像(俯瞰画像)CP1が生成される。また、図中に示すように、視点位置が車両9の位置の左後方で、視野方向が車両9における略前方とした仮想視点VP2を設定した場合は、車両9の左後方からその周辺全体を見渡すように、車両9(実際には車両像90)及び車両9の周辺の様子を示す合成画像CP2が生成される。
なお、実際に合成画像を生成する場合においては、立体曲面SPの全ての画素の値を決定する必要はなく、設定された仮想視点VPに対応して合成画像の生成に必要となる領域の画素の値のみを撮影画像P1〜P4に基づいて決定することで、処理速度を向上できる。
前述のように、隣接して配置される2つの車載カメラにおいては重複して撮影可能な領域LA1〜LA2が存在する(図2参照。)。立体曲面SPにおいては、この重複して撮影可能な領域LA1〜LA2に対応する部分が存在する。当該部分については、2つの撮影画像と重複して対応付けられるため、以下「重複領域」という。合成画像は、立体曲面SPの一部を切り出して生成されることから、この立体曲面SPの重複領域は、合成画像の重複領域であるともいえる。なお、合成画像の重複領域の範囲を示すデータは車種別データ4aに含まれている。そのため、合成画像生成部32は、合成画像の重複領域を特定して対象の重複領域の画素の値を所定の割合の値に変更して2つの撮影画像を混合する処理を行うことが可能となる。
図4は、立体曲面SPにおいて、4つの撮影画像P1〜P4がそれぞれ対応する範囲を示す図である。図4中においては、4つの撮影画像P1〜P4がそれぞれ対応する範囲を、当該撮影画像と同じ符号を付した矢印で示している。
図4に示すように、立体曲面SPには4つの重複領域OA1〜OA4が存在している。具体的には、車両像90の前方左側の重複領域OA1は、車両9の前方左側の領域LA1に対応し、前方の撮影画像P1の範囲と左側方の撮影画像P3の範囲との双方が重なる領域に該当する。
また、車両像90の前方右側の重複領域OA2は、車両9の前方右側の領域LA2に対応し、前方の撮影画像P1の範囲と右側方の撮影画像P4の範囲との双方が重なる領域に該当する。
また、車両像90の後方左側の重複領域OA3は、車両9の後方左側の領域LA3に対応し、後方の撮影画像P2の範囲と左側方の撮影画像P3の範囲との双方が重なる領域に該当する。
また、車両像90の後方右側の重複領域OA4は、車両9の後方右側の領域LA4に対応し、後方の撮影画像P2の範囲と右側方の撮影画像P4の範囲との双方が重なる領域に該当する。
これらの立体曲面SPの重複領域OA1〜OA4の画素の値については、それぞれ対応する2つの撮影画像の画素の値を組み合わせて用いて導出される。例えば、撮影画像P1の重複領域OA1に該当する領域と、撮影画像P3の重複領域OA1に該当する領域との画素の値を、同じ割合(0.5:0.5)で混合して合成画像の重複領域を生成する。また、例えば撮影画像P2の重複領域OA3に該当する領域と、撮影画像P3の重複領域OA3に該当する領域の画素の値とを、同じ割合で混合して合成画像の重複領域を生成する。
なお、重複領域OA1〜OA4に関する画像の処理については左右対称としているため、以下の説明では左側の重複領域OA1、OA3と同様に右側の重複領域OA2、OA4に関しても左右反転して同様の処理がなされる。
図4に示す非重複領域SP1〜SP4は撮影画像P1からP4の範囲から重複領域OA1〜OA4を除いた一の車載カメラによる撮影領域を示している。つまり、非重複領域SP1は、フロントカメラ51で撮影した撮影画像P1の範囲から重複領域OA1、および、OA2を除いた領域が該当する。また、非重複領域SP2はバックカメラ52で撮影した撮影画像SP2の範囲から重複領域OA3、および、OA4を除いた領域が該当する。また、非重複領域SP3は左サイドカメラ53で撮影した撮影画像SP3の範囲から重複領域OA1、および、OA3を除いた領域が該当する。さらに、非重複領域SP4は、右サイドカメラ54で撮影した撮影画像P4の範囲から重複領域OA2、および、OA4を除いた領域が該当する。
<1−3.エッジ強調処理>
次に重複領域に含まれる物体の像を強調する方法について説明する。なお、以下では重複領域OA1における物体の像の強調処理について述べるが、重複領域OA1以外の他の重複領域OA2〜OA4についても、重複領域OA1と同様の処理が可能である。
次に重複領域に含まれる物体の像を強調する方法について説明する。なお、以下では重複領域OA1における物体の像の強調処理について述べるが、重複領域OA1以外の他の重複領域OA2〜OA4についても、重複領域OA1と同様の処理が可能である。
図5は、立体曲面SPの撮影画像P1を示す図である。撮影画像P1には物体の像T11aが映し出されている。そして、像T11aは立体曲面SP内では撮影画像P1の重複領域OA1に含まれており、その他の重複領域、および、非重複領域には含まれていない。
図6は、立体曲面SPの撮影画像P3を示す図である。撮影画像P3には物体の像T11bが映し出されている。そして、像T11bは立体曲面SP内では撮影画像P3の重複領域OA1に含まれており、その他の重複領域、および、非重複領域には含まれていない。
図7は撮影画像P1と撮影画像P3とを混合させた状態を示す図である。重複領域OA1には、像T11aと像T11bとが重複した状態で物体の像T11として映し出されている。像T11に含まれる像T11aと像T11bとは重複領域OA1内で略同じ位置で重なり合った状態で重複領域OA1内に映し出されている。また、重複領域OA1では撮影画像P1の画素の値(例えば、輝度値)と、撮影画像P3の画素の値とが略半分ずつの割合(0.5:0.5)で、両方の撮影画像を合成画像生成部32が混合する。
なお、撮影画像P1と撮影画像P3の2つの撮影画像を合成画像生成部32が混合する場合、物体の画像上の画素位置が撮影画像P1と撮影画像P3とでズレることがあるため混合する2つの撮影画像の画素の値(代表的には、輝度値)が混合前と比べて低くなるため重複領域内の像T11がぼやけたり、にじんだりして映し出されることが多い。そのため、重複領域OA1内の背景と物体の像TA11との区別が困難となる、このような重複領域OA1を含む合成画像をユーザが視認した場合に、ユーザは重複領域OA1の像T11の位置を正確に認識できない可能性がある。
このため、画像表示システム120では、画像強調部33が像T11のエッジを強調することで、像T11を認識しやすくしている。
図8は、像T11のエッジを強調した状態を示す図である。像T11の強調処理としては、重複領域OA1に映し出された像T11のエッジを画像強調部33が強調する。つまり、重複領域OA1の画像中の一の画素の値と、その一の画素に隣接する画素の値とに差がある場合は、当該差の値を現在の差の値よりも大きい値に画像強調部33が処理を行う。つまり、像T11の輪郭となるエッジにおける隣接する画素間の値の差を現在の値よりも大きい値に変更する処理を画像強調部33が行う。このように像T11のエッジが強調されることで、重複領域の画像の像をユーザが容易に認識できる。
図9は、表示部21に表示される合成画像の例を示す。表示部21中の像T11は、車両像90の前方に表示されている。画像中の像T11の位置は領域LA1に対応した立体曲面SPの重複領域OA1内にある。また、像T11の輪郭は、画像中の背景のなどより画像中で強調して表示されている。これにより、重複領域の中の物体の輪郭をユーザが容易に認識できる。
<1−4.処理フローチャート>
図10はエッジ強調の処理フローチャートを示す。撮影部5で取得された撮影画像を対象とし、撮影画像調整部31が表示に利用するための調整を行い(ステップS101)ステップS102の処理に進む。
<1−4.処理フローチャート>
図10はエッジ強調の処理フローチャートを示す。撮影部5で取得された撮影画像を対象とし、撮影画像調整部31が表示に利用するための調整を行い(ステップS101)ステップS102の処理に進む。
ステップS102では、合成画像生成部32が、撮影画像調整部31により調整された撮影画像に基づいて、車両の周辺の任意の仮想視点からみた車両の周辺の少なくとも一部の領域を示す合成画像を生成する。また、合成画像生成部32は、合成画像を生成する際に2つの車載カメラの2つの撮影画像を混合する処理を行い(ステップS102)、ステップS103の処理に進む。
ステップS103では、画像強調部33が重複領域に含まれる物体の像を強調する処理(物体の像のエッジ強調処理)を行い(ステップS103)、ステップS104の処理に進む。
ステップS104では、制御部1がナビ通信部42を介してナビゲーション装置20に合成画像を送信する(ステップS105)。
<2.第2の実施の形態>
<2−1.コントラスト強調処理>
次に、第2の実施の形態について説明する。第2の実施の形態における画像表示システムの構成・処理は、第1の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第1の実施の形態との相違点を中心に説明する。第2の実施の形態では、画像強調部33は重複領域に含まれる像の強調をコントラスト強調により行う。
<2−1.コントラスト強調処理>
次に、第2の実施の形態について説明する。第2の実施の形態における画像表示システムの構成・処理は、第1の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第1の実施の形態との相違点を中心に説明する。第2の実施の形態では、画像強調部33は重複領域に含まれる像の強調をコントラスト強調により行う。
図11は、コントラスト強調処理における画像の信号の入出力値を示した図である。図11のグラフの横軸は撮影部5から画像強調部33に入力された画像信号の輝度値を示し、縦軸は画像強調部33に入力された画像信号が強調された後の画像信号の輝度値を示している。
図11のグラフ線(トーンカーブ)R1は、撮影画像の各画素の信号の入力値と出力値との比が1:1の場合を示している。例えば輝度値が60cd/m2の信号が入力された場合は、入力と同じ輝度値の60cd/m2の信号が出力される。また、輝度値が160cd/m2の信号が入力された場合は、入力と同じ輝度値の160cd/m2の信号が出力される。このように入力された信号の輝度値と同じ値で出力される信号は、非重複領域SP1〜SP4の信号である。つまり、非重複領域SP1〜SP4に対応する信号は、コントラストについては変更されずに出力される。
次に、図11のグラフ線(トーンカーブ)R2では、画像信号の入力値と出力値が1:1の関係になく、例えば輝度値が60cd/m2の信号が入力された場合は、入力と異なる輝度値の90cd/m2の信号が出力される。また、輝度値が160cd/m2の信号が入力された場合は、入力と異なる輝度値の240cd/m2の信号が出力される。つまり、入力値と出力値の比は1:1.5となっている。このように、入力された信号の輝度値と異なる値に画像強調部33が補正して出力される信号は、重複領域OA1〜OA4の信号である。
つまり、重複領域OA1〜OA4に対応する信号は、画像強調部33により明るい部分がより明るくなるようにコントラスト補正がなされる。これにより、重複領域内の物体を含めた重複領域全体をユーザが容易に認識できる。また、車両90のユーザは重複領域における物体の位置を正確に認識できる。
なお、図11に示した非重複領域全体のグラフ線R1、および、重複領域全体のグラフ線R2は車種別データ4aに含まれ不揮発性メモリ40に記録されている。また、図11の重複領域全体のグラフ線R2は一次関数(直線)として示されているが、それ以外の例えば、二次関数(曲線)の入出力値であってもよい。
<2−2.処理フローチャート>
図12は、コントラスト強調の処理フローチャートを示す。図12に示す処理フローチャートは第1の実施の形態で説明した図10の処理フローチャートのステップS103のエッジ強調をコントラスト強調(ステップS203)に変更したものである。その他の処理は図10のフローチャートの処理と同様の処理である。
<2−2.処理フローチャート>
図12は、コントラスト強調の処理フローチャートを示す。図12に示す処理フローチャートは第1の実施の形態で説明した図10の処理フローチャートのステップS103のエッジ強調をコントラスト強調(ステップS203)に変更したものである。その他の処理は図10のフローチャートの処理と同様の処理である。
ステップS102において、合成画像生成部32が、車両の周辺の任意の仮想視点からみた車両の周辺の少なくとも一部の領域を示す合成画像を生成する。また、合成画像生成部32は、合成画像を生成する際に2つの車載カメラの2つの撮影画像を混合する処理を行い(ステップS102)、ステップS203の処理に進む。
ステップS203では、画像強調部33が重複領域の全体のコントラストを強調する処理を行い(ステップS203)、ステップS104の処理に進む。
<3.第3の実施の形態>
次に、第3の実施の形態について説明する。第3の実施の形態における画像表示システムの構成・処理は、第2の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第2の実施の形態との相違点を中心に説明する。第3の実施の形態では、撮影画像中の重複領域の物体の像を検出する構成が新たに備えられている。そのため、第3の実施の形態では重複領域OA1〜OA4の物体の像の位置を検出し、重複領域内の物体の像のみのコントラストを強調する処理が可能である。
<3−1.システム構成>
図13は、第3の実施の形態の画像表示システム120aの構成を示すブロック図である。画像表示システム120aの画像処理装置100aに含まれる本体部10aは、制御部1aを備えている。制御部1aは物体検出部12aを備えている。
次に、第3の実施の形態について説明する。第3の実施の形態における画像表示システムの構成・処理は、第2の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第2の実施の形態との相違点を中心に説明する。第3の実施の形態では、撮影画像中の重複領域の物体の像を検出する構成が新たに備えられている。そのため、第3の実施の形態では重複領域OA1〜OA4の物体の像の位置を検出し、重複領域内の物体の像のみのコントラストを強調する処理が可能である。
<3−1.システム構成>
図13は、第3の実施の形態の画像表示システム120aの構成を示すブロック図である。画像表示システム120aの画像処理装置100aに含まれる本体部10aは、制御部1aを備えている。制御部1aは物体検出部12aを備えている。
物体検出部12aは撮影画像P1〜P4の重複領域OA1〜OA4の物体の像をエッジに基づいて検出する。詳細には、重複領域に含まれる一の画素の値とその一の画素に隣接する重複領域に含まれる他の画素の値との差を導出し、両方の画素の値の差が所定の閾値以上となる画素を検出することでエッジを検出する。そして、このようなエッジを複数検出して、重複領域内のエッジに囲まれた領域を物体の像として検出する。このように検出された物体の像のみのコントラストを画像強調部33が強調する処理を行う。つまり、画像強調部33が物体の像の明るい部分がより明るくなるように物体の像のコントラスト補正を行う。これにより、重複領域内の物体の像をユーザが容易に認識できる。
<3−2.処理フローチャート>
図14は、物体検出に伴うコントラスト強調の処理フローチャートを示す。図14に示す処理フローチャートは第2の実施の形態で説明した図12の処理フローチャートにステップS301の物体検出の処理を追加したものである。そして、図12のステップS203のコントラスト強調の処理対象を重複領域OA1の全体から重複領域OA1内の物体とした点が異なる。その他の処理については図12のフローチャートの処理と同様の処理である。
<3−2.処理フローチャート>
図14は、物体検出に伴うコントラスト強調の処理フローチャートを示す。図14に示す処理フローチャートは第2の実施の形態で説明した図12の処理フローチャートにステップS301の物体検出の処理を追加したものである。そして、図12のステップS203のコントラスト強調の処理対象を重複領域OA1の全体から重複領域OA1内の物体とした点が異なる。その他の処理については図12のフローチャートの処理と同様の処理である。
ステップS102において、合成画像生成部32が、車両の周辺の任意の仮想視点からみた車両の周辺の少なくとも一部の領域を示す合成画像を生成する。また、合成画像生成部32は、合成画像を生成する際に2つの車載カメラの2つの撮影画像を混合する処理を行い(ステップS102)、ステップS301の処理に進む。
ステップS301では、複数の撮影画像中の物体の像を物体検出部12aが検出する(ステップS301)。つまり、物体検出部12aは重複領域OA1中の物体の像の検出を行い(ステップS301)、ステップS303の処理に進む。
ステップS303では、物体検出部12aにより重複領域OA1内の位置が検出された物体のコントラストのみを画像強調部33が強調する。すなわち、検出された物体の像に含まれる画素のみを対象として、図11のグラフ線R2に従って輝度値を変換する。
<4.第4の実施の形態>
次に、第4の実施の形態について説明する。第4の実施の形態における画像表示システムの構成・処理は、第1の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第1の実施の形態との相違点を中心に説明する。第4の実施の形態では、複数の撮影画像中の物体の像の位置を検出する構成が新たに備えられている。そのため、複数の撮影画像中の物体の像を検出し、少なくとも一部が重複領域OA1〜OA4のいずれかの領域に含まれる物体の像を強調できる。
<4−1.システム構成>
第4の実施の形態の画像表示システム構成は図13に示す第3の実施の形態のシステム構成と同じである。
<4.第4の実施の形態>
次に、第4の実施の形態について説明する。第4の実施の形態における画像表示システムの構成・処理は、第1の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第1の実施の形態との相違点を中心に説明する。第4の実施の形態では、複数の撮影画像中の物体の像の位置を検出する構成が新たに備えられている。そのため、複数の撮影画像中の物体の像を検出し、少なくとも一部が重複領域OA1〜OA4のいずれかの領域に含まれる物体の像を強調できる。
<4−1.システム構成>
第4の実施の形態の画像表示システム構成は図13に示す第3の実施の形態のシステム構成と同じである。
なお、第4の実施の形態における物体検出部12aは撮影画像P1〜P4の重複領域OA1〜OA4のいずれかに少なくとも一部が含まれる物体の像を検出する。詳細には、撮影画像P1〜P4に含まれる一画素の値とその一の画素と隣接する他の画素の値との差を導出し、両方の画素の値の差が所定の閾値以上となる画素を検出することでエッジを検出する。このようなエッジを複数検出して、撮影画像P1〜P4中のエッジに囲まれた領域を物体の像として検出する。そして、検出された物体の像のうち全体が重複領域に含まれる、あるいは一部が重複領域に含まれ、残りが非重複領域に含まれるものを検出する。
<4−2.エッジ強調処理>
次に、少なくとも一部が重複領域に含まれる物体の像を強調する方法について説明する。なお、以下では重複領域OA1における物体の像の強調処理について述べるが、重複領域OA1以外の他の重複領域OA2〜OA4についても、重複領域OA1と同様の処理が可能である。
次に、少なくとも一部が重複領域に含まれる物体の像を強調する方法について説明する。なお、以下では重複領域OA1における物体の像の強調処理について述べるが、重複領域OA1以外の他の重複領域OA2〜OA4についても、重複領域OA1と同様の処理が可能である。
図15は、立体曲面SPの撮影画像P1を示す図である。撮影画像P1には物体の像T12aが映し出されている。そして、立体曲面SP内では撮影画像P1の重複領域OA1に像T12aの一部が含まれており、残りの部分が非重複領域SP1に含まれている。
図16は、立体曲面SPの撮影画像P3を示す図である。撮影画像P3には物体の像T12bが映し出されている。そして、立体曲面SP内では撮影画像P3の重複領域OA1に像T12bの全部が含まれており、その他の重複領域、および、非重複領域には含まれていない。
図17は、撮影画像P1と撮影画像P3とを混合させた状態を示す図である。重複領域OA1には、像T12aと像T12bとは重複領域OA1内で略同じ位置で重なり合った状態で物体の像T12の一部が映し出されている。また、像T12の残りの部分は非重複領域SP1内に映し出されており、重複領域OA1と非重複領域SP1の領域にまたがって物体の像T12が映し出されている。なお、重複領域OA1と非重複領域SP1とにまたがった位置に物体の像T12が存在することは物体検出部12aの物体検出処理により検出される。また、重複領域OA1では撮影画像P1の画素の値(代表的には、輝度値)と、撮影画像P3の画素の値とが略半分ずつの割合(0.5:0.5)で、両方の撮影画像を合成画像生成部32が混合する。
そして、画像表示システム120aでは画像強調部33が像T12のエッジを強調することで像T12を認識しやすくしている。
図18は、像T12を強調した状態を示す図である。像T12の強調処理としては、重複領域OA1と非重複領域SP1とにまたがって映し出された像T12のエッジを画像強調部33が強調する。つまり、重複領域OA1の画像中の一の画素の値と、その一の画素に隣接する他の画素の値とに差がある場合は、当該差の値を現在の差の値よりも大きい値に変更する処理を画像強調部33が行う。つまり、像T12の輪郭となるエッジにおける隣接する画素間の値の差を現在の値よりも大きい値に変更する処理を画像強調部33が行う。このように物体の像T12のエッジが強調されることで、物体の像の一部が重複領域外であっても物体の像全体をユーザがより認識しやすくなる。
<4−3.重複領域と非重複領域とのエッジ強調>
次に重複領域OA1と非重複領域SP1とにまたがった位置に存在する像T12の強調処理について詳細に説明する。図19は、重複領域OA1と非重複領域SP1とのエッジ強調の処理を説明した図である。なお、像T12は例えば車両であり、以下においては、図中に示すxy座標軸を用いて、方向を適宜示す。このxy座標軸は像T12に対して相対的に固定されるものであり、像T12の車幅方向がx軸方向、像T12の進行方向がy方向にそれぞれ対応する。詳細には、像T12の左方向が−x方向、像T12の右方向が+x方向となる。また像T12が前進する方向が+y方向、像T12の後退する方向が−y方向となる。
<4−3.重複領域と非重複領域とのエッジ強調>
次に重複領域OA1と非重複領域SP1とにまたがった位置に存在する像T12の強調処理について詳細に説明する。図19は、重複領域OA1と非重複領域SP1とのエッジ強調の処理を説明した図である。なお、像T12は例えば車両であり、以下においては、図中に示すxy座標軸を用いて、方向を適宜示す。このxy座標軸は像T12に対して相対的に固定されるものであり、像T12の車幅方向がx軸方向、像T12の進行方向がy方向にそれぞれ対応する。詳細には、像T12の左方向が−x方向、像T12の右方向が+x方向となる。また像T12が前進する方向が+y方向、像T12の後退する方向が−y方向となる。
図19の左側に示すエッジ強調前のグラフは像T12に含まれる画素VLa,VLb,VLcのそれぞれの隣接する画素との輝度差を示しており、例えばそれぞれの隣接する画素との輝度差は、画素VLaが20cd/m2、VLbが20cd/m2、VLcが40cd/m2である。なお、それぞれの画素は、像T12に含まれるエッジLa、Lb、および、Lcに含まれる画素である。つまり、各画素はエッジLa、Lb、および、Lcのそれぞれのy軸上の座標が同じ位置で、x軸上の座標がそれぞれのエッジの位置に対応する。したがって、エッジLa上の画素VLa、エッジLb上の画素VLb、エッジLc上の画素VLcの隣接する画素との輝度差がそれぞれグラフに示されている。なお、これらの3つ画素の値のうち画素VLa、及び、VLbは重複領域OA1に含まれ、画素VLcは非重複領域SP1に含まれる。
それぞれの画素(VLa、VLb、および、VLc)と隣接する画素との輝度差を大きくする処理であるエッジ強調処理を画像強調部33が実施した結果を図19の右側のエッジ強調後のグラフに示す。ここで、重複領域OA1に含まれる画素VLaおよびVLbは、強調前の輝度差が20cd/m2に対して強調後の輝度差は4倍の80cd/m2となっている。また、非重複領域SP1に含まれる画素VLcは、強調前の輝度差が40cd/m2に対して強調後の輝度差は2倍の80cd/m2となっている。つまり、隣接画素との輝度差の強調度合いが非重複領域SP1の強調の度合いよりも重複領域OA1の強調の度合いが大きい。これは、重複領域OA1は撮影画像P1と撮影画像P3との重複する領域の画像を混合する際に輝度値を含む画素の値を0.5:0.5の割合として混合しているため、非重複領域SP1の画像と比べて重複領域OA1に含まれる画素の輝度差は混合前と比べて低い値となっているためである。
このように、重複領域OA1と非重複領域SP1とのそれぞれにまたがって存在する物体の像T12のエッジを構成する画素と隣接する画素との輝度差を大きな値とすることで重複領域OA1と非重複領域SP1との両方の領域において像T12の輪郭が強調される。これにより、物体の像の一部が重複領域外であっても物体の像全体をユーザがより認識しやすくなる。
図20は、表示部21に表示される合成画像の例を示した図である。表示部21中の像T12は、車両像90の前方に表示されている。像T12の位置は領域LA1および領域LA1に隣接する領域LA2に対応する重複領域OA1および非重複領域SP1の位置である。また、像T12の輪郭は、画像中の背景などよりも画像中で強調して表示されている。これにより、ユーザは画像中の物体の像を正確に認識できる。
なお、第4の実施の形態の説明は重複領域OA1と非重複領域SP1とに物体の像T12がまたがって存在する場合に画像強調部33がエッジを強調する処理について述べた。このようなエッジ強調以外にも重複領域OA1と非重複領域SP1とにまたがって存在する物体の像T12のみのコントラストを画像強調部33が強調する処理を行うようにしてもよい。さらに、物体の像T12を含む重複領域OA1全体、および、非重複領域SP1全体のコントラスト強調を画像強調部33が行うようにしてもよい。また、本実施の形態では重複領域OA1と非重複領域SP1とに物体の像T12がまたがって存在する場合のエッジ強調について述べたが、重複領域と非重複領域との組み合わせが異なる撮影画像中にまたがって存在する物体についても同様に強調処理が行える。
<4−4.処理フローチャート>
図21は、物体検出に伴うエッジ強調の処理フローチャートを示す。図21に示す処理フローチャートは第2の実施の形態で説明した図10の処理フローチャートにステップS401の物体検出の処理を追加したものである。また、図10のステップS103におけるエッジ処理を重複領域に含まれる物体の像だけでなく、少なくとも一部が重複領域に含まれる物体の像のエッジ強調を行う図21に示すステップS403の処理に変更した点が異なる。その他の処理については図10のフローチャートの処理と同様の処理である。
<4−4.処理フローチャート>
図21は、物体検出に伴うエッジ強調の処理フローチャートを示す。図21に示す処理フローチャートは第2の実施の形態で説明した図10の処理フローチャートにステップS401の物体検出の処理を追加したものである。また、図10のステップS103におけるエッジ処理を重複領域に含まれる物体の像だけでなく、少なくとも一部が重複領域に含まれる物体の像のエッジ強調を行う図21に示すステップS403の処理に変更した点が異なる。その他の処理については図10のフローチャートの処理と同様の処理である。
ステップS102において、合成画像生成部32が、車両の周辺の任意の仮想視点からみた車両の周辺の少なくとも一部の領域を示す合成画像を生成する。また、合成画像生成部32は、合成画像を生成する際に2つの車載カメラの2つの撮影画像を混合する処理を行い(ステップS102)、ステップS401の処理に進む。
ステップS401では、複数の撮影画像中の物体の像を物体検出部12aが検出する(ステップS301)。つまり、物体検出部12aは重複領域OA1、および、非重複領域PA1中の物体の像の検出を行い、ステップS403の処理に進む。
ステップS403では、少なくとも一部が重複領域OA1に含まれる物体の像T12のエッジ強調を行い(ステップS403)、ステップS104の処理へ進む。
<5.変形例>
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
上記実施の形態において、物体の像及び物体の像を含む背景を強調する場合に、画素の値のうち主に輝度値を変更することについて述べたが、輝度値以外にも彩度などの他の値を変更するようにしてもよい。
また、上記実施の形態では、合成画像のエッジ強調、および、合成画像のコントラスト強調の処理について述べたが、これらの処理を合わせて行ってもよい。
また、上記実施の形態では、エッジ強調処理、および、コントラスト強調処理は合成画像生成後に行うこととして説明したが、合成画像を生成する前の撮影画像を対象として強調処理を行ってもよい。
また、上記実施の形態では、画像生成装置100とナビゲーション装置20とは別の装置であるとして説明したが、画像生成装置100とナビゲーション装置20とが同一の筐体内に配置されて一体型の装置として構成されてもよい。
また、上記実施の形態では、画像生成装置100で生成された画像を表示する表示装置はナビゲーション装置20であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。
また、上記実施の形態において、画像生成装置100の制御部1によって実現されると説明した機能の一部は、ナビゲーション装置20の制御部23によって実現されてもよい。
また、上記実施の形態において、信号入力部41を介して画像生成装置100の制御部1に入力されると説明した信号の一部または全部は、ナビゲーション装置20に入力されるようになっていてもよい。この場合は、ナビ通信部42を経由して、画像生成装置100の制御部1に当該信号を入力すればよい。
また、上記実施の形態では、プログラムに従ったCPUの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
1 制御部
3 画像生成部
5 撮影部
10 本体部
11 画像制御部
20 ナビゲーション装置
32 合成画像生成部
51 フロントカメラ
52 バックカメラ
53 左サイドカメラ
54 右サイドカメラ
3 画像生成部
5 撮影部
10 本体部
11 画像制御部
20 ナビゲーション装置
32 合成画像生成部
51 フロントカメラ
52 バックカメラ
53 左サイドカメラ
54 右サイドカメラ
Claims (7)
- 車両に搭載された表示装置に表示させる画像を生成する画像生成装置であって、
前記車両の異なる位置に配置された複数の車載カメラの複数の撮影画像を取得する取得手段と、
前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成し、かつ、前記複数の車載カメラのうちの2つの車載カメラの撮影範囲が重なる領域に対応する前記合成画像の重複領域を生成する際に該2つの車載カメラの2つの撮影画像を混合する生成手段と
前記重複領域に含まれる物体の像を強調する強調手段と、
前記合成画像を前記表示装置に出力して表示させる出力手段と、
を備えることを特徴とする画像生成装置。 - 請求項1に記載の画像生成装置において、
前記強調手段は、前記重複領域に含まれるエッジを強調すること、
を特徴とする画像生成装置。 - 請求項1または2に記載の画像処理装置において、
前記強調手段は、前記重複領域の全体のコントラストを強調すること、
を特徴とする画像処理装置。 - 請求項1または2に記載の画像処理装置において、
前記複数の撮影画像中の前記物体の像を検出する検出手段、
をさらに備え、
前記強調手段は、前記物体の像のみのコントラストを強調すること、
を特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記複数の撮影画像中の前記物体の像を検出する検出手段、
をさらに備え、
前記強調手段は、少なくとも一部が前記重複領域に含まれる前記物体の像を強調することを特徴とする画像処理装置。 - 車両に搭載された表示装置に画像を表示させる画像表示システムであって、
前記車両の異なる位置に配置された複数の車載カメラの複数の撮影画像を取得する取得手段と、
前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成し、かつ、前記複数の車載カメラのうちの2つの車載カメラの撮影範囲が重なる領域に対応する前記合成画像の重複領域を生成する際に該2つの車載カメラの2つの撮影画像を混合する生成手段と
前記重複領域に含まれる物体の像を強調する強調手段と、
前記合成画像を表示する表示手段と、
を備えることを特徴とする画像表示システム。 - 車両に搭載された表示装置に表示させる画像を生成する画像表示方法であって、
(a)前記車両の異なる位置に配置された複数の車載カメラの複数の撮影画像を取得する工程と、
(b)前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成し、かつ、前記複数の車載カメラのうちの2つの車載カメラの撮影範囲が重なる領域に対応する前記合成画像の重複領域を生成する際に該2つの車載カメラの2つの撮影画像を混合する工程と
(c)前記重複領域に含まれる物体の像を強調する工程と、
(d)前記合成画像を前記表示装置に表示する工程と、
を備えることを特徴とする画像表示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010291687A JP2012138876A (ja) | 2010-12-28 | 2010-12-28 | 画像生成装置、画像表示システム及び画像表示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010291687A JP2012138876A (ja) | 2010-12-28 | 2010-12-28 | 画像生成装置、画像表示システム及び画像表示方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012138876A true JP2012138876A (ja) | 2012-07-19 |
Family
ID=46675926
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010291687A Withdrawn JP2012138876A (ja) | 2010-12-28 | 2010-12-28 | 画像生成装置、画像表示システム及び画像表示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012138876A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015004907A1 (ja) * | 2013-07-11 | 2015-01-15 | 株式会社デンソー | 車両用画像合成装置 |
WO2016088639A1 (ja) * | 2014-12-02 | 2016-06-09 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法 |
WO2018012674A1 (en) | 2016-07-11 | 2018-01-18 | Lg Electronics Inc. | Driver assistance apparatus and vehicle having the same |
JP2018081591A (ja) * | 2016-11-17 | 2018-05-24 | 萩原電気株式会社 | 画像合成装置及び画像合成方法 |
US10343603B2 (en) | 2017-01-04 | 2019-07-09 | Denso Ten Limited | Image processing device and image processing method |
JP2021108191A (ja) * | 2020-04-20 | 2021-07-29 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッドBeijing Baidu Netcom Science Technology Co., Ltd. | 車載カメラ外部パラメータのキャリブレーション方法、装置、システム及び記憶媒体 |
-
2010
- 2010-12-28 JP JP2010291687A patent/JP2012138876A/ja not_active Withdrawn
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015004907A1 (ja) * | 2013-07-11 | 2015-01-15 | 株式会社デンソー | 車両用画像合成装置 |
JP2015019271A (ja) * | 2013-07-11 | 2015-01-29 | 株式会社デンソー | 車両用画像合成装置 |
US20160165148A1 (en) * | 2013-07-11 | 2016-06-09 | Denso Corporation | Image synthesizer for vehicle |
US9781343B2 (en) | 2014-12-02 | 2017-10-03 | Olympus Corporation | Image processing apparatus and method for operating image processing apparatus |
JP5974205B1 (ja) * | 2014-12-02 | 2016-08-23 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法 |
CN106231985A (zh) * | 2014-12-02 | 2016-12-14 | 奥林巴斯株式会社 | 图像处理装置、图像处理装置的工作方法 |
WO2016088639A1 (ja) * | 2014-12-02 | 2016-06-09 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法 |
WO2018012674A1 (en) | 2016-07-11 | 2018-01-18 | Lg Electronics Inc. | Driver assistance apparatus and vehicle having the same |
EP3481692A4 (en) * | 2016-07-11 | 2020-04-15 | LG Electronics Inc. -1- | DRIVING AID APPARATUS AND VEHICLE PROVIDED WITH SAME |
US10807533B2 (en) | 2016-07-11 | 2020-10-20 | Lg Electronics Inc. | Driver assistance apparatus and vehicle having the same |
JP2018081591A (ja) * | 2016-11-17 | 2018-05-24 | 萩原電気株式会社 | 画像合成装置及び画像合成方法 |
US10343603B2 (en) | 2017-01-04 | 2019-07-09 | Denso Ten Limited | Image processing device and image processing method |
JP2021108191A (ja) * | 2020-04-20 | 2021-07-29 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッドBeijing Baidu Netcom Science Technology Co., Ltd. | 車載カメラ外部パラメータのキャリブレーション方法、装置、システム及び記憶媒体 |
JP7152554B2 (ja) | 2020-04-20 | 2022-10-12 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 車載カメラ外部パラメータのキャリブレーション方法、装置、システム及び記憶媒体 |
US11587332B2 (en) | 2020-04-20 | 2023-02-21 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method, apparatus, system, and storage medium for calibrating exterior parameter of on-board camera |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5548002B2 (ja) | 画像生成装置、画像表示システム及び画像生成方法 | |
EP2739050B1 (en) | Vehicle surroundings monitoring system | |
JP5302227B2 (ja) | 画像処理装置、画像処理システム、および、画像処理方法 | |
US8947533B2 (en) | Parameter determining device, parameter determining system, parameter determining method, and recording medium | |
WO2012096058A1 (ja) | 画像生成装置 | |
JP5911775B2 (ja) | 画像生成装置、画像表示システム及び画像生成方法 | |
JP5953824B2 (ja) | 車両用後方視界支援装置及び車両用後方視界支援方法 | |
JP4248570B2 (ja) | 画像処理装置並びに視界支援装置及び方法 | |
US20100245574A1 (en) | Vehicle periphery display device and method for vehicle periphery image | |
JP5697512B2 (ja) | 画像生成装置、画像表示システム及び画像表示装置 | |
JP2011015174A (ja) | 画像生成装置及び画像表示システム | |
JP7039879B2 (ja) | 表示制御装置 | |
CN111095921B (zh) | 显示控制装置 | |
JP6084097B2 (ja) | 画像生成装置、画像表示システム及び画像生成方法 | |
JP2012138876A (ja) | 画像生成装置、画像表示システム及び画像表示方法 | |
JP5592138B2 (ja) | 画像生成装置、画像表示システム及び画像生成方法 | |
US10897600B1 (en) | Sensor fusion based perceptually enhanced surround view | |
JP2012257107A (ja) | 画像生成装置 | |
JP2016063390A (ja) | 画像処理装置、及び画像表示システム | |
JP2020068515A (ja) | 画像処理装置 | |
CN113508574A (zh) | 成像系统和方法 | |
JP5479639B2 (ja) | 画像処理装置、画像処理システム、および、画像処理方法 | |
JP7314518B2 (ja) | 周辺監視装置 | |
US11823467B2 (en) | Display control apparatus, vehicle, and display control method | |
JP5677168B2 (ja) | 画像表示システム、画像生成装置及び画像生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140304 |