JP2006173988A - 車載用カメラ映像提示装置及び車載用カメラ映像提示方法 - Google Patents

車載用カメラ映像提示装置及び車載用カメラ映像提示方法 Download PDF

Info

Publication number
JP2006173988A
JP2006173988A JP2004362521A JP2004362521A JP2006173988A JP 2006173988 A JP2006173988 A JP 2006173988A JP 2004362521 A JP2004362521 A JP 2004362521A JP 2004362521 A JP2004362521 A JP 2004362521A JP 2006173988 A JP2006173988 A JP 2006173988A
Authority
JP
Japan
Prior art keywords
brightness
vehicle
image
video
vehicle surrounding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004362521A
Other languages
English (en)
Other versions
JP4857556B2 (ja
Inventor
Takeshi Akatsuka
健 赤塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2004362521A priority Critical patent/JP4857556B2/ja
Publication of JP2006173988A publication Critical patent/JP2006173988A/ja
Application granted granted Critical
Publication of JP4857556B2 publication Critical patent/JP4857556B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】複数のカメラで撮影された映像の明るさが異なる場合でも、取得映像を合成するつなぎ目付近での明るさの不連続を防ぐことができる車載用カメラ映像提示装置及び車載用カメラ映像提示方法を提供すること。
【解決手段】車両の2つの相異なる位置に設置され、共通な視野領域を有する車両周囲映像を撮影する撮影手段110a、110bにより撮影された2つの車両周囲映像を、視点変換処理手段120によって、例えば、同一視点から見た映像に視点変換し、該2つの映像に共通する視野領域の明るさが等しくなるように、明るさ調整処理手段130によって該2つの映像の明るさを調整し、さらに、該2つの映像を画像合成処理手段140によって1つの映像に合成し、得られた車両周囲映像を液晶ディスプレイ150によって提示する車載用カメラ映像提示装置を構成する。
【選択図】 図1

Description

本発明は車載用カメラ映像提示装置及び車載用カメラ映像提示方法に関する。
下記特許文献1に記載されているように、車両のビュー装置において、左右の連続していない視界領域を1個のカメラにて撮像する場合、明るさの調整対象とする領域を限定して、必要な視界領域の明るさを最適にする仕組みが提案されている。以下、「カメラ」は、この特許文献1にも記載されているように、すべて電子式撮像手段を用いる電子式カメラを意味するものとする。
特開平09−058342号公報
しかしながら、明るさの調整対象とする領域を限定して、必要な視界領域の明るさを最適にする仕組みでは、複数のカメラを用いた場合は、それぞれのカメラで明るさの調整を行ってから処理をすることとなり、複数のカメラでの連続した領域を撮影し、カメラごとに明るさを調整した映像を用いて、1つの提示映像を生成する場合の、複数のカメラ映像の持つ明るさの調整のための処理には適用できず、複数のカメラ映像ごとに明るさが大きく異なるような場合には合成するつなぎ目付近で明るさの不連続が起き、その明るさの段差によって、本来ないはずの段差があるように、提示映像としては見えてしまうという問題点があった。
本発明は上記の問題に鑑みてなされたものであり、本発明が解決しようとする課題は、複数のカメラで撮影された映像の明るさが異なる場合でも、取得映像を合成するつなぎ目付近での明るさの不連続を防ぐことができる車載用カメラ映像提示装置及び車載用カメラ映像提示方法を提供することにある。
車両の2つ以上の相異なる位置に設置され、共通な視野領域を有する車両周囲映像を撮影する複数の撮影手段により撮影された複数の車両周囲映像の明るさを、共通な視野領域の明るさが等しくなるように明るさ調整し、該複数の車両周囲映像を1つの映像に合成して得られる車両周囲映像を提示することを特徴とする車載用カメラ映像提示装置を構成する。
本発明の実施によって、複数のカメラで撮影された映像の明るさが異なる場合でも、取得映像を合成するつなぎ目付近での明るさの不連続を防ぐことができる車載用カメラ映像提示装置及び車載用カメラ映像提示方法を提供することが可能となる。
以下に、本発明を、実施の形態例によって、詳細に説明する。
(実施の形態例1)
図1に実施の形態例1である車載用カメラ映像提示装置の構成図を示す。この車載用カメラ映像提示装置は、2つの相異なる位置に設置され、車両周辺の共通な視野領域を有する車両周囲映像を撮影する撮影手段110a、110bと、画像処理装置100と、映像提示手段である液晶ディスプレイ150とから構成され、画像処理装置100には、映像を、仮想視点から撮影された映像に視点変換処理を行う視点変換処理手段120と、映像の明るさ調整を行う明るさ調整処理手段130と、複数の映像を1つの映像に合成する画像合成処理手段140とが具備されている。液晶ディスプレイ150は画像合成処理手段140による処理を経た車両周囲映像を提示する。
撮影手段110a、110bには、例えば、CCDカメラやCMOSカメラが用いられる。
視点変換処理手段120や、明るさ調整処理手段130や、映像合成処理手段140には、例えば、マイクロコンピュータとメモリから構成される映像処理装置100上で動作するプログラムや、それぞれの処理を回路として組み込んだASIC、FPGAが用いられる。
以上の構成における装置の動作を説明する。図2に、本実施の形態例のフローチャートを示す。
撮影手段110aと110bとを用いて映像を撮影し、その映像データを読み込む(S1001)。
ここでは、撮影手段110aと110bとの映像を、視点変換処理手段120において、例えば、同一視点から見た映像に視点変換した映像を取得する(S1002)。
撮影手段110aで取得した映像に視点変換処理を施して得た映像をIa、撮影手段110bで取得した映像に視点変換処理を施して得た映像をIbとし、この二つの映像の共通視野領域をそれぞれIa0、Ib0とする。
IaとIbはそれぞれk個、m個の画素から、Ia0とIb0はそれぞれn個の画素からなるものとし、Iaの各画素jの明るさをYaj、Ibの各画素jの明るさをYbjとし、Ia0の各画素jの明るさをYa0j、Ib0の各画素jの明るさをYb0jとすると、IaとIb及びIa0とIb0の明るさの平均値Ya_ave、Yb_ave、Ya0_ave、Yb0_aveを

Iaの明るさ Ya_ave = (Ya1+Ya2+…+Yak)/k

Ibの明るさ Yb_ave = (Yb1+Yb2+…+Ybm)/m

Ia0の明るさ Ya0_ave = (Ya01+Ya02+…+Ya0n)/n

Ib0の明るさ Yb0_ave = (Yb01+Yb02+…+Yb0n)/n

で定義する。
明るさの調整処理を行う明るさ調整処理手段130において、撮影手段110aと110bで撮影した映像の視点変換を行った映像の明るさ平均と、共通視野領域の明るさ平均を求める(S1003)。
次いで、撮影手段110aと110bで撮影した映像全体の明るさ平均の目標値をYtargetとすると、明るさの調整処理として、
撮影手段110aの映像を視点変換した映像の明るさを
(k+m)×Yb0_ave×Ytarget/(Ya_ave×Yb0_ave×k+Yb_ave×Ya0_ave×m)倍し、
撮影手段110bの映像を視点変換した映像の明るさを
(k+m)×Ya0_ave×Ytarget/(Ya_ave×Yb0_ave×k+Yb_ave×Ya0_ave×m)倍する(S1004)。この処理により共通視野領域のIa0とIb0の明るさが等しく、またIaとIbの映像を合計した範囲の明るさも目標値のYtargetとなる。このような映像の明るさ調整は、明るさ調整処理手段130の内部で行われる。
このようにして、撮影手段110a、110bにより撮影された複数の車両周囲映像の共通な視野領域の明るさが等しくなり、しかも、該複数の車両周囲映像全体の明るさが予め決められた明るさ(Ytarget)となるように、撮影手段110a、110bにより得られた複数の車両周囲映像の明るさ調整処理を行うことができる。この場合には、時間が経過しても、一定の明るさの映像が提示される。
次いで、明るさ調整を行った映像を画像合成処理手段140において合成し(S1005)、生成された映像データを液晶ディスプレイ150に提示し(S1006)、以降S1001から処理を繰り返す。
図7に映像データのイメージを示す。図において、上から1段目は被写体の明るさを示し、さらに、撮影手段であるカメラ110a、110bの撮影範囲(Ia、Ib)と、その範囲に共通な視野領域(Ia0、Ib0)を示している。上から2段目は、それぞれのカメラが、それぞれの標準明るさで撮影した映像を示している。上から3段目は、2段目に示した2つの映像を、視点変換処理手段120によって、同一視点から見た映像に視点変換し、そのまま、画像合成処理手段140によって、1つの映像に合成した結果を示していて、共通な視野領域(Ia0、Ib0)には、異なるカメラにより撮影された2つの映像の明るさの段差が現われている。
これに対して、本実施の形態例においては、2段目に示した2つの映像を、視点変換処理手段120によって、同一視点から見た映像に視点変換し、さらに、明るさ調整処理手段130によって、共通な視野領域(Ia0、Ib0)における明るさが同じになるように、明るさ調整を行って4段目に示した映像とし、この2つの映像を、画像合成処理手段140によって、1つの映像に合成して、最下段に示した映像としている。画像合成前の、共通な視野領域(Ia0、Ib0)における明るさが同じになっているので、画像合成後の、最下段に示した映像には、異なるカメラにより撮影された2つの映像の明るさの段差が現われていない。すなわち、本発明の実施によって、このような明るさの段差を除去することができる。
このように、複数の撮影手段により取得した複数の車両周囲映像の共通な視野領域の明るさが等しくなるようように、取得した映像全体の明るさが目標の明るさになるように、複数の撮影手段により得られた映像の映像処理を行ってから、処理した映像を合成して、生成した映像を提示するようにしたため、複数のカメラで撮影された映像の明るさが異なる場合でも、取得映像を合成するつなぎ目付近での明るさの不連続(明るさの段差)を防ぐことができる。
下記実施の形態例2と異なり、撮影した映像に対して明るさ調整を行うようにしているため、明るさの調整範囲は小さくなるが、撮影手段の明るさ調整を行うための制御信号(明るさ調整信号)を送る必要がなく、従来、車載カメラとして利用されているカメラをそのまま利用することが可能である。
なお、撮影手段110aと110bとの視差が大きくない場合等においては、視点変換処理手段120による視点変換処理を行わなくてもよい。すなわち、撮影手段110a、110bにより撮影された車両周囲映像を、視点変換処理なしに、明るさ調整処理手段130によって明るさ調整処理し、画像合成処理手段140によって画像合成処理し、液晶ディスプレイ150によって提示してもよい。
また、視点変換処理手段120による視点変換処理と明るさ調整処理手段130による明るさ調整処理との順序を反対にしてもよい。すなわち、撮影手段110a、110bにより撮影された車両周囲映像を、明るさ調整処理手段130によって明るさ調整処理した後に、視点変換処理手段120によって視点変換処理し、画像合成処理手段140によって画像合成処理し、液晶ディスプレイ150によって提示してもよい。
(実施の形態例2)
図3に実施の形態例2の構成図を示す。この車載用カメラ映像提示装置は、2つの相異なる位置に設置され、車両周辺の共通な視野領域を有する車両周囲映像を撮影する、外部入力信号(明るさ調整信号)によって撮影映像の明るさ調整が可能な撮影手段である撮影手段210a、210bと、画像処理装置200と、映像提示手段である液晶ディスプレイ250とから構成され、画像処理装置200には、映像を、仮想視点から撮影された映像に視点変換処理を行う視点変換処理手段220と、映像の明るさ調整を行う明るさ調整処理手段230と、映像を1つの映像に合成する画像合成処理手段240とが具備されている。液晶ディスプレイ250は画像合成処理手段240による処理を経た車両周囲映像を提示する。
撮影手段210a、210bには、例えば、CCDカメラやCMOSカメラが用いられる。
視点変換処理手段220や、明るさ調整処理手段230や、画像合成処理手段240には、例えば、マイクロコンピュータとメモリから構成される映像処理装置200上で動作するプログラムや、それぞれの処理を回路として組み込んだASIC、FPGAが用いられる。
以上の構成における装置の動作を説明する。図4に本実施の形態例のフローチャートを示す。
撮影手段210a、210bとを用いて映像を撮影し、その映像データを読み込む(S2001)。
撮影手段210aで取得した映像をIa、撮影手段210bで取得した映像をIbとし、この二つの映像の共通視野領域をそれぞれIa0、Ib0とする。
IaとIbはそれぞれm個の画素から、Ia0とIb0はそれぞれn個の画素からなるものとし、Iaの各画素jの明るさをYaj、Ibの各画素jの明るさをYbjとし、Ia0の各画素jの明るさをYa0j、Ib0の各画素jの明るさをYb0jとすると、IaとIb及びIa0とIb0の明るさの平均値Ya_ave、Yb_ave、Ya0_ave、Yb0_aveを

Iaの明るさ Ya_ave = (Ya1+Ya2+…+Yam)/m

Ibの明るさ Yb_ave = (Yb1+Yb2+…+Ybm)/m

Ia0の明るさ Ya0_ave = (Ya01+Ya02+…+Ya0n)/n

Ib0の明るさ Yb0_ave = (Yb01+Yb02+…+Yb0n)/n

で定義する。
明るさの調整処理を行う明るさ調整処理手段230において、撮影手段210aと210bで撮影した映像の共通視野領域の明るさ平均を求める(S2002)。
次いで、撮影手段210aと210bで撮影した映像の明るさ平均の目標値をYtargetとすると、明るさの調整処理として、
撮影手段210aの映像を視点変換した映像の明るさを
2×Yb0_ave×Ytarget/(Ya_ave×Yb0_ave+Yb_ave×Ya0_ave)倍し、
撮影手段210bの映像を視点変換した映像の明るさを
2×Ya0_ave×Ytarget/(Ya_ave×Yb0_ave+Yb_ave×Ya0_ave)倍するように、撮影手段210aと210bの撮影照度の目標値を変更する(S2003)。撮影手段210aと210bにおける撮影照度の目標値の変更は、明るさ調整処理手段230が出力する照度調整のための信号(明るさ調整信号)を外部入力信号として行われる。すなわち、本実施の形態例においては、実施の形態例1とは異なり、映像の明るさ調整は、明るさ調整処理手段230からの信号(明るさ調整信号)によって、撮影手段210aと210bにおいて行われる。この明るさ調整処理により共通視野領域のIa0とIb0の明るさが等しく、またIaとIbの撮像範囲を合計した範囲の明るさも目標値のYtargetとなる。
このようにして、撮影手段210a、210bにより撮影された複数の車両周囲映像の共通な視野領域の明るさが等しくなり、しかも、該複数の車両周囲映像全体の明るさが予め決められた明るさ(Ytarget)となるように、撮影手段210a、210bにより得られた複数の車両周囲映像の明るさ調整処理を行うことができる。この場合には、時間が経過しても、一定の明るさの映像が提示される。
また、撮影手段210aと210bにおいて明るさ調整信号に応じて明るさを調整して撮影した映像を、視点変換処理手段220において、例えば、同一視点から見た映像に視点変換処理した映像を取得する(S2004)。
次いで、視点変換処理手段240において視点変換を行った映像を合成し(S2005)、生成された映像データを液晶ディスプレイ250に提示し(S2006)、以降S2001から処理を繰り返す。
複数の撮影手段により取得した複数の車両周囲映像の共通な視野領域の明るさが等しくなるようように、取得した映像全体の明るさが目標の明るさになるように、複数の撮影手段により得られる映像の映像処理を行ってから、処理した映像を合成して、生成した映像を提示するようにしたため、複数のカメラで撮影された映像の明るさが異なる場合でも、取得映像を合成するつなぎ目付近での明るさの不連続を防ぐことができる。
また、実施の形態例1のように撮影した映像に対して明るさ調整を行うのではなく、撮影手段210a、210bにおいて、明るさ調整信号に応じて、撮影映像の明るさ調整を行うようにしたため、複数の撮影手段で撮影する映像の明るさの違いが大きい場合でも対応可能となる。
なお、撮影手段210aと210bとの視差が大きくない場合等においては、視点変換処理手段220による視点変換処理を行わなくてもよい。すなわち、撮影手段210a、210bにより撮影された車両周囲映像(明るさ調整処理手段230からの明るさ調整信号によって明るさ調整されている)を、視点変換処理なしに、画像合成処理手段140によって画像合成処理し、液晶ディスプレイ250によって提示してもよい。
また、明るさ調整処理手段230による明るさ調整処理と視点変換処理手段220による視点変換処理との順序を反対にしてもよい。すなわち、撮影手段210a、210bにより撮影された車両周囲映像を、視点変換処理手段220によって視点変換処理した後に、明るさ調整処理手段230によって明るさ調整処理し、画像合成処理手段240によって画像合成処理し、液晶ディスプレイ250によって提示してもよい。ただし、この場合には、映像の明るさ調整は撮影手段210a、210bにおいて行われるので、明るさ調整後の映像は、視点変換処理手段220によって視点変換処理を施されてから画像合成処理手段240に入力される。
(実施の形態例3)
図5に実施の形態例3の構成図を示す。この車載用カメラ映像提示装置は、3つの相異なる位置に設置され、車両周辺の共通な視野領域を含む車両周囲映像を撮影する、外部入力信号(明るさ調整信号)によって撮影映像の明るさ調整が可能な撮影手段である撮影手段310a、310b、310cと、画像処理装置300と、映像提示手段である液晶ディスプレイ350とから構成され、画像処理装置300には、映像を、仮想視点から撮影された映像に視点変換処理を行う視点変換処理手段320と、映像の明るさ調整を行う明るさ調整処理手段330と、映像の合成を行う画像合成処理手段340とが具備されている。液晶ディスプレイ350は画像合成処理手段340による処理を経た車両周囲映像を提示する。
撮影手段310a、310b、310cには、例えば、CCDカメラやCMOSカメラが用いられる。
視点変換処理手段320や、明るさ調整処理手段330や、画像合成処理手段340には、例えば、マイクロコンピュータとメモリから構成される映像処理装置300上で動作するプログラムや、それぞれの処理を回路として組み込んだASIC、FPGAが用いられる。
以上の構成において、撮影手段310aと310b、310bと310cがそれぞれ共通の視野領域を含む配置になっているものとして、その動作を説明する。図6に実施の形態例3のフローチャートを示す。
撮影手段310a、310b、310cとを用いて映像を撮影し、その映像データを読み込む(S3001)。
撮影手段310aで取得した映像をIa、撮影手段310bで取得した映像をIb、撮影手段310cで取得した映像をIcとし、この撮影手段310aと撮影手段310bの映像の共通視野領域をそれぞれIa0、 Ib0、撮影手段310bと撮影手段310cの映像の共通視野領域をそれぞれIb1、 Ic1とする。
IaとIbとIcはそれぞれk個の画素から、Ia0とIb0はそれぞれm個の画素から、Ib1とIc1はそれぞれn個の画素からなるものとし、Iaの各画素jの明るさをYaj、Ibの各画素jの明るさをYbj、Icの各画素jの明るさをYcjとし、Ia0の各画素jの明るさをYa0j、Ib0の各画素jの明るさをYb0j、Ib1の各画素jの明るさをYb1j、Ic1の各画素jの明るさをYc1jとすると、IaとIbとIc及びIa0とIb0とIb1とIc1の明るさの平均値Ya_ave、Yb_ave、Yc_ave、Ya0_ave、Yb0_ave、Yb1_ave、Yc1_aveを

Iaの明るさ Ya_ave = (Ya1+Ya2+…+Yak)/k

Ibの明るさ Yb_ave = (Yb1+Yb2+…+Ybk)/k

Icの明るさ Yc_ave = (Yc1+Yc2+…+Yck)/k

Ia0の明るさ Ya0_ave = (Ya01+Ya02+…+Ya0m)/m

Ib0の明るさ Yb0_ave = (Yb01+Yb02+…+Yb0m)/m

Ib1の明るさ Yb1_ave = (Yb11+Yb12+…+Yb1n)/n

Ic1の明るさ Yc1_ave = (Yc11+Yc12+…+Yc1n)/n

で定義する。
明るさの調整処理を行う明るさ調整処理手段330において、撮影手段310aと310bで撮影した映像の共通視野領域の明るさ平均を求める(S3002)。
次いで、撮影手段310aと310bで撮影した映像の明るさ平均の目標値をYtargetとすると、明るさの調整処理として
撮影手段310aの映像を視点変換した映像の明るさを
3×Yb0_ave×Yc1_ave×Ytarget/(Ya_ave×Yb0_ave×Yc1_ave+Yb_ave×Ya0_ave×Yc1_ave+Yc_ave×Ya0_ave×Yb1_ave)倍し、
撮影手段310bの映像を視点変換した映像の明るさを
3×Ya0_ave×Yc1_ave×Ytarget/(Ya_ave×Yb0_ave×Yc1_ave+Yb_ave×Ya0_ave×Yc1_ave+Yc_ave×Ya0_ave×Yb1_ave)倍し、
撮影手段310cの映像を視点変換した映像の明るさを
3×Ya0_ave×Yb1_ave×Ytarget/(Ya_ave×Yb0_ave×Yc1_ave+Yb_ave×Ya0_ave×Yc1_ave+Yc_ave×Ya0_ave×Yb1_ave)倍するように、
撮影手段310aと310bと310cの撮影照度の目標値を変更する(S3003)。撮影手段310aと310bと310cにおける撮影照度の目標値の変更は、明るさ調整処理手段330が出力する照度調整のための信号(明るさ調整信号)を外部入力信号として行われる。すなわち、本実施の形態例においては、実施の形態例1とは異なり、映像の明るさ調整は、明るさ調整処理手段330からの信号(明るさ調整信号)によって、撮影手段310aと310bと310cにおいて行われる。
このようにして、撮影手段310a、310b、310cにより撮影された複数の車両周囲映像の共通な視野領域の明るさが等しくなり、しかも、該複数の車両周囲映像全体の明るさが予め決められた明るさ(Ytarget)となるように、撮影手段310a、310b、310cにより得られた複数の車両周囲映像の明るさ調整処理を行うことができる。この場合には、時間が経過しても、一定の明るさの映像が提示される。
また、撮影手段310aと310bと310cにおいて明るさ調整信号に応じて明るさを調整して撮影した映像を、視点変換処理手段320において、例えば、同一視点から見た映像に視点変換処理した映像を取得する(S3004)。
次いで、画像合成手段340において、視点変換を行った複数の映像を1つの映像に合成し(S3005)、生成された映像データを液晶ディスプレイ350に提示し(S3006)、以降S3001から処理を繰り返す。
このようにして、複数の撮影手段により取得した複数の車両周囲映像の共通な視野領域の明るさが等しくなるようように、取得した映像全体の明るさが目標の明るさになるように、複数の撮影手段により得られた映像の映像処理を行ってから、処理した映像を合成して、生成した映像を提示するようにしたため、複数のカメラで撮影された映像の明るさが異なる場合でも、取得映像を合成するつなぎ目付近での明るさの不連続を防ぐことができる。
また、明るさ調整処理を、撮影された映像に対して行うのでなく、撮影手段310a、310b、310cにおいて行うようにしたため、複数の撮影手段で撮影する映像の明るさの違いが大きい場合でも対応可能となる。
なお、撮影手段310a、310b、310cの間の視差が大きくない場合等においては、視点変換処理手段320による視点変換処理を行わなくてもよい。すなわち、撮影手段310a、310b、310cにより撮影された車両周囲映像(明るさ調整処理手段330からの明るさ調整信号によって明るさ調整されている)を、視点変換処理なしに、画像合成処理手段340によって画像合成処理し、液晶ディスプレイ350によって提示してもよい。
また、明るさ調整処理手段330による明るさ調整処理と視点変換処理手段320による視点変換処理との順序を反対にしてもよい。すなわち、撮影手段310a、310b、310cにより撮影された車両周囲映像を、視点変換処理手段320によって視点変換処理した後に、明るさ調整処理手段330によって明るさ調整処理し、画像合成処理手段340によって画像合成処理し、液晶ディスプレイ350によって提示してもよい。ただし、この場合には、映像の明るさ調整は撮影手段310a、310b、310cにおいて行われるので、明るさ調整後の映像は、視点変換処理手段320によって視点変換処理を施されてから画像合成処理手段340に入力される。
実施の形態例1の構成図である。 実施の形態例1のフローチャートである。 実施の形態例2の構成図である。 実施の形態例2のフローチャートである。 実施の形態例3の構成図である。 実施の形態例3のフローチャートである。 実施の形態例1の映像データのイメージである。
符号の説明
100:画像処理装置、110a、110b:撮影手段、120:視点変換処理手段、130:明るさ調整処理手段、140:画像合成処理手段、150:液晶ディスプレイ、200:画像処理装置、210a、210b:撮影手段、220:視点変換処理手段、230:明るさ調整処理手段、240:画像合成処理手段、250:液晶ディスプレイ、300:画像処理装置、310a、310b、310c:撮影手段、320:視点変換処理手段、330:明るさ調整処理手段、340:画像合成処理手段、350:液晶ディスプレイ。

Claims (10)

  1. 車載され、カメラにより車両周囲の映像を撮影して提示する車載用カメラ映像提示装置において、
    少なくとも2つ以上の相異なる位置に設置され、共通な視野領域を有する車両周囲映像を撮影する複数の撮影手段と、
    上記撮影手段により撮影された車両周囲映像の明るさを、自らの内部で調整するか、または、上記撮影手段における映像の明るさ調整用の明るさ調整信号を上記撮影手段へ向けて出力する明るさ調整処理手段と、
    上記明るさ調整処理手段が自らの内部で明るさ調整した複数の車両周囲映像、または、上記撮影手段が上記明るさ調整信号に応じて映像の明るさを調整して撮影した複数の車両周囲映像を1つの映像に合成する画像合成処理手段と、
    上記画像合成処理手段により1つの映像に合成された車両周囲映像を提示する映像提示手段とを備え、
    共通な視野領域の明るさが等しくなるように明るさ調整された複数の車両周囲映像を1つの映像に合成し、提示することにより、異なる上記撮影手段により撮影された車両周囲映像の共通な視野領域における明るさの段差が除去された車両周囲映像を提示することを特徴とする車載用カメラ映像提示装置。
  2. 車載され、カメラにより車両周囲の映像を撮影して提示する車載用カメラ映像提示装置において、
    少なくとも2つ以上の相異なる位置に設置され、共通な視野領域を有する車両周囲映像を撮影する複数の撮影手段と、
    上記撮影手段により撮影された車両周囲映像の明るさを、自らの内部で調整するか、または、上記撮影手段における映像の明るさ調整用の明るさ調整信号を上記撮影手段へ向けて出力する明るさ調整処理手段と、
    上記明るさ調整処理手段が自らの内部で明るさ調整した車両周囲映像、または、上記撮影手段が上記明るさ調整信号に応じて映像の明るさを調整して撮影した車両周囲映像の視点変換処理を行う視点変換処理手段と、
    上記視点変換処理手段により視点変換された複数の車両周囲映像を1つの映像に合成する画像合成処理手段と、
    上記画像合成処理手段により1つの映像に合成された車両周囲映像を提示する映像提示手段とを備え、
    共通な視野領域の明るさが等しくなるように明るさ調整され、視点変換された複数の車両周囲映像を1つの映像に合成し、提示することにより、異なる上記撮影手段により撮影された車両周囲映像の共通な視野領域における明るさの段差が除去された車両周囲映像を提示することを特徴とする車載用カメラ映像提示装置。
  3. 車載され、カメラにより車両周囲の映像を撮影して提示する車載用カメラ映像提示装置において、
    少なくとも2つ以上の相異なる位置に設置され、共通な視野領域を有する車両周囲映像を撮影する複数の撮影手段と、
    上記撮影手段により撮影された車両周囲映像の視点変換処理を行う視点変換処理手段と、
    上記視点変換処理手段により処理された車両周囲映像の明るさを、自らの内部で調整するか、または、上記撮影手段における映像の明るさ調整用の明るさ調整信号を上記撮影手段へ向けて出力する明るさ調整処理手段と、
    上記明るさ調整処理手段が自らの内部で明るさ調整した複数の車両周囲映像、または、上記撮影手段が上記明るさ調整信号に応じて映像の明るさを調整して撮影し上記視点変換処理手段が視点変換処理した複数の車両周囲映像を1つの映像に合成する画像合成処理手段と、
    上記画像合成処理手段により処理された車両周囲映像を提示する映像提示手段とを備え、
    共通な視野領域の明るさが等しくなるような明るさ調整処理と、視点変換処理とを施して得る複数の車両周囲映像を1つの映像に合成し、提示することにより、異なる上記撮影手段により撮影された車両周囲映像の共通な視野領域における明るさの段差が除去された車両周囲映像を提示することを特徴とする車載用カメラ映像提示装置。
  4. 請求項1、2または3に記載の車載用カメラ映像提示装置おいて、
    上記明るさ調整処理手段は、複数の上記車両周囲映像の共通な視野領域の明るさが等しくなり、しかも、該複数の上記車両周囲映像全体の明るさが予め決められた明るさとなるように、映像の明るさ調整処理を行うことを特徴とする車載用カメラ映像提示装置。
  5. 請求項1、2、3または4に記載の車載用カメラ映像提示装置おいて、
    上記明るさ調整処理手段は、上記明るさ調整信号を出力することなく、車両周囲映像の明るさを自らの内部で調整することを特徴とする車載用カメラ映像提示装置。
  6. 請求項1、2、3または4に記載の車載用カメラ映像提示装置おいて、
    上記撮影手段は、外部からの明るさ調整信号に応じて撮影映像の明るさを調整することが可能な撮影手段であり、上記明るさ調整処理手段は、車両周囲映像の明るさを自らの内部で調整することなく、上記明るさ調整信号を上記撮影手段へ向けて出力することを特徴とする車載用カメラ映像提示装置。
  7. 車載されたカメラにより車両周囲の映像を撮影して提示する車載用カメラ映像提示方法において、
    少なくとも2つ以上の相異なる位置に設置され、共通な視野領域を有する車両周囲映像を撮影する複数の撮影手段により撮影された車両周囲映像に、共通な視野領域の明るさが等しくなるような明るさ調整処理を施して得る複数の車両周囲映像、または、複数の上記撮影手段により、共通な視野領域の明るさが等しくなるように明るさ調整して撮影された複数の車両周囲映像を1つの映像に合成し、提示することにより、異なる上記撮影手段により撮影された車両周囲映像の共通な視野領域における明るさの段差が除去された車両周囲映像を提示することを特徴とする車載用カメラ映像提示方法。
  8. 車載されたカメラにより車両周囲の映像を撮影して提示する車載用カメラ映像提示方法において、
    少なくとも2つ以上の相異なる位置に設置され、共通な視野領域を有する車両周囲映像を撮影する複数の撮影手段により撮影された車両周囲映像に、共通な視野領域の明るさが等しくなるような明るさ調整処理を施し、視点変換処理を施して得る複数の車両周囲映像、または、複数の上記撮影手段により、共通な視野領域の明るさが等しくなるように明るさ調整して撮影され、視点変換処理された複数の車両周囲映像を1つの映像に合成し、提示することにより、異なる上記撮影手段により撮影された車両周囲映像の共通な視野領域における明るさの段差が除去された車両周囲映像を提示することを特徴とする車載用カメラ映像提示方法。
  9. 車載されたカメラにより車両周囲の映像を撮影して提示する車載用カメラ映像提示方法において、
    少なくとも2つ以上の相異なる位置に設置され、共通な視野領域を有する車両周囲映像を撮影する複数の撮影手段により撮影された車両周囲映像に、視点変換処理を施し、共通な視野領域の明るさが等しくなるような明るさ調整処理を施して得る複数の車両周囲映像、または、複数の上記撮影手段により、共通な視野領域の明るさが等しくなるように明るさ調整して撮影され、視点変換処理された複数の車両周囲映像を1つの映像に合成し、提示することにより、異なる上記撮影手段により撮影された車両周囲映像の共通な視野領域における明るさの段差が除去された車両周囲映像を提示することを特徴とする車載用カメラ映像提示方法。
  10. 請求項7、8または9に記載の車載用カメラ映像提示方法おいて、
    複数の上記車両周囲映像の共通な視野領域の明るさが等しくなり、しかも、該複数の上記車両周囲映像全体の明るさが予め決められた明るさとなるように、映像の明るさ調整処理を行うことを特徴とする車載用カメラ映像提示方法。
JP2004362521A 2004-12-15 2004-12-15 車載用カメラ映像提示装置 Active JP4857556B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004362521A JP4857556B2 (ja) 2004-12-15 2004-12-15 車載用カメラ映像提示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004362521A JP4857556B2 (ja) 2004-12-15 2004-12-15 車載用カメラ映像提示装置

Publications (2)

Publication Number Publication Date
JP2006173988A true JP2006173988A (ja) 2006-06-29
JP4857556B2 JP4857556B2 (ja) 2012-01-18

Family

ID=36674274

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004362521A Active JP4857556B2 (ja) 2004-12-15 2004-12-15 車載用カメラ映像提示装置

Country Status (1)

Country Link
JP (1) JP4857556B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008077595A (ja) * 2006-09-25 2008-04-03 Matsushita Electric Ind Co Ltd 合成映像表示装置
JP2008079248A (ja) * 2006-09-25 2008-04-03 Matsushita Electric Ind Co Ltd 合成映像表示装置
JP2011504043A (ja) * 2007-11-16 2011-01-27 テネブラックス コーポレイション 仮想ウィンドウを生成するシステムおよび方法
WO2011093354A1 (ja) * 2010-01-29 2011-08-04 富士通テン株式会社 画像処理装置、および画像処理方法
JP2011160117A (ja) * 2010-01-29 2011-08-18 Fujitsu Ten Ltd 画像処理装置、及び、画像処理方法
WO2014033886A1 (ja) 2012-08-30 2014-03-06 富士通株式会社 画像処理装置、画像処理方法、及びプログラム
US8791984B2 (en) 2007-11-16 2014-07-29 Scallop Imaging, Llc Digital security camera
CN104071076A (zh) * 2014-07-17 2014-10-01 贵州大学 一种车载抬头显示系统及其显示方法
CN105007380A (zh) * 2015-07-20 2015-10-28 深圳前海智云谷科技有限公司 基于抬头显示系统利用语音呼叫车秘书服务的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH076227A (ja) * 1992-12-29 1995-01-10 Philips Electron Nv 隣接する複数画像より画像を形成する画像処理方法及び装置
JP2001320616A (ja) * 2000-02-29 2001-11-16 Matsushita Electric Ind Co Ltd 撮像システム
JP2002251608A (ja) * 2001-02-23 2002-09-06 Mixed Reality Systems Laboratory Inc 撮像装置の制御装置及びその制御方法、画像処理装置及びその方法、並びにプログラムコード、記憶媒体
JP2002324235A (ja) * 2001-04-24 2002-11-08 Matsushita Electric Ind Co Ltd 車載カメラの画像合成表示方法及びその装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH076227A (ja) * 1992-12-29 1995-01-10 Philips Electron Nv 隣接する複数画像より画像を形成する画像処理方法及び装置
JP2001320616A (ja) * 2000-02-29 2001-11-16 Matsushita Electric Ind Co Ltd 撮像システム
JP2002251608A (ja) * 2001-02-23 2002-09-06 Mixed Reality Systems Laboratory Inc 撮像装置の制御装置及びその制御方法、画像処理装置及びその方法、並びにプログラムコード、記憶媒体
JP2002324235A (ja) * 2001-04-24 2002-11-08 Matsushita Electric Ind Co Ltd 車載カメラの画像合成表示方法及びその装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008077595A (ja) * 2006-09-25 2008-04-03 Matsushita Electric Ind Co Ltd 合成映像表示装置
JP2008079248A (ja) * 2006-09-25 2008-04-03 Matsushita Electric Ind Co Ltd 合成映像表示装置
JP2011504043A (ja) * 2007-11-16 2011-01-27 テネブラックス コーポレイション 仮想ウィンドウを生成するシステムおよび方法
US8564640B2 (en) 2007-11-16 2013-10-22 Tenebraex Corporation Systems and methods of creating a virtual window
US8791984B2 (en) 2007-11-16 2014-07-29 Scallop Imaging, Llc Digital security camera
JP2014143746A (ja) * 2007-11-16 2014-08-07 Tenebraex Corp 仮想ウィンドウを生成するシステムおよび方法
WO2011093354A1 (ja) * 2010-01-29 2011-08-04 富士通テン株式会社 画像処理装置、および画像処理方法
JP2011160117A (ja) * 2010-01-29 2011-08-18 Fujitsu Ten Ltd 画像処理装置、及び、画像処理方法
WO2014033886A1 (ja) 2012-08-30 2014-03-06 富士通株式会社 画像処理装置、画像処理方法、及びプログラム
US9436986B2 (en) 2012-08-30 2016-09-06 Fujitsu Limited Image processing apparatus and image processing method
CN104071076A (zh) * 2014-07-17 2014-10-01 贵州大学 一种车载抬头显示系统及其显示方法
CN105007380A (zh) * 2015-07-20 2015-10-28 深圳前海智云谷科技有限公司 基于抬头显示系统利用语音呼叫车秘书服务的方法及系统

Also Published As

Publication number Publication date
JP4857556B2 (ja) 2012-01-18

Similar Documents

Publication Publication Date Title
EP3429189B1 (en) Dual image capture processing
US8885067B2 (en) Multocular image pickup apparatus and multocular image pickup method
JP5131257B2 (ja) 表示制御装置及び表示制御プログラム
JP4900343B2 (ja) ビデオ撮像装置および露光ガイド表示方法
JP2007166443A (ja) 撮像装置
WO2013058085A1 (ja) ステレオ撮像装置
JP5195841B2 (ja) 車載カメラ装置および車両
JP4862321B2 (ja) 車載カメラ装置
JP4857556B2 (ja) 車載用カメラ映像提示装置
JP2013029995A (ja) 撮像システム
US20140028881A1 (en) Image pickup apparatus and image pickup method
JP2008306508A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2010206521A (ja) 撮像装置、画像補正方法およびプログラム
JP5569617B2 (ja) 画像処理装置、及び、プログラム
US20070269133A1 (en) Image-data noise reduction apparatus and method of controlling same
JP2003348422A (ja) 撮像装置及び撮像方法及びプログラム及び記憶媒体
JP2010056796A (ja) 画像処理装置、及び、プログラム
JP2010213105A (ja) 撮像装置
JP5545596B2 (ja) 画像入力装置
JP2009055415A (ja) カメラ
US20200202581A1 (en) Semiconductor device, image processing system, image processing method and computer readable storage medium
EP3605450A1 (en) Image processing apparatus, image pickup apparatus, control method of image processing apparatus, and computer-program
US11165956B2 (en) Imaging apparatus
JP3368012B2 (ja) 画像データ処理装置
JP2013046343A (ja) 画像撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071029

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100727

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101013

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101028

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110608

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111004

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111017

R150 Certificate of patent or registration of utility model

Ref document number: 4857556

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141111

Year of fee payment: 3