JP2013174510A - ステレオカメラユニット及び自動車用モニタシステム - Google Patents

ステレオカメラユニット及び自動車用モニタシステム Download PDF

Info

Publication number
JP2013174510A
JP2013174510A JP2012039282A JP2012039282A JP2013174510A JP 2013174510 A JP2013174510 A JP 2013174510A JP 2012039282 A JP2012039282 A JP 2012039282A JP 2012039282 A JP2012039282 A JP 2012039282A JP 2013174510 A JP2013174510 A JP 2013174510A
Authority
JP
Japan
Prior art keywords
distance
camera
unit
video signal
distance calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012039282A
Other languages
English (en)
Other versions
JP5991688B2 (ja
Inventor
Koji Ibaraki
宏治 茨木
Mitsuaki Torigoe
光暁 鳥越
Hatoo Nakayama
鳩夫 中山
Keiji Saneyoshi
敬二 實吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Institute of Technology NUC
Resonant Systems Inc
Original Assignee
Tokyo Institute of Technology NUC
Resonant Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Institute of Technology NUC, Resonant Systems Inc filed Critical Tokyo Institute of Technology NUC
Priority to JP2012039282A priority Critical patent/JP5991688B2/ja
Publication of JP2013174510A publication Critical patent/JP2013174510A/ja
Application granted granted Critical
Publication of JP5991688B2 publication Critical patent/JP5991688B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】鮮明な映像が得られると共に映像の中の所定の部位までの距離を算出できコスト低減に寄与するステレオカメラユニット及び自動車用モニタシステムを提供する。
【解決手段】ステレオカメラユニット12は、ベイヤ配列の単板式のカラー撮像素子18Aを備える第1のカメラ18と、第1のカメラ18と同じ構成の単板式のカラー撮像素子20Aを備える第2のカメラ20と、カラーの映像信号を作成する映像信号作成部22と、映像の中の所定の距離算出対象部位までの距離を第1のカメラ18及び第2のカメラ20の画素の信号に基づいて算出する距離算出部24と、を有し、距離算出部24はカラー撮像素子18A、20AのR、G、Bの画素のうちのGの画素の信号だけに基づいて距離算出対象部位までの距離を算出するように構成されている。
【選択図】図2

Description

本発明は距離測定が可能なステレオカメラユニット及びこれを用いた自動車用モニタシステムに関する。
従来、バスやトラック等では運転席から車両後方を目視することが困難であることが多く、このような自動車には車両後方を監視するためのバックカメラが車両後部に設置されることがある。運転席にはモニタが設置されモニタを介してバックカメラが撮像した車両後方の映像を確認することができる。
一方、モニタに表示される映像は目視と比較して距離感を掴みにくいという事情がある。このため、例えば車両を後進させる際、モニタに表示される映像の中の物体と車両との間に充分な間隔があるように見えていても実際には車両が当該物体に接近していることがある。このような事情に運転者が慣れていない場合、車両が周辺の物体に接触してしまうことも考えられる。
これに対し、ステレオカメラによって車両周辺を撮像すると共に撮像された映像の中の所定の部位までの距離の値を2つのカメラの視差に基づいて算出する技術が知られている(例えば、特許文献1参照)。車両周辺を撮像した映像の確認に加えて映像の中の所定の部位までの距離の値も確認することにより、運転者がモニタの表示に慣れていない場合でも車両が車両周辺の物体等に接触してしまう事態を回避できると期待される。
特開2011−180962号公報
しかしながら、従来のステレオカメラで得られる映像はモノクロであるためカラーの映像と比べて鮮明さが劣ることが多く、映像の中の所定の部位までの距離の値を確認することができても車両周辺の状況を却って把握しにくい場合があった。
これに対し、CCDイメージセンサやCMOSイメージセンサのようなカラー撮像素子によってステレオカメラを構成することも考えられるが、カラー撮像素子はモノクロの撮像素子に比べて高コストであるという問題がある。尚、カラー撮像素子の中でも例えば単板式のCMOSイメージセンサはウェブカメラや携帯電話のカメラ、デジタルカメラ等に用いられて広く普及しており安価であるが、このような単板式のカラー撮像素子は距離の測定には適していないという事情がある。より詳細に説明すると、距離は2つのカメラの視差に基づいて算出され、視差を測定するためには一方のカメラの所定の画素と輝度が等しい画素を他方のカメラにおいて特定する必要がある。モノクロ撮像素子の場合は画素が1種類であるため総ての画素が輝度の比較の対象となりうる。一方、単板式のカラー撮像素子の場合はR、G、Bの3種類の画素がベイヤ配列と称される配列で配置されており、これら3種類の画素の輝度を合成したものが輝度信号となるため、一方のカメラの所定の画素と輝度が等しい画素を他方のカメラにおいて特定することが困難である。尚、1つの輝度信号を構成するR、G、Bの3種類の画素の組合せを1つの画素と仮想し、一方のカメラの所定の仮想画素(R、G、Bの画素の組合せの単位)と輝度が等しい仮想画素を他方のカメラにおいて特定してすることも考えられるが、仮想画素の輝度信号は実際には3種類の画素の輝度を合成して得られるものであるため各画素の輝度を直接比較する場合に比べて視差の測定精度が低いという問題がある。又、仮想画素のピッチは実際の画素のピッチよりも大きいためこの点でも視差の測定精度が低いという問題がある。
又、映像を撮像するためのカラーのカメラと距離を算出するためのモノクロのステレオカメラを併用することも考えられるが、2種類のカメラを併用する構成は煩雑であると共に高コストの要因となるという問題がある。又、モノクロのステレオカメラによって距離が算出される部位がカラーのカメラで撮像される映像の中のどの部位に相当するのかを示すことが困難であるという問題もある。
本発明は、以上の問題点に鑑みてなされたものであって、鮮明な映像が得られると共に映像の中の所定の部位までの距離を算出できコスト低減に寄与するステレオカメラユニット及び自動車用モニタシステムを提供することを課題とする。
本発明は、R、G、Bの画素がベイヤ配列で配置された単板式のカラー撮像素子を備える第1のカメラと、第1のカメラと同じ構成の単板式のカラー撮像素子を備え、且つ、第1のカメラと共通の撮像対象を撮像可能であるように第1のカメラから所定の基線長離れて設置された第2のカメラと、第1のカメラ及び第2のカメラの少なくとも一方のカメラの画素の信号を処理してカラーの映像信号を作成する映像信号作成部と、映像信号によって表示される映像の中の所定の距離算出対象部位までの距離を第1のカメラ及び第2のカメラの画素の信号に基づいて算出する距離算出部と、を有し、距離算出部は、第1のカメラ及び第2のカメラのカラー撮像素子のR、G、Bの画素のうちのGの画素の信号だけに基づいて距離算出対象部位までの距離を算出するように構成されたステレオカメラユニットにより上記課題を解決したものである。
このステレオカメラユニットは、ベイヤ配列の単板式のカラー撮像素子のR、G、Bの画素のうちのGの画素の信号だけに基づいて距離算出対象部位までの距離を算出するようになっており、2つのカメラのGの画素の輝度を直接比較するので視差の測定精度が高い。又、ベイヤ配列ではR、G、Bの画素が1:2:1の比率で配置されるためGの画素はRの画素やBの画素よりもピッチが小さい。具体的には、Gの画素のピッチはR、G、Bの総ての画素のピッチの√2倍ではあるが、Rの画素のピッチやBの画素のピッチの1/√2である。従って、RやBの画素を用いる場合よりも視差の測定精度が高い。
又、このステレオカメラユニットは、カラー撮像素子を備える第1及び第2のカメラを有しているのでカラーの鮮明な映像が得られる。即ち、1台のステレオカメラユニットを用いる簡単な構成であるにもかかわらずカラーの鮮明な映像が得られると共に映像の中の所定の部位までの距離を高精度で算出でき、コスト低減に寄与する。又、このステレオカメラユニットは安価な単板式のカラー撮像素子を採用しているので、この点でもコスト低減に寄与する。
尚、このステレオカメラユニットは、距離算出部によって算出された距離の値を表示するための距離表示信号を映像信号に重畳する映像信号重畳部を更に有していてもよい。このようにステレオカメラユニットが映像信号重畳部を有していれば、距離表示信号を映像信号に重畳するための手段をステレオカメラユニットの外部に備える必要がなく、自動車等への適用が容易である。
又、このステレオカメラユニットは、距離算出部によって算出された距離が所定の閾値と同じ値又は閾値よりも小さい値になった場合に警告信号を発信する警告信号発信部を更に有していてもよい。警告信号に基づく警告音や警告灯によって例えば車両が車両周辺の物体に接近していることを運転者に自動的に知らせることができる。又、ステレオカメラユニットが警告信号発信部を有していれば、警告信号発信のためのシステムを簡略化でき、自動車等への適用が容易である。
又、本発明は上記のいずれかに記載のステレオカメラユニットと、ステレオカメラユニットで撮像されたカラーの映像を表示するためのカラーモニタと、を備える自動車用モニタシステムにより上記課題を解決したものである。
本発明によれば、鮮明な映像が得られると共に映像の中の所定の部位までの距離を算出できコスト低減に寄与するステレオカメラユニット及びこれを用いた自動車用モニタシステムを実現できる。
本発明の実施形態に係る自動車用モニタシステムを備えるバスを模式的に示す側面図 同自動車用モニタシステムのステレオカメラユニットの構成を模式的に示すブロック図 ベイヤ配列で配置された同ステレオカメラユニットのカラー撮像素子の画素を拡大して模式的に示す平面図 同ステレオカメラユニットによる距離の算出の原理を模式的に示す2つのレンズの光軸に沿う平面図 同バスの車両後方の状況の一例を模式的に示す側面図 同平面図 同自動車用モニタシステムのカラーモニタに表示される映像の一例を模式的に示す図 同自動車用モニタシステムのカラーモニタに表示される映像の他の一例を模式的に示す図
以下、図面を参照して本発明の好ましい実施形態について詳細に説明する。
図1に示されるように、本発明の実施形態に係る自動車用モニタシステム10は、ステレオカメラユニット12と、ステレオカメラユニット12で撮像されたカラーの映像を表示するためのカラーモニタ14と、を備え、ステレオカメラユニット12に特徴を有している。自動車用モニタシステム10はバス16に設置されており、ステレオカメラユニット12は車両後部の天井に近い部分に設置されている。一方、カラーモニタ14は例えば液晶ディスプレイやCRTディスプレイであり、運転席に座った状態で運転手が見ることができるように運転席の周辺に設置されている。
図2及び3に示されるように、ステレオカメラユニット12は、R、G、Bの画素がベイヤ配列で配置されたカラー撮像素子18Aを備える第1のカメラ18と、第1のカメラ18と同じ構成のベイヤ配列のカラー撮像素子20Aを備え、且つ、第1のカメラ18と共通の撮像対象を撮像可能であるように第1のカメラ18から所定の基線長離れて設置された第2のカメラ20と、第1のカメラ18の画素の信号を処理してカラーの映像信号を作成する映像信号作成部22と、映像信号によって表示される映像の中の所定の距離算出対象部位までの距離を第1のカメラ18及び第2のカメラ20の両方のカメラの画素の信号に基づいて算出する距離算出部24と、を有している。
ステレオカメラユニット12は、距離算出部24が、第1のカメラ18及び第2のカメラ20のカラー撮像素子18A、20AのR、G、Bの画素のうちのGの画素の信号だけに基づいて距離算出対象部位までの距離を算出するように構成されたことを特徴としている。
又、ステレオカメラユニット12は、距離算出部24によって算出された距離の値を表示するための距離表示信号を映像信号に重畳する映像信号重畳部26と、距離算出部24によって算出された距離が所定の閾値と同じ値又は閾値よりも小さい値になった場合に警告信号を発信する警告信号発信部28と、マイクロコントローラ30と、グラフィック用メモリ32と、BT656変換部34と、NTSCエンコーダ36と、画像圧縮部38と、を更に有している。
第1のカメラ18及び第2のカメラ20は、例えばCMOSカメラやCCDカメラであり、カラー撮像素子18A、20Aは単板式のCMOSイメージセンサやCCDイメージセンサである。図3に示されるようにカラー撮像素子18A、20AにはR、G、Bの3種類の画素が存在し、これらの画素が1:2:1の比率のベイヤ配列で配置されている。又、第1のカメラ18及び第2のカメラ20は、それぞれレンズ18B、20Bを備えている。第1のカメラ18及び第2のカメラ20の基線長(レンズ18B、20Bの光軸の間隔)は例えば4〜16cm(一例として8cm)である。
映像信号作成部22は、例えばISP(Image Signal Processor)であり、第1のカメラ18のR、G、Bの画素から得られるRAWデータをカラー画像に変換するベイヤ変換や、色やトーンを調整するガンマ補正処理、カラー撮像素子18Aの画素数に合わせて映像信号を変換するスケーリング処理等を行うように構成されている。
距離算出部24は、レンズ18B、20Bの歪除去を行った後、上記のようにカラー撮像素子18A、20AのGの画素の信号だけに基づいて距離算出対象部位までの距離を算出するように構成されている。尚、カラー撮像素子18A、20AのGの画素の信号はパラレルでもシリアルのLVDSでもGの画素に相当する信号だけを用いればよい。より詳細には、第1のカメラ18のカラー撮像素子18Aの所定のGの画素と輝度が等しいGの画素を第2のカメラ20のカラー撮像素子20Aにおいて特定する。第1のカメラ18及び第2のカメラ20は基線長の分だけ離れた位置から対象物を撮像するので、これら輝度が等しいGの画素の(それぞれの撮像素子における)位置は一致しない。この位置ずれ量に基づいて距離算出対象部位までの距離が算出される。具体的には、図4に示されるように第1のカメラ18及び第2のカメラ20の基線長をB、焦点距離をF、位置ずれ量をZとすると距離算出対象部位までの距離Lは次式によって算出される。
L=B×F/Z
尚、距離Lはステレオカメラユニット12から距離算出対象部位までの直線距離である。本実施形態では距離Lに基づいて更に図5及び6に示されるようにバス16の後端から距離算出対象部位までの前後方向の距離Dが算出される。例えば図5に示されるY、図6に示されるXは、映像中における距離算出対象部位の位置や、バス16におけるステレオカメラユニット12の設置位置及び設置角度から算出でき、X、Y及びLに基づいてバス16の後端から距離算出対象部位までの前後方向の距離Dが算出される。
映像信号重畳部26は例えば図7に示されるように距離算出部24によって算出された距離Dの値が、映像中の対応する距離算出対象部位の近傍に表示されるように距離表示信号を映像信号に重畳するように構成されている。又、映像信号重畳部26はカラーモニタ14に表示される、距離Dに対応する距離算出対象部位を示すマークを映像中に表示するためのマーク表示信号を映像信号に重畳するように構成されている。図7にはマークの例として距離算出対象部位を映像中に囲んで示す矩形のマークを示している。尚、距離算出部24によって算出された距離の値は、対応する距離算出対象部位の位置と関わりなく映像中の一定の位置に表示されるようにしてもよい。又、カラーモニタ14の一部に映像が表示されないようにして、この部分に距離算出対象部位までの距離が表示されるようにしてもよい。又、距離Dに対応する距離算出対象部位を示すマークは例えば円形等の矩形以外の枠でもよく、又、図8に示されるような矢印でもよい。
警告信号発信部28は、距離算出部24によって算出された距離Dの値が例えば1〜4mの範囲の所定の閾値(一例として1.2m)と同じ値又は閾値よりも小さい値になった場合に、バス16の運転席の近傍に設置されたブザーが警告音を発したり運転席の近傍に設置された警告等が点灯するための信号を発信するように構成されている。
マイクロコントローラ30は、第1のカメラ18又は第2のカメラ20で撮像された映像の中の距離の測定対象となる複数の距離算出対象部位を特定してこれらの距離算出対象部位までの距離の算出を距離算出部24に指示し、算出された距離の値が等しい、或いは一定の範囲内である複数の距離算出対象部位を一塊の物体として認識するように構成されている。又、マイクロコントローラ30は、一塊の物体までの距離Dが所定の閾値と同じ値又は閾値よりも小さい値になった場合に、その物体の最短の距離算出対象部位までの距離Dの値を表示するための距離表示信号の重畳を映像信号重畳部26に指示すると共に、警告信号発信部28に警告信号の発信を指示するように構成されている。ステレオカメラユニット12で撮像された映像の中に複数の(一塊の)物体が存在すると認識した場合は、マイクロコントローラ30は最も距離が短い一塊の物体までの距離Dの値が所定の閾値と同じ値又は閾値よりも小さい値になった場合に、その距離Dの値を表示するための距離表示信号の重畳やその距離Dに対応する距離算出対象部位を示すマークを表示するためのマーク表示信号の重畳を映像信号重畳部26に指示すると共に、警告信号発信部28に警告信号の発信を指示するように構成されている。尚、警告信号発信部28はマイクロコントローラ30が兼ねる構成としてもよい。
グラフィック用メモリ32は、映像信号に重畳される距離Dの値に相当する数字、距離Dの単位である「m」等の英字、矩形等の枠や矢印のマークの画像データを格納している。尚、グラフィック用メモリ32に格納されている数字、英字、マーク等は映像信号重畳部26によって適宜呼び出されるようになっている。
BT656変換部34は、距離表示信号やマーク表示信号が重畳された映像信号、或いは距離表示信号やマーク表示信号が重畳されていない映像信号をBT656規定のデジタル映像信号に変換して出力するように構成されている。
NTSCエンコーダ36は、BT656変換部34から出力されるデジタル映像信号をNTSCフォーマットのアナログコンポジット信号に変換して出力するように構成されている。カラーモニタ14にはNTSCエンコーダ36から出力される映像信号が入力されるようになっている。
一方、画像圧縮部38は、BT656変換部34から出力されるデジタル映像信号をJPEG、MPEG等の方式により画像圧縮し、更にこの圧縮された映像データをTCP/IPプロトコル等に従ってIP変換しLANに出力するように構成されている。
尚、図2では映像信号重畳部26、マイクロコントローラ30、グラフィック用メモリ32、BT656変換部34、NTSCエンコーダ36、画像圧縮部38が個別の要素のように描かれているが、これらのうちの2以上の要素、或いは全部の要素が1つの画像プロセッサで構成されていてもよい。
次に、自動車用モニタシステム10の作用について説明する。例えば、バス16を後進させる際、ステレオカメラユニット12がバス16の後方を撮像し、カラーモニタ14がその映像を表示する。マイクロコントローラ30は、ステレオカメラユニット12で撮像された映像の中の距離の測定対象となる複数の距離算出対象部位を特定して距離算出部24に距離の算出を指示し、距離算出部24は指示された複数の距離算出対象部位までの距離を第1のカメラ18及び第2のカメラ20の両方のカメラのGの画素の信号に基づいて算出する。マイクロコントローラ30は、算出された距離の値が等しい、或いは一定の範囲内である複数の距離算出対象部位を一塊の物体として認識する。マイクロコントローラ30は、一塊の物体までの距離Dの値が所定の閾値と同じ値又は閾値よりも小さい値になった場合に、その距離Dの値を表示するための映像信号重畳部26の重畳やその距離Dに対応する距離算出対象部位を示すマークを表示するためのマーク表示信号の重畳を映像信号重畳部26に指示すると共に、警告信号発信部28に警告信号の発信を指示する。これによりカラーモニタ14にはバス16の後端に最も近い部位までの距離Dの値が表示される。又、カラーモニタ14には表示される距離Dに対応する距離算出対象部位を示すマークも表示される。例えば、図5及び6に示されるようにバス16の後方に樹木がある場合、図7に示されるように樹木におけるバス16の後端に最も近い部位を示すマークがカラーモニタ14の映像中に表示されると共に、その近傍にその部位までの距離Dの値が表示される。尚、ステレオカメラユニット12で撮像された映像の中に一塊の物体が複数存在する場合は、最も距離が短い一塊の物体までの距離Dの値がカラーモニタ14に表示され、又、その部位を示すマークがカラーモニタ14の映像中に表示される。又、バス16の車内ではブザーが警告音を発したり警告灯が点灯する。
運転者は、ステレオカメラユニット12及びカラーモニタ14の鮮明なカラー映像によってバス16の後方の状況を確認することができる。更に、映像中のバス16の後端に最も近い部位とバス16の後端との距離Dの値が所定の閾値と同じ値又は閾値よりも小さい値になった場合には、バス16の後端に最も近い部位を示すマークがカラーモニタ14の映像中に表示されると共に、その部位までの距離Dの値もカラーモニタ14に表示されるので、運転者がカラーモニタ14に表示される映像と目視との距離感の差に慣れていない場合でも、バス16が後方の樹木等の物体と接触してしまうことを防止できる。
又、映像中のバス16の後端に最も近い部位とバス16の後端との距離Dの値が所定の閾値と同じ値又は閾値よりも小さい値になった場合には、警告信号発信部28によってブザーが警告音を発したり警告灯が点灯して運転者に知らせるのでバス16が後方の樹木等の物体と接触してしまうことを確実に回避できる。尚、ブザーの警告音や警告灯の点灯に加えて、又はブザーの警告音や警告灯の点灯に代えて、距離Dの値が所定の閾値と同じ値又は閾値よりも小さい値になったことを警告するための文字やマークをカラーモニタ14に表示するようにしてもよい。
このように自動車用モニタシステム10は、1台のステレオカメラユニット12を用いる簡単な構成であるにもかかわらずカラーの鮮明な映像が得られると共に映像の中の所定の部位までの距離を高精度で算出でき、コスト低減に寄与する。又、ステレオカメラユニット12は安価な単板式のカラー撮像素子18A、20Aを採用しているので、この点でもコスト低減に寄与する。
又、ステレオカメラユニット12は映像信号重畳部26を備えているので、映像信号の重畳のための手段をステレオカメラユニット12の外部に備える必要がなく、バス等への適用が容易である。又、ステレオカメラユニット12は警告信号発信部28を備えているので、警告信号発信のためのシステムを簡略化でき、この点でもバス等への適用が容易である。
尚、本実施形態ではマイクロコントローラ30が、距離算出部24によって算出された距離の値が等しい、或いは一定の範囲内である複数の距離算出対象部位を一塊の物体として認識し、一塊の物体までの距離Dが所定の閾値と同じ値又は閾値よりも小さい値になった場合に、その距離Dの値を表示するための距離表示信号の重畳を映像信号重畳部26に指示すると共にその物体を示すマークを表示するためのマーク表示信号の重畳を映像信号重畳部26に指示し、更に、警告信号発信部28に警告信号の発信を指示しているが、一塊の物体の認識によらず、複数の距離算出対象部位までの距離の算出を距離算出部24に指示し、算出された距離のうち最も距離が短い距離算出対象部位までの距離Dの値が所定の閾値と同じ値又は閾値よりも小さい値になった場合に、その距離Dの値を表示するための距離表示信号の重畳を映像信号重畳部26に指示すると共にその距離算出対象部位を示すマークを表示するためのマーク表示信号の重畳を映像信号重畳部26に指示し、更に、警告信号発信部28に警告信号の発信を指示するようにしてもよい。又、算出された距離のうち最も距離が短い距離算出対象部位が特定された後に、その周辺に再度複数の距離算出対象部位を設定して距離を算出し、最も距離が短い距離算出対象部位までの距離Dの値が所定の閾値と同じ値又は前記閾値よりも小さい値になった場合に、その距離Dの値を表示するための距離表示信号の重畳を映像信号重畳部26に指示すると共にその距離算出対象部位を示すマークを表示するためのマーク表示信号の重畳を映像信号重畳部26に指示し、更に、警告信号発信部28に警告信号の発信を指示するようにしてもよい。更に同様の処理を1回又は2回以上繰り返してから最も距離が短い距離算出対象部位までの距離Dの値が所定の閾値と同じ値又は前記閾値よりも小さい値になった場合に、その距離Dの値を表示するための距離表示信号の重畳を映像信号重畳部26に指示すると共にその距離算出対象部位を示すマークを表示するためのマーク表示信号の重畳を映像信号重畳部26に指示し、更に、警告信号発信部28に警告信号の発信を指示するようにしてもよい。
又、本実施形態では一塊の物体までの距離Dの値が所定の閾値と同じ値又は閾値よりも小さい値になった場合に、その距離Dの値を表示するための距離表示信号の重畳を映像信号重畳部26に指示しているが、一塊の物体までの距離Dの値、或いは算出された距離Dの値のうち最も距離が短い距離算出対象部位までの距離Dの値を表示するための距離表示信号の重畳を常に映像信号重畳部26に指示し、一塊の物体までの距離Dの値、或いは最も距離が短い距離算出対象部位までの距離Dの値を常にカラーモニタ14に表示するようにしてもよい。この場合、距離Dの値が所定の閾値と同じ値又は閾値よりも小さい値になった時点で距離Dの値が所定の閾値と同じ値又は閾値よりも小さい値になったことを警告するための文字やマークをカラーモニタ14に表示したり、距離Dの値を示す文字の色を変更させて距離Dの値が所定の閾値と同じ値又は閾値よりも小さい値になったことを運転者等に知らせるようにしてもよい。
又、前記実施形態において、ステレオカメラユニット12は警告信号発信部28を備えているが、警告音や警告灯の点灯までは要求されず所定の閾値と同じ値又は閾値よりも小さい値になった距離算出対象部位までの距離Dの値をカラーモニタ14に表示させるだけで充分であるような場合には、ステレオカメラユニット12は警告信号発信部28を備えていない構成としてもよい。
又、前記実施形態において、ステレオカメラユニット12は映像信号重畳部26を備えているが、映像信号の重畳のための手段をステレオカメラユニット12の外部に備えることができればステレオカメラユニット12は映像信号重畳部26を備えていない構成としてもよい。
又、本実施形態において、自動車用モニタシステム10はバスに適用されているが、自動車用モニタシステム10はバス以外の自動車にも適用可能である。又、ステレオカメラユニット12は例えば船舶、鉄道車両、航空機等の自動車以外の輸送機器にも適用可能である。又、建造物等の移動しないものに設置して利用することも可能である。
本発明は、例えばバス等の自動車に利用することができる。
10…自動車用モニタシステム
12…ステレオカメラユニット
14…カラーモニタ
16…バス
18…第1のカメラ
18A、20A…カラー撮像素子
20…第2のカメラ
22…映像信号作成部
24…距離算出部
26…映像信号重畳部
28…警告信号発信部
30…マイクロコントローラ
32…グラフィック用メモリ
34…BT656変換部
36…NTSCエンコーダ
38…画像圧縮部

Claims (4)

  1. R、G、Bの画素がベイヤ配列で配置された単板式のカラー撮像素子を備える第1のカメラと、
    前記第1のカメラと同じ構成の単板式のカラー撮像素子を備え、且つ、前記第1のカメラと共通の撮像対象を撮像可能であるように前記第1のカメラから所定の基線長離れて設置された第2のカメラと、
    前記第1のカメラ及び前記第2のカメラの少なくとも一方のカメラの画素の信号を処理してカラーの映像信号を作成する映像信号作成部と、
    前記映像信号によって表示される映像の中の所定の距離算出対象部位までの距離を前記第1のカメラ及び前記第2のカメラの画素の信号に基づいて算出する距離算出部と、を有し、
    前記距離算出部は、前記第1のカメラ及び前記第2のカメラのカラー撮像素子のR、G、Bの画素のうちのGの画素の信号だけに基づいて前記距離算出対象部位までの距離を算出するように構成されたことを特徴とするステレオカメラユニット。
  2. 請求項1において、
    前記距離算出部によって算出された距離の値を表示するための距離表示信号を前記映像信号に重畳する映像信号重畳部を更に有することを特徴とするステレオカメラユニット。
  3. 請求項1又は2において、
    前記距離算出部によって算出された距離が所定の閾値と同じ値又は前記閾値よりも小さい値になった場合に警告信号を発信する警告信号発信部を更に有することを特徴とするステレオカメラユニット。
  4. 請求項1乃至3のいずれかに記載のステレオカメラユニットと、前記ステレオカメラユニットで撮像されたカラーの映像を表示するためのカラーモニタと、を備えることを特徴とする自動車用モニタシステム。
JP2012039282A 2012-02-24 2012-02-24 ステレオカメラユニット及び自動車用モニタシステム Expired - Fee Related JP5991688B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012039282A JP5991688B2 (ja) 2012-02-24 2012-02-24 ステレオカメラユニット及び自動車用モニタシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012039282A JP5991688B2 (ja) 2012-02-24 2012-02-24 ステレオカメラユニット及び自動車用モニタシステム

Publications (2)

Publication Number Publication Date
JP2013174510A true JP2013174510A (ja) 2013-09-05
JP5991688B2 JP5991688B2 (ja) 2016-09-14

Family

ID=49267536

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012039282A Expired - Fee Related JP5991688B2 (ja) 2012-02-24 2012-02-24 ステレオカメラユニット及び自動車用モニタシステム

Country Status (1)

Country Link
JP (1) JP5991688B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017535755A (ja) * 2014-09-24 2017-11-30 パナビジョン インターナショナル,エル.ピー. 動画カメラフォーカス用途における距離測定デバイス
JP2018116038A (ja) * 2017-01-20 2018-07-26 瑞柯科技股▲ふん▼有限公司 距離計および距離測定方法
JP2019082375A (ja) * 2017-10-30 2019-05-30 株式会社東芝 カメラ装置及び距離測定方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08221698A (ja) * 1995-02-10 1996-08-30 Mitsubishi Electric Corp 車両用障害物検出装置
JP2002303785A (ja) * 2001-04-06 2002-10-18 Canon Inc 焦点検出装置及び撮像装置
JP2005346393A (ja) * 2004-06-02 2005-12-15 Fuji Heavy Ind Ltd ステレオ画像認識装置及びその方法
JP2009086882A (ja) * 2007-09-28 2009-04-23 Konica Minolta Holdings Inc 物体検出装置
JP2009238076A (ja) * 2008-03-28 2009-10-15 Fujifilm Corp 画像処理装置および画像処理方法並びにプログラム
JP2009236811A (ja) * 2008-03-28 2009-10-15 Fujifilm Corp 画像処理装置および画像処理方法並びにプログラム
JP2010261877A (ja) * 2009-05-11 2010-11-18 Ricoh Co Ltd ステレオカメラ装置及びそれを用いた車外監視装置
JP2011176710A (ja) * 2010-02-25 2011-09-08 Sharp Corp 撮像装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08221698A (ja) * 1995-02-10 1996-08-30 Mitsubishi Electric Corp 車両用障害物検出装置
JP2002303785A (ja) * 2001-04-06 2002-10-18 Canon Inc 焦点検出装置及び撮像装置
JP2005346393A (ja) * 2004-06-02 2005-12-15 Fuji Heavy Ind Ltd ステレオ画像認識装置及びその方法
JP2009086882A (ja) * 2007-09-28 2009-04-23 Konica Minolta Holdings Inc 物体検出装置
JP2009238076A (ja) * 2008-03-28 2009-10-15 Fujifilm Corp 画像処理装置および画像処理方法並びにプログラム
JP2009236811A (ja) * 2008-03-28 2009-10-15 Fujifilm Corp 画像処理装置および画像処理方法並びにプログラム
JP2010261877A (ja) * 2009-05-11 2010-11-18 Ricoh Co Ltd ステレオカメラ装置及びそれを用いた車外監視装置
JP2011176710A (ja) * 2010-02-25 2011-09-08 Sharp Corp 撮像装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017535755A (ja) * 2014-09-24 2017-11-30 パナビジョン インターナショナル,エル.ピー. 動画カメラフォーカス用途における距離測定デバイス
US10587792B2 (en) 2014-09-24 2020-03-10 Panavision International, L.P. Distance measurement device
US11494929B2 (en) 2014-09-24 2022-11-08 Panavision International, L.P. Distance measurement device
JP2018116038A (ja) * 2017-01-20 2018-07-26 瑞柯科技股▲ふん▼有限公司 距離計および距離測定方法
JP2019082375A (ja) * 2017-10-30 2019-05-30 株式会社東芝 カメラ装置及び距離測定方法

Also Published As

Publication number Publication date
JP5991688B2 (ja) 2016-09-14

Similar Documents

Publication Publication Date Title
US9247217B2 (en) Vehicle periphery monitoring device and vehicle periphery image display method
JP5379913B2 (ja) 駐車支援装置、駐車支援システム、および駐車支援カメラユニット
EP3200449A1 (en) On-board electronic mirror
EP1975673A3 (en) Display for an automotive night vision system
JP2008017311A (ja) 車両用映像表示装置及び車両周囲映像の表示方法
JP2010093567A (ja) 画像処理装置
JP2002367080A (ja) 車両用視覚支援方法及び装置
JP2012105090A (ja) 駐車支援装置
JP2010033108A (ja) 画像処理システム、撮像装置、画像処理方法及びコンピュータプログラム
JP5991688B2 (ja) ステレオカメラユニット及び自動車用モニタシステム
JP2012019295A5 (ja) 投影システム、投影装置及び撮像装置
WO2014103272A1 (ja) カメラシステム、カメラモジュールおよびカメラ制御方法
EP2487666A3 (en) Method and driver assistance system for displaying images in a motor vehicle
JP2012065225A (ja) 車載用画像処理装置、周辺監視装置、および、車両
JP2006254318A (ja) 車載用カメラ及び車載用監視装置並びに前方道路領域撮像方法
CN106233717B (zh) 用于在无专用反向信道的情况下传输基于摄像机的参数的系统和方法
JP6155674B2 (ja) 車両用視認装置
JP5195776B2 (ja) 車両周辺監視装置
JP2007043318A (ja) 車両用周囲監視装置及び車両周囲監視方法
JP2011114536A (ja) 車両周辺画像提供装置
JP6585371B2 (ja) 画像処理装置、画像処理方法および車載装置
WO2016060268A1 (ja) 車両用画像表示システム
JP2012138875A (ja) 画像処理装置、画像表示システム、及び、画像処理方法
JP4611898B2 (ja) 画像表示システム
JP5310616B2 (ja) 車両周辺表示装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20140328

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140328

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20140328

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160809

R150 Certificate of patent or registration of utility model

Ref document number: 5991688

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees