JP2004312301A - Method, system and device for displaying image - Google Patents
Method, system and device for displaying image Download PDFInfo
- Publication number
- JP2004312301A JP2004312301A JP2003102143A JP2003102143A JP2004312301A JP 2004312301 A JP2004312301 A JP 2004312301A JP 2003102143 A JP2003102143 A JP 2003102143A JP 2003102143 A JP2003102143 A JP 2003102143A JP 2004312301 A JP2004312301 A JP 2004312301A
- Authority
- JP
- Japan
- Prior art keywords
- image
- luminance
- signal
- brightness
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、車外の天候及び時間帯等に関係なく、撮像装置の撮像画像が表示装置で明瞭に表示されるようにした画像表示方法、画像表示システム及び表示装置に関する。
【0002】
【従来の技術】
従来、車両の前部、後部等に設置した車外撮像用のカメラを車室内に設置したモニタに接続し、撮像された車外状況の画像をモニタで表示するようにしたシステムが存在する。
【0003】
上記システムは、晴天のような車外が一定の明るさを有する場合では鮮明な画像をモニタに表示できるが、夜間及び夕方等の暗い状態ではカメラで撮像される画像自体が暗く不明瞭になるため、モニタで鮮明な画像を表示するのが困難となる。また、雨天等の状態では、画像全体の輝度値が同程度に高くなり、撮像対象の物体と背景等との輝度差が小さくなり表示される物体の輪郭等が不明瞭になりやすい。
【0004】
このような事態に対応するため、撮像用のカメラに赤外線カメラを用いることで、暗い状態でも車外の状態を適切に撮像して表示可能にしたシステムが存在する。また、赤外光フィルタを有すると共に赤外光フィルタの透過レベルを制御することにより暗い状態及び明るい状態の両方で鮮明な画像を撮像可能にしたカメラを用いたシステムも存在する。
【0005】
【発明が解決しようとする課題】
赤外線カメラを用いたシステムでは、車外が暗い状態でも撮像画像が不明瞭になるのを防止できるが、一方、車外が明るい状態の撮像画像が不明瞭になりやすいと云う問題がある。また、透過光を制御可能にした赤外光フィルタを有するカメラを用いたシステムでは、カメラの寸法が通常のカメラに比べて大型化し、車両への取付に対する自由度が低下すると共に車両の走行に伴う振動等に耐え得る仕様を確保するのが困難になる問題が生じる。
【0006】
さらに、昨今は、カメラを複数有するシステムも普及しており、このようなシステムに上述した赤外光フィルタを有するカメラを用いると、カメラ毎に制御の度合いを統一しなければ、モニタで表示される画像の状態がカメラ毎に相異し、画像を確認する運転者及び搭乗者を困惑させると云う問題が発生する。さらに、また、赤外線カメラ及び赤外光フィルタを有するカメラは通常のカメラに比べて高価でありシステム構築に要するコストが上昇し、特に、複数のカメラを有するシステムではコスト上昇の問題が顕著になる。
【0007】
本発明は、斯かる事情に鑑みてなされたものであり、撮像された画像の輝度値を変更する画像処理を行うことで、暗い状態で撮像された画像を明瞭に表示可能にした画像表示方法、画像表示システム及び表示装置を提供することを目的とする。
【0008】
また、本発明は輝度値を変更する程度を受付可能にすることで、車外の状況に応じて明瞭な画像を表示するようにした画像表示システムを提供することを目的とする。
さらに、本発明は輝度値の変更に係る処理をテーブルに基づき行うことで、処理負担の低減を図った画像表示システムを提供することを目的とする。
さらに、また、本発明は輝度値の変更に係る画像処理を表示装置で行うことで、システム構成を簡易にした画像表示システムを提供することを目的とする。
【0009】
【課題を解決するための手段】
第1発明に係る画像表示方法は、車載用の撮像装置が撮像した画像を車載用の表示装置で表示する画像表示方法において、前記撮像装置は、複数画素の夫々にYUV色空間に係るYUV信号を有する画像を出力し、前記表示装置は、入力された画像が有するYUV信号の輝度信号の輝度値を変更し、輝度値が変更された輝度信号を有するYUV信号をRGB色空間に係るRGB信号に変換し、変換されたRGB信号を夫々有する複数画素で形成される画像を表示することを特徴とする。
【0010】
第2発明に係る画像表示システムは、車載用の撮像装置が撮像した画像を車載用の表示装置で表示する画像表示システムにおいて、前記撮像装置が撮像した画像は複数画素の夫々にYUV色空間に係るYUV信号を有しており、前記YUV信号の輝度信号の輝度値を変更する輝度変更手段と、該輝度変更手段が輝度値を変更した輝度信号を有するYUV信号をRGB色空間に係るRGB信号に変換する変換手段とを備え、前記表示装置は、前記変換手段が変換したRGB信号を夫々有する複数画素で形成される画像を表示する手段を備えることを特徴とする。
【0011】
第3発明に係る画像表示システムは、前記輝度変更手段が輝度値を変更する程度を受け付ける受付手段を更に備え、前記輝度変更手段は、前記受付手段が受け付けた程度に応じて輝度値を変更する手段を備えることを特徴とする。
第4発明に係る画像表示システムは、輝度値の変更程度に応じた輝度変更用のテーブルを記憶する記憶手段と、前記受付手段が受け付けた程度に対応したテーブルを前記記憶手段から読み出す読出手段とを更に備え、前記輝度変更手段は、前記読出手段が読み出したテーブルに基づいて輝度値を変更する手段を備えることを特徴とする。
【0012】
第5発明に係る画像表示システムは、前記表示装置は、前記輝度変更手段及び変換手段を備えることを特徴とする。
第6発明に係る画像表示システムは、前記表示装置は更に、前記受付手段、記憶手段及び読出手段を備えることを特徴とする。
【0013】
第7発明に係る表示装置は、外部から入力される画像の表示を行う車載用の表示装置において、入力された画像を形成する複数画素が夫々有するYUV色空間に係るYUV信号の輝度信号の輝度値を変更する輝度変更手段と、該輝度変更手段が変更した輝度信号を有するYUV信号をRGB色空間に係るRGB信号に変換する変換手段と、該変換手段が変換したRGB信号を夫々有する複数画素で形成される画像を表示する手段とを備えることを特徴とする。
【0014】
第1発明及び第5発明にあっては、撮像装置が撮像した画像における輝度信号の輝度値を表示装置で変更すると共に、輝度値を変更した画像を表示するので、輝度変更に応じて不明瞭であった画像を鮮明に表示できる。例えば、画像全体が暗い場合は、輝度を高くすることで画像全体を明瞭に表示でき、また、撮像対象の物体と背景の輝度差が小さい場合は、両者の輝度差が大きくなるように輝度値を変更することで物体の輪郭を明確に表示でき、車外の状況の認識性を高めることに貢献できる。
【0015】
また、輝度変更に係る処理は、表示装置で一括して行うことで、撮像装置には赤外線カメラのような高価なカメラではなく、通常のカメラを適用できコスト低減を図れると共に、複数のカメラでシステムを構成する場合でも、各カメラの撮像画像に対して同様な輝度変更処理を行って一様な画質を確保できる。
【0016】
第2発明にあっては、撮像装置が撮像した画像における輝度信号の輝度値を変更すると共に、輝度値を変更した画像を表示装置で表示させるので、不明瞭な画像も明確に表示でき車外の状況の把握しやすくできる。なお、輝度値の変更は撮像装置及び表示装置の両方に接続される画像処理装置等で行うことができる。
【0017】
第3発明にあっては、輝度値の変更する程度を受け付ける受付手段を備えるので、車外の状況に応じた輝度変更処理を行うことができる。例えば、夜間の場合が全体の輝度が低いので、画像の画素全体を上昇するように輝度変更の程度を受け付けることで明瞭な画像を表示でき、また、雨天等の画像に映っている各物体の輝度値の差は小さい場合は、各輝度値の差が大きくなるような輝度変更に係る程度を受け付けることで、各物体の輪郭を明瞭にした画像を表示できる。
【0018】
第4発明にあっては、受付手段が受け付けた程度に応じて記憶手段に記憶させたテーブルを読み出すと共に、読み出したテーブルに基づいて輝度の変更処理を行うので、輝度変更に係る処理負担の低減を図れると共に変更処理に係る速度も向上でき、変更処理に伴う表示までの時間遅れを解消してリアルタイム的な表示を実現できる。なお、テーブルは雨天、曇り、夕方及び夜間等の想定できる種々の状態に応じた輝度変更処理を規定したものを数種記憶させると共に、受付手段が受け付けた程度に応じて適切なテーブルを適宜読み出せるようにしておくことが好適である。
【0019】
第6発明にあっては、表示装置が受付手段及び記憶手段等を備えるので、システム構成を簡易にできる。なお、受付手段としては表示装置に各種ボタン及びスイッチ等を設けるようにしてもよく、タッチパネル式の画面を用いるようにしてもよい。
【0020】
第7発明にあっては、表示装置が画像の輝度を変更すると共に、輝度を変更した画像をRGB色空間のRGB信号に変換して表示するので、赤外線カメラのような高価なカメラを使用しなくても、通常のカメラが暗い状態で撮像した画像を明瞭に表示できる。
【0021】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて説明する。
図1は、本発明の実施形態に係る画像表示システム1の全体的な構成を示している。画像表示システム1は、車両Sの前方中央に取り付けられた撮像装置に該当する車載カメラ2、車内に搭載された表示装置に相当するモニタ3をネットワークケーブル4で接続することにより構成され、車載カメラ2の撮像画像をモニタ3で表示するようにしている。
【0022】
図2に示す車載カメラ2は、撮像レンズ2aに対向させてCCD(Charge Coupled Device)からなる撮像素子部2bを有しており、撮像素子部2bは撮像した画像を通信インタフェース2cへ出力している。なお、撮像素子部2bは、図5に示すように左上を原点として横方向(X座標)に640画素及び縦方向(Y座標)に480画素を有する画像11を撮像する。
【0023】
また、車載カメラ2はネットワーク接続用のカメラであり、本実施形態ではネットワーク規格の一つであるIEEE(Institute of Electrical and Electronics Engineers Inc.)1394に対応した仕様にしている。
【0024】
よって、車載カメラ2はIEEE1394の仕様に合わせて、撮像した画像を形成する複数画素がYUV色空間におけるYUV信号を夫々有する形態で画像送信を行っており、通信インタフェース2cからネットワークケーブル4を通じてモニタ4へ撮像された画像は送信される。なお、YUV信号においてYは輝度信号、Uは赤の色差、Vは青の色差を意味し、送信に係るパケットにYUV信号が載せられている。
【0025】
また、輝度信号(Y)は8ビットの256段階で輝度値が与えられており、輝度値が「0」の場合、輝度が最も暗く、輝度値が「255」の場合、輝度が最も明るくなっている。また、輝度値が約「50」以下の画素は、輝度値が相異しても略同等な黒色となってモニタ3に表示されるため、例えば、輝度値が「50」の画素及び輝度値が「30」の画素を区別するのは困難となっている。さらに、輝度値が約「220」以上の画素は、輝度値が相異しても略同等な白色となって表示され、例えば、輝度値が「220」の画素及び輝度値が「240」の画素を区別するのは困難になる。
【0026】
図3は、モニタ3の外観正面を表しており、画面3aに車載カメラ2が撮像した画像を表示するようにしている。また、モニタ3は送信された画像に対して画像処理を行う画像処理ECU5を内蔵しており、さらに画面3aの下部には輝度変更に係る程度を受け付ける受付手段として選択スイッチ6a、6b及び決定スイッチ6cを有する操作部6を設けている。
【0027】
この操作部6は、輝度変更の程度に対応させて複数のモードを設けており、選択スイッチ6a、6bでモードを選択すると共に決定スイッチ6cで選択したモードを決定することで、決定したモードが画像処理ECU5へ伝達されるようにしている。よって、このようにモードが決定されることで輝度変更の程度が受け付けられることになる。また、選択対象のモードには夜間モード、夕方モード、雨天モード、降雪モード及び曇天モードがあり、車外が晴天の場合は、明瞭な画像を撮像できるので特に操作は行われない。
【0028】
図4は、画像処理ECU5の内部構成を示すブロック図であり、画像処理ECU5はネットワークケーブル4との接続用である通信インタフェース5a、画像処理ECU5の全体的な制御を行うCPU5b、画像処理専用のカスタムICである画像処理ASIC(Application Specific IC)5c、入力された画像を一時的に記憶するフレームメモリ5d、輝度変更処理用のテーブルを記憶するテーブル用メモリ5e、及び、処理した画像を画面モジュールへ出力する通信インタフェース5fを備えている。
【0029】
通信インタフェース5aは、ネットワークケーブル4を通じて車載カメラ2より送信されてきた画像のパケットを受け付けて画像処理ASIC5cへ送る処理を行う。また、フレームメモリ5dはSDRAMからなり、画像処理ASIC5cの指示に応じて送信された画像の一時的な記憶等を行う。
【0030】
テーブル用メモリ5eは、記憶手段として車外の状況に応じた輝度変更用のテーブルを複数記憶しており、記憶されるテーブルとしては、夜間用テーブル、夕方用テーブル、雨天用テーブル、降雪用テーブル及び曇天用テーブルがある。なお、上述した各テーブルは、モニタ3の操作部6で選択対象となるモードと対応付けて記憶されており、夜間モードは夜間用テーブル、夕方モードは夕方用テーブル、雨天モードは雨天用テーブル、降雪モードは降雪用テーブル、及び、曇天モードは曇天用テーブルに夫々対応している。
【0031】
夜間用テーブルは、夜間に撮像された画像に対して輝度変更の処理を行う場合に、画像処理ASIC5cで使用されるテーブルであり、夜間は画像全体の輝度が低いため、図6(a)のグラフG1に示す輝度変更線H1に従って、画像を形成する各画素の輝度信号の輝度値を高める内容を画素毎に規定している。
【0032】
図6(a)のグラフG1は夜間用テーブルの輝度値に対する変更処理内容を示し、横軸は画像処理ECU5に入力される車載カメラ2で撮像された状態の各画素が有する輝度値を表し、縦軸は夜間用テーブルに基づく画像処理で変更されて出力される輝度値を表す。グラフG1における輝度変更線H1は、夜間に撮像された画像の大部分の画素の輝度は10〜60の範囲に分布することを考慮して、10〜60の輝度値を約10〜230に高めることを意味する。
【0033】
例えば図5に示すような画像11を車載カメラ2が夜間に撮像した場合、背景に属する(X、Y)=(120、80)に位置する点Aの画素が輝度値「50」の輝度信号を有し、撮像対象となる物体Tに属する(X、Y)=(260、180)に位置する点Bの画素が輝度値「25」の輝度信号を有したと想定する。
【0034】
この場合、点Aの輝度値「50」は図6(a)の輝度変更線H1により、約「180」に高められ、点Bの輝度値「25」は約「90」に高められる。このような処理を図5の画像11を形成する全画素に対して行うことにより、画像11の輝度値を輝度変更線H1に従って規定される夜間用テーブルにより変更し、輝度を明るくしている。
【0035】
さらに、このように輝度値を高めることで、点Aと点Bの輝度値の差を大きくして物体Tを背景に対して明瞭に区別できるようにしている。即ち、入力時では点Aと点Bの輝度値の差は「25」であるが、出力時での輝度値の差は「90」になるため、全体が黒色の撮像画像から物体Tの輪郭を鮮明に浮かび上がらせた画像が得られるようにしている。なお、グラフG1における直線S1は輝度変更の処理を行わない場合(晴天時等)における入出力される輝度値の関係を示している(他のグラフでも同様)。
【0036】
また、上述した夕方用テーブルは、夜間用テーブルに準じて画像全体の輝度を高める規定内容になっているが、夕方は、夜間に比べて少し明るいので、図6(a)のグラフG1より変更対象の輝度範囲(ハッチングで示す範囲)を高めたグラフ(図示せず)に基づいて各画素の輝度値を高める内容を規定したものになっている。
【0037】
さらに、雨天用テーブルは、雨天に撮像された画像に対して輝度変更の処理を行う場合に画像処理ASIC5cで使用されるテーブルである。雨天の画像の輝度自体は夜間及び夕方等に比べて高いが、画像全体における各画素間の輝度差が小さいため、図6(b)のグラフG2に示す輝度変更線H2に従って、雨天用テーブルは各画素の輝度信号の輝度値を変更することを規定している。
【0038】
雨天用テーブルの輝度値に対する内容を示す図6(b)のグラフG2における輝度変更線H2は、雨天に撮像された画像の大部分の画素の輝度値が130〜220の範囲(ハッチングで示す範囲)に分布し輝度差が小さいことを考慮して、前記範囲の輝度差を広げるような形状になっている。
【0039】
例えば、図5に示す画像11を雨天に撮像し、背景に属する点Aの画素が輝度値「190」、点Bの画素が輝度値「160」であると想定した場合、両点A、Bの輝度差は「30」であり、そのままの状態でモニタ3に表示すると背景と物体Tとの区別が困難となる。
【0040】
この場合、図6(b)の輝度変更線H2に基づき点Aの輝度値「190」は約「200」に高められる一方、点Bの輝度値「160」は逆に約「90」に低められる。その結果、両点A、Bの輝度差は「110」となり、背景と物体Tとの区別が明瞭となった画像が表示可能になる。
【0041】
また、上述した降雪用テーブル及び曇天用テーブルは、雨天用テーブルに準じて画像における各画素の輝度差を大きくする規定内容になっているが、輝度分布の範囲(ハッチングで示す範囲)が雨天とは夫々相異するので、図6(b)のグラフG2より変更対象の輝度範囲を移動させたグラフ(図示せず)に基づいて各画素の輝度値を変更する内容を規定したものになっている。
【0042】
一方、図4に示す画像処理ASIC5cは、読出手段、輝度変更手段及び変換手段として機能し、読出手段としては図3に示すモニタ3の操作部6から伝達されたモードに対応するテーブルをテーブル用メモリ5eから読み出す処理を行う。なお、操作部6でモードが選択されていない場合、画像処理ASIC5cは読出処理を行わない。
【0043】
また、輝度変更手段として画像処理ASIC5cは、読み出したテーブルに基づいて、車載カメラ2が撮像した画像の複数画素が夫々する輝度信号(Y)の輝度値を変更する処理を行う。このような輝度変更処理を行うことで、夜間撮像時の全体の輝度が暗い画像も明るい画像に変換でき、雨天撮像時のように背景と撮像対象の物体との境界が曖昧な画像をメリハリのある明瞭な画像に変換できる。
【0044】
なお、上述したようにテーブルに基づき変換処理を行うことで、画像処理ASIC5cの処理負担は軽減されると共に処理速度の高速化が図られている。また、操作部6でモードが選択されていない場合、画像処理ASIC5cは輝度変更処理を行わない。
【0045】
さらに、変換手段として画像処理ASIC5cは、各画素が有するYUV信号をRGB色空間に係るRGB信号(Rは赤、Gは緑、Bは青を意味)に変換する色空間の変換処理を行う。この変換処理は、輝度値を変更したYUV信号に対して行われると共に、車外が晴天等によりモードが選択されなかった場合の輝度変更を行っていないYUV信号に対しても行われる。
【0046】
また、変換処理を行ったRGB信号を夫々有する複数画素で形成される画像は、通信インタフェース5fへ出力される。通信インタフェース5fは出力されてきた画像を図3の画面3aを構成する画面モジュールへ出力して、画面3aに表示するようにしている。
【0047】
次に、上述した構成の画像表示システム1における画像表示方法を図7に示すフローチャートに基づいて説明する。
先ず、車両Sの運転者及び搭乗者等が画像表示システム1を起動させて(S1)、車載カメラ2で車外の撮像を行う(S2)。なお、撮像された画像はモニタ3の画像処理ECU5へ順次出力されている。次に、運転者及び搭乗者等は、車外の天候及び時間帯等を考慮してモニタ3の操作部6を操作するか、又は車外が晴天で明瞭な画像の撮像が可能なため輝度変更が必要ないこと等を判断し、それに伴い画像表示システム1は輝度変更に係るモードを操作部6で受け付けたか、又は、受け付けていない状況になる(S3)。
【0048】
操作部6がモードを受け付けた場合(S3:YES)、画像処理ECU5の画像処理ASIC5cがテーブル用メモリ5eから対応するテーブルを読み出し(S4)、読み出したテーブルに基づき出力された画像の複数画素が夫々有する輝度信号の輝度値を変更する処理を行う(S5)。一方、操作部6がモードを受け付けなかった場合(S3:NO)、画像処理ASIC5cは上述したテーブル読み出し及び輝度値変更を行わず次の処理段階(S6)へジャンプする。
【0049】
さらに、画像処理ASIC5cはYUV信号をRGB信号に変換し(S6)、画面モジュールへ出力することで、モニタ3の画面3aにRGB色空間のRGB信号による画像を表示する(S7)。このような処理を経て画像を表示することで、画像表示システム1は車載カメラ2で撮像された画像を、車外の天候及び時間帯等の影響を受けることなく、明瞭にモニタ3の画面3aで表示している。
【0050】
なお、本発明に係る画像表示システム1は上述した形態に限定されるものではなく、種々の変形例の適用が可能である。例えば、モニタ3に複数の車載カメラ2を接続し、各車載カメラ2で撮像された画像を適宜切り替えて表示するようにしてもよい。この場合、各車載カメラ2の撮像画像に対してモニタ3の画像処理ECU5で同様な輝度変更を行うこととなり、撮像する車載カメラ2が相異してもモニタ3には一様な輝度状態の画像を表示し一定の見やすさを確保している。
【0051】
また、画像処理ECU5のテーブル用メモリ5eは、上述した各テーブルに加えて、各モードに応じて輝度変更線が相異するグラフに基づき変更内容を規定した複数のテーブルを記憶するようにしてもよい。例えば、雨天用テーブルとして、第1雨天用テーブル、第2雨天用テーブルを準備し、第1雨天用テーブルは上述したように図6(b)のグラフG2に基づいて輝度の変更内容が規定され、一方、第2雨天用テーブルは図8(a)のグラフG3に基づいて輝度の変更内容が規定されたものにすることが可能である。
【0052】
図8(a)のグラフG3の輝度変更線H21は、図6(b)のグラフG2の輝度変更線H2に対して形状が相異しており、3本の直線で繋いだ形状にしている。よって、図8(a)のグラフG3に基づく第2雨天用テーブルは、第1雨天用テーブルと同等な傾向の輝度変更を行うが、輝度範囲130〜220で変更特性が相異するため、一段とメリハリのある画像を得ることが可能となる。このような第1及び第2雨天用テーブル等は、図3に示す操作部6でモードを選択決定した上で、さらに、輝度形態の選択も行うようにして読み出されるようにする。
【0053】
また、各モードにおけるテーブルの種類は、輝度変更線の形態以外にも、図8(b)に示すように輝度範囲(ハッチングで示す範囲)を相異させたグラフG4に基づくテーブルもテーブル用メモリ5eに記憶させて、操作部6の操作に応じて読み出されるようにしてもよい。なお、図8(b)のグラフG4は雨天用テーブルに対応するものであり、図6(b)の雨天用のグラフG2に対して輝度変更の主範囲を110〜220と広くして、広範囲の輝度が変更されるようにしている。
【0054】
また、モニタ3の操作部6に輝度調整用のダイヤルを設けて、ダイヤルの調整量に応じて画像処理ASIC5cは輝度値を増減するようにしてもよい。但し、この場合、ダイヤルの調整により「255」を越えた輝度値は「255」にすると共に、「0」未満となった輝度値は「0」にして、256段階の輝度値を確保する。さらに、画像処理ASIC5cはテーブルを用いる以外にも、変換式及び所要のプログラムに基づき輝度値の変更を行うようにしてもよい。
【0055】
さらに、また、画像処理ECU5はモニタ3から独立させて別体の構成にしてもよく、その場合、独立させた画像ECU5からテーブル用メモリ5eはモニタ3側に残すようにしてもよい。また、操作部6は画面3aをタッチパネル式にして画面3aに各種操作機能を持たせるようにしてもよく、さらに、操作部6もモニタ6から独立させて別体の構成にしてもよい。また、画像表示システム1はネットワークでシステムを構成する以外に、車載カメラ2及びモニタ3を通信線ではない信号線で接続する仕様にすることも可能である。
【0056】
【発明の効果】
以上に詳述した如く、第1発明及び第5発明にあっては、撮像画像における輝度値を表示装置で変更し、この輝度値の変更に係る画像を表示するので、特別なカメラを用いることなく車外の状況に関係なく鮮明な画像を表示できる。
第2発明にあっては、撮像画像における輝度値を変更し、この輝度値の変更に係る画像を表示装置で表示するので、通常のカメラによる撮像画像を常時、明瞭に表示できる。
【0057】
第3発明にあっては、輝度変更の程度を受け付けて、輝度変更処理を行うので、車外の天候及び時間帯等に細かく対応した変更処理を実現でき、一段と状況に応じた鮮明な画像の表示を行うことができる。
第4発明にあっては、輝度変更の程度の受付に対応して輝度変更用のテーブルを読み出すと共に、このテーブルに基づき輝度変更に係る処理を行うので、輝度変更の処理負担を低減できる。
【0058】
第6発明にあっては、表示装置が受付手段、記憶手段及び読出手段を備えるので、システムの構成を簡易にできる。
第7発明にあっては、表示装置が画像の輝度を変更すると共に、輝度を変更した画像をRGB信号に変換して表示するので、通常のカメラの撮像画像であっても天候及び時間帯等に関係なく明瞭に表示できる。
【図面の簡単な説明】
【図1】本発明の実施形態に係る画像表示システムの全体構成図である。
【図2】撮像装置の概略図である。
【図3】モニタの外観正面図である。
【図4】画像処理ECUの内部構成を示すブロック図である。
【図5】車載カメラが撮像した画像を示す概略図である。
【図6】(a)は夜間用テーブルに対応する輝度変更用のグラフであり、(b)は雨天用テーブルに対応する輝度変更用のグラフである。
【図7】画像表示システムにおける画像処理方法の一連の処理手順を示すフローチャートである。
【図8】(a)は雨天用テーブルに対応する変形例の輝度変更用のグラフであり、(b)は別の変形例のグラフである。
【符号の説明】
1 画像表示システム
2 車載カメラ
3 モニタ
3a 画面
4 ネットワークケーブル
5 画像処理ECU
5c 画像処理ASIC
5e テーブル用メモリ
6 操作部
S 車両
T 物体[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image display method, an image display system, and a display device that enable a captured image of an imaging device to be clearly displayed on a display device regardless of weather outside the vehicle, a time zone, and the like.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there is a system in which a camera for imaging outside the vehicle, which is installed at a front portion, a rear portion, or the like of a vehicle, is connected to a monitor installed in a vehicle interior, and an image of the captured outside situation is displayed on the monitor.
[0003]
The above system can display a clear image on the monitor when the outside of the car has a certain brightness such as sunny weather, but the image itself captured by the camera becomes dark and unclear in dark conditions such as at night and evening. This makes it difficult to display a clear image on a monitor. Further, in a state such as rainy weather, the luminance value of the entire image becomes substantially the same, the luminance difference between the object to be imaged and the background or the like becomes small, and the outline or the like of the displayed object tends to be unclear.
[0004]
In order to cope with such a situation, there is a system in which an infrared camera is used as an imaging camera so that an outside state of the vehicle can be appropriately imaged and displayed even in a dark state. There is also a system using a camera that has an infrared light filter and controls a transmission level of the infrared light filter so that a clear image can be captured in both a dark state and a bright state.
[0005]
[Problems to be solved by the invention]
A system using an infrared camera can prevent a captured image from being unclear even in a dark state outside the vehicle, but has a problem that a captured image in a bright state outside the vehicle tends to be unclear. In addition, in a system using a camera having an infrared light filter capable of controlling transmitted light, the size of the camera becomes larger than that of a normal camera, so that the degree of freedom for mounting on a vehicle is reduced, and the vehicle is used for traveling. A problem arises in that it is difficult to secure specifications that can withstand the accompanying vibration and the like.
[0006]
Furthermore, in recent years, a system having a plurality of cameras has become widespread, and when a camera having the above-described infrared light filter is used in such a system, if the degree of control is not unified for each camera, it is displayed on a monitor. There is a problem that the state of the displayed image differs for each camera, which confuses the driver and the passenger who check the image. Furthermore, an infrared camera and a camera having an infrared light filter are more expensive than ordinary cameras, and the cost required for system construction is increased. In particular, the problem of cost increase becomes remarkable in a system having a plurality of cameras. .
[0007]
The present invention has been made in view of the above circumstances, and an image display method capable of clearly displaying an image captured in a dark state by performing image processing for changing a luminance value of the captured image. , An image display system and a display device.
[0008]
It is another object of the present invention to provide an image display system capable of displaying a clear image in accordance with a situation outside a vehicle by allowing a degree of change in a luminance value to be accepted.
Further, it is another object of the present invention to provide an image display system in which the processing load is reduced by performing processing relating to the change of the luminance value based on a table.
Still another object of the present invention is to provide an image display system in which a system configuration is simplified by performing image processing relating to a change in luminance value on a display device.
[0009]
[Means for Solving the Problems]
An image display method according to a first aspect of the present invention is an image display method in which an image captured by an in-vehicle imaging device is displayed on an in-vehicle display device, wherein the imaging device includes a YUV signal associated with a YUV color space for each of a plurality of pixels. The display device changes the luminance value of the luminance signal of the YUV signal included in the input image, and converts the YUV signal having the luminance signal with the changed luminance value into an RGB signal according to an RGB color space. And displaying an image formed by a plurality of pixels each having the converted RGB signal.
[0010]
An image display system according to a second aspect of the present invention is an image display system that displays an image captured by an in-vehicle imaging device on a in-vehicle display device, wherein the image captured by the imaging device is placed in a YUV color space for each of a plurality of pixels. A luminance changing means for changing the luminance value of the luminance signal of the YUV signal, and a YUV signal having the luminance signal whose luminance value has been changed by the RGB signal according to the RGB color space. And a display unit for displaying an image formed by a plurality of pixels each having an RGB signal converted by the conversion unit.
[0011]
The image display system according to a third aspect of the present invention further includes a receiving unit that receives the degree to which the brightness changing unit changes the brightness value, and the brightness changing unit changes the brightness value according to the degree received by the receiving unit. Means is provided.
An image display system according to a fourth aspect of the present invention includes: a storage unit that stores a luminance change table according to a degree of change in a luminance value; and a reading unit that reads a table corresponding to the degree received by the reception unit from the storage unit. And the brightness changing means includes means for changing a brightness value based on the table read by the reading means.
[0012]
An image display system according to a fifth aspect is characterized in that the display device includes the luminance change unit and the conversion unit.
An image display system according to a sixth aspect is characterized in that the display device further includes the reception unit, the storage unit, and the read unit.
[0013]
A display device according to a seventh aspect of the present invention is a display device for a vehicle that displays an externally input image, wherein the luminance of the luminance signal of the YUV signal relating to the YUV color space of each of a plurality of pixels forming the input image. Brightness changing means for changing a value, conversion means for converting a YUV signal having a brightness signal changed by the brightness changing means into an RGB signal relating to an RGB color space, and a plurality of pixels each having an RGB signal converted by the conversion means Means for displaying the image formed by the step (c).
[0014]
In the first invention and the fifth invention, the luminance value of the luminance signal in the image captured by the imaging device is changed by the display device, and the image whose luminance value has been changed is displayed. Can be clearly displayed. For example, when the whole image is dark, the whole image can be displayed clearly by increasing the luminance.When the luminance difference between the object to be imaged and the background is small, the luminance value is set so that the luminance difference between the two becomes large. By changing, the outline of the object can be clearly displayed, which can contribute to enhancing the recognition of the situation outside the vehicle.
[0015]
In addition, since the processing related to the brightness change is collectively performed by the display device, a normal camera can be applied to the imaging device instead of an expensive camera such as an infrared camera, and the cost can be reduced. Even in the case of configuring the system, uniform image quality can be ensured by performing similar brightness change processing on the image captured by each camera.
[0016]
According to the second aspect, the luminance value of the luminance signal in the image captured by the imaging device is changed, and the image whose luminance value has been changed is displayed on the display device, so that an unclear image can be clearly displayed. The situation can be easily understood. The change of the luminance value can be performed by an image processing device or the like connected to both the imaging device and the display device.
[0017]
According to the third aspect of the present invention, since the receiving means for receiving the degree of change in the brightness value is provided, the brightness change processing according to the situation outside the vehicle can be performed. For example, since the overall brightness is low in the nighttime, a clear image can be displayed by accepting the degree of the brightness change so as to raise the entire pixel of the image, and the image of each object reflected in the image such as rainy weather can be displayed. When the difference between the brightness values is small, an image in which the outline of each object is clear can be displayed by accepting a degree related to the brightness change such that the difference between the brightness values increases.
[0018]
According to the fourth aspect, the table stored in the storage unit is read according to the degree of reception by the reception unit, and the luminance change processing is performed based on the read table. In addition, the speed related to the change processing can be improved, and a time delay until display accompanying the change processing can be eliminated to realize real-time display. It should be noted that the table stores several types of brightness change processing according to various conceivable states such as rainy weather, cloudy weather, evening and night, and appropriately reads an appropriate table according to the degree of reception by the receiving means. It is preferable to be able to output.
[0019]
According to the sixth aspect, since the display device includes the receiving unit and the storage unit, the system configuration can be simplified. In addition, as a reception unit, various buttons and switches may be provided on the display device, or a touch panel type screen may be used.
[0020]
According to the seventh aspect, the display device changes the luminance of the image and converts the luminance-changed image into RGB signals in the RGB color space for display. Therefore, an expensive camera such as an infrared camera is used. Even without this, an image captured by a normal camera in a dark state can be clearly displayed.
[0021]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, the present invention will be described with reference to the drawings showing the embodiments.
FIG. 1 shows an overall configuration of an
[0022]
The in-
[0023]
The in-
[0024]
Therefore, the vehicle-mounted
[0025]
The luminance signal (Y) is given a luminance value in 256 steps of 8 bits. When the luminance value is “0”, the luminance is the darkest, and when the luminance value is “255”, the luminance is the brightest. ing. Further, pixels having a luminance value of about “50” or less are displayed on the
[0026]
FIG. 3 shows a front view of the external appearance of the
[0027]
The
[0028]
FIG. 4 is a block diagram showing the internal configuration of the
[0029]
The
[0030]
The table memory 5e stores a plurality of tables for changing luminance according to the situation outside the vehicle as storage means, and stores tables such as a table for night, a table for evening, a table for rainy weather, a table for snowfall and There is a table for cloudy weather. Each of the above-described tables is stored in association with a mode to be selected by the
[0031]
The nighttime table is a table used in the
[0032]
A graph G1 in FIG. 6A shows the content of a change process for the luminance value of the nighttime table, and the horizontal axis represents the luminance value of each pixel captured by the vehicle-mounted
[0033]
For example, when the vehicle-mounted
[0034]
In this case, the luminance value “50” at point A is increased to about “180” by the luminance change line H1 in FIG. 6A, and the luminance value “25” at point B is increased to about “90”. By performing such a process on all the pixels forming the
[0035]
Further, by increasing the luminance value in this way, the difference between the luminance values of point A and point B is increased, so that object T can be clearly distinguished from the background. That is, at the time of input, the difference between the luminance values of point A and point B is "25", but at the time of output, the difference in luminance value is "90". Is obtained so as to obtain an image in which the image clearly appears. Note that the straight line S1 in the graph G1 indicates the relationship between the input and output luminance values when the luminance change processing is not performed (when the weather is fine, etc.) (the same applies to other graphs).
[0036]
Further, the above-mentioned evening table has a prescribed content for increasing the brightness of the entire image in accordance with the night table, but since the evening is slightly brighter than the night, it is changed from the graph G1 in FIG. The content for increasing the luminance value of each pixel is defined based on a graph (not shown) in which the luminance range of the target (range indicated by hatching) is increased.
[0037]
Further, the rainy weather table is a table used in the
[0038]
The luminance change line H2 in the graph G2 of FIG. 6B showing the contents with respect to the luminance values of the rainy weather table is a range in which the luminance values of most of the pixels of the image captured in rainy weather are in the range of 130 to 220 (the range indicated by hatching). ), The shape is such that the brightness difference in the above range is widened in consideration of the small brightness difference.
[0039]
For example, when the
[0040]
In this case, the luminance value “190” at point A is increased to about “200” based on the luminance change line H2 in FIG. 6B, while the luminance value “160” at point B is reduced to about “90”. Can be As a result, the luminance difference between the two points A and B is “110”, and an image in which the background and the object T are clearly distinguished can be displayed.
[0041]
Further, the above-described snowfall table and cloudy weather table have the specified contents for increasing the luminance difference between the pixels in the image according to the rainy weather table, but the range of the luminance distribution (the range indicated by hatching) is the same as the rainy weather table. Are different from each other, so that the content of changing the luminance value of each pixel is defined based on a graph (not shown) obtained by moving the luminance range to be changed from the graph G2 of FIG. 6B. I have.
[0042]
On the other hand, the
[0043]
Further, the
[0044]
By performing the conversion processing based on the table as described above, the processing load of the
[0045]
Further, the
[0046]
Further, an image formed by a plurality of pixels each having the converted RGB signal is output to the communication interface 5f. The communication interface 5f outputs the output image to the screen module constituting the screen 3a in FIG. 3 and displays the image on the screen 3a.
[0047]
Next, an image display method in the
First, a driver, a passenger, and the like of the vehicle S activate the image display system 1 (S1), and take an image of the outside of the vehicle with the vehicle-mounted camera 2 (S2). The captured images are sequentially output to the
[0048]
When the
[0049]
Further, the
[0050]
In addition, the
[0051]
Further, the table memory 5e of the
[0052]
The shape of the luminance change line H21 of the graph G3 in FIG. 8A is different from the shape of the luminance change line H2 of the graph G2 in FIG. 6B, and has a shape connected by three straight lines. . Therefore, the second rainy weather table based on the graph G3 in FIG. 8A changes the luminance in the same tendency as the first rainy weather table, but has a different change characteristic in the luminance range of 130 to 220. A sharp image can be obtained. The first and second rainy weather tables and the like are read out by selecting and determining a mode with the
[0053]
In addition to the form of the brightness change line, the table in each mode is a table based on a graph G4 having different brightness ranges (hatched ranges) as shown in FIG. 5e, and may be read in response to the operation of the
[0054]
Alternatively, a luminance adjustment dial may be provided on the
[0055]
Furthermore, the
[0056]
【The invention's effect】
As described in detail above, in the first invention and the fifth invention, a special camera is used because the luminance value in the captured image is changed by the display device and the image related to the change in the luminance value is displayed. And a clear image can be displayed regardless of the situation outside the vehicle.
According to the second aspect of the invention, since the brightness value in the captured image is changed and the image related to the change in the brightness value is displayed on the display device, the captured image obtained by a normal camera can always be clearly displayed.
[0057]
According to the third aspect of the present invention, since the brightness change processing is performed by receiving the degree of the brightness change, the change processing can be realized in detail corresponding to the weather outside the vehicle, the time zone, and the like, and a clearer image display according to the situation can be realized. It can be performed.
According to the fourth aspect of the present invention, since the luminance change table is read in response to the reception of the degree of the luminance change, and the processing relating to the luminance change is performed based on this table, the processing load of the luminance change can be reduced.
[0058]
According to the sixth aspect, since the display device includes the receiving unit, the storage unit, and the reading unit, the configuration of the system can be simplified.
According to the seventh aspect, the display device changes the brightness of the image and converts the brightness-changed image into an RGB signal and displays the RGB signal. It can be clearly displayed regardless of.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram of an image display system according to an embodiment of the present invention.
FIG. 2 is a schematic diagram of an imaging device.
FIG. 3 is an external front view of the monitor.
FIG. 4 is a block diagram illustrating an internal configuration of an image processing ECU.
FIG. 5 is a schematic diagram illustrating an image captured by a vehicle-mounted camera.
6A is a graph for changing luminance corresponding to a nighttime table, and FIG. 6B is a graph for changing luminance corresponding to a rainy day table.
FIG. 7 is a flowchart showing a series of processing procedures of an image processing method in the image display system.
FIG. 8A is a graph for changing the luminance of a modification corresponding to the rainy weather table, and FIG. 8B is a graph of another modification.
[Explanation of symbols]
1 Image display system
2 In-vehicle camera
3 Monitor
3a screen
4 Network cable
5 Image processing ECU
5c Image processing ASIC
5e Table memory
6 Operation section
S vehicle
T object
Claims (7)
前記撮像装置は、
複数画素の夫々にYUV色空間に係るYUV信号を有する画像を出力し、
前記表示装置は、
入力された画像が有するYUV信号の輝度信号の輝度値を変更し、
輝度値が変更された輝度信号を有するYUV信号をRGB色空間に係るRGB信号に変換し、
変換されたRGB信号を夫々有する複数画素で形成される画像を表示することを特徴とする画像表示方法。An image display method of displaying an image captured by an in-vehicle imaging device on a in-vehicle display device,
The imaging device,
Outputting an image having a YUV signal relating to the YUV color space to each of a plurality of pixels,
The display device,
Change the luminance value of the luminance signal of the YUV signal of the input image,
Converting a YUV signal having a luminance signal whose luminance value has been changed into an RGB signal relating to an RGB color space;
An image display method comprising displaying an image formed by a plurality of pixels each having a converted RGB signal.
前記撮像装置が撮像した画像は複数画素の夫々にYUV色空間に係るYUV信号を有しており、
前記YUV信号の輝度信号の輝度値を変更する輝度変更手段と、
該輝度変更手段が輝度値を変更した輝度信号を有するYUV信号をRGB色空間に係るRGB信号に変換する変換手段と
を備え、
前記表示装置は、
前記変換手段が変換したRGB信号を夫々有する複数画素で形成される画像を表示する手段を備えることを特徴とする画像表示システム。In an image display system that displays an image captured by a vehicle-mounted imaging device on a vehicle-mounted display device,
The image captured by the imaging device has a YUV signal related to a YUV color space for each of a plurality of pixels,
Brightness changing means for changing the brightness value of the brightness signal of the YUV signal;
Converting means for converting a YUV signal having a luminance signal whose luminance value has been changed by the luminance changing means into an RGB signal relating to an RGB color space;
The display device,
An image display system comprising: means for displaying an image formed by a plurality of pixels each having an RGB signal converted by the conversion means.
前記輝度変更手段は、前記受付手段が受け付けた程度に応じて輝度値を変更する手段を備える請求項2に記載の画像表示システム。The apparatus further includes a receiving unit that receives the degree to which the luminance changing unit changes the luminance value,
The image display system according to claim 2, wherein the brightness changing unit includes a unit that changes a brightness value according to a degree received by the receiving unit.
前記受付手段が受け付けた程度に対応したテーブルを前記記憶手段から読み出す読出手段と
を更に備え、
前記輝度変更手段は、前記読出手段が読み出したテーブルに基づいて輝度値を変更する手段を備える請求項3に記載の画像表示システム。Storage means for storing a luminance change table according to the degree of change in the luminance value;
Reading means for reading a table corresponding to the degree received by the receiving means from the storage means,
The image display system according to claim 3, wherein the brightness changing unit includes a unit that changes a brightness value based on the table read by the reading unit.
前記輝度変更手段及び変換手段を備える請求項2乃至請求項4のいずれかに記載の画像表示システム。The display device,
The image display system according to claim 2, further comprising the brightness changing unit and the conversion unit.
前記受付手段、記憶手段及び読出手段を備える請求項5に記載の画像表示システム。The display device further comprises:
6. The image display system according to claim 5, comprising the receiving unit, the storage unit, and the reading unit.
入力された画像を形成する複数画素が夫々有するYUV色空間に係るYUV信号の輝度信号の輝度値を変更する輝度変更手段と、
該輝度変更手段が変更した輝度信号を有するYUV信号をRGB色空間に係るRGB信号に変換する変換手段と、
該変換手段が変換したRGB信号を夫々有する複数画素で形成される画像を表示する手段と
を備えることを特徴とする表示装置。In an in-vehicle display device that displays an image input from the outside,
A luminance changing unit that changes a luminance value of a luminance signal of a YUV signal relating to a YUV color space of each of a plurality of pixels forming an input image;
Converting means for converting a YUV signal having a luminance signal changed by the luminance changing means into an RGB signal relating to an RGB color space;
Means for displaying an image formed by a plurality of pixels each having an RGB signal converted by the conversion means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003102143A JP2004312301A (en) | 2003-04-04 | 2003-04-04 | Method, system and device for displaying image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003102143A JP2004312301A (en) | 2003-04-04 | 2003-04-04 | Method, system and device for displaying image |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004312301A true JP2004312301A (en) | 2004-11-04 |
Family
ID=33465716
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003102143A Pending JP2004312301A (en) | 2003-04-04 | 2003-04-04 | Method, system and device for displaying image |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004312301A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007243464A (en) * | 2006-03-07 | 2007-09-20 | Aisin Aw Co Ltd | Method and device for supporting parking |
JP2018201115A (en) * | 2017-05-26 | 2018-12-20 | アイシン精機株式会社 | Periphery monitoring device |
WO2023026543A1 (en) * | 2021-08-27 | 2023-03-02 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
-
2003
- 2003-04-04 JP JP2003102143A patent/JP2004312301A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007243464A (en) * | 2006-03-07 | 2007-09-20 | Aisin Aw Co Ltd | Method and device for supporting parking |
JP2018201115A (en) * | 2017-05-26 | 2018-12-20 | アイシン精機株式会社 | Periphery monitoring device |
WO2023026543A1 (en) * | 2021-08-27 | 2023-03-02 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101247647B1 (en) | Image synthesizing device, image synthesizing method, and recording medium | |
CN105915773B (en) | Display control unit for vehicle | |
CN103155028B (en) | Display unit, image sensing unit and display system | |
EP2434759B1 (en) | Monitoring apparatus | |
JP2010093472A (en) | Imaging apparatus, and signal processing circuit for the same | |
US20100207958A1 (en) | Color image creating apparatus | |
CN108886603A (en) | On-vehicle display | |
EP1557790A2 (en) | Noise reduction in low-illuminance image | |
US8970735B2 (en) | Capturing device, capturing system, and capturing method | |
JP5865726B2 (en) | Video display device | |
JP2001045512A (en) | Black.white/color switching camera | |
KR101822344B1 (en) | Motor vehicle camera device with histogram spreading | |
JP3485165B2 (en) | Back monitor device for vehicles | |
JP2004312301A (en) | Method, system and device for displaying image | |
JP6317914B2 (en) | In-vehicle image processing device | |
JP2004312063A (en) | Imaging apparatus, image display system, and image displaying method | |
JP6315239B2 (en) | Imaging apparatus, imaging method, image processing apparatus, imaging program | |
JP4985169B2 (en) | Camera network system, display device, camera | |
US20200304752A1 (en) | Method and apparatus for enhanced video display | |
JP4783227B2 (en) | Image composition apparatus and image composition method | |
CN103167183B (en) | Translucent camera aperture processing method, system and mobile terminal | |
JP4900153B2 (en) | Imaging device | |
WO2023026617A1 (en) | Imaging device, and video display system | |
JP5606774B2 (en) | Video display device and video display method | |
JP2007228455A (en) | Imaging device |