JP2004212658A - System and method for image display and image processor - Google Patents
System and method for image display and image processor Download PDFInfo
- Publication number
- JP2004212658A JP2004212658A JP2002382339A JP2002382339A JP2004212658A JP 2004212658 A JP2004212658 A JP 2004212658A JP 2002382339 A JP2002382339 A JP 2002382339A JP 2002382339 A JP2002382339 A JP 2002382339A JP 2004212658 A JP2004212658 A JP 2004212658A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- data
- vehicle
- change area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、車両に取り付けられる撮像装置で撮像された画像データを、車両に搭載される表示装置に表示させる画像表示システム、画像表示方法及び画像処理装置に関するものである。
【0002】
【従来の技術】
自動車等の車両の運転を支援する装置として、運転者からの死角を含む範囲を撮像する車載カメラと、車載カメラで撮像した画像が表示される車載表示装置とが用いられている。例えば、車両後方を車載カメラで撮像するとともに、車載表示装置のディスプレイ上に表示される車両後方画像を確認しながら車庫入れを行う。また、車両の左右前方又は左右後方等を車載カメラで撮像し、車載表示装置で左右前方又は左右後方等の車両周辺にいる子供等の確認を行うことが可能である。
【0003】
更に、このような運転支援装置においては、複数のカメラを車両に搭載し、各カメラからの画像を切り替えて表示したり、複数のカメラからの画像を合成して表示することにより、車載表示装置で表示可能な領域を拡大している(例えば、特許文献1参照)。
【0004】
【特許文献1】
特開2001−219783号公報
【0005】
【発明が解決しようとする課題】
しかし、車載表示装置は、車両内における搭載場所等により表示画面の大きさに制限があり、また、上述のように複数のカメラによる撮像エリアが広くなる分、車載表示装置に表示される被写体の画面内のサイズが小さくなる。
そのため、車載表示装置に表示されているにも関わらず、運転者は、車両近傍に存在する動体、特に背の低い子供等の発見が困難になるという問題があった。
【0006】
本発明は斯かる事情に鑑みてなされたものであり、撮像装置から時系列的に入力される画像データ中の変化領域内のデータを、前記画像データに合成して表示装置に送出することにより、前記変化領域が示す、撮像装置の撮像領域内に存在する動体を、前記画像データから抽出して、表示装置に表示させ、前記動体の存在を運転者に容易に発見させることができる画像表示システム、画像表示方法及び画像処理装置を提供することを目的とする。
【0007】
本発明の他の目的は、検出手段により検出した変化領域内のデータを、前記画像データ中の合成位置に対応付けるテーブルを生成手段により生成し、生成したテーブルに基づき、前記変化領域内のデータを、撮像装置からの画像データに合成することにより、合成データを生成する合成処理における演算負荷を軽減することができる画像表示システムを提供することにある。
【0008】
本発明の更に他の目的は、合成データを生成する合成処理に用いるテーブルが、前記検出手段により検出した変化領域内のデータを拡大して対応付けるものであることにより、単純なテーブルの参照処理にて、拡大された前記変化領域内のデータを、撮像装置からの画像データに合成することができる画像表示システムを提供することにある。
【0009】
本発明の更に他の目的は、撮像装置から時系列的に入力される画像データ中の変化領域を囲む枠画像データを生成し、生成した枠画像データを、前記画像データ中の前記検出手段により検出した変化領域を囲む位置に合成して表示装置に送出することにより、前記変化領域が示す、撮像装置の撮像領域内に存在する動体を、枠画像データにより囲んで表示させ、前記動体の存在を運転者に容易に発見させることができる画像表示システム及び画像処理装置を提供することにある。
【0010】
本発明の更に他の目的は、複数の撮像装置夫々から時系列的に入力される画像データ中の変化領域を含む画像データを撮像した撮像装置を検知し、検知した撮像装置の撮像領域を示す領域データを、撮像装置からの画像データに合成して表示装置に送出することにより、前記変化領域を撮像した撮像装置の撮像領域を示す領域データを表示させ、前記変化領域が示す動体の位置を運転者に通知することができる画像表示システム及び画像処理装置を提供することにある。
【0011】
【課題を解決するための手段】
第1発明に係る画像表示システムは、車両に取り付けられる撮像装置で撮像された画像データを、車両に搭載される表示装置に表示させる画像表示システムにおいて、撮像装置から時系列的に入力される画像データ中の変化領域を検出する検出手段と、該検出手段により検出した変化領域内のデータを抽出する抽出手段と、該抽出手段により抽出した変化領域内のデータを、前記画像データに合成して合成データを生成する合成手段と、該合成手段により生成した合成データを、前記表示装置に送出する送出手段とを備えることを特徴とする。
【0012】
第2発明に係る画像表示システムは、前記検出手段により検出した変化領域内のデータを、前記画像データ中の合成位置に対応付けるテーブルを生成する生成手段を備え、前記合成手段は、前記生成手段により生成したテーブルに基づき、前記合成データを生成する手段を備えることを特徴とする。
【0013】
第3発明に係る画像表示システムは、前記テーブルは、前記検出手段により検出した変化領域内のデータを、拡大して対応付けることを特徴とする。
【0014】
第4発明に係る画像表示システムは、車両に取り付けられる撮像装置で撮像された画像データを、車両に搭載される表示装置に表示させる画像表示システムにおいて、撮像装置から時系列的に入力される画像データ中の変化領域を検出する検出手段と、該検出手段により検出した変化領域を囲む枠画像データを生成する生成手段と、該生成手段により生成した枠画像データを、前記画像データ中の前記検出手段により検出した変化領域を囲む位置に合成して合成データを生成する合成手段と、該合成手段により生成した合成データを、前記表示装置に送出する送出手段とを備えることを特徴とする。
【0015】
第5発明に係る画像表示システムは、車両に取り付けられる複数の撮像装置で撮像された画像データを、車両に搭載される表示装置に表示させる画像表示システムにおいて、複数の撮像装置から時系列的に入力される画像データ中の変化領域を夫々検出する検出手段と、該検出手段により検出した変化領域を含む画像データを撮像した撮像装置を検知する検知手段と、該検知手段により検知した撮像装置の撮像領域を示す領域データを、前記画像データに合成して合成データを生成する合成手段と、該合成手段により生成した合成データを、前記表示装置に送出する送出手段とを備えることを特徴とする。
【0016】
第6発明に係る画像表示方法は、車両に取り付けられる撮像装置で撮像された画像データを、計算装置により、車両に搭載される表示装置に表示させる画像表示方法において、前記計算装置は、撮像装置から時系列的に入力される画像データ中の変化領域を検出し、検出した変化領域内のデータを抽出し、抽出した変化領域内のデータを、前記画像データに合成して合成データを生成し、生成した合成データを、前記表示装置に送出することを特徴とする。
【0017】
第7発明に係る画像処理装置は、受け付けた画像データを外部へ伝送する車両用の画像処理装置において、外部から時系列的に画像データを受け付ける受付手段と、該受付手段により受け付けた画像データ中の変化領域を検出する検出手段と、該検出手段により検出した変化領域内のデータを抽出する抽出手段と、該抽出手段により抽出した変化領域内のデータを、前記画像データに合成して合成データを生成する合成手段と、該合成手段により生成した合成データを外部へ送出する送出手段とを備えることを特徴とする。
【0018】
第8発明に係る画像処理装置は、受け付けた画像データを外部へ伝送する車両用の画像処理装置において、外部から時系列的に画像データを受け付ける受付手段と、該受付手段により受け付けた画像データ中の変化領域を検出する検出手段と、該検出手段により検出した変化領域を囲む枠画像データを生成する生成手段と、該生成手段により生成した枠画像データを、前記画像データ中の前記検出手段により検出した変化領域を囲む位置に合成して合成データを生成する合成手段と、該合成手段により生成した合成データを外部へ送出する送出手段とを備えることを特徴とする。
【0019】
第9発明に係る画像処理装置は、受け付けた画像データを外部へ伝送する車両用の画像処理装置において、外部から時系列的に画像データを受け付ける受付手段と、該受付手段により受け付けた画像データ中の変化領域を検出する検出手段と、該検出手段により検出した変化領域を含む画像データが示す位置を検知する検知手段と、該検知手段により検知した位置を表す位置データを、前記画像データに合成して合成データを生成する合成手段と、該合成手段により生成した合成データを外部へ送出する送出手段とを備えることを特徴とする。
【0020】
第1、第6及び第7発明による場合は、撮像装置から時系列的に入力される画像データ中の変化領域を検出手段により検出し、検出した変化領域内のデータを抽出手段により抽出し、抽出した変化領域内のデータを、前記画像データに合成手段により合成し、送出手段により表示装置に送出することにより、表示装置に、検出手段により検出した、時系列に連続する画像データ中の変化領域が示す、撮像装置の撮像領域内に存在する動体を、前記画像データから抽出して表示させることができ、前記動体の存在を運転者に通知することができる。
【0021】
第2発明による場合は、検出手段により検出した変化領域内のデータを、前記画像データ中の合成位置に対応付けるテーブルを生成手段により生成し、生成したテーブルに基づき、前記変化領域内のデータを、撮像装置からの画像データに合成することにより、合成データを生成する合成処理における演算負荷を軽減することができる。
【0022】
第3発明による場合は、合成データを生成する合成処理に用いるテーブルが、前記検出手段により検出した変化領域内のデータを拡大して対応付けるものであることにより、単純なテーブルの参照処理にて、拡大された前記変化領域内のデータを、撮像装置からの画像データに合成することができる。
従って、表示装置に、撮像装置の撮像領域内に存在する動体を拡大して表示させることができ、車両の運転者等は、表示装置において、撮像装置が撮像する画像データを見ながら、拡大表示された車両近傍の動体を容易に発見することができる。
【0023】
第4及び第8発明による場合は、撮像装置から時系列的に入力される画像データ中の変化領域を検出手段により検出し、検出した変化領域を囲む枠画像データを生成手段により生成し、生成した枠画像データを、前記画像データ中の前記検出手段により検出した変化領域を囲む位置に合成手段により合成し、送出手段により表示装置に送出することにより、表示装置に、検出手段により検出した、時系列に連続する画像データ中の変化領域が示す、撮像装置の撮像領域内に存在する動体を、枠画像データにより囲んで表示させることができ、前記動体の存在を運転者に通知することができる。
【0024】
第5及び第9発明による場合は、複数の撮像装置夫々から時系列的に入力される画像データ中の変化領域を検出手段により夫々検出し、検出した変化領域を含む画像データを撮像した撮像装置を検知手段により検知し、検知した撮像装置の撮像領域を示す領域データを、撮像装置からの画像データに合成手段により合成し、送出手段により表示装置に送出することにより、表示装置に、検出手段により検出した、時系列に連続する画像データ中の変化領域を撮像した撮像装置の撮像領域を示す領域データを表示させることができ、前記変化領域が示す動体の位置を運転者に通知することができる。
【0025】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。尚、本実施の形態では、カメラ(撮像装置)と、カメラで撮像された画像を表示する表示装置とを搭載した自動車(車両)を例にして説明する。また、画像は、例えば1秒当たり30枚の画像フレーム(画像データ)で構成されている。
【0026】
図1は本発明に係る画像表示システムの構成例を示すブロック図であり、本発明に係る画像表示システム100は、撮像して画像フレームを取り込む4つのカメラ(撮像装置)20,21,22,23と、液晶ディスプレイ又はCRT(Cathode−Ray Tube)ディスプレイ等の表示装置3と、カメラ20,21,22,23により取り込まれた画像フレームを取得し、所定の処理を施した後、表示装置3へ送出する画像処理装置1とを備えている。
【0027】
画像処理装置1、カメラ20,21,22,23、及び表示装置3は、専用の配線で接続したり、車載LAN(Local Area Network)を介して接続することが可能であり、本実施の形態においては、画像処理装置1とカメラ20,21,22,23とは、IEEE(Institute of Electrical and Electronic Engineers)1394に準拠した車載LANを介して、画像処理装置1と表示装置3とは、専用線を介して接続されている。
【0028】
カメラ20,21,22,23は、夫々、CCD(Charge Couple Device)等により構成されたカメラ本体部(図示せず)で撮像し、得られた画像フレームに対して所定の処理を施した後、IEEE1394に準拠した車載LANを介して画像処理装置1に送出する。
【0029】
図2は上述のカメラ20,21,22,23の車両への取付位置を示す図であり、図においては、本発明に係る画像表示システム100を搭載した車両Sを上方から見た図を示している。
図2に示すように、カメラ20は、車両Sに備え付けられた前バンパー(図示せず)の左端部に、車両Sの左前方を撮像するように取り付けられており、カメラ21は、同様に、前バンパーの右端部に、車両Sの右前方を撮像するように取り付けられている。
【0030】
更に、カメラ22は、車両Sに備え付けられた後バンパー(図示せず)の左端部に、車両Sの左後方を撮像するように取り付けられており、カメラ23は、後バンパーの右端部に、車両Sの右後方を撮像するように取り付けられている。
このように各位置に取り付けられたカメラ20,21,22,23は、夫々撮像した画像フレームを順次画像処理装置1へ送出する。
【0031】
図1において、表示装置3は、カメラ20,21,22,23により撮像され、画像処理装置1により所定の処理が行われた画像フレームを、専用線を介して受信し、受信した画像フレームを順次ディスプレイ(図示せず)に表示する。
【0032】
また、画像処理装置1は、マイクロコンピュータ(以下、マイコンという)10と、IEEE1394に準拠したデータ伝送を行うための通信インタフェース11と、通信インタフェース11を介してカメラ20,21,22,23から受信した画像フレームに所定の処理を行う画像処理部12と、画像処理部12により各種の処理を施された画像フレームを表示装置3へ送出する送出手段としてのモニタインタフェース19と、フレームメモリ16と、ROM17と、テーブル用RAM18等とを備えている。
【0033】
マイコン10は、時計手段(図示せず)を備えており、タイミングを計時しながら、上述したハードウェア各部を制御するとともに、ROM17に記憶してある画像処理装置1の動作としてのコンピュータプログラムを順次実行する。
ROM17には、画像処理装置1の各種動作に必要な種々のコンピュータプログラム、カメラ20,21,22,23の車両Sへの取付位置及び撮像方向等の情報、及び、後述するように、画像処理部12が、カメラ20,21,22,23により撮像された画像フレーム中に存在する動体を検出する際に用いる所定の閾値、また、検出した動体を通知する際に用いる枠画像データ、変換テーブル及び領域画像データ(領域データ)等が記憶してある。
【0034】
画像処理部12には、RAM等により構成されるフレームメモリ16、ROM17及びテーブル用RAM18が接続されており、画像処理部12により所定の各処理を施された画像フレーム及び一時的に発生するデータは、フレームメモリ16又はテーブル用RAM18に記憶される。
尚、画像処理部12が、ROM17の変換テーブルを用いる場合、この変換テーブルを一旦テーブル用RAM18に記憶させ、テーブル用RAM18にアクセスすることにより、変換テーブルの参照処理を高速に行っている。
【0035】
また、画像処理部12は、カメラ20,21,22,23から取得した画像フレームを表示装置3へ送出するとともに、各カメラ20,21,22,23から順次取得する画像フレーム中に動体が撮像されているか否かを判断しており、カメラ20,21,22,23から夫々取得した画像フレームからNTSC(National Television System Committee standard )データ等の画像データを作成する画像データ作成部15と、カメラ20,21,22,23から時系列的に連続して取得される画像フレームに夫々含まれる各画素値の差分値を算出する差分算出部13と、差分算出部13により算出された各差分値を、予めROM17に記憶してある閾値と比較することにより夫々2値のデータに変換する2値化処理部14とを備えている。
【0036】
ここで、カメラ20,21,22,23が撮像する撮像領域内に動体が存在する場合、画像処理装置1が、カメラ20,21,22,23から連続して取得する画像フレーム中に変化領域が生じる。即ち、連続する前後の画像フレーム間に差分が生じるため、画像処理装置1は、この画像フレーム間の差分に基づき、カメラ20,21,22,23の撮像領域内の動体を検出することができる。
【0037】
上述した構成の画像処理装置1において、画像処理部12は、通信インタフェース11を介して、カメラ20,21,22,23夫々から、時系列的に連続して入力される前後の画像フレームに含まれる各画素値の差分値を、差分算出部13により算出し、各差分値による画像フレームを生成する。
図3(a)は、画像処理部12の差分算出部13により算出された差分値による画像フレームの一例を示す図である。尚、本実施の形態においては、カメラ20,21,22,23から取得する画像フレームは、各画素を8ビットのデータにて示すものとしているため、図3(a)に示す、画像フレーム中の各画素に対応する各差分値も0から255までの各値をとるものとする。
【0038】
また、画像処理部12は、2値化処理部14により、差分算出部13により生成した差分値による画像フレームに含まれる各差分値を、ROM17に予め記憶してある閾値(図3においては30)と比較し、閾値よりも小さい差分値を0とし、閾値よりも大きい差分値を1とする2値化処理を行うことで、2値データの画像フレームを生成する。
図3(b)は、図3(a)の差分値による画像フレームを、2値化処理部14による2値化処理により得られた2値データの画像フレームの一例を示す図である。
【0039】
本実施の形態では、差分算出部13により算出した連続する画像データ間の差分値を、2値データに変換することにより、画像フレーム中の差分値が示す変化領域を顕著に現すことができ、後述のマイコン10による、画像フレーム中の変化領域の検出を容易としている。
【0040】
画像処理装置1において、マイコン10は、2値化処理部14により生成された2値データの画像フレームに基づき、この画像フレーム中の変化領域を検出する検出手段として動作している。
具体的に、マイコン10は、図3(b)の2値データの画像フレームにおいて、1のデータを有し、夫々が近接する画素をグループ分けし、夫々のグループが示す変化領域40,41,42,43,44,45により示される動体が、当該画像処理装置1を搭載する車両Sの発車等の際に運転者の注意を要する動体であるか否かを検出している。
【0041】
ここで、マイコン10は、予めROM17に記憶してあるカメラ20,21,22,23の取付位置及び撮像方向等の情報を読み出すことにより、上述のようにグループ分けした各変化領域40,41,42,43,44,45により示される動体が、運転者の注意を要する動体であるか否かを検出することができる。例えば、各変化領域が、画像フレームの上方にある場合には、マイコン10は、この変化領域を、鳥が飛び立った場合や、木の枝で揺れている木の葉等により生じた変化領域であると判断して、運転者の注意を要する動体でないものと判断する。
【0042】
図3(b)に示す変化領域40,41,42,43,44,45については、マイコン10は、変化領域41,42,44を、画面の上方に表示されているため、例えば、木の枝で揺れている木の葉により生じた変化領域と判断し、領域43,45を、1のデータが点在するため、画像フレーム中に含まれる誤差等であると判断する。
また、マイコン10は、変化領域40について、1のデータがある程度固まって、地面の近くに存在しており、注意を要する動体を示していると判断し、注意を要する動体を示していると判断された変化領域40は、運転者に通知される。
【0043】
図4は通知画面の構成例を示す図であり、表示装置3は、図4に示すような通知画面を表示することにより、カメラ20,21,22,23により撮像された、車両の近傍に存在する動体を運転者に通知することができる。
尚、図4における通知画面は、1つのカメラ20により撮像された画像フレーム中の動体を通知する例を示しており、例えば、4つのカメラ20,21,22,23により撮像される画像フレーム中に、動体が検出されない場合には、各カメラ20,21,22,23からの画像フレーム全てを、表示装置3のディスプレイを4分割することにより表示しておき、カメラ20からの画像フレーム中に動体が検出された場合に、表示画像を、カメラ20からの画像フレームに切り替えて、図4に示すような通知画面を表示する構成とすることができる。
【0044】
図4に示すように、通知画面は、3つの領域1,2,3に分割されており、領域1には、カメラ20が撮像した画像フレームを、領域2には、領域1に表示される画像フレーム中の、上述のように検知された変化領域40を所定の処理により抽出して拡大した拡大画像を、領域3には、変化領域40を含む画像フレームを撮像したカメラ20の撮像領域を示す領域画像データを夫々表示している。
ここで、図1の画像処理部12の画像データ作成部15は、図4に示すような通知画面を表示装置3に表示させるべく、表示装置3へ伝送する通知画像データを作成する合成手段として動作している。
【0045】
マイコン10は、上述したように、運転者に通知すべき変化領域40が存在すると判断した場合、通信インタフェース11を介して順次取得するカメラ20からの画像フレームから、抽出すべき変化領域40を決定し、画像処理部12の画像データ作成部15に通知する。
画像データ作成部15は、マイコン10により変化領域40を通知された場合、ROM17から枠画像データを読み出し、読み出した枠画像データを、カメラ20から取得する画像フレームの、変化領域40の周囲を囲む位置に合成して合成データを生成する。
【0046】
これにより、表示装置3の領域1に、図4に示すように動体を枠で囲んだ通知画面を表示させるための通知画像データを生成することができる。
尚、この枠画像データが示す枠のサイズを予め設定しておき、枠で囲まれる変化領域が小さすぎる場合には、当該動体の車両からの距離が遠いと判断して、運転者に通知しない構成とすることもできる。
【0047】
また、マイコン10は、通知画面の領域1に枠画像データで囲んで表示される変化領域40を拡大して、通知画面の領域2に表示させるための通知画像データを、画像データ作成部15により生成させるために、ROM17に記憶してある変換テーブルをテーブル用RAM18に読み出す。
ここで、通知画面の領域2に表示される拡大画像のサイズは、予め設定されており、ROM17に記憶してある変換テーブルは、この拡大画像中の各画素データを特定するための基本テーブルであり、マイコン10が、カメラ20からの画像フレーム中の変化領域40の移動とともに、この基本テーブルを更新することにより生成する変換テーブルに基づき、画像データ作成部15は、拡大画像を、カメラ20から取得する画像フレームに合成して合成データを生成する。
【0048】
具体的に、マイコン10は、上述したように、通知画面の領域1に表示されるカメラ20からの画像フレーム中の変化領域40内の画素データを抽出する抽出手段として動作するとともに、抽出する変化領域40を特定する2点(x1,y1)及び(x2,y2)を決定し、決定した2点(x1,y1)及び(x2,y2)が、領域2の拡大画像の領域を特定する2点(X1,Y1)及び(X2,Y2)に対応するように、変化領域40の拡大率を算出し、算出した拡大率に基づき、拡大画像の領域内の各画素に、変化領域40内の各画素データを対応させる変換テーブルを生成する。
【0049】
これにより、表示装置3の領域2に、図4に示すように、カメラ20が撮像した動体を拡大して表示させるための通知画像データを生成することができ、画像データ作成部15は、上述のように生成された変換テーブル内の各画素データを所定の順序にて読み出すことのみにて、検出された動体を示す変化領域40の拡大画像データを表示装置3に送出することができる。
【0050】
更に、マイコン10は、上述したように、運転者に通知すべき変化領域40が存在すると判断した場合、検出した変化領域40を含む画像フレームを撮像したカメラが、どのカメラであるかを検知する検知手段としても動作しており、変化領域40の存在を検出するとともに、変化領域40を含む画像フレームを撮像したカメラ20も検知している。
ここで、ROM17に記憶してある領域画像データは、図4の領域3に示すような、車両Sを示すデータ、カメラ20の撮像領域20aを示すデータ、カメラ21の撮像領域21aを示すデータ、カメラ22の撮像領域22aを示すデータ、及びカメラ23の撮像領域23aを示すデータを含んでいる。
【0051】
画像データ作成部15は、マイコン10により変化領域40、及び変化領域40を撮像したカメラ20を通知された場合、ROM17から領域画像データを読み出し、読み出した領域画像データに含まれるカメラ20の撮像領域20aに色付け等を施すことにより、他の撮像領域21a,22a,23aと区別して、カメラ20から取得する画像フレームに合成して合成データを生成する。
【0052】
これにより、表示装置3の領域3に、図4に示すように、カメラ20が撮像した動体を撮像したカメラ20の撮像領域を表示させるための通知画像データを生成することができ、このように生成された通知画像データを表示装置3に表示することにより、運転者は、撮像された動体の、車両との位置関係を容易に把握することができる。
【0053】
ここで、運転者に通知すべき動体を示す変化領域が複数検出された場合には、領域1については、全ての変化領域を枠画面データにより囲んで表示し、領域2については、各変化領域を並列させて表示し、領域3については、検知した変化領域に対応する全ての撮像領域を色付け等して表示させることにより、全ての動体について、運転者に通知することができるが、各領域1,2,3において示す変化領域は、運転者を混乱させないために、夫々を明確に対応させて表示する必要がある。
【0054】
以下に、上述した構成の画像表示システム100において、画像処理装置1による画像表示方法に係る動体検出処理について説明する。尚、画像表示システム100を利用する車両Sの運転者は、停車している車両Sを発車させる際に、表示装置3に表示される通知画面に基づき、各カメラ20,21,22,23の撮像領域内、特に車両Sの周辺に動体が存在しないことを確認することができる。
【0055】
図5は本発明に係る画像表示システム100における動体検出処理手順を示すフローチャートである。
画像処理装置1において、マイコン10は、自身が備える時計手段により所定時間が経過するか否かを判断しており(S1)、所定時間が経過していない場合(S1:NO)、所定時間が経過するまで待機しており、所定時間が経過したと判断した場合(S1:YES)、取得した画像フレームをフレームメモリ16に一旦記憶する(S2)。
【0056】
次にマイコン10は、画像処理部12の差分算出部13により、フレームメモリ16に記憶してある、所定時間間隔で連続して取得した2枚の画像フレームについて、各画像フレーム中の画素値を減算することにより、各画素に対応した差分値を算出し、これらの差分値による画像フレームを生成する(S3)。
また、差分算出部13により生成された差分値による画像フレームは、2値化処理部14により、予めROM17に記憶してある閾値に基づく2値化処理を実行され(S4)、2値データの画像フレームに変換される。
【0057】
マイコン10は、上述のように生成された2値データの画像フレーム中の1のデータを有する近隣の画素をグループ分けし、夫々のグループが示す変化領域を検出する(S5)。
また、マイコン10は、検出した各変化領域について、運転者に通知すべき動体を示す変化領域であるか否かを判断しており(S6)、検出した各変化領域が、運転者に通知すべき動体を示す変化領域ではない場合(S6:NO)、当該変化領域を動体検出処理の処理対象から除外する(S7)。
【0058】
一方、検出した変化領域が、運転者に通知すべき動体を示す変化領域であると判断した場合(S6:YES)、マイコン10は、運転者に通知すべき変化領域を検出したことを、画像処理部12に通知する。
運転者に通知すべき変化領域を検出したことを通知された画像処理部12において、画像データ作成部15は、ROM17から枠画像データを読み出し、読み出した枠画像データを、カメラ20から順次取得する画像フレームの、当該変化領域を囲む位置に合成させる(S8)。
【0059】
次に、マイコン10は、検出した変化領域のサイズに基づき、該変化領域の各画素から、通知画面の領域2に表示される拡大画像を生成するための変換テーブルを生成する(S9)。
更に、マイコン10は、検出した変化領域を含む画像フレームを撮像したカメラ20を検知し(S10)、検知したカメラ20を画像処理部12に通知する。
【0060】
前記変化領域を含む画像フレームを撮像したカメラ20を検知された画像処理部12において、画像データ作成部15が、ROM17から領域画像データを読み出し、読み出した領域画像データに含まれるカメラ20の撮像領域20aを示すデータを色付け等して、カメラ20から順次取得する画像フレームに合成する(S11)。
【0061】
マイコン10は、上述したように、ステップS5において検出した全ての変化領域について、夫々が運転者に通知すべき動体を示す変化領域であるか否かを判断する判断処理を終了したか否かを判断しており(S12)、終了していない場合(S12:NO)、ステップS6の処理に戻り、全ての変化領域について、夫々が車両近傍に存在する動体を示す変化領域であるか否かを判断する。
また、全ての変化領域についての判断処理が終了したと判断した場合(S12:YES)、マイコン10は、ステップS8において、枠画像データを合成された画像フレームと、ステップS9において生成された変換テーブルを参照することにより生成される拡大画像と、ステップS11において合成された領域画像データとを含む通知画像データを、モニタインタフェース18を介して、表示装置3へ送出する(S13)。
【0062】
表示装置3は、画像処理装置1から受信した通知画像データに基づく通知画面を表示することにより、表示した通知画面を参照している車両Sの運転者に、カメラ20の撮像領域内に動体が存在することを通知することができる。
図6は通知画面の例を示す図であり、通知画面は、上方に、カメラ20により撮像され、動体を枠で囲まれた画像フレームが表示してあり、下方の左側に、領域1において枠で囲まれた動体を拡大した拡大画像が表示してあり、下方の右側に、検出された動体を撮像したカメラ20の撮像領域20aを示す領域画像データが表示してある。
【0063】
このような通知画面により、車両の運転者等は、カメラ20の撮像領域内に存在する動体を把握することができ、表示装置3に表示された動体を確認し、また、確認した動体が車両と衝突するか否かを判断することにより、動体と車両との衝突を回避することができる。
【0064】
上述したように、順次取得する画像フレームについて、所定時間間隔で連続する画像フレーム間の変化に基づき、カメラ20の撮像領域内に存在する動体を検出することができ、また、検出した動体を、表示装置3に表示する画像フレーム中に枠で囲み、また、拡大画像として、カメラ20から取得する画像フレームとは別に表示し、更に、車両情報とともに、該車両との位置関係を表示することにより、カメラ20の撮像領域内に動体が存在することを、車両の運転者等に確実に通知することができる。
尚、本実施の形態では、通知画面の領域1,2,3夫々において、動体を運転者に報知する構成をなしているが、いずれか1つ又は2つの構成を備えることも当然可能である。
【0065】
尚、上述した本実施の形態において、画像処理装置1は、カメラ2から連続して取得する画像フレームの差分値を算出し、この差分値に基づき、カメラ2の撮像領域内に動体が存在するか否かを判断しているが、連続して取得する画像フレームに対して、オプティカルフロー処理を実行することにより、動体を検出する構成とすることもできる。
尚、オプティカルフロー処理は、1枚の画像フレーム中に、複数画素からなる注目ブロックを設定しておき、後続する画像フレーム中に存在する前記注目ブロックを検出し、この2枚の画像フレーム中の各注目ブロックの移動を検出することにより、カメラ2の撮像領域内に動体が存在することを検出することができる処理である。
【0066】
また、本実施の形態においては、4つのカメラ20,21,22,23により夫々撮像される画像フレーム中の動体を検出する構成について説明しているが、4つのカメラを備える構成に限定されるものではない。
更に、本発明の画像表示システム100における動体検知処理は、全方位カメラにより撮像された画像フレームをパノラマ展開することにより得られる画像データに対しても適用することができる。
【0067】
更に、例えば、車両から1又は2m離れた子供を撮像した場合に取得される画像フレームにおいて、子供を示す画素数を予め設定しておくことにより、マイコン10が検出した、運転者に通知すべき変化領域内の画素数に基づき、車両の近傍に存在する動体が、子供であるか否か等の判断が可能となり、車両近傍に存在する子供の検出のみを実行することも可能となる。
【0068】
【発明の効果】
第1、第6及び第7発明による場合は、撮像装置から時系列的に入力される画像データ中の変化領域を検出し、検出した変化領域内のデータを抽出して、前記画像データに合成し、表示装置に送出することにより、表示装置に、検出手段により検出した、時系列に連続する画像データ中の変化領域が示す、撮像装置の撮像領域内に存在する動体を、前記画像データから抽出して表示させることができ、前記動体の存在を運転者に通知することができる。
【0069】
第2発明による場合は、時系列的に連続する画像データ中の変化領域内のデータを、前記画像データ中の合成位置を対応付けるテーブルを生成し、生成したテーブルに基づき、前記変化領域内のデータを、撮像装置からの画像データに合成することにより、合成データを生成する合成処理における演算負荷を軽減することができる。
【0070】
第3発明による場合は、合成データを生成する合成処理に用いるテーブルが、時系列的に連続する画像データ中の変化領域内のデータを拡大して対応付けるものであることにより、単純なテーブルの参照処理にて、拡大された前記変化領域内のデータを、撮像装置からの画像データに合成することができる。
従って、表示装置に、撮像装置の撮像領域内に存在する動体を拡大して表示させることができ、車両の運転者等は、表示装置において、撮像装置が撮像する画像データを見ながら、拡大表示された車両近傍の動体を容易に発見することができる。
【0071】
第4及び第8発明による場合は、撮像装置から時系列的に入力される画像データ中の変化領域を囲む枠画像データを生成し、生成した枠画像データを、前記画像データ中の変化領域を囲む位置に合成して表示装置に送出することにより、表示装置に、検出手段により検出した、時系列に連続する画像データ中の変化領域が示す、撮像装置の撮像領域内に存在する動体を、枠画像データにより囲んで表示させることができ、前記動体の存在を運転者に通知することができる
【0072】
第5及び第9発明による場合は、複数の撮像装置夫々から時系列的に入力される画像データ中の変化領域を夫々検出し、検出した変化領域を含む画像データを撮像した撮像装置を検知し、検知した撮像装置の撮像領域を示す領域データを、撮像装置からの画像データに合成して表示装置に送出することにより、表示装置に、検出手段により検出した、時系列に連続する画像データ中の変化領域を撮像した撮像装置の撮像領域を示す領域データを表示させることができ、前記変化領域が示す動体の車両との位置関係を運転者に通知することができる。
【図面の簡単な説明】
【図1】本発明に係る画像表示システムの構成例を示すブロック図である。
【図2】カメラの車両への取付位置を示す図である。
【図3】(a)は差分値による画像フレームを示す図であり、(b)は2値データによる画像フレームを示す図である。
【図4】通知画面の構成例を示す図である。
【図5】本発明に係る画像表示システムにおける動体検出処理手順を示すフローチャートである。
【図6】通知画面の例を示す図である。
【符号の説明】
100 画像表示システム
1 画像処理装置
10 マイクロコンピュータ(検出手段、生成手段、抽出手段、検知手段)
12 画像処理部
15 画像データ作成部(合成手段)
17 ROM
19 モニタインタフェース(送出手段)
20,21,22,23 カメラ(撮像装置)
3 表示装置[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image display system, an image display method, and an image processing device that display image data captured by an imaging device mounted on a vehicle on a display device mounted on the vehicle.
[0002]
[Prior art]
As a device that assists driving of a vehicle such as an automobile, an in-vehicle camera that captures an image including a blind spot from a driver and an in-vehicle display device that displays an image captured by the in-vehicle camera are used. For example, an image of the rear of the vehicle is taken by a vehicle-mounted camera, and the garage is entered while checking the vehicle rear image displayed on the display of the vehicle-mounted display device. In addition, it is possible to image the front left and right or the rear left and right of the vehicle with an on-vehicle camera, and to confirm a child or the like in the vicinity of the vehicle such as front left or right or rear left or right with an onboard display device.
[0003]
Further, in such a driving assistance device, a plurality of cameras are mounted on a vehicle, and images from the respective cameras are switched and displayed, or images from the plurality of cameras are combined and displayed, so that the in-vehicle display device is provided. The area that can be displayed is enlarged by (for example, see Patent Document 1).
[0004]
[Patent Document 1]
JP 2001-219784 A
[0005]
[Problems to be solved by the invention]
However, the in-vehicle display device is limited in the size of the display screen depending on the mounting location in the vehicle and the like. Also, as described above, since the imaging area of a plurality of cameras is wide, the subject displayed on the in-vehicle display device is The size in the screen becomes smaller.
For this reason, there is a problem that it is difficult for the driver to find a moving object near the vehicle, particularly a short child or the like, although it is displayed on the in-vehicle display device.
[0006]
The present invention has been made in view of such circumstances, and by combining data in a change region in image data input in time series from an imaging device with the image data and transmitting the combined data to a display device. An image display that extracts a moving object present in the imaging region of the imaging device indicated by the change region from the image data and causes the display device to display the extracted moving object so that the driver can easily find the presence of the moving object. It is an object to provide a system, an image display method, and an image processing device.
[0007]
Another object of the present invention is to generate a table that associates data in the change area detected by the detection means with a combination position in the image data by the generation means, and based on the generated table, generates data in the change area. Another object of the present invention is to provide an image display system capable of reducing a calculation load in a combining process for generating combined data by combining the image data with image data from an imaging device.
[0008]
Still another object of the present invention is that a table used in a synthesizing process for generating synthesized data expands and associates data in a change area detected by the detection means, so that a simple table reference process can be performed. Another object of the present invention is to provide an image display system capable of combining data in the enlarged change area with image data from an imaging device.
[0009]
Still another object of the present invention is to generate frame image data surrounding a changing region in image data input in time series from an imaging device, and generate the frame image data by the detection unit in the image data. By combining the detected change area with a position surrounding the detected change area and sending it to the display device, the moving object present in the imaging region of the imaging device indicated by the change area is displayed by being surrounded by frame image data, and the presence of the moving object is displayed. It is an object of the present invention to provide an image display system and an image processing device that allow a driver to easily find a vehicle.
[0010]
Still another object of the present invention is to detect an imaging device that has captured image data including a changing region in image data input in time series from each of a plurality of imaging devices, and to indicate an imaging region of the detected imaging device. By combining the area data with the image data from the imaging device and sending it to the display device, the region data indicating the imaging region of the imaging device that captured the change region is displayed, and the position of the moving object indicated by the change region is displayed. An image display system and an image processing device capable of notifying a driver are provided.
[0011]
[Means for Solving the Problems]
An image display system according to a first aspect of the present invention is an image display system for displaying, on a display device mounted on a vehicle, image data captured by an imaging device mounted on a vehicle, the image input in time series from the imaging device. Detecting means for detecting a changing area in the data, extracting means for extracting data in the changing area detected by the detecting means, and combining data in the changing area extracted by the extracting means with the image data. It is characterized by comprising a synthesizing means for generating synthetic data, and a transmitting means for transmitting the synthetic data generated by the synthesizing means to the display device.
[0012]
An image display system according to a second aspect of the present invention includes a generation unit that generates a table that associates data in the change area detected by the detection unit with a synthesis position in the image data. It is characterized by comprising means for generating the combined data based on the generated table.
[0013]
An image display system according to a third invention is characterized in that the table enlarges and associates data in the change area detected by the detection means.
[0014]
An image display system according to a fourth aspect of the present invention is an image display system for displaying, on a display device mounted on a vehicle, image data captured by an imaging device mounted on a vehicle, the image input in time series from the imaging device. Detecting means for detecting a changing area in the data, generating means for generating frame image data surrounding the changing area detected by the detecting means, and detecting the frame image data generated by the generating means in the image data; The present invention is characterized in that it comprises a synthesizing means for synthesizing the data at a position surrounding the change area detected by the means to generate synthesized data, and a transmitting means for transmitting the synthesized data generated by the synthesizing means to the display device.
[0015]
An image display system according to a fifth aspect of the present invention is an image display system that displays image data captured by a plurality of imaging devices attached to a vehicle on a display device mounted on the vehicle. Detecting means for detecting each of the change areas in the input image data; detecting means for detecting an imaging device which has captured the image data including the change area detected by the detection means; and The image processing apparatus further includes a combining unit that combines region data indicating an imaging region with the image data to generate combined data, and a sending unit that sends the combined data generated by the combining unit to the display device. .
[0016]
An image display method according to a sixth aspect of the present invention is an image display method in which image data captured by an imaging device mounted on a vehicle is displayed on a display device mounted on the vehicle by a calculation device. Detecting a change area in the image data input in chronological order, extracting data in the detected change area, and combining the extracted data in the change area with the image data to generate synthesized data. And transmitting the generated combined data to the display device.
[0017]
An image processing apparatus according to a seventh aspect of the present invention is an image processing apparatus for a vehicle that transmits received image data to an external device. Detecting means for detecting a change area of the image, extracting means for extracting data in the change area detected by the detecting means, and combining data in the change area extracted by the extracting means with the image data. , And transmission means for transmitting the synthesized data generated by the synthesis means to the outside.
[0018]
An image processing apparatus according to an eighth aspect of the present invention is an image processing apparatus for a vehicle that transmits received image data to an external device. Detecting means for detecting the change area of the image, generating means for generating frame image data surrounding the change area detected by the detecting means, and the frame image data generated by the generating means, by the detecting means in the image data It is characterized by comprising a synthesizing unit that generates synthesized data by synthesizing the data at a position surrounding the detected change region, and a sending unit that sends out the synthesized data generated by the synthesizing unit to the outside.
[0019]
An image processing apparatus according to a ninth aspect is an image processing apparatus for a vehicle that transmits received image data to an external device. Detecting means for detecting a change area of the image, detecting means for detecting a position indicated by image data including the change area detected by the detecting means, and position data representing the position detected by the detecting means, and synthesizing the image data. And synthesizing means for generating the synthesized data by the synthesizing means, and sending means for sending out the synthesized data generated by the synthesizing means to the outside.
[0020]
In the case of the first, sixth and seventh inventions, a change area in image data input in time series from the imaging device is detected by the detection means, and data in the detected change area is extracted by the extraction means; The data in the extracted change area is synthesized with the image data by the synthesizing means, and is sent to the display device by the sending means, so that the change in the time-series continuous image data detected by the detecting means is displayed on the display device. A moving object present in the imaging region of the imaging device indicated by the region can be extracted from the image data and displayed, and a driver can be notified of the presence of the moving object.
[0021]
In the case according to the second invention, the data in the change area detected by the detection means is generated by the generation means to generate a table corresponding to the synthesis position in the image data, and the data in the change area is generated based on the generated table. By combining the image data with the image data from the imaging device, it is possible to reduce the calculation load in the combining process for generating the combined data.
[0022]
In the case of the third invention, since the table used in the combining process for generating the combined data is for expanding and associating the data in the change area detected by the detecting means, the reference process of the simple table is performed. The data in the enlarged change area can be combined with the image data from the imaging device.
Therefore, it is possible to cause the display device to enlarge and display the moving object present in the imaging region of the imaging device, and the driver or the like of the vehicle performs the enlarged display while viewing the image data captured by the imaging device on the display device. The moving body near the vehicle that has been set can be easily found.
[0023]
In the case of the fourth and eighth inventions, a change area in image data input in time series from the imaging device is detected by the detection means, and frame image data surrounding the detected change area is generated by the generation means. The synthesized frame image data is synthesized by the synthesizing unit at a position surrounding the change area detected by the detecting unit in the image data, and is sent to the display device by the sending unit. A moving object present in the imaging region of the imaging device, which is indicated by a change region in the image data that is continuous in time series, can be displayed by being surrounded by frame image data, and the presence of the moving object can be notified to a driver. it can.
[0024]
In the case of the fifth and ninth aspects, the imaging device detects the changing regions in the image data input in time series from each of the plurality of imaging devices, and captures the image data including the detected changing regions. Is detected by the detection means, and the area data indicating the detected imaging area of the imaging device is synthesized with the image data from the imaging apparatus by the synthesis means, and transmitted to the display device by the transmission means. It is possible to display the region data indicating the imaging region of the imaging device that has captured the change region in the image data that is continuous in time series, and to notify the driver of the position of the moving object indicated by the change region. it can.
[0025]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, the present invention will be specifically described with reference to the drawings showing the embodiments. In the present embodiment, an automobile (vehicle) equipped with a camera (imaging device) and a display device that displays an image captured by the camera will be described as an example. An image is composed of, for example, 30 image frames (image data) per second.
[0026]
FIG. 1 is a block diagram illustrating a configuration example of an image display system according to the present invention. An
[0027]
The image processing device 1, the
[0028]
Each of the
[0029]
FIG. 2 is a diagram showing the mounting positions of the above-described
As shown in FIG. 2, the
[0030]
Further, the
The
[0031]
In FIG. 1, a
[0032]
Further, the image processing apparatus 1 includes a microcomputer (hereinafter, referred to as a microcomputer) 10, a communication interface 11 for performing data transmission conforming to IEEE1394, and reception from the
[0033]
The
The ROM 17 stores various computer programs necessary for various operations of the image processing apparatus 1, information on mounting positions of the
[0034]
The
When the
[0035]
In addition, the
[0036]
Here, when a moving object is present in the imaging region captured by the
[0037]
In the image processing apparatus 1 having the above-described configuration, the
FIG. 3A is a diagram illustrating an example of an image frame based on the difference value calculated by the difference calculation unit 13 of the
[0038]
Further, the
FIG. 3B is a diagram illustrating an example of an image frame of binary data obtained by performing the binarization processing by the
[0039]
In the present embodiment, by converting the difference value between successive image data calculated by the difference calculation unit 13 into binary data, a change region indicated by the difference value in the image frame can be remarkably expressed, This facilitates detection of a change area in an image frame by a
[0040]
In the image processing apparatus 1, the
Specifically, the
[0041]
Here, the
[0042]
For the
In addition, the
[0043]
FIG. 4 is a diagram showing a configuration example of a notification screen. The
Note that the notification screen in FIG. 4 illustrates an example of notifying a moving object in an image frame captured by one
[0044]
As shown in FIG. 4, the notification screen is divided into three
Here, the image data creation unit 15 of the
[0045]
As described above, when the
When notified of the
[0046]
Thereby, notification image data for displaying a notification screen in which a moving object is surrounded by a frame as shown in FIG. 4 can be generated in the area 1 of the
It should be noted that the size of the frame indicated by the frame image data is set in advance, and if the change region surrounded by the frame is too small, it is determined that the moving body is far from the vehicle, and the driver is not notified. It can also be configured.
[0047]
Further, the
Here, the size of the enlarged image displayed in the area 2 of the notification screen is set in advance, and the conversion table stored in the ROM 17 is a basic table for specifying each pixel data in the enlarged image. The image data creating unit 15 converts the enlarged image from the
[0048]
Specifically, as described above, the
[0049]
Thereby, as shown in FIG. 4, notification image data for enlarging and displaying the moving object captured by the
[0050]
Further, as described above, when the
Here, the area image data stored in the ROM 17 includes data indicating the vehicle S, data indicating the imaging area 20a of the
[0051]
When notified by the
[0052]
Thereby, as shown in FIG. 4, notification image data for displaying the imaging area of the
[0053]
Here, when a plurality of change regions indicating a moving object to be notified to the driver are detected, all the change regions are displayed with frame screen data for region 1, and each change region is displayed for region 2. Are displayed side by side, and for the
[0054]
Hereinafter, the moving object detection processing according to the image display method by the image processing device 1 in the
[0055]
FIG. 5 is a flowchart showing a moving object detection processing procedure in the
In the image processing apparatus 1, the
[0056]
Next, the
The image frame based on the difference value generated by the difference calculation unit 13 is subjected to binarization processing based on a threshold value stored in the ROM 17 in advance by the binarization processing unit 14 (S4). Converted to image frames.
[0057]
The
Further, the
[0058]
On the other hand, when it is determined that the detected change area is a change area indicating a moving object to be notified to the driver (S6: YES), the
In the
[0059]
Next, the
Further, the
[0060]
In the
[0061]
As described above, the
If it is determined that the determination process has been completed for all the change areas (S12: YES), the
[0062]
The
FIG. 6 is a diagram showing an example of the notification screen. The notification screen displays an image frame captured by the
[0063]
With such a notification screen, the driver or the like of the vehicle can grasp the moving object existing in the imaging region of the
[0064]
As described above, for the sequentially acquired image frames, a moving object existing in the imaging region of the
In the present embodiment, in each of the
[0065]
In the above-described embodiment, the image processing apparatus 1 calculates a difference value between image frames continuously acquired from the camera 2, and based on the difference value, a moving object exists in the imaging area of the camera 2. Although it is determined whether or not the moving object is detected, a moving object may be detected by performing an optical flow process on image frames that are continuously acquired.
In the optical flow process, a target block including a plurality of pixels is set in one image frame, the target block existing in a subsequent image frame is detected, and the target block in the two image frames is detected. By detecting the movement of each block of interest, it is possible to detect the presence of a moving object in the imaging area of the camera 2.
[0066]
Further, in the present embodiment, a configuration for detecting a moving object in an image frame imaged by each of four
Furthermore, the moving object detection processing in the
[0067]
Further, for example, in the image frame obtained when an image of a child 1 m or 2 m away from the vehicle is taken, the number of pixels indicating the child is set in advance, and the driver detected by the
[0068]
【The invention's effect】
According to the first, sixth, and seventh aspects of the invention, a change area in image data input in time series from an imaging device is detected, data in the detected change area is extracted, and the data is combined with the image data. Then, by sending the image data to the display device, the display device detects a moving object present in the imaging region of the imaging device, which is detected by the detection unit and indicates a change region in the image data that is continuous in time series, from the image data. It can be extracted and displayed, and the presence of the moving object can be notified to the driver.
[0069]
In the case according to the second aspect, a table is created that associates data in the change area in the image data that is continuous in time series with a synthesis position in the image data, and based on the generated table, data in the change area is generated. Is combined with the image data from the imaging device, thereby reducing the calculation load in the combining process for generating the combined data.
[0070]
In the case of the third aspect, since the table used in the combining process for generating the combined data is to enlarge and associate the data in the change area in the image data that is continuous in time series, the simple table is referred to. In the processing, the data in the enlarged change area can be combined with the image data from the imaging device.
Therefore, it is possible to cause the display device to enlarge and display the moving object present in the imaging region of the imaging device, and the driver or the like of the vehicle performs the enlarged display while viewing the image data captured by the imaging device on the display device. The moving body near the vehicle that has been set can be easily found.
[0071]
According to the fourth and eighth aspects, frame image data surrounding a change region in the image data input in time series from the imaging device is generated, and the generated frame image data is converted to the change region in the image data. By synthesizing it at the surrounding position and sending it to the display device, the display device detects the moving body present in the imaging region of the imaging device, which is detected by the detection means and indicates a changing region in the image data that is continuous in time series. It can be displayed by being surrounded by the frame image data, and the driver can be notified of the presence of the moving object.
[0072]
According to the fifth and ninth aspects, a change region in image data input in time series from each of the plurality of imaging devices is detected, and an imaging device that has captured image data including the detected change region is detected. By combining the detected area data indicating the imaging region of the imaging device with the image data from the imaging device and sending it to the display device, the display device detects the image data in the time-series continuous image data detected by the detection unit. Area data indicating the imaging area of the imaging device that has captured the change area of the moving object can be displayed, and the driver can be notified of the positional relationship between the moving object indicated by the change area and the vehicle.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of an image display system according to the present invention.
FIG. 2 is a diagram showing a mounting position of a camera on a vehicle.
3A is a diagram illustrating an image frame based on a difference value, and FIG. 3B is a diagram illustrating an image frame based on binary data.
FIG. 4 is a diagram illustrating a configuration example of a notification screen.
FIG. 5 is a flowchart showing a moving object detection processing procedure in the image display system according to the present invention.
FIG. 6 is a diagram illustrating an example of a notification screen.
[Explanation of symbols]
100 image display system
1 Image processing device
10. Microcomputer (detection means, generation means, extraction means, detection means)
12 Image processing unit
15 Image data creation unit (composition means)
17 ROM
19 monitor interface (transmission means)
20, 21, 22, 23 Camera (imaging device)
3 Display device
Claims (9)
撮像装置から時系列的に入力される画像データ中の変化領域を検出する検出手段と、
該検出手段により検出した変化領域内のデータを抽出する抽出手段と、
該抽出手段により抽出した変化領域内のデータを、前記画像データに合成して合成データを生成する合成手段と、
該合成手段により生成した合成データを、前記表示装置に送出する送出手段とを備えることを特徴とする画像表示システム。In an image display system for displaying image data captured by an imaging device attached to a vehicle on a display device mounted on the vehicle,
Detecting means for detecting a change region in image data input in time series from the imaging device;
Extracting means for extracting data in the change area detected by the detecting means;
Combining means for combining data in the change area extracted by the extracting means with the image data to generate combined data;
An image display system comprising: a transmitting unit configured to transmit the combined data generated by the combining unit to the display device.
前記合成手段は、前記生成手段により生成したテーブルに基づき、前記合成データを生成する手段を備える請求項1に記載の画像表示システム。Generating means for generating a table that associates data in the change area detected by the detecting means with a combination position in the image data;
The image display system according to claim 1, wherein the combining unit includes a unit configured to generate the combined data based on a table generated by the generating unit.
撮像装置から時系列的に入力される画像データ中の変化領域を検出する検出手段と、
該検出手段により検出した変化領域を囲む枠画像データを生成する生成手段と、
該生成手段により生成した枠画像データを、前記画像データ中の前記検出手段により検出した変化領域を囲む位置に合成して合成データを生成する合成手段と、
該合成手段により生成した合成データを、前記表示装置に送出する送出手段とを備えることを特徴とする画像表示システム。In an image display system for displaying image data captured by an imaging device attached to a vehicle on a display device mounted on the vehicle,
Detecting means for detecting a change region in image data input in time series from the imaging device;
Generating means for generating frame image data surrounding the change area detected by the detecting means;
Synthesizing means for synthesizing the frame image data generated by the generating means at a position surrounding the change region detected by the detecting means in the image data to generate synthesized data;
An image display system comprising: a transmitting unit configured to transmit the combined data generated by the combining unit to the display device.
複数の撮像装置から時系列的に入力される画像データ中の変化領域を夫々検出する検出手段と、
該検出手段により検出した変化領域を含む画像データを撮像した撮像装置を検知する検知手段と、
該検知手段により検知した撮像装置の撮像領域を示す領域データを、前記画像データに合成して合成データを生成する合成手段と、
該合成手段により生成した合成データを、前記表示装置に送出する送出手段とを備えることを特徴とする画像表示システム。In an image display system for displaying image data captured by a plurality of imaging devices attached to a vehicle on a display device mounted on the vehicle,
Detecting means for detecting each of the change areas in the image data input in time series from a plurality of imaging devices,
Detecting means for detecting an imaging device that has captured image data including the change area detected by the detecting means;
Synthesizing means for synthesizing area data indicating an imaging area of the imaging device detected by the detecting means with the image data to generate synthesized data;
An image display system comprising: a transmitting unit configured to transmit the combined data generated by the combining unit to the display device.
前記計算装置は、
撮像装置から時系列的に入力される画像データ中の変化領域を検出し、
検出した変化領域内のデータを抽出し、
抽出した変化領域内のデータを、前記画像データに合成して合成データを生成し、
生成した合成データを、前記表示装置に送出することを特徴とする画像表示方法。In an image display method of displaying image data captured by an imaging device attached to a vehicle on a display device mounted on the vehicle by a computing device,
The computing device comprises:
Detecting a change area in image data input in time series from the imaging device,
Extract the data in the detected change area,
The data in the extracted change area is combined with the image data to generate combined data,
An image display method, wherein the generated combined data is transmitted to the display device.
外部から時系列的に画像データを受け付ける受付手段と、
該受付手段により受け付けた画像データ中の変化領域を検出する検出手段と、
該検出手段により検出した変化領域内のデータを抽出する抽出手段と、
該抽出手段により抽出した変化領域内のデータを、前記画像データに合成して合成データを生成する合成手段と、
該合成手段により生成した合成データを外部へ送出する送出手段とを備えることを特徴とする画像処理装置。In an image processing device for a vehicle that transmits received image data to the outside,
Receiving means for receiving image data in chronological order from outside;
Detecting means for detecting a change area in the image data received by the receiving means;
Extracting means for extracting data in the change area detected by the detecting means;
Combining means for combining data in the change area extracted by the extracting means with the image data to generate combined data;
An image processing apparatus comprising: a sending unit that sends out the combined data generated by the combining unit to the outside.
外部から時系列的に画像データを受け付ける受付手段と、
該受付手段により受け付けた画像データ中の変化領域を検出する検出手段と、該検出手段により検出した変化領域を囲む枠画像データを生成する生成手段と、
該生成手段により生成した枠画像データを、前記画像データ中の前記検出手段により検出した変化領域を囲む位置に合成して合成データを生成する合成手段と、
該合成手段により生成した合成データを外部へ送出する送出手段とを備えることを特徴とする画像処理装置。In an image processing device for a vehicle that transmits received image data to the outside,
Receiving means for receiving image data in chronological order from outside;
Detecting means for detecting a changing area in the image data received by the receiving means; generating means for generating frame image data surrounding the changing area detected by the detecting means;
Synthesizing means for synthesizing the frame image data generated by the generating means at a position surrounding the change region detected by the detecting means in the image data to generate synthesized data;
An image processing apparatus comprising: a sending unit that sends out the combined data generated by the combining unit to the outside.
外部から時系列的に画像データを受け付ける受付手段と、
該受付手段により受け付けた画像データ中の変化領域を検出する検出手段と、該検出手段により検出した変化領域を含む画像データが示す位置を検知する検知手段と、
該検知手段により検知した位置を表す位置データを、前記画像データに合成して合成データを生成する合成手段と、
該合成手段により生成した合成データを外部へ送出する送出手段とを備えることを特徴とする画像処理装置。In an image processing device for a vehicle that transmits received image data to the outside,
Receiving means for receiving image data in chronological order from outside;
Detecting means for detecting a change area in the image data received by the receiving means; detecting means for detecting a position indicated by the image data including the change area detected by the detection means;
Combining means for combining position data representing the position detected by the detecting means with the image data to generate combined data;
An image processing apparatus comprising: a sending unit that sends out the combined data generated by the combining unit to the outside.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002382339A JP2004212658A (en) | 2002-12-27 | 2002-12-27 | System and method for image display and image processor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002382339A JP2004212658A (en) | 2002-12-27 | 2002-12-27 | System and method for image display and image processor |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004212658A true JP2004212658A (en) | 2004-07-29 |
Family
ID=32817930
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002382339A Pending JP2004212658A (en) | 2002-12-27 | 2002-12-27 | System and method for image display and image processor |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004212658A (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008141622A (en) * | 2006-12-04 | 2008-06-19 | Fujitsu Ten Ltd | Vehicle surrounding information display apparatus |
JP2010130647A (en) * | 2008-12-01 | 2010-06-10 | Aisin Seiki Co Ltd | Vehicle periphery checking system |
WO2010122828A1 (en) * | 2009-04-23 | 2010-10-28 | 本田技研工業株式会社 | Vehicle surrounding monitoring device |
JP2011101093A (en) * | 2009-11-04 | 2011-05-19 | Renesas Electronics Corp | Semiconductor device for image processing, and image processing apparatus |
JP2012090311A (en) * | 2011-12-12 | 2012-05-10 | Fujitsu Ten Ltd | Vehicle display device |
CN103002251A (en) * | 2011-09-16 | 2013-03-27 | 现代摩比斯株式会社 | Image display device for vehicle and method for displaying rapid changed image inputted from camera for vehicle |
JP2020170341A (en) * | 2019-04-03 | 2020-10-15 | パイオニア株式会社 | Display control device, display control method and program |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03267892A (en) * | 1990-03-16 | 1991-11-28 | Toshiba Corp | Picture monitoring device |
JPH07117561A (en) * | 1993-10-27 | 1995-05-09 | Sharp Corp | On-vehicle monitoring camera device |
JPH07200986A (en) * | 1993-12-28 | 1995-08-04 | Nippon Signal Co Ltd:The | Image type pedestrian detector |
JPH08305999A (en) * | 1995-05-11 | 1996-11-22 | Hitachi Ltd | On-vehicle camera system |
JPH0935177A (en) * | 1995-07-18 | 1997-02-07 | Hitachi Ltd | Method and device for supporting driving |
JPH1042221A (en) * | 1996-07-26 | 1998-02-13 | Digital Vision Lab:Kk | Image e communication equipment |
JP2001006096A (en) * | 1999-06-23 | 2001-01-12 | Honda Motor Co Ltd | Peripheral part monitoring device for vehicle |
JP2001023091A (en) * | 1999-07-07 | 2001-01-26 | Honda Motor Co Ltd | Picture display device for vehicle |
JP2001084500A (en) * | 1999-09-14 | 2001-03-30 | Sumitomo Electric Ind Ltd | Running support device for moving body |
JP2001163132A (en) * | 1999-09-30 | 2001-06-19 | Toyota Autom Loom Works Ltd | Image converting device for device for monitoring back of vehicle |
JP2001204013A (en) * | 2000-01-21 | 2001-07-27 | Nippon Seiki Co Ltd | Object detector |
JP2002104117A (en) * | 2000-10-03 | 2002-04-10 | Denso Corp | Driving support system for vehicle |
JP2002127852A (en) * | 2000-10-27 | 2002-05-09 | Aisin Seiki Co Ltd | Vehicle peripheral area display device |
JP2002312768A (en) * | 2001-04-09 | 2002-10-25 | Matsushita Electric Ind Co Ltd | Driving supporting device |
-
2002
- 2002-12-27 JP JP2002382339A patent/JP2004212658A/en active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03267892A (en) * | 1990-03-16 | 1991-11-28 | Toshiba Corp | Picture monitoring device |
JPH07117561A (en) * | 1993-10-27 | 1995-05-09 | Sharp Corp | On-vehicle monitoring camera device |
JPH07200986A (en) * | 1993-12-28 | 1995-08-04 | Nippon Signal Co Ltd:The | Image type pedestrian detector |
JPH08305999A (en) * | 1995-05-11 | 1996-11-22 | Hitachi Ltd | On-vehicle camera system |
JPH0935177A (en) * | 1995-07-18 | 1997-02-07 | Hitachi Ltd | Method and device for supporting driving |
JPH1042221A (en) * | 1996-07-26 | 1998-02-13 | Digital Vision Lab:Kk | Image e communication equipment |
JP2001006096A (en) * | 1999-06-23 | 2001-01-12 | Honda Motor Co Ltd | Peripheral part monitoring device for vehicle |
JP2001023091A (en) * | 1999-07-07 | 2001-01-26 | Honda Motor Co Ltd | Picture display device for vehicle |
JP2001084500A (en) * | 1999-09-14 | 2001-03-30 | Sumitomo Electric Ind Ltd | Running support device for moving body |
JP2001163132A (en) * | 1999-09-30 | 2001-06-19 | Toyota Autom Loom Works Ltd | Image converting device for device for monitoring back of vehicle |
JP2001204013A (en) * | 2000-01-21 | 2001-07-27 | Nippon Seiki Co Ltd | Object detector |
JP2002104117A (en) * | 2000-10-03 | 2002-04-10 | Denso Corp | Driving support system for vehicle |
JP2002127852A (en) * | 2000-10-27 | 2002-05-09 | Aisin Seiki Co Ltd | Vehicle peripheral area display device |
JP2002312768A (en) * | 2001-04-09 | 2002-10-25 | Matsushita Electric Ind Co Ltd | Driving supporting device |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008141622A (en) * | 2006-12-04 | 2008-06-19 | Fujitsu Ten Ltd | Vehicle surrounding information display apparatus |
JP2010130647A (en) * | 2008-12-01 | 2010-06-10 | Aisin Seiki Co Ltd | Vehicle periphery checking system |
US9067537B2 (en) | 2009-04-23 | 2015-06-30 | Honda Motor Co., Ltd. | Vehicle periphery monitoring device |
JP2010258705A (en) * | 2009-04-23 | 2010-11-11 | Honda Motor Co Ltd | Vehicle surrounding monitoring device |
CN102415096A (en) * | 2009-04-23 | 2012-04-11 | 本田技研工业株式会社 | Vehicle surrounding monitoring device |
CN102415096B (en) * | 2009-04-23 | 2015-05-27 | 本田技研工业株式会社 | Vehicle surrounding monitoring device |
WO2010122828A1 (en) * | 2009-04-23 | 2010-10-28 | 本田技研工業株式会社 | Vehicle surrounding monitoring device |
JP2011101093A (en) * | 2009-11-04 | 2011-05-19 | Renesas Electronics Corp | Semiconductor device for image processing, and image processing apparatus |
US9367315B2 (en) | 2009-11-04 | 2016-06-14 | Renesas Electronics Corporation | Image processing semiconductor device and image processing device |
US9836247B2 (en) | 2009-11-04 | 2017-12-05 | Renesas Electronics Corporation | Image processing semiconductor device and image processing device |
US10037169B2 (en) | 2009-11-04 | 2018-07-31 | Renesas Electronics Corporation | Image processing semiconductor device and image processing device |
CN103002251A (en) * | 2011-09-16 | 2013-03-27 | 现代摩比斯株式会社 | Image display device for vehicle and method for displaying rapid changed image inputted from camera for vehicle |
JP2012090311A (en) * | 2011-12-12 | 2012-05-10 | Fujitsu Ten Ltd | Vehicle display device |
JP2020170341A (en) * | 2019-04-03 | 2020-10-15 | パイオニア株式会社 | Display control device, display control method and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2437494B1 (en) | Device for monitoring area around vehicle | |
JP5003395B2 (en) | Vehicle periphery image processing apparatus and vehicle periphery state presentation method | |
JP5615441B2 (en) | Image processing apparatus and image processing method | |
WO2009098743A1 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method | |
US20090097708A1 (en) | Image-Processing System and Image-Processing Method | |
JP2003259361A (en) | Image processing apparatus for vehicle | |
JP2007172540A (en) | Moving object discrimination system, moving object discrimination method, and computer program | |
JP5163165B2 (en) | Vehicle periphery image processing apparatus and vehicle periphery state presentation method | |
CN108141567B (en) | Image generation system and image generation method | |
JP2013141120A (en) | Image display device | |
JP2004212658A (en) | System and method for image display and image processor | |
JP2007139564A (en) | Obstacle detection system, obstacle detection method and computer program | |
JP4677847B2 (en) | Vehicle surrounding monitoring apparatus and vehicle surrounding monitoring method | |
JP2006254318A (en) | Vehicle-mounted camera, vehicle-mounted monitor and forward road area imaging method | |
JP3788400B2 (en) | Image processing apparatus, image processing method, and vehicle monitoring system | |
JP2008026999A (en) | Obstacle detection system and obstacle detection method | |
JP2007087203A (en) | Collision determination system, collision determination method, and computer program | |
JP4404047B2 (en) | Obstacle collision determination system, determination apparatus, obstacle collision determination method, and computer program | |
JP3467774B2 (en) | Image processing apparatus, image processing method, and vehicle monitoring system | |
JP2013115738A (en) | Vehicle periphery imaging apparatus and method of processing vehicle peripheral image | |
JPH07195978A (en) | Vehicle surroundings display unit | |
JP2946727B2 (en) | Obstacle detection device for vehicles | |
KR101030210B1 (en) | Obstacle recognition system for vehicle and method thereof | |
JP2966683B2 (en) | Obstacle detection device for vehicles | |
JP2004266766A (en) | Moving body detection system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051017 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070327 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070807 |