JP2004312063A - 撮像装置、画像表示システム及び画像表示方法 - Google Patents

撮像装置、画像表示システム及び画像表示方法 Download PDF

Info

Publication number
JP2004312063A
JP2004312063A JP2003098575A JP2003098575A JP2004312063A JP 2004312063 A JP2004312063 A JP 2004312063A JP 2003098575 A JP2003098575 A JP 2003098575A JP 2003098575 A JP2003098575 A JP 2003098575A JP 2004312063 A JP2004312063 A JP 2004312063A
Authority
JP
Japan
Prior art keywords
image data
imaging device
image
imaging
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003098575A
Other languages
English (en)
Inventor
Kenichi Hatanaka
健一 畑中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Electric Industries Ltd filed Critical Sumitomo Electric Industries Ltd
Priority to JP2003098575A priority Critical patent/JP2004312063A/ja
Publication of JP2004312063A publication Critical patent/JP2004312063A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】撮像して得られた画像データに画像処理を行なう撮像装置、該撮像装置を利用した画像表示システム及び画像表示方法を提供する。
【解決手段】右前カメラ2は2つのラインメモリ22a,22bを有する画像処理部22を備えており、ラインメモリ22aには、ディスプレイ装置3が送出した同期信号に基づいて撮像部21が撮像して得られた画像フレームをライン単位で記憶し、ラインメモリ22bには、左前カメラ1が、ディスプレイ装置3が送出した同期信号に基づいて撮像部11が撮像し得られた画像フレームをライン単位で記憶する。また、画像処理部22は、2つのラインメモリ22a,22bに記憶してある1ライン分の画素データ毎に、左前カメラ1及び右前カメラ2が撮像した画像フレームを合成する。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、撮像して得られた画像データに画像処理を行なう撮像装置、該撮像装置が撮像した画像データを表示装置に表示する画像表示システム及び画像表示方法に関するものである。
【0002】
【従来の技術】
自動車等の車両の運転を支援する装置として、車両の後方を撮像するバックカメラ、運転席側から死角となる領域を撮像するドアミラーカメラ、車両の左右前方を撮像するブラインドコーナカメラ等を車両の適宜位置に設置し、各カメラが撮像した画像を車載表示装置に表示させる画像表示システムが考案されている。このような画像表示システムを利用する運転者は、例えば、ブラインドコーナカメラにより撮像した車両の左右前方の画像データに基づき、見通しの悪い交差点へ進入する際等に、左右から接近する歩行者、自動車及び二輪車等の確認を行なうことが可能となる。また、車両の後方をバックカメラにより撮像した画像データに基づき、車両後方を確認しながら正確に車庫入れを行うことができる。
【0003】
このような画像表示システムにおいては、車両に取り付けられた複数のカメラからの画像データを切り替えて車載表示装置に表示させるための切替処理、複数のカメラからの画像データを合成する合成処理、車載表示装置に表示させる画像データにグラフィック描画処理等の各種の画像処理を行なうための画像処理装置を備えることにより、各カメラが撮像した画像データに基づき、運転者が見やすい映像を車載表示装置に表示させることができる。
尚、車両に取り付けられた複数のカメラからの画像データを切り替えて車載表示装置に表示させる画像表示システムとしては、以下の特許文献1に示すものがある。
【0004】
【特許文献1】
特開2001−219783号公報
【0005】
【発明が解決しようとする課題】
上述した画像表示システムにおいて、複数のカメラは、夫々のタイミングで撮像し、得られた画像データを逐次画像処理装置へ送出するように構成されているため、画像処理装置は、カメラ毎に各カメラから画像データを取得するためのインタフェースを設ける必要がある。
【0006】
また、夫々のカメラは独立して動作しているため、各カメラ間においては同期をとることができず、例えば、画像処理装置が、複数のカメラ夫々から取得した画像データに合成処理を行なう場合には、各カメラからの画像データをフレーム単位で処理しなければならない。従って、画像処理装置は、各カメラからの画像データをフレーム単位で一時的に記憶しておくため、大容量のフレームメモリを備える必要がある。
しかし、上述した画像処理装置を1つのIC(Integrated Circuit)で実現した場合には、大容量のフレームメモリをICに搭載することはできず、画像処理装置としてのICとは別途にフレームメモリを備える必要があり、システムの設計が煩雑となるという問題がある。
【0007】
更に、各カメラが、NTSC(National Television System Committee standard)方式等のアナログ信号を出力するように構成されている場合には、この画像データを取得する画像処理装置においては、各カメラとの接続状況を把握することができない。従って、画像処理装置は、予め設定された各カメラとの接続形態に従った画像処理の実行しかできず、例えば、車両に取り付けるカメラを増減した場合には、新たに画像処理装置の動作処理内容を変更する必要があるという問題があった。
【0008】
本発明は斯かる事情に鑑みてなされたものであり、撮像して得られた画像を形成する画素のうちの、同一水平走査線上の複数の画素に応じた画像データを記憶する記憶手段を備え、記憶してある画像データに画像処理を行なうことにより、撮像して得られる画像データを利用したシステムを構築する場合に、画像処理装置を別途に設ける必要がなく、システムの設計を簡略化することができる撮像装置を提供することを目的とする。
【0009】
本発明の他の目的は、外部から画像データを受け付け、記憶してある画像データと受け付けた画像データとを合成することにより、各撮像装置が撮像した画像データに画像処理を行なう画像処理装置を別途に設ける必要がなく、システムの設計を簡略化することができる撮像装置を提供することにある。
【0010】
本発明の更に他の目的は、表示装置が、車両に取り付けられる第1撮像装置及び第2撮像装置に信号を送出し、前記第1撮像装置は、前記信号に基づき撮像して画像データを取得し、取得した画像データを第2撮像装置へ送出し、第2撮像装置は、受け付けた信号に基づき撮像して画像データを取得し、取得した画像データと前記第1撮像装置が送出した画像データとを合成して表示装置へ送出することにより、2つの撮像装置が撮像して得られた画像データを合成する画像処理装置を別途に設ける必要がなく、システムの設計を簡略化することができる画像表示システム及び画像表示方法を提供することにある。
【0011】
本発明の更に他の目的は、第2撮像装置が、表示装置から、第2撮像装置が合成した画像データの送出を指示する第1指示信号を取得した場合に、前記第1撮像装置が送出した画像データと、自身の第2撮像手段が取得した画像データとを合成することにより、合成した画像データを送出する必要がある場合にのみ合成処理を行なうことができ、第2撮像装置が行なう合成処理による処理負担を軽減することができる画像表示システムを提供することにある。
【0012】
本発明の更に他の目的は、第1撮像装置及び第2撮像装置が、表示装置から、第1撮像装置が取得した画像データの送出を指示する第2指示信号を取得した場合、第1撮像装置は、撮像して取得した画像データを第2撮像装置へ送出し、前記第2撮像装置は、前記第1撮像装置が送出した画像データを前記表示装置へ送出することにより、第1撮像装置が取得した画像データを送出する必要がある場合に、第2撮像装置は第1撮像装置が送出した画像データを表示装置へ送出し、前記表示装置は前記第1撮像装置が取得した画像データを表示することができる画像表示システムを提供することにある。
【0013】
本発明の更に他の目的は、第2撮像装置が、表示装置から、第2撮像装置が取得した画像データの送出を指示する第3指示信号を取得した場合に、撮像して得られた画像データを表示装置へ送出することにより、第2撮像装置が取得した画像データを送出する必要がある場合にのみ、第2撮像装置が撮像することができ、第2撮像装置による処理負担を軽減することができる画像表示システムを提供することにある。
【0014】
【課題を解決するための手段】
第1発明に係る撮像装置は、車両に取り付けられ、画像を取得する撮像装置において、取得した画像を形成する画素のうちの、同一水平走査線上の複数の画素に応じた画像データを記憶する記憶手段と、該記憶手段に記憶してある画像データに画像処理を行なう画像処理手段とを備えることを特徴とする。
【0015】
第2発明に係る撮像装置は、画像データを受け付ける受付手段を備え、前記画像処理手段は、前記記憶手段に記憶してある画像データと前記受付手段が受け付けた画像データとを合成する手段を備えることを特徴とする。
【0016】
第3発明に係る画像表示システムは、車両に取り付けられる第1撮像装置及び第2撮像装置と、車両に搭載される表示装置とを接続した画像表示システムにおいて、前記表示装置は、前記第1撮像装置及び第2撮像装置に信号を送出する手段を備え、前記第1撮像装置は、受け付けた信号に基づき撮像して画像データを取得する第1撮像手段と、該第1撮像手段が取得した画像データを第2撮像装置へ送出する手段とを備え、前記第2撮像装置は、受け付けた信号に基づき撮像して画像データを取得する第2撮像手段と、該第2撮像手段が取得した画像データと前記第1撮像装置が送出した画像データとを合成する合成手段と、該合成手段が合成した画像データを前記表示装置へ送出する手段とを備え、前記表示装置は、前記第2撮像装置が送出した画像データを表示する手段を備えることを特徴とする。
【0017】
第4発明に係る画像表示システムは、前記表示装置は、前記第2撮像装置が合成した画像データの送出を指示する第1指示信号を前記第2撮像装置へ送出する手段を備え、前記第2撮像装置は、前記表示装置から第1指示信号を取得する手段を備え、前記合成手段は、前記第1指示信号を取得した場合に、前記第2撮像手段が取得した画像データと前記第1撮像装置が送出した画像データとを合成するように構成してあることを特徴とする。
【0018】
第5発明に係る画像表示システムは、前記表示装置は、前記第1撮像装置が取得した画像データの送出を指示する第2指示信号を前記第1撮像装置及び第2撮像装置へ送出する手段を備え、前記第1撮像装置及び第2撮像装置は、前記表示装置から第2指示信号を取得する手段を備え、前記第1撮像装置の第1撮像手段は、前記第2指示信号を取得した場合に、受け付けた前記信号に基づき撮像して画像データを取得するように構成してあり、前記第2撮像装置は、前記第2指示信号を取得した場合に、前記第1撮像装置が送出した画像データを前記表示装置へ送出する手段を備えることを特徴とする。
【0019】
第6発明に係る画像表示システムは、前記表示装置は、前記第2撮像装置が取得した画像データの送出を指示する第3指示信号を前記第2撮像装置へ送出する手段を備え、前記第2撮像装置は、前記表示装置から第3指示信号を取得する手段を備え、前記第2撮像手段は、前記第3指示信号を取得した場合に、受け付けた前記信号に基づき撮像して画像データを取得するように構成してあることを特徴とする。
【0020】
第7発明に係る画像表示方法は、車両に取り付けられる第1撮像装置及び第2撮像装置で撮像して得られる画像データを、車両に搭載される表示装置で表示する画像表示方法において、前記表示装置が、前記第1撮像装置及び第2撮像装置に信号を送出し、前記第1撮像装置が、受け付けた前記信号に基づき撮像して画像データを取得し、取得した画像データを第2撮像装置へ送出し、前記第2撮像装置が、受け付けた前記信号に基づき撮像して画像データを取得し、取得した画像データと前記第1撮像装置が送出した画像データとを合成し、合成した画像データを前記表示装置へ送出し、前記表示装置が、前記第2撮像装置が送出した画像データを表示することを特徴とする。
【0021】
第1発明による場合は、車両に取り付けられる撮像装置が、撮像して取得した画像を形成する画素のうちの、同一水平走査線上の複数の画素に応じた画像データを記憶する記憶手段を備え、該記憶手段に記憶する画像データに画像処理手段にて画像処理を行なうことにより、この撮像装置が撮像した画像データを利用したシステムを構築する場合に、画像処理装置を別途に設ける必要がなく、システムの設計を簡略化することができる。
また、得られた画像データに水平方向のライン単位で画像処理を行なうため、大容量のフレームメモリを備える必要がなく、記憶容量の少ないラインメモリ等を備えればよく、例えば、撮像装置内の画像処理手段を1つのICで実現する場合には、このICにラインメモリを内蔵することができ、システムの設計をより簡略化することができる。
【0022】
第2発明による場合は、外部から画像データを受け付ける受付手段を備え、前記記憶手段に記憶してある画像データと外部から受け付けた画像データとを合成することにより、各撮像装置が撮像した画像データに画像処理を行なう画像処理装置を別途に設ける必要がなく、システムの設計を簡略化することができる。
【0023】
第3及び第7発明による場合は、車両に搭載される表示装置が、車両に取り付けられる第1撮像装置及び第2撮像装置に信号を送出し、前記第1撮像装置は、前記信号に基づき撮像して画像データを取得し、取得した画像データを第2撮像装置へ送出する。また、第2撮像装置は、受け付けた信号に基づき撮像して画像データを取得し、取得した画像データと前記第1撮像装置が送出した画像データとを合成手段にて合成して表示装置へ送出する。
【0024】
これにより、第2撮像装置において、自身が撮像して得られた画像データと、第1撮像装置から取得した画像データとの間の同期を取ることができるため、これらの画像データを合成する場合に、フレーム単位で合成する必要がなく、ライン単位での合成が可能となる。従って、画像データにライン単位で合成処理を行なうため、大容量のフレームメモリを備える必要がなく、第2撮像装置は記憶容量の少ないラインメモリ等を備えればよく、例えば、第2撮像装置内の合成手段を1つのICで実現する場合には、このICにラインメモリを内蔵することができ、システムの設計をより簡略化することができる。
また、このように第2撮像装置により合成された画像データを表示装置が表示することにより、第1撮像装置及び第2撮像装置が夫々撮像して得られた画像データを合成する画像処理装置を別途に設ける必要がなく、システムの設計を簡略化することができる。
【0025】
第4発明による場合は、表示装置が、第2撮像装置が合成した画像データの送出を指示する第1指示信号を前記第2撮像装置へ送出し、第2撮像装置が、前記表示装置から第1指示信号を取得した場合に、前記第1撮像装置が送出した画像データと、自身の第2撮像手段で撮像した画像データとを合成することにより、合成した画像データを送出する必要がある場合にのみ合成処理を行なうことができ、第2撮像装置が行なう合成処理による処理負担を軽減することができる。
【0026】
第5発明による場合は、表示装置が、第1撮像装置が取得した画像データの送出を指示する第2指示信号を前記第1撮像装置及び第2撮像装置へ送出し、第1撮像装置及び第2撮像装置が前記第2指示信号を取得した場合、第1撮像装置は、撮像して取得した画像データを第2撮像装置へ送出し、前記第2撮像装置は、前記第1撮像装置が送出した画像データを前記表示装置へ送出することにより、第1撮像装置が取得した画像データを送出する必要がある場合に、第2撮像装置は第1撮像装置が送出した画像データを表示装置へ送出することができ、前記表示装置は前記第1撮像装置が取得した画像データを表示することができる。また、前記第2指示信号を取得した第2撮像装置が、撮像処理等を行なわない場合には、不要な処理による第2撮像装置の処理負担を軽減することができる。
【0027】
第6発明による場合は、表示装置が、第2撮像装置が取得した画像データの送出を指示する第3指示信号を前記第2撮像装置へ送出し、第2撮像装置が、前記第3指示信号を取得した場合に、撮像して得られた画像データを表示装置へ送出することにより、第2撮像装置が取得した画像データを送出する必要がある場合にのみ、第2撮像装置が撮像することができ、第2撮像装置による処理負担を軽減することができる。
【0028】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。尚、本実施の形態では、自動車等の車両に取り付けられた2つのカメラ(撮像装置)と、各カメラで撮像した画像を表示するディスプレイ装置とを備えたシステムに適用して説明する。また、画像は、例えば1秒当たり30枚の画像フレーム(画像データ)で構成されている。
【0029】
図1は本発明に係る画像表示システムの構成例を示すブロック図であり、図中100は本発明に係る画像表示システムを示しており、この画像表示システム100は、図示しない車両に備え付けられた前バンパーの左端部及び右端部に夫々取り付けられた2つの左前カメラ1及び右前カメラ2と、ディスプレイ装置3とを備えている。
左前カメラ1及び右前カメラ2は同様の内部構成を有しているが、異なった画像処理を行なうように構成されている。
【0030】
また、左前カメラ1、右前カメラ2及びディスプレイ装置3は、ディジーチェーン状に接続してあり、図1においては、左前カメラ1と右前カメラ2とを、及び右前カメラ2とディスプレイ装置3とを夫々全二重通信が可能なケーブル100a,100bを介して接続してある。
尚、左前カメラ1、右前カメラ2及びディスプレイ装置3は、ディジーチェーン状に接続される構成に限られず、IEEE(Institute of Electrical and Electronic Engineers)1394に準拠した車載LAN(Local Area Network)等を介して、リング状又はツリー状に接続することも可能である。この場合には、左前カメラ1が、画像フレームの送信先を右前カメラ2とし、右前カメラ2が、画像フレームの送信先をディスプレイ装置3とすればよい。
【0031】
左前カメラ1は、タイミング生成部10と、撮像部11と、画像処理部12と、通信インタフェース13と、コネクタ14,15等とを備えており、コネクタ14に接続されたケーブル100aを介して右前カメラ2に接続されている。
本実施の形態では、左前カメラ1のコネクタ15には、何も接続されていないが、コネクタ15にケーブルを接続し、このケーブルを介して画像表示システム100を構成する別のカメラ等の車載機器を追加することも可能である。
【0032】
左前カメラ1において、コネクタ14はケーブル100aを介して右前カメラ2から同期信号(信号)を取得しており、取得した同期信号は、通信インタフェース13を介してタイミング生成部10に入力される。
タイミング生成部10は、入力された同期信号に基づき、撮像部11及び画像処理部12を所定のタイミングで動作させるためのタイミング信号を生成し、生成したタイミング信号を撮像部11及び画像処理部12に入力する。
【0033】
また、タイミング生成部10は、右前カメラ2から後述する第1指示信号、第2指示信号又は第3指示信号を取得しており、取得した第1指示信号、第2指示信号又は第3指示信号に対応して、上述したタイミング信号を生成する。
従って、左前カメラ1のタイミング生成部10は、運転者が左前カメラ1で撮像された映像をディスプレイ装置3に表示させたい場合にのみ、上述したタイミング信号を生成し、撮像部11及び画像処理部12を動作させることができる。
【0034】
撮像部11は、CCD(Charge Coupled Device)等の撮像素子を備えており、タイミング生成部10から入力されたタイミング信号に基づき撮像して画像フレームを取得し、得られた画像フレーム中の各画素データを順次画像処理部12に入力する。
画像処理部12は、RAM等からなり、撮像部11が取得した画像フレームを形成する各画素のうちの水平走査線上の複数の画素に対応する1ライン分の画素データを記憶するラインメモリ12aを備えており、撮像部11が撮像して得られた画像フレーム中の1ライン分の画素データを順次ラインメモリ12aに記憶する。また、画像処理部12は、ラインメモリ12aに記憶された1ライン分の画素データ毎に、撮像部11における結像系及び撮像系等で生じる各種の歪みを取り除く補正処理等を行ない、通信インタフェース13を介して右前カメラ2へ送出する。
【0035】
右前カメラ2は、タイミング生成部20と、撮像部21と、画像処理部22と、通信インタフェース23と、コネクタ24,25等とを備えており、コネクタ25に接続されたケーブル100aを介して左前カメラ1に、またコネクタ24に接続されたケーブル100bを介してディスプレイ装置3に接続されている。右前カメラ2の撮像部21、通信インタフェース23、コネクタ24,25は、左前カメラ1の各部と同様の構成を有しているため説明を省略する。
【0036】
尚、コネクタ24は、ケーブル100bを介してディスプレイ装置3から後述する第1指示信号、第2指示信号又は第3指示信号と、同期信号とを取得しており、取得した第1指示信号、第2指示信号又は第3指示信号と、同期信号とは、通信インタフェース23を介してタイミング生成部20に入力されるとともに、ケーブル100aを介して左前カメラ1へ送出される。
タイミング生成部20は、取得した第1指示信号、第2指示信号又は第3指示信号に対応して、ディスプレイ装置3から入力される同期信号に基づき、撮像部21及び画像処理部22を所定のタイミングで動作させるためのタイミング信号を生成する。
【0037】
これにより、右前カメラ2のタイミング生成部20は、運転者が右前カメラ2で撮像された映像をディスプレイ装置3に表示させたい場合にのみ、上述したタイミング信号を生成し、撮像部21及び画像処理部22を動作させることができる。
また、右前カメラ2は、コネクタ25に接続されたケーブル100aを介して左前カメラ1から順次画像フレームを取得しており、通信インタフェース23はこの画像フレームを取得する取得手段として動作し、取得した画像フレームを画像処理部22に入力する。
【0038】
画像処理部22は、RAM等からなる2つのラインメモリ22a,22bを備えており、通信インタフェース23を介して左前カメラ1から取得する画像フレーム中の1ライン分の画素データを順次ラインメモリ22bに記憶する。また、画像処理部22は、撮像部21が撮像して得られた画像フレーム中の1ライン分の画素データを順次ラインメモリ22aに記憶する。
また、画像処理部22は、ラインメモリ22aに記憶された1ライン分の画素データ毎に、撮像部21における結像系及び撮像系等で生じる各種の歪みを取り除く補正処理等を行なうとともに、このように補正処理を行なった1ライン分の画素データと、ラインメモリ22bに記憶してある左前カメラ1から取得した画像フレーム中の1ライン分の画素データとを合成する合成手段として動作する。
【0039】
図2は画像処理部22による合成処理を説明するための図であり、図2(a)はケーブル100aを介して左前カメラ1から取得した画像フレームを、図2(b)は撮像部21が撮像して得られた画像フレームを夫々示している。
画像処理部22は、図2(c)に示すように、左前カメラ1から取得した画像フレームと、撮像部21が撮像して得られた画像フレームとをライン単位で合成し、順次合成される1ライン分の画素データを通信インタフェース23を介して順次コネクタ24からディスプレイ装置3へ送出する。
【0040】
ディスプレイ装置3は、タイミング制御部30と、画像処理部31と、表示部32と、タッチパネル部33と、通信インタフェース34と、コネクタ35等とを備えており、コネクタ35に接続されたケーブル100bを介して右前カメラ2に接続されている。
ディスプレイ装置3は、例えば、運転者が車両のイグニッションスイッチをオンすることにより電源が供給されて起動するように構成されており、電源が供給された場合、まずタイミング制御部30が動作し、画像処理部31及び表示部32を所定のタイミングで動作させるためのタイミング信号を生成し、生成したタイミング信号を画像処理部31及び表示部32に入力する。
【0041】
また、タイミング制御部30は、左前カメラ1及び右前カメラ2の同期をとるための同期信号も生成しており、生成した同期信号を通信インタフェース34を介して右前カメラ2へ送出する。
コネクタ35は、上述のように、通信インタフェース34を介してタイミング制御部30から取得した同期信号を右前カメラ2へ送出するとともに、ケーブル100bを介して右前カメラ2から画像フレームを取得しており、取得した画像フレームは、通信インタフェース34を介して画像処理部31に入力される。
【0042】
画像処理部31は、通信インタフェース34を介して右前カメラ2から取得した画像フレームを液晶ディスプレイ等の表示部32に表示させるために表示用データに変換し、タイミング制御部30から入力されるタイミング信号に基づき生成した表示用データを表示部32に入力して表示させる。また、画像処理部31はタッチパネル部33に接続されており、タッチパネル部33からの制御信号を取得する。
図3はディスプレイ装置3の構成例を示す模式図であり、図においては、左前カメラ1及び右前カメラ2が撮像した画像フレームを表示する表示部32の下部近傍にタッチパネル部33が備えてある。
【0043】
本実施の形態のタッチパネル部33は、運転者がディスプレイ装置3の表示部32に表示させて参照したい映像の表示形態、及び映像を取得するカメラを選択する際に用いるものであり、左前カメラ1による映像を表示させるための左前カメラボタン33a、右前カメラ2による映像を表示させるための右前カメラボタン33b、左前カメラ1による映像と右前カメラ2による映像とを合成した合成映像を表示させるための合成映像ボタン33cを備えている。
【0044】
運転者は、タッチパネル部33の各ボタンをオンすることにより、参照したい表示形態及びカメラを選択し、タッチパネル部33は、運転者によりオンされた各ボタンに対応する制御信号を画像処理部31に入力する。
画像処理部31は、タッチパネル部33から入力された制御信号に基づき動作しており、例えば、左前カメラボタン33aに対応する制御信号を取得した場合、右前カメラ2に、左前カメラ1からの画像フレームをそのまま送出するように指示する第1指示信号を入力する。
【0045】
また、画像処理部31は、タッチパネル部33から右前カメラボタン33bに対応する制御信号を取得した場合、右前カメラ2に、右前カメラ2が撮像した画像フレームのみを送出するように指示する第2指示信号を入力し、合成映像ボタン33cに対応する制御信号を取得した場合、右前カメラ2に、左前カメラ1が撮像した画像フレームと右前カメラ2が撮像した画像フレームとを合成した画像フレームを送出するように指示する第3指示信号を入力する。
上述したように、実行すべき画像処理を指示する第1指示信号、第2指示信号又は第3指示信号を取得した右前カメラ2は、取得した指示信号を左前カメラ1へ送出するとともに、前記指示信号に基づく処理を行ない、得られた画像フレームをケーブル100bを介してディスプレイ装置3へ送出する。
【0046】
ここで、例えば、画像表示システム100において、左前カメラ1が接続されていない場合、又は起動していない場合には、ディスプレイ装置3に左前カメラ1による映像を表示することはできないため、運転者は左前カメラボタン33a及び合成映像ボタン33cを選択することができない。
従って、この場合、例えば、左前カメラボタン33a及び合成映像ボタン33cの箇所のバックライトを消灯させる等により各ボタンを選択できないことを明示する構成とする。尚、このようにタッチパネル部33の各ボタンについて、選択が可能か否かを判断するために、ディスプレイ装置3が起動した場合、画像処理部31が所定の動作確認コマンドを発行し、ケーブル100bを介して右前カメラ2へ送出する。
【0047】
右前カメラ2は、ディスプレイ装置3から動作確認コマンドを取得した場合、この動作確認コマンドをケーブル100aを介して左前カメラ1へ送出する。
左前カメラ1は、起動している場合、自身が動作していることを示す返送信号をケーブル100aを介して右前カメラ2へ送出し、この返送信号を取得した右前カメラ2は、起動している場合、左前カメラ1からの返送信号とともに、自身が動作していることを示す返送信号をケーブル100bを介してディスプレイ装置3へ送出するように夫々構成されている。
【0048】
このようにして、左前カメラ1及び右前カメラ2から所定の返送信号を取得したディスプレイ装置3は、左前カメラ1及び右前カメラ2が動作していることを把握することができ、ディスプレイ装置3の画像処理部31はタッチパネル部33の各ボタンの表示を行なうことができる。
上述した構成により、車両の運転者は、画像表示システム100のディスプレイ装置3に表示した各カメラからの映像を参照することができ、例えば、停車している車両を発車させる際、及び見通しの悪い交差点へ進入する際に、各カメラの撮像領域内、特に車両の周辺に歩行者等が存在しないことを確認することができる。
【0049】
以下に、上述した構成の画像表示システム100において、左前カメラ1及び右前カメラ2が撮像した画像フレームをディスプレイ装置3に表示させる画像表示処理について説明する。
図4は本発明に係る画像表示システム100におけるディスプレイ装置3による画像表示処理手順を示すフローチャートである。
【0050】
ディスプレイ装置3は、運転者が車両のイグニッションスイッチをオンすることにより起動し、起動した場合、画像処理部31により、所定の動作確認コマンドを右前カメラ2へ送出し(S1)、右前カメラ2は、取得した動作確認コマンドを左前カメラ1へ送出する(S2)。
左前カメラ1は、取得した動作確認コマンドに対応する返送信号を右前カメラ2へ送出し(S3)、右前カメラ2は、左前カメラ1からの返送信号とともに、自身が動作していることを示す返送信号をディスプレイ装置3へ送出する(S4)。
【0051】
左前カメラ1及び右前カメラ2からの返送信号を取得したディスプレイ装置3において、画像処理部31は、前記返送信号に基づき、画像表示システム100を構成する各カメラを把握し(S5)、把握した動作中のカメラに基づきタッチパネル部33の各ボタンを表示する(S6)。
次にディスプレイ装置3は、運転者がタッチパネル部33の各ボタンをオンすることにより、各ボタンが選択されたか否かを判断しており(S7)、各ボタンが選択されない場合(S7:NO)、画像処理部31は、タッチパネル部33の各ボタンを表示したまま待機しており、各ボタンが選択された場合(S7:YES)、選択されたボタンに対応する制御信号をタッチパネル部33から取得する(S8)。
【0052】
タッチパネル部33から制御信号を取得した画像処理部31は、取得した制御信号に基づき、左前カメラ1及び右前カメラ2に各種の動作を指示するための指示信号(第1指示信号、第2指示信号又は第3指示信号)を右前カメラ2へ送出する。尚、この指示信号を取得した右前カメラ2は、この指示信号を左前カメラ1へ送出する。
また、ディスプレイ装置3は、タイミング制御部30により、左前カメラ1及び右前カメラ2の同期をとるための同期信号を生成し、ケーブル100bを介して右前カメラ2へ送出しており(S9)、右前カメラ2は、取得した同期信号を左前カメラ1へ送出する(S10)。
【0053】
左前カメラ1は、タイミング生成部10により、取得した同期信号に基づきタイミング信号を生成しており、このタイミング信号に基づき、撮像部11が画像フレームを取得してラインメモリ12aに順次記憶させ、記憶してある1ライン分の画素データに画像処理部12が所定の処理を行なって右前カメラ2へ送出する(S11)。
また、右前カメラ2は、左前カメラ1から取得する画像フレームをライン単位でラインメモリ22bに記憶するとともに、左前カメラ1と同様に、タイミング生成部20により生成したタイミング信号に基づき、撮像部21により画像フレームを取得し、取得した画像フレームをライン単位でラインメモリ22aに記憶する。
【0054】
更に、右前カメラ2は、ラインメモリ22a及びラインメモリ22bに夫々記憶してある画素データを合成して1ライン分の画素データを生成することにより、左前カメラ1が取得した画像フレームと、右前カメラ2が取得した画像フレームとをライン単位で合成してディスプレイ装置3へ送出する(S12)。
【0055】
ディスプレイ装置3は、右前カメラ2から取得した画像フレームから、画像処理部31により表示用データを生成し、表示部32に入力して表示部32に表示させる(S13)。
これにより、運転者が選択した表示形態の映像をディスプレイ装置3に表示させることができ、表示された映像を参照することにより、運転者が、車両の近傍に存在する歩行者等を確認することができる。
【0056】
図5はディスプレイ装置3の表示画面例を示す図であり、図5(a)は運転者が左前カメラボタン33aを選択した場合の表示画面を、図5(b)は運転者が合成映像ボタン33cを選択した場合の表示画面を夫々示している。
尚、右前カメラ2は、運転者が左前カメラボタン33aを選択した場合、左前カメラ1から取得した画像フレームをそのままディスプレイ装置3へ送出し、運転者が合成映像ボタン33cを選択した場合、左前カメラ1から取得した画像フレームと自身の撮像部21が撮像した画像フレームとを合成して得られた画像フレームをディスプレイ装置3へ送出している。
【0057】
このように、運転者の指示によりディスプレイ装置3に表示する映像を切り替えることにより、運転者が参照したい映像を的確に表示することができ、車両の発車時や、見通しの悪い交差点への進入時において、歩行者等をより容易に発見することができる。
【0058】
上述した実施の形態では、2つのカメラを備えたシステムについて説明しているが、3つ以上のカメラを備えることも可能である。
例えば、上述した実施の形態において、右前カメラ2とディスプレイ装置3との間に第3のカメラを追加し、この第3のカメラに備える画像処理部が、運転者がより見やすい映像に変換するためのグラフィック描画処理(画像処理)を行なうように構成されている場合には、左前カメラ1が取得した画像フレームを、右前カメラ2において、右前カメラ2が取得した画像フレームと合成し、更に第3のカメラにおいて、グラフィック描画処理を行なうことにより、図5(c)に示すようなグラフィック処理を行なった画像フレームを表示することができる。
【0059】
尚、この場合には、当然、タッチパネル部33にグラフィック映像ボタン33dを備え、運転者がグラフィック映像ボタン33dを選択した場合、第3のカメラの画像処理部が、右前カメラ2が合成した画像フレームにグラフィック描画処理を行なってディスプレイ装置3に表示させる。
このように、左前カメラ1,右前カメラ2及び第3のカメラが夫々画像処理を行なうことにより、画像処理を分散して行なうことができ、各カメラが行うべき処理負担を軽減することができる。
【0060】
【発明の効果】
第1発明による場合は、車両に取り付けられる撮像装置が、撮像して得られた画像を形成する画素のうちの、同一水平走査線上の複数の画素に応じた画像データを記憶しておき、記憶してある画像データに画像処理を行なうことにより、この撮像装置が撮像した画像データを利用したシステムを構築する場合に、画像処理装置を別途に設ける必要がなく、システムの設計を簡略化することができる。また、得られた画像データにライン単位で画像処理を行なうため、大容量のフレームメモリを備える必要がなく、記憶容量の少ないラインメモリ等を備えればよく、例えば、撮像装置内の画像処理手段を1つのICで実現する場合には、このICにラインメモリを内蔵することができ、システムの設計をより簡略化することができる。
【0061】
第2発明による場合は、外部から画像データを受け付け、記憶してある画像データと、受け付けた画像データとを合成することにより、各撮像装置が撮像した画像データに画像処理を行なう画像処理装置を別途に設ける必要がなく、システムの設計を簡略化することができる。
【0062】
第3及び第7発明による場合は、第2撮像装置において、自身が撮像して得られた画像データと、第1撮像装置から取得した画像データとの間の同期を取ることができるため、これらの画像データを合成する場合にフレーム単位で合成する必要がなく、ライン単位での合成が可能となる。従って、画像データにライン単位で合成処理を行なうため大容量のフレームメモリを備える必要がなく、第2撮像装置は記憶容量の少ないラインメモリ等を備えればよく、例えば、第2撮像装置内の合成手段を1つのICで実現する場合には、このICにラインメモリを内蔵することができ、システムの設計をより簡略化することができる。
また、このように第2撮像装置により合成された画像データを表示装置が表示することにより、第1撮像装置及び第2撮像装置が夫々撮像して得られた画像データを合成する画像処理装置を別途に設ける必要がなく、システムの設計を簡略化することができる。
【0063】
第4発明による場合は、表示装置が、第2撮像装置が合成した画像データの送出を指示する第1指示信号を前記第2撮像装置へ送出し、第2撮像装置が、前記表示装置から前記第1指示信号を取得した場合に、前記第1撮像装置が送出した画像データと、自身の第2撮像手段が取得した画像データとを合成することにより、合成した画像データを送出する必要がある場合にのみ合成処理を行なうことができ、第2撮像装置が行なう合成処理による処理負担を軽減することができる。
【0064】
第5発明による場合は、表示装置が、第1撮像装置が取得した画像データの送出を指示する第2指示信号を前記第1撮像装置及び第2撮像装置へ送出し、第1撮像装置及び第2撮像装置が前記第2指示信号を取得した場合、第1撮像装置は、撮像して取得した画像データを第2撮像装置へ送出し、前記第2撮像装置は、前記第1撮像装置が送出した画像データを前記表示装置へ送出することにより、第1撮像装置が取得した画像データを送出する必要がある場合に、第2撮像装置は第1撮像装置が送出した画像データを表示装置へ送出することができ、前記表示装置は前記第1撮像装置が取得した画像データを表示することができる。また、前記第2指示信号を取得した第2撮像装置が、撮像処理等を行なわない場合には、不要な処理による第2撮像装置の処理負担を軽減することができる。
【0065】
第6発明による場合は、表示装置が、第2撮像装置が取得した画像データの送出を指示する第3指示信号を前記第2撮像装置へ送出し、第2撮像装置が、前記第3指示信号を取得した場合に、撮像して得られた画像データを表示装置へ送出することにより、第2撮像装置が取得した画像データを送出する必要がある場合にのみ、第2撮像装置が撮像することができ、第2撮像装置による処理負担を軽減することができる。
【図面の簡単な説明】
【図1】本発明に係る画像表示システムの構成例を示すブロック図である。
【図2】画像処理部による合成処理を説明するための図である。
【図3】ディスプレイ装置の構成例を示す模式図である。
【図4】本発明に係る画像表示システムにおけるディスプレイ装置による画像表示処理手順を示すフローチャートである。
【図5】ディスプレイ装置の表示画面例を示す図である。
【符号の説明】
100 画像表示システム
1 左前カメラ
12 画像処理部
12a ラインメモリ(記憶手段)
2 右前カメラ
22 画像処理部(画像処理部、合成手段)
22a,22b ラインメモリ(記憶手段)
23 通信インタフェース(取得手段)
3 ディスプレイ装置(表示装置)

Claims (7)

  1. 車両に取り付けられ、画像を取得する撮像装置において、
    取得した画像を形成する画素のうちの、同一水平走査線上の複数の画素に応じた画像データを記憶する記憶手段と、
    該記憶手段に記憶してある画像データに画像処理を行なう画像処理手段とを備えることを特徴とする撮像装置。
  2. 画像データを受け付ける受付手段を備え、
    前記画像処理手段は、前記記憶手段に記憶してある画像データと前記受付手段が受け付けた画像データとを合成する手段を備える請求項1に記載の撮像装置。
  3. 車両に取り付けられる第1撮像装置及び第2撮像装置と、車両に搭載される表示装置とを接続した画像表示システムにおいて、
    前記表示装置は、
    前記第1撮像装置及び第2撮像装置に信号を送出する手段を備え、
    前記第1撮像装置は、
    受け付けた信号に基づき撮像して画像データを取得する第1撮像手段と、
    該第1撮像手段が取得した画像データを第2撮像装置へ送出する手段とを備え、
    前記第2撮像装置は、
    受け付けた信号に基づき撮像して画像データを取得する第2撮像手段と、
    該第2撮像手段が取得した画像データと前記第1撮像装置が送出した画像データとを合成する合成手段と、
    該合成手段が合成した画像データを前記表示装置へ送出する手段とを備え、
    前記表示装置は、
    前記第2撮像装置が送出した画像データを表示する手段を備えることを特徴とする画像表示システム。
  4. 前記表示装置は、
    前記第2撮像装置が合成した画像データの送出を指示する第1指示信号を前記第2撮像装置へ送出する手段を備え、
    前記第2撮像装置は、前記表示装置から第1指示信号を取得する手段を備え、
    前記合成手段は、前記第1指示信号を取得した場合に、前記第2撮像手段が取得した画像データと前記第1撮像装置が送出した画像データとを合成するように構成してある請求項3に記載の画像表示システム。
  5. 前記表示装置は、
    前記第1撮像装置が取得した画像データの送出を指示する第2指示信号を前記第1撮像装置及び第2撮像装置へ送出する手段を備え、
    前記第1撮像装置及び第2撮像装置は、前記表示装置から第2指示信号を取得する手段を備え、
    前記第1撮像装置の第1撮像手段は、前記第2指示信号を取得した場合に、受け付けた前記信号に基づき撮像して画像データを取得するように構成してあり、
    前記第2撮像装置は、前記第2指示信号を取得した場合に、前記第1撮像装置が送出した画像データを前記表示装置へ送出する手段を備える請求項3に記載の画像表示システム。
  6. 前記表示装置は、
    前記第2撮像装置が取得した画像データの送出を指示する第3指示信号を前記第2撮像装置へ送出する手段を備え、
    前記第2撮像装置は、前記表示装置から第3指示信号を取得する手段を備え、
    前記第2撮像手段は、前記第3指示信号を取得した場合に、受け付けた前記信号に基づき撮像して画像データを取得するように構成してある請求項3に記載の画像表示システム。
  7. 車両に取り付けられる第1撮像装置及び第2撮像装置で撮像して得られる画像データを、車両に搭載される表示装置で表示する画像表示方法において、
    前記表示装置が、
    前記第1撮像装置及び第2撮像装置に信号を送出し、
    前記第1撮像装置が、
    受け付けた前記信号に基づき撮像して画像データを取得し、
    取得した画像データを第2撮像装置へ送出し、
    前記第2撮像装置が、
    受け付けた前記信号に基づき撮像して画像データを取得し、
    取得した画像データと前記第1撮像装置が送出した画像データとを合成し、
    合成した画像データを前記表示装置へ送出し、
    前記表示装置が、
    前記第2撮像装置が送出した画像データを表示することを特徴とする画像表示方法。
JP2003098575A 2003-04-01 2003-04-01 撮像装置、画像表示システム及び画像表示方法 Pending JP2004312063A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003098575A JP2004312063A (ja) 2003-04-01 2003-04-01 撮像装置、画像表示システム及び画像表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003098575A JP2004312063A (ja) 2003-04-01 2003-04-01 撮像装置、画像表示システム及び画像表示方法

Publications (1)

Publication Number Publication Date
JP2004312063A true JP2004312063A (ja) 2004-11-04

Family

ID=33463311

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003098575A Pending JP2004312063A (ja) 2003-04-01 2003-04-01 撮像装置、画像表示システム及び画像表示方法

Country Status (1)

Country Link
JP (1) JP2004312063A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006080122A1 (ja) * 2005-01-27 2006-08-03 Matsushita Electric Industrial Co., Ltd. 表示制御装置
JP2008141622A (ja) * 2006-12-04 2008-06-19 Fujitsu Ten Ltd 車両周辺情報表示装置
JP2010069943A (ja) * 2008-09-16 2010-04-02 Honda Motor Co Ltd 車両周囲監視装置
JP2012090311A (ja) * 2011-12-12 2012-05-10 Fujitsu Ten Ltd 車両表示装置
JP2012104131A (ja) * 2011-12-12 2012-05-31 Fujitsu Ten Ltd 車両表示装置
CN105225534A (zh) * 2015-10-14 2016-01-06 南宁学院 一种基于obd及智能手机的车道偏离预警系统及其预警方法
CN105216694A (zh) * 2015-10-14 2016-01-06 南宁学院 一种车道偏离预警系统
JP2016526340A (ja) * 2013-05-28 2016-09-01 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH 車両用カメラシステム
JP2019186887A (ja) * 2018-04-17 2019-10-24 株式会社デンソーテン 表示制御装置及び表示制御方法
WO2023067868A1 (ja) * 2021-10-18 2023-04-27 日立Astemo株式会社 車載撮像システム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006080122A1 (ja) * 2005-01-27 2006-08-03 Matsushita Electric Industrial Co., Ltd. 表示制御装置
JP2008141622A (ja) * 2006-12-04 2008-06-19 Fujitsu Ten Ltd 車両周辺情報表示装置
JP2010069943A (ja) * 2008-09-16 2010-04-02 Honda Motor Co Ltd 車両周囲監視装置
US8319617B2 (en) 2008-09-16 2012-11-27 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus
JP2012090311A (ja) * 2011-12-12 2012-05-10 Fujitsu Ten Ltd 車両表示装置
JP2012104131A (ja) * 2011-12-12 2012-05-31 Fujitsu Ten Ltd 車両表示装置
JP2016526340A (ja) * 2013-05-28 2016-09-01 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH 車両用カメラシステム
CN105225534A (zh) * 2015-10-14 2016-01-06 南宁学院 一种基于obd及智能手机的车道偏离预警系统及其预警方法
CN105216694A (zh) * 2015-10-14 2016-01-06 南宁学院 一种车道偏离预警系统
JP2019186887A (ja) * 2018-04-17 2019-10-24 株式会社デンソーテン 表示制御装置及び表示制御方法
JP7164967B2 (ja) 2018-04-17 2022-11-02 株式会社デンソーテン 表示制御装置及び表示制御方法
WO2023067868A1 (ja) * 2021-10-18 2023-04-27 日立Astemo株式会社 車載撮像システム

Similar Documents

Publication Publication Date Title
US10462372B2 (en) Imaging device, imaging system, and imaging method
JP5627253B2 (ja) 画像処理装置、電子装置、および、画像処理方法
CN109690628B (zh) 图像处理设备
US8134595B2 (en) Image processing system and method with high resolution view-point conversion images
KR101023334B1 (ko) 자동차용 카메라 모듈 및 이를 이용한 주차 안내선 표시방법
JP2010093567A (ja) 画像処理装置
JP2004312063A (ja) 撮像装置、画像表示システム及び画像表示方法
JP5924370B2 (ja) 映像表示装置、映像切替装置、及び映像表示方法
JP3352096B2 (ja) 車両用車外監視装置
US8970735B2 (en) Capturing device, capturing system, and capturing method
JP6118936B2 (ja) 画像処理装置
CN109792475B (zh) Svm系统及其图像输入和处理方法
JP4985169B2 (ja) カメラネットワークシステム、表示装置、カメラ
JPH09270958A (ja) ディジタル電子撮像装置および撮像方法
JP2003304529A (ja) ネットワークシステム及び画像処理装置
JP2004147190A (ja) 画像合成機能付き撮像装置及び撮像システム
JP2008187685A (ja) カメラシステム
JP2004312301A (ja) 画像表示方法、画像表示システム及び表示装置
CN113891024A (zh) 一种基于tda4开发板的4路摄像头截图方法
KR101421693B1 (ko) 차량용 비디오 카메라
JP2004260483A (ja) 画像変換システム、画像変換方法及び画像変換装置
JP2008177855A (ja) カメラシステム
JP2009118238A (ja) 画像表示装置、撮影装置、および信号処理方法
JP2005333442A (ja) 周辺視認装置