JP2004312063A

JP2004312063A - 撮像装置、画像表示システム及び画像表示方法

Info

Publication number: JP2004312063A
Application number: JP2003098575A
Authority: JP
Inventors: Kenichi Hatanaka; 健一畑中
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2003-04-01
Filing date: 2003-04-01
Publication date: 2004-11-04

Abstract

【課題】撮像して得られた画像データに画像処理を行なう撮像装置、該撮像装置を利用した画像表示システム及び画像表示方法を提供する。
【解決手段】右前カメラ２は２つのラインメモリ２２ａ，２２ｂを有する画像処理部２２を備えており、ラインメモリ２２ａには、ディスプレイ装置３が送出した同期信号に基づいて撮像部２１が撮像して得られた画像フレームをライン単位で記憶し、ラインメモリ２２ｂには、左前カメラ１が、ディスプレイ装置３が送出した同期信号に基づいて撮像部１１が撮像し得られた画像フレームをライン単位で記憶する。また、画像処理部２２は、２つのラインメモリ２２ａ，２２ｂに記憶してある１ライン分の画素データ毎に、左前カメラ１及び右前カメラ２が撮像した画像フレームを合成する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像して得られた画像データに画像処理を行なう撮像装置、該撮像装置が撮像した画像データを表示装置に表示する画像表示システム及び画像表示方法に関するものである。
【０００２】
【従来の技術】
自動車等の車両の運転を支援する装置として、車両の後方を撮像するバックカメラ、運転席側から死角となる領域を撮像するドアミラーカメラ、車両の左右前方を撮像するブラインドコーナカメラ等を車両の適宜位置に設置し、各カメラが撮像した画像を車載表示装置に表示させる画像表示システムが考案されている。このような画像表示システムを利用する運転者は、例えば、ブラインドコーナカメラにより撮像した車両の左右前方の画像データに基づき、見通しの悪い交差点へ進入する際等に、左右から接近する歩行者、自動車及び二輪車等の確認を行なうことが可能となる。また、車両の後方をバックカメラにより撮像した画像データに基づき、車両後方を確認しながら正確に車庫入れを行うことができる。
【０００３】
このような画像表示システムにおいては、車両に取り付けられた複数のカメラからの画像データを切り替えて車載表示装置に表示させるための切替処理、複数のカメラからの画像データを合成する合成処理、車載表示装置に表示させる画像データにグラフィック描画処理等の各種の画像処理を行なうための画像処理装置を備えることにより、各カメラが撮像した画像データに基づき、運転者が見やすい映像を車載表示装置に表示させることができる。
尚、車両に取り付けられた複数のカメラからの画像データを切り替えて車載表示装置に表示させる画像表示システムとしては、以下の特許文献１に示すものがある。
【０００４】
【特許文献１】
特開２００１−２１９７８３号公報
【０００５】
【発明が解決しようとする課題】
上述した画像表示システムにおいて、複数のカメラは、夫々のタイミングで撮像し、得られた画像データを逐次画像処理装置へ送出するように構成されているため、画像処理装置は、カメラ毎に各カメラから画像データを取得するためのインタフェースを設ける必要がある。
【０００６】
また、夫々のカメラは独立して動作しているため、各カメラ間においては同期をとることができず、例えば、画像処理装置が、複数のカメラ夫々から取得した画像データに合成処理を行なう場合には、各カメラからの画像データをフレーム単位で処理しなければならない。従って、画像処理装置は、各カメラからの画像データをフレーム単位で一時的に記憶しておくため、大容量のフレームメモリを備える必要がある。
しかし、上述した画像処理装置を１つのＩＣ（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）で実現した場合には、大容量のフレームメモリをＩＣに搭載することはできず、画像処理装置としてのＩＣとは別途にフレームメモリを備える必要があり、システムの設計が煩雑となるという問題がある。
【０００７】
更に、各カメラが、ＮＴＳＣ（ＮａｔｉｏｎａｌＴｅｌｅｖｉｓｉｏｎＳｙｓｔｅｍＣｏｍｍｉｔｔｅｅｓｔａｎｄａｒｄ）方式等のアナログ信号を出力するように構成されている場合には、この画像データを取得する画像処理装置においては、各カメラとの接続状況を把握することができない。従って、画像処理装置は、予め設定された各カメラとの接続形態に従った画像処理の実行しかできず、例えば、車両に取り付けるカメラを増減した場合には、新たに画像処理装置の動作処理内容を変更する必要があるという問題があった。
【０００８】
本発明は斯かる事情に鑑みてなされたものであり、撮像して得られた画像を形成する画素のうちの、同一水平走査線上の複数の画素に応じた画像データを記憶する記憶手段を備え、記憶してある画像データに画像処理を行なうことにより、撮像して得られる画像データを利用したシステムを構築する場合に、画像処理装置を別途に設ける必要がなく、システムの設計を簡略化することができる撮像装置を提供することを目的とする。
【０００９】
本発明の他の目的は、外部から画像データを受け付け、記憶してある画像データと受け付けた画像データとを合成することにより、各撮像装置が撮像した画像データに画像処理を行なう画像処理装置を別途に設ける必要がなく、システムの設計を簡略化することができる撮像装置を提供することにある。
【００１０】
本発明の更に他の目的は、表示装置が、車両に取り付けられる第１撮像装置及び第２撮像装置に信号を送出し、前記第１撮像装置は、前記信号に基づき撮像して画像データを取得し、取得した画像データを第２撮像装置へ送出し、第２撮像装置は、受け付けた信号に基づき撮像して画像データを取得し、取得した画像データと前記第１撮像装置が送出した画像データとを合成して表示装置へ送出することにより、２つの撮像装置が撮像して得られた画像データを合成する画像処理装置を別途に設ける必要がなく、システムの設計を簡略化することができる画像表示システム及び画像表示方法を提供することにある。
【００１１】
本発明の更に他の目的は、第２撮像装置が、表示装置から、第２撮像装置が合成した画像データの送出を指示する第１指示信号を取得した場合に、前記第１撮像装置が送出した画像データと、自身の第２撮像手段が取得した画像データとを合成することにより、合成した画像データを送出する必要がある場合にのみ合成処理を行なうことができ、第２撮像装置が行なう合成処理による処理負担を軽減することができる画像表示システムを提供することにある。
【００１２】
本発明の更に他の目的は、第１撮像装置及び第２撮像装置が、表示装置から、第１撮像装置が取得した画像データの送出を指示する第２指示信号を取得した場合、第１撮像装置は、撮像して取得した画像データを第２撮像装置へ送出し、前記第２撮像装置は、前記第１撮像装置が送出した画像データを前記表示装置へ送出することにより、第１撮像装置が取得した画像データを送出する必要がある場合に、第２撮像装置は第１撮像装置が送出した画像データを表示装置へ送出し、前記表示装置は前記第１撮像装置が取得した画像データを表示することができる画像表示システムを提供することにある。
【００１３】
本発明の更に他の目的は、第２撮像装置が、表示装置から、第２撮像装置が取得した画像データの送出を指示する第３指示信号を取得した場合に、撮像して得られた画像データを表示装置へ送出することにより、第２撮像装置が取得した画像データを送出する必要がある場合にのみ、第２撮像装置が撮像することができ、第２撮像装置による処理負担を軽減することができる画像表示システムを提供することにある。
【００１４】
【課題を解決するための手段】
第１発明に係る撮像装置は、車両に取り付けられ、画像を取得する撮像装置において、取得した画像を形成する画素のうちの、同一水平走査線上の複数の画素に応じた画像データを記憶する記憶手段と、該記憶手段に記憶してある画像データに画像処理を行なう画像処理手段とを備えることを特徴とする。
【００１５】
第２発明に係る撮像装置は、画像データを受け付ける受付手段を備え、前記画像処理手段は、前記記憶手段に記憶してある画像データと前記受付手段が受け付けた画像データとを合成する手段を備えることを特徴とする。
【００１６】
第３発明に係る画像表示システムは、車両に取り付けられる第１撮像装置及び第２撮像装置と、車両に搭載される表示装置とを接続した画像表示システムにおいて、前記表示装置は、前記第１撮像装置及び第２撮像装置に信号を送出する手段を備え、前記第１撮像装置は、受け付けた信号に基づき撮像して画像データを取得する第１撮像手段と、該第１撮像手段が取得した画像データを第２撮像装置へ送出する手段とを備え、前記第２撮像装置は、受け付けた信号に基づき撮像して画像データを取得する第２撮像手段と、該第２撮像手段が取得した画像データと前記第１撮像装置が送出した画像データとを合成する合成手段と、該合成手段が合成した画像データを前記表示装置へ送出する手段とを備え、前記表示装置は、前記第２撮像装置が送出した画像データを表示する手段を備えることを特徴とする。
【００１７】
第４発明に係る画像表示システムは、前記表示装置は、前記第２撮像装置が合成した画像データの送出を指示する第１指示信号を前記第２撮像装置へ送出する手段を備え、前記第２撮像装置は、前記表示装置から第１指示信号を取得する手段を備え、前記合成手段は、前記第１指示信号を取得した場合に、前記第２撮像手段が取得した画像データと前記第１撮像装置が送出した画像データとを合成するように構成してあることを特徴とする。
【００１８】
第５発明に係る画像表示システムは、前記表示装置は、前記第１撮像装置が取得した画像データの送出を指示する第２指示信号を前記第１撮像装置及び第２撮像装置へ送出する手段を備え、前記第１撮像装置及び第２撮像装置は、前記表示装置から第２指示信号を取得する手段を備え、前記第１撮像装置の第１撮像手段は、前記第２指示信号を取得した場合に、受け付けた前記信号に基づき撮像して画像データを取得するように構成してあり、前記第２撮像装置は、前記第２指示信号を取得した場合に、前記第１撮像装置が送出した画像データを前記表示装置へ送出する手段を備えることを特徴とする。
【００１９】
第６発明に係る画像表示システムは、前記表示装置は、前記第２撮像装置が取得した画像データの送出を指示する第３指示信号を前記第２撮像装置へ送出する手段を備え、前記第２撮像装置は、前記表示装置から第３指示信号を取得する手段を備え、前記第２撮像手段は、前記第３指示信号を取得した場合に、受け付けた前記信号に基づき撮像して画像データを取得するように構成してあることを特徴とする。
【００２０】
第７発明に係る画像表示方法は、車両に取り付けられる第１撮像装置及び第２撮像装置で撮像して得られる画像データを、車両に搭載される表示装置で表示する画像表示方法において、前記表示装置が、前記第１撮像装置及び第２撮像装置に信号を送出し、前記第１撮像装置が、受け付けた前記信号に基づき撮像して画像データを取得し、取得した画像データを第２撮像装置へ送出し、前記第２撮像装置が、受け付けた前記信号に基づき撮像して画像データを取得し、取得した画像データと前記第１撮像装置が送出した画像データとを合成し、合成した画像データを前記表示装置へ送出し、前記表示装置が、前記第２撮像装置が送出した画像データを表示することを特徴とする。
【００２１】
第１発明による場合は、車両に取り付けられる撮像装置が、撮像して取得した画像を形成する画素のうちの、同一水平走査線上の複数の画素に応じた画像データを記憶する記憶手段を備え、該記憶手段に記憶する画像データに画像処理手段にて画像処理を行なうことにより、この撮像装置が撮像した画像データを利用したシステムを構築する場合に、画像処理装置を別途に設ける必要がなく、システムの設計を簡略化することができる。
また、得られた画像データに水平方向のライン単位で画像処理を行なうため、大容量のフレームメモリを備える必要がなく、記憶容量の少ないラインメモリ等を備えればよく、例えば、撮像装置内の画像処理手段を１つのＩＣで実現する場合には、このＩＣにラインメモリを内蔵することができ、システムの設計をより簡略化することができる。
【００２２】
第２発明による場合は、外部から画像データを受け付ける受付手段を備え、前記記憶手段に記憶してある画像データと外部から受け付けた画像データとを合成することにより、各撮像装置が撮像した画像データに画像処理を行なう画像処理装置を別途に設ける必要がなく、システムの設計を簡略化することができる。
【００２３】
第３及び第７発明による場合は、車両に搭載される表示装置が、車両に取り付けられる第１撮像装置及び第２撮像装置に信号を送出し、前記第１撮像装置は、前記信号に基づき撮像して画像データを取得し、取得した画像データを第２撮像装置へ送出する。また、第２撮像装置は、受け付けた信号に基づき撮像して画像データを取得し、取得した画像データと前記第１撮像装置が送出した画像データとを合成手段にて合成して表示装置へ送出する。
【００２４】
これにより、第２撮像装置において、自身が撮像して得られた画像データと、第１撮像装置から取得した画像データとの間の同期を取ることができるため、これらの画像データを合成する場合に、フレーム単位で合成する必要がなく、ライン単位での合成が可能となる。従って、画像データにライン単位で合成処理を行なうため、大容量のフレームメモリを備える必要がなく、第２撮像装置は記憶容量の少ないラインメモリ等を備えればよく、例えば、第２撮像装置内の合成手段を１つのＩＣで実現する場合には、このＩＣにラインメモリを内蔵することができ、システムの設計をより簡略化することができる。
また、このように第２撮像装置により合成された画像データを表示装置が表示することにより、第１撮像装置及び第２撮像装置が夫々撮像して得られた画像データを合成する画像処理装置を別途に設ける必要がなく、システムの設計を簡略化することができる。
【００２５】
第４発明による場合は、表示装置が、第２撮像装置が合成した画像データの送出を指示する第１指示信号を前記第２撮像装置へ送出し、第２撮像装置が、前記表示装置から第１指示信号を取得した場合に、前記第１撮像装置が送出した画像データと、自身の第２撮像手段で撮像した画像データとを合成することにより、合成した画像データを送出する必要がある場合にのみ合成処理を行なうことができ、第２撮像装置が行なう合成処理による処理負担を軽減することができる。
【００２６】
第５発明による場合は、表示装置が、第１撮像装置が取得した画像データの送出を指示する第２指示信号を前記第１撮像装置及び第２撮像装置へ送出し、第１撮像装置及び第２撮像装置が前記第２指示信号を取得した場合、第１撮像装置は、撮像して取得した画像データを第２撮像装置へ送出し、前記第２撮像装置は、前記第１撮像装置が送出した画像データを前記表示装置へ送出することにより、第１撮像装置が取得した画像データを送出する必要がある場合に、第２撮像装置は第１撮像装置が送出した画像データを表示装置へ送出することができ、前記表示装置は前記第１撮像装置が取得した画像データを表示することができる。また、前記第２指示信号を取得した第２撮像装置が、撮像処理等を行なわない場合には、不要な処理による第２撮像装置の処理負担を軽減することができる。
【００２７】
第６発明による場合は、表示装置が、第２撮像装置が取得した画像データの送出を指示する第３指示信号を前記第２撮像装置へ送出し、第２撮像装置が、前記第３指示信号を取得した場合に、撮像して得られた画像データを表示装置へ送出することにより、第２撮像装置が取得した画像データを送出する必要がある場合にのみ、第２撮像装置が撮像することができ、第２撮像装置による処理負担を軽減することができる。
【００２８】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。尚、本実施の形態では、自動車等の車両に取り付けられた２つのカメラ（撮像装置）と、各カメラで撮像した画像を表示するディスプレイ装置とを備えたシステムに適用して説明する。また、画像は、例えば１秒当たり３０枚の画像フレーム（画像データ）で構成されている。
【００２９】
図１は本発明に係る画像表示システムの構成例を示すブロック図であり、図中１００は本発明に係る画像表示システムを示しており、この画像表示システム１００は、図示しない車両に備え付けられた前バンパーの左端部及び右端部に夫々取り付けられた２つの左前カメラ１及び右前カメラ２と、ディスプレイ装置３とを備えている。
左前カメラ１及び右前カメラ２は同様の内部構成を有しているが、異なった画像処理を行なうように構成されている。
【００３０】
また、左前カメラ１、右前カメラ２及びディスプレイ装置３は、ディジーチェーン状に接続してあり、図１においては、左前カメラ１と右前カメラ２とを、及び右前カメラ２とディスプレイ装置３とを夫々全二重通信が可能なケーブル１００ａ，１００ｂを介して接続してある。
尚、左前カメラ１、右前カメラ２及びディスプレイ装置３は、ディジーチェーン状に接続される構成に限られず、ＩＥＥＥ（ＩｎｓｔｉｔｕｔｅｏｆＥｌｅｃｔｒｉｃａｌａｎｄＥｌｅｃｔｒｏｎｉｃＥｎｇｉｎｅｅｒｓ）１３９４に準拠した車載ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）等を介して、リング状又はツリー状に接続することも可能である。この場合には、左前カメラ１が、画像フレームの送信先を右前カメラ２とし、右前カメラ２が、画像フレームの送信先をディスプレイ装置３とすればよい。
【００３１】
左前カメラ１は、タイミング生成部１０と、撮像部１１と、画像処理部１２と、通信インタフェース１３と、コネクタ１４，１５等とを備えており、コネクタ１４に接続されたケーブル１００ａを介して右前カメラ２に接続されている。
本実施の形態では、左前カメラ１のコネクタ１５には、何も接続されていないが、コネクタ１５にケーブルを接続し、このケーブルを介して画像表示システム１００を構成する別のカメラ等の車載機器を追加することも可能である。
【００３２】
左前カメラ１において、コネクタ１４はケーブル１００ａを介して右前カメラ２から同期信号（信号）を取得しており、取得した同期信号は、通信インタフェース１３を介してタイミング生成部１０に入力される。
タイミング生成部１０は、入力された同期信号に基づき、撮像部１１及び画像処理部１２を所定のタイミングで動作させるためのタイミング信号を生成し、生成したタイミング信号を撮像部１１及び画像処理部１２に入力する。
【００３３】
また、タイミング生成部１０は、右前カメラ２から後述する第１指示信号、第２指示信号又は第３指示信号を取得しており、取得した第１指示信号、第２指示信号又は第３指示信号に対応して、上述したタイミング信号を生成する。
従って、左前カメラ１のタイミング生成部１０は、運転者が左前カメラ１で撮像された映像をディスプレイ装置３に表示させたい場合にのみ、上述したタイミング信号を生成し、撮像部１１及び画像処理部１２を動作させることができる。
【００３４】
撮像部１１は、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）等の撮像素子を備えており、タイミング生成部１０から入力されたタイミング信号に基づき撮像して画像フレームを取得し、得られた画像フレーム中の各画素データを順次画像処理部１２に入力する。
画像処理部１２は、ＲＡＭ等からなり、撮像部１１が取得した画像フレームを形成する各画素のうちの水平走査線上の複数の画素に対応する１ライン分の画素データを記憶するラインメモリ１２ａを備えており、撮像部１１が撮像して得られた画像フレーム中の１ライン分の画素データを順次ラインメモリ１２ａに記憶する。また、画像処理部１２は、ラインメモリ１２ａに記憶された１ライン分の画素データ毎に、撮像部１１における結像系及び撮像系等で生じる各種の歪みを取り除く補正処理等を行ない、通信インタフェース１３を介して右前カメラ２へ送出する。
【００３５】
右前カメラ２は、タイミング生成部２０と、撮像部２１と、画像処理部２２と、通信インタフェース２３と、コネクタ２４，２５等とを備えており、コネクタ２５に接続されたケーブル１００ａを介して左前カメラ１に、またコネクタ２４に接続されたケーブル１００ｂを介してディスプレイ装置３に接続されている。右前カメラ２の撮像部２１、通信インタフェース２３、コネクタ２４，２５は、左前カメラ１の各部と同様の構成を有しているため説明を省略する。
【００３６】
尚、コネクタ２４は、ケーブル１００ｂを介してディスプレイ装置３から後述する第１指示信号、第２指示信号又は第３指示信号と、同期信号とを取得しており、取得した第１指示信号、第２指示信号又は第３指示信号と、同期信号とは、通信インタフェース２３を介してタイミング生成部２０に入力されるとともに、ケーブル１００ａを介して左前カメラ１へ送出される。
タイミング生成部２０は、取得した第１指示信号、第２指示信号又は第３指示信号に対応して、ディスプレイ装置３から入力される同期信号に基づき、撮像部２１及び画像処理部２２を所定のタイミングで動作させるためのタイミング信号を生成する。
【００３７】
これにより、右前カメラ２のタイミング生成部２０は、運転者が右前カメラ２で撮像された映像をディスプレイ装置３に表示させたい場合にのみ、上述したタイミング信号を生成し、撮像部２１及び画像処理部２２を動作させることができる。
また、右前カメラ２は、コネクタ２５に接続されたケーブル１００ａを介して左前カメラ１から順次画像フレームを取得しており、通信インタフェース２３はこの画像フレームを取得する取得手段として動作し、取得した画像フレームを画像処理部２２に入力する。
【００３８】
画像処理部２２は、ＲＡＭ等からなる２つのラインメモリ２２ａ，２２ｂを備えており、通信インタフェース２３を介して左前カメラ１から取得する画像フレーム中の１ライン分の画素データを順次ラインメモリ２２ｂに記憶する。また、画像処理部２２は、撮像部２１が撮像して得られた画像フレーム中の１ライン分の画素データを順次ラインメモリ２２ａに記憶する。
また、画像処理部２２は、ラインメモリ２２ａに記憶された１ライン分の画素データ毎に、撮像部２１における結像系及び撮像系等で生じる各種の歪みを取り除く補正処理等を行なうとともに、このように補正処理を行なった１ライン分の画素データと、ラインメモリ２２ｂに記憶してある左前カメラ１から取得した画像フレーム中の１ライン分の画素データとを合成する合成手段として動作する。
【００３９】
図２は画像処理部２２による合成処理を説明するための図であり、図２（ａ）はケーブル１００ａを介して左前カメラ１から取得した画像フレームを、図２（ｂ）は撮像部２１が撮像して得られた画像フレームを夫々示している。
画像処理部２２は、図２（ｃ）に示すように、左前カメラ１から取得した画像フレームと、撮像部２１が撮像して得られた画像フレームとをライン単位で合成し、順次合成される１ライン分の画素データを通信インタフェース２３を介して順次コネクタ２４からディスプレイ装置３へ送出する。
【００４０】
ディスプレイ装置３は、タイミング制御部３０と、画像処理部３１と、表示部３２と、タッチパネル部３３と、通信インタフェース３４と、コネクタ３５等とを備えており、コネクタ３５に接続されたケーブル１００ｂを介して右前カメラ２に接続されている。
ディスプレイ装置３は、例えば、運転者が車両のイグニッションスイッチをオンすることにより電源が供給されて起動するように構成されており、電源が供給された場合、まずタイミング制御部３０が動作し、画像処理部３１及び表示部３２を所定のタイミングで動作させるためのタイミング信号を生成し、生成したタイミング信号を画像処理部３１及び表示部３２に入力する。
【００４１】
また、タイミング制御部３０は、左前カメラ１及び右前カメラ２の同期をとるための同期信号も生成しており、生成した同期信号を通信インタフェース３４を介して右前カメラ２へ送出する。
コネクタ３５は、上述のように、通信インタフェース３４を介してタイミング制御部３０から取得した同期信号を右前カメラ２へ送出するとともに、ケーブル１００ｂを介して右前カメラ２から画像フレームを取得しており、取得した画像フレームは、通信インタフェース３４を介して画像処理部３１に入力される。
【００４２】
画像処理部３１は、通信インタフェース３４を介して右前カメラ２から取得した画像フレームを液晶ディスプレイ等の表示部３２に表示させるために表示用データに変換し、タイミング制御部３０から入力されるタイミング信号に基づき生成した表示用データを表示部３２に入力して表示させる。また、画像処理部３１はタッチパネル部３３に接続されており、タッチパネル部３３からの制御信号を取得する。
図３はディスプレイ装置３の構成例を示す模式図であり、図においては、左前カメラ１及び右前カメラ２が撮像した画像フレームを表示する表示部３２の下部近傍にタッチパネル部３３が備えてある。
【００４３】
本実施の形態のタッチパネル部３３は、運転者がディスプレイ装置３の表示部３２に表示させて参照したい映像の表示形態、及び映像を取得するカメラを選択する際に用いるものであり、左前カメラ１による映像を表示させるための左前カメラボタン３３ａ、右前カメラ２による映像を表示させるための右前カメラボタン３３ｂ、左前カメラ１による映像と右前カメラ２による映像とを合成した合成映像を表示させるための合成映像ボタン３３ｃを備えている。
【００４４】
運転者は、タッチパネル部３３の各ボタンをオンすることにより、参照したい表示形態及びカメラを選択し、タッチパネル部３３は、運転者によりオンされた各ボタンに対応する制御信号を画像処理部３１に入力する。
画像処理部３１は、タッチパネル部３３から入力された制御信号に基づき動作しており、例えば、左前カメラボタン３３ａに対応する制御信号を取得した場合、右前カメラ２に、左前カメラ１からの画像フレームをそのまま送出するように指示する第１指示信号を入力する。
【００４５】
また、画像処理部３１は、タッチパネル部３３から右前カメラボタン３３ｂに対応する制御信号を取得した場合、右前カメラ２に、右前カメラ２が撮像した画像フレームのみを送出するように指示する第２指示信号を入力し、合成映像ボタン３３ｃに対応する制御信号を取得した場合、右前カメラ２に、左前カメラ１が撮像した画像フレームと右前カメラ２が撮像した画像フレームとを合成した画像フレームを送出するように指示する第３指示信号を入力する。
上述したように、実行すべき画像処理を指示する第１指示信号、第２指示信号又は第３指示信号を取得した右前カメラ２は、取得した指示信号を左前カメラ１へ送出するとともに、前記指示信号に基づく処理を行ない、得られた画像フレームをケーブル１００ｂを介してディスプレイ装置３へ送出する。
【００４６】
ここで、例えば、画像表示システム１００において、左前カメラ１が接続されていない場合、又は起動していない場合には、ディスプレイ装置３に左前カメラ１による映像を表示することはできないため、運転者は左前カメラボタン３３ａ及び合成映像ボタン３３ｃを選択することができない。
従って、この場合、例えば、左前カメラボタン３３ａ及び合成映像ボタン３３ｃの箇所のバックライトを消灯させる等により各ボタンを選択できないことを明示する構成とする。尚、このようにタッチパネル部３３の各ボタンについて、選択が可能か否かを判断するために、ディスプレイ装置３が起動した場合、画像処理部３１が所定の動作確認コマンドを発行し、ケーブル１００ｂを介して右前カメラ２へ送出する。
【００４７】
右前カメラ２は、ディスプレイ装置３から動作確認コマンドを取得した場合、この動作確認コマンドをケーブル１００ａを介して左前カメラ１へ送出する。
左前カメラ１は、起動している場合、自身が動作していることを示す返送信号をケーブル１００ａを介して右前カメラ２へ送出し、この返送信号を取得した右前カメラ２は、起動している場合、左前カメラ１からの返送信号とともに、自身が動作していることを示す返送信号をケーブル１００ｂを介してディスプレイ装置３へ送出するように夫々構成されている。
【００４８】
このようにして、左前カメラ１及び右前カメラ２から所定の返送信号を取得したディスプレイ装置３は、左前カメラ１及び右前カメラ２が動作していることを把握することができ、ディスプレイ装置３の画像処理部３１はタッチパネル部３３の各ボタンの表示を行なうことができる。
上述した構成により、車両の運転者は、画像表示システム１００のディスプレイ装置３に表示した各カメラからの映像を参照することができ、例えば、停車している車両を発車させる際、及び見通しの悪い交差点へ進入する際に、各カメラの撮像領域内、特に車両の周辺に歩行者等が存在しないことを確認することができる。
【００４９】
以下に、上述した構成の画像表示システム１００において、左前カメラ１及び右前カメラ２が撮像した画像フレームをディスプレイ装置３に表示させる画像表示処理について説明する。
図４は本発明に係る画像表示システム１００におけるディスプレイ装置３による画像表示処理手順を示すフローチャートである。
【００５０】
ディスプレイ装置３は、運転者が車両のイグニッションスイッチをオンすることにより起動し、起動した場合、画像処理部３１により、所定の動作確認コマンドを右前カメラ２へ送出し（Ｓ１）、右前カメラ２は、取得した動作確認コマンドを左前カメラ１へ送出する（Ｓ２）。
左前カメラ１は、取得した動作確認コマンドに対応する返送信号を右前カメラ２へ送出し（Ｓ３）、右前カメラ２は、左前カメラ１からの返送信号とともに、自身が動作していることを示す返送信号をディスプレイ装置３へ送出する（Ｓ４）。
【００５１】
左前カメラ１及び右前カメラ２からの返送信号を取得したディスプレイ装置３において、画像処理部３１は、前記返送信号に基づき、画像表示システム１００を構成する各カメラを把握し（Ｓ５）、把握した動作中のカメラに基づきタッチパネル部３３の各ボタンを表示する（Ｓ６）。
次にディスプレイ装置３は、運転者がタッチパネル部３３の各ボタンをオンすることにより、各ボタンが選択されたか否かを判断しており（Ｓ７）、各ボタンが選択されない場合（Ｓ７：ＮＯ）、画像処理部３１は、タッチパネル部３３の各ボタンを表示したまま待機しており、各ボタンが選択された場合（Ｓ７：ＹＥＳ）、選択されたボタンに対応する制御信号をタッチパネル部３３から取得する（Ｓ８）。
【００５２】
タッチパネル部３３から制御信号を取得した画像処理部３１は、取得した制御信号に基づき、左前カメラ１及び右前カメラ２に各種の動作を指示するための指示信号（第１指示信号、第２指示信号又は第３指示信号）を右前カメラ２へ送出する。尚、この指示信号を取得した右前カメラ２は、この指示信号を左前カメラ１へ送出する。
また、ディスプレイ装置３は、タイミング制御部３０により、左前カメラ１及び右前カメラ２の同期をとるための同期信号を生成し、ケーブル１００ｂを介して右前カメラ２へ送出しており（Ｓ９）、右前カメラ２は、取得した同期信号を左前カメラ１へ送出する（Ｓ１０）。
【００５３】
左前カメラ１は、タイミング生成部１０により、取得した同期信号に基づきタイミング信号を生成しており、このタイミング信号に基づき、撮像部１１が画像フレームを取得してラインメモリ１２ａに順次記憶させ、記憶してある１ライン分の画素データに画像処理部１２が所定の処理を行なって右前カメラ２へ送出する（Ｓ１１）。
また、右前カメラ２は、左前カメラ１から取得する画像フレームをライン単位でラインメモリ２２ｂに記憶するとともに、左前カメラ１と同様に、タイミング生成部２０により生成したタイミング信号に基づき、撮像部２１により画像フレームを取得し、取得した画像フレームをライン単位でラインメモリ２２ａに記憶する。
【００５４】
更に、右前カメラ２は、ラインメモリ２２ａ及びラインメモリ２２ｂに夫々記憶してある画素データを合成して１ライン分の画素データを生成することにより、左前カメラ１が取得した画像フレームと、右前カメラ２が取得した画像フレームとをライン単位で合成してディスプレイ装置３へ送出する（Ｓ１２）。
【００５５】
ディスプレイ装置３は、右前カメラ２から取得した画像フレームから、画像処理部３１により表示用データを生成し、表示部３２に入力して表示部３２に表示させる（Ｓ１３）。
これにより、運転者が選択した表示形態の映像をディスプレイ装置３に表示させることができ、表示された映像を参照することにより、運転者が、車両の近傍に存在する歩行者等を確認することができる。
【００５６】
図５はディスプレイ装置３の表示画面例を示す図であり、図５（ａ）は運転者が左前カメラボタン３３ａを選択した場合の表示画面を、図５（ｂ）は運転者が合成映像ボタン３３ｃを選択した場合の表示画面を夫々示している。
尚、右前カメラ２は、運転者が左前カメラボタン３３ａを選択した場合、左前カメラ１から取得した画像フレームをそのままディスプレイ装置３へ送出し、運転者が合成映像ボタン３３ｃを選択した場合、左前カメラ１から取得した画像フレームと自身の撮像部２１が撮像した画像フレームとを合成して得られた画像フレームをディスプレイ装置３へ送出している。
【００５７】
このように、運転者の指示によりディスプレイ装置３に表示する映像を切り替えることにより、運転者が参照したい映像を的確に表示することができ、車両の発車時や、見通しの悪い交差点への進入時において、歩行者等をより容易に発見することができる。
【００５８】
上述した実施の形態では、２つのカメラを備えたシステムについて説明しているが、３つ以上のカメラを備えることも可能である。
例えば、上述した実施の形態において、右前カメラ２とディスプレイ装置３との間に第３のカメラを追加し、この第３のカメラに備える画像処理部が、運転者がより見やすい映像に変換するためのグラフィック描画処理（画像処理）を行なうように構成されている場合には、左前カメラ１が取得した画像フレームを、右前カメラ２において、右前カメラ２が取得した画像フレームと合成し、更に第３のカメラにおいて、グラフィック描画処理を行なうことにより、図５（ｃ）に示すようなグラフィック処理を行なった画像フレームを表示することができる。
【００５９】
尚、この場合には、当然、タッチパネル部３３にグラフィック映像ボタン３３ｄを備え、運転者がグラフィック映像ボタン３３ｄを選択した場合、第３のカメラの画像処理部が、右前カメラ２が合成した画像フレームにグラフィック描画処理を行なってディスプレイ装置３に表示させる。
このように、左前カメラ１，右前カメラ２及び第３のカメラが夫々画像処理を行なうことにより、画像処理を分散して行なうことができ、各カメラが行うべき処理負担を軽減することができる。
【００６０】
【発明の効果】
第１発明による場合は、車両に取り付けられる撮像装置が、撮像して得られた画像を形成する画素のうちの、同一水平走査線上の複数の画素に応じた画像データを記憶しておき、記憶してある画像データに画像処理を行なうことにより、この撮像装置が撮像した画像データを利用したシステムを構築する場合に、画像処理装置を別途に設ける必要がなく、システムの設計を簡略化することができる。また、得られた画像データにライン単位で画像処理を行なうため、大容量のフレームメモリを備える必要がなく、記憶容量の少ないラインメモリ等を備えればよく、例えば、撮像装置内の画像処理手段を１つのＩＣで実現する場合には、このＩＣにラインメモリを内蔵することができ、システムの設計をより簡略化することができる。
【００６１】
第２発明による場合は、外部から画像データを受け付け、記憶してある画像データと、受け付けた画像データとを合成することにより、各撮像装置が撮像した画像データに画像処理を行なう画像処理装置を別途に設ける必要がなく、システムの設計を簡略化することができる。
【００６２】
第３及び第７発明による場合は、第２撮像装置において、自身が撮像して得られた画像データと、第１撮像装置から取得した画像データとの間の同期を取ることができるため、これらの画像データを合成する場合にフレーム単位で合成する必要がなく、ライン単位での合成が可能となる。従って、画像データにライン単位で合成処理を行なうため大容量のフレームメモリを備える必要がなく、第２撮像装置は記憶容量の少ないラインメモリ等を備えればよく、例えば、第２撮像装置内の合成手段を１つのＩＣで実現する場合には、このＩＣにラインメモリを内蔵することができ、システムの設計をより簡略化することができる。
また、このように第２撮像装置により合成された画像データを表示装置が表示することにより、第１撮像装置及び第２撮像装置が夫々撮像して得られた画像データを合成する画像処理装置を別途に設ける必要がなく、システムの設計を簡略化することができる。
【００６３】
第４発明による場合は、表示装置が、第２撮像装置が合成した画像データの送出を指示する第１指示信号を前記第２撮像装置へ送出し、第２撮像装置が、前記表示装置から前記第１指示信号を取得した場合に、前記第１撮像装置が送出した画像データと、自身の第２撮像手段が取得した画像データとを合成することにより、合成した画像データを送出する必要がある場合にのみ合成処理を行なうことができ、第２撮像装置が行なう合成処理による処理負担を軽減することができる。
【００６４】
第５発明による場合は、表示装置が、第１撮像装置が取得した画像データの送出を指示する第２指示信号を前記第１撮像装置及び第２撮像装置へ送出し、第１撮像装置及び第２撮像装置が前記第２指示信号を取得した場合、第１撮像装置は、撮像して取得した画像データを第２撮像装置へ送出し、前記第２撮像装置は、前記第１撮像装置が送出した画像データを前記表示装置へ送出することにより、第１撮像装置が取得した画像データを送出する必要がある場合に、第２撮像装置は第１撮像装置が送出した画像データを表示装置へ送出することができ、前記表示装置は前記第１撮像装置が取得した画像データを表示することができる。また、前記第２指示信号を取得した第２撮像装置が、撮像処理等を行なわない場合には、不要な処理による第２撮像装置の処理負担を軽減することができる。
【００６５】
第６発明による場合は、表示装置が、第２撮像装置が取得した画像データの送出を指示する第３指示信号を前記第２撮像装置へ送出し、第２撮像装置が、前記第３指示信号を取得した場合に、撮像して得られた画像データを表示装置へ送出することにより、第２撮像装置が取得した画像データを送出する必要がある場合にのみ、第２撮像装置が撮像することができ、第２撮像装置による処理負担を軽減することができる。
【図面の簡単な説明】
【図１】本発明に係る画像表示システムの構成例を示すブロック図である。
【図２】画像処理部による合成処理を説明するための図である。
【図３】ディスプレイ装置の構成例を示す模式図である。
【図４】本発明に係る画像表示システムにおけるディスプレイ装置による画像表示処理手順を示すフローチャートである。
【図５】ディスプレイ装置の表示画面例を示す図である。
【符号の説明】
１００画像表示システム
１左前カメラ
１２画像処理部
１２ａラインメモリ（記憶手段）
２右前カメラ
２２画像処理部（画像処理部、合成手段）
２２ａ，２２ｂラインメモリ（記憶手段）
２３通信インタフェース（取得手段）
３ディスプレイ装置（表示装置）

Claims

車両に取り付けられ、画像を取得する撮像装置において、
取得した画像を形成する画素のうちの、同一水平走査線上の複数の画素に応じた画像データを記憶する記憶手段と、
該記憶手段に記憶してある画像データに画像処理を行なう画像処理手段とを備えることを特徴とする撮像装置。
画像データを受け付ける受付手段を備え、
前記画像処理手段は、前記記憶手段に記憶してある画像データと前記受付手段が受け付けた画像データとを合成する手段を備える請求項１に記載の撮像装置。
車両に取り付けられる第１撮像装置及び第２撮像装置と、車両に搭載される表示装置とを接続した画像表示システムにおいて、
前記表示装置は、
前記第１撮像装置及び第２撮像装置に信号を送出する手段を備え、
前記第１撮像装置は、
受け付けた信号に基づき撮像して画像データを取得する第１撮像手段と、
該第１撮像手段が取得した画像データを第２撮像装置へ送出する手段とを備え、
前記第２撮像装置は、
受け付けた信号に基づき撮像して画像データを取得する第２撮像手段と、
該第２撮像手段が取得した画像データと前記第１撮像装置が送出した画像データとを合成する合成手段と、
該合成手段が合成した画像データを前記表示装置へ送出する手段とを備え、
前記表示装置は、
前記第２撮像装置が送出した画像データを表示する手段を備えることを特徴とする画像表示システム。
前記表示装置は、
前記第２撮像装置が合成した画像データの送出を指示する第１指示信号を前記第２撮像装置へ送出する手段を備え、
前記第２撮像装置は、前記表示装置から第１指示信号を取得する手段を備え、
前記合成手段は、前記第１指示信号を取得した場合に、前記第２撮像手段が取得した画像データと前記第１撮像装置が送出した画像データとを合成するように構成してある請求項３に記載の画像表示システム。
前記表示装置は、
前記第１撮像装置が取得した画像データの送出を指示する第２指示信号を前記第１撮像装置及び第２撮像装置へ送出する手段を備え、
前記第１撮像装置及び第２撮像装置は、前記表示装置から第２指示信号を取得する手段を備え、
前記第１撮像装置の第１撮像手段は、前記第２指示信号を取得した場合に、受け付けた前記信号に基づき撮像して画像データを取得するように構成してあり、
前記第２撮像装置は、前記第２指示信号を取得した場合に、前記第１撮像装置が送出した画像データを前記表示装置へ送出する手段を備える請求項３に記載の画像表示システム。
前記表示装置は、
前記第２撮像装置が取得した画像データの送出を指示する第３指示信号を前記第２撮像装置へ送出する手段を備え、
前記第２撮像装置は、前記表示装置から第３指示信号を取得する手段を備え、
前記第２撮像手段は、前記第３指示信号を取得した場合に、受け付けた前記信号に基づき撮像して画像データを取得するように構成してある請求項３に記載の画像表示システム。
車両に取り付けられる第１撮像装置及び第２撮像装置で撮像して得られる画像データを、車両に搭載される表示装置で表示する画像表示方法において、
前記表示装置が、
前記第１撮像装置及び第２撮像装置に信号を送出し、
前記第１撮像装置が、
受け付けた前記信号に基づき撮像して画像データを取得し、
取得した画像データを第２撮像装置へ送出し、
前記第２撮像装置が、
受け付けた前記信号に基づき撮像して画像データを取得し、
取得した画像データと前記第１撮像装置が送出した画像データとを合成し、
合成した画像データを前記表示装置へ送出し、
前記表示装置が、
前記第２撮像装置が送出した画像データを表示することを特徴とする画像表示方法。