JP2002302001A

JP2002302001A - 画像合成装置

Info

Publication number: JP2002302001A
Application number: JP2001104796A
Authority: JP
Inventors: Masao Watanabe; 征男渡辺
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2001-04-03
Filing date: 2001-04-03
Publication date: 2002-10-15

Abstract

(57)【要約】【課題】画像合成装置において、画像を一時記憶する
メモリの容量を削減する。【解決手段】画像合成装置１の第３メモリ40に、必要
な画像部分の書込指定データをあらかじめ記憶してお
く。第２メモリ４に、画像合成に必要な読出指定データ
をあらかじめ記憶しておく。撮影画像データのうち、書
込指定データにより指定した画像のみを、メモリ制御手
段５により選択して、第１メモリ３に記憶する。読出指
定データに対応する画像を、メモリ制御手段５で、第１
メモリ３から読み出す。画像出力制御手段６により、合
成画像をディスプレイ10に表示する。撮影画像データを
選択的に記憶することで、画像合成の対象となる入力画
像の数や、入力画像の画素数にかかわらず、第１メモリ
３に必要な容量を、合成表示画像の画素数以下に削減で
きる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像合成装置に関
し、特に、画像合成前の任意数の対象画像を一時的に記
憶する際に、画像合成に必要な画像のみを記憶する画像
合成装置に関する。

【０００２】

【従来の技術】複数の画像を入力して、各画像の一部ま
たはすべてを１つの画像に合成する画像合成装置が、い
ろいろな分野で利用されている。従来の画像合成装置の
例として、画像データをバッファメモリに一時的に保持
し、バッファメモリを選択的に読み出すことにより、画
像合成を行なうものがある。

【０００３】従来の画像合成装置について、図６〜図８
を参照しながら説明する。図６は、従来の画像合成装置
の概略構成図である。図６において、画像合成装置１
は、２つのカメラ画像を入力して、１つの画像に合成し
てディスプレイに出力する装置である。画像入力制御手
段２は、２つのカメラ画像を入力する手段である。第１
メモリ３は、画像入力制御手段からの２つの画像を一時
的に記憶するメモリである。第２メモリ４は、画像合成
に必要な画像部分を指定する情報を記憶しておくメモリ
である。メモリ制御手段５は、第１メモリと第２メモリ
とを制御する手段である。画像出力制御手段６は、合成
画像をディスプレイに出力する手段である。ＣＰＵ７
は、画像合成装置に指令やデータを与える手段である。
第１カメラ８と第２カメラ９は、撮像手段である。ディ
スプレイ10は、画像表示装置である。

【０００４】図７は、画像合成時の画像データ配列の変
化を示す図である。図７において、第１カメラ画像デー
タ30は、第１カメラで撮影した画像のデータである。第
２カメラ画像データ31は、第２カメラで撮影した画像の
データである。第１メモリ内の第１カメラ画像データ32
は、第１メモリに一時的に記憶された第１カメラ画像デ
ータである。第１メモリ内の第２カメラ画像データ33
は、第１メモリに一時的に記憶された第２カメラ画像デ
ータである。第２メモリ内の読出指定データ34は、第１
メモリの指定部分を読み出すために第２メモリに予め記
憶されたアドレスデータである。

【０００５】図８は、別の画像合成時のデータ配列の変
化を示す図である。図８において、第１ＣＧ画像データ
35は、第１のＣＧ画像のデータである。第２ＣＧ画像デ
ータ36は、第２のＣＧ画像のデータである。第１メモリ
内の第１ＣＧ画像データ37は、第１メモリに一時的に記
憶された第１ＣＧ画像データである。第１メモリ内の第
２ＣＧ画像データ38は、第１メモリに一時的に記憶され
た第２ＣＧ画像データである。第２メモリ内の読出指定
データ39は、第１メモリの指定部分を読み出すために第
２メモリに予め記憶されたアドレスデータである。

【０００６】画像合成する際には、画像入力制御手段２
で、第１カメラ８と第２カメラ９の画像を入力する。第
１メモリ３に、画像入力制御手段２からの画像を一時的
に記憶する。一時記憶した画像のうちから、画像合成に
必要な画像部分を読み出すために、画像部分を指定する
情報を、あらかじめ第２メモリ４に記憶しておく。第２
メモリ４にあらかじめ記憶している読出指定データに従
って、メモリ制御手段５により第１メモリ３から画像を
読み出すことで、合成画像を得る。この合成画像を、画
像出力制御手段６でディスプレイ10に出力する。

【０００７】図２に示す駐車アシストシステムにおける
画像合成の例を参照しながら、画像合成装置の具体的な
動作を説明する。自車のリアウィンドウ中央に、２台の
カメラを設置する。道路端に駐車している他車の前方
に、自車が駐車しようとする際に、自車の後方を２台の
カメラで撮影する。第１カメラ８で、自車の右後方を撮
影して、第１カメラ画像12を得る。第２カメラ９で、左
後方を撮影して、第２カメラ画像13を得る。これら２つ
のカメラ画像を合成して、自車の真上に視点がある上方
視点画像である第１カメラと第２カメラの合成画像14を
得る。この画像を見ることにより、運転者が後退しなが
ら駐車する際、道路や他車との位置関係を容易に把握で
きる。

【０００８】このような合成画像を得る手順を説明す
る。第１カメラ８で、第１カメラ画像データ30を得る。
第２カメラ９で、第２カメラ画像データ31を得る。これ
らの画像データを、画像入力制御手段２で入力する。メ
モリ制御手段５によって、第１カメラ画像データ30を、
第１メモリ内の第１カメラ画像データ32として、第１メ
モリ３に一時的に記憶する。第２カメラ画像データ31
を、第１メモリ内の第２カメラ画像データ33として、第
１メモリ３に一時的に記憶する。ここでは、説明の都合
上、第１カメラ画像データ30と、第２カメラ画像データ
31はともに、水平方向を４画素とし、垂直方向も４画素
とし、合計16画素で１画面を構成しているものとする。
時系列の撮影データを、左上から右下に向かって順次配
置している。

【０００９】画像合成する際には、メモリ制御手段５に
より、第１メモリ内の第１カメラ画像データ32と、第１
メモリ内の第２カメラ画像データ33を読み出す。そのと
き、第２メモリ４にあらかじめ記憶している第２メモリ
内の読出指定データ34に従って、ディスプレイへの同期
信号とタイミングを合わせながら、画像合成に必要な画
像データのみを順次読み出していく。具体的には、次の
ように読み出す。表示第１画素には、第２カメラ画像デ
ータ33の第15画素であるｂＥデータが読み出される。表
示第２画素には、第２カメラ画像データ33の第13画素で
あるｂＣデータが読み出される。表示第３画素には、第
１カメラ画像データ32の第16画素であるａＦデータが読
み出される。表示第４画素には、第１カメラ画像データ
32の第14画素であるａＤデータが読み出される。以下同
様に、表示第16画素まで読み出される。

【００１０】この場合であれば、画面右側に、図２の第
２カメラ画像13を180度回転して縮小したような画像が
配置され、画面左側に、第１カメラ画像12を180度回転
して縮小したような画像が配置される。したがって、デ
ィスプレイに表示される合成画像は、第１カメラと第２
カメラの合成画像14となる。このようにして、合成画像
を得ているので、第２メモリ４にあらかじめ記憶してい
る第２メモリ内読出指定データ34を変更したり、複数用
意して必要に応じて切り替えて使用したりして、任意の
合成画像を得ることができる。

【００１１】２つのＣＧ画像を合成する場合は、図８に
示すように、２つのＣＧ画像データのうちから特定の画
像データを選択して合成表示する。すなわち、第１ＣＧ
画像データ35と、第２ＣＧ画像データ36を、画像入力制
御手段２で入力する。メモリ制御手段５によって、第１
ＣＧ画像データ35を、第１メモリ内の第１ＣＧ画像デー
タ37として、一時的に記憶する。第２ＣＧ画像データ36
を、第１メモリ内の第２ＣＧ画像データ38として、一時
的に記憶する。

【００１２】メモリ制御手段５により、第１メモリ内の
第１ＣＧ画像データ37と、第１メモリ内の第２ＣＧ画像
データ38を読み出す。そのとき、第２メモリ４にあらか
じめ記憶している第２メモリ内の読出指定データ34に従
って、ディスプレイへの同期信号とタイミングを合わせ
ながら、画像合成に必要な画像データのみを順次読み出
していく。具体的には、次のように読み出す。第２メモ
リ内の読出指定データ39は、表示第１画素から表示第４
画素まではデータなしである。すなわち、白などの単一
色データを表示する。表示第５画素には、第１ＣＧ画像
データ37の第１画素であるａ０データが読み出される。
表示第６画素には、第１ＣＧ画像データ37の第３画素で
あるａ２データが読み出される。表示第７画素には、第
２ＣＧ画像データ38の第１画素であるｂ０データが読み
出される。表示第８画素には、第２ＣＧ画像データ38の
第３画素であるｂ２データが読み出される。以下同様
に、表示第12画素まで読み出される。

【００１３】

【発明が解決しようとする課題】しかしながら、従来の
画像合成装置では、一次記憶用の画像メモリに無駄が生
じるという問題がある。その理由は次の通りである。従
来の画像合成装置では、どのような合成画像を得るのか
に関わらず、画像合成の対象となるカメラ画像データ
を、一時的にすべてメモリに記憶している。しかし、合
成表示画像の画素数は、読出指定データの画素数である
ので、一時記憶した画素のうち、合成表示に使われない
画素の分は、無駄な記憶容量となる。

【００１４】さらに、第１メモリへの書込みと読出し
は、時分割でもって１フィールドもしくは１フレーム単
位で同時進行し、奇数フィールドもしくは奇数フレーム
用画面と、偶数フィールドもしくは偶数フレーム用画面
が、別々に必要となるので、倍の画素分の無駄な一時記
憶容量が生じるという問題もある。実際の画像合成シス
テムで、１カメラ画像として25万画素程度の解像度の場
合であれば、カメラ２台分で50万画素必要になる。しか
し、合成表示画像の画素数は、ディスプレイの表示解像
度に合わせるため、25万画素のディスプレイであれば、
25万画素×２＝50万画素分の無駄な一時記憶容量が生じ
ることになる。１画素あたりのビット数を16bitとする
と、カメラ２台分で16Mbitの必要メモリ容量に対し、無
駄となる一時記憶容量は８Mbitにものぼる。

【００１５】また、従来の画像合成装置では、標準ＤＲ
ＡＭを使うにしても、カスタムＬＳＩ（ＡＳＩＣ）を使
うにしても、低コストにできないという問題がある。第
１メモリとしては、安価で大量生産される標準ＤＲＡＭ
等を使うことが望ましい。近年は、半導体プロセスの微
細化の進展により、64Mbit品や128Mbit品などの大容量
品への移行が進んでいる。16Mbit品のＤＲＡＭを入手す
ることが年々困難となっている。未使用領域が48Mbitや
112Mbitもある64Mbit品や128Mbit品を使わざるを得ない
という問題がある。

【００１６】これを解決する方法としては、第１メモリ
を、画像入力制御手段やメモリ制御手段や画像出力制御
手段とともに、カスタムＬＳＩ（ＡＳＩＣ）に搭載して
しまうメモリ混載ＡＳＩＣ化がある。こうすれば、第１
メモリをカスタム設計できるので、必要十分なだけの最
適なメモリ容量で済ますことができる。ところが、メモ
リ混載ＡＳＩＣは、メモリ部分のビット単価が標準ＤＲ
ＡＭよりも高価である。16Mbitのメモリを混載したメモ
リ混載ＡＳＩＣよりも、ＡＳＩＣ＋64Mbit品ＤＲＡＭの
組み合わせの方が、メモリの未使用領域が多いにもかか
わらず、安く済むというジレンマが生じ、問題の解決に
はならない。数年後には、64MbitＤＲＡＭが入手できな
くなる危険性がある。この場合には、128Mbit品を用い
ざるを得ず、大幅なコストアップを招くという事態も発
生しかねない。

【００１７】さらに、従来の画像合成装置では、読出指
定情報を記憶するメモリの容量が大きいという問題があ
る。第２メモリに記憶している読出指定情報が、絶対ア
ドレス指定であるために、画像合成表示画像の画素数が
多くなるほど、１画素あたりの読出指定情報に割り当て
るビット数を増やす必要がある。具体的には、表示画面
の画素数が16画素であれば４ビット、256画素であれば1
6ビットといった具合である。これにより、画像合成表
示画像の画素数が多くなるほど、第２メモリに必要なメ
モリ容量が増大するという問題がある。

【００１８】また、従来の画像合成装置では、読出指定
情報の書換えが困難であるという問題がある。第２メモ
リに読出指定情報をあらかじめ記憶した後、必要に応じ
て読出指定情報の書換えを行う場合には、外部からパソ
コンなどを有線接続して書換えを行う。そのため、画像
合成装置を用いた駐車アシストシステムなどの場合に
は、それを搭載した車ごと、カーディーラーなどに持ち
込んで、書換えを行なわなければならないという問題も
ある。

【００１９】本発明は、上記従来の問題点を解決して、
画像合成装置の第１メモリの容量を、無駄な記憶領域の
存在しない必要最低限にすることを目的とする。それと
ともに、第１メモリをメモリ混載ＡＳＩＣにして低コス
トにすることを目的とする。また、画像合成装置の読出
指定情報と書込指定情報に必要なメモリ容量を少なくす
ることを目的とする。また、画像合成装置の書込指定情
報と読出指定情報を、遠方からでも容易に書換えできる
ようにすることを目的とする。

【００２０】

【課題を解決するための手段】上記の課題を解決するた
めに、本発明では、画像合成装置を、任意数の画像を入
力して入力画像データを出力する画像入力制御手段と、
入力画像データのうちの選択されたデータを一時記憶す
る第１メモリと、第１メモリの画像データを選択的に指
定する読出指定情報をあらかじめ記憶する第２メモリ
と、入力画像データを選択的に指定する書込指定情報を
あらかじめ記憶する第３メモリと、第３メモリから読み
出した書込指定情報に基づいて入力画像データのうちの
画像合成に必要な部分を第１メモリに選択的に書き込む
書込制御手段と、第２メモリから読み出した読出指定情
報に基づいて第１メモリから画像データを読み出して合
成画像を得る読出制御手段と、合成画像をディスプレイ
に出力する画像出力制御手段とを具備する構成とした。

【００２１】このように構成したことにより、画像バッ
ファである第１メモリの容量を無駄な記憶領域の無い必
要最低限にできる。

【００２２】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図１〜図５を参照しながら詳細に説明する。

【００２３】（第１の実施の形態）本発明の第１の実施
の形態は、２台の車載カメラで撮影した画像データのう
ち、書込指定データで選択した画像データのみを画像バ
ッファに記憶し、読出指定データで選択した画像を画像
バッファから読み出すことで、画像合成を行ない、ディ
スプレイに表示する画像合成装置である。

【００２４】図１は、本発明の第１の実施の形態におけ
る画像合成装置の概略構成図である。図１において、画
像合成装置１は、複数の画像を入力し、必要な画像部分
のみを取捨選択して１つの画像を合成してディスプレイ
に出力する装置である。画像入力制御手段２は、任意の
複数画像を各々入力する手段である。第１メモリ３は、
画像入力制御手段２からの複数画像を一時的に記憶する
画像バッファ手段である。第２メモリ４は、第１メモリ
３に一時記憶された画像データのうち、画像合成に必要
な画像部分を選択的に指定する情報である読出指定デー
タを記憶する手段である。第３メモリ40は、画像入力制
御手段２からの画像データのうち、画像合成に必要な画
像部分を選択的に指定して第１メモリ３に格納する情報
である書込指定データを記憶する手段である。メモリ制
御手段５は、第１メモリ３と第２メモリ４と第３メモリ
とを制御する手段である。メモリ制御手段５は、第３メ
モリから読み出した書込指定データに基づいて入力画像
データのうちの画像合成に必要な部分を第１メモリに選
択的に書き込む書込制御手段と、第２メモリから読み出
した読出指定情報に基づいて第１メモリから画像データ
を読み出して合成画像を得る読出制御手段とを含む。

【００２５】画像出力制御手段６は、メモリ制御手段５
により第１メモリ３から読み出した合成画像を、ディス
プレイ10に出力する手段である。ＣＰＵ７は、メモリ制
御手段５と画像出力制御手段６に対する各種パラメータ
設定を行ない、直接あるいはメモリ制御手段５を介して
第２メモリ４や第３メモリ40に各種情報の書込みを行な
い、全体制御も行なう手段である。第１カメラ８と第２
カメラ９は、異なるカメラ画像を撮影して画像合成装置
１に送出する手段である。ディスプレイ10は、画像合成
装置１からの合成画像を受けて表示する手段である。

【００２６】図２は、本発明の第１の実施の形態におけ
る画像合成装置の画像合成例を説明する図である。駐車
アシストシステムにおいて、道路端に駐車している他車
の前方に駐車しようとする際に、自車の後方を２台のカ
メラで撮影して、自車の真上に視点がある上方視点の合
成画像を得る様子を示す図である。

【００２７】図３は、画像合成におけるカメラ画像のデ
ータ配列の変化を示した図である。図３において、第１
カメラ画像データ15は、第１カメラで撮影した画像のデ
ータである。第２カメラ画像データ16は、第２カメラで
撮影した画像のデータである。第３メモリ内の書込指定
データ17は、カメラ画像の指定部分を第１メモリに書き
込むために第２メモリに予め記憶されたアドレスデータ
である。第１メモリ内の第１カメラ画像データ18は、第
１メモリに一時的に記憶された第１カメラ画像データで
ある。第１メモリ内の第２カメラ画像データ19は、第１
メモリに一時的に記憶された第２カメラ画像データであ
る。第２メモリ内の読出指定データ20は、第１メモリの
指定部分を読み出すために第２メモリに予め記憶された
アドレスデータである。

【００２８】上記のように構成された本発明の第１の実
施の形態における画像合成装置について、図1〜図３を
参照しながら動作を説明する。最初に、図１を参照し
て、画像合成装置１の各部の機能を説明する。自車のリ
アウィンドウに、２台のカメラを設置する。第１カメラ
８で、自車の左後方を撮影する。第２カメラ９で、右後
方を撮影する。第１カメラ画像と第２カメラ画像は、そ
れぞれ画像入力制御手段２に入力される。画像入力制御
手段２としては、第１カメラ８と第２カメラ９からのア
ナログ画像信号を受けるためのアナログクランプ回路
と、ＡＤ変換回路と、カメラ同期信号生成回路とからな
るものがある。あるいは、第１カメラ８と第２カメラ９
からのデジタル画像信号を受けるための直並列変換回路
と伸張回路などからなるものでもよい。

【００２９】画像合成に必要な画像部分を第１メモリ３
に書き込むための情報を、あらかじめＣＰＵ７により、
第３メモリ40に記憶しておく。同様に、画像合成に必要
な画像部分を第１メモリ３から読み出すための情報を、
あらかじめ第２メモリ４に記憶しておく。第３メモリ40
から読み出した書込指定データに基づいて、入力画像デ
ータのうちの画像合成に必要な部分を、メモリ制御手段
５の書込制御手段により、第１メモリ３に選択的に書き
込む。第２メモリ４から読み出した読出指定データに基
づいて、メモリ制御手段５の読出制御手段により、第１
メモリ３から画像データを読み出して、合成画像を得
る。合成画像を、画像出力制御手段６により、ディスプ
レイ10に出力する。

【００３０】次に、図２を参照して、画像合成の概略を
説明する。駐車アシストシステムにおいて、道路端に駐
車している他車の前方に駐車しようとする際に、自車の
後方画像を２台のカメラで撮影する。自車の左後方を撮
影した第１カメラ画像12と、右後方を撮影した第２カメ
ラ画像13のうち、画像合成に必要な画像部分のみを、第
１メモリ３に書き込む。第１メモリ３から、画像合成に
必要な画像部分を読み出して、自車の真上に視点がある
上方視点合成画像として、第１カメラと第２カメラの合
成画像14を得る。後退しながら駐車する際に、ディスプ
レイ10に表示された合成画像を見ることにより、道路や
他車との位置関係を運転者が容易に把握できる。

【００３１】第３に、画像合成におけるカメラ画像のデ
ータ配列の変化を示す図３を参照して、画像合成の詳細
を説明する。２台のカメラの画像は、画像入力制御手段
２で処理され、画像合成に必要な画像部分のみ、メモリ
制御手段５の書込制御手段によって選択されて、第１メ
モリ３に一時記憶される。例として、水平方向が４画素
であり、垂直方向が４画素であり、合計16画素で１画面
を構成する第１カメラ画像データ15および第２カメラ画
像データ16を、図３の左端に示す。２つのカメラからそ
れぞれ、左上の画像データ（ａ０とｂ０）から、右下の
画像データ（ａＦとｂＦ）までが、順次時系列で入力さ
れる。

【００３２】画像合成に必要な画像部分のみを選択する
情報が、あらかじめ第３メモリ40に記憶されている。第
３メモリ40内の書込指定データ17は、ａ１〜ａＦが、第
１カメラ画像用書込指定データであり、ｂ１〜ｂＥが、
第２カメラ画像用書込指定データである。この書込指定
データ17を、メモリ制御手段５の書込制御手段で、第３
メモリ40から順次読み出す。書込指定データ17に対応す
るカメラ画像の画素のみ選択する。選択した画素を、第
１メモリ内第１カメラ画像データ18と第２カメラ画像デ
ータ19として、第１メモリ３に順次記憶していく。この
結果、第１メモリ内第１カメラ画像データ18として、ａ
１、ａ４、ａ５、ａ８、ａ９、ａＢ、ａＤ、ａＦが、第
１メモリ３に選択記憶される。第１メモリ内第２カメラ
画像データ19として、ｂ１、ｂ３、ｂ４、ｂ６、ｂ９、
ｂＢ、ｂＣ、ｂＥが、第１メモリ３に選択記憶される。
結局、各々８画素づつの計16画素が、第１メモリ３に選
択記憶される。

【００３３】第２メモリ内読出指定データ20が、あらか
じめ第２メモリ４に記憶されている。第２メモリ内読出
指定データ20に従って、第１メモリ内の第１カメラ画像
データ18と、第２カメラ画像データ19を、表示同期信号
とタイミングを取りながら、メモリ制御手段５の読出制
御手段によって、順次読み出す。読み出された画像デー
タは、画像出力制御手段６によって、ディスプレイ10に
送出され、第１カメラと第２カメラの合成画像14が表示
される。

【００３４】第２メモリ内の読出指定データ20は、表示
第１画素から表示第16画素まで、それぞれカメラ画像の
どの画素を読み出すかという情報で構成されている。す
なわち、表示第１画素には、第２カメラ画像データ16の
第15画素であるｂＥデータを読み出す。表示第２画素に
は、第２カメラ画像データ16の第13画素であるｂＣデー
タを読み出す。表示第３画素には、第１カメラ画像デー
タ15の第16画素であるａＦデータを読み出す。表示第４
画素には、第１カメラ画像データ15の第14画素であるａ
Ｄデータを読み出す。以下同様である。この場合であれ
ば、ディスプレイ10に表示される合成画像は、次のよう
になる。画面左側には、第２カメラ画像13を180度回転
して縮小したような画像が表示され、画面右側には、第
１カメラ画像12を180度回転して縮小したような画像が
表示される。

【００３５】第４に、書込指定データと読出指定データ
に相対アドレスを利用する場合について説明する。第３
メモリ40と第２メモリ４に、第３メモリ内書込指定デー
タ17と第２メモリ内読出指定データ20を、それぞれあら
かじめ記憶する際には、絶対アドレス指定ではなく、相
対アドレス指定もしくは絶対アドレス指定と相対アドレ
ス指定を組み合わせて行なうようにする。

【００３６】例えば、第３メモリ内書込指定データ17
を、絶対アドレス指定で記憶する場合には、全部で16画
素あることから、１画素あたり４ビットの割当てが必要
となり、１画面で64ビット必要になる。これを絶対アド
レス指定と相対アドレス指定を組み合わせて記憶する場
合には、第１画素のａ１と第９画素のｂ１にそれぞれ４
ビットを割り当て、それ以外の画素には時系列的に隣り
合う画素間の差分の最大が３であることから２ビットを
割り当てればよく、１画面で合計36ビットあれば足り
る。同様にして、第２メモリ内読出指定データ20に適用
すると、絶対アドレス指定のみで記憶する場合には、１
画面で64ビット必要であるが、絶対アドレス指定と相対
アドレス指定を組み合わせて記憶する場合には、48ビッ
トあれば足りる。

【００３７】したがって、従来の読出指定データに加え
て、書込指定データを追加しても、それらをあらかじめ
記憶するのに必要なメモリ容量は、絶対アドレス指定の
みで記憶する場合には従来の２倍必要だが、絶対アドレ
ス指定と相対アドレス指定を組み合わせて記憶する場合
には、84bit／64bit≒1.3倍程度に収めることができ
る。そして、１画面の画素数が増えるほど、また、相対
アドレスの最大値が小さいほど、この効果は大きくな
り、この数値は、画面の画素数や合成画像の特性によっ
ては、１以下になることも有り得る。

【００３８】第５に、書込指定データと読出指定データ
を遠隔地から書き換える方法を説明する。第３メモリ40
と第２メモリ４に、書込指定データや読出指定データ
を、画像合成装置１の外側にあるＣＰＵ７でもって、あ
らかじめそれぞれ書き込んでいる。このＣＰＵ７を、画
像合成装置１の中に含める構成としてもよい。この場合
には、携帯電話などの無線通信手段11を、ＣＰＵ７にシ
リアルインターフェースなどで接続することにより、必
要に応じて書込指定データや読出指定データの書換え
を、例えば、カーディーラーなどの遠方から行なうこと
ができる。わざわざ、画像合成装置１を装着した車ごと
カーディーラーに持ち込むことなく、書換えを行なうこ
とができる。

【００３９】第６に、画像合成装置のバリエーションに
ついて説明する。本実施の形態では、２つのカメラ画像
を合成する例を説明したが、１つあるいは３つ以上のカ
メラ画像を合成する場合でも、同様の効果を発揮するこ
とができる。この場合でも、カメラ画像を一時記憶する
第１メモリ３に必要な容量は、表示画素数分である16画
素分とすることができる。カメラ台数分の画素数の記憶
容量を必要とせず、大幅に必要容量を削減できる。本実
施の形態では、２つのカメラ画像の画素数が同じで、１
画面を16画素で構成する例を説明したが、２つのカメラ
画像の画素数が異なっていてもよい。任意の画素数で
も、同様の効果を発揮できる。

【００４０】本実施の形態では、道路端に駐車している
他車の前方に駐車しようとする際に、自車の後方を２台
のカメラで撮影して、自車の真上に視点がある上方視点
の合成画像を得る駐車アシストシステムの例を説明し
た。この例以外でも、カーナビゲーションシステムなど
に適用することで、同様の効果を発揮することができ
る。すなわち、第３メモリ40書込指定データ17と、第２
メモリ４の読出指定データ20を変更することにより、あ
らゆる形の合成画像に対応することができる。

【００４１】上記のように、本発明の第１の実施の形態
では、画像合成装置を、画像合成に必要な画像部分のみ
を選択記憶するための書込指定情報をメモリにあらかじ
め記憶しておき、画像合成に必要な画像部分のみを選択
するための読出指定情報もあらかじめ記憶しておき、２
台の車載カメラで撮影した画像データのうち、書込指定
情報に基づいて選択した画像データのみを画像バッファ
に記憶し、読出指定情報に基づいて画像バッファから選
択した画像を、表示同期信号とタイミングを取りながら
順次読み出すことで画像合成を行ない、合成画像をディ
スプレイに表示する構成としたので、カメラ画像を一時
記憶する第１メモリに必要な容量は、表示画素数分とす
ることができ、２つのカメラの画素数分の記憶容量の実
に半分にすることができる。

【００４２】（第２の実施の形態）本発明の第２の実施
の形態は、２つのＣＧ画像データのうち、書込指定デー
タで選択した画像データのみを画像バッファに記憶し、
読出指定データで選択した画像を画像バッファから読み
出すことで、画像合成を行ない、合成画像をディスプレ
イに表示する画像合成装置である。本発明の第２の実施
の形態における画像合成装置の基本的な構成は、図１に
示した第１の実施の形態の画像合成装置と同じである。

【００４３】図４は、本発明の第２の実施の形態におけ
る画像合成装置による画像合成の説明図である。図４に
おいて、第１ＣＧ画像21は、コンピュータグラッフィク
で作成した画像である。第２ＣＧ画像22は、コンピュー
タグラッフィクで作成した別の画像である。合成画像23
は、２つのＣＧ画像を合成した画像である。図５は、画
像像合成装置による画像合成の際のＣＧ画像のデータ配
列の変化を示した図である。

【００４４】上記のように構成された本発明の第２の実
施の形態における画像合成装置について、図４と図５を
参照しながら動作を説明する。図４に示す第１ＣＧ画像
21と第２ＣＧ画像22を合成して、パノラマ風のＣＧ画像
23を得る例を用いて説明する。

【００４５】家と太陽が描かれた第１ＣＧ画像21と、池
と木が描かれた第２ＣＧ画像22を、それぞれ画像入力制
御手段２に入力する。画像入力制御手段２で処理された
２つのＣＧ画像は、メモリ制御手段５によって、画像合
成に必要な画像部分のみ選択されて、第１メモリ３に一
時記憶される。

【００４６】図５に示すように、第１ＣＧ画像データ24
および第２ＣＧ画像データ25は、水平方向を４画素と
し、垂直方向を４画素として、合計16画素で１画面を構
成している。ＣＧ画像データは、外部のＣＧ装置やディ
スク装置から転送されてくる。左上の画像データ（ａ０
とｂ０）から、右下の画像データ（ａＦとｂＦ）まで
が、順次時系列で入力される。

【００４７】画像合成に必要な画像部分のみを選択する
情報が、あらかじめ第３メモリ40に記憶されている。第
３メモリ40内の書込指定データ26は、ａ０、ａ２、ａ
８、ａＡが、第１ＣＧ画像用書込指定データであり、ｂ
０、ｂ２、ｂ８、ｂＡが、第２ＣＧ画像用書込指定デー
タである。この書込指定データ26を、メモリ制御手段５
の書込制御手段で、第３メモリ40から順次読み出す。書
込指定データ26に対応するＣＧ画像の画素のみ選択す
る。選択した画素を、第１メモリ内第１ＣＧ画像データ
27と第２ＣＧ画像データ28として、第１メモリ３に順次
記憶していく。この結果、第１メモリ内の第１ＣＧ画像
データ27として、ａ０、ａ２、ａ８、ａＡが、第１メモ
リ３に選択記憶される。第１メモリ内の第２カメラ画像
データ28として、ｂ０、ｂ２、ｂ８、ｂＡが、第１メモ
リ３に選択記憶される。結局、各々４画素づつの計８画
素が、第１メモリ３に選択記憶される。

【００４８】第２メモリ内の読出指定データ29が、あら
かじめ第２メモリ４に記憶されている。第２メモリ内の
読出指定データ29に従って、第１メモリ内の第１ＣＧ画
像データ27と、第２ＣＧ画像データ28を、表示同期信号
とタイミングを取りながら、メモリ制御手段５の読出制
御手段によって、順次読み出す。読み出された画像デー
タは、画像出力制御手段６によって、ディスプレイ10に
送出され、第１ＣＧ画像と第２ＣＧ画像の合成画像23が
表示される。

【００４９】図５の第２メモリ内の読出指定データ29
は、表示第１画素から表示第４画素まではデータなしで
ある。すなわち、白などの単一色データを表示する。表
示第５画素には、第１ＣＧ画像データ24の第１画素であ
るａ０データを表示する。表示第６画素には、第１ＣＧ
画像データ24の第３画素であるａ２データを表示する。
表示第７画素には、第２ＣＧ画像データ25の第１画素で
あるｂ０データを表示する。表示第８画素には、第２Ｃ
Ｇ画像データ25の第３画素であるｂ２データを表示す
る。以下同様に、表示第12画素まで、それぞれＣＧ画像
のいずれかの画素を読み出して表示する。この場合、デ
ィスプレイ10の画面左側中央には、図４の第１ＣＧ画像
21を縦横とも１／２に縮小した画像が表示される。画面
右側中央には、第２ＣＧ画像22を縦横とも１／２に縮小
した画像が表示される。

【００５０】第１メモリ３に、第１ＣＧ画像データ24と
第２ＣＧ画像データ25をそれぞれ一時記憶する際に、第
３メモリ40にあらかじめ記憶させた書込指定データ26に
基づいて、画像合成に必要な画像部分のみを選択記憶
し、選択記憶された画像を読み出す際には、第２メモリ
４にあらかじめ記憶させた読出指定データ29に基づい
て、表示同期信号とタイミングを取りながら、順次読み
出す。ＣＧ画像を一時記憶する第１メモリ３に必要な容
量は、表示画素数より少ない８画素分とすることがで
き、２つのＣＧ画像の画素数である32画素分の実に１／
４で済む。

【００５１】２つのＣＧ画像を合成する例を説明した
が、１つあるいは３つ以上のＣＧ画像を合成する場合で
も、同様の効果を発揮することができる。ＣＧ画像を一
時記憶する第１メモリ３に必要な容量は、最大でも表示
画素数分とすることができる。ＣＧ画像の画素数分のメ
モリ容量を必要とせずに済む。

【００５２】ＣＧ画像と合成表示画像とも、水平方向が
４画素であり、垂直方向が４画素であり、計16画素であ
る例を説明したが、これらの画素数は任意であってよ
い。ＣＧ画像と合成表示画像の画素数が異なっていて
も、同様の効果を発揮することができる。ＣＧ画像を一
時記憶する第１メモリ３に必要な容量は、合成表示画像
の画素数分以下とすることができる。

【００５３】上記のように、本発明の第２の実施の形態
では、画像合成装置を、２つのＣＧ画像データのうち、
書込指定データで選択した画像データのみを画像バッフ
ァに記憶し、読出指定データで選択した画像を画像バッ
ファから読み出すことで、画像合成を行ない、合成画像
をディスプレイに表示する構成としたので、ＣＧ画像を
一時記憶する第１メモリに必要な容量は、表示画素数分
とすることができ、２つのＣＧ画素数分の記憶容量の１
／４にすることができる。

【００５４】

【発明の効果】以上の説明から明らかなように、本発明
では、画像合成装置を、任意数の画像を入力して入力画
像データを出力する画像入力制御手段と、入力画像デー
タのうちの選択されたデータを一時記憶する第１メモリ
と、第１メモリの画像データを選択的に指定する読出指
定情報をあらかじめ記憶する第２メモリと、入力画像デ
ータを選択的に指定する書込指定情報をあらかじめ記憶
する第３メモリと、第３メモリから読み出した書込指定
情報に基づいて入力画像データのうちの画像合成に必要
な部分を第１メモリに選択的に書き込む書込制御手段
と、第２メモリから読み出した読出指定情報に基づいて
第１メモリから画像データを読み出して合成画像を得る
読出制御手段と、合成画像をディスプレイに出力する画
像出力制御手段とを具備する構成としたので、画像バッ
ファである第１メモリの容量を無駄な記憶領域の無い必
要最低限にできるという効果が得られる。

【００５５】特に、入力画像の数が多い場合や、合成表
示画像に比べて入力画像の画素数の方が大きい場合に
は、よりその効果を発揮できる。画像バッファが小さく
て済むので、メモリ混載ＡＳＩＣに低コストで内蔵でき
る。

【００５６】また、書込指定情報と読出指定情報を、相
対アドレス指定もしくは絶対アドレス指定と相対アドレ
ス指定の組合せとしたので、指定情報に必要なメモリ容
量が少なくて済む。特に、１画面の画素数が増え、また
相対アドレスの最大値が小さくなるほど、この効果は大
きくなり、画面の画素数や合成画像の特性によっては、
逆に第２メモリと第３メモリに必要なメモリ容量を削減
することも可能となる。

【００５７】また、書込指定情報や読出指定情報を、外
部から無線通信で書き換える構成としたので、書込指定
情報や読出指定情報をあらかじめ記憶した後、必要に応
じてそれらの書換えを行う場合に、携帯電話などを接続
してカーディーラーなど遠方から書換えを行うことがで
きる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態における画像合成装
置の概略構成図、

【図２】本発明の第１の実施の形態における画像合成装
置による画像合成の説明図、

【図３】本発明の第１の実施の形態における画像合成装
置による画像合成の際のカメラ画像のデータ配列の変化
を示した図、

【図４】本発明の第２の実施の形態における画像合成装
置による画像合成の説明図、

【図５】本発明の第２の実施の形態における画像合成装
置による画像合成の際のＣＧ画像のデータ配列の変化を
示した図、

【図６】従来の画像合成装置の概略構成図、

【図７】従来の画像合成装置による画像合成の際のカメ
ラ画像のデータ配列の変化を示した図、

【図８】従来の画像合成装置による画像合成の際のＣＧ
画像のデータ配列の変化を示した図である。

【符号の説明】

１画像合成装置２画像入力制御手段３第１メモリ４第２メモリ５メモリ制御手段６画像出力制御手段７ＣＰＵ８第１カメラ９第２カメラ 10 ディスプレイ 11 無線通信手段 12 第１カメラ画像 13 第２カメラ画像 14 第１カメラと第２カメラの合成画像 15 第１カメラ画像データ 16 第２カメラ画像データ 17 第３メモリ内の書込指定データ 18 第１メモリ内の第１カメラ画像データ 19 第１メモリ内の第２カメラ画像データ 20 第２メモリ内の読出指定データ 21 第１ＣＧ画像 22 第２ＣＧ画像 23 第１ＣＧ画像と第２ＣＧ画像の合成画像 24 第１ＣＧ画像データ 25 第２ＣＧ画像データ 26 第３メモリ内の書込指定データ 27 第１メモリ内の第１ＣＧ画像データ 28 第１メモリ内の第２ＣＧ画像データ 29 第２メモリ内の読出指定データ 30 第１カメラ画像データ 31 第２カメラ画像データ 32 第１メモリ内の第１カメラ画像データ 33 第１メモリ内の第２カメラ画像データ 34 第２メモリ内の読出指定データ 35 第１ＣＧ画像データ 36 第２ＣＧ画像データ 37 第１メモリ内の第１ＣＧ画像データ 38 第１メモリ内の第２ＣＧ画像データ 39 第２メモリ内の読出指定データ 40 第３メモリ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｔ 3/00 ３００Ｇ０６Ｔ 3/00 ３００Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 ＣＨ０４Ｎ 5/265 Ｈ０４Ｎ 5/265 7/18 7/18 ＪＦターム(参考） 5B057 AA16 BA02 BA26 CA12 CA16 CB12 CB16 CC03 CD11 CE08 5C023 AA16 BA11 BA16 CA03 CA08 DA04 DA08 EA03 5C054 AA01 AA05 CC02 FB03 FE00 FE12 GB14 HA30 5H180 AA01 BB05 CC04 FF32

Claims

【特許請求の範囲】

【請求項１】任意数の画像を入力して入力画像データ
を出力する画像入力制御手段と、前記入力画像データの
うちの選択されたデータを一時記憶する第１メモリと、
前記第１メモリの画像データを選択的に指定する読出指
定情報をあらかじめ記憶する第２メモリと、前記入力画
像データを選択的に指定する書込指定情報をあらかじめ
記憶する第３メモリと、前記第３メモリから読み出した
前記書込指定情報に基づいて前記入力画像データのうち
の画像合成に必要な部分を前記第１メモリに選択的に書
き込む書込制御手段と、前記第２メモリから読み出した
前記読出指定情報に基づいて前記第１メモリから画像デ
ータを読み出して合成画像を得る読出制御手段と、前記
合成画像をディスプレイに出力する画像出力制御手段と
を具備することを特徴とする画像合成装置。
【請求項２】前記書込指定情報と前記読出指定情報の
少なくとも一部は、相対アドレス指定情報であることを
特徴とする請求項１記載の画像合成装置。
【請求項３】前記書込指定情報と前記読出指定情報を
外部から無線通信で書き換える手段を備えたことを特徴
とする請求項１記載の画像合成装置。
【請求項４】少なくとも前記画像入力制御手段と前記
第１メモリと前記書込制御手段と前記読出制御手段と前
記画像出力制御手段とを、１つのメモリ混載ＡＳＩＣに
統合化したことを特徴とする請求項１〜３のいずれかに
記載の画像合成装置。
【請求項５】請求項１〜４のいずれかに記載の画像合
成装置を備えたことを特徴とする駐車アシストシステ
ム。
【請求項６】請求項１〜４のいずれかに記載の画像合
成装置を備えたことを特徴とするカーナビゲーションシ
ステム。