JP2007324869A - 画像合成方法及び画像合成装置並びに画像合成プログラム - Google Patents

Abstract

【課題】従来の方式では、境界部分がはっきりしており（２台のカメラの映像を合成しているため）、平均映像レベルも異なる画像を合成した画像が得られる。合成画像を簡易的なパノラマ画像として使用する場合、境界部分を不明瞭にし、映像のレベル差を極力少なくする必要がある。
【解決手段】本方式では、合成画像を簡易的なパノラマ画像として使用するため、合成パターンを「０」、「１」の２値ではなく、多値のものを用いることにより境界部分を目立たなくする。又、入力画像から平均映像レベル、コントラストを算出し、平均映像レベル、コントラストが同じになるように補正することにより映像のレベル差を少なくする。
【選択図】図２

Description

本発明は、合成対象となる複数の画像を合成処理する画像合成方法及び画像合成装置並びに画像合成プログラムに関し、特に、複数の画像を効果的に合成する画像合成方法及び画像合成装置並びに画像合成プログラムに関する。

固定位置を監視する監視用ＣＣＴＶ装置において、近接する２台のカメラで撮像した映像を画像処理により合成して表示するシステムの従来のハードウェア構成について、図１を用いて説明する。従来のハードウェアは、固定カメラＡ１０１、固定カメラＢ１０２、画像処理装置１０３、ビデオモニタ１１６で構成される。

画像処理装置１０３は、映像信号のＡ／Ｄ変換を行う画像入力Ｉ／Ｆ１０４、画像間の演算及び画像の格納を行う画像メモリ１０５、プログラムメモリ１１１、ワークメモリ１１２、画像解析を行うＣＰＵ１１３、画像の輝度信号のＤ／Ａ変換を行い、輝度信号を映像信号に変換する画像出力Ｉ／Ｆ１１４、データバス１１５で構成される。画像メモリ１０５は、画像入力Ｉ／Ｆ１０３で得られた固定カメラＡ１０１の輝度信号を格納する入力メモリＡ１０６、画像入力Ｉ／Ｆ１０３で得られた固定カメラＢ１０２の輝度信号を格納する入力メモリＢ１０７、固定カメラＡ、固定カメラＢの合成結果を格納する合成メモリ１０８、画像間の演算に用いる処理用メモリ１０９、画像表示に用いる表示メモリ１１０で構成される。

画像処理装置１０３では、画像入力Ｉ／Ｆ１０４を用いて固定カメラＡ１０１、固定カメラＢ１０２の映像信号のＡ／Ｄ変換を行い、映像信号を０〜２５５の２５６階調の輝度信号に変換する。画像入力Ｉ／Ｆ１０４で得られた輝度信号は、画像メモリ１０５の入力メモリＡ１０６、入力メモリＢ１０７に格納される。ＣＰＵ１１３は、プログラムメモリ１１１に格納されているプログラムに従って、ワークメモリ１１２、画像メモリ１０５を用いて画像解析を行う。画像出力Ｉ／Ｆ１１４は、画像メモリ１０５内の表示メモリ１１０に格納されている画像の輝度信号のＤ／Ａ変換を行い、輝度信号を映像信号に変換するものである。画像出力Ｉ／Ｆ１１４により得られた映像信号は、ビデオモニタ１１６に表示される。データバス１１５はデータの転送に使用するものである。

次に、従来の画像合成処理の流れについて、図１、図７、図８、図９、図１０を用いて説明する。まず、図１、図７、図８において、合成パターン設定ステップ７０１では、固定カメラＡ１０１、固定カメラＢ１０２のそれぞれの映像に対して、合成時に表示する映像の範囲、すなわち画像有効エリア３０２Ａ、３０２Ｂを設定する。画像有効エリア３０２Ａ、３０２Ｂの形状は任意とするが、本説明では矩形と仮定する。画像有効エリアを設定した際、画面始点（左上を０，０とした座標の場合、左上）から画像有効エリアまでのずれ量ΔＸ_Ａ、ΔＸ_Ｂ、ΔＹ_Ｂも合わせて設定される。入力画像Ａ取込ステップ２０２は固定カメラＡ１０１の映像を入力メモリＡ１０６に格納し、入力画像Ａ３０１Ａを得る。入力画像Ｂ取込ステップ２０３は固定カメラＢ１０２の映像を入力メモリＢ１０７に格納し、入力画像Ｂ３０１Ｂを得る。合成処理Ｂ７０２では、合成パターン設定ステップ７０１で設定した画像有効エリア３０２Ａ、３０２Ｂと、入力画像Ａ取込ステップ２０２で得られた入力画像Ａ３０１Ａと入力画像Ｂ取込ステップ２０３で得られた入力画像Ｂ３０１Ｂとを用いて合成処理を行い、合成メモリ１０８に格納し、合成画像３０４を得る。表示処理ステップ２０６では、合成画像３０４を表示メモリ１１０にコピーし、カメラ名称、時刻等の文字情報を重畳する。

次に、合成処理Ｂ７０２の詳細の流れについて、図１、図７、図８、図９、図１０を用いて説明する。合成パターン作成処理ステップ５０１では、合成パターン設定処理ステップ７０１で設定した画像有効エリア３０２Ａの部分を“１”、それ以外の部分を“０”とした合成パターンＡ６０１、画像有効エリア３０２Ｂの部分を“１”、それ以外の部分を“０”とした合成パターンＢ６０２を作成し、画像メモリ１０５内の処理用メモリ１０９に格納する。合成パターンＡＮＤ処理ステップ９０１では、合成パターン作成処理ステップ５０１で得られた合成パターンＡ６０１と合成パターンＢ６０２、入力画像Ａ取込処理ステップ２０２で得られた入力画像Ａ３０１Ａ、入力画像Ｂ取込処理ステップ２０３で得られた入力画像Ｂ３０１Ｂを用いて、下記ＡＮＤ処理を行い、ＡＮＤ処理結果画像Ａ、ＡＮＤ処理結果画像Ｂを作成し、画像メモリ１０５内の処理用メモリ１０９に格納する。
（式１）
ＡＮＤ処理結果画像Ａ＝合成パターンＡ６０１ ＡＮＤ 入力画像Ａ３０１Ａ
（式２）
ＡＮＤ処理結果画像Ｂ＝合成パターンＢ６０２ ＡＮＤ 入力画像Ｂ３０１Ｂ
画像加算処理ステップ５０３では、合成パターンＡＮＤ処理ステップ９０１で得られたＡＮＤ処理結果画像Ａ（式１）と、ＡＮＤ処理結果画像Ｂ（式２）を加算し、合成画像３０４を得る。

なお、上記従来技術は、発明者が既に知られていることと認識して記述したものであるが、適切な文献が見出せなかったので、従来技術文献情報の記載をしていない。

上記従来例では、境界部分がはっきりしており、カメラが異なるため、平均映像レベルも異なる画像を合成した画像が得られる。また、合成画像を簡易的なパノラマ画像として使用する場合、境界部分を不明瞭にし、映像のレベル差を極力少なくする必要がある。

本発明は、このような従来の事情に鑑み為されたもので、合成対象となる複数の画像を効果的に合成することができる画像合成方法及び画像合成装置並びに画像合成プログラムを提供することを目的とする。

上記の目的を達成するために、本発明の画像合成方法は、複数のカメラから得られた画像を合成する画像合成方法であって、画像の全部又は一部の平均輝度レベルとコントラストに基づいて、画像の明るさ補正を行う。

また、上記の目的を達成するために、本発明の画像合成装置は、複数のカメラから得られた画像を合成する画像合成装置であって、画像の全部又は一部の平均輝度レベルとコントラストに基づいて、画像の明るさ補正を行う。

また、上記の目的を達成するために、本発明の画像合成プログラムは、複数のカメラから得られた画像を合成する画像合成装置を構成するコンピュータに実行させるプログラムであって、画像の全部又は一部の平均輝度レベルとコントラストに基づいて、画像の明るさ補正を行う。

以上説明したように、本発明に係る画像合成方法及び画像合成装置並びに画像合成プログラムによると、画像の全部又は一部の平均輝度レベルとコントラストに基づいて、画像の明るさ補正を行うようにしたため、合成対象となる複数の画像を効果的に合成することができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

まず、本発明のハードウェアは、従来例のハードウェアの図１と同様になっている。ただし、プログラムメモリ１１１に格納されているプログラムは異なる。

次に、本発明の一実施例の画像合成処理の流れについて、図１、図２、図３、図４、図５、図６を用いて説明する。図１、図２、図３において、合成パターン、補正エリア設定ステップ２０１では、固定カメラＡ１０１、固定カメラＢ１０２のそれぞれの映像に対して、合成時に表示する映像の範囲、すなわち画像有効エリア３０２Ａ、３０２Ｂ、及び補正エリアを設定する。画像有効エリア３０２Ａ、３０２Ｂの形状は任意とするが、本説明では矩形と仮定する。画像有効エリアを設定した際、画面始点（左上を０，０とした座標の場合、左上）から画像有効エリアまでのずれ量ΔＸ_Ａ、ΔＸ_Ｂ、ΔＹ_Ｂも合わせて設定される。本実施例では、補正エリアは画面全体であるため記載していないが、任意の形、大きさで設定することが可能である。又、補正エリアを限定する場合には、それぞれの映像で似通った場所を設定する必要がある。補正エリアとしては、例えば固定カメラＡ１０１で補正エリアとして木の部分を設定したら固定カメラＢ１０２の補正エリアも木の部分に、固定カメラＡ１０１で補正エリアとしてアスファルト面を指定したら、固定カメラＢ１０２の補正エリアもアスファルト面を、固定カメラＡ１０１で補正エリアとして空の部分を設定したら、固定カメラＢ１０２の補正エリアも空の部分を設定する必要がある。

入力画像Ａ取込ステップ２０２は、固定カメラＡ１０１の映像を入力メモリＡ１０６に格納し、入力画像Ａ３０１Ａを得る。入力画像Ｂ取込ステップ２０３は、固定カメラＢ１０２の映像を入力メモリＢ１０７に格納し、入力画像Ｂ３０１Ｂを得る。

レベル補正処理ステップ２０４は、合成パターン、補正エリア設定処理ステップ２０１で設定された補正エリア、入力画像Ａ取込ステップ２０２で得られた入力画像Ａ３０１Ａ、入力画像Ｂ取込ステップ２０３で得られた入力画像３０１Ｂを用いて、入力画像Ａ３０１Ａの平均映像レベル、コントラストと、入力画像Ｂ３０１Ｂの平均映像レベル、コントラストを算出し、入力画像Ａ３０１Ａの平均映像レベルとコントラストが入力画像Ｂ３０１Ｂと同じになるように補正し、画像メモリ１０５内の処理用メモリ１０９に格納し、レベル補正画像３０３を得る。

合成処理Ａステップ２０５では、合成パターン、補正エリア設定処理ステップ２０１で得られた合成パターンと、入力画像Ｂ取込ステップ２０３で得られた入力画像３０１Ｂと、レベル補正処理ステップ２０４で得られたレベル補正画像３０３を用いて２つの画像の合成処理を行い、合成メモリ１０８に格納し、位置補正画像３０５を得る。表示処理ステップ２０６では、位置補正画像３０５を表示メモリ１１０にコピーし、カメラ名称、時刻等の文字情報を重畳する。

次に、レベル補正処理の流れについて、図１、図２、図３、図４を用いて説明する。

レベル補正除外エリア算出処理ステップ４０１では、入力画像Ａ３０１Ａ、入力画像Ｂ３０１Ｂの映像レベルを１画素毎にある一定時間分記憶しておき、記憶された映像レベルの変動が規定値以上の場所をレベル補正除外エリアとして登録する。レベル補正除外エリアとして登録される部分の例としては、パトライトが回っている部分、照明が点滅している部分等が上げられる。記憶された映像レベルは映像を取込むたびに更新し、常に現在の時刻から一定時間前の前までの最新のデータが得られるものとする。

平均映像レベル、コントラスト算出処理ステップ４０２では、合成パターン、補正エリア設定処理ステップ２０１で設定した補正エリア、入力画像Ａ取込処理ステップ２０２で得られた入力画像Ａ３０１Ａ、入力画像Ｂ取込処理ステップ２０３で得られた入力画像Ｂ３０１Ｂを用いて、入力画像Ａ３０１Ａの平均輝度Ｌ_{Ａａｖｒｇ}と分散σ_Ａ、入力画像Ｂ３０１Ｂの平均輝度Ｌ_{Ｂａｖｒｇ}と分散σ_Ｂを算出する。但し、平均輝度と分散は、レベル補正除外エリア算出ステップ４０１で得られた、レベル補正除外エリアの部分の映像レベルは除いて算出するものとする。

レベル補正画像作成処理ステップ４０３では、入力画像Ａ取込処理ステップ２０２で得られた入力画像Ａ３０１Ａ、映像レベル、コントラスト算出処理ステップ４０２で得られた入力画像Ａ３０１Ａの平均輝度Ｌ_{Ａａｖｒｇ}と分散σ_Ａ、入力画像Ｂ３０１Ｂの平均輝度Ｌ_{Ｂａｖｒｇ}と分散σ_Ｂを用いて、下記式で、入力画像Ａ３０１Ａの画像に対して１画素毎にレベル変換を行い、画像メモリ１０５内の処理メモリ１０９に格納し、レベル補正画像３０３を得る。
（レベル補正式）
新規レベル＝（（映像レベル（輝度レベル）−Ｌ_{Ａａｖｒｇ}）×σ_Ｂ／σ_Ａ）＋Ｌ_{Ｂａｖｒｇ}
レベル補正を行う範囲は、本実施例では画面全体としたが、ある特定の映像レベル、色、箇所に対してのみレベル補正を行っても良い。

次に、合成処理Ａ２０５の流れについて、図１、図２、図３、図５を用いて説明する。

合成パターン作成処理ステップ５０１では、合成パターン、補正エリア設定処理ステップ２０１で設定した画像有効エリア３０２Ａの部分を“１”、それ以外の部分を“０”とした合成パターンＡ６０１、画像有効エリア３０２Ｂの部分を“１”、それ以外の部分を“０”とした合成パターンＢ６０２を作成し、かつ境界の部分を入力画像Ａ３０１Ａ：入力画像Ｂ３０１Ｂ＝“１／２：１／２”、境界の１画素上の部分を入力画像Ａ３０１Ａ：入力画像Ｂ３０１Ｂ＝“１／４：３／４”、境界の１画素下の部分を入力画像Ａ３０１Ａ：入力画像Ｂ３０１Ｂ＝“３／４：１／４”とした画像合成パターンを作成し、画像メモリ１０５内の処理用メモリ１０９に格納し、合成パターンＡ６０１、合成パターンＢ６０２を得る。本実施例では境界部分は４段階の割合を用いて合成を行ったが、８段階、１６段階、３２段階とすることにより、より境界エリアが目立たなくなる。

合成パターン乗算処理ステップ５０２では、入力画像Ｂ取込処理ステップ２０３で得られた入力画像Ｂ３０１Ｂと、レベル補正処理ステップ２０４で得られたレベル補正画像３０３と、合成パターン作成処理ステップで得られた合成パターンＡ６０１と合成パターンＢ６０２を用いて、下記乗算処理を行い、乗算処理結果画像Ａ、乗算処理結果画像Ｂを作成し、画像メモリ１０５内の処理用メモリ１０９に格納する。
（式３）
乗算処理結果画像Ａ＝合成パターンＡ６０１ ＡＮＤ レベル補正画像３０３
（式４）
乗算処理結果画像Ｂ＝合成パターンＢ６０２ ＡＮＤ 入力画像Ｂ３０１Ｂ
画像加算処理ステップ５０３では、合成パターン乗算処理ステップ５０２で得られた乗算処理結果画像Ａ（式３）と、乗算処理結果画像Ｂ（式４）を加算し、合成画像３０４を得る。合成画像３０４のサイズよりも、画像有効エリア３０１Ａ、３０２Ｂが小さい場合、画像無効部分が生じる。本実施例の場合には、右端の黒い部分が画像無効部分である。

位置補正処理ステップ１０４では、画像加算処理ステップ５０３で得られた合成画像３０４をΔＸ_Ａ、ΔＸ_Ｂのどちらか大きい方を用いて、ΔＸ_＊（＊はＡ又はＢ）／２分画像を右にずらし、画像無効部分が均等になるようにする。

ここで、本発明に係る画像処理装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々な装置やシステムとして提供することも可能である。

また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。

また、本発明に係る画像処理装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウェア資源においてプロセッサがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウェア回路として構成されてもよい。

また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。

ハードウェアを示すブロック構成図。 本発明の一実施例の画像合成処理の原理を示すフローチャート。 本発明の一実施例の画像合成処理の原理を示す説明図。 本発明の一実施例のレベル補正処理の原理を示すフローチャート。 本発明の一実施例の画像合成処理Ａの原理を示すフローチャート。 本発明の一実施例の合成パターンを示す説明図。 画像合成処理の原理を示すフローチャート。 画像合成処理の原理を示す説明図。 画像合成処理Ｂの原理を示すフローチャート。 合成パターンを示す説明図。

符号の説明

１０１：固定カメラＡ、１０２：固定カメラＢ、１０３：画像処理装置、１０４：画像入力Ｉ／Ｆ、１０５：画像メモリ、１０６：入力メモリＡ、１０７：入力メモリＢ、１０８：合成メモリ、１０９：処理用メモリ、１１０：表示メモリ、１１１：プログラムメモリ、１１２：ワークメモリ、１１３：ＣＰＵ、１１４：画像出力Ｉ／Ｆ、１１５：データバス、１１６：ビデオモニタ、２０１：合成パターン、補正エリア設定ステップ、２０２：入力画像Ａ取込処理ステップ、２０３：入力画像Ｂ取込処理ステップ、２０４：レベル補正処理ステップ、２０５：合成処理Ａステップ、２０６：表示処理ステップ、３０１Ａ：入力画像Ａ、３０１Ｂ：入力画像Ｂ、３０２Ａ：画像有効エリアＡ、３０２Ｂ：画像有効エリアＢ、ΔＸ_Ａ：位置ずれ量Ｘ_Ａ、ΔＸ_Ｂ：位置ずれ量Ｘ_Ｂ、ΔＹ_Ｂ：位置ずれ量Ｙ_Ｂ、３０３：レベル補正画像、３０４：合成画像、３０５：位置補正画像、４０１：レベル補正除外エリア算出処理ステップ、４０２：平均映像レベル、コントラスト算出処理ステップ、５０１：合成パターン作成処理ステップ、５０２：合成パターン乗算処理ステップ、５０３：画像加算処理ステップ、５０４：位置補正処理ステップ、６０１：合成パターンＡ、６０２：合成パターンＢ、７０１：合成パターン設定ステップ、７０２：合成処理Ｂステップ、９０１：合成パターンＡＮＤ処理。

Claims (3)

1. 複数のカメラから得られた画像を合成する画像合成方法であって、
   画像の全部又は一部の平均輝度レベルとコントラストに基づいて、画像の明るさ補正を行うことを特徴とする画像合成方法。
2. 複数のカメラから得られた画像を合成する画像合成装置であって、
   画像の全部又は一部の平均輝度レベルとコントラストに基づいて、画像の明るさ補正を行うことを特徴とする画像合成装置。
3. 複数のカメラから得られた画像を合成する画像合成装置を構成するコンピュータに実行させるプログラムであって、
   画像の全部又は一部の平均輝度レベルとコントラストに基づいて、画像の明るさ補正を行うことを特徴とするプログラム。
   

Images