JP2017028595A - 画像合成装置および画像合成方法 - Google Patents

Abstract

【課題】複数のカメラを用いる画像合成において、複数のカメラから入力された撮像画像または映像の重複エリアを目立たなくし、自然な合成画像が得られる画像合成方法と、簡易な構成で制御できる画像合成装置を提供する。【解決手段】複数のカメラ１０１の画像データを格納するフレーム画像記憶部１０２と、ディザパターンを記憶したルックアップテーブルを複数個有するルックアップテーブル記憶部１０５と、画像を合成するための基準信号とフレーム信号を生成する信号生成部１０４と、前記ルックアップテーブルの情報に基づきフレーム画像記憶部１０２から複数の画像データを読みだし、該複数の画像データの重複エリアを調整して合成する画像合成部１０３と、を備え、ルックアップテーブル記憶部１０５は、信号生成部１０４のフレーム信号によって、画像のフレーム単位ごとに、画素の比率は同一であって配置が異なる複数のルックアップテーブルを切り替える。【選択図】 図１

Description

本発明は、画像合成装置および画像合成方法に関する。

複数台のカメラを用いる画像合成において、被写体の状態の違い、あるいは被写体とカメラの位置関係の違いにより複数のカメラから入力された複数の撮像画像の明るさの違いが生ずることがある。
この複数の撮像画像の明るさの違いを、明るさが等しくなるように補正して継ぎ目を目立たなくさせる合成方法として、特許文献１がある。
特許文献１には、「階調変換部３１及び３２は、重複した画像領域内の画像状態に応じて入力画像ａ及びｂの画像を補正するものであり、本実施の形態においてはそれぞれ入力画像ａ及びｂに対して階調変換を行い、２つの画像の重複する画像領域での明るさを等しくするよう補正するものである。また、画像変換合成部５０は、重複部の中心が継ぎ目になるように合成処理を行い、階調変換部３１及び３２によって明るさを補正された入力画像ａ及びｂを変換パラメータで変換し、一つの画像に合成する（［要約］［解決手段］参照）。」と記載され、画像合成装置の技術が開示されている。

また、複数画像の境界部を自然に合成する方法として、境界部の各カメラの撮像画像をブレンド処理し、ブレンド率を使用する方法として、特許文献２がある。
特許文献２には、「画像検出部１０６は、各カメラ１０１の画像から画像特徴量を抽出する。画像変換部１０５は、画像特徴量に応じてブレンド率を算出し複数のカメラ画像が重なる重畳エリアの画像を合成する。重畳エリアにおける各画像の画像特徴量の相関を判定し、相関が弱い場合には立体物が存在すると判断する。さらに各画像の画像特徴量が位置的に重なる部分がある場合には、立体物は重畳エリア内に存在すると判断する。その場合は、画像特徴量が大きい方の画像のブレンド率を大きく設定して画像合成する（［要約］［解決手段］参照）。」と記載され、画像処理システムの技術が開示されている。

特開平９−９３４３０号公報 特開２０１４−９０３４９号公報

しかしながら、前記特許文献１、特許文献２には、次のような各課題がある。
特許文献１に開示された技術では、各カメラの明るさの分布の差が残り、画像の継ぎ目が残り不自然な画像となる課題がある。
また、特許文献２に開示された技術では、ブレンド処理において、乗算器、加算器が必要となり、複雑な制御が必要となる課題がある。

本発明は、前記した課題に鑑みて創案されたものであり、複数カメラを用いる画像合成において、複数のカメラから入力された撮像画像または映像の境界部（重複エリア）を目立たなくし、自然な合成画像が得られる画像合成方法を提供することを目的とする。また、簡易な構成にて、複雑な制御が必要のない画像合成装置を提供することを目的とする。

前記の課題を解決して、本発明の目的を達成するために、以下のように構成した。
すなわち、本発明の画像合成装置は、複数のカメラで撮影した複数の画像を合成する画像合成装置であって、前記複数のカメラの画像データを格納するフレーム画像記憶部と、前記複数のカメラからの複数の画像の入力画素と合成画像の各画素との位置関係と、前記複数のカメラからそれぞれ入力する画素の比率と配置とによるディザパターンとを記憶したルックアップテーブルを複数個有するルックアップテーブル記憶部と、画像を合成するための基準信号および該基準信号に基づくフレーム信号を生成する信号生成部と、前記ルックアップテーブルの情報に基づき前記フレーム画像記憶部から前記複数の画像データを読みだし、該複数の画像データの重複エリアを調整して合成する画像合成部と、を備え、前記ルックアップテーブル記憶部は、前記信号生成部のフレーム信号によって、前記画像のフレーム単位ごとに、前記画素の比率は同一であって配置が異なるディザパターンを記憶した複数のルックアップテーブルを切り替えることを特徴とする。

また、本発明の画像合成方法は、フレーム画像記憶手段が、複数のカメラから入力された複数の画像データを格納し、ルックアップテーブル記憶手段が、前記複数のカメラからの複数の画像の入力画素と合成画像の各画素との位置関係と、前記複数のカメラからそれぞれ入力する画素の比率と配置とによるディザパターンとを記憶したルックアップテーブルを有して、前記ディザパターンを生成し、信号生成手段が画像を合成するための基準信号および該基準信号に基づくフレーム信号を生成し、画像合成手段が、前記ルックアップテーブルの情報に基づき前記フレーム画像記憶手段に格納されている互いに重複エリアを有する前記複数の画像データを合成し、前記ルックアップテーブル記憶手段は、前記信号生成手段のフレーム信号によって、前記画像のフレーム単位ごとに、前記画素の比率は同一であって配置が異なるディザパターンを記憶した複数のルックアップテーブルを切り替えることを特徴とする。

また、その他の手段は、発明を実施するための形態のなかで説明する。

本発明によれば、複数カメラを用いる画像合成において、複数のカメラから入力された撮像画像または映像の境界部（重複エリア）を目立たなくし、自然な合成画像が得られる画像合成方法を提供できる。また、簡易な構成で、複雑な制御が必要のない画像合成装置を提供できる。

本発明の第１実施形態に係る画像合成装置の構成例を示すブロック図である。 重複エリアを有し、輝度の異なる二つの画像データを、ディザパターンを用いずに合成する場合の効果を示すイメージ図であり、（ａ）はカメラＡの画像、（ｂ）はカメラＢの画像、（ｃ）は二つの画像の重複エリアでディザ処理なしのルックアップテーブル、（ｄ）はカメラＡとカメラＢの合成画像を表記している。 ディザパターンを用いるルックアップテーブルと合成画像を示すイメージ図であり、（ｅ）は重複エリアにディザ処理をした第１のルックアップテーブルの例、（ｆ）は重複エリアにディザ処理をした第２のルックアップテーブルの例、（ｇ）は前記第１、第２のルックアップテーブルの部分を拡大したパターン図、（ｈ）は二つの画像の合成画像を示す図である。 本発明の第１実施形態に係る画像合成部の具体的な動作と構成の例を示すブロック図である。 重複エリアを５段階に白黒の画素密度の異なるディザパターンを分けて、より滑らかに二つの画像を合成する場合を説明する図であり、（ａ）はカメラＡの画像、（ｂ）はカメラＢの画像、（ｃ）は二つの画像の重複エリアで５段階のディザ処理ありのルックアップテーブル、（ｄ）はカメラＡとカメラＢの合成画像を表記している。 重複エリアにおけるディザパターンが５段階で白黒の画素密度を変えて明暗がより自然に変化するディザパターン例を示す図であり、（ａ）はディザパターンの画素密度と配置のパターンの単位を示し、（ｂ）は第１のディザパターン例、（ｃ）は第２のディザパターン例、（ｄ）は第３のディザパターン例、（ｅ）は第４のディザパターン例を示している。 より細密な明暗変化に対応したディザパターンの例として、重複エリアにおけるディザパターンが９段階で白黒の画素密度を変えて明暗がより自然に変化するディザパターン例を示す図であり、（ａ）はディザパターンの画素密度と配置のパターンの単位を示し、（ｂ）は第１のディザパターン例、（ｃ）は第２のディザパターン例を示している。 本発明の第１、第２実施形態に係る画像合成方法のフローチャートである。 本発明の第３実施形態に係る画像合成装置の構成例を示すブロック図である。 本発明の第３実施形態に係る画像合成方法のフローチャートである。 本発明の第４実施形態に係る画像合成装置の構成例を示すブロック図である。 本発明の第４実施形態に係る画像合成方法のフローチャートである。 一つのディザパターンを複数のディザパターンとして用いる方法を示す図であり、（ａ）は第１の方法、（ｂ）は第２の方法を示している。

以下、本発明を実施するための形態（以下においては「実施形態」と表記する）を、図面を参照して説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、重複する説明は、適宜、省略する。

≪第１実施形態≫
本発明の第１実施形態に係る画像合成装置として、複数台のカメラの画像または映像の境界部（重複エリア）をディザ法によって合成する画像合成装置の例を説明する。また、以下の説明においては、画像合成装置の説明と画像合成方法の説明を兼ねる。
なお、以下の本実施形態の説明で用いるディザ法のディザ（Dither）とは、量子化誤差（端数）を、単純に丸めるのではなく、全体の量子化誤差が最小化するように確率を調整して、切り捨てまたは切り上げのどちらかをランダムに行なうためによるゆらぎのことである。一種のノイズ的データを追加する作業および技法は、ディザリング（Dithering）、またはディザ法と呼ばれる。
また、存在する色や明暗のピクセルをばらつかせて配置すると、人の眼はそのような色や明暗の拡散配置を色や明暗の混合として知覚することや、画像の色数を減らす場合には、ディザリングを施すと見栄えが良くなることが知られている。
本実施形態では、複数のカメラで撮影され、これらの複数のカメラから得られた画像や映像の輝度が大きく異なる可能性のある場合においても、ディザリングを前記の画像や映像の継ぎ目に施すことにより、見栄えの良い自然な合成画像にする画像合成装置と画像合成方法について説明する。

＜画像合成装置１００の構成：その１＞
図１は、本発明の第１実施形態に係る画像合成装置１００の構成例を示すブロック図である。
図１において、画像合成装置１００は、フレーム画像記憶部（フレーム画像記憶手段）１０２、画像合成部（画像合成手段）１０３、信号生成部（信号生成手段）１０４、ルックアップテーブル記憶部（ルックアップテーブル記憶手段）１０５を備えて構成される。
また、複数台のカメラ１０１（１０１Ａ〜１０１Ｄ）を画像合成に用いる。図１においては、カメラ１０１（１０１Ａ〜１０１Ｄ）が４台である場合を例示しているが、この４台という台数には格別な意味はなく、他の台数でも画像合成の観点からは基本的に同一である。

図１において、複数（４台）のカメラ１０１（１０１Ａ〜１０１Ｄ）が、例えば道路や交差点や料金所等のカメラによって被写体の状態や被写体とカメラの位置関係が異なる状況を、一部重複しながら連続した別々の画面（画像）を分担して撮影する。なお、この一部重複しながら連続した別々の画像は、前記の理由で互いに輝度（明るさ）が異なっている可能性がある。
そして、複数のカメラ１０１（１０１Ａ〜１０１Ｄ）から入力された複数の画像データは、フレーム画像記憶部（例えばフレームメモリ）１０２に記憶、格納される。
信号生成部（例えばタイミングジェネレータ）１０４で生成された映像出力タイミング信号１０４Ｔに合わせて、フレーム画像記憶部１０２に格納された複数の画像データが画像合成部１０３に入力される。併せて、ルックアップテーブル記憶部１０５の複数のルックアップテーブル（１０５１，１０５２）で生成された、もしくは格納されていたディザパターンが読み出されて、画像合成部１０３に入力される。
そして、画像合成部１０３において、複数の画像データとディザパターンとによる合成画像が生成される。すなわち、複数の画像データの重複エリア（継ぎ目、境界部）の輝度を調整した自然な合成画像が生成される。

さらには、画像のフレーム毎に、前記の複数のルックアップテーブル（１０５１，１０５２）において、ディザパターンの画素密度（白または黒の割合）は同一であるが画素配置（白または黒の配置）が異なる複数のルックアップテーブル（１０５１，１０５２）を切り替えることにより、固定されたディザパターンによる弊害を低減して、より自然な合成画像が生成される。
なお、ディザパターンの画素密度は同一であるが画素配置が異なる複数のルックアップテーブルについての詳細は後記する。
また、複数のカメラ１０１（１０１Ａ〜１０１Ｄ）による複数の画像の位置関係や重複エリア（継ぎ目、境界部）は、複数のカメラ１０１（１０１Ａ〜１０１Ｄ）を設置した段階で把握されているものとして、この複数の画像の位置関係や重複エリアを算出する工程の説明は省略する。

＜画像合成の例＞
次に、図２、図３を参照して、「ディザ処理なし」の場合と「ディザ処理あり」の場合を例にあげて、画像合成におけるディザ処理の方法と効果について説明する。

《画像データの合成画像の例１：ディザ処理なし》
まず、ディザ処理を用いないで画像合成をした場合を参考例として、図２を参照して説明する。
なお、複数台のカメラの内のカメラ１０１Ａ（カメラＡ）とカメラ１０１Ｂ（カメラＢ）の２台による二つの画像（２０１Ａ，２０１Ｂ）の合成を例とする。
また、前記したようにカメラ１０１Ａ、カメラ１０１Ｂを、それぞれカメラＡ、カメラＢと簡略化して、適宜、表記する。また、カメラ１０１Ａ（カメラＡ）の画像２０１ＡをカメラＡ画像、カメラ１０１Ｂ（カメラＢ）の画像２０１ＢをカメラＢ画像と、それぞれ簡略化して、適宜、表記する。

図２は、重複エリア２ＡＢを有し、輝度の異なる二つの画像データ（２０１Ａ，２０１Ｂ）を、ディザパターンを用いずに合成する場合の効果を示すイメージ図であり、（ａ）はカメラＡの画像２０１Ａ、（ｂ）はカメラＢの画像２０１Ｂ、（ｃ）はカメラＡ，Ｂの二つの画像の重複エリアでディザ処理なしのルックアップテーブル（白：カメラＡ、黒：カメラＢ）、（ｄ）はカメラＡとカメラＢの合成画像２０１Ｄ（ディザ合成無し）を表記している。
図２の（ａ）に示す画像２０１Ａと、（ｂ）に示す画像２０１Ｂとは、画像の重複エリア２ＡＢにおいて、同じ被写体であるにもかかわらず、（ａ）に示す画像２０１Ａは、（ｂ）に示す画像２０１Ｂに比較して、黒さが濃い（暗い）。
この明暗の差（輝度の差）は、二つの画像２０１Ａ，２０１Ｂの撮影時のそれぞれが分担して撮影した被写体の状態（例えば光の状況）やカメラの設置位置の違いや、あるいは、その状態の違いに伴うカメラＡ，Ｂの絞りやシャッタースピードの相違などの条件の違いが、前記の画像２０１Ａと画像２０１Ｂの輝度の相違（明暗の相違）となって現れた可能性がある。

図２の（ｃ）は、ルックアップテーブル２１０を示している。ルックアップテーブル２１０の左半分（２１１）は、カメラＡの画像となる白パターンであり、右半分（２１３）は、カメラＢの画像となる黒パターンである。
このような左半分（２１１）と右半分（２１３）が、それぞれ単純に白黒のルックアップテーブル２１０を用いると、（ａ）に示す画像２０１Ａは、（ｄ）に示す画像２０２Ａとなり、（ｂ）に示す画像２０１Ｂは、（ｄ）に示す画像２０２Ｂとなって、合成画像２０１Ｄとなる。
図２の（ｄ）に示した合成画像は、重複エリア２ＡＢの中央の継ぎ目における左右の輝度が異なった画像となる。そのため（ｄ）の合成画像である画像２０１Ｄを全体的にみると、継ぎ目が目立ち、違和感のある画像になる。
例えば、（ｄ）における画像２０１Ｄの重複エリア２ＡＢにおいて、雲や人物は、同じ輝度の筈であるが、雲の左右、あるいは人物の左右において輝度が異なっている。その結果、画像２０１Ｄは、不自然な印象を与える画像となっている。

《画像データの合成画像の例２：ディザ処理あり》
次に、図２の（ａ）、（ｂ）、および図３の（ｅ）、（ｆ）、（ｇ）、（ｈ）を参照して、ディザ合成有り、すなわち、ディザパターンによるディザリングを用いて、二つの画像２０１Ａ、２０１Ｂを合成する場合について説明する。
なお、図３は、ディザパターンを用いるルックアップテーブルと合成画像を示すイメージ図であり、（ｅ）は二つの画像の重複エリアに相当する箇所にディザ処理をした第１のルックアップテーブルの例、（ｆ）は二つの画像の重複エリアに相当する箇所にディザ処理をした第２のルックアップテーブルの例、（ｇ）は前記第１、第２のルックアップテーブルの部分を拡大したパターン図、（ｈ）は二つの画像２０１Ａ、２０１Ｂの合成画像２０１Ｈを示す図である。
図３の（ｅ）に示すルックアップテーブル３０１Ｅは、左側が画像２０１Ａとなる白パターン３１１Ｅ、右側が画像２０１Ｂとなる黒パターン３１３Ｅであり、画像２０１Ａと画像２０１Ｂとの重複エリア２ＡＢ（図２）がディザパターン３１２Ｅとなっている。

なお、ルックアップテーブル３０１Ｅは、カメラＡの画像２０１ＡとカメラＢの画像２０１Ｂの位置関係および重なり具合を反映して構成されているものとする。ルックアップテーブル３０１Ｅの白パターン３１１ＥがカメラＡの画像２０１Ａのみの領域であり、黒パターン３１３ＥがカメラＢの画像２０１Ｂのみの領域であり、重複エリア２ＡＢが画像２０１Ａと画像２０１Ｂが重なる領域であって、白と黒の点または部分が所定の比率と配置で構成されている。
すなわち、ルックアップテーブル３０１Ｅは、２台（複数）のカメラからの二つ（複数）の画像の入力画素と合成画像の各画素との位置関係と、前記２台（複数）のカメラからそれぞれ入力する画素の比率と配置とによるディザパターンとを記憶している。

また、図３の（ｆ）に示すルックアップテーブル３０２Ｆは、左側が画像２０１Ａとなる白パターン３２１Ｆ、右側が画像２０１Ｂとなる黒パターン３２３Ｆであり、画像２０１Ａと画像２０１Ｂとの重複エリア２ＡＢ（図２）がディザパターン３２２Ｆとなっている。
また、ルックアップテーブル３０２Ｆも、２台（複数）のカメラからの二つ（複数）の画像の入力画素と合成画像の各画素との位置関係と、前記２台（複数）のカメラからそれぞれ入力する画素の比率と配置とによるディザパターンとを記憶している。

図３の（ｅ）に示すルックアップテーブル３０１Ｅと、図３の（ｆ）に示すルックアップテーブル３０２Ｆは、同じとも見える可能性があるが、画像２０１Ａと画像２０１Ｂとの重複エリア２ＡＢ（図２）におけるディザパターン（３１２Ｅ，３２２Ｆ）には相違がある。その相違を図３の（ｇ）で説明する。なお、図３の（ｅ）における領域３１１２Ｅは、白パターン３１１Ｅとディザパターン３１２Ｅの境界部を示し、図３の（ｆ）における領域３２１２Ｆは、白パターン３２１Ｆとディザパターン３２２Ｆの境界部を示している。
図３の（ｇ）について説明する。ルックアップテーブル３０１Ｅのディザパターン３１２Ｅと、ルックアップテーブル３０２Ｆのディザパターン３２２Ｆと、をそれぞれ拡大して示したのが、図３の（ｇ）に示す領域３１１２Ｅの拡大図３１１２Ｇと、領域３２１２Ｆの拡大図３２１２Ｇである。

拡大図３１１２Ｇにおいては、前記したように、ルックアップテーブル３０１Ｅの白パターン３１１Ｅとディザパターン３１２Ｅとの境界近傍の領域３１１２Ｅを拡大して示している。
拡大図３１１２Ｇにおけるディザパターン３１２Ｅは、画素が白と黒との市松模様になっている。この市松模様のパターンは、全体を１として、白が０．５、黒が０．５の画素比率のディザパターンに相当する。
また、拡大図３２１２Ｇにおいては、前記したように、ルックアップテーブル３０２Ｆの白パターン３２１Ｆとディザパターン３２２の境界近傍の領域３２１２Ｆを拡大して示している。
拡大図３２１２Ｇにおけるディザパターン３２２Ｆも画素が白と黒との市松模様になっている。したがって、ディザパターン３２２Ｆも全体を１として、白が０．５、黒が０．５の画素比率のディザパターンに相当する。

拡大図３１１２Ｇにおけるディザパターン３１２Ｅと、拡大図３２１２Ｇにおけるディザパターン３２２Ｆは、ともに市松模様であって、画素比率は０．５：０．５で同一であるが、ディザパターン３１２Ｅとディザパターン３２２Ｆでは、白と黒が互いに反転した関係にある。すなわち、白と黒のパターンの配置が異なる。
この白と黒のパターンの配置が異なる効果については、後記するものとして、まず、図３の（ｅ）のルックアップテーブル１（３０１Ｅ）と（ｆ）のルックアップテーブル２（３０２Ｆ）を用いたときの効果を次に説明する。

まず、図３の（ｅ）に示すルックアップテーブル１（３０１Ｅ）を用いた場合について説明する。
ルックアップテーブル１（３０１Ｅ）の左側の領域の白パターン３１１Ｅは、カメラ１０１Ａの画像２０１Ａ（図２の（ａ））のデータを用いるので、図３の（ｈ）の画像２０３Ａとなる。
また、ルックアップテーブル１（３０１Ｅ）の右側の領域の黒パターン３１３Ｅは、カメラ１０１Ｂの画像２０１Ｂ（図２の（ｂ））のデータを用いるので、図３の（ｈ）の画像２０３Ｂとなる。
また、ルックアップテーブル１（３０１Ｅ）の重複エリアの市松模様のディザパターン３１２Ｅは、白の点または部分でカメラ１０１Ａの画像２０１Ａ（図２の（ａ））のデータを用い、黒の点または部分でカメラ１０１Ｂの画像２０１Ｂ（図２の（ｂ））のデータを用いるので、カメラ１０１Ａの画像２０１Ａとカメラ１０１Ｂの画像２０１Ｂとの中間的な輝度の画像２０３Ｃ（図３の（ｈ））となる。

次に、図３の（ｆ）に示すルックアップテーブル２（３０２Ｆ）を用いた場合について説明する。
ルックアップテーブル２（３０２Ｆ）の左側の領域の白パターン３２１Ｆは、カメラ１０１Ａの画像２０１Ａ（図２の（ａ））のデータを用いるので、図３の（ｈ）の画像２０３Ａとなる。
また、ルックアップテーブル２（３０２Ｆ）の右側の領域の黒パターン３２３Ｆは、カメラ１０１Ｂの画像２０１Ｂ（図２の（ｂ））のデータを用いるので、図３の（ｈ）の画像２０３Ｂとなる。
また、ルックアップテーブル２（３０２Ｆ）の重複エリアの市松模様のディザパターン３２２Ｆは、白の点または部分でカメラ１０１Ａの画像２０１Ａ（図２の（ａ））のデータを用い、黒の点または部分でカメラ１０１Ｂの画像２０１Ｂ（図２の（ｂ））のデータを用いるので、カメラ１０１Ａの画像２０１Ａとカメラ１０１Ｂの画像２０１Ｂとの中間的な輝度の画像２０３Ｃ（図３の（ｈ））となる。

なお、図３の(ｅ)、（ｆ）のディザパターンの白、黒は、画像２０１Ａの画素を用いるか、画像２０１Ｂの画素を用いるかを示すものであって、ディザパターンの白における画像の画素がディザパターンの黒における画像の画素より明るいということを意味するものではない。ディザパターンの白における画像の画素とディザパターンの黒における画像の画素のどちらが明るいかは、画像２０１Ａと画像２０１Ｂの明るさの関係によって変わる。
以上の演算処理を行うことによって、ルックアップテーブル１（３０１Ｅ）またはルックアップテーブル２（３０２Ｆ）を用いると、図３の（ｈ）に示すように、カメラ１０１Ａの画像２０１Ａとカメラ１０１Ｂの画像２０１Ｂの合成画像（ディザ合成有り）である画像２０１Ｈは、継ぎ目の部分（重複エリア２ＡＢ）の画像２０３Ｃの輝度の変化がぼかされ、自然に仕上がる。また、輝度の変化がぼかされるのみならず、ディザ合成の結果、継ぎ目の部分における合成画像は、色の混合として知覚されるので、継ぎ目の部分の色彩の変化が少なくなり、不自然感が軽減される。

以上のように、図３の(ｅ)のルックアップテーブル１（３０１Ｅ）でも（ｆ）のルックアップテーブル２（３０２Ｆ）を用いても、カメラ１０１Ａの画像２０１Ａとカメラ１０１Ｂの画像２０１Ｂの合成画像は、図３の（ｈ）の画像２０１Ｈとなって、図２の（ｄ）の合成画像である画像２０１Ｄよりは、自然な合成画像が得られる。
このように、ディザパターンを有するルックアップテーブル１（３０１Ｅ）またはルックアップテーブル２（３０２Ｆ）を画像合成に用いることによって得られた合成画像２０１Ｈ（図３の（ｈ））は、ディザパターンの無い合成画像２０１Ｄ（図２の（ｄ））に比較すれば、自然な合成画像が得られるものの、図３の（ｇ）の拡大図で示した市松模様のディザパターン３１２Ｅやディザパターン３２２Ｆの影響が、わずかながらでも残像として視覚的にとらえられる場合もある。

そのため、１枚の画像としては、ルックアップテーブル１（３０１Ｅ）またはルックアップテーブル２（３０２Ｆ）を用いるものの、連続する画像、すなわち映像とする場合に、同じディザパターンのルックアップテーブルを連続して用いずに、画像のフレーム毎に、例えばルックアップテーブル１（３０１Ｅ）またはルックアップテーブル２（３０２Ｆ）を交互に切り替えて用いる。
すると、図３の（ｇ）の重複エリアの拡大図であるディザパターン３１２Ｅとディザパターン３２２Ｆとの関係において、白と黒の市松模様のパターンが交互に入れ替わるため、さらに自然な映像（連続した画像）が得られるという効果がある。

＜画像合成装置１００の構成：その２＞
以上のディザパターンを用いた画像合成をする画像合成部１０３について、さらに詳しく説明する。
図４は、本発明の第１実施形態に係る画像合成部１０３（図１）の具体的な動作と構成の例を示すブロック図である。
図４において、フレーム画像記憶部１０２、ルックアップテーブル記憶部１０５、信号生成部１０４は、図１のフレーム画像記憶部１０２、ルックアップテーブル記憶部１０５、信号生成部１０４にそれぞれ対応している。
また、図４において、セレクタ４０３が図１の画像合成部１０３に相当し、後記するように画像を合成する機能を有している。

フレーム画像記憶部１０２に、カメラ１０１Ａの画像１０２Ａ（カメラＡ画像１０２Ａと称する）と、カメラ１０１Ｂの画像１０２Ｂ（カメラＢ画像１０２Ｂと称する）が記憶され、格納されている。
カメラＡ画像１０２ＡとカメラＢ画像１０２Ｂは、セレクタ４０３の入力端子Ａ（第１入力端子）と入力端子Ｂ（第２入力端子）にそれぞれ入力している。
信号生成部（例えばタイミングジェネレータ）１０４は、基準信号やこの基準信号に基づいて生成されるフレーム信号を含む映像出力タイミング信号１０４Ｔをフレーム画像記憶部１０２とルックアップテーブル記憶部１０５とに供給している。なお、映像出力タイミング信号１０４Ｔをセレクタ４０３に供給する場合もある。
ルックアップテーブル記憶部１０５は、ルックアップテーブル１（１０５１）とルックアップテーブル２（１０５２）を具備し、ルックアップテーブルのディザパターンを反映したディザパターン信号１０５Ｐをセレクタ４０３の入力端子Ｓ（第３入力端子）に入力している。

また、ルックアップテーブル記憶部１０５の出力信号（１０５Ｐ）のディザパターンは、「Ａ」、「Ｂ」が、それぞれカメラ１０１Ａ、カメラ１０１Ｂの映像を意味するものとして、例えば図３の（ｆ）のルックアップテーブル３０２Ｆの市松模様の箇所（３２２Ｆ）の場合には、「ＡＢＡＢ・・・」のようなデータパターンである。
このディザパターンの「Ａ」か「Ｂ」によって、カメラＡ画像の画素か、カメラＢ画像の画素かを、図４のセレクタ４０３が選択する。
具体的には、信号生成部１０４で生成した映像出力タイミング信号１０４Ｔに含まれる所定のタイミング信号に合わせて、例えば市松模様のディザパターン３２２Ｆの左上の画素を仮に画素位置０とすると、画素位置０の出力画素は、前記ディザパターンの最初のデータはＡなので、セレクタ４０３により、カメラＡ画像１０３Ａの画素位置０の画素を選択し出力する。次に、前記ディザパターンの次のデータはＢなので、カメラＢ画像１０２Ｂの画素位置１の画素を選択し出力する。次に、前記ディザパターンの次のデータはＡなので、カメラＡ画像１０２Ａの画素位置２の画素を選択し出力する。

このように、輝度（明暗）の異なるカメラＡ画像１０２ＡとカメラＢ画像１０２Ｂのそれぞれの対応する画素を前記のディザパターンに従って出力することにより、合成画像の画像２０１Ｈの重複エリア（継ぎ目、境界部）２０３Ｃにおいて、輝度の差が低減し、カメラＡ画像１０２ＡからカメラＢ画像１０２Ｂへ輝度が自然に変化するようになる。
すなわち、ルックアップテーブル記憶部１０５のディザパターンに従って出力する画素をばらつかせることで、画像の継ぎ目を目立たなくさせる。
なお、ディザパターンを前記では、例えば「ＡＢＡＢ・・・」と記載したが、直線的（１次元）のみならず平面的（２次元）にも生成して、平面的な画像の合成に用いる。
セレクタ４０３は、この継ぎ目を目立たなくした合成画像２０１Ｈ（図３の（ｈ））を出力端子Ｙから映像出力画像４０３Ｏとして出力する。

さらに、合成画像２０１Ｈの１フレームの全画素（画像）を出力して、映像として次のフレームの合成を開始する際に、信号生成部１０４から出力される映像出力タイミング信号１０４Ｔに含まれるフレーム信号によって、ルックアップテーブル記憶部１０５におけるルックアップテーブル１（１０５１）とルックアップテーブル２（１０５２）とを切り替える。ルックアップテーブル２（１０５２）に切り替えた場合の画像の合成手順は前記したルックアップテーブル１（１０５１）の場合の手順と同様である。そのため、ルックアップテーブル２（１０５２）を用いた場合も合成画像２０１Ｈが得られる。

合成画像２０１Ｈにおける重複エリアの画像２０３Ｃは、ルックアップテーブル１（１０５１）とルックアップテーブル２（１０５２）の場合でも全画面としてみる場合には、見分けがつきにくい程度であるが、部分を拡大すると、図３の（ｇ）におけるディザパターン３１２Ｅとディザパターン３２２Ｆとの相違を反映した画像の差異がある。
したがって、ルックアップテーブル１（１０５１）のみを用いると、若干ではあるが、そのディザパターンに固有なパターンが残像として残る可能性もある。しかし、図４の回路によって、画像のフレーム毎に白黒の画素密度は同一であるが白黒画素の配置が異なるディザパターンのルックアップテーブル間で切り替えることにより、ルックアップテーブルの固有なパターンの影響が相殺されて軽減され、フレーム毎の画像が連続して映される映像として、より自然な画像（映像）が得られる。

以上、図２および図３を参照して二つの画像を合成する場合について説明したが、図１に示したようにカメラ４台による四つの画像、あるいはそれ以上の画像を合成する場合には、前記した二つの画像を合成する方法、手順を繰り返せばよい。

≪第２実施形態≫
次に、本発明の第２実施形態として、画像の重複エリアにおけるディザパターンの明暗を段階に分けて、より自然にみせる方法を、図５、図６を参照して説明する。

＜ディザ処理による合成＞
図５は、重複エリアを５段階に白黒の画素密度の異なるディザパターンを分けて、より滑らかに二つの画像２０１Ａ，２０１Ｂを合成する場合を説明する図であり、（ａ）はカメラＡの画像２０１Ａ、（ｂ）はカメラＢの画像２０１Ｂ、（ｃ）は二つの画像の重複エリアで５段階のディザ処理ありのルックアップテーブル５１０（白：カメラＡ、黒：カメラＢ）、（ｄ）はカメラＡとカメラＢの合成画像５０１Ｄを表記している。
図５の（ｃ）において、白パターン５１１と黒パターン５１３との間の重複エリア２ＡＢに対応するディザパターン５１２がある。ディザパターン５１２は、左端に白の領域、右端に黒の領域、これら白と黒の領域の間に３段階で順に白の多い領域から黒の多い領域の計５段階で示している。
なお、この５段階というのは、変化を示す表記上の理由により、便宜的に５段階で記載したものであって、実際には、白から黒への移行がなめらかに変化するディザパターンが望ましい。

ルックアップテーブル５１０は、カメラＡの画像２０１ＡとカメラＢの画像２０１Ｂの位置関係および重なり具合を反映し、カメラＡの画像２０１Ａのみの領域の白パターン５１１と、カメラＢの画像２０１Ｂのみの領域の黒パターン５１３と、画像２０１Ａと画像２０１Ｂが重なる領域のディザパターン５１２とから構成されている。
すなわち、ルックアップテーブル５１０は、２台（複数）のカメラからの二つ（複数）の画像の入力画素と合成画像の各画素との位置関係と、前記２台（複数）のカメラからそれぞれ入力する画素の比率と配置とによるディザパターンとを記憶している。

前記のように、（ｃ）の重複エリア２ＡＢのディザパターン５１２は、白の領域から黒の領域まで変化するが、各点は、白の点か黒の点のいずれかである。白の点または黒の点の占める割合によって、白の領域から黒の領域への遷移を表現している。
白で表された領域や部分や点においては、カメラ１０１Ａの画像２０１Ａのデータを用い、黒で表された領域や部分や点においては、カメラ１０１Ｂの画像２０１Ｂのデータを用いるものとする。
なお、(ｃ)のディザパターンの白、黒は、画像２０１Ａの画素を用いるか、画像２０１Ｂの画素を用いるかを示すものであって、ディザパターンの白における画像の画素がディザパターンの黒における画像の画素より明るいということを意味するものではない。ディザパターンの白における画像の画素とディザパターンの黒における画像の画素のどちらが明るいかは、画像２０１Ａと画像２０１Ｂの明るさの関係によって変わる。

以上の演算処理を行うことによって、（ｄ）に示すように、合成画像５０１Ｄの画像２０３Ａの領域は、画像２０１Ａがそのまま反映され、画像２０３Ｂの領域は、画像２０１Ｂが反映され、画像２０３Ｄの領域が５段階のディザパターンを反映した合成画像となる。
図５の（ｄ）に示すように、カメラ１０１Ａの画像２０１Ａとカメラ１０１Ｂの画像２０１Ｂの合成画像（ディザ合成有り）である画像５０１Ｄは、継ぎ目の部分の輝度の変化がぼかされ、自然に仕上がる。また、輝度の変化がぼかされるのみならず、ディザ合成の結果、継ぎ目の部分における合成画像は、色の混合として知覚されるので、継ぎ目の部分の色彩の変化が少なくなり、不自然感が軽減される。
また、図３の（ｈ）の合成画像２０１Ｈは、白、白と黒の半々、黒の３段階で変化して合成されているのに対し、図５の（ｄ）の合成画像５０１Ｄは、白から黒へ５段階で変化しているので、図５の（ｄ）の合成画像５０１Ｄは、より滑らかな変化で自然な合成画像となっている。

＜複数段階のディザパターン＞
図６は、重複エリア２ＡＢにおけるディザパターンが５段階で白黒の画素密度を変えて明暗がより自然に変化するディザパターン例を示す図であり、（ａ）はディザパターンの画素密度と配置のパターンの単位を示し、（ｂ）は第１のディザパターン例、（ｃ）は第２のディザパターン例、（ｄ）は第３のディザパターン例、（ｅ）は第４のディザパターン例を示している。

図６の（ａ）において、Ｄ１〜Ｄ５は、ディザパターンの画素密度と配置のパターンの単位を示し、Ｄ１〜Ｄ５は、例えば、４×４つまり１６個の画素をグループとしている。
なお、以下の説明において、ディザパターンの単位をＤ１〜Ｄ５として、説明する。

図６の（ｂ）において、左端のディザパターンＤ１は、１６個の画素はすべて白であり、これに対して黒の画素は０個である。つまり、黒の画素密度は０／１６である。
ディザパターンＤ２は、１２個の画素が白であり、４個の画素が黒である。つまり。黒の画素密度は４／１６である。なお、黒の画素は、横の行、縦の列において１個となるように配置している。
ディザパターンＤ３は、８個の画素が白であり、８個の画素が黒である。つまり。黒の画素密度は８／１６である。なお、黒の画素は、横の行、縦の列において１個となるように配置している。なお、黒と白は市松模様に配置されている。
ディザパターンＤ４は、４個の画素が白であり、１２個の画素が黒である。つまり。黒の画素密度は１２／１６である。なお、白の画素は、横の行、縦の列において１個となるように配置している。
右端のディザパターンＤ５は、１６個の画素はすべて黒であり、これに対して白の画素は０個である。つまり、黒の画素密度は１６／１６である。

以上のように図６の（ｂ）におけるディザパターンＤ１〜Ｄ５は、ブロック単位毎に白黒の画素密度と配置を左端から右端に５段階で序々に変えている。
このため、前記したように、図５の（ｄ）の重複エリア２ＡＢにおける合成画像２０３Ｄは、図３の（ｈ）の１段階の変化である重複エリア２ＡＢにおける合成画像２０３Ｃと比較して、カメラＡ画像からカメラＢ画像に、より滑らかに、自然に変化している。

図６の（ｃ）は、（ｂ）のディザパターンと白黒の画素密度は同一でありながら白黒の配置が異なるディザパターンの例である。
図６の（ｃ）において、左端のディザパターンＤ１は、１６個の画素はすべて白であり、これに対して黒の画素は０個である。つまり、黒の画素密度は０／１６である。
（ｃ）のディザパターンＤ２は、１２個の画素が白であり、４個の画素が黒である。つまり。黒の画素密度は４／１６である。なお、黒の画素は、横の行、縦の列において１個となるように配置している。ただし、（ｂ）におけるディザパターンＤ２とは黒の配置が異なる。

（ｃ）のディザパターンＤ３は、８個の画素が白であり、８個の画素が黒である。つまり。黒の画素密度は４／１６である。なお、（ｂ）におけるディザパターンＤ３と同様に黒と白は市松模様に配置されているが、白と黒が反転した配置の市松模様である。
（ｃ）のディザパターンＤ４は、４個の画素が白であり、１２個の画素が黒である。つまり。黒の画素密度は１２／１６である。なお、白の画素は、横の行、縦の列において１個となるように配置している。ただし、（ｂ）とは、白の配置が異なる。
（ｃ）の右端のディザパターンＤ５は、１６個の画素はすべて黒であり、これに対して白の画素は０個である。つまり、黒の画素密度は１６／１６である。
以上のように、図６の（ｃ）は、（ｂ）のディザパターンと白黒の画素密度は同一でありながら、白黒の配置が異なるディザパターンとなっている。

図６の（ｄ）および（ｅ）も、図６の（ｂ）、（ｃ）のディザパターンＤ１〜Ｄ５と、同じ画素密度でありながら、ディザパターンＤ２〜Ｄ４においては、白と黒のパターンの配置が異なっている。
なお、（ｄ）および（ｅ）のパターンの詳細な説明は、重複するので省略する。

以上、図６の（ｂ）〜（ｅ）のいずれかのディザパターンを用いて、カメラ１０１Ａの画像２０１Ａとカメラ１０１Ｂの画像２０１Ｂの画像合成を行えば、自然な合成画像５０１Ｄが得られる。
さらに、画像２０１Ａと画像２０１Ｂのフレーム毎に、図６の（ｂ）〜（ｅ）のいずれかのディザパターンの内の２種、あるいは３種以上を、フレーム毎に切り替えて用いれば、それらのパターンの影響が相殺されて、連続した画像としての映像は、さらに自然な映像が得られる。

＜細密変化のディザパターン＞
次に、前記した５段階よりも、さらに細密な明暗変化に対応したディザパターンについて説明する。
図７は、より細密な明暗変化に対応したディザパターンの例として、重複エリア２ＡＢにおけるディザパターンが９段階で白黒の画素密度を変えて明暗がより自然に変化するディザパターン例を示す図であり、（ａ）はディザパターンの画素密度と配置のパターンの単位を示し、（ｂ）は第１のディザパターン例、（ｃ）は第２のディザパターン例を示している。

図７の（ａ）において、Ｌ１〜Ｌ９は、ディザパターンの画素密度と配置のパターンの単位を示し、Ｌ１〜Ｌ９は、例えば、４×４つまり１６個の画素をグループとしている。
なお、以下の説明において、ディザパターンの単位をＬ１〜Ｌ９として、説明する。

図７の（ｂ）において、左端のディザパターンＬ１は、１６個の画素はすべて白であり、これに対して黒の画素は０個である。つまり、黒の画素密度は０／１６である。
ディザパターンＬ２は、１４個の画素が白であり、２個の画素が黒である。つまり。黒の画素密度は２／１６である。
ディザパターンＬ３は、１２個の画素が白であり、４個の画素が黒である。つまり。黒の画素密度は４／１６である。なお、黒の画素は、横の行、縦の列において１個となるように配置している。
ディザパターンＬ４は、１０個の画素が白であり、６個の画素が黒である。つまり。黒の画素密度は６／１６である。

ディザパターンＬ５は、８個の画素が白であり、８個の画素が黒である。つまり。黒の画素密度は８／１６である。なお、黒の画素は、横の行、縦の列において１個となるように配置している。なお、黒と白は市松模様に配置されている。
ディザパターンＬ６は、６個の画素が白であり、１０個の画素が黒である。つまり。黒の画素密度は１０／１６である。
ディザパターンＬ７は、４個の画素が白であり、１２個の画素が黒である。つまり。黒の画素密度は１２／１６である。なお、白の画素は、横の行、縦の列において１個となるように配置している。
ディザパターンＬ８は、２個の画素が白であり、１４個の画素が黒である。つまり。黒の画素密度は１４／１６である。
右端のディザパターンＬ９は、１６個の画素はすべて黒であり、これに対して白の画素は０個である。つまり、黒の画素密度は１６／１６である。

以上のように図７の（ｂ）におけるディザパターンＬ１〜Ｌ９は、ブロック単位毎に白黒の画素密度と配置を左端から右端に序々に変えている。
このため、図６の（ｂ）〜（ｅ）のディザパターンを用いた場合よりも、さらに、より滑らかな合成画像のディザパターンとなる。

図７の（ｃ）は、（ｂ）のディザパターンと白黒の画素密度は同一でありながら白黒の配置が異なるディザパターンの例である。

図７の（ｃ）において、左端のディザパターンＬ１は、１６個の画素はすべて白であり、これに対して黒の画素は０個である。つまり、黒の画素密度は０／１６である。
ディザパターンＬ２は、１４個の画素が白であり、２個の画素が黒である。つまり。黒の画素密度は２／１６である。ただし、（ｂ）の場合と黒の配置が異なる。
ディザパターンＬ３は、１２個の画素が白であり、４個の画素が黒である。つまり。黒の画素密度は４／１６である。ただし、（ｂ）の場合と黒の配置が異なる。
ディザパターンＬ４は、１０個の画素が白であり、６個の画素が黒である。つまり。黒の画素密度は６／１６である。ただし、（ｂ）の場合と黒の配置が異なる。
ディザパターンＬ５は、８個の画素が白であり、８個の画素が黒である。つまり。黒の画素密度は８／１６である。なお、黒の画素は、横の行、縦の列において１個となるように配置されている。なお、黒と白は市松模様に配置されているが（ｂ）とは白と黒が反転した関係にある。

ディザパターンＬ６は、６個の画素が白であり、１０個の画素が黒である。つまり。黒の画素密度は１０／１６である。ただし、（ｂ）の場合と白の配置が異なる。
ディザパターンＬ７は、４個の画素が白であり、１２個の画素が黒である。つまり。黒の画素密度は１２／１６である。ただし、（ｂ）の場合と白の配置が異なる。
ディザパターンＬ８は、２個の画素が白であり、１４個の画素が黒である。つまり。黒の画素密度は１４／１６である。ただし、（ｂ）の場合と白の配置が異なる。
右端のディザパターンＬ９は、１６個の画素はすべて黒であり、これに対して白の画素は０個である。つまり、黒の画素密度は１６／１６である。

以上のように図７の（ｃ）におけるディザパターンＬ１〜Ｌ９は、ブロック単位毎に白黒の画素密度と配置を左端から右端に序々に変えている。
それとともに、図７の（ｃ）におけるディザパターンＬ１〜Ｌ９は、（ｂ）のディザパターンＬ１〜Ｌ９と各単位毎に画素密度は同一であるが、白と黒の配置が異なっている。
したがって、図７の（ｂ）と（ｃ）のディザパターンを、画素のフレーム毎に、切り替えると、連続した画素としての映像がより自然になる。

＜画像合成方法のフローチャート（１）＞
次に、本発明の第１、第２実施形態の画像合成方法の概略について、フローチャートを用いて説明する。
図８は、本発明の第１、第２実施形態に係る画像合成方法のフローチャートである。

《ステップＳ８０１》
図８において、画像合成方法のフローを開始（ＳＴＡＲＴ）し、まずステップＳ８０１において、複数のカメラから入力された画像データをメモリ（フレーム画像記憶部）に格納する（フレーム画像記憶部<フレーム画像記憶手段>１０２：図１）。

《ステップＳ８０２》
次に、ステップＳ８０２において、ルックアップテーブル（例えばルックアップテーブル１（１０５１））を選択する（ルックアップテーブル記憶部<ルックアップテーブル記憶手段>１０５：図１）。

《ステップＳ８０３》
次に、ステップＳ８０３において、出力する画素の画素位置を０に設定する（信号生成部１０４、フレーム画像記憶部<フレーム画像記憶手段>１０２：図４）。
なお、画素位置を０に設定するということは、画像合成にあたって、合成する画像データの画素の開始箇所と定めた位置に合わせるということである。

《ステップＳ８０４》
次に、ステップＳ８０４において、画素位置に設定された値（最初は０）に基づきルックアップテーブルのディザパターンを読込む（ルックアップテーブル記憶部<ルックアップテーブル記憶手段>１０５、セレクタ４０３：図４）。

《ステップＳ８０５》
次に、ステップＳ８０５において、読込まれたルックアップテーブルのディザパターンがＡか否かを判定する（セレクタ４０３：図４）。
Ａであれば（Ｙｅｓ）、ステップＳ８０６に進む。Ａでなければ（Ｎｏ）、ステップＳ８０７に進む。

《ステップＳ８０６》
ステップＳ８０６において、画像Ａ（カメラＡ画像）の画素を出力する（セレクタ４０３：図４）。そして、ステップＳ８０８に進む。

《ステップＳ８０７》
ステップＳ８０７において、画像Ｂ（カメラＢ画像）の画素を出力する（セレクタ４０３：図４）。そして、ステップＳ８０８に進む。

《ステップＳ８０８》
次に、ステップＳ８０８において、フレームの全画素の出力を終了したか（フレーム画素を終了か）を判定する（ルックアップテーブル記憶部<ルックアップテーブル記憶手段>１０５、セレクタ４０３：図４）。
フレームの画素がまだ残っていれば（Ｎｏ）、ステップＳ８０９に進む。フレームの画素のすべての出力を終了していれば（Ｙｅｓ）、ステップＳ８１０に進む。

《ステップＳ８０９》
ステップＳ８０９においては、ステップＳ８０６もしくは、ステップＳ８０７における画素位置を１だけ繰り上げる（画素位置＋１）。つまり、「新画素位置＝旧画素位置＋１」とする（信号生成部１０４、セレクタ４０３：図４）。
そして、ステップＳ８０４に戻る。このようにして、ステップＳ８０４に戻ると、画素位置が変化（＋１）しているので、この新しい画素位置に対応する新しい画素を取り込むように、ステップＳ８０４〜ステップＳ８０９を繰り返す。
ステップＳ８０４〜ステップＳ８０９を繰り返すことで、ディザパターンが存在する範囲（図３の（ｅ）、（ｆ）、（ｇ）、図５の（ｃ））において、画像２０１Ａ（図２の（ａ））と画像２０１Ｂ（図２の（ｂ））が合成されて合成画像（ディザ合成有り）の画像２０１Ｈ（図３の（ｈ））、あるいは画像５０１Ｄ（図５の（ｄ））が出力される。

《ステップＳ８１０》
ステップＳ８１０においては、画像２０１Ａと画像２０１Ｂの１フレームの全画像が出力されたので、次のフレームの画像２０１Ａと画像２０１Ｂを取り込む前に、ルックアップテーブル（例えばルックアップテーブル２（１０５２））を選択して切り替える（ルックアップテーブル記憶部１０５、信号生成部１０４：図１）。
このように、フレーム毎に、ルックアップテーブルのディザパーンを切り替えて、ディザパターンが固定化されることによる残像の影響を低減して、より自然で滑らかな連続した画像である映像を合成画像（映像）とする。

≪第３実施形態≫
次に、本発明の第３実施形態として、画像の輝度を検出して、画像合成に反映する画像合成装置および画像合成方法を、図９、図１０を参照して説明する。
図９は、本発明の第３実施形態に係る画像合成装置１００Ｂの構成例を示すブロック図である。
図９における画像合成装置１００Ｂは、図１に示した画像合成装置１００の構成に対して、さらに輝度検波部（輝度検波手段）１０６を備えたものである。
なお、輝度検波部１０６の輝度分布の計算結果（輝度情報の解析結果）の出力信号１０６Ｓが、画像合成部１０３とルックアップテーブル記憶部１０５Ｂとに入力している。
また、図１のルックアップテーブル記憶部１０５におけるルックアップテーブルがルックアップテーブル１とルックアップテーブル２であると記載したのに対し、図９のルックアップテーブル記憶部１０５Ｂのルックアップテーブルは、ルックアップテーブル１〜４（１０５１〜１０５４）と増加されている。その理由は、後記する。
図９における画像合成装置１００Ｂは、前記した点を除いて、図１に示した画像合成装置１００と同じ構成と機能であるので重複する説明は、適宜、省略する。

図９において、複数のカメラ１０１（１０１Ａ〜１０１Ｄ）から入力された複数の画像データは、輝度検波部１０６によって、輝度情報が解析され、それぞれの輝度分布（明るさの分布）が計算（演算）される。
前記したように、輝度検波部１０６の輝度分布の計算結果の出力信号１０６Ｓが、画像合成部１０３とルックアップテーブル記憶部１０５Ｂに入力している。
この輝度検波部１０６の輝度分布の計算結果の出力信号１０６Ｓによって、ルックアップテーブル記憶部１０５におけるルックアップテーブル１〜４（１０５１〜１０５４）からより望ましいディザパターンを選択するものである。

前記したように、複数のカメラ１０１（１０１Ａ〜１０１Ｄ）は、被写体の状態やカメラの設置場所が異なる状況にあると、図５における画像２０１Ａと画像２０１Ｂは、輝度が大きく異なる場合がある。
このときには、前記したように、図７の（ｂ）におけるディザパターンＬ１〜Ｌ９をすべて含めたディザパターンのルックアップテーブルを用いて画像２０１Ａと画像２０１Ｂを合成する。
そして、次のフレームにおいては、図７の（ｃ）の画素密度は同じであるが白黒のパターン配置が異なるディザパターンに切り替えることで、連続した画像である映像を自然なものにしている。

一方、被写体の状態やカメラの設置場所が同じような状況にあると、図５における画像２０１Ａと画像２０１Ｂは、輝度が殆ど変わらない場合がある。
この場合には、図７で示したような９段階（Ｌ１〜Ｌ９）まで細かくディザパターンを変化させることに実質的な意味がないことがある。
このように、画像２０１Ａと画像２０１Ｂに輝度の差があまりない場合には、Ｌ１、Ｌ３、Ｌ５、Ｌ７、Ｌ９の５段階（図６の（ｂ）相当）、あるいは、さらにＬ１、Ｌ５、Ｌ９の３段階（図３の（ｆ）相当）のディザパターンを用意すれば、十分、実用的であることがある。
５段階や３段階のディザパターンは、９段階のディザパターンで画像合成する場合よりも処理時間が短縮される効果がある。

このように、ディザパターンを細かいものか荒いものかを選択するのが、図９の輝度検波部１０６の機能である。
また、ディザパターンを細かいものか荒いものかを選択する必要があるために、図９では、ルックアップテーブル記憶部１０５におけるルックアップテーブル１〜４（１０５１〜１０５４）の個数を増加して表記している。
以上の輝度検波部１０６が複数の画像データの輝度分布を計算して、より望ましいルックアップテーブル（ルックアップテーブル１〜４）を選択することを除いては、前記した第１、第２実施形態と同様の機能、構成であるので、重複する説明は省略する。

＜画像合成方法のフローチャート（２）＞
次に、本発明の第３実施形態の画像合成方法の概略について、フローチャートを用いて説明する。
図１０は、本発明の第３実施形態に係る画像合成方法のフローチャートである。
図１０で示したフローチャートは、図８のステップＳ８０１〜Ｓ８１０に対して、冒頭にステップＳ８００を加えたものである。
図１０において、画像合成方法のフローを開始（ＳＴＡＲＴ）し、まずステップＳ８００において、複数のカメラから入力された画像データの輝度分布を計算する（カメラ１０１、輝度検波部<輝度検波手段>１０６：図９）。
この計算結果は、図１０のステップＳ８０２の「ルックアップテーブルの選択」の際に活用される。
他のステップＳ８０１〜Ｓ８１０は、図８で示したフローチャートのステップＳ８０１〜Ｓ８１０と同じであるので、重複する説明は省略する。

≪第４実施形態≫
次に、本発明の第４実施形態として、画像の輝度を検出し、輝度補正をした画像を、画像合成する画像合成装置および画像合成方法を、図１１、図１２を参照して説明する。
図１１は、本発明の第４実施形態に係る画像合成装置１００Ｃの構成例を示すブロック図である。
図１１における画像合成装置１００Ｃは、図９に示した画像合成装置１００Ｂの構成に対して、さらに補正係数演算部１０７と輝度補正処理部１０８とを備えたものである。

図１１において、複数のカメラ１０１（１０１Ａ〜１０１Ｄ）から入力された複数の画像データは、輝度検波部１０６によって、輝度情報が解析され、それぞれの輝度分布（明るさの分布）が計算（演算）される。
この輝度分布の計算結果（輝度情報の解析結果）と、予め設定した被写体（例えば前記した道路）が見やすい輝度設定とを用いて補正係数演算部１０７で補正係数を算出（演算）する。なお、道路、交差点、料金所等を単に「道路」とも表記する。
また、輝度補正処理部１０８に複数のカメラ１０１（１０１Ａ〜１０１Ｄ）から入力された画像データは、輝度補正処理部１０８において、前記の補正係数演算部１０７で算出された補正係数に基づき、輝度が補正処理される。
この輝度補正処理部１０８で補正処理された画像データは、フレーム画像記憶部１０２に記憶、格納される。
フレーム画像記憶部１０２に格納された画像は、図９に示した第３実施形態の画像合成装置１００Ｂと同様に演算処理される。
図１１における画像合成部１０３と信号生成部１０４とルックアップテーブル記憶部１０５Ｂの構成と機能は、図９の構成と機能と同じであるので、重複する説明は省略する。

以上において、輝度検波部１０６と補正係数演算部１０７と輝度補正処理部１０８とによって、複数のカメラ１０１（１０１Ａ〜１０１Ｄ）から入力された画像２０１Ａと画像２０１Ｂ（図５の（ａ）、（ｂ））は、輝度が補正されて、互いに輝度の差異が少ない画像となる。
そして、輝度検波部１０６（もしくは輝度補正処理部１０８）の信号によって、適正なルックアップテーブル記憶部１０５Ｂのルックアップテーブルのディザパターンが選択されて、前記の画像２０１Ａと画像２０１Ｂの輝度を補正された二つの画像が合成されるので、画像２０１Ａと画像２０１Ｂのさらに輝度の差が少なく、より自然な合成画像が得られる。
そして、信号生成部１０４のフレーム信号によって、ルックアップテーブル記憶部１０５Ｂのルックアップテーブルのディザパターンが切り替わるので、より滑らかで自然な画像の連続した映像が得られる。

＜画像合成方法のフローチャート（３）＞
次に、本発明の第４実施形態の画像合成方法の概略について、フローチャートを用いて説明する。
図１２は、本発明の第４実施形態に係る画像合成方法のフローチャートである。
図１２で示したフローチャートは、図８のステップＳ８０１〜Ｓ８１０に対して、冒頭にステップＳ８００Ａ〜Ｓ８００Ｃを加えたものである。

《ステップＳ８００Ａ》
図１２において、画像合成方法のフローを開始（ＳＴＡＲＴ）し、まずステップＳ８００Ａにおいて、複数のカメラから入力された画像データの輝度分布を計算する（カメラ１０１、輝度検波部<輝度検波手段>１０６：図１１）。
この計算結果は、次のステップＳ８００Ｂで用いられるとともに、ステップＳ８０２の「ルックアップテーブルの選択」の際に活用される。

《ステップＳ８００Ｂ》
次に、ステップＳ８００Ｂにおいて、前記の輝度分布の計算結果と、予め設定した被写体が見やすい輝度設定とを用いて輝度の補正係数を演算する（補正係数演算部<補正係数演算手段>１０７：図１１）

《ステップＳ８００Ｃ》
次に、ステップＳ８００Ｃにおいて、複数のカメラから入力された画像データについて、前記の補正係数演算部<補正係数演算手段>で算出された補正係数を基に、各入力画像の輝度補正をする（輝度補正処理部<輝度補正処理手段>１０８：図１１）

《ステップＳ８０１》
次に、ステップＳ８０１において、輝度補正処理部１０８で輝度補正された画像データをメモリ（フレーム画像記憶部）に格納する（フレーム画像記憶部<フレーム画像記憶手段>１０２：図１１）

《ステップＳ８０２〜Ｓ８１０》
他のステップＳ８０２〜Ｓ８１０は、図８で示したフローチャートのステップＳ８０２〜Ｓ８１０と同じであるので、重複する説明は省略する。

以上によって、前記したように、輝度検波部１０６と補正係数演算部１０７と輝度補正処理部１０８とによって、複数のカメラ１０１（１０１Ａ〜１０１Ｄ）から入力された画像２０１Ａと画像２０１Ｂ（図５の（ａ）、（ｂ））は、輝度が補正されて、互いに輝度の差異が少ない画像となる。
そして、輝度検波部１０６（もしくは輝度補正処理部１０８）の信号によって、適正なルックアップテーブル記憶部１０５Ｂのルックアップテーブルのディザパターンが選択されて、前記の画像２０１Ａと画像２０１Ｂの輝度を補正された二つの画像が合成されるので、画像２０１Ａと画像２０１Ｂのより、輝度の差が少なく、より自然な合成画像が得られる。
そして、信号生成部１０４のフレーム信号によって、ルックアップテーブル記憶部１０５Ｂのルックアップテーブルのディザパターンが切り替わるので、より滑らかで自然な画像の連続した映像が得られる。

≪その他の実施形態≫
以上、本発明は、前記した実施形態に基づき具体的に説明したが、本発明は前記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々、変更可能である。
以下に、その他の実施形態や変形例について、さらに説明する。

《画像合成写真の枚数》
図２では、輝度の異なる二つの画像データ（２枚の写真）を合成する場合について、説明したが、二つの画像データ（２枚の写真）に限定されない。三つ以上の画像データ（３枚以上の写真）であってもよい。
この場合には、適用範囲や応用分野が広がる効果がある。

《画像合成写真の組み合わせ方》
図２では、輝度の異なる二つの画像データ（２枚の写真）を左右方向（横方向）に合成する場合について説明したが、左右方向（横方向）に限定されない。
例えば、上下方向（縦方向）でもよい。
また、複数の衛星写真を合成する場合のように、左右、上下方向に本実施形態の画像合成方法を適用して、広い領域（面積）の画像（写真）を、複数の画像（写真）から合成してもよい。
この場合には、適用範囲や応用分野が広がる効果がある。

《画像合成方法の手順》
輝度の異なる三つ以上の画像データを合成する場合において、図５で示したような二つの画像データ（２枚の写真）の合成を順に行う方法もある。また、複数の画像データが異なる組み合わせで、それぞれが重なる領域において、本実施形態のディザリングを用いた画像合成を並行して実施し、併せて処理する方法もある。
すなわち、図４で示したセレクタ４０３を複数個備えて、図１における画像合成部１０３とし、一つのセレクタ４０３がカメラＡ画像１０３ＡとカメラＢ画像１０３Ｂの画像合成を行う間に、併せて他の画像、例えばカメラ１０１Ｃ（図１）による画像１０３Ｃ（不図示）とカメラ１０１Ｄ（図１）による画像１０３Ｄ（不図示）を他のセレクタ（不図示）で合成する。
この場合には、演算処理の時間短縮に効果がある。

《ディザパターン（ルックアップテーブル）の選択、生成》
図５の（ｃ）において、５段階（あるいは連続的）に変化するディザパターンの例を示したが、このディザパターンは、一例にすぎない。本実施形態の画像データの合成方法を適用する用途や環境によって、適するディザパターンを適宜、採用してもよい。
また、三つ以上の画像データ（３枚以上の写真）を合成する場合において、用いるディザパターンは一つに限定されない。適宜、異なるディザパターンを採用してもよい。
この場合には、さらに用途に適した、また品質の高い合成画像ができる可能性が高まる効果がある。
また、図１ではルックアップテーブルを２個（２種）、図９、図１１ではルックアップテーブルを４個（４種）で説明したが、この個数に限定されない。ルックアップテーブルの個数は、それぞれ前記した以上でもよい。
また、図１、図４において、ルックアップテーブル記憶部１０５として、ディザパターンを記憶したルックアップテーブルを読み出す方法を説明したが、このルックアップテーブルを読み出す方法に限定されない。
例えば、所定のルールによって、ディザパターンを逐次、生成して用いてもよい。

《重複エリアにおけるディザパターンの単位ブロックの数》
合成する画像Ａと画像Ｂの重複エリアのディザパターンの画素密度の変化を、図３の（ｇ）では１段階、図５の（ｃ）と図６では５段階、図７では９段階の例を示したが、これらに限定されない。
例えば、図７においては、黒の画素密度として、０／１６、２／１６、４／１６、６／１６、８／１６、１０／１６、１２／１６、１４／１６、１６／１６の単位ブロックを例にあげたが、さらに１／１６、３／１６、５／１６、７／１６、９／１６、１１／１６、１３／１６、１５／１６の黒の画素密度のディザパターンを用いれば、合計１６段階に変化する白黒のディザパターンが得られる。
この１６段階に変化する白黒のディザパターンを用いれば、さらに滑らかで自然な合成画像が得られる。

《ディザパターンの単位ブロックの形状》
ディザパターンの白黒の画素密度と配置を定める単位ブロックは、図３の（ｇ）、図６、図７においては、４×４（＝１６）の正方形で説明したが、この形状に限定されない。
ディザパターンの単位ブロックを、もっと大きな画素単位、例えば５×５（＝２５）、あるいはそれ以上で構成してもよい。また、逆に、小さな画素単位、例えば３×３（＝９）で構成してもよい。
また、単位ブロックの形状は、前記のように正方形に限定されることはなく、長方形、菱形、三角形、六角形などで構成してもよい。

《フレーム切り替え》
第１、第２実施形態においては、画像のフレーム毎に、ディザパターンのルックアップテーブルを切り替えることを説明した。
このフレーム毎に切り替えるディザパターンのルックアップテーブルは、交互でなくともよい。ランダムに切り替えてもよい。ランダムに切り替えることで、さらに連続した合成画像の映像がさらに自然となることがある。
また３パターン以上のディザパターンをランダムに切り替えてもよい。

《フレーム切り替え時のディザパターンの読み込み方（１）》
第２実施形態の図６においては、（ｂ）〜（ｅ）に示すように第１と第２、または第１〜第４のディザパターンを用意して、前記のディザパターンを画像のフレーム毎に、切り替える方法を説明した。しかしながら、フレーム毎にディザパターンを変化させる場合に前記のように複数のディザパターンを用意する方法に限定されない。複数のディザパターンを用意しなくともよい方法について次に説明する。
図１３は、一つのディザパターンを複数のディザパターンとして用いる方法を示す図であり、（ａ）は第１の方法、（ｂ）は第２の方法を示している。

<第１の方法>
図１３の（ａ）のディザパターンは、図６の（ｂ）に前記した５段階のディザパターンの一例で示したディザパターンと同じものである。
図１３の（ａ）では、ディザパターンをαとβで示した二つの領域（紙面の横方向に画素が並ぶ）と考える。そして、第１のフレームにおいては、ディザパターンとして、最初にαのディザパターンを用い、次にβのディザパターンを用いる。そして第２のフレームでは、最初にβのディザパターンを用い、次にαのディザパターンを用いる。そして第３のフレームでは、第１のフレームでの方法に戻る。
このようにαの領域とβの領域を交互に用いることにより、一つのディザパターンを二つのディザパターンと等価に用いることができる。なお、αの領域とβの領域を交互に用いる方法としては、ディザパターンを記憶したメモリのアドレスをフレーム毎に変えて読み出せばよい。

<第２の方法>
図１３の（ｂ）のディザパターンは、（ａ）のディザパターンと同じディザパターンであり、また図６の（ｂ）に前記した５段階のディザパターンの一例で示したディザパターンと同じものである。
図１３の（ｂ）では、ディザパターンをγ１〜γ４で示した四つの領域（紙面の横方向に画素が並ぶ）と考える。
そして、第１のフレームにおいては、ディザパターンとして、γ１、γ２、γ３、γ４の順番で用いる。そして次の第２のフレームでは、γ２、γ３、γ４、γ１の順番で用いる。そして次の第３のフレームでは、γ３、γ４、γ１、γ２の順番で用いる。そして次の第４のフレームでは、γ４、γ１、γ２、γ３の順番で用いる。そして、第５のフレームでは、γ１、γ２、γ３、γ４の順番の元に戻り、以上を繰り返す。
このようにフレーム毎に読み出す方法を変える（例えばメモリのアドレスの読み方を変える）ことにより、一つのディザパターンで複数のディザパターンと等価に用いることができる。
なお、γ１、γ２、γ３、γ４と順番に読み出す例をあげたが、この順番をさらに複雑に入れ替えて読み出す方法もある。

《フレーム切り替え時のディザパターンの読み込み方（２）》
第３実施形態において、図７で示したＬ１〜Ｌ９の９段階から、Ｌ１、Ｌ３、Ｌ５、Ｌ７、Ｌ９の５段階、あるいはＬ１、Ｌ５、Ｌ９の３段階のディザパターンをそれぞれ用意して、図９の輝度検波部１０６の輝度分布の計算結果によって、前記のディザパターンを選択する方法について説明したが、複数のディザパターンを用意する方法に限定されない。
例えば、図７（ｂ）のディザパターンにおいて、９段階の場合には、Ｌ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５、Ｌ６、Ｌ７、Ｌ８、Ｌ９を用意していたものを、５段階する場合には、図７の（ｂ）のディザパターンをＬ１、Ｌ１、Ｌ３、Ｌ３、Ｌ５、Ｌ５、Ｌ７、Ｌ７、Ｌ９と読み出すか、もしくはＬ１、Ｌ３、Ｌ３、Ｌ５、Ｌ５、Ｌ７、Ｌ７、Ｌ９、Ｌ９として読み出せばよい。

また、フレーム毎にディザパターンを切り替える場合には、図７の（ｃ）を前記した方法で読み出して用いればよい。
また、３段階のＬ１、Ｌ５、Ｌ９とする場合も、同様に、Ｌ２、Ｌ３、Ｌ４、Ｌ６、Ｌ７、Ｌ８をＬ１、Ｌ５、Ｌ９のいずれかとして読み出せばよい。事実上、重複する説明は省略する。
このように、輝度検波部１０６の輝度分布の計算結果によって、前記のディザパターンを選択する場合においても、メモリから読み出す方法をとることによって、多くのディザパターンを用意することを省くことができる。

《カメラの台数と配置》
図１においては、カメラ１０１は、４台のカメラ１０１Ａ〜１０１Ｄの場合で説明したが、前記したように、４台に限定されない。
また、４台を１列に並べて配置している例を示しているが、この例に限定されない。例えば、円形に並べてもよく、また道路事情に合わせて、任意の曲線状に沿って配置してもよい。
また、カメラ１０１は、必要に応じて画像合成装置１００に内蔵してもよい。あるいは、画像合成装置１００の一部品（構成要素）として取り扱ってもよい。
殊にカメラ１０１が１台のカメラ（例えばカメラ１０１Ａ）で構成される場合には、画像合成装置１００に内蔵する方が装置全体としてはコンパクトになる。

《画像データの種類》
図１、図３、図５においては、複数台のカメラを用いた例えば道路監視用途として説明したが、海上でも航空写真でもよい。また、風景、光景の写真による可視光の画像として説明したが、本実施形態の画像データの合成方法は、可視光による画像データに限定されない。可視光のみならず、赤外線、紫外線、Ｘ線の領域での画像データの合成に用いてもよい。また、フィルタ等を用いた可視光の所定の周波数帯による画像データの合成に用いてもよい。

《画像合成装置》
図１、図４、図９、図１１に示した画像合成装置（１００，１００Ｂ，１００Ｃ）の各構成、機能等は、一部又は全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。
また、図１、図４、図９、図１１に示した画像合成装置（１００，１００Ｂ，１００Ｃ）の各構成、機能等は、例えばＣＰＵ（Central Processing Unit：中央処理装置）等のプロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。
また、画像合成装置（１００，１００Ｂ，１００Ｃ）に前記のハードウェアとソフトウェアとによる機能を混載してもよい。

１００，１００Ｂ，１００Ｃ 画像合成装置
１０１ カメラ（複数台のカメラ）
１０１Ａ，１０１Ｂ，１０１Ｃ，１０１Ｄ カメラ
１０２ フレーム画像記憶部（メモリ、フレームメモリ、フレーム画像記憶手段）
１０３ 画像合成部（画像合成手段）
１０４ 信号生成部（タイミングジェネレータ、信号生成手段）
１０５，１０５Ｂ ルックアップテーブル記憶部（ルックアップテーブル記憶手段）
１０６ 輝度検波部（輝度検波手段）
１０７ 補正係数演算部（補正係数演算手段）
１０８ 輝度補正処理部（輝度補正処理手段）
４０３ セレクタ（画像合成部）
１０５１〜１０５４ ルックアップテーブル（ルックアップテーブル１〜４）

Claims (12)

1. 複数のカメラで撮影した複数の画像を合成する画像合成装置であって、
   前記複数のカメラの画像データを格納するフレーム画像記憶部と、
   前記複数のカメラからの複数の画像の入力画素と合成画像の各画素との位置関係と、前記複数のカメラからそれぞれ入力する画素の比率と配置とによるディザパターンとを記憶したルックアップテーブルを複数個有するルックアップテーブル記憶部と、
   画像を合成するための基準信号および該基準信号に基づくフレーム信号を生成する信号生成部と、
   前記ルックアップテーブルの情報に基づき前記フレーム画像記憶部から前記複数の画像データを読みだし、該複数の画像データの重複エリアを調整して合成する画像合成部と、
   を備え、
   前記ルックアップテーブル記憶部は、前記信号生成部のフレーム信号によって、前記画像のフレーム単位ごとに、前記画素の比率は同一であって配置が異なるディザパターンを記憶した複数のルックアップテーブルを切り替える
   ことを特徴とする画像合成装置。
2. 請求項１において、
   さらに、前記複数のカメラから入力された複数の画像データのそれぞれの輝度分布を計算する輝度検波部を備え、
   前記輝度検波部の輝度分布の計算結果を基に、前記ルックアップテーブル記憶部の複数のルックアップテーブルを選択する
   ことを特徴とする画像合成装置。
3. 複数のカメラで撮影した複数の画像を合成する画像合成装置であって、
   前記複数のカメラから入力された複数の画像データのそれぞれの輝度分布を計算する輝度検波部と、
   前記輝度分布の計算結果と、予め設定した被写体が見やすい輝度設定とに基づいて補正係数を算出する補正係数演算部と、
   前記複数のカメラから入力された複数の画像データを前記補正係数演算部で算出された補正係数に基づき輝度を補正処理する輝度補正処理部と、
   該輝度補正処理部で補正処理された複数の画像データを記憶して格納するフレーム画像記憶部と、
   前記複数のカメラで撮影した複数の画像の入力画素と合成画像の各画素との位置関係と、前記複数のカメラからそれぞれ入力する画素の比率と配置とによるディザパターンとを記憶したルックアップテーブルを複数個有するルックアップテーブル記憶部と、
   画像を合成するための基準信号および該基準信号に基づくフレーム信号を生成する信号生成部と、
   前記ルックアップテーブルの情報に基づき前記フレーム画像記憶部から前記複数のカメラからの複数の画像データを読みだし、該複数の画像データの重複エリアの輝度を調整した合成画像を生成する画像合成部と、
   を備え、
   前記ルックアップテーブル記憶部は、前記信号生成部のフレーム信号によって、前記画像のフレーム単位ごとに、前記画素の比率は同一であって配置が異なるディザパターンを記憶した複数のルックアップテーブルを切り替える
   ことを特徴とする画像合成装置。
4. 請求項１乃至請求項３のいずれか一項において、
   前記画像合成部は、セレクタを具備し、
   該セレクタの第１入力端子と第２入力端子に、前記フレーム画像記憶部に格納された複数の画像データをそれぞれ入力し、
   前記セレクタの第３入力端子に前記ディザパターンを入力し、
   前記基準信号に基づくタイミング信号に合わせて、前記複数の画像データと、前記ディザパターンとによって、前記複数の画像データの重複エリアの輝度を調整した合成画像を生成する
   ことを特徴とする画像合成装置。
5. 請求項３において、
   前記補正係数演算部が、補正係数を算出する際に、被写体を道路とした場合の輝度設定を用いる
   ことを特徴とする画像合成装置。
6. 請求項１乃至請求項３のいずれか一項において、
   前記ルックアップテーブル記憶部が画像のフレーム単位ごとに切り替える複数のルックアップテーブルは、ランダムに選択される
   ことを特徴とする画像合成装置。
7. 請求項１乃至請求項３のいずれか一項において、
   前記画像合成装置の各部の構成、機能の一部、または全部が、プロセッサに備えられるプログラムを解釈、実行することによるものである
   ことを特徴とする画像合成装置。
8. フレーム画像記憶手段が、複数のカメラから入力された複数の画像データを格納し、
   ルックアップテーブル記憶手段が、前記複数のカメラからの複数の画像の入力画素と合成画像の各画素との位置関係と、前記複数のカメラからそれぞれ入力する画素の比率と配置とによるディザパターンとを記憶したルックアップテーブルを有して、前記ディザパターンを生成し、
   信号生成手段が画像を合成するための基準信号および該基準信号に基づくフレーム信号を生成し、
   画像合成手段が、前記ルックアップテーブルの情報に基づき前記フレーム画像記憶手段に格納されている互いに重複エリアを有する前記複数の画像データを合成し、
   前記ルックアップテーブル記憶手段は、前記信号生成手段のフレーム信号によって、前記画像のフレーム単位ごとに、前記画素の比率は同一であって配置が異なるディザパターンを記憶した複数のルックアップテーブルを切り替える
   ことを特徴とする画像合成方法。
9. 請求項８において、
   さらに、輝度検波手段が前記複数のカメラから入力された複数の画像データのそれぞれの輝度分布を計算し、
   前記輝度検波手段の輝度分布の計算結果を基に、前記ルックアップテーブル記憶手段の複数のルックアップテーブルを選択する
   ことを特徴とする画像合成方法。
10. 輝度検波手段が、複数のカメラから入力された複数の画像データのそれぞれの輝度分布を計算し、
    補正係数演算手段が、前記輝度分布の計算結果と、予め設定した被写体が見やすい輝度設定とに基づいて補正係数を算出し、
    輝度補正処理手段が、前記複数のカメラから入力された複数の画像データを前記補正係数演算手段で算出された補正係数に基づき輝度を補正処理し、
    フレーム画像記憶手段が、前記輝度補正処理手段で補正処理された複数の画像データを記憶して格納し、
    ルックアップテーブル記憶手段が、前記複数のカメラで撮影した複数の画像の入力画素と合成画像の各画素との位置関係と、前記複数のカメラからそれぞれ入力する画素の比率と配置とによるディザパターンとを記憶したルックアップテーブルを複数個有して、前記ディザパターンを生成し、
    信号生成手段が、画像を合成するための基準信号および該基準信号に基づくフレーム信号を生成し、
    画像合成手段が、前記ルックアップテーブルの情報に基づき前記フレーム画像記憶手段から前記複数のカメラからの複数の画像データを読みだし、該複数の画像データの重複エリアの輝度を調整した合成画像を生成し、
    前記ルックアップテーブル記憶手段は、前記信号生成手段のフレーム信号によって、前記画像のフレーム単位ごとに、前記画素の比率は同一であって配置が異なるディザパターンを記憶した複数のルックアップテーブルを切り替える
    ことを特徴とする画像合成方法。
11. 請求項１０において、
    前記補正係数演算手段が、補正係数を算出する際に、被写体を道路とした場合の輝度設定を用いる
    ことを特徴とする画像合成方法。
12. 請求項８乃至請求項１０のいずれか一項において、
    前記ルックアップテーブル記憶手段が画像のフレーム単位ごとに切り替える複数のルックアップテーブルは、ランダムに選択される
    ことを特徴とする画像合成方法。

Images