JP2014052702A - 複数画像合成装置 - Google Patents

Abstract

【課題】異なる撮像器から得られた複数の画像を合成しても輝度ムラの少ない画像が得られる複数画像合成装置を提供すること。
【解決手段】一例の複数画像合成装置は、複数の赤外線撮像器により隣接する各画像に対して一部を重ねて撮像した複数の画像を補正して合成する複数画像合成装置であって、前記画像の２つの隣接する各領域について、各画素の輝度及び各画素の輝度についての頻度の関係を求めこれを輝度補正バイアスとし、各画素の輝度を補正する輝度補正係数及び前記隣接２領域における平均輝度を求め、前記隣接２領域の重なり領域における値を、前記輝度補正係数に各画素の輝度を乗算した値に前記輝度補正バイアスを加算した値を、重なり領域における輝度補正値として得、この輝度補正値を複数の前記重なり領域について求め、これらの輝度補正値からバイリニア補間法によって各画素の補正値を求め、この補正値により各画素の補正をした後、前記複数の画像を合成する。
【選択図】図１

Description

本発明の実施形態は、例えば複数の赤外線撮像器により撮像された複数の画像を合成する複数画像合成装置に関する。

例えば複数の赤外線撮像器により撮影した複数の画像を合成して１枚の画像を作成する場合がある。赤外線撮像器は、個別に感度ムラがあり、画素ごとにばらついている感度をほぼ一定に合わせるために、一定の温度で制御して熱板を見込んだ状態で感度を補正するデータを取得する。これにより、画像を構成する画素毎の感度がほぼ一定になる。この処理を各赤外線撮像器毎に行い、それぞれの感度を合わせる。

しかし、赤外線撮像器毎に感度が異なるので、同じ熱板で感度補正しても明るさに差が出るのでこのまま画像を１つの画像に補正した場合に、明るさにムラが出る。これに対して境界付近を不明瞭にして目立たなくする方法もあるが、全体を見た場合やはり、ムラが目立ってしまう。そこで、各画像の平均輝度レベルとコントラストに基づいて画像の明るさを補正する画像合成方法が考えられた。しかし、この方法でも画像のムラをあまり少なくすることができない。

特開２００７−３２４８６９号公報

本発明の課題は、異なる撮像器から得られた複数の画像を合成しても輝度ムラの少ない画像が得られる複数画像合成装置を提供する。

本発明一実施形態によれば、複数の赤外線撮像器により隣接する各画像に対して一部を重ねて撮像した複数の画像を補正して合成する複数画像合成装置であって、前記画像の２つの隣接する各領域について、各画素の輝度及び各画素の輝度についての頻度の関係を求めて、各画素の輝度を補正する輝度補正係数及び前記隣接２領域における平均輝度を求めこれを輝度補正バイアスとし、前記隣接２領域の重なり領域における値を、前記輝度補正係数に各画素の輝度を乗算した値に前記輝度補正バイアスを加算した値を、重なり領域における輝度補正値として得、この輝度補正値を複数の前記重なり領域について求め、これらの輝度補正値からバイリニア補間法によって各画素の補正値を求め、この補正値により各画素の補正をした後、前記複数の画像を合成する、複数画像合成装置を提供する。

第１の実施形態に係る複数画像合成装置を含む全体構成例を示す図である。 第１の実施形態の複数画像の配置関係例を示す図である。 図１に示す第１の実施形態の画像補正処理部の構成例を示す図である。 一実施形態の演算処理のフローを示す図である。 図２に示す画像配置関係において着目する一部の画像を取り出して示す図である。 一実施形態において各画素の輝度と頻度の関係例を示す図である。 バイリニア補間法を説明するための図である。 第２の実施形態における撮像器の関係例を示す図である。 第２の実施形態における画像関係の例を示す図である。 第２の実施形態において、重なり領域における画素の輝度と頻度関係の例を示す図である。 第３の実施形態において、輝度補正係数、輝度補正バイアスを計算するための重なり領域の輝度の例を示す図である。

以下、本発明の実施形態について、図面を用いて説明する。

＜第１の実施形態＞
第１の実施形態の構成例を図１に示す。この複数画像合成システムは、例えば赤外線撮像器である６台の撮像器１１Ａ，１１Ｂ，１１Ｃ，１１Ｄ，１１Ｅ，１１Ｆと、これらの撮像器で得られた画像を画像信号として受信する画像受信部１２と、この画像受信部１２で受信した画像信号を後述するように補正処理する画像補正処理部１３と、画像補正処理部１３で補正処理された画像を合成する画像合成部１４と、画像合成部１４で合成された画像を表示する画像表示部１５とを有する。この複数画像合成システムは６台の撮像器を用いる例について説明するが、５台など６台以外の台数の撮像器を用いてもよく、以下の処理を同様に行うことができる。

画像補正処理部１３と画像合成部１４は、一実施形態の複数画像合成装置１６を構成する。撮像器１１Ａ，１１Ｂ，１１Ｃ，１１Ｄは、例えば水平方向で周囲３６０°にわたって向けられよう設置され、各撮像器による画像はその境界で一部重なって撮像される。

一方、撮像器１１Ｅは上方に向けられるよう設置され、撮像器１１Ｆは下方に向けられるよう設置される。したがって、これらの撮像器により撮像される画像は、図２に示すように、撮像器１１Ａ，１１Ｂ，１１Ｃ，１１Ｄにより撮像される画像の上端、下端と一部重なるように撮像される。撮像器１１Ａ，１１Ｂ，１１Ｃ，１１Ｄ，１１Ｅ，１１Ｆの撮像器で得られる画像を各々領域Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆで表している。

図２では、例えば領域Ａの画像と領域Ｂの画像が重なる領域は領域ＡＢで表してある。他の領域についても同様である。上記６台の撮像器によって合成される１枚の画像は、水平方向３６０°及び上下方向の画像が合わせて得られ、全方位にわたる画像となる。

この複数画像合成装置１６の構成例を図３に示す。複数画像合成装置１６は上記画像合成部１４のほかに画像補正処理部１３を有しており、画像補正処理部１３は、各領域のデータを取得する領域データ取得部３１と、重なり領域のデータを取得する重なり領域データ取得部３２と、各領域の平均値μを計算する領域平均値計算部３３と、各領域の画素ごとの標準偏差を計算する画素標準偏差計算部３４と、各領域の輝度平均値から輝度補正バイアスを計算する補正バイアス計算部３５と、標準偏差から補正倍率を計算する補正倍率計算部３６と、輝度補正倍率と輝度補正バイアスからバイリニア補間法による補正を行い各画素の補正値を計算するバイリニア補正値計算部３７とを有する。

次にこの複数画像合成システムについて、画像補正処理部１３においてなされる処理を中心に、図４に示すフローチャートにしたがって説明する。

図３に示す領域データ取得部３１において画像受信部１２で得られた領域Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ、各領域の輝度データを取得する。これら各領域の輝度データは、領域平均値計算部３３及び画素標準偏差計算部３４に入力される。ステップＳ４０１で重なり領域を特定する。重なり領域における輝度データは重なり領域データ取得部３２で得られ、領域平均値計算部３３及び画素標準偏差計算部３４に入力される。

例えば図５に示す領域Ａを中心に、特に重なり領域ＡＦについてその画像処理を説明する。他の領域についても同様に処理される。図５において領域ＡＢ，ＡＤ，ＡＥ，ＡＦは重なり領域を示している。各領域での輝度レベルの平均値はステップＳ４０２で求められ、領域間での輝度レベル平均値の差はステップＳ４０３で求められる。

領域Ｆの輝度（明るさ）平均値をμｆで表し、領域Ａの輝度平均値をμａで表わす。領域Ｆにおける各画素の標準偏差をσｆ、領域Ａにおける各画素の標準偏差をσａで表す。

これら領域Ｆ，Ａの輝度の平均値μｆ、μａは領域平均値計算部３３で計算され、重なり領域ＡＦにおける各画素の標準偏差値は画素標準偏差計算部３４で計算される（ステップＳ４０４）。

例えば、各領域における輝度レベルの分布をガウス分布であるとする。領域Ｆにおける各画素の頻度に対する輝度は、この領域の平均輝度レベルμｆを中心に図６（ａ）に示すようになる。同様に領域Ａにおける各画素の頻度に対する輝度は、この領域の平均輝度レベルμａを中心に図６（ｂ）に示すようになる。

そして、領域Ｆにおける各画素の輝度をμｉとすると、その画素の標準偏差σｆは図６（ａ）に示すように求められる。同様に領域Ａにおける各画素の輝度をμｊとすると、その画素の標準偏差σａは図６（ｂ）に示すように求められる。これらの計算は画素標準偏差計算部３４においてなされる。

領域平均値計算部３３で求められた領域Ｆ，Ａにおける輝度の平均値の差、即ち補正バイアスが補正バイアス計算部３５で求められる。一方、補正倍率計算部３６では、画素標準偏差計算部３４で求められた標準偏差から補正倍率を求める（ステップＳ４０５）。

即ち、重なり領域ＡＦにおける補正バイアスμｆａは、μｆａ＝μｆ−μａとして求められ、この重なり領域ＡＦにおける補正倍率σｆａは、σｆａ＝σｆ／σａとして求められる。

重なり領域ＡＦ，ＡＢ，ＡＤ，ＡＥにおけるこれらの係数（補正バイアス及び補正倍率）を、補正バイアス計算部３５及び補正倍率計算部３６で計算する。これらの係数を用いて、バイリニア補間法により画素毎の補正値の計算を行う（ステップＳ４０６）。

補正バイアスについては、μｆａ＝μｆ−μａ、μａｂ＝μｂ−μａ、μａｅ＝μｅ−μａ、μａｄ＝μｄ−μａの４点により、バイリニア補間法で各画素における補正バイアス値を求める。

一方、補正倍率については標準偏差比、即ちσａｆ＝σｆ／σａ、σａｂ＝σｂ／σａ、σａｅ＝σｅ／σａ、σａｄ＝σｄ／σａの４つの標準偏差比に各領域の点における輝度を掛けた値を４つのベクトルとしてバイリニア補間法により各輝度値の補正を行う。

バイリニア補間法は、直感的には４つのベクトルから成る平面を仮定して、各画素値がその平面に到達するように補正することを意味する。

ステップＳ４０７では、上記補正データに基づいて画像の合成がなされる（ステップＳ４０７）。

ここでバイリニア補間法につき、図７を用いて説明する。今、(x₁,y₁)、(x₁,y₂)、(x₂,y₁)及び(x₂,y₂)の４点における値が既知で、Ｑ１１、Ｑ１２，Ｑ２１、Ｑ２２であったとする。

このとき、(x₁,y₁)、(x₁,y₂)、(x₂,y₁)及び(x₂,y₂)内の１点（Ｘ，Ｙ）における値ｆ（Ｘ，Ｙ）は、次式により求められる。

このバイリニア補間法を用い、ステップＳ４０６でバイリニア補正値計算部３７において各画素の値を補正する。

なお、この実施形態の上記説明では、２重に重なる領域において、補正バイアスと補正倍率を求め各々バイリニア補間法により、各画素値を補正した。しかし、３重に重なる領域、例えば図５における、４つの領域ＡＤＥ，ＡＤＦ，ＡＢＦ，ＡＢＥについて、補正バイアスと補正倍率を求め、バイリニア補間法により各領域の画素値を補正するようにしてもよい。

この第１の実施形態によれば、各領域における輝度を求めて、領域間の感度ムラによる不自然さを排除することができる。

＜第２の実施形態＞
次に第２の実施形態について説明する。この実施形態は、各撮像器により撮像した画像の温度分布により輝度補正を行う例である。この実施形態でも複数の撮像器により撮像した画像を用いる。いまの場合、例えば５台の撮像器８１Ａ，８１Ｂ，８１Ｃ，８１Ｄ，８１Ｅにより撮像を行う。３台の撮像器８１Ｂ，８１Ｃ，８１Ｄは周囲３６０°撮像するように設けられる。撮像器８１Ａは上方に向けて設置され、撮像器８１Ｅは下方に向けて設置される。

この実施形態においても撮像器の数を除いて図１及び図３に示す構成と同様となる。すなわち、図８に示す５台の撮像器で得られた画像を画像信号として受信する画像受信部１２と、この画像受信部１２で受信した画像信号を後述するように補正処理する画像補正処理部１３と、画像補正処理部１３で補正処理された画像を合成する画像合成部１４と、画像合成部１４で合成された画像を表示する画像表示部１５とを有する。

また、複数画像合成装置１６は上記画像合成部１４のほかに画像補正処理部１３を有しており、画像補正処理部１３は、各領域のデータを取得する領域データ取得部３１と、重なり領域のデータを取得する重なり領域データ取得部３２と、各領域の平均値μを計算する領域平均値計算部３３と、各領域の画素ごとの標準偏差を計算する画素標準偏差計算部３４と、各領域の輝度平均値から輝度補正バイアスを計算する補正バイアス計算部３５と、標準偏差から補正倍率を計算する補正倍率計算部３６と、補正倍率と輝度補正バイアスからバイリニア補間法による補正を行い各画素の補正値を計算するバイリニア補正値計算部３７とを有する。

上記５台の撮像器により撮像される画像は、上記第１の実施形態の場合と同じように側辺、下辺、上辺で一部重なるように撮像される。図９に、この一部重なる画像間の関係を示す。

いま、領域Ａと領域Ｃの重なる画像ＡＣの領域に着目する。領域Ａの重なり領域ＡＣでの輝度レベルの頻度分布の例を図１０（ａ）に示す。図１０（ａ）において横軸には輝度を取っており縦軸には各輝度の頻度を表している。横軸の輝度は、温度に対応する。この図から重なり領域ＡＣにおいては、輝度がＬａ１の画素が最も多く、輝度がＬｂ１の画素がその次に多いことを示している。

一方、領域Ｃの重なり領域ＡＣにおける輝度レベルの頻度分布の例を図１０（ｂ）に示す。この図１０（ｂ）においても横軸に輝度を取っており縦軸には各輝度の頻度を表している。横軸の輝度は、温度に対応する。この図から領域Ｃにおける重なり領域ＡＣにおいては、輝度がＬａ２の画素が最も多く、輝度がＬｂ２の画素がその次に多いことを示している。

これらの特性から次式により特徴点の輝度補正係数α、輝度レベル（輝度補正バイアス）βを求める。

α＝（Ｌｂ１−Ｌａ１）／（Ｌｂ２−Ｌａ２）
β＝｛（α×Ｌａ２−Ｌａ１）＋（α×Ｌｂ２−Ｌｂ１）｝／２
このαとβを用いて領域Ａを補正する。すなわち、領域Ａの画素の輝度レベルにαを乗じてβを加算する。こうして、領域Ａの感度を領域Ｃの感度に合わせることができる。同様に、重なる領域ＢＣ、領域ＣＥ、領域ＣＤについても、上記α、βを求め、各画素の輝度レベルにαを乗じ、βを加算する。

この後、バイリニア補間法により、各画面の画素を補正して画像を合成する。このように各領域の温度に対応する輝度の分布に対する頻度を求めることによっても、領域間の感度ムラを低減することが可能となる。

＜第３の実施形態＞
次に第３の実施形態について説明する。この場合の構成も撮像器が５台であるほか、図１及び図３と同様である。

この実施形態では、各画素の輝度を調べて輝度補正係数と輝度レベル（輝度補正バイアス）を求める。例えば図９において、重なる領域ＡＣ，ＢＣ，ＣＥ，ＣＤのうち輝度レベルが高い画素及び低い画素を候補（特徴点）として数個求める。これらの画素の位置を比較し、画像を位置合わせする。この位置合わせ処理の過程で絞り込んだ特徴点の輝度レベルを用いて輝度補正係数αと輝度レベルβを求める。

図１１（ａ）に領域Ａにおける重なり領域ＡＣの画像例を示し、図１１（ｂ）に領域Ｃにおける重なり領域ＡＣの画像の例を示す。領域Ａと領域Ｃと重なり合う領域があるので、それぞれの重なる領域のうち、輝度レベルが高い画素もしくは低い画素を選択する。そしてそれらの相対位置関係からそれぞれのうちペアとならない画素を排除する。排除した後の候補の輝度レベルから輝度補正係数を求める。

図１１（ａ）と図１１（ｂ）から、画素Ｌａ１と画素Ｌａ２、画素Ｌｂ１と画素Ｌｂ２、画素Ｌｃ１と画素Ｌｃ２、画素Ｌｄ１と画素Ｌｄ２が対応する。したがって、各輝度補正係数は次のようになる。

αａｂ＝（Ｌａ２−Ｌｂ２）／（Ｌａ１−Ｌｂ１）
αａｃ＝（Ｌａ２−Ｌｃ２）／（Ｌａ１−Ｌｃ１）
αａｄ＝（Ｌａ２−Ｌｄ２）／（Ｌａ１−Ｌｄ１）
αｂｄ＝（Ｌｂ２−Ｌｄ２）／（Ｌｂ１−Ｌｄ１）
αｃｄ＝（Ｌｃ２−Ｌｄ２）／（Ｌｃ１−Ｌｄ１）
ここで、αａｂ、αａｃ、αａｄ、αｂｃ、αｂｄ、αｃｄの平均値を輝度補正係数αとする。輝度補正係数αと同様に候補それぞれから求めたβａｂなどを平均して輝度補正バイアスβを求める。

βａｂ＝｛（α×Ｌａ２−Ｌａ１）＋（α×Ｌｂ２−Ｌｂ１）｝／２
このようにして求めた輝度補正係数と輝度補正バイアスから、重なり領域ＡＣの、バイリニア補間のための値（ベクトル値）を求める。

同様に各重なり領域について、各輝度に輝度補正係数に輝度補正バイアスを加算してバイリニア補間のための値を求める。

これらの４つの重なり領域のバイリニア補間のための値を用いてバイリニア補間をバイリニア補正値計算部３７で行い、その値を用いて各画素の輝度値を補正する。その後合成して、感度ムラを低減した画像を得る。

実施形態によれば、異なる撮像器から得られた複数の画像を合成しても輝度ムラの少ない画像が得られる複数画像合成装置を提供できる。

本発明のいくつかの実施形態を説明したがこれらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１１Ａ，１１Ｂ，１１Ｃ，１１Ｄ，１１Ｅ，１１Ｆ・・・・撮像器
１２・・・・画像受信部
１３・・・・画像補正処理部
１４・・・・画像合成部
１５・・・・画像表示部
１６・・・・複数画像合成装置
３１・・・・領域データ取得部
３２・・・・重なり領域データ取得部
３３・・・・領域平均値計算部
３４・・・・画素標準偏差計算部
３５・・・・補正バイアス計算部
３６・・・・補正倍率計算部
３７・・・・バイリニア補正値計算部

Claims (6)

1. 複数の赤外線撮像器により隣接する各画像に対して一部を重ねて撮像した複数の画像を補正して合成する複数画像合成装置であって、
   前記画像の２つの隣接する各領域について、各画素の輝度及び各画素の輝度についての頻度の関係を求めて、各画素の輝度を補正する輝度補正係数及び前記隣接２領域における平均輝度を求めこれを輝度補正バイアスとし、前記隣接２領域の重なり領域における値を、前記輝度補正係数に各画素の輝度を乗算した値に前記輝度補正バイアスを加算した値を、重なり領域における輝度補正値として得、
   この輝度補正値を複数の前記重なり領域について求め、これらの輝度補正値からバイリニア補間法によって各画素の補正値を求め、
   この補正値により各画素の補正をした後、前記複数の画像を合成する、
   複数画像合成装置。
2. 前記輝度補正係数は、前記画像の２つの隣接する各領域について、各画素の平均輝度及び各画素の輝度について最も頻度の高い輝度から求めた偏差の比を用い、
   前記輝度補正バイアスは、前記平均輝度の前記隣接２領域における差を用いる、請求項１記載の複数画像合成装置。
3. 前記輝度補正係数は、隣接する２領域の重なり領域における輝度とその輝度の頻度の特性から最も高い頻度の第１輝度とその次に高い頻度の第２輝度の差の比により求め、
   前記輝度補正バイアスは、前記輝度補正係数に前記第２輝度を乗算して得た値に前記第１輝度を減算した値の比として得る、請求項１記載の複数画像合成装置。
4. 前記輝度補正係数は、隣接２領域における対応画素の輝度差の比として計算し、輝度補正バイアスは、対応画素の一方の輝度に前記輝度補正係数を掛けた値から対応画素の他方の値を引いた値を平均することにより求める、請求項１記載の複数画像合成装置。
5. 前記複数の画像は、周囲に配置した３台の赤外線撮像器と、これら赤外線撮像器の上下に各々配置した２台の赤外線撮像器とから得られた５枚の画像である請求項３又は請求項４記載の複数画像合成装置。
6. 複数の赤外線撮像器により隣接する各画像に対して一部を重ねて撮像した複数の画像を補正して合成する複数画像合成装置であって、
   前記画像の２つの隣接する各領域について、
   各画素の平均輝度を求める平均輝度計算手段と、
   前記隣接２領域で、各画素の輝度について最も頻度の高い輝度からの偏差を求める輝度偏差計算手段と、
   前記輝度偏差計算手段により計算した偏差の前記隣接２領域における比を輝度補正係数とし、前記平均輝度計算手段により計算した平均輝度の前記隣接２領域における差を輝度補正バイアスとして、前記隣接２領域の重なり領域における値を、前記輝度補正係数に各画素の輝度を乗算しこれに前記輝度補正バイアスを加算した値を重なり領域における輝度補正値として得る輝度補正値計算手段と、
   この輝度補正値計算手段により計算する輝度補正値を複数の前記重なり領域について求め、これらの輝度補正値からバイリニア補間法によって各画素の補正値を求める補間補正値計算手段と、
   この補間補正値計算手段により各画素の補正をした後、前記複数の画像を合成する画像合成手段と、
   を有する複数画像合成装置。

Images