JP2018152782A - 画像処理システム、撮像装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】複数の画像を結合した全天球映像の補正処理において、フレーム切り替わりの違和感を生じさせることなく、結合した複数の画像の繋ぎ目を低遅延で補正可能な画像処理システムを提供する。
【解決手段】複数のイメージセンサから取得した、重複領域を含む複数の画像に対して画像処理を行う画像処理システムであって、前記重複領域内の１以上の画素の画素値を用いて各前記画像を評価するための評価値を算出する演算部と、前記評価値に基づき補正対象画像を判断するとともに、前記重複領域の補正量を前記画像毎に算出する補正量作成部と、前記補正量に基づき、前記画像毎に補正処理を行う画像補正部と、前記画像補正部により補正された前記画像を合成して全天球画像を生成する画像変換部と、を備える。
【選択図】図１

Description

本発明は、画像処理システム、撮像装置、画像処理方法及びプログラムに関する。

３６０°のあらゆる方向を撮像可能な撮像装置として、全天球撮像カメラが知られている。全天球撮像カメラは、複数の広角レンズまたは魚眼レンズを用い、複数のイメージセンサ（以下、「撮像素子」ともいう）で撮像し、得られた複数の画像に対して歪み補正や射影変換等を行い、それらを結合して１枚の全天球画像を生成する。
隣接する撮像素子で撮像して得られた画像には、画像の一部が重複した画像重複領域が存在し、全天球撮像カメラでは、その画像重複領域で各画像を結合している。

全天球撮像カメラでは、広角レンズや魚眼レンズを用いて広い範囲を撮像することから、その撮像範囲内に太陽や照明等の光源が入りやすい。このため、画像の一部が白くぼやけ、光が滲んだように見えるフレアが発生する可能性が高いことが知られている。フレアは、各画像に均一に発生するものではないため、フレアが発生した画像とフレアが発生していない画像とは、輝度の差だけではなく、色差も生じる。このため、これら画像を結合すると、その繋ぎ目が目立ってしまう。

この繋ぎ目は、画像重複領域の色調の差異を小さくすることにより目立たなくすることはできるが、それ以外の領域は補正されないので、結合した画像は、輝度の差や色差を有する画像となるという問題があった。
この問題に対し、結合する複数の画像の輝度の差や色差を低減することができるシステムが提案されている（例えば、特許文献１）。

特許文献１には、重複する画像領域を重複領域として含む複数の画像に対して画像処理を行う画像処理システムであって、各重複領域内の１以上の画素の画素値を用いて各画像を評価するための評価値を算出する演算部と、演算部により算出された評価値に基づき、複数の画像の中に補正対象画像があるか否かを判断する判断部と、判断部により補正対象画像があると判断された場合に、演算部により算出された評価値に基づき、複数の画像の中から補正を行う際の基準となる補正基準画像を決定する画像決定部と、画像決定部により決定された補正基準画像に基づき、補正対象画像を補正する画像補正部とを含む、画像処理システムが開示されている。

特許文献１の画像処理システムによれば、重複領域における補正値を求め、適切な補正処理を行うことができる。しかしながら、この補正処理を動画に適用したとき、補正基準の閾値前後の画像（フレーム）が連続した場合に、補正を行うフレームと補正を行わないフレームとが繰り返されて、点滅しているように感じられることがある。

このように、繋ぎ目を目立たなくするための補正処理は、フレーム毎に完結することによりフレームの切り替わりが目立ってしまうという課題がある。また、３６０度の映像をストリーミング配信するような場合には、リアルタイム性の点でも課題がある。

そこで本発明は、複数の画像を結合した全天球映像の補正処理において、フレーム切り替わりの違和感を生じさせることなく、結合した複数の画像の繋ぎ目を低遅延で補正可能な画像処理システムを提供することを目的とする。

かかる目的を達成するため、本発明に係る画像処理システムは、複数のイメージセンサから取得した、重複領域を含む複数の画像に対して画像処理を行う画像処理システムであって、前記重複領域内の１以上の画素の画素値を用いて各前記画像を評価するための評価値を算出する演算部と、前記評価値に基づき補正対象画像を判断するとともに、前記重複領域の補正量を前記画像毎に算出する補正量作成部と、前記補正量に基づき、前記画像毎に補正処理を行う画像補正部と、前記画像補正部により補正された前記画像を合成して全天球画像を生成する画像変換部と、を備えることを特徴とする。

本発明によれば、複数の画像を結合した全天球映像の補正処理において、フレーム切り替わりの違和感を生じさせることなく、結合した複数の画像の繋ぎ目を低遅延で補正可能な画像処理システムを提供することができる。

撮像装置のハードウェアの一例を示す構成図である。 画像処理システムの処理の流れを示す概要図である。 全天球画像のフォーマットの説明図である。 魚眼画像から全天球画像に変換する変換テーブルについて説明する図である。 複数の画像における重複領域について説明する図である。 初期設定の処理の流れを示すフローチャートである。 補正対象画像の判定の流れを示すフローチャートである。 補正量作成部における処理の流れを示すフローチャートである。 画像補正部における処理の流れを示すフローチャートである。 補正前の全天球画像の一例である。 図１０に示す全天球画像の本実施形態に係る補正処理後の画像である。 図１１の後のフレームであって、時間軸補正を行わない補正処理後の画像である。 図１２と同じフレームであって、本実施形態に係る補正処理後の画像である。 時間軸補正処理を補正量作成処理部で行う場合の処理の流れを示すフローチャートである。 撮像装置の一例を示す模式図である。 撮像装置に用いられる魚眼レンズについて説明する図である。

以下、本発明に係る画像処理システム、撮像装置、画像処理方法及びプログラムについて、図面を参照して説明する。なお、本発明は以下に示す実施形態に限定されるものではなく、他の実施形態、追加、修正、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

本実施形態の画像処理システムは、複数のイメージセンサから取得した、重複領域を含む複数の画像に対して画像処理を行う画像処理システムであって、前記重複領域内の１以上の画素の画素値を用いて各前記画像を評価するための評価値を算出する演算部と、前記評価値に基づき補正対象画像を判断するとともに、前記重複領域の補正量を前記画像毎に算出する補正量作成部と、前記補正量に基づき、前記画像毎に補正処理を行う画像補正部と、前記画像補正部により補正された前記画像を合成して全天球画像を生成する画像変換部と、を備える。

また、前記複数の画像は動画の各フレームを構成し、前記補正量作成部及び前記画像補正部のいずれかにおいて、前記補正量を前後のフレームの画像間で補正する時間軸補正処理を行う。

本実施形態に係る画像処理システムの構成図を図１に示す。
図１は、２つのイメージセンサ（以下、「撮像素子」ともいう）１３及び１４からの入力の処理をリアルタイムに行い、全天球動画を出力するシステム２０の例である。
システム２０は、画像処理部２１、補正量作成部２２、画像補正部２３、射影変換部２４、画像出力部、ＣＰＵ２６、及び外部メモリＩ／Ｆを含み、各々がバスに接続されている。

ＣＰＵ２６は、システム２０及び該システムを含む撮像装置全体の制御を行う。撮像装置については後述する。ＲＯＭ２７は、撮像装置を起動させるプログラムや変換テーブル等を記憶する。画像処理部２１は、ＣＰＵ２６等とともに所定の画像処理を実行する。画像処理部２１としては、特定用途向けの集積回路であるＡＳＩＣ(Application Specific Integrated Circuit)を用いることができる。

図１のシステム２０を備える撮像装置の例を図１５に示す。以下、撮像装置を全天球撮像カメラとして説明するが、これに限られるものではない。
本実施形態の撮像装置は、複数のイメージセンサと、前記複数のイメージセンサにより撮像された重複する画像領域を重複領域として含む複数の画像に対して画像処理を行う画像処理システムとを含む撮像装置であって、前記画像処理システムが、本発明に係る画像処理システムである。
本実施形態の撮像装置は、具体的には、複数の魚眼レンズを介して供給される複数のフレームの画像からなる動画を撮像する撮像装置である。

撮像装置としては、複数の撮像素子で重複する画像領域（重複領域）を撮影し、撮影した複数の画像を、その重複領域で繋ぎ合わせることができる撮像機器であってもよい。なお、撮影した複数の画像を、その重複領域で繋ぎ合わせる処理は、画像処理ＩＣやソフトウェアを用いて実行することができる。

全天球撮像カメラ１０は、撮像位置から全方位を撮像することができるように、１８０°を超える画角をもつ２つの魚眼レンズ１１及び１２と、それぞれに対応する２つのイメージセンサ１３及び１４を備えている。ここでは、魚眼レンズと撮像素子をそれぞれ２つずつ備える構成を例示しているが、これに限られるものではなく、３つ以上備える構成であってもよい。なお、画角とは、魚眼レンズ１１及び１２を用いて撮像できる範囲を角度で表したものである。

魚眼レンズ１１及び１２は、撮像した画像の中心からの距離と光の入射角度が比例する等距離射影方式を採用することができる。イメージセンサ１３及び１４としては、入射された光を電気信号に変換するＣＣＤ(Charge Coupled Device)イメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサ等を用いることができる。２つのイメージセンサ１３及び１４は、撮像した画像に、重複する画像領域としての重複領域が含まれるように、全方位を撮像する。

撮像は、撮影者が撮像ＳＷ１５を押下し、それをトリガーとしてイメージセンサ１３及び１４が同時に露光することにより行われる。イメージセンサ１３及び１４は、受光した光を電気信号に変換することにより画像を取得する。取得した画像は、魚眼レンズ１１及び１２を使用して得られた画像であるため、魚眼画像と呼ばれる。取得された２つの魚眼画像は、その後の画像処理において、画像変換が行われ、重複領域で結合されて、全天球画像が生成される。

全天球撮像カメラ１０は、生成した全天球画像のデータを格納し、要求を受けて、図示しないＰＣ等の表示装置を備える機器へ出力し、その表示装置に表示させることができる。また、全天球撮像カメラ１０は、生成した全天球画像を、図示しないプリンタやＭＦＰ(Multi-Function Peripheral)等に出力し、印刷出力することもできる。また、ＭＦＰやＰＣへ出力し、ＦＡＸ送信やメール送信することも可能である。

イメージセンサ１３及び１４は、Ａ／Ｄ変換器により変換したデジタルデータを、画像処理部２１へ魚眼画像のデータとして出力する。画像処理部２１は、ＣＰＵ２６等とともに、所定の画像処理として画像を繋ぎ合わせて全天球画像を生成する処理を行い、生成した全天球画像のデータを、外部記憶Ｉ／Ｆ２８を介して外部メモリ２９に格納する。

図１６を参照して、魚眼レンズについて説明する。なお、魚眼レンズ１１及び１２は同様のものであるため、図１６では魚眼レンズ１１のみ説明する。

１８０°を超える画角をもつ魚眼レンズを有するイメージセンサで撮像された魚眼画像は、撮像位置を中心として、略半球分の被写体の画像となる。
ここで、図１６（Ａ）に示すように、魚眼レンズ１１への光の入射角度をφ、画像の中心と像点との距離を像高ｈ、射影関数をｆとすると、これらの関係は、下記式（１）のように表すことができる。
ｈ＝ｆ（φ）・・・式（１）

射影関数ｆは、魚眼レンズ１１の性質により異なり、例えば、等距離射影方式の魚眼レンズを採用した場合、図１６（Ｂ）に示すように、入射角度φが矢線に示すように大きくなる程、像高ｈが大きくなるという比例関係で表される。なお、図１６（Ｂ）中、円の外側の黒く塗り潰された領域は、光が入射されない領域である。

魚眼レンズ１１及び１２は、１８０°を超える画角をもっているため、イメージセンサ１３及び１４で撮像された魚眼画像には、重複領域が含まれる。
図５（Ａ）〜（Ｃ）を参照して、イメージセンサ１３及び１４により撮像された２つの魚眼画像１３ａ及び１４ａの重複領域について説明する。

図５（Ａ）は、イメージセンサ１３及び１４で撮像された魚眼画像１３ａ及び１４ａで、黒く塗り潰された領域は、光が入射されない領域、白い領域が入射角度９０°までの領域、斜線で示される領域が入射角度９０°を超える領域を示している。
図５（Ａ）の斜線で示される領域は、２つの魚眼画像の重複する画像領域を示すことから、重複領域として定義することができる。しかしながら、魚眼レンズ１１及び１２は、像高ｈが大きくなり、像点が画像の中心から離れるほど歪みや収差が発生しやすくなる。また、魚眼レンズ１１及び１２の周囲の外枠等が写り込む場合もある。歪みや収差が発生した領域や外枠等の画像は、画像を繋ぎ合わせるために使用することはできない。

そこで、図５（Ｂ）に示すように、重複領域３０としては、その内側の所定幅を有する縦縞で示されるリング状の領域に限定することができる。ちなみに、図５（Ｂ）中、２つの魚眼画像１３ａ及び１４ａは、イメージセンサ１３及び１４を同時に露光し、撮像しているため、重複領域３０は基本的に同じ被写体の画像となる。

なお、重複領域３０は画素単位で設定されることが好ましい。画素単位で設定することにより、光学設計における誤差によるずれを吸収することができる。

図５（Ｃ）に実際に撮像した画像とその重複領域３０を示す。

図５（Ｄ）は、重複領域３０の評価領域３５を示したもので、評価領域３５については後述する。

次に、図３を参照して、全天球画像について説明する。魚眼画像は、図３（Ａ）に示す略半分の球面を円形で表したフォーマットとされ、地球儀でいう経度が水平角度θに相当し、緯度が垂直角度φに相当している。水平角度θは、０〜３６０°の範囲とされ、垂直角度φは、０〜１８０°の範囲とされている。

全天球画像は、図３（Ｂ）に示す矩形で表したフォーマットとされ、水平方向が水平角度、垂直方向が垂直角度とされる２つの半天球画像を結合することにより生成される画像である。実際には、重複領域がある分、半天球画像より大きい画像であるが、ここでは半天球画像と呼ぶものとする。

２つの半天球画像は、魚眼画像の水平角度と垂直角度に対応する画素が有する画素値と同じ画素値を、図３（Ｂ）に示す矩形で表したフォーマットの同じ水平角度と垂直角度に対応する画素が有する画像として生成される。この半天球画像は、魚眼画像を射影変換することにより生成することができ、生成した２つの半天球画像を結合することで、水平方向および垂直方向に３６０°の全方位を表す全天球画像を生成することができる。

魚眼画像を射影変換する際に使用する変換テーブルを、図４に例示する。変換テーブルは、図４（Ａ）に示すように、変更前画像である魚眼画像の水平角度と垂直角度の値である座標値と、変更後画像である半天球画像の座標値とを対応付けたテーブルである。変更前画像の座標値は、（ｘ,ｙ）で表され、変更後画像の座標値は、（θ,φ）で表される。図４（Ｂ）に示すように、いずれの画像も左上隅の座標（０,０）を基準とし、変更前画像における画素と、変更後画像における対応する画素とを決定し、それらの画素の座標値の組み合わせを、変換テーブルにデータとして保持する。対応関係は、変換前画像と変換後画像との射影関係から求めることができる。

変換テーブルは、２つの魚眼レンズ１１及び１２、並びにイメージセンサ１３及び１４の各々に対してレンズ設計データ等を基に事前に作成することができ、図１に示したＲＯＭ２７に格納しておき、必要に応じて読み出して使用することができる。この変換テーブルを用いることで、魚眼画像を射影変換して、魚眼画像の歪みを補正することができる。この補正をした画像を結合することで、全天球画像を生成することができる。

全天球画像を生成する処理の流れについて説明する。２つのイメージセンサ１３及び１４により２つの魚眼画像を撮像し、２つの魚眼画像が入力されることにより、処理が開始される。まず、ＲＯＭ２７に格納された図４（Ａ）に示したような変換テーブルを用いて各魚眼画像を射影変換して歪み補正を行う。この歪み補正により、図３（Ａ）に示す半天球画像が２つ得られる。

次に、得られた２つの半天球画像の重複領域で繋ぎ合わせるために、繋ぎ位置の検出を行う。繋ぎ位置の検出結果に基づき、上述の変換テーブルを補正する。次に、補正した変換テーブルに対して回転変換を行い、画像生成用の変換テーブルを作成する。なお、回転変換を行う目的は、画像生成用の変換テーブルにおいて、画像の上下方向と、全天球撮像カメラ１０の天頂方向とを一致させるためである。

次に、２つの魚眼画像に対して、画像生成用の変換テーブルを用いて射影変換を行い、画像の歪みを補正する。そして、歪みが補正された２つの画像を結合するためのブレンド処理を実行する。２つの画像は、その重複領域において結合されるが、一方の画像の重複領域にしかデータが存在しない場合、そのデータをそのまま使用して結合を行う。以上の流れにより全天球画像が生成する。

２つのイメージセンサ１３及び１４で取得された画像の重複部分３０の輝度の差や色差を解消する際に、図５（Ｄ）に示した評価領域３５の評価値に基づいて補正対象画像が判定される。このとき、従来の方法により補正対象画像の有無を判定する補正方法では、前後のフレームの評価値が参照されないため、動画として補正を行うフレームと補正を行わないフレームが繰り返された場合、点滅しているような感覚を生じさせることがある。また処理のブロック構成として、リアルタイム性にも課題を有する。
そこで、本実施形態においては、図１の画像処理部２１が外部メモリ２９へ画像データを格納する前に、画像を補正するための補正量を前のフレームの値を参照して作成し、射影変換部２４への入力前に補正処理を行う構成とする。

本実施形態の画像処理システムによる処理のタイミングチャートを図２に示す。
図２は、図１に示すシステムの各構成要素（図の上からイメージセンサ１３及び１４、画像処理部２１、補正量作成部２２、画像補正部２３、射影変換部２４、画像出力部２５）の処理の流れをそれぞれ示すもので、左側から右側へ向かって時間（ｔ）の経過を示している。
また、入力フレーム開始パルスと、出力フレーム開始パルスをあわせて示している。

イメージセンサ１３及び１４からの映像は、画像処理部２１へ連続で入力される。この映像に対して所定の画像処理を行う。所定の画像処理とは、例えば、一般的なカメラシステムの処理である。
Ｐ１で示す有効画像０の入力の始まりによって処理が開始される。

画像処理部２１は、イメージセンサ１３及び１４から入力された映像を外部メモリ２９に格納するとともに補正量作成部２２へ引き渡す。
補正量作成部２２は、イメージセンサ１３及び１４からの画像に基づき、補正量を作成する。補正量の作成にあたっては、補正対象画像の判定処理を実行し、該判定処理において、前のフレームの画像の評価値を参照する。
Ｐ２で示す有効画像０の入力終了のタイミングで補正量作成が開始される。補正量は、画像が外部メモリ２９に格納される前に作成される。

Ｐ３で示す補正量作成部２２による補正量の作成処理が終了した後、画像補正部２３は外部メモリ２９に格納されている画像を読み込み、作成された補正量に基づき画像の補正を実施する。その後、射影変換部２４は、補正された画像を全天球画像に変換する。すなわち、射影変換部２４への入力前に補正処理が実施される。
次いで、画像出力部２５は、変換された画像を出力する。

図２に示すように、本実施形態の処理ではイメージセンサ１３及び１４からの入力に対し、およそ１フレームの遅延で出力が行われ、低遅延の補正が実現する。

以下、本実施形態の画像処理システムにおける各処理の詳細をフローチャートに基づき説明する。

（初期設定）
本実施形態の画像処理システムの立ち上げ時にＣＰＵで行われる初期設定の処理のフローを図６に示す。
初期設定として、ステップＳ００１では重複領域が設定される。重複領域は厳密には被写体までの距離によって変化する。しかしながら、この処理はブロック単位の処理であり、画素単位の比較ではなく平均値での処理であるため高い精度を必要としない。

（補正量作成部の処理（１））
次に、補正量作成部２２における補正対象画像（補正面）の判定のフローを図７に示す。
ステップＳ１０１は、評価値が算出されたことを受けて開始される。評価値の算出は、システムの演算を行う機能部としての演算部により行われる。なお、算出方法としては、評価値を算出することができれば、いかなる方法でも使用することができる。

演算部は、各重複領域内の１以上の画素の画素値を用いて各画像を評価するための評価値を算出する。評価値は、例えば、各重複領域内の複数の画素の画素値の平均値や分散値とすることができる。画素値は、カラー画像でＲＧＢ色空間を採用する場合、ＲＧＢの各色の信号量を含むことができる。ＹＣｂＣｒ色空間を採用する場合は、輝度値、青系統の色の色相および彩度の値、赤系統の色の色相および彩度の値を含むことができる。

最初に、入力された２つの魚眼画像の各々を、予め決定された数のそれぞれが同じサイズの矩形からなる複数の評価領域に分割する。例えば、各魚眼画像のサイズが１９５２（ｐｉｘ）×１９３２（ｐｉｘ）である場合、４８×４８に分割することができる。この分割数は一例であるため、試験等により最適な分割数を決定し、その分割数を採用することができる。画像処理システムは、このような分割を行うための機能部として、複数の評価領域に分割する領域分割部を備えることができる。

次に、重複領域３０内に、領域全部が含まれる評価領域３５を、重複領域３０に対応する評価領域として検出する。検出した評価領域３５の例を図５（Ｄ）に示している。画像処理システムは、この検出を行うための機能部として、領域検出部を備えることができる。

検出された評価領域３５は、複数の画素により構成される。各画素は、画素値を有している。評価値は、各評価領域３５につき、画素値を合計してその数で除して平均値を求め、各評価領域につき求めた平均値を合計してその数で除して平均値を求めることにより算出することができる。また、評価値は、各評価領域３５につき求めた平均値を用い、その分散値を求めることにより算出することができる。したがって、評価値としては、上記の平均値あるいは分散値を用いることができる。画像処理システムは、評価領域３５の平均値を算出するための平均値算出部を、機能部として備えることができる。

図７のステップＳ１０１では、評価値として算出された重複領域３０に対応する評価領域３５のすべての平均値を平均して、その平均値を算出する。この処理は、繋ぎ合わせる画像毎に行う。したがって、２つの画像を繋ぎ合わせる場合は、２つの画像の各々につき平均値を算出する。

繋ぎ合わせる画像の間で算出された平均値を比較するにあたって、前フレームの算出結果を参照する（ステップＳ１０２）。前フレームの結果が無い場合はそのままステップＳ１０１で算出された値を用いる。
一方、前フレームの結果がある場合は、前フレームで補正を行っていない側の画像の平均値に、係数Ｋ（Ｋ＜１）の乗算を行い、その値を用いる（ステップＳ１０３）。

そして、算出された平均値を比較する（ステップＳ１０４）。
ここでは、平均値の差分の絶対値を算出し、平均値が最小の画像を抽出する。そして、これらの情報を判定結果として出力する。例えば、画像１と画像２とを繋ぎ合わせる場合、その平均値をAVE_1とAVE_2とすると、判定結果は、AVE_1＞AVE_2のとき画像1、それ以外は画像2となる。

この判定結果を保存し（ステップＳ１０５）、処理を終了する。

（補正量作成部の処理（２））
補正量作成部２２における補正量マップ及び補正除外マップ作成のフローを図８に示す。
上述の補正対象画像の判定結果を受けて、補正を除外する領域を指定する補正除外マップを作成する（ステップＳ２０１）。
補正除外マップは、補正対象画像を構成する複数の画素の各画素値に基づき判定された補正対象画像内の補正を行わない補正除外領域に含まれる評価領域に対応する位置のブロックに、補正除外する値を格納したものである。
なお、それ以外のブロックには補正除外しない値が格納される。
本実施形態の画像処理システムは、この補正除外マップを作成するために、補正除外領域を判定するための領域判定部を、機能部として備えることができる。

フレアが発生していない平均値が最小の画像に基づき、フレアが発生している画像を補正する場合、そのフレアが発生している画像全体を補正することになる。画像全体に対して補正を行うと、全体的に輝度が低下し、色が変化することになる。すると、画像を結合した場合に目で見て不自然な画像になることがある。例えば、光源の実際の輝度や色は、フレアが発生している画像における輝度や色であるにもかかわらず、補正によってその輝度が低下し、その色も暗い色になる。そこで、光源のように補正しないほうが良い被写体の画像に対しては、補正しないようにするため、補正除外マップを作成する。

ステップＳ２０２では、重複領域３０に対応する評価領域３５の平均値や分散値といった評価値から、重複領域３０の補正量を算出する。補正量は、どの程度輝度値を低下させたら良いか、どの程度色を変化させたら良いかを数値で表したものである。

ステップＳ２０３では、ステップＳ２０２で算出した補正量を基に、補正対象画像、すなわちフレアが発生している画像全体の補正量を、補間処理により算出し、算出した補正量を用いて補正マップを作成する。
補正マップは、算出した各補正量を、補正対象画像の各評価領域に対応する位置のブロックに格納したものである。

こうして作成された補正量マップ、及び補正除外マップは外部メモリ２９に保存され、画像補正部２３に渡される。この引渡しは、たとえば、ＡＳＩＣやＦＰＧＡ（field-programmable gate array）においては、外部メモリ２９ではなく内蔵するＳＲＡＭなどでもよい。

（画像補正部における処理）
画像補正部２３における処理のフローを図９に示す。
画像補正部２３では、まず補正除外処理として、上述の補正量作成部２２において作成した補正マップに対し、補正除外マップを適用して補正マップを修正する処理を行う（ステップＳ３０１）。
次いで、補正マップ内の補正値に、極端に高い値や低い値が存在する場合、それらの値を平準化する平準化処理、すなわちローパスフィルタ（ＬＰＦ）処理を行う（ステップＳ３０２）。ＬＰＦとしては、ガウシアンフィルタを用いることができる。

ＬＰＦ処理は、１回に限らず、複数回行ってもよい。ただし、回数が多いと補正除外した画像に対する補正値が大きく変化し、補正除外した意味がなくなってしまうことから、回数は少ないほうが好ましい。図１４に示す実施形態では、ステップＳ３０３に示すように２回としている。
本実施形態の画像処理システムは、この平準化処理を実施するための機能部として、平準化処理部をさらに備えることができる。

ステップＳ３０３ではＬＰＦ処理を２回実施したかを判断する。２回実施していない場合はステップＳ３０１へ戻る。

ＬＰＦ処理を２回実施した場合は、時間軸におけるフレーム間の補正（以下、「時間軸補正処理」という）を実施する（ステップＳ３０４）。
この時間軸補正処理とは、具体的には図２に示す有効画像０、有効画像１、有効画像２と連続する各フレーム間の補正処理である。

時間軸補正処理を行うことにより、補正量のフレーム間のばらつきを低減させ、フレーム毎のちらつきが発生するのを防止する。
時間軸補正処理は、リアルタイム性を損なわないように、ＩＩＲ（Infinite impulse response）等のフィルタ回路や、前フレームまでの補正量の平均値を用いることによる処理方法が好ましい。

次いで、補正マップのリサイズ処理を行う（ステップＳ３０５）。
リサイズ処理は、補正マップが有する評価領域の数を、補正対象画像の画素数へ変更する処理である。このため、本実施形態の画像処理システムは、サイズ変更処理部を機能部として備えることができる。

ステップＳ３０１までに生成される補正マップは、魚眼画像を水平方向および垂直方向に分割した分割数のサイズとされている。すなわち、４８×４８に分割されていれば、４８×４８のサイズである。
実際の魚眼画像は、上述の例では１９５２（ｐｉｘ）×１９３２（ｐｉｘ）のサイズであるため、リサイズ処理では、４８×４８から１９５２×１９３２へサイズを変更する処理を行う。このリサイズ処理が終了したところで、処理を終了する。

リサイズの方法としては、これまでに知られたいかなる方法でも使用することができる。例えば、バイリニア、ニアレストネイバー、バイキュービック等の方法を使用してサイズを変更することができる。

上述の補正処理について、実際の画像に適用した例を図１０〜図１３に基づき説明する。
図１０は、補正処理前の全天球画像の例である。結合前の各画像は図５（Ｃ）に示すものと同一である。太陽光によるフレアが発生した画像とフレアが発生していない画像とが結合されているために、破線の円内の矢印で示す部分に繋ぎ目が目立つ状態となっている。

図１１は、本実施形態の補正処理を行った全天球画像の例である。図１０と比較して、複数画像の結合による繋ぎ目は補正されている。

図１２及び図１３はそれぞれ映像中の図１１の数フレーム後の同一画像である。
図１２は時間軸補正を行わない従来の補正処理を行った結果の画像であり、図１３は本実施形態の画像処理システムによる時間軸補正を行った結果の画像である。
破線で示す円内の道路の色について比較すると、図１３は前のフレームの図１１と同一であるが、図１２は異なっている。

図１０で示した繋ぎ目部分に人物が映り込んでいるために、輝度値が変わり、それに伴い補正量が変化した結果、従来の補正処理による図１２では、道路部分の補正量が変化し、補正後の画像における輝度値も変化したためである。
図１２のような補正結果は、動画においてちらつきを発生させる原因となり、前後のフレーム間の切り替わりの違和感を生じさせることとなる。

（時間軸補正処理）
時間軸補正処理は、上述の画像補正部２３により実施される態様に限定されず、図１４に示すように補正量作成部２２により実施される態様であってもよい。
図１４（Ａ）は、補正量作成部２２の処理の流れを示したもので、重複領域３０の補正量算出を行った後に時間軸補正処理を実施する以外は、図８に示したフローチャートと同様の流れである。
一方、図１４（Ｂ）は、画像補正部２３の処理の流れを示した物で、時間軸補正処理を行うステップＳ３０４が省略される以外は、図９に示したフローチャートと同様の流れである。
図１４（Ａ）の流れで処理を行うことにより、補正値すべてに演算をする必要がなくなるため、処理時間を短縮することができる。

図１４（Ａ）に示す補正量作成部２２における処理は、まず補正を除外する領域を指定する補正除外マップを作成し（ステップＳ４０１）、重複領域３０に対応する評価領域３５の平均値や分散値といった評価値から、重複領域３０の補正量を算出する（ステップＳ４０２）。次いで、重複領域３０の補正量に対して時間軸補正処理を行い（ステップＳ４０３）、得られた補正量を基に、補正対象画像の補正量を補間処理により算出し、補正マップを作成する（ステップＳ４０４）。

図１４（Ｂ）に示す画像補正部２３における処理は、まず補正除外処理として、上述の補正量作成部２２において作成した補正マップに対し、補正除外マップを適用して補正マップを修正する処理を行う（ステップＳ５０１）。次いで、ＬＰＦ処理を行う（ステップＳ５０２）。ＬＰＦ処理を２回実施したかを判断し（ステップＳ５０３）、２回実施していない場合はステップＳ５０１へ戻る。ＬＰＦ処理を２回実施した場合は、補正マップのリサイズ処理を行う（ステップＳ５０５）。

上述の本実施形態の画像処理システム、該画像処理システムを備える撮像装置、及び画像処理方法によれば、複数の画像を結合した全方位映像の補正処理において、フレーム切り替わりの違和感を生じさせることなく、結合した複数の画像の繋ぎ目を低遅延で補正することができる。この補正処理は、複数の画像を結合した全方位映像をストリーミング配信するシステムに適用することができる。

上述した画像処理の各機能は、例えば、コンピュータまたはプログラマブル・デバイスに実行させるためのプログラムにより実現することができる。

本実施形態のプログラムは、複数のイメージセンサから取得した、重複領域を含む複数の画像に対して画像処理を行う画像処理システムにより実行される画像処理方法であって、前記重複領域内の１以上の画素の画素値を用いて各前記画像を評価するための評価値を算出するステップと、前記評価値に基づき補正対象画像を判断するとともに、前記重複領域の補正量を前記画像毎に算出するステップと、前記補正量に基づき、前記画像毎に補正処理を行うステップと、前記画像補正部により補正された前記画像を合成して全天球画像を生成するステップと、を含む画像処理方法を実行させるためのプログラムである。
また前記画像処理方法は、複数の画像は動画の各フレームを構成し、前記補正量を前後のフレームの画像間で補正するステップを含む。

本実施形態の画像処理システムは、上述のプログラムを記憶媒体から読出し実行することによっても達成される。
プログラムを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、記憶媒体から読み出されたプログラムがメモリに書込まれた後、そのプログラムの指示に基づき、ＣＰＵなどが実際の処理の一部または全部を行ってもよい。この場合には、該ＣＰＵの処理によって機能が実現される。また、画像処理プログラムは、ネットワークを介した通信によってサーバから提供されるものでもよい。

１０ 撮像装置（全天球撮像カメラ）
１１、１２ 魚眼レンズ
１３、１４ イメージセンサ（撮像素子）
１５ 撮像ＳＷ
２０ 画像処理システム
２１ 画像処理部
２２ 補正量作成部
２３ 画像処理部
２４ 射影変換部
２５ 画像出力部
２６ ＣＰＵ
２７ ＲＯＭ
２８ 外部メモリＩ／Ｆ
２９ 外部メモリ

特開２０１５−２２６１４４号公報

Claims (9)

1. 複数のイメージセンサから取得した、重複領域を含む複数の画像に対して画像処理を行う画像処理システムであって、
   前記重複領域内の１以上の画素の画素値を用いて各前記画像を評価するための評価値を算出する演算部と、
   前記評価値に基づき補正対象画像を判断するとともに、前記重複領域の補正量を前記画像毎に算出する補正量作成部と、
   前記補正量に基づき、前記画像毎に補正処理を行う画像補正部と、
   前記画像補正部により補正された前記画像を合成して全天球画像を生成する画像変換部と、を備えることを特徴とする画像処理システム。
2. 前記複数の画像は動画の各フレームを構成し、
   前記補正量作成部及び前記画像補正部のいずれかにおいて、前記補正量を前後のフレームの画像間で補正する時間軸補正処理を行うことを特徴とする請求項１に記載の画像処理システム。
3. 前記補正量作成部において補正対象画像の判定処理を実行し、
   前記判定処理において、前のフレームの画像の前記評価値を参照することを特徴とする請求項２に記載の画像処理システム。
4. 前記時間軸補正処理を前記補正量作成部において実施することを特徴とする請求項２または３に記載の画像処理システム。
5. 前記重複領域が、画素単位で設定されることを特徴とする請求項１から４のいずれかに記載の画像処理システム。
6. 複数のイメージセンサと、前記複数のイメージセンサから取得した、重複領域を含む複数の画像に対して画像処理を行う画像処理システムと、を備える撮像装置であって、前記画像処理システムが、
   前記重複領域内の１以上の画素の画素値を用いて各前記画像を評価するための評価値を算出する演算部と、
   前記評価値に基づき補正対象画像を判断するとともに、前記重複領域の補正量を前記画像毎に算出する補正量作成部と、
   前記補正量に基づき、前記画像毎に補正処理を行う画像補正部と、
   前記画像補正部により補正された前記画像を合成して全天球画像を生成する画像変換部と、を備えることを特徴とする撮像装置。
7. 複数のイメージセンサから取得した、重複領域を含む複数の画像に対して画像処理を行う画像処理システムにより実行される画像処理方法であって、
   前記重複領域内の１以上の画素の画素値を用いて各前記画像を評価するための評価値を算出するステップと、
   前記評価値に基づき補正対象画像を判断するとともに、前記重複領域の補正量を前記画像毎に算出するステップと、
   前記補正量に基づき、前記画像毎に補正処理を行うステップと、
   前記画像補正部により補正された前記画像を合成して全天球画像を生成するステップと、を含むことを特徴とする画像処理方法。
8. 前記複数の画像は動画の各フレームを構成し、前記補正量を前後のフレームの画像間で補正するステップを含むことを特徴とする請求項７に記載の画像処理方法。
9. 画像処理方法をコンピュータまたはプログラマブル・デバイスに実行させるためのプログラムであって、
   前記画像処理方法が、請求項７及び８のいずれかに記載の画像処理方法であることを特徴とするプログラム。