JP2013157890A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】 歪み補正の影響を考慮しながら、複数の入力画像データを合成する際の位置合わせの精度を向上させることを目的とする。
【解決手段】 歪み補正を行うための補正パラメータに基づいて各ブロックに対する重みを決定し、複数の入力画像データが示す画像間の各ブロックの動きベクトルを算出し、重みと各ブロックの動きベクトルとに基づき入力画像データを合成する際の位置合わせをするための変換パラメータを算出する。
【選択図】 図２

Description

本発明は、複数の入力画像データを合成して合成画像データを生成する画像処理装置、画像処理方法、及びプログラムに関するものである。

プロジェクタ等の投影装置で画像を投影面に投影する場合、投影面に対して投影装置の光軸が傾いていると像が歪んでしまう。この歪みを補正する方法として、投影時に像が矩形になるよう電子的に表示画像を歪ませる方法がある。この場合、表示画像は領域（ブロック）毎に異なる拡大率で拡大・縮小される。
また、入力画像よりも高画質な画像を表示するために複数の入力画像データを合成し表示画像を生成する装置が提案されている。複数枚の入力画像データを合成することで、例えばノイズリダクションや解像度の向上といった効果が得られる。複数の入力画像データを合成するためには、入力画像データが示す画像間の位置合わせが重要である。画像の位置合わせは、パターンマッチング法や相関演算等を用いて算出した画像間の動きベクトルを基に行う。また、特定の動きベクトルに対して大きな寄与度を与えることで、精度良く位置合わせを行う方法が提案されている。特許文献１では、撮像装置の光学系の収差情報に基づき、動きベクトルの寄与度を決定する方法が提案されている。特許文献２では、注目領域の動きベクトルに対して大きな寄与度を与える方法が提案されている。

特開２０１０−４１４１６ 特開２００９−２９０５４８

合成画像を歪み補正し表示する場合、表示画像はブロック毎に異なる拡大率で拡大・縮小された合成画像となる。このとき、合成時の位置合わせ誤差による画像の劣化は、より縮小される領域（又はより小さく拡大される領域）ほど目立たなくなる。例えば、合成時に位置がずれ像が二重に見える場合でも、縮小することでぼやけた像になり、像の劣化は小さくなる。一方で縮小されない領域では像の劣化はそのまま残る。このため、位置合わせの際には縮小されない領域ほど高精度に位置合わせを行う必要がある。しかしながら、特許文献１では収差情報を、特許文献２では注目領域からの距離を基に寄与度を決定しているため、歪み補正時の拡大率の違いを考慮できない。
そこで、本発明は、歪み補正の影響を考慮しながら、複数の入力画像データを合成する際の位置合わせの精度を向上させることを目的とする。

上記目的を達成するために、本発明の画像処理装置は、複数の入力画像データに基づいて生成される合成画像データが示す画像を投影面に対して投影する際の歪み補正を行うための補正パラメータを入力する入力手段と、前記補正パラメータに基づいて、前記複数の入力画像データが示す画像の各ブロックに対する重みを決定する決定手段と、前記複数の入力画像データが示す画像間の前記各ブロックの動きベクトルを算出する第一算出手段と、前記重みと前記各ブロックの動きベクトルとに基づき、前記複数の入力画像データを合成する際の位置合わせをするための変換パラメータを算出する第二算出手段と、前記変換パラメータに基づいて前記複数の入力画像データを合成して合成画像データを生成する合成手段と、前記補正パラメータに基づいて、前記合成画像データの歪み補正を行う画像補正手段と、を有することを特徴とする。

本発明によれば、歪み補正の影響を考慮しながら、複数の入力画像データを合成する際の位置合わせの精度を向上することができる。

実施例１としての画像処理装置の構成を示すブロック図である。 画像合成部１０９の構成を示すブロック図である。 ブロックの分割方法を説明するための図である。 四隅座標を説明するための図である。 重み決定処理の流れを示す図である。 射影変換によるブロックの変形を説明するための図である。 拡大率と重みのテーブルを示す図である。 各ブロックへ重み付けを行った状態を表した図である。 実施例２の画像合成部９０１の構成を示すブロック図である。 複数の入力画像データと補正画像データとの対応関係を示す図である。

［実施例１］
＜画像処理装置の構成図＞
図１は、実施例１の画像処理装置の構成を示したブロック図である。画像処理装置１０１は、入力される映像信号（入力画像データ）に画像処理を施し投影面（スクリーン）へ投影表示する。加速度センサ１０２は、画像処理装置１０１の傾き情報を検出し出力する。四隅座標算出部１０３は、加速度センサ１０２より得られる傾き情報を基に、歪み補正（パース補正）前及び補正後の画像の四隅座標を算出する。画像処理部１０４は、入力される映像信号から表示用画像を生成し出力する。具体的には、映像信号中の複数枚の画像を合成し、傾きによる歪みの影響を補正した画像を出力する。画像表示部１０５は、画像処理部１０４から得られる表示画像を外部の投影面などへ投影する。画像処理部１０４から得られる表示画像を投影する。入力端子１０６は映像信号を画像処理部１０４へ入力するための端子である。入力端子１０７は四隅座標算出部１０３から得られる四隅座標を画像処理部１０４へ入力する端子である。補正パラメータ算出部１０８は、入力端子１０７から入力される四隅座標を基に、投影時の歪み補正をするための補正パラメータ（射影変換パラメータ）を算出する。画像合成部１０９は、入力端子１０６から入力される入力画像データと補正パラメータ算出部１０８から入力される補正パラメータとを基に映像信号中の複数の入力画像データを合成し、合成画像データを生成する。画像補正部１１０は、補正パラメータ算出部１０７より得られる補正パラメータを基に、画像合成部１０９より得られる合成画像データが示す合成画像を歪み補正し、複数の補正画像データを含む出力信号を生成する。

図１０は、複数の入力画像データｉｎ（０）〜ｉｎ（１７）と補正画像データｏｕｔ（０）〜ｏｕｔ（１７）との対応関係を示す図である。入力される入力画像データは、連続したフレームから構成される動画データである。図１０の例では、５枚の入力画像データを合成することにより補正画像データを生成する。ｏｕｔ（３）の補正画像データは、入力画像データｉｎ（３）〜ｉｎ（７）を合成することにより得られる。また、入力画像データｉｎ（１１）とｉｎ（１２）との間でシーンが変化すると仮定する。例えば、ｉｎ（０）からｉｎ（１１）までは山の風景を示す入力画像データであり、ｉｎ（１２）以降は海の風景を示す入力画像データである。シーンの大きく異なる入力画像データを合成することは好ましくない。よって、図１０が示すように、ｉｎ（１１）以前のフレームと、ｉｎ（１２）以降のフレームを組み合わせて補正画像データを生成することはない。

ＣＰＵ１１２は、上述した画像処理の動作に関わる。ＲＯＭ１１３、ＲＡＭ１１４は、画像処理に必要なプログラム、データ、作業領域をＣＰＵに提供する。操作部１１５はユーザからの指示を入力する装置であり、ボタンやタッチパネルが該当する。外部インターフェース１１６はＰＣ、カメラ、メディア（例えばハードディスク、メモリーカード、ＳＤカード、ＵＳＢメモリ）につなぐためのインターフェースであり、ＵＳＢ、ＬＡＮ、ＩＥＥＥ１３９４等の規格に則した通信線、または無線なども含まれる。

なお、本実施例では、加速度センサ１０２より得られる傾き情報に基づいて、歪み補正前及び補正後の画像の四隅座標を算出するとしたが、四隅座標を算出する方法はこれに限らない。例えば、投影された画像を撮影する撮影装置により得られる投影画像データに基づいて、四隅座標を算出しても良い。この手法は、加速度センサ１０２を有しないシステムで有効である。

＜画像合成部＞
画像合成部１０９では、本実施例の歪み補正の影響を考慮した画像合成処理を行う。図２は、画像合成部１０９を説明するブロック図である。複数の入力画像データは入力端子２０１を介して画像合成部１０９に入力される。補正パラメータ算出部１０８から出力される補正パラメータは、入力端子２０２を介して画像合成部１０９に入力される。画像分割部２０３は、入力画像データが示す画像を複数のブロックに分割し、各ブロックの座標情報を出力する。動きベクトル算出部２０４は、画像分割部２０３から得られるブロックを基に、パターンマッチング法によって動きベクトルを算出する。重み決定部２０５は、画像分割部２０３から得られる各ブロックの座標情報と、入力端子２０２から得られる補正パラメータを基に、各ブロックから算出されたベクトルに対する重みを算出する。本実施例は、歪み補正時の各ブロックの歪み補正量を示す拡大率が大きくなるブロックの動きベクトルほど、寄与が大きくなるように重み付けを行う。この処理によって、大きな拡大率を有するブロックは、小さな拡大率を有するブロックよりも大きな重みを設定することができ、合成の際の位置合わせ誤差を小さくすることができる。なお、小さな拡大率を有するブロックでは、画像補正部１１０で行われる歪み補正時に縮小されるため、位置合わせ誤差が目立たなくなる。変換パラメータ算出部２０６は、重み決定部２０５から得られる重みと、動きベクトル算出部２０４から得られる動きベクトルを基に、入力画像データが示す画像間の変換パラメータ（アフィンパラメータ）を算出する。画像変換部２０７は、変換パラメータ算出部２０６から得られる変換パラメータを基に、入力画像データが示す画像をアフィン変換し変換画像データを出力する。加算合成部２０８は、画像変換部２０７から得られる変換画像データに対して重み付けを行い加算合成し、合成画像データを生成する。生成された合成画像データは、出力端子２０９より出力し、画像合成部１０９の処理が完了する。

＜＜画像分割部＞＞
画像分割部２０３は、複数の入力画像データから位置合わせの基準となる基準画像データを設定し、基準画像データが示す画像を複数のブロックに分割する。ここでは、合成対象の入力画像データ群の先頭の入力画像データを基準画像データ、それ以外の入力画像データを対象画像データとする。そして、図３に示すように、基準画像データが示す画像を横ｓ個、縦ｔ個の格子状のブロックに分割する。また、各ブロックは、インデックスｉによって区別する。インデックスｉは図３に示すように、左上から順に０から連番で与える。また、図３に示すように、ｉ番目のブロックの頂点の座標を、（ｘ０ｉ， ｙ０ｉ）， （ｘ１ｉ， ｙ１ｉ）， （ｘ２ｉ， ｙ２ｉ）， （ｘ３ｉ， ｙ３ｉ）とする。画像分割部２０３の出力は全ブロックの頂点の座標と、基準画像データ及び対象画像データである。

＜＜重み算出部＞＞
重み決定部２０５は、画像分割部２０３から得られるブロックの座標情報と入力端子２０２から得られる補正パラメータを基に、各ブロックの重みを算出する。

図５は重み算出部２０５の処理の流れを示す図である。まず、ステップＳ５０１でブロックの頂点座標、ステップＳ５０２で補正パラメータを入力する。そして、補正パラメータを用いてブロックの頂点座標を変換する（Ｓ５０３）。続いて、変換後の頂点座標から変換後のブロックの面積を計算し、ブロックの拡大率を取得する（Ｓ５０４）。求めた拡大率を基に、重みの設定を行う（Ｓ５０５）。大きな拡大率を有するブロックは、小さな拡大率を有するブロックよりも大きな重みを設定するように重みづけを行う。最後に重みを出力する（Ｓ５０６）。Ｓ５０３〜Ｓ５０５の処理については以降で詳述する。

＜＜＜Ｓ５０３〜Ｓ５０５＞＞＞
ステップＳ５０３では、図６に示すようにブロックの頂点座標（ｘｊ，ｙｊ）（ｊ＝０，１，２，３）を、補正パラメータ（ａ０，ａ１，ａ２，ａ３，ａ４，ａ５，ａ６，ａ７）を用いて、式（１）に基づいて変換する。

ａ０， ａ１， ａ２， ａ３， ａ４， ａ５， ａ６， ａ７は、射影変換を示すパラメータである。ステップＳ５０４では、ブロックの頂点座標（ｘｊ，ｙｊ）（ｊ＝０，１，２，３）、及びステップＳ５０３で得た変換後の頂点座標（ｘｊ’，ｙｊ’）（ｊ＝０，１，２，３）を用いてブロックの拡大率を計算する。なお、ブロックの面積をＳ、変換後のブロックの面積をＳ’とする。

まず、変換前のブロックの面積Ｓを求める。ブロックは長方形なので、Ｓは下記の式（２）で算出できる。

続いて、変換後のブロックの面積Ｓ’を求める。まず、各辺の長さを計算する。図６に示した各辺の長さｌｋ（ｋ＝０，１，２，３，４）は下記の式（３）で算出できる。

ｌ_ｋ（ｋ＝０，１，２，３，４）を基に、Ｓ’は２つの三角形の面積の和として、下記の式（４）で算出できる。

ただし、ｓ０，ｓ１は下記の式（５）通りである。

最後に、Ｓ、Ｓ’の比からブロックの拡大率Ｒを、下記の式（６）で算出する。

Ｒは、歪み補正前後のブロックの面積を比較して、より拡大されるブロック程大きな値となる。

ステップＳ５０５では、拡大率が大きいブロックほど寄与が大きくなるように重み付けを行う。ここでは、あらかじめ用意した拡大率Ｒと重みｗとのテーブルを使用して、重みを決定する。図７に使用するテーブルを示す。このテーブルでは、Ｒの大きさに応じて使用する画像数を３段階に設定する。ブロックｉの拡大率Ｒがｒ０以上の場合はブロックｉの重みをｗ０、Ｒがｒ１以上かつｒ０未満の場合はブロックｉの重みをｗ１、Ｒがｒ１未満の場合はブロックｉの重みをｗ２とする。上記の方法により、図８に示すように拡大率が大きいブロックほど寄与が大きくなるように重みを設定することが可能である。

＜＜動きベクトル算出部＞＞
動きベクトル算出部２０４では、画像分割部２０３より得られる基準画像データのブロック、及び対象画像データから、動きベクトルを算出する。まず、分割した基準画像データが示す画像のブロックと対象画像データが示す画像のブロックとを用いて、差分絶対値を評価値としたパターンマッチング処理を行う。そして、画素値の差分絶対値が最小となる座標位置から動きベクトルを算出する。各ブロックで同様の処理を行い、ブロック数分の動きベクトルを算出する。同様の処理を対象画像データの枚数分だけ行う。出力は、全対象画像データの全ブロックに対応する複数の動きベクトルである。

＜＜変換パラメータ算出部＞＞
変換パラメータ算出部２０６は、動きベクトル算出部２０４から得られる動きベクトル、及び重み決定部２０５から得られる重みを入力とし、基準画像データが示す画像と対象画像データが示す画像との間の動きを表す変換パラメータを算出する。ここでは、アフィンパラメータを算出する場合について説明する。

アフィン変換では、対象画像データが示す画像と基準画像データが示す画像との間の動きを下記の式で表す。

ここで、（ｘ，ｙ）は対象画像データが示す画像の画素位置、（ｘ’，ｙ’）は基準画像データが示す画像の画素位置、（ｂ０，ｂ１，ｂ２，ｂ３，ｂ４，ｂ５）はアフィンパラメータ（変換パラメータ）を表す。このアフィンパラメータの値によって、平行移動、回転、拡大縮小、せん断などの変形を表すことが出来る。例えば、（ｂ０，ｂ１，ｂ２，ｂ３，ｂ４，ｂ５） ＝ （１，０，ｃ，０，１，ｄ）とした場合は、ｘ軸方向にｃ画素、ｙ軸方向にｄ画素平行移動する動きを表す。また、（ｂ０，ｂ１，ｂ２，ｂ３，ｂ４，ｂ５）＝（ｃｏｓθ，−ｓｉｎθ，０，ｓｉｎθ，ｃｏｓθ，０）とした場合は、θだけ回転する動きを表す。

続いて、動きベクトルｖ_ｉ＝（ ｘ’_ｉ −ｘ_ｉ ， ｙ’_ｉ −ｙ_ｉ）と重みｗ_ｉからアフィンパラメータを求める方法について説明する。ここでは最小二乗法を利用してアフィンパラメータを求める。求めるアフィンパラメータを（ｂ０，ｂ１，ｂ２，ｂ３，ｂ４，ｂ５）とし、下記の式（８）、（９）のように誤差Ｅｘ， Ｅｙを定義する。

上記の誤差Ｅｘが最小となるアフィンパラメータ（ｂ０，ｂ１，ｂ２）、誤差Ｅｙが最小となるアフィンパラメータ（ｂ３，ｂ４，ｂ５）をそれぞれ求める。具体的には下記の式（１０）、（１１）によりアフィンパラメータを得られる。

以上の方法により、動きベクトルｖ_ｉ＝（ ｘ’_ｉ −ｘ_ｉ ， ｙ’_ｉ −ｙ_ｉ）と重みｗ_ｉからアフィンパラメータ（ｂ０，ｂ１，ｂ２，ｂ３，ｂ４，ｂ５）を算出する。

＜＜画像変換部＞＞
画像変換部２０７は、変換パラメータ算出部２０６より得られるアフィンパラメータ（ｂ０，ｂ１，ｂ２，ｂ３，ｂ４，ｂ５）を基に、対象画像データが示す画像をアフィン変換し変換画像データを生成する。アフィン変換は、式（７）に基づいて行う。ただし、（ｘ，ｙ）は対象画像データが示す画像の画素位置、（ｘ’，ｙ’）は変換画像データが示す画像の画素位置に対応する。

＜＜加算合成部＞＞
加算合成部２０８は、画像変換部２０７より得られる変換画像と、基準画像とを等しい重みで加算合成し合成画像を生成する。ここで、各画像に対する重みは基準画像と変換画像の合計画像数をｍとした場合、１／ｍとする。この合成処理により、入力画像データよりもノイズの少ない合成画像データを生成することができる。

＜補正パラメータ算出部＞
補正パラメータ算出部１０８は、入力端子１０７から入力された四隅座標を基に、歪みを補正するための補正変換パラメータ（射影変換パラメータ）を算出する。

射影変換では、補正に伴う変形を下記の式（１２）で表す。

ここで、（ｘ，ｙ）は補正前の画素位置、（ｘ’，ｙ’）は補正後の画素位置、ａｊ（０≦ｊ≦７）は補正パラメータを表す。

続いて、対応点（ ｐ_ｉ ， ｑ_ｉ） 、（ ｐ’_ｉ， ｑ’_ｉ）、及び移動ベクトルｖ_ｉ＝（ ｐ’_ｉ −ｐ_ｉ ， ｑ’_ｉ −ｑ_ｉ）（０≦ｉ≦３）から補正パラメータを求める方法について説明する。なお、対応点（ ｐ_ｉ ， ｑ_ｉ） 、（ ｐ’_ｉ， ｑ’_ｉ）は、図４に示す補正前と補正後の画像端部の座標である。

ここでは最小二乗法を利用して補正パラメータを求める。求める補正パラメータをａｊ（０≦ｊ≦７） としたとき、動きベクトル及び補正パラメータは式（１３）のような関係となる。

この式を下記のように表したとき

補正パラメータ表す行列Ａ＝（ａ_０，・・・， ａ_７）^Ｔは下記の式で算出される。

ここで、

となる。

以上の方法により、移動ベクトルｖ_ｉ＝（ ｐ’_ｉ − ｐ_ｉ ， ｑ’_ｉ −ｑ_ｉ）から補正パラメータａｊ（０≦ｊ≦７）を算出する。

＜画像補正部＞
画像補正部１１０は、補正パラメータ算出部１０８から得られる補正パラメータを用いて、画像合成部１０９から得られる合成画像データに対し、射影変換による歪み補正処理を施し補正画像データを生成する。射影変換は、式（１２）に基づいて行う。ただし、（ｘ，ｙ）は合成画像データが示す画像の画素位置、（ｘ’，ｙ’）は補正画像データが示す画像の画素位置に対応する。

なお、本実施例１では、四隅座標を加速センサ１０２から得られる傾き情報より算出しているが、ユーザが四隅座標を指定するような構成でもかまわない。

さらに、本実施例１では、画像間の位置ずれをアフィン変換であわせているが、その他の変換方法でもかまわない。例えば、射影変換、多項式変換、ヘルマート変換等でもかまわない。

以上説明したように、本実施例１によれば、歪み補正時の拡大率を基に動きベクトルに重み付けを行うことにより、位置合わせ誤差の小さな合成画像を生成することが可能となる。

［実施例２］
実施例１において、画像合成部１０９は入力画像データを加算合成し出力する構成であった。本実施例２では、複数の入力画像データに対して超解像処理を施し、入力画像データよりもサイズの大きな画像データ（解像度の高い画像データ）を出力する構成とする。

実施例２の画像処理装置の構成は図１に示す画像処理装置と比較して画像合成部１０９が異なる。図９は、実施例２における画像合成部９０１を示したブロック図である。図２で示した画像合成部１０９のブロック図と比較し、画像変換部２０７及び加算合成部２０８に代わり、超解像処理部９０２が追加される。超解像処理部９０２は、変換パラメータ算出部２０６より得られるアフィン変換パラメータを基に、入力画像データに対して超解像処理を施し高解像度画像データを生成する。本実施形態に適用可能な超解像処理としては、ＭＡＰ （ Ｍａｘｉｍｕｍ Ａ Ｐｏｓｔｅｒｉｏｒ ） 推定に基づく方法などがある。ＭＡＰ法は、二乗誤差に高解像度画像の確率情報を付加した評価関数を最小化するような高解像度画像を推定する方法である。高解像度画像に対するある先見情報と画像間の位置ずれを表すパラメータを利用して、事後確率を最大化する最適化問題として高解像度画像の推定を行う。

以上説明したように、第２の実施形態によれば、位置合わせ誤差が小さく入力画像より高解像度な画像を生成することが可能となる。

［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。」

Claims (7)

1. 複数の入力画像データに基づいて生成される合成画像データが示す画像を投影面に対して投影する際の歪み補正を行うための補正パラメータを入力する入力手段と、
   前記補正パラメータに基づいて、前記複数の入力画像データが示す画像の各ブロックに対する重みを決定する決定手段と、
   前記複数の入力画像データが示す画像間の前記各ブロックの動きベクトルを算出する第一算出手段と、
   前記重みと前記各ブロックの動きベクトルとに基づき、前記複数の入力画像データを合成する際の位置合わせをするための変換パラメータを算出する第二算出手段と、
   前記変換パラメータに基づいて前記複数の入力画像データを合成して合成画像データを生成する合成手段と、
   前記補正パラメータに基づいて、前記合成画像データの歪み補正を行う画像補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記決定手段は、各ブロックの歪み補正量を示す拡大率を取得し、
   大きな拡大率を有するブロックは、小さな拡大率を有するブロックよりも、大きな重みを設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記合成画像データの解像度は、前記複数の入力画像データの解像度よりも高いことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記補正パラメータは、投影面に対して画像を投影する投射装置の傾き情報に基づいて設定されることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記合成手段は、超解像処理により、前記複数の入力画像データを合成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 複数の入力画像データに基づいて生成される合成画像データが示す画像を投影面に対して投影する際の歪み補正を行うための補正パラメータを入力する入力工程と、
   前記補正パラメータに基づいて、前記複数の入力画像データが示す画像の各ブロックに対する重みを決定する決定工程と、
   前記複数の入力画像データが示す画像間の前記各ブロックの動きベクトルを算出する第一算出工程と、
   前記重みと前記各ブロックの動きベクトルとに基づき、前記複数の入力画像データを合成する際の位置合わせをするための変換パラメータを算出する第二算出工程と、
   前記変換パラメータに基づいて前記複数の入力画像データを合成して合成画像データを生成する合成工程と、
   前記補正パラメータに基づいて、前記合成画像データの歪み補正を行う画像補正工程と、
   を有することを特徴とする画像処理方法。
7. コンピュータを請求項１乃至５のいずれか１項に記載の画像処理装置として機能させるためのプログラム。