JP2013201557A - 画像処理装置、画像処理方法および画像処理システム - Google Patents

Abstract

【課題】適切な解像度を算出可能な画像処理装置、画像処理方法および画像処理システムを提供する。
【解決手段】実施形態によれば、画像処理装置と、符号化部と、記憶部とを備える画像処理システムが提供される。前記画像処理装置は、複数の解像度候補のうちの１つを統一解像度として選択し、第１解像度である第１入力画像および前記第１解像度とは異なる第２解像度である第２入力画像を前記統一解像度に応じてスケーリングして、解像度が等しい第１出力画像および第２出力画像を生成する。前記符号化部は、前記第１出力画像および前記第２出力画像を符号化して符号化データを生成する。前記記憶部は、前記符号化データを記憶する。
【選択図】図１

Description

本発明の実施形態は、画像処理装置、画像処理方法および画像処理システムに関する。

近年、映像を３次元的に表示する立体表示装置が普及しつつある。立体表示装置には、複数の視点から見た複数の画像、例えば左目用画像と右目用画像とが表示される。そして、視聴者は、右目で右目用画像を、左目で左目用画像を見ることにより、表示された映像が３次元的に見える。

ところで、右目用画像の解像度と左目用画像の解像度が必ずしも等しいとは限らない。例えば、一方をメインカメラで撮影し、他方をサブカメラで撮影すると、解像度が異なる画像が取得されることもある。しかしながら、取得した画像を符号化する場合、符号化の規格によっては、全ての画像の解像度が等しくなければならない。そのため、右目用画像および左目用画像の少なくとも一方をスケーリングする必要がある。

解像度が低い方の画像に合わせて解像度が大きい方の画像を縮小すると、精細感が失われてしまうという問題がある。一方、解像度が高い方の画像に合わせて解像度が低い方の画像を拡大すると、２つの画像間の画質差が目立ってしまうという問題がある。

特開２０１１−１１８９０８号公報

適切な解像度を算出可能な画像処理装置、画像処理方法および画像処理システムを提供する。

実施形態によれば、画像処理装置と、符号化部と、記憶部とを備える画像処理システムが提供される。前記画像処理装置は、複数の解像度候補のうちの１つを統一解像度として選択し、第１解像度である第１入力画像および前記第１解像度とは異なる第２解像度である第２入力画像を前記統一解像度に応じてスケーリングして、解像度が等しい第１出力画像および第２出力画像を生成する。前記符号化部は、前記第１出力画像および前記第２出力画像を符号化して符号化データを生成する。前記記憶部は、前記符号化データを記憶する。また、前記画像処理装置は、対応領域検出部と、解像度変換部と、コスト計算部と、解像度選択部と、を有する。前記対応領域検出部は、前記第１入力画像内のブロックと対応する、前記第２入力画像内の対応領域を検出する。前記解像度変換部は、前記統一解像度を選択するために、前記ブロックを、前記複数の解像度候補のうちの１つである第３解像度に応じてスケーリングして第１変換画像を生成し、前記対応領域を前記第３解像度に応じてスケーリングして第２変換画像を生成し、前記第１変換画像を前記第１解像度と前記第３解像度との比に応じてスケーリングして再変換画像を生成するとともに、前記第１出力画像および前記第２出力画像を生成するために、前記第１入力画像および前記第２入力画像を前記統一解像度に応じてスケーリングする。前記コスト計算部は、前記第１変換画像と前記第２変換画像との差を示す第１の指標と、前記再変換画像と前記ブロックとの差を示す第２の指標と、に基づいて、前記第１入力画像および前記第２入力画像を前記第３解像度に応じてスケーリングする際のコストを算出する。前記解像度選択部は、前記コストに基づいて、前記複数の解像度候補のうちの１つを前記統一解像度として選択する。

一実施形態に係る画像処理システムの概略ブロック図。 画像処理システムの処理動作の概略を示すフローチャート。 本実施形態で説明する右目用入力画像および左目用入力画像の例を模式的に示す図。 対応領域検出部１の内部構成の一例を示すブロック図。 解像度変換部２の内部構成の一例を示すブロック図。 コスト計算部３の内部構成の一例を示すブロック図。 解像度選択部４が有するテーブル４１の一例を示す図。 画像処理装置１００の処理動作の一例を示すフローチャート。

以下、実施形態について、図面を参照しながら具体的に説明する。
図１は、一実施形態に係る画像処理システムの概略ブロック図である。また、図２は、画像処理システムの処理動作の概略を示すフローチャートである。画像処理システムは、画像処理装置１００と、符号化部２００と、メモリ３００とを備えている。

画像処理装置１００には、解像度が互いに異なる第１入力画像および第２入力画像が入力される。以下、第１入力画像は右目用入力画像、第２入力画像は左目用入力画像として説明する。図２に示すように、画像処理装置１００は２段階で処理を行い、右目用入力画像および左目用入力画像の解像度を統一する。すなわち、第１段階で、画像処理装置１００は１または数フレームに対して処理を行って、複数の解像度候補のうちの最適な１つを算出する（Ｓ１）。以下では、得られた最適な解像度を統一解像度と呼ぶ。次に、第２段階で、画像処理装置１００は右目用入力画像および左目用入力画像を統一解像度に応じてスケーリングし、解像度が互いに等しい右目用出力画像および左目用出力画像を生成する（Ｓ２）。

符号化部２００は、例えばＨ．２６４動画像圧縮化規格に基づいて、解像度が統一された右目用出力画像および左目用出力画像を符号化し、符号化データを生成する（Ｓ３）。メモリ３００は符号化データを記憶する（Ｓ４）。

図３は、本実施形態で説明する右目用入力画像および左目用入力画像の例を模式的に示す図である。右目用入力画像の解像度は１２８０ｘ９６０画素とする。左目用入力画像の解像度は、右目用入力画像の解像度より低く、３２０ｘ２４０画素とする。この場合、左目用入力画像の解像度は、水平方向および垂直方向ともに、右目用入力画像の解像度の１／４である。また、右目用入力画像を分割した１６ｘ１６画素からなる領域を１ブロックとすると、右目用入力画像には、水平方向に８０個、垂直方向に６０個、合計４８００個のブロックがある。
さらに、本実施形態では、解像度候補を、１２８０ｘ９６０，９６０ｘ７２０，６４０ｘ４８０，４８０ｘ３６０および３２０ｘ２４０の５つとする。

上記は本実施形態を説明するための一例にすぎず、入力画像の解像度に制限はないし、解像度候補をより細かく定めたり、粗く定めたりしてもよい。解像度候補は、右目用入力画像の解像度より高くてもよいし、左目用入力画像の解像度より低くてもよい。ただし、実際には２つの入力画像の解像度の範囲内の解像度が最適であることが多い。そのため、画像処理装置１００の処理の負荷を軽減するためには、この範囲に含まれる解像度を解像度候補に設定するのが望ましい。

以下、図１の画像処理装置１００について詳しく説明する。画像処理装置１００は、対応領域検出部１と、解像度変換部２と、コスト計算部３と、解像度選択部４とを有する。
対応領域検出部１は、右目用入力画像内の各ブロックと対応する、左目用入力画像内の領域（以下、対応領域と呼ぶ）を検出する。そして、対応領域検出部１は、対応領域の有無を解像度選択部４へ供給するとともに、対応領域が検出された場合は対応領域を解像度変換部２へ供給する。

図４は、対応領域検出部１の内部構成の一例を示すブロック図である。対応領域検出部１は、縮小部１１と、対応度算出部１２と、対応領域決定部１３とを有する。
縮小部１１は、１６ｘ１６画素からなる右目用入力画像内のブロックを、左目用入力画像の解像度と右目用入力画像の解像度との比に応じて、スケーリングする。本例では、縮小部１１は、右目用入力画像内のブロックを水平方向および垂直方向ともに１／４倍に縮小し、４ｘ４画素からなるブロック（スケーリング画像）を生成する。

対応度算出部１２は、縮小された右目用入力画像内のブロックと、これと画素サイズが等しい、左目用入力画像内の４ｘ４画素からなる各領域との類似度を示す指標を算出する。この指標は、例えば対応する画素同士の差分絶対値和や、対応する画素同士の差分を離散コサイン変換した係数の和である。

対応領域決定部１３は、指標が最小となる領域、言い換えると、右目用入力画像内のブロックと最も一致している、左目用入力画像内の領域を対応領域とする。ただし、指標が予め定めた閾値より大きい場合、対応領域決定部１３は対応領域がないと判断してもよい。
なお、上記の手法は対応領域を検出するための一例にすぎない。対応領域検出部１は、動きベクトルを算出するためのマッチング技術等、他の手法を用いて対応領域を検出してもよい。

右目用入力画像および左目用入力画像は、被写体を異なる視点から見た画像であるので、右目用入力画像内のブロックに対応する領域が、必ずしも左目用入力画像内にあるとは限らない。例えば、右目用入力画像には物体の右側の面が含まれているが、左目用入力画像にはその物体の右側の面は含まれず、左側の面のみが含まれていることがある。そのため、対応領域検出部１は右目用入力画像内の各ブロックについて対応領域を検出する。

解像度変換部２は、統一解像度を算出する際、後述する解像度選択部４により選択される１つの解像度（以下、選択解像度と呼ぶ）に応じて、右目用入力画像および左目用画像をスケーリングして、コスト計算部３に供給する。また、解像度変換部２は、右目用入力画像および左目用入力画像を統一解像度に応じてスケーリングして、右目用出力画像および左目用出力画像を生成する。なお、本明細書において、解像度変換およびスケーリングとは拡大および縮小の両方を意味し、拡大および縮小には等倍も含むものとする。

図５は、解像度変換部２の内部構成の一例を示すブロック図である。図５内の各数値は選択解像度が４８０ｘ３６０の場合の例を示している。解像度変換部２は、統一解像度の算出処理用に、縮小部２１と、拡大部２２，２３とを有する。

縮小部２１は、右目用入力画像内のブロックの１つを、選択解像度と右目用入力画像の解像度との比に応じてスケーリングし、右目用入力画像の変換画像を生成する。本例では、選択解像度は、水平方向および垂直方向ともに、右目用入力画像の解像度の３／８である。よって、縮小部２１は１６ｘ１６画素からなる右目用入力画像を、水平方向および垂直方向ともに３／８倍に縮小し、６ｘ６画素の右目用入力画像の変換画像を生成する。

拡大部２２は、右目用入力画像の変換画像を、右目用解像度と選択解像度との比に応じてスケーリングし、右目用入力画像の再変換画像を生成する。本例では、拡大部２２は、右目用入力画像の変換画像を８／３倍に拡大し、１６ｘ１６画素からなる右目用入力画像の再変換画像を生成する。再変換画像の解像度は右目用入力画像の解像度と等しい。

拡大部２３は、左目用入力画像内の対応領域を、選択解像度と左目用入力画像の解像度との比に応じてスケーリングし、左目用入力画像の変換画像を生成する。本例では、選択された解像度は、水平方向および垂直方向ともに、左目用入力画像の解像度の３／２である。よって、拡大部２３は４ｘ４画素からなる左目用入力画像内の対応領域を、水平方向および垂直方向ともに３／２倍に拡大し、６ｘ６画素からなる左目用入力画像の変換画像を生成する。

また、解像度変換部２は、右目用出力画像および左目用出力画像の生成処理用に、縮小部２４と、拡大部２５とを有する。縮小部２４は、右目用入力画像を統一解像度と右目用入力画像の解像度との比に応じてスケーリングし、右目用出力画像を生成する。拡大部２５は、左目用入力画像を統一解像度と左目用入力画像の解像度との比に応じてスケーリングし、左目用出力画像を生成する。

なお、図５では解像度変換部２が複数の縮小部および拡大部を有する例を示しているが、１つの解像度変換手段を用いて上述したスケーリングを行ってもよい。また、図４に示す縮小部１１の縮小処理を解像度変換部２内で行ってもよい。解像度変換の手法としては、バイリニア法やバイキュービック法等を用いることができ、特に制限はない。

コスト計算部３には、右目用入力画像の変換画像、左目用入力画像の変換画像、右目用入力画像、および、右目用入力画像の再変換画像が入力される。そして、コスト計算部３は、解像度が大きい右目用入力画像を縮小することによる精細感の低下と、スケーリングにより生じる右目用画像と左目用画像との画質差と、の両方を考慮して、右目用入力画像および左目用入力画像を選択解像度に応じてスケーリングする際のコストを算出する。

図６は、コスト計算部３の内部構成の一例を示すブロック図である。コスト計算部３は、差分絶対値和算出部３１と、正規化部３２と、差分絶対値和算出部３３と、乗算器３４，３５と、加算器３６とを有する。
差分絶対値和算出部３１は、右目用入力画像の変換画像内の各画素と、これと対応する左目用入力画像の変換画像内の各画素との差分絶対値和ＳＡＤを算出する。この差分絶対値和ＳＡＤは両変換画像の類似度を示す。

差分絶対値和ＳＡＤの値は、変換画像内の画素数分の和であるため、選択解像度に依存する。よって、他の解像度の差分絶対値和ＳＡＤと比較できるよう、正規化部３２は、算出された差分絶対値和ＳＡＤを下記（１）式に基づいて正規化し、画質差ＣＳＴ１を算出する。
CST1 = SAD * S_base/S_trans ・・・（１）
ここで、Ｓ＿ｂａｓｅは右目用入力画像内のブロックに含まれる画素数であり、本例では１６ｘ１６＝２５６である。また、Ｓ＿ｔｒａｎｓは、右目用入力画像の変換画像および左目用入力画像の変換画像内の画素数であり、選択解像度が４８０ｘ３６０である例では６ｘ６＝３６である。
画質差ＣＳＴ１は、スケーリングを行うことにより生じる右目用画像と左目用画像との画質差を定量化した値であり、画質差ＣＳＴ１が小さいほど、選択解像度への変換が好ましいことを意味する。

差分絶対値和算出部３３は、右目用入力画像内のブロック内の各画素と、これと対応する右目用入力画像の再変換画像内の各画素との差分絶対値和を算出する。この差分絶対値和は両画像の画質差ＣＳＴ２であり、右目用入力画像を縮小することによる精細感の低下を定量化した値である。画質差ＣＳＴ２が小さいほど、選択解像度への変換が好ましいことを意味する。なお、画質差ＣＳＴ２の値は、選択解像度に関わらず、常に右目用入力画像内のブロック内の画素数（すなわち、１６ｘ１６）分の和であるため、正規化しなくてもよい。

続いて、乗算器３４，３５および加算器３６は、下記（２）式に基づいて、画質差ＣＳＴ１，ＣＳＴ２から、選択解像度に変換する際のコストＣＳＴを算出する。
CST = p * CST1 + q * CST2 ・・・（２）
ここで、ｐ，ｑは予め定めた定数である。画質差ＣＳＴ１を重視する場合、すなわち、できるだけ右目用画像と左目用画像との差を小さくしたい場合は、定数ｐを大きく設定すればよい。一方、画質差ＣＳＴ２を重視する場合、すなわち、できるだけ右目用入力画像の精細感低下を抑制した場合は、定数ｑを大きく設定すればよい。コストＣＳＴが小さいほど、選択解像度への変換が好ましいことを意味する。

なお、上記コストＣＳＴを他の指標を用いて算出してもよい。例えば、画質差ＣＳＴ１，ＣＳＴ２を算出する際、差分絶対値和に代えて、両画像内の対応する画素同士の差分を離散コサイン変換した係数の和等を用いてもよい。

コスト計算部３は、１つのブロックに対して、解像度候補ごとにコストＣＳＴを算出する。本例では解像度候補が５つであるため、コスト計算部３は１つのブロックに対して５つのコストＣＳＴを算出する。算出されたコストＣＳＴは解像度選択部４へ供給される。また、コスト計算部３は、予め定めた数のブロックについて、コストＣＳＴを算出する。

解像度選択部４は、解像度変換部２の拡大率および縮小率を制御する。より具体的には、統一解像度を算出する際、解像度選択部４は解像度候補のうちの１つを解像度変換部２へ順繰りに供給する。そして、解像度選択部４は、コスト計算部３により算出されたＣＳＴに基づいて、解像度候補のうちの１つを統一解像度として決定する。また、右目用出力画像および左目用出力画像を生成する際、解像度選択部４は算出された統一解像度を解像度変換部２へ供給する。

図７は、解像度選択部４が有するテーブル４１の一例を示す図であり、統一解像度を算出する際に用いられる。図７のテーブル４１には、解像度候補ごとに選択数ｔ１〜ｔ５が記録されている。１つのブロックに対して、各解像度候補に対応する５つのコストＣＳＴが供給されると、コストＣＳＴを最小にする解像度候補の選択数を１だけインクリメントする。また、対応領域が検出されなかったブロックについては、最も高い解像度候補、本例では１２８０ｘ９６０の選択数を１だけインクリメントする。そして、予め定めた数のブロックについて選択数の更新を行い、解像度選択部４は選択数が最大の解像度候補を統一解像度とする。

なお、ブロックの数は任意に指定してよい。例えば、処理を高速化するために、１フレームの中央部分の数フレームとしてもよいし、１フレーム内の４８００（＝（１２８０＊９６０）／（１６＊１６））ブロックとしてもよい。また、統一解像度の信頼性を向上するために、数フレーム内のブロック全てとしてもよい。

図８は、画像処理装置１００の処理動作の一例を示すフローチャートであり、図１のＳ１を詳細に示したものである。なお、同図の処理を行う前に、解像度選択部４は図７に示すテーブル４１の選択数ｔ１〜ｔ５を０に初期化しておく。

まず、対応領域検出部１は、第１入力画像内のブロックと対応する第２入力画像内の領域を、対応領域として検出する（Ｓ１１）。以下、第１入力画像を右目用入力画像として説明する。なお、Ｓ１１では、右目用入力画像内のブロックを基に左目用入力画像内から、又は、左目用入力画像内のブロックを基に右目用入力画像内から、対応領域を検出すればよい。対応領域がない場合（Ｓ１２のＮＯ）、解像度選択部４は、最も高い解像度候補の選択数、すなわち図７の選択数ｔ５を１だけインクリメントする（Ｓ１３）。

対応領域がある場合（Ｓ１２のＹＥＳ）、解像度選択部４は解像度候補の１つを選択し、選択解像度とする（Ｓ１４）。例えば、解像度選択部４は初めに３２０ｘ２４０を選択解像度として選択する。そして、解像度変換部２は、選択解像度に応じて右目用入力画像内のブロックおよび左目用入力画像内の対応領域をスケーリングし、右目用入力画像の変換画像、左目用入力画像の変換画像および右目用入力画像の再変換画像を生成する（Ｓ１５）。そして、コスト計算部３は、これらの画像に基づいて、右目用入力画像および左目用入力画像の解像度を選択解像度に変換する際のコストＣＳＴを計算する（Ｓ１６）。

コスト計算部３は、解像度候補のそれぞれについて、コストＣＳＴを計算する（Ｓ１７）。本例では、Ｓ１４〜Ｓ１７の処理が解像度候補の数である５回繰り返される。そして、解像度選択部４は、コストＣＳＴが最小となる解像度候補の選択数を、１だけインクリメントする（Ｓ１８）。以上の処理を予め定めた数のブロックについて行う（Ｓ１９）。そして、解像度選択部４は、選択数が最大となる解像度候補を統一解像度に決定する（Ｓ２０）。

以上の処理により、統一解像度が算出される。統一解像度が算出されると、解像度選択部４は解像度変換部２に統一解像度を供給する。そして、解像度変換部２内の縮小部２４および拡大部２５は、それぞれ、右目用入力画像および左目用出力画像を統一解像度に応じてスケーリングし、右目用出力画像および左目用出力画像を生成する（図２のＳ２）。

このように、本実施形態では、スケーリングにより生じる右目用画像と左目用画像との画質差、および、解像度が大きい画像を縮小することによる精細感の低下の両方を考慮して、統一解像度を決定する。そのため、右目用入力画像および左目用入力画像を、両者のバランスがとれた最適な統一解像度にスケーリングできる。

なお、上述した実施形態では、解像度選択部４が、右目用入力画像内のブロックごとに、１つの解像度候補の選択数を１ずつ更新する例を示したが、解像度選択部４は別の手法で解像度候補のうちの１つを選択してもよい。例えば、以下のように、フレームごとに処理することもできる。
１フレーム内のブロックについて図８のＳ１１〜Ｓ１９（ただし、Ｓ１９では、１フレーム内のブロックについて処理したか否かを判定する）の処理を行い、当該フレームについて最適な解像度を１つ決定する。この処理を、予め定めた複数のフレームについて行って、最適な解像度として決定された数が最大となるとなる解像度候補を統一解像度に決定する。例えば、処理を行うフレーム数を５とし、解像度６４０ｘ４８０が３回選択され、解像度９６０ｘ７２が２回選択された場合、統一解像度は６４０ｘ４８０となる。

上述した実施形態では、説明を簡略化するために、解像度変換部２の各部が生成する画像の画素が整数になる場合を説明した。しかしながら、右目用入力画像、左目用入力画像および解像度の候補によっては、スケーリング後の画像の画素数が整数にならない場合もある。この場合の解像度変換部２は、倍率を変更することなくスケーリング対象の画素を増やし、画素数の小数点以下を切り上げたサイズとなるよう、スケーリングすればよい。以下、選択解像度が１０２４ｘ７６８の場合を例に取って、図５の解像度変換部２の処理について具体例を説明する。

この場合、縮小部２１の倍率は４／５倍である。縮小部２１が右目用入力画像内の１６ｘ１６画素のブロックを４／５倍に縮小すると１２．８ｘ１２．８画素となってしまう。そこで、縮小部２１は、上記のブロックおよびこれに隣接する画素を含む１７ｘ１７画素を４／５倍に縮小して１３．６ｘ１３．６画素からなる画像を生成し、このうち有効な１３ｘ１３画素を右目用入力画像の変換画像とする。

また、拡大部２２は、１３ｘ１３画素からなる右目用入力画像の変換画像を５／４倍に拡大して１６．２５ｘ１６．２５画素からなる画像を生成し、このうち有効な１６ｘ１６画素を右目用入力画像の変換画像とする。

一方、拡大部２３の拡大率は１６／５倍である。拡大部２３が４ｘ４画素からなる左目用入力画像内の対応領域を１６／５倍に拡大すると、１２．８ｘ１２．８画素となってしまう。そこで、拡大部２３は、上記の対応領域およびこれに隣接画素を含む５ｘ５画素を１６／５倍に拡大して１６ｘ１６画素からなる画像を生成し、このうち有効な１３ｘ１３画素を左目用入力画像の変換画像とする。なお、この場合、上記（１）式におけるＳ＿ｔｒａｎｓの値は１３ｘ１３＝１６９となる。

また、本実施形態では右目用入力画像および左目用入力画像、すなわち、左右２視点の画像が入力される例を示したが、上下２視点の画像又は３視点以上の画像が入力されてもよい。この場合、視点が隣接し、解像度が異なる２つの画像間のそれぞれについて上記の処理を行って、選択数が最も多い解像度を選択すればよい。

上述した実施形態で説明した画像処理システムの少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、画像処理システムの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。

また、画像処理システムの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 対応領域検出部
２ 解像度変換部
３ コスト計算部
４ 解像度選択部
１００ 画像処理装置
２００ 符号化部
３００ メモリ

Claims (5)

1. 複数の解像度候補のうちの１つを統一解像度として選択し、第１解像度である第１入力画像および前記第１解像度とは異なる第２解像度である第２入力画像を前記統一解像度に応じてスケーリングして、解像度が等しい第１出力画像および第２出力画像を生成する画像処理装置と、
   前記第１出力画像および前記第２出力画像を符号化して符号化データを生成する符号化部と、
   前記符号化データを記憶する記憶部と、を備え、
   前記画像処理装置は、
   前記第１入力画像内のブロックと対応する、前記第２入力画像内の対応領域を検出する対応領域検出部と、
   前記ブロックを、前記複数の解像度候補のうちの１つである第３解像度に応じてスケーリングして第１変換画像を生成し、前記対応領域を前記第３解像度に応じてスケーリングして第２変換画像を生成し、前記第１変換画像を前記第１解像度と前記第３解像度との比に応じてスケーリングして再変換画像を生成するとともに、前記第１入力画像および前記第２入力画像を前記統一解像度に応じてスケーリングする解像度変換部と、
   前記第１変換画像と前記第２変換画像との差を示す第１の指標と、前記再変換画像と前記ブロックとの差を示す第２の指標と、に基づいて、前記第１入力画像および前記第２入力画像を前記第３解像度に応じてスケーリングする際のコストを算出するコスト計算部と、
   前記コストに基づいて、前記複数の解像度候補のうちの１つを前記統一解像度として選択する解像度選択部と、を有することを特徴とする画像処理システム。
2. 前記解像度選択部は、予め定めた数のブロック、または、予め定めた数のフレーム内のブロックについて算出された複数の前記コストに基づいて、前記複数の解像度候補のうちの１つを前記統一解像度として選択することを特徴とする請求項１に記載の画像処理システム。
3. 前記コスト計算部は、前記予め定めた数のブロックのそれぞれに対して、前記複数の解像度候補ごとに前記コストを計算し、
   前記解像度選択部は、前記複数の解像度候補のそれぞれに対応するカウント値を有し、前記予め定めた数のブロックのそれぞれに対して、前記コストを最小とする解像度候補に対応するカウント値をカウントアップし、カウント値が最大となる前記複数の解像度候補のうちの１つを統一解像度として選択することを特徴とする請求項２に記載の画像処理システム。
4. 第１解像度である第１入力画像内のブロックと対応する、前記第１解像度とは異なる第２解像度である第２入力画像内の対応領域を検出する対応領域検出部と、
   前記ブロックを、複数の解像度候補のうちの１つである第３解像度に応じてスケーリングして第１変換画像を生成し、前記対応領域を前記第３解像度に応じてスケーリングして第２変換画像を生成し、前記第１変換画像を前記第１解像度と前記第３解像度との比に応じてスケーリングして再変換画像を生成する解像度変換部と、
   前記第１変換画像と前記第２変換画像との差を示す第１の指標と、前記再変換画像と前記ブロックとの差を示す第２の指標と、に基づいて、前記第１入力画像および前記第２入力画像を前記第３解像度に応じてスケーリングする際のコストを算出するコスト計算部と、
   前記コストに基づいて、前記複数の解像度候補のうちの１つを統一解像度として選択する解像度選択部と、を備えることを特徴とする画像処理装置。
5. 第１解像度である第１入力画像内のブロックと対応する、前記第１解像度とは異なる第２解像度である第２入力画像内の対応領域を検出するステップと、
   前記ブロックを、複数の解像度候補のうちの１つである第３解像度に応じてスケーリングして第１変換画像を生成し、前記対応領域を前記第３解像度に応じてスケーリングして第２変換画像を生成し、前記第１変換画像を前記第１解像度と前記第３解像度との比に応じてスケーリングして再変換画像を生成するステップと、
   前記第１変換画像と前記第２変換画像との差を示す第１の指標と、前記再変換画像と前記ブロックとの差を示す第２の指標と、に基づいて、前記第１入力画像および前記第２入力画像を前記第３解像度に応じてスケーリングする際のコストを算出するステップと、
   前記コストに基づいて、前記複数の解像度候補のうちの１つを統一解像度として選択するステップと、を備えることを特徴とする画像処理方法。

Images