JP2009218965A - 画像処理装置、それを搭載した撮像装置、および画像再生装置 - Google Patents

Abstract

【課題】超解像処理する際、微少な位置ずれを持つ画像という前提を満たさない画像を使用してしまうとノイズを多く含む画像となってしまう。
【解決手段】符号化部２０は、動画像を符号化する。制御部４０は、符号化部２０により符号化される動画像に含まれるフレーム画像の部分領域または全体領域の、動画像に含まれる別フレーム画像を用いた超解像処理の対象としての適正度を判定する。制御部４０は、その適正度を対象フレーム画像の、ピクチャヘッダ領域、ＧＯＰ(Group Of Picture)ヘッダ領域、またはユーザの書き込みが許可されている領域に付加するよう符号化部２０を制御する。
【選択図】図１

Description

本発明は、動画像を処理する画像処理装置、それを搭載した撮像装置、および画像再生装置に関する。

デジタルスチルカメラ、デジタルムービーカメラ（以下、デジタルカメラと総称する）が普及してきている。デジタルカメラで撮像された画像の解像度は、そのカメラの有効画素数に応じて制限される。したがって、デジタルカメラで撮像された画像を単純に拡大すると、画像が粗くなってしまう。また、画素を補間して拡大する手法もあるが、画像がぼけてしまう。符号化される際に省略された高周波成分自体を復元する処理ではないためである。

これに対し、高周波成分自体を復元する処理として超解像処理が提案されている。超解像処理は、微少な位置ずれを持つ複数の画像から、それら画像の解像度より高い解像度の画像を生成することができる。

特許文献１は、フレーム間動き予測を用いて動画像を符号化する動画像符号化装置を開示する。この装置は、各フレームを複数の分割領域に分割する分割手段と、フレーム内から重要領域を決定する決定手段と、前フレームの重要領域の範囲内で、符号化対象のフレームの各分割領域毎に相関性が高い画素集合を探索し、該各分割領域のデータと、探索した画素集合のデータとの差分を取って差分データを出力するフレーム間予測手段と、前記差分データを符号化する符号化手段と、を有する
特開２００６−１４０８６号公報

固体撮像素子の位置をずらす機構を設けずに超解像処理するには、微少な時間間隔で撮像された複数の画像を使用する必要がある。しかしながら、微少な位置ずれを持つ画像という前提を満たさない画像を使用してしまうと、ノイズを多く含む画像となってしまう。たとえば、エッジが際立ち過ぎる画像などが生成されてしまう。

本発明はこうした状況に鑑みなされたものであり、その目的は、超解像処理を有効活用することを支援する画像処理装置、それを搭載した撮像装置、および画像再生装置を提供することにある。

本発明のある態様の画像処理装置は、動画像を符号化する符号化部と、符号化部により符号化される動画像に含まれる対象フレーム画像の部分領域または全体領域の、動画像に含まれる別フレーム画像を用いた超解像処理の対象としての適正度を判定する制御部と、を備える。制御部は、適正度をフレーム画像の、ピクチャヘッダ領域、ＧＯＰヘッダ領域、またはユーザの書き込みが許可されている領域に付加するよう符号化部を制御する。

本発明のさらに別の態様は、画像再生装置である。この装置は、動画像内の対象フレーム画像と、動画像に含まれる別フレーム画像を用いた超解像処理の対象としての適正度を示す識別表示を同一画面内に表示する表示部を備える。

本発明のさらに別の態様もまた、画像再生装置である。この装置は、符号化された動画像データを復号する復号部と、復号部により復号される動画像に含まれる対象フレーム画像の部分領域または全体領域の、動画像に含まれる別フレーム画像を用いた超解像処理の対象としての適正度を判定する制御部と、を備える。制御部は、対象フレーム画像とその超解像処理に使用されるフレーム画像との間の被写体の動き、それらフレーム画像間の相関度、およびそれらフレーム画像の高周波成分の省略度合いの少なくとも一つを参照して適正度を判定する。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、超解像処理を有効活用することを支援することができる。

まず、本発明の実施の形態で使用する超解像処理について説明する。たとえば、（青木伸著、「複数のデジタル画像データによる超解像処理」、Ricoh Technical Report No.24, NOVEMBER, 1998）に開示された超解像処理を用いることができる。

この超解像処理は、位置推定ステップ、広帯域補間ステップおよび加重和ステップの三ステップの処理からなる。位置推定ステップは、与えられた複数の画像データ自身から、それぞれの画像データの標本化位置のずれを推定する。広帯域補間ステップは、各画像データを広帯域なローパスフィルタを用いて高密度化する。このローパスフィルタは折り返し成分も含む原信号の高周波成分をすべて透過するフィルタである。加重和ステップは、各高密度化データの標本化位置に応じた重みを使った、加重和を算出する。これにより、折り返し歪み成分を打ち消すとともに、原信号の高周波成分を復元する。

また、特開２００５−１９７９１０号公報、特開２００７−２０５号公報、特開２００７−１９３５０８号公報などに開示された超解像処理を利用することも可能である。

図１は、実施の形態１に係る画像処理装置２００を搭載した撮像装置３００の構成を示す図である。撮像装置３００は、撮像部１００および画像処理装置２００を備える。画像処理装置２００は、符号化部２０および制御部４０を備える。

画像処理装置２００の構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされた画像符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

撮像部１００は、動画像を取得し画像処理装置２００に供給する。撮像部１００は、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの図示しない固体撮像素子、およびその固体撮像素子から出力される信号を処理する図示しない信号処理回路を備える。当該信号処理回路は、上記撮像素子から出力されるアナログの三原色信号Ｒ、Ｇ、Ｂを、デジタルの輝度信号Ｙおよび色差信号Ｃｒ、Ｃｂに変換することができる。

画像処理装置２００は、撮像部１００により取得される動画像を処理する。より具体的には、その動画像を所定の規格にしたがい圧縮符号化する。たとえば、Ｈ．２６４／ＡＶＣ、ＭＰＥＧ−２、またはＭＰＥＧ−４などの規格にしたがい圧縮符号化する。

符号化部２０は、画面分割部２１、直交変換部２２、量子化部２３、画面内予測符号化部２４、画面間予測符号化部２５、可変長符号化部２６、バッファ２７、量子化ステップ決定部２８およびストリーム生成部２９を含み、入力される動画像を符号化する。

画面分割部２１は、フレーム画像ごとに複数の領域に分割する。以下、本実施の形態ではマクロブロックに分割するものとする。
直交変換部２２は、各フレーム画像をマクロブロック単位で直交変換する。ＭＰＥＧシリーズでは、輝度信号Ｙおよび色差信号Ｃｒ、ＣｂをＤＣＴ変換し、ＤＣＴ係数を生成する。

量子化部２３は、直交変換部２２で生成されたＤＣＴ係数を、所定の量子化テーブルを参照して量子化する。量子化テーブルは、各ＤＣＴ係数を除算すべき量子化ステップを規定したものである。量子化テーブルは、ＤＣＴ係数のうち低周波成分に対応する量子化ステップを小さく、高周波成分に対応する量子化ステップを大きく設定する。これにより、高周波成分ほど省略を大きくする。なお、量子化テーブルに規定される全部または一部の量子化ステップは、量子化ステップ決定部２８により適応的に可変制御される。これにより、圧縮率を一定の範囲に収めることができる。なお、量子化ステップは直接符号化されるのではなく、量子化ステップまたは量子化ステップの対数と比例関係にある量子化パラメータを符号化する。

量子化部２３は、マクロブロック単位で量子化したＤＣＴ係数を画面内予測符号化部２４または画面間予測符号化部２５に供給する。具体的には、Ｉピクチャとして符号化されるべきデータを画面内予測符号化部２４および画面間予測符号化部２５の両方に供給し、ＰピクチャまたはＢピクチャとして符号化されるべきデータを画面間予測符号化部２５に供給する。通常の符号化処理としては、Ｉピクチャとして符号化されるべきデータは画面内予測符号化部２４にのみ供給されればよいが、本実施の形態では、超解像処理の対象としての適正度を判定するための基礎データを取得するため、画面間予測符号化部２５にも供給する。

画面内予測符号化部２４は、ＩピクチャのＤＣＴ係数を画面内予測符号化する。ここでは、ＭＰＥＧシリーズで規定された画面内予測符号化を用いることができる。
画面間予測符号化部２５は、ＰピクチャまたはＢピクチャのＤＣＴ係数を画面間予測符号化する。ここでも、ＭＰＥＧシリーズで規定された画面間予測符号化を用いることができる。すなわち、動き補償技術を利用することができる。

具体的には、画面間予測符号化部２５は、各動き補償ブロックについて、過去または未来の参照ピクチャ内から誤差の最も小さい予測領域（以下、最適予測ブロックという）を探索し、その最適予測ブロックへのずれを示す動きベクトルを求める。そして、その動きベクトルを用いて動き補償ブロックごとに動き補償を行い、予測誤差信号を生成する。Ｈ．２６４／ＡＶＣでは、動き補償ブロックのサイズを、１６×１６、１６×８、８×１６、８×８、８×４、４×８、４×４のなかから適宜選択することができる。なお、動き補償処理はＤＣＴ係数ではなく画素値に対して施されるが、ここでは説明を簡略化するため、図１では逆量子化および逆直交変換する系を省略して描いている。

可変長符号化部２６は、画面内予測符号化部２４および画面間予測符号化部２５により生成された、ＤＣＴ係数、予測誤差信号、動きベクトルおよびその他のパラメータをエントロピー符号化する。

バッファ２７は、可変長符号化部２６により符号化された符号化データを一時記憶する。バッファ２７は、符号化された各ピクチャの符号量またはバッファの占有量を量子化ステップ決定部２８に供給する。量子化ステップ決定部２８は、各ピクチャの符号量またはバッファの占有量に基づいて量子化ステップを適応的に変化させる。量子化ステップ決定部２８は、所定の変換テーブルなどに基づいて量子化ステップを変化させることができる。この変換テーブルは、各ピクチャの符号量またはバッファの占有量が多くなるほど量子化ステップが大きくなるよう設定され、それらが少なくなるほど量子化ステップが小さくなるよう設定される。

ストリーム生成部２９は、バッファ２７に記憶された各ピクチャの符号化データをストリーム化する。ストリーム化する際、ヘッダ情報などを付加することができる。本実施の形態では、ストリーム生成部２９はＧＯＰ(Group Of Picture)のヘッダ領域、ピクチャのヘッダ領域、またはユーザの書き込みが許可されている領域に、後述する適正度を記述することができる。たとえば、この適正度が適正の有無の二通りで規定される場合、それらの領域に適正の有無を示すフラグ情報を付加する。

ストリーム生成部２９によりストリーム化された符号化データは、メモリカードやハードディスクや光ディスクなどの、図示しない記録媒体に記録されるか、ネットワークに送出される。

制御部４０は、符号化部２０により符号化される動画像に含まれる対象フレーム画像の部分領域または全体領域の、当該動画像に含まれる別フレーム画像を用いた超解像処理の対象としての適正度を判定する。ここで、部分領域とは超解像処理の対象とすべき単位領域である。たとえば、全画面を二分割または四分割した場合のそれぞれの領域であってもよいし、全画面の１／４〜１／２程度の、任意の位置に設定された切出領域であってもよい。当該適正度は複数の段階に分類されることが可能であるが、以下の説明では二段階で判定される例、すなわち適正の有無が判定される例を説明する。

制御部４０は、対象フレーム画像とその超解像処理に使用されるフレーム画像との間の被写体の動き、それらフレーム画像間の相関度、およびそれらフレーム画像の高周波成分の省略度合いの少なくとも一つを参照して上記適正度を判定する。超解像処理に使用されるフレーム画像は一枚でもよいが、複数枚であることが好ましい。複数枚の場合、それぞれのフレーム画像との間の、被写体の動き、相関度を参照する。また、それぞれのフレーム画像の高周波成分の省略度合いを参照する。

当該超解像処理に使用されるフレーム画像は、対象フレーム画像の過去方向に隣接するｎ（ｎは自然数）枚であってもよいし、対象フレーム画像の未来方向に隣接するｎ枚であってもよいし、対象フレーム画像の、過去方向に隣接するｎ枚および未来方向に隣接するｍ（ｍは自然数）枚の組合せであってもよい。

まず、被写体の動きを参照する場合に利用可能なパラメータについて説明する。
制御部４０は、符号化部２０から動画像に含まれるフレーム画像間の、動き補償ブロックと最適予測ブロック間の動きベクトルを取得し、対象フレーム画像の部分領域または全体領域と、その超解像処理に使用されるフレーム画像の部分領域または全体領域との間の動きベクトルが第１閾値を超えるとき、対象フレーム画像の部分領域または全体領域を超解像処理の対象として適正無しと判定する。逆に第１閾値を以下のとき、被写体の動きの観点からは、当該領域を超解像処理の対象として適正有りと判定する。

制御部４０は、画面間予測符号化部２５から各動き補償ブロックの動きベクトルを取得することができる。本実施の形態ではＩピクチャについても取得することができる。制御部４０は、対象フレーム画像の部分領域または全体領域の動きベクトルを、その領域に含まれる動き補償ブロックの動きベクトルの、累積値または平均値で表現することができる。第１閾値はその表現方法に応じて設計者による、実験やシミュレーションにより求められた値に設定される。

画面間予測符号化部２５は、対象フレーム画像と、その超解像処理に使用されるフレーム画像のそれぞれとの間で、各動き補償ブロックの動きベクトルを算出してもよいし、隣接するフレーム画像間で、各動き補償ブロックの動きベクトルを算出してもよい。後者の場合、制御部４０は隣接するフレーム画像間の動きベクトルを加算したベクトルを、離れたフレーム画像間の動きベクトルとして代替することができる。

つぎに、相関度を参照する場合に利用可能なパラメータについて説明する。
制御部４０は、符号化部２０から動画像に含まれるフレーム画像間の、動き補償ブロックと最適予測ブロック間の画素差分値を取得し、対象フレーム画像の部分領域または全体領域と、その超解像処理に使用されるフレーム画像の部分領域または全体領域との間の画素差分値が第２閾値を超えるとき、対象フレーム画像の部分領域または全体領域を超解像処理の対象として適正無しと判定する。逆に第２閾値を以下のとき、相関度の観点からは、当該領域を超解像処理の対象として適正有りと判定する。

制御部４０は、画面間予測符号化部２５から動き補償ブロックと最適予測ブロック間の画素差分値を各動き補償ブロックについて取得することができる。本実施の形態ではＩピクチャについても取得することができる。制御部４０は、対象フレーム画像の部分領域または全体領域の画素差分値を、その領域に含まれる動き補償ブロックの画素差分値の、累積値または平均値で表現することができる。第２閾値はその表現方法に応じて設計者による、実験やシミュレーションにより求められた値に設定される。

画面間予測符号化部２５は、対象フレーム画像と、その超解像処理に使用されるフレーム画像のそれぞれとの間で、各動き補償ブロックの画素差分値を算出してもよいし、隣接するフレーム画像間で、各動き補償ブロックの画素差分値を算出してもよい。後者の場合、制御部４０は隣接するフレーム画像間の画素差分値を加算した値を、離れたフレーム画像間の画素差分値として代替することができる。また、制御部４０は上述した処理により離れたフレーム画像間の各動き補償ブロックの動きベクトルが算出された後、そのフレーム画像間の各動き補償ブロックの画素差分値を画面間予測符号化部２５に算出させてもよい。

つぎに、高周波成分の省略度合いを参照する場合に利用可能なパラメータについて説明する。
制御部４０は、符号化部２０から動画像に含まれる、対象フレーム画像の量子化ステップおよび対象フレーム画像の超解像処理に使用されるフレーム画像の量子化ステップを取得し、それら量子化ステップの少なくとも一方が第３閾値を超えるとき、対象フレーム画像の部分領域または全体領域を超解像処理の対象として適正無しと判定する。逆にそれら量子化ステップのすべてが第３閾値以下のとき、高周波成分の省略度合いの観点からは、当該領域を超解像処理の対象として適正有りと判定する。

制御部４０は、量子化部２３から各マクロブロックの量子化ステップを取得することができる。この量子化ステップは、量子化パラメータに変換された値で取得されてもよい。制御部４０は、対象フレーム画像の部分領域または全体領域の量子化ステップを、その領域に含まれるマクロブロックの量子化ステップの、累積値または平均値で表現することができる。第３閾値はその表現方法に応じて設計者による、実験やシミュレーションにより求められた値に設定される。

制御部４０は、上述した三つのパラメータによる判定の結果、すべて適正有りとなった場合、総合的な判定結果として当該領域を適正有りとする。なお、二つが適正有り、一つが適正無しの場合にも、総合的な判定結果として当該領域を適正有りとしてもよい。設計者は、この判定条件と、第１閾値、第２閾値、第３閾値のそれぞれの設定値を総合的な判断により設定することができる。

制御部４０は、上述の処理により判定した適正度を上記フレーム画像の、ピクチャヘッダ領域、ＧＯＰヘッダ領域、またはユーザの書き込みが許可されている領域に付加するよう符号化部２０、より具体的にはストリーム生成部２９を制御する。

図２は、実施の形態１に係る画像処理装置２００の動作例を説明するための図である。図２に示す例では、対象フレームＦ０の超解像処理に使用するフレーム画像として、対象フレーム画像Ｆ０の未来方向に隣接する二枚のフレーム画像Ｆ１、Ｆ２を用いる。また、超解像処理の適正の有無は、四分割された部分領域Ｐ１〜Ｐ４のそれぞれについて判定されるものとする。図２では、対象フレームＦ０の動き補償ブロックＢ０に、二枚のフレーム画像Ｆ１、Ｆ２の最適予測ブロックＢ１、Ｂ２がそれぞれ対応していることを示している。

制御部４０は、対象フレーム画像Ｆ０の各部分領域Ｐ１〜Ｐ４に含まれる動き補償ブロックと、隣接するフレーム画像Ｆ１の各部分領域に含まれる、対応する最適予測ブロックとの動きベクトルを取得する。また、各部分領域Ｐ１〜Ｐ４に含まれる動き補償ブロックと、対応する最適予測ブロックとの間の画素差分値を取得する。対象フレーム画像Ｆ０と隣接する別のフレーム画像Ｆ２との間でも同様に取得する。また、制御部４０は、対象フレーム画像Ｆ０、および隣接する二枚のフレーム画像Ｆ１、Ｆ２の、各部分領域内に含まれるマクロブロックの量子化ステップを取得する。

制御部４０は、各部分領域内に含まれる複数の動き補償ブロックの、動きベクトルの平均値、画素差分値の平均値、および各部分領域内に含まれる複数のマクロブロックの、量子化ステップの平均値をそれぞれ算出する。超解像処理に使用されるすべてのフレーム画像との間において各平均値が上述した、第１閾値、第２閾値、第３閾値との比較条件をすべて満たしたとき、制御部４０はその部分領域を、超解像処理の対象として適正有りと判定する。

以上説明したように実施の形態１によれば、符号化側でフレーム画像の部分領域または全体領域の、超解像処理の対象としての適正度を判定することにより、復号側でその判定結果に基づいて超解像処理を有効活用することができる。たとえば、動きが大きい領域、動きがランダムな領域および高周波成分が大きく省略された領域は超解像処理に適さないが、復号側でそのような領域を超解像処理により拡大再生することを非推奨とすることができる。

図３は、実施の形態２に係る画像再生装置４００の構成を示す図である。画像再生装置４００は、撮像装置３００の一機能として搭載されてもよいし、単体の機器として構成されてもよい。画像再生装置４００は、復号部５０、取得部６０、表示部７０および画像拡大部８０を備える。

復号部５０は、実施の形態１に係る画像処理装置２００により符号化された動画像データを復号する。
取得部６０は、復号部５０により復号された動画像内のフレーム画像の部分領域または全体領域の、上記適正度を取得する。具体的には、動画像ストリーム内の、ＧＯＰヘッダ領域、ピクチャヘッダ領域、またはユーザの書き込みが許可されている領域から取得する。

表示部７０は、復号部５０により復号された動画像内のフレーム画像と、取得部６０により取得された適正度に基づく識別表示を同一画面内に表示する。たとえば、識別表示として適正が有る領域に所定の枠を表示してもよい。また、フレーム画像の、部分領域ごとまたは全体領域ごとに適正の有無を示すアイコンを表示してもよい。たとえば、アイコンが光っていれば適正有り、アイコンが消滅または暗くなっていれば適正無しを示す。ユーザは、この識別表示を考慮してその領域を超解像処理するか否か決定することができる。

画像拡大部８０は、フレーム画像の部分領域または全体領域を拡大する。画像拡大部８０は、超解像処理により拡大する機能と、空間的な画素補間処理する機能を持つ。後者の補間処理として、単純な線形補間処理やＦＩＲフィルタを用いた補間処理を採用することができる。

画像拡大部８０は、超解像処理の対象として適正有りと判定されているフレーム画像の部分領域または全体領域の拡大が指示されたとき、その領域を超解像処理により拡大する。一方、超解像処理の対象として適正無しと判定されているフレーム画像の部分領域または全体領域の拡大が指示されたとき、その領域を空間的な画素補間処理により拡大する。拡大の指示は、ユーザ操作に起因してもよいし、モード設定などのシステム判定に起因してもよい。なお、画像拡大部８０は、超解像処理の対象として適正無しと判定されているフレーム画像の部分領域または全体領域の拡大が指示されたとき、その指示を無効としてもよい。

図４は、実施の形態２に係る画像再生装置４００の表示例１を示す図である。表示部７０は、人物が写っているフレーム画像Ｆ１０と、上記識別情報として二つの枠７１、７２を表示している。これらの枠７１、７２に囲まれている領域は、超解像処理に適した領域であることを示す。
画像拡大部８０は、ユーザ操作により画像拡大の指示を受けたとき、これらの枠７１、７２で囲まれている領域については超解像処理し、囲まれていない領域については空間的な画素補間処理する。なお、囲まれていない領域を拡大禁止領域としてもよい。

図５は、実施の形態２に係る画像再生装置４００の表示例２を示す図である。
表示部７０は、動画像再生として時間経過順に、第１フレーム画像Ｆ２１→第２フレーム画像Ｆ２２→第３フレーム画像Ｆ２３を表示する。第１フレーム画像Ｆ２１には第１アイコンＩ１、第２フレーム画像Ｆ２２には第２アイコンＩ２、第３フレーム画像Ｆ２３には第３アイコンＩ３がそれぞれ含まれる。これらのアイコンＩ１〜Ｉ３は、それぞれのフレーム画像Ｆ２１〜Ｆ２３が超解像処理に適しているか否かを示す識別情報である。図５では、第１アイコンＩ１および第２アイコンＩ２が点灯しており、第１フレーム画像Ｆ２１および第２フレーム画像Ｆ２２は超解像処理に適したものであることを示す。第３アイコンＩ３は消滅しており、第３フレーム画像Ｆ２３は超解像処理に適さないものであることを示す。

以上説明したように実施の形態２によれば、超解像処理に適した領域のみ拡大するよう推奨することができるため、超解像処理を有効活用することができる。超解像処理に適さない領域については、空間的な画素補間処理のほうが画質低下の程度が小さいため、それを利用するよう誘導するか、超解像処理による拡大を禁止する。これにより、超解像処理による画質低下を回避することができる。

図６は、実施の形態３に係る画像再生装置５００の構成を示す図である。実施の形態３は、上記適正度の判定を復号側で行う。画像再生装置５００は、撮像装置３００の一機能として搭載されてもよいし、単体の機器として構成されてもよい。画像再生装置５００は、復号部５０、制御部９０および表示部７０を備える。

復号部５０は、上記適正度が付加されていない、符号化された動画像データを復号する。制御部９０は、復号部５０により復号される動画像に含まれるフレーム画像の部分領域または全体領域の、当該動画像に含まれる別フレーム画像を用いた超解像処理の対象としての適正度を判定する。制御部９０は、対象フレーム画像とその超解像処理に使用されるフレーム画像との間の被写体の動き、それらフレーム画像間の相関度、およびそれらフレーム画像の高周波成分の省略度合いの少なくとも一つを参照して上記適正度を判定する。表示部７０は、復号部５０により復号された動画像内のフレーム画像と、制御部９０により判定された適正度に基づく識別表示を同一画面内に表示することができる。

以上説明したように実施の形態３によれば、一般的なエンコーダで符号化された動画像データに対しても、復号側で実施の形態１と同様の処理を行うことにより、実施の形態１と同様の効果を奏することができる。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施の形態では上記適正度を二段階に分類する例を説明した。この点、三段階以上に分類してもよい。たとえば、第１閾値、第２閾値、第３閾値をそれぞれ二つ設定し、「非適正」、「普通」、「推奨」の三段階に分類してもよい。

また、実施の形態２では上述した適正度を拡大処理の判定基準として用いたが、所定の領域を切り出す、または所定のフレーム画像を抽出する際の判定基準として利用することもできる。たとえば、適正有りと判定されたフレーム画像のみを抽出して、新たな動画像を生成してもよい。

実施の形態１に係る画像処理装置を搭載した撮像装置の構成を示す図である。 実施の形態１に係る画像処理装置の動作例を説明するための図である。 実施の形態２に係る画像再生装置の構成を示す図である。 実施の形態２に係る画像再生装置の表示例１を示す図である。 実施の形態２に係る画像再生装置の表示例２を示す図である。 実施の形態３に係る画像再生装置の構成を示す図である。

符号の説明

２０ 符号化部、 ２１ 画面分割部、 ２２ 直交変換部、 ２３ 量子化部、 ２４ 画面内予測符号化部、 ２５ 画面間予測符号化部、 ２６ 可変長符号化部、 ２７ バッファ、 ２８ 量子化ステップ決定部、 ２９ ストリーム生成部、 ４０ 制御部、 ５０ 復号部、 ６０ 取得部、 ７０ 表示部、 ８０ 画像拡大部、 ９０ 制御部、 １００ 撮像部、 ２００ 画像処理装置、 ３００ 撮像装置、 ４００ 画像再生装置。

Claims (10)

1. 動画像を符号化する符号化部と、
   前記符号化部により符号化される動画像に含まれる対象フレーム画像の部分領域または全体領域の、前記動画像に含まれる別フレーム画像を用いた超解像処理の対象としての適正度を判定する制御部と、を備え、
   前記制御部は、前記適正度を前記対象フレーム画像の、ピクチャヘッダ領域、ＧＯＰ(Group Of Picture)ヘッダ領域、またはユーザの書き込みが許可されている領域に付加するよう前記符号化部を制御することを特徴とする画像処理装置。
2. 前記制御部は、前記対象フレーム画像とその超解像処理に使用されるフレーム画像との間の被写体の動き、それらフレーム画像間の相関度、およびそれらフレーム画像の高周波成分の省略度合いの少なくとも一つを参照して前記適正度を判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記制御部は、前記符号化部から前記動画像に含まれるフレーム画像間の、動き補償ブロックと最適予測ブロック間の動きベクトルを取得し、前記対象フレーム画像の部分領域または全体領域と、その超解像処理に使用されるフレーム画像の部分領域または全体領域との間の前記動きベクトルが第１閾値を超えるとき、前記対象フレーム画像の部分領域または全体領域を超解像処理の対象として適正無しと判定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記制御部は、前記符号化部から前記動画像に含まれるフレーム画像間の、動き補償ブロックと最適予測ブロック間の画素差分値を取得し、前記対象フレーム画像の部分領域または全体領域と、その超解像処理に使用されるフレーム画像の部分領域または全体領域との間の前記画素差分値が第２閾値を超えるとき、前記対象フレーム画像の部分領域または全体領域を超解像処理の対象として適正無しと判定することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 前記制御部は、前記符号化部から前記動画像に含まれる、前記対象フレーム画像の量子化ステップおよび前記対象フレーム画像の超解像処理に使用されるフレーム画像の量子化ステップを取得し、それら量子化ステップの少なくとも一方が第３閾値を超えるとき、前記対象フレーム画像の部分領域または全体領域を超解像処理の対象として適正無しと判定することを特徴とする請求項１から４のいずれかに記載の画像処理装置。
6. 動画像を取得する撮像部と、
   前記撮像部により取得される動画像を処理する請求項１から５のいずれかに記載の画像処理装置と、
   を備えることを特徴とする撮像装置。
7. 動画像内の対象フレーム画像と、前記動画像に含まれる別フレーム画像を用いた超解像処理の対象としての適正度を示す識別表示を同一画面内に表示する表示部を備えることを特徴とする画像再生装置。
8. 請求項１から５のいずれかに記載の画像処理装置により符号化された動画像データを復号する復号部と、
   前記復号部により復号された動画像に含まれるフレーム画像の部分領域または全体領域の前記適正度を取得する取得部と、
   前記復号部により復号された動画像に含まれるフレーム画像と、前記取得部により取得された適正度に基づく識別表示を同一画面内に表示する表示部と、
   を備えることを特徴とする画像再生装置。
9. 前記フレーム画像の部分領域または全体領域を拡大する画像拡大部をさらに備え、
   前記画像拡大部は、前記超解像処理の対象として適正有りと判定されているフレーム画像の部分領域または全体領域の拡大が指示されたとき、その領域を前記超解像処理により拡大し、前記超解像処理の対象として適正無しと判定されているフレーム画像の部分領域または全体領域の拡大が指示されたとき、その領域を空間的な画素補間処理により拡大することを特徴とする請求項７または８に記載の画像再生装置。
10. 符号化された動画像データを復号する復号部と、
    前記復号部により復号される動画像に含まれる対象フレーム画像の部分領域または全体領域の、前記動画像に含まれる別フレーム画像を用いた超解像処理の対象としての適正度を判定する制御部と、を備え、
    前記制御部は、対象フレーム画像とその超解像処理に使用されるフレーム画像との間の被写体の動き、それらフレーム画像間の相関度、およびそれらフレーム画像の高周波成分の省略度合いの少なくとも一つを参照して前記適正度を判定することを特徴とする画像再生装置。

Images