JP2014207609A - 画像処理装置及びプログラム - Google Patents

Abstract

【課題】高解像度画像から符号化劣化の少ない低解像度画像を切り出す。【解決手段】画像処理装置１は、切出領域探索範囲内のエッジ強度を求めるエッジ検出部１２と、暫定切出領域を符号化する際の符号化ブロックの境界位置を決定し、切出領域探索範囲内において暫定切出領域と同じ大きさで同じ符号化ブロックの境界位置を有する仮切出領域を移動させ、仮切出領域の符号化ブロックの境界位置、及びエッジ強度に基づき、最適切出領域を求める最適切出領域探索部１３と、高解像度画像から最適切出領域を切り出し、低解像度画像として出力する低解像度画像出力部１４と、を備える。【選択図】図１

Description

本発明は、高解像度画像から、高解像度画像よりも解像度の低い低解像度画像切り出して出力する画像処理装置及びプログラムに関するものである。

従来、高解像度画像（画素数の多い画像や映像）から、一部の画像を切り出して低解像度画像（高解像度画像よりも画素数の少ない画像や映像）として出力する様々な画像処理装置が提案されている。

例えば、撮影された高解像度画像の合焦位置を中心として低解像度画像を切り出す装置が知られている（例えば、特許文献１参照）。また、高解像度画像を撮影し、その映像から撮影者により切り出された低解像度画面を符号化して伝送を行う装置が知られている（例えば、特許文献２参照）。また、スーパーハイビジョンの画面の一部を切り出した後、縮小又は拡大してハイビジョン画質に変換する装置が知られている（例えば、非特許文献１参照）。

特許第５００３８０３号公報 特開２００４−３３６８０５号公報

"高機能「小型ＳＨＶダウンコンバータ」を初めて開発！〜ＳＨＶ"ワンリソース・マルチユース"の番組制作が飛躍的に向上〜"、[online]、平成２１年４月１７日、ＮＨＫ、[平成２５年３月２８日検索］、インターネット<URL：http://www.nhk.or.jp/pr/marukaji/pdf_ver/231.pdf＞

しかしながら、従来の画像処理装置は、符号化を考慮して符号化に適した位置で低解像度画像を切り出すことは行っていなかった。そのため、切り出した低解像度画像の符号化による劣化を低減させる余地があった。

したがって、かかる点に鑑みてなされた本発明の目的は、高解像度画像から符号化劣化の少ない低解像度画像を切り出すことが可能な画像処理装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係る画像処理装置は、高解像度画像から、高解像度画像よりも解像度の低い低解像度画像を切り出す画像処理装置であって、暫定切出領域、及び該暫定切出領域を含む切出領域探索範囲があらかじめ設定されており、前記切出領域探索範囲内のエッジ強度を求めるエッジ検出部と、前記暫定切出領域を符号化する際の符号化ブロックの境界位置を決定し、前記切出領域探索範囲内において前記暫定切出領域と同じ大きさで同じ符号化ブロックの境界位置を有する仮切出領域を移動させ、該仮切出領域の符号化ブロックの境界位置、及び前記エッジ強度に基づき、最適切出領域を求める最適切出領域探索部と、前記高解像度画像から前記最適切出領域を切り出し、低解像度画像として出力する低解像度画像出力部と、を備えることを特徴とする。

また、本発明に係る画像処理装置において、前記最適切出領域探索部は、前記仮切出領域の前記符号化ブロックの境界位置のエッジ強度を加算した積算エッジ強度を算出し、該積算エッジ強度が最も大きくなる領域を前記最適切出領域とすることを特徴とする。

また、本発明に係る画像処理装置において、前記最適切出領域探索部は、前記仮切出領域の前記符号化ブロックの境界位置以外の位置のエッジ強度を加算した積算非エッジ強度を算出し、該積算非エッジ強度が最小となる領域を前記最適切出領域とすることを特徴とする。

また、本発明に係る画像処理装置において、前記最適切出領域探索部は、前記仮切出領域の前記符号化ブロックの境界位置のエッジ強度を加算した積算エッジ強度、及び前記仮切出領域の前記符号化ブロックの境界位置以外の位置のエッジ強度を加算した積算非エッジ強度の線形和である積算エッジ・非エッジ強度を算出し、該積算エッジ・非エッジ強度が最大となる領域を前記最適切出領域とすることを特徴とする。

また、本発明に係る画像処理装置において、前記最適切出領域探索部は、前記積算エッジ・非エッジ強度を、積算エッジ強度−ｋ×積算非エッジ強度により算出し、前記ｋは、積算エッジ強度の計算に用いた画素数÷積算非エッジ強度の計算に用いた画素数であることを特徴とする。

また、本発明に係る画像処理装置において、前記最適切出領域探索部は、前記積算エッジ強度を算出する際に、前記符号化ブロックごとに、該符号化ブロックのサイズに応じた重みを加算又は乗算することを特徴とする。

また、本発明に係る画像処理装置において、前記高解像度画像又はその一部をユーザに提示して、ユーザにより指定された暫定切出領域の情報を取得するとともに、前記最適切出領域探索部から前記最適切出領域の情報を取得し、該最適切出領域をユーザに提示し、最終的な切出領域として前記暫定切出領域又は前記最適切出領域のいずれかをユーザに指定させる切出領域設定インターフェース部を更に備え、前記低解像度画像出力部は、前記高解像度画像から前記最終的な切出領域を切り出し、低解像度画像として出力することを特徴とする。

また、本発明に係る画像処理装置において、前記切出領域設定インターフェース部は、ユーザが最終的な切出領域を指定するために前記暫定切出領域を移動させる場合、前記最適切出領域の位置で吸着感を与えることを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを上記画像処理装置として機能させることを特徴とする。

本発明によれば、切り出す低解像度画像の符号化ブロックの境界の位置を画像のエッジ位置に合致するように調整することにより、符号化劣化の少ない低解像度画像を出力することができる。特に、視覚的に目立つエッジ部分の符号化劣化（モスキートノイズ）を低減することができる。

本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。 本発明に係る画像処理装置により使用される各領域を示す図である。 本発明に係る画像処理装置を動画に適用する場合について説明する図である。 本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。 本発明に係る画像処理装置により使用される符号化ブロックの境界位置を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。図１に示す例では、画像処理装置１は、高解像度画像入力部１１と、エッジ検出部１２と、最適切出領域探索部１３と、低解像度画像出力部１４とを備える。

画像処理装置１は、高解像度画像中のエッジ位置を検出し、このエッジ位置が低解像度画像の符号化ブロック境界と合致する割合が高くなるように低解像度画像の切り出し位置を制御する。

高解像度画像入力部１１は、外部から入力される高解像度画像をエッジ検出部１２及び低解像度画像出力部１４に出力する。

最適切出領域探索部１３には、暫定切出領域を示す情報が入力される。ここで、暫定切出領域とは、画像処理装置１を使用するユーザにより設定される、低解像度画像の暫定的な切出領域である。

また、エッジ検出部１２及び最適切出領域探索部１３には、切出領域探索範囲を示す情報が入力される。ここで、切出領域探索範囲とは、暫定切出領域を包含する範囲であり、符号化を考慮した最適な切出領域の探索が行われる範囲である。切出領域探索範囲はユーザがあらかじめ設定してもよいし、暫定切出領域から画像処理装置１が自動的に設定するようにしてもよい。

図２は、画像処理装置１により使用される各領域を示す図である。ユーザにより、画像処理装置１に入力される高解像度画像２０内に、暫定切出領域２１が設定される。切出領域探索範囲２２は、画像のエッジ検出を行うために、暫定切出領域２１を上下左右に拡大幅２３，２４だけ拡大した領域として設定される。仮切出領域２６は、暫定切出領域２１と同じ大きさで同じ符号化ブロックの境界位置を有する領域である。後述するように、最適切出領域探索部１３により、切出領域探索範囲２２内で仮切出領域２６を移動させ、暫定切出領域２１と同じ大きさの最適切出領域２５が決定される。

切出領域探索範囲２２を広く設定すると、より符号化画質が向上した切出領域を得られるが、ユーザが最初に設定した暫定切出領域の構図からの変化が大きくなる。一方、切出領域探索範囲２２を狭く設定すると、ユーザの意図した構図により近い低解像度画像を得られるが、符号化及び復号後の画質は最適なものとならない可能性が高くなる。ユーザの意図に近く、かつ符号化劣化の少ない最適な低解像度画像を得るためには、拡大幅２３，２４を、符号化ブロックサイズの大きさの半分とするのが好適である。例えば、符号化ブロックサイズの大きさが１６×１６画素である場合、拡大幅２３，２４をそれぞれ８画素とする。

エッジ検出部１２は、高解像度画像２０の切出領域探索範囲２２内において画素毎のエッジ強度を求め、最適切出領域探索部１３に出力する。エッジ検出には、Ｓｏｂｅｌフィルタや、Ｃａｎｎｙフィルタなど、画素毎のエッジ強度が求まる方法であれば何を用いてもよい。エッジ強度は２値（エッジの有無）でも、多値（値が大きいほど又は小さいほど強いエッジであることを表す値）でもよい。本明細書では説明のために、値が大きいほど強いエッジであることを示す多値エッジ強度を用いるものとする。このような多値エッジ強度はＳｏｂｅｌフィルタなどによって求めることができる。なお、エッジ検出は高解像度画像のすべての画素について行う必要はない。

最適切出領域探索部１３は、暫定切出領域２１を符号化する際の符号化ブロックの境界位置を決定する。符号化ブロックの境界位置は、符号化方式に応じて決定される。そして、切出領域探索範囲２２内において、暫定切出領域２１と同じ大きさで同じ符号化ブロックの境界位置を有する仮切出領域２６を上下左右に移動して、仮切出領域２６の符号化ブロックの境界位置、及びエッジ検出部１２により求められたエッジ強度に基づき、符号化劣化が少ないと予測される最適切出領域２５を決定し、最適切出領域２５の情報を低解像度画像出力部１４に出力する。最適切出領域２５の具体的な決定方法として、以下に３種類の方法を説明する。

第１の最適切出領域探索方法では、切出領域探索範囲２２内で仮切出領域２６を順次ずらしていき、仮切出領域２６の符号化ブロックの境界位置のエッジ強度を加算した積算エッジ強度を算出する。そして、積算エッジ強度が最大となる仮切出領域２６を最適切出領域２５とする。

第２の最適切出領域探索方法では、切出領域探索範囲２２内で仮切り出し領域２６を順次ずらしていき、仮切出領域２６の符号化ブロックの境界位置以外の位置のエッジ強度を加算した積算非エッジ強度を算出する。そして、積算非エッジ強度が最小となる仮切出領域２６を最適切出領域２５とする。

第３の最適切出領域探索方法では、切出領域探索範囲２２内で仮切り出し領域２６を順次ずらしていき、仮切出領域２６の符号化ブロックの境界位置のエッジ強度を加算した積算エッジ強度、及び仮切出領域２６の符号化ブロックの境界位置以外の位置のエッジ強度を加算した積算非エッジ強度を算出する。そして、積算エッジ強度及び積算非エッジ強度の線形和として積算エッジ・非エッジ強度を算出し、該積算エッジ・非エッジ強度が最大となる仮切出領域２６を最適切出領域２５とする。例えば、積算エッジ・非エッジ強度＝積算エッジ強度−ｋ×積算非エッジ強度とする。ここで、係数ｋの値は自由に設定できるが、積算エッジ強度の計算に用いた画素数÷積算非エッジ強度の計算に用いた画素数、又はこれに近い値とするのが好適である。

ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４方式や、ＭＰＥＧ−Ｈ ＨＥＶＣ／Ｈ．２６５方式といった符号化方式では、符号化ブロックのサイズが複数存在する。このような符号化方式では、符号化ブロックのサイズに応じて、符号化ブロックを分割するための情報量が変化する。サイズが最大の符号化ブロック（マクロブロック）の境界と画像のエッジ位置とが重なっている場合には、符号化ブロックを分割する必要がない。そのため、サイズが大きい符号化ブロックの境界と画像のエッジ位置とがなるべく重なるように調整することにより、分割を示す情報量を低減することができ、符号化効率が改善する。

そこで、符号化ブロックのサイズが複数存在する符号化方式を用いて符号化する場合には、最適切出領域探索部１３は、暫定切出領域２１を符号化する際の符号化ブロックの境界位置として、分割可能な境界位置を含めるようにする。なお、実際に符号化ブロックを分割するか否かは、画像処理装置１の後段に接続される符号化装置（図示せず）により決定される。最適切出領域探索部１３は、積算エッジを求める際に、符号化ブロックの境界と重なるエッジ強度に符号化ブロックサイズに応じた重みを乗算又は加算するのが好適である。特に、サイズの大きな符号化ブロックの境界には大きな重みを、サイズの小さな符号化ブロックの境界には小さな重みを設定すると好適である。例えば、マクロブロックのサイズが１６×１６画素であり、これを８×８画素のサイズの符号化ブロックや４×４画素のサイズの符号化ブロックに分割可能である場合、図５に示すように、実線で示すマクロブロックの境界ａ、一点鎖線で示す８×８画素のサイズの符号化ブロックの境界ｂ、点線で示す４×４画素のサイズの符号化ブロックの境界ｃの順に重みを小さくする。

低解像度画像出力部１４は、高解像度画像から、最適切出領域探索部１３により決定された最適切出領域を切り出し、低解像度画像として出力する。

次に、本発明を動画に適用する場合について説明する。この場合、ユーザは各フレームについて暫定切出領域２１を指定してもよいし、最初のフレームと最後のフレームについてのみ暫定切出領域２１を指定し、その他の各フレームについては最適切出領域探索部１３が補間により暫定切出領域２１を決定するようにしてもよい。

図３は、本発明に係る画像処理装置を動画に適用する場合について説明する図である。動画の場合は、図３（ａ）に示すようにユーザが指定する暫定切出領域２１が時間（フレーム）で変化する場合がある。このような場合にフレーム毎に最適切出領域を変化させると、切り出した低解像度画像が振動して見えるなどの問題が発生する。

これを防ぐために、複数フレームにまたがって移動する暫定切出領域２１に対しては、図３（ｂ）に示すように、暫定切出領域２１から同じ量だけ変位させた仮切出領域２６について前述した積算エッジ強度を算出し、複数フレームについて積算エッジ強度を加算し、この値が最大となる変位を各フレームの暫定切出領域２１に加算した領域を最適切出領域２５とする。なお、変位の範囲は切出領域探索範囲２２内とする。また積算エッジ強度の代わりに、前述した積算非エッジ強度や、積算エッジ・非エッジ強度を用いてもよい。

上述したように、画像処理装置１は、エッジ検出部１２により、切出領域探索範囲２２内のエッジ強度を求める。次に最適切出領域探索部１３により、暫定切出領域２１を符号化する際の符号化ブロックの境界位置を決定し、切出領域探索範囲２２内において仮切出領域２６を移動させた時の符号化ブロックの境界位置、及びエッジ強度に基づき、最適切出領域２５を求める。そして低解像度画像出力部１４により、高解像度画像２０から最適切出領域２５を切り出し、低解像度画像として出力する。このため、第１の実施形態の画像処理装置１によれば、低解像度画像の符号化ブロックの境界の位置を画像のエッジ位置に合致するように調整できるため、符号化劣化の少ない低解像度画像を出力することができるようになる。特に、視覚的に目立つエッジ部分の符号化劣化（モスキートノイズ）を低減することができる。

また、最適切出領域探索部１３は、積算エッジ強度を算出する際に、符号化ブロックごとに、該符号化ブロックのサイズに応じた重みを加算又は乗算するのが好適である。特に、大きなブロックサイズの境界には大きな重みを、小さなブロックサイズの境界には小さな重みを設定すると好適である。これにより、符号化ブロックのサイズが複数存在する符号化方式において、符号化ブロックの分割を示す情報量を低減することができ、符号化効率を改善させることができる。

（第２の実施形態）
次に、本発明の第２の実施形態に係る画像処理装置について説明する。図４は、第２の実施形態に係る画像処理装置の構成を示すブロック図である。図４に示す例では、画像処理装置２は、高解像度画像入力部１１と、エッジ検出部１２と、最適切出領域探索部１３と、低解像度画像出力部１４と、切出領域設定インターフェース部１５とを備える。第２の実施形態の画像処理装置２は、図１に示した第１の実施形態の画像処理装置１と比較して、切出領域設定インターフェース部１５を更に備える点で相違する。なお、第１の実施形態と同じ構成要素には同一の参照番号を付して説明を省略する。

画像処理装置２は、ユーザとの対話的操作により、切出領域を設定する。

切出領域設定インターフェース部１５は、高解像度画像入力部１１から高解像度画像を入力し、高解像度画像又はその一部を表示部（図示せず）に表示してユーザに提示する。ユーザは、提示された高解像度画像から暫定切出領域２１を指定する。切出領域設定インターフェース部１５は、ユーザにより指定された暫定切出領域２１の情報を取得する。

最適切出領域探索部１３は、上述した第１の実施形態と同様に最適切出領域２５を決定すると、決定した最適切出領域を切出領域設定インターフェース部１５に出力する。切出領域設定インターフェース部１５は、ユーザが最初に指定した暫定切出領域と、最適切出領域探索部１３により決定された最適切出領域との双方を表示部に提示して、いずれかを最終的な切出領域としてユーザに指定させる。そして、切出領域設定インターフェース部１５は、ユーザが指定した最終的な切出領域の情報を低解像度画像出力部１４に出力する。

低解像度画像出力部１４は、高解像度画像から切出領域設定インターフェース部１５により指定された最終的な切出領域を切り出し、低解像度画像として出力する。

切出領域設定インターフェース部１５は、ユーザがタッチパネル、マウス、ジョイスティックなどの入力装置を用いて、最終的な切出領域を指定するために暫定切出領域２１を移動させる場合、前記最適切出領域の位置で吸着感を与えるのが好適である。最適切出領域２５において吸着感を与えると、ユーザの自由な領域設定を妨げずに、容易に最適切出領域２５を指定させることが可能となる。吸着感とは、ユーザが入力装置を用いて暫定切出領域２１の位置を移動させている最中に、最適切出領域２５の位置で一時的に領域の移動を停止させたり、最適切出領域２５付近を指定した場合に最適切出領域２５に強制的に移動させたりすることを意味する。

上述したように、画像処理装置２は、高解像度画像又はその一部をユーザに提示して、ユーザにより指定された暫定切出領域２１の情報を取得するとともに、最適切出領域探索部１３から最適切出領域２５の情報を取得し、最適切出領域２５をユーザに提示し、最終的な切出領域として暫定切出領域２１又は最適切出領域２５のいずれかをユーザに指定させる切出領域設定インターフェース部１５を備える。このため、第２の実施形態の画像処理装置２によれば、第１の実施形態の画像処理装置１が有する効果に加え、ユーザが最適切出領域２５を確認したうえで、暫定切出領域２１又は最適切出領域２５のいずれかを選択することができるようになる。

また、切出領域設定インターフェース部１５は、最適切出領域２５において吸着感を与えることにより、ユーザに容易に最適切出領域２５を指定させることが可能となる。

なお、上述した画像処理装置１，２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、画像処理装置１，２の各機能を実現する処理内容を記述したプログラムを当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。

上述の実施形態は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

本発明は、高解像度画像（例えば、スーパーハイビジョンや４Ｋ）から低解像度画像（例えば、ハイビジョン）を切り出す用途に有用である。

１，２ 画像処理装置
１１ 高解像度画像入力部
１２ エッジ検出部
１３ 最適切出領域探索部
１４ 低解像度画像出力部
１５ 切出領域設定インターフェース部
２０ 高解像度画像
２１ 暫定切出領域
２２ 切出領域探索範囲
２３，２４ 拡大幅
２５ 最適切出領域
２６ 仮切出領域

Claims (9)

1. 高解像度画像から、高解像度画像よりも解像度の低い低解像度画像を切り出す画像処理装置であって、
   暫定切出領域、及び該暫定切出領域を含む切出領域探索範囲があらかじめ設定されており、
   前記切出領域探索範囲内のエッジ強度を求めるエッジ検出部と、
   前記暫定切出領域を符号化する際の符号化ブロックの境界位置を決定し、前記切出領域探索範囲内において前記暫定切出領域と同じ大きさで同じ符号化ブロックの境界位置を有する仮切出領域を移動させ、該仮切出領域の符号化ブロックの境界位置、及び前記エッジ強度に基づき、最適切出領域を求める最適切出領域探索部と、
   前記高解像度画像から前記最適切出領域を切り出し、低解像度画像として出力する低解像度画像出力部と、
   を備えることを特徴とする画像処理装置。
2. 前記最適切出領域探索部は、前記仮切出領域の前記符号化ブロックの境界位置のエッジ強度を加算した積算エッジ強度を算出し、該積算エッジ強度が最も大きくなる領域を前記最適切出領域とすることを特徴とする、請求項１に記載の画像処理装置。
3. 前記最適切出領域探索部は、前記仮切出領域の前記符号化ブロックの境界位置以外の位置のエッジ強度を加算した積算非エッジ強度を算出し、該積算非エッジ強度が最小となる領域を前記最適切出領域とすることを特徴とする、請求項１に記載の画像処理装置。
4. 前記最適切出領域探索部は、前記仮切出領域の前記符号化ブロックの境界位置のエッジ強度を加算した積算エッジ強度、及び前記仮切出領域の前記符号化ブロックの境界位置以外の位置のエッジ強度を加算した積算非エッジ強度の線形和である積算エッジ・非エッジ強度を算出し、該積算エッジ・非エッジ強度が最大となる領域を前記最適切出領域とすることを特徴とする、請求項１に記載の画像処理装置。
5. 前記最適切出領域探索部は、前記積算エッジ・非エッジ強度を、積算エッジ強度−ｋ×積算非エッジ強度により算出し、前記ｋは、積算エッジ強度の計算に用いた画素数÷積算非エッジ強度の計算に用いた画素数であることを特徴とする、請求項４に記載の画像処理装置。
6. 前記最適切出領域探索部は、前記積算エッジ強度を算出する際に、前記符号化ブロックごとに、該符号化ブロックのサイズに応じた重みを加算又は乗算することを特徴とする、請求項２から５のいずれか一項に記載の画像処理装置。
7. 前記高解像度画像又はその一部をユーザに提示して、ユーザにより指定された暫定切出領域の情報を取得するとともに、前記最適切出領域探索部から前記最適切出領域の情報を取得し、該最適切出領域をユーザに提示し、最終的な切出領域として前記暫定切出領域又は前記最適切出領域のいずれかをユーザに指定させる切出領域設定インターフェース部を更に備え、
   前記低解像度画像出力部は、前記高解像度画像から前記最終的な切出領域を切り出し、低解像度画像として出力することを特徴とする、請求項１から６のいずれか一項に記載の画像処理装置。
8. 前記切出領域設定インターフェース部は、ユーザが最終的な切出領域を指定するために前記暫定切出領域を移動させる場合、前記最適切出領域の位置で吸着感を与えることを特徴とする、請求項７に記載の画像処理装置。
9. コンピュータを、請求項１から８のいずれか一項に記載の画像処理装置として機能させるためのプログラム。

Images