JP2012249145A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】符号化された画像のうち表示対象領域に相当する部分を表示対象領域のサイズに関わらず、迅速に表示することを可能とする。
【解決手段】互いに解像度が異なり部分デコードが可能な複数の画像から前記複数の画像のうちの基準画像のサイズに対する表示対象領域のサイズの割合に基づいて、画像を選択する選択部と、前記選択部により選択された前記画像のうち前記表示対象領域に相当する部分を復号する復号部と、を備える、画像処理装置が提供される。
【選択図】図１

Description

本開示は、画像処理装置、画像処理方法及びプログラムに関する。

近年、様々な画像符号化技術が開発されている。画像が使用される際には、常に画像全体が使用されるとは限らず、画像の一部が使用される場合もある。かかる場合には、符号化された画像全体を復号しなくてもよく、符号化された画像から所望の領域のみを部分的に復号すればよい。符号化された画像に対して施される部分的な復号（以下、「部分デコード」とも言う。）に関する技術も様々に開発されている。

例えば、ＪＰＥＧ（Joint Photographic Experts Group）ストリーム中にＲＳＴｍ（restart marker）が挿入され、そのＲＳＴｍへのアドレスがＪＰＥＧファイルに記録されている場合に、記録されているアドレスを用いることによりＪＰＥＧストリームから高速に部分デコードを行う技術が存在する（例えば、特許文献１参照。）。

特許第３１０８２８３号公報

しかしながら、符号化された画像において比較的小さい領域を表示する場合には、復号対象となる領域（以下「復号領域」とも言う。）は比較的小さいため、復号に必要な処理量は比較的小さくなることが想定される。したがって、このような場合には、比較的短時間に復号領域を復号することができるため、復号により得られた復号画像を迅速に表示することが可能である。

一方、符号化された画像において比較的大きい領域を表示する場合には、復号領域は比較的大きいため、復号に必要な処理量は比較的大きくなることが想定される。したがって、このような場合には、復号領域を復号するのに比較的長い時間を要するため、復号により得られた復号画像を迅速に表示することが困難である。

このように、復号領域のサイズによって復号に必要な処理量が変化するのが通例である。画像内の任意の領域を表示することを保証するためには、例えば、復号領域が最大の場合（最も処理量が大きくなる場合）にも表示できることを保証する必要がある。そのため、例えば、復号領域が最大の場合には、高性能なデコーダなどを使用しない限り、表示までに多くの時間を要してしまう。

また、復号対象となる画像のデコーダへの転送量が復号領域のサイズに比例するため、例えば、画像全体を復号対象とする場合には、画像全体をデコーダに転送する必要があり、転送に使用されるバスに対する負荷および復号画像を保存するために使用される記憶装置の容量も大きくなる。

したがって、符号化された画像のうち表示対象領域に相当する部分を表示対象領域のサイズに関わらず、迅速に表示することを可能とする手法が提供されることが望ましい。

本開示によれば、互いに解像度が異なり部分デコードが可能な複数の画像から前記複数の画像のうちの基準画像のサイズに対する表示対象領域のサイズの割合に基づいて、画像を選択する選択部と、前記選択部により選択された前記画像のうち前記表示対象領域に相当する部分を復号する復号部と、を備える、画像処理装置が提供される。

また、本開示によれば、互いに解像度が異なり部分デコードが可能な複数の画像から前記複数の画像のうちの基準画像のサイズに対する表示対象領域のサイズの割合に基づいて、画像を選択することと、選択された前記画像のうち前記表示対象領域に相当する部分を復号することと、を含む、画像処理方法が提供される。

また、本開示によれば、コンピュータを、互いに解像度が異なり部分デコードが可能な複数の画像から前記複数の画像のうちの基準画像のサイズに対する表示対象領域のサイズの割合に基づいて、画像を選択する選択部と、前記選択部により選択された前記画像のうち前記表示対象領域に相当する部分を復号する復号部と、を備える、画像処理装置として機能させるためのプログラムが提供される。

以上説明したように、本開示によれば、符号化された画像のうち表示対象領域に相当する部分を表示対象領域のサイズに関わらず、迅速に表示することができる。

比較例に係る画像処理装置の構成の一例を示すブロック図である。 比較例に係る画像処理装置により復号される入力画像が含まれるファイルの形式の一例を示す図である。 表示対象領域情報について説明するための図である。 比較例に係る復号部が有する機能を説明するための図である。 比較例に係る調整部が有する機能を説明するための図である。 比較例に係る画像処理装置の動作の一例を示すフローチャートである。 本実施形態に係る画像処理装置の構成の一例を示すブロック図である。 本実施形態に係る画像処理装置により復号される入力画像が含まれるファイルの形式の一例を示す図である。 本実施形態に係る選択部及び復号部が有する機能を説明するための図である。 本実施形態に係る選択部及び復号部が有する機能を説明するための図である。 本実施形態に係る調整部が有する機能を説明するための図である。 本実施形態に係る画像処理装置の動作の一例を示すフローチャートである。 本実施形態に係る画像処理装置の動作の他の一例を示すフローチャートである。 画像処理装置とサーバとの連携により画像処理を行う場合のシステム構成の概略を示す図である。 システム構成図の具体例１を示す図である。 システム構成図の具体例２を示す図である。 システム構成図の具体例３を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．比較例
１−１．画像処理装置の構成例
１−２．画像処理装置の動作の流れ
２．本実施形態
２−１．画像処理装置の構成例
２−２．画像処理装置の動作の流れ
３．まとめ

＜１．比較例＞
［１−１．画像処理装置の構成例］
まず、比較例に係る画像処理装置について説明する。比較例に係る画像処理装置は、入力画像を復号する復号装置として主に機能する。比較例に係る画像処理装置により復号される画像は、撮像画像であってもよく、又はＣＧ（Computer Graphics）画像などの非撮像画像であってもよい。比較例に係る画像処理装置は、例えば、デジタルスチルカメラ、スマートフォン、ＰＣ（Personal Computer）又はイメージスキャナなどの任意の種類の装置であってよい。また、比較例に係る画像処理装置は、上述した装置に搭載される画像復号モジュールであってもよい。

図１は、比較例に係る画像処理装置の構成の一例を示すブロック図である。図１を参照すると、画像処理装置９００は、復号部９２０、切り出し部９３０及び調整部９４０を備える。なお、ここでは説明の簡明さのために画像処理に関連する構成要素のみを示している。しかしながら、画像処理装置９００は、図１に示した構成要素以外の構成要素を有していてもよい。

図１に示すように、復号部９２０は、復号の対象となる入力画像Ａ１と表示対象領域情報を取得し、表示対象領域情報に基づいて入力画像Ａ１を復号する。入力画像Ａ１は、符号化装置（図示せず）により符号化されているが、符号化の方式は特に限定されず、例えば、ハフマン符号又はゴロム符号などに基づく可変長符号化（ＶＬＣ：Variable Length Coding）あるいはエントロピー符号化であってよい。

図２は、比較例に係る画像処理装置９００により復号される入力画像Ａ１を含んだファイルの形式の一例を示す図である。入力画像Ａ１は、例えば、図２に示したＪＰＥＧファイルに含まれる形式により与えられるが、入力画像Ａ１がどのような形式のファイルにより与えられるかは特に限定されない。

復号部９２０による入力画像Ａ１の取得はどのように行われてもよい。すなわち、復号部９２０は、例えば、撮像モジュール（図示せず）により撮像される画像を入力画像Ａ１として取得してもよい。その代わりに、復号部９２０は、記録媒体（図示せず）により記録されている画像を入力画像Ａ１として取得してもよい。比較例において、復号部９２０により取得される入力画像Ａ１は、動画であってもよく静止画であってもよい。

図３は、表示対象領域情報について説明するための図である。図３に示すように、表示対象領域情報は、例えば、基準点（ｘ，ｙ）と横幅ｗと縦幅ｈとを含んでいる。図３に示した例では、基準点（ｘ，ｙ）は、入力画像Ａ１の所定位置（図３に示した例では、左上隅）を原点とした座標により規定されるが、基準点（ｘ，ｙ）の規定の手法は特に限定されない。横幅ｗと縦幅ｈとの各々は、例えば、画素数により与えられる。

復号部９２０による表示対象領域情報の取得はどのように行われてもよい。すなわち、復号部９２０は、例えば、入力装置によりユーザからの入力が受け付けられた表示対象領域情報を取得してもよい。その代わりに、復号部９２０は、あらかじめ決められている表示対象領域情報を記録媒体（図示せず）などから取得してもよい。

上記したように、復号部９２０は、表示対象領域情報に基づいて入力画像Ａ１を復号する。より詳細には、復号部９２０は、入力画像Ａ１のうち表示対象領域情報により規定される領域を復号領域として復号する。図３に示した例では、復号領域は、入力画像Ａ１の一部に相当している。すなわち、復号部９２０は、入力画像Ａ１に対して部分デコードを施すことが可能である。ここでの部分デコードの手法は特に限定されず、あらゆる手法を適用することが可能である。

例えば、入力画像Ａ１を含むファイルにインデックス（入力画像Ａ１における複数座標を入力画像Ａ１の先頭からのオフセットにより順に示す情報）が含まれている場合には、そのインデックスに基づいて、表示対象領域に対して部分デコードを容易に行うことができる。しかしながら、復号領域は、入力画像Ａ１の全部に相当してもよい。この場合、復号部９２０は、入力画像Ａ１に対して部分デコードを施す必要はなく、入力画像Ａ１全体に対してデコードを施せばよい。

図４は、比較例に係る復号部９２０が有する機能を説明するための図である。上記したように、復号部９２０により取得される表示対象領域情報により復号領域の位置や大きさは様々に変更され得る。図４には、入力画像Ａ１全体が復号領域となる場合、入力画像Ａ１の一部（比較的広い領域）が復号領域となる場合、入力画像Ａ１の一部（中程度の広さの領域）が復号領域となる場合及び入力画像Ａ１の一部（比較的狭い領域）が復号領域となる場合の各々が、「ＺＯＯＭ あり」「ＺＯＯＭ 小」「ＺＯＯＭ 中」「ＺＯＯＭ 大」として示されている。なお、図４には、４種類の復号領域が示されているが、復号領域は４種類に限定されず、複数種類であればよい。

切り出し部９３０は、復号部９２０により復号されて得られた画像から復号領域を切り出す。より詳細には、切り出し部９３０は、復号部９２０により復号されて得られた画像から表示対象領域情報により規定される領域を切り出す。しかしながら、切り出し部９３０は、画像処理装置９００に必ず備えられていなくてはならないわけではなく、画像処理装置９００に切り出し部９３０が備えられていなくてもよい。

図５は、比較例に係る調整部９４０が有する機能を説明するための図である。図５に示すように、復号画像♯Ｂ１は、入力画像Ａ１全体が復号されることにより得られる。同様に、入力画像Ａ１の一部（比較的広い領域）が復号された場合には、復号画像♯Ｂ２が得られ、入力画像Ａ１の一部（中程度の広さの領域）が復号された場合には、復号画像♯Ｂ３が得られ、入力画像Ａ１の一部（比較的狭い領域）が復号された場合には、復号画像♯Ｂ４が得られる。

調整部９４０は、復号部９２０により復号されて得られた画像のうち復号領域に相当する部分のサイズを調整する。図５に示すように、出力画像♯Ｃ１は、調整部９４０により復号画像♯Ｂ１がサイズ調整（縮小）されることにより得られる。同様に、出力画像♯Ｃ２は、調整部９４０により復号画像♯Ｂ２がサイズ調整（縮小）されることにより得られ、出力画像♯Ｃ３は、調整部９４０により復号画像♯Ｂ３がサイズ調整（縮小）されることにより得られ、出力画像♯Ｃ４は、調整部９４０により復号画像♯Ｂ４がサイズ調整（拡大）されることにより得られる。

このように、サイズ調整は、復号部９２０により復号されて得られた画像のうち復号領域に相当する部分が、調整部９４０により拡大又は縮小されることにより行われ得る。調整部９４０によるサイズ調整の手法は、特に限定されない。例えば、調整部９４０により出力された出力画像が表示装置（図示せず。）により表示される場合、調整部９４０は、その表示装置の表示領域の大きさ（表示装置が有するスクリーンの大きさ）に応じて、復号により得られた画像のうち表示対象領域に相当する部分のサイズを調整すればよい。

［１−２．画像処理装置の動作の流れ］
図６は、比較例に係る画像処理装置９００の動作の一例を示すフローチャートである。まず、復号部９２０は、入力画像Ａ１のうち表示対象領域に相当する部分を復号する（ステップＳ９１）。切り出し部９３０は、復号により得られた画像から表示対象領域に応じて復号画像を切り出す（ステップＳ９２）。ただし、切り出し部９３０による切り出しは特に行われなくてもよい。続いて、調整部９４０は、表示領域に応じて復号画像のサイズを調整して（ステップＳ９３）、動作を終了する。

以上に説明したように、比較例に係る画像処理装置９００においては、表示対象領域のサイズ（横幅ｗ又は縦幅ｈ、あるいは横幅ｗ及び縦幅ｈの双方）に関わらず、１つの入力画像Ａ１に対して復号を行う。そのため、図４に示したように、表示対象領域のサイズが大きいほど復号領域が大きくなり、復号処理やサイズ調整のための処理量が大きくなる。したがって、比較例に係る画像処理装置９００によれば、符号化された画像のうち表示対象領域に相当する部分を迅速に表示することが困難である。

＜２．実施形態＞
［２−１．画像処理装置の構成例］
続いて、本開示に係る画像処理装置について説明する。本開示に係る画像処理装置は、比較例に係る画像処理装置と比較して顕著な効果を奏する。本開示に係る画像処理装置も、比較例に係る画像処理装置と同様に、入力画像を復号する復号装置として主に機能する。本開示に係る画像処理装置により復号される画像は、撮像画像であってもよく、又はＣＧ画像などの非撮像画像であってもよい。本開示に係る画像処理装置は、例えば、デジタルスチルカメラ、スマートフォン、ＰＣ又はイメージスキャナなどの任意の種類の装置であってよい。また、本開示に係る画像処理装置は、上述した装置に搭載される画像復号モジュールであってもよい。

図７は、本開示に係る画像処理装置の構成の一例を示すブロック図である。図７を参照すると、画像処理装置１００は、選択部１１０、復号部１２０、切り出し部１３０及び調整部１４０を備える。なお、ここでは説明の簡明さのために画像処理に関連する構成要素のみを示している。しかしながら、画像処理装置１００は、図７に示した構成要素以外の構成要素を有していてもよい。

図７に示すように、選択部１１０は、復号の対象となる入力画像Ａ１〜Ａ３と表示対象領域情報を取得し、基準画像（入力画像Ａ１〜Ａ３のいずれか）のサイズに対する表示対象領域のサイズの割合に基づいて入力画像Ａ１〜Ａ３のいずれかを選択する。ここでは、基準画像が入力画像Ａ１と決められている場合について説明するが、基準画像は入力画像Ａ１以外の入力画像（例えば、入力画像Ａ２あるいは入力画像Ａ３）であってもよい。基準画像はあらかじめ決められていてもよいし、ユーザからの選択により決められてもよい。

入力画像Ａ１〜Ａ３は、異なる解像度を有しており、例えば、同内容の画像である。本開示の実施形態においては、説明の簡明さのために、入力画像Ａ２の解像度は入力画像Ａ１の解像度の２倍であり、入力画像Ａ３の解像度は入力画像Ａ２の２倍である例について説明するが、複数の画像の解像度はかかる例に限定されない。なお、入力画像Ａ１〜Ａ３は、符号化装置（図示せず）により符号化されているが、符号化の方式は特に限定されず、例えば、ハフマン符号又はゴロム符号などに基づく可変長符号化あるいはエントロピー符号化であってよい。本開示の実施形態では、画像処理装置１００により３つの入力画像（入力画像Ａ１〜Ａ３）が取得されるが、画像処理装置１００により取得される入力画像の数は３つに限定されず、複数であればよい。

図８は、本開示の実施形態に係る画像処理装置１００により復号される入力画像Ａ１〜Ａ３を含んだファイルの形式の一例を示す図である。入力画像Ａ１〜Ａ３は、例えば、図８に示したＪＰＥＧファイルに含まれる形式により与えられるが、入力画像Ａ１〜Ａ３がどのような形式のファイルにより与えられるかは特に限定されない。しかしながら、図８に示したように、比較例におけるＪＰＥＧファイルの後方に入力画像Ａ２及びＡ３を追加する形式を採用することにより、比較例におけるＪＰＥＧファイルを扱うアルゴリズムを流用しつつ、本開示におけるＪＰＥＧファイルを扱うことができる。なお、ＭＰＯ（multi picture format）ファイルを適用することによりＪＰＥＧファイル中に複数の画像を持つことができる。

選択部１１０による表示対象領域情報の取得は、例えば、上記したような手法によりなされる。すなわち、選択部１１０は、例えば、入力装置によりユーザからの入力が受け付けられた表示対象領域情報を取得してもよい。その代わりに、選択部１１０は、あらかじめ決められている表示対象領域情報を記録媒体（図示せず）などから取得してもよい。

図９及び図１０は、本開示の実施形態に係る選択部１１０及び復号部１２０が有する機能を説明するための図である。図９には、入力画像Ａ１〜Ａ３の横幅及び縦幅の各々を、入力画像Ａ１〜Ａ３のサイズに依存しない固定値Ｈｄ及び固定値Ｗｄとして示している。また、この固定値（固定値Ｈｄ）に基づいて変更した表示対象領域のサイズ（以下、「表示サイズ」とも言う。）を、表示サイズＲとして示している。より詳細には、表示サイズＲは、Ｒ＝ｈ×（Ｈｄ／Ｈ）に相当する。すなわち、表示サイズＲは、基準画像のサイズに対する表示対象領域のサイズの割合の一例を示している。

上記したように、選択部１１０は、基準画像のサイズに対する表示対象領域のサイズの割合に基づいて入力画像Ａ１〜Ａ３のいずれかを選択する。より詳細には、入力画像Ａ１〜Ａ３の各々に所定のサイズ（図９に示した例では、縦幅Ｈｄ、縦幅Ｈｄ／２及び縦幅Ｈｄ／４）が関連付けられている場合、選択部１１０は、表示サイズＲと所定のサイズとの関係に基づいて、画像を選択する。

選択部１１０は、例えば、「縦幅Ｈｄ／２＜表示サイズＲ≦縦幅Ｈｄ」という条件を満たす場合には、入力画像Ａ１を選択し、「縦幅Ｈｄ／４＜表示サイズＲ＜縦幅Ｈｄ／２」という条件を満たす場合には、入力画像Ａ２を選択し、「表示サイズＲ＜縦幅Ｈｄ／４」という条件を満たす場合には、入力画像Ａ３を選択する。

選択部１１０は、「縦幅Ｈｄ／２＝表示サイズＲ」という条件を満たす場合には、入力画像Ａ１を選択してもよいし、入力画像Ａ２を選択してもよい。また、選択部１１０は、「縦幅Ｈｄ／４＝表示サイズＲ」という条件を満たす場合には、入力画像Ａ２を選択してもよいし、入力画像Ａ３を選択してもよい。

なお、選択部１１０は、縦幅の代わりに横幅を使用して同様の処理を行ってもよい。すなわち、表示サイズＲは、例えば、固定値（固定値Ｗｄ）に基づいて変更した表示対象領域の横幅であってもよい。その場合、所定の閾値は横幅（図９に示した例では、横幅Ｗｄ、横幅Ｗｄ／２及び横幅Ｗｄ／４）であってもよい。

図１０には、入力画像Ａ１〜Ａ３の横幅及び縦幅の各々を、実際のサイズ通りである「横幅Ｗ，縦幅Ｈ」「横幅２Ｗ，縦幅２Ｈ」「横幅４Ｗ，縦幅４Ｈ」として示している。上記したように、選択部１１０は、基準画像のサイズに対する表示対象領域のサイズの割合に基づいて入力画像Ａ１〜Ａ３のいずれかを選択する。より詳細には、入力画像Ａ１〜Ａ３の各々に所定の閾値（図１０に示した例では、（最小復号領域のサイズ）／（入力画像のサイズ）＝１／２、１／４、及び０）が関連付けられている場合、選択部１１０は、基準画像のサイズ（例えば、縦幅Ｈ）に対する表示対象領域のサイズ（例えば、縦幅ｈ）の割合とこれらの所定の閾値との関係に基づいて、画像を選択する。

例えば、選択部１１０は、例えば、「１≧基準画像のサイズに対する表示対象領域のサイズの割合＞１／２」という条件を満たす場合には、入力画像Ａ１を選択し、「１／２＞基準画像のサイズに対する表示対象領域のサイズの割合＞１／４」という条件を満たす場合には、入力画像Ａ２を選択し、「１／４＞基準画像のサイズに対する表示対象領域のサイズの割合＞０」という条件を満たす場合には、入力画像Ａ３を選択する。

選択部１１０は、「１／２＝基準画像のサイズに対する表示対象領域のサイズの割合」という条件を満たす場合には、入力画像Ａ１を選択してもよいし、入力画像Ａ２を選択してもよい。また、選択部１１０は、「１／４＝基準画像のサイズに対する表示対象領域のサイズの割合」という条件を満たす場合には、入力画像Ａ２を選択してもよいし、入力画像Ａ３を選択してもよい。

入力画像Ａ１〜Ａ３の各々に所定の閾値（図１０に示した例では、（最大復号領域のサイズ）／（入力画像のサイズ）＝１、１／２及び１／４）が関連付けられている場合、選択部１１０は、基準画像のサイズ（例えば、縦幅Ｈ）に対する表示対象領域のサイズ（例えば、縦幅ｈ）の割合とこれらの所定の閾値との関係に基づいて、同様に画像を選択することもできる。

なお、選択部１１０は、縦幅の代わりに横幅を使用して同様の処理を行ってもよい。すなわち、基準画像のサイズ（例えば、横幅Ｗ）に対する表示対象領域のサイズ（例えば、縦幅ｗ）の割合とこれらの所定の閾値との関係に基づいて、同様に画像を選択することもできる。

復号部１２０は、復号の対象となる入力画像Ａ１〜Ａ３のいずれかと表示対象領域情報を取得し、表示対象領域情報に基づいて入力画像Ａ１〜Ａ３のいずれかを復号する。復号部１２０は、入力画像Ａ１が復号対象となる場合には、入力画像Ａ１のうち基準点（ｘ，ｙ）を基準として縦幅ｈ及び横幅ｗにより規定される矩形領域を表示対象領域に相当する部分として復号する。

同様に、復号部１２０は、入力画像Ａ２が復号対象となる場合には、入力画像Ａ２のうち基準点（２ｘ，２ｙ）を基準として縦幅２ｈ及び横幅２ｗにより規定される矩形領域を表示対象領域に相当する部分として復号する。復号部１２０は、入力画像Ａ３が復号対象となる場合には、入力画像Ａ３のうち基準点（４ｘ，４ｙ）を基準として縦幅４ｈ及び横幅４ｗにより規定される矩形領域を表示対象領域に相当する部分として復号する。

入力画像Ａ１〜Ａ３は、符号化装置（図示せず）により符号化されているが、符号化の方式は特に限定されず、例えば、ハフマン符号又はゴロム符号などに基づく可変長符号化（ＶＬＣ）あるいはエントロピー符号化であってよい。復号部１２０による復号手法としては、比較例において説明した復号部９２０による復号手法と同様の手法を採用することができる。

切り出し部１３０は、復号部１２０により復号されて得られた画像から復号領域を切り出す。より詳細には、切り出し部１３０は、復号部１２０により復号されて得られた画像から表示対象領域情報により規定される領域を切り出す。しかしながら、切り出し部１３０は、画像処理装置１００に必ず備えられていなくてはならないわけではなく、画像処理装置１００に切り出し部１３０が備えられていなくてもよい。

このように、選択部１１０により復号対象となる画像が選択されることにより、復号部１２０は、復号領域の大きさを所定の値（図１０に示した例では、縦幅Ｈ×横幅Ｗ）以下に抑えることができる。したがって、復号領域のサイズや位置に関わらずスムーズに復号を行うことができる。また、復号領域に相当する部分の画像を転送する場合に、その転送量を低減することができる。

図１１は、本開示の実施形態に係る調整部１４０が有する機能を説明するための図である。図１１に示すように、復号画像Ｂ１は、入力画像Ａ１が復号されることにより得られる。入力画像Ａ２が復号された場合には、復号画像Ｂ２が得られ、入力画像Ａ３が復号された場合には、復号画像Ｂ３が得られる。

調整部１４０は、復号部１２０により復号されて得られた画像のうち復号領域に相当する部分のサイズを調整する。図１１に示すように、出力画像Ｃ１は、調整部１４０により復号画像Ｂ１がサイズ調整（縮小）されることにより得られる。同様に、出力画像Ｃ２は、調整部１４０により復号画像Ｂ２がサイズ調整（縮小）されることにより得られ、出力画像Ｃ３は、調整部１４０により復号画像Ｂ３がサイズ調整（縮小）されることにより得られ。

このように、サイズ調整は、復号部１２０により復号されて得られた画像のうち復号領域に相当する部分が、調整部１４０により拡大又は縮小されることにより行われ得る。調整部１４０によるサイズ調整の手法は、特に限定されない。例えば、調整部１４０により出力された出力画像が表示装置（図示せず。）により表示される場合、調整部１４０は、その表示装置の表示領域の大きさ（表示装置が有するスクリーンの大きさ）に応じて、復号により得られた画像のうち表示対象領域に相当する部分のサイズを調整すればよい。

また、調整部１４０は、選択部１１０により選択された画像に応じた度合いにより、復号により得られた画像のうち表示対象領域に相当する部分のサイズを調整してもよい。より詳細には、例えば、調整部１４０は、入力画像Ａ１が選択された場合にはα１倍、入力画像Ａ２が選択された場合にはα２倍、入力画像Ａ３が選択された場合にはα３倍といった拡大率を、復号により得られた画像のうち表示対象領域に相当する部分に乗じることによりサイズ調整を行うことができる。

［２−２．画像処理装置の動作の流れ］
図１２は、本開示の実施形態に係る画像処理装置１００の動作の一例を示すフローチャートである。まず、選択部１１０は、入力画像（例えば、解像度が最低の入力画像Ａ１）を特定画像として特定する（ステップＳ１１）。選択部１１０は、表示対象領域の大きさが特定画像の最小復号サイズ（特定画像の最小復号領域のサイズ）以上であるか否かを判定する（ステップＳ１２）。

選択部１１０は、表示対象領域の大きさが特定画像の最小復号サイズ（特定画像の最小復号領域のサイズ）未満である場合には（ステップＳ１２で「Ｎｏ」）、入力画像（特定画像の次に解像度が低い入力画像）を特定画像として特定し直し（ステップＳ１３）、ステップＳ１２に戻る。一方、選択部１１０は、表示対象領域の大きさが特定画像の最小復号サイズ（特定画像の最小復号領域のサイズ）以上である場合には（ステップＳ１２で「Ｙｅｓ」）、特定画像を復号対象として選択する（ステップＳ１４）。

復号部１２０は、選択部１１０により選択された画像のうち表示対象領域に相当する部分を復号する（ステップＳ１５）。切り出し部１３０は、復号により得られた画像から表示対象領域に応じて復号画像を切り出す（ステップＳ１６）。ただし、切り出し部１３０による切り出しは特に行われなくてもよい。続いて、調整部１４０は、表示領域に応じて復号画像のサイズを調整して（ステップＳ１７）、動作を終了する。

図１３は、本開示の実施形態に係る画像処理装置１００の動作他の一例を示すフローチャートである。まず、選択部１１０は、入力画像（例えば、解像度が最高の入力画像Ａ３）を特定画像として特定する（ステップＳ２１）。選択部１１０は、表示対象領域の大きさが特定画像の最大復号サイズ（特定画像の最大復号領域のサイズ）未満であるか否かを判定する（ステップＳ２２）。

選択部１１０は、表示対象領域の大きさが特定画像の最大復号サイズ（特定画像の最大復号領域のサイズ）以上である場合には（ステップＳ２２で「Ｎｏ」）、入力画像（特定画像の次に解像度が高い入力画像）を特定画像として特定し直し（ステップＳ２３）、ステップＳ２２に戻る。一方、選択部１１０は、表示対象領域の大きさが特定画像の最大復号サイズ（特定画像の最大復号領域のサイズ）未満である場合には（ステップＳ２２で「Ｙｅｓ」）、特定画像を復号対象として選択する（ステップＳ２４）。

復号部１２０は、選択部１１０により選択された画像のうち表示対象領域に相当する部分を復号する（ステップＳ２５）。切り出し部１３０は、復号により得られた画像から表示対象領域に応じて復号画像を切り出す（ステップＳ２６）。ただし、切り出し部１３０による切り出しは特に行われなくてもよい。続いて、調整部１４０は、表示領域に応じて復号画像のサイズを調整して（ステップＳ２７）、動作を終了する。

＜３．まとめ＞
本節で説明した実施形態によれば、解像度が異なる複数の画像の中から復号対象となる画像を選択し、選択した画像に対して復号処理を施す。このため、表示対象領域のサイズが変化しても復号に要する処理量を常に所定値以下に抑えることができる。したがって、符号化された画像のうち表示対象領域に相当する部分を表示対象領域のサイズに関わらず、迅速に表示することができる。さらに、復号領域に相当する部分の画像を転送する場合に、その転送量を低減することができる。

なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられるコンピュータ読取可能な記録媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵ（Central Processing Unit）などのプロセッサにより実行される。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本実施形態においては、画像処理装置１００が入力画像を取得し、選択部１１０、復号部１２０、切り出し部１３０及び調整部１４０を有することとしたが、こららの機能は必ずしもすべて画像処理装置１００が行わなくてもよい。例えば、これらの機能の一部をサーバが行うようにしてもよい。図１４は、画像処理装置１００とサーバ２００との連携により画像処理を行う場合のシステム構成の概略を示す図である。図１４に示すように、画像処理装置１００とサーバ２００とは、ネットワーク３００を介して、通信を行うことが可能になっている。サーバ２００は、互いに解像度が異なり部分デコードが可能な複数の画像（例えば、入力画像Ａ１〜Ａ３）などをデータベース２１０として保持することができる。サーバ２００は、ネットワーク３００を介して画像処理装置１００と通信を行う通信部２２０、データベース２１０及び通信部２２０を制御する制御部２３０などを備えている。ネットワーク３００は、無線または有線により構成されている。

画像処理装置１００は、ネットワーク３００を介してサーバ２００と通信を行う通信部１５０、ユーザからの操作の入力を受け付ける入力部１７０、画像処理装置１００の動作を制御する制御部１６０、画像処理装置１００による制御に使用されるメモリ１８０、上記した復号部１２０、出力画像を表示する表示部１９０などを備えている。

図１５は、上記したシステム構成図の具体例１を示す図である。図１５に示すように、画像処理装置１００は、表示対象領域情報を、ネットワーク３００を介してサーバ２００に送信し、サーバ２００は、表示対象領域情報を受信する。サーバ２００が有する選択部１１０は、複数の画像（例えば、入力画像Ａ１〜Ａ３）と受信した表示対象領域情報とに基づき、画像を選択する。このとき、図１５に示すように、サーバ２００は、選択した画像を、ネットワーク３００を介して画像処理装置１００に送信してもよい。また、このとき、図１５に示すように、復号部１２０による復号処理、切り出し部１３０による切り出し処理、調整部１４０によるサイズ調整などは、画像処理装置１００においてなされてもよい。

図１６は、上記したシステム構成図の具体例２を示す図である。図１６に示すように、図１５に示した具体例１と同様に、サーバ２００が有する選択部１１０は、複数の画像（例えば、入力画像Ａ１〜Ａ３）と受信した表示対象領域情報とに基づき、画像を選択する。このとき、図１６に示すように、復号部１２０による復号処理、切り出し部１３０による切り出し処理、調整部１４０によるサイズ調整などは、サーバ２００においてなされ、サーバ２００は、出力画像を、ネットワーク３００を介して画像処理装置１００に送信してもよい。復号部１２０による復号処理は、画像処理装置１００においてなされてもよい。

図１７は、上記したシステム構成図の具体例３を示す図である。図１７に示すように、図１５に示した具体例１と同様に、サーバ２００Ｂが有する選択部１１０は、複数の画像（例えば、入力画像Ａ１〜Ａ３）と受信した表示対象領域情報とに基づき、画像を選択する。このとき、図１７に示すように、画像を選択するサーバ２００Ｂと、複数の画像（例えば、入力画像Ａ１〜Ａ３）を保持するサーバ２００Ａとは別のサーバにより構成されていてもよい。すなわち、サーバ２００Ｂは、サーバ２００Ａから複数の画像（例えば、入力画像Ａ１〜Ａ３）を取得してもよい。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
互いに解像度が異なり部分デコードが可能な複数の画像から前記複数の画像のうちの基準画像のサイズに対する表示対象領域のサイズの割合に基づいて、画像を選択する選択部と、
前記選択部により選択された前記画像のうち前記表示対象領域に相当する部分を復号する復号部と、
を備える、画像処理装置。
（２）
前記複数の画像の各々には、所定の閾値が関連付けられており、
前記選択部は、前記基準画像のサイズに対する表示対象領域のサイズの割合と前記複数の画像の各々に関連付けられている前記所定の閾値との関係に基づいて、前記画像を選択する、
前記（１）に記載の画像処理装置。
（３）
前記画像処理装置は、
前記選択部により選択された前記画像のうち前記復号部により復号された前記表示対象領域に相当する部分のサイズを調整する調整部、
をさらに備える、前記（１）又は前記（２）に記載の画像処理装置。
（４）
前記調整部は、
前記選択部により選択された前記画像のうち前記復号部により復号された前記表示対象領域に相当する部分のサイズを表示領域の大きさに応じて調整する、
前記（３）に記載の画像処理装置。
（５）
前記調整部は、
前記選択部により選択された前記画像のうち前記復号部により復号された前記表示対象領域に相当する部分のサイズを前記選択部により選択された前記画像に応じた度合いにより調整する、
前記（３）に記載の画像処理装置。
（６）
前記画像処理装置は、
前記選択部により選択された前記画像から前記表示対象領域を切り出す切り出し部、
をさらに備える、前記（１）〜（５）のいずれか１項に記載の画像処理装置。
（７）
互いに解像度が異なり部分デコードが可能な複数の画像から前記複数の画像のうちの基準画像のサイズに対する表示対象領域のサイズの割合に基づいて、画像を選択することと、
選択された前記画像のうち前記表示対象領域に相当する部分を復号することと、
を含む、画像処理方法。
（８）
コンピュータを、
互いに解像度が異なり部分デコードが可能な複数の画像から前記複数の画像のうちの基準画像のサイズに対する表示対象領域のサイズの割合に基づいて、画像を選択する選択部と、
前記選択部により選択された前記画像のうち前記表示対象領域に相当する部分を復号する復号部と、
を備える、画像処理装置として機能させるためのプログラム。

１００ 画像処理装置
１１０ 選択部
１２０ 復号部
１３０ 切り出し部
１４０ 調整部
Ａ１〜Ａ３ 入力画像

Claims (8)

1. 互いに解像度が異なり部分デコードが可能な複数の画像から前記複数の画像のうちの基準画像のサイズに対する表示対象領域のサイズの割合に基づいて、画像を選択する選択部と、
   前記選択部により選択された前記画像のうち前記表示対象領域に相当する部分を復号する復号部と、
   を備える、画像処理装置。
2. 前記複数の画像の各々には、所定の閾値が関連付けられており、
   前記選択部は、前記基準画像のサイズに対する表示対象領域のサイズの割合と前記複数の画像の各々に関連付けられている前記所定の閾値との関係に基づいて、前記画像を選択する、
   請求項１に記載の画像処理装置。
3. 前記画像処理装置は、
   前記選択部により選択された前記画像のうち前記復号部により復号された前記表示対象領域に相当する部分のサイズを調整する調整部、
   をさらに備える、請求項１に記載の画像処理装置。
4. 前記調整部は、
   前記選択部により選択された前記画像のうち前記復号部により復号された前記表示対象領域に相当する部分のサイズを表示領域の大きさに応じて調整する、
   請求項３に記載の画像処理装置。
5. 前記調整部は、
   前記選択部により選択された前記画像のうち前記復号部により復号された前記表示対象領域に相当する部分のサイズを前記選択部により選択された前記画像に応じた度合いにより調整する、
   請求項３に記載の画像処理装置。
6. 前記画像処理装置は、
   前記選択部により選択された前記画像から前記表示対象領域を切り出す切り出し部、
   をさらに備える、請求項１に記載の画像処理装置。
7. 互いに解像度が異なり部分デコードが可能な複数の画像から前記複数の画像のうちの基準画像のサイズに対する表示対象領域のサイズの割合に基づいて、画像を選択することと、
   選択された前記画像のうち前記表示対象領域に相当する部分を復号することと、
   を含む、画像処理方法。
8. コンピュータを、
   互いに解像度が異なり部分デコードが可能な複数の画像から前記複数の画像のうちの基準画像のサイズに対する表示対象領域のサイズの割合に基づいて、画像を選択する選択部と、
   前記選択部により選択された前記画像のうち前記表示対象領域に相当する部分を復号する復号部と、
   を備える、画像処理装置として機能させるためのプログラム。
   
   

Images