JP2011049650A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】複数のサムネイル画像データを配列した一覧表示画像データにおいて、個々のサムネイル画像データの特徴に適応的な補正を行なう。
【解決手段】一覧表示画像データを生成する手段と、一覧表示画像データにおけるサムネイル画像データの配置情報を取得する手段と、配置情報に基づいて、前記複数のサムネイル画像データの各々が他のサムネイル画像データと同じ分割領域に含まれないように一覧表示画像データを複数の分割領域に分割する手段と、サムネイル画像データを含む分割領域の各々について当該分割領域に対応する画像データを構成する画素の輝度値のヒストグラムを算出する手段と、該ヒストグラムに基づいて分割領域毎のガンマ補正特性を決定し、決定したガンマ補正特性で分割領域に対応する画像データ毎にガンマ補正を行なう手段と、該ガンマ補正された画像データを用いて一覧表示画像を再構成し出力する手段と、を備える。
【選択図】図１

Description

本発明は画像処理装置及び画像処理方法に関し、特に複数のサムネイル画像データの一覧表示画像データに対する画像処理を行なう画像処理装置及び画像処理方法に関する。

パーソナルコンピュータ、レコーダ、デジタルテレビの内蔵ハードディスクやデジタルカメラの内蔵メモリ等のストレージに記録されている複数の画像データのサムネイル画像データを配列して一覧表示画像データを生成する機能がある。サムネイル画像データは元の画像データを縮小した画像データである。ストレージに記録された画像データをモニタやデジタルテレビで鑑賞する際に、サムネイル画像データの一覧表示画像データを用いて画像データの検索を行なうようにすることで、鑑賞したい画像データを効率よく探し出すことができる。

サムネイル画像データの一覧表示画像データの表示画質を向上させるために、一覧表示画像データに表示されるサムネイル画像データの平均輝度のような統計量に基づいて一覧表示画像データをガンマ補正する技術がある。これにより、一覧表示画像データに表示されるサムネイル画像データを高コントラスト化する等、表示画質を向上させることができる。一方、このようなガンマ補正では、例えば一覧表示画像データ中に輝度の高い画像データのサムネイル画像データが多い場合、高輝度のサムネイル画像データに合わせたガンマ補正が行なわれることになる。このようなガンマ補正を低輝度のサムネイル画像データに適用すると黒つぶれが生じる場合がある。つまり、同一の階調傾向を示す大多数のサムネイル画像データに対して好適なガンマ補正処理では、それらとは階調傾向が異なる少数のサムネイル画像データに対しては不適である場合があるということである。これは、ガンマ補正に限らず、彩度補正などの他の画像処理においても同様である。

特許文献１には、画像データを複数の領域に区分し、領域毎に階調補正を行なう技術であって、顔や人物などの強調すべき対象物が含む領域に対する補正の強度を、そのような対象物を含まない領域に対する補正の強度と比較して強くする発明が記載されている。これにより、１つの画像データの中で、人物のみを強調し、背景の壁等は強調しないような補正をすることができる。

特開２００６−１９５６５１号公報

上記の従来技術では、人物が写っているか否かに応じて領域毎に補正強度を異ならせることはできるものの、一覧表示画像データに表示される個々のサムネイル画像データの特徴に適応的な補正を行なうことはできない。そのため、個々のサムネイル画像データを良好な画質で表示させることができない。本発明の目的は、複数のサムネイル画像データを配列した一覧表示画像データにおいて、個々のサムネイル画像データの特徴に適応的な補正を行なうことが可能な画像処理装置及び画像処理方法を提供することである。

本発明の画像処理装置は、
複数のサムネイル画像データを配列させた画像データである一覧表示画像データを生成
する生成手段と、
前記一覧表示画像データにおいてサムネイル画像データが配置されている位置を表す配置情報を取得する取得手段と、
前記取得した配置情報に基づいて、前記一覧表示画像データに配置された複数のサムネイル画像データの各々が他のサムネイル画像データと同じ分割領域に含まれないように前記一覧表示画像データを複数の分割領域に分割する分割手段と、
前記サムネイル画像データを含む分割領域の各々について当該分割領域に対応する画像データを構成する画素の輝度値のヒストグラムを算出する算出手段と、
前記ヒストグラムに基づいて前記分割領域毎のガンマ補正特性を決定し、決定したガンマ補正特性で各分割領域に対応する画像データに対してガンマ補正を行なう補正手段と、
前記補正手段によりガンマ補正された前記各分割領域に対応する画像データを用いて前記一覧表示画像データを再構成し出力する出力手段と、
を備えることを特徴とする。

本発明の画像処理方法は、
画像処理装置が、
複数のサムネイル画像データを配列させた画像データである一覧表示画像データを生成する生成工程と、
前記一覧表示画像データにおいてサムネイル画像データが配置されている位置を表す配置情報を取得する取得工程と、
前記取得した配置情報に基づいて、前記一覧表示画像データに配置された複数のサムネイル画像データの各々が他のサムネイル画像データと同じ分割領域に含まれないように前記一覧表示画像データを複数の分割領域に分割する分割工程と、
前記サムネイル画像データを含む分割領域の各々について当該分割領域に対応する画像データを構成する画素の輝度値のヒストグラムを算出する算出工程と、
前記ヒストグラムに基づいて前記分割領域毎のガンマ補正特性を決定し、決定したガンマ補正特性で各分割領域に対応する画像データに対してガンマ補正を行なう補正工程と、
前記補正工程によりガンマ補正された前記各分割領域に対応する画像データを用いて前記一覧表示画像を再構成し出力する出力工程と、
を実行することを特徴とする。

本発明の画像処理装置によれば、複数のサムネイル画像データを配列した一覧表示画像データにおいて、個々のサムネイル画像データの特徴に適応的な補正を行なうことが可能になる。

実施例１のテレビ放送受信装置の概略構成を表すブロック図 サムネイル画像データの一覧表示画像データの例 （ａ）一覧表示画像データにおける画像分割領域の例（ｂ）分割領域の例 実施例１の一覧表示画像データの生成処理を示す制御フロー 実施例２の一覧表示画像データのＧＵＩの例 実施例２の一覧表示画像データの生成処理を表す制御フロー

（実施例１）
以下に、本発明に係る画像処理装置の第１の実施例を、添付の図面に基づいて詳細に説明する。本実施例は、内蔵ストレージや外部メディアに記録されている画像データを読み込み、該画像データのサムネイル画像データの一覧表示画像データを生成し表示する機能を有するテレビ放送受信装置に、本発明を適用した実施例である。図１は、本実施例のテ
レビ放送受信装置１の概略構成を示すブロック図である。テレビ放送受信装置１は、ＨＤＤ１０１、外部メディアＩ／Ｆ１０２、画像作成部１０３、画像分割処理部１０４、ガンマ処理部１０５、表示部１０６、ＣＰＵ１０７を備える。テレビ放送受信装置１は、更に、リモコン受光部１０８、リモコン１０９、チューナー１１０、映像・音声信号処理部１１１、アンプ１１２、スピーカ部１１３、バス１１４を備える。

ＣＰＵ１０７は、テレビ放送受信装置１全体の動作を制御する中央演算処理装置である。リモコン受光部１０８は、ユーザーのリモコン１０９の操作によりリモコン１０９から出力される信号を受信してＣＰＵ１０７へ転送する。ＣＰＵ１０７は、リモコン受光部１０８から転送されたリモコン１０９の操作をテレビ放送受信装置１への動作命令に変換処理し、各ブロックの動作を決定する。チューナー１１０は、ＣＰＵ１０７の制御下で、不図示の地上波アンテナやパラボナアンテナから入力される放送波を受信し、映像・音声信号処理部１１１に出力する。映像・音声信号処理部１１１において、放送波から映像信号及び音声信号への復調や復号が行なわれ、映像信号は表示部１０６により出力（表示）され、音声信号はアンプ１１２で増幅後にスピーカ部１１３より出力される。ＨＤＤ１０１は、画像データや動画像データ、テレビ番組等の放送コンテンツが記録される内蔵ストレージである。外部メディアＩ／Ｆ１０２は、ＤＶＤやＣＤ、ＳＤカード等の記録メディアに記録されているデータを読み取る光学ドライブやメモリカードリーダ、又はデジタルカメラやビデオカメラ等の外部機器を接続するＵＳＢ端子やＤＶ端子等のインターフェースである。外部メディアＩ／Ｆ１０２を介して記録メディアや外部機器から読み込まれた画像データや動画像データは、ＣＰＵ１０７の制御下で、ＨＤＤ１０１へ送信されてＨＤＤ１０１に記録されたり、表示部１０６に表示されたりする。

＜画像作成部１０３＞
画像作成部１０３は、複数の画像データからサムネイル画像データを取得してサムネイル画像データの一覧表示画像データを生成する処理を行なう。画像作成部１０３は、ＣＰＵ１０７の制御下で、ＨＤＤ１０１から、又は外部メディアＩ／Ｆ１０２を介して記録メディアや外部機器から、画像データを読み込むとともに、該画像データのＥｘｉｆデータを読み込む。ＥｘｉｆはＥｘｃｈａｎｇｅａｌｂｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔの略で、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式の画像データにサムネイル画像データや撮影日時等の情報を埋め込むための規格である。画像作成部１０３は、読み込んだ画像データにＥｘｉｆデータが存在する場合は、Ｅｘｉｆデータから各画像データのサムネイル画像データを取得する。読み込んだ画像データにＥｘｉｆデータが存在しない場合は、該画像データを縮小リサイズ処理してサムネイル画像データを生成する。画像作成部１０３は、このようにして取得した複数のサムネイル画像データをマトリクス状に配列させた画像データ（一覧表示画像データという）を作成する。

本実施例では、画像作成部１０３は、ＨＤＤ１０１等から２０枚の画像データを読み込み、該画像データから２０枚のサムネイル画像データを取得する。そして、図２に示すように、取得したサムネイル画像データを水平方向に５枚、垂直方向に４枚のマトリクス状に配列し、一覧表示画像データを生成する。図２において、一覧表示画像データの最も左上に配置されたサムネイル画像データから数えて水平方向にｘ番目、垂直方向にｙ番目の位置に配置されたサムネイル画像データを「サムネイルｙｘ」と命名している（１≦ｙ≦４、１≦ｘ≦５）。

画像作成部１０３は、生成した一覧表示画像データと、サムネイル画像データの配置情報とを、画像分割処理部１０４に出力する。サムネイル画像データの配置情報は、一覧表示画像データにおいてサムネイル画像データが配置されている位置やサムネイル画像データの配列態様を表す情報であり、例えばサムネイル画像データの座標、サイズ、垂直方向
及び水平方向の配置数等の情報である。サムネイル画像データの座標は、例えば、サムネイル画像データの最も左上の画素の座標として定めることができる。図２に示すように、一覧表示画像データの最も左上の画素を座標の原点とした場合のサムネイル１１の最も左上の画素の座標が（ｘ_１１、ｙ_１１）であれば、サムネイル１１の座標を（ｘ_１１、ｙ_１１）等と定める。

サムネイル画像データの配置の仕方は図２に例示するパターンに限られず、例えば一フレームに表示するサムネイル画像データの枚数は２枚以上であれば何枚でも良い。また、一覧表示画像データにサムネイル画像データを配置する仕方も図２に示す例に限られない。例えばサムネイル画像データの数が２０枚であれば、図２に示した水平５枚×垂直４枚の他、水平４枚×垂直５枚、水平１０枚×垂直２枚等、種々の配置の仕方が可能である。テレビ放送受信装置１は、ユーザーがこれら種々のサムネイル画像データの配置の仕方を切り換え可能な機能を有していても良い。その場合、ユーザーによるリモコン１０９の操作内容に応じて、いかなる配置の仕方でサムネイル画像データを配列させて一覧表示画像データを生成すべきかの指令が、ＣＰＵ１０７から画像作成部１０３に入力される。画像作成部１０３は、ユーザーの選択した配置の仕方に応じたサムネイル画像データの一覧表示画像データを生成すると共に、当該サムネイル画像データの配置情報を画像分割処理部１０４に出力する。

本実施例の画像作成部１０３が、本発明における「生成手段」に相当する。

＜画像分割処理部１０４＞
画像分割処理部１０４は、ＣＰＵ１０７の制御下で、画像作成部１０３から一覧表示画像データ及びサムネイル画像データの配置情報を取得する。そして、サムネイル画像データの配置情報に基づいて、一覧表示画像データを複数の領域に分割する。図３は、一覧表示画像データの分割処理について説明するための図である。

画像分割処理部１０４は、まず、一覧表示画像データを、後述する分割領域を切り出すための領域（画像分割領域という）と、それ以外の領域とに分割する。画像分割処理部１０４は、画像作成部１０３から入力されるサムネイル画像データの配置情報に基づいて、画像分割領域の範囲を決定する。本実施例では、図３（ａ）に示すように、サムネイル画像データの座標とサムネイル画像データのサイズに基づいて、サムネイル画像データ間の水平方向及び垂直方向の間隔を算出する。そして、該間隔の半分の幅だけサムネイル画像データの存在範囲より広い領域を画像分割領域の範囲とする。すなわち、サムネイル画像データ間の水平方向の間隔をΔｘ、垂直方向の間隔をΔｙとすれば、画像分割領域の始点（最も左上の点）の座標（Ｘｎ，Ｙｎ）は、サムネイル１１の座標（ｘ_１１、ｙ_１１）より相対位置（−Δｘ／２、−Δｙ／２）の座標となる。また、画像分割領域の終点（最も右上の点）の座標（Ｘｍ，Ｙｍ）は、サムネイル４５の座標（ｘ_４５、ｙ_４５）より相対位置（＋Δｘ／２、＋Δｙ／２）の座標となる。図３（ａ）に示すように、画像分割領域の始点及び終点の座標がそれぞれ一覧表示画像データの原点及び最も右下の点と一致していない場合には、画像分割領域は一覧表示画像データの四辺を若干幅クロップした画像データとなる。その結果、一覧表示画像データは、全てのサムネイル画像データを含む画像分割領域と、画像分割領域の外周に沿ったサムネイル画像データを含まない枠状の領域と、に分割される。なお、図３（ａ）の例では、画像分割領域は一覧表示画像データの四辺をクロップした画像データだが、サムネイル画像データの配置の仕方によってはこの限りではない。例えば、画像分割領域は、一覧表示画像データの上下辺のみ或いは左右辺のみクロップした画像データや、一覧表示画像データと同一の画像データとなる場合もあり得る。

画像分割処理部１０４は、次に、サムネイル画像データの配置情報に基づき、画像分割
領域をサムネイル画像データの個数と同数の小領域（分割領域という）に分割する。このとき、複数のサムネイル画像データの各々が他のサムネイル画像データと同じ分割領域に含まれないように分割する。言い換えると、各分割領域に一つのサムネイル画像データが含まれるように分割する。本実施例の場合、図３（ｂ）に示すように、画像分割領域のＸ軸方向を、サムネイル画像データのＸ軸方向の配置数と等しい数に等分割（５等分）すると共に、画像分割領域のＹ軸方向を、サムネイル画像データのＹ軸方向の配置数と等しい数に等分割（４等分）する。これにより、画像分割領域は、各々１つのサムネイル画像データを含む２０個の分割領域に分割される。本実施例の場合、各分割領域は、図３（ｂ）に示すように、サムネイル画像データの周囲にサムネイル画像データ間の間隔の半分の幅の枠状領域を追加した画像データとなる。図３（ｂ）において、最も左上の分割領域から数えて水平方向にｍ番目、垂直方向にｎ番目の位置にある分割領域を「分割領域ｎｍ」と命名している（１≦ｎ≦４、１≦ｍ≦５）。本実施例の場合、図３（ｂ）に示すように、分割領域ｎｍにはサムネイルｎｍが含まれる。

なお、一覧表示画像データの分割の仕方は、各分割領域に１つのサムネイル画像データが含まれるような分割の仕方であればどのようなものであっても良く、上記説明は一例に過ぎない。

本実施例の画像分割処理部１０４が、本発明における「取得手段」「分割手段」に相当する。

＜ガンマ処理部１０５＞
ガンマ処理部１０５は、ＣＰＵ１０７の制御下で、画像分割処理部１０４の分割処理により得られた分割領域毎に当該分割領域に対応する画像データを構成する画素の輝度値のヒストグラムを算出する。そして、ヒストグラムの特徴に応じて分割領域に適用するガンマカーブ（ガンマ補正特性）を決定し、該ガンマカーブを用いてガンマ補正を行い、ガンマ補正後の各分割領域に対応する画像データから一覧表示画像データを再構成し、表示部１０６へ出力する。これにより、サムネイル画像データの輝度の特徴に適応的なガンマ補正が行なわれた一覧表示画像データが生成され、表示部１０６に表示される。なお、ガンマカーブはヒストグラムから所定の演算によって生成することで決定することが可能である。また、予め複数種のガンマカーブを夫々に適したヒストグラムの度数分布と対応付けて用意しておき、ヒストグラムの度数分布に応じて適したガンマカーブを選択することで決定することも可能である。

本実施例では、各分割領域に対応する画像データに対して、基本的には白を持ち上げ、黒を引き下げる高コントラスト化のガンマ補正を行なうこととし、このガンマ補正をヒストグラムの特徴に応じて調整する。具体的には、ヒストグラムの高輝度部分にピークがある分割領域に対応する画像データに対しては、それ以外の分割領域に対応する画像データに対してよりも白の持ち上げ度合を低減する。一方、ヒストグラムの低輝度部分にピークがある分割領域に対応する画像データに対しては、それ以外の分割領域に対応する画像データに対してよりも黒の引き下げ度合を低減する。これにより、高輝度なサムネイル画像データについては白い部分の白とびが抑制され、低輝度なサムネイル画像データについては黒い部分の黒つぶれが抑制される。よって、高輝度なサムネイル画像データも低輝度なサムネイル画像データもともに良好な階調を保持しつつ高コントラスト化することができる。本実施例によれば、各分割領域に１つのサムネイル画像データが含まれるように一覧表示画像データを分割し、各分割領域のヒストグラムに応じて調整されるガンマカーブを用いて分割領域毎にガンマ補正を行なう。よって、各サムネイル画像データの特徴に適応的な画像処理が可能である。従って、一覧表示画像データがどのようなサムネイル画像データから構成されていても、全てのサムネイル画像データについて画質劣化を抑制しつつ高コントラスト化することができる。

なお、各分割領域に対応する画像データのヒストグラムに応じたガンマ補正としては、上述した高コントラスト化を基本とするガンマ補正をヒストグラムの特徴に応じて調整するものに限られない。例えば、ヒストグラムの高輝度部分にピークがある分割領域に対応する画像データに対しては下に凸のガンマカーブで、また、ヒストグラムの低輝度部分にピークがある分割領域に対応する画像データに対しては上に凸のガンマカーブでガンマ補正を行なっても良い。このような各分割領域に対応する画像データ毎にガンマ補正の調整を行なうことにより、個々のサムネイル画像データの階調表現を向上させることができるとともに、サムネイル画像データ間の輝度のばらつきを抑えた一覧表示画像データを出力することができる。

本発明のガンマ処理部１０５が、本発明における「算出手段」、「補正手段」及び「出力手段」に相当する。

＜フローチャート＞
ここで、本実施例のテレビ放送受信装置１におけるサムネイル画像データの一覧表示画像データの生成及び表示に係る処理フローを、図４に基づいて説明する。

ステップＳ４０１において、ユーザーのリモコン１０９の操作によってサムネイル画像データの一覧表示画像データを表示部１０６に表示すべき指示を受信すると、ステップＳ４０２へ進む。

ステップＳ４０２において、画像作成部１０３が、ＨＤＤ１０１に記録されている画像データや外部メディアＩ／Ｆ１０２を介して記録メディアや外部機器から読み込まれる画像データから、サムネイル画像データを取得する。

ステップＳ４０３において、画像作成部１０３が、ステップＳ４０２で取得したサムネイル画像データをマトリクス状に配置し、サムネイル画像データの一覧表示画像データを生成する。

ステップＳ４０４において、画像分割処理部１０４が、画像作成部１０３によって生成された一覧表示画像データにおけるサムネイル画像データの配置情報を取得する。

ステップＳ４０５において、画像分割処理部１０４が、ステップＳ４０４で取得したサムネイル画像データの配置情報に基づいて、一覧表示画像データにおける画像分割領域の範囲を決定する。

ステップＳ４０６において、画像分割処理部１０４が、ステップＳ４０４で取得したサムネイル画像データの配置情報に基づいて、画像分割領域を分割領域に分割する。

ステップＳ４０７において、ガンマ処理部１０５が、分割領域に対応する画像データを構成する画素のヒストグラムを算出する。

ステップＳ４０８において、ガンマ処理部１０５によるヒストグラムの算出が全ての分割領域に対応する画像データについて行なわれたか否かを判定する。否と判定された場合はステップＳ４０７へ戻り、前回のステップＳ４０７の処理の実行時にヒストグラムの算出を行なった分割領域の次の分割領域に対応する画像データについてヒストグラムの算出を行う。全ての分割領域に対応する画像データについてヒストグラムの算出が完了したと判定されたら、ステップＳ４０９へ進む。

ステップＳ４０９において、ガンマ処理部１０５が、分割領域に対応する画像データの画素のヒストグラムに応じたガンマカーブを決定し、該ガンマカーブを用いて該分割領域に対応する画像データ毎にガンマ補正を行う。

ステップＳ４１０において、ガンマ処理部１０５によるガンマ補正が全ての分割領域に対応する画像データに対して行なわれたか否かを判定する。否と判定された場合はステップＳ４０９へ戻り、前回のステップＳ４０９の処理の実行時にガンマ補正を行なった分割領域の次の分割領域に対応する画像データに対してガンマ補正を行う。全ての分割領域に対応する画像データに対してガンマ補正が完了したと判定されたら、ステップＳ４１１へ進む。

ステップＳ４１１において、ステップＳ４０９でガンマ補正が行なわれた各分割領域に対応する画像データから一覧表示画像データを再構成し、表示部１０６へ出力する。

以上の処理により、各サムネイル画像データに対して適応的なガンマ補正が行なわれた一覧表示画像データが表示部１０６に表示され、本フローの制御が終了する。上記の処理によって、個々のサムネイル画像データの特徴に適応的な補正を行うことが可能となる。

（変形例）
分割領域に対応する画像データは、サムネイル画像データ及びその周囲の枠状領域から構成されるので、分割領域に対応する画像データ毎にガンマ補正を行なうと、分割領域に対応する画像データ毎に枠状領域の輝度が異なってしまう場合があり得る。そこで、ガンマ補正の対象を各分割領域に対応する画像データ内のサムネイル画像データの部分に限定するようにしても良い。これにより、サムネイル画像データの周囲の枠状領域に対してはガンマ補正が行なわれなくなるので、分割領域に対応する画像データ毎に枠状領域の輝度がばらつかないようにできる。或いは、分割領域に対応する画像データ内のサムネイル画像データ部分以外の部分に対しては、全ての分割領域に対応する画像データで同一のガンマカーブを用いたガンマ補正をするようにしても良い。

本実施例では、矩形のサムネイル画像データをマトリクス状に配置して一覧表示画像データを生成したが、サムネイル画像データの形状やサムネイル画像データの配置の仕方はこれに限られない。例えば実際の写真を机の上に広げた時のように、ランダムな位置にランダムな角度で複数のサムネイル画像データが配置された一覧表示画像データを生成するものに対しても、本発明を適用することができる。その場合も、サムネイル画像データの配置情報に基づいて、１つの分割領域に対応する画像データに１つのサムネイル画像データが含まれるように一覧表示画像データを分割する。そして、分割領域毎に、分割領域に対応する画像データを構成する画素のヒストグラムを算出し、ヒストグラムに応じたガンマカーブによって各分割領域に対応する画像データ毎にガンマ補正を行えば良い。これにより、各サムネイル画像データを最適な表示画質で表示させることができる。

本実施例はＨＤＤや外部メディアに記録された画像データから一覧表示画像データを生成し表示部に出力するテレビ放送受信装置に対して本発明を適用した例であったが、本発明の適用範囲はテレビ放送受信装置に限られない。例えば、内蔵ストレージとしてＨＤＤを備えた録画装置であって、ＨＤＤに記録されている画像データから一覧表示画像データを生成し、該録画装置が接続されたデジタルテレビやモニタに出力する機能を有する録画装置にも本発明を適用できる。この場合、図１のブロック図において、ガンマ処理部１０５でガンマ補正され再構成された一覧表示画像データの出力先が、表示部１０６ではなく録画装置の映像出力端子等になる。

また、内蔵ストレージとしてＨＤＤを備えたパーソナルコンピュータにおいて実行可能
な、ＨＤＤに記録されている画像データから一覧表示画像データを生成するソフトウェアにも本発明を適用できる。この場合、図１のブロック図において、ガンマ処理部１０５でガンマ補正され再構成された一覧表示画像データの出力先は、液晶モニタ等の画像表示装置や、サムネイル画像データの一覧表示画像データを画像データとして記録するＨＤＤ等のストレージとなる。

なお、本実施例及び後述する実施例２では、各分割領域に対応する画像データに対してガンマ補正処理を実行することを例として記載している。しかしながら、本発明は、ガンマ補正処理に限定されるものではなく、その他の画像処理を用いることも可能である。例えば、ガンマ補正と関連の深い画像処理として、彩度補正などの色補正処理を行なう画像処理装置に対して本発明を適用することが可能である。彩度補正の場合、ガンマ補正で利用したヒストグラムの度数分布から彩度補正のパラメータを調整する処理が一般的に行われている。従って、上述した分割領域毎のヒストグラムを用いれば、分割領域毎の彩度補正のパラメータを設定し、適応的な彩度補正処理を実現することができる。もちろん、本発明は彩度補正処理に限らず、エッジ強調処理などのエンハンス処理、ノイズ低減処理などの画質改善処理などを行なう画像処理装置に対しても適用可能である。上述したように、本発明は、個々のサムネイル画像データの特徴に適応的な補正を行うことを目的としている。従って、これらの画像処理についてどのような処理特性で処理を行うか、また、その処理方法については公知の技術を利用すればよく、具体的な処理方法やその処理特性などは画像処理装置の設計において適宜任意に定めればよい。

（実施例２）
次に、本発明に係る画像処理装置の第２の実施例を説明する。本実施例は、実施例１と同様、内蔵ストレージや外部メディアに記録されている画像データからサムネイル画像データの一覧表示画像データを生成し表示する機能を有するテレビ放送受信装置に、本発明を適用した実施例である。本実施例のテレビ放送巡視装置は、サムネイル画像データの一覧表示画像データをスクロールさせる機能を有する。そして、一フレームに表示できるサムネイル画像データの枚数（本実施例では２０枚）を超える枚数のサムネイル画像データをスクロール操作により順次閲覧できる点で実施例１と相違する。

図５は、本実施例のテレビ放送受信装置により生成され表示されるサムネイル画像データの一覧表示画像データの表示例を示す図である。図５に示すように、一覧表示画像データには、一覧表示画像データを上下にスクロールさせる操作を行なうためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）であるスクロールバーが同時に表示される。ユーザーは、リモコン１０９の操作により、このスクロールバーを上下に移動させることができる。例えば、図５（ａ）のような一覧表示画像データが表示されている状態で、スクロールバーを下に移動させる操作に割り当てられたリモコン１０９のキー（例えばカーソルキーの下方向のキー）を押下すると、一覧表示画像データのスクロールバーが下に移動する。これに伴って一覧表示画像データに現在表示されているサムネイル画像データのうち最上行の５枚のサムネイル画像データ（サムネイル１１〜１５）が消え、現在２、３、４行目に表示されているサムネイル画像データの表示位置がそれぞれ１行ずつ上に移動する。更に、新たな５枚のサムネイル画像データ（サムネイル５１〜５５）が一番下の行に現われる。言い換えると、現在のサムネイル画像データの一部である最上行の５枚のサムネイル画像データを、新たな５枚のサムネイル画像データに置換する。そして、現在のサムネイル画像データの残りの配置位置を１行ずつ上にずらし、新たな５枚のサムネイル画像データを最下行に配置する。これにより、サムネイル画像データの一覧表示画像データは図５（ｂ）のように更新される。リモコン１０９のカーソルキーの上のキーを押下した場合には逆の処理を行なう。すなわち、現在のサムネイル画像データの一部である最下行のサムネイル画像データを新たなサムネイル画像データに置換する。そして、現在のサムネイル画像データの残りである１〜３行目のサムネイル画像データを１行ずつ下
にずらして２〜４行目に配置し、新たなサムネイル画像データを最上行に配置する。このようなスクロール操作とそれに応じた一覧表示画像データの更新処理によって、一フレームに表示可能なサムネイル画像データの数（図５の場合２０）を超える数のサムネイル画像データを簡単な操作で順次閲覧できる。従って、特にストレージに大量の画像データがある場合に有用である。本実施例では、このようなサムネイル画像データの一覧表示画像データの生成及び表示の機能を有するテレビ放送受信装置に本発明を適用した例を説明する。

本実施例に係るテレビ放送受信装置のブロック図は、実施例１と同様図１で表されるが、画像作成部１０３及びガンマ処理部１０５の処理内容が実施例１と異なる。また、リモコン受光部１０８やＣＰＵ１０７には、スクロールバーのＧＵＩの表示及び制御に関する機能が追加される。すなわち、スクロールバーの移動操作を指示するリモコン１０９の操作信号をリモコン受光部１０８が受信すると、画像作成部１０３は、新たに一覧表示画像データに表示させる５枚のサムネイル画像データを取得する。そして、現在２、３、４行目に表示されているサムネイル画像データを１、２、３行目に配置すると共に、新たに取得した５枚のサムネイル画像データを４行目に配置し、サムネイル画像データの一覧表示画像データを更新する。ガンマ処理部１０５は、更新された一覧表示画像データを実施例１と同様の方法で分割領域に分割する。そして、分割領域のうち新たなサムネイル画像データを含む分割領域（４行目の分割領域）に対応する画像データを構成する画素の輝度値のヒストグラムを算出し、ヒストグラムに応じてガンマカーブを決定する。そして、該ガンマカーブを用いて、新たなサムネイル画像データを含む分割領域に対応する画像データの各々に対してガンマ補正を行なう。更新前後で共通するサムネイル画像データを含む分割領域（１、２、３行目の分割領域）に対応する画像データに対しては、更新前の一覧表示画像データの再構成時に２、３、４行目の分割領域に対応する画像データに対して行なわれたガンマ補正の結果を流用する。新たにガンマ補正を行なった分割領域（４行目の分割領域）に対応する画像データと、更新前の一覧表示画像データの再構成時にガンマ補正が行なわれた分割領域（１、２、３行目の分割領域）に対応する画像データと、から一覧表示画像データを再構成する。そして、該再構成した一覧表示画像データを表示部１０６に出力する。これにより、新たに一覧表示画像データに表示される５枚のサムネイル画像データに対しても、各サムネイル画像データの特徴に適応的なガンマ補正が行なわれ、画質劣化を抑制しつつ高コントラスト化することができる。更に、スクロール後のガンマ補正はスクロールによって新たに現われたサムネイル画像データを含む分割領域に対応する画像データに対してのみ実行される。従って、ガンマ補正処理に係る負荷を軽減することができ、スクロール操作に伴う一覧表示画像データの更新処理を円滑に行なうことが可能となる。

＜フローチャート＞
ここで、本実施例のテレビ放送受信装置１におけるサムネイル画像データの一覧表示画像データの生成表示の制御フローを、図６に基づいて説明する。

ステップＳ６０１からステップＳ６１１までの処理内容は、実施例１において説明した図４のフローチャートのステップＳ４０１からステップＳ４１１までの処理内容と同じであるから、説明を省略する。

ステップＳ６１２において、ユーザーのリモコン１０９の操作により一覧表示画像データのスクロールバーを下へスクロールさせる指示がなされたか否かを判定する。否と判定された場合は後述するステップＳ６１６へ進む。下へスクロールさせる指示がなされた場合にはステップＳ６１３へ進む。

ステップＳ６１３において、画像作成部１０３は、各行のガンマ補正画像データを１行
上へ移動させる。ガンマ補正画像データとは、ガンマ処理部１０５によってガンマ補正が行なわれた分割領域に対応する画像データである。各行のガンマ補正画像データを１行上へ移動させるとは、次の意味である。すなわち、１行目の分割領域１ｍ（１≦ｍ≦５）に対応する画像データを一覧表示画像データから消し、２、３、４行目の分割領域ｎｍ（２≦ｎ≦４、１≦ｍ≦５）に対応する画像データを１、２、３行目にそれぞれ配置することである。そして、画像作成部１０３は、新たに表示するサムネイル画像データに対応する画像データをＨＤＤ１０１から、又は外部メディアＩ／Ｆ１０２を介して記録メディアや外部機器から読み込む。読み込んだ画像データから新たに表示するサムネイル画像データを取得し、一覧表示画像データの最下行に配置する。図５の例では、画像作成部１０３は、サムネイル５１〜５５を、対応する画像データから取得し、スクロール前の一覧表示画像データにおいてサムネイル４１〜４５が配置されていた位置に配置する。このようにして一覧表示画像データが更新される。更新後の一覧表示画像データを分割して得られる分割領域のうち、最下行の分割領域以外の分割領域（図３（ｂ）の例では分割領域１１〜３５）に対応する画像データに対しては、更新前の一覧表示画像データの再構成時に既にガンマ補正がなされている。従って、以降の処理では新たなサムネイル画像データを含む最下行の分割領域（図３（ｂ）の例では分割領域４１〜４５）に対応する画像データに対してのみガンマ補正を行なう。

ステップＳ６１４において、ガンマ処理部１０５が、最下行の分割領域の各々に対応する画像データを構成する画素の輝度値のヒストグラムを算出する。

ステップＳ６１５において、ガンマ処理部１０５が、最下行の分割領域の各々に対応する画像データのヒストグラムに応じたガンマカーブを決定し、該ガンマカーブを用いて各分割領域に対応する画像データ毎にガンマ補正を行なう。

ステップＳ６１１へ進み、更新前の一覧表示画像データの再構成時にガンマ補正済みの分割領域１１〜３５に対応する画像データと、ステップＳ６１５で新たにガンマ補正された分割領域４１〜４５に対応する画像データと、から一覧表示画像データを再構成する。そして、再構成した一覧表示画像データを表示部１０６へ出力する。

ステップＳ６１６において、ユーザーのリモコン１０９の操作により一覧表示画像データのスクロールバーを上へスクロールさせる指示がなされたか否かを判定する。否と判定された場合は本フローチャートの処理を終了する。上へスクロールさせる指示がなされた場合にはステップＳ６１７へ進む。

ステップＳ６１７において、画像作成部１０３は、各行のガンマ補正画像データを１行下へ移動させる。各行のガンマ補正画像データを１行下へ移動させるとは、以下の意味である。すなわち、４行目の分割領域４ｍ（１≦ｍ≦５）に対応する画像データを一覧表示画像データから消し、１、２、３行目の分割領域ｎｍ（１≦ｎ≦３、１≦ｍ≦５）に対応する画像データを２、３、４行目にそれぞれ配置することである。そして、画像作成部１０３は、新たに表示するサムネイル画像データに対応する画像データをＨＤＤ１０１から、又は外部メディアＩ／Ｆ１０２を介して記録メディアや外部機器から読み込む。読み込んだ画像データから新たに表示するサムネイル画像データを取得し、一覧表示画像データの最上行に配置する。このようにした一覧表示画像データが更新される。更新後の一覧表示画像データを分割して得られる分割領域のうち、最上行の分割領域以外の分割領域（図３（ｂ）の例では分割領域２１〜４５）に対応する画像データに対しては、更新前の一覧表示画像データの再構成時に既にガンマ補正がなされている。従って、以降の処理では最上行の分割領域（図３（ｂ）の例では分割領域１１〜１５）に対応する画像データに対してのみガンマ補正を行なう。

ステップＳ６１８において、ガンマ処理部１０５が、最上行の分割領域の各々に対応する画像データを構成する画素の輝度値のヒストグラムを算出する。

ステップＳ６１９において、ガンマ処理部１０５が、最上行の分割領域の各々に対応する画像データのヒストグラムに応じたガンマカーブを決定し、該ガンマカーブを用いて各分割領域に対応する画像データ毎にガンマ補正を行う。

ステップＳ６１１に進み、更新前の一覧表示画像データの再構成時にガンマ補正済みの分割領域２１〜４５に対応する画像データと、ステップＳ６１９で新たにガンマ補正された分割領域１１〜１５に対応する画像データと、から一覧表示画像データを再構成する。そして、該再構成した一覧表示画像データを表示部１０６へ出力する。

以上の処理により、スクロール操作に伴って新たに一覧表示画像データに表示されるサムネイル画像データについても、画質劣化を抑制しつつ高コントラスト化することができ、しかもそのためのガンマ補正の処理負荷を最小限に抑えることができる。つまり、個々のサムネイル画像データの特徴に適応的な補正を行うことが可能となる。

１０３：画像作成部、１０４ 画像分割処理部、１０５：ガンマ処理部

Claims (3)

1. 複数のサムネイル画像データを配列させた画像データである一覧表示画像データを生成する生成手段と、
   前記一覧表示画像データにおいてサムネイル画像データが配置されている位置を表す配置情報を取得する取得手段と、
   前記取得した配置情報に基づいて、前記一覧表示画像データに配置された複数のサムネイル画像データの各々が他のサムネイル画像データと同じ分割領域に含まれないように前記一覧表示画像データを複数の分割領域に分割する分割手段と、
   前記サムネイル画像データを含む分割領域の各々について当該分割領域に対応する画像データを構成する画素の輝度値のヒストグラムを算出する算出手段と、
   前記ヒストグラムに基づいて前記分割領域毎のガンマ補正特性を決定し、決定したガンマ補正特性で各分割領域に対応する画像データに対してガンマ補正を行なう補正手段と、
   前記補正手段によりガンマ補正された前記各分割領域に対応する画像データを用いて前記一覧表示画像データを再構成し出力する出力手段と、
   を備えることを特徴とする画像処理装置。
2. 前記生成手段は、前記一覧表示画像データに含まれる複数のサムネイル画像データの一部を他のサムネイル画像データに置換することによって一覧表示画像データを更新する手段を有し、
   該更新する手段により一覧表示画像データが更新された場合、
   前記分割手段は、該更新された一覧表示画像データを前記分割領域に分割し、
   前記算出手段は、該分割領域のうち、前記他のサムネイル画像データを含む分割領域の各々について当該分割領域に対応する画像データを構成する画素の輝度値のヒストグラムを算出し、
   前記補正手段は、該ヒストグラムに基づいて前記他のサムネイル画像データを含む分割領域の各々のガンマ補正特性を決定し、決定したガンマ補正特性で前記他のサムネイル画像データを含む分割領域に対応する画像データに対してガンマ補正を行ない、
   前記出力手段は、該ガンマ補正が行なわれた分割領域に対応する画像データと、前記更新される前の一覧表示画像データの前記出力手段による再構成時に用いられた分割領域に対応する画像データのうち、前記他のサムネイル画像データによって置換されたサムネイル画像データを含む分割領域以外の分割領域に対応する画像データと、を用いて前記更新された一覧表示画像データを再構成し出力する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 画像処理装置が、
   複数のサムネイル画像データを配列させた画像データである一覧表示画像データを生成する生成工程と、
   前記一覧表示画像データにおいてサムネイル画像データが配置されている位置を表す配置情報を取得する取得工程と、
   前記取得した配置情報に基づいて、前記一覧表示画像データに配置された複数のサムネイル画像データの各々が他のサムネイル画像データと同じ分割領域に含まれないように前記一覧表示画像データを複数の分割領域に分割する分割工程と、
   前記サムネイル画像データを含む分割領域の各々について当該分割領域に対応する画像データを構成する画素の輝度値のヒストグラムを算出する算出工程と、
   前記ヒストグラムに基づいて前記分割領域毎のガンマ補正特性を決定し、決定したガンマ補正特性で各分割領域に対応する画像データに対してガンマ補正を行なう補正工程と、
   前記補正工程によりガンマ補正された前記各分割領域に対応する画像データを用いて前記一覧表示画像を再構成し出力する出力工程と、
   を実行することを特徴とする画像処理方法。

Images