JP2005032219A - 画像表示装置およびその画像表示方法 - Google Patents

Abstract

【課題】大量の画像を画面上に効率よく配置した状態においても、ユーザが容易に希望の画像を見つけることができる画像表示方法を提供する。
【解決手段】 画面上の各表示位置に対応して設けられたテーブルには、インデックスが付与され、当該表示位置における非露出部分を示すデータが保持されている。画像データのExifヘッダ情報から焦点位置情報を取得し、インデックスの順に、画像データが未登録のテーブルを検索する。未登録であれば、当該テーブルに保持された非露出部分と画像の焦点位置とを比較し、異なる場合には、当該テーブルに当該画像データを登録し、同じである場合には、次のインデックスのテーブルについて同様の処理を行う。テーブルに従い、各画像の焦点位置と、各表示位置の非露出部分とが異なる位置となるように画像を配置、表示する。
【選択図】 図３

Description

本発明はデジタル画像データをテレビ画面上で再生する為の画像表示方法に関するものである。

デジタルハイビジョン放送が開始され、ハイビジョン対応のテレビ受信機の普及により、従来よりも高画質で迫力のある映像を家庭で楽しめるようになってきている。また、電子スチルカメラの普及により、電子化した静止画および動画をパソコンだけでなく、テレビのモニター画面に表示して楽しむユーザも増えてきている。

テレビ受信機にて静止画や動画を見る場合には、ユーザはモニター画面に表示されたサムネイル画像の一覧を見て、そのサムネイル画像を選択することで、再生データを選択するのが一般的である。

一方、近年記憶容量を飛躍的に増大させたメモリの利用が可能になっており、これに伴い記憶できる画像の数も飛躍的に増大している。例えば、メモリカードは５００枚を超えるデジタル写真の記憶をすることができるようになってきている。

このような大量の画像データの中から、ユーザが所望の画像データを探し出すことは容易なことではなくなってきている。

大量のデータオブジェクトを効率よく画面に配置し、ユーザ自身の目で容易に選択できるようにする技術としては、例えば、特許文献１に、サムネイル画像を重ねるように表示させながら移動させ、所望のデータを容易に見つけられるようにする技術が開示されている。また、特許文献２には、画像を３Ｄ空間の中にデータを表示させ、仮想的な視点を移動することで所望のデータを見つけられるようにする技術が開示されている。
特開２００１−３０６３７５号公報 特開平９−２５９１３０号公報

しかしながら、従来の技術では、サムネイル画像同士が重なり合って表示され、写真を判別する為に重要な部分が隠れてしまう場合があった。例えば図１４に示すような写真Ａと写真Ｂがあった場合、写真Ａは画像の左部分にある「かけっこ」をしている子供達が重要な部分であり、また写真Ｂは画像の右側にある人物が重要である。これらの写真を他の写真とともに重ねるように表示すると同図（ａ）のように、重要な部分が隠れたまま表示されてしまうことがあった。

そのため、上記特許文献１及び特許文献２に開示された提案では、ユーザが表示画像をスクロールしたり、仮想的な視点の位置を動かすなどの操作を行って、その写真の重要な部分がみられるようにしてから、写真を判別するしかなかった。

本発明は上記問題に鑑みてなされるものであり、大量の画像を画面上に効率よく配置した状態において、ユーザが容易に希望の画像を見つけることができる画像表示方法を提供することを目的としている。

また、撮影されたほとんどのデジタル画像は、撮影者が被写対象とした領域とそれ以外
の領域とに分割できる。ここで、前者の領域を注目領域、後者の領域を非注目領域と呼ぶことにする。

画像表示装置の操作者が、大量のデジタル画像から所望する画像を検索する状況を考えると、個々のデジタル画像内の注目領域を判断していると考えられる。

従来、サムネイル画像を作成する際には、注目領域・非注目領域の区別無く一律で画像データを縮小する。このため、サムネイル画像一覧表示で複数画像を表示した場合、注目領域が小さく表示されることになる。従って、この方法で大量のデジタル画像の中から俯瞰により、注目領域を判断基準として所望の画像を見つけ出すことは難しい。

そこで特許文献３では、画像の顔領域を検出し、検出された顔領域を拡大してサムネイル画像一覧表示する手法が提案されている。この構成により注目領域として顔領域を検知し、その部分を拡大表示することによってデジタル画像の検索性を高めたシステムが可能となる。
特開２００２−３５８５２２号公報

しかし、この方法では注目領域を拡大した、サムネイル画像一覧表示のため、一画面上で表示可能な画像枚数は予め固定されている。このため表示可能な画像枚数を超える画像を表示させる場合、スクロール機能やページめくり機能などが別途必要となり、ユーザの操作が煩わしくなる。

また拡大した注目領域と元画像の両方をサムネイル画像表示した場合、さらに一画面上で表示可能な画像枚数は少なくなってしまう。

さらに、対象画像から顔領域が検知できなかった場合には、対処できない等の問題点があった。

以上の問題を解決する為に、本発明においては、多数の画像のうち少なくとも二つの画像の一部を重なり合わせて画面上に同時に表示する工程を含む画像表示方法であって、前記少なくとも二つの画像の各々の画像に関連付けられた関連情報を取得する工程と、前記取得された関連情報に基づいて、前記少なくとも二つの画像の重なりの前後関係を決定する工程と、を含むことを特徴としている。

また、本発明においては、多数の画像のうち少なくとも二つの画像の一部を重なり合わせて画面上に同時に表示する工程を含む画像表示方法であって、前記少なくとも二つの画像の各々の画像に関連付けられた関連情報を取得する工程と、前記取得された関連情報に基づいて、前記少なくとも二つの画像のうち、一方の画像の重ね合わせによって隠される部分と露出する部分を有する他方の画像の露出量及び／又は露出位置を決定する工程と、を含むことを特徴としている。

また、本発明においては、多数の画像のうち少なくとも二つの画像の一部を重なり合わせて画面上に同時に表示する工程を含む画像表示方法であって、前記少なくとも二つの画像の各々の画像の顔領域を検知する顔検知工程と、顔領域の大きさに基づいて、前記少なくとも二つの画像の重なりの前後関係を決定する工程と、を含むことを特徴としている。

また、本発明においては、多数の画像のうち少なくとも二つの画像の一部を重なり合わせて画面上に同時に表示 する工程を含む画像表示方法であって、前記少なくとも二つの
画像の各々の画像の顔領域を検知する顔検知工程と、顔領域の位置に基づいて、前記少な
くとも二つの画像のうち、一方の画像の重ね合わせによって隠される部分と露出する部分を有する他方の画像の露出量及び／又は露出位置を決定する工程と、を含むことを特徴としている。

本発明の画像表示装置およびその画像表示方法により、複数の画像を重ねて一覧表示した場合に、注目領域と考えられる部分を検知することで、この注目領域を重ならないように制御する。これにより、各画像の注目領域が必ず露出することにより、ユーザによる画像検索性と画像の大量表示の両立ができる構成となる。

また、複数の画像を重ねて一覧表示した場合に、画像の注目領域の大きさ順に上から重ねる制御を行う。これにより、注目領域の露出比率の高い一覧表示が、ユーザがデジタルカメラで撮影した大量のデジタル画像を画面上に重ねて表示することで効率よく配置することができる。さらに効率よく配置した状態においても、個々の画像に固有の情報を元に、ユーザが写真を判別する為に重要な部分が重ならないで表示されるようにすることが可能となる。

つまり本発明によればユーザが容易に所望の写真を見つけることができる。

また、複数の画像を重ねて一覧表示した場合でも、注目領域と考えられる部分を検知することで、この注目領域を重ならないように制御する。これにより、各画像の注目領域が必ず露出することにより、ユーザによる画像検索性と画像の大量表示の両立ができる構成となる。

さらに、複数の画像を重ねて一覧表示した場合に、画像の注目領域の大きさ順に上から重ねる制御を行う。これにより、注目領域の露出比率の高い一覧表示ができる。

以下図面を参照しながら本発明の実施形態を説明する。

（第１の実施形態）
まず、本発明の第１の実施形態について説明する。図１は本発明が適用される画像表示装置としてのデジタルテレビ受信装置１００の構成を示した図である。

図１において、不図示のアンテナにより受信された信号はチューナ部１０１に入力される。チューナ部１０１は、入力された信号に対して、復調、誤り訂正等の処理を施し、トランスポートストリーム（ＴＳ）と呼ばれる形式のデジタルデータを生成する。チューナ部は更に、生成したＴＳデータに対しデスクランブル解除処理を行い、デマルチプレクサ１０２に出力する。

デマルチプレクサ部１０２は、チューナ部１０１より入力された複数チャンネル分の映像、音声データ、および電子番組ガイド（ＥＰＧ）データ、データ放送データ等が時分割多重化されているＴＳデータの中から、映像データおよび音声データを取り出し、映像・音声デコーダ１０３に出力する。映像・音声デコーダで処理された映像データはビデオメモリ１０７に書き込まれ、表示合成部１０８を介して、表示器へと出力される。一方音声データは音声出力部１０４にて出力される。

１０９はカードスロットであり、リムーバブルメモリカード等を接続し、本実施形態においてはデジタルカメラとのデータのやり取りを行うために使用される。１０５は画像データ入力部であり、カードスロット１０９に接続されたメモリカードからデジタル画像デ
ータを読み込む。１０６は画像処理部であり、画像データ入力部より入力したデジタル画像データに対して画像処理を施し、ビデオメモリ１０７へと書き込む。

１１０は表示制御部であり、画像データ入力部１０５に対する画像読込の指示、画像処理部１０６に対する処理実行の指示、ビデオメモリ１０７への表示データの書き込み、表示合成部１０８に対する合成処理の指示、記憶部１１３に対する情報の記憶指示を行う。また、表示制御部１１０はユーザ入力部１１１を介してリモコン１１４からの入力データの取得、また画像データ入力部１０５を介して、デジタル画像データに付与された撮影データの取得も行なう。本実施形態では、表示制御部１１０が、重なり決定部及び露出決定部に相当する。

リモコン１１４の例を図２に示す。ただし本図は本実施形態を説明する為に必要な機能を実現するための操作を行うボタンのみを表すものであり、実際の受信装置に必要なボタンはこの限りでない。

図２において、２０１はリモコンと図１のユーザ入力部受光部１１１との赤外線通信を行うための発光部、２０２は電源をＯＮ／ＯＦＦする為の電源キー、２０３は上下左右ボタンの真中に決定キーを配したカーソル＆決定キー、２０４、２０５はＵｐ／Ｄｏｗｎ２つのキーからなるアップダウンキー、２０６は１〜９、０の数字がマトリクス上に並んだ数字キー、２０７は青、赤、緑、黄の４色のボタンが横一列に並んでいるカラーキーである。

また、２０８はテレビ受信機のモニターの表示モードを切替えるモニターモードキー、２０９は画像ビューア機能を呼出す為の「ビューワ」キーである。

本実施形態において用いたデジタル画像はデジタルカメラにて撮影された静止画および動画データであり、静止画データはデジタルカメラにてＪＰＥＧ圧縮処理を施された後、静止画像データファイルとしてメモリカードに記録されたものを用いている。また、動画データも同様にデジタルカメラにてフレーム単位でＪＰＥＧ圧縮処理された画像群を動画像データファイルとしてメモリカードに記録されたものを用いている。以後の説明で「画像ファイル」は静止画像データもしくは動画像データの事を示すとする。

それぞれの画像ファイルには、画像に関連付けられた関連情報として、デジタルカメラによる撮影時の情報が付与されている。撮影時の情報とは、撮影日時やカメラ機種名のほかに、撮影シーンモード、撮影時におけるファインダー内の焦点位置を示す焦点位置情報、ストロボ発光状態情報、被写体との距離を示す情報、ズーム状態情報などがある。

本実施形態で使用したデジタルカメラでは撮影時の撮影時におけるファインダー内の焦点位置情報として、「左」「中」「右」のうち何れかが記録されるものを用いている。

図１５は本実施形態で使用したデジタルカメラの液晶画面に表示される画面例を示したものであり、図中（ａ）はシャッターボタンに手を触れる前の状態、図中（ｂ）はシャッターボタンを軽く押した後、左側の矩形領域に焦点が合った状態を示している。

（処理動作）
本実施形態によるデジタルテレビ受信装置１００におけるデジタル画像の一覧表示は、ユーザがカードスロット１０９にメモリカードを装着し、リモコン操作によって、画像ビューア機能を呼びだすことによって開始される。

図３はデジタルテレビ受信装置における画像ビューア機能の一部の動作について表示制
御部１１０の動作を中心に示した図である。また、図５は表示制御部１１０が画像データの一覧表示のレイアウト制御を行う際に使用するテーブルデータである。また図４は、図５の各インデクスに対応つけられた画像表示位置を示した例である。以下これらの図を使って表示制御部１１０の動作処理の説明を行う。

ユーザが図２に示すリモコンの「ビューワ」キーを押下すると、表示制御部１１０は図３に示す処理を開始する。

まず表示制御部１１０は画像データ入力部１０５を介してメモリスロット１０９に挿入されているメモリカードにある画像ファイルの総数を読出し記憶する（Ｓ３０１）。そして次に１枚目の画像ファイルのExifヘッダ情報を読出しを行う（Ｓ３０２，Ｓ３０３）。

そして図５に示すテーブルの１番目の内容を読み出し（Ｓ３０４）、画像データが未登録であれば（Ｓ３０５）、先に読み出したExifヘッダ情報の中の焦点位置情報と、テーブルの「非露出部分」と比較し（Ｓ３０７）、同じであれば（Ｓ３０８）次のテーブルの内容を読み出す（Ｓ３０６，Ｓ３０４）。そして画像データが未登録であれば（Ｓ３０５）、Exifヘッダの情報に含まれる焦点位置情報と、テーブルの「非露出部分」とを比較する。ここで、同じでない場合には、この位置のテーブルに現在処理中の画像ファイルを登録する（Ｓ３０９）。

図５では「左」という焦点位置情報をもったＩＭＧ００１．ＪＰＧという画像が、１番目のインデクスの所では非露出部分も「左」であるため登録されず、２番目のインデクスの所で非露出部分と異なっている為、テーブルに登録された状態を示している。

このように表示制御部１１０はテーブルのインデクスの小さいほうから空いている場所を探していき、空いているところを見つけたら、インデクスに対応つけられた非露出部分と、画像ファイルの焦点位置情報とを比較し、同じであったら、次のテーブルに関して同様の処理を行う。

同様に２番目、３番目・・・とメモリカードの処理を続け、Ｍ（＝画像総数）番目の画像データの処理が終れば、テーブルに登録した内容に従って各画像の表示処理を行う。表示制御部１１０は画像入力部１０５を介してメモリカードからこの画像のデータを読出し（Ｓ３１４）、画像処理部１０６へと送りデコード処理を行った後（Ｓ３１８）、ビデオメモリ１０７に対して表示データを書き込むことで画像の表示を行う（Ｓ３１９）。

尚、特に図示しないが、図３の処理により、全ての画像の表示が行われると、ユーザはリモコンの上下左右キーを操作してカーソルを動かし、見たい画像を選択する。そして見たい画像のところで決定キーを押すと、その画像だけを画面に表示することができる。

（作用・効果）
以上説明した表示制御部１１０の処理により、得られる作用について説明する。図６（ａ）は「左」という焦点位置情報もった画像ファイルＩＭＧ００１．ｊｐｇが前述の処理によって図６の「１」（図４，５，６，１０，１１，１３における丸囲み数字を本文では、かぎかっこで囲んで表記する。）の場所ではなく、「２」の位置に配置された様子を示している。これにより、この画像の左側の被写体部分が露出されるようになり、例えば同図（ｂ）に示したように「１」の位置に配置された場合に比べ、容易にこの写真を見つけることが出来るようになる。

つまり本発明の第１の実施形態によれば、写真固有の情報を基にその写真を判別するのに適した部分を露出させることが出来るようになる。
また、上記説明においては撮影時に記録された焦点位置情報という情報を用いる例を紹介したが、それ以外にも例えばデジタルカメラが撮影シーンモードとして被写体位置あるいは焦点位置が固定されたモードを設定可能な場合には、この撮影シーンモードの情報を用いてもよい。例えば図１６のように「人物右」「人物左」といった撮影シーンモードを持ったデジタルカメラで撮影し、画像のExifヘッダ情報に「人物右」という情報があった場合、画像の右側部分を露出するように一覧表示位置を制御することで、上記説明と同様の作用が得られる。

なお、上記説明において、説明を簡便にするため画面上に１２枚の写真しか表示しない例を示したが、さらに大量の枚数を表示する場合であっても構わない。

（第２の実施形態）
次に本発明の他の実施形態について説明する。本実施形態で用いたデジタルテレビ受信装置の構成は図１と同じであるので説明は省略する。

本実施形態においても先の実施形態で用いたものと同様のデジタルカメラで撮影されたデジタル画像を用いるが、本実施形態で使用したデジタルカメラでは、特に撮影日時の情報、撮影時のカメラの向きを示す情報（つまり横長写真／縦長写真を示す）と、撮影時の撮影シーンモードとして「オートモード」「風景モード」「人物モード（ポートレートモード）」「ナイト（夜間撮影）モード」といったモード設定が記録されるものを用いている。ここでは、撮影シーンモードに関する設定情報が、撮影モードに関する情報に相当する。

（処理動作）
本実施形態のデジタルテレビ受信装置１００におけるデジタル画像の一覧表示は、ユーザがカードスロット１０９にメモリカードを装着し、リモコン操作によって、画像ビューア機能を呼びだすことによって開始される。

図７はデジタルテレビ受信装置における画像ビューア機能の一部の動作について表示制御部１１０の動作を中心に示した図である。また図８は図７の処理で使用される露出制御マスクの種類を示したものである。露出制御マスクは、焦点位置や撮影シーンモードに応じて露出量及び／露出位置が異なるものが用意されている。以下これらの図を使って説明する。

先ず表示制御部１１０はメモリカードに記録されている画像データの総数を取得し（Ｓ７０１）、１番目の画像データのExifヘッダ情報を読み込む（Ｓ７０２）。

この画像データのExifヘッダ情報に焦点位置情報が入っている場合（Ｓ７０４）、図８（ａ）に示した左露出用マスク、中央露出用マスク、右露出用マスクの３つの露出制御マスクのうち、焦点位置情報に対応した焦点位置の露出制御マスクを決定する（Ｓ７０５）。一方、画像データに焦点位置情報が無い場合において（Ｓ７０６）、撮影シーンモード情報がある場合には、図８の（ｂ）に示した露出制御マスクのうち、撮影シーンモード情報に対応した露出制御マスクを決定する。（Ｓ７０７）、また、Exifヘッダ情報に焦点位置情報も、撮影シーンモード情報も含まない場合には標準露出マスクに決定する（Ｓ７０８）。

そして、以降の画像データに対しても同様の処理を行って、露出制御マスクを決定していく（Ｓ７０９，Ｓ７１０，Ｓ７０３〜）。

図９は表示制御部１１０が行う表示処理の内容を示した図である。また図１０は本実施
形態で用いた画像データと、表示制御部１１０による図９の表示制御による画面上での様子を示した図である。図中（ａ）は本実施形態で用いた画像データを表した図である。使用した画像「１」〜「１０」は焦点位置情報が左、中、右の３種類のものが順番に並んでいるものとしている。

以下これらの図を用いて説明する。

先ず表示制御部１１０はメモリカードから１枚目の画像データのサムネイル画像を読み出し（Ｓ９０１〜Ｓ９０２）、画像のデコード処理を行い（Ｓ９０３）、図７の処理にて決定された露出制御マスクを使ってマスク処理を行う（Ｓ９０４）。このマスク処理としては各画素のデータに対して露出部分か否かを示すフラグデータを埋め込む処理を行う。

本実施形態においては、各画素の青成分（０〜２５５の値）の下位１ビットを使用してフラグデータとしている。つまり、画像の中で青の下位１ビットが０の画素は非露出部分、１のところは露出部分を意味するものとする。

次に表示制御部１１０は処理中の画像を画面上の予め定めた基準位置に配置する（Ｓ９０５）。本実施形態では基準位置を画面上で一覧表示しようとしている領域の左端と定めている。このとき配置しようとしている領域の下に露出部分を示すフラグデータを含んだ画素が無いかどうかを調べる（Ｓ９０６）。１枚目の画像データの場合には他の画像はないので、そのまま基準位置に配置される。

同様に２枚目の画像データを処理していく過程で、配置した画像の下に露出部分を示すフラグデータがある、つまり他画像の露出部分の上に重なってしまっている場合には（Ｓ９０７、Ｓ９０８）、配置した画像の位置を右方向に一定画素分動かして再配置する（Ｓ９０９）。

図中（ｂ）は２枚目までの表示処理が終った状態を表した図であり、２枚目の配置処理において、当初基準位置に配置されたものの、１枚目の画像の露出部分に重なってしまっている為、２枚目の画像は右方向に動かされ、１枚目の露出部分との重なりが無くなったところで配置処理が終った状態を示している。

次に３枚目の画像データを処理していく過程においても、基準位置に配置された時点では１枚目の画像の露出部分と重なっているので、再配置のために画像を移動する。但し図中（ａ）からわかるようにこの例では３枚目の画像は焦点位置情報が右側となっていた写真であり、右露出用マスクが用いられることが図７の処理で決定している画像である。表示制御部ではこの場合基準位置から左方向へ画像を動かし（Ｓ９１０）、他の画像の露出部分との重なりがなくなるところまで動かして再配置する。またこのとき表示制御部は配置済の画像群（ここでは１枚目と２枚目）を右にスライドさせ、３枚目の画像が図中点線で囲った一覧表示領域からはみ出さないようにする。また基準位置も同じ量だけ右に移動する（Ｓ９１３）。図１０（ｃ）はこのときの状態を表した図である。

４枚目以降の画像データについても同様の処理を行っていき、図１０の（ｄ）〜（ｆ）のように配置処理が進んでいく。

（作用・効果）
次に本実施形態における表示制御部１１０の処理による作用について説明するが、その前に図１１を使って本発明を使わない場合の表示例を説明する。図１１（ａ）は本発明を用いずに単純に画像を重ねて表示していく場合の表示例である。このとき全ての画像が図中（ｂ）のように中央部分に焦点位置がある場合には、図中（ｃ）のようにおおよそその
部分が露出されることになる。しかしながら、図中（ｄ）のように焦点位置が中央でない画像が混在している画像群を一覧表示した場合には、図中（ｅ）に示したように、一部の画像で露出部分がかなり隠れてしまうことになってしまう。

一般にユーザが本実施形態で用いたような複数の焦点位置を持つデジタルカメラにて撮影する際、ユーザ自身が重要と考えている部分に焦点が合っていることを確認しながら撮影するのが普通である。つまり焦点位置の近くの領域が隠れて表示されてしまうということは、多くの場合においてユーザが重要と感じた被写体、つまり写真を判別する為に重要な部分を隠しているといえる。

一方、上述してきた本実施形態における表示制御部１１０の処理を行った場合には、図中（ｆ）のようにいずれの画像においても焦点位置近くの領域が隠れることなく表示できる。

また、図１１では詳述しないが、図７および図８を用いてに示した露出制御マスクの決定処理において、「風景」「人物」といった撮影シーンモードによって露出制御マスクを切り替えることにより、焦点位置情報が無い場合でも、その写真の撮影シーンに合わせて露出部分や露出量を制御できることが出来るようになる。例えば風景写真の場合には風景全体がユーザにとっての「印象」として残っている場合が多く、画像を判別し選択するためには露出部分を多くする必要がある。一方、人物写真の場合には顔が判別できるように露出するだけでよく、露出部分はあまり多くなくてもよいという傾向がある。

このような、撮影シーンモードを反映した制御をすることで、判別しやすさを維持しながら画像の特性に合わせた効率的な画像配置を行うことが出来るようになる。

尚、上記説明では、一覧表示の方法として、画像を重ねながら横一列に並べていく場合だけを説明したが、本発明の主旨からすれば、画像の重ね合わせ方はこれに限られないことは当然であり、縦に重ねる場合、横にも縦にも重ねる場合であっても同様である。

また、上記説明では露出制御マスクを使ったマスク処理の説明において、青成分データの下位１ビットをフラグとして用いるとしたが、本発明の主旨からすればこれに限られるものではなく、画素ごとに専用のフラグビットを設けてもよいし、アルファブレンド量を示すデータのビットを用いても良い。

また、上記説明において、撮影シーンモードとして「風景」「人物」の２種類のみを例としてあげたが、これに限られないことは当然であり、「夜景」「マクロ」などといった撮影シーンであってもよい。

（第３の実施形態）
上記第２の実施形態においては、焦点位置情報、撮影シーンモード情報といったExifヘッダ情報からより効率的、かつ判別しやすい画像配置を行ったが、本発明の本質からすれば勿論これに限定することは無く、例えば撮影日時情報から効率的な画像配置を行うことが出来る。

本実施形態で用いるデジタルテレビ受信装置の構成は図１と同じであるので説明は省略する。

（処理動作）
図１３（ａ）は本実施形態で用いる画像データを示した図である。画像は時系列に並んでおり、画像下には撮影時間が示されている。

先ず表示制御部１１０はメモリカードから１番目の画像データのExifヘッダ情報を読み出し（Ｓ１２０１〜Ｓ１２０２）、さらに１番目の画像データのサムネイル画像を読み出す（Ｓ１２０３）。読み出された画像データを画像処理部１０６へ送り、デコード処理を行う（Ｓ１２０４）。

次に、（Ｎ−１）番目の画像の撮影時間を読出し（Ｓ１２０５）。ここで、Ｎ番目の画像の撮影時間と（Ｎ−１）番目の画像の撮影時間との差が１０秒以内であれば（図１３では「５」、「６」）、Ｎ番目と（Ｎ−１）番目の画像との重なり量を多くなるように制御する（Ｓ１２０６〜Ｓ１２０７）。一方、Ｎ番目の画像の撮影時間と（Ｎ−１）番目の画像の撮影時間との差が１０秒を超える場合には、Ｎ番目と（Ｎ−１）番目の画像との重なり量を所定の通常量となるように制御する（Ｓ１２０６，Ｓ１２０８）。

同様に（Ｎ＋１）番目以降の画像データについても同様の処理を行い、メモリカードに記録された全ての画像データに対して同様の処理を行ったところで処理を終了する（Ｓ１２０９〜Ｓ１２１０）。

このような制御により、図１３の（ｃ）に示すような配置で一覧表示される。

（作用・効果）
上記処理により、全ての画像を同じ重ね量で重ねていった場合（図１３の（ｂ））に比べ、より多くの画像を配置することが可能となる。この処理により撮影時間が１０秒以下と少ない画像群の場合、１枚だけは露出が多いが（図１３の（ｃ）における「６」）、残りの（「４」と「５」の）画像は少ない露出になる。露出部分が減ってしまう為、写真の判別の為には望ましくないように思えるが、一般にこのように撮影時間が非常に近い画像の場合、ユーザは露出の多い画像（「６」）の内容から、露出の少ない画像（「４」、「５」）の内容を推測できるため、特に画像の選択のために障害にはならないことがわかっている。

つまり、本実施形態の表示制御部１１０の処理によれば、画像の撮影時間の差に応じて、効率的な一覧表示を行うことが可能となる。

（第４の実施形態）
図１７は、本発明の実施形態に係る画像表示装置の構成を示したブロック図である。

ここで１１０１は画像表示装置全体を示している。１２０１は制御CPUであり、画像表
示装置１１０１の全体の制御を行っている。１２０３は画像表示部で、液晶やプラズマディスプレイ等の薄型画面を実現できるデバイスにより構成されている。画像表示部１２０３は、制御CPU１２０１に指示された画像を表示する。本実施形態では、制御CPU１２０１が重なり決定部及び露出決定部に相当し、画像表示部１２０３が表示器に相当する。

また、画像表示装置１１０１は、本発明の特徴である複数画像データの重ね一覧表示を表示する装置でもある。

１２０５は画像蓄積部で、ハードディスクなどの不揮発性記憶装置からなっている。ユーザの操作により、デジタルカメラやデジタルビデオカメラなどで撮影され、画像表示装置に取り込まれた画像を大量に蓄積保存することができる。

１２０７はメモリカードである。メモリカード１２０７は着脱可能な構成である。またメモリカード１２０７はデジタルカメラやデジタルビデオカメラ等の画像撮影機器とも接
続が可能であり、メモリカード１２０７を経由し、撮影された画像データを画像表示装置１１０１内に取り込むことができる。

１２０９は外部入力端子である。この端子を経由し、直接デジタルカメラやデジタルビデオカメラ等の画像撮影機器の画像データを画像表示装置１１０１内に取り込むことができる。

１２１１は画像デコーダ部である。画像蓄積部１２０５やメモリカード１２０７、外部入力端子１２０９から取り込まれた画像データはここで制御CPU１２０１等の画像表示装
置１１０１内部で扱えるデータフォーマットに変換される。

１２１３は顔検知処理部である。取り込まれた画像データ内に人物像があるか否かを判断し、人物像がある場合には、その領域を特定する処理を行う。処理の詳細については、後述する。

１２１５はキャッシュメモリである。画像デコーダ１２１１でデコードされた画像データの一時保持や、画像表示部１２０３に表示されている画像データの保持、顔検知処理部１２１３の一時データ保持などに使用される。

図１８は、注目領域検出の一手法として使用されている顔検知処理の処理フローを示したフローチャートである。

本処理は、重ね一覧表示の実行に先立ち、表示対象となる画像データより、顔検知処理部１２１３で実行される。処理開始後、ステップ１１０１へ進む。

ステップ１１０１では、画像データ内色データの中から肌色データが含まれる領域を探し出す処理を実行する。処理後、ステップ１１０３へ進む。

ステップ１１０３では、顔の特徴を示すパターン目や口の形状の画像パターンと対象画像とのパターンマッチング処理を実行する。処理後、ステップ１１０５へ進む。

ステップ１１０５では、ステップ１１０１およびステップ１１０３の処理結果にもとづき、対象画像内に顔領域が存在したか否かで処理を分岐している。すなわちもし顔領域が存在したら処理をステップ１１０７へ進める。またもし顔領域が存在しなければ本処理は終了となる。

ステップ１１０７では、ステップ１１０１およびステップ１１０３の処理結果より顔領域と判断したエリアの情報をキャッシュメモリ２１５へ書き出し、制御CPU１２０１へ処
理を戻すことで本処理は終了となる。

図１９（ａ）は、画像データの一例を示した図である。また図１９（ｂ）は、顔検知処理後の顔領域の判定結果による注目領域の範囲決定処理の一例を示した図である。

図１９（ａ）に示したような、人物像が写った画像データを、顔検知処理部１２１３により図１８で説明した処理の流れで、顔検知処理を実行する。図１９（ｂ）で示したように、顔領域として判断したエリアは１３０３と１３０５の部分である。図のように顔領域は円図形データとして認識される。

顔検知処理で検知された顔領域を注目領域と判断し、重ね一覧表示の制御に適用している。

顔検知処理は、被写体としての顔が画像データ全てに占める割合が大きい場合は検知率が良い。しかし、その割合が低い場合、顔を検知することができない場合がある。この場合の処理について、図２０（ａ）と図２０（ｂ）を用いて説明する。

図２０（ａ）は、画像データの一例を示した図である。また図２０（ｂ）は、撮影情報による注目領域の範囲決定処理の一例を示した図である。

デジタルカメラ等で撮影された画像データには、撮影時の情報を画像データ内に保持することができる(Exif情報)。このExif情報には撮影時の位置情報が含まれている。そこで本発明では、顔検知処理が失敗した場合、Exif情報の焦点位置情報を読み取る。図２０（ａ）で１４０３と１４０５で示した範囲である。

この焦点位置情報から位置情報を含んだ円図形で示される範囲を注目領域と認識している。図２０（ｂ）の１４０７で示した範囲である。

対象画像から顔領域が検知できなかった場合、このExif情報の焦点位置情報から注目領域を判断している。

図２１は、注目領域決定処理の処理フローを示したフローチャートである。

本処理は、重ね一覧表示の制御の前処理段階で実行する。処理開始後、ステップ１２０１へ進む。

ステップ１２０１では、画像蓄積部１２０５、メモリカード１２０７、外部入力端子１２０９から画像データを読み込み、画像デコーダ２１１でデコードした後、キャッシュメモ２１５へ画像データを格納している。処理後、ステップ１２０３へ進む。

ステップ１２０３では、読み取った画像を対象として、顔検知処理部１２０３により図１８で説明した顔検知処理を呼び出している。処理後、ステップ１２０５へ進む。

ステップ１２０５では、顔検知処理結果により顔領域が有ったか否かで処理を分岐している。すなわちもし顔領域が有った場合、処理をステップ１２０７へ進める。またもし顔領域が無かった場合には、処理をステップ１２０９へ進める。

ステップ１２０７では、対象画像内に顔領域が有ったと判断されたので、キャッシュメモリ内にある顔領域データを対象画像の注目領域データとして登録する処理を行う。当該登録処理後、本処理は終了となる。

ステップ１２０９では、対象画像にExif情報があるか否かで処理を分岐している。すなわちもしExif情報がある場合には、処理をステップ１２１１へ進める。またもし無ければ、処理をステップ１２１５へ進める。

ステップ１２１１では、Exif情報を対象画像データより読み込み、さらに焦点位置情報を読み出す処理を行う。処理後、ステップ１２１３へ進む。

ステップ１２１３では、図２０（ａ）と図２０（ｂ）で説明した焦点位置情報から注目領域に変換する処理を実行する。この領域を注目領域として登録する。当該登録処理後、本処理は終了となる。

ステップ１２１５では、対象画像から、顔領域が存在せず、Exif情報の取得もできなかったことから、画像の中心位置を注目領域として登録する処理を行う。当該登録処理後、本処理は終了となる。

ここで説明した処理は、重ね一覧表示の表示対象となる全ての画像データに対して実行される。

図２２（ａ）は、無作為に画像を重ね表示した場合の一例を示した図である。また図２２（ｂ）は、注目領域の大きさを考慮した画像を重ね表示した場合の一例を示した図である。

本発明の複数画像の重ね一覧表示は、各画像１５０１、１５０３、１５０５のそれぞれの注目領域部分１７０１、１７０３，１７０５の領域を保護領域として必ず画面上に表示する。これによりユーザの検索性を高めている。また他の領域は、非注目領域として他の画像の下に配置することで、効率よく画像を表示することができる。

図２２（ａ）で示したように無作為に画像を重ね表示した場合に比べ、図２２（ｂ）のように注目領域の大きいものを上にするように重ねて表示した方が、画面を有効に使用できる。この処理を取り入れることで、さらに効率よく画像を表示することができる。

図２３は、重ね表示処理の処理フローを示したフローチャートである。

本処理は、ユーザにより重ね一覧表示が選択された場合に実行される。処理開始後、ステップ１３０１へ進む。

ステップ１３０１では、図２１で説明した注目領域決定処理を実行する処理を呼び出している。表示対象となる画像のすべてについて、この処理を実行する。処理後、ステップ１３０３へ進む。

ステップ１３０３では、ステップ１３０１の注目領域決定処理をうけ、各画像の注目領域の大きい順番に並べ替える処理を実行している。処理後、ステップ１３０５へ進む。

ステップ１３０５では、画像を示す変数Nに先頭画像を示す１を設定している。またNの数字が大きくなるにつれ、下の方に重ねられて表示することを示している。処理後、ステップ１３０７へ進む。

ステップ１３０７では、変数Nで示された画像の位置を決定する処理が行われる。配置
位置の決定方法は乱数により座標値を求める方式となっている。ここで，配置位置の決定として，座標値は注目領域が最大限露出し，かつ非注目領域が最大限上位画像に隠れる位置が選択される。処理後、ステップ１３０９へ進む。

ステップ１３０９では、配置された画像が規制角度範囲に収まっているか否かを判断している。これは余りに画像表示角度が大きいと、ユーザから見づらい印象を与えるためである。規定範囲外と判断された場合は処理を、ステップ１３０７に戻す。また規定範囲内であった場合は、処理をステップ１３１１へ進める。

ステップ１３１１では、配置対象画像の注目領域に上位画像が重なっているか否かを判断している。もし重なっている判断された場合には、処理をステップ１３０７に戻す。またもし重なっていないと判断した場合には処理をステップ１３１３へ進める。

ステップ１３１３では、変数Nに格納された値が、表示対象の最終画像を示しているか
否かで処理を分岐させている。すなわち最終画像の場合には、処理をステップ１３１７に進める。また最終画像でない場合には、処理をステップ１３１５へ進める。

ステップ１３１５では、変数Nの値をインクリメントし、次の画像の配置位置を決定す
る処理が繰り返される。

ステップ１３１７では、表示対象となる全ての画像の配置位置が決定したことにより、画像表示部１２０１に重ね一覧表示を実行する処理を呼び出している。表示終了後、本処理は終了となる。

図２４は、重ね一覧表示の一実施例を示した図である。画像表示部１２０１上に各画像の注目領域が必ず表示しているのが分かる。

（第５の実施形態）
本実施形態に係る画像表示装置の基本構成は、第４の実施形態と同じである。ただし、図２１で説明した注目領域検知について、顔検知処理より焦点位置情報を優先した構成である。

図２５は、本実施形態の注目領域決定処理の処理フローを示したフローチャートである。

本処理は、重ね一覧表示の制御の前処理段階で実行する。処理開始後、ステップ１４０１へ進む。

ステップ１４０１では、画像蓄積部１２０５、メモリカード１２０７、外部入力端子１２０９から画像データを読み込み、画像デコーダ２１１でデコードした後、キャッシュメモ２１５へ画像データを格納している。処理後、ステップ１４０３へ進む。

ステップ１４０３では、対象画像にExif情報があるか否かで処理を分岐している。すなわちもしExif情報がある場合には、処理をステップ１４０７へ進める。またもし無ければ、処理をステップ１４０５へ進める。

ステップ１４０５では、読み取った画像を対象として、顔検知処理部１２０３により図１８で説明した顔検知処理を呼び出している。処理後、ステップ１４１１へ進む。

ステップ１４０７では、Exif情報を対象画像データより読み込み、さらに焦点位置情報を読み出す処理を行う。処理後、ステップ１４０９へ進む。

ステップ１４０９では、図２０（ａ）と図２０（ｂ）で説明した焦点位置情報から注目領域に変換する処理を実行する。この領域を注目領域として登録する。当該登録処理後、本処理は終了となる。

ステップ１４１１では、顔検知処理結果により顔領域が有ったか否かで処理を分岐している。すなわちもし顔領域が有った場合、処理をステップ１４１３へ進める。またもし顔領域が無かった場合には、処理をステップ１４１５へ進める。

ステップ１４１３では、対象画像内に顔領域が有ったと判断されたので、キャッシュメモリ内にある顔領域データを対象画像の注目領域データとして登録する処理を行う。当該登録処理後、本処理は終了となる。

ステップ１４１５では、対象画像から、顔領域が存在せず、Exif情報の取得もできなかったことから、画像の中心位置を注目領域として登録する処理を行う。当該登録処理後、本処理は終了となる。

（第６の実施形態）
本実施形態に係る画像表示装置の基本構成は、第４の実施形態と同じである。ただし、注目領域は、顔検知領域と撮影情報の論理和を取っている。

図２６は、本実施形態の注目領域検知後の結果を示した図である。領域１５０１が顔検知による注目領域、領域１５０３は焦点領域、領域１５０５は焦点領域１５０３より変換した注目領域となる。本実施形態は、注目領域を領域１５０１と領域１５０５の論理和で決定している。

（第７の実施形態）
本実施形態に係る画像表示装置の基本構成は、第２の実施形態と同じである。ただし、表示制御部１１０の動作の流れが異なる。図２７は、本実施形態での表示制御部１１０の動作の流れを示すチャート図である。また図２７の処理で使用される露出制御マスクの種類は、図８に示したものと同様である。露出制御マスクは、焦点位置や撮影シーンモードに応じて露出量及び／露出位置が異なるものが用意されている。以下これらの図を使って説明する。

先ず表示制御部１１０はメモリカードに記録されている画像データの総数を取得し（Ｓ１５０１）、１番目の画像データの顔検知を実行する（Ｓ１５０３、Ｓ１５０５）。

対象の画像データ内で顔が検知された場合（Ｓ１５０７）、図８（ａ）に示した左露出用マスク、中央露出用マスク、右露出用マスクの３つの露出制御マスクのうち、焦点位置情報に対応した焦点位置の露出制御マスクを決定する（Ｓ１５０９）。

一方で、対象の画像データ内で顔が検知できなかった場合、Exifヘッダ情報の読取を行い（Ｓ１５１１）、その中における焦点位置情報の有無を判断する（Ｓ１５１３）。もし焦点位置情報があった場合、焦点位置情報を元に図８（ａ）に示した露出マスクを決定する（Ｓ１５１５）。

また焦点位置情報が無かった場合、撮影シーン情報の有無を判断し（Ｓ１５１７）、撮影シーンがあった場合、撮影シーンモード情報に対応した露出制御マスクを決定する。（Ｓ１５１９）。

そして、以降の画像データに対しても同様の処理を行って、露出制御マスクを決定していく（Ｓ１５２３，Ｓ１５０５〜）。

図１は本発明の第１の実施形態におけるテレビ受像機の構成を示すブロック図である。 図２は本実施形態のテレビ受像機のリモコンを示すブロック図である。 図３は第１の実施形態における表示制御部１１０の動作の流れを示すチャート図である。 図４は第１の実施形態における表示制御部１１０が重なり制御するために用いた情報テーブルに含まれるレイアウト情報を示した図である。 図５は第１の実施形態における表示制御部１１０が重なり制御するために用いた情報テーブルの内容を示した図である。 図６は第１の実施形態における重なり制御の作用を示した図である。 図７は第２の実施形態における表示制御部１１０の動作の流れを示すチャート図である。 図８は第２の実施形態における表示制御部１１０が重なり制御するために用いた露出制御マスクの種類を示した図である。 図９は第２の実施形態における表示制御部１１０の動作の流れを示すチャート図である。 図１０は第２の実施形態における重なり制御の動作例を示した図である。 図１１は本発明を使わない場合の重ね表示の例と、本発明の第２の実施形態における重なり制御の作用を示した図である。 図１２は第３の実施形態における表示制御部１１０の動作の流れを示すチャート図である。 図１３は第３の実施形態における重なり制御の動作例を示した図である。 図１４は本発明を使わない場合の画像一覧の表示例と、本発明を使った画像一覧の表示例を示した図である。 図１５は本実施形態で使用したデジタルカメラの液晶画面に表示される画面例を示したものである。 図１６は本発明の第１、第２の実施形態で用いた焦点位置を記録可能なデジタルカメラにおける撮影時の液晶モニターの状態を示した図である。 図１７は、本発明の実施形態に係る画像表示装置の構成を示したブロック図である。 図１８は、注目領域検出の一手法として使用されている顔検知処理の処理フローを示したフローチャートである。 図１９（ａ）は、画像データの一例を示した図であり、図１９（ｂ）は、顔検知処理後の顔領域を判定結果の一例を示した図である。 図２０（ａ）は、画像データの一例を示した図であり、図２０（ｂ）は、撮影情報による注目領域の範囲決定処理の一例を示した図である。 図２１は、第４の実施形態の注目領域決定処理の処理フローを示したフローチャートである。 図２２（ａ）は、無作為に画像を重ね表示した場合の一例を示した図であり、図２２（ｂ）は、注目領域の大きさを考慮した画像を重ね表示した場合の一例を示した図である。 図２３は、重ね表示処理の処理フローを示したフローチャートである。 図２４は、重ね一覧表示の一実施例を示した図である。 図２５は、第５の実施形態の注目領域決定処理の処理フローを示したフローチャートである。 図２６は、第６の実施形態の注目領域検知後の結果を示した図である。 図２７は、第７の実施形態での表示制御部１１０の動作の流れを示すチャート図である。

符号の説明

１００ デジタルテレビ受信装置
１０５ 画像データ入力部
１０６ 画像データ処理部
１０７ ビデオメモリ
１０８ 表示合成部
１０９ カードスロット
１１０ 表示制御部
１１３ 記憶部
１１２ 表示器
１１０１ 画像表示装置
１２０１ 制御CPU
１２０３ 画像表示部

Claims (14)

1. 多数の画像のうち少なくとも二つの画像の一部を重なり合わせて画面上に同時に表示する工程を含む画像表示方法であって、
   前記少なくとも二つの画像の各々の画像に関連付けられた関連情報を取得する工程と、
   前記取得された関連情報に基づいて、前記少なくとも二つの画像の重なりの前後関係を決定する工程と、
   を含む画像表示方法。
2. 多数の画像のうち少なくとも二つの画像の一部を重なり合わせて画面上に同時に表示する工程を含む画像表示方法であって、
   前記少なくとも二つの画像の各々の画像に関連付けられた関連情報を取得する工程と、
   前記取得された関連情報に基づいて、前記少なくとも二つの画像のうち、一方の画像の重ね合わせによって隠される部分と露出する部分を有する他方の画像の露出量及び／又は露出位置を決定する工程と、
   を含む画像表示方法。
3. 多数の画像のうち少なくとも二つの画像の一部を重なり合わせて画面上に同時に表示する工程を含む画像表示方法であって、
   前記少なくとも二つの画像の各々の画像の顔領域を検知する顔検知工程と、
   該顔領域の大きさに基づいて、前記少なくとも二つの画像の重なりの前後関係を決定する工程と、
   を含む画像表示方法。
4. 多数の画像のうち少なくとも二つの画像の一部を重なり合わせて画面上に同時に表示する工程を含む画像表示方法であって、
   前記少なくとも二つの画像の各々の画像の顔領域を検知する顔検知工程と、
   該顔領域の位置に基づいて、前記少なくとも二つの画像のうち、一方の画像の重ね合わせによって隠される部分と露出する部分を有する他方の画像の露出量及び／又は露出位置を決定する工程と、
   を含む画像表示方法。
5. 前記関連情報は撮影情報を含む請求項１または２に記載の画像表示方法。
6. 前記撮影情報は、焦点位置に関する情報を含み、
   前記少なくとも二つの画像の重なりの前後関係を決定する際に、前記焦点位置を含む領域の大きさに基づいて決定する請求項５に記載の画像表示方法。
7. 前記撮影情報は、焦点位置に関する情報を含み、
   前記露出量及び／又は露出位置を決定する際に、前記焦点位置を含む領域を露出するように決定する請求項５に記載の画像表示方法。
8. 前記撮影情報は、前記画像の撮影日時に関する情報を含み、
   前記露出量及び／又は露出位置を決定する際に、重ね合わされる二つの画像の撮影日時が同一又は近接している場合における、前記他方の画像の露出量が、撮影日時が離隔している場合の前記他方の画像の露出量よりも少なくなるように露出量を決定する請求項５に記載の画像表示方法。
9. 前記撮影情報は、前記画像の撮影モードに関する情報を含み、
   前記露出量及び／又は露出位置を決定する際に、前記撮影モードに応じた領域が露出する
   ように露出量及び／又は露出位置を決定する請求項５に記載の画像表示方法。
10. 請求項１乃至９のいずれか一項に記載の画像表示方法を実行させるプログラム。
11. 多数の画像のうち少なくとも二つの画像の一部を重なり合わせて画面上に同時に表示するように画像表示器に画像信号を供給する装置であって、
    前記少なくとも二つの画像の各々の画像に関連付けられた関連情報を取得する関連情報取得部と、前記取得された関連情報に基づいて、前記少なくとも二つの画像の重なりの前後関係を決定する重なり決定部と、を有する画像表示装置。
12. 多数の画像のうち少なくとも二つの画像の一部を重なり合わせて画面上に同時に表示するように画像表示器に画像信号を供給する装置であって、
    前記少なくとも二つの画像の各々の画像に関連付けられた関連情報を取得する関連情報取得部と、前記取得された関連情報に基づいて、前記少なくとも二つの画像のうち、一方の画像 の重ね合わせによって隠される部分と露出する部分を有する他方の画像の露出量及
    び／又は露出位置を決定する露出決定部と、を有する画像表示装置。
13. 多数の画像のうち少なくとも二つの画像の一部を重なり合わせて画面上に同時に表示するように画像表示器に画像信号を供給する装置であって、
    前記少なくとも二つの画像の各々の画像の顔領域を検知する顔検知部と、
    顔領域の大きさ基づいて、前記少なくとも二つの画像の重なりの前後関係を決定する 重
    なり決定部と、を有する画像表示装置。
14. 多数の画像のうち少なくとも二つの画像の一部を重なり合わせて画面上に同時に表示するように画像表示器に画像信号を供給する装置であって、
    前記少なくとも二つの画像の各々の画像の顔領域を検知する顔検知部と、
    顔領域の位置に基づいて、前記少なくとも二つの画像のうち、一方の画像の重ね合わせによって隠される部分と露出する部分を有する他方の画像の露出量及び／又は露出位置を決定する露出決定部と、
    を有する画像表示装置。

Images