JP2005173471A - 画像表示方法 - Google Patents

Abstract

【課題】 アスペクト比が１６：９のモニターの全画面で、縦横比４：３又は３：２の静止画像を上下切り取って表示する際に、画像の顔や頭が欠けて表示されるのを防ぐ。
【解決手段】 静止画像の表示時、該画像データに対する顔検知を行い、検知された顔領域に従って、１６：９で表示するための画像切り取り位置を制御する。
【選択図】 図４

Description

本発明は、画像データを画面上に表示する画像表示方法に関するものである。

デジタルハイビジョン放送が開始され、ハイビジョン対応のテレビ受信機の普及により、従来よりも高画質で迫力のある映像を家庭で楽しめるようになってきている。一方電子スチルカメラの普及により、電子化した静止画像及び動画をパソコンだけでなく、大画面ハイビジョンテレビのモニター画面に表示して楽しむユーザーも増えてきている。

ハイビジョンテレビはハイビジョン放送のアスペクト比１６：９にあわせ、表示画面のアスペクト比も１６：９、もしくはそれに近いものがほとんどである。一方、デジタルカメラで撮影された静止画像はそのアスペクト比が４：３や３：２などのものが一般的である。そのため、ハイビジョンテレビ画面に静止写真画像等を表示する際には、図１２（ａ）に示す画像５０１のように左右に枠などをつけて表示するのが一般的である。

また、静止画像を視聴する際に、ハイビジョン放送のように映像の迫力を感じたい場合には、テレビ画面全体に静止画像を表示するモードに切替えて視聴することも可能である。しかしこの場合、静止画像の上下部分を切り取って表示する必要があり、写真によっては図１２（ｂ）に示す画像５０２のように人物の顔や頭が欠けてしまうという問題があった。従来このような場合には、ユーザーはリモコン操作などで、画像全体を表示する表示モードに切替えたり、切り取り位置を変更したりする操作を行う必要があった。

被写体人物の顔や頭が欠けないように表示する技術が特許文献１に提案されている。特許文献１では、携帯端末間でテレビ電話を行う際に手ぶれ等による映像の振れを防ぐために、顔領域を常に映像の中心もしくは固定の位置に来るように制御する技術が提案されている。
特開２０００−１５６８４９号公報

しかしながら特許文献１で提案された技術では写真に写っている人の顔が欠けないようにすることは可能になるものの、テレビ画面にてデジタルカメラで撮影された静止画像を視聴するという利用形態においては、解決できない課題も存在する。

例えば、特許文献１では、携帯端末の送信側で顔領域を切り取って固定解像度にしてから受信側に送信している。そのため、様々な解像度、特に４：３、や３：２といった複数のアスペクト比の混在する静止画像データには対応できなかった。また、特許文献１では、コミュニケーションを円滑に行うために人物の顔を固定位置に表示しているが、静止画像を視聴して楽しむという観点から見ると撮影者が意図した構図が無視されてしまうという問題があった。

本発明は上記の課題に鑑みなされたもので、その目的とするところは、ユーザーの操作性を損なうことなく静止画像を画像表示装置に表示することのできる画像表示方法を提供することにある。

また、本発明の他の目的は、様々な記録フォーマットのデジタルカメラで撮影された静止画像をデジタルハイビジョンテレビで迫力ある映像として楽しむ際に、ユーザーに面倒
な操作をさせることなく、写っている人物の顔や頭が欠けてしまうという不具合をなくすことのできる画像表示方法を提供することにある。

また、本発明の他の目的は、撮影者の意図した構図を大きく変えないようにすることのできる画像表示方法を提供することにある。

上記目的を達成するために本発明に係る画像表示方法にあっては、
静止画像データを記録媒体から読み出すステップと、
該静止画像データより画像の特徴領域検知を行う特徴領域検知ステップと、
画面サイズのアスペクト比をＭ：Ｎとして該静止画像を表示した時の該静止画像の切り取り位置を、前記特徴領域検知ステップの結果に基づいて決定する切り取り位置決定ステップと、
前記切り取り位置決定ステップの結果に従って、画面サイズのアスペクト比がＭ：Ｎのモニターの全面に該静止画像を表示する表示ステップと、
を有することを特徴とする。

本発明の画像表示方法は、画面サイズのアスペクト比と表示しようとする静止画像の特徴領域とから静止画像の切り出し位置を決定し、モニターに表示することで、ユーザーの操作性を損なうことなく静止画像を画像表示装置に表示することができる。

また、例えば、様々な記録フォーマットのデジタルカメラで撮影された静止画像をデジタルハイビジョンテレビで迫力ある映像として楽しむ際に、ユーザーに面倒な操作をさせることなく、写っている人物の顔や頭が欠けてしまうという不具合をなくすことができる。

また、撮影者の意図した構図を大きく変えないように画面サイズのアスペクト比がＭ：Ｎのモニターに静止画像を表示することができる。

以下に図面及び実施例を参照して、この発明を実施するための最良の形態を例示的に詳しく説明する。但し、この実施例に記載されている構成部品の機能や相対配置などは、特に特定的な記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。

まず、本発明を好適に採用することができる画像表示装置の一例を説明する。図１は実施例に係るデジタルテレビ受信装置１００のブロック図である。

（各部の説明）
図１において、不図示のアンテナにより受信された信号はチューナ部１０１に入力される。チューナ部１０１は、入力された信号に対して、復調、誤り訂正等の処理を施し、トランスポートストリームと呼ばれる形式のデジタルデータを生成する。チューナ部１０１は更に、生成したトランスポートストリーム（ＴＳ）データに対しデスクランブル解除処理を行い、デマルチプレクサ部１０２に出力する。

デマルチプレクサ部１０２は、チューナ部１０１より入力された、複数チャンネル分の映像データ、音声データ、電子番組ガイド（ＥＰＧ）データ、データ放送データ等が時分割多重化されているＴＳデータの中から、映像データ及び音声データを取り出し、映像・
音声デコーダ部１０３に出力する。

映像・音声デコーダ部１０３で処理された映像データは、ビデオメモリ１０７に書き込まれ、表示合成部１０８を介して、表示器１１２へと出力される。一方音声データは音声出力部１０４にて出力される。

本実施例で使用する表示器１１２は、横方向が１２８０画素、縦方向が７２０画素からなるものを使用している。

カードスロット１０９は、デジタルカメラやデジタルビデオカメラ等に用いる記憶媒体を接続し、画像データを表示装置とやり取りする際に使用するものである。記憶媒体としては、フロッピー（登録商標）ディスクやハードディスク等の磁気記録媒体、ＣＤ、ＣＤ−Ｒ、ＣＤ−ＲＷやＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等の光ディスク媒体、フラッシュメモリを用いた種々の小型メモリカード、等のリムーバブル記憶媒体を用いることができる。また、カードスロット１０９を介さず、ケーブルや無線により直接、デジタルカメラやデジタルビデオカメラとデジタルテレビ受信装置１００と画像データのやり取りを行ってもよい。

画像データ入力部１０５は、カードスロット１０９に接続された記憶媒体からデジタル画像データを読み込む。画像デコーダ１０６は、画像データ入力部１０５より入力したデジタル画像データをデコード処理する。

表示制御部１１０は、画像データ入力部１０５に対する画像読込の指示、画像デコーダ１０６に対する処理実行の指示、ビデオメモリ１０７への表示データの書き込み、表示合成部１０８に対する合成処理の指示、記憶部１１３に対する情報の記憶指示を行う。また、表示制御部１１０は、リモコン２００（図２参照）からの入力データをユーザー入力部１１１を介して取得し、また画像データ入力部１０５を介してデジタル画像データに付与された撮影データの取得も行う。

次に、リモコン２００の例を図２に示す。なお、図２に示すリモコンは、本実施例を説明するために必要な機能を実現するための操作を行うボタンのみを表しており、ボタンの数、種類、配置はこれに限られるものではなく、実際の受信装置に必要な機能に応じて適宜選択されるものである。

図２において、発光部２０１は、リモコン２００と図１に示すユーザー入力部１１１との赤外線通信を行う。電源キー２０２は電源をＯＮ／ＯＦＦするためボタンである。カーソル・決定キー２０３は上下左右ボタンの真中に決定キーを配している。アップダウンキー２０４、２０５はＵｐ／Ｄｏｗｎ２つのボタンからなる。数字キー２０６は１〜９、０の数字に対応するボタンがマトリクス上に並んだものである。カラーキー２０７は青、赤、緑、黄の４色のボタンが横一列に並んだものである。

また、モニターモードキー２０８はテレビ受信装置１００のモニターの表示モードを切替える。ビューワ・キー２０９は画像ビューア機能を呼出すためのボタンである。

本実施例において用いたデジタル画像はデジタルカメラにて撮影された静止画像データである。この静止画像データはデジタルカメラにてＪＰＥＧ圧縮処理を施された後、静止画像データのファイルとしてメモリカードに記録されたものを用いている。以後の説明では「画像ファイル」は静止画像データの事をいう。

（処理動作説明）
本実施例によるデジタルテレビ受信装置１００におけるデジタル画像の表示は、ユーザーがカードスロット１０９にメモリカードを装着し、リモコン操作によって、画像ビューア機能を呼びだすことによって開始される。また、これに伴い、メモリカードから画像データが読み出される。

図３はデジタルテレビ受信装置１００における画像ビューア機能の一部の動作について表示制御部１１０の動作を中心に示したフローチャートである。以下図３を参照して説明する。

（静止画像シングル表示の開始）
ユーザーが図２に示すリモコンのビューワ・キー２０９を押下すると、表示制御部１１０は図３に示す処理を開始する。

まず表示制御部１１０は画像データ入力部１０５を介してカードスロット１０９に挿入されているメモリカードにある画像ファイルの総数Ｚを読出し記憶する（Ｓ３０１）。次に画像ファイル番号Ｎとして１が記憶される（Ｓ３０２）。そして画像ファイルの総数Ｚと画像ファイル番号Ｎとを比較して（Ｓ３１０）、画像ファイル番号Ｎが画像ファイルの総数Ｚ以下であれば、Ｎ番目の画像ファイルを読み出して静止画像のサイズ情報を取得する（Ｓ３０３）。

その後、表示制御部１１０はＮ番目の画像ファイルの画像データを画像デコーダ１０６へと送りデコード処理を行い（Ｓ３０４）、デコード後の画像データを使って特徴領域検知処理（顔検知処理）を行う（Ｓ３０５）。

（特徴領域検知処理）
特徴領域検知処理では、静止画像データより画像の特徴領域検知を行う。本実施例における特徴領域検知処理では、画像データに含まれる顔が配置されている領域を判定検知する。そして、顔が配置されている領域によって、その後の画像変換の方法を適宜選択することになる。なお、検知する領域は顔に限られるものではなく、その画像データの特徴からその特徴領域が推測できるものであれば良く、例えば検知する領域として風景や建物、車、花等、ユーザーの嗜好やニーズにより種々選択可能としても良い。

具体的には、特徴領域検知処理（顔検知処理）では画像中から顔の特徴となる目や口のパターンを検索し、一致した場合に肌色の有無や輪郭の有無を確認して顔であるか判定を行う。顔であると判定した場合には顔検知数を１加算し、顔の位置情報（画像データの左上端を基点としたＸ，Ｙ座標）と共に記憶部１１３に保存する。なお、目、口、肌色の判定からは図１１の領域７０１を検知するが、本実施例においては、人物の頭の部分も顔領域とするために、一定の割合で領域を拡張し、図１１の領域７０２を顔領域と判定する。

顔検知処理の結果として顔領域の数（顔検知数）とそれぞれの顔領域の位置、大きさ、つまり画像における座標（Ｘ，Ｙ）と大きさ（幅、高さ）が記憶部１１３に記憶される。

（切り取り位置決定処理）
切り取り位置決定処理は、記憶媒体から読み出した静止画像を画面サイズのアスペクト比をＭ：Ｎとして表示するために、前記静止画像の切り取り位置を前記特徴領域検知ステップの結果に基づいて決定するステップである。本実施例においては、Ｎ枚目の画像の顔検知処理が終了すると、その結果を基にＮ枚目に対する切り取り位置決定処理を実行する（Ｓ３０６）。

図４は、本実施例に係る切り取り位置決定処理を説明するためのフローチャートである
。切り取り位置決定処理では、はじめに、前述の顔検知処理の結果から画像４０１（図５（ａ）参照）の顔領域の総面積Ａ１を求める（Ｓ３０６ａ）。そしてＳ３０３の処理で取得した画像のサイズ情報から縦横比を求めて、切り取りサイズを算出する（Ｓ３０６ｂ）。例えば、表示画面のアスペクト比（縦横比）が１６：９になるように表示するためには、上下方向に何ライン分切り取らなければならないかを式１で算出する。

切り取るライン数＝画像の高さ−（画像の幅／１６×９）・・・（式１）

例えば１６００×１２００（４：３）画素の画像データである場合には、１６：９の画面に表示するためには１２００−（１６００／１６×９）＝３００ライン切り取ることになる。

また、２４００×１６００（３：２）画素の画像データである場合には、１６００−（２４００／１６×９）＝２５０ライン分切り取ることになる。

次に、画像の上を切り取る場合、上下均等に切り取る場合、下を切り取る場合の３通りで画像を切り取り、切り取られたそれぞれの画像の画像データを記憶部に記憶する（Ｓ３０６ｃ）。

そして、３つの画像データに対し、前述の顔検知処理によって得られた顔領域が含まれる面積（Ａ２、Ａ３、Ａ４）を算出する（Ｓ３０６ｄ）。

顔領域が含まれる面積（Ａ２、Ａ３、Ａ４）に基づいて、図５（ｃ）のように、上下均等に切り取った画像４０３に含まれる顔領域の面積Ａ３が前述の画像の顔領域の総面積Ａ１と等しいならば、切り取り位置はそのまま上下均等と決定し、画像の中央部を切り取り後述の表示処理へ進む。

また、画像の上下を均等に切り取った場合（図６（ｃ）、図７（ｃ））に画像４０３に含まれる顔領域の面積Ａ３が、切り取る前の画像４０１の顔領域の総面積Ａ１よりも小さいが、画像の上を切り取った場合（図７（ｂ））に残った画像４０２に含まれる顔領域の面積Ａ２又は画像の下を切り取った場合（図６（ｄ））に残った画像４０４に含まれる顔領域の面積Ａ４のいずれかが顔領域の総面積Ａ１と同じ場合（Ｓ３０６ｆ）、切り取り後の画像に含まれる顔領域の面積Ａ２又はＡ４＝画像の顔領域の総面積Ａ１の状態を維持しつつ、切り取り領域を上下均等に近づくようにずらし、最終的な切り取り位置を決定する。

例えば図６のように画像４０１の上方に顔領域がある場合には、画像４０１の下を切り取った場合に残った画像４０４に含まれる顔領域の面積Ａ４は画像の顔領域の総面積Ａ１と等しくなる。そこで、図９（ａ）に示すように、切り取り後の画像に含まれる顔領域の面積Ａ４＝画像の顔領域の総面積Ａ１の状態を維持しつつ、切り取る領域が上下均等に近づくようにずらす（Ｓ３０６ｉ）。従って、最終的には図９（ｂ）に示す画像４１４が切り取り領域となる。

また、例えば図７のように画像４０１の下方に顔領域がある場合には、画像４０１の上を切り取った場合に残った画像４０２に含まれる顔領域の面積Ａ２は画像の顔領域の総面積Ａ１と等しくなる。そこで、図９（ｃ）に示すように、切り取り後の画像４０２に含まれる顔領域の面積Ａ２＝画像の顔領域の総面積Ａ１の状態を維持しつつ、切り取る領域が上下均等に近づくようにずらす（Ｓ３０６ｉ）。従って、最終的には図９（ｄ）に示す画像４１２が切り取り領域となる。

また図８のように画像４０１の上を切り取った場合、下を切り取った場合、上下均等に切り取った場合のいずれの画像４０２、４０３、４０４に含まれる顔領域の面積Ａ２、Ａ３、Ａ４も画像の顔領域の総面積Ａ１と等しくなかった場合、上下均等に切り取った場合の切り取り線を、画像に含まれる顔領域の面積＝顔領域の総面積Ａ１となるまで上下方向に広げていき、切り取り領域を決定する（Ｓ３０６ｇ）。但しこの場合切り取り後の画像の縦横比は１６：９ではなく、１６：（９＋α）となる。

例えば図８のように画像４０１の上下両方に顔領域がある場合、図９（ｅ）のように上下方向に切り取り位置の境界線が広げられ、最終的には図９（ｆ）に示す画像４１３が切り取り領域となる。

切り取り位置決定処理を終えると、表示制御部１１０は切り取り位置決定処理の結果に従って、画面サイズのアスペクト比がＭ：Ｎのモニターの全面に静止画像を表示する（Ｓ３０７）。

なお、ここでユーザーがリモコン操作でカーソル・決定キー２０３の右ボタンを押し、次画像への切り替えが選択されると（Ｓ３０８）、Ｎ＋１番目の画像が選択され（Ｓ３０９）、表示制御部１１０は画像ファイル番号Ｎ＋１の画像の表示処理を行う。その後、画像ファイルの総数Ｚより画像ファイル番号Ｎが大きくなるまで処理が繰り返され、最終的に画像番号１の画像の処理に戻る。

（作用）
上述した表示制御部１１０の動作による表示結果を図６に示す。

例えば図６のような画像上方に顔領域がある画像の場合、図１０（ａ）のように顔領域が欠けないように画像４２４が表示される。また、図７のような画像下方に顔領域がある画像の場合、図１０（ｂ）のように顔領域が欠けないように画像４２２が表示される。なお、顔領域を表示するだけならば、例えば図６に対しては単純に下部分を切り取るだけでも良いが、本実施例の表示制御部１１０の動作によれば、顔領域が欠けないようにするという条件を保ちつつ、なるべく画像の中心に近い部分を表示するように切り取り位置を制御するので、単に顔が欠けないようにするだけでなく、できるだけ撮影者の意図した構図に近い表示が可能となる。

また、図８のような画像の上方にも下方にも顔領域があるような画像の場合、本実施例の表示制御部１１０の動作によれば、図１０（ｃ）のように顔領域が欠けないようにするだけでなく、なるべく１６：９に近くなるように１６：９の表示領域を少し縦長に変形させ、画像４２３の表示を行う。この場合、完全に全画面では表示されないが、顔部分が欠けないようにできる最大の表示幅で表示をすることができる。

なお、上記実施例の中で顔検知処理として、顔であるか否かの判定において肌色を検出する方法を用いたが、本発明の主旨からすればこれに限ることなく、他の方法であっても良い。

また、上記実施例においては、画像の顔領域の総面積を求めて切り取り位置を決定する例を示したが、これに限ることなく、例えば、顔領域を囲む多角形の各頂点の数を総面積の代わりに用いても良い。

また、上記実施例では、説明を簡単にするために画像データの読込処理、顔検知処理、切り取り位置決定処理、表示処理の順番で処理を進める例を示したが、本発明の主旨かれすればこれに限ることはなく、例えばＮ番目の画像を表示中にＮ＋１番目の画像データの
読込処理、顔検知処理、切り取り位置決定処理を並行して行うようにしても良い。

上記実施例の説明の中では本発明の一実施形態としてデジタルテレビ受信装置を例としたが、本発明の主旨からすれば、これに限ることなく、例えばデジタルカメラで撮影した画像を再生するセットトップボックスのような形態や、パソコンのソフトウェアという形態でも利用可能である。またスライドショー再生機能を持ったデジタルカメラのような形態でも利用可能である。

本発明に係る実施例におけるテレビ受信装置の構成を示すブロック図である。 本実施例に係るリモコンの構成を示す外観斜視図である。 本実施例における表示制御部１１０の動作の流れを示すフローチャートである。 本実施例における表示制御部１１０の動作の流れを示すフローチャートである。 本実施例において使用した１つの画像について、切り取り位置を上、下、上下均等の３通りに変化させた場合の状態を説明するための模式図である。 本実施例において使用した１つの画像について、切り取り位置を上、下、上下均等の３通りに変化させた場合の状態を説明するための模式図である。 本実施例において使用した１つの画像について、切り取り位置を上、下、上下均等の３通りに変化させた場合の状態を説明するための模式図である。 本実施例において使用した１つの画像について、切り取り位置を上、下、上下均等の３通りに変化させた場合の状態を説明するための模式図である。 本実施例における切り取り位置の調整・変更動作の例を示した模式図である。 本実施例における表示例を示した模式図である。 本実施例で用いた顔検知処理の検知領域について説明した模式図である。 従来の技術による表示例を示した図である。

符号の説明

１００ デジタルテレビ受信装置
１０１ チューナ部
１０２ デマルチプレクサ部
１０３ 映像・音声デコーダ部
１０４ 音声出力部
１０５ 画像データ入力部
１０６ 画像デコーダ
１０７ ビデオメモリ
１０８ 表示合成部
１０９ カードスロット
１１０ 表示制御部
１１１ ユーザー入力部
１１２ 表示器
１１３ 記憶部
２００ リモコン
２０１ 発光部
２０２ 電源キー
２０３ カーソル・決定キー
２０４ アップダウンキー
２０６ 数字キー
２０７ カラーキー
２０８ モニターモードキー
２０９ ビューワ・キー
４０１、４０２、４０３、４０４ 画像
４１２、４１３、４１４ 画像
Ａ１ 顔領域の総面積
Ａ２、Ａ３、Ａ４ 画像に含まれる顔領域の面積
Ｎ 画像ファイル番号
Ｚ 画像ファイルの総数

Claims (5)

1. 静止画像データを記録媒体から読み出すステップと、
   該静止画像データより画像の特徴領域検知を行う特徴領域検知ステップと、
   画面サイズのアスペクト比をＭ：Ｎとして該静止画像を表示した時の該静止画像の切り取り位置を、前記特徴領域検知ステップの結果に基づいて決定する切り取り位置決定ステップと、
   前記切り取り位置決定ステップの結果に従って、画面サイズのアスペクト比がＭ：Ｎのモニターの全面に該静止画像を表示する表示ステップと、
   を有することを特徴とする画像表示方法。
2. 前記特徴領域検知ステップは画像の顔領域を検知する処理であることを特徴とする請求項１に記載の画像表示方法。
3. 前記切り取り位置決定ステップは前記特徴領域検知ステップにて検知された領域を切り取らないように切り取り位置を制御することを特徴とする請求項１、又は２に記載の画像表示方法。
4. 前記切り取り位置決定ステップは更に、前記特徴領域検知ステップにて検知された領域を切り取らないようにしながら、かつ画像の中心に近い部分を表示するように切り取り位置を制御することを特徴とする請求項３に記載の画像表示方法。
5. 前記画面サイズのアスペクト比は１６：９であることを特徴とする請求項１乃至４のいずれかに記載の画像表示方法。

Images