JP2014222909A - 表示装置、表示制御方法及び半導体装置 - Google Patents

Abstract

【課題】視聴者の状況に応じて、表示レートを低くすることができ、視聴者にとって違和感なくかつ効率的に省電力化を図る。【解決手段】表示装置１００は、顔検出状況を判断する。顔検出状況が、ＬＣＤ表示画面と向き合う顔が検出されない顔検出無しから半分検出までの範囲にある場合、表示レート決定部１０４により表示レートを小に設定する。顔検出状況が半分検出から３／４検出までの範囲である場合、表示レート決定部１０４により表示レートを中に設定する。顔検出状況が３／４検出から全検出までの範囲である場合、表示レート決定部１０４により表示レートを通常に設定する。表示装置１００は、表示部１０８により、設定された表示レートで画像メモリ１０５に記憶された画像データを読み出し、表示する。【選択図】図１

Description

本発明は、表示レートを変更して画像を表示する表示装置、表示制御方法及び半導体装置に関する。

近年、携帯電話やスマートフォン等のモバイル端末において、視聴や再生可能な動画の画角サイズが大きくなってきている。例えば、現在「ワンセグ」の名でサービスが提供されているモバイル端末向けデジタルＴＶでは、ＱＶＧＡ（３２０×２４０）の画角サイズを有する動画放送が、ほとんどのモバイル端末で視聴可能である。また、ＹｏｕＴｕｂｅ（登録商標）等のネット動画において、現状では、モバイル端末で対応可能な画角サイズはＶＧＡ（６４０×３６０）程度であるが、今後、Ｆｕｌｌ ＨＤ（１９２０×１０８０）まで対応可能となることが予想される。また、デジタルＴＶの画角サイズであるＦｕｌｌ ＨＤ（１９２０×１０８０）に対しても、モバイル端末で対応可能になると予想される。

一方、現在のモバイル端末におけるＬＣＤ等の表示解像度は、最大でもＱＨＤ（９６０×５４０）程度である。しかし、前述したように、今後、モバイル端末における動画像の対応可能な画角サイズは拡大することが予想される。画角サイズの拡大に伴い表示解像度も徐々に拡大し、近いうちにＦｕｌｌ ＨＤ（１９２０×１０８０）となることが予想される。但し、動画像の対応可能な画角サイズの拡大に伴い表示解像度も拡大すると、消費電力が増加する。特に、モバイル端末においては消費電力の増加を抑制し、省電力化を図ることが重要である。省電力化を実現する方法として、フレームレートを変換する技術が特許文献１に記載されている。

特開２００７−３１８１９３号公報

特許文献１に記載の技術では、画像の動きや番組ジャンル等の画像信号の情報に基づいてフレームレートが変換される。このように、画像情報や動画情報に応じてフレームレートを制御することで、省電力化が実現されている。しかし、視聴者の状況に配慮してはいないため、視聴者が違和感を覚える場合があり、また、省電力化の効率が良くない。また、フレームレートの変換に際して、画像情報だけを利用しているため、画像と同期した音声信号や字幕信号を活用しておらず、省電力化の効率が良くない。

本発明の目的は、視聴者の状況に応じて又は画像情報以外の情報を利用して表示レートを低くすることができ、視聴者にとって違和感なくかつ効率的に省電力化を図ることができる表示装置、表示制御方法及び半導体装置を提供することである。

本発明は、画像を表示する表示装置であって、所定のフレームレートで入力される画像信号を記憶する画像記憶部と、前記画像信号に同期したデータを格納する同期データ格納部と、前記同期データ格納部に格納されたデータを解析するデータ解析部と、前記データ解析部によるデータの解析結果及び前記画像信号が入力される所定のフレームレートに基づき、表示レートを決定する表示レート決定部と、前記表示レート決定部によって決定された表示レートで、前記画像記憶部に記憶された画像データを読み出して画像を表示する表示部と、を備える表示装置を提供する。
本発明によれば、画像情報以外の情報を利用して、表示レートを変更することができ、視聴者にとって違和感なく省電力化を図ることができる。

上記表示装置では、前記同期データ格納部に格納されるデータは、字幕データである。
したがって、動画像と同期した字幕データの更新タイミングを利用して、表示レートを変更することができ、視聴者にとって違和感なく省電力化を図ることができる。

上記表示装置では、前記データ解析部は、前記同期データ格納部に格納された字幕データの更新タイミングを解析する。
したがって、字幕データの更新タイミングが判断される。

上記表示装置では、前記表示レート決定部は、前記データ解析部によって解析された字幕データの更新タイミングに合わせて、表示レートを決定する。
したがって、字幕データの更新タイミングに合わせて表示レートが変更される。

上記表示装置では、前記同期データ格納部に格納されるデータは、音声データである。
したがって、動画像と同期した音声データを解析することができる。

上記表示装置では、前記データ解析部は、前記同期データ格納部に格納された音声データから、盛り上がりシーンを判断する。
したがって、盛り上がりシーンを判断することができ、この判断結果を利用して表示レートを変更することができる。

上記表示装置では、前記表示レート決定部は、前記データ解析部によって盛り上がりシーンと判断されない場合、前記所定のフレームレートに比べて低くなるように、前記表示レートを決定する。
したがって、盛り上がりシーン以外では、表示レートを低くすることができ、省電力化が図られる。

上記表示装置では、前記表示レート決定部によって決定された表示レートで表示される画像データに対し、画像処理を行う画像処理部を備える。
したがって、表示レートの変更にかかわらず、画像処理を施すことができる。

上記表示装置では、前記表示レート決定部によって決定された表示レートで表示される画像データに対し、フレーム補間を行うフレーム補間部を備える。
したがって、表示レートを倍増させることができる。

本発明は、所定のフレームレートで入力される画像信号を記憶する画像記憶部を備え、前記画像記憶部に記憶された画像信号に基づく画像を表示する表示装置の表示制御方法であって、同期データ格納部に格納されたデータを解析するデータ解析ステップと、前記データ解析ステップにおけるデータの解析結果及び前記画像信号が入力される所定のフレームレートに基づき、表示レートを決定する表示レート決定ステップと、前記表示レート決定ステップで決定された表示レートで、前記画像記憶部に記憶された画像データを読み出して画像を表示する表示ステップと、を有する表示制御方法を提供する。
本発明によれば、画像情報以外の情報を利用して、表示レートを変更することができ、視聴者にとって違和感なく省電力化を図ることができる。

本発明は、画像信号に同期したデータを解析するデータ解析部と、前記データ解析部によるデータの解析結果及び前記画像信号が入力される所定のフレームレートに基づき、前記画像信号に基づく画像を表示する際の表示レートを決定する表示レート決定部と、を備える半導体装置を提供する。
したがって、種々の表示装置に組み込むことができる。

本発明によれば、視聴者の状況及び画像信号が入力される所定のフレームレートに基づいて表示レートが決定されるため、視聴者の状況に応じて表示レートを低くすることができ、視聴者にとって違和感なくかつ効率的に省電力化を図ることができる。また、画像情報以外の情報を利用して表示レートを変更することができ、視聴者に違和感なく省電力化を図ることができる。

第１の実施形態の表示装置１００の構成を示す図 表示装置１００の外観を示す図 顔検出状況に対応する表示レートの変化を示すグラフ 表示装置１００の表示動作手順を示すフローチャート 視聴者状況判断部１０２によって検出可能な顔の表情を示す図 顔の表情検出状況に対応する表示レートの変化を示すグラフ 視聴者センサとして赤外線センサが設けられた表示装置の外観を示す図 距離の状況に対応する表示レートの変化を示すグラフ 第２の実施形態の表示装置３００の構成を示す図 画像データの表示が指示されるフレームを示す図 表示装置３００の表示動作手順を示すフローチャート 第３の実施形態の表示装置４００の構成を示す図 音声データ解析結果に対応する表示レートの変化を示すグラフ 表示装置４００の表示動作手順を示すフローチャート 第４の実施形態の表示装置が搭載された携帯電話５００の構成を示す図 第５の実施形態の表示装置が搭載された携帯電話６００の構成を示す図 第６の実施形態の半導体チップ７００の構成を示す図 第７の実施形態の半導体チップ８００の構成を示す図

以下、本発明に係る表示装置、表示制御方法、携帯電話及び半導体装置の実施形態について、図面を参照して説明する。以下説明する実施形態の表示装置は、モバイル携帯端末等の電子機器に搭載される。

（第１の実施形態）
図１は、第１の実施形態の表示装置１００の構成を示す図である。図２（Ａ），（Ｂ）は表示装置の外観を示す図であって、図２（Ａ）は表示装置の正面を示し、図２（Ｂ）は表示装置の側面を示す。

第１の実施形態の表示装置１００は、視聴者センサ１０１、視聴者状況判断部１０２、デコード部１０３、表示レート決定部１０４、画像メモリ１０５、画像処理部１０６、フレーム補間部１０７、表示部１０８及び操作部１０９を有する。

デコード部１０３は、例えばデジタルＴＶ放送の動画像データを復号（デコード）する。また、デコード部１０３は、動画像データに応じた速度で復号（デコード）し、このデコード結果である画像データ（画像信号）を画像メモリ１０５（画像記憶部）に格納する。第１の実施形態では、動画像データのデコード速度は６０ｆｐｓ（flame per second）である。デコード部１０３は、デコードの開始と同時に、フレームレート情報（６０ｆｐｓ）を表示レート決定部１０４、画像処理部１０６及びフレーム補間部１０７に通知する。

視聴者センサ１０１は、撮像素子を有するカメラからなる。視聴者センサ１０１は、表示装置１００の筐体２０１の前面に設けられた表示部１０８のＬＣＤ表示画面２０２に対し、垂直に設置されている。

視聴者状況判断部１０２は、このカメラから入力された撮像データをもとに、顔を検出できなかったか、半分顔を検出できたか、３／４顔を検出できたか、全部顔を検出できたかというように、どの程度、顔を検出できたかを判断する。そして、視聴者状況判断部１０２は、顔検出状況の判断結果を表示レート決定部１０４に定期的に通知する。

表示レート決定部１０４は、デコード部１０３から通知されたフレームレート情報（６０ｆｐｓ）と、視聴者状況判断部１０２から定期的に通知された顔検出状況の判断結果をもとに、表示レートを決定し、この決定した表示レートを画像処理部１０６、フレーム補間部１０７及び表示部１０８に通知する。

表示レート決定部１０４は、例えば、図３に示すように、顔検出の状況判断結果をもとに、表示レートを小（１０ｆｐｓ）又は中（３０ｆｐｓ）として表示レートを低くするか、それともデコード部１０３から通知されたフレームレート情報（６０ｆｐｓ）のままとするかを決定する。図３は、顔検出状況に対応する表示レートの変化を示すグラフである。図３では、顔検出状況の判断結果をもとに、表示レートは３段階に設定される。すなわち、顔の検出無しから半分検出までの範囲において、表示レートは小（１０ｆｐｓ）に設定される。また、半分検出から３／４検出までの範囲において、表示レートは中（３０ｆｐｓ）に設定される。さらに、３／４検出から全検出までの範囲において、表示レートは通常（６０ｆｐｓ）に設定される。

表示部１０８は、表示レート決定部１０４から通知された表示レートに応じて、画像メモリ１０５から１フレーム単位で画像データを読み出して表示する。

操作部１０９は、視聴者により操作され、処理の有無等の情報を表示レート決定部１０４、画像処理部１０６及びフレーム補間部１０７に通知する。また、操作部１０９は、例えば表示部１０８に貼られたタッチパネルを有し、指によって表現されるジェスチャアにより操作指示を入力する。

画像処理部１０６の処理及びフレーム補間部１０７の処理をそれぞれ実行するか否かは、視聴者により設定可能である。視聴者による処理有りが設定された場合にのみ、画像処理部１０６及びフレーム補間部１０７は、それぞれ動作し、処理を実行する。

画像処理部１０６は、視聴者による処理有りが設定された場合、画像メモリ１０５に存在する画像データの全てに対し、画像処理を行うのではなく、表示レート決定部１０４から通知された表示レートに応じて、画像メモリ１０５から１フレーム単位で画像データを読み出し、画像処理を実行した後、再び画像メモリ１０５に書き戻す。

フレーム補間部１０７は、視聴者による処理有りが設定された場合、表示レート決定部１０４から通知された表示レートがデコード部１０３から通知されたフレームレート情報（６０ｆｐｓ）と同じである場合のみ、フレーム補間処理を実行し、表示レートを倍増（１２０ｆｐｓ）させた画像データを画像メモリ１０５に書き戻す。

第１の実施形態では、表示装置１００は、視聴者センサ１０１によりＬＣＤ表示画面２０２と向き合った顔を検出し、視聴者が注視できているか否かを推定し、注視していない場合、表示レートを低くすることで、さらなる省電力化が可能である。

図４は、表示装置１００の表示動作手順を示すフローチャートである。表示装置１００では、つぎのような表示動作が行われる。表示装置１００は、視聴者センサ１０１によりＬＣＤ表示画面２０２と向き合う顔の状況を検出する（ステップＳ１）。そして、表示装置１００は、視聴者状況判断部１０２により顔検出状況を判断する（ステップＳ２）。顔検出状況が、ＬＣＤ表示画面２０２と向き合う顔が検出されない顔検出無しから半分検出までの範囲にある場合、表示装置１００は、表示レート決定部１０４により表示レートを小（１０ｆｐｓ）に設定する（ステップＳ３）。そして、表示装置１００は、表示部１０８によりこの「小」に設定された表示レートで画像メモリ１０５に記憶された画像データを読み出し、表示する（ステップＳ８）。この後、表示装置１００は本動作を終了する。

また、ステップＳ２で判断された顔検出状況が半分検出から３／４検出までの範囲である場合、表示装置１００は、表示レート決定部１０４により表示レートを中（３０ｆｐｓ）に設定する（ステップＳ４）。そして、表示装置１００は、表示部１０８により、ステップＳ８で、この「中」に設定された表示レートで画像メモリ１０５に記憶された画像データを読み出して表示する。この後、表示装置１００は本動作を終了する。

また、ステップＳ２で判断された顔検出状況が３／４検出から全検出までの範囲である場合、表示装置１００は、表示レート決定部１０４により表示レートを通常（６０ｆｐｓ）に設定する（ステップＳ５）。

そして、表示装置１００は、操作部１０９を介した視聴者の操作指示によりフレーム補間の処理有りが設定されているか否かを判別する（ステップＳ６）。フレーム補間の処理有りが設定されている場合、表示装置１００は、フレーム補間部１０７により、画像メモリ１０５から画像データを読み出してフレーム補間処理を実行し、表示レートを倍増（１２０ｆｐｓ）させた画像データを画像メモリ１０５に書き戻す（ステップＳ７）。そして、表示装置１００は、表示部１０８により、ステップＳ８で、表示レートを倍増させた画像データを、「通常」に設定された表示レートで画像メモリ１０５から読み出し、表示する。この後、表示装置１００は本動作を終了する。

一方、ステップＳ６でフレーム補間の処理有りが設定されていない場合、表示装置１００は、表示部１０８により、ステップＳ８で、「通常」に設定された表示レートで画像メモリ１０５に記憶された画像データを読み出し、表示する。この後、表示装置１００は本動作を終了する。

このように、第１の実施形態の表示装置によれば、顔検出を利用して視聴者の状況を判断することにより、表示レートを変更することができ、視聴者に違和感なく、さらなる省電力化を図ることができる。すなわち、ＬＣＤ表示画面と向き合った顔を検出することで、視聴者が注視できているか否かを推定し、視聴者が注視していない場合、表示レートを低くすることで、省電力化を効率的に行うことができ、さらなる省電力化が図られる。

なお、上記実施形態では、視聴者状況判断部１０２は、単に顔を検出していたが、顔を検出するだけでなく、顔を検出した後、さらに顔の表情を検出するようにしてもよい。顔の表情を検出する技術は既に周知であり、本実施形態では、視聴者状況判断部１０２が、泣いて涙が溜まった場合、笑って目が細くなった場合等、動画の滑らかさを認識する力が落ちることを利用し、表示レートを低くする。

図５（Ａ）〜（Ｃ）は、視聴者状況判断部１０２によって検出可能な顔の表情を示す図である。図５（Ａ）は泣き顔を示し、図５（Ｂ）は笑顔を示し、図５（Ｃ）は寝顔を示す。視聴者状況判断部１０２は、泣き顔、笑顔、寝顔といった顔の表情の検出状況を判断し、判断結果として、この表情検出状況を表示レート決定部１０４に通知する。表示レート決定部１０４は、通知された表情の検出状況をもとに、表示レートを変更する。

図６は、顔の表情検出状況に対応する表示レートの変化を示すグラフである。図６の例では、表示レート決定部１０４は、泣き顔、笑顔又は寝顔の場合、表示レートを通常の場合（怒っているときも含む）より低い中（３０ｆｐｓ）に設定する。顔の表情検出状況に対応する表示レートの変化は、図６の例に限られないことは勿論である。

このように、顔の表情から、視聴者が注視できているか否かを推定し、視聴者が注視していないと推定される場合、表示レートを低くすることで、さらなる省電力化を図ることができる。

また、上記実施形態では、視聴者センサにはカメラが用いられたが、視聴者センサを、ＬＣＤ表示画面の前方に向き合う物体までの距離を検出可能な赤外線センサ（距離センサ）としてもよい。図７（Ａ），（Ｂ）は視聴者センサとして赤外線センサが設けられた表示装置の外観を示す図であって、図７（Ａ）は表示装置の正面を示し、図７（Ｂ）は表示装置の側面を示す。視聴者センサ１５１は、表示装置１００の筐体２０１に取り付けられたＬＣＤ表示画面２０２に対し、垂直に設置されている。

視聴者センサ１５１は、赤外線センサとして、物体（視聴者を含む）までの距離を検出し、視聴者状況判断部１０２に通知する。視聴者状況判断部１０２は、赤外線センサによって検出された距離がある一定の範囲内にあるか否かによって、近すぎる距離であるか、最適な距離であるか、それとも遠すぎる距離であるかを判断し、距離の状況を表示レート決定部１０４に定期的に通知する。表示レート決定部１０４は、その情報をもとに、表示レートを決定するようにしてもよい。

図８は、距離の状況に対応する表示レートの変化を示すグラフである。図８の例では、表示レート決定部１０４は、物体までの距離が近い場合又は遠い場合、表示レートを低く設定する。具体的に、距離が０ｃｍから５ｃｍまでの範囲にある場合、表示レートは、小（１０ｆｐｓ）以下の値から中（３０ｆｐｓ）まで、距離に比例して大きくなる値に設定される。また、距離が５ｃｍから５０ｃｍまでの範囲にある場合、表示レートは、通常（６０ｆｐｓ）の値に固定される。さらに、距離が５０ｃｍから１ｍまでの範囲にある場合、表示レートは、中（３０ｆｐｓ）から小（１０ｆｐｓ）まで、距離に比例して小さくなる値に設定される。距離が１ｍ以上では、表示レートはさらに小さな値に設定される。

この設定は、物体（視聴者）からの距離が最適な距離でない場合、動画の滑らかさを認識する力が落ちる、もしくは視聴者が注視できていないと推定されることに基づく。このように、視聴者が注視できているか否かを推定し、注視できていないと推定される場合、表示レートを低くすることで、さらなる省電力化を図ることができる。

また、視聴者センサを、表示装置の姿勢として上下左右の方向を検出できるジャイロセンサと表裏の向きを検出できるカメラとを組み合わせたもの（方向センサ）としてもよい。この場合、表示装置が表向きでかつ上方向にある場合を除き、つまり、上方向かつ表向き以外の方向が検出された場合、表示レートを低くするように設定することが可能である。これにより、視聴者が注視できているか否かを推定することができ、さらなる省電力化が図られる。

また、視聴者センサを、表示装置のゆれを検出できるジャイロセンサ（振動センサ）とし、視聴者センサがゆれの激しさを検出するようにしてもよい。ここでは、ゆれが所定値以上で激しい場合、表示レートを低くするように設定することが可能である。これにより、視聴者が注視できているか否かを推定することができ、さらなる省電力化が図られる。

（第２の実施形態）
図９は、第２の実施形態の表示装置３００の構成を示す図である。第１の実施形態と同一の構成要素は同一の符号で表されている。

第２の実施形態の表示装置３００は、デコード部１０３、同期データ格納メモリ１７１、同期データ解析部１７２、表示レート決定部１７４、画像メモリ１０５、画像処理部１０６、表示部１０８及び操作部１０９を有する。

デコード部１０３は、例えばデジタルＴＶ放送の動画像データを復号（デコード）する。また、デコード部１０３は、動画像データに応じた速度でデコードし、このデコード結果を画像メモリ１０５に表示時刻情報とともに格納する。

同期データ格納メモリ１７１は、画像メモリ１０５に格納された画像データと同期した字幕データを格納している。

同期データ解析部１７２は、同期データ格納メモリ１７１に格納された字幕データを解析し、この同期データ解析結果として、字幕表示のＯＮタイミングとＯＦＦタイミングを表示レート決定部１７４に通知する。

表示レート決定部１７４は、同期データ解析部１７２から通知された字幕表示のＯＮ／ＯＦＦタイミングである同期データ解析結果をもとに、図１０に示すように、字幕表示のＯＮタイミングと同じ表示時刻の画像データを決定する。図１０は、画像データの表示が指示されるフレームを示す図である。また、表示レート決定部１７４は、図１０に示すように、３秒以上、画像データの更新が行われなかった場合、強制的に表示が更新されるように、表示すべき画像データを決定する。そして、表示レート決定部１７４は、決定した表示すべき画像データを画像処理部１０６及び表示部１０８に通知する。

表示部１０８は、表示レート決定部１７４から通知された表示すべき画像データを、画像メモリ１０５から１フレーム単位で読み出して表示する。

操作部１０９は、視聴者により操作され、処理の有無等の情報を表示レート決定部１７４及び画像処理部１０６に通知する。

画像処理部１０６の処理を実行するか否かは、視聴者により設定可能である。視聴者による処理有りが設定された場合にのみ、画像処理部１０６は動作する。画像処理部１０６は、視聴者による処理有りが設定された場合、画像メモリ１０５に存在する全ての画像データに対し、画像処理を実行するのではなく、表示レート決定部１７４から通知された表示すべき画像データを、画像メモリ１０５から１フレーム単位で読み出し、画像処理を実行した後、再び画像メモリ１０５に書き戻す。

図１１は、表示装置３００の表示動作手順を示すフローチャートである。表示装置３００は、同期データ解析部１７２により、同期データ格納メモリ１７１に格納された字幕データを読み出し（ステップＳ１１）、字幕表示のＯＮ／ＯＦＦタイミングを解析する（ステップＳ１２）。

表示装置３００は、表示レート決定部１７４により、字幕ＯＮタイミング（更新タイミング）の間隔が３秒以上経過するフレームがあるか否かを判別する（ステップＳ１３）。３秒以上経過するフレームがない場合、表示装置３００は、表示レート決定部１７４により、字幕表示ＯＮタイミングのフレームを表示すべき画像データとして決定する（ステップＳ１４）。一方、３秒以上経過するフレームがある場合、表示装置３００は、表示レート決定部１７４により、字幕表示ＯＮタイミングのフレーム、及び３秒以上経過して強制表示すべきフレームを、表示すべき画像データとして決定する（ステップＳ１５）。

そして、表示装置３００は、表示部１０８により、画像メモリ１０５から表示すべき画像データを読み出し、表示させる（ステップＳ１６）。この後、表示装置３００は本動作を終了する。

このように、第２の実施形態の表示装置によれば、字幕表示ＯＮ／ＯＦＦタイミングを利用して表示の更新を行うことで、視聴内容の理解を損ねない程度に、劇的に表示レートを低くすることができ、さらなる省電力化が図られる。

（第３の実施形態）
図１２は、第３の実施形態の表示装置４００の構成を示す図である。第１、第２の実施形態と同一の構成要素は同一の符号で表されている。

第３の実施形態の表示装置４００は、デコード部１０３、同期データ格納メモリ１８１、同期データ解析部１８２、表示レート決定部１８４、画像メモリ１０５、画像処理部１０６、表示部１０８及び操作部１０９を有する。

デコード部１０３は、例えばデジタルＴＶ放送の動画像データを復号（デコード）する。また、デコード部１０３は、動画像データに応じた速度でデコードし、このデコード結果を画像メモリ１０５に格納する。第３の実施形態では、動画像データのデコード速度は６０ｆｐｓである。デコード部１０３は、デコード開始と同時に、フレームレート情報（６０ｆｐｓ）を表示レート決定部１８４、画像処理部１０６及びフレーム補間部１０７に通知する。

同期データ格納メモリ１８１は、画像メモリ１０５に格納される動画像データと同期した音声データを格納する。

同期データ解析部１８２は、同期データ格納メモリ１８１に格納された音声データを解析し、動画像が盛り上がりシーンであるか否かを判断し、この同期データ解析結果を表示レート決定部１８４に定期的に通知する。ここで、盛り上がりシーンであるか否かの判断は、例えば音量が急に大きくなった、低音域と高音域のバランスが大きく変化した等、種々の情報を検知することで行われる。

表示レート決定部１８４は、デコード部１０３から通知されたフレームレート情報（６０ｆｐｓ）と同期データ解析部１８２から定期的に通知された同期データ解析結果をもとに表示レートを決定し、この決定した表示レートを画像処理部１０６、フレーム補間部１０７及び表示部１０８に通知する。

表示レート決定部１８４は、図１３に示すように、静かなシーンである場合に中（３０ｆｐｓ）として表示レートを低くするか、それとも、盛り上がりシーンである場合にデコード部１０３から通知されたフレームレート情報である通常（６０ｆｐｓ）のままとするかを決定する。図１３は、音声データ解析結果に対応する表示レートの変化を示すグラフである。図１３では、音声データ解析の結果、静かなシーンである場合、表示レートは中（３０ｆｐｓ）であり、盛り上がりシーンである場合、表示レートは通常（６０ｆｐｓ）であることが示されている。

表示部１０８は、表示レート決定部１８４から通知された表示レートに応じて、画像メモリ１０５から１フレーム単位で画像データを読み出し、表示する。

画像処理部１０６及びフレーム補間部１０７それぞれの処理については、視聴者により処理実行の有無が設定可能である。画像処理部１０６及びフレーム補間部１０７は、視聴者による処理有りが設定された場合のみ動作する。

画像処理部１０６は、視聴者による処理有りが設定された場合、画像メモリ１０５に存在する画像データの全てに対して画像処理するのではなく、表示レート決定部１８４から通知された表示レートに応じて、画像メモリ１０５から１フレーム単位で画像データを読み出し、画像処理を実行した後、再び画像メモリ１０５に書き戻す。

フレーム補間部１０７は、視聴者による処理有りが設定された場合、表示レート決定部１８４から通知された表示レートがデコード部１０３から通知されたフレームレート情報（６０ｆｐｓ）と同じである場合のみ、フレーム補間を実行し、表示レートを倍増（１２０ｆｐｓ）させた画像データを画像メモリ１０５に書き戻す。

図１４は、表示装置４００の表示動作手順を示すフローチャートである。表示装置４００は、同期データ解析部１８２により、同期データ格納メモリ１８１から音声データを読み出す（ステップＳ２１）。表示装置４００は、同期データ解析部１８２により、読み出した音声データを解析し、静かなシーンであるか、それとも盛り上がりシーンであるかを判別する（ステップＳ２２）。

静かなシーンである場合、表示装置４００は、表示レート決定部１８４により、表示レートを中（３０ｆｐｓ）に設定する（ステップＳ２３）。一方、盛り上がりシーンである場合、表示装置４００は、表示レート決定部１８４により、表示レートを通常（６０ｆｐｓ）に設定する（ステップＳ２４）。

ステップＳ２３、Ｓ２４の処理後、表示装置４００は、表示部１０８により、画像メモリ１０５から画像データを読み出し、表示する（ステップＳ２５）。この後、表示装置３００は本動作を終了する。

このように、第３の実施形態の表示装置は、音声データから、動画像が盛り上がりシーンであるか否かを判断することで、視聴内容に即して表示レートを変更することができ、さらなる省電力化を図ることができる。

（第４の実施形態）
第４の実施形態の表示装置は、モバイル携帯端末である携帯電話に搭載される。図１５は、第４の実施形態の表示装置が搭載された携帯電話５００の構成を示す図である。

第４の実施形態の携帯電話５００は、表示部５１０及び通話部５２０から構成される。表示部５１０は、第１の実施形態と同様、視聴者センサ１０１、視聴者状況判断部１０２、デコード部１０３、表示レート決定部１０４、画像メモリ１０５、画像処理部１０６、フレーム補間部１０７、表示部１０８及び操作部１０９を有する。

また、通話部５２０は、合成処理部１１９、電源部１９０、音声処理部１９１、無線通信部１９２及び携帯電話画面メモリ部１９３を有する。

表示部５１０において、デコード部１０３は、例えばデジタルＴＶ放送の動画像データを復号（デコード）する。デコード部１０３は、後述するように、動画像データに応じた速度で復号（デコード）し、このデコード結果を画像メモリ１０５に格納する。このデコードの開始と同時に、フレームレート情報は、表示レート決定部１０４、画像処理部１０６及びフレーム補間部１０７に通知される。

視聴者センサ１０１は撮像素子を有するカメラからなり、携帯電話５００の表示部１０８のＬＣＤ表示画面に対して垂直に設置されている。

視聴者状況判断部１０２は、このカメラから入力された撮像データをもとに、顔が検出できなかったか、半分検出できたか、３／４検出できたか、又は全部検出できたかというように、どの程度検出できたか、つまり顔検出状況を判断する。視聴者状況判断部１０２は、この顔検出状況の判断結果を表示レート決定部１０４に定期的に通知する。

表示レート決定部１０４は、デコード部１０３から通知されたフレームレート情報と、視聴者状況判断部１０２から定期的に通知された顔検出状況の判断結果をもとに、表示レートを決定し、この決定した表示レートを画像処理部１０６、フレーム補間部１０７、表示部１０８及び合成処理部１１９に通知する。

表示部１０８は、表示レート決定部１０４から通知された表示レートに応じて、画像メモリ１０５から１フレーム単位で画像データを読み出し、表示する。

画像処理部１０６及びフレーム補間部１０７それぞれの処理については、視聴者により処理実行の有無が設定可能である。画像処理部１０６及びフレーム補間部１０７は、視聴者による処理有りが設定された場合のみ動作する。

画像処理部１０６は、視聴者による処理有りが設定された場合、画像メモリ１０５に存在する画像データの全てに対して画像処理するのではなく、表示レート決定部１０４から通知された表示レートに応じて、画像メモリ１０５から１フレーム単位で画像データを読み出し、画像処理を実行した後、再び画像メモリ１０５に書き戻す。

フレーム補間部１０７は、視聴者による処理有りが設定された場合、表示レート決定部１０４から通知された表示レートがデコード部１０３から通知されたフレームレート情報と同じである場合のみ、フレーム補間を実行し、表示レートを倍増させた画像データを画像メモリ１０５に書き戻す。

通話部５２０において、電源部１９０は、携帯電話５００の電池残量を検出し、携帯電話画面メモリ部１９３に通知する。

音声処理部１９１は、マイク及びスピーカを備え、音声通話時、無線通信部１９２から受信した音声符号化データを復号化し、スピーカから出力させ、マイクから入力された音声データを符号化し、無線通信部１９２に送信する。また、音声処理部１９１は、動画再生時又はデジタルＴＶ視聴時、動画像と同期した音声データを復号化してスピーカから鳴動させる。

無線通信部１９２は、音声処理部１９１から受信した音声符号化データに対し、暗号化等の処理を実行して基地局に送信し、また、基地局から受信したデータに対し、暗号化を解除する等の処理を実行し、音声符号化データを音声処理部１９１に送信する。また、無線通信部１９２は、電波受信状態の強度を携帯電話画面メモリ部１９３に通知する。

携帯電話画面メモリ部１９３は、通知された電波受信状態の強度と電池残量が携帯電話の使用者に理解可能となるような表示画面を生成し、携帯電話画面メモリ部１９３の内部メモリに格納する。

合成処理部１１９は、通知された表示レートに応じて、画像メモリ１０５に格納された画像データと携帯電話画面メモリ部１９３に格納された表示画面を合成し、再度、画像メモリ１０５に書き戻す。

なお、携帯電話５００の表示動作は、第１の実施形態における図４に示した動作とほぼ同様である。第４の実施形態では、図４のステップＳ８において画像を表示する際、画像メモリ１０５に格納された画像データと携帯電話画面メモリ部１９３に格納された表示画面を合成して表示することが行われる。

このように、第４の実施形態の携帯電話では、第１の実施形態と同様、携帯電話のＬＣＤ表示画面と向き合った顔を検出することで、視聴者が注視できているか否かを推定し、視聴者が注視していない場合、表示レートを低くすることで、さらなる省電力化が図られる。

（第５の実施形態）
第５の実施形態の表示装置は、モバイル携帯端末である携帯電話に搭載される。図１６は、第５の実施形態の表示装置が搭載された携帯電話６００の構成を示す図である。

第５の実施形態の携帯電話６００は、表示部６１０及び通話部６２０から構成される。第３、第４の実施形態と同一の構成要素は同一の符号で表されている。

表示部６１０は、デコード部１０３、同期データ格納メモリ１８１、同期データ解析部１８２、表示レート決定部１８４、画像メモリ１０５、画像処理部１０６、フレーム補間部１０７、表示部１０８及び操作部１０９を有する。また、通話部６２０は、合成処理部１１９、電源部１９０、音声処理部１９１、無線通信部１９２及び携帯電話画面メモリ部１９３を有する。

表示部６１０において、デコード部１０３は、例えばデジタルＴＶ放送の動画像データを復号（デコード）する。また、デコード部１０３は、動画像データに応じた速度でデコードし、このデコード結果を画像メモリ１０５に格納する。デコード部１０３は、デコード開始と同時に、フレームレート情報（６０ｆｐｓ）を表示レート決定部１８４、画像処理部１０６及びフレーム補間部１０７に通知する。

同期データ格納メモリ１８１は、画像メモリ１０５に格納される動画像データと同期した音声データを格納する。また、同期データ解析部１８２は、同期データ格納メモリ１８１に格納された音声データを解析し、盛り上がりシーンであるか否かを判断し、この同期データ解析結果を表示レート決定部１８４に定期的に通知する。

表示レート決定部１８４は、デコード部１０３から通知されたフレームレート情報と同期データ解析部１８２から定期的に通知された同期データ解析結果をもとに表示レートを決定し、この決定した表示レートを画像処理部１０６、フレーム補間部１０７及び表示部１０８に通知する。

表示レート決定部１８４は、第３の実施形態の図１３に示すように、静かなシーンである場合に中（３０ｆｐｓ）として表示レートを低くするか、それとも、盛り上がりシーンである場合にデコード部１０３から通知されたフレームレート情報である通常（６０ｆｐｓ）のままとするかを決定する。

表示部１０８は、表示レート決定部１８４から通知された表示レートに応じて、画像メモリ１０５から１フレーム単位で画像データを読み出し、表示する。

画像処理部１０６及びフレーム補間部１０７それぞれの処理については、視聴者により処理実行の有無が設定可能である。画像処理部１０６及びフレーム補間部１０７は、視聴者による処理有りが設定された場合のみ動作する。

画像処理部１０６は、視聴者による処理有りが設定された場合、画像メモリ１０５に存在する画像データの全てに対して画像処理するのではなく、表示レート決定部１８４から通知された表示レートに応じて、画像メモリ１０５から１フレーム単位で画像データを読み出し、画像処理を実行した後、再び画像メモリ１０５に書き戻す。

フレーム補間部１０７は、視聴者による処理有りが設定された場合、表示レート決定部１８４から通知された表示レートがデコード部１０３から通知されたフレームレート情報（６０ｆｐｓ）と同じである場合のみ、フレーム補間を実行し、表示レートを倍増（１２０ｆｐｓ）させた画像データを画像メモリ１０５に書き戻す。

通話部６２０において、電源部１９０は、携帯電話６００の電池残量を検出し、携帯電話画面メモリ部１９３に通知する。

音声処理部１９１は、マイク及びスピーカを備え、音声通話時、無線通信部１９２から受信した音声符号化データを復号化し、スピーカから出力させ、マイクから入力された音声データを符号化し、無線通信部１９２に送信する。また、音声処理部１９１は、動画再生時又はデジタルＴＶ視聴時、動画像と同期した音声データを復号化してスピーカから鳴動させる。

無線通信部１９２は、音声処理部１９１から受信した音声符号化データに対し、暗号化等の処理を実行して基地局に送信し、また、基地局から受信したデータに対し、暗号化を解除する等の処理を実行し、音声符号化データを音声処理部１９１に送信する。また、無線通信部１９２は、電波受信状態の強度を携帯電話画面メモリ部１９３に通知する。

携帯電話画面メモリ部１９３は、通知された電波受信状態の強度と電池残量が携帯電話の使用者に理解可能となるような表示画面を生成し、携帯電話画面メモリ部１９３の内部メモリに格納する。

合成処理部１１９は、通知された表示レートに応じて、画像メモリ１０５に格納された画像データと携帯電話画面メモリ部１９３に格納された表示画面を合成し、再度、画像メモリ１０５に書き戻す。

なお、携帯電話６００の表示動作は、第３の実施形態における図１４に示した動作とほぼ同様である。第５の実施形態では、図１４のステップＳ２５において画像を表示する際、画像メモリ１０５に格納された画像データと携帯電話画面メモリ部１９３に格納された表示画面を合成して表示することが行われる。

このように、第５の実施形態の携帯電話では、動画像が音声データから盛り上がりシーンであるか否かを判断することで、視聴内容に即して表示レートを変更することができ、さらなる省電力化が図られる。

（第６の実施形態）
第１の実施形態の表示装置の主要部の機能は、半導体チップ（半導体装置）として実現することも可能である。図１７は、第６の実施形態の半導体チップ７００の構成を示す図である。半導体チップ７００には、デコード部１３１、視聴者状況判断部１３２、表示レート決定部１３４、画像処理部１３６及びフレーム補間部１３７が搭載されている。

デコード部１３１、視聴者状況判断部１３２、表示レート決定部１３４、画像処理部１３６及びフレーム補間部１３７の機能は、それぞれ第１の実施形態のデコード部１０３、視聴者状況判断部１０２、表示レート決定部１０４、画像処理部１０６及びフレーム補間部１０７の機能と同様である。

すなわち、デコード部１３１は、例えばデジタルＴＶ放送の動画像データを復号（デコード）する。デコード部１３１は、このデコードの開始と同時に、フレームレート情報を表示レート決定部１３４、画像処理部１３６及びフレーム補間部１３７に通知する。

視聴者状況判断部１３２は、カメラから入力された撮像データをもとに、顔が検出できなかったか、半分検出できたか、３／４検出できたか、又は全部検出できたかというように、どの程度検出できたか、つまり顔検出状況を判断する。視聴者状況判断部１３２は、この顔検出状況の判断結果を表示レート決定部１３４に定期的に通知する。

表示レート決定部１３４は、デコード部１３１から通知されたフレームレート情報と、視聴者状況判断部１３２から定期的に通知された顔検出状況の判断結果をもとに、表示レートを決定し、この決定した表示レートを画像処理部１３６及びフレーム補間部１３７に通知する。

画像処理部１３６は、画像データの全てに対して画像処理するのではなく、表示レート決定部１３４から通知された表示レートに応じて、画像処理を実行する。

フレーム補間部１３７は、表示レート決定部１３４から通知された表示レートがデコード部１３１から通知されたフレームレート情報と同じである場合のみ、フレーム補間を実行し、表示レートを倍増させた画像データを生成する。

このように、第６の実施形態の半導体チップを表示装置等の電子機器に搭載することで、顔を検出して視聴者が注視できているか否かを推定し、表示レートを低くすることができ、さらなる省電力化が図られる。

（第７の実施形態）
第３の実施形態の表示装置の主要部の機能は、半導体チップとして実現することも可能である。図１８は、第７の実施形態の半導体チップ８００の構成を示す図である。半導体チップ８００には、デコード部１４１、同期データ解析部１４２、表示レート決定部１４３、画像処理部１４４及びフレーム補間部１４５が搭載されている。

デコード部１４１、同期データ解析部１４２、表示レート決定部１４３、画像処理部１４４及びフレーム補間部１４５の機能は、それぞれ第３の実施形態のデコード部１０３、同期データ解析部１８２、表示レート決定部１８４、画像処理部１０６及びフレーム補間部１０７の機能と同様である。

すなわち、デコード部１４１は、例えばデジタルＴＶ放送の動画像データを復号（デコード）する。また、デコード部１４１は、動画像データに応じた速度でデコードする。デコード部１４１は、デコード開始と同時に、フレームレート情報（６０ｆｐｓ）を表示レート決定部１４３、画像処理部１４４及びフレーム補間部１４５に通知する。

同期データ解析部１４２は、音声データを解析し、盛り上がりシーンかそうでないかを判断し、この同期データ解析結果を表示レート決定部１４３に定期的に通知する。

表示レート決定部１４３は、デコード部１４１から通知されたフレームレート情報と同期データ解析部１４２から定期的に通知された同期データ解析結果をもとに表示レートを決定し、この決定した表示レートを画像処理部１４４及びフレーム補間部１４５に通知する。

画像処理部１４４は、画像データの全てに対して画像処理するのではなく、表示レート決定部１４３から通知された表示レートに応じて、画像処理を実行する。

フレーム補間部１４５は、表示レート決定部１４３から通知された表示レートがデコード部１４１から通知されたフレームレート情報と同じである場合のみ、フレーム補間を実行し、表示レートを倍増させた画像データを生成する。

このように、第７の実施形態の半導体チップを表示装置等の電子機器に搭載することで、音声データから、動画像が盛り上がりシーンであるか否かを判断し、視聴内容に即して表示レートを変更することができ、さらなる省電力化が図られる。

なお、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、又は本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。

例えば、視聴者の顔検出状況と、字幕データや音声データの解析結果とを組み合わせて表示レートを変更するようにしてもよい。一例として、顔が３／４以上検出されている状況で、かつ、音声データが盛り上がりシーンである場合に、表示レートを通常に近い表示レートに設定し、その他の場合、表示レートを低くするようにしてもよい。

このように、本発明は、すでに最近の携帯端末の消費電力として表示処理にかかる部分が半分以上を占める状況で、かつ、今後、携帯端末の表示解像度がさらに拡大していく中で、表示レートを低くすることで、さらなる省電力化を図ることができ、有用である。

本発明に係る表示装置は、表示レートを変更して画像を表示する表示装置等として有用である。

１００，３００，４００ 表示装置
１０１ 視聴者センサ
１０２，１３２ 視聴者状況判断部
１０３，１３１，１４１ デコード部
１０４，１３４，１４３ 表示レート決定部
１０５ 画像メモリ
１０６，１３６，１４４ 画像処理部
１０７，１３７，１４５ フレーム補間部
１０８ 表示部
１０９ 操作部
１１９ 合成処理部
１４２ 同期データ解析部
１５１ 視聴者センサ
１７１，１８１ 同期データ格納メモリ
１７２，１８２ 同期データ解析部
１７４，１８４ 表示レート決定部
１９０ 電源部
１９１ 音声処理部
１９２ 無線通信部
１９３ 携帯電話画面メモリ部
２０１ 筐体
２０２ ＬＣＤ表示画面
５００，６００ 携帯電話
５１０，６１０ 表示部
５２０，６２０ 通話部

Claims (11)

1. 画像を表示する表示装置であって、
   所定のフレームレートで入力される画像信号を記憶する画像記憶部と、
   前記画像信号に同期したデータを格納する同期データ格納部と、
   前記同期データ格納部に格納されたデータを解析するデータ解析部と、
   前記データ解析部によるデータの解析結果及び前記画像信号が入力される所定のフレームレートに基づき、表示レートを決定する表示レート決定部と、
   前記表示レート決定部によって決定された表示レートで、前記画像記憶部に記憶された画像データを読み出して画像を表示する表示部と、
   を備えた表示装置。
2. 請求項１記載の表示装置であって、
   前記同期データ格納部に格納されるデータは、字幕データである表示装置。
3. 請求項２記載の表示装置であって、
   前記データ解析部は、前記同期データ格納部に格納された字幕データの更新タイミングを解析する表示装置。
4. 請求項３記載の表示装置であって、
   前記表示レート決定部は、前記データ解析部によって解析された字幕データの更新タイミングに合わせて、表示レートを決定する表示装置。
5. 請求項１記載の表示装置であって、
   前記同期データ格納部に格納されるデータは、音声データである表示装置。
6. 請求項５記載の表示装置であって、
   前記データ解析部は、前記同期データ格納部に格納された音声データから、盛り上がりシーンを判断する表示装置。
7. 請求項６記載の表示装置であって、
   前記表示レート決定部は、前記データ解析部によって盛り上がりシーンと判断されない場合、前記所定のフレームレートに比べて低くなるように、前記表示レートを決定する表示装置。
8. 請求項１〜７のいずれか一項に記載の表示装置であって、
   前記表示レート決定部によって決定された表示レートで表示される画像データに対し、画像処理を行う画像処理部を備えた表示装置。
9. 請求項１〜８のいずれか一項に記載の表示装置であって、
   前記表示レート決定部によって決定された表示レートで表示される画像データに対し、フレーム補間を行うフレーム補間部を備えた表示装置。
10. 所定のフレームレートで入力される画像信号を記憶する画像記憶部を備え、前記画像記憶部に記憶された画像信号に基づく画像を表示する表示装置の表示制御方法であって、
    同期データ格納部に格納されたデータを解析するデータ解析ステップと、
    前記データ解析ステップにおけるデータの解析結果及び前記画像信号が入力される所定のフレームレートに基づき、表示レートを決定する表示レート決定ステップと、
    前記表示レート決定ステップで決定された表示レートで、前記画像記憶部に記憶された画像データを読み出して画像を表示する表示ステップと、
    を有する表示制御方法。
11. 表示装置に搭載される半導体装置であって、
    画像信号に同期したデータを解析するデータ解析部と、
    前記データ解析部によるデータの解析結果及び前記画像信号が入力される所定のフレームレートに基づき、前記画像信号に基づく画像を表示する際の表示レートを決定する表示レート決定部と、
    を備えた半導体装置。

Images