JP2012039516A - 画像表示装置及びその制御方法 - Google Patents

Abstract

【課題】動画像データ又は静止画像データを排他的に画像処理する画像表示装置において、動画像データのサムネイル画像を含むサムネイル一覧表示画像の表示中に静止画像データの画像処理を行うためにサムネイル一覧表示画像を静止画像として表示した場合に生じる違和感を抑制する。
【解決手段】所定のフレームレートでデータの書き込みと読み出しが可能なフレームメモリに記憶されたサムネイル一覧表示画像をフレームメモリから読み出して所定のグラフィックを合成して表示部に表示する制御において、サムネイル一覧表示画像に動画像データのサムネイル画像が含まれ、且つ、動画像データのサムネイル画像を動画像表示する必要が無いと判定される場合、フレームメモリに記憶されたサムネイル一覧表示画像を更新することなく同じサムネイル一覧表示画像を継続的に読み出して表示部に表示するとともに、その間、静止画像データに対する画像処理を実行する。
【選択図】図１

Description

本発明は、画像表示装置及びその制御方法に関する。

近年のデジタルテレビは画素数１９２０×１０８０（ＦＨＤ解像度）のハイビジョン動画像データの処理に対応したハードウェアを搭載している。このハードウェアは動画像の１秒当たりのフレーム数に追随してリアルタイムにＦＨＤの画像データを処理できる能力を有している。

一方、デジタルカメラ等で撮影された静止画像データの画素数はＦＨＤを超えるものも多い（例えば２０００万画素等）。ＦＨＤを超える画素数の静止画像データをＦＨＤのデジタルテレビで表示したりＦＨＤに対応するハードウェアで処理したりするには、画像処理回路を増やしたりＦＨＤ以下の画素数に縮小する専用処理回路を設けたりする必要がある。

特許文献１には、静止画像を動画像の画素数と同一の画素数の複数の分割画像に分割し、各分割画像を動画像用の画像圧縮装置に入力して圧縮することにより、動画像と静止画像の圧縮処理を共通の画像圧縮装置で実行することが提案されている。

特開平１１−３５５７７３号公報

特許文献１に記載の発明のように動画像データ用と静止画像データ用とで画像処理回路を共通化することが画像処理回路の規模を抑えるために有効であるが、この構成では動画像データと静止画像データの画像処理を排他的に行う必要がある。そのため、動画像データの表示や画像処理のために画像処理回路が占有されている場合には静止画像データの画像処理を行うことはできない。また、動画像データの表示中に静止画像データの画像処理を実行した場合、動画像のフレーム更新が行えなくなり同一画像が継続表示されることになるため、動画像を視聴中のユーザに違和感を与えてしまうことになる。

ところで、近年の画像表示装置には、複数の動画像データや静止画像データのサムネイル画像を一覧表示し、ユーザが所望の画像データを視聴対象や画像処理対象として選択することを支援する機能を有するものがある。動画像データのサムネイル画像を動画像として表示し、静止画像データのサムネイル画像を静止画像として表示することにより、ユーザが元の画像データの種類や内容を容易に判別できるようにすることもできる。

ユーザは、サムネイル画像の一覧表示において、各サムネイル画像にカーソルやポインタを合わせるといった操作をすることによって、所望の画像データを選択して全画面表示や画像処理の実行指示を画像表示装置に入力できる。

サムネイル画像の一覧表示の中からユーザが選択した静止画像データの画素数が画像表示装置の表示画素数を超える場合には、その静止画像データを画像表示装置の表示画素数以下の画素数に縮小する必要がある。そのため、ユーザがその静止画像データの表示を指示する操作を行ってから、実際にその静止画像データが画像表示装置に表示されるまでに
、縮小処理に係る処理待ち時間が生じる。

この処理待ち時間を低減するためには、サムネイル画像の一覧表示中にバックグラウンドで予め静止画像データの縮小処理を実行しておくことが好ましい。そうすれば、ユーザの操作に対して即座に縮小処理後の静止画像データを表示装置に出力することができるので、ユーザはデジタルカメラ等で作成された高画素数の静止画像データを快適に閲覧することができる。

しかしながら、動画像データのサムネイル画像を動画像として表示する場合、サムネイル画像の一覧表示画面自体が動画像となる。したがって、動画像のサムネイル画像が表示されている間は動画像データの処理のために画像処理回路が占有される。そのため、動画像データと静止画像データとで画像処理回路を共有する構成の画像表示装置では、サムネイル画像の一覧表示中にバックグラウンドで静止画像データの縮小処理を実行することができない。逆にバックグラウンドで静止画像データの縮小処理を行うことを優先した場合、サムネイル画像の一覧表示において動画像データのサムネイル画像が静止画表示されるため、動画像が一時的に停止してしまうことになり、ユーザに違和感を与えてしまう可能性がある。ここでは、フレームメモリに保持された同一の画像を出力し続けることによって静止画表示することをフリーズ表示、フリーズ処理などと表現する。通常、動画像表示では、フレーム画像をフレームレート単位でフレームメモリに書き込み、フレームメモリに保持されたフレーム画像をフレームレート単位でフレームメモリから読み出す処理を行っている。こうして、画面に表示されるフレーム画像をフレームレート単位で更新することで、動画像として表示が行われる。動画像データの表示においてフリーズ表示が行われた場合、動画像中の所定のフレーム画像が継続して出力表示され、見た目としては単なる静止画表示と同じとなる。動画像データが動画像として表示されているときに、一時的に静止画像として表示されると、視聴者は違和感を与える可能性がある。

本発明は、動画像データの画像処理及び静止画像データの画像処理を共通の画像処理部により排他的に行う画像表示装置において、動画像データのサムネイル画像を含むサムネイル一覧表示画像の表示中に、画像処理部で所定の静止画像データに対する画像処理を実行するために、動画像データのサムネイル画像の動画像表示を停止し、静止画像として表示する場合であっても、動画像表示が停止したことで生じる違和感を抑制することが可能な画像表示装置を提供することを目的とする。

本発明は、動画像データに対する画像処理及び静止画像データに対する画像処理を共通の画像処理部によって排他的に行う画像処理装置であって、
動画像データ及び静止画像データのサムネイル画像を複数配置したサムネイル一覧表示画像を生成する生成部と、
所定のフレームレートでデータの書き込みと読み出しが可能であり、前記生成部で生成されたサムネイル一覧表示画像を記憶するフレームメモリと、
前記フレームメモリに記憶されたサムネイル一覧表示画像を当該フレームメモリから読み出し、読み出したサムネイル一覧表示画像に所定のグラフィックを合成して、表示部に表示する制御を行う制御部と、
前記サムネイル一覧表示画像に動画像データのサムネイル画像が含まれている場合、当該動画像データのサムネイル画像を動画像表示する必要があるか否かを判定する判定部と、
を有し、
前記判定部が、動画像データのサムネイル画像を動画像表示する必要が無いと判定した場合、前記制御部は、前記フレームメモリに記憶されたサムネイル一覧表示画像を新たなサムネイル一覧表示画像に更新することなく継続して同じサムネイル一覧表示画像を読み
出して前記表示部に表示する制御を行い、
継続して同じサムネイル一覧表示画像を前記フレームメモリから読み出している間、前記画像処理部が、所定の静止画像データに対する画像処理を実行することを特徴とする画像表示装置である。

本発明は、動画像データに対する画像処理及び静止画像データに対する画像処理を共通の画像処理部によって排他的に行う画像表示装置の制御方法であって、
動画像データ及び静止画像データのサムネイル画像を複数配置したサムネイル一覧表示画像を生成する生成工程と、
所定のフレームレートでデータの書き込みが可能であり前記生成工程で生成されたサムネイル一覧表示画像を記憶するフレームメモリから、記憶されたサムネイル一覧表示画像を読み出し、読み出したサムネイル一覧表示画像に所定のグラフィックを合成して表示部に表示する制御を行う制御工程と、
前記サムネイル一覧表示画像に動画像データのサムネイル画像が含まれている場合、当該動画像データのサムネイル画像を動画像表示する必要があるか否かを判定する判定工程と、
を有し、
前記判定工程において、動画像データのサムネイル画像を動画像表示する必要が無いと判定された場合、前記制御工程において、前記フレームメモリに記憶されたサムネイル一覧表示画像を新たなサムネイル一覧表示画像に更新することなく継続して同じサムネイル一覧表示画像を読み出して前記表示部に表示する制御を行い、
継続して同じサムネイル一覧表示画像を前記フレームメモリから読み出している間、前記画像処理部が、所定の静止画像データに対する画像処理を実行することを特徴とする画像表示装置の制御方法である。

本発明により、動画像データの画像処理及び静止画像データの画像処理を共通の画像処理部により排他的に行う画像表示装置において、動画像データのサムネイル画像を含むサムネイル一覧表示画像の表示中に、画像処理部で所定の静止画像データに対する画像処理を実行するために、動画像データのサムネイル画像の動画像表示を停止し、静止画像として表示する場合であっても、動画像表示が停止したことで生じる違和感を抑制することが可能となる。

実施例１に係る画像表示装置の構成を示すブロック図 実施例１に係るサムネイル一覧表示画像の例 実施例１に係るメニュー表示時のサムネイル一覧表示画像の例 実施例１に係るサムネイル一覧表示制御のフローチャート 実施例１に係る動画像表示要否判定処理のフローチャート

本発明に係る画像表示装置は、共通の画像処理部において動画像データに対する画像処理及び静止画像データに対する画像処理を行う。動画像データの画像処理を行う画像処理部を静止画像データの画像処理に転用可能に構成されていると言うこともできる。画像処理部における動画像データの画像処理と静止画像データの画像処理は排他的であり、両方を同時に行うことはできない。
画像表示装置における画像表示は、フレームメモリに記憶された画像データがフレームメモリから読み出され、適宜グラフィックが合成されて表示部に表示されることにより行われる。動画像データの表示を行う場合には、動画像データのフレームレートに従って、フレームメモリへ新たな画像データが書き込まれ、フレームメモリの保持する画像データ
はフレームレートに従って更新される。そしてフレームレートに従ってフレームメモリから画像データが読み出され、表示部に表示されることにより、動画像データが動画像として表示される。このとき、フレームメモリの保持する画像データをフレームレートに従って更新するために、画像処理部もフレームレートに従って動画像データの各フレーム画像の画像処理を行うために占有され、静止画像データの画像処理を行うことはできない。
一方、画像データを静止画像として表示する場合、フレームメモリに保持（記憶）される画像データの更新は行われず、フレームメモリが保持している同一の画像データを継続的に読み出して表示部に表示する制御が行われる。このようにフレームメモリから同一画像が継続的に読み出され、表示部における表示が静止画像となることを、本明細書ではフリーズ表示と呼ぶ。フリーズ表示が行われているときは、フレームメモリに新たな画像データを書き込む必要がないため、画像処理部を任意の画像データの画像処理のために開放することができる。
本発明の画像表示装置では、判定部により動画像データのサムネイル画像を動画像表示する必要が無いと判定された場合、フレームメモリから同一のサムネイル一覧表示画像を継続的に読み出すフリーズ表示が行われる。このとき、画像処理部は、静止画像データの画像処理を行うことが可能な状態となる。このことを利用して、本発明に係る画像表示装置は、フレームメモリから同一のサムネイル一覧表示画像が読み出されフリーズ表示を行う制御が行われている時に、バックグラウンドで所定の静止画像データに対する画像処理を実行する。画像処理とは、例えば縮小処理等である。所定の静止画像データとは、例えばカーソルが当たっているなどの状況から、ユーザの指示に従って全画面表示の実行指示の対象となる可能性があると予測される静止画像データである。
フレームメモリの保持するサムネイル一覧表示画像の更新を行わず、同一のサムネイル一覧表示画像を読み出している間は、動画像データのサムネイル画像も静止画像データのサムネイル画像も同様に静止画像として表示されることになる。本発明の画像表示装置では、サムネイル一覧表示画像の表示状態が、動画像データのサムネイル画像に対するユーザの注目度が低いと判断可能な所定の条件を満たす場合に、動画像データのサムネイル画像を静止画像として表示することができると判定する。すなわち、動画像データのサムネイル画像を動画像で表示する必要は無いと判定する。従って、動画像データのサムネイル画像を含むサムネイル一覧表示画像の表示中に、画像処理部で所定の静止画像データに対する画像処理を実行するために動画像データのサムネイル画像の動画像表示を停止した場合に生じる違和感を抑制することができる。よって、ユーザに違和感を与えることを抑制しつつ、サムネイル一覧表示画像の表示中にバックグラウンドで所定の静止画像データに対する画像処理を画像処理部により実行することができる。

図１は、本発明の一実施例である画像表示装置のブロック図である。表示制御部１０１（制御部）は、表示を行う画像データの生成、制御を行う。例えば、ユーザ操作、保持された動画像データ及び静止画像データの管理、システム全体の制御を行う。表示制御部１０１は、表示制御部用ＣＰＵ１０５、表示制御部用メモリ１０４、表示制御部用バス１０８、その他各種入出力部により構成されている。表示制御部用ＣＰＵ１０５は、主にソフトウェアによって行われる処理及び制御を担う。表示制御部用メモリ１０４は、プログラムデータや画像データを格納する。表示制御部用バス１０８は、各部間のデータやコマンド送受信等のデータフローを仲介するバスである。

操作入力部１０６は、リモコン１１０からのユーザ操作を受け付け、結果を表示制御部用バス１０８に送る。画像データ保持部１０９は、静止画像データや動画像データを格納している。表示制御部１０１は、ユーザの指示に応じて、画像データ保持部１０９から画像データを呼び出して、それを画像処理部１１１に送る。

表示画像生成部１０２は、画像データ保持部１０９から呼び出した画像データを用いて、最終的に表示部１２３に表示する画像データを、例えば画像データ、サムネイル画像、
メニュー画像等を用いて構成し生成する（生成部）。画像出力部１０３は、表示画像生成部１０２で生成した画像データを動画像データバス１２１を経由して画像処理部１１１に送出する。表示制御部１０１は、静止画像データ（例えばＪＰＥＧ形式の静止画像データ）を画像処理部１１１に受け渡す際には、画像データ保持部１０９から静止画像データを呼び出して画像出力部１０３を通じて静止画像データバス１２２に送出し、画像処理部１１１に送る。

制御コマンド通信部１０７は、画像処理部１１１と表示制御部１０１が連携動作するための制御コマンドの受け渡しを行う。連携動作とは、例えば表示制御部１０１から送出する画像データの種類や内容等に応じて適宜、画像処理部１１１が画像データの画像処理や出力を行うことである。

画像処理部１１１は、表示制御部１０１から動画像データや静止画像データを受け取り、解像度変換処理や高画質化処理等を行って最終的に表示部１２３に出力する画像データを生成する。画像処理部１１１では、動画像データと静止画像データに対する画像処理を共通の画像処理回路（特徴検出部１１２、解像度変換部１１３、高画質化処理部１１４）を用いて行う。これらの画像処理回路は動画像データ用の画像処理回路であり、例えば１／６０秒又は１／１２０秒間隔で送られてくるＦＨＤの動画像データの各フレームの画像データに対して、解像度変換処理（画素数変換処理）や高画質化処理等を行うことができる。また、表示部１２３の表示可能な画素数（例えばＦＨＤ）を超える画素数の静止画像データを表示部１２３の表示性能に合わせてＦＨＤ以下の画素数に縮小する処理等の静止画像データに対する画像処理を行うこともできる。

動画像データを処理する場合、動画像データバス１２１を介して画像処理部１１１に入力された動画像データは、特徴検出部１１２、解像度変換部１１３、高画質化処理部１１４を通って第１のフレームメモリである画像処理用フレームメモリ１１８に格納される。格納された動画像データは、グラフィック合成部１１５へ読みだされて、第２のフレームメモリである画像処理用フレームメモリ１１９に格納される。特徴検出部１１２では、高画質化処理に必要となる動画像の輝度や階調毎のヒストグラム等の特徴量の検出を行う。解像度変換部１１３では動画像データの画素数と表示部１２３における表示画素数に応じて、動画像データの拡大や縮小を行う。高画質化処理部１１４では、特徴検出部１１２にて検出された各種特徴量の情報に従って、輝度や色の変換処理を行い、ユーザにとってより望ましい画質にする処理を行う。

静止画像データを処理する場合、圧縮符号化された静止画像データ（例えばＪＰＥＧ形式の静止画像データ）が静止画像データバス１２２を介して画像処理部１１１に入力され、静止画像デコード部１１７がデコード処理をする。デコードされた静止画像データは、画像処理用フレームメモリ１１８に格納される。ＦＨＤを超える画素数の静止画像データは、表示部１２３の表示性能に合わせてＦＨＤ以下の画素数に縮小処理される。この縮小処理は、本実施例では、画像処理部１１１の動画像データ用の画像処理回路である特徴検出部１１２、解像度変換部１１３及び高画質化処理部１１４にて行われる。すなわち、動画像用処理回路を静止画像データの画像処理のために流用する。つまり、動画像データと静止画像データの画像処理を共通の画像処理回路を用いて実行している。これらの動画像用処理回路は、ＦＨＤ以下の画素数の画像データを処理できる。この動画像用処理回路を用いてＦＨＤを超える画素数の静止画像データの縮小処理を行う場合、画像処理用フレームメモリ１１８内の静止画像データを動画像用処理回路で処理可能なＦＨＤ以下の画素数の複数の画像データに分割する。そして、各分割画像データは特徴検出部１１２に送出され、解像度変換部１１３において各分割画像データの縮小処理が行われる。次に、高画質化処理部１１４において、特徴検出部１１２より取得した各種特徴量の情報に応じて、ユーザとってより望ましい画質にする処理が行われる。縮小処理及び高画質化処理された各
分割画像データは、再度、画像処理用フレームメモリ１１８内に格納される。このような分割処理及び縮小処理を静止画像データの分割数だけ繰り返す。画像処理用フレームメモリ１１８に格納された全ての縮小処理された分割画像データが結合され、元の静止画像データをＦＨＤ以下の画素数に縮小した静止画像データが生成される。縮小処理によって得られたＦＨＤの静止画像データは、再度、特徴検出部１１２、解像度変換部１１３及び高画質化処理部１１４を含む動画像用処理回路を介してグラフィック合成部１１５に送られる。グラフィック合成部１１５にて表示制御部１０１の指示に従って、メニュー画面用のメニュー画像か後述するカーソル等のグラフィックが合成される。グラフィックが合成された最終的な表示画像データは、画像処理用フレームメモリ１１９に格納され、画像処理用フレームメモリ１１９内の表示画像データは表示部１２３に出力される。

本実施例では、このようにしてＦＨＤ以下の画素数の画像データを処理可能な動画像用処理回路を流用して、静止画像データの画像処理を行う。なお、本実施例では動画像用処理回路の処理可能な画像データの画素数をＦＨＤとしたのは一例でありこれに限らない。また、動画像用処理回路で可能な静止画像データの画像処理は上述した縮小処理に限らず、種々の画像処理を行うことが可能である。動画像データと静止画像データの画像処理を共通の画像処理回路を用いて実行するよう構成したので、本実施例に係る画像表示装置は回路規模を抑制することができ、コスト削減に有利な構成となっている。

一方、このような構成では、動画像データの処理と静止画像データの処理とは排他的に行われる。例えば、動画像データの表示を行う場合、１／６０秒毎や１／１２０秒毎といったフレームレートでフレーム画像を更新し、毎フレーム画像につき動画像用処理回路による画像処理を行う必要がある。そのため、動画像の表示中は、動画像用処理回路が動画像データの画像処理のために占有され、静止画像データの画像処理を行うための処理時間を確保できない。また、各フレームメモリは上記のフレームレートでフレーム画像の書き込みと読み出しを行うことになる。従って、動画像データの表示が行われている間は、静止画像データの縮小処理を行うことはできない。静止画像データの縮小処理は、動画像データの表示が行われていない間に行う必要がある。

画像処理部用ＣＰＵ１１６は、動画像用処理回路を共用して行う動画像データ及び静止画像データの排他的な画像処理を制御し、共通の画像処理資源を動画像データ処理及び静止画像データ処理に適切に分配する。制御内容の詳細については後述する。画像処理部１１１での制御は、表示制御部１０１と連携して行われる。画像処理部用ＣＰＵ１１６は、制御コマンド通信部１０７からの制御情報を受け取りこれに従って動作することで連携動作を実現する。

次に本実施例の画像表示装置においてサムネイル画像の一覧表示を行う場合の表示内容及び画像処理の制御例を、図２のサムネイル一覧表示画像の例を参照して説明する。図２において、サムネイル一覧表示画像２０１には、画像データ保持部１０９に保持された静止画像データ及び／又は動画像データのサムネイル画像（縮小画像）が１画面内に複数個（図２の例では３行４列の１２個）一覧できるように複数配置される。

サムネイル画像には、元の画像データの種類に応じて、動画像サムネイルと静止画像サムネイルがある。図２のサムネイル一覧表示画像例では、動画像サムネイル（１）２０２から動画像サムネイル（４）２０５までが元の画像データが動画像データである動画像サムネイルである。静止画像サムネイル（１）２０６から静止画像サムネイル（８）２１３までが元の画像データが静止画像データである静止画像サムネイルである。

サムネイル画像は、元の画像データに関連付けられて画像データ保持部１０９内に保持されており、表示画像生成部１０２が画像データ保持部１０９内のサムネイル画像を組み
合わせてサムネイル一覧表示画像を構成し生成する。

ユーザは一覧表示されたサムネイル画像のうちから一つを選択して、選択したサムネイル画像に対応する画像データに関する処理（例えば全画面表示や再生、画質変換等）を指示することができる。一覧表示されたサムネイル画像のうち現在選択されているサムネイル画像は、サムネイル選択カーソル２１４によって示される。サムネイル選択カーソル２１４は、ユーザがリモコン１１０の矢印ボタン等を操作することにより、サムネイル一覧表示画像２０１内の他のサムネイル画像に移動することができる。

ユーザは所望の画像データのサムネイル画像までサムネイル選択カーソル２１４を移動した後、そのサムネイル画像に対応する元の画像データに対する処理を指示することができる。そのような指示は、例えばユーザのリモコン操作に対してインタラクティブに表示されるメニュー画面を介して表示制御部１０１に入力することができる。

図３にメニュー画面表示時のサムネイル一覧表示画像の例を、メニュー表示付きサムネイル一覧表示画像３０１として示す。図３の例では、ユーザが静止画像サムネイル（７）２１２にサムネイル選択カーソル３０３を移動させて、このサムネイル画像に対応する元の静止画像データの全画面表示を指示する操作を行った状態を示している。ユーザのこの操作に対して表示されるメニュー画像３０２の「ＯＫボタン」を選択し決定する操作を行うと、静止画像サムネイル（７）２１２に対応する元の静止画像データを表示部１２３の画面全体に表示するための処理が実行される。この時、静止画像サムネイル（７）２１２に対応する元の静止画像データの画素数がＦＨＤを超える場合には、画像処理部１１１の動画像用処理回路を利用した上述の縮小処理によってＦＨＤ以下の画素数に縮小された画像データが表示される。

サムネイル画像一覧表示における動画像サムネイルの表示について説明する。動画像サムネイルを動画像として表示することにより、その動画像サムネイルに対応する元の画像データが動画像データであることをユーザに示すことができる。また、元の動画像データの内容をユーザが把握しやすくすることができる。

動画像サムネイルにユーザが注目している場合、そのサムネイル画像が静止画表示されて動画像として表示されなくなると、ユーザが違和感を覚える可能性がある。従って、動画像サムネイルにユーザが注目している場合には、動画像サムネイルを動画像として表示することが望ましい。

一方、ユーザの注目度が低い動画像サムネイルについては、静止画表示されて動画像として表示されなくてもユーザが違和感を覚える可能性は低い。従って、動画像サムネイルに対するユーザの注目度が低いと判断可能の場合には、動画像サムネイルを動画像として表示する必要はない。

このことから、本実施例では、動画像サムネイルを動画像として表示することの要否を、ユーザの動画像サムネイルに対する注目度に基づいて判断する。そして、動画像データのサムネイル画像に対するユーザの注目度が低いと判断できる所定の条件が成立する場合に、動画像サムネイルを動画像表示する必要は無い判定し、サムネイル一覧表示画像をフリーズ表示する。なお、フリーズとの表現については、背景技術欄に上述したとおり、フレームメモリに記憶された同一の画像を継続的に出力し続ける状態を意味するものである。ここでは、フレームメモリに記憶されたサムネイル一覧表示画像を他の画像に書き換えることをせずに表示し続ける。

図２に示すサムネイル一覧表示画像の例では、ユーザがサムネイル選択カーソル２１４
を動画像サムネイル（３）２０４に合わせており、ユーザの動画像サムネイルに対する注目度が高いと考えられる。従って、この動画像サムネイル（３）２０４を動画像として表示する。この場合、動画像サムネイル（３）２０４を動画像として表示するための処理が動画像用処理回路により行われるため、サムネイル画像の一覧表示中に動画像用処理回路を利用して静止画像データの画像処理を行うことはできない。

一方、ユーザがサムネイル選択カーソル２１４を移動させて静止画像サムネイル（４）２０９を選択した場合、ユーザの動画像サムネイルに対する注目度は低いと考えられる。そのため、動画像サムネイルを動画像として表示せず静止画像として表示したとしても、ユーザが違和感を覚える可能性は低い。従って、動画像サムネイル（１）２０２〜（４）２０５を一時的に静止させた静止画像として表示する。この場合、静止画像サムネイル（１）２０６〜（８）２１３を含め、全てのサムネイル画像は静止画像として表示されることになるため、サムネイル画像の一覧表示は同一画像データを表示し続けるフリーズ表示とすることができる。この表示は、画像処理部用ＣＰＵ１１６が画像処理用フレームメモリ１１８に対してフリーズ表示制御を行い、画像処理用フレームメモリ１１８内の同一画像データをグラフィック合成部１１５に継続出力することで実現する。この場合、サムネイル一覧表示画像は動画像として表示する必要がないので、サムネイル画像の一覧表示中であっても、画像処理用フレームメモリ１１８の保持する画像データを更新する必要がない。そのため、サムネイル画像の一覧表示中に動画像用処理回路を静止画像データの画像処理のために利用することができる。

なお、ユーザが動画像サムネイルに注目していないと判断できる状況としては、次のような場合も考えられる。例えば、大量のサムネイル画像を含むサムネイル一覧表示画像を表示している場合である。図２の例では、サムネイル一覧表示画像２０１に３行４列の計１２個のサムネイル画像が表示される場合を示したが、一覧画面に含まれるサムネイル画像の個数をユーザの操作により変更することが可能な場合もある。一覧画面に含まれるサムネイル画像の個数が多くなるほど、各サムネイル画像のサイズは小さくなる。大量のサムネイル画像を含むサムネイル一覧表示画像を表示している場合、ユーザは各サムネイル画像から元の画像データの内容を正確に把握することよりも、多数の画像データの一覧性を優先していると考えられる。従って、動画像サムネイルを動画像として表示せず静止画表示してもユーザが違和感を覚える可能性は低い。

また、図３のメニュー表示付きサムネイル一覧表示画像３０１に示すように、メニュー画像３０２がサムネイル一覧表示画像にオーバーレイして表示されている状態では、ユーザはメニュー画像に注目しており、サムネイル画像には注目していないと考えられる。従って、背景となっているサムネイル一覧表示画像の中の動画像サムネイルが一時的に静止してもユーザが違和感を覚える可能性は低い。メニュー画面を静止画像により構成すれば、メニュー画面表示も静止画表示することができるので、メニュー表示付きサムネイル一覧表示画像３０１をフリーズ表示することが可能である。

次に、サムネイル一覧表示画像の表示中にバックグラウンドで静止画像データの画像処理を行う制御について説明する。ＦＨＤを超える画素数の静止画像データを表示部１２３に全画面表示するためには、静止画像データを表示画素数以下（ＦＨＤ以下）の画素数にする縮小処理を行う必要がある。この縮小処理には時間がかかるので、静止画像データの全画面表示が指示されてからこの縮小処理を開始した場合、当該静止画像データの縮小処理後の静止画像データが実際に全画面表示されるまでに処理待ち時間が生じることになる。

ユーザに快適な閲覧体験を提供するためには、この処理待ち時間を短縮し又はなくすことが望ましい。そのために本実施例では、サムネイル一覧表示画像の表示中に、ユーザが
全画面表示を指示する対象となる可能性のある静止画像データを予測し、該予測した静止画像データの縮小処理を予め実行しておく先読み処理を行う。例えば、サムネイル一覧表示画像において現在サムネイル選択カーソルが位置している静止画像データを、ユーザが全画面表示を指示する対象の静止画像データと推定することができる。そして、その静止画像データの画素数に基づいて、先読み処理の要否を判断することができる。また、現在サムネイル選択カーソルが位置しているのが動画像サムネイルの場合には、先読み処理は不要と判断することもできる。

静止画像データの先読み処理を実行することにより、ユーザが実際に静止画像データの全画面表示を指示する操作を行った時点で既に当該静止画像データの縮小処理が完了した状態又は部分的に完了した状態になっているようにできる。従って、ユーザが全画面表示を指示する操作をしてから実際に縮小処理後の静止画像データが表示されるまでの処理待ち時間を短縮又はなくすことができる。

静止画像データの先読み処理は、動画像用処理回路を利用して行われる画像処理である。本実施例では、サムネイル一覧表示画像を動画像表示する必要がない場合、すなわち、サムネイル一覧表示画像をフリーズ表示できる条件が成立する場合に、静止画像データの先読み処理を実行する。つまり、本実施例では、ユーザが動画像サムネイルに注目していないと判断できる場合に、サムネイル一覧表示画像をフリーズ表示するとともに、バックグラウンドで静止画像データの先読み処理を実行する。従って、静止画像データの先読み処理の実行によりサムネイル一覧表示画像の動画像サムネイルが静止画表示されたとしても、ユーザに違和感を与える可能性は低い。

このように、本実施例では、動画像サムネイルを静止画表示してもユーザに違和感を与えにくい所定の条件が成立する場合に限って、動画像サムネイルを含むサムネイル一覧表示画像をフリーズ表示し、バックグラウンドで静止画像データの画像処理を行う。また、動画像サムネイルを静止画表示した場合にユーザに違和感を与える可能性がある条件が成立する場合には、サムネイル一覧表示画像のフリーズ表示を行わず、動画像サムネイルを動画像として表示する。このように、ユーザが動画像サムネイルに注目しているか否かの判断に基づいて画像処理資源を効率的に分配するので、動画像用処理回路を静止画像データの画像処理に流用する構成でもユーザにおける違和感の抑制と快適な閲覧体験の提供とを両立できる。

次に、本実施例の画像処理装置における上述したサムネイル一覧表示画像のフリーズ表示制御と静止画像データの先読み処理のフローを、図４のフローチャートを用いて説明する。

ステップＳ４０１において、ユーザがリモコン１１０によりサムネイル画像一覧表示の表示操作を行い、表示制御部１０１がこれを検知すると、表示画像生成部１０２が画像データ保持部１０９内のサムネイル画像データからサムネイル一覧表示画像を構成する。

次に、ステップＳ４０２において、動画像サムネイルを動画像として表示する必要があるか否かを判定する動画像表示要否判定を行う。この動画像表示要否判定の詳細な処理フローについては、図５を用いて後述する。

ステップＳ４０２において、動画像サムネイルを動画像表示することが必要と判定された場合、ステップＳ４０３に移り、表示画像生成部１０２は、サムネイル一覧表示画像を生成する。生成されたサムネイル一覧表示画像は、画像処理部１１１に送られ、グラフィック合成部１１５によってカーソルなどのグラフィックが合成され、画像処理用フレームメモリ１１９に書き込まれる。表示画像生成部１０２は、動画像サムネイルのフレームレ
ートで新しいサムネイル一覧表示画像を生成し、当該フレームレートで新しい画像が画像処理用フレームメモリ１１９に書き込まれる。これにより、動画像サムネイルのフレームレートで画像処理用フレームメモリ１１９の保持する画像データが更新され、当該フレームレートで画像処理用フレームメモリ１１９からサムネイル一覧表示画像が表示部１２３に出力される。こうして、サムネイル一覧表示画像は動画像として表示部１２３に表示される（ステップＳ４０４）。これらの制御を行う機能部が本発明の「制御部」として機能している。動画像サムネイルのフレームレートは、元の動画像データのフレームレートと等しくても良いし、元の動画像データのフレームレートと異なっていても良い。

ステップＳ４０２において、動画像サムネイルを動画像表示する必要は無いと判定された場合、ステップＳ４０５に移り、表示画像生成部１０２は、サムネイル一覧表示画像を生成する。生成されたサムネイル一覧表示画像は、画像処理部１１１に送られ、グラフィック合成部１１５によって、ユーザ操作に応じたメニュー画面やカーソルを構成するグラフィックが合成され、画像処理用フレームメモリ１１９に書き込まれる。

画像処理用フレームメモリ１１９に書き込まれたサムネイル一覧表示画像は、更新されることなく画像処理用フレームメモリ１１９に保持される。そして、このサムネイル一覧表示画像が継続的に画像処理用フレームメモリ１１９から読み出され、表示部１２３に出力される。すなわち、同一のサムネイル一覧表示画像が継続的に画像処理用フレームメモリ１１９から読み出され表示部１２３に表示されるため、見た目として静止画像表示と変わらないフリーズ表示となる（ステップＳ４０６）。この場合、画像処理用フレームメモリ１１９の保持するサムネイル一覧表示画像を更新しないため、新しいサムネイル一覧表示画像を画像処理用フレームメモリ１１９に書き込む必要がない。よって、画像処理用フレームメモリ１１８や動画像用処理回路（特徴検出部１１２、解像度変換部１１３、高画質化処理部１１４）は、画像処理用フレームメモリ１１９に書き込むためのサムネイル一覧表示画像の生成に占有されなくなる。従って、静止画像データの先読み処理のために動画像用処理回路を使用可能な状態になる。

次にステップＳ４０７において、静止画像データの先読み処理の実行要否を判定する。上述したように、表示画像生成部１０２はサムネイル一覧表示画像におけるカーソルの位置に基づいてユーザが全画面表示を指示する対象となる可能性のある静止画像データを推定する。なお、カーソル自体は操作入力部１０６で受けた操作信号に基づいて画像処理部用ＣＰＵ１１６が位置や動作をグラフィック合成部１１５に伝えて描画させているものである。従って、表示画像生成部１０２は画像処理部用ＣＰＵ１１６からカーソルの位置に関する情報を取得することでカーソルの位置を特定できる。もちろん、表示画像生成部１０２自体がカーソルの位置情報を生成することも可能である。推定した静止画像データの画素数が表示部１２３の表示画素数（ＦＨＤ）を超える場合に、静止画像データの先読み処理が必要と判断し、ステップＳ４０８に進む。また、ユーザ操作により既に全画面表示の指示がなされ、図３に示すようなメニュー表示が行われている場合には、当該全画面表示指示の対象となっている静止画像データの画素数に基づいて、先読み処理の要否を判断する。推定された静止画像データや全画面表示指示の対象となっている静止画像データの画素数がＦＨＤ以下の場合や、現在のカーソル位置のサムネイル画像が動画像サムネイルの場合は、静止画像データの先読み処理は不要と判断して、ステップＳ４１３に進む。

ステップＳ４０８において、先読み処理対象の静止画像データの縮小処理が完了したか否か判定する。縮小処理が完了していないと判断される場合は、ステップＳ４０９において、表示制御部用ＣＰＵ１０５は制御コマンド通信部１０７を介してフリーズ表示制御信号を画像処理部用ＣＰＵ１１６に送出する。画像処理部用ＣＰＵ１１６はこれを受けて、画像処理用フレームメモリ１１８に対してフリーズ表示制御を行う。

続くステップＳ４１０において、動画像用処理回路を利用して静止画像データの縮小処理を行う。縮小処理以外の画像処理を行うこともできる。静止画像データの縮小処理を開始してから、再びステップＳ４０２の動画像表示要否判定を行う。すなわち、動画像表示が不要と判定される限り、ステップＳ４０８で縮小処理が完了したと判断されるまで静止画像データの縮小処理を継続する。一方、静止画像データの縮小処理を開始した後、ステップＳ４０２で動画像表示が必要と判定された場合には、縮小処理を中断してステップＳ４０３及びステップＳ４０４を実行し、サムネイル一覧表示画像の動画像表示を行う。例えば、ユーザがサムネイル選択カーソルを移動してサムネイル選択カーソルがあたっている位置のサムネイル画像が動画像サムネイルになった場合、ステップＳ４０２で動画像表示が必要との判定がなされることになる。この場合、動画像用処理回路は、静止画像データの縮小処理から動画像サムネイルの動画像表示のための処理に切り替えられ、ユーザが注目している動画像サムネイルが動画像として表示されるので、ユーザに違和感を与えることを抑制できる。

ステップＳ４０８で縮小処理が完了したと判断されたら、ステップＳ４１１において静止画像データの縮小処理を終了する。これにより静止画像データの先読み処理のために動画像用処理回路を確保する必要がなくなるので、フリーズ表示制御は不要となる。従って、ステップＳ４１２において、画像処理部用ＣＰＵ１１６から表示制御部用ＣＰＵ１０５に対してフリーズ表示解除信号が送出される。同時に静止画像データ先読み処理の結果、画像処理用フレームメモリ１１８に格納された縮小処理された静止画像データの情報も合わせて表示制御部用ＣＰＵ１０５に送出される。

ステップＳ４１３において、ユーザがリモコン１１０により静止画像データの全画面表示を指示する操作をするまで、上記ステップＳ４０２以降の処理を実行し、ユーザが全画面表示の指示操作をした場合、ステップＳ４１４に進む。

ステップＳ４１４において、表示制御部用ＣＰＵ１０５が、全画面表示の対象となっている静止画像データに関して縮小処理された結果の静止画像データがあるか否かを判定する。先読み処理によりＦＨＤへ縮小処理された静止画像データが既に画像処理用フレームメモリ１１８に格納されている場合、ステップＳ４１７にて当該ＦＨＤの静止画像データを読み出し、画像処理部１１１から表示部１２３に送出する。これにより、ユーザが指示した静止画像データが表示部１２３に全画面表示される。

先読み処理によりＦＨＤへ縮小処理された静止画像データが未だ画像処理用フレームメモリ１１８に格納されていない場合には、全画面表示の対象となっている静止画像データの縮小処理を行う。上述のように縮小処理には処理時間がかかるので、ステップＳ４１５において処理待ち画面の表示を行い、ステップＳ４１６において縮小処理を実行する。縮小処理が完了するとステップＳ４１７に移り、縮小処理によって得られたＦＨＤの静止画像データを表示部１２３に送出する。これによりユーザが全画面表示を指示した静止画像データの縮小処理後の静止画像データが表示部１２３に全画面表示される。

なお、全画面表示の対象となっている静止画像データの画素数がＦＨＤ以下の場合には、ステップＳ４１４の判定をスキップしてステップＳ４１７に進み静止画像データの表示を行っても良い。

本実施例によれば、ユーザが動画像サムネイルに注目していない時にサムネイル一覧表示画像がフリーズ表示されてバックグラウンドで高画素数の静止画像データの縮小処理が行われるので、ステップＳ４１４において縮小処理結果が有ると判定されやすい。よって、ユーザがデジタルカメラ等で作成した高画素数の静止画像データを閲覧する際にステップＳ４１５の処理待ち画面によって頻繁に待たされることを回避でき、快適な閲覧体験を
提供することが可能になる。

次に、ステップＳ４０２の動画像表示要否判定の詳細について、図５に示すフローチャートを用いて述べる。本フローの処理は、画像データ保持部１０９に格納された動画像データ及び静止画像データに基づいて、表示制御部１０１内部で実行される。表示制御部用ＣＰＵ１０５（判定部）は各種画面状態の判断、サムネイル画像情報の取得及び判定を実行し、各種画像情報、判定結果は表示制御部用メモリ１０４に格納される。

まずステップＳ５０１において、サムネイル一覧表示画像を構成する複数のサムネイル画像（図２、図３の例では１２個のサムネイル画像）のうちに動画像サムネイルが含まれているか否か判定する。動画像サムネイルが含まれていない場合、サムネイル一覧表示画像を動画像として表示する必要はないので、ステップＳ５０５にて動画像表示は不要と判定する。

一方、サムネイル画像のうちに動画像サムネイルが含まれている場合、ステップＳ５０２にてメニュー画面がサムネイル一覧表示画像にオーバーレイして表示されているか否か判定する。メニュー画面がサムネイル一覧表示画像にオーバーレイして表示されている場合は、ステップＳ５０５にて動画像表示は不要と判定する。

メニュー画面がサムネイル一覧表示画像にオーバーレイ表示されていない場合、ステップＳ５０３にて動画像サムネイルがサムネイル選択カーソルによって選択されているか否か判定する。動画像サムネイルが選択されている場合、すなわち動画像サムネイルにカーソルが当たっている場合、ステップＳ５０６にて動画像表示が必要と判定する。

動画像サムネイルが選択されていない場合、ステップＳ５０４にて動画像サムネイルの表示サイズが所定のしきい値以上か否か判定する。このしきい値としては、予め表示制御部１０１が保持する値を用いるようにしてもよいし、ユーザが任意の値を設定できるようにしてもよい。動画像サムネイルの表示サイズがしきい値以上の場合、ステップＳ５０６にて動画像表示が必要と判定する。動画像サムネイルの表示サイズがしきい値より小さい場合、ステップＳ５０５にて動画像表示は必要ないと判定する。或いは、サムネイル一覧表示画像を構成するサムネイル画像の個数がある閾値以上であれば動画像表示は必要ないという判定をすることもできる。

本実施例の画像表示装置によれば、動画像サムネイルが静止画として表示されてもユーザが違和感を覚えにくい状況、すなわち、ユーザの動画像サムネイルに対する注目度が低いと判断できる状況に限って、動画像サムネイルを静止画として表示する。動画像サムネイルを静止画として表示している間は、サムネイル一覧表示画像の表示のために動画像用処理回路が占有されないため、高解像度の静止画像データの縮小処理や高画質化処理のために動画像用処理回路を利用することができる。従って、静止画像データの処理用の専用回路を増設することなく、動画像用処理回路を流用して静止画像データの処理を行うことができ、且つ、ユーザが違和感を覚えるフリーズ表示を抑制することが可能になる。

なお、本実施例では、サムネイル一覧表示画像の表示中にバックグラウンドで行う画像処理として縮小処理を例示したが、拡大処理を含む解像度変換処理、輝度や彩度等の画質変換処理、歪曲やコントラストの補正処理等、種々の画像処理にも適用できる。

１０１：表示制御部、１０３：画像出力部、１０５：表示制御部用ＣＰＵ、１１１：画像処理部

Claims (7)

1. 動画像データに対する画像処理及び静止画像データに対する画像処理を共通の画像処理部によって排他的に行う画像表示装置であって、
   動画像データ及び静止画像データのサムネイル画像を複数配置したサムネイル一覧表示画像を生成する生成部と、
   所定のフレームレートでデータの書き込みと読み出しが可能であり、前記生成部で生成されたサムネイル一覧表示画像を記憶するフレームメモリと、
   前記フレームメモリに記憶されたサムネイル一覧表示画像を当該フレームメモリから読み出し、読み出したサムネイル一覧表示画像に所定のグラフィックを合成して、表示部に表示する制御を行う制御部と、
   前記サムネイル一覧表示画像に動画像データのサムネイル画像が含まれている場合、当該動画像データのサムネイル画像を動画像表示する必要があるか否かを判定する判定部と、
   を有し、
   前記判定部が、動画像データのサムネイル画像を動画像表示する必要が無いと判定した場合、前記制御部は、前記フレームメモリに記憶されたサムネイル一覧表示画像を新たなサムネイル一覧表示画像に更新することなく継続して同じサムネイル一覧表示画像を読み出して前記表示部に表示する制御を行い、
   継続して同じサムネイル一覧表示画像を前記フレームメモリから読み出している間、前記画像処理部が、所定の静止画像データに対する画像処理を実行することを特徴とする画像表示装置。
2. 前記判定部は、前記表示部に表示されたサムネイル一覧表示画像の表示状態が、前記サムネイル一覧表示画像に含まれる動画像データのサムネイル画像に対するユーザの注目度が低いと判断可能な所定の条件を満たす場合に、動画像データのサムネイル画像を動画像で表示する必要は無いと判定することを特徴とする請求項１に記載の画像表示装置。
3. 前記所定の条件は、前記制御部によってサムネイル一覧表示画像にメニュー画面をオーバーレイして表示する制御が実行されていることであることを特徴とする請求項２に記載の画像表示装置。
4. 前記所定の条件は、前記制御部によってサムネイル一覧表示画像に含まれる静止画像データのサムネイル画像に、カーソルが当たっている場合であることを特徴とする請求項２項に記載の画像表示装置。
5. 前記所定の条件は、サムネイル一覧表示画像に含まれるサムネイル画像の表示サイズが所定のしきい値より小さい場合であることを特徴とする請求項２項に記載の画像表示装置。
6. 継続して同じサムネイル一覧表示画像を前記フレームメモリから読み出している間、前記画像処理部により画像処理が実行される所定の静止画像データは、ユーザの指示に従って全画面表示される可能性があると予測された静止画像データであることを特徴とする請求項１乃至５のいずれか１項に記載の画像表示装置。
7. 動画像データに対する画像処理及び静止画像データに対する画像処理を共通の画像処理部によって排他的に行う画像表示装置の制御方法であって、
   動画像データ及び静止画像データのサムネイル画像を複数配置したサムネイル一覧表示画像を生成する生成工程と、
   所定のフレームレートでデータの書き込みが可能であり前記生成工程で生成されたサム
   ネイル一覧表示画像を記憶するフレームメモリから、記憶されたサムネイル一覧表示画像を読み出し、読み出したサムネイル一覧表示画像に所定のグラフィックを合成して表示部に表示する制御を行う制御工程と、
   前記サムネイル一覧表示画像に動画像データのサムネイル画像が含まれている場合、当該動画像データのサムネイル画像を動画像表示する必要があるか否かを判定する判定工程と、
   を有し、
   前記判定工程において、動画像データのサムネイル画像を動画像表示する必要が無いと判定された場合、前記制御工程において、前記フレームメモリに記憶されたサムネイル一覧表示画像を新たなサムネイル一覧表示画像に更新することなく継続して同じサムネイル一覧表示画像を読み出して前記表示部に表示する制御を行い、
   継続して同じサムネイル一覧表示画像を前記フレームメモリから読み出している間、前記画像処理部が、所定の静止画像データに対する画像処理を実行することを特徴とする画像表示装置の制御方法。

Images