JP2009016885A - 画像転送装置 - Google Patents

Abstract

【課題】合成処理を行う際のメモリバンド幅を上げることができるようにした画像転送装置を提供する。
【解決手段】画像転送装置１は、複数種類の画像データを記憶する画像データ記憶手段と、画像データ記憶手段に複数種類の画像データを転送する転送手段と、転送手段に転送命令を出力する転送制御手段とを備えている。また、画像転送装置の転送制御手段は、画像データに関して決められた転送条件が成立するまで複数の転送命令を蓄積し、その蓄積した複数の転送命令を転送手段に出力する。
【選択図】図１

Description

本発明は、画像データを転送する画像転送装置に関する。

従来、ハードディスクやＤＶＤ−ＲＡＭ，ＤＶＤ−Ｒ等の記録媒体に映像データや音声データを記録する記録再生装置が知られている。この種の記録再生装置は従来様々なタイプの装置が知られている。

例えば特許文献１には、複数のチャプタをグループ分けして複数のチャプタをグループごとに削除できるようにした記録再生装置が開示されている。
特開２００５−３４１２６８号公報

ところで、従来、前述の記録再生装置や、ハードディスク、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ等の記録媒体に記録されているデジタルデータを用いて映像信号を再生する映像再生装置では、映像信号を再生するときに、映画やドラマといった本編の映像と、ユーザがチャプタや音声出力を切り替るための操作ボタンのようなイベントの発生に用いられる制御用画像等のグラフィックス画像とを重ね合わせる合成処理が行われることがある（例えば、ＨＤ ＤＶＤによる映像再生装置）。

しかし、従来の映像再生装置では、そのような画像処理の際、重ね合わせる映像やグラフィックス画像のデータをフレームバッファに転送するが、各グラフィックス画像のデータはそれぞれを個別にフレームバッファに転送していた。

そのため、従来の映像再生装置では、合成処理を行う際にフレームバッファからは画像データを個別にしか読み出すことができず、それにより、メモリバンド幅（１秒間に読み出せるデータの量）を上げることができなかった。

そこで、本発明は上記課題を解決するためになされたもので、合成処理を行う際のメモリバンド幅を上げることができるようにした画像転送装置を提供することを目的とする。

上記課題を解決するため、本発明は、複数種類の画像データを記憶する画像データ記憶手段と、その画像データ記憶手段に複数種類の画像データを転送する転送手段と、その転送手段に転送命令を出力する転送制御手段とを備えた画像転送装置であって、転送制御手段は、画像データに関して決められた転送条件が成立するまで複数の転送命令を蓄積し、その蓄積した複数の転送命令を転送手段に出力する画像転送装置を提供する。

また、本発明は、複数種類の画像データを記憶する画像データ記憶手段と、その画像データ記憶手段に複数種類の画像データを転送する転送手段と、その転送手段に転送命令を出力する転送制御手段とを備えた画像転送装置であって、複数種類のグラフィックス画像の画像データを生成するグラフィックス画像データ生成手段を更に有し、転送制御手段は、グラフィックス画像データ生成手段によって生成される画像データのブロック転送命令を画像データに関して決められた転送条件が成立するまで蓄積し、その蓄積したブロック転送命令を転送手段に出力する画像転送装置を提供する。

以上詳述したように本発明によれば、合成処理を行う際のメモリバンド幅を上げることができるようにした画像転送装置が得られる。

以下、本発明の実施の形態について説明する。なお、同一要素には同一符号を用い、重複する説明は省略する。

図１は本発明の実施の形態に係る画像転送装置１の構成を示すブロック図である。本実施の形態に係る画像転送装置１は、コントローラ２と、グラフィックスエンジン３と、プレゼンテーションエンジン４と、フレームバッファ（グラフィックスメモリ）５とを有している。この画像転送装置１は、ＨＤ ＤＶＤプレイヤ等の映像再生装置に組み込まれ、複数の画像を合成する際の画像データの転送を行う。

コントローラ２は、ＭＰＵ（Micro Processing Unit）と、プログラムＲＯＭおよびＲＡＭを有している。プログラムＲＯＭには、ＭＰＵが実行するプログラムや制御プログラムが書き込まれている。ＲＡＭは、ＭＰＵによるプログラムの実行に必要なワークエリアを提供し得るようになっている。

そして、コントローラ２では、ＭＰＵがプログラムＲＯＭに記憶されている制御プログラムに従い作動してグラフィックスエンジン３に転送命令を出力し、グラフィックスエンジン３による画像データの転送を制御する転送制御手段としての機能を有している。

グラフィックスエンジン３はＶｓｙｎｃ（垂直同期信号）ごとにコントローラ２から転送命令が出力されているかどうかをチェックし、転送命令が出力されているときはプレゼンテーションエンジン４の後述する生成部（ピクセルバッファともいう）１４で生成され、保存されている画像データ（ピクセルバッファデータ）をスケーリングや透明にするなどの処理を行いながらフレームバッファ５に転送する転送手段としての機能を有している。

プレゼンテーションエンジン４はデータアクセスマネージャ２５（図９参照）を介して取得したディスク２６からのデータや、フラッシュメモリ２７からのデータ、ネットワークから取得したデータ２８を用いて画像データを生成する生成部を複数有している。

すなわち、プレゼンテーションエンジン４は、データアクセスマネージャ２５を介して取得したデータのうち、本編の主映像（Ｍａｉｎ Ｖｉｄｅｏ）のデータだけを取得し、デコードして画像データ（メインビデオプレーン）を生成する生成部１１、同様に本編の副映像のデータだけを取得し、デコードして画像データ（サブビデオプレーン）を生成する生成部１２、字幕などをデコード・表示する画像データ（サブピクチャプレーン）を生成する生成部１３、ピクセルバッファデータを生成し、保存する生成部１４およびカーソルを表示させるための画像データ（カーソルプレーン）を生成する生成部１５を有している。また、プレゼンテーションエンジン４は生成した画像データについての転送要求として後述する表示更新要求をコントローラ２に出力する。

フレームバッファ５はグラフィックスエンジン３によって転送される画像データを記憶する画像データ記憶手段としての機能を有している。なお、フレームバッファ５に記憶される画像データは、図示しない画像合成部により合成され、液晶表示パネル等により合成画像が表示される。

次に、画像転送装置１による画像データの転送処理について図３、図４を参照して説明する。画像転送装置１では、コントローラ２がＶｓｙｎｃ（垂直同期信号）ごとに各プレーンについて、各プレーンを用いた画像表示を更新するための要求（表示更新要求）があるか否かを判定し、表示更新要求があるときにグラフィックスエンジン３に転送命令を出力してその要求に応じたプレーンをブロック単位に転送（ブロック転送）する。なお、以下の説明では、生成部１４で生成されるピクセルバッファデータのブロック転送を例にとって説明する。

画像転送装置１はＶｓｙｎｃを基準にして定められるある一定の時間（１ｔｉｃｋ）の間に表示更新要求が発生したときに、図３に示すフローチャートに沿ってグラフィックスプレーンのブロック転送を開始する（Ｓ１）。この場合、コントローラ２がそのブロック転送を制御している。

そして、コントローラ２はブロック転送を開始するとＳ２に動作を進め、フレームバッファ５へのブロック転送が可能か否かを判定し、ブロック転送が可能な場合はＳ３に動作を進めるが、そうでなければブロック転送処理を終了する。

なお、コントローラ２はＳ２において、グラフィックスエンジン３による他の生成部からの画像データのブロック転送が行われている間は、フレームバッファ５へのブロック転送ができないため、ブロック転送不能と判定する。

コントローラ２はＳ３に動作を進めると、合成して表示される画像のうち、表示の更新される画像のデータ領域（例えば楕円、円形、矩形等のグラフィックス画像を構成する基本画像のデータ領域）についての転送命令を生成する。

その後、コントローラ２はＳ４に動作を進め、生成した転送命令にしたがい前述のデータ領域、すなわち、画像データの転送すべき領域について、ＰＮＧ（Portable Network Graphics），ＪＰＥＧ（Joint Photographic Expert Group）等によるデコード処理が必要か否かを判定する。デコード処理が必要なときはＳ５に動作を進めてデコード処理が完了しているか否かを判定する判定手段としての動作を行い、デコード処理が完了していればＳ６に動作を進め、完了していなければＳ４に戻り、次の転送命令について判定する。デコード処理が不要なときはＳ５を実行せずにＳ６に動作を進める。

コントローラ２はＳ６に動作を進めると、ブロック転送が行われる前述のデータ領域の大きさの総和が閾値を超えているか否かの転送条件の成否を判定し、超えていなければＳ７に動作を進め、超えているとき（転送条件が成立しているとき）はＳ８に動作を進める。

コントローラ２はＳ７に動作を進めると転送命令を溜め込む命令キューに転送命令を溜め込む蓄積処理を行う。Ｓ８では、それまで命令キューに溜め込んだ転送命令をグラフィックスエンジン３に出力する。すると、コントローラ２から出力される転送命令にしたがい、グラフィックスエンジン３がピクセルバッファデータをフレームバッファ５に転送する。

コントローラ２はＳ８に続いてＳ９に動作を進め、生成した転送命令をすべて出力したかどうかを判定し、すべて出力したときはＳ１０に動作を進め、そうでなければＳ４に戻る。

そして、コントローラ２はＳ１０動作を進めると、ブロック転送していない画像データが残っているかどうかを判定し、画像データが残っていればＳ１１に動作を進めてその画像データの転送命令をグラフィックスエンジン３に出力してから転送処理を終了するが、画像データが残っていなければＳ１１を実行せずに転送処理を終了する。

以上のようにすることによって、コントローラ２は１ｔｉｃｋ中に表示更新要求が発生した場合において、転送条件が成立するまで転送命令を命令キューに溜め込み、転送条件が成立したときに溜め込んだ転送命令をまとめてグラフィックスエンジン３に出力している。

この場合、例えば図４に示すように、生成部１４が生成したピクセルバッファデータＧ１、Ｇ２、Ｇ３があった場合において、転送条件が成立するまで、コントローラ２がそれぞれの転送命令Ｃ１、Ｃ２、Ｃ３を命令キューＤに溜め込み、１つにまとめた転送命令Ｅをグラフィックスエンジン３に出力している。

そのため、画像転送装置１では、転送命令Ｅに応じたピクセルバッファデータＧ４をまとめてフレームバッファ５に転送することができる。そうすると、フレームバッファ５からピクセルバッファデータＧ４をまとめて読み出せるので、一度に読み出せるデータ量が増える。したがって、合成処理を行う際のメモリバンド幅を上げることができる。

また、転送命令Ｃ１、Ｃ２、Ｃ３をまとめて転送命令Ｅとすることにより、ブロック転送に伴うオーバーヘッド（各転送命令に付随する画像データの転送以外の制御命令などのデータ）Ｆを小さくすることもできる。

さらに、コントローラ２は、１ｔｉｃｋ中において他のプレーンに対するデコード処理等の内部処理が行われる内部処理期間ｕ（図４参照）では、ブロック転送が行われないように制御しているから（前述のＳ２）、転送命令Ｃ１、Ｃ２、Ｃ３をまとめて転送命令Ｅとしても、他のプレーンのブロック転送には影響を及ぼさないようになっている。

以上の説明では、転送条件の成否を、画像データに関するデータ領域の大きさの総和が閾値を超えているか否かで判定していたが、これと異なる条件で転送条件を設定することもできる。この点について、図５から図７を参照して説明する。

図５はユーザがある番組を録画したときの映像データ３０の構成を模式的に示した図である。図示のとおり、この映像データ３０は図５（ａ）に示すように、本編の映像データ３１，３２，３３，３４と、その前後に含まれるＣＭの映像データ３５とを有している。

そして、ユーザは、この映像データ３０について、ＣＭの映像データ３５をカットする編集処理を行い、図５（ｂ）に示すように、映像データ３５をカットした映像データ３０を生成したとする。この編集処理では、本編の映像データ３１，３２，３３，３４と、ＣＭの映像データ３５とを分けるチャプタ分割を行っているので、編集後の映像データ３０は、本編の映像データ３１，３２，３３，３４に対応したチャプタに分割されている（映像データ３１，３２，３３，３４がそれぞれチャプタを構成している）。

そのため、編集後の映像データ３０について、図６（ａ）に示すように、各映像データ３１，３２，３３，３４について、それぞれがどのような内容であるかがわかるようにするためのチャプタ画像４１，４２，４３，４４が生成されている。

これらのチャプタ画像４１，４２，４３，４４は生成部１４で生成されると、フレームバッファ５に転送され、その後、画像合成部により合成されてメインビデオプレーンによる本編の映像に重ね合わせて表示される。

図６（ａ）では、チャプタ画像４１，４２，４３，４４の前後に操作用のキー画像５１，５２が表示された場合を示している。

そして、ユーザが再生される映像を見ながらリモコン操作を行い、左方向へのシフトを指示するキー画像５１を選んだとする。すると、この操作に伴い、チャプタ画像４１，４２，４３，４４の表示が左方向にずれて最終的には図６（ｃ）に示すようにチャプタ画像４５、４１，４２，４３が表示されるが、そのずれる過程の画像を表示するため、チャプタ画像４１，４２，４３，４４について、生成部１４によってそれぞれのα値（画像同士の色の混ぜ合わせ比率を変更して透明または半透明の色を表現するαブレンディングのパラメータ）を変えた３タイプの画像を生成したとする。例えば、図７に示すように、チャプタ画像６１，６２，６３，６４、７１，７２，７３，７４、８１，８２，８３，８４を生成したとする。

ここで、チャプタ画像６１，６２，６３，６４は３タイプの中で最もα値の低い画像、チャプタ画像７１，７２，７３，７４はα値を１段高くした画像、チャプタ画像８１，８２，８３，８４はチャプタ画像４１，４２，４３，４４のα値を２段高くした画像を示している。

このような場合において、各チャプタ画像６１〜８４は、プレゼンテーションエンジン４の生成部１４からフレームバッファ５にブロック転送されるが、それぞれを個別に転送すると、メモリバンド幅を上げることができなくなる。

そこで、画像転送装置１では、α値というチャプタ画像の性質を定めるパラメータに基づく転送条件が成立するまで転送命令を溜め込んでブロック転送を行うことにしている。この場合、チャプタ画像のα値が変わったときに転送条件が成立したとしてブロック転送命令がグラフィックスエンジン３に出力されることになる。

すると、α値が同じチャプタ画像はまとめてブロック転送を行い、α値が異なるチャプタ画像は別にしてブロック転送を行うようにすることができる。そのため、チャプタ画像６１，６２，６３，６４と、チャプタ画像７１，７２，７３，７４と、チャプタ画像８１，８２，８３，８４とがそれぞれ１つにまとめてブロック転送されることになる。

よって、ＸＭＬ（eXtensible Markup Language）やスクリプトの記述により、同じ大きさのデータ領域が並び、同じ画像処理（前述の場合はα値が同じ）を施す場合にはグラフィックスエンジン３への転送命令を１つにまとめて出力することができる。
なお、図８，９について付言すると次のとおりである。ナビゲーションマネージャ２０はユーザ入力ｕｉに応じて１tick毎に表示に必要な画像データがピクセルバッファ１４にあるかどうかをチェックし、画像データがなければデコーダ２２に対して、デコード指令を出す機能を有している。
デコーダ２２はデータキャッシュ２１に保存されている圧縮済みの画像データをデコードし、ピクセルバッファ１４に保存する機能を有している。

以上の説明は、本発明の実施の形態についての説明であって、この発明の装置及び方法を限定するものではなく、様々な変形例を容易に実施することができる。又、各実施形態における構成要素、機能、特徴あるいは方法ステップを適宜組み合わせて構成される装置又は方法も本発明に含まれるものである。

本発明の実施の形態に係る画像転送装置の構成を示すブロック図である。 プレゼンテーションエンジンとフレームバッファとを示すブロック図である。 画像転送装置による画像データの転送処理の動作手順を示すフローチャートである。 画像データの転送処理の内容を模式的に示した図である。 ユーザがある番組を録画したときの映像データの構成を模式的に示した図で、（ａ）は編集前、（ｂ）は編集後を示す図である。 チャプタ画像を示す図で、（ａ）はユーザの操作前、（ｂ）は表示変更中、（ｃ）は操作後を示す図である。 α値を変えたチャプタ画像を示す図である。 コントローラ、グラフィックスエンジンなどを含む別のブロック図である。 プレゼンテーションエンジンとフレームバッファとを含む別のブロック図である。

符号の説明

１…画像転送装置、２…コントローラ、３…グラフィックスエンジン、４…プレゼンテーションエンジン、５…フレームバッファ，３０、３１，３２，３３，３４、３５…映像データ

Claims (9)

1. 複数種類の画像データを記憶する画像データ記憶手段と、該画像データ記憶手段に前記複数種類の画像データを転送する転送手段と、該転送手段に転送命令を出力する転送制御手段とを備えた画像転送装置であって、
   前記転送制御手段は、前記画像データに関して決められた転送条件が成立するまで複数の前記転送命令を蓄積し、その蓄積した複数の前記転送命令を前記転送手段に出力することを特徴とする画像転送装置。
2. 前記複数種類の画像データを生成する複数の画像データ生成手段を更に有し、
   前記転送制御手段は、前記画像データ生成手段が生成するいずれかの前記画像データを前記転送手段が転送しているときは、他の前記画像データ生成手段が生成する前記画像データを前記転送手段が転送しないように制御することを特徴とする請求項１記載の画像転送装置。
3. 前記画像データ生成手段による前記画像データのうち、デコード処理の必要な画像データについてのデコード処理が完了しているか否かを判定する判定手段を更に有し、
   前記転送制御手段は、前記判定手段によって前記デコード処理が完了していると判定されたときにだけデコード処理の必要な画像データについての前記転送命令を前記転送手段に出力することを特徴とする請求項１または２記載の画像転送装置。
4. 前記転送制御手段は、前記画像データ生成手段からの転送要求に基づいて、前記転送手段に前記転送命令を出力することを特徴とする請求項１〜３のいずれか一項記載の画像転送装置。
5. 複数種類の画像データを記憶する画像データ記憶手段と、該画像データ記憶手段に前記複数種類の画像データを転送する転送手段と、該転送手段に転送命令を出力する転送制御手段とを備えた画像転送装置であって、
   前記複数種類のグラフィックス画像の画像データを生成するグラフィックス画像データ生成手段を更に有し、
   前記転送制御手段は、前記グラフィックス画像データ生成手段によって生成される前記画像データのブロック転送命令を前記画像データに関して決められた転送条件が成立するまで蓄積し、その蓄積した前記ブロック転送命令を前記転送手段に出力することを特徴とする画像転送装置。
6. 前記転送制御手段は、前記グラフィックス画像のうちの前記転送手段によって転送すべきデータ領域の大きさが、決められた閾値を超えたときに前記転送条件が成立したとして前記転送命令を前記転送手段に出力することを特徴とする請求項５記載の画像転送装置。
7. 前記転送制御手段は、前記グラフィックス画像の性質を定めるパラメータが変わったときに前記転送条件が成立したとして前記ブロック転送命令を前記転送手段に出力することを特徴とする請求項５記載の画像転送装置。
8. 前記グラフィックス画像データ生成手段における前記画像データのうち、デコード処理の必要な画像データについてのデコード処理が完了しているか否かを判定する判定手段を更に有し、
   前記転送制御手段は、前記判定手段によって前記デコード処理が完了していると判定されたときにだけデコード処理の必要な画像データについての前記ブロック転送命令を前記転送手段に出力することを特徴とする請求項５〜７のいずれか一項記載の画像転送装置。
9. 前記転送制御手段は、前記グラフィックス画像データ生成手段からの表示更新要求に基づいて、前記転送手段に前記ブロック転送命令を出力することを特徴とする請求項５〜８のいずれか一項記載の画像転送装置。