JP2003348447A - 画像出力装置 - Google Patents
画像出力装置Info
- Publication number
- JP2003348447A JP2003348447A JP2002156273A JP2002156273A JP2003348447A JP 2003348447 A JP2003348447 A JP 2003348447A JP 2002156273 A JP2002156273 A JP 2002156273A JP 2002156273 A JP2002156273 A JP 2002156273A JP 2003348447 A JP2003348447 A JP 2003348447A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- unit
- display image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
- G09G5/026—Control of mixing and/or overlay of colours in general
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Circuits (AREA)
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 表示画像を合成し、表示部に出力する。
【解決手段】 入力された符号化動画像データを復号す
る復号部１３と、表示部の指定された場所に任意の大き
さで上記復号後の動画像データにより表される第１の表
示画像を表示させる第１の表示領域情報を生成し、入力
データに含まれている画像データに基づき表示部に適合
した画像形式である第２の表示画像を生成し、表示部の
指定された場所に任意の大きさで第２の表示画像を表示
させる第２の表示領域情報を生成し、表示画像を合成す
る際に、第１及び第２の表示領域情報に基づき、合成状
態を決定する合成パラメータを生成し、第２の表示画像
に合成パラメータを付加するデータ処理部１８と、合成
パラメータに基づき、第１の表示画像と第２の表示画像
とを合成し、表示部に出力する合成出力部とを備える。
る復号部１３と、表示部の指定された場所に任意の大き
さで上記復号後の動画像データにより表される第１の表
示画像を表示させる第１の表示領域情報を生成し、入力
データに含まれている画像データに基づき表示部に適合
した画像形式である第２の表示画像を生成し、表示部の
指定された場所に任意の大きさで第２の表示画像を表示
させる第２の表示領域情報を生成し、表示画像を合成す
る際に、第１及び第２の表示領域情報に基づき、合成状
態を決定する合成パラメータを生成し、第２の表示画像
に合成パラメータを付加するデータ処理部１８と、合成
パラメータに基づき、第１の表示画像と第２の表示画像
とを合成し、表示部に出力する合成出力部とを備える。
Description
【０００１】
【発明の属する技術分野】ＰＣアーキテクチャをベース
とし、圧縮動画像と背景画像との合成を行う画像出力装
置に関する。
とし、圧縮動画像と背景画像との合成を行う画像出力装
置に関する。
【０００２】
【従来の技術】従来、ＰＣ（パーソナルコンピュータ）
をベースとしたビデオ画像表示装置では、入力された圧
縮動画像をビデオデコーダボードやグラフィックアクセ
ラレータ等を利用してデコード処理し、デコード処理し
た動画像とそれ以外の画像とをグラフィック出力部で合
成し、合成した画像を表示画像として表示装置に出力し
ている。
をベースとしたビデオ画像表示装置では、入力された圧
縮動画像をビデオデコーダボードやグラフィックアクセ
ラレータ等を利用してデコード処理し、デコード処理し
た動画像とそれ以外の画像とをグラフィック出力部で合
成し、合成した画像を表示画像として表示装置に出力し
ている。
【０００３】ここで、図６を用いて、上述のように画像
を合成し、合成した画像を表示装置に出力する従来の装
置（以下、画像出力装置２という。）について構成と動
作を説明する。
を合成し、合成した画像を表示装置に出力する従来の装
置（以下、画像出力装置２という。）について構成と動
作を説明する。
【０００４】画像出力装置２は、図６に示すように、デ
ータ供給・格納部４０と、データ供給部４１と、サウス
ブリッジ４２と、ＭＰＥＧデコーダ４３と、ノースブリ
ッジ４４と、ＲＡＭ４５と、ＣＰＵ４６と、グラフィッ
ク出力部４７と、ＲＡＭ４８と、ＲＡＭ４９とを備えて
いる。データ供給・格納部４０は、サウスブリッジ４２
に接続されており、例えば、ＤＶＤドライブ、ＨＤＤ、
ネットワークモジュール、画像キャプチャーモジュール
又はチューナーモジュール等の圧縮画像を含むデータを
入出力する装置である。なお、複数台のデータ供給・格
納部４０がサウスブリッジ４２に接続されていても良
い。また、データ供給・格納部４０は、例えばＩＥＥＥ
１３９４等のインターフェースを介してサウスブリッジ
４２に接続されていても良い。
ータ供給・格納部４０と、データ供給部４１と、サウス
ブリッジ４２と、ＭＰＥＧデコーダ４３と、ノースブリ
ッジ４４と、ＲＡＭ４５と、ＣＰＵ４６と、グラフィッ
ク出力部４７と、ＲＡＭ４８と、ＲＡＭ４９とを備えて
いる。データ供給・格納部４０は、サウスブリッジ４２
に接続されており、例えば、ＤＶＤドライブ、ＨＤＤ、
ネットワークモジュール、画像キャプチャーモジュール
又はチューナーモジュール等の圧縮画像を含むデータを
入出力する装置である。なお、複数台のデータ供給・格
納部４０がサウスブリッジ４２に接続されていても良
い。また、データ供給・格納部４０は、例えばＩＥＥＥ
１３９４等のインターフェースを介してサウスブリッジ
４２に接続されていても良い。
【０００５】データ供給部４１は、例えば、チューナー
や外部入力モジュールであり、ＭＰＥＧデコーダ４３に
接続されており、ＭＰＥＧデコーダ４３に圧縮画像を直
接送信できるようになっている。サウスブリッジ４２
は、例えば、ＩＣＨ（I/O Controller Hub）等のブリッ
ジ又はハブであり、ノースブリッジ４４及びＭＰＥＧデ
コーダ４３が接続されている。サウスブリッジ４２は、
データ供給・格納部４０から供給されてくるデータをノ
ースブリッジ４４及びＭＰＥＧデコーダ４３に適合した
所定の信号形式に変換し、変換後の信号をノースブリッ
ジ４４及びＭＰＥＧデコーダ４３に出力する。ＭＰＥＧ
デコーダ４３は、サウスブリッジ４２又はデータ供給装
置から供給されたＭＰＥＧデータをデコードする。ＭＰ
ＥＧデコーダ４３は、ＭＰＥＧデコードデータをＲＡＭ
４９に出力する。ＲＡＭ４９は、ＭＰＥＧデコーダ４３
から入力されたＭＰＥＧデコードデータを記憶する。Ｒ
ＡＭ４９に記憶されたＭＰＥＧデコードデータは、ＣＰ
Ｕ４６からの読み出し命令により読み出され、サウスブ
リッジ４２に出力される。
や外部入力モジュールであり、ＭＰＥＧデコーダ４３に
接続されており、ＭＰＥＧデコーダ４３に圧縮画像を直
接送信できるようになっている。サウスブリッジ４２
は、例えば、ＩＣＨ（I/O Controller Hub）等のブリッ
ジ又はハブであり、ノースブリッジ４４及びＭＰＥＧデ
コーダ４３が接続されている。サウスブリッジ４２は、
データ供給・格納部４０から供給されてくるデータをノ
ースブリッジ４４及びＭＰＥＧデコーダ４３に適合した
所定の信号形式に変換し、変換後の信号をノースブリッ
ジ４４及びＭＰＥＧデコーダ４３に出力する。ＭＰＥＧ
デコーダ４３は、サウスブリッジ４２又はデータ供給装
置から供給されたＭＰＥＧデータをデコードする。ＭＰ
ＥＧデコーダ４３は、ＭＰＥＧデコードデータをＲＡＭ
４９に出力する。ＲＡＭ４９は、ＭＰＥＧデコーダ４３
から入力されたＭＰＥＧデコードデータを記憶する。Ｒ
ＡＭ４９に記憶されたＭＰＥＧデコードデータは、ＣＰ
Ｕ４６からの読み出し命令により読み出され、サウスブ
リッジ４２に出力される。
【０００６】ノースブリッジ４４は、例えば、ＭＣＨ
（Memory Controller Hub）等のブリッジ又はハブであ
り、ＲＡＭ４５と、ＣＰＵ４６と、グラフィック出力部
４７とに接続されている。ノースブリッジ４４は、サウ
スブリッジ４２から供給されてくるＭＰＥＧデータ、Ｍ
ＰＥＧデコードデータ又はグラフィックデータ等を接続
されている機器に適合した所定の信号形式に変換し出力
する。ＣＰＵ４６は、画像出力装置２のメイン処理部と
して動作し、ＲＡＭ４５に記憶されているデータを読み
出し、読み出したデータに所定の処理を行い、その処理
結果をノースブリッジ４４を介してグラフィック出力部
４７等に出力する。
（Memory Controller Hub）等のブリッジ又はハブであ
り、ＲＡＭ４５と、ＣＰＵ４６と、グラフィック出力部
４７とに接続されている。ノースブリッジ４４は、サウ
スブリッジ４２から供給されてくるＭＰＥＧデータ、Ｍ
ＰＥＧデコードデータ又はグラフィックデータ等を接続
されている機器に適合した所定の信号形式に変換し出力
する。ＣＰＵ４６は、画像出力装置２のメイン処理部と
して動作し、ＲＡＭ４５に記憶されているデータを読み
出し、読み出したデータに所定の処理を行い、その処理
結果をノースブリッジ４４を介してグラフィック出力部
４７等に出力する。
【０００７】グラフィック出力部４７は、ノースブリッ
ジ４４を介して入力されるデータに基づき表示部に適合
した画像形式に変換して表示画像を生成し、表示部に出
力する。なお、ＭＰＥＧデコードデータに基づき生成さ
れる画像は、表示部の所定の場所に表示させるためにク
ロマキにより、キーカラーで塗りつぶした領域に表示さ
れる。
ジ４４を介して入力されるデータに基づき表示部に適合
した画像形式に変換して表示画像を生成し、表示部に出
力する。なお、ＭＰＥＧデコードデータに基づき生成さ
れる画像は、表示部の所定の場所に表示させるためにク
ロマキにより、キーカラーで塗りつぶした領域に表示さ
れる。
【０００８】
【発明が解決しようとする課題】上述したように、従来
の画像出力装置２では、デコード処理したＭＰＥＧデー
タを表示画像に変換し、表示部に出力するために、ＭＰ
ＥＧデータをＭＰＥＧデコーダ４３でデコード処理して
からＰＣＩバス等の接続線を介してサウスブリッジ４
２、ノースブリッジ４４を経てグラフィック出力部４７
に供給する必要があった。
の画像出力装置２では、デコード処理したＭＰＥＧデー
タを表示画像に変換し、表示部に出力するために、ＭＰ
ＥＧデータをＭＰＥＧデコーダ４３でデコード処理して
からＰＣＩバス等の接続線を介してサウスブリッジ４
２、ノースブリッジ４４を経てグラフィック出力部４７
に供給する必要があった。
【０００９】したがって、デコード処理したＭＰＥＧデ
ータがＨＤＴＶ（High DefinitionTelevision）クラス
の大容量データの場合には、ＭＰＥＧデコーダ４３サウ
スブリッジ４２間のバスが帯域不足になる問題がある。
ータがＨＤＴＶ（High DefinitionTelevision）クラス
の大容量データの場合には、ＭＰＥＧデコーダ４３サウ
スブリッジ４２間のバスが帯域不足になる問題がある。
【００１０】また、上記問題点を解決するために、図７
に示すように、データ供給部４１から供給されたＭＰＥ
Ｇデータのデコード処理の一部をＣＰＵ４６により行
い、一部処理後のＭＰＥＧデータをＭＰＥＧデコード支
援演算器を有したグラフィック出力部５０に供給し、グ
ラフィック出力部５０で残りのデコード処理を行う構成
にした場合には、一部のデコード処理をＣＰＵ４６が行
うことによるＣＰＵ４６の負荷が増加し、かつ一部処理
後のＭＰＥＧデータをノースブリッジ４４からグラフィ
ック出力部５０へ供給する際に、ノースブリッジ４４グ
ラフィック出力部４７間のバスの帯域を消費する問題が
ある。
に示すように、データ供給部４１から供給されたＭＰＥ
Ｇデータのデコード処理の一部をＣＰＵ４６により行
い、一部処理後のＭＰＥＧデータをＭＰＥＧデコード支
援演算器を有したグラフィック出力部５０に供給し、グ
ラフィック出力部５０で残りのデコード処理を行う構成
にした場合には、一部のデコード処理をＣＰＵ４６が行
うことによるＣＰＵ４６の負荷が増加し、かつ一部処理
後のＭＰＥＧデータをノースブリッジ４４からグラフィ
ック出力部５０へ供給する際に、ノースブリッジ４４グ
ラフィック出力部４７間のバスの帯域を消費する問題が
ある。
【００１１】さらに、上述したように、ＭＰＥＧデコー
ドデータにより表される第１の表示画像を表示部に表示
する際、上記第１の表示画像は、所定のキーカラーで塗
りつぶした領域に表示されるため、第１の表示画像の上
面にＭＰＥＧデータ以外の画像データにより表される第
２の表示画像が重なった場合、図５（ａ）に示すよう
に、上記キーカラーと第２の表示画像で使用されている
色とが同一の部分において、後面の第１の表示画像が前
面に表示される現象が起こる問題がある。
ドデータにより表される第１の表示画像を表示部に表示
する際、上記第１の表示画像は、所定のキーカラーで塗
りつぶした領域に表示されるため、第１の表示画像の上
面にＭＰＥＧデータ以外の画像データにより表される第
２の表示画像が重なった場合、図５（ａ）に示すよう
に、上記キーカラーと第２の表示画像で使用されている
色とが同一の部分において、後面の第１の表示画像が前
面に表示される現象が起こる問題がある。
【００１２】そこで、本発明では、ＭＰＥＧデコーダ−
サウスブリッジ間及びサウスブリッジ−ノースブリッジ
間及びノースブリッジ−グラフィック出力部間のバスに
かかる負担を軽減し、かつ第１の表示画像と第２の表示
画像とが重なり合う部分において、後面の第１の表示画
像が前面の第２の表示画像に表示されてしまうという現
象を起こすことなく表示画像の合成を行うことが可能な
画像出力装置（画像出力装置１）を提供することを目的
とする。
サウスブリッジ間及びサウスブリッジ−ノースブリッジ
間及びノースブリッジ−グラフィック出力部間のバスに
かかる負担を軽減し、かつ第１の表示画像と第２の表示
画像とが重なり合う部分において、後面の第１の表示画
像が前面の第２の表示画像に表示されてしまうという現
象を起こすことなく表示画像の合成を行うことが可能な
画像出力装置（画像出力装置１）を提供することを目的
とする。
【００１３】
【課題を解決するための手段】本発明に係る画像出力装
置は、上述の問題を解決するために、表示画像を表示部
に出力する画像出力装置において、入力された符号化動
画像データを復号する復号手段と、上記表示部の指定さ
れた場所に任意の大きさで上記復号後の動画像データに
より表される第１の表示画像を表示させる第１の表示領
域情報を生成する第１の表示領域情報生成部と、入力さ
れたデータを一時記憶する記憶部と、上記データに含ま
れている画像データに基づき上記表示部に適合した画像
形式である第２の表示画像を生成する表示画像生成部
と、上記表示部の指定された場所に任意の大きさで第２
の表示画像を表示させる第２の表示領域情報を生成する
第２の表示領域情報生成部と、上記第１の表示画像と上
記第２の表示画像とを合成する際に、上記第１の表示領
域情報と上記第２の表示領域情報に基づき、合成状態が
決定される合成パラメータを生成する合成パラメータ生
成部と、上記第２の表示画像に上記合成パラメータを付
加する合成パラメータ付加部とを有するデータ処理手段
と、上記合成パラメータに基づき、上記第１の表示画像
と上記第２の表示画像とを合成し、合成した表示画像を
上記表示部に出力する合成出力手段とを備えることを特
徴とする。
置は、上述の問題を解決するために、表示画像を表示部
に出力する画像出力装置において、入力された符号化動
画像データを復号する復号手段と、上記表示部の指定さ
れた場所に任意の大きさで上記復号後の動画像データに
より表される第１の表示画像を表示させる第１の表示領
域情報を生成する第１の表示領域情報生成部と、入力さ
れたデータを一時記憶する記憶部と、上記データに含ま
れている画像データに基づき上記表示部に適合した画像
形式である第２の表示画像を生成する表示画像生成部
と、上記表示部の指定された場所に任意の大きさで第２
の表示画像を表示させる第２の表示領域情報を生成する
第２の表示領域情報生成部と、上記第１の表示画像と上
記第２の表示画像とを合成する際に、上記第１の表示領
域情報と上記第２の表示領域情報に基づき、合成状態が
決定される合成パラメータを生成する合成パラメータ生
成部と、上記第２の表示画像に上記合成パラメータを付
加する合成パラメータ付加部とを有するデータ処理手段
と、上記合成パラメータに基づき、上記第１の表示画像
と上記第２の表示画像とを合成し、合成した表示画像を
上記表示部に出力する合成出力手段とを備えることを特
徴とする。
【００１４】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら詳細に説明する。
て図面を参照しながら詳細に説明する。
【００１５】本発明は、例えば図１に示すような画像出
力装置１に適用される。画像出力装置１は、表示画像を
表示部に出力する装置であり、データ供給部１０と、デ
ータ格納部１１と、サウスブリッジ１２と、ＭＰＥＧデ
コーダ／画像合成部１３と、ＲＡＭ１４と、ノースブリ
ッジ１５と、ＲＡＭ１６と、ＣＰＵ１７と、グラフィッ
ク出力部１８と、ＲＡＭ１９とを備える。画像出力装置
１は、ＭＰＥＧデコーダ／画像合成部１３でデータ供給
部１０から供給されたＭＰＥＧデータをデコードし、Ｃ
ＰＵ１７で上記表示部の指定された場所に任意の大きさ
で上記デコード後のＭＰＥＧデータ（以下、ＭＰＥＧデ
コードデータという。）により表される第１の表示画像
を表示させる第１の表示領域情報を生成し、また、ＲＡ
Ｍ１６にグラフィックデータを含むデータを一時記憶
し、グラフィック出力部１８でＲＡＭ１６から読み出し
たグラフィックデータに基づき上記表示部に適合した画
像形式である第２の表示画像を生成し、ＣＰＵ１７で上
記表示部の指定された場所に任意の大きさで第２の表示
画像を表示させる第２の表示領域情報を生成し、かつ上
記第１の表示画像と上記第２の表示画像とを合成する際
に、上記第１の表示領域情報と上記第２の表示領域情報
に基づき、合成状態を決定する合成パラメータ（以下、
アルファプレーン情報という。）を生成し、グラフィッ
ク出力部１８で上記第２の表示画像に上記アルファプレ
ーン情報を付加する。また、画像出力装置１は、グラフ
ィック出力部１８とＭＰＥＧデコーダ／画像合成部１３
とが接続線で接続されており、上記接続線を介してグラ
フィック出力部１８からＭＰＥＧデコーダ／画像合成部
１３にアルファプレーン情報付きの第２の表示画像が供
給され、ＭＰＥＧデコーダ／画像合成部１３で上記アル
ファプレーン情報に基づき、上記第１の表示画像と上記
第２の表示画像とを合成し、合成した表示画像を上記表
示部に出力する。
力装置１に適用される。画像出力装置１は、表示画像を
表示部に出力する装置であり、データ供給部１０と、デ
ータ格納部１１と、サウスブリッジ１２と、ＭＰＥＧデ
コーダ／画像合成部１３と、ＲＡＭ１４と、ノースブリ
ッジ１５と、ＲＡＭ１６と、ＣＰＵ１７と、グラフィッ
ク出力部１８と、ＲＡＭ１９とを備える。画像出力装置
１は、ＭＰＥＧデコーダ／画像合成部１３でデータ供給
部１０から供給されたＭＰＥＧデータをデコードし、Ｃ
ＰＵ１７で上記表示部の指定された場所に任意の大きさ
で上記デコード後のＭＰＥＧデータ（以下、ＭＰＥＧデ
コードデータという。）により表される第１の表示画像
を表示させる第１の表示領域情報を生成し、また、ＲＡ
Ｍ１６にグラフィックデータを含むデータを一時記憶
し、グラフィック出力部１８でＲＡＭ１６から読み出し
たグラフィックデータに基づき上記表示部に適合した画
像形式である第２の表示画像を生成し、ＣＰＵ１７で上
記表示部の指定された場所に任意の大きさで第２の表示
画像を表示させる第２の表示領域情報を生成し、かつ上
記第１の表示画像と上記第２の表示画像とを合成する際
に、上記第１の表示領域情報と上記第２の表示領域情報
に基づき、合成状態を決定する合成パラメータ（以下、
アルファプレーン情報という。）を生成し、グラフィッ
ク出力部１８で上記第２の表示画像に上記アルファプレ
ーン情報を付加する。また、画像出力装置１は、グラフ
ィック出力部１８とＭＰＥＧデコーダ／画像合成部１３
とが接続線で接続されており、上記接続線を介してグラ
フィック出力部１８からＭＰＥＧデコーダ／画像合成部
１３にアルファプレーン情報付きの第２の表示画像が供
給され、ＭＰＥＧデコーダ／画像合成部１３で上記アル
ファプレーン情報に基づき、上記第１の表示画像と上記
第２の表示画像とを合成し、合成した表示画像を上記表
示部に出力する。
【００１６】以下に、上述した画像出力装置１の構成と
動作について詳述する。データ供給部１０は、例えば、
ＤＶＤドライブ、ネットワークモジュール、画像キャプ
チャーモジュール又はチューナーモジュール等の圧縮画
像を含むデータを入出力する装置であり、サウスブリッ
ジ１２及びＭＰＥＧデコーダ／画像合成部１３に接続さ
れている。データ供給部１０は、サウスブリッジ１２を
介してＭＰＥＧデコーダ／画像合成部１３及びノースブ
リッジ１５にＭＰＥＧデータ等を供給しても良いし、Ｍ
ＰＥＧデコーダ／画像合成部１３に直接、ＭＰＥＧデー
タを供給しても良い。なお、複数台のデータ供給部１０
がサウスブリッジ１２に接続されていても良い。また、
データ供給部１０は、例えばＩＥＥＥ１３９４等のイン
ターフェースを介してサウスブリッジ１２に接続されて
いても良い。
動作について詳述する。データ供給部１０は、例えば、
ＤＶＤドライブ、ネットワークモジュール、画像キャプ
チャーモジュール又はチューナーモジュール等の圧縮画
像を含むデータを入出力する装置であり、サウスブリッ
ジ１２及びＭＰＥＧデコーダ／画像合成部１３に接続さ
れている。データ供給部１０は、サウスブリッジ１２を
介してＭＰＥＧデコーダ／画像合成部１３及びノースブ
リッジ１５にＭＰＥＧデータ等を供給しても良いし、Ｍ
ＰＥＧデコーダ／画像合成部１３に直接、ＭＰＥＧデー
タを供給しても良い。なお、複数台のデータ供給部１０
がサウスブリッジ１２に接続されていても良い。また、
データ供給部１０は、例えばＩＥＥＥ１３９４等のイン
ターフェースを介してサウスブリッジ１２に接続されて
いても良い。
【００１７】データ格納部１１は、例えば、ＨＤＤやＤ
ＶＤレコーダ等であり、サウスブリッジ１２に接続され
ている。データ格納部１１は、サウスブリッジ１２を介
してＭＰＥＧデータを記録する。サウスブリッジ１２
は、例えば、ＩＣＨ（I/O Controller Hub）等のブリッ
ジ又はハブであり、データ格納部１１、データ供給部１
０、ノースブリッジ１５及びＭＰＥＧデコーダ／画像合
成部１３が接続されている。サウスブリッジ１２は、デ
ータ供給部１０から供給されるグラフィックデータ及び
ＭＰＥＧデータ等を所定の信号形式に変換し、ノースブ
リッジ１５及びＭＰＥＧデコーダ／画像合成部１３に供
給する。
ＶＤレコーダ等であり、サウスブリッジ１２に接続され
ている。データ格納部１１は、サウスブリッジ１２を介
してＭＰＥＧデータを記録する。サウスブリッジ１２
は、例えば、ＩＣＨ（I/O Controller Hub）等のブリッ
ジ又はハブであり、データ格納部１１、データ供給部１
０、ノースブリッジ１５及びＭＰＥＧデコーダ／画像合
成部１３が接続されている。サウスブリッジ１２は、デ
ータ供給部１０から供給されるグラフィックデータ及び
ＭＰＥＧデータ等を所定の信号形式に変換し、ノースブ
リッジ１５及びＭＰＥＧデコーダ／画像合成部１３に供
給する。
【００１８】ＭＰＥＧデコーダ／画像合成部１３は、例
えば、ＤＳＰであり、データ供給部１０、サウスブリッ
ジ１２、ＲＡＭ１４及びグラフィック出力部１８が接続
されており、データ供給部１０から供給されたＭＰＥＧ
データ又はサウスブリッジ１２を介して供給されたＭＰ
ＥＧデータをデコード処理する。また、ＭＰＥＧデコー
ダ／画像合成部１３は、グラフィック出力部１８から第
２の表示画像とともに供給されるアルファプレーン情報
に基づき、ＭＰＥＧデコードデータにより表される第１
の表示画像と第２の表示画像とを合成処理し、合成した
表示画像を表示部に出力する。また、ＭＰＥＧデコーダ
／画像合成部１３は、ＭＰＥＧデコードデータ及び合成
処理した表示画像をＲＡＭ１４に出力する。なお、表示
部に表示される第１の表示画像及び第２の表示画像は、
ＣＰＵ１７で生成された表示領域情報に基づき、指定さ
れた場所に任意の大きさで表示される。
えば、ＤＳＰであり、データ供給部１０、サウスブリッ
ジ１２、ＲＡＭ１４及びグラフィック出力部１８が接続
されており、データ供給部１０から供給されたＭＰＥＧ
データ又はサウスブリッジ１２を介して供給されたＭＰ
ＥＧデータをデコード処理する。また、ＭＰＥＧデコー
ダ／画像合成部１３は、グラフィック出力部１８から第
２の表示画像とともに供給されるアルファプレーン情報
に基づき、ＭＰＥＧデコードデータにより表される第１
の表示画像と第２の表示画像とを合成処理し、合成した
表示画像を表示部に出力する。また、ＭＰＥＧデコーダ
／画像合成部１３は、ＭＰＥＧデコードデータ及び合成
処理した表示画像をＲＡＭ１４に出力する。なお、表示
部に表示される第１の表示画像及び第２の表示画像は、
ＣＰＵ１７で生成された表示領域情報に基づき、指定さ
れた場所に任意の大きさで表示される。
【００１９】ＲＡＭ１４は、例えば、ＤＲＡＭであり、
ＭＰＥＧデコーダ／画像合成部１３でデコード処理され
たＭＰＥＧデコードデータや、合成処理された合成画像
を記憶保持する。ＲＡＭ１４に記憶された上記合成画像
は、表示部に出力され表示される。なお、ＲＡＭ１４
は、ＭＰＥＧデコーダ／画像合成部１３により使用され
るデータを記憶保持することができるものであればＳＤ
ＲＡＭ等でも良い。
ＭＰＥＧデコーダ／画像合成部１３でデコード処理され
たＭＰＥＧデコードデータや、合成処理された合成画像
を記憶保持する。ＲＡＭ１４に記憶された上記合成画像
は、表示部に出力され表示される。なお、ＲＡＭ１４
は、ＭＰＥＧデコーダ／画像合成部１３により使用され
るデータを記憶保持することができるものであればＳＤ
ＲＡＭ等でも良い。
【００２０】ノースブリッジ１５は、例えば、ＭＣＨ
（Memory Controller Hub）等のブリッジ又はハブであ
り、サウスブリッジ１２、ＲＡＭ１６、ＣＰＵ１７及び
グラフィック出力部１８に接続されている。ノースブリ
ッジ１５は、サウスブリッジ１２から供給されるグラフ
ィックデータ及びＭＰＥＧデータ等を所定の信号形式に
変換し、ＲＡＭ１６及びＣＰＵ１７に供給する。ＲＡＭ
１６は、例えば、ＳＤＲＡＭであり、ノースブリッジ１
５に接続されており、画像出力装置１のメインメモリと
して動作し、画像出力装置１で利用されるさまざまなデ
ータの記憶保持を行う。なお、ＲＡＭ１６は、画像出力
装置１のメインメモリとして利用できるモジュールであ
ればＲＤＲＡＭ等でも良い。ＣＰＵ１７は、ノースブリ
ッジ１５に接続されており、画像出力装置１のメイン処
理部として動作し、ＲＡＭ１６に記憶されているデータ
を読み出し、読み出したデータに所定の処理を行い、そ
の処理結果をノースブリッジ１５を介してグラフィック
出力部１８等に出力する。また、ＣＰＵ１７は、グラフ
ィック出力部１８で表示画像の合成を行う際に用いるア
ルファプレーン情報を生成し、生成したアルファプレー
ン情報をグラフィック出力部１８に出力する。なお、ア
ルファプレーン情報の生成の方法については後述する。
（Memory Controller Hub）等のブリッジ又はハブであ
り、サウスブリッジ１２、ＲＡＭ１６、ＣＰＵ１７及び
グラフィック出力部１８に接続されている。ノースブリ
ッジ１５は、サウスブリッジ１２から供給されるグラフ
ィックデータ及びＭＰＥＧデータ等を所定の信号形式に
変換し、ＲＡＭ１６及びＣＰＵ１７に供給する。ＲＡＭ
１６は、例えば、ＳＤＲＡＭであり、ノースブリッジ１
５に接続されており、画像出力装置１のメインメモリと
して動作し、画像出力装置１で利用されるさまざまなデ
ータの記憶保持を行う。なお、ＲＡＭ１６は、画像出力
装置１のメインメモリとして利用できるモジュールであ
ればＲＤＲＡＭ等でも良い。ＣＰＵ１７は、ノースブリ
ッジ１５に接続されており、画像出力装置１のメイン処
理部として動作し、ＲＡＭ１６に記憶されているデータ
を読み出し、読み出したデータに所定の処理を行い、そ
の処理結果をノースブリッジ１５を介してグラフィック
出力部１８等に出力する。また、ＣＰＵ１７は、グラフ
ィック出力部１８で表示画像の合成を行う際に用いるア
ルファプレーン情報を生成し、生成したアルファプレー
ン情報をグラフィック出力部１８に出力する。なお、ア
ルファプレーン情報の生成の方法については後述する。
【００２１】グラフィック出力部１８は、例えば、グラ
フィック・アクセラレータであり、ノースブリッジ１
５、ＲＡＭ１９及びＭＰＥＧデコーダ／画像合成部１３
に接続されており、ノースブリッジ１５を介して供給さ
れたグラフィックデータに基づき、所定の画像形式であ
る表示画像を生成し、生成した上記表示画像とアルファ
プレーン情報を混合し、アルファプレーン情報付の表示
画像をＭＰＥＧデコーダ／画像合成部１３に供給する。
また、グラフィック出力部１８は、アルファプレーン情
報付の表示画像の処理や保持のためにＲＡＭ１９を利用
する。なお、グラフィック出力部１８は、グラフィック
データに基づき所定の画像形式である表示画像を生成で
き、生成した表示画像とアルファプレーン情報を混合で
き、かつＭＰＥＧデコーダ／画像合成部１３に出力でき
る構成のものであればグラフィック・アクセラレータ以
外でも良い。
フィック・アクセラレータであり、ノースブリッジ１
５、ＲＡＭ１９及びＭＰＥＧデコーダ／画像合成部１３
に接続されており、ノースブリッジ１５を介して供給さ
れたグラフィックデータに基づき、所定の画像形式であ
る表示画像を生成し、生成した上記表示画像とアルファ
プレーン情報を混合し、アルファプレーン情報付の表示
画像をＭＰＥＧデコーダ／画像合成部１３に供給する。
また、グラフィック出力部１８は、アルファプレーン情
報付の表示画像の処理や保持のためにＲＡＭ１９を利用
する。なお、グラフィック出力部１８は、グラフィック
データに基づき所定の画像形式である表示画像を生成で
き、生成した表示画像とアルファプレーン情報を混合で
き、かつＭＰＥＧデコーダ／画像合成部１３に出力でき
る構成のものであればグラフィック・アクセラレータ以
外でも良い。
【００２２】ＲＡＭ１９は、例えば、ＤＤＲであり、グ
ラフィック出力部１８に接続されており、グラフィック
出力部１８で使用されるデータの記憶保持を行う。な
お、ＲＡＭ１９は、グラフィック出力部１８が使用する
データの記憶保持ができるモジュールであればＳＤＲＡ
Ｍ等でも良く、また、ＲＡＭ１６を代用しても良い。こ
の場合、ＲＡＭ１９の分のコストが抑えられ、装置全体
のコストダウンとなる。
ラフィック出力部１８に接続されており、グラフィック
出力部１８で使用されるデータの記憶保持を行う。な
お、ＲＡＭ１９は、グラフィック出力部１８が使用する
データの記憶保持ができるモジュールであればＳＤＲＡ
Ｍ等でも良く、また、ＲＡＭ１６を代用しても良い。こ
の場合、ＲＡＭ１９の分のコストが抑えられ、装置全体
のコストダウンとなる。
【００２３】ここで、ＭＰＥＧデコーダ／画像合成部１
３の画像合成動作について説明する。ＭＰＥＧデコーダ
／画像合成部１３は、上述したようにサウスブリッジ１
２又はデータ供給部１０から供給されたＭＰＥＧデータ
をデコード処理し、ＭＰＥＧデコードデータを生成し、
ＭＰＥＧデコードデータに基づき表示部に適合した画像
形式である第１の表示画像を生成する。一方、グラフィ
ック出力部１８は、上述したようにノースブリッジ１５
からグラフィックデータが供給され、上記グラフィック
データに基づき表示部に適合した画像形式である第２の
表示画像を生成する。ＣＰＵ１７は、上記ＭＰＥＧデコ
ードデータにより表される第１の表示画像及び上記グラ
フィックデータにより表される第２の表示画像をそれぞ
れ表示部の指定された場所に任意の大きさで表示させる
ための表示領域情報を生成し、生成した表示領域情報を
ＭＰＥＧデコーダ／画像合成部１３に供給する。また、
ＣＰＵ１７は、所定の階調値を有するアルファプレーン
情報を１画面分生成し、上記アルファプレーン情報をグ
ラフィック出力部１８に供給する。グラフィック出力部
１８は、上記アルファプレーン情報と上記第２の表示画
像とを合成し、アルファプレーン情報付きの第２の表示
画像をＭＰＥＧデコーダ／画像合成部１３に供給する。
３の画像合成動作について説明する。ＭＰＥＧデコーダ
／画像合成部１３は、上述したようにサウスブリッジ１
２又はデータ供給部１０から供給されたＭＰＥＧデータ
をデコード処理し、ＭＰＥＧデコードデータを生成し、
ＭＰＥＧデコードデータに基づき表示部に適合した画像
形式である第１の表示画像を生成する。一方、グラフィ
ック出力部１８は、上述したようにノースブリッジ１５
からグラフィックデータが供給され、上記グラフィック
データに基づき表示部に適合した画像形式である第２の
表示画像を生成する。ＣＰＵ１７は、上記ＭＰＥＧデコ
ードデータにより表される第１の表示画像及び上記グラ
フィックデータにより表される第２の表示画像をそれぞ
れ表示部の指定された場所に任意の大きさで表示させる
ための表示領域情報を生成し、生成した表示領域情報を
ＭＰＥＧデコーダ／画像合成部１３に供給する。また、
ＣＰＵ１７は、所定の階調値を有するアルファプレーン
情報を１画面分生成し、上記アルファプレーン情報をグ
ラフィック出力部１８に供給する。グラフィック出力部
１８は、上記アルファプレーン情報と上記第２の表示画
像とを合成し、アルファプレーン情報付きの第２の表示
画像をＭＰＥＧデコーダ／画像合成部１３に供給する。
【００２４】ＭＰＥＧデコーダ／画像合成部１３は、ア
ルファプレーン情報に基づき第１の表示画像と第２の表
示画像とを合成し、合成した表示画像を表示領域情報に
応じて表示部に出力する。
ルファプレーン情報に基づき第１の表示画像と第２の表
示画像とを合成し、合成した表示画像を表示領域情報に
応じて表示部に出力する。
【００２５】この例で説明しているアルファプレーン情
報は、第２の表示画像に付属する情報であり、例えば、
第２の表示画像に付属するアルファプレーン情報におい
て透明度を「α」とすると、表示部に表示される色の情
報「Ｃ」は、第１の表示画像の色情報「Ｃ１」と、第２
の表示画像の色情報「Ｃ２」とを用いて、Ｃ＝Ｃ１×
（１−α）＋Ｃ２×αで表すことができる。なお、α
は、０≦α≦１であり、例えば、α＝０の時、アルファ
プレーン情報が付属する画像（第２の表示画像）の中で
α＝０となっているピクセル部分が完全に透明であると
仮定し、α＝１で完全に不透明であると仮定する。
報は、第２の表示画像に付属する情報であり、例えば、
第２の表示画像に付属するアルファプレーン情報におい
て透明度を「α」とすると、表示部に表示される色の情
報「Ｃ」は、第１の表示画像の色情報「Ｃ１」と、第２
の表示画像の色情報「Ｃ２」とを用いて、Ｃ＝Ｃ１×
（１−α）＋Ｃ２×αで表すことができる。なお、α
は、０≦α≦１であり、例えば、α＝０の時、アルファ
プレーン情報が付属する画像（第２の表示画像）の中で
α＝０となっているピクセル部分が完全に透明であると
仮定し、α＝１で完全に不透明であると仮定する。
【００２６】上記では、式を簡単にするため、色情報
「Ｃ」を用いたが、実際にはＲ、Ｇ、Ｂや輝度、クロマ
等といったピクセル情報が用いられる。また、アルファ
プレーン情報は、画面の３次元座標上での前後関係（Ｚ
軸方向）とは別に独立して考えることができ、例えば、
図２（ａ）の「Ｔ」で示した領域のアルファプレーン情
報が「α＝０（透明）」となっていた場合、「Ｔ」の領
域には背後の情報である第１の表示画像が合成され出力
される。なお、より高度な画面表示を行うために、第１
の表示画像もアルファプレーン情報を持っていても良
い。
「Ｃ」を用いたが、実際にはＲ、Ｇ、Ｂや輝度、クロマ
等といったピクセル情報が用いられる。また、アルファ
プレーン情報は、画面の３次元座標上での前後関係（Ｚ
軸方向）とは別に独立して考えることができ、例えば、
図２（ａ）の「Ｔ」で示した領域のアルファプレーン情
報が「α＝０（透明）」となっていた場合、「Ｔ」の領
域には背後の情報である第１の表示画像が合成され出力
される。なお、より高度な画面表示を行うために、第１
の表示画像もアルファプレーン情報を持っていても良
い。
【００２７】ＣＰＵ１７は、図２（ｂ）に示すように、
第１の表示画像と第２の表示画像とが重なり合う部分に
おいて、最終的に表示部に表示される画像で、表示され
ている画像が「前面」であると定義した場合（前述した
ように、実際の画面の前後関係はアルファプレーン情報
とは独立して与えることが出来るが、表示部に表示され
る２次元の画像の見え方はアルファプレーン情報によっ
て変化するので、見かけ上前面に見える部分を「前面」
と表現する）、第１の表示画像が前面となり、第２の表
示画像が後面となる場合には、例えば、アルファプレー
ン情報の第１の表示画像領域を「透明」に調整する。ま
た、図２（ｃ）第２の表示画像が前面となり、第１の表
示画像が後面となる場合には、例えば、アルファプレー
ン情報の第２の表示画像領域を「不透明」に調整する。
第１の表示画像と第２の表示画像とが重なり合う部分に
おいて、最終的に表示部に表示される画像で、表示され
ている画像が「前面」であると定義した場合（前述した
ように、実際の画面の前後関係はアルファプレーン情報
とは独立して与えることが出来るが、表示部に表示され
る２次元の画像の見え方はアルファプレーン情報によっ
て変化するので、見かけ上前面に見える部分を「前面」
と表現する）、第１の表示画像が前面となり、第２の表
示画像が後面となる場合には、例えば、アルファプレー
ン情報の第１の表示画像領域を「透明」に調整する。ま
た、図２（ｃ）第２の表示画像が前面となり、第１の表
示画像が後面となる場合には、例えば、アルファプレー
ン情報の第２の表示画像領域を「不透明」に調整する。
【００２８】また、ＭＰＥＧデコーダ／画像合成部１３
は、例えば、図３に示すような、第１のウィンドウ拡縮
制御部３０と、アルファプレーン情報抽出部３１と、第
１の制御回路部３２と、ビデオデコーダ部３３と、第２
のウィンドウ拡縮制御部３４と、第２の制御回路部３５
と、表示画像合成部３６とを備える構成であっても良
い。
は、例えば、図３に示すような、第１のウィンドウ拡縮
制御部３０と、アルファプレーン情報抽出部３１と、第
１の制御回路部３２と、ビデオデコーダ部３３と、第２
のウィンドウ拡縮制御部３４と、第２の制御回路部３５
と、表示画像合成部３６とを備える構成であっても良
い。
【００２９】アルファプレーン情報付きの第２の表示画
像が第１のウィンドウ拡縮制御部３０に入力される。第
１のウィンドウ拡縮制御部３０は、第２の表示画像が表
示部に表示される際の大きさ及び位置を制御し、アルフ
ァプレーン情報抽出部３１に出力する。アルファプレー
ン情報抽出部３１は、第２の表示画像からアルファプレ
ーン情報を抽出する。抽出されたアルファプレーン情報
は、第１の制御回路部３２と第２の制御回路部３５とに
供給される。第１の制御回路部３２は、第２の表示画像
に所定の制御を行い、制御後の第２の表示画像を表示画
像合成部３６に出力する。
像が第１のウィンドウ拡縮制御部３０に入力される。第
１のウィンドウ拡縮制御部３０は、第２の表示画像が表
示部に表示される際の大きさ及び位置を制御し、アルフ
ァプレーン情報抽出部３１に出力する。アルファプレー
ン情報抽出部３１は、第２の表示画像からアルファプレ
ーン情報を抽出する。抽出されたアルファプレーン情報
は、第１の制御回路部３２と第２の制御回路部３５とに
供給される。第１の制御回路部３２は、第２の表示画像
に所定の制御を行い、制御後の第２の表示画像を表示画
像合成部３６に出力する。
【００３０】ビデオデコーダ部３３は、入力されるＭＰ
ＥＧデータをデコード処理し、第１の表示画像を生成
し、上記第１の表示画像を第２のウィンドウ拡縮制御部
３４に出力する。第２のウィンドウ拡縮制御部３４は、
第１の表示画像が表示部に表示される際の大きさ及び位
置を制御し、制御後の第１の表示画像を第２の制御回路
部３５に出力する。第２の制御回路部３５は、第１の表
示画像に所定の制御を行い、制御後の第１の表示画像を
表示画像合成部３６に出力する。表示画像合成部３６
は、第１の表示画像と第２の表示画像を合成し、表示部
に出力する。
ＥＧデータをデコード処理し、第１の表示画像を生成
し、上記第１の表示画像を第２のウィンドウ拡縮制御部
３４に出力する。第２のウィンドウ拡縮制御部３４は、
第１の表示画像が表示部に表示される際の大きさ及び位
置を制御し、制御後の第１の表示画像を第２の制御回路
部３５に出力する。第２の制御回路部３５は、第１の表
示画像に所定の制御を行い、制御後の第１の表示画像を
表示画像合成部３６に出力する。表示画像合成部３６
は、第１の表示画像と第２の表示画像を合成し、表示部
に出力する。
【００３１】なお、上記のように、第１の表示画像およ
び第２の表示画像を処理するウィンドウ拡縮制御部３４
が存在するため、第１の表示画像の領域サイズと第２の
表示画像の領域サイズは、表示部で最終的に表示に用い
られる領域サイズと一致していなくても良い。
び第２の表示画像を処理するウィンドウ拡縮制御部３４
が存在するため、第１の表示画像の領域サイズと第２の
表示画像の領域サイズは、表示部で最終的に表示に用い
られる領域サイズと一致していなくても良い。
【００３２】また、第１の制御回路部３２は第２の表示
画像とこれに付属するアルファプレーン情報である係数
「α」とから第２の表示画像を制御し、第２の制御回路
部３５は、第１の表示画像と、係数「１−α」とによっ
て第１の表示画像を制御する。
画像とこれに付属するアルファプレーン情報である係数
「α」とから第２の表示画像を制御し、第２の制御回路
部３５は、第１の表示画像と、係数「１−α」とによっ
て第１の表示画像を制御する。
【００３３】つぎに、アルファプレーン情報の生成につ
いて図４に示すフローチャートを用いて説明する。
いて図４に示すフローチャートを用いて説明する。
【００３４】ステップＳＴ１において、ＣＰＵ１７は、
アルファプレーン情報の生成処理を継続するかどうかの
判定を行う。ＣＰＵ１７は、ＭＰＥＧデコーダ／画像合
成部１３が合成画像の出力を表示部に対して行わない場
合には、アルファプレーン情報の生成処理を終了し、Ｍ
ＰＥＧデコーダ／画像合成部１３が合成画像の出力を表
示部に対して継続する場合にはステップＳＴ２に進む。
アルファプレーン情報の生成処理を継続するかどうかの
判定を行う。ＣＰＵ１７は、ＭＰＥＧデコーダ／画像合
成部１３が合成画像の出力を表示部に対して行わない場
合には、アルファプレーン情報の生成処理を終了し、Ｍ
ＰＥＧデコーダ／画像合成部１３が合成画像の出力を表
示部に対して継続する場合にはステップＳＴ２に進む。
【００３５】ステップＳＴ２において、ＣＰＵ１７は、
第１の表示画像と第２の表示画像との前面／後面の順位
等の位置関係が前回処理した後に更新されているかどう
かを判断する。
第１の表示画像と第２の表示画像との前面／後面の順位
等の位置関係が前回処理した後に更新されているかどう
かを判断する。
【００３６】ステップＳＴ３において、ＣＰＵ１７は、
上記ステップＳＴ２の判断により、第１の表示画像と第
２の表示画像との前面／後面の順位等の位置関係が前回
と変わらない（更新されていない）場合にはステップＳ
Ｔ１に戻り、第１の表示画像と第２の表示画像との前面
／後面の順位等の位置関係が前回の処理から変化してい
る（更新されている）場合にはステップＳＴ４に進む。
なお、初めて処理を開始した場合には、ステップＳＴ４
に進むこととする。また、ステップＳＴ２〜ステップＳ
Ｔ３の処理を行うことにより、それぞれの領域が移動し
ていない場合に、ＣＰＵ１７で処理されるデータ量を減
少させることができ、また、負荷を減らすことができ
る。
上記ステップＳＴ２の判断により、第１の表示画像と第
２の表示画像との前面／後面の順位等の位置関係が前回
と変わらない（更新されていない）場合にはステップＳ
Ｔ１に戻り、第１の表示画像と第２の表示画像との前面
／後面の順位等の位置関係が前回の処理から変化してい
る（更新されている）場合にはステップＳＴ４に進む。
なお、初めて処理を開始した場合には、ステップＳＴ４
に進むこととする。また、ステップＳＴ２〜ステップＳ
Ｔ３の処理を行うことにより、それぞれの領域が移動し
ていない場合に、ＣＰＵ１７で処理されるデータ量を減
少させることができ、また、負荷を減らすことができ
る。
【００３７】ステップＳＴ４において、ＣＰＵ１７は、
出力する１画面分のアルファプレーン情報が生成された
かどうかを判断する。１画面分のアルファプレーン情報
が生成されたと判断した場合には、ステップＳＴ１に戻
り、１画面分のアルファプレーン情報が生成されていな
いと判断した場合には、未処理のピクセルについてアル
ファプレーン情報の生成を継続するため、ステップＳＴ
５に進む。
出力する１画面分のアルファプレーン情報が生成された
かどうかを判断する。１画面分のアルファプレーン情報
が生成されたと判断した場合には、ステップＳＴ１に戻
り、１画面分のアルファプレーン情報が生成されていな
いと判断した場合には、未処理のピクセルについてアル
ファプレーン情報の生成を継続するため、ステップＳＴ
５に進む。
【００３８】ステップＳＴ５において、ＣＰＵ１７は、
第１の表示画像と第２の表示画像との前面／後面の順位
を計算する。この前面／後面というのは、前述したよう
に、３次元上での画面の位置関係ではなく、表示部での
見え方である。現在判定しているピクセルに図1に示し
たＭＰＥＧデコーダ／画像合成部１３で得られる画像を
表示部に表示する場合、処理しているピクセルのアルフ
ァプレーン情報の値を階調値０（透明）に調整する。ま
た、グラフィック出力部１８から得られる画像を表示部
に表示したい場合は、２５５（不透明）に調整する。な
お、この例でのアルファプレーン情報は、０（透明）〜
２５５（不透明）の２５６階調とし、表示したい透明度
に応じてこの中間値をとることができる。この処理の終
了後、ステップＳＴ４に戻る。
第１の表示画像と第２の表示画像との前面／後面の順位
を計算する。この前面／後面というのは、前述したよう
に、３次元上での画面の位置関係ではなく、表示部での
見え方である。現在判定しているピクセルに図1に示し
たＭＰＥＧデコーダ／画像合成部１３で得られる画像を
表示部に表示する場合、処理しているピクセルのアルフ
ァプレーン情報の値を階調値０（透明）に調整する。ま
た、グラフィック出力部１８から得られる画像を表示部
に表示したい場合は、２５５（不透明）に調整する。な
お、この例でのアルファプレーン情報は、０（透明）〜
２５５（不透明）の２５６階調とし、表示したい透明度
に応じてこの中間値をとることができる。この処理の終
了後、ステップＳＴ４に戻る。
【００３９】上述のような処理を行うことでアルファプ
レーン情報の生成が行われる。ＭＰＥＧデコーダ／画像
合成部１３では、上記アルファプレーン情報の階調値に
基づき第１の表示画像と第２の表示画像との合成を行
い、合成画像を表示部に出力する。
レーン情報の生成が行われる。ＭＰＥＧデコーダ／画像
合成部１３では、上記アルファプレーン情報の階調値に
基づき第１の表示画像と第２の表示画像との合成を行
い、合成画像を表示部に出力する。
【００４０】したがって、本発明に係る画像出力装置１
に備えられているグラフィック出力部１８は、ＭＰＥＧ
データ以外のグラフィックデータや、上記グラフィック
データにより表される第２の表示画像を表示部に表示す
るための各種のコマンドや、上述したアルファプレーン
情報等のデータを処理し、アルファプレーン情報付きの
表示画像を生成し、生成したアルファプレーン情報付き
の表示画像をＭＰＥＧデコーダ／画像合成部１３に供給
する。従来の画像出力装置の場合、グラフィック出力部
１８と表示部とが接続線で接続され、上記接続線を介し
てグラフィック出力部１８から表示部に表示画像を出力
していたが、本発明では、グラフィック出力部１８とＭ
ＰＥＧデコーダ／画像合成部１３とが接続線で接続さ
れ、上記接続線を介してグラフィック出力部１８からＭ
ＰＥＧデコーダ／画像合成部１３にアルファプレーン情
報付きの表示画像を供給し、ＭＰＥＧデコーダ／画像合
成部１３から表示画像を表示部に出力する。
に備えられているグラフィック出力部１８は、ＭＰＥＧ
データ以外のグラフィックデータや、上記グラフィック
データにより表される第２の表示画像を表示部に表示す
るための各種のコマンドや、上述したアルファプレーン
情報等のデータを処理し、アルファプレーン情報付きの
表示画像を生成し、生成したアルファプレーン情報付き
の表示画像をＭＰＥＧデコーダ／画像合成部１３に供給
する。従来の画像出力装置の場合、グラフィック出力部
１８と表示部とが接続線で接続され、上記接続線を介し
てグラフィック出力部１８から表示部に表示画像を出力
していたが、本発明では、グラフィック出力部１８とＭ
ＰＥＧデコーダ／画像合成部１３とが接続線で接続さ
れ、上記接続線を介してグラフィック出力部１８からＭ
ＰＥＧデコーダ／画像合成部１３にアルファプレーン情
報付きの表示画像を供給し、ＭＰＥＧデコーダ／画像合
成部１３から表示画像を表示部に出力する。
【００４１】ここで、従来の画像出力装置による表示画
像の合成処理と本発明に係る画像出力装置１による表示
画像の合成処理とを図５を用いて比較する。従来の画像
出力装置では、図５（ａ）に示すように、第１の表示画
像が後面で第２の表示画像が前面の場合において、第１
の表示画像と第２の表示画像の合成時に、比較回路によ
り第２の表示画像に使用されている色とキーカラーとの
差分を与えるので、第１の表示画像のキーカラーと第２
の表示画像のＡ領域に使用されている色とが同一のとき
には、第１の表示画像が第２の表示画像のＡ領域の部分
に表示されてしまう。一方、本発明に係る画像出力装置
では、図５（ｂ）に示すように、上記図３に示した構成
となっているので、後面である第１の表示画像が前面で
ある第２の表示画像上に表示されることはない。
像の合成処理と本発明に係る画像出力装置１による表示
画像の合成処理とを図５を用いて比較する。従来の画像
出力装置では、図５（ａ）に示すように、第１の表示画
像が後面で第２の表示画像が前面の場合において、第１
の表示画像と第２の表示画像の合成時に、比較回路によ
り第２の表示画像に使用されている色とキーカラーとの
差分を与えるので、第１の表示画像のキーカラーと第２
の表示画像のＡ領域に使用されている色とが同一のとき
には、第１の表示画像が第２の表示画像のＡ領域の部分
に表示されてしまう。一方、本発明に係る画像出力装置
では、図５（ｂ）に示すように、上記図３に示した構成
となっているので、後面である第１の表示画像が前面で
ある第２の表示画像上に表示されることはない。
【００４２】このように構成された画像出力装置１で
は、グラフィック出力部１８とＭＰＥＧデコード間をバ
スで接続し、グラフィック出力部１８からグラフィック
データにより表されるアルファプレーン情報付きの第２
の表示画像をＭＰＥＧデコーダ／画像合成部１３に供給
し、ＭＰＥＧデコーダ／画像合成部１３によりＭＰＥＧ
デコードデータにより表される第１の表示画像と上記第
２の表示画像とをアルファプレーン情報に基づき合成
し、合成した表示画像を表示部に出力するので、ＭＰＥ
Ｇデコード−サウスブリッジ１２間又はノースブリッジ
１５グラフィック出力部１８間の接続線にかかる負担が
軽減され、かつ第１の表示画像と第２の表示画像とが重
なり合う部分において、後面の第１の表示画像が前面の
第２の表示画像上に表示される現象を起こすことなく表
示画像の合成を行うことができる。さらに、画像出力装
置１では、ＭＰＥＧデータのデコード処理をＭＰＥＧデ
コーダ／画像合成部１３のみで行うため、ＣＰＵ１７の
負荷を軽減することが可能である。
は、グラフィック出力部１８とＭＰＥＧデコード間をバ
スで接続し、グラフィック出力部１８からグラフィック
データにより表されるアルファプレーン情報付きの第２
の表示画像をＭＰＥＧデコーダ／画像合成部１３に供給
し、ＭＰＥＧデコーダ／画像合成部１３によりＭＰＥＧ
デコードデータにより表される第１の表示画像と上記第
２の表示画像とをアルファプレーン情報に基づき合成
し、合成した表示画像を表示部に出力するので、ＭＰＥ
Ｇデコード−サウスブリッジ１２間又はノースブリッジ
１５グラフィック出力部１８間の接続線にかかる負担が
軽減され、かつ第１の表示画像と第２の表示画像とが重
なり合う部分において、後面の第１の表示画像が前面の
第２の表示画像上に表示される現象を起こすことなく表
示画像の合成を行うことができる。さらに、画像出力装
置１では、ＭＰＥＧデータのデコード処理をＭＰＥＧデ
コーダ／画像合成部１３のみで行うため、ＣＰＵ１７の
負荷を軽減することが可能である。
【００４３】なお、本発明に係る画像出力装置１では、
グラフィックデータ及びＭＰＥＧデータに加えて、プロ
グラムやプログラムが扱うデータの他、様々な制御信号
が接続線を介して各機器間で送受信される。また、上述
した第１の表示画像及び第２の表示画像は、ＲＧＢ信号
又はＹＵＶ信号その他の表色系で表示部に出力される。
さらに、本発明に係る画像出力装置１は、例えば、パー
ソナルコンピュータ（PC、Personal Computer）、携帯情
報端末、パーソナルビデオレコーダ（PVR、Personal Vid
eo Recorder）又はセットトップボックス（STB、Set Top
Box）等に適用される。
グラフィックデータ及びＭＰＥＧデータに加えて、プロ
グラムやプログラムが扱うデータの他、様々な制御信号
が接続線を介して各機器間で送受信される。また、上述
した第１の表示画像及び第２の表示画像は、ＲＧＢ信号
又はＹＵＶ信号その他の表色系で表示部に出力される。
さらに、本発明に係る画像出力装置１は、例えば、パー
ソナルコンピュータ（PC、Personal Computer）、携帯情
報端末、パーソナルビデオレコーダ（PVR、Personal Vid
eo Recorder）又はセットトップボックス（STB、Set Top
Box）等に適用される。
【００４４】
【発明の効果】以上詳細に説明したように、本発明に係
る画像出力装置は、データ処理手段と合成出力手段とが
接続線で接続されており、表示画像生成手段で生成した
第１の表示画像を合成出力手段に供給し、データ処理手
段で生成した合成パラメータ付きの第２の表示画像を上
記接続線を介して合成出力手段に供給し、合成出力手段
で合成パラメータに基づき上記第１の表示画像と上記第
２の表示画像とを合成し、合成した表示画像を表示部に
出力するので、大容量の第１の表示画像を当該画像出力
装置内の上記接続線以外の接続線に負担をかけて移動さ
せることがないため、接続線の負担を軽減することがで
き、合成パラメータに基づき第１の表示画像と第２の表
示画像と合成するので、第１の表示画像と第２の表示画
像とが重なり合う部分において、後面の第１の表示画像
が前面の第２の表示画像上に表示される現象を起こすこ
となく表示画像の合成を行うことができる。
る画像出力装置は、データ処理手段と合成出力手段とが
接続線で接続されており、表示画像生成手段で生成した
第１の表示画像を合成出力手段に供給し、データ処理手
段で生成した合成パラメータ付きの第２の表示画像を上
記接続線を介して合成出力手段に供給し、合成出力手段
で合成パラメータに基づき上記第１の表示画像と上記第
２の表示画像とを合成し、合成した表示画像を表示部に
出力するので、大容量の第１の表示画像を当該画像出力
装置内の上記接続線以外の接続線に負担をかけて移動さ
せることがないため、接続線の負担を軽減することがで
き、合成パラメータに基づき第１の表示画像と第２の表
示画像と合成するので、第１の表示画像と第２の表示画
像とが重なり合う部分において、後面の第１の表示画像
が前面の第２の表示画像上に表示される現象を起こすこ
となく表示画像の合成を行うことができる。
【図１】本発明を適用した画像出力装置の構成を示すブ
ロック図である。
ロック図である。
【図２】第１の表示画像と第２の表示画像とを合成し
（ａ）、第１の表示画像が前面で第２の表示画像が後面
の場合（ｂ）と、第２の表示画像が前面で第１の表示画
像が後面の場合（ｃ）の合成画像を示す模式図である。
（ａ）、第１の表示画像が前面で第２の表示画像が後面
の場合（ｂ）と、第２の表示画像が前面で第１の表示画
像が後面の場合（ｃ）の合成画像を示す模式図である。
【図３】本発明を適用した画像出力装置が備えているＭ
ＰＥＧデコーダ／画像合成部の構成を示すブロック図で
ある。
ＰＥＧデコーダ／画像合成部の構成を示すブロック図で
ある。
【図４】本発明を適用した画像出力装置が備えているＣ
ＰＵによりアルファプレーン情報を生成する動作を示す
フローチャートである。
ＰＵによりアルファプレーン情報を生成する動作を示す
フローチャートである。
【図５】従来の画像出力装置による合成処理（ａ）と、
本発明に係る画像出力装置による合成処理（ｂ）とを比
較した図である。
本発明に係る画像出力装置による合成処理（ｂ）とを比
較した図である。
【図６】従来の画像出力装置の第１の構成例を示すブロ
ック図である。
ック図である。
【図７】従来の画像出力装置の第２の構成例を示すブロ
ック図である。
ック図である。
１ 画像出力装置、１０ データ供給部、１１ データ
格納部、１２ サウスブリッジ、１３ ＭＰＥＧデコー
ダ／画像合成部、１４，１６，１９ ＲＡＭ、１５ ノ
ースブリッジ、１７ ＣＰＵ、１８ グラフィック出力
部、３０ 第１のウィンドウ拡縮制御部、３１ アルフ
ァプレーン情報抽出部、３２ 第１の制御回路部、３３
ビデオデコーダ部、３４ 第２のウィンドウ拡縮制御
部、３５第２の制御回路部、３６ 表示画像合成部
格納部、１２ サウスブリッジ、１３ ＭＰＥＧデコー
ダ／画像合成部、１４，１６，１９ ＲＡＭ、１５ ノ
ースブリッジ、１７ ＣＰＵ、１８ グラフィック出力
部、３０ 第１のウィンドウ拡縮制御部、３１ アルフ
ァプレーン情報抽出部、３２ 第１の制御回路部、３３
ビデオデコーダ部、３４ 第２のウィンドウ拡縮制御
部、３５第２の制御回路部、３６ 表示画像合成部
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 茶木 康行
東京都品川区北品川６丁目７番35号 ソニ
ー株式会社内
Ｆターム(参考） 5B057 CB19 CE08 CG01
5C023 AA02 AA06 AA11 AA17 AA38
BA11 CA01 CA08 DA04 DA08
EA03
5C082 AA01 BA12 BB42 BB44 CA55
CB05 DA22 DA86 DA89 MM05
MM10
Claims (3)
- 【請求項１】 表示画像を表示部に出力する画像出力装
置において、 入力された符号化動画像データを復号する復号手段と、 上記表示部の指定された場所に任意の大きさで上記復号
後の動画像データにより表される第１の表示画像を表示
させる第１の表示領域情報を生成する第１の表示領域情
報生成部と、入力されたデータを一時記憶する記憶部
と、上記データに含まれている画像データに基づき上記
表示部に適合した画像形式である第２の表示画像を生成
する表示画像生成部と、上記表示部の指定された場所に
任意の大きさで第２の表示画像を表示させる第２の表示
領域情報を生成する第２の表示領域情報生成部と、上記
第１の表示画像と上記第２の表示画像とを合成する際
に、上記第１の表示領域情報と上記第２の表示領域情報
に基づき、合成状態が決定される合成パラメータを生成
する合成パラメータ生成部と、上記第２の表示画像に上
記合成パラメータを付加する合成パラメータ付加部とを
有するデータ処理手段と、 上記合成パラメータに基づき、上記第１の表示画像と上
記第２の表示画像とを合成し、合成した表示画像を上記
表示部に出力する合成出力手段とを備えることを特徴と
する画像出力装置。 - 【請求項２】 上記データ処理手段は、上記第１の表示
画像が前面で、上記第２の表示画像が後面の場合には、
上記合成パラメータを透明に調整し、上記第２の表示画
像が前面で、上記第１の表示画像が後面の場合には、上
記合成パラメータを不透明に調整することを特徴とする
請求項１記載の画像出力装置。 - 【請求項３】 上記符号化動画像データは、ＭＰＥＧエ
ンコードデータであることを特徴とする請求項１記載の
画像出力装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002156273A JP4144258B2 (ja) | 2002-05-29 | 2002-05-29 | 画像出力装置及び画像出力方法 |
| TW92113110A TWI229285B (en) | 2002-05-29 | 2003-05-14 | Picture outputting apparatus |
| US10/447,628 US6967665B2 (en) | 2002-05-29 | 2003-05-28 | Picture outputting apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002156273A JP4144258B2 (ja) | 2002-05-29 | 2002-05-29 | 画像出力装置及び画像出力方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003348447A true JP2003348447A (ja) | 2003-12-05 |
| JP2003348447A5 JP2003348447A5 (ja) | 2005-04-07 |
| JP4144258B2 JP4144258B2 (ja) | 2008-09-03 |
Family
ID=29772564
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002156273A Expired - Fee Related JP4144258B2 (ja) | 2002-05-29 | 2002-05-29 | 画像出力装置及び画像出力方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6967665B2 (ja) |
| JP (1) | JP4144258B2 (ja) |
| TW (1) | TWI229285B (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009109742A (ja) * | 2007-10-30 | 2009-05-21 | Sharp Corp | 表示装置及び表示方法 |
| JP2010287983A (ja) * | 2009-06-10 | 2010-12-24 | Casio Computer Co Ltd | 撮像装置、画像処理方法及びプログラム |
| WO2014192044A1 (ja) * | 2013-05-31 | 2014-12-04 | 三菱電機株式会社 | 画像処理装置、画像処理システム及び画像処理方法 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101120589A (zh) * | 2005-01-18 | 2008-02-06 | 松下电器产业株式会社 | 图像合成装置 |
| US8659704B2 (en) * | 2005-12-20 | 2014-02-25 | Savant Systems, Llc | Apparatus and method for mixing graphics with video images |
| US8072392B2 (en) * | 2007-12-07 | 2011-12-06 | Scenera Technologies, Llc | Integrated display system for a computer and a portable device |
| CN101742221B (zh) * | 2009-11-09 | 2012-06-13 | 中兴通讯股份有限公司 | 一种会议电视系统中的多画面合成方法及装置 |
| KR102112241B1 (ko) | 2011-02-22 | 2020-05-19 | 타지반 투 엘엘씨 | 필터 방법, 동화상 부호화 장치, 동화상 복호 장치 및 동화상 부호화 복호 장치 |
| SG188199A1 (en) | 2011-02-22 | 2013-04-30 | Panasonic Corp | Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus |
| RU2606304C2 (ru) | 2011-07-19 | 2017-01-10 | ТАГИВАН II ЭлЭлСи | Способ фильтрации, способ декодирования и способ кодирования |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6567091B2 (en) * | 2000-02-01 | 2003-05-20 | Interactive Silicon, Inc. | Video controller system with object display lists |
-
2002
- 2002-05-29 JP JP2002156273A patent/JP4144258B2/ja not_active Expired - Fee Related
-
2003
- 2003-05-14 TW TW92113110A patent/TWI229285B/zh not_active IP Right Cessation
- 2003-05-28 US US10/447,628 patent/US6967665B2/en not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009109742A (ja) * | 2007-10-30 | 2009-05-21 | Sharp Corp | 表示装置及び表示方法 |
| JP2010287983A (ja) * | 2009-06-10 | 2010-12-24 | Casio Computer Co Ltd | 撮像装置、画像処理方法及びプログラム |
| WO2014192044A1 (ja) * | 2013-05-31 | 2014-12-04 | 三菱電機株式会社 | 画像処理装置、画像処理システム及び画像処理方法 |
| JP5968533B2 (ja) * | 2013-05-31 | 2016-08-10 | 三菱電機株式会社 | 画像処理装置、画像処理システム及び画像処理方法 |
| US9898837B2 (en) | 2013-05-31 | 2018-02-20 | Mitsubishi Electric Corporation | Image processing system |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040032416A1 (en) | 2004-02-19 |
| JP4144258B2 (ja) | 2008-09-03 |
| US6967665B2 (en) | 2005-11-22 |
| TW200400461A (en) | 2004-01-01 |
| TWI229285B (en) | 2005-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8698840B2 (en) | Method and apparatus for processing video and graphics data to create a composite output image having independent and separate layers of video and graphics display planes | |
| US7542010B2 (en) | Preventing image tearing where a single video input is streamed to two independent display devices | |
| US7796095B2 (en) | Display specific image processing in an integrated circuit | |
| JP2008506295A (ja) | 一連のイメージ・フレームを表示する方法及びシステム | |
| JP2000330507A (ja) | 投射型表示装置 | |
| US20020057386A1 (en) | Image display apparatus | |
| WO2012007993A1 (ja) | 画像合成装置 | |
| JP2007214659A (ja) | Ｏｓｄ装置 | |
| JP2003348447A (ja) | 画像出力装置 | |
| US10672367B2 (en) | Providing data to a display in data processing systems | |
| CN115002304B (zh) | 一种视频图像分辨率自适应转换装置 | |
| US7382376B2 (en) | System and method for effectively utilizing a memory device in a compressed domain | |
| JP2001128089A (ja) | マルチスクリーン用画面合成装置 | |
| JPH09116827A (ja) | 縮小映像信号処理回路 | |
| JP2006303631A (ja) | オンスクリーン表示装置及びオンスクリーンディスプレイ生成方法 | |
| JP2006301029A (ja) | オンスクリーン表示装置及びオンスクリーンディスプレイ生成方法 | |
| JP2003283925A (ja) | 画像合成装置及び方法 | |
| US20060005134A1 (en) | Information processing apparatus and display control method thereof | |
| JP2005266792A (ja) | 大型のオーバーレイされたカメラ画像を表示するためのメモリ効率の良い方法及び装置 | |
| US20050057565A1 (en) | Information processing apparatus, semiconductor device for display control and video stream data display control method | |
| JP2005086822A (ja) | ビデオ・データおよびグラフィックス・データ処理用装置 | |
| JP2008141698A (ja) | クロマキー装置及び映像合成装置 | |
| JP2008205641A (ja) | 画像表示装置 | |
| JP2003116055A (ja) | 映像出力装置 | |
| JP2003044025A (ja) | 表示機構 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040428 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040428 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060825 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060905 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061102 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080226 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080428 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080527 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080609 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110627 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120627 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130627 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |