JP2003076982A - ビデオオブジェクトをグラフィック処理する装置 - Google Patents

ビデオオブジェクトをグラフィック処理する装置

Info

Publication number
JP2003076982A
JP2003076982A JP2002224914A JP2002224914A JP2003076982A JP 2003076982 A JP2003076982 A JP 2003076982A JP 2002224914 A JP2002224914 A JP 2002224914A JP 2002224914 A JP2002224914 A JP 2002224914A JP 2003076982 A JP2003076982 A JP 2003076982A
Authority
JP
Japan
Prior art keywords
video object
video
graphical
sub
texture data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002224914A
Other languages
English (en)
Inventor
Jacky Talayssat
タレイサ ジャッキー
Jean Gobert
ゴベール ジャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2003076982A publication Critical patent/JP2003076982A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

(57)【要約】 【課題】 本発明は、実時間で複合テクスチャデータ
を処理する、テクスチャデータをグラフィック処理する
装置を提供することを目的とする。 【解決手段】 本発明は、テクスチャデータを含むビデ
オオブジェクトをグラフィック処理する装置に関わり、
この装置は、ビデオオブジェクトをサブサンプル処理す
るフィルタ処理回路(11)と、幾何学的変換を介して
上記ビデオオブジェクトのテクスチャデータをグラフィ
カル形態に適用するビデオオブジェクト構成ユニット
(13)とを有する。ビデオオブジェクト構成ユニット
は、幾何学的変換のパラメータからサブサンプル処理係
数を計算し、フィルタ処理回路はビデオオブジェクトを
サブサンプル処理するためにこのサブサンプル処理係数
を用いる。ビデオオブジェクト構成ユニットは、スクリ
ーンにビジュアルシーンを表示するよう、サブサンプル
処理されたビデオオブジェクトをグラフィカル形状に適
用する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ビデオオブジェク
トをサブサンプル処理することができるフィルタ処理回
路と、幾何学的変換を介してテクスチャデータをグラフ
ィカル形態に適用することができるビデオオブジェクト
構成ユニットとを有する、テクスチャデータを含むビデ
オオブジェクトをグラフィック処理する装置に関わる。
【0002】本発明は、例えば、ビデオデコーダ、3D
グラフィカル・アクセラレータ、ビデオゲームコンソー
ル、携帯情報端末、又は、移動電話機のような、ビデオ
オブジェクトを構成することを目的とするディジタル装
置に適用される。
【0003】
【従来の技術】テクスチャデータを有するビデオオブジ
ェクトを処理するグラフィカル・アクセッラレータは、
1990年のFoley外による“Computer
Graphics:Principles and P
ractice”なる名称の文書から公知である。上記
グラフィカル・アクセラレータの動作原理は、同文書の
815−835頁に特に記載されており、本願の図1に
例示されている。グラフィカル・アクセラレータは、一
般的に、異なるレベルに従って元の解像度(101)の
ビデオオブジェクトをサブサンプル処理する「ミップマ
ップ(MIPマップ)」の概念を用いるフィルタ処理回
路FIL(11)を有する。元の解像度(101)での
ビデオオブジェクトは、ピクセルの二つの次元x及びy
を有する組である。従って、第1の解像度レベルのビデ
オオブジェクトは、解像度がx及びy夫々の方向に2で
分割されるため、元の解像度におけるビデオオブジェク
トのピクセルの四分の一を含む、元の解像度におけるビ
デオオブジェクトが空間サブサンプル処理されたものに
対応する。この動作は、各レベルで繰り返され、新しい
現在の解像度kでのビデオオブジェクトは、直ぐ上のレ
ベルk−1のビデオオブジェクトに対してx及びy夫々
の方向に2で分割された解像度を有する。このようにし
て、ミップマップと呼ばれる、ビデオオブジェクトのバ
ージョン(101乃至104)の組(100)が得ら
れ、各バージョンは異なる解像度を有する。このビデオ
オブジェクトのバージョンの組は、システムバス(1
2)を介してメモリ(10)に記憶される。
【0004】最新技術のグラフィカル・アクセラレータ
は、スクリーン(14)にビジュアルシーンを表示する
ためにビデオオブジェクト構成ユニット(13)も有
し、ビデオオブジェクトのテクスチャデータがグラフィ
カル形状(105)、例えば、多角形に適合されること
が意図される。ビデオオブジェクト構成ユニットの機能
は、幾何学的変換によってビデオオブジェクトをグラフ
ィカル形状の寸法に調節するためにビデオオブジェクト
を変換することである。このためにビデオオブジェクト
のバージョンの組において、解像度レベル或いは幾つか
のレベルがグラフィカル形状内にビデオオブジェクトが
表示されるべきスクリーンの解像度に最も近いビデオオ
ブジェクトの一つの又は二つのバージョンが決定され
る。ビデオオブジェクト構成ユニットは、次に、所定の
解像度レベルを有するビデオオブジェクトの4つのピク
セルを用いて双一次補間、又は、三線(trilinear)補
間、つまり、異なる解像度レベルの2つのビデオオブジ
ェクトに対する2つの双一次補間の間の一次補間を実施
する。
【0005】従って、このタイプのグラフィカル・アク
セラレータは、ビデオオブジェクトのビデオバージョン
の組を予め生成することを可能にし、更に、元の解像度
におけるビデオオブジェクトのバージョン、及び、異な
る解像度レベルでサブサンプル処理されたビデオオブジ
ェクトのバージョンを生成することを可能にし、上記ビ
デオオブジェクトのバージョンは、ビデオオブジェクト
構成ユニットが後に使用できるようメモリに静的に記憶
される。しかしながら、このグラフィカル・アクセラレ
ータが簡単なナチュラルテクスチャと使用されるにもか
かわらず、典型的には1/25秒毎又は1/30秒毎に
定期的に再び新しくされる複合(complex)テクスチャ
のデータを含むビデオオブジェクトを用いて実時間でア
プリケーションを実行することを可能にしない。このよ
うなテクスチャデータを用いると、異なる解像度レベル
によるビデオオブジェクトのサブサンプル処理は、シス
テムバスを介して様々な回路間で要求される交換が多数
あるため帯域幅に関して非常に高価となる。
【0006】
【発明が解決しようとする課題】本発明は、実時間で複
合テクスチャデータを処理する、テクスチャデータをグ
ラフィック処理する装置を提供することを目的とする。
【0007】
【課題を解決するための手段】このために、グラフィカ
ル処理装置は、ビデオ構成ユニットが幾何学的変換のパ
ラメータからサブサンプル処理係数を計算することが可
能であり、フィルタ処理回路がサブサンプル処理係数に
従ってビデオオブジェクトをサブサンプル処理すること
ができ、且つ、ビデオオブジェクト構成ユニットがサブ
サンプル処理されたビデオオブジェクトをグラフィカル
形状に適用することができることを特徴とする。
【0008】このようなグラフィカル・アクセラレータ
は、最新技術で説明されるとおり、異なる解像度レベル
でサブサンプル処理されたビデオオブジェクトのバージ
ョンの組からよりも、必要に応じてサブサンプル処理さ
れたビデオオブジェクトを用いてビジュアルシーンを構
成することを可能にさせる。従って、帯域幅の使用が最
適化される。
【0009】
【発明の実施の形態】本発明は、本発明を制限しない図
面に示す実施例の例を参照して更に説明する。
【0010】本発明は、標準MPEG−4に従って符号
化された画像のシーケンスから来るビデオオブジェクト
を表示するグラフィカル・アクセラレータの情況におい
て展開される。本発明は、テクスチャデータを含むビデ
オオブジェクトをグラフィック処理する任意の装置に適
用される。
【0011】図2は、本発明によるグラフィカル・アク
セラレータの動作原理を示す図である。グラフィカル・
アクセラレータは、元の解像度におけるビデオオブジェ
クトを記憶するメモリ(10)を有する。グラフィカル
・アクセラレータは、更に、最新技術と違ってビデオオ
ブジェクトのバージョンの組を先験的に生成しないフィ
ルタ処理回路(11)を有する。最後に、グラフィカル
・アクセラレータは、幾何学的変換を介してビデオオブ
ジェクトのテクスチャデータをグラフィカル形状に適用
することができるビデオオブジェクト構成ユニット(1
3)を有する。グラフィカル・アクセラレータは、ビデ
オオブジェクトをグラフィカル形状に適合させるため
に、以下の動作を実施することができる。
【0012】ビデオオブジェクト構成ユニットは、最初
に幾何学的変換のパラメータからサブサンプル処理係数
を計算する。例えば、幾何学的変換がズームである場
合、サブサンプル処理されたビデオオブジェクトの座標
(U,V)は次の式の系、
【0013】
【数1】 に従って元の解像度におけるビデオオブジェクトの座標
(u,v)から決定され、このときa、b、c、d、
e、及び、fは、定数である。a=1/5、e=1/
4、b=c=d=f=0である場合、サブサンプル処理
係数は、水平方向に5であり、垂直方向に4である。上
記例においてズームは、開示を簡略化するために固定で
あるが、ローカルズーム係数が変数であるとき幾何学的
変換がより一般的には透視であることが当業者には明ら
かであろう。
【0014】フィルタ処理回路は、システムバス(1
2)を介して元の解像度におけるビデオオブジェクトを
受信し、先に計算されたサブサンプル処理係数に従って
上記ビデオオブジェクトをサブサンプル処理することが
できる。このために、フィルタ処理回路は、例えば、係
数がローカルズーム係数によって決定される線形フィル
タを用いる。好ましい実施例では、フィルタ処理回路
は、サブサンプル処理されたビデオオブジェクトを中間
メモリCM(20)に供給することができる。
【0015】中間メモリは、一時的にサブサンプル処理
されたビデオオブジェクトを記憶することができる。中
間メモリは、例えば、キャッシュメモリである。このよ
うなキャッシュメモリは、グラフィカル処理装置の複雑
性並びに帯域幅を減少させ、サブサンプル処理されたピ
クセルは、最後の補間フィルタ処理のためにビデオオブ
ジェクト構成ユニットによって繰り返し読取られる。更
に、パイプラインモードでの機能を可能にし、ビデオオ
ブジェクト構成ユニットが現在のサブサンプル処理され
たビデオオブジェクトを使用する一方で、フィルタ処理
回路は次のビデオオブジェクトのサブサンプル処理され
たバージョンを準備する。別の実施例によると、グラフ
ィカル処理装置は、どの中間メモリも有さず、サブサン
プル処理はビデオオブジェクト構成ユニットによって要
求されると続々と行われる。
【0016】ビデオオブジェクト構成ユニットは、ビジ
ュアルシーンが構成されるグラフィカル形状にサブサン
プル処理されたビデオオブジェクトを適用することがで
きる。
【0017】従って、サブサンプル処理されたビデオオ
ブジェクトは、要求に応じてだけ生成され、システムバ
ス上で送られるデータは最小化され、最新技術と比べて
帯域幅が減少される。
【0018】図2は、本発明を例示するものであり、制
限するものではない。回路及びバスを用いて上記機能を
実行する多数の方法が本発明の範囲内で存在する。例え
ば、中間メモリ(20)は、バスに直接的に接続されて
もよい。このとき、一方でフィルタ処理回路(11)と
の間で、他方でビデオオブジェクト構成ユニット(1
3)との間で専用のインタフェースが必要とされない。
【0019】グラフィカル処理装置は、例えば、ビデオ
デコーダ、3Dグラフィカル・アクセラレータ、ビデオ
ゲームコンソール、携帯情報端末、又は、移動電話機の
ようなビデオオブジェクトを構成することを意図する任
意のタイプのディジタル装置でもよい。
【0020】本文中の括弧内のどの参照記号も制限的と
解釈されてはならない。「有する、含む」といった動詞
及びその活用型も幅広く解釈されなくてはならず、つま
り、記載されていない他の素子又は段階だけでなく、既
に記載され、単数形で表わされる複数の素子又は段階も
除外するものではないと解釈されなくてはならない。
【図面の簡単な説明】
【図1】最新技術による、ビデオオブジェクトを処理す
るグラフィカル・アクセラレータの動作原理を示す図で
ある。
【図2】本発明による、ビデオオブジェクトを処理する
グラフィカル・アクセラレータの動作原理を示す図であ
る。
【符号の説明】
10 メモリ 11 フィルタ処理回路 12 システムバス 13 ビデオオブジェクト構成ユニット 14 スクリーン 20 中間メモリ 100 ビデオオブジェクトのバージョンの組 101,102,103,104 ビデオオブジェクト
のバージョン 105 グラフィカル形状
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジャッキー タレイサ フランス国,06740 シャトーヌフ,シュ マン・デ・ジャスマン 447 (72)発明者 ジャン ゴベール フランス国,94700 メゾンアルフォール, リュ・フェルネ 35 Fターム(参考) 5B057 CA12 CA18 CB12 CB18 CD01 CE06 CH09 CH11

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 ビデオオブジェクトをサブサンプル処理
    するフィルタ処理回路と、 幾何学的変換を介して上記ビデオオブジェクトのテクス
    チャデータをグラフィカル形態に適用するビデオオブジ
    ェクト構成ユニットとを有する、テクスチャデータを含
    むビデオオブジェクトをグラフィック処理する装置であ
    って、 上記ビデオオブジェクト構成ユニットは、上記幾何学的
    変換のパラメータからサブサンプル処理係数を計算し、 上記フィルタ処理回路は、上記サブサンプル処理係数に
    従って上記ビデオオブジェクトをサブサンプル処理し、 上記ビデオオブジェクト構成ユニットは、上記サブサン
    プル処理されたビデオオブジェクトを上記グラフィカル
    形状に適用することを特徴とする装置。
  2. 【請求項2】 上記フィルタ処理回路から供給される上
    記サブサンプル処理されたビデオオブジェクトを一時的
    に記憶し、上記サブサンプル処理されたビデオオブジェ
    クトを上記ビデオオブジェクト構成ユニットに供給する
    中間メモリを更に有することを特徴とする請求項1記載
    の、ビデオオブジェクトをグラフィック処理する装置。
JP2002224914A 2001-08-02 2002-08-01 ビデオオブジェクトをグラフィック処理する装置 Pending JP2003076982A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0110372 2001-08-02
FR0110372 2001-08-02

Publications (1)

Publication Number Publication Date
JP2003076982A true JP2003076982A (ja) 2003-03-14

Family

ID=8866222

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002224914A Pending JP2003076982A (ja) 2001-08-02 2002-08-01 ビデオオブジェクトをグラフィック処理する装置

Country Status (5)

Country Link
US (1) US20030034982A1 (ja)
EP (1) EP1282078A1 (ja)
JP (1) JP2003076982A (ja)
KR (1) KR20030013286A (ja)
CN (1) CN1407831A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100354896C (zh) * 2004-07-30 2007-12-12 索尼株式会社 图像转换设备、图像转换电路及图像转换方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286294B2 (en) 1992-12-09 2016-03-15 Comcast Ip Holdings I, Llc Video and digital multimedia aggregator content suggestion engine
US7168084B1 (en) 1992-12-09 2007-01-23 Sedna Patent Services, Llc Method and apparatus for targeting virtual objects
KR100655248B1 (ko) 1998-07-23 2006-12-08 세드나 페이턴트 서비시즈, 엘엘씨 대화형 사용자 인터페이스
US6754905B2 (en) 1998-07-23 2004-06-22 Diva Systems Corporation Data structure and methods for providing an interactive program guide
US9924234B2 (en) 1998-07-23 2018-03-20 Comcast Ip Holdings I, Llc Data structure and methods for providing an interactive program
US6904610B1 (en) 1999-04-15 2005-06-07 Sedna Patent Services, Llc Server-centric customized interactive program guide in an interactive television environment
US6754271B1 (en) 1999-04-15 2004-06-22 Diva Systems Corporation Temporal slice persistence method and apparatus for delivery of interactive program guide
US7096487B1 (en) 1999-10-27 2006-08-22 Sedna Patent Services, Llc Apparatus and method for combining realtime and non-realtime encoded content
ATE359669T1 (de) 1999-10-27 2007-05-15 Sedna Patent Services Llc Vielfache videoströme unter verwendung von slice- basierter kodierung
US7793326B2 (en) 2001-08-03 2010-09-07 Comcast Ip Holdings I, Llc Video and digital multimedia aggregator
US7908628B2 (en) 2001-08-03 2011-03-15 Comcast Ip Holdings I, Llc Video and digital multimedia aggregator content coding and formatting
US20090122195A1 (en) * 2007-11-09 2009-05-14 Van Baar Jeroen System and Method for Combining Image Sequences
US9154813B2 (en) 2011-06-09 2015-10-06 Comcast Cable Communications, Llc Multiple video content in a composite video stream
CN108769786B (zh) * 2018-05-25 2020-12-29 网宿科技股份有限公司 一种合成音视频数据流的方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5943058A (en) * 1996-01-25 1999-08-24 Silicon Graphics, Inc. Texture mapping circuit for performing data interpolations
JP2000155850A (ja) * 1998-11-20 2000-06-06 Sony Corp テクスチャ・マッピング装置及びこれを具備したレンダリング装置、並びに情報処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100354896C (zh) * 2004-07-30 2007-12-12 索尼株式会社 图像转换设备、图像转换电路及图像转换方法

Also Published As

Publication number Publication date
EP1282078A1 (fr) 2003-02-05
CN1407831A (zh) 2003-04-02
KR20030013286A (ko) 2003-02-14
US20030034982A1 (en) 2003-02-20

Similar Documents

Publication Publication Date Title
CN110136066B (zh) 面向视频的超分辨率方法、装置、设备和存储介质
US11354785B2 (en) Image processing method and device, storage medium and electronic device
JP2003076982A (ja) ビデオオブジェクトをグラフィック処理する装置
US6466618B1 (en) Resolution improvement for multiple images
US7545388B2 (en) Apparatus, method, and product for downscaling an image
US10997954B2 (en) Foveated rendering using variable framerates
EP1400919A2 (en) Method for scaling a digital image
US20050094899A1 (en) Adaptive image upscaling method and apparatus
US20100171759A1 (en) Multi-layer image composition with intermediate blending resolutions
WO2021238500A1 (zh) 全景视频插帧方法、装置及对应的存储介质
CN111161660A (zh) 数据处理系统
US11069026B2 (en) Method for processing projection-based frame that includes projection faces packed in cube-based projection layout with padding
CN111385607A (zh) 分辨率的确定方法、装置、存储介质、客户端及服务器
JP2837339B2 (ja) 画像生成方法
CN116348906A (zh) 用于移除视频流中的视频译码伪影的基于神经网络的设备和方法
WO2021258530A1 (zh) 图像分辨率处理方法、装置、设备及可读存储介质
US11055820B2 (en) Methods, apparatus and processor for producing a higher resolution frame
DE60004323T2 (de) Verfahren und vorrichtung zum streck-blocktransfer (stretch blitting) mit einem 3d pipeline prozessor
EP3598391B1 (en) Variable resolution rendering
EP1704535A1 (en) Method of rendering graphical objects
EP1461775A2 (en) Image rendering apparatus and method using mipmap texture mapping
US8212835B1 (en) Systems and methods for smooth transitions to bi-cubic magnification
KR20010024416A (ko) 정적 이미지 발생 방법 및 장치
Devkota et al. Deep learning based super-resolution for medical volume visualization with direct volume rendering
CN109792490B (zh) 用于流图像压缩的球面视频的改进的伪圆柱映射