JP2002508146A - 直前の原フレームのみに基づく１つ以上の中間フレームを合成することにより原フレームの系列からディスプレイフレームを発生させる方法及びデバイス - Google Patents

Abstract

(57)【要約】 フレームレートを高めるためには、まず最初に原フレームの系列を原フレームレートで受ける。この系列の隣り合う原フレームの対に対し、１つ以上の中間フレームを幾何学的変換により合成する。特に、各中間フレームを直前の原フレームにのみ基づかせる。ディスプレイフレームは中間フレームの系列から、場合によっては原フレームからも選択する。

Description

【発明の詳細な説明】 直前の原フレームのみに基づく１つ以上の中間フレームを合成することにより 原フレームの系列からディスプレイフレームを発生させる方法及びデバイス 発明の背景 本発明は、ディスプレイフレームの第１系列を表示する方法であって、この方 法が、 原フレームの第２系列を原フレームレートで受ける工程と、 幾何学的な変換方法を用いることにより、前記第２系列に基づいて隣り合う原 フレームの対に対し１つ以上の中間フレームを合成する工程と を有する方法に関するものである。米国特許第4,736,248号明細書には、原（ソ ース）フレーム対間の内挿によりいかにディスプレイフレームを発生させるかが 開示されている。変換アルゴリズムは、順次の２つの原フレームの双方に生じる 点対から取出される。内挿は、これらの原フレームの双方に生じる他の画素対に 対し同じ変換を用いる。しばしば、特定の原画素が２つの原フレームのうちの一 方のみに存在する為、この特定の原画素に対してのみ外挿を行なう必要がある。 この米国特許は、ダイナミック航空測量における画像のレンダリングを改善する ためのものである。 他の使用分野は、高度の対話式コンピュータゲームや、同様な種類のマルチメ ディヤ環境に関するものである。この場合、フレームレートを高くして、表示さ れる動きができるだけ平滑になるようにすることが重要である。このようにする ことにより、原理的には、ユーザーが開始した事象と、これに関連するビジュア ルフィードバックとの間の待ち時間も最少にする。このようなことは、フライト シュミレーションゲームにおけるようなナビゲーション制御にとって特に重要で ある。６０〜７２Hzとしうるディスプレイリフレッシュレートに匹敵しうる値ま でフレームレートを高めることが提案されている。更に、バーチャルリアリティ （ＶＲ）システムでは、ユーザーを動揺病から保護するために待ち時間を少なく する必要があることが確かめられている。しかし、前記の米国特許による内挿を 通常のように使用すると、追加の待ち時間を導入する。その理由は、たとえ全て の画素の中で或るディスプレイフレーム画素が過去の原フレーム画素にのみ依存 している場合でも、後の原フレームの受信後には種々の内挿パラメータしか分か らない為である。 発明の概要 本発明の目的は特に、総括的な内挿によって生じる待ち時間の増大を回避する ことにある。本発明の観点の１つによれば、本発明は、ディスプレイフレームの 第１系列を表示する方法であって、この方法が、原フレームの第２系列を原フレ ームレートで受ける工程と、幾何学的な変換方法を用いることにより、前記第２ 系列に基づいて隣り合う原フレームの対に対し１つ以上の中間フレームを合成す る工程とを有する方法において、カメラ変換に基づく外挿により、且つＺバッフ ァー情報に基づいて、各中間フレームを直前の原フレームのみに基づかせ、ぼか しを取った深い画素を、同様に深いが現在連続的に見うるこのような深い画素か らフレーム内で外挿し、前記中間フレームの系列に基づき、場合に応じ前記原フ レームにも基づいて、前記原フレームレートに比べて高くしたディスプレイフレ ームレートで前記ディスプレイフレームを選択することを特徴とする。Ｚバッフ ァー情報は、本発明の一部ではない、原フレームのレンダリング中に発生させる 。Ｚバッファー情報は、二次元フレームを三次元空間に変換するのに用いること ができる為、透視法や任意の三次元のカメラ回転及び移動における変化を実行し うる(式８)。これらの２つの変換形式がシーンを変化させる主因である。 外挿によって生ぜしめられる特有の問題は、早期の原フレーム内でぼかされた 、又は覆い隠された(obscured)シーンの一部を後に、外挿されたフレーム内でぼ かしが取られる(uncovered)おそれがあることである。その理由は、ぼかされて いる対象がぼかされた部分に対し横に移動する為である。この解決策は、前の原 フレームでぼかしを受けていない隣接画素からの横方向外挿により達成される。 この外挿は走査方向に沿って或いはそれとは逆方向に行なうことができる。外挿 が背景パターン或いは粒状度の粗い他のエンティティで行なわれる場合には、そ の結果は通常真のもの或いはほぼ真のものとなる。一方、ぼかしのある対象の後 ろから突然現れる小さな項目の影響は、次の原フレームが到来するまで無視され る。 この偽の項目の影響は通常は許容される。これとは相違して、外挿を二次元アフ イン変換に限定すると、外挿されたフレーム中にしばしば不都合なひずみが生じ る。その理由は、これまでぼかしがあるも移動する部分がこれにより著しく大き くなってしまう為である。この問題は、外挿を特に、式（１２）のビュー座標で 表された深さ（zv2）に依存させることにより解決される。 ディスプレイ系列は、中間フレームと一緒にした原フレームを以て構成しうる 。或いはまた、中間フレームがしばしば充分に生じる場合には、全ての或いはあ る原フレームを使用しないままにすることができる。本発明の技術によれば、デ ィスプレイフレームの待ち時間が少なくなる。一方、内挿ディスプレイフレーム はしばしば待ち時間を不所望な時間まで長くするおそれがある。 本発明は、上述した方法を実行するように構成したフレーム式デバイスにも関 するものである。本発明の他の有利な観点は請求の範囲の従属項に述べられてい る。 本発明は、三次元レンダリングのパイプライン自体によって発生されたフレー ム間に中間フレームを生ぜしめるために画素の変位を計算しうるようにする。こ れら変位は、走査線に沿うすぐ隣の画素に対し達成された結果を一貫して用いる ことにより、原フレームの走査変換中に増分的に計算することができる。これに は、次の各画素に対し、前に処理した画素に基づく少数の演算を必要とするだけ である。 本発明は、最も最近の原フレームの画素と、これにすぐ続く合成されたディス プレイフレームとの間の瞬時的なコヒーレンス（整合性）を式（９）に応じて生 ぜしめるために、この原フレームに対する既知のカメラの動きを用いうるように する。 図面の簡単な説明 本発明の上述した及びその他の観点を、好適実施例の開示を参照し、且つ特に 添付図面を参照して以下に詳細に説明する。図中、 図１Ａ〜１Ｃは、３つのディスプレイフレーム発生方法を示し、 図２は、ディスプレイフレーム発生環境を示す概略的透視図であり、 図３は、デバイス及びビュー座標間の関係を示し、 図４は、この関係を透視図で見た場合を示し、 図５は、本発明を実行するデバイスを示し、 表１は、種々の演算式を示す。 好適実施例の詳細な説明 図１Ａは、ディスプレイフレームレートを高める第１の方法を示す。最上行は 、均一に離間させた原フレーム“ａ”の時間系列を有する。各対の連続する原フ レーム間に、矢印で示すように追加のフレーム“ｂ”が内挿される。元のａフレ ームと、内挿されたｂフレームとの双方をディスプレイフレームとして用いるこ とにより、ディスプレイフレームレートを２倍にする。待ち時間はかなり長くな る。その理由は、次のａフレームが得られるようになるまでに、ｂフレームを発 生させることができない為である。 図１Ｂは、ディスプレイフレームレートを高める第２の方法を示す。各対の連 続する原フレーム間に、前の最後のａフレームのみに基づいた追加のフレーム“ ｃ”が外挿され、これを矢印で示してある。元のａフレームと、外挿されたｃフ レームとの双方をディスプレイフレームとして用いることにより、ディスプレイ フレームレートを２倍にする。待ち時間は図１Ａの場合よりも少なくなる。その 理由は、前の最後のａフレームが得られると直ちにｃフレームを発生しうる為で ある。 図１Ｃは、ディスプレイフレームレートを高める第３の方法を示す。各対の連 続する原フレーム間に、前の最後のａフレームのみに基づいた追加のフレーム“ ｄ”が外挿され、これを矢印で示してある。原フレームとその外挿されたｄフレ ームとの間の遅延は、図１Ｂの場合と相違して不均一である。元のａフレームの 半分と、外挿されたｄフレームとを用いることにより、ディスプレイフレームレ ートを５０％の割合だけ高める。待ち時間は図１Ａの場合よりも少なくなる。そ の理由は、前の最後のａフレームが得られると直ちにｄフレームを発生しうる為 である。 図２は、ＸＹＺ座標系に基づいた発生環境を示す概略的透視図である。実際の カメラ位置は、負のＺ方向でのビュー軸に対し原点にある。カメラは正のＹ軸に 沿う“上”方向を有する。 図３は、デバイスとビュー座標との間の幾何学的関係を示す。この場合も、カ メラは負のＺ方向でのその軸に対し原点ＯＲにある。この図３での横軸は、Ｘ_V （Ｘ_ビュー）軸であり、Ｙ_V（Ｙ_ビュー）軸はこの図面の平面に対し垂直である 。Ｘ座標Ｘ_Sでスクリーン上に表示するために投影した対象ＯＢＪを示してある 。図示のように、図３は透視投影又は中心射影となっている。これに代えて、平 行投影も可能である。 図４は、この幾何学的形状を三次元で示している。左側の遠点がカメラ位置の アイポイントである。遠クリップ面fcp及び近クリップ面ncpはビュー軸に対して 垂直であり、これらが相俟って視角の切頭体（フラストラム）を規定する。同様 なクリップ面がｘ及びｙ方向に延在する。投影面には、記号化距離ｔ(上)、ｂ( 下)、ｌ（左）及びｒ（右）を示してある。更に、原点と投影面との間の距離ｎ （近）と、原点と対象面との間の距離ｆ（遠）とを示してある。高さの角度fiも 示してある。 図５は、本発明を実行するデバイスを示す。このデバイスの構成は、通信バス ２０及び主メモリ３０を中心として集中している。処理すべき情報は、メモリか ら取出され、後に示す表１に掲げた順次の演算を表すように直列に接続された処 理モジュール２２、２４、２６に送られる。これらの処理モジュールはＣＰＵの ような共有のハードウエアに集合的に形成しうる。順次のディスプレイフレーム は、処理後に、場合によっては一時的な蓄積後に、ユーザへの表示のためにサブ システム３４に到達する。これらの処理モジュールには、バス２０を介すること のできる制御ライン２３、２５、２７を介して総括制御サブシステム２８が接続 されている。このようにして、データはＣＰＵにおいて画像に変換される。制御 サブシステム２８は、実際のユーザからの手動又はその他の入力端３２のような 種々の信号源からの制御信号及びデータ信号や、対話式環境における他のユーザ からの外部信号や、カメラ又は他のサブシステム（簡単化のために図示していな い）からの信号を受けることができる。 手順の公式化 一般に、カメラの回転、移動又はズーミングの為に、全フレーム内容が時間と ともに変化しうる。前のカメラ位置及び方向と、新たなカメラ位置及び方向との 間の幾何学的関係が分かっている場合には、前の原フレームと外挿すべき新たな 中間ディスプレイフレームとの画素間のコヒーレンスも分かる。以下の表１は、 ビュー空間座標、投影座標、正規化デバイス座標及びスクリーン空間座標のよう な種々の座標間の関係を含む種々の数式を示す。 まず最初に、式（１）は透視投影マトリックスである。この式は、図４に示す ビューイング切頭体の種々の量、すなわちｎ(近)、ｆ(遠)、ｔ(上)、ｂ(下)、ｌ （左）及びｒ（右）の平面位置を規定する。式（２）は、対称的なビューイング 切頭体を規定する。非対称な切頭体をも同様に用いることもできる。式（３）は 、ビューイング切頭体を更に特定するために、高さの角度fiと縦横比ａとを規定 する。式（４）は、投影マトリックスＰを介しての投影座標（後書きｐを付して ある）と同次ビュー座標（後書きｖを付してある）との間の関係を表す。直交投 影のような他の投影も可能である。式（５）は正規化されたデバイス座標（後書 きｎを付してある）を与える。式（６）は、スクリーン座標（後書きｓを付して ある）を与える。直接挿入法により、式（７）に示す、スクリーン座標とビュー 座標との間の最終関係が得られる。原フレームにおける座標として、 {xv1,yv1,zv1}及び{xs1,ys1} を用いると、{xv1,yv1}を式（８）に応じて書表すことができる。 カメラの動き及び対象の変化の双方又はいずれか一方によるビュー座標のマト リックス変換を式（９）に示す。式（１０）は、外挿されたフレーム中の座標を 与える為、(xs2,ys2)に対する式を直接的に、式（１１）で与えられたように見 いだすことができる。更に、式（１２）は、zv2に対する式である。ここで、fz はスクリーン座標xs1及びys1に直線的に関連しており、fzは、動きの時間微分で ある定数Δを加えることにより、走査変換中に増分的に計算することができる。 従って、zvを計算するには以下のことが必要になる。 ‐ Δをfzに加える。 ‐ これをzv1倍する。 ‐ これをm23に加える。 更に、xs2及びys2は式（１３）に応じて書表すことができる。fx及びfyはスク リーン座標xs1及びys1に直線的に関連している為、これらも定数Δを加え ることにより増分的に計算することができる。従って、xs2及びys2の増分計算に は、zx2の計算に加えて以下のことが必要になる。 ‐ zv2の逆数を計算する(すなわち、1をzv2で割る)。 ‐ Δをfxに加え、Δをfyに加える。 ‐ これらの双方の結果にzv1を乗じる。 ‐ これらの双方の積をそれぞれh・k・m03/2及びh・k・m13/2に加える。 ‐ これらの双方の結果にzv2の逆数を乗じる。 ‐ これらをそれぞれw/2及びh/2に加える。 上述した計算では、合計で、８回の加算と、５回の乗算と、１回の割算とが行 なわれる。 更に、多くのゲーム分野は、カメラの移動とは独立した動作をしうる１つ以上 の対象をスクリーン上に表示する。この動作は、通常は、１つの立体（リジッド 又はソリッドボディー）として、或いは複数の相互連結された立体より成る複合 体として表されるような各対象の、カメラに対する相対変換によって表すことが できる。対象の動きは、当該対象の全ての画素に対し、カメラ変換マトリックス Ｍ_camに立体変換マトリックスＭ_objを乗じることにより実現しうる。この際、前 述した変位関数は種々の画素の動きベクトルを計算する。各画素は、これが属す る対象の識別子を有する必要があり、この識別子は更に、最も最近レンダリング された原フレームのビュー空間におけるこの対象の最終変換マトリックス Ｍ＝Ｍ_cam・Ｍ_obj を指示する必要がある。このことは、対象又はマトリックスポインターを含む追 加の記述面を導入することにより達成することができる。いかなるシーンにおい ても、このような立体の個数は通常２５６個よりも少ない為、各画素当りの追加 のバイトは１つで充分である。対象面は通常、１つの立体に属する大面積の均一 値画素を含んでいる為、この対象面をランレングス符号化ＲＬＥにより有効に圧 縮することができる。表１ ビュー座標xv,yv,zv （０） を規定する。 投影マトリックス： 対称的なビューイング切頭体は、 b=-t；l=-r （２） によりあたえられる。 高さの角度fi及び縦横比ａを用いて、切頭体 ｋ＝１／Tan［２fi］ ａ＝ｗ／ｈ；ｔ＝ｎ／ｋ；ｒ＝ｔａ （３） を特定する。 投影座標は、 {xp,yp,zp,wp}＝Ｐ・{xv,yv,zv,1} （４） である。 正規化されたデバイス座標は、 {xn,yn}＝{xp,yp}/wp （５） である。 スクリーン座標は、 であり、これは置換により、 に等しくなる。 従って、{xv1,yv1,zv1}及び{xs1,ys1}を原フレームにおける座標として用いる と、{xv1,yv1}を、として書表すことができる。 カメラ及び対象の双方又はいずれか一方の変化によるビュー座標のマトリック ス変換は、 となる。 中間フレームにおける座標は、 {xv2,yv2,zv2,wv2}＝Ｍ・{xv1,yv1,zv1,1} （１０） である。 従って、 となり、zv2は、 に等しくなり、fzはスクリーン座標に直線的に関連している為、fzは、走査変換 中定数Δを加えることにより増分的に計算することができる。この場合、zv2の 増分計算には、以下のことが必要になる。 ‐ fzにΔを加える。 ‐ これにzv1を乗じる。 ‐ これをm23に加える。 xs2及びys2は、 として書表すことができる。fx及びfyもスクリーン座標xs1及びys1に直線的に関 連しており、これらは、定数Δを加えることにより増分的に計算することができ る。従って、xs2及びys2の増分計算には、（xv2の計算に加えて）以下のことが 必要になる。 ‐ zv2の逆数を計算する(１をzv2で割る)。 ‐ fxにΔを加え、fyにΔを加える。 ‐ これらの双方の結果にzv1を乗じる。 ‐ これらをそれぞれh k m03/2及びh k m13/2に加える。 ‐ これらの双方の結果にzv2の逆数を乗じる。 ‐ これらをそれぞれw/2及びh/2に加える。 上述した計算では、合計で、１回の割算と、５回の乗算と、８回の加算とが行 なわれる。

【手続補正書】 【提出日】平成１１年１２月２日（１９９９．１２．２） 【補正内容】 【図４】

Claims (1)

1. 【特許請求の範囲】 １．ディスプレイフレームの第１系列を表示する方法であって、この方法が、 原フレームの第２系列を原フレームレートで受ける工程と、 幾何学的な変換方法を用いることにより、前記第２系列に基づいて隣り合う 原フレームの対に対し１つ以上の中間フレームを合成する工程と を有する方法において、 カメラ変換に基づく外挿により、且つＺバッファー情報に基づいて、各中間 フレームを直前の原フレームのみに基づかせ、ぼかしを取った深い画素を、同 様に深いが現在連続的に見うるこのような深い画素からフレーム内で外挿し、 前記中間フレームの系列に基づき、場合に応じ前記原フレームにも基づいて 、前記原フレームレートに比べて高くしたディスプレイフレームレートで前記 ディスプレイフレームを選択することを特徴とする方法。 ２．請求の範囲１に記載の方法において、最も最近の原フレームに対して分かっ ているカメラの動きを用いて、後の原フレームの画素とその直後に続く合成デ ィスプレイフレームの画素との間の瞬時的なコヒーレンスを生ぜしめることを 特徴とする方法。 ３．請求の範囲１に記載の方法において、この方法を、もっぱら、ディスプレイ ラインの走査の動きに沿って又はそれとは逆に動作するフレーム内の外挿に基 づかせることを特徴とする方法。 ４．請求の範囲１に記載の方法において、更に、外挿されたフレーム中に変換マ トリックスＭ＝Ｍ_cam・Ｍ_objに応じて立体を表示することを特徴とする方法。 ５．請求の範囲１に記載の方法において、連続的に見えない画素に関連する、ぼ かしを取った項目を、表示するものとして有する次の原フレームが到来するま で、この項目を無視することを特徴とする方法。 ６．ディスプレイフレームの第１系列を表示するように構成したフレーム式デバ イスであって、このデバイスは、 原フレームの第２系列を原フレームレートで受ける受信手段と、 幾何学的な変換方法を用いることにより、前記第２系列に基づいて、隣り合 う原フレームの対に対し１つ以上の中間フレームを合成する合成手段と を有している当該デバイスにおいて、 カメラ変換に基づく外挿により、且つＺバッファー情報に基づいて、各中間 フレームを直前の原フレームのみに基づかせ、ぼかしを取った深い画素を、同 様に深いが現在連続的に見うるこのような深い画素からフレーム内で外挿する ように前記合成手段を構成し、 前記合成手段に接続され、前記中間フレームの系列に基づき、場合に応じ前 記原フレームにも基づいて、前記原フレームレートに比べて高くしたディスプ レイフレームレートで前記ディスプレイフレームを出力させる出力手段が設け られている ことを特徴とするデバイス。 ７．請求の範囲６に記載のデバイスにおいて、前記合成手段は、最も最近の原フ レームに対するカメラの動き情報を受け、後の原フレームの画素とその直後に 続く合成ディスプレイフレームの画素との間の瞬時的なコヒーレンスを生ぜし めるように構成されていることを特徴とするデバイス。 ８．請求の範囲６に記載のデバイスにおいて、前記合成手段は、もっぱら、ディ スプレイラインの走査の動きに沿って又はそれとは逆に動作するフレーム内の 外挿手段を有していることを特徴とするデバイス。 ９．請求の範囲６に記載のデバイスにおいて、外挿されたフレーム中に変換マト リックスＭ＝Ｍ_cam・Ｍ_objに応じて立体を表示するマトリックス乗算手段が設 けられていることを特徴とするデバイス。 １０．請求の範囲６に記載のデバイスにおいて、連続的に見えない画素に関連す る、ぼかしを取った項目を、表示するものとして有する次の原フレームが到来 するまで、この項目を無視する取消し手段が設けられていることを特徴とする デバイス。