JP2007249796A - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

画像処理装置および画像処理方法、並びにプログラム Download PDF

Info

Publication number
JP2007249796A
JP2007249796A JP2006074719A JP2006074719A JP2007249796A JP 2007249796 A JP2007249796 A JP 2007249796A JP 2006074719 A JP2006074719 A JP 2006074719A JP 2006074719 A JP2006074719 A JP 2006074719A JP 2007249796 A JP2007249796 A JP 2007249796A
Authority
JP
Japan
Prior art keywords
data
pixel data
polygon
polygons
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006074719A
Other languages
English (en)
Other versions
JP4492567B2 (ja
JP2007249796A5 (ja
Inventor
Takaaki Fuchie
孝明 渕江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006074719A priority Critical patent/JP4492567B2/ja
Priority to US11/684,769 priority patent/US8134557B2/en
Priority to CNB2007100885908A priority patent/CN100520828C/zh
Publication of JP2007249796A publication Critical patent/JP2007249796A/ja
Publication of JP2007249796A5 publication Critical patent/JP2007249796A5/ja
Application granted granted Critical
Publication of JP4492567B2 publication Critical patent/JP4492567B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/40Hidden part removal

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

【課題】メモリに対するアクセス効率を向上させることにより、低消費電力で、高精度の画像の変形を行う。
【解決手段】CPU121は、第1の方向に並ぶ所定の数のポリゴンから構成されるポリゴン群を、そのポリゴン群が第2の方向に並ぶ順に、生成処理の対象とする対象ブロックとし、その対象ブロックを構成する各ポリゴンの頂点データを、ポリゴン単位で順に生成する。ポリゴン群を構成するポリゴンの第1の方向に並ぶ数は、対象ブロックを構成するポリゴンに対応する画素データを用いてデプステストが行われるときに、その対象ブロックの直前の対象ブロックである直前ブロックを構成するポリゴンのうち、対象ブロックとの境界部分に位置するポリゴンに対応する画素データを、zデータキャッシュ126が記憶しているように、決定される。本発明は、GPUに適用することができる。
【選択図】図8

Description

本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、メモリに対するアクセス効率を向上させることにより、低消費電力で、高精度の画像の変形を行うことができるようにした画像処理装置および画像処理方法、並びにプログラムに関する。
従来、仮想3次元空間上における画像の変形を行う画像変形装置は、3角形などの多角形からなるポリゴンの組み合わせで構成される物体形状のモデルを作成し、そのモデルに画像を貼り付けるテクスチャマッピングを行うことにより、画像の変形を行う(例えば、特許文献1参照)。
このような画像変形装置は、テクスチャマッピングのために、最終的に出力される変形後の画像の各画素に表示される画像の、テクスチャマッピングにおいて貼り付けられる画像上の位置を表すテクスチャアドレスを、その画素に対応するポリゴン単位で生成し、画素ごとにメモリに記憶する。このとき、画像変形装置は、テクスチャアドレスを、そのテクスチャアドレスに対応する画素の、スクリーン上の位置に対応するアドレスに記憶する。
ここで、ポリゴンの集合体であるメッシュの例を、図1Aと図1B、並びに図2Aと図2Bに示す。
図1Aは、正方格子状のメッシュ1を示している。即ち、メッシュ1は、ポリゴン1Aとポリゴン1Bから構成される正方形1Cが、水平方向と、その水平方向に対して直交する垂直方向に格子状にそれぞれ並べられることにより、構成されている。このメッシュ1は、ページターンやウェーブなどの一定方向の変形を行うときのモデルに用いられる。例えば、図1Aに示したメッシュ1に対してページターンが行われると、メッシュ1は、図1Bに示すようになる。
図2Aは、同心円状のメッシュ2を示している。即ち、メッシュ2は、ポリゴン2Aとポリゴン2Bから構成される四角形2Cが、放射方向と、その放射方向に対して略直交する円周方向に同心円状にそれぞれ並べられることにより、構成されている。このメッシュ2は、リップルなど同心円状に変形を行うときのモデルに用いられる。例えば、図2Aに示したメッシュ2に対してリップルが行われると、メッシュ2は、図2Bに示すようになる。
画像変形装置は、このようなメッシュ1やメッシュ2を用いて変形後のモデルを作成した後、そのモデルを構成する各ポリゴンの頂点に関するデータ(以下、頂点データという)に基づいて、ポリゴン単位で、平行移動、拡大縮小、回転などのモデリング変換、クリッピング、スクリーンへの投影を行う透視投影変換などの頂点演算を行い、その結果得られるポリゴン単位の頂点データを、画素に関するデータ(以下、画素データという)に変換するラスタライズ、デプステスト(深度テスト)、テクスチャマッピングなどを行い、その結果得られる画像を、変形後の画像として出力する。
なお、頂点データは、例えば、モデリング座標上の頂点の座標値、テクスチャアドレス、ライティング係数などの頂点単位のデータにより構成される。また、画素データは、仮想視点とスクリーン上の画素を結ぶ直線が面と交わる点のz座標を表すzデータ、テクスチャアドレス、ライティング係数、出力画像上の画素の位置を表すデータ(以下、位置データという)などの画素単位のデータにより構成される。
画像変形装置が、高精度の変形を行うためには、ポリゴンを小さくする必要があるが、例えば、デプステスト時に画素データに含まれるzデータを、キャッシュを用いてメモリに記憶する場合、キャッシュのヒット率が低下し、メモリへのアクセスが増大してしまうという問題がある。
この問題について、図3乃至図5を参照して説明する。
なお、図3乃至図5では、説明の便宜上、画像の変形が行われないものとして説明する。また、図3乃至図5では、水平方向と垂直方向にそれぞれ4画素並ぶ4×4画素のzデータを、キャッシュの記憶単位であるキャッシュブロック(キャッシュライン)とするキャッシュが用いられるものとする。
図3は、ポリゴン111,112,113,114,115,・・・,11n1,11n1+1,・・・,112n1,112n1+1,・・・,113n1,・・・からなる正方格子状のメッシュを用いたモデル10を示している。なお、各ポリゴンを区別する必要がない場合、各ポリゴンをまとめてポリゴン11という。
なお、図3において、白丸と黒丸からなる丸は画素を表し、丸の色である白と黒は、キャッシュブロックの境界を表している。即ち、白丸で表される画素と黒丸で表される画素のzデータは、それぞれ異なるキャッシュブロックとされ、また隣接しない白丸同士と黒丸同士で表される画素のzデータも異なるキャッシュブロックとされる。
例えば、図3において、正方形12で囲まれた16個の黒丸で表される画素151乃至154,15m1+1乃至15m1+4,152m1+1乃至152m1+4、および153m1+1乃至153m1+4のzデータ、正方形13で囲まれた16個の白丸で表される画素155乃至158,15m1+5乃至15m1+8,152m1+5乃至152m1+8、および153m1+5乃至153m1+8のzデータ、正方形14で囲まれた16個の黒丸で表される画素159乃至1512,15m1+9乃至15m1+12,152m1+9乃至152m1+12、および153m1+9乃至153m1+12のzデータは、それぞれ異なるキャッシュブロックとされる。なお、以下では、各画素を区別する必要がない場合、各画素をまとめて画素15という。
画像変形装置は、図3のモデル10を構成するポリゴン11に対して、そのポリゴン11が配置される水平方向の順に、即ち図中A方向に並ぶ順に頂点データを生成する。
即ち、画像変形装置は、垂直方向の最上段目に並ぶn1個のポリゴン111乃至11n1を、水平方向に並ぶ順であるポリゴン111,112,113,114,115,・・・,11n1の順に、ポリゴン11単位で頂点データを生成する。次に、画像変形装置は、垂直方向の第2段目に並ぶn1個のポリゴン11n1+1乃至112n1を、水平方向に並ぶ順であるポリゴン11n1+1,・・・,112n1の順に、ポリゴン11単位で頂点データを生成し、その後、垂直方向の第3段目に並ぶn1個のポリゴン112n1+1乃至113n1を、水平方向に並ぶ順であるポリゴン112n1+1,・・・,113n1の順に、ポリゴン11単位で頂点データを生成する。以降同様にして、第4段目以降のポリゴン11の頂点データが生成される。
また、画像変形装置は、生成された頂点データに対して頂点演算を行い、その結果得られた順に、頂点データに対してラスタライズを行い、画素データを得る。
即ち、画像変形装置は、ポリゴン111,112,113,114,115,・・・,11n1,11n1+1,・・・,112n1,112n1+1,・・・,113n1,・・・の順に、ポリゴン11の頂点データの頂点演算の結果を得て、その順にラスタライズを行う。その結果、ポリゴン111,112,113,114,115,・・・,11n1,11n1+1,・・・,112n1,112n1+1,・・・,113n1,・・・に対応する画素151,152,153,154,・・・,15m1,15m1+1,15m1+2,152m1+1,152m1+2,15m1+3,・・・,152m1,153m1-1,153m1,153m1+1,・・・,154m1の順に、画素15の画素データが得られる。
さらに、画像変形装置は、ラスタライズの結果得られる画素データに対して、得られた順に、メモリに記憶されているzデータを用いてデプステストを行う。
具体的には、画像変形装置は、まず最初に、メモリから、正方形12に囲まれた画素151乃至154,15m1+1乃至15m1+4,152m1+1乃至152m1+4、および153m1+1乃至153m1+4のzデータをキャッシュブロックとして読み出し、その画素151乃至154のzデータと、ラスタライズの結果得られた画素151乃至154の画素データに含まれるzデータとを、それぞれ順に比較することにより、デプステストを行う。
次に、画像変形装置は、メモリから、正方形13に囲まれた画素155乃至158,15m1+5乃至15m1+8,152m1+5乃至152m1+8、および153m1+5乃至153m1+8のzデータをキャッシュブロックとして読み出し、その画素155乃至158のzデータと、ラスタライズの結果得られた画素155乃至158の画素データに含まれるzデータを、それぞれ順に比較することにより、デプステストを行う。以降同様にして、画素159乃至15m1のzデータが比較されることにより、デプステストが行われる。
このとき、キャッシュに記憶可能なキャッシュブロックの数には限りがあるため、画像変形装置は、新しいキャッシュブロックを読み出す場合、必要に応じて、キャッシュブロックを古い順に追い出す。
従って、画像変形装置が、画素159乃至15m1の画素データに対するデプステスト後に、画素15m1+1に対するデプステストを行うときには、画素151乃至154に対するデプステストを行ったときに、メモリからキャッシュブロックとして読み出された正方形12に含まれる16個の画素15のzデータが、通常、キャッシュから追い出されている。
そこで、画素15m1+1に対するデプステストを行う場合、画像変形装置は、正方形12に含まれる16個の画素15のキャッシュブロックを再度読み出す必要がある。同様に、画素153m1+1に対するデプステストを行う場合も、画像変形装置は、正方形12に対応するキャッシュブロックを再度読み出す必要がある。即ち、画像変形装置は、各キャッシュブロックを3回読み出す必要がある。
図4は、ポリゴン21からなる同心円状のメッシュを用いたモデル20を示しており、図5は、ポリゴン31からなる同心円状のメッシュを用いたモデル30を示している。
図4においては、画像変形装置は、モデル20を構成するポリゴン21に対して、そのポリゴン21が配置される放射方向の順に、頂点データを生成し、頂点演算およびラスタライズを行い、画素データを得る。
即ち、画像変形装置は、放射方向B1に並ぶポリゴン21に対して、メッシュ20の中心O付近に位置するポリゴン21から順に、頂点データを生成し、頂点演算およびラスタライズを行う。次に、画像変形装置は、このポリゴン21の右隣の、放射方向B2に並ぶポリゴン21に対して、中心Oに位置するポリゴン21から順に、頂点データを生成し、頂点演算およびラスタライズを行う。以降同様にして、ポリゴン21の頂点データが生成され、頂点演算およびラスタライズが行われる。
その結果、画像変換装置は、例えば、正方形22に含まれる画素のzデータをキャッシュブロックとして、その画素に対応する、射影方向B1とB2の各方向に並ぶポリゴン21に対応する画素データのデプステストを行うごとに、メモリから読み出す必要がある。即ち、画像変形装置は、各キャッシュブロックを2回読み出す必要がある。
また、図5においては、画像変形装置は、図5のモデル30を構成するポリゴン31に対して、そのポリゴン31が配置される同心円状の順に、頂点データを生成し、頂点演算およびラスタライズを行い、画素データを得る。
即ち、画像変形装置は、円周方向C1に同心円状に並ぶポリゴン31に対して、ポリゴン31が円周方向C1に並ぶ順に、頂点データを生成し、頂点演算およびラスタライズを行う。次に、画像変形装置は、このポリゴン31の外側に隣接する、矢印C2方向に同心円状に並ぶポリゴン31に対して、ポリゴン31が矢印C2方向に並ぶ順に、頂点データを生成し、頂点演算およびラスタライズを行う。以降同様にして、ポリゴン31の頂点データが生成され、頂点演算およびラスタライズが行われる。
その結果、画像変換装置は、例えば、正方形32に含まれる画素のzデータをキャッシュブロックとして、その画素に対応する、円周方向C1乃至C4の各方向に並ぶポリゴン31に対応する画素データのデプステストを行うごとに、メモリから読み出す必要がある。即ち、画像変形装置は、各キャッシュブロックを4回読み出す必要がある。
特開2002−83316号公報
以上のように、ポリゴンが小さく、キャッシュブロックとされるzデータに対応するポリゴンが、頂点データの生成順に対応する方向とは異なる方向に複数個並べられている場合、通常、追い出しの発生により、各キャッシュブロックを複数回読み出す必要がある。即ち、キャッシュのヒット効率が悪い。
その結果、高精度の変形を行うために、ポリゴンを小さくする場合、メモリの帯域幅を大きくしなければならず、消費電力が増加したり、製造コストが増加する。
本発明は、このような状況に鑑みてなされたものであり、メモリに対するアクセス効率を向上させることにより、低消費電力で、高精度の画像の変形を行うことができるようにするものである。
本発明の一側面の画像処理装置は、第1の方向と、前記第1の方向に略直交する第2の方向にそれぞれ並ぶポリゴンに対応する画素に関するデータである画素データを記憶させる画像処理装置において、前記ポリゴンの頂点に関するデータである頂点データを、ポリゴン単位で生成する生成処理を行う生成手段と、前記頂点データを、前記画素データに変換する画素データ変換手段と、前記画素データを記憶する記憶手段と、複数の前記画素データから構成されるデータブロック単位で、前記記憶手段から前記画素データを読み出し、その画素データを一時的に記憶する一時記憶手段と、前記画素データ変換手段により変換された画素データと、前記一時記憶手段に記憶されている画素データとを用いて、所定の処理を行う処理手段とを備え、前記生成手段は、前記第1の方向に並ぶ所定の数のポリゴンから構成されるポリゴン群を、そのポリゴン群が前記第2の方向に並ぶ順に、前記生成処理の対象とする対象ブロックとし、その対象ブロックを構成する各ポリゴンの前記頂点データを、前記ポリゴン単位で順に生成し、前記ポリゴン群を構成するポリゴンの前記第1の方向に並ぶ数は、前記対象ブロックを構成するポリゴンに対応する画素データを用いて前記所定の処理が行われるときに、その対象ブロックの直前の対象ブロックである直前ブロックを構成するポリゴンのうち、前記対象ブロックとの境界部分に位置するポリゴンに対応する画素データを、前記一時記憶手段が記憶しているように、決定される。
前記ポリゴン群を構成するポリゴンが前記第1の方向に並ぶ数は、前記データブロックを構成する画素データの数、前記一時記憶手段に記憶可能な前記データブロックの数、および前記ポリゴンの長さに基づいて、決定される。
前記画像処理装置は、前記生成手段により生成された頂点データに対して、その頂点データに対応する頂点が構成するポリゴンを拡大または縮小するように、変換を行う頂点データ変換手段をさらに設け、前記画素データ変換手段は、前記頂点データ変換手段により変換される頂点データを、前記画素データに変換し、前記ポリゴン群を構成するポリゴンが前記第1の方向に並ぶ数は、前記データブロックを構成する画素データの数、前記一時記憶手段に記憶可能な前記データブロックの数、前記ポリゴンの長さ、および前記拡大または縮小の倍率の逆数に基づいて、決定される。
前記画素データは、前記画素のzデータを含み、前記処理手段は、前記画素データ変換手段により変換された画素データに含まれるzデータと、前記一時記憶手段に記憶されている、その画素データに対応する画素の画素データに含まれるzデータとを比較することにより、陰面消去の処理を行う。
前記一時記憶手段は、前記画素データ変換手段により変換された画素データに対応する画素の画素データを記憶していない場合、前記記憶手段から、その画素データを含むデータブロック単位の画素データを読み出して、一時的に記憶する。
本発明の一側面の画像処理方法は、第1の方向と、前記第1の方向に略直交する第2の方向にそれぞれ並ぶポリゴンに対応する画素に関するデータである画素データを記憶させる画像処理装置の画像処理方法において、前記第1の方向に並ぶ所定の数のポリゴンから構成されるポリゴン群を、そのポリゴン群が前記第2の方向に並ぶ順に、処理の対象とする対象ブロックとし、その対象ブロックを構成する各ポリゴンの、前記ポリゴンの頂点に関するデータである頂点データを、ポリゴン単位で生成する処理を行い、前記頂点データを、前記画素データに変換し、複数の前記画素データから構成されるデータブロック単位で、前記画素データを記憶する記憶手段から前記画素データを読み出し、その画素データを、前記画素データを一時的に記憶する一時記憶手段に記憶させ、変換された画素データと、前記一時記憶手段に記憶されている画素データとを用いて、所定の処理を行うステップを含み、前記ポリゴン群を構成するポリゴンの前記第1の方向に並ぶ数は、前記対象ブロックを構成するポリゴンに対応する画素データを用いて前記所定の処理が行われるときに、その対象ブロックの直前の対象ブロックである直前ブロックを構成するポリゴンのうち、前記対象ブロックとの境界部分に位置するポリゴンに対応する画素データを、前記一時記憶手段が記憶しているように、決定される。
本発明の一側面のプログラムは、第1の方向と、前記第1の方向に略直交する第2の方向にそれぞれ並ぶポリゴンに対応する画素に関するデータである画素データを記憶させる処理を、コンピュータに行わせるプログラムにおいて、前記第1の方向に並ぶ所定の数のポリゴンから構成されるポリゴン群を、そのポリゴン群が前記第2の方向に並ぶ順に、処理の対象とする対象ブロックとし、その対象ブロックを構成する各ポリゴンの、前記ポリゴンの頂点に関するデータである頂点データを、ポリゴン単位で生成する処理を行い、前記頂点データを、前記画素データに変換し、複数の前記画素データから構成されるデータブロック単位で、前記画素データを記憶する記憶手段から前記画素データを読み出し、その画素データを、前記画素データを一時的に記憶する一時記憶手段に記憶させ、変換された画素データと、前記一時記憶手段に記憶されている画素データとを用いて、所定の処理を行うステップを含み、前記ポリゴン群を構成するポリゴンの前記第1の方向に並ぶ数は、前記対象ブロックを構成するポリゴンに対応する画素データを用いて前記所定の処理が行われるときに、その対象ブロックの直前の対象ブロックである直前ブロックを構成するポリゴンのうち、前記対象ブロックとの境界部分に位置するポリゴンに対応する画素データを、前記一時記憶手段が記憶しているように、決定される。
本発明の一側面においては、ポリゴンが、第1の方向と、第1の方向に略直交する第2の方向にそれぞれ並んでおり、第1の方向に並ぶ所定の数のポリゴンから構成されるポリゴン群が、そのポリゴン群が第2の方向に並ぶ順に、処理の対象とする対象ブロックとされ、その対象ブロックを構成する各ポリゴンの、ポリゴンの頂点に関するデータである頂点データを、ポリゴン単位で生成する処理が行われ、頂点データが、画素データに変換され、複数の画素データから構成されるデータブロック単位で、画素データを記憶する記憶手段から画素データが読み出され、その画素データを、画素データを一時的に記憶する一時記憶手段に記憶される。また、変換された画素データと、一時記憶手段に記憶されている画素データとを用いて、所定の処理が行われる。なお、ポリゴン群を構成するポリゴンの第1の方向に並ぶ数は、対象ブロックを構成するポリゴンに対応する画素データを用いて所定の処理が行われるときに、その対象ブロックの直前の対象ブロックである直前ブロックを構成するポリゴンのうち、対象ブロックとの境界部分に位置するポリゴンに対応する画素データを、一時記憶手段が記憶しているように、決定される。
以上のように、本発明の一側面によれば、画像を変形することができる。
また、本発明の一側面によれば、メモリに対するアクセス効率を向上させることにより、低消費電力で、高精度の画像の変形を行うことができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の一側面の画像処理装置は、第1に、
第1の方向(例えば、垂直方向)と、前記第1の方向に略直交する第2の方向(例えば水平方向)にそれぞれ並ぶポリゴンに対応する画素に関するデータである画素データを記憶させる画像処理装置(例えば、図6の画像処理システム51)において、
前記ポリゴンの頂点に関するデータである頂点データを、ポリゴン単位で生成する生成処理を行う生成手段(例えば、図8のCPU121)と、
前記頂点データを、前記画素データに変換する画素データ変換手段(例えば、図8のDDA124)と、
前記画素データを記憶する記憶手段(例えば、図8のzデータメモリ102)と、
複数の前記画素データから構成されるデータブロック単位(例えば、キャッシュブロック単位)で、前記記憶手段から前記画素データを読み出し、その画素データを一時的に記憶する一時記憶手段(例えば、図8のzデータキャッシュ126)と、
前記画素データ変換手段により変換された画素データと、前記一時記憶手段に記憶されている画素データとを用いて、所定の処理(例えば、デプステスト)を行う処理手段(例えば、デプステスト部125)と
を備え、
前記生成手段は、前記第1の方向に並ぶ所定の数のポリゴンから構成されるポリゴン群を、そのポリゴン群が前記第2の方向に並ぶ順に、前記生成処理の対象とする対象ブロックとし、その対象ブロックを構成する各ポリゴンの前記頂点データを、前記ポリゴン単位で順に生成し(例えば、図13のステップS53の処理)、
前記ポリゴン群を構成するポリゴンの前記第1の方向に並ぶ数は、前記対象ブロックを構成するポリゴンに対応する画素データを用いて前記所定の処理が行われるときに、その対象ブロックの直前の対象ブロックである直前ブロックを構成するポリゴンのうち、前記対象ブロックとの境界部分に位置するポリゴンに対応する画素データを、前記一時記憶手段が記憶しているように、決定される。
本発明の一側面の画像処理装置は、第2に、
前記生成手段により生成された頂点データに対して、その頂点データに対応する頂点が構成するポリゴンを拡大または縮小するように、変換を行う頂点データ変換手段(例えば、図8の頂点演算部122)
をさらに備え、
前記画素データ変換手段は、前記頂点データ変換手段により変換される頂点データを、前記画素データに変換し(例えば、図9のステップS34の処理)、
前記ポリゴン群を構成するポリゴンが前記第1の方向に並ぶ数は、前記データブロックを構成する画素データの数、前記一時記憶手段に記憶可能な前記データブロックの数、前記ポリゴンの長さ、および前記拡大または縮小の倍率の逆数に基づいて、決定される。
本発明の一側面の画像処理装置は、
前記画素データは、前記画素のzデータを含み、
前記処理手段は、前記画素データ変換手段により変換された画素データに含まれるzデータと、前記一時記憶手段に記憶されている、その画素データに対応する画素の画素データに含まれるzデータとを比較することにより、陰面消去の処理を行う(例えば、図9のステップS36乃至S39の処理)。
本発明の一側面の画像処理方法は、
第1の方向(例えば、垂直方向)と、前記第1の方向に略直交する第2の方向(例えば、水平方向)にそれぞれ並ぶポリゴン(例えば、ポリゴン111)に対応する画素に関するデータである画素データを記憶させる画像処理装置(例えば、図6の画像処理システム51)の画像処理方法において、
前記第1の方向に並ぶ所定の数のポリゴンから構成されるポリゴン群を、そのポリゴン群が前記第2の方向に並ぶ順に、処理の対象とする対象ブロック(例えば、図10の処理対象ブロック150)とし、その対象ブロックを構成する各ポリゴンの、前記ポリゴンの頂点に関するデータである頂点データを、ポリゴン単位で生成する処理を行い(例えば、図13のステップS53)、
前記頂点データを、前記画素データに変換し(例えば、図9のステップS34)、
複数の前記画素データから構成されるデータブロック単位で、前記画素データを記憶する記憶手段から前記画素データを読み出し、その画素データを、前記画素データを一時的に記憶する一時記憶手段に記憶させ(例えば、図9のステップS35)、
変換された画素データと、前記一時記憶手段に記憶されている画素データとを用いて、所定の処理を行うステップ(例えば、図9のステップS36)を含み、
前記ポリゴン群を構成するポリゴンの前記第1の方向に並ぶ数は、前記対象ブロックを構成するポリゴンに対応する画素データを用いて前記所定の処理が行われるときに、その対象ブロックの直前の対象ブロックである直前ブロックを構成するポリゴンのうち、前記対象ブロックとの境界部分に位置するポリゴンに対応する画素データを、前記一時記憶手段が記憶しているように、決定される。
図6は、本発明を適用した画像処理システム51の構成例を示すブロック図である。
図6の画像処理システム51は、デジタル画像特殊効果装置(Digital Multi Effects(DME))61、外部メモリ62、および外部メモリ63から構成される。画像処理システム51は、入力されたフィールド単位の画像である入力画像を縮小、拡大、型の変更、回転、左右反転もしくは上下反転、または移動させたり、入力画像に特殊効果(例えば、モザイク、ポスタリゼーション、ネガポジ反転、水平方向または垂直方向のデフォーカスなど)を施すことにより、入力画像を変形し、変形後のフレーム単位の画像を出力する。
なお、入力画像は、各画素の輝度信号、色差信号、およびキーイングに用いられるキー信号を表す値である画素値から構成される。また、画像処理システム51の各部は、外部メモリ63に記憶されているプログラムにしたがって、各種の処理を実行する。
DME61は、例えばIC(Integrated Circuit)やLSIなどにより構成される。DME61は、前処理部71、水平フィルタ72、垂直フィルタ73、IP(Interlace Progressive)変換部74、RAM(Random Access Memory)モジュール75、補間演算部76、付加部77、メモリ制御部78、およびアドレス生成部79から構成される。
DME61には、テクスチャマッピングにおいて貼り付けられる画像である入力画像とタイミング信号が供給される。入力画像は、前処理部71に供給される。タイミング信号は、DME61の各部に供給され、各部はタイミング信号に応じて処理を行う。
前処理部71は、アドレス生成部79から供給される指示信号に応じて、入力画像に対して、モザイク、ポスタリゼーション、ネガポジ反転などの特殊効果を施す。具体的には、前処理部71は、入力画像を構成する画素のうちの、所定の画素に対して画素単位でフィルタ処理を行うことにより、入力画像にモザイクを施す。また、前処理部71は、入力画像を構成する各画素の画素値の階調数を変更することにより、入力画像にポスタリゼーションを施す。さらに、前処理部71は、入力画像を構成する各画素の画素値の階調を反転することにより、入力画像にネガポジ反転を施す。前処理部71は、特殊効果を施した結果得られる、フィールド単位の画像を、水平フィルタ72に供給する。
水平フィルタ72は、アドレス生成部79から供給される水平方向の縮小率に応じて、画像を縮小する場合に生じる水平方向のエリアシング成分を除去するために、前処理部71からのフィールド単位の画像に対して、水平方向の縮小率に対応するフィルタ処理を行う。また、水平フィルタ72は、アドレス生成部79から供給される指示信号に応じて、特殊効果として、水平方向のデフォーカスを施す。水平フィルタ72は、フィルタ処理や水平方向のデフォーカスを施した結果得られる、フィールド単位の画像を、メモリ制御部78を介して、外部メモリ62に供給させ、記憶させる。
垂直フィルタ73は、アドレス生成部79から供給される垂直方向の縮小率に応じて、画像を縮小する場合に生じる垂直方向のエリアシング成分を除去するために、メモリ制御部78から供給される、外部メモリ62から垂直方向に読み出されたフィールド単位の画像に対して、垂直方向の縮小率に対応するフィルタ処理を行う。また、垂直フィルタ73は、アドレス生成部79から供給される指示信号に応じて、特殊効果として、垂直方向のデフォーカスを施す。垂直フィルタ73は、フィルタ処理や垂直方向のデフォーカスを施した結果得られる、フィールド単位の画像を、IP変換部74に供給するとともに、メモリ制御部78を介して外部メモリ62に供給させ、記憶させる。
IP変換部74は、垂直フィルタ73から供給される、フィールド単位の画像(インタレース画像)を、メモリ制御部78から供給される、その画像の直前のフィールド単位の画像と、直前の前のフィールド単位の画像とを参照してIP変換する。IP変換部74は、IP変換の結果得られるフレーム単位の画像(プログレッシブ画像)を、RAMモジュール75に供給する。
RAMモジュール75は、IP変換部74からのフレーム単位の画像を記憶する。また、RAMモジュール75は、アドレス生成部79から供給される、テクスチャアドレスの整数部、即ち補間演算部76による補間演算の対象とする画素(以下、補間画素という)の入力画像上の座標における水平方向の座標値の整数部および垂直方向の座標値の整数部に基づいて、既に記憶されているフレーム単位の画像を構成する各画素の画素値から、補間画素の補間に用いる複数の画素の画素値、例えば補間画素の周辺の64個の画素の画素値を画素値群として読み出し、補間演算部76に供給する。
なお、入力画像上の座標において、入力画像を構成する画素の水平方向および垂直方向の座標値は、整数値となるようになっている。
補間演算部76は、アドレス生成部79から供給される、テクスチャアドレスの小数部、即ち補間画素の入力画像上の座標における水平方向および垂直方向の座標値の小数部と、RAMモジュール75から供給される画素値群とに基づいて、補間演算を行い、補間画素の画素値を補間することにより、テクスチャマッピングを行う。補間演算部76は、補間後のフレーム単位の画像を、メモリ制御部78を介して外部メモリ62に供給させ、記憶させる。
付加部77は、アドレス生成部79から供給されるライティング係数を用いて陰影を付加し、付加後の画像を変形後の画像として出力する。
メモリ制御部78は、外部メモリ62に対する書き込みおよび読み出しを制御する。具体的には、メモリ制御部78は、外部メモリ62への書き込みを制御するための制御信号を外部メモリ62に供給するとともに、水平フィルタ72、垂直フィルタ73、または補間演算部76から供給される画像を外部メモリ62に供給し、その画像を外部メモリ62に書き込ませる。
また、メモリ制御部78は、外部メモリ62からの画像の読み出しを制御するための制御信号を外部メモリ62に供給することにより読み出しを制御し、これにより外部メモリ62から読み出された画像を、垂直フィルタ73、IP変換部74、および付加部77に供給する。
アドレス生成部79は、ユーザからの指令に応じて、各部を制御し、入力画像を変形する。また、アドレス生成部79は、外部メモリ63に対する書き込みおよび読み出しを制御する。
具体的には、アドレス生成部79は、外部メモリ63への書き込みを制御するための制御信号とともに、処理の途中結果や処理結果を外部メモリ63に供給し、記憶させる。また、アドレス生成部79は、外部メモリ63からの処理の途中結果や処理結果の読み出しを制御するための制御信号を、外部メモリ63に供給することにより、読み出しを制御し、外部メモリ63から処理の途中結果や処理結果を読み出す。アドレス生成部79の詳細は、図8を参照して後述する。
次に、図7を参照して、図6の画像処理システム51が入力画像を変形する画像変形処理について説明する。この画像変形処理は、例えば、画像処理システム51に入力画像が入力されたとき開始される。
ステップS1において、前処理部71は、アドレス生成部79から供給される指示信号に応じて、入力画像に対して、モザイク、ポスタリゼーション、またはネガポジ反転を施す。そして、前処理部71は、その結果得られるフィールド単位の画像を水平フィルタ72に供給し、ステップS2に進む。なお、アドレス生成部79から指令信号が供給されない場合、処理はステップS1をスキップして、ステップS2に進む。
ステップS2において、水平フィルタ72は、アドレス生成部79から供給される水平方向の縮小率に応じて、前処理部71からのフィールド単位の画像に対して、水平方向の縮小率に対応するフィルタ処理を行う。また、水平フィルタ72は、アドレス生成部79から供給される指示信号に応じて、特殊効果として、水平方向のデフォーカスを施す。そして、水平フィルタ72は、フィルタ処理や水平方向のデフォーカスを施した結果得られる、フィールド単位の画像を、メモリ制御部78に供給する。
ステップS2の処理後は、ステップS3に進み、メモリ制御部78は、外部メモリ62への書き込みを制御するための制御信号とともに、水平フィルタ72から供給されるフィールド単位の画像を、外部メモリ62に供給し、その画像を記憶させる。ステップS3の処理後は、ステップS4に進み、メモリ制御部78は、外部メモリ62からの画像の読み出しを制御するための制御信号を外部メモリ62に供給することにより、ステップS3で記憶されるフィールド単位の画像を垂直方向に、外部メモリ62から読み出し、垂直フィルタ73に供給する。
ステップS4の処理後は、ステップS5に進み、垂直フィルタ73は、アドレス生成部79から供給される垂直方向の縮小率に応じて、メモリ制御部78から供給されるフィールド単位の画像に対して、垂直方向の縮小率に対応するフィルタ処理を行う。また、垂直フィルタ73は、アドレス生成部79から供給される指示信号に応じて、特殊効果として、垂直方向のデフォーカスを施す。そして、垂直フィルタ73は、フィルタ処理や垂直方向のデフォーカスを施した結果得られる、フィールド単位の画像をIP変換部74に供給するとともに、メモリ制御部78に供給する。
ステップS5の処理後は、ステップS6に進み、メモリ制御部78は、外部メモリ62への書き込みを制御するための制御信号とともに、垂直フィルタ73から供給されるフィールド単位の画像を、外部メモリ62に供給し、その画像を記憶させる。ステップS6の処理後は、ステップS7に進み、メモリ制御部78は、外部メモリ62からの画像の読み出しを制御するための制御信号を外部メモリ62に供給することにより、直前のステップS6の処理で記憶させたフィールド単位の画像の直前のフィールド単位の画像と、直前の前のフィールド単位の画像を、外部メモリ62から読み出し、IP変換部74に供給する。
ステップS7の処理後は、ステップS8に進み、IP変換部74は、ステップS5で垂直フィルタ63から供給されるフィールド単位の画像を、ステップS7でメモリ制御部78から供給される2枚の画像を参照してIP変換する。そして、IP変換部74は、IP変換の結果得られるフレーム単位の画像を、RAMモジュール75に供給する。
ステップS9において、RAMモジュール75は、IP変換部74からのフレーム単位の画像を記憶し、ステップS10に進む。
ステップS10において、RAMモジュール75は、アドレス生成部79から供給されるテクスチャアドレスの整数部に基づいて、既に記憶されているフレーム単位の画像を構成する各画素の画素値から、補間画素の補間に用いる複数の画素の画素値を画素値群として読み出し、補間演算部76に供給する。
ステップS10の処理後は、ステップS11に進み、補間演算部76は、アドレス生成部79から供給されるテクスチャアドレスの小数部と、RAMモジュール75から供給される画素値群とに基づいて、補間演算を行い、補間画素の画素値を補間する。そして、補間演算部76は、補間後の画像をメモリ制御部78に供給する。
ステップS11の処理後は、ステップS12に進み、メモリ制御部78は、外部メモリ72への書き込みを制御するための制御信号とともに、補間演算部76からの画像を外部メモリ62に供給し、その画像を記憶させる。ステップS12の処理後は、ステップS13に進み、メモリ制御部78は、外部メモリ62からの画像の読み出しを制御するための制御信号を外部メモリ62に供給することにより、ステップS12で記憶される画像を読み出し、ステップS14に進む。
ステップS14において、付加部77は、アドレス生成部79から供給されるライティング係数を用いて陰影を付加する。そして、付加部77は、付加後の画像を変形後の画像として出力し、処理は終了する。
なお、上述した図7の画像変形処理のステップS1乃至S9の処理は、補間前の画素単位で行われ、ステップS10乃至S14の処理は、補間画素単位で行われる。
図8は、図6の外部メモリ63とアドレス生成部79の詳細構成例を示すブロック図である。
図8の外部メモリ63は、メモリ101、zデータメモリ102、zデータメモリ103、およびアドレスメモリ104により構成される。
また、アドレス生成部79は、CPU(Central Processing Unit)121、頂点演算部122、DDA(Digital Differential Analyzer)設定部123、DDA124、デプステスト部125、zデータキャッシュ126、切替部127、アドレスキャッシュ128、メモリ制御部129、および出力部130により構成される。
CPU121は、外部メモリ63のメモリ101に記憶されているプログラムにしたがって、画像処理システム51の各部を制御する。
例えば、CPU121は、ユーザの指示に応じて、モザイク、ポスタリゼーション、またはネガポジ反転を指示するための指示信号を、前処理部71に供給する。また、CPU121は、ユーザの指示に応じて、水平方向のデフォーカスを指示するための指示信号を水平フィルタ72に供給したり、垂直方向のデフォーカスを指示するための指示信号を垂直フィルタ73に供給する。
また、CPU121は、ユーザの指示に応じて、水平方向の縮小率を水平フィルタ72に供給するとともに、垂直方向の縮小率を垂直フィルタ73に供給する。さらに、CPU121は、ユーザのモデリングの作業に応じて、変形後のフレーム単位の画像に対応するモデルを構成する各ポリゴンの頂点に関するデータ(以下、頂点データという)を、所定の順序で、ポリゴン単位で生成し、頂点演算部122に供給する。頂点データの生成順序については、図10乃至図13を参照して後述する。
さらに、CPU121は、メモリ101に対する書き込みおよび読み出しを制御する。例えば、CPU121は、メモリ101への書き込みを制御する制御信号とともに、処理の途中結果や処理結果をメモリ101に供給し、処理の途中結果や処理結果をメモリ101に記憶させる。また、CPU121は、メモリ101からの読み出しを制御する制御信号を供給することにより、メモリ101から処理の途中結果や処理結果を読み出し、上述した各種の処理を行う。
頂点演算部122は、CPU121から供給される頂点データに基づいて、ポリゴン単位で頂点演算を行い、その結果得られるポリゴン単位の頂点データを、DDA設定部123に供給する。DDA設定部123は、頂点演算部122からのポリゴン単位の頂点データに基づいて、例えば、スクリーン上の位置の変化に応じたテクスチャアドレスの変化分などの、DDA124に必要なパラメータを計算する。DDA設定部123は、ポリゴン単位の頂点データとパラメータをDDA124に供給する。
DDA124は、DDA設定部123から供給されるパラメータに基づいて、ポリゴン単位の頂点データを、画素データに変換する。DDA124は、変換の結果得られた画素データを、デプステスト部125に供給する。デプステスト部125は、DDA124からの画素データと、zデータキャッシュ126に記憶されている、その画素データに対応する画素の画素データとを用いて、陰面消去の処理を行う。
具体的には、デプステスト部125は、DDA124からの画素データに含まれる位置データに対応する画素単位のアドレス(以下、zデータ画素単位アドレスという)に対応付けて記憶されているzデータの読出を、zデータキャッシュ126に要求し、その要求に応じて読み出されたzデータを取得する。
そして、デプステスト部125は、そのzデータと、DDA124からの画素データに含まれるzデータとを比較することにより、DDA124からの画素データに対応するポリゴン(以下、適宜、新ポリゴンという)が、既にzデータキャッシュ126に記憶されているzデータに対応するポリゴン(以下、適宜、古ポリゴンという)よりも仮想視点側に位置するかどうかを判定するデプステストを行う。
デプステスト部125は、デプステストの結果に応じて、古ポリゴンよりも仮想視点側に位置する新ポリゴンの画素データに含まれるzデータとライティング係数を、その画素データに対応するzデータ画素単位アドレスとともに、zデータキャッシュ126に供給する。その結果、zデータキャッシュ126は、デプステスト部125からのzデータ画素単位アドレスに対応付けて記憶されている古ポリゴンのzデータとライティング係数を、新ポリゴンのzデータとライティング係数に更新する。
また、デプステスト部125は、古ポリゴンよりも仮想視点側に位置する新ポリゴンの画素データに含まれるテクスチャアドレスを、その画素データに含まれる位置データに対応する画素単位のアドレス(以下、テクスチャ画素単位アドレスという)とともに、アドレスキャッシュ128に出力する。
zデータキャッシュ126は、キャッシュブロック単位のzデータとライティング係数を、キャッシュブロックとして、それらが記憶されるzデータメモリ102または103上のキャッシュブロック単位のアドレス(以下、zデータキャッシュブロック単位アドレスという)に対応付けて、キャッシュブロックサイズの領域(以下、キャッシュブロック領域という)に一時的に記憶する。
また、zデータキャッシュ126は、デプステスト部125から供給されるzデータ画素単位アドレスに基づいて、既に記憶しているzデータから、デプステスト部125から読出が要求された、そのzデータ画素単位アドレスに対応するzデータを検索する。即ち、zデータキャッシュ126は、デプステスト部125からのzデータ画素単位アドレスに対応するzデータキャッシュブロック単位アドレスに対応付けて記憶されている、要求対象のzデータを含むキャッシュブロックを検索し、そのうちの要求対象のzデータを検索結果とする。
要求対象のzデータが検索された場合、zデータキャッシュ126は、検索結果であるzデータと、対応するライティング係数とを、デプステスト部125に供給する。要求対象のzデータが検索されない場合、即ち要求対象のzデータを含むキャッシュブロックが記憶されていない場合、zデータキャッシュ126は、そのzデータとともにデプステスト部125から供給されたzデータ画素単位アドレスに対応するzデータキャッシュブロック単位アドレスを、切替部127に送信することにより、要求対象のzデータと、対応するライティング係数の読出を切替部127に要求し、zデータメモリ102または103から、zデータとライティング係数をキャッシュブロック単位で読み出す。
zデータキャッシュ126はまた、要求に応じて切替部127から供給されてくる、キャッシュブロック単位のzデータとライティング係数を、キャッシュブロックとして、要求時に切替部127に送信したzデータキャッシュブロック単位アドレスに対応付けてキャッシュブロック領域に一時的に記憶し、そのzデータをデプステスト部125に供給する。
また、zデータキャッシュ126は、記憶可能なキャッシュブロック領域がない場合、キャッシュブロックの追い出しを行う。具体的には、zデータキャッシュ126は、追い出しの対象となるキャッシュブロックを決定し、そのキャッシュブロック、並びに、それに対応付けられているzデータキャッシュブロック単位アドレスを読み出し、追い出しの要求とともに切替部127に供給する。
切替部127は、zデータメモリ102と103に対する書き込みおよび読み出しを制御する。具体的には、切替部127は、zデータキャッシュ126の要求または出力部130の要求に応じて、制御するzデータメモリを、外部メモリ63のzデータメモリ102および103の一方から他方に切り換える。例えば、切替部127は、zデータキャッシュ126からの読出の要求に応じて、zデータメモリ102および103の一方から、zデータキャッシュ126からのzデータキャッシュブロック単位アドレスに記憶されている、キャッシュブロック単位のzデータとライティング係数を読み出し、zデータキャッシュ126に供給する。
また、切替部127は、zデータキャッシュ126からの追い出しの要求に応じて、zデータメモリ102および103の一方の、zデータキャッシュ126から供給されるzデータキャッシュブロック単位アドレスに、キャッシュブロックとして供給されたzデータとライティング係数を記憶させる。
さらに、切替部127は、出力部130からの要求に応じて、zデータメモリ102および103の他方から、zデータとライティング係数を読み出し、出力部130に供給する。その後、切替部127は、zデータメモリ102および103の他方に記憶されている、読み出されたzデータとライティング係数をクリアする。
以上のように、zデータメモリ102およびzデータメモリ103の一方は、デプステスト部125における比較用のzデータと対応するライティング係数とを記憶し、他方は、出力部130を介して出力されるデプステスト終了後のzデータとライティング係数とを記憶する。
即ち、切替部127は、1フレーム分のモデルに対応する画素データがデプステスト部125に供給されるごとに切替を行う。
アドレスキャッシュ128は、キャッシュブロック単位のテクスチャアドレスを、キャッシュブロックとして、それが記憶されるアドレスメモリ104上のキャッシュブロック単位のアドレス(以下、テクスチャキャッシュブロック単位アドレスという)に対応付けて、キャッシュブロック領域に一時的に記憶する。デプステスト部125からのテクスチャ画素単位アドレスに基づいて、それとともに出力されるテクスチャアドレスを含むキャッシュブロック単位のテクスチャアドレスを、キャッシュブロックとして、それが記憶されるアドレスメモリ104上のキャッシュブロック単位のアドレス(以下、テクスチャキャッシュブロック単位アドレスという)に対応付けて、キャッシュブロック領域に一時的に記憶する。
また、アドレスキャッシュ128は、デプステスト部125から供給されるテクスチャ画素単位アドレスに基づいて、既に記憶しているテクスチャアドレスから、そのテクスチャ画素単位アドレスに対応するテクスチャを検索する。即ち、アドレスキャッシュ128は、デプステスト部125からのテクスチャ画素単位アドレスに対応するテクスチャキャッシュブロック単位アドレスに対応付けて記憶されている、そのテクスチャ画素単位アドレスに対応するテクスチャアドレスを含むキャッシュブロックを検索し、そのテクスチャアドレスを検索結果とする。
テクスチャアドレスが検索された場合、アドレスキャッシュ128は、検索結果であるテクスチャアドレスを、デプステスト部125からのテクスチャアドレスに更新する。テクスチャアドレスが検索されない場合、アドレスキャッシュ128は、そのテクスチャとともにデプステスト部125から供給されたテクスチャ画素単位アドレスに対応するテクスチャキャッシュブロック単位アドレスを、メモリ制御部129に送信することにより、そのテクスチャ画素単位アドレスに対応するテクスチャアドレスの読出をメモリ制御部129に要求し、アドレスメモリ104から、テクスチャアドレスをキャッシュブロック単位で読み出す。
アドレスキャッシュ128はまた、要求に応じてメモリ制御部129から供給されてくる、キャッシュブロック単位のテクスチャアドレスを、キャッシュブロックとして、要求時にメモリ制御部129に送信したテクスチャキャッシュブロック単位アドレスに対応付けてキャッシュブロック領域に一時的に記憶する。
また、アドレスキャッシュ128は、記憶可能なキャッシュブロック領域がない場合、キャッシュブロックの追い出しを行う。具体的には、アドレスキャッシュ128は、追い出しの対象となるキャッシュブロックを決定し、そのキャッシュブロック、それに対応付けられているテクスチャキャッシュブロック単位アドレスを読み出し、追い出しの要求とともにメモリ制御部129に供給する。
メモリ制御部129は、SDRAMなどにより構成されるアドレスメモリ104に対する書き込みおよび読み出しを制御する。具体的には、メモリ制御部129は、アドレスキャッシュ128からの読出の要求に応じて、アドレスメモリ104から、アドレスキャッシュ128からのテクスチャキャッシュブロック単位アドレスに記憶されている、キャッシュブロック単位のテクスチャアドレスを読み出し、アドレスキャッシュ128に供給する。
また、メモリ制御部129は、アドレスキャッシュ128からの追い出しの要求に応じて、アドレスキャッシュ128からキャッシュブロックとして供給されるキャッシュブロック単位のテクスチャアドレスを、アドレスメモリ104の、そのキャッシュブロックとともに供給されるテクスチャキャッシュブロック単位アドレスに、キャッシュブロック単位で記憶させることにより、アドレスメモリ104に記憶されているテクスチャアドレスを修正する。
さらに、メモリ制御部129は、出力部130からの要求に応じて、アドレスメモリ104から、テクスチャアドレスを読み出し、出力部130に供給する。その後、メモリ制御部129は、アドレスメモリ104に記憶されている、読み出されたテクスチャアドレスをクリアする。
出力部130は、付加部77から出力する変形後の画素の順に、その画素のzデータとライティング係数の読出を切替部127に要求するとともに、テクスチャアドレスの読出をメモリ制御部129に要求する。出力部130は、要求に応じて切替部127から供給されるzデータとライティング係数のうち、zデータを他のDMEなどに出力するとともに、ライティング係数を付加部77に供給する。また、出力部130は、要求に応じてメモリ制御部129から供給されるテクスチャアドレスのうちの整数部をRAMモジュール75に供給するとともに、小数部を補間演算部76に供給する。
次に、図9を参照して、アドレス生成部79がテクスチャアドレスを生成するアドレス生成処理について説明する。このアドレス生成処理は、例えばユーザがモデリングの作業を行ったとき、開始される。なお、図9のアドレス生成処理は、変形後のフレーム単位の画像に対応するモデルごとに行われる。
ステップS31において、CPU121は、ユーザのモデリングの作業に応じて、変形後の画像に対応するモデルを構成する各ポリゴンの頂点データを、所定の順序で生成し、頂点演算部122に供給する。
ステップS31の処理後は、ステップS32に進み、頂点演算部122は、CPU121から供給される頂点データに基づいて、ポリゴンごとに頂点演算を行う。頂点演算部122は、頂点演算の結果得られる、ポリゴン単位の頂点データを、DDA設定部123に供給する。
ステップS32の処理後は、ステップS33に進み、DDA設定部123は、頂点演算部122からのポリゴン単位の頂点データに基づいて、DDA124に必要なパラメータを計算する。DDA設定部123は、ポリゴン単位の頂点データとパラメータをDDA124に供給する。
ステップS33の処理後は、ステップS34に進み、DDA124は、DDA設定部123から供給されるパラメータに基づいて、ポリゴン単位の頂点データを、画素データに変換し、デプステスト部125に供給する。
ステップS34の処理後は、ステップS35に進み、デプステスト部125は、zデータキャッシュ126に、DDA124からの画素データに対応する画素のzデータの読出を要求し、その要求に応じて読み出されたzデータを取得する。
ステップS35の処理後は、ステップS36に進み、デプステスト部125は、ステップS35で取得されたzデータと、DDA124からの画素データに含まれるzデータとを比較することにより、新ポリゴンが、古ポリゴンよりも仮想視点側に位置するかどうかを判定するデプステストを行う。
ステップS36の処理後は、ステップS37に進み、デプステスト部125は、デプステストの結果に応じて、新ポリゴンが古ポリゴンよりも仮想視点側に位置するかどうかを判定する。
ステップS37において、新ポリゴンが古ポリゴンよりも仮想視点側に位置すると判定された場合、デプステスト部125は、その新ポリゴンに対応する画素データに含まれるzデータおよびライティング係数と、zデータ画素単位アドレスとを、zデータキャッシュ126に供給するとともに、テクスチャアドレスとテクスチャ画素単位アドレスを、アドレスキャッシュ128に供給する。
その後、ステップS38において、zデータキャッシュ126は、デプステスト部125からのzデータとライティング係数を、zデータ画素単位アドレスに対応付けて記憶することにより、古ポリゴンのzデータとライティング係数を、新ポリゴンのzデータとライティング係数に更新する。
ステップS38の処理後は、ステップS39に進み、アドレスキャッシュ128は、テクスチャアドレスを、テクスチャ画素単位アドレスに対応付けて記憶する。
ステップS37において、新ポリゴンが古ポリゴンよりも仮想視点側に位置しない、即ち古ポリゴンが新ポリゴンよりも仮想視点側に位置すると判定された場合、またはステップS39の処理後は、ステップS40に進み、デプステスト部125は、DDA124から供給される、1フレーム分のモデルに対応するすべてのzデータについて、デプステストを行ったかどうかを判定し、すべてのzデータについてデプステストを行ってないと判定した場合、ステップS35に戻り、以降の処理を同様に行う。
また、ステップS40において、すべてのzデータについてデプステストを行ったと判定された場合、ステップS41に進み、zデータキャッシュ126とアドレスキャッシュ128は、キャッシュブロックの追い出しを行う。
即ち、zデータキャッシュ126は、キャッシュブロック領域に記憶されているキャッシュブロック、および、それに対応付けて記憶されているzデータキャッシュブロック単位アドレスを、切替部127を介してzデータメモリ102または103に供給する。
また、アドレスキャッシュ128は、キャッシュブロック領域に記憶されているキャッシュブロック、およびそれに対応付けて記憶されているテクスチャキャッシュブロック単位アドレスを、メモリ制御部129を介してアドレスメモリ104に供給する。
なお、このとき、zデータキャッシュ126とアドレスキャッシュ128は、すべてのキャッシュブロックの追い出しを行ってもよいし、更新が行われたキャッシュブロックの追い出しだけを行うようにしてもよい。
図9のアドレス生成処理の後、出力部130は、付加部77から出力する画素の順に、その画素のzデータとライティング係数を切替部127から取得し、zデータを他のDMEなどに出力するとともに、ライティング係数を付加部77に供給する。また、出力部130は、その画素のテクスチャアドレスをメモリ制御部129から取得し、そのテクスチャアドレスのうちの整数部をRAMモジュール75に供給するとともに、小数部を補間演算部76に供給する。
次に、図10乃至図12を参照して、図8のCPU121が各ポリゴンの頂点データを生成する順について説明する。
図10は、図3と同一の正方格子状のメッシュを用いたモデル10を示している。
なお、図10において、キャッシュブロックとするzデータおよびライティング係数は、4×4個の画素のzデータおよびライティング係数である。このことは、後述する図11においても同様である。また、図10では、画像の変形が行われないものとして説明する。なお、図3と同一のものには、同一の符号を付してあり、説明は繰り返しになるので省略する。
図10では、CPU121は、垂直方向に並ぶ12個のポリゴンから構成されるポリゴン群を、そのポリゴン群が水平方向に並ぶ順に、頂点データを生成する生成処理の対象とするブロック(以下、処理対象ブロックという)とし、その処理対象ブロックを構成する各ポリゴンの頂点データを、垂直方向に並ぶ順に、ポリゴン単位で生成する。
なお、以下では、適宜、処理対象ブロックとされるポリゴン群の順番に対応する方向(図10の例では水平方向)のラインを基本移動ラインといい、処理対象ブロック内の生成処理の対象とされるポリゴンの順番に対応する方向(図10の例では、垂直方向)を移動方向という。
また、ここで、処理対象ブロックを構成するポリゴンの数(以下、移動量という)は、処理対象ブロックを対象とした生成処理が行われるとき、いまの処理対象ブロックと、直前の処理対象ブロックの境界に位置する、直前の処理対象ブロック内のポリゴンに対応する画素データが、zデータキャッシュ126に残っている、即ちzデータキャッシュ126から追い出されないように、決定される。
具体的には、例えば、キャッシュブロックが、水平方向および垂直方向にそれぞれx個並んだ合計x×x個の画素のzデータおよびライティング係数であり、zデータキャッシュ126に記憶可能なキャッシュブロックがN個である場合、モデリング座標系とスクリーン座標系における各画素の水平方向および垂直方向の長さを1とすると、移動量の最大値Mは、以下の式(1)で表される。
M=floor((x×N-Margin)/Mesh_Size)
・・・・(1)
なお、式(1)において、関数floor()は、()内の値を超えない最大の整数を表し、Mesh_Sizeは、メッシュ10の垂直方向の間隔、即ちポリゴン11の垂直方向の長さを表す。Marginは、画像の変形が行われた場合であっても、いまの処理対象ブロックと、直前の処理対象ブロックの境界に位置するポリゴンに対応する画素データが、zデータキャッシュ126から追い出されないようにするために、予め決定された値である。
即ち、式(1)では、画像の変形が行われない場合を基に最大値Mが求められおり、画像の変形が行われる場合を考慮して、Margin分が減算されている。
以上のようにして求められた最大値M以下の数が、移動量として決定される。なお、移動量が大きい方が、キャッシュのヒット効率は良くなる。
図10では、この最大値Mが12個であり、上述したように移動量が12となっている。
この場合、CPU121は、まず最初に、垂直方向に12個並ぶ合計12個のポリゴン111,112,11n1+1,11n1+2,112n1+1,112n1+2,113n1+1,113n1+2,114n1+1,114n1+2,115n1+1,115n1+2,116n1+1,116n1+2からなるポリゴン群を、処理対象ブロック150とし、この順に、ポリゴン11単位で生成処理を行う。
ここで、頂点演算部122、DDA設定部123、およびDDA124は、CPU121の生成処理によって生成され、出力された頂点データを、パイプライン式に順に処理するので、デプステスト部125には、ポリゴン111,112,11n1+1,11n1+2,112n1+1,112n1+2,113n1+1,113n1+2,114n1+1,114n1+2,115n1+1,115n1+2,116n1+1,116n1+2の順に、そのポリゴン11に対応する画素データが供給される。
即ち、デプステスト部125には、画素151,152,15m1+1,15m1+2,152m1+1,152m1+2,153m1+1,153m1+2,154m1+1,154m1+2,155m1+1,155m1+2,156m1+1,156m1+2,157m1+1,157m1+2の順に、その画素データが供給される。従って、デプステスト部125は、その順に、画素15のzデータを、zデータキャッシュ126から読み出し、デプステストを行う。
この場合、zデータキャッシュ126は、まず最初に、zデータメモリ102または103から、切替部127を介して、正方形12に囲まれた画素151乃至154,15m1+1乃至15m1+4,152m1+1乃至152m1+4、および153m1+1乃至153m1+4のzデータをキャッシュブロックとして読み出して記憶し、デプステスト部125が、そのうちの、画素151,152,15m1+1,15m1+2,152m1+1,152m1+2,153m1+1,153m1+2のzデータと、DDA124から供給される画素151,152,15m1+1,15m1+2,152m1+1,152m1+2,153m1+1,153m1+2の画素データに含まれるzデータとを、それぞれ順に比較することにより、デプステストを行う。
次に、zデータキャッシュ126は、zデータメモリ102または103から、正方形161に囲まれた画素154m1+1乃至154m1+4,155m1+1乃至155m1+4,156m1+1乃至156m1+4、および157m1+1乃至157m1+4のzデータをキャッシュブロックとして読み出して記憶し、デプステスト部125が、そのうちの、154m1+1,154m1+2,155m1+1,155m1+2,156m1+1,156m1+2,157m1+1,157m1+2のzデータと、DDA124からの154m1+1,154m1+2,155m1+1,155m1+2,156m1+1,156m1+2,157m1+1,157m1+2の画素データに含まれるzデータを、それぞれ順に比較することにより、デプステストを行う。
この後、デプステスト部125は、処理対象ブロック150と水平方向に隣接する処理対象ブロック151を対象とした生成処理により生成された頂点データに対応する画素データを用いて、デプステストを行うが、上述したように、いまの処理対象ブロック151と、直前の処理対象ブロック150の境界に位置するポリゴン112,11n1+2,112n1+2,113n1+2,114n1+2,115n1+2,116n1+2に対応する画素データが、zデータキャッシュ126から追い出されないように、即ち正方形12と161に対応するキャッシュブロックが追い出されないように、移動量が決定されているので、zデータキャッシュ126は、その2個のキャッシュブロックを用いてデプステストを行えばよく、新たなキャッシュブロックを読み出す必要はない。
また、次に、デプステスト部125は、処理対象ブロック151と水平方向に隣接する処理対象ブロック152を対象とした生成処理により生成された頂点データに対応する画素データを用いて、デプステストを行うが、上述したように、いまの処理対象ブロック152と、直前の処理対象ブロック151の境界に位置するポリゴン11に対応する画素データが、zデータキャッシュ126から追い出されないように、移動量が決定されているので、zデータキャッシュ126は、新たに正方形13と162に囲まれた画素15のzデータとライティング係数を、それぞれ、キャッシュブロックとして読み出すだけで、正方形12と161に囲まれた画素15のzデータとライティング係数を、それぞれキャッシュブロックとして読み出す必要はない。
以上のように、CPU121が、垂直方向に並ぶ12個のポリゴンから構成されるポリゴン群を、そのポリゴン群が水平方向に並ぶ順に、処理対象ブロックとし、その処理対象ブロックを構成する各ポリゴンの頂点データを、垂直方向に並ぶ順に、ポリゴン単位で生成することにより、zデータキャッシュ126は、各キャッシュブロックを複数回読み出す必要はなくなる。即ち、zデータキャッシュ126のヒット効率が向上する。
その結果、画像処理システム51は、高精度の変形を行うために、ポリゴンを小さくする場合においても、zデータメモリ102および103の帯域幅を大きくする必要がなく、消費電力や製造コストの増加を抑制しつつ、高精度の変形を行うことができる。
図11は、画像処理システム51が、図10のモデル10で表される画像に対して、時計回りに回転する変形を行うときの、変形後の画像を表すモデル170を示している。
図11では、CPU121は、図中b方向に並ぶ12個のポリゴンから構成されるポリゴン群を、そのポリゴン群が、図中b方向に対して直交する図中a方向に並ぶ順に、処理対象ブロックとし、その処理対象ブロックを構成する各ポリゴンの頂点データを、b方向に並ぶ順に、ポリゴン単位で生成する。即ち、図11では、基本移動ラインはa方向のラインであり、移動方向はb方向である。
ここで、図11における移動量は、式(1)で求められた最大値Mであるものとする。なお、この場合、式(1)のMesh_Sizeは、メッシュ170のb方向の間隔、即ちポリゴン171のb方向の長さとする。
この場合、CPU121は、まず最初に、垂直方向に12個並ぶ合計12個のポリゴン1711,1712,171n6+1,171n6+2,1712n6+1,1712n6+2,1713n6+1,1713n6+2,1714n6+1,1714n6+2,1715n6+1,1715n6+2からなるポリゴンを、処理対象ブロック180とし、この順に、ポリゴン171単位で生成処理を行うが、頂点演算部122はクリッピングを行うので、DDA124には、ポリゴン171n6+2,1712n6+1,1712n6+2,1713n6+1,1713n6+2,1714n6+1,1714n6+2,1715n6+1,1715n6+2の順に、ポリゴン171に対応する頂点データが供給される。
従って、DDA124は、ポリゴン171n6+2,1712n6+1,1712n6+2,1713n6+1,1713n6+2,1714n6+1,1714n6+2,1715n6+1,1715n6+2の順に、対応する画素1723,1724,172m2+3,1722m2+2,1722m2+3,1723m2+2,1723m2+3,1724m2+2,1725m2+1,1725m2+2の画素データに変換し、デプステスト部125に供給する。
デプステスト部125は、DDA124から供給される順に、画素172のzデータを、zデータキャッシュ126から読み出し、デプステストを行う。
このとき、zデータキャッシュ126は、まず最初に、zデータメモリ102または103から、切替部127を介して、正方形173に囲まれた画素1721乃至1724,172m2+1乃至172m2+4,1722m2+1乃至1722m2+4、および1723m2+1乃至1723m2+4のzデータをキャッシュブロックとして読み出して記憶し、デプステスト部125が、そのうちの、画素1723,1724,172m2+3,1722m2+2,1722m2+3,1723m2+2,1723m2+3のzデータと、DDA124から供給される画素1723,1724,172m2+3,1722m2+2,1722m2+3,1723m2+2,1723m2+3の画素データに含まれるzデータとを、それぞれ順に比較することにより、デプステストを行う。
次に、zデータキャッシュ126は、zデータメモリ102または103から、正方形174に囲まれた画素1724m2+1乃至1724m2+4,1725m2+1乃至1725m2+4,1726m2+1乃至1726m2+4、および1727m2+1乃至1727m2+4のzデータをキャッシュブロックとして読み出して記憶し、デプステスト部125が、そのうちの、1724m2+2,1725m2+1,1725m2+2のzデータと、DDA124からの1724m2+2,1725m2+1,1725m2+2の画素データに含まれるzデータを、それぞれ順に比較することにより、デプステストを行う。
この後、デプステスト部125は、処理対象ブロック180にa方向に隣接する処理対象ブロック181を対象とした生成処理により生成された、頂点データに対応する画素データを用いて、デプステストを行うが、いまの処理対象ブロック181と、直前の処理対象ブロック182の境界に位置するポリゴン171に対応する画素データが、zデータキャッシュ126から追い出されないように、移動量が決定されているので、zデータキャッシュ126は、新たに正方形175と176に囲まれた画素172のzデータとライティング係数を、それぞれ、キャッシュブロックとして読み出すだけで、正方形173と174に囲まれた画素172のzデータとライティング係数を、それぞれキャッシュブロックとして読み出す必要はない。
以上のように、画像処理システム1が画像の変形を行う場合においても、CPU121が、b方向に並ぶ12個のポリゴンから構成されるポリゴン群を、そのポリゴン群がa方向に並ぶ順に、処理対象ブロックとし、その処理対象ブロックを構成する各ポリゴンの頂点データを、b方向に並ぶ順に、ポリゴン単位で生成することにより、zデータキャッシュ126のヒット効率が向上する。
図12は、ポリゴン201からなる同心円状のメッシュを用いたモデル200を示している。
図12においては、CPU121は、放射方向に並ぶ5個のポリゴン201から構成されるポリゴン群を、そのポリゴン群が円周方向に並ぶ順に、処理対象ブロックとし、その処理対象ブロックを構成する各ポリゴンの頂点データを、放射方向に並ぶ順に、ポリゴン単位で生成する。即ち、図12では、基本移動ラインは円周方向のラインであり、移動方向は放射方向である。
ここで、図12における移動量は、式(1)で求められた最大値Mであるものとする。なお、この場合、式(1)のMesh_Sizeは、メッシュ200の射影方向の間隔、即ちポリゴン201の射影方向の長さとする。
CPU121は、まず最初に、射影方向に並ぶ5個のポリゴン201からなるポリゴン群を、処理対象ブロック202とし、射影方向に並ぶ順に、ポリゴン201単位で生成処理を行う。
その結果、デプステスト部125には、処理対象ブロック202を構成するポリゴン201の射影方向に並ぶ順に、そのポリゴン201に対応する画素データが供給される。デプステスト部125は、DDA124から供給される順に、画素データに含まれるzデータを、zデータキャッシュ126から読み出し、デプステストを行う。
このとき、zデータキャッシュ126は、まず最初に、zデータメモリ102または103から、切替部127を介して、正方形210に囲まれた画素のzデータをキャッシュブロックとして読み出して記憶し、デプステスト部125が、そのうちの、DDA124から供給される画素データに対応する画素のzデータと、DDA124からの画素データに含まれるzデータとを、それぞれ順に比較することにより、デプステストを行う。
次に、zデータキャッシュ126は、zデータメモリ102または103から、正方形211に囲まれた画素のzデータをキャッシュブロックとして読み出して記憶し、デプステスト部125が、そのうちの、DDA124から供給される画素データに対応する画素のzデータと、DDA124からの画素データに含まれるzデータとを、それぞれ順に比較することにより、デプステストを行う。
この後、デプステスト部125は、処理対象ブロック202と円周方向に隣接する処理対象ブロック203を対象とした生成処理により生成された頂点データに対応する画素データを用いて、デプステストを行うが、いまの処理対象ブロック203と、直前の処理対象ブロック202の境界に位置するポリゴン201に対応する画素データが、zデータキャッシュ126から追い出されないように、移動量が決定されているので、zデータキャッシュ126は、新たに正方形210と211に囲まれた画素のzデータとライティング係数を、それぞれ、キャッシュブロックとして読み出す必要はない。
以上のように、モデルが同心円状のメッシュ200により構成される場合であっても、CPU121が、射影方向に並ぶ5個のポリゴンから構成されるポリゴン群を、そのポリゴン群が円周方向に並ぶ順に、処理対象ブロックとし、その処理対象ブロックを構成する各ポリゴンの頂点データを、射影方向に並ぶ順に、ポリゴン単位で生成することにより、zデータキャッシュ126のヒット効率が向上する。
なお、上述した図10乃至図12において、デプステストにおける、zデータのキャッシュ126のヒット効率について説明したが、テクスチャアドレスの記憶における、アドレスキャッシュ128のヒット効率も同様に向上する。
また、式(1)では、上述したように、画像の変形が行われない場合を基に最大値Mが求められているので、頂点演算部122におけるモデリング変換で拡大や縮小を行う場合には、補正をする必要がある。即ち、拡大を行う場合には、移動量を小さくする必要があり、縮小を行う場合には、移動量を大きくする必要がある。
従って、拡大縮小率をSとすると、移動量の最大値Mは、拡大縮小率の逆数を掛けることにより、以下の式(2)で表すことができる。
M=follr((x×N-Margin)/Mesh_Size/S)
・・・(2)
なお、式(2)において、拡大や縮小を行わない場合、拡大縮小率Sは1であるので、式(1)となり、拡大や縮小を行わない場合であっても、最大値Mは式(2)を満たす。即ち、拡大や縮小を行うかどうかにかかわらず、最大値Mは式(2)で表すことができる。
次に、図13を参照して、CPU121が頂点データを頂点データ演算部122に出力する出力処理について説明する。この出力処理は、図9のステップS31に対応している。
ステップS51において、CPU121は、最初の基本移動ライン上の最初のポリゴン群を、処理対象ブロックとして決定し、ステップS52に進む。
ステップS52において、CPU121は、処理対象ブロック内のポリゴンのうち、移動方向の最初のポリゴンを処理対象とし、ステップ53に進む。
ステップS53において、CPU121は、処理対象であるポリゴンの頂点データをポリゴン単位で生成する生成処理を行い、その結果生成される頂点データを頂点データ演算部122に供給する。この頂点データは、図9のステップS32における頂点演算に用いられる。
ステップS53の処理後は、ステップS54に進み、CPU121は、現在の処理対象ブロックに対する生成処理が終了したかどうか、即ち現在の処理対象ブロックのすべてのポリゴンの頂点データを生成したかどうかを判定し、まだ現在の処理対象ブロックに対する生成処理が終了していないと判定した場合、ステップS55に進む。
ステップS55において、CPU121は、現在の処理対象ブロック内のポリゴンのうち、移動方向において、いまの処理対象の次のポリゴンを処理対象とし、ステップ53に戻り、上述した処理を繰り返す。
一方、ステップS54において、現在の処理対象ブロックに対する生成処理が終了したと判定された場合、即ちいまの処理対象が処理対象ブロック内の移動方向の最後のポリゴンである場合、ステップS56に進み、CPU121は、現在の処理対象ブロックが、現在の基本移動ライン上の最後の処理対象ブロックであるかどうかを判定する。
ステップS56において、現在の処理対象ブロックが、現在の基本移動ライン上の最後の処理対象ブロックではないと判定された場合、ステップS57に進み、現在の基本移動ライン上の次のポリゴン群を処理対象ブロックに決定し、ステップS53に戻る。
また、ステップS56において、現在の処理対象ブロックが、現在の基本移動ライン上の最後の処理対象ブロックであると判定された場合、ステップS58に進み、現在の基本移動ラインが、最後の基本移動ラインであるかどうかを判定する。
ステップS58において、現在の基本移動ラインが、最後の基本移動ラインではないと判定された場合、ステップS59に進み、次の基本移動ラインの最初のポリゴン群を処理対象ブロックに決定する。
一方、ステップS58において、現在の基本移動ラインが、最後の基本移動ラインであると判定された場合、処理は終了する。
次に、図12を参照して、DME11が組み込まれた画像処理装置201の例について説明する。
図12のCPU(Central Processing Unit)251とDME11は、ROM(Read Only Memory)252、または記録部258に記録されているプログラムにしたがって各種の処理を実行する。RAM(Random Access Memory)253には、CPU251が実行するプログラムやデータなどが適宜記憶される。これらのDME11、CPU251、ROM252、およびRAM253は、バス254により相互に接続されている。
CPU251にはまた、バス254を介して入出力インターフェース255が接続されている。入出力インターフェース255には、キーボード、マウス、マイクロホン、図示せぬリモートコントローラから送信されてくる指令を受信する受信部などよりなる入力部256、ディスプレイ、スピーカなどよりなる出力部257が接続されている。CPU251は、入力部256から入力される指令に対応して各種の処理を実行する。そして、CPU251は、処理の結果を出力部257に出力する。
例えば、CPU251は、入力部256から入力される指令に対応して、DME11を制御し、入力画像を縮小、拡大、型の変更、回転、左右反転もしくは上下反転、または移動させたり、入力画像に特殊効果を施す。そして、CPU251は、DME11から出力される画像に基づいて、画像を出力部257に表示させる。
入出力インターフェース255に接続されている記録部258は、例えばハードディスクからなり、CPU251が実行するプログラムや各種のデータを記憶する。通信部259は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。なお、記録部258に記録されるプログラムは、通信部259を介して取得されるようにしてもよい。
入出力インターフェース255に接続されているドライブ260は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア261が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部258に転送され、記録される。
次に、図15を参照して、DME11が組み込まれた記録再生装置300の例について説明する。
図15のCPU301とDME11は、ROM306または記録部305に記録されているプログラムにしたがって各種の処理を実行する。RAM307には、CPU301が実行するプログラムやデータなどが適宜記憶される。これらのDME11、CPU301、ROM306、およびRAM307は、バスにより相互に接続されている。
CPU301にはまた、バスを介して入力I/F(Interface)309と出力制御部301が接続されている。入力I/F309には、キーボード、マウス、マイクロホン、図示せぬリモートコントローラから送信されてくる指令を受信する受信部、被写体を撮像する撮像部などよりなる入力部308が接続され、出力制御部301には、ディスプレイ、スピーカなどよりなる出力部311が接続されている。CPU301は、入力部308から入力I/F309を介して入力される指令に対応して、各種の処理を実行する。そして、CPU301は、処理の結果を、出力制御部301を介して出力部311に出力する。
例えば、CPU301は、入力部308から入力される指令に対応して、DME11を制御し、入力画像を縮小、拡大、型の変更、回転、左右反転もしくは上下反転、または移動させたり、入力画像に特殊効果を施す。そして、CPU301は、DME11から出力される画像に基づいて、画像を出力制御部310を介して、出力部311に表示させる。
さらに、CPU301には、バスを介して、符号化/復号回路302と記録再生制御部304が接続されている。符号化/復号回路302は、CPU301の制御により、例えば入力部308により撮像された結果得られる画像を、必要に応じて、バッファメモリ303に保持させながら、JPEG(Joint Photographic Experts Group)、MPEG(Moving Picture Experts Group)などの所定の符号化方式で符号化する。そして、符号化/復号回路302は、符号化の結果得られる画像を、記録再生制御部304を介して、記録部305に記録させる。
記録再生制御部304は、CPU301の制御により、記録部305に対する記録と再生を制御する。即ち、記録再生制御部304は、符号化/復号回路302から供給される画像を記録部305に記録させたり、記録部305から読み出した画像を、符号化/復号回路302に供給する。符号化/復号回路302は、CPU301の制御により、記録再生制御部304からの画像を復号し、その結果得られる画像を、例えば入力画像としてDME11に供給する。
本発明は、例えばGPU(Graphics Processing Unit)に適用することができる。
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
正方格子状のメッシュの例を示す図である。 同心円状のメッシュの例を示す図である。 従来の頂点データの生成順の一例を説明する図である。 従来の頂点データの生成順の他の一例を説明する図である。 従来の頂点データの生成順の、さらに他の一例を説明する図である。 本発明を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。 画像変形処理を説明するフローチャートである。 外部メモリとアドレス生成部の詳細構成例を示すブロック図である。 アドレス生成処理を説明するフローチャートである。 頂点データの生成順を説明する図である。 頂点データの他の生成順を説明する図である。 頂点データのさらに他の生成順を説明する図である。 出力処理を説明するフローチャートである。 画像処理装置の構成例を示すブロック図である。 記録再生装置の構成例を示すブロック図である。
符号の説明
51 画像処理システム, 102,103 zデータメモリ, 121 CPU, 122 頂点演算部, 124 DDA, 125 デプステスト部, 126 zデータキャッシュ

Claims (7)

  1. 第1の方向と、前記第1の方向に略直交する第2の方向にそれぞれ並ぶポリゴンに対応する画素に関するデータである画素データを記憶させる画像処理装置において、
    前記ポリゴンの頂点に関するデータである頂点データを、ポリゴン単位で生成する生成処理を行う生成手段と、
    前記頂点データを、前記画素データに変換する画素データ変換手段と、
    前記画素データを記憶する記憶手段と、
    複数の前記画素データから構成されるデータブロック単位で、前記記憶手段から前記画素データを読み出し、その画素データを一時的に記憶する一時記憶手段と、
    前記画素データ変換手段により変換された画素データと、前記一時記憶手段に記憶されている画素データとを用いて、所定の処理を行う処理手段と
    を備え、
    前記生成手段は、前記第1の方向に並ぶ所定の数のポリゴンから構成されるポリゴン群を、そのポリゴン群が前記第2の方向に並ぶ順に、前記生成処理の対象とする対象ブロックとし、その対象ブロックを構成する各ポリゴンの前記頂点データを、前記ポリゴン単位で順に生成し、
    前記ポリゴン群を構成するポリゴンの前記第1の方向に並ぶ数は、前記対象ブロックを構成するポリゴンに対応する画素データを用いて前記所定の処理が行われるときに、その対象ブロックの直前の対象ブロックである直前ブロックを構成するポリゴンのうち、前記対象ブロックとの境界部分に位置するポリゴンに対応する画素データを、前記一時記憶手段が記憶しているように、決定される
    画像処理装置。
  2. 前記ポリゴン群を構成するポリゴンが前記第1の方向に並ぶ数は、前記データブロックを構成する画素データの数、前記一時記憶手段に記憶可能な前記データブロックの数、および前記ポリゴンの長さに基づいて、決定される
    請求項1に記載の画像処理装置。
  3. 前記生成手段により生成された頂点データに対して、その頂点データに対応する頂点が構成するポリゴンを拡大または縮小するように、変換を行う頂点データ変換手段
    をさらに備え、
    前記画素データ変換手段は、前記頂点データ変換手段により変換される頂点データを、前記画素データに変換し、
    前記ポリゴン群を構成するポリゴンが前記第1の方向に並ぶ数は、前記データブロックを構成する画素データの数、前記一時記憶手段に記憶可能な前記データブロックの数、前記ポリゴンの長さ、および前記拡大または縮小の倍率の逆数に基づいて、決定される
    請求項1に記載の画像処理装置。
  4. 前記画素データは、前記画素のzデータを含み、
    前記処理手段は、前記画素データ変換手段により変換された画素データに含まれるzデータと、前記一時記憶手段に記憶されている、その画素データに対応する画素の画素データに含まれるzデータとを比較することにより、陰面消去の処理を行う
    請求項1に記載の画像処理装置。
  5. 前記一時記憶手段は、前記画素データ変換手段により変換された画素データに対応する画素の画素データを記憶していない場合、前記記憶手段から、その画素データを含むデータブロック単位の画素データを読み出して、一時的に記憶する
    請求項2に記載の画像処理装置。
  6. 第1の方向と、前記第1の方向に略直交する第2の方向にそれぞれ並ぶポリゴンに対応する画素に関するデータである画素データを記憶させる画像処理装置の画像処理方法において、
    前記第1の方向に並ぶ所定の数のポリゴンから構成されるポリゴン群を、そのポリゴン群が前記第2の方向に並ぶ順に、処理の対象とする対象ブロックとし、その対象ブロックを構成する各ポリゴンの、前記ポリゴンの頂点に関するデータである頂点データを、ポリゴン単位で生成する処理を行い、
    前記頂点データを、前記画素データに変換し、
    複数の前記画素データから構成されるデータブロック単位で、前記画素データを記憶する記憶手段から前記画素データを読み出し、その画素データを、前記画素データを一時的に記憶する一時記憶手段に記憶させ、
    変換された画素データと、前記一時記憶手段に記憶されている画素データとを用いて、所定の処理を行うステップを含み、
    前記ポリゴン群を構成するポリゴンの前記第1の方向に並ぶ数は、前記対象ブロックを構成するポリゴンに対応する画素データを用いて前記所定の処理が行われるときに、その対象ブロックの直前の対象ブロックである直前ブロックを構成するポリゴンのうち、前記対象ブロックとの境界部分に位置するポリゴンに対応する画素データを、前記一時記憶手段が記憶しているように、決定される
    画像処理方法。
  7. 第1の方向と、前記第1の方向に略直交する第2の方向にそれぞれ並ぶポリゴンに対応する画素に関するデータである画素データを記憶させる処理を、コンピュータに行わせるプログラムにおいて、
    前記第1の方向に並ぶ所定の数のポリゴンから構成されるポリゴン群を、そのポリゴン群が前記第2の方向に並ぶ順に、処理の対象とする対象ブロックとし、その対象ブロックを構成する各ポリゴンの、前記ポリゴンの頂点に関するデータである頂点データを、ポリゴン単位で生成する処理を行い、
    前記頂点データを、前記画素データに変換し、
    複数の前記画素データから構成されるデータブロック単位で、前記画素データを記憶する記憶手段から前記画素データを読み出し、その画素データを、前記画素データを一時的に記憶する一時記憶手段に記憶させ、
    変換された画素データと、前記一時記憶手段に記憶されている画素データとを用いて、所定の処理を行うステップを含み、
    前記ポリゴン群を構成するポリゴンの前記第1の方向に並ぶ数は、前記対象ブロックを構成するポリゴンに対応する画素データを用いて前記所定の処理が行われるときに、その対象ブロックの直前の対象ブロックである直前ブロックを構成するポリゴンのうち、前記対象ブロックとの境界部分に位置するポリゴンに対応する画素データを、前記一時記憶手段が記憶しているように、決定される
    プログラム。
JP2006074719A 2006-03-17 2006-03-17 画像処理装置および画像処理方法、並びにプログラム Expired - Fee Related JP4492567B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006074719A JP4492567B2 (ja) 2006-03-17 2006-03-17 画像処理装置および画像処理方法、並びにプログラム
US11/684,769 US8134557B2 (en) 2006-03-17 2007-03-12 Image processing apparatus and image processing method
CNB2007100885908A CN100520828C (zh) 2006-03-17 2007-03-16 图像处理装置和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006074719A JP4492567B2 (ja) 2006-03-17 2006-03-17 画像処理装置および画像処理方法、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2007249796A true JP2007249796A (ja) 2007-09-27
JP2007249796A5 JP2007249796A5 (ja) 2007-11-08
JP4492567B2 JP4492567B2 (ja) 2010-06-30

Family

ID=38517289

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006074719A Expired - Fee Related JP4492567B2 (ja) 2006-03-17 2006-03-17 画像処理装置および画像処理方法、並びにプログラム

Country Status (3)

Country Link
US (1) US8134557B2 (ja)
JP (1) JP4492567B2 (ja)
CN (1) CN100520828C (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9508011B2 (en) 2010-05-10 2016-11-29 Videosurf, Inc. Video visual and audio query
US9311708B2 (en) 2014-04-23 2016-04-12 Microsoft Technology Licensing, Llc Collaborative alignment of images
US9413477B2 (en) * 2010-05-10 2016-08-09 Microsoft Technology Licensing, Llc Screen detector
JP2016076758A (ja) * 2014-10-03 2016-05-12 株式会社東芝 再生装置、符号化装置、および再生方法
US9979693B2 (en) * 2016-01-28 2018-05-22 Fiber Logic Communications, Inc. IP allocation method for use in telecommunication network automatic construction
CN113129406B (zh) * 2019-12-31 2024-03-22 菜鸟智能物流控股有限公司 一种数据处理方法、装置及电子设备
CN111798532B (zh) * 2020-08-03 2021-03-16 广州市宝绅科技应用有限公司 一种基于质心重合的网屏编码方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001052193A (ja) * 1999-08-05 2001-02-23 Namco Ltd テクスチャマッピング方法及びテクスチャマッピング装置
JP2001118082A (ja) * 1999-10-15 2001-04-27 Toshiba Corp 描画演算処理装置
JP2001195603A (ja) * 1999-10-28 2001-07-19 Nintendo Co Ltd 3次元グラフィックスのための頂点キャッシュ
JP2002083316A (ja) * 2000-09-08 2002-03-22 Sony Corp 画像変形装置及びその画像変形方法
JP2003058902A (ja) * 2001-08-21 2003-02-28 Nintendo Co Ltd グラフィックシステムインターフェース

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5563995A (en) * 1993-12-28 1996-10-08 Matsushita Electric Industrial Co., Ltd. Method and system for directly drawing a convex polygon having a given number of vertices with high speed
JP2971765B2 (ja) 1993-12-28 1999-11-08 松下電器産業株式会社 多角形描画方法及び多角形描画装置
JP3638637B2 (ja) 1994-06-17 2005-04-13 株式会社ナムコ ポリゴンデータ変換装置及び3次元シミュレータ装置
US5886702A (en) * 1996-10-16 1999-03-23 Real-Time Geometry Corporation System and method for computer modeling of 3D objects or surfaces by mesh constructions having optimal quality characteristics and dynamic resolution capabilities
US6057852A (en) * 1997-04-30 2000-05-02 Hewlett-Packard Company Graphics accelerator with constant color identifier
JP3804328B2 (ja) * 1999-03-02 2006-08-02 株式会社セガ 画像処理装置及び画像処理方法
JP2001092989A (ja) * 1999-07-21 2001-04-06 Sega Corp 画像処理方法及びその装置
JP3502024B2 (ja) * 1999-09-10 2004-03-02 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、記録媒体および画像処理方法
US7184051B1 (en) * 1999-09-10 2007-02-27 Sony Computer Entertainment Inc. Method of and apparatus for rendering an image simulating fluid motion, with recording medium and program therefor
JP3363137B2 (ja) * 2000-11-29 2003-01-08 コナミ株式会社 当たり判定方法、その装置、当たり判定処理プログラムを記録したコンピュータ読み取り可能な記録媒体及びビデオゲーム装置
JP3740011B2 (ja) * 2000-11-29 2006-01-25 コナミ株式会社 画像表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体、ならびに、画像表示制御装置及び方法
JP3638568B2 (ja) * 2001-06-08 2005-04-13 株式会社ソニー・コンピュータエンタテインメント 画像処理プログラム、画像処理プログラムを記録した記録媒体、画像処理装置及び方法
GB2378337B (en) * 2001-06-11 2005-04-13 Canon Kk 3D Computer modelling apparatus
JP4390574B2 (ja) * 2003-03-31 2009-12-24 富士通株式会社 複数のポリゴンから構成される3次元モデルを2次元平面に投影する際の陰線を消去する陰線処理方法
TWI247220B (en) * 2004-01-16 2006-01-11 Via Tech Inc 3D image processing method
JP4560711B2 (ja) * 2004-06-22 2010-10-13 株式会社セガ 画像処理
US7881818B2 (en) * 2005-10-07 2011-02-01 Esko Ip Nv Flexible packaging incorporating two-dimensional graphics

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001052193A (ja) * 1999-08-05 2001-02-23 Namco Ltd テクスチャマッピング方法及びテクスチャマッピング装置
JP2001118082A (ja) * 1999-10-15 2001-04-27 Toshiba Corp 描画演算処理装置
JP2001195603A (ja) * 1999-10-28 2001-07-19 Nintendo Co Ltd 3次元グラフィックスのための頂点キャッシュ
JP2002083316A (ja) * 2000-09-08 2002-03-22 Sony Corp 画像変形装置及びその画像変形方法
JP2003058902A (ja) * 2001-08-21 2003-02-28 Nintendo Co Ltd グラフィックシステムインターフェース

Also Published As

Publication number Publication date
JP4492567B2 (ja) 2010-06-30
CN101038676A (zh) 2007-09-19
CN100520828C (zh) 2009-07-29
US8134557B2 (en) 2012-03-13
US20070216677A1 (en) 2007-09-20

Similar Documents

Publication Publication Date Title
JP6563048B2 (ja) スクリーンの位置によって異なる解像度のターゲットの複数レンダリングのテクスチャ・マッピングの傾き調整
JP4492567B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP6293921B2 (ja) ラスタライズパラメータを変更することによりスクリーン位置による有効解像度の変化
JP2022078281A (ja) 非正規直交グリッドへのテクスチャマッピングのためのグラデーションの調整
JP4522996B2 (ja) テクスチャマッピングにおける適応リサンプリングのためのシステム
US20050264573A1 (en) Graphics texture processing methods, apparatus and computer program products using texture compression, block overlapping and/or texture filtering
CN104732479B (zh) 对图像进行调整大小
JP4763712B2 (ja) 3次元グラフィックスをレンダリングする方法及びデバイス
US10762696B2 (en) Graphic processor performing sampling-based rendering and method of operating the same
WO2006080115A1 (ja) 描画方法、画像生成装置、および電子情報機器
WO2011062205A1 (ja) 画像描画装置、画像描画方法および記録媒体
JP2008512767A (ja) 一般的な2次元空間変換の表現システム及び方法
JP2006244426A (ja) テクスチャ処理装置、描画処理装置、およびテクスチャ処理方法
JP4198087B2 (ja) 画像生成装置および画像生成方法
JP2006127412A (ja) 描画処理装置および描画処理方法
JP4487959B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
US6476819B1 (en) Apparatus and method for assigning shrinkage factor during texture mapping operations
KR101107114B1 (ko) 그래픽 객체들을 렌더링하는 방법
JPH11126261A (ja) テクスチャマッピング方法及びその装置
JP2005513655A (ja) 表示用画像を表現するコンピュータグラフィックシステムおよび方法
JPH09259290A (ja) 描画方法
KR100633029B1 (ko) 풋프린트의 분석 및 수정 방법
JP4009289B2 (ja) フットプリントに係るテクセルのカラー値をカラー計算するための重み付けファクタを決定する方法
EP4042380A1 (en) Soft shadow optimization
JP2006190135A (ja) 画像生成方法および画像生成装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100316

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100329

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees