JP2004240910A - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP2004240910A JP2004240910A JP2003031969A JP2003031969A JP2004240910A JP 2004240910 A JP2004240910 A JP 2004240910A JP 2003031969 A JP2003031969 A JP 2003031969A JP 2003031969 A JP2003031969 A JP 2003031969A JP 2004240910 A JP2004240910 A JP 2004240910A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- information
- diffusion
- color
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Generation (AREA)
Abstract
【課題】得られる画像の画質を維持しつつ、低い演算コストで被写界深度処理を実現する画像処理装置および画像処理方法を提供することを目的とする。
【解決手段】ピクセル描画処理前段装置４が、ポリゴンの頂点情報をもとにラスタ化処理を行う。その後、求められたピクセルの奥行き情報をもとに、相対位置演算装置５が、ピクセルの奥行き情報と焦点位置との差（ΔＺ値）を求める。次に、このΔＺ値にもとづいて、位置拡散処理装置６が、ΔＺ値の大小に対応した範囲でピクセル位置情報の変更を行う。そして、ピクセル描画処理後段装置８が、この位置情報が変更されたピクセルの画素情報を用いて陰面消去を行う。
【選択図】 図１
【解決手段】ピクセル描画処理前段装置４が、ポリゴンの頂点情報をもとにラスタ化処理を行う。その後、求められたピクセルの奥行き情報をもとに、相対位置演算装置５が、ピクセルの奥行き情報と焦点位置との差（ΔＺ値）を求める。次に、このΔＺ値にもとづいて、位置拡散処理装置６が、ΔＺ値の大小に対応した範囲でピクセル位置情報の変更を行う。そして、ピクセル描画処理後段装置８が、この位置情報が変更されたピクセルの画素情報を用いて陰面消去を行う。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、３Ｄグラフィックスの画像処理に関し、特に、被写界深度処理を含む画像処理を行う画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
３Ｄグラフィックス処理において被写界深度処理という特殊処理がある。この技法は、カメラの焦点からずれたオブジェクトをぼかして描画することにより、遠近感を増大させるという効果を与える技法であり、この技法を用いて遠近感を増大させることで、３Ｄグラフィックスの立体感を強調することができる。
【０００３】
この被写界深度処理方法の一つとして、焦点を特定の位置に固定した状態でカメラの視点を変えて複数の描画面を生成し、その複数の描画面を一枚のフレームバッファに描画することにより、目的の画像を得る方法がある。
【０００４】
この方法においては、視点をずらして得る描画面数Ｎ（Ｎは自然数）を増やすことにより、適宜、被写界深度効果を増大させることが可能である。しかし、被写界深度処理を施した一画面を完成させるために、視点をＮ回ずらしてＮ画面分描画しなくてはならず、Ｎ倍の演算コストを必要としてしまう。
【０００５】
このような背景から、より簡便な処理により被写界深度効果を得る方法が提案されている（例えば、特許文献１、２参照）。この従来の被写界深度処理方法のフローチャートを図１２に示す。
【０００６】
まず、３次元演算処理によりポリゴンの頂点情報を求める（Ｓ１０１）。そして、この頂点情報をもとにレンダリング処理を行い、コンピュータ・グラフィックス（ＣＧ）画像を構成するピクセルの描画を行う（Ｓ１０２）。このレンダリング処理では、ポリゴンの頂点情報からピクセルへのラスタ化処理が行われた後、テクスチャマッピング、Ｚバッファ処理などの処理が、各ピクセルごとにパイプラインで実行される。
【０００７】
レンダリング処理（Ｓ１０２）は、ステップＳ１０１において頂点情報が算出されたポリゴン内のすべてのピクセルが描画されるまで繰り返し行う（Ｓ１０３）。そして、ポリゴン内のピクセル描画が終了した際、同一フレームの他のポリゴンのピクセル描画が終了していない場合は、ステップＳ１０１に戻り、他のポリゴンについてステップＳ１０１からＳ１０３までの処理を繰り返す（Ｓ１０４）。これにより、１フレーム分のピクセル描画が完成する。
【０００８】
次に、ステップＳ１０４で得られた画像データの各ピクセルの奥行き情報と焦点位置との差などをもとにフィルタリング処理を行う（Ｓ１０５）。例えば、注目ピクセルの奥行き情報と焦点位置との差からぼかし範囲を求め、注目ピクセルの色情報とその注目ピクセルのぼかし範囲に含まれる周辺ピクセルの色情報との加重平均により注目ピクセルの色情報を算出する。このとき、焦点位置との差が大きいときは、ぼかし範囲を大きくとることで、注目ピクセルの色情報が周辺ピクセルの色情報の影響を大きく受けるようにし、一方、焦点位置との差が小さいときは、ぼかし半径を小さくとることで、注目ピクセルに対する周辺ピクセルの色情報の影響が比較的小さくなるようにする。
【０００９】
このフィルタリング処理はピクセルごとに繰り返し行われ（Ｓ１０６）、これを繰り返すことにより、新規な画像データが構成される。そして、フレームが複数の場合は、以上のステップＳ１０１からステップＳ１０６までの処理を各フレームごとに繰り返す（Ｓ１０７）。
【特許文献１】
特開昭６３−２５９７７８号公報（第３〜５頁、図２および３）
【特許文献２】
特開２０００−３２２５９４号公報（第２〜４頁、図５および６）
【００１０】
【発明が解決しようとする課題】
一般に、ＣＲＴなどの表示装置にＣＧ画像を表示させる場合、毎秒２０〜３０フレームのＣＧ画像が連続して表示される。このため、画像処理装置には、表示装置の表示スピードに合わせて、ＣＧ画像を作成することが求められる。つまり、画像処理装置には、１フレーム当たりの画像処理をある限られた時間内で行わなければならないという時間的制約が課せられる。
【００１１】
画像処理装置が行える１フレーム当たりの画像処理の処理量が多い程、より多くのピクセル数のピクセル描画を行うことができ、画像の画質を向上させることができる。しかし、上記の時間的制約から、画像処理装置が行える１フレーム当たりの処理量は、一定量に限られる。
【００１２】
従来の被写界深度処理方法は、テクスチャ処理や陰面消去などのレンダリング処理が行われ、１画面分のピクセル描画が完成した後でなければ、注目ピクセルに対する周辺ピクセルの画素情報が確定せず、フィルタリング処理を行うことができなかった。
【００１３】
そのために、従来のフィルタリングによる被写界深度処理方法は、まず、１画面分の画像データを構成し、その後、その画像データを再び読み出して演算処理を行い、新規な画像データを構成していた。つまり、１画面分の画像データを得るのに２回のピクセル描画（ステップＳ１０１〜Ｓ１０４からなる１回目のピクセル描画と、ステップＳ１０５およびＳ１０６からなる２回目のピクセル描画）を必要としていた。そして、このことが、被写界深度処理にかかる画像処理の処理量を高いものとしていた。
【００１４】
このため、従来の被写界深度処理方法では、被写界深度処理を導入すると、画像処理全体の演算コスト（単位フレーム当たりの画像処理を行うために必要な処理時間）が上昇してしまい、その上昇分の演算コストを削除するために、描画するピクセル数を減らし画質を犠牲にせざるを得なかった。また、画質を犠牲にすることで演算コストを削減したとしても、最低限の画質を維持する必要があるため、描画ピクセル数の低減による演算コストの削減には限界があり、テクスチャマッピングなどの他の処理を行う場合に対応することができなかった。
【００１５】
このようなことから、より高画質なＣＧ画像を得るために、被写界深度処理にかかる画像処理の処理量を低減し、画像処理の演算コストを下げることが求められている。
【００１６】
本発明は、以上の背景からなされたもので、得られる画像の画質を維持しつつ、低い演算コストで被写界深度処理を実現する画像処理装置および画像処理方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
上記目的を達成させるために、本発明に係る画像処理装置は、ポリゴンの頂点情報が入力され、この頂点情報からポリゴン内のピクセルごとに画素情報を算出するピクセル描画処理前段装置と、前記ピクセル描画処理前段装置から各ピクセルの奥行き情報が入力され、この奥行き情報と焦点位置との差をピクセルごとに算出する相対位置演算装置と、前記相対位置演算装置により算出した各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報を変更するか否かをピクセルごとに決定し、変更する場合、変更する画素情報に対応した画素情報拡散値パターンをもとにピクセルの画素情報を変更して出力し、変更しない場合、ピクセルの画素情報を変更せずに出力する画素情報拡散処理装置と、前記画素情報拡散処理装置から入力された各ピクセルの画素情報を用いてピクセルごとに陰面消去を行うピクセル描画処理後段装置とを具備することを特徴としている。
【００１８】
また、本発明に係る画像処理装置は、ポリゴンの頂点情報を算出するＣＰＵと、前記ＣＰＵからポリゴンの頂点情報が入力され、この頂点情報からポリゴン内のピクセルごとに画素情報を算出するピクセル描画処理前段装置と、前記ピクセル描画処理前段装置から各ピクセルの奥行き情報が入力され、この奥行き情報と焦点位置との差をピクセルごとに算出する相対位置演算装置と、前記相対位置演算装置により算出した各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報を変更するか否かをピクセルごとに決定し、変更する場合、変更する画素情報に対応した画素情報拡散値パターンをもとにピクセルの画素情報を変更して出力し、変更しない場合、ピクセルの画素情報を変更せずに出力する画素情報拡散処理装置と、前記画素情報拡散処理装置から入力された各ピクセルの画素情報を用いてピクセルごとに陰面消去を行うピクセル描画処理後段装置と、前記ピクセル描画処理後段装置から各ピクセルの画素情報が入力され、この画素情報を記憶保持するグラフィックスメモリと、前記グラフィックスメモリから各ピクセルの画素情報が入力され、この画素情報を画像表示用信号へ変換する表示装置コントローラとを具備することを特徴としている。
【００１９】
更に、本発明に係る画像処理方法は、入力されたポリゴンの頂点情報からポリゴン内のピクセルごとに画素情報を算出するピクセル描画前段ステップと、前記ピクセル描画前段ステップにより得られた各ピクセルの奥行き情報と焦点位置との差をピクセルごとに算出する相対位置演算ステップと、前記相対位置演算ステップにより得られた各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報を変更するか否かをピクセルごとに決定し、変更する場合、変更する画素情報に対応した画素情報拡散値パターンをもとにピクセルの画素情報を変更し、変更しない場合、ピクセルの画素情報を維持する画素情報拡散ステップと、前記画素情報拡散ステップにより処理された各ピクセルの画素情報を用いてピクセルごとに陰面消去を行うピクセル描画後段ステップとを具備することを特徴としている。
【００２０】
【発明の実施の形態】
（第１の実施の形態）
以下に、本発明に係る画像処理装置および画像処理方法についての第１の実施の形態を図１乃至４を参照しながら説明する。
【００２１】
本実施の形態に係る画像処理装置の構成を図１に示す。
【００２２】
一般的に、３次元画像処理は、３次元の座標データを持ったオブジェクトを２次元空間へと投影することにより行われる。この際、オブジェクトの３次元形状はポリゴンと呼ばれる多角形の集合として表現され、このポリゴンごとにＣＰＵ１が光源処理などのジオメトリ処理を行い、２次元空間に投影されたポリゴンの頂点情報を算出する。ここでいう頂点情報とは、色情報（Ｒ，Ｇ，Ｂ）、位置情報（Ｘ値，Ｙ値）、奥行き情報（Ｚ値）および属性（反射・透過属性）などである。この位置情報（Ｘ値，Ｙ値）はポリゴンを２次元空間へと投影することにより得られる画像データ上での座標を示し、奥行き情報（Ｚ値）は視点から奥行き方向への距離を示している。
【００２３】
ＣＰＵ１は、システムバス２を介して、レンダリング装置３内に設けられたピクセル描画処理前段装置４と接続されており、ＣＰＵ１が算出したポリゴンの頂点情報がピクセル描画処理前段装置４へと出力されるようになっている。
【００２４】
ピクセル描画処理前段装置４は、入力されたポリゴンの頂点情報をもとにポリゴン内のピクセルの描画を行う。具体的には、例えば、頂点情報から求めたポリゴンの辺方向の傾きをもとに辺上のピクセルの画素情報（色情報（Ｒ，Ｇ，Ｂ）、位置情報（Ｘ値，Ｙ値）、奥行き情報（Ｚ値）および属性）を求め、続いて、その辺上のピクセルの画素情報からラスタ方向（Ｘ方向）の傾きを算出し、その傾きを用いてポリゴン内部のピクセルの画素情報を求めていく。以下、便宜上、この処理をラスタ化処理と称す。
【００２５】
また、ピクセル画像処理前段装置４はテクスチャ処理を行う機能も備えている。テクスチャ処理とは、以上のピクセル描画で求まったテクスチャアドレスから、その画像に対応したテクスチャ画像を読みこむ処理のことであり、これにより、テクスチャ画像をポリゴンに対応させて貼り付けることができる。
【００２６】
相対位置演算装置５は、ピクセル描画処理前段装置４から各ピクセルのＺ値が入力されるように接続されている。この相対位置演算装置５は、各ピクセルに対して、奥行き方向（Ｚ方向）にあらかじめ設定された焦点位置Ｚ０とＺ値との差（ΔＺ値（＝Ｚ値−Ｚ０））を求め、後段の位置拡散処理装置６にΔＺ値を出力する。
【００２７】
位置拡散処理装置６は、相対位置演算装置５から入力された各ピクセルのΔＺ値とピクセル描画処理前段装置４から入力された各ピクセルの位置情報（Ｘ値，Ｙ値）をもとに、位置拡散処理を行う回路である。位置拡散処理とは、ピクセルの位置情報（Ｘ値，Ｙ値）を変更する処理であり、具体的には、位置拡散値パターンテーブル７に格納されている位置拡散値パターンから各ピクセルの位置拡散値（ΔＸ値，ΔＹ値）を求め、その位置拡散値（ΔＸ値，ΔＹ値）をピクセルの位置情報（Ｘ値，Ｙ値）に足し込むことによりピクセルの位置情報を新たな位置情報（Ｘ＋ΔＸ，Ｙ＋ΔＹ）に変更する処理である。ここで、位置拡散値（ΔＸ値，ΔＹ値）とは、ピクセルの位置情報を変更する際の変更前のピクセル位置（Ｘ，Ｙ）から変更後のピクセル位置（Ｘ＋ΔＸ，Ｙ＋ΔＹ）までの相対位置のことを指す。この位置拡散処理は、ピクセルのΔＺ値をもとに行われるが、これについては後に詳述する。
【００２８】
位置拡散値パターンテーブル７は、位置拡散値（ΔＸ値，ΔＹ値）のパターンテーブルであり、例えば、ＲＡＭなどに記憶されている。また、この位置拡散値パターンテーブル７へは、レンダリング装置３の外部からデータＤＡＴＡを入力でき、画像処理の実施者が、所望のピクセルの位置拡散が得られるように、位置拡散値パターンを変更することが可能となっている。
【００２９】
ピクセル描画処理後段装置８はピクセル描画の残りの処理を行う装置であり、位置拡散処理装置６から位置拡散処理が施されたピクセルの位置情報が入力され、ピクセル描画処理前段装置４から残りの画素情報（色情報（Ｒ，Ｇ，Ｂ）、奥行き情報（Ｚ値）および属性）が入力される。そして、このピクセルの画素情報をもとに陰面消去などのフラグメント処理を行う。陰面消去とは、Ｚ方向において手前にあるオブジェクトが奥にあるオブジェクトを隠すようにオブジェクト間の前後関係を確定する処理である。具体的には、例えば、Ｚバッファメモリに格納された同じ位置情報を持つピクセルのＺ値と比較し、新たに入力されたピクセルのＺ値が小さい場合には、その画素情報を有効としてグラフィックスメモリ９への当該ピクセルの画素情報の書き換えを行い、逆に、新たに入力されたピクセルのＺ値が大きい場合には、その画素情報を無効としてグラフィックスメモリ９への当該ピクセルの画素情報の書き換えを行わないようにする。
【００３０】
グラフィックスメモリ９は、以上の処理により求められたピクセルの画素情報が書き込まれるメモリである。このグラフィックスメモリ９に格納されたピクセルの画素情報は、後段の表示装置コントローラ１０により読み込まれる。また、グラフィックスメモリ９は、ピクセル描画処理後段装置８が陰面消去処理において用いるＺバッファメモリを含んでいる。
【００３１】
表示装置コントローラ１０は、グラフィックスメモリ９から読み込んだピクセルの画素情報を表示装置１１などの外部装置に適応する信号ＧＲに変換し出力する。また、表示装置コントローラ１０は、表示装置１１へ１フレーム分の画像データを出力した際、フレームを切り替えたことを示すフレーム切り替え情報ＳＹＮＣを位置拡散処理装置６へとフィードバックさせる。位置拡散処理装置６は、このフレーム切り替え情報ＳＹＮＣを受け、フレームごとに位置拡散処理に用いる位置拡散値パターンを変更する。
【００３２】
なお、フレームごとに位置拡散値パターンを変更するには、ピクセル描画処理のフレームの切り替えと位置拡散値パターンの変更とを同期させる必要があるが、これは、例えば、ピクセル描画処理中に位置拡散処理装置６へのフレーム切り替え情報ＳＹＮＣの割り込みがあった場合、その割り込みがあったことを記憶しておき、次のフレームのピクセル描画開始時に位置拡散値パターンを変更することで達成される。
【００３３】
表示装置１１は表示装置コントローラ１０より入力された信号をもとに画像を表示する装置である。この表示装置１１には、例えば、ＣＲＴ、テレビ、液晶ディスプレイなどが該当する。
【００３４】
続いて、位置拡散処理装置６が行う位置拡散処理について説明を加え、この位置拡散処理によって、どのように被写界深度効果が得られるかを説明する。以下、位置拡散処理装置６が行う位置拡散処理を手順に沿って説明する。
【００３５】
まず、位置拡散処理装置６は、あらかじめ設定された２つの境界値Ｚｔｈ１、Ｚｔｈ２と入力されたピクセルのΔＺ値（＝Ｚ値−Ｚ０）との大小を比較する。この比較により、ピクセルのΔＺ値が３つの領域（｜ΔＺ｜＜Ｚｔｈ１，Ｚｔｈ１＜｜ΔＺ｜＜Ｚｔｈ２，Ｚｔｈ２＜｜ΔＺ｜）のどの領域に属するかが判断され、ΔＺ値の大小により各ピクセルが３種類に分類される。
【００３６】
この分類の結果、ΔＺ値が｜ΔＺ｜＜Ｚｔｈ１であるとき、すなわち、焦点位置からのずれが非常に小さいときには、位置拡散処理装置６は、ピクセルの位置情報（Ｘ値，Ｙ値）を変更せず、入力された位置情報（Ｘ値，Ｙ値）を、そのまま、後段のピクセル描画処理後段装置８へと出力する。
【００３７】
一方、ΔＺ値が、Ｚｔｈ１＜｜ΔＺ｜＜Ｚｔｈ２、または、Ｚｔｈ２＜｜ΔＺ｜のときには、それぞれ、位置拡散値パターンテーブル７内の２つの位置拡散値パターンから別々の位置拡散値パターンを選択し、その位置拡散値パターンを用いて位置拡散値（ΔＸ，ΔＹ）を求め、ピクセルの位置情報（Ｘ値，Ｙ値）を新たな位置情報（Ｘ＋ΔＸ，Ｙ＋ΔＹ）へと変更する。
【００３８】
具体的には、ΔＺ値がＺｔｈ１＜｜ΔＺ｜＜Ｚｔｈ２であるとき、すなわち、焦点位置からのずれが比較的小さいときには、２次元画面全体を縦２ピクセル×横２ピクセルのマトリクス単位で区切り、このマトリクスに図２（ａ）に示す位置拡散値パターンを適用することで位置拡散値（ΔＸ，ΔＹ）を求め、位置情報の変更を行う。
【００３９】
また、ΔＺ値がＺｔｈ２＜｜ΔＺ｜であるとき、すなわち、焦点位置からのずれが比較的大きいときには、２次元画面全体を縦４ピクセル×横４ピクセルのマトリクス単位で区切り、このマトリクスに図２（ｂ）に示す位置拡散値パターンを適用することで位置拡散値（ΔＸ，ΔＹ）を求め、位置情報の変更を行う。
【００４０】
図２（ａ）および（ｂ）に示す位置拡散値パターン中の矢印は、矢印の始端が変更前のピクセル位置を、終端が変更後のピクセル位置を示している。そして、これらの位置拡散値パターンには、矢印で示したピクセルの位置拡散が行われるように、パターン内の座標（以下、下位値（Ｘ´，Ｙ´））ごとに位置拡散値（ΔＸ，ΔＹ）が設定されている。例えば、図２（ａ）に示す位置拡散値パターンでは、下位値が（Ｘ´，Ｙ´）＝（００，００）のピクセルは、下位値（０１，０１）のピクセルへと位置情報が変更されるように、位置拡散値が（ΔＸ，ΔＹ）＝（０１，０１）と設定されている。これにより、ピクセルの位置情報（Ｘ値，Ｙ値）から、当該ピクセルの位置拡散値パターンでの対応箇所（下位値）を求めることで、位置拡散値（ΔＸ値，ΔＹ値）を一意に求めることができる。
【００４１】
そして、以上のように求まった位置拡散値（ΔＸ値，ΔＹ値）を位置情報（Ｘ値，Ｙ値）へと足し込むことで、位置情報を新しい位置情報（Ｘ＋ΔＸ，Ｙ＋ΔＹ）へと変更する。ここまでが、位置拡散処理装置６が行う位置拡散処理である。
【００４２】
ここで、図２（ａ）の位置拡散値パターンと図２（ｂ）に示す位置拡散値パターンとを比較すると、図２（ａ）の位置拡散値パターンでは縦２ピクセル×横２ピクセルのマトリクス内でピクセル位置が拡散されるのに対し、図２（ｂ）の位置拡散値パターンでは縦４ピクセル×横４ピクセルのマトリクス内でピクセル位置が拡散される。つまり、図２（ｂ）に示す位置拡散値パターンを用いた方が広い範囲でピクセル位置が拡散される。このように、焦点からのずれ（ΔＺ値）が大きいピクセルには、広い範囲でピクセルの位置拡散が行われるパターン（例えば、図２（ｂ））を用い、逆に、焦点からのずれ（ΔＺ値）が小さいピクセルには、比較的狭い範囲でピクセルの位置拡散が行われるパターン（例えば、図２（ａ））を用いることで、ピクセルの位置拡散が行われる範囲の広狭を焦点からのずれ（ΔＺ値）の大小に対応させることができる。つまり、ピクセルの位置拡散による被写界深度処理が可能となる。
【００４３】
以上において説明した本実施の形態に係る画像処理装置は、オブジェクトの焦点からのずれ（ΔＺ値）に対応してピクセル位置を拡散することで被写界深度処理を施している。このため、被写界深度処理により遠近感を強調することで３Ｄグラフィックスの立体感を強調することができる。
【００４４】
また、本実施の形態に係る画像処理装置は、レンダリング処理の途中段階においてぼかし処理であるピクセルの位置拡散を行っており、１回のピクセル描画により被写界深度処理を実現できる。このため、他の被写界深度処理方法による画像処理装置と比較して、演算コストを削減することができ、より多くのピクセル数のピクセル描画処理を行い、高画質なＣＧ画像を得ることができる。
【００４５】
更に、従来の被写界深度処理装置は、１画面分の画像データを得るのに、２回の描画コマンドセットを使用して画像処理装置を制御する必要があった。しかし、本実施の形態に係る画像処理装置は、１回のピクセル描画により被写界深度処理を実現しているため、１回の描画コマンドセットにより当該画像処理装置の動作を制御することが可能である。このため、被写界深度処理を導入することで画像処理装置の動作制御が複雑にならない。
【００４６】
更にまた、従来の被写界深度処理装置は、フィルタリング処理において注目ピクセルの色情報を算出するのに周辺ピクセルの色情報を必要とするため、注目ピクセルの演算が終了した後も、周辺ピクセルの演算に用いられることを考慮して、その注目ピクセルの演算処理前の色情報を記憶しておく必要があった。このため、従来の被写界深度処理装置は、被写界深度処理を施した１画面分の画像データを得るのに、少なくとも１画面分以上の画像データを記憶保持しておくメモリ容量が必要であった。しかし、本実施の形態に係る画像処理装置は、フレーム１枚分のピクセル描画が完成した時点で被写界深度処理を施したＣＧ画像が得られるため、フィルタリング処理による従来の被写界深度処理装置とは異なり、演算結果を記憶保持しておくメモリを必要としない。よって、より少ないメモリ容量のハードウェアにおいて被写界深度処理を実現できる。
【００４７】
更に、複数のフレームに渡って、同一の位置拡散値パターンを用いてピクセルの位置拡散処理を行うと、その処理により得られたＣＧ画像は、ピクセルの位置拡散の規則性が反映された不自然なものとなる可能性がある。しかし、本実施の形態に係る画像処理装置は、表示装置コントローラ１０から位置拡散処理装置６へのフレーム切り替え情報ＳＹＮＣのフィードバックにより、１フレームごとにピクセルの位置拡散のパターンを変更している。一般的に、表示装置１１に表示される画像は２０〜３０フレーム／秒であり、肉眼では１フレームごとではなく複数のフレームが重なったものとして認識される。このため、ピクセルの位置拡散のパターンが１フレームごとに変化することにより、表示装置１１に表示された際にピクセルの位置拡散の規則性が観測者に認識されにくく、より自然な被写界深度効果を得ることができる。
【００４８】
次に、図３および図４を用いて、本実施の形態に係る画像処理方法について説明する。図３は、本実施の形態に係る画像処理方法をステップ順に示すフローチャートである。
【００４９】
まず、３次元オブジェクトをポリゴンによりモデリングし、そのポリゴンの頂点情報を光源処理などのジオメトリ処理により求める（Ｓ１１）。
【００５０】
次に、このポリゴンの頂点情報をもとにレンダリング処理を行い、コンピュータ・グラフィックス（ＣＧ）画像を構成するピクセルの描画を行う（Ｓ１２）。このレンダリング処理は、ピクセルの位置拡散によるオブジェクトのぼかし処理を含んでいる。これについては、後のレンダリング処理の説明において詳述する。
【００５１】
レンダリング処理（Ｓ１２）は、ステップＳ１２において頂点情報が算出されたポリゴン内のすべてのピクセルが描画されるまで、ピクセルごとに繰り返し行う（Ｓ１３）。そして、このポリゴン内のピクセル描画が終了した後、同一フレーム内の他のポリゴンのピクセル描画が終了していない場合は、ステップＳ１１に戻り、他のポリゴンについてステップＳ１１からＳ１３までの処理を繰り返す（Ｓ１４）。これにより、１フレーム分のピクセル描画が完成する。
【００５２】
１フレーム分のピクセル描画が完成した場合は、表示装置コントローラ１０からのフレーム切り替え情報ＳＹＮＣなどをもとに、レンダリング処理（Ｓ１２）において用いる位置拡散値パターンを変更する（Ｓ１５）。そして、以上のステップＳ１１からＳ１５までの処理を、すべてのフレームに対するピクセル描画が完成するまで、繰り返し行う（Ｓ１６）。
【００５３】
そして、以上のステップによりグラフィックスメモリ９に書き込まれた画像データを、表示装置コントローラ１０により読み出し、表示装置１１での表示に対応するように画像データを信号処理して表示装置１１へと出力することで、３次元のオブジェクトが、被写界深度処理が施されたＣＧ画像として表示装置１１に表示される。
【００５４】
次に、図３のステップＳ１２で行うレンダリング処理について、更に説明を加える。図４は、本実施の形態に係るレンダリング処理をステップ順に示すフローチャートである。
【００５５】
まず、ジオメトリ処理（図３中のステップＳ１１）により得られたポリゴンの頂点情報から、ポリゴン内部のピクセルの画素情報（色情報（Ｒ，Ｇ，Ｂ）、位置情報（Ｘ値，Ｙ値）、奥行き情報（ΔＺ値）、位置拡散値（ΔＸ値，ΔＹ値）および属性）をラスタ処理により算出する。そして、ピクセルの画素情報にテクスチャ処理を行い、ピクセルにテクスチャ画像の貼り付けを行う（Ｓ１２ａ）。
【００５６】
次に、先のステップＳ１２ａにおいて得られたピクセルの奥行き情報Ｚ値から、Ｚ値と焦点位置との差（ΔＺ値）をピクセルごとに求める（Ｓ１２ｂ）。
【００５７】
次に、このΔＺ値をもとに、ピクセルの位置情報（Ｘ値，Ｙ値）を変更するか否かを決定する。位置情報を変更する場合は、更に、ΔＺ値に基づいて、あらかじめ用意された複数の位置拡散値パターンの中から一つの位置拡散値パターンを選択し、この位置拡散値パターンを用いて位置拡散値（ΔＸ，ΔＹ）を求める。このとき、ΔＺ値が大きい場合には、広い範囲でピクセルの位置拡散が行われる位置拡散値パターン（例えば、図２（ｂ））を用い、逆に、ΔＺ値が小さいピクセルには、広い範囲でピクセルの位置拡散が行われる位置拡散値パターン（例えば、図２（ａ））を用いる。そして、得られた位置拡散値（ΔＸ，ΔＹ）をもとに各ピクセルの位置情報（Ｘ，Ｙ）を新しい位置情報（Ｘ＋ΔＸ、Ｙ＋ΔＹ）へと変更する（Ｓ１２ｃ）。
【００５８】
次に、この位置情報が変更されたピクセルの画素情報をもとに、陰面消去などのフラグメント処理を行い（Ｓ１２ｄ）、これらの処理が施された画素情報をグラフィックスメモリ９へと書き込み保持していく（Ｓ１２ｅ）。上記の一連のステップを通して、レンダリング処理が行われる。
【００５９】
以上において説明した本実施の形態に係る画像処理方法は、オブジェクトの焦点からのずれ（ΔＺ値）に対応してピクセル位置を拡散することで被写界深度処理を施している。このため、被写界深度処理により遠近感を強調することで３Ｄグラフィックスの立体感を強調することができる。
【００６０】
本実施の形態に係る画像処理方法は、レンダリング処理の途中段階においてぼかし処理である描画ピクセル位置の拡散を行っているため、１回のピクセル描画により被写界深度処理を実現できる。このため、他の被写界深度処理を行う画像処理方法と比較して、演算コストを削減することができる。
【００６１】
また、本実施の形態に係る画像処理方法は、表示装置コントローラ１０から位置拡散値パターンテーブル５へのフレーム切り替え情報ＳＹＮＣのフィードバックにより、１フレームごとにピクセルの位置拡散のパターンを変更することで、より自然な被写界深度効果を得ることができる。
【００６２】
なお、本実施の形態の画像処理装置および画像処理方法の説明において、位置拡散値パターンの一例を図２に示したが、これはあくまでも一例であり、位置拡散値パターンはこれらに限定されない。
【００６３】
また、本実施の形態の画像処理装置および画像処理方法は、焦点からのずれ（ΔＺ値）を境界値Ｚｔｈ１、Ｚｔｈ２により分類し、位置情報を変更するか否か、また、変更する場合は、２つの位置拡散値パターンのうちのどちらのパターンを適用するかを決定しているが、このＺｔｈ１、Ｚｔｈ２以外に更に境界値を設定し、３つ以上の位置拡散値パターンから選択するようにしても構わない。また、境界値を１つだけ設定し、その境界値とΔＺ値との比較により、位置情報を変更するか否かのみを決定しても構わない。すなわち、ΔＺ値の大小に対応した範囲の広狭でピクセルの位置が拡散するように、レンダリング処理中において、ピクセルの位置情報が変更されれば良い。
【００６４】
更に、本実施の形態に係る画像処理装置および画像処理方法は、色情報をＲ，Ｇ，Ｂの三色で構成した場合を示したが、これに限られず、ピクセルの色情報が単色で構成されている場合でも構わない。
【００６５】
更にまた、本実施の形態に係る画像処理装置においては、グラフィックスメモリ９および表示装置コントローラ１０がレンダリング装置３内に設けられているが、これらのグラフィックスメモリ９および表示装置コントローラ１０は、レンダリング装置３とは独立に構成されていても構わない。これと同様に、本実施の形態に係る画像処理装置においては、ＣＰＵ１が独立のチップにより構成されているが、これに限られず、ＣＰＵ１がレンダリング装置３内に設けられていても構わない。
（第２の実施の形態）
以下に、本発明に係る画像処理装置および画像処理方法についての第２の実施の形態を図５乃至９を参照しながら説明する。
【００６６】
本実施の形態に係る画像処理装置の構造を図５に示す。なお、本実施の形態に係る画像処理装置は、第１の実施の形態における位置拡散処理装置６を誤差拡散処理装置１２に置き換え、位置拡散値パターンテーブル７をカラー拡散値パターンテーブル１３に置き換えたものであり、その他の構成要素については、第１の実施の形態において図１を参照しながら説明したものと同一であるので、ここでは、その説明を省略する。
【００６７】
誤差拡散処理装置１２は、相対位置演算装置５から入力された各ピクセルのΔＺ値とピクセル描画処理前段装置４から入力された位置情報（Ｘ値，Ｙ値）をもとに誤差拡散処理を行う回路である。誤差拡散処理とは、ピクセルの色情報（Ｒ，Ｇ，Ｂ）を変更する処理であり、具体的には、カラー拡散値パターンテーブル１３に格納されているカラー拡散値パターンから各ピクセルのカラー拡散値Ｄを求め、そのカラー拡散値Ｄをピクセルの色情報（Ｒ，Ｇ，Ｂ）に足し込むことによりピクセルの位置情報を新たな色情報に変更する。ここで、カラー拡散値Ｄとは、誤差拡散処理の際に各ピクセルの色情報に足しあわされる誤差値のことを指す。この誤差拡散処理は、ピクセルのΔＺ値をもとに行われるが、これについては後に詳述する。
【００６８】
カラー拡散値パターンテーブル１３は、カラー拡散値Ｄのパターンテーブルであり、例えば、ＲＡＭなどに記憶されている。また、このカラー拡散値パターンテーブル１３へは、レンダリング装置３の外部からデータＤＡＴＡ´を入力できるようになっており、画像処理の実施者が、所望の誤差拡散が得られるように、カラー拡散値パターンを変更することが可能となっている。
【００６９】
ピクセル描画処理後段装置８は、誤差拡散処理装置１２から誤差拡散処理が施されたピクセルの色情報が入力され、ピクセル描画処理前段装置４から残りの画素情報（位置情報（Ｘ，Ｙ）、奥行き情報（Ｚ値）および属性）が入力される。そして、このピクセルの画素情報をもとに陰面消去などのフラグメント処理を行う。
【００７０】
表示装置コントローラ１０は、表示装置１１へ１フレーム分の画像データを出力した際、フレームを切り替えたことを示すフレーム切り替え情報ＳＹＮＣを誤差拡散処理装置１２へとフィードバックさせる。誤差拡散処理装置１２は、このフレーム切り替え情報ＳＹＮＣを受け、フレームごとに誤差拡散処理に用いるカラー拡散値パターンを変更する。
【００７１】
続いて、誤差拡散処理装置１２が行う誤差拡散処理について説明を加え、この誤差拡散処理によって、どのように被写界深度効果が得られるかを説明する。以下、誤差拡散処理装置１２が行う誤差拡散処理を手順に沿って説明する。
【００７２】
まず、誤差拡散処理装置１２は、あらかじめ設定された２つの境界値Ｚｔｈ１、Ｚｔｈ２と入力されたピクセルのΔＺ値との大小を比較する。これにより、ピクセルのΔＺ値が３つの領域（｜ΔＺ｜＜Ｚｔｈ１，Ｚｔｈ１＜｜ΔＺ｜＜Ｚｔｈ２，Ｚｔｈ２＜｜ΔＺ｜）のどの領域に属するかが判断され、焦点位置からのずれ（ΔＺ値）をもとに各ピクセルが３種類に分類される。
【００７３】
この分類の結果、ΔＺ値が｜ΔＺ｜＜Ｚｔｈ１であるとき、すなわち、焦点位置からのずれが非常に小さいときには、ピクセルの色情報（Ｒ，Ｇ，Ｂ）を変更せず、誤差拡散処理装置１２は、入力された色情報（Ｒ，Ｇ，Ｂ）を、そのまま、後段のピクセル描画処理後段装置８へと出力する。
【００７４】
一方、ΔＺ値が、Ｚｔｈ１＜｜ΔＺ｜＜Ｚｔｈ２、または、Ｚｔｈ２＜｜ΔＺ｜のときには、それぞれ、カラー拡散値パターンテーブル１３内の複数のカラー拡散値パターンから別々のカラー拡散値パターンを選択し、そのカラー拡散値パターンを用いてカラー拡散値Ｄを求め、ピクセルの色情報を新たな色情報へと変更する。
【００７５】
具体的には、ΔＺ値がＺｔｈ１＜｜ΔＺ｜＜Ｚｔｈ２であるとき、すなわち、焦点位置からのずれが比較的小さいときには、２次元画面全体を縦２ピクセル×横２ピクセルのマトリクス単位で区切り、このマトリクスに図６（ａ）に示す位置拡散値パターンを適用することでカラー拡散値Ｄを求め、色情報の変更を行う。
【００７６】
また、ΔＺ値がＺｔｈ２＜｜ΔＺ｜であるとき、すなわち、焦点位置からのずれが比較的大きいときには、２次元画面全体を縦４ピクセル×横４ピクセルのマトリクス単位で区切り、このマトリクスに図６（ｂ）に示す位置拡散値パターンを適用することでカラー拡散値Ｄを求め、色情報の変更を行う。
【００７７】
カラー拡散値パターンテーブル１３には、パターンテーブル内の下位値ごとにカラー拡散値Ｄが設定されている。例えば、図６（ａ）に示すカラー拡散値パターンでは、下位値が（Ｘ´，Ｙ´）＝（００，００）のピクセルは、カラー拡散値がＤ＝１と設定されている。これにより、ピクセルの位置情報（Ｘ値，Ｙ値）から、当該ピクセルのカラー拡散値パターンでの対応箇所（下位値）を求めることで、カラー拡散値Ｄを一意に求めることができる。
【００７８】
次に、このように求めたカラー拡散値Ｄを誤差として色情報（Ｒ，Ｇ，Ｂ）に足し合わせ、その後、色情報の下位ビットを切り捨てる。例えば、誤差拡散処理の対象とするピクセルが、８ビット表示でＲ＝１１１０１１０１（２進数）という色情報を持っており、図６（ｂ）のカラー拡散値パターンにおける下位値が（Ｘ´，Ｙ´）＝（００，０１）である場合は、カラー拡散値Ｄ＝４（１０進数）＝１００（２進数）を色情報に足し合わせ（１１１０１１０１＋１００＝１１１１０００１）、更に、その下位３ビットを切り捨てる。これにより、このピクセルの色情報（Ｒ）は１１１１０と変更される。
【００７９】
カラー拡散値Ｄは、カラー拡散値パターンの中で下位値ごとに異なる値をとるので、この誤差拡散処理により、パターンの範囲内でピクセルの色情報への誤差（カラー拡散値Ｄ）の拡散が行われ、パターン内で色情報が均一化される。これにより、色のトーン差によるオブジェクトの輪郭をぼやけさせて表現することができる。
【００８０】
ここで、図６（ａ）のカラー拡散値パターンと図６（ｂ）に示すカラー拡散値パターンとを比較すると、図６（ａ）のカラー拡散値パターンでは、縦２ピクセル×横２ピクセルのマトリクス内で色情報が均一化されるのに対し、図６（ｂ）のカラー拡散値パターンでは、縦４ピクセル×横４ピクセルのマトリクス内で色情報が均一化される。つまり、図６（ｂ）に示すカラー拡散値パターンを用いた方が広い範囲で色情報が均一化される。このように、焦点からのずれ（ΔＺ）が大きいピクセルには、広い範囲で色情報が均一化されるパターン（例えば、図６（ｂ））を用い、逆に、焦点からのずれ（ΔＺ）が小さいピクセルには、比較的狭い範囲で色情報が均一化されるパターン（例えば、図６（ａ））を用いることで、誤差拡散の範囲をΔＺの大小に対応させ、焦点からのずれに対応したぼかし処理を行うことができる。
【００８１】
以上において説明した本実施の形態に係る画像処理装置は、オブジェクトの焦点からのずれ（ΔＺ値）に対応した誤差により誤差拡散処理を行うことにより被写界深度処理を施している。このため、被写界深度処理により遠近感を強調することで３Ｄグラフィックスの立体感を強調することができる。
【００８２】
本実施の形態に係る画像処理装置は、レンダリング処理の途中段階においてぼかし処理であるピクセルの誤差拡散を行っており、１回のピクセル描画により被写界深度処理を実現できる。このため、他の被写界深度処理方法による画像処理装置と比較して、演算コストを削減することができ、より多くのピクセル数のピクセル描画処理を行い、高画質なＣＧ画像を得ることができる。
【００８３】
更に、本実施の形態に係る画像処理装置は、１回のピクセル描画により被写界深度処理を実現しているため、１回の描画コマンドセットにより当該画像処理装置の動作を制御することが可能であり、被写界深度処理を導入することで画像処理装置の動作制御が複雑にならない。
【００８４】
更にまた、本実施の形態に係る画像処理装置は、フレーム１枚分のピクセル描画が完成した時点で被写界深度処理を施したＣＧ画像が得られるため、フィルタリング処理による被写界深度処理とは異なり、フィルタリング処理の演算結果を記憶保持しておくメモリを必要としない。よって、より少ないメモリ容量のハードウェアにおいて被写界深度処理を実現できる。
【００８５】
更に、複数のフレームに渡って、同一のカラー拡散値パターンのセットを用いてピクセルの位置拡散処理を行うと、その処理により得られたＣＧ画像は、誤差拡散の規則性が反映された不自然なものとなる可能性がある。しかし、本実施の形態に係る画像処理装置は、表示装置コントローラ１０から誤差拡散処理装置１２へのフレーム切り替え情報ＳＹＮＣのフィードバックにより、１フレームごとにカラー拡散値パターンを変更している。一般的に、表示装置１１に表示される画像は２０〜３０フレーム／秒であり、肉眼では１フレームごとではなく複数のフレームが重なったものとして認識される。このため、カラー拡散値パターンが１フレームごとに変化することにより、表示装置１１に表示された際に観測者にピクセルの位置拡散の規則性が認識されにくく、自然な被写界深度効果を得ることができる。
【００８６】
次に、図７および図８を用いて、本実施の形態に係る画像処理方法について説明する。なお、本実施の形態に係る画像処理方法は、図３のステップＳ１５をステップＳ２５で置き換え、更に、第１の実施の形態の説明において図４を参照して説明したピクセルの位置拡散処理（図４のステップＳ１２ｃ）を誤差拡散処理（ステップＳ２２ｃ）に置き換えたものであり、他のステップは同一である。よって、ここでは、第１の実施の形態に係る画像処理方法と共通するステップについては、その説明を省略する。
【００８７】
図７は、本実施の形態に係る画像処理方法をステップ順に示すフローチャートである。ステップＳ２２におけるレンダリング処理は、誤差拡散処理によるオブジェクトのぼかし処理を含んでいる。また、この誤差拡散処理において用いられるカラー拡散値パターンは、ステップＳ２５において、１フレーム分のピクセル描画が完成する度に、表示装置コントローラ１０からのフレーム切り替え情報ＳＹＮＣなどをもとに変更される。
【００８８】
次に、図７のステップＳ２２で行うレンダリング処理について、レンダリング処理をステップ順に示すフローチャートである図８を参照して説明する。
【００８９】
本実施の形態のレンダリング処理においては、ステップＳ２２ｂで求めたΔＺ値をもとに、誤差拡散処理を行う（Ｓ２２ｃ）。この誤差拡散処理は、まず、ΔＺ値をもとに、ピクセルの色情報（Ｒ，Ｇ，Ｂ）を変更するか否かを決定する。次に、色情報を変更する場合は、更に、ΔＺ値に基づいて、あらかじめ用意された複数のカラー拡散値パターンの中から一つのカラー拡散値パターンを選択し、このカラー拡散値パターンを用いてカラー拡散値Ｄを求める。このとき、ΔＺ値が大きい場合には、広い範囲で色情報が均一化されるカラー拡散値パターン（例えば、図６（ｂ））を用い、逆に、ΔＺ値が小さいピクセルには、比較的狭い範囲で色情報が均一化されるカラー拡散値パターン（例えば、図６（ａ））を用いる。そして、得られたカラー拡散値Ｄをもとに各ピクセルの色情報（Ｒ，Ｇ，Ｂ）を新しい色情報へと変更する。そして、この色情報が変更されたピクセルの画素情報をもとに、陰面消去などのフラグメント処理を行われる（Ｓ２２ｄ）。
【００９０】
以上において説明した本実施の形態に係る画像処理方法は、オブジェクトの焦点からのずれ（ΔＺ値）に対応した誤差により誤差拡散処理を行うことで被写界深度処理を施している。このため、被写界深度処理により遠近感を強調することで３Ｄグラフィックスの立体感を強調することができる。
【００９１】
また、本実施の形態に係る画像処理方法は、レンダリング処理の途中段階においてぼかし処理である誤差拡散処理を行っているため、１回のピクセル描画により被写界深度処理を実現できる。このため、他の画像処理方法と比較して、演算コストを削減することができる。
【００９２】
また、本実施の形態に係る画像処理方法は、表示装置コントローラ１０から誤差拡散処理装置１２へのフレーム切り替え情報ＳＹＮＣのフィードバックにより、１フレームごとにカラー拡散値パターンを変更している。このため、より自然なぼかし効果を得ることができる。
【００９３】
なお、本実施の形態の画像処理装置および画像処理方法の説明において、カラー拡散値パターンの一例を図６に示したが、これはあくまでも一例であり、カラー拡散値パターンはこれらに限定されない。
【００９４】
また、本実施の形態の画像処理装置および画像処理方法は、焦点からのずれ（ΔＺ値）を境界値Ｚｔｈ１、Ｚｔｈ２により分類し、色情報を変更するか否か、また、変更する場合は、２つのカラー拡散値パターンのうちのどちらのパターンを適用するかを決定しているが、このＺｔｈ１、Ｚｔｈ２以外に更に境界値を設定し、３つ以上のカラー拡散値パターンから選択するようにしても構わない。また、境界値を１つだけ設定し、その境界値とΔＺ値との比較により、色情報を変更するか否かのみを決定しても構わない。すなわち、ΔＺ値の大小に対応した誤差拡散処理が行われさえすれば良い。
【００９５】
更に、本実施の形態に係る画像処理装置および画像処理方法は、誤差拡散処理において、カラー拡散値Ｄを誤差として色情報（Ｒ，Ｇ，Ｂ）に足し合わせた後、色情報の下位ビットを切り捨てているが、この下位ビットの切捨ては、必ずしも必要ではない。下位ビットを切捨てなくとも、カラー拡散値Ｄの色情報（Ｒ，Ｇ，Ｂ）への足し合わせのみでオブジェクトのぼかし処理を実現できる。
【００９６】
更にまた、本実施の形態に係る画像処理装置および画像処理方法は、色情報をＲ，Ｇ，Ｂの三色で構成した場合を示したが、第１の実施の形態同様、これに限られず、ピクセルの色情報が単色で構成されている場合でも構わない。
【００９７】
更に、本実施の形態に係る画像処理装置においては、グラフィックスメモリ９および表示装置コントローラ１０がレンダリング装置３内に設けられているが、第１の実施の形態同様、これらのグラフィックスメモリ９および表示装置コントローラ１０は、レンダリング装置３とは独立に構成されていても構わない。これと同様に、本実施の形態に係る画像処理装置においては、ＣＰＵ１が独立に構成されているが、これに限られず、ＣＰＵ１がレンダリング装置３内に設けられていても構わない。
（第３の実施の形態）
以下に、本発明に係る画像処理装置および画像処理方法についての第３の実施の形態を図９乃至１１を参照しながら説明する。
【００９８】
本実施の形態に係る画像処理装置の構造を図９に示す。なお、本実施の形態に係る画像処理装置は、第１および第２の実施の形態において説明した、位置拡散処理装置６、位置拡散値パターンテーブル７、誤差拡散処理装置１２、および、カラー拡散値パターンテーブル１３のすべてを備えたものであり、他の構成要素については、第１および第２の実施の形態において説明したものと同一である。よって、ここでは、共通する部分については、説明を省略する。
【００９９】
位置拡散処理装置６は、相対位置演算装置５から入力された各ピクセルのΔＺ値とピクセル描画処理前段装置４から入力された各ピクセルの位置情報（Ｘ値，Ｙ値）をもとに、位置拡散処理を行う回路である。この位置拡散処理は、第１の実施の形態において説明したものと同一である。
【０１００】
位置拡散値パターンテーブル７は、位置拡散値（ΔＸ値，ΔＹ値）のパターンテーブルであり、例えば、ＲＡＭなどに記憶されている。また、この位置拡散値パターンテーブル７へは、レンダリング装置３の外部からデータＤＡＴＡを入力できるようになっており、画像処理の実施者が、所望のピクセルの位置拡散が得られるように、位置拡散値パターンを変更することが可能となっている。
【０１０１】
誤差拡散処理装置１２は、相対位置演算装置５から入力された各ピクセルのΔＺ値とピクセル描画処理前段装置４から入力された位置情報（Ｘ値，Ｙ値）をもとに、誤差拡散処理を行う回路である。この誤差拡散処理は、第２の実施の形態において説明したものと同一である。
【０１０２】
カラー拡散値パターンテーブル１３は、カラー拡散値Ｄのパターンテーブルであり、例えば、ＲＡＭなどに記憶されている。また、このカラー拡散値パターンテーブル１３へは、レンダリング装置３の外部からデータＤＡＴＡ´を入力できるようになっており、画像処理の実施者が、所望のピクセルの誤差拡散が得られるように、カラー拡散値パターンを変更することが可能となっている。
【０１０３】
ピクセル描画処理後段装置８は、位置拡散処理装置６から位置拡散処理が施されたピクセルの位置情報が入力され、誤差拡散処理装置１２から誤差拡散処理が施されたピクセルの色情報が入力され、更に、ピクセル描画処理前段装置４から残りの画素情報（奥行き情報（Ｚ値）および属性）が入力される。そして、このピクセルの画素情報をもとに陰面消去などのフラグメント処理を行う。
【０１０４】
本実施の形態に係る画像処理装置は、オブジェクトの焦点からのずれ（ΔＺ値）に対応して画像データ上でのピクセル位置を拡散し、更に、ΔＺ値に対応した誤差により誤差拡散処理を行っている。そのため、より自然な被写界深度処理を施すことができる。
【０１０５】
また、本実施の形態に係る画像処理装置は、第１および第２の実施の形態と同様の効果を得ることができる。
【０１０６】
次に、図１０および図１１を用いて、本実施の形態に係る画像処理方法について説明する。なお、本実施の形態に係る画像処理方法は、レンダリング処理において位置拡散処理と誤差拡散処理とを行うものであり、他のステップは第１および第２の実施の形態と同一である。よって、ここでは、その説明を省略する。
【０１０７】
図１０は、本実施の形態に係る画像処理方法をステップ順に示すフローチャートである。ステップＳ３２におけるレンダリング処理は、位置拡散処理と誤差拡散処理によるオブジェクトのぼかし処理を含んでいる。また、これらの処理に用いられる位置拡散値パターンおよびカラー拡散値パターンは、ステップＳ３５において、１フレーム分のピクセル描画が完成する度に、表示装置コントローラ１０からのフレーム切り替え情報ＳＹＮＣなどをもとに変更される。
【０１０８】
次に、図１０のステップＳ３２で行うレンダリング処理について、レンダリング処理をステップ順に示すフローチャートである図１１を用いて説明する。
【０１０９】
本実施の形態のレンダリング処理においては、ステップＳ３２ｂで求めたΔＺ値をもとに、位置拡散処理を行っている（Ｓ３２ｃ）。この誤差拡散処理は、第１の実施の形態において説明したものと同一である。更に、ΔＺ値をもとに、誤差拡散処理を行う（Ｓ３２ｄ）。この誤差拡散処理は、第２の実施の形態において説明したものと同一である。そして、この処理が施されたピクセルの画素情報をもとに、陰面消去などのフラグメント処理を行われる（Ｓ３２ｅ）。
【０１１０】
以上において説明した本実施の形態に係る画像処理方法は、オブジェクトの焦点からのずれ（ΔＺ値）に対応してピクセル位置を拡散し、更に、誤差拡散処理を行っている。これにより、より自然な被写界深度処理を施すことができる。
【０１１１】
また、本実施の形態に係る画像処理方法は、第１および第２の実施の形態と同様の効果を得ることができる。
【０１１２】
なお、本実施の形態に係る画像処理方法においては、位置拡散処理（Ｓ３２ｃ）を行った後、誤差拡散処理（Ｓ３２ｄ）を行っているが、この順序は逆でもよい。すなわち、これらの２つの処理が行われた後に、陰面処理など（Ｓ３２ｅ）が行われればよく、その順序は問わない。
【０１１３】
本発明は、実施段階ではその要旨を変更しない範囲で種々に変形することが可能である。
【０１１４】
例えば、本発明の実施の形態においては、ピクセルの画素情報のうち、位置情報、色情報、または、それらの両方を変更することで、被写界深度効果を実現しているが、画素情報のうちの他の情報（例えば、属性など）を変更しても構わない。すなわち、各ピクセルの焦点位置からのずれ（ΔＺ）の大小に対応した変更幅で、各ピクセルの画素情報が変更されればよい。なお、この画素情報の変更に際しては、第１乃至３の実施の形態の説明で示したように、位置情報の変更には位置拡散値パターンを用い、色情報の変更にはカラー拡散値パターンを用いる。このように、変更する画素情報に対応した画素情報拡散値パターンを用いて画素情報を変更するものとする。
【０１１５】
以上、詳述したように、本発明に係る画像処理装置および画像処理方法の特徴をまとめると以下の通りになる。
【０１１６】
本発明に係る画像処理装置は、ポリゴンの頂点情報が入力され、この頂点情報からポリゴン内のピクセルごとに画素情報を算出するピクセル描画処理前段装置と、前記ピクセル描画処理前段装置から各ピクセルの奥行き情報が入力され、この奥行き情報と焦点位置との差をピクセルごとに算出する相対位置演算装置と、前記相対位置演算装置により算出した各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報を変更するか否かをピクセルごとに決定し、変更する場合、変更する画素情報に対応した画素情報拡散値パターンをもとにピクセルの画素情報を変更して出力し、変更しない場合、ピクセルの画素情報を変更せずに出力する画素情報拡散処理装置と、前記画素情報拡散処理装置から入力された各ピクセルの画素情報を用いてピクセルごとに陰面消去を行うピクセル描画処理後段装置とを具備することを特徴としている。
【０１１７】
また、本発明に係る画像処理装置は、ポリゴンの頂点情報を算出するＣＰＵと、前記ＣＰＵからポリゴンの頂点情報が入力され、この頂点情報からポリゴン内のピクセルごとに画素情報を算出するピクセル描画処理前段装置と、前記ピクセル描画処理前段装置から各ピクセルの奥行き情報が入力され、この奥行き情報と焦点位置との差をピクセルごとに算出する相対位置演算装置と、前記相対位置演算装置により算出した各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報を変更するか否かをピクセルごとに決定し、変更する場合、変更する画素情報に対応した画素情報拡散値パターンをもとにピクセルの画素情報を変更して出力し、変更しない場合、ピクセルの画素情報を変更せずに出力する画素情報拡散処理装置と、前記画素情報拡散処理装置から入力された各ピクセルの画素情報を用いてピクセルごとに陰面消去を行うピクセル描画処理後段装置と、前記ピクセル描画処理後段装置から各ピクセルの画素情報が入力され、この画素情報を記憶保持するグラフィックスメモリと、前記グラフィックスメモリから各ピクセルの画素情報が入力され、この画素情報を画像表示用信号へ変換する表示装置コントローラとを具備することを特徴としている。
【０１１８】
更に、本発明に係る画像処理方法は、入力されたポリゴンの頂点情報からポリゴン内のピクセルごとに画素情報を算出するピクセル描画前段ステップと、前記ピクセル描画前段ステップにより得られた各ピクセルの奥行き情報と焦点位置との差をピクセルごとに算出する相対位置演算ステップと、前記相対位置演算ステップにより得られた各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報を変更するか否かをピクセルごとに決定し、変更する場合、変更する画素情報に対応した画素情報拡散値パターンをもとにピクセルの画素情報を変更し、変更しない場合、ピクセルの画素情報を維持する画素情報拡散ステップと、前記画素情報拡散ステップにより処理された各ピクセルの画素情報を用いてピクセルごとに陰面消去を行うピクセル描画後段ステップとを具備することを特徴としている。
【０１１９】
更に、本発明に係る画像処理装置は、前記画素情報拡散処理装置が、前記相対位置演算装置により算出した各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報のうちの位置情報を変更するか否かをピクセルごとに決定し、変更する場合、位置拡散値パターンをもとにピクセルの位置情報を変更することを特徴としている。
【０１２０】
更に、本発明に係る画像処理装置は、前記画素情報拡散処理装置が、前記相対位置演算装置により算出した各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報のうちの色情報を変更するか否かをピクセルごとに決定し、変更する場合、カラー拡散値パターンをもとにピクセルの色情報を変更することを特徴としている。
【０１２１】
更に、本発明に係る画像処理装置は、前記画素情報拡散処理装置が、前記相対位置演算装置により算出した各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報のうちの位置情報および色情報を変更するか否かをピクセルごとに決定し、変更する場合、位置拡散値パターンをもとにピクセルの位置情報を変更し、更に、カラー拡散値パターンをもとにピクセルの色情報を変更することを特徴としている。
【０１２２】
更に、本発明に係る画像処理方法は、前記画素情報拡散ステップが、前記相対位置演算ステップにより得られた各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報のうちの位置情報を変更するか否かをピクセルごとに決定し、変更する場合、位置拡散値パターンをもとにピクセルの位置情報を変更することを特徴としている。
【０１２３】
更に、本発明に係る画像処理方法は、前記画素情報拡散ステップが、前記相対位置演算ステップにより得られた各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報のうちの色情報を変更するか否かをピクセルごとに決定し、変更する場合、カラー拡散値パターンをもとにピクセルの色情報を変更することを特徴としている。
【０１２４】
更に、本発明に係る画像処理方法は、前記画素情報拡散ステップが、前記相対位置演算ステップにより得られた各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報のうちの位置情報および色情報を変更するか否かをピクセルごとに決定し、変更する場合、位置拡散値パターンをもとにピクセルの位置情報を変更し、更に、カラー拡散値パターンをもとにピクセルの色情報を変更することを特徴としている。
【０１２５】
更に、本発明に係る画像処理装置は、前記画素情報拡散処理装置が、ピクセルの位置情報の変更に用いる前記位置拡散値パターンを、各ピクセルの奥行き情報と焦点位置との差をもとに複数の位置拡散値パターンから選択することを特徴としている。
【０１２６】
更に、本発明に係る画像処理装置は、前記画素情報拡散処理装置が、ピクセルの色情報の変更に用いる前記カラー拡散値パターンを、各ピクセルの奥行き情報と焦点位置との差をもとに複数のカラー拡散値パターンから選択することを特徴としている。
【０１２７】
更に、本発明に係る画像処理方法は、前記画素情報拡散ステップにおいて、ピクセルの位置情報の変更に用いる前記位置拡散値パターンを、各ピクセルの奥行き情報と焦点位置との差をもとに複数の位置拡散値パターンから選択することを特徴としている。
【０１２８】
更に、本発明に係る画像処理方法は、前記画素情報拡散ステップにおいて、ピクセルの色情報の変更に用いる前記カラー拡散値パターンを、各ピクセルの奥行き情報と焦点位置との差をもとに複数のカラー拡散値パターンから選択することを特徴としている。
【０１２９】
更に、本発明に係る画像処理装置は、前記画素情報拡散処理装置が、ピクセルの位置情報の変更に用いる前記位置拡散値パターンをフレーム単位で変更することを特徴としている。
【０１３０】
更に、本発明に係る画像処理装置は、前記画素情報拡散処理装置が、ピクセルの色情報の変更に用いる前記カラー拡散値パターンをフレーム単位で変更することを特徴としている。
【０１３１】
更に、本発明に係る画像処理方法は、前記画素情報拡散ステップにおいて用いられる前記位置拡散値パターンをフレーム単位で変更することを特徴としている。
【０１３２】
更に、本発明に係る画像処理方法は、前記画素情報拡散ステップにおいて用いられる前記カラー拡散値パターンをフレーム単位で変更することを特徴としている。
【０１３３】
【発明の効果】
以上述べたように、本発明によれば、得られる画像の画質を維持しつつ、低い演算コストで被写界深度処理を実現する画像処理装置および画像処理方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る画像処理装置の構成図。
【図２】本発明の第１の実施の形態に係る画像処理装置および画像処理方法において、ピクセルの位置拡散処理に用いる位置拡散値パターン。
【図３】本発明の第１の実施の形態に係る画像処理方法の手順を示すフローチャート。
【図４】本発明の第１の実施の形態に係るレンダリング処理の手順を示すフローチャート。
【図５】本発明の第２の実施の形態に係る画像処理装置の構成図。
【図６】本発明の第２の実施の形態に係る画像処理装置および画像処理方法において、誤差拡散処理に用いるカラー拡散値パターン。
【図７】本発明の第２の実施の形態に係る画像処理方法の手順を示すフローチャート。
【図８】本発明の第２の実施の形態に係る画像処理方法における、レンダリング処理の手順を示すフローチャート。
【図９】本発明の第３の実施の形態に係る画像処理装置の構成図。
【図１０】本発明の第３の実施の形態に係る画像処理方法の手順を示すフローチャート。
【図１１】本発明の第３の実施の形態に係る画像処理方法における、レンダリング処理の手順を示すフローチャート。
【図１２】従来の画像処理方法における、被写界深度処理方法の手順を示すフローチャート。
【符号の説明】
１…ＣＰＵ
２…システムバス
３…レンダリング装置
４…ピクセル描画処理前段装置
５…相対位置演算装置
６…位置拡散処理装置
７…位置拡散値パターンテーブル
８…ピクセル描画処理後段装置
９…グラフィックスメモリ
１０…表示装置コントローラ
１１…表示装置
１２…誤差拡散処理装置
１３…カラー拡散値パターンテーブル
【発明の属する技術分野】
本発明は、３Ｄグラフィックスの画像処理に関し、特に、被写界深度処理を含む画像処理を行う画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
３Ｄグラフィックス処理において被写界深度処理という特殊処理がある。この技法は、カメラの焦点からずれたオブジェクトをぼかして描画することにより、遠近感を増大させるという効果を与える技法であり、この技法を用いて遠近感を増大させることで、３Ｄグラフィックスの立体感を強調することができる。
【０００３】
この被写界深度処理方法の一つとして、焦点を特定の位置に固定した状態でカメラの視点を変えて複数の描画面を生成し、その複数の描画面を一枚のフレームバッファに描画することにより、目的の画像を得る方法がある。
【０００４】
この方法においては、視点をずらして得る描画面数Ｎ（Ｎは自然数）を増やすことにより、適宜、被写界深度効果を増大させることが可能である。しかし、被写界深度処理を施した一画面を完成させるために、視点をＮ回ずらしてＮ画面分描画しなくてはならず、Ｎ倍の演算コストを必要としてしまう。
【０００５】
このような背景から、より簡便な処理により被写界深度効果を得る方法が提案されている（例えば、特許文献１、２参照）。この従来の被写界深度処理方法のフローチャートを図１２に示す。
【０００６】
まず、３次元演算処理によりポリゴンの頂点情報を求める（Ｓ１０１）。そして、この頂点情報をもとにレンダリング処理を行い、コンピュータ・グラフィックス（ＣＧ）画像を構成するピクセルの描画を行う（Ｓ１０２）。このレンダリング処理では、ポリゴンの頂点情報からピクセルへのラスタ化処理が行われた後、テクスチャマッピング、Ｚバッファ処理などの処理が、各ピクセルごとにパイプラインで実行される。
【０００７】
レンダリング処理（Ｓ１０２）は、ステップＳ１０１において頂点情報が算出されたポリゴン内のすべてのピクセルが描画されるまで繰り返し行う（Ｓ１０３）。そして、ポリゴン内のピクセル描画が終了した際、同一フレームの他のポリゴンのピクセル描画が終了していない場合は、ステップＳ１０１に戻り、他のポリゴンについてステップＳ１０１からＳ１０３までの処理を繰り返す（Ｓ１０４）。これにより、１フレーム分のピクセル描画が完成する。
【０００８】
次に、ステップＳ１０４で得られた画像データの各ピクセルの奥行き情報と焦点位置との差などをもとにフィルタリング処理を行う（Ｓ１０５）。例えば、注目ピクセルの奥行き情報と焦点位置との差からぼかし範囲を求め、注目ピクセルの色情報とその注目ピクセルのぼかし範囲に含まれる周辺ピクセルの色情報との加重平均により注目ピクセルの色情報を算出する。このとき、焦点位置との差が大きいときは、ぼかし範囲を大きくとることで、注目ピクセルの色情報が周辺ピクセルの色情報の影響を大きく受けるようにし、一方、焦点位置との差が小さいときは、ぼかし半径を小さくとることで、注目ピクセルに対する周辺ピクセルの色情報の影響が比較的小さくなるようにする。
【０００９】
このフィルタリング処理はピクセルごとに繰り返し行われ（Ｓ１０６）、これを繰り返すことにより、新規な画像データが構成される。そして、フレームが複数の場合は、以上のステップＳ１０１からステップＳ１０６までの処理を各フレームごとに繰り返す（Ｓ１０７）。
【特許文献１】
特開昭６３−２５９７７８号公報（第３〜５頁、図２および３）
【特許文献２】
特開２０００−３２２５９４号公報（第２〜４頁、図５および６）
【００１０】
【発明が解決しようとする課題】
一般に、ＣＲＴなどの表示装置にＣＧ画像を表示させる場合、毎秒２０〜３０フレームのＣＧ画像が連続して表示される。このため、画像処理装置には、表示装置の表示スピードに合わせて、ＣＧ画像を作成することが求められる。つまり、画像処理装置には、１フレーム当たりの画像処理をある限られた時間内で行わなければならないという時間的制約が課せられる。
【００１１】
画像処理装置が行える１フレーム当たりの画像処理の処理量が多い程、より多くのピクセル数のピクセル描画を行うことができ、画像の画質を向上させることができる。しかし、上記の時間的制約から、画像処理装置が行える１フレーム当たりの処理量は、一定量に限られる。
【００１２】
従来の被写界深度処理方法は、テクスチャ処理や陰面消去などのレンダリング処理が行われ、１画面分のピクセル描画が完成した後でなければ、注目ピクセルに対する周辺ピクセルの画素情報が確定せず、フィルタリング処理を行うことができなかった。
【００１３】
そのために、従来のフィルタリングによる被写界深度処理方法は、まず、１画面分の画像データを構成し、その後、その画像データを再び読み出して演算処理を行い、新規な画像データを構成していた。つまり、１画面分の画像データを得るのに２回のピクセル描画（ステップＳ１０１〜Ｓ１０４からなる１回目のピクセル描画と、ステップＳ１０５およびＳ１０６からなる２回目のピクセル描画）を必要としていた。そして、このことが、被写界深度処理にかかる画像処理の処理量を高いものとしていた。
【００１４】
このため、従来の被写界深度処理方法では、被写界深度処理を導入すると、画像処理全体の演算コスト（単位フレーム当たりの画像処理を行うために必要な処理時間）が上昇してしまい、その上昇分の演算コストを削除するために、描画するピクセル数を減らし画質を犠牲にせざるを得なかった。また、画質を犠牲にすることで演算コストを削減したとしても、最低限の画質を維持する必要があるため、描画ピクセル数の低減による演算コストの削減には限界があり、テクスチャマッピングなどの他の処理を行う場合に対応することができなかった。
【００１５】
このようなことから、より高画質なＣＧ画像を得るために、被写界深度処理にかかる画像処理の処理量を低減し、画像処理の演算コストを下げることが求められている。
【００１６】
本発明は、以上の背景からなされたもので、得られる画像の画質を維持しつつ、低い演算コストで被写界深度処理を実現する画像処理装置および画像処理方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
上記目的を達成させるために、本発明に係る画像処理装置は、ポリゴンの頂点情報が入力され、この頂点情報からポリゴン内のピクセルごとに画素情報を算出するピクセル描画処理前段装置と、前記ピクセル描画処理前段装置から各ピクセルの奥行き情報が入力され、この奥行き情報と焦点位置との差をピクセルごとに算出する相対位置演算装置と、前記相対位置演算装置により算出した各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報を変更するか否かをピクセルごとに決定し、変更する場合、変更する画素情報に対応した画素情報拡散値パターンをもとにピクセルの画素情報を変更して出力し、変更しない場合、ピクセルの画素情報を変更せずに出力する画素情報拡散処理装置と、前記画素情報拡散処理装置から入力された各ピクセルの画素情報を用いてピクセルごとに陰面消去を行うピクセル描画処理後段装置とを具備することを特徴としている。
【００１８】
また、本発明に係る画像処理装置は、ポリゴンの頂点情報を算出するＣＰＵと、前記ＣＰＵからポリゴンの頂点情報が入力され、この頂点情報からポリゴン内のピクセルごとに画素情報を算出するピクセル描画処理前段装置と、前記ピクセル描画処理前段装置から各ピクセルの奥行き情報が入力され、この奥行き情報と焦点位置との差をピクセルごとに算出する相対位置演算装置と、前記相対位置演算装置により算出した各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報を変更するか否かをピクセルごとに決定し、変更する場合、変更する画素情報に対応した画素情報拡散値パターンをもとにピクセルの画素情報を変更して出力し、変更しない場合、ピクセルの画素情報を変更せずに出力する画素情報拡散処理装置と、前記画素情報拡散処理装置から入力された各ピクセルの画素情報を用いてピクセルごとに陰面消去を行うピクセル描画処理後段装置と、前記ピクセル描画処理後段装置から各ピクセルの画素情報が入力され、この画素情報を記憶保持するグラフィックスメモリと、前記グラフィックスメモリから各ピクセルの画素情報が入力され、この画素情報を画像表示用信号へ変換する表示装置コントローラとを具備することを特徴としている。
【００１９】
更に、本発明に係る画像処理方法は、入力されたポリゴンの頂点情報からポリゴン内のピクセルごとに画素情報を算出するピクセル描画前段ステップと、前記ピクセル描画前段ステップにより得られた各ピクセルの奥行き情報と焦点位置との差をピクセルごとに算出する相対位置演算ステップと、前記相対位置演算ステップにより得られた各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報を変更するか否かをピクセルごとに決定し、変更する場合、変更する画素情報に対応した画素情報拡散値パターンをもとにピクセルの画素情報を変更し、変更しない場合、ピクセルの画素情報を維持する画素情報拡散ステップと、前記画素情報拡散ステップにより処理された各ピクセルの画素情報を用いてピクセルごとに陰面消去を行うピクセル描画後段ステップとを具備することを特徴としている。
【００２０】
【発明の実施の形態】
（第１の実施の形態）
以下に、本発明に係る画像処理装置および画像処理方法についての第１の実施の形態を図１乃至４を参照しながら説明する。
【００２１】
本実施の形態に係る画像処理装置の構成を図１に示す。
【００２２】
一般的に、３次元画像処理は、３次元の座標データを持ったオブジェクトを２次元空間へと投影することにより行われる。この際、オブジェクトの３次元形状はポリゴンと呼ばれる多角形の集合として表現され、このポリゴンごとにＣＰＵ１が光源処理などのジオメトリ処理を行い、２次元空間に投影されたポリゴンの頂点情報を算出する。ここでいう頂点情報とは、色情報（Ｒ，Ｇ，Ｂ）、位置情報（Ｘ値，Ｙ値）、奥行き情報（Ｚ値）および属性（反射・透過属性）などである。この位置情報（Ｘ値，Ｙ値）はポリゴンを２次元空間へと投影することにより得られる画像データ上での座標を示し、奥行き情報（Ｚ値）は視点から奥行き方向への距離を示している。
【００２３】
ＣＰＵ１は、システムバス２を介して、レンダリング装置３内に設けられたピクセル描画処理前段装置４と接続されており、ＣＰＵ１が算出したポリゴンの頂点情報がピクセル描画処理前段装置４へと出力されるようになっている。
【００２４】
ピクセル描画処理前段装置４は、入力されたポリゴンの頂点情報をもとにポリゴン内のピクセルの描画を行う。具体的には、例えば、頂点情報から求めたポリゴンの辺方向の傾きをもとに辺上のピクセルの画素情報（色情報（Ｒ，Ｇ，Ｂ）、位置情報（Ｘ値，Ｙ値）、奥行き情報（Ｚ値）および属性）を求め、続いて、その辺上のピクセルの画素情報からラスタ方向（Ｘ方向）の傾きを算出し、その傾きを用いてポリゴン内部のピクセルの画素情報を求めていく。以下、便宜上、この処理をラスタ化処理と称す。
【００２５】
また、ピクセル画像処理前段装置４はテクスチャ処理を行う機能も備えている。テクスチャ処理とは、以上のピクセル描画で求まったテクスチャアドレスから、その画像に対応したテクスチャ画像を読みこむ処理のことであり、これにより、テクスチャ画像をポリゴンに対応させて貼り付けることができる。
【００２６】
相対位置演算装置５は、ピクセル描画処理前段装置４から各ピクセルのＺ値が入力されるように接続されている。この相対位置演算装置５は、各ピクセルに対して、奥行き方向（Ｚ方向）にあらかじめ設定された焦点位置Ｚ０とＺ値との差（ΔＺ値（＝Ｚ値−Ｚ０））を求め、後段の位置拡散処理装置６にΔＺ値を出力する。
【００２７】
位置拡散処理装置６は、相対位置演算装置５から入力された各ピクセルのΔＺ値とピクセル描画処理前段装置４から入力された各ピクセルの位置情報（Ｘ値，Ｙ値）をもとに、位置拡散処理を行う回路である。位置拡散処理とは、ピクセルの位置情報（Ｘ値，Ｙ値）を変更する処理であり、具体的には、位置拡散値パターンテーブル７に格納されている位置拡散値パターンから各ピクセルの位置拡散値（ΔＸ値，ΔＹ値）を求め、その位置拡散値（ΔＸ値，ΔＹ値）をピクセルの位置情報（Ｘ値，Ｙ値）に足し込むことによりピクセルの位置情報を新たな位置情報（Ｘ＋ΔＸ，Ｙ＋ΔＹ）に変更する処理である。ここで、位置拡散値（ΔＸ値，ΔＹ値）とは、ピクセルの位置情報を変更する際の変更前のピクセル位置（Ｘ，Ｙ）から変更後のピクセル位置（Ｘ＋ΔＸ，Ｙ＋ΔＹ）までの相対位置のことを指す。この位置拡散処理は、ピクセルのΔＺ値をもとに行われるが、これについては後に詳述する。
【００２８】
位置拡散値パターンテーブル７は、位置拡散値（ΔＸ値，ΔＹ値）のパターンテーブルであり、例えば、ＲＡＭなどに記憶されている。また、この位置拡散値パターンテーブル７へは、レンダリング装置３の外部からデータＤＡＴＡを入力でき、画像処理の実施者が、所望のピクセルの位置拡散が得られるように、位置拡散値パターンを変更することが可能となっている。
【００２９】
ピクセル描画処理後段装置８はピクセル描画の残りの処理を行う装置であり、位置拡散処理装置６から位置拡散処理が施されたピクセルの位置情報が入力され、ピクセル描画処理前段装置４から残りの画素情報（色情報（Ｒ，Ｇ，Ｂ）、奥行き情報（Ｚ値）および属性）が入力される。そして、このピクセルの画素情報をもとに陰面消去などのフラグメント処理を行う。陰面消去とは、Ｚ方向において手前にあるオブジェクトが奥にあるオブジェクトを隠すようにオブジェクト間の前後関係を確定する処理である。具体的には、例えば、Ｚバッファメモリに格納された同じ位置情報を持つピクセルのＺ値と比較し、新たに入力されたピクセルのＺ値が小さい場合には、その画素情報を有効としてグラフィックスメモリ９への当該ピクセルの画素情報の書き換えを行い、逆に、新たに入力されたピクセルのＺ値が大きい場合には、その画素情報を無効としてグラフィックスメモリ９への当該ピクセルの画素情報の書き換えを行わないようにする。
【００３０】
グラフィックスメモリ９は、以上の処理により求められたピクセルの画素情報が書き込まれるメモリである。このグラフィックスメモリ９に格納されたピクセルの画素情報は、後段の表示装置コントローラ１０により読み込まれる。また、グラフィックスメモリ９は、ピクセル描画処理後段装置８が陰面消去処理において用いるＺバッファメモリを含んでいる。
【００３１】
表示装置コントローラ１０は、グラフィックスメモリ９から読み込んだピクセルの画素情報を表示装置１１などの外部装置に適応する信号ＧＲに変換し出力する。また、表示装置コントローラ１０は、表示装置１１へ１フレーム分の画像データを出力した際、フレームを切り替えたことを示すフレーム切り替え情報ＳＹＮＣを位置拡散処理装置６へとフィードバックさせる。位置拡散処理装置６は、このフレーム切り替え情報ＳＹＮＣを受け、フレームごとに位置拡散処理に用いる位置拡散値パターンを変更する。
【００３２】
なお、フレームごとに位置拡散値パターンを変更するには、ピクセル描画処理のフレームの切り替えと位置拡散値パターンの変更とを同期させる必要があるが、これは、例えば、ピクセル描画処理中に位置拡散処理装置６へのフレーム切り替え情報ＳＹＮＣの割り込みがあった場合、その割り込みがあったことを記憶しておき、次のフレームのピクセル描画開始時に位置拡散値パターンを変更することで達成される。
【００３３】
表示装置１１は表示装置コントローラ１０より入力された信号をもとに画像を表示する装置である。この表示装置１１には、例えば、ＣＲＴ、テレビ、液晶ディスプレイなどが該当する。
【００３４】
続いて、位置拡散処理装置６が行う位置拡散処理について説明を加え、この位置拡散処理によって、どのように被写界深度効果が得られるかを説明する。以下、位置拡散処理装置６が行う位置拡散処理を手順に沿って説明する。
【００３５】
まず、位置拡散処理装置６は、あらかじめ設定された２つの境界値Ｚｔｈ１、Ｚｔｈ２と入力されたピクセルのΔＺ値（＝Ｚ値−Ｚ０）との大小を比較する。この比較により、ピクセルのΔＺ値が３つの領域（｜ΔＺ｜＜Ｚｔｈ１，Ｚｔｈ１＜｜ΔＺ｜＜Ｚｔｈ２，Ｚｔｈ２＜｜ΔＺ｜）のどの領域に属するかが判断され、ΔＺ値の大小により各ピクセルが３種類に分類される。
【００３６】
この分類の結果、ΔＺ値が｜ΔＺ｜＜Ｚｔｈ１であるとき、すなわち、焦点位置からのずれが非常に小さいときには、位置拡散処理装置６は、ピクセルの位置情報（Ｘ値，Ｙ値）を変更せず、入力された位置情報（Ｘ値，Ｙ値）を、そのまま、後段のピクセル描画処理後段装置８へと出力する。
【００３７】
一方、ΔＺ値が、Ｚｔｈ１＜｜ΔＺ｜＜Ｚｔｈ２、または、Ｚｔｈ２＜｜ΔＺ｜のときには、それぞれ、位置拡散値パターンテーブル７内の２つの位置拡散値パターンから別々の位置拡散値パターンを選択し、その位置拡散値パターンを用いて位置拡散値（ΔＸ，ΔＹ）を求め、ピクセルの位置情報（Ｘ値，Ｙ値）を新たな位置情報（Ｘ＋ΔＸ，Ｙ＋ΔＹ）へと変更する。
【００３８】
具体的には、ΔＺ値がＺｔｈ１＜｜ΔＺ｜＜Ｚｔｈ２であるとき、すなわち、焦点位置からのずれが比較的小さいときには、２次元画面全体を縦２ピクセル×横２ピクセルのマトリクス単位で区切り、このマトリクスに図２（ａ）に示す位置拡散値パターンを適用することで位置拡散値（ΔＸ，ΔＹ）を求め、位置情報の変更を行う。
【００３９】
また、ΔＺ値がＺｔｈ２＜｜ΔＺ｜であるとき、すなわち、焦点位置からのずれが比較的大きいときには、２次元画面全体を縦４ピクセル×横４ピクセルのマトリクス単位で区切り、このマトリクスに図２（ｂ）に示す位置拡散値パターンを適用することで位置拡散値（ΔＸ，ΔＹ）を求め、位置情報の変更を行う。
【００４０】
図２（ａ）および（ｂ）に示す位置拡散値パターン中の矢印は、矢印の始端が変更前のピクセル位置を、終端が変更後のピクセル位置を示している。そして、これらの位置拡散値パターンには、矢印で示したピクセルの位置拡散が行われるように、パターン内の座標（以下、下位値（Ｘ´，Ｙ´））ごとに位置拡散値（ΔＸ，ΔＹ）が設定されている。例えば、図２（ａ）に示す位置拡散値パターンでは、下位値が（Ｘ´，Ｙ´）＝（００，００）のピクセルは、下位値（０１，０１）のピクセルへと位置情報が変更されるように、位置拡散値が（ΔＸ，ΔＹ）＝（０１，０１）と設定されている。これにより、ピクセルの位置情報（Ｘ値，Ｙ値）から、当該ピクセルの位置拡散値パターンでの対応箇所（下位値）を求めることで、位置拡散値（ΔＸ値，ΔＹ値）を一意に求めることができる。
【００４１】
そして、以上のように求まった位置拡散値（ΔＸ値，ΔＹ値）を位置情報（Ｘ値，Ｙ値）へと足し込むことで、位置情報を新しい位置情報（Ｘ＋ΔＸ，Ｙ＋ΔＹ）へと変更する。ここまでが、位置拡散処理装置６が行う位置拡散処理である。
【００４２】
ここで、図２（ａ）の位置拡散値パターンと図２（ｂ）に示す位置拡散値パターンとを比較すると、図２（ａ）の位置拡散値パターンでは縦２ピクセル×横２ピクセルのマトリクス内でピクセル位置が拡散されるのに対し、図２（ｂ）の位置拡散値パターンでは縦４ピクセル×横４ピクセルのマトリクス内でピクセル位置が拡散される。つまり、図２（ｂ）に示す位置拡散値パターンを用いた方が広い範囲でピクセル位置が拡散される。このように、焦点からのずれ（ΔＺ値）が大きいピクセルには、広い範囲でピクセルの位置拡散が行われるパターン（例えば、図２（ｂ））を用い、逆に、焦点からのずれ（ΔＺ値）が小さいピクセルには、比較的狭い範囲でピクセルの位置拡散が行われるパターン（例えば、図２（ａ））を用いることで、ピクセルの位置拡散が行われる範囲の広狭を焦点からのずれ（ΔＺ値）の大小に対応させることができる。つまり、ピクセルの位置拡散による被写界深度処理が可能となる。
【００４３】
以上において説明した本実施の形態に係る画像処理装置は、オブジェクトの焦点からのずれ（ΔＺ値）に対応してピクセル位置を拡散することで被写界深度処理を施している。このため、被写界深度処理により遠近感を強調することで３Ｄグラフィックスの立体感を強調することができる。
【００４４】
また、本実施の形態に係る画像処理装置は、レンダリング処理の途中段階においてぼかし処理であるピクセルの位置拡散を行っており、１回のピクセル描画により被写界深度処理を実現できる。このため、他の被写界深度処理方法による画像処理装置と比較して、演算コストを削減することができ、より多くのピクセル数のピクセル描画処理を行い、高画質なＣＧ画像を得ることができる。
【００４５】
更に、従来の被写界深度処理装置は、１画面分の画像データを得るのに、２回の描画コマンドセットを使用して画像処理装置を制御する必要があった。しかし、本実施の形態に係る画像処理装置は、１回のピクセル描画により被写界深度処理を実現しているため、１回の描画コマンドセットにより当該画像処理装置の動作を制御することが可能である。このため、被写界深度処理を導入することで画像処理装置の動作制御が複雑にならない。
【００４６】
更にまた、従来の被写界深度処理装置は、フィルタリング処理において注目ピクセルの色情報を算出するのに周辺ピクセルの色情報を必要とするため、注目ピクセルの演算が終了した後も、周辺ピクセルの演算に用いられることを考慮して、その注目ピクセルの演算処理前の色情報を記憶しておく必要があった。このため、従来の被写界深度処理装置は、被写界深度処理を施した１画面分の画像データを得るのに、少なくとも１画面分以上の画像データを記憶保持しておくメモリ容量が必要であった。しかし、本実施の形態に係る画像処理装置は、フレーム１枚分のピクセル描画が完成した時点で被写界深度処理を施したＣＧ画像が得られるため、フィルタリング処理による従来の被写界深度処理装置とは異なり、演算結果を記憶保持しておくメモリを必要としない。よって、より少ないメモリ容量のハードウェアにおいて被写界深度処理を実現できる。
【００４７】
更に、複数のフレームに渡って、同一の位置拡散値パターンを用いてピクセルの位置拡散処理を行うと、その処理により得られたＣＧ画像は、ピクセルの位置拡散の規則性が反映された不自然なものとなる可能性がある。しかし、本実施の形態に係る画像処理装置は、表示装置コントローラ１０から位置拡散処理装置６へのフレーム切り替え情報ＳＹＮＣのフィードバックにより、１フレームごとにピクセルの位置拡散のパターンを変更している。一般的に、表示装置１１に表示される画像は２０〜３０フレーム／秒であり、肉眼では１フレームごとではなく複数のフレームが重なったものとして認識される。このため、ピクセルの位置拡散のパターンが１フレームごとに変化することにより、表示装置１１に表示された際にピクセルの位置拡散の規則性が観測者に認識されにくく、より自然な被写界深度効果を得ることができる。
【００４８】
次に、図３および図４を用いて、本実施の形態に係る画像処理方法について説明する。図３は、本実施の形態に係る画像処理方法をステップ順に示すフローチャートである。
【００４９】
まず、３次元オブジェクトをポリゴンによりモデリングし、そのポリゴンの頂点情報を光源処理などのジオメトリ処理により求める（Ｓ１１）。
【００５０】
次に、このポリゴンの頂点情報をもとにレンダリング処理を行い、コンピュータ・グラフィックス（ＣＧ）画像を構成するピクセルの描画を行う（Ｓ１２）。このレンダリング処理は、ピクセルの位置拡散によるオブジェクトのぼかし処理を含んでいる。これについては、後のレンダリング処理の説明において詳述する。
【００５１】
レンダリング処理（Ｓ１２）は、ステップＳ１２において頂点情報が算出されたポリゴン内のすべてのピクセルが描画されるまで、ピクセルごとに繰り返し行う（Ｓ１３）。そして、このポリゴン内のピクセル描画が終了した後、同一フレーム内の他のポリゴンのピクセル描画が終了していない場合は、ステップＳ１１に戻り、他のポリゴンについてステップＳ１１からＳ１３までの処理を繰り返す（Ｓ１４）。これにより、１フレーム分のピクセル描画が完成する。
【００５２】
１フレーム分のピクセル描画が完成した場合は、表示装置コントローラ１０からのフレーム切り替え情報ＳＹＮＣなどをもとに、レンダリング処理（Ｓ１２）において用いる位置拡散値パターンを変更する（Ｓ１５）。そして、以上のステップＳ１１からＳ１５までの処理を、すべてのフレームに対するピクセル描画が完成するまで、繰り返し行う（Ｓ１６）。
【００５３】
そして、以上のステップによりグラフィックスメモリ９に書き込まれた画像データを、表示装置コントローラ１０により読み出し、表示装置１１での表示に対応するように画像データを信号処理して表示装置１１へと出力することで、３次元のオブジェクトが、被写界深度処理が施されたＣＧ画像として表示装置１１に表示される。
【００５４】
次に、図３のステップＳ１２で行うレンダリング処理について、更に説明を加える。図４は、本実施の形態に係るレンダリング処理をステップ順に示すフローチャートである。
【００５５】
まず、ジオメトリ処理（図３中のステップＳ１１）により得られたポリゴンの頂点情報から、ポリゴン内部のピクセルの画素情報（色情報（Ｒ，Ｇ，Ｂ）、位置情報（Ｘ値，Ｙ値）、奥行き情報（ΔＺ値）、位置拡散値（ΔＸ値，ΔＹ値）および属性）をラスタ処理により算出する。そして、ピクセルの画素情報にテクスチャ処理を行い、ピクセルにテクスチャ画像の貼り付けを行う（Ｓ１２ａ）。
【００５６】
次に、先のステップＳ１２ａにおいて得られたピクセルの奥行き情報Ｚ値から、Ｚ値と焦点位置との差（ΔＺ値）をピクセルごとに求める（Ｓ１２ｂ）。
【００５７】
次に、このΔＺ値をもとに、ピクセルの位置情報（Ｘ値，Ｙ値）を変更するか否かを決定する。位置情報を変更する場合は、更に、ΔＺ値に基づいて、あらかじめ用意された複数の位置拡散値パターンの中から一つの位置拡散値パターンを選択し、この位置拡散値パターンを用いて位置拡散値（ΔＸ，ΔＹ）を求める。このとき、ΔＺ値が大きい場合には、広い範囲でピクセルの位置拡散が行われる位置拡散値パターン（例えば、図２（ｂ））を用い、逆に、ΔＺ値が小さいピクセルには、広い範囲でピクセルの位置拡散が行われる位置拡散値パターン（例えば、図２（ａ））を用いる。そして、得られた位置拡散値（ΔＸ，ΔＹ）をもとに各ピクセルの位置情報（Ｘ，Ｙ）を新しい位置情報（Ｘ＋ΔＸ、Ｙ＋ΔＹ）へと変更する（Ｓ１２ｃ）。
【００５８】
次に、この位置情報が変更されたピクセルの画素情報をもとに、陰面消去などのフラグメント処理を行い（Ｓ１２ｄ）、これらの処理が施された画素情報をグラフィックスメモリ９へと書き込み保持していく（Ｓ１２ｅ）。上記の一連のステップを通して、レンダリング処理が行われる。
【００５９】
以上において説明した本実施の形態に係る画像処理方法は、オブジェクトの焦点からのずれ（ΔＺ値）に対応してピクセル位置を拡散することで被写界深度処理を施している。このため、被写界深度処理により遠近感を強調することで３Ｄグラフィックスの立体感を強調することができる。
【００６０】
本実施の形態に係る画像処理方法は、レンダリング処理の途中段階においてぼかし処理である描画ピクセル位置の拡散を行っているため、１回のピクセル描画により被写界深度処理を実現できる。このため、他の被写界深度処理を行う画像処理方法と比較して、演算コストを削減することができる。
【００６１】
また、本実施の形態に係る画像処理方法は、表示装置コントローラ１０から位置拡散値パターンテーブル５へのフレーム切り替え情報ＳＹＮＣのフィードバックにより、１フレームごとにピクセルの位置拡散のパターンを変更することで、より自然な被写界深度効果を得ることができる。
【００６２】
なお、本実施の形態の画像処理装置および画像処理方法の説明において、位置拡散値パターンの一例を図２に示したが、これはあくまでも一例であり、位置拡散値パターンはこれらに限定されない。
【００６３】
また、本実施の形態の画像処理装置および画像処理方法は、焦点からのずれ（ΔＺ値）を境界値Ｚｔｈ１、Ｚｔｈ２により分類し、位置情報を変更するか否か、また、変更する場合は、２つの位置拡散値パターンのうちのどちらのパターンを適用するかを決定しているが、このＺｔｈ１、Ｚｔｈ２以外に更に境界値を設定し、３つ以上の位置拡散値パターンから選択するようにしても構わない。また、境界値を１つだけ設定し、その境界値とΔＺ値との比較により、位置情報を変更するか否かのみを決定しても構わない。すなわち、ΔＺ値の大小に対応した範囲の広狭でピクセルの位置が拡散するように、レンダリング処理中において、ピクセルの位置情報が変更されれば良い。
【００６４】
更に、本実施の形態に係る画像処理装置および画像処理方法は、色情報をＲ，Ｇ，Ｂの三色で構成した場合を示したが、これに限られず、ピクセルの色情報が単色で構成されている場合でも構わない。
【００６５】
更にまた、本実施の形態に係る画像処理装置においては、グラフィックスメモリ９および表示装置コントローラ１０がレンダリング装置３内に設けられているが、これらのグラフィックスメモリ９および表示装置コントローラ１０は、レンダリング装置３とは独立に構成されていても構わない。これと同様に、本実施の形態に係る画像処理装置においては、ＣＰＵ１が独立のチップにより構成されているが、これに限られず、ＣＰＵ１がレンダリング装置３内に設けられていても構わない。
（第２の実施の形態）
以下に、本発明に係る画像処理装置および画像処理方法についての第２の実施の形態を図５乃至９を参照しながら説明する。
【００６６】
本実施の形態に係る画像処理装置の構造を図５に示す。なお、本実施の形態に係る画像処理装置は、第１の実施の形態における位置拡散処理装置６を誤差拡散処理装置１２に置き換え、位置拡散値パターンテーブル７をカラー拡散値パターンテーブル１３に置き換えたものであり、その他の構成要素については、第１の実施の形態において図１を参照しながら説明したものと同一であるので、ここでは、その説明を省略する。
【００６７】
誤差拡散処理装置１２は、相対位置演算装置５から入力された各ピクセルのΔＺ値とピクセル描画処理前段装置４から入力された位置情報（Ｘ値，Ｙ値）をもとに誤差拡散処理を行う回路である。誤差拡散処理とは、ピクセルの色情報（Ｒ，Ｇ，Ｂ）を変更する処理であり、具体的には、カラー拡散値パターンテーブル１３に格納されているカラー拡散値パターンから各ピクセルのカラー拡散値Ｄを求め、そのカラー拡散値Ｄをピクセルの色情報（Ｒ，Ｇ，Ｂ）に足し込むことによりピクセルの位置情報を新たな色情報に変更する。ここで、カラー拡散値Ｄとは、誤差拡散処理の際に各ピクセルの色情報に足しあわされる誤差値のことを指す。この誤差拡散処理は、ピクセルのΔＺ値をもとに行われるが、これについては後に詳述する。
【００６８】
カラー拡散値パターンテーブル１３は、カラー拡散値Ｄのパターンテーブルであり、例えば、ＲＡＭなどに記憶されている。また、このカラー拡散値パターンテーブル１３へは、レンダリング装置３の外部からデータＤＡＴＡ´を入力できるようになっており、画像処理の実施者が、所望の誤差拡散が得られるように、カラー拡散値パターンを変更することが可能となっている。
【００６９】
ピクセル描画処理後段装置８は、誤差拡散処理装置１２から誤差拡散処理が施されたピクセルの色情報が入力され、ピクセル描画処理前段装置４から残りの画素情報（位置情報（Ｘ，Ｙ）、奥行き情報（Ｚ値）および属性）が入力される。そして、このピクセルの画素情報をもとに陰面消去などのフラグメント処理を行う。
【００７０】
表示装置コントローラ１０は、表示装置１１へ１フレーム分の画像データを出力した際、フレームを切り替えたことを示すフレーム切り替え情報ＳＹＮＣを誤差拡散処理装置１２へとフィードバックさせる。誤差拡散処理装置１２は、このフレーム切り替え情報ＳＹＮＣを受け、フレームごとに誤差拡散処理に用いるカラー拡散値パターンを変更する。
【００７１】
続いて、誤差拡散処理装置１２が行う誤差拡散処理について説明を加え、この誤差拡散処理によって、どのように被写界深度効果が得られるかを説明する。以下、誤差拡散処理装置１２が行う誤差拡散処理を手順に沿って説明する。
【００７２】
まず、誤差拡散処理装置１２は、あらかじめ設定された２つの境界値Ｚｔｈ１、Ｚｔｈ２と入力されたピクセルのΔＺ値との大小を比較する。これにより、ピクセルのΔＺ値が３つの領域（｜ΔＺ｜＜Ｚｔｈ１，Ｚｔｈ１＜｜ΔＺ｜＜Ｚｔｈ２，Ｚｔｈ２＜｜ΔＺ｜）のどの領域に属するかが判断され、焦点位置からのずれ（ΔＺ値）をもとに各ピクセルが３種類に分類される。
【００７３】
この分類の結果、ΔＺ値が｜ΔＺ｜＜Ｚｔｈ１であるとき、すなわち、焦点位置からのずれが非常に小さいときには、ピクセルの色情報（Ｒ，Ｇ，Ｂ）を変更せず、誤差拡散処理装置１２は、入力された色情報（Ｒ，Ｇ，Ｂ）を、そのまま、後段のピクセル描画処理後段装置８へと出力する。
【００７４】
一方、ΔＺ値が、Ｚｔｈ１＜｜ΔＺ｜＜Ｚｔｈ２、または、Ｚｔｈ２＜｜ΔＺ｜のときには、それぞれ、カラー拡散値パターンテーブル１３内の複数のカラー拡散値パターンから別々のカラー拡散値パターンを選択し、そのカラー拡散値パターンを用いてカラー拡散値Ｄを求め、ピクセルの色情報を新たな色情報へと変更する。
【００７５】
具体的には、ΔＺ値がＺｔｈ１＜｜ΔＺ｜＜Ｚｔｈ２であるとき、すなわち、焦点位置からのずれが比較的小さいときには、２次元画面全体を縦２ピクセル×横２ピクセルのマトリクス単位で区切り、このマトリクスに図６（ａ）に示す位置拡散値パターンを適用することでカラー拡散値Ｄを求め、色情報の変更を行う。
【００７６】
また、ΔＺ値がＺｔｈ２＜｜ΔＺ｜であるとき、すなわち、焦点位置からのずれが比較的大きいときには、２次元画面全体を縦４ピクセル×横４ピクセルのマトリクス単位で区切り、このマトリクスに図６（ｂ）に示す位置拡散値パターンを適用することでカラー拡散値Ｄを求め、色情報の変更を行う。
【００７７】
カラー拡散値パターンテーブル１３には、パターンテーブル内の下位値ごとにカラー拡散値Ｄが設定されている。例えば、図６（ａ）に示すカラー拡散値パターンでは、下位値が（Ｘ´，Ｙ´）＝（００，００）のピクセルは、カラー拡散値がＤ＝１と設定されている。これにより、ピクセルの位置情報（Ｘ値，Ｙ値）から、当該ピクセルのカラー拡散値パターンでの対応箇所（下位値）を求めることで、カラー拡散値Ｄを一意に求めることができる。
【００７８】
次に、このように求めたカラー拡散値Ｄを誤差として色情報（Ｒ，Ｇ，Ｂ）に足し合わせ、その後、色情報の下位ビットを切り捨てる。例えば、誤差拡散処理の対象とするピクセルが、８ビット表示でＲ＝１１１０１１０１（２進数）という色情報を持っており、図６（ｂ）のカラー拡散値パターンにおける下位値が（Ｘ´，Ｙ´）＝（００，０１）である場合は、カラー拡散値Ｄ＝４（１０進数）＝１００（２進数）を色情報に足し合わせ（１１１０１１０１＋１００＝１１１１０００１）、更に、その下位３ビットを切り捨てる。これにより、このピクセルの色情報（Ｒ）は１１１１０と変更される。
【００７９】
カラー拡散値Ｄは、カラー拡散値パターンの中で下位値ごとに異なる値をとるので、この誤差拡散処理により、パターンの範囲内でピクセルの色情報への誤差（カラー拡散値Ｄ）の拡散が行われ、パターン内で色情報が均一化される。これにより、色のトーン差によるオブジェクトの輪郭をぼやけさせて表現することができる。
【００８０】
ここで、図６（ａ）のカラー拡散値パターンと図６（ｂ）に示すカラー拡散値パターンとを比較すると、図６（ａ）のカラー拡散値パターンでは、縦２ピクセル×横２ピクセルのマトリクス内で色情報が均一化されるのに対し、図６（ｂ）のカラー拡散値パターンでは、縦４ピクセル×横４ピクセルのマトリクス内で色情報が均一化される。つまり、図６（ｂ）に示すカラー拡散値パターンを用いた方が広い範囲で色情報が均一化される。このように、焦点からのずれ（ΔＺ）が大きいピクセルには、広い範囲で色情報が均一化されるパターン（例えば、図６（ｂ））を用い、逆に、焦点からのずれ（ΔＺ）が小さいピクセルには、比較的狭い範囲で色情報が均一化されるパターン（例えば、図６（ａ））を用いることで、誤差拡散の範囲をΔＺの大小に対応させ、焦点からのずれに対応したぼかし処理を行うことができる。
【００８１】
以上において説明した本実施の形態に係る画像処理装置は、オブジェクトの焦点からのずれ（ΔＺ値）に対応した誤差により誤差拡散処理を行うことにより被写界深度処理を施している。このため、被写界深度処理により遠近感を強調することで３Ｄグラフィックスの立体感を強調することができる。
【００８２】
本実施の形態に係る画像処理装置は、レンダリング処理の途中段階においてぼかし処理であるピクセルの誤差拡散を行っており、１回のピクセル描画により被写界深度処理を実現できる。このため、他の被写界深度処理方法による画像処理装置と比較して、演算コストを削減することができ、より多くのピクセル数のピクセル描画処理を行い、高画質なＣＧ画像を得ることができる。
【００８３】
更に、本実施の形態に係る画像処理装置は、１回のピクセル描画により被写界深度処理を実現しているため、１回の描画コマンドセットにより当該画像処理装置の動作を制御することが可能であり、被写界深度処理を導入することで画像処理装置の動作制御が複雑にならない。
【００８４】
更にまた、本実施の形態に係る画像処理装置は、フレーム１枚分のピクセル描画が完成した時点で被写界深度処理を施したＣＧ画像が得られるため、フィルタリング処理による被写界深度処理とは異なり、フィルタリング処理の演算結果を記憶保持しておくメモリを必要としない。よって、より少ないメモリ容量のハードウェアにおいて被写界深度処理を実現できる。
【００８５】
更に、複数のフレームに渡って、同一のカラー拡散値パターンのセットを用いてピクセルの位置拡散処理を行うと、その処理により得られたＣＧ画像は、誤差拡散の規則性が反映された不自然なものとなる可能性がある。しかし、本実施の形態に係る画像処理装置は、表示装置コントローラ１０から誤差拡散処理装置１２へのフレーム切り替え情報ＳＹＮＣのフィードバックにより、１フレームごとにカラー拡散値パターンを変更している。一般的に、表示装置１１に表示される画像は２０〜３０フレーム／秒であり、肉眼では１フレームごとではなく複数のフレームが重なったものとして認識される。このため、カラー拡散値パターンが１フレームごとに変化することにより、表示装置１１に表示された際に観測者にピクセルの位置拡散の規則性が認識されにくく、自然な被写界深度効果を得ることができる。
【００８６】
次に、図７および図８を用いて、本実施の形態に係る画像処理方法について説明する。なお、本実施の形態に係る画像処理方法は、図３のステップＳ１５をステップＳ２５で置き換え、更に、第１の実施の形態の説明において図４を参照して説明したピクセルの位置拡散処理（図４のステップＳ１２ｃ）を誤差拡散処理（ステップＳ２２ｃ）に置き換えたものであり、他のステップは同一である。よって、ここでは、第１の実施の形態に係る画像処理方法と共通するステップについては、その説明を省略する。
【００８７】
図７は、本実施の形態に係る画像処理方法をステップ順に示すフローチャートである。ステップＳ２２におけるレンダリング処理は、誤差拡散処理によるオブジェクトのぼかし処理を含んでいる。また、この誤差拡散処理において用いられるカラー拡散値パターンは、ステップＳ２５において、１フレーム分のピクセル描画が完成する度に、表示装置コントローラ１０からのフレーム切り替え情報ＳＹＮＣなどをもとに変更される。
【００８８】
次に、図７のステップＳ２２で行うレンダリング処理について、レンダリング処理をステップ順に示すフローチャートである図８を参照して説明する。
【００８９】
本実施の形態のレンダリング処理においては、ステップＳ２２ｂで求めたΔＺ値をもとに、誤差拡散処理を行う（Ｓ２２ｃ）。この誤差拡散処理は、まず、ΔＺ値をもとに、ピクセルの色情報（Ｒ，Ｇ，Ｂ）を変更するか否かを決定する。次に、色情報を変更する場合は、更に、ΔＺ値に基づいて、あらかじめ用意された複数のカラー拡散値パターンの中から一つのカラー拡散値パターンを選択し、このカラー拡散値パターンを用いてカラー拡散値Ｄを求める。このとき、ΔＺ値が大きい場合には、広い範囲で色情報が均一化されるカラー拡散値パターン（例えば、図６（ｂ））を用い、逆に、ΔＺ値が小さいピクセルには、比較的狭い範囲で色情報が均一化されるカラー拡散値パターン（例えば、図６（ａ））を用いる。そして、得られたカラー拡散値Ｄをもとに各ピクセルの色情報（Ｒ，Ｇ，Ｂ）を新しい色情報へと変更する。そして、この色情報が変更されたピクセルの画素情報をもとに、陰面消去などのフラグメント処理を行われる（Ｓ２２ｄ）。
【００９０】
以上において説明した本実施の形態に係る画像処理方法は、オブジェクトの焦点からのずれ（ΔＺ値）に対応した誤差により誤差拡散処理を行うことで被写界深度処理を施している。このため、被写界深度処理により遠近感を強調することで３Ｄグラフィックスの立体感を強調することができる。
【００９１】
また、本実施の形態に係る画像処理方法は、レンダリング処理の途中段階においてぼかし処理である誤差拡散処理を行っているため、１回のピクセル描画により被写界深度処理を実現できる。このため、他の画像処理方法と比較して、演算コストを削減することができる。
【００９２】
また、本実施の形態に係る画像処理方法は、表示装置コントローラ１０から誤差拡散処理装置１２へのフレーム切り替え情報ＳＹＮＣのフィードバックにより、１フレームごとにカラー拡散値パターンを変更している。このため、より自然なぼかし効果を得ることができる。
【００９３】
なお、本実施の形態の画像処理装置および画像処理方法の説明において、カラー拡散値パターンの一例を図６に示したが、これはあくまでも一例であり、カラー拡散値パターンはこれらに限定されない。
【００９４】
また、本実施の形態の画像処理装置および画像処理方法は、焦点からのずれ（ΔＺ値）を境界値Ｚｔｈ１、Ｚｔｈ２により分類し、色情報を変更するか否か、また、変更する場合は、２つのカラー拡散値パターンのうちのどちらのパターンを適用するかを決定しているが、このＺｔｈ１、Ｚｔｈ２以外に更に境界値を設定し、３つ以上のカラー拡散値パターンから選択するようにしても構わない。また、境界値を１つだけ設定し、その境界値とΔＺ値との比較により、色情報を変更するか否かのみを決定しても構わない。すなわち、ΔＺ値の大小に対応した誤差拡散処理が行われさえすれば良い。
【００９５】
更に、本実施の形態に係る画像処理装置および画像処理方法は、誤差拡散処理において、カラー拡散値Ｄを誤差として色情報（Ｒ，Ｇ，Ｂ）に足し合わせた後、色情報の下位ビットを切り捨てているが、この下位ビットの切捨ては、必ずしも必要ではない。下位ビットを切捨てなくとも、カラー拡散値Ｄの色情報（Ｒ，Ｇ，Ｂ）への足し合わせのみでオブジェクトのぼかし処理を実現できる。
【００９６】
更にまた、本実施の形態に係る画像処理装置および画像処理方法は、色情報をＲ，Ｇ，Ｂの三色で構成した場合を示したが、第１の実施の形態同様、これに限られず、ピクセルの色情報が単色で構成されている場合でも構わない。
【００９７】
更に、本実施の形態に係る画像処理装置においては、グラフィックスメモリ９および表示装置コントローラ１０がレンダリング装置３内に設けられているが、第１の実施の形態同様、これらのグラフィックスメモリ９および表示装置コントローラ１０は、レンダリング装置３とは独立に構成されていても構わない。これと同様に、本実施の形態に係る画像処理装置においては、ＣＰＵ１が独立に構成されているが、これに限られず、ＣＰＵ１がレンダリング装置３内に設けられていても構わない。
（第３の実施の形態）
以下に、本発明に係る画像処理装置および画像処理方法についての第３の実施の形態を図９乃至１１を参照しながら説明する。
【００９８】
本実施の形態に係る画像処理装置の構造を図９に示す。なお、本実施の形態に係る画像処理装置は、第１および第２の実施の形態において説明した、位置拡散処理装置６、位置拡散値パターンテーブル７、誤差拡散処理装置１２、および、カラー拡散値パターンテーブル１３のすべてを備えたものであり、他の構成要素については、第１および第２の実施の形態において説明したものと同一である。よって、ここでは、共通する部分については、説明を省略する。
【００９９】
位置拡散処理装置６は、相対位置演算装置５から入力された各ピクセルのΔＺ値とピクセル描画処理前段装置４から入力された各ピクセルの位置情報（Ｘ値，Ｙ値）をもとに、位置拡散処理を行う回路である。この位置拡散処理は、第１の実施の形態において説明したものと同一である。
【０１００】
位置拡散値パターンテーブル７は、位置拡散値（ΔＸ値，ΔＹ値）のパターンテーブルであり、例えば、ＲＡＭなどに記憶されている。また、この位置拡散値パターンテーブル７へは、レンダリング装置３の外部からデータＤＡＴＡを入力できるようになっており、画像処理の実施者が、所望のピクセルの位置拡散が得られるように、位置拡散値パターンを変更することが可能となっている。
【０１０１】
誤差拡散処理装置１２は、相対位置演算装置５から入力された各ピクセルのΔＺ値とピクセル描画処理前段装置４から入力された位置情報（Ｘ値，Ｙ値）をもとに、誤差拡散処理を行う回路である。この誤差拡散処理は、第２の実施の形態において説明したものと同一である。
【０１０２】
カラー拡散値パターンテーブル１３は、カラー拡散値Ｄのパターンテーブルであり、例えば、ＲＡＭなどに記憶されている。また、このカラー拡散値パターンテーブル１３へは、レンダリング装置３の外部からデータＤＡＴＡ´を入力できるようになっており、画像処理の実施者が、所望のピクセルの誤差拡散が得られるように、カラー拡散値パターンを変更することが可能となっている。
【０１０３】
ピクセル描画処理後段装置８は、位置拡散処理装置６から位置拡散処理が施されたピクセルの位置情報が入力され、誤差拡散処理装置１２から誤差拡散処理が施されたピクセルの色情報が入力され、更に、ピクセル描画処理前段装置４から残りの画素情報（奥行き情報（Ｚ値）および属性）が入力される。そして、このピクセルの画素情報をもとに陰面消去などのフラグメント処理を行う。
【０１０４】
本実施の形態に係る画像処理装置は、オブジェクトの焦点からのずれ（ΔＺ値）に対応して画像データ上でのピクセル位置を拡散し、更に、ΔＺ値に対応した誤差により誤差拡散処理を行っている。そのため、より自然な被写界深度処理を施すことができる。
【０１０５】
また、本実施の形態に係る画像処理装置は、第１および第２の実施の形態と同様の効果を得ることができる。
【０１０６】
次に、図１０および図１１を用いて、本実施の形態に係る画像処理方法について説明する。なお、本実施の形態に係る画像処理方法は、レンダリング処理において位置拡散処理と誤差拡散処理とを行うものであり、他のステップは第１および第２の実施の形態と同一である。よって、ここでは、その説明を省略する。
【０１０７】
図１０は、本実施の形態に係る画像処理方法をステップ順に示すフローチャートである。ステップＳ３２におけるレンダリング処理は、位置拡散処理と誤差拡散処理によるオブジェクトのぼかし処理を含んでいる。また、これらの処理に用いられる位置拡散値パターンおよびカラー拡散値パターンは、ステップＳ３５において、１フレーム分のピクセル描画が完成する度に、表示装置コントローラ１０からのフレーム切り替え情報ＳＹＮＣなどをもとに変更される。
【０１０８】
次に、図１０のステップＳ３２で行うレンダリング処理について、レンダリング処理をステップ順に示すフローチャートである図１１を用いて説明する。
【０１０９】
本実施の形態のレンダリング処理においては、ステップＳ３２ｂで求めたΔＺ値をもとに、位置拡散処理を行っている（Ｓ３２ｃ）。この誤差拡散処理は、第１の実施の形態において説明したものと同一である。更に、ΔＺ値をもとに、誤差拡散処理を行う（Ｓ３２ｄ）。この誤差拡散処理は、第２の実施の形態において説明したものと同一である。そして、この処理が施されたピクセルの画素情報をもとに、陰面消去などのフラグメント処理を行われる（Ｓ３２ｅ）。
【０１１０】
以上において説明した本実施の形態に係る画像処理方法は、オブジェクトの焦点からのずれ（ΔＺ値）に対応してピクセル位置を拡散し、更に、誤差拡散処理を行っている。これにより、より自然な被写界深度処理を施すことができる。
【０１１１】
また、本実施の形態に係る画像処理方法は、第１および第２の実施の形態と同様の効果を得ることができる。
【０１１２】
なお、本実施の形態に係る画像処理方法においては、位置拡散処理（Ｓ３２ｃ）を行った後、誤差拡散処理（Ｓ３２ｄ）を行っているが、この順序は逆でもよい。すなわち、これらの２つの処理が行われた後に、陰面処理など（Ｓ３２ｅ）が行われればよく、その順序は問わない。
【０１１３】
本発明は、実施段階ではその要旨を変更しない範囲で種々に変形することが可能である。
【０１１４】
例えば、本発明の実施の形態においては、ピクセルの画素情報のうち、位置情報、色情報、または、それらの両方を変更することで、被写界深度効果を実現しているが、画素情報のうちの他の情報（例えば、属性など）を変更しても構わない。すなわち、各ピクセルの焦点位置からのずれ（ΔＺ）の大小に対応した変更幅で、各ピクセルの画素情報が変更されればよい。なお、この画素情報の変更に際しては、第１乃至３の実施の形態の説明で示したように、位置情報の変更には位置拡散値パターンを用い、色情報の変更にはカラー拡散値パターンを用いる。このように、変更する画素情報に対応した画素情報拡散値パターンを用いて画素情報を変更するものとする。
【０１１５】
以上、詳述したように、本発明に係る画像処理装置および画像処理方法の特徴をまとめると以下の通りになる。
【０１１６】
本発明に係る画像処理装置は、ポリゴンの頂点情報が入力され、この頂点情報からポリゴン内のピクセルごとに画素情報を算出するピクセル描画処理前段装置と、前記ピクセル描画処理前段装置から各ピクセルの奥行き情報が入力され、この奥行き情報と焦点位置との差をピクセルごとに算出する相対位置演算装置と、前記相対位置演算装置により算出した各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報を変更するか否かをピクセルごとに決定し、変更する場合、変更する画素情報に対応した画素情報拡散値パターンをもとにピクセルの画素情報を変更して出力し、変更しない場合、ピクセルの画素情報を変更せずに出力する画素情報拡散処理装置と、前記画素情報拡散処理装置から入力された各ピクセルの画素情報を用いてピクセルごとに陰面消去を行うピクセル描画処理後段装置とを具備することを特徴としている。
【０１１７】
また、本発明に係る画像処理装置は、ポリゴンの頂点情報を算出するＣＰＵと、前記ＣＰＵからポリゴンの頂点情報が入力され、この頂点情報からポリゴン内のピクセルごとに画素情報を算出するピクセル描画処理前段装置と、前記ピクセル描画処理前段装置から各ピクセルの奥行き情報が入力され、この奥行き情報と焦点位置との差をピクセルごとに算出する相対位置演算装置と、前記相対位置演算装置により算出した各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報を変更するか否かをピクセルごとに決定し、変更する場合、変更する画素情報に対応した画素情報拡散値パターンをもとにピクセルの画素情報を変更して出力し、変更しない場合、ピクセルの画素情報を変更せずに出力する画素情報拡散処理装置と、前記画素情報拡散処理装置から入力された各ピクセルの画素情報を用いてピクセルごとに陰面消去を行うピクセル描画処理後段装置と、前記ピクセル描画処理後段装置から各ピクセルの画素情報が入力され、この画素情報を記憶保持するグラフィックスメモリと、前記グラフィックスメモリから各ピクセルの画素情報が入力され、この画素情報を画像表示用信号へ変換する表示装置コントローラとを具備することを特徴としている。
【０１１８】
更に、本発明に係る画像処理方法は、入力されたポリゴンの頂点情報からポリゴン内のピクセルごとに画素情報を算出するピクセル描画前段ステップと、前記ピクセル描画前段ステップにより得られた各ピクセルの奥行き情報と焦点位置との差をピクセルごとに算出する相対位置演算ステップと、前記相対位置演算ステップにより得られた各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報を変更するか否かをピクセルごとに決定し、変更する場合、変更する画素情報に対応した画素情報拡散値パターンをもとにピクセルの画素情報を変更し、変更しない場合、ピクセルの画素情報を維持する画素情報拡散ステップと、前記画素情報拡散ステップにより処理された各ピクセルの画素情報を用いてピクセルごとに陰面消去を行うピクセル描画後段ステップとを具備することを特徴としている。
【０１１９】
更に、本発明に係る画像処理装置は、前記画素情報拡散処理装置が、前記相対位置演算装置により算出した各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報のうちの位置情報を変更するか否かをピクセルごとに決定し、変更する場合、位置拡散値パターンをもとにピクセルの位置情報を変更することを特徴としている。
【０１２０】
更に、本発明に係る画像処理装置は、前記画素情報拡散処理装置が、前記相対位置演算装置により算出した各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報のうちの色情報を変更するか否かをピクセルごとに決定し、変更する場合、カラー拡散値パターンをもとにピクセルの色情報を変更することを特徴としている。
【０１２１】
更に、本発明に係る画像処理装置は、前記画素情報拡散処理装置が、前記相対位置演算装置により算出した各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報のうちの位置情報および色情報を変更するか否かをピクセルごとに決定し、変更する場合、位置拡散値パターンをもとにピクセルの位置情報を変更し、更に、カラー拡散値パターンをもとにピクセルの色情報を変更することを特徴としている。
【０１２２】
更に、本発明に係る画像処理方法は、前記画素情報拡散ステップが、前記相対位置演算ステップにより得られた各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報のうちの位置情報を変更するか否かをピクセルごとに決定し、変更する場合、位置拡散値パターンをもとにピクセルの位置情報を変更することを特徴としている。
【０１２３】
更に、本発明に係る画像処理方法は、前記画素情報拡散ステップが、前記相対位置演算ステップにより得られた各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報のうちの色情報を変更するか否かをピクセルごとに決定し、変更する場合、カラー拡散値パターンをもとにピクセルの色情報を変更することを特徴としている。
【０１２４】
更に、本発明に係る画像処理方法は、前記画素情報拡散ステップが、前記相対位置演算ステップにより得られた各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報のうちの位置情報および色情報を変更するか否かをピクセルごとに決定し、変更する場合、位置拡散値パターンをもとにピクセルの位置情報を変更し、更に、カラー拡散値パターンをもとにピクセルの色情報を変更することを特徴としている。
【０１２５】
更に、本発明に係る画像処理装置は、前記画素情報拡散処理装置が、ピクセルの位置情報の変更に用いる前記位置拡散値パターンを、各ピクセルの奥行き情報と焦点位置との差をもとに複数の位置拡散値パターンから選択することを特徴としている。
【０１２６】
更に、本発明に係る画像処理装置は、前記画素情報拡散処理装置が、ピクセルの色情報の変更に用いる前記カラー拡散値パターンを、各ピクセルの奥行き情報と焦点位置との差をもとに複数のカラー拡散値パターンから選択することを特徴としている。
【０１２７】
更に、本発明に係る画像処理方法は、前記画素情報拡散ステップにおいて、ピクセルの位置情報の変更に用いる前記位置拡散値パターンを、各ピクセルの奥行き情報と焦点位置との差をもとに複数の位置拡散値パターンから選択することを特徴としている。
【０１２８】
更に、本発明に係る画像処理方法は、前記画素情報拡散ステップにおいて、ピクセルの色情報の変更に用いる前記カラー拡散値パターンを、各ピクセルの奥行き情報と焦点位置との差をもとに複数のカラー拡散値パターンから選択することを特徴としている。
【０１２９】
更に、本発明に係る画像処理装置は、前記画素情報拡散処理装置が、ピクセルの位置情報の変更に用いる前記位置拡散値パターンをフレーム単位で変更することを特徴としている。
【０１３０】
更に、本発明に係る画像処理装置は、前記画素情報拡散処理装置が、ピクセルの色情報の変更に用いる前記カラー拡散値パターンをフレーム単位で変更することを特徴としている。
【０１３１】
更に、本発明に係る画像処理方法は、前記画素情報拡散ステップにおいて用いられる前記位置拡散値パターンをフレーム単位で変更することを特徴としている。
【０１３２】
更に、本発明に係る画像処理方法は、前記画素情報拡散ステップにおいて用いられる前記カラー拡散値パターンをフレーム単位で変更することを特徴としている。
【０１３３】
【発明の効果】
以上述べたように、本発明によれば、得られる画像の画質を維持しつつ、低い演算コストで被写界深度処理を実現する画像処理装置および画像処理方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る画像処理装置の構成図。
【図２】本発明の第１の実施の形態に係る画像処理装置および画像処理方法において、ピクセルの位置拡散処理に用いる位置拡散値パターン。
【図３】本発明の第１の実施の形態に係る画像処理方法の手順を示すフローチャート。
【図４】本発明の第１の実施の形態に係るレンダリング処理の手順を示すフローチャート。
【図５】本発明の第２の実施の形態に係る画像処理装置の構成図。
【図６】本発明の第２の実施の形態に係る画像処理装置および画像処理方法において、誤差拡散処理に用いるカラー拡散値パターン。
【図７】本発明の第２の実施の形態に係る画像処理方法の手順を示すフローチャート。
【図８】本発明の第２の実施の形態に係る画像処理方法における、レンダリング処理の手順を示すフローチャート。
【図９】本発明の第３の実施の形態に係る画像処理装置の構成図。
【図１０】本発明の第３の実施の形態に係る画像処理方法の手順を示すフローチャート。
【図１１】本発明の第３の実施の形態に係る画像処理方法における、レンダリング処理の手順を示すフローチャート。
【図１２】従来の画像処理方法における、被写界深度処理方法の手順を示すフローチャート。
【符号の説明】
１…ＣＰＵ
２…システムバス
３…レンダリング装置
４…ピクセル描画処理前段装置
５…相対位置演算装置
６…位置拡散処理装置
７…位置拡散値パターンテーブル
８…ピクセル描画処理後段装置
９…グラフィックスメモリ
１０…表示装置コントローラ
１１…表示装置
１２…誤差拡散処理装置
１３…カラー拡散値パターンテーブル
Claims (17)
- ポリゴンの頂点情報が入力され、この頂点情報からポリゴン内のピクセルごとに画素情報を算出するピクセル描画処理前段装置と、
前記ピクセル描画処理前段装置から各ピクセルの奥行き情報が入力され、この奥行き情報と焦点位置との差をピクセルごとに算出する相対位置演算装置と、
前記相対位置演算装置により算出した各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報を変更するか否かをピクセルごとに決定し、変更する場合、変更する画素情報に対応した画素情報拡散値パターンをもとにピクセルの画素情報を変更して出力し、変更しない場合、ピクセルの画素情報を変更せずに出力する画素情報拡散処理装置と、
前記画素情報拡散処理装置から入力された各ピクセルの画素情報を用いてピクセルごとに陰面消去を行うピクセル描画処理後段装置とを具備することを特徴とする画像処理装置。 - ポリゴンの頂点情報を算出するＣＰＵと、
前記ＣＰＵからポリゴンの頂点情報が入力され、この頂点情報からポリゴン内のピクセルごとに画素情報を算出するピクセル描画処理前段装置と、
前記ピクセル描画処理前段装置から各ピクセルの奥行き情報が入力され、この奥行き情報と焦点位置との差をピクセルごとに算出する相対位置演算装置と、
前記相対位置演算装置により算出した各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報を変更するか否かをピクセルごとに決定し、変更する場合、変更する画素情報に対応した画素情報拡散値パターンをもとにピクセルの画素情報を変更して出力し、変更しない場合、ピクセルの画素情報を変更せずに出力する画素情報拡散処理装置と、
前記画素情報拡散処理装置から入力された各ピクセルの画素情報を用いてピクセルごとに陰面消去を行うピクセル描画処理後段装置と、
前記ピクセル描画処理後段装置から各ピクセルの画素情報が入力され、この画素情報を記憶保持するグラフィックスメモリと、
前記グラフィックスメモリから各ピクセルの画素情報が入力され、この画素情報を画像表示用信号へ変換する表示装置コントローラとを具備することを特徴とする画像処理装置。 - 入力されたポリゴンの頂点情報からポリゴン内のピクセルごとに画素情報を算出するピクセル描画前段ステップと、
前記ピクセル描画前段ステップにより得られた各ピクセルの奥行き情報と焦点位置との差をピクセルごとに算出する相対位置演算ステップと、
前記相対位置演算ステップにより得られた各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報を変更するか否かをピクセルごとに決定し、変更する場合、変更する画素情報に対応した画素情報拡散値パターンをもとにピクセルの画素情報を変更し、変更しない場合、ピクセルの画素情報を維持する画素情報拡散ステップと、
前記画素情報拡散ステップにより処理された各ピクセルの画素情報を用いてピクセルごとに陰面消去を行うピクセル描画後段ステップとを具備することを特徴とする画像処理方法。 - 前記画素情報拡散処理装置が、前記相対位置演算装置により算出した各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報のうちの位置情報を変更するか否かをピクセルごとに決定し、変更する場合、位置拡散値パターンをもとにピクセルの位置情報を変更することを特徴とする請求項１または２のいずれか１項記載の画像処理装置。
- 前記画素情報拡散処理装置が、前記相対位置演算装置により算出した各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報のうちの色情報を変更するか否かをピクセルごとに決定し、変更する場合、カラー拡散値パターンをもとにピクセルの色情報を変更することを特徴とする請求項１または２のいずれか１項記載の画像処理装置。
- 前記画素情報拡散処理装置が、前記相対位置演算装置により算出した各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報のうちの位置情報および色情報を変更するか否かをピクセルごとに決定し、変更する場合、位置拡散値パターンをもとにピクセルの位置情報を変更し、更に、カラー拡散値パターンをもとにピクセルの色情報を変更することを特徴とする請求項１または２のいずれか１項記載の画像処理装置。
- 前記画素情報拡散ステップが、前記相対位置演算ステップにより得られた各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報のうちの位置情報を変更するか否かをピクセルごとに決定し、変更する場合、位置拡散値パターンをもとにピクセルの位置情報を変更することを特徴とする請求項３記載の画像処理方法。
- 前記画素情報拡散ステップが、前記相対位置演算ステップにより得られた各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報のうちの色情報を変更するか否かをピクセルごとに決定し、変更する場合、カラー拡散値パターンをもとにピクセルの色情報を変更することを特徴とする請求項３記載の画像処理方法。
- 前記画素情報拡散ステップが、前記相対位置演算ステップにより得られた各ピクセルの奥行き情報と焦点位置との差をもとに、ピクセルの画素情報のうちの位置情報および色情報を変更するか否かをピクセルごとに決定し、変更する場合、位置拡散値パターンをもとにピクセルの位置情報を変更し、更に、カラー拡散値パターンをもとにピクセルの色情報を変更することを特徴とする請求項３記載の画像処理方法。
- 前記画素情報拡散処理装置が、ピクセルの位置情報の変更に用いる前記位置拡散値パターンを、各ピクセルの奥行き情報と焦点位置との差をもとに複数の位置拡散値パターンから選択することを特徴とする請求項４または６のいずれか１項記載の画像処理装置。
- 前記画素情報拡散処理装置が、ピクセルの色情報の変更に用いる前記カラー拡散値パターンを、各ピクセルの奥行き情報と焦点位置との差をもとに複数のカラー拡散値パターンから選択することを特徴とする請求項５または６のいずれか１項記載の画像処理装置。
- 前記画素情報拡散ステップにおいて、ピクセルの位置情報の変更に用いる前記位置拡散値パターンを、各ピクセルの奥行き情報と焦点位置との差をもとに複数の位置拡散値パターンから選択することを特徴とする請求項７または９のいずれか１項記載の画像処理方法。
- 前記画素情報拡散ステップにおいて、ピクセルの色情報の変更に用いる前記カラー拡散値パターンを、各ピクセルの奥行き情報と焦点位置との差をもとに複数のカラー拡散値パターンから選択することを特徴とする請求項８または９のいずれか１項記載の画像処理方法。
- 前記画素情報拡散処理装置が、ピクセルの位置情報の変更に用いる前記位置拡散値パターンをフレーム単位で変更することを特徴とする請求項４または６のいずれか１項記載の画像処理装置。
- 前記画素情報拡散処理装置が、ピクセルの色情報の変更に用いる前記カラー拡散値パターンをフレーム単位で変更することを特徴とする請求項５または６のいずれか１項記載の画像処理装置。
- 前記画素情報拡散ステップにおいて用いられる前記位置拡散値パターンをフレーム単位で変更することを特徴とする請求項７または９のいずれか１項記載の画像処理方法。
- 前記画素情報拡散ステップにおいて用いられる前記カラー拡散値パターンをフレーム単位で変更することを特徴とする請求項８または９のいずれか１項記載の画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003031969A JP2004240910A (ja) | 2003-02-10 | 2003-02-10 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003031969A JP2004240910A (ja) | 2003-02-10 | 2003-02-10 | 画像処理装置および画像処理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004240910A true JP2004240910A (ja) | 2004-08-26 |
Family
ID=32958367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003031969A Pending JP2004240910A (ja) | 2003-02-10 | 2003-02-10 | 画像処理装置および画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004240910A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007272356A (ja) * | 2006-03-30 | 2007-10-18 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
| US8022962B2 (en) * | 2007-06-27 | 2011-09-20 | Nintendo Co., Ltd. | Image processing program and image processing apparatus |
| KR20130084232A (ko) * | 2010-05-11 | 2013-07-24 | 톰슨 라이센싱 | 3차원 비디오를 위한 컴포트 노이즈 및 필름 그레인 처리 |
| JP2014515856A (ja) * | 2011-04-13 | 2014-07-03 | クゥアルコム・インコーポレイテッド | グラフィック処理のためのピクセル値圧縮 |
-
2003
- 2003-02-10 JP JP2003031969A patent/JP2004240910A/ja active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007272356A (ja) * | 2006-03-30 | 2007-10-18 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
| US8022962B2 (en) * | 2007-06-27 | 2011-09-20 | Nintendo Co., Ltd. | Image processing program and image processing apparatus |
| KR20130084232A (ko) * | 2010-05-11 | 2013-07-24 | 톰슨 라이센싱 | 3차원 비디오를 위한 컴포트 노이즈 및 필름 그레인 처리 |
| JP2013530618A (ja) * | 2010-05-11 | 2013-07-25 | トムソン ライセンシング | ３次元ビデオの快適ノイズ及びフィルム粒子処理 |
| US8761541B2 (en) | 2010-05-11 | 2014-06-24 | Thomson Nlicensing | Comfort noise and film grain processing for 3 dimensional video |
| KR101696918B1 (ko) * | 2010-05-11 | 2017-01-23 | 톰슨 라이센싱 | 3차원 비디오를 위한 컴포트 노이즈 및 필름 그레인 처리 |
| JP2014515856A (ja) * | 2011-04-13 | 2014-07-03 | クゥアルコム・インコーポレイテッド | グラフィック処理のためのピクセル値圧縮 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3294149B2 (ja) | 立体テクスチャマッピング処理装置及びそれを用いた３次元画像生成装置 | |
| JP3635051B2 (ja) | 画像生成方法及び装置、画像処理プログラムを記録した記録媒体、画像処理プログラム | |
| US6975329B2 (en) | Depth-of-field effects using texture lookup | |
| Schütz et al. | Real-time continuous level of detail rendering of point clouds | |
| EP1217584A2 (en) | Method and apparatus for filtering of image scene data in virtual 3-D space | |
| US20080074438A1 (en) | Sampling methods suited for graphics hardware acceleration | |
| JPH0844867A (ja) | 原映像を修正する方法及び装置 | |
| CN111161392B (zh) | 一种视频的生成方法、装置及计算机系统 | |
| JP2008501170A (ja) | イメージを見てエンハンスする方法及びシステム | |
| JP3715222B2 (ja) | 描画方法、描画装置、描画処理プログラム、描画処理プログラムを記録した記録媒体、および描画処理プログラム実行装置 | |
| KR19990045321A (ko) | 폴리곤이 분할되는 화상처리 | |
| JPH07146931A (ja) | 画像創成方法 | |
| JP2004005452A (ja) | 画像処理装置、画像処理方法、半導体デバイス、コンピュータプログラム、記録媒体 | |
| US6590574B1 (en) | Method, system, and computer program product for simulating camera depth-of-field effects in a digital image | |
| US7050066B2 (en) | Image processing apparatus and image processing program | |
| US7133052B1 (en) | Morph map based simulated real-time rendering | |
| JP4797039B2 (ja) | 画像合成方法及び装置 | |
| JP3448536B2 (ja) | 三次元コンピュータ画像処理のプログラムを記録したコンピュータ読み取り可能な記録媒体、ぼかし描画処理方法およびビデオゲーム装置 | |
| JP2004240910A (ja) | 画像処理装置および画像処理方法 | |
| JP2003233836A (ja) | モデリング時の距離成分を用いてレンダリング陰影処理を行う画像処理装置とその方法 | |
| JPH01131976A (ja) | テクスチャマッピング装置およびその方法 | |
| JPH11242753A (ja) | ３次元描画方法および装置 | |
| JP2023504368A (ja) | 静止画内のステレオスプラッシュスクリーンのエンコーディング | |
| JP4009289B2 (ja) | フットプリントに係るテクセルのカラー値をカラー計算するための重み付けファクタを決定する方法 | |
| JP4116325B2 (ja) | 画像表示制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050415 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050606 |