JP2012146224A

JP2012146224A - 描画処理装置

Info

Publication number: JP2012146224A
Application number: JP2011005345A
Authority: JP
Inventors: Eisaku Obuchi; 栄作大渕; Tatsuo Yamamoto; 達夫山本
Original assignee: DIGITAL MEDIA PROFESSIONAL KK; Digital Media Professionals Inc
Current assignee: DIGITAL MEDIA PROFESSIONAL KK; Digital Media Professionals Inc
Priority date: 2011-01-13
Filing date: 2011-01-13
Publication date: 2012-08-02
Anticipated expiration: 2031-01-13
Also published as: JP5689693B2

Abstract

【課題】写実的で自然な実写画像とＣＧ画像の合成画像を生成できる描画処理装置を提供する。
【解決手段】基本的には，実写画像の３次元空間における対象物までの奥行き値を検出し，検出した奥行き値に基づいて，例えば，ぼけ処理や，輪郭強調処理，動き強調処理のような後処理を行う。具体的には，同一の対象物を異なる視点において撮影した複数の実写画像に基づいて奥行き値の検出を行うため，例えば実写画像の視差に基づいて奥行き値を検出できるため，奥行き値の演算がより正確になる。また，奥行き値の検出処理に際して，異なる視点の複数の実写画像を用いることにより，生成された合成画像は，両眼の視差によって立体映像を表示する立体ディスプレイに好適に表示できる。従って，より写実的で自然な合成画像を生成できる。
【選択図】図１

Description

本発明は，３次元空間において，実写の画像とコンピュータグラフィックスによって生成された画像を合成するための描画処理装置に関する。

従来から，例えば，擬似３次元空間に配置された対象物をモニタに表示させた際に，カメラ撮影の焦点位置を中心として，被写界深度より遠方の物体をぼかす処理を行うことにより，コンピュータグラフィックスによって生成された画像（以下，ＣＧ画像）を自然に表現する技術が提案されている（特許文献１）。

特開２００９−５３７４８号公報

しかしながら，ぼかし処理が施されたＣＧ画像を，実際に撮影された画像（以下，実写画像）と合成すると，ＣＧ画像と実写画像の奥行きが一致しないことから，合成画像が不自然なものとなっていた。

そこで，本発明は，実写画像とＣＧ画像の奥行きを一致させることで，より写実的で自然な実写画像とＣＧ画像の合成画像を生成できる描画処理装置を提供することを目的とする。

本発明は，基本的には，実写画像の３次元空間における対象物までの奥行き値を検出し，検出した奥行き値に基づいて，例えば，ぼけ処理や，輪郭強調処理，動き強調処理のような後処理を行うことにより，より写実的で自然な合成画像を生成できるという知見に基づく。具体的に説明すると，本発明は，以下の構成を有する。

本発明の第１の側面は，描画処理装置に１００関する。
本発明の描画処理装置１００は，画像入力インターフェイス１と，奥行き検出部２と，グラフィックス処理部３と，後処理部４を含む。
画像入力インターフェイス１は，三次元空間における対象物の実写画像を入力するための機能を有する。
奥行き検出部２は，画像入力インターフェイス１によって入力された実写画像に基づいて，実写画像の撮影位置から対象物までの奥行き値を検出する機能を有する。
グラフィックス処理部３は，奥行き値を有するコンピュータグラフィックス画像を生成する機能を有する。
後処理部４は，奥行き検出部により検出された対象物までの奥行き値と，コンピュータグラフィックス画像が有する奥行き値に基づいて，実写画像とコンピュータグラフィックス画像の合成画像を生成するとともに，合成画像の空間表現を強調するための追加処理を行う機能を有する。

また，画像入力インターフェイス１によって入力される実写画像は，同一の対象物を異なる視点において撮影した複数の実写画像であり，奥行き検出部２は，複数の実写画像に基づいて，実写画像の撮影位置から対象物までの奥行き値を検出することが好ましい。

このように，同一の対象物を異なる視点において撮影した複数の実写画像に基づいて奥行き値の検出を行うことにより，例えば実写画像の視差に基づいて奥行き値を検出できるため，奥行き値の演算がより正確になる。また，奥行き値の検出処理に際して，異なる視点の複数の実写画像を用いることにより，本発明により生成された合成画像は，両眼の視差によって立体映像を表示する立体ディスプレイに好適に表示できる。

また，後処理部４は，奥行き検出部により検出された対象物までの奥行き値と，コンピュータグラフィックス画像が有する奥行き値に基づいて，マスク画像を生成することが好ましい。後処理部４は，実写画像についてのマスク画像を生成するものであってもよいし，ＣＧが画像についてのマスク画像を生成するものであってもよい。

また，マスク画像は，少なくとも，ぼかしの強度に関する情報，エッジに関する情報，又は対象物の識別子のいずれか１つを有することが好ましい。

本発明の第２の側面は，本発明の第１の側面の描画処理装置１００を備えたマルチディスプレイシステムに関する。マルチディスプレイシステムとは，複数の表示装置を備える画像表示システムである。

本発明の第３の側面は，本発明の第１の側面の描画処理装置１００を備えた立体ディスプレイシステムに関する。立体ディスプレイシステムの例は，偏光眼鏡やシャッター眼鏡を利用して立体映像を提示する眼鏡式や，モニタにレンチキュラーレンズやパララックスバリアの視差障壁を備える裸眼式の立体ディスプレイシステムである。

本発明の第４の側面は，本発明の第１の側面の描画処理装置１００を備えたコンピュータである。コンピュータの例は，パーソナルコンピュータ，ゲーム機，携帯電話，ナビゲーションシステム，及びスロットマシーンである。

図１は，本発明の描画処理装置の構成の例を示すブロック図である。図２は，本発明の描画処理装置の情報処理の例を概念的に示した図である。図３は，奥行き検出部の情報処理の例を説明するための図である。図４は，グラフィックス処理部の構成を説明するための図である。図５は，後処理部の構成を説明するための図である。

以下，図面に基づいて本発明を実施するための形態について説明する。ただし，本発明は，以下の説明に限定されることなく，当業者に自明な範囲で適宜修正を加えたものも含む。

（１．描画処理装置の全体構成）
図１は，本発明の描画処理装置１００の構成の例を示すブロック図である。図１に示されるように，本発明の描画処理装置１００は，基本的には，画像入力インターフェイス１，奥行き検出部２，グラフィックス処理部３，後処理部４，及び画像出力インターフェイス５で構成される。また，これらの各要素によって処理された情報は，適宜システムメモリ６に格納され，システムメモリ６に格納された情報は，適宜これらの各要素によって読み出され処理される。

なお，画像入力インターフェイス１は，例えばカメラのように直接的な画像入力を行う撮影装置であってもよいし，何らかの形で入力された画像をシステムメモリ６へ格納する装置であってもよい。同様に，画像出力インターフェイス５は，例えば液晶のように直接的な画像出力を行う表示装置であってもよいし，生成された画像をシステムメモリ６に格納する装置であってもよい。

（２．描画処理装置の処理フロー）
図２は，本発明の描画処理装置１００の情報処理の例を概念的に示した図である。図２においては，２台のカメラが画像入力インターフェイス１として用いられるとともに，画像出力インターフェイス５が立体映像を表示するための立体ディスプレイに接続される例を示している。

まず，描画処理装置１００は，画像入力インターフェイス１であるカメラを介して，画像データを取り込む。図２に示された例においては，異なる視点位置に配置された２台のカメラによって，同一の対象物が撮影されている。２台のカメラは，それぞれ，左眼用の画像データを取り込む用途，及び右眼用の画像データを取り込む用途に使用される。そして，２台のカメラを介して取り込まれた左眼用画像データ及び右眼用画像データは，システムメモリ６に格納される。

次に，描画処理装置１００は，カメラを介して取り込まれた左眼用画像データ及び右画像データを用いて，奥行き値を検出するための奥行き検出処理を行う。奥行き検出部２は，カメラによって入力された画像データを基に，奥行き距離（奥行き値）の計測を行う。例えば，奥行き検出部２は，入力された左眼用画像データ及び右眼用画像データから，それぞれの画像に対応する特徴点を抽出し，抽出した特徴点に対応する左右両眼の画像データのピクセル座標値を用いて，奥行き値を検出するための演算処理を行う。そして，奥行き検出部２による演算処理の結果は，画像奥行き情報としてシステムメモリ６に格納される。

一方，描画処理装置１００は，グラフィックス処理部３によって，３次元ＣＧ画像の描画を行う。このＣＧ画像の描画処理は，２台のカメラの視点位置を考慮し，３次元空間内におけるカメラ位置を決定した上で行われる。そして，左眼用の３次元画像の描画結果及び右眼用の３次元画像の描画結果は，システムメモリ６に格納される。また，左眼用の３次元画像の描画結果及び右眼用の３次元画像の描画結果と併せて，それぞれの結果に対応する奥行き情報もシステムメモリに格納される。

また，描画処理装置１００の後処理部４は，奥行き検出部により検出された対象物までの奥行き値と，ＣＧ画像が有する奥行き値に基づいて，実写画像とＣＧ画像の合成を行う。また，後処理部４は，実写画像とＣＧ画像の合成を行うと同時に，例えば，画像ぼけの処理，影付け処理，輪郭強調処理，又は動き強調処理を行う。これにより，描画処理装置１００は，奥行き感がありかつ自然な合成画像を生成できる。

そして，描画処理装置１００は，上記後処理を行った後，左眼用結果画像データ及び右眼用結果画像データをシステムメモリ６に格納する。システムメモリ６に格納された左眼用結果画像データ及び右眼用結果画像データは，画像出力インターフェイス５を介して，立体ディスプレイ２００に表示される。

ただし，本発明の描画処理装置１００は，図２に示された例に限定されるものではない。すなわち，本発明の描画処理装置１００は，１台のカメラが画像入力インターフェイス１として構成されるものであってもよい。また，本発明の描画処理装置１００は，カメラによって対象物を撮影するに際に，カメラに搭載された距離センサによって，対象物の奥行き情報を取得することとしてもよい。また，本発明の描画処理装置１００は，画像出力インターフェイス５が，通常のディスプレイに接続されていてもよい。さらに，本発明の描画処理装置１００は，３台以上のカメラを画像入力インターフェイスとして用いることで，奥行き情報の検出の精度をさらに向上させることとしてもよい。

（３．描画処理装置の構成要素）
以下，図面を参照して，描画処理装置１００の構成要素について説明する。

（３−１．画像入力インターフェイス）
画像入力インターフェイス１は，三次元空間における対象物の実写画像を入力する機能を有する。画像入力インターフェイス１の例は，カメラである。描画処理装置１００は，画像入力インターフェイス１としてのカメラを，一台備えるものであってもよいし，複数台備えるものであってもよい。また，画像入力インターフェイス１は，一台のカメラに，複数の撮影レンズを備えるものであってもよい。

カメラは，撮影レンズを有し，撮影レンズの撮像素子の撮像面上に撮影対象物の像を結像させる。撮像素子はＣＣＤイメージセンサなどで構成され，撮像面上の対象物の像を撮像し，その撮像信号を，撮像回路へ出力する。撮像回路は，撮像素子から入力された光電変換信号に対するアナログ処理（例えばゲインコントロール）を行う他，内蔵するＡ／Ｄ変換回路でアナログ撮像信号をデジタルデータに変換する。撮像回路により変換されたデジタルデータは，システムメモリに格納される。

また，カメラは，焦点検出装置を有するものであってもよい。焦点検出装置は，焦点検出領域に対応する光束を用いて，例えば位相差検出方式によって撮影レンズによる焦点調節状態の検出を行う。つまり，焦点検出装置は，焦点検出光学系を介して一対の被写体像をオートフォーカスセンサ上に結像させる。そして，ＣＰＵは，センサ上の一対の被写体像の相対間隔に基づいて，撮影レンズによる焦点位置の調節状態を算出する。
（３−２．奥行き検出部）

図３を参照して，奥行き検出部２が，カメラによって入力された画像データを基に，撮影位置から撮影対象物までの奥行きを，水平に検出する場合について説明する。なお，図３においては，２台のカメラによって一の対象物を撮影した場合の例が示されているが，奥行き検出部２が対象物の奥行きを検出する方法は，これに限定されない。

図３に示す例では，左眼用画像データのピクセル位置，右眼用画像データのピクセル位置，及びこれらの左右両画像に共通の特徴点のピクセル位置を用いて奥行き値の演算処理を行う。つまり，奥行き検出部２は，入力された左眼用画像データ及び右眼用画像データから，それぞれの画像に対応する特徴点を抽出し，抽出した特徴点に対応する左右両眼の画像データのピクセル座標値を用いて，奥行き値を検出するための演算処理を行う。具体的に説明すると，奥行き値ｄｅｐｔｈは，以下の方程式（１）によって求められる。

ここで，Ｌは，左眼用画像の撮影位置及び右眼用画像の撮影位置のレンズの光軸間距離（基線長）である。また，ｆは，左眼用レンズと右眼用レンズの焦点距離であり，ｄは視差である。

このようにして奥行き検出部２が求めた奥行き値は，撮影画像における対象物の奥行き情報としてシステムメモリ６に格納される。
（３−３．グラフィックス処理部）

図４を参照して，グラフィックス処理部３の構成について説明する。図４は，グラフィックス処理部３の構成を概念的に示した図である。グラフィックス処理部３は，図４に示されるように，３次元グラフィックス処理部３１と，描画結果及び奥行き情報出力部３２を含む。３次元グラフィックス処理部３１は，３次元のモデルデータを基に，ＣＧ画像の描画を行う。そして，描画結果及び奥行き情報出力部３２は，３次元グラフィックス処理部３１が描画したＣＧ画像データとともに，描画対象の奥行き情報を出力する。

グラフィックス処理部３が行うＣＧ画像の描画処理には，適宜，公知の方法を用いることができる。例えば，グラフィックス処理部３は，ＯｐｅｎＧＬ（登録商標）に代表される一般的な３次元グラフィックス処理を行うこととしてもよい。また，グラフィックス処理部３は，奥行き情報を固定で与られ，奥行き方向に垂直にスライスされるプレーン上に描画が行われる２次元グラフィックスであっても，奥行き情報を出力可能である。
（３−３．グラフィックス処理部）

図５は，後処理部４の情報処理の構成を概念的に示す図である。ここで，図５に示されるように，後処理部４は，奥行き情報補正部４１と，マスク生成部４２と，画像生成・合成部４３とを含む。

奥行き情報補正部４１は，システムメモリから実写画像の奥行き情報とＣＧ画像の奥行き情報を読み出し，奥行き値の情報の補正を行う機能を有する。また，マスク生成部４２は，奥行き情報補正部４１により補正された奥行き情報に基づいて，次処理用のマスクを生成する機能を有する。そして，画像生成・合成部４３は，マスク生成部４２により生成されたマスクを用いて，例えば，入力画像インターフェイス１により入力された実写画像データや，グラフィックス処理部２により生成されたＣＧ描画結果画像のピクセル単位のぼかし処理，影付け処理，輪郭強調処理，又は動き強調処理を行う。また，画像生成・合成部４３は，上記のような空間表現を強調するための追加処理と同時に，実写画像とＣＧ画像の合成処理を行う。

まず，奥行き情報補正部４１は，実写画像データの奥行き情報とＣＧ描画結果画像の奥行き情報の奥行きの位置関係が適合するように補正する。具体的に説明すると，奥行き情報補正部４１は，例えば，スケール変換やオフセット変換のような演算処理を行うことにより，奥行き情報の位置関係を適合させる。このように，奥行き情報を補正することにより，例えば，対象物の実写画像を取得する際にカメラの位置に関して製造上のばらつきが発生した場合であっても，そのカメラ位置の調整のための演算も，この奥行き情報補正部５１によって同時に行うことができる。

次に，マスク生成部４２は，奥行き情報補正部５１により補正された奥行き情報に応じて，８ｂｉｔ程度のマスクデータを，ピクセルごとに生成する。マスク生成部４２は，実写画像についてのマスク画像を生成するものであってもよいし，ＣＧ画像についてのマスク画像を生成するものであってもよい。マスク生成部４２は，生成されたマスクデータを用いて，例えば，カメラ撮影の焦点位置を中心として，被写界深度より遠方及び近方の物体をぼかす処理を行う。

そして，マスク生成部４２は，このようなぼけ処理を行う際に，奥行き検出部２により検出された実写画像における対象物までの奥行き値と，ＣＧ画像が有する奥行き値を，参照する。つまり，マスク生成部４２は，これらの奥行き情報に基づいて，被写界深度の遠方と近方の対象物が大きくぼけるようなパラメータ設定を行う。

また，実写画像とＣＧ画像の奥行き情報に基づいて，輪郭強調処理を行うこともできる。つまり，予め与えられた閾値を基に，その閾値よりも奥行き値に差があった場合，その部分を輪郭とするような情報をマスクに入れておけばよい。これにより，対象物の輪郭部分についてはぼかしながら，輝度を上げるといった強調処理を行うことができる。

また，マスクデータには，顔認識のようなオブジェクト検出と組み合わせた識別子を付加することができる。これにより，対象物の特定の部分（例えば目の部分）についてのみぼかすといった処理を行うことが可能となる。

そして，画像生成・合成部４３は，マスク生成部４２により生成されたマスクを基にして，例えば，ぼかし処理や輝度調整を行ったりすると共に，実写画像データとＣＧ描画結果の合成を行う。

さらに，画像生成・合成部４３は，前回の画像出力において出力された合成結果画像を再度入力することにより，対象物が動いた場合の残像処理のために，前後のフレームに対して加算処理を行うことも可能である。

（３−５．画像出力インターフェイス）
本発明の描画処理装置１００における画像出力インターフェイス５は，一般的なディスプレイに接続されていてもよいし，例えば，複数の表示装置が連動するマルチディスプレイや，立体映像を表示するための立体ディスプレイに接続されていてもよい。また，その他，画像出力インターフェイス５は，例えば，携帯電話，ゲーム機，ナビゲーションシステム，スロットマシーンのようなコンピュータの表示装置に接続されていてもよい。

ここで，立体ディスプレイシステムの例は，偏光眼鏡やシャッター眼鏡を利用して立体映像を提示する眼鏡式や，モニタにレンチキュラーレンズやパララックスバリアの視差障壁を備える裸眼式の立体ディスプレイシステムである。立体ディスプレイシステムは，視差を利用して，２視点で撮影された画像を用いて立体画像を表示するものであってもよいし，３視点以上の多視点で撮影された画像を用いて立体画像を表示するものであってもよい。

本発明は，実写画像とＣＧ画像の合成画像を生成するための描画処理装置に適用される。従って，本発明は，コンピュータグラフィックスに関する産業において好適に利用しうる。

１画像入力インターフェイス
２奥行き検出部
３グラフィックス処理部
４後処理部
５画像入力インターフェイス
６システムメモリ
３１３次元グラフィックス処理部
３２描画結果及び奥行き情報出力部
４１奥行き情報補正部
４２マスク生成部
４３画像生成・合成部
１００描画処理装置
２００立体ディスプレイ

Claims

三次元空間における対象物の実写画像を入力するための画像入力インターフェイス（１）と，
前記画像入力インターフェイス（１）によって入力された実写画像に基づいて，前記実写画像の撮影位置から前記対象物までの奥行き値を検出する奥行き検出部（２）と，
奥行き値を有するコンピュータグラフィックス画像を生成するグラフィックス処理部（３）と，
前記奥行き検出部により検出された前記対象物までの奥行き値と，前記コンピュータグラフィックス画像が有する奥行き値に基づいて，前記実写画像と前記コンピュータグラフィックス画像の合成画像を生成するとともに，前記合成画像の空間表現を強調するための追加処理を行う後処理部（４）を含む
描画処理装置（１００）。
前記画像入力インターフェイス（１）によって入力される実写画像は，同一の対象物を異なる視点において撮影した複数の実写画像であり，
前記奥行き検出部（２）は，前記複数の実写画像に基づいて，前記実写画像の撮影位置から前記対象物までの奥行き値を検出する
請求項１に記載の描画処理装置（１００）。
前記後処理部（４）は，前記奥行き検出部（２）により検出された前記対象物までの奥行き値と，前記コンピュータグラフィックス画像が有する奥行き値に基づいて，マスク画像を生成する
請求項１に記載の描画処理装置（１００）。
前記マスク画像は，少なくとも，ぼかしの強度に関する情報，エッジに関する情報，又は対象物の識別子のいずれか１つを有する
請求項３に記載の描画処理装置（１００）。
請求項１から請求項４のいずれかに記載の描画処理装置（１００）を備える
マルチディスプレイシステム。
請求項１から請求項４のいずれかに記載の描画処理装置（１００）を備える
立体ディスプレイシステム。
請求項１から請求項４のいずれかに記載の描画処理装置（１００）を備える
コンピュータ。