JP2010239177A - 画像生成方法 - Google Patents

Abstract

【課題】コンピュータの演算負荷を増大させる複雑な物理モデル、又は、利用者によるパラメータ設定の煩雑度を増大させる複雑な物理モデルを用いることなく、簡易な操作と処理によって高度な質感表現を可能ならしめる画像生成方法を提供する。
【解決手段】観察対象物体の両眼視差の提示が可能な画像提示環境で、両眼に提示される画像の輝度分布情報に基づいた視差量の操作、又は、観察視点の移動に伴う観察対象物体の運動視差の提示が可能な画像提示環境で、観察視点の移動に伴い時系列的に提示される画像の輝度分布情報に基づいた視差量の操作、これらのいずれかにより、知覚される観察対象物体の質感を制御する。
【選択図】図８

Description

本発明は、観察対象物の質感を提示するための画像生成方法に関するものである。

近年、電子デバイス技術や情報処理技術の発展により、画像入力デバイス、画像処理システム、画像出力デバイスなどの高精細化や高機能化が進み、実物に近いリアルな画像の提示が可能となっている。
コンピュータの性能向上とコンピュータグラフィックス技術の発展に伴い、コンピュータグラフィックスを用いた印刷物や映像コンテンツの制作が盛んになっているが、実世界での物体の見えは、物体の反射率や屈折率や透過率などの光学的特性、照明の位置や強度や色などの照明条件、観察する位置や方向、周囲の他の物体からの間接反射光など、多くの物理条件によって影響される。

コンピュータグラフィックス技術を用いて物体の見えをリアルに再現するためには、前述の物理条件と見えとの関係を示す物理モデルが用いられる．初期のコンピュータグラフィックスでは、コンピュータの演算能力の低さから、簡略化された単純な物理モデルが使用されていたが、コンピュータの演算能力の向上や高品質ＣＧへのニーズの高まりから、物理現象を正確に再現できる複雑な物理モデルが用いられるようになってきた。

この分野の従来の技術として、例えば、［特許文献１］に記載の発明がある。しかし、これは本発明に関わる空間周波数毎の視差操作による質感の制御につながる記述は一切無く、また本発明とは違い、本発明がターゲットとする立体視環境を想定していない。他にも［非特許文献１］に開示された研究があり、これには多眼立体視環境での質感再現性の向上についての確認実験の結果が述べられている。しかし、これは本発明とは違い、帯域分割や視差量の操作と質感の関係に言及するものではない。

特開２０００−８８５５８号公報

VGA解像度72指向性ディスプレイによる質感表現 映像情報メディア学会誌 Vol.61、No.12 (2007/12) (通号711) pp.1795〜1802 （著者：大力孟司、畑田豊彦、高木康博）

しかしながら従来は、ゲームやバーチャルリアリティなどのようなＣＧ映像の生成を実時間で行う用途では、処理時間に多大な影響を与える演算負荷の低減が強く求められるため、過度に複雑な物理モデルは採用できず、処理方式の簡略化が必要となる問題があった。また、複雑な物理モデルでは、その挙動を定義するための多くのパラメータを決定する必要があり、制作時の負荷も増大する問題があった。

本発明は、前記従来の技術の問題点に鑑みなされたものであり、コンピュータの演算負荷を増大させるような複雑な物理モデルを、又は利用者によるパラメータ設定の煩雑度を増大させてしまうような複雑な物理モデル、を用いることなく、簡易な操作と処理によって高度な質感表現を可能ならしめる画像生成方法を提供することを目的とする。

前記課題を解決するための手段として、請求項１に記載の発明は、観察対象物体の両眼視差の提示が可能な画像提示環境において、両眼に提示される画像の輝度分布情報に基づいて視差量を操作することにより、知覚される該観察対象物体の質感を制御することを特徴とする画像生成方法である。

ここで質感とは、布地や木材の肌理、金属の光沢感、大理石の透明感、などの、物体の見えから観察者によって知覚される物体表面の光学的特徴を言う。
輝度分布情報とは、照明や物体表面の色や構造的特徴などによって生じる、物体表面の輝度の変化を示す情報であり、観察対象物体の画像の輝度信号をそのまま用いる場合に加え、ＣＧや画像処理によって生成あるいは加工された情報を用いる場合もある。
また、輝度分布情報は、物理的な光の強度を示すものでなく、心理的印象や演出的効果などの非物理的な尺度での明るさを示すものであってもよい。

また請求項２に記載の発明は、前記観察対象物体の画像の輝度分布情報として該観察対象物体の画像に含まれる低空間周波数成分を用いることを特徴とする請求項１に記載の画像生成方法である。

また請求項３に記載の発明は、前記観察対象物体の画像の輝度分布情報に基づいて画像を変形させることを特徴とする請求項１に記載の画像生成方法である。

そして請求項４に記載の発明は、観察視点の移動に伴う観察対象物体の運動視差の提示が可能な画像提示環境において、該観察視点の移動に伴い時系列的に提示される画像の輝度分布情報に基づいて視差量を操作することにより、知覚される該観察対象物体の質感を制御することを特徴とする画像生成方法である。

ここで質感とは、（前記請求項１の場合と同様）布地や木材の肌理、金属の光沢感、大理石の透明感、などの、物体の見えから観察者によって知覚される物体表面の光学的特徴を言う。

また請求項５に記載の発明は、前記観察対象物体の画像の輝度分布情報として低空間周波数成分を用いることを特徴とする請求項４に記載の画像生成方法である。

また請求項６に記載の発明は、前記観察対象物体の画像の輝度分布情報に基づいて画像を変形させることを特徴とする、請求項４に記載の画像生成方法である。

以上説明したように、本発明によれば、コンピュータの演算負荷と、利用者によるパラメータ設定の煩雑度を増大させる複雑な物理モデルを用いることなく、簡易な操作と処理によって高度な質感表現が可能となる。

本発明により生成された画像を表示する、観察対象物体の両眼視差画像の提示が可能な画像提示環境の一例を示す概念図。 図１の環境で観察者が知覚しうる単一の仮想的ディスプレイの様子を示す概念図。 左眼と右眼それぞれに提示される画像の平行移動により、観察対象物体までの距離感が減少される様子を示す概念図。 左眼と右眼それぞれに提示される画像の（図３の場合とは異なる）平行移動により、観察対象物体までの距離感が増大される様子を示す概念図。 本発明により生成された画像を表示する、観察対象物体の運動視差画像の提示が可能な画像提示環境の一例を示す概念図。 視点の移動と画像の移動によって、観察対象物体までの距離感が増大される様子を示す概念図。 視点の移動と画像の（図６の場合とは異なる）移動によって、観察対象物体までの距離感が減少される様子を示す概念図。 図１の両眼視差画像の提示環境を用いる場合の、本発明による質感操作の（概略）手順を示すチャート。 本発明で読み込む原画像データの一例（布地表面）を示す説明図。 輝度と生成される左右画像の視差量との関係を示すグラフ。 図９の原画像データの輝度分布情報（低空間周波数成分画像）。 図９に示す原画像データの中心部（高さ１画素、幅６４画素）の拡大図。 図１０に示す輝度分布情報の、図１２に示した画素に対応する値を示すグラフ。 図１２に示す画像を、図１３に示す輝度分布情報と図１０に示す条件とに基づいて変形し、右目用画像を生成する様子を示す概念図。 図１２に示す画像を、図１３に示す輝度分布情報と図１０に示す条件とに基づいて変形し、左目用画像を生成する様子を示す概念図。

以下、図面を用いて本発明を詳細に説明する。

図１は、本発明を用いて生成された画像を表示するための、観察対象物体の両眼視差画像の提示が可能な画像提示環境の一例である。

左眼用ディスプレイ（１）と右眼用ディスプレイ（２）に表示された画像は、融像用ミラー（３）に反射し、観察者の両眼でそれぞれ観察される．双方のディスプレイに同一の画像を表示した場合には、ディスプレイとミラーの適切な配置によって、観察者には図２に示すように単一の仮想的ディスプレイ（４）が正面に存在するかのような知覚をもたらす。
また、ディスプレイとミラーの配置を変更することで視差角が変化し、画像までの距離感が変化する．また、ディスプレイとミラーの配置を変更することなく、双方のディスプレイに表示されている画像に対して、それぞれに異なる量の平行移動を加えることによっても視差角が変化し距離感が変化する。

図３に示すように、左眼に提示される画像（６）を右に、右眼に提示される画像（７）を左に平行移動すると、視差角（８）が増大し、観察対象物体までの距離感は減少される。

一方、図４に示すように、左眼に提示される画像（９）を左に、右眼に提示される画像（１０）を右に平行移動すると、視差角（１１）が減少し、観察対象物体までの距離感は増大される。
同様にして、画像の部分ごとに異なる平行移動量を与えることで、当該部分ごとに異なる距離感を与え、奥行きを持った画像、すなわち立体画像を提示することができる。

図５は、本発明を用いて生成された画像を表示するための、観察対象物体の運動視差画像の提示が可能な画像提示環境の一例である。

観察者は、ディスプレイ（１２）に表示された画像を、覗き穴が開けられた接眼部（１３）を介して観察する。接眼部は、レール（１４）上に取り付けられ、自由に平行移動が可能である。の位置はレールに取り付けられた位置センサー（１５）によって読み取られる。
接眼部を移動させながらディスプレイを観察する場合において、ディスプレイ上に表示される画像が静止している場合、運動視差によって得られる画像までの距離感は視点からディスプレイまでの距離に等しくなる。接眼部の動きに合わせて、画面上に表示される画像を平行移動させることで、運動視差量が変化し画像までの距離感が変化する。

図６に示すように、視点の移動と同一方向に、視点の動きに追従するように画像を移動させた場合には、運動視差が小さくなり、運動視差によって得られる観察対象物体までの距離感が増大する。

一方、図７に示すように、視点の移動と逆方向、画像を移動させた場合には、運動視差が増大し、運動視差によって得られる観察対象物体までの距離感が減少される。
同様にして、画像の部分ごとに異なる平行移動量を与えることで、当該部分ごとに異なる距離感を与え、奥行きを持った画像、すなわち立体画像を提示することができる。

以下、図１に示した両眼視差画像の提示環境を用いる場合について、本発明による質感操作の手順を図８に基づいて示す。
まず、原画像データを読み込む。布地表面の原画像データの例を図９に示す。
原画像データは実写画像に限らず、コンピュータグラフィックなどの手法を用いて合成されたものでも良い。

次に、輝度分布情報の抽出条件と、輝度と画素移動量との関係付けに関する設定を行う．低域通過フィルタを用いて輝度分布情報を抽出する場合を例にとると、例えば、布地表面の起伏や織目によって生じるゆるやかな輝度変化（低周波成分）は通過させ、糸表面の微細な構造による輝度変化（高周波成分）は除去するように低域通過フィルタを設定する。

さらに、布地の起毛感を表現するために、高輝度領域を手前に、低輝度領域を遠くに知覚させる場合、高輝度領域については、視差角が大きく、低輝度領域については視差角が小さくなるように、輝度と画素の平行移動量との関係を設定する。
利用者は，画像の特徴や所望の質感表現を考慮し，例えば図１０に示すように輝度分布情報が示す輝度と、画素の平行移動量の関係を設定する。

図１０の例では、輝度分布情報が与える輝度と平行移動量との関係として設定しているが、この設定法に限定されるものではない。
また、画像の表示にあたり、拡大縮小操作や変形操作などを伴う場合においては、その結果として、質感が異なって知覚される場合がある。この場合には、拡大縮小操作や変形操作の条件毎に利用者が視差量を設定する、あるいは、拡大縮小操作や変形操作に伴う最適水平移動量を与える演算式を組み込むなどの方法を用いてもよい。

同様に、ディスプレイのサイズ、解像度、視距離などの観視条件によっても質感が異なって知覚される場合がある．この場合にも観視条件毎に利用者が視差量を設定する、あるいは、観視条件に適した最適視差量を与える演算式を組み込むなどの方法を用いてもよい。

次に、低域通過フィルタを用いて、輝度分布情報を抽出する。
輝度分布情報の抽出には、ガウシアンフィルタや移動平均フィルタなどの低域通過フィルタの利用、輝度や幾何的条件に基づくクラスタ化、など様々な方式が考えられるが、本発明においては輝度分布情報の抽出方法は限定しない。

図１１に、図９に示した原画像データから低域通過フィルタを用いて抽出された輝度分布情報の例を示す。

図１２に、図９に示す原画像データの中心部（高さ１画素、幅64画素）を拡大した様子を示す。

図１３に、図１２に示す部分に対応する、図１１に示す輝度分布情報の値の変化を示す。

次に、図１０に示す関係を用いて、原画像の変形操作を行う。
図３に示したように、左眼に提示される画像では右に、右眼に提示される画像では左に画素を平行移動することで距離感は減少される。一方、図４に示すように、左眼に提示される画像では左に、右眼に提示される画像では右に画素を平行移動することで距離感は増大される。

図１４は、左眼用画像が生成される様子を示すものである。
本例では、図１０に示す関係から、低輝度の距離感を増大し、高輝度の画素は距離感を減少することが求められているため、高輝度の画素（１６）は右に、高輝度の画素（１７）は右に移動するよう変形処理を行う。

図１５は、右眼用画像が生成される様子を示すものである。
高輝度の画素（１８）は左に、低輝度の画素（１９）は右に移動するよう変形処理を行う。

次に、左右画像それぞれをディスプレイに表示する。
利用者は、表示された画像を確認し、所望の質感が得られた場合には作業を完了する。
所望の質感が得られなかった場合には、輝度分布情報の抽出と、輝度と水平移動量との関係付けに関する設定に戻り操作を繰り返す。

以上、図１に示した両眼視差画像の提示環境を用いる場合について、本発明による質感操作の手順を示したが、運動視差の提示が可能な環境や３視点以上の視差画像の提示が可能な環境を用いる場合についても同様の手順による質感操作を行うことができる。
ただし、両眼視差画像の提示が可能な環境を用いる場合においては、視点数は２点であり、視点間の距離は一般に人の瞳孔間隔として与えられるが、運動視差の提示が可能な環境や３視点以上の視差画像の提示が可能な環境においては、視点間の距離が多段階あるいは連続的に変化するため、視差量を段階的にあるいは連続的に変化させた多数の視差画像を必要とする。この場合には、両眼視を想定して利用者が設定した水平移動量に対して、視点間距離に対応した適切な係数を乗じるなどの方法により、視点位置に対応した視差画像を得ることができる。

本実施例では、原画像から輝度情報を抽出し、原画像を変形する場合について述べたが、ＣＧ技術などを用いて画像を生成する場合においては、始めから所望の視差量を持った画像を生成して用いてもよい。
また、符号化処理が施された画像など、既に帯域分割された原画像を用いる場合も同様である。
輝度分布情報の抽出条件、輝度と画素移動量との関係付け、などの設定は、所望の質感に対応して予め定義された数値や計算式を用いて行うこととしてもよい。これにより、利用者の作業負荷が軽減される。

１・・・左眼用ディスプレイ
２・・・右眼用ディスプレイ
３・・・融像用ミラー
４・・・仮想的ディスプレイ
５・・・視差角
６・・・左眼に提示される画像
７・・・右眼に提示される画像
８・・・視差角
９・・・左眼に提示される画像
１０・・・右眼に提示される画像
１１・・・視差角
１２・・・ディスプレイ
１３・・・接眼部
１４・・・レール
１５・・・位置センサー

Claims (6)

1. 観察対象物体の両眼視差の提示が可能な画像提示環境において、
   両眼に提示される画像の輝度分布情報に基づいて視差量を操作することにより、知覚される該観察対象物体の質感を制御すること、
   を特徴とする画像生成方法。
2. 前記観察対象物体の画像に含まれる低空間周波数成分を用いること、
   を特徴とする請求項１に記載の画像生成方法。
3. 前記観察対象物体の画像の輝度分布情報に基づいて画像を変形させること、
   を特徴とする請求項１に記載の画像生成方法である。
4. 観察視点の移動に伴う観察対象物体の運動視差の提示が可能な画像提示環境において、
   該観察視点の移動に伴い時系列的に提示される画像の輝度分布に基づいて視差量を操作することにより、知覚される該観察対象物体の質感を制御すること、
   を特徴とする画像生成方法。
5. 前記観察対象物体の画像に含まれる低空間周波数成分を用いること、
   を特徴とする請求項４に記載の画像生成方法。
6. 前記観察対象物体の画像の輝度分布情報に基づいて画像を変形させること、
   を特徴とする請求項４に記載の画像生成方法。