JP2011523306A - 立体視画像のブラー強化 - Google Patents

Abstract

【解決手段】 連続する画像間での視差の差異に応じて画像群の一部に選択的にブラー処理を施す方法および装置を開示する。当該方法および装置によれば、オートステレオスコピック・ディスプレイ特有のアーチファクトである１次元「リンギング」エッジアーチファクトが隠れる。このため、マルチビュー・オートステレオスコピック画像の知覚画質が改善される。当該方法では、隣接するビューにおいて視差が生じている領域を検出して、重み付け局所的画素平均化によって当該領域にブラー処理を施すとしてよい。ブラー半径および視差の相関関係は、視差が小さい領域の鮮明さを維持するべく、非線形とすることが優先される。
【選択図】 図１

Description

開示されている実施形態は、概して立体視画像に関し、特に視差画像にブラー処理を施すことによって立体視画像の画質を向上させる。

従来のディスプレイは、ディスプレイの平面内に画像が含まれる２次元（２Ｄ）ディスプレイである。奥行き知覚は、視覚システムではよく用いられる遠近法、サイズ変化、不明瞭化等の手掛かりによって得られる。ゲーム機で宣伝されている３次元（３Ｄ）視覚化は、上述した手掛かりを強化することによって得られているが、奥行きの感覚を正しく実現していることはほとんどない。このような奥行き知覚は、左目と右目で別々の画像を見る立体視技術を慎重に利用することによって得られる場合がある。物理的に別々のものである２つの目で画像を捉えることによって、それぞれの目の網膜で結像される被写体の位置は相対的に異なるので、奥行き情報が得られる。このような位置の相異は、「視差」と呼ばれ、観察者からさまざまな距離または奥行きにある物体を観察することによって自然に起こる現象である。驚くべきことに、このような種類の刺激は非常に強く、左目および右目において画像の相対的な位置のシフトが見られると常に、奥行き知覚が得られる。例えば、おそらく生まれつきまたは医学的処置によって両目で拡大率が異なる人は、２Ｄ写真で３Ｄ効果を感知することができる場合が多い。このように視差と奥行きとの間に強力な関連性があることによって、疲労が顕著になるまで、誤った逆視立体視画像（左目用および右目用の立体視画像が入れ替えられた画像）を気付かないうちに感知する可能性がある。視覚システムでは視差を特定して利用しようと試みる傾向があるために、３Ｄ効果の品質が低くなってしまうことが多くあり、最初は熱狂的に受け入れられても後に落胆に変わることが予測される。近年になってステレオ３Ｄが復活しているのは、最新の立体表示技術を用いて実現される表示品質が良好であるのが理由の１つである。

当該３Ｄ技術へと関心が移っている理由として、高品質の３Ｄ表示によって本来得られる利点以外に、２Ｄ表示技術の開発が成熟化している点が挙げられる。現在のＨＤＴＶの大型化、高輝度化、および、多色化の傾向は、主要国内市場において消費者の需要を越えてしまっている。ステレオスコピック３Ｄを採用した映画が既に、長編映画数作が最近リリースされて人気が高まり始めている一方、ステレオスコピック３Ｄのゲームもまた、ＤＬＰ投影技術を採用した３Ｄ対応テレビが発売されることによって、人気が高まってきている。このような表示システムで共通している特徴は、特殊なアイウェアを着用する必要があることであり、映画の場合はパッシブ型のアイウェアを、ゲームの場合はアクティブ型のアイウェアまたはシャッター眼鏡を着用する必要がある。アイウェアを利用したシステムは、複数の観察者について左目および右目を区別するという点で技術的に利便性が高いので、最初に商品化が可能となった技術である。最終的には、十分に高品質の３Ｄ効果が得られる、アイウェアの利用を必要としないオートステレオスコピック・システムを実現できることが好ましい。

概して、連続する画像間での視差の差異に応じて画像群の一部にブラー処理を施すことによってマルチビュー・オートステレオスコピック・ディスプレイの知覚品質を改善する方法が開示されている。当該方法によれば、オートステレオスコピック・ディスプレイ特有のアーチファクトである１次元「リンギング」エッジアーチファクトが隠れる。当該方法では、隣接するビューにおいて視差が生じている領域を検出して、重み付け局所的画素平均化によって当該領域にブラー処理を施すとしてよい。ブラー半径および視差の相関関係は、視差が小さい領域の鮮明さを維持するべく、非線形とすることが優先される。

ある側面によると、立体視画像を改善する方法が開示される。当該方法は、画像群に含まれる複数の画像ビューのうち隣接する画像ビューの視差の差異を決定する段階を備える。複数の画像ビューは、立体視画像の少なくとも２つの遠近が異なるビューを含む。当該方法はさらに、画像群に含まれる複数の画像ビューのうち少なくとも１つの画像ビューの少なくとも一部分にブラー処理を実行する段階を備える。

別の側面によると、立体視画像を改善する方法が開示される。当該方法は、画像群を構成する複数の画像ビューを入力する段階を備える。複数の画像ビューは、立体視画像の遠近が異なるビューを少なくとも２つ含む。当該方法はさらに、画像群を構成する複数の画像ビューのうち少なくとも１つの画像ビューの少なくとも一部分にブラー処理を実行する段階と、修正後の画像群を構成する複数の画像ビューを出力する段階とを備える。

さらに別の側面によると、立体視画像を改善するシステムが開示される。当該システムは、画像群に含まれる複数の画像ビューのうち隣接する画像ビューの視差の差異を決定する視差決定モジュールを備える。複数の画像ビューは、立体視画像の少なくとも２つの遠近が異なるビューを含む。当該システムはさらに、画像群に含まれる複数の画像ビューのうち少なくとも１つの画像ビューの少なくとも一部分にブラー処理を実行するブラー処理モジュールを備える。

さらに別の側面によると、立体視画像を改善するシステムが開示される。当該システムは、画像群を構成する複数の画像ビューを受け取る入力モジュールを備える。複数の画像ビューは、立体視画像の遠近が異なるビューを少なくとも２つ含む。当該システムはさらに、画像群のうち隣接する画像ビューの視差の差異に基づいて視差データを導出する視差導出モジュールを備える。当該システムはさらに、隣接する画像ビューのうち第１のビューが画像群の最後のビューである場合、隣接する画像ビューのうち第２のビューの画素値を局所的画素値の平均値で置換する画素置換モジュールを備える。画素置換モジュールはさらに、隣接する画像ビューのうち第１のビューが画像群の最後のビューでない場合、画像群の最後のビューの画素値および画像群のうち最後から２つ目のビューの画素値を、局所的画素値の平均値で置換する。当該システムはさらに、修正後の画像群を構成する複数の画像ビューを出力する出力モジュールを備える。

本明細書では上記以外にも特徴および変形例を記載する。

添付図面には一例として実施形態を図示している。図面では、同様の参照番号は同様の構成要素を指し示すものとする。図面は以下の通りである。

本開示に応じたオートステレオスコピック・システムの一例を上部から見た様子を示す概略図である。

本開示に応じた典型的なオートステレオスコピック・システムで利用されている９個のビューから構成されるデータ群を示す概略図である。

本開示に応じたオートステレオスコピック・ディスプレイで得られる混合ビューの一例を示す概略図である。

図３の一部分を示す拡大図である。

本開示に応じたブラー処理を説明するためのフローチャートである。

本開示に応じて、ブロックを基準とした動き予測を利用してマルチビュー画像群における視差をどのように決定するかの一例を説明するための概略図である。

本開示に応じた視差マップに含まれる空間フィルタリングされた視差を説明するための概略図である。

本開示に応じた画像群に含まれる１つのビューに対して視差に相関付けられて行われたブラー処理の効果を説明するための概略図である。

本開示に応じた、混合が行われる場合にディスプレイで表示される修正後の画像を示す概略図である。

図８の一部を示す拡大図である。

本開示に応じた、ブラー処理の前後の画像を比較した様子を一例として示す概略図である。

本開示に応じた、立体視画像を改善するためのシステム１０００を示す概略図である。

本開示に応じた立体視画像を改善するためのシステム１１００を示す概略図である。

図１は、オートステレオスコピック・システムの一例を上部から見た様子を示す概略図である。オートステレオスコピック・システム１００は、２Ｄディスプレイ１２０の前面にマイクロ光学レンズアレイ１１０が設けられている。マイクロ光学レンズアレイ１１０は、任意の１つの視角で見える画素素子サブセットを制限または選択する機能を持つ。同図に「ビューＮ」、「ビューＮ−１」、および「ビューＮ＋１」と示しているように、観察者１３０が各マイクロ光学レンズアレイ１１０によって知覚するビューは複数あるとしてよく、ビュー同士の間の領域１４０において隣接するビューが混合する。観察者１３０の位置に応じて見える画像は異なるとしてよい。

図２は、典型的なオートステレオスコピック・システムで利用されている９個のビューから構成されるデータ群を示す概略図である。同図では、オートステレオスコピック・ディスプレイで用いられる画像ビューとして典型的な複数のビュー２１０を含む合成画像２００を示す。観察者の位置に応じて、９個のビューから構成されるデータ群を構成する画像２１０は異なるとしてよい。ビュー群２００に含まれる画像のように９タイル形式では、「ラスタ」形式で左から順に右へとビューが並べられており、左上のビュー２１２は左端のビューであり、右下のビュー２１４は右端のビューとなる。各画像ビュー２１０の解像度は、ディスプレイの総画素の９分の１となる。オートステレオスコピック・ディスプレイの場合、ビューの数を９個とするのがさまざまな理由から便利であり普通であるが、ビューの数は別の値としてもよい。

図１に示すシステムの性質上、観察者１３０は通常、隣接する画像が混合したものを観察することになる。隣接する画像は、視差または奥行きが最大となる領域が互いに異なる。ディスプレイ１２０の平面内の領域の場合、視差は略存在せず、視角に関わらず結像はシャープなままとなる。

図１に戻って、観察者１３０の目と任意の所与のディスプレイ１２０との間に形成される視角はさまざまな角度となるので、オートステレオスコピック・システム１００は左目と右目で異なる画像が見えるように設計され得る。また、観察者がディスプレイの周囲で移動すると、別の独立したビューがさらに見えることとなり、重要な知覚である自然な３Ｄシーンの「運動視差」知覚が正しく得られる。この点は、任意の１つの目の位置または視角に関わらずこの目に見える画像は１つのみであるアイウェア立体視システムに比べると、改善された点であるといえる。アイウェア立体視システムの場合の画像は、不自然なことに画面の平面を中心として旋回するように知覚される。

原則的に、オートステレオスコピック方式の方が優れている。しかし、従来のオートステレオスコピック・システムには、それぞれのビューで必要となる画素が多く、現実的な高品質の表示を実現するためには、多くの遠近が異なるビューを用意しなければならないという問題がある。このような表示を実現するためには、利用する総視角を大きくする。例えば、部屋の隅に置かれたテレビは、視角が９０度（または、π／２ラジアン）でその範囲内に複数の別々のビューが多数定められているとしてよく、それぞれのビューは独立した画像を形成する画素群を含む。さらに、立体視効果を実現するためには、両目によって形成される角度内に少なくとも２つのビューがなければならない。そうでない場合、右目画像と左目画像との間の差異がほとんどなくなってしまう。最後に、隣接する画像への遷移は明らかに急激なものにならないように略途切れずに遷移することが望ましいので、角度に応じて、隣接する画像は非常に類似した画像であることが好ましく、実質的な視差を低減して「平坦な」画像となる。隣接する画像間の差異を最小限に抑えつつ左目と右目との視差を大きくするべく、両目が形成する角度（θｅ≒０．０５ｒａｄ）内で利用されるビューの数を多くする（例えば、Ｎｅ≒１０）。このため、視角が９０度であるテレビでは、利用するビューの数が多くなり、それぞれのビューは画素数が比較的多くなり（１３００×８００≒１Ｍ）−ビューの数は約（πＮｅ／２θｅ）百万となり、≒３００，０００，０００画素となる。この画素数は、現在の技術水準のＨＤＴＶで表示される画素数の約１００倍に等しい。

利用する画素素子数を現実的な値とした現在のオートステレオスコピック・システムは、低質化されており、つまり、通常は、視野を望ましい９０度からより現実的な視角、例えば、１０度に縮小して（所望の値の９分の１）、マイクロ光学レンズアレイによってビューを複製する。さらに、１ビュー当たりの画素数は、６４０×４８０またはＶＧＡレベルにまで低減され（さらに、４分の１に低減）、両目の位置の間のビューの数を３から４の間とする。このように低質化した場合に妥当な視差を実現するためには、画像の遠景および近景において角度に応じたビュー間での遷移を見えるようにする。設計上、ビューからビューへの瞬時遷移が回避されるので、通常は隣接するビューが混合した画像が見られる。ディスプレイ平面から離れた領域において画像を重畳すると、「リンギング」またはエッジが二重になる現象が発生してしまう。このように「リンギング」またはエッジが二重になる現象が発生すると、画像が震えているように見えて、観察者が気付いてしまうので、このような現象は望ましくない。また、観察者の奥行き知覚を制限してしまう可能性もある。

図３は、オートステレオスコピック・ディスプレイで得られる混合ビューの一例を示す概略図３００であり、図３Ａは、図３の領域３１０を示す拡大図である。拡大された領域３１０に含まれる部分３２０では、画像を重畳した結果、「リンギング」またはエッジが二重になる現象が発生している。「リンギング」アーチファクトは、垂直方向のエッジがシャープである場合、または、テクスチャのコントラストが高い領域において、特に顕著である。観察者の「焦点深度」効果と関連付けられることが多いが、概して不自然に見えることが多い。

焦点深度に関して、標準的な２Ｄ写真では、レンズの焦点距離およびレンズ口径等、光学系の特性によって、カメラのフィルムまたは検出器で焦点が合っている平面から徐々に物体が離れていくと、当該物体の画像のブラーが徐々に大きくなっていく。この効果を用いて、観察者の注意を対象物体に向けさせる場合がある。例えば、ポートレート用の写真をとる際、焦点距離を適度に長くすると共に絞りを大きくして、背景は焦点を合わさない場合がある。人々はこのような画像を見るのに慣れており、非常に自然であることが分かっている。しかし、オートステレオスコピック・ディスプレイでエッジが二重になる現象またはリンギング現象が発生すると、そのように自然ではなく、当該アーチファクトによって画像の詳細さが損なわれてしまう。

本開示では、視差が大きい領域に対して２次元的にブラー処理を施して、「焦点深度」効果をより自然なものとして、「リンギング」アーチファクトを隠す。このような自動化方法は、最初に視差が大きい箇所はどこかを特定し、次に最も近い隣の視差に応じて局所的に画素値にブラー処理を施す。ある実施形態によると、当該方法は、視差が特定の値に到達するまでブラー処理を実質的に行わない場合に、より効果的である。

連続する画像間での視差の差異に応じて画像群の一部にブラー処理を施すことによって、マルチビュー・オートステレオスコピック・ディスプレイの知覚品質を改善する方法を開示する。当該方法によれば、オートステレオスコピック・ディスプレイ特有のアーチファクトである１次元「リンギング」エッジアーチファクトが隠れる。当該方法では、隣接するビューにおいて視差が生じている領域を検出して、（任意で重み付けされた）局所的画素平均化によって当該領域にブラー処理を施す。ブラー半径および視差の相関関係は、視差が小さい領域の鮮明さを維持するべく、しきい値を利用して、非線形とすることが優先される。

＜処理の概略＞
例示のみを目的として当該方法の一実施形態を以下で説明する。以下に記載する実施形態は、本開示を、任意の特定の視差／奥行きマッピング、導き出した視差マップのフィルタリング、非線形の視差依存性ブラー処理の相関関係、または、任意のその他の具体的な実施形態に限定するものではない。

図４は、画像の視差にブラー処理を施すことによって立体視画像を高画質化する一般的な方法の実施形態を説明するためのフローチャート４００である。最初のステップ４１０で、画像のビューまたは画像データを入力する。画像データが入力されると、次のステップ４２０で、画像データに含まれる隣接するビュー間の視差マップを導き出す。例えば、画像ビューＡ（例えば、左側の画像、ビューＮ）とビューＢ（例えば、右側の画像、ビューＮ＋１）とを比較して視差マップを導き出す。ビューＢが画像データに含まれるビューのうち最後のビューであれば（ステップ４３０）、次のステップは、視差のレベルに応じて局所的に画素を平均化することによってビューＡの画素値を置換するステップ４４０である。より具体的に説明すると、画像Ａの各画素ｐ_ｉ，ｊの新しい値は、画素ｐ_ｉ，ｊの近傍の複数の画素の平均値を計算することによって得られるとしてよい。尚、「近傍」の定義は、視差のレベルに応じて変わる。例えば、画素ｐ_ｉ，ｊの各色の値は、（ｐ_{ｉ−１，ｊ−１}＋ｐ_{ｉ，ｊ−１}＋ｐ_{ｉ＋１，ｊ−１}＋ｐ_{ｉ−１，ｊ}＋ｐ_ｉ，ｊ＋ｐ_{ｉ＋１，ｊ}＋ｐ_{ｉ−１，ｊ＋１}＋ｐ_{ｉ，ｊ＋１}＋ｐ_{ｉ＋１，ｊ＋１}）／９に置換されるとしてよい。最も近い位置にある９個の近傍の画素の平均を計算するか否かは、画素ｐ_ｉ，ｊにおける視差の程度によって決まる。本例では、ｘ方向およびｙ方向の両方向に＋／−１個の画素で形成される正方形領域について平均を計算している。このため、「ブラーパラメータ」を１に設定しているとも言える。ブラーパラメータは、ブラー処理効果の「強度」を所望の値にするように、視差レベル（画素を単位として測定することができる）に基づいて算出される。これについては、より詳細に後述する。ビューＢが画像データに含まれるビューのうち最後のビューでない場合（ステップ４３０）、次のステップは、視差レベルに応じて局所的に画素を平均化することによって最後のビューおよび次のビューの画素値を置換するステップ４５０である。画素の置換が完了すると、最後のステップとして、修正されたビューを出力するステップ４６０を行う。

＜ビューの入力＞
上述したように、画像データの入力は、ＪＰＥＧ、ＧＩＦ等の従来の形式で、表示されるべき複数のビューを表す画像ファイル群をコンピュータに読み込むことによって実行されるとしてよい。

＜視差マップの導出＞
視差は、画素ブロックの動き予測技術に基づく方法を利用して推定するとしてよい。

図５は、ブロックを基準とした動き予測を利用してマルチビュー画像群における視差をどのように決定するかの一例を説明するための概略図５００である。図２の実施形態例に係る画像群から選択された、隣接する画像５１０、５２０を示す。試験ブロック５３０を用いて、局所的にマッチングを行って、ビュー同士の間での局所的なシフトまたは視差を決定する。画素ブロックサイズは、例えば、６×６とする。ブロックサイズは、バックグラウンドノイズから特徴を特定できるように十分に大きく、しかし、算出に時間がかかり過ぎるまで大きくはしないように、選択するのが良い。いずれの場合でも、ブロックサイズは、画像サイズよりはるかに小さいことが好ましい。そして、１つの画像から複数のブロックを順番に取り出し、各ブロックは主に水平方向に（しかし、必ずしも水平方向のみではない）所定量だけシフトしている。当該所定量は、正の値、ゼロ、または、負の値であってよい。それぞれシフトした位置にある画素ブロックは、隣接する画像に含まれる同様のサイズのブロックと比較される。画素ブロック間での差異が最小値を取る最良整合ブロックを見つける。差異を決定する適切なメトリックは、画素輝度値の差異を二乗した値の合計値であり、以下の式で表される。
差異＝Σ_{画素ブロック}（画素＿強度（ビューＮ）−画素＿強度（ビューＮ＋１））^２
差異の最小値に対応するシフト量を、そのブロックの視差とする。このような「ブロックマッチング」法は、画像全体に適用され、最終的に「視差マップ」を作成する。視差マップとは、単に数字がアレイ状に並べられたもので、ある画像と当該画像に隣接する画像との間での特徴のシフト量推定値を記載したマップである。

例えば、近景で手を伸ばしている人物およびその後方に離れて位置している木を含む９個のビューを利用する方式のオートステレオスコピック画像の場合、主要被写体である人物の顔はディスプレイの平面に位置させて、マルチビュー方式で表現される場合に画像間でのシフト量はほとんどないか、または、全く見られないように画像を処理する可能性が高い。ビューＮとビューＮ＋１との間の視差の推定は、画像Ｎから画素ブロックを取り出して、当該ブロックをシフトさせて画像Ｎ＋１に含まれる画素と比較して最も近い画素ブロックを演算により探す（この処理は、透明なフィルムを互いにスライドさせて最も一致度が高いものを探す処理と同様であると言える）ことによって行われる。例えば、被写体の目の一部を表している画素ブロックは、別の画像の全く同じ位置の画素ブロックと最も一致度が高いとする。これは、この画像のこの箇所における視差がゼロであることを意味する。離れた位置にある木の枝の一部を表す画素ブロックは、画像Ｎ＋１において右方向に２画素分シフトした画素ブロックと最も一致度が高いとする。この画像のこの位置における視差は、＋２であると言える。同様に、伸ばした手の指の爪の一部を表す画素ブロックは、画像Ｎ＋１において左方向に３画素分シフトした画素ブロックと最も一致度が高いとする。当該画像のこの位置における視差は−３である。

図６は、視差マップ６００に含まれる空間フィルタリングされた視差を説明するための概略図である。ある実施形態によると、視差マップ６００は、従来のフィルタリング手段によって「平滑化」されることによって、同図に示すように変動が平滑化されている視差マップが得られる。メディアンフィルタリング等の標準的な平滑化方法で平滑化を行うことによって、視差マップに含まれる値から、画像が含むノイズに関連すると考えられるスプリアスな値が除去される。

＜画像のブラー処理＞
視差マップが得られると、対象となっている隣接するビューに対応する画像に対して、視差に応じたブラー処理を行うことができる。小さいブラー領域（例えば、３×３画素）については、上述したように、正方形領域を平均化する処理で十分であるが、これよりはるかに大きい領域については、略円形の領域を平均化することによってブラー処理を行うことが好ましい場合もあり、または、ガウスブラー処理を利用するとしてもよい。画素を平均化する領域と視差値との正確な相関関係は、垂直方向のライン、または、「リンギング」アーチファクトを隠すという目的に応じて変化させることができる。ある実施形態によると、ブラー処理は、リンギングが認識されない程度の視差が小さい領域の鮮明さを劣化させてしまう可能性があるので、必要なければ実行しないことが好ましい。ある実施形態によると、ブラー処理を実施すべきか否かを判断するために、ブラー処理と視差との間にしきい値を利用した直線関係を設定するとしてよい。先述した例で言うと、ブラー処理＝ａｂｓ（視差−１）となる。この場合、ブラー処理は、視差がしきい値である１よりも大きくなるまでは０であり、しきい値を超えると、視差に応じて線形に増加する。

別の実施形態によると、ユーザは、視差が２画素よりも大きい領域のみにブラー処理を行うことを選択するとしてよい。本実施形態では、視差レベルが３以上の場合にブラー画素グリッドについて画素を平均化するという、しきい値を利用した非線形の関係を設定する。この場合、ブラー＝（２ｎ＋１）^２で、ｎ＝視差^２となる。

図７は、画像群に含まれる１つのビューに対して視差に相関付けられて行われたブラー処理の効果を説明するための概略図である。元の修正前の画像７００を修正後の画像７３０と比較して、非線形に視差に相関付けられて実行されたブラー処理の効果を説明する。隣接する画像７１０同士の間での視差が大きい領域では、修正後のビュー画像はぼやけて見える。視差が最小値となっている領域７２０は、修正した場合に最終的な画像における劣化が修正前の画像間の視差による劣化よりも深刻になるので、修正しないのが普通である。

図８は、混合が行われる場合にディスプレイで表示される図７の修正後の画像を示す概略図８００である。図８Ａは、図８の領域８１０を示す拡大図であり、図７のブラー処理が施され且つ混合された画像を示す図であり、同図を参照すると、リンギングアーチファクト８２０はブラー処理によって隠されている。

図９は、図３および図８の詳細図を比較して示す図９００である。修正前のビュー９１０は、図３の詳細図であり、修正後のビュー９２０は図８の詳細図である。これら２つの画像を比較すると、より自然な「被写界深度」ブラー処理を実行することによって、リンギングの見え方が改善していることが明らかに分かる。

実施形態例によると、リンギングアーチファクトは水平方向の視差に応じて変化するが、ブラー処理は垂直方向にも水平方向にも適用される。ブラー処理は本質的に円対称であり、２Ｄ写真を撮影する際に利用されるブラー処理と同様であるので、自然に見える要因である。

＜修正後のビューを出力＞
次のステップは、修正後のビューを出力するステップである。修正後のビューは、後に利用するべく一連の画像ファイルとして出力することができ、または、米国特許出願第１０／９５６，９８７号（出願人：リプトン（Ｌｉｐｔｏｎ）他、）に記載されているようなシステムに直接入力することもできる。当該米国出願は、参照により本願に組み込まれ、入力された複数のビューをレンチキュラー・オートステレオスコピック・ディスプレイで必要な特定の処理を行った画素データへと変換するシステムを開示している。

図１０は、立体視画像を改善するためのシステム１０００を示す概略図である。システム１０００は、視差決定モジュール１００２およびブラー処理モジュール１００４を備える。視差決定モジュール１００２は、画像群に含まれる複数の画像ビューのうち隣接する画像ビューにおける視差の差異を決定する。視差決定モジュール１００２では、画像ビューには、立体視画像の遠近が異なるビューが少なくとも２つ含まれる。ブラー処理モジュール１００４は、画像群に含まれる複数の画像ビューのうち少なくとも１つの少なくとも一部分にブラー処理を施す。ある実施形態によると、ブラー処理モジュール１００４は、重み付け局所的画素平均化を利用してブラー処理を行うとしてよい。

図１１は、立体視画像を改善するためのシステム１１００を示す概略図である。システム１１００は、入力モジュール１１０２、視差導出モジュール１１０４、画素置換モジュール１１０６、および、出力モジュール１１１０を備える。システム１１００は任意で、平滑化モジュール１１０８を備えるとしてもよい。

動作を説明すると、入力モジュール１１０２は、画像群を形成する複数の入力画像ビューを受け取る。画像ビューには、立体視画像の遠近が異なるビューが少なくとも２つ含まれる。視差導出モジュール１１０４は、画像群に含まれる画像ビューのうち隣接する画像ビュー間の視差の差異に基づき、視差データを導出する。画素置換モジュール１１０６は、隣接する画像ビューのうち第１のビューが画像群に含まれる画像ビューのうち最後のビューである場合に、隣接する画像ビューのうち第２のビューの画素値を局所的な画素値の平均で置換し、隣接する画像ビューのうち第１のビューが画像群に含まれる画像ビューのうち最後のビューでない場合、画像群の最後の画像ビューの画素値および画像群の最後から２つ目の画像ビューの画素値を局所的な画素値の平均で置換する。ある実施形態によると、任意で、メディアンフィルタリングで視差マップを平滑化する平滑化モジュール１１０８を備えるとしてよい。出力モジュール１１１０は、画像群に含まれる画像ビューを修正後に出力する。

ある実施形態によると、視差導出モジュール１１０４は、ブロックを基準とした動き予測を利用する。別の実施形態によると、視差導出モジュール１１０４は、隣接する画像ビューでの特徴のシフト量の推定値を表す数字をアレイ状に並べた視差マップを生成する。

本明細書に記載した本開示に係るシステムおよび方法は、コンピュータのプロセッサでソフトウェアを実行させることによって実現するとしてもよいし、または、ハードウェア、ロジック回路、または、これらの組み合わせで実現されるとしてもよい。パーソナルコンピュータ、ワークステーション、サーバ、または、スタンドアロン型のプロセッサを用いて、本明細書で記載した処理を実行するとしてよい。

本明細書で開示した原理に応じたさまざまな実施形態を上述したが、上述した実施形態は本発明を例示するに過ぎず、本発明を限定するものではないと理解されたい。このため、本発明の範囲は、上述した実施形態例のいずれによっても限定されるべきではなく、本開示内容から明らかとなる請求項およびその均等物によってのみ定義されるべきものである。また、実施形態を説明する際には利点および特徴を挙げたが、上述した利点および特徴は、請求項の適用を、上述した利点の一部または全てを持つ処理および構造に限定するものではない。

また、本明細書のセクション名は、米国特許法施行規則第１．７７条で規定されている内容に従って記載されたものであるか、または、読みやすさを考えて記載されている。本明細書のセクション名は、本開示内容から明らかとなる請求項に記載される発明を限定または特徴化するものではない。具体的に一例として説明すると、「技術分野」というセクション名があるが、請求項は、いわゆる技術分野を説明するためにこのセクションにおいて用いられている用語によって限定されるべきではない。さらに、「背景技術」のセクションで技術を説明しているが、所与の技術を本開示内容の発明に対する先行技術として認めたものと解釈されるべきではない。また、「発明の概要」も、請求項に記載されている発明の特徴を記載したものと解釈されるべきではない。さらに、本開示において「発明」を単数形で記載していても、本開示の新規性が１つのみであるという主張の根拠とされるべきではない。本開示から明らかとなる複数の請求項の限定事項によって複数の発明を記載することができるので、請求項は、１または複数の発明を定義しており、それらの均等物も保護される。いずれにしても、請求項の範囲は、本開示を鑑みて独立して考慮すべきであり、本明細書に記載したセクション名によって制限されるべきではない。

Claims (23)

1. 立体視画像を改善する方法であって、
   画像群に含まれる、前記立体視画像の少なくとも２つの遠近が異なるビューを含む複数の画像ビューのうち、隣接する画像ビューの視差の差異を決定する段階と、
   前記画像群に含まれる前記複数の画像ビューのうち少なくとも１つの画像ビューの少なくとも一部分にブラー処理を実行する段階と
   を備える方法。
2. 前記画像群に含まれる前記複数の画像ビューのうち少なくとも１つの画像ビューの少なくとも一部分にブラー処理を実行する段階は、局所的画素平均化によってブラー処理を実行する段階を有する請求項１に記載の方法。
3. 局所的画素平均化によってブラー処理を実行する段階は、重み付け局所的画素平均化を実行する段階を含む請求項２に記載の方法。
4. 前記画像群に含まれる前記複数の画像ビューのうち少なくとも１つの画像ビューの少なくとも一部分にブラー処理を実行する段階は、２次元ブラー処理を実行する段階を有する請求項１に記載の方法。
5. 前記画像群に含まれる前記複数の画像ビューのうち少なくとも１つの画像ビューの少なくとも一部分にブラー処理を実行する段階は、前記画像群に含まれる前記複数の画像ビューのうち複数の画像ビューの複数の部分にブラー処理を実行する段階を有する請求項１に記載の方法。
6. 立体視画像を改善する方法であって、
   画像群を構成する、前記立体視画像の遠近が異なるビューを少なくとも２つ含む複数の画像ビューを入力する段階と、
   前記画像群を構成する前記複数の画像ビューのうち少なくとも１つの画像ビューの少なくとも一部分にブラー処理を実行する段階と、
   修正後の前記画像群を構成する前記複数の画像ビューを出力する段階と
   を備える方法。
7. 前記画像群を構成する前記複数の画像ビューのうち少なくとも１つの画像ビューの少なくとも一部分にブラー処理を実行する段階は、
   前記画像群のうち隣接する画像ビューの視差の差異に基づいて視差データを導出する段階と、
   前記隣接する画像ビューのうち第１のビューが前記画像群の最後のビューである場合、前記隣接する画像ビューのうち第２のビューの画素値を局所的画素値の平均値で置換する段階と、
   前記隣接する画像ビューのうち第１のビューが前記画像群の最後のビューでない場合、前記画像群の最後のビューの画素値および前記画像群のうち最後から２つ目のビューの画素値を、局所的画素値の平均値で置換する段階と
   を有する請求項６に記載の方法。
8. 前記画像群のうち隣接する画像ビューの視差の差異に基づいて視差データを導出する段階は、ブロックを基準とした動き予測を用いる段階を含む請求項７に記載の方法。
9. 前記画像群のうち隣接する画像ビューの視差の差異に基づいて視差データを導出する段階は、隣接する画像ビュー間での特徴のシフト量の推定値を表す数字がアレイ状に並んでいる視差マップを生成する段階を含む請求項７に記載の方法。
10. フィルタリングによって前記視差マップを平滑化する段階をさらに備える請求項９に記載の方法。
11. フィルタリングによって前記視差マップを平滑化する段階は、メディアンフィルタリングを利用する段階を有する請求項１０に記載の方法。
12. 前記視差データに応じて前記隣接する画像ビューにブラー処理を実行する段階をさらに備える請求項１０に記載の方法。
13. 前記隣接する画像ビューにブラー処理を実行する段階は、前記隣接する画像ビューの正方形領域において画素を平均化する段階を有する請求項１２に記載の方法。
14. 前記隣接する画像ビューにブラー処理を実行する段階は、前記隣接する画像ビューの略円形領域において画素を平均化する段階を有する請求項１２に記載の方法。
15. 前記隣接する画像ビューにブラー処理を実行する段階は、ガウスブラー処理を利用する段階を有する
    請求項１２に記載の方法。
16. 前記隣接する画像ビューにブラー処理を実行する段階はさらに、前記隣接する画像ビューのうち、前記視差データが所定のしきい値を超える部分のみにブラー処理を実行する段階を有する請求項１２に記載の方法。
17. 立体視画像を改善するシステムであって、
    画像群に含まれる、前記立体視画像の少なくとも２つの遠近が異なるビューを含む複数の画像ビューのうち、隣接する画像ビューの視差の差異を決定する視差決定モジュールと、
    前記画像群に含まれる前記複数の画像ビューのうち少なくとも１つの画像ビューの少なくとも一部分にブラー処理を実行するブラー処理モジュールと
    を備えるシステム。
18. 前記ブラー処理モジュールは、重み付け局所的画素平均化を用いてブラー処理を実行する請求項１７に記載のシステム。
19. 前記立体視画像は、オートステレオスコピック・システム用のものである請求項１７に記載のシステム。
20. 立体視画像を改善するシステムであって、
    画像群を構成する、前記立体視画像の遠近が異なるビューを少なくとも２つ含む複数の画像ビューを受け取る入力モジュールと、
    前記画像群のうち隣接する画像ビューの視差の差異に基づいて視差データを導出する視差導出モジュールと、
    前記隣接する画像ビューのうち第１のビューが前記画像群の最後のビューである場合、前記隣接する画像ビューのうち第２のビューの画素値を局所的画素値の平均値で置換し、前記隣接する画像ビューのうち第１のビューが前記画像群の最後のビューでない場合、前記画像群の最後のビューの画素値および前記画像群のうち最後から２つ目のビューの画素値を、局所的画素値の平均値で置換する画素置換モジュールと、
    修正後の前記画像群を構成する前記複数の画像ビューを出力する出力モジュールと
    を備えるシステム。
21. 前記視差導出モジュールは、ブロックを基準とした動き予測を用いる請求項２０に記載のシステム。
22. 前記視差導出モジュールは、隣接する画像ビュー間での特徴のシフト量の推定値を表す数字がアレイ状に並んでいる視差マップを生成する請求項２０に記載のシステム。
23. メディアンフィルタリングで前記視差マップを平滑化する平滑化モジュールをさらに備える請求項２２に記載のシステム。

Images