JP2013026826A - 画像処理方法、画像処理装置及び表示装置 - Google Patents

Abstract

【課題】ディスパリティの抽出エラーを軽減し、高画質な画像を生成する。
【解決手段】原画像を取得することと、前記取得した原画像のうち視差情報が抽出又は取得されない領域の画素に対して、視差情報が抽出又は取得された画素のうち、前記領域の画素に隣接又は近接する２以上の画素の視差情報の大小関係に応じて前記領域の画素の視差情報を生成することと、を含む画像処理方法が提供される。
【選択図】図６

Description

本開示は、画像処理方法、画像処理装置及び表示装置に関する。

左眼用画像（Ｌ画像）及び右眼用画像（Ｒ画像）のステレオ画像（原画像）と視差情報とを用いて、所望の生成位相の補間画像を生成することが知られている。生成された補間画像は、多視点画像中の一視点画像として立体視可能な表示装置の所定位置に表示される。

原画像の視差情報は、立体画像の奥行き方向の情報を示し、例えばＬ画像とＲ画像の水平方向のずれ量をディスパリティとして抽出することにより得られる。ディスパリティは、ステレオ画像を補間する補間画像を生成する際に使用される。しかしながら、Ｌ画像とＲ画像から抽出したディスパリティマップを用いて補間画像を生成する際、ディスパリティの抽出エラーに起因して補間エラーが生じる場合がある。補間エラーの一例としては、既に前景を表す画素が描画されている補間画像の座標を、背景を表す画素で上書きしてしまうことが挙げられる。その結果、補間画像の一部で前景が背景で侵食され、補間画像の画質が劣化する。

そこで、特許文献１では、ディスパリティを用いて画像を生成する際、より奥行き値の大きい、つまり奥側にある画素から書き込むことにより前景の画素を背景の画素で上書きすることを回避する。

特開平２０１０−７８７６８号公報

しかしながら、特許文献１では、原画像の各画素についてディスパリティの大小関係を比較するため、処理の負荷が高くなり、効率的でない。

また、例えばＤＰマッチングによりＬ画像及びＲ画像のディスパリティを抽出する際、図１に示したように各原画像Ｌ，Ｒにオブジェクトが描画されている場合、Ｌ画像及びＲ画像のディスパリティマップＬ，Ｒの領域Ｌａ，Ｌｂはオクルージョン領域となり、Ｌ画像とＲ画像の左右画像間で対応関係がない。このため、オクルージョン領域では一般的にディスパリティ値が求められていないか、エラーである可能性が高い。よって、このような場合には、特許文献１のように原画像のすべての画素についてディスパリティの大小関係を比較してもディスパリティ自体に抽出エラーが生じる可能性が高いため、前景の画素を背景の画素で上書きする現象を完全には回避できない。

そこで、ディスパリティの抽出エラーを軽減し、高画質な画像を生成することが可能な画像処理方法、画像処理装置及び表示装置が求められていた。

本開示によれば、原画像を取得することと、前記取得した原画像のうち視差情報が抽出又は取得されない領域の画素に対して、視差情報が抽出又は取得された画素のうち、前記領域の画素に隣接又は近接する２以上の画素の視差情報の大小関係に応じて、前記領域の画素の視差情報を生成することと、を含む画像処理方法が提供される。

また、本開示によれば、原画像を取得する取得部と、前記取得した原画像のうち視差情報が抽出又は取得されない領域の画素に対して、視差情報が抽出又は取得された画素のうち、前記領域の画素に隣接又は近接する２以上の画素の視差情報の大小関係に応じて前記領域の画素の視差情報を生成する生成部と、を備える画像処理装置が提供される。

また、本開示によれば、原画像を取得する取得部と、前記取得した原画像のうち視差情報が抽出又は取得されない領域の画素に対して、視差情報が抽出又は取得された画素のうち、前記領域の画素に隣接又は近接する２以上の画素の視差情報の大小関係に応じて前記領域の画素の視差情報を生成する生成部と、前記生成された視差情報を用いて前記原画像の表示を制御する表示制御部と、を備える表示装置が提供される。

以上説明したように、本開示の画像処理によれば、ディスパリティの抽出エラーを軽減し、高画質な画像を生成することができる。

ディスパリティマップ中のオクルージョン領域を示した図である。 比較例及び本開示の実施形態に係るオクルージョン領域の補間方法を説明するための図である。 図２の補間方法によるオクルージョン領域の補間結果を示した図である。 本開示の実施形態に係る画像処理装置の機能構成図である。 本開示の実施形態にて実行される画像処理を示したフローチャートである。 本開示の実施形態にて実行されるディスパリティマップ生成処理を示したフローチャートである。 補間前及び補間後のディスパリティ値の一例を示した図である。 変形例１に係るオクルージョン領域の補間方法を説明するための図である。 変形例１に係る補間方法を説明するための図である。 変形例２に係るオクルージョン領域の補間方法を説明するための図である。 変形例２に係る補間方法を説明するための図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．はじめに
１．１．ディスパリティとオクルージョン
２．本開示の実施形態
２．１．オクルージョン領域の補間方法の比較
２．２．比較結果
２．３．画像処理装置の機能
２．４．画像処理装置の動作
２．５．効果の例
３．変形例１
４．変形例２

＜１．はじめに＞
[１．１．ディスパリティとオクルージョン]
はじめに、ディスパリティとオクルージョン領域について簡単に説明する。原画像であるＬ画像及びＲ画像の視差情報は、立体画像の奥行き方向の情報を示し、例えばＬ画像及びＲ画像の水平方向のずれ量をディスパリティとして抽出することにより得られる。なお、以下では、ディスパリティマップを視差情報として抽出するが、必ずしもマップ形式にする必要はない。また、視差情報は、Ｌ画像及びＲ画像の水平方向のずれ量を示したディスパリティに限られず、Ｌ画像及びＲ画像の垂直方向のずれ量や、その他の奥行き情報であってもよい。

例えばＤＰマッチングによりＬ画像及びＲ画像のディスパリティマップを生成する際、図１に示したディスパリティマップＬ，Ｒの領域Ｌａ，Ｌｂは、オクルージョン領域、つまり前景にオブジェクトが存在するためにカメラで視認できない領域となる。このようなオクルージョン領域ではＬ画像とＲ画像の左右画像間で対応関係がない。このため、オクルージョン領域では、一般的にディスパリティ値が求められていないか（この場合にはディスパリティ値に初期値が設定されている）、エラーである可能性が高く、補間画像を生成する際、そもそも画像生成のための計算ができず補間画像が破綻してしまう。このように、オクルージョンエリアのディスパリティ値をそのまま使用して補間画像を生成すると、前景の画素を背景の画素で上書きするという現象だけでなく補間画像が破綻するという現象が生じる。そこで、以下では、まず、ディスパリティの抽出エラーをより軽減するためのオクルージョン領域の補間方法について説明する。

＜２．本開示の実施形態＞
[２．１．オクルージョン領域の補間方法の比較]
図２は、原画像の水平方向の任意のラインにおけるＸ座標に対するディスパリティ値を示した図である。図２の上側は比較例に係る補間方法を示し、下側は本開示の実施形態に係る補間方法を示す。上側の比較例では、オクルージョン領域をその左右のディスパリティ値に直線的につなげ、この線形補間によりオクルージョン領域のディスパリティを推定する。

一方、下側の本開示の実施形態では、オクルージョン領域の左右を探索し、左右のディスパリティ値を取得する。取得された左右のディスパリティ値の大小関係からより奥側を示すディスパリティ値を特定し、その値をオクルージョン領域のディスパリティ値とする。本開示の実施形態では、左右のディスパリティ値のうち小さいほうの値がより奥側を示すと定義している。よって、左右のディスパリティ値のうち小さいほうの値、例えば図２では左のディスパリティ値をオクルージョン領域のディスパリティ値と推定する。

ただし、ディスパリティ値の大小関係と前景または背景の判断は、ディスパリティ値を表す数値の定義の仕方によって変わってくる。例えば、本実施形態とは逆に、前景を示す数値が背景を示す数値より小さい値になるようにディスパリティ値を定義した場合には、ディスパリティ値の大小関係と前述した制御との関係は反対になる。つまり、左右のディスパリティ値のうち大きいほうの値がより奥側を示すから、左右のディスパリティ値のうち大きいほうの値、例えば図２では右のディスパリティ値をオクルージョン領域のディスパリティ値と推定する。

なお、図２には、ディスパリティマップの一水平ラインのみが示されているが、原画像が有する水平ラインの数だけディスパリティ抽出処理が実行され、オクルージョン領域が存在するライン毎に補間処理が実行される。

[２．２．比較結果]
図３は、図２に示した２つのオクルージョン領域の補間方法の結果を示す。結果を比較すると、上側の比較例の場合、オクルージョン領域において前景のオブジェクトと背景との境界ラインがぼやけている。これに対して、下側の本開示の実施形態の場合、前景のオブジェクトと背景との境界ラインが明瞭であり、前景が背景で上書きされておらずディスパリティの抽出エラーが回避されている。以上から本開示の実施形態によるオクルージョン領域の補間方法を用いれば、オクルージョン領域のディスパリティ値をより正確に特定でき、高画質な画像を生成することができることがわかる。

よって、以下では、本開示の実施形態によるオクルージョン領域の補間方法（画像処理方法）を用いた画像処理装置の機能、動作について順に説明する。

[２．３．画像処理装置の機能]
まず、本開示の実施形態に係る画像処理装置の機能構成について、図４を参照しながら説明する。本開示の実施形態に係る画像処理装置１０は、取得部１０５、生成部１１０、画像処理部１１５、記憶部１２０及び表示制御部１２５を有する。

取得部１０５は、コンテンツのＬ画像及びＲ画像のステレオ画像（原画像）を取得する。取得可能なコンテンツの情報としては、ステレオ画像の映像信号のみの場合や、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）のようにステレオ画像の映像信号とディスパリティ情報の場合がある。

取得部１０５がＬ画像及びＲ画像を取得すると、生成部１１０は、Ｌ画像及びＲ画像の水平方向のずれ量からディスパリティ値を抽出し、ディスパリティマップを生成する。

ただし、ディスパリティマップは視差情報の一例であり、視差情報は必ずしもマップ形式にする必要はない。生成部１１０は、取得したステレオ画像のうちディスパリティが抽出又は取得されないオクルージョン領域の画素に対して補間処理を行う。具体的には、生成部１１０は、オクルージョン領域に隣接する、左右の画素のディスパリティの大小関係に応じてオクルージョン領域の画素のディスパリティを特定する。

なお、取得部１０５がステレオ画像とともにディスパリティを取得した場合にも、生成部１１０は、オクルージョン領域が存在する場合には、本実施形態に係る補間方法に従ったディスパリティを抽出する。これにより、ディスパリティの抽出エラーを軽減し、高画質な画像を生成することができる。

画像処理部１１５は、Ｌ画像及びＲ画像のステレオ画像と各画像のディスパリティマップから所望のフェース（生成位相）の補間画像を生成する。

記憶部１２０は、生成されたディスパリティマップや補間画像を記憶する。

表示制御部１２５は、生成されたディスパリティ値を用いて原画像及び補間画像の表示を制御する。これにより、多視点画像をディスプレイに立体視可能に表示することができる。ただし、ディスプレイは、生成された多視点画像のコンテンツを必ずしも立体視可能に表示する必要はなく、２Ｄ表示してもよい。ディスプレイは、３Ｄ表示及び２Ｄ表示が切り替えにより可能なディスプレイであってもよく、所定の領域毎に３Ｄ表示及び２Ｄ表示が同時に可能なディスプレイであってもよい。

なお、生成部１１０、画像処理部１１５及び表示制御部１２５の機能は、例えば、図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が記憶部１２０に格納されたプログラムに従って動作することによって実現され得る。このプログラムは、記憶媒体に格納して提供され、図示しないドライバを介して記憶部１２０に読み込まれるものであってもよく、また、ネットワークからダウンロードされて記憶部１２０に格納されるものであってもよい。また、上記各部の機能を実現するために、ＣＰＵに代えてＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）が用いられてもよい。記憶部１２０は、例えば半導体メモリ、磁気ディスク、または光学ディスクなどを用いるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）またはＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）として実現されうる。また、上記各部の機能は、ソフトウエアを用いて動作することにより実現されてもよく、ハードウエアを用いて動作することにより実現されてもよい。

[２．４．画像処理装置の動作]
次に、図５を参照して、実施形態に係る画像処理装置１０の動作について説明する。図５は、本開示の一実施形態に係る画像処理を示すフローチャートである。

本画像処理が始まると、ステップＳ２０５にて、取得部１０５は、Ｌ画像及びＲ画像のステレオ画像を取得する。次に、ステップＳ２１０にて、生成部１１０は、Ｌ画像及びＲ画像からディスパリティを生成する。具体的な生成処理を図６に示す。

ディスパリティマップ生成処理では、生成部１１０は、ステップＳ３０５にて、ディスパリティを抽出するか、取得部１０５が取得したディスパリティ値を入力する。例えば、生成部１１０は、Ｌ画像のディスパリティマップとＲ画像のディスパリティマップとを生成する。例えば、図７の上側には、オクルージョン領域に対する補間前のＬ画像(又はＲ画像)のディスパリティ値が示されている。ディスパリティは、Ｌ画像及びＲ画像のずれ量を示すから、例えばディスパリティ値が「２０」の場合には、「２０」で示されたディスパリティに対応するＬ画像の映像情報と、Ｌ画像の座標から水平方向に２０画素ずれたＲ画像の「２０」で示されたディスパリティに対応するＲ画像の映像情報とが同じ映像であることを示している。また、本実施形態では、ディスパリティ値「０」は背景を示し、対応するＬ画像及びＲ画像のずれはなく、それより大きい数のディスパリティ値に対応する画像ほど前景を示す。また、本実施形態では、ディスパリティ値の初期値は「−１」として示されているが、初期値はこれに限らない。

ステップＳ３１０では、左端の画素から処理が開始される。例えば、図７の上側の水平ライン（補間前のディスパリティ値）では、画素ＮＯ．が「１」の左端の画素のディスパリィが抽出される。ステップＳ３１５で、生成部１１０は、左端の画素がオクルージョン領域かを判定する。オクルージョン領域かの判定は、ディスパリティ値が初期値である「−１」であるかにより判定される。オクルージョン領域は、Ｌ画像又はＲ画像のいずれか一方の画像に対して対応する画像が存在しないため、ディスパリティ値を生成できない領域であるから、ディスパリティ値は、当然、初期値「−１」のままである。

よって、ディスパリティ値が「−１」でないと判定された場合、生成部１１０は、オクルージョン領域外であり補間処理は不要と判断し、ステップＳ３２０にて、判定対象画素を一画素右へ進める。このようにして、ディスパリティ値が「−１」であると判定されるまで、判定対象画素を一画素右へ進めながらステップＳ３１５，３２０の処理を繰り返す。

図７の上側の水平ラインでは、画素Ｎｏ．が「７」になるまでステップＳ３１５，３２０の処理を繰り返し、「７」になったときに生成部１１０は、ディスパリティ値が「−１」であると判定して、オクルージョン領域のディスパリティ値の補間処理を行うためにステップＳ３２５に進む。

ステップＳ３２５では、生成部１１０は、まず、オクルージョン領域に隣接する左右のディスパリティの大小関係を比較するために、オクルージョン領域に隣接する左側の画素、つまり、画素Ｎｏ．６のディスパリティ値をLeft_dspvalに保存する。次に、ステップＳ３３０にて、生成部１１０は、判定対象画素を一画素右へ進め、ステップＳ３３５にて、判定対象画素がオクルージョン領域かを判定する。ディスパリティ値が「−１」であると判定された場合、オクルージョン領域であるからステップＳ３３０に戻り、ディスパリティ値が「−１」でないと判定されるまで、生成部１１０は、判定対象画素を一画素右へ進めながらステップＳ３３０，３３５の処理を繰り返す。

ディスパリティ値が「−１」でないと判定された場合、ステップＳ３４０に進み、生成部１１０は、オクルージョン領域に隣接する右側の画素、つまり、画素Ｎｏ．１１のディスパリティ値をRight_dspvalに保存する。次に、生成部１１０は、ステップＳ３４５にて、オクルージョン領域に隣接する左右とのディスパリティLeft_dspval、Right_dspvalの大小関係を判定する。判定の結果、Left_dspvalがRight_dspvalより小さい場合、生成部１１０は、オクルージョン領域に隣接する左側の画素が背景、オクルージョン領域に隣接する右側の画素が前景と判定し、ステップＳ３５０に進んで、オクルージョン領域のディスパリティ値に背景と判定されたLeft_dspvalの値を代入する。一方、判定の結果、Right_dspvalがLeft_dspvalより小さい場合、生成部１１０は、オクルージョン領域に隣接する右側の画素が背景、オクルージョン領域に隣接する左側の画素が前景と判定し、ステップＳ３５５に進んで、オクルージョン領域のディスパリティ値に背景と判定されたRight _dspvalの値を代入する。

図７の上側の場合、画素Ｎｏ．６のLeft_dspvalは「０」、画素Ｎｏ．１１のRight_dspvalは「２０」である。よって、生成部１１０は、オクルージョン領域に隣接する左側の画素Ｎｏ．６が背景、オクルージョン領域に隣接する右側の画素Ｎｏ．１１が前景と判定し、オクルージョン領域のディスパリティ値に、背景と判定されたLeft_dspvalの値「０」を代入する。この結果、図７の下側の水平ラインに示した補間後のオクルージョン領域のディスパリティ値は、オクルージョン領域に隣接する左側の画素Ｎｏ．６と同じ値である「０」に変更される。この結果、オクルージョン領域のディスパリティ抽出エラーによりオクルージョン領域にて前景が背景にて上書きされ、侵食されることを回避できる。

次に、図６のステップＳ３６０に進み、生成部１１０は、オクルージョン領域において、オクルージョン領域の右画素のディスパリティ値を左画素のディスパリティ値Left_dspvalに代入し、保存する。次に、ステップＳ３６５に進み、生成部１１０は、同ラインのさらに右側に画素があるかを判定する。画素がある場合、生成部１１０は、ステップＳ３７０にて判定対象画素を一画素右へ進め、ステップＳ３１５に戻り、ステップＳ３６５にて同ラインのさらに右側に画素がないと判定されるまでステップＳ３１５〜Ｓ３７０の処理を繰り返し、ステップＳ３６５にて同ラインのさらに右側に画素がないと判定されたとき、本処理を終了する。

以上のオクルージョン領域の補間処理をＬ画像及びＲ画像のディスパリティ生成に適用した後、図５に戻って、ステップＳ２１５のＬ画像の補間画像生成処理及びステップＳ２２０のＲ画像の補間画像生成処理を実行する。具体的には、画像処理部１１５は、Ｌ画像及びＲ画像のステレオ画像と各画像のディスパリティマップから所望のフェース（生成位相）の補間画像を生成し、本処理を終了する。生成されたディスパリティマップや補間画像は記憶部１２０に記憶される。

[２．５．効果の例]
前述したように、オクルージョン領域ではディスパリティ値が正確に求められない可能性が高い。一方、オクルージョン領域は、前景のオブジェクトに隠れた背景領域である可能性が高い。この原理に基づき、オクルージョン領域の左右を探索してオクルージョン領域に隣接するディスパリティ有効領域を特定し、ディスパリティ有効領域の左右どちらかのより奥側のディスパリティ値をオクルージョン領域のディスパリティ値に代入する。

このようにして、左右のディスパリティ値の大小関係からよい奥側を示すディスパリティ値を特定し、その値をオクルージョン領域のディスパリティ値とすることにより、例えば図３に示したように、前景のオブジェクトと背景との境界ラインが明瞭となり、前景が背景で上書きされておらずディスパリティの抽出エラーが軽減される。従って、本開示の実施形態によるオクルージョン領域の補間方法を用いれば、オクルージョン領域のディスパリティ値をより正確に特定でき、高画質な画像を生成及び表示することができる。

なお、本実施形態では、オクルージョン領域の左右を探索してオクルージョン領域に隣接するディスパリティ有効領域の画素（図７では、Ｎｏ．６及びＮｏ．１１の画素）のディスパリティ値の大小関係により奥側のディスパリティ値をオクルージョン領域のディスパリティ値に代入した。しかし、これに限らず、オクルージョン領域に近接する画素、例えば図７では、Ｎｏ．５及びＮｏ．１２の画素等のディスパリティ値のどちらかのより奥側のディスパリティ値をオクルージョン領域のディスパリティ値に代入してもよい。

また、本実施形態では、オクルージョン領域の左右を探索したが、これに限らず、オクルージョン領域の上下を探索してオクルージョン領域に隣接又は近接する画素のディスパリティ値の大小関係により奥側のディスパリティ値をオクルージョン領域のディスパリティ値に代入してもよい。

＜３．変形例１＞
以下では、上述した本開示の実施形態の変形例１について、図８及び図９を参照しながら説明する。本開示の上記実施形態では、図２の下側に示したように、オクルージョン領域のディスパリティ値を左右のディスパリティ値のうちの奥側のディスパリティ値とすべて同値にした。しかしながら、変形例１のように、図８に示したように、オクルージョン領域のディスパリティ値をベジエ曲線を用いて補間してもよい。

具体的には、生成部１１０は、オクルージョン領域とその両端のディスパリティ値（Ｐ０，Ｐ１，Ｐ２，Ｐ３の座標のディスパリティ値）を用いて、オクルージョン領域をベジエ曲線を用いて補間する。ここでは、Ｐ０，Ｐ１，Ｐ２，Ｐ３の４つの制御点で示される３次のベジエ曲線を用いた図９を参照しながら、ベジエ曲線のアルゴリズムについて説明する。

Ｐ０，Ｐ１，Ｐ２，Ｐ３は、与えられた制御点である。今、ベジエ曲線のＰ０からｔ（０＜ｔ＜１）の比率の位置の点の座標を求めるために、次のような計算を行う。
１．まず、制御点を順に結んで得られる３つの線分Ｐ０−Ｐ１、Ｐ１−Ｐ２、Ｐ２−Ｐ３をそれぞれｔ：１−ｔの比率で分割する点Ｐ４，Ｐ５，Ｐ６を算出する。
２．次に、これらの点を順に結んで得られる２つの線分Ｐ４−Ｐ５、Ｐ５−Ｐ６を再びそれぞれｔ：１−ｔの比率で分割する点Ｐ７，Ｐ８を算出する。
３．最後に、この２点を結ぶ線分Ｐ７−Ｐ８を再びｔ：１−ｔの比率で分割する点Ｐ９を算出する。求められた点Ｐ９が、ベジエ曲線上の点となる。
４．１〜３の処理を０＜ｔ＜１の範囲で繰り返し行うことにより、Ｐ０，Ｐ１，Ｐ２，Ｐ３を制御点とする３次のベジエ曲線が得られる。

本変形例１によれば、本実施形態にかかる水平線又は比較例にかかる斜めリニア線でオクルージョン領域を補間する方法と比べて、なめらかに奥行きの変化を表現でき、オクルージョン領域のディスパリティ値に抽出エラーが生じてしまった場合にも、急激にディスパリティ値が変化しない分、補間画像エラーを目立たなくできる。また、比較例にかかる斜めリニア線で補間する方法と比べて、前景が背景で上書きされる確率を低くすることができ、ディスパリティの抽出エラーを低減することができるとともに、オクルージョン領域の両端のディスパリティ値の違いによりリニア線の傾斜が大きな値をとる場合にもスムーズに補間できる。

＜４．変形例２＞
以下では、上述した本開示の実施形態の変形例２について、図１０及び図１１を参照しながら説明する。変形例１ではベジエ曲線を用いてオクルージョン領域のディスパリティ値が推定されたが、変形例２では、図１０に示したように、シグモイド曲線を用いてオクルージョン領域のディスパリティ値が推定される。

ここでは、シグモイド曲線について説明する。シグモイド関数（ｓｉｇｍｏｉｄ ｆｕｎｃｔｉｏｎ）は、図１１の式（１）で表される実関数であり、上側のグラフに示した曲線で表される（ゲイン５の場合のシグモイド曲線）。なお、式（１）のａをゲインと呼ぶ。

狭義には、シグモイド関数は、図１１の式（２）で表されるゲインａが１の標準シグモイド関数（ｓｔａｎｄａｒｄ ｓｉｇｍｏｉｄ ｆｕｎｃｔｉｏｎ）を指し、下側のグラフに示した曲線で表される。

以下では、広義のシグモイド関数について述べる。標準シグモイド関数については、ａ＝１を代入すればよい。

シグモイド（ｓｉｇｍｏｉｄ）とは、シグモイド曲線（ｓｉｇｍｏｉｄ ｃｕｒｖｅ）ともいい、ギリシャ文字のシグマσ（式（１）及び式（２）では「Ｓ」）に似た形という意味である。ただし、単にシグモイド又はシグモイド曲線といった場合には、シグモイド関数と似た性質を持つ型の関数（累積正規分布関数、ゴンベルツ関数等）を総称するのが普通である。

本変形例２によれば、オクルージョン領域の両端の傾斜が水平の場合、水平線、又は斜めリニア線でオクルージョン領域を補間する方法と比べて、なめらかに補間でき、なめらかに奥行きの変化を表現できる。よって、オクルージョン領域の両端のオブジェクト境界がオクルージョン領域の中央にあると思われる場合にも、補間画像の生成エラーを目立たなくすることができ、より高画質な補間画像を生成することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、水平方向のずれ量をディスパリティとして抽出したが、本技術はこれに限られない。例えば、本技術では、垂直方向のずれ量をディスパリティとして抽出してもよい。

例えば、上記実施形態では、左眼用画像（Ｌ画像）及び右眼用画像（Ｒ画像）は原画像の一例であって、本開示は、これに限られず、異なる角度で撮像された２つの画像であればよい。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）原画像を取得することと、
前記取得した原画像のうち視差情報が抽出又は取得されない領域の画素に対して、視差情報が抽出又は取得された画素のうち、前記領域の画素に隣接又は近接する２以上の画素の視差情報の大小関係に応じて前記領域の画素の視差情報を生成することと、
を含む画像処理方法。
（２）前記領域の画素の視差情報は、
前記取得した原画像のうち視差情報が抽出又は取得されない領域の画素に対して、該領域の画素と同じラインの視差情報が抽出又は取得された画素のうち、前記領域の画素に隣接する両側の画素の視差情報の大小関係に応じて生成される、前記（１）に記載の画像処理方法。
（３）前記視差情報の大小関係から、前記領域の画素に隣接又は近接する両側の画素の映像情報の奥行き方向の前後関係を判定し、
一方の側の画素の映像情報が他方の側の画素の映像情報より背景であると判定された場合、前記一方の側の画素の視差情報を前記領域の画素の視差情報とする前記（１）又は（２）に記載の画像処理方法。
（４）前記領域の画素の視差情報は、前記取得した原画像の水平方向のライン毎に生成される前記（１）〜（３）のいずれか一項に記載の画像処理方法。
（５）前記視差情報生成部は、前記領域の画素の視差情報を生成することにより、前記取得した原画像に応じたディスパリティマップを作成する前記（１）〜（４）のいずれか一項に記載の画像処理方法。
（６）前記視差情報の大小関係から、ベジエ曲線又はシグモイド曲線を用いて前記領域の画素の視差情報を生成する前記（１）、（２）（４）、（５）のいずれか一項に記載の画像処理方法。
（７）原画像を取得する取得部と、
前記取得した原画像のうち視差情報が抽出又は取得されない領域の画素に対して、視差情報が抽出又は取得された画素のうち、前記領域の画素に隣接又は近接する２以上の画素の視差情報の大小関係に応じて前記領域の画素の視差情報を生成する生成部と、
を備える画像処理装置。
（８）原画像を取得する取得部と、
前記取得した原画像のうち視差情報が抽出又は取得されない領域の画素に対して、視差情報が抽出又は取得された画素のうち、前記領域の画素に隣接又は近接する２以上の画素の視差情報の大小関係に応じて前記領域の画素の視差情報を生成する生成部と、
前記生成された視差情報を用いて前記原画像の表示を制御する表示制御部と、
を備える表示装置。

１０ 画像処理装置
１０５ 取得部
１１０ 生成部
１１５ 画像処理部
１２０ 記憶部
１２５ 画像処理部

Claims (8)

1. 原画像を取得することと、
   前記取得した原画像のうち視差情報が抽出又は取得されない領域の画素に対して、視差情報が抽出又は取得された画素のうち、前記領域の画素に隣接又は近接する２以上の画素の視差情報の大小関係に応じて前記領域の画素の視差情報を生成することと、
   を含む画像処理方法。
2. 前記領域の画素の視差情報は、
   前記取得した原画像のうち視差情報が抽出又は取得されない領域の画素に対して、該領域の画素と同じラインの視差情報が抽出又は取得された画素のうち、前記領域の画素に隣接する両側の画素の視差情報の大小関係に応じて生成される、請求項１に記載の画像処理方法。
3. 前記視差情報の大小関係から、前記領域の画素に隣接又は近接する両側の画素の映像情報の奥行き方向の前後関係を判定し、
   一方の側の画素の映像情報が他方の側の画素の映像情報より背景であると判定された場合、前記一方の側の画素の視差情報を前記領域の画素の視差情報とする請求項１に記載の画像処理方法。
4. 前記領域の画素の視差情報は、前記取得した原画像の水平方向のライン毎に生成される請求項１に記載の画像処理方法。
5. 前記視差情報生成部は、前記領域の画素の視差情報を生成することにより、前記取得した原画像に応じたディスパリティマップを作成する請求項１に記載の画像処理方法。
6. 前記視差情報の大小関係から、ベジエ曲線又はシグモイド曲線を用いて前記領域の画素の視差情報を生成する請求項１に記載の画像処理方法。
7. 原画像を取得する取得部と、
   前記取得した原画像のうち視差情報が抽出又は取得されない領域の画素に対して、視差情報が抽出又は取得された画素のうち、前記領域の画素に隣接又は近接する２以上の画素の視差情報の大小関係に応じて前記領域の画素の視差情報を生成する生成部と、
   を備える画像処理装置。
8. 原画像を取得する取得部と、
   前記取得した原画像のうち視差情報が抽出又は取得されない領域の画素に対して、視差情報が抽出又は取得された画素のうち、前記領域の画素に隣接又は近接する２以上の画素の視差情報の大小関係に応じて前記領域の画素の視差情報を生成する生成部と、
   前記生成された視差情報を用いて前記原画像の表示を制御する表示制御部と、
   を備える表示装置。

Images