JP2013017052A - 奥行き信号生成装置、擬似立体画像生成装置、奥行き信号生成方法、および擬似立体画像生成方法 - Google Patents

Abstract

【課題】ランダムノイズが増加しやすい感度で撮影された画像についても違和感の無い擬似立体像を生成する装置及び方法を提供する。
【解決手段】
奥行き信号生成装置は、画像信号Ｓｒａｗ（Ｓｓｃ）と前記画像信号が撮影された時の感度情報Ｉｉｓｏとを取得する入力信号取得部２１と、前記画像信号Ｓｒａｗ（Ｓｓｃ）に基づいて画面の各画素の奥行きを推定した推定情報を含む奥行き信号ＤＥを出力する奥行き推定部２３２と、前記奥行き信号ＤＥのレベルを変換するためのゲイン値Ｇｎを感度情報Ｉｉｓｏに基づき設定するゲイン値設定部２３３と、設定されたゲイン値Ｇｎに基づき前記奥行き信号ＤＥのレベルを変換すると共に、レベル変換後の奥行き信号ＤＥｇを出力する奥行き信号レベル変換部２３４とを有する。
【選択図】図１

Description

本発明は、通常の静止画もしくは動画、即ち奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から奥行き信号を生成し、この奥行き信号をもとにした処理を非立体画像に施すことで、立体感を感じさせる画像を生成し、出力する奥行き信号生成装置、擬似立体画像生成装置、奥行き信号生成方法、および擬似立体画像生成方法に関する。

立体表示システムにおいては、非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画もしくは動画、即ち立体を表す為の奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から、擬似的な立体化画像を生成する処理が行われる。

このような技術の一例として、例えば特許文献１に記載の技術のような、複数の基本奥行きモデルを入力非立体画像の特徴に応じて合成した基本奥行きモデル信号と非立体画像のＲ信号（赤色信号）から算出する凹凸奥行き信号とを重畳して生成した奥行き推定信号に基づき立体化画像を生成するアプローチが知られている。

特許第４２１４５２９号公報

立体表示システムには、日中に外で撮影されたノイズのない映像から夜間や室内などの暗部で撮影されたノイズの多い映像まで様々な映像が入力される。後者の暗部での映像には高感度撮影が用いられている。この撮影では、ＩＳＯ感度を上げるにつれてランダムノイズ量が増えていくことが知られている。このランダムノイズの多い映像に対して特許文献１に代表されるような擬似立体画像生成技術を適用させると、ランダムノイズの成分を基に凹凸奥行き信号が算出されるため、全体的にランダムに凸凹したような立体画像として変換されてしまう。

このような問題を鑑み、本発明は、ランダムノイズが増加しやすい感度で撮影された画像についても違和感の無い擬似立体像を生成することが可能な、奥行き信号生成装置、擬似立体画像生成装置、奥行き信号生成方法、および擬似立体画像生成方法の提供を目的とする。

本発明の第１の態様は奥行き信号生成装置であって、画像信号（Ｓｒａｗ，Ｓｓｃ）と前記画像信号が撮影された時の感度情報（Ｉｉｓｏ）とを取得する入力信号取得部（２１）と、前記画像信号（Ｓｒａｗ，Ｓｓｃ）に基づいて画像の各画素の奥行きを推定した推定情報を含む奥行き信号（ＤＥ）を出力する奥行き推定部（２３２）と、前記奥行き信号（ＤＥ）のレベルを変換するためのゲイン値（Ｇｎ）を前記感度情報（Ｉｉｓｏ）に基づき設定するゲイン値設定部（２３３）と、設定された前記ゲイン値（Ｇｎ）に基づき前記奥行き信号（ＤＥ）のレベルを変換すると共に、レベル変換後の奥行き信号（ＤＥｇ）を出力する奥行き信号レベル変換部（２３４）とを有することを要旨とする。

本発明の第２の態様は擬似立体画像生成装置であって、前記第１の態様における奥行き信号生成装置の奥行き信号レベル変換部（２３４）から供給されるレベル変換後の奥行き信号（ＤＥｇ）に応じて、前記画像信号のテクスチャを対応部分の奥行きに応じた量だけシフトさせた別視点画像を前記画像信号より生成する別視点画像生成部（２４）を有することを要旨とする。

本発明の第３の態様は奥行き信号生成方法であって、一画像の画像信号と前記が撮影された時の感度情報とを取得し、前記画像信号に基づいて画面の各画素の奥行きを推定すると共にその推定情報を含む奥行き信号を出力し、前記奥行き信号のレベルを変換するためのゲイン値を前記感度情報に基づき設定し、設定された前記ゲイン値に基づき前記奥行き信号のレベルを変換すると共に、レベル変換後の奥行き信号を出力することを要旨とする。

本発明の第４の態様は擬似立体画像生成方法であって、前記第３の態様の奥行き信号生成方法によって生成されたレベル変換後の奥行き信号に応じて、前記画像信号のテクスチャを対応部分の奥行きに応じた量だけシフトさせた別視点画像を前記画像信号より生成し出力することを要旨とする。

本発明によれば、ランダムノイズが増加しやすい感度で撮影された画像についても違和感の無い擬似立体像を生成することが可能な、奥行き信号生成装置、擬似立体画像生成装置、奥行き信号生成方法、および擬似立体画像生成方法を提供できる。

本発明の一実施の形態に係る擬似立体画像生成装置のブロック図である。 本発明の一実施の形態における処理の流れを示すフローチャートである。 本発明の一実施の形態の凹凸奥行き信号ゲイン調整部で生成するゲイン曲線の一例である。 本発明の一実施の形態の凹凸奥行き信号ゲイン調整部で行われるゲイン調整処理の一例である。

＜装置の構成＞
本発明の一実施の形態について図面と共に説明する。図１は本実施の形態に係る擬似立体画像生成装置のブロック図である。また、図２は本実施の形態における処理の流れを示すフローチャートである。

図１において、本実施の形態に係る擬似立体画像生成装置２は、入力信号取得部２１と、スケーリング処理部２２と、奥行き信号生成部２３と、ステレオペア生成部（別視点画像生成部）２４とを備えている。

また、奥行き信号生成部２３は、基本奥行きモデル信号生成部２３１と、凹凸奥行き推定部（奥行き推定部）２３２と、ゲイン値設定部２３３と、凹凸奥行き信号レベル変換部２３４と、奥行き信号合成部２３５とを備えている。

さらに、ステレオペア生成部２４は、テクスチャシフト部２４１と、オクルージョン補償部２４２と、ポスト処理部２４３と、遅延調整部２４４とを備えている。

＜処理の詳細説明＞
＜奥行き信号生成部＞
次に、擬似立体画像生成装置２の動作について図２のフローチャートと共に詳細に説明する。

まず、画像信号送信機であるビデオカメラ１から、擬似立体化を行う対象である非立体画像の画像信号Ｓｒａｗ及びその画像が撮影された際に設定されたＩＳＯ感度情報Ｉｉｓｏを入力信号取得部２１で受信する（ステップＳ１）。非立体画像は、通常の静止画もしくは動画、即ち画像の奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像で、その画像信号Ｓｒａｗは例えばＲＧＢ信号であり、例えば８ビットで量子化されている。画像信号Ｓｒａｗ及びＩＳＯ感度情報Ｉｉｓｏは、例えばＨＤＭＩ(High-Definition Multimedia Interface)規格に基づいて、入力信号取得部２１に伝送される。この場合、ＩＳＯ感度情報ＩｉｓｏはＨＤＭＩ‐ＣＥＣ(Consumer Electronics Control)規格に基づいたベンダーコマンドを利用して伝送される。入力信号取得部２１は、ビデオカメラ１から受信した画像信号Ｓｒａｗ及びＩＳＯ感度情報Ｉｉｓｏを、それぞれ、スケーリング処理部２２及びゲイン値設定部２３３に出力する。

スケーリング処理部２２は、入力信号取得部２１より出力された画像信号Ｓｒａｗをステレオ表示装置３の解像度に合わせて拡大縮小処理を施し、その信号Ｓｓｃを奥行き信号生成部２３及びステレオペア生成部２４に出力する（ステップＳ２）。なお、画像信号Ｓｒａｗの解像度が表示装置３のものと同一である場合、スケーリング処理部２２は上述の拡大縮小処理を行わず、入力信号取得部２１からの画像信号Ｓｒａｗをそのまま奥行き信号生成部２３及びステレオペア生成部２４に出力する。また、画像信号Ｓｒａｗと表示装置３の各解像度が定常的に同一である場合は、図1に示すスケーリング処理部２２を省略して、入力信号取得部２１からの画像信号Ｓｒａｗをそのまま奥行き信号生成部２３及びステレオペア生成部２４に入力してもよい。

基本奥行きモデル信号生成部２３１は、スケーリング処理部２２から出力された画像信号Ｓｓｃの特徴（即ち、画像内の各被写体の形状及びその位置など）に基づき複数の基本奥行きモデルを合成し、合成基本奥行きモデルを生成する。基本奥行きモデルとは、擬似立体変換を行ううえでの空間形状のモデルであり、画像信号Ｓｓｃの特徴に応じて複数のモデルを合成させることで、画像信号Ｓｓｃの構図を立体化するための最適な空間形状モデル（合成基本奥行きモデル）が生成される。合成基本奥行きモデルに基づき、想定した立体空間における各画素の奥行き方向の位置を定義する基本奥行きモデル信号ＤＢを生成する（ステップＳ３）。基本奥行きモデル信号ＤＢは、例えば８ビット長の信号であり、値が０の場合、その値をもつ画素は当該立体空間で最も奥に位置し、値が２５５の場合にはその画素は立体空間において最も手前に位置することを示す。なお、各基本奥行きモデル及びその合成処理については周知のものでよく、例えば特許文献１の記載（段落〜など）を援用できる。

凹凸奥行き推定部２３２は、画像信号Ｓｓｃに基づいてその画像の各画素の奥行きを推定した推定情報を含む奥行き信号（ＤＥ）を出力する。例えば、画像信号Ｓｓｃ中の１つの色信号（好適にはＲ信号）に基づき、画像信号Ｓｓｃ内の各画素位置の凹凸情報（奥行き情報、推定情報）を表す凹凸奥行き信号ＤＥを生成する（ステップＳ４）。

凹凸奥行き信号ＤＥは、想定した立体空間において、基本奥行きモデル信号ＤＢにより定義される奥行き方向の位置を画素毎に凹凸させるための位置オフセット量を定義する。凹凸奥行き信号ＤＥは、例えば８ビット長の信号であり、値が０の場合は位置オフセット量が０となり、値が大きいほど奥行き方向の位置がより手前側にオフセットされる。なお、凹凸奥行き信号ＤＥの生成方法については周知のものでよく、例えば特許文献１の記載（段落〜など）を援用できる。

ゲイン値設定部２３３は、入力信号取得部２１より出力されたＩＳＯ感度情報Ｉｉｓｏに基づき、凹凸奥行き推定部２３２より出力された凹凸奥行き信号ＤＥのレベルを変換するためのゲイン値Ｇｎを設定し出力する（ステップＳ５）。即ち、ゲイン値設定部２３３は、入力されたＩＳＯ感度情報Ｉｉｓｏに対応するゲイン値Ｇｎを、図３に示すゲイン値設定曲線Ｇｃに基づいて算出し、この値を出力する。なお、ゲイン値設定曲線Ｇｃは、複数のＩＳＯ感度ポイントに対してゲイン値Ｇｎを規定し、これらのゲイン値Ｇｎを線形補間することで得られる。例えば、ＩＳＯ感度ポイントとして、ＩＳＯ０、ＩＳＯ１００、ＩＳＯ２００、ＩＳＯ４００、ＩＳＯ８００、ＩＳＯ１６００を選び、これらに対応するゲイン値Ｇｎをそれぞれｇ０、ｇ１、ｇ２、ｇ３、ｇ４、ｇ５とした場合、隣接するゲイン値ｇ０〜ｇ５間をそれぞれ線形補間することでゲイン値設定曲線Ｇｃが得られる。本実施の形態のゲイン値設定曲線Ｇｃは図３に示すように、想定されるＩＳＯ感度の少なくとも一部の範囲に、ＩＳＯ感度の増加に伴って減少する傾向をもつ。なお、ＩＳＯ１６００以上の領域ではＩＳＯ１６００以外に任意のＩＳＯ感度ポイントが存在せず線形補間が行えないため、ｇ５のゲイン値を維持させる。

図１に示す凹凸奥行き信号レベル変換部２３４は、ゲイン値設定部２３３より出力されるゲイン値Ｇｎに基づき凹凸奥行き信号ＤＥのレベルを変換し、その信号を凹凸奥行き信号ＤＥｇとして出力する（ステップＳ６）。図４に示すように、ＩＳＯ感度が大きな値（例えばＩＳＯ１６００）に成る程、変換後の凹凸奥行き信号ＤＥｇのレベルは、ＩＳＯ感度が０の時の変換後のレベルよりも小さい値に変換される。

図１に示す奥行き信号合成部２３５は、基本奥行きモデル信号生成部２３１から出力された基本奥行きモデル信号ＤＢと、凹凸奥行き信号レベル変換部２３４から出力されたレベル変換後凹凸奥行き信号ＤＥｇとを加算することで、奥行き信号Ｄ_ｔｏｔａｌを生成する（ステップＳ７）。奥行き信号Ｄ_ｔｏｔａｌは例えば８ビット長の信号である。この場合、基本奥行きモデル信号ＤＢとレベル変換後凹凸奥行き信号ＤＥｇとの加算結果が２５５を超える場合は、２５５が上限値として設定され、出力される。

以上の処理により、奥行き信号生成部２３は画像信号Ｓｓｃ及びＩＳＯ感度情報Ｉｉｓｏに基づき、奥行き信号Ｄ_ｔｏｔａｌを生成して出力する。

＜ステレオペア生成部＞
次に、テクスチャシフト部２４１は、奥行き信号生成部２３で生成した奥行き信号Ｄ_ｔｏｔａｌを用いて、スケーリング処理部２２から出力される画像信号Ｓｓｃに対して別視点の画像を生成する（ステップＳ８）。例えば、入力する画像信号Ｓｓｃの画像（便宜上、画像Ａと称する）に対して、視点（注視点を見る基点）を左に移動させた視差画像（同様に、画像Ｂと称する）を生成する場合、画像Ａ上の注視点に位置するテクスチャより奥行き方向の位置が手前にあると推定されたテクスチャについては、その箇所の奥行きに応じた量だけ画像Ｂ上でテクスチャを右方向に画像シフトさせる。一方、画像Ａ上の注視点に位置するテクスチャより奥行き方向の位置が奥にあると推定されたテクスチャについては、その箇所の奥行きに応じた量だけ画像Ｂ上でテクスチャを左方向に画像シフトさせる。このようにして生成した画像Ｂを左目用の画像、原画である画像Ａを右目用の画像とすることでステレオペアを構成する。本実施の形態では、例えば、入力画像に対応する奥行き信号Ｄ＿ｔｏｔａｌを８ビット長の信号とし、この奥行き信号Ｄ＿ｔｏｔａｌについて小さい値、即ち想定する立体空間内で相対的に奥に位置するものから順に、その値に対応する部分の入力画像のテクスチャの位置を（Ｄ＿ｔｏｔａｌ−ｍ）画素だけ右にシフトさせる。ここで、ｍは奥行き方向における注視点の位置を定義し、典型的な値は例えば２００などである。この注視点が位置する面を便宜上、基準面と称すると、基準面上のテクスチャの位置は上述の位置変換の前後で変化しない。一方、画像Ａにおいて、このｍよりも大きな奥行き信号Ｄ＿ｔｏｔａｌに対応するテクスチャは基準面よりも手前に位置すると判断される。従って、このテクスチャは画像Ｂにおいて（Ｄ＿ｔｏｔａｌ−ｍ）画素だけ右にシフトする。画像Ａにおいて、このｍよりも小さい奥行き信号Ｄ＿ｔｏｔａｌに対応するテクスチャは、基準面よりも奥に位置すると判断される。従って、このテクスチャは画像Ｂにおいて（ｍ−Ｄ＿ｔｏｔａｌ）画素だけ左にシフトする。

上述のテクスチャの位置変換に当たり、変換対象となる入力画像上で奥のテクスチャがその手前のテクスチャによって遮られて視認できない、所謂オクルージョンが発生している場合がある。このオクルージョンが発生している部分については、オクルージョン補償部２４２において、入力画像の対応部分で補填する（ステップＳ９）。なお、この補填に関しては、公知の文献（山田邦男，望月研二，相澤清晴，齊藤隆弘：”領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償"，映像情報メディア学会誌，Vol.56, No.5, pp.863-866 (2002年5月)）に記載の手法を採用してもよい。

その後、ポスト処理部２４３で平滑化などのポスト処理を行うことにより、ポスト処理部２４３の処理以前の処理において発生したノイズなどを軽減する（ステップＳ１０）。

以上の処理、手順により、別視点の画像信号を生成できる。

そして、遅延調整部２４４では、別視点の画像信号を生成する基となった入力画像信号Ｓｓｃの出力を、メモリを用いて別視点画像信号の生成処理に掛かった時間分だけ遅延させることでタイミング調整を行ったのち（ステップＳ１１）、生成した別視点の画像信号を左目用の画像信号とし、タイミング調整した入力画像信号Ｓｓｃを右目用の画像信号として、ステレオペアを生成する（ステップＳ１２）。

なお、本実施の形態においては、入力画像を右目用の画像、生成した別視点画像を左目用の画像とするステレオペアを構成しているが、テクスチャシフト部２４１で前記の画素の移動を左右反転することで、入力画像を左目用の画像、生成した別視点画像を右目用の画像とするステレオペアを構成することも可能である。また、左右どちらについても別視点画像を用いる、すなわち、入力画像から視点を右及び左のそれぞれに移動させた２つの別視点画像を用いてステレオペアを構成することも可能である。

以上の処理によりステレオペアを構成できる。

これまでに述べた入力信号取得部２１、スケーリング処理部２２、奥行き信号生成部２３、ステレオペア生成部２４により、非立体画像を基に立体感を感じさせる擬似立体画像を生成する擬似立体画像生成装置２を実現することができ、この擬似立体画像生成装置２とステレオ表示装置３を組み合わせることにより、擬似立体画像表示システムを構成することができる。

上記のステレオ表示装置３とは、偏光メガネを用いたプロジェクションシステム、時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどを含む。特にステレオペアとなる各画像に投射する２台のプロジェクタによるプロジェクタシステムを含む。

なお、本実施の形態ではステレオペア生成部として２視点での例を説明しているが、視点の数は２に限定されない。即ち、３視点以上の任意の視点数に応じた数の別視点画像を生成する複数視点画像生成装置を構成することも可能であり、この場合は３視点以上の表示が可能な表示装置と組み合わせることで多視点立体映像表示システムの構築が可能である。また、本立体表示システムにおいては音声出力を装備する形態のものも考えられる。この場合、静止画等音声情報を持たない映像コンテンツについては、映像にふさわしい環境音を付加するような態様のものが考えられる。

なお、本発明は、ハードウェアにより図１の構成の擬似立体画像作成装置を構成する場合に限定されるものではなく、コンピュータプログラムによるソフトウェアにより擬似立体画像作成を行うこともできる。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。

本発明によれば、映像信号を取得すると同時に映像撮影情報としてＩＳＯ感度情報を取得し、ＩＳＯ感度に応じて凹凸奥行き信号のゲイン値が調整される。従って、ＩＳＯ感度が大きくなるほどに凹凸奥行き信号のレベルを弱めることになるので、ＩＳＯ感度が大きかった場合すなわちランダムノイズが多い場合に生じる擬似立体視上の違和感を低減することが可能となる。

１…ビデオカメラ、２…擬似立体画像生成装置、２１…入力信号取得部、２２…スケーリング処理部、２３…奥行き信号生成部、２３１…基本奥行きモデル信号生成部、２３２…凹凸奥行き推定部、２３３…ゲイン値設定部、２３４…凹凸奥行き信号レベル変換部、２３５…奥行き信号合成部、２４…ステレオペア生成部、２４１…テクスチャシフト部、２４２…オクルージョン補償部、２４３…ポスト処理部、２４４…遅延調整部、３…ステレオ表示装置

Claims (4)

1. 画像信号と前記画像信号が撮影された時の感度情報とを取得する入力信号取得部と、
   前記画像信号に基づいて画像の各画素の奥行きを推定した推定情報を含む奥行き信号を出力する奥行き推定部と、
   前記奥行き信号のレベルを変換するためのゲイン値を前記感度情報に基づき設定するゲイン値設定部と、
   設定された前記ゲイン値に基づき前記奥行き信号のレベルを変換すると共に、レベル変換後の奥行き信号を出力する奥行き信号レベル変換部と
   を有することを特徴とする奥行き信号生成装置。
2. 請求項１に記載の奥行き信号生成装置の奥行き信号レベル変換部から供給されるレベル変換後奥行き信号に応じて、前記画像信号のテクスチャを対応部分の奥行きに応じた量だけシフトさせた別視点画像を前記画像信号より生成する別視点画像生成部
   を有することを特徴とする擬似立体画像生成装置。
3. 一画像の画像信号と前記画像が撮影された時の感度情報とを取得し、
   前記画像信号に基づいて画面の各画素の奥行きを推定すると共にその推定情報を含む奥行き信号を出力し、
   前記奥行き信号のレベルを変換するためのゲイン値を前記感度情報に基づき設定し、
   設定された前記ゲイン値に基づき前記奥行き信号のレベルを変換すると共に、レベル変換後の奥行き信号を出力する
   ことを特徴とする奥行き信号生成方法。
4. 請求項３に記載の奥行き信号生成方法によって生成されたレベル変換後の奥行き信号に応じて、前記画像信号のテクスチャを対応部分の奥行きに応じた量だけシフトさせた別視点画像を前記画像信号より生成し出力する
   ことを特徴とする擬似立体画像生成方法。

Images