JP2001298753A - ２次元映像を３次元映像に変換する方法 - Google Patents

Abstract

(57)【要約】 【課題】 この発明は、距離スケール変換を用いて奥行
き推定量を視差量に変換する場合に、変換画像の歪みを
押さえることができる２次元映像を３次元映像に変換す
る方法を提供することを目的とする。 【解決手段】 隣接する視差算出領域間での位相差の最
大値が予め定められた歪み許容範囲外である場合には、
上記視差算出領域間での位相差が歪み許容範囲内となる
ようなダイナミックレンジを探索し、各奥行き推定値に
対して、探索したダイナミックレンジを用いた距離スケ
ール変換を施し、各視差算出領域毎に仮の目標位相量を
求める。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、２次元映像を３
次元映像に変換する方法に関する。

【０００２】

【従来の技術】本出願人は、２次元映像を３次元映像に
変換する方法として、一画面を複数の領域に分割し、各
々の領域から得た画像情報及び構図から各領域の奥行き
を推定し、この推定した奥行きを基に画面内の各画素を
シフトすることによって両眼視差を生成する手法（以
下、ＣＩＤ法という）を既に開発している（特開平１１
−８８６２号公報、特開平１１−９８５３０号公報参
照）。

【０００３】また、本出願人は、既に開発したＣＩＤ法
をさらに改良したＣＩＤ法をも開発している。

【０００４】図１は、改良後のＣＩＤ法（公知ではな
い）の制御手順を示している。

【０００５】まず、一画面を複数の領域に分割し、各々
の領域から高周波、輝度コントラスト、色(B-Y、R-Y 成
分) の情報を得る（ステップ１）。そして、これらの情
報及び構図から推定した各領域の奥行き推定値を求める
（ステップ２）。求めた奥行き推定値を単にシフト量に
変換すると変換画像に歪みが目立つため、歪み抑圧処理
を行う（ステップ３）。歪み抑圧処理後の奥行き推定値
に距離スケール変換を施す（ステップ４）。

【０００６】歪み抑圧処理について説明する。ＣＩＤ法
では、２Ｄ画像を変形し左右画像を生成する。この変形
が大きくなりすぎると不自然な映像となるため、ＣＩＤ
法では、隣接する領域間の位相量の差が、ユーザによっ
て予め定められた変換画像の歪み許容範囲h ＿supp＿le
v[Pixel]以下になるよう制御している。すなわち、推定
した奥行きをMfrontとMrear との間に割り当てることに
よって求めた各領域の位相量から隣接する領域の位相量
の差を求める。この差の最大値をh ＿dv＿max[pixel]と
し、h ＿dv＿max が歪み許容範囲h ＿supp＿lev[pixel]
を越える場合は、次式１を満足するまでMfrontとMrear
を０[pixel] に近づける方向に小さくする。

【０００７】

【数１】

【０００８】従って、h ＿dv＿max がh ＿supp＿lev よ
り大きい場合は、図２の右側の図に示すように、変換映
像の飛び出し位相量front[Pixel]と奥まり位相量rear[P
ixel] を、次式２の線形演算により、ユーザが予め定め
た最大飛び出し位相量Mfront[Pixel] と最大奥まり位相
量Mrear[Pixel]より小さくする。

【０００９】

【数２】

【００１０】逆に、h ＿dv＿max がh ＿supp＿lev より
小さい場合は、変換画像の歪みは許容範囲内であるか
ら、図２の左側の図に示すように、次式３が成り立つ。

【００１１】

【数３】

【００１２】つまり、h ＿dv＿max がh ＿supp＿lev よ
り小さい場合は、変換映像の位相のダイナミックレンジ
dv＿range(=front rear) と、ユーザが予め定めた位相
のダイナミックレンジMdv ＿range(=Mfront Mrear) と
は等しくなる。

【００１３】なお、実機におけるこのダイナミックレン
ジを抑圧する歪み抑圧処理は、ＣＰＵ負荷を軽減するた
めh ＿supp＿lev を推定した奥行きの単位に置き換えて
行っているが、ここでは説明の便宜上、画素の単位系を
用いて説明を行った。

【００１４】距離スケール変換方法について説明する。

【００１５】２眼式立体ディスプレイでは、右眼用画像
（Ｒ画像）と左眼用画像（Ｌ画像）の対応点の視差量Ｗ
とその融像位置（実際に見える管面からの距離）Ypと
は、非線形の関係にある。

【００１６】すなわち、ディスプレイ面上で視差Ｗ[mm]
を持つＲ画像およびＬ画像を管面から距離Ｋ[mm]離れた
位置から観察した場合、管面からの融像位置までの距離
Yp[mm]は次式４で表される。

【００１７】

【数４】

【００１８】上記数式４において、各変数は以下の値を
表す。 K ：ディスプレイ管面からの観察者までの距離 [mm] E ：眼間の1/2 の長さ [mm] W ：ディスプレイ面上での左眼用画像と右眼用画像の対
応点の視差量 [mm] Yp：管面から融像位置までの距離[mm]

【００１９】K=1000mm, 2E=65mm として上記数式４をグ
ラフで表すと、図３のようになる。

【００２０】図３より、奥行き推定値を線形的に画素の
単位に置き換えただけでは、融像する映像には空間的な
歪みを生じることが分かる。そこで、距離スケール手法
では、空間歪みを考慮して、奥行き推定値を画素の単位
に変換する。奥行き推定値を線形的に画素の単位（視差
量）に変換する手法を画素スケール変換といい、奥行き
推定値を融像位置を考慮して画素の単位（視差量）に変
換する手法を距離スケール変換という。

【００２１】以下、距離スケール変換手法について簡単
に説明する。

【００２２】今、ディスプレイ上の１画素の幅をU[mm]
とし、対応点がα画素分の視差Ｗがあるとすると、視差
Ｗは次式５で表される。

【００２３】

【数５】

【００２４】上記数式５を上記数式４に代入することに
より、次式６に示すように、画素と融像位置の関係が求
まる。

【００２５】

【数６】

【００２６】また、上式６を変形し次式７を得る。

【００２７】

【数７】

【００２８】完全距離スケール変換では、管面からの最
大飛び出し量Ymax' と管面からの最大奥まり量Ymin' を
指定すると、奥行き推定値depth （０〜１００の値を持
つ）が決まれば対応する奥行きYpは次式８で表される単
純なスケール変換で得ることができる。

【００２９】

【数８】

【００３０】そして、Ypに対応する視差量αは、上記７
により求められる。これにより、空間歪みを考慮して、
奥行き推定値を画素の単位に変換することができる。

【００３１】完全距離スケール変換において、２５６段
の視差量変換テーブルＷ" を用いる場合は、図４に示す
ように、まず、Ymax' 〜Ymin' の間を２５６等分し、各
奥行き値Yp毎に対応した視差量変換テーブルW''[pixel]
を上記式７に基づいて求める。

【００３２】この場合、W"[255] がYmax' に対応した視
差量となり、W"[0] がYmin' に対応した視差量となる。
そして、奥行き推定値depth が決まれば、対応する視差
量αは次式９より求まる。

【００３３】

【数９】

【００３４】ここで、lev は視差量変換テーブル上の段
数を表し、次式１０で与えられる。

【００３５】

【数１０】

【００３６】ここまで、２Ｄ／３Ｄ変換における完全距
離スケール変換手法について述べたが、この手法には以
下に示す２つの問題がある。

【００３７】(1) 奥行きYpが飽和する所まで最大飛び
出し量Ymax' を大きくすると、Ymax'近傍の奥行き値を
持つ部分において、変換画像自体の歪み( Ｒ画像、Ｌ画
像自体の歪み) が大きくなる。

【００３８】(2) 奥行き再現空間のダイナミックレン
ジを大きく取ろうとすると、最大奥まり量Ymin' を小さ
くするしかないので、管面より前に飛び出す領域が極端
に少なくなる。

【００３９】上記の問題を回避するためには、奥行きと
視差量がある程度比例関係にある領域のみ使用して変換
する必要がある。しかし、それでは画素スケール変換と
ほぼ同じになってしまい、複雑な処理を行う関係上、完
全距離スケール変換はもはや有用とは言い難い。

【００４０】そこで、考案したのが次に紹介する折れ線
距離スケール変換である。折れ線距離スケール変換で
は、図５に示すように、飛び出し量比Ｃ[%] を導入し、
Ymax'〜0 を255*C/100 等分し、0 〜Ymin' を255 ｛(1-
C)/100)｝等分することで、視差量変換テーブルを求め
る。

【００４１】すなわち、飛び出し量比Ｃを制御すること
で、管面より前の飛び出し量を変え、かつ、最大飛び出
しとなる部分での変換画像自体の歪みを抑えることがで
きる。なお、折れ線距離スケール変換において上記式８
に対応する式は、次式１１となる。

【００４２】

【数１１】

【００４３】また、視差量変換テーブルＷ" の段数を表
す上記式１０に対応する式は、次式１２となる。

【００４４】

【数１２】

【００４５】ここで、Dlevは、次式１３で定義され、管
面に対応する視差量変換テーブル上の段数を表す。

【００４６】

【数１３】

【００４７】折れ線距離スケール変換は管面より前と、
管面より奥において、それぞれ空間的な歪みが出ないよ
うになっている。逆に言えば、管面において空間的な歪
みがでることになる。これは、「立体映像を見た場合、
管面前後で見え方が違う。」という多くの視聴者から得
た言葉より、空間的な歪みは管面近傍で最も分かりづら
くなるという仮説に基づいている。

【００４８】なお、実際に使用している値は、管面前後
での奥行き視差量変換テーブルの傾向（ステップ幅）が
大きく違わないようYmax',Ymin',C を決定している。

【００４９】ところで、上述した線形演算を用いた歪み
抑圧処理は画素スケール変換には有効であるが、距離ス
ケール変換に対しては有効な手段とは言えない。これ
は、図６に示すように、距離スケール変換では、奥行き
Ypと視差量W [pixel] とが非線形であり、奥行き推定量
が同じ値、たとえば”１”でも管面の前後ではその視差
量が大きく異なるという性質を持つためである。なお、
この傾向は、大画面ディスプレイにおいて顕著になる。
完全距離スケールの改良型である折れ線距離スケールで
は、この特性を緩和する意味でも、飛び出し量比Ｃを導
入している。

【００５０】しかし、飛び出し量比Ｃを制御可能な折れ
線距離スケールでも、隣接領域間の位相差の最大値h ＿
dv＿max[pixel]を歪み許容範囲h ＿supp＿lev[pixel]内
に完全に抑えることはできない（画素スケールにおける
歪み抑圧の原理を忠実に実現することはできない）。こ
の歪み抑圧の原理を実現するためには、歪み抑圧処理を
距離スケール変換後に行う必要がある。

【００５１】

【発明が解決しようとする課題】この発明は、距離スケ
ール変換を用いて奥行き推定量を視差量に変換する場合
に、変換画像の歪みを押さえることができる２次元映像
を３次元映像に変換する方法を提供することを目的とす
る。

【００５２】

【課題を解決するための手段】この発明による２次元映
像を３次元映像に変換する方法は、２次元映像信号に基
づいて、１画面内に設定された複数の視差算出領域それ
ぞれに対して映像の遠近に関する画像特徴量を抽出し、
抽出した画像特徴量に基づいて、各視差算出領域毎の奥
行き推定値を生成する第１ステップ、各奥行き推定値に
対して、所定の最大飛び出し量と所定の最大奥行き量と
によって規定されるダイナミックレンジを用いた距離ス
ケール変換を施すことにより、各視差算出領域毎に仮の
目標位相量を求める第２ステップ、各視差算出領域毎の
仮の目標位相量に基づいて、隣接する視差算出領域間で
の位相差の最大値を求める第３ステップ、隣接する視差
算出領域間での位相差の最大値が予め定められた歪み許
容範囲内であるか否かを判定する第４ステップ、ならび
に隣接する視差算出領域間での位相差の最大値が予め定
められた歪み許容範囲外である場合には、上記視差算出
領域間での位相差が歪み許容範囲内となるようなダイナ
ミックレンジを探索し、各奥行き推定値に対して、探索
したダイナミックレンジを用いた距離スケール変換を施
し、各視差算出領域毎に仮の目標位相量を求めた後、第
３ステップに移行する第５ステップを備えていることを
特徴とする。ここで、距離スケール変換とは、奥行き推
定値を融像位置を考慮して画素の単位（視差量）に変換
する手法をいう。これに対して、奥行き推定値を線形的
に画素の単位（視差量）に変換する手法を画素スケール
変換という。

【００５３】上記第５ステップにおいて、探索したダイ
ナミックレンジによって規定される最大飛び出し量と最
大奥行き量との比が、予め定められた比となるように、
ダイナミックレンジを補正した後、補正後のダイナミッ
クレンジを用いた距離スケール変換を各奥行き推定値に
施すようにしてもよい。

【００５４】

【発明の実施の形態】以下、図７〜図１０を参照して、
この発明の実施の形態について説明する。

【００５５】図７は、この発明の実施の形態によるＣＩ
Ｄ法の制御手順を示している。

【００５６】まず、一画面を複数の領域に分割し、各々
の領域から高周波、輝度コントラスト、色(B-Y、R-Y 成
分) の情報を得る（ステップ１１）。そして、これらの
情報及び構図から推定した各領域の奥行き推定値を求め
る（ステップ１２）。求めた奥行き推定値に対して距離
スケール変換および歪み抑圧処理を施すことにより、目
標位相量を得る（ステップ１３）。

【００５７】図８は、図７のステップ１３の距離スケー
ル変換および歪み抑圧処理の詳細を示している。

【００５８】まず、MfrontとMrear によって規定される
ダイナミックレンジで距離スケール変換を施し、仮の目
標位相量を得る（ステップ２１、２２）。得られた仮の
目標位相量に基づいて、隣接領域間の位相差の最大値h
＿dv＿max [pixel] を算出する（ステップ２３）。

【００５９】隣接領域間の位相差の最大値h ＿dv＿max
[pixel] が歪み許容範囲h ＿supp＿lev [pixel] である
か否かを判定する（ステップ２４）。許容範囲内である
場合には、仮の目標位相量を真の目標位相とする（ステ
ップ２７）。

【００６０】隣接領域間の位相差の最大値が歪み許容範
囲外である場合には、当該位相差の最大値がh ＿supp＿
lev 以下になるまで、MfrontとMrear によって規定され
るダイナミックレンジを段階的に小さくすることによっ
て最適なfront 、rear値を得る（ステップ２５）。以
下、便宜上、ステップ２５の処理を逐次探索処理という
ことにする。逐次探索処理の詳細については後述する。

【００６１】逐次探索処理によって求めたfront とrear
との距離比を、ユーザ指定の距離比になるよう、front
とrearとを変更した後（ステップ２６）、ステップ２２
に戻り、更に距離スケール変換を行う。

【００６２】ステップ２２、２３、２４、２５、２６の
処理を、隣接領域間の位相差の最大値h ＿dv＿max[pixe
l]が歪み許容範囲h ＿supp＿lev [pixel] 内になるまで
繰り返し、最終的な目標位相量を得る。なお、このよう
にダイナミックレンジが変更する都度、距離スケール変
換を施すのは、立体ディスプレイの空間的な歪みに左右
されず奥行き推定量に従った立体映像を観察者に知覚さ
せるという、距離スケールの原理を正確に実現するため
である。

【００６３】次に、逐次探索処理について説明する。

【００６４】奥行き推定値と位相量とが非線形である距
離スケールでは、front とrear値で規定されるダイナミ
ックレンジを大きくするため、レンジの決定は逐次探索
処理によって行なわれる。

【００６５】逐次探索処理において、視差量の算出は、
奥行き視差量変換式（式１１）を用いても可能だが、以
下に示すように予め算出した視差量変換テーブルＷ" を
用いた方が効率的である。この方法について、0 〜100
に間に奥行き推定値が規格化された場合の管面レベルの
奥行き推定値をsurface ＿depth(= 100- C) として、説
明する。

【００６６】front 値とrear値に対応する視差量変換テ
ーブルＷ" 上の段数をそれぞれMax＿lev （=255〜Dle
v）、Min ＿lev （=Dlev 〜0 ）とした場合、ある奥行
き推定値v ＿depth の視差量変換テーブルの段数lev
は、次式４で表される。

【００６７】

【数１４】

【００６８】lev に対応する位相量phase は、視差量変
換テーブルＷ" により一意で求まるので、次式１５で表
すことができる。

【００６９】

【数１５】

【００７０】逐次探索処理では、隣接領域間の位相差の
最大となる２つの領域の位相差がh＿supp＿lev 以下に
なるfront 値とrear値を、Max ＿lev やMin ＿lev を徐
々に変化させことによって見つけることができる。

【００７１】上記式１４から明らかなように、逐次探索
処理では、隣接領域間の位相差が最大となる２つの領域
が持つ位相量の関係に応じ、最適なfront 値とrear値の
探索方法は以下の３種類となる。

【００７２】第１ケース：両領域が共に管面より前の位
相量を持つ場合は、front 値を０に近づけて行く (Max
＿lev をDlevに近づけていく) 。

【００７３】第２ケース：両領域が共に管面より後ろの
位相量を持つ場合は、rear値を０に近づけて行く (Min
＿lev をDlevに近づけていく) 。

【００７４】第３ケース：一方の領域が管面より前の位
相量を持ち、もう一方の領域が管面より後ろの位相量を
持つ場合は、front,rear値を共に０に近づけて行く(Max
＿lev,Min ＿lev をDlevに近づけていく) 。

【００７５】第３ケースの場合には、逐次探索処理時
に、ユーザが予め指定した距離比を保持するように、つ
まり次式１６の関係を保持するように、Max ＿lev とMi
n ＿lev をDlevに近づけていく。

【００７６】

【数１６】

【００７７】上記式１６は、図８のステップ２６の処理
と同義である。第１ケースと第２ケースでは、演算量を
減らすため、距離比の変更処理を逐次探索処理時に行わ
ず図８のステップ２６で行う。

【００７８】距離スケールにおいてこの距離比維持の手
法を導入しているのは、ダイナミックレンジが変わって
も管面の前後の奥行き関係を保持するためである。具体
的には、図９に示すように、第１ケースで管面より前の
距離を２０％減少させた場合には、管面より後ろの距離
も２０％減少させ、管面前後の関係を維持している。

【００７９】視差量変換テーブル上でこの距離比維持を
行うと、飛び出し量比Ｃの関係も維持することができ
る。これにより、相対的な奥行きで空間を認知する傾向
がある観察者には違和感のない変換映像を提示すること
ができる。

【００８０】しかし、観察者の目の特性によっては、全
体のダイナミックレンジを広げた方が良い映像とみなす
場合がある。このような場合は、第１ケース、第２ケー
スにおいて距離比維持を行わず、量比維持のみを行う。

【００８１】図１０は、量比維持のみの折れ線距離スケ
ール変換を行なった場合と、さらに距離比維持のための
処理を行なった場合とを示している。量比維持のみの折
れ線距離スケール変換では、管面の奥行き推定値を境に
別個のレンジ変換により奥行き推定値と視差量変換テー
ブルの対応を取る。なお、距離比維持をした場合は、奥
行き推定値の視差量変換テーブルは１つのレンジ変換で
対応できる。なお、図１０における関数lev(phase)は上
記式１５の逆関数を表し、位相量phase[pixel]から視差
量変換テーブルの段数を求めることを意味する。

【００８２】

【発明の効果】この発明によれば、距離スケール変換を
用いて奥行き推定量を視差量に変換する場合に、変換画
像の歪みを押さえることができるようになる。

【図面の簡単な説明】

【図１】本出願人が既に開発したＣＩＤ法の制御処理手
順を示すフローチャートである。

【図２】図１のステップ３の歪み抑圧処理を説明するた
めの模式図である。

【図３】視差量Ｗとその融像位置Ypとの関係を示すグラ
フである。

【図４】完全距離スケール変換を説明するためのグラフ
である。

【図５】折れ線距離スケール変換を説明するためのグラ
フである。

【図６】奥行きYpと視差量W [pixel] とが非線形である
ため、奥行き推定量が同じ値、たとえば”１”でも管面
の前後ではその視差量が大きく異なるという性質を示す
ためのグラフである。

【図７】この発明の実施の形態によるＣＩＤ法の制御手
順を示すフローチャートである。

【図８】図７のステップ１３の距離スケール変換および
歪み抑圧処理の詳細を示すフローチャートである。

【図９】距離比維持の手法を導入することにより、ダイ
ナミックレンジが変わっても管面の前後の奥行き関係が
保持されることを示すグラフである。

【図１０】量比維持のみの折れ線距離スケール変換を行
なった場合と、さらに距離比維持のための処理を行なっ
た場合とを示す模式図である。

フロントページの続き (72)発明者 森 孝幸 大阪府大東市三洋町１番１号 三洋電子部 品株式会社内 Ｆターム(参考） 5C061 AA20 AA21 AB08

Claims (2)

【特許請求の範囲】
1. 【請求項１】 ２次元映像信号に基づいて、１画面内に
   設定された複数の視差算出領域それぞれに対して映像の
   遠近に関する画像特徴量を抽出し、抽出した画像特徴量
   に基づいて、各視差算出領域毎の奥行き推定値を生成す
   る第１ステップ、 各奥行き推定値に対して、所定の最大飛び出し量と所定
   の最大奥行き量とによって規定されるダイナミックレン
   ジを用いた距離スケール変換を施すことにより、各視差
   算出領域毎に仮の目標位相量を求める第２ステップ、 各視差算出領域毎の仮の目標位相量に基づいて、隣接す
   る視差算出領域間での位相差の最大値を求める第３ステ
   ップ、 隣接する視差算出領域間での位相差の最大値が予め定め
   られた歪み許容範囲内であるか否かを判定する第４ステ
   ップ、 隣接する視差算出領域間での位相差の最大値が予め定め
   られた歪み許容範囲外である場合には、上記視差算出領
   域間での位相差が歪み許容範囲内となるようなダイナミ
   ックレンジを探索し、各奥行き推定値に対して、探索し
   たダイナミックレンジを用いた距離スケール変換を施
   し、各視差算出領域毎に仮の目標位相量を求めた後、第
   ３ステップに移行する第５ステップ、 を備えている２次元映像を３次元映像に変換する方法。
2. 【請求項２】 上記第５ステップにおいて、探索したダ
   イナミックレンジによって規定される最大飛び出し量と
   最大奥行き量との比が、予め定められた比となるよう
   に、ダイナミックレンジを補正した後、補正後のダイナ
   ミックレンジを用いた距離スケール変換を各奥行き推定
   値に施すようにしたことを特徴とする請求項１に記載の
   ２次元映像を３次元映像に変換する方法。