JP2001103513A - ２次元映像を３次元映像に変換する方法 - Google Patents
２次元映像を３次元映像に変換する方法Info
- Publication number
- JP2001103513A JP2001103513A JP27336599A JP27336599A JP2001103513A JP 2001103513 A JP2001103513 A JP 2001103513A JP 27336599 A JP27336599 A JP 27336599A JP 27336599 A JP27336599 A JP 27336599A JP 2001103513 A JP2001103513 A JP 2001103513A
- Authority
- JP
- Japan
- Prior art keywords
- luminance value
- parallax calculation
- value
- image
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【課題】 この発明は、内視鏡システムによって得られ
た２次元映像を３次元映像に変換する方法であって、奥
行き再現性の高い２次元映像を３次元映像に変換する方
法を提供することを目的とする。 【解決手段】 ２次元映像信号内の輝度値が物体と光源
との距離の二乗に反比例することを利用して、２次元映
像信号内の輝度値から、各視差算出領域ごとの奥行き推
定値を生成する。
た２次元映像を３次元映像に変換する方法であって、奥
行き再現性の高い２次元映像を３次元映像に変換する方
法を提供することを目的とする。 【解決手段】 ２次元映像信号内の輝度値が物体と光源
との距離の二乗に反比例することを利用して、２次元映
像信号内の輝度値から、各視差算出領域ごとの奥行き推
定値を生成する。
Description
【０００１】
【発明の属する技術分野】この発明は、２次元映像を３
次元映像に変換する方法に関し、特に、内視鏡システム
で撮像された２次元映像を３次元映像に変換するのに適
した２次元映像を３次元映像に変換する方法に関する。
次元映像に変換する方法に関し、特に、内視鏡システム
で撮像された２次元映像を３次元映像に変換するのに適
した２次元映像を３次元映像に変換する方法に関する。
【０００２】
【従来の技術】本出願人には、２次元映像信号に基づい
て、１画面内に設定された複数の視差算出領域それぞれ
に対して映像の遠近に関する画像特徴量を抽出し、抽出
した画像特徴量に基づいて、各視差算出領域ごとの奥行
き推定値を生成する第１ステップ、各奥行き推定値を視
差量に変換する第２ステップ、各視差算出領域ごとの視
差量に基づいて、１画面内の所定単位領域ごとの視差量
を求める第３ステップおよび２次元映像信号の各所定単
位領域内の信号から、その所定単位領域に対応する視差
量に応じた水平方向の位相差を有する第１映像信号と第
２映像信号とを生成する第４ステップを備えた２次元映
像を３次元映像に変換する方法を既に開発している（特
開平１１−８８６２号公報、特開平１１−９８５３０号
公報参照）。
て、１画面内に設定された複数の視差算出領域それぞれ
に対して映像の遠近に関する画像特徴量を抽出し、抽出
した画像特徴量に基づいて、各視差算出領域ごとの奥行
き推定値を生成する第１ステップ、各奥行き推定値を視
差量に変換する第２ステップ、各視差算出領域ごとの視
差量に基づいて、１画面内の所定単位領域ごとの視差量
を求める第３ステップおよび２次元映像信号の各所定単
位領域内の信号から、その所定単位領域に対応する視差
量に応じた水平方向の位相差を有する第１映像信号と第
２映像信号とを生成する第４ステップを備えた２次元映
像を３次元映像に変換する方法を既に開発している（特
開平１１−８８６２号公報、特開平１１−９８５３０号
公報参照）。
【０００３】本出願人が開発した従来手法をＣＩＤ法と
呼ぶことにする。
呼ぶことにする。
【０００４】ところで、内視鏡システムによって得られ
た映像は単一光源によって得られた映像であり、内視鏡
システムによって得られた映像内の輝度値は光源から物
体までの距離の二乗に反比例する。そこで、本出願人
は、そのことを利用して映像内の各領域の奥行き量を算
出するという新たな手法をここに開発した。
た映像は単一光源によって得られた映像であり、内視鏡
システムによって得られた映像内の輝度値は光源から物
体までの距離の二乗に反比例する。そこで、本出願人
は、そのことを利用して映像内の各領域の奥行き量を算
出するという新たな手法をここに開発した。
【０００５】
【発明が解決しようとする課題】この発明は、内視鏡シ
ステムによって得られた２次元映像を３次元映像に変換
する方法であって、奥行き再現性の高い２次元映像を３
次元映像に変換する方法を提供することを目的とする。
ステムによって得られた２次元映像を３次元映像に変換
する方法であって、奥行き再現性の高い２次元映像を３
次元映像に変換する方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】この発明による２次元映
像を３次元映像に変換する方法は、２次元映像信号に基
づいて、１画面内に設定された複数の視差算出領域それ
ぞれに対して映像の遠近に関する画像特徴量を抽出し、
抽出した画像特徴量に基づいて、各視差算出領域ごとの
奥行き推定値を生成する第１ステップ、各奥行き推定値
を視差量に変換する第２ステップ、各視差算出領域ごと
の視差量に基づいて、１画面内の所定単位領域ごとの視
差量を求める第３ステップおよび２次元映像信号の各所
定単位領域内の信号から、その所定単位領域に対応する
視差量に応じた水平方向の位相差を有する第１映像信号
と第２映像信号とを生成する第４ステップを備えた２次
元映像を３次元映像に変換する方法において、２次元映
像信号が内視鏡システムによって得られた映像信号であ
り、第１ステップは、２次元映像信号内の輝度値が物体
と光源との距離の二乗に反比例することを利用して、２
次元映像信号内の輝度値から、各視差算出領域ごとの奥
行き推定値を生成し、得られた奥行き推定値に基づいて
最終的な奥行き推定値を求めることを特徴とする。
像を３次元映像に変換する方法は、２次元映像信号に基
づいて、１画面内に設定された複数の視差算出領域それ
ぞれに対して映像の遠近に関する画像特徴量を抽出し、
抽出した画像特徴量に基づいて、各視差算出領域ごとの
奥行き推定値を生成する第１ステップ、各奥行き推定値
を視差量に変換する第２ステップ、各視差算出領域ごと
の視差量に基づいて、１画面内の所定単位領域ごとの視
差量を求める第３ステップおよび２次元映像信号の各所
定単位領域内の信号から、その所定単位領域に対応する
視差量に応じた水平方向の位相差を有する第１映像信号
と第２映像信号とを生成する第４ステップを備えた２次
元映像を３次元映像に変換する方法において、２次元映
像信号が内視鏡システムによって得られた映像信号であ
り、第１ステップは、２次元映像信号内の輝度値が物体
と光源との距離の二乗に反比例することを利用して、２
次元映像信号内の輝度値から、各視差算出領域ごとの奥
行き推定値を生成し、得られた奥行き推定値に基づいて
最終的な奥行き推定値を求めることを特徴とする。
【０００７】第１ステップとしては、たとえば、各視差
算出領域ごとの輝度値を逆γ補正することによって、各
視差算出領域ごとの輝度値を第１の輝度値に補正するス
テップ、および第１輝度値を用い、第１輝度値が光源と
の距離の二乗に反比例することを利用して、奥行き推定
値を算出し、得られた奥行き推定値に基づいて最終的な
奥行き推定値を求めるステップを備えているものが用い
られる。
算出領域ごとの輝度値を逆γ補正することによって、各
視差算出領域ごとの輝度値を第１の輝度値に補正するス
テップ、および第１輝度値を用い、第１輝度値が光源と
の距離の二乗に反比例することを利用して、奥行き推定
値を算出し、得られた奥行き推定値に基づいて最終的な
奥行き推定値を求めるステップを備えているものが用い
られる。
【０００８】第１ステップとしては、たとえば、各視差
算出領域ごとの輝度値を逆γ補正することによって、各
視差算出領域ごとの輝度値を第１の輝度値に補正するス
テップ、各視差算出領域ごとの色差信号に基づいて各視
差算出領域毎にメチレンブルーが検出されたか否かを判
定し、その判定結果に応じて各視差算出領域ごとの第１
の輝度値を第２輝度値に補正するステップ、および第２
輝度値を用い、第２輝度値が光源との距離の二乗に反比
例することを利用して、奥行き推定値を算出し、得られ
た奥行き推定値に基づいて最終的な奥行き推定値を求め
るステップを備えているものが用いられる。
算出領域ごとの輝度値を逆γ補正することによって、各
視差算出領域ごとの輝度値を第１の輝度値に補正するス
テップ、各視差算出領域ごとの色差信号に基づいて各視
差算出領域毎にメチレンブルーが検出されたか否かを判
定し、その判定結果に応じて各視差算出領域ごとの第１
の輝度値を第２輝度値に補正するステップ、および第２
輝度値を用い、第２輝度値が光源との距離の二乗に反比
例することを利用して、奥行き推定値を算出し、得られ
た奥行き推定値に基づいて最終的な奥行き推定値を求め
るステップを備えているものが用いられる。
【０００９】第１ステップとしては、たとえば、各視差
算出領域ごとの輝度値を逆γ補正することによって、各
視差算出領域ごとの輝度値を第１の輝度値に補正するス
テップ、各視差算出領域ごとの色差信号に基づいて各視
差算出領域毎にメチレンブルーが検出されたか否かを判
定し、その判定結果に応じて各視差算出領域ごとの第１
の輝度値を第２輝度値に補正するステップ、各視差算出
領域ごとの色差信号に基づいて各視差算出領域毎に彩度
を求め、得られた各視差算出領域毎の彩度に基づいて、
各視差算出領域ごとの第２輝度値を第３輝度値に補正す
るステップ、および第３輝度値を用い、第２輝度値が光
源との距離の二乗に反比例することを利用して、奥行き
推定値を算出し、得られた奥行き推定値に基づいて最終
的な奥行き推定値を求めるステップを備えているものが
用いられる。
算出領域ごとの輝度値を逆γ補正することによって、各
視差算出領域ごとの輝度値を第１の輝度値に補正するス
テップ、各視差算出領域ごとの色差信号に基づいて各視
差算出領域毎にメチレンブルーが検出されたか否かを判
定し、その判定結果に応じて各視差算出領域ごとの第１
の輝度値を第２輝度値に補正するステップ、各視差算出
領域ごとの色差信号に基づいて各視差算出領域毎に彩度
を求め、得られた各視差算出領域毎の彩度に基づいて、
各視差算出領域ごとの第２輝度値を第３輝度値に補正す
るステップ、および第３輝度値を用い、第２輝度値が光
源との距離の二乗に反比例することを利用して、奥行き
推定値を算出し、得られた奥行き推定値に基づいて最終
的な奥行き推定値を求めるステップを備えているものが
用いられる。
【００１０】
【発明の実施の形態】以下、図面を参照して、この発明
の実施の形態について説明する。
の実施の形態について説明する。
【００１１】内視鏡システムでは、内視鏡先端に設けら
れた単一光源から出力されかつ内臓によって反射された
光が、内視鏡先端に設けられた受光部によって受光さ
れ、受光部で受光された光が光ファイバを介して内視鏡
用カメラに送られることにより、内臓の画像が内視鏡用
カメラによって撮像される。
れた単一光源から出力されかつ内臓によって反射された
光が、内視鏡先端に設けられた受光部によって受光さ
れ、受光部で受光された光が光ファイバを介して内視鏡
用カメラに送られることにより、内臓の画像が内視鏡用
カメラによって撮像される。
【００１２】このような単一光源を利用して撮像される
内視鏡の映像は、輝度によってある程度の奥行き量を推
定することが可能となる。
内視鏡の映像は、輝度によってある程度の奥行き量を推
定することが可能となる。
【００１３】以下、輝度情報から奥行き情報を求める方
法について説明する。
法について説明する。
【００１４】〔１〕 基本原理についての説明
【００１５】点光源から距離ｒにある一定面積Ａの受け
る放射の量Ｅは、距離の二乗の逆数に比例（Ｅ∝１／ｒ
2 ）する。また、輝度成分Ｙは、Ｅに比例（Ｙ∝Ｅ）す
る。したがって、点光源から物体までの距離ｒと輝度成
分Ｙとの関係は次式１で表される。
る放射の量Ｅは、距離の二乗の逆数に比例（Ｅ∝１／ｒ
2 ）する。また、輝度成分Ｙは、Ｅに比例（Ｙ∝Ｅ）す
る。したがって、点光源から物体までの距離ｒと輝度成
分Ｙとの関係は次式１で表される。
【００１６】
【数１】
【００１７】したがって、次式２が成り立つ。
【００１８】
【数２】
【００１９】図１は、距離ｒと輝度成分Ｙとの関係を表
したグラフである。
したグラフである。
【００２０】次に、距離ｒと奥行き推定値Ｄの関係を考
える。
える。
【００２１】内視鏡システムでは、点光源とカメラの位
置はほぼ同一（以下、便宜上、同じ座標に位置する）と
考えると、奥行き推定値Ｄは、物体がカメラに近い程
（距離ｒが小さい程）大きい値をとり、物体がカメラに
遠い程（距離ｒが大きい程）小さい値をとる。
置はほぼ同一（以下、便宜上、同じ座標に位置する）と
考えると、奥行き推定値Ｄは、物体がカメラに近い程
（距離ｒが小さい程）大きい値をとり、物体がカメラに
遠い程（距離ｒが大きい程）小さい値をとる。
【００２２】このため、距離ｒを奥行き推定値Ｄに変換
するためには、次式３で示すように、ある値Ｘから距離
ｒを差し引く必要がある。
するためには、次式３で示すように、ある値Ｘから距離
ｒを差し引く必要がある。
【００２３】
【数３】
【００２４】Ｙが８ビットで表され、０〜２５５の値を
取るとし、ｒ＝２５５／sqrt（Ｙ）とすると、Ｙ＝０で
ｒ＝−∞となり、Ｙ＝２５５でｒ＝１６となる。
取るとし、ｒ＝２５５／sqrt（Ｙ）とすると、Ｙ＝０で
ｒ＝−∞となり、Ｙ＝２５５でｒ＝１６となる。
【００２５】そこで、Ｄが２５５以内に収まるように、
Ｘ＝２７１とし、かつＤの最小値が０となるように、Ｄ
を定義すると、次式４に示すようになる。
Ｘ＝２７１とし、かつＤの最小値が０となるように、Ｄ
を定義すると、次式４に示すようになる。
【００２６】
【数４】
【００２７】図２は、式４で定義されるＤとＹとの関係
を示すグラフである。
を示すグラフである。
【００２８】〔２〕 逆γ補正による補正についての説
明
明
【００２９】一般的に、カメラからの映像出力には、撮
像素子や表示装置、人間の眼の特性等を考慮し、次式５
で示すγ補正がかけられている。
像素子や表示装置、人間の眼の特性等を考慮し、次式５
で示すγ補正がかけられている。
【００３０】
【数５】
【００３１】式５において、ｋは定数、Ｐは明るさ（光
のパワー）、Ｖは映像信号のレベルをそれぞれ表してい
る。
のパワー）、Ｖは映像信号のレベルをそれぞれ表してい
る。
【００３２】例えば、γ＝０．４５、ｋ＝２５５／（２
５５のγ乗）＝２１．０６６７３、映像信号のレベルＶ
＝輝度Ｙとすると、式５は次式６で表され、γ特性は図
３に示すようになる。
５５のγ乗）＝２１．０６６７３、映像信号のレベルＶ
＝輝度Ｙとすると、式５は次式６で表され、γ特性は図
３に示すようになる。
【００３３】
【数６】
【００３４】内視鏡システムで得られる輝度Ｙを用いた
奥行き推定では、物体からの反射光の明るさに応じた物
体までの距離を推定する必要があるため、正確な明るさ
を用いる必要がある。
奥行き推定では、物体からの反射光の明るさに応じた物
体までの距離を推定する必要があるため、正確な明るさ
を用いる必要がある。
【００３５】このため、カメラから得られた映像信号の
輝度成分Ｙに対し、次式７で示す逆γ補正をかける必要
がある。
輝度成分Ｙに対し、次式７で示す逆γ補正をかける必要
がある。
【００３６】
【数７】
【００３７】図４は、γ＝０．４５である場合の逆γ特
性のグラフを示している。
性のグラフを示している。
【００３８】上記式４における輝度Ｙは放射の量Ｅを置
き換えたことを考慮し、上記式４の輝度Ｙが上記式７に
おける光の強さＰと等価であると考え、式４に式７を代
入すると、次式８に示すように、上記式４の奥行き推定
値Ｄが逆γ補正により補正された奥行き推定値Ｄ’が求
められる。
き換えたことを考慮し、上記式４の輝度Ｙが上記式７に
おける光の強さＰと等価であると考え、式４に式７を代
入すると、次式８に示すように、上記式４の奥行き推定
値Ｄが逆γ補正により補正された奥行き推定値Ｄ’が求
められる。
【００３９】
【数８】
【００４０】上記式８では、γ＝０．４５である場合、
Ｙ＝１〜Ｙ＝１０の範囲でＤ’の値が負の値を取るた
め、Ｄ’の最小値が０という制約を満たすことができな
い。
Ｙ＝１〜Ｙ＝１０の範囲でＤ’の値が負の値を取るた
め、Ｄ’の最小値が０という制約を満たすことができな
い。
【００４１】そこで、Ｄ’の値が負の値を取るＹに対し
ては、Ｄ’を０となるように、数式８を補正する。例え
ば、γ＝０．４５である場合には、Ｄ’は、次式９に示
すようになる。
ては、Ｄ’を０となるように、数式８を補正する。例え
ば、γ＝０．４５である場合には、Ｄ’は、次式９に示
すようになる。
【００４２】
【数９】
【００４３】なお、通常の映像では、Ｙが１１以下にな
ることは殆どないので、Ｄ’の値が負の値を取るＹに対
して、Ｄ’を０とするように補正を行なっても悪影響は
少ないと考えられる。
ることは殆どないので、Ｄ’の値が負の値を取るＹに対
して、Ｄ’を０とするように補正を行なっても悪影響は
少ないと考えられる。
【００４４】図５は、上記式９で示されるＤ’とＹとの
関係を示すグラフである。
関係を示すグラフである。
【００４５】〔３〕 メチレンブルー補正についての説
明
明
【００４６】内視鏡システムで内臓を撮像する場合に
は、撮像部分にメチレンブルーを塗布することが行なわ
れている。物質には、その物質特有の光の吸収特性があ
る。ある物体の表面に塗料を塗布すると、その物体の光
の吸収特性は変化する。これは、人間の体細胞に関して
も言え、例えば、体細胞にメチレンブルーを塗布すると
光をよく吸収するようになる。
は、撮像部分にメチレンブルーを塗布することが行なわ
れている。物質には、その物質特有の光の吸収特性があ
る。ある物体の表面に塗料を塗布すると、その物体の光
の吸収特性は変化する。これは、人間の体細胞に関して
も言え、例えば、体細胞にメチレンブルーを塗布すると
光をよく吸収するようになる。
【００４７】内視鏡システムで得られる輝度Ｙを用いた
奥行き推定では、物体からの反射光の明るさに応じた物
体までの距離を推定する必要があるため、正確な明るさ
を用いる必要がある。
奥行き推定では、物体からの反射光の明るさに応じた物
体までの距離を推定する必要があるため、正確な明るさ
を用いる必要がある。
【００４８】このため、カメラからの映像信号におい
て、メチレンブルーの色を検出した場合には、輝度値を
上げる必要がある。
て、メチレンブルーの色を検出した場合には、輝度値を
上げる必要がある。
【００４９】具体的には、Ｂ−Ｙ成分が正でかつＲ−Ｙ
成分が負の値を検知したときに、つまり、Ｂ−Ｙ成分お
よびＲ−Ｙ成分で示される色が、図６に示すＲ−Ｙ軸お
よびＢ−Ｙ軸によって分けられた４つの色範囲のうち、
右下の色範囲に入るときには、次式１０に示すように、
上記式９に用いられる輝度Ｙのレベルを補正する。
成分が負の値を検知したときに、つまり、Ｂ−Ｙ成分お
よびＲ−Ｙ成分で示される色が、図６に示すＲ−Ｙ軸お
よびＢ−Ｙ軸によって分けられた４つの色範囲のうち、
右下の色範囲に入るときには、次式１０に示すように、
上記式９に用いられる輝度Ｙのレベルを補正する。
【００５０】
【数１０】
【００５１】ここでは、メチレンブルーの光の吸収率
は、体細胞に比べ１．２倍程度と仮定している。また、
輝度Ｙの高い所では、輝度補正値Ｙ’を８ビットに収め
るための補正式を用いている。図７は、上記式１０で示
されるＹ’とＹとの関係を表すグラフである。
は、体細胞に比べ１．２倍程度と仮定している。また、
輝度Ｙの高い所では、輝度補正値Ｙ’を８ビットに収め
るための補正式を用いている。図７は、上記式１０で示
されるＹ’とＹとの関係を表すグラフである。
【００５２】〔４〕 彩度補正による奥行き推定値の補
正方法についての説明
正方法についての説明
【００５３】一般的には、人は、彩度が高い物体や明度
が高い物体を手前に認識してしまう傾向がある。
が高い物体を手前に認識してしまう傾向がある。
【００５４】輝度を用いた奥行き推定では、この傾向を
緩和するため、彩度の低いところでは、輝度レベルを本
来の値より大きい値に補正する彩度補正を行なう。
緩和するため、彩度の低いところでは、輝度レベルを本
来の値より大きい値に補正する彩度補正を行なう。
【００５５】彩度Ｓを次式１１に示すように定義する。
【００５６】
【数１１】
【００５７】ここで、Ｂ−Ｙ、Ｒ−Ｙはそれぞれ色差信
号Ｂ−Ｙ、Ｒ−Ｙのレベルを表している。
号Ｂ−Ｙ、Ｒ−Ｙのレベルを表している。
【００５８】実際の演算では、２乗の計算は、ＣＰＵパ
ワーを消費するために、次式１２によって彩度Ｓを求め
る。
ワーを消費するために、次式１２によって彩度Ｓを求め
る。
【００５９】
【数１２】
【００６０】そして、彩度補正により補正される輝度
Ｙ”を次式１３によって求める。
Ｙ”を次式１３によって求める。
【００６１】
【数１３】
【００６２】図８は、式１３で示されるＹ”とＹとの関
係を表すグラフである。図８においてＳ１は彩度＝０の
時の特性を、Ｓ２は彩度＝１２８のときの特性を示して
いる。
係を表すグラフである。図８においてＳ１は彩度＝０の
時の特性を、Ｓ２は彩度＝１２８のときの特性を示して
いる。
【００６３】実際には、数式１３の右辺のＹとして、エ
チレンブルー補正された輝度Ｙ’が用いられるので、次
式１４により彩度補正後の輝度値Ｙ''' を求める。
チレンブルー補正された輝度Ｙ’が用いられるので、次
式１４により彩度補正後の輝度値Ｙ''' を求める。
【００６４】
【数１４】
【００６５】したがって、メチレンブルー補正および彩
度補正後の奥行き推定値Ｄ”は、上記式９の輝度値Ｙ
に、メチレンブルー補正および彩度補正後の輝度値
Ｙ''' を用いることにより、次式１５により求められ
る。
度補正後の奥行き推定値Ｄ”は、上記式９の輝度値Ｙ
に、メチレンブルー補正および彩度補正後の輝度値
Ｙ''' を用いることにより、次式１５により求められ
る。
【００６６】
【数１５】
【００６７】以上のようにして、予め定められた複数の
視差算出領域毎に奥行き推定値Ｄ”を得る。視差算出領
域毎に奥行き推定値Ｄ”が得られると、得られた視差算
出領域毎に奥行き推定値Ｄ”を隣接領域との間で平滑化
することにより、視差算出領域毎に奥行き推定値Ｄ'''
を得る。そして、従来のＣＩＤ法によって求めた奥行き
推定値ｄｅｐｔｈ（特開平１１−９８５３０号公報の図
１２のステップ８で得られる平滑処理後の奥行き推定値
ｄｅｐｔｈ）と、上記のようにして得られた視差算出領
域毎に奥行き推定値Ｄ''' とを所定の割合で加算するこ
とによって最終的な奥行き推定値ｄｅｐｔｈ’を得る。
つまり、最終的な奥行き推定値ｄｅｐｔｈ’は、次式１
６により求められる。
視差算出領域毎に奥行き推定値Ｄ”を得る。視差算出領
域毎に奥行き推定値Ｄ”が得られると、得られた視差算
出領域毎に奥行き推定値Ｄ”を隣接領域との間で平滑化
することにより、視差算出領域毎に奥行き推定値Ｄ'''
を得る。そして、従来のＣＩＤ法によって求めた奥行き
推定値ｄｅｐｔｈ（特開平１１−９８５３０号公報の図
１２のステップ８で得られる平滑処理後の奥行き推定値
ｄｅｐｔｈ）と、上記のようにして得られた視差算出領
域毎に奥行き推定値Ｄ''' とを所定の割合で加算するこ
とによって最終的な奥行き推定値ｄｅｐｔｈ’を得る。
つまり、最終的な奥行き推定値ｄｅｐｔｈ’は、次式１
６により求められる。
【００６８】
【数１６】
【００６９】式１６において、αは、Ｄ''' とｄｅｐｔ
ｈとの加算比率を決める定数である。
ｈとの加算比率を決める定数である。
【００７０】このようにして求めた、最終的な奥行き推
定値ｄｅｐｔｈ’は、従来のＣＩＤ法と同様に、歪み抑
圧処理（特開平１１−９８５３０号公報の図３７参照）
を経て、視差量に変換される。
定値ｄｅｐｔｈ’は、従来のＣＩＤ法と同様に、歪み抑
圧処理（特開平１１−９８５３０号公報の図３７参照）
を経て、視差量に変換される。
【００７１】このように、この実施の形態によって得ら
れた、輝度をベースにした奥行き推定値Ｄ''' に、従来
のＣＩＤ法によって求めた奥行き推定値ｄｅｐｔｈを加
算することによって、黒っぽく塗装された手術器具（レ
ーザメス等）も患部より浮き出るような映像を得ること
が可能となる。
れた、輝度をベースにした奥行き推定値Ｄ''' に、従来
のＣＩＤ法によって求めた奥行き推定値ｄｅｐｔｈを加
算することによって、黒っぽく塗装された手術器具（レ
ーザメス等）も患部より浮き出るような映像を得ること
が可能となる。
【００７２】なお、奥行き推定値Ｄ''' を視差算出領域
毎の最終的な奥行き推定値としてもよい。
毎の最終的な奥行き推定値としてもよい。
【００７３】
【発明の効果】この発明によれば、内視鏡システムによ
って得られた２次元映像を３次元映像に変換する方法で
あって、奥行き再現性の高い２次元映像を３次元映像に
変換する方法が得られる。
って得られた２次元映像を３次元映像に変換する方法で
あって、奥行き再現性の高い２次元映像を３次元映像に
変換する方法が得られる。
【図１】距離ｒと輝度成分Ｙとの関係を表したグラフで
ある。
ある。
【図２】式４で定義されるＤとＹとの関係を示すグラフ
である。
である。
【図３】γ特性の一例を示すグラフである。
【図４】逆γ特性の一例を示すグラフである。
【図５】式９で示されるＤ’とＹとの関係を示すグラフ
である。
である。
【図６】メチレンブルー補正を説明するための模式図で
ある。
ある。
【図７】式１０で示されるＹ’とＹとの関係を表すグラ
フである。
フである。
【図８】式１３で示されるＹ”とＹとの関係を表すグラ
フである。
フである。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 村田 治彦 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内 (72)発明者 森 孝幸 大阪府大東市三洋町１番１号 三洋電子部 品株式会社内 Ｆターム(参考） 5C061 AA29 AB12 AB24
Claims (4)
- 【請求項１】 ２次元映像信号に基づいて、１画面内に
設定された複数の視差算出領域それぞれに対して映像の
遠近に関する画像特徴量を抽出し、抽出した画像特徴量
に基づいて、各視差算出領域ごとの奥行き推定値を生成
する第１ステップ、各奥行き推定値を視差量に変換する
第２ステップ、各視差算出領域ごとの視差量に基づい
て、１画面内の所定単位領域ごとの視差量を求める第３
ステップおよび２次元映像信号の各所定単位領域内の信
号から、その所定単位領域に対応する視差量に応じた水
平方向の位相差を有する第１映像信号と第２映像信号と
を生成する第４ステップを備えた２次元映像を３次元映
像に変換する方法において、 ２次元映像信号が内視鏡システムによって得られた映像
信号であり、 第１ステップは、 ２次元映像信号内の輝度値が物体と光源との距離の二乗
に反比例することを利用して、２次元映像信号内の輝度
値から、各視差算出領域ごとの奥行き推定値を生成し、
得られた奥行き推定値に基づいて最終的な奥行き推定値
を求めることを特徴とする２次元映像を３次元映像に変
換する方法。 - 【請求項２】 第１ステップは、 各視差算出領域ごとの輝度値を逆γ補正することによっ
て、各視差算出領域ごとの輝度値を第１の輝度値に補正
するステップ、および第１輝度値を用い、第１輝度値が
光源との距離の二乗に反比例することを利用して、奥行
き推定値を算出し、得られた奥行き推定値に基づいて最
終的な奥行き推定値を求めるステップ、 を備えていることを特徴する請求項１に記載の２次元映
像を３次元映像に変換する方法。 - 【請求項３】 第１ステップは、 各視差算出領域ごとの輝度値を逆γ補正することによっ
て、各視差算出領域ごとの輝度値を第１の輝度値に補正
するステップ、 各視差算出領域ごとの色差信号に基づいて各視差算出領
域毎にメチレンブルーが検出されたか否かを判定し、そ
の判定結果に応じて各視差算出領域ごとの第１の輝度値
を第２輝度値に補正するステップ、および第２輝度値を
用い、第２輝度値が光源との距離の二乗に反比例するこ
とを利用して、奥行き推定値を算出し、得られた奥行き
推定値に基づいて最終的な奥行き推定値を求めるステッ
プ、 を備えていることを特徴する請求項１に記載の２次元映
像を３次元映像に変換する方法。 - 【請求項４】 第１ステップは、 各視差算出領域ごとの輝度値を逆γ補正することによっ
て、各視差算出領域ごとの輝度値を第１の輝度値に補正
するステップ、 各視差算出領域ごとの色差信号に基づいて各視差算出領
域毎にメチレンブルーが検出されたか否かを判定し、そ
の判定結果に応じて各視差算出領域ごとの第１の輝度値
を第２輝度値に補正するステップ、 各視差算出領域ごとの色差信号に基づいて各視差算出領
域毎に彩度を求め、得られた各視差算出領域毎の彩度に
基づいて、各視差算出領域ごとの第２輝度値を第３輝度
値に補正するステップ、および第３輝度値を用い、第２
輝度値が光源との距離の二乗に反比例することを利用し
て、奥行き推定値を算出し、得られた奥行き推定値に基
づいて最終的な奥行き推定値を求めるステップ、 を備えていることを特徴する請求項１に記載の２次元映
像を３次元映像に変換する方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27336599A JP2001103513A (ja) | 1999-09-27 | 1999-09-27 | ２次元映像を３次元映像に変換する方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27336599A JP2001103513A (ja) | 1999-09-27 | 1999-09-27 | ２次元映像を３次元映像に変換する方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001103513A true JP2001103513A (ja) | 2001-04-13 |
Family
ID=17526896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27336599A Pending JP2001103513A (ja) | 1999-09-27 | 1999-09-27 | ２次元映像を３次元映像に変換する方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001103513A (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010092283A (ja) * | 2008-10-08 | 2010-04-22 | Chiba Univ | 立体画像作成装置及び方法並びに内視鏡検査システム |
| CN101815225A (zh) * | 2009-02-25 | 2010-08-25 | 三星电子株式会社 | 生成深度图的方法及其设备 |
| JP2011004396A (ja) * | 2009-06-16 | 2011-01-06 | Samsung Electronics Co Ltd | ２次元映像の３次元映像への変換装置および方法 |
| JP2012029168A (ja) * | 2010-07-26 | 2012-02-09 | Toshiba Corp | 視差画像生成方法及び装置 |
| JP2012212984A (ja) * | 2011-03-30 | 2012-11-01 | Nec Personal Computers Ltd | 画像処理装置および画像処理方法 |
| WO2012172853A1 (ja) * | 2011-06-13 | 2012-12-20 | シャープ株式会社 | 立体画像生成装置、立体画像生成方法、プログラム、および記録媒体 |
| WO2013023325A1 (zh) * | 2011-08-18 | 2013-02-21 | 北京世纪高蓝科技有限公司 | 基于图像运动信息的2d转3d方法 |
| KR101319068B1 (ko) | 2006-06-30 | 2013-10-17 | 엘지디스플레이 주식회사 | 액정 표시 장치 |
| WO2013175899A1 (ja) * | 2012-05-24 | 2013-11-28 | オリンパス株式会社 | 立体視内視鏡装置 |
| JP2015170322A (ja) * | 2014-03-10 | 2015-09-28 | 富士通株式会社 | 画像処理装置、生体認証装置、画像処理方法及びプログラム |
| US9213884B2 (en) | 2013-04-15 | 2015-12-15 | Sony Corporation | Image processing apparatus, image processing method, and program |
-
1999
- 1999-09-27 JP JP27336599A patent/JP2001103513A/ja active Pending
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101319068B1 (ko) | 2006-06-30 | 2013-10-17 | 엘지디스플레이 주식회사 | 액정 표시 장치 |
| JP2010092283A (ja) * | 2008-10-08 | 2010-04-22 | Chiba Univ | 立体画像作成装置及び方法並びに内視鏡検査システム |
| CN101815225A (zh) * | 2009-02-25 | 2010-08-25 | 三星电子株式会社 | 生成深度图的方法及其设备 |
| JP2011004396A (ja) * | 2009-06-16 | 2011-01-06 | Samsung Electronics Co Ltd | ２次元映像の３次元映像への変換装置および方法 |
| JP2015073292A (ja) * | 2009-06-16 | 2015-04-16 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | ２次元映像の３次元映像への変換装置および方法 |
| JP2012029168A (ja) * | 2010-07-26 | 2012-02-09 | Toshiba Corp | 視差画像生成方法及び装置 |
| JP2012212984A (ja) * | 2011-03-30 | 2012-11-01 | Nec Personal Computers Ltd | 画像処理装置および画像処理方法 |
| WO2012172853A1 (ja) * | 2011-06-13 | 2012-12-20 | シャープ株式会社 | 立体画像生成装置、立体画像生成方法、プログラム、および記録媒体 |
| JP2013005025A (ja) * | 2011-06-13 | 2013-01-07 | Sharp Corp | 立体画像生成装置、立体画像生成方法、プログラム、および記録媒体 |
| CN103053165A (zh) * | 2011-08-18 | 2013-04-17 | 北京世纪高蓝科技有限公司 | 基于图像运动信息的2d转3d方法 |
| CN103053165B (zh) * | 2011-08-18 | 2015-02-11 | 北京世纪高蓝科技有限公司 | 基于图像运动信息的2d转3d方法 |
| WO2013023325A1 (zh) * | 2011-08-18 | 2013-02-21 | 北京世纪高蓝科技有限公司 | 基于图像运动信息的2d转3d方法 |
| WO2013175899A1 (ja) * | 2012-05-24 | 2013-11-28 | オリンパス株式会社 | 立体視内視鏡装置 |
| JP2013244104A (ja) * | 2012-05-24 | 2013-12-09 | Olympus Corp | 立体視内視鏡装置 |
| US9213884B2 (en) | 2013-04-15 | 2015-12-15 | Sony Corporation | Image processing apparatus, image processing method, and program |
| US9569691B2 (en) | 2013-04-15 | 2017-02-14 | Sony Corporation | Image processing apparatus, image processing method, and program |
| US10430944B2 (en) | 2013-04-15 | 2019-10-01 | Sony Corporation | Image processing apparatus, image processing method, and program |
| JP2015170322A (ja) * | 2014-03-10 | 2015-09-28 | 富士通株式会社 | 画像処理装置、生体認証装置、画像処理方法及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10997696B2 (en) | Image processing method, apparatus and device | |
| JP5108093B2 (ja) | 撮像装置及び撮像方法 | |
| US8786679B2 (en) | Imaging device, 3D modeling data creation method, and computer-readable recording medium storing programs | |
| JP4791595B2 (ja) | 画像撮影装置、画像撮影方法および画像撮影プログラム | |
| WO2015184978A1 (zh) | 摄像机控制方法、装置及摄像机 | |
| CN109255810B (zh) | 图像处理装置及图像处理方法 | |
| JP6381404B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
| US10205928B2 (en) | Image processing apparatus that estimates distance information, method of controlling the same, and storage medium | |
| JP3945430B2 (ja) | 画像による対象物の計測方法および撮像装置 | |
| JP2001103513A (ja) | ２次元映像を３次元映像に変換する方法 | |
| CN112243091B (zh) | 三维内窥镜系统、控制方法和存储介质 | |
| JP7378219B2 (ja) | 撮像装置、画像処理装置、制御方法、及びプログラム | |
| US20220082370A1 (en) | Electronic apparatus, control method thereof and computer readable storage medium | |
| JP2021044710A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP3938122B2 (ja) | 擬似３次元画像生成装置および生成方法並びにそのためのプログラムおよび記録媒体 | |
| JP7334516B2 (ja) | 三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム | |
| JP2019179463A (ja) | 画像処理装置、その制御方法、プログラム、記録媒体 | |
| JP7311995B2 (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
| JP7321772B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| KR20190074585A (ko) | 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램 | |
| JP2019149719A (ja) | 画像処理装置及び方法、及び撮像装置 | |
| US11790600B2 (en) | Image processing device, imaging apparatus, image processing method, and recording medium | |
| US20230292004A1 (en) | Image processing apparatus, measurement method, and storage medium for measuring distance from image | |
| JP2021107983A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2023001950A (ja) | 情報処理装置、撮像装置、画像処理方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040507 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060215 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060614 |