JP2007260138A - 単一のビデオカメラの映像からの静止画立体表示方法 - Google Patents
単一のビデオカメラの映像からの静止画立体表示方法 Download PDFInfo
- Publication number
- JP2007260138A JP2007260138A JP2006089046A JP2006089046A JP2007260138A JP 2007260138 A JP2007260138 A JP 2007260138A JP 2006089046 A JP2006089046 A JP 2006089046A JP 2006089046 A JP2006089046 A JP 2006089046A JP 2007260138 A JP2007260138 A JP 2007260138A
- Authority
- JP
- Japan
- Prior art keywords
- image
- stereoscopic
- frames
- video
- video camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】単一のビデオカメラの映像からの3以上の像を抽出して静止画立体表示を可能にする単一のビデオカメラの映像からの静止画立体表示方法を提供する。
【解決手段】単一のビデオカメラの映像からの静止画立体表示方法は、ビデオカメラ9等のビデオ映像取得装置を撮像対象物11に対して相対移動可能に設け、表示装置1により前記ビデオ映像出力を表示しながら、入力手段6により、必要に応じて立体視画像形成条件の選択の入力および操作者23により立体像を表示する時点を指定し、演算手段により立体像をなす複数のフレームを選定し、条件を満たしたフレームとその間の1以上のフレームを立体表示手段3に表示するステップを含んでいる。
【選択図】図1
【解決手段】単一のビデオカメラの映像からの静止画立体表示方法は、ビデオカメラ9等のビデオ映像取得装置を撮像対象物11に対して相対移動可能に設け、表示装置1により前記ビデオ映像出力を表示しながら、入力手段6により、必要に応じて立体視画像形成条件の選択の入力および操作者23により立体像を表示する時点を指定し、演算手段により立体像をなす複数のフレームを選定し、条件を満たしたフレームとその間の1以上のフレームを立体表示手段3に表示するステップを含んでいる。
【選択図】図1
Description
本発明は、単眼ビデオ映像から、静止画として立体視するに適した3以上の画像集合を自動的に抽出し、表示する単一のビデオカメラの映像からの静止画立体表示方法に関する。
VTRやビデオカメラ等から出力されたり、TV放送により伝送された2次元画像を立体視画像に変換する方法が提案されている。特許文献1記載の発明も、その一つであり、動きベクトルという概念を用いて、視線方向との関連を付けている。
特許文献2は、ビデオ映像から左右2枚の両眼立体視に適する画像を抽出し、立体表示する方法を提案している。
非特許文献1は、前記動きベクトルと同じ概念の(オプティカルフロー)についての詳細な説明をしている。
特開平7−274209号公報
国際公開第2005/091649号公報
太田 直哉 信頼性指標をもつ移動ベクトルの検出 コンピュータビジョン’90 情報処理学会シンポジウム論文集,Vol.90,No.2,pp.21−30,1990
特許文献2は、ビデオ映像から左右2枚の両眼立体視に適する画像を抽出し、立体表示する方法を提案している。
非特許文献1は、前記動きベクトルと同じ概念の(オプティカルフロー)についての詳細な説明をしている。
本発明は、一般のビデオ映像に適用可能であるが、例として、上部消化管(胃、食道等)、下部消化管(直腸、大腸等)の内視鏡検査に用いられる軟性内視鏡に応用する例を述べる。上部消化管および下部消化管の内視鏡検査に用いられる軟性内視鏡は、従来単眼、すなわち1つの内視鏡カメラを用いて実現されている。2つのカメラを組み込んで立体視すれば、単眼内視鏡では医師が経験的に判断している管壁の凹凸を、直接立体視することができるはずである。そこで、従来から双眼立体視内視鏡の開発が何度も試みられてきた。しかし、狭い(直径10mm程度以下)内視鏡先端に2つのレンズを組み込むことによる明るさと解像度の低下、立体視表示に特殊な装置を用い特殊な眼鏡の着用を要するシステムが多いこと、立体視をする医師の疲労などの理由により、実用に供されているものはまだない。
単眼軟性内視鏡のビデオ映像を立体視可能にするシステムと称するもの(橋本大定氏の提案)もあるが、擬似的な立体視に留まっている。
単眼軟性内視鏡のビデオ映像を立体視可能にするシステムと称するもの(橋本大定氏の提案)もあるが、擬似的な立体視に留まっている。
特許文献3記載の発明は、内視鏡システムおよび内視鏡画像の奥行き情報検出用制御プログラムを記録した記録媒体に関するものである。
運動視差の原理を用い、内視鏡自身に取り付けられた位置・方向センサにより得られる内視鏡の動きとこれに伴って変化する内視鏡像の対応位置の変化から、運動視差に相当する情報を演算処理により得ることにより、単眼でも奥行きの情報を得られるようにした内視鏡システムを提案している。
特開2000−210248号公報
運動視差の原理を用い、内視鏡自身に取り付けられた位置・方向センサにより得られる内視鏡の動きとこれに伴って変化する内視鏡像の対応位置の変化から、運動視差に相当する情報を演算処理により得ることにより、単眼でも奥行きの情報を得られるようにした内視鏡システムを提案している。
特許文献3記載の発明は内視鏡の実施例として、単眼硬性内視鏡を示しているが、このような内視鏡は人の胃壁の診断等には適さない。本件発明者等による前述した特許文献2による単眼軟性内視鏡カメラのビデオ映像による立体表示方法は特許文献3の問題を解決したものであるが、これに対して単一の視点ではなく視点を変えて立体像がえられないかという要請がある。また内視鏡映像の立体視以外にも静止画立体像の再現をしたいという要請もある。
本発明は、3枚以上の画像を用いる立体表示システムへも適用可能となるように拡張した方法を提供するものである。
本発明の主たる目的は単一のビデオカメラの映像からの3以上の画像を抽出して静止画立体表示を可能にする単一のビデオカメラの映像からの静止画立体表示方法を提供することにある。
さらに、本発明の目的は、当然に体内腔の診断装置に適用できる上部消化管(胃、食道等)下部消化管(直腸、大腸等)の内視鏡検査に用いられる軟性内視鏡カメラを用いて、立体視診断を可能にする装置の利用方法である単一のビデオカメラの映像からの静止画立体表示方法を提供することにある。
本発明のさらに詳細な目的は、前記診断をリアルタイムでしかも十分な診断を可能にする良質な立体像を提供することができる単一のビデオカメラの映像からの静止画立体表示方法を提供することにある。
本発明は、3枚以上の画像を用いる立体表示システムへも適用可能となるように拡張した方法を提供するものである。
本発明の主たる目的は単一のビデオカメラの映像からの3以上の画像を抽出して静止画立体表示を可能にする単一のビデオカメラの映像からの静止画立体表示方法を提供することにある。
さらに、本発明の目的は、当然に体内腔の診断装置に適用できる上部消化管(胃、食道等)下部消化管(直腸、大腸等)の内視鏡検査に用いられる軟性内視鏡カメラを用いて、立体視診断を可能にする装置の利用方法である単一のビデオカメラの映像からの静止画立体表示方法を提供することにある。
本発明のさらに詳細な目的は、前記診断をリアルタイムでしかも十分な診断を可能にする良質な立体像を提供することができる単一のビデオカメラの映像からの静止画立体表示方法を提供することにある。
前記目的を達成するために、本発明による請求項1記載の単一のビデオカメラの映像からの静止画立体表示方法は、
単一のビデオカメラの映像からの静止画立体表示方法は、
撮像対象に対して相対移動可能に設けられたビデオ映像取得装置と、
前記ビデオ映像出力を表示する表示装置と、
1以上の立体視画像形成条件を記憶する動作メモリと、
前記映像出力を経時間的に記憶するフレームメモリと、
必要に応じて前記立体視画像形成条件の選択の入力および操作者により立体像を表示する時点を指定する入力手段と、
前記入力手段により指定された時点の前後において、立体像をなす複数のフレームを選定する演算手段と、
前記フレームに基づく立体像を表示する立体表示手段と、および
前記各構成にシステムバスを介して接続され制御を行なうCPUとによりシステムを構成し、
前記演算手段は
(a) 選択された立体視画像形成条件による命令およびフレームの探索範囲を定める定数N,K,Lを用意するステップと、
(b) 立体表示する複数のフレームからなる集合の探索範囲を設定するステップと、
(c) 2つのフレーム間の移動ベクトルの算出ステップと、
(d) 立体視画像形成条件を満たしているかの判断をする判断ステップと、
(e) 前記判断ステップで条件を満たしているときは移動方向が水平になるように両フレームを回転して、条件を満たしたフレームとその間の1以上のフレームを前記立体表示手段に表示するステップと、
(f) 前記(d) の条件を満たさなかった場合または前記(e) での表示が不満足である場合は、前記フレームの集合とは異なるフレームの集合について前記(c) 〜(e) のステップを実行するように構成されている。
本発明による請求項2記載の単一のビデオカメラの映像からの静止画立体表示方法は、請求項1記載の方法において、
前記選択された立体視画像形成条件は、前記移動ベクトルの方向の平均値である平均移動ベクトルを求め、その方向から、予め定めた限界内の移動ベクトルの割合が予め定められた割合を越えることを条件とするものである。
本発明による請求項3記載の単一のビデオカメラの映像からの静止画立体表示方法は、請求項1記載の方法において、
前記選択された立体視画像形成条件は、画像の中心を通る水平線および垂直線によって画像を4分割し、各部分画像中の平均移動ベクトルを求め、これらの平均移動ベクトルと、画像全体の中心と部分画像の中心とを結ぶ直線とのなす4つの角の平均値が予め定められた角度以上であることを条件とするものである。
本発明による請求項4記載の単一のビデオカメラの映像からの静止画立体表示方法は、請求項1記載の方法において、
前記ビデオ映像取得装置は、体内腔で先端が移動させられる内視鏡カメラである。
単一のビデオカメラの映像からの静止画立体表示方法は、
撮像対象に対して相対移動可能に設けられたビデオ映像取得装置と、
前記ビデオ映像出力を表示する表示装置と、
1以上の立体視画像形成条件を記憶する動作メモリと、
前記映像出力を経時間的に記憶するフレームメモリと、
必要に応じて前記立体視画像形成条件の選択の入力および操作者により立体像を表示する時点を指定する入力手段と、
前記入力手段により指定された時点の前後において、立体像をなす複数のフレームを選定する演算手段と、
前記フレームに基づく立体像を表示する立体表示手段と、および
前記各構成にシステムバスを介して接続され制御を行なうCPUとによりシステムを構成し、
前記演算手段は
(a) 選択された立体視画像形成条件による命令およびフレームの探索範囲を定める定数N,K,Lを用意するステップと、
(b) 立体表示する複数のフレームからなる集合の探索範囲を設定するステップと、
(c) 2つのフレーム間の移動ベクトルの算出ステップと、
(d) 立体視画像形成条件を満たしているかの判断をする判断ステップと、
(e) 前記判断ステップで条件を満たしているときは移動方向が水平になるように両フレームを回転して、条件を満たしたフレームとその間の1以上のフレームを前記立体表示手段に表示するステップと、
(f) 前記(d) の条件を満たさなかった場合または前記(e) での表示が不満足である場合は、前記フレームの集合とは異なるフレームの集合について前記(c) 〜(e) のステップを実行するように構成されている。
本発明による請求項2記載の単一のビデオカメラの映像からの静止画立体表示方法は、請求項1記載の方法において、
前記選択された立体視画像形成条件は、前記移動ベクトルの方向の平均値である平均移動ベクトルを求め、その方向から、予め定めた限界内の移動ベクトルの割合が予め定められた割合を越えることを条件とするものである。
本発明による請求項3記載の単一のビデオカメラの映像からの静止画立体表示方法は、請求項1記載の方法において、
前記選択された立体視画像形成条件は、画像の中心を通る水平線および垂直線によって画像を4分割し、各部分画像中の平均移動ベクトルを求め、これらの平均移動ベクトルと、画像全体の中心と部分画像の中心とを結ぶ直線とのなす4つの角の平均値が予め定められた角度以上であることを条件とするものである。
本発明による請求項4記載の単一のビデオカメラの映像からの静止画立体表示方法は、請求項1記載の方法において、
前記ビデオ映像取得装置は、体内腔で先端が移動させられる内視鏡カメラである。
前記方法によれば、通常のビデオカメラで撮影したビデオ映像から、静止画ではあるが立体表示を得ることができる。特にこれを上部消化管(胃、食道等)下部消化管(直腸、大腸等)の内視鏡検査に用いられる軟性内視鏡カメラに用いれば、立体視診断が可能となる。
また前記診断をリアルタイムでしかも十分な診断を可能にする良質な立体像を提供することができる。オプティカルフローにより、フレームを選択するのであり、軟性内視鏡カメラ(一般にはビデオカメラ)の方向や位置を他の手段で特定する必要はない。
特許文献2における、左眼用と右眼用の2枚の画像を用いてステレオ視する方法では、ステレオ視する視点が特定の位置に限られる。本発明で提案している方法では、複数の画像を用いるために立体視できる視点の範囲が広がることと、その範囲で視点を動かすことにより運動視差の効果も得られてより立体感が増すという効果が得られる。
また前記診断をリアルタイムでしかも十分な診断を可能にする良質な立体像を提供することができる。オプティカルフローにより、フレームを選択するのであり、軟性内視鏡カメラ(一般にはビデオカメラ)の方向や位置を他の手段で特定する必要はない。
特許文献2における、左眼用と右眼用の2枚の画像を用いてステレオ視する方法では、ステレオ視する視点が特定の位置に限られる。本発明で提案している方法では、複数の画像を用いるために立体視できる視点の範囲が広がることと、その範囲で視点を動かすことにより運動視差の効果も得られてより立体感が増すという効果が得られる。
(本発明によるフレーム対選択の原理)図1は、本発明による方法を実施するための装置の実施例を示すブロック図である。本発明による方法は、単一のビデオカメラ9から得られるビデオ映像をビデオ表示装置1で見ながら、操作者が立体表示を得たい画像の時点(これをフレームTとする)を入力手段6によって指示する。これにより、システムはこのフレームの前後で数フレーム離れた2つのフレーム(フレームtとフレームs)間で、画像内容の移動方向(つまり、カメラの移動方向の逆方向)の推定を行う。
移動方向の推定には、既存の任意の推定方法を利用できるが本願では、オプティカルフローとして知られている画像の局所相互相関を用いる。ビデオカメラ9の移動方向の前進/後退成分および回転成分が小さく、従ってカメラの光軸にほぼ垂直な併進運動とみなされる(これを立体視画像形成条件と呼ぶ)フレーム対の集合のみを処理対象として取り出す。
移動方向の推定には、既存の任意の推定方法を利用できるが本願では、オプティカルフローとして知られている画像の局所相互相関を用いる。ビデオカメラ9の移動方向の前進/後退成分および回転成分が小さく、従ってカメラの光軸にほぼ垂直な併進運動とみなされる(これを立体視画像形成条件と呼ぶ)フレーム対の集合のみを処理対象として取り出す。
併進運動の方向がほぼ水平であるフレーム集合に属する画像を立体視表示可能な表示装置に送り、立体表示する。併進運動の方向が水平に近くなく、かつ画像を回転して表示しても違和感のない場合には、その方向が水平となるようフレーム集合の画像を回転して立体視可能な表示装置に表示する。
表示する立体視表示装置の種類・原理は種々あるが、本発明による方法では、3D表示用のディスプレイ3あるいは立体印刷を用いる。
表示する立体視表示装置の種類・原理は種々あるが、本発明による方法では、3D表示用のディスプレイ3あるいは立体印刷を用いる。
本システムを一般のビデオ映像に対して利用する場合には、ビデオ映像を再生しながら事後に立体視表示を行なうのが普通であると考える。
本システムを軟性内視鏡ビデオ映像に用いる場合には、前述したフレームTは医師が内視鏡を被験者の体内で操作中に、何らかの手段で指令を発し、その前後のビデオ映像から上記の手段で立体視に適切なフレーム集合を選んでリアルタイムの立体視表示をするものである。
本システムを軟性内視鏡ビデオ映像に用いる場合には、前述したフレームTは医師が内視鏡を被験者の体内で操作中に、何らかの手段で指令を発し、その前後のビデオ映像から上記の手段で立体視に適切なフレーム集合を選んでリアルタイムの立体視表示をするものである。
(フレーム対選択のツールとしてのオプティカルフロー)立体視条件を満足するフレーム集合は、立体視画像形成条件を満たすフレーム対の集合によって構成される。フレーム対の画像選定のために用いるオプティカルフローについて説明する。図3は、本発明による方法で使用する立体視画像形成条件の算出の原理を説明するための略図である。
オプティカルフローは、前時刻の画像中の各点が、後時刻の画像においてどの点に移動したかを表すベクトル群(以下では、各ベクトルを移動ベクトルと呼ぶ)である。ビデオカメラの撮影対象は静止しているものと仮定すると、オプティカルフローはビデオカメラ自身の動きを表す。なお、そのために、
1.対象物は大まかに言って、カメラの画像面と平行であると仮定する(対象物を、斜め方向からでなく、正面から映すという仮定であり、通常成り立つと考える)。
2.計算されたオプティカルフローを各点の移動ベクトルには誤差の大きいものも含まれるが、全体的として見れば誤差の小さいものが多い。
オプティカルフローは、前時刻の画像中の各点が、後時刻の画像においてどの点に移動したかを表すベクトル群(以下では、各ベクトルを移動ベクトルと呼ぶ)である。ビデオカメラの撮影対象は静止しているものと仮定すると、オプティカルフローはビデオカメラ自身の動きを表す。なお、そのために、
1.対象物は大まかに言って、カメラの画像面と平行であると仮定する(対象物を、斜め方向からでなく、正面から映すという仮定であり、通常成り立つと考える)。
2.計算されたオプティカルフローを各点の移動ベクトルには誤差の大きいものも含まれるが、全体的として見れば誤差の小さいものが多い。
次にカメラの動きをいくつかの場合に分けて検討する。
(イ)カメラが対象物に対して前進(後退)している場合には、オプティカルフローはある点から発する(ある点に至る)放射状の移動ベクトル群となる。すなわち、これらの場合、移動ベクトルの方向は、ほぼあらゆる方向にわたる。
(ロ)カメラがその光軸を軸として回転している場合には、オプティカルフローの移動ベクトル群は光軸と画像面との交点を中心とする回転運動になる。この場合も、移動ベクトルの方向はあらゆる方向にわたる。
(ハ)カメラがその光軸と直行する軸回りに回転している場合には、以下に述べるカメラの併進運動で近似する。
(ニ)カメラが画像面に平行に併進運動している場合には、オプティカルフローの移動ベクトルはカメラの動きと逆向きの動きを示し、その方向はすべての移動ベクトルにおいて同一である。
なお、移動ベクトルの長さは、カメラから近い点では長く、遠い点では短くなる。しかし、内視鏡画像において、各点の個々のオプティカルフローが正確に求められることは期待薄のため、この情報から直接に対象物の3次元形状を得ることはできない。
(ホ)一般には、カメラの運動は以上の運動成分を合成したものになる。その中から(ニ)の平行移動成分が主で、他は無視できるようなフレームの対だけを選び出すことが目的となる。
(イ)カメラが対象物に対して前進(後退)している場合には、オプティカルフローはある点から発する(ある点に至る)放射状の移動ベクトル群となる。すなわち、これらの場合、移動ベクトルの方向は、ほぼあらゆる方向にわたる。
(ロ)カメラがその光軸を軸として回転している場合には、オプティカルフローの移動ベクトル群は光軸と画像面との交点を中心とする回転運動になる。この場合も、移動ベクトルの方向はあらゆる方向にわたる。
(ハ)カメラがその光軸と直行する軸回りに回転している場合には、以下に述べるカメラの併進運動で近似する。
(ニ)カメラが画像面に平行に併進運動している場合には、オプティカルフローの移動ベクトルはカメラの動きと逆向きの動きを示し、その方向はすべての移動ベクトルにおいて同一である。
なお、移動ベクトルの長さは、カメラから近い点では長く、遠い点では短くなる。しかし、内視鏡画像において、各点の個々のオプティカルフローが正確に求められることは期待薄のため、この情報から直接に対象物の3次元形状を得ることはできない。
(ホ)一般には、カメラの運動は以上の運動成分を合成したものになる。その中から(ニ)の平行移動成分が主で、他は無視できるようなフレームの対だけを選び出すことが目的となる。
以上の原理を背景に、カメラの運動が主として平行移動成分のみであるフレーム対を検出するには、オプティカルフローを構成する移動ベクトルの方向の一様性を何らかの方法でチェックすればよい。次の方法のいずれかまたは双方を併用する。
(方法その1)まず、移動ベクトルの方向の平均値を求め、それを画像全体の移動方向(平均移動ベクトルと呼ぶ)とする。この方向から、ある限界(例えば±10°)内の移動ベクトルが全体のある割合(例えば30%)以上あれば、平行移動成分が主であると判定する(図3の(A))。
(方法その2)画像の中心を通る水平線および垂直線によって画像を4分割し、各部分画像中の平均移動ベクトルを求める。これらの平均移動ベクトルと、画像全体の中心と部分画像の中心とを結ぶ直線とのなす4つの角の平均値がある角度(例えば75°)以上であれば、平行移動成分が主であると判定する(図3の(B))。
(方法その1)まず、移動ベクトルの方向の平均値を求め、それを画像全体の移動方向(平均移動ベクトルと呼ぶ)とする。この方向から、ある限界(例えば±10°)内の移動ベクトルが全体のある割合(例えば30%)以上あれば、平行移動成分が主であると判定する(図3の(A))。
(方法その2)画像の中心を通る水平線および垂直線によって画像を4分割し、各部分画像中の平均移動ベクトルを求める。これらの平均移動ベクトルと、画像全体の中心と部分画像の中心とを結ぶ直線とのなす4つの角の平均値がある角度(例えば75°)以上であれば、平行移動成分が主であると判定する(図3の(B))。
以下図面等を参照して本発明による方法の実施例をさらに詳しく説明する。
図1は、本発明による方法を実施するための装置の実施例を示すブロック図である。
操作者23は撮影対象物11をビデオカメラ9を用いて撮影する。この図では撮影対象物11が固定していてビデオカメラ9を移動させながら撮影する場合を想定したが、ゆっくりと移動する撮影対象物11をビデオカメラ9を固定して撮影してもよい。この撮影は3D表示を行う以前ならいつでもかまわない。
ビデオカメラ9からの映像はビデオ入力インタフェイス9aを介して2D表示装置1とフレームメモリ2に接続されている。システムバス5には前述したビデオカメラ9がビデオ入力インタフェイス9aを介して、よく知られているレンチキュラー方式等の3D表示手段3が、インタフェイス3aを介して接続されている。
CPU4、操作者23が立体視をしたい時点を指示する入力手段6、メモリ8がさらに接続されている。操作者23は、2D表示装置1に表示されている映像に関連して、立体情報を取得したいときは、その命令を入力手段6を操作して入力する。入力手段6は立体視画像形成条件の選択の入力にも用いられる。
図1は、本発明による方法を実施するための装置の実施例を示すブロック図である。
操作者23は撮影対象物11をビデオカメラ9を用いて撮影する。この図では撮影対象物11が固定していてビデオカメラ9を移動させながら撮影する場合を想定したが、ゆっくりと移動する撮影対象物11をビデオカメラ9を固定して撮影してもよい。この撮影は3D表示を行う以前ならいつでもかまわない。
ビデオカメラ9からの映像はビデオ入力インタフェイス9aを介して2D表示装置1とフレームメモリ2に接続されている。システムバス5には前述したビデオカメラ9がビデオ入力インタフェイス9aを介して、よく知られているレンチキュラー方式等の3D表示手段3が、インタフェイス3aを介して接続されている。
CPU4、操作者23が立体視をしたい時点を指示する入力手段6、メモリ8がさらに接続されている。操作者23は、2D表示装置1に表示されている映像に関連して、立体情報を取得したいときは、その命令を入力手段6を操作して入力する。入力手段6は立体視画像形成条件の選択の入力にも用いられる。
立体表示に適するフレーム集合を選定するには2つの方法がある。第1は、立体視画像形成条件を満たすフレーム対として、できるだけ時間間隔の大きい対を選び、それらを両端としてその間のフレームをすべてを選択する(フレーム数が多ければ適宜間引くことも可能である)。これは、時間軸上で両端のフレーム間の移動方向が平行併進運動であるならば、その中間でも同じ方向への運動であるだろうと仮定することになる。
第2の方法は、時間的に連続するフレーム対の間ですべて立体視画像形成条件が成立し、かつ移動方向がほぼ同じと見なせるフレームの集合を選定する方法である。
第2の方法は、時間的に連続するフレーム対の間ですべて立体視画像形成条件が成立し、かつ移動方向がほぼ同じと見なせるフレームの集合を選定する方法である。
図4は、上記の第1の方法を説明するための流れ図である。この流れ図を図1に示したシステム対応で説明する。この方法は同様に図2に示したシステムにおいても実施可能である。図2に示したシステムでは、図1の操作者23が医師13とカメラ操作手段7に対応し、ビデオカメラ9が単眼軟性内視鏡カメラ10に対応する点においてのみ異なる。なお図2において、1bはカメラインタフェイスである。
(ステップ101)
入力手段6等による操作者の指示により、前述したシステムを起動する。このときビデオカメラ9はすでにある時間移動しつつ映像を表示装置に表示し、かつフレームメモリに記録している。
(ステップ102)
NとKとLを用意する。
N:立体視のために映像から抽出するフレームの最小枚数
K:あるフレームtに対して、その相手となるフレームsを探す区間の幅(K>N)
L:基準となるフレームtを番号Tから前後に探す区間の幅
t=T−L,T−L+1,・・・,T−1,T,T+1,・・・,T+L−1,T+L
s=t+K,t+K−1,・・・,t−N+1
これらの設定値は、システムの利用目的や立体表示する映像の状況に応じて予め定めておく。また、画像を回転して表示することが許されるか否かも予め決めておく。
(ステップ103)
操作者23が2D表示装置1に表示されている映像に関連して、立体情報を取得したいときは、その命令を入力手段6を操作して入力する。これにより、探索範囲の基準となるフレームTと最初のフレームt=T−Lが決定される。
(ステップ104)
前記フレームに対応するフレームtより後のフレームsがステップ102で入力された設定に基づいて決定される。前のステップで指定されたフレームtに対してフレームs(=t+K)を選ぶ。
(ステップ105)
フレームtとフレームsの画像から移動ベクトルを算出する。
(ステップ101)
入力手段6等による操作者の指示により、前述したシステムを起動する。このときビデオカメラ9はすでにある時間移動しつつ映像を表示装置に表示し、かつフレームメモリに記録している。
(ステップ102)
NとKとLを用意する。
N:立体視のために映像から抽出するフレームの最小枚数
K:あるフレームtに対して、その相手となるフレームsを探す区間の幅(K>N)
L:基準となるフレームtを番号Tから前後に探す区間の幅
t=T−L,T−L+1,・・・,T−1,T,T+1,・・・,T+L−1,T+L
s=t+K,t+K−1,・・・,t−N+1
これらの設定値は、システムの利用目的や立体表示する映像の状況に応じて予め定めておく。また、画像を回転して表示することが許されるか否かも予め決めておく。
(ステップ103)
操作者23が2D表示装置1に表示されている映像に関連して、立体情報を取得したいときは、その命令を入力手段6を操作して入力する。これにより、探索範囲の基準となるフレームTと最初のフレームt=T−Lが決定される。
(ステップ104)
前記フレームに対応するフレームtより後のフレームsがステップ102で入力された設定に基づいて決定される。前のステップで指定されたフレームtに対してフレームs(=t+K)を選ぶ。
(ステップ105)
フレームtとフレームsの画像から移動ベクトルを算出する。
(ステップ106)
前記ステップの算出結果を判定して、ステレオ画像が形成できる対であるか否かの判定をする。
(ステップ107)
多数の移動ベクトルから平均移動方向を決定する。
(ステップ108)
フレームtとフレームsの間の全てのフレームを抽出する(フレーム数が多ければ適宜間引くことも可能である)。
(ステップ109)
平均移動方向がほぼ水平であるかを判定して、そうであればステップ112へ進み立体表示する。
(ステップ110,111)
画像の回転が許されるならば、平均移動方向が水平になるように、抽出したフレームt,s間の画像を回転する。
(ステップ112)
抽出した画像を用いて立体表示を行う。
(ステップ113)
前記表示が操作者23が満足できるものであるかを判断させる。
操作者23が満足できるものであれはステップ117で終了する。
前記ステップの算出結果を判定して、ステレオ画像が形成できる対であるか否かの判定をする。
(ステップ107)
多数の移動ベクトルから平均移動方向を決定する。
(ステップ108)
フレームtとフレームsの間の全てのフレームを抽出する(フレーム数が多ければ適宜間引くことも可能である)。
(ステップ109)
平均移動方向がほぼ水平であるかを判定して、そうであればステップ112へ進み立体表示する。
(ステップ110,111)
画像の回転が許されるならば、平均移動方向が水平になるように、抽出したフレームt,s間の画像を回転する。
(ステップ112)
抽出した画像を用いて立体表示を行う。
(ステップ113)
前記表示が操作者23が満足できるものであるかを判断させる。
操作者23が満足できるものであれはステップ117で終了する。
(ステップ114),(ステップ115)
前記106のステップで判定が成立しないとき、前記110のステップで画像の回転が許されないとき、および前記113で満足すべきもので無いとされた場合は、前記t,sに関連して他の対を選択して、ステップ103〜105を行い他の組についての演算を行なう。
(ステップ116)
予め予定する全てのt,sの組み合わせの検討を行なっても、判定が成立しないときは、その旨の表示を行なう。
(ステップ117)
終了し、操作者23の次の立体視表示の時点の指示を持つ。
前記106のステップで判定が成立しないとき、前記110のステップで画像の回転が許されないとき、および前記113で満足すべきもので無いとされた場合は、前記t,sに関連して他の対を選択して、ステップ103〜105を行い他の組についての演算を行なう。
(ステップ116)
予め予定する全てのt,sの組み合わせの検討を行なっても、判定が成立しないときは、その旨の表示を行なう。
(ステップ117)
終了し、操作者23の次の立体視表示の時点の指示を持つ。
図5は、上記の第2の方法を説明するための流れ図である。
この第2の方法も、前述のように、図2に示したシステムにおいても実施可能である。図2に示したシステムでは、図1の操作者23が医師13とカメラ操作手段7に対応し、ビデオカメラ9が単眼軟性内視鏡カメラ10に対応する点においてのみ異なる。
(ステップ201)
入力手段6等による操作者の指示により、前述したシステムを起動する。このときビデオカメラ9はすでにある時間移動しつつ映像を表示装置に表示し、かつフレームメモリに記録している。
(ステップ202)
NとKとLとΔtとΔθを用意する。
N:立体視のために映像から抽出するフレームの最小枚数
K:あるフレームtに対して、その相手となるフレームsを探す区間の幅(K>N)
L:基準となるフレームtを番号Tから前後に探す区間の幅
Δt:立体視のために映像から抽出するフレームの間隔(Δtは1〜3程度)
Δθ:移動方向の差の許容最大角度(Δθ=3°〜5°)
t=T−L,T−L+1,・・・,T−1,T,T+1,・・・,T+L−1,T+L
これらの設定値は、システムの利用目的や立体表示する映像の状況に応じて予め定めておく。また、画像を回転して表示することが許されるか否かも予め決めておく。
(ステップ203)
操作者23が2D表示装置1に表示されている映像に関連して、立体情報を取得したいときは、その命令を入力手段6を操作して入力する。これにより、探索範囲の基準となるフレームTと最初のフレームt=T−Lが決定される。
(ステップ204)
変数rの初期値をt(つまり、この時点ではフレームr=フレームt)とし、フレームrに対してフレームs(=r+Δt)を選ぶ。
(ステップ205)
フレームrとフレームsの画像から移動ベクトルを算出する。
この第2の方法も、前述のように、図2に示したシステムにおいても実施可能である。図2に示したシステムでは、図1の操作者23が医師13とカメラ操作手段7に対応し、ビデオカメラ9が単眼軟性内視鏡カメラ10に対応する点においてのみ異なる。
(ステップ201)
入力手段6等による操作者の指示により、前述したシステムを起動する。このときビデオカメラ9はすでにある時間移動しつつ映像を表示装置に表示し、かつフレームメモリに記録している。
(ステップ202)
NとKとLとΔtとΔθを用意する。
N:立体視のために映像から抽出するフレームの最小枚数
K:あるフレームtに対して、その相手となるフレームsを探す区間の幅(K>N)
L:基準となるフレームtを番号Tから前後に探す区間の幅
Δt:立体視のために映像から抽出するフレームの間隔(Δtは1〜3程度)
Δθ:移動方向の差の許容最大角度(Δθ=3°〜5°)
t=T−L,T−L+1,・・・,T−1,T,T+1,・・・,T+L−1,T+L
これらの設定値は、システムの利用目的や立体表示する映像の状況に応じて予め定めておく。また、画像を回転して表示することが許されるか否かも予め決めておく。
(ステップ203)
操作者23が2D表示装置1に表示されている映像に関連して、立体情報を取得したいときは、その命令を入力手段6を操作して入力する。これにより、探索範囲の基準となるフレームTと最初のフレームt=T−Lが決定される。
(ステップ204)
変数rの初期値をt(つまり、この時点ではフレームr=フレームt)とし、フレームrに対してフレームs(=r+Δt)を選ぶ。
(ステップ205)
フレームrとフレームsの画像から移動ベクトルを算出する。
(ステップ206)
前記ステップの算出結果を判定して、ステレオ画像が形成できる対であるか否かの判定をする。
(ステップ207)
多数の移動ベクトルから平均移動方向を決定する。
(ステップ208)
平均移動方向がほぼ水平であるかを判定して、そうであるか、または画像の回転が許されるならば、以下の処理へ進み、そうでなければステップ202で規定された新たなtの値を選び、ステップ204以降を繰り返す。
(ステップ209)
フレームrをフレームr0 とし、フレームsを新たにフレームrとし、フレームsはs=r+Δtとして、ステップ205からステップ207を繰り返し、新たに得られた(r,s)の対のrにたいして、順にr1,r2,・・・と番号を振る。
(ステップ210,211)
rN-1 まで(もしくはそれ以上)得られたら、各(r、s)間の平均移動方向がΔθ内に納まっているか否かを判定する。納まっていない場合には、ステップ202で規定された新たなtの値を選び、ステップ204以降を繰り返す。
(ステップ212,213)平均移動方向が水平でないならば、平均移動方向が水平になるように、抽出したフレームr0 ,r1 ,・・・の画像を回転する。
(ステップ214)
フレームr0 ,r1 ,・・・を用いて立体表示を行う。
(ステップ215)
前記表示が操作者23が満足できるものであるかを判断させる。
操作者23が満足できるものであれはステップ218で終了する。
前記ステップの算出結果を判定して、ステレオ画像が形成できる対であるか否かの判定をする。
(ステップ207)
多数の移動ベクトルから平均移動方向を決定する。
(ステップ208)
平均移動方向がほぼ水平であるかを判定して、そうであるか、または画像の回転が許されるならば、以下の処理へ進み、そうでなければステップ202で規定された新たなtの値を選び、ステップ204以降を繰り返す。
(ステップ209)
フレームrをフレームr0 とし、フレームsを新たにフレームrとし、フレームsはs=r+Δtとして、ステップ205からステップ207を繰り返し、新たに得られた(r,s)の対のrにたいして、順にr1,r2,・・・と番号を振る。
(ステップ210,211)
rN-1 まで(もしくはそれ以上)得られたら、各(r、s)間の平均移動方向がΔθ内に納まっているか否かを判定する。納まっていない場合には、ステップ202で規定された新たなtの値を選び、ステップ204以降を繰り返す。
(ステップ212,213)平均移動方向が水平でないならば、平均移動方向が水平になるように、抽出したフレームr0 ,r1 ,・・・の画像を回転する。
(ステップ214)
フレームr0 ,r1 ,・・・を用いて立体表示を行う。
(ステップ215)
前記表示が操作者23が満足できるものであるかを判断させる。
操作者23が満足できるものであれはステップ218で終了する。
(ステップ216)
前記214で満足すべきもので無いとされた場合は、ステップ202で規定された新たなtの値を選び、ステップ204以降を繰り返す。
(ステップ217)
予め予定する全てのtにたいする検討を行なっても、判定が成立しないときは、その旨の表示を行なう。
(ステップ218)
終了し、操作者23の次の立体視表示の時点の指示を持つ。
前記214で満足すべきもので無いとされた場合は、ステップ202で規定された新たなtの値を選び、ステップ204以降を繰り返す。
(ステップ217)
予め予定する全てのtにたいする検討を行なっても、判定が成立しないときは、その旨の表示を行なう。
(ステップ218)
終了し、操作者23の次の立体視表示の時点の指示を持つ。
本発明方法によれば、単一のビデオカメラ映像から、静止画としての立体表示(表示像または立体印刷)を作成することができる。例えば、個人向けのエンターテインメント・ソフトの一部として利用される可能性がある。また、上部消化管(胃、食道等)下部消化管(直腸、大腸等)の内視鏡検査に用いられる軟性内視鏡カメラを用いて、立体視診断を可能にする装置の動作方法を提供できる。また前記診断をリアルタイムでしかも十分な診断を可能にする良質な立体像を提供することができる。したがって医療装置の産業の分野に利用できる。
1 表示装置(2Dモニタ)
2 フレームメモリ
3 3D表示手段
4 CPU
5 システムバス
6 入力手段
7 カメラ操作手段
8 メモリ
9 ビデオカメラ
9a ビデオ入力インタフェイス
10 単眼軟性内視鏡カメラ
10a,10b カメラ先端の位置
11 撮影対象物
13 医師
14 体内腔(例えば胃壁)
23 操作者
2 フレームメモリ
3 3D表示手段
4 CPU
5 システムバス
6 入力手段
7 カメラ操作手段
8 メモリ
9 ビデオカメラ
9a ビデオ入力インタフェイス
10 単眼軟性内視鏡カメラ
10a,10b カメラ先端の位置
11 撮影対象物
13 医師
14 体内腔(例えば胃壁)
23 操作者
Claims (4)
- 単一のビデオカメラの映像からの静止画立体表示方法は、
撮像対象に対して相対移動可能に設けられたビデオ映像取得装置と、
前記ビデオ映像出力を表示する表示装置と、
1以上の立体視画像形成条件を記憶する動作メモリと、
前記映像出力を経時間的に記憶するフレームメモリと、
必要に応じて前記立体視画像形成条件の選択の入力および操作者により立体像を表示する時点を指定する入力手段と、
前記入力手段により指定された時点の前後において、立体像をなす複数のフレームを選定する演算手段と、
前記フレームに基づく立体像を表示する立体表示手段と、および
前記各構成にシステムバスを介して接続され制御を行なうCPUとによりシステムを構成し、
前記演算手段は
(a) 選択された立体視画像形成条件による命令およびフレームの探索範囲を定める定数N,K,Lを用意するステップと、
(b) 立体表示する複数のフレームからなる集合の探索範囲を設定するステップと、
(c) 2つのフレーム間の移動ベクトルの算出ステップと、
(d) 立体視画像形成条件を満たしているかの判断をする判断ステップと、
(e) 前記判断ステップで条件を満たしているときは移動方向が水平になるように両フレームを回転して、条件を満たしたフレームとその間の1以上のフレームを前記立体表示手段に表示するステップと、
(f) 前記(d) の条件を満たさなかった場合または前記(e) での表示が不満足である場合は、前記フレームの集合とは異なるフレームの集合について前記(c) 〜(e) のステップを実行するように構成されている
単一のビデオカメラの映像からの静止画立体表示方法。 - 前記選択された立体視画像形成条件は、前記移動ベクトルの方向の平均値である平均移動ベクトルを求め、その方向から、予め定めた限界内の移動ベクトルの割合が予め定められた割合を越えることを条件とするものである請求項1記載の単一のビデオカメラの映像からの静止画立体表示方法。
- 前記選択された立体視画像形成条件は、画像の中心を通る水平線および垂直線によって画像を4分割し、各部分画像中の平均移動ベクトルを求め、これらの平均移動ベクトルと、画像全体の中心と部分画像の中心とを結ぶ直線とのなす4つの角の平均値が予め定められた角度以上であることを条件とするものである請求項1記載の単一のビデオカメラの映像からの静止画立体表示方法。
- 前記ビデオ映像取得装置は、体内腔で先端が移動させられる内視鏡カメラである請求項1記載の単一のビデオカメラの映像からの静止画立体表示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006089046A JP2007260138A (ja) | 2006-03-28 | 2006-03-28 | 単一のビデオカメラの映像からの静止画立体表示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006089046A JP2007260138A (ja) | 2006-03-28 | 2006-03-28 | 単一のビデオカメラの映像からの静止画立体表示方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007260138A true JP2007260138A (ja) | 2007-10-11 |
Family
ID=38633719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006089046A Pending JP2007260138A (ja) | 2006-03-28 | 2006-03-28 | 単一のビデオカメラの映像からの静止画立体表示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007260138A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101206298B1 (ko) * | 2011-06-27 | 2012-11-29 | 강원대학교산학협력단 | 단일 카메라를 이용한 입체영상 제작 방법 |
JP2012533749A (ja) * | 2009-07-22 | 2012-12-27 | ファロ テクノロジーズ インコーポレーテッド | 周囲を光学的に走査および測定する装置 |
CN113873214A (zh) * | 2021-09-26 | 2021-12-31 | 翁均明 | 一种扫描式便携设备立体摄影方法 |
CN114268785A (zh) * | 2021-12-22 | 2022-04-01 | 翁均明 | 一种往复扫描式便携设备立体摄影方法 |
CN114598854A (zh) * | 2022-03-02 | 2022-06-07 | 广州弥德科技有限公司 | 基于单摄像机的3d影像视频摄制方法和系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005091649A1 (ja) * | 2004-03-22 | 2005-09-29 | National University Corporation Shizuoka University | 単一の撮像装置で連続取得したビデオ映像による立体表示方法 |
-
2006
- 2006-03-28 JP JP2006089046A patent/JP2007260138A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005091649A1 (ja) * | 2004-03-22 | 2005-09-29 | National University Corporation Shizuoka University | 単一の撮像装置で連続取得したビデオ映像による立体表示方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012533749A (ja) * | 2009-07-22 | 2012-12-27 | ファロ テクノロジーズ インコーポレーテッド | 周囲を光学的に走査および測定する装置 |
KR101206298B1 (ko) * | 2011-06-27 | 2012-11-29 | 강원대학교산학협력단 | 단일 카메라를 이용한 입체영상 제작 방법 |
CN113873214A (zh) * | 2021-09-26 | 2021-12-31 | 翁均明 | 一种扫描式便携设备立体摄影方法 |
CN114268785A (zh) * | 2021-12-22 | 2022-04-01 | 翁均明 | 一种往复扫描式便携设备立体摄影方法 |
CN114598854A (zh) * | 2022-03-02 | 2022-06-07 | 广州弥德科技有限公司 | 基于单摄像机的3d影像视频摄制方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8911358B2 (en) | Endoscopic vision system | |
JP2883265B2 (ja) | 画像処理装置 | |
JP4262014B2 (ja) | 画像撮影装置および画像処理方法 | |
WO2017179350A1 (ja) | 画像表示制御装置および方法並びにプログラム | |
JP5284731B2 (ja) | 立体画像撮影表示システム | |
JP7349793B2 (ja) | 画像処理装置および画像処理方法、プログラム | |
US20160295194A1 (en) | Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images | |
US20140293007A1 (en) | Method and image acquisition system for rendering stereoscopic images from monoscopic images | |
JPH03123537A (ja) | ステレオ視観察のためのx線画像取得表示方法及びその装置 | |
US20150237325A1 (en) | Method and apparatus for converting 2d images to 3d images | |
JP4487077B2 (ja) | 単一の撮像装置で連続取得したビデオ映像による立体表示方法 | |
JP2007260138A (ja) | 単一のビデオカメラの映像からの静止画立体表示方法 | |
JP5840022B2 (ja) | 立体画像処理装置、立体画像撮像装置、立体画像表示装置 | |
JP2022046260A5 (ja) | 画像処理装置、画像処理方法、記録媒体およびプログラム | |
JPH07129792A (ja) | 画像処理方法および画像処理装置 | |
JPS6336774B2 (ja) | ||
JP2849313B2 (ja) | 画像記録再生装置 | |
JP2001256482A (ja) | 視差画像生成装置および視差画像生成方法 | |
JP2008142166A (ja) | 画像表示システム、プログラム、および画像表示方法 | |
JP5177668B2 (ja) | 立体画像作成装置及び方法並びに内視鏡検査システム | |
JP5453552B2 (ja) | 撮影装置、方法及びプログラム | |
CN113925441A (zh) | 一种基于内窥镜的成像方法及成像系统 | |
Bouma et al. | Streaming video-based 3D reconstruction method compatible with existing monoscopic and stereoscopic endoscopy systems | |
JP2000182058A (ja) | 三次元運動入力方法及び三次元運動入力システム | |
JP2011151636A (ja) | 複眼カメラおよびカメラ応用機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100615 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20101019 |