JP2004173973A

JP2004173973A - 斜視内視鏡用投影モデルのパラメータ推定方法

Info

Publication number: JP2004173973A
Application number: JP2002344395A
Authority: JP
Inventors: Tetsuzo Yamaguchi; 鉄藏山口; Masahiko Nakamoto; 将彦中本; Yoshikazu Nakajima; 義和中島; Yoshinobu Sato; 嘉伸佐藤; Makoto Hashizume; 誠橋爪; Shinichi Tamura; 進一田村; Nobuhiko Sugano; 信彦菅野
Original assignee: Individual
Current assignee: Individual
Priority date: 2002-11-27
Filing date: 2002-11-27
Publication date: 2004-06-24

Abstract

【目的】斜視内視鏡に対応した拡張現実感手術支援システムを実現化できるようにする。
【解決手段】斜視内視鏡１０の挿入部１２に位置マーカを設け、挿入部１２の回転毎に、位置マーカの世界座標系での位置を測定し、この位置の各測定値に基づき、投影モデルのパラメータｎ_ｗ、ｃ_ｗを推定する。次に、推定したパラメータｎ_ｗ，ｃ_ｗに応じて投影モデルで得られる、世界座標系から画像座標系への投影点の画像座標系での座標値と、この投影点の画像座標系において実測された座標値とに基づき、投影モデルのパラメータｎ_ｃ，ｃ_ｃを推定する。
【選択図】図２

Description

【０００１】
【発明の属する技術分野】
本発明は、斜視内視鏡によって得られた画像を処理する斜視内視鏡用画像処理システムにおける斜視内視鏡用投影モデルのパラメータ推定方法に関するものである。
【０００２】
【従来の技術】
低浸襲性に優れた内視鏡手術に関しては、これまで種々の拡張現実感手術支援システムが開発され開示されている（下記非特許文献１〜６参照）。
本願発明者らも、３次元超音波画像を用いた拡張現実感腹腔鏡手術支援システムを開発し、これを開示している（下記非特許文献１３参照）。
【０００３】
これらの手術支援システムは、直視内視鏡（観察窓の光軸が挿入部の軸線と一致している、正面を見る内視鏡）を対象としたシステムであるが、内視鏡手術では、広い視野を確保するために、斜視内視鏡（観察窓の光軸が挿入部の軸線に対して傾斜している、斜め方向を見る内視鏡）が用いられることが多い。
【０００４】
斜視内視鏡では、広い視野を確保できるように、広角レンズやスィングプリズムを組み合わせて用いるなどの光学的な工夫が行なわれている。このような光学的工夫がなされた斜視鏡に対応して、拡張現実感手術支援システムを実現するためには、世界座標系（３次元空間に設定された基準となる座標系）から画像座標系（斜視内視鏡に備えられたＣＣＤ等の撮像面等に設定された座標系）への変換を決定する投影モデルや、その投影モデルにおいて必要となる、世界座標系からカメラ座標系への変換を決定する外部パラメータや、斜視内視鏡に固有の内部パラメータのモデル、およびそれらを推定する手法が必要となる。内部パラメータに関しては、直視内視鏡用のモデルを適用することが可能であり、またその推定に関しても、従来提案されている手法（例えば、下記非特許文献１１，１２参照）を用いることが可能である。しかし、外部パラメータに関しては、これまで斜視内視鏡に対応し得るモデルが提案されておらず、このためその推定方法も提案されていなかった。このような事情により、従来、斜視内視鏡に対応した投影モデルは知られていなかった。
【０００５】
なお、広角レンズの歪パラメータの推定に関しては、すでに多くの高精度な手法が提案されている（下記非特許文献８〜１０参照）。また、斜視内視鏡の研究においても、斜視内視鏡の運動速度を一定にするという条件に、各々の運動位置の視野を合成して擬似広角化するという手法が提案されている（下記非特許文献７参照）。しかし、斜視内視鏡に対応した拡張現実感手術支援システムに適用し得るものではなかった。
【０００６】
【非特許文献１】
Ｄ．Ｄｅｙ，Ｄ．Ｇｏｂｂｉ，Ｐ．Ｓｌｏｍｋａ，Ｋ．Ｊ．Ｍ．Ｓｕｒｒｙ，ａｎｄＴ．Ｍ．Ｐｅｔｅｒｓ，“Ａｕｔｏｍａｔｉｃｆｕｓｉｏｎｏｆｆｒｅｅｈａｎｄｅｎｄｏｓｃｏｐｉｃｂｒａｉｎｉｍａｇｅｓｔｏｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌｓｕｒｆａｃｅｓ：ｃｒｅａｔｉｎｇｓｔｅｒｅｏｓｃｏｐｉｃｐａｎｏｒａｍａｓ．”，ＩＥＥＥＴｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，Ｖｏｌ．２１，ｐｐ．２３−３０，２００２．
【０００７】
【非特許文献２】
Ｊ．Ｈｅｌｆｅｒｔｙ，Ｃ．Ｚｈａｎｇ，Ｇ．ＭｃＬｅｎｎａｎ，ａｎｄＷ．Ｈｉｇｇｉｎｓ，“Ｖｉｄｅｏｅｎｄｏｓｃｏｐｉｃｄｉｓｔｏｒｔｉｏｎｃｏｒｒｅｃｔｉｏｎａｎｄｉｔｓａｐｐｌｉｃａｔｉｏｎｔｏｖｉｒｔｕａｌｇｕｉｄａｎｃｅｏｆｅｎｄｏｓｃｏｐｙ”，ＩＥＥＥＴｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，Ｖｏｌ．２０，ｐｐ．６０５−６１６，２００２．
【０００８】
【非特許文献３】
Ｓ．Ｄ．Ｂｕｃｋｅｔａｌ．，“ＡｓｙｓｔｅｍｔｏＳｕｐｐｏｒｔｌａｐａｒｏｓｃｏｐｉｃＳｕｒｇｅｒｙｂｙａｕｇｍｅｎｔｅｄｒｅａｌｉｔｙｖｉｓｕａｌｉｚａｔｉｏｎ．”Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ，２００１，Ｐｒｏｃｅｅｄｉｎｇｓ，ＭＩＣＣＡＩ，ｐｐ．６９１−６９８
【０００９】
【非特許文献４】
Ｒ．Ｋｈａｄｅｍｅｔａｌ．，“Ｅｎｄｏｓｃｏｐｅｃａｌｉｂｒａｔｉｏｎａｎｄａｃｃｕｒａｃｙｔｅｓｔｉｎｇｆｏｒ３Ｄ／２Ｄｉｍａｇｅｒｇｉｓｔｒａｔｉｏｎ．”Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ，２００１，Ｐｒｏｃｅｅｄｉｎｇｓ，ＭＩＣＣＡＩ，ｐｐ．１３６１−１３６５
【００１０】
【非特許文献５】
Ｐ．Ｊ．Ｅｄｗａｒｄｓ，Ａ．Ｐ．Ｋｉｎｇ，Ｃ．Ｒ．Ｍａｕｒｅｒ，Ｄ．Ａ．ｄｅＣｕｎｈａ，Ｄ．Ｊ．Ｈａｗｋｅｒｓ，Ｄ．Ｌ．Ｇ．Ｈｉｌｌ，Ｒ．Ｐ．Ｇａｓｔｉｏｎ，Ｍ．Ｒ．Ｆｅｎｌｏｎ，Ａ．Ｊ．ｕｓｃｚｙｚｃｋ，Ａ．Ｊ．Ｓｔｒｏｎｇ，Ｃ．Ｌ．Ｃｈａｎｄｌｅｒ，ａｎｄＭ．Ｊ．Ｇｌｅｅｓｏｎ，“ＤｅｓｉｇｎａｎｄＥｖａｌｕａｔｉｏｎｏｆａｓｙｓｔｅｍｆｏｒｍｉｃｒｏｓｃｏｐｅ−ａｓｓｉｓｔｅｄｇｕｉｄｅｄｉｎｔｅｒｖｅｎｔｉｏｎｓ（ＭＡＧＩ）”
【００１１】
【非特許文献６】
Ｊ．Ｄ．Ｓｔｅｆａｎｓｉｃ，Ａ．Ｊ．Ｈｅｒｌｉｎｅ，Ｙ．Ｓｈｙｒ，Ｗ．Ｃ．Ｃｈａｍａｎ，Ｊ．Ｍ．Ｆｉｔｚｐａｔｒｉｃｋ，Ｂ．Ｍ．Ｄａｗａｎｔ，ａｎｄＲ．Ｌ．Ｇａｌｌｏｗａｙ，“Ｒｅｇｉｓｔｒａｔｉｏｎｏｆｐｈｙｓｉｃａｌｓｐａｃｅｔｏｌａｐａｒｏｓｃｏｐｉｃｉｍａｇｅｓｐａｃｅｆｏｒｕｓｅｉｎｍｉｎｉｍａｌｌｙｉｎｖａｓｉｖｅｈｅｐａｔｉｃｓｕｒｇｅｒｙ”，ＩＥＥＥＴｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．２０，ｐｐ．１０１２−１０２３，２０００．
【００１２】
【非特許文献７】
Ｈ．Ｙａｍａｕｃｈｉｅｔａｌ．，“「記憶する内視鏡」による内視鏡視野の擬似広角化”，Ｊ．ＪＳＣＡＳ，ｖｏｌ．２，ｎｏ．２，ｐｐ．６２−６８，２０００．
【００１３】
【非特許文献８】
Ｈ．Ｈａｎｅｉｓｈｉ，Ｙ．Ｙａｇｉｈａｓｈｉ，ａｎｄＹ．Ｍｉｙａｋｅ“ＡＮｅｗｍｅｔｈｏｄｆｏｒｄｉｓｔｏｒｔｉｏｎｃｏｒｒｅｃｔｉｏｎｏｆｅｌｅｃｔｒｏｎｉｃｅｎｄｏｓｃｏｐｉｃｉｍａｇｅｓ”．ＩＥＥＥＴｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．１４，Ｎｏ．３，ｐｐ．５４８−５５５，１９９５．
【００１４】
【非特許文献９】
Ｋ．Ｖｉｊａｙａｎｅｔａｌ．，“Ａｎｅｗａｐｐｒｏａｃｈｆｏｒｎｏｎｌｉｎｅａｒｄｉｓｔｏｒｔｉｏｎｃｏｒｒｅｃｔｉｏｎｉｎｅｎｄｏｓｃｏｐｉｃｉｍａｇｅｓｂａｓｅｄｏｎｌｅａｓｔｓｑｕａｒｅｓｅｓｔｉｍａｔｉｏｎ，”ＩＥＥＥＴｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．１８，ｐｐ．３４５−３５４，１９９５．
【００１５】
【非特許文献１０】
Ｗ．Ｅ．Ｓｍｉｔｈｅｔａｌ．，“Ｃｏｒｒｅｃｔｉｏｎｏｆｄｉｓｔｏｒｔｉｏｎｉｎｅｎｄｏｓｃｏｐｉｃｉｍａｇｅｓ，”ＩＥＥＥＴｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．１１，ｐｐ．１１７−１２２，１９９２．
【００１６】
【非特許文献１１】
ＷａｎｇａｎｄＷ．Ｈ．Ｔｓａｉ，“Ｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎｂｙｖａｎｉｓｈｉｎｇｌｉｎｅｓｆｏｒ３−Ｄｃｏｍｐｕｔｅｒｖｉｓｉｏｎ”，ＩＥＥＥＴｒａｎｓ．ＰＡＭＩ，ｖｏｌ．１３，ｎｏ．４，ｐｐ．３７０−３７６，１９９１．
【００１７】
【非特許文献１２】
Ｒ．Ｙ．Ｔｓａｉ，“Ａｖｅｒｓａｔｉｌｅｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎｔｅｃｈｎｉｑｕｅｆｏｒｈｉｇｈ−ａｃｃｕｒａｃｙ３−Ｄｍａｃｈｉｎｅｖｉｓｉｏｎｍｅｔｒｏｌｏｇｙｕｓｉｎｇｏｆ−ｔｈｅ−ｓｈｅｌｆｔｖｃａｍｅｒａｓａｎｄｌｅｎｓｅｓ”．ＩＥＥＥＪ．Ｒｏｂｏｔ．Ａｕｔｏｍａｔ．，ｖｏｌ．３，ｐｐ．３２３−３４４，１９８７．
【００１８】
【非特許文献１３】
Ｍ．Ｎａｋａｍｏｔｏｅｔａｌ．，“３ＤＵｌｔｒａｓｏｕｎｄＳｙｓｔｅｍＵｓｉｎｇａＭａｇｎｅｔｏ−ＯｐｔｉｃＨｙｂｒｉｄＴｒａｃｋｅｒｆｏｒＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙＶｉｓｕａｌｉｚａｔｉｏｎｉｎＬａｐａｒｏｓｃｏｐｉｃＬｉｖｅｒＳｕｒｇｅｒｙ”．ＩｎＭＩＣＣＡＩ２００２，ＬＮＣＳ２４８９，ｐｐ．１４８−１５５，Ｓｅｐｔｅｍｂｅｒ２００２．
【００１９】
【発明が解決しようとする課題】
上述したように、これまで、斜視内視鏡に対応した拡張現実感手術支援システムは実現されていなかった。しかし、近年、特に腹腔内、関節整形、耳鼻科手術では、斜視内視鏡が用いられることが多いため、斜視内視鏡に対応した拡張現実感手術支援システムを実現することが強く望まれていた。
そこで、本願発明者は、斜視内視鏡に対応した拡張現実感手術支援システムを実現するため、斜視内視鏡に対応した投影モデルを備えた斜視内視鏡用画像処理システムを開発し、これを本願と同日に特許庁に開示した。
【００２０】
本発明は、斜視内視鏡に対応した拡張現実感手術支援システムを実現化するため、この斜視内視鏡用画像処理システムにおける斜視内視用投影モデルのパラメータ推定方法を提供することを目的とする。
【００２１】
【課題を解決するための手段】
上記課題を解決するため本発明の斜視内視鏡用投影モデルのパラメータ推定方法は、体腔内に挿入される直線状に延びた挿入部と、該挿入部の先端面に設けられた観察窓と、観察対象の画像が撮像される撮像面とを備え、前記観察窓の光軸が前記挿入部の軸線に対して傾斜し、かつ前記挿入部が前記撮像面に対して、前記軸線を回転軸として相対的に回転可能に構成された斜視内視鏡により得られた画像を処理する斜視内視鏡用画像処理システムおいて、前記斜視内視鏡の外部空間に設定された世界座標系から前記撮像面に設定された画像座標系への変換を決定する、下式（２）によって規定された投影モデルのパラメータを推定する方法であって、
ｓｉ_Ｃ＝ＭＴ_０Ｔ_ＲｏｔＣ（−θ，ｎ_Ｃ，ｃ_Ｃ）Ｔ_ＲｏｔＷ（θ，ｎ_ｗ，ｃ_ｗ）ｐ_Ｗ…（２）
（ここで、ｐ_Ｗは、前記世界座標系上の点の位置を表すベクトル、ｉ_Ｃは、前記カメラ座標系上の点の位置を表すベクトル、ｎ_ｗは、前記世界座標系において前記軸線の方向を規定するベクトル、ｃ_ｗは、前記世界座標系において前記軸線の通過位置を規定するベクトル、ｎ_Ｃは、前記カメラ座標系において前記光軸の方向を規定するベクトル、ｃ_Ｃは、前記カメラ座標系において前記光軸の通過位置を規定するベクトル、θは、前記挿入部が前記軸線を回転軸として、前記撮像面に対して相対的に回転するときの回転角、Ｔ_０は、前記挿入部が前記軸線を回転軸として、前記撮像面に対して相対的に回転していないときの、前記世界座標系から前記カメラ座標系への対応を表す変換、Ｔ_ＲｏｔＷは、前記世界座標系において、前記挿入部が前記軸線を回転軸として、前記撮像面に対して相対的に回転するときの該回転を表す変換、Ｔ_ＲｏｔＣは、前記カメラ座標系内の回転補正を表す変換、Ｍは、前記斜視内視鏡に固有の内部パラメータ、ｓは所定のスカラー、をそれぞれ示している。）
【００２２】
前記挿入部の前記軸線回りの回転に伴って該軸線を中心とした円軌道上を移動する位置マーカを設け、前記挿入部を、前記軸線を回転軸として前記撮像面に対して相対的に回転移動させる試行を複数回行ない、該試行ごとに前記位置マーカの前記世界座標系での位置を測定し、この位置の各測定値に基づき前記円軌道を特定することによって、上式（２）のベクトルｎ_ｗ、ベクトルｃ_ｗおよび回転角θの各推定値を求め、
次に、前記ベクトルｎ_ｗ、ベクトルｃ_ｗおよび回転角θの各推定値を上式（２）に代入して得られる、前記世界座標系から前記画像座標系への投影点の該画像座標系での座標値と、該投影点の該画像座標系において実測された座標値とに基づき、上式（１）のベクトルｎ_ｃおよびベクトルｃ_ｃの各推定値を求めることを特徴とするものである。
【００２３】
【発明の実施の形態】
以下、本発明の実施形態について、図面を用いて説明する。
【００２４】
〈斜視内視鏡装置概要〉
図１は斜視内視鏡装置の一例を模式的に示す図である。図示した斜視内視鏡装置１は、斜視内視鏡（斜視型硬性内視鏡）１０、画像処理装置２０、および画像表示装置３０を備えてなる。
【００２５】
斜視内視鏡１０は、ＣＣＤ等の撮像素子などにより構成される撮像面（図示略）を備えたカメラ部１１と、該カメラ部１１から軸線Ｌ_Ｗ方向に延びた硬性の挿入部１２とを備えている。この挿入部１２は体腔内等に挿入される部分であり、その先端面１２ａは前記軸線Ｌ_Ｗと斜交するように形成されている。また、挿入部１２は前記軸線Ｌ_Ｗを回転軸として、前記カメラ部に対して回転可能に構成されており、その先端面１２ａには観察窓１３が設けられている。この観察窓１３の光軸Ｌ_Ｃは前記軸線Ｌ_Ｗに対して傾斜するように構成されており、該軸線Ｌ_Ｗを回転軸として前記挿入部１２を回転させると、該光軸Ｌ_Ｃは前記撮像面に対して相対的に回転移動するようになっている。なお、前記軸線Ｌ_Ｗは世界座標系（斜視内視鏡１０の外部空間に設定された座標系）Ｓ_Ｗにおいて定義され、前記光軸Ｌ_Ｃは、カメラ座標系（観察窓１３に設定された座標系）Ｓ_Ｃにおいて定義されている。
【００２６】
前記斜視内視鏡装置１においては、観察対象からの反射光が、観察窓１３より挿入部１２内に取り込まれ、カメラ部１１内の撮像素子において撮像される。そして、撮像素子により得られた画像信号は、画像処理装置２０において信号処理され、さらに信号処理された画像信号が、画像表示装置３０において画像に変換されて表示されるようになっている。
【００２７】
〈斜視内視鏡用画像処理システム〉
前記斜視内視鏡装置１は、斜視内視鏡用画像処理システムを備えている。この斜視内視鏡用画像処理システムは、斜視内視鏡１０により得られた画像信号を処理して、拡張現実感手術支援に利用し得る画像を形成するものであり、例えば、画像表示装置３０内に設けられた演算回路や演算プログラム等により構成される。
【００２８】
そして、この斜視内視鏡用画像処理システムは、前記世界座標系Ｓ_Ｗから前記撮像面に設定された画像座標系への変換を決定する投影モデルを備えている。この投影モデルは、前記斜視内視鏡１０に固有の内部パラメータＭと、前記世界座標系Ｓ_Ｗから前記カメラ座標系Ｓ_Ｃへの変換を決定する外部パラメータＴとを用いて、下式（３）で規定されている。
【００２９】
ｓｉ_Ｃ＝ＭＴｐ_Ｗ……（３）
【００３０】
ここで、ｐ_Ｗは、前記世界座標系上の点の位置を表すベクトル、ｉ_Ｃは、前記カメラ座標系上の点の位置を表すベクトル、ｓは所定のスカラー、をそれぞれ示している。
【００３１】
また、この斜視内視鏡用画像処理システムは、前記外部パラメータＴを、下式（４）によって規定している。
【００３２】
Ｔ＝Ｔ_０Ｔ_ＲｏｔＣ（−θ，ｎ_Ｃ，ｃ_Ｃ）Ｔ_ＲｏｔＷ（θ，ｎ_ｗ，ｃ_ｗ）……（４）
【００３３】
ここで、ｎ_ｗは、前記世界座標系において前記軸線の方向を規定するベクトル、ｃ_ｗは、前記世界座標系において前記軸線の通過位置を規定するベクトル、ｎ_Ｃは、前記カメラ座標系において前記光軸の方向を規定するベクトル、ｃ_Ｃは、前記カメラ座標系において前記光軸の通過位置を規定するベクトル、θは、前記挿入部が前記軸線を回転軸として、前記撮像面に対して相対的に回転するときの回転角、Ｔ_０は、前記挿入部が前記軸線を回転軸として、前記撮像面に対して相対的に回転していないときの、前記世界座標系から前記カメラ座標系への対応を表す変換、Ｔ_ＲｏｔＷは、前記世界座標系において、前記挿入部が前記軸線を回転軸として、前記撮像面に対して相対的に回転するときの該回転を表す変換、Ｔ_ＲｏｔＣは、前記カメラ座標系内の回転補正を表す変換、をそれぞれ示している。
【００３４】
〈斜視内視鏡の投影モデル〉
以下、前記投影モデルについて、図２、図３を用いて詳細に説明する。図２および図３は、投影モデルの概念を模式的に示す図で、図２は前記世界座標系Ｓ_Ｗから前記カメラ座標系Ｓ_Ｃへの変換を示し、図３は前記カメラ座標系Ｓ_Ｃ内の回転補正を示している。
【００３５】
前記世界座標系Ｓ_Ｗの点の位置ベクトルをＰ_Ｗ＝^ｔ（ｘ_Ｗ，ｙ_Ｗ，ｚ_Ｗ，１）、前記カメラ座標系Ｓ_Ｃの点の位置ベクトルをＰ_Ｃとし、世界座標系Ｓ_Ｗからカメラ座標系Ｓ_Ｃに変換する剛体アフィン変換（前記外部パラメータＴに相当する）をＴとすると、Ｐ_ＷからＰ_Ｃへの変換は、下式（５）で表される。
【００３６】
ｐ_Ｃ＝Ｔｐ_Ｗ……（５）
【００３７】
また、上式（５）における外部パラメータＴは、下式（６）で表される。
【００３８】
【数１】

【００３９】
ここで、Ｒは、回転を意味する３行３列の直交行列を表し、ｔは、平行移動を意味する３次元ベクトルを表し、Ｉは単位行列を表している。
【００４０】
一方、前記Ｐ_Ｃの２次元投影点の位置ベクトルを、ｉ_Ｐ＝^ｔ（ｕ_Ｐ＝ｘ_Ｃ／ｚ_Ｃ，ｖ_Ｐ＝ｙ_Ｃ／ｚ_Ｃ，１）とすると、この投影点ｉ_Ｐから、前記画像座標系上においてこの投影点ｉ_Ｐと対応する画像点ｉ_Ｃへの対応関係は、前記内部パラメータＭを用いて、下式（７）で表される。
【００４１】
ｓｉ_Ｃ＝Ｍｉ_Ｐ……（７）
【００４２】
ここで、ｓは所定のスカラーを示している。
【００４３】
また、上式（７）における内部パラメータＭは、下式（８）で表される。
【００４４】
【数２】

【００４５】
ここで、ｆは、焦点距離を表し、ｋ_ｕ，ｋ_ｖは、それぞれｕ軸，ｖ軸の単位長を表し、^ｔ（ｕ_０，ｖ_０）は、画像中心の座標を表している。
【００４６】
前記斜視内視鏡１０において、前記外部パラメータＴは、以下のように記述できる。まず、図２（ａ）に示すように、前記斜視内視鏡１０において、前記世界座標系Ｓ_Ｗに対して前記カメラ座標系Ｓ_Ｃが回転移動していないときの、該世界座標系からＳ_Ｗ該カメラ座標系Ｓ_Ｃへの変換をＴ_０とする。なお、図２（ａ）では、この回転の伴わないカメラ座標系をＳ_Ｃ０と表記している。
【００４７】
次いで、図２（ｂ）に示すように、世界座標系Ｓ_Ｗにおいて、前記軸線Ｌ_Ｗを回転軸として、前記撮像面に対して前記挿入部１２を角度θだけ回転移動させる場合を想定する。このときの回転を表す変換をＴ_ＲｏｔＷ（θ，ｎ_ｗ，ｃ_ｗ）とする。なお、このとき前記軸線Ｌ_Ｗは、前記２つのベクトルｎ_ｗ，ｃ_ｗによって規定される。また、図２（ｂ）では、この回転変換Ｔ_ＲｏｔＷの後、前記Ｔ_０の変換を施したカメラ座標系をＳ’_Ｃ０と表記している。
【００４８】
前記回転後のカメラ座標系Ｓ’_Ｃ０は、回転前のカメラ座標系をＳ_Ｃ０に対して相対的に回転移動している。一方、前記斜視内視鏡１０の撮像面（および前記画像座標系）の前記世界座標系Ｓ_Ｗに対する位置は変化していない。このため、カメラ座標系における回転補正が必要となる。本発明では、図３に示すように、前記カメラ座標系をＳ’_Ｃ０を、前記光軸Ｌ_Ｃを回転軸として、前記回転方向とは反対方向に角度−θだけ回転転補正する変換Ｔ_ＲｏｔＣ（−θ，ｎ_Ｃ，ｃ_Ｃ）を施すことにより、この回転補正を行う。
【００４９】
このような一連の変換を行うことにより、すなわち、上式（４）により規定された外部パラメータＴを含む、上式（３）により規定された投影モデルを適用することによって、前記世界座標系Ｓ_Ｗから前記撮像面に設定された画像座標系への変換を決定することが可能となる。
【００５０】
〈パラメータ推定方法〉
次に、本発明の一実施形態に係る斜視内視鏡用投影モデルのパラメータ推定方法について説明する。まず、前述の、回転が伴わないときの変換Ｔ_０と、内部パラメータＭの推定を行う。これらの推定方法としては、従来提案されている様々な手法を適用することが可能である。本実施形態においても従来の手法、例えば、前記非特許文献１１に記載された手法を用いて、前記変換Ｔ_０と前記内部パラメータＭの推定を行う。
【００５１】
次いで、前述の、回転を伴うときの変換Ｔ_ＲｏｔＷ（θ，ｎ_ｗ，ｃ_ｗ）における、前記軸線Ｌ_Ｗの方向と通過位置をそれぞれ規定する２つのベクトルｎ_ｗ，ｃ_ｗの推定を行う。このベクトルｎ_ｗ，ｃ_ｗは、前記軸線Ｌ_Ｗを決定するパラメータなので、自由度は４となる。そこで、これらの推定にあたっては、まず、前記斜視内視鏡１０の挿入部１２に、該挿入部１２の回転に応じて前記軸線Ｌ_Ｗを中心とする円軌道上を移動する３次元位置マーカを設ける。この３次元位置マーカの円軌道の中心に対応するのが前記ベクトルｃ_ｗであり、この円軌道を含む平面の法線方向に一致し、この円軌道の中心を通るベクトルに対応するのが前記ベクトルｎ_ｗとなる。また、前記斜視内視鏡１０の前記カメラ部１１にも、該カメラ部１１の前記世界座標系Ｓ_Ｗでの位置を検出するための位置センサを設けカメラ部１１の位置を計測する。
【００５２】
次に、前記挿入部１２を回転させては、前記３次元位置マーカの位置を計測するという手順を複数回繰り返して行う。３次元位置マーカの位置計測値をｐ^ｉ _Ｗ（ｉ＝１，２，・・・ｎ）とすると、下式（９）を満たすようなｎ_ｗを線形推定により求める。
【００５３】
【数３】

【００５４】
ここで、（，）は内積を表し、││はユークリッドノルムを表す。
【００５５】
次いで、この求められたｎ_ｗから、下式（１０）を満たすようなｃ_ｗを非線形推定、例えば、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｄｔ法を用いて求める。
【００５６】
【数４】

【００５７】
ここで、（，）は内積を表し、││はユークリッドノルムを表す。
【００５８】
続いて、求められたｐ^ｉ _Ｗ−ｃ_ｗがなす角度から、下式（１１）により前記回転角θを求める。
【００５９】
【数５】

【００６０】
ここで、（，）は内積を表し、［，］は外積を表し、││はユークリッドノルムを表す。
【００６１】
最後に、前述の、回転補正の変換Ｔ_ＲｏｔＣ（−θ，ｎ_Ｃ，ｃ_Ｃ）における、カメラ座標系において前記光軸Ｌ_Ｃの方向を表すベクトルｎ_Ｃと、カメラ座標系において前記光軸Ｌ_Ｃの通過点の位置を表すベクトルｃ_Ｃを推定する。これらの推定にあたっては、まず、前記各ベクトルｃ_Ｃ，ｎ_Ｃ，回転角θに対応する、世界座標系上の点ｐ^ｉ _Ｗｏｂｊの計算上の画像投影点ｉ’_Ｃ（ｐ^ｉ _Ｗｏｂｊ，θ；ｎ_Ｃ，ｃ_Ｃ）を、上式（３）、（４）を用いて求める。次に、ｐ^ｉ _Ｗｏｂｊの実際の画像座標系上での位置ベクトルをｉ_Ｃ ^ｉとして、下式（１２）を満たす前記各ベクトルｃ_Ｃ，ｎ_Ｃを求める。
【００６２】
【数６】

【００６３】
〈シミュレーション実験〉
次に、前述したベクトルｃ_Ｃ，ｎ_Ｃの推定に関して行ったシミュレーション実験について説明する。シミュレーションのための生成データは、次の通りである。すなわち、観察対象として、縦横の間隔４ｍｍ、３×３に点が配列された点列の図柄をキャリブレーションに用いた。また、各点に対して標準偏差０．１ｍｍのガウスノイズを加えた。そして、斜視内視鏡の挿入部を約４５度ずつ回転させ、回転毎に４枚（４フレーム）ずつ、観察窓から約３０〜４０ｃｍ離れた位置に配置した前記図柄を撮像するという想定で、前述した投影モデルによる前記図柄の各点の投影点の図を作成した（図４）。なお、画像面（撮像面）の範囲は２００〜４００画素（ｐｉｘｅｌ）の範囲と想定した。
【００６４】
画像面上で、標準偏差０．５，１．０，１．５画素のガウスノイズをそれぞれ加えたシミュレーション結果を表１に示す。投影点の残差およびベクトルｃ_Ｃ，ｎ_Ｃの誤差は、シミュレーションで与えた真値と推定値との差である。また、与えたガウスノイズの標準偏差と、投影点の残差およびベクトルｃ_Ｃ，ｎ_Ｃの誤差との関係を明らかにするため、これらの関係を図５に示した。図５に示すように、投影点の残差およびベクトルｃ_Ｃ，ｎ_Ｃの誤差は、与えたガウスノイズの標準偏差に対して略線形であることが確かめられた。
【００６５】
【表１】

【００６６】
〈実画像における実験〉
次に、前述した投影モデルによる投影の精度を検証するために、実画像を用いて実施した複数の実験について説明する。
【００６７】
（実験１）
この実験１では、斜視角度３０度、撮像面の大きさ３４０×３４０画素の歪無し斜視内視鏡を用いた。また、観察対象は前記点列の図柄とした。斜視内視鏡の挿入部をその軸線を回転軸として約４５度ずつ回転させ、回転毎に観察対象点の画像を３枚（３フレーム）取り込み、その画像を用いてキャリブレーションを行った。そして、キャリブレーションを行った角度範囲で取得した画像の精度を調べた。観察対象点の世界座標系上での位置は、３次元センサ（Ｐｏｌａｒｉｓ；ＮｏｒｔｈｅｒｎＤｉｇｉｔａｌＩｎｃ．）を用いて計測した。この３次元センサの精度は、０．３５ｍｍである。
【００６８】
この実験１で得られた結果を図６に示す。この実験１により確認された誤差は、３．０２画素であった。また、パラメータを推定する際の残差は、２．８６画素であった。この誤差は、画像面サイズの約１パーセント、１ｍｍ程度に相当する。これは、実用上の許容範囲ではあるが、前述のシミュレーション結果に比べると精度が劣る。これは、キャリブレーションに用いた画像のフレーム数が少なかったためであると考えられる。
【００６９】
（実験２）
この実験２では、前記実験１において、画像のフレーム数と各フレームにおけるサンプル点の数との関係を検証するために行った。実験に用いた器具等は、前記実験１と同じである。この実験２で得られた結果を図７に示す。図７に示すように、キャリブレーションに用いる画像のフレーム数（Ｆ）が多いほど、またフレーム毎のサンプル点数が多いほど、高い精度が得られることが確かめられた。
【００７０】
（実験３）
この実験３では、撮像面の大きさ３４０×２４０画素（０．１１ｍｍ／ｐｉｘｅｌ）の斜視内視鏡を用いた。また、観察対象は格子模様の図柄とした。斜視内視鏡の挿入部をその軸線を回転軸としてΔθずつ回転させ、回転毎に観察対象の画像を取り込み、その画像を用いてキャリブレーションを行った。また、キャリブレーションに用いた画像とは異なる５枚に画像において、画像ごとに１６点、計８０点の計測点を用いて、投影誤差（前述の投影モデルで得られた画像投影点の座標値と、観察対象の点の実際の座標を３次元センサを用いて得られた座標値との差）の平均を求めた。なお、３次元センサは、前記実験１，２で用いたものを用いた。また、用いた斜視内視鏡には、樽型歪が存在するため、前記非特許文献８に記載された方法により、歪補正を行った。
【００７１】
また、前記回転角度Δθを変化させ、回転毎に得られた画像に基づき、前述した光軸Ｌ_Ｃのキャリブレーションを行い、得られたパラメータで投影誤差を計測した。この結果を図８に示す。図８に示すように、Δθの減少と共に残差と投影誤差は減少し、Δθ＝１８度のとき誤差は４．１画素（画像面内では０．４５ｍｍ）となり、それより小さいΔθでは著しい誤差の減少は見られなかった。このとき、前記非特許文献５に記載された方法によるキャリブレーションにおける残差を求めたところ、４．２画素（画像面内では０．４６ｍｍ）であったため、投影誤差中に光軸Ｌ_Ｃのキャリブレーション誤差が占める割合は、十分小さいといえる。また、このとき得られた画像の一例を図９に示す。画像中の＋が、投影モデルにより得られた、観察対象点の画像上での位置を示している。
【００７２】
（実験５）
この実験５では、前述の投影モデルにおける軸線Ｌ_Ｗ＝（ｎ_Ｗ，ｃ_Ｗ）と、光軸Ｌ_Ｃ＝（ｎ_Ｃ，ｃ_Ｃ）の必要性を検証した。光軸Ｌ_Ｃを簡略化した投影モデル（比較例１）と、軸線Ｌ_Ｗを簡略化した投影モデル（比較例２）と、本発明の投影モデル（実施例）との比較を行った。比較にあたっては、前記実験４の手法より、Δθ＝１８度のときの投影誤差を各投影モデルにおいて求めた。その結果を表２に示す。表２に示すように、投影誤差は本発明の実施例に係る投影モデルが最も小さい。この結果から、光軸Ｌ_Ｃおよび軸線Ｌ_Ｗは、斜視内視鏡の投影モデルにおいて必要なパラメータであることがいえる。
【００７３】
【表２】

【００７４】
以上、本発明の実施形態を説明したが、本発明は上記実施形態に限定されるものではなく、種々の態様の変更が可能である。
例えば、上記実施形態では、斜視内視鏡の挿入部の回転角を検出するために３次元センサを用いているが、ロータリーエンコーダなど他の回転角検出手段を用いて回転角を検出するように構成してもよい。
【００７５】
また、上記実施形態においては、外部パラメータＴ_０、内部パラメータＭを推定する際、前記非特許文献１１に記載された手法を用いているが、この手法に代えて種々の手法、例えば、前記非特許文献１２や非特許文献「Ｉ．Ｗ．Ｆａｉｇ：“Ｃａｌｉｂｒａｔｉｏｎｏｆｃｌｏｓｅ−ｒａｎｇｅｐｈｏｔｏｇｒａｍｍｅｔｒｉｃｓｙｓｔｅｍｓ：Ｍａｔｈｅｍａｔｉｃａｌｆｏｒｍｕｌａｔｉｏｎ，”ＰｈｏｔｏｇｒａｍｍｅｔｒｉｃＥｎｇ．ａｎｄＲｅｍｏｔｅＳｅｎｓｉｎｇ，ｖｏｌ．４１，ｐｐ．１４７９−１４８６，１９７５．」等に記載された手法を用いることができる。
【００７６】
【発明の効果】
以上、詳細に説明したように、本発明の斜視内視鏡用投影モデルのパラメータ推定方法によれば、斜視内視鏡において世界座標系から画像座標系への変換を決定する投影モデルのパラメータを、高精度に推定することが可能となる。
【００７７】
このため、斜視内視鏡用の投影モデルを実用化することができ、この投影モデルを用いることによって、斜視内視鏡に対応した拡張現実感手術支援システムを実現化することが可能となる。
【図面の簡単な説明】
【図１】斜視内視鏡装置の一例を模式的に示す図
【図２】世界座標系からカメラ座標系への変換を模式的に示す図
【図３】カメラ座標系における回転補正を模式的に示す図
【図４】投影モデルによって得られた投影点の図
【図５】シミュレーション実験で得られた関係を示す図
【図６】実験１で得られた結果を示す図
【図７】実験２で得られた結果を示す図
【図８】実験３で得られた結果を示す図
【図９】実験４で得られた画像の一例を示す図
【符号の説明】
１斜視内視鏡装置
１０斜視内視鏡
１１カメラ部
１２挿入部
１２ａ先端面
１３観察窓
２０画像処理装置
３０画像表示装置
Ｌ_Ｗ挿入部の軸線
Ｌ_Ｃ観察窓の光軸

Claims

体腔内に挿入される直線状に延びた挿入部と、該挿入部の先端面に設けられた観察窓と、観察対象の画像が撮像される撮像面とを備え、前記観察窓の光軸が前記挿入部の軸線に対して傾斜し、かつ前記挿入部が前記撮像面に対して、前記軸線を回転軸として相対的に回転可能に構成された斜視内視鏡により得られた画像を処理する斜視内視鏡用画像処理システムおいて、前記斜視内視鏡の外部空間に設定された世界座標系から前記撮像面に設定された画像座標系への変換を決定する、下式（１）によって規定された投影モデルのパラメータを推定する方法であって、
ｓｉ_Ｃ＝ＭＴ_０Ｔ_ＲｏｔＣ（−θ，ｎ_Ｃ，ｃ_Ｃ）Ｔ_ＲｏｔＷ（θ，ｎ_ｗ，ｃ_ｗ）ｐ_Ｗ…（１）
（ここで、ｐ_Ｗは、前記世界座標系上の点の位置を表すベクトル、ｉ_Ｃは、前記画像座標系上の点の位置を表すベクトル、ｎ_ｗは、前記世界座標系において前記軸線の方向を規定するベクトル、ｃ_ｗは、前記世界座標系において前記軸線の通過位置を規定するベクトル、ｎ_Ｃは、前記カメラ座標系において前記光軸の方向を規定するベクトル、ｃ_Ｃは、前記カメラ座標系において前記光軸の通過位置を規定するベクトル、θは、前記挿入部が前記軸線を回転軸として、前記撮像面に対して相対的に回転するときの回転角、Ｔ_０は、前記挿入部が前記軸線を回転軸として、前記撮像面に対して相対的に回転していないときの、前記世界座標系から前記カメラ座標系への対応を表す変換、Ｔ_ＲｏｔＷは、前記世界座標系において、前記挿入部が前記軸線を回転軸として、前記撮像面に対して相対的に回転するときの該回転を表す変換、Ｔ_ＲｏｔＣは、前記カメラ座標系内の回転補正を表す変換、Ｍは、前記斜視内視鏡に固有の内部パラメータ、ｓは所定のスカラー、をそれぞれ示している。）
前記挿入部の前記軸線回りの回転に伴って該軸線を中心とした円軌道上を移動する位置マーカを設け、前記挿入部を、前記軸線を回転軸として前記撮像面に対して相対的に回転移動させる試行を複数回行ない、該試行ごとに前記位置マーカの前記世界座標系での位置を測定し、この位置の各測定値に基づき前記円軌道を特定することによって、上式（１）のベクトルｎ_ｗ、ベクトルｃ_ｗおよび回転角θの各推定値を求め、
次に、前記ベクトルｎ_ｗ、ベクトルｃ_ｗおよび回転角θの各推定値を上式（１）に代入して得られる、前記世界座標系から前記画像座標系への投影点の該画像座標系での座標値と、該投影点の該画像座標系において実測された座標値とに基づき、上式（１）のベクトルｎ_ｃおよびベクトルｃ_ｃの各推定値を求めることを特徴とする斜視内視鏡用投影モデルのパラメータ推定方法。