JP2010220787A - 測距装置及びそのプログラム、並びに測距システム - Google Patents

Abstract

【課題】 撮像装置で撮像された体内部位に応じてマッチング領域の大きさを変えることにより、ステレオマッチング法による画像処理を効率的に行う。
【解決手段】 測距システム１０は、ステレオ画像を取得可能な内視鏡１１と、内視鏡１１により撮像された体内部位の画像データから、ステレオマッチング法を用いて内視鏡１１と体内部位との間の距離を求める測距装置１２とを備えている。測距装置１２は、内視鏡１１で取得した画像データを予め記憶された体内部位の種類毎の画像データと対比することで、撮像された体内部位の種類を特定する撮像部位特定手段１４と、撮像部位特定手段１４で特定された体内部位の種類に基づいて、マッチング領域の大きさを決定するマッチング領域決定手段１５と、マッチング領域決定手段１５で決定されたマッチング領域の大きさで、各画像データ間の対応点を探索して前記距離を求める距離計測手段１６とを備えている。
【選択図】 図１

Description

本発明は、測距装置及びそのプログラム、並びに測距システムに係り、更に詳しくは、内視鏡下手術における内視鏡と当該内視鏡により撮像された体内部位との距離を測定することに適した測距装置及びそのプログラム、並びに測距システムに関する。

近年、外科手術の低侵襲化が進み、腹腔手術等、多くの手術において内視鏡下手術が行われるようになってきた。内視鏡下手術は、体内を大きく切開することなく手術することができるため、患者へのダメージを軽減できるというメリットがある。ところが、手術者にとっては、内視鏡で映し出された映像を見ながらの手術となることから、視野の確保、奥行き感の把握が困難になり、高い技術が必要とされる手術である。特に、奥行き感の把握は、手術器具と臓器や血管との不意な接触による当該臓器や血管の損傷を防ぐために重要である。現在、多くの内視鏡下手術で使用されている内視鏡は、２次元映像を提供するものであるため、体表から患部に向かう奥行き方向の距離を把握するには多くの経験が必要とされる。この問題を解決するために、３次元映像を提供可能な立体内視鏡が開発されており、手術時における奥行き感の把握が行い易くなっている。ところが、立体内視鏡を使用しただけでは、その先端から臓器や血管等の体内部位までの距離を定量的に把握することができず、内視鏡、手術器具等の手術機器と体内部位との接触による当該体内部位の損傷を確実に防げる訳ではない。

ところで、特許文献１には、被写体の空間特性を計測することができる内視鏡装置が開示されている。この内視鏡装置は、ステレオ画像を取得可能になっており、２つの視点から被写体を撮像して得られた２つの画像データを用い、三角測量によって被写体の空間特性を計測するようになっている。すなわち、前記内視鏡装置では、ステレオマッチング法を利用した画像処理により、被写体までの距離が測定可能になる。ここで、ステレオマッチング法とは、２台のカメラで撮像された画像を用い、一方のカメラで撮像された画像内の各点と他方のカメラで撮像された画像内の各点との間で対応点を探索する画像マッチング処理を行った上で、三角測量により画像内の各点の３次元位置を演算で求めて、前記距離を算出する手法である。ここで、特許文献１には、前記マッチング処理をどのようにするか開示されていないが、当該マッチング処理の手法としては、特許文献２に開示されているように、Ａｒｅａ−Ｂａｓｅｄマッチング法（以下、「ウインドウマッチング法」と称する。）が知られている。このウインドウマッチング法は、一方の画像における各点を含む周囲の領域の色情報から、当該色情報に相応する他方の画像中の領域を探索することにより、前記対応点を特定する手法である。つまり、一方の画像中の各点について、当該各点が中心となる一定範囲のマッチング領域を設定し、各マッチング領域に対し、それぞれ色情報が対応する他方の画像中の領域を探索し、当該領域の中心が前記対応点として決定される。

特開２００８−２９４９７号公報 特開２００４−１３２７５９号公報

しかしながら、前記ウインドウマッチング法を前記特許文献１に適用し、内視鏡から当該内視鏡で撮像された体内部位までの直線距離を求める場合には、次の問題がある。すなわち、臓器や血管等、内視鏡で撮像される体内部位は、その各領域間で色彩や模様等の色情報の差が少ないものと、各領域間で色情報の差がはっきりしたものとが存在する。そこで、各領域間で色情報の差が少ない体内部位で対応点探索を行う場合には、前記マッチング領域を大きくする必要がある。ところで、前記マッチング領域が大きくなる程、両画像間で色情報を対比する画素数が増えて複雑になるため、対応点探索に要する画像処理時間が増大する。従って、当該画像処理時間の短縮化の観点からは、マッチング領域を小さくする方が良いが、前記各領域間で色彩や模様等の色情報の差が少ない前者の場合は、マッチング領域を大きくせざるを得ない。しかしながら、全ての体内部位での対応点探索が可能となるようにマッチング領域の大きさを一定にしてしまうと、前記各領域間で色情報の差がはっきりした体内部位での対応点探索を行う際、マッチング領域を更に小さくしても十分に処理可能になることから、対応点探索時に不要な画像処理時間がかかってしまう。

本発明は、このような課題に着目して案出されたものであり、その目的は、撮像装置で撮像された体内部位に応じてマッチング領域の大きさを変えることにより、ステレオマッチング法による画像処理を効率的に行うことができる測距装置及びそのプログラム、並びに測距システムを提供することにある。

前記目的を達成するため、本発明は、ステレオ画像を取得可能な撮像装置により撮像された体内部位の画像データから、ステレオマッチング法を用いて前記撮像装置と前記体内部位との間の距離を求める測距装置において、
前記撮像装置で取得した画像データを予め記憶された体内部位の種類毎の画像データと対比することにより、前記撮像装置で撮像された体内部位の種類を特定する撮像部位特定手段と、当該撮像部位特定手段で特定された体内部位の種類に基づいて、ステレオマッチング時のマッチング領域の大きさを決定するマッチング領域決定手段と、当該マッチング領域決定手段で決定されたマッチング領域の大きさで、各画像データ間の対応点を探索することにより前記距離を求める距離計測手段とを備える、という構成を採っている。

また、前記撮像部位特定手段は、左右何れか一方の基準画像データ中に設定された基準領域における各ピクセルのＲＧＢ値から、前記基準領域内のＲＧＢ値毎の平均値を求める平均ＲＧＢ値演算部と、体内部位の種類毎にＲＧＢ値の範囲を区分けしてなる体内部位区分データが記憶されたデータ記憶部と、平均ＲＧＢ値演算部で求めたＲＧＢ値毎の平均値から、前記体内部位区分データを用いて、前記基準領域に映し出された体内部位の種類を特定する体内部位特定部とを備える、という構成を採っている。

ここで、前記体内部位区分データは、ＲＧＢ値を直交３軸とした３次元座標中の空間が体内部位の種類毎に仕切られてなり、
前記体内部位特定部では、前記ＲＧＢ値毎の平均値が属する前記３次元座標中の空間を特定し、当該空間に対応する体内部位の種類が、前記基準領域に映し出された体内部位の種類として特定される、という構成を採っている。

更に、前記マッチング領域決定手段は、マッチング領域の大きさが体内部位の種類毎に記憶されたマッチング領域記憶部と、前記体内部位特定部で特定された体内部位の種類に対応するマッチング領域の大きさを前記マッチング領域記憶部から抽出する抽出部とを備える、という構成を採っている。

また、本発明は、ステレオ画像を取得可能な撮像装置により撮像された体内部位の画像データから、ステレオマッチング法を用いて前記撮像装置と前記体内部位との間の距離を求める処理をコンピュータからなる測距装置に実行させるプログラムにおいて、
前記撮像装置で取得した画像データを予め記憶された体内部位の種類毎の画像データと対比することにより、前記撮像装置で撮像された体内部位の種類を特定する撮像部位特定手段と、当該撮像部位特定手段で特定された体内部位の種類に基づいて、ステレオマッチング時のマッチング領域の大きさを決定するマッチング領域決定手段と、当該マッチング領域決定手段で決定されたマッチング領域の大きさで、各画像データ間の対応点を探索することにより前記距離を求める距離計測手段として前記コンピュータを機能させる、という構成を採っている。

更に、本発明は、ステレオ画像を取得可能な撮像装置と、当該撮像装置により撮像された体内部位の画像データから、ステレオマッチング法を用いて前記撮像装置と前記体内部位との間の距離を求める測距装置とを備えた測距システムにおいて、
前記測距装置は、前記撮像装置で取得した画像データを予め記憶された体内部位の種類毎の画像データと対比することにより、前記撮像装置で撮像された体内部位の種類を特定する撮像部位特定手段と、当該撮像部位特定手段で特定された体内部位の種類に基づいて、ステレオマッチング時のマッチング領域の大きさを決定するマッチング領域決定手段と、当該マッチング領域決定手段で決定されたマッチング領域の大きさで、各画像データ間の対応点を探索することにより前記距離を求める距離計測手段とを備える、という構成を採っている。

本発明によれば、撮像装置で撮像された体内部位の種類が自動的に特定されるとともに、当該種類に応じてマッチング領域の大きさが自動的に変わることになり、一対の画像データの間で、色情報の差が少ない体内部位を撮像したときと、色情報の差がはっきりした体内部位を撮像したときとで、マッチング領域を最適な大きさにすることができる。その結果、前記各画像データ間のウインドウマッチングによる対応点探索に要する時間を最小限にすることができ、ステレオマッチング法による画像処理を効率的に行うことができる。

本実施形態に係る測距システムの構成を概略的に表したブロック図。

以下、本発明の実施形態について図面を参照しながら説明する。

図１には、本実施形態に係る医療用の測距システムの構成を概略的に表したブロック図が示されている。この図において、前記測距システム１０は、臓器や血管等の体内部位を被写体として撮像することで当該体内部位のステレオ画像を取得可能な撮像装置としての内視鏡１１と、当該内視鏡１１により撮像された体内部位の画像データから、ステレオマッチング法を用いて内視鏡１１と体内組織との間の距離を求める測距装置１２とを備えている。

前記内視鏡１１は、図示省略している２つのカメラを備えており、当該各カメラで撮像された体内部位における左右一対の画像データを取得し、当該各画像データを処理することで、撮像された体内部位を立体的に表示可能とする３次元の立体内視鏡である。この内視鏡１１は、公知のものが採用され、本発明の本質ではないため、構成等の詳細な説明は省略する。

前記測距装置１２は、ＣＰＵ等の演算処理装置及びメモリやハードディスク等の記憶装置等からなるコンピュータによって構成され、当該コンピュータを以下の各手段として機能させるためのプログラムがインストールされている。すなわち、測距装置１２は、内視鏡１１で取得した画像データを予め記憶された体内部位毎の画像データと対比することにより、内視鏡１１で撮像された体内部位の種類を特定する撮像部位特定手段１４と、撮像部位特定手段１４で特定された体内部位の種類に基づき、ステレオマッチング時のマッチング領域の大きさを決定するマッチング領域決定手段１５と、マッチング領域決定手段１５で決定されたマッチング領域の大きさで、各画像データ間の対応点を探索して内視鏡１１と体内部位との間の距離を求める距離計測手段１６とを備えている。

前記撮像部位特定手段１４は、左右何れか一方の画像データ（以下、「基準画像データ」と称する。）中に設定された基準領域における各ピクセルのＲＧＢ値から、基準領域内のＲＧＢ値毎の平均値（以下、「平均ＲＧＢ値」と称する。）を求める平均ＲＧＢ値演算部１８と、体内部位の種類毎にＲＧＢ値の範囲を区分けしてなる体内部位区分データが記憶されたデータ記憶部１９と、平均ＲＧＢ値演算部１８で求めた平均ＲＧＢ値から、データ記憶部１９で記憶された体内部位区分データを用いて、前記基準領域に映し出された体内部位の種類を特定する体内部位特定部２０とを備えている。

前記基準領域は、前記基準画像データの画像中央を中心とし、縦横それぞれ一定となるピクセル数で構成されるほぼ方形状の範囲としている。なお、本発明はこれに限らず、画像中央を中心としない特定領域を前記基準領域としても良いし、基準画像データの全域を前記基準領域としても良い。また、操作者が、内視鏡画像の中から対象としたい臓器や部位をマウス等の入力デバイスでクリッピングすることで、距離を測定する毎に前記基準領域を任意に定めることも可能である。

前記体内部位区分データは、次のように作成される。先ず、体内部位の種類毎に、つまり、臓器毎や体腔内の所定部位毎に予め取得した画像データについて、当該画像データを構成する各ピクセルのＲＧＢ値がそれぞれ測定される。そして、ＲＧＢ値からなる３次元ベクトルを各ピクセルそれぞれについて作成し、ＳＶＭ（サポートベクターマシーン）等のパターン認識手法を用いることにより、ＲＧＢ値を直交３軸とした３次元座標中の空間が体内部位の種類毎に仕切られ、体内部位区分データが作成される。

前記体内部位特定部２０では、平均ＲＧＢ値演算部１８で求めた平均ＲＧＢ値が、前記体内部位区分データ上で体内部位の種類毎に区分けされた座標空間のどこに属するかが判別され、平均ＲＧＢ値が属する前記座標空間が特定される。そして、当該座標空間に対応する体内部位の種類が、前記基準領域に映し出された体内部位の種類として特定される。

前記マッチング領域決定手段１５は、マッチング領域の大きさ、すなわち、マッチング領域の形状及び面積が、体内部位の種類毎に記憶されたマッチング領域記憶部２２と、マッチング領域記憶部２２から、体内部位特定部２０で特定された体内部位の種類に対応するマッチング領域の大きさを抽出する抽出部２３とを備えている。

なお、前記マッチング領域記憶部２２には、事前の試験研究等により得られたマッチング領域の大きさが記憶されている。すなわち、ここでは、事前に、体内部位の種類毎に、精度良くウインドウマッチングを行えるマッチング領域の大きさが調査検討され、その結果として得られたマッチング領域の大きさが採用されている。

前記距離計測手段１６では、次のステレオマッチング処理がなされる。すなわち、マッチング領域決定手段２２で決定されたマッチング領域の大きさで、左右何れか他方の画像データ、すなわち、基準画像データでない方の探索対象画像データがスキャンされる。そして、基準画像データ中の前記基準領域の色情報に相応する前記探索対象画像データの領域が特定され、前記基準領域内の各点に相当する前記探索対象画像データ中の各点が特定される。その後、これら各画像データ中の対応点にそれぞれについて、三角測量により、内視鏡１１の先端からの距離が演算で求められる。

次に、前記測距装置１２による処理手順について、例を挙げながら説明する。

例えば、内視鏡下手術時に、体表から腹腔部分に内視鏡１１が挿入されることで、処置の対象となる肝臓及びその周囲が内視鏡１１で撮像され、内視鏡１１からの３次元映像には、その中央付近に肝臓の表面が映っているとする。そこで、先ず、内視鏡１１から左右両側の画像データが測距装置１２に送られる。ここで、基準画像データとする左側の画像データ中、肝臓の表面部分が映っている中央部分が前記基準領域となる。次いで、撮像部位特定手段１４では、前記基準領域の各ピクセルのＲＧＢ値が測定されて前記平均ＲＧＢ値が求められた上で、体内部位区分データから、前記基準領域の被写体が肝臓であると特定される。そして、マッチング領域決定手段１５では、マッチング領域記憶部２２で予め記憶されたデータから、肝臓の場合のマッチング領域の大きさが抽出される。その後、距離計測手段１６では、決定されたマッチング領域の大きさで前記探索対象画像データとなる右側の画像データがスキャンされ、各画像データ間の色彩の濃淡差を利用して、左右両側の画像データにおける肝臓表面の各対応点が特定され、三角測量によって、肝臓表面の各対応点における内視鏡１１の先端からの距離が求められる。

なお、以上のように求められた距離データは、手術者が視認するディスプレイやモニタ等の表示装置（図示省略）に表示しても良いし、ある一定値以下になった場合に、図示しないスピーカから警告音を発するための情報として利用しても良い。また、前記距離データは、マスタースレーブ方式等の手術支援ロボットにおいて、内視鏡や手術器具が先端に取り付けられたマニピュレータの動作制御に用いることも可能である。

従って、このような実施形態によれば、内視鏡１１で撮像された体内部分と内視鏡１１の先端との直線距離をステレオマッチング法で求める場合、そのマッチング領域の大きさを体内部分の種類に応じて自動的に選択することができる。このため、表面模様が規則的か或いは全く無い臓器等の体内部分は、マッチング領域を広く取って対応点探索の精度を上げる一方、表面模様が不規則な臓器等の体内部分は、対応点探索が可能な程度にマッチング領域を狭くすることができ、対応点探索を短時間で効率良く行うことが可能になる。

なお、本発明で用いられる撮像装置としては、前述の内視鏡１１に限定されず、撮像対象の体内部位の画像を一定の２方向からそれぞれ取得可能な撮像装置であれば何でも良く、また、１方向の画像が得られる撮像装置を異なる位置で２つ配置することも可能である。

その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。

本発明は、手術時や検査時に内視鏡で撮像した体内部位に対する状況を把握するための医療支援機器として利用できる等、撮像装置で撮像された被写体と撮像装置との距離を自動的に測定可能な装置として利用可能となる。

１０ 測距システム
１１ 内視鏡（撮像装置）
１２ 測距装置
１４ 撮像部位特定手段
１５ マッチング領域決定手段
１６ 距離計測手段
１８ 平均ＲＧＢ値演算部
１９ データ記憶部
２０ 体内部位特定部
２２ マッチング領域記憶部
２３ 抽出部

Claims (6)

1. ステレオ画像を取得可能な撮像装置により撮像された体内部位の画像データから、ステレオマッチング法を用いて前記撮像装置と前記体内部位との間の距離を求める測距装置において、
   前記撮像装置で取得した画像データを予め記憶された体内部位の種類毎の画像データと対比することにより、前記撮像装置で撮像された体内部位の種類を特定する撮像部位特定手段と、当該撮像部位特定手段で特定された体内部位の種類に基づいて、ステレオマッチング時のマッチング領域の大きさを決定するマッチング領域決定手段と、当該マッチング領域決定手段で決定されたマッチング領域の大きさで、各画像データ間の対応点を探索することにより前記距離を求める距離計測手段とを備えたことを特徴とする測距装置。
2. 前記撮像部位特定手段は、左右何れか一方の基準画像データ中に設定された基準領域における各ピクセルのＲＧＢ値から、前記基準領域内のＲＧＢ値毎の平均値を求める平均ＲＧＢ値演算部と、体内部位の種類毎にＲＧＢ値の範囲を区分けしてなる体内部位区分データが記憶されたデータ記憶部と、平均ＲＧＢ値演算部で求めたＲＧＢ値毎の平均値から、前記体内部位区分データを用いて、前記基準領域に映し出された体内部位の種類を特定する体内部位特定部とを備えたことを特徴とする請求項１記載の測距装置。
3. 前記体内部位区分データは、ＲＧＢ値を直交３軸とした３次元座標中の空間が体内部位の種類毎に仕切られてなり、
   前記体内部位特定部では、前記ＲＧＢ値毎の平均値が属する前記３次元座標中の空間を特定し、当該空間に対応する体内部位の種類が、前記基準領域に映し出された体内部位の種類として特定されることを特徴とする請求項２記載の測距装置。
4. 前記マッチング領域決定手段は、マッチング領域の大きさが体内部位の種類毎に記憶されたマッチング領域記憶部と、前記体内部位特定部で特定された体内部位の種類に対応するマッチング領域の大きさを前記マッチング領域記憶部から抽出する抽出部とを備えたことを特徴とする請求項１、２又は３記載の測距装置。
5. ステレオ画像を取得可能な撮像装置により撮像された体内部位の画像データから、ステレオマッチング法を用いて前記撮像装置と前記体内部位との間の距離を求める処理をコンピュータからなる測距装置に実行させるプログラムにおいて、
   前記撮像装置で取得した画像データを予め記憶された体内部位の種類毎の画像データと対比することにより、前記撮像装置で撮像された体内部位の種類を特定する撮像部位特定手段と、当該撮像部位特定手段で特定された体内部位の種類に基づいて、ステレオマッチング時のマッチング領域の大きさを決定するマッチング領域決定手段と、当該マッチング領域決定手段で決定されたマッチング領域の大きさで、各画像データ間の対応点を探索することにより前記距離を求める距離計測手段として前記コンピュータを機能させることを特徴とする測距装置のプログラム。
6. ステレオ画像を取得可能な撮像装置と、当該撮像装置により撮像された体内部位の画像データから、ステレオマッチング法を用いて前記撮像装置と前記体内部位との間の距離を求める測距装置とを備えた測距システムにおいて、
   前記測距装置は、前記撮像装置で取得した画像データを予め記憶された体内部位の種類毎の画像データと対比することにより、前記撮像装置で撮像された体内部位の種類を特定する撮像部位特定手段と、当該撮像部位特定手段で特定された体内部位の種類に基づいて、ステレオマッチング時のマッチング領域の大きさを決定するマッチング領域決定手段と、当該マッチング領域決定手段で決定されたマッチング領域の大きさで、各画像データ間の対応点を探索することにより前記距離を求める距離計測手段とを備えたことを特徴とする測距システム。

Images