JP2010099178A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】全方位アタッチメントを用いた内視鏡で撮像された画像から、死角のない直感的に理解し易い画像を生成することができる画像処理装置を提供する。
【解決手段】画像入力部２２１により入力された時系列の画像の各々を、球面座標系に配置した画像である変換後画像に変換する画像変換部２２２と、時系列の変換後画像を用いて、各変換後画像の各画素における動きベクトルを算出する動きベクトル算出部（時空間画像作成部２２３〜動きベクトル抽出部２２６）と、時系列の変換後画像の各々について、当該変換後画像に含まれるカメラの死角部分の画素の画素値を、当該画素における動きベクトルにより特定される他の変換後画像の死角部分以外の対応点の画素値を用いて補間する画素値補間部２２７とを備える。
【選択図】図１２

Description

本発明は、プローブ型の内視鏡で撮影された画像を処理する画像処理装置に関し、特に、ミラーを介して撮像された側後方視野の画像を含む画像を処理する画像処理装置に関する。

食道、胃、十二指腸、又は大腸の観察を行う内視鏡検査は、日本国内において年間５００万例、米国６２０万例、英仏独の欧州三カ国で３２０万例という、消化器疾患において最もポピュラーな検査方法の一つである。診断においては、医師がディスプレイ装置に映し出された前方画像を確認しながら、内視鏡の挿入、姿勢変更を行う。特に、大腸内視鏡検査においては、腸管の形状に合わせて、内視鏡のプローブを湾曲させながら挿入し、大腸を検査する必要がある。しかし、限られた前方視野での観察は、疾患の見落としや全体把握の困難さなどの理由により、最適な観測とは限らない。例えば、横行結腸から下行結腸に変わる屈曲部などでは、通常、屈曲部の内側がカメラの死角となり、病巣の見落としの原因となる。また腸のひだも前方からでは、その裏側（ひだの裏側）が観察できない。このため、側後方を観察するために内視鏡を腸管内で反転させるなどしなければならず、医師、患者双方への負担も大きい。すなわち、前方視野は、プローブの挿入操作や鉗子の操作に適しているが、病巣発見においては必ずしも最適ではない。むしろ、消化管壁面を一度に観察できる側後方３６０度パノラマ観察が望ましい。

従来、側方を観察することのできる内視鏡として、胃壁面や十二指腸用として斜視型や側視型のスコープが製品化され、その利用法が研究されている（例えば、非特許文献１参照。）。しかし、いずれのスコープも、視野は限定され、側後方３６０度パノラマ観察はできない。側後方３６０度を観測できる内視鏡としては、後ろ向きに取り付けられたカメラを併用するシステム（例えば、非特許文献２参照。）、内視鏡先端に放物面鏡を取り付けるシステム（例えば、非特許文献３参照。）が提案されている。しかし、非特許文献２では鉗子口に２つ目のカメラを取り付ける構造であるため、鉗子を使用することができないという問題がある。また非特許文献３では内視鏡先端をカプセルで覆い、放物面鏡の中心に僅かな穴が空いている構造であるため、鉗子操作ができず前方視野が狭い、という問題点がある。また、カプセルは取り付け型ではないため従来の内視鏡を利用することができないという問題点もある。

本願発明者らは、上記課題を解決する手段として、内視鏡に装着する全方位アタッチメントを利用し、側後方視野を獲得する手法を提案している（例えば、特許文献１参照。）。図１は、内視鏡の先端部及びその先端部に取り付けられた全方位アタッチメントの外観図である。全方位アタッチメントを用いることにより、通常の内視鏡先端に環状凸面鏡を装着することができる。このため、前方視野だけでなく、側方周囲３６０度を同時に照明し観察できる。よって、腸管の屈曲部及びひだの裏側が確実に観察可能である。この全方位アタッチメントは、複雑な内視鏡操作の必要なく側後方の観察を容易にする。図２（ａ）及び図２（ｂ）は、全方位アタッチメントを用いた内視鏡を用いて、異なる時刻において撮像された画像を示す図である。領域２０１及び２０３は、前方視野の画像領域であり、領域２０２は、凸面鏡に映った側後方視野の画像領域である。
特開２００８−１８８３３２号公報 山口，中本，佐藤，橋爪，菅野，吉川，田村："斜視内視鏡のカメラモデルとキャリブレーション法の開発"，電子情報通信学会論文誌，Ｊ８７−Ｄ−ＩＩ，１，ｐｐ．３１３−３２４（２００４）． Ｇ．Ｔｒｉａｄａｆｉｌｏｐｏｕｌｏｓ，Ｈ．Ｄ．Ｗａｔｔｓ，Ｊ．Ｈｉｇｇｉｎｓ ａｎｄ Ｊ．Ｖ．Ｄａｍ："Ａ ｎｏｖｅｌ ｒｅｔｒｏｇｒａｄｅ−ｖｉｅｗｉｎｇ ａｕｘｉｌｉａｒｙ ｉｍａｇｉｎｇ ｄｅｖｉｃｅ （ｔｈｉｒｄ ｅｙｅ ｒｅｔｒｏｓｃｏｐｅ） ｉｍｐｒｏｖｅｓ ｔｈｅ ｄｅｔｅｃｔｉｏｎ ｏｆ ｓｉｍｕｌａｔｅｄ ｐｏｌｙｐｓ ｉｎ ａｎａｔｏｍｉｃ ｍｏｄｅｌｓ ｏｆ ｔｈｅ ｃｏｌｏｎ"，Ｇａｓｔｒｏｉｎｔｅｓｔｉｎａｌ Ｅｎｄｏｓｃｏｐｙ，６５，１，ｐｐ．１３９−１４４（２００７）． Ｎ．Ａｒｂｅｒ，Ｒ．Ｇｒｉｎｓｈｐｏｎ，Ｌ．Ｍａｏｒ，Ｓ．Ｂａｒ−Ｍｅｉｒ ａｎｄ Ｄ．Ｒｅｘ："Ｐｒｏｏｆ−ｏｆ−ｃｏｎｃｅｐｔ ｓｔｕｄｙ ｏｆ ｔｈｅ Ａｅｒ−Ｏ−ｓｃｏｐｅ ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ ｃｏｌｏｎｏｓｃｏｐｉｃ ｖｉｅｗｉｎｇ ｓｙｓｔｅｍ ｉｎ ｅｘ ｖｉｖｏ ａｎｄ ｉｎ ｖｉｖｏ ｐｏｒｃｉｎｅ ｍｏｄｅｌｓ"，Ｅｎｄｏｓｃｏｐｙ，３９，１，ｐｐ．４１２−４１７（２００７）．

このように、全方位アタッチメントを用いた場合には、内視鏡前方に凸面鏡を装着するため前方視野が一部見えなくなるという問題がある。また凸面鏡に映った側後方の画像は実際の画像を反転した画像であるため、初心者が直感的に理解し易い画像ではないという問題がある。

本発明は、上述の課題を解決するためになされたものであり、全方位アタッチメントを用いた内視鏡で撮像された画像から、死角のない直感的に理解し易い画像を生成することができる画像処理装置を提供することを目的とする。

上記目的を達成するために、本発明に係る画像処理装置は、プローブ先端に内視鏡アタッチメントが取り付けられた内視鏡で撮影された画像を処理する画像処理装置であって、前記内視鏡アタッチメントは、前記内視鏡のプローブ先端が挿入される筒状体と、前記筒状体に取り付けられ、開口が設けられたミラーとを備え、前記ミラーは、前記プローブの側後方画像を、前記ミラーを介して前記プローブに設けられたカメラに導き、前記プローブの前方画像を、前記ミラーの開口を介して前記カメラに導く位置に取り付けられ、前記画像処理装置は、前記カメラにより撮像された時系列の画像を入力する画像入力部と、前記画像入力部により入力された時系列の画像の各々を、球面座標系に配置した画像である変換後画像に変換する画像変換部と、時系列の変換後画像を用いて、各変換後画像の各画素における動きベクトルを算出する動きベクトル算出部と、前記時系列の変換後画像の各々について、当該変換後画像に含まれる前記カメラの死角部分の画素の画素値を、当該画素における動きベクトルにより特定される他の変換後画像の死角部分以外の対応点の画素値を用いて補間する画素値補間部とを備える。

カメラにより撮像された時系列の画像を球面座標系に配置した画像に変換している。このことにより、側後方の画像を、内視鏡の後方から前方に向かって撮影した画像のように見ることが可能となり、初心者が直感的に理解し易い画像となる。また、死角部分の画素の画素値を、他の交換後画像の対応点における死角部分以外の画素値を用いて補間することができる。このため、死角のない画像を生成することができる。

なお、本発明は、このような特徴的な処理部を備える画像処理装置として実現することができるだけでなく、画像処理装置に含まれる特徴的な処理部をステップとする画像処理方法として実現することができる。また、画像処理方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。

本発明によると、全方位アタッチメントを用いた内視鏡で撮像された画像から、死角のない直感的に理解し易い画像を生成することができる。

以下、本発明の実施の形態に係る内視鏡システムについて図面を参照しながら詳細に説明する。

図３は、本発明の実施の形態に係る内視鏡システムの構成を示す図である。内視鏡システムは、プローブ型内視鏡２０と、プローブ型内視鏡２０に接続された画像処理装置２２と、画像処理装置２２に接続されたディスプレイ装置２８とから構成される。プローブ型内視鏡２０の先端部２４には、内視鏡アタッチメント４０が取り付けられている。

図４は、内視鏡アタッチメント４０の外観図であり、図５は、内視鏡アタッチメント４０の側面図である。

内視鏡アタッチメント４０は、筒状体１００と、画像取り込み部１１０とから構成される。

筒状体１００は、プローブへの取り付けに用いられ、プローブ型内視鏡２０の先端部２４を覆うように先端部２４と嵌合される。

画像取り込み部１１０は、前方視野及び側後方視野の画像を取り込む。画像取り込み部１１０は、リング状又は筒状の筒状体１１４と、例えば３本の支持棒１１１と、リング形状の凸型ミラー１１２とから構成される。なお、筒状体１００に固定されたリング形状のミラーは、平面ミラーであってもよい。筒状体１１４は、筒状体１００の周壁外面に沿って、筒状体１００に固定されている。支持棒１１１は、筒状体１１４の外周に沿って配置される。凸型ミラー１１２は、支持棒１１１により筒状体１１４に支持される。

図６（ａ）は上記構成を有する内視鏡アタッチメント４０が取り付けられたプローブ型内視鏡２０の先端部分の外観図であり、図６（ｂ）はプローブ型内視鏡２０の先端部分の上面図である。また、図７（ａ）及び図７（ｂ）は同内視鏡の断面図（図６（ａ）のＡ−Ａ’線及びＢ−Ｂ’線における断面図）である。

プローブ型内視鏡２０の先端部２４に設けられたカメラ２００は、内視鏡アタッチメント４０を介して得られた前方及び側後方の画像を取り込む。先端部２４の２つの照明２３０及び２４０は、プローブ前方に照明光を供給する。この照明光の一部は、凸型ミラー１１２の照明２３０及び２４０と対向する反射面により拡散されて、内視鏡アタッチメント４０の側後方に供給され、それ以外の照明光は、内視鏡アタッチメント４０の前方に供給される。

凸型ミラー１１２は、双曲面を有し、広角の側後方視野からの入射光を反射し、カメラ２００に導く。これによって、２葉双曲面の一方の双曲面の形状をしたミラーである双曲面ミラーが形成され、図７（ａ）に示すように、カメラ２００の撮像面では、側後方の広角視野が結像される。このとき、前方画像をカメラ２００に取り込ませるために、凸型ミラー１１２の双曲面の中央部には、開口１１５が設けられている。双曲面ミラーを用いたカメラとしては、山澤らにより提案されたＨｙｐｅｒ Ｏｍｎｉ Ｖｉｓｉｏｎがあり、詳細については、後述する。また、双曲面ミラーによって得られる側後方視野（図２（ａ）及び図２（ｂ）における領域２０２）は、撮像面上で前方視野（同図における領域２０１及び２０３）に隣接するが、不連続な視野となる。

このとき、照明光の全てが凸型ミラー１１２に入ると、内視鏡アタッチメント４０前方に照明光を供給できなくなり、プローブの操作が困難になる。よって、照明光の一部が内視鏡アタッチメント４０前方に供給されるように、開口１１５の位置及び大きさが調節される。また、凸型ミラー１１２による照明光の正反射光が先端部２４のカメラ２００に入らないように、凸型ミラー１１２の照明光をカメラ２００に向けて正反射させる部分に開口１１５が設けられる。さらに、水噴射ノズル２１０による洗浄及び鉗子の出し入れを邪魔しないように、凸型ミラー１１２の水噴射ノズル２１０及び鉗子口２２０の前方に位置する、水噴射ノズル及び鉗子の可動域に開口１１５が設けられる。さらにまた、凸型ミラー１１２の外径が大きくなるにつれて側後方視野が広くなるため、凸型ミラー１１２の外径は、必要な側後方視野の広さにより決定される。なお、凸型ミラー１１２の外周における曲率は、凸型ミラー１１２の最大高と凸型ミラー１１２の最小仰角とから決定される。また、凸型ミラー１１２の開口１１５における曲率は、プローブが像面に射影されないような曲率に決定される。さらに、凸型ミラー１１２の開口１１５の径は、ミラー面での正反射光が像面に入射せず、かつ鉗子口２２０の可動域を遮蔽しない大きさに決定される。

次に、前述した双曲面ミラーを用いたカメラについて説明する。すなわち、双曲面ミラーを用いたカメラの画像を入力とした画像処理について説明する。

図８を参照して、双曲面ミラー４２は、２葉双曲面のうちＺ＞０の領域にある双曲面をミラーとして用いたものである。２葉双曲面とは双曲線を実軸（Ｚ軸）周りに回転することで得られる曲面である。２葉双曲面は、（０，０，＋ｃ）と（０，０，−ｃ）との２つの焦点を持つ。ただし、
である。ここで、図９に示すようにＺ軸を鉛直軸とする３次元座標系Ｏ−ＸＹＺを考える。この時２葉双曲面は以下の式（１）で表わされる。

なお、定数ａ及びｂは、双曲線の形状を定義するものである。図９を参照して、全方位カメラＨｙｐｅｒ Ｏｍｎｉ Ｖｉｓｉｏｎは、鉛直下向きに設置されたＺ＞０の領域にある双曲面ミラー４２とその下に鉛直上向きに設置された撮像部（図示せず）とから構成される。この時、双曲面ミラー４２の焦点ＯＭ及びカメラのレンズ中心ＯＣは、それぞれ２葉双曲面の２つの焦点（０，０，＋ｃ）及び（０，０，−ｃ）に位置するように双曲面ミラー４２及び撮像部が配置される。画像面ｘｙはＸＹ平面に平行で、かつ撮像部のレンズ中心ＯＣからカメラの焦点距離ｆだけ離れた平面とする。双曲面ミラー４２の反射面、双曲面ミラー４２の焦点ＯＭ及びカメラのレンズ中心ＯＣは以下の式（２）で表わされる。

図１０を参照して、空間中の任意の点Ｐ（Ｘ，Ｙ，Ｚ）に対する画像上での写像点をｐ（ｘ，ｙ）とした時、点Ｐの方位角θは以下の式（３）で表わされる。

すなわちＹ／Ｘで定められる点Ｐの方位角θは、ｙ／ｘで定められる写像点ｐの方位角θを算出することにより得られる。このように３６０度パノラマ状の領域内にある対象物体の方位角θが、その物体の画像面上の写像の方位として直接現れる。

また、図１１を参照して、点ＰとＺ軸とを含む鉛直断面を想定すると、点Ｐと写像点ｐとの間には、以下の式（４）の関係が成立つ。

すなわち双曲面ミラー４２の焦点ＯＭからの点Ｐの方位角θ及び俯角αは、カメラのレンズ中心ＯＣを双曲面の焦点位置に設けることで、写像点ｐ（ｘ，ｙ）より、一意に求められる。この時、双曲面ミラー４２の焦点ＯＭは固定されているため、入力画像を双曲面ミラー４２の焦点ＯＭからみたカメラを鉛直軸周りに回転して得られる画像（パノラマ画像）または通常のカメラの画像に変換できる。

全方位カメラＨｙｐｅｒ Ｏｍｎｉ Ｖｉｓｉｏｎに関しては、「山澤一誠他：“移動ロボットのナビゲーションのための全方位視覚センサ”，電子情報通信学会論文誌Ｄ−ＩＩＶｏｌ．Ｊ７９−Ｄ−ＩＩＮｏ．５ｐｐ．６９８−７０７（１９９６年５月）」などに詳しく開示されている。

次に、画像処理装置２２について説明する。

図１２は、画像処理装置２２の構成を示すブロック図である。画像処理装置２２は、プローブ型内視鏡２０より入力された画像を処理し、死角のない直感的に理解し易い画像を出力する装置であり、画像入力部２２１と、画像変換部２２２と、時空間画像作成部２２３と、スライス画像作成部２２４と、エッジ抽出部２２５と、動きベクトル抽出部２２６と、画素値補間部２２７とを含む。

画像入力部２２１は、プローブ型内視鏡２０において取り込まれた時系列の画像を入力する処理部である。

画像変換部２２２は、画像入力部２２１で入力された各画像を、球面座標系に配置した画像（以下、「変換後画像」という。）に変換する処理部である。

時空間画像作成部２２３は、画像変換部２２２で変換された後の変換後画像を時系列に並べた３次元の時空間画像を作成する処理部である。

スライス画像作成部２２４は、時空間画像作成部２２３で作成された時空間画像を複数の所定面で切断することにより、複数のスライス画像をそれぞれ作成する処理部である。

エッジ抽出部２２５は、スライス画像作成部２２４で作成された各スライス画像に含まれるエッジを抽出し、抽出されたエッジをラベル付けする処理部である。

動きベクトル抽出部２２６は、エッジ抽出部２２５でラベル付けされた各エッジに基づいて、変換後画像のエッジにおける動きベクトルを算出し、算出されたエッジにおける動きベクトルを、画像中の各点に伝播させることにより、各点における動きベクトルを抽出する処理部である。

画素値補間部２２７は、動きベクトル抽出部２２６で算出された各点の動きベクトルに基づいて、変換後画像の死角部分の画素値を、他の時刻における変換後画像の画素値を用いて補間し、補間後の画像をディスプレイ装置２８に出力する処理部である。

次に、画像処理装置２２の動作について説明する。

図１３は、画像処理装置２２が実行する処理のフローチャートである。

画像入力部２２１は、プローブ型内視鏡２０において取り込まれた時系列の画像を入力する（Ｓ１）。図２（ａ）及び図２（ｂ）の各々は、ある時刻においてプローブ型内視鏡２０に取り込まれた画像の一例を示している。領域２０２は、凸面鏡に映った側後方視野の画像領域である。このため、領域２０２に含まれる各点の動きベクトルと、前方視野の画像領域である領域２０１及び２０３に含まれる各点の動きベクトルとは向きが異なる。つまり、図１４（ａ）に示すように、プローブを体内に挿入する際には、領域２０１及び２０３に含まれる各点の動きベクトルは、画像の中心から外側へ放射状に向かう方向である。これに対して、領域２０２に含まれる各点の動きベクトルは、画像の外側から中心へ放射状に向かう方向である。また、図１４（ｂ）に示すように、プローブを体内から引き出す際には、領域２０１及び２０３に含まれる各点の動きベクトルは、画像の外側から中心へ放射状に向かう方向である。これに対して、領域２０２に含まれる各点の動きベクトルは、画像の中心から外側へ放射状に向かう方向である。このように、プローブを一方向に動かしているにもかかわらず、領域２０１及び２０３と、領域２０２とでは、動きの逆転が生じるため、初心者には直感的に理解しにくい画像である。

このため、画像変換部２２２は、画像入力部２２１が入力した画像に対して、側後方の画像である領域２０２の画像を球面座標系に配置するような変換を施す（Ｓ２）。ここで、球面座標系の中心は、カメラ２００の前方であり、かつカメラ２００の視線軸上の所定位置に設けられる。このような変換を行うことにより、図２（ａ）又は図２（ｂ）に示した画像が、図１５に示すような画像に変換される。つまり、図２（ａ）又は図２（ｂ）に示す領域２０２と、領域２０１との位置関係が逆転し、図１５では、領域２０２に対応する領域２０２ａが領域２０１の外側に配置される。また、領域２０２ａと領域２０１とでは、内と外とが反転している。

図８〜図１１を参照して説明した方法により、領域２０２に含まれる点ｐ（ｘ，ｙ）と、点ｐの３次元空間中における点Ｐ（Ｘ，Ｙ，Ｚ）との関係が式（４）に示されている。したがって、この関係を用いることにより、点ｐに対応する球面座標系における点の座標（領域２０２ａの座標）を計算することも可能である。しかし、ここでは、処理の簡単のために以下のような方法により領域２０２ａの座標を算出する。

まず、図１６（ａ）に示すように、画像変換部２２２は、画像中の側後方視野の領域２０２と特定する。凸型ミラー１１２とカメラ２００との位置関係が予め定められているため、画像中における領域２０２の位置も予め定められている。次に、画像変換部２２２は、領域２０２を所定の大きさの三角形パッチに分解する。図１６（ａ）には、分解された後の複数の三角パッチのうちの１つの三角パッチ２０４を示している。図１６（ｂ）に示すように、画像変換部２２２は、領域２０１の外側に楕円環の領域２０２ａを設定し、内外を反転させて（画像の中心側（内側）の画素が画像の外側に、画像の外側の画素が中心側（内側）に来るように反転させて）、全ての三角形パッチを貼り付ける。図１６（ｂ）では、三角パッチ２０４の向きが、図１６（ａ）とは異なることが分かる。三角パッチの貼り付け方を、より詳細に説明すると、まず、凸型ミラー１１２を支える支持棒１１１が領域２０２ａと領域２０１とで直線上に並ぶように、内外を反転させた三角パッチを伸縮させながら貼り付ける。次に、領域２０２ａの全ての面が三角パッチで覆われるように、支持棒１１１間の三角パッチを、内外を反転させ、かつ、伸縮させながら貼り付ける。このような方法で画像変換を行うことにより、図１７（ａ）に示すように、プローブを体内に挿入する際には、領域２０１、２０２ａ及び２０３に含まれる全ての点の動きベクトルの方向は、画像の中心から外側へ放射状に向かう方向となる。また、プローブを体内から引き出す際には、領域２０１、２０２ａ及び２０３に含まれる全ての点の動きベクトルの方向は、画像の外側から中心へ放射状に向かう方向となる。このように放射線方向に動きがそろっているため、初心者にとって直感的に理解し易い画像を生成することができる。

図１６（ｂ）に示すように、凸型ミラー１１２で反射された画像があった領域２０５、及び領域２０１と領域２０２ａとの間の領域２０６には、隙間（図１５の黒い部分）が生じる。これらの領域は、カメラ２００の死角となっている部分である。以下の処理では、この死角部分を、時間的に前又は後の画像から補間する。

時間的に前後の画像から死角部分を埋めるためには、見えている部分の画像がどのように変化したかという動きの情報を調べることが必要である。本実施の形態では時間的に隣接する画像同士の対応点を調べることによって動きの情報を調べる。プローブ型内視鏡２０のカメラ２００で撮影する腸管内壁の画像は、これまでコンピュータビジョンの分野で対象としていた画像とは大きく異なる。内視鏡画像の特徴は、腸管内壁のひだであり、円周方向に伸びるエッジとして写る。このエッジを特徴量として動きの解析を行う。

時空間画像作成部２２３は、画像変換部２２２で変換された後の変換後画像を時系列に並べることにより、図１８又は図１９（ａ）に示すような３次元の時空間画像を作成する（Ｓ３）。つまり、ｘ軸座標及びｙ軸座標により画素位置が特定される２次元の変換後画像を、ｔ軸（時間軸）方向に並べた３次元の画像を作成する。

スライス画像作成部２２４は、時空間画像作成部２２３で作成された時空間画像をｔ軸に平行な面で切断することにより、切断面の画像であるスライス画像を作成する（Ｓ４）。ここで、図１８に示すように、ｘｙ平面上で、画像の中心を通る、１０本の直線ｓｌｉｃｅ０〜ｓｌｉｃｅ９を考える。スライス画像作成部２２４は、１０本の直線ｓｌｉｃｅ０〜ｓｌｉｃｅ９の各々とｔ軸との張る平面で時空間画像を切断し、切断面の画像であるスライス画像を作成する。つまり、１０枚のスライス画像が作成されることになる。ここでは、隣接する２つの直線がなす角度は、全ての直線の組み合わせにおいて等しいものとしているが、異なっていてもよい。また、直線の本数は１０本に限定されるものではない。図１９（ｂ）は、図１９（ａ）に示される時空間画像を、直線ｓｌｉｃｅ０とｔ軸との張る平面で切断することにより作成されたスライス画像である。このスライス画像は、横軸がｔ軸であり、縦軸が直線ｓｌｉｃｅ０上の軸である。図１９（ｃ）は、図１９（ｂ）の一部を拡大した図である。

上述のように、腸管内壁のひだは円周方向に伸びるため、放射線方向のスライス画像においてエッジを追跡することによって、ひだの動きを追跡できる。つまり、スライス画像上でのエッジの傾きの大きさと、そのエッジにおける放射線方向の動きの大きさとが比例する。エッジ抽出部２２５は、各スライス画像から、Ｃａｎｎｙフィルタを用いてエッジを抽出する（Ｓ５）。図２０（ａ）は、スライス画像の一例を示しており、図２０（ｂ）は、図２０（ａ）に示すスライス画像から、Ｃａｎｎｙフィルタを用いてエッジを抽出することにより得られるエッジ画像を示している。また、図２０（ｃ）は、図２０（ｂ）に示すエッジ画像の一部を拡大した図である。なお、エッジ抽出に用いられるフィルタは、Ｓｏｂｅｌフィルタや、微分フィルタなどの他のエッジ抽出用のフィルタであっても良い。

腸管内壁のひだの動きはｔ軸方向に単調であるという条件と、ひだの動きに分岐はないという条件とに基づいて、エッジ抽出部２２５は、エッジ画像から余分なエッジを除去し、連続しているエッジに同一のラベルを付ける（Ｓ６）。例えば、図２１（ａ）に示すようなエッジ画像から、余分なエッジを除去すると、図２１（ｂ）に示すようなエッジ画像が得られる。この画像は、上記条件を考慮して、図２１（ａ）に示す画像から、例えば、極端に短いエッジ、ループ形状のエッジ、エッジの分岐部分等が取り除かれることにより得られる。図２１（ｃ）は、図２１（ｂ）に示したエッジ画像をラベル付けすることにより得られるラベル画像である。図２１（ｃ）では、ラベルの違いを濃淡の違いで表している。同一のラベルが付された画素を追跡することにより、各エッジの追跡が可能となる。

動きベクトル抽出部２２６は、各時刻における変換後画像の動きベクトルを算出する（Ｓ７）。具体的には、図２２（ａ）に示すようなエッジ画像において、ｔ＝ｔｎの直線と交わるエッジ位置を求める。その位置を、図２２（ｂ）に示すような時刻ｔｎの変換後画像に投影する。図２２（ｂ）の丸印が投影点である。また、エッジ位置の動きベクトルの大きさは、エッジ画像におけるエッジ位置でのエッジの傾きとして求められる。例えば、時刻ｔｎにおいてラベルＬが付されたエッジの座標を（ｔ，ｓｌｉｃｅ０）＝（ｔｎ，ｘＬｔｎ）とし、隣接する時刻ｔ（ｎ−１）において同一のラベルＬが付されたエッジの座標を（ｔ，ｓｌｉｃｅ０）＝（ｔ（ｎ−１），ｘＬｔ（ｎ−１））とする。このとき、ｓｌｉｃｅ０軸方向の動きベクトルは、
として求めることができる。

動きベクトル抽出部２２６は、このような動きベクトルを、全てのスライス画像から得られるエッジ画像を用いて求めることにより、時刻ｔｎにおける変換後画像の動きベクトルを算出する。この動きベクトルの算出処理を全ての時刻について行うことにより、全ての時刻における変換後画像の動きベクトルが算出される。

Ｓ７の処理で算出された動きベクトルはスライス上のエッジにおける疎なデータである。そこで、動きベクトル抽出部２２６は、時刻ごとに、変換後画像中の全ての点で動きベクトルを求めるために、各点でエッジの動きベクトルの重み付き平均を計算し、動きベクトルの補間を行う（Ｓ８）。例えば、座標（ｘ_p，ｙ_p）における動きベクトル（ｍｘ_p，ｍｙ_p）は、
により算出される。ここで、（ｍｘ_i，ｍｙ_i）は、時系列画像中に存在するエッジの座標（ｘ_i，ｙ_i）における動きベクトルを示し、ａ_iは、（ｘ_p，ｙ_p）から（ｘ_i，ｙ_i）までの距離が大きいほど小さくなる重みである。つまり、近傍に存在する動きベクトルの重みを大きくして動きベクトルの補間を行う。ここで、動きベクトル（ｍｘ_p，ｍｙ_p）は、変換後画像中の全てのエッジの座標における動きベクトル（ｍｘ_i，ｍｙ_i）を用いて算出してもよいし、座標（ｘ_p，ｙ_p）から所定の距離内にあるエッジ座標における動きベクトル（ｍｘ_i，ｍｙ_i）を用いて算出してもよい。

腸管内壁のひだは、滑らかに変化する。しかし、Ｓ８の処理で求められた密な動きベクトルは、滑らかさの拘束条件を考慮していない。そこで、動きベクトル抽出部２２６は、隣接する動きベクトルの間に弾性係数を導入し、次式で示されるコスト関数Ｅの値を最小化することによって、滑らかな動きベクトルを求める（Ｓ９）。

ここで、Ｅ_Dは、時間的に隣接する画像の対応点同士のテクスチャの差を表すデータ項である。Ｅ_Rは、動きベクトルの滑らかさの拘束条件を表す正規化項である。Ｅ_Dには、下記のような画素値の差を用いる。

ここで、Ｒ_t（ｘ，ｙ）は、時刻ｔの変換後画像の座標（ｘ，ｙ）におけるＲの値を示し、Ｒ_t-1（ｘ，ｙ）は、時刻ｔ−１の変換後画像の座標（ｘ，ｙ）におけるＲの値を示す。また、Ｇ_t（ｘ，ｙ）は、時刻ｔの変換後画像の座標（ｘ，ｙ）におけるＧの値を示し、Ｇ_t-1（ｘ，ｙ）は、時刻ｔ−１の変換後画像の座標（ｘ，ｙ）におけるＧの値を示す。さらに、Ｂ_t（ｘ，ｙ）は、時刻ｔの変換後画像の座標（ｘ，ｙ）におけるＢの値を示し、Ｂ_t-1（ｘ，ｙ）は、時刻ｔ−１の変換後画像の座標（ｘ，ｙ）におけるＢの値を示す。

変換後画像中の死角部分のデータ項を考慮しないようにするため、Ｅ_D＝０とする。同様に、変換後画像中のハイライト部分の見かけの動きは、他の部分と大きく異なり、動き推定の外れ値となる。このため、ハイライト部分のエネルギーもＥ_D＝０とする。

一方、Ｅ_Rは隣り合う画素の動きベクトルが類似しているという拘束条件を示す項であり、下記の式を用いる。

ここで、ｗ₁、ｗ₂は、同一の変換後画像における互いに隣り合う画素における動きベクトルである。このように、同一変換後画像内の全ての隣り合う画素における動きベクトルよりＥ_Rの値が算出される。

コスト関数Ｅの値の最小化は、公知の技術を用いることにより行うことが可能である。例えば、２次元ＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）マッチング（非特許文献：内田誠一，迫江博昭，２次元パターンの解析的ＤＰマッチング，画像の認識理解シンポジウム（ＭＩＲＵ２００７），２００７年７月）を用いてコスト関数Ｅの最小化を行うことが可能である。動きベクトル抽出部２２６は、コスト関数Ｅの値が最小となる際の動きベクトルを最終的な動きベクトルとして求める。

画素値補間部２２７は、Ｓ９の処理で求められた最終的な動きベクトルと、複数の時刻における変換後画像とを用いて、変換後画像の死角領域における画素値を補間する（Ｓ１０）。つまり、画素値補間部２２７は、複数の変換後画像のうち、基準となる画像（以下、「基準画像」という。）の各点に対して、他の時刻の変換後画像における対応点を求める。画素値補間部２２７は、基準画像の各点における動きベクトルの大きさが０になるように、他の時刻の変換後画像を変形する。このような変形を行うことにより、基準画像と、他の時刻の変換後画像とで、同じ座標の点が対応点となる。図２３は、基準画像と変形後の変換後画像との関係を模式的に示した図である。同図は、図示の簡単化のため、直線ｓｌｉｃｅ０を用いて作成されたスライス画像を示しており、横軸がｔ軸であり、縦軸がｓｌｉｃｅ０上の軸である。時刻ｎの変換後画像（フレームｎ）を基準画像とし、時刻ｎ−１〜ｎ−３における変形後の変換後画像が示されている。この図では、同じ高さにある点同士が対応点となる。画素値補間部２２７は、変形後の変換後画像に含まれる対応点のうち死角となっていないものを選び、その対応点のＲ値、Ｂ値及びＧ値のそれぞれについて中央値を求め、基準画像の死角部分に書き込む。この処理により、時刻ｎ−３から時刻ｎまでの変換後画像を合成し、合成画像を作成する。なお、基準画像のうち、画像がある部分については、その点の画素値をそのまま用いる。なお、合成画像作成に用いられる変換後画像の時刻及び枚数は、これに限定されるものではない。図２３では、各時刻のスライスにおいて、縦線がない部分が死角を表しており、この部分には画像がない。このため、画素値補間部２２７は、画像があるスライスの点から合成画像に書き込む値を決定する。これにより、基準画像の死角部分を補間する。図２４は、このようにして作成された合成画像の一例を示す図である。同図に示すように、死角部分の画素値が補間されていることが分かる。

以上説明したように、本発明の実施の形態によると、全方位アタッチメントを用いた内視鏡で撮像された画像から、死角のない直感的に理解し易い画像を生成することができる。

以上、本発明の実施の形態に係る内視鏡システムについて説明したが、本発明は、この実施の形態に限定されるものではない。

例えば、上記の画像処理装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。ＲＡＭまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、画像処理装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

さらに、上記の画像処理装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

さらにまた、上記の画像処理装置を構成する構成要素の一部または全部は、画像処理装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしても良い。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしても良い。

また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。

さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、半導体メモリなどに記録したものとしても良い。また、これらの記録媒体に記録されている上記デジタル信号であるとしても良い。

また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。

また、上記プログラムまたは上記デジタル信号を上記記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

本発明は、内視鏡で撮影された画像を処理する画像処理装置等に適用できる。

内視鏡の先端部及びその先端部に取り付けられた全方位アタッチメントの外観図である。 全方位アタッチメントを用いた内視鏡を用いて撮像された画像を示す図である。 本発明の実施の形態に係る内視鏡システムの構成を示す図である。 内視鏡アタッチメントの外観図である。 内視鏡アタッチメントの側面図である。 （ａ）は内視鏡アタッチメントが取り付けられたプローブ型内視鏡の先端部分の外観図であり、（ｂ）はプローブ型内視鏡の先端部分の上面図である。 （ａ）は、図６（ａ）のＡ−Ａ’線における内視鏡の断面図であり、（ｂ）は、図６（ａ）のＢ−Ｂ’線における内視鏡の断面図である。 ２葉双曲面を説明する図である。 全方位カメラの構成を示す図である。 空間中の任意の点と画像上での写像点との関係を説明する第１の図である。 空間中の任意の点と画像上での写像点との関係を説明する第２の図である。 画像処理装置の構成を示すブロック図である。 画像処理装置が実行する処理のフローチャートである。 （ａ）は、プローブ挿入時の動きベクトルを示す図であり、（ｂ）は、プローブ引き出し時の動きベクトルを示す図である。 球面座標系に配置された画像の一例を示す図である。 画像変換部による画像変換処理を説明するための図である。 （ａ）は、球面座標系に配置された画像におけるプローブ挿入時の動きベクトルを示す図であり、（ｂ）は、球面座標系に配置された画像におけるプローブ引き出し時の動きベクトルを示す図である。 ３次元の時空間画像の一例を示す図である。 スライス画像の生成処理を説明するための図である。 エッジ画像の生成処理を説明するための図である。 ラベル画像の生成処理を説明するための図である。 動きベクトルの算出処理について説明するための図である。 基準画像と変形後の変換後画像との関係を模式的に示した図である。 死角部分の画素値が補間された合成画像の一例を示す図である。

符号の説明

２０ プローブ型内視鏡
２２ 画像処理装置
２４ 先端部
２８ ディスプレイ装置
４０ 内視鏡アタッチメント
４２ 双曲面ミラー
１００ 筒状体
１１０ 画像取り込み部
１１１ 支持棒
１１２ 凸型ミラー
１１４ 筒状体
１１５ 開口
２００ カメラ
２０１、２０２、２０２ａ、２０３、２０５、２０６ 領域
２０４ 三角パッチ
２１０ 水噴射ノズル
２２０ 鉗子口
２２１ 画像入力部
２２２ 画像変換部
２２３ 時空間画像作成部
２２４ スライス画像作成部
２２５ エッジ抽出部
２２６ 動きベクトル抽出部
２２７ 画素値補間部
２３０ 照明

Claims (9)

1. プローブ先端に内視鏡アタッチメントが取り付けられた内視鏡で撮影された画像を処理する画像処理装置であって、
   前記内視鏡アタッチメントは、
   前記内視鏡のプローブ先端が挿入される筒状体と、
   前記筒状体に取り付けられ、開口が設けられたミラーとを備え、
   前記ミラーは、前記プローブの側後方画像を、前記ミラーを介して前記プローブに設けられたカメラに導き、前記プローブの前方画像を、前記ミラーの開口を介して前記カメラに導く位置に取り付けられ、
   前記画像処理装置は、
   前記カメラにより撮像された時系列の画像を入力する画像入力部と、
   前記画像入力部により入力された時系列の画像の各々を、球面座標系に配置した画像である変換後画像に変換する画像変換部と、
   時系列の変換後画像を用いて、各変換後画像の各画素における動きベクトルを算出する動きベクトル算出部と、
   前記時系列の変換後画像の各々について、当該変換後画像に含まれる前記カメラの死角部分の画素の画素値を、当該画素における動きベクトルにより特定される他の変換後画像の死角部分以外の対応点の画素値を用いて補間する画素値補間部と
   を備える画像処理装置。
2. 前記動きベクトル算出部は、
   前記変換後画像を時間軸方向に並べた画像である３次元の時空間画像を作成する時空間画像作成部と、
   前記時空間画像を、変換後画像面内の直線と前記時間軸との張る平面で切断した際の切断面の画像であるスライス画像を作成するスライス画像作成部と、
   前記スライス画像に含まれるエッジを抽出するエッジ抽出部と、
   前記スライス画像内での前記エッジの傾きから、当該エッジ位置に対応する変換後画像の画素における動きベクトルを抽出する動きベクトル抽出部と
   を備える請求項１記載の画像処理装置。
3. 前記動きベクトル抽出部は、さらに、前記変換後画像のエッジ位置に対応する画素以外の画素における動きベクトルを、エッジ位置に対応する画素における動きベクトルを用いて補間する
   請求項２に記載の画像処理装置。
4. 前記動きベクトル抽出部は、さらに、前記対応点間での画素値の差及び隣接する画素間での動きベクトルの大きさの差の少なくとも一方をコストとするコスト関数の値を最小化することにより、前記変換後画像の各画素における動きベクトルを修正する
   請求項２又は３記載の画像処理装置。
5. 前記画像変換部は、前記画像入力部により入力された時系列の画像の各々について、当該画像に含まれる前記ミラーによる反射像を三角形のパッチに分解し、各パッチの内外を反転させ、反転後の各パッチを前記画像上で移動させることにより貼り付ける
   請求項１〜４のいずれか１項記載の画像処理装置。
6. 前記ミラーは、双曲面形状である
   請求項１〜５のいずれか１項記載の画像処理装置。
7. プローブ先端に内視鏡アタッチメントが取り付けられた内視鏡で撮影された画像を処理する画像処理方法であって、
   前記内視鏡アタッチメントは、
   前記内視鏡のプローブ先端が挿入される筒状体と、
   前記筒状体に取り付けられ、開口が設けられたミラーとを備え、
   前記ミラーは、前記プローブの側後方画像を、前記ミラーを介して前記プローブに設けられたカメラに導き、前記プローブの前方画像を、前記ミラーの開口を介して前記カメラに導く位置に取り付けられ、
   前記画像処理方法は、
   前記カメラにより撮像された時系列の画像を入力し、
   入力された時系列の画像の各々を、球面座標系に配置した画像である変換後画像に変換し、
   時系列の変換後画像を用いて、各変換後画像の各画素における動きベクトルを算出し、
   前記時系列の変換後画像の各々について、当該変換後画像に含まれる前記カメラの死角部分の画素の画素値を、当該画素における動きベクトルにより特定される他の変換後画像の死角部分以外の対応点の画素値を用いて補間する
   画像処理方法。
8. プローブ先端に内視鏡アタッチメントが取り付けられた内視鏡で撮影された画像を処理するプログラムであって、
   前記内視鏡アタッチメントは、
   前記内視鏡のプローブ先端が挿入される筒状体と、
   前記筒状体に取り付けられ、開口が設けられたミラーとを備え、
   前記ミラーは、前記プローブの側後方画像を、前記ミラーを介して前記プローブに設けられたカメラに導き、前記プローブの前方画像を、前記ミラーの開口を介して前記カメラに導く位置に取り付けられ、
   前記プログラムは、コンピュータに、
   前記カメラにより撮像された時系列の画像を入力させ、
   入力された時系列の画像の各々を、球面座標系に配置した画像である変換後画像に変換させ、
   時系列の変換後画像を用いて、各変換後画像の各画素における動きベクトルを算出させ、
   前記時系列の変換後画像の各々について、当該変換後画像に含まれる前記カメラの死角部分の画素の画素値を、当該画素における動きベクトルにより特定される他の変換後画像の死角部分以外の対応点の画素値を用いて補間させる
   プログラム。
9. プローブ先端に内視鏡アタッチメントが取り付けられた内視鏡と、
   前記内視鏡で撮影された画像を処理する画像処理装置とを備え、
   前記内視鏡アタッチメントは、
   前記内視鏡のプローブ先端が挿入される筒状体と、
   前記筒状体に取り付けられ、開口が設けられたミラーとを備え、
   前記ミラーは、前記プローブの側後方画像を、前記ミラーを介して前記プローブに設けられたカメラに導き、前記プローブの前方画像を、前記ミラーの開口を介して前記カメラに導く位置に取り付けられ、
   前記画像処理装置は、
   前記カメラにより撮像された時系列の画像を入力する画像入力部と、
   前記画像入力部により入力された時系列の画像の各々を、球面座標系に配置した画像である変換後画像に変換する画像変換部と、
   時系列の変換後画像を用いて、各変換後画像の各画素における動きベクトルを算出する動きベクトル算出部と、
   前記時系列の変換後画像の各々について、当該変換後画像に含まれる前記カメラの死角部分の画素の画素値を、当該画素における動きベクトルにより特定される他の変換後画像の死角部分以外の対応点の画素値を用いて補間する画素値補間部と
   を備える内視鏡システム。