JP2010220794A - 内視鏡画像回転装置および方法並びにプログラム - Google Patents

Abstract

【課題】同一の被写体部位を撮影した撮影時点の相異なる複数の内視鏡画像について、それらの画像に映っている被写体部位の向きを自動的に揃える。
【解決手段】内視鏡により撮影された観察対象画像Poを取得し、観察対象画像Poと同一の被写体部位が撮影されている、既得の内視鏡画像から選択された、比較対象画像Pcに映っている被写体部位の向きと、観察対象画像Poに映っている被写体部位の向きが一致するように、比較対象画像Pcおよび観察対象画像Poの少なくとも一方を回転させる。
【選択図】図１

Description

本発明は内視鏡画像の回転処理に関し、特に同一の被写体部位が撮影されている、撮影時点の相異なる内視鏡画像同士を比較観察するに適した態様で表示させるための内視鏡画像回転装置および方法並びにプログラムに関するものである。

従来、内視鏡装置を用いて被写体の体腔内の撮影をしたときに、内視鏡装置を用いて撮影されている内視鏡画像だけでなく、その内視鏡画像と同一の被写体部位を過去に撮影した内視鏡画像を同時に表示することが提案されている（たとえば特許文献１参照）。これにより、医師等の観察者はそれらの表示画像を比較観察して過去の症例との比較や術後の経過観察を行う。

特開２００１−１５７２００号公報

しかしながら、内視鏡による体腔内の撮影においては、内視鏡に内蔵されている光学系の被写体に対する位置や傾きが各回の撮影毎に大きく変動する傾向があり、撮影時点の相異なる内視鏡画像は、体腔内の同一の被写体部位を撮影した内視鏡画像であっても、それらの画像に映っている被写体の向きにばらつきが大きい。

例えばファイバースコープ式の内視鏡により内視鏡画像を撮影する場合、そのファイバースコープを操作する操作者に応じて、体腔内に挿入されるスコープのねじれ方などに差異が生じ、同一の被写体部位であっても違った傾きで撮影されてしまう場合がある。

また、カプセル型の内視鏡により内視鏡画像を撮影する場合、カプセル型の内視鏡は、蠕動運動によって消化管内に運ばれ、前進するため、そのカプセルに内蔵されている光学系により特定の被写体部分を常に所望の位置や傾きで撮影することは困難である。

一方で、内視鏡画像と過去の内視鏡画像とを比較することにより診断効率を向上させるためには、それらの画像の間で位置対応が取れるようにそれらの画像に映っている被写体の向きを揃えて表示することが望まれている。

本発明は、上記事情に鑑み、本発明は、同一の被写体部位を撮影した撮影時点の相異なる複数の内視鏡画像について、それらの画像に映っている被写体部位の向きを自動的に揃えることができる内視鏡画像回転装置および方法並びにプログラムを提供することを目的とするものである。

本発明の内視鏡画像回転装置は、内視鏡により撮影された観察対象画像を取得する取得手段と、観察対象画像と同一の被写体部位が撮影されている、既得の内視鏡画像から選択された比較対象画像に映っている被写体部位の向きと、観察対象画像に映っている被写体部位の向きが一致するように、比較対象画像および観察対象画像の少なくとも一方を回転させる回転手段とを備えたことを特徴とするものである。

上記装置においては、画像を表示する表示手段と、取得手段が順次取得した内視鏡により順次撮影された画像を表示手段に順次表示させる表示制御手段と、表示手段に順次表示された画像の中から観察対象画像を選択する選択手段とをさらに備え、回転手段が、選択された観察対象画像に映っている被写体部位の向きと、比較対象画像に映っている被写体部位の向きが一致するように、比較対象画像および観察対象画像の少なくとも一方を回転させるものであり、表示制御手段が、被写体部位の向きが一致せしめられた比較対象画像と観察対象画像を表示手段に表示させる機能をさらに有するものであってもよい。

また、取得手段が取得した内視鏡により撮影された画像を複数記録する記録手段と、記録手段に記録されている複数の画像の中から観察対象画像を選択する選択手段とをさらに備え、回転手段が、選択された観察対象画像に映っている被写体部位の向きと、比較対象画像に映っている被写体部位の向きが一致するように、比較対象画像および観察対象画像の少なくとも一方を回転させるものであってもよい。

また、回転手段が、観察対象画像を複数の異なる回転角度でそれぞれ仮回転させた仮回転画像を生成し、生成された仮回転画像毎に、比較対象画像との相関度合いを算出し、算出された相関度合いが最も大きい仮回転画像の回転角度を回転処理の回転角度とするものであってもよい。

また、上記相関度合いの算出は、仮回転画像に含まれる血管パターンと比較対象画像に含まれる血管パターンとの相関度合いを算出するものであってもよい。

この各血管パターンは、その血管パターンが含まれている画像から特定波長の画像である分光画像を生成し、生成された分光画像から血管パターンを抽出することにより取得されたものであってもよい。

本発明の内視鏡画像回転方法は、内視鏡により撮影された観察対象画像を取得し、観察対象画像と同一の被写体部位が撮影されている、既得の内視鏡画像から選択された、比較対象画像に映っている被写体部位の向きと、観察対象画像に映っている被写体部位の向きが一致するように、比較対象画像および観察対象画像の少なくとも一方を回転させることを特徴とするものである。

本発明のプログラムは、上記内視鏡画像回転方法をコンピュータに実行させるものである。

本発明の内視鏡画像回転装置および方法並びにプログラムによれば、内視鏡により撮影された観察対象画像を取得し、観察対象画像と同一の被写体部位が撮影されている、既得の内視鏡画像から選択された、比較対象画像に映っている被写体部位の向きと、観察対象画像に映っている被写体部位の向きが一致するように、比較対象画像および観察対象画像の少なくとも一方を回転させるようにしたので、比較観察の対象である、同一の被写体部位を撮影した撮影時点の相異なる複数の内視鏡画像について、それらの画像に映っている被写体部位の向きを自動的に揃えることができ、比較観察による診断効率を向上させることができる。

上記装置において、画像を表示する表示手段と、取得手段が順次取得した内視鏡により順次撮影された画像を表示手段に順次表示させる表示制御手段と、表示手段に順次表示された画像の中から観察対象画像を選択する選択手段とをさらに備え、回転手段が、選択された観察対象画像に映っている被写体部位の向きと、比較対象画像に映っている被写体部位の向きが一致するように、比較対象画像および観察対象画像の少なくとも一方を回転させるものであり、表示制御手段が、被写体部位の向きが一致せしめられた比較対象画像と観察対象画像を表示手段に表示させる機能をさらに有するものである場合には、撮影中の内視鏡画像について、比較対象画像との比較観察による診断効率を向上させることができる。

また、取得手段が取得した内視鏡により撮影された画像を複数記録する記録手段と、記録手段に記録されている複数の画像の中から観察対象画像を選択する選択手段とをさらに備え、回転手段が、選択された観察対象画像に映っている被写体部位の向きと、比較対象画像に映っている被写体部位の向きが一致するように、比較対象画像および観察対象画像の少なくとも一方を回転させるものである場合には、撮影が終了した内視鏡画像について、比較対象画像との比較観察による診断効率を向上させることができる。

また、上記装置の回転手段が、観察対象画像を複数の異なる回転角度でそれぞれ仮回転させた仮回転画像を生成し、生成された仮回転画像毎に、比較対象画像との相関度合いを算出し、算出された相関度合いが最も大きい仮回転画像の回転角度を回転処理の回転角度とするものであり、その相関度合いの算出が、仮回転画像に含まれる血管パターンと比較対象画像に含まれる血管パターンとの相関度合いを算出するものである場合、被写体部位の向きを揃える処理をより高精度で行なうことができる。

本発明の内視鏡画像回転装置の一実施形態を示す概略構成図 図１の回転角度決定手段の一構成例を示すブロック図 内視鏡画像の撮影中に表示装置に表示される表示画面の一例を示す図 被写体部位の向きが一致せしめられた画像の表示態様の一例を示す図 被写体部位の向きが一致せしめられた画像の表示態様の一例を示す図

以下、図面を参照して本発明の内視鏡画像回転装置の好ましい実施の形態について説明する。なお、図１のような内視鏡画像回転装置の構成は、補助記憶装置（不図示）に読み込まれた内視鏡画像回転プログラムをコンピュータ（例えばパーソナルコンピュータ等）上で実行することにより実現される。また、この内視鏡画像回転プログラムは、CD−ROMまたは内部メモリ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。

内視鏡画像回転装置１は、ファイバースコープ内視鏡、カプセル型内視鏡などの内視鏡装置50（内視鏡）を用いて内視鏡検査を行う際に、その内視鏡装置50による内視鏡画像の撮影中に、または撮影が終了した後に、その撮影された画像の中から選択された観察対象画像Poと、その観察対象画像Poと同一の被写体部位が撮影されている、既得の内視鏡画像から選択された比較対象画像Pcとを比較観察するに適した態様で表示させるためのものであり、内視鏡画像回転装置１は、画像取得手段２、観察対象画像選択手段３、画像データベースDB、比較対象画像選択手段４、回転角度決定手段５、回転手段６、表示制御手段７等を有している。

画像取得手段２は、内視鏡装置50により撮影された被検者の体腔内の内視鏡画像Ｐを取得するものである。なお、画像取得手段２は、内視鏡装置において撮影されている映像をリアルタイムで取得するものであっても良いし、既に内視鏡による撮影が終了し、画像データベースDBに記憶されている内視鏡画像を取得するものであってもよい。

観察対象画像選択手段３は、画像取得手段２により取得された内視鏡画像Ｐの中から観察対象画像Poを選択するものであって、ユーザのたとえばキーボードやマウス等による画像の指定に従って、その指定された画像を観察対象画像Poとして選択する。これにより選択された観察対象画像Poは回転角度決定手段５に出力される。

画像データベースDBは、コンパクトフラッシュ（登録商標）(CompactFlash, CF)等の記録媒体であって、予め内視鏡装置を用いて被写体を撮影し取得した複数の内視鏡画像から構成される比較対象画像セットを記憶したものである。なお、画像データベースDBには、複数の被検者の比較対象画像セットが記憶されており、比較対象画像選択手段４が、ユーザのたとえばキーボードやマウス等による個人情報の入力に従い、その個人情報に関連づけされた比較対象画像セットを選択し、この比較対象画像セットから、さらにユーザによる画像の指定に従って、比較対象画像Pcを選択するようになっている。これにより選択された比較対象画像Pcは回転角度決定手段５に出力される。

回転角度決定手段５は、観察対象画像選択手段３において選択された観察対象画像Poに映っている被写体部位の向きと比較対象画像選択手段４において選択された比較対象画像Pcに映っている被写体部位の向きを一致せしめるための回転角度を決定するものであり、観察対象画像Poを複数の異なる回転角度でそれぞれ仮回転させた仮回転画像を生成し、該生成された仮回転画像毎に、比較対象画像Pcとの相関度合いを算出し、その算出された相関度合いが最も大きい仮回転画像の回転角度を、回転手段６における回転角度として決定する。ここで、画像に映っている被写体の向きとは、画像の水平・垂直方向に対する被写体の傾きのことを指す。

図２は、回転角度決定手段５の一構成例を示すブロック図である。以下、図２を参照して回転角度決定手段５により回転角度を決定する方法についてより詳細に説明する。

まず、ヒストグラム同化処理部51が、観察対象画像Poに対して、その画質特性を比較対象画像Pcの画質特性に同化させる補正処理を施す。具体的には、画質特性を同化させる補正処理として、たとえば観察対象画像Poと比較対象画像Pcについて、色や輝度のヒストグラムをそれぞれ作成し、観察対象画像Poの色、輝度のヒストグラムにおけるダイナミックレンジ、平均値等の特性が、比較対象画像Pc色、輝度のヒストグラムにおけるダイナミックレンジ、平均値等の値にそれぞれ近づくよう、観察対象画像Poの色や輝度範囲を補正する。また、異なる機種の内視鏡画像ではその撮像手段に設けられたレンズの歪み特性が異なる場合があるため、予め各内視鏡画像の撮影に用いられた内視鏡装置の撮影レンズの歪み特性を記憶しておき、これに基づいて観察対象画像Poと比較対象画像Pc間の、撮影レンズの歪み特性による幾何学的歪みの差異を低減させる補正を行なう。

次いで、回転処理部52b、52c、52dが、それぞれヒストグラム同化処理部51により補正処理が施された観察対象画像Poを、アフィン変換によりそれぞれ90°、180°、270°仮回転させることにより仮回転画像を生成し、拡縮処理／シフト処理部53b、53c、53dに出力する。なお、拡縮処理／シフト処理部53aには仮回転処理は行なわれていない観察対象画像Po（0°の仮回転画像）が、ヒストグラム同化処理部51から直接入力される。

次いで、拡縮処理／シフト処理部53a、53b、53c、53dが、それぞれ入力された仮回転画像を多重解像度化して解像度の異なる複数の画像を生成するとともに、それらの解像度の異なる画像の各々を予め決められたシフト量ずつシフト（平行移動）させることにより、シフト量の異なる複数のシフト画像を順次生成し、相関算出部54a、54b、54c、54dに出力する。

相関算出部54a、54b、54c、54dは、入力された各画像と比較対象画像Pcとの相関度合いを算出し、その算出結果を最大値検出部55に出力する。この相関度合いは、たとえばそれらの画像間で各対応する画素における画素値の差分総和に基づいて算出してもよいし、各画像に含まれている血管パターンを抽出し、それらの血管パターンの一致度を求めることにより算出してもよい。

ここで、血管パターンの抽出は、その対象となる内視鏡画像に対し所定のマトリクス演算を施すことにより該画像中に含まれる血管パターンが強調された分光画像を生成し、生成された分光画像の色情報を２値化（白黒化）するフィルタリング処理施し、血脈が黒色領域として現れた２値化画像を血管パターンとすることにより行える。なお、分光画像は、特開２００３−９３３３６号公報に記載されているように、ＲＧＢのそれぞれのカラー感度特性を数値データ化したものと、特定の狭帯域バンドパスの分光特性を数値データ化したものとの関係をマトリクスデータ（係数セット）として求め、対象となる内視鏡画像のＲＧＢ信号にこのマトリクスデータによる演算を施すことにより形成する。

なお、その対象となる内視鏡画像が、面順次式のＲ，Ｇ，Ｂの回転フィルタの代わりに、３つの特定狭（波長）帯域のバンドパスフィルタが設けられた狭帯域フィルタ内蔵電子内視鏡装置(Narrow Band Imaging-NBl)により撮影されたものである場合には、これらの狭帯域バンドパスフィルタを介して得られた３つの信号に対しそれぞれの重み付けを変えながらＲＧＢ信号の場合と同様の処理を行うことにより、分光画像を形成する。

次いで、最大値検出部55は、その入力された相関度合いが最も大きい画像に施された仮回転の回転角度を、上述した被写体部位の向きを一致せしめるための回転角度として、回転手段６に出力する。

回転手段６は、たとえばアフィン変換により、回転角度決定手段５において決定された回転角度にて比較対象画像Pcおよび観察対象画像Poの少なくとも一方を回転させることにより、比較対象画像Pcに映っている被写体部位の向きと、観察対象画像Poに映っている被写体部位の向きとを一致せしめる。

なお、回転処理の対象となる画像の圧縮方式がJPEG方式であり、回転角度が90°、180°、270°のいずれかである場合には、たとえば特開２００１−２２３８７８号公報に記載されているような、画質劣化を生じない方法でその回転処理を行なうことが好ましい。この画質劣化の無い回転処理では、一般的な画像レタッチソフトによる画像の加工処理とは異なり、画質の劣化を引き起こす可能性があるDCT（離散コサイン変換）処理をバイパスし、保存時に再圧縮を行わないことで、画質の劣化なく回転を行える。

一方、回転角度が、90°の整数倍以外の角度である場合には、上記方法を適用することはできないので、画像回転処理を行った後に、バイリニア（Bilinear）、バイキュービック（Bicubic）などの補間方法を適用して、画質補正を行なうことが好ましい。

これにより、被写体部位の向きが一致せしめられた比較対象画像Pcと観察対象画像Poは、画像データベースDBに互いに関連付けられて記憶され、あるいは表示制御手段７に出力される。画像データベースDBに互いに関連付けられて記憶された比較対象画像Pcと観察対象画像Poは、ユーザの要望に応じて読み出され、画像装置100等の画像出力装置に出力され得る。

表示制御手段７は、液晶モニタ等からなる表示装置100に、画像取得手段２が順次取得した内視鏡により順次撮影された画像を順次表示させたり、回転手段６において被写体部位の向きが一致せしめられた比較対象画像Pcと観察対象画像Poを表示させたりする。

以下、内視鏡画像回転装置１により、内視鏡装置50による内視鏡画像の撮影中に、ユーザが表示装置100に順次表示された画像の中から観察対象画像Poを指定することに従って、その指定された観察対象画像Poについて行なわれる回転処理の流れについて説明する。なお、回転処理部６による画像回転機能を使用するか否かは、その機能の「オン」、「オフ」を設定する設定画面を表示装置100に表示させ、ユーザに「オン」または「オフ」を選択させることにより決定することができる。以下では自動回転処理機能が「オン」に設定されているものとして説明する。

まず、ユーザが、キーボードやマウス等により今回の内視鏡検査の対象となる患者名を入力し、その入力に従って表示された、画像データベースDBに記憶されているその患者の過去画像のリストから、今回の内視鏡検査において観察対象となる被写体部位と同一の被写体部位が撮影されている内視鏡画像を指定すると、比較対象画像選択手段４がその指定された画像を比較対象画像Pcとして選択する。

次いで、内視鏡画像の撮影を開始させ、内視鏡装置により順次撮影された画像を画像取得手段２が順次取得し、表示制御手段７により表示装置100に表示させる。図３は、そのときに表示装置100の画面上に表示される表示画面の一例を示すものであって、撮影中の内視鏡画像を画面全体に表示させると共に、比較対象画像Pcを画面の一角部に小さく表示させている。

次いで、ユーザが、内視鏡画像の撮影中に、フリーズボタンを押下する等の入力により、表示装置100に順次表示された画像の中から比較対象画像Pcと同一の被写体部位が撮影されている画像を指定すると、観察対象画像選択手段３がその指定された画像を観察対象画像Poとして選択し、回転角度決定手段５がそれらの選択された観察対象画像Poと比較対象画像Pcに映っている被写体部位の向きを一致せしめるための回転角度を決定し、回転手段６がその決定された回転角度にて観察対象画像Poを回転させ、図４に示すように、被写体部位の向きが一致せしめられた比較対象画像Pcと回転処理された観察対象画像Po´とを同時に表示させる。なお、図４のように、観察対象画像Po´を画面全体に表示させ、比較対象画像Pcを画面の一角部に小さく表示させる表示態様に限らず、たとえば図５に示すように、両方の画像を同一大きさで並べて表示させるようにしてもよい。

さらに、その表示された回転処理の結果に対して、ユーザによる、被写体部位の向きが好適に一致せしめられたか否かの確認を受け付ける。たとえばユーザがＯＫと判断してフリーズボタンを再押しする等の入力に応じて、その被写体部位の向きが一致せしめられた比較対象画像Pcと観察対象画像Poを画像データベースDBに互いに関連付けて記憶する。一方、ユーザがＮＧと判断してフリーズした状態で、別ボタンを押すと、観察対象画像Poをたとえば90°ごとに回転量が変えて回転させた画像を提示し、ユーザのOKが得られた画像にて画像データベースDBに記憶する。

なお、上述した処理では、撮影中の内視鏡画像について、回転処理を行なう場合について説明したが、撮影が終了した内視鏡画像についても、ユーザが、撮影が終了して画像データベースDBに記憶された内視鏡画像の中から、予め選択しておいた比較対象画像Pcと同一の被写体部位が撮影されている画像を指定することに応じて、その指定された画像を観察対象画像Poとして選択して、上述した処理と同様に回転処理等を行なうことができる。

なお、上記実施の形態では、画像データベースDBが内視鏡画像回転装置１に一体的に構成された場合について説明したが、内視鏡画像回転装置１の外部に別途のユニットとして設けられたものであってもよい。たとえばネットワークを経由して通信可能な状態で接続され外部のデータサーバーであってもよい。

１ 内視鏡画像回転装置
２ 画像取得手段
３ 観察対象画像選択手段
４ 比較対象画像選択手段
５ 回転角度決定手段
６ 回転手段
７ 表示制御手段
50 内視鏡装置
100 表示装置
DB 画像データベース

Claims (8)

1. 内視鏡により撮影された観察対象画像を取得する取得手段と、
   前記観察対象画像と同一の被写体部位が撮影されている、既得の内視鏡画像から選択された比較対象画像に映っている被写体部位の向きと、前記観察対象画像に映っている被写体部位の向きが一致するように、前記比較対象画像および前記観察対象画像の少なくとも一方を回転させる回転手段と
   を備えたことを特徴とする内視鏡画像回転装置。
2. 画像を表示する表示手段と、
   前記取得手段が順次取得した前記内視鏡により順次撮影された画像を前記表示手段に順次表示させる表示制御手段と、
   前記表示手段に順次表示された画像の中から観察対象画像を選択する選択手段とをさらに備え、
   前記回転手段が、前記選択された観察対象画像に映っている被写体部位の向きと、前記比較対象画像に映っている被写体部位の向きが一致するように、前記比較対象画像および前記観察対象画像の少なくとも一方を回転させるものであり、
   前記表示制御手段が、前記被写体部位の向きが一致せしめられた前記比較対象画像と前記観察対象画像を前記表示手段に表示させる機能をさらに有するものであることを特徴とする請求項１記載の内視鏡画像回転装置。
3. 前記取得手段が取得した前記内視鏡により撮影された画像を複数記録する記録手段と、
   該記録手段に記録されている複数の画像の中から前記観察対象画像を選択する選択手段とをさらに備え、
   前記回転手段が、前記選択された観察対象画像に映っている被写体部位の向きと、前記比較対象画像に映っている被写体部位の向きが一致するように、前記比較対象画像および前記観察対象画像の少なくとも一方を回転させるものであることを特徴とする請求項１記載の内視鏡画像回転装置。
4. 前記回転手段が、
   前記観察対象画像を複数の異なる回転角度でそれぞれ仮回転させた仮回転画像を生成し、
   該生成された仮回転画像毎に、前記比較対象画像との相関度合いを算出し、
   該算出された相関度合いが最も大きい仮回転画像の回転角度を前記回転処理の回転角度とするものであることを特徴とする請求項１から３記載の内視鏡画像回転装置。
5. 前記相関度合いの算出が、前記仮回転画像に含まれている血管パターンと前記比較対象画像に含まれている血管パターンとの相関度合いを算出するものであることを特徴とする請求項４記載の内視鏡画像回転装置。
6. 前記各血管パターンが、該血管パターンが含まれている画像から特定波長の画像である分光画像を生成し、該生成された分光画像から血管パターンを抽出することにより取得されたものであることを特徴とする請求項５記載の内視鏡画像回転装置。
7. 内視鏡により撮影された観察対象画像を取得し、
   前記観察対象画像と同一の被写体部位が撮影されている、既得の内視鏡画像から選択された比較対象画像に映っている被写体部位の向きと、前記観察対象画像に映っている被写体部位の向きが一致するように、前記比較対象画像および前記観察対象画像の少なくとも一方を回転させることを特徴とする内視鏡画像回転方法。
8. コンピュータに、
   内視鏡により撮影された観察対象画像を取得し、
   前記観察対象画像と同一の被写体部位が撮影されている、既得の内視鏡画像から選択された比較対象画像に映っている被写体部位の向きと、前記観察対象画像に映っている被写体部位の向きが一致するように、前記比較対象画像および前記観察対象画像の少なくとも一方を回転させることを実行させるためのプログラム。