JP2013078382A - パノラマ画像作製プログラム - Google Patents

Abstract

【課題】元の画像データにアクセス容易であって、医療分野に適したパノラマ画像作成プログラムを提供する。
【解決手段】コンピュータに、複数の内視鏡画像データを記録する内視鏡画像データ記録手段、複数の内視鏡画像データに基づき、各画素の位置に対応したインデックスデータが付されたパノラマ画像データを作成し、表示するパノラマ画像データ作成表示手段、インデックスデータに基づき、複数の内視鏡画像データのいずれかを内視鏡画像として表示させる内視鏡画像データ表示手段、として機能させるためのパノラマ画像作成プログラムとする。
【選択図】図１

Description

本発明はパノラマ画像作製プログラムに関する。

パノラマ画像は、連射した複数のスチル画像や複数のビデオフレームの対応点を重ねることで作成されており、医療用途にも応用が期待される。具体的には、患者の体内を内視鏡で撮影した画像からパノラマ画像を作成することで、患者の体内の状態を把握しやすくなるといった効果が期待されている。

パノラマ画像を作成する公知の技術としては、例えば下記特許文献１が開示されている。

特開平５−３１４２２６号公報

しかしながら、上記特許文献１に記載の技術は、パノラマ画像において選択した位置を含む領域を拡大表示する技術であって、その選択した位置の表示の元となった内視鏡画像データ自体を表示しようとするものではない。

また上記のとおりパノラマ画像は、一般に複数の画像を合成して作成されるものであるため、合成処理によってだけでなく、合成処理の前においても情報が欠失してしまうといった課題がある。また、一般にパノラマ画像の作成においては、複数の画像を組み合わせた際、複数の画像の合成の際発生する境界を感じさせないよう滑らかに見せる必要がある一方で、医療分野においては、逆に滑らかに見せてしまうことで必要な情報を欠失させてしまうおそれもあるため、できる限り元の画像そのものを得やすくしておく必要がある。

そこで、本発明は上記課題を鑑み、元の画像データにアクセス容易であって、医療分野に適したパノラマ画像作成プログラムを提供することを目的とする。

上記課題を解決するための第一の手段に係るパノラマ画像作製プログラムは、コンピュータに、（１）複数の内視鏡画像データを記録する内視鏡画像データ記録手段、（２）複数の内視鏡画像データに基づき、各画素の位置に対応したインデックスデータが付されたパノラマ画像データを作成し、表示するパノラマ画像データ作成表示手段、（３）インデックスデータに基づき、複数の内視鏡画像データのいずれかを内視鏡画像として表示させる内視鏡画像データ表示手段、として機能させる。

以上、本発明により、元の画像データにアクセス容易であって、医療分野に適したパノラマ画像作成プログラムを提供することができる。

実施形態１に係るプログラムの処理手順の概略を示す図である。 表示された内視鏡画像データの一例を示す図である。 表示されたパノラマ画像データの一例を示す図である。 特徴抽出処理のイメージを示す図である。 識別番号データの付与についてのイメージを示す図である。 インデックスデータの作成についてのイメージを示す図である。 パノラマ画像データ及びその作成元となった内視鏡画像データを同時に表示した場合の一例を示す図である。

以下、本発明の実施形態について、図面を用いて詳細に説明する。ただし、本発明は多くの異なる形態による実施が可能であって、以下に示す実施形態の具体的な例にのみ狭く限定されるものではない。

図１は、本実施形態に係るプログラム（以下「本プログラム」という。）の処理手順の概略を示す図である。本図で示すように、本プログラムは、コンピュータに、（１）複数の内視鏡画像データを記録する内視鏡画像データ記録手段、（２）複数の内視鏡画像データに基づき、各画素の位置に対応したインデックスデータが付されたパノラマ画像データを作成し、表示するパノラマ画像データ作成表示手段、（３）インデックスデータに基づき、複数の内視鏡画像データのいずれかを内視鏡画像として表示させる内視鏡画像データ表示手段、として機能させる。

本プログラムは、実行することができる限りにおいて限定されるわけではないが、例えば、パーソナルコンピュータのハードディスク等の記録媒体に格納され、実行されることで容易に上記機能を実現することができる。

まず、本プログラムは、（１）複数の内視鏡画像データを記録する内視鏡画像データ記録手段として機能する。内視鏡画像データとは、ＣＣＤカメラ等の撮像装置、体内を照らすための光源を備えた内視鏡によって取得される体内の画像データをいい、二次元の位置情報及びその位置に対応した色情報を備えた画素データを複数有して構成されている。内視鏡は、一般に市販されているものを使用することができる。この取得される複数の画像データは、例えば、パーソナルコンピュータのハードディスクの一領域に複数格納させておくことが好ましい。なお図２に、内視鏡画像データの一例を示しておく。

格納される複数の内視鏡画像データは、この内視鏡画像データに基づき作成されるパノラマ画像データが十分に信頼性を有する程度に関連性を有するものであればよいが、例えば、一定の短い時間間隔をおいて撮影される動画像データの各フレームの画像データを複数の内視鏡画像データとして採用することが好ましい。このようにすることで、複数の内視鏡画像データ相互に十分な関連性をもたせることができるとともに、動画像からパノラマ画像を作成するとともに、その作成元となった静止画を参照することができ、非常にデータに対するアクセス性が向上する。この場合のイメージ図を図３に示しておく。

次に、本プラグラムは、（２）複数の内視鏡画像データに基づき、各画素の位置に対応したインデックスデータが付されたパノラマ画像データを作成し、表示するパノラマ画像データ作成表示手段として機能する。

ここで「パノラマ画像データ」とは、複数の内視鏡画像データに基づき作成される画像データであって、より具体的には、複数の内視鏡画像データのうち、内視鏡が同じ部分を映すことによって共通することになる内視鏡画像データ相互の一定の領域を重複させていき、より広い領域を表示させるものとして合成させた画像データである。パノラマ画像データも上記内視鏡画像データと同様、二次元の位置情報及びその位置に対応した位置情報を備えた複数の画素データを有する二次元のデータである。この作製されたパノラマ画像データの一例について図３に示しておく。

パノラマ画像データ作成表示手段が採用するパノラマ画像データ作成の方法は、特に限定されず様々な方法を採用することができるが、例えば、複数の内視鏡画像データ各々に対し特徴点を抽出する特徴抽出処理を行い、内視鏡画像データのうち同じ特徴点を有する画像間で、当該同じ抽出点を重ね合わせる処理を複数回繰り返して行う方法が好ましい。なお、この重ね合わせる処理についても様々な方法を採用することができるため限定されるわけではないが、例えば、複数の内視鏡画像データを、撮影された順に処理し、画素データが重複した場合、後の順番の内視鏡画像データの画素データを採用するようにしておくことは処理を簡便にする観点から好ましい。このイメージ図を図４に示しておく。

なお特徴抽出処理によって抽出される「特徴点」とは、上記の記載から明らかではあるが、内視鏡画像データ内において他の部分と十分に区別することができる程度に特徴のある点をいう。この「特徴点」は、様々な方法によって抽出することができ限定されるわけではないが、例えば、“Ｃｒｅａｔｉｎｇ Ｐａｎｏｒａｍｉｃ Ｉｍａｇｅｓ ｆｏｒ Ｂｌａｄｄｅｒ Ｆｌｕｏｒｅｓｃｅｎｃｅ Ｅｎｄｏｓｃｏｐｙ，Ａ．Ｂｅｈｒｅｎｓ，Ａｃｔａ Ｐｏｌｙｔｅｃｈｎｉｃａ，Ｖｏｌ．４８，Ｎｏ．３／２００８，５０〜５４”や、“カメラパラメータ推定による紙面を対象とした超解像ビデオモザイキング，池谷彰彦ら，画像の認識・理解シンポジウム（ＭＩＲＵ２００４），２００４年７月，Ｉ−５０５〜５０９ｐ”、及び、“Ｍｏｓａｉｃｋｉｎｇ ｏｆ Ｏｒｔｈｏｒｅｃｔｉｆｉｅｄ Ａｅｒｉａｌ Ｉｍａｇｅｓ，Ｙｅｈｕｄａ Ａｒｅｋ ａｎｄ Ａｒｉｅｌ Ｂｒａｎｄ，ＰＥ＆ＲＳ，Ｆｅｂｒｕａｒｙ １９９８，１１５〜１２５ｐ”等に記載された方法を採用することができる。

なお、特徴抽出処理において、一つの内視鏡画像データに複数の特徴点が存在することが好ましく、特徴点が複数存在することで、他の内視鏡画像データとの関連性をより確実に確保することができる。なお抽出した特徴点同士の距離や方向（傾き）等が内視鏡画像同士で異なっている場合、必要に応じて拡大若しくは縮小処理、更には、回転処理等の修正処理を施すことが有用である。なおこの場合、パノラマ画像データ作成表示手段は、修正処理が施された内視鏡画像データ（修正内視鏡画像データ）を作成し、記録しておく機能を有することが好ましい。

また本プログラムにおいてパノラマ画像データには各画素の位置に対応したインデックスデータが付されている。「インデックスデータ」とは、パノラマ画像データを構成する各画素データがどの内視鏡画像データから作られたものであるのかを示すデータである。すなわち、本プログラムにおけるパノラマ画像データにおける画素データの各々にはインデックス情報が付されており、このインデックス情報を参照することで、後述の内視鏡画像データ表示手段により、作成の元となった内視鏡画像データを取り出すことができる。

本実施形態において、インデックスデータの作成は、限定されるわけではないが、例えば、複数の内視鏡画像データの各々に、その内視鏡画像データ特有の識別番号データを予め付しておき、パノラマ画像データを作成する処理において、ある内視鏡画像データの画素データをパノラマ画像データの画素データとして採用することとした場合、その画素データを含む内視鏡画像データ特有の識別番号データをインデックスデータとして採用することが考えられる。図５に、複数の内視鏡画像データに付された識別番号データのイメージを、図６に、作製されたパノラマ画像データにおけるインデックスデータの付し方に関するイメージを示しておく。なお、上記パノラマ画像データ作成表示手段が修正内視鏡画像データを作成している場合は、当該修正内視鏡画像データにも同じ識別番号データを付しておくことが好ましい。

また本プログラムは、（３）インデックスデータに基づき複数の内視鏡画像データのいずれかを内視鏡画像として表示させる内視鏡画像データ表示手段として機能する。図７に、パノラマ画像データ及びその作成元となった内視鏡画像データを同時に表示した場合の一例を示す。パノラマ画像データは例えば液晶表示装置等のディスプレイ装置に表示させることが好ましい。

表示されるパノラマ画像データは、複数の内視鏡画像データを組み合わせることで広い領域の情報を一度に得ることができるといった利点がある。しかしながら、内視鏡による撮影において、撮影する位置によって光の当たり方等の条件が異なるため、同じ場所を撮影したとしても、色合い、明るさ等が大きく異なる場合がある。そしてこれら異なる状況の内視鏡画像データを合成する場合、合成処理によって、元の内視鏡画像データに含まれる情報が欠失してしまうといった課題がある。合成処理によってだけでなく、合成処理の前においても情報が欠失してしまうといった課題がある。これに対し、本プログラムでは、パノラマ画像データを表示することで広い領域の情報を一度に得ることができるとともに、パノラマ画像データの各画素データを指定することで、その画素データの元となった内視鏡画像データを取り出し、表示することが可能となり、欠失したデータを表示させることができ、ユーザーはその内視鏡画像データを見ることができ、より詳細な判断をすることができるようになる。

本プログラムにおいて、内視鏡画像データを表示させる方法としては、特に限定されるわけではないが、例えば、表示装置等にパノラマ画像データを表示させ、表示装置等に別途場所を示すポインタを表示させ、このポインタを、パノラマ画像データのうち調べたい領域又は点に移動させ、マウス等の入力装置のボタンを押させることで表示させてもよいし、ポインタが置かれた位置にあるパノラマ画像データの画素データを判別し、この画素データのインデックスデータを読み取り、元の内視鏡画像データを表示させることとしてもよい。

以上、本プログラムによって、元の画像データにアクセス容易であって、医療分野に適したパノラマ画像作成プログラムを提供することができる。

なお、本実施形態では、パノラマ画像データの各画素にインデックスデータを付与する例を説明しているが、パノラマ画像データの一領域を指定し、その一領域にまとめてインデックスデータを指定することとしてもよいが、この場合も、各画素データにインデックスデータが付されていると解釈することができる。

また本実施形態では、撮影された順に複数の内視鏡画像データを処理し、画素データが重複した場合、後の順番の内視鏡画像データの画素データを採用するようにしてパノラマ画像データを作成した例を示しているが、重複した画像データについて、例えば画素データの輝度等について平均処理を施してパノラマ画像データを作成するようにしてもよい。この場合、この作成したパノラマ画像データの画素データには優先的に表示させる内視鏡画像データのインデックスデータ、又は、平均処理の元となった二つのインデックスデータを付し、選択された場合、この一又は二の内視鏡画像データを表示させるようにしてもよい。もちろんこれは重複する内視鏡画像データの数が三以上となった場合も同様である。

本発明は、パノラマ画像作成プログラムとして産業上の利用可能性がある。

Claims (2)

1. コンピュータに、
   複数の内視鏡画像データを記録する内視鏡画像データ記録手段、
   前記複数の内視鏡画像データに基づき、各画素の位置に対応したインデックスデータが付されたパノラマ画像データを作成し、表示するパノラマ画像データ作成表示手段、
   前記インデックスデータに基づき、前記複数の内視鏡画像データのいずれかを内視鏡画像として表示させる内視鏡画像データ表示手段、として機能させるためのパノラマ画像作成プログラム。
2. 前記パノラマ画像データ作成表示手段は、前記内視鏡画像データそれぞれに対し領域選択処理を施した後パノラマ画像データの作成を行い、
   前記内視鏡画像データ表示手段は、前記領域選択処理前の内視鏡画像データを内視鏡画像として表示する請求項１記載のパノラマ画像作成プログラム。