JP2019520879A - 顕微鏡または内視鏡等の医療用観察装置ならびに時間変調および／または空間変調を有する疑似カラーパターンを用いる方法 - Google Patents

Abstract

本発明は、顕微鏡または内視鏡等の医療用観察装置（１）に関する。さらに本発明は、医療画像を処理する方法に関する。入力画像データ（５２）が可視光観察カメラ（２８）によって集められ、蛍光観察カメラ（３２）または超音波センサ（４０，４２）等の補助入力データ（５８）から生成された蛍光画像データ（６５）等の補助入力データ（５８）に重ねられる。補助入力データ（５８）から、疑似カラー画像データ（８６）の後続のセット（８４）が、画像プロセッサ（８０）によって生成される。出力画像データ（９４）を得るために、疑似カラー画像（８４）が、入力画像データ（５２）と合併される。時間変調パターンおよび／または空間変調パターン（８７）の少なくとも１つを含んでいる疑似カラーパターンフィールド（８８）は、入力画像データ（５２）と補助入力データ（５８）とのうちの少なくとも１つのデータの内容に応じて生成される。

Description

本発明は、医療用観察装置および方法に関する。本発明を実現するための典型的な医療用観察装置は、顕微鏡または内視鏡である。

顕微鏡または内視鏡等の光学撮像装置によって観察される組織内に蛍光色素を注入することが、従来技術において知られている。蛍光色素は、特定の組織だけを標識するように構成されている。例えば、蛍光色素は、観察時間中にのみ血流中に留まるように構成されていてよく、その結果、血管のみが蛍光色素によって標識される。別の蛍光色素は、腫瘍細胞だけと反応する前駆体物質の形態で提供されていてよく、これによって、癌だけを標識する蛍光色素が得られる。したがって、蛍光イメージングは有用な診断情報を提供することができる。しかし、蛍光は典型的には、解剖学的情報、すなわち組織の色の見え方を提供しない。逆に、可視光画像は、解剖学的情報を提供するが、蛍光診断情報は提供しない。疑似カラーは、可視光と蛍光の２つの異なる画像タイプの情報を１つの画像において提供する便利な方法である。可視光画像と蛍光画像とを重ね合わせるまたは合併することが、従来技術において知られている。

このような画像重ね合わせ装置および方法の使用は、診断および外科手術を格段に容易にする。しかし、診断および外科手術をさらに容易にするために、この技術をさらに改良する必要がある。

したがって、本発明の課題は、既存の装置および方法をさらに改良する装置および方法を提供することである。

医療用観察装置の場合には、この課題は、本発明に相応して、医療用観察装置が入力インターフェースと、画像プロセッサと、出力インターフェースと、を含んでおり、入力インターフェースは、入力画像データの後続のセットと補助入力データの後続のセットとを受信するように構成されており、出力インターフェースは、出力データレートで出力画像データの後続のセットを出力するように構成されており、画像プロセッサは、入力画像データおよび補助入力データのセットを受信するために入力インターフェースに接続されており、かつ出力画像データを出力するために出力インターフェースに接続されており、画像プロセッサはさらに、補助入力データと入力画像データとのうちの少なくとも１つのデータの内容に応じて、疑似カラー画像データの後続のセットを生成し、入力画像データと補助入力データと疑似カラー画像データとのうちの少なくとも１つのデータの内容に応じて、疑似カラー画像データ内に少なくとも１つの人工的に作られた疑似カラーパターンフィールドを生成するように構成されており、疑似カラーパターンフィールドは、時間的に変化するパターンと空間的に変化するパターンの少なくとも１つを含んでおり、画像プロセッサは、疑似カラー画像データと入力画像データの少なくとも１つのセクションを合併して、疑似カラーパターンフィールドを含んでいる出力画像データを生成するように構成されていることで解決される。

本発明の課題はまた、医療画像を表示する方法によって解決され、この方法は、入力画像データの後続のセットを受信するステップと、補助入力データの後続のセットを受信するステップと、補助入力データと入力画像データとのうちの少なくとも１つのデータの内容に応じて、疑似カラー画像データの後続のセットを生成するステップと、入力画像データと補助入力データと疑似カラー画像データとのうちの少なくとも１つのデータの内容に応じて、疑似カラー画像データ内に、空間変調および時間変調の少なくとも１つを有している少なくとも１つの一貫したパターンフィールドを生成するステップと、出力画像データを得るために、疑似カラー画像データを入力画像データと合併するステップと、疑似カラーパターンフィールドを有する出力画像データを表示するステップと、を含んでいる。

時間変調されたかつ／または空間変調された疑似カラーパターンの使用によって、特に出力画像に対するさらなるデータ源であるさらなるデータの合併が可能になる。さらに、疑似カラーパターンを使用することによって、そうでなければ疑似カラー画像において知覚できないであろう出力画像データ内のデータを可視化することができる。

パターンフィールドは疑似カラーであり、かつ人工的に作られているので、有利には出力画像データにおける背景として使用され、かつ可視光画像データに基づいている入力画像と直ちに区別される。

本発明のコンテキストにおいて、パターンは、予測可能な様式で要素が繰り返される識別可能な規則性を表す。規則性および予測可能性は、パターンが人間の認識プロセスを頼りにしていないことを意味している。むしろ、パターンは、パターン認識アルゴリズムを用いて自動的に識別および発見される。このコンテキストにおいて疑似カラーは、生物学的組織における蛍光色のような、自然に生じない色である。本開示のコンテキストにおいて、色は、光の波長の特定の組み合わせとされ、したがって人間の認識プロセスを頼りにしていない。

以降において、本発明のさらなる態様を説明する。以降において説明されるさらなる態様の各々は、それ自体の利点および技術的効果を有し、したがってあらゆる他の態様と任意に組み合わせることができる。

例えば、パターンフィールドは、ハッチング等の空間パターン、またはテンプレートの時間および／または空間における規則的な繰り返しで満たされていてよい。テンプレートは、空間変調を有するパターンにおいて、ドット、タイル、記号および／または絵等の幾何学的形状から成っていてよい。時間変調を有するパターンでは、パターンは時間と共に異なる画像のセットの規則的な繰り返しから成る。このようなパターンの典型的な例は、円、多角形および／または波等の単純な幾何学的形状のハッチングまたはビットマップテンプレートである。

時間変調および空間変調の両方を有するパターンでは、空間変調を有する異なるパターンが繰り返し表示される。時間変調パターンにおける後続のパターンは、互いに類似していてよく、例えば、互いに空間的に変位しているが、それ以外は同一であり、動きの方向を表す。例えば、変化レートの１周期内の時間変調パターンの後続のハッチングは、すべて同じ量だけ互いに、幾何学形状的にシフトされていてよい。これは、動きの方向を示す時間変調パターンを生成するために使用することができる。伝搬波パターンは、例えば、血液の流れまたはリンパ液の流れ等の流体の流れの方向を示すために使用されてよい。

疑似カラーパターンは、有利には、疑似カラー画像データの少なくとも１つの一貫したまたは連続したセクションにわたって延在し、したがって疑似カラーパターンフィールドを形成する。疑似カラーパターンフィールド内で、入力画像データと補助入力データとのうちの少なくとも１つのデータの内容は、有利には同じ条件を満たす。例えば、補助入力データおよび／または疑似カラー画像データの内容が上方閾値を超える場合、これはデータの飽和を表し得る。この場合にはこれらのデータはパターンフィールドによって表されるので、これらは信頼できないとされる。同一のアプローチを、下方閾値と関連して使用することができる。これは、感度閾値を下回り、したがって信頼できないとみなされる可能性があるデータを表し得る。時間変調パターンの例は、疑似カラー画像または疑似カラー画像の一貫した部分であり、これは疑似カラーで満たされ、ここでは疑似カラーがオンおよびオフされる、または明るさ、色相および彩度の少なくとも１つが、変化レートに従って変化する。

時間変調パターンは、交替するパターンの周期的な繰り返しが生じる変化レートを有していてよい。明確に可視化するために、変化レートはフリッカー融合レートよりも低くあるべきであり、すなわち、特に２５Ｈｚより低くあるべきである。

画像プロセッサは、入力画像データと補助入力データとのうちの少なくとも１つのデータの内容に応じて変化レートを決定するように構成されていてよい。変化レートは、時間と共に、画像プロセッサによって自動的に変えられてよい。特に、経時変化は、入力画像データと補助入力データと疑似カラー画像データとのうちの少なくとも１つのデータの内容に関連していてよい。例えば、補助データが超音波データである場合、変化レートは、目下の流速、または例えば血流内の脈拍によって引き起こされる速度変化の周波数および／または振幅に関連していてよい。

疑似カラーパターンフィールドが時間パターンであり、ここで画像プロセッサが変化レートを有する時間パターンを生成するように構成されている場合、出力データレートが変化レートより高いのは有利である。これによって、パターンの時間的変化を滑らかに表示することができる。出力データレートは通常、フレームレートに対応するので、画像の滑らかなシーケンスを生成するために、フリッカー融合レートより高くあるべきである。対照的に、変化レートは知覚可能な動きを生成するように構成されている。

疑似カラー画像データは、矢印、文字および数字等の記号を含むこともできる。

本発明の別の態様によれば、入力インターフェースは、補助入力データとして超音波データおよび蛍光画像データの少なくとも１つを受信するように構成されている入力セクションを含んでいてよい。超音波データは、超音波マイクロホンの録音によって生成される一次元データフィールドであってよい。付加的にまたは択一的に、超音波データは、超音波センサヘッドまたはスキャナによって生成されるような多次元データであってよい。特に、超音波データは、二次元または三次元（空間次元）であってよく、空間位置を表す各データ点で、流れまたは動きの速度および方向等の付加的なデータを含んでいてよい。

画像プロセッサは、両方のデータにおける空間的特徴が空間的に一致するように、入力画像データとあらゆる補助入力画像データを空間的にアライメントするように構成されている空間アライメントモジュールを含んでいてよい。

例えば、入力画像データが可視光観察カメラから受信した画像データであり、補助入力データが蛍光観察カメラから受信した蛍光画像データであり、可視光観察カメラと蛍光観察カメラが重畳した視野領域を有している場合、空間アライメントモジュールは、両方の画像データにおいて空間的特徴が同じ大きさおよび向きであるように、画像の少なくとも１つを調整する。これによって、出力画像データにおける様々な画像データの正確な合併が可能になる。このような場合の補助入力データは、択一的または追加的に、他の物理的な、有利には不可視の量を検出するセンサからのデータを含んでいてよい。これらのデータは、上述した蛍光画像データとして空間アライメントモジュールを使用して同じ方法で調整されてよい。

蛍光がＮＩＲ範囲で生じる場合、蛍光観察カメラはＮＩＲカメラであってよく、蛍光画像データはＮＩＲ画像データであってよい。

補助データが蛍光観察カメラからの画像データ、特に蛍光画像データである場合、時間的パターンおよび／または空間的パターンは蛍光画像データの彩度および／または明るさに関連していてよい。さらに疑似カラーパターンフィールドは、蛍光画像データにおいて２つの異なる色または波長が重なり、かつ自由選択的なさらなる判断基準として、各色または波長が最小強度を超えるところで生成されてよい。

補助入力画像データが三次元データセットを含む場合、時間的パターンおよび／または空間的パターンは、このパターンをオンにするための所定の条件が検出される位置、特に深さに関連してよい。これによって、出力画像データ内に、入力画像データに表されているものの下にある面における構造的および／または物理的特徴を表すデータを含むことが可能になる。これは、蛍光色素で標識された腫瘍の下にある血管または骨等である。

別の態様によれば、画像プロセッサは、時間変調スキームに従って、疑似カラー画像データの後続のセットを生成するように構成されていてよい。時間変調スキームは、有利には画像プロセッサ内に格納されている。この変調スキームは、異なる疑似カラーを表す異なる疑似カラー画像データのセット間の時間変化する交替、異なる彩度および／または明るさの疑似カラー画像データ、周期的に変化するパターンを表す異なる疑似カラー画像データの少なくとも１つを含んでいてよい。

変調スキームは、さらに伝搬波パターンを含んでいてよく、ここでは伝搬波パターンにおいて、速度、方向および波長の少なくとも１つが、補助入力データの内容に関連している。

医療用観察装置の別の態様によれば、出力画像データは三次元画像データを含んでいてよい。補助データの内容に応じて、三次元画像データの異なる深さまたは面において疑似カラー画像データが生成されている三次元出力画像データを生成および／または処理するように画像プロセッサが構成されていてよい。この態様は、疑似カラーパターンフィールドの生成とは無関係に実現されてよい。

例えば、三次元入力画像データは、可視光観察カメラまたは蛍光観察カメラのいずれかを用いて、Ｚスタッキングによって生成されてよい。したがって、疑似カラー画像データは、三次元特徴を提示するために使用され得る。既に説明したように、画像データの三次元性は、三次元超音波画像からも得られる。

本発明の別の態様によれば、出力画像データは、二次元画像データであってよく、入力画像データと補助入力データとのうちの少なくとも１つは、三次元データを含んでいてよい。画像プロセッサは、二次元出力画像データの面にない特徴に対して、疑似カラーを用いて三次元入力データから二次元出力画像データを計算するように構成されている。疑似カラー画像データ、特にその疑似カラーパターンフィールドは、二次元出力データにおいてレンダリングされる面内にない三次元入力画像および／または三次元補助入力データの一部のデータ内容を表示するために使用されてよい。

三次元入力画像または補助入力データに関連して疑似カラー画像を使用することは、それ自身で有利である。すなわち、疑似カラーパターンフィールドは使用されない。

医療用観察装置は、入力画像データを提供するために入力インターフェースに接続されている少なくとも１つの可視光観察カメラを含んでいてよい。可視光観察カメラは、三次元入力画像データまたは二次元入力画像データを提供してよい。医療用観察装置はさらに、少なくとも１つの蛍光観察カメラ、少なくとも１つの超音波センサ、少なくとも１つのマイクロ放射カメラ、少なくとも１つのガンマ線カメラ、少なくとも１つのＸ線カメラ、および／または少なくとも１つのサーモグラフィーカメラ等の、可視波長領域における電磁放射ではない物理的な量をセンシングするように構成されている少なくとも１つのセンサ装置を含んでいてよい。このような装置は、補助入力データを提供するために入力インターフェースに接続されていてよい。補助入力データは、一次元、二次元、三次元であってよい、または異なる次元の補助入力データのセットを提供してよい。

医療用観察装置は、有利には、１つより多くの蛍光色素、すなわち１つより多くの異なる蛍光スペクトルを識別、処理および表示するように構成されている。このために、蛍光観察カメラ、光源および可視光観察カメラの少なくとも１つに、蛍光スペクトルを選択的に遮断および／または透過させるためのフィルタ装置を設けることができる。疑似カラー画像は、そのような場合、有利には少なくとも２つの異なる疑似カラーを含み、ここで各疑似カラーは異なる蛍光スペクトル、すなわち異なる蛍光色素に割り当てられる。

画像プロセッサおよびその構成要素は、ハードウェア装置であっても、または少なくとも部分的に、多目的コンピュータまたはプロセッサにおいて実行されるソフトウェアモジュールによって表されてもよい。

本発明は、参照によりその全体が本明細書に組み込まれている、並行する出願ＥＰ１６１５５６２５．３に記載されているように、疑似カラー画像データと入力画像データとの合併を用いることができる。

以降では、添付図面を参照して本発明を例示的に説明する。図中、機能とデザインの少なくとも１つに関して互いに対応する要素には同一の参照番号を付している。

図面に示され、以下に説明される特徴の組み合わせは、一例に過ぎない。上記の特定の特徴の技術的効果が特定の用途に対して必要である場合または必要でない場合に、個々の特徴を付け加えるまたは省くことができる。

本発明による医療用観察装置の実施形態の概略図 本発明による医療画像の重ね合わせのための操作の方法を表す概略図 出力画像データに合併される入力画像データおよび補助入力データのセットの例の概略図 出力画像に合併される入力画像データおよび補助入力データの別の例の概略図 疑似カラー画像データ内の空間変調を有する疑似カラーパターンフィールドの概略図 時間変調パターンの概略図（図６Ａ〜図６Ｃ） 時間変調パターンの概略図（図７Ａ〜図７Ｉ）

図１を参照して、本発明を含む医療用観察装置１の構造についてはじめに説明する。

一例として、医療用観察装置１は、図１において顕微鏡として示されている。医療用観察装置１は、内視鏡であってもよい。

医療用観察装置１は、診断目的または外科手術目的のために、生組織６等の対象物４を検査するために使用される。対象物４には、１つ以上の蛍光色素が存在していてよい。

光源８の特定の波長による励起の際に、蛍光色素は異なるピーク発光波長、例えば、ＮＩＲ範囲で蛍光を発する。２つ以上の蛍光色素が使用される場合、それらは異なるピーク発光波長の光を放出してよい、または単に異なるスペクトルを有していてよい。生組織６の異なるタイプ１０、１２を標識するために、異なる蛍光色素を使用してよく、その結果、これらのタイプ１０、１２は、それらが放出する異なる蛍光波長によって識別され得る。光源８は、可視光範囲の、対象物を観察するための照明としても機能し得る。

例えば、１つのタイプのハッチングによって図１に概略的に示されている第１の蛍光色素１４を、特に、血管等の生組織６の１つのタイプ１２を標識するために使用することができる。別のタイプのハッチングによって図１に示されている第２の蛍光色素１６は例えば、腫瘍細胞等の生組織６の別のタイプ１０のみを標識してよい。

医療用観察装置１は、ズーム拡大レンズ等の光学システム１８を含んでいてよい。内視鏡の場合には、光学システム１８は光ファイバを含んでいてもよい。光学システム１８は、医療用観察装置１およびその医療用画像重ね合わせ装置４９の操作時に、生組織６の少なくとも一部に向けられている。対象物４の可視部分は、光学システム１８の視野２０によって決定される。生組織６で反射された光は、少なくとも１つの蛍光色素１４、１６から放射された蛍光と共に、光学システム１８によって収集され、少なくとも１つのビームスプリッタを含んでいる１つまたは複数のビームスプリッタシステム２４に向けられる。

光２２の一部２６は、少なくとも１つのビームスプリッタシステム２４によって可視光観察カメラ２８に向けられる。光２２の別の部分３０は、蛍光観察カメラ３２に向けられてよい。光２２の別の部分３４は、単眼でも双眼でもあり得る接眼レンズ３６に向けられてよい。

接眼レンズ３６は、接眼レンズ３６と少なくとも１つのビームスプリッタシステム２４との間に配置されている透過型ディスプレイ３８に向けられてよい。透過型ディスプレイ３８は、光２２の一部３４を通過させ、ディスプレイ３８上に目下表示されている絵を、光学システム１８によって提供されている画像上に重ね合わせる。

択一的に、ディスプレイ３８は、透過型でなくてよい。この場合には、ディスプレイ３８は、付加的な情報と共に対象物４のライブビューを表示しても、医療用画像重ね合わせ装置４９または医療用観察装置１の操作者が要求するあらゆる他の情報を表示してもよい。特に、透過型ディスプレイ３８の場合に光学システム１８によって直接的に提供されるであろう背景画像は、代わりに、可視光観察カメラ２８によってリアルタイムで提供されてよい。

医療用観察装置１はさらに、少なくとも１つのセンサ４０を含んでいてよい。これは例えば、対象物４と接触し得る超音波センサまたは血流センサである。

少なくとも１つのセンサ４０に加えて、少なくとも１つのさらなるセンサ装置４２が設けられていてよい。このセンサ装置４２は、有利には、マイクロ放射、ガンマ、Ｘ線、赤外線、または音データ等の不可視物理量をセンシングするように構成されている非光学的センシング装置である。非光学的センシング装置４２は、二次元または三次元のデータを提供する。非光学的センシング装置４２の例は、マイクロラジオグラフィーカメラ、超音波センサヘッド、サーモグラフィーカメラ、ガンマ線カメラ、およびＸ線カメラである。

非光学的センシング装置は有利には、光学システム１８と非光学的センシング装置４２によって捕捉されたデータが、対象物４の同じ領域からの異なる物理量を表すように、視野２０と重なるセンサフィールド４３を有している。

可視光範囲の光を蛍光波長の光から分離するために、および反射を避けるために、有利には、フィルタ装置４４を光源８、ビームスプリッタシステム２４、可視光観察カメラ２８、蛍光観察カメラ３２、接眼レンズ３６およびディスプレイ３８のうちの少なくとも１つの直前で使用することができる。

可視光観察カメラ２８は、データ接続部４６を介して医療用画像重ね合わせ装置４９の入力インターフェース４８に接続されている。医療用画像重ね合わせ装置は、ＡＳＩＣ等の特定の機能を実行する専用のハードウェアによって、汎用コンピューティング装置によって実行されるソフトウェアによって、またはその両方の組み合わせによって実現されてよい。

入力インターフェース４８は、医療用画像重ね合わせ装置４９および医療用観察装置１の操作時に、入力画像データ５２の後続のセット５０を受信する。入力画像データ５２は二次元であり、ピクセル５４を含むように構成されている。図１の実施形態では、入力画像データ５２の後続のセット５０は、カメラ２８によって提供される一連の可視光画像データ５３に対応する。

入力インターフェース４８はさらに、一次元補助入力データ６０、二次元補助入力データ６４または三次元補助入力データ６６のセット６２であってよい補助入力データ５８を受信するように構成されている。三次元補助入力データ６６は、二次元データの幾つかの面６７から成る。当然ながら、補助入力データ５８が、より高い次元のデータを含んでいてもよい。これは例えば、各ピクセルまたはボクセルに対して血流速度および方向等の付加的な物理的データを含んでいる三次元の絵を出力するハイパースペクトルカメラまたは超音波センサヘッドが使用される場合である。

蛍光観察カメラ３２は、データ接続部５６を介して、特に蛍光観察カメラ３２からの蛍光画像データ６５を表し得る二次元補助入力データ６４の後続のセット６２を送信してよい。蛍光画像データ６５は、入力画像データ５２と同じフォーマットを有しているが、異なる解像度を有していてよい。

センサ４０は、例えば血管１２内の時系列的な血流速度６８の形態で、一次元補助入力データを提供してよい。

センシング装置４２は、二次元または三次元補助入力データ６４の後続のセット６２を提供してよい。これは例えば、対象物４の深さ方向７０に平行な、すなわち、医療用観察装置１の視線方向７２に平行な面６７にある。

センシング装置４２は、データ接続部７４によって医療用画像重ね合わせ装置４９の入力インターフェース４８に接続されてよい。見易くするために図示されていない別のデータ接続部が、超音波センサ４２と入力インターフェース４８との間に存在してよい。すべてのデータ接続部は、有線セクションおよび／または無線セクションを含んでいてよい。

補助入力データ５８は、医療用画像重ね合わせ装置４９によって、記載された装置のうちのいずれか１つ、例えば蛍光観察カメラ３２からのみ、または超音波センサ４０からのみ受信される、ならびにそのような装置の任意の組み合わせから受信されるということを理解されたい。さらに、図１には示されていないが、補助入力データ５８を提供するために、他の装置が使用されてもよい。例えば、サーモグラフィーカメラ、マイクロラジオグラフィーカメラ、Ｘ線カメラおよび／またはガンマ線カメラを、超音波センサおよび／または蛍光観察カメラの代わりに、または超音波センサおよび／または蛍光観察カメラに加えて使用してよい。

医療用画像重ね合わせ装置４９は、可視光観察カメラ２８からの入力画像データ５２を補助入力データ５８と混合し、入力画像データ５２の少なくとも一部および補助入力データ５８の少なくとも一部の両方を含んでいる出力画像データ８１を提供するように構成されている画像プロセッサ８０を含んでいる。入力画像データ５２は背景データとして使用されるが、補助入力データ５８は、それらが入力画像データ５２と合併される前に、少なくとも１つの疑似カラーおよび／または疑似カラーパターンに割り当てられる。疑似カラーは、入力画像データ５２内に存在せず、有利には組織６内に存在しない色のリストから、画像プロセッサ８０によって手動または自動で選択され、例えば蛍光色である。有利には、各異なる物理量が異なる疑似カラーおよび／または疑似カラーパターンに割り当てられる。

このために、画像プロセッサ８０は疑似カラー画像生成器８２を含んでいる。疑似カラー画像生成器８２は、補助入力画像データ５８の内容および／または供給源に応じて、疑似カラーを補助入力データ５８に割り当てる。有利には、画像データ５２の各セット５０に対して、疑似カラー画像生成器８２は、リアルタイムで疑似カラー画像データ８６の対応するセット８４を生成するように構成されている。疑似カラー画像データ８６はその後、入力画像データ５２と混合される。

画像プロセッサ８０、特に疑似カラー画像生成器８２はさらに、疑似カラー画像データ８６内に少なくとも１つの疑似カラーパターン８７を生成するように構成されている。パターン８７は、疑似カラー画像データ８６の一貫した部分にわたって存在し、したがって疑似カラーパターンフィールド８８を形成する。パターン８７は、疑似カラー画像データ８６内の疑似カラーのゾーンの時間変調および／または空間変調を含んでいてよい。空間変調パターンは空間において規則性を有し、時間変調パターンは時間と共に規則性を有する。規則性は、パターンが予測可能に繰り返されることを意味する。

パターン８７が時間変調を有する場合、これは、パターン８７の連続的な繰り返しの間の時間を表す変化レートを有するように疑似カラー画像生成器８２によって生成される。

パターン８７は、補助入力データ５８の内容に応じて生成される。例えば、補助入力データ５８、特に蛍光画像データ６５の領域内に疑似カラー画像生成器８２によって中実疑似カラーの代わりにパターン８７が生成されてよい。これは、明るさの閾値等の閾値が満たされていないときである。内容がこの閾値をどの程度下回っているかに応じて、異なるパターン８７が生成されてよい。これは、図５、図６Ａ〜図６Ｃおよび図７Ａ〜図７Ｉを参照して、以下に例示的に説明される。図５は、空間変調を有する疑似カラーパターン８７’を示しており、図６Ａ〜図６Ｃは、時間変調を有するパターン８７’’を示しており、図７Ａ〜図７Ｉは、時間変調および空間変調の両方を有するパターン８７’’’を示しており、時間変調は時間変調スキーム８７’’’’に基づいている。

図５には、疑似カラー画像データ８６の１つのセットの概略図が示されている。疑似カラー画像データ８６は、少なくとも１つの疑似カラー８９、この例では２つの異なる疑似カラー８９ａおよび８９ｂと、異なる疑似カラーパターン８７を含んでいる２つの異なる疑似カラーパターンフィールド８８と、を含んでいる。これはこの例では、空間変調だけを有している。１つの疑似カラーパターンフィールド８８ａは例えば、反復する波形テンプレートから構成され、補助入力データ５８をデータライブラリと自動的に比較することによって液体含量の増加が発見された、例えば、超音波センサからの補助入力データ５８内の領域を指定するために使用されてよい。別の疑似カラーパターンフィールド８８ｂを使用して、強度が閾値を下回っている、または上回っている、補助入力データ５８の領域を指定することができる。パターン８７は空間変調のみを有するので、これらは時間と共に変化しない。しかし、疑似カラーパターンフィールド８８の範囲は、入力画像データ５２および／または補助入力データ５８の内容に関連するので、時間と共に変化し得る。

図６Ａ〜図６Ｃは、時間変調を伴う疑似カラーパターン８７を示している。この例では、時間変調は、単純な、時間と共に点滅する動作である。図６Ａにおいて、疑似カラーパターンフィールド８８は、第１の疑似カラー８９ａを含んでいる。図６Ｂでは、同じ疑似カラーパターンフィールド８８が、後の時点で、第１の疑似カラー８９ａの代わりに第２の疑似カラー８９ｂを含む（または疑似カラーを含まない）ことが示されている。再び、図６Ｃに示されている後の時点で、疑似カラーパターンフィールド８８は、図６Ａに示されている状態に戻る。したがって、繰り返しパターンが時間と共に表示される。連続的な繰り返しの間の時間間隔は、時間変調された疑似カラーパターン８７の変化レートによって決定される。変化レートは、入力画像データ５２および／または補助入力データ５８の内容に応じて、疑似カラー画像生成器８２において決定される。明白に視認可能な時間変調を有するために、変化レートは、フリッカー融合レートより低く、特に、フリッカー融合レートの半分を下回る。

図６Ａ〜図６Ｃに示された時間変調は、例えば、強度が閾値を上回る補助入力データに割り当てられていてよく、これが静的疑似カラーに割り当てられている場合、例えば飽和状態に達しているので、これは疑似カラー画像データ８６において識別可能ではないだろう。このような場合には、第２の疑似カラー８９ｂを示す代わりに、疑似カラー画像データ８６において疑似カラーをオフすることができる。

別の例では、図６Ａ〜図６Ｃに示されている時間変調が、そうでない場合には２つの静的疑似カラーが割り当てられるであろう領域において使用されてよい。時間変調を用いて、疑似カラーパターンフィールド８８が、１つより多くの疑似カラー８９の割り当てに対する判断基準を満たす内容の補助入力データから生じていることを明確に示すことができる。当然ながら、図６Ａ〜図６Ｃに示されている時間変調を、２つより多くの疑似カラー８９ａ、８９ｂを連続して含むように拡張することができる。

疑似カラーパターンフィールド８８は、時間変調および空間変調の両方を有する疑似カラーパターンフィールド８８を含んでいてよい。これは、疑似カラー画像データ８６の後続のセット８４内の異なる位置を取り、矢印８７ｃの方向に伝搬する伝搬波パターン８７ｂを生成する少なくとも１つの中実疑似カラーパターン領域８７ａを含んでいるパターン８７を示す図７Ａ〜図７Ｉに示されている。図７Ａ〜図７Ｉの各々は、１つの変化期間の間の後続のセット８４の１つを示している。この変化期間の終わりに、図７Ｉにおいて、図７Ａのパターンで開始することによって、この周期は繰り返される。

疑似カラーパターンフィールド８８は時間および空間の両方にわたって変化する規則性を示し、ここでは少なくとも１つの中実疑似カラーパターン領域８７ａは、透明な領域または別の疑似カラーで満たされた領域と、空間において規則的に交替し、変化レートの各通過後に、同じ空間パターンが疑似カラーパターンフィールド８８内に含まれている。変化レート自体が、補助入力データ５８の内容に応じて、時間と共に変化し得る、ということに留意されたい。

図７Ａ〜図７Ｉに示されている疑似カラーパターン８７は、例えば、血流データ等の、速度、流量および／または方向を表す補助入力データ５８に使用されてよい。補助入力データ５８において表される速度を、変化レート、空間変化レートによる流量、またはパターン８７における疑似カラー８９の強度によって表すことができる。疑似カラーパターンフィールド８８の範囲は、各セット５２に対して、補助入力データ５８から自動的に決定される。

画像プロセッサ８０はさらに、空間アライメントモジュール９０を含んでいてよい。空間アライメントモジュール９０は、入力画像データ５２および補助入力データ５８を、各セット５２、６２が空間的に互いに一致するように空間的に調整するように構成されている。これは、例えば、入力画像データ５２および補助入力画像データ５８の両方に存在する空間的特徴をアルゴリズムによって相関させることによって行うことができる。空間アライメントモジュール９０は、相関している構造体がアライメントされるように画像をモーフィングすることによって、入力画像データ５２と空間入力データ５８とのうちの少なくとも１つを調整するように構成されている。モーフィング操作は、入力画像データおよび補助入力データの少なくとも１つの伸張、回転、解像度の調整、および／またはワーピングを含んでいてよい。

例えば、蛍光観察カメラ３２からの蛍光画像データは、可視光観察カメラ２８からの可視光画像データに対して相対的に僅かに回転され、ワーピングされ、変位されていてよい。さらに、超音波センサ４０からの二次元データ６４は、異なるスケールおよび解像度を有していてよく、入力画像データ５０および／または蛍光観察カメラからの蛍光画像データ６５に対してワーピングおよび回転されていてよい。これらのデータを正確に重ね合わせるために、空間アライメントモジュール９０は、それぞれのデータ５２、５８内の共通構造を識別して、それぞれの向きおよびスケールを計算するために相関アルゴリズムを実行するように構成されている。空間的な調整は、入力画像データおよび補助入力データの同期された各セットに対して、このアルゴリズムの結果に応じて実行される。

さらに、空間アライメントモジュール９０は、補助入力データ５８を生成する装置の伝達関数を含んでいてよく、その伝達関数は、初期較正プロセスによって得られたものである。伝達関数は、ケラレ、ねじれおよび／または収差等の光学システムにおけるズレを修正するために使用されてよい。

医療用画像重ね合わせ装置４９はさらに、出力画像データ９４の後続のセット９２を出力するように構成されている出力インターフェース９１を含んでいる。出力画像データ９４は、疑似カラー画像データ８６と入力画像データ５０との合併から生じる。

このような合併の例は、その全体が参照により本明細書に組み込まれている、出願人の出願であるＥＰ１６１５５６２５．３に示されている。合併は、この参考文献においては、蛍光画像データのみに関して記載されているが、他のあらゆるタイプの二次元補助入力データ５８、６４、６７に対して、さらなる変更なしにこの合併を使用することができる。

出力画像データ９４は、有利には、出力画像データ９４における、時間変調パターン８７の最高変化レートより一桁高い出力データレートで出力される。特に、出力データレートはフリッカー融合レートより高く、特に２５Ｈｚより高い。対称的に、変化レートは、フリッカー融合レートより低いので、疑似カラーパターン８７の規則的な変化が明白に視認可能である。

パターン８７の認識は、人間の心の認識プロセスを頼りにすることなく、パターン８７は、空間的領域および時間的領域の少なくとも１つにおけるその規則性のために、あらゆる自動パターン認識プロセスによって認識され得る、ということが理解されるべきである。

ディスプレイ３８は、データ接続部９６を介して出力インターフェース９１に接続されている。ディスプレイ３８には、出力画像データ９４が表示される。ディスプレイ３８が透過型である場合、入力画像データ５２は出力画像データ９２から省かれてよく、疑似カラー画像データ８６のみが表示されてよい。この場合に入力画像データ５０は、疑似カラー画像データ８６とパターン８７を入力画像データ５２とアライメントするためだけに使用される。入力画像データ５０がディスプレイ３８を通して、見えるものを正確に表現するときには、効果は、非透過型ディスプレイを使用して、合併された入力画像データ５２と疑似カラー画像８６を表示することと同じである。

接眼レンズ３６を通して見えるものの概略的な例が、図１に詳細に示されている。

蛍光色素１４、１６には、疑似カラー画像生成器８２によってそれぞれ異なる疑似カラーが割り当てられる。出力画像データ９４は、疑似カラー画像生成器８２によってリアルタイムで生成され、時間変調および／または空間変調を有する少なくとも１つの疑似カラーパターンフィールド８８を含んでいる。パターンフィールド８８は、疑似カラーパターン８７を含んでおり、入力画像データ５２および／または補助入力データ５８の内容に応じて生成される。

例えば、蛍光観察カメラ３２の蛍光画像データ６５において、蛍光画像データ６５が有する蛍光強度が、所定の、しかし有利には調整可能な閾値を下回る領域がある場合には、それらが疑似カラーパターン８７によって標識されてよい。ここでは疑似カラー８９が、自身の完全な明るさの少なくとも半分を有し得る。したがって蛍光画像データ６５の強度が低いにもかかわらず、この領域は依然として観察者にとって視認可能である。択一的にまたは付加的に、蛍光画像データが所定の、しかし有利には調整可能な閾値を上回る強度を有している領域において、異なるパターン８７が使用されてよい。これは、これらのデータが信頼できないこと、またはカメラの感度を調整しなければならないことを観察者に示し得る。

医療用画像重ね合わせ装置４９および医療用観察装置１は、ディスプレイ３８内に二次元画像および／または三次元画像を提供してよく、したがって、ディスプレイ３８は、２Ｄまたは３Ｄディスプレイであり得る。

光学システム１８の視野２０の面の下の深さ方向７０に位置し、したがって可視光観察カメラ２８からの可視光画像データ５３または蛍光観察カメラ３２からの蛍光画像データ６５に含まれていない位置からのデータを含む補助入力データ５８が使用される場合、これらが、疑似カラーパターン８７を用いて疑似カラー画像データ８６に加えられてよい。例えば、超音波センサ４０または４２が、視野２０の下の大きな血管または神経等の、対象物４内の一貫した構造体１００を検出した場合、この構造体１００は、疑似カラーパターンフィールド８８を使用することによって、疑似カラー画像データおよび最終的には出力画像データ内にレンダリングされてよい。

異なる疑似カラーおよび異なるパターン８７を使用することによって、異なる装置からの様々な補助入力データ５８を同時に表示することができる。

図２を参照して、次に、入力画像データおよび補助入力データから、疑似カラー画像データを介して出力画像データを生成するプロセスを説明する。図２では、自由選択的なステップが破線で示されている。

図２は、入力画像データ５２が医療用画像重ね合わせ装置４９によって実行され得る第１のステップ１１０において前処理されることを示している。前処理ステップ１１０は、ヒストグラムの平坦化、コントラストの自動調整、光学システム１８に起因する収差、ケラレ、ねじれによるズレの補正ならびにノイズ低減のうちの任意の１つまたは任意の組み合わせを含んでいてよいが、これらに限定されなくてよい。

少なくとも１つのズレ、ノイズおよびねじれを補正するために、蛍光画像データ６５等の補助入力データ５８または超音波データ、マイクロラジオグラフィー画像データ、サーモグラフィー画像データおよび／またはＸ線画像データ等の別のさらなる補助入力データ５８に前処理ステップ１１２が施されてもよい。ステップ１１２で実行される前処理アルゴリズムは、一般的に、ステップ１１０における入力画像データ５２用のものと同じであってよいが、異なる物理的パラメータおよびシステムを構成するために異なるパラメータを使用している。例えば、光学システム１８によって導入されたズレの補正は、蛍光画像データ６５の場合には、可視光画像データ５３の場合と異なることがある。

特に、補助入力データ５８の場合、前処理１１２は、閾値比較を含んでいてもよく、この閾値比較では、特定の感度閾値を下回る内容を有する補助入力データが、例えば無効にされるか削除される。したがって、これらは出力画像データ内に含まれないだろう。例えば、ピクセルの強度が感度閾値を下回る場合、ピクセルは補助入力データ５８において無効にされるかまたはゼロに設定されるかまたは透明に設定されてよい。感度閾値は、医療用画像重ね合わせ装置４９または医療用観察装置１の使用者によって決定されてよい。したがって、極めて低い信号強度、すなわち蛍光レベルまたは超音波反射性のみを表すピクセルは、疑似カラー画像生成において考慮されないことがある。

次のステップ１１４は、入力画像データ５２および補助入力データ５８の少なくとも１つ、特に二次元補助入力データおよび／または三次元補助入力データの空間的調整を含み、入力画像データ５２および補助入力データ５８の両方において空間的特徴は同じ位置に位置し、同じ大きさおよび向きである。空間的調整１１４の終了時に、入力画像データおよび補助入力データは、少なくとも実質的に空間的に一致している。有利には、入力画像データ５２は、空間アライメントステップ１１４において参照されるために使用される。したがって補助入力データ５８が、空間アライメントステップ１１４において修正されるが、入力画像データ５２は変更されないままである。例えば、ピクセルが無効にされていること、かつ／または蛍光観察カメラ３２および／またはマイクロラジオグラフィーカメラ、サーモグラフィーカメラまたはガンマ線カメラおよび／または超音波センサのピクセルにおいて測定される解像度が、可視光観察カメラ２８の解像度より低いことが理由で、補助入力データ５８が入力画像データよりも少ないデータを含んでいる場合にこれは特に有利である。しかし入力画像データを変更せずに残しておくと、光学システム１８および可視光観察カメラ２８の視野２０が維持され、したがって視野２０がディスプレイ３８上に忠実にレンダリングされる。

空間アライメントステップ１１４において、セット６２または面６７の補助入力データ５８は、入力画像データ５２に空間的に相関させるために、ねじられ、回転され、解像度が変更されてよい。入力画像データ５２および補助入力データ５８にタイムスタンプが付けられてよく、これによって入力画像データ５２のセットが、この入力画像データと同時にサンプリングされた補助入力データ５８のセットと共に処理される。

次に、ステップ１１６において、疑似カラー画像データが補助入力データ５８から生成される。

例えば、ＮＩＲ範囲にあり、したがって人間には見えない蛍光画像データ６５における異なる蛍光色が、可視範囲における異なる疑似カラーに割り当てられてよい。さらに、不可視物理量、すなわち超音波、マイクロ放射、ガンマ線またはサーモグラフィーセンシング等の、可視光範囲における電磁波ではない物理量を表す補助入力データ５８にも疑似カラーが割り当てられてよい。有利には、各センシングモダリティが、異なる疑似カラーおよび／または異なるパターンに割り当てられている。

出力画像データの単一セット内で多くの異なるタイプの補助入力データ５８が使用されると、過度に多くの疑似カラーが使用されてしまう。したがって、同じ疑似カラーを使用するパターンを使用して、異なる疑似カラーの数を少なく抑えることができる。さらに、ハッチング等のパターン８７の使用は、下にある入力画像データの一部を不明瞭にするだけであり、下にある入力画像データをより良く見ることを可能にする。

さらに、補助入力データ５８の内容が、補助入力データ５８における記録された信号の低い強度を指定する場合、それらは、捉えにくい疑似カラーリングでのみで視覚化されるだろう。このような捉えにくい疑似カラーリングは、非疑似カラーリング領域とは別に、不十分にセットされ得る。したがってこれらの領域は、中実疑似カラーによって満たされるのではなく、疑似カラーが高い明るさを有する、例えば明るさの最大値の少なくとも５０％を有するパターンによって満たされるべきである。

異なるパターンおよび疑似カラーは、有利には、医療用画像重ね合わせ装置４９内に保持されている記憶装置１２０から自動的に選択される。使用者は、特定の割り当てを予め設定することができる。すなわち例えば特定の疑似カラーおよび／またはパターンを、特定のデータ源に、データ源からのデータの特定の内容に、例えば特定の蛍光色素に、ピクセル強度に、またはデータの変化パターンに、例えば変化レートに割り当てることができる。

ステップ１１６において、疑似カラー画像データ８６の後続のセット８４が得られ、ここで少なくとも１つの疑似カラーパターンフィールド８８が、入力画像データ５２と補助入力データ５８とのうちの少なくとも１つのデータの内容に応じて、パターン８７で満たされる。

次のステップ１２４において、疑似カラー画像と入力画像とが合併される。この合併は、リアルタイム処理を可能にするために、入力画像データ５２および補助入力データ５８の後続のセットにおける各データセットに対して行われる、ということが理解されるべきである。

合併プロセスは、参照によって組み込まれている、並行する出願ＥＰ１６１５５６２５．３に詳細に記載されている。画像合併ステップ１２４の結果、出力画像データ９４が得られ、最終的にディスプレイ３８上に表示される。

図３において、図２に示したプロセスをさらに説明する。

入力画像データ５２は、可視光観察カメラ２８からの可視光画像データ５３を表す。蛍光画像データ６５は、蛍光観察カメラ３２から補助入力データ５８として得られ、少なくとも２つの蛍光色素１４、１６の発光スペクトルを含んでいる。これらは、図３においてＦＬ８００およびＦＬ４００が付けられた異なる疑似カラーに割り当てられている。

少なくとも１つの疑似カラーパターンフィールド８８は、蛍光画像データ６５の内容に応じて、疑似カラー画像データ８６において生成されている。疑似カラーパターンフィールド８８ａは、２つの蛍光色素１４、１６が重なっている領域を指定する。疑似カラーパターンフィールド８８ａは、各蛍光色素１４、１６または対応する発光スペクトルに割り当てられた疑似カラーの一方または両方、または異なる疑似カラーを含んでいてよい。他の人工的に生成された疑似カラーパターンフィールド８８ｃは、疑似カラーのうちの１つが極めて低い強度を有する領域を指定する。この疑似カラーパターンフィールド９８は、各蛍光色素または蛍光発光スペクトルに割り当てられた同じ疑似カラーを使用してよい。

超音波センサ４２からの二次元補助入力データ５８も疑似カラー画像データ８６に変換される。パターンフィールド８８は、超音波からの補助入力データ５８におけるピクセル強度が閾値を上回っている領域において人工的に生成される。次いで、疑似カラー画像が、入力画像データ５２と合併され、少なくとも１つの疑似カラーパターンフィールド８８を含んでいる出力画像データ９４が得られる。

図４において、出力画像データ９４のセット９２は、腫瘍マーキング蛍光色素１６からの蛍光を含んでいる蛍光画像データ６５を、超音波画像データおよび可視光画像データ５３と合併することによって生成されている。

出力画像データ９４内の少なくとも１つの疑似カラーパターンフィールド８８は、矢印１３４によって示されているように、時間変調を有していてよい。疑似カラーパターンフィールド８８が占める領域は、各後続のセットにおける血流速度および方向を有する血管として自動的に認識される領域に相当する。疑似カラーパターンフィールド８８は、矢印１３４の方向に伝搬する波形パターン８７ｂを生成するために出力画像データ９４の後続のセットにおいて修正された波形パターンである。

波伝搬３４の速度および方向は、超音波センサ４０または４２からの補助入力データ５８に含まれている血流方向および血流速度に関連する。波長は、表面からの血管の距離に関連して選択されてよい。血管の位置および範囲および血流速度および血流方向に関する情報は、画像プロセッサ８０によって実行されるアルゴリズムによって、超音波データから抽出されてよい。

１ 医療用観察装置
４ 対象物
６ 生組織
８ 光源
１０ 組織の種類、腫瘍組織
１２ 組織の種類、血管
１４ 第１の蛍光色素
１６ 第２の蛍光色素
１８ 光学システム
２０ 視野
２２ 光学システムによって集められた光
２４ ビームスプリッタシステム
２６ 可視光観察カメラに分岐した光
２８ 可視光観察カメラ
３０ 蛍光観察カメラに分岐した光
３２ 蛍光観察カメラ
３４ 接眼レンズまたは双眼接眼レンズに分岐した光
３６ 接眼レンズ
３８ ディスプレイ
４０ 超音波センサ
４２ 非光学的センシング装置
４３ 非光学的センシング装置の視野
４４ 光学フィルタ装置
４６ データ接続部
４８ 入力インターフェース
４９ 医療用画像重ね合わせ装置
５０ 入力画像データのセット
５２ 入力画像データ
５３ 可視光画像データ
５４ ピクセル
５６ データ接続部
５８ 補助入力データ
６０ 一次元補助入力データ
６２ 二次元補助入力データのセット
６４ 二次元補助入力データ
６５ 蛍光画像データ
６６ 三次元補助入力データ
６７ 三次元入力データの面
６８ 血流速度／方向
７０ 深さ方向
７２ 視線方向
７４ データ接続部
８０ 画像プロセッサ
８２ 疑似カラー画像生成器
８１ 出力画像データ
８４ 疑似カラー画像データのセット
８６ 疑似カラー画像データ
８７ 疑似カラーパターン
８７’ 空間変調を有する疑似カラーパターン
８７’’ 時間変調を有する疑似カラーパターン
８７’’’ 時間変調および空間変調を有する疑似カラーパターン
８７’’’’ 時間変調スキーム
８７ａ 疑似カラーパターン内の中実疑似カラー領域
８７ｂ 伝搬波パターン
８７ｃ 伝搬方向
８８ 疑似カラーパターンフィールド
８８ａ データ重ね合わせを示す疑似カラーパターンフィールド
８８ｂ 低い強度を示す疑似カラーパターンフィールド
８９ 疑似カラー
８９ａ ある疑似カラー
８９ｂ 別の疑似カラー
９０ 空間画像アライメントモジュール
９１ 出力インターフェース
９２ 出力画像データのセット
９４ 出力画像データ
９６ データ接続部
９８ 疑似カラーパターンフィールド
１００ 大きい血管
１１０ 入力画像データを前処理するステップ
１１２ 補助入力データを前処理するステップ
１１４ 空間画像アライメント
１１６ 疑似カラー画像生成
１２０ 疑似カラーおよび／または疑似カラーパターン記憶装置
１２４ 画像合併
１３４ 矢印

Claims (15)

1. 顕微鏡または内視鏡等の医療用観察装置（１）であって、
   入力インターフェース（４８）と、画像プロセッサ（８０）と、出力インターフェース（９１）と、を含んでおり、
   前記入力インターフェース（４８）は、入力画像データ（５２）の後続のセット（５０）および補助入力データ（５８）の後続のセットを受信するように構成されており、
   前記出力インターフェース（９１）は、出力データレートで出力画像データ（９４）の後続のセット（９２）を出力するように構成されており、
   前記画像プロセッサ（８０）は、前記入力画像データおよび前記補助入力データの前記セットを受信するために前記入力インターフェース（４８）に接続されており、前記出力画像データを出力するために前記出力インターフェースに接続されており、前記画像プロセッサはさらに、前記補助入力データ（５８）と前記入力画像データ（５２）とのうちの少なくとも１つのデータの内容に応じて、疑似カラー画像データ（８６）の後続のセット（８４）を生成し、前記入力画像データ（５２）と前記補助入力データ（５８）と前記疑似カラー画像データ（８６）とのうちの少なくとも１つのデータの内容に応じて、前記疑似カラー画像データ（８６）内に少なくとも１つの人工的に作られた疑似カラーパターンフィールド（８８）を生成するように構成されており、
   前記疑似カラーパターンフィールド（８８）は、時間的に変化する擬似カラーパターンおよび／または空間的に変化する擬似カラーパターン（８７，８７’，８７’’，８７’’’）の少なくとも１つを含んでおり、前記画像プロセッサは、前記疑似カラー画像データ（８６）と前記入力画像データ（５２）との少なくとも１つのセクションを合併して、前記疑似カラーパターンフィールド（８８）を含んでいる前記出力画像データ（９４）を生成するように構成されている、
   医療用観察装置（１）。
2. 前記疑似カラーパターンフィールド（８８）は、変化レートを有する時間変調パターン（８７’’，８７’’’）を含んでおり、前記出力データレートは、前記変化レートより高い、
   請求項１記載の医療用観察装置（１）。
3. 前記画像プロセッサは、前記入力画像データ（５２）と前記補助入力データ（５８）とのうちの少なくとも１つのデータの内容に応じて、前記時間変調パターン（８７）の変化レートを計算するように構成されている、
   請求項１または２記載の医療用観察装置（１）。
4. 前記入力インターフェース（４８）は、超音波マイクロホンデータ、超音波画像データ、マイクロラジオグラフィー画像データ、ガンマ線画像データ、サーモグラフィー画像データ、マルチスペクトル画像データおよび蛍光画像データの少なくとも１つを前記補助入力データ（５８）として受信するように構成されている、
   請求項１から３までのいずれか１項記載の医療用観察装置（１）。
5. 前記出力画像データ（９４）は、少なくとも１つの疑似カラーパターンフィールド（８８）を、前記補助入力データ（５８）の内容が閾値を下回っている領域および閾値を上回っている領域の少なくとも１つにおいて含んでいる、
   請求項１から４までのいずれか１項記載の医療用観察装置（１）。
6. 前記出力画像データ（９４）の後続のセット（９２）は、時間変調パターン（８７’’，８７’’’）を有する疑似カラーパターンフィールド（８８）を含んでおり、前記時間変調パターンは、伝搬波パターン（８７ｂ）を含んでおり、前記伝搬波パターンの速度、方向および波長の少なくとも１つは、前記補助入力データ（５８）の内容に関連している、
   請求項１から５までのいずれか１項記載の医療用観察装置（１）。
7. 前記出力画像データ（９４）は、三次元であり、前記画像プロセッサ（８０）は、前記補助入力データ（５８）の内容に応じて、前記三次元出力画像データの異なる深さの層で疑似カラー画像データ（８６）を生成するように構成されている、
   請求項１から６までのいずれか１項記載の医療用観察装置（１）。
8. 前記医療用観察装置（１）は、前記入力画像データ（５２）の後続のセット（５０）を提供するために前記入力インターフェース（４８）に接続されている可視光観察カメラ（２８）を含んでおり、
   前記医療用観察装置（１）は、さらに、前記補助入力データ（５８）を提供するために前記入力インターフェース（４８）に接続されている、蛍光観察カメラ（３２）と超音波センサ（４０，４２）とのうちの少なくとも１つを含んでいる、
   請求項１から７までのいずれか１項記載の医療用観察装置（１）。
9. 前記医療用観察装置（１）は、前記蛍光観察カメラ（３２）および光源（８）を含んでおり、
   前記蛍光観察カメラ（３２）、前記光源（８）および前記可視光観察カメラ（２８）の少なくとも１つに、少なくとも２つの異なる蛍光色素（１４，１６）のためのフィルタ装置（４４）が設けられており、
   各蛍光色素（１４，１６）は、異なるピーク発光波長を有しており、
   前記出力画像データ（９４）は、少なくとも２つの疑似カラー（８９）を含んでおり、
   前記画像プロセッサ（８０）は、異なる疑似カラー（８９）を異なる蛍光ピーク発光波長の各々に割り当てるように構成されている、
   請求項８記載の医療用観察装置（１）。
10. 前記医療用観察装置（１）は、さらに超音波センサ（４０，４２）を含んでおり、
    前記画像プロセッサ（８０）は、前記超音波センサ（４０，４２）からの前記補助入力データ（５８）の内容に応じて、前記出力画像データ（９４）内に前記疑似カラーパターンフィールド（８８）を生成するように構成されている、
    請求項８または９記載の医療用観察装置（１）。
11. 前記補助入力データ（５８）は、三次元補助入力データ（６６）を含んでおり、
    前記画像プロセッサ（８０）は、前記三次元補助入力データ（６６）の内容に応じて、疑似カラーパターンフィールド（８８）を生成するように構成されている、
    請求項１から１０までのいずれか１項記載の医療用観察装置（１）。
12. 医療画像を表示する方法であって、前記方法は、
    入力画像データ（５２）の後続のセット（５０）を受信するステップと、
    補助入力データ（５８）の後続のセットを受信するステップと、
    前記補助入力データ（５８）と前記入力画像データ（５２）とのうちの少なくとも１つのデータの内容に応じて、疑似カラー画像データ（８６）の後続のセットを生成するステップと、
    前記入力画像データ（５２）と前記補助入力データ（５８）と前記疑似カラー画像データ（８６）とのうちの少なくとも１つのデータの内容に応じて、前記疑似カラー画像データ（８６）内に、空間変調および時間変調の少なくとも１つを有している、少なくとも１つの疑似カラーパターンフィールド（８８）を生成するステップと、
    前記疑似カラーパターンフィールド（８８）を含んでいる出力画像データ（９４）のセット（９２）を得るために前記疑似カラー画像データ（８６）の各セット（８４）を前記入力画像データ（５２）の各セットと合併するステップと、
    出力データレートで前記出力画像データ（９４）を表示するステップと、
    を含んでいる方法。
13. 前記補助入力データの少なくとも１つのセットは、超音波センサ、マイクロラジオグラフィーカメラ、サーモグラフィーカメラ、蛍光観察カメラ、マルチスペクトルカメラおよびガンマ線カメラから受信される、
    請求項１２記載の方法。
14. 出力画像データ（９４）の後続のセット（９２）は、前記出力データレートより低く、前記入力画像データ（５２）と前記補助入力データ（５８）と前記疑似カラー画像データ（８６）とのうちの少なくとも１つのデータの内容に関連している変化レートで時間変調を有している疑似カラーパターンフィールド（８８）を含んでいる、
    請求項１２または１３記載の方法。
15. コンピュータに、請求項１２から１４までのいずれか１項記載の方法を実行させるプログラムを格納している非一時的コンピュータ記憶媒体。

Images