JP2011229850A - 内視鏡装置、方法およびプログラム - Google Patents

Abstract

【課題】動きのある全体画像とともに、実質的にぶれのない形態観察用、機能観察用の画像を提供すること。
【解決手段】生体の形態観察用または機能観察用の画像である観察用画像を表示させる内視鏡装置１０が、生体の画像である原画像を連続的に撮像する撮像部１２４と、生体の動きを検出する動き検出部と、複数の原画像のそれぞれから観察用画像として部分的に切り出す範囲を、動き検出部が検出した生体の動きに応じて設定する範囲設定部と、複数の原画像のそれぞれから、範囲設定部が設定した範囲の画像を切り出す切り出し部と、複数の原画像のそれぞれを、複数の原画像のそれぞれから切り出された観察用画像とともに表示させる表示制御部を有する画像処理部１０２とを備える。
【選択図】図１

Description

本発明は、内視鏡装置、方法およびプログラムに関する。

ビデオスコープの映像で画ぶれが生じないようにすべく、先のタイミングの画像に対する後のタイミングの画像の画ぶれ量を検出して、検出した画ぶれ量に応じて、後のタイミングの画像を平行移動するとした技術が知られている（例えば、特許文献１参照）。また、心拍動に伴ってブレている画像を時系列に重ね合わせて静止状態で表示するとした血管内視鏡装置が知られている（例えば、特許文献２参照）。
特許文献１ 特開平６−２８５０１６号公報
特許文献２ 特開平１１−１６８７１７号公報

内視鏡映像において動いている部位の画ブレを生じないようにすべく、後のタイミングの画像を平行移動すると、動いていない他の部位がブレてしまう。また、内視鏡の撮像対象となる生体等の動きは単純な平行移動ではないことが多い。このため、複数の形態観察用または機能観察用画像を異なるタイミングで順次撮像し、形態観察用または機能観察用画像を切り出して複数同時に表示しようとすると、単純な切り出しでは複数の切り出し画像の位置がずれてしまい、診断しにくい画像しか得ることができない。

上記課題を解決するために、本発明の一態様においては、生体の形態観察用または機能観察用の画像である観察用画像を複数同時に表示させる内視鏡装置であって、生体の画像である原画像を連続的に撮像する撮像部と、生体の動きを検出する動き検出部と、複数の原画像のそれぞれから観察用画像として部分的に切り出す範囲を、動き検出部が検出した生体の動きに応じて設定する範囲設定部と、複数の原画像のそれぞれから、範囲設定部が設定した範囲の画像を切り出す切り出し部と、複数の原画像のそれぞれを、複数の原画像のそれぞれから切り出された観察用画像とともに表示させる表示制御部とを備える。

範囲設定部は、観察用画像として切り出す画像領域の位置、サイズ、および向きの少なくともいずれかを、動き検出部が検出した生体の動きに応じて設定してよい。

範囲設定部は、撮像部による撮像領域における形態観察または機能観察の対象部位の位置を、生体の動きに基づいて特定する位置特定部と、位置特定部が特定した位置に基づいて、観察用画像として切り出す範囲を決定する範囲決定部とを有してよい。

位置特定部は、撮像部の撮像方向に直交する面内での対象部位の位置を、生体の動きに基づいて特定し、範囲決定部は、位置特定部が特定した位置に基づいて、観察用画像として切り出す画像領域の位置を決定する位置決定部を含んでよい。

位置特定部は、撮像部の撮像方向に沿う方向の対象部位の位置を、生体の動きに基づいて特定し、範囲決定部は、位置特定部が特定した位置に基づいて、観察用画像として切り出す画像領域のサイズを決定するサイズ決定部を含んでよい。

範囲設定部は、形態観察または機能観察の対象部位が撮像部の撮像方向の回りに回転する角度を、生体の動きに基づいて特定する角度特定部と、角度特定部が特定した角度に基づいて、観察用画像として切り出す画像領域の向きを決定する向き決定部とを有してよい。

観察用画像として切り出す画像領域の位置、サイズ、および向きのいずれのパラメータを用いて範囲設定部が切り出し範囲を設定するかを、ユーザからの指示に基づいて選択する選択制御部をさらに備え、範囲設定部は、選択制御部が選択したパラメータを用いて、観察用画像として切り出す範囲を設定してよい。

表示制御部は、観察用画像として切り出された原画像上の画像領域よりも、観察用画像を大きく表示させてよい。

表示制御部は、複数の原画像のそれぞれに、観察用画像として切り出す範囲を示すマークを重畳して表示させてよい。

観察用画像として切り出す範囲に含まれるべき、複数の原画像のうちの少なくともいずれかの画像内の領域を特定する領域特定部をさらに備え、範囲設定部は、動き検出部が検出した生体の動きに基づいて、複数の原画像のそれぞれにおいて、領域特定部が特定した領域に対応する領域を特定し、特定した領域を少なくとも含む範囲を、観察用画像として切り出す範囲に設定してよい。

領域特定部は、観察用画像として切り出す範囲に含まれるべき、複数の原画像のうちの少なくともいずれかの画像内の領域を、ユーザからの指示に基づいて特定してよい。

形態観察または機能観察の対象部位の画像が適合すべき条件を記憶する条件記憶部をさらに備え、領域特定部は、複数の原画像のうちの少なくともいずれかにおいて、条件記憶部が記憶している条件に適合する領域を、観察用画像として切り出す範囲に含まれるべき領域として特定してよい。

動き検出部は、生体の周期的な動きの位相を検出し、範囲設定部は、観察用画像として部分的に切り出す範囲を、動き検出部が検出した生体の動きの位相に応じて設定してよい。

生体の動きの位相に対応づけて、撮像部により撮像される複数の領域のそれぞれにおける動き特性を記憶する動き特性記憶部をさらに備え、範囲設定部は、動き検出部が検出した生体の動きの位相と、動き特性記憶部が記憶している動き特性とに基づいて、形態観察または機能観察の対象となる対象部位の動きを特定し、特定した動きに応じて、観察用画像として切り出す範囲を設定してよい。

範囲設定部は、動き検出部が検出した生体の動きの位相と、動き特性記憶部が記憶している動き特性とに基づいて、複数の対象部位のそれぞれの動きを特定し、特定した動きに応じて、観察用画像として切り出す複数の範囲を設定し、切り出し部は、複数の原画像のそれぞれから、範囲設定部が設定した複数の範囲の画像を切り出し、表示制御部は、複数の原画像のそれぞれを、複数の原画像のそれぞれから複数切り出された複数の観察用画像とともに表示させてよい。

動き検出部は、生体の心臓の拍動の位相を検出し、範囲設定部は、観察用画像として切り出す範囲を、拍動の位相に応じて設定してよい。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

一実施形態に係る内視鏡装置１０の一例を示す図である。 画像処理部１０２のブロック構成の一例を示す図である。 範囲設定部２２０のブロック構成の一例を示す図である。 切り出し範囲の設定例を示す図である。 表示装置１４０の画面の一例を示す図である。 切り出し範囲の他の設定例を示す図である。 切り出し範囲の他の設定例を示す図である。 動き特性記憶部２８０が記憶している動き特性の一例をテーブル形式で示す図である。 １の原画像から複数の観察用画像を切り出す処理の一例を示す図である。 表示装置１４０の画面の他の一例を示す図である。 内視鏡装置１０における処理フローの一例を示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態に係る内視鏡装置１０の一例を示す。内視鏡装置１０は、生体の形態観察用または機能観察用の画像である観察用画像を複数同時に表示する。

具体的には、内視鏡装置１０は、生体を撮像して得られた画像から観察用画像を切り出して、切り出した画像を、撮像した画像とともに複数同時に表示する。撮像中に生体が動くことによって、形態観察または機能観察の対象となる部位も位置シフトが生じるが、内視鏡装置１０は、生体の動きに応じて観察用画像の切り出し位置をシフトさせて、画像領域の中央に観察部位が位置する観察用画像を生成する。これにより、生体の動きを表す全体の映像とともに、観察対象の部位が静止したように見える形態観察用または機能観察用の映像を、ユーザである医者等の観察者に提示することができる。

本実施形態において生体としては、人間等の生物の内部の胃、腸等の臓器等を例示することができる。臓器等とは、臓器等の内膜および外膜を含む概念とする。本実施形態において、内視鏡装置１０による撮像対象となる部位を特に検体２０と呼ぶ場合がある。内視鏡装置１０は、挿入部１２０、光源１１０、制御装置１００、検体情報検出器１３０、蛍光剤注入装置１７０、記録装置１５０、表示装置１４０、処置具１８０を備える。挿入部１２０の先端部は、本図のＡ部に拡大して示す。

挿入部１２０は、挿通口１２２、撮像部１２４、および、ライトガイド１２６を有する。挿入部１２０の先端部には、撮像部１２４の一部としての対物レンズ１２５を有する。また、同先端部は、ライトガイド１２６の一部としての照射部１２８ａおよび照射部１２８ｂを有する。照射部１２８ａおよび照射部１２８ｂには、それぞれ、光照射用の対物レンズが設けられてよい。照射部１２８ａおよび照射部１２８ｂは、照射部１２８と総称される。また、同先端部は、ノズル１２１を有する。

挿入部１２０は、生体内に挿入される。挿通口１２２には、検体２０を処置する鉗子等の処置具１８０が挿入される。挿通口１２２は、挿入された処置具１８０を先端部へとガイドする。処置具１８０は、各種の先端形状を備えることができる。ノズル１２１は、水あるいは空気を検体２０に向けて送出する。

ライトガイド１２６は、光源１１０が発光した光を照射部１２８へと導く。ライトガイド１２６は、例えば光ファイバを用いて実装できる。照射部１２８は、ライトガイド１２６により導かれた光を検体２０に向けて照射する。撮像部１２４は、検体２０からの戻り光を対物レンズ１２５を通じて受光して、検体２０を撮像する。

撮像部１２４は、検体２０を可視光で撮像した可視光画像を撮像することができる。検体２０の可視光画像を撮像する場合、光源１１０は可視光を発光する。具体的には、光源１１０は、略白色の照明光を発光する。照明光には、例えばＲ波長域、Ｇ波長域およびＢ波長域の光を含む。光源１１０が発光した可視光は、ライトガイド１２６を通じて照射部１２８ａから検体２０に向けて照射される。対物レンズ１２５には、検体２０によって照明光が反射、散乱されて、可視の波長域に属する光が戻り光として入射する。撮像部１２４は、検体２０からの可視の波長域に属する戻り光により、可視光画像を撮像する。

撮像部１２４は、検体２０からのルミネッセンス光で撮像したルミネッセンス光画像を撮像することができる。検体２０からの戻り光の一例であるルミネッセンス光とは、蛍光および燐光を含む概念とする。また、ルミネッセンス光とは、励起光等の光による光ルミネッセンスの他に、化学ルミネッセンス、摩擦ルミネッセンス、熱ルミネッセンスを含む概念とする。本実施形態に係る説明では、内視鏡装置１０は、光ルミネッセンスによる蛍光により、ルミネッセンス光画像の一例としての蛍光画像を撮像するとする。

検体２０の蛍光画像を撮像する場合、光源１１０は励起光を発光する。光源１１０が発光した励起光は、ライトガイド１２６を通じて照射部１２８ｂから検体２０に向けて照射される。検体２０に含まれる蛍光物質は励起光により励起されて、蛍光を発する。撮像部１２４は、戻り光である蛍光により、検体２０の蛍光画像を撮像する。なお、本図に示すように照射部１２８ａと照射部１２８ｂとを先端部の異なる位置に設けるとしてよいが、照明光および励起光の共用の照射部として、挿入部１２０の先端部の同じ位置に設けることもできる。

蛍光物質は、ルミネッセンス物質の一例とする。蛍光物質は、検体２０に外部から注入されてよい。蛍光物質としては、インドシアニングリーン（ＩＣＧ）を例示することができる。蛍光剤注入装置１７０は、静脈注射によって、生体の血管内にＩＣＧを注入してよい。蛍光剤注入装置１７０は、制御装置１００の制御により、生体内のＩＣＧ濃度を略一定に維持すべく検体２０へのＩＣＧ注入量を制御する。ＩＣＧは、例えば波長７８０ｎｍの赤外線に励起されて、８３０ｎｍの波長域を主とするスペクトルの蛍光を発する。撮像部１２４は、ＩＣＧが発する蛍光により、検体２０の蛍光画像を撮像する。

蛍光物質としては、ＩＣＧ以外の蛍光物質を用いることができる。また、検体２０の細胞などの構成成分がもともと蛍光物質を含む場合、撮像部１２４は戻り光である自家蛍光により、検体２０の蛍光画像を撮像してよい。

撮像部１２４は、青の波長域の光を選択的に受光する複数のＢ受光素子、緑の波長域の光を選択的に受光する複数のＧ受光素子、および、赤の波長域の光を選択的に受光する複数のＲ受光素子が２次元的に配列された受光素子アレイを有してよい。撮像部１２４は、複数のＢ受光素子、複数のＧ受光素子、および、複数のＲ受光素子によって可視光の画像を生成することができる。撮像部１２４は、複数のＢ受光素子、複数のＧ受光素子、複数のＲ受光素子に加えて、蛍光の波長域の光を選択的に受光する複数の蛍光受光素子を有してよい。受光素子アレイが複数の蛍光受光素子を含むことで、可視光画像と同じ視野かつ同じ撮像タイミングで、蛍光画像を撮像することができる。受光素子としては、ＣＣＤ、ＣＭＯＳ等の撮像素子を例示することができる。

撮像部１２４は、複数のＢ受光素子、複数のＧ受光素子および複数のＲ受光素子が２次元的に配列された可視光受光素子アレイと、複数の蛍光受光素子が２次元的に配列された蛍光受光素子アレイとを有してもよい。この場合に、撮像光学系として、対物レンズ１２５の他に、対物レンズ１２５を通過した検体２０からの戻り光を、可視光と蛍光とに光路分割して、それぞれ可視光受光素子アレイおよび蛍光受光素子アレイに導く分割光学系を有してもよい。この構成によっても、可視光画像と蛍光画像とを同じ視野かつ同じ撮像タイミングで撮像することができる。分割光学系としては、ダイクロイックミラー、ダイクロイックプリズムなどを例示することができる。

撮像部１２４として、複数のＢ受光素子が２次元的に配列されたＢ受光素子アレイと、複数のＧ受光素子が２次元的に配列されたＧ受光素子アレイと、複数のＲ受光素子が２次元的に配列されたＲ受光素子アレイとに分離した構成を採用することもできる。この場合に、撮像光学系として、戻り光を青の波長域の光、緑の波長域の光、および、赤の波長域の光に光路分割して、それぞれＢ受光素子アレイ、Ｇ受光素子アレイ、および、Ｒ受光素子アレイに導く分割光学系をさらに有する構成を採用することもできる。

複数のＢ受光素子、複数のＧ受光素子、複数のＲ受光素子の少なくともいずれかの受光素子が蛍光に対して実質的に感度を有する場合、当該受光素子を蛍光受光用の受光素子として兼用することもできる。例えば、Ｒ受光素子がＩＣＧからの蛍光に実質的に感度を有する場合に、１の可視光受光素子アレイによって、可視光画像および蛍光画像を撮像することができる。この場合、照射部１２８から照明光と励起光とを時間的に切り替えて検体２０に照射する。撮像部１２４は、照明光を照射している場合の戻り光を各受光素子が受光することで可視光画像を撮像することができ、励起光を照射している場合の戻り光に含まれる蛍光をＲ受光素子が受光することで蛍光画像を撮像することができる。

なお、撮像部１２４は、検体２０からの戻り光に限らず、種々の方法で検体２０を撮像することができる。例えば、撮像部１２４は、Ｘ線、γ線等の電磁放射線、或いはアルファ線等の粒子線を含む放射線を用いて検体２０を撮像することができる。また、撮像部１２４は、種々の波長の電磁波、電波、音波を利用して検体２０を撮像してよい。

本実施形態において、撮像部１２４が撮像した検体２０の画像を原画像と呼ぶ。撮像部１２４は、可視光、蛍光、放射線、電磁波、電波、音波等によって、原画像を連続して撮像する。

制御装置１００は、画像処理部１０２および入力部１０４を有する。画像処理部１０２は、撮像部１２４が撮像した原画像を処理して、処理した画像を外部に出力する。例えば、画像処理部１０２は、記録装置１５０および表示装置１４０の少なくとも一方に画像を出力する。具体的には、画像処理部１０２は、撮像部１２４が撮像した複数の原画像から映像を生成して、記録装置１５０および表示装置１４０の少なくとも一方に出力する。画像処理部１０２は、インターネットなどの通信回線を通じて、記録装置１５０または表示装置１４０の少なくとも一方に画像を出力してよい。

画像処理部１０２は、撮像部１２４が撮像した原画像から観察用画像を切り出す。画像処理部１０２は、生体の動きに基づき、観察用画像として切り出す範囲を動的に設定する。具体的には、画像処理部１０２は、生体の動きに基づき、観察用画像として切り出す位置、サイズおよび向きの少なくともいずれかを動的に設定する。

生体の動きとしては、例えば、生体が有する心臓の拍動、呼吸、臓器の顫動など、生体の生理的な運動による周期的な動きを例示することができる。心臓の拍動、呼吸等の生体の動きは、制御装置１００の外部の検体情報検出器１３０によって直接的、間接的に検出されて、生体の動きを示す生体情報信号が画像処理部１０２に供給される。

一実施形態において、検体情報検出器１３０は生体に装着される。検体情報検出器１３０は、心臓の拍動を示す心電信号を検出してよい。また、検体情報検出器１３０は、生体の呼吸等を検出してよい。例えば検体情報検出器１３０は、生体の口に装着されて、呼気量または吸気量の少なくとも一方の時間変化を検出して、検出した信号を呼吸信号として画像処理部１０２に供給してよい。他にも、検体情報検出器１３０は、生体の動きによって変位する部位に固着された発信器と、生体の外部に設けられた受信器とを有してよい。受信器で検出された発信器からの信号の強度は、受信器に対する発信器の位置変位を表す。画像処理部１０２は、受信器が受信した信号の強度を、生体の動きを示す生態情報信号として受信器から取得してよい。受信器は、挿入部１２０の先端部など、挿入部１２０に設けられてもよい。

画像処理部１０２は、撮像部１２４が撮像した原画像とともに、観察用画像を外部に出力する。画像処理部１０２は、撮像部１２４が連続して撮像する複数の画像のそれぞれから、観察用画像を生成する。画像処理部１０２は、連続的に撮像された複数の原画像を含む動画と、複数の原画像から切り出された複数の観察用画像を含む動画とを外部に出力する。

入力部１０４には、使用者からの指示が入力される。例えば、入力部１０４には、観察用画像として切り出す領域の位置、サイズおよび向きのいずれを動的に設定するかを示す指示が、観察者から入力される。画像処理部１０２は、入力部１０４から入力された指示に基づき、観察用画像として切り出す領域の位置、サイズおよび向きの少なくともいずれかを動的に設定する。入力部１０４には、その他、挿入部１２０の先端部の向きを制御する指示、画像処理部１０２における他の画像処理を制御する指示などが入力されてよい。

表示装置１４０は、画像処理部１０２によって処理された画像を表示する。また、記録装置１５０は、画像処理部１０２によって処理された画像を、不揮発性の記録媒体に記録する。例えば、記録装置１５０は、ハードディスク等の磁気記録媒体、光ディスク等光学記録媒体に画像を記録する。

以上説明した内視鏡装置１０によれば、観察部位の画像ぶれが低減された形態観察用または機能観察用の映像を、動きのある全体映像とともに観察者に提示することができる。観察者は、形態観察用または機能観察用の映像によって、観察部位をじっくりと観察することができる。同時に観察者は、全体映像によって、挿入部１２０に対する検体２０の動きを正しく反映した映像を観察することができる。すなわち、挿入部１２０に対して動いている部位は動き、挿入部１２０に対して静止している部位は静止している全体映像を観察者に提供することができる。したがって、観察者は、違和感なく内視鏡操作を続けることができる。例えば観察者は、全体映像を監視しながら、処置具１８０等を望ましい部位に正確に当てて処置したり、挿入部１２０の先端部を望ましい向きに正確に向けたりすることができる。

図２は、画像処理部１０２のブロック構成の一例を示す。画像処理部１０２は、画像生成部２００、動き検出部２１０、範囲設定部２２０、切り出し部２３０、出力制御部２４０、選択制御部２５０、領域特定部２６０、および、条件記憶部２７０を有する。出力制御部２４０は、記録制御部２４４、および、表示制御部２４２を含む。

画像生成部２００は、撮像部１２４から原画像の撮像信号を取得する。動き検出部２１０は、生体の動きを検出する。範囲設定部２２０は、複数の原画像のそれぞれから観察用画像として部分的に切り出す範囲を、動き検出部２１０が検出した生体の動きに応じて設定する。

動き検出部２１０は、複数の原画像の画像内容に基づいて、検体２０の動きを検出してよい。例えば、動き検出部２１０は、オブジェクト抽出等の画像解析によって、複数の原画像から検体２０の動きを検出してよい。

検体２０の動きが生体の心臓の拍動、呼吸等の生体運動によって引き起こされる場合、検体２０の動きは当該生体運動と相関がある。検体２０の動きと生体運動とに相関がある場合、動き検出部２１０は、当該生体運動を示す情報を検出してよい。

具体的には、動き検出部２１０は、検体情報検出器１３０から生体情報信号を取得してよい。生体情報信号が心臓の心電信号である場合、動き検出部２１０は、生体の心臓の拍動の位相を、生体の動きとして検出することができる。そして、範囲設定部２２０は、観察用画像として切り出す範囲を、拍動の位相に応じて設定する。生体情報信号が呼吸信号である場合、動き検出部２１０は、生体の呼吸の位相を、生体の動きとして検出することができる。そして、範囲設定部２２０は、観察用画像として切り出す範囲を、呼吸の位相に応じて設定する。このように、動き検出部２１０は、生体の周期的な動きの位相を検出してよい。そして、範囲設定部２２０は、観察用画像として部分的に切り出す範囲を、動き検出部２１０が検出した生体の動きの位相に応じて設定することができる。

切り出し部２３０は、複数の原画像のそれぞれから、範囲設定部２２０が設定した範囲の画像を切り出す。そして、表示制御部２４２は、複数の原画像のそれぞれを、複数の原画像のそれぞれから切り出された観察用画像とともに表示させる。具体的には、表示制御部２４２は、複数の原画像のそれぞれを、複数の原画像のそれぞれから切り出された観察用画像とともに、表示装置１４０に表示させる。記録制御部２４４は、複数の原画像のそれぞれを、複数の原画像のそれぞれから切り出された観察用画像に対応づけて記録させる。具体的には、記録制御部２４４は、複数の原画像のそれぞれを、複数の原画像のそれぞれから切り出された観察用画像とともに、記録装置１５０に記録させる。このように、出力制御部２４０は、複数の原画像のそれぞれを、複数の原画像のそれぞれから切り出された観察用画像に対応づけて出力する。

動き特性記憶部２８０は、生体の動きの位相に対応づけて、撮像部１２４により撮像される複数の領域のそれぞれにおける動き特性を記憶している。範囲設定部２２０は、動き検出部２１０が検出した生体の動きの位相と、動き特性記憶部２８０が記憶している動き特性とに基づき、形態観察または機能観察の対象となる対象部位の動きを特定する。そして、範囲設定部２２０は、特定した動きに応じて、観察用画像として切り出す範囲を設定する。これにより、例えば動き方向が領域毎に異なる場合であっても、切り出し対象となる部位の動き方向に応じて、切り出し範囲を適切な方向にシフトさせることができる。本実施形態の説明において、形態観察または機能観察の対象となる部位を単に対象部位と呼ぶ場合がある。

範囲設定部２２０は、複数の対象部位のそれぞれに対して、切り出し範囲を設定することもできる。この場合に、範囲設定部２２０は、動き検出部２１０が検出した生体の動きの位相と、動き特性記憶部２８０が記憶している動き特性とに基づき、複数の対象部位のそれぞれの動きを特定する。範囲設定部２２０は、特定した動きに応じて、観察用画像として切り出す複数の範囲を設定する。そして、切り出し部２３０は、複数の原画像のそれぞれから、範囲設定部２２０が設定した複数の範囲の画像を切り出す。そして、表示制御部２４２は、複数の原画像のそれぞれを、複数の原画像のそれぞれから複数切り出された複数の観察用画像とともに表示させる。また、記録制御部２４４は、複数の原画像のそれぞれを、複数の原画像のそれぞれから複数切り出された複数の観察用画像に対応づけて記録させる。

切り出し範囲を定めるパラメータとしては、位置、サイズ、および向きを例示することができる。具体的には、範囲設定部２２０は、観察用画像として切り出す画像領域の位置、サイズ、および向きの少なくともいずれかを、動き検出部２１０が検出した生体の動きに応じて設定する。切り出し範囲の位置を定めるパラメータとしては、ｘｙ面内における切り出し範囲の重心位置を例示することができる。切り出し範囲のサイズを定めるパラメータとしては、切り出し範囲の重心位置に対するｘ方向の幅およびｙ方向の幅の少なくとも一方を例示することができる。切り出し範囲の向きを定めるパラメータとしては、予め定められた形状を持つ切り出し範囲の重心位置まわりの回転角度を例示することができる。

選択制御部２５０は、観察用画像として切り出す画像領域の位置、サイズ、および向きのいずれのパラメータを用いて範囲設定部２２０が切り出し範囲を設定するかを、観察者からの指示に基づき選択する。具体的には、観察者は、切り出し範囲を設定する場合に可変にすべきパラメータを示す情報を、入力部１０４を介して制御装置１００に入力する。選択制御部２５０は、観察者からの指示に基づき、可変にすべきパラメータを選択する。そして、範囲設定部２２０は、選択制御部２５０が選択したパラメータを用いて、観察用画像として切り出す範囲を設定する。このため、範囲設定部２２０は、観察者が可変にすべきでない判断した１以上のパラメータを固定する一方で、観察者が可変にすべきと判断した１以上のパラメータの組み合わせを可変にして、切り出し範囲を設定することができる。

領域特定部２６０は、観察用画像として切り出す範囲に含まれるべき、複数の原画像のうちの少なくともいずれかの画像内の領域を特定する。例えば、領域特定部２６０は、観察用画像として切り出す範囲に含まれるべき、複数の原画像のうちの少なくともいずれかの画像内の領域を、観察者からの指示に基づき特定する。例えば、観察者は、観察用画像として切り出すべき部位が撮像されている領域を、カーソルを移動させる等して原画像上で指定する。範囲設定部２２０は、動き検出部２１０が検出した生体の動きに基づき、複数の原画像のそれぞれにおいて、領域特定部２６０が特定した領域に対応する領域を特定する。そして、範囲設定部２２０は、特定した領域を少なくとも含む範囲を、観察用画像として切り出す範囲に設定する。これにより、観察者は、腫瘍等の疑わしい部位を指定して、形態観察または機能観察をすることができる。

観察用画像として切り出す範囲は、鉗子などの処置具１８０を用いて指定されてもよい。例えば、観察者は、複数の原画像から生成された全体映像を監視しながら処置具１８０を操作して、全体映像内において処置具１８０の先端を対象部位の近傍に位置させる。そして、処置具１８０の先端が対象部位の近傍に位置している状態で、切り出し対象となる部位を決定すべき旨を入力部１０４に指示する。領域特定部２６０は、原画像の画像内容に基づき、画像認識等により処置具１８０の先端を原画像内で特定して、処置具１８０の先端の部位の近傍領域を、切り出し範囲に含まれるべき領域として決定する。これにより、観察者は煩わしい操作をすることなく、形態観察または機能観察の対象部位を指定することができる。

形態観察または機能観察となる部位は、画像処理部１０２が画像を認識することによって設定してもよい。例えば、条件記憶部２７０は、形態観察または機能観察の対象部位の画像が適合すべき条件を記憶する。そして、領域特定部２６０は、複数の原画像のうちの少なくともいずれかにおいて、条件記憶部が記憶している条件に適合する領域を、観察用画像として切り出す範囲に含まれるべき領域として特定する。条件記憶部２７０が記憶する条件としては、画像の特徴量などを例示することができる。画像の特徴量としては、色の特徴量または形状の特徴量の少なくとも一方を例示することができる。領域特定部２６０が原画像の画像内容に基づき対象部位を決定することで、観察者が煩わしい操作をすることなく対象部位を指定することができる。また、領域特定部２６０は、対象部位の候補領域を、観察者に自動的に提示することができる。このため、観察者が対象部位とすべき部位を見落としてしまう可能性を低減することができる。

図３は、範囲設定部２２０のブロック構成の一例を示す。範囲設定部２２０は、位置特定部３００、角度特定部３１０、および、範囲決定部３２０を含む。範囲決定部３２０は、位置決定部３３０、サイズ決定部３４０、および、向き決定部３５０を持つ。

位置特定部３００は、撮像部１２４による撮像領域における形態観察または機能観察の対象部位の位置を、生体の動きに基づき特定する。範囲決定部３２０は、位置特定部３００が特定した位置に基づき、観察用画像として切り出す範囲を決定する。

具体的には、位置特定部３００は、対象部位の実空間内の位置を決定する。より具体的には、位置特定部３００は、撮像部１２４の撮像方向に直交する面内での対象部位の位置を、生体の動きに基づき特定する。そして、位置決定部３３０は、位置特定部３００が特定した位置に基づき、観察用画像として切り出す画像領域の位置を決定する。撮像方向に直交する面内で対象部位が変位している場合、切り出し範囲を原画像の画像領域上でシフトさせることで、対象部位の変位に追従することができる。

また、位置特定部３００は、撮像部１２４の撮像方向に沿う方向の対象部位の位置を、生体の動きに基づき特定してよい。そして、サイズ決定部３４０は、位置特定部３００が特定した位置に基づき、観察用画像として切り出す画像領域のサイズを決定するを含む。撮像方向に沿った方向に対象部位が変位している場合、切り出し範囲のサイズを変更することで、対象部位の変位に追従することができる。

角度特定部３１０は、形態観察または機能観察の対象部位が撮像部１２４の撮像方向の回りに回転する角度を、生体の動きに基づき特定する。そして、向き決定部３５０は、角度特定部３１０が特定した角度に基づき、観察用画像として切り出す画像領域の向きを決定する。対物レンズ１２５の光軸まわりに対象部位が回転している場合、回転により切り出し範囲を対象部位の回転に追従することができる。

範囲決定部３２０は、選択制御部２５０が選択したパラメータに従って、切り出し範囲を決定することができる。例えば、切り出し範囲の可変パラメータとして切り出す画像領域の位置が選択されている場合に、位置決定部３３０は、切り出し範囲の重心位置を制御する。切り出し範囲の可変パラメータとして切り出す画像領域のサイズが選択されている場合に、位置決定部３３０は、切り出し範囲のサイズを制御する。切り出し範囲の可変パラメータとして切り出す画像領域の向きが選択されている場合に、位置決定部３３０は、切り出し範囲の外形を定める切り出し枠の向きを制御する。

位置決定部３３０が決定した位置、サイズ決定部３４０が決定したサイズ、および、向き決定部３５０が決定した向きを示す情報は、切り出し部２３０に供給される。切り出し部２３０は、範囲決定部３２０から供給された情報によって定まる範囲を、原画像から切り出す。これにより、範囲設定部２２０は対象部位が存在する場所の変位特性に応じて、切り出し範囲を適切に設定することができる。

なお、制御装置１００の機能は、コンピュータにより実装されてよい。具体的には、制御装置１００の機能を実装するプログラムをコンピュータにインストールすることで、コンピュータを、画像生成部２００、動き検出部２１０、範囲設定部２２０の各部、切り出し部２３０、出力制御部２４０の各部、選択制御部２５０、領域特定部２６０、および、条件記憶部２７０として機能させてよい。当該プログラムは、ＣＤ−ＲＯＭ、ハードディスクなどのコンピュータ読み取り可能な記憶媒体に記憶され、当該記憶媒体をコンピュータに読み込ませることで、コンピュータに提供されてよい。また、当該プログラムは、ネットワークを通じてコンピュータに提供されてもよい。

図４は、切り出し範囲の設定例を示す。原画像４００−１〜原画像４００−５は、撮像部１２４により異なるタイミングで撮像された原画像とする。原画像４００−１〜原画像４００−５は、原画像４００と総称される。

原画像４００−１には、形態観察用または機能観察の対象となる対象部位４２０が撮像されている。位置決定部３３０は、切り出し枠４１０−１〜切り出し枠４１０−５の位置を、位置特定部３００が特定した位置に応じて原画像４００上でシフトさせる。切り出し部２３０は、シフトされた切り出し枠４１０−１〜切り出し枠４１０−５内の部分画像を、対応する観察用画像４３０から切り出す。これにより、対象部位４２０の像が略中央に存在する観察用画像４３０−１〜観察用画像４３０−５を生成することができる。

図５は、表示装置１４０の画面の一例を示す。表示制御部２４２は、表示装置１４０の画面５００上の表示領域５１０に、原画像４００を順次切り替えて表示させる。また、表示制御部２４２は、表示装置１４０の画面５００上の表示領域５２０に、観察用画像４３０を順次切り替えて表示させる。

観察用画像４３０が表示装置１４０の表示領域５２０に順次表示された場合、観察者には対象部位４２０の位置が止まって見える。このため、観察者は、対象部位４２０をじっくりと観察することができる。一方、原画像４００が表示装置１４０の表示領域５１０に順次連続して再生された場合、挿入部１２０に対して相対的に静止した部位は画面上で止まって見え、挿入部１２０に対して相対的に動いている部位は画面上で動いて見える。このため、観察者は表示領域５１０に表示された原画像４００の映像を監視しながら、違和感なく内視鏡操作をすることができる。

表示制御部２４２は、観察用画像として切り出された原画像４００−１上の画像領域よりも、観察用画像４３０−１を大きく表示させる。観察用画像４３０は、切り出し範囲よりも拡大され、かつ、対象部位４２０が実質的に止まった状態で表示領域５２０に表示されるので、観察者は対象部位４２０を極めて容易に観察することができる。

表示制御部２４２は、原画像４００−１の切り出し枠４１０−１を示すマーク５４０を、原画像４００−１に重畳して表示装置１４０に表示させる。これにより、表示領域５１０には、原画像４００−１に重畳されたマーク５４０が表示される。このように、表示制御部２４２は、複数の原画像のそれぞれに、観察用画像として切り出す範囲を示すマーク５４０を重畳して表示させる。これにより、観察者は、観察用画像４３０−１が原画像４００−１上のどの位置の像であるかを容易に認識することができる。

表示制御部２４２は、表示装置１４０の表示領域５３０には、蛍光画像から切り出された観察用蛍光画像５５０を表示する。蛍光画像が撮像部１２４により原画像４００と同じ視野で同じ撮像タイミングで撮像されている場合、切り出し部２３０は、範囲設定部２２０が原画像４００において設定した切り出し範囲の領域を、蛍光画像から切り出すことによって、観察用蛍光画像５５０を生成する。

蛍光画像と原画像４００とが時分割で撮像されている場合、範囲設定部２２０は蛍光画像が撮像されたタイミングの生体の動きに基づいて、原画像である蛍光画像からの切り出し範囲を設定する。そして、切り出し部２３０は、設定された切り出し範囲の画像を蛍光画像から切り出すことによって、観察用蛍光画像５５０を生成する。表示制御部２４２は、原画像４００−１が撮像された撮像タイミングの直近に撮像された蛍光画像から切り出された観察用蛍光画像５５０を、表示領域５３０に表示してよい。これにより、動きのある原画像４００の映像および対象部位が止まって見える観察用蛍光画像とともに、対象部位が止まって見える観察用蛍光画像をも観察者に提示することができる。

本図では、表示制御部２４２による表示制御の具体例を説明したが、表示制御部２４２による表示制御は本図の態様に限られない。また、記録制御部２４４は、本表示態様または他の表示態様による原画像４００、観察用画像４３０、観察用蛍光画像５５０の表示を実現すべく、観察用画像４３０および観察用蛍光画像５５０を、原画像４００と対応づけて記録装置１５０に記録してよい。

図６は、切り出し範囲の他の設定例を示す。原画像６００−１には、原画像６００−２と比較すると、対象部位が大きく撮像されている。このような対象部位の像の大きさの時間的変化は、例えば対物レンズ１２５に対して、対象部位が光軸に沿う方向に変位することによって生じる。サイズ決定部３４０は、位置特定部３００が特定した対象部位の位置に基づき、原画像６００−１において設定した切り出し枠６１０−１のサイズより小さいサイズの切り出し枠６１０−２を、原画像６００−２において設定する。本図の例では、対象部位の重心位置は光軸の垂直面内にもシフトしており、位置決定部３３０は、位置特定部３００が特定した対象部位の位置に基づき、切り出し枠６１０−１から位置シフトされた切り出し枠６１０−２を決定する。

切り出し部２３０は、原画像６００−１から切り出し枠６１０−１の領域を切り出して、観察用画像６３０−１を生成する。また、切り出し部２３０は、原画像６００−２から切り出し枠６１０−２の領域を切り出して、観察用画像６３０−２を生成する。表示制御部２４２は、観察用画像６３０−１および観察用画像６３０−２を、サイズ決定部３４０が設定したサイズに基づき同サイズに調整した観察用画像６４０−１および観察用画像６４０−２を、原画像６００−１および原画像６００−２とともに表示装置１４０に出力する。

図７は、切り出し範囲の他の設定例を示す。原画像７００−１には、原画像７００−２と比較すると、対象部位が斜いて撮像されている。このような対象部位の像の傾きの時間的変化は、例えば対物レンズ１２５の光軸の回りに、対象部位が回転する変位をすることによって生じる。向き決定部３５０は、角度特定部３１０が特定した回転角度に基づき、原画像７００−１において設定した切り出し枠７１０−１に対して傾斜した向きの切り出し枠７１０−２を、原画像７００−２において設定する。

切り出し部２３０は、原画像７００−１から切り出し枠７１０−１の領域を切り出して、観察用画像７３０−１を生成する。また、切り出し部２３０は、原画像７００−２から切り出し枠７１０−２の領域を切り出して、観察用画像７３０−２を生成する。表示制御部２４２は、観察用画像７３０−１および観察用画像７３０−２を、向き決定部３５０が設定した向きに基づき同じ向きに調整して、原画像７００−１および原画像７００−２とともに表示装置１４０に出力する。これにより観察者は、同じ向きに向いた対象部位の像を観察することができる。

なお、対象部位の重心が光軸の垂直面内にもシフトしている場合、位置決定部３３０は、位置特定部３００が特定した対象部位の位置に基づき、位置シフトされた切り出し枠７１０−２を決定してよい。なお、対象部位の位置が光軸に沿う方向にもシフトしている場合、位置決定部３３０は、位置特定部３００が特定した対象部位の位置に基づき、サイズが調整された切り出し枠７１０−２を決定してよい。

図８は、動き特性記憶部２８０が記憶している動き特性の一例をテーブル形式で示す。動き特性記憶部２８０は、心拍位相に対応づけて、各部位のシフト量および回転角度を記憶している。心拍位相としては、例えばＴ波からの経過時間を心拍周期で除した値を例示することができる。シフト量としては、対物レンズ１２５の光軸に垂直面内のシフト量（Ｘ、Ｙ）、および、対物レンズ１２５の光軸に沿う方向のシフト量Ｚを例示することができる。シフト量は、例えばＴ波のタイミングにおける存在位置からの位置ずれ量であってよい。また、回転角度は、例えばＴ波のタイミングでの回転角からずれ角度であってよい。

動き検出部２１０は、検体情報検出器１３０から取得した心電信号に基づき、心拍位相をリアルタイムに決定することができる。例えば、動き検出部２１０は、Ｔ波のタイミングからの経過時間と、心拍周期とに基づき、心拍位相を決定することができる。現在の心拍周期として、直近の心拍周期を用いることができる。他にも、所定期間内の心拍周期の平均値を、現在の心拍周期として用いてもよい。動き検出部２１０は、心電信号の波形に基づき心拍位相を決定してもよい。動き検出部２１０は、決定した心拍位相を、範囲設定部２２０に供給する。

範囲設定部２２０では、位置特定部３００は、動き検出部２１０から供給された心拍位相に対応づけて動き特性記憶部２８０が記憶しているシフト量から、特定部位の位置のシフト量を特定することができる。角度特定部３１０は、動き検出部２１０から供給された心拍位相に対応づけて動き特性記憶部２８０が記憶している回転角度から、特定部位の位置の回転角度を特定することができる。範囲決定部３２０において切り出し枠の位置、切り出し枠のサイズ、切り出し枠の向きを決定することができる。

動き特性記憶部２８０は、複数の部位のそれぞれについて、本図で説明した動き特性を記憶することができる。これにより、範囲設定部２２０は、形態観察および機能観察の対象部位として指定された部位毎に、切り出し枠を柔軟に設定することができる。

動き特性記憶部２８０は、各部位のシフト量および回転角度を含む変位情報を、検体情報検出器１３０からの生体情報信号とともに予め取得して、記憶していてよい。変位情報は、撮像部１２４によって予め撮像された複数の画像から、オブジェクト抽出等の画像解析等で予め取得しておくことができる。各部位までの距離は、レーザ測距法等によって予め取得しておくことができる。

図９は、１の原画像から複数の観察用画像を切り出す処理の一例を示す。ここでは、領域特定部２６０によって、原画像から切り出すべき複数の領域が特定されているとする。例えば、観察者によって観察用画像として切り出すべき複数の対象部位が、ある原画像上で指定されているとする。範囲設定部２２０は、第１対象部位が含まれるべき切り出し枠９１０−１と、第２対象部位が含まれるべき切り出し枠９１１−１とを、原画像９００−１において設定する。

その後に撮像された原画像９００−２において、範囲設定部２２０は、心電信号に基づき、第１対象部位が含まれるべき切り出し枠９１０−２と、第２対象部位が含まれるべき切り出し枠９１１−２とを、原画像９００−２において設定する。切り出し枠９１０−１および切り出し枠９１０−２を設定する場合、範囲設定部２２０は、原画像９００が撮像されたタイミングにおける心電信号と、動き特性記憶部２８０に記憶されている各対象部位の動き特性とに基づき、切り出し枠の位置、切り出し枠のサイズ、切り出し枠の向きを決定する。

切り出し部２３０は、原画像９００−１内の切り出し枠９１０−１の画像を切り出して観察用画像９３０−１を生成する。また、原画像９００−１内の切り出し枠９１１−１の画像を切り出して観察用画像９３１−１を生成する。切り出し部２３０は、原画像９００−２内の切り出し枠９１０−２の画像を切り出して観察用画像９３０−２を生成する。また、原画像９００−２内の切り出し枠９１１−２の画像を切り出して観察用画像９３１−２を生成する。表示制御部２４２は、原画像９００−１に対応づけて観察用画像９３０−１および観察用画像９３０−２を表示装置１４０に出力する。また、表示制御部２４２は、原画像９００−２に対応づけて観察用画像９３０−２および観察用画像９３１−２を表示装置１４０に出力する。

図１０は、表示装置１４０の画面の他の一例を示す。表示制御部２４２は、表示装置１４０の画面１０００上の表示領域１０１０に、原画像９００を順次切り替えて表示させる。また、表示制御部２４２は、表示装置１４０の画面１０００上の表示領域１０２０に、観察用画像９３０を順次切り替えて表示させる。また、表示制御部２４２は、表示装置１４０の画面１０００上の表示領域１０３０に、観察用画像９３１を順次切り替えて表示させる。これにより、観察者は、複数の部位を平行して観察することができる。

表示制御部２４２は、原画像９００−１の切り出し枠９１０−１を示すマーク１０４０を、原画像９００−１に重畳して表示装置１４０に表示させる。また、表示制御部２４２は、切り出し枠９１１−１を示すマーク１０４１を、原画像９００−１に重畳して表示装置１４０に表示させる。この場合、表示制御部２４２は、マーク１０４０とマーク１０４１とで色を異ならせて原画像９００に重畳してよい。マーク１０４０の色は、表示領域１０２０に対して予め定められた第１の色であり、マーク１０４１の色は、表示領域１０３０に対して予め定められた第２の色であってよい。表示制御部２４２は、マーク１０４０と同じ色の外枠を観察用画像９３０−１の外枠として重畳して、表示領域１０２０に表示させてよい。また、表示制御部２４２は、マーク１０４１と同じ色の外枠を観察用画像９３１−１の外枠として重畳して、表示領域１０２０に表示させてよい。これにより、観察者は、表示領域１０２０に表示された画像がいずれの部位の画像であるかを、表示装置１４０を一見するだけで容易に認識することができる。

なお、図５および図１０において、１の表示画面内に複数の画像を表示する表示態様を例示した。他の表示態様として、表示制御部２４２は、原画像用のディスプレイ、観察用画像用のディスプレイ、および、観察用蛍光画像用のディスプレイに、それぞれ原画像、観察用画像、および、観察用蛍光画像を表示させてもよい。

図１１は、内視鏡装置１０における処理フローの一例を示す。Ｓ１１００において、画像生成部２００は、撮像部１２４から原画像を取得する。また、動き検出部２１０は、検体情報検出器１３０から心電信号を取得して、心電信号に基づき心拍位相を算出する。Ｓ１１０２において、範囲設定部２２０は、各対象部位の動き特性を、心拍位相に基づき特定する。

Ｓ１１０４において、範囲設定部２２０では、位置特定部３００が各対象部位のシフト量を判断する。また、角度特定部３１０が回転角度を判断する。Ｓ１１０６において、位置決定部３３０、サイズ決定部３４０、および、向き決定部３５０が、それぞれ切り出し枠の位置、切り出し枠のサイズ、および、切り出し枠の向きを、対象部位毎に決定する。これにより、対象部位毎に切り出し範囲が調整される。

Ｓ１１０８において、切り出し部２３０は、Ｓ１１００で取得した原画像からＳ１１０６で設定した切り出し範囲の領域を切り出す。これにより、各対象部位の観察用画像が生成される。Ｓ１１１０において、表示制御部２４２は、原画像と各対象部位の観察用画像を表示装置１４０に供給して、表示装置１４０に表示させる。

本図では、１の原画像を取得して観察用画像を切り出して表示するまでの内視鏡装置１０の処理を例示した。複数の原画像についてこの処理を繰り返すことで、原画像の映像および観察用画像の映像を表示装置１４０に表示させることができる。

本図に関連して表示装置１４０に画像を表示させる場合の処理フローを例示したが、記録装置１５０に記録させる場合、記録制御部２４４は、複数の原画像を含む原画像動画として記録装置１５０に供給して、記録装置１５０に記録させてよい。記録制御部２４４は、ＭＰＥＧ符号化等の圧縮処理を原画像動画に対して施してもよい。この場合、記録制御部２４４は、モダリティ単位で複数の原画像を圧縮してよい。具体的には、記録制御部２４４は、可視光による複数の原画像を含む第１モダリティ動画を圧縮して、記録装置１５０に記録させてよい。また、記録制御部２４４は、蛍光による複数の原画像を含む第２モダリティ動画を圧縮して、記録装置１５０に記録させてよい。モダリティ毎に圧縮することにより、動画の圧縮率を高めることができる。

照明光と励起光を切り替えて照射して、可視光画像と蛍光画像とを時間的に切り替えて撮像する場合には、可視光画像と蛍光画像との撮像タイミングにずれが存在する。この場合、記録制御部２４４は、第１モダリティ動画および第２モダリティ動画に、それぞれタイミング情報を付帯してよい。これにより、表示装置１４０が第１モダリティ動画および第２モダリティ動画を表示する場合に、付帯されたタイミング情報に基づき、第１モダリティ動画および第２モダリティ動画の各フレームの表示タイミングを、撮像タイミングに同期することができる。

記録制御部２４４は、切り出し範囲を特定する情報を、原画像の動画に付帯して記録装置１５０に記録させてよい。切り出し範囲を特定する情報としては、切り出し枠の位置、切り出し枠のサイズ、切り出し枠の角度を例示することができる。表示装置１４０は、原画像の動画に付帯された切り出し範囲情報を用いて、原画像から観察用画像を切り出して、原画像とともに観察用画像を表示することができる。記録制御部２４４は、切り出し範囲が設定された画像領域を、他の画像領域より低い圧縮率で圧縮して記録してよい。例えば、記録制御部２４４は、切り出し範囲内の画像領域はイントラ符号化により圧縮する一方で、切り出し範囲外の画像領域はインター符号化により圧縮する。記録制御部２４４は、切り出し範囲外の画像領域だけを圧縮して、切り出し範囲内の画像領域を圧縮しなくてもよい。

なお、記録制御部２４４は、複数の観察用画像を、観察用動画として記録装置１５０に供給して、記録装置１５０に記録させてもよい。この場合、記録制御部２４４は、対象部位毎に複数の観察用画像を生成して、対象部位毎の観察用動画として記録装置１５０に記録させてよい。記録制御部２４４は、原画像動画と観察用動画とを対応づける情報を、原画像動画および観察用動画の少なくとも一方に付帯して記録装置１５０に記録させてよい。

上記形態では、形態観察用または機能観察用の画像として、可視光画像および蛍光画像を例示した。形態観察用または機能観察用の画像として、狭帯域光画像をさらに例示することができる。狭帯域光画像としては、照明光の波長域より狭い波長域の光を検体２０に照射して得られた画像であってよい。照明光の波長域より狭い波長域とは、Ｂ波長域に属しＢ波長域より狭い波長域であってよい。他にも、照明光の波長域より狭い波長域とは、Ｒ波長域に属しＲ波長域より狭い波長域、Ｇ波長域内に属しＧ波長域より狭い波長域であってもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 内視鏡装置
２０ 検体
１００ 制御装置
１０２ 画像処理部
１０４ 入力部
１１０ 光源
１２０ 挿入部
１２１ ノズル
１２２ 挿通口
１２４ 撮像部
１２５ 対物レンズ
１２６ ライトガイド
１２８ 照射部
１３０ 検体情報検出器
１４０ 表示装置
１５０ 記録装置
１７０ 蛍光剤注入装置
１８０ 処置具
２００ 画像生成部
２１０ 動き検出部
２２０ 範囲設定部
２３０ 切り出し部
２４０ 出力制御部
２４４ 記録制御部
２４２ 表示制御部
２５０ 選択制御部
２６０ 領域特定部
２７０ 条件記憶部
２８０ 動き特性記憶部
３００ 位置特定部
３１０ 角度特定部
３２０ 範囲決定部
３３０ 位置決定部
３４０ サイズ決定部
３５０ 向き決定部
４００、６００、７００、９００ 原画像
４１０、６１０、７１０、９１０、９１１ 切り出し枠
４２０ 対象部位
４３０、６３０、７３０、９３０、９３１ 観察用画像
５００、１０００ 画面
５１０、１０１０ 表示領域
５２０、１０２０ 表示領域
５３０、１０３０ 表示領域
５４０、１０４０、１０４１ マーク
５５０ 観察用蛍光画像
６４０ 観察用画像

Claims (18)

1. 生体の形態観察用または機能観察用の画像である観察用画像を複数同時に表示させる内視鏡装置であって、
   前記生体の画像である原画像を連続的に撮像する撮像部と、
   前記生体の動きを検出する動き検出部と、
   複数の前記原画像のそれぞれから前記観察用画像として部分的に切り出す範囲を、前記動き検出部が検出した前記生体の動きに応じて設定する範囲設定部と、
   前記複数の原画像のそれぞれから、前記範囲設定部が設定した範囲の画像を切り出す切り出し部と、
   前記複数の原画像のそれぞれを、前記複数の原画像のそれぞれから切り出された前記観察用画像とともに表示させる表示制御部と
   を備える内視鏡装置。
2. 前記範囲設定部は、前記観察用画像として切り出す画像領域の位置、サイズ、および向きの少なくともいずれかを、前記動き検出部が検出した前記生体の動きに応じて設定する
   請求項１に記載の内視鏡装置。
3. 前記範囲設定部は、
   前記撮像部による撮像領域における前記形態観察または機能観察の対象部位の位置を、前記生体の動きに基づいて特定する位置特定部と、
   前記位置特定部が特定した位置に基づいて、前記観察用画像として切り出す範囲を決定する範囲決定部と
   を有する請求項１または２に記載の内視鏡装置。
4. 前記位置特定部は、前記撮像部の撮像方向に直交する面内での前記対象部位の位置を、前記生体の動きに基づいて特定し、
   前記範囲決定部は、前記位置特定部が特定した位置に基づいて、前記観察用画像として切り出す画像領域の位置を決定する位置決定部を含む
   請求項３に記載の内視鏡装置。
5. 前記位置特定部は、前記撮像部の撮像方向に沿う方向の前記対象部位の位置を、前記生体の動きに基づいて特定し、
   前記範囲決定部は、前記位置特定部が特定した位置に基づいて、前記観察用画像として切り出す画像領域のサイズを決定するサイズ決定部を含む
   請求項３または４に記載の内視鏡装置。
6. 前記範囲設定部は、
   前記形態観察または機能観察の対象部位が前記撮像部の撮像方向の回りに回転する角度を、前記生体の動きに基づいて特定する角度特定部と、
   前記角度特定部が特定した角度に基づいて、前記観察用画像として切り出す画像領域の向きを決定する向き決定部と
   を有する請求項１から５のいずれかに記載の内視鏡装置。
7. 前記観察用画像として切り出す画像領域の位置、サイズ、および向きのいずれのパラメータを用いて前記範囲設定部が切り出し範囲を設定するかを、ユーザからの指示に基づいて選択する選択制御部
   をさらに備え、
   前記範囲設定部は、前記選択制御部が選択したパラメータを用いて、前記観察用画像として切り出す範囲を設定する
   請求項１から６のいずれかに記載の内視鏡装置。
8. 前記表示制御部は、前記観察用画像として切り出された前記原画像上の画像領域よりも、前記観察用画像を大きく表示させる
   請求項１から７のいずれかに記載の内視鏡装置。
9. 前記表示制御部は、前記複数の原画像のそれぞれに、前記観察用画像として切り出す範囲を示すマークを重畳して表示させる
   請求項１から８のいずれかに記載の内視鏡装置。
10. 前記観察用画像として切り出す範囲に含まれるべき、前記複数の原画像のうちの少なくともいずれかの画像内の領域を特定する領域特定部
    をさらに備え、
    前記範囲設定部は、前記動き検出部が検出した前記生体の動きに基づいて、前記複数の原画像のそれぞれにおいて、前記領域特定部が特定した領域に対応する領域を特定し、特定した領域を少なくとも含む範囲を、前記観察用画像として切り出す範囲に設定する
    請求項１から９のいずれかに記載の内視鏡装置。
11. 前記領域特定部は、前記観察用画像として切り出す範囲に含まれるべき、前記複数の原画像のうちの少なくともいずれかの画像内の領域を、ユーザからの指示に基づいて特定する
    請求項１０に記載の内視鏡装置。
12. 前記形態観察または機能観察の対象部位の画像が適合すべき条件を記憶する条件記憶部
    をさらに備え、
    前記領域特定部は、前記複数の原画像のうちの少なくともいずれかにおいて、前記条件記憶部が記憶している条件に適合する領域を、前記観察用画像として切り出す範囲に含まれるべき領域として特定する
    請求項１０に記載の内視鏡装置。
13. 前記動き検出部は、前記生体の周期的な動きの位相を検出し、
    前記範囲設定部は、前記観察用画像として部分的に切り出す範囲を、前記動き検出部が検出した前記生体の動きの位相に応じて設定する
    請求項１から１２のいずれかに記載の内視鏡装置。
14. 前記生体の動きの位相に対応づけて、前記撮像部により撮像される複数の領域のそれぞれにおける動き特性を記憶する動き特性記憶部
    をさらに備え、
    前記範囲設定部は、前記動き検出部が検出した前記生体の動きの位相と、前記動き特性記憶部が記憶している動き特性とに基づいて、前記形態観察または機能観察の対象となる対象部位の動きを特定し、特定した動きに応じて、前記観察用画像として切り出す範囲を設定する
    請求項１から１３のいずれかに記載の内視鏡装置。
15. 前記範囲設定部は、前記動き検出部が検出した前記生体の動きの位相と、前記動き特性記憶部が記憶している動き特性とに基づいて、複数の前記対象部位のそれぞれの動きを特定し、特定した動きに応じて、前記観察用画像として切り出す複数の範囲を設定し、
    前記切り出し部は、前記複数の原画像のそれぞれから、前記範囲設定部が設定した複数の範囲の画像を切り出し、
    前記表示制御部は、前記複数の原画像のそれぞれを、前記複数の原画像のそれぞれから複数切り出された複数の前記観察用画像とともに表示させる
    請求項１４に記載の内視鏡装置。
16. 前記動き検出部は、前記生体の心臓の拍動の位相を検出し、
    前記範囲設定部は、前記観察用画像として切り出す範囲を、前記拍動の位相に応じて設定する
    請求項１３から１５のいずれかに記載の内視鏡装置。
17. 生体の形態観察用または機能観察用の画像である観察用画像を複数同時に表示させる方法であって、
    前記生体の動きを検出する動き検出段階と、
    前記生体を撮像して得られた複数の原画像のそれぞれから前記観察用画像として部分的に切り出す範囲を、前記生体の動きに応じて設定する範囲設定段階と、
    前記複数の原画像のそれぞれから、前記範囲設定段階において設定された範囲の画像を切り出す切り出し段階と、
    前記複数の原画像のそれぞれを、前記複数の原画像のそれぞれから切り出された前記観察用画像とともに表示させる表示制御段階と
    方法。
18. 生体の形態観察用または機能観察用の画像である観察用画像を複数同時に表示させる内視鏡装置用のプログラムであって、コンピュータを、
    前記生体の動きを検出する動き検出部、
    前記生体を撮像して得られた複数の原画像のそれぞれから前記観察用画像として部分的に切り出す範囲を、前記動き検出部が検出した前記生体の動きに応じて設定する範囲設定部、
    前記複数の原画像のそれぞれから、前記範囲設定部が設定した範囲の画像を切り出す切り出し部、
    前記複数の原画像のそれぞれを、前記複数の原画像のそれぞれから切り出された前記観察用画像とともに表示させる表示制御部
    として機能させるプログラム。

Images