JP2020512108A - 医用撮像装置及び内視鏡 - Google Patents

Abstract

複数の光条件のうちの１つを使用して物体を照らすように構成される垂直共振器面発光レーザと、物体の画像を捕捉するように構成されるイメージセンサと、垂直共振器面発光レーザを制御して、第１の光条件を有する光を使用して物体を照らす、イメージセンサを制御して、第１の光条件を有する光で物体の第１の画像を捕捉する、垂直共振器面発光レーザを制御して、第２の異なる光条件を有する光で物体を照らす、イメージセンサを制御して、第１の光条件を有する光で照らされる物体の第２の画像を捕捉する、及び、第１の画像及び第２の画像に基づいて物体の情報を決定するように構成される回路と、を備える医用撮像装置。【選択図】図１

Description

本開示は、医用撮像装置及び内視鏡に関する。

本明細書中で述べられる「背景」の説明は、本開示の前後関係を一般的に示すことを目的としている。ここに名前が挙げられた発明者らの研究は、それが背景技術の節に記載される限りにおいて、出願時に先行技術と別段見なされ得ない説明の態様と同様、本開示に対して先行技術として明示的にも又は暗黙的にも認められない。

内視鏡検査（医用内視鏡検査又は工業用内視鏡検査など）又は任意の種類の医用撮像を行なう際の問題は、システムを通過する流体の経路を特定することである。医用内視鏡検査の例では、血液が流通する静脈、毛細血管、及び、動脈を特定するという問題がある。これは、特に、生検又は他の侵襲的処置が必要とされるとともに主要な血液ラインが避けられるべき場合である。

この問題に対処することが本開示の目的である。

内視鏡検査に伴う他の問題は、色及び質感に関する表面の類似性である。これは、観察されている物体及び表面の配置がユーザを混乱させる場合があることを意味する。この問題は、単一の照明源からの鏡面反射が生じる場合に特に深刻である。

この問題に対処することが本開示の目的である。

「局所信頼度推定を含む測光ステレオからの勾配及び曲率」、Ｒｏｂｅｒｔ Ｊ．Ｗｏｏｄｈａｍ、Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ Ａ（１１）３０５０−３０６８、１９９４ 「影と反射からの形状再構成」、Ｓｉｌｖｉｏ Ｓａｖａｒｅｓｅ、博士論文、カリフォルニア工科大学、２００５年

実施形態によれば、複数の光条件のうちの１つを使用して物体を照らすように構成される垂直共振器面発光レーザと、物体の画像を捕捉するように構成されるイメージセンサと、垂直共振器面発光レーザを制御して、第１の光条件を有する光を使用して物体を照らし、イメージセンサを制御して、第１の光条件を有する光で物体の第１の画像を捕捉し、垂直共振器面発光レーザを制御して、第２の異なる光条件を有する光で物体を照らし、イメージセンサを制御して、第１の光条件を有する光で照らされる物体の第２の画像を捕捉し、及び、第１の画像及び第２の画像に基づいて物体の情報を決定するように構成される回路と、を備える医用撮像装置が提供される。

前述の段落は、一般的な序文として与えられてきたものであり、以下の特許請求の範囲を限定しようとするものではない。記載された実施形態は、更なる利点とともに、添付図面と併せて解釈される以下の詳細な説明を参照することによって最も良く理解され得る。

本開示及びその付随する多くの利点のより完全な理解は、それが以下の詳細な説明を参照することによって添付図面と併せて考慮される際により良く理解されるようになるため、容易に得ることができる。

図１は、本開示の実施形態に係る技術を適用可能な内視鏡手術システムの概略構成の一例を描く図である。 図２は、図１に描かれるカメラヘッド及びＣＣＵの機能構成の一例を描くブロック図である。 図３は、図１の内視鏡システムにおけるレンズ配列と光源装置との関係を説明する２つの特定の実施形態を概略的に示す。 図４は、脱酸素化ヘモグロビン及び酸素化ヘモグロビンに関するモル吸光係数対波長のグラフ５００を示す。 図５は、本開示の実施形態に係る処理を説明するフローチャートを示す。 図６Ａは、本開示の実施形態に係るシステムを示す。 図６Ｂは、本開示の実施形態に係るシステムを示す。 図７は、実施形態に係るＭＥＭｓ駆動型ミラー構成を示す。 図８は、実施形態に係るＭＥＭｓ駆動型ミラー構成を示す。 図９は、図３に係る内視鏡における１つのＭＥＭｓ駆動型ミラー構成を示す。 図１０Ａは、図３に係る内視鏡における１つのＭＥＭｓ駆動型ミラー構成を示す。 図１０Ｂは、図３に係る内視鏡における１つのＭＥＭｓ駆動型ミラー構成を示す。 図１１は、図１の内視鏡システムにおける他のＭＥＭｓ駆動型ミラー構成を示す。 図１２は、本開示の実施形態を使用して物体のトポグラフィーを決定することを説明するシステムを示す。 図１３は、図１２のシステムをより詳細に説明する図を示す。 図１４は、本開示の実施形態に係る処理を説明するフローチャートを示す。

ここで図面を参照すると、幾つかの図の全体にわたって同様の参照数字は同一又は対応する部分を示す。

用途
《用途》
本開示の実施形態に係る技術は、様々な製品に適用され得る。例えば、本開示の実施形態に係る技術は、内視鏡手術システム、外科用顕微鏡検査法、又は、医用撮像装置、或いは、例えばパイプ又はチューブの敷設又は欠陥認定における他の種類の工業用内視鏡検査に適用されてもよい。

図１は、本開示の実施形態に係る技術を適用できる内視鏡手術システム５０００の概略構成の一例を描く図である。図１には、術者（医師）５０６７が内視鏡手術システム５０００を使用して患者ベッド５０６９上の患者５０７１のための手術を行なっている状態が示される。図示のように、内視鏡手術システム５０００は、内視鏡５００１、他の手術器具５０１７、内視鏡５００１をその上で支持する支持アーム装置５０２７、及び、内視鏡手術のための様々な装置がその上に装着されるカート５０３７を含む。

内視鏡手術では、開腹術を行なうために腹壁を切開する代わりに、トラカール５０２５ａ〜５０２５ｄと呼ばれる複数の管状の開口装置を使用して腹壁を穿刺する。その後、内視鏡５００１の鏡筒５００３と他の手術器具５０１７とがトラカール５０２５ａ〜５０２５ｄを介して患者５０７１の体腔内に挿入される。図示の例では、他の手術器具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１、及び、鉗子５０２３が患者５０７１の体腔内に挿入される。また、エネルギー処置具５０２１は、高周波電流又は超音波振動によって組織の切開及び剥離、血管の封止等を行なうための処置具である。しかしながら、図示の手術器具５０１７はあくまでも単なる一例であり、手術器具５０１７としては、例えばピンセットや開創器等の内視鏡手術で一般的に使用される様々な手術器具が使用されてもよい。

内視鏡５００１により撮像される患者５０７１の体腔内の手術部位の画像が表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示される手術部位の画像をリアルタイムで見ながらエネルギー処置具５０２１又は鉗子５０２３を使用して例えば患部の切除などのような処置を行なう。なお、図示しないが、気腹チューブ５０１９、エネルギー処置具５０２１、及び、鉗子５０２３は、術中、術者５０６７、助手等によって支持される。

（支持アーム装置）
支持アーム装置５０２７は、ベースユニット５０２９から延びるアームユニット５０３１を含む。図示の例において、アームユニット５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃとリンク５０３５ａ、５０３５ｂとを含み、アーム制御装置５０４５の制御下で駆動される。内視鏡５００１は、内視鏡５００１の位置及び姿勢が制御されるようにアームユニット５０３１により支持される。その結果、内視鏡５００１の位置を安定して固定することができる。

（内視鏡）
内視鏡５００１は、患者５０７１の体腔内に挿入されるべきその遠位端から所定の長さの部位を有する鏡筒５００３と、鏡筒５００３の近位端に接続されるカメラヘッド５００５とを含む。図示の例では、硬質タイプの鏡筒５００３を有する硬性鏡として含む内視鏡５００１が示される。しかしながら、内視鏡５００１は、さもなければ、軟質タイプの鏡筒５００３を有する軟性鏡として構成されてもよい。

鏡筒５００３は、その遠位端に、対物レンズが嵌合される開口を有する。内視鏡５００１には光源装置５０４３が接続されており、それにより、光源装置５０４３により発生される光が、鏡筒５００３の内部で延在するライトガイドによって鏡筒の遠位端に導かれ、対物レンズを通じて患者５０７１の体腔内の観察対象に向けて照射されるようになっている。なお、内視鏡５００１は、直視鏡であってもよく、或いは、斜視鏡又は側視鏡であってもよい。

カメラヘッド５００５の内部には光学系と撮像素子とが設けられ、それにより、観察対象からの反射光（観察光）が光学系によって撮像素子に集光されるようになっている。観察光は、観察光に対応する電気信号、すなわち、観察像に対応する画像信号を生成するために撮像素子によって光電変換される。画像信号は、ＲＡＷデータとしてＣＣＵ５０３９に送信される。なお、カメラヘッド５００５には、カメラヘッド５００５の光学系を適切に駆動させて倍率や焦点距離を調整するための機能が組み込まれる。

なお、例えば立体視（３次元（３Ｄ）ディスプレイ）との互換性をとるために、カメラヘッド５００５には複数の撮像素子が設けられてもよい。この場合、観察光を複数の撮像素子のそれぞれに案内するために、鏡筒５００３の内部に複数のリレー光学系が設けられる。

（カートに組み込まれる各種装置）
ＣＣＵ５０３９は、中央処理ユニット（ＣＰＵ）、グラフィックプロセッシングユニット（ＧＰＵ）などを含み、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。特に、ＣＣＵ５０３９は、カメラヘッド５００５から受信される画像信号に関して、その画像信号に基づいて画像を表示するための様々な画像処理、例えば現像処理（デモザイク処理）などを行なう。ＣＣＵ５０３９は、画像処理が行なわれた画像信号を表示装置５０４１に供給する。また、ＣＣＵ５０３９は、カメラヘッド５００５に制御信号を送信して、カメラヘッド５００５の駆動を制御する。制御信号は、倍率や焦点距離などの撮像条件に関する情報を含んでもよい。

表示装置５０４１は、ＣＣＵ５０３９の制御下で、ＣＣＵ５０３９により画像処理が行なわれた画像信号に基づいて画像を表示する。内視鏡５００１が４Ｋ（水平ピクセル数３８４０×垂直ピクセル数２１６０）、８Ｋ（水平ピクセル数７６８０×垂直ピクセル数４３２０）などの高解像度の撮像をいつでも行なる状態になっている及び／又は３Ｄ表示をいつでも行なる状態になっている場合には、対応する高解像度表示及び／又は３Ｄ表示が可能な表示装置が表示装置５０４１として使用されてもよい。装置が４Ｋ又は８Ｋなどの高解像度の撮像をいつでも行なる状態になっている場合、表示装置５０４１として使用される表示装置が５５インチ以上のサイズを有していれば、より没入型の経験を得ることができる。また、目的に応じて解像度及び／又はサイズが異なる複数の表示装置５０４１が設けられてもよい。

光源装置５０４３は、例えば発光ダイオード（ＬＥＤ）等の光源を含み、手術部位を撮像するための照射光を内視鏡５００１に供給する。

アーム制御装置５０４５は、例えばＣＰＵなどのプロセッサを含むとともに、所定のプログラムにしたがって動作して、支持アーム装置５０２７のアームユニット５０３１の駆動を所定の制御方法にしたがって制御する。

入力装置５０４７が内視鏡手術システム５０００のための入力インタフェースである。ユーザは、入力装置５０４７を介して内視鏡手術システム５０００に入力する様々な種類の情報又は命令の入力を行なうことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報、手術の外科的処置に関する情報などの手術に関する各種情報を入力する。また、ユーザは、例えば、アームユニット５０３１を駆動させるための命令、内視鏡５００１による撮像条件（照射光の種類、倍率、焦点距離等）を変更するための命令、エネルギー処置具５０２１を駆動させるための命令等を、入力装置５０４７を介して入力する。

入力装置５０４７の種類は、限定されず、様々な既知の入力装置のうちのいずれか１つであってもよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７、及び／又は、レバーなどが適用されてもよい。入力装置５０４７としてタッチパネルが使用される場合には、それが表示装置５０４１の表示面に設けられてもよい。

或いは、入力装置５０４７は、例えば眼鏡型の着用可能な装置又はヘッドマウントディスプレイ（ＨＭＤ）などのユーザに装着されるべき機器であり、また、前述の装置のいずれかにより検出されるユーザの身振り又は視線に応じて各種の入力が行なわれる。また、入力装置５０４７は、ユーザの動きを検出できるカメラを含み、該カメラによって撮像されるビデオから検出されるユーザの身振り又は視線に応じて各種の入力が行なわれる。また、入力装置５０４７は、ユーザの音声を集めることができるマイクロフォンを含み、該マイクロフォンにより集められる音声によって各種の入力が行なわれる。このようにして各種の情報を非接触で入力できるように入力装置５０４７を構成することにより、特に、清浄な領域に属するユーザ（例えば術者５０６７）は、清浄でない領域に属する装置を非接触で操作できる。また、ユーザが所持している手術器具をその手から解放することなく装置を操作できるため、ユーザの利便性が向上される。

処置具制御装置５０４９は、組織の焼灼又は切開、血管の封止などのためにエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、気腹チューブ５０１９を通じて患者５０７１の体腔内にガスを供給して体腔を膨張させ、内視鏡５００１の視野を確保するとともに、術者のための作業スペースを確保する。レコーダ５０５３は、手術に関する各種の情報を記録できる装置である。プリンタ５０５５は、テキスト、画像、又は、グラフなどの様々な形式の手術に関する各種情報を印刷できる装置である。

以下では、特に内視鏡手術システム５０００の特徴的な構成について更に詳しく説明する。

（支持アーム装置）
支持アーム装置５０２７は、ベースとしての機能を果たすベースユニット５０２９と、ベースユニット５０２９から延在するアームユニット５０３１とを含む。図示の例において、アームユニット５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって互いに連結される複数のリンク５０３５ａ、５０３５ｂとを含む。図１では、説明を簡単にするために、アームユニット５０３１の構成が簡略的な形態で描かれる。実際には、アームユニット５０３１が所望の自由度を有するように関節部５０３３ａ〜５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに、関節部５０３３ａ〜５０３３ｃの回転軸の方向等を適切に設定できる。例えば、アームユニット５０３１は、それが６自由度以上の自由度を有するように構成されることが好ましい。これにより、アームユニット５０３１の可動範囲内で内視鏡５００１を自由に移動させることができる。その結果、内視鏡５００１の鏡筒５００３を所望の方向から患者５０７１の体腔内に挿入することが可能となる。

各関節部５０３３ａ〜５０３３ｃにはアクチュエータが設けられ、また、関節部５０３３ａ〜５０３３ｃは、それらがそれぞれのアクチュエータの駆動によってその所定の回転軸周りで回転できるように構成される。アクチュエータの駆動は、各関節部５０３３ａ〜５０３３ｃの回転角を制御することによりアームユニット５０３１の駆動を制御するためにアーム制御装置５０４５によって制御される。その結果、内視鏡５００１の位置及び姿勢の制御を行なうことができる。この場合、アーム制御装置５０４５は、力制御又は位置制御などの様々な既知の制御方法によってアームユニット５０３１の駆動を制御できる。

例えば、術者５０６７が入力装置５０４７（フットスイッチ５０５７を含む）を介して入力する操作を適切に行なえば、その操作入力に応じてアーム制御装置５０４５によりアームユニット５０３１の駆動を適切に制御して、内視鏡５００１の位置及び姿勢を制御することができる。以上の制御によってアームユニット５０３１の遠位端の内視鏡５００１が任意の位置から異なる任意の位置に移動された後、移動後の位置で内視鏡５００１を支持して固定できる。なお、アームユニット５０３１はマスタースレーブ方式で操作されてもよい。この場合、アームユニット５０３１は、手術室から離れた場所に配置される入力装置５０４７を介してユーザにより遠隔的に制御されてもよい。

また、力制御が適用される場合、アーム制御装置５０４５は、アームユニット５０３１がユーザによる外力を受けてその外力に追従して滑らかに移動できるように関節部５０３３ａ〜５０３３ｃのアクチュエータを駆動させるべくパワーアシスト制御を行なってもよい。これにより、ユーザがアームユニット５０３１に直接触れてアームユニット５０３１を移動させる際、アームユニット５０３１を比較的弱い力で移動させることができる。したがって、ユーザは、より簡単で容易な操作により内視鏡５００１をより直感的に動かすことができるようになり、ユーザの利便性を向上できる。

ここで、一般に内視鏡手術では、内視鏡５００１がスコピストと呼ばれる医師によって支持される。これに対し、支持アーム装置５０２７が使用される場合には、手を使わなくても内視鏡５００１の位置をより確実に固定することができるため、手術部位の画像を安定して得ることができ、手術を円滑に行なうことができる。

なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも単一の装置でなくてもよい。例えば、アーム制御装置５０４５は、複数のアーム制御装置５０４５が互いに協働してアームユニット５０３１の駆動制御を行なうように支持アーム装置５０２７のアームユニット５０３１の各関節部５０３３ａ〜５０３３ｃに設けられてもよい。

（光源装置）
光源装置５０４３は、手術部位の撮像時に照射光を内視鏡５００１に供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源、又は、それらの組み合わせを含む白色光源を含む。このケースでは、白色光源が赤、緑、及び、青（ＲＧＢ）のレーザ光源の組み合わせを含む場合、それぞれの色（各波長）ごとに出力強度及び出力タイミングを高精度で制御できるため、撮像画像のホワイトバランスの調整を光源装置５０４３によって行なうことができる。また、この場合、それぞれのＲＧＢレーザ光源からのレーザビームが観察対象に時分割で照射されるとともに、その照射タイミングと同期してカメラヘッド５００５の撮像素子の駆動が制御されれば、個々にＲ、Ｇ及びＢの色に対応する画像を 時分割で撮像できる。以上の方法によれば、撮像素子にカラーフィルタを設けなくてもカラー画像を得ることができる。

また、光源装置５０４３の駆動は、出力されるべき光の強度がそれぞれの所定時間ごとに変化されるように制御されてもよい。光の強度の変化のタイミングと同期してカメラヘッド５００５の撮像素子の駆動を制御して画像を時分割で取得するとともに画像を合成することにより、露出不足の閉鎖された影及び露出オーバーのハイライトがない高ダイナミックレンジの画像をもたらすことができる。

また、光源装置５０４３は、特殊光観察に備えて所定の波長帯域の光を供給するように構成されてもよい。これには、例えば垂直共振器面レーザによって与えられるようなレーザ光又は任意の種類のレーザ光を挙げることができるが、これらに限定されない。これに代えて又は加えて、光が赤外（ＩＲ）光であってもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して通常観察時の照射光（すなわち白色光）と比べて狭い帯域の光を照射することにより、粘膜表層部の血管等の所定の組織を高コントラストで撮像する狭帯域光観察（狭帯域撮像）を行なうことができる。或いは、特殊光観察において、励起光の照射により生成される蛍光から画像を取得するための蛍光観察が行なわれてもよい。蛍光観察では、体組織に励起光を照射することにより体組織からの蛍光の観察を行なうことができ（自己蛍光観察）、或いは、インドシアニングリーン（ＩＣＧ）などの試薬を体組織中へ局所的に注入して試薬の蛍光波長に対応する励起光を体組織に照射することによって蛍光画像を取得することができる。光源装置５０４３は、前述のような特殊光観察に適したそのような狭帯域光及び／又は励起光を供給するように構成され得る。光源は、ある領域に熱パターンを適用してもよい。この熱パターンについては図３Ａ〜図３Ｃに関連して後ほど説明する。光源装置５０４３は、実施形態では、電磁スペクトルの可視部分の光を生成できるとともに電磁スペクトルの赤外部分の光を幾らか生成できる垂直共振器面発光レーザ（ＶＣＳＥＬ）である。この点において、光源装置５０４３は、その領域を照らす可視光源としても作用し得る。光源装置５０４３は、実施形態では、電磁スペクトルの可視部分の光を生成できるとともに電磁スペクトルの赤外部分の光を幾らか生成できる１つ以上の垂直共振器面発光レーザ（ＶＣＳＥＬ）である。この点において、光源装置５０４３は、その領域を照らす可視光源としても作用し得る。１つ以上のＶＣＳＥＬが単一波長狭帯域ＶＣＳＥＬであってもよく、この場合、各ＶＣＳＥＬは発光スペクトル周波数が異なる。これに変えて又は加えて、ＶＣＳＥＬのうちの１つ以上は、その波長放射が特定の範囲にわたって変更され得る微小電気機械システム（ＭＥＭｓ）タイプのＶＣＳＥＬであってもよい。本開示の実施形態では、波長が５５０ｎｍ〜６５０ｎｍ又は６００ｎｍ〜６５０ｎｍの範囲にわたって変化し得る。ＶＣＳＥＬの形状は、正方形形状又は円形形状のように異なってもよく、内視鏡５００１内の１つの位置又は様々な位置に位置されてもよい。

光源装置５０４３は１つ以上の領域を照らしてもよい。これは、微小電気機械システム（ＭＥＭｓ）を使用してＶＣＳＥＬを選択的にオンに切り換えることによって又はその領域のラスター走査を行なうことによって達成されてもよい。光源装置５０４３の目的は、その領域にわたる光に対して空間光変調（ＳＬＭ）を行なうことである。これについては後ほど更に詳しく説明する。

以上は光源装置５０４３をカート内に位置されているように説明するが、本開示がそのように限定されないことに留意すべきである。特に、光源装置がカメラヘッド５００５内に位置されてもよい。

（カメラヘッド及びＣＣＵ）
図２を参照して内視鏡５００１のカメラヘッド５００５及びＣＣＵ５０３９の機能について更に詳しく説明する。図２は、図１に描かれるカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を描くブロック図である。

図２を参照すると、カメラヘッド５００５は、その機能として、レンズユニット５００７、撮像ユニット５００９、駆動ユニット５０１１、通信ユニット５０１３、及び、カメラヘッド制御ユニット５０１５を有する。また、ＣＣＵ５０３９は、その機能として、通信ユニット５０５９、画像処理ユニット５０６１、及び、制御ユニット５０６３を有する。カメラヘッド５００５及びＣＣＵ５０３９は、送信ケーブル５０６５により双方向通信可能に接続される。

最初に、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３に対するカメラヘッド５００５の接続位置に設けられた光学系である。鏡筒５００３の遠位端から取り込まれる観察光は、カメラヘッド５００５内へ導入されてレンズユニット５００７に入る。レンズユニット５００７は、ズームレンズ及び集光レンズを含む複数のレンズの組み合わせを含む。レンズユニット５００７は、観察光が撮像ユニット５００９の撮像素子の受光面に集光されるように適応される光学特性を有する。また、ズームレンズ及び集光レンズは、撮像画像の倍率及び焦点の調整のために光軸上におけるその位置が移動可能であるように構成される。

撮像ユニット５００９は、撮像素子を含み、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、撮像素子の受光面上に集光され、また、観察画像に対応する画像信号が撮像素子の光電変換によって生成される。撮像ユニット５００９により生成される画像信号は通信ユニット５０１３に供給される。

撮像ユニット５００９により含まれる撮像素子として、例えば、ベイヤー配列を有するとともに画像をカラーで撮ることができる相補型金属酸化膜半導体（ＣＭＯＳ）型のイメージセンサが使用される。なお、撮像素子としては、例えば４Ｋ以上の高解像度の画像をいつでも撮像できる状態にある撮像素子が使用されてもよい。手術部位の画像が高解像度で得られる場合、術者５０６７は、手術部位の状態をより詳細に把握できるとともに、手術をより円滑に進めることができる。

また、撮像ユニット５００９により含められる撮像素子は、それが３Ｄ表示に適合する右眼用及び左眼用の画像信号を取得するための一対の撮像素子を有するように含む。３Ｄ表示が適用される場合、術者５０６７は、手術部位内の体組織の深さをより正確に把握できる。なお、撮像ユニット５００９が多板型のユニットとして構成される場合には、撮像ユニット５００９の個々の撮像素子に対応するレンズユニット５００７の複数の系が設けられる。

撮像ユニット５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像ユニット５００９は、鏡筒５００３の内部の対物レンズの直後に設けられてもよい。

駆動ユニット５０１１は、アクチュエータを含むとともに、カメラヘッド制御ユニット５０１５の制御下でレンズユニット５００７のズームレンズ及び集光レンズを光軸に沿って所定の距離だけ移動させる。その結果、撮像ユニット５００９により撮像画像の倍率及び焦点を適切に調整できる。

通信ユニット５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置を含む。通信ユニット５０１３は、撮像ユニット５００９から取得される画像信号をＲＡＷデータとしてＣＣＵ５０３９へ送信ケーブル５０６５を介して送信する。この場合、手術部位の撮像画像を少ない待ち時間で表示するために、画像信号が光通信によって送信されることが好ましい。これは、手術時に、術者５０６７が撮像画像を通じて患部の状態を観察しながら手術を行ない、より高い度合の安全性及び確実性をもって手術を達成するためにできる限り手術部位の動画をリアルタイムで表示することが求められるからである。光通信が適用される場合には、電気信号を光信号に変換するための光電変換モジュールが通信ユニット５０１３に設けられる。光電変換モジュールによって画像信号が光信号へ変換された後、この光信号は送信ケーブル５０６５を介してＣＣＵ５０３９に送信される。

また、通信ユニット５０１３は、カメラヘッド５００５の駆動を制御するための制御信号をＣＣＵ５０３９から受信する。制御信号としては、撮像条件に関連する情報、例えば、撮像画像のフレームレートが指定されるという情報、撮像時の露出値が指定されるという情報、及び／又は、撮像画像の倍率及び焦点が指定されるという情報などが挙げられる。通信ユニット５０１３は、受信された制御信号をカメラヘッド制御ユニット５０１５に供給する。なお、ＣＣＵ５０３９からの制御信号も光通信により送信されてもよい。この場合、光信号を電気信号に変換するための光電変換モジュールが通信ユニット５０１３に設けられる。制御信号が光電変換モジュールによって電気信号に変換された後、この電気信号はカメラヘッド制御ユニット５０１５に供給される。

なお、フレームレート、露出値、倍率、又は、焦点などの撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御ユニット５０６３によって自動的に設定される。言い換えると、自動露出（ＡＥ）機能、オートフォーカス（ＡＦ）機能、及び、オートホワイトバランス（ＡＷＢ）機能が内視鏡５００１に組み込まれる。

カメラヘッド制御ユニット５０１５は、通信ユニット５０１３を介して受信されるＣＣＵ５０３９からの制御信号に基づいてカメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御ユニット５０１５は、撮像画像のフレームレートが指定されるという情報及び／又は撮像時の露出値が指定されるという情報に基づいて、撮像ユニット５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御ユニット５０１５は、駆動ユニット５０１１を制御して、撮像画像の倍率及び焦点が指定されるという情報に基づいてレンズユニット５００７のズームレンズ及びフォーカスレンズを適切に移動させる。カメラヘッド制御ユニット５０１５は、鏡筒５００３及び／又はカメラヘッド５００５を特定するための情報を記憶する機能を更に含んでもよい。

なお、レンズユニット５００７及び撮像ユニット５００９などの構成要素を気密性が高く防水性のある密閉構造体内に配置することにより、カメラヘッド５００５にオートクレーブ滅菌処理に対する耐性を持たせることができる。

ここで、ＣＣＵ５０３９の機能構成について説明する。通信ユニット５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置を含む。通信ユニット５０５９は、カメラヘッド５００５から送信ケーブル５０６５を介して送信される画像信号を受信する。この場合、前述したように画像信号が好ましくは光通信により送信されてもよい。この場合、光通信に適合するため、通信ユニット５０５９は、光信号を電気信号に変換するための光電変換モジュールを含む。通信ユニット５０５９は、電気信号への変換後の画像信号を画像処理ユニット５０６１に供給する。

また、通信ユニット５０５９は、カメラヘッド５００５の駆動を制御するための制御信号をカメラヘッド５００５に送信する。また、制御信号は、光通信によっても送信されてもよい。

画像処理ユニット５０６１は、カメラヘッド５００５から送信されるＲＡＷデータの形態の画像信号に関して様々な画像処理を行なう。画像処理としては、例えば、現像処理、画質改善処理（広帯域化処理、超解像処理、ノイズ低減（ＮＲ）処理、及び／又は、画像安定化処理）及び／又は拡大処理（電子ズーム処理）などの様々な既知の信号処理が挙げられる。また、画像処理ユニット５０６１は、ＡＥ、ＡＦ、ＡＷＢを行なうために画像信号に関して検出処理を行なう。

画像処理ユニット５０６１は、ＣＰＵ又はＧＰＵなどのプロセッサを含み、また、プロセッサが所定のプログラムにしたがって動作する際には、前述した画像処理及び検出処理を行なうことができる。なお、画像処理ユニット５０６１が複数のＧＰＵを含む場合、画像処理ユニット５０６１は、複数のＧＰＵによって画像処理が並行して行なわれるように画像処理に関する情報を適切に分割する。

制御ユニット５０６３は、内視鏡５００１による手術部位の撮像と撮像画像の表示とに関する各種の制御を行なう。例えば、制御ユニット５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この場合、ユーザによって撮影条件が入力されれば、制御ユニット５０６３は、ユーザによる入力に基づいて制御信号を生成する。或いは、内視鏡５００１にＡＥ機能、ＡＦ機能、及び、ＡＷＢ機能が組み込まれる場合、制御ユニット５０６３は、画像処理ユニット５０６１による検出処理の結果に応じて最適な露出値、焦点距離、及び、ホワイトバランスを適切に計算して制御信号を生成する。

また、制御ユニット５０６３は、画像処理ユニット５０６１により画像処理が行なわれた画像信号に基づいて手術部位の画像を表示するために表示装置５０４１を制御する。この場合、制御ユニット５０６３は、様々な画像認識技術を用いて手術部位画像中の様々な物体を認識する。例えば、制御ユニット５０６３は、手術部位画像中に含まれる物体の縁部の形状、色等を検出することによって、鉗子等の手術器具、特定の生体部位、出血、エネルギー処置具５０２１が使用されるときの霧等を認識できる。制御ユニット５０６３は、手術部位画像を表示するべくそれが表示ユニット５０４１を制御する際に、手術部位の認識結果を使用して各種の手術サポート情報を手術部位の画像と重なり合う態様で表示させる。手術サポート情報が重なり合う態様で表示されて術者５０６７に与えられる場合、術者５０６７は手術をより安全かつ確実に進めることができる。

カメラヘッド５００５とＣＣＵ５０３９とを互いに接続する送信ケーブル５０６５は、いつでも電気信号を通信できる状態にある電気信号ケーブル、いつでも光通信を行なる状態にある光ファイバ、又は、いつでも電気通信及び光通信の両方を行なる状態にある複合ケーブルである。

ここで、図示の例では、送信ケーブル５０６５を使用した有線通信によって通信が行なわれるが、別の方法では、カメラヘッド５００５とＣＣＵ５０３９との間の通信が無線通信によって行なわれてもよい。カメラヘッド５００５とＣＣＵ５０３９との間の通信が無線通信により行なわれる場合には、送信ケーブル５０６５を手術室に敷設する必要はない。したがって、手術室における医療スタッフの移動が送信ケーブル５０６５によって妨げられるという事態を解消できる。

以上、本開示の実施形態に係る技術を適用できる内視鏡手術システム５０００の一例を説明してきた。ここでは、内視鏡手術システム５０００が一例として説明されてきたが、本開示の実施形態に係る技術を適用できるシステムがこのような例に限定されないことに留意すべきである。例えば、本開示の実施形態に係る技術は、検査用の軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。実際、この技術は、脳神経外科手術などを行なうための外科用顕微鏡に適用されてもよい。更に、この技術は、より一般的には任意の種類の医用撮像に適用されてもよい。

本開示の実施形態に係る技術は、前述した構成要素のうちからＣＣＵ５０３９に適切に適用され得る。具体的には、本開示の実施形態に係る技術は、内視鏡検査システム、外科用顕微鏡検査、又は、医用撮像に適用される。本開示の実施形態に係る技術をこれらの分野に適用することにより、静脈、動脈及び毛細血管における血流が特定されてもよい。更に、物体が特定されてもよく、また、それらの物体の材料が確定されてもよい。これにより、術中の患者の安全に対するリスクが軽減される。

光源装置５０４３は、実施形態では、電磁スペクトルの可視部分の光を生成できるとともに電磁スペクトルの赤外部分の光を幾らか生成できる１つ以上の垂直共振器面発光レーザ（ＶＣＳＥＬ）である。この点において、光源装置５０４３は、その領域を照らす可視光源としても作用し得る。１つ以上のＶＣＳＥＬが単一波長狭帯域ＶＣＳＥＬであってもよく、この場合、各ＶＣＳＥＬは発光スペクトル周波数が異なる。これに変えて又は加えて、ＶＣＳＥＬのうちの１つ以上は、その波長放射が特定の範囲にわたって変更され得る微小電気機械システム（ＭＥＭｓ）タイプのＶＣＳＥＬであってもよい。本開示の実施形態では、波長が５５０ｎｍ〜６５０ｎｍ又は６００ｎｍ〜６５０ｎｍの範囲にわたって変化し得る。ＶＣＳＥＬの形状は、正方形形状又は円形形状のように異なってもよく、内視鏡システム５０００内の１つの位置又は様々な位置に位置されてもよい。

光源装置５０４３は、１つ以上の領域及び／又はその領域内の物体を照らしてもよい。これは、微小電気機械システム（ＭＥＭｓ）を使用してＶＣＳＥＬを選択的にオンに切り換えることによって又はその領域のラスター走査を行なうことによって達成されてもよい。光源装置５０４３の目的は、その領域にわたる光に対して空間光変調（ＳＬＭ）を行なうことである。これについては後ほど更に詳しく説明する。

図３を参照すると、撮像ユニット５００９内のレンズ配列と光源装置５０４３との間の関係を説明する２つの特定の実施形態が示される。しかしながら、理解できるように、配列は、限定的ではなく、単なる典型的なものにすぎない。第１の実施形態では、カメラヘッド５００５の端部４００Ａが示されている。端部４００Ａは、光源装置５０４３の上方に位置されるレンズ配列を成す。勿論、本開示はそのように限定されず、光源装置５０４３は、レンズ配列の下方又はレンズ配列の左又は右に或いは何らかの方法でレンズ配列からオフセットして位置されてもよい。言い換えると、光源装置５０４３はレンズ配列に隣接して位置される。光源装置５０４３は、レンズ配列に対して１つの位置に位置される１つのＶＣＳＥＬと、第２の位置に位置される第２のＶＣＳＥＬとを有してもよい。例えば、第１及び第２のＶＣＳＥＬがレンズ配列の両側に配置されてもよい。言い換えると、第１のＶＣＳＥＬと第２のＶＣＳＥＬとが１８０°だけ離間されてもよい。勿論、本開示はそのように限定されず、第１及び第２のＶＣＳＥＬがレンズ配列に関して互いに対し位置決めされてもよい。

この構成における光源装置５０４３は、２つの水平に変位されるＶＣＳＥＬを含み、破線で示される。勿論、２つよりも多い又は少ないＶＣＳＥＬが設けられてもよいことが想定される。これらのＶＣＳＥＬは、狭帯域ＶＣＳＥＬであってもよく、又は、変動する発光範囲を有してもよい。

実施形態では、２つのＶＣＳＥＬがそれぞれ互いに独立に制御される。２つのＶＣＳＥＬは、１つのＶＣＳＥＬが照らされる場合にはその領域が一方向から照らされるとともに第２のＶＣＳＥＬが照らされる場合には同じ領域が異なる方向から照らされるように領域へ向けられる。これにより、ここで説明されるように、異なる領域を照らすことができるようにする光源方向変化及び空間的ばらつきが可能となる。

ａ．空間的分散は、（照明源が内視鏡上の異なる位置に配置されることによって）領域への照明光の異なる入射角を使用できるようにする。これは、シーン内に影をもたらすとともに、見られるシーンに異なる強度勾配をもたらす。これらはいずれも、光源に対する表面及び物体の位置及び角度に依存する。後ほど説明するように、これを解析してトポグラフィー情報及び曲率情報を与えることができる。

ｂ．ＶＣＳＥＬ装置のうちの１つによって生成されるＶＣＳＥＬレーザ光をＭＥＭｓ駆動型マイクロミラーから又は光を変向させることができるようにする反射面を有する任意の種類の構造体から離れるように変向させることによって或いはＶＣＳＥＬが装着されるプラットフォームを作動させることによって実施され得る空間的ばらつきは、画像の特定の部分を光（例えば選択された波長の光）で照らすことができるようにし或いは光ビームをラスター走査又はスパイラル走査パターンで対象領域の全体にわたって走査できるようにし、それにより、画像の一部に関する詳細な情報を明らかにすることができる。これについては後述する。

前述したように、光源装置５０４３は様々な構成を有することができる。実施形態は、光源装置５０４３がレンズ配列を取り囲む複数のＶＣＳＥＬから成る第２の端部配列４００Ｂを伴って示される。

空間的分散及び空間的ばらつきの利点については図６〜図１４に関連して説明される。

図５を参照すると、グラフ５００は、脱酸素化ヘモグロビンに関するモル吸光係数対波長を線５０５で示し、酸素化ヘモグロビンに関するモル吸光係数対波長を線５１０で示す。言い換えると、グラフ５００は、脱酸素化ヘモグロビン及び酸素化ヘモグロビンに関する光吸収を示す。

グラフ５００から、ヘモグロビンのスペクトルは、酸素化変異体及び脱酸素化変異体の両方に関し、約６００ｎｍで急激な変化を示す。したがって、約６００ｎｍにおける狭帯域光と約６５０ｎｍにおける狭帯域光との間の光吸収の差を見ることによって領域内のヘモグロビンの存在を特定することができる。これらの波長の光が組織にかなりよく入り込むため、これらの違いがヘモグロビンを含む血管の存在を明らかにする。

したがって、光源装置５０４３は、スペクトル分散を行なうためにＣＣＵ５０３９により制御される。これにより、シーン（又はシーンの一部）を単一の狭い周波数帯域の光で照らすことができる。適切な狭帯域光源のセットを選択することによって或いはある範囲の周波数で発光するように単一のＭＥＭｓベースのＶＣＳＥＬを変調して単一の狭帯域照明光源のこのセットを介して順序付けることによって、これらの差が僅かであってもシーン（又はシーンの一部）内の物体の色に関して正確なデータを収集できる。これは、表面下の血管を検出する際に特に重要となり得る。それは、ヘモグロビンが６００ｎｍ及び６３０ｎｍなどの近い周波数で吸収に著しい差を有するからであり、この場合、前者が吸収され、後者が殆ど吸収されない。

画像内の血管の存在を検出することによって、術者及び／又は内視鏡操作者は組織の破裂或いはさもなければ損傷を回避することができる。これを達成するために、ＣＣＵ５０３９は、光源装置５０４３及び撮像ユニット５００９を制御して図５に示される処理を行なう。具体的には、光源装置５０４３が特定の波長の光で領域を照らし、撮像ユニット５００９がこの画像を捕捉する。その後、光源装置５０４３の波長が（異なるＶＣＳＥＬを作動させることによって又は単一のＶＣＳＥＬの放射波長を変えることによって）変えられて、領域が照らされる。その後、撮像ユニット５００９がこの画像を捕捉する。

その後、２つの画像中のピクセルの相対輝度を比較することによって、異なる波長の照明器の組織反射間の輝度差を使用して下層組織の小さな色差を示すオーバーレイ画像を生成することができる。オーバーレイ画像は、血管の位置を強調するために従来のように捕捉画像上に与えられる。これらの輝度差は、ヘモグロビンの吸収の差を特定する。

図５は、この処理を詳細に説明するフローチャート６００を示す。

処理はステップ６０５から始まる。ステップ６１０では、光源装置５０４３の第１の波長が選択される。実施形態では、ヘモグロビン内の光の吸収に急激な変化がある波長範囲が選択される。実施形態では、その範囲が６００ｎｍ〜６５０ｎｍである。勿論、吸収の急激な変化がある４００ｎｍ〜５００ｎｍなどの他の範囲も想定されるが、変化の急激さに起因して６００ｎｍ〜６５０ｎｍが好ましい。したがって、この好ましい範囲では、６００ｎｍの波長が選択される。

処理はステップ６１５に進み、このステップでは、光源装置５０４３が選択された波長の光で領域を照らす。ステップ６２０において、撮像ユニット５００９は、光が照射される領域の画像を捕捉する。

その後、処理がステップ６２５に進み、このステップでは、全ての画像が捕捉されたかどうかの決定がなされる。この決定は、光源装置５０４３がその範囲内の全波長で領域を照らしたかどうかに基づいて行なわれる。言い換えると、光源装置５０４３が全波長にわたって領域を照らしたかどうかの決定がなされる。勿論、所定数の画像が捕捉されたかどうかなどの他の決定因子が想定される。

全ての画像が捕捉されなかったという決定がなされれば、Ｎｏ経路がたどられ、処理がステップ６３０に進む。

ステップ６３０では、光源装置５０４３の波長が変更される。実施形態において、このことは、領域を照らすために第２の狭帯域幅ＶＣＳＥＬが起動されることを意味し得る。或いは、変化するＶＣＳＥＬの放射波長が変えられる。波長は、１０ｎｍ、２０ｎｍ、又は、任意の重なり合わない値だけ変えられてもよい。実際には、値が直線的に変化しない場合がある。例えば、波長値の変化量は、吸収の変化が線形になるように非線形的に変化する場合がある。言い換えると、吸収に著しい変化がある波長に関しては、波長の僅かな変更が行なわれる場合がある。

その後、処理がステップ６１５に戻る。

一方、ステップ６２５で全ての画像が捕捉されたという決定がなされれば、ｙｅｓ経路がたどられる。

処理は、画像中の物体が確定されるステップ６３５に進む。具体的には、この場合、画像中の血管が確定される。これを達成するために、各波長で捕捉される画像は、光源のそのままの強度に関して補正されるとともに、光源の異なる位置又はカメラヘッド５００５の移動によりもたらされる任意の差に関して補正される。この処理は、画像間の唯一の差が光の吸収によりもたらされるように画像を正規化するべく行なわれる。これは既知の技術を使用して行なわれる。

その後、画像のセット内のピクセルの相対輝度が比較される。言い換えると、１つの画像中の各ピクセルの輝度は、他の画像のそれぞれにおける各ピクセルの輝度と比較される。これにより、画像中のそれぞれのピクセルごとに波長範囲にわたる輝度が導き出されるマップがもたらされる。したがって、各ピクセル位置における光吸収が決定される。

波長範囲にわたってそれぞれの波長ごとに各ピクセル位置で光吸収を決定することによって、ＣＣＵ５０３９はそのピクセル位置で材料を決定する。特に、限定されないが、ＣＣＵ５０３９は、図４の吸収表を用いてヘモグロビンの存在を決定する。これは血液及び血管の存在を特定する。

その後、ＣＣＵ５０３９は、各ピクセル位置の材料が特定されるグラフィックであるオーバーレイ画像を与える。これは、それぞれの対応するピクセル位置でヘモグロビンの位置を明確に強調する。

処理は、内視鏡からの画像がオーバーレイ画像と重ね合わされるステップ６４０に進む。言い換えると、術者又は内視鏡操作者に対して表示されるとともに図５の技術を使用して捕捉されるピクセルに対応するピクセルから形成される従来のように捕捉される画像には、ヘモグロビンの位置に関する注釈が付けられる。勿論、以上はオーバーレイ画像の形成について記載するが、本開示はそのように限定されず、捕捉される画像には、図５の技術を使用して注釈が付けられてもよい。

この実施形態により、内視鏡操作者又は術者は、ヘモグロビン（又は他の関連する流体又は材料）の位置をより明確に規定することができ、したがって、患者の傷害のリスクを低減できる。これは、異なる波長の光が組織を照らすために使用される際の組織からの反射が画像内の小さな色の差を強調するからである。
以上は、特定の波長の照明を有する各画像に関して各ピクセルの輝度レベルが比較されることを記載するが、本開示はそのように限定されない。例えば、異なる波長を使用して捕捉される画像からのピクセルに対して重み付けを適用できる。重み付けの選択は、強調されるべき材料に依存し得る。例えば、本開示の実施形態がヘモグロビンを検出するように構成される場合には、高い重み付けが６５０ｎｍで適用されてもよく、この場合、その波長の光の吸収は低い。同様に、（６５０ｎｍでの吸収と比較して）ヘモグロビンの吸収が非常に高い６００ｎｍの照明で捕捉される画像に関しては、低い重み付けが適用されてもよい。これはヘモグロビンの存在を強調する。

加えて、血管の視認性を更に強調するために、領域が最初に５４０ｎｍの光で照らされて、画像が捕捉されてもよい。これにより、一般的な反射率を補正するようにその照明波長が選択されるベンチマーク画像がもたらされる（５４０ｎｍは血液によって特に良く吸収される）。様々な波長の照明を有する捕捉画像は、互いに比較される前に血管の視認性を強調するべく最初に基準画像によって除算されてもよい。

更に、照射光の輝度を制御して、組織の表面からの望ましくない反射の量を減らしてもよい。特に、照射光からのグレアを低減するために、ＶＣＳＥＬと組織との間の距離にしたがって照射光の輝度が制御されてもよい。具体的には、ＶＣＳＥＬの輝度は、ＶＣＳＥＬと組織との間の距離が所定の距離より小さいときに減少される。これにより、ＶＣＳＥＬが組織に接近しているときに、組織でのＶＣＳＥＬの反射によるグレアの量が減少される。その後、ＶＣＳＥＬの輝度を調整して任意の望ましくない反射を除去する際に材料が前述のように決定されてもよい。

図６Ａ及び図６Ｂを参照して、本開示の実施形態に係るシステムについて説明する。前述のように、空間的分散及び空間的ばらつきに注目する節では、内視鏡検査中に対象領域を幾つかの方向から照らすことが有用である。照明は、（図３に関して説明したように）異なる入射方向からのものであってもよく、或いは、特定の領域に光を向け（或いは、ラスター又はスパイラル走査などの走査パターンを与え）、それにより、内視鏡ヘッドを移動させることなく他の領域を照明できるようにしてもよい。これは、フォトメトリックステレオを使用することによって表面の曲率を計算できるようにする、及び／又は、背景に対する物体の形状及び位置を考慮に入れる影トポグラフィーを表面の曲率が決定できるようにする。

また、図６Ａ及び図６Ｂに記載されるシステムは、図５に関連して説明した様々な波長の光で領域を照明するために使用されてもよい。

例えば、非限定的な実施形態において、ＶＣＳＥＬの輝度は、領域の表面からの望ましくない光の反射を減らすように調整されてもよい。具体的には、物体の構造又はトポグラフィーが検出された時点で、物体に対するＶＣＳＥＬの距離に基づいて適切な照明制御が達成される。これに加えて又は代えて、構造又はトポグラフィー自体に基づいて照明条件が得られてもよい。

上記の例として、内視鏡に近い領域では、望ましくない光の反射を避けるために弱い光が照射され、また、内視鏡から遠い領域では、望ましくない反射の可能性が減少されるにつれて光の強度が増大される。

図６Ａには第１のシステム７００Ａが示される。このシステム７００Ａでは、単一のＶＣＳＥＬが設けられる。特に、領域を照らすために使用されるＭＥＭｓベースのＶＣＳＥＬ７１０Ａが設けられる。ＭＥＭｓベースのＶＣＳＥＬ７１０ＡはＭＥＭｓ駆動型ミラー７０５Ａに向けられる。ＭＥＭｓ駆動型ミラー７０５Ａの実施形態が図７及び図８に示される。なお、図６Ａ及び図６Ｂに記載される複数のシステムが幾つかの異なる方向から領域を照らすために設けられてもよい。

図７では、ＭＥＭｓ駆動型ミラー７０５Ａが（破線で描かれる）単一の回転軸の周りで回転する。これにより、ミラーは単一の走査線に沿って光を反射できる。ある領域のラスター走査を行なうべく、その領域の一方側から他方側へ走査線が移動できるようにするために、ミラーが装着されるＭＥＭｓ装置も移動される。

図８では、ＭＥＭｓ駆動型ミラー７０５Ｂが２つの回転軸の周りで回転する。特に、第１のジンバル９０１が第１の軸を中心に回転し、第２のジンバル９０２が第２の軸を中心に回転し、第２の軸は第１軸と直交している。第２のジンバル９０２は、その上に位置される鏡面又はミラーを有する。第１のジンバル９０１は鏡面を有していてもいなくてもよい。これにより、ＭＥＭｓ駆動型ミラー７０５Ａは、図７に示すように、第２のジンバル９０２を単一の走査線に沿って移動させることにより領域のラスター走査を行なうことができる。第２のジンバル９０１に接続固定される第１のジンバル９０２は、ラスター走査が実行されるように第１のジンバル９０２に対して直交して移動する。

図７及び図８にそれぞれ記載されるＭＥＭｓ駆動型ミラー７０５Ａ，７０５ＢはＣＣＵ５０３９によって制御される。

図９には、実施形態に係るカメラヘッド５００５が示される。この例では、図７及び図８のＭＥＭｓ駆動型ミラー７０５Ａ又は７０５Ｂがミラーハウジングに装着される。ミラーハウジングは、ラスター走査が必要であるかどうか及びミラーハウジングに装着されるミラーが図７のミラー７０５Ａであるか又は図８のミラー７０５Ｂであるかどうかに応じて移動してもしなくてもよい。言い換えると、図７のミラー７０５Ａが装着される場合には、ミラーハウジングがミラー７０５Ａの軸と比較して直交軸で回転し、また、図８のミラー７０５Ｂが装着される場合には、ミラーハウジングが回転する必要がない。

カメラヘッド５００５内に付加的に位置されるのがＶＣＳＥＬ７１０Ａである。実施形態では、これが同じ又は異なる波長の光を放射するＶＣＳＥＬの配列であってもよい。或いは、ＶＣＳＥＬが様々な波長の光を放射してもよい。勿論、ＶＣＳＥＬの配列ではなく、単一のＶＣＳＥＬが設けられてもよい。ＶＣＳＥＬ用のハウジングが固定される。

イメージセンサは、カメラヘッド５００５の一部である撮像ユニット５００９の一部である。イメージセンサが代わりに内視鏡システム５０００内の任意の適した場所に配置されてもよいことが想定される。

図１０Ａ及び図１０Ｂを参照してシステムの動作について大まかに説明する。特に、ＶＣＳＥＬ７１０Ａが作動されてＭＥＭｓ駆動型ミラー７０５Ａ，７０５Ｂに光を送る。ＶＣＳＥＬによって生成される光は、ミラー７０５Ａ，７０５Ｂの鏡面から反射される。その後、ＣＣＵ５０３９は、ミラー７０５Ａ，７０５Ｂの動きを制御して内視鏡開口部１１０５を通過するように光を方向付ける。その後、ＣＣＵ５０３９は、反射光を走査線に沿って走査するようにミラー７０５Ａ，７０５Ｂを制御する。

その後、ＣＣＵ５０３９は、ミラー７０５Ｂ又はミラーマウント（ミラーが７０５Ａの場合）を制御してラスター走査を行なう。これは、患者内の広い領域（対象の物体を含んでもよい）を照らす。勿論、任意の種類の走査又は移動が、想定されて、内視鏡操作者又は術者の好みに応じて選択されてもよい。例えば、ミラー又はミラーマウントは、ＶＣＳＥＬから発する光を患者内の特定の領域に単に方向付けるように制御されてもよい。

その後、撮像ユニット５００９内のイメージセンサは、必要に応じて１つ以上の画像を捕捉してもよい。前述したように、図１０Ａ及び図１０Ｂのシステムは、より正確に血管を特定するために図５に関連して説明した先の実施形態の原理にしたがって動作してもよい。或いは、図１０Ａ及び図１０Ｂのシステムは、先の実施形態とは無関係に動作してもよい。

図１１には、図６Ｂのシステムが更に詳しく示される。具体的には、ミラー９０２が第２のジンバル上に配置される図８のシステムと同様に、代わりにＶＣＳＥＬ又はＶＣＳＥＬの配列７１０ＢがＭＥＭｓ駆動型プラットフォーム上に配置される。これにより、ＶＣＳＥＬは直交する２つの軸を中心に回転して放射光を適切な態様で方向付けることができる。このシステムでは、反射面又はミラーが必要とされないため、図１１に示されるシステムのサイズが図１０Ａ又は図１０Ｂに記載されるものよりも小さい。これは、小型の内視鏡ヘッドが望ましい内視鏡検査にとって有利である。

図１２には、２つの別個のＶＣＳＥＬ１４０５Ａ，１４０５Ｂ（又はＶＣＳＥＬとＭＥＭｓミラー／反射構造との組み合わせ）が異なる方向から光を供給して領域を照らすシステム１４００が記載される。なお、ＶＣＳＥＬ光は、図３の場合のように個々のＶＣＳＥＬによって直接に供給されてもよく、又は、図６Ａ又は図６Ｂに記載される構成のうちの１つを使用して供給されてもよい。ＶＣＳＥＬ光が図６Ａ又は図６Ｂの構成によって物体１４１０の全体にわたって走査される場合には、照明が走査されるにつれてαの値が変化される。

このシステム１４００では、第１のＶＣＳＥＬ１４０５Ａが第１の方向（方向Ａ）から物体１４１０を照らし、また、第２のＶＣＳＥＬ１４０５Ｂが第２の方向（方向Ｂ）から物体１４１０を照らす。図１２から明らかなように、第１のＶＣＳＥＬ１４０５Ａ及び第２のＶＣＳＥＬ１４０５Ｂからの照明は領域１４１５で重なり合う。照明は、方向Ａから供給されると第１の影１４１２を投げ掛け、また、照明は、方向Ｂから供給されると第２の影１４１４を投げ掛ける。明らかに、以上は図１２における２つ以上のＶＣＳＥＬ又はＭＥＭｓミラーを記載するが、本開示はそのように限定されない。実際に、３つ以上のＶＣＳＥＬ又はＭＥＭｓのミラーが設けられてもよい。実際には、ＶＣＳＥＬ又はＭＥＭｓミラーが２つの位置の間で移動する場合又はＭＥＭｓミラーが非常に大きいためにそれが２つの異なる部分で照らされ得る場合には、ＶＣＳＥＬ又はＭＥＭｓミラーが１つだけ設けられてもよい。重要な点は、物体１４１０が２つ以上の異なる方向から照らされることである。

２つ以上の異なる方向から照らされると、物体における表面角度１４２０を決めるためにフォトメトリックステレオが実行される。これは物体のトポロジー情報を与える。これは非特許文献１に記載される。トポグラフィー情報が確定された後、これは内視鏡からの捕捉画像に重ね合わされて術者に提供される。これは、観察されている組織のトポグラフィーのより良い理解を術者に提供する。

更に、ＶＣＳＥＬから発する光の波長は変化されてもよい。材料の透過率は異なる波長の光に関して異なるため、物体の材料を導き出すこともできる。

図１３を参照して処理について説明する。

図１３には、図１２の物体１４１０を照明するシーケンスが示される。図（Ａ）において、物体１４１０は、第１のＶＣＳＥＬ１４０５Ａ及び第２のＶＣＳＥＬ１４０５Ｂによって照らされる。図（Ｂ）では、第１のＶＣＳＥＬ１４０５Ａからの照明が影１４１２を投げ掛け、影１４１２がイメージセンサ５００９によって捕捉される。図（Ｃ）では、第１のＶＣＳＥＬ１４０５Ａによって供給される照明の色が変えられる。照明の色を変えた後にそれに伴う画像を、単色ピクセルを使用して捕捉することにより、物体の動きの影響が軽減されるため、フォトメトリックステレオプロセスがより正確となる。

図（Ｄ）では、物体１４１０が第２のＶＣＳＥＬ１４０５Ｂによって照らされる。これにより、第２の影１４１４が生じる。この場合も先と同様に、第１のＶＣＳＥＬ１４０５Ａによって供給される照明の色が変えられる。図（Ｄ）のシーケンスが完了した後、物体のトポグラフィーが決定される。

その後、処理は図（Ｅ）に移動し、ここでは、第１のＶＣＳＥＬ１４０５Ａ及び第２のＶＣＳＥＬ１４０５Ｂによって供給される照明の波長が変更される。この波長の変更は、物体１４１０に関連する透過率情報を与える。この透過率情報は、物体１４１０の組織特性を決定するために既知の材料と関連する透過率情報と比較される。

その後、トポグラフィー情報及び組織特性が内視鏡によって捕捉される画像上に重ね合わせられる。言い換えると、決定されたトポグラフィー情報及び組織情報は、術者に対して表示される内視鏡画像に注釈を付けることによって術者に提供される。

前述のように、内視鏡検査において異なる方向からの光である領域を照らす目的は、異なる入射角の光が使用されるような空間的分散とその光が特定の領域に向けられる方向分散とを与えるためであり、或いは、ラスター走査又はスパイラル走査などの走査を行なうためである。

ここで、図１４を参照しながら、この処理について説明する。

図１４には、本開示の実施形態に係る処理を示すフローチャート１３００が記載される。処理はステップ１３０５で開始する。

その後、処理は、ＶＣＳＥＬによって放射される光が患者のある領域に向けられるステップ１３１０に進む。これは、第１の方向から領域を照らす。その後、処理は、イメージセンサ３１７が画像を捕捉するステップ１３１５に進む。

処理は、異なる位置でＶＣＳＥＬにより放射される光が領域に向けられるステップ１３２０に進む。これは、第２の方向から領域を照らす。これは、ＭＥＭｓ駆動型ミラー７０５Ａ，７０５Ｂを動かすことによって（図７及び図８）或いはＶＣＳＥＬのマウントを動かすことによって（図１１）又はＶＣＳＥＬの配列内の異なるＶＣＳＥＬを作動させることによって達成される。

処理は、画像が捕捉されるステップ１３２５に進む。

処理はステップ１３３０に進む。ＣＣＵ５０３９は、表面曲率関数又は影トポグラフィー関数のいずれかを決定する。

表面曲率関数を決定するために、ＣＣＵ５０３９は、関連する光源のそのままの強度に関してそれらを補正する。その後、ＣＣＵ５０３９は、異なる照明源位置から得られる捕捉画像中の各ピクセルの輝度を比較する。光源に異なる方向から領域を照らさせることによって、表面アルベド及び表面法線の効果を分離することができる。一般に、拡散面からの反射光の強度は、材料のアルベドと、表面と光源へ向かう角度との間の角度の関数とに依存する。異なる角度から照明する幾つかの光源を使用して、２つの効果（アルベド及び表面法線）は、最初に例えば異なる方向から照明される同じ画像ピクセルの相対強度と反射率に対する表面法線の影響に関して画像ピクセル値を補正することによって導き出され得る材料アルベドに関する値とを使用してフォトメトリックステレオルックアップテーブルから表面法線を導き出すことによって分離され得る。

影トポグラフィー関数を決定するために、第１及び第２の画像が関連するＶＣＳＥＬのそのままの強度に関して補正される。影が画像中で認識され、形状及び物体と背景との間の関係を決定できる。物体が背景よりも光源に近く、その間の表面が光の経路から外れている場合には、背景上の物体によって影が投げ掛けられる。凹面を有する光源により近い物体の一部分は、より遠い物体の部分に影を投げ掛け得る。照明の方向に応じて、影が様々な位置に現れる。影が見つけられ、影の境界の全体にわたる対応するポイントが正しく推論されれば、背景に対する物体の形状及び位置に関する情報を導き出すことができる。影を使用して形状及び相対的な深さを推論する１つの方法は、「シャドウケイビング」、すなわち、物体シルエットと、照明方向が加えられるにつれて物体の形状により一層厳密に近づくとともにおそらく物体の形状の外側境界である物体の影とから物体の推定値を繰り返し復元するアルゴリズムである。幾つかの異なる照明方向を使用することによって、形状に関する更なる影の制約を得ることができる。これは非特許文献２に記載される。

その後、ＣＣＵ５０３９は、表面関数とトポグラフィーとが特定されるグラフィックであるオーバーレイ画像を与える。

処理は、内視鏡からの画像がオーバーレイ画像と重ね合わされるステップ１３３５に進む。言い換えると、術者又は内視鏡操作者に対して表示されるとともに図１４の技術を使用して捕捉されるピクセルに対応するピクセルから形成される従来のように捕捉される画像には、表面関数及び／又はトポグラフィーに関する注釈が付けられる。勿論、以上はオーバーレイ画像の形成について記載するが、本開示はそのように限定されず、捕捉される画像には、図１４の技術を使用して注釈が付けられてもよい。

処理はステップ１３４０で終了する。

ＶＣＳＥＬが記載される場合、任意の光源が想定されることが理解され得る。

垂直共振器面発光レーザから放射される光の波長及び角度が光条件の例であることが理解され得る。言い換えると、光条件は、物理的特性（波長、輝度又は強度など）又は光の放射角度などの光の特性である。

物体の材料及びトポグラフィーが物体に関する情報の例であることが理解され得る。したがって、物体の情報は物体の物理的特性となり得る。

本開示の様々な実施形態は、以下の番号付けされた項によって規定される。
１．複数の光条件のうちの１つを使用して物体を照らすように構成される垂直共振器面発光レーザと、前記物体の画像を捕捉するように構成されるイメージセンサと、
前記垂直共振器面発光レーザを制御して、第１の光条件を有する光を使用して前記物体を照らし、
前記イメージセンサを制御して、前記第１の光条件を有する前記光で前記物体の第１の画像を捕捉し、
前記垂直共振器面発光レーザを制御して、第２の異なる光条件を有する光で前記物体を照らし、
前記イメージセンサを制御して、前記第１の光条件を有する前記光で照らされる前記物体の第２の画像を捕捉し、及び、
前記第１の画像及び前記第２の画像に基づいて前記物体の情報を決定する、
ように構成される回路と、を備える医用撮像装置。
２．前記光条件が前記光の波長である項１に記載の装置。
３．前記波長の範囲が６００〜６５０ｎｍである項２に記載の装置。
４．前記第１の光条件が５４０ｎｍの波長である項１又は２に記載の装置。
５．前記物体の前記情報が前記物体の材料であり、前記物体の前記材料は、前記画像中の対応するポイントで前記第１及び第２の画像の輝度を比較することによって決定される、項２から４のいずれか一項に記載の装置。
６．前記光条件が前記光の輝度である項１から５のいずれか一項に記載の装置。
７．前記光条件は、前記垂直共振器面発光レーザから放射される光の角度である項１から６のいずれか一項に記載の装置。
８．前記第１の光条件は、第１の方向から前記物体を照らすことであり、前記第２の光条件は、第２の異なる方向から前記物体を照らすことであり、前記物体の前記情報が前記物体のトポグラフィーであり、前記トポグラフィーがフォトメトリックステレオによって決定される、項１から７のいずれか一項に記載の装置。
９．複数の垂直共振器面発光レーザを備える項１から８のいずれか一項に記載の装置。
１０．患者に入るためのチップを備え、前記チップが垂直共振器面発光レーザを備える項１から９のいずれか一項に記載の装置。
１１．光を前記イメージセンサに集束させるためのレンズ配列を備え、前記垂直共振器面発光レーザが前記レンズ配列に隣接して位置される項１から１０のいずれか一項に記載の装置。
１２．前記垂直共振器面発光レーザとは反対側で、前記レンズ配列に隣接して位置される第２の垂直共振器面発光レーザを備える項１１に記載の装置。
１３．前記垂直共振器面発光レーザによって放射される前記光の方向を変えるように構成される反射面を有する構造体を備える項１から１２のいずれか一項に記載の装置。
１４．前記構造体は、前記反射光が前記物体上にわたって走査されるように移動するべく構成されるミラーである項１３に記載の装置。
１５．前記制御回路は、前記決定された物体情報を用いて前記物体の画像に注釈を付けるように更に構成される項１から１４のいずれか一項に記載の装置。
１６．項１から１５のいずれか一項に記載の装置を備える内視鏡。

無論、以上の教示内容に照らして本開示の多数の修正及び変形が可能である。したがって、添付の特許請求の範囲内で、本明細書中に具体的に記載されているものとは別の方法で本開示が実施されてもよいことが理解されるべきである。

本開示の実施形態が少なくとも部分的にソフトウェア制御されるデータ処理装置によって実施されるように記載されている限りにおいて、例えば光ディスク、磁気ディスク、半導体メモリ等のそのようなソフトウェアを伴う非一時的な機械可読媒体も本開示の実施形態を表わすために考慮されることが理解され得る。

明確にするための以上の記載が異なる機能ユニット、回路及び／又はプロセッサに関連する実施形態を説明してきたことが理解され得る。しかしながら、実施形態から逸脱することなく、異なる機能ユニット、回路及び／又はプロセッサ間の機能の任意の適切な分配が使用されてもよいことは明らかである。

記載された実施形態は、ハードウェア、ソフトウェア、ファームウェア、又は、これらの任意の組み合わせを含む任意の適切な形態で実施されてもよい。記載された実施形態は、随意的に、少なくとも部分的に１つ以上のデータプロセッサ及び／又はデジタル信号プロセッサで実行するコンピュータソフトウェアとして実装され得る。任意の実施形態の要素及び構成要素は、任意の適した態様で物理的、機能的及び論理的に実装され得る。実際には、機能は、単一のユニットで、複数のユニットで、又は、他の機能ユニットの一部として実装されてもよい。したがって、開示された実施形態は、単一のユニットで実装されてもよく、或いは、異なるユニット、回路及び／又はプロセッサ間で物理的及び機能的に分散されてもよい。

本開示を幾つかの実施形態に関連して説明してきたが、本明細書中に記載の特定の形態に限定されることを意図するものではない。更に、特徴が特定の実施形態に関連して説明されているように思われるかもしれないが、当業者であれば分かるように、記載された実施形態の様々な特徴は、技術を実施するのに適した任意の態様で組み合わされてもよい。

Claims (16)

1. 複数の光条件のうちの１つを使用して物体を照らすように構成される垂直共振器面発光レーザと、前記物体の画像を捕捉するように構成されるイメージセンサと、
   前記垂直共振器面発光レーザを制御して、第１の光条件を有する光を使用して前記物体を照らし、
   前記イメージセンサを制御して、前記第１の光条件を有する前記光で前記物体の第１の画像を捕捉し、
   前記垂直共振器面発光レーザを制御して、第２の異なる光条件を有する光で前記物体を照らし、
   前記イメージセンサを制御して、前記第１の光条件を有する前記光で照らされる前記物体の第２の画像を捕捉し、及び、
   前記第１の画像及び前記第２の画像に基づいて前記物体の情報を決定する、
   ように構成される回路と、を備える医用撮像装置。
2. 前記光条件が前記光の波長である請求項１に記載の装置。
3. 前記波長の範囲が６００〜６５０ｎｍである請求項２に記載の装置。
4. 前記第１の光条件が５４０ｎｍの波長である請求項２に記載の装置。
5. 前記物体の前記情報が前記物体の材料であり、前記物体の前記材料は、前記画像中の対応するポイントで前記第１及び第２の画像の輝度を比較することによって決定される、請求項２に記載の装置。
6. 前記光条件が前記光の輝度である請求項１に記載の装置。
7. 前記光条件は、前記垂直共振器面発光レーザから放射される光の角度である請求項１に記載の装置。
8. 前記第１の光条件は、第１の方向から前記物体を照らすことであり、前記第２の光条件は、第２の異なる方向から前記物体を照らすことであり、前記物体の前記情報が前記物体のトポグラフィーであり、前記トポグラフィーがフォトメトリックステレオによって決定される、請求項１に記載の装置。
9. 複数の垂直共振器面発光レーザを備える請求項１に記載の装置。
10. 患者に入るためのチップを備え、前記チップが垂直共振器面発光レーザを備える請求項１に記載の装置。
11. 光を前記イメージセンサに集束させるためのレンズ配列を備え、前記垂直共振器面発光レーザが前記レンズ配列に隣接して位置される請求項１に記載の装置。
12. 前記垂直共振器面発光レーザとは反対側で、前記レンズ配列に隣接して位置される第２の垂直共振器面発光レーザを備える請求項１１に記載の装置。
13. 前記垂直共振器面発光レーザによって放射される前記光の方向を変えるように構成される反射面を有する構造体を備える請求項１に記載の装置。
14. 前記構造体は、前記反射光が前記物体上にわたって走査されるように移動するべく構成されるミラーである請求項１３に記載の装置。
15. 前記制御回路は、前記決定された物体情報を用いて前記物体の画像に注釈を付けるように更に構成される請求項１に記載の装置。
16. 請求項１に記載の装置を備える内視鏡。

Images