JP2020156860A - 脈管認識装置、脈管認識方法および脈管認識システム - Google Patents

Abstract

【課題】術野に現れる脈管を一早く認識する熟練医師の暗黙知と同等の脈管の認識機能をリアルタイムかつ高精度に再現し、切離面に現れる脈管の箇所を報知し、安心安全な手術の提供を支援する。【解決手段】脈管認識装置は、術野を撮像する撮像装置と接続され、撮像装置からの術野の撮像画像を入力する画像入力部と、入力された撮像画像に基づいて、撮像画像内に映る脈管を認識する画像処理部と、認識された前記脈管を教示する情報を撮像画像に重畳した合成画像を生成し、生成された合成画像をモニタに出力する画像出力部と、を備える。【選択図】図１

Description

本開示は、術野を撮像した撮像画像内に映る脈管を認識する脈管認識装置、脈管認識方法および脈管認識システムに関する。

従来、デジタルサブトラクションアンギオグラフィ（ＤＳＡ）において血管造影を行う際、血管に造影剤を注入した後に得られるライブ像の表示だけでは造影剤が希釈されるために血管の観察が困難である。そこで、特許文献１には、血管だけが現れるサブトラクション像と少なくとも骨が現れるマスク像あるいはライブ像とを利用し、サブトラクション像だけを強調処理してサブトラクション像とマスク像あるいはライブ像との加算により、血管と骨との位置関係が明確に判明可能な画像を得る、ＤＳＡ後処理血管部の強調表示装置が開示されている。

特開昭６３−１３９５３２号公報

ここで、上述した血管が組織内で複雑に入り組んで構成される臓器として、例えば肝臓が知られている。肝臓における肝静脈あるいはグリソン鞘は複雑に交差しながら網目状に走行し、その走行パターンは個人個人で異なる。また、手術前のＣＴスキャン（コンピュータ断層診断）あるいはＭＲＩ（磁気共鳴画像）処理では描出が困難な程に細い血管（脈管の一例）が存在し、更に手術中には臓器の変形等によって脈管の位置が微妙に変化することがある。手術中において脈管が切除対象の切離面に現れる予感とその認識力は相当の経験を積んだ熟練医師により培われた観察眼（いわゆる暗黙知）に頼るところが大きく、肝臓等の脈管が複雑に入り組んだ臓器を対象とする手術の難易度が高くなっているという課題があった。

本開示は、上述した従来の状況に鑑みて案出され、術野に現れる脈管を一早く認識する熟練医師の暗黙知と同等の脈管の認識機能をリアルタイムかつ高精度に再現し、切離面に現れる脈管の箇所を報知し、安心安全な手術の提供を支援する脈管認識装置、脈管認識方法および脈管認識システムを提供することを目的とする。

本開示は、術野を撮像する撮像装置と接続される脈管認識装置であって、前記撮像装置からの前記術野の撮像画像を入力する画像入力部と、入力された前記撮像画像に基づいて、前記撮像画像内に映る脈管を認識する画像処理部と、認識された前記脈管を教示する情報を前記撮像画像に重畳した合成画像を生成し、生成された前記合成画像をモニタに出力する画像出力部と、を備える、脈管認識装置を提供する。

また、本開示は、術野を撮像する撮像装置と接続される脈管認識装置における脈管認識方法であって、前記撮像装置からの前記術野の撮像画像を入力するステップと、入力された前記撮像画像に基づいて、前記撮像画像内に映る脈管を認識するステップと、認識された前記脈管を教示する情報を前記撮像画像に重畳した合成画像を生成するステップと、生成された前記合成画像をモニタに出力するステップと、を有する、脈管認識方法を提供する。

また、本開示は、術野を撮像する撮像装置と脈管認識装置とが互いに接続される脈管認識システムであって、前記脈管認識装置は、前記撮像装置からの前記術野の撮像画像を入力し、入力された前記撮像画像に基づいて、前記撮像画像内に映る脈管を認識し、認識された前記脈管を教示する情報を前記撮像画像に重畳した合成画像を生成し、生成された前記合成画像をモニタに出力する、脈管認識システムを提供する。

本開示によれば、術野に現れる脈管を一早く認識する熟練医師の暗黙知と同等の脈管の認識機能をリアルタイムかつ高精度に再現し、切離面に現れる脈管の箇所を報知し、安心安全な手術の提供を支援できる。

実施の形態１に係る医用画像投影システムの概略構成例を示す図 医用画像投影システムの具体的な構成を示す図 実施の形態１に係る医用画像投影システムの動作手順例を示すフローチャート 脈管の画像認識機能により検出された脈管に対し脈管特定画像が投影される臓器の画像を示す図 実施の形態２に係る内視鏡システムの概略構成例を示す図 内視鏡システムの概要を示す図 実施の形態２に係る内視鏡システムの動作手順例を示すフローチャート 実施の形態１の変形例２に係る開腹手術を行う際のシーンを表すシーン判定テーブルの登録内容を示す図 実施の形態１の変形例３に係る脈管特定画像が臓器に重畳して表示されるモニタの画面を示す図 実施の形態１の変形例４に係るＩＣＧ蛍光画像と脈管特定画像とが一部重なって臓器を含む撮像画像に重畳して表示されるモニタの画面を示す図 実施の形態１の変形例５に係るＩＣＧ蛍光画像と脈管特定画像が撮像画像に含まれる臓器と重なる場合、モニタに表示されるＩＣＧ蛍光画像と脈管特定画像を模式的に示す図

以下、適宜図面を参照しながら、本開示に係る脈管認識装置、脈管認識方法および脈管認識システムの構成および動作を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
先ず、実施の形態１に係る脈管認識システムの一例として、医用画像投影システム（ＭＩＰＳ：Medical Imaging Projection System）を例示して説明する。図１は、実施の形態１に係る医用画像投影システム５の概略構成例を示す図である。医用画像投影システム５は、ＩＣＧ（Indocyanine Green）等の蛍光薬剤が集積した腫瘍部の蛍光画像を臓器に直接プロジェクションマッピングし、医師等の術者が術野から目を離すことなく血流域と阻血域の境界をリアルタイムに可視化するシステムである。ここで、脈管は、体内を血液が流れる血管やリンパ液が流れるリンパ管を含む。また、グリソン鞘は、肝臓を流れる血管や胆管を内包する組織である。実施の形態１では、グリソン鞘も、脈管と同様に取り扱うこととする。

医用画像投影システム５は、撮像照射装置２０と、脈管認識装置の一例としてのカメラコントロールユニット１０（ＣＣＵ：Camera Control Unit）と、モニタ３０とを含む構成である。

撮像照射装置２０は、白色光（つまり可視光）を照射して術野を照明し、被検体（例えば人物）の患部（例えば臓器）で反射された反射光を受光して可視光画像を撮像する。撮像照射装置２０は、赤外光を照射して患部等に集積された蛍光薬剤を励起し、蛍光薬剤の蛍光発光により生じた蛍光を含む赤外光を受光して蛍光画像を撮像する。また、撮像照射装置２０は、患部（例えば臓器）に対し、脈管の位置を教示する脈管特定画像を投影する。撮像照射装置２０は、カメラヘッド２１と、プロジェクタ２２と、光源２３とを含む構成である。

撮像装置の一例としてのカメラヘッド２１は、可視光用イメージセンサ２５ＡおよびＩＲカットフィルタ２６Ａを含む可視光センサユニット２４Ａと、赤外光用イメージセンサ２５Ｂおよび可視光カットフィルタ２６Ｂを含む赤外光センサユニット２４Ｂとを含む。

ＩＲカットフィルタ２６Ａは、光源２３から患部（例えば臓器）に照射され、患部で反射されたＩＲの波長帯を有する励起光（ＩＲ光：Infrared Light）を遮断（カット）する。可視光用イメージセンサ２５Ａは、ＩＲカットフィルタ２６Ａを通過した可視光（つまり患部で反射された可視光）を受光し、可視光画像を撮像する。

可視光カットフィルタ２６Ｂは、光源２３から患部（例えば臓器）に照射され、患部で反射された可視光を遮断（カット）する。また、可視光カットフィルタ２６Ｂは、可視光だけでなく、励起光の波長帯域（例えば６９０ｎｍ〜８２０ｎｍ）のＩＲ光を遮断（カット）する。赤外光用イメージセンサ２５Ｂは、可視光カットフィルタ２６Ｂを通過した蛍光（つまり、患部に集積した蛍光薬剤の蛍光発光に基づいて発した蛍光）を受光し、蛍光画像を撮像する。

カメラヘッド２１は、例えば可視光画像と蛍光画像とを時分割で撮像する。光源２３が白色光を発光する時、カメラヘッド２１は、光学フィルタをＩＲカットフィルタ２６Ａに切り替える。この時、可視光用イメージセンサ２５Ａは、ＩＲカットフィルタ２６Ａを通過した可視光を受光して可視光画像を撮像する。

また、光源２３が赤外光を発光する時、カメラヘッド２１は、光学フィルタを可視光カットフィルタ２６Ｂに切り替える。この時、赤外光用イメージセンサ２５Ｂは、可視光カットフィルタ２６Ｂを通過した蛍光（上述参照）を受光して蛍光画像を撮像する。

なお、カメラヘッド２１は、ＩＲカットフィルタ２６Ａと可視光カットフィルタ２６Ｂを併用できる構成である場合、可視光画像と蛍光画像を同時に撮像できる。また、可視光用イメージセンサ２５Ａおよび赤外光用イメージセンサ２５Ｂを構成するイメージセンサは、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）が用いられるが、ＣＣＤ（Charged Coupled Device）が用いられてもよい。

光源２３は、蛍光薬剤（例えばインドシアニングリーン）を励起するためのＩＲ帯の励起光（例えば波長７６０ｎｍの光）を照射する。また、光源２３は、白色光（例えば波長７００ｎｍ以下の光）を照射する。光源２３は、ＩＲ励起光と白色光を時分割であるいは同時に発光可能である。

プロジェクタ２２は、カメラヘッド２１により撮像された患部の撮像画像内に脈管が検出および認識された場合に、脈管の形状を教示する（言い換えれば、特徴付ける）ための脈管特定画像を生成し、その脈管特定画像に対応する投影光を術野内の患部に投影する。なお、プロジェクタ２２は、脈管特定画像をカメラコントロールユニット１０から取得してもよい。このとき、プロジェクタ２２は、脈管特定画像の位置が患部の表面に現れた脈管の位置と一致、もしくは脈管特定画像が脈管の外形状を覆うように、脈管特定画像に対応する投影光を投影する。以下、脈管特定画像に対応する投影光の投影を、単に、脈管特定画像の投影と称する。プロジェクタ２２内の構成は周知のプロジェクタの構成と同一でよいため、詳細な説明は省略するが、プロジェクタ２２は投影光を投影するための投影光源および投影光学系と、脈管特定画像を生成するための画像形成部とを含む。プロジェクタ２２は、例えばＤＬＰ（Digital Light Processing）方式、３ＬＣＤ（Liquid Crystal Display）方式、ＬＣＯＳ（Liquid Crystal On Silicon）方式等、いずれの方式を採用したプロジェクタでよい。

カメラコントロールユニット１０は、撮像照射装置２０、モニタ３０およびマウス４５（図２参照）との間で電気的に接続され、これらの装置の動作を統括的に制御する。カメラコントロールユニット１０は、画像入力部１１と、画像処理部１２と、画像出力部１３とを含む。

画像入力部１１は、カメラヘッド２１により撮像された手術時の撮像画像のデータを入力する。画像入力部１１は、専用の画像入力インターフェースの他、映像データを高速に転送可能なＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）あるいはＵＳＢ（Universal Serial Bus） Ｔｙｐｅ−Ｃ等をインターフェースでもよい。

カメラコントロールユニット１０は、プロセッサおよび内蔵メモリを有し、プロセッサが内蔵メモリに記憶されたプログラムを実行することで、画像処理部１２および画像出力部１３の機能を具体的に実現する。プロセッサは、画像処理に適したＧＰＵ（Graphical Processing Unit）でよい。なお、画像処理部１２は、ＧＰＵの代わりに、ＭＰＵ（Micro Processing Unit）、ＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）等で設計された専用の電子回路や、ＦＰＧＡ（Field Programmable Gate Array）等で再構成可能に設計された電子回路で構成されてもよい。

画像処理部１２は、人工知能（ＡＩ：Artificial Intelligent）を搭載し、画像入力部１１により入力された撮像画像内に映る脈管を検出および認識するための画像認識機能を有する。画像処理部１２は、人工知能が搭載された学習済みモデルを用いて、上述した画像認識機能を実現可能である。学習済みモデルは、医用画像投影システム５の実運用の開始前に予め生成される。学習済みモデルの生成手順は、次のような手順で行われる。

先ず、医用画像投影システム５のユーザ（例えば管理者あるいは運営者）により、手術時の撮像映像のデータが用意される。なお、この撮像映像のデータには、医師により、それぞれの撮像映像内に映る臓器等の箇所の名称等を含む所見が音声で吹き込まれて説明された音声のデータも含まれている。例えば、１症例当たり１０００枚程度の撮像画像が使用されてそれぞれの撮像画像内に映る臓器の名称等を含む所見が音声で説明されており、１００症例で計１０万枚程の撮像画像に対する所見が準備される。

医用画像投影システム５のユーザ（上述参照）は、取得された撮像映像の中で医師により説明された所見の音声を参考にして、個々の撮像画像中において検出されるべき脈管に、その脈管を教示する情報（例えば枠画像）を付与する等のアノテーション作業を行い、アノテーション作業が行われた個々の撮像画像のデータを教師データとして準備する。これにより、例えば撮像画像内に映る脈管を検出および認識するための数多くの教示データが用意されたことになる。

ここで、画像処理部１２は、上述したように事前に用意された数多くの教師データと手術時の撮像映像のデータとを入力して、ディープラーニング（深層学習）等の機械学習を行う。この機械学習では、ディープラーニングを実行するための学習済みモデルを構成するニューラルネットワークの各層（入力層、中間層、出力層）のニューロン間の重み付け係数が、手術時の撮像画像内に映る脈管を的確に検出および認識できるように、最適化される。

画像処理部１２は、上述した機械学習の結果、脈管の検出および認識に適した学習済みモデルを生成する。画像処理部１２は、この学習済みモデルを用いて、手術時に画像入力部１１から入力された撮像画像内に映り得る脈管の画像認識処理を行い、検出された脈管を囲む領域を色付けして脈管特定画像を生成する。なお、この脈管特定画像は、画像出力部１３により、手術時の撮像画像に重畳される。また、画像処理部１２は、検出された脈管の画像認識処理の結果（例えば適合確率）を評価（スコア化）し、この評価結果を用いてリアルタイムで機械学習によって学習済みモデルを更新してもよい。

画像出力部１３は、画像処理部１２により生成された脈管特定画像を、画像入力部１１から入力された手術時の撮像画像に重畳した合成画像を生成する。画像出力部１３は、合成画像のデータをモニタ３０に送信する。この合成画像データは、手術時の撮像画像と脈管特定画像との他に、脈管の合成画像中の位置情報と脈管の領域を教示するための色情報とを更に含む。なお、画像出力部１３は、上述した合成画像のデータの他に、脈管に関連するテキストデータを含めて送信してもよい。テキストデータは、例えば脈管の画像認識結果の評価値（スコア値）や臓器名称等を含んでよい。

また、画像出力部１３は、上述した合成画像のデータおよび関連するテキストデータをプロジェクタ２２に送信する。なお、画像出力部１３は、合成画像のデータおよび関連するテキストデータの代わりに、画像処理部１２により生成された脈管特定画像をプロジェクタ２２に出力してもよい。プロジェクタ２２は、画像出力部１３から送信された合成画像のデータに含まれる脈管の撮像画像内に映る位置情報を基に、手術時の術野内の患部に現れる脈管の位置と一致するように（つまり脈管と重なるように）脈管特定画像を投影する。脈管特定画像の色情報として、例えば単色の緑色が用いられる。なお、単色の場合、黄色だと術野内で見分けにくく、また、赤色だと臓器や血の色と区別しにくいので、黄色および赤色は用いられない方が好ましい。ここでは、緑色が用いられる。なお、脈管特定画像の色情報として、医師等が見た目で瞬時に区別し易くなるように撮像画像の背景色と補色の関係にある色が用いられてもよい。

モニタ３０は、画像出力部１３からの合成画像（つまり、撮像画像に脈管特定画像が重畳された合成画像）のデータを表示する。モニタ３０は、例えば液晶ディスプレイまたは有機ＥＬ（Electroluminescence）ディスプレイで構成され、画像を表示する表示面を有する。

図２は、医用画像投影システム５の具体的な構成を示す図である。医用画像投影システム５は、例えば病院の手術室に設置される。手術室では、手術台１１０の上に仰向けに寝ている状態の患者ｈｍに対し、開腹手術が行われている。撮像照射装置２０は、患者ｈｍの開腹されている部位を含む術野１３０（例えば患者の患部）に向けて白色光、励起光および投影光を照射し、また、術野１３０を撮像する。医用画像投影システム５は、図１に示した撮像照射装置２０、カメラコントロールユニット１０およびモニタ３０の他、医師等のユーザが操作可能なマウス４５を含む。

撮像照射装置２０は、図１に示すカメラヘッド２１、プロジェクタ２２および光源２３の他、光学部２８を有する。光学部２８は、カメラヘッド２１とプロジェクタ２２とに対向して配置される。光学部２８は、術野からカメラヘッド２１に向かう可視光および蛍光を透過し、一方、プロジェクタ２２から照射された投影光を反射して術野に投影する。光学部２８は、カメラヘッド２１に向かう可視光および蛍光の光軸と、プロジェクタ２２から術野に向けて照射された投影光の光軸とが一致するように調整される。カメラヘッド２１の光軸とプロジェクタ２２の光軸を一致させた状態において、カメラコントロールユニット１０は、カメラヘッド２１による撮像画像に含まれる脈管の位置を、例えばカメラヘッド２１の光軸を中心とする座標で表し、この座標情報を脈管特定画像の色情報とともにプロジェクタ２２に送信する。プロジェクタ２２は、受信された座標情報の位置に脈管特定画像を投影する。これにより、プロジェクタ２２は、術野内にある脈管を脈管特定画像でマッピング（投影）できる。

マウス４５は、カメラコントロールユニット１０に対し、術者等による操作を受け付ける入力装置である。なお、入力装置としては、キーボード、タッチパッド、タッチパネル、ボタン、スイッチ等でもよい。術者等は、例えば手術中、カメラヘッド２１による撮像画像をモニタ３０に表示し、手術の状況を視認する。

次に、実施の形態１に係る医用画像投影システム５の動作を示す。

図３は、実施の形態１に係る医用画像投影システム５の動作手順例を示すフローチャートである。この動作は、医師等の術者が、カメラコントロールユニット１０に対し、脈管の画像認識機能を起動させる場合に実行される。

図３において、画像入力部１１は、カメラヘッド２１が術野を被写体として撮像した可視光画像を取得する（Ｓ１）。画像処理部１２は、脈管の画像認識機能（つまり、上述したＡＩを用いた画像認識機能を実現可能な学習済みモデル）を用いて、可視光画像を解析する（Ｓ２）。画像処理部１２は、画像解析の結果、脈管を検出したか否かを判別する（Ｓ３）。

脈管を検出した場合（Ｓ３、ＹＥＳ）、画像出力部１３は、プロジェクタ２２に脈管画像投影指示を送信する（Ｓ４）。脈管画像投影指示は、撮像画像中の脈管の位置情報および脈管に重畳される脈管特定画像を含む。脈管特定画像は、撮像画像に含まれる脈管の外形を表す領域を特定色で塗りつぶした色画像である。更に、画像出力部１３は、画像入力部１１から入力された撮像画像に、画像処理部１２により検出および認識された脈管に対応する脈管特定画像を重畳した合成画像を生成する（Ｓ５）。画像出力部１３は、この合成画像をモニタ３０に出力する（Ｓ６）。

一方、画像処理部１２が脈管を検出していない場合（Ｓ３、ＮＯ）、画像出力部１３は、カメラヘッド２１により撮像された可視光画像（つまり、画像入力部１１から入力された撮像画像）をそのままモニタ３０に出力する（Ｓ７）。ステップＳ６，Ｓ７の処理後、カメラコントロールユニット１０は、図３に示す動作を終了する。なお、図３に示す動作は、医師等の術者が、カメラコントロールユニット１０に対し、脈管の画像認識機能を停止させるまで、繰り返される。

図４は、脈管の画像認識機能により検出された脈管１００に対し脈管特定画像ｍｇが投影される臓器２００の画像を示す図である。この臓器２００の画像は、モニタ３０に映し出される。なお、この臓器２００の画像は、医師が術野で目視する臓器の画像であってもよい。脈管の画像認識機能が停止している場合、脈管特定画像は生成されないため、臓器２００の画像は画像入力部１１から入力された撮像画像のまま特に何も変化しない。脈管の画像認識機能が起動し、脈管１００が検出された場合、臓器２００の画像には、脈管の領域（外形）を表す脈管特定画像ｍｇが重畳される。ここでは、脈管として取り扱われるグリソン鞘が現れている。また、脈管特定画像ｍｇは、脈管１００の外形と同じ輪郭を持つ着色（例えば、緑色）画像である。なお、脈管特定画像は、黄色系および赤色系の色を除く任意の色でよい。

このように、実施の形態１に係る医用画像投影システム５は、プロジェクションマッピングによりＩＣＧ蛍光画像を臓器に投影する。医師等の術者は、術野から目を離すことなく、脈管と阻血域の境界をリアルタイムで可視化できる。医用画像投影システム５は、カメラコントロールユニット１０が脈管の画像認識機能を保持する人工知能（言い換えると、画像処理部１２）を搭載することで、熟練医師と同等の判断レベルで術野内の脈管を的確に検出かつ認識でき、周囲の術者等に把握させることができるように術野に対して表示できる。従って、安心安全な手術のナビゲーションが可能である。

以上により、実施の形態１では、カメラコントロールユニット１０は、術野を撮像するカメラヘッド２１と接続される。カメラコントロールユニット１０は、カメラヘッド２１からの術野の撮像画像を入力する。カメラコントロールユニット１０は、入力された撮像画像に基づいて、撮像画像内に映る脈管を認識する。カメラコントロールユニット１０は、認識された脈管を表す脈管特定画像（脈管を教示する情報の一例）を撮像画像に重畳した合成画像を生成し、生成された合成画像をモニタ３０に出力する。

これにより、医用画像投影システム５は、例えば手術時に術野を撮像するカメラヘッド２１により撮像された撮像画像内に現れる脈管を一早く認識する熟練医師の暗黙知と同等の認識機能をリアルタイムかつ高精度に再現できる。従って、医用画像投影システム５は、術野内の腫瘍部等の切離面に現れる脈管の箇所を的確に医師等の術者に対して報知でき、安心安全な手術の提供を支援できる。

また、カメラコントロールユニット１０は、術野に投影可能に配置されたプロジェクタ２２と接続される。画像出力部１３は、撮像画像ＧＺ内の脈管の位置情報と脈管特定画像とを含む脈管画像投影指示を生成してプロジェクタ２２に送る。これにより、術者等は、モニタを見ることなく、術野において脈管を視認できる。

また、画像処理部１２は、術野の撮像画像内に映る複数枚の脈管の教師データを用いた機械学習に基づいて生成された学習済みモデルを用いて、脈管を認識する。これにより、カメラコントロールユニット１０は、学習によって脈管の検出精度を向上できる。

また、画像入力部１１は、撮像画像として可視光画像を入力する。画像処理部１２は、可視光画像に基づいて、脈管を認識する。学習済みモデルは、上述した医師等のアノテーション作業により、可視光画像内に映る脈管を検出および認識可能である。これにより、カメラコントロールユニット１０は、仮にＩＣＧ等の蛍光薬剤の蛍光発光に基づく蛍光（言い換えると、腫瘍部等の患部）が撮像されていない状況であっても、術野を明るく照らす白色光の撮像に基づいて得られる可視光画像から、脈管を的確に検出および認識できる。従って、医用画像投影システム５の構成が簡単になり、コストの削減を図ることができる。

（実施の形態２）
次に、実施の形態２に係る脈管認識システムの一例として、内視鏡システムを例示して説明する。図５は、実施の形態２に係る内視鏡システム４０の概略構成例を示す図である。

内視鏡システム４０は、内視鏡５０と、脈管認識装置の一例としてのカメラコントロールユニット６０と、光源５３と、モニタ８０とを含む構成である。

内視鏡５０は、例えば医療用の硬性内視鏡である。カメラコントロールユニット６０は、被検体（例えば人物）の観察対象である患部（例えば人体の皮膚、人体内部の臓器壁等）に挿入された内視鏡５０により撮像された撮像画像（例えば、静止画もしくは動画）に対して所定の画像処理を施し、画像処理後の撮像画像内に映る脈管を検出する。カメラコントロールユニット６０は、画像処理後の撮像画像に、検出された脈管画像を重畳した合成画像を生成してモニタ８０に出力する。モニタ８０は、カメラコントロールユニット６０から出力された合成画像を表示する。

内視鏡５０は、白色光（つまり可視光）を照射して術野を照明し、被検体（例えば人物）の患部（例えば臓器）で反射された反射光を受光して可視光画像を撮像する。内視鏡５０は、赤外光を照射して患部等に集積された蛍光薬剤を励起し、蛍光薬剤の蛍光発光により生じた蛍光を含む赤外光を受光して蛍光画像を撮像する。内視鏡５０は、内視鏡ヘッド５１を含む。

内視鏡ヘッド５１は、可視光用イメージセンサ５４ＡおよびＩＲカットフィルタ５６Ａを含む可視光センサユニット５１Ａと、赤外光用イメージセンサ５４Ｂおよび可視光カットフィルタ５６Ｂを含む赤外光センサユニット５１Ｂとを含む。可視光用イメージセンサは可視光用センサと称してもよい。同様に、赤外光用イメージセンサは赤外光用センサと称してもよい。

ＩＲカットフィルタ５６Ａは、光源５３から患部（例えば臓器）に照射され、患部で反射されたＩＲの波長帯を有する励起光を遮断（カット）する。可視光用イメージセンサ５４Ａは、ＩＲカットフィルタ５６Ａを通過した可視光（つまり患部で反射された可視光）を受光し、可視光画像を撮像する。

可視光カットフィルタ５６Ｂは、光源５３から患部（例えば臓器）に照射され、患部で反射された可視光を遮断（カット）する。また、可視光カットフィルタ５６Ｂは、可視光だけでなく、励起光の波長帯域（例えば６９０ｎｍ〜８２０ｎｍ）のＩＲ光を遮断（カット）する。赤外光用イメージセンサ５４Ｂは、可視光カットフィルタ５６Ｂを通過した蛍光（つまり、患部に集積した蛍光薬剤の蛍光発光に基づいて発した蛍光）を受光し、蛍光画像を撮像する。

内視鏡ヘッド５１は、例えば可視光画像と蛍光画像とを時分割で撮像する。光源５３が白色光を発光する時、内視鏡ヘッド５１は、光学フィルタをＩＲカットフィルタ５６Ａに切り替える。この時、可視光用イメージセンサ５４Ａは、ＩＲカットフィルタ５６Ａを通過した可視光を受光して可視光画像を撮像する。

また、光源５３が赤外光を発光する時、内視鏡ヘッド５１は、光学フィルタを可視光カットフィルタ５６Ｂに切り替える。この時、赤外光用イメージセンサ５４Ｂは、可視光カットフィルタ５６Ｂを通過した蛍光（上述参照）を受光して蛍光画像を撮像する。

なお、内視鏡ヘッド５１は、ＩＲカットフィルタ５６Ａと可視光カットフィルタ５６Ｂを併用できる構成である場合、可視光画像と蛍光画像を同時に撮像できる。また、可視光用イメージセンサ２５Ａおよび赤外光用イメージセンサ２５Ｂを構成するイメージセンサは、例えばＣＭＯＳが用いられるが、ＣＣＤが用いられてもよい。

光源５３は、蛍光薬剤（例えばインドシアニングリーンを励起するためのＩＲ帯の励起光（例えば波長７６０ｎｍの光）を照射する。また、光源５３は、白色光（例えば波長７００ｎｍ以下の光）を照射する。光源５３は、ＩＲ励起光と白色光を時分割であるいは同時に発光可能である。

カメラコントロールユニット６０は、内視鏡ヘッド５１、光源５３およびモニタ８０との間で電気的に接続され、これらの装置の動作を統括的に制御する。カメラコントロールユニット６０は、画像入力部６１と、画像処理部６２と、画像出力部６３とを含む。

画像入力部６１は、内視鏡ヘッド５１により撮像された手術時の撮像画像のデータを入力する。画像入力部６１は、専用の画像入力インターフェースの他、映像データを高速に転送可能なＨＤＭＩ（登録商標）やＵＳＢ Ｔｙｐｅ−Ｃ等をインターフェースでもよい。

カメラコントロールユニット６０は、プロセッサおよび内蔵メモリを有し、プロセッサが内蔵メモリに記憶されたプログラムを実行することで、画像処理部６２および画像出力部６３の機能を具体的に実現する。プロセッサは、画像処理に適したＧＰＵでよい。なお、画像処理部６２は、ＧＰＵの代わりに、ＭＰＵ、ＣＰＵ、ＡＳＩＣ等で設計された専用の電子回路や、ＦＰＧＡ等で再構成可能に設計された電子回路で構成されてもよい。

画像処理部６２は、人工知能（ＡＩ、実施の形態１参照）を搭載し、画像入力部６１により入力された撮像画像内に映る脈管を検出および認識するための画像認識機能を有する。画像処理部６２は、人工知能が搭載された学習済みモデルを用いて、実施の形態１と同様に上述した画像認識機能を実現可能である。学習済みモデルは、内視鏡システム４０の実運用の開始前に予め生成される。学習済みモデルの生成手順は、実施の形態１を参照して説明した通りであるため、ここでは説明を省略する。

画像処理部６２は、上述した学習済みモデルを用いて、手術時に画像入力部６１から入力された撮像画像内に映り得る脈管の画像認識処理を行い、検出された脈管を囲む領域を色付けして脈管特定画像を生成する。なお、この脈管特定画像は、画像出力部６３により、手術時の撮像画像に重畳される。また、画像処理部６２は、検出された脈管の画像認識処理の結果（例えば適合確率）を評価（スコア化）し、この評価結果を用いてリアルタイムで機械学習によって学習済みモデルを更新してもよい。

画像出力部６３は、画像処理部６２により生成された脈管特定画像を、画像入力部６１から入力された手術時の撮像画像に重畳した合成画像を生成する。画像出力部６３は、合成画像のデータをモニタ３０に送信する。この合成画像データは、手術時の撮像画像と脈管特定画像との他に、脈管の合成画像中の位置情報と脈管の領域を教示するための色情報とを更に含む。なお、画像出力部６３は、上述した合成画像のデータの他に、脈管に関連するテキストデータを含めて送信してもよい。テキストデータは、例えば脈管の画像認識結果の評価値（スコア値）や臓器名称等を含んでよい。

モニタ８０は、画像出力部６３からの合成画像（つまり、撮像画像に脈管特定画像が重畳された合成画像）のデータを表示する。モニタ８０は、例えば液晶ディスプレイまたは有機ＥＬディスプレイで構成され、画像を表示する表示面を有する。

図６は、内視鏡システム４０の概要を示す図である。内視鏡システム４０は、内視鏡５０と、カメラコントロールユニット６０と、モニタ８０と、光源５３とを含む。

カメラコントロールユニット６０は、内視鏡５０から伝送ケーブルを介して入力される撮像画像を画像処理し、画像処理後の撮像画像を生成する。カメラコントロールユニット６０は、光源駆動ケーブル３１４を介して、第１励起光源３２５および第２励起光源３２７とそれぞれ接続されている。カメラコントロールユニット６０は、光源駆動ケーブルを介して、第１励起光源を駆動するための制御信号を光源駆動回路３６５において生成して第１励起光源３２５に出力する。また、カメラコントロールユニット６０は、光源駆動ケーブルを介して、第２励起光源３２７を駆動するための制御信号を光源駆動回路３６５において生成して第２励起光源３２７に出力する。

モニタ８０は、カメラコントロールユニット６０から出力される撮像画像を表示する。モニタ８０は、例えば、ＬＣＤ（Liquid Crystal Display）あるいはＣＲＴ（Cathode Ray Tube）等の表示デバイスを有する。実施の形態２に係る内視鏡システム４０において、モニタ８０は、照射された可視光に基づいて撮像された可視光画像と、照射された励起光により発生した蛍光に基づいて撮像された蛍光画像とを表示する。

光源５３は、第１励起光源３２５と、第２励起光源３２７と、合波用プリズム３３５と、光ファイバ３２９と、挿入部３３１と、蛍光体３３３と、を主要な構成部材として有する。

第１励起光源３２５は、例えばＬＥＤ（Light Emission Diode）からの光に比べて半値幅が１／１０程度のレーザ光を照射可能なレーザダイオード（Laser Diode）等の半導体レーザを用いて構成される。第１励起光源３２５は、蛍光体３３３を励起して擬似的に白色光を生成するための狭帯域の青色領域の光（例えば３８０〜４５０ｎｍの波長帯域の波長を有する光）を照射出力する。

第２励起光源３２７は、例えばＬＥＤからの光に比べて半値幅が１／１０程度のレーザ光を照射可能なレーザダイオード等の半導体レーザを用いて構成される。第２励起光源３２７は、第１励起光源３２５から照射される光の波長帯と異なる狭帯域の波長帯の光を照射出力する。即ち、第２励起光源３２７は、内視鏡手術もしくは内視鏡検査の前に予め被検体の患部に投与される蛍光薬剤を励起するための赤外領域の光（例えば６９０〜８２０ｎｍの波長帯域の波長を有する光）を照射出力する。

合波用プリズム３３５は、第１励起光源３２５から照射される光および第２励起光源３２７から照射される光をそれぞれ同一の光ファイバ３２９に導光する。合波用プリズム３３５は、青色領域の光と赤外領域の光とを多重化する。

光源５３は、合波用プリズム３３５により多重化された青色領域の光と赤外領域の光とを光ファイバ３２９の光入射端から入射させる。合波用プリズム３３５と光ファイバ３２９との間には、集光レンズ３４１が設けられる。

光ファイバ３２９は、例えば１本の光ファイバ素線とすることができる。また、光ファイバ３２９には、複数本の光ファイバ素線を束ねたバンドルファイバが用いられてもよい。

挿入部３３１は、光ファイバ３２９を挿通する。挿入部３３１には、この他、伝送ケーブル３２３が挿通される。挿入部３３１は、例えば、被検体の体腔に挿入される内視鏡５０の挿入部分となる。挿入部３３１は、筒状の硬性部材となる。

挿入部３３１の先端面には、撮像窓が配置される。撮像窓は、光学ガラスあるいは光学プラスチック等の光学材料を含んで形成され、被写体（例えば、被検体あるいは被検体内の患部）からの光を入射させる。また、挿入部３３１の先端面には、照明窓が配置される。照明窓は、光学ガラスあるいは光学プラスチック等の光学材料を含んで形成され、光ファイバ３２９の光出射端からの照明光を出射する。

次に、実施の形態２に係る内視鏡システム４０の動作を示す。

図７は、実施の形態２に係る内視鏡システム４０の動作手順例を示すフローチャートである。この動作は、医師等の術者が、カメラコントロールユニット６０に対し、脈管の画像認識機能を起動させる場合に実行される。

図７において、画像入力部６１は、内視鏡ヘッド５１が術野を被写体として撮像した可視光画像を取得する（Ｓ１１）。画像処理部６２は、脈管の画像認識機能（つまり、上述したＡＩを用いた画像認識機能を実現可能な学習済みモデル）を用いて、可視光画像を解析する（Ｓ１２）。画像処理部６２は、画像解析の結果、脈管を検出したか否かを判別する（Ｓ１３）。

脈管を検出した場合（Ｓ１３、ＹＥＳ）、画像出力部６３は、画像入力部６１から入力された撮像画像に、画像処理部６２により検出および認識された脈管に対応する脈管特定画像を重畳した合成画像を生成する（Ｓ１４）。画像出力部６３は、合成画像をモニタ８０に出力する（Ｓ１５）。

一方、画像処理部６２が脈管を検出していない場合（Ｓ１３、ＮＯ）、画像出力部６３は、内視鏡ヘッド５１により撮像された可視光画像（つまり、画像入力部６１から入力された撮像画像）をそのままモニタ８０に出力する（Ｓ１６）。この後、カメラコントロールユニット１０は、図７に示す動作を終了する。なお、図７に示す動作は、医師等の術者が、カメラコントロールユニット１０に対し、脈管の画像認識機能を停止させるまで、繰り返される。

このように、実施の形態２に係る内視鏡システム４０は、内視鏡５０により撮像された被検体内の撮像画像をカメラコントロールユニット６０に接続することで、モニタ８０に脈管の所在を的確に表示できる。また、カメラコントロールユニット６０が多くの病院に既設の内視鏡システム４０に接続できるので、内視鏡システム４０は、多くの病院施設で利用可能となって汎用性が高まる。

（実施の形態１の変形例１）
実施の形態１に係る医用画像投影システム５の使用時に、例えばカメラヘッド２１により撮像される撮像映像には医師等の術者の頭が映ってしまうと、施術される部位がモニタ３０に映らない場合がある。そこで、実施の形態１の変形例１では、医師等の術者の頭が撮像されたことが検出された時、医用画像投影システム５は、アラームを発報し、医師等の術者にその旨を知らせてもよい。例えば、カメラコントロールユニット１０は、スピーカを内蔵し、アラーム音をこのスピーカから出力する。アラーム音は、医師等の術者等に施術される腫瘍部等の部位が映っていない状況を知らせるための音であるので、「ピッ」等の注意を促す音であってもよいが、「メロディー」等の耳ざわりのいい音であってもよい。また、アラーム音は、状況を説明する音声であってもよい。

また、カメラコントロールユニット１０は、アラーム音を出力する代わりにあるいは出力するとともに、モニタ３０に既定のアラーム画像を表示し、医師等の術者に施術される腫瘍部等の部位が映っていない状況を知らせてもよい。アラーム画像は、例えば異常を表すマーク、腫瘍部等の部位が映っていない状況を説明するためのテキストであってもよい。この場合、医師等の術者が自身の頭をずらすだけで、モニタ３０に映し出される映像は、施術される部位が的確に映し出された状態に戻る。なお、医師等の術者が頭部をずらす代わりに、手術を補佐する看護師等がカメラヘッド２１の姿勢を変更してもよい。また、映像において、手術に用いられる医療器具が施術される部位に被ってしまう場合も、術者の頭が被ってしまう場合と同様である。この場合、術者が医療器具をずらすだけで、映像は、施術される部位が映し出された状態に戻る。なお、術者が医療器具をずらす代わりに、手術を補佐する看護師等がカメラヘッド２１の姿勢を変更してもよい。

また、医師等の術者の頭や医療器具が被ってしまい、映像に施術される部位が映らない状況の他、カメラヘッド２１による撮像画像の拡大率が低くて臓器を細部まで映し出すことが難しい場合がある。この場合、カメラコントロールユニット１０は、医師等の術者の操作指示に従い、あるいは自動的にカメラヘッド２１の拡大率を変更し、変更された拡大率で撮像し、撮像画像を取得する。カメラコントロールユニット１０は、変更された拡大率による撮像画像に対し、脈管の画像認識機能を実行し、脈管を検出してもよい。

また、カメラヘッド２１で撮像される視野が曇っており、鮮明な映像が得られない場合がある。この場合、カメラコントロールユニット１０は、カメラヘッド２１で撮像される画像に対し、画像処理を施してもよい。例えば、カメラコントロールユニット１０は、撮像画像のホワイトバランスを調整し、白色を抑えるように撮像画像の色調を変更する。また、カメラコントロールユニット１０は、撮像画像の周波数スペクトルにおいて、白色成分を低減させる処理を行う。カメラコントロールユニット１０は、白色が抑えられて鮮明になった画像に対し、脈管の画像認識機能を実行し、脈管を検出してもよい。

（実施の形態１の変形例２）
カメラコントロールユニット１０が脈管の画像認識機能を実行する場合、カメラコントロールユニット１０が実行する処理の負荷が重くなる。また、実施の形態１に係る医用画像投影システム５では、開腹された被検体の術野に対応する部位に脈管投影画像を投影することになるので、患者に対しても相当の負担がかかる。また、施術される部位がマッピングされた状態となるので、医師等の術者は、マッピングされた画像を見続けることで、実際の部位を錯覚してしまうこともあり得る。従って、カメラコントロールユニット１０による脈管の画像認識機能は、施術に必要な場合を除き、停止させておくことが望ましい。

そこで、実施の形態１の変形例２では、カメラコントロールユニット１０は、カメラヘッド２１により撮像された撮像画像を解析することで現時点の施術のシーン（状況）を判定し、その判定されたシーンを基に、脈管の画像認識機能を起動あるいは停止する。図８は、実施の形態１の変形例２に係る開腹手術を行う際のシーンを表すシーン判定テーブルＴｂ１の登録内容を示す図である。

シーン判定テーブルＴｂ１には、Ｎｏ．１〜ＮＯ．９のシーンが登録されている。具体的に、シーンＮｏ．１は、「切開中」のシーンである。シーンＮｏ．２は、「血管確保」のシーンである。シーンＮｏ．３は、「肝臓をはがす（肝冠状間膜等）」のシーンである。シーンＮｏ．４は、「胆嚢摘出」のシーンである。シーンＮｏ．５は、「切除前準備」のシーンである。シーンＮｏ．６は、「切除部マーキング」のシーンである。シーンＮｏ．７は、「切除中」のシーンである。シーンＮｏ．８は、「切除中（休憩）」のシーンである。シーンＮｏ．９は、「切除後」のシーンである。

シーンを判定する情報は、手順、処置および使用器具を含む。例えば、シーンＮｏ．１では、手順は、「切開中」である。処置は、「皮膚を切開（開腹）」である。使用器具は、「メス」である。この場合、脈管が存在する臓器（例えば肝臓）が現れないので、カメラコントロールユニット１０は、脈管の画像認識機能を停止させる。一方、シーンＮｏ．７では、手順は、「切除中」である。処置は、「腫瘍部の摘出のため肝臓を切除」である。使用器具は、「キューサ」である。この場合、脈管が存在する臓器が現れているので、カメラコントロールユニット１０は、脈管の画像認識機能を起動させる。

カメラコントロールユニット１０は、施術を補佐する看護師がカメラコントロールユニット１０に対しシーンＮｏ．を指示操作することで、シーンを判定してもよい。また、カメラコントロールユニット１０，６０は、カメラヘッド２１や内視鏡ヘッド５１によって撮像される映像に映る使用器具によって自動的にシーンを判定してもよい。この場合、カメラコントロールユニット１０，６０は、多くの使用器具を撮像した画像データを蓄積し、これらの画像データに対しディープラーニングによる機械学習を行い、撮像画像に含まれる使用器具からシーンを判定する学習済みモデルを事前に生成しておく。カメラコントロールユニット１０，６０は、この学習済みモデルに対し、カメラヘッド２１や内視鏡ヘッド５１によって撮像される画像データを入力し、使用器具からシーンを判定してもよい。

このように、カメラコントロールユニット１０，６０は、シーンを判定し、シーンに応じて脈管の画像認識機能を起動あるいは停止することができる。従って、カメラコントロールユニット１０，６０は、施術に際し、必要な時にだけ脈管の画像認識機能を実行させることができる。

なお、カメラコントロールユニット１０は、カメラヘッド２１による撮像画像に医療器具が一時的に含まれない状況になる時、脈管の画像認識機能を起動させるシーンであっても、この状況の時は、必要でないとして、脈管の画像認識機能を停止させてもよい。これにより、脈管の画像認識機能の起動・停止をより細かく切り替えることができる。

また、カメラコントロールユニット１０，６０は、シーンの判定以外においても、脈管の画像認識機能を起動あるいは停止させてもよい。例えば、カメラコントロールユニット１０は、カメラヘッド２１の動きを検出し、カメラヘッド２１が動いている場合、脈管の画像認識機能を停止させてもよい。

このように、実施の形態１の変形例２では、画像処理部１２は、入力された撮像画像内に腫瘍部を摘出するための医療器具を検出すると、撮像画像を用いた脈管の画像認識機能を起動する（つまり、認識処理を開始する）。これにより、カメラコントロールユニット１０は、手術の開始に合わせた適切なタイミングで脈管特定画像を表示できる。

また、画像処理部１２は、入力された撮像画像から医療器具を検出しなくなった場合に、脈管の画像認識機能を停止する。これにより、カメラコントロールユニット１０は、手術の終了時、不要となるタイミングで脈管特定画像の表示を消去できる。従って、カメラコントロールユニット１０の負荷を軽減できる。

（実施の形態１の変形例３）
実施の形態１の変形例３では、カメラコントロールユニット１０は、手術の状況に合わせて、脈管特定画像の表示態様を変える。具体的に、カメラコントロールユニット１０は、脈管の発見や処置の状況に応じて、脈管特定画像の表示を変化させる。例えば、カメラコントロールユニット１０は、脈管の画像認識機能により、カメラヘッド２１による撮像画像に含まれる脈管を最初に検出した場合、「第１発見（未確定）」に相応しい脈管特定画像を撮像画像に重畳した合成画像をモニタ３０に表示する。

図９は、実施の形態１の変形例３に係る脈管特定画像が臓器に重畳して表示されるモニタ３０の画面を示す図である。脈管特定画像は、脈管の位置を中心とし、脈管を囲む径を有する円形のマーカｍｋ１である。円形のマーカｍｋ１は、点灯あるいは点滅して表示される。第１発見の段階では、カメラコントロールユニット１０は、円形のマーカｍｋ１を細い紫色の線で描画する。その後、カメラコントロールユニット１０は、脈管の画像認識機能により撮像画像に含まれる脈管を繰り返し検出した場合、検出回数に合わせて円形のマーカｍｋ１をより太い緑色の線で描画してもよい。

また、術者による処置が施された（処置済）場合、例えば腫瘍部が摘出された場合、カメラコントロールユニット１０は、マーカｍｋ１の外形を円形から四角形に変形し、同色あるいは別の色で描画してもよい。ここで、カメラコントロールユニット１０は、「処置済」の判断を、例えば脈管が第１発見されてから、カメラヘッド２１による撮像画像中、鉗子、電気メス、キューサ等が含まれることを確認し、その後、これらの医療器具が含まれなくなったことを確認すると、処置済と判断してもよい。

また、カメラコントロールユニット１０は、人工知能を用いて「処置済」を判断してもよい。カメラコントロールユニット１０は、多く処置済を含む臓器の画像を蓄積し、これらの画像を教師データとして、処置済の臓器についてディープラーニングによる機械学習を行い、撮像画像から処置済の臓器を検出する学習済みモデルを事前に生成しておく。カメラコントロールユニット１０は、この学習済みモデルに対し、カメラヘッド２１による撮像画像のデータを入力して「処置済」を判断してもよい。

また、流血があった場合、カメラコントロールユニット１０は、マーカｍｋ１の外形を円形から三角形に変形したり、あるいはマーカｍｋ１を点滅させたりするように、同色あるいは別の色で描画してもよい。ここで、「流血」の判断は、「処置済」の判断と同様、人工知能を用いてもよい。カメラコントロールユニット１０は、多く流血した臓器の画像を蓄積し、これらの画像を教師データとして、流血した臓器についてディープラーニングによる機械学習を行い、撮像画像から流血した臓器を検出する学習済みモデルを事前に生成しておく。カメラコントロールユニット１０は、この学習済みモデルに対し、カメラヘッドによる撮像画像のデータを入力して「流血」を判断してもよい。

また、カメラコントロールユニット１０は、「流血」の判断を、例えば撮像画像に電気メスが含まれることを確認した後、雑像画像中の赤色成分が急激に増加したことを確認すると、「流血」と判断してもよい。

また、カメラコントロールユニット１０は、時間の結果につれて、マーカｍｋ１の表示形態を変化させてもよい。例えば、カメラコントロールユニット１０は、脈管を発見した直後、マーカｍｋ１を目立つように、例えば輝度を上げて表示する。カメラコントロールユニット１０は、発見後、第１時間が経過すると、マーカｍｋ１を徐々に目立たなくなるように、輝度を下げて表示する。このとき、ほとんどマーカｍｋ１が消える程度にマーカｍｋ１の輝度を下げてもよい。さらに、カメラコントロールユニット１０は、第１時間経過後、さらに第２時間が経過すると、脈管の存在位置を忘れないように、マーカｍｋ１を再び目立つように輝度を上げる。このように、カメラコントロールユニット１０は、術者の状態を考慮し、マーカｍｋ１の表示態様を可変できる。なお、マーカｍｋ１を目立つようにする場合、カメラコントロールユニット１０は、マーカｍｋ１を点滅させてもよい。

また、手術中、術者が患部等の臓器を裏返したり、ずらしたりすることで、一時的に脈管が視野から外れ、一時的に脈管があることを示すマーカｍｋ１が消えることがある。カメラコントロールユニット１０は、既に脈管が検出されている場合、モニタ３０の画面枠（例えば画面の左右上下端）に、脈管検出済みであることを表す矩形の枠画像（例えば黄色の枠画像）ｗｇを常に表示してもよい。矩形の枠画像ｗｇは、点灯あるいは点滅で表示される。なお、カメラコントロールユニット１０は、一時的に脈管があることを示すマーカｍｋ１が消えた場合に限って、矩形の枠画像を表示してもよい。これにより、一時的に脈管があることを示すマーカｍｋ１が消えた状態であっても、モニタ３０の画面枠には、矩形の画像が表示されることから、医師等の術者は、脈管検出済であることを確認できる。

また、カメラコントロールユニット１０は、矩形の枠画像の線幅を、手術の状況、あるいは時間の経過によって変化させてもよい。例えば、カメラコントロールユニット１０は、医師等の術者が電気メスを使用して腫瘍部を切除する場合、矩形の枠画像の幅を広く表示してもよい。また、カメラコントロールユニット１０は、矩形の枠画像の色を黄色から緑色等、他の色に変化させてもよい。また、カメラコントロールユニット１０は、時間の経過と共に、矩形枠画像の幅を徐々に狭くしてもよい。

このように、実施の形態１の変形例３では、画像出力部１３は、画像処理部１２により脈管が検出されると、脈管が検出された旨を示す矩形の枠画像ｗｇ（色付き枠画像）が点滅するように矩形の枠画像ｗｇをモニタ３０に表示させる。これにより、医師等の術者は、脈管の存在に気付くことができる。

また、画像出力部１３は、画像処理部１２により脈管が検出されると、脈管が検出された撮像画像ＧＺ内の位置を中心とした円形のマーカｍｋ１（所定径の色付き円画像）が点滅するように円形のマーカｍｋ１をモニタ３０に表示させる。これにより、医師等の術者は、脈管の位置を把握し易くなる。

（実施の形態１の変形例４）
脈管特定画像とＩＣＧ蛍光画像（つまり、ＩＣＧの蛍光発光に基づいてカメラヘッド２１により撮像される蛍光画像）とが重なってモニタ３０に表示される場合、これらの重なった領域では、医師等の術者は、脈管の位置を判別しにくい。図１０は、実施の形態１の変形例４に係るＩＣＧ蛍光画像ｆｇと脈管特定画像ｍｇとが一部重なって臓器を含む撮像画像ＧＺに重畳して表示されるモニタ３０の画面を示す図である。ここでは、脈管特定画像ｍｇは、緑色に塗り潰した円画像である。ＩＣＧ蛍光画像ｆｇは、青色で表示されるが、その裏側の臓器の色（赤色）と混色し、赤紫色（マゼンタ色）で表現される。

カメラコントロールユニット１０は、撮像画像に対し、緊急度や重要度が高い画像を優先して判別できるように表示する。一例として、カメラコントロールユニット１０は、カメラヘッド２１による撮像画像ＧＺ（可視光画像）、ＩＣＧ蛍光画像ｆｇ、および脈管特定画像ｍｇをモニタ３０に表示する際、これらをそれぞれのレイヤに表示する。例えば、脈管特定画像ｍｇが優先して表示される場合、カメラコントロールユニット１０は、脈管特定画像ｍｇを最上位レイヤに表示し、ＩＣＧ蛍光画像ｆｇを中間レイヤに表示し、撮像画像ＧＺ（可視光画像）を最下位レイヤに表示する。脈管特定画像とＩＣＧ蛍光画像が重ならない領域、つまり、脈管特定画像が可視光画像に重畳して表示される場合、カメラコントロールユニット１０は、脈管特定画像の色を、その裏側である可視光画像（臓器の画像）の色と補色の関係となるように設定する。これにより、術者等は、脈管特定画像を視認し易くなる。なお、脈管特定画像の色は、撮像画像の周囲の背景色（ここでは黒色）と補色の関係となるように設定されてもよい。脈管特定画像の色には、血の色と見分けにくい赤色や目立たない黄色は使用されない。

実施の形態１の変形例４では、カメラコントロールユニット１０は、脈管特定画像ｍｇを最上位レイヤに表示し、ＩＣＧ蛍光画像ｆｇを中間レイヤに表示する。これにより、脈管特定画像ｍｇがＩＣＧ蛍光画像ｆｇの上位レイヤに描画されることで、脈管特定画像ｍｇとＩＣＧ蛍光画像ｆｇが重なった領域においても、医師等の術者は、脈管特定画像ｍｇ、つまり脈管の位置を視認し易い。

なお、カメラコントロールユニット１０は、脈管特定画像とＩＣＧ蛍光画像を、上記レイヤを振り分けることなく、脈管特定画像とＩＣＧ蛍光画像が重なった領域において、脈管特定画像の色を変更する、脈管特定画像を点滅表示する、あるいは脈管の周囲にあるＩＣＧ蛍光画像を表示しない、等の画像処理を施してもよい。カメラコントロールユニット１０は、脈管特定画像の色を変更する場合、ＩＣＧ蛍光画像ｆｇの色と補色となる関係を有する色に変更してもよい。これにより、脈管特定画像ｍｇが判別し易くなる。なお、脈管特定画像の色は、撮像画像ＧＺの背景色と補色となる関係を有する色に変更されてもよい。

このように、実施の形態１の変形例４では、カメラヘッド２１は、術野内の腫瘍部に集積した蛍光薬剤の蛍光発光に基づく蛍光を撮像可能である。画像出力部１３は、術野の撮像画像内においてＩＣＧ蛍光画像ｆｇ（蛍光の撮像に基づく腫瘍部の蛍光画像）と脈管との両方が検出され、かつＩＣＧ蛍光画像ｆｇの一部と脈管特定画像ｍｇの一部（脈管の位置を中心とする所定径の円領域の一部）とが重複する場合、撮像画像ＧＺの背景色の補色を用いて、脈管１００の位置を中心に点滅するように脈管特定画像ｍｇをモニタ３０に表示させる。これにより、カメラコントロールユニット１０は、補色を用いて脈管特定画像を表示することで、撮像画像中にある脈管を目立たせることができる。

（実施の形態１の変形例５）
図１１は、実施の形態１の変形例５に係るＩＣＧ蛍光画像ｆｇと脈管特定画像ｍｇ１が撮像画像ＧＺに含まれる臓器と重なる場合、モニタ３０に表示されるＩＣＧ蛍光画像ｆｇと脈管特定画像ｍｇ１を模式的に示す図である。ここでは、脈管特定画像ｍｇ１は、脈管の外形に略一致する緑色の画像である。ＩＣＧ蛍光画像ｆｇは、青紫色の画像である。また、医療器具であるキューサの位置を特定するキューサ検出画像ｃｇは、青色の円画像である。カメラコントロールユニット１０は、医療器具であるキューサを検出可能である。ここでは、キューサ検出画像ｃｇは、脈管特定画像ｍｇ１を覆うように配置されている場合を想定する。

カメラコントロールユニット１０は、ＩＣＧ蛍光画像ｆｇと、キューサ検出画像ｃｇと、脈管特定画像ｍｇ１とに対し、数式（１）に示す画像処理を施し、画像処理後の画像を臓器を含む撮像画像ＧＺに重畳してモニタ３０に表示する。また、カメラコントロールユニット１０は、この画像処理において、キューサ検出画像ｃｇに対し輪郭抽出を行い、キューサ検出画像ｃｇの輪郭抽出画像ｃｇｓを得ておく。

ＩＣＧ蛍光画像ｆｇ − キューサ検出画像ｃｇ ＋ 脈管特定画像ｍｇ１ ＋ キューサ検出画像ｃｇの輪郭抽出画像ｃｓｇ ……（１）

モニタ３０には、ＩＣＧ蛍光画像ｆｇとキューサ検出画像ｃｇとが重なった領域では、ＩＣＧ蛍光画像ｆｇが中抜きされる。中抜きされた領域に、脈管特定画像ｍｇ１が現われる。従って、ＩＣＧ蛍光画像ｆｇに脈管特定画像ｍｇ１が重なることなく、医師等の術者は、脈管の位置を正確に把握できる。また、ＩＣＧ蛍光画像ｆｇに輪郭抽出画像ｃｓｇが加わることで、ＩＣＧ蛍光画像ｆｇの領域も判別可能である。

実施の形態１の変形例５では、カメラヘッド２１は、術野内の腫瘍部に集積した蛍光薬剤の蛍光発光に基づく蛍光を撮像可能である。画像出力部１３は、術野の撮像画像内においてＩＣＧ蛍光画像ｆｇと脈管との両方が検出され、かつＩＣＧ蛍光画像ｆｇの一部と脈管特定画像ｍｇ１の一部とが重複する場合、脈管の位置の周辺のＩＣＧ蛍光画像ｆｇの一部の領域を除いた領域に脈管特定画像ｍｇ１（所定色の画像の一例）を表示させる。これにより、術者等は、ＩＣＧ蛍光画像と脈管特定画像が重なっても、脈管の位置を見つけ易くなる。

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

例えば、実施の形態１では、医用画像投影システム５は、患部等の臓器において検出された脈管の脈管特定画像を、この臓器の撮像画像に重畳してモニタ３０に表示するとともに、術野に向けて投影する場合を示した。医用画像投影システム５は、脈管の脈管特定画像を臓器の撮像画像に重畳してモニタ３０に表示することなく、術野に向けて投影するだけのシステムであってもよい。

本開示は、術野に現れる脈管を一早く認識する熟練医師の暗黙知と同等の脈管の認識機能をリアルタイムかつ高精度に再現し、切離面に現れる脈管の箇所を報知し、安心安全な手術の提供を支援する脈管認識装置、脈管認識方法および脈管認識システムとして有用である。

５ 医用画像投影システム
１０、６０ カメラコントロールユニット
１１、６１ 画像入力部
１２、６２ 画像処理部
１３、６３ 画像出力部
２１ カメラヘッド
２２ プロジェクタ
２３、５３ 光源
２４Ａ 可視光センサユニット
２４Ｂ 赤外光センサユニット
２５Ａ、５４Ａ 可視光用イメージセンサ
２５Ｂ、５４Ｂ 赤外光用イメージセンサ
２６Ａ、５６Ａ ＩＲカットフィルタ
２６Ｂ、５６Ｂ 可視光カットフィルタ
３０、８０ モニタ
４０ 内視鏡システム
５１ 内視鏡ヘッド
１００ 脈管

Claims (12)

1. 術野を撮像する撮像装置と接続される脈管認識装置であって、
   前記撮像装置からの前記術野の撮像画像を入力する画像入力部と、
   入力された前記撮像画像に基づいて、前記撮像画像内に映る脈管を認識する画像処理部と、
   認識された前記脈管を教示する情報を前記撮像画像に重畳した合成画像を生成し、生成された前記合成画像をモニタに出力する画像出力部と、を備える、
   脈管認識装置。
2. 前記術野に投影可能に配置されたプロジェクタと接続され、
   前記画像出力部は、前記撮像画像内の前記脈管の位置情報と前記脈管を教示する情報とを含む脈管画像投影指示を生成して前記プロジェクタに送る、
   請求項１に記載の脈管認識装置。
3. 前記画像処理部は、術野の撮像画像内に映る複数枚の脈管の教師データを用いた機械学習に基づいて生成された学習済みモデルを用いて、前記脈管を認識する、
   請求項１または２に記載の脈管認識装置。
4. 前記画像入力部は、前記撮像画像として可視光画像を入力し、
   前記画像処理部は、前記可視光画像に基づいて、前記脈管を認識する、
   請求項３に記載の脈管認識装置。
5. 前記画像処理部は、入力された前記撮像画像内に腫瘍部を摘出するための医療器具を検出すると、前記撮像画像を用いた前記脈管の認識処理を開始する、
   請求項１〜４のうちいずれか一項に記載の脈管認識装置。
6. 前記画像処理部は、入力された前記撮像画像から前記医療器具を検出しなくなった場合に、前記認識処理を停止する、
   請求項５に記載の脈管認識装置。
7. 前記画像出力部は、前記画像処理部により前記脈管が認識されると、前記脈管が認識された旨を示す色付き枠画像が点滅するように前記色付き枠画像を前記モニタに表示させる、
   請求項１〜６のうちいずれか一項に記載の脈管認識装置。
8. 前記画像出力部は、前記画像処理部により前記脈管が認識されると、前記脈管が認識された前記撮像画像内の位置を中心とした所定径の色付き円画像が点滅するように前記色付き画像を前記モニタに表示させる、
   請求項１〜６のうちいずれか一項に記載の脈管認識装置。
9. 前記撮像装置は、前記術野内の腫瘍部に集積した蛍光薬剤の蛍光発光に基づく蛍光を撮像可能であり、
   前記画像出力部は、前記術野の撮像画像内において前記蛍光の撮像に基づく前記腫瘍部の蛍光画像と前記脈管との両方が認識され、かつ前記蛍光画像の一部と前記脈管の位置を中心とする所定径の円領域の一部とが重複する場合、前記撮像画像の背景色の補色を用いて、前記脈管の位置を中心とする円領域画像が点滅するように前記円領域画像を前記モニタに表示させる、
   請求項１〜８のうちいずれか一項に記載の脈管認識装置。
10. 前記撮像装置は、前記術野内の腫瘍部に集積した蛍光薬剤の蛍光発光に基づく蛍光を撮像可能であり、
    前記画像出力部は、前記術野の撮像画像内において前記蛍光の撮像に基づく前記腫瘍部の蛍光画像と前記脈管との両方が認識され、かつ前記蛍光画像の一部と前記脈管の位置を中心とする所定径の円領域の一部とが重複する場合、前記脈管の位置の周辺の前記蛍光画像の一部の領域を除いた領域に所定色の画像を表示させる、
    請求項１〜８のうちいずれか一項に記載の脈管認識装置。
11. 術野を撮像する撮像装置と接続される脈管認識装置により実行される脈管認識方法であって、
    前記撮像装置からの前記術野の撮像画像を入力し、
    入力された前記撮像画像に基づいて、前記撮像画像内に映る脈管を認識し、
    認識された前記脈管を教示する情報を前記撮像画像に重畳した合成画像を生成し、
    生成された前記合成画像をモニタに出力する、
    脈管認識方法。
12. 術野を撮像する撮像装置と脈管認識装置とが互いに接続される脈管認識システムであって、
    前記脈管認識装置は、
    前記撮像装置からの前記術野の撮像画像を入力し、
    入力された前記撮像画像に基づいて、前記撮像画像内に映る脈管を認識し、
    認識された前記脈管を教示する情報を前記撮像画像に重畳した合成画像を生成し、生成された前記合成画像をモニタに出力する、
    脈管認識システム。

Images