JP2017157925A - 投影装置及び投影システム - Google Patents

Abstract

【課題】被写体の撮像画像に基づく投影動作を行う投影装置において、精度良く被写体の撮像を行うことができる投影装置を提供する。【解決手段】投影装置（２０）は、光源部（２３０）と、撮像部（２１０）と、投影部（２２０）と、制御部（２５０）とを備える。光源部は、被写体に励起光（３００）を照射する。撮像部は、励起光によって被写体が発する蛍光（３１０）に基づく蛍光画像（ＩＡ）を撮像する。投影部は、蛍光画像に基づく投影画像（Ｇ１３）を被写体に投影する。制御部は、撮像部により撮像された蛍光画像に基づき投影画像を制御する。撮像部は、蛍光画像に加えて、被写体における励起光の照度分布を示す励起光画像（ＩＢ）を撮像する。制御部は、励起光画像に基づいて、被写体における励起光の照度の違いによる影響を、補正前の蛍光画像よりも低減するように蛍光画像を補正する。【選択図】図７

Description

本開示は、被写体の撮像画像に基づく投影動作を行う投影装置及び投影システムに関する。

特許文献１は、医療分野において用いられる光学撮像システムを開示している。特許文献１の光学撮像システムは、術野を撮像する電子撮像装置と、手術中の術野の撮像結果の可視光像を投影するプロジェクタと、電子撮像装置及びプロジェクタの光軸を同一の光軸に揃える光学素子とを備える。特許文献１では、撮像データに対して拡大、縮小、回転及び並進などの変換を行う変換行列を用いて、同一光軸上の撮像画像と投影画像との対応関係を手術前に予め調整することにより、手術時に投影画像を正確に投影するためのキャリブレーションを行っている。

米国特許出願公開第２００８／０００４５３３号明細書

本開示の目的は、被写体の撮像画像に基づく投影動作を行う投影装置において、精度良く被写体の撮像を行うことができる投影装置及び投影システムを提供することである。

本開示における投影装置は、光源部と、撮像部と、投影部と、制御部とを備える。光源部は、被写体に励起光を照射する。撮像部は、励起光によって被写体が発する蛍光に基づく蛍光画像を撮像する。投影部は、蛍光画像に基づく投影画像を被写体に投影する。制御部は、撮像部により撮像された蛍光画像に基づき投影画像を制御する。撮像部は、蛍光画像に加えて、被写体における励起光の照度分布を示す励起光画像を撮像する。制御部は、励起光画像に基づいて、被写体における励起光の照度の違いによる影響を、補正前の蛍光画像よりも低減するように蛍光画像を補正する。

本開示における投影装置及び投影システムによれば、被写体の撮像画像に基づく投影動作を行う投影装置において、精度良く被写体の撮像を行うことができる。

実施の形態１にかかる手術支援システムの構成を示す概略図 手術支援システムにおける撮像照射装置の構成を示すブロック図 撮像照射装置の光学フィルタを説明するための図 手術支援システムにおける投影動作を説明するためのフローチャート 手術支援システムにおける投影動作前の術野の状態を説明するための図 手術支援システムにおける投影動作時の術野の状態を説明するための図 撮像照射装置による補正前の投影画像の表示例を示す図 撮像照射装置による励起光の照射状態を説明するための図 撮像照射装置による補正後の投影画像の表示例を示す図 実施の形態１における輝度補正処理のタイミングを示すタイミングチャート 実施の形態１における輝度補正処理を示すフローチャート 輝度補正処理による画像の補正方法を説明するための図 輝度補正処理における正規化を説明するための図 実施の形態２における輝度補正処理のタイミングを示すタイミングチャート 実施の形態２における輝度補正処理を示すフローチャート

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
１．構成
１−１．手術支援システムの概要
実施の形態１にかかる投影装置を備えた投影システムの一例である手術支援システムの概要を、図１を用いて説明する。図１は、実施の形態１にかかる手術支援システム１００の構成を示す概略図である。

手術支援システム１００は、カメラ２１０、プロジェクタ２２０及び励起光源２３０を備える。手術支援システム１００は、手術室等において医師等が患者に対して行う手術を、投影画像を用いて視覚的にサポートするシステムである。手術支援システム１００を使用する場合に、手術を受ける患者１２０には、予め光感受性物質が投与される。

光感受性物質は、励起光に反応して蛍光を発する物質である。光感受性物質としては、例えばＩＣＧ（インドシアニングリーン）、５−ＡＬＡ（アミノレブリン酸）及びポリフェリンなどが用いられる。本実施形態では、光感受性物質の一例として、ＩＣＧを用いた場合を説明する。ＩＣＧは、波長７８０ｎｍ近傍の赤外領域の励起光が照射されることにより、波長８２０〜８６０ｎｍの赤外領域の蛍光を発する。

光感受性物質は、患者１２０に投与されると、血液又はリンパ液の流れが滞っている患部１３０に蓄積する。このため、励起光の照射に応じて蛍光発光する領域を検出することにより、患部１３０の領域を特定することが可能となる。

ここで、患部１３０が発する蛍光は微弱であったり、蛍光の波長帯が非可視領域又は非可視領域近傍であったりするため、医師等は、術野１３５を目視しても、患部１３０の領域を特定することが困難である。そこで、手術支援システム１００では、励起光源２３０から術野１３５に励起光３００を照射し、カメラ２１０を用いて蛍光３１０を発する患部１３０の領域を特定する。さらに、特定した患部１３０が人間に視認可能となるように、プロジェクタ２２０から患部１３０に可視光の投影光３２０を照射する。これにより、特定した患部１３０の領域を可視化する投影画像が投影され、手術を行う医師等による患部１３０の領域の特定をサポートすることができる。

１−２．手術支援システムの構成
以下、手術支援システム１００の構成について、図１を用いて説明する。手術支援システム１００は、病院の手術室内に配置されて使用される。手術支援システム１００は、撮像照射装置２００と、メモリ２４０と、投影制御装置２５０とを備える。

また、図示していないが、手術支援システム１００は、撮像照射装置２００の配置を変更するための機構、例えば、撮像照射装置２００と機械的に接続された駆動アーム、及び手術支援システム１００の一式を載置する台座のキャスターなどを備える。上記の機構により、撮像照射装置２００は、患者１２０が対置される手術台１１０の鉛直上方に配置される。また、手術台１１０は、高さ及び向きを変更可能な駆動機構を備えてもよい。

撮像照射装置２００は、カメラ２１０、プロジェクタ２２０、及び励起光源２３０が一体的に組み付けられた装置である。撮像照射装置２００は、図１に示すように、ダイクロイックミラー２０１をさらに備える。撮像照射装置２００の構成の詳細については後述する。

メモリ２４０は、投影制御装置２５０が種々の演算を実行する際に、適宜アクセスを行う記憶媒体である。メモリ２４０は、例えばＲＯＭ及びＲＡＭで構成される。

投影制御装置２５０は、手術支援システム１００を構成する各部を統括制御する。投影制御装置２５０は、カメラ２１０、プロジェクタ２２０、励起光源２３０、及びメモリ２４０に電気的に接続され、各部をそれぞれ制御するための制御信号を出力する。投影制御装置２５０は、例えばＣＰＵで構成され、所定のプログラムを実行することによってその機能を実現する。なお、投影制御装置２５０の機能は、専用に設計された電子回路や再構成可能な電子回路（ＦＰＧＡ、又はＡＳＩＣ等）により実現されてもよい。

投影制御装置２５０は、例えば、カメラ２１０による撮像画像に対して種々の画像処理を行って、投影画像を示す映像信号を生成する。投影制御装置２５０は、本開示における制御部の一例である、撮像照射装置２００、メモリ２４０及び投影制御装置２５０は、本実施形態にかかる投影装置２０を構成する。

また、本実施形態において、手術支援システム１００は、表示制御装置１５０と、ディスプレイ１６０と、マウス１７０とを備える。表示制御装置１５０は、例えばＰＣ（パーソナルコンピュータ）で構成され、投影制御装置２５０に接続されている。ディスプレイ１６０は、例えば液晶ディスプレイ又は有機ＥＬディスプレイであり、本開示における表示装置の一例である。

表示制御装置１５０の操作者１４０は、例えば手術中に、カメラ２１０の撮像画像をディスプレイ１６０において確認することができ、撮像画像による画像診断を行うことができる。また、操作者１４０は、投影画像の種々の設定（例えば蛍光の強度分布に対するしきい値）を変更することができる。

１−３．撮像照射装置の構成
次に、撮像照射装置２００の構成の詳細について、図２，３を用いて説明する。図２は、手術支援システムにおける撮像照射装置２００の構成を示すブロック図である。図３は、撮像照射装置２００の光学フィルタ２１３を説明するための図である。

励起光源２３０は、光感受性物質を蛍光発光させるための励起光３００を照射する光源装置である。本実施形態では、光感受性物質としてＩＣＧを用いることから、励起光源２３０は、ＩＣＧの励起波長を含む波長帯（例えば７８０ｎｍ±３０ｎｍ）を有する励起光３００を照射する。励起光源２３０は、投影制御装置２５０からの制御信号に従って、励起光３００の照射のＯＮ／ＯＦＦを切り替える。励起光源２３０は、本開示における光源部の一例である。なお、励起光源２３０は、撮像照射装置２００（或いは投影装置２０）とは別体で構成されてもよい。

カメラ２１０は、患者１２０の術野１３５などの被写体を撮像して撮像画像を生成する。カメラ２１０は、生成した撮像画像を投影制御装置２５０に伝送する。本実施形態では、カメラ２１０として、可視光領域とともにＩＣＧの蛍光８２０ｎｍ〜８６０ｎｍの波長帯の光に基づき撮像可能な赤外カメラを用いる。カメラ２１０は、本実施形態における撮像部の一例である。カメラ２１０は、図２に示すように、撮像素子２１１と、望遠レンズ２１２と、光学フィルタ２１３とを備える。

撮像素子２１１は、例えばＣＣＤイメージセンサ又はＣＭＯＳイメージセンサなどで構成される。撮像素子２１１は、望遠レンズ２１２から入射する光が結像する撮像面を有する。

望遠レンズ２１２は、カメラ２１０の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。望遠レンズ２１２は、カメラ２１０における撮像光学系の一例である。望遠レンズ２１２に代えて、標準レンズ、中望遠レンズ又は超望遠レンズが用いられてもよい。

光学フィルタ２１３は、蛍光透過フィルタ２１３ａ、励起光透過フィルタ２１３ｂ、及びフィルタ切替え機構２１３ｓを備えて構成される。図２に示すように、光学フィルタ２１３は、望遠レンズ２１２の入射面に配置される。

蛍光透過フィルタ２１３ａ及び励起光透過フィルタ２１３ｂは、入射する光のうちで、それぞれ特有の波長帯Ｗａ，Ｗｂの成分を透過し、他の波長帯成分を遮断するバンドパスフィルタである。図３は、励起光３００が有する波長帯Ｗ１、ＩＣＧによる蛍光３１０が有する波長帯Ｗ２、蛍光透過フィルタ２１３ａが透過する波長帯Ｗａ及び励起光透過フィルタ２１３ｂが透過する波長帯Ｗ４をそれぞれ示している。

図３に示すように、蛍光透過フィルタ２１３ａの透過波長帯Ｗａは、励起光の波長帯Ｗ１を含まず、蛍光３１０の波長帯Ｗ２の中心波長ｗ２近傍を含んでいる。これにより、蛍光透過フィルタ２１３ａは、励起光３００を遮断して蛍光３１０を透過する。また、励起光透過フィルタ２１３ｂの透過波長帯Ｗｂは、蛍光３１０の波長帯Ｗ２を含まず、励起光３００の波長帯Ｗ１の中心波長ｗ１近傍を含んでいる。これにより、励起光透過フィルタ２１３ｂは、蛍光３１０を遮断して励起光３００を透過する。

図２に戻り、フィルタ切替え機構２１３ｓは、例えば投影制御装置２５０からの制御信号（フィルタ切替え信号Ｓｆ）に基づき、望遠レンズ２１２への入射光に対して、蛍光透過フィルタ２１３ａと励起光透過フィルタ２１３ｂとを切り替える。フィルタ切替え機構２１３ｓは、例えば各フィルタ２１３ａ，２１３ｂをスライドさせる直動ユニットやアクチュエータ、或いは各フィルタ２１３ａ，２１３ｂを回転させる回転ホイールなどで構成される。本実施形態において、光学フィルタ２１３は、フィルタ切替え機構２１３ｓにより、励起光透過フィルタ２１３ｂを介して励起光３００を透過する第１の状態と、蛍光透過フィルタ２１３ａを介して蛍光３１０を透過する第２の状態とを切り替える。本実施形態では、第２の状態の光学フィルタ２１３は、蛍光透過フィルタ２１３ａにより、励起光を遮断して前記蛍光を透過する。

プロジェクタ２２０は、例えばＤＬＰ方式、３ＬＣＤ方式又はＬＣＯＳ方式などのプロジェクタである。プロジェクタ２２０は、投影制御装置２５０から入力される映像信号に基づく投影画像を可視光で投影するように、投影光３１５を出射する。プロジェクタ２２０は、本実施形態における投影部の一例である。プロジェクタ２２０は、図２に示すように、投影光源２２１と、画像形成部２２２と、投影光学系２２３とを備える。

投影光源２２１は、例えばＬＤ（半導体レーザ）、ＬＥＤ又はハロゲンランプなどで構成される。投影光源２２１は、可視光を画像形成部２２２に照射する。投影光源２２１は、プロジェクタ２２０の投影方式に応じて適宜、単色の光源素子のみを有してもよいし、ＲＧＢ等の複数色の光源素子、或いは白色の光源素子を有してもよい。

画像形成部２２２は、ＤＭＤ又はＬＣＤなどの空間光変調素子を備える。画像形成部２２２は、空間光変調素子における画像形成面に、投影制御装置２５０からの映像信号に基づく画像を形成する。投影光源２２１からの光が、画像形成部２２２に形成された画像に応じて空間的に変調されることにより、投影光３１５が生成される。

投影光学系２２３は、プロジェクタ２２０の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。また、投影光学系２２３には、各種のレンズ位置をシフトするレンズシフト機構が組み込まれていてもよい。

なお、プロジェクタ２２０は、例えば台形補正およびレンズシフト機能などのプロジェクタ２２０特有の機能を実現する投影制御回路を有してもよい。また、上記の各機能は、投影制御装置２５０において実現されてもよい。

また、プロジェクタ２２０は、レーザ走査式であってもよく、走査方向に駆動可能なＭＥＭＳミラー或いはガルバノミラーを備えて構成されてもよい。

ダイクロイックミラー２０１は、入射する光のうちの特定の波長帯成分を透過する一方、その他の波長帯成分を反射する光学特性を有する光学素子である。本実施形態において、ダイクロイックミラー２０１は（ＩＣＧの蛍光を含む）６５０ｎｍを上回る波長帯成分の光を透過し、（可視光を含む）６５０ｎｍを下回る波長帯成分の光を反射する。ダイクロイックミラー２０１は、本実施形態における光学部の一例である。光学部の光学特性は、使用する光感受性物質の蛍光特性に応じて適宜、設定可能である。

図２に示すように、ダイクロイックミラー２０１は、カメラ２１０と、プロジェクタ２２０とのそれぞれに対向して配置される。ダイクロイックミラー２０１は、上記の光学特性により、カメラ２１０の撮像面に向かう蛍光３１０を透過する一方、プロジェクタ２２０から照射された投影光３１５を反射する。反射した投影光３２０は、術野１３５上に照射される。

本実施形態では、ダイクロイックミラー２０１は、術野１３５からの蛍光３１０などのカメラ２１０に入射する入射光の光軸と、術野１３５上に投影画像を投影する投影光３２０の光軸とが、光軸Ｊ１において一致するように導光する。これにより、カメラ２１０の撮像画像に基づく投影画像の位置ずれを低減することができる。

なお、本開示における光軸の一致には、適宜、許容誤差が設定されてもよい。例えば、角度が±５度の範囲内、或いは光軸の間隔が１ｃｍの範囲内の許容誤差において、各光軸が一致してもよい。また、カメラ２１０とプロジェクタ２２０の光軸を一致させなくてもよい。この場合、ダイクロイックミラー２０１を省略してもよい。

２．動作
以下、本実施形態にかかる手術支援システム１００の動作について説明する。

２−１．手術支援システムの基本的な投影動作
手術支援システム１００の基本的な投影動作について、図４，５Ａ，５Ｂを用いて説明する。図４は、手術支援システム１００における基本的な投影動作を説明するためのフローチャートである。図５Ａは、投影動作を行う前の手術支援システム１００における術野１３５の状態を示す。図５Ｂは、図５Ａの術野１３５に対して投影動作を行った状態を示す。

図４のフローチャートは、投影制御装置２５０によって実行される。本フローチャートによる処理は、カメラ２１０において光学フィルタ２１３が蛍光透過フィルタ２１３ａに設定された状態で行われる。

図４のフローチャートにおいて、まず、投影制御装置２５０は、励起光源２３０を駆動して、図５Ａに示すように、励起光３００を術野１３５に照射する（Ｓ１）。励起光３００の照射により、術野１３５における患部１３０が蛍光発光し、患部１３０からの蛍光３１０が撮像照射装置２００に入射する。

撮像照射装置２００において、蛍光３１０は図２に示すように、ダイクロイックミラー２０１を透過し、カメラ２１０の光学フィルタ２１３を透過する。これにより、カメラ２１０は、撮像素子２１１において蛍光３１０を受光する。

次に、投影制御装置２５０は、例えばカメラ２１０を制御して術野１３５を撮像させ、カメラ２１０から撮像画像を取得する（Ｓ２）。撮像画像には、患部１３０が発した蛍光３１０に基づく蛍光発光領域が含まれる。なお、この処理は、所定の周期（例えば１／６０〜１／３０秒）で繰り返し実行される。

次に、投影制御装置２５０は、取得した撮像画像に基づく投影画像を生成するための画像処理を行う（Ｓ３）。投影制御装置２５０は、撮像画像中の蛍光発光領域に対応する画像を生成し、映像信号としてプロジェクタ２２０に出力する。

ステップＳ３の画像処理において、投影制御装置２５０は、例えば、撮像画像における受光強度の分布に対して所定のしきい値に基づき二値化を行い、撮像画像中の蛍光発光領域の領域を抽出する。次いで、投影制御装置２５０は、メモリ２４０に格納された各種パラメータを参照し、抽出した領域を含む画像に対してシフト、回転、及び拡大／縮小などの座標変換、並びに画像の歪み等の補正などを行う。これにより、撮像画像中の蛍光発光領域に応じた特定の領域を表す画像が生成される。

次に、投影制御装置２５０は、生成した映像信号に基づく投影画像を投影するように、プロジェクタ２２０を制御する（Ｓ４）。投影制御装置２５０の制御により、プロジェクタ２２０において、投影制御装置２５０からの映像信号に応じた画像が、画像形成部２２２の画像形成面上に形成される。プロジェクタ２２０は、可視光で画像形成面上の画像を表す投影光３１５を生成するように投影光源２２１を駆動し、投影光学系２２３を介してダイクロイックミラー２０１に投影光３１５を出射する（図２参照）。

ダイクロイックミラー２０１は、図２に示すように、可視光である投影光３１５を反射し、光軸Ｊ１に沿って投影光３２０を出射する。これにより、図５Ｂに示すように、撮像照射装置２００は術野１３５に投影光３２０を照射し、投影画像Ｇ３２０が、術野１３５における患部１３０に投影される。投影画像Ｇ３２０は、例えば単色で一階調の画像である。

以上の処理により、投影制御装置２５０が、カメラ２１０の撮像画像に基づき蛍光発光する患部１３０の領域を特定し、プロジェクタ２２０から可視光の投影画像Ｇ３２０が患部１３０に投影される。これにより、手術支援システム１００において、目視では視認することが困難な患部１３０を可視化することができる。手術支援システム１００により、医師等は患部１３０のリアルタイムの状態を視認することができる。

以上の説明では、投影画像Ｇ３２０が単色で一階調の画像の例を説明した。投影制御装置２５０は、例えば複数のしきい値を用いて撮像画像中の蛍光発光の強度を領域毎に多段階で判定することにより、多階調の投影画像を生成してもよい。また、投影制御装置２５０は、撮像画像における蛍光発光の強度の分布を連続的に再現するように、投影画像を生成してもよい。また、投影画像は、単色に限らず、複数色あるいはフルカラーで生成されてもよい。

２−２．輝度補正について
２−２−１．概要
本実施形態にかかる手術支援システム１００における輝度補正の動作の概要について、図６Ａ，６Ｂ，６Ｃを参照して説明する。図６Ａは、撮像照射装置２００による補正前の投影画像Ｇ１３’の表示例を示す図である。図６Ｂは、撮像照射装置２００による励起光３００の照射状態を説明するための図である。図６Ｃは、撮像照射装置２００による補正後の投影画像Ｇ１３の表示例を示す図である。

図６Ａ〜６Ｃの例においては、肝臓１３が、手術支援システム１００の撮像照射装置２００の被写体である。図６Ａ〜６Ｃの例では、ＩＣＧが肝臓１３の全体に注入され、一様な濃度で蓄積していることとする。また、図６Ａ，６Ｂの投影画像Ｇ１３’，Ｇ１３は、それぞれ肝臓１３の撮像画像における蛍光発光の強度に対して複数のしきい値を用いて、多階調に投影可能になっていることとする。

図６Ａの表示例では、ＩＣＧが肝臓１３の全体に注入されているにも関わらず、投影画像Ｇ１３’において階調が不均一であり、輝度ムラを生じている。図６Ａに示すような輝度ムラは、肝臓１３（被写体）の撮像時に術野１３５に照射される励起光３００の照度の分布に起因する。

励起光３００が照射される肝臓１３表面では、図６Ｂに示すように、撮像照射装置２００から励起光３００を照射する位置及び向き、並びに肝臓１３の立体形状などにより、励起光３００の照度の分布にムラが生じる。すると、肝臓１３において同一の濃度のＩＣＧが蓄積している箇所であっても、蛍光発光の強度が変動してしまう。このため、手術及び画像診断において蛍光発光の強度を患部の判断基準として用いる場合に、判断基準の信頼性が低下するという問題がある。

そこで、本実施形態にかかる手術支援システム１００では、肝臓１３などの被写体における励起光３００の照度分布の撮像画像（以下、「励起光画像」という。）を取得し、励起光３００によって生じる蛍光発光に基づく撮像画像（以下、「蛍光画像」という）を補正する。これにより、図６Ｃに示すように、励起光３００の照度分布に関わらず均一で信頼性の高い投影画像Ｇ１３を得ることができる。以下、本実施形態にかかる輝度補正処理について説明する。

２−２−２．輝度補正処理
本実施形態に係る輝度補正処理について、図７，８を用いて説明する。図７は、本実施形態における輝度補正処理のタイミングを示すタイミングチャートである。図８は、本実施形態における輝度補正処理を示すフローチャートである。

図７は、本実施形態における輝度補正処理が実行される際のフィルタ切替え信号Ｓｆのタイミングチャート、撮像画像Ｉの取得タイミング及び投影画像Ｇ１３の生成タイミングを示している。輝度補正処理は、励起光画像ＩＢに基づき励起光３００の照度分布に対する蛍光画像ＩＡの輝度を補正し、投影画像Ｇ１３を生成する処理であり、投影制御装置２５０によって実行される。本実施形態では、図７に示すように、例えば図１の表示制御装置１５０を介して操作者１４０による所定の指示があった時刻ｔ１から輝度補正処理を開始する。

なお、時刻ｔ１より前は、補正処理を行わず通常の処理であるため、投影制御装置２５０は、図４に示す動作となる。

本実施形態に係る輝度補正処理では、フィルタ切替え信号Ｓｆに基づいて、カメラ２１０の撮像画像Ｉを励起光画像ＩＢと蛍光画像ＩＡとの間で交互に切替える。このとき、所定のフレームレート（例えば１／６０〜１／３０秒）において励起光画像ＩＢを撮像する期間Ｔｎが蛍光画像ＩＡを撮像する期間Ｔｍよりも短くなるように設定する。これにより、例えば手術中などにリアルタイムで目視し続ける際に、経時的にも信頼性の高い投影画像Ｇ１３を得ることができる。以下、図８を用いて、輝度補正処理の流れを説明する。

図８のフローチャートにおいて、まず、投影制御装置２５０は、図４のステップＳ１と同様に励起光源２３０から励起光３００を術野１３５に照射する。本実施形態では、励起光３００の照射は、輝度補正処理の実行中にわたって継続的に行われる。

次に、投影制御装置２５０は、図７に示すようにフィルタ切替え信号Ｓｆを「０」から「１」に変更し、光学フィルタ２１３を蛍光透過フィルタ２１３ａから励起光透過フィルタ２１３ｂに切替える（Ｓ１２）。これにより、図３に示すように励起光透過フィルタ２１３ｂを介して蛍光３１０が遮断され、励起光３００の反射光のみがカメラ２１０に入射する。

次に、投影制御装置２５０は、例えばカメラ２１０を制御し、励起光透過フィルタ２１３ｂを介して術野１３５を撮像させる（Ｓ１３）。ステップＳ１３により、図７に示すようにフィルタ切替え信号Ｓｆが「１」に設定された期間Ｔｎにおいて、カメラ２１０は、照射された励起光３００の照度が術野１３５上で分布する励起光画像ＩＢ（図９）を撮像する。投影制御装置２５０は、カメラ２１０から励起光画像ＩＢを取得する。

また、投影制御装置２５０は、ステップＳ１２の励起光透過フィルタ２１３ｂへの切替え前の撮像結果に基づいて、図７に示すように、プロジェクタ２２０に、前回の制御周期（フレーム）で投影した投影画像を引き続き投影させる（Ｓ１４）。これにより、励起光画像ＩＢを取得中の期間Ｔｎにおいて、術野１３５に投影される投影画像を補間することができる。

次に、投影制御装置２５０は、取得した励起光画像ＩＢのフレーム数が、Ｎフレーム（Ｎは２以上の整数）に到達したか否かを判断する（Ｓ１５）。投影制御装置２５０は、取得した励起光画像ＩＢのフレーム数がＮフレームに到達していないとき（Ｓ１５でＮＯ）、ステップＳ１２以降の処理を繰り返す。これにより、期間Ｔｎ中にＮフレームの励起光画像ＩＢが取得される。

取得した励起光画像ＩＢのフレーム数がＮフレームに到達したとき（Ｓ１５でＹＥＳ）、投影制御装置２５０は、Ｎフレームの励起光画像ＩＢのフレーム平均を行い、正規化データＤｎ（図９）を生成する（Ｓ１６）。正規化データＤｎは、蛍光画像ＩＡの輝度を補正するための正規化係数を示すデータであり、フレーム平均後の励起光画像ＩＢ’に基づき算出される。正規化データＤｎの算出方法については後述する。投影制御装置２５０は、算出した正規化データＤｎをメモリ２４０に格納する。

また、投影制御装置２５０は、図７に示すように時刻ｔ１から期間Ｔｎ後の時刻ｔ２においてフィルタ切替え信号Ｓｆを「１」から「０」に変更し、光学フィルタ２１３を励起光透過フィルタ２１３ｂから蛍光透過フィルタ２１３ａに切替える（Ｓ１７）。これにより、時刻ｔ２において図３に示すように蛍光透過フィルタ２１３ａを介して励起光３００が遮断され、術野１３５からの蛍光３１０のみがカメラ２１０に入射する。

次に、投影制御装置２５０は、カメラ２１０に、蛍光透過フィルタ２１３ａを介して術野１３５を撮像させる（Ｓ１８）。ステップＳ１８により、図７に示すようにフィルタ切替え信号Ｓｆが「０」に設定された期間Ｔｍにおいて、カメラ２１０は、術野１３５の患部１２０から生じた蛍光に基づく蛍光画像ＩＡを撮像する。投影制御装置２５０は、カメラ２１０から蛍光画像ＩＡを取得する。

次に、投影制御装置２５０は、ステップＳ１６において算出した正規化データＤｎを読み出して、カメラ２１０から取得した蛍光画像ＩＡを補正する（Ｓ１９）。蛍光画像ＩＡの補正は、期間Ｔｎに取得した励起光画像ＩＢに基づく正規化データＤｎを参照して、励起光３００の照度の違いに対して蛍光画像ＩＡの画素毎の輝度を均一にするように行われる。蛍光画像ＩＡの補正方法の詳細については後述する。

次に、投影制御装置２５０は、補正後の蛍光画像ＩＡ’（図９）に基づく投影画像を生成するための画像処理を行う（Ｓ２０）。ステップＳ２０の画像処理は、補正後の蛍光画像ＩＡ’に対して図４のステップＳ３と同様の処理を行うことによって実行される。

次に、投影制御装置２５０は、ステップＳ２０の画像処理結果に基づいて、プロジェクタ２２０に、新たな投影画像Ｇ１３を投影させる（Ｓ２１）。ステップＳ２１では、期間Ｔｎに取得された励起光画像ＩＢによる補正が為された１フレームの蛍光画像ＩＡ’に基づく投影画像Ｇ１３が投影される。

次に、投影制御装置２５０は、ステップＳ１７の蛍光透過フィルタ２１３ａへの切り替え後に撮像した蛍光画像ＩＡが、Ｍフレーム（ＭはＮよりも大きい整数、例えばＭ＝１０）に到達したか否かを判断する（Ｓ２２）。

投影制御装置２５０は、撮像した蛍光画像ＩＡのフレーム数がＭフレームに到達していないとき（Ｓ２２でＮＯ）、ステップＳ１８以降の処理を繰り返す。ステップＳ１８〜Ｓ２２の処理により、図７に示すように期間Ｔｍ中、順次、撮像された蛍光画像ＩＡの補正結果に基づく、信頼性の高い投影画像Ｇ１３が投影される。

一方、投影制御装置２５０は、撮像した蛍光画像ＩＡのフレーム数がＭフレームに到達したとき（Ｓ２２でＹＥＳ）、ステップＳ１２の処理に戻る。これにより、図７に示すように期間Ｔｍ経過後に再度、励起光画像ＩＢの取得が行われる。

以上の処理は、励起光画像または蛍光画像を撮像する所定の周期（例えば１／６０〜１／３０秒）に合わせて繰り返し実行される。なお、操作者１４０等から終了の指示があった場合には、適宜、本フローチャートによる処理を終了し、図４の処理に切り替えてもよい。つまり、補正を行う図８の処理と補正を行わない図４の処理を操作者１４０の指示等で自由に切り替えてもよい。

以上の処理により、患部１３０を撮像した蛍光画像ＩＡが励起光画像ＩＢに基づき、励起光３００の照度の違いに対して均一になるように補正される。このため、補正後の蛍光画像ＩＡ’を用いた投影画像Ｇ１３はＩＣＧがより蓄積している患部１３０を特定する用途において信頼性を有し、投影装置２０の医療用途における安全性を高めることができる。

また、以上の処理にいて、蛍光画像ＩＡと励起光画像ＩＢは交互に撮像され、蛍光画像ＩＡの補正は直前に撮像された励起光画像ＩＢに基づき行われるので、術野１３５の時間変化に対しても精度よく補正された蛍光画像ＩＡ’を得ることができる。また、励起光画像ＩＢの撮像の期間Ｔｎを蛍光画像ＩＡの撮像の期間Ｔｍよりも短く設定しているため、励起光画像ＩＢの取得時に蛍光画像ＩＡが取得されない影響を緩和することができる。これにより、蛍光画像ＩＡ’に基づく投影画像Ｇ１３を目視し続ける際の信頼性を高めることができる。

また、以上の説明では、輝度補正処理の開始タイミングが操作者１４０の指示である例について説明した。輝度補正処理の開始タイミングは操作者１４０の指示に限らず、例えば、撮像照射装置２００又は手術台１１０の移動があったときに、所定のセンサで移動を検知して行われてもよいし、所定のサイクルで常時、実行されてもよい。また、例えば手術直前など、手術支援システム１００の使用前の事前のキャリブレーションにおいて輝度補正処理が行われてもよい。

２−２−３．補正方法の詳細
以下、本実施形態にかかる蛍光画像ＩＡの補正法方法の詳細について、図９，１０を用いて説明する。図９は、輝度補正処理による画像の補正方法を説明するための図である。図１０は、輝度補正処理における正規化を説明するための図である。

まず、図８のステップＳ１６における正規化データＤｎの算出方法について説明する。投影制御装置２５０は、カメラ２１０からＮフレームの励起光画像ＩＢを取得すると（Ｓ１５で「ＹＥＳ」）、所定の正規化関数を用いて、フレーム平均後の励起光画像ＩＢ’から正規化データＤｎを算出する（Ｓ１６）。図１０に、正規化関数Ｆ１の一例を示す。

正規化関数Ｆ１は、励起光画像ＩＢ’の画素毎の信号レベル（輝度）と正規化係数との関係を規定する関数である。正規化関数Ｆ１を示す情報は、例えば信号レベル（輝度）と正規化係数とを関連付けたＬＵＴ（ルックアップテーブル）としてメモリ２４０に予め記録されている。投影制御装置２５０は、正規化関数Ｆ１のＬＵＴを参照して、励起光画像ＩＢ’の画素毎の信号レベルに応じた正規化係数を計算し、正規化データＤｎを算出する。

なお、正規化データＤｎの算出はステップＳ１６に行わなくてもよい。例えば、ステップＳ１６では、フレーム平均の励起光画像ＩＢ’をメモリ２４０に格納し、ステップＳ１９の補正時に、正規化関数Ｆ１に基づき正規化データＤｎを計算してもよい。また、正規化関数Ｆ１を示す情報はＬＵＴに限らず、例えば演算式としてメモリ２４０に格納されてもよい。また、正規化データＤｎは１フレームの励起光画像ＩＢに基づき算出されてもよい。この場合、図８のフローチャートにおいてステップＳ１５を省略してもよい。

図１０に示すように、正規化関数Ｆ１は単調減少であり、信号レベル「０」のときの正規化係数「１」から順次、減少する。これにより、励起光画像ＩＢ’において信号レベル（輝度）が大きい画素ほど小さい正規化係数が割り当てられる（図９参照）。正規化関数Ｆ１における正規化係数は０以上の値を有し、図１０の例では、信号レベル０〜２５５の範囲内で正規化係数１〜０．８となっている。正規化関数Ｆ１は、励起光３００の照度と被写体の蛍光発光の強度との関係を考慮して、適宜設定される。

図９に戻り、図８のステップＳ１９における蛍光画像ＩＡの補正方法について説明する。ステップＳ１９において、投影制御装置２５０は、ステップＳ１８で撮像される蛍光画像ＩＡの各画素の輝度に対して、正規化データＤｎ中で対応する画素の正規化係数を乗算することにより、蛍光画像ＩＡの輝度補正を行う。正規化データＤｎにより、補正前の蛍光画像ＩＡの内で強い照度の励起光３００によって輝度が大きくなっている部分には、小さい正規化係数が乗算される。これより、補正後の蛍光画像ＩＡ’では、励起光３００の照度の違いに対して輝度が均一になるように補正され、励起光３００の照度分布によるムラが解消される。

なお、上記では、説明を簡単にするために、肝臓１３においてＩＣＧの濃度を均一としたが、ＩＣＧの濃度が不均一の場合も当然ありうる。この場合も、肝臓１３において励起光３００の照度分布にムラがあるため、信頼性の高い蛍光画像を取得できないが、正規化データＤｎを用いて補正を行うことで、励起光３００の照度分布が均一の時と同じような蛍光画像を得ることができる。つまり、励起光画像に基づいて蛍光画像の補正を行うことで、励起光３００の照度分布にムラの影響を少なくすることができる。

３．効果等
以上の手術支援システム１００における投影装置２０は、励起光源２３０と、カメラ２１０と、プロジェクタ２２０と、投影制御装置２５０とを備える。励起光源２３０は、被写体である患部１３０に励起光３００を照射する。カメラ２１０は、励起光３００によって被写体が発する蛍光３１０に基づく蛍光画像ＩＡを撮像する。プロジェクタ２２０は、蛍光画像ＩＡに基づく投影画像Ｇ１３を被写体に投影する。投影制御装置２５０は、カメラ２１０により撮像された蛍光画像ＩＡに基づき投影画像Ｇ１３を制御する。カメラ２１０は、蛍光画像ＩＡに加えて、被写体における励起光３００の照度分布を示す励起光画像ＩＢを撮像する。投影制御装置２５０は、励起光画像ＩＢに基づいて、被写体における励起光３００の照度の違いによる影響を、補正前の蛍光画像ＩＡよりも低減するように蛍光画像ＩＡを補正する。

以上の投影装置２０によると、蛍光画像ＩＡの補正により、励起光３００の照度分布に基づく輝度ムラが解消された蛍光画像ＩＡ’が得られる。補正後の蛍光画像ＩＡ’により、精度良く被写体である患部１３０の撮像を行うことができる。

また、本実施形態における投影装置２０において、カメラ２１０は、励起光画像ＩＢと蛍光画像ＩＡとを交互に撮像する。励起光画像ＩＢを撮像する期間Ｔｎ（第１の期間）は、蛍光画像ＩＡを撮像する期間Ｔｍ（第２の期間）よりも短い。これにより、リアルタイムで精度良く蛍光画像ＩＡ’を得られ、これによって投影画像Ｇ１３を医療用途に用いる際の信頼性を高めることができる。

また、本実施形態における投影装置２０において、カメラ２１０は、期間Ｔｍ中にＭフレームの蛍光画像ＩＡを撮像する（Ｓ１８，Ｓ２２）。投影制御装置２５０は、期間Ｔｍにおいて、各フレームの蛍光画像ＩＡを補正して、補正した蛍光画像ＩＡ’に基づく投影画像Ｇ１３をプロジェクタ２２０に投影させる（Ｓ１９〜Ｓ２１）。これにより、補正した蛍光画像ＩＡ’によって投影画像Ｇ３０をリアルタイムに精度良く投影することができる。

また、本実施形態における投影装置２０において、投影制御装置２５０は、期間Ｔｍに投影された投影画像に基づき、期間Ｔｎにおいて投影される投影画像Ｇ１３を補間する（Ｓ１４）。これにより、投影画像Ｇ１３のちらつきを回避し、投影画像Ｇ１３の視認性を向上することができる。

また、本実施形態における投影装置２０において、カメラ２１０は、光学フィルタ２１３を備える。光学フィルタ２１３は、励起光透過フィルタ２１３ｂを介して蛍光３１０を遮断して励起光３００を透過する第１の状態と、蛍光透過フィルタ２１３ａを介して蛍光を透過する第２の状態とを切り替える。これにより、第１又は第２の状態において、それぞれ励起光画像ＩＢ又は蛍光画像ＩＡを取得することができる。

また、本実施形態における投影装置２０において、蛍光透過フィルタ２１３ａを介した第２の状態は、励起光３００を遮断して蛍光３１０を透過する状態である。これにより、蛍光画像ＩＡを精度良く撮像することができる。
請求項６に記載の投影装置。

また、本実施形態における投影装置２０において、被写体は、患者１２０などの生体中で光感受性物質を含有する患部１３０を含む。

また、本実施形態の係る手術支援システム１００は、投影装置２０と、補正された蛍光画像ＩＡ’を表示するディスプレイ１６０とを備える。これにより、本システムのユーザは、ディスプレイ１６０において補正された蛍光画像ＩＡ’に基づく画像診断を行うことができる。

（実施の形態２）
実施の形態１では、輝度補正処理において励起光画像ＩＢを取得する際に、投影画像Ｇ１３を補間した。実施の形態２では、さらに、補間のための投影画像Ｇ１３から新たな蛍光画像ＩＡに基づく投影画像Ｇ１３を投影する際に、平滑化を行う。以下、図１１，１２を参照して、実施の形態２を説明する。

図１１は、実施の形態２における輝度補正処理のタイミングを示すタイミングチャートである。図１２は、実施の形態２における輝度補正処理を示すフローチャートである。

以下、実施の形態１に係る手術支援システムと同様の構成、動作の説明は適宜、省略して、本実施形態に係る手術支援システムを説明する。

図１１は、本実施形態における輝度補正処理のフィルタ切替え信号Ｓｆのタイミングチャート、撮像画像Ｉの取得タイミング、正規化データＤｎの記録タイミング、補正後の蛍光画像ＩＡ’の生成タイミング、及び投影画像Ｇ１３の生成タイミングを示している。本実施形態に係る輝度補正処理では、投影制御装置２５０は、図１２に示すように、実施形態１と同様に光学フィルタ２１３を蛍光透過フィルタ２１３ａに切替え（Ｓ１７）、その後の１フレームにおいて投影画像Ｇ１３の平滑化を行う（Ｓ１８Ａ〜Ｓ２１Ａ）。

図１１において、時刻ｔ１１は、光学フィルタ２１３の励起光透過フィルタ２１３ｂへの切替わりタイミングである（図１２のＳ１２）。時刻ｔ１２は、励起光透過フィルタ２１３ｂから蛍光透過フィルタ２１３ａへの切替わりタイミングである（Ｓ１７）。時刻１１から時刻ｔ１２までの期間Ｔｎの間にはカメラ２１０を用いて励起光画像ＩＢの取得が行われる（Ｓ１２〜Ｓ１５）。また、取得された励起光画像ＩＢに基づき、正規化データＤｎが生成され、時刻ｔ１１においてメモリ２４０に書き込まれる（Ｓ１６）。

図１１の時刻ｔ１１からの期間Ｔｎ中、投影画像Ｇ１３は、励起光透過フィルタ２１３ｂへの切替わり前の時刻ｔ１０に撮像された蛍光画像ＩＡ１０の補正結果（蛍光画像ＩＡ１０’）に基づく投影画像Ｇ１３ａにより補間されている（図１２のＳ１４）。投影制御装置２５０は、時刻ｔ１２に、新たに蛍光画像ＩＡ１１を取得し（Ｓ１８Ａ）、期間Ｔｎに取得した正規化データＤｎを読み出して蛍光画像ＩＡ１１の補正を行う（Ｓ１９Ａ）。

ここで、ステップＳ１９Ａの補正後の蛍光画像ＩＡ１１’は、補間時に用いた蛍光画像ＩＡ１０’に対する変化が大きく、フレーム間で投影画像Ｇ１３に飛びが生じることが想定される。そこで、本実施形態において、投影制御装置２５０は、投影画像Ｇ１３を生成する画像処理において、投影画像Ｇ１３の平滑化を行う（Ｓ２０Ａ）。例えば、投影制御装置２５０は、期間Ｔｎ前後の蛍光画像ＩＡ１０’，ＩＡ１１’のフレーム平均を行い、平均化された蛍光画像に対してステップＳ２０と同様の画像処理を行うことにより、平滑化のための投影画像Ｇ１３ｂを生成する。

投影制御装置２５０は、時刻ｔ１２において、ステップＳ２０Ａにおいて生成した投影画像Ｇ１３ｂを投影する（Ｓ２１Ａ）。これにより、補間時の投影画像Ｇ１３ａから切り替わる際の投影画像Ｇ１３の変化を平滑化し、投影画像Ｇ１３を視認する医師等の視覚的な負担を軽減することができる。

また、図１１では、励起光画像ＩＢのフレーム数ＮがＮ＝２の場合を例示している。２フレームの励起光画像ＩＢのフレーム平均について、投影制御装置２５０は、例えばメモリ２４０において、１フレーム分の遅延を有する取得画像を保持し、２フレーム目の励起光画像を取得したときに平均化処理を実行してもよい。また、補正後の蛍光画像ＩＡ１０’を用いて補間時の投影画像Ｇ１３ａ及び平滑化の投影画像Ｇ１３ｂの投影画像Ｇ１３を生成するために、投影制御装置２５０は、例えばメモリ２４０において、１フレームずつ遅延した３フレーム分の蛍光画像ＩＡ１０’をそれぞれ保持してもよい。

以上のように、本実施形態にかかる手術支援システム１００において、投影制御装置２５０は、期間Ｔｎに投影された投影画像Ｇ１３ａに基づき、期間Ｔｎから期間Ｔｍに切り替わった直後に投影される投影画像Ｇ１３ｂを平滑化する。これにより、期間Ｔｎから期間Ｔｍへの切り替わり時の投影画像Ｇ１３ｂの変化を低減し、投影画像Ｇ１３を見易くすることができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１，２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１，２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

上記の各実施形態１，２では、光学フィルタ２１３は、蛍光透過フィルタ２１３ａと励起光透過フィルタ２１３ｂとを備えたが、これに限らず、例えば蛍光透過フィルタ２１３ａを備えなくてもよい。つまり、光学フィルタ２１３は、励起光透過フィルタ２１３ｂを介して励起光３００を透過する第１の状態と、励起光透過フィルタ２１３ｂを介さずに蛍光３１０を透過する第２の状態とを切り替えてもよい。この場合、第２の状態の光学フィルタ２１３は励起光３００を透過することとなる。本開示による輝度補正処理によると、画像処理において撮像画像中の励起光の影響を低減することができるので、実用上差し支えない範囲で、精度良く蛍光画像を得ることができる。

また、上記の各実施形態１，２では、カメラ２１０によって撮像された蛍光画像ＩＡを補正し、補正後の蛍光画像ＩＡ’によって被写体に投影される投影画像Ｇ１３の精度が補正された。本開示はこれに限らず、例えば投影制御装置２５０による画像処理において、投影画像自体を補正してもよい。例えば、距離画像センサなどを用いて被写体の立体形状を検出し、立体形状の表面上で輝度が均一になるように画像処理において投影画像の輝度を設定してもよい。また、例えば、ステップＳ２０の後に、さらに画像処理において投影画像Ｇ１３に正規化データＤｎと同様の正規化係数を乗算することにより、投影画像Ｇ１３の輝度を補正してもよい。投影画像を補正することにより、被写体に投影された状態の投影画像の視認性が向上し、手術支援システム１００における投影画像の信頼性を高めることができる。

また、上記の各実施形態１，２では、輝度補正処理において、カメラ２１０が励起光画像ＩＢと蛍光画像ＩＡとを交互に撮像したが、これに限らず、本開示における投影装置は、励起光画像ＩＢと蛍光画像ＩＡとを同時に撮像する撮像部を用いてもよい。例えば、撮像部として、励起光３００と蛍光３１０との波長の違いに基づき、画素毎のカラーフィルタによって励起光３００と蛍光３１０とを選択的に受光可能なカメラを採用してもよい。

また、上記の各実施の形態１，２では、励起光源２３０を撮像照射装置２００と一体化させているが、別体で設けてもよい。

また、上記の各実施の形態１，２では、手術などの医療用途を例に挙げて説明したが、本発明はこれには限らない。例えば、工事現場や採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認できないような対象物に対して作業を行う必要がある場合、本発明を適用することができる。

具体的には、実施の形態１の医療機器に代えて、工事現場や採掘現場、建築現場、材料を加工する工場などにおける、目視では状態変化を確認できないような対象物に蛍光材料を塗布し、練りこみ、或いは流し込んで、カメラ２１０による撮像の対象である被写体としてもよい。発光ではなく、発熱箇所を熱センサで検出して、その部分だけ或いは、境界だけを走査するようにしてもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置き換え、付加、省略などを行うことができる。

本開示における投影システムは、医療用途、工事現場、採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認しづらいような対象物に対して作業を行う際に適用可能である。

１００ 手術支援システム
２００ 撮像照射装置
２１０ カメラ
２１３ 光学フィルタ
２１３ａ 蛍光透過フィルタ
２１３ｂ 励起光透過フィルタ
２２０ プロジェクタ
２５０ 投影制御装置
２０ 投影装置

Claims (9)

1. 被写体に励起光を照射する光源部と、
   前記励起光によって前記被写体が発する蛍光に基づく蛍光画像を撮像する撮像部と、
   前記蛍光画像に基づく投影画像を前記被写体に投影する投影部と、
   前記撮像部により撮像された蛍光画像に基づき前記投影画像を制御する制御部と
   を備え、
   前記撮像部は、前記蛍光画像に加えて、前記被写体における前記励起光の照度分布を示す励起光画像を撮像し、
   前記制御部は、前記励起光画像に基づいて、前記被写体における前記励起光の照度の違いによる影響を、補正前の蛍光画像よりも低減するように前記蛍光画像を補正する
   投影装置。
2. 前記撮像部は、前記励起光画像と前記蛍光画像とを交互に撮像し、
   前記励起光画像を撮像する第１の期間は、前記蛍光画像を撮像する第２の期間よりも短い
   請求項１に記載の投影装置。
3. 前記撮像部は、前記第２の期間中に複数フレームの蛍光画像を撮像し、
   前記制御部は、前記第２の期間において、各フレームの蛍光画像を補正して、補正した蛍光画像に基づく投影画像を前記投影部に投影させる
   請求項２に記載の投影装置。
4. 前記制御部は、前記第２の期間に投影された投影画像に基づき、前記第１の期間において投影される投影画像を補間する
   請求項２又は３に記載の投影装置。
5. 前記制御部は、前記第１の期間に投影された投影画像に基づき、前記第１の期間から前記第２の期間に切り替わった直後に投影される投影画像を平滑化する
   請求項２〜４のいずれか１項に記載の投影装置。
6. 前記撮像部は、前記蛍光を遮断して前記励起光を透過する第１の状態と、前記蛍光を透過する第２の状態とを切り替える光学フィルタを備える
   請求項１〜５のいずれか１項に記載の投影装置。
7. 前記第２の状態は、前記励起光を遮断して前記蛍光を透過する状態である
   請求項６に記載の投影装置。
8. 前記被写体は、生体中で光感受性物質を含有する患部を含む
   請求項１〜７のいずれか１項に記載の投影装置。
9. 請求項１〜８のいずれか１項に記載の投影装置と、
   前記補正された蛍光画像を表示する表示装置と
   を備えた投影システム。

Images