JP2016027687A - 投影システム - Google Patents

Abstract

【課題】被写体を撮像して投影画像を投影する投影システムにおける、投影画像と被写体とのズレを調整することを容易にする。【解決手段】ズレ調整システム５００は、光調整装置４００と、赤外カメラ２５０と、投影部２２０とを備える。光調整装置４００は、基準領域Ｒａを含む投影面４０２を有し、基準領域Ｒａから非可視光と可視光を含むＬＥＤ光３４０を照射する。赤外カメラ２５０は、非可視光を受光して投影面４０２を撮像する。投影部２２０は、赤外カメラ２５０が撮像した撮像画像に基づいて投影面４０２に可視光の投影画像Ｒｂを投影する。【選択図】図５Ａ

Description

本開示は、画像を物体に投影する投影システムに関する。

特許文献１は、外科手術を受ける生体の患部を示す画像データを蛍光像撮像装置から出力させ、画像投影装置により上記画像データによる画像を再生し、実際の患部上に表示させる外科手術支援システムを開示する。生体の患部には、所定の波長の光を照射することで蛍光を発する物質が、あらかじめ投与されている。つまり、このシステムは、患部が蛍光発光した蛍光画像を実際の患部に表示することで、病変部の確認の支援をしている。

特開平９−２４０５３号公報

本開示は、被写体を撮像して投影画像を投影する投影システムにおける、投影画像と被写体とのズレを調整することを容易にする投影システムを提供する。

本開示における投影システムは、光源装置と、撮像部と、投影部とを備える。光源装置は、基準領域を含む投影面を有し、基準領域から非可視光と可視光を含む光を照射する。撮像部は、非可視光を受光して投影面を撮像する。投影部は、撮像部が撮像した撮像画像に基づいて投影面に可視光の投影画像を投影する。

本開示における投影システムによれば、被写体を撮像して投影画像を投影する投影システムにおける、投影画像と被写体とのズレを容易に調整できる。

手術支援システム１００の構成を示す概略図 投影動作を行う前の手術支援システム１００における術野の状態を示す図 図２Ａの術野に対して投影動作を行った状態を示す図 ズレ調整システム５００の構成を示す概略図 光調整装置４００の外観を示す斜視図 光調整装置４００の構成を示す分解斜視図 ズレ調整中の光調整装置４００の斜視図 ズレ未調整時の投影面４０２の状態の一例を示す図 図５Ｂの例における投影用の画像を示す図 図５Ｃの画像をズレ調整した投影用の画像を示す図 ズレ調整後の投影面４０２の状態の一例を示す図 光調整装置４００の使用例における投影面４０２の状態を示す図 応用例における開口マスク４３０’の平面図 図７Ａの開口マスク４３０’を用いて投影面に映した状態を示す図 図７Ｂの投影面に手術支援システム１００の投影動作を行った状態を示す図 ズレ調整前の赤外蛍光３１０と可視レーザ光３２０を説明するための図 ズレ調整後の赤外蛍光３１０と可視レーザ光３２０を説明するための図 投影部２２０の走査パターンを説明するための図 患部の検出に応じた切断補助線の投影動作を示すフローチャート 第１の切断余裕幅における切断補助線の投影動作を説明するための図 第２の切断余裕幅における切断補助線の投影動作を説明するための図 従来における手術の様子を示す図 患部の周辺に対する手術補助情報の投影を説明するための図 手術補助情報を投影されていない状態の補助スクリーン材の上面図 手術補助情報を投影された状態の補助スクリーン材の上面図 使用高さの監視動作における処理の流れを示すフローチャート 使用高さの許容範囲内であるときの監視動作を説明するための図 使用高さの許容範囲外であるときの監視動作を説明するための図 赤外励起光源、ＴＯＦセンサおよび可視光レーザの動作を説明するためのタイミングチャート

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
１．手術支援システムの概要
本開示の投影システムの一例として、実施の形態１にかかる手術支援システムの概要を、図１を用いて説明する。図１は、実施の形態１にかかる手術支援システム１００の構成を示す概略図である。

手術支援システム１００は、手術室等において医師等が患者に対して行う手術を、投影画像を用いて視覚的にサポートするシステムである。手術支援システム１００を使用する場合に、手術を受ける患者１３０には、光感受性物質が血液中などに投与される。

光感受性物質は、励起光に反応して蛍光を発する物質である。実施の形態１では、光感受性物質の一例として、インドシアニングリーン（以下、「ＩＣＧ」と称する。）を用いた場合を説明する。ＩＣＧは、医療承認されており、人体への使用が可能な試薬である。ＩＣＧは、波長８００ｎｍを中心としてその前後の赤外励起光が照射されることにより、ピーク波長８５０ｎｍを中心としてその前後の赤外蛍光を発する。ＩＣＧは、血液中に投与されると血液やリンパ液の流れが滞っている患部１４０に蓄積する。そのため、赤外蛍光を発する赤外蛍光領域を検出することにより、患部１４０の領域を特定することが可能となる。

ここで、患部１４０の領域が発する赤外蛍光は非可視光であるため、医師等は、術野１３５を目視しても、直接には患部１４０の領域を特定できない。そこで、手術支援システム１００は、まず、ＩＣＧの赤外蛍光を発する領域を検出して、患部１４０の領域を特定する。そして、手術支援システム１００は、特定した患部１４０の領域が人間に視認可能となるように、特定した患部１４０の領域に対して可視光を照射する。これにより、特定した患部１４０の領域を可視化する投影画像が投影され、手術を行う医師等による患部１４０の領域の特定をサポートすることができる。

２．手術支援システムの構成
以下、手術支援システム１００の構成について、図１を用いて説明する。手術支援システム１００は、病院の手術室内に配置されて使用される。手術支援システム１００は、撮像照射装置２００と、制御装置２３０と、メモリ２４０と、赤外励起光源２５０とを備える。また、図示していないが、手術支援システム１００は、撮像照射装置２００を配置する位置を変更するための機構を備える。その機構は、例えば、撮像照射装置２００と機械的に接続された駆動アームや、手術支援システム１００の一式を載置する台座のキャスターを備える。

撮像照射装置２００は、撮像手段や照射手段を一体的に内包した装置である。撮像照射装置２００は、赤外カメラ２１０と、ダイクロイックミラー２１１と、投影部２２０と、ＴＯＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）センサ２６０とを備えている。投影部２２０は、可視光レーザ２２２と、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｏｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）ミラー２２１とを備える。

制御装置２３０は、手術支援システム１００を構成する各部を統括制御する。制御装置２３０は、赤外カメラ２１０、可視光レーザ２２２、ＭＥＭＳミラー２２１、ＴＯＦセンサ２６０、メモリ２４０、及び赤外励起光源２５０に電気的に接続され、各部をそれぞれ制御するための制御信号を出力する。制御装置２３０は、例えばＣＰＵやＭＰＵで構成され、所定のプログラムを実行することによってその機能を実現する。なお、制御装置２３０の機能は、専用に設計された電子回路や再構成可能な電子回路（ＡＳＩＣ，ＦＰＧＡ等）により実現されてもよい。

メモリ２４０は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）で構成される。メモリ２４０は、制御装置２３０が種々の演算を実行する際に、適宜アクセスを行う記憶媒体である。

赤外励起光源２５０は、少なくともＩＣＧの励起波長８００ｎｍを中心としてその前後の波長帯成分を含むスペクトルを有する赤外励起光３００を照射する光源である。赤外励起光源２５０は、制御装置２３０からの制御信号に従って、赤外励起光３００の照射のＯＮ／ＯＦＦを切り替えることができる。なお、図１に示す例では、赤外励起光源２５０は、撮像照射装置２００の外部に配置されているが、これに限定されない。すなわち、赤外励起光源２５０は、赤外励起光の照射口が適切に設けられれば、撮像照射装置２００の内部に配置されてもよい。

次に、撮像照射装置２００を構成する各部の構成について説明する。

赤外カメラ２１０は、赤外領域の受光感度が高い分光感度特性を有するカメラである。本実施形態にかかる手術支援システム１００では、ＩＣＧからの波長８５０ｎｍを中心としてその前後の赤外蛍光を検出する必要がある。そのため、少なくとも波長８５０ｎｍを中心としてその前後の赤外領域の受光感度が高い分光感度特性を有する赤外カメラ２１０を用いる。なお、ＩＣＧからの赤外蛍光以外の光の受光を抑制するために、赤外カメラ２１０の撮像面の前方に波長８５０ｎｍ付近の波長を有する光のみを通過させるバンドパスフィルターを配置してもよい。赤外蛍光の波長スペクトルは、第１のスペクトルの一例である。赤外カメラ２１０は、撮像結果を示す撮像画像（赤外画像）を、制御装置２３０に伝送する。

投影部２２０において、可視光レーザ２２２は、可視光を照射するレーザ装置である。可視光レーザ２２２は、人間が視認できる可視光領域の光であれば、任意の波長のレーザ光源を使用してもよい。可視光レーザ２２２は、一色のレーザ光源のみにより構成してもよいし、制御装置２３０からの制御信号に従って、複数の色のレーザ光源を切り替え可能に構成してもよい。可視光レーザ２２２は、可視レーザ光３２０を、ＭＥＭＳミラー２２１に向けて照射する。

ＭＥＭＳミラー２２１は、多数の微小鏡面を平面に配列したミラーであり、例えばデジタルミラーデバイスで構成される。ＭＥＭＳミラー２２１において、可視光レーザ２２２から照射された可視レーザ光３２０は各微小鏡面に入射する。ＭＥＭＳミラー２２１は、微小鏡面の傾斜角度に応じた方向に可視光レーザ２２２を反射することにより、可視光の投影画像を生成する。

ここで、制御装置２３０は、ＭＥＭＳミラー２２１の各微小鏡面の傾斜角度を、水平方向および垂直方向に制御する。これにより、制御装置２３０は、可視レーザ光３２０を垂直方向および水平方向の２次元的に走査して、投影部２２０に投影画像を生成させることができる。ＭＥＭＳミラー２２１の微小鏡面で反射した可視レーザ光３２０は、ダイクロイックミラー２１１に到達する。

なお、本実施形態では、投影部２２０の構成要素としてＭＥＭＳミラー２２１を例示するが、これに限定されない。例えば、ガルバノミラーを用いてもよい。すなわち、水平方向の走査と垂直方向の走査を可能にする光学素子であれば、任意の光学素子を用いることができる。

ダイクロイックミラー２１１は、赤外カメラ２１０と、ＭＥＭＳミラー２２１とのそれぞれに対向して配置される。ダイクロイックミラー２１１は、入射した光における特定の波長帯成分（波長８５０ｎｍを含む）を透過する一方、その他の波長帯成分（可視光成分を含む）を反射する機能を備えた光学素子である。本実施形態においては、図１に示すように、ダイクロイックミラー２１１の水平方向にＭＥＭＳミラー２２１が配置される一方、ダイクロイックミラー２１１の鉛直方向上方に赤外カメラ２１０が配置される。ダイクロイックミラー２１１は、上記の光学特性により、可視光レーザ２２２から照射された可視レーザ光３２０を反射する一方、赤外カメラ２１０の撮像面に向かう赤外蛍光３１０を透過する。

また、図１に示すように、ダイクロイックミラー２１１、投影部２２０及び赤外カメラ２１０は、ダイクロイックミラー２１１で反射された可視レーザ光３２０の光路と、赤外カメラ２１０の撮像面に入射する赤外蛍光３１０の光路とが一致するように位置決めされている。これにより、赤外蛍光３１０の発する領域（患部１４０）に対する可視レーザ光３２０の照射精度を高めることができる。

ＴＯＦセンサ２６０は、赤外検出光３３０を放射して、対象物で反射した赤外検出光３３０を受光することにより、対象物までの距離を示す距離情報を検出するセンサである。赤外検出光３３０の波長スペクトルは、第２のスペクトルの一例である。ＴＯＦセンサ２６０は、波長帯８５０ｎｍ〜９５０ｎｍの波長の赤外光を、赤外検出光３３０として用いる。第２のスペクトルは、第１のスペクトルの少なくとも一部と重畳し得る。ＴＯＦセンサ２６０は、赤外検出光３３０を放射してから対象物で反射した赤外検出光３３０が受光されるまでの遅延時間と、光の速度とに基づいて、対象物までの距離を測定する。或いは、ＴＯＦセンサ２６０は、照射したときの赤外検出光３３０の電圧値と、対象物で反射して受光したときの赤外検出光３３０の電圧値との差に基づいて、対象物までの距離を測定するようにしてもよい。ＴＯＦセンサ２６０は、測定した対象物までの距離に関する距離情報を、制御装置２３０に伝送する。

また、図１に示すように、手術室内には、手術支援システム１００の他に、手術台１１０、無影灯１２０などが設置されている。手術台１１０は、患者１３０を載置する台である。無影灯１２０は、手術台１１０に載った患者１３０の患部１４０を照明する照明器具である。無影灯１２０は、医師の作業領域に影を作らないようにするため、高照度（３万〜１０万ルクス）の光を照射する。

手術支援システム１００は、手術台１１０に載った患者１３０の鉛直方向上方に、撮像照射装置２００が位置するように配置される。本実施形態にかかる手術支援システム１００では、赤外カメラ２１０による患部１４０の領域特定精度を担保するため、赤外カメラ２１０の光学系から定まる焦点距離に基づいて、使用する高さの許容範囲を規定している。本実施形態では、手術台１１０に載った患者１３０の体軸から、撮像照射装置２００（ＴＯＦセンサ２６０）までの高さが１０００ｍｍ±３００ｍｍが、使用する高さの許容範囲であることとする。高さの許容範囲について、詳細は後述する。

２．手術支援システムの基本動作
次に、手術支援システム１００の基本的な動作である起動動作及び投影動作について説明する。

２−１．手術支援システムの起動動作
まず、手術支援システム１００の起動動作について説明する。手術支援システム１００において、電源（不図示）がＯＦＦの状態からＯＮの状態へと切替えられると、制御装置２３０が起動する。起動した制御装置２３０は、赤外カメラ２１０、可視光レーザ２２２、赤外励起光源２５０、ＴＯＦセンサ２６０など、手術支援システム１００を構成する各部の起動動作を実行する。

可視光レーザ２２２は、起動動作が実行されると、可視レーザ光３２０の増幅動作を開始する。可視レーザ光３２０の出力が安定したタイミングで、撮像照射装置２００は使用可能な状態となる。

２−２．手術支援システムの基本的な投影動作
次に、手術支援システム１００の基本的な投影動作について、図１及び図２Ａ，２Ｂを用いて説明する。図２Ａ，２Ｂは、図１の手術支援システム１００における術野１３５の状態を説明した図である。図２Ａは、投影動作を行う前の手術支援システム１００における術野１３５の状態を示す。図２Ｂは、図２Ａの術野１３５に対して投影動作を行った状態を示す。

図２Ａに示す状態において、まず、制御装置２３０は、赤外励起光源２５０を駆動して、患部１４０を含む術野１３５に赤外励起光３００を照射する。すると、赤外励起光３００が、術野１３５において患部１４０に堆積したＩＣＧを励起することにより、患部１４０は赤外蛍光３１０を発する。

次に、赤外カメラ２１０は、制御装置２３０の制御により、術野１３５の患部１４０を撮像する。このとき、撮像画像には赤外蛍光３１０を発光する赤外蛍光領域Ｒ３１０の画像が含まれる。赤外カメラ２１０は、撮像した撮像画像を制御装置２３０に伝送する。

制御装置２３０は、赤外カメラ２１０から伝送された撮像画像に基づいて、赤外蛍光領域Ｒ３１０を検出する。具体的には、制御装置２３０は、撮像画像の一頂点からのＸＹ座標を算出することにより、撮像画像における赤外蛍光領域Ｒ３１０の座標を示す情報を取得する。

ここで、メモリ２４０には、赤外カメラ２１０からの撮像画像における座標と、ＭＥＭＳミラー２２１で投影画像を生成するためのデータにおける座標との対応関係を示す情報が格納されている。制御装置２３０は、メモリ２４０に格納された対応関係を示す情報に基づいて、取得した座標に対応する座標に可視レーザ光３２０の照射を行うように、ＭＥＭＳミラー２２１を制御する。なお、投影部２２０は、可視レーザ光３２０を走査して照射するように制御される。

上記の可視レーザ光３２０の照射により、図２Ｂに示すように、可視レーザ光３２０による投影画像Ｇ３２０が、術野１３５において赤外蛍光領域Ｒ３１０に投影される。このように、手術支援システム１００において、赤外カメラ２１０の撮像画像に基づいて赤外蛍光領域Ｒ３１０を検出することで、不可視の赤外蛍光３１０を発する患部１４０の領域が特定される。さらに、投影部２２０によって適切に投影画像Ｇ３２０を投影することにより、術野において直接、視認できない患部１４０の領域を可視化することができる。なお、投影画像Ｇ３２０は、例えば可視光レーザ２２２による単色の均一な画像である。

以上の処理は、所定サイクル（例えば１／６０秒）で繰り返し実行される。これにより、例えば１／６０秒に１度撮像された画像が投影されることとなり、医師等は患部１４０の位置や形状のリアルタイムの状態を視認できる。

３．手術支援システムにおける投影ズレの調整方法
３−１．投影ズレの調整方法の概要
手術支援システム１００は、上述のとおり、視認できないＩＣＧの赤外蛍光３１０を発する患部１４０を、赤外カメラ２１０を用いて検出し（図２Ａ参照）、可視レーザ光３２０による投影画像を投影して、投影画像Ｇ３２０で患部１４０を可視化する（図２Ｂ参照）。ここで、手術支援システム１００の使用時に、投影画像Ｇ３２０が患部１４０の赤外蛍光領域Ｒ３１０からずれて投影されると、術野１３５において患部１４０の位置等の誤認を生じてしまう。そのため、手術支援システム１００の使用前に、赤外カメラ２１０の撮像画像に基づいて特定される位置と、投影画像の投影位置との関係を確認し、位置ズレがある場合には手術支援システム１００を調整する必要がある。

位置ズレの確認及び調整作業は、手術支援システム１００の使用前の様々な場面で行われる。例えば、調整作業は、製造段階において、可視光レーザ２２２が、赤外カメラ２１０により特定される領域に対して可視レーザ光３２０を照射するように、撮像照射装置２００内の配置を決定する際に行われる。さらに、撮像照射装置２００の組み立て段階でも、可視光レーザ２２２の照射位置と赤外カメラの撮像位置との間に、僅かながら誤差が発生するので、調整作業が行われる。さらに、組み立て後の外乱や、赤外カメラ２１０と投影部２２０との画角の違いなども位置ズレの要因になる。医療用途においては安全性の確保が重要であるため、手術支援システム１００を使用する手術の開始前に逐次、位置ズレの確認を行う必要がある。

しかしながら、位置ズレの確認及び調整作業において、赤外カメラ２１０の撮像動作は非可視光（波長８５０ｎｍを中心としてその前後の赤外領域）で行われるため、人間の眼で直接、位置ズレを視認できない。そのため、手術支援システム１００における投影画像の位置ズレを調整することが簡単に行えないという問題があった。

そこで、本発明者は、簡単にズレ調整を行えるようにするため、手術支援システム１００における位置ズレの光調整装置を発案した。光調整装置によれば、赤外カメラ２１０の撮像対象が簡単に可視化され、投影画像の位置ズレを視認することができる。光調整装置を用いた位置ズレの調整方法により、可視光レーザ２２２の照射位置と赤外カメラ２１０の撮像位置とのズレを容易に調整することが可能となった。

以下、光調整装置の構成および、光調整装置を用いたズレ調整方法について、順に説明する。

３−２．ズレ調整システム及び光調整装置の構成
光調整装置の構成について、図３，４Ａ，４Ｂを用いて説明する。図３は、手術支援システム１００のズレを調整するズレ調整システム５００の構成を示す概略図である。図４Ａ，４Ｂは、光調整装置４００の構成を説明するための図である。図４Ａは、光調整装置４００の外観を示す斜視図である。図４Ｂは、光調整装置４００の構成を示す分解斜視図である。

ズレ調整システム５００は、手術支援システム１００と光調整装置（光源装置）４００とを備える。ズレ調整システム５００は投影システムの一例である。図３において、ズレ調整システム５００における手術支援システム１００に対する光調整装置４００の配置状態を示す。光調整装置４００は、図３に示すように、箱状の筐体４０１の一面に、手術支援システム１００の撮像及び投影動作の対象となる投影面４０２を備えるとともに、筐体４０１内部に光源を備えた装置である。図４Ａに示すように、光調整装置４００の投影面４０２は、筐体４０１内部から出射するＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）光３４０の出射面でもある。図４Ｂは、光調整装置４００の筐体４０１の内部構造を示す。図４Ｂに示すように、光調整装置４００は、白色ＬＥＤ４１０と、拡散板４２０と、開口マスク４３０と、スクリーン材４４０と、保護ガラス４５０とを備える。光調整装置４００の筐体４０１内部では、白色ＬＥＤ４１０と、拡散板４２０と、開口マスク４３０と、スクリーン材４４０と、保護ガラス４５０とが順に重ね合わされた構造を有する。

白色ＬＥＤ４１０は、白色のＬＥＤ光３４０を発光する半導体発光素子である。白色ＬＥＤ４１０が発光する光の波長スペクトルは、可視光領域のみならず、非可視光領域（赤外領域を含む）も含む。本開示では、光調整装置４００の光源として白色ＬＥＤ４１０を用いるが、これに限定されない。白色ＬＥＤ４１０に代えて、可視光成分および非可視光成分（赤外波長成分を含む）を含むスペクトルを有する光源を用いてもよい。例えば、単色ＬＥＤ等の可視光のみを発光する発光素子と赤外光のみを発光する発光素子との双方を筐体４０１の内部に配置して、光源を構成してもよい。また、可視光と赤外光とを同軸で出射可能な任意の光源を用いてもよい。

拡散板４２０は、例えばすりガラス状の粗面を有する樹脂板で構成される。拡散板４２０は、筐体４０１内部で白色ＬＥＤ４１０に対向して配置される。拡散板４２０は、白色ＬＥＤ４１０から出射する光の輝度ムラを低減して面発光させる。なお、光調整装置４００は、拡散板４２０を備えなくてもよい。

開口マスク４３０は、遮光面４７０内に開口４６０が設けられた遮光部材である。開口マスク４３０は、光調整装置４００の筐体４０１内部で、拡散板４２０を介して白色ＬＥＤ４１０に対向して配置される。開口４６０は、白色ＬＥＤ４１０と対向する所定サイズの孔であって、白色ＬＥＤ４１０から発光した光は開口４６０を通過する。遮光面４７０は、開口４６０を取り囲み、白色ＬＥＤ４１０から入射した光を遮光する。開口４６０のサイズや、開口マスク４３０における遮光面４７０上の場所は、測定の目的に応じて決定される。例えば、ズレが２ｍｍ以下であるか否かを確認するために、２ｍｍ以下のサイズの開口４６０を開口マスク４３０に形成する。

スクリーン材４４０は、光散乱性のシート状部材であり、一方の主面に投影面４０２を有する。スクリーン材４４０は、投影面４０２でない主面を開口マスク４３０に向けて、開口マスク４３０に対向して配置される。白色ＬＥＤ４１０から発光した光の少なくとも可視光成分は、スクリーン材４４０で散乱する。これにより、図４Ａに示すように、白色ＬＥＤ４１０から発光した光が照射され、出射する領域である基準領域Ｒａの視野角が拡がり、人間が視認し易くできる。白色ＬＥＤ４１０に照射される基準領域Ｒａは、開口４６０の設定に応じたサイズで形成され、後述するズレ調整方法において位置ズレを視認するための基準となる。

スクリーン材４４０の材料は、例えば、紙である。紙の色は任意であり、照射するレーザ光の色に応じて視認が容易となる色（例えば補色）であってもよい。また、スクリーン材４４０の材料としては、紙に代えて布であってもよい。スクリーン材４４０の材料は、入射光の少なくとも一部の可視光成分を散乱し、赤外波長成分の散乱率が小さい任意の材料であってもよい。

保護ガラス４５０は、スクリーン材４４０をキズから保護するガラス部材である。なお、光調整装置４００は、スクリーン材４４０及び保護ガラス４５０を備えなくてもよい。

３−３．光調整装置を用いたズレ調整方法
次に、光調整装置４００を用いたズレ調整方法について、図３及び図５Ａ〜５Ｅを用いて説明する。図５Ａ〜５Ｅは、光調整装置４００によるズレ調整を説明するための図である。図５Ａは、ズレ調整中の光調整装置４００の斜視図である。図５Ｂは、ズレ未調整時の投影面４０２の状態の一例を示す。図５Ｃは、図５Ｂの例における投影用の画像を示す。図５Ｄは、図５Ｃの画像をズレ調整した投影用の画像を示す。図５Ｅは、ズレ調整後の投影面４０２の状態の一例を示す。

本調整方法は、例えば、メーカーの調整作業者が、撮像照射装置２００或いは手術支援システム１００の製造段階における調整作業として行う。この場合、撮像照射装置２００或いは手術支援システム１００の出荷品は、すでに調整済みの状態である。また、本調整方法は、製造段階ですでに調整済みであっても、実際の手術の直前に、念のための確認作業として行うこともできる。

本調整方法を行う際に、図３に示すように、調整作業者は、光調整装置４００を、撮像照射装置２００の直下であって、赤外カメラ２１０の撮像面及び可視レーザ光３２０の照射口と対向した位置に配置する。このとき、例えば、撮像照射装置２００と手術台１１０との間の距離（高さ）の許容範囲である高さ許容範囲を１０００ｍｍ±３００ｍｍとした場合、撮像照射装置２００の下面からの距離が１０００ｍｍの位置に光調整装置４００が配置される。

光調整装置４００を配置した後に、調整作業者は、白色ＬＥＤ４１０からＬＥＤ光３４０を照射する。

ＬＥＤ光３４０は開口マスク４３０を介してスクリーン材４４０に入射し、投影面４０２における基準領域Ｒａから出射する。スクリーン材４４０において、ＬＥＤ光３４０の可視光成分は散乱光を生じる。ＬＥＤ光３４０の可視光成分の散乱光は、投影面４０２上で基準領域Ｒａを示す画像（以下、「基準領域画像」Ｒａという）を形成する（図４Ａ，図４Ｂ参照）。

白色ＬＥＤ４１０で発光したＬＥＤ光３４０は、赤外領域の波長帯成分を含む。ＬＥＤ光３４０のうちの赤外領域の波長帯成分は、手術支援システム１００のダイクロイックミラー２１１を透過する。

手術支援システム１００は、光調整装置４００の投影面４０２を撮像及び投影の対象として、上述した投影動作を行う。手術支援システム１００において、赤外カメラ２１０は、ダイクロイックミラー２１１を透過した光を受光して投影面４０２の画像を撮像する。そのため、赤外カメラ２１０は、赤外領域の波長帯成分を含んで発光している基準領域Ｒａの画像を撮像する。赤外カメラ２１０は、撮像画像を制御装置（調整部）２３０に伝送する。

制御装置２３０は、赤外カメラ２１０から伝送された撮像画像に基づいて、例えば撮像画像の一頂点からのＸＹ座標を算出することにより、赤外領域の波長帯で発光している基準領域画像Ｒａの座標を示す情報を取得する。制御装置２３０は、赤外カメラ２１０から伝送される撮像画像における座標と、可視レーザ光３２０を照射する走査座標とを、例えば画像データ上で１対１に対応付けて管理している。制御装置２３０は、取得した座標に対応する走査座標に可視レーザ光の照射を行うように、ＭＥＭＳミラー２２１を制御する。

投影部２２０は、光調整装置４００からの赤外発光に応じて光調整装置４００に対して可視レーザ光３２０を照射することで、図５Ａに示すように、投影面４０２上に投影画像Ｒｂを投影する。その結果、光調整装置４００の投影面４０２上には、撮像照射装置２００の撮像対象となる基準領域画像Ｒａと、撮像照射装置２００による投影画像Ｒｂとがそれぞれ可視光で映り、調整作業者は、両者を合わせて視認することができる。

ここで、ＬＥＤ光３４０による基準領域画像Ｒａと、可視レーザ光３２０による投影画像Ｒｂの投影領域とは本来一致するべきである。しかし、実際には組み立て誤差等により、両者の位置にズレが発生することがある。このような場合に、光調整装置４００によると、図５Ｂに示すように、基準領域画像Ｒａの位置と投影画像Ｒｂの位置との間の位置ズレΔｘ、Δｙを視認できる。

以下、図５Ｂに示すような位置ズレΔｘ、Δｙに対する調整作業について、説明する。

最初、制御装置２３０は、ズレ未調整時の可視レーザ光３２０の照射位置（すなわち、ＭＥＭＳミラー２２１の走査位置）を示す情報をメモリ２４０に記憶する。このとき、制御装置２３０は、図５Ｃに示すように、基準領域画像Ｒａの撮像結果に基づく投影画像Ｒｂ１が配置された画像Ｄｂを示す映像信号を生成する。この映像信号に基づき可視レーザ光３２０による投影画像Ｒｂが投影面４０２に投影されるが、投影画像Ｒｂは、図５Ｂに示すように基準領域画像Ｒａからずれた位置に投影される。制御装置２３０は、ズレ未調整時の画像Ｄｂ上の投影画像Ｒｂ１の位置Ｐ１をメモリ２４０に記憶する。この位置（走査位置）Ｐ１を、以下では「未調整位置」と呼ぶ。

調整作業者は、投影面４０２に映し出された基準領域画像Ｒａと投影画像Ｒｂとを目視しながら比較して、両者の位置が一致するように、操作部（不図示）等を用いて制御装置２３０にシフト量を入力する。具体的には、Ｘ軸上やＹ軸上で投影画像をシフトするための移動量に関する情報を制御装置２３０に入力する。

制御装置２３０は、入力された情報に基づいて可視レーザ光３２０の照射位置（ＭＥＭＳミラー２２１による走査位置）を変更するように、投影部２２０を制御する。例えば、制御装置２３０は、移動量を示す入力情報に基づいて、図５Ｄに示すように画像Ｄｂにおける照射位置を、未調整位置Ｐ１から入力情報が示す移動量Δｘｄ，Δｙｄだけシフトする。画像上の移動量Δｘｄ，Δｙｄは、投影面４０２上の実際の位置ズレ量Δｘ，Δｙに対応した値である。このような調整により、図５Ｅに示すように、調整後の照射位置Ｐ２に対応する投影面４０２上の位置に投影画像Ｒｂ２が投影され、基準領域画像Ｒａと一致するようになる。

以上の作業は、例えば、調整作業者が投影面４０２に映し出された基準領域画像Ｒａと投影画像Ｒｂ２とが一致したと判断するまで行われる。

調整作業を完了する際に、制御装置２３０は、画像Ｄｂ上の最終的な照射位置Ｐ２（すなわち、ＭＥＭＳミラー２２１の走査位置）を、メモリ２４０に記憶する。この照射位置（走査位置）Ｐ２を、以下では「調整済位置」と呼ぶ。

制御装置２３０は、メモリ２４０に記憶した未調整位置Ｐ１と調整済位置Ｐ２とに基づいて、ズレ補正量を算出する。具体的には、未調整位置Ｐ１と調整済位置Ｐ２との差分をズレ補正量として算出する。図５Ｂ〜５Ｅの例では、移動量Δｘｄ，Δｙｄがズレ補正量としてメモリ２４０に記憶される。

以上のズレ調整を行った後、制御装置２３０は、可視レーザ光３２０の照射位置を、メモリ２４０に記憶されたズレ補正量に基づき補正して、投影画像を投影させる。これにより、投影対象上に精度よく投影画像が投影される。

３−４．光調整装置４００の応用例
光調整装置４００に映し出された基準領域画像と投影画像とから、位置ズレ量が許容誤差の範囲内であるか否かを確認できる。以下、この許容誤差の確認方法について、図６を用いて説明する。図６は、図３に示す配置で光調整装置４００を使用した場合における投影面４０２の状態の一例を示す。

図６に示す円形の基準領域画像Ｒａの直径Ｌａは、手術支援システム１００の仕様による所定の許容誤差と一致するように設定されているとする。直径Ｌａは、開口マスク４３０の開口４６０の寸法によって設定される（図４Ａ，図４Ｂ参照）。例えば、手術支援システム１００の仕様が許容誤差２ｍｍの投影精度を要求する場合、直径Ｌａは２ｍｍに設定される。また、図６に示す一例では、投影画像Ｒｂの投影倍率の誤差はないとする。

図６に示すように、基準領域画像Ｒａと投影画像Ｒｂとが一部で重なる場合、基準領域画像Ｒａと投影画像Ｒｂとの位置ズレΔＬは直径Ｌａ以下となる。そのため、手術支援システム１００の投影精度は、許容誤差の範囲内である。一方、基準領域画像Ｒａと投影画像Ｒｂとに重なる部分がない場合、位置ズレΔＬは直径Ｌａよりも大きいので、投影精度は許容誤差の範囲外であると判断できる。よって、光調整装置４００の使用者は基準領域画像Ｒａと投影画像Ｒｂとの少なくとも一部が重なっているか否かを視認することにより、位置ズレが許容誤差の範囲内か否かを容易に確認することができる。位置ズレが許容誤差の範囲内であることが確認された場合、上述したズレ調整のための制御装置２３０の操作等を省略してもよい。

また、以上の説明において、基準領域画像Ｒａの形状は円形としたが、基準領域画像Ｒａの形状は特に限定されず、楕円形、三角形や四角形などの多角形、またはその他の形状であってもよい。また、１つの投影面４０２に複数の基準領域を形成するようにしてもよい。一例として、基準領域画像が四角形の場合におけるズレ調整方法について、図７Ａ〜７Ｃを用いて説明する。

図７Ａは、開口マスク４３０’の平面図である。図７Ｂは、開口マスク４３０’を用いて白色ＬＥＤ４１０による発光像を投影面４０２に映した状態を示す。図７Ｃは、図７Ｂに示す投影面４０２に対して、図３に示す配置で手術支援システム１００の投影動作を行った状態を示す。

図７Ａに示すように、四角形の開口４６０’を有する開口マスク４３０’を用いることにより、図７Ｂに示すように、投影面４０２において四角形の基準領域画像Ｒａ’が映し出される。この場合、基準領域画像Ｒａ’と投影画像Ｒｂ’との向きが異なるか否かを目視で確認できる。例えば、図７Ｃに示すように、基準領域画像Ｒａ’と投影画像Ｒｂ’との一頂点を比較することにより、角度ズレΔθを視認できる。そのため、位置ズレΔｘ，Δｙに対する調整と同様に、角度ズレΔθを視認しながら調整することができる。

３−５．効果等
以上のように、本実施形態において、ズレ調整システム５００は、光調整装置４００と、赤外カメラ２５０と、投影部２２０とを備える。光調整装置４００は、基準領域Ｒａを含む投影面４０２を有し、基準領域Ｒａから非可視光と可視光を含むＬＥＤ光３４０を照射する。赤外カメラ２５０は、非可視光を受光して投影面４０２を撮像する。投影部２２０は、赤外カメラ２５０が撮像した撮像画像に基づいて投影面４０２に可視光の投影画像Ｒｂを投影する。

これにより、光調整装置４００の投影面４００に含まれる基準領域ＲａからＬＥＤ光が可視光を含んで照射されるとともに、基準領域Ｒａの撮像画像に基づく可視光の投影画像Ｒｂが投影面４０２に投影される。そのため、投影面４０２における被写体である基準領域Ｒａとその投影画像Ｒｂとのズレが可視化され、被写体を撮像して投影画像を投影する投影システムにおける被写体とその投影画像とのズレを容易に調整できる。

また、ズレ調整方法は、手術支援システム１００において、患部１４０に投影される投影画像Ｇ３２０を調整するための調整方法である。手術支援システム１００は、赤外蛍光３１０を受光して患部１４０を撮像する赤外カメラ２１０と、患部１４０の撮像画像に基づいて可視光の投影画像Ｇ３２０を生成し、患部１４０上に投影する投影部２２０とを有する。ズレ調整方法は、手術支援システム１００の撮像及び投影動作の対象となる投影面４０２における基準領域Ｒａに、可視光成分及び赤外波長成分（波長８５０ｎｍを含む）を含むスペクトルを有するＬＥＤ光３４０を照射するステップを含む。ズレ調整方法は、赤外カメラ２１０によって、投影面４０２の基準領域Ｒａを撮像するステップを含む。ズレ調整方法は、投影部２２０によって、撮像された投影面４０２の基準領域Ｒａに基づく投影画像Ｒｂを、投影面４０２に投影するステップを含む。ズレ調整方法は、投影面４０２において、基準領域Ｒａと投影画像Ｒｂとを比較するステップを含む。ズレ調整方法は、比較結果に基づいて、投影画像Ｒｂの位置を調整するステップを含む。

また、本実施形態において、光調整装置４００は、手術支援システム１００において、患部１４０に投影される投影画像Ｇ３２０を調整するための調整装置である。光調整装置４００は、白色ＬＥＤ４１０と、投影面４０２とを備える。白色ＬＥＤ４１０は、可視光成分及び赤外波長成分（波長８５０ｎｍを含む）を含むスペクトルを有するＬＥＤ光３４０を照射する。投影面４０２は、白色ＬＥＤ４１０から（白色）ＬＥＤ光３４０を照射される所定の基準領域Ｒａを有し、手術支援システム１００の撮像及び投影動作の対象となる。

これにより、実際の手術においてはＩＣＧの蛍光である赤外蛍光３１０を検出した領域に対して可視レーザ光３２０を照射するが、調整作業時には、光調整装置４００の白色ＬＥＤ４１０に含まれる赤外光をＩＣＧの赤外蛍光に見立てて行う。これにより、可視光レーザ２２２の照射位置と赤外カメラ２１０の撮像位置とのズレが投影面４０２上で可視化され、ズレを容易に調整することができる。その結果、赤外カメラ２１０により検出され特定された患部１４０の領域に対して可視レーザ光３２０を的確に照射することが可能となる。

なお、上記の説明において、投影面４０２はスクリーン材４４０の主面であったが、これに限らず、例えば、スクリーン材４４０を備えない光調整装置において、開口マスク４３０の遮光面４７０を投影面としてもよい。この場合においても、開口４６０によってＬＥＤ光３４０を出射する基準領域が形成される。

また、上記の説明において、基準領域Ｒａは開口４６０によって形成されたが、これに限らず、反射鏡やレンズ等を用いてＬＥＤ光３４０を導光して投影面４０２に入射することで、基準領域を形成してもよい。

また、上記の説明において、ズレ補正量に基づく信号処理で投影画像を調整した。しかし、本実施形態に係るズレ調整方法はこれに限らず、例えば、光調整装置４００の投影面４０２を目視しながら、赤外カメラ２１０や可視光レーザ２２２等の物理的配置を調整してもよい。

また、上記の説明において、調査作業者が、操作部を操作することにより、基準領域Ｒａと投影画像Ｒｂとの位置合わせを行うようにしたが、これに限定されない。制御装置２３０が、投影面において基準領域Ｒａと投影画像Ｒｂとを比較し、その比較結果に基づいて、投影画像の位置を調整してもよい。可視光カメラにより投影面４０２を撮像して、基準領域Ｒａおよび可視光領域Ｒｂの位置を特定して、制御装置２３０が位置合わせを行うようにしてもよい。例えば、可視光カメラの撮像画像上のドット数を計数して補正量に換算してもよい。制御装置２３０がこのような処理を所定のプログラムを用いて実行してもよい。

また、上記の説明において、ズレ補正量として、ΔｘｄおよびΔｙｄをメモリ２４０に記憶する場合を説明したが、これに限定されない。基準領域Ｒａと投影画像Ｒｂとの位置合わせにおいて、回転角度θを変更したり、投影倍率Ｚを変更したりした場合には、補正量ΔθｄおよびΔＺｄをメモリ２４０に記憶してもよい。なお、投影倍率Ｚ及びその補正量ΔＺｄは、投影画像を投影するためのズームレンズ等の光学系によるズーム値で設定されてもよいし、投影画像の信号処理におけるデジタル値で設定されてもよい。

例えば、補正量Δθｄは、図７Ａに示す角度ズレΔθに基づいて抽出できる。また、図７Ａに示す基準領域Ｒａ’と投影画像Ｒｂ’の２頂点間の距離等を比較することにより、補正量ΔＺｄを抽出できる。さらに、例えば光調整装置４００の配置を替えて可視光カメラで撮像し、それぞれ基準領域画像Ｒａと投影画像Ｒｂとを比較することにより、投影画像の歪みを抽出して補正してもよい。

また、上記の説明において、１つの光調整装置４００を利用してズレを調整しているが、複数の光調整装置４００を用いて行ってもよい。これにより、光調整装置４００の配置を替えることなくできるため、調整時間の短縮および調整の精度を向上させることができる。

また、上記の説明において、投影部２２０が可視光レーザ２２２を有し、レーザ照射を走査する場合においてズレ調整方法を説明したが、投影画像の投影方式はこれに限らず、他の方式で投影画像を投影する場合においても光調整装置４００を用いたズレ調整方法を行うことができる。

４．レーザ走査式プロジェクションによる走査動作
４−１．走査動作の概要
手術支援システム１００を用いた手術においては、無影灯１２０による照明や、医師の頭部に装着される照明など、高照度（３万〜１０万ルクス）の照明装置が合わせて利用されることがある。通常のプロジェクタ装置に用いられる光源では、数百ルクス程度と照度が低く、高照度環境下では投影映像が目立たず視認できなくなってしまう。一方、高照度環境に合わせて単純に高い照度の光を投影映像に用いると、高照度の光が患部１４０の同じ領域に連続して当たり続け、損傷を起こす危険性がある。つまり、無影灯等の高照度環境下で患部等の投影対象に投影映像を投影する場合に、投影対象を損傷する危険性なく投影映像を視認し易くすることが困難であるという問題があった。

そこで、本発明者は、安全性を考慮しながらも、高照度環境下でも視認容易とするため、手術支援システム１００において、可視光レーザ２２２とＭＥＭＳミラー２２１とを構える投影部２２０を用いたレーザ走査式プロジェクションを採用することを考案した。具体的には、可視光レーザ２２２により高照度の光を供給可能としながらも、ＭＥＭＳミラー２２１により、赤外カメラ２１０で検出して特定した患部１４０の領域の内部又は境界のみに対して、可視レーザ光３２０を走査させる。これにより、安全性を考慮しながらも、高照度環境下でも、投影映像の視認を容易にすることができる。

４−２．走査動作の詳細
以下、可視光レーザ２２２およびＭＥＭＳミラー２２１による走査動作について、図１、図８Ａ，８Ｂおよび図９を用いて説明する。図８Ａ，８Ｂは、ズレ調整前後の赤外蛍光３１０と可視レーザ光３２０を説明するための図である。図９は、可視光レーザ２２２及びＭＥＭＳミラー２２１による走査パターンを説明するための図である。

図１に示すように、患者１３０を載せた手術台１１０は、撮像照射装置２００の直下であって、赤外カメラ２１０の撮像面や、可視レーザ光３２０の照射口と対向した位置に配置される。このとき、赤外カメラ２１０の焦点距離に基づく許容範囲を、例えば１０００ｍｍ±３００ｍｍとしたとき、撮像照射装置２００の下面からの距離が１０００ｍｍになる位置に患者１３０の体軸が位置するように、撮像照射装置２００の使用高さ或いは、手術台１１０の使用高さが調整される。

患者１３０の血液中にはＩＣＧが投与済みであり、ＩＣＧは患部１４０に蓄積されているとする。患者１３０は、患部１４０に対してメスを入れる体部を上面にして、手術台１１０の上に載っている状態で、手術支援システム１００の動作を開始する。

まず、制御装置２３０は、赤外励起光源２５０を制御して、患者１３０の患部１４０付近の術野１３５に対して、ＩＣＧの励起波長８００ｎｍを中心としてその前後の赤外励起光３００を照射させる。患部１４０に蓄積されたＩＣＧは、赤外励起光３００により励起反応を起こし、ピーク波長８５０ｎｍ付近の赤外蛍光３１０を発光する。患部１４０に蓄積されたＩＣＧから発光した赤外蛍光３１０の一部は、ダイクロイックミラー２１１を透過する。赤外カメラ２１０は、ダイクロイックミラー２１１を透過した赤外蛍光３１０を受光して術野１３５を撮像する。そのため、赤外カメラ２１０によって撮像された画像には、赤外蛍光３１０を発光する赤外蛍光領域Ｒ３１０が写り込むことになる。赤外カメラ２１０は、撮像画像を制御装置２３０に伝送する。

制御装置２３０は、赤外カメラ２１０から伝送された撮像画像に基づいて、赤外蛍光３１０の発光領域の座標（例えば、撮像画像の一頂点からのＸＹ座標）を特定する。このとき、制御装置２３０は、メモリ２４０に記憶されたズレ補正量であるΔｘ、Δｙを読み出す。さらに、制御装置２３０は、赤外カメラ２１０から伝送された撮像画像に基づき特定した座標に対して、メモリ２４０から読み出したズレ補正量の分を補正した補正座標を演算する。制御装置２３０は、赤外カメラ２１０から伝送される撮像画像における座標の補正座標に対応する走査座標に予め設定されたレーザ走査パターンで可視レーザ光３２０を照射するように、ＭＥＭＳミラー２２１を制御する。レーザ走査パターンについての詳細は後述する。

図８Ａは、ズレ補正量に基づく補正をしなかった場合の、ＩＣＧの赤外蛍光３１０の赤外蛍光領域Ｒ３１０および、可視レーザ光３２０による投影領域Ｒ３２０’を示す。ズレ補正量の分を補正した補正座標を用いなかった場合には、可視レーザ光３２０は、ＩＣＧの赤外蛍光領域Ｒ３１０からΔｘ、Δｙの分ズレた位置に照射されてしまうことになる。

一方、図８Ｂは、ズレ補正量に基づく補正をした場合の、ＩＣＧの赤外蛍光３１０の赤外蛍光領域Ｒ３１０および可視レーザ光３２０による投影領域Ｒ３２０を示す。ズレ補正量の分を補正した補正座標を用いた場合には、可視レーザ光３２０は、ＩＣＧの赤外蛍光領域Ｒ３１０に対して、的確に照射される。

以上のように、補正座標を用いることで、赤外蛍光３１０を発光する患部１４０の領域に対して、可視レーザ光３２０を的確に照射することが可能となる。

続いて、可視光レーザ２２２およびＭＥＭＳミラー２２１によるレーザ走査パターンについて説明する。図９において、手術支援システム１００でレーザ走査パターンとして選択できるラスター走査および、ベクター走査を示す。

ラスター走査は、赤外蛍光３１０を発光する患部１４０の領域内部のみに対して、面を塗るようにして、可視レーザ光３２０の往復照射動作を行う走査パターンである。図９に示すラスター走査では、照度倍率は１倍に設定される。２５ルーメンで発振したときにおいて、照射面照度は、照射面積が最大値（１００ｍｍ四方時）を取るときに約０．２５万ルクス、照射面積が最小値（１０ｍｍ四方時）を取るときに約２５万ルクスとなる。

ベクター走査は、赤外蛍光３１０を発光する患部１４０の領域の境界のみに対して、線を描くようにして、可視レーザ光３２０の照射動作を行う走査パターンである。図９に示すベクター走査では、照度倍率は２０倍に設定される。２５ルーメンで発振したときにおいて、照射面照度は、照射面積が最大値（１００ｍｍ四方時）を取るときに約５万ルクス、照射面積が最小値（１０ｍｍ四方時）を取るときに約５００万ルクスとなる。

医師は、手術内容等に応じて、操作部（不図示）を操作することにより、ラスター走査による可視光レーザ照射を行うか、ベクター走査による可視光レーザ照射を行うかを切り替え設定することができる。

なお、図９では、走査パターンとして、ラスター走査および、ベクター走査を例示しているが、これに限定されない。例えば、ラスター走査の派生パターンとして、赤外蛍光３１０を発光する患部１４０の領域内部のみに対して走査するのであるが、適宜走査の間引きを行ったパターンを採用してもよい。或いは、ラスター走査或いはベクター走査の派生パターンとして、同じ部位に対して連続して複数回の走査を行ってから、他の部位へと照射位置をシフトさせるパターンを採用してもよい。

制御装置２３０は、投影部２２０に、設定された走査パターンに基づいて、赤外蛍光３１０を発光する患部１４０の領域に可視レーザ光３２０を照射して、投影映像を投影させる。このとき、制御装置２３０は、設定された走査パターンに基づいて、可視光レーザ照射を行うようにＭＥＭＳミラー２２１を制御する。制御装置２３０は、赤外蛍光３１０を発光する患部１４０の領域の面内或いは、境界に対する走査が一巡した後も連続して走査動作を継続する。

４−３．効果等
以上のように、本実施の形態において、手術支援システム１００は、赤外カメラ２１０と、投影部２２０と、制御装置２３０とを備える。赤外カメラ２１０は、患部１４０を撮像する。投影部２２０は、赤外カメラ２１０によって撮像された撮像画像に基づいて、可視光の投影画像Ｇ３２０を生成して、患部１４０に投影する。制御装置２３０は、赤外カメラ２１０及び投影部２２０の動作を制御する。投影部２２０は、可視光のレーザ光線である可視レーザ光３２０を照射する可視光レーザ２２２を備える。制御装置２３０は、投影画像Ｇ３２０を投影する投影領域Ｒ３２０において、所定の走査パターンで可視レーザ光３２０を走査するように、投影部２２０を制御する。

手術支援システム１００によると、照射光源として高照度なレーザ光源を用いるため、無影灯１２０などの他の照明装置による高照度環境下であっても、視認性を高めることができる。更に、所定の走査パターンで特定の領域の内部或いは境界のみに対して走査を行うため、広範な領域に対して照射することに比べて照度を得ることができ、視認性を高めることができる。また、高照度な可視レーザ光３２０を、同一箇所に照射し続けるのではなく、照射位置を走査させる。これにより、安全性を考慮しながらも、高照度環境下でも視認容易とする手術支援システム１００を提供することができる。

走査パターンは、投影領域Ｒ３２０の内部で可視レーザ光３２０を走査するラスター走査であってもよい。また、走査パターンは、投影領域Ｒ３２０の境界に沿って可視レーザ光３２０を走査するベクター走査であってもよい。

投影部２２０は、可視レーザ光３２０を反射する複数の微小鏡面を有するＭＥＭＳミラー２２１をさらに備えてもよい。制御装置２３０は、ＭＥＭＳミラー２２１の各微小鏡面の傾斜角度を変更して可視レーザ光３２０を走査するように、投影部２２０を制御してもよい。これにより、可視レーザ光３２０の走査における処理量を低減できる。

５．患部の検出に応じた切断補助線の投影動作
５−１．切断補助線の投影動作の概要
医師は、患部１４０の手術を開始するにあたって、メスを入れる切断位置を判断する必要がある。そのため、医師は、患部１４０とメスを入れる切断位置との関係を画像解析装置等により確認するという作業をしている。このとき、医師は、患部１４０に対して一定距離の余裕を見てメスを入れるよう切断位置の計画を立てる。そして、医師は、計画した切断位置を頭に記憶しておいて、手術に臨む。

しかしながら、手術の開始前に計画を立てた切断位置を正確に再現することは容易ではなく、医師に負担がかかっていた。また、手術開始にあたって時間を費やしてしまう原因になっていた。

そこで、発明者は、ＩＣＧを蓄積した患部１４０の領域を表示する可視光の投影画像Ｇ３２０の投影に加えて、メスを入れる切断位置の判断を支援する切断補助線３２１を投影することを発案するに至った。これにより、手術の開始前に計画を立てた切断位置の再現を支援することができ、医師の負担を軽減することが可能となる。また、手術開始にあたって費やしていた時間を短縮することができる。

５−２．切断補助線の投影動作の詳細
以下、患部１４０の検出に応じた切断補助線３２１の投影動作について、図１０、図１１Ａ，１１Ｂを用いて説明する。図１０は、患部１４０の検出に応じた切断補助線３２１の投影動作を示すフローチャートである。図１１Ａ，１１Ｂは、患部１４０の検出に応じた切断補助線３２１の投影動作を説明するための図である。

ここでは、医師が、手術支援システム１００でサポートする手術を開始するに先立って、患部１４０に対して一定距離の余裕（以下、「切断余裕幅」と称する）を見てメスを入れるように切断位置の計画を立てたこととする。そして、医師は、計画した切断余裕幅を、操作部（不図示）を用いて、手術支援システム１００に入力したこととする。例えば、計画した切断余裕幅が２センチメートルであれば、医師は、手術支援システム１００に、切断余裕幅は２センチメートルであるという切断補助線の条件を示す情報を入力する。手術支援システム１００の制御装置２３０は、入力された情報に基づいて、切断余裕幅をメモリ２４０に記憶させる。

図１０に示すフローは、上記の切断補助線の条件を示す情報がメモリ２４０に記憶された状態で、手術支援システム１００でサポートする手術を開始するときに開始される。

まず、制御装置２３０は、メモリ２４０に記憶された切断余裕幅等を読み出して、切断補助線の条件を取得する（Ｓ４００）。

次に、制御装置２３０は、赤外カメラ２１０に、赤外励起光３００に反応してＩＣＧから発光される赤外蛍光３１０の蛍光像を撮像させる（Ｓ４０１）。このとき、制御装置２３０は、赤外カメラ２１０から伝送される撮像画像から、赤外蛍光を発光している領域の座標を特定する。さらに、制御装置２３０は、ズレ補正量をメモリ２４０から読み出し、赤外カメラ２１０から伝送された撮像画像に基づき特定した座標に対して、ズレ補正量の分を補正した補正座標を演算する。このようにして、制御装置２３０は、患部１４０の赤外蛍光領域Ｒ３１０を検出する。

次に、制御装置２３０は、演算した補正座標に基づいて、可視レーザ光３２０の照射を開始する（Ｓ４０２）。このとき、制御装置２３０は、検出した赤外蛍光領域Ｒ３１０と、ステップＳ４００において取得した切断余裕幅とに基づいて、切断補助線３２１を投影する位置を算出する。そして、制御装置２３０は、患部１４０であると特定した領域に対するレーザ走査を行うとともに、患部１４０であると特定した領域から切断余裕幅だけ離した位置に切断補助線３２１を照射するようＭＥＭＳミラー２２１を制御する。

また、ステップＳ４０２の処理において、制御装置２３０は、ＴＯＦセンサ２６０が検出している距離情報に基づいて、投影倍率を調整する。切断余裕幅を２センチメートルと設定していた場合には、制御装置２３０は、患部１４０であると特定した領域から２センチメートルだけ離した位置に切断補助線３２１を照射するようＭＥＭＳミラー２２１を制御する。これにより、患部１４０であると特定した領域の周囲には、患部１４０であると特定した領域に相似するよう２センチメートルだけ離れた位置に切断補助線３２１が投影される。切断補助線３２１の投影について、図１１Ａ，１１Ｂを用いてより詳細に説明する。

図１１Ａは、第１の切断余裕幅Ｗ１が設定された場合における、患部１４０の検出に応じた切断補助線３２１の投影動作が行われた状態の術野１３５を示す。図１１Ｂは、第２の切断余裕幅Ｗ２が設定された場合における、患部１４０の検出に応じた切断補助線３２１の投影動作が行われた状態の術野１３５を示す。第２の切断余裕幅Ｗ２は、第１の切断余裕幅Ｗ１とよりも大きい値に設定されたこととする。

図１１Ａ，１１Ｂにおいて、可視光の投影画像Ｇ３２０は、撮像画像における赤外蛍光３１０の検出により、術野１３５において、赤外蛍光３１０を発光する患部１４０の赤外蛍光領域Ｒ３１０に投影されている。制御装置２３０は、投影画像Ｇ３２０の照射位置に加えて、ＴＯＦセンサ２６０によって検出された距離情報に基づいて、術野１３５において切断余裕幅Ｗ１，Ｗ２の間隔をあけて赤外蛍光領域Ｒ３１０を囲むように、切断補助線３２１を投影する可視レーザ光３２０の照射位置を設定する。そのため、図１１Ａ，１１Ｂに示すように、手術支援システム１００は、医師による切断位置の計画（切断余裕幅）に応じて、切断補助線３２１を照射する位置を変更することができる。

図１０に戻り、制御装置２３０は、Ｓ４０１およびＳ４０２の処理を、医師等による操作部からの終了指示がなされるまで繰り返す（Ｓ４０３におけるＮｏ）。終了指示がなされた場合（Ｓ４０３におけるＹｅｓ）、制御装置２３０は、可視レーザ光３２０の照射動作を終了する。

以上の図１０に示すフローの説明において、切断補助線３２１の条件は切断余裕幅Ｗ１，Ｗ２であった。切断補助線３２１の条件はこれに限らず、例えば赤外蛍光３１０の強度分布におけるしきい値であってもよい。この場合、制御装置２３０は、ステップＳ４０２の処理において、赤外カメラ２１０によって撮像された撮像画像と、切断補助線３２１の条件として設定されたしきい値に基づいて、撮像画像における強度分布の境界を抽出し、抽出した境界に切断補助線３２１を投影するように、投影部２２０を制御する。これにより、例えば、臓器の一部分（たとえば肝臓のクイノー分類の一区域）の摘出のために、摘出予定の部分が蛍光発光するように血流等を制限してＩＣＧが投与された場合に、医師等はその臓器の表面上で摘出予定の部分を摘出するための切断位置を視認できる。

また、切断補助線３２１の条件として、赤外蛍光の強度分布におけるしきい値と、切断余裕幅Ｗ１，Ｗ２との双方を用いて、撮像画像における強度分布の境界から、切断余裕幅Ｗ１，Ｗ２だけ間隔を空けた位置に切断補助線３２１を投影するようにしてもよい。また、赤外蛍光の強度分布の境界に切断補助線３２１を投影する場合、制御装置２３０は、特にＴＯＦセンサ２６０の距離情報を用いずに、赤外カメラ２１０の撮像画像の画像解析によって照射位置を決定してもよい。

５−３．効果等
以上のように、本実施の形態において、手術支援システム１００は、赤外カメラ２１０と、投影部２２０と、制御装置２３０とを備える。赤外カメラ２１０は、患部１４０を撮像する。投影部２２０は、可視光の投影画像Ｇ３２０を生成して、患部１４０に投影する。制御装置２３０は、赤外カメラ２１０によって撮像された撮像画像に基づいて、赤外蛍光３１０を発光する患部１４０の赤外蛍光領域Ｒ３１０を検出する。制御装置２３０は、検出した赤外蛍光領域Ｒ３１０を示す投影画像Ｇ３２０を投影するとともに、検出した赤外蛍光領域Ｒ３１０に対して所定の条件に該当する位置に補助線を示す投影画像である切断補助線３２１を投影するように、投影部２２０を制御する。

これにより、手術の開始に先立って医師が入力した切断余裕幅に基づいて、患部１４０であると特定した領域に対する照射に加えて、切断補助線３２１を照射することができる。これにより、手術の開始前に計画を立てた切断位置の再現を支援することができ、医師の負担を軽減することが可能となる。また、手術開始にあたって費やしていた時間を短縮することができる。

また、手術支援システム１００によると、赤外蛍光３１０の発光に基づいて検出した患部１４０の赤外蛍光領域Ｒ３１０に応じて、切断補助線３２１が投影される。そのため、医師等は、術野１３５においてリアルタイムの患部１４０の位置に合致した補助線を視認することができる。

手術支援システム１００において、切断補助線３２１を投影する位置は、撮像画像における赤外蛍光の強度分布に基づいて、強度分布の境界に設定されてもよい。

手術支援システム１００において、所定の条件は、検出した赤外蛍光領域Ｒ３１０からの間隔を示す切断余裕幅Ｗ１，Ｗ２であってもよい。

手術支援システム１００は、患部１４０までの距離を示す距離情報を検出するＴＯＦセンサ２６０をさらに備えてよい。制御装置２３０は、ＴＯＦセンサ２６０によって検出された距離情報に基づいて、検出した赤外蛍光領域Ｒ３１０から切断余裕幅Ｗ１，Ｗ２の間隔をあけた位置に切断補助線３２１を投影してもよい。

なお、上記の説明では、所定の条件である切断余裕幅が２センチメートルと設定されていた場合に、患部１４０であると特定された領域に対して一律に２センチメートル離れた位置に切断補助線３２１を照射するようにしたが、これに限定されない。患部１４０であると特定された領域に対して切断補助線３２１を照射すべき位置は、位置に応じて変化させるようにしてもよい。

また、上記の説明において、患部１４０であると特定した領域に対して可視レーザ光３２０を照射している間、医師等の操作に応じて、切断補助線３２１の照射を適宜ＯＮ／ＯＦＦできるようにしてもよい。ＯＦＦした場合には、切断補助線３２１の照射はなされず、患部１４０であると特定した領域に対する可視レーザ光３２０の照射のみが行われることになる。

また、上記の説明では、手術の開始に先立って、切断補助線３２１の条件（切断余裕幅）を入力するようにしたが、これに限定されない。すなわち、手術中に、医師等の操作に応じて、切断補助線３２１の条件を変更できるようにしてもよい。

６．患部の周辺への手術補助情報の投影動作
６−１．手術補助情報の投影動作の概要
医師は、患者１３０のバイタルデータを適宜確認しながら、手術を行う。バイタルデータには、血圧、心拍数（脈拍数）、酸素濃度、心電図などがある。医師は、バイタルデータを確認することで、患者１３０の容態変化に応じた手術を行うことができる。また、医師は、患者１３０の検査画像を適宜確認しながら、手術を行う。検査画像には、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）、Ｘ線などによる画像がある。医師は、検査画像を確認することで、患者１３０の検査結果に応じた手術を行うことができる。また、医師は、必要に応じて、手術手順や、手術における注意事項などを記載したメモを確認しながら、手術を行う。

以上のように、医師は、バイタルデータ、検査画像、手術手順などの手術補助情報を適宜確認しながら、手術を行う。図１２Ａは、従来における手術の様子を示す図である。手術補助情報は、モニタ１４２に映し出される。医師１４１は、モニタ１４２に映し出される手術補助情報を確認しながら、患者１３０の手術を行う。このとき、医師１４１は、モニタ１４２と患者１３０とで視線移動させながら手術を行うため、医師１４１に負担がかかるとともに、確認時間を費やすことになっていた。

そこで、発明者は、患部１４０であると特定した領域に対する可視光の画像の投影に加えて、患部１４０の周辺に手術補助情報１５１を合わせて投影することを発案するに至った。これにより、医師等は、手術中における視線移動を低減させることができる。その結果、医師等の負担を低減し、確認時間を短縮することが可能となる。

６−２．手術補助情報の投影動作の詳細
以下、患部の周辺への手術補助情報の投影について、図１２Ｂ、図１３Ａ，１３Ｂを用いて説明する。図１２Ｂは、患部１４０の周辺に対する手術補助情報１５１の投影を説明するための図である。図１３Ａ，１３Ｂは、補助スクリーン材１５０上への手術補助情報１５１の投影を説明するための図である。

手術支援システム１００の制御装置２３０は、各種のバイタルデータを取得する医療機器（不図示）と通信可能に接続されている。これにより、制御装置２３０は、通信可能に接続された医療機器から、手術に必要なバイタルデータをリアルタイムに取得する。

また、患者１３０の検査画像データおよび手術手順等のメモは、医師１４１による操作部の操作等により、手術を開始する前に予めメモリ２４０に記憶される。これにより、制御装置２３０は、手術に必要な検査画像データおよび、手術手順等のメモをメモリ２４０から読み出して取得する。

図１２Ｂは、本実施形態にかかる手術補助情報１５１の投影の様子を示す図である。手術を開始するにあたって、医師１４１等は、図１２Ｂに示すように、患者１３０の患部１４０の付近に、手術補助情報１５１を投影する補助スクリーン材１５０を配置する。補助スクリーン材１５０は、投影映像を表示可能な素材であれば、任意の素材を用いてもよい。また、補助スクリーン材１５０は、患部１４０の付近に配置できる寸法であれば、任意の形状、サイズのものを用いてもよい。図１２Ｂに示す例では、医師１４１から見て患部１４０の右方に補助スクリーン材１５０を配置しているが、配置位置はこれに限定されない。手術支援システム１００を使用する医師等の利き腕や、確認のし易さ、或いは手術内容に応じて、患部１４０の周辺の任意の場所に配置してもよい。

図１３Ａは、手術補助情報を投影されていない状態の補助スクリーン材１５０の上面図である。図１３Ａに示すように、補助スクリーン材１５０の上面には、マーカ１５２が付されている。マーカ１５２は、補助スクリーン材１５０上で手術補助情報１５１を表示する領域を示す基準として、補助スクリーン材１５０上で位置決めされている。

手術支援システム１００の制御装置２３０には、カメラ（不図示）が接続されており、当該カメラは補助スクリーン材１５０上に付されたマーカ１５２を撮像する。当該カメラは、マーカ１５２の撮像画像を制御装置２３０に伝送する。当該カメラの撮像画像における撮像領域と、可視光レーザ２２２による手術補助情報の投影領域とは、予めお互いの座標の対応関係がメモリ２４０に記憶されている。制御装置２３０は、メモリ２４０に記憶された対応関係と、伝送されてきた撮像画像からマーカ１５２の位置の検出結果とから、手術補助情報１５１を投影する領域を特定する。そして、制御装置２３０は、特定した領域に対して手術補助情報１５１を投影するように、ＭＥＭＳミラー２２１を制御する。これにより、図１３Ｂに示すように、補助スクリーン材１５０の上面には、手術補助情報１５１を示す投影画像Ｇ１５１が投影される。

手術支援システム１００は、補助スクリーン材１５０への手術補助情報１５１の投影画像Ｇ１５１を、患部１４０であると特定した赤外蛍光領域Ｒ３１０に対する投影画像Ｇ３２０（図２Ｂ参照）とともに投影する。これにより、医師は、手術中における視線移動を低減させることができる。その結果、医師１４１の負担を低減し、確認時間を短縮することが可能となり、手術を支援することができる。

なお、上記の説明では、手術補助情報１５１は、補助スクリーン材１５０上に投影するようにしたが、これに限定されない。補助スクリーン材１５０の上ではなく、手術補助情報１５１を患者１３０の体表に直接投影してもよい。このとき、患者１３０の体表にマーカ１５２を付与するようにしてもよい。

また、上記の説明では、マーカ１５２を撮像するためのカメラを用いたが、これに限定されず、例えば、赤外カメラ２１０でマーカ１５２を撮像してもよい。この場合、例えばマーカ１５２を、ＩＣＧを塗布し、練りこみ、或いは流し込んだ材料で構成する。これにより、赤外カメラ２１０のみで患部１４０とマーカ１５２とを撮像することができる。

また、上記の説明では、マーカ１５２により手術補助情報１５１を投影する領域を特定したが、これに限定されない。すなわち、マーカ１５２を用いずに手術補助情報１５１を投影する領域を特定してもよい。例えば、患部１４０に対して可視レーザ光３２０を照射する位置から、予め医師が設定した距離・方向に離れた位置に手術補助情報１５１を投影するようにしてもよい。

例えば、医師１４１から見て、患部１４０であると特定した領域の最右端から、右方に２０センチメートルの位置に投影するように、予め設定されていたとする。このとき、制御装置２３０は、患部１４０であると特定した領域に対して、予め設定されている位置に手術補助情報１５１を投影するようＭＥＭＳミラー２２１を制御する。これにより、医師１４１にとって確認しやすい任意の場所に手術補助情報１５１を投影することができる。なお、制御装置２３０は、ＴＯＦセンサ２６０によって検出される距離情報に基づいて、術野１３５において手術補助情報１５１を投影する位置を算出してもよい。

６−３．効果等
以上のように、本実施の形態において、手術支援システム１００は、赤外カメラ２１０と、投影部２２０と、制御装置２３０とを備える。赤外カメラ２１０は、患部１０４を撮像する。投影部２２０は、可視光の投影画像Ｇ３２０を生成して、患部１４０に投影する。制御装置２３０は、赤外カメラ２１０によって撮像された撮像画像に基づいて、投影部２２０の投影動作を制御する。投影部２２０は、撮像された患部１４０を示す投影画像Ｇ３２０を投影するとともに、患部１０４に対する手術に関する情報である手術補助情報１５１を示す投影画像Ｇ１５１を患部１０４の近傍に投影するように、投影部２２０を制御する。

これにより、患部１０４の近傍に投影画像Ｇ１５１が投影され、医師等が手術補助情報１５１を確認する際の患部１４０からの視線移動を減らして、手術中の医師等の負担を軽減することができる。

また、手術支援システム１００は、患部１４０の近傍に配置され、マーカ１５２を有する補助スクリーン材１５０をさらに備えてもよい。この場合、制御装置２３０は、マーカ１５２の位置を基準として補助スクリーン材１５０上に投影画像Ｇ１５１を投影する。手術支援システム１００は、マーカ１５２を撮像するカメラをさらに備えてもよいし、赤外カメラ２１０でマーカ１５２を撮像するようにしてもよい。

また、手術支援システム１００は、手術補助情報１５１を記憶するメモリ２４０をさらに備えてもよい。また、制御装置２３０は、外部機器との通信により、手術補助情報１５１を取得してもよい。

また、手術支援システム１００は、患部１４０までの距離を示す距離情報を検出するＴＯＦセンサ２６０などの距離検出部をさらに備えてもよい。制御装置２３０は、検出された距離情報に基づいて、投影部２２０に、患部１４０から所定の距離だけ離れた位置に手術補助情報１５１を投影させてもよい。また、制御装置２３０は、検出された距離情報に基づいて、患部１４０の近傍における略平坦な領域に手術補助情報１５１を投影させてもよい。距離検出部は、例えば距離画像を距離情報として出力してもよい。

７．撮像照射装置の使用高さの監視
７−１．使用高さの監視動作の概要
図１に示す手術支援システム１００においては、手術の開始時等に、例えば赤外カメラ２１０の焦点距離による高さ許容範囲１０００ｍｍ±３００ｍｍに合わせて、撮像照射装置２００の下面から距離１０００ｍｍに患者１３０の体軸が位置するように、撮像照射装置２００及び手術台１１０の使用高さが調整される。しかしながら、手術を行っている間には、手術の内容に応じて患者１３０の向きを変えたり、施術者の入れ替わりに伴い撮像照射装置２００の配置を変えたりするために、撮像照射装置２００及び手術台１１０の使用高さが変更される。

撮像照射装置２００の使用高さが１０００ｍｍ±３００ｍｍの範囲を超えたときには、赤外カメラ２１０による撮像画像のフォーカス精度が保証できない。フォーカス精度が保証できない撮像画像では赤外蛍光３１０を発光する領域が正確に特定されず、可視レーザ光３２０の照射位置が保証できなくなってしまう。また、撮像照射装置２００の高さ許容範囲は、赤外カメラ２１０の焦点距離だけでなく、赤外カメラ２１０と投影部２２０との画角の違いなどによる場合もある。この場合にも、患部１４０を撮像する撮像位置が変わることで、患部１４０に投影する投影画像が不正確になる恐れがあり、手術にあたって安全上の問題が発生する恐れがある。

そこで、本発明者は、撮像照射装置２００に距離検出部を設けて、手術中に、撮像照射装置２００の使用高さを監視することを発案するに至った。これにより、使用高さの許容範囲内で、手術内容に応じて、患者１３０の向きを変えたり、手術台の高さを調整したりすることができる。一方、使用高さが許容範囲外になったときには警告を報知することで、医師等の使用者の誤認を回避することができる。また、使用高さが許容範囲外になったときに投影画像を投影させないように制御することで、手術中の安全性を確保することができる。

また、本実施形態では、距離検出部として、波長８５０ｎｍ〜９５０ｎｍの赤外検出光３３０を放射するＴＯＦセンサ２６０を用いる。ＴＯＦセンサ２６０から放射された赤外検出光３３０は、患者１３０の体表等で反射した後、ＴＯＦセンサ２６０に戻って受光される。このとき、患者１３０の体表等で反射した赤外検出光３３０は、ＴＯＦセンサ２６０のみならず、赤外カメラ２１０にも到達する。

赤外カメラ２１０の撮像対象であるＩＣＧの赤外蛍光３１０の波長帯（８５０ｎｍ近傍）と、ＴＯＦセンサ２６０による赤外検出光３３０の波長帯（８５０ｎｍ〜９５０ｎｍ）とは重なっている。そのため、赤外カメラ２１０が赤外検出光３３０を受光すると、受光した光が赤外検出光３３０であるのにも関わらず、赤外蛍光３１０であると誤検出されることになる。すると、誤検出した赤外検出光３３０に基づいて、可視レーザ光３２０が照射されるという誤動作が生じてしまう。従って、手術支援システム１００においては、誤動作を起こさずに患部１０４等の被写体までの距離を検出することが困難であるという問題があった。

そこで、本発明者は、赤外蛍光３１０の検出による手術支援を実現しながらも、安全な使用高さを監視するために、ＴＯＦセンサ２６０と、赤外励起光源２５０や可視光レーザ２２２とを相反制御することを発案するに至った。

７−２．使用高さの監視動作の詳細
以下、使用高さの監視動作の詳細について説明する。

７−２−１．処理の流れについて
まず、手術支援システム１００における使用高さの監視動作における処理の流れについて、図１４及び図１５Ａ，１５Ｂを用いて説明する。図１４は、使用高さの監視動作における処理の流れを示すフローチャートである。図１５Ａ，１５Ｂは、使用高さの監視動作を説明するための図である。本フローは、手術支援システム１００の制御装置２３０によって実行される（図１参照）。

図１４に示すフローにおいて、まず、ＴＯＦセンサ２６０は、制御装置２３０の制御により、図１５Ａに示すように赤外検出光３３０を放射するとともにその反射波を受光して、患者１３０までの距離ｄｉを検出する（Ｓ２００）。ステップＳ２００において、ＴＯＦセンサ２６０は赤外検出光３３０を所定の期間Ｔ１だけ放射する（図１６参照）。ＴＯＦセンサ２６０は、検出した距離情報を制御装置２３０に出力する。

次に、制御装置２３０は、ＴＯＦセンサ２６０からの距離情報に基づいて、検出した距離ｄｉが所定の第１の区間ｒ１の範囲内か否かを判断する（Ｓ２０２）。第１の区間ｒ１は、撮像照射装置２００と患部１４０との間の距離の手術支援システム１００が正常に動作可能な許容範囲を示す区間である。第１の区間ｒ１は、本実施形態では、ｄ０＝１０００ｍｍを標準距離として、ｒ１＝１０００±３００ｍｍとしている。

制御装置２３０は、図１５Ｂに示すように、検出した距離ｄｉ’が第１の区間ｒ１内にないと判断した場合（Ｓ２０２でＮＯ）、使用高さが異常であることを示す警告を行う（Ｓ２１４）。ステップＳ２１４における警告は、例えば、使用高さが「異常状態」である旨を示すメッセージや警告音を、スピーカ（不図示）から発生させて行う。なお、ステップＳ２１４においては、図１５Ｂに示すように患部１４０に対して投影画像は投影されない。

次に、制御装置２３０は、期間Ｔ１経過後にＴＯＦセンサ２６０を制御して、ステップＳ２００の処理と同様に、患者１３０までの距離ｄｉを検出させる（Ｓ２１６）。

次に、制御装置２３０は、検出した距離ｄｉが所定の第２の区間ｒ２の範囲内か否かを判断する（Ｓ２１８）。第２の区間ｒ２は、手術支援システム１００が異常状態から復帰可能な位置にあること示す区間である。第２の区間ｒ２は第１の区間ｒ１よりも短く、例えばｒ２＝１０００±２００ｍｍである。

制御装置２３０は、検出した距離ｄｉが第２の区間ｒ２内にないと判断した場合（Ｓ２１８でＮＯ）、ステップＳ２１６の処理を所定の周期で繰り返し行う。一方、制御装置２３０は、検出した距離ｄｉが第２の区間ｒ２内にあると判断した場合（Ｓ２１８でＹＥＳ）、ステップＳ２０４以降の処理を順次、行う。

制御装置２３０は、図１５Ａに示すように、検出した距離ｄｉが第１の区間ｒ１内にあると判断した場合（Ｓ２０２でＹＥＳ）、赤外励起光源２５０を制御して（図１参照）、術野１３５に赤外励起光３００を照射させる（Ｓ２０４）。

赤外励起光３００の照射中に、制御装置２３０は、赤外カメラ２１０を制御して、術野１３５の患部１４０を撮像させる（Ｓ２０６）。制御装置２３０は、ステップＳ２０６の処理において撮像された撮像画像に基づいて、投影部２２０に、可視光の投影画像Ｇ３２０を投影させる（Ｓ２０８）。ステップＳ２０２，２０４，２０６の処理は、上述した手術支援システム１００における基本的な投影動作と同様に行われる（図２参照）。

次に、制御装置２０３は、ステップＳ２０４の赤外励起光３００の照射を開始してから所定の期間Ｔ２が経過したか否かを判断する（Ｓ２１０）。制御装置２０３は、期間Ｔ２が経過するまで、ステップＳ２０６，Ｓ２０８の処理を所定周期（例えば１／６０秒）で繰り返し実行する（Ｓ２１０でＮＯ）。

制御装置２０３は、期間Ｔ２が経過した後（Ｓ２１０でＹＥＳ）、赤外励起光源２５０に赤外励起光３００の照射を停止させるとともに、投影部２２０に投影画像Ｇ３２０を消去させる（Ｓ２１２）。ステップＳ２１２の処理に続いて、制御装置２３０は、ステップＳ２００の処理に戻る。

なお、ＴＯＦセンサ２６０は、赤外光を使って距離を検出しているため、距離検出に影響が出ないように、ステップＳ２００に戻る前にステップＳ２１２において他の光源を停止させている。ただし、投影部２２０に関して、赤外光の成分がない光源であれば、距離検出の際に影響が出ないため、ステップＳ２１２において、赤外励起光源２５０に赤外励起光３００の照射を停止させるのみとしてもよい。

以上の処理により、ステップＳ２１４の処理によって撮像照射装置２００が使用高さの許容範囲内にない場合に警告が行われるので、医師等の使用者は撮像照射装置２００が使用高さの許容範囲にないことを認識できる。また、ステップＳ２１２の処理の後にステップＳ２００の距離検出処理を行い、ＴＯＦセンサ２６０と、投影部２２０等とを相反制御することにより、手術支援システム１００の誤動作を起こすことなく距離検出を行える。

７−２−２．相反制御について

以下、図１４〜図１６を用いて、撮像照射装置の使用高さの監視における相反制御についての詳細を説明する。図１６は、赤外励起光源２５０、ＴＯＦセンサ２６０および、可視光レーザ２２２の、高さ判定結果に応じた動作を説明するためのタイミングチャートである。図１６の横軸は時間軸を表す。図１６において、各チャートのローレベルは消灯状態を示し、ハイレベルは点灯状態を示す。

ここでは、「点灯状態」は、赤外励起光源２５０、ＴＯＦセンサ２６０および可視光レーザ２２２のそれぞれの電源のＯＮ状態を示す。一方、「消灯状態」は、赤外励起光源２５０、ＴＯＦセンサ２６０および可視光レーザ２２２のそれぞれの電源のＯＦＦ状態を示す。

手術支援システム１００の動作中に、制御装置２３０は、ＴＯＦセンサ２６０による高さ（距離）判定を周期的に実行する。具体的には、図１６に示すように、時間ｔ１〜ｔ２の期間Ｔ１、時間ｔ３〜ｔ４の期間Ｔ１、時間ｔ５〜ｔ６の期間Ｔ１、時間ｔ７〜ｔ８の期間Ｔ１、時間ｔ９〜ｔ１０の期間Ｔ１、…において、図１４のステップＳ２００，Ｓ２０２又はステップＳ２１６，Ｓ２１８の判定処理を実行する。このとき、ＴＯＦセンサ２６０は、赤外検出光３３０を放射する点灯状態にある。ＴＯＦセンサ２６０が高さ判定を行う各期間Ｔ１中に、制御装置２３０は、赤外励起光源２５０および、可視光レーザ２２２を消灯状態に制御する。すなわち、赤外励起光源２５０および可視光レーザ２２２を、ＴＯＦセンサ２６０が点灯状態にあるとき消灯状態にする相反制御が行われる。時間ｔ１〜ｔ２の期間Ｔ１、時間ｔ３〜ｔ４の期間Ｔ１、時間ｔ５〜ｔ６の期間Ｔ１、時間ｔ７−ｔ８の期間Ｔ１、時間ｔ９−ｔ１０の期間Ｔ１は、いずれも、例えば１０ｍｓｅｃ〜１００ｍｓｅｃという短時間であるため、人間には知覚されにくい。従って、高さ判定期間において相反制御を行ったとしても、可視レーザ光３２０による投影画像は継続して表示されているように知覚させることができる。

ここで、時間ｔ１〜ｔ２の期間Ｔ１において、図１５Ａに示すように、ＴＯＦセンサ２６０の検出結果が示す距離ｄｉが、高さ許容範囲を示す第１の区間ｒ１（＝１０００ｍｍ±３００ｍｍ）内であるとする。このとき、制御装置２３０は、図１４のステップＳ２０２の高さ判定結果として「通常状態」と判断する。すると、制御装置２３０は、続く時間ｔ２〜ｔ３の期間Ｔ２において、赤外励起光源２５０および可視光レーザ２２２を共に点灯状態とする。これにより、時間ｔ２〜ｔ３の期間Ｔ２において、通常通り投影画像Ｇ３２０を患部１０４に投影して、手術支援を正常に行うことができる。

次に、時間ｔ３〜ｔ４の期間Ｔ１において、図１５Ｂに示すようにＴＯＦセンサ２６０の検出結果が示す距離ｄｉ’が、高さ許容範囲ｒ１（＝１０００ｍｍ±３００ｍｍ）の範囲外であるとする。このとき、制御装置２３０は、ステップＳ２０２の高さ判定結果として「異常状態」と判断する。この場合、投影画像が不正確に投影される恐れがあるので、安全性の観点から手術支援を継続しない方がよいと考えられる。そのため、制御装置２３０は、続く時間ｔ４〜ｔ５の期間Ｔ２になっても、赤外励起光源２５０および可視光レーザ２２２を共に消灯状態で維持する。これにより、時間ｔ４〜ｔ５の期間Ｔ２において、不正確な恐れがある投影画像が表示されず、安全性を優先して手術支援を停止させることができる。

続く時間ｔ５〜ｔ６の期間Ｔ１において、ＴＯＦセンサ２６０の検出結果が示す距離ｄｉが、第１の区間ｒ１の一端の距離ｄ１と第２の区間ｒ２の一端の距離ｄ２の間（例えば１２５０ｍｍ）であったとする。この場合には、撮像照射装置２００は高さ許容範囲内にはあるが、高さ許容範囲の限界に近いため即座に高さ許容範囲外になる恐れもある。そこで、第１の区間ｒ１よりも短い第２の区間ｒ２でヒステリシス幅を設け、図１４のステップＳ２１８の判定処理を行う、これにより、距離ｄｉが第１の距離ｄ１と距離ｄ２の間にある場合には「異常状態」と判断され、時間ｔ６〜ｔ７の期間Ｔ２においても、時間ｔ４〜ｔ５の期間Ｔ２と同様の動作を行って安全性確保を確保できる。

次に、時間ｔ７−ｔ８の期間Ｔ１において、ＴＯＦセンサ２６０の検出結果が示す距離ｄｉが、高さ許容範囲にヒステリシス幅を設けた第２の区間ｒ２（＝１０００ｍｍ±２００ｍｍ）内になったとする。このとき、制御装置２３０は、ステップＳ２１８の高さ判定結果として「通常状態」と判断する。すると、制御装置２３０は、続く時間ｔ８〜ｔ９の期間Ｔ２において、赤外励起光源２５０および可視光レーザ２２２を共に点灯状態とする。これにより、時間ｔ８〜ｔ９の期間Ｔ２において、通常通り投影画像Ｇ３２０を患部１０４に投影して、手術支援を再度行うことができる。

なお、時間ｔ１，ｔ３，ｔ５，ｔ７，ｔ９，…の切替えタイミングにおいて、赤外励起光源２５０及び可視光レーザ２２２と、ＴＯＦセンサ２６０とが共に消灯状態になるマージン期間を設けてもよい。これにより、切り替わりタイミングにおいて赤外検出光３３０が誤検出されることを抑制できる。また、時間ｔ２，ｔ４，ｔ６，ｔ８，ｔ１０，…の切替えタイミングにおいても、マージン期間を設けてもよい。

７−３効果等
以上のように、本実施形態において、手術支援システム１００は、赤外カメラ２１０と、投影部２２０と、ＴＯＦセンサ２６０と、制御装置２３０とを備える。赤外カメラ２１０は、患部１４０を撮像する。投影部２２０は、患部１４０の撮像画像に基づき投影画像Ｇ３２０を生成して患部１４０上に投影する。ＴＯＦセンサ２６０は、患部１４０までの距離を検出する。制御装置２３０は、赤外カメラ２１０及び投影部２２０の動作を制御する。制御装置２３０は、ＴＯＦセンサ２６０によって検出された距離が第１の区間ｒ１内にあるか否かを判断する。制御装置２３０は、ＴＯＦセンサ２６０によって検出された距離が第１の区間ｒ１内にあるとき、投影画像Ｇ３２０を生成して患部１４０上に投影させる。

以上の手術支援システム１００によると、患部１４０の撮像位置を変えても、ＴＯＦセンサ２６０によって検出された距離が第１の区間ｒ１内にあるときには投影画像Ｇ３２０を生成して患部１４０上に投影させるので、投影画像Ｇ３２０を投影する際の安全性を確保できる。

また、制御装置２３０は、ＴＯＦセンサ２６０によって検出された距離が第１の区間ｒ１内にないとき、所定の警告を行う。

これにより、手術支援システム１００が、患部１４０までの距離が第１の区間ｒ１を越えていることを、医師等に気付かせ、手術支援システム１００の使用中の安全性を確保できる。そのため、手術支援システム１００を、医師等の使用者にとってより使いやすくすることができる。

また、ＴＯＦセンサ２６０によって検出された距離が第１の区間ｒ１内にないとき、所定の警告に替えて、又はこれに加えて、投影画像Ｇ３２０を患部１４０上に投影させないようにしてもよい。これにより、手術支援システム１００において、第１の区間ｒ１を越えたために不正確な可能性がある投影画像Ｇ３２０の投影が停止され、手術中の安全性を向上できる。

また、赤外カメラ２１０は、第１のスペクトルを有する赤外蛍光３１０を受光して患部１４０を撮像してもよい。ＴＯＦセンサ２６０は、第２のスペクトルを有する赤外検出光３３０を放射して患部１４０までの距離を検出してもよい。この場合、ＴＯＦセンサ２６０は、第１の期間Ｔ１中に赤外検出光３３０を放射して、第１の期間Ｔ１とは異なる第２の期間Ｔ２中に赤外検出光３３０を放射しない。制御装置２３０は、第１の期間Ｔ１中に、投影画像Ｇ３２０を投影させず、第２の期間Ｔ２中に、投影画像Ｇ３２０を投影させる。これにより、手術支援システム１００における誤動作を起こさずに患部１０４までの距離を検出することができる。

上記の説明においては、「異常状態」と判定したときに、赤外励起光源２５０および、可視光レーザ２２２をともに消灯状態としたが、これに限定されない。赤外励起光源２５０および、可視光レーザ２２２のいずれか一方を消灯とすればよい。赤外励起光源２５０を消灯状態とした場合は、ＩＣＧ赤外蛍光３１０が発光されない。そのため、制御装置２３０は患部１４０の領域を特定できず、可視光レーザ２２２が点灯状態であったとしても、可視レーザ光３２０は照射されない。また、可視光レーザ２２２を消灯状態とした場合は、そもそも可視レーザ光３２０は照射されない。

また、上記の「異常状態」と判定したときに、制御装置２３０は、赤外励起光源２５０及び可視光レーザ２２２の制御に替えて、又はこれに加えて、赤外カメラ２１０が撮像しないように制御してもよい。また、ＭＥＭＳミラー２２１が投影画像Ｇ３２０を生成しないように制御してもよい。つまり、制御装置２３０は、赤外カメラ２１０の撮像結果に基づく投影画像Ｇ３２０が投影されないように、手術支援システム１００の構成要素のいずれを制御してもよい。

また、上記の説明においては、「異常状態」と判定したときに、使用高さが「異常状態」である旨を示すメッセージや警告音をスピーカから発生させる警告動作の例を説明したが、警告動作はこれに限定されない。警告は、患部１０４等の被写体までの距離が所定区間の範囲内にないことを示す情報を出力する動作であればよい。例えば、「異常状態」と判定したときに、医師等の使用者に「異常状態」であることを報知するようにしてもよい。「異常状態」の報知方法としては、可視光レーザ２２２を他の波長のものに切り替え、可視レーザ光３２０の色を変えて照射するようにしてもよい。また、「異常状態」を示すテキストメッセージなどを含む投影画像を投影することで、警告を行ってもよい。

また、上記の説明においては、警告を行う際に、赤外カメラ２１０の撮像結果に基づく投影画像Ｇ３２０を消去したが、これに限定されない。例えば、警告として、赤外カメラ２１０の撮像結果に基づく投影画像を用いてもよい。例えば、赤外カメラ２１０の撮像結果に基づく投影画像の色を変えて投影してもよいし、フラッシングさせて投影してもよい。

また、上記の説明では、ＴＯＦセンサ２６０は赤外蛍光３１０のスペクトルと重畳するスペクトルの赤外検出光３３０を用いたが、これに限定されない。例えば、ＴＯＦセンサ２６０は、赤外蛍光３１０のスペクトルと重畳しない検出光を放射して距離検出を行ってもよい。この場合、例えばＴＯＦセンサ２６０の発光部に赤外蛍光３１０のスペクトルを遮断する波長フィルタを設けてもよい。ここで、波長８５０ｎｍ〜９５０ｎｍの波長帯域は大気の透過率が高く、距離検出を行いやすい。そのため、波長フィルタを用いずに、上述した相反制御を行うことで、距離の検出効率を向上することができる。

また、上記の説明では、ＴＯＦセンサ２６０の距離検出によって使用高さを監視したが、これに限定されない。例えば、撮像照射装置２００の向きが変わった場合にも、手術支援システム１００が適切に動作できるように、ＴＯＦセンサ２６０の距離検出によって撮像照射装置２００と患部１０４等の被写体との距離を監視してもよい。

また、上記の図１６の説明では、赤外励起光源２５０および可視光レーザ２２２の状態遷移「点灯状態」「消灯状態」を光源の電源のＯＮ状態／ＯＦＦ状態の切り替えとして説明したが、これに限定されない。「点灯状態」「消灯状態」は、光源の電源がＯＮ状態に維持されていたとしても、遮光手段による遮光のＯＮ状態／ＯＦＦ状態の切り替えることにより実現してもよい。

（その他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

実施の形態１では、手術などの医療用途を例に挙げて説明したが、本発明はこれには限らない。例えば、工事現場や採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認できないような対象物に対して作業を行う必要がある場合、本発明を適用することができる。

具体的には、実施の形態１の医療機器に代えて、工事現場や採掘現場、建築現場、材料を加工する工場などにおける、目視では状態変化を確認できないような対象物に蛍光材料を塗布し、練りこみ、或いは流し込んで、赤外カメラ２１０による撮像の対象である撮像対象物としてもよい。発光ではなく、発熱箇所を熱センサで検出して、その部分だけ或いは、境界だけを走査するようにしてもよい。

実施の形態１では、レーザ光源を用いる場合を説明したが、切断補助線の投影や、手術補助情報の投影については、これに限定されない。すなわち、切断補助線の投影や、手術補助情報の投影については、レーザ光源以外の光源による投影を行ってもよい。

実施の形態１において、切断補助線の投影や、手術補助情報の投影は、患部であると特定した領域に対する投影の光源と同じ可視光レーザ２２２を用いる場合で説明したが、これに限定されない。切断補助線の投影や、手術補助情報の投影は、患部であると特定した領域に対する投影とは別の光源による投影を行ってもよい。但し、患部であると特定した領域に対する投影に対応した投影を行うよう制御することは言うまでもない。

実施の形態１において、距離検出部としてＴＯＦセンサ２６０を用いたが、これに限定されない。例えば、ランダムドットパターンのように、既知のパターンを有する赤外検出光を放射して、その反射波のパターンのズレに基づいて距離を測定するセンサであってもよい。この場合、距離検出部は、二次元的な領域内の各ドットにおける距離を表す距離画像として距離情報を検出することができる。

また、実施の形態１において、可視光レーザ２２２による単色の均一な画像の投影画像Ｇ３２０を例示した。投影部が投影する投影画像はこれに限らず、濃淡のある投影画像やフルカラーの投影画像を投影してもよいし、任意の画像を投影してもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置き換え、付加、省略などを行うことができる。

本開示における投影システムは、医療用途や、工事現場や採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認できないような対象物に対して作業を行う際に適用可能である。

１００ 手術支援システム
１１０ 手術台
１２０ 無影灯
１３０ 患者
１４０ 患部
１４１ 医師
１４２ モニタ
１５０ 補助スクリーン材
１５１ 手術補助情報
１５２ マーカ
２００ 撮像照射装置
２１０ 赤外カメラ
２１１ ダイクロイックミラー
２２０ 投影部
２２１ ＭＥＭＳミラー
２２２ 可視光レーザ
２３０ 制御装置
２４０ メモリ
２５０ 赤外励起光源
３００ 赤外励起光
３１０ 赤外蛍光
３２０ 可視レーザ光
３２１ 切断補助線
３３０ 赤外検出光
３４０ ＬＥＤ光
４００ 光調整装置
４１０ 白色ＬＥＤ
４２０ 拡散板
４３０ 開口マスク
４４０ スクリーン材
４５０ 保護ガラス
４６０ 開口
４７０ 遮光面

Claims (8)

1. 基準領域を含む投影面を有し前記基準領域から非可視光と可視光を含む光を照射する光源装置と、
   前記非可視光を受光して前記投影面を撮像する撮像部と、
   前記撮像部が撮像した撮像画像に基づいて前記投影面に可視光の投影画像を投影する投影部とを備えた投影システム。
2. 前記投影面において、前記基準領域と前記投影画像とを比較し、前記比較結果に基づいて、前記投影画像の位置を調整する調整部をさらに備えた
   請求項１に記載の投影システム。
3. 前記調整部は、前記投影面において、前記基準領域と、前記投影画像との少なくとも一部が重なり合うか否かを判断し、
   前記基準領域と、前記投影画像との少なくとも一部が重なり合う場合には、前記投影画像の位置を調整しない
   請求項２に記載の投影システム。
4. 前記投影システムは、記憶部をさらに有し、
   前記調整部は、比較結果に基づいて、前記基準領域と前記投影画像とを合致させるための補正量を算出し、算出した補正量を前記記憶部に記憶する記憶ステップをさらに含む
   請求項２又は３に記載の投影システム。
5. 前記補正量は、前記投影部によって投影される投影画像の位置、角度、投影倍率、及び歪みのうちの少なくとも１つを補正するための情報である、
   請求項４に記載の投影システム。
6. 前記非可視光は、赤外光を有する
   請求項１〜５のうちのいずれか１項に記載の投影システム。
7. 前記光源装置は、
   光源と、
   前記光源から発光した光を遮光する遮光部材とをさらに備え、
   前記遮光部材において、前記基準領域に対応する開口部が設けられた、
   請求項１〜６のうちのいずれか１項に記載の投影システム。
8. 前記投影面は、スクリーン材をさらに備える
   請求項１〜７のうちのいずれか１項に記載の投影システム。

Images