JP2019184707A - 画像投影装置 - Google Patents

Abstract

【課題】非可視光の発光を検出した領域に対して、可視光画像を投影する装置であって、可視光画像における発光強度の分布の視認性を向上した画像投影装置を提供する。【解決手段】画像投影装置は、非可視光を発する第１の領域（Ｒ１ａ、Ｒ１ｂ）を検出する検出部と、検出部が検出した第１の領域（Ｒ１ａ、Ｒ１ｂ）を含む第２の領域（Ｒ２）に対して可視光画像を投影する投影部と、可視光画像を生成する制御部と、を備える。制御部は、可視光画像の画素の色を、第１の領域（Ｒ１ａ、Ｒ１ｂ）内の当該画素に対応する位置の非可視光の発光強度に応じて段階的に変化させる。【選択図】図７Ｂ

Description

本開示は、非可視光の発光を検出した領域に対して、可視光画像を投影する画像投影装置に関する。

特許文献１は、外科手術を受ける生体の患部を示す画像データを蛍光像撮像装置から出力させ、画像投影装置により上記画像データによる画像を再生し、実際の患部上に表示させる外科手術支援システムを開示する。生体の患部には、所定の波長の光を照射することで蛍光を発する物質が、あらかじめ投与されている。つまり、このシステムは、患部が蛍光発光した蛍光画像を実際の患部に表示することで、病変部の確認の支援をしている。

また、特許文献２は、非可視光を発する第１の領域を検出する検出部と、検出部が検出した第１の領域を含む第２の領域に対して、可視光を用いた投影を行う投影部と、操作者により選択された色に基づいて、前記投影部に投影を行わせる制御部と、を備える可視光投影装置を開示する。制御部は、第２の領域のうち、第１の領域以外の領域に対して投影部が投影する可視光の色として、第１の色が選択された場合、第１の領域に対して投影部が投影する可視光の色を、第１の選択肢の中から選択可能なように操作者に知らせる。一方、第２の領域のうち、第１の領域以外の領域に対して投影部が投影する可視光の色として、第１の色とは異なる第２の色が選択された場合、制御部は、第１の領域に対して投影部が投影する可視光の色を、第１の選択肢に含まれる候補の組み合わせとは異なる第２の選択肢の中から選択可能なように操作者に知らせる。また、特許文献２は、検出部が検出する第１の領域を構成する各部分からの非可視光の強度に応じて、第１の領域に対して投影部に多階調による色の投影をさせる場合に、投影部が投影する可視光の色の彩度を階調に応じて異ならせることを開示している。このような構成により、視認性の高い映像投影を実現できる。

特開平９−２４０５３号公報 国際公開２０１６／１５７２６０号明細書

本開示は、視認性の高い映像の投影を実現できる画像投影装置を提供する。

本開示にかかる画像投影装置は、非可視光を発する第１の領域を検出する検出部と、検出部が検出した第１の領域を含む第２の領域に対して可視光画像を投影する投影部と、可視光画像を生成する制御部と、を備える。制御部は、可視光画像の画素の色を、第１の領域内の当該画素に対応する位置の非可視光の発光強度に応じて段階的に変化させる。

本開示によれば、視認性の高い画像を投影できる画像投影装置を提供できる。

本開示の一実施の形態の手術支援システムの構成を説明する図 手術支援システムの制御装置の構成を示すブロック図 手術支援システムの動作を示すフローチャート 手術支援システムによる表示モード及び投影モードにおける色変換処理の内容を説明した図 ＨＳＶ色空間を説明した図 表示モードおよび投影モードのそれぞれにおいて表示または投影される画像のイメージを説明した図 赤外カメラにより撮像された赤外画像のイメージを説明した図 図７Ａに示す赤外画像に対して、第３投影モード（マルチカラー投影モード）において投影される投影画像のイメージを説明した図 第３投影モードにおいて設定される投影画像の色の色相の範囲を説明した図 投影モードにおける色変換処理を示すフローチャート 手術支援システムによる表示モード及び投影モードにおける、白黒反転バージョンにおける色変換処理の内容を説明した図

以下、適宜図面を参照しながら、本開示の画像投影装置の実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。以下では、本開示の投影システムを病院において使用される手術支援システムに適用したときの例を説明する。

（実施の形態１）
１．手術支援システムの概要

図１は、本開示の画像投影システムの一実施の形態である手術支援システムの構成を説明する図である。図１に示すように、手術支援システム１００は、手術台１１０に載った患者１２０の鉛直方向上方に配置され、患者の患部に画像を投影する撮像投影装置２００を備える。

手術支援システム１００を利用した手術の施術前に、手術を受ける患者１２０には光感受性物質が血液中などに投与される。光感受性物質は、励起光を受光して蛍光を発する物質である。本実施の形態では、光感受性物質の一例として、インドシアニングリーン（以下「ＩＣＧ」と称す）を用いる。ＩＣＧは、医療承認されており、人体への使用が可能な試薬である。ＩＣＧは、血液中に投与されると血液やリンパ液の流れが滞っている患部１３０に蓄積される。ＩＣＧは、８００ｎｍ前後の赤外励起光が照射されることにより、ピーク波長を８５０ｎｍとし、その前後の波長を含む赤外蛍光を発する。従って、赤外蛍光の発している領域（以下「ＩＣＧ発光領域」と称す）を検出することができれば、患部１３０の領域を特定することが可能となる。

手術支援システム１００は、ＩＣＧ発光領域を検出して、患部１３０の領域を特定する。手術支援システム１００は、特定した患部１３０の領域が医師に視認可能となるように、特定した患部１３０の領域に対応して生成した可視光画像を投影画像としてＩＣＧ発光領域を含む領域に重畳して投影する。特に可視光画像は、ＩＣＧ発光領域に対応した領域に視認性の高い色で着色した画像を含む。この投影した可視光画像により、手術支援システム１００は、医師に対して、患部１３０への手術を行う際の患部１３０の領域特定（視覚的認識）を支援することができる。

特に、本実施の形態の手術支援システム１００は、ＩＣＧ発光領域の発光強度に応じて可視光画像（投影画像）の領域の色を異ならせて投影することができる。すなわち、ＩＣＧの発光強度分布（ＩＣＧ濃度分布）をマルチカラーで投影することができ、医師等にＩＣＧの濃度分布を視覚的に容易に認識させることが可能となる。また、このようにＩＣＧの濃度分布を視覚的に認識させることにより、患部１３０の範囲や臓器における患部１３０の存在する位置の深さを容易に確認することが可能になる。

２．手術支援システムの構成
手術支援システム１００の構成の詳細について説明する。手術支援システム１００は、病院の手術室内に配置されて使用される。図１に示すように、手術支援システム１００は、撮像投影装置２００と、制御装置３００と、赤外励起光光源２３０とを備えている。また、手術支援システム１００は、操作者１４０からの各種の設定操作を受け付けるための、ディスプレイ１６０と、操作部１７０とを備えている。

さらに、図示していないが、手術支援システム１００は、撮像投影装置２００を配置する位置を変更するための機構（撮像投影装置２００と機械的に接続された駆動アームや、手術支援システム１００の一式を載置する台座のキャスターなど）を備えている。

撮像投影装置２００は、撮像手段や照射手段を一体的に内包した装置である。撮像投影装置２００は、赤外カメラ２１０と、ダイクロイックミラー２１１と、プロジェクタ２２０とを備えている。撮像投影装置２００は、手術台１１０に横になっている患者１２０から発せられた赤外蛍光２２３を検出する。そして、撮像投影装置２００は、プロジェクタ２２０から、可視照射光２２２を、検出した赤外蛍光２２３が示す患部１３０の領域（ＩＣＧ発光領域）を含む領域に対して照射する。赤外蛍光２２３をより適切に検出し、かつ、可視照射光２２２をより適切に照射するため、撮像投影装置２００は、手術台１１０に載った患者１２０の直上に配置されるのが好ましい。

制御装置３００は、手術支援システム１００を構成する各部の動作を統括的に制御する装置である。制御装置３００は、赤外カメラ２１０と、プロジェクタ２２０と、赤外励起光光源２３０とに接続され、それらを制御する。

図２は、制御装置３００の内部構成を示すブロック図である。図２に示すように、制御装置３００はＣＰＵ３１０を含み、所定のプログラムを実行することによって所定の機能を実現する。ＣＰＵ３１０に変えて、他の種類の汎用プロセッサ、例えば、ＭＰＵを用いてもよい。または、ＣＰＵ３１０に変えて、所定の機能を実現するように専用に設計されたプロセッサを用いてもよい。すなわち、制御装置３００は、ＣＰＵ、ＭＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ等、種々のプロセッサ（半導体デバイス）を含むことができる。

さらに、制御装置３００は、メモリ３２０と、第１ないし第３インタフェース３３０〜３５０とを備える。メモリ３２０は、ＣＰＵ３１０が演算を実行するにあたって、必要な情報やプログラムを記憶する媒体であり、ＣＰＵ３１０から適宜アクセスされる。

第１インタフェース３３０は、制御装置３００が撮像投影装置２００との間でデータや命令のやりとりを行うための通信回路である。制御装置３００は第１インタフェース３３０を介して赤外励起光光源２３０に対する制御命令を送信する。また、制御装置３００は第１インタフェース３３０を介して赤外カメラ２１０から赤外画像を受信する。また、制御装置３００は第１インタフェース３３０を介してプロジェクタ２２０に制御信号を送信する。

第２インタフェース３４０は、制御装置３００がディスプレイ１６０に対して映像信号を送信するための通信回路である。第３インタフェース３５０は、制御装置３００が操作部１７０からの操作信号を受信するための通信回路である。第１ないし第３インタフェース３３０〜３５０は所定の通信規格（例えば、ＵＳＢ規格、ＨＤＭＩ（登録商標）規格）にしたがいデータや命令のやりとりを行う。

図１に戻り、赤外励起光光源２３０は、少なくともＩＣＧの励起波長８００ｎｍ前後の赤外励起光２３１を照射する光源である。赤外励起光光源２３０は、８００ｎｍ前後の赤外光を発光する発光素子（例えば、ＬＥＤ）を含む。赤外励起光光源２３０は、制御装置３００からの制御信号に従って、赤外励起光２３１の照射のＯＮ／ＯＦＦを切り替えることができる。赤外励起光２３１の照射ムラを低減させるため、赤外励起光光源２３０は、手術台１１０に載った患者１２０の直上に配置されるのが好ましい。

ディスプレイ１６０は、例えば、検出されたＩＣＧ発光領域の画像（以下「蛍光画像」という）と、制御装置３００の投影動作における各種の設定を行うためのメニューとを表示することができる。

操作者１４０は、ディスプレイ１６０に表示されたメニューやアイコンを見ながら、操作部１７０を操作することにより、制御装置３００の投影動作における各種の設定を行うことができる。例えば、プロジェクタ２２０の投影モードを設定することができる。また、ＩＣＧ発光領域（患部１３０）に対して投影する光の色（色相）及びその階調数の設定を行うことができる。また、ＩＣＧ発光領域の周囲（背景）及びその輪郭部に対して投影する光の色及びその階調数の切り替え設定を行うことができる。制御装置３００は、操作者１４０から設定操作を受け付け、操作設定に応じた投影動作を行う。

ディスプレイ１６０は、液晶表示ディスプレイ、有機ＥＬディスプレイなどで構成できる。操作部１７０は、キーボード、マウス、タッチパネル、スタイラスペン等、操作者１４０が指示や設定を行うための入力デバイスである。

以下、撮像投影装置２００の各部の詳細を説明する。

赤外カメラ２１０は、赤外領域に分光感度特性を有するカメラである。手術支援システム１００では、患部１３０のＩＣＧから発せられる８５０ｎｍ前後の赤外蛍光２２３を検出する必要がある。そのため、赤外カメラ２１０は、少なくとも８５０ｎｍ前後の赤外領域に対して分光感度特性を有する。なお、ＩＣＧから発せられる赤外蛍光２２３以外の光の受光を回避するために、赤外カメラ２１０の前方に８５０ｎｍ付近の波長の光のみを通過させるバンドパスフィルターを配置してもよい。赤外カメラ２１０は、撮像により得られる赤外画像を制御装置３００に伝送する。

プロジェクタ２２０は、制御装置３００からの制御信号に従って、可視光画像を投影する投影装置である。プロジェクタ２２０は、人間が視認できる可視光領域の光であれば、任意の波長（色）の光を照射してよい。プロジェクタ２２０は、制御装置３００からの制御信号に従って、複数の波長（色）の光による照射を切り替え可能に構成されている。プロジェクタ２２０は、可視照射光２２２を、ダイクロイックミラー２１１に向けて照射する。

ダイクロイックミラー２１１は、赤外カメラ２１０及びプロジェクタ２２０のそれぞれと対向して配置される。ダイクロイックミラー２１１は、特定の波長の光を反射する一方、その他の波長の光を透過する機能を備えた光学素子である。本開示においては、ダイクロイックミラー２１１の水平方向にプロジェクタ２２０の投影口が配置される一方、ダイクロイックミラー２１１の鉛直方向上方に赤外カメラ２１０が配置される。ダイクロイックミラー２１１は、プロジェクタ２２０から照射された可視照射光２２２を反射する一方、赤外カメラ２１０の撮像面に向かう赤外蛍光２２３は透過させる光学特性を備える。また、図１に示すように、ダイクロイックミラー２１１で反射された可視照射光２２２と、赤外カメラ２１０の撮像面に入射する赤外蛍光２２３とは光路が一致されている。これにより、赤外蛍光２２３の発している領域（患部１３０）に対する可視照射光２２２の照射精度を高めることができる。

なお、上記において、赤外カメラ２１０は、本開示の検出部の一例である。プロジェクタ２２０は、本開示の可視光を用いた投影を行う投影部の一例である。制御装置３００は、本開示の制御部の一例である。そして、手術支援システム１００は、本開示の画像投影装置の一例である。

３．手術支援システムの動作
図３は、手術支援システム１００の動作を示すフローチャートである。図３のフローチャートを参照して手術支援システム１００の動作を説明する。

赤外励起光光源２３０は患者１２０の患部１３０に赤外光を照射する（Ｓｔｅｐ１０）。患部１３０に蓄積されたＩＣＧは赤外光を受けると赤外蛍光を発する。赤外カメラ２１０は、患部１３０を含む領域を撮像して赤外画像を生成する。

制御装置３００は、第１インタフェース３３０を介して、赤外カメラ２１０により撮像され生成された赤外画像を取得する（Ｓｔｅｐ１１）。制御装置３００（すなわち、ＣＰＵ３１０）は、赤外画像からディスプレイ１６０へ表示するための表示画像を生成する（Ｓｔｅｐ１２）。すなわち、制御装置３００は、取得した赤外画像のＩＣＧ発光領域の発光強度（すなわち、赤外画像の画素の信号強度）に基づき表示画像を生成する（Ｓｔｅｐ１２）。

さらに、制御装置３００は、赤外画像から、ＩＣＧ発光領域へ投影するための投影画像を生成する（Ｓｔｅｐ１３）。表示画像及び投影画像の生成処理については後述する。

そして、制御装置３００は、生成した表示画像をディスプレイ１６０に送信し、ディスプレイ１６０で表示させる（Ｓｔｅｐ１４）。また、制御装置３００は、生成した投影画像のデータを撮像投影装置２００に送信し、プロジェクタ２２０に投影画像を可視光で投影させる（Ｓｔｅｐ１５）。

制御装置３００は、手術支援システム１００の投影動作に関する終了操作を受け付けるまで（Ｓｔｅｐ１６）、以上の処理（Ｓｔｅｐ１０〜Ｓｔｅｐ１５）を繰り返し実行する。これにより、患部１３０のＩＣＧ発光領域に可視光の投影画像が投影されるため、医師は施術領域等を視覚的に容易に認識することができる。

３．１ 表示画像及び投影画像の色の制御
手術支援システム１００による、表示画像または投影画像に対する色の制御について説明する。

手術支援システム１００は、ディスプレイ１６０の動作モードとして１つの表示モードを有する。また、手術支援システム１００は、プロジェクタ２２０の投影モードとして、第１ないし第３の投影モードを有する。各モードにおいて赤外画像から表示画像または投影画像を生成するが、その際の色変換処理の仕方がモードにより異なる。

図４は、手術支援システム１００における、表示モード及び第１ないし第３投影モードにおける表示画像及び投影画像の色の制御を説明した図である。図４に示す表において、第１段目は、表示モードにおける表示画像の色に対する制御を説明し、第２〜４段目は、各投影モードにおける投影画像の色に対する制御を説明している。

図５は、一般的なＨＳＶ色空間を説明した図である。ＨＳＶ色空間は、色相（Ｈ：Ｈｕｅ）、彩度（Ｓ：Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖ：Ｖａｌｕｅ）で色が表される。色相（Ｈ）は白、黒を除く、赤、青、黄色等の色の種類を表す。彩度（Ｓ）は色の鮮やかさであり、０〜１００％の値をとる。明度（Ｖ）は色の明るさであり、０〜１００％の値をとる。なお、白は、彩度が０％、明度が１００％のときであり、黒は、彩度０％、明度０％の時である。

なお、以降の説明において、Ｈ０は色相が０度、Ｈ１２０は色相が１２０度、Ｓ０は彩度が０％、Ｓ１００は彩度が１００％、Ｖ０は明度が０％、Ｖ１００は明度が１００％であることを示し、他の表記も同様とする。また、以降のＨＳＶの数値は一例であり、例えば、操作者が赤と視認できる色であればＨ０以外でもよい。さらに、ＲＧＢ色区間等、ＨＳＶ色空間以外の色空間を用いて色を設定してもよい。

以下、図４を参照し、表示モード及び第１ないし第３投影モードにおける色の制御について説明する。

（１）表示モード
ディスプレイ１６０に表示される表示画像は、赤外カメラ２１０から受信した赤外画像（特に、ＩＣＧ発光領域を含む蛍光画像）を色変換することにより生成される。表示画像は白黒で表示される。すなわち、赤外画像の各画素の色を下記のように色変換することで表示画像を生成する。具体的には、赤外画像の各画素について、彩度（Ｓ）を０％（Ｓ０）（最小）に固定し、明度（Ｖ）を、０〜１００％（Ｖ０〜Ｖ１００）の範囲内で、赤外画像の各画素の輝度（蛍光発光の信号強度）に応じて設定する。表示画像の明度（Ｖ）は、赤外画像の輝度が強い程、より高い値に設定される。なお、色相についは、彩度が０％であるため、任意の値でよい。また、表示画像の階調は最大階調（本実施形態では、１０２４階調）に設定される。

（２）投影モード
プロジェクタ２２０により投影される投影画像は、赤外カメラ２１０から受信した赤外画像（特に、蛍光画像）を色変換することにより生成される。なお、投影モードでは、赤外線画像における患部以外の背景については、白で表示され、照明としての機能を果たす。

ａ）第１投影モード
第１投影モードは、赤外画像をフル階調（１０２４階調）で色変換して投影画像を生成するモードである。第１投影モードでは、投影画像の各画素の色相は操作者により選択された色相に固定され（例えば、図４ではＨ２４０）、明度は１００％に固定される。投影画像の各画素の彩度（Ｓ）は、赤外画像の輝度、すなわち、ＩＣＧ蛍光発光の強度に応じて設定される。図４の例では、投影画像の各画素の色（操作者に視認される色）は、ＩＣＧ蛍光発光の強度が強くなるに従い、白から青になる。

ｂ）第２投影モード
第２投影モードは、第１の投影モードの階調数を少なくしたモードであり、赤外画像を多値化した投影画像を単色で表示するモードである。第２投影モードでは、赤外画像を画素の輝度に基づき２値化、４値化または８値化した単色の投影画像が生成される。投影画像の階調は予め操作者１４０により操作部１７０を介して制御装置３００に設定されている。第２投影モードでは、第１投影モードと同様に、色相（Ｈ）は予め操作者により選択された色相（例えば、図４ではＨ２４０）に、明度（Ｖ）は１００％に固定され、彩度（Ｓ）は赤外画像の輝度（ＩＣＧ蛍光発光の強度）に応じて設定される。

例えば、２値化画像を表示する場合、色相（Ｈ）及び明度（Ｖ）は固定され、彩度（Ｓ）は、赤外画像の輝度に応じてＳ０またはＳ１００に設定される。または、４値化画像を表示する場合、彩度（Ｓ）は、赤外画像の輝度に応じて、Ｓ０、Ｓ３３、Ｓ６７およびＳ１００のいずれかに設定される。このような第２投影モードにより、投影画像の境界の視認性が向上する。

ｃ）第３投影モード
第３投影モードは、赤外画像を多値化した投影画像をマルチカラーで表示するモードである。第３投影モードでは、赤外画像を画素の輝度に基づき多値化した複数色の投影画像が生成される。第３投影モードでは、色相（Ｈ）は赤外画像の輝度に応じて６種類（−Ｈ０、Ｈ３０、Ｈ６０、Ｈ１２０、Ｈ２４０）のいずれかに設定される。彩度（Ｓ）は、赤外画像の輝度に応じて６段階（Ｓ０、Ｓ２０、Ｓ４０、Ｓ６０、Ｓ８０、Ｓ１００）のいずれかの値に設定する。明度（Ｖ）も、赤外画像の輝度に応じて変化させる。第３投影モードは、ＩＣＧ蛍光強度に応じた異なる色を用いて画像を表示することから、ＩＣＧ蛍光強度の分布毎に異なる色の画像が患部１３０のＩＣＧ発光領域に投影される。これにより、患部１３０におけるＩＣＧの濃度分布の視認性が向上する。

なお、彩度を０％、明度を１００％にすると色相の値にかかわらず白になるため、ＩＣＧ発光強度が一番低い部分は、―（任意の値）としている。また、ＩＣＧ蛍光発光の強度が所定以下の場合には、ＩＣＧ蛍光発光の強度が０である背景と同じ色の白にしている。

投影画像の各画素の色（操作者に視認される色）は、ＩＣＧ蛍光発光の強度が強くなるに従い、白、赤、橙、黄、緑、青の６段階で表示される。

なお、明度については、一定でもよいが、一般的に、橙や黄は、明度が高いと視認性が低くなるため、他の色と比べて少し明度を下げ、視認性を向上させている。

図６は、表示モードで表示される画像および第１ないし第３投影モードで投影される画像の例を対比して示した図である。図６（Ａ）は、表示モードにおいてディスプレイ１６０に表示される、フル階調（１０２４階調）での白黒の画像の例を示す。図６（Ｂ）は、第１投影モードにおいてプロジェクタ２２０から投影される、フル階調での単色の画像の例を示す。図６（Ｃ）は、第２投影モードにおいてプロジェクタ２２０から投影される、単色の多値化画像の例を示す。図６（Ｃ）は、２値化画像、４値化画像、８値化画像それぞれを示している。図６（Ｄ）は、第３投影モードにおいてプロジェクタ２２０から投影される、マルチカラーの多値化画像の例を示す。

図７Ａは、赤外カメラにより撮像された赤外画像のイメージを説明した図である。図７Ａにおいて、患者１２０の体表５０において切開口５２がある。切開口５２から見える患者の体内５４における領域Ｒ１ａにおいてＩＣＧが蓄積されている。また、ＩＣＧの注入部５６の周辺の領域Ｒ１ｂもＩＣＧが蓄積された部分である。これらの領域Ｒ１ａ、Ｒ１ｂ内の患部Ａ〜ＥにはＩＣＧがそれぞれ異なる濃度で蓄積されている。ここでは、患部Ｅ〜Ａの順に高いＩＣＧ濃度を有している。よって、患部Ｅが最もＩＣＧ蛍光発光の強度が強く、患部Ｄ、Ｃ、Ｂ、Ａの順にＩＣＧ蛍光発光の強度が弱くなっていく。ＣＰＵ３１０は、赤外画像からＩＣＧ蛍光発光が見られる領域Ｒ１ａ、Ｒ１ｂ（第１の領域の一例）を検出し、赤外画像におけるこの領域Ｒ１ａ、Ｒ１ｂの画素について色変換して投影画像を生成する。

図７Ｂは、第３投影モードにおいて図７Ａに示す赤外画像から生成された投影画像のイメージを示す図である。図７Ｂに示す投影画像の全領域Ｒ２（第２の領域の一例）は、検出した領域Ｒ１ａ、Ｒ１ｂと、その背景の領域Ｒ３を含む。投影画像において、ＩＣＧ蛍光発光の強度が最も強い患部Ｅの部分の画素は、色相が青に、彩度がＳ１００に設定される。次にＩＣＧ蛍光発光の強度が強い患部Ｄの部分の画素は、色相が緑に、彩度がＳ８０に設定される。その次にＩＣＧ蛍光発光の強度が強い患部Ｃの部分の画素は、色相が黄に、彩度がＳ６０に設定される。以下同様に、患部Ｂの部分の画素は色相が橙に、彩度がＳ４０に設定される。患部Ａの部分の画素は色相が赤に、彩度がＳ２０に設定される。このように、患部Ａ〜Ｅに対してそれぞれ異なる色の投影画像が生成される。なお、背景の領域Ｒ３は白色である。図７Ｂに示すように、ＩＣＧの蛍光強度分布に応じて異なる色の画像が投影されることから、強度分布をより視認し易くなる。

また、ＩＣＧの蛍光強度分布を視覚的に認識させることにより、患部１３０の範囲や臓器における患部１３０の存在する位置の深さを容易に確認することが可能になる。例えば、患部１３０が臓器の中に深く埋没している場合、体表５０で検出される患部１３０のＩＣＧ蛍光発光は弱いために体表５０では赤のスポットとして投影される。この赤で投影された領域を切開していくと患部１３０が徐々に露出されてくるので、ＩＣＧ蛍光発光の強度が強くなっていき、投影画像は橙、黄、緑、青と変化していく。最終的には図７Bに示すように、領域Ｒ１ａの一部として患部１３０が投影されるので、患部１３０を切除する必要がある場合には、青で投影された領域を切除の必要な患部１３０として容易に認識して切除することが可能になる。

＜第３投影モードにおける色相の範囲＞
図８は、第３投影モードにおいて設定される投影画像の色に対する色相の範囲を説明した図である。図８は、８階調（８値化）で投影画像を表現する場合と、７階調（７値化）で投影画像を表現する場合とにおける、ＩＣＧ蛍光発光信号の強度に対する色の割り当てを示している。

術野において投影画像の背景には、血液、体表、脂肪、リンパ節等が存在する。血液は赤、体表は肌の色（本実施の形態ではペールオレンジなどの肌色）、脂肪は黄、リンパ節は黄色から半透明であるため、よって、術野の背景色は暖色系の色となる。本実施の形態では、投影画像をその背景と視覚的に区別し易くするために、ＩＣＧ蛍光発光の強度が比較的強い領域に割り当てる色として、術野の背景の色に対して明度や色相の差が大きい色（すなわち、寒色系の色）を使用する。一方、ＩＣＧ蛍光発光の強度が比較的弱い領域に割り当てる色として、術野の背景の色（人体の色）に対して明度や色相の差が小さい色（暖色系の色）を使用する。

例えば、ＩＣＧ蛍光発光の強度の強い領域を寒色系の色で表し、強度が弱くなるほど暖色系の色に変化させる。ここで、従来、サーモグラフィーのようなマルチカラーで物理量の分布を表現する場合、強度が強い領域を暖色系の色（赤）で、強度が弱い領域は寒色系の色（青）で表現するのが一般的である。しかし本実施の形態のような医療系の場合、血液が「赤」、脂肪が「黄色」、リンパ節「黄色から透明」であるため、強度が強い領域を暖色系の色（赤）で表すと、投影画像と、血液、脂肪、リンパ節等が視覚的に区別しにくいという問題がある。そこで、本実施の形態では、ＩＣＧ蛍光発光の強度の強い領域を寒色系の色で表し、強度の弱い領域を暖色系の色で表すようにしている。

このため、ＩＣＧ蛍光発光の強度が最も強い領域（画素）に割り当てる色の色相を、術野の背景色の色相の範囲（０度以上かつ６０度以下）から±６０度以上離した範囲内の値に設定する。より具体的には、最も強いＩＣＧ蛍光発光の強度（信号強度＝１０２４）の領域（画素）に割り当てる色は、その色相が１２０度以上かつ３００度以下の範囲内の値となるような色に設定する。これにより、操作者（医師等）は、投影画像を、血液や体表等の背景と視覚的に区別し易くなる。

例えば、ＩＣＧ蛍光強度が高い場合の投影色が赤や橙のような暖色系であった場合、患部１３０周辺と同系統の色となるため、切除領域の視認が難しくなる。特に手術領域が臓器の中の微小領域である場合、切除すべき微小領域を発見したとしても不測の出血などで、切除領域の視認が不可能となるおそれがある。一方、ICG蛍光発光強度が高い場合の投影色が青のような寒色系の場合には、微小領域を切除する際に不測の出血があったとしても、血液との色の区別が明瞭であるため、切除領域の視認が妨げられず精密な切除が可能となる。

あるいは、患部１３０の存在する臓器の色相によっては、例えば、臓器の色が寒色系の色である場合には、発光強度が最も高い値から低くなるにしたがい、暖色系の色から寒色系の色に段階的に変化するように設定するとよい。このように設定することにより、寒色系の臓器の色の中で、暖色系の色で投影された患部１３０の視認性を高めることが可能になる。

また、０以上１２８以下の信号強度の領域（画素）に割り当てる色については、彩度を０％、明度を１００％に設定する。つまり、背景と同じ色、すなわち白に設定する。これにより、弱い発光強度のノイズの影響を排除できる。さらには、投影画像による照明機能を実現できる。

３．２ 表示画像の生成処理
表示画像の生成処理（図３のＳｔｅｐ１２）について説明する。ＣＰＵ３１０は、赤外画像の各画素について、色相を任意の値に設定し、彩度を０％に設定する。さらに、ＣＰＵ３１０は、赤外画像の各画素の明度を、各画素のＩＣＧ蛍光発光の強度に応じて設定する。ここで、明度は発光強度に応じて１０２４階調で変化させる。これにより、患部１３０の蛍光発光の強度に応じた輝度を有するフル階調（１０２４階調）の表示画像が生成され、ディスプレイ１６０に表示される。

３．３ 投影画像の生成処理
投影画像の生成処理の詳細（図３のＳｔｅｐ１３）を説明する。図９は、投影画像の生成処理を示すフローチャートである。

図９において、ＣＰＵ３１０はまず現在設定されている投影モードの種類を判断する（Ｓｔｅｐ２１）。

現在設定されているモードが第１投影モードである場合、ＣＰＵ３１０は第１投影モードに応じた色変換処理を行う（Ｓｔｅｐ２２）。具体的には、ＣＰＵ３１０は、赤外画像の各画素について、色相を操作者が選択した値に設定し、明度を１００％（Ｖ１００）に設定する。例えば、図４の例では、色相はＨ２４０に固定される。さらに、ＣＰＵ３１０は、赤外画像の各画素の彩度を、各画素のＩＣＧ蛍光発光の強度に応じて設定する。ここで、彩度は発光強度に応じて１０２４階調で変化させる。これにより、フル階調の投影画像が生成される。

現在設定されているモードが第２投影モードである場合、ＣＰＵ３１０は第２投影モードに応じた多値化処理を行う（Ｓｔｅｐ２３）。すなわち、元の赤外画像に対して、２階調、４階調、８階調のような、操作者１４０が設定した階調で多値化処理が行われる。

例えば、元の赤外画像の階調が１０２４階調である場合に、２階調で多値化する場合、多値化処理における閾値を５１１に設定する。そして、多値化処理において、赤外画像のうち階調が０〜５１１を示す画素について、その画素値が０に変換される。一方、赤外画像のうち階調が５１２〜１０２３を示す画素について、その画素値は１０２３に変換される。このような多値化処理により、赤外画像から２階調の画像が生成される。

また、４階調で多値化する場合、２５５、５１１、７６７の３つの閾値を設定する。そして、赤外画像のうち階調が０〜２５５を示す画素について、その画素値は０に変換される。また、赤外画像のうち階調が２５６〜５１１を示す画素について、その画素値は３４１に変換される。また、赤外画像のうち階調が５１２〜７６７を示す画素について、その画素値は６８２に変換される。また、赤外画像のうち階調が７６８〜１０２３を示す画素について、その画素の値は１０２３に変換される。このような多値化処理により、赤外画像から４階調の画像が生成される。

多値化処理（Ｓｔｅｐ２３）の後、ＣＰＵ３１０は第２投影モードに応じた色変換処理を行う（Ｓｔｅｐ２４）。具体的には、ＣＰＵ３１０は、多値化された画像の各画素について、色相を操作者が選択した値に固定し、彩度を変化させ、明度を１００％に固定する。例えば、図４の例では、色相はＨ２４０に固定されている。さらにＣＰＵ３１０は、多値化された画像の各画素の画素値（すなわち、各画素のＩＣＧ蛍光発光の強度）に応じて、各画素の彩度を設定する。例えば、図４に示すように、２階調に設定する場合、画素値が０の画素の彩度をＳ０に設定し、画素値が１０２３の画素の彩度をＳ１００に設定する。４階調に設定する場合、多値化された画像の各画素の画素値に応じて彩度をＳ０、Ｓ３３、Ｓ６７またはＳ１００のいずれかに設定する。８階調に設定する場合、各画素の彩度を画素値に応じてＳ０、Ｓ１４、Ｓ２９、Ｓ４３、Ｓ５７、Ｓ７１、Ｓ８６またはＳ１００のいずれかに設定する。

現在設定されている投影モードが第３投影モードである場合、赤外画像を、第３投影モードに対して予め設定されている所定の階調（例えば、６、７または８階調）で多値化する（Ｓｔｅｐ２５）。例えば、図４に示す例では、６階調で多値化する。

その後、ＣＰＵ３１０は第３投影モードに応じた色変換処理を行う（Ｓｔｅｐ２６）。具体的には、ＣＰＵ３１０は、多値化された画像の各画素について、各画素の画素値に応じて色相、明度、彩度を設定する。例えば、図４に示す例では、画素値（ＩＣＧ蛍光発光の強度）が大きくなるほど、色相を―、Ｈ０、Ｈ３０、Ｈ６０、Ｈ１２０、Ｈ２４０の順に変化させている。その際、彩度、明度についても同様に段階的に変化させる。つまり、操作者から見ると、白、赤、橙、黄、緑、青の順に変化させている。これにより、術野の患部１３０に蓄積されたＩＣＧの濃度分布がカラーで表示されるため、手術を行う医師等は患部１３０に蓄積されたＩＣＧの濃度分布を容易に認識することが可能となる。

３．４ 白黒反転機能
手術支援システム１００はさらに、表示モード及び各投影モードにおいて白と黒を反転させる機能を有する。すなわち、操作部１７０を介して白黒反転の指示が操作者１４０によりなされると、表示画像及び投影画像において白と黒が反転される。

図１０は、図４に示した色変換処理において白と黒を反転した場合の色変換処理（白黒反転バージョン）を説明した図である。例えば、表示モードにおいて、図４の例では、蛍光発光の強度が大きくなるにつれて、黒から白へ変化させていたが、すなわち、明度を大きくしていた。これに対して、図１０の例では、逆に、発光強度が大きくなるにつれて、白から黒へ、すなわち、明度を小さくしていく。また、第１投影モードにおいて、図４の例では、明度を１００％に固定した状態で、発光強度が大きくなるにつれて「白」→「青」へ変化するように彩度を変化させていた。これに対して、図１０の例では、彩度を１００％に固定した状態で、発光強度が大きくなるにつれて、「黒」→「青」へ変化するように明度を変化させている。

ＣＰＵ３１０は、操作者による白黒反転指示にしたがい、実施する色変換処理を図４に示す色変換処理と図１０に示す色変換処理のいずれかに切換えることで、表示モード及び投影モードにおける白黒反転が可能となる。

４．効果、等
上記のように、本実施の形態の手術支援システム１００は、非可視光を発する第１の領域を検出する赤外カメラ２１０と、赤外カメラ２１０が検出した第１の領域（例えば、領域Ｒ１ａ、Ｒ１ｂ）を含む第２の領域（例えば、領域Ｒ２）に対して可視光画像を投影するプロジェクタ２２０と、可視光画像を生成する制御装置３００（またはＣＰＵ３１０）とを備える。制御装置３００は、可視光画像の画素の色相を、第１の領域内の当該画素に対応する位置の非可視光の発光強度に応じて段階的に変化させる。その際、制御装置３００は、発光強度が最も高い値から低くなるにしたがい、可視光画像の画素の色が寒色系の色から暖色系の色に段階的に変化するように色相を設定する。

この構成により、蛍光発光が検出された第１の領域に対して、ＩＣＧ蛍光の発光強度の分布に応じてマルチカラーで可視光画像が投影される。特に、発光強度が強い領域において寒色系の色を使用していることから，術野において見られる暖色系の色の背景との区別がし易くなり、投影画像の視認性が向上する。

また、制御装置３００は、最も高い発光強度の領域に対応する画素の色の色相を、ＨＳＶ色空間において１２０度以上かつ３００度以下の範囲内に設定してもよい。例えば、最も高い発光強度の領域に対応する可視光画像の画素の色を青または緑に設定してもよい。術野における背景の色は暖色系の色であり、その色相の範囲は０度から６０度の範囲である。このため、最も高い発光強度の領域に対応する画素の色の色相を上記のように設定することで、背景の色の色相から６０度以上離れることになり、投影画像の視認性が向上する。

制御装置３００は、可視光画像の画素の彩度及び明度のうちの少なくとも１つを、第１の領域内の当該画素に対応する位置の非可視光の発光強度に応じて段階的に設定してもよい（図４、第３投影モード参照）。色相とともに、彩度と明度も発光強度に応じて可変にすることでより投影画像の視認性を向上できる。

制御装置３００は、設定し得る最も低い段階の色を白に設定してもよい。これにより、背景色と同じ色になるため弱い発光強度のノイズの影響を排除できる。さらには、投影画像による照明機能を実現できる。

手術支援システム１００は、操作者１４０が各種設定を行うための操作部１７０をさらに備えてもよい。制御装置３００は、プロジェクタ２２０の動作モードとして、操作部１７０での操作にしたがい切換え可能な複数の投影モードを備えてもよい。複数の投影モードは、第１投影モードと第２投影モードのうちの少なくとも１つと、第３投影モードとを含む。第１投影モードは、可視光画像の画素の彩度を第１の領域内の当該画素に対応する位置の非可視光の発光強度に応じて連続的に変化させるモードである。第２投影モードは、可視光画像の画素の彩度を第１の領域内の当該画素に対応する位置の非可視光の発光強度に応じて段階的に変化させるモードである。第３投影モードは、可視光画像の画素の色相を第１の領域内の当該画素に対応する位置の非可視光の発光強度に応じて変化させるモードである。切り替え可能な複数の投影モードを設けることで、手術の内容や状況に応じた適切な投影画像を選択することが可能になる。

（その他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。

実施の形態１では、操作者１４０は、ディスプレイ１６０の表示を見ながら操作部１７０を用いて操作することで、手術支援システム１００に対する種々の設定を行った。本開示はこれに限定されない。制御装置３００に接続されたスピーカから設定に必要な情報をアナウンスしてもよい。そして、操作者１４０は、そのアナウンスを聞いた後に、所望する設定をマイクに向かって発声することにより設定操作を行ってもよい。もちろん、操作者１４０は、ディスプレイ１６０に表示されるメニュー上のボタンを見ながら、所望する設定をマイクに向かって発声することにより選択操作を行ってもよい。

実施の形態１で示した階調数は一例であり、階調数は患部の種類や症例等に応じて適宜設定される。

実施の形態１では、手術を支援する装置を例に挙げて説明したが、本開示の画像投影システムの用途はこれに限定されない。例えば、工事現場や採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認できないような対象物に対して作業を行う必要がある場合にも、本開示の画像投影システムの思想を適用することができる。なお、この場合、上記現場の状況に合わせて、強度分布の色を設定してもよい。

例えば、実施の形態１のＩＣＧからの赤外蛍光に代えて、工事現場や採掘現場、建築現場、材料を加工する工場などにおける、目視では状態変化を確認できないような対象物に蛍光材料を塗布し、練りこみ、或いは流し込んで、赤外カメラ２１０による撮像の対象とし、可視光画像を投影するようにしてもよい。または、発光ではなく、発熱箇所を熱センサで検出して、その発熱箇所に対して可視光画像を投影するようにしてもよい。この場合、発熱箇所から発せられる遠赤外線は本開示における非可視光の一例である。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置き換え、付加、省略などを行うことができる。

本開示における画像投影システムは、手術用途に限定されず、工事現場や採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認できないような対象物に対して作業を行う際に適用可能である。

１００ 手術支援システム
１１０ 手術台
１２０ 患者
１３０ 患部
１４０ 操作者
１６０ ディスプレイ
１７０ 操作部
２００ 撮像投影装置
２１０ 赤外カメラ
２１１ ダイクロイックミラー
２２０ プロジェクタ
２３０ 赤外励起光光源
３００ 制御装置
３１０ ＣＰＵ
３２０ メモリ
３３０ 第１インタフェース
３４０ 第２インタフェース
３５０ 第３インタフェース

Claims (7)

1. 非可視光を発する第１の領域を検出する検出部と、
   前記検出部が検出した第１の領域を含む第２の領域に対して可視光画像を投影する投影部と、
   前記可視光画像を生成する制御部と、を備え、
   前記制御部は、
   前記可視光画像の画素の色を、前記第１の領域内の当該画素に対応する位置の非可視光の発光強度に応じて段階的に変化させる、
   画像投影装置。
2. 前記可視光画像の画素の色は、前記発光強度が最も高い値から低くなるにしたがい、寒色系の色から暖色系の色に段階的に変化するように設定する請求項１に記載の画像投影装置。
3. 前記制御部は、前記最も高い発光強度の領域に対応する前記画素の色を、ＨＳＶ色空間における色相が１２０度以上かつ３００度以下の範囲内になるように設定する、
   請求項１に記載の画像投影装置。
4. 前記制御部は、前記最も高い発光強度の領域に対応する前記可視光画像の画素の色を青または緑に設定する、請求項２に記載の画像投影装置。
5. 前記制御部は、ＨＳＶ色空間における前記可視光画像の画素の彩度及び明度のうちの少なくとも１つを、前記第１の領域内の当該画素に対応する位置の非可視光の発光強度に応じて段階的に設定する、
   請求項１に記載の画像投影装置。
6. 前記制御部は、設定し得る最も低い段階の色を白に設定する、請求項１に記載の画像投影装置。
7. 操作者が各種設定を行うための操作部をさらに備え、
   前記制御部は、前記投影部の動作モードとして、前記操作部での操作にしたがい切換え可能な複数の投影モードを備え、
   前記複数の投影モードは、第１投影モードと第２投影モードのうちの少なくとも１つと、第３投影モードとを含み、
   前記第１投影モードは、可視光画像の画素の彩度を前記第１の領域内の当該画素に対応する位置の非可視光の発光強度に応じて連続的に変化させるモードであり、
   前記第２投影モードは、可視光画像の画素の彩度を前記第１の領域内の当該画素に対応する位置の非可視光の発光強度に応じて段階的に変化させるモードであり、
   前記第３投影モードは、可視光画像の画素の色相を前記第１の領域内の当該画素に対応する位置の非可視光の発光強度に応じて変化させるモードである、
   請求項１に記載の画像投影装置。