JP2022012599A - 医療システム、情報処理装置及び情報処理方法 - Google Patents

Abstract

【課題】所定の観察モードにおける撮像画像の色合いを他の観察モードにおける撮像画像の色合いに近づける。【解決手段】医療システムは、第１の観察モードと第２の観察モードで異なる波長帯の光を、手術中の生体の一部である撮像対象に照射する光源と、前記光を照射された前記撮像対象からの反射光を撮像して撮像画像を出力する撮像装置と、前記第１の観察モードのときの第１の撮像画像を参照画像として記憶部に記憶させる制御を行う記憶制御部と、前記第２の観察モードのときの第２の撮像画像を前記参照画像と比較して、前記第２の撮像画像の色合いを前記参照画像の色合いに近づけるためのパラメータを生成する生成部と、前記パラメータに基づいて前記第２の撮像画像に対する色変換処理を行って色変換結果画像を出力する色変換処理部と、前記色変換結果画像を表示部に表示させる制御を行う表示制御部と、を備える。【選択図】図２

Description

本開示は、医療システム、情報処理装置及び情報処理方法に関する。

医療分野において、手術中の生体の撮像画像によって手術部位を観察する場合に、例えば、白色光観察モードと可視蛍光観察モードといった複数種類の観察モードで観察することがある。

特開２００５－３４８９０２号公報

しかしながら、従来技術では、例えば、可視蛍光観察モードにおいては、撮像画像における非蛍光部分の色再現に使用可能な波長が限られ、色再現性能が低下してしまう。つまり、白色光観察モードにおける撮像画像と、可視蛍光観察モードにおける撮像画像では、色合いが異なってしまうことがあるという問題があった。

そこで、本開示では、所定の観察モードにおける撮像画像の色合いを他の観察モードにおける撮像画像の色合いに近づけることができる医療システム、情報処理装置及び情報処理方法を提案する。

上記の課題を解決するために、本開示に係る一形態の医療システムは、第１の観察モードと第２の観察モードで異なる波長帯の光を、手術中の生体の一部である撮像対象に照射する光源と、前記光を照射された前記撮像対象からの反射光を撮像して撮像画像を出力する撮像装置と、前記第１の観察モードのときの第１の撮像画像を参照画像として記憶部に記憶させる制御を行う記憶制御部と、前記第２の観察モードのときの第２の撮像画像を前記参照画像と比較して、前記第２の撮像画像の色合いを前記参照画像の色合いに近づけるためのパラメータを生成する生成部と、前記パラメータに基づいて前記第２の撮像画像に対する色変換処理を行って色変換結果画像を出力する色変換処理部と、前記色変換結果画像を表示部に表示させる制御を行う表示制御部と、を備える。

背景技術の説明図である。 背景技術の説明図である。 本開示の第１実施形態の概要の説明図である。 本開示の第１実施形態に係る医療システムの構成を示す図である。 本開示の第１実施形態に係る情報処理装置の構成を示す図である。 本開示の第１実施形態に係る色変換パラメータ生成部の構成例１を示す図である。 本開示の第１実施形態に係る色変換パラメータ生成部の構成例２を示す図である。 本開示の第１実施形態に係る色変換パラメータ生成部の構成例３を示す図である。 本開示の第１実施形態において、撮像画像における色変換処理の単位の説明図である。 本開示の第１実施形態における行列形式の色変換パラメータの説明図である。 本開示の第１実施形態において、色変換パラメータを所定領域単位で生成する場合に、所定領域間の境界で色合いの不連続が起きないようにする処理の説明図である。 本開示の第１実施形態に係る情報処理装置による処理を示す第１のフローチャートである。 本開示の第１実施形態に係る情報処理装置による処理を示す第２のフローチャートである。 本開示の第２実施形態に係る情報処理装置の構成を示す図である。 本開示の第２実施形態における行列形式の色変換パラメータの説明図である。 本開示の応用例１に係る内視鏡手術システムの概略的な構成の一例を示す図である。 図１６に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 本開示の応用例２に係る顕微鏡手術システムの概略的な構成の一例を示す図である。 図１８に示す顕微鏡手術システムを用いた手術の様子を示す図である。

以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下において、同一の構成には同一の符号を付することにより重複する説明を適宜省略する。

各実施形態の理解を容易にするために、背景技術についてあらためて説明する。図１、図２は、背景技術の説明図である。ここでは、特殊光観察モードの一例として、可視蛍光観察モードについて説明する。図１の上段に示すように、可視蛍光観察モードにおける蛍光部分向けの光源の波長と強度の関係と、撮像装置において使用する波長と強度の関係と、撮像画像の模式図については、図示の通りである。

また、図１の下段に示すように、可視蛍光観察モードにおける非蛍光部分向けの光源の波長と強度の関係と、撮像装置において使用する波長と強度の関係と、撮像画像の模式図については、図示の通りである。つまり、この場合、図２に示すように、撮像装置において非蛍光部分の色再現に使用可能な波長帯は、白色光観察モードの場合に比べて狭い。したがって、可視蛍光観察モードの撮像画像では色再現性能が低下してしまう。

つまり、従来技術では、白色光観察モードにおける撮像画像と、可視蛍光観察モードにおける撮像画像では、色合いが異なってしまうことがあるという問題があった。そうなると、例えば、それらの画像を見る術者が手術部位の状況を認識しにくい等の事態が発生する可能性がある。また、色再現性能向上のために、様々な被写体・色で色変換パラメータを生成すると、場合によっては、入出力関係が色に関して１対１にならず、十分な精度が得られない場合がある。そこで、以下では、所定の観察モードにおける撮像画像の色合いを他の観察モードにおける撮像画像の色合いに高精度に近づけることができる手法について説明する。以下、主に、可視蛍光観察モード（特殊光観察モードの例）における撮像画像の色合いを白色光観察モードにおける撮像画像の色合いに近づける場合について説明する。

（第１実施形態）
まず、第１実施形態について説明する。図３は、本開示の第１実施形態の概要の説明図である。第１実施形態の概要は、次の通りである。まず、白色光撮像画像（白色光観察モードにおける撮像画像）を記憶する。そして、特殊光撮像画像（特殊光観察モードにおける撮像画像）と白色光撮像画像に基づいて色変換パラメータ（以下、単に「パラメータ」という場合もある。）を生成する。そして、その色変換パラメータを用いて特殊光撮像画像に対して色変換処理を実行して色変換結果画像を得る。その色変換結果画像を表示する。このようにして、術中に出現する部位（色）のみを使うことで、リアルタイムでより高精度な色変換パラメータの生成が可能となり、色再現性能が向上する。以下、第１実施形態の詳細について説明する。

図４は、本開示の第１実施形態に係る医療システム１の構成を示す図である。第１実施形態に係る医療システム１は、大別して、光源２（光源）、撮像装置３（撮像装置）、情報処理装置４、表示装置５（表示部）を備える。以下、各構成について詳細に説明する。

（１）光源
光源２は、白色光観察モード（第１の観察モード）と可視蛍光観察モード（第２の観察モード）で異なる波長帯の光を、手術中の生体の一部である撮像対象に照射する。なお、図４では、図示を簡潔にするために光源２を単一として示しているが、白色光観察モード用の光源と可視蛍光観察モード用の光源を別々に備えていてもよい。

（２）撮像対象
撮像対象９（以下、単に「撮像対象」という。）は、手術中の生体である。例えば、本開示に係る医療システム１を顕微鏡手術や内視鏡手術などで用いることで、臓器や血管等の位置を確認しながら手術を行うことが可能である。そのため、より安全で高精度な手術を行うことができ、医療技術の更なる発展にも寄与することができる。

（３）撮像装置
撮像装置３は、光を照射された撮像対象からの反射光を撮像して撮像画像を出力する。撮像装置３は、例えば、イメージャである。なお、図４では、図示を簡潔にするために撮像装置３を単一として示しているが、白色光観察モード用の撮像装置と可視蛍光観察モード用の撮像装置を別々に備えていてもよい。

（４）情報処理装置
次に、図５を参照して、情報処理装置４について説明する。図５は、本開示の第１実施形態に係る情報処理装置４の構成を示す図である。情報処理装置４は、画像処理装置であり、主な構成として、処理部４１と記憶部４２を備える。

処理部４１は、例えば、ＣＰＵ（Central Processing Unit）により実現され、取得部４１１、参照画像記憶制御部４１２（記憶制御部）、色変換パラメータ生成部４１３（生成部）、色変換処理部４１４、および、表示制御部４１５を備える。

取得部４１１は、撮像装置３から、白色光観察モードのときの白色光撮像画像や可視蛍光観察モードのときの可視蛍光撮像画像を取得する。

参照画像記憶制御部４１２は、白色光観察モードのときの白色光撮像画像を参照画像として記憶部４２に記憶させる制御を行う。参照画像記憶制御部４１２は、例えば、白色光観察モードのときの白色光撮像画像を、無条件で、参照画像として記憶部４２に記憶させる。

また、参照画像記憶制御部４１２は、例えば、白色光観察モードのときの白色光撮像画像を、画像における生体以外の物体（例えば術具等）の面積が所定割合以下であれば、参照画像として記憶部４２に記憶させる。また、参照画像記憶制御部４１２は、その場合、例えば、白色光撮像画像を参照画像として記憶部４２に記憶させた後、画像における生体以外の物体の面積がより小さい白色光撮像画像を取得したときは、その白色光撮像画像で参照画像を更新してもよい。

また、参照画像記憶制御部４１２は、例えば、白色光観察モードのときの白色光撮像画像を、画像の鮮明度が所定の閾値以上であれば、参照画像として記憶部４２に記憶させる。画像の鮮明度が所定の閾値未満になる原因としては、例えば、撮像装置３が動いたこと等が考えられる。また、参照画像記憶制御部４１２は、その場合、例えば、白色光撮像画像を参照画像として記憶部４２に記憶させた後、画像の鮮明度がより大きい白色光撮像画像を取得したときは、その白色光撮像画像で参照画像を更新してもよい。

また、参照画像記憶制御部４１２は、例えば、白色光観察モードのときの白色光撮像画像を、手術の対象部分（例えば臓器等）の大きさと位置が所定の条件を充足していれば、参照画像として記憶部４２に記憶させる。これにより、参照画像と可視蛍光撮像画像の一方には映っているが他方には映っていない部位がある可能性を低減することができ、色変換パラメータの精度が上がる。また、参照画像記憶制御部４１２は、その場合、例えば、白色光撮像画像を参照画像として記憶部４２に記憶させた後、手術の対象部分の大きさと位置がより好適な白色光撮像画像を取得したときは、その白色光撮像画像で参照画像を更新してもよい。

また、参照画像記憶制御部４１２は、白色光観察モードのときの白色光撮像画像を、ユーザによって指定されたタイミングで、参照画像として記憶部４２に記憶させる。これにより、ユーザが求める目標色（参照画像の色合い）を可視蛍光撮像画像で再現しやすくなる。

また、参照画像記憶制御部４１２は、白色光観察モードのときの複数の白色光撮像画像を参照画像として記憶部４２に記憶させる。その場合、参照画像として記憶部４２に記憶される複数の白色光撮像画像は、例えば、無条件で任意の時間間隔で取得されたものであればよい。そうすれば、簡単な処理で複数の参照画像を記憶できる。

また、参照画像として記憶部４２に記憶される複数の白色光撮像画像は、例えば、画像特徴が異なるものであればよい。そうすれば、参照画像が特殊なものとなってしまって色変換の精度が低下する可能性を低減できる。

また、参照画像として記憶部４２に記憶される複数の白色光撮像画像は、例えば、ユーザが指定するタイミングで取得されたものでもよい。そうすれば、ユーザが諸条件を考慮した上で複数の参照画像を記憶できる。

色変換パラメータ生成部４１３は、可視蛍光観察モードのときの可視蛍光撮像画像を参照画像と比較して、可視蛍光撮像画像の色合いを参照画像の色合いに近づけるためのパラメータを生成する。その場合、色変換パラメータ生成部４１３は、パラメータを、画素単位、複数画素からなる所定領域単位、画像全体単位のいずれかで生成する。

ここで、図９は、本開示の第１実施形態において、撮像画像における色変換処理の単位の説明図である。撮像画像における色変換処理は、例えば、（ａ）に示すような画素毎や、（ｂ）に示すような所定領域毎や、（ｃ）に示すような画面（画像全体）毎に行うことができる。

（ａ）の場合、色変換パラメータは画素毎に生成される。その場合、注目画素を中心とした任意の範囲の情報を利用してもよい。画素毎とすることで、画面毎の場合よりも高精度なパラメータの生成が可能となる。

（ｂ）の場合、色変換パラメータは所定領域毎に生成される。所定領域毎とすることで、画面毎の場合よりも高精度なパラメータの生成が可能となる。

（ｃ）の場合、色変換パラメータは画面毎に生成される。画面毎とすることで、簡潔な処理で色変換パラメータの生成が可能となる。

図５に戻って、色変換パラメータ生成部４１３は、例えば、パラメータを、画素単位または所定領域単位で生成する場合に、被写体の動き推定および動き補償を行って被写体の位置を合わせて、生成する。また、色変換パラメータ生成部４１３は、例えば、可視蛍光撮像画像において、臓器識別を行い、臓器毎にパラメータを生成する。

ここで、図６は、本開示の第１実施形態に係る色変換パラメータ生成部４１３の構成例１を示す図である。動き推定部４１３１は、参照画像と入力画像（可視蛍光参照画像）を用いて、各画像における特徴量に基づいて被写体の動きを推定する。また、動き補償部４１３２は、動き推定部４１３１による推定結果と参照画像に基づいて動き補償を行う。そして、パラメータ生成部４１３３は、動き補償部４１３２による動き補償結果と入力画像に基づいて色変換パラメータを生成する。

また、図７は、本開示の第１実施形態に係る色変換パラメータ生成部４１３の構成例２を示す図である。臓器識別部４１３４は、参照画像について臓器識別を行う。また、臓器識別部４１３５は、入力画像について臓器識別を行う。そして、パラメータ生成部４１３６は、参照画像と入力画像と臓器識別部４１３４による臓器識別結果と臓器識別部４１３５による臓器識別結果に基づいて色変換パラメータを生成する。

図８は、本開示の第１実施形態に係る色変換パラメータ生成部４１３の構成例３を示す図である。動き推定部４１３７は、参照画像と入力画像を用いて、各画像における特徴量に基づいて被写体の動きを推定する。また、動き補償部４１３８は、動き推定部４１３７による推定結果と参照画像に基づいて動き補償を行う。また、臓器識別部４１３９は、入力画像について臓器識別を行う。そして、パラメータ生成部４１３１０は、入力画像と臓器識別部４１３９による臓器識別結果と動き補償部４１３８による動き補償結果に基づいて色変換パラメータを生成する。

図５に戻って、色変換パラメータ生成部４１３は、例えば、パラメータを、画素単位または所定領域単位で生成する場合に、画素間または所定領域間の境界で色合いの不連続が起きないように、生成する。ここで、図１１は、本開示の第１実施形態において、色変換パラメータを所定領域単位で生成する場合に、所定領域間の境界で色合いの不連続が起きないようにする処理の説明図である。

色変換パラメータ生成部４１３は、例えば、所定領域毎にパラメータを生成した後、所定領域間の境界で色合いの不連続が起きないように、補間処理（例えば線形補間処理）を行う。図１１の例では、例えば、画素Ａ向けの色変換パラメータとして、４つの破線領域の色変換パラメータから補間したものを利用することができる。

図５に戻って、色変換パラメータ生成部４１３は、例えば、パラメータを、可視蛍光撮像画像を色変換したときの色変換後画像と参照画像の色合いの差が最小になるような行列形式のパラメータとして生成する。ここで、図１０は、本開示の第１実施形態における行列形式の色変換パラメータの説明図である。色変換パラメータの生成単位は、画素でも所定領域でも画面でも臓器でもよい。また、参照画像が複数の場合、任意の数の参照画像を用いてもよい。ただし、必要に応じて、被写体の動き推定、動き補償を行う。その場合、動き推定、動き補償の信頼度によって、重み付けをしてもよい。

図１０に示すように、色変換パラメータ生成部４１３は、入力画像の入力画素値と参照画像（動き補償後）の参照画素値を用いて、誤差（差分）が最小になるような係数を最小二乗法等を用いて導出し、行列形式（マトリクス）の色変換パラメータを生成する。なお、ここでは、色空間としてＲＧＢ（Red:Green:Blue）色空間を用いているが、任意の色空間を適用できる。このように、行列形式のパラメータを用いることで、簡潔な処理で色変換が可能になる。

図５に戻って、色変換パラメータ生成部４１３は、例えば、パラメータを、可視蛍光撮像画像を色変換したときの色変換後画像と参照画像の色合いの差が最小になるようなルックアップテーブル形式のパラメータとして生成する。これによれば、非線形な処理が可能となり、高精度な色再現が可能となる。

また、色変換パラメータ生成部４１３は、例えば、パラメータを機械学習により生成する。これによれば、例えば所定量以上の教師データを用いた機械学習により、高精度な色再現が可能となる。

また、パラメータを生成するタイミングは、例えば、白色光観察モードから可視蛍光観察モードに切り替わった直後であればよい。また、直後の数フレーム後でもよい。また、毎フレームや任意のフレーム間隔でもよい。また、時間方向でパラメータの平滑化を行ってもよい。また、ユーザが設定したタイミングでもよい。このように、パラメータを生成するタイミングは、処理の簡潔さ（計算コスト）や色再現性能等を勘案してユーザが決定することができる。

色変換処理部４１４は、色変換処理対象の可視蛍光観察モードの場合、色変換パラメータ生成部４１３によって生成されたパラメータに基づいて、可視蛍光撮像画像に対する色変換処理を行って色変換結果画像を出力する。

表示制御部４１５は、各種表示制御を実行する。表示制御部４１５は、例えば、色変換結果画像を表示装置５に表示させる制御を行う。

記憶部４２は、各種情報を記憶する。記憶部４２は、例えば、参照画像や色変換パラメータや処理部４１の各部による演算結果等を記憶する。なお、記憶部４２の代わりに、医療システム１の外部の記憶装置を用いてもよい。

（５）表示装置
表示装置５は、表示制御部４１５から制御されることによって、各種情報を表示する。表示装置５は、例えば、色変換処理部４１４によって出力される色変換結果画像を表示する。なお、表示装置５の代わりに、医療システム１の外部の表示装置を用いてもよい。

図１２は、本開示の第１実施形態に係る情報処理装置４による処理を示す第１のフローチャートである。ステップＳ１において、取得部４１１は、撮像装置３から撮像画像を取得する。

次に、ステップＳ２において、参照画像記憶制御部４１２は、白色光観察モードか否かを判定し、Ｙｅｓの場合はステップＳ３に進み、Ｎｏの場合はステップＳ４に進む。ステップＳ３において、参照画像記憶制御部４１２は、撮像画像を参照画像として記憶部４２に記憶させる。なお、上述のように、参照画像記憶制御部４１２は、所定条件充足時（例えば画像における生体以外の物体の面積が所定割合以下）のみ、このステップＳ３の処理を行うようにしてもよい。

ステップＳ４において、色変換パラメータ生成部４１３は、色変換パラメータの生成処理を実行するか否かを判定し、Ｙｅｓの場合はステップＳ５に進み、Ｎｏの場合はステップＳ６に進む。

ステップＳ５において、色変換パラメータ生成部４１３は、可視蛍光撮像画像を参照画像と比較して、可視蛍光撮像画像の色合いを参照画像の色合いに近づけるためのパラメータを生成する。

ステップＳ５の後、および、ステップＳ４でＮｏの後、ステップＳ６において、色変換処理部４１４は、ステップＳ５で生成されたパラメータに基づいて、可視蛍光撮像画像に対する色変換処理を行って色変換結果画像を出力する。

ステップＳ６の後、ステップＳ７において、表示制御部４１５は、ステップＳ６で出力された色変換結果画像を表示装置５に表示させる制御を行う。

なお、この図１２の処理では、可視蛍光観察モードのときに無条件で可視蛍光撮像画像の色変換を行うものとしたが、例えば、特殊光観察モードが複数あって、色変換対象の特殊光観察モードが特定されている場合、図１３のような処理とすることができる。

図１３は、本開示の第１実施形態に係る情報処理装置４による処理を示す第２のフローチャートである。ステップＳ１、Ｓ２は図１２と同様である。ステップＳ２の後、ステップＳ３において、色変換パラメータ生成部４１３は、色変換対象の特殊光観察モードであるか否かを判定し、Ｙｅｓの場合はステップＳ４に進み、Ｎｏの場合はステップＳ７に進む。ステップＳ３～Ｓ７については図１２と同様である。

このように、第１実施形態の情報処理装置４によれば、白色光撮像画像を参照画像として記憶し、その後、可視蛍光撮像画像を取得したときに、可視蛍光撮像画像を参照画像と比較して色変換パラメータを生成し、その色変換パラメータに基づいて可視蛍光撮像画像に対する色変換処理を行うことで、簡潔な処理かつリアルタイムで、可視蛍光撮像画像の色合いを白色光撮像画像の色合いに近づけることができる。

したがって、可視蛍光観察モード時も白色光観察モード時と同様の視認性が維持され、例えば蛍光部分とその周辺の非蛍光部分の識別が容易になる。これにより、手術の安全性が向上する。また、白色光観察モードと可視蛍光観察モードの切り替えが途中から不要になり、便利である。

例えば、従来技術で、臓器毎の色補正係数をあらかじめ記憶しておき、臓器識別後に、識別した臓器について色補正を行うものがある。しかし、この方法の場合、使用環境によっては、事前に色補正係数を算出した時と使用時とで臓器の色が異なってしまい、適切な色に変換できない恐れがある。例えば、原因としては、光源の種類、光源の性能の経時変化、レンズ（硬性鏡）の種類、人による臓器の色の違い等が考えられる。本開示の情報処理装置４によれば、リアルタイムで色変換パラメータを生成するため、使用環境による影響を受けずに済む。

（第２実施形態）
次に、第２実施形態について説明する。第１実施形態と同様の事項については、説明を適宜省略する。第２実施形態は、第１実施形態と比較して、すでに色変換した結果画像を参照し、重み付けを行い、色変換パラメータを生成する点で相違する。

図１４は、本開示の第２実施形態に係る情報処理装置４の構成を示す図である。情報処理装置４の処理部４１において、色変換結果画像記憶制御部４１６が追加されている。色変換結果画像記憶制御部４１６は、色変換処理部４１４によって出力された色変換結果画像を記憶部４２に記憶させる制御を行う。そして、色変換パラメータ生成部４１３は、さらに記憶部４２に記憶された色変換結果画像に基づいて、パラメータを生成する。

図１５は、本開示の第２実施形態における行列形式の色変換パラメータの説明図である。図１０と同様の事項については説明を適宜省略する。図１５に示すように、色変換パラメータ生成部４１３は、入力画像の入力画素値と参照画像（動き補償後）の参照画素値を用いて、誤差が最小になるような係数を最小二乗法等を用いて導出し、行列形式（マトリクス）の色変換パラメータを生成する。その際、色変換パラメータ生成部４１３は、色変換結果画像（動き補償後）に基づいて画素毎の画素値の差分（誤差）に重み付けを行う。

このように、第２実施形態の情報処理装置４によれば、第１実施形態の場合の効果に加えて、色の違いによる色再現性能差を抑制することができるという効果を奏する。

（第３実施形態）
次に、第３実施形態について説明する。第１実施形態と同様の事項については、説明を適宜省略する。第３実施形態は、第１実施形態と比較して、ユーザによる色再現重視部位（色）の指定結果を参照し、重み付けを行い、色変換パラメータを生成する点で相違する。

色変換パラメータ生成部４１３は、生体におけるユーザによって指定された部位（色）について可視蛍光撮像画像の色合いが参照画像の色合いにより近づくように、パラメータを生成する。この部位指定は、例えば、所定のＵＩ（User Interface）によって実現できる。

このように、第３実施形態の情報処理装置４によれば、第１実施形態の場合の効果に加えて、ユーザが重視する部位（色）の色再現を重点的に向上させることができるという効果を奏する。

（応用例１）
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡システムに適用されてもよい。以下、内視鏡システムの一例である内視鏡手術システムについて説明する。

図１６は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１６では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ～５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ～５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。

（支持アーム装置）
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。

（内視鏡）
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。

鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ５０３９は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。

表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。

光源装置５０４３は、例えばＬＥＤ（Light Emitting Diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。

アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。

入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。

入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。

あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（HeadMounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置）
支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図１６では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ～５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ～５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。

関節部５０３３ａ～５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ～５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ～５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。

例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１は、手術室から離れた場所に設置される入力装置５０４７を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ～５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。

ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ～５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。

（光源装置）
光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（カメラヘッド及びＣＣＵ）
図１７を参照して、内視鏡５００１のカメラヘッド５００５及びＣＣＵ５０３９の機能についてより詳細に説明する。図１７は、図１６に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。

図１７を参照すると、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５と、を有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３と、を有する。カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。

まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。

撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary MetalOxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５０６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられる。

また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。

駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。

通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。

また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto WhiteBalance）機能が内視鏡５００１に搭載される。

カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、更に、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を備えてもよい。

なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。

また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise Reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５０６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル５０６５を用いて有線で通信が行われていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。

以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、本開示に係る技術が適用され得るシステムは、内視鏡システムに限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや、顕微鏡システム等の他のシステムに適用されてもよい。

本開示に係る技術は、以上説明した構成のうち、内視鏡５００１に好適に適用され得る。具体的には、内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像を表示装置５０４１に表示する場合に、本開示に係る技術を適用できる。内視鏡５００１に本開示に係る技術を適用することにより、特殊光撮像画像の色合いを白色光撮像画像の色合いに近づけて特殊光撮像画像を表示することができる。これにより、術者５０６７は、術中に高精度な特殊光撮像画像を表示装置５０４１においてリアルタイムで見ることができ、手術をより安全に行うことができる。

（応用例２）
また、本開示に係る技術は、顕微鏡システムに適用されてもよい。以下、顕微鏡システムの一例である顕微鏡手術システムについて説明する。顕微鏡手術システムは、患者の微細部位を拡大観察しながら行う、いわゆるマイクロサージェリーに用いられるシステムである。

図１８は、本開示に係る技術が適用され得る顕微鏡手術システム５３００の概略的な構成の一例を示す図である。図１８を参照すると、顕微鏡手術システム５３００は、顕微鏡装置５３０１と、制御装置５３１７と、表示装置５３１９と、から構成される。なお、以下の顕微鏡手術システム５３００についての説明において、「ユーザ」とは、術者及び助手等、顕微鏡手術システム５３００を使用する任意の医療スタッフのことを意味する。

顕微鏡装置５３０１は、観察対象（患者の術部）を拡大観察するための顕微鏡部５３０３と、顕微鏡部５３０３を先端で支持するアーム部５３０９と、アーム部５３０９の基端を支持するベース部５３１５と、を有する。

顕微鏡部５３０３は、略円筒形状の筒状部５３０５と、当該筒状部５３０５の内部に設けられる撮像部（図示せず）と、筒状部５３０５の外周の一部領域に設けられる操作部５３０７と、から構成される。顕微鏡部５３０３は、撮像部によって電子的に撮像画像を撮像する、電子撮像式の顕微鏡部（いわゆるビデオ式の顕微鏡部）である。

筒状部５３０５の下端の開口面には、内部の撮像部を保護するカバーガラスが設けられる。観察対象からの光（以下、観察光ともいう）は、当該カバーガラスを通過して、筒状部５３０５の内部の撮像部に入射する。なお、筒状部５３０５の内部には例えばＬＥＤ（Light Emitting Diode）等からなる光源が設けられてもよく、撮像時には、当該カバーガラスを介して、当該光源から観察対象に対して光が照射されてもよい。

撮像部は、観察光を集光する光学系と、当該光学系が集光した観察光を受光する撮像素子と、から構成される。当該光学系は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成され、その光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。当該撮像素子としては、例えばＢａｙｅｒ配列を有するカラー撮影可能なものが用いられる。当該撮像素子は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等、各種の公知の撮像素子であってよい。撮像素子によって生成された画像信号は、ＲＡＷデータとして制御装置５３１７に送信される。ここで、この画像信号の送信は、好適に光通信によって行われてもよい。手術現場では、術者が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信で画像信号が送信されることにより、低レイテンシで撮像画像を表示することが可能となる。

なお、撮像部は、その光学系のズームレンズ及びフォーカスレンズを光軸に沿って移動させる駆動機構を有してもよい。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像画像の拡大倍率及び撮像時の焦点距離が調整され得る。また、撮像部には、ＡＥ（Auto Exposure）機能やＡＦ（Auto Focus）機能等、一般的に電子撮像式の顕微鏡部に備えられ得る各種の機能が搭載されてもよい。

また、撮像部は、１つの撮像素子を有するいわゆる単板式の撮像部として構成されてもよいし、複数の撮像素子を有するいわゆる多板式の撮像部として構成されてもよい。撮像部が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、当該撮像部は、立体視（３Ｄ表示）に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、当該撮像部が多板式で構成される場合には、各撮像素子に対応して、光学系も複数系統が設けられ得る。

操作部５３０７は、例えば十字レバー又はスイッチ等によって構成され、ユーザの操作入力を受け付ける入力手段である。例えば、ユーザは、操作部５３０７を介して、観察像の拡大倍率及び観察対象までの焦点距離を変更する旨の指示を入力することができる。当該指示に従って撮像部の駆動機構がズームレンズ及びフォーカスレンズを適宜移動させることにより、拡大倍率及び焦点距離が調整され得る。また、例えば、ユーザは、操作部５３０７を介して、アーム部５３０９の動作モード（後述するオールフリーモード及び固定モード）を切り替える旨の指示を入力することができる。なお、ユーザが顕微鏡部５３０３を移動させようとする場合には、当該ユーザは筒状部５３０５を握るように把持した状態で当該顕微鏡部５３０３を移動させる様態が想定される。従って、操作部５３０７は、ユーザが筒状部５３０５を移動させている間でも操作可能なように、ユーザが筒状部５３０５を握った状態で指によって容易に操作しやすい位置に設けられることが好ましい。

アーム部５３０９は、複数のリンク（第１リンク５３１３ａ～第６リンク５３１３ｆ）が、複数の関節部（第１関節部５３１１ａ～第６関節部５３１１ｆ）によって互いに回動可能に連結されることによって構成される。

第１関節部５３１１ａは、略円柱形状を有し、その先端（下端）で、顕微鏡部５３０３の筒状部５３０５の上端を、当該筒状部５３０５の中心軸と平行な回転軸（第１軸Ｏ１）まわりに回動可能に支持する。ここで、第１関節部５３１１ａは、第１軸Ｏ１が顕微鏡部５３０３の撮像部の光軸と一致するように構成され得る。これにより、第１軸Ｏ１まわりに顕微鏡部５３０３を回動させることにより、撮像画像を回転させるように視野を変更することが可能になる。

第１リンク５３１３ａは、先端で第１関節部５３１１ａを固定的に支持する。具体的には、第１リンク５３１３ａは略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第１軸Ｏ１と直交する方向に延伸しつつ、当該一辺の端部が第１関節部５３１１ａの外周の上端部に当接するように、第１関節部５３１１ａに接続される。第１リンク５３１３ａの略Ｌ字形状の基端側の他辺の端部に第２関節部５３１１ｂが接続される。

第２関節部５３１１ｂは、略円柱形状を有し、その先端で、第１リンク５３１３ａの基端を、第１軸Ｏ１と直交する回転軸（第２軸Ｏ２）まわりに回動可能に支持する。第２関節部５３１１ｂの基端には、第２リンク５３１３ｂの先端が固定的に接続される。

第２リンク５３１３ｂは、略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第２軸Ｏ２と直交する方向に延伸しつつ、当該一辺の端部が第２関節部５３１１ｂの基端に固定的に接続される。第２リンク５３１３ｂの略Ｌ字形状の基端側の他辺には、第３関節部５３１１ｃが接続される。

第３関節部５３１１ｃは、略円柱形状を有し、その先端で、第２リンク５３１３ｂの基端を、第１軸Ｏ１及び第２軸Ｏ２と互いに直交する回転軸（第３軸Ｏ３）まわりに回動可能に支持する。第３関節部５３１１ｃの基端には、第３リンク５３１３ｃの先端が固定的に接続される。第２軸Ｏ２及び第３軸Ｏ３まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、水平面内での顕微鏡部５３０３の位置を変更するように、当該顕微鏡部５３０３を移動させることができる。つまり、第２軸Ｏ２及び第３軸Ｏ３まわりの回転を制御することにより、撮像画像の視野を平面内で移動させることが可能になる。

第３リンク５３１３ｃは、その先端側が略円柱形状を有するように構成されており、当該円柱形状の先端に、第３関節部５３１１ｃの基端が、両者が略同一の中心軸を有するように、固定的に接続される。第３リンク５３１３ｃの基端側は角柱形状を有し、その端部に第４関節部５３１１ｄが接続される。

第４関節部５３１１ｄは、略円柱形状を有し、その先端で、第３リンク５３１３ｃの基端を、第３軸Ｏ３と直交する回転軸（第４軸Ｏ４）まわりに回動可能に支持する。第４関節部５３１１ｄの基端には、第４リンク５３１３ｄの先端が固定的に接続される。

第４リンク５３１３ｄは、略直線状に延伸する棒状の部材であり、第４軸Ｏ４と直交するように延伸しつつ、その先端の端部が第４関節部５３１１ｄの略円柱形状の側面に当接するように、第４関節部５３１１ｄに固定的に接続される。第４リンク５３１３ｄの基端には、第５関節部５３１１ｅが接続される。

第５関節部５３１１ｅは、略円柱形状を有し、その先端側で、第４リンク５３１３ｄの基端を、第４軸Ｏ４と平行な回転軸（第５軸Ｏ５）まわりに回動可能に支持する。第５関節部５３１１ｅの基端には、第５リンク５３１３ｅの先端が固定的に接続される。第４軸Ｏ４及び第５軸Ｏ５は、顕微鏡部５３０３を上下方向に移動させ得る回転軸である。第４軸Ｏ４及び第５軸Ｏ５まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、顕微鏡部５３０３の高さ、すなわち顕微鏡部５３０３と観察対象との距離を調整することができる。

第５リンク５３１３ｅは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略Ｌ字形状を有する第１の部材と、当該第１の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第２の部材と、が組み合わされて構成される。第５リンク５３１３ｅの第１の部材の鉛直方向に延伸する部位の上端近傍に、第５関節部５３１１ｅの基端が固定的に接続される。第５リンク５３１３ｅの第２の部材の基端（下端）には、第６関節部５３１１ｆが接続される。

第６関節部５３１１ｆは、略円柱形状を有し、その先端側で、第５リンク５３１３ｅの基端を、鉛直方向と平行な回転軸（第６軸Ｏ６）まわりに回動可能に支持する。第６関節部５３１１ｆの基端には、第６リンク５３１３ｆの先端が固定的に接続される。

第６リンク５３１３ｆは鉛直方向に延伸する棒状の部材であり、その基端はベース部５３１５の上面に固定的に接続される。

第１関節部５３１１ａ～第６関節部５３１１ｆの回転可能範囲は、顕微鏡部５３０３が所望の動きを可能であるように適宜設定されている。これにより、以上説明した構成を有するアーム部５３０９においては、顕微鏡部５３０３の動きに関して、並進３自由度及び回転３自由度の計６自由度の動きが実現され得る。このように、顕微鏡部５３０３の動きに関して６自由度が実現されるようにアーム部５３０９を構成することにより、アーム部５３０９の可動範囲内において顕微鏡部５３０３の位置及び姿勢を自由に制御することが可能になる。従って、あらゆる角度から術部を観察することが可能となり、手術をより円滑に実行することができる。

なお、図示するアーム部５３０９の構成はあくまで一例であり、アーム部５３０９を構成するリンクの数及び形状（長さ）、並びに関節部の数、配置位置及び回転軸の方向等は、所望の自由度が実現され得るように適宜設計されてよい。例えば、上述したように、顕微鏡部５３０３を自由に動かすためには、アーム部５３０９は６自由度を有するように構成されることが好ましいが、アーム部５３０９はより大きな自由度（すなわち、冗長自由度）を有するように構成されてもよい。冗長自由度が存在する場合には、アーム部５３０９においては、顕微鏡部５３０３の位置及び姿勢が固定された状態で、アーム部５３０９の姿勢を変更することが可能となる。従って、例えば表示装置５３１９を見る術者の視界にアーム部５３０９が干渉しないように当該アーム部５３０９の姿勢を制御する等、術者にとってより利便性の高い制御が実現され得る。

ここで、第１関節部５３１１ａ～第６関節部５３１１ｆには、モータ等の駆動機構、及び各関節部における回転角度を検出するエンコーダ等が搭載されたアクチュエータが設けられ得る。そして、第１関節部５３１１ａ～第６関節部５３１１ｆに設けられる各アクチュエータの駆動が制御装置５３１７によって適宜制御されることにより、アーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が制御され得る。具体的には、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、アーム部５３０９の現在の姿勢、並びに顕微鏡部５３０３の現在の位置及び姿勢を把握することができる。制御装置５３１７は、把握したこれらの情報を用いて、ユーザからの操作入力に応じた顕微鏡部５３０３の移動を実現するような各関節部に対する制御値（例えば、回転角度又は発生トルク等）を算出し、当該制御値に応じて各関節部の駆動機構を駆動させる。なお、この際、制御装置５３１７によるアーム部５３０９の制御方式は限定されず、力制御又は位置制御等、各種の公知の制御方式が適用されてよい。

例えば、術者が、図示しない入力装置を介して適宜操作入力を行うことにより、当該操作入力に応じて制御装置５３１７によってアーム部５３０９の駆動が適宜制御され、顕微鏡部５３０３の位置及び姿勢が制御されてよい。当該制御により、顕微鏡部５３０３を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、当該入力装置としては、術者の利便性を考慮して、例えばフットスイッチ等、術者が手に術具を有していても操作可能なものが適用されることが好ましい。また、ウェアラブルデバイスや手術室内に設けられるカメラを用いたジェスチャ検出や視線検出に基づいて、非接触で操作入力が行われてもよい。これにより、清潔域に属するユーザであっても、不潔域に属する機器をより自由度高く操作することが可能になる。あるいは、アーム部５３０９は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５３０９は、手術室から離れた場所に設置される入力装置を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、ユーザからの外力を受け、その外力にならってスムーズにアーム部５３０９が移動するように第１関節部５３１１ａ～第６関節部５３１１ｆのアクチュエータが駆動される、いわゆるパワーアシスト制御が行われてもよい。これにより、ユーザが、顕微鏡部５３０３を把持して直接その位置を移動させようとする際に、比較的軽い力で顕微鏡部５３０３を移動させることができる。従って、より直感的に、より簡易な操作で顕微鏡部５３０３を移動させることが可能となり、ユーザの利便性を向上させることができる。

また、アーム部５３０９は、ピボット動作をするようにその駆動が制御されてもよい。ここで、ピボット動作とは、顕微鏡部５３０３の光軸が空間上の所定の点（以下、ピボット点という）を常に向くように、顕微鏡部５３０３を移動させる動作である。ピボット動作によれば、同一の観察位置を様々な方向から観察することが可能となるため、より詳細な患部の観察が可能となる。なお、顕微鏡部５３０３が、その焦点距離を調整不可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が固定された状態でピボット動作が行われることが好ましい。この場合には、顕微鏡部５３０３とピボット点との距離を、顕微鏡部５３０３の固定的な焦点距離に調整しておけばよい。これにより、顕微鏡部５３０３は、ピボット点を中心とする焦点距離に対応する半径を有する半球面（図１８に概略的に図示する）上を移動することとなり、観察方向を変更しても鮮明な撮像画像が得られることとなる。一方、顕微鏡部５３０３が、その焦点距離を調整可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が可変な状態でピボット動作が行われてもよい。この場合には、例えば、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、顕微鏡部５３０３とピボット点との距離を算出し、その算出結果に基づいて顕微鏡部５３０３の焦点距離を自動で調整してもよい。あるいは、顕微鏡部５３０３にＡＦ機能が設けられる場合であれば、ピボット動作によって顕微鏡部５３０３とピボット点との距離が変化するごとに、当該ＡＦ機能によって自動で焦点距離の調整が行われてもよい。

また、第１関節部５３１１ａ～第６関節部５３１１ｆには、その回転を拘束するブレーキが設けられてもよい。当該ブレーキの動作は、制御装置５３１７によって制御され得る。例えば、顕微鏡部５３０３の位置及び姿勢を固定したい場合には、制御装置５３１７は各関節部のブレーキを作動させる。これにより、アクチュエータを駆動させなくてもアーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が固定され得るため、消費電力を低減することができる。顕微鏡部５３０３の位置及び姿勢を移動したい場合には、制御装置５３１７は、各関節部のブレーキを解除し、所定の制御方式に従ってアクチュエータを駆動させればよい。

このようなブレーキの動作は、上述した操作部５３０７を介したユーザによる操作入力に応じて行われ得る。ユーザは、顕微鏡部５３０３の位置及び姿勢を移動したい場合には、操作部５３０７を操作し、各関節部のブレーキを解除させる。これにより、アーム部５３０９の動作モードが、各関節部における回転を自由に行えるモード（オールフリーモード）に移行する。また、ユーザは、顕微鏡部５３０３の位置及び姿勢を固定したい場合には、操作部５３０７を操作し、各関節部のブレーキを作動させる。これにより、アーム部５３０９の動作モードが、各関節部における回転が拘束されたモード（固定モード）に移行する。

制御装置５３１７は、顕微鏡装置５３０１及び表示装置５３１９の動作を制御することにより、顕微鏡手術システム５３００の動作を統括的に制御する。例えば、制御装置５３１７は、所定の制御方式に従って第１関節部５３１１ａ～第６関節部５３１１ｆのアクチュエータを動作させることにより、アーム部５３０９の駆動を制御する。また、例えば、制御装置５３１７は、第１関節部５３１１ａ～第６関節部５３１１ｆのブレーキの動作を制御することにより、アーム部５３０９の動作モードを変更する。また、例えば、制御装置５３１７は、顕微鏡装置５３０１の顕微鏡部５３０３の撮像部によって取得された画像信号に各種の信号処理を施すことにより、表示用の画像データを生成するとともに、当該画像データを表示装置５３１９に表示させる。当該信号処理では、例えば現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）及び／又は拡大処理（すなわち、電子ズーム処理）等、各種の公知の信号処理が行われてよい。

なお、制御装置５３１７と顕微鏡部５３０３との通信、及び制御装置５３１７と第１関節部５３１１ａ～第６関節部５３１１ｆとの通信は、有線通信であってもよいし無線通信であってもよい。有線通信の場合には、電気信号による通信が行われてもよいし、光通信が行われてもよい。この場合、有線通信に用いられる伝送用のケーブルは、その通信方式に応じて電気信号ケーブル、光ファイバ、又はこれらの複合ケーブルとして構成され得る。一方、無線通信の場合には、手術室内に伝送ケーブルを敷設する必要がなくなるため、当該伝送ケーブルによって医療スタッフの手術室内の移動が妨げられる事態が解消され得る。

制御装置５３１７は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイコン若しくは制御基板等であり得る。制御装置５３１７のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。なお、図示する例では、制御装置５３１７は、顕微鏡装置５３０１と別個の装置として設けられているが、制御装置５３１７は、顕微鏡装置５３０１のベース部５３１５の内部に設置され、顕微鏡装置５３０１と一体的に構成されてもよい。あるいは、制御装置５３１７は、複数の装置によって構成されてもよい。例えば、顕微鏡部５３０３や、アーム部５３０９の第１関節部５３１１ａ～第６関節部５３１１ｆにそれぞれマイコンや制御基板等が配設され、これらが互いに通信可能に接続されることにより、制御装置５３１７と同様の機能が実現されてもよい。

表示装置５３１９は、手術室内に設けられ、制御装置５３１７からの制御により、当該制御装置５３１７によって生成された画像データに対応する画像を表示する。つまり、表示装置５３１９には、顕微鏡部５３０３によって撮影された術部の画像が表示される。なお、表示装置５３１９は、術部の画像に代えて、又は術部の画像とともに、例えば患者の身体情報や手術の術式についての情報等、手術に関する各種の情報を表示してもよい。この場合、表示装置５３１９の表示は、ユーザによる操作によって適宜切り替えられてよい。あるいは、表示装置５３１９は複数設けられてもよく、複数の表示装置５３１９のそれぞれに、術部の画像や手術に関する各種の情報が、それぞれ表示されてもよい。なお、表示装置５３１９としては、液晶ディスプレイ装置又はＥＬ（Electro Luminescence）ディスプレイ装置等、各種の公知の表示装置が適用されてよい。

図１９は、図１８に示す顕微鏡手術システム５３００を用いた手術の様子を示す図である。図１９では、術者５３２１が、顕微鏡手術システム５３００を用いて、患者ベッド５３２３上の患者５３２５に対して手術を行っている様子を概略的に示している。なお、図１９では、簡単のため、顕微鏡手術システム５３００の構成のうち制御装置５３１７の図示を省略するとともに、顕微鏡装置５３０１を簡略化して図示している。

図２Ｃに示すように、手術時には、顕微鏡手術システム５３００を用いて、顕微鏡装置５３０１によって撮影された術部の画像が、手術室の壁面に設置される表示装置５３１９に拡大表示される。表示装置５３１９は、術者５３２１と対向する位置に設置されており、術者５３２１は、表示装置５３１９に映し出された映像によって術部の様子を観察しながら、例えば患部の切除等、当該術部に対して各種の処置を行う。

以上、本開示に係る技術が適用され得る顕微鏡手術システム５３００の一例について説明した。なお、ここでは、一例として顕微鏡手術システム５３００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、顕微鏡装置５３０１は、その先端に顕微鏡部５３０３に代えて他の観察装置や他の術具を支持する、支持アーム装置としても機能し得る。当該他の観察装置としては、例えば内視鏡が適用され得る。また、当該他の術具としては、鉗子、攝子、気腹のための気腹チューブ、又は焼灼によって組織の切開や血管の封止を行うエネルギー処置具等が適用され得る。これらの観察装置や術具を支持アーム装置によって支持することにより、医療スタッフが人手で支持する場合に比べて、より安定的に位置を固定することが可能となるとともに、医療スタッフの負担を軽減することが可能となる。本開示に係る技術は、このような顕微鏡部以外の構成を支持する支持アーム装置に適用されてもよい。

本開示に係る技術は、以上説明した構成のうち、制御装置５３１７に好適に適用され得る。具体的には、顕微鏡部５３０３の撮像部によって撮影された患者５３２５の術部の画像を表示装置５３１９に表示する場合に、本開示に係る技術を適用できる。制御装置５３１７に本開示に係る技術を適用することにより、特殊光撮像画像の色合いを白色光撮像画像の色合いに近づけて特殊光撮像画像を表示することができる。これにより、術者５３２１は、術中に高精度な特殊光撮像画像を表示装置５３１９においてリアルタイムで見ることができ、手術をより安全に行うことができる。

なお、本技術は以下のような構成も取ることができる。
（１）
第１の観察モードと第２の観察モードで異なる波長帯の光を、手術中の生体の一部である撮像対象に照射する光源と、
前記光を照射された前記撮像対象からの反射光を撮像して撮像画像を出力する撮像装置と、
前記第１の観察モードのときの第１の撮像画像を参照画像として記憶部に記憶させる制御を行う記憶制御部と、
前記第２の観察モードのときの第２の撮像画像を前記参照画像と比較して、前記第２の撮像画像の色合いを前記参照画像の色合いに近づけるためのパラメータを生成する生成部と、
前記パラメータに基づいて前記第２の撮像画像に対する色変換処理を行って色変換結果画像を出力する色変換処理部と、
前記色変換結果画像を表示部に表示させる制御を行う表示制御部と、を備える医療システム。
（２）
前記記憶制御部は、前記第１の観察モードのときの第１の撮像画像を、画像における生体以外の物体の面積が所定割合以下であれば、前記参照画像として前記記憶部に記憶させる制御を行う、（１）に記載の医療システム。
（３）
前記記憶制御部は、前記第１の観察モードのときの第１の撮像画像を、画像の鮮明度が所定の閾値以上であれば、前記参照画像として前記記憶部に記憶させる制御を行う、（１）に記載の医療システム。
（４）
前記記憶制御部は、前記第１の観察モードのときの第１の撮像画像を、手術の対象部分の大きさと位置が所定の条件を充足していれば、前記参照画像として前記記憶部に記憶させる制御を行う、（１）に記載の医療システム。
（５）
前記記憶制御部は、前記第１の観察モードのときの第１の撮像画像を、ユーザによって指定されたタイミングで、前記参照画像として前記記憶部に記憶させる制御を行う、（１）に記載の医療システム。
（６）
前記記憶制御部は、前記第１の観察モードのときの複数の第１の撮像画像を前記参照画像として前記記憶部に記憶させる制御を行う、（１）に記載の医療システム。
（７）
前記生成部は、前記パラメータを、画素単位、複数画素からなる所定領域単位、画像全体単位のいずれかで生成する、（１）に記載の医療システム。
（８）
前記生成部は、前記パラメータを、前記画素単位または前記所定領域単位で生成する場合に、被写体の動き推定および動き補償を行って前記被写体の位置を合わせて、生成する、（７）に記載の医療システム。
（９）
前記生成部は、前記パラメータを、前記画素単位または前記所定領域単位で生成する場合に、画素間または所定領域間の境界で色合いの不連続が起きないように、生成する、（７）に記載の医療システム。
（１０）
前記生成部は、前記第２の撮像画像において、臓器識別を行い、前記臓器毎に前記パラメータを生成する、（１）に記載の医療システム。
（１１）
前記生成部は、前記パラメータを、前記第２の撮像画像を色変換したときの色変換後画像と前記参照画像の色合いの差が最小になるような行列形式のパラメータとして生成する、（１）に記載の医療システム。
（１２）
前記生成部は、前記パラメータを、前記第２の撮像画像を色変換したときの色変換後画像と前記参照画像の色合いの差が最小になるようなルックアップテーブル形式のパラメータとして生成する、（１）に記載の医療システム。
（１３）
前記生成部は、前記パラメータを機械学習により生成する、（１）に記載の医療システム。
（１４）
前記記憶制御部は、前記色変換処理部によって出力された色変換結果画像を記憶部に記憶させる制御を行い、
前記生成部は、さらに前記記憶部に記憶された前記色変換結果画像に基づいて、前記パラメータを生成する、（１）に記載の医療システム。
（１５）
前記生成部は、前記生体におけるユーザによって指定された部位について前記第２の撮像画像の色合いが前記参照画像の色合いにより近づくように、パラメータを生成する、（１）に記載の医療システム。
（１６）
前記第１の観察モードは白色光観察モードで、前記第２の観察モードは可視蛍光観察モードである、（１）に記載の医療システム。
（１７）
前記医療システムは、顕微鏡システム、または、内視鏡システムである、（１）に記載の医療システム。
（１８）
第１の観察モードと第２の観察モードで異なる波長帯の光を手術中の生体の一部である撮像対象に照射する光源、および、前記光を照射された前記撮像対象からの反射光を撮像して撮像画像を出力する撮像装置と連携する情報処理装置であって、
前記第１の観察モードのときの第１の撮像画像を参照画像として記憶部に記憶させる制御を行う記憶制御部と、
前記第２の観察モードのときの第２の撮像画像を前記参照画像と比較して、前記第２の撮像画像の色合いを前記参照画像の色合いに近づけるためのパラメータを生成する生成部と、
前記パラメータに基づいて前記第２の撮像画像に対する色変換処理を行って色変換結果画像を出力する色変換処理部と、
前記色変換結果画像を表示部に表示させる制御を行う表示制御部と、を備える情報処理装置。
（１９）
第１の観察モードと第２の観察モードで異なる波長帯の光を手術中の生体の一部である撮像対象に照射する光源、および、前記光を照射された前記撮像対象からの反射光を撮像して撮像画像を出力する撮像装置と連携する情報処理装置による情報処理方法であって、
前記第１の観察モードのときの第１の撮像画像を参照画像として記憶部に記憶させる制御を行う記憶制御工程と、
前記第２の観察モードのときの第２の撮像画像を前記参照画像と比較して、前記第２の撮像画像の色合いを前記参照画像の色合いに近づけるためのパラメータを生成する生成工程と、
前記パラメータに基づいて前記第２の撮像画像に対する色変換処理を行って色変換結果画像を出力する色変換処理工程と、
前記色変換結果画像を表示部に表示させる制御を行う表示制御工程と、を含む情報処理方法。

以上、本開示の実施形態、変形例について説明したが、本開示の技術的範囲は、上述の実施形態、変形例そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態、変形例にわたる構成要素を適宜組み合わせてもよい。

例えば、第１の観察モードと第２の観察モードの組合せは、白色光観察モードと可視蛍光観察モードに限定されず、白色光観察モードと可視蛍光観察モード以外の特殊光観察モードや、所定の基準観察モードと色変換対象観察モードであってもよい。

また、特殊光観察モードが複数ある場合に、それぞれに独立した色変換を行うようにしてもよい。

また、本明細書に記載された各実施形態、変形例における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。

１…医療システム、２…光源、３…撮像装置、４…情報処理装置、５…表示装置、９…撮像対象、４１…処理部、４２…記憶部、４１１…取得部、４１２…参照画像記憶制御部、４１３…色変換パラメータ生成部、４１４…色変換処理部、４１５…表示制御部、４１６…色変換結果画像記憶制御部

Claims (19)

1. 第１の観察モードと第２の観察モードで異なる波長帯の光を、手術中の生体の一部である撮像対象に照射する光源と、
   前記光を照射された前記撮像対象からの反射光を撮像して撮像画像を出力する撮像装置と、
   前記第１の観察モードのときの第１の撮像画像を参照画像として記憶部に記憶させる制御を行う記憶制御部と、
   前記第２の観察モードのときの第２の撮像画像を前記参照画像と比較して、前記第２の撮像画像の色合いを前記参照画像の色合いに近づけるためのパラメータを生成する生成部と、
   前記パラメータに基づいて前記第２の撮像画像に対する色変換処理を行って色変換結果画像を出力する色変換処理部と、
   前記色変換結果画像を表示部に表示させる制御を行う表示制御部と、を備える医療システム。
2. 前記記憶制御部は、前記第１の観察モードのときの前記第１の撮像画像を、画像における生体以外の物体の面積が所定割合以下であれば、前記参照画像として前記記憶部に記憶させる制御を行う、請求項１に記載の医療システム。
3. 前記記憶制御部は、前記第１の観察モードのときの前記第１の撮像画像を、画像の鮮明度が所定の閾値以上であれば、前記参照画像として前記記憶部に記憶させる制御を行う、請求項１に記載の医療システム。
4. 前記記憶制御部は、前記第１の観察モードのときの前記第１の撮像画像を、手術の対象部分の大きさと位置が所定の条件を充足していれば、前記参照画像として前記記憶部に記憶させる制御を行う、請求項１に記載の医療システム。
5. 前記記憶制御部は、前記第１の観察モードのときの前記第１の撮像画像を、ユーザによって指定されたタイミングで、前記参照画像として前記記憶部に記憶させる制御を行う、請求項１に記載の医療システム。
6. 前記記憶制御部は、前記第１の観察モードのときの複数の第１の撮像画像を前記参照画像として前記記憶部に記憶させる制御を行う、請求項１に記載の医療システム。
7. 前記生成部は、前記パラメータを、画素単位、複数画素からなる所定領域単位、画像全体単位のいずれかで生成する、請求項１に記載の医療システム。
8. 前記生成部は、前記パラメータを、前記画素単位または前記所定領域単位で生成する場合に、被写体の動き推定および動き補償を行って前記被写体の位置を合わせて、生成する、請求項７に記載の医療システム。
9. 前記生成部は、前記パラメータを、前記画素単位または前記所定領域単位で生成する場合に、画素間または所定領域間の境界で色合いの不連続が起きないように、生成する、請求項７に記載の医療システム。
10. 前記生成部は、前記第２の撮像画像において、臓器識別を行い、前記臓器毎に前記パラメータを生成する、請求項１に記載の医療システム。
11. 前記生成部は、前記パラメータを、前記第２の撮像画像を色変換したときの色変換後画像と前記参照画像の色合いの差が最小になるような行列形式のパラメータとして生成する、請求項１に記載の医療システム。
12. 前記生成部は、前記パラメータを、前記第２の撮像画像を色変換したときの色変換後画像と前記参照画像の色合いの差が最小になるようなルックアップテーブル形式のパラメータとして生成する、請求項１に記載の医療システム。
13. 前記生成部は、前記パラメータを機械学習により生成する、請求項１に記載の医療システム。
14. 前記記憶制御部は、前記色変換処理部によって出力された色変換結果画像を記憶部に記憶させる制御を行い、
    前記生成部は、さらに前記記憶部に記憶された前記色変換結果画像に基づいて、前記パラメータを生成する、請求項１に記載の医療システム。
15. 前記生成部は、前記生体におけるユーザによって指定された部位について前記第２の撮像画像の色合いが前記参照画像の色合いにより近づくように、パラメータを生成する、請求項１に記載の医療システム。
16. 前記第１の観察モードは白色光観察モードで、前記第２の観察モードは可視蛍光観察モードである、請求項１に記載の医療システム。
17. 前記医療システムは、顕微鏡システム、または、内視鏡システムである、請求項１に記載の医療システム。
18. 第１の観察モードと第２の観察モードで異なる波長帯の光を手術中の生体の一部である撮像対象に照射する光源、および、前記光を照射された前記撮像対象からの反射光を撮像して撮像画像を出力する撮像装置と連携する情報処理装置であって、
    前記第１の観察モードのときの第１の撮像画像を参照画像として記憶部に記憶させる制御を行う記憶制御部と、
    前記第２の観察モードのときの第２の撮像画像を前記参照画像と比較して、前記第２の撮像画像の色合いを前記参照画像の色合いに近づけるためのパラメータを生成する生成部と、
    前記パラメータに基づいて前記第２の撮像画像に対する色変換処理を行って色変換結果画像を出力する色変換処理部と、
    前記色変換結果画像を表示部に表示させる制御を行う表示制御部と、を備える情報処理装置。
19. 第１の観察モードと第２の観察モードで異なる波長帯の光を手術中の生体の一部である撮像対象に照射する光源、および、前記光を照射された前記撮像対象からの反射光を撮像して撮像画像を出力する撮像装置と連携する情報処理装置による情報処理方法であって、
    前記第１の観察モードのときの第１の撮像画像を参照画像として記憶部に記憶させる制御を行う記憶制御工程と、
    前記第２の観察モードのときの第２の撮像画像を前記参照画像と比較して、前記第２の撮像画像の色合いを前記参照画像の色合いに近づけるためのパラメータを生成する生成工程と、
    前記パラメータに基づいて前記第２の撮像画像に対する色変換処理を行って色変換結果画像を出力する色変換処理工程と、
    前記色変換結果画像を表示部に表示させる制御を行う表示制御工程と、を含む情報処理方法。

Images