JP2019509670A - 仮想原色を使用して手術用ディスプレイ技術をマッチングさせること - Google Patents

Abstract

仮想原色変換コントローラが、イメージングパイプラインから受け取ったシーンの第１のピクセルの色を、モニタに表示される第２のピクセルの色にマッピングする。第１の色及び第２の色は同じ色である。コントローラによって実行される直接マッピングは、２つの異なるディスプレイ技術を使用して表示されるピクセルの色が同一であることを確実にする。

Description

（関連出願）
本特許出願は、その全体が本明細書に参照により援用される、２０１６年２月１２日に出願された“Matching surgical display technologies using virtual primaries”と題する米国仮特許出願第62/294,939号の優先権及び利益を主張する。

本発明は、概してディスプレイ装置に関し、より具体的には、異なるディスプレイ技術を用いてディスプレイ装置上の色をマッチング（一致）させることに関する。

手術システム１００は、全てが有線（電気若しくは光学）又は無線接続によって相互接続される、内視鏡イメージングシステム１９２、外科医のコンソール１９４（マスタ）、及び患者側サポートシステム１１０（スレーブ）を含むコンピュータ支援手術システムである。１つ又は複数の電子データプロセッサが、システム機能を提供するために、これらの主要構成要素内に様々に配置されてもよい。その例は、参照により本明細書に組み込まれる特許文献１に開示されている。

患者側サポートシステム１１０は、エントリガイドマニピュレータ１３０を含む。少なくとも１つの手術装置アセンブリが、エントリガイドマニピュレータ１３０に結合される。各手術装置アセンブリは、手術器具又は画像キャプチャユニットのいずれかを含む器具を含む。例えば、図１において、１つの手術装置アセンブリは、シャフト１３７−１を有する器具１３５−１と、手術中にエントリガイド１１５を通って延びる画像キャプチャユニットとを含む。器具１３５−１は、内視鏡、又はイメージングシステムデバイス又はカメラ器具と呼ばれることがある。典型的には、エントリガイド１１５は、複数の管腔を含む。

イメージングシステム１９２は、手術部位のキャプチャされた内視鏡イメージングデータ及び／又は患者の外部の他のイメージングシステムからの手術前又はリアルタイムの画像データに対して画像処理機能を実行する。イメージングシステム１９２は、外科医のコンソール１９４の外科医に、処理された画像データ（例えば、手術部位の画像、並びに関連する制御及び患者情報）を出力する。いくつかの態様では、処理された画像データは、他の手術室の職員又は手術室から離れた１つ若しくは複数の場所で見えるオプションの外部モニタに出力される（例えば、別の場所の外科医が、ビデオを監視してもよく、ライブフィードビデオがトレーニングのために使用されてもよい）。

外科医のコンソール１９４は、集合的にスレーブと呼ばれる、器具、エントリガイド（複数可）、及びイメージングシステムデバイスを外科医が操作することを可能にする、複数の自由度（“ＤＯＦ”）の機械的入力装置（「マスタ」）を含む。これらの入力装置は、いくつかの態様では、器具及び手術装置アセンブリ構成要素から外科医への触覚フィードバックを提供することができる。外科医のコンソール１９４はまた、ディスプレイ上の画像が概してディスプレイスクリーンの後ろ／下で作業する外科医の手に対応する距離に焦点を合わせられるように配置された立体ビデオ出力ディスプレイを含む。これらの態様は、本明細書に参照により援用される特許文献２により完全に議論される。

器具の挿入中の制御は、例えば、外科医が画像内に提示された器具をマスタの一方又は両方で動かすことによって達成され得る。外科医は、マスタを使用して、画像内の器具を左右に動かし、外科医の方に器具を引っ張る。マスタの動きは、イメージングシステム及び関連する手術装置アセンブリに命令して、出力ディスプレイ上の固定中心点に向かって誘導し、患者の内部を前進させる。

１つの態様では、カメラ制御は、マスタハンドルが移動されるのと同じ方向に画像が移動するようにマスタが画像に固定されているという印象を与えるように設計されている。この設計は、外科医がカメラ制御から出るときに、器具を制御するための正しい位置にマスタを置かせ、その結果、この設計は、器具制御の開始又は再開に先立って、マスタをクラッチする（clutch）（離脱する）、移動する、及びクラッチ解除する（declutch）（係合する）必要を回避する。

患者側サポートシステム１１０のベース１０１は、受動的な制御されないセットアップアームアセンブリ１２０及び能動的に制御されるマニピュレータアームアセンブリ１３０を含むアームアセンブリを支持する。能動的に制御されるマニピュレータアームアセンブリ１３０は、エントリガイドマニピュレータ１３０と呼ばれることもある。プラットフォーム１３２と呼ばれることもあるエントリガイドマニピュレータアセンブリプラットフォーム１３２は、第４のマニピュレータリンク１１９の遠位端部に結合される。エントリガイドマニピュレータアセンブリ１３３は、プラットフォーム１３２に回転可能に取り付けられる。矢印１９５は、遠位方向及び近位方向を示している。

エントリガイドマニピュレータアセンブリ１３３は、器具マニピュレータ位置決めシステムを含む。エントリガイドマニピュレータアセンブリ１３３は、複数の器具マニピュレータ１４０−１、１４０−２を軸１２５周りにグループとして回転させる。

複数の器具マニピュレータ１４０−１、１４０−２の各々は、異なる挿入アセンブリ１３６によってエントリガイドマニピュレータアセンブリ１３３に結合される。一態様では、各挿入アセンブリ１３６は、対応する器具マニピュレータをエントリガイドマニピュレータアセンブリ１３５から離れて及びエントリガイドマニピュレータアセンブリ１３５に向かって移動させる伸縮（telescoping）アセンブリである。図１では、挿入アセンブリのそれぞれが完全に格納（retracted）位置にある。

複数の器具マニピュレータアセンブリ１４０−１、１４０−２の各々は、その器具マニピュレータの出力インタフェース内の複数の出力部を駆動する複数のモータを含む。器具マニピュレータ及び器具マニピュレータに結合されることができる手術器具の一例については、参照により組み込まれる特許文献３（２０１３年８月１５日出願）を参照されたい。

複数の手術装置アセンブリ１８０の各々は、複数の器具マニピュレータアセンブリのうちの異なる１つと、手術器具及び画像キャプチャユニットのうちの１つを含む器具とを含む。器具１３５−１、１３５−２の各々は、トランスミッション（transmission）ユニットを収容するボディを含む。トランスミッションユニットは、複数の入力部を含む入力インタフェースを含む。器具１３５−１、１３５−２の各々はまた、ボディから遠位方向に延びるメインチューブと呼ばれることもあるシャフト１３７−１、１３７−２を含む。エンドエフェクタが、手術器具アセンブリのシャフトの遠位端部に結合され、画像キャプチャユニット、例えばカメラが、異なる手術器具アセンブリの遠位端部に含まれる。器具マニピュレータアセンブリおよび手術器具の一例として、参照により組み込まれる特許文献３（２０１３年８月１５日出願）を参照されたい。

器具１３５−１、１３５−２の各々は、器具１３５−１、１３５−２内のトランスミッションユニットの入力インタフェースの複数の入力部が、器具マニピュレータアセンブリ１４０−１、１４０−２の器具取付インタフェースの複数の出力部によって駆動されるように、対応する器具マニピュレータアセンブリ１４０−１、１４０−２の器具取付インタフェースに結合される。特許文献３（２０１３年８月１５日出願）を参照されたい。

図１に示すように、複数の手術装置アセンブリ１８０のシャフトは、器具のボディから遠位に延びる。シャフトは、（例えば、体壁を通って又は自然のオリフィスで）患者へのエントリポートに配置された共通のカニューレ１１６を通って延びる。一態様では、エントリガイド１１５がカニューレ１１６内に配置され、各器具シャフトは、器具シャフトのための追加の支持を提供するように、エントリガイド１１５のチャネルを通って延びる。

外科医のコンソール１９４のモニタは、冷陰極蛍光管（ＣＣＦＬ）でバックライト照射される（backlit）液晶ディスプレイ（ＬＣＤ）である。このモニタは、手術部位のシーン（scene）に関して良好な色域（gamut）を有し、外科医はこのモニタで再現されるような手術部位の色に慣れている。

米国特許出願公開第2008/0065105号 米国特許第6,671,581号 米国特許出願第61/866,115号

異なるディスプレイ技術を有するディスプレイ装置に表示されるシーンが同じ発色（coloring）を有することを保証するために、第１のピクセル（画素）の第１の色が第２のピクセルの第２の色に直接マッピングされる。第２のピクセルは、第２のディスプレイ技術を有する第２のディスプレイ装置に表示するためのものである。第２の色は第１の色と同一である。第１のピクセルの第１の色は、第１のディスプレイ技術の第１の実際の原色（first real primary colors）の少なくとも３つのサブピクセルの組み合わせによって定義される。第２のピクセルの第２の色は、第２のディスプレイ技術の第２の実際の原色の少なくとも３つのサブピクセルの組み合わせによって定義される。第２の実際の原色は、第１の実際の原色とは異なる。一態様では、第２のピクセルは手術部位のシーンに含まれる。

一態様では、第２のピクセルの第２の色は、第２のディスプレイ装置の色域内にある。第１のピクセルの第１の色は、第１のディスプレイ装置の色域内にあり、第１のディスプレイ装置は、第２のディスプレイ技術とは異なる第１のディスプレイ技術を有する。一態様では、第１のディスプレイ装置は、冷陰極蛍光管でバックライト照射される液晶ディスプレイモニタを含む。また、一態様では、第２のディスプレイ装置は、発光ダイオードによってバックライト照射される液晶ディスプレイモニタを含む。

一態様では、第２のディスプレイ技術を有する第２のディスプレイ装置に表示するために、第１のピクセルの第１の色を第２のピクセルの第２の色に直接マッピングするステップは、第１のピクセルの第１の色を、

色空間（color space）における第３のピクセルの同一の色に直接マッピングするステップを含む。第２のディスプレイ技術を有する第２のディスプレイ装置に表示するために、第１のピクセルの第１の色を第２のピクセルの第２の色に直接マッピングすることは、

色空間における第３のピクセルの色を、第２のピクセルの同一の色に直接マッピングするステップを含む。第２のピクセルの同一の色は第２の色である。一態様では、第１のピクセルの色を

色空間における第３のピクセルの同一の色に直接マッピングするステップ、及び

色空間における第３のピクセルを第２のピクセルの同一の色に直接マッピングするステップは、単一のマッピング動作で一緒に実行される。

別の態様では、シーンがディスプレイ技術を有するモニタに表示される。表示されるシーンは、複数のピクセルを含む。ピクセルの各々は色を有する。シーンが異なるディスプレイ技術を有する異なるモニタに表示されるとき、複数のピクセルのそれぞれの色は、シーン内の対応する複数のピクセルの対応するピクセルの色と同じ色である。一態様では、シーンは手術シーンである。

一態様では、複数のピクセルの各々の色は、ディスプレイ装置の色域内にあり、対応する複数のピクセルの各々の色は、異なるディスプレイ装置の色域内にある。一態様では、異なるディスプレイ装置の色域は、冷陰極蛍光管でバックライト照射される液晶ディスプレイモニタの色域であり、ディスプレイ装置の色域は、発光ダイオードによってバックライト照射される液晶ディスプレイモニタの色域である。

装置はディスプレイユニットを含む。ディスプレイ装置は、仮想原色（virtual primaries）変換コントローラとディスプレイ装置とを含む。仮想原色変換コントローラは、手術部位のシーンを表す複数のピクセルを受け取るように構成される。複数のピクセルの第１のピクセルは、第１の実際の原色の３つのサブピクセルの第１の組み合わせによって定義される第１の色を有する。仮想原色変換コントローラは、第１の色を第２のピクセルの第２の色に直接マッピングするように構成される。第２のピクセルの第２の色は、第２の実際の原色の３つのサブピクセルの第２の組み合わせによって定義される。第１の色と第２の色は同じ色である。ディスプレイ装置は、第２のピクセルを受け取り、第２のピクセルを表示するように構成される。一態様では、第２のピクセルは手術部位のシーンに含まれる。

一態様では、ディスプレイ装置はディスプレイ技術を使用し、第２のピクセルの色はディスプレイ装置の色域内にある。第１のピクセルの色は、異なるディスプレイ装置の色域内にあり、異なるディスプレイ装置は、ディスプレイ装置のディスプレイ技術とは異なる別のディスプレイ技術を有する。一態様では、異なるディスプレイ装置は、冷陰極蛍光管でバックライト照射される液晶ディスプレイモニタを含む。また、一態様では、ディスプレイ装置は、発光ダイオードによってバックライト照射される液晶ディスプレイモニタを含む。

一態様では、第１の色を第２のピクセルの第２の色に直接マッピングするように構成される仮想原色変換コントローラは、第１のピクセルの色を、

色空間における第３のピクセルの同一の色に直接マッピングするように構成される仮想原色変換コントローラを含む。第１の色を第２のピクセルの第２の色に直接マッピングするように構成される仮想原色変換コントローラは、

色空間における第３のピクセルの色を、第２のピクセルの同一の色に直接マッピングするように構成される仮想原色変換コントローラを含む。第２のピクセルの同一の色は第２の色である。一態様では、第１のピクセルの色を

色空間における第３のピクセルの同一の色に直接マッピングするように構成される仮想原色変換コントローラ及び

色空間における第３のピクセルの色を第２のピクセルの同一の色に直接マッピングするように構成される仮想原色変換コントローラは、単一の直接マッピングとして２つのマッピングを実行するように構成される仮想原色コントローラを含む。

従来技術のコンピュータ支援手術システムの図である。

仮想原色変換コントローラを持つディスプレイユニットを含むコンピュータ支援手術システムの一部のブロック図である。

異なるディスプレイ技術を持つ２つのディスプレイ装置の色域を含むＣＩＥ１９３１色度図の例である。

手術部位のシーンで見られる色を含むＣＩＥ１９３１色度図の領域を示す。

従来の外科医のコンソール１９４のディスプレイユニット１９５に使用されていた冷陰極蛍光管によってバックライト照射される液晶ディスプレイモニタ１９６は、ＬＣＤメーカによって段階的に廃止されている。したがって、冷陰極蛍光管バックライトを利用する外科医のコンソール１９４のディスプレイユニット１９５内の液晶ディスプレイモニタ１９６及び手術室の他のモニタは、例えば、発光ダイオードによってバックライト照射される液晶ディスプレイモニタに置き換えられている。

外科医のコンソール２９４のモニタ２９６（図２）に表示される手術シーンの色が、外科医の期待に相変わらず一致していることは重要である。外科医のコンソール２９４は、モニタ２９６がモニタ１９６によって使用されるディスプレイ技術とは異なるディスプレイ技術を使用する点を除いて、外科医のコンソール１９４と同じである。なお、２つの外科用コンソールの画像システム１９２への結合は、例示に過ぎず、制限することを意図するものではない。以下に説明される態様は、手術部位のシーンを表示するために使用される任意のディスプレイユニット、並びに別のディスプレイ技術を持つ別のディスプレイユニットに置き換わり且つ以下により完全に記載される特性を有する画像を表示するために使用される任意のディスプレイユニットにおいて実施され得る。したがって、図２に示すような異なるディスプレイユニットの使用は、複数のモニタの使用と同様に任意である。また、モニタ１９６及び２９６はディスプレイ装置の例である。

手術イメージングシステムを構成するカメラ、照明、又はディスプレイ技術の変化は、表示された手術シーンの色の外観を劇的に変え得る。特に、冷陰極蛍光管によってバックライト照射される液晶ディスプレイモニタ１９６（ＣＣＦＬモニタ１９６と呼ばれることもある）上で再現される画像の色は、バックライトの差異に起因して、発光ダイオードによってバックライト照射される液晶ディスプレイモニタ２９６（ＬＥＤモニタ２９６と呼ばれることもある）上で再現されるその同じ画像の色と全く異なり得る。

ここでは、冷陰極管によってバックライト照射される液晶ディスプレイモニタ１９６は、第１のディスプレイ技術を利用する第１のモニタの例である。発光ダイオードによってバックライト照射される液晶ディスプレイモニタ２９６は、第２のディスプレイ技術を利用する第２の異なるモニタの例であり、ここで第１のディスプレイ技術は第２のディスプレイ技術とは異なる。

一実施形態では、仮想原色変換コントローラ２２０がディスプレイユニット２９５に含まれる。仮想原色変換コントローラ２２０は、ＣＣＦＬモニタ１９６に表示される手術部位のシーンを表す同じ入力ピクセルデータを受け取る。仮想原色変換コントローラ２２０は、冷陰極蛍光管によってバックライト照射される液晶ディスプレイモニタ１９６及び発光ダイオードによってバックライト照射される液晶ディスプレイモニタ２９６に表示される手術部位のシーン間の色差（color differences）を除去する変換を実行する。具体的には、ＣＣＦＬモニタ１９６に表示された手術シーンのピクセルの色は、２つのモニタが異なるディスプレイ技術を利用しているにもかかわらず、ＬＥＤモニタ２９６に表示される同じ手術シーンの対応するピクセルの色と一致する、すなわち同じである。ここで、２つの表示された手術シーン内の同じ位置のピクセルは、対応するピクセルと呼ばれる。

コントローラ２２０と呼ばれることもある仮想原色変換コントローラ２２０は、ＣＣＦＬモニタ１９６の原色をＬＥＤモニタ２９６によって表示される仮想原色に変換する直接マッピングを利用する。この直接マッピングは、ＣＣＦＬモニタ１９６に表示されるピクセルの色が、ＬＥＤモニタ２９６に表示される対応するピクセルの色と同じであることを確実にする。ＣＣＦＬモニタ１９６の実際の原色は、ＬＥＤモニタ２９６の実際の原色とは異なる色であり、ＣＣＦＬモニタ１９６の実際の原色はＬＥＤモニタ２９６の色域外にあるかもしれないので、ＣＣＦＬモニタ１９６の実際の原色はＬＥＤモニタ２９６の仮想原色にマッピングされる。ＬＥＤモニタ２９６に生成される色は、両方のモニタに表示される色が同じであることを確実にするように、仮想原色の組み合わせから形成される。

したがって、ＬＥＤモニタ２９６は、人間が見たときに２つのシーン間に色差を導入することなく、ＣＣＦＬモニタ１９６と同じシーンを表示する。さらに、これは、冷陰極蛍光管によってバックライト照射される液晶ディスプレイモニタ１９６に生成されるいくつかの色が、発光ダイオードによってバックライト照射される液晶ディスプレイモニタ２９６で再現できないという事実に関係なく行われる。その理由は、再現できない色は、典型的には、手術部位のシーンのような関心のあるシーンにおいて見出されないからである。

これは、第１のディスプレイ技術を使用して生成されることができる色の全範囲が第２のディスプレイ技術を使用して生成されることができる色の範囲に含まれること、例えば、オーバーレイ、を強制することを試みた従来のマッピングとは反対である。この従来のマッピングは、スケーリング又は２つの色の範囲をオーバーレイするために使用される他の技術のために同一ではない色をもたらす。これは、ディスプレイ技術とは無関係に同じ色を生成する直接マッピングとは対照的である。加えて、これは、コントローラ２２０によって実行される仮想原色変換のために、表示されるシーンに不自然な効果が現れることなく行われる。

表装置によって再現され得る人間の目によって識別可能な考えられる色の全範囲の一部は、ディスプレイ装置の色域と呼ばれる。ディスプレイ装置の色域は、人間の目によって識別可能な色の全範囲よりも小さい。ディスプレイ装置の色域は、国際照明委員会（ＣＩＥ）１９３１色度図（chromaticity diagram）３００内の領域として一般に表される。ＣＩＥ１９３１色度図３００は、人間の目によって識別可能な色の全範囲のグラフ表現である。図３は白黒の図形であるので、色度図３００の領域はその領域で見られる色でラベル付けされている。

ＣＩＥ１９３１カラーモデルは、３原色Ｘ、Ｙ、及びＺを規定する。ＣＩＥ色度座標ｘ及びｙは図３に示され、ｘ＝Ｘ／（Ｘ＋Ｙ＋Ｚ）であり、ｙ＝Ｙ／（Ｘ＋Ｙ＋Ｚ）である。目に見える全ての色を含む色域で３つの実際の色を見つけることは現時点では不可能であるので、３つの原色Ｘ、Ｙ、Ｚは仮想（imaginary）である。

液晶ディスプレイモニタでは、表示は、ピクセルの垂直列及び水平列を含む。各ピクセルは、異なる実際の原色の少なくとも３つのサブピクセルを含む。典型的には、実際の原色と呼ばれることがある、異なる実際の原色の３つのサブピクセルは、赤色サブピクセル、緑色サブピクセル及び青色ピクセルである。サブピクセルの各々からの光の異なる組み合わせにより、ピクセルの各々はモニタの色域内の任意の色を出力することができる。知られているように、所与のディスプレイ技術では、実際の原色の組み合わせが他の色を生成するために使用される。したがって、ピクセルの色は、そのピクセルを構成するサブピクセルの原色とバックライト色特性（backlight color characteristics）との組み合わせによって決定される。

図３では、点線の三角形内の領域は、ＣＩＥ１９３１カラーモデルにおける色域３９５ＣＣＦＬを規定する。色域３９５ＣＣＦＬは、冷陰極蛍光管によってバックライト照射される液晶ディスプレイモニタ１９６の色域である。

同様に、実線の三角形内の領域は、ＣＩＥ１９３１カラーモデルにおける色域３９５ＬＥＤを定義する。色域３９５ＬＥＤは、発光ダイオードによってバックライト照射される液晶ディスプレイモニタ２９６の色域である。

三角形境界色域（triangle bounding gamut）３９５ＣＣＦＬの頂点は、ＣＣＦＬモニタ１９６の実際の原色である、色

、

、及び

である。三角形境界色域３９５ＬＥＤの頂点は、ＬＥＤモニタ２９６の実際の原色である、色

、

、及び

を含む。

ＬＥＤモニタ２９６の原色

、

、及び

の組み合わせは、色域３９５ＬＥＤ内の各色を生成することができる。同様に、ＣＣＦＬモニタ１９６の原色

、

、及び

の組み合わせは、色域３９５ＣＣＦＬ内の各色を生成することができる。

ＣＣＦＬモニタ１９６上の対応するピクセルの色と同じ色のピクセルをＬＥＤモニタ２９６に生成するために、ＣＣＦＬモニタ１９６の原色

、

、及び

の組み合わせを使用して、ＬＥＤモニタ２９６に表示されるピクセルの色を生成する。

しかし、図３に示すように、ＣＣＦＬモニタ１９６の原色

、

、及び

は、ＬＥＤモニタ２９６の原色

、

、及び

と異なる色である。したがって、ＬＥＤモニタ２９６に関して、ＣＣＦＬモニタ１９６上の第１のピクセルと同じ色を有する第２のピクセルをモニタ２９６上に生成するために、ＬＥＤモニタ２９６の原色は、ＣＣＦＬモニタ１９６の実際の原色と一致しなければならない。これらのＣＣＦＬの実際の原色は、ＬＥＤモニタ２９６の実際の原色とは異なり、これらの原色のうちのいくつかは、ＬＥＤモニタ２９６の色域外にある場合もあればそうでない場合もあるので、ＣＣＦＬの実際の原色はＬＥＤモニタ２９６の仮想原色である。仮想原色は、モニタの実際の原色ではない任意の原色を指す。

２つの違いが、色域３９５ＣＣＦＬと色域３９５ＬＥＤとの間に認められる。ＬＥＤモニタ２９６は、色域３９５ＣＣＦＬにおいて、クロスハッチング領域によって表されるように、第１の色領域３４５に強い赤（intense reds）を生成することができない。また、ＬＥＤモニタ２９６は、色域３９５ＣＣＦＬにおいて、クロスハッチ領域によって表されるように、第２の色領域３５５に深い青及び緑を生成することができない。図３の２つのクロスハッチ領域は、ＬＥＤモニタ２９６の実際の原色の任意の組み合わせによって生成することができないモニタ１９６の実際の原色の表示不可能な組み合わせを表す。具体的には、クロスハッチ領域３４５及び３５５に色を生成することができるＬＥＤモニタ２９６の実際の原色の組み合わせは無い。

発光ダイオードによってバックライト照射される液晶ディスプレイモニタ２９６の色表示限界にかかわらず、モニタ１９６の色域３９５ＣＣＦＬの原色の組み合わせをモニタ２９６の色域３９５ＬＥＤの色の組み合わせに直接マッピングすることは、モニタ２９６の色特性が、モニタ２９６がモニタ１９６をエミュレートするように、完全に変更されることを可能にする。このマッピングは、２つの異なるモニタが同じシーンを表示するとき、同じ色が２つの異なるモニタによって生成されるように、第１のモニタの原色の組合せを異なる第２のモニタに効果的にコピーする。ここで、異なるモニタは異なるディスプレイ技術を有する。色がマッピングされると言われるときには、それはマッピングされるピクセルの色であり、ピクセルは、複数の色成分と呼ばれることがある複数のサブピクセルを含む。

通常、汎用モニタに関して、色は、ピクセルの要求される色が第２のモニタの実際の／物理的な色域内にある場合にのみ同一であるため、仮想原色の直接マッピングは使用されない。要求される色が第１のモニタの色域内にあり、要求される色が第２のモニタの色域内にある場合、要求される色は両方のモニタで同じに見える。しかし、要求される色が第１のモニタの色域内にあるが、要求される色が、第２のモニタの色域外に、例えば領域３４５及び３５５のうちの１つにある場合、要求される色はモニタ間で一致しない。

さらに、第１のモニタの実際の原色の複数の異なる組合せ、すなわち第１のモニタによって生成される異なる色は、第２のモニタがこれらの色域外の要求される色を表示することはできないため、第２のモニタに対して、仮想原色の同じ組み合わせ、すなわち同じ色にマッピングする。第１のモニタの複数の異なる色を第２のモニタの同じ色にマッピングさせることは、異なって見えるはずの色が全く同じに見えるため、非常に望ましくない。

したがって、第１のディスプレイ技術用の実際の原色の第２のディスプレイ技術用の仮想原色への直接マッピングの概念は、２つの汎用ディスプレイ技術間で色を一致させるために使用されない。むしろ、いくつかの異なる技術が、第１のモニタの色域内の多くの色を第２モニタの色域内の単一色にマッピングするという問題を軽減するために、提案されている。しかし、これらの技術のそれぞれは、２つの色域の間の色をある程度歪ませるため、２つの異なるディスプレイ技術で正確に同じ色を表示することはできない。

しかし、ＣＣＦＬモニタ１９６及びＬＥＤモニタ２９６に表示される手術シーンは、典型的には汎用ディスプレイに表示されるシーンとは異なる。手術ディスプレイユニット１９５及び２９５は、主に、人間及び動物に存在する手術部位のシーンを表示するために使用される。このようなシーンは、通常、色領域３５５に見られるような緑色又は強烈な青色を含まない。

手術部位のシーンで見られる色は、様々なタイプのモニタにわたって、例えば異なるディスプレイ技術を使用するモニタにわたって一貫していなければならないものである。図４では、曲線４２５は、手術部位のシーンにおいて典型的に見られる色の境界を示す（bounds）。図４に示すように、手術部位のシーンに見られるほとんどの色は、ディスプレイユニット２９５の色域３９５ＬＥＤに含まれる。ＬＥＤモニタ２９６によって再現できない強い赤がいくつかあるが、そのような色はわずかであるので、これは、ＬＥＤモニタ２９６によって表示されるシーンに顕著に影響しない。

手術部位のシーンの色がモニタ２９６の色域３９５ＬＥＤに含まれていると仮定すると、第１のモニタ１９６の実際の原色の第２のモニタ２９６の仮想原色への直接マッピングは、何の問題もなく、同じ色が両方のモニタに表示されることを確実にする。実際、実際の原色の直接マッピングは、２つの異なるディスプレイ技術にわたる色域内カラーマッチング（in-gamut colors matching）の他のタイプのアプローチと比較して、手術の色の最良の物理的一致を提供する。実際の原色のこの直接マッピングは、関心のある２つの異なるモニタの色域に共通する色のみからなる任意のシーンに適用可能である。

いくつかの手術部位のシーンでは、組織は偽色（false colored）であるか、又は他の非手術のグラフィックオーバーレイが手術部位のシーンに重ね合わされる。直接マッピングでは、偽色（false coloring）や非手術のグラフィックオーバーレイに使用される色は、色が両方のディスプレイ技術の色域にあるように選択されるべきである。

一態様では、イメージングパイプライン２１０からの

、

、

ピクセルはガンマ補正されたピクセルであるので、ＣＣＦＬモニタ１９６によって直接表示されることができる。しかし、ガンマ補正された色空間は線形色空間ではない。したがって、仮想原色変換色コントローラ２２０がピクセルのマッピングを実行することができる前に、ピクセルは線形色空間に変換される、すなわち、

ここで、

、

、及び

は、線形

色空間におけるモニタ１９６の異なる実際の原色の３つのサブピクセルを表し、
γはガンマ補正係数、例えば、２．２である。

異なる実際の原色

、

、及び

の３つのサブピクセルを有するピクセルの色を、ＸＹＺ色空間における原色

、

、及び

の観点から表現された同じ色にマッピングするために、次の定義が使用される：

ここで、

は、第１のモニタ１９６の

色空間における第１の色ピクセルを

色空間における同一の色に変換する３×３変換（three by three transform）である。
したがって、式（２）は、

色空間における色域３９５ＣＣＦＬのピクセルの色の、

色空間におけるピクセルの同一の色への直接マッピングの定義である。

色空間におけるピクセルは、第３のピクセル又は中間ピクセルと呼ばれることがある。

モニタ２９６に対して、異なる実際の原色

、

、及び

の３つのサブピクセルを有するピクセルを

色空間における原色

、

、及び

の観点から表現される同じ色にマッピングするために、次の定義が使用される。

ここで、

は、第２のモニタ２９６の

色空間における第１の色ピクセルを

色空間における同一の色に変換する３×３変換（three by three transform）である。

一態様では、定義（２）及び（３）における３×３変換

が経験的に決定される。モニタの場合、光度計を使用して、赤色、緑色、及び青色を表示するときにモニタから来る

値を測定する。これらの

値の３つのセットは変換行列

を形成する。変換行列

の第１列は、表示された赤色から測定された

値であり、変換行列

の第２列は、表示された緑色から測定された

値であり、変換行列

の最後の列は、表示された青色から測定された

値である。

２つのモニタが同じ色を表現するために、色のそれらの

表現が全ての色について等しいことが必要である：

この式に式（３）の

の定義を代入することは：

又は

をもたらす。

式（４）は、

色空間における色域３９５ＣＣＦＬ内の色の、ディスプレイユニット２９５におけるピクセルの同一の色への直接マッピングの定義である。仮想原色変換コントローラ２２０によって実行されるマッピング、すなわち変換、式（２）の

色空間のピクセルの定義を式（４）に代入することにより得られ、これは：

をもたらし、
ここで、

である。

式（６）は、色域３９５ＣＣＦＬ内のピクセルの色の、色域３９５ＬＥＤ内の同一のピクセルの色に直接マッピングすることを定義する。２つの異なるディスプレイ技術上でシーン内の色のある種の歪みをもたらす他の変換とは異なり、直接マッピングでは、上述したように、第１のピクセルと第２のピクセルはシーン内の各ピクセルについて同一の色を有する。

式（６）で定義されたピクセルがモニタ２９６に送る前に、ピクセルは線形色空間からガンマ補正色空間に変換されなければならない。すなわち、

式（６）によって定義される直接マッピングは、ディスプレイユニット２９５に対して１より大きいか又は０より小さい原色値を生成することができ、これらの値はそれぞれ１及び０に単純にクリッピングされる（clipped）。このクリッピング（clipping）は、汎用モニタによって表示される画像を歪め、それは当業者がこの直接マッピングが受け入れられないと言う理由である。しかし、手術部位のシーンでは、色域３９５ＬＥＤ外の色には通常は遭遇しないので、この直接マッピングは両方のディスプレイ技術において同じ色を正確に再現する。前述のように、直接マッピングは、２つの異なるディスプレイ技術上で手術シーンの色の歪みを生じさせない唯一のものである。

したがって、一態様では、仮想原色変換コントローラ２２０は、式（１）、（６）、及び（７）で定義された直接マッピングを実装する。仮想原色変換コントローラ２２０は、イメージングパイプライン２１０から受け取った手術部位のシーンの第１のピクセルの色を、ＬＥＤモニタ２９６上に表示される第２のピクセルの同一の色にマッピングする。ここでも、第１のピクセル及び第２のピクセルは、同じ色である。

コントローラ２２０によって実行される直接マッピングは、２つの異なるディスプレイ技術を使用して表示される手術部位のピクセルの色が同一であることを保証する。したがって、モニタ１９６及びモニタ２９６のそれぞれは、手術部位のシーンを表示し、モニタ１９６及びモニタ２９６が異なるディスプレイ技術を利用していても、２つの手術部位のシーンは、シーン全体を通して同一の色を有する。場合によっては、モニタ１９６及びモニタ２９６は、手術モニタと呼ばれる。

この場合も同様に、手術モニタ及び手術部位のシーンの使用は例示的なものに過ぎず、限定することを意図するものではない。上述のように、異なるディスプレイ技術を持つモニタの色域内の色のみを有するシーンは、異なるディスプレイ技術を持つモニタに表示されるシーンが同一の色を有するように、直接マッピングされることができる。言い換えると、２つの異なるディスプレイ技術の色域間の重複領域外の色を含まない、例えばシーンの全て色が２つの異なるディスプレイ技術の色域に共通であるシーンは、上述のように、異なるディスプレイ技術を有するモニタに表示されるシーンが同一の色を有するように、直接マッピングされることができる。

上述の仮想原色変換コントローラ２２０は、任意の数のモジュールによって実際に実装されてもよく、各モジュールは、コンポーネントの任意の組み合わせを含んでもよい。各モジュール及び各コンポーネントは、ハードウェア、プロセッサ上で実行されるソフトウェア、及びファームウェア、又はこれらの３つの任意の組み合わせを含み得る。また、本明細書で説明される仮想原色変換コントローラの機能及び動作は、１つのモジュールによって実行されてもよく、又は異なるモジュール間で又はモジュールの異なるコンポーネント間に振り分けられてもよい。異なるモジュール又はコンポーネントの間で振り分けられる場合、モジュール又はコンポーネントは、図２に示されるように１つの場所に集中されてもよく、分散処理目的のためにコンピュータ支援手術システムに分散されてもよい。

上記の例では、単一のイメージングパイプラインが示され、説明されている。しかしながら、立体シーンを利用するシステムでは、１つのパイプラインが左画像キャプチャユニットから左キャプチャフレームを処理し、別のパイプラインが右画像キャプチャユニットから右キャプチャフレームを処理するために、上述したパイプラインと同一の第２のパイプラインが使用される。第２のパイプラインについての上述の説明を繰り返すことは冗長であり、従って、ここでは明確にするために含まれていない。

本明細書では、コンピュータプログラム製品は、本明細書に記載の方法のいずれか１つ又は任意の組み合わせに必要なコンピュータ可読コードを格納するように構成される媒体、又はその中にその方法の任意の１つ又は組み合わせに対するコンピュータ可読コードが格納される。コンピュータプログラム製品のいくつかの例は、ＣＤ−ＲＯＭディスク、ＤＶＤディスク、フラッシュメモリ、ＲＯＭカード、フロッピーディスク、磁気テープ、コンピュータハードドライブ、ネットワーク上のサーバ、及びコンピュータ可読プログラムコードを表すネットワークを介して送信される信号である。有形の非一時的なコンピュータプログラム製品は、本明細書に記載の方法のいずれか１つ又は任意の組み合わせに対するコンピュータ可読命令を格納するように構成された媒体を含むか、又はその中に前記方法の任意の１つ又は任意の組み合わせに対するコンピュータ可読命令が格納される。有形の非一時的なコンピュータプログラム製品は、ＣＤ−ＲＯＭディスク、ＤＶＤディスク、フラッシュメモリ、ＲＯＭカード、フロッピーディスク、磁気テープ、コンピュータハードドライブ及び他の物理記憶媒体である。

本開示を考慮して、本明細書に記載された方法のいずれか１つ、又は同方法の任意の組み合わせで使用される命令は、ユーザにとって関心のあるオペレーティングシステム及びコンピュータプログラミング言語を使用する多種多様なコンピュータシステム構成で実施されることができる。

本明細書で使用されるとき、「第１」、「第２」、「第３」などは、異なる構成要素又は要素を区別するために使用される形容詞である。したがって、「第１」、「第２」、及び「第３」は、構成要素又は要素の順序を暗示することを意図せず、又は構成要素又は要素の総数を暗示することを意図しない。

本発明の態様及び実施形態を示す上記の説明及び添付の図面は、限定とみなされるべきではなく、特許請求の範囲が保護される発明を定義する。この説明及び請求項の精神及び範囲から逸脱することなく、様々な機械的、構成的、構造的、電気的及び動作的な変更を行うことができる。いくつかの例では、良く知られた回路、構造、及び技術は、本発明を不明瞭にすることを避けるために、詳細には示されていないか又は記載されていない。

さらに、この説明の用語は本発明を限定することを意図するものではない。例えば「下に（ｂｅｎｅａｔｈ）」、「下方に（ｂｅｌｏｗ）」、「より下、下部（ｌｏｗｅｒ）」、「上方に（ａｂｏｖｅ）」、「より上、上部（ｕｐｐｅｒ）」、「近位」、「遠位」等の空間的に相対的な用語は、図に示すように、一つの要素又は特徴の他の要素又は特徴に対する関係を説明するために使用され得る。これらの空間的に相対的な用語は、図に示された位置及び向きに加えて、使用中又は動作中の装置の異なる位置（すなわち、場所）及び向き（すなわち、回転配置）を包含することが意図される。例えば、図中の装置がひっくり返された場合、他の要素又は機能の「下方」又は「下に」と記載された要素は、他の要素又は機能の「上方」又は「上」になる。したがって、例示的な用語「下方」は、上及び下の両方の位置及び方向を含むことができる。装置は、別の状態に向けられる（９０度又は他の向きに回転させられる）ことができ、本明細書において用いられる空間的に相対的な記述語はそれに応じて解釈され得る。同様に、様々な軸に沿った及びその周りの動きの記述は、様々な特殊な装置の位置及び向きが含まれる。

単数形「１つの（ａ、ａｎ、ｔｈｅ）」は、文脈が別のことを示さない限り、複数形も含むことが意図される。用語「有する、備える（ｃｏｍｐｒｉｓｅ）」、「有している、備えている（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」等は、述べられた特徴、ステップ、動作、要素、及び／又は構成要素の存在を明示するが、１つ又は複数の他の特徴、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を排除しない。結合されていると記載される構成要素は、電気的又は機械的に直接結合されてもよく、又は１つ若しくは複数の中間構成要素を介して間接的に結合されてもよい。

全ての例及び例証の引用は非限定的なものであり、特許請求の範囲を本明細書に記載された特定の実装及び実施形態並びにそれらの均等物に限定するために使用されるべきではない。１つの見出しの下にあるテキストは、１つ又は複数の見出しの下にあるテキストを参照するか又はテキストに適用される可能性があるため、見出しは単に書式化のためのものであり、如何なる方法でも主題を制限するために使用されるべきではない。最後に、本開示を考慮して、１つの態様又は実施形態に関連して説明された特定の特徴は、具体的に図面に示されていない又は本文に記載されていないとしても、本発明の他の開示された態様又は実施形態に適用されることができる。

上述の実施形態は、本開示を例示するが、本開示を限定するものではない。本開示の原理に従う多くの修正及び変形が可能であることも理解されるべきである。例えば、多くの態様において、本明細書に記載の装置は、単一ポートデバイスとして使用される。すなわち、外科処置を完了するために必要な全ての構成要素は、単一のエントリポートを介して体に入る。しかし、いくつかの態様では、複数の装置及びポートを使用することができる。

Claims (20)

1. 第１のピクセルの第１の色を、第２のディスプレイ技術を有する第２のディスプレイ装置に表示するために第２のピクセルの第２の色に直接マッピングするステップであって、前記第２の色は前記第１の色と同一であり、前記第１のピクセルの前記第１の色は、第１のディスプレイ技術の第１の実際の原色の少なくとも３つのサブピクセルの組み合わせによって定義され、前記第２のピクセルの前記第２の色は、前記第２のディスプレイ技術の第２の実際の原色の少なくとも３つのサブピクセルの組み合わせによって定義され、前記第２の実際の原色は、前記第１の実際の原色とは異なる、ステップ、
   を含む、方法。
2. 前記第２のディスプレイ装置に前記第２のピクセルを表示するステップをさらに含む、
   請求項１に記載の方法。
3. 前記第２のピクセルは、手術シーンの一部である、
   請求項１に記載の方法。
4. 前記第１のピクセルの前記第１の色は、第１のディスプレイ装置の色域内にあり、
   前記第２のピクセルの前記第２の色は、前記第２のディスプレイ装置の色域内にある、
   請求項１に記載の方法。
5. 前記第１のディスプレイ装置の前記色域は、冷陰極蛍光管でバックライト照射される液晶ディスプレイモニタの色域である、
   請求項４に記載の方法。
6. 前記第２のディスプレイ装置の前記色域は、発光ダイオードによってバックライト照射される液晶ディスプレイモニタの色域である、
   請求項５に記載の方法。
7. 前記第２のディスプレイ装置の前記色域は、発光ダイオードによってバックライト照射される液晶ディスプレイモニタの色域である、
   請求項４に記載の方法。
8. 前記第１のピクセルの前記第１の色を、前記第２のディスプレイ技術を有する前記第２のディスプレイ装置に表示するために前記第２のピクセルの前記第２の色に直接マッピングする前記ステップは：
   前記第１のピクセルの前記第１の色を、
   

   

   色空間における第３のピクセルの同一の色に直接マッピングするステップを含む、
   請求項１に記載の方法。
9. 前記第１のピクセルの前記第１の色を、前記第２のディスプレイ技術を有する前記第２のディスプレイ装置に表示するために前記第２のピクセルの前記第２の色に直接マッピングする前記ステップは：
   前記
   

   

   色空間における前記第３のピクセルの前記色を、前記第２のピクセルの同一の色に直接マッピングするステップであって、前記第２のピクセルの前記同一の色は前記第２の色である、ステップを含む、
   請求項８に記載の方法。
10. 前記第１のピクセルの前記色を前記
    

    

    色空間における前記第３のピクセルの前記同一の色に直接マッピングする前記ステップ、及び前記
    

    

    色空間における前記第３のピクセルの前記色を前記第２のピクセルの前記同一の色に直接マッピングする前記ステップは、単一のマッピング動作で一緒に実行される、
    請求項９に記載の方法。
11. ディスプレイ技術を有するディスプレイ装置にシーンを表示するステップであって、表示される前記シーンは、複数のピクセルを含み、前記複数のピクセルの各々は色を有し、前記複数のピクセルの各々の前記色は、前記シーンが異なるディスプレイ技術を有する異なるディスプレイ装置に表示されるとき、前記シーン内の対応する複数のピクセルの対応するピクセルの色と同じ色である、ステップ、を含む、
    方法。
12. 前記シーンは手術シーンである、
    請求項１に記載の方法。
13. 前記複数のピクセルの各々の前記色は、前記ディスプレイ装置の色域内にあり、前記対応する複数のピクセルの各々の前記色は、前記異なるディスプレイ装置の色域内にある、
    請求項１に記載の方法。
14. 前記異なるディスプレイ装置の前記色域は、冷陰極蛍光管でバックライト照射される液晶ディスプレイモニタの色域である、
    請求項１３に記載の方法。
15. 前記ディスプレイ装置の前記色域は、発光ダイオードによってバックライト照射される液晶ディスプレイモニタの色域である、
    請求項１３に記載の方法。
16. ディスプレイユニットを有する装置であって、
    前記ディスプレイユニットは、仮想原色変換コントローラとディスプレイ装置とを有し、
    前記仮想原色変換コントローラは、複数のピクセルを受け取るように構成され、前記複数のピクセルの第１のピクセルは、第１の実際の原色の３つのサブピクセルの第１の組み合わせによって定義される第１の色を有し、前記仮想原色変換コントローラは、前記第１のピクセルの前記第１の色を第２のピクセルの第２の色に直接マッピングするように構成され、前記第２のピクセルの前記第２の色は、第２の実際の原色の３つのサブピクセルの第２の組み合わせによって定義され、前記第１の色と前記第２の色は同じ色であり、
    前記ディスプレイ装置は、前記仮想原色変換コントローラに結合され、前記ディスプレイ装置は、前記第２のピクセルを受け取るとともに、前記第２のピクセルを表示するように構成される、
    装置。
17. 前記第２のピクセルは手術シーンの一部である、
    請求項１６に記載の方法。
18. 前記第１のピクセルの前記第１の色を前記第２のピクセルの前記第２の色に直接マッピングするように構成される前記仮想原色変換コントローラは、
    前記第１のピクセルの前記色を
    

    

    色空間における第３のピクセルの同一の色に直接マッピングするように構成される前記仮想原色変換コントローラを含む、
    請求項１６に記載の方法。
19. 前記第１のピクセルの前記第１の色を前記第２のピクセルの前記第２の色に直接マッピングするように構成される前記仮想原色変換コントローラは、
    前記
    

    

    色空間における前記第３のピクセルの前記色を、前記第２のピクセルの同一の色に直接マッピングするように構成される前記仮想原色変換コントローラを含み、前記第２のピクセルの前記同一の色は前記第２の色である、
    請求項１８に記載の方法。
20. 前記第１のピクセルの前記色を前記
    

    

    色空間における前記第３のピクセルの前記同一の色に直接マッピングするように構成される前記仮想原色変換コントローラ及び前記
    

    

    色空間における前記第３のピクセルの前記色を前記第２のピクセルの前記同一の色に直接マッピングするように構成される前記仮想原色変換コントローラは、単一の直接マッピングを実行するように構成される前記仮想原色コントローラを含む、
    請求項１９に記載の方法。
    

Images