JP2021533941A - 画像キャプチャ装置のためのオフカメラ較正パラメータ - Google Patents

Abstract

手術システムは、内視鏡画像キャプチャ装置のための較正データを格納するように構成されるネットワークアクセス可能データベースを有する。手術システムはまた、手術又は診断処置中に手術部位の画像データを受信するために内視鏡画像キャプチャ装置に通信可能に結合されるように構成されるイメージプロセッサを有する。イメージプロセッサは、ネットワーク接続部を介してネットワークアクセス可能データベースから較正データを取り出すように構成される。イメージプロセッサは、さらに、取り出された較正データに基づいて、受信される画像を処理するように構成される。手術システムは、さらに、イメージプロセッサに結合され、イメージプロセッサから処理された画像を受信するように構成されるユーザ制御システムを有する。ユーザ制御システムは、処理された画像を表示するように構成されるディスプレイを有する。較正データは、手術システムの変更又は新しい較正方法を考慮してデータベース上で定期的に又は動的に更新される。

Description

（関連出願の相互参照）
本出願は、２０１８年８月２４日に出願された米国仮特許出願第62/722,314号の利益を主張し、その開示は、参照により本明細書に明示的に組み込まれる。

画像キャプチャ装置は、典型的には、現場で使用する前に工場で較正される。較正プロセスの間、テストパターンの１つ又は複数の画像がキャプチャされ、画像キャプチャ装置のための較正データを生成するための基準として使用される。例えば、１つ又は複数の変換が、画像キャプチャ装置からのキャプチャされた画像を、テストパターンの既知の画像と整合させるように調整するために使用される。較正プロセスは、キャプチャされた画像を較正し、画像キャプチャ装置におけるカラー、光学的、アライメント、又は他のイメージセンサによって誘発された、又は光学的に誘発されたエラー又は変動を補正することができる。較正プロセスは、較正データのセットを生成し、この較正データは、画像キャプチャ装置で記憶され、使用中の画像キャプチャ装置によってキャプチャされた補正画像に適用される。

本開示の第１の態様は、画像キャプチャ装置のための較正データを格納するように構成されるネットワークアクセス可能データベースを有するシステムを含む。システムはまた、画像キャプチャ装置によってキャプチャされた画像を受信するように構成されるイメージプロセッサを有するコントローラシステムを有する。イメージプロセッサは、ネットワーク接続部を介してネットワークアクセス可能データベースから較正データを取り出す（retrieve）ようにさらに構成される。イメージプロセッサは、取り出された較正データに基づいて、受信される画像を処理するようにさらに構成される。

本開示の第１の態様の幾つかの実装では、システムは、画像キャプチャ装置を有するとともにコントローラシステムに電気的に結合されたツールをさらに有する。ツールは、固有識別子を有する。

本開示の第１の態様の幾つかの実装では、較正データは、固有識別子に基づいて、ネットワークアクセス可能データベース内で画像キャプチャ装置とともにインデックス付けされる。

本開示の第１の態様の幾つかの実装では、固有識別子はツールによって維持され、イメージプロセッサはさらに、ツールから固有識別子を得るように構成される。

本開示の第１の態様の幾つかの実装では、固有識別子は、ツールのメモリデバイス上で又はツールの表面上の視覚的インジケータ上でツールによって維持される。

本開示の第１の態様の幾つかの実装では、イメージプロセッサは、ツールから固有識別子を得るために、ツールの表面から視覚的インジケータを読み取るように構成される光学スキャナをさらに有する。

本開示の第１の態様の幾つかの実装では、光学スキャナはカメラ又はバーコードリーダである。

開示の第１の態様の幾つかの実装では、視覚的インジケータは、ツールの表面上に印刷、接着、ラベル付け、エンボス加工、又はスタンプされる。

本開示の第１の態様の幾つかの実装では、視覚的インジケータは、英数字シリアル番号、固有識別子をエンコードする一次元バーコード（linear barcode）、固有識別子をエンコードする二次元バーコード、又は固有識別子でエンコードされた画像である。

本開示の第１の態様の幾つかの実装では、ツールは、内視鏡を有し、画像キャプチャ装置は、手術処置中に手術部位の立体画像データをキャプチャするように構成されるイメージセンサのペアを有する。

本開示の第１の態様の幾つかの実装では、較正データは、受信される画像によってキャプチャされるシーンを照明するように構成される照明装置によって放射される光の色、画像キャプチャ装置によってキャプチャされる較正画像、画像キャプチャ装置の光学システムによって導入される光学歪み、立体画像較正、又は色空間マッピングのうちの１つ又は複数に基づいて、受信される画像を補正するために、受信される画像を処理するためのデータを含む。

本開示の第１の態様の幾つかの実装では、システムは、ネットワークアクセス可能データベースと通信する較正プロセッサをさらに有する。較正プロセッサは、画像キャプチャ装置によってキャプチャされる較正画像を受信し、較正アルゴリズムを前記較正画像のうちの１つ又は複数に適用することに基づいて較正データを生成するように構成される。

本開示の第１の態様の幾つかの実装では、較正画像は、較正データと共にネットワークアクセス可能データベースに格納される。

本開示の第１の態様の幾つかの実装では、較正プロセッサは、コントローラシステムからの較正データの要求を受信すると、較正データを生成するように構成される。

本開示の第１の態様の幾つかの実装では、較正データは、画像キャプチャ装置のための較正データの事前のセットとは異なり、較正データの事前のセットは、較正画像のうちの１つ又は複数に異なる較正アルゴリズムを適用することに基づいて、較正プロセッサによって生成される。

本開示の第１の態様の幾つかの実装では、較正アルゴリズムは、画像キャプチャ装置が使用されることになる処置（procedure）のタイプに基づいて、又はコントローラシステムの構成に基づいて選択される。

本開示の第１の態様の幾つかの実装では、較正データは、画像キャプチャ装置が使用されることになる処置のタイプに重要な画像特徴を強化する（enhance）ために生成される。

本開示の第１の態様の幾つかの実装では、画像特徴は、焦点レベル、シャープネス、色忠実度、又は色精度のうちの１つ又は複数である。

本開示の第１の態様の幾つかの実施態様では、較正データは、さらに、第２の画像特徴に悪影響を及ぼす。

本開示の第１の態様の幾つかの実装では、コントローラシステムの構成（configuration）は、コントローラシステムによって提供される照明源、イメージプロセッサのタイプ、又はコントローラシステムのソフトウェアリリースバージョンのうちの１つ又は複数を含む。

本開示の第１の態様の幾つかの実装では、較正プロセッサは、さらに、コントローラシステムから処置中に画像キャプチャ装置によってキャプチャされた手術画像（operational image）を取り出し（retrieve）、手術画像に基づいて較正データを調整するように構成される。

本開示の第１の態様の幾つかの実装では、手術画像の輝度値が、手術画像内でキャプチャされる物体への既知の距離と、手術画像内でキャプチャされる物体を照明する照明源への既知のパワー出力に基づいて決定される期待輝度値と比較される。

本開示の第１の態様の幾つかの実装では、手術画像の色空間が、画像キャプチャ装置の期待される色空間と比較され、色空間の中心が期待される色空間の中心からオフセットされているかどうかを決定する。

本開示の第１の態様の幾つかの実装では、対応する手術画像とのミスアライメント（misalignment）を識別するために、手術画像の立体視アライメント（stereoscopic alignment）が評価される。

本開示の第１の態様の幾つかの実装では、較正プロセッサは、さらに、較正データの以前のセットと比較して較正データを評価するユーザフィードバック調査（user feedback survey）を受信するように構成される。

本開示の第１の態様の幾つかの実装では、コントローラシステムは、さらに、ネットワークアクセス可能データベースから取り出される較正データを格納するように構成される較正キャッシュメモリを有する。

本開示の第１の態様の幾つかの実装では、コントローラシステムは、さらに、コントローラシステムの場所に関連する場所に送り出されたことが知られている画像キャプチャ装置の較正データを格納するように構成される。

本開示の第１の態様の幾つかの実装では、コントローラシステムは、さらに、所定の数の以前に使用された画像キャプチャ装置の較正データを格納するように構成される。

本開示の第１の態様の幾つかの実装では、コントローラシステムは、さらに、あるタイプの画像キャプチャ装置に対するデフォルト較正データを格納するように構成される。

本開示の第１の態様の幾つかの実装では、コントローラシステムは、さらに、ネットワークアクセス可能データベースから較正データを取り出す前に、画像キャプチャ装置のための較正データのキャッシュされたセットを、ネットワークアクセス可能データベースに格納された較正データと比較するように構成される。

本開示の第２の態様は、ネットワークアクセス可能データベースに画像キャプチャ装置のための較正データを格納することを含む方法を含む。この方法はまた、コントローラシステムによって、ネットワーク接続部を介してネットワークアクセス可能データベースから較正データを取り出すことを含む。この方法はまた、コントローラシステムによって、画像キャプチャ装置によってキャプチャされた画像を受信することを含む。この方法はまた、コントローラシステムのイメージプロセッサによって、取り出された較正データに基づいて受信される画像を処理することを含む。

本開示の第３の態様は、内視鏡画像キャプチャ装置のための較正データを格納するように構成されるネットワークアクセス可能データベースを有する手術システムを含む。手術システムはまた、手術処置中に手術部位の画像データを受信するために内視鏡画像キャプチャ装置に通信可能に（communicatively）結合されるように構成されるイメージプロセッサを有する。イメージプロセッサは、ネットワーク接続部を介してネットワークアクセス可能データベースから較正データを取り出すように構成される。イメージプロセッサは、さらに、取り出された較正データに基づいて、受信される画像を処理するように構成される。手術システムは、さらに、イメージプロセッサに結合され、イメージプロセッサから処理された画像を受信するように構成されるユーザ制御システムを有する。ユーザ制御システムは、処理された画像を表示するように構成されるディスプレイを有する。

本開示の第３の態様の幾つかの実装では、手術システムは、さらに、内視鏡画像キャプチャ装置に取り付けるように構成され、手術処置中に内視鏡画像キャプチャ装置の姿勢を物理的に変更するように構成されるマニピュレータアームを有するマニピュレータシステムを有する。

本開示の第３の態様の幾つかの実装では、ユーザ制御システムは、さらに、操作ユーザインターフェースを有する。操作ユーザインターフェースの作動に際して、ユーザ制御システムは、内視鏡画像キャプチャ装置の姿勢を変えるようマニピュレータシステムにコマンドを発行するように構成される。

本開示の第４の態様は、内視鏡画像キャプチャ装置によってキャプチャされる手術処置の画像を処理する方法を含む。この方法は、イメージプロセッサによって、内視鏡画像キャプチャ装置によってキャプチャされる画像を受信することを含む。この方法はまた、イメージプロセッサによって、ネットワークアクセス可能データベースから内視鏡画像キャプチャ装置のための較正データを取り出すことを含む。この方法はまた、イメージプロセッサによって、取り出された較正データに基づいて内視鏡画像キャプチャ装置からの受信される画像を処理することを含む。この方法はまた、イメージプロセッサによって、処理された画像をユーザ制御システムに送信することを含む。この方法はまた、ユーザ制御システム上で、処理された画像をディスプレイ上に表示することを含む。

これら及び他の特徴は、添付の図面及び特許請求の範囲に併せて取られた以下の詳細な説明から、より明確に理解されるであろう。

本開示のより完全な理解のために、添付の図面及び詳細な説明に関連して、以下の簡単な説明を参照し、同様の参照番号は、同様の部分を表す。

低侵襲遠隔操作手術システムの平面図である。 ユーザ制御システムの斜視図である。 エレクトロニクスカートの斜視図である。 遠隔操作手術システムのダイアグラム図である。 内視鏡画像キャプチャ装置の斜視図である。 画像キャプチャ装置較正ツールの概略図である。 画像キャプチャ装置のための較正データを取得する例示的なプロセスを示すフローチャートである。 要求に応答して較正データを送信する例示的なプロセスを示すフローチャートである。 画像キャプチャ装置によってキャプチャされたフィールド画像に基づいて、変更された較正パラメータ又は保守条件を決定する例示的なプロセスを示すフローチャートである。 画像キャプチャ装置の色空間の中心におけるシフトを示す処理されたフィールド画像から生成された色度図である。 画像キャプチャ装置の色空間の中心におけるシフトを示す処理されたフィールド画像から生成された色度図である。 画像キャプチャ装置の色空間の中心におけるシフトを示す処理されたフィールド画像から生成された色度図である。 画像キャプチャ装置の色空間の中心におけるシフトを示す処理されたフィールド画像から生成された色度図である。 較正パラメータ調査を実施する例示的なプロセスを示すフローチャートである。 例示的なコンピュータシステムを示す。

最初に、１つ又は複数の実施形態の例示的な実装が以下に示されているが、開示されたシステム及び方法は、現在知られているか存在するかを問わず、任意の数の技術を使用して実装され得ることが理解されるべきである。本開示は、以下に示す例示的な実装形態、図面、及び技術に限定されるべきではなく、添付の特許請求の範囲の範囲内で、それらの均等物の全範囲と共に修正され得る。「及び／又は」という語句の使用は、オプションのリストの任意の１つ又は任意の組み合わせが使用できることを示す。例えば、「A、B、及び／又はC」は、「A」、又は「B」、又は「C」、又は「A及びB」、又は「A及びC」、又は「B及びC」、又は「A及びB及びC」を意味する。

１つの実施形態、実装、又はアプリケーションを参照して詳細に記載された要素は、実際的であればいつでも、それらが具体的に示されていない又は記載されていない他の実施形態、実装、又はアプリケーションに含まれ得る。例えば、ある要素が一実施形態を参照して詳細に記載されており、第２の実施形態を参照して記載されていない場合でも、当該要素は第２の実施形態に含まれるものとして主張することができる。従って、以下の説明における不必要な繰り返しを回避するために、１つの実施形態、実装、又はアプリケーションに関連して示され説明された１つ又は複数の要素は、特に説明されない限り、１つ又は複数の要素が実施形態又は実装を機能させなくしない限り、又は２つ以上の要素が矛盾する機能を提供しない限り、他の実施形態、実装、又は態様に組み込まれ得る。

本発明の態様は、主に、カリフォルニア州サニーベールのIntuitive Surgical, Inc.によって商品化された、da Vinci（登録商標）Surgical System（具体的には、da Vinci（登録商標）Xi（商標）HD（商標）Surgical Systemとして市販されたモデルIS4000）を使用する実装形態に関して記載されている。しかし、当業者は、本明細書に開示された発明の態様が、ロボット式及び、適用可能であれば、非ロボット式の実施形態及び実装を含む、様々な方法で実施及び実装され得ることを理解するであろう。da Vinci（登録商標）Surgical System（例えば、モデルIS4000 da Vinci（登録商標）Xi（商標）Surgical System、モデルIS3000 da Vinci Si（登録商標）Surgical System）の実装は、単に例示にすぎず、本明細書に開示される発明の態様の範囲を限定するものとみなされるものではない。

種々の態様によれば、本開示は、画像キャプチャ装置のオフカメラ較正のためのシステム及び方法を記載する。較正データは、典型的には、画像キャプチャ装置のリードオンリーメモリ内に維持され、画像キャプチャ装置が工場出荷後に変更又は更新することはできない。画像キャプチャ装置の較正データは、典型的には、装置の経時的な磨耗を考慮に入れない。従って、画像キャプチャ装置に記憶された較正データは、経時的に精度が低下することがあり、結果として、画像キャプチャ装置からの処理された画像がより多くの誤差を有するようになることがある。

例えば、内視鏡画像キャプチャ装置は、光ファイバ束を備える可撓性ケーブルを有するカメラハウジングを含む。ケーブルは、光ファイバ束を光源に結合するように構成されるコネクタを含む。カメラハウジングはまた、内視鏡画像キャプチャ装置のための較正データを格納する読取り専用メモリを有する。カメラハウジングはまた、遠位端部にカメラチップ（camera tip）を有する硬質（rigid）カメラシャフトを有する。カメラチップは、１つ又は複数のイメージセンサ及び関連する光学システムを含む。カメラシャフトはまた、可撓性ケーブル内の光ファイバ束から受け取った光をカメラチップに搬送して、診断又は手術処置などの１つ又は複数のイメージセンサによって撮像されているシーンを照明するように構成される第２の光ファイバ束を含む。カメラチップ内の１つ又は複数のイメージセンサによってキャプチャされた画像は、有線又は無線の電気接続部を介してカメラハウジングに搬送され、次に、可撓性ケーブル内の有線又は無線の電気的接続部を介してコネクタに搬送される。

コントローラシステムは、コネクタを受け入れるように構成されるソケットを有する。コントローラシステムは、ソケットに結合され、可撓性ケーブル内の光ファイバ束に光を供給するように構成される光源を有する。コントローラシステムはまた、ソケットに結合され、可撓性ケーブル内の電気接続部を介して伝送された画像を受信するように構成されるイメージプロセッサを有する。イメージプロセッサは、コネクタがソケットに挿入されると、カメラハウジング内の読み出し専用メモリから較正データを読み出すように構成される。イメージプロセッサは、読取られた較正データに基づいて受信される画像を処理し、１つ又は複数の処理された画像を生成する。内視鏡画像キャプチャ装置を使用する場合、可撓性ケーブル内の光ファイバ束の光伝送特性は、経時的に変化し得る。また、医療処置での使用により、カメラチップが経時的に磨耗し得る。従って、少なくとも内視鏡画像キャプチャ装置の光学的特性は、経時的に変化し、結果として、内視鏡画像キャプチャ装置の現在の状態に最適化されない較正データとなる。

さらに、内視鏡画像キャプチャ装置は、異なる時間で異なるコントローラシステムに結合され得、コントローラシステムのうちの１つ又は複数は異なる構成を有し得る。異なるコントローラシステムは、異なるイメージプロセッサ、視覚システム、又は他のハードウェアバリエーション、異なるソフトウェアリリースバージョン、及び／又は異なるスペクトル応答を有する異なる光源などの異なるシステム構成を有し得る。従って、較正データは、内視鏡画像キャプチャ装置が現在結合されている特定のコントローラシステムに対して最適化されない可能性がある。

さらに、キャプチャされたテストパターンから較正データを生成するために使用される変換の進歩は、既存の手術用内視鏡画像キャプチャ装置に遡及的に適用することができない。従って、手術用内視鏡画像キャプチャ装置に格納された較正データは、現在の知識及び技術に従って最適化されない可能性がある。

継続中の開示の種々の実装では、較正データは、オフカメラ（off-camera）に移動され、中央較正サーバからコントローラシステムによって取得される。内視鏡画像キャプチャ装置などの画像キャプチャ装置がコントローラシステムに接続されると、コントローラシステムは、画像キャプチャ装置の固有識別子を取得する。本明細書で提供される種々の例は、内視鏡画像キャプチャ装置に関して説明されるが、係属中の開示は、それに限定されず、装置の動作又は装置から受信したデータの処理を制御するために対応する較正データを有するコントローラシステムに結合された任意の装置を包含することを意図する。同様に、係属中の開示は、画像キャプチャ装置によってキャプチャされた画像を処理するためにコントローラシステムに結合される任意の画像キャプチャ装置を包含することを意図している。例えば、係属中の開示は、ボアスコープ又は他のこのような検査カメラに等しく適用することができる。

固有識別子は、画像キャプチャ装置のメモリ内に維持され得る。代替的には、コントローラシステムに結合されたリーダが、画像キャプチャ装置から固有識別子を読み取る。例えば、リーダは、無線周波数識別子（RFID）、Bluetooth（登録商標）low energy（BLE）、Wi-Fi（登録商標）又は他の無線タグリーダであり得、固有識別子は、RFID、BLE、Wi-Fi（登録商標）などの無線タグ又は他の無線タグに格納され得る。

別の例では、固有識別子は、画像キャプチャ装置のハウジング上に光学的に読み取り可能なラベルとして提供される。ラベルは、暗号化された又は暗号化されていない形式の英数字文字列、記号、又はコードを含み得る。ラベルは、画像キャプチャ装置のハウジングにエンボス加工、接着、付着、印刷、又はその他の方法で取り付けられ得る。固有識別子は、カメラ、バーコードリーダ、又はコントローラシステムに結合された若しくはその他の方法でコントローラシステムと通信している他の光学スキャナから読み取られ得る。

取得された画像キャプチャ装置の固有識別子を用いて、コントローラシステムは、中央較正サーバから画像キャプチャ装置の較正データを取得する。次いで、コントローラシステムは、取り出された較正データに基づいて、画像キャプチャ装置から受信される画像を処理する。幾つかの実装では、固有識別子は、医療装置のためのユニバーサル固有識別子（UUID）である。

画像キャプチャ装置からの較正データをオフロードすることによって、画像キャプチャ装置のメモリ要求を低減することができ、より安価な画像キャプチャ装置をもたらし得る。例えば、新たに製造された画像キャプチャ装置は、読み取り専用較正メモリを省略してもよく、あるいは、画像キャプチャ装置の固有識別子のみを格納するために、読み取り専用メモリのサイズを縮小してもよい。

較正データは、中央較正サーバで定期的に又は動的に生成され得る。従って、較正パラメータの１つ又は複数を計算する方法は、実行されることになる処置のタイプに基づいて、現在の装置構成に基づいて、及び／又は較正方法の改良に基づいて、変更され得る。さらに、中央較正サーバから較正データを得ることは、そうでなければ旧式の較正データ又は特定の処置に最適化されていない較正データを格納する可能性があるフィールド（現場（field））における既存の装置の寿命及び／又は機能性を延ばす。

コントローラシステムは、中央較正サーバと定期的に通信しているため、追加の機能が有効にされ得る。例えば、画像キャプチャ装置からキャプチャされた画像は、定期的に中央較正サーバに通信され得る。これらのフィールド（field）画像は、特定の画像キャプチャ装置の較正データに対する改良を経時的に識別する又は保守のために画像キャプチャ装置にフラグを立てるように処理され得る。例えば、フィールドキャプチャ画像は、可撓性ケーブル内の光ファイバ束の摩耗によるキャプチャ画像のスペクトル減衰を経時的に明らかにし得る。スペクトル減衰は、較正データに対する調整又は画像キャプチャ装置に提供される光源に対する調整によって補正され得る。同様に、１つ又は複数のイメージセンサの経時的な色空間のシフトは、較正データの調整又は画像キャプチャ装置に提供される光源の調整によって補正され得る。さらに、立体画像における位置合わせ（アライメント）の問題が、識別され、メンテナンスのためにフラグを立てられ得る。

別の例として、選好調査（preference studies）が、異なる較正データのセットを有する画像キャプチャ装置のエンドユーザに実施され得る。例えば、異なるカラーマッピング又は歪み補正が異なる較正データのセットにおいて使用され得、エンドユーザからのフィードバックを得て、較正データの最適化されたセットを知らせ得る。追加の制御装置が追加されて、未登録の（non-registered）画像キャプチャ装置とのコントローラシステムの使用を防止し、画像キャプチャ装置のリコール制御を容易にし、改修（refurbishing）を必要とする前に画像キャプチャ装置の総使用数を制限し得る。

ここで図面を参照すると、幾つかの図を通して同様の参照番号は同様の部分を表し、図１は、移動式（mobile）手術台１４上に横たわる患者１２に対して低侵襲の診断又は手術処置を実施するために典型的に使用される低侵襲遠隔操作手術システム１０の平面図である。このシステムは、処置中に外科医１８が使用するための移動式外科医のコンソールなどのユーザ制御システム１６を含む。１人以上の助手２０もまた、この処置に参加し得る。低侵襲遠隔操作手術システム１０は、移動式患者側カートなどの操作システム２２と、移動式エレクトロニクスカート２４とをさらに含む。幾つかの実施形態では、第１４、ユーザ制御システム１６、操作システム２２、及びエレクトロニクスカート２４は、移動性を提供するためにホイールに取り付けられる。

操作システム２２又は他のこのような操作システムは、複数のセグメント化された機械的支持アーム７２を含み、各々は、垂直支持構造７４に回転可能に取り付けられた一端部を有し、取り外し可能に結合される手術器具２６を取り付ける別の端部を有する。幾つかの実施形態では、各機械的支持アーム７２は、第１セグメント７２−１、第２セグメント７２−２、及び第３セグメント７２−３を含む。処置のためのセットアップの間、少なくとも１つの支持アーム７２の複数のセグメントは、患者１２の体の低侵襲切開部内に挿入するために手術器具を位置決めするために移動される。

処置の間、器具が患者の体腔内に挿入される間、外科医１８は、ユーザ制御システム１６を通して手術部位を見る。手術部位の画像は、内視鏡２８を方向付けるために操作システム２２によって操作することができる立体鏡内視鏡などの内視鏡２８によって取得することができる。エレクトロニクスカート２４上に配置されたコンピュータプロセッサ（複数可）を使用して、外科医１８にユーザ制御システム１６を介したその後のために手術部位の画像を処理することができる。コンピュータプロセッサ（複数可）は、代替的に、本明細書ではイメージプロセッサ又はビデオプロセッサと称され得る。

１つ又は複数の照明源又は照明装置がまた、手術部位を照明するために内視鏡２８による使用のための光を供給するために、エレクトロニクスカート２４に設けられ得る。照明装置は、白色光源、着色光源（例えば、赤色、緑色、青色、シアン、マゼンタ、黄色など）、赤外光源、レーザー光源、又は任意の他のタイプの光源又はそれらの組み合わせを含み得る。異なる照明装置が、手術処置又は診断処置において異なる時点で使用され得る。例えば、エレクトロニクスカート２４は、ユーザ制御システム１６上の選択を通してなど、第１の時点で照明装置の１つ又は複数の第１のセットからの光を供給し、第２の時点で１つ又は複数の照明装置の第２のセットからの光を供給するように、
制御され得る。

一度に使用される手術器具２６の数は、概して、とりわけ、診断又は手術処置及び手術室内の空間的制約に依存する。手術中に使用されている手術器具２６の１つ又は複数を変更する必要がある場合、助手２０は、手術器具２６を操作システム２２から取り外し、手術室内のトレイ３０から別の手術器具２６に交換することができる。

図２は、ユーザ制御システム１６の斜視図である。ユーザ制御システム１６は、深度知覚を可能にする手術部位の協調立体ビューを外科医１８に提示するための左目ディスプレイ３２及び右目ディスプレイ３４を有する表示領域３１を含む。

コンソール１６は、さらに１つ又は複数の制御入力部３６を含む。操作システム２２（図１に示されている）に使用するために設置される１つ又は複数の手術器具は、１つ又は複数の制御入力部３６の外科医１８の操作に応答して動く。制御入力部３６は、外科医が器具２６を直接制御する強い感覚を有するように、外科医１８にテレプレゼンス、又は制御入力部３６が器具２６と一体であるとの認識を与えるために、関連手術器具２６（図１に示す）と同じ機械的自由度を備えることができる。この目的のために、位置、力、及び触覚フィードバックセンサ（図示せず）を使用して、位置、力、及び触覚の感覚を手術器具２６から制御入力部３６を介して外科医の手に戻って伝達し得る。制御入力部３６の高さは、高さ調整レバー３８で調整され得る。

ユーザ制御システム１６は、通常、外科医が処置を直接監視し、必要に応じて物理的に存在し、電話や他の通信媒体ではなく患者側の助手に直接話すことができるように、患者と同じ部屋に配置されている。しかし、外科医は、遠隔手術処置を可能にするために、別の部屋、全く別の建物、又は患者から離れた他の場所に位置し得る。

図３は、エレクトロニクスカート２４の斜視図である。エレクトロニクスカート２４は、内視鏡２８と結合され、ユーザ制御システム１６上の外科医に、又はローカルに及び／又はリモートに配置された別の適切なディスプレイ上になど、後の表示のためにキャプチャされた画像を処理するためのコンピュータプロセッサを含むことができる。例えば、立体内視鏡が使用される場合、エレクトロニクスカート２４上のコンピュータプロセッサは、キャプチャされた画像を処理して、外科医に手術部位の協調立体画像を提示することができる。このような協調は、対向する画像間のアライメントを含むことができ、立体鏡内視鏡の立体作動距離を調整することを含むことができる。

別の例として、画像処理は、光学収差などの画像キャプチャ装置のイメージングエラーを補償するために、以前に又は動的に決定されるカメラ較正パラメータの使用を含み得る。較正データは、以下により詳細に説明するように、中央較正サーバからエレクトロニクスカート２４によって取得され得る。

較正データは、画像キャプチャ装置自体からではなく、中央較正サーバから取得されるので、新しい較正データは、画像キャプチャ装置のローカルメモリ上に現在の較正データを格納し得る既存の画像キャプチャ装置と共に使用され得る。従って、既存の画像キャプチャ装置の耐用年数又は機能性は、既存の画像キャプチャ装置のための較正データを遠隔的に取得することによって拡張され得る。同様に、新しい画像キャプチャ装置のメモリ要求を低減することができ、より安価な画像キャプチャ装置をもたらす。例えば、新たに製造される画像キャプチャ装置は、較正データを格納するためのメモリを省略してもよく、あるいは、画像キャプチャ装置の固有識別子のみを格納するためにメモリのサイズを縮小してもよい。さらに、較正パラメータの１つ又は複数を計算する方法は、実行されることになる処置のタイプに基づいて、現在の装置構成に基づいて、及び／又は較正方法の改良に基づいて、変更され得る。

エレクトロニクスカート２４はまた、取得された較正データをローカルキャッシュに維持し得る。取得された較正データをローカルキャッシュに維持することに加えて、エレクトロニクスカート２４はまた、エレクトロニクスカート２４と共に使用されることが予想される１つ又は複数の画像キャプチャ装置のための較正データを維持し得る。例えば、新しい画像キャプチャ装置が、エレクトロニクスカート２４を伴う位置で注文され、送達され、又は受け取られると、エレクトロニクスカート２４は、新しい画像キャプチャ装置のための較正データを取得又は受信し得る。幾つかの実装では、中央較正サーバは、エレクトロニクスカート２４のローカルキャッシュ上に維持されることになる新しい画像キャプチャ装置のための較正データをプッシュし（push）得る。エレクトロニクスカート２４のローカルキャッシュはまた、中央較正サーバとの接続性が制限されているか又は全くないときに使用するための較正データのデフォルトセットを維持し得る。

オプションで、エレクトロニクスカート２４内の機器は、ユーザ制御システム１６又は操作システム２２に統合されてもよく、あるいは手術室内の他の様々な場所に分散されてもよい。より一般的には、エレクトロニクスカート２４又はエレクトロニクスカート２４から統合された機器を有するユーザ制御システム１６は、本明細書では、較正データを取得し、取り出された較正データに基づいて画像キャプチャ装置からの画像を処理するためのコントローラシステムと呼ばれ得る。

図４は、遠隔操作手術システム５０（図１の低侵襲遠隔操作手術システム１０など）を図式的に示す。ユーザ制御システム５２（図１のユーザ制御システム１６など）は、低侵襲処置の間、操作システム５４（図１の操作システム２２など）を制御するために外科医によって使用されることができる。操作システム５４は、手術部位の画像をキャプチャし、キャプチャされた画像をエレクトロニクスカート５６（図１のエレクトロニクスカート２４など）に配置されたコンピュータプロセッサに出力するために、立体鏡内視鏡のような画像キャプチャ装置を使用することができる。コンピュータプロセッサは、典型的には、コンピュータプロセッサの不揮発性メモリデバイスに格納されたコンピュータ可読コードを実行することを目的とした１つ又は複数のデータ処理ボードを含む。エレクトロニクスカート２４と同様に、エレクトロニクスカート５６はまた、画像キャプチャ装置に光を供給するための１つ又は複数の照明源を含む。エレクトロニクスカート５６はまた、エレクトロニクスカート２４と同様の較正データのローカルキャッシュを維持するための較正キャッシュを含み得る。

一態様では、コンピュータプロセッサは、後続の表示に先立って、キャプチャされた画像を種々の方法で処理することができる。例えば、コンピュータプロセッサは、ユーザ制御システム５２を介して処理された画像を外科医に表示する前に、画像キャプチャ装置のイメージングエラーを補償するために、以前に決定された又は動的に決定されたカメラ較正パラメータを使用することができる。さらに、又は代替的に、キャプチャされた画像は、エレクトロニクスカート５６の外側に配置されたコンピュータプロセッサによる画像処理を受けることができる。一態様では、遠隔操作手術システム５０は、エレクトロニクスカート５６に配置されたコンピュータプロセッサと同様のオプションのコンピュータプロセッサ５８（破線で示される）を含み、操作システム５４は、ユーザ制御システム５２に表示する前に画像処理のために、キャプチャされた画像をコンピュータプロセッサ５８に出力する。別の態様では、キャプチャされた画像は、まず、エレクトロニクスカート５６のコンピュータプロセッサによる画像処理を受け、次いで、ユーザ制御システム５２に表示する前に、コンピュータプロセッサ５８による追加の画像処理を受ける。幾つかの実施態様では、エレクトロニクスカート５６及び／又はコンピュータプロセッサ５８は、較正データを取得し、取り出された較正データに基づいて画像キャプチャ装置からの画像を処理するためのコントローラシステムと総称される。幾つかの実装では、コントローラシステムはまた、１つ又は複数の照明源から画像キャプチャ装置に光を供給する。

遠隔操作手術システム５０は、破線で示されるように、オプションのディスプレイ６０を含むことができる。ディスプレイ６０は、エレクトロニクスカート５６に配置されたコンピュータプロセッサ及びコンピュータプロセッサ５８と結合され、これらのコンピュータプロセッサによって処理されるキャプチャされた画像は、ユーザ制御システム５２のディスプレイ上に表示されることに加えて、ディスプレイ６０上に表示されることができる。種々の実装において、ディスプレイ６０は、エレクトロニクスカート２４上のディスプレイ２５のように、エレクトロニクスカート５６上に配置され得る。幾つかの実装では、ディスプレイ６０は、ユーザ制御システム５２及びエレクトロニクスカート５８から分離されてもよい。

図５は、内視鏡画像キャプチャ装置５００の斜視図である。内視鏡画像キャプチャ装置５００は、コネクタ５０２、可撓性ケーブル５０６、カメラハウジング５０８、硬質カメラシャフト５１２、及びカメラチップ５１４を含む。コネクタ５０２は、光学ポート５０４及び電気ポート（図示せず）を有する。コネクタ５０２は、エレクトロニクスカート２４のソケット２７又は他の嵌合レセプタクルなどの、エレクトロニクスカート５６のソケットに挿入されるように寸法決めされ、成形される。光学ポート５０４は、エレクトロニクスカート２４によってソケット２７に供給される光を受けるように構成される。

可撓性ケーブル５０６は、コネクタ５０２とカメラハウジング５０８との間に結合されている。可撓性ケーブル５０６は、コネクタ５０２の光学ポート５０４から受ける光をカメラハウジング５０８に伝えるように構成される光ファイバ束を含む。可撓性ケーブル５０６はまた、コネクタ５０２の電気ポートとカメラハウジング５０８との間に電気通信を提供するように構成される電気接続部を含む。電気接続部は、有線又は無線接続部であり得る。幾つかの実装では、有線接続部は、ワイヤ、ラダー線、ツイストワイヤ対、ユニバーサルシリアルバス（ＵＳＢ）ケーブル、イーサネット（登録商標）ケーブル、又は他の有線通信ラインである。

カメラハウジング５０８は、可撓性ケーブル５０６から光ファイバ束の遠位端部を受け入れる。カメラハウジング５０８はまた、硬質カメラシャフト５１２の近位端部を受け入れる。硬質カメラシャフト５１２の遠位端部は、１つ又は複数のイメージセンサ及び関連する光学システムを有するカメラチップ５１４を含む。例えば、カメラチップ５１４は、手術処置又は診断処置などのシーンの立体画像をキャプチャするためのそれぞれの光学コンポーネントを有する２つのイメージセンサを含み得る。硬質カメラシャフト５１２はまた、可撓性ケーブル内の光ファイバ束からカメラハウジング５０８で受ける光をカメラチップ５１４に伝えて、１つ又は複数のイメージセンサによって撮像されているシーンを照明するように構成される第２の光ファイバ束を含み得る。

硬質カメラシャフト５１２はまた、カメラチップ５１４の１つ又は複数のイメージセンサとカメラハウジング５０８との間に電気通信を提供するように構成される第２の電気接続部を含み得る。カメラチップ５１４内の１つ又は複数のイメージセンサによってキャプチャされる画像は、硬質カメラシャフト５１２内の電気接続部を介してカメラハウジング５０８に伝えられる。電気接続部は、有線又は無線接続部であり得る。幾つかの実装では、有線接続部は、ワイヤ、ラダー線、ツイストワイヤ対、ユニバーサルシリアルバス（ＵＳＢ）ケーブル、イーサネット（登録商標）ケーブル、又は他の有線通信ラインである。

また、カメラハウジング５０８は、電力を供給し、カメラチップ５１４の１つ又は複数のイメージセンサから画像をキャプチャするための制御信号を供給するように構成される１つ又は複数のカメラ制御ユニット（図示せず）を有し得る。例えば、カメラチップ５１４が立体画像をキャプチャするための２つのイメージセンサを有する場合、カメラハウジング５０８は、２つのイメージセンサのそれぞれを制御するためのそれぞれのカメラ制御ユニットを有し得る。１つ又は複数のカメラ制御ユニットはまた、エレクトロニクスカート５６及び／又はコンピュータプロセッサ５８による処理のために、キャプチャされた画像をコネクタ５０２の電気ポートに通信するように構成される。

カメラハウジング５０８はまた、内視鏡画像キャプチャ装置５００の１つ又は複数の動作制御を表示するためのディスプレイ５１０を有し得る。

カメラハウジング５０８はまた、内視鏡画像キャプチャ装置５００の固有識別子を記憶する読取り専用メモリ（図示せず）を有し得る。幾つかの実装形態では、固有識別子は、医療装置に対するユニバーサル固有識別子（ＵＵＩＤ）である。読取り専用メモリは、内視鏡画像キャプチャ装置５００のための較正データを格納しない。読取り専用メモリは、較正データを追加的に格納する従来の内視鏡画像キャプチャ装置で使用される読取り専用メモリよりも小さく、安価である。

幾つかの実装では、カメラハウジング５０８内の読み出し専用メモリは、完全に省略されてもよい。代わりに、カメラハウジング５０８上又は内に設置された無線識別タグ、又はカメラハウジング５０８の外面上の光学的に読み取り可能なラベルが、内視鏡画像キャプチャ装置５００の固有識別子を提供し得る。例えば、無線識別タグは、RFID、BLE、Wi-Fi（登録商標）、又は他の無線タグであり得る。ラベルは、暗号化された又は暗号化されていない形式の英数字文字列、記号、又はコードを含み得る。ラベルは、エンボス加工、接着、付着、印刷、又は他の方法でカメラハウジング５０８に取り付けられ得る。

光学的に読み取り可能なラベルを使用してカメラハウジング５０８上に固有識別子を提供する場合、コントローラシステムに結合された又はコントローラシステムと通信している光学スキャナを使用して、固有識別子を取得するためにラベルを読み取る。光学スキャナは、カメラ、バーコードリーダ、又は他の光学スキャナであり得る。例えば、操作システム５４、エレクトロニクスカート５６、及び／又はコンピュータプロセッサ５８のいずれかは、内視鏡画像キャプチャ装置５００の固有識別子を取得するためにカメラハウジング５０８上のラベルを読み取るように構成された光学スキャナを有し得る。

一実施形態では、操作システム５４は、それに設置されるときに内視鏡画像キャプチャ装置５００のカメラハウジング５０８の画像をキャプチャするように構成されるカメラ（図示せず）を有する。操作システム５４上のカメラによってキャプチャされる画像は、エレクトロニクスカート５６及び／又はコンピュータプロセッサ５８によって処理されて、キャプチャされた画像内の固有識別子を識別する。

別の実装では、ソケット２７又はエレクトロニクスカート２４の他の嵌合レセプタクルは、光学スキャナを有する。コネクタ５０２又は光学ポート５０４の表面は、光学的に読み取り可能なラベルを有し、コネクタ５０２がソケット２７に挿入されるときに、視野内にあるか又は光学スキャナに向かうように構成される。エレクトロニクスカート２４の光学スキャナは、ソケット２７へのコネクタ５０２の挿入に際し、内視鏡画像キャプチャ装置５００の固有識別子を取得するためにラベルを読み取るように構成される。従って、ユーザは、コネクタ５０２をソケット２７に挿入する以外に、固有識別子をスキャンするための追加のアクションを実行する必要はない。ユーザによっては、エレクトロニクスカート２４を「スプーフィング（spoofing）」しようと試みることがあり、この場合、光学的に読取可能なラベルの写真又は他のコピーが、認可されていないツール又は内視鏡画像キャプチャ装置５００のためにスキャンされる。光学スキャナをソケット２７に設けることにより、光学的に読み取り可能なラベルのコピーとコネクタ５０２の両方を同時にソケット２７に設けることが困難になるため、電子回路カート２４をスプーフィングすることはより困難になる。

さらなる実装では、エレクトロニクスカート２４は、ソケット２７又は他の嵌合レセプタクル内以外の位置にある光学スキャナを有する。例えば、光学スキャナは、ソケット２７に隣接したエレクトロニクスカート２４の表面に又はエレクトロニクスカート２４に結合されたハンドヘルドスキャナ装置内に配置され得る。光学スキャナはまた、上述のように、操作システム５４及び／又はコンピュータプロセッサ５８などの、エレクトロニクスカート２４以外の他の装置上に配置されてもよい。ソケット２７の外側の位置に光学スキャナを配置することによって、内視鏡画像キャプチャ装置５００又は他のツールのための対応する較正データのセットを、使用又はソケット２７への挿入の前に取り出すことができる。この方法では、対応する較正データのセットは、光学スキャナが光学的に読み取り可能なラベルをスキャンするに際し、内視鏡画像キャプチャ装置５００又は他のツールの使用としてカウントすることなく、取り出される。また、追加の内視鏡画像キャプチャ装置５００又は他のツールが、内視鏡画像キャプチャ装置５００又は他のツールが使用されている間又はソケット２７に既に挿入されている間、対応する較正データのセットを取り出すためにスキャンされてもよい。

図６は、画像キャプチャ装置較正ツール６００の概略図である。画像キャプチャ装置較正ツール６００は、中央較正サーバ６０２とデータ通信する第１の遠隔操作手術システム６０４及び第２の遠隔操作手術システム６０６を含む。遠隔操作手術システム６０４、６０６は、図４に示され、上述された遠隔操作手術システム５０と同様である。幾つかの実装では、遠隔操作手術システム６０４、６０６は、同じシステム構成を有する。幾つかの実装では、遠隔操作手術システム６０４、６０６は、異なるシステム構成を有する。例えば、遠隔操作手術システム６０４、６０６は、イメージプロセッサ、視覚システム、若しくは他のハードウェアシステム、ソフトウェアリリースバージョン、及び／又は異なるスペクトル応答を有する光源のうちの１つ又は複数に差異を有し得る。画像キャプチャ装置の較正に影響を及ぼす他の相違が、本開示により企図される。

図６には、２つの遠隔操作手術システム６０４、６０６のみが示されているが、中央較正サーバ６０２とデータ通信を行い得るより多く又はより少ないシステムがあってもよい。幾つかの実装では、遠隔操作手術システム６０４、６０６は、同じ又は異なる医療提供者の場所に配置され得る。例えば、第１の遠隔操作手術システム６０４は、第１の医療提供者の場所に配置され得、第２の遠隔操作手術システム６０６は、第２の医療提供者の場所に配置され得る。

中央較正サーバ６０２は、較正レコード（calibration records）を格納する１つ又は複数のデータベースを有するか又はそれと通信している。各較正レコードは、対応する画像キャプチャ装置の固有識別子に対してインデックス付けされる。較正レコードは、較正データの１つ又は複数のセット及びテストパターン画像のセットを含む。較正データの異なるセットは、異なる処置又はコントローラシステム構成のために最適化され得る。較正データの各セットは、光学歪み、カラーマッピング補正、シーンを照明する光の色、及び／又は立体画像アライメントのうちの１つ又は複数に基づいて、キャプチャされた画像を調整するための較正パラメータを含む。他の較正パラメータを使用してもよい。例えば、較正パラメータは、デッドピクセル又はスタックピクセル、クロッピング領域、アナログゲイン、デジタルゲインなどのイメージセンサ特性、又は他のこのようなイメージセンサ特性を含み得る。

幾つかの実装では、較正パラメータの異なるセットは、他の領域の機能性の性能を潜在的に低下させながら、特定の処置中の関心領域の性能を増加させ得る。例えば、特定の処置が非常に微細なクローズアップ画像の必要性を有する場合、処置のための較正データのセットの較正パラメータは、較正データを使用して処理された画像のシャープネスのために最適化され得る。画像のシャープネスに対するそのような最適化は、色精度又は忠実度を犠牲で成り立ち得る。同様に、低性能画像キャプチャ装置の機能性は、特定の領域における低性能画像キャプチャ装置の性能を向上させる較正データのセットを通して拡張され得る。特定の性能向上を伴う較正データのセットの使用は、特定の処置の要件、エンドユーザ（例えば、外科医）の好み、又はその他の基準に基づき得る。

テストパターン画像のセットは、較正環境、例えば、対応する画像キャプチャ装置の工場出荷時の較正において、対応する画像キャプチャ装置によってキャプチャされた画像を含む。テストパターン画像のセットにおける各画像は、異なるテストパターン及び／又は異なる照明条件をキャプチャし得る。幾つかの実装では、テストパターン画像のサブセットは、特定の処置、特定の照明条件、又は特定のコントローラシステム構成のために画像キャプチャ装置を較正するために、キャプチャされ得る。

中央較正サーバ６０２はまた、較正プロセッサを備えるか又は較正プロセッサと通信している。較正プロセッサは、テストパターン画像のセット内の１つ又は複数の画像から較正データのセットを生成するように構成される。較正プロセッサは、遠隔操作手術システム６０４、６０６のうちの１つのエレクトロニクスカート５６又はプロセッサ５８からの要求などの、コントローラシステムからの較正データの要求に応答して、較正データのセットを動的に生成し得る。

代替的に又は追加的に、較正プロセッサは、較正条件の変化に応答して、較正データのセットを生成し得る。例えば、較正条件の変化は、遠隔操作手術システム６０４、６０６のうちの１つのシステム構成の変更又は較正データを生成するために使用される変換の変更に基づき得る。

システム構成の変更は、イメージプロセッサ、視覚システム、若しくは他のハードウェア構成要素、ソフトウェアリリースバージョン、及び／又はコントローラシステム内の光源のうちの１つ又は複数の変更を含み得る。システム構成の変更は、遠隔操作手術システム６０４、６０６のうちの１つのアップグレード又はメンテナンスによって引き起こされ得る。システム構成の変更はまた、画像キャプチャ装置を別のコントローラシステムに接続することによって生じ得る。

例えば、画像キャプチャ装置は、第１のシステム構成を有する第１のエレクトロニクスカート５６に最初に接続され得、較正データの第１のセットは、第１のシステム構成のために提供される。後に、画像キャプチャ装置は、第１のシステム構成とは異なる第２のシステム構成を有する第２のエレクトロニクスカート５６に接続され得る。第２のシステム構成は、第１のシステム構成とは異なるイメージプロセッサ、視覚システム、若しくは他のハードウェア構成要素、異なるソフトウェアリリースバージョン、及び／又は異なる光源を有し得る。従って、較正プロセッサは、第２のシステム構成のために最適化された画像キャプチャ装置のための較正データの第２のセットを生成し得る。

コントローラシステムのシステム構成の変化は、コントローラシステムからの較正データの要求を処理する一部として、較正プロセッサによって識別され得る。例えば、コントローラシステムからの要求は、コントローラシステムの現在のシステム構成に関する情報を含み得る。代替的には、コントローラシステムのシステム構成変更の実装に際し、通知がコントローラシステムから中央較正サーバ６０２に送信され得る。

他の較正イベントもまた、較正プロセッサをトリガして、較正データのセットを生成し得る。例えば、較正イベントは、新しい画像キャプチャ装置が遠隔操作手術システム６０４、６０６のうちの１つの医療提供者の場所で注文、配達、又は受け取られるに際し、中央較正サーバ６０２によって受信される。例えば、新しい画像キャプチャ装置が、遠隔操作手術システム６０４の第１の医療提供者の場所で注文、配達、又は受け取られた場合、中央較正サーバは、新しい画像キャプチャ装置の較正通知を受信する。較正プロセッサは、エレクトロニクスカート５６及び／又はプロセッサ５８と共に使用するための新しい画像キャプチャ装置のための較正データのセットを生成する。中央較正サーバ６０２は、新たに生成された較正データのセットを、第１の遠隔操作手術システム６０４のエレクトロニクスカート５６及び／又はプロセッサ５８に送る又はプッシュし得る。

図７は、画像キャプチャ装置のための較正データを取得する例示的なプロセス７００を示すフローチャートである。プロセス７００は、エレクトロニクスカート５６及び／又はプロセッサ５８などのコントローラシステムによって実行される。遠隔操作手術システムの他の構成要素又はシステムが、プロセス７００を実行してもよい。簡単化のために、プロセス７００は、エレクトロニクスカート５６によって実行されるものとして以下に説明されるが、本開示の精神又は範囲に限定されるものではない。

７０２において、エレクトロニクスカート５６は、画像キャプチャ装置の固有識別子を取得する。例えば、内視鏡画像キャプチャ装置５００のコネクタ５０２がエレクトロニクスカート５６のソケット２７に挿入されると、エレクトロニクスカート５６は、内視鏡画像キャプチャ装置５００の固有識別子を取得する。上述したように、固有識別子は、エレクトロニクスカート５６又はエレクトロニクスカート５６と通信する外部リーダによってメモリ、無線タグ、又は光学ラベルを読み取ることによって取得され得る。

７０４において、エレクトロニクスカート５６は、画像キャプチャ装置のための較正データについて、取得された固有識別子に対してローカル較正キャッシュをチェックする。７０６において、画像キャプチャ装置のための較正データのローカルコピーがキャッシュ内に維持される場合、エレクトロニクスカート５６は、較正データのキャッシュされたバージョンが最新であることを確認するために中央較正サーバ６０２に要求を送信する。

例えば、エレクトロニクスカート５６は、中央較正サーバ６０２からの較正データの最新のバージョン（current version）のハッシュを要求することができる。エレクトロニクスカート５６はまた、中央較正サーバ６０２から受信したハッシュと比較するために、較正データのローカルコピーのハッシュを決定又は読み取り得る。代替的には、エレクトロニクスカート５６は、較正データのローカルコピーのハッシュを中央較正サーバ６０２に送信し、中央較正サーバ６０２によって実行された比較の結果を受信し得る。

７０８において、エレクトロニクスカート５６は、較正データのローカルコピーが最新であるかどうかを決定する。例えば、中央較正サーバ６０２から受信したハッシュに対するローカルコピーのハッシュの比較の結果に基づいて、又は中央較正サーバ６０２によって実行された比較の受信結果に基づく。

７１０において、エレクトロニクスカート５６が、較正データのローカルコピーが最新であると決定した場合、較正データのローカルコピーが、画像キャプチャ装置から受信される画像を処理するために使用される。

さもなければ、７１２において、エレクトロニクスカート５６は、画像キャプチャ装置の取得された固有識別子に基づいて、較正データについての要求を中央較正サーバ６０２に送る。同様に、７０４において、較正データのローカルコピーがキャッシュに存在しないと決定された場合、エレクトロニクスカート５６は、画像キャプチャ装置の取得された固有識別子に基づいて較正データについての要求を中央較正サーバ６０２に送信する。

７１４において、エレクトロニクスカート５６は、要求された較正データを受信する。７１６において、エレクトロニクスカート５６は、受信された較正データを使用して、画像キャプチャ装置から受信される画像を処理する。７１８において、受信された較正データは、ローカル較正キャッシュに格納され、画像キャプチャ装置の固有識別子に対してインデックス付けされる。

プロセス７００の１つ又は複数の特徴は、オプションであってもよく、又は異なる順序で実行されてもよい。例えば、エレクトロニクスカート５６がローカル較正キャッシュを有しない場合、７０４−７１０で実行される特徴は省略され得る。別の例として、７１８で実行される特徴は、７１６で実行される特徴に先立って実行されてもよい。プロセス７００の他の追加又は変形が、本開示によって企図される。

図８は、要求に応答して較正データを送信する例示的なプロセス８００を示すフローチャートである。プロセス８００は、中央較正サーバ６０２及び／又は中央較正サーバ６０２と通信する１つ又は複数のプロセッサによって実行される。簡略化のために、プロセス８００は、中央較正サーバ６０２によって実行されるものとして以下に説明されるが、開示の精神又は範囲に限定されるものではない。

８０２において、中央較正サーバ６０２は、エレクトロニクスカート５６及び／又はプロセッサ５８などのコントローラシステムから較正データについての要求を受信する。要求には、画像キャプチャ装置の固有識別子が含まれる。要求は、コントローラシステム、コントローラシステムの構成、又はコントローラシステムで実行される処置に関する情報を追加的に含み得る。

８０４において、受信された固有識別子を使用して、中央較正サーバ６０２は、中央較正サーバ６０２上の又は中央較正サーバ６０２と通信しているデータベースから、画像キャプチャ装置のための較正データのセットを取り出す。例えば、中央較正サーバ６０２は、固有識別子に対してインデックス付けされた較正データの１つ又は複数のテーブルのためのルックアップ操作を実行する。要求から受信される又は中央較正サーバ６０２によって取得される追加のデータが、較正データの特定のセットを、較正データの複数のセットの中から取り出すために使用され得る。例えば、画像キャプチャ装置が特定の処置のために使用されるという指示を受信すると、中央較正サーバ６０２は、特定の処置の実行のために最適化された較正データのセットを取り出し得る。

８０６において、中央較正サーバ６０２は、画像キャプチャ装置に関連するエラー状態が存在するかどうかを決定する。例えば、中央較正サーバ６０２は、登録されていない画像キャプチャ装置とのコントローラシステムの使用を防止するポリシーを実施し得る、メンテナンス又は改修が必要となる前に画像キャプチャ装置の使用を制限し得る、又はリコールの対象となる画像キャプチャ装置をロックアウトし（lock out）得る。

８０８において、エラー状態が存在する場合、中央較正サーバ６０２は、較正データについての受信された要求にエラーメッセージで応答する。例えば、エラーメッセージは、画像キャプチャ装置がコントローラシステムと互換性がないこと、画像キャプチャ装置の保守若しくは改修が必要であること、又は画像キャプチャ装置がリコールの対象であることを示し得る。他のエラー状態及びエラーメッセージは、本開示により企図される。

８１０において、中央較正サーバ６０２が、画像キャプチャ装置に対してエラー状態が存在しないと決定する場合、応答が、取り出された較正データのセットとともにコントローラシステムに送信される。

プロセス８００の１つ又は複数の特徴は、オプションであり得る又は異なる順序で実行され得る。プロセス８００の他の追加又はバリエーションは、本開示により企図される。

図９は、画像キャプチャ装置によって撮像されたフィールド画像（field images）に基づいて、変更された較正パラメータ又はメンテナンス条件（maintenance conditions）を決定する例示的なプロセス９００を示すフローチャートである。使用において、エレクトロニクスカート５６及び／又はプロセッサ５８などのコントローラシステムは、処置中に画像キャプチャ装置によってキャプチャされるフィールド画像を中央較正サーバ６０２に周期的に提供し得る。例えば、コントローラシステムは、処置中に使用される各照明条件に対して、画像キャプチャ装置によってキャプチャされる少なくとも１つの画像を提供し得る。中央較正サーバ６０２への他の幾つかの画像及び画像を提供する周波数が使用されてもよい。

９０２において、中央較正サーバ６０２は、コントローラシステムからフィールド画像を受信する。フィールド画像は、フィールド画像をキャプチャする画像キャプチャ装置の固有識別子と共に受信され得る。コントローラシステムの構成、現在の照明条件、又はフィールド画像がキャプチャされる条件に関する他のコンテキスト情報に関する追加情報もまた提供され得る。

９０４において、中央較正サーバ６０２は、受信されるフィールド画像を処理して、画像キャプチャ装置のための１つ又は複数の較正パラメータを評価する。例えば、複数の受信されるフィールド画像が、経時的な変化を識別するために処理され得る。例えば、フィールド画像の処理は、可撓性ケーブル５０６内の光ファイバ束の摩耗による、経時的なキャプチャされた画像におけるスペクトル減衰を明らかにし得る。同様に、フィールド画像の処理は、画像キャプチャ装置内の１つ又は複数のイメージセンサの経時的な色空間のシフトを明らかにし得る。さらに、フィールド画像の処理は、立体画像におけるアライメント（位置合わせ）の問題を明らかにし得る。

９０６において、中央較正サーバ６０２は、フィールド画像の処理に基づいて較正データの１つ又は複数の較正パラメータが変更されるべきかどうかを決定する。そうである場合、９０８において、中央較正サーバ６０２は、更新された較正パラメータを決定し、コントローラシステムに送信する。例えば、更新された較正パラメータは、更新された較正データによって、画像処理の輝度、色空間、アライメント又は他の特徴を調整し得る。中央較正サーバ６０２はまた、コントローラシステム又は画像キャプチャ装置のための１つ又は複数の更新された動作パラメータを送信し得る。例えば、フィールド画像におけるスペクトル減衰を検出することに応答して、中央較正サーバは、コントローラシステムによって提供される光源のパワーを増加させるため、又は画像キャプチャ装置のイメージセンサのゲインを増加させるために、動作パラメータを送信し得る。動作パラメータの他のバリエーションが使用されてもよい。

９１０において、中央較正サーバ６０２は、更新された較正データの較正パラメータを、画像キャプチャ装置に関連付けられた較正レコードに格納する。例えば、中央較正サーバ６０２によって維持されるか又は中央較正サーバ６０２と通信する１つ又は複数のデータベース上の固有識別子に関連する較正レコードが更新される。

中央較正サーバ６０２が、９０６において較正パラメータが変更されないと決定する場合、中央較正サーバ６０２は、９１２において何らかのメンテナンス条件が存在するかどうかを決定する。例えば、処理されたフィールド画像における立体視アライメントの問題を検出すると、中央較正サーバは、画像キャプチャ装置がメンテナンスを必要とすると決定し得る。他のメンテナンス条件は、本開示により企図される。

９１４において、中央較正サーバ６０２は、メンテナンスメッセージをコントローラシステムに送信する。例えば、メンテナンスメッセージは、１つ又は複数の動作パラメータを調整する、メンテナンス若しくは改修について画像キャプチャ装置に送信する、あるいは、必要なメンテナンスの通知を提供するための命令を提供し得る。さもなければ、中央較正サーバ６０２が、メンテナンス条件が存在しないと決定する場合、プロセス９００は９１６において終了する。

プロセス９００の１つ又は複数の特徴は、オプションであってもよく又は異なる順序で実行されてもよい。プロセス９００の他の追加又は変形は、本開示により企図される。

図１０Ａ−１０Ｄは、画像キャプチャ装置の色空間の中心におけるシフトを示す処理されたフィールド画像から生成された色度図である。色度図の各々は、中央較正サーバ６０２によって受信され処理されるフィールド画像のセットから生成され得る。

例えば、図１０Ａに示されるように、第１の色度図１００２は、画像キャプチャ装置の受信されるフィールド画像の第１のセットを処理する際に、中央較正サーバ６０２によって生成される。色度図１００２は、第１の色空間１００４と、受信したフィールド画像の第１のセットから決定された第１の色空間の中心１００６とを示す。図１０Ｂは、画像キャプチャ装置の受信されるフィールド画像の第２のセットを処理する際に、中央較正サーバ６０２によって生成される第２の色度図１００８を示す。色度図１００８は、第２の色空間１０１０と、受信されるフィールド画像の第２のセットから決定された第２の色空間の中心１０１２とを示す。図１０Ｃは、画像キャプチャ装置の受信されるフィールド画像の第３のセットを処理する際に、中央較正サーバ６０２によって生成される第３の色度図１０１４を示す。色度図１０１４は、第３の色空間１０１６と、受信される第３のフィールド画像のセットから決定された第３の色空間の中心１０１８とを示す。受信されるフィールド画像の第１、第２、及び第３のセットは、異なる時間に受信され得る。

図１０Ｄは、色度図１０２０を示し、第１、第２、及び第３の色空間１００４、１０１０、及び１０１６は、互いに重ね合わされ、第１、第２、及び第３の色空間の中心１００６、１０１２、１０１８のトラック（track）を示す。図１０Ｄに示されるように、第１、第２、及び第３の色空間の中心１００６、１０１２、１０１８は、経時的な画像キャプチャ装置の色空間のシフトを示す。上述のように、更新された較正パラメータは、画像キャプチャ装置の色空間におけるこの検出されたシフトに基づいて、中央較正サーバ６０２によって生成され得る。

図１１は、較正パラメータ調査を実施する例示的なプロセス１１００を示すフローチャートである。１１０２において、中央較正サーバ６０２は、較正パラメータの第１のセットを、第１の遠隔操作手術システム６０４のエレクトロニクスカート５６及び／又はプロセッサ５８などの第１のコントローラシステムに送信する。１１０４において、中央較正サーバ６０２は、較正パラメータの第１のセットに応答して提供されたユーザフィードバックに基づいて、第１のコントローラシステムから１つ又は複数の調査結果を受信する。

１１０６において、中央較正サーバ６０２は、較正パラメータの第２のセットを、第２の遠隔操作手術システム６０６のエレクトロニクスカート５６及び／又はプロセッサ５８などの第２のコントローラシステムに送信する。１１０８において、中央較正サーバ６０２は、較正パラメータの第２のセットに応答して提供されたユーザフィードバックに基づいて、第２のコントローラシステムから１つ又は複数の調査結果を受信する。

１１１０において、中央較正サーバ６０２は、較正パラメータの第１及び第２のセットに応答して受信される調査を処理し、受信された調査に基づいて較正パラメータの最適化されたセットを決定する。例えば、中央較正サーバ６０２は、較正パラメータの最適化されたセットを決定するために、較正パラメータの第１及び第２のセットの中から最高評価の（highest rated）較正パラメータを選択し得る。較正パラメータの最適化されたセットを決定するために、趙さ結果を処理する他の方法を使用してもよい。

プロセス１１００の１つ又は複数の特徴は、オプションであってもよく、異なる順序で実行されてもよい。例えば、１１０６〜１１０８で実行される特徴は、１１０２〜１１０４で実行される特徴に先立って実行されてもよい。プロセス１１００の他の追加又はバリエーションは、本開示によって企図される。

種々の図に関して本明細書に記載された論理演算は、（１）コンピュータに実装される動作のシーケンス又はコンピューティングデバイス（例えば、図１２に記載されたコンピューティングデバイス）上で動作するプログラムモジュール（すなわち、ソフトウェア）として、（２）コンピューティングデバイス内の相互接続された機械論理回路又は回路モジュール（すなわち、ハードウェア）として、及び／又は（３）コンピューティングデバイスのソフトウェア及びハードウェアの組み合わせとして、実装され得ることが理解されるべきである。したがって、本明細書で説明する論理演算は、ハードウェアとソフトウェアの特定の組み合わせに限定されるものではない。実装は、演算装置の性能及び他の要件に依存する選択の問題である。従って、本明細書に記載される論理演算は、動作、構造デバイス、行為、又はモジュールとして様々に言及される。これらの動作、構造デバイス、行為及びモジュールは、ソフトウェア、ファームウェア、特殊目的デジタルロジック、及びそれらの任意の組み合わせにおいて実装され得る。また、図面に示され、本明細書に記載されているよりも多くの又はより少ない動作が実行され得ることが理解されるべきである。これらの動作は、本明細書に記載されたものとは異なる順序で行うこともできる。

図１２を参照すると、本発明の実施形態が実装され得るコンピューティングデバイス１２００の例が示されている。例えば、本明細書に記載のエレクトロニクスカート５６又はエレクトロニクスカート２４上に配置されたコンピュータプロセッサの各々、コンピュータプロセッサ５８、及び中央較正サーバ６０２は、それぞれ、コンピューティングデバイス１２００などのコンピューティングデバイスとして実装され得る。例示的なコンピューティングデバイス１２００は、本発明の実施形態が実装され得る適切なコンピューティング環境の一例に過ぎないことを理解されたい。オプションで、コンピューティングデバイス１２００は、パーソナルコンピュータ、サーバ、ハンドヘルド又はラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、ネットワークパーソナルコンピュータ（ＰＣ）、ミニコンピュータ、メインフレームコンピュータ、組み込みシステム、及び／又は上記のシステム又はデバイスのうちの複数を含む分散コンピューティング環境を含むが、これらに限定されない、良く知られたコンピューティングシステムであることができる。分散コンピューティング環境は、通信ネットワーク又は他のデータ伝送媒体に接続される遠隔コンピューティングデバイスが、種々のタスクを実行することを可能にする。分散コンピューティング環境では、プログラムモジュール、アプリケーション、及び他のデータは、ローカル及び／又はリモートコンピュータ記憶媒体に記憶される。

一実施形態では、コンピューティングデバイス１２００は、タスクを実行するために協働する互いに通信する２つ以上のコンピュータを有し得る。例えば、アプリケーションは、限定されるものではないが、アプリケーションの命令の同時及び／又は並列処理を可能にするような方法で分割され得る。代替的には、アプリケーションによって処理されるデータは、２つ以上のコンピュータによってデータセットの異なる部分の同時処理及び／又は並列処理を可能にするような方法で分割され得る。一実施形態では、仮想化ソフトウェアが、コンピューティングデバイス１２００内のコンピュータの数に直接拘束されない幾つかのサーバの機能を提供するために、コンピューティングデバイス１２００によって用いられ得る。例えば、仮想化ソフトウェアは、４台の物理コンピュータ上に２０台の仮想サーバを提供し得る。一実施形態では、上記に開示した機能は、クラウドコンピューティング環境においてアプリケーション及び／又は複数のアプリケーションを実行することによって提供され得る。クラウドコンピューティングは、動的にスケーラブルなコンピューティングリソースを使用して、ネットワーク接続を介してコンピューティングサービスを提供することを含み得る。クラウドコンピューティングは、少なくとも部分的に、仮想化ソフトウェアによってサポートされ得る。クラウドコンピューティング環境は、企業によって確立されてもよく、必要に応じてサードパーティのプロバイダから雇用されることもある。あるクラウドコンピューティング環境は、企業が所有・運用するクラウドコンピューティングリソースや、サードパーティプロバイダから賃借・リースされるクラウドコンピューティングリソースを含み得る。

その最も基本的な構成では、コンピューティングデバイス１２００は、典型的には、少なくとも１つの処理ユニット１２２０及びシステムメモリ１２３０を含む。コンピューティングデバイスの正確な構成及びタイプに応じて、システムメモリ１４３０は、揮発性（ランダムアクセスメモリ（ＲＡＭ）など）、不揮発性（リードオンリーメモリ（ＲＯＭ）、フラッシュメモリなど）、又はこれらの２つの組み合わせであり得る。この最も基本的な構成は、破線１２１０によって図１２に示される。処理ユニット１２２０は、コンピューティングデバイス１２００の動作に必要な算術演算及び論理演算を実行する標準的なプログラマブルプロセッサであり得る。１つの処理ユニット１２２０のみが示されるが、複数のプロセッサが存在してもよい。従って、命令は、プロセッサによって実行されるように議論され得るが、命令は、１つ又は複数のプロセッサによって同時に、直列に、又は他の方法で実行され得る。コンピューティングデバイス１２００はまた、コンピューティングデバイス１２００の種々の構成要素間で情報を通信するためのバス又は他の通信機構を含み得る。

コンピューティングデバイス１２００は、追加の特徴／機能を有し得る。例えば、コンピューティングデバイス１２００は、磁気ディスク又は光ディスク又はテープを含むが、これらに限定されない、リムーバブル記憶装置１２４０及び非リムーバブル記憶装置１２５０などの追加記憶装置を含み得る。コンピューティングデバイス１２００はまた、本明細書に記載される通信経路を介してなど、デバイスが他のデバイスと通信することを可能にするネットワーク接続部（複数可）１２８０を含み得る。ネットワーク接続部（複数可）１２８０は、モデム、モデムバンク、イーサネット（登録商標）カード、ユニバーサルシリアルバス（ＵＳＢ）インタフェースカード、シリアルインタフェース、トークンリングカード、ファイバ分散データインタフェース（ＦＤＤＩ）カード、無線ローカルエリアネットワーク（ＷＬＡＮ）カード、コード分割多元接続（ＣＤＭＡ）などの無線トランシーバカード、移動通信（ＧＳＭ）のためのグローバルシステム、ロングタームエボリューション（ＬＴＥ）、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス（ＷｉＭＡＸ）、及び／又は他のエアインタフェースプロトコル無線トランシーバカード、及び他の良く知られたネットワークデバイスの形態を取り得る。また、コンピューティングデバイス１２００は、キーボード、キーパッド、スイッチ、ダイヤル、マウス、トラックボール、タッチスクリーン、音声認識装置、カードリーダ、紙テープリーダ、又は他の良く知られたの入力装置などの入力装置（複数可）１２７０を有し得る。プリンタ、ビデオモニタ、液晶ディスプレイ、タッチスクリーンディスプレイ、ディスプレイ、スピーカなどのような出力装置（複数可）１２６０もまた含まれ得る。追加のデバイスが、コンピューティングデバイス１２００の構成要素間のデータ通信を容易にするために、バスに接続され得る。これらのデバイスは全て、当該技術分野において良く知られており、ここでは詳細に説明する必要はない。

処理ユニット１２２０は、有形のコンピュータ可読媒体にエンコードされたプログラムコードを実行するように構成され得る。有形のコンピュータ可読媒体は、コンピューティングデバイス１２００（すなわち、マシン）に特定の態様で動作させるデータを提供することができる任意の媒体を指す。実行のために処理ユニット１２２０に命令を提供するために、種々のコンピュータ可読媒体が利用され得る。有形のコンピュータ可読媒体の例としては、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータのような情報の記憶のための任意の方法又は技術で実装される揮発性媒体、不揮発性媒体、リムーバブル媒体、及び非リムーバブル媒体が挙げられるが、これらに限定されない。システムメモリ１２３０、リムーバブル記憶装置１２４０、及び非リムーバブル記憶装置１２５０はすべて、有形のコンピュータ記憶媒体の例である。有形のコンピュータ可読記録媒体の例としては、集積回路（例えば、フィールドプログラマブルゲートアレイ又は特定用途向けＩＣ）、ハードディスク、光ディスク、光磁気ディスク、フロッピー（登録商標）ディスク、磁気テープ、ホログラフィック記憶媒体、ソリッドステートデバイス、RAM、ROM、電気的に消去可能なプログラム読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ又は他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、又は他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、又は他の磁気記憶装置が挙げられるが、これらに限定されない。

実行可能ソフトウェアをコンピュータにロードすることによって実装できる機能性は、良く知られる設計ルールによってハードウェア実装に変換することができるということは、電気工学及びソフトウェア工学の技術の基本である。ソフトウェアとハードウェアにおける概念の実装の間の決定は、典型的には、ソフトウェアドメインからハードウェアドメインへの翻訳に含まれる何らかの問題ではなく、設計の安定性及び生成されるユニットの数の考慮に依存する。一般に、ハードウェア実装を再スピンする方がソフトウェア設計を再設計するよりも高価であるため、依然として頻繁に変更される設計は、ソフトウェアで実装されることが好ましい。一般に、大量生産される安定な設計は、ハードウェア、例えば、特定用途向け集積回路で実装されるのが好ましく、実施されるのが好ましい。なぜなら、大規模な生産では、ハードウェア実装は、ソフトウェア実装よりも安価であるからである。しばしば、設計は、ソフトウェア形態で開発され、試験され、後に、良く知られた設計ルールによって、ソフトウェアの命令を配線する特定用途向け集積回路における均等なハードウェア実装に変換される。新しいＡＳＩＣによって制御されるマシンが特定のマシン又は装置であるのと同じように、同様に、実行可能な命令によってプログラム及び／又はロードされたコンピュータは、特定のマシン又は装置として見ることができる。

例示の実装では、処理ユニット１２２０は、システムメモリ１２３０に記憶されたプログラムコードを実行し得る。例えば、バスはデータをシステムメモリ１２３０に搬送し、そこから処理ユニット１２２０は命令を受信して実行する。システムメモリ１２３０によって受信されたデータは、オプションで、処理ユニット１２２０による実行の前又は後に、リムーバブル記憶装置１２４０又は非リムーバブル記憶装置１２５０に記憶され得る。

本明細書に記載される種々の技術は、ハードウェア又はソフトウェアに関連して、又は、適切な場合には、それらの組み合わせによって実装され得ることが理解されるべきである。したがって、本開示の主題の方法及び装置、又はその特定の態様もしくは部分は、フロッピー（登録商標）ディスケット、CD-ROM、ハードドライブ、又は他の任意の機械可読記憶媒体などの有形媒体に具体化されたプログラムコード（すなわち、命令）の形態をとることができ、ここで、プログラムコードは、コンピューティングデバイスなどのマシンにロードされ、実行されると、マシンは、本開示の主題を実施するための装置となる。プログラマブルコンピュータ上でのプログラムコード実行の場合、コンピューティングデバイスは、一般に、プロセッサ、プロセッサによって読取可能な記憶媒体（揮発性及び不揮発性メモリ及び／又は記憶素子を含む）、少なくとも１つの入力装置、及び少なくとも１つの出力装置を含む。１つ又は複数のプログラムは、例えば、アプリケーションプログラミングインタフェース（ＡＰＩ）、再利用可能なコントロールなどの使用を通じて、本開示の主題に関連して説明されているプロセスを実装又は利用し得る。このようなプログラムは、コンピュータシステムと通信するために、ハイレベルの手続き型又はオブジェクト指向のプログラミング言語で実装され得る。しかし、所望であれば、プログラム（複数可）はアセンブリ言語又はマシン語で実装することができる。いずれの場合も、言語はコンパイル又はインタプリタされた言語であり得、ハードウェア実装と組み合わされ得る。

方法及びシステムの実施形態は、方法、システム、装置及びコンピュータプログラム製品のブロック図及びフローチャート図を参照して本明細書に記載され得る。ブロック図及びフローチャート図の各ブロック、ならびにブロック図及びフローチャート図の各ブロックの組み合わせは、それぞれ、コンピュータプログラム命令によって実装することができることが理解されよう。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置にロードされて、コンピュータ又は他のプログラマブルデータ処理装置上で実行される命令が、フローチャートブロック又はブロックに指定された機能を実装するための手段を作るように、マシンを生成し得る。

これらのコンピュータプログラム命令はまた、コンピュータ又は他のプログラマブルデータ処理装置を特定の態様で機能させることができるコンピュータ読取可能メモリに記憶されてもよく、その結果、コンピュータ読取可能メモリに記憶された命令は、フローチャートブロック又はブロック（複数）に指定された機能を実装するためのコンピュータ読取可能命令を含む製品を生成する。コンピュータプログラム命令はまた、コンピュータ又は他のプログラマブルデータ処理装置にロードされて、コンピュータ又は他のプログラマブル装置上で実行される命令が、フローチャートブロックに指定された機能を実装するためのステップを提供するように、コンピュータ又は他のプログラマブル装置上で一連の操作ステップを実行させて、コンピュータ実装プロセスを生成し得る。

したがって、ブロック図及びフローチャート図のブロックは、指定された機能を実行する手段の組み合わせ、指定された機能を実行するステップの組み合わせ、及び指定された機能を実行するプログラム命令手段をサポートする。また、ブロック図及びフローチャート図の各ブロック、並びにブロック図及びフロー図のブロックの組み合わせは、指定された機能又はステップを実行する特殊目的のハードウェアベースのコンピュータシステム、又は特殊目的のハードウェア及びコンピュータ命令の組み合わせによって実装することができることも理解されよう。

本開示において幾つかの実施形態が提供されたが、開示されたシステム及び方法は、本開示の精神又は範囲から逸脱することなく、多くの他の特定の形態で実施され得ることが理解されるべきである。本例は、説明的なものであり、限定的なものではないとみなされるべきであり、その意図は、本明細書に与えられた詳細に限定されるものではない。例えば、種々の要素又は構成要素は、別のシステムに組み合わされる又は統合されてもよく、又は、ある特徴は省略される又は実装されなくてもよい。

また、本開示の範囲から逸脱することなく、様々な実施形態において離散して又は別個に記載及び図示される技術、システム、サブシステム、及び方法は、他のシステム、モジュール、技術、又は方法と組み合わされ又は統合されてもよい。互いに直接的に結合されている又は通信しているとして示されている又は説明されている他のアイテムは、電気的であるか、機械的であるか、又は他の方法であるかを問わず、幾つかのインターフェース、デバイス、又は中間構成要素を介して間接的に結合されていてもよく又は通信していてもよい。変更、置換、及び改変の他の例は、当業者によって確認可能であり、本明細書に開示された精神及び範囲から逸脱することなく行うことができる。

Claims (36)

1. 画像キャプチャ装置のための較正データを格納するように構成されるネットワークアクセス可能データベースと；
   前記画像キャプチャ装置によってキャプチャされる画像を受信するように構成されるイメージプロセッサを有するコントローラシステムであって、前記イメージプロセッサは、ネットワーク接続部を介して前記ネットワークアクセス可能データベースから前記較正データを取り出すようにさらに構成され、前記イメージプロセッサは、取り出された前記較正データに基づいて、受信される前記画像を処理するようにさらに構成される、コントローラシステムと；を有する、
   システム。
2. 前記画像キャプチャ装置を有するとともに前記コントローラシステムに電気的に結合されたツールをさらに有し、前記ツールは、固有識別子を有する、
   請求項１に記載のシステム。
3. 前記較正データは、前記固有識別子に基づいて、前記ネットワークアクセス可能データベース内で前記画像キャプチャ装置とともにインデックス付けされる、
   請求項２に記載のシステム。
4. 前記固有識別子は前記ツールによって維持され、前記イメージプロセッサはさらに、前記ツールから前記固有識別子を得るように構成される、
   請求項３に記載のシステム。
5. 前記固有識別子は、前記ツールのメモリデバイス上で、前記ツールの無線タグ上で、又は前記ツールの表面上の視覚的インジケータ上で前記ツールによって維持される、
   請求項４に記載のシステム。
6. 前記イメージプロセッサは、前記ツールから前記固有識別子を得るために、前記ツールの前記表面から前記視覚的インジケータを読み取るように構成される光学スキャナをさらに有する、
   請求項５に記載のシステム。
7. 前記光学スキャナは、前記ツールを前記コントローラシステムに結合するように構成される嵌合レセプタクルに配置される、
   請求項６に記載のシステム。
8. 前記光学スキャナはカメラ又はバーコードリーダである、
   請求項６に記載のシステム。
9. 前記視覚的インジケータは、前記ツールの前記表面上に印刷、接着、ラベル付け、エンボス加工、又はスタンプされる、
   請求項５乃至８のいずれか１項に記載のシステム。
10. 前記視覚的インジケータは、英数字シリアル番号、前記固有識別子をエンコードする一次元バーコード、前記固有識別子をエンコードする二次元バーコード、又は前記固有識別子でエンコードされた画像である、
    請求項５乃至８のいずれか１項に記載のシステム。
11. 前記ツールは、内視鏡を有し、前記画像キャプチャ装置は、手術処置中に手術部位の立体画像データをキャプチャするように構成されるイメージセンサのペアを有する、
    請求項２乃至８のいずれか１項に記載のシステム。
12. 前記較正データは、受信される前記画像によってキャプチャされるシーンを照明するように構成される照明装置によって放射される光の色、前記画像キャプチャ装置によってキャプチャされる較正画像、前記画像キャプチャ装置の光学システムによって導入される光学歪み、立体画像較正、色空間マッピング、又は前記画像キャプチャ装置のイメージセンサ特性のうちの１つ又は複数に基づいて、前記受信される画像を補正するために、前記受信される画像を処理するためのデータを含む、
    請求項１乃至８のいずれか１項に記載のシステム。
13. 前記ネットワークアクセス可能データベースと通信する較正プロセッサをさらに有し、前記較正プロセッサは、前記画像キャプチャ装置によってキャプチャされる較正画像を受信し、較正アルゴリズムを前記較正画像のうちの１つ又は複数に適用することに基づいて前記較正データを生成するように構成される、
    請求項１乃至８のいずれか１項に記載のシステム。
14. 前記較正画像は、前記較正データと共に前記ネットワークアクセス可能データベースに格納される、
    請求項１３に記載のシステム。
15. 前記較正プロセッサは、前記コントローラシステムからの前記較正データの要求を受信すると、前記較正データを生成するように構成される、
    請求項１３に記載のシステム。
16. 前記較正データは、前記画像キャプチャ装置のための較正データの事前のセットとは異なり、前記較正データの事前のセットは、前記較正画像のうちの１つ又は複数に異なる較正アルゴリズムを適用することに基づいて、前記較正プロセッサによって生成される、
    請求項１３に記載のシステム。
17. 前記較正アルゴリズムは、前記画像キャプチャ装置が使用されることになる処置のタイプに基づいて又は前記コントローラシステムの構成に基づいて選択される、
    請求項１３に記載のシステム。
18. 前記較正データは、前記画像キャプチャ装置が使用されることになる前記処置のタイプに重要な画像特徴を強化するために生成される、
    請求項１７に記載のシステム。
19. 前記画像特徴は、焦点レベル、シャープネス、色忠実度、又は色精度のうちの１つ又は複数である、
    請求項１８に記載のシステム。
20. 前記較正データは、さらに、第２の画像特徴に悪影響を及ぼす、
    請求項１８に記載のシステム。
21. 前記コントローラシステムの構成は、前記コントローラシステムによって提供される照明源、前記イメージプロセッサのタイプ、又は前記コントローラシステムのソフトウェアリリースバージョンのうちの１つ又は複数を含む、
    請求項１７に記載のシステム。
22. 前記較正プロセッサは、さらに、前記コントローラシステムから前記処置中に前記画像キャプチャ装置によってキャプチャされた手術画像を取り出し、前記手術画像に基づいて前記較正データを調整するように構成される、
    請求項１７に記載のシステム。
23. 前記手術画像の輝度値が、前記手術画像内でキャプチャされる物体への既知の距離と、前記手術画像内でキャプチャされる前記物体を照明する照明源への既知のパワー出力に基づいて決定される期待輝度値と比較される、
    請求項２２に記載のシステム。
24. 前記手術画像の色空間が、前記画像キャプチャ装置の期待される色空間と比較され、前記色空間の中心が前記期待される色空間の中心からオフセットされているかどうかを決定する、
    請求項２２に記載のシステム。
25. 対応する手術画像とのミスアライメントを識別するために、前記手術画像の立体視アライメントが評価される、
    請求項２２に記載のシステム。
26. 前記較正プロセッサは、さらに、前記較正データの以前のセットと比較して前記較正データを評価するユーザフィードバック調査を受信するように構成される、
    請求項１６に記載のシステム。
27. 前記コントローラシステムは、さらに、前記ネットワークアクセス可能データベースから取り出される前記較正データを格納するように構成される較正キャッシュメモリを有する、
    請求項１乃至８のいずれか１項に記載のシステム。
28. 前記コントローラシステムは、さらに、前記コントローラシステムの場所に関連する場所に送り出されたことが知られている前記画像キャプチャ装置の較正データを格納するように構成される、
    請求項２７に記載のシステム。
29. 前記コントローラシステムは、さらに、所定の数の以前に使用された前記画像キャプチャ装置の較正データを格納するように構成される、
    請求項２７に記載のシステム。
30. 前記コントローラシステムは、さらに、あるタイプの前記画像キャプチャ装置に対するデフォルト較正データを格納するように構成される、
    請求項２７に記載のシステム。
31. 前記コントローラシステムは、さらに、前記ネットワークアクセス可能データベースから前記較正データを取り出す前に、前記画像キャプチャ装置のための較正データのキャッシュされたセットを、前記ネットワークアクセス可能データベースに格納された前記較正データと比較するように構成される、
    請求項２７に記載のシステム。
32. ネットワークアクセス可能データベースに画像キャプチャ装置のための較正データを格納することと；
    コントローラシステムが、ネットワーク接続部を介して前記ネットワークアクセス可能データベースから前記較正データを取り出すことと；
    前記コントローラシステムが、前記画像キャプチャ装置によってキャプチャされる画像を受信することと；
    前記コントローラシステムのイメージプロセッサが、取り出された前記較正データに基づいて受信される前記画像を処理することと；を含む、
    方法。
33. 内視鏡画像キャプチャ装置のための較正データを格納するように構成されるネットワークアクセス可能データベースと；
    手術処置中に手術部位の画像データを受信するために前記内視鏡画像キャプチャ装置に通信可能に結合されるように構成されるイメージプロセッサであって、前記イメージプロセッサは、ネットワーク接続部を介して前記ネットワークアクセス可能データベースから前記較正データを取り出すように構成され、前記イメージプロセッサは、さらに、取り出された前記較正データに基づいて、受信される前記画像を処理するように構成される、イメージプロセッサと；
    前記イメージプロセッサに結合され、前記イメージプロセッサから処理された前記画像を受信するように構成されるユーザ制御システムであって、前記処理された画像を表示するように構成されるディスプレイを有する、ユーザ制御システムと；を有する、
    手術システム。
34. 前記内視鏡画像キャプチャ装置に取り付けるように構成され、前記手術処置中に前記内視鏡画像キャプチャ装置の姿勢を物理的に変更するように構成されるマニピュレータアームを有するマニピュレータシステムをさらに有する、
    請求項３３に記載の手術システム。
35. 前記ユーザ制御システムは、さらに、操作ユーザインターフェースを有し、前記操作ユーザインターフェースの作動に際して、前記ユーザ制御システムは、前記内視鏡画像キャプチャ装置の前記姿勢を変えるよう前記マニピュレータシステムにコマンドを発行するように構成される、
    請求項３４に記載の手術システム。
36. 内視鏡画像キャプチャ装置によってキャプチャされる手術処置の画像を処理する方法であって：
    イメージプロセッサが、前記内視鏡画像キャプチャ装置によってキャプチャされる前記画像を受信することと；
    前記イメージプロセッサが、ネットワークアクセス可能データベースから前記内視鏡画像キャプチャ装置のための較正データを取り出すことと；
    前記イメージプロセッサが、取り出された前記較正データに基づいて前記内視鏡画像キャプチャ装置からの受信される前記画像を処理することと；
    前記イメージプロセッサが、処理された前記画像をユーザ制御システムに送信することと；
    前記ユーザ制御システム上で、前記処理された画像をディスプレイ上に表示することと；を含む、
    方法。

Images