JP7203724B2 - マルチモダリティ画像表示を備えた手術システム - Google Patents
マルチモダリティ画像表示を備えた手術システム Download PDFInfo
- Publication number
- JP7203724B2 JP7203724B2 JP2019524396A JP2019524396A JP7203724B2 JP 7203724 B2 JP7203724 B2 JP 7203724B2 JP 2019524396 A JP2019524396 A JP 2019524396A JP 2019524396 A JP2019524396 A JP 2019524396A JP 7203724 B2 JP7203724 B2 JP 7203724B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- surgical
- modality
- information
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 59
- 210000003484 anatomy Anatomy 0.000 claims description 41
- 238000001356 surgical procedure Methods 0.000 description 72
- 238000010586 diagram Methods 0.000 description 50
- 238000001069 Raman spectroscopy Methods 0.000 description 41
- 230000000875 corresponding effect Effects 0.000 description 38
- 230000033001 locomotion Effects 0.000 description 32
- 238000000701 chemical imaging Methods 0.000 description 29
- 238000003384 imaging method Methods 0.000 description 29
- 210000001519 tissue Anatomy 0.000 description 19
- 230000004044 response Effects 0.000 description 16
- 206010028980 Neoplasm Diseases 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 238000002591 computed tomography Methods 0.000 description 11
- 239000012636 effector Substances 0.000 description 10
- 238000013439 planning Methods 0.000 description 9
- 230000003595 spectral effect Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 210000004204 blood vessel Anatomy 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 8
- 230000036541 health Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 239000000126 substance Substances 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 238000002073 fluorescence micrograph Methods 0.000 description 4
- 238000000799 fluorescence microscopy Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000012014 optical coherence tomography Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000002792 vascular Effects 0.000 description 4
- 238000002405 diagnostic procedure Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 206010058314 Dysplasia Diseases 0.000 description 2
- 238000001530 Raman microscopy Methods 0.000 description 2
- 238000001237 Raman spectrum Methods 0.000 description 2
- 238000002679 ablation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000002045 lasting effect Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000012913 prioritisation Methods 0.000 description 2
- 238000011471 prostatectomy Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 210000005166 vasculature Anatomy 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 238000011298 ablation treatment Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 239000013060 biological fluid Substances 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 210000003679 cervix uteri Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000295 emission spectrum Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 238000012978 minimally invasive surgical procedure Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 210000000626 ureter Anatomy 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/35—Surgical robots for telesurgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/77—Manipulators with motion or force scaling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
- A61B2034/2057—Details of tracking cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/305—Details of wrist mechanisms at distal ends of robotic arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
Description
本出願は、2016年11月11日に出願された米国特許出願第62/421,095号の優先権の利益を主張し、この米国特許出願はその全体が参照により本出願に援用される。
遠隔操作は、離れた機械の操作をいう。低侵襲遠隔操作医療システムにおいて、外科医は、患者の体内の手術部位を見るためのカメラを含む内視鏡を使用することができる。いくつかの実施形態では、立体画像が取り込まれることができ、これは、手術処置の間の深さの認識を可能にする。
図8は、例示的な手術計画ツール800の概略図を示す。一態様では、手術計画ツール800は、電子医療デバイス記録データベース830とデータ通信する遠隔操作手術システム850を含む。ここに示される遠隔操作手術システム850は、図4に示される遠隔操作手術システム850と同様である。一態様では、電子医療記録データベース830は、特定の病院または複数の病院で治療を受けた患者の医療記録を含む。データベース830は、病院のオンサイトにあるサーバに実装されることができる。データベース830に含まれる医療記録エントリは、イントラネットネットワークを通じて病院のコンピュータからアクセスすることができる。代替的には、データベース830は、例えば、いくつかのクラウドデータストレージサービスのうちの1つを使用して、病院からオフサイトに位置するリモートサーバに実装されることもできる。この場合、データベース830の医療記録エントリは、クラウドサーバに格納され、インターネットアクセスを有するコンピュータによってアクセスすることができる。
場合によっては、医療者が、所与の患者に行われた過去の手術処置のビデオ記録を見ることができることが望ましい。一態様では、医学的状態を治療するための第1の手術処置を以前に受けた患者は、その後、同一の医学的状態の再発を治療するためまたは第1の手術処置の手術部位の近くに位置する解剖学的構造を治療するために、第2の手術処置を必要とする。一態様では、第1の手術処置の手術部位事象が手術部位ビデオ記録に取り込まれ、ビデオ記録が患者の電子医療記録の一部としてデータベース830にアーカイブされた。患者に第2の手術処置を実施する前に、医療者は、患者の以前の手術処置のビデオ記録を見つけるためにデータベース830の検索を行うことができる。
一態様では、データベース830は、クラウドデータストレージサービスを使用してリモートサーバ上に実装され、複数のヘルスケアプロバイダによってアクセス可能である。図8を参照すると、破線で示されるように、手術計画ツール800は、オプションで、(破線で示される)遠隔操作手術システム850および(破線で示される)パーソナルコンピュータ840を含む。一態様では、遠隔操作手術システム850は、遠隔操作手術システム850と同様であり、パーソナルコンピュータ840は、パーソナルコンピュータ820と同様であるが、ただし、遠隔操作手術システム850およびパーソナルコンピュータ820は、第1のヘルスケアプロバイダに位置し、遠隔操作手術システム850およびパーソナルコンピュータ840は、第2の場所または第2のヘルスケアプロバイダに位置する。一態様では、第1の患者は、医学的状態の手術治療を必要とし、第1のヘルスケアプロバイダにおいて、遠隔操作手術システム850を使用する手術処置を受ける。手術処置のビデオ記録は、データベース830にアーカイブされる。その後、第2の患者は、同じ医学的状態の手術治療を必要とし、第2のヘルスケアプロバイダにおいて、遠隔操作手術システム850を使用する手術治療を受けることを計画する。第2の患者に手術処置を実施する前に、医療者は安全なインターネット接続を介してデータベース830にアクセスし、同様な処置の手術部位ビデオ記録についてデータベース830を検索する。一態様では、第2の患者を治療する医療者は、第1の患者のアイデンティティの知識を取得することなしに、第1の患者の手術処置のビデオ記録をデータベース830から取り出すことができる。このようにして、第1の患者のプライバシーは保たれる。一態様では、第1の患者の手術処置のビデオ記録は、第1の患者を治療した医療者によってなされたハイライトおよび/または注釈を含む。
手術計画ツール800は、コンピュータ実行可能コードの形態で実装されるパターンマッチングおよび解析アルゴリズムを含むことができる。一態様では、パターンマッチングおよび解析アルゴリズムは、手術計画ツール800の不揮発性メモリ装置に記憶され、データベース830にアーカイブされたビデオ記録を解析するように構成される。前述のように、データベース830にアーカイブされたビデオ記録の各々は、特定のメタデータ情報でタグ付けされるおよび/または埋め込まれることができる。このメタデータ情報は、患者の年齢、性別、および患者の健康または病歴を記述するその他の情報などの患者情報が含まれる。加えて、前述のように、メタデータ情報は、医療者によってなされたハイライトまたは注釈を含むことができる。一態様では、これらのハイライトおよび注釈は、ビデオ記録に埋め込まれ、データベース830内のビデオと共にアーカイブされる。
図9は、いくつかの実施形態による、医療記録データベース830内の非一時的記憶装置904内に記憶された手術情報アトラス902を表す例示的な図である。手術器具アトラスは、手術処置に関連して作成された情報を記憶する。例えば、手術処置の間に表示された画像は、情報アトラス902に記憶するために記録されることができる。いくつかのビデオ画像は、例えば、クリアであってよく、すなわち、強調されなくてよく、いくつかの画像は、狭帯域イメージング(NBI)情報を含んでもよく、ある画像は、光コヒーレンストモグラフィ(OCT)情報を含んでもよく、ある画像は、ラマン分光情報を含んでもよく、ある画像は、蛍光情報を含んでもよく、ある画像は、ハイパースペクトルイメージング情報を含んでもよく、そしてある画像はCT情報を含んでもよい。さらに、手術器具の運動学的情報および手術システム作動状態および手術器具作動状態などの手術ステージ情報などの情報も、手術処置の異なる点において記録される。手術システム作動状態は、例えば、システムアームの運動学的位置、カートの位置、およびマスタ制御位置に関連する情報の1つまたは複数を含む。異なる手術器具は、異なる作動状態を有する。手術器具の作動状態は、例えば、ピッチ、ヨー、ロールおよびジョーの位置を含むが、これらに限定されない、器具の運動学を含む。手術中または手術後に、外科医または手術チームの他のメンバーなどのユーザは、NBI画像、ラマン分光画像、OCT画像、蛍光画像またはハイパースペクトル画像など手術シーンの記録されたビデオ画像情報を、例えば血管、腫瘍、異形成、神経または結合組織などの特定の関心のある解剖学的構造を示すメタデータで注釈をつけることができる。注釈は、例えば、記録された動画情報にタグ付けされた書き込みノート及び/又はビデオ記録内の画像の色付け又は強調(例えば、テレストレーション)のうちの1つまたは複数、あるいはそれらの組み合わせを含み得る。記録された情報は、手術画像情報、手術ステージ情報、手術処置のインスタンスに関連する情報間の関連性を提供する手術情報アトラス902を構築するために使用され、この情報は手術記録情報構造に記憶される。
本明細書で使用されるとき、手術シーンの「クリア」画像は、特別な強調なしで提示される画像である。手術画像の表示を強化するために、例えば、狭帯域イメージング(NBI)、ラマン分光法、蛍光、ハイパースペクトルイメージング(HSI)及びコンピュータ断層撮影を含む、多くの表示モダリティが存在する。これらの強調技術の各々は、利点を有する。
特定の表示モダリティは、特定の種類の解剖学的構造を画像化するのに他のモダリティよりも適している場合がある。例えば、表面血管系または異形成などの解剖学的構造は、しばしばNBIを用いてより目に見えるように表示することができる。しかし、癌辺縁などの病態は、例えばラマン分光法を用いてより目に見えるように表示することがしばしば可能である。さらに、蛍光マーカで標識することができる解剖学的構造、または(「内因性の」)それ自体の異なる発光で励起光に応答することができる解剖学的構造は、例えば、蛍光を使用して、しばしば、より目に見えるように表示することができる。さらに、独特のスペクトル特性を有する解剖学的構造は、例えば、ハイパースペクトルイメージングを用いて、しばしば、より目に見えるように表示することができる。
図16は、いくつかの実施形態によるステッチフォーマットを用いて組み合わされた複数の表示モダリティを使用する図11の手術シーン1100の例示的なマルチモダリティ表示である。手術シーンの第1の手術画像1600は、NBIモダリティを使用して生成される。手術シーン1100の第2の画像1650は、ラマン分光モダリティを使用して生成される。第1の画像1600では、特定の血管構造1112は容易に見えるが、第2の解剖学的物体1106内の腫瘍構造1114はそれほど容易には見えないことに留意されたい。逆に、第2の画像1650では、腫瘍構造1114は容易に見えるが、血管構造1112はそれほど容易に見えない。第3の画像1680は、第2の表示1650画像の選択された部分1652と第1の表示画像1600とが一緒にステッチされて生成される。NBIモダリティおよびラマン分光モダリティを使用して生成される両方の画像は、手術処置の間に生成され得ることが理解されるであろう。いくつかの実施形態に従って、表示ルールは、1つの画像モダリティのどの部分を異なる画像モダリティにステッチするかを決定することができる。図16の例では、第2の表示画像1650のラマン分光表示モダリティの腫瘍含有部分1652が、第1の表示画像にステッチされる。従って、図16の例では、ラマン分光モダリティにおいてより容易に見える重要な解剖学的構造の画像が、例えば、血管構造の表示により適したNBIモダリティにステッチされる。
図18は、いくつかの実施形態によるピクチャインピクチャ(PiP)フォーマットを用いて組み合わされた複数の表示モダリティを使用する図11の手術シーン1100の例示的なマルチモダリティ表示である。図18の手術画像は、図16の画像に対応する。しかし、図18では、ラマン分光モダリティを使用して生成された第2の画像1650の部分1652は、NBIモダリティを使用して生成されたプライマリの第1の画像1600内の縮小サイズPiP画像1800として含まれる。
図20は、いくつかの実施形態による注釈フォーマットを用いた複数の表示モダリティからの情報を使用する図11の手術シーン1100の例示的な表示である。図20の手術画像は、図16-17の画像に対応する。しかし、図20では、ラマン分光モダリティを使用して生成された第2の画像1650の部分2000から決定された情報は、NBIモダリティを使用して生成されたプライマリの第1の画像1600内の注釈2002として含まれる。例示的な注釈は、第2の画像1650および対応する説明文、例えば「腫瘍」から決定されたオーバーレイ腫瘍画像2002を提供する。
図21Aは、いくつかの実施形態によるマルチモダリティ手術画像を動的に提示するための第1のプロセス2100を表す例示的なフロー図である。図21Bは、カメラ528を使用して取り込まれ、異なる画像モダリティ画像を生成するために使用することができる非一時的記憶デバイス2114に記憶されるそれぞれの第1の画像情報2112を表す例示的な図である。図21Cは、カメラ528を用いて取り込まれ、異なる画像モダリティ画像部分を生成するために使用することができる非一時的記憶デバイス2118に記憶されるそれぞれの第2の画像部分情報2116を表す例示的な図である。第1のプロセス2100は、手術システム10を参照して説明する。
Claims (4)
- 手術シーンのマルチモダリティ画像を生成するための方法であって:
前記手術シーンから反射された光を取り込むように少なくとも1つのカメラを使用するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第1のモダリティ画像に対応する第1の画像情報を非一時的記憶デバイス内に生成するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第2のモダリティ画像に対応する第2の画像情報を非一時的記憶デバイス内に生成するステップと;
前記第2のモダリティ画像の部分を選択するステップであって、前記第2のモダリティ画像の選択された前記部分内に含まれる解剖学的構造情報に少なくとも部分的に基づいて、前記第2のモダリティ画像の部分を選択するステップと;
前記手術シーンの前記第1のモダリティ画像の少なくとも一部および前記第2のモダリティ画像の前記選択された部分を表示内に同時に生成するために前記第1の画像情報および前記第2の画像情報を使用するようにコンピュータを構成するステップと;
を含み、
前記第2のモダリティ画像の前記部分を選択するステップは、前記第2の画像情報を、非一時的記憶デバイス内に記憶された、解剖学的構造に対応する、画像識別特性情報と比較するステップを含む、
方法。 - 前記第2のモダリティ画像の前記部分を選択するステップは、前記第2の画像情報を、非一時的記憶デバイス内に記憶された、解剖学的構造に対応する、複数の画像識別特性と比較するステップを含む、
請求項1に記載の方法。 - 手術シーンのマルチモダリティ画像を生成するシステムであって:
プロセッサと;
メモリデバイスであって:
前記手術シーンから反射された光を取り込むように少なくとも1つのカメラを使用するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第1のモダリティ画像に対応する第1の画像情報を非一時的記憶デバイス内に生成するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第2のモダリティ画像に対応する第2の画像情報を非一時的記憶デバイス内に生成するステップと;
前記第2のモダリティ画像の部分を選択するステップであって、前記第2のモダリティ画像の選択された前記部分内に含まれる解剖学的構造情報に少なくとも部分的に基づいて、前記第2のモダリティ画像の部分を選択するステップと;
前記手術シーンの前記第1のモダリティ画像の少なくとも一部および前記第2のモダリティ画像の前記選択された部分を表示内に同時に生成するために前記第1の画像情報および前記第2の画像情報を使用するようにコンピュータを構成するステップと;
を含む動作を前記システムに実行させるように、前記プロセッサ上で実行可能な命令セットを保持する、メモリデバイスと;
を有し、
前記第2のモダリティ画像の前記部分を選択するステップは、前記第2の画像情報を、非一時的記憶デバイス内に記憶された、解剖学的構造に対応する、画像識別特性情報と比較するステップを含む、
システム。 - 前記第2のモダリティ画像の前記部分を選択するステップは、前記第2の画像情報を、非一時的記憶デバイス内に記憶された、解剖学的構造に対応する、複数の画像識別特性と比較するステップを含む、
請求項3に記載のシステム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022209744A JP7436617B2 (ja) | 2016-11-11 | 2022-12-27 | マルチモダリティ画像表示を備えた手術システム |
JP2024017572A JP2024052761A (ja) | 2016-11-11 | 2024-02-08 | マルチモダリティ画像表示を備えた手術システム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662421095P | 2016-11-11 | 2016-11-11 | |
US62/421,095 | 2016-11-11 | ||
PCT/US2017/061151 WO2018089827A1 (en) | 2016-11-11 | 2017-11-10 | Surgical system with multi-modality image display |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022209744A Division JP7436617B2 (ja) | 2016-11-11 | 2022-12-27 | マルチモダリティ画像表示を備えた手術システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019534102A JP2019534102A (ja) | 2019-11-28 |
JP7203724B2 true JP7203724B2 (ja) | 2023-01-13 |
Family
ID=62109314
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019524396A Active JP7203724B2 (ja) | 2016-11-11 | 2017-11-10 | マルチモダリティ画像表示を備えた手術システム |
JP2022209744A Active JP7436617B2 (ja) | 2016-11-11 | 2022-12-27 | マルチモダリティ画像表示を備えた手術システム |
JP2024017572A Pending JP2024052761A (ja) | 2016-11-11 | 2024-02-08 | マルチモダリティ画像表示を備えた手術システム |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022209744A Active JP7436617B2 (ja) | 2016-11-11 | 2022-12-27 | マルチモダリティ画像表示を備えた手術システム |
JP2024017572A Pending JP2024052761A (ja) | 2016-11-11 | 2024-02-08 | マルチモダリティ画像表示を備えた手術システム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20200188057A1 (ja) |
EP (1) | EP3538015A4 (ja) |
JP (3) | JP7203724B2 (ja) |
KR (2) | KR20230025936A (ja) |
CN (2) | CN109982657B (ja) |
WO (1) | WO2018089827A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210307830A1 (en) * | 2018-01-31 | 2021-10-07 | Transenterix Surgical, Inc. | Method and Apparatus for Providing Procedural Information Using Surface Mapping |
US20210169578A1 (en) * | 2019-12-10 | 2021-06-10 | Globus Medical, Inc. | Augmented reality headset with varied opacity for navigated robotic surgery |
US11963683B2 (en) | 2020-10-02 | 2024-04-23 | Cilag Gmbh International | Method for operating tiered operation modes in a surgical system |
US11830602B2 (en) | 2020-10-02 | 2023-11-28 | Cilag Gmbh International | Surgical hub having variable interconnectivity capabilities |
US11748924B2 (en) | 2020-10-02 | 2023-09-05 | Cilag Gmbh International | Tiered system display control based on capacity and user operation |
US11672534B2 (en) | 2020-10-02 | 2023-06-13 | Cilag Gmbh International | Communication capability of a smart stapler |
US20220104910A1 (en) * | 2020-10-02 | 2022-04-07 | Ethicon Llc | Monitoring of user visual gaze to control which display system displays the primary information |
US11883022B2 (en) | 2020-10-02 | 2024-01-30 | Cilag Gmbh International | Shared situational awareness of the device actuator activity to prioritize certain aspects of displayed information |
US11877897B2 (en) | 2020-10-02 | 2024-01-23 | Cilag Gmbh International | Situational awareness of instruments location and individualization of users to control displays |
CN112089404B (zh) * | 2020-10-10 | 2022-04-05 | 南京航空航天大学 | 一种内窥OCT-Raman双模成像装置及成像方法 |
CN112618155A (zh) * | 2020-12-17 | 2021-04-09 | 上海市普陀区中心医院 | 一种用于眼科激光手术的滤光防护结构 |
KR102624752B1 (ko) * | 2021-11-08 | 2024-01-11 | 연세대학교 산학협력단 | 치과용 광-ct 하이브리드 영상 시스템 및 방법 |
CN115639186A (zh) * | 2022-12-23 | 2023-01-24 | 南京诺源医疗器械有限公司 | 基于拉曼光谱的图像分析方法、装置、设备及介质 |
CN116389353B (zh) * | 2023-06-02 | 2023-08-08 | 成都瑞华康源科技有限公司 | 一种基于手术进程的术间视频自动化路由控制系统及方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012033552A1 (en) | 2010-09-10 | 2012-03-15 | The Johns Hopkins University | Visualization of registered subsurface anatomy reference to related applications |
JP2016077769A (ja) | 2014-10-22 | 2016-05-16 | 株式会社島津製作所 | イメージング装置 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3878259B2 (ja) * | 1996-11-13 | 2007-02-07 | 東芝医用システムエンジニアリング株式会社 | 医用画像処理装置 |
US20050033117A1 (en) * | 2003-06-02 | 2005-02-10 | Olympus Corporation | Object observation system and method of controlling object observation system |
JP2008532602A (ja) | 2005-03-11 | 2008-08-21 | ブラッコ・イメージング・ソシエタ・ペル・アチオニ | 外科手術ナビゲーションと顕微鏡による可視化の方法と装置 |
US20120106702A1 (en) * | 2005-09-08 | 2012-05-03 | Feke Gilbert D | Apparatus and method for multi-modal imaging using multiple x-ray sources |
US8682413B2 (en) * | 2006-11-15 | 2014-03-25 | General Electric Company | Systems and methods for automated tracker-driven image selection |
JP5154961B2 (ja) * | 2008-01-29 | 2013-02-27 | テルモ株式会社 | 手術システム |
JP5160276B2 (ja) * | 2008-03-24 | 2013-03-13 | 富士フイルム株式会社 | 画像表示方法及び装置 |
US9451924B2 (en) * | 2009-12-30 | 2016-09-27 | General Electric Company | Single screen multi-modality imaging displays |
GB201021675D0 (en) * | 2010-12-20 | 2011-02-02 | Taylor Nicola J | Orthopaedic navigation system |
US8666191B2 (en) * | 2011-03-02 | 2014-03-04 | Canon Kabushiki Kaisha | Systems and methods for image capturing |
EP2965263B1 (en) * | 2013-03-07 | 2022-07-20 | Bernhard Sturm | Multimodal segmentation in intravascular images |
US9492238B2 (en) * | 2013-03-18 | 2016-11-15 | Orthosensor Inc | System and method for measuring muscular-skeletal alignment to a mechanical axis |
EP3311781A1 (en) * | 2013-03-20 | 2018-04-25 | MiRus LLC | Systems for measuring performance parameters related to orthopedic arthroplasty |
US20220207274A1 (en) * | 2013-05-01 | 2022-06-30 | Cloudsight, Inc. | Client Based Image Analysis |
WO2014189969A1 (en) * | 2013-05-21 | 2014-11-27 | Camplex, Inc. | Surgical visualization systems |
WO2015126466A1 (en) * | 2014-02-21 | 2015-08-27 | The University Of Akron | Imaging and display system for guiding medical interventions |
EP3116432B1 (en) * | 2014-03-14 | 2020-07-22 | Brainlab AG | Improved overlay of anatomical information in a microscope image |
KR20230142657A (ko) * | 2014-03-19 | 2023-10-11 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 눈 시선 추적을 사용하는 의료 디바이스, 시스템, 및 방법 |
CN103948432A (zh) * | 2014-04-30 | 2014-07-30 | 深圳先进技术研究院 | 术中立体内窥视频与超声图像增强现实算法 |
EP3136951A4 (en) * | 2014-05-01 | 2018-05-09 | Yeda Research and Development Co. Ltd. | Multimodal transcranial brain optical imaging |
CN107851176A (zh) * | 2015-02-06 | 2018-03-27 | 阿克伦大学 | 光学成像系统及其方法 |
US9436993B1 (en) * | 2015-04-17 | 2016-09-06 | Clear Guide Medical, Inc | System and method for fused image based navigation with late marker placement |
EP3346921B1 (en) * | 2015-09-09 | 2020-06-10 | ControlRAD Systems Inc. | An x-ray system with computer implemented methods for image processing |
EP3463162A4 (en) * | 2016-06-03 | 2020-06-24 | Covidien LP | SYSTEMS, METHODS AND COMPUTER READABLE PROGRAM PRODUCTS FOR CONTROLLING A ROBOT CONTROLLED MANIPULATOR |
-
2017
- 2017-11-10 CN CN201780072428.9A patent/CN109982657B/zh active Active
- 2017-11-10 CN CN202310691733.3A patent/CN116725695A/zh active Pending
- 2017-11-10 JP JP2019524396A patent/JP7203724B2/ja active Active
- 2017-11-10 KR KR1020237004501A patent/KR20230025936A/ko not_active Application Discontinuation
- 2017-11-10 EP EP17869267.9A patent/EP3538015A4/en active Pending
- 2017-11-10 WO PCT/US2017/061151 patent/WO2018089827A1/en unknown
- 2017-11-10 US US16/349,216 patent/US20200188057A1/en active Pending
- 2017-11-10 KR KR1020197016266A patent/KR20190070359A/ko not_active IP Right Cessation
-
2022
- 2022-12-27 JP JP2022209744A patent/JP7436617B2/ja active Active
-
2024
- 2024-02-08 JP JP2024017572A patent/JP2024052761A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012033552A1 (en) | 2010-09-10 | 2012-03-15 | The Johns Hopkins University | Visualization of registered subsurface anatomy reference to related applications |
JP2016077769A (ja) | 2014-10-22 | 2016-05-16 | 株式会社島津製作所 | イメージング装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3538015A1 (en) | 2019-09-18 |
KR20230025936A (ko) | 2023-02-23 |
WO2018089827A1 (en) | 2018-05-17 |
JP7436617B2 (ja) | 2024-02-21 |
US20200188057A1 (en) | 2020-06-18 |
CN109982657B (zh) | 2023-06-30 |
CN116725695A (zh) | 2023-09-12 |
JP2019534102A (ja) | 2019-11-28 |
CN109982657A (zh) | 2019-07-05 |
KR20190070359A (ko) | 2019-06-20 |
JP2023027405A (ja) | 2023-03-01 |
EP3538015A4 (en) | 2020-12-09 |
JP2024052761A (ja) | 2024-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7436617B2 (ja) | マルチモダリティ画像表示を備えた手術システム | |
JP7367140B2 (ja) | 走査ベースの位置付けを伴う遠隔操作手術システム | |
US20220331052A1 (en) | Cooperation among multiple display systems to provide a healthcare user customized information | |
US11748924B2 (en) | Tiered system display control based on capacity and user operation | |
US11963683B2 (en) | Method for operating tiered operation modes in a surgical system | |
JP7166760B2 (ja) | 外科的処置アトラスを用いた手術システムの構成 | |
US20220104896A1 (en) | Interactive information overlay on multiple surgical displays | |
WO2022070058A1 (en) | Cooperative surgical displays | |
JP2019536537A (ja) | 患者健康記録ベース器具制御を備える遠隔操作手術システム | |
US11406255B2 (en) | System and method for detecting abnormal tissue using vascular features | |
WO2022219501A1 (en) | System comprising a camera array deployable out of a channel of a tissue penetrating surgical device | |
CN117479896A (zh) | 包括可在组织穿透外科装置的通道外展开的相机阵列的系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190619 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201028 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7203724 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |