JP2021523784A - 患者に貼付される光学コードを用いた患者の画像データと患者の実景との位置合わせ - Google Patents

患者に貼付される光学コードを用いた患者の画像データと患者の実景との位置合わせ Download PDF

Info

Publication number
JP2021523784A
JP2021523784A JP2020564105A JP2020564105A JP2021523784A JP 2021523784 A JP2021523784 A JP 2021523784A JP 2020564105 A JP2020564105 A JP 2020564105A JP 2020564105 A JP2020564105 A JP 2020564105A JP 2021523784 A JP2021523784 A JP 2021523784A
Authority
JP
Japan
Prior art keywords
patient
optical
image data
pattern
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020564105A
Other languages
English (en)
Other versions
JP7190145B2 (ja
Inventor
ツベトコ、スティーブン
アーレン ギビー、ウェンデル
アーレン ギビー、ウェンデル
トロイ ギビー、ジェイコブ
トロイ ギビー、ジェイコブ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Novarad Corp
Original Assignee
Novarad Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Novarad Corp filed Critical Novarad Corp
Publication of JP2021523784A publication Critical patent/JP2021523784A/ja
Priority to JP2022188317A priority Critical patent/JP2023015398A/ja
Application granted granted Critical
Publication of JP7190145B2 publication Critical patent/JP7190145B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Gynecology & Obstetrics (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Nuclear Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

患者に貼付される光学コードを用いて患者の画像データを患者の実景と位置合わせすること。いくつかの実施形態において、方法は、光学コードを患者に貼り付けること、マーカのパターンを患者に貼り付けること、患者の画像データを捕捉すること、患者に貼付された光学コード及び３Ｄ空間における光学コードの位置を検知すること、画像データへのアクセスすること、３Ｄ空間におけるのマーカのパターンの位置の算出すること、３Ｄ空間におけるマーカのパターンの算出された位置を画像データ内でのマーカのパターンの位置と位置合わせすることにより３Ｄ空間における患者の内層の位置を登録すること、並びに患者の実景に投影される画像データに基づく患者の内層を代替現実（ＡＲ）ヘッドセットにリアルタイムで表示すること、を含み得る。

Description

本発明は、患者に貼付される光学コードを用いた患者の画像データと患者の実景との位置合わせに関する。
拡張現実（ＡＲ）システムは、一般にユーザの実世界環境のライブビューを取り込み、映像、音声、画像、又は図形のようなコンピュータで生成した仮想要素によってそのビューを拡張する。その結果、ＡＲシステムは、ユーザの現状における現実の知覚を増強するように機能する。
ＡＲシステムが直面する１つの共通の問題は、仮想要素の位置を実世界環境のライブビューと正確に位置合わせすること（aligning）である。ＡＲシステムが直面する別の共通の問題は、実世界環境のライブビューに対応する正しい仮想要素を矛盾なく取得することである。これらの取得及び位置合わせのプロセスは手動で行われることが多く、時間がかかり、繁雑であり、かつ不正確である可能性がある。
本願において権利請求される主題は、上述したもののような何らかの不都合を解決するか、又は上述したもののような環境においてのみ動作する実施形態に限定されるものではない。むしろ、この背景は本願に記載するいくつかの実施形態が実施され得る技術領域の一例を示すために提供されているに過ぎない。
いくつかの実施形態では、患者に貼付される光学コードを用いて患者の画像データを患者の実景（actual views）と位置合わせする方法は、様々な動作を含み得る。例えば、本方法は、光学センサによって検知可能な光学コードを患者に貼り付けることを含み得る。本方法はまた、非光学画像化モダリティによって検知可能なマーカのパターンを光学コードの位置に対する固定位置で患者に貼り付けることを含み得る。本方法はまた、非光学画像化モダリティを用いて、患者の内層を含む患者の画像データであって、患者の内層の位置に対する固定位置にあるマーカのパターンをさらに含む画像データを捕捉することを含み得る。本方法はまた、拡張現実（ＡＲ）ヘッドセットの光学センサを用いて、患者に貼付された光学コード及び３Ｄ空間における光学コードの位置を検知することを含み得る。本方法はさらに、光学コードに基づいて、画像データにアクセスすることを含み得る。本方法はまた、３Ｄ空間における光学コードの検知された位置及び光学コードの位置に対するマーカのパターンの固定位置に基づいて、３Ｄ空間におけるマーカのパターンの位置を算出することを含み得る。本方法はさらに、３Ｄ空間におけるマーカのパターンの算出された位置及び患者の内層の位置に対するマーカのパターンの画像データ内での固定位置に基づいて、３Ｄ空間におけるマーカのパターンの算出された位置を画像データ内のマーカのパターンの位置と位置合わせすることにより、３Ｄ空間における患者の内層の位置を登録することを含み得る。本方法はまた、登録に基づいて、患者の実景に投影される画像データに基づく患者の内層をリアルタイムでＡＲヘッドセットに表示することを含み得る。
いくつかの実施形態において、患者に光学コードを貼り付けることは、光学コードが印刷されたバンデージ（bandage）を患者の外層に貼り付けることを含み得る。これらの実施形態において、マーカのパターンを光学コードの位置に対する固定位置で患者に貼り付けることは、マーカのパターンが光学コードの位置に対する固定位置でバンデージに貼り付けられることを含み得る。また、これらの実施形態では、マーカのパターンが光学コードをバンデージに印刷するインク内に埋め込まれ、該インクが非光学画像化モダリティによって検知可能な材料を含む場合等において、マーカのパターンはバンデージ内に埋め込まれ得る。これらの実施形態において、非光学画像化モダリティによって検知可能な材料は、Ｘ線を透過しない放射線不透過性材料、磁気的可視材料、又は放射性材料であり得る。
いくつかの実施形態において、非光学画像化モダリティは、磁気共鳴画像（ＭＲＩ）モダリティ、コンピュータ断層撮影（ＣＴ）スキャンモダリティ、Ｘ線モダリティ、陽電子放射断層撮影（ＰＥＴ）モダリティ、超音波モダリティ、蛍光モダリティ、赤外線サーモグラフィ（ＩＲＴ）モダリティ、又は単一光子放射コンピュータ断層撮影（ＳＰＥＣＴ）スキャンモダリティを含み得る。
いくつかの実施形態において、画像データは、２次元（２Ｄ）画像データ、３次元（３Ｄ）画像データ、４次元（４Ｄ）画像データ、又はそれらの組み合わせを含み得る。
いくつかの実施形態において、光学コードは、線形バーコード、マトリックス２次元（２Ｄ）バーコード、クイックレスポンス（ＱＲ）コード、又はそれらの組み合わせであり得る。
いくつかの実施形態において、光学コードは、該光学コードによって患者の医療データにアクセスできるように該患者の医療データにリンクされ得る。いくつかの実施形態において、光学コードは、該光学コードによって追加のセキュリティ認証情報なしに患者の医療データにアクセスできるように、該患者の医療データにリンクされるセキュリティ認証情報であり得る。
いくつかの実施形態において、患者に光学コードを貼り付けることは、患者の皮膚に光学コードを印刷することを含み得る。
いくつかの実施形態において、患者に光学コードを貼り付けることは、光学コードが印刷された衣服を患者に置くことを含み得る。
いくつかの実施形態では、患者に貼付される光学コードを用いて患者の画像を患者の実景と位置合わせする装置は、バンデージと、バンデージに印刷された光学コードと、バンデージに貼り付けられたマーカのパターンを含み得る。光学コードは、光学センサによって検知可能であり得る。マーカのパターンは、バンデージ上の光学コードの位置に対するバンデージ内での固定位置を有し得る。マーカのパターンは、非光学画像化モダリティによって検知可能であり得、これにより患者の画像データが非光学画像化モダリティを用いて捕捉される際、画像データは患者の内層を含み、画像データはさらに患者の内層の位置に対して固定位置にあるマーカのパターンを含む。
いくつかの実施形態において、マーカのパターンは、光学コードをバンデージに印刷するインク内に埋め込まれ得る。これらの実施形態において、インクは、非光学画像化モダリティが検知可能な材料を含み得る。これらの実施形態において、非光学画像化モダリティによって検知可能な材料は、Ｘ線を透過しない放射線不透過性材料、磁気的可視材料、又は放射性材料であり得る。
いくつかの実施形態において、バンデージは、滅菌可能な材料により形成され得る。
前述の概要及び以下の詳細な説明の双方は説明のためのものであり、権利請求される本発明を限定するものではないことが理解されるべきである。
添付図面の使用により、実施形態について付加的な特異性及び詳細とともに記載し、説明する。
患者に貼付された光学コードを用いて患者の画像データが患者の実景と位置合わせされ得る例示的な拡張現実（ＡＲ）環境を示す図。 患者に貼付された図１の光学コードを示す図。 患者に貼付される光学コードを用いた患者の画像データと患者の実景との位置合わせに採用され得る例示的なコンピュータシステムを示す図。 患者に貼付される光学コードを用いた患者の画像データと患者の実景と位置合わせの例示的な方法のフローチャート。 患者に貼付された光学コード及びマーカのパターンの写真。 患者に貼付された光学コード及びマーカのパターンの写真。 画像データ中に可視化された図５Ａ及び図５Ｂのマーカのパターンを含む患者の画像データの写真。 画像データ中に可視化された図５Ａ及び図５Ｂのマーカのパターンを含む患者の画像データの写真。 拡張現実（ＡＲ）ヘッドセットを介して図５Ｃ及び図５Ｄの画像データを図５Ａ及び図５Ｂの患者の実景にリアルタイムで投影したビューの写真。
医用イメージングは患者の内部の視覚表示を作成するために採用され得る。より具体的には、医用イメージングは、訓練、研究、診断及び治療のような様々な目的で、患者の皮膚や衣服のような患者の外層によって隠された内部構造を明らかにするために用いられ得る。
従来の医用シメージングシステムは、患者の画像データを作成し、次にその画像データをコンピュータディスプレイ上に表示し得る。実際の患者とは切り離されたコンピュータディスプレイ上において患者の画像を観察することは、訓練、研究、診断及び治療に有用なこともあるが、そのような切り離された観察により、いくつかの問題が生じる場合もある。
例えば、外科医が患者の脳から腫瘍を除去する必要がある場合、外科医は、コンピュータディスプレイ上の患者の脳の画像を観察し得る。コンピュータディスプレイ上において腫瘍の位置を観察した後、次に、外科医はその視界をコンピュータディスプレイから手術台上の実際の患者へ移し、実際の患者における患者の脳内部の腫瘍のおおよその位置を特定しようと試み得る。腫瘍のおおよその位置を特定するこの方法は、困難であり、過誤を生じ易い可能性がある。例えば、外科医は、実際には腫瘍が脳の右側に存在する場合に、偶発的に画像中の脳の左側が腫瘍を有していると特定してしまうことがある。この過誤は、脳外科手術の開始時に外科医が誤って患者の頭蓋の左側に不必要な切開を行うことにつながったり、脳外科手術中に外科医が誤って器具を腫瘍から遠ざけることにつながったりする可能性がある。
別の例では、医師が患者に対して膝の手術を実施する必要がある場合に、医師はコンピュータディスプレイ上の患者の膝の画像を観察し得る。コンピュータディスプレイ上の膝の問題領域を観察した後、次に医師はその視界をコンピュータディスプレイから手術台上の実際の患者へ移して、手術のために実際の患者の膝の問題領域を特定しようと試み得る。膝の問題領域を特定するこの方法は、困難であり、過誤を生じ易い可能性がある。例えば、医師が、手術台上の患者がコンピュータディスプレイ上の画像と一致しないことに気付かずに、偶発的に誤った患者の画像をコンピュータディスプレイ上に引き出してしまうことがある。この過誤は、膝の問題領域は患者によって自然と異なることから、膝の手術の開始時に外科医が誤って不適切な位置において切開を行うことにつながったり、膝の手術中に外科医が不適切な膝の内部領域に器具を案内することにつながったりする可能性がある。
上記で検討した脳外科手術及び膝の手術の例において挙がった問題を回避するために、医療専門家は、患者の画像データ（例えば、以前に捕捉され、次に拡張現実（ＡＲ）ヘッドセットのレンズのようなディスプレイ上に投影された１つ以上の画像）を用いて患者の実景（例えば、ＡＲヘッドセットのレンズを通したユーザの肉眼で、又はユーザの眼で観察することができる患者のリアルタイムビュー）を拡張するために、ＡＲヘッドセットを採用し得る。特に、患者の画像データは、患者の実景と位置合わせされ得るか、又は登録され得、次に画像データから導出された画像は、ＡＲヘッドセット内の患者の実景上に投影され得る。しかし残念ながら、患者の画像データと患者の実景との正確な位置合わせ又は登録は、位置合わせプロセスがたびたび、時間がかかり、煩雑であり、かつ不正確である可能性がある手動で行われ、かつ特定の患者に対して不適切な画像データが取得される可能性が存在するため、達成するのが難しい場合がある。
上記で検討した手動位置合わせの問題に対する１つの解決策は、米国特許第９，８９２，５６４号に開示されている自動位置合わせであり、同公報は参照によりその全体が本明細書に組み込まれる。ただし、この自動位置合わせは、いくつかの適用については、ＡＲヘッドセットのマッピングセンサの解像度によって、及び／又は患者の皮膚又は他の外層の比較的小さな領域のみが露出している場合に制限され得る。
本願に開示する実施形態は、従来のＡＲシステムに対して様々な利点を提供し得る。特に、本願に開示する実施形態は、例えば患者に貼付された光学コードを用いて、患者の画像データを患者の実景と位置合わせし得る。例えば医療専門家は、ＱＲコード（登録商標）のような光学コード、及びマーカのパターンを患者に貼り付け得る。次に、医療専門家は、非光学画像化モダリティを用いて、患者の画像データを捕捉し得る。画像データは、患者の１つ以上の内層、及び患者の１つ以上の内層の位置に対して固定位置にあるマーカのパターンを含み得る。次に、医療専門家は、ＡＲヘッドセットを用いて、患者に貼付された光学コード及び３Ｄ空間における光学コードの位置を検知し得る。次に、ＡＲヘッドセットは、光学コードに基づいて画像データに自動的にアクセスし、３Ｄ空間における光学コードの検知された位置及び光学コードの位置に対するマーカのパターンの固定位置に基づいて、３Ｄ空間におけるマーカのパターンの位置を自動的に算出し得る。次に、ＡＲヘッドセットは、３Ｄ空間におけるマーカのパターンの算出された位置及び患者の内層の位置に対するマーカのパターンの画像データ内での固定位置に基づいて、３Ｄ空間におけるマーカのパターンの算出された位置を画像データ内でのマーカのパターンの位置と位置合わせすることによって、３Ｄ空間における患者の内層の位置を自動的に登録し得る。最後に、ＡＲヘッドセットは、患者の実景に投影される画像データに基づく患者の１つ以上の内層をリアルタイムで表示し得る。
したがって、本願に開示する実施形態は、時間がかかり、煩雑であり、かつ不正確な手動による患者の実景に対する画像の位置合わせをすることなしに、医療専門家がＡＲヘッドセットを通して実際の患者を見ながら、患者の仮想内部を観察することを可能にし得る。さらに、手術中における取得のように画像データを自動的に取得するために、画像データの捕捉中に使用されたものと同一の光学コードを採用することは、時間がかかり、煩雑であり、かつ不正確な手動による画像データの取得をすることなく、ＡＲヘッドセットによって取得された画像データがＡＲヘッドセットを通して観察される実際の患者と一致することを保証し得る。訓練、研究、診断又は治療において用いられる場合、これらの実施形態は、医療専門家が患者内の目標位置をより容易かつ正確に見つけることを可能にし得る。さらに、本願に開示する実施形態は、例えば図２における患者１０６の露出された皮膚の比較的小さな領域のような、患者の露出された皮膚又は他の外層の比較的小さな領域との自動位置合わせを可能にし得る。
例えば、上記で検討した脳外科手術の例において用いられる場合には、本願に開示する実施形態は、患者の画像データを患者の実景と正確に位置合わせし、次に外科医が腫瘍の位置について脳の右側と左側との間で混乱するのを回避し、それにより脳外科手術の開始時に外科医が頭蓋の不適切な側において不要な切開を行うことを回避し得る。さらに、本願に開示する実施形態は、腫瘍を除去するための手術中に、外科医が器具を腫瘍に向かって正確に内部に案内することを可能にし得る。同様に上記で検討した膝手術の例において採用される場合には、本願に開示する実施形態は、膝手術の開始時に患者に貼付された光学コードと同じ状態で、患者に貼付されたままとなっている光学コードが、以前に捕捉された患者の画像データを自動的に取得するＡＲヘッドセットによって用いられ得るため、医師が不適切な患者の画像データを使用することを回避し得る。さらに、本願に開示する実施形態は、膝の手術中に、外科医が器具を膝の所望の内部領域に向かって正確に案内することを可能にし得る。
図面に移ると、図１は、患者１０６に貼付された光学コード２００を用いて患者１０６の画像データが患者１０６の実景と位置合わせされ得る例示的な拡張現実（ＡＲ）環境を示している。いくつかの実施形態において、環境１００は、３Ｄ空間１０２、ユーザ１０４、患者１０６、ネットワーク１１０上のサーバ１１２と通信し得るＡＲヘッドセット１０８、及び光学コード２００を含んでもよい。いくつかの実施形態において、環境１００はまた、仮想ユーザインタフェース１１４、仮想ボックス１１６、対象物１１８、及び仮想カーソル１２２も含んでもよく、これらはすべて、ＡＲヘッドセット１０８によって生成される仮想要素であり、ＡＲヘッドセット１０８を介してユーザ１０４のみに見えることを示すために破線で示されている。
いくつかの実施形態において、３Ｄ空間１０２は、（図１に示すような）手術台１０３を備えた手術室、オフィス、教室又は研究室を含むが、これらに限定されない、いかなる３Ｄ空間であってもよい。いくつかの実施形態において、３Ｄ空間１０２は、ユーザ１０４がＡＲヘッドセット１０８を着用しながら、患者１０６を観察し得る空間であってもよい。
いくつかの実施形態において、ユーザ１０４は、（図１に示すような）医療専門家、インストラクタ、研究者、患者、又は患者の介護者を含むが、これらに限定されないＡＲヘッドセット１０８のいかなるユーザであってもよい。例えば、医療専門家は、患者１０６の手術のように患者１０６に医療処置を実施するためにＡＲヘッドセット１０８を使用してもよい。同様に、研究者又はインストラクタが、医学研究を行っているとき、又は医学生を指導しているときに、ＡＲヘッドセット１０８を使用してもよい。さらに、医療専門家が患者１０６のための提案された医療処置について説明しようと試みているときに、患者１０６の介護者又は患者１０６自身がＡＲヘッドセット１０８を使用してもよい。
いくつかの実施形態において、患者１０６は、意識があるか又は無意識である、生きているか又は死んでいる、完全体であるか又は１つ以上の体の部分が欠損している、任意の動物であってもよい。例えば、患者１０６は、ユーザ１０４によって医療処置を受けるために無意識にされた（図１に示すような）生きている成人であってもよい。別の例では、患者１０６は、研究又は訓練の目的のための解剖を受ける成人の遺体であってもよい。別の例では、患者１０６は、医学的状態を診断するために獣医によって診断されている意識のある動物であってもよい。別の例では、患者１０６は死亡したヒトの一肢又は単一器官であってもよい。
いくつかの実施形態において、ＡＲヘッドセット１０８は、画像データにより患者１０６の実景を拡張することができるＡＲヘッドセットの形態にある任意のコンピュータシステムであり得る。例えば、ＡＲヘッドセット１０８は、（図１に示すような）骨１０６ｂ、筋肉、器官、又は流体を含むが、これらに限定されない患者１０６の１つ以上の内層により、患者１０６の実景を拡張するために、ユーザ１０４によって採用され得る。いくつかの実施形態において、ＡＲヘッドセット１０８は、３Ｄ空間１０２内におけるユーザ１０４の現在位置にかかわらず、患者１０６の実景の当該拡張を実行し得る。例えば、ユーザ１０４は手術台１０３のまわりを歩き回って、３Ｄ空間１０２内の任意の角度から患者１０６を観察することがあり、その間ずっと、ＡＲヘッドセット１０８は、患者１０６及び患者１０６の画像データの双方がユーザ１０４によって３Ｄ空間１０２内の任意の角度から観察され得るように、患者１０６の実景を患者１０６の１つ以上の内層によって連続的に拡張し得る。ＡＲヘッドセット１０８は、図４に関連して本願に開示される方法４００に従って、画像データによる患者１０６の実景の拡張を実行し得る。いくつかの実施形態において、ＡＲヘッドセット１０８はマイクロソフト ホロレンズ（Microsoft HoloLens（商標））の修正版であってもよい。
いくつかの実施形態において、ネットワーク１１０は、ＡＲヘッドセット１０８と、サーバ１１２又は他のコンピュータシステムとを通信可能に接続するように構成され得る。いくつかの実施形態において、ネットワーク１１０は、システムと装置との間の通信を送受信するように構成された任意の有線もしくは無線ネットワーク、又は複数のネットワークの組み合わせであってもよい。いくつかの実施形態において、ネットワーク１１０は、ブルートゥース（Bluetooth）（登録商標）ネットワークのようなパーソナルエリアネットワーク（ＰＡＮ）、ＷｉＦｉネットワークのようなローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、又はストレージエリアネットワーク（ＳＡＮ）を含んでもよい。いくつかの実施形態において、ネットワーク１１０はまた、セルラーネットワークのような、様々な異なる通信プロトコルでデータを送信するための電気通信ネットワークの一部に接続されてもよいし、又はそのような電気通信ネットワークの一部を含んでもよい。
いくつかの実施形態において、サーバ１１２は、ＡＲヘッドセット１０８と接続して機能することができる任意のコンピュータシステムであってもよい。いくつかの実施形態において、サーバ１１２は、画像データをＡＲヘッドセット１０８に伝送するか、又はＡＲヘッドセット１０８からデータを受信するために、ＡＲヘッドセット１０８とリアルタイムで通信するように構成され得る。加えて、サーバ１１２は、ＡＲヘッドセット１０８によって所望されるデータ記憶又は処理のうちの一部又はすべてをオフロードするために用いられてもよい。
いくつかの実施形態において、仮想ユーザインタフェース１１４は、患者１０６の画像データに基づいて投影される患者１０６の内層の表示を変更するための選択肢を含む、ＡＲヘッドセット１０８によって生成された任意の仮想ユーザインタフェースであり得る。仮想ユーザインタフェース１１４は、ユーザ１０４にとって有用であり得る他の情報をさらに含んでもよい。例えば、仮想ユーザインタフェース１１４は、心拍数、血圧及び呼吸数のような患者１０６のリアルタイムのバイタルサインを含んでもよい。別の例では、仮想ユーザインタフェース１１４は、患者１０６が無意識となっている時間を示すストップウォッチを含んでもよい。別の例では、仮想ユーザインタフェース１１４は、患者１０６のカルテ又は医療データを含んでもよい。
いくつかの実施形態において、仮想ボックス１１６は、画像データに基づいて投影される患者１０６の内層を所定体積の仮想ボックス１１６内に限定するために、ＡＲヘッドセット１０８によって生成され得る。例えば、図１において、患者１０６の投影された骨１０６ｂは、仮想ボックス１１６内に限定され得る。いくつかの実施形態において、仮想ボックス１１６はまた、ユーザ１０４に基準枠を提供することにより、投影された画像データを操作する場合にユーザを支援し得る。例えば、この基準枠は、仮想ボックス１１６内において画像データの軸方向スライス、冠状スライス、矢状スライス又は斜めスライスを移動させる場合にユーザを支援し得る。スライスは二次元（２Ｄ）スライスであってもよいし、及び／又は３Ｄスライスであってもよい。３Ｄスライスは、解剖学的特徴の自然な曲線に従った湾曲スライスのような湾曲スライス、又は高さ及び幅だけでなく深さも有するスライスを含んでもよい。ユーザ１０４は、ユーザ１０４が概ね仮想ボックス１１６の線の方向にユーザの手を動かすことを求める手振りを用いて、これらのスライスを移動させてもよく、これにより仮想ボックス１１６の表示は、これらの手の動作をユーザ１０４にとってより容易なものにし得る。
いくつかの実施形態において、対象物１１８は、ユーザ１０４が患者１０６の外層を介して患者１０６に挿入したいと思う任意の物であり得る。例えば、対象物１１８としては、（図１に示すような）メス、スコープ、ドリル、プローブ、別の医療器具、又はユーザ１０４の手が挙げられる。患者１０６の外層のリアルタイム位置の登録と同様に、対象物１１８の外層の位置も登録され得る。しかしながら、環境１００内において比較的静止したままであり得る患者１０６とは異なり、対象物１１８は環境１００内において頻繁に動かされる可能性があり、そのため対象物１１８のリアルタイム位置は、患者１０６の外層の登録された位置に対して３Ｄ空間１０２内において自動的に追跡され得る。次に、ユーザ１０４が対象物１１８のいくつかの部分を患者１０６の外層内に挿入する場合、ＡＲヘッドセット１０８は、画像データに基づいて投影される患者１０６の内層内に投影される対象物１１８の仮想挿入部分を表示し得る。このように、対象物１１８の仮想挿入部分は、対象物１１８の実際の挿入部分がユーザ１０４の実景から隠れている場合であっても、ユーザ１０４の実景に投影され得る。対象物１１８の登録は、本願に開示される画像データの登録と同様の方法で実行され得、光学コードが対象物１１８に貼り付けられ、次に光学コードがＡＲヘッドセット１０８によって検知されて、３Ｄ空間１０２における対象物１１８の位置を連続的に更新する。
いくつかの実施形態において、仮想カーソル１２２は、仮想ユーザインタフェース１１４上、別の仮想コントロール上、又は３Ｄ空間１０２内の他の位置において、ＡＲヘッドセット１０８によって生成される仮想カーソルであり得る。いくつかの実施形態において、仮想カーソル１２２の位置は、ユーザ１０４の頭部の向きに対応し得るＡＲヘッドセット１０８の焦点の向き１２０に対応してもよい。仮想カーソル１２２は、仮想ユーザインタフェース１１４の１つ以上の選択肢を選択するために、時にユーザの眼の瞬きのようなユーザ１０４による１つ以上の他の動作、又はＡＲヘッドセット１０８の視野内で２本の指を打ち合わせるなどのユーザ１０４の１つ以上の手振りと関連付けられて、ユーザ１０４によって用いられ得る。
いくつかの実施形態において、光学コード２００は、患者１０６の画像データの生成前に患者１０６に貼り付けられ、それから患者１０６がＡＲヘッドセット１０８を通してユーザ１０４によって見られている間、患者１０６に貼付されたままであり得る。他の実施形態において、光学コード２００は、患者１０６の画像データの生成後に患者１０６に貼り付けられ、それから患者１０６がＡＲヘッドセット１０８を通してユーザ１０４によって見られている間、患者１０６に貼付されたままであり得る。いずれの場合も、次に光学コード２００は、患者１０６の画像データを患者１０６の実景と自動的に位置合わせするために、ＡＲヘッドセット１０８によって用いられ得る。さらに、画像データを自動的に取得するために画像データの捕捉中に使用されたものと同一の光学コード２００を採用するとき、このようにすることは、ＡＲヘッドセット１０８によって取得された画像データがＡＲヘッドセット１０８を通して観察される実際の患者１０６と一致することを保証し得る。光学コード２００の追加の態様は、図２に関連して以下で説明される。
環境１００に対して、本開示の範囲から逸脱することなく、変更、追加又は省略がなされてもよい。例えば、いくつかの実施形態において、ＡＲヘッドセット１０８をそれぞれ着用した複数のユーザが、患者１０６の画像データにより拡張された患者１０６を同時に観察するために、３Ｄ空間１０２内に同時に存在してもよい。別の例では、ＡＲヘッドセット１０８を着用したユーザ１０４が患者の画像データによって拡張された複数の患者を同時に観察することを可能にするために、複数の患者が３Ｄ空間１０２内に同時に存在してもよい。別の例では、ＡＲヘッドセット１０８をそれぞれ着用した複数のユーザ及び複数の患者が３Ｄ空間内に同時に存在してもよい。別の例では、ＡＲヘッドセット１０８からのビューの映像がＡＲヘッドセット１０８によって捕捉され、次いでネットワーク１１０上のサーバ１１２、又は別のユーザによる観察のための遠隔ＡＲヘッドセットもしくは仮想現実（ＶＲ）ヘッドセットなどの遠隔地へ送信され得る。この例は、遠隔ユーザが患者１０６に対する医療処置の間にローカルのユーザ１０４を誘導することを可能にする。さらに環境１００は、概してユーザ１０４が患者１０６を観察している状況にあると開示されているが、環境１００は、ユーザが樹木、岩、油田、又は惑星のような任意の対象物の１つ以上の内層を観察したいと思う任意の環境としてより広く定義され得ることが理解される。
図２は、患者１０６に貼付された図１の光学コード２００を示している。図１及び図２の双方を参照すると、光学コード２００は、ＡＲヘッドセット１０８に組み込まれた光学センサのような光学センサによって検知可能であり得る。いくつかの実施形態において、光学コード２００は、線形バーコード、マトリックス２次元（２Ｄ）バーコード、クイックレスポンス（ＱＲ）コード、又はそれらの組み合わせであり得る。いくつかの実施形態において、光学コード２００は、該光学コード２００によって患者１０６の医療データにアクセスし得るように該患者１０６の医療データにリンクされてもよい。いくつかの実施形態において、光学コードは、該光学コード２００によって追加のセキュリティ認証情報なしに患者１０６の医療データにアクセスできるように、該患者１０６の医療データにリンクされるセキュリティ認証情報であってもよい。これらの実施形態において、セキュリティ認証情報として光学コード２００自体を使用することにより、ＡＲヘッドセット１０８のユーザは、患者１０６の医療データにアクセスする前に手動又は他の方法で他のセキュリティ認証情報を入力することがユーザ１０４に要求されることなく、（患者１０６の手術中のような）医療環境で患者１０６の医療画像及び他の機密医療データにアクセスすることができる。換言すると、ＡＲヘッドセット１０８による光学コード２００の自動検知は、光学コード２００に直接アクセスする任意のユーザは追加の認証なしに患者１０６の医療データに直接アクセスすることが許可されるという前提のもと、ＡＲヘッドセットのユーザ１０４の側で追加の操作をすることなしに、患者１０６の医療画像データ及び他の医療データへの即時かつ自動のアクセスを提供し得る。
光学コード２００はさらに、非光学画像化モダリティによって検知可能なマーカ２０６に結合され得る。非光学画像化モダリティの例としては、磁気共鳴画像（ＭＲＩ）モダリティ、コンピュータ断層撮影（ＣＴ）スキャンモダリティ、Ｘ線モダリティ、陽電子放射断層撮影（ＰＥＴ）モダリティ、超音波モダリティ、蛍光モダリティ、赤外線サーモグラフィ（ＩＲＴ）モダリティ、又は単一光子放射コンピュータ断層撮影（ＳＰＥＣＴ）スキャンモダリティが挙げられ得るが、これらに限定されない。非光学画像化モダリティによって検知可能な材料によってマーカ２０６を形成することにより、非光学画像化モダリティを用いて捕捉された患者１０６の任意の画像データにマーカ２０６を出現させることを可能にし得る。マーカ２０６の例としては、金属球、液体球、金属糸、及び金属インクの一部が挙げられるが、これらに限定されない。
マーカ２０６は、光学コード２００の位置に対して固定位置を有するパターンで配置され得る。例えば、図２に開示された実施形態において、光学コード２００は、（接着バンテージ（adhesive bandage）のような）バンデージ２０２に印刷され得、マーカ２０６は、（例えば、バンデージのいかなる表面にも見えないようにバンデージ２０２に埋め込まれることによって）バンデージ２０２に貼り付けられ得る。この実施形態において、マーカ２０６は、バンデージ２０２内に固定パターンで配置されることにより、光学コード２００の位置に対して固定位置を有するパターンで配置され得る。追加的又は代替的に、マーカ２０６は、例えば光学コード２００の少なくとも一部をバンデージ２０２に印刷するインクに埋め込まれる場合等、光学コード２００自体に埋め込まれ得る。インクは、放射線不透過性でＸ線を透過しないインク、ＭＲＩ画像で見えるように磁気的に見えるインク、又はＰＥＴ画像で見えるように放射性のインク等、非光学画像化モダリティで検知できる材料を含んでもよい。これらの実施形態では、光学コード２００自体が光学コード及びマーカのパターンの両方の役割を果たし得る。追加的又は代替的に、（衣服１０７のような）衣類に光学コード２００を印刷し、衣類にマーカ２０６を貼り付けることによってか、又は光学コード２００を患者１０６の皮膚１０６ａに直接（少なくとも一時的に）印刷し、マーカ２０６を患者１０６の皮膚１０６ａに直接又はその下に（少なくとも一時的に）貼り付けることによって、光学コード２００が印刷されたバンデージにマーカ２０６を貼り付けることを含まない方法で、マーカ２０６を配置してもよい。これらの実施形態のいずれかにおいて、光学コード２００の位置に対して固定位置を有するパターンでマーカ２０６を配置することによって、マーカ２０６自体が見えないか又はＡＲヘッドセット１０８の他のセンサに検知できない場合であっても、この固定位置は後に光学コード２００の目に見える位置に対してマーカ２０６のパターンの位置を算出するために用いられ得る。
さらに、いくつかの実施形態においては、１つ以上の追加の内部マーカが患者１０６の内部に挿入され得る。例えば、内部生検部位の追跡を可能にするために、１つ以上の追加の内部マーカが生検された部位で患者１０６の乳房に挿入されてもよい。次に、これらの１つ以上の追加の内部マーカは、内部生検部位を特定するのを補助するために、マーカ２０６のパターンで特定されて三角測量されて（triangulated）もよい。これは、追跡される内部部位が、患者１０６の身体の一部であって、（患者１０６の位置に応じて移動する傾向がある）乳房のように、患者の身体の残りの部分に対して固定されていない部分である場合に、特に有用であり得る。
光学コード２００及びマーカ２０６が固定パターンで患者１０６に貼付されると、医療専門家又は自動化システムは、患者１０６の及びマーカ２０６の画像データを捕捉するために（マーカ２０６を検知可能な）非光学画像化モダリティを使用し得る。特に、画像データは、患者の１つ以上の（骨１０６ｂ、筋肉、器官又は液体のような）内層、及び患者１０６の１つ以上の内層の位置に対して固定位置にあるマーカ２０６のパターンを含み得る。換言すれば、患者１０６の１つ以上の内層が患者１０６の画像データに出現するだけでなく、マーカ２０６も患者１０６の画像データに固定パターンで出現し、マーカ２０６の固定パターンの位置は、患者１０６の１つ以上の内層の位置に対する固定位置で画像データ内に出現する。非光学画像化モダリティがＣＴスキャンモダリティである一例では、ＣＴスキャン画像は、患者１０６の骨１０６ｂ、器官、及び軟組織、並びに患者１０６の骨１０６ｂ、器官、及び軟組織の位置に対して固定位置に配置されたマーカ２０６を表示し得る。
患者１０６の画像データが捕捉されると、光学コードが患者に貼付されたままの状態である期間が経過し得る。この期間中、患者１０６は、例えば病院の医用イメージング室から病院の手術室に移動され得る。いくつかの実施形態において、最初に（Ｘ線室のような）非滅菌環境で、その後すでに患者１０６に貼付されている状態のバンデージ２０２が滅菌されなければならない（手術室のような）滅菌環境で、患者１０６に貼付されたバンデージ２０２を残すことを容易にするために、バンデージ２０２は、滅菌可能な材料により形成され得る。この期間の経過後、ユーザ１０４（医療専門家など）は、ＡＲヘッドセット１０８を用いて、３Ｄ空間１０２における光学コード２００の位置を決定し得る。例えば、ＡＲヘッドセット１０８は、ＡＲヘッドセット１０８が患者１０６に貼付された光学コード２００、及び３Ｄ空間１０２における光学コード２００の位置を検知するために採用し得るカメラなどの光学センサを含んでもよい。次に、ＡＲヘッドセット１０８は、光学コードに基づいて患者１０６の画像データにアクセスし得る。例えば、上記で検討したように、ＡＲヘッドセット１０８は、３Ｄ空間１０２における光学コード２００の存在を検知するとすぐに、ＡＲヘッドセット１０８は、ＡＲヘッドセット１０８のユーザ１０４からの追加の認証情報を要求せずに、患者１０６の画像データを自動的に取得し得る。
３Ｄ空間１０２における光学コード２００の存在を検知した後、ＡＲヘッドセット１０８は、３Ｄ空間１０２におけるマーカ２０６のパターンの位置を自動的に算出し得る。この自動算出は、３Ｄ空間１０２における光学コード２００の検知された位置に基づいてもよく、さらに光学コード２００の位置に対するマーカ２０６のパターンの既知の固定位置に基づいてもよい。換言すると、マーカ２０６がＡＲヘッドセット１０８によって検知できない場合（例えば、マーカ２０６がバンデージ２０２内に埋め込まれていることを原因として）であっても、ＡＲヘッドセット１０８は、ＡＲヘッドセット１０８によって検知される光学コード２００の位置、及びＡＲヘッドセット１０８にとって既知の光学コード２００の位置に対するマーカ２０６のパターンの固定位置に基づいて、マーカ２０６のパターンの位置を自動的に算出することができる。この例では、ＡＲヘッドセット１０８による画像データの捕捉と光学コード２００の検知との間において光学コード２００が患者１０６における同一の位置に貼付されたままである限り、及びマーカ２０６のパターンの位置が光学コード２００の位置に対して固定されたままである限り、ＡＲヘッドセット１０８が３Ｄ空間１０２におけるマーカ２０６の位置を直接検知することはできない場合であっても、これらの固定位置は、ＡＲヘッドセット１０８が３Ｄ空間１０２におけるマーカ２０６のパターンの位置を自動的に算出することを可能にし得る。
３Ｄ空間１０２におけるマーカ２０６のパターンの位置を算出した後、次にＡＲヘッドセット１０８は、３Ｄ空間１０２におけるマーカ２０６のパターンの算出された位置、及び患者１０６の１つ以上の内層の位置に対する画像データ内でのマーカ２０６のパターンの固定位置に基づいて、３Ｄ空間１０２におけるマーカ２０６のパターンの算出された位置を画像データ内のマーカ２０６のパターンの位置と位置合わせすることにより、３Ｄ空間１０２における患者１０６の１つ以上の内層の位置を登録し得る。そして、この位置合わせ及び登録は、ＡＲヘッドセット１０８が患者１０６の実景に投影される画像データに基づく患者１０６の１つ以上の内層をリアルタイムで表示することを可能にし得る。
したがって、光学コード２００、及び結合されたマーカ２０６のパターンは、患者１０６の画像データを患者１０６の実景と自動的に位置合わせするために、ＡＲヘッドセット１０８によって用いられ得る。さらに、画像データを自動的に取得するために画像データの捕捉中に使用されたものと同一の光学コード２００を採用することは、ＡＲヘッドセット１０８によって取得された画像データがＡＲヘッドセット１０８を通して観察される実際の患者１０６と一致することを保証し得る。
患者１０６に貼付された光学コード２００に対して、本開示の範囲から逸脱することなく、変更、追加又は省略がなされてもよい。例えば、いくつかの実施形態において、患者１０６の画像データを３Ｄ空間１０２における患者１０６の実景と正確に位置合わせすることをさらに保証するために、複数の光学コード２００が患者１０６に貼付されてもよい。これらの実施形態において、３つ以上の光学コード２００は、複数の光学コード２００に基づく三角測量を可能にし得る。これらの実施形態において、複数の光学コード２００を、例えば数インチ離して配置することにより、三角測量の精度が向上され得る。また、いくつかの実施形態において、図２に開示される５つのマーカ２０６のパターンは、３つのマーカのパターンや７つのマーカのパターンなどの別のパターンに置き換え得る。さらに、いくつかの実施形態において、マーカ２０６は患者１０６の外層に貼り付けられ、かつ患者１０６の外層は平面ではない可能性があるため、マーカ２０６のすべてが単一の平面内にあるとは限らず、代わりに患者１０６の外層の任意の湾曲に沿って湾曲し得る。これらの実施形態において、光学コード２００の位置に対するマーカ２０６のパターンの固定位置は、光学コード２００及びマーカ２０６が貼付されている患者１０６の外層の任意の湾曲に応じて変化し得るため、光学コード２００及びマーカ２０６を患者１０６に貼り付けた後に光学コード２００の位置に対するマーカ２０６のパターンの固定位置を確立することができる。
図５Ａ及び図５Ｂは患者に貼付された光学コード及びマーカのパターンの写真であり、図５Ｃ及び図５Ｄは画像データ中に可視化された図５Ａ及び図５Ｂのマーカのパターンを含む患者の画像データの写真であり、図５Ｅは拡張現実（ＡＲ）ヘッドセットを介して図５Ｃ及び図５Ｄの画像データを図５Ａ及び図５Ｂの患者の実景にリアルタイムで投影したビューの写真である。図５Ａ及び図５Ｂに開示されるように、バンデージは、バンデージに印刷された光学コード（例えば、ＱＲコード）、及びバンデージに貼付されたマーカのパターン（例えば、４つの金属球）とともに、患者に貼付され得る。光学コードは、光学センサによって検知可能であり得る。マーカのパターンは、バンデージ上の光学コードの位置に対するバンデージ内の固定位置を有し得る。マーカのパターンは、非光学画像化モダリティ（例えば、ＣＴモダリティ）によって検知可能であり得る。次に、図５Ｃ及び図５Ｄに示すように、患者の画像データ（例えば、ＣＴ画像）が非光学画像化モダリティ（例えば、ＣＴモダリティ）を用いて捕捉される際、画像データは患者の内層（例えば、患者の骨）を含み得、画像データはさらに患者の内層の位置に対して固定位置にあるマーカのパターン（例えば、４つの金属球）を含み得る。その後、ユーザはＡＲヘッドセットを着用し得（例えば、外科医は患者の手術中に図１のＡＲヘッドセット１０８を着用し得る。）、ＡＲヘッドセットの光学センサは、患者に貼付された光学コード、及び３Ｄ空間（例えば、手術室）における光学コードの位置を検知し得る。それから、ＡＲヘッドセットは、光学コードに基づいて、図５Ｃ及び図５Ｄの画像データにアクセスし得る。次に、ＡＲヘッドセットは、３Ｄ空間における光学コードの検知された位置及び光学コードの位置に対するマーカのパターン（例えば、４つの金属球）の固定位置に基づいて、３Ｄ空間におけるマーカのパターンの位置を算出し得る。それから、ＡＲヘッドセットは、３Ｄ空間におけるマーカのパターン（例えば、４つの金属球）の算出された位置及び患者の内層（例えば、患者の骨）の位置に対するマーカのパターンの画像データ（例えば、図５Ｃ及び図５ＤのＣＴ画像）内での固定位置に基づいて、３Ｄ空間におけるマーカのパターンの算出された位置を画像データ内でのマーカのパターンの位置と合わせることにより、３Ｄ空間における患者の内層の位置を登録し得る。次に、図５Ｅに開示されるように、ＡＲヘッドセットは、登録に基づいて、患者の実景に投影される画像データ（例えば、図５Ｃ及び図５ＤのＣＴ画像）に基づく患者の内層（例えば、患者の骨）である、図５Ｅの写真に示されるビューをリアルタイムでＡＲヘッドセットに表示することができる。
図５Ａ及び図５Ｂに開示される光学コード及びマーカのパターンに対して、又は図５Ｃ及び図５Ｄに開示される画像データに対して、本開示の範囲から逸脱することなく、変更、追加又は省略がなされてもよい。例えば、４つの金属球を含むマーカのパターンの代わりに、図５Ａ及び図５Ｂのマーカのパターンは、異なる数及び／又は異なるタイプのマーカを有する別のマーカのパターンで置き換えられ得る。その結果、他のマーカのパターンが図５Ｃ及び図５Ｄの画像データに含まれる。
図３は、患者に貼付された光学コードを用いた患者の画像データと患者の実景との位置合わせに採用され得る例示的なコンピュータシステム３００を示している。いくつかの実施形態において、コンピュータシステム３００は、本開示に記載のシステム又はデバイスのいずれかの一部であり得る。例えば、コンピュータシステム３００は、図１のＡＲヘッドセット１０８又はサーバ１１２のいずれかの一部であり得る。
コンピュータシステム３００は、プロセッサ３０２、メモリ３０４、ファイルシステム３０６、通信ユニット３０８、オペレーティングシステム３１０、ユーザインタフェース３１２、及びＡＲモジュール３１４を含み得、これらはすべて通信可能に接続され得る。いくつかの実施形態において、コンピュータシステム３００は、例えば、デスクトップコンピュータ、クライアントコンピュータ、サーバコンピュータ、携帯電話、ラップトップコンピュータ、スマートフォン、スマートウォッチ、タブレットコンピュータ、携帯音楽プレーヤー、組込み型コンピュータ、ＡＲヘッドセット、ＶＲヘッドセット、又は他のコンピュータシステムであってもよい。
一般に、プロセッサ３０２は、様々なコンピュータハードウェア又はソフトウェアモジュールを含む任意の適切な専用もしくは汎用コンピュータ、計算主体（computing entity）、又は処理デバイスを含んでもよく、任意の適用可能なコンピュータ可読記憶媒体上に記憶された命令を実行するように構成され得る。例えば、プロセッサ３０２としては、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はプログラム命令を解釈及び／もしくは実行し、及び／又はデータを処理するように構成された他のデジタルもしくはアナログ回路、又は任意のそれらの組み合わせが挙げられる。いくつかの実施形態において、プロセッサ３０２は、メモリ３０４及び／又はファイルシステム３０６に記憶されたプログラム命令を解釈及び／もしくは実行し、及び／又はメモリ３０４及び／又はファイルシステム３０６に記憶されたデータを処理し得る。いくつかの実施形態において、プロセッサ３０２はファイルシステム３０６からプログラム命令を読み込んで（fetch）、そのプログラム命令をメモリ３０４にロードし得る。プログラム命令がメモリ３０４にロードされた後、プロセッサ３０２はプログラム命令を実行し得る。いくつかの実施形態では、命令は、プロセッサ３０２が図４の方法４００のうちの１つ以上の動作を実施することを含み得る。
メモリ３０４及びファイルシステム３０６は、コンピュータ実行可能命令又はデータ構造を保持又は記憶するためのコンピュータ可読記憶媒体を含み得る。そのようなコンピュータ可読記憶媒体は、プロセッサ３０２のような汎用又は専用コンピュータによってアクセスされ得る任意の入手可能な非一時的媒体であってもよい。一例として、これに限定されるものではないが、そのようなコンピュータ可読な記憶媒体としては、読み出し専用メモリ（ＲＯＭ）、電気的消去書込み可能な読み出し専用メモリ（ＥＥＰＲＯＭ）、コンパクトディスクを使った読み出し専用メモリ（ＣＤ−ＲＯＭ）もしくは他の光学ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶装置、フラッシュメモリデバイス（例えばソリッドステートメモリデバイス）、又は所望のプログラムコードをコンピュータ実行可能命令もしくはデータ構造の形で保持もしくは記憶するために用いられ、かつ汎用もしくは専用コンピュータによってアクセスされ得る他の記憶媒体を含む、非一時的コンピュータ可読記憶媒体が挙げられる。上記の組み合わせもコンピュータ可読記憶媒体の範囲内に含まれてもよい。コンピュータ実行可能命令としては、例えば図４の方法４００の１つ以上の動作のような特定の作動又は作動の群をプロセッサ３０２に実施させるように構成された命令及びデータが挙げられる。これらのコンピュータ実行可能命令は、例えば、オペレーティングシステム３１０内、ＡＲモジュール３１４のような１つ以上のアプリケーション内、又はそれらのいくつかの組み合わせの中に含まれてもよい。
通信ユニット３０８は、図１のネットワーク１１０のようなネットワーク上において情報を送信又は受信するように構成された任意の構成要素、装置、システム、又はそれらの組み合わせを含み得る。いくつかの実施形態において、通信ユニット３０８は、他の位置にある他の装置、同一の位置にある他の装置、又は同一システム内の他の構成要素とでも通信し得る。例えば、通信ユニット３０８としては、モデム、ネットワークカード（無線又は有線）、赤外線通信装置、無線通信装置（アンテナなど）、及び／又はチップセット（ブルートゥース装置、８０２．６装置（例えばメトロポリタンエリアネットワーク（ＭＡＮ））、ＷｉＦｉ装置、ＷｉＭａｘ装置、セルラー通信装置など）、及び／又は同種のものが挙げられる。通信ユニット３０８は、本開示に記載したもののようなネットワーク及び／又は他の装置もしくはシステムとデータが交換されることを可能にし得る。
オペレーティングシステム３１０は、コンピュータシステム３００のハードウェア及びソフトウェア資源を管理するように構成されてもよく、またコンピュータシステム３００に共通サービスを提供するように構成されてもよい。
ユーザインタフェース３１２は、ユーザがコンピュータシステム３００と相互作用することを可能にするように構成された任意の装置を含み得る。例えば、ユーザインタフェース３１２は、映像、テキスト、アプリケーションユーザインタフェース、及びプロセッサ３０２によって指示されるような他のデータを示すように構成されたＬＣＤ、ＬＥＤ、又はＡＲレンズのような他の表示装置などの表示装置を含んでもよい。ユーザインタフェース３１２はさらに、マウス、トラックパッド、キーボード、タッチスクリーン、音量調節器、他のボタン、スピーカ、マイクロホン、カメラ、任意の周辺機器、又は他の入力装置もしくは出力装置を含んでもよい。ユーザインタフェース３１２は、ユーザから入力を受信し、その入力をプロセッサ３０２に提供し得る。同様に、ユーザインタフェース３１２はユーザに出力を提示し得る。
ＡＲモジュール３１４は、プロセッサ３０２によって実行された場合に図４の方法４００の１つ以上の動作のような１つ以上の方法を実施するように構成された、メモリ３０４又はファイルシステム３０６のような１つ以上の非一時的コンピュータ可読媒体上に記憶された１つ以上のコンピュータ可読命令であってもよい。いくつかの実施形態において、ＡＲモジュール３１４は、オペレーティングシステム３１０の一部であってもよいし、又はコンピュータシステム３００のアプリケーションの一部であってもよいし、又はそれらのいくつかの組み合わせであってもよい。
コンピュータシステム３００に対して、本開示の範囲から逸脱することなく、変更、追加又は省略がなされてもよい。例えば、コンピュータシステム３００の構成要素３０２〜３１４のうちのいずれも、図３では各々が単一の構成要素として示されているが、共同して機能し、通信可能に接続された複数の類似した構成要素を含んでもよい。さらに、コンピュータシステム３００は、単一のコンピュータシステムとして示されているが、例えばクラウドコンピューティング環境、マルチテナンシー環境、又は仮想化環境などにおいて、ともにネットワーク化された複数の物理的又は仮想コンピュータシステムを含んでもよいことが理解される。
図４は、患者に貼付された光学コードを用いて画像データを患者の実景と位置合わせする例示的な方法のフローチャートである。方法４００は、いくつかの実施形態において、装置又はシステムによって、例えば図１のＡＲヘッドセット１０８上及び／又はサーバ１１２上で実行する図３のＡＲモジュール３１４によって、実行され得る。これら及び他の実施形態において、方法４００は、１つ以上の非一時的コンピュータ可読媒体上に記憶された１つ以上のコンピュータ可読命令に基づいて、１つ以上のプロセッサによって実施され得る。これより方法４００について、図１、図２、図３、及び図４に関連して説明する。方法４００の種々の動作は、以下ではＡＲヘッドセットによって実行されると記載されているが、方法４００のこれらの動作は代わりに別のコンピュータシステム又はコンピュータシステムの組み合わせによって実行されてもよいことが理解される。
方法４００は、動作４０２において、光学コードを患者に貼付することを含み得る。いくつかの実施形態において、光学コードは、光学センサによって検知可能であり得る。いくつかの実施形態において、患者に光学コードを貼付することは、光学コードが印刷されたバンデージを患者の外層に貼り付けることを含み得る。いくつかの実施形態において、光学コードは、線形バーコード、マトリックス２次元（２Ｄ）バーコード、クイックレスポンス（ＱＲ）コード、又はそれらの組み合わせであり得る。例えば医療専門家又は自動化システムは、動作４０２において、（ＱＲコードの形態の）光学コード２００が印刷されたバンデージ２０２を患者に貼り付けることによって、光学コード２００を患者１０６に貼付し得る。
方法４００は、動作４０４において、非光学画像化モダリティによって検知可能なマーカのパターンを、光学コードの位置に対する固定位置で患者に貼付することを含み得る。いくつかの実施形態において、マーカのパターンは、非光学画像化モダリティによって検知可能であり得る。光学コードがバンデージに印刷されるいくつかの実施形態において、マーカのパターンを光学コードの位置に対する固定位置で患者に貼付することは、マーカのパターンが光学コードの位置に対する固定位置でバンデージに貼付されることを含み得る。これらの実施形態では、マーカのパターンが光学コードをバンデージに印刷するインク内に埋め込まれ、該インクが非光学画像化モダリティによって検知可能な材料を含む場合等において、マーカのパターンはバンデージ内に埋め込まれ得る。これらの実施形態において、非光学画像化モダリティによって検知可能な材料は、Ｘ線を透過しない放射線不透過性材料、磁気的可視材料、又は放射性材料であり得る。いくつかの実施形態において、患者に光学コードを貼り付けることは、患者の皮膚に光学コードを印刷することを含み得る。いくつかの実施形態において、患者に光学コードを貼り付けることは、光学コードが印刷された衣服を患者に置くことを含み得る。例えば、医療専門家又は自動化システムは、動作４０４において、光学コード２００が印刷されかつマーカ２０６のパターンが貼り付けられたバンデージ２０２を患者１０６に貼り付けることにより、図２に示されたパターンで、かつ光学コード２００の位置に対する図２に示された固定位置でマーカ２０６を患者１０６に貼り付け得る。代替的に、マーカ２０６のパターンは、光学コード２００をバンデージ２０２に印刷するインク内に直接的に埋め込まれ得る。代替的に、光学コード２００を衣服１０７に印刷し、マーカ２０６を患者１０６に配置された衣服１０７に貼付してもよく、又は光学コード２００を患者１０６の皮膚１０６ａに直接（少なくとも一時的に）印刷し、マーカ２０６を患者１０６の皮膚１０６ａに直接（少なくとも一時的に）貼り付けてもよい。
方法４００は、動作４０６において、患者の画像データを捕捉することを含み得る。いくつかの実施形態において、患者の画像データは、マーカを検知可能である非光学画像化モダリティを用いて捕捉され得る。いくつかの実施形態において、画像データは、患者の１つの内層、及びこの患者の１つの内層の位置に対して固定位置にあるマーカのパターンを含み得る。いくつかの実施形態において、画像データは、２次元（２Ｄ）画像データ、３次元（３Ｄ）画像データ、４次元（４Ｄ）画像データ、又はそれらの組み合わせを含み得る。例えば、医療専門家又は自動化システムは、非光学画像化モダリティを用いて、動作４０６において、患者の内層（患者１０６の骨１０６ｂなど）、及び患者１０６の骨１０６ｂの位置に対して固定位置にあるマーカ２０６のパターンの両方を含む患者１０６の画像データを捕捉し得る。
いくつかの実施形態において、患者１０６の画像データは、１つ以上の方法を用いて、患者１０６が環境１００内に存在している間にリアルタイムで、及び／又は患者１０６が環境１００に進入する前のいずれかにおいて捕捉又は生成され得る。例えば、いくつかの画像データは、患者１０６が環境１００に進入する前に得られてもよく、次にその画像データは患者１０６が環境１００内に存在している間にリアルタイムで得られる付加的な画像データによって拡張されてもよい。例えば、患者１０６の画像データは、磁気共鳴画像（ＭＲＩ）画像、コンピュータ断層撮影（ＣＴ）スキャン画像、Ｘ線画像、陽電子放射断層撮影（ＰＥＴ）画像、超音波画像、蛍光画像、赤外線サーモグラフィ（ＩＲＴ）画像、単一光子放射コンピュータ断層撮影（ＳＰＥＣＴ）スキャン画像、又はそれらの組み合わせが挙げられるが、これらに限定されるものではない。これらの画像のいずれも、静止画像の形態であってもよいし、又はビデオ画像の形態であってもよい。例えば、方法４００は、（図１に示したように）患者１０６の骨格系の静止Ｘ線画像を用いてもよい。別の例において、方法４００は、患者１０６の拍動心の超音波のビデオ画像を用いてもよい。別の例において、方法４００は、心臓の静止画像と拍動している心臓のリアルタイムビデオとの間で切り替えることができてもよい。
患者の画像データは、様々な異なる方法を用いて得られるが、いくつかの実施形態では、患者の外層及び患者の複数の内層を含み得る。例えば、患者１０６の外層は、図１の患者１０６の皮膚１０６ａ及び／又は患者１０６が着用している衣服１０７を含み得る。別の例では、皮膚が遺体から除去されている場合には、遺体の外層は筋肉又は脂肪の層のような皮膚以外の組織層であることがある。患者１０６の内層は、患者１０６の内部の骨１０６ｂ（図１に図示）、筋肉、器官、又は流体を含み得るが、これらに限定されるものではない。２Ｄ画像が３Ｄ空間に投影されると２Ｄ画像は３Ｄの意味（significance）を有するので、画像データはＸ線画像のような２Ｄ画像を含み得る。例えば、患者１０６の画像データは、患者１０６の皮膚１０６ａ又は衣服１０７上に投影され得る２ＤのＸ線画像を含んでもよい。画像データはまた、時間要素を含んでいてもよく、これは時に４次元（４Ｄ）データと称される。患者の内層の画像データは、例えば、スライス、透視図、セグメント化された画像、又はアノテーション（annotation）を含んでもよい。例えば、画像データは、３Ｄ画像だけでなく、経時的に変化する３Ｄ画像も含むビデオを含んでもよい。複数の内層は、患者１０６全体に及ぶ層であってもよいし、患者１０６内に特定の部分的深さだけ及ぶ層であってもよい。例えば、ミリ波パッシブ撮像装置（millimeter wave scanner）から導出された３Ｄデータのようないくつかの形態の画像データは、単に患者の外衣と皮膚との間に備えられた物を明らかにするように構成されてもよい。画像データはまた、様々なタイプの画像データの組み合わせであってもよい。
方法４００における動作４０６と動作４０８との間で、ある期間が経過し得る。この期間中に、患者は、例えば部屋のある箇所から別の箇所へ、又は病院のある部屋から病院の別の部屋へ移動し得る。いくつかの実施形態では、患者１０６の移動後、画像データが捕捉されたときに患者１０６が存在したのと同じ相対位置及び／又は向きで、患者１０６を手術台１０３上に配置するように注意が払われ得る。代わりに、画像データが捕捉又は生成されたときに患者１０６が存在したのとは異なる手術台１０３上の位置及び／又は向きに患者１０６が配置されている場合には、ＡＲヘッドセット１０８は、患者１０６の異なる位置及び／又は向きと一致するように画像データを変形させ得る。
方法４００は、動作４０８において、患者に貼付された光学コード及び３Ｄ空間における光学コードの位置を検知し得る。いくつかの実施形態において、光学コードは、ＡＲヘッドセットの光学センサによって検知され得る。例えば、ＡＲヘッドセット１０８の光学センサは、動作４０８において、患者１０６に貼付された光学コード２００、及び３Ｄ空間１０２における光学コード２００の位置を検知し得る。
方法４００は、動作４１０において、画像データにアクセスすることを含み得る。いくつかの実施形態において、画像データは、光学コードに基づいてアクセスされ得る。いくつかの実施形態において、光学コードは、該光学コードによって患者の医療データにアクセスできるように該患者の医療データにリンクされ得る。いくつかの実施形態において、光学コードは、該光学コードによって追加のセキュリティ認証情報なしに患者の医療データにアクセスできるように、該患者の医療データにリンクされるセキュリティ認証情報であり得る。例えば、ＡＲヘッドセット１０８は、動作４１０において、光学コード２００によって追加のセキュリティ認証情報なしに患者１０６の医療データにアクセスできるように、該患者１０６の医療データにリンクされるセキュリティ認証情報として機能する光学コード２００であって、動作４０８において検知された光学コード２００に基づいて、患者１０６の画像データにアクセスしてもよい。
方法４００は、動作４１２において、３Ｄ空間におけるマーカのパターンの位置を算出することを含み得る。いくつかの実施形態において、動作４１２における算出は、３Ｄ空間における光学コードの検知された位置、及び光学コードの位置に対するマーカのパターンの固定位置に基づき得る。例えば、ＡＲヘッドセット１０８は、動作４１２において、３Ｄ空間１０２における光学コード２００の検知された位置、及び光学コード２００の検知された位置に対するマーカ２０６のパターンの既知の（例えば、以前に確立された）固定位置に基づいて、３Ｄ空間１０２におけるマーカ２０６のパターンの位置を算出してもよい。
方法４００は、動作４１４において、３Ｄ空間におけるマーカのパターンの算出された位置を画像データ内のマーカのパターンの位置と位置合わせすることにより、３Ｄ空間における患者の内層の位置を登録することを含み得る。いくつかの実施形態において、動作４１４における登録は、３Ｄ空間におけるマーカのパターンの検知された位置、及び患者の内層の位置に対するマーカのパターンの画像データ内での固定位置に基づき得る。例えば、ＡＲヘッドセット１０８は、動作４１４において、３Ｄ空間１０２におけるマーカ２０６のパターンの算出された位置、及び患者１０６の骨１０６ｂの位置に対するマーカ２０６のパターンの画像データにおける既知の（例えば、以前に確立された）固定位置に基づいて、３Ｄ空間１０２におけるマーカ２０６のパターンの算出された位置を患者１０６の画像データ内でのマーカ２０６のパターンの位置と位置合わせすることにより、３Ｄ空間１０２における患者１０６の骨１０６ｂの位置を登録し得る。
方法４００は、動作４１６において、患者の実景に投影される画像データに基づく患者の内層をリアルタイムで表示することを含み得る。いくつかの実施形態において、動作４１６での表示は、動作４１４での登録に基づいて、ＡＲヘッドセットで実行され得る。例えば、ＡＲヘッドセット１０８は、動作４１６において、動作４１４での登録に基づいて、患者１０６の実景に投影される画像データに基づく患者１０６の骨１０６ｂをリアルタイムで表示し得る。
いくつかの実施形態において、方法４００の動作４１６はさらに、動作４０６を１回以上、又は連続的に繰り返すことを含み得、次に動作４０６の反復実行から新たに捕捉された画像データを、動作４０６の最初の実行から最初に捕捉された画像データとともに、又は動作４０６の最初の実行から最初に捕捉された画像データに重ねて、表示することを含み得る。例えば、ＭＲＩのような画像化モダリティは、動作４０６の最初の実行において用いられ得、次いで蛍光モダリティのような別の画像化モダリティは、患者１０６の血管にカテーテルを挿入する手術中のように、動作４０６の反復実行中又は連続実行中に用いられ得る。次に、ＡＲヘッドセット１０８は、動作４１６において、動作４１４での登録に基づいて、患者１０６の実景に投影され、新たに捕捉された蛍光画像が重ね合わされた最初に捕捉されたＭＲＩ画像を、リアルタイムで表示し得る。動作４１６での最初に捕捉された画像データと新たに捕捉された画像データとのこの重ね合わせはさらに、付加的なマーカを用いて達成され得る。例えば、蛍光透視鏡は、蛍光画像をＭＲＩ画像と位置合わせするための１つ以上の付加的なマーカを有してもよく、これにより外科医は、手術中に、カテーテルを配置するために患者１０６の血管内の正しい位置をより正確に特定し、患者１０６の内部にカテーテルをより正確に挿入し得る。
いくつかの実施形態において、方法４００は、患者１０６に貼付された光学コード２００を用いて、患者１０６の画像データと患者１０６の実景との位置合わせを達成し得る。さらに、この位置合わせにより、時間がかかり、煩雑であり、かつ不正確な、従来の位置合わせの形態で要求される手動による画像データと患者の実景との位置合わせをすることなく、医療専門家がＡＲヘッドセット１０８を通して実際の患者１０６を見ながら患者１０６の仮想内部を観察することを可能にし得る。さらに、画像データを自動的に取得するために、画像データの捕捉中に使用されたものと同一の光学コードを採用することは、時間がかかり、煩雑であり、かつ不正確な、従来の位置合わせの形態で要求される手動による画像データの取得をすることなく、ＡＲヘッドセットによって取得された画像データがＡＲヘッドセットを通して観察される実際の患者と一致することを保証し得る。
方法４００の動作は図４において個別の動作として示されているが、種々の動作は、所望の実施に応じて、付加的な複数の動作に分けたり、より少ない数の動作に組み合わせたり、並べ替えたり、拡張したり、排除したりしてもよい。例えば、いくつかの実施形態では、動作４０８〜４１６は、動作４０２〜４０６を実行することなく実行され得、また以前に実行された動作４０２〜４０６とともに、あるいは動作４０８〜４１６を実行する主体以外の別の主体によって実行された動作４０２〜４０６とともに実行され得る。さらに、いくつかの実施形態では、動作４０２〜４０６及び動作４１６を伴うことなく、動作４０８〜４１４のみが実行され得る。また、いくつかの実施形態において、動作４１２は、ＡＲヘッドセット１０８がマーカ２０６を直接検知することが可能である場合など、３Ｄ空間におけるマーカのパターンの位置を算出する代わりに、３Ｄ空間におけるマーカのパターンの位置を検知することを含むように変更されてもよい。
さらに、方法４００は、ＡＲシステム自体の機能を向上し、またＡＲの分野を改善し得ることが理解される。例えば、図１のＡＲヘッドセット１０８の機能は、方法４００により患者１０６に貼付された光学コード２００を用いて患者１０６の画像データを患者１０６の実景と自動的に位置合わせすることによって、それ自体が改善され得る。この自動位置合わせは、手動による登録を採用する従来のＡＲシステムよりも簡単かつ正確に実行され得る。
上記に示したように、本願に記載する実施形態は、以下でより詳細に検討するような様々なコンピュータハードウェア又はソフトウェアモジュールを含む専用又は汎用コンピュータ（例えば図３のプロセッサ３０２）の使用を含み得る。さらに上記に示したように、本願に記載する実施形態は、記憶されたコンピュータ実行可能命令又はデータ構造を保持するか、又は有するためのコンピュータ可読媒体（例えば図３のメモリ３０４又はファイルシステム３０６）を用いて実施されてもよい。
いくつかの実施形態において、本願に記載する異なる構成要素及びモジュールは、コンピューティングシステム上で実行するオブジェクト又はプロセスとして（例えば別々のスレッドとして）実施されてもよい。本願に記載する方法のうちのいくつかは、概して、（汎用ハードウェア上に記憶され、及び／又は汎用ハードウェアによって実行される）ソフトウェア内において実施されると記載されているが、特定ハードウェア実施又はソフトウェア実施と特定ハードウェア実施との組み合わせも可能であり、企図される。
慣例に従って、図面に示した様々な特徴は、一定の縮尺で描かれていない場合がある。本開示に示した実例は、任意の特定の装置（例えば装置、システムなど）又は方法の実景であることを意図するものではなく、しかしながら単に本開示の様々な実施形態を説明するために採用されている表現の例にすぎない。したがって、様々な特徴の寸法は、明瞭にするために任意で拡大又は縮小されていることがある。加えて、図面のうちのいくつかは明瞭にするために単純化されていることがある。よって、図面は、所与の装置（例えばデバイス）の構成要素のすべて、又は特定の方法のすべての操作を示しているとは限らない。
本願及び特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本文）において使用される用語は、一般に「オープン」タームとして意図される（例えば「〜を含む（including）」という語は「〜を含むが、これ（ら）に限定されるものではない（including, but not limited to）」と解釈されるべきであり、「〜を有する（having）」という語は「〜を少なくとも有する（having at least）」と解釈されるべきであり、「〜を含む（includes）」という語は「〜を含むが、これ（ら）に限定されるものではない（includes, but is not limited to）」と解釈されるべきである、など）。
さらに、導入された請求項の記載事項において特定の数が意図される場合には、そのような意図は当該請求項中に明示的に記載されており、またそのような記載がない場合には、そのような意図は存在しない。例えば、理解を助けるものとして、以下の添付の特許請求の範囲は請求項の記載を導入するために「少なくとも１つの（at least one）」及び「１つ以上の（one or more）」という導入句の使用を含むことがある。しかしながら、そのような句の使用は、「ａ」又は「ａｎ」という不定冠詞による請求項の記載事項の導入が、たとえ同一の請求項内に「１つ以上の」又は「少なくとも１つの」という導入句と「ａ」又は「ａｎ」のような不定冠詞とが含まれる場合であっても、そのように導入された請求項の記載事項を含むいかなる特定の請求項も、そのような記載事項を１つしか含まない実施形態に限定されることを意味すると解釈されるべきではない（例えば、「ａ」及び／又は「ａｎ」は「少なくとも１つの」又は「１つ以上の」を意味するものと解釈されるべきである）。請求項の記載事項を導入するために用いられる定冠詞の使用についても同様のことが当てはまる。
加えて、導入された請求項の記載事項において特定の数が明示的に記載されている場合であっても、そのような記載は、少なくとも記載された数を意味するものと解釈されるべきであることが理解される（例えば、他に修飾語のない「２つの記載事項」という単なる記載は、少なくとも２つの記載事項、又は２つ以上の記載事項を意味する）。さらに、「Ａ、Ｂ、及びＣなどのうちの少なくとも１つ」又は「Ａ、Ｂ、及びＣなどのうちの１つ以上」に類する表現が用いられる場合、一般に、そのような構文は、Ａのみ、Ｂのみ、Ｃのみ、Ａ及びＢの両方、Ａ及びＣの両方、Ｂ及びＣの両方、及び／又はＡ、Ｂ及びＣのすべて、などを含むことが意図される。例えば、「及び／又は」という用語の使用は、このように解釈されることが意図される。
さらに、２つ以上の選択的な用語を表す任意の離接語又は離接句は、概要、詳細な説明、特許請求の範囲、又は図面のいずれの中であろうと、それら用語のうちの１つ、それらの用語のうちのいずれか、又はそれらの用語の双方を含む可能性を企図すると理解されるべきである。例えば、「Ａ又はＢ」という句は、「Ａ」もしくは「Ｂ」、又は「Ａ及びＢ」の可能性を含むものと理解されるべきである。
加えて、「第１」、「第２」、「第３」などの用語の使用は、本願では、必ずしも要素の特定の順位又は数を意味するために用いられているとは限らない。一般に、「第１」、「第２」、「第３」などの用語は、共通識別子として異なる要素を区別するために用いられる。「第１」、「第２」、「第３」などの用語が特定の順序を意味することが示されていない場合には、これらの用語は特定の順序を意味すると理解されるべきではない。さらに、「第１」「第２」、「第３」などの用語が要素の特定の数を意味することが示されていない場合、これらの用語は要素の特定の数を意味すると理解されるべきではない。例えば、第１部品は第１側面を有すると記載され、かつ第２部品は第２側面を有すると記載されてもよい。第２部品に関して「第２側面」という用語を使用するのは、第２部品のそのような側面を第１部品の「第１側面」と区別するためであり、第２部品が２つの側面を有することを示すためではないことがある。
説明を目的とした前記の記載は、特定の実施形態に関連して記載されている。しかしながら、上記の例示的な検討が、網羅的であること、又は本発明を開示されたまさにその形態に権利要求されるように限定することは意図されていない。上記の教示を考慮して、多くの変更及び変形例が可能である。実施形態は実際の応用について説明するために選択されて記載されており、それにより他の当業者が企図される特定の用途に適し得るような様々な変更を伴った請求項に記載の本発明及び様々な実施形態を用いることが可能となる。

Claims (20)

  1. 患者に貼付される光学コードを用いて患者の画像データを患者の実景と位置合わせする方法であって、
    光学センサによって検知可能な光学コードを患者に貼り付けることと、
    非光学画像化モダリティによって検知可能なマーカのパターンを前記光学コードの位置に対する固定位置で患者に貼り付けることと、
    前記非光学画像化モダリティを用いて、患者の内層を含む患者の画像データであって、患者の内層の位置に対する固定位置にあるマーカのパターンをさらに含む画像データを捕捉することと、
    拡張現実（ＡＲ）ヘッドセットの光学センサを用いて、患者に貼付された前記光学コード及び３Ｄ空間における前記光学コードの位置を検知することと、
    前記光学コードに基づいて、前記画像データにアクセスすることと、
    前記３Ｄ空間における前記光学コードの検知された位置及び前記光学コードの位置に対する前記マーカのパターンの固定位置に基づいて、前記３Ｄ空間における前記マーカのパターンの位置を算出することと、
    前記３Ｄ空間における前記マーカのパターンの算出された位置及び患者の内層の位置に対する前記マーカのパターンの前記画像データにおける固定位置に基づいて、前記３Ｄ空間における前記マーカのパターンの算出された位置を前記画像データ内での前記マーカのパターンの位置と合わせることにより、前記３Ｄ空間における患者の内層の位置を登録することと、
    前記登録に基づいて、患者の実景に投影される前記画像データに基づく患者の内層をリアルタイムで前記ＡＲヘッドセットに表示することと、を含む、方法。
  2. 前記光学コードを患者に貼り付けることは、前記光学コードが印刷されたバンデージを患者の外層に貼り付けることを含む、請求項１に記載の方法。
  3. 前記マーカのパターンを前記光学コードの位置に対する固定位置で患者に貼り付けることは、前記マーカのパターンが前記光学コードの位置に対する固定位置で前記バンデージに貼り付けられることを含む、請求項２に記載の方法。
  4. 前記マーカのパターンは、前記バンデージ内に埋め込まれる、請求項３に記載の方法。
  5. 前記マーカのパターンは、前記光学コードを前記バンデージに印刷するインク内に埋め込まれ、
    前記インクは、前記非光学画像化モダリティが検知可能な材料を含む、請求項３に記載の方法。
  6. 前記非光学画像化モダリティによって検知可能な前記材料は、Ｘ線を透過しない放射線不透過性材料、磁気的可視材料、又は放射性材料である、請求項５に記載の方法。
  7. 前記非光学画像化モダリティは、磁気共鳴画像（ＭＲＩ）モダリティ、コンピュータ断層撮影（ＣＴ）スキャンモダリティ、Ｘ線モダリティ、陽電子放射断層撮影（ＰＥＴ）モダリティ、超音波モダリティ、蛍光モダリティ、赤外線サーモグラフィ（ＩＲＴ）モダリティ、又は単一光子放射コンピュータ断層撮影（ＳＰＥＣＴ）スキャンモダリティを含む、請求項１に記載の方法。
  8. 前記画像データは、２次元（２Ｄ）画像データ、３次元（３Ｄ）画像データ、４次元（４Ｄ）画像データ、又はそれらの組み合わせを含む、請求項１に記載の方法。
  9. 前記光学コードは、線形バーコード、マトリックス２次元（２Ｄ）バーコード、クイックレスポンス（ＱＲ）コード、又はそれらの組み合わせである、請求項１に記載の方法。
  10. 前記光学コードは、該光学コードによって前記患者の医療データにアクセスできるように該患者の医療データにリンクされる、請求項１に記載の方法。
  11. 患者に貼付される光学コードを用いて患者の画像データを患者の実景と位置合わせする方法であって、
    光学センサによって検知可能な光学コードを患者に貼り付けることと、
    非光学画像化モダリティを用いて、患者の内層を含む患者の画像データを捕捉することと、
    拡張現実（ＡＲ）ヘッドセットの光学センサを用いて、患者に貼付された前記光学コード及び３Ｄ空間における前記光学コードの位置を検知することと、
    前記光学コードは、該光学コードによって追加のセキュリティ認証情報なしで患者の医療データにアクセスするように、該患者の医療データにリンクされたセキュリティ認証情報であって、該光学コードに基づいて、前記画像データにアクセスすることと、
    前記ＡＲヘッドセットに、患者の実景に投影される前記画像データに基づく患者の内層をリアルタイムで表示することと、を含む方法。
  12. 前記光学コードを患者に貼り付けることは、前記光学コードを患者の皮膚に印刷することを含む、請求項１１に記載の方法。
  13. 前記光学コードを患者に貼り付けることは、前記光学コードが印刷された衣服を患者に置くことを含む、請求項１１に記載の方法。
  14. 患者に貼付される光学コードを用いて患者の画像データを患者の実景と位置合わせする方法であって、
    光学コードが印刷されかつマーカのパターンが貼り付けられたバンデージであって、前記マーカのパターンはバンデージ上の前記光学コードの位置に対する固定位置を有し、前記光学コードは光学センサによって検知可能であり、前記マーカのパターンは非光学画像化モダリティによって検知可能である、バンデージを患者に貼り付けることと、
    前記非光学画像化モダリティを用いて、患者の内層を含む患者の画像データであって、患者の内層の位置に対する固定位置にあるマーカのパターンをさらに含む画像データを捕捉することと、
    拡張現実（ＡＲ）ヘッドセットの光学センサを用いて、患者に貼付された前記光学コード及び３Ｄ空間における前記光学コードの位置を検知することと、
    前記光学コードに基づいて、前記画像データにアクセスすることと、
    前記３Ｄ空間における前記光学コードの検知された位置及び前記バンデージ上の前記光学コードの位置に対するマーカのパターンの前記バンデージにおける固定位置に基づいて、前記３Ｄ空間における前記マーカのパターンの位置を算出することと、
    前記３Ｄ空間における前記マーカのパターンの算出された位置及び患者の内層の位置に対する前記マーカのパターンの前記画像データにおける固定位置に基づいて、前記３Ｄ空間における前記マーカのパターンの算出された位置を前記画像データ内での前記マーカのパターンの位置と合わせることにより、前記３Ｄ空間における患者の内層の位置を登録することと、
    前記登録に基づいて、患者の実景に投影される前記画像データに基づく患者の内層をリアルタイムで前記ＡＲヘッドセットに表示することと、を含む、方法。
  15. 前記マーカのパターンは、前記光学コードを前記バンデージに印刷するインク内に埋め込まれ、
    前記インクは、Ｘ線を透過しない放射線不透過性材料、磁気的可視材料、又は放射性材料である、請求項１４に記載の方法。
  16. 前記光学コードは、該光学コードによって追加のセキュリティ認証情報なしに前記患者の医療データにアクセスできるように、該患者の医療データにリンクされるセキュリティ認証情報である、請求項１４に記載の方法。
  17. 患者に貼付される光学コードを用いて患者の画像データを患者の実景と位置合わせする装置であって、
    バンデージと、
    バンデージに印刷された光学コードであって、光学センサによって検知可能な光学コードと、
    前記バンデージに貼付されたマーカのパターンと、を含み、
    前記マーカのパターンは前記バンデージ上の前記光学コードの位置に対する前記バンデージ内での固定位置を有し、前記マーカのパターンは、非光学画像化モダリティによって検知可能であり、これにより患者の画像データが非光学画像化モダリティを用いて捕捉される際、前記画像データは患者の内層を含み、前記画像データはさらに患者の内層の位置に対して固定位置にある前記マーカのパターンを含む、装置。
  18. 前記マーカのパターンは、前記光学コードを前記バンデージに印刷するインク内に埋め込まれ、
    前記インクは、前記非光学画像化モダリティが検知可能な材料を含む、請求項１７に記載の装置。
  19. 前記非光学画像化モダリティによって検知可能な前記材料は、Ｘ線を透過しない放射線不透過性材料、磁気的可視材料、又は放射性材料である、請求項１８に記載の装置。
  20. 前記バンデージは、滅菌可能な材料により形成される、請求項１７に記載の装置。
JP2020564105A 2018-05-14 2019-04-30 患者に貼付される光学コードを用いた患者の画像データと患者の実景との位置合わせ Active JP7190145B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022188317A JP2023015398A (ja) 2018-05-14 2022-11-25 患者に貼付される光学コードを用いた患者の画像データと患者の実景との位置合わせ

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/979,283 US10825563B2 (en) 2018-05-14 2018-05-14 Aligning image data of a patient with actual views of the patient using an optical code affixed to the patient
US15/979,283 2018-05-14
PCT/US2019/029966 WO2019221908A1 (en) 2018-05-14 2019-04-30 Aligning image data of a patient with actual views of the patient using an optical code affixed to the patient

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022188317A Division JP2023015398A (ja) 2018-05-14 2022-11-25 患者に貼付される光学コードを用いた患者の画像データと患者の実景との位置合わせ

Publications (2)

Publication Number Publication Date
JP2021523784A true JP2021523784A (ja) 2021-09-09
JP7190145B2 JP7190145B2 (ja) 2022-12-15

Family

ID=68464126

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020564105A Active JP7190145B2 (ja) 2018-05-14 2019-04-30 患者に貼付される光学コードを用いた患者の画像データと患者の実景との位置合わせ
JP2022188317A Pending JP2023015398A (ja) 2018-05-14 2022-11-25 患者に貼付される光学コードを用いた患者の画像データと患者の実景との位置合わせ

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022188317A Pending JP2023015398A (ja) 2018-05-14 2022-11-25 患者に貼付される光学コードを用いた患者の画像データと患者の実景との位置合わせ

Country Status (6)

Country Link
US (1) US10825563B2 (ja)
EP (1) EP3793434A4 (ja)
JP (2) JP7190145B2 (ja)
KR (2) KR20230116969A (ja)
CN (1) CN112261906A (ja)
WO (1) WO2019221908A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2955481B1 (fr) 2010-01-27 2013-06-14 Tornier Sa Dispositif et procede de caracterisation glenoidienne d'une omoplate a protheser ou a resurfacer
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
EP3585254B1 (en) 2017-02-24 2024-03-20 Masimo Corporation Medical device cable and method of sharing data between connected medical devices
WO2018156809A1 (en) * 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
US10932705B2 (en) 2017-05-08 2021-03-02 Masimo Corporation System for displaying and controlling medical monitoring data
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
WO2019245862A1 (en) 2018-06-19 2019-12-26 Tornier, Inc. Visualization of intraoperatively modified surgical plans
US11804679B2 (en) 2018-09-07 2023-10-31 Cilag Gmbh International Flexible hand-switch circuit
US11923084B2 (en) 2018-09-07 2024-03-05 Cilag Gmbh International First and second communication protocol arrangement for driving primary and secondary devices through a single port
US11350978B2 (en) 2018-09-07 2022-06-07 Cilag Gmbh International Flexible neutral electrode
US11287874B2 (en) 2018-11-17 2022-03-29 Novarad Corporation Using optical codes with augmented reality displays
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11139071B2 (en) * 2018-12-31 2021-10-05 Cerner Innovation, Inc. Virtual augmentation of clinical care environments
WO2020185556A1 (en) * 2019-03-08 2020-09-17 Musara Mubayiwa Cornelious Adaptive interactive medical training program with virtual patients
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
USD939545S1 (en) 2019-09-05 2021-12-28 Cilag Gmbh International Display panel or portion thereof with graphical user interface for energy module
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11237627B2 (en) * 2020-01-16 2022-02-01 Novarad Corporation Alignment of medical images in augmented reality displays
DE102020201070A1 (de) * 2020-01-29 2021-07-29 Siemens Healthcare Gmbh Darstellungsvorrichtung
CN115087408A (zh) 2020-02-07 2022-09-20 史密夫和内修有限公司 用于手术环境中的光学跟踪和表面采集的方法及其装置
US11583345B2 (en) * 2020-04-24 2023-02-21 Smith & Nephew, Inc. Optical tracking device with built-in structured light module
KR102273276B1 (ko) * 2020-07-03 2021-07-06 한국과학기술원 실시간 동작 분석 방법 및 이를 수행하는 장치
US12016633B2 (en) 2020-12-30 2024-06-25 Novarad Corporation Alignment of medical images in augmented reality displays
US12004824B2 (en) 2021-03-30 2024-06-11 Cilag Gmbh International Architecture for modular energy system
US11950860B2 (en) 2021-03-30 2024-04-09 Cilag Gmbh International User interface mitigation techniques for modular energy systems
US11980411B2 (en) 2021-03-30 2024-05-14 Cilag Gmbh International Header for modular energy system
US11857252B2 (en) 2021-03-30 2024-01-02 Cilag Gmbh International Bezel with light blocking features for modular energy system
US11968776B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for mechanical packaging for modular energy system
US11978554B2 (en) 2021-03-30 2024-05-07 Cilag Gmbh International Radio frequency identification token for wireless surgical instruments
US11963727B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for system architecture for modular energy system
US20220331047A1 (en) * 2021-04-14 2022-10-20 Cilag Gmbh International Method for intraoperative display for surgical systems
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US11948265B2 (en) * 2021-11-27 2024-04-02 Novarad Corporation Image data set alignment for an AR headset using anatomic structures and data fitting
SE2250262A1 (en) * 2022-02-25 2023-08-26 Navari Surgical Ab Marker unit for use in ar aided surgery
CN117017232A (zh) * 2023-10-07 2023-11-10 牛尾医疗科技（苏州）有限公司 结合ar和固有荧光的辅助诊断系统、介质和设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008125719A (ja) * 2006-11-20 2008-06-05 Shimadzu Corp 被検体用検査衣
JP2015185566A (ja) * 2014-03-20 2015-10-22 株式会社東芝 超電導コイルならびにその製造方法および製造装置
JP2015188566A (ja) * 2014-03-28 2015-11-02 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
JP2016077574A (ja) * 2014-10-17 2016-05-16 学校法人 埼玉医科大学 識別標識体と、識別標識体を用いた拡張現実技術による医療支援システム
US20160234194A1 (en) * 2013-09-17 2016-08-11 Giesecke & Devrient Gmbh 2fa authentication with qr on hmd
JP2016152474A (ja) * 2015-02-17 2016-08-22 コニカミノルタ株式会社 画像処理システム、画像処理装置、および画像形成装置
JP2016202351A (ja) * 2015-04-17 2016-12-08 健司 三木 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム
JP2017221267A (ja) * 2016-06-13 2017-12-21 オオクマ電子株式会社 患者取違防止システム
US9892564B1 (en) * 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
US20180092698A1 (en) * 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use
US20180125584A1 (en) * 2016-03-12 2018-05-10 Philipp K. Lang Novel guidance for surgical interventions

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5075787A (en) * 1989-09-14 1991-12-24 Eastman Kodak Company Reproduction apparatus and method with alphanumeric character-coded highlighting for selective editing
US6675040B1 (en) 1991-01-28 2004-01-06 Sherwood Services Ag Optical object tracking system
US20130267838A1 (en) 2012-04-09 2013-10-10 Board Of Regents, The University Of Texas System Augmented Reality System for Use in Medical Procedures
US10037821B2 (en) * 2013-12-27 2018-07-31 General Electric Company System for integrated protocol and decision support
US20160324580A1 (en) * 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
US10078917B1 (en) * 2015-06-26 2018-09-18 Lucasfilm Entertainment Company Ltd. Augmented reality simulation
US10788791B2 (en) * 2016-02-22 2020-09-29 Real View Imaging Ltd. Method and system for displaying holographic images within a real object

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008125719A (ja) * 2006-11-20 2008-06-05 Shimadzu Corp 被検体用検査衣
US20160234194A1 (en) * 2013-09-17 2016-08-11 Giesecke & Devrient Gmbh 2fa authentication with qr on hmd
JP2015185566A (ja) * 2014-03-20 2015-10-22 株式会社東芝 超電導コイルならびにその製造方法および製造装置
JP2015188566A (ja) * 2014-03-28 2015-11-02 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
JP2016077574A (ja) * 2014-10-17 2016-05-16 学校法人 埼玉医科大学 識別標識体と、識別標識体を用いた拡張現実技術による医療支援システム
JP2016152474A (ja) * 2015-02-17 2016-08-22 コニカミノルタ株式会社 画像処理システム、画像処理装置、および画像形成装置
JP2016202351A (ja) * 2015-04-17 2016-12-08 健司 三木 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム
US20180125584A1 (en) * 2016-03-12 2018-05-10 Philipp K. Lang Novel guidance for surgical interventions
JP2017221267A (ja) * 2016-06-13 2017-12-21 オオクマ電子株式会社 患者取違防止システム
US20180092698A1 (en) * 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use
US9892564B1 (en) * 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
JP2020516003A (ja) * 2017-03-30 2020-05-28 ノバラッド コーポレイションＮｏｖａｒａｄ Ｃｏｒｐｏｒａｔｉｏｎ 三次元データによる患者のリアルタイムビューの拡張

Also Published As

Publication number Publication date
EP3793434A4 (en) 2022-03-23
US20210057080A1 (en) 2021-02-25
CN112261906A (zh) 2021-01-22
KR102562252B1 (ko) 2023-08-02
JP2023015398A (ja) 2023-01-31
US20190348169A1 (en) 2019-11-14
KR20230116969A (ko) 2023-08-04
EP3793434A1 (en) 2021-03-24
US10825563B2 (en) 2020-11-03
KR20210016378A (ko) 2021-02-15
JP7190145B2 (ja) 2022-12-15
WO2019221908A1 (en) 2019-11-21

Similar Documents

Publication Publication Date Title
JP7190145B2 (ja) 患者に貼付される光学コードを用いた患者の画像データと患者の実景との位置合わせ
US11481987B2 (en) Augmenting real-time views of a patient with three-dimensional data
US20220405935A1 (en) Augmented reality patient positioning using an atlas
JP6987893B2 (ja) 診断試験をリアルタイムの治療に統合する汎用デバイスおよび方法
JP6334821B2 (ja) 医用イメージングのために患者をポジショニングするためのガイドシステム
JP2022507622A (ja) 拡張現実ディスプレイでの光学コードの使用
WO2019110135A1 (en) Augmented reality assistance in medical procedure preparation
CN108430376A (zh) 提供投影数据集
JP2016168078A (ja) 医用観察支援システム及び臓器の３次元模型
US12033741B2 (en) Aligning image data of a patient with actual views of the patient using an optical code affixed to the patient
KR20140128137A (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법
US20230169696A1 (en) Transfer of Alignment Accuracy Between Visible Markers Used with Augmented Reality Displays
KR101529659B1 (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법
KR20140128136A (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201211

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220927

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221125

R150 Certificate of patent or registration of utility model

Ref document number: 7190145

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150