JP2023008873A - 整形外科手術のための骨又は軟組織異常の評価を支援するために三次元画像再構成を使用するシステム及び方法 - Google Patents

整形外科手術のための骨又は軟組織異常の評価を支援するために三次元画像再構成を使用するシステム及び方法 Download PDF

Info

Publication number
JP2023008873A
JP2023008873A JP2022103227A JP2022103227A JP2023008873A JP 2023008873 A JP2023008873 A JP 2023008873A JP 2022103227 A JP2022103227 A JP 2022103227A JP 2022103227 A JP2022103227 A JP 2022103227A JP 2023008873 A JP2023008873 A JP 2023008873A
Authority
JP
Japan
Prior art keywords
bone
model
image
radiographic
radiographic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022103227A
Other languages
English (en)
Inventor
ロバート ハリス ジュニア ブライアン
R Harris Brian Jr
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microport Orthopedics Holdings Inc
Original Assignee
Microport Orthopedics Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microport Orthopedics Holdings Inc filed Critical Microport Orthopedics Holdings Inc
Publication of JP2023008873A publication Critical patent/JP2023008873A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/58Testing, adjusting or calibrating thereof
    • A61B6/582Calibration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02Prostheses implantable into the body
    • A61F2/30Joints
    • A61F2/32Joints for the hip
    • A61F2/36Femoral heads ; Femoral endoprostheses
    • A61F2/3609Femoral heads or necks; Connections of endoprosthetic heads or necks to endoprosthetic femoral shafts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02Prostheses implantable into the body
    • A61F2/30Joints
    • A61F2/46Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor
    • A61F2/468Testing instruments for artificial joints
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B29WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29CSHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/30Auxiliary operations or equipment
    • B29C64/386Data acquisition or data processing for additive manufacturing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B33ADDITIVE MANUFACTURING TECHNOLOGY
    • B33YADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y50/00Data acquisition or data processing for additive manufacturing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/14Surgical saws ; Accessories therefor
    • A61B17/15Guides therefor
    • A61B17/154Guides therefor for preparing bone for knee prosthesis
    • A61B17/155Cutting femur
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681Aspects not otherwise provided for
    • A61B2017/00707Dummies, phantoms; Devices simulating patient or parts of patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108Computer aided selection or customisation of medical implants or cutting guides
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2048Tracking techniques using an accelerometer or inertia sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/376Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02Prostheses implantable into the body
    • A61F2/30Joints
    • A61F2/46Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor
    • A61F2002/4632Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor using computer-controlled surgery, e.g. robotic surgery
    • A61F2002/4633Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor using computer-controlled surgery, e.g. robotic surgery for selection of endoprosthetic joints or for pre-operative planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B29WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29KINDEXING SCHEME ASSOCIATED WITH SUBCLASSES B29B, B29C OR B29D, RELATING TO MOULDING MATERIALS OR TO MATERIALS FOR MOULDS, REINFORCEMENTS, FILLERS OR PREFORMED PARTS, e.g. INSERTS
    • B29K2077/00Use of PA, i.e. polyamides, e.g. polyesteramides or derivatives thereof, as moulding material
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B29WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29LINDEXING SCHEME ASSOCIATED WITH SUBCLASS B29C, RELATING TO PARTICULAR ARTICLES
    • B29L2031/00Other particular articles
    • B29L2031/40Test specimens ; Models, e.g. model cars ; Probes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B33ADDITIVE MANUFACTURING TECHNOLOGY
    • B33YADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y80/00Products made by additive manufacturing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0475Generative networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/094Adversarial learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/096Transfer learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/44Morphing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/033Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Optics & Photonics (AREA)
  • Robotics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Materials Engineering (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Transplantation (AREA)
  • Manufacturing & Machinery (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)

Abstract

【課題】整形外科手術を計画及び実行するときに、骨異常及び他の生理学を正確にモデル化するための術前及び術中撮像技術を増強するシステム及び方法を提供する。【解決手段】発症前関節のアラインメントのために外部骨量減少を計算するためのシステム及び方法であって、少なくとも2つの二次元(「2D」)放射線画像から手術領域の三次元(「3D」)コンピュータモデルを生成することであって、少なくとも第1の放射線画像は第1の位置でキャプチャされ、少なくとも第2の放射線画像は第2の位置でキャプチャされ、第1の位置は第2の位置とは異なる、ことと、3Dコンピュータモデル上の骨量減少の領域を識別することと、表面調整アルゴリズムを適用して、骨量減少の領域に適合する外部欠損骨表面を計算する。【選択図】図3

Description

(関連出願の参照)
本出願は、2021年7月1日に出願された米国仮特許出願第63/217,567号の利益を主張する。この関連出願の開示は、その全体が本開示に組み込まれる。
(発明の分野)
本開示は、概して、整形外科関節置換手術の分野に関し、より具体的には、整形外科手術を計画及び実行する外科医及び技術者を支援するために写真測量及び三次元再構成技術を使用することに関する。
関節置換手術の新たな目的は、発症前の関節の自然なアラインメント及び回転軸(単数又は複数)を復元することである。しかしながら、この目的は、関節が関節接合骨だけでなく、軟骨、靭帯、筋肉、及び腱を含む補助的な支持骨及び様々な軟組織を含むため、実際に達成することが困難であり得る。従来、外科医は、自然なアラインメントを完全に復元することを回避するか、又は集団の試料から導出された平均に基づいてアラインメント角度及び他の寸法を推定していた。しかしながら、これらの平均には、患者が変形性関節症のような慢性骨変形疾患に罹患しているときは特に、特定の患者の解剖学的構造の自然な変動が考慮されないことが多かった。
この問題に対処する試みにおいて、一部の医療供給者は、患者の内部の解剖学的構造を調査して整形外科手術を計画するのを助けるために、コンピュータ断層撮影(computed tomography、「CT」)スキャン及び磁気共鳴像(magnetic resonance imaging、「MRI」)技術を使用し始めた。これらのCTスキャン及びMRIからのデータは、デジタル形式で三次元(「3D」)モデルを作製するために更に使用されてきた。これらのモデルは、該手術のために患者固有のインプラント及び器具を設計し、製造するために、専門家に送信され得る。積層造形技術(例えば、3D印刷)及び他の従来の製造技術が、患者の特定の解剖学的構造に適合する物理的インプラント又は器具を造るために使用され得る。
しかしながら、CTスキャン及びMRIを取得することは、複雑で時間がかかり、効果であり得る。CTスキャンはまた、患者が、それ以外に従来の放射線撮影又は超音波などの他の非侵襲的撮像技術を使用して受け得るよりも、セッションごとにより高いレベルの放射線に患者を被曝させる傾向がある。更に、スケジュールを考慮して、実際の手術の1か月以上前にCTスキャン又はMRIによる調査を行う場合もある。この遅延は、整形外科処置を外来患者用の通院外科診療所(ambulatory surgical center、「ASC」)に徐々に移していく傾向によって悪化する可能性がある。ASCは、多くの場合は、高価なオンサイトCTスキャナ及びMRI機のない小規模な施設である傾向がある。このため、患者は、病院での調査予約をスケジュールすることが強いられることが多い。
調査予約と手術との間の時間の増加は、患者の骨組織及び軟組織の解剖学的構造が、通常の使用下で又は病気の進行によって更に悪化又は変化するリスクを高める。更なる悪化は、患者の更なる不快感を引き起こすだけでなく、外科チームにとって調査データの有用性に悪影響を及ぼすことにもなり得る。これは、古くなったデータから作製された患者固有のインプラント、及び発症前の関節の自然なアラインメントに基づいた可動域の復元を目指す外科技術で特に問題となり得る。更に、術前調査予約と手術との間の時間の増加は、外因性事象がデータに悪影響を及ぼす可能性を高める。例えば、計画された手術領域で脱臼又は骨折する事故は、通常、事前の調査データの有用性を損なわせる。そのようなリスクは、特に活発又は特に虚弱な個体において高まり得る。
更に、全ての患者が、患者固有のインプラント又は器具を作製するためにCTスキャン又はMRIにアクセスできるわけではない。これは、データを取得し、データを医療用装置設計専門家に送信し、所望の解剖学的構造の3Dモデルを生成し、データ又はモデルに基づいて患者固有の器具又はインプラント設計を作製し、患者固有の器具又はインプラントを製造し、該患者固有の器具又はインプラントを外科診療所に出荷及び輸送し、処置の前に該器具又はインプラントを滅菌するために必要な時間量に部分的に起因し得る。また、患者の医療保険及び疾患の種類に応じて利用できない場合がある。
患者の軟骨及び骨量減少の正確な量を知ることは、発症前の関節の自然な可動域の復元を目指す手術において有用であり得る。例としては、主要な膝置換手術(典型的には「人工膝関節置換術(total knee arthroplasty)」又は「TKA」と呼ばれる)、人工股関節置換術(total hip arthroplasty)「THA」、及び大腿骨寛骨臼インピンジメント(femoroacetabuar impingements、「FAI」)の原因の緩和を目指す処置が挙げられる。
一例として膝関節及びTKA処置を使用する:正常な膝関節は、概して、頚骨の機械的内外(medial-lateral、「ML」)線に対して約2度(「°」)~3°内反である関節線(より具体的には、「屈伸(flexion-extension、「FE」)回転軸)を有する。解剖学的アラインメントのTKA処置では、外科医は一般に、大腿骨のML線に対して約3°外反で患者の遠位大腿骨顆の一部分を切除し、次いで頚骨の長手方向軸に垂直な頚骨を切除し、これにより、頚骨ML線の約2°~3°内反が切除される。次いで、外科医は、人工関節の構成要素を切除された領域に配置して試験し、患者の可動域を評価し、次いで必要に応じて調整する。
しかしながら、全ての患者の生理学はわずかに異なる。この理由から、及び調査データを取り巻く外因性変動のため、多くのTKA外科医は、より患者に特化した運動学的アラインメントアプローチを選び、患者の発症前の関節線を術中に特定することを意図したツール及び処置を使用する。これらのツールは、摩耗していない又は摩耗の少ない大腿骨顆の硝子関節軟骨の厚さを測定する傾向がある。そのようなツールは、ツールの測定端部に関連付けられた厚さ計を有する傾向がある。ツールの測定端部は、通常、測定端部の先端が下にある骨に到達するまで、摩耗の少ない顆の軟骨の最も厚い領域に挿入される。次いで、外科医は、厚さ計を使用して、残りの軟骨の量を測定し、記録する。次いで、外科医は、この測定値を、摩耗した顆における軟骨摩耗の量の近似値として使用する。
しかしながら、この技術にはいくつかの制限がある。第1に、摩耗の少ない顆は、正確な測定を行うための残りの軟骨が不十分である可能性がある。第2に、摩耗の少ない顆に十分な関節軟骨が存在する場合でも、この軟骨測定技術は、摩耗した顆で発生する骨量減少を考慮しない。この問題は、隣接する顆に残りの軟骨がほとんど又は全くない場合に更に深刻になり得る。その結果、既存の術中技術を使用して、全ての運動学的アラインメントTKAで軟骨及び骨の両方の正確な減少量を確実に計測することができず、したがって、これらの技術は、正確な術前データの問題及び利用可能性と相まって、人工関節線と自然な発症前の関節線との正確なアラインメントを危険にさらす可能性がある。度重なる研究は、発症前の関節の自然回転軸を変える人工関節が、機能不良、早期のインプラント摩耗、及び患者の不満の原因となる傾向があることを示している。
米国特許出願第16/258,340号
したがって、整形外科手術を計画及び実行するときに、骨異常及び他の生理学を正確にモデル化するための術前及び術中撮像技術を増強するという、長い間抱えられるも未解決の必要性が存在している。
従来の術前CT及びMRI撮像技術への限定的なアクセスの問題、術前撮像と外科手術の時間との間の骨及び軟骨の悪化によるデータ精度の問題、並びに現在利用可能な術中ツール及び技術の使用から生じる発症前の骨又は関節の自然関節線を決定することの制限についての問題は、骨異常の程度を計算するためのシステム及び/又は方法によって軽減され、該システム及び/又は該方法は、深層学習ネットワークを使用して、対象整形外科要素の少なくとも2つの別個の二次元(「2D」)入力画像の入力から骨異常の領域を識別することであって、少なくとも2つの別個の2D入力画像のうちの第1の画像は、第1の横方向位置からキャプチャされ、少なくとも2つの別個の2D入力画像のうちの第2の画像は、第1の横方向位置からオフセット角度だけオフセットされた第2の横方向位置からキャプチャされる、ことと、補正領域を計算することであって、補正領域は骨異常の領域を除去する、ことと、を含む。
特定の例示的な実施形態では、第1及び第2の入力画像は、放射線入力画像であり得ることが企図される。理論に束縛されるものではないが、放射線写真は、手術領域のインビボ分析を可能にし、靭帯拘束、耐荷重力、及び筋肉活動の影響を含む、手術領域の周りに生じる受動的な軟組織構造及び動的外力の外的合計を考慮し得ることが企図される。
本開示による特定の実施形態は、手術領域の軟骨及び骨解剖学的構造から導出されたデータ、並びに/又は手術領域の軟組織構造から導出されたデータから、患者固有の手術計画、インプラント、及び器具を作製するために使用され得ることが企図される。
上記は、添付の図面に示されるように、本開示の例示的な実施形態についての、以下に示すより具体的な説明から明らかになるであろう。図面は必ずしも縮尺どおりではなく、代わりに開示される実施形態を示すことに重点が置かれている。
内側及び外側大腿骨顆における負の骨異常(すなわち、骨量減少)の領域を示す、簡略化された左膝関節の前面図である。 外側大腿骨顆上の摩耗した骨の露出表面上に配置される、負の骨異常を通って延在する調整パッドを有する大腿切除ガイド位置決め器具の側面図である。 負の骨異常を補正する外部欠損骨表面を計算するための表面調整アルゴリズムの適用を視覚的に表す簡略化された左膝関節の前面図である。 外側大腿骨顆上の計算された外部欠損骨表面に延在する調整パッドを有する大腿切除ガイド位置決め器具の側面図である。 屈曲に配向された簡略化された遠位大腿骨の斜視図である。後顆切除ガイド位置決め器具は、大腿骨顆の後方部分に配置される。 大腿骨切除ガイド位置決め器具に取り付けられた大腿骨切除ガイドの斜視図である。 軟骨厚さ計の側面図である。 例示的な方法の工程を示すフロー図である。 例示的な較正用治具を示すA-P位置から取られた対象整形外科要素の画像である。 例示的な較正用治具を示すM-L位置から取られた図8Aの対象整形外科要素の画像である。 エピポーラ幾何の原理を使用して、較正された画像検出器の異なる基準フレームから取られた2つの2D画像から3D空間のある点の位置が確認され得る仕組みを伝えるために使用される、ピンホールカメラモデルの概略図である。 深層学習ネットワークを使用して、骨異常を含む対象整形外科要素の特徴(例えば、その解剖学的ランドマーク)を識別し、対象整形外科要素の3Dモデルを生成するシステムの概略図である。 大腿骨の遠位態様及び識別された負の骨異常の逆体積の2つの3D再構成モデルの概略斜視図である。 別の例示的な方法の工程を示すフロー図である。 更に別の例示的な方法の工程を示すフロー図である。 なお更に別の例示的な方法の工程を示すフロー図である。 骨異常の物理モデルを生成するように構成されたシステムの概略図であり、物理モデルは、較正された検出器から同じ対象整形外科要素についてオフセット角度で撮影された、2つ以上の、組織を貫通する平坦化された入力画像を使用することから導出される。 CNNタイプの深層学習ネットワークを使用して、対象整形外科要素の骨異常を含む特徴(例えば、解剖学的ランドマーク)が識別され得る仕組みを示す概略図である。 例示的なシステムの概略図である。
好ましい実施形態の以下の詳細な説明は、理解を助ける説明目的でのみ提示されており、網羅的であること、又は本発明の範囲及び趣旨を限定することを意図するものではない。実施形態は、本発明の原理及びその実用的な用途を最もよく説明するために選択及び記載されている。当業者は、本発明の範囲及び趣旨から逸脱することなく、本明細書に開示される本発明に多くの変形がなされ得ることを認識するであろう。
特に明記しない限り、同様の参照符号は、いくつかの図を通して対応する部分を示す。図面は、本開示による様々な特徴及び構成要素の実施形態を表すが、図面は必ずしも縮尺どおりではなく、特定の特徴は、本開示の実施形態をよりよく説明するために誇張されている場合があり、そのような例示は、本開示の範囲を限定するものとして解釈されるべきではない。
本明細書で別途明示的に述べられたものを除いて、以下の解釈の規則が本明細書に適用される。(a)本明細書で使用される全ての語は、かかる状況で必要とされるかかる性別又は数(単数又は複数)であると解釈されるものとする。(b)本明細書及び添付の特許請求の範囲で使用される単数形の用語「a」、「an」、及び「the」は、文脈上明らかにそうでない場合を除き、複数形の参照を含む。(c)列挙された範囲又は値に適用される先行詞「約」は、当該技術分野において既知の、又は測定から予想される範囲又は値の偏差を有する近似値を示す。(d)特に明記しない限り、「本明細書に(herein、hereby、hereto)」、「前述の(hereinbefore)」、及び「後述の(hereinafter)」という語、及び類似する意味の語は、何らかの特定の段落、請求項、又は他の細目を指すのではなく、本明細書全体を指すものである。(e)説明見出しはあくまでも便宜上のものであり、本明細書の一部の構成の意味を制御するものでも影響を与えるものでもない。(f)「又は」及び「任意の」は排他的ではなく、「含む(include、including)」は限定的ではない。更に、「備える、含む(comprising)」、「有する(having)」、「含む(including)」、及び「収容する、含む(containing)」は、制限のない用語(すなわち、「...を含むがこれに限定されない」を意味する)として解釈されるべきである。
本明細書における「一実施形態(one embodimet、an embodiment)」、「例示的な実施形態」、などの言及は、記載された実施形態が特定の特徴、構造、又は特性を含み得るが、全ての実施形態が必ずしも特定の特徴、構造、又は特性を含み得るものではないことを示している。更に、そのような語句は、必ずしも同じ実施形態を指すものではない。更に、実施形態に関連して特定の特徴、構造、又は特性が記載される場合、明示的に記載されているかどうかにかかわらず、他の実施形態に関連してそのような特徴、構造、又は特性に影響を及ぼすことは当業者の知識の範囲内であることが示唆される。
記述的な支持を提供するのに必要な範囲で、添付の特許請求の範囲の主題及び/又はテキストは、それらの全体が参照により本明細書に組み込まれる。
本明細書における値の範囲の列挙は、本明細書において別途明確に示されない限り、その間の任意の部分範囲の範囲内にあるそれぞれの別個の値を個々に参照する簡単な方法としての役割を果たすことを単に意図する。列挙された範囲内のそれぞれの別個の値は、それぞれの別個の値が本明細書に個々に列挙されているかのように、本明細書又は特許請求の範囲に組み込まれる。特定の範囲の値が提供される場合、その範囲の上限と下限との間の下限の単位の10分の1以下までのそれぞれの介在値と、その部分範囲の記載された範囲内の任意の他の記載値又は介在値とは、文脈が別段明確に指示しない限り、本明細書に含まれることが理解される。全ての部分範囲も含まれる。これらのより小さい範囲の上限及び下限も、記載された範囲内の任意の具体的かつ明示的に除外された制限に従うことを条件として、そこに含まれる。
本明細書で使用される用語のいくつかは相対的な用語であることに留意されたい。例えば、「上部」及び「下部」という用語は、場所的に互いに相対的であり、すなわち、上部構成要素は、それぞれの配向で下部構成要素よりも高位に位置するが、これらの用語は、配向が反転される場合に変わり得る。用語「入口」及び「出口」は、所与の構造に対してそれらを通って流れる流体に対するものであり、例えば、流体は、入口を通って構造に流れ込み、次いで、出口を通って構造から流れ出る。「上流」及び「下流」という用語は、下流構成要素を通って流れる前に、流体が様々な構成要素を通って流れる方向に対するものである。
「水平」及び「垂直」という用語は、絶対基準、すなわち、地表レベルに対する方向を示すために使用される。しかしながら、これらの用語は、互いに絶対的に平行又は絶対的に垂直である構造を必要とすると解釈されるべきではない。例えば、第1の垂直構造及び第2の垂直構造は、必ずしも互いに平行ではない。「上部」及び「下部」又は「基部」という用語は、上部が絶対基準、すなわち、地球の表面に対して、下部又は基部よりも常に高い場所又は表面を指すために使用される。「上向き」及び「下向き」という用語も、絶対基準に対するものである。上向きの流れは、常に地球の重力に対抗する。
本開示を通して、「遠位」、「近位」、「内側」、「外側」、「前方」、及び「後方」などの様々な位置用語は、人体解剖学的構造を指すときに慣習的な方法で使用される。より具体的には、「遠位」は、本体への取り付け点から離れた領域を指し、「近位」は、本体への取り付け点近くの領域を指す。例えば、遠位大腿骨は、頚骨の近くの大腿骨の部分を指し、近位大腿骨は、股関節の近くの大腿骨の部分を指す。「内側」及び「外側」という用語も本質的に反対である。「内側」は、本体の中央寄りに配置されるものを指す。「外側」は、あるものが、本体の中央よりも本体の右側寄り又は左側寄りに配置されることを意味する。「前方」及び「後方」に関して、「前方」は、本体の正面寄りに配置されたものを指す一方、「後方」は、本体の背面寄りに配置されたものを指す。
「内反」及び「外反」は広義の用語であり、限定するものではないが、膝関節に対する内側方向及び/又は外側方向の回転運動を含む。
本明細書で使用される場合、「骨異常」という用語は、外部又は内部の骨量減少の領域、異常な過剰骨(骨増殖体(すなわち、骨棘)など)の領域、又は、周囲の骨の自然領域と不連続である骨の任意の他の領域を指し得ることが理解されよう。
補正領域を計算する目的で骨異常の領域を識別するための全ての方法は、本開示の範囲内にあると見なされ、補正領域は、周囲の骨領域に対する骨異常の領域を除去する。例として、以下の項は、人工膝関節置換術(「TKA」)において、発症前の膝関節の自然関節線及び回転軸を復元するために使用されるシステム及び方法の例示的な実施形態を説明する。
主要TKAを一般的に説明する:外科医は、典型的には、手術する膝の前側又は前内側でのほぼ垂直な膝蓋内側切開を行うことによって外科手術を開始する。外科医は、続けて脂肪組織を切開して、関節包を露出させる。次いで、外科医は、関節包に穿孔するために、内側膝蓋関節切開術を実行し得る。次いで開創器を使用して、膝蓋をほぼ外側に移動して大腿骨の遠位顆(103及び107、図1を参照されたい)と、近位頚骨プラトー上に静止している軟骨性半月板(一般的に、112、図1を参照されたい)とを露出させ得る。次いで、外科医は、半月板を取り外し、測定器具類を使用して、試験的インプラントを適応させるために遠位大腿骨105及び近位頚骨110を測定し、切除する。試験的インプラントは、実際の内部プロテーゼの同じ機能的寸法を一般的に有する試験用の内部プロテーゼであるが、試験的インプラントは、実際の内部プロテーゼの適合を評価する目的で、及び膝関節を運動学に評価する目的で、一時的に付け外しされるように設計されている。試験的インプラント及び実際の内部プロテーゼインプラントは、いったん取り付けられると、一般にこれらの切除部に隣接して配置される。したがって、これらの大腿骨及び頚骨切除の位置及び配向は、試験的インプラント及び実際の内部プロテーゼインプラント、延いては再構成された関節線の位置及び配向に大きく影響する。
次いで、この頚骨切除が実行される。いったん切除されると、頚骨の切除された領域は、「頚骨プラトー」として認識され得る。次に、外科医は、切除された近位頚骨プラトー上に試験的頚骨構成要素を配置し得る。外科医は一般に、試験的大腿骨構成要素を取り付ける目的で、異なる器具類を使用して遠位大腿骨顆を測定し、切除する。試験的構成要素が適切に着座していない場合、外科医は更なる器具類を使用して、所望の着座が達成されるまで大腿骨顆及び/又は頚骨プラトーを測定し、切除する。
次いで、外科医は、一般に、試験的頚骨トレイと試験的大腿骨構成要素との間に試験的半月板インサートを挿入して、試験的インプラントで膝の屈伸、全体的な安定性、及びの膝蓋骨トラッキングを試験する。試験的な運動特性が満たされると、外科医は、必要に応じて、骨セメントを使用して内部プロテーゼインプラントの実際の頚骨及び大腿骨構成要素を恒久的に取り付けるか、又はプレスフィットインプラントを使用して骨セメントの使用を回避し得る。
最新のアラインメント思想は、運動学的アラインメント原理である。運動学的アラインメント原理は、全ての患者の生理学がわずかに異なることを認識し、手術生理学の実際の測定を行って、自然関節線の位置を確認することによって、患者の発症前の自然な関節線の復元を目指す。いったんこれらの測定値が分かると、次いで、旋回式大腿骨切除ガイドロケータ400(図2、図4、及び図6)又は切除ガイド424(図6)などのツールが露出した骨の上に配置される。切除ガイド424は、露出した骨を補完するためにカスタム化されてもよく、又は切除ガイド424は、大腿骨切除ガイドロケータ400に選択的にロックすることができる。これらの大腿骨切除ガイドロケータ400は、外科医が、患者の特定の測定に基づいて、露出した骨に対する切除ガイド424の配向を調整することができる、調整可能な位置決め機構(440を参照されたい)を有し得る。切除ガイド424が所望の配向に設定されると、切除ガイド424は、次いで、骨に一時的に固定される。次いで、外科医は、所望の切除面で下にある(undying)骨を切除するために、配向された切除ガイド424の切除スロット455に外科用鋸を挿入する。大腿骨及び頚骨切除の位置及び配向は、試験的インプラント及び実際の内部プロテーゼインプラントの配向に大きく影響するため、切除ガイド424の位置及び配向が、再構成された関節の回転軸の位置及び配向をほぼ決定する。
本明細書に記載の方法及びシステムは、運動学的アラインメントに特に有用であり得ることが企図されるが、本開示においては、本明細書に記載のシステム及び方法の使用を運動学的アラインメントに限定するものはない。例として、本明細書に記載されるシステム及び方法は、存在する骨異常がアラインメント器具の位置決めに影響を及ぼすという条件で、解剖学的アラインメント、機械的アラインメント、又は任意の他のアラインメント方法と共に使用され得る(切除ガイドロケータ400及びアラインメントガイド600を参照されたい)。更に、本開示において、膝関節に使用するために本明細書に記載の例示的なシステム及び方法を限定するものはない。外科医が骨又は軟組織異常の術前又は術中の知識を有することが望ましい任意の整形外科手術は、本開示の範囲内であると見なされる。そのような整形外科手術の例としては、股関節形成術、及び大腿骨寛骨臼インピンジメントの原因の緩和を目指す処置が挙げられるが、これらに限定されない。
図1は、簡略化された左膝関節(すなわち、例示的な手術領域170における対象整形外科要素100の例示的な集合)の前面図である。図1~図5を参照して説明される例は、説明のための例示的な膝関節に関する。本開示全体を通して参照される「整形外科要素」100は、膝関節の解剖学的構造に限定されないが、腱、靭帯、軟骨、及び筋肉などの任意の骨格構造及び関連する軟組織を含み得ることが理解されよう。例示的な整形外科要素100の非限定的なリストは、大腿骨、頚骨、骨盤、椎骨、上腕骨、尺骨、橈骨、肩甲骨、頭蓋骨、腓骨、鎖骨、下顎骨、肋骨、手根骨、中手骨、中足骨、指骨、又は任意の関連する腱、靭帯、皮膚、軟骨、又は筋肉を含むがこれらに限定されない、身体の任意の部分的な骨又は完全な骨を含む。例示的な手術領域170は、いくつかの対象整形外科要素100を含み得ることが理解されよう。
図1に示される例示的な整形外科要素100は、大腿骨105の遠位態様、頚骨110の近位態様、腓骨11の近位態様、内側側副靭帯(medial collateral ligament、「MCL」)113、外側側副靭帯(lateral collateral ligament、「LCL」)122、及び大腿骨遠位顆107、103にわたって配置された関節軟骨123である。骨異常の領域(一般に、115)は、大腿骨遠位顆107、103の上に示されている。骨異常の内側領域115aは、内側顆107内に示され、骨異常の外側領域115bは、大腿骨105の外側顆103(集合的に「遠位大腿骨顆」)内に示されている。図1では、骨異常の領域115a、115bは「負の骨異常」、すなわち、骨量減少の領域である。図1は、頚骨110の近位態様の脛骨プラトー112上に配置された大腿骨105の遠位態様の内側顆107及び外側顆103を示す。内側Mでは、MCL113が遠位大腿骨105を近位頚骨110に係合させている。同様に、外側Lでは、LCL122が遠位大腿骨105を大腿骨111に係合させている。大腿頚骨の間隙120が、遠位大腿骨105を頚骨プラトー112から分離している。ヒアリン関節軟骨123は、遠位大腿骨105上の骨異常の領域115a、115bの周りに示されている。
自然な発症前の関節線の位置は、大腿骨顆107、103上の軟組織(例えば、関節軟骨123)と、下にある骨(例えば、頚骨110)によって支持されるような半月板との間の相互作用によってほぼ設定される。骨異常の領域115a、115b(例えば、図1に示された骨量減少の領域)を含まない場合、発症前の軟骨123の厚さを知ることは、発症前の関節線の場所に密接に近似するために使用され得る。
図7は、例示的な軟骨厚さ計40を示す。図示された厚さ計40は、外科医が器具を保持及び操作するために使用することができる細長いハンドル部分52を含む。肩部62は、シャフト部分60をハンドル部分52に係合させる。シャフト部分60は、近位固体部分63と、遠位中空部分64と、を含む。中空部分64は、測定端部41まで延在する。中空部分64は、ピストン80を受容する。ピストン80は、中空部分64の内部に配置され、ピストン80とシャフト部分60の固体部分63との間に配置されたバネ79に対して付勢される。ピストン80上のマーカー(図示せず)は、シャフト部分60の視認ポータルを通して視認され得る。これらのマーカーは、望ましくは、1ミリメートル(「mm」)増分などの一定の増分で配置される。基準線は、視認ポータルに隣接して配置され得る。同様に、視認ポータルを通して視認可能なマーカーは、基準線に対して移動する。
軟骨摩耗を評価するための全ての方法は、本開示の範囲内にあると見なされる。この例示的な軟骨厚さ計40(図7)及び切除ガイドを使用して運動学的アラインメント技術を実行する1つの例示的な方法は、米国特許出願第16/258,340号に更に記載されている。米国特許出願第16/258,340号の全体は、参照により本明細書に組み込まれる。本出願に開示される方法は、軟骨厚さ計40を使用して、摩耗していない、又は摩耗の少ない大腿骨顆(すなわち、107又は103)に隣接しているヒアリン関節軟骨123(図1)の厚さT(図1)を測定する。軟骨厚さ計40の測定端部41は、測定端部41の先端部86が下にある骨106(図1)に到達するまで、摩耗の少ない顆に隣接する軟骨123の最も厚い領域に挿入される。このように、測定端部41の先端部86を残りの近位軟骨123の最も厚い領域に押し入れて、ピストン80がバネ79を圧縮するようにする。同時に、ピストン80上のマーカーは、基準線に対して移動し、視認ポータルを通して視認可能であり、それによって測定端部41の下に配置された軟骨123の厚さを示す。次いで、外科医は、残りの軟骨の量(すなわち、軟骨厚さT)を記録し、この測定値を摩耗した顆における軟骨摩耗の量の近似値として使用する。このプロセスは、望ましくは、それぞれの遠位大腿骨顆103、107及びそれぞれの後大腿骨顆(107a、103a、図5)に対して繰り返される。
軟骨123の厚さを評価するための異なる例として、外科医又は技術者は、術中プローブを使用して、軟組織の場所及び物理的特性、例えば、軟組織の弾性及び密度をマッピングすることができる。システムは、このデータを使用して、顆にわたる軟骨摩耗の量を計算し得る。
ここで図2を参照すると、遠位大腿骨105の露出後の任意の時点で、外科医は、遠位大腿骨105のほぼ中央に骨髄内管を穿孔し、次いで、空にした骨髄内管に骨髄内ロッド420(図6も参照されたい)を入れて、遠位大腿骨105に対して参照用器具類を選択的に配置するための土台を提供し得る。骨髄内ロッド420がしっかり着座すると、旋回式大腿骨切除ガイドロケータ400の安定部分451が骨髄内ロッド420へと摺動され得、その結果、調整パッド440A、440Bが、内側遠位大腿骨顆107及び外側遠位大腿骨顆103にそれぞれ隣接して配置される。
安定部分451は、骨髄内ロッドホルダー部材、又は旋回する本体部分412に対して固定位置に固定されるように構成された他の装置であり得る。本体部分412は、安定部分451に対して旋回するように構成されている。ピン411(図6)は、安定部分451及び本体部分412内でそれぞれ位置合わせされた環状穴に密着して配置され得、このようにして、旋回式大腿骨切除ガイドロケータ400の本体部分412は、安定部分451に対して「旋回するように構成されている」と言うことができ、又は安定部分451と「旋回関係」にあると言うことができる。
次いで、調整パッド440A、440B(図6)は、切除ガイドロケータ400の遠位基準面485から延在して、大腿骨顆103、107に接触する。基準面485に対するそれぞれの調整パッド440の長さlは、望ましくは、それぞれの顆の関連する隣接したヒアリン関節軟骨123の厚さTの測定値と同じ長さlである。
例えば、内側Mに2mm、外側Lに0mmの軟骨摩耗が存在する場合、外科医は、内側調整パッド440Aを2mm伸長させる。外科医は、次いで、それぞれの調整パッド440を適切な顆上に配置する。この例では、外側調整パッド440Bは、遠位基準面485とほぼ同一平面に留まる。それによって、骨髄内ロッド420に対する遠位基準面485の位置が切除角度を設定する。次いで、切除ガイド424(図6)は、所望の切断角度で大腿骨105に固定され、大腿骨切除ガイドロケータ400が取り外され、外科医は、所望の切除角度で切除スロット455を通して遠位大腿骨顆103、107を切除する。
しかしながら、これらの調整は、存在する軟骨摩耗のみを考慮する。この調整では、摩耗した顆(例えば、外側顆103、又は内側顆107)に生じ得る骨量減少などの骨異常の領域115a、115bは考慮されない。調整パッド440A、440Bは、典型的には、軟骨厚さ計40の測定値に基づいて設定される。患者が著しい骨量減少を患っている場合、又は著しい骨増殖体(一般に「骨棘」と称される)が存在する場合、大腿骨切除ガイドロケータ400の遠位基準面485の位置は、発症前の関節面の正確な場所に配置されない。更に、外科医が調整パッド440を骨の残りの領域まで伸長させると(図2に示されるように)、発症前の骨が終わる場所及び関節軟骨123が始まる場所を正確に知ることができない。したがって、軟骨摩耗の量が、隣接する摩耗のない軟骨123の最も厚い領域を測定することによって合理的に近似され得る場合であっても、欠損骨の深さを正確に知ることは不可能である。したがって、著しい骨量減少の領域を有する顆に接触するための調整パッド440のいかなる調整も(延いては、遠位基準面485及び切除ガイド424の位置のいかなる調整も)、最善で発症前の関節面の近似である。この領域における精度不足は、関節の自然な発症前回転軸の配向を計算ミスする危険を伴う。したがって、いずれの推定誤差も、患者の快適さ及びインプラントの耐用年数に悪影響を及ぼし得る。
結果として、米国特許出願第16/258,340号に記載されている旋回式大腿骨切除ガイドロケータ400及び既存の術中技術を使用しても、全てのTKAにおける軟骨及び骨の両方の正確な減少量を確実に計測することはできず、したがって、これらの技術は、正確な術前データの問題及び利用可能性と相まって、自然な発症前の関節線による人工関節線の正確な再構成を損ない得る。
これを例示するため、図2は、外側顆103の摩耗した骨116の露出表面上に配置される骨異常の負の領域115bを通って延在する調整パッド440Bを有する、大腿骨切除ガイドロケータ400の側面図を示す。遠位基準面485に対するパッド調整器440の伸長された長さlは、最初に軟骨厚さ(123を参照されたい)の測定値によって設定され、この測定値は、上述のように、軟骨厚さ計40を使用するか、又は他の軟骨厚さ測定方法によって得られ得る。骨量減少を患う大腿骨顆103、107の場合、大腿骨切除ガイドロケータ400をパッド調整器440A、440Bと共に使用して、骨異常(例えば、この場合は骨量減少)の量を確実に把握することは、以前は不可能であった。
例えば、外側顆103の負の骨異常(すなわち、骨量減少)の正確な深さは、従来の方法を使用して容易に確認することはできない。パッド調整器440Bを測定された軟骨厚さの値まで伸長させ、パッド調整器440Bの端部を摩耗した骨116の露出表面上に配置すると、その時点でもはや発症前の関節面は示されないため、負の骨異常の深さが適切に考慮されないことで、旋回式大腿骨切除ガイドロケータ400の位置がずれる危険が生じる。すなわち、外科医が最初に、図示されたパッド調整器440Bの伸長長さlを(軟骨計の測定ごとに)遠位基準面485から2mmに設定し、次いで、パッド調整器440が摩耗した骨116の露出表面に接触するようにパッド調整器440を配置した場合、パッド調整器は、負の骨異常115bの未知の深さだけ骨量減少の領域115b内に延在し、それによって、骨髄内ロッド420に対する遠位基準面485(延いては、切断面)の角度が変わる。この新しい切断角度は、発症前の関節面を反映しないため、膝を運動学的に位置合わせするのに有用ではない。
外科医は、骨量減少の深さを推定することを試みるために、パッド調整器440の長さ(lを参照されたい)を追加することによって補おうとする場合があるが、正確な減少量は外科医には不明である。したがって、外科医は、減少量を過剰推定又は過少推定する可能性があり、それによって、発症前の関節の実際の関節面に対する大腿骨切除ガイドロケータ400の位置がずれる危険が生じる。運動学的アラインメントは、大腿骨関節面を参照する技術である。したがって、関節面を参照する際に生じた間違いは、補正されない場合、近位頚骨に伝達され、それによって潜在的に初期誤差を更に悪化させる。更に、図2が示すように、骨異常の領域115b、及び摩耗した骨116の露出面は、深さが均一ではない場合がある。これは、骨髄内ロッド420に対する切除ガイドロケータの角度付きの位置の初期安定性を損ない得る。
近年、撮像システムからのX線写真など、複数の2D画像を使用して、手術領域170の3Dモデルを作製することが可能になった。これらのモデルは、実際の手術の日付にはるかに近い手術を計画するために術前に使用され得る。更に、これらの3Dモデルは、術前モデル及び計画をチェックするために術中に生成され得るか、又はこれらの3Dモデルは、骨異常の領域が計算され得るネイティブモデルとして機能し得る。しかしながら、X線写真は、典型的には、画像解像度及び精度に関する懸念のため、3Dモデルの入力として以前は使用されていなかった。X線写真は、3D空間の2D表現である。したがって、2DのX線写真では、三次元に存在する実際の物体と比べて画像対象が必ず歪む。更に、X線が通過する物体は、X線源(典型的には、X線機械のアノード)からX線検出器(非限定的な例として、X線蛍光増倍管、リン材料、フラットパネル検出器(flat panel detector)「FPD」(間接変換FPD及び直接変換FPDを含む)、又は任意の数のデジタル若しくはアナログX線センサ若しくはX線フィルムを含み得る)へ移動する際のX線の経路を偏向させ得る。X線機械自体の欠陥又はその較正における欠陥はまた、X線写真測量及び3Dモデル再構成の有用性を損ない得る。加えて、放出されたX線光子は、異なるエネルギーを有する。X線がX線源と検出器との間に配置された物質と相互作用するとき、ノイズ及びアーチファクトは部分的に、コンプトン散乱及びレイリー散乱、光電効果、環境における外因性変異、又はX線生成ユニット、X線検出器、及び/若しくは処理ユニット若しくはディスプレイにおける内因性変異のために生成され得る。
更に、単一の2D画像では、実際の対象の3Dデータが失われる。したがって、コンピュータが実際の3D物体の3Dモデルを再構成するために単一の2D画像から使用し得るデータは存在しない。この理由から、CTスキャン、MRI、及び三次元データを保存する他の撮像技術は、多くの場合、1つ以上の対象整形外科要素のモデルを再構成する(すなわち、実際の3Dデータから3Dモデルを再構成して、一般に、より正確でより高い解像度のモデルを生成する)のに好ましい入力であった。しかしながら、以下で論じられる本開示の特定の例示的な実施形態は、深層学習ネットワークを使用して、X線写真測量から生成される再構成された3Dモデルの精度を改善し、再構成された3Dモデル上の又は当該3Dモデル内の骨異常の領域を識別することによって、これらの問題を克服する。特定の例示的な実施形態では、骨異常の領域は、曲線フィッティングアルゴリズム(すなわち、例示的な表面調整アルゴリズム)を使用して補正又は排除され得る。
骨異常の程度を計算するための例示的な方法は、少なくとも2つの2D画像から手術領域170の3Dモデルを生成することであって、第1の画像は第1の横方向位置でキャプチャされ、第2の画像は第2の横方向位置でキャプチャされ、第1の横方向位置は第2の横方向位置と異なる、ことと、3Dモデル上の骨異常の領域を識別することと、補正領域を計算することであって、補正領域は、3Dモデルから(すなわち、周囲の骨領域に対して)骨異常の領域を除去する、ことと、を含み得る。
骨異常の程度を計算するための例示的なシステムは、放射器21及び検出器33を含む放射線撮像機1800(図18)であって、放射線撮像機1800の検出器33は、第1の横方向位置30a(図9及び図10)で第1の画像30(図9及び図10)をキャプチャし、第2の横方向位置50a(図9及び図10)で第2の画像50(図9及び図10)をキャプチャし、第1の横方向位置30aは、第2の横方向位置50aからオフセット角度θ(図10)だけオフセットされる、放射線撮像機1800と、トランスミッタ29(図18)と、計算機1600であって、トランスミッタ29は、検出器33から第1の画像30及び第2の画像50を計算機1600に送信し、計算機1600は、対象整形外科要素の3Dモデル1100で骨異常の領域115を識別し、補正領域を計算するように構成されており、補正領域は、対象整形外科要素の3Dモデル1100から(すなわち、周囲の骨領域に対して)骨異常の領域を除去する、計算機1600と、を備え得る。
特定の例示的な実施形態では、例示的なシステムは、ディスプレイ19を更に備え得る。
特定の例示的な実施形態では、例示的なシステムは、製造機18を更に備え得る。製造機18を備える例示的な実施形態では、製造機18は積層造形機であり得る。そのような実施形態では、積層造形機は、対象整形外科要素の3Dモデル1100又は骨異常の3Dモデル115mを製造するために使用され得る。
X線撮像システムからのX線写真は、X線写真がCTスキャンと比べて比較的安価であるため、及び蛍光透視システムなどのいくつかのX線撮像システムの機器は一般に、術中に使用されるのに十分にコンパクトであるため、望ましいものであり得るが、本開示においては、別途明示的に特許請求されない限り、2D画像の使用をX線写真に制限するものではなく、本開示のいずれも、撮像システムのタイプをX線撮像システムに制限するものではない。他の2D画像としては、例えば、CT画像、CT蛍光透視画像、蛍光透視画像、超音波画像、陽電子放出断層撮影(positron emission tomography、「PET」)画像、及びMRI画像が挙げられ得る。他の撮像システムとしては、例えば、CT、CT蛍光透視法、蛍光透視法、超音波、PET、及びMRIシステムが挙げられ得る。
好ましくは、例示的な方法は、1つ以上の中央演算処理装置(CPU)、ランダムアクセスメモリ(RAM)、及び/又は入力/出力(I/O)インターフェース(複数可)などのハードウェアを有するコンピュータプラットフォーム(例えば、計算機1600)に実装され得る。例示的な計算機1600のアーキテクチャの例は、図16を参照して以下に提供される。
特定の例示的な実施形態では、対象整形外科要素の3Dモデル1100及び/又は骨異常の3Dモデル115mは、コンピュータモデルであり得る。他の例示的な実施形態では、対象整形外科要素の3Dモデル1100及び/又は骨異常の3Dモデル115mは、物理モデルであり得る。
2Dの術前又は術中の画像から3Dモデルを生成するための様々な方法がある。例として、1つのそのような方法は、放射線撮像システムを用いて患者の手術領域170の2D放射線画像のセットを受信し、放射線撮像システムの座標系とそれぞれの2D画像からの射影幾何データとを用いてエピポーラ幾何原理を使用して、第1の3Dモデルを計算することを含み得る(図9及び図10を参照されたい)。そのような例示的な方法は、2D放射線画像上の第1の3Dモデルを投影し、次いで、第1の3Dモデル上の第1及び第2の放射線画像30、50を画像間位置合わせ技術で位置合わせすることによって、初期の3Dモデルを調整することを更に含み得る。画像間位置合わせ技術が適用されると、修正された3Dモデルが生成され得る。このプロセスは、所望の明確さが達成されるまで繰り返され得る。
別の例として、畳み込みニューラルネットワーク(convolutional neural network、「CNN」)、リカレントニューラルネットワーク(recurrent neural network、「RNN」)、モジュール型ニューラルネットワーク(modular neural network)、又はSequece to Sequenceモデルなどの深層学習ネットワーク(「深層ニューラルネットワーク」(「deep neural network、DNN」としても知られる)は、患者の手術領域170の少なくとも2つの2D画像のセットから対象整形外科要素の3Dモデル1100及び/又は骨異常の3Dモデル115mを生成し、骨異常の領域115を識別するために使用され得る。2D画像は、望ましくは、放射線画像(例えば、X線画像又は蛍光透視画像)などの組織貫通画像である。そのような方法では、深層学習ネットワークは、それぞれの2D画像からの射影幾何データ(すなわち、空間データ43又は体積データ75)からモデルを生成し得る。深層学習ネットワークは、手術領域170における異なる対象整形外科要素100(例えば、骨)又は骨異常115のマスクを生成することができ、並びに1つ以上の画像化された整形外科要素100の体積(図11、61を参照)を計算することができるという利点を有し得る。
図8は、深層学習ネットワークを使用して、オフセット角度θから撮られた2つの平坦化された入力画像(30、50、図9及び図10)を使用して、画像化された整形外科要素100上又は該整形外科要素100内の骨異常の領域115を識別する、例示的な方法の工程を概説するフロー図である。例示的な方法は、撮像機1800(図18)を較正して、画像点(X、e、X、e、図10)と対応する空間座標(例えば、x,y平面上のデカルト座標)との間のマッピング関係を決定して空間データ43を画定する工程1aを含む。撮像機1800は、望ましくは、X線画像を生成することができる放射線撮像機である(「X線画像」は、蛍光透視画像を含むものと理解され得る)が、全ての医療撮像機は、本開示の範囲内にあると見なされる。
工程2aは、撮像技術(例えば、X線撮像技術、CT撮像技術、MRI撮像技術、又は超音波撮像技術)を使用して、対象整形外科要素100の第1の画像30(図9)をキャプチャすることを含み、第1の画像30は、第1の基準フレーム30aを画定する。工程3aでは、対象整形外科要素100の第2の画像50(図9)が撮像技術を使用してキャプチャされ、第2の画像50は、第2の基準フレーム50aを画定し、第1の基準フレーム30aは、第2の基準フレーム50aからオフセット角度θでオフセットされる。第1の画像30及び第2の画像50は、データ(空間データ43を含む)が抽出され得る入力画像である。他の例示的な実施形態では、2つ以上の画像が使用され得ることが理解されよう。そのような実施形態では、それぞれの入力画像は、望ましくは、オフセット角度θだけ他の入力画像から分離される。工程4aは、対象整形外科要素100の第1の画像30からの空間データ43と、対象整形外科要素100の第2の画像50からの空間データ43とを投影して、エピポーラ幾何を用いて体積データ75(図11)を画定することを含む。
工程5aは、深層学習ネットワークを使用して、整形外科要素100の体積データ75から骨異常115を検出することを含む。工程6aは、深層学習ネットワークを使用して、対象整形外科要素100の体積データ75から他の特徴(例えば、解剖学的ランドマーク)を検出して、対象整形外科要素の3Dモデル1100を画定することを含む。工程7aは、表面調整アルゴリズムを適用して、対象整形外科要素の3Dモデル1100から検出された骨異常115を除去することを含む。
特定の例示的な実施形態では、体積データ75から骨異常115を検出する深層学習ネットワークは、対象整形外科要素100の体積データ75から他の特徴を検出する同じ深層学習ネットワークであり得る。他の例示的な実施形態では、体積データ75から骨異常115を検出する深層学習ネットワークは、対象整形外科要素100の体積データ75から他の特徴を検出する深層学習ネットワークとは異なり得る。
特定の例示的な実施形態では、第1の画像30は、外側横方向位置にある対象整形外科要素100を示し得る(すなわち、第1の画像30は、整形外科要素100の側面図である)。他の例示的な実施形態では、第2の画像50は、前後(anterior-posterior、「AP」)横方向位置にある整形外科要素100を示し得る(すなわち、第2の画像50は、整形外科的要素100のAP図である)。更なる他の例示的な実施形態では、第1の画像30は、AP横方向位置にある整形外科要素100を示し得る。なお他の例示的な実施形態では、第2の画像50は、外側横方向位置にある整形外科要素100を示し得る。なお更なる他の例示的な実施形態では、第1の画像30が第2の画像50からオフセット角度θだけオフセットされている限り、第1の画像30も第2の画像50も、AP横方向位置又は外側横方向位置にある整形外科要素100を示すことはできない。計算機1600は、較正用治具を含む入力画像30、50からのオフセット角度θを計算し得る(973、図9を参照されたい)。第1の画像30及び第2の画像50は、集合的に「入力画像(input images)」、又は個別に「入力画像(input image)」と称され得る。これらの入力画像30、50は、望ましくは、同一の対象整形外科要素100を異なる角度から示す。これらの入力画像30、50は、対象整形外科要素100の横方向平面に沿って撮られ得る。
特定の例示的な方法は、CycleGANなどのスタイル転送深層学習ネットワークを使用することを更に含み得る。スタイル転送深層学習ネットワークを使用する方法は、放射線入力画像(例えば、30)で開始し、スタイル転送ニューラルネットワークを使用して、入力画像のスタイルをDRRタイプ画像に転送し得る。なお更なる例示的な方法は、深層学習ネットワークを使用して、対象整形外科要素100又は骨異常115の特徴(例えば、解剖学的ランドマーク)を識別して、それぞれの対象整形外科要素100又は骨異常115にセグメンテーションマスクを提供することを含み得る。
図10及び図11は、第1の入力画像30及び第2の入力画像50を組み合わせて、体積データ75を含む体積61が作製され得る仕組みを示す。図10は、それぞれの入力画像30、50からの空間データ43を体積データ75(図11)に変換するために使用され得るエピポーラ幾何の基本原理を示す。空間データ43は、所与の入力画像30、50の対応する空間座標(例えば、x及びy座標)にマッピングされる画像点(例えば、X、X)の集合によって画定されることが理解されるであろう。
図10は、ピンホールカメラモデルによって記載される斜視投影の簡略化された概略図である。図10は、コンピュータステレオビジョンに関連する基本的な概念を伝えるものであるが、3Dモデルが2Dステレオ画像から再構成され得る唯一の方法を意味するものではない。この簡略化されたモデルでは、光線は、光学的中心(すなわち、対象物体からの電磁放射の光線(例えば、可視光線、X線など)が撮像機のセンサ又は検出器アレイ33(図18)内で交差することが想定されるレンズ内の点)から放射される。光学的中心は、図10に点O、Oで表されている。実際には、画像平面(30a、50aを参照されたい)は、通常、光学的中心(例えば、O、O)の後ろにあり、実際の光学的中心は、点として検出器アレイ33に投影されるが、原理をより簡潔に示すためにここでは仮想画像平面(30a、50aを参照されたい)が提示されている。
第1の入力画像30は、第1の基準フレーム30aから撮られ、第2の基準フレーム50は、第1の基準フレーム30aとは異なる第2の基準フレーム50aから撮られる。それぞれの画像はピクセル値の行列を含む。第1及び第2の基準フレーム30a、50aは、望ましくは、互いからオフセット角度θだけオフセットされる。オフセット角度θは、第1の基準フレーム30aのx軸と第2の基準フレーム50aのx軸との間の角度を表し得る。点eは、第1の入力画像30上の第2の入力画像の光学的中心Oの場所である。点eは、第2の入力画像50上の第1の入力画像の光学的中心Oの場所である。点eは、「エピポール」又はエピポーラ点として知られており、線O-O上にある。点X、O、Oは、エピポーラ面を画定する。
実際の光学的中心は、対象物体からの電磁放射の入射光線が検出器レンズ内で交差することが想定される点であるため、このモデルでは、電磁放射の光線は、3D空間における3D点Xの位置が、既知の相対位置の検出器33からキャプチャされた2つ以上の入力画像30、50からどのように確認され得るかを視覚化する目的で、実際に光学的中心O、Oから放射されると考えられ得る。第1の入力画像30のそれぞれの点(例えば、X)が3D空間内の線に対応する場合、次いで、対応する点(例えば、X)が第2の入力画像内で検出され得る場合、これらの対応点(例えば、X、X)は、共通の3D点Xの投影である必要がある。したがって、対応する画像点(例えば、X、X)によって生成される線は、3D点Xで交差する必要がある。一般に、Xの値が、2つ以上の入力画像30、50内の全ての対応する画像点(例えば、X、X)に対して計算される場合、体積データ75を含む3D体積61は、2つ以上の入力画像30、50から複製され得る。任意の所与の3D点Xの値は、様々な方法で三角測量され得る。例示的な計算方法の非限定的なリストは、中点法、直接線形変換法、基本行列法、交点法、及びバンドル調整法を含む。
本明細書に記載される「画像点」(例えば、X、X)は、空間内の点、ピクセル、ピクセルの一部分、又は隣接するピクセルの集合を指し得ることが理解されよう。本明細書で使用されるとき、3D点Xは、3D空間内の点を表し得ることも理解されよう。特定の例示的な用途において、3D点Xは、ボクセル、ボクセルの一部分、又は隣接するボクセルの集合として表現され得る。
しかしながら、エピポーラ幾何の原理が適用され得る前に、他の画像検出器(複数可)33に対するそれぞれの画像検出器33の位置が決定される必要がある(又は、単一の画像検出器33の位置が、第1の画像30が撮られた時点で決定される必要があり、単一の画像検出器33の調整された位置は、第2の画像50が撮られた時点で認識されるべきである)。また、撮像機1800の焦点距離及び光学的中心を決定することが望ましい。これを実際に確認するために、画像検出器33(又は、複数の画像検出器)は最初に較正される。図9A及び図9Bは、対象整形外科要素100に対する較正用治具973A、973Bを示す。これらの図において、例示的な整形外科要素100は、大腿骨105の遠位態様及び膝関節を含む頚骨110の近位態様である。図9A及び図9Bの近位腓骨111は、画像化された別の整形外科要素100である。図9Bに示される膝蓋骨901は、別の整形外科要素100である。
図9Aは、例示的な整形外科要素100の前後図である(すなわち、図9Aは、第1の基準フレーム30aから撮られた第1の画像30を表す)。第1の較正用治具973Aは、第1の保持アセンブリ974Aに取り付けられる。第1の保持アセンブリ974Aは、第1のストラップ977Aに係合された第1のパッド付き支持体971Aを含み得る。第1のパッド付き支持体971Aは、第1のストラップ977Aを介して患者の大腿部の外側に取り付けられる。第1の保持アセンブリ974Aは、望ましくは第1の基準フレーム30aに平行に配向された(すなわち、検出器33に直交する)第1の較正用治具973Aを支持する。同様に、第2の保持アセンブリ974Bに取り付けられた第2の較正用治具973Bが提供され得る。第2の保持アセンブリ974Bは、第2のストラップ977Bに係合された第2のパッド付き支持体971Bを含み得る。第2のパッド付き支持体971Bは、第2のストラップ977Bを介して患者のふくらはぎの外側に取り付けられる。第2の保持アセンブリ974Bは、望ましくは第1の基準フレーム30aに平行な(すなわち、検出器33に直交する)第2の較正用治具973Bを支持する。較正用治具973A、973Bは、望ましくは対象整形外科要素100から十分に離して位置付けられ、その結果、較正用治具973A、973Bは、いずれの対象整形外科要素100とも重なり合わない。
図9Bは、例示的な整形外科要素100の内外図である(すなわち、図9Bは、第2の基準フレーム50aから撮られた第2の画像50を表す)。図示された例では、内外基準フレーム50aは、前後の第1の基準フレーム30aから90°回転又は「オフセット」される。第1の較正用治具973Aは、第1の保持アセンブリ974Aに取り付けられる。第1の保持アセンブリ974Aは、第1のストラップ977Aに係合された第1のパッド付き支持体971Aを含み得る。第1のパッド付き支持体971Aは、第1のストラップ977Aを介して患者の大腿部の外側に取り付けられる。第1の保持アセンブリ974Aは、望ましくは第2の基準フレーム50aに平行な(すなわち、検出器33に直交する)第1の較正用治具973Aを支持する。同様に、第2の保持アセンブリ974Bに取り付けられた第2の較正用治具973Bが提供され得る。第2の保持アセンブリ974Bは、第2のストラップ977Bに係合された第2のパッド付き支持体971Bを含み得る。第2のパッド付き支持体971Bは、第2のストラップ977Bを介して患者のふくらはぎの外側に取り付けられる。第2の保持アセンブリ974Bは、望ましくは第2の基準フレーム50aに平行な(すなわち、検出器33に直交する)第2の較正用治具973Bを支持する。較正用治具973A、973Bは、望ましくは対象整形外科要素100から十分に離して位置付けられ、その結果、較正用治具973A、973Bは、いずれの対象整形外科要素100とも重なり合わない。
膝関節がこの配向で安定しているため(図18を参照されたい)、患者は、望ましくは起立位(すなわち、脚が伸長状態にある)に位置付けられ得る。好ましくは、撮像機に対する患者の距離は、入力画像30、50の取得中に変更されるべきではない。第1及び第2の画像30、50は、脚全体をキャプチャする必要はなく、むしろ、画像は、手術領域170の対象となる関節に焦点を合わせ得る。
画像化され、モデル化される対象整形外科要素100に応じて、単一の較正用治具973のみが使用され得ることが理解されよう。同様に、特に長い整形外科要素100の集合が画像化され、モデル化される場合、2つ以上の較正治具が使用され得る。
それぞれの較正用治具973A、973Bは、望ましくは既知のサイズである。それぞれの較正用治具973A、973Bは、望ましくは、全体に分布された少なくとも4つ以上の較正点978を有する。較正点978は、他の点に対する1つの点978からの距離が分かっている既知のパターンで分布している。整形外科要素100からの較正用治具973の距離も、望ましくは既知であり得る。X線写真測量システムの較正のために、較正点978は、望ましくは、較正用治具973上の金属構造によって画定され得る。金属は、典型的には、金属に接触するほとんどのX線ビームを吸収する。したがって、金属は、典型的には、X線をほとんど吸収しない物質(空気腔又は脂肪組織など)と比較して非常に明るく見える。較正点を定義する一般的な例示的構造としては、レゾークロス(reseau crosses)、円、三角形、錐体、及び球体が挙げられる。
これらの較正点978は、較正用治具973の2D表面上に存在し得るか、又は、3D較正点978は、所与の画像基準フレームから2D投影としてキャプチャされ得る。いずれの状況においても、3D座標(一般にz座標と呼ばれる)は、画像内にキャプチャされる全ての較正点978に対してゼロに等しくなるように設定され得る。それぞれの較正点978の間の距離は既知である。これらの既知の距離は、画像センサ/検出器33においてx,y座標として表現され得る。3D空間内の点をセンサ33上の2D座標ピクセルにマッピングするために、検出器の較正行列、外因性行列、及び実3D点の相同座標ベクトルの内積が使用され得る。これにより、3D空間内の点の実世界座標は、較正用治具973に対してマッピングされる。別の言い方をすれば、これは、一般に、3D空間内の実点のx,y座標が、空間データ43を画定するために画像検出器のセンサ33の2D座標平面に正確に変換されることを可能にする(図10を参照されたい)。
上記の較正方法は、一例として提供される。X線写真測量システムを較正するのに好適な全ての方法は、本開示の範囲内であると考えられることが理解されよう。他のX線写真測量システム較正方法の非限定的なリストは、レゾープレートの使用、Zhangの手法、バンドル調整法、直接線形変換法、最大尤度推定、k近傍法(k-nearest neighbor regression approach、「kNN」)、他の深層学習法、又はそれらの組み合わせを含む。
図11は、較正された入力画像30、50が、既知のオフセット角度θに沿って配向されたときに、2つのチャネル65、66を含む3D体積61にどのように逆投影され得るかを示す。第1のチャネル65は、第1の入力画像30の全ての画像点(例えば、Xなど)を含み、第2のチャネル66は、第2の入力画像50の全ての画像点(例えば、Xなど)を含む。すなわち、それぞれの画像点(例えば、ピクセル)は、その関連する逆投影された3D光線の上に複製される。次に、エピポーラ幾何を使用して、これらの逆投影された2D入力画像30、50から体積データ75を含む画像化された手術領域170の体積61が生成され得る。
図11を参照すると、第1の画像30及び第2の画像50は、望ましくは、既知の画像寸法を有する。寸法は、ピクセルであり得る。例えば、第1の画像30は、128×128ピクセルの寸法を有し得る。第2の画像50は、128×128ピクセルの寸法を有し得る。特定の計算で使用される入力画像30、50の寸法は、望ましくは、一貫した寸法を有する。一貫した寸法は、通常の体積61の立方体作業領域(例えば、128×128×128の立方体)を後で画定するために望ましい場合がある。図10に見られるように、オフセット角度θは、望ましくは90°である。しかしながら、他の例示的な実施形態では、他のオフセット角度θが使用されてもよい。
図示された例では、128×128ピクセルの入力画像30、50のそれぞれが、隣接する入力画像の長さにわたって128回複製されて、128×128×128ピクセルの寸法を有する体積61が作製される。すなわち、第1の画像30は、コピーされ、1ピクセル当たり1コピーで128ピクセル分それ自体の後ろに積み重ねられる一方、第2の画像50は、コピーされ、積み重ねられた画像が重なり合い、それによって体積61が作製されるように128ピクセル分それ自体の後ろに積み重ねられる。このようにして、体積61は、2つのチャネル65、66を含むと言うことができ、第1のチャネル65は、第2の画像50の長さ(すなわち、第2の画像50のx軸)にわたってn回複製された第1の画像30を含み、第2のチャネル66は、第1の画像30の長さ(すなわち、第1の画像30のx軸)にわたってm回複製された第2の画像50を含み、「n」及び「m」は、指示された画像の長さを含むピクセルの数(又は、他の例示的な実施形態における他の寸法)として表現されるような、指示された画像の長さである。オフセット角度θが既知である場合、体積61のそれぞれの横方向スライス(一部の放射線学者には「軸方向スライス」としても知られる)は、2つのエピポーラ線を含むピクセルから逆投影されるボクセルを含むエピポーラ平面を作製する。このようにして、対象整形外科要素100の第1の画像30からの空間データ43と、対象整形外科要素100の第2の画像50からの空間データ43とを投影して、体積データ75を画定する。この体積データ75を使用することで、3D表現は、上述のようにエピポーラ幾何原理を用いて再構成され得、3D表現は、入力画像30、50における情報と幾何学的に一貫している。
深層学習ネットワークがCNNである深層学習ネットワークを使用して骨異常の領域115を計算するための例示的なシステム及び方法では、CNNがどのように構造化され、訓練され得るかを示す詳細な例が提供される。CNNの全てのアーキテクチャは、本開示の範囲内にあると見なされる。一般的なCNNアーキテクチャとして、例えば、LeNet、GoogLeNet、AlexNet、ZFNet、ResNet、及びVGGNetが挙げられる。
図17は、CNNが、骨異常115の領域を識別するためにどのように使用され得るかを示すCNNの概略図である。理論に束縛されるものではないが、CNNは、所望の整形外科要素又は骨異常115の所望の領域を識別するために必要な特徴を失うことなく、体積データ75のサイズを縮小させるために望ましい場合があることが企図される。複数の逆投影された投入画像30、50の体積データ75は、「入力テンソル」として知られ得る多次元アレイである。この入力テンソルは、第1の畳み込みのための入力データ(この例では、体積データ75である)を含む。体積データ75に配置されたフィルタ(カーネル69としても知られている)が示されている。カーネル69は、フィルタ又は機能を定義するテンソル(すなわち、多次元アレイ)である(このフィルタ又は機能は、カーネルに与えられる「重量」として知られることがある)。図示された実施形態では、カーネルテンソル69は三次元である。カーネル69を含むフィルタ又は機能は、手動でプログラムされるか、又はCNN、RNN、若しくは他の深層学習ネットワークを通して学習され得る。図示された実施形態では、カーネル69は、3×3×3テンソルであるが、カーネルテンソルサイズが入力テンソルのサイズより小さい限り、全てのテンソルサイズ及び寸法は、本開示の範囲内にあると見なされる。
カーネル69のそれぞれのセル又はボクセルは、数値を有する。これらの値は、カーネル69のフィルタ又は機能を定義する。畳み込み又は相互相関動作は、2つのテンソル間で実行される。図17では、畳み込みは、経路76によって表される。カーネル69がたどる経路76は、数学的動作を可視化したものである。この経路76をたどりながら、カーネル69は、最終的に入力テンソルの全体積61(例えば、体積データ75)を順次横断する。この動作の目標は、入力テンソルから特徴を抽出することである。
畳み込み層72は、典型的には、畳み込み段階67、検出器段階68、及びプーリング段階58のうちの1つ以上を含む。これらそれぞれの動作は、図17の第1の畳み込み層72aで視覚的に表されているが、その後の畳み込み層72b、72cなども、畳み込み段階67、検出器段階68、及びプーリング層58動作、又はそれらの組み合わせ若しくは順列のうちの1つ以上、又は全てを含み得ることが理解されよう。更に、図17は、様々な解像度の5つの畳み込み層72a、72b、72c、72d、72eを示しているが、他の例示的な実施形態では、より多くの畳み込み層又はより少ない畳み込み層が使用されてもよいことが理解されよう。
畳み込み段階67において、カーネル69には、入力データ(すなわち、図示された例では、体積データ75)内のピクセルの複数のパッチが順次乗算される。データから抽出されたピクセルのパッチは、受容野として知られている。カーネル69と受容野との乗算は、受容野のそれぞれのピクセルとカーネル69との間の要素ごとの乗算を含む。乗算後、結果が合計されて、畳み込み出力の1つの要素が形成される。次いで、このカーネル69は、隣接する受容野にシフトし、要素ごとの乗算動作及び合計は、入力テンソルの全てのピクセルがこの動作を受けるまで継続する。
この時点まで、入力テンソルの入力データ(例えば、体積データ75)は線形である。次いで、このデータに非線形性を導入するために、非線形活性化関数が用いられる。そのような非線形関数の使用は、検出器段階68の始まりを示す。一般的な非線形活性化関数は、関数によって与えられる正規化線形関数(Rectified Linear Unit function、「ReLU」)である。
Figure 2023008873000002
バイアスと共に使用される場合、非線形活性化関数は、カーネル69によって抽出された特徴の存在を検出するための閾値として役立つ。例えば、入力テンソルとカーネル69との間に畳み込み又は相互相関動作を適用することで、畳み込み出力テンソルが生成され、カーネル69は、畳み込み段階67で低レベルのエッジフィルタを含む。次いで、バイアスを伴う非線形活性化関数を畳み込み出力テンソルに適用することにより、特徴マップ出力テンソルが返される。バイアスは、畳み込み出力テンソルのそれぞれのセルに順次追加される。所与のセルについて、合計が0以上である場合(この例では、ReLUが使用されると仮定する)、合計は、特徴マップ出力テンソルの対応するセルに返される。同様に、合計が所与のセルに対して0未満である場合、特徴マップ出力テンソルの対応するセルは0に設定される。したがって、畳み込み出力に非線形活性化関数を適用することは、畳み込み出力がカーネル69のフィルタと一致するか否か、及びどの程度密接に一致するかを決定するための閾値のように挙動する。このようにして、非線形活性化関数は、入力データ(例えば、この例では、体積データ75)から所望の特徴の存在を検出する。
全ての非線形活性化関数は、本開示の範囲内にあると見なされる。他の例としては、シグモイド、TanH、Leaky ReLU、parametric ReLU、Softmax、及びSwitch活性化機能が挙げられる。
しかしながら、このアプローチの欠点は、この第1の畳み込み層72aの特徴マップ出力が所望の特徴(上記の例では、エッジ)の正確な位置を記録することである。したがって、入力データにおける特徴の小さな動きが、異なる特徴マップを生成することになる。この問題に対処し、かつ計算電力を削減するために、ダウンサンプリングを使用して、重要な構造要素を依然として保存しながら入力データの解像度を低下させる。ダウンサンプリングは、入力テンソルに沿った畳み込みのストライドを変更することによって達成され得る。ダウンサンプリングはまた、プーリング層58を使用することによって達成される。
入力テンソル(72aを参照されたい)と比べて畳み込まれたテンソル(72bを参照されたい)の寸法を減少させるために、有効なパディングが適用されてもよい。プーリング層58は、望ましくは、畳み込まれたデータの空間サイズを縮小するために適用され、これは、データを処理するために必要な計算電力を減少させる。最大プーリング及び平均プールを含む一般的なプーリング技術が使用され得る。最大プーリングは、カーネル69によってカバーされた入力テンソルの部分の最大値を返す一方、平均プーリングは、カーネル69によってカバーされた入力テンソルの部分の全ての値の平均を返す。最大プーリングを使用して、画像ノイズが低減され得る。
特定の例示的な実施形態では、全結合層は、畳み込み層の出力によって表される高レベルの特徴(画像化された近位頚骨110又は骨異常115のプロファイルなど)の非線形の組み合わせを学習するために、最終的な畳み込み層72eの後に追加され得る。
図17の上半分は、入力体積データ75の圧縮を表し、下半分は、入力体積データ75の元のサイズに到達するまでの減圧を表す。それぞれの畳み込み層72a、72b、72cなどの出力特徴マップは、より複雑になっていく特徴抽出を可能にするために、後続の畳み込み層72b、72cなどの入力として使用される。例えば、第1のカーネル69は、エッジを検出し得、第1の畳み込み層72b内のカーネルは、所望の配向でエッジの集合を検出し得、第3の畳み込み層72c内のカーネルは、所望の配向でエッジのより長い集合を検出し得る、などとなる。このプロセスは、内側遠位大腿骨顆のプロファイル全体が下流の畳み込み層72によって検出されるまで継続し得る。
図17の下半分は、アップサンプル(すなわち、より低い解像度の特徴マップの空間サポートを拡大したもの)である。逆畳み込み動作は、次の下流の畳み込み層に対する入力のサイズを増大するために実行される(72c、72d、72eを参照されたい)。最終畳み込み層72eの場合、畳み込みは、1×1×1カーネル69と共に採用されて、入力体積61と同じサイズのマルチチャネル出力体積59が生成され得る。マルチチャネル出力体積59のそれぞれのチャネルは、所望の抽出された高レベル特徴を表し得る。これに続いて、Softmax活性化関数が、所望の整形外科要素100を検出し得る。例えば、図示された実施形態は、0、1、2、3、4、5と採番された6つの出力チャネルを含み得、チャネル0は識別されたバックグラウンド体積を表し、チャネル1は識別された遠位大腿骨105を表し、チャネル2は識別された近位頚骨110を表し、チャネル3は識別された近位腓骨111を表し、チャネル4は膝蓋骨901を表し、チャネル5は識別された骨異常115を表す。
例示的な実施形態では、所望の整形外科要素100又は骨異常115bの出力体積データ59を含む選択された出力チャネルを使用して、対象整形外科要素の3Dモデル1100又は骨異常の3Dモデル115mが作製され得る。
上の例は、入力体積データ75を畳み込むための三次元テンソルカーネル69の使用を説明したものであるが、上述の一般モデルは、それぞれ第1の較正された入力画像30及び第2の較正された入力画像50からの2D空間データ43と共に使用され得ることが理解されよう。他の例示的な実施形態では、機械学習アルゴリズム(すなわち、深層学習ネットワーク(例えば、CNNなど))は、撮像機の較正後、但し、2Dから3Dへの再構成前に使用され得る。すなわち、CNNを使用して、それぞれの2D入力画像30、50の第1の基準フレーム30a及び第2の基準フレーム50aから対象整形外科要素100の特徴(例えば、解剖学的ランドマーク)が検出され得る。例示的な実施形態では、CNNを使用して、2D入力画像30、50から高レベルの整形外科要素(例えば、遠位大腿骨105及び任意の骨異常115)が識別され得る。次いで、CNNは、検出された整形外科要素100又は骨異常115にマスク又は外形を任意選択的に適用し得る。撮像機1800が構成され、CNNが、2つの入力画像30、50間の特徴の複数の対応する画像点(例えば、X、X)を識別した場合、対象整形外科要素100の基準フレーム30a、50a間の変換行列を使用して、3D空間内の複数の対応する画像点が位置合わせされ得ることが企図される。
深層学習ネットワークを使用して、それぞれの入力画像30、50から検出された2D整形外科要素100又は骨異常115にマスク又は外形を追加することを含む特定の例示的な実施形態では、識別された整形外科要素100又は骨異常115の2Dマスク又は外形のみが、上記の図10及び図11を参照して記載された方法で順次逆投影されて、識別された整形外科要素100又は骨異常115の体積61が画定され得る。この例示的な方法では、対象整形外科要素の3Dモデル1100又は骨異常の3Dモデル115mが作製され得る。
第1の画像30と第2の画像50がX線画像である実施形態では、CNNを訓練することは、いくつかの課題を提示し得る。比較として、CTスキャンは、典型的には、所望の体積の一連の画像を生成する。典型的なCTスキャンを含むそれぞれのCT画像は、画像化された体積のセグメントとして考えられ得る。これらのセグメントから、要素がそれぞれの連続するCT画像に示されているときに所望の要素の領域を追加することによって、3Dモデルは比較的容易に作製され得る。次いで、モデル化された要素をCTスキャンのデータと比較して、精度が確保され得る。
対照的に、放射線撮像システムは、典型的には、画像化された体積の異なるセグメントをキャプチャする連続画像を生成しない。むしろ、画像の情報の全ては、2D平面で平坦化される。加えて、単一の放射線画像30は本質的に3Dデータを欠いているため、上述のエピポーラ幾何再構成技術によって生成されたモデルを、標的整形外科要素100の実際の幾何学的形状を用いてチェックすることは困難である。この問題に対処するために、CNNは、デジタル的に再構成された放射線写真(digitally reconstructed radiograph、「DRR」)画像などのCT画像を用いて訓練され得る。このようにニューラルネットワークを訓練することによって、ニューラルネットワークは、所望の整形外科要素100又は骨異常115bを識別するために、カーネル69に対して独自の重み(例えば、フィルタ)を開発し得る。X線写真はDRRとは異なる外観を有するため、DRRスタイルの外観を有するように入力X線画像をレンダリングするように、画像間変換が実行され得る。例示的な画像間変換方法は、CycleGAN画像変換技術である。画像間のスタイル転送方法が使用される実施形態では、スタイル転送方法は、望ましくは、特徴検出のためにデータを深層学習ネットワークに入力する前に使用される。
上の例は、理解を助ける目的で提供されており、本開示の範囲を限定することを意図するものではない。少なくとも2つの横方向位置から撮られた同じ対象整形外科要素100の2D放射線画像(例えば、30a、50a)から対象整形外科要素の3Dモデル1100又は骨異常の3Dモデル115mを生成するための全ての方法は、本開示の範囲内にあると見なされる。
図12は、遠位大腿骨105と、骨異常の3Dモデル115m1、115m2とを示す斜視図である。骨異常の3Dモデル115m1、115m2は、本開示の任意の方法又はシステムに従って生成され得ることが理解されよう。図示された実施形態では、遠位大腿骨105は、内側顆107上に2つの負の骨異常115a、115c(すなわち、骨量減少の領域)を有していた。本開示による方法は、本明細書に記載されるように、骨異常115a、115cを識別するために使用され得る。骨異常体積データ59を含む出力チャネルは、骨異常の3Dモデル115m1を生成するために使用され得る。図示された例では、骨異常のそれぞれの3Dモデル115m1、115m2は、実際の骨異常115a、115cの逆体積を含む。骨異常の3Dモデル115m1、115m2を含む体積の境界を描写するために、深層学習ネットワークは、実際の負の骨異常115a、115cのエッジと、負の骨異常115a、115cが存在する隣接する整形外科要素100の表面の湾曲を検出するように訓練され得る。図示された例では、隣接する整形外科要素の表面は、内側顆表面である。次いで、曲線フィッティングアルゴリズムなどの表面調整アルゴリズムを適用して、欠損表面の湾曲が推定され、それによって負の骨異常115が補正され得る。実施形態では、推定された湾曲は、次いで、負の骨異常(例えば、115a)の識別された表面領域に追加され得る。負の骨異常の識別された表面領域と推定された湾曲との間の空間は、負の骨異常115aのモデル化された体積を画定する。このモデル化された体積を含むデータは、負の骨異常115aの実際の体積に対してモデル化された逆体積を有する異常の3Dモデル115m1を生成するために使用され得る。
骨異常115が正の骨異常115(例えば、骨増殖体)である実施形態では、深層学習ネットワークは、実際の正の骨異常115のエッジと、正の骨異常115が存在する隣接する整形外科要素100の表面の湾曲とを検出するように訓練され得ることが理解されよう。隣接する整形外科要素100の表面が湾曲している場合、曲線フィッティングアルゴリズムを使用して、正の骨異常115がない表面の湾曲が推定され、それによって正の骨異常115が補正され得る。
特定の例示的な実施形態では、骨異常の3Dモデル115m1は、物理的3D骨異常モデルとして生成され得る。術中に使用される場合、骨異常の物理的3Dモデル115m1は、1:1の縮尺で作製されてもよい。そのような例示的な実施形態では、骨異常の物理的3Dモデル115m1は、医療用ポリアミド(非公式にナイロンとして知られている)から作製されてもよい。骨異常の物理的3Dモデル115m1の材料は、滅菌可能であるべきであり、望ましくはオートクレーブに好適な特性を有し得る。オートクレーブは、概して小さくコンパクトであるため、特に、外科診療所で又はその近辺で骨異常の物理的3Dモデル115m1を滅菌するために有用である。
骨異常の3Dモデル115m1に好適な材料の他の例としては、医療用ポリエチレン(例えば、超高分子量ポリエチレン(「UHMWPE」))、ポリエーテルエーテルケトン(「PEEK」)、又は限定するものではないが、コバルトクロムモリブデン合金、チタン合金を含む他の生体適合性の臨床的に証明された材料、及び限定するものではないが、ジルコニア強化アルミナ(「ZTA」)セラミックを含むセラミック材料が挙げられる。骨異常が骨量減少の領域である状況では、骨異常の1:1の物理的3Dモデル115m1の利点は、骨異常の物理的3Dモデル115m1が、実際の骨異常の露出表面116の相補的表面を有することである(図2、図4の115bを参照されたい)。物理的3D骨異常モデル115m1が適切に滅菌されている限り、物理的3D骨異常モデル115m1は、術中に実際の骨異常115bの相補的表面116に隣接して配置され得る。このようにして、上記の図2を参照して上述された不確実性は回避される。
例示的な実施形態では、骨異常の物理的3Dモデル115m2は、アラインメントガイド600の1つ又は両方の後部パッド693a、693bに選択的に取り付けられ得る。欠損骨の物理的に滅菌されたモデルを提供することによって、以下に図5を参照して説明される不確実性が排除されることが企図される。
図3は、深層学習ネットワークを使用して整形外科要素100の体積データ75上又は該体積データ75内の骨異常115a、115bを検出する工程を視覚的に表す、簡略化された左膝関節の前面図である。深層学習ネットワークは、対象整形外科要素の3Dモデル1100を画定するために、対象整形外科要素100の体積データ75から他のランドマークを検出し得る。次いで、表面調整アルゴリズムが適用されて、対象整形外科要素の3Dモデル1100から骨異常115a、115bが除去される。図示された実施形態では、骨異常115a、115bは、骨異常115a、115bの外側表面と一致する外部欠損骨表面117a、117b(この例では、骨量減少の外側表面領域)を計算することによって除去される。例示的な方法を実行するコンピュータプラットフォームは、人工知能を介して訓練されるソフトウェアを実行して、3Dモデルで骨量減少を示す、摩耗した顆上の特徴(すなわち、ランドマーク)を識別し得る。他の例示的な実施形態では、骨異常115a、115bの領域を識別するために、コンピュータインターフェースを介して骨量減少の境界を手動で識別することができる。いったん識別されたら、骨異常が骨量減少を構成する状況では、骨異常115a、115bの外側表面領域に適合する外部欠損骨表面117a、117bを計算するために、表面調整アルゴリズムが適用され得る。
他の例示的な実施形態では、深層学習ネットワークを使用して、整形外科要素100の体積データ75上又は該体積データ75内の骨異常115a、115bを検出する工程は、骨異常の3Dモデル115mを生成することを更に含む。3D骨異常モデル115mがコンピュータモデルである場合、3D骨異常モデル115mは、スクリーンなどのディスプレイ19上に任意選択的に投影されてもよい。特定の例示的な実施形態では、3D骨異常コンピュータモデル115mは、手術領域170の画像内の実際の骨異常115に重ね合わさるように、外科医の視野内に投影され得る。なお他の例示的な実施形態では、3D骨異常コンピュータモデル115mは、露出された手術領域170内など、患者の実際の骨異常115に重ね合わさるように、外科医の視野内に投影され得る。そのようなディスプレイ19は、拡張現実装置、好ましくはヘッドマウント拡張現実装置を介して達成され得る。
更に他の例示的な実施形態では、物理的3D骨異常モデル115mは、製造技術を通して作製され得る(図18を参照されたい)。該製造技術は、コンピュータ数値制御(computer numerical control、「CNC」)機械又はフライス盤の使用などによる還元製造方法を含み得る。他の例示的な実施形態では、製造技術は、3D印刷技術などの積層造形技術を含み得る。製造技術が積層造形技術である場合、物理的3D骨異常モデル115mは、術前センターで、現場から離れた場所で、又は手術施設で若しくはその近傍で製造され得る。
図4は、外側顆103上の計算された外部欠損骨表面117bに延在する調整ノブ442付きの調整パッド440を有する旋回式大腿切除ガイド位置決め器具400の側面図である。見て分かるように、軟骨摩耗の深さが適切に確認されている場合、調整パッド440は、骨の発症前表面まで延在するものと考えられ得る。しかしながら、実際には、外科医は代わりに、確認された軟骨減少の深さに骨量減少の深さを追加することを選択し、最大骨量減少深さと軟骨減少深さの合計を反映するように調整パッド440の長さlを設定し、次いで、調整パッド440を外側顆の残りの露出した骨116に配置することを選択し得る。このようにして、遠位基準面485は、この時点で発症前関節の関節面に正確に配置される。
他の例示的な実施形態では、1:1の物理的3D骨異常モデル115mは、調整ノブ440が露出した骨異常115bに隣接して配置されているときに、1:1の物理的3D骨異常モデル115mの相補的表面が骨異常115bの表面116と嵌合するように、調整ノブ440の遠位端に固着され得る(図17を参照されたい)。対象整形外科要素100のうちの1つが遠位大腿骨105の関節軟骨123である更なる他の例示的な実施形態では、物理的3D骨異常モデル115m1は、上述のような骨量減少の体積に加えて、欠損軟骨のモデル化された表面を含み得る。表面調整アルゴリズムは、周囲の軟骨の表面に対して欠損軟骨の表面を画定するために使用され得る。
図5は、遠位切除が切除ガイド424を用いて行われた後を示した、大腿骨105の簡略化された遠位端の斜視図である。後部パッド693a、693bを含むアラインメントガイド600は、大腿骨顆103、107の後方部分103a、107aの下に配置される。簡略化のために、大腿骨顆の後方部分は、「後顆」103a、107aと称されることになる。アラインメントガイド600は、本明細書に示されるような複合型のサイジング及びアラインメントガイドであるか、又はアラインメントガイド600のみであり得る。アラインメントガイド600は、本体602を含み得る。後部パッド693a、693bは、本体602の下方部分から延在し、ドリルボア642a、642bは、後部パッド693a、693b上方の本体602を通って延在する。図示された実施形態では、旋回ドリルボア642aは、アラインメントガイド600の本体602を通って延在し、ラジアルドリルボア642bは、旋回ドリルボア642aから半径方向遠位に配置される。ラジアルドリルボア642bはまた、アラインメントガイド600の本体602を通って延在する。実際には、外科医は、後部パッド693a、693bをそれぞれの後顆103a、107aの下に置き、本体602が、遠位大腿骨105の切除面603に隣接して配置されるようにする。外科医は、後顆103a、107a上の残りの関節軟骨の厚さを測定し、軟骨摩耗の量を反映するように後部パッド693a、693bの長さを設定する(図2を参照して上記で説明した方法と同様)。本体602に対して後部パッド693a、693bの位置を調整することで、ラジアルドリルボア642bを旋回ドリルボア642aの周りで旋回させる。外科医が角度に満足すると、外科医は、アラインメントガイド600の旋回部分の角度を所定の位置にロックすることができる。
次いで、外科医は、ドリルボア642a、642bを介して切除面603内に穴をあけ、次いで、それぞれのドリルボア642a、642bにピンを挿入することができる。次いで、外科医は、アラインメントガイド600を取り外して、ピンを残すことができる。これらのピンの角度は、更なる切除ガイド(一般に「4-in-1切断ブロック」として知られる)が切除面の隣に配置され得る角度を画定する。4-in-1切断ブロックは、外科医が単一の「切断ブロック」を使用して前方、後方、及び面取り切除を行うことを可能にする追加の切除スロットを有する。これらの追加の切除は、試験的インプラント(及び最終的には実際の内部プロテーゼインプラント)が配置され得る遠位大腿骨105上にプロファイルを作製する。
負の骨異常(例えば、骨量減少)115cは、大腿骨顆103、107の後方部分103a、107aではあまり一般的ではない場合があるが、そのような骨量減少は、特に進行性変性疾患においては依然として可能である。後顆103a、107aの負の骨異常115cは、特に運動学的アラインメントにおいて、発症前関節の自然関節面を正確に複製する際に同様の問題を提示する。
例えば、内側後顆107aが、図5に示されるように負の骨異常115を有する場合、存在する骨摩耗の量を考慮するように図示されたアラインメントガイドを調整する方法を確実に知ることは、以前は不可能であった。内側後部パッド693aを過剰調整するにより、それぞれのドリルボア642a、642bが切除面603に対して配置される位置が変化し、それぞれのドリルボア642a、642bの旋回角度が変化し得る。その結果、ピンは誤って配置され得る。延いては、4-in-1切断ブロックの位置も、誤って配置されたピン上を摺動するためにずれることになる。前方、後方、及び面取り切除の誤った配置により、内部プロテーゼインプラントの大腿骨構成要素が不正確に着座することになり得る。
この問題に対処するために、外科医は、上述の方法で、又は他の既知の方法を使用して、後顆103a、107a上の関節軟骨摩耗の量を測定することができる。他の例示的な実施形態では、1:1の物理的3D骨異常モデル115mは、後部パッド693aが露出した骨異常115cに隣接して配置されているときに、1:1の物理的3D骨異常モデル115mの相補的表面(「嵌合面」としても知られる)が骨異常115cの表面116cと嵌合するように、後部パッド693a、693bの遠位端に固着され得る。
他の例示的な実施形態では、物理的3D骨異常モデルの嵌合表面は、1つ以上の突出部(例えば、棘波、ピン、又は他の保護)を含み得る。これらの突出部は、骨異常115cの摩耗表面116cに槌で打たれるか、ないしは別の方法で強制的に挿入され、それによって、骨異常の物理モデル115mを負の骨異常115c内に固定し、それによって負の骨異常115cを排除し得る。このようにしてアラインメントガイド600を物理的3D骨異常モデルと共に使用することで、より正確な参照を確実にすることができる。更に、いくつかの4-in-1切断ブロックは、後顆107a、103aの表面を参照するように設計されたマーキングを有する。このようにして物理的3D骨異常モデルを使用することは、後顆107a、103aの発症前表面を効果的に再作製し、4-in-1切断ブロック(又は場合によっては他の器具)が参照される指標に適切に位置合わせされる視覚指標として役立ち得る。
対象整形外科要素100のうちの1つが遠位大腿骨105の関節軟骨123である更なる他の例示的な実施形態では、物理的3D骨異常モデル115m2は、上述のような骨量減少の体積に加えて、欠損軟骨のモデル化された表面を含み得る。表面調整アルゴリズムは、周囲の軟骨の表面に対して欠損軟骨の表面を画定するために使用され得る。このようにして、顆の関節面が正確に再作製され、それによって関節面の参照の精度が実質的に向上し得る。
他の例示的な実施形態では、負の骨異常の最大深さに等しい高さ、欠損関節軟骨の深さ、又は負の骨異常の最大深さと欠損関節軟骨の深さとの合計を有するシムが、後部パッド693a、693bのうちの1つ以上に追加されて、摩耗の量がオフセットされ、発症前関節面の位置が実質的に再作製され得る。
1つ以上の中央演算処理装置(「CPU」)、ランダムアクセスメモリ(「RAM」)、及び入力/出力(「I/O」)インターフェース(複数可)などのハードウェアを有するコンピュータプラットフォームは、横方向平面に沿って異なる配向で撮られた少なくとも2つの2D放射線画像を受信し得る。配向は、好ましくは互いに直交している。次いで、コンピュータプラットフォームは、骨量減少の領域115a、115b、115cを識別し、表面調整アルゴリズムを適用して骨量減少の領域115a、115b、115cに適合する外部欠損骨表面117a、117b、117cを計算する、機械学習ソフトウェアアプリケーションを実行し得る。
コンピュータプラットフォームは、任意選択的に、3Dコンピュータモデル1100を表示し得る。3Dモデルが表示される例示的な実施形態では、コンピュータプラットフォームは、骨量減少の領域115a、115b、115cにわたる外部欠損骨表面117a、117b、117cを更に表示して、観察者が発症前の外部欠損骨表面117a、117b、117cを視覚化することを可能にし得る。図5に戻って参照すると、外科医は、このデータを使用して、発症前の後顆103a、107aの関節表面を反映するように、アラインメントガイド600の後部パッド693a、693bを設定することができる。
図16は、概して、本明細書で論じられる方法のうちの1つ以上がいくつかの例示的な実施形態に従って実行され得る例示的な計算機1600のブロック図を示す。特定の例示的な実施形態では、計算機1600は、単一の機械で動作し得る。他の例示的な実施形態では、計算機1600は、接続された(例えば、ネットワーク化された)機械を含み得る。例示的な計算機1600を含み得るネットワーク化された機械の例としては、例えば、クラウドコンピューティング構成、分散ホスト構成、及び他のコンピュータクラスタ構成が挙げられる。ネットワーク構成では、計算機1600のうちの1つ以上の機械は、クライアント機、サーバ機、又はサーバ-クライアント両方の機械の容量で動作し得る。例示的な実施形態では、計算機1600は、パーソナルコンピュータ(「PC」)、携帯電話、タブレットPC、ウェブアプライアンス、携帯情報端末(「PDA」)、ネットワークルータ、ブリッジ、スイッチ、又は該機械によって若しくは該機械に制御される第2の機械によって取られるアクションを指定する命令を実行することができる任意の機械に存在し得る。
例示的な計算機1600を含み得る例示的な機械は、例として、論理機能を実行することができる構成要素、モジュール、又は同様の機構が挙げられ得る。そのようなマシンは、動作中に指定された動作を実行することができる有形のエンティティ(例えば、ハードウェア)であり得る。一例として、ハードウェアは、特定の動作を実行するように配線され得る(例えば、具体的に構成される)。例として、そのようなハードウェアは、構成可能な実行媒体(例えば、回路、トランジスタ、論理ゲートなど)及び命令を有するコンピュータ可読媒体を含み得、命令は、動作時に特定の動作を実行するように実行媒体を構成する。構成は、ローディング機構を介して、又は実行媒体の指示の下で行われ得る。実行媒体は、機械が動作しているときに、コンピュータ可読媒体に選択的に通信する。例として、マシンが動作中にあるとき、実行媒体は、第1の時点で第1のアクション又はアクションのセットを実行するように第1の命令セットによって構成され、次いで第2の時点で、第2のアクション又はアクションのセットを実行するように第2の命令セットによって再構成され得る。
例示的な計算機1600は、ハードウェアプロセッサ1697(例えば、CPU、グラフィックスプロセッシングユニット(「GPU」)、ハードウェアプロセッサコア、若しくはそれらの任意の組み合わせ)、メインメモリ1696及び静的メモリ1695を含み得、それらの一部又は全ては、インターリンク(例えば、バス)1694を介して互いに通信し得る。計算機1600は、ディスプレイユニット1698、入力装置1691(好ましくは、キーボードなどの英数字又は文字数字入力装置)、及びユーザインターフェース(「UI」)ナビゲーション装置1699(例えば、マウス又はスタイラス)を更に含み得る。例示的な実施形態では、入力装置1691、ディスプレイユニット1698、及びUIナビゲーション装置1699は、タッチスクリーンディスプレイであり得る。例示的な実施形態では、ディスプレイユニット1698は、ホログラフィーレンズ、眼鏡、ゴーグル、他のアイウェア、又は他のAR若しくはVRディスプレイ構成要素を含み得る。例えば、ディスプレイユニット1698は、ユーザの頭部に着用されてもよく、ヘッドアップディスプレイをユーザに提供し得る。入力装置1691としては、仮想キーボード(例えば、バーチャル現実(「VR」)又は拡張現実(「AR」)設定で仮想的に表示されるキーボード)又は他の仮想入力インターフェースが挙げられ得る。
計算機1600は、記憶装置(例えば、ドライブユニット)1692、信号生成器1689(例えば、スピーカ)、ネットワークインターフェース装置1688、及び全地球測位システム(「GPS」)センサ、加速度計、コンパス、又は他のセンサなどの1つ以上のセンサ1687を更に含み得る。計算機1600は、1つ以上の補助装置を通信又は制御するために、シリアル(例えば、ユニバーサルシリアルバス(「USB」))、並列、又は他の有線若しくは無線(例えば、赤外線(「IR」)近距離通信(「NFC」)、ラジオなど)接続などの出力コントローラ1684を含み得る。
記憶装置1692は、本明細書に記載の機能又は方法のうちのいずれか1つ以上によって具現化又は利用されるデータ構造又は命令の1つ以上のセット1682(例えば、ソフトウェア)が記憶される、非一時的である機械可読媒体1683を含み得る。命令1682は、計算機1600によるそれらの実行中に、メインメモリ1696の内部、静的メモリ1695の内部、又はハードウェアプロセッサ1697の内部に完全に、又は少なくとも部分的に存在し得る。例として、ハードウェアプロセッサ1697、メインメモリ1696、静的メモリ1695、又は記憶装置1692のうちの1つ又は任意の組み合わせは、機械可読媒体を構成し得る。
機械可読媒体1683は、単一の媒体として示されているが、「機械可読媒体」という用語は、1つ以上の命令1682を記憶するように構成された単一の媒体又は複数の媒体(例えば、分散型若しくは集中型データベース、又は関連付けられたキャッシュ及びサーバ)を含み得る。
「機械可読媒体」という用語は、計算機1600が実行する命令を記憶、符号化、若しくは伝達することができ、かつ計算機1600に、本開示の方法のうちの任意の1つ以上を実行させるか、又はそのような命令によって使用されるか若しくはそのような命令に関連付けられたデータ構造を記憶、符号化、若しくは伝達することができる、任意の媒体を含み得る。機械可読媒体の非限定的な例示的なリストは、磁気媒体、光学媒体、ソリッドステートメモリ、不揮発性メモリ、例えば、半導体メモリ装置(例えば、電子的に消去可能なプログラム可能読み取り専用メモリ(electronically erasable programable read-only memory、「EEPROM」)、電子的にプログラム可能な読み取り専用メモリ(electronically programable read-only memory、「EPROM」)、並びに内部ハードディスク及び取り外し可能ディスク、フラッシュ記憶装置、光磁気ディスク、CD-ROMディスク、及びDVD-ROMディスクなどの磁気ディスクを含み得る。
命令1682は更に、いくつかの転送プロトコル(例えば、インターネットプロトコル(internet protocol、「IP」)、ユーザデータグラムプロトコル((user datagram protocol、「UDP」)、フレームリレー、伝送制御プロトコル(「TCP」、ハイパーテキスト転送プロトコル(hypertext transfer protocol、「HTTP」)など)のうちの1つを利用するネットワークインターフェース装置1688を経由する伝送媒体を使用して、通信ネットワーク1681を介して送信又は受信され得る。例示的な通信ネットワークとしては、広域ネットワーク(wide are network、「WAN」)、基本電話サービス(plain old telephone、「POTS」)ネットワーク、ローカルエリアネットワーク(local area network、「LAN」)、パケットデータネットワーク、携帯電話ネットワーク、無線データネットワーク、及び同機種間(peer-to-pper、「P2P」)ネットワークが挙げられ得る。例として、ネットワークインターフェース装置1688は、通信ネットワーク1681に接続するために1つ以上の物理的ジャッキ(例えば、イーサネット、同軸、又は電話ジャック)又は1つ以上のアンテナを含み得る。
例として、ネットワークインターフェース装置1688は、単入力多出力(single-input multiple-output、「MIMO」)、又は多入力単出力(multiple-input single output、「MISO」)方法のうちの少なくとも1つを使用して無線で通信するために複数のアンテナを含み得る。「伝送媒体」という語句は、計算機1600が実行する命令を記憶、符号化、又は伝達することができる任意の無形媒体を含み、そのようなソフトウェアの通信を容易にするために、アナログ若しくはデジタル通信信号又は他の無形媒体を含む。
本開示による例示的な方法は、少なくとも部分的に機械又はコンピュータ実装型であり得る。いくつかの例は、本明細書に記載の例示的な方法を実行するように電子装置を構成するように動作可能な命令で符号化された、コンピュータ可読媒体又は機械可読媒体を含み得る。そのような例示的な方法の例示的な実装形態は、アセンブリ言語コード、マイクロコード、高レベル言語コード、又は他のコードなどのコードを含み得る。そのようなコードは、様々な方法を実行するためのコンピュータ可読命令を含み得る。コードは、コンピュータプログラム製品の一部を形成し得る。更に、一例では、コードは、実行中又は他の時間の間など、揮発性、非一時的、又は不揮発性の有形のコンピュータ可読媒体上又は該コンピュータ可読媒体内に有形に記憶され得る。これらの有形のコンピュータ可読媒体の例としては、限定するものではないが、取り外し可能な光学ディスク(例えば、コンパクトディスク及びデジタルビデオディスク)、ハードドライブ、取り外し可能な磁気ディスク、メモリカード又はスティック、取り外し可能なフラッシュ記憶ドライブ、磁気カセット、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROMS)、及び他の媒体が挙げられ得る。
特定の例示的な実施形態では、表面調整アルゴリズムは、曲線フィッティングアルゴリズムであり得る。例示的な曲線フィッティングアルゴリズムは、補間又は平滑化を伴い得る。他の例示的な実施形態では、曲線フィッティングアルゴリズムは、骨の発症前関節面の位置を外挿するために使用され得る。他の例示的な実施形態では、表面調整アルゴリズムは、摩耗していない対側性顆などの摩耗していない対側性整形外科要素100の寸法を識別し得る。表面調整アルゴリズムは、摩耗していない整形外科要素の表面を、摩耗した整形外科要素100上の対応する骨量減少の領域に追加して、外部欠損骨表面117a、117bを計算し得る。関連する例示的な実施形態では、摩耗していない整形外科要素100の測定値に基づく初期の欠損骨表面計算は、摩耗した整形外科要素100の摩耗していない部分の曲線を適合させるために増加又は低減され得る。
他の例示的な実施形態では、表面調整アルゴリズムは、骨量減少の最大深さを計算し得る。そのような実施形態では、この最大深さは、関節軟骨減少の深さに追加されて、顆ごとの発症前関節面の位置が計算され得る。更に他の実施形態では、骨量減少の領域115a、115bの体積61が計算され得る。任意の開示された計算又は任意のそのような計算の結果は、任意選択的に、ディスプレイ19上に表示され得ることが理解されよう。他の例示的な実施形態では、この方法は、外部欠損骨表面に重なっている欠損関節軟骨の深さを確認することと、欠損関節軟骨の深さを外部欠損骨表面に追加して、発症前関節顆表面を画定することと、を更に含み得る。
図13は、深層学習ネットワークを使用して、オフセット角度θから撮られた2つの平坦化された入力画像を使用して、画像化された整形外科要素100上又は該整形外科要素100内の骨異常115の領域を識別する、例示的な方法の工程を概説するフロー図である。例示的な方法は、撮像機を較正して、画像点と対応する空間座標との間のマッピング関係を決定して空間データ43を画定する工程1bを含む。工程2bは、撮像技術を使用して、対象整形外科要素100の第1の画像30をキャプチャすることを含み、第1の画像30は、第1の基準フレーム30aを画定する。工程3bは、撮像技術を使用して、対象整形外科要素100の第2の画像50をキャプチャすることを含み、第2の画像50は、第2の基準フレーム50aを画定し、第1の基準フレーム30aは、第2の基準フレーム50aからオフセット角度θでオフセットされる。
工程4bは、対象整形外科要素100の第1の画像30からの空間データ43と、対象整形外科要素100の第2の画像50からの空間データ43とを投影して、体積データ75を画定することを含む。工程5bは、深層学習ネットワークを使用して、体積データ75を使用して対象整形外科要素100を検出することを含み、体積データ75は、対象整形外科要素100上又は対象整形外科要素100内の解剖学的ランドマークを画定する。
工程6bは、深層学習ネットワークを使用して、体積データ75を使用して整形外科要素100上又は対象整形外科要素100内の骨異常115を検出することを含む。工程7bは、深層学習ネットワークを使用して、解剖学的ランドマークによって画定された整形外科要素100にマスクを適用することを含む。工程8bは、深層学習ネットワークを体積データ75に適用して、対象整形外科要素100の3Dモデルを生成することを含む。工程9aは、表面調整アルゴリズムを適用して、対象整形外科要素の3Dモデル1100から骨異常115を除去することを含む。
本開示の範囲内にあると見なされる方法及びシステムでは、対象整形外科要素100を検出する深層学習ネットワーク、骨異常115を検出する深層学習ネットワーク、マスクを適用するか、若しくは骨異常の3Dモデル115m若しくは整形外科要素の3Dモデル1100を生成する深層学習ネットワーク、又は表面調整アルゴリズムを適用する深層学習ネットワークは、同じ深層学習ネットワークであってもよく、又は異なる深層学習ネットワークであってもよいことが理解されよう。深層学習ネットワークが異なる深層学習ネットワークである実施形態では、これらの深層学習ネットワークは、「第1の深層学習ネットワーク」、「第2の深層学習ネットワーク」、「第3の深層学習ネットワーク」などと称され得る。
図14は、深層学習ネットワークを使用して、オフセット角度θから撮られた2つの平坦化された入力画像を使用して、画像化された整形外科要素100上又は該対象整形外科要素100内の骨異常の領域115を識別する、例示的な方法の工程を概説するフロー図である。例示的な方法は、放射線撮像機を較正して、放射線画像点と対応する空間座標との間のマッピング関係を決定して空間データ43を画定する工程1cを含む。工程2cは、放射線撮像技術を使用して、対象整形外科要素100の第1の放射線画像30をキャプチャすることを含み、第1の放射線画像30は、第1の基準フレーム30aを画定する。
工程3cは、放射線撮像技術を使用して、対象整形外科要素100の第2の放射線画像50をキャプチャすることを含み、第2の放射線画像50は、第2の基準フレーム50aを画定し、第1の基準フレーム30aは、第2の基準フレーム50aからオフセット角度θでオフセットされる。工程4cは、対象整形外科要素100の第1の放射線画像30からの空間データ43と、対象整形外科要素100の第2の放射線画像50からの空間データ43とを投影して、体積データ75を画定することを含む。工程5cは、深層学習ネットワークを使用して、空間データ43を使用して対象整形外科要素100を検出することを含み、空間データ43は、対象整形外科要素100上又は対象整形外科要素100内の解剖学的ランドマークを画定する。
工程6cは、深層学習ネットワークを使用して、骨異常155にマスクを適用することを含み、第1の画像又は第2の画像のいずれかのマスクが適用された領域内に配置された画像点を含む空間データ43は、第1の値(例えば、正の値、又は「1」)を有し、第1の画像30又は第2の画像50のいずれかのマスクが適用された領域の外側に配置された画像点を含む空間データ43は、第2の値(例えば、負の値、又は「0」)を有し、第1の値は第2の値と異なる。工程7cは、骨異常の領域115を除去する補正領域を計算することを含む。
図15は、深層学習ネットワークを使用して、オフセット角度θから撮られた2つの平坦化された入力画像を使用して、画像化された整形外科要素100上又は該対象整形外科要素100内の骨異常115の領域を識別する、例示的な方法の工程を概説するフロー図である。例示的な方法は、放射線撮像機を較正して、放射線画像点と対応する空間座標との間のマッピング関係を決定して空間データ43を画定する工程1dを含む。
工程2dは、放射線撮像技術を使用して、対象整形外科要素100の第1の放射線画像30をキャプチャすることを含み、第1の放射線画像30は、第1の基準フレーム30aを画定する。
工程3dは、放射線撮像技術を使用して、対象整形外科要素100の第2の放射線画像50をキャプチャすることを含み、第2の放射線画像50は、第2の基準フレーム50aを画定し、第1の基準フレーム30aは、第2の基準フレーム50aからオフセット角度θでオフセットされる。工程4dは、対象整形外科要素100の第1の放射線画像30からの空間データ43と、対象整形外科要素100の第2の放射線画像50からの空間データ43とを投影して、体積データ75を画定することを含む。
工程5dは、深層学習ネットワークを使用して、体積データ75を使用して対象整形外科要素100を検出することを含み、体積データ75は、整形外科要素100上又は整形外科要素100内の解剖学的ランドマークを画定する。工程6dは、深層学習ネットワークを使用して、解剖学的ランドマークによって画定された対象整形外科要素100にマスクを適用することを含み、第1の画像又は第2の画像のいずれかのマスクが適用された領域内に配置された画像点を含む空間データ43は、正の値を有し、第1の画像又は第2の画像のいずれかのマスクが適用された領域の外側に配置された画像点を含む空間データ43は、負の値を有する。工程7dは、深層学習ネットワークを使用して、体積データ75を使用して整形外科要素100上又は整形外科要素100内の骨異常115を検出することを含む。工程8dは、深層学習ネットワークを体積データ75に適用して、骨異常の3Dモデルを生成することを含む。
本明細書に開示される例示的なシステム及び方法は、インプラントの配置及び機能の術前計画、術中計画若しくは実行、又は術後評価に使用され得ることが更に企図される。
図18は、X線チューブ、フィルタ26、コリメータ27、及び検出器33などの、X線源21を含む放射線撮像機1800を備える例示的なシステムの概略図である。図18では、放射線撮像機1800は、上から下に示されている。患者1は、X線源21と検出器33との間に配置される。放射線撮像機1800は、回転可能なガントリ28上に搭載され得る。放射線撮像機1800は、第1の基準フレーム30aからの患者1の放射線画像を撮り得る。次いで、ガントリ28は、オフセット角度(好ましくは90°)だけ放射線撮像機1800を回転させ得る。次いで、放射線撮像機1800は、第2の基準フレーム50aから第2の放射線画像50を撮り得る。他の例示的な実施形態は、複数のオフセット角度θで撮られた複数の入力画像を使用することを含み得ることが理解されよう。そのような実施形態では、オフセット角度は、隣接する入力画像間で90°未満又は90°超であり得る。
次いで、トランスミッタ29は、第1の画像30及び第2の画像50を計算機1600に送信する。計算機1600は、深層学習ネットワークを適用して、本開示と一貫性のある任意の方法で、整形外科要素100上又は整形外科要素100内の骨異常の領域115を識別し得る。図18は、計算機1600の出力が製造機18に送信されることを更に示す。製造機18は、3Dプリンタなどの積層造形機であり得るか、又は製造機は、CNC機などの減法製造機であり得る。更に他の例示的な実施形態では、製造機18は鋳造金型であり得る。製造機18は、計算機1600からの出力データを使用して、対象整形外科要素の1つ以上の3Dモデルの物理モデル1100を生成し得る。実施形態では、この製造機を使用して、骨異常の物理的3Dモデル115mが生成され得る。
図18はまた、計算機械1600からの出力データがディスプレイ19に送信される別の実施形態を示す。第1のディスプレイ19aは、骨異常の仮想3Dモデル115mを示す。第2のディスプレイ19bは、識別された対象整形外科要素の仮想3Dモデル1100を示す。
他の例示的な実施形態では、3Dモデルは、ディスプレイ19上に表示され得る。このディスプレイ19は、スクリーンの形態をとり得る。他の例示的な実施形態では、ディスプレイ19は、手術室で外科医又は他の人々によって着用又は保持されるガラス又はプラスチック製の表面を含み得る。そのようなディスプレイ19は、拡張現実装置の一部を含み得、そのため、ディスプレイは、ベアラの視野に加えて3Dモデルを示す。特定の実施形態では、そのような3Dモデルは、実際の手術関節上に重ね合わされ得る。更に他の例示的な実施形態では、3Dモデルを手術整形外科要素100の1つ以上の特徴に「ロック」することができ、それによって、ディスプレイ19の動きとは無関係に、手術整形外科要素100の1つ以上の特徴に対して3Dモデルの仮想位置を維持することができる。
ディスプレイ19は、視野全体がシミュレートされる仮想現実システムの一部を含み得ることが、なお更に企図される。
発症前関節のアラインメントのために外部骨量減少を計算する例示的な方法は、少なくとも2つの2D放射線画像から手術領域の3Dモデルを生成することを含む。少なくとも第1の放射線画像は、第1の横方向位置でキャプチャされる。少なくとも第2の放射線画像は、第2の横方向位置でキャプチャされる。第1の横方向位置は、第2の横方向位置とは異なる。第1の横方向位置は、望ましくは、第2の横方向位置から直交して配置される。この方法は、3Dコンピュータモデル上の骨量減少の領域を識別することと、表面調整アルゴリズムを適用して、骨量減少の領域に適合する外部欠損骨表面を計算することと、を更に含む。
外部骨量減少の程度を計算するための方法は、放射線撮像技術を使用して、所望の整形外科要素の第1の画像をキャプチャすることであって、第1の画像は第1の基準フレームを画定する、ことと、放射線撮像技術を使用して、所望の整形外科要素の第2の画像をキャプチャすることであって、第2の画像は第2の基準フレームを画定し、第1の基準フレームは、第2の基準フレームからオフセット角度でオフセットされる、ことと、3D再構成技術を適用して、所望の整形外科要素の3Dモデルを生成することと、所望の整形外科要素の3Dモデル内の骨量減少の領域を識別することと、骨量減少の領域に隣接する骨の無傷の領域を識別することと、調整アルゴリズムを適用して、骨量減少の埋められた領域を表示することと、を含む。
発症前関節のアラインメントのための外部骨量減少を計算するための例示的な方法は、少なくとも2つの2D放射線画像から手術領域の3Dモデルを生成することであって、少なくとも第1の放射線画像は第1の位置でキャプチャされ、少なくとも第2の放射線画像は第2の位置でキャプチャされ、第1の横方向位置は第2の横方向位置とは異なる、ことと、3Dモデル上の骨異常の領域を識別することと、表面調整アルゴリズムを適用して、骨異常の領域を置き換えるように構成された外部欠損骨表面を計算することと、を含む。
例示的な実施形態では、表面調整アルゴリズムは、曲線フィッティングアルゴリズムである。例示的な実施形態では、この方法は、骨異常の領域の最大深さを計算することを更に含む。例示的な実施形態では、この方法は、骨異常の領域の最大深さを軟骨摩耗の深さに追加して、発症前関節面を画定することを更に含む。例示的な実施形態では、術中、3Dモデルが、実際の整形外科要素にわたって拡張現実装置上に表示される。例示的な実施形態では、骨異常の領域は、骨量減少の領域である。
例示的な実施形態では、この方法は、対側性整形外科要素の無傷の領域を識別することを更に含み、対側性整形外科要素の無傷の領域は、手術整形外科要素の悪化した領域に対応する。
発症前膝関節を運動学的に位置合わせする目的で外部骨量減少を計算するための例示的な方法は、少なくとも2つの2D放射線画像から膝関節手術領域の3Dモデルを生成することであって、少なくとも第1の放射線画像は第1の位置でキャプチャされ、少なくとも第2の放射線画像は第2の位置でキャプチャされ、第1の位置は第2の位置とは異なる、ことと、3Dモデル上の骨量減少の領域を識別することと、表面調整アルゴリズムを適用して、骨量減少の領域に適合する外部欠損骨表面を計算することと、外部欠損骨表面に重なっている欠損関節軟骨の深さを確認することと、欠損関節軟骨の深さを外部欠損骨表面に追加して、発症前顆表面を画定することと、を含む。
例示的な実施形態では、この方法は、切除ガイドロケータのガイド表面が発症前顆表面に配置されるように、切除ガイドロケータの調整可能なパッドを調整して残りの外部骨表面に接触させることを更に含む。
インビボでの整形外科的悪化の程度を計算するための例示的な方法は、非侵襲的撮像技術を使用して、所望の整形外科要素の第1の画像をキャプチャすることであって、第1の画像は第1の基準フレームを画定する、ことと、非侵襲的撮像技術を使用して、所望の整形外科要素の第2の画像をキャプチャすることであって、第2の画像は第2の基準フレームを画定し、第1の基準フレームは、第2の基準フレームからオフセット角度でオフセットされる、ことと、3D再構成技術を適用して、所望の整形外科要素の3Dモデルを生成することと、所望の整形外科要素の3Dモデル内の骨量減少の領域を識別することと、表面調整アルゴリズムを適用して、悪化した領域の表面を計算することと、を含む。
例示的な実施形態では、この方法は、ディスプレイ上に3D再構成モデルを投影することを更に含む。例示的な実施形態では、非侵襲的撮像技術は、放射線撮像技術である。
運動学的アラインメント手順の軟骨摩耗及び骨量減少を計算するための例示的な方法は、放射線撮像機を較正して、画像点と対応する空間座標との間のマッピング関係を決定して空間データを画定することと、放射線撮像技術を使用して、所望の整形外科要素の第1の画像をキャプチャすることであって、第1の画像は第1の基準フレームを画定する、ことと、放射線撮像技術を使用して、所望の整形外科要素の第2の画像をキャプチャすることであって、第2の画像は第2の基準フレームを画定し、第1の基準フレームは、第2の基準フレームからオフセット角度でオフセットされる、ことと、第1の画像内の所望の整形外科要素の空間データ及び第2の画像内の整形外科要素の空間データを識別することと、第1の画像及び第2の画像内の所望の整形外科要素の空間データを単一座標系に変換して、変換された空間データを画定することと、所望の整形外科要素の変換された空間データをディスプレイ上に投影して、所望の整形外科要素の3Dモデルを生成することと、所望の整形外科要素の3Dモデル内の悪化した領域を識別することと、表面調整アルゴリズムを適用して、悪化した領域の表面を計算することと、を含む。
例示的な実施形態では、調整アルゴリズムは、曲線フィッティングアルゴリズムである。例示的な実施形態では、方法は、3Dモデル上の悪化した領域の体積を表示することを更に含む。例示的な実施形態では、方法は、悪化した領域に隣接する無傷の領域を識別することを更に含む。
運動学的アラインメント人工膝関節置換術のために遠位大腿骨顆における関節軟骨摩耗及び外部骨量減少を計算するための例示的な方法は、放射線撮像機を較正して、画像点と対応する空間座標との間のマッピング関係を決定して空間データを画定することと、放射線撮像技術を使用して、遠位大腿骨の第1の画像をキャプチャすることであって、第1の画像は第1の基準フレームを画定する、ことと、放射線撮像技術を使用して、遠位大腿骨の第2の画像をキャプチャすることであって、第2の画像は第2の基準フレームを画定し、第1の基準フレームは、第2の基準フレームからオフセット角度でオフセットされる、ことと、第1の画像内の遠位大腿骨の空間データ及び第2の画像内の遠位大腿骨の空間データを識別することと、第1の画像及び第2の画像内の遠位大腿骨の空間データを単一座標系に変換して、変換された空間データを画定することと、遠位大腿骨の変換された空間データをディスプレイ上に投影して、遠位大腿骨の3Dモデルを生成することと、遠位大腿骨の3Dモデル内の悪化した領域を識別することと、調整アルゴリズムを適用して、悪化した領域の体積を計算することと、を含む。
例示的な実施形態では、第1の基準フレームは前後方向である。例示的な実施形態では、第2の基準フレームは内外方向である。例示的な実施形態では、悪化した領域は、遠位大腿骨顆のいずれかに欠損骨を含む。例示的な実施形態では、悪化した領域は、遠位大腿骨上に欠損関節軟骨を含む。例示的な実施形態では、調整アルゴリズムは、悪化した領域に隣接する無傷の領域を識別する。
例示的な実施形態では、この方法は、対側性整形外科要素の無傷の領域を識別することを更に含み、対側性整形外科要素の無傷の領域は、所望の整形外科要素の悪化した領域に対応する。例示的な実施形態では、調整アルゴリズムは、曲線フィッティングアルゴリズムである。例示的な実施形態では、この方法は、遠位大腿骨の3Dモデル上の悪化した領域の体積を表示することを更に含む。
骨異常の領域を計算するための例示的な方法は、少なくとも2つの2D画像からの関節手術領域の3Dモデルを生成することであって、第1の画像は第1の横方向位置でキャプチャされ、第2の画像は第2の横方向位置でキャプチャされ、第1の横方向位置は第2の横方向位置と異なる、ことと、3Dモデル上の骨異常の領域を識別することと、補正領域を計算することであって、補正領域は、周囲の骨領域に対して骨異常の領域を除去する、ことと、を含む。
例示的な実施形態では、この方法は、補正領域の3Dモデルを生成することを更に含む。例示的な実施形態では、この方法は、補正領域の物理的3Dモデルを生成することを更に含む。例示的な実施形態では、この方法は、負の骨異常の対応する領域に着座するように構成された補正領域の物理的3Dモデルを含む、整形外科用ドリルガイドを生成することを更に含む。
例示的な実施形態では、補正領域の物理的3Dモデルを生成する工程は、積層造形技術を通じて達成される。例示的な実施形態では、補正領域の物理的3Dモデルは、基本的にポリアミド(すなわち、ナイロン)、チタン、コバルトクロム、又は別の臨床的に証明された生体適合性材料からなる群から選択される材料から製造される。例示的な実施形態では、この方法は、補正領域の物理的3Dモデルを外科用器具に固定的に係合させることを更に含む。例示的な実施形態では、外科用器具は、整形外科用ドリルガイドであり、補正領域の物理的3Dモデルは、負の骨異常の対応する領域に着座するように構成されている。例示的な実施形態では、この方法は、関節手術領域の物理的3Dモデルを生成することを更に含み、関節手術領域の物理的3Dモデルは、関節手術領域の1つ以上の骨要素を含む。
骨異常の領域を計算するための例示的な方法は、深層学習ネットワークを使用して、少なくとも2つの2D画像からの関節手術領域の3Dモデルを生成することであって、第1の画像は第1の横方向位置でキャプチャされ、第2の画像は第2の横方向位置でキャプチャされ、第1の横方向位置は第2の横方向位置と異なる、ことと、3Dモデル上の骨異常の領域を識別することと、補正領域を計算することであって、補正領域は、周囲の骨領域に対して骨異常の領域を除去する、ことと、を含む。
例示的なアラインメントガイドは、本体と、本体の下部から延在する後部パッドと、本体を通って後部パッドの上方に延在するドリルボアと、後部パッドのうちの1つの後部パッドに係合された骨異常の患者固有の物理的3Dモデルと、を含む。
例示的な実施形態では、骨異常の患者固有の3Dモデルは、本開示の任意のシステム又は方法によって生成される。
例示的な実施形態では、骨異常の患者固有の3Dモデルは、あるプロセスによって生成され、該プロセスは、放射線撮像機を較正して、放射線画像点と対応する空間座標との間のマッピング関係を決定して空間データを画定することと、放射線撮像技術を使用して、対象整形外科要素の第1の放射線画像をキャプチャすることであって、第1の放射線画像は第1の基準フレームを画定する、ことと、放射線撮像技術を使用して、対象整形外科要素の第2の放射線画像をキャプチャすることであって、第2の放射線画像は第2の基準フレームを画定し、第1の基準フレームは、第2の基準フレームからオフセット角度でオフセットされる、ことと、対象整形外科要素の第1の放射線画像からの空間データと、対象整形外科要素の第2の放射線画像からの空間データとを投影することと、深層学習ネットワークを使用して、空間データを使用して対象整形外科要素を検出することであって、空間データは、対象整形外科要素上又は対象整形外科要素内の解剖学的ランドマークを画定する、ことと、深層学習ネットワークを使用して、空間データを使用して対象整形外科要素上又は対象整形外科要素内の骨異常を検出することと、深層学習ネットワークを空間データに適用して、骨異常の3Dモデルを生成することと、を含む。
別の例示的な実施形態では、骨異常の患者固有の3Dモデルは、あるプロセスによって生成され、該プロセスは、放射線撮像機を較正して、放射線画像点と対応する空間座標との間のマッピング関係を決定して空間データを画定することと、放射線撮像技術を使用して、対象整形外科要素の第1の放射線画像をキャプチャすることであって、第1の放射線画像は第1の基準フレームを画定する、ことと、放射線撮像技術を使用して、対象整形外科要素の第2の放射線画像をキャプチャすることであって、第2の放射線画像は第2の基準フレームを画定し、第1の基準フレームは、第2の基準フレームからオフセット角度でオフセットされる、ことと、対象整形外科要素の第1の放射線画像からの空間データと、対象整形外科要素の第2の放射線画像からの空間データとを投影して、体積データを画定することと、深層学習ネットワークを使用して、体積データを使用して対象整形外科要素を検出することであって、体積データは、対象整形外科要素上又は対象整形外科要素内の解剖学的ランドマークを画定する、ことと、深層学習ネットワークを使用して、体積データを使用して対象整形外科要素上又は対象整形外科要素内の骨異常を検出することと、深層学習ネットワークを体積データに適用して、骨異常の3Dモデルを生成することと、を含む。
例示的な実施形態では、骨異常の物理的3Dモデルは、摩耗した骨の露出表面と嵌合する嵌合面を含む。例示的な実施形態では、骨異常の物理的3Dモデルは嵌合面を含み、嵌合面は突出部を更に含む。
例示的なシステムは、少なくとも2つの2D放射線画像から生成された手術領域を含む整形外科要素の3Dモデルであって、少なくとも第1の放射線画像は第1の位置でキャプチャされ、少なくとも第2の放射線画像は第2の位置でキャプチャされ、第1の位置は第2の位置とは異なる、3Dモデルと、3Dモデル上の骨異常の領域を識別するように構成され、表面調整アルゴリズムを適用するように更に構成された計算機であって、表面調整アルゴリズムは、3Dモデルから骨異常の領域を除去し、骨異常の領域を置き換えるために骨表面のトポグラフィを推定するように構成されている、計算機と、を備える。
例示的な実施形態では、表面調整アルゴリズムは、曲線フィッティングアルゴリズムである。例示的な実施形態では、システムは、ディスプレイを更に備え更に備え、3Dモデルは、ディスプレイ上に表示される。例示的な実施形態では、ディスプレイは、拡張現実装置又は仮想現実装置である。例示的な実施形態では、システムは、X線撮像機を更に備える。特定の例示的な実施形態では、システムは、製造装置を更に備え、製造装置は、3Dモデルの少なくとも一部分の物理モデルを生成するように構成されている。
例示的な実施形態では、製造装置は、骨異常の物理モデルを生成するように構成されている。例示的な実施形態では、骨異常の物理モデルは、負の骨異常の逆体積である。例示的な実施形態では、製造装置は、積層造形装置である。例示的な実施形態では、骨異常の物理モデルは、医療用ポリアミドを含む。
本発明は、本明細書に開示される又は図面に示される特定の構成及び方法の工程に限定されるものではないが、当該技術分野において既知の特許請求の範囲内の任意の修正又は同等物も含むことを理解されたい。本明細書に開示される装置及び方法は、有用性を見出すことが当業者には理解されよう。

Claims (18)

  1. システムであって、
    少なくとも2つの2D放射線画像から生成された手術領域を含む整形外科要素の3Dモデルであって、少なくとも第1の放射線画像は第1の位置でキャプチャされ、少なくとも第2の放射線画像は第2の位置でキャプチャされ、前記第1の位置は、前記第2の位置とは異なる、3Dモデルと、
    前記3Dモデル上の骨異常の領域を識別するように構成され、表面調整アルゴリズムを適用するように更に構成された計算機であって、前記表面調整アルゴリズムは、前記3Dモデルから前記骨異常の領域を除去し、前記骨異常の領域を置き換えるために骨表面のトポグラフィを推定するように構成されている、計算機と、を備える、システム。
  2. 前記表面調整アルゴリズムは、曲線フィッティングアルゴリズムである、請求項1に記載のシステム。
  3. ディスプレイを更に備え、前記3Dモデルは、前記ディスプレイ上に表示される、請求項1に記載のシステム。
  4. 前記ディスプレイは、拡張現実装置又は仮想現実装置である、請求項3に記載のシステム。
  5. X線撮像機を更に含む、請求項1に記載のシステム。
  6. 製造装置を更に備え、前記製造装置は、前記3Dモデルの少なくとも一部分の物理モデルを生成するように構成されている、請求項1に記載のシステム。
  7. 前記製造装置は、前記骨異常の物理モデルを生成するように構成されている、請求項6に記載のシステム。
  8. 前記骨異常の前記物理モデルは、負の骨異常の逆体積である、請求項7に記載のシステム。
  9. 前記製造装置は、積層造形装置である、請求項6に記載のシステム。
  10. 前記骨異常の前記物理モデルは、医療用ポリアミドを含む、請求項6に記載のシステム。
  11. あるプロセスによって生成された骨異常の3Dモデルであって、前記プロセスは、
    放射線撮像機を較正して、放射線画像点と対応する空間座標との間のマッピング関係を決定して空間データを画定することと、
    放射線撮像技術を使用して、対象整形外科要素の第1の放射線画像をキャプチャすることであって、前記第1の放射線画像は第1の基準フレームを画定する、ことと、
    前記放射線撮像技術を使用して、前記対象整形外科要素の第2の放射線画像をキャプチャすることであって、前記第2の放射線画像は第2の基準フレームを画定し、前記第1の基準フレームは、前記第2の基準フレームからオフセット角度でオフセットされる、ことと、
    前記対象整形外科要素の前記第1の放射線画像からの空間データと、前記対象整形外科要素の前記第2の放射線画像からの空間データとを投影して、体積データを画定することと、
    深層学習ネットワークを使用して、前記体積データを使用して前記対象整形外科要素を検出することであって、前記体積データは、前記対象整形外科要素上又は前記対象整形外科要素内で解剖学的ランドマークを画定する、ことと、
    前記深層学習ネットワークを使用して、前記体積データを使用して前記対象整形外科要素上又は前記対象整形外科要素内の骨異常を検出することと、
    前記深層学習ネットワークを前記体積データに適用して、前記骨異常の前記3Dモデルを生成することと、を含む、3Dモデル。
  12. 製造技術を使用して骨異常の物理的3Dモデルを生成することを更に含む、請求項11に記載の生産物。
  13. 骨異常の前記物理的3Dモデルは、摩耗した骨の露出表面と嵌合する嵌合面を含む、請求項12に記載の生産物。
  14. 骨異常の前記物理的3Dモデルは嵌合面を含み、前記嵌合面は突出部を更に含む、請求項12に記載の生産物。
  15. あるプロセスによって生成された骨異常の3Dモデルであって、前記プロセスは、
    放射線撮像機を較正して、放射線画像点と対応する空間座標との間のマッピング関係を決定して空間データを画定することと、
    放射線撮像技術を使用して、対象整形外科要素の第1の放射線画像をキャプチャすることであって、前記第1の放射線画像は第1の基準フレームを画定する、ことと、
    前記放射線撮像技術を使用して、前記対象整形外科要素の第2の放射線画像をキャプチャすることであって、前記第2の放射線画像は第2の基準フレームを画定し、前記第1の基準フレームは、前記第2の基準フレームからオフセット角度でオフセットされる、ことと、
    前記対象整形外科要素の前記第1の放射線画像からの空間データと、前記対象整形外科要素の前記第2の放射線画像からの空間データとを投影することと、
    深層学習ネットワークを使用して、前記空間データを使用して前記対象整形外科要素を検出することであって、前記空間データは、前記対象整形外科要素上又は前記対象整形外科要素内の解剖学的ランドマークを画定する、ことと、
    前記深層学習ネットワークを使用して、前記空間データを使用して前記対象整形外科要素上又は前記対象整形外科要素内の骨異常を検出することと、
    前記深層学習ネットワークを前記空間データに適用して、前記骨異常の前記3Dモデルを生成することと、を含む、3Dモデル。
  16. 製造技術を使用して骨異常の物理的3Dモデルを生成することを更に含む、請求項15に記載の生産物。
  17. 骨異常の前記物理的3Dモデルは、摩耗した骨の露出表面と嵌合する嵌合面を含む、請求項16に記載の生産物。
  18. 骨異常の前記物理的3Dモデルは嵌合面を含み、前記嵌合面は突出部を更に含む、請求項16に記載の生産物。
JP2022103227A 2021-07-01 2022-06-28 整形外科手術のための骨又は軟組織異常の評価を支援するために三次元画像再構成を使用するシステム及び方法 Pending JP2023008873A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163217567P 2021-07-01 2021-07-01
US63/217,567 2021-07-01
US17/835,894 2022-06-08
US17/835,894 US20230005232A1 (en) 2021-07-01 2022-06-08 Systems and methods of using three-dimensional image reconstruction to aid in assessing bone or soft tissue aberrations for orthopedic surgery

Publications (1)

Publication Number Publication Date
JP2023008873A true JP2023008873A (ja) 2023-01-19

Family

ID=82492702

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022103227A Pending JP2023008873A (ja) 2021-07-01 2022-06-28 整形外科手術のための骨又は軟組織異常の評価を支援するために三次元画像再構成を使用するシステム及び方法

Country Status (9)

Country Link
US (1) US20230005232A1 (ja)
EP (2) EP4111996A3 (ja)
JP (1) JP2023008873A (ja)
KR (1) KR20230006756A (ja)
CN (1) CN115153830A (ja)
AU (1) AU2022204396A1 (ja)
BR (1) BR102022013149A2 (ja)
CA (1) CA3166137A1 (ja)
MX (1) MX2022008223A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021131738A1 (ja) * 2019-12-27 2021-07-01
CN116277978B (zh) * 2023-05-12 2023-08-04 高州市人民医院 多模态骨关节数字化3d打印方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2709564B1 (en) * 2011-05-06 2019-04-17 Zimmer, Inc. Patient-specific manufacturing of porous metal prostheses
EP3506844B1 (en) * 2016-12-22 2020-10-14 Episurf IP-Management AB System and method for optimizing a planning implant position in an anatomical joint
EP3398551A1 (en) * 2017-05-03 2018-11-07 Stryker European Holdings I, LLC Methods of pose estimation of three-dimensional bone models in surgical planning a total ankle replacement
US11406338B2 (en) * 2017-07-08 2022-08-09 Vuze Medical Ltd. Apparatus and methods for use with image-guided skeletal procedures
US20200138522A1 (en) * 2018-11-07 2020-05-07 Zimmer, Inc. 3d model generation using thermal imaging and x-ray
US11648405B2 (en) * 2019-11-01 2023-05-16 Resolute 360, LLC Percutaneous nerve evaluation for sacral neuromodulation
CA3185669A1 (en) * 2020-06-04 2021-12-09 Episurf Ip-Management Ab Customization of implant
US11621086B2 (en) * 2020-06-04 2023-04-04 Episurf Ip-Management Ab Customization of individualized implant

Also Published As

Publication number Publication date
CN115153830A (zh) 2022-10-11
US20230005232A1 (en) 2023-01-05
EP4111996A3 (en) 2023-04-05
MX2022008223A (es) 2023-01-24
EP4111996A2 (en) 2023-01-04
EP4233760A2 (en) 2023-08-30
AU2022204396A1 (en) 2023-01-19
KR20230006756A (ko) 2023-01-11
EP4233760A3 (en) 2023-12-27
BR102022013149A2 (pt) 2023-01-10
CA3166137A1 (en) 2023-01-01

Similar Documents

Publication Publication Date Title
US11771498B2 (en) Lower extremities leg length calculation method
US20220015833A1 (en) Plan implementation
AU2009219989B2 (en) Customised surgical apparatus
US20170065432A1 (en) Prosthetic placement tool and associated methods
BR112019025107A2 (pt) Navegação cirúrgica do quadril usando fluoroscopia e sensores de rastreamento
CN113842214B (zh) 手术机器人导航定位系统及方法
US20040181149A1 (en) Device and method for intraoperative navigation
EP4233760A2 (en) Systems and methods of using three-dimensional image reconstruction to aid in assessing bone or soft tissue aberrations for orthopedic surgery
EP3003157B1 (en) Apparatus and method for calibrating an x-ray image of a knee of a patient
Kuo et al. Effects of positioning on radiographic measurements of ankle morphology: a computerized tomography-based simulation study
Newell et al. An intraoperative fluoroscopic method to accurately measure the post-implantation position of pedicle screws
Eschweiler et al. Biomechanical model based evaluation of Total Hip Arthroplasty therapy outcome
US20230094903A1 (en) Systems and methods of using photogrammetry for intraoperatively aligning surgical elements
US20230027518A1 (en) Systems and methods for using photogrammetry to create patient-specific guides for orthopedic surgery
KR20240076775A (ko) 수술 중에 수술 요소들을 정렬하기 위하여 사진측량을 이용하는 시스템들 및 방법들
KR20240076776A (ko) 관내인공삽입 임플랜트의 구성부의 유형을 추천하기 위하여 사진측량 및 심층학습을 이용하는 시스템들 및 방법들
Kostevšek et al. Interdisciplinary communication in orthopedic surgical planning
Hansen Dynamic model-based Radiostereometric Analysis for Evaluation of Femoroacetabular Impingement and Postoperative Results
Bullock Development and system integration of a computer-asisted total knee replacement technique