JP2023502280A - 骨断片化のケースにおける整形外科手術のための術前計画及び術中ガイダンス - Google Patents

骨断片化のケースにおける整形外科手術のための術前計画及び術中ガイダンス Download PDF

Info

Publication number
JP2023502280A
JP2023502280A JP2022530726A JP2022530726A JP2023502280A JP 2023502280 A JP2023502280 A JP 2023502280A JP 2022530726 A JP2022530726 A JP 2022530726A JP 2022530726 A JP2022530726 A JP 2022530726A JP 2023502280 A JP2023502280 A JP 2023502280A
Authority
JP
Japan
Prior art keywords
mesh
unknown
humerus
diaphysis
mesh corresponding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022530726A
Other languages
English (en)
Other versions
JP7463510B2 (ja
Inventor
シャウウィ、ジャン
ポルタレトスキー、セルギー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Howmedica Osteonics Corp
Original Assignee
Howmedica Osteonics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Howmedica Osteonics Corp filed Critical Howmedica Osteonics Corp
Publication of JP2023502280A publication Critical patent/JP2023502280A/ja
Priority to JP2024051275A priority Critical patent/JP2024096725A/ja
Application granted granted Critical
Publication of JP7463510B2 publication Critical patent/JP7463510B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/3094—Designing or manufacturing processes
    • A61F2/30942—Designing or manufacturing processes for designing or making customized prostheses, e.g. using templates, CT or NMR scans, finite-element analysis or CAD-CAM techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/40—Joints for shoulders
    • A61F2/4014—Humeral heads or necks; Connections of endoprosthetic heads or necks to endoprosthetic humeral shafts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/3094—Designing or manufacturing processes
    • A61F2/30942—Designing or manufacturing processes for designing or making customized prostheses, e.g. using templates, CT or NMR scans, finite-element analysis or CAD-CAM techniques
    • A61F2002/30943—Designing or manufacturing processes for designing or making customized prostheses, e.g. using templates, CT or NMR scans, finite-element analysis or CAD-CAM techniques using mathematical models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/3094—Designing or manufacturing processes
    • A61F2/30942—Designing or manufacturing processes for designing or making customized prostheses, e.g. using templates, CT or NMR scans, finite-element analysis or CAD-CAM techniques
    • A61F2002/30948—Designing or manufacturing processes for designing or making customized prostheses, e.g. using templates, CT or NMR scans, finite-element analysis or CAD-CAM techniques using computerized tomography, i.e. CT scans
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Cardiology (AREA)
  • Vascular Medicine (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Transplantation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Manufacturing & Machinery (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Surgery (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

手術システムは、上腕骨の少なくとも一部分を含む関節の画像データを取得し、上腕骨の骨幹の形状を決定するために画像データをセグメント化し、骨幹の決定された形状に基づいて、上腕骨の推定される病的状態になる前の形状を決定し、上腕骨の推定される形状に基づいて、画像データ内の1つ以上の骨片を識別し、画像データ内の識別された骨片に基づいて、出力を生成するように構成することができる。【選択図】図３５

Description

[0001]本願は、2019年11月26日に出願された米国仮特許出願第62/940,810号、及び2020年8月8日に出願された米国仮特許出願第63/049，497号の利益を主張するものであり、両出願の内容全体が参照により本明細書に組み込まれる。
[0002]外科的関節修復処置は、損傷した又は病気の関節の修復及び／又は置換を含む。一例として関節形成術のような外科的関節修復処置は、損傷した関節を、患者の骨の中に埋め込まれるプロテーゼに置換することを伴う。最適な手術結果を確実にするために、適切にサイズ決定及び成形されたプロテーゼの適切な選択又は設計及びそのプロテーゼの適切な位置決めは重要である。外科医は、損傷した骨を分析して、プロテーゼの選択、設計及び／又は位置決め、並びにプロテーゼを収容するか又はプロテーゼと相互作用するように骨又は組織を準備するための外科的ステップを補助することができる。
[0003]骨折した関節に関して、骨折パターンは、幅広いバリエーションを有することがあり、分類及び分析することが困難であることがある。本開示は、骨断片化を患う骨折関節の整形外科手術のための術前計画及び術中ガイダンスのためのデバイス、システム、及び方法を説明する。
[0004]一例によれば、方法は、上腕骨の少なくとも一部分を含む関節の画像データを取得することと、上腕骨の骨幹の形状を決定するために画像データをセグメント化することと、骨幹の決定された形状に基づいて上腕骨の推定される病的状態になる前の形状を決定することと、上腕骨の推定される形状に基づいて画像データ内の１つ以上の骨片を識別することと、画像データ内の識別された骨片に基づいて出力を生成することとを含む。
[0005]別の例によれば、システムは、上腕骨の少なくとも一部分を含む関節の画像データを記憶するメモリと、上腕骨の少なくとも一部分を含む関節の画像データを取得し、上腕骨の骨幹の形状を決定するために画像データをセグメント化し、骨幹の決定された形状に基づいて上腕骨の推定される病的状態になる前の形状を決定し、上腕骨の推定される形状に基づいて画像データ内の１つ以上の骨片を識別し、画像データ内の識別された骨片に基づいて出力を生成するように構成された１つ以上のプロセッサとを含む。
[0006]別の例によれば、コンピュータ読取可能記憶媒体は、実行されるとき、手術システムの１つ以上のプロセッサに、上腕骨の少なくとも一部分を含む関節の画像データを取得させ、上腕骨の骨幹の形状を決定するために画像データをセグメント化し、骨幹の決定された形状に基づいて上腕骨の推定される病的状態になる前の形状を決定させ、上腕骨の推定される形状に基づいて画像データ内の１つ以上の骨片を識別させ、画像データ内の識別された骨片に基づいて出力を生成させる、命令を記憶する。
[0007]別の例によれば、手術システムは、上腕骨の少なくとも一部分を含む関節の画像データを取得する手段と、上腕骨の骨幹の形状を決定するために画像データをセグメント化する手段と、骨幹の決定された形状に基づいて上腕骨の推定される病的状態になる前の形状を決定する手段と、上腕骨の推定される形状に基づいて画像データ内の１つ以上の骨片を識別する手段と、画像データ内の識別された骨片に基づいて出力を生成する手段とを含む。
[0008]別の例によれば、方法は、上腕骨の少なくとも一部分を含む関節の画像データを取得することと、皮質骨に対応する画像データの部分を識別するために画像データをセグメント化することと、皮質骨に対応する画像データの部分に基づいて3次元（3D）モデルを生成することと、3Dモデルは、皮質骨に対応する画像データの部分の表面に対応する１つ以上の3Dメッシュを含み、１つ以上の3Dメッシュにおいて、骨幹に対応する3Dメッシュの一部分を識別することと、骨幹に対応する3Dメッシュの部分の形状に基づいて上腕骨の推定される病的状態になる前の形状を決定することと、上腕骨の推定される病的状態になる前の形状に基づいて出力を生成することとを含む。
[0009]別の例によれば、医療システムは、上腕骨の少なくとも一部分を含む関節の画像データを記憶するように構成されたメモリと、処理経路とを含み、処理回路は、上腕骨の少なくとも一部分を含む関節の画像データを取得し、皮質骨に対応する画像データの部分を識別するために画像データをセグメント化し、皮質骨に対応する画像データの部分に基づいて3次元（3D）モデルを生成し、3Dモデルは、皮質骨に対応する画像データの部分の表面に対応する１つ以上の3Dメッシュを含み、１つ以上の3Dメッシュにおいて、骨幹に対応する3Dメッシュの一部分を識別し、骨幹に対応する3Dメッシュの部分の形状に基づいて上腕骨の推定される病的状態になる前の形状を決定し、上腕骨の推定される病的状態になる前の形状に基づいて出力を生成するように構成されている。
[0010]別の例によれば、コンピュータ読取可能記憶媒体は、上腕骨の少なくとも一部分を含む関節の画像データを取得することと、皮質骨に対応する画像データの部分を識別するために画像データをセグメント化することと、皮質骨に対応する画像データの部分に基づいて3次元（3D）モデルを生成することと、3Dモデルは、皮質骨に対応する画像データの部分の表面に対応する１つ以上の3Dメッシュを含み、１つ以上の3Dメッシュにおいて、骨幹に対応する3Dメッシュの一部分を識別することと、骨幹に対応する3Dメッシュの部分の形状に基づいて上腕骨の推定される病的状態になる前の形状を決定することと、上腕骨の推定される病的状態になる前の形状に基づいて出力を生成することとを含む。
[0011]別の例によれば、医療システムは、上腕骨の少なくとも一部分を含む関節の画像データを取得する手段と、皮質骨に対応する画像データの部分を識別するために画像データをセグメント化する手段と、皮質骨に対応する画像データの部分に基づいて3次元（3D）モデルを生成する手段と、3Dモデルは皮質骨に対応する画像データの部分の表面に対応する１つ以上の3Dメッシュを含み、１つ以上の3Dメッシュにおいて、骨幹に対応する3Dメッシュの部分を識別する手段と、骨幹に対応する3Dメッシュの部分の形状に基づいて上腕骨の推定される病的状態になる前の形状を決定する手段と、上腕骨の推定される病的状態になる前の形状に基づいて出力を生成する手段とを含む。
[0012]本開示の様々な例の詳細を、添付の図面及び以下の説明に記載する。様々な特徴、目的、及び利点が、説明、図面、及び特許請求の範囲から明らかとなるであろう。
[0013] 図１は、本開示の技術を実現するために使用されてもよい例示的なコンピューティングデバイスを図示するブロックダイヤグラムである。 [0014]図２は、本開示の技術による、例示的なワークフローを示す。 [0015]図３Ａは、管状構造についてのヘッセ固有ベクトル分解を示す。 図３Ｂは、ブロブ構造についてのヘッセ固有ベクトル分解を示す。 図３Ｃは、シート状構造についてのヘッセ固有ベクトル分解を示す。 [0016]図４Ａは、変位した破損上腕頭の異なる位置の例を示す。 図４Ｂは、変位した破損上腕頭の異なる位置の例を示す。 図４Ｃは、変位した破損上腕頭の異なる位置の例を示す。 図４Ｄは、変位した破損上腕頭の異なる位置の例を示す。 [0017]図５Ａは、図４Ａの例に対する破損上腕頭及び関連するセグメント化ゾーンの自動検出の例を示す。 図５Ｂは、図４Ｂの例に対する破損上腕頭及び関連するセグメント化ゾーンの自動検出の例を示す。 図５Ｃは、図４Ｃの例に対する破損上腕頭及び関連するセグメント化ゾーンの自動検出の例を示す。 図５Ｄは、図４Ｄの例に対する破損上腕頭及び関連するセグメント化ゾーンの自動検出の例を示す。 [0018]図６Ａは、識別された対象の骨折断片領域の例を示す。 図６Ｂは、識別された対象の破損断片領域の例を示す。 図６Ｃは、識別された対象の破損断片領域の例を示す。 図６Ｄは、識別された対象の破損断片領域の例を示す。 図６Ｅは、識別された対象の破損断片領域の例を示す。 図６Ｆは、識別された対象の破損断片領域の例を示す。 [0019]図７Ａは、検出された上腕頭の例を示す。 図７Ｂは、検出された上腕頭の例を示す。 図７Ｃは、検出された上腕頭の例を示す。 [0020]図８Ａは、取り除かれた上腕頭点の例を示す。 図８Ｂは、取り除かれた上腕頭点の例を示す。 図８Ｃは、取り除かれた上腕頭点の例を示す。 [0021]図９Ａは、開始限界点及び終了限界点を計算するための例を示す。 図９Ｂは、開始限界点及び終了限界点を計算するための例を示す。 図９Ｃは、開始限界点及び終了限界点を計算するための例を示す。 [0022]図１０Ａは、骨幹点計算の例を示す。 図１０Ｂは、骨幹点計算の例を示す。 図１０Ｃは、骨幹点計算の例を示す。 図１０Ｄは、骨幹点計算の例を示す。 [0023]図１１は、最も内側及び外側の肘点の検出を図示する。 [0024]図１２Ａは、肘目印を示す。 図１２Ｂは、肘目印を示す。 [0025]図１３Ａは、滑車及び小頭目印検出を図示する。 図１３Ｂは、滑車及び小頭目印検出を図示する。 図１３Ｃは、滑車及び小頭目印検出を図示する。 [0026]図１４Ａは、上腕二頭筋溝検出の例を示す。 図１４Ｂは、上腕二頭筋溝検出の例を示す。 [0027] 図１５Ａは、上腕骨目印検出の例を図示する。 図１５Ｂは、上腕骨目印検出の例を図示する。 図１５Ｃは、上腕骨目印検出の例を図示する。 図１５Ｄは、上腕骨目印検出の例を図示する。 [0028]図１６Ａは、対応確立のための上部骨上腕ゾーンの例を示す。 図１６Ｂは、対応確立のための上部上腕骨ゾーンの例を示す。 [0029]図１７Ａは、剛体位置合わせ及び非剛体位置合わせのための目印の例を示す。 図１７Ｂは、剛体位置合わせ及び非剛体位置合わせのための目印の例を示す。 図１７Ｃは、剛体位置合わせ及び非剛体位置合わせのための目印の例を示す。 ]図１７Ｄは、剛体位置合わせ及び非剛体位置合わせのための目印の例を示す。 [0030]図１８Ａは、上腕骨の平均形状についての異なる変動を示す。 図１８Ｂは、上腕骨の平均形状についての異なる変動を示す。 図１８Ｃは、上腕骨の平均形状についての異なる変動を示す。 図１８Ｄは、上腕骨の平均形状についての異なる変動を示す。 図１８Ｅは、上腕骨の平均形状についての異なる変動を示す。 図１８Ｆは、上腕骨の平均形状についての異なる変動を示す。 図１８Ｇは、上腕骨の平均形状についての異なる変動を示す。 図１８Ｈは、上腕骨の平均形状についての異なる変動を示す。 [0031]図１９Ａは、後傾及び傾斜の変動に対する上腕骨長の影響を示す。 図１９Ｂは、後傾及び傾斜の変動に対する上腕骨長の影響を示す。 [0032]図２０Ａは、破損断片の癒合をもたらす異なるプロセスを図示する。 図２０Ｂは、破損断片の癒合をもたらす異なるプロセスを図示する。 図２０Ｃは、破損断片の癒合をもたらす異なるプロセスを図示する。 [0033]図２１Ａは、破損上腕骨近位部に適用されるステップセグメント化アルゴリズムを図示する。 図２１Ｂは、破損上腕骨近位部に適用されるステップセグメント化アルゴリズムを図示する。 図２１Ｃは、破損上腕骨近位部に適用されるステップセグメント化アルゴリズムを図示する。 図２１Ｄは、破損上腕骨近位部に適用されるステップセグメント化アルゴリズムを図示する。 図２１Ｅは、破損上腕骨近位部に適用されるステップセグメント化アルゴリズムを図示する。 図２１Ｆは、破損上腕骨近位部に適用されるステップセグメント化アルゴリズムを図示する。 [0034]図２２Ａは、骨折線に沿って頂点を有する上腕骨近位部骨折の3D画像を示す。 図２２Ｂは、骨折線に沿って頂点を有する上腕骨近位部骨折の3D画像を示す。 [0035]図２３Ａは、離散曲線展開（DCE）アルゴリズムを使用して実行される最上位頂点検出のための2D輪郭を示す。 図２３Ｂは、離散曲線展開（DCE）アルゴリズムを使用して実行される最上位頂点検出のための2D輪郭を示す。 [0036]図２４Ａは、１つのタイプの輪郭トポロジーを示す。 図２４Ｂは、１つのタイプの輪郭トポロジーを示す。 [0037]図２５Ａは、ステップセグメント化のためのセグメント化アルゴリズムに関係付けられたステップを示す。 図２５Ｂは、ステップセグメント化のためのセグメント化アルゴリズムに関係付けられたステップを示す。 [0038]図２６Ａは、骨幹の検出及び特徴付けのためのプロセスを示す。 図２６Ｂは、骨幹の検出及び特徴付けのためのプロセスを示す。 図２６Ｃは、骨幹の検出及び特徴付けのためのプロセスを示す。 図２６Ｄは、骨幹の検出及び特徴付けのためのプロセスを示す。 [0039]図２７Ａは、上腕骨統計形状モデル（SSM）との破損骨幹の初期整列の例を表す。 図２７Ｂは、上腕骨統計形状モデル（SSM）との破損骨幹の初期整列の例を表す。 図２７Ｃは、上腕骨統計形状モデル（SSM）との破損骨幹の初期整列の例を表す。 図２７Ｄは、上腕骨統計形状モデル（SSM）との破損骨幹の初期整列の例を表す。 図２７Ｅは、上腕骨統計形状モデル（SSM）との破損骨幹の初期整列の例を表す。 図２７Ｆは、上腕骨統計形状モデル（SSM）との破損骨幹の初期整列の例を表す。 図２７Ｇは、上腕骨統計形状モデル（SSM）との破損骨幹の初期整列の例を表す。 図２７Ｈは、上腕骨統計形状モデル（SSM）との破損骨幹の初期整列の例を表す。 [0040]図２８Ａは、骨幹形状に基づく破損上腕骨形状推定の例を示す。 図２８Ｂは、骨幹形状に基づく破損上腕骨形状推定の例を示す。 図２８Ｃは、骨幹形状に基づく破損上腕骨形状推定の例を示す。 [0041]本開示において説明される１つ以上の例示的な技術によるコンピューティングデバイスの動作の例示的な方法を図示するフローチャートである。 [0042]図３０Ａは、骨幹の一部分に対応する3Dメッシュの例を示す。 図３０Ｂは、骨幹の一部分に対応する3Dメッシュの例を示す。 図３０Ｃは、骨幹の一部分に対応する3Dメッシュの例を示す。 図３０Ｄは、骨幹の一部分に対応する3Dメッシュの例を示す。 [0043]図３１Ａは、上腕頭の領域を識別する球体を有する予測された上腕骨の3Dメッシュの例を示す。 図３１Ｂは、上腕頭の領域を識別する球体を有する予測された上腕骨の3Dメッシュの例を示す。 図３１Ｃは、上腕頭の領域を識別する球体を有する予測された上腕骨の3Dメッシュの例を示す。 [0044]図３２Ａは、上腕頭断片を配置するための上腕頭の許容領域を示す。 図３２Ｂは、上腕頭断片を配置するための上腕頭の許容領域を示す。 図３２Ｃは、上腕頭断片を配置するための上腕頭の許容領域を示す。 [0045]図３３Ａは、断片の並進の例を示す。 図３３Ｂは、断片の回転の例を示す。 [0046]図３４Ａは、本開示において説明される１つ以上の例示的な技術によるコンピューティングデバイスの動作の例示的な方法を図示するフローチャートである。 図３４Ｂは、本開示において説明される１つ以上の例示的な技術によるコンピューティングデバイスの動作の例示的な方法を図示するフローチャートである。 [0047]図３５は、本開示において説明される１つ以上の例示的な技術によるコンピューティングデバイスの動作の例示的な方法を図示するフローチャートである。
[0048]患者は、患者の解剖学的構造に損傷を引き起こす病気（例えば、疾患）又はけがに苦しんでいるかもしれない。肩について、患者の病気又はけがの一例として、患者は、数例として、一次性肩甲上腕骨関節変形性関節症（ＰＧＨＯＡ）、肩腱板断裂関節症（ＲＣＴＡ）、不安定性、広範囲腱板断裂（ＭＲＣＴ）、関節リウマチ（ＲＡ）、外傷後関節炎（ＰＴＡ）、変形性関節症（ＯＡ）、又は急性骨折に苦しむことがある。いくつかの推定によれば、上腕骨骨折は、骨粗鬆症の骨において生じる世界で4番目に最も一般的なタイプの骨折であり（股関節骨折、脊椎骨折及び橈骨骨折に次ぐ）、世界のすべての骨折の約8%を占める。
[0049]上腕骨近位骨折パターンは、幅広いバリエーションを有し、分類することが困難であることがある。外科医が特定の患者に対する治療を選ぶのを助けるために、いくつかの分類システムが提案されている。1970年に、既存のシステムが様々な重症度の損傷を区別せず、骨折のようにグループ分けしないと考えたことから、Charles Neerは、4セグメント分類システムを説明した。当時の分類システムは、けがのメカニズム又は骨折線のレベルに基づいていたが、結節変位のような、多くの外科的に重要な局面又はけがの病的特徴を考慮しなかった。Neerの分類システムは、すべての上腕骨近位部骨折が4つの主要なセグメント:小結節、大結節、関節面、及び上腕骨幹からなるという、Codmanによってかなり以前になされた観察に基づいていた。4セグメント分類システムは、変位したセグメント又は部分の数によって上腕骨近位部骨折を定義し、関節骨折及び脱臼についてのさらなるカテゴリを有する。伴われる潜在性のあるセグメントは、大結節、小結節、関節面、及び上腕骨骨幹である。セグメントは、1 cmを超える分離又は45度の角度形成がある場合に、変位していると定義される。脱臼はより重度の損傷を表し、虚血壊死を有する可能性が高く、異所性骨化が進行するので、脱臼に対して別々のカテゴリを追加した。
[0050]AO分類は、Neer分類と共に、骨折を分類するために頻繁に使用される技術である。AO分類は、上腕骨近位部骨折を3つのグループ、A、B及びCに分け、それぞれがサブグループを有し、関節面への血液供給により重点を置く。小結節又は大結節のいずれかが関節セグメントに付着したままである場合、血液供給は、おそらく、虚血壊死を回避するのに適切であると仮定される。虚血壊死のリスクは、A型（非常に低い）からC型（高いリスク）に増加し、したがって治療を決定する。
[0051]複雑な解剖学的構造と複雑な分類システムとの組み合わせに起因して、記載されたシステムは両方とも、観察者間及び観察者内の再現性が乏しいという欠点がある。この既知の欠点にもかかわらず、これらのシステムは両方とも、上腕骨近位部骨折手術計画に現在使用されている。観察された変動性のうちのいくつかは、2次元単純X線写真上で複雑な3次元（3-D）骨折のパターンを解釈することの困難性に起因するかもしれないことが示唆されている。
[0052]病気又はけがに対処するために、外科医は、いくつかの例として、逆関節形成術（RA）、拡張逆関節形成術（RA）、標準全肩関節形成術（TA）、拡張全肩関節形成術（TA）、又は半球肩関節術などの外科手術を行うことができる。外科医が手術前に患者の解剖学的構造の特徴（例えば、サイズ、形状、及び／又は位置）を決定することは有益であるかもしれない。例えば、患者の解剖学的構造の特徴を決定することは、プロテーゼの選択、設計、及び／又は位置決め、並びにプロテーゼを受容するか又はプロテーゼと相互作用するように損傷した骨の表面を準備するための外科的ステップの計画を補助できる。事前計画により、外科医は、手術中ではなく手術前に、骨又は組織を準備するステップ、必要とされるツール、ツールのサイズ及び形状、移植される１つ以上のプロテーゼのサイズ及び形状又は他の特徴、並びにこれらに類するものを決定することができる。
[0053]病的状態になる前の特徴付けは、患者が病気又はけがに苦しむ前に存在していた解剖学的構造として患者の解剖学的構造を特徴付けることを指す。しかしながら、患者は、病気又はけがをしてからでないと医師又は外科医と相談しないかもしれないため、解剖学的構造の病的状態になる前の特徴付けは一般に利用可能ではない。
[0054]生来の解剖学的構造とも呼ばれる、病的状態になる前の解剖学的構造は、病気の発症又はけがの発生前の解剖学的構造を指す。病気又はけがの後でさえ、健康である解剖学的構造の部分及び健康でない（例えば、病気の又は損傷した）解剖学的構造の部分が存在するかもしれない。解剖学的構造の病気又は損傷部分は、病的解剖学的構造と称され、解剖学的構造の健康な部分は、非病的解剖学的構造と称される。
[0055]以下でより詳細に説明するように、本開示の技術によれば、コンピューティングデバイスは、患者の損傷関節の画像データ（例えば、CTスキャン）を受信するように構成することができる。コンピューティングデバイスはまた、患者の性別又は年齢等の他の情報を受信してもよい。このデータに基づいて、コンピューティングデバイスは、損傷した関節の骨折パターンを検出及び分類するように構成されてもよい。この分類に基づいて、コンピューティングデバイスは、治療法（例えば、手術なし、低侵襲手術（釘など）、又はインプラントの設置）を推奨するように構成されてもよい。インプラント設置が外科医によって選択される場合、コンピューティングデバイスはまた、インプラントタイプ、サイズ、向き、位置付け等を提案するように構成されてもよい。コンピューティングデバイスはまた、所望の整復を行うために、破損断片をどのように移動させるかに関して、視覚的ガイダンス等のガイダンスを外科医に提供するように構成されてもよい。
[0056]本開示はまた、骨折を画像データに一緒に位置合わせするようにコンピューティングデバイスを構成するための技術について説明する。すなわち、コンピューティングデバイスは、上腕骨近位部形状を復元するために断片を操作する完全又は部分的自動プロセスを実行し、したがって、手術中に断片をどのように操作するかに関するガイダンスを外科医に提供するように構成されてもよい。以下でより詳細に説明されるように、本開示の技術によれば、コンピューティングデバイスは、骨折した上腕骨の骨幹を画像データ内に位置付け、骨幹の画像に基づいて、骨折前の上腕骨の推定形状を決定するように構成されてもよい。骨折事象では、骨幹を含む上腕骨の全ての断片が、骨折していない上腕骨においてそれらの断片が位置する場所に対して移動している可能性がある。したがって、骨幹は骨折の結果として移動しているかもしれないので、骨幹は、上腕骨の他の断片の位置を決定するための基準点として使用できないかもしれない。本開示の技術によれば、コンピューティングデバイスは、関節窩などの肩甲骨の一部を、骨折後の再組立上腕骨の位置を決定するための基準として使用することができる。いくつかのインプリメンテーションでは、コンピューティングデバイスは、関節窩の位置に基づいて骨幹の位置を最初に決定することができる。次いで、骨幹を基準位置として使用して、骨折した上腕骨の他の断片を移動させることができる。典型的には、関節窩は骨折事象において移動せず、上腕骨を位置決めするための基準位置として関節窩を使用可能にする。
[0057]画像データは、この文脈では、解剖学的構造スキャンに関係付けられた表示画像と生画像データの両方を含む。この文脈において、生画像データは、表示画像を決定するために使用される画像データを指す。生画像データは、ディスプレイ画像とは異なる解像度、ビット深度、又はダイナミックレンジを有していてもよく、加えて、異なる色空間又は色モデル内にあってもよい。概して、生画像データは、画像を表示するためにディスプレイ又は視覚化デバイスによって使用されるデータ、及びいくつかの実施例では、画像を表示するためにディスプレイ又は視覚化デバイスによって直接使用されないデータさえも含む、画像化の一部として捕捉されるデータを含む。例えば、生画像データは、本開示の文脈において、従来は画像データであるとは考えられていないデータを含んでいてもよい。一例として、CT画像データにおいて、画素は、ハウンズフィールドスケールを用いてハウンズフィールド単位（HU）で測定される平均減衰に対応する相対放射線濃度値と関係付けられる。これらのHU値は、生画像データの一例である。ディスプレイデバイスは、HU値をグレースケールに変換して表示する。別段の記載がない限り、画像データに対して実行されるものとして説明される本開示の技術は、表示画像又は生画像のいずれかを使用して実行されることができることを想定するべきである。
[0058]さらに、本開示における画像データは、2D画像データと3D画像データの両方を指すことを理解されたい。簡単にするために、特定の技術は、2Dモデル内の位置を表すピクセルに対して実行されるものとして説明されるが、特に明記しない限り、これらの技術は、3Dモデル内の位置を表すボクセルに対しても実行することができると想定するべきである。同様に、別段の記載がない限り、ボクセルに対して実行されるものとして説明される技術は、ピクセルに対しても実行されてもよいと想定するべきである。
[0059]図１は、本開示の技術を実現するために使用されてもよい例示的なコンピューティングデバイスを図示するブロックダイヤグラムである。図１は、本開示で説明する１つ以上の例示的な技術を実行するように構成されたコンピューティングデバイスの例である、デバイス100を図示する。
[0060]デバイス100は、サーバコンピュータ、パーソナルコンピュータ、スマートフォン、ラップトップコンピュータ、及び他のタイプのコンピューティングデバイスのような、様々なタイプのコンピューティングデバイスを含んでいてもよい。デバイス100は、処理回路102、メモリ104、及びディスプレイ110を含む。ディスプレイ110は、デバイス100がサーバコンピュータである例におけるように、オプションである。
[0061]処理回路102の例は、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組み合わせを含む。一般に、処理回路102は、固定機能回路、プログラマブル回路、又はそれらの組み合わせとして実現されてもよい。固定機能回路は、特定の機能性を提供する回路を指し、実行することができる動作に予め設定される。プログラマブル回路は、様々なタスクを実行するようにプログラムすることができる回路を指し、実行することができる動作において柔軟な機能性を提供する。例えば、プログラマブル回路は、ソフトウェア又はファームウェアの命令によって定義された方法でプログラマブル回路を動作させるソフトウェア又はファームウェアを実行してもよい。固定機能回路は、（例えば、パラメータを受け取る又はパラメータを出力するために）ソフトウェア命令を実行してもよいが、固定機能回路が実行する動作のタイプは、一般に不変である。いくつかの例では、ユニットの１つ以上は、別個の回路ブロック（固定機能又はプログラマブル）であってもよく、いくつかの例では、１つ以上のユニットは、集積回路であってもよい。
[0062]処理回路102は、プログラマブル回路から形成された、算術論理ユニット（ＡＬＵ）、初等関数ユニット（ＥＦＵ）、デジタル回路、アナログ回路、及び／又はプログラマブルコアを含んでいてもよい。処理回路102の動作がプログラマブル回路によって実行されるソフトウェアを使用して実行される例では、メモリ104が、処理回路102が受信及び実行するソフトウェアのオブジェクトコードを記憶できるか、又は処理回路102内の別のメモリ（図示せず）が、そのような命令を記憶できる。ソフトウェアの例は、手術計画用に設計されたソフトウェアを含む。
[0063]メモリ104は、同期動的ランダムアクセスメモリ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ（登録商標））、又は他のタイプのメモリデバイスを含むＤＲＡＭなどの様々なメモリデバイスのうちの任意のものによって形成されてもよい。ディスプレイ110の例は、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又は別のタイプのディスプレイデバイスを含む。
[0064]デバイス100は、デバイス100がネットワーク114を介して視覚化デバイス116にデータ及び命令を出力し、視覚化デバイス116からデータ及び命令を受信することを可能にする通信インターフェース112を含んでいてもよい。例えば、本開示で説明される技術を使用して、解剖学的オブジェクトの病的状態になる前の特徴を決定した後、通信インターフェース112は、ネットワーク114を介して視覚化デバイス116に病的状態になる前の特徴の情報を出力してもよい。次いで、外科医は、視覚化デバイス116を用いて、（例えば、場合によっては、病的状態になる前の解剖学的オブジェクトが損傷した又は病的な解剖学的オブジェクトの画像の上にオーバーレイされた状態で）病的状態になる前の解剖学的オブジェクトのグラフィック表現を視認してもよい。
[0065]通信インターフェース112は、デバイス100が視覚化デバイス116などの他のコンピューティングシステム及びデバイスに（例えば、ワイヤレスに又はワイヤを使用して）通信することを可能にするハードウェア回路であってもよい。ネットワーク114は、インターネット、ローカルエリアネットワーク、等などの１つ以上のワイドエリアネットワークを含む様々なタイプの通信ネットワークを含んでいてもよい。いくつかの例では、ネットワーク114は、ワイヤード及び／又はワイヤレス通信リンクを含んでいてもよい。
[0066]視覚化デバイス116は、様々な視覚化技術を利用して画像コンテンツを外科医に表示してもよい。視覚化デバイス116は、複合現実（MR）視覚化デバイス、仮想現実（VR）視覚化デバイス、ホログラフィックプロジェクタ、又はエクステンデッドリアリティ（XR）視覚化を提示するための他のデバイスであってもよい。いくつかの例では、視覚化デバイス116は、アメリカ合衆国ワシントン州レドモンドのMicrosoft Corporationから入手可能なMicrosoft HOLOLENS（登録商標）ヘッドセット、又は例えば導波路を含む同様のＭＲ視覚化デバイスなどの同様のデバイスであってもよい。HOLOLENS（登録商標）デバイスを使用して、ユーザが、ホログラフィックレンズを通して実世界のシーン、即ち実世界の環境中の実際のオブジェクトを見ることを可能にしながら、ホログラフィックレンズ又は導波路を介して3D仮想オブジェクトを提示することができる。
[0067]視覚化デバイス1116は、患者画像データを利用して骨外形の3次元モデルを生成して関節修復及び置換のための術前計画を容易にするのに利用可能な視覚化ツールを利用してもよい。これらのツールは、外科医が、患者の解剖学的構造に厳密に一致する外科用ガイド及びインプラント構成要素を設計及び／又は選択することを可能にする。これらのツールは、各患者について手術計画をカスタマイズすることによって手術結果を改善することができる。肩修復のためのそのような視覚化ツールの例は、Wright Medical Technology,Inc.から入手可能なBLUEPRINT（登録商標）システムである。BLUEPRINT（登録商標）システムは、外科医に、骨修復領域の2次元平面図並びに修復領域の3次元仮想モデルを提供する。外科医は、BLUEPRINT（登録商標）システムを使用して、適切なインプラント構成要素を選択、設計、又は修正し、インプラント構成要素をどのように最良に位置決め及び向きを定めるか、並びに構成要素を受容するように骨の表面をどのように成形するかを決定し、外科的計画を実行するために外科用ガイドツール又は器具を設計、選択、又は修正することができる。BLUEPRINT（登録商標）システムによって生成された情報は、実際の手術前及び手術中を含めて、外科医又は他の医療提供者がアクセスすることができる適切なロケーション（例えば、ワイドエリアネットワーク、ローカルエリアネットワーク、又はグローバルネットワーク中のサーバ上）のデータベース中に記憶された患者用の術前手術計画中に編集されてもよい。
[0068]図示のように、メモリ104は、形状モデル106を表すデータ及び解剖学的構造スキャン108を表すデータを記憶する。解剖学的構造スキャン108は、例えばCTスキャン画像データによって表されるような、患者のコンピュータ断層撮影（CT）スキャンの例である。
[0069]CTスキャンは、異なる角度から撮影された一連のX線画像を組み合わせ、コンピュータ処理を使用して、身体内部の骨、血管、及び軟組織の断面画像又はスライスを作成する。CTスキャンは多くの用途を有するが、自動車事故又は他の種類の外傷による骨折などの内部損傷を有する可能性がある人々を迅速に検査するのに特に適している。CTスキャンは、身体のほぼ全ての部分を可視化するために使用することができ、病気又はけがを診断するため、並びに医学的、外科的又は放射線治療を計画するために使用される。
[0070]CTスキャンの出力は、基本立方体（すなわちボクセル）から構成される容積測定画像であり、各ボクセルは、対応する3D位置で測定されたX線減衰を表す数値に関係付けられる。この値は、典型的にはハウンスフェルド単位（HU）スケールに変換される。HUスケールは、標準圧力及び温度（STP）における蒸留水の放射線密度が0HUと定義される一方、STPにおける空気の放射線密度が-1000HUと定義されるものへの元の線形減衰係数測定値の線形変換である。400以上の高いHU値は、骨などの高密度を有する素材に対応し、低いHU値は、脂肪（例えば、-100から-50HU）、筋肉（+10から+40HU）、血液（+30から+45HU）などの低密度素材に対応する。コンピュータ視覚化の目的で、HU値はグレースケール強度にマッピングされる。
[0071]解剖学的構造スキャン108は、（例えば、セグメント化された解剖学的オブジェクトを生成するためのCT画像データの自動セグメント化によって）患者の解剖学的構造の例として肩甲骨及び関節窩などの患者の解剖学的構造の3次元（3D）表現を再構成するのに十分であることができる。自動セグメント化の1つの例示的な方法は、米国特許第8,971,606号に記載されている。自動セグメント化を実行する様々な他の方法が存在するかもしれず、本技術は、米国特許第8,971,606号に記載される技術を使用する自動セグメント化に限定されない。一例として、セグメント化されたオブジェクトを生成するためのCT画像データのセグメント化は、骨の解剖学的構造を決定するための画像データにおけるボクセル強度の比較と、セグメント化されたオブジェクトを決定するための骨の解剖学的構造の推定サイズとの比較とを含む。さらに、例示的な技術は、医療専門家がCT画像データを評価して解剖学的オブジェクトをセグメント化する非自動化セグメント化技術、又は解剖学的オブジェクトをセグメント化するための自動化とユーザ入力との何らかの組合せを用いて実行することができる。
[0072]１つ以上の例では、解剖学的構造スキャン108は、けが又は病気に起因して病的である解剖学的構造のスキャンであってもよい。患者は、手術を必要とする損傷した肩を有しているかもしれず、手術のために、又は場合によっては診断の一部として、外科医は、手術を計画するために解剖学的構造スキャン108を要求しているかもしれない。（デバイス100又はいくつかの他のデバイスのような）コンピューティングデバイスは、患者の解剖学的構造のセグメント化を生成することができ、それにより、外科医は、解剖学的オブジェクト、並びに手術を必要とする患者の解剖学的構造の他の解剖学的構造とのオブジェクトのサイズ、形状、及び相互接続を見ることができる。外傷の場合、すべての骨折タイプが必ずしも手術を必要とするわけではない。例えば、1-part又は2-part骨折は、通常、手術を必要とせず、肩の固定で典型的には十分である。2-part又は3-part骨折の場合、完全手術又は低侵襲的介入が治療に十分であるかもしれない。本開示の他の場所でより詳細に説明されるように、デバイス100は、診断段階中に骨折分類を行うように構成されてもよい。外科医が手術を行うことを決定した場合、デバイス100はまた、外科的介入を計画するように構成されてもよい。
[0073]1つ以上の例では、処理回路102は、スキャン108の画像データを利用して、患者がけが又は病気になる前の患者の解剖学的構造の特徴を決定する方法として、統計的形状モデル（SSM）に対して（例えば、サイズ、形状、向きなどを）比較することができる。いくつかの例では、処理回路102は、スキャン108の画像データ内の患者の解剖学的構造の解剖学的オブジェクトの損傷を受けていない点の3D点データをSSM内の点と比較することができる。
[0074]例えば、スキャン108は、損傷した又は病気の解剖学的構造の現在の特徴のビューを外科医に提供する。解剖学的構造を再構築するために（すなわち、病的状態になる前の状態を表すために）、外科医は、けが又は病気の前の解剖学的構造の特徴を示すモデルを有することが有益であることを見出すかもしれない。例えば、モデルは、損傷又は病気の前の患者の解剖学的構造の予測因子であってもよい。しかしながら、患者は、けがが生じる又は病気が進行するまで外科医と相談しなかったこともあり得、したがって、けが又は病気の前の患者の解剖学的構造（例えば、病的状態になる前又は生来の解剖学的構造）のモデルが利用可能でないかもしれない。損傷前の解剖学的構造をモデル化する方法としてSSMを使用することにより、外科医は、病的状態になる前の患者の解剖学的構造の特徴を決定することができる。
[0075]SSMは、サンプルの集団（データベース）間の形状変化を表すコンパクトなツールである。例えば、臨床医又は研究者は、損傷又は病気の関節窩、上腕骨、又は隣接する骨に悩まされていない集団全体を代表する異なる人々のCT画像データなどの画像スキャンのデータベースを生成してもよい。臨床医又は研究者は、データベース内の形状から患者の解剖学的構造の平均形状を決定することができる。図1において、メモリ104は、形状モデル106を示す情報を記憶する。一例として、形状モデル106は、データベース内の形状からの患者の解剖学的構造の解剖学的オブジェクト（例えば、関節窩、上腕頭など）の平均形状を表す。形状モデル106の他の例は、データベース内の形状のモード又は中央値などが可能である。加重平均は、形状モデル106の別の可能な例である。形状モデル106は、表面又は点のボリューム（たとえば、3Dモデルを定義するグラフィカル面又は点のボリューム）であってもよく、平均形状を示す情報は、相互接続して表面を形成する三角形などのプリミティブの頂点の座標値であってもよい。本開示の様々な技術は、三角形を使用する形状モードに関して説明されるが、形状モデルは三角形以外のプリミティブも使用してもよいことを理解されたい。さらに、非一様有理基底スプライン（NURBS）モデルを含む基底スプライン（BSpline）ベースのモデルなどの他のタイプのモデリングも使用されてもよいことを理解されたい。
[0076]形状モデル１０６を用いて、処理回路１０２は、形状モデル１０６の点又は値を共分散行列に追加することによって、解剖学的構造形状変化を表してもよい。例えば、SSMは、一次方程式として解釈することができる。
Figure 2023502280000002
[0077]上記の式において、s'は形状モデル106（例えば、一例として平均形状の点群であり、点群は、形状モデル106を形成するプリミティブの頂点など、形状モデル106内の点の座標を定義する）である。この式において、λiは共分散行列の固有値であり、viは固有ベクトルである（変動モードとも呼ばれる）。共分散行列は、データセットにおける分散を表す。i,j位置の要素は、データセットアレイのi番目の要素とj番目の要素との間の共分散である。
[0078]SSMは、データベースの共分散行列を構築し、次いで、（固有ベクトルとも呼ばれる）主ベクトルの行列と（固有値と呼ばれる）正の値の別の対角行列とを抽出する「特異値分解」を実行することを表す。固有ベクトル（式中のvi）は、データベースの新しい座標系基底である。固有値（式中のλi）は、固有ベクトル（vi）の周りの分散を表す。固有ベクトル及び固有値は共に、対応する軸の周りの変動の量を反映してもよい。
[0079]この数式は、処理回路102が、共分散行列の重みbiを変更することによって、sjの無限数のインスタンス（例えば、形状モデルの異なる変動）を作成することを可能にする。例えば、新しい形状モデルを生成するために、処理回路は、biの値を決定し、siの新しい値を決定してもよい。上記の例では、λi及びνi並びにs'はすべて、s'が生成された様式に基づいて（たとえば、形状モデル106が生成された様式に基づいて）知られている。biの異なる値を選択することによって、処理回路102は、形状モデルの異なるインスタンス（例えば、形状モデル106の異なる変動である異なるsi）を決定してもよい。
[0080]形状モデルは、解剖学的オブジェクトが患者にとってどのように見えるべきかを表してもよい。より詳細に説明するように、処理回路102は、（例えば、3D点群内の）解剖学的オブジェクトの形状モデルの点を、けが又は病気による影響を受けないか又は最小限の影響しか受けない解剖学的オブジェクトの解剖学的点（例えば、非病的点）として、スキャン108の画像データ内に表される解剖学的点に当てはめることができる。適合に基づいて、処理回路102は、解剖学的オブジェクトの病的状態になる前の特徴付けを決定してもよい。
[0081]一例として、外科医が肩関節手術のために関節窩の病的状態になる前の特徴を決定したいと仮定する。関節窩の形状と、医療用関節円蓋、肩峰、烏口骨などの周囲の骨ゾーンとの間には相関がある。形状モデル106は、関節窩を含む肩甲骨の平均形状であってもよい。患者において、関節窩が病的である（例えば、病気になる又は損傷している）と仮定する。
[0082]本開示に記載される例示的な技術によれば、処理回路102は、患者の解剖学的オブジェクトの非病的解剖学的構造（例えば、スキャン108における肩甲骨の非病的部分）に最もよく一致する「s」のインスタンス（例えば、関節窩を有する肩甲骨の形状モデル）を決定することができる。非病的な解剖学的構造（s*と呼ばれ、形状モデルと同様の点群によって表される）に最もよく一致する関節窩は、「s」のインスタンスでは、病的な関節窩の病的状態になる前の特徴付けを示すことができる。
[0083]処理回路102は、s*のインスタンス（例えば、患者の肩甲骨の非病的部分に最もよく一致する関節窩を有する肩甲骨の形状モデル）を決定することができる。非病的部分は、病気又はけがからの影響が最小であるか又は全くない解剖学的オブジェクトの部分であってもよく、解剖学的オブジェクト及びその周囲の解剖学的構造は、解剖学的オブジェクトをセグメント化するためにスキャン108によって実行されるセグメント化から取得される。
[0084]いくつかの例では、特定の解剖学的オブジェクトの病的状態になる前の特徴付けを決定するために、解剖学的オブジェクトを超える解剖学的構造が、形状モデルを整列するために必要とされるかもしれない。例えば、関節窩の病的状態になる前の特徴付けを決定するために、肩甲骨の解剖学的構造が形状モデルを整列するために必要とされるかもしれない。次いで、形状モデルの関節窩は、患者の関節窩の病的状態になる前の特徴付けを表す。したがって、形状モデルは、関心のある解剖学的オブジェクト（例えば、関節窩）のみをモデル化することに限定されなくてもよく、追加の解剖学的オブジェクトを含んでもよい。
[0085]処理回路102は、以下の例示的な動作を実行してもよい。（1）スキャン108の画像データからのセグメント化された解剖学的オブジェクトを形状モデル106の座標系に最初に整列させて、最初の整列された形状を生成し、（2）スキャン108を生成する際の不完全性に起因するセグメント化不足及びセグメント化過剰に起因する最初の整列における誤差を補償して、整列された形状（中間整列形状とも呼ばれる）を生成し、（3）反復最近傍点（iterative closest point ICP）演算及び弾性整列を含む反復演算を実行して、s*のインスタンス（すなわち、セグメント化オブジェクトによって識別される患者の解剖学的構造に最も密接に一致するs'のインスタンス）を決定する。これらの動作を実行する例示的な技術は、以下でより詳細に説明される。
[0086]したがって、患者の解剖学的構造の病的状態になる前の特徴付けを生成することには、いくつかの技術的問題があるかもしれない。1つの問題は、セグメント化不足又はセグメント化過剰に起因して、スキャン108から必要とされる画像データが利用可能でないか又は歪められ、セグメント化されたオブジェクトを形状モデル106に整列するための課題を生じさせることであるかもしれない。別の問題は、形状モデル106への整列が存在すると、セグメント化されたオブジェクトへの形状モデル106の位置合わせが不十分であるかもしれず、その結果、不十分な病的状態になる前の特徴付けがもたらされるかもしれない。
[0087]骨折事例に遭遇すると、処理回路102は、非骨折事例とは異なる処理技術を実装してもよい。図2は、骨折事例についての処理回路102の例示的ワークフローを示す。図2の例では、以下でより詳細に説明するように、処理回路102は、解剖学的構造スキャン108に対してCTスキャンセグメント化（202）を実行し、融合断片分離（204）を実行し、元の解剖学的構造予測（206）を実行し、破損断片整復（208）を実行する。処理回路102はまた、必要に応じて、整復された断片に基づいて予測形状調整を実行してもよい。
[0088]人体は、2つのタイプの骨組織：皮質骨及び網状骨（海綿骨としても知られる）を有する。皮質骨は、典型的には非常に少ない空間を有する頑丈な石灰化マトリックスを有し、海綿骨組織の周囲に保護シェルを形成する。皮質骨は骨に剛性を提供する。皮質骨はまた、皮質骨が一緒に「圧縮された」ように見えるので、緻密骨と称されるかもしれない。この緻密さにより、皮質骨はCT画像において非常に明るく見える。より高い皮質厚は、骨髄からなる髄腔を皮質骨が囲む、骨幹上に見出される。関節に向かって、皮質シェルの厚さは減少し、髄腔は網状骨によって置換される。全体で、海綿骨は典型的な成人の骨格の約20%を構成する。網状骨は、関節に作用する負荷を吸収し、減衰させ、移動させる主な機能を有する高度な血管構造及び多孔質構造である。さらに、網状骨は、血液細胞を産生する身体の赤色骨髄の大部分を含む。
[0089]上腕頭の内部は、いくつかの領域において皮質シェルがほとんど見えないように、薄い皮層によって囲まれた網状骨によって形成される。これらの事実に起因して、周囲組織に対するコントラストは、骨幹ゾーンと比較してはるかに低い。これは、骨塩密度が減少している骨粗鬆症を患っている高齢者又は患者に特に当てはまる。
[0090]処理回路102は、皮質骨に属する各ボクセルがCTスキャンにおいて識別できるように、皮質シェルの3Dモデルに依存するように構成されてもよい。この手順はセグメント化と呼ばれ、2つの部分:骨幹セグメント化及び破損頭部セグメント化に分けることができる。閾値化は、骨幹と軟組織との間の高いコントラストを使用して、骨幹セグメント化のために使用されてもよい。
[0091]対照的に、上腕頭セグメント化は、以下の問題に起因して非常に困難なタスクである。第1に、上腕頭は弱い骨境界を生成する。前述したように、皮質シェルは、上腕頭のレベルで非常に薄く、CT画像上の周囲組織と同様の強度をもたらす。第2に、上腕頭は変化する密度を生成する。長骨の密度は、縦軸に沿って実質的に変化する。結果として、骨及び組織の強度ヒストグラムは頻繁に重複する。したがって、強度の全体的な推定のみに依存するセグメント化は正確ではない。第3に、破損断片と肩甲骨との間の癒合は、セグメント化を困難にする。関節付近の骨折は、近接しているか又は直接接触している複数の薄壁骨片を含むことができる。このようなデータのセグメント化は、特に破損断片が肩甲骨と融合している場合には、極めて困難であることがある。
[0092]3D医療画像をセグメント化するための多数の技術が現在存在する。これらの技術は、一般に、2つのグループ、すなわち（1）低レベルアルゴリズム及び（2）高レベルアルゴリズムに分けることができる。処理回路102は、低レベル又は高レベルのセグメント化アルゴリズムを実行するように構成することができる。低レベルアルゴリズムは、所定の強度画像のボクセル上で直接動作する。そのようなアルゴリズムは、通常、骨セグメント化中に遭遇するすべての問題を解決するのに十分に柔軟ではない。高レベルアルゴリズムは、セグメント化を決定するための数学的モデルにおける形状又は外観などの追加の知識を含む。
[0093]閾値化は、骨セグメント化のために広く使用される高速低レベルセグメント化技術である。オブジェクト及び背景の強度が実質的に変化しない場合には、閾値化のみでは十分に実行しないかもしれない。したがって、軟組織と同様の強度を有する関節付近の骨部分（例えば、上腕骨近位部）をセグメント化するとき、閾値化のみでは不十分であるかもしれない。
[0094]別の低レベルセグメント化技術は、領域拡張である。1つの一般的な領域ベースのセグメント化アルゴリズムは、シード領域成長であり、最初に定義されたシードから開始して、隣接するボクセルが、ユーザ定義の類似性尺度、例えば隣接するボクセル間の強度に基づいて領域に増分的に追加される。骨セグメント化のための領域ベースのアルゴリズムの主な欠点は、弱い境界及び互いに近接する骨の結合に起因して、組織に漏れ込む傾向である。
[0095]別の低レベルセグメント化技術は、たとえば、画像強度関数の一次導関数又は二次導関数に基づくエッジ検出である。そのような技術は、骨幹と軟組織との間の良好なコントラストを伴うデータセットに対して優れた結果をもたらすが、性能は、不連続性をもたらす関節境界（例えば、上腕頭）においてより不良であるかもしれない。
[0096]別の低レベルセグメント化技術は、分水嶺アルゴリズムと呼ばれる。基本的な考え方は、画像値を、異なるソースからの水で「あふれた」高さマップとして解釈することであり、この高さマップは、画像内の極小値又はユーザ定義マーカであることがある。各供給源について、連続的なあふれの間に成長する集水流域（すなわち、ラベル付けされた領域）が構築される。セグメント化された領域境界を表す分水嶺は、結合を回避するために隣接する流域に対して構築される。分水嶺変換は領域を分離するのに有効であるが、骨セグメント化を達成するためには、閾値化などの異なる方法との組合せが必要とされる。したがって、分水嶺変換は、閾値化と同じ問題を共有する。
[0097]様々な高レベルセグメント化技術は、形状及び外観の統計モデルを利用する。解剖学的構造のセグメント化のために、統計的形状モデルは、トレーニングされた変動モードに関して平均形状を変形することによって、提供されたデータに適合されてもよい。したがって、変形は、統計的に有効な方向に制約され、ロバストなセグメント化をもたらす。統計モデルは、健康な骨のセグメント化のための強力なツールであることが証明されているが、これらの方法は、破損断片の置換によって引き起こされる大きな病的可変性のために、外傷学的症例に特に適しているわけではない。
[0098]様々な高レベルセグメント化技術は、変形可能モデルとともにエネルギー最小化を利用する。3Dパラメトリック変形可能モデルは、セグメント化されたオブジェクトのパラメータ化された表面によって表すことができる。モデルは、外部画像力及び内部力に従って変形され、全体のエネルギー関数における対応する項をもたらす。内部エネルギーは、表面が外部画像力によってセグメント化ターゲットに向かって引っ張られる間に、表面の平滑性を強化する。これらのモデルにはいくつかの制限がある。アルゴリズムの性能は、強度が低い細長い構造の場合、並びに高度にテクスチャ化された骨部分の場合には不十分である。加えて、パラメトリックモデルの初期化の品質は、セグメント化結果にとって重要であり、不十分な初期化は、遅い収束又は不正確な特徴へのモデルの誘引をもたらすことがある。
[0099]様々な高レベルセグメント化技術は、変形可能グラフカットとともにエネルギー最小化を利用する。そのような技術の1つは、グラフカットを介したエネルギー最小化によるn次元画像の相互作用的なセグメント化を提供する。画像強度に基づく相互作用的アプローチが骨セグメント化のために提案されており、アルゴリズムは、ユーザ定義のストロークからオブジェクト及び背景の強度分布を生成する。このような技術は非常に時間がかかり、皮質シェルが薄く目立たない重要なエリアにストロークを正確に配置することを必要とするかもしれない。別の重要な問題は、最適なパラメータ選択である。通常、各画像は、最適パラメータの異なるセットを有し、パラメータ設定が最適からかけ離れている場合、重要なユーザ対話が必要とされるかもしれない。
[0100]処理回路102は、上記で紹介されたセグメント化技術のうちの１つ以上を実装するように構成されてもよい。しかしながら、これらの技術の欠点を考慮して、処理回路102は、局所構造分析を用いて画像強調を実行するように構成することもできる。例えば、処理回路102は、画像内の局所構造を検出するために一次及び二次強度導関数を使用するように構成することができる。様々な厚さを有する皮質骨層のセグメント化を扱うために、処理回路102は、血管強調フィルタなどの強調フィルタを使用するように構成されてもよい。
[0101]強調フィルタは、処理回路102がオブジェクトと背景領域との間で低コントラストを有する画像をセグメント化することを可能にしてもよい。さらに、強調フィルタはノイズの多い画像に対しても効率的である。処理回路102は、強調フィルタを適用する際に、データセット内の各ボクセルの周囲の局所構造分析を実行し、皮質ボクセルを他のボクセル（空気、海綿骨、ノイズなど）から区別することができる尺度を計算する。処理回路102は、幾何学的管状構造を探索するように構成することができる。血管は異なるサイズで現れ、特定の範囲内で変化する測定スケール「s」で測定することができる。スケール「s」におけるガウスカーネルの2次導関数情報（ヘッセ）を分析することによって、処理回路102は、導関数（勾配）の方向における範囲の内側及び外側（-s,s）の領域間のコントラストを測定することができる。
[0102]固有値分解の一部として、処理回路102は、3つの正規直交方向（固有ベクトル）と、ヘッセ行列によってマッピングされたときにスケーリングファクタまで不変である大きさ（固有値）とを抽出してもよい。固有値は、降順にソートすることができる。|λ1| < |λ2| < |λ3|.λ1が小さく（理想的には0）、λ2及びλ3が高い大きさ及び同じ符号（符号は明るさ／暗さの指標である）を有する場合に、ボクセルは、管状構造として分類される。
したがって、理想的な管状構造ボクセルは、以下によって特徴付けられる。
Figure 2023502280000003
Figure 2023502280000004
Figure 2023502280000005
[0103]処理回路102は、2つの公比に基づいて非類似性尺度を計算することができる。第1の比は、ブロブ状構造からの逸脱を説明するが、チューブ状パターンとプレート状パターンとを区別することはできない。
Figure 2023502280000006
[0104]第2の比は、2つの最大の2次導関数のアスペクト比を説明する。後者のケースのみが0であるので、この比はプレート状構造とチューブ状構造とを区別するために必須である。
Figure 2023502280000007
[0105]取得された画像に現れるノイズに対処するために、処理回路102は、フロベニウス行列正規化を以下のように使用することができる。
Figure 2023502280000008
[0106]この尺度は、構造が存在しないバックグラウンドにおいて低いと予想されてもよく、固有値は、コントラストの欠如に対して小さいと予想されてもよい。背景と比較して高いコントラストを有する領域では、固有値のうちの少なくとも1つが大きいことに起因してノルムが大きくなってもよい。血管関数成分の最終的な組み合わせは、以下のように定義される。
Figure 2023502280000009
[0107]ここで、α、β及びcは、尺度Ra、Rb及びSに対するフィルタの感度を制御する閾値である。基準は、それらの積を使用して組み合わされて、3つの基準すべてが満たされた場合にのみフィルタの応答が最大であることを保証する。処理回路102は、異なるスケールsで式（2.7）の血管尺度を分析する。フィルタの応答は、検出する血管のサイズにほぼ一致するスケールで最大であってもよい。
Figure 2023502280000010
 ここで、smin及びsmaxは、関連する構造が見出されると予想される最大及び最小スケールである。
[0108]図3Aから3Cは、管状構造、ブロブ構造及びシート状構造についてのヘッセ固有ベクトル分解を示す。図3Aは、管状構造の中心ボクセルの固有ベクトルを示す。図3Bは、ブロブ構造の中心ボクセルの固有ベクトルを示す。図3Cは、シート構造の中心ボクセルの固有ベクトルを示す。
[0109]処理回路102は、特に、皮質骨がシート状構造として現れる骨構造のセグメント化におけるシナリオについて、骨強調フィルタを実装することができる。処理回路102は、上述の公比Rb、Ra、及びSを使用するように構成されてもよく、又は以下に示すわずかに修正されたRb比を使用してもよい。
Figure 2023502280000011
[0110]この尺度は、シート状構造では2に等しく、管状構造では1に等しく、ブロブ構造では0になる。
[0111]処理を早めるために、処理回路102は、ヘッセセグメント化が適用されるゾーンを定義してもよい。具体的には、処理回路102は、以下により詳細に説明される以下の4つのステップを実行してもよい。（1）上腕骨及び肩甲骨の自動分類（この段階ではヘッセ計算はない）、（2）破損頭部ゾーンの自動識別、（3）他の破損断片ゾーンの自動識別、（4）最適ヘッセパラメータの推定。
[0112]上腕骨及び肩甲骨の自動分類について、処理回路102は、処理時間を短縮するために画像寸法を最適化する自動アルゴリズムを介して画像ダウンサンプリングを実行するように構成されてもよい。処理回路102はまた、200を上回るHUSを伴う全てのボクセルが1に設定され、ボクセルの残りが0に設定されるダウンサンプリングされたデータセットに閾値化を適用することによって、粗いセグメント化を行うように構成されてもよい。処理回路102は、閾値化後に検出されたバイナリ形式の形態計測特徴に基づく分類から開始する初期分類を実行するように構成されてもよい。次いで、各形態は、肩甲骨、上腕骨、又はその他としてラベル付けされる。処理回路102は、軸に最もよく適合するように、各スライス上の骨幹形態の重心を使用して、骨幹軸計算を行うように構成されてもよい。処理回路102は、正確な肩甲骨検出を実行するように構成されてもよい。さらなる仮想手術計画のために、正確な肩甲骨セグメント化を有することが重要であるかもしれない。この段階の間、肩甲骨のセグメント化及び分類を増強するために特定の技術が使用される。
[0113]破損頭部ゾーンの自動識別のために、処理回路102は、骨強調フィルタに基づいて自動近位頭部セグメント化アルゴリズムを実施するように構成されてもよい。上腕頭はいかなる筋肉にも付着していないので、骨折後の上腕頭の変位は、特定の位置又は方向に必ずしも限定されない。事故の種類、加えられた力、及び入院前の固定に応じて、上腕頭は、元の位置に近いものもあれば、元の位置から遠いものもある、異なる位置で見つけられるかもしれない。
[0114]上腕頭セグメント化ゾーンを定義するために、処理回路102は、CTスキャン検査画像上で破損頭部中心及びその半径を識別することができる完全自動アルゴリズムを実行するように構成することができる。そうするために、処理回路102は、0より大きいHU値を有する全てのボクセルについて勾配ベクトルを計算する。次いで、処理回路102は、非最大抑制を実行し、勾配ベクトルに沿ってより大きい大きさを有する近傍を有するボクセルは、0に設定される。次いで、各非0ボクセルについて、処理回路102は、ボクセル中心を中心とし、2つの方向、すなわち勾配ベクトルに沿った方向及び反対方向に35mm延長された勾配線を構築する。35mmという値は、統計的に最大の上腕頭半径を表すが、他の値を使用してもよい。次いで、処理回路102は、各勾配線と画像ボクセルとの間の交差を計算し、線がボクセルと交差する場合、カウンタが1だけ増分される。最大数の交差を有するボクセルは、上腕頭の中心を識別するために使用することができる。処理回路102はまた、上腕頭半径を計算するために、上腕頭中心及びそれらの原点（ボクセル中心）と交差する勾配線を決定してもよい。アルゴリズムは、並進及び回転に対して不変であってもよく、したがって、CT画像上の任意の場所で破損上腕頭を検出することが可能であってもよい。
[0115]図4Aから4Dは、変位した破損上腕頭の異なる位置の例を示す。図4Aは、元の位置に近い上腕頭の例を示す。図4Bは、元の位置から遠く離れた上腕頭の例を示す。
図4Cは、上腕頭が押された小結節の例示的な軸方向図を示す。図4Dは、上腕頭が押された小結節の例示的な3D図を示す。図5Aから図5Dは、図4Aから図4Dの例について、破損上腕頭及び関係するセグメント化ゾーンの自動検出を示す。
[0116]処理回路102は、他の破損断片ゾーンの自動識別を実行するように構成することができる。処理回路102は、小結節及び大結節の検出及びセグメント化を実行するように構成されてもよい。大結節の解剖学的位置の回復は、手術結果に直接影響を及ぼす。大結節及び小結節の検出は重要であり、その理由は、大結節及び小結節は肩筋付着部を含むからである。大結節は棘上筋、棘下筋及び小円筋に付着し、一方、小結節は肩甲下筋及び大円筋に付着する。この事実に起因して、破損した結節は、それらの元の位置に近いことが多い。
[0117]関心体積を決定するために、処理回路102は、上述のように計算された骨幹中心線軸を使用するように構成されてもよい。この軸の周りに円筒を作成し、破損結節の関心領域（ROI）として使用する。図6Aから6Fは、識別された破損断片ROIの例を示す。
[0118]処理回路102は、上記で説明したヘッセパラメータを最適化するように構成されてもよい。上述したように、局所画像構造を分析するために2つのコスト関数（血管関数）が提案される。一方は血管検出用に展開され、他方は骨強調用に展開される。これらの関数は両方とも、フィルタの感度を制御するいくつかのパラメータを含む。いくつかの例では、処理回路102は、α及びβを0.5に設定し、cを最大ヘッセノルムの値の半分に設定することができる。他の例では、処理回路102は、雑音抑制を調節するために、cを60から150の範囲に設定することができる。
[0119]局所構造分析フィルタの別の重要なパラメータはスケールであり、スケールは、検出されるべき解剖学的構造サイズ（骨分析については皮質厚さ、血管セグメント化については血管直径）を表す。いくつかの例では、可能な限り最も小さい骨構造から最も厚い骨構造までの範囲のスケール（0.5≦s≦3.0）を使用することができる。上腕骨近位部骨折のセグメント化などの他の例では、シート尺度は、上腕骨の近位部分における平均皮質厚さを表す2つのスケール0.75及び1.0について評価することができる。
[0120]ヘッセ処理後に出力画像に適用される閾値化レベルは、画像ノイズに対処するための別のパラメータである。セグメント化プロセス中に使用される別のパラメータは、ガウス平滑化フィルタのσである。処理回路102は、局所構造分析フィルタを適用する前に、σを使用して入力画像を平滑化してもよい。σのより高い値は、骨エッジを著しく不鮮明にし、著しい誤差を導入する可能性があり、一方、小さい値は、重要な水平ノイズの場合に十分でない可能性がある。
[0121]したがって、上腕骨近位部骨折の最も可能性あるセグメント化を取得するために調整されてもよい6つの異なるパラメータ（ガウス平滑化σ、α、β、c、ヘッセスケールs、閾値）が存在する。これらの6つの異なるパラメータの例示的な決定は、本開示の他の箇所でより詳細に説明される。
[0122]処理回路102は、上腕骨統計形状モデルに基づいて予測された上腕骨形状を決定するように構成することができる。SSMは、広く使用されるツールになっており、医療用途を含む3D形状の統計分析のために広く研究されている。そのようなモデルは、形状のクラスについて意味のある統計的結論を引き出し、したがって、オブジェクトのセグメント化、分析、及び処理タスクのための事前情報として使用することができる。典型的な用途は、モデルベースのセグメント化である。これは通常、情報の欠如が存在するときに使用され、したがって、失われた部分についての推測的情報がモデルによって提供される。SSMを使用して、処理回路102は、形状変化を、形状空間の基底を形成するグループに分離するように構成されてもよい。
[0123]整形外科分野では、SSMは、上腕骨以外の人体のいくつかの骨に頻繁に適用されている。本開示の技術によれば、上腕骨統計形状モデルに基づいて予測された上腕骨形状を決定することの一部として、処理回路102は、上腕頭検出を含む解剖学的目印検出を実行するように構成されてもよい。処理回路102は、破損頭部ゾーンの自動識別に関して上述したものと同じ技術を使用して上腕頭を検出するように構成することができる。例えば、処理回路102は、入力メッシュから八分木を構築し、メッシュ上の頂点毎に頂点及び法線を伴う線を定義し、任意の線が八分木の構造要素（例えば、ボクセル）と交差するとき、ボクセルの内部カウンタを1だけ増加させてもよい。これらの技術を使用して、処理回路102は、上腕頭の中心を、最大数の交差を有する八分木構造要素として検出することができる。処理回路102はまた、上腕頭頂点に対応する、この構造要素と交差する線に属する頂点IDを記録してもよい。
[0124]図7Aから7Cは、検出された上腕頭の例を示す。処理回路102は、上腕頭の中心を検出する。しかしながら、上腕頭頂点検出中に、いくつかの外れ値が検出されるかもしれない。図7Aは、上腕頭中心検出の例を示す。図7Bは、上腕頭頂点検出の例を示す。図7Cは、上腕頭頂点検出の例を示す。
[0125]これらの外れ値を除去するために、処理回路102は、小さな切断された検出領域（例えば、10個未満の頂点のサイズ）を除去し、上腕頭中心（図8C、点802）から、検出された頂点の重心（図8C、点804）への方向を検出するように構成されてもよい。処理回路102は、方向が上腕頭方向と反対である任意の頂点を除去してもよい。処理回路はまた、形態学的閉鎖操作を適用してもよい。図8Aから8Cは、取り除かれた上腕頭点の例を示す。
[0126]処理回路102は、最初に有向境界ボックス（OBB）を計算することによって上腕骨骨幹軸を検出するように構成することができる。このOBBの最大ベクトルは、骨幹軸の第1の近似であってもよい。処理回路102は、次いで、最大OBB軸に垂直な平面で上腕骨を切断してもよい。
[0127]処理回路102は、平面902及び904を用いて、図9A及び9Bに示されるように、以下の式を使用して開始限界点及び終了限界点を計算することができる。
startPoint=OBBCorner+0.2×OBBMaxV ecto （3.1）
endPoint=OBBCorner+0.8×OBBMaxV ector （3.2）
ここで、0.2及び0.8は上腕骨長の20及び80パーセントを表す。これらの値は、統計的平均形状に基づいて、これらのレベルで通過する平面が上腕頭及び肘領域と決して交差しないように選択された。他の値もまた使用されてもよい。
[0128]図9Aから9Cは、骨幹点計算の例を示す。図9Aは、骨幹軸計算のための上腕骨OBB及び切断限界の例を示す。図9Bは、軸計算及び骨幹軸のための点の例を示す。図9Cは、骨幹バンディング点の例を示す。
[0129]各切断について、処理回路102は、3Dメッシュと切断平面との間の交点を検出し、これらの点の重心を計算する。骨幹軸は、図9Bの線906によって示されるように、重心に適合する線に基づいて計算される。
[0130]処理回路102はまた、新たに計算された骨幹軸に対する垂直面と3D上腕骨メッシュとの間の交差の重心として、骨幹バンディング点を計算するように構成されてもよい。このプロセスのために、処理回路102は、以下のように開始限界及び終了限界を拡大する。startPoint=OBBCorner+0.1×OBBMaxV ector （3.3）
endPoint=OBBCorner+0.9×OBBMaxV ector （3.4）
ここで、0.1及び0.9は上腕骨長の10及び90パーセントを表す。これらの値は、上腕骨を3つの部分:上腕頭、骨幹及び肘に分ける境界位置などの統計分析に基づいて決定された。他の値もまた使用されてもよい。図9Cは、上腕骨骨幹を一致させるために弾性位置合わせ中に使用されてもよい、決定されたバンディング点の例を示す。
[0131]処理回路102はまた、肘軸及び向きを決定するように構成されてもよい。処理回路102は、肘内側及び外柱肋骨を通過する肘平面を検出する。これらの肋骨上に位置する点を検出するために、処理回路102は以下のステップを実行する。（1）肘レベルで、骨幹軸に垂直な平面で上腕骨3Dメッシュを切断し（図10A及び10B上の黒点）、各切断について、メッシュと交差平面との間の交点を検出し、検出された点を順序付けて閉じた輪郭を作成し、各閉じた輪郭について、離散曲線展開アルゴリズムを適用して輪郭の2つの最も重要な点（図10A及び10B上のドット）を決定する。
[0132]図10Aから図10Dは、骨幹点計算の例を示す。図10Aは、肘柱肋骨検出の例を示す。図10Bは、肘柱肋骨検出の例を示す。図10Cは、肘平面の例を示す。図10Dは、肘軸（線1002）の例を示す。
[0133]処理回路102は、図10Cに示されるように、検出された肋骨点に対する最良適合平面として肘平面を計算するように構成されてもよい。肘軸は、骨幹軸と肘面法線とのベクトル積として計算される。例が図10Dに示されており、肘面法線が線1004によって示され、肘軸が線1002によって示されている。肘軸は、上腕頭と同じ方向を指す。正しい肘軸方向を保証するために、処理回路102は、上腕頭検出に関して上述したように、肘軸と上腕頭方向との間のスカラー積を決定し、その積が負である場合、肘軸を反転させるように構成することができる。
[0134]処理回路102は、肘の最も外側の点及び最も内側の点に基づいて上顆軸を決定することによって、肘対応点を検出するように構成されてもよい。これらの点を識別するために、処理回路102は、その法線が肘軸方向に等しい2つの平面を構築する。処理回路102は、図11の平面1102及び1104によって示されるように、肘軸方向（内側平面原点）及び反対方向（外側原点）に沿って、例えば、10cmだけ上腕頭中心を並進させることによって、原点を取得する。10cmは、統計的分析に基づく肘サイズよりもはるかに大きい距離であり、構築された平面が肘と交差しないことを確実にする。
[0135]図11は、最も内側及び外側の肘点検出を図示する。最も内側の肘点を見つけるために、処理回路102は、内側面1104に最も近い点を見つける。同様に、外側平面1102を使用して、処理回路102は最も外側の点を決定する。肘は、図12Aに示すように、上顆軸の内側点に基づいて2つの部分（内側及び外側）に分割される。
[0136]図12A及び12Bは、肘目印を示す。図12Aは側面図を示し、図12Bは内側図を示す。
[0137]内側部分において、処理回路102は、滑車最低点（図12Bの点1202）に対応する肘軸線から最も遠い肘点を決定する。この点を使用して、処理回路102は、2つの平面を定義することによって滑車ゾーンを決定する。第1の平面は、肘軸に等しい法線方向と、肘軸に沿って例えば3mmだけ内側にずれた滑車点とによって定義される。3mmの値は、肘の解剖学的構造に基づいて選択される。なぜならば、内側の滑車は平面に似ており、その結果、小さなシフトが滑車部分を含むからである。第2の平面は、同じ法線と、肘軸に沿って例えば10mmだけ横方向にシフトされた滑車点とによって定義される。この場合、距離は、滑車体積の少なくとも半分を得ることを目的として実験的に選ばれる。滑車ゾーンの例が図13Bに示されている。
[0138]処理回路102はまた、上腕頭検出に関して上述した上腕頭検出アルゴリズムを適用することによって、滑車中心を検出するように構成されてもよい。このアルゴリズムは、3D画像上で球状又は円形構造を検出することができる一般的な方法である。この技術を使用して検出された滑車中心は、一般に、人間が選ぶであろう直観的な中心に対応する。処理回路102は、小頭目印検出のために同様のアプローチを使用するように構成されてもよい。得られた結果を図13Cに示す。
[0139]図13Aから図13Cは、滑車及び小頭目印検出を図示する。図13Aは、肘の内側部分及び外側部分の例を示す。図13Bは、滑車検出の例を示す。図13Cは、滑車及び小頭内部目印の例を示す。
[0140]処理回路102はまた、前述のように離散曲線展開アルゴリズムを適用することによって、肘柱肋骨点を検出するように構成されてもよいが、このインスタンスでは、肘軸線レベルで上腕骨の切断を開始する。得られた肘目印点の例を図12A及び12Bに示す。
[0141]図14A及び14Bは、上腕二頭筋溝検出の例を示す。図14Aは、二頭筋溝最小曲率を示し、図14Bは、二頭筋溝点を示す。処理回路102は、上腕頭の上端に到達するまで続く位置特定及び検出を実行することによって、二頭筋溝検出を実行するように構成されてもよい。第1に、処理回路102は、肘に向かって骨幹軸に沿って2つの頭部半径だけシフトされた上腕頭中心点として、骨幹開始点（Pstart）を計算する。このレベルでは、二頭筋溝形状は、骨幹中心に向かって凹状であり、低い曲率値（例えば、図14A）及び骨幹中心への近い距離によって特徴付けることができる。二頭筋溝点を局在化するために、処理回路102は、骨幹と、骨幹軸及びPstart点によって定義される平面との間の交差を計算する。各交点について、コスト関数が以下のように計算される。
Kgroovei=Di+2×C （3.5）
[0142]ここで、Dは、点から骨幹軸までのユークリッド距離であり、Cは、分析された点における最小曲率値である。処理回路102は、最小コスト関数を有する点として、二頭筋溝点を決定する。次いで、処理回路は、骨幹軸に沿って交差平面を上方にシフトさせることによって、二頭筋溝点検出を継続する。各交点について、処理回路102は、上記の式3.5に示されるようにコスト関数を計算し、最小コスト関数値を有する点を識別する。上腕頭レベルでは、このアルゴリズムは、低曲率を伴ういくつかのゾーンに起因して、失敗するかもしれない。この問題に対処するために、処理回路102はまた、選択された点を承認するために追跡技術を使用するように構成されてもよい。検出された二頭筋溝点の例を図14Bに示す。
[0143]処理回路102は、これらの点を上部骨幹目印検出のための基準として使用することができる。上腕頭中心レベルから開始して、処理回路102は、上腕骨メッシュと骨幹軸に垂直な平面との間の交差を計算してもよい。各交点について、処理回路102は、最上位点を検出するために離散曲線展開アルゴリズムを適用することができる。処理回路102は、以前に計算された二頭筋溝点に最も近い2つの点を上部骨幹目印として選ぶことができる。骨幹軸に沿って交差平面を下方に移動すると、処理回路102は、上部骨幹目印を計算するために、以前の手順を繰り返す。アルゴリズムは、例えば、上腕頭直径（D）の2つ分に等しい距離に達した後に停止してもよい。検出された目印の例が、4つの異なる上腕骨について図15Aから15Dに示されている。
[0144]交差平面が距離Dにあると、処理回路102は差分アルゴリズムを実施することができる。小結節から下がる凹状隆起は、ほぼこのレベル（上腕頭中心から上腕頭直径2つ分）で消失する。大結節から下がる隆起上の点を検出するために、処理回路102は、離散曲線展開アルゴリズムを適用し、次いで、以前に検出された目印に基づいて、大結節隆起上の点を追跡することができる追跡アルゴリズムを使用する。
[0145]上腕骨後傾は、集団にわたって著しく変動する。2つの上腕骨の上腕頭の間の正しい対応を確立するために、処理回路102は、ゾーン間対応を確立するために上腕骨をいくつかの特定のゾーンに分割するように構成されてもよい。処理回路102は、上腕骨近位部を3つのゾーン:上腕頭、大結節及び小結節に分割する。そうするために、処理回路は2つの平面を定義する：（1）上腕頭面－関節中心を通過する、以前に検出された上腕頭点に対する（最小二乗の意味での）最良適合平面；及び（2）結節平面－以前に検出された近位二頭筋溝点に（最小二乗の意味で）適合された線、及び関節中心によって定義される平面。
処理回路102は、これらの平面を使用して、上腕頭を切り出し、2つの結節を分離する。得られた結果の例を図16A及び図16Bに示し、これらは対応確立のための上腕骨上部ゾーンの例を示す。
[0146]2つの表面間の対応を見つけるために、処理回路102は、それらの間の距離を最小化するように構成されてもよい。この場合、対応は最小一致距離に基づく。2つのメッシュ間の距離最小化を実行するために、処理回路102は、有向境界ボックスの最長ベクトルを等化することによってメッシュを同じサイズにする方法である均一スケーリングを最初に実行するように構成されてもよい。処理回路102は、第2に、並進及び回転によって2つの表面間の距離を全体的に最小化する方法である剛体位置合わせを実行してもよい。より具体的には、3つの目印点が各上腕骨上で自動的に検出される。2つの表面は、目印の2つのセット間の最良適合マッピングを計算することによって、最小二乗の意味で整列される。処理回路は、第3に、表面変形による局所距離最小化のための技術である、（3）非剛体位置合わせを実行してもよい。例えば、処理回路102は、表面目印点を使用して2つの表面に局所的にアプローチする階層的B-スプライン位置合わせ技術を実装してもよい。解剖学的目印検出について上述した技術に基づいて、上腕骨の表面上（例えば、図17B及び図17Cを参照）及び表面内部（例えば、図17Dを参照）で85個もの目印を自動的に検出することができる。これらの点に加えて、処理回路102は、これらのゾーン上の目印点を検出するために使用できる、以前に定義された上腕骨近位部ゾーン（上腕頭、大結節、及び小結節）間のゾーン間対応を確立することができる。目印点のこの数は、十分かつ信頼できる表面変形のために使用されてもよいが、他の数の目印も使用されてもよい。
[0147]図17Aから図17Dは、剛体位置合わせ及び非剛体位置合わせのための目印の例を示す。図17Aは、剛体位置合わせのための目印の例を示す。図17Bは、非剛体位置合わせのための表面目印の例を示す。図17Cは、非剛体位置合わせのための表面目印の例を示す。図17Dは、非剛体位置合わせのための非表面目印の例を示す。
[0148]B-スプライン位置合わせが適用され、2つのメッシュが可能な限り近くなると、処理回路102は、最小距離基準を使用して、点間対応を見つけることができる。この段階で、処理回路102は、平均形状を計算し、主成分分析（PCA）アルゴリズムを適用して主要な変動モードを決定することができる。
[0149]図18Aは、平均形状のスケールファクタとして第１の主要な変動モードを示す。上腕骨長は、最頻値が減少しているときに増加し、逆に、上腕骨長は、最頻値が増加しているときに減少する。
[0150]図18Bは、平均形状に対する第2の主要なモードの影響を示す。このモードは、モード値が減少するときの一様な膨張と、値が増加するときの一様な収縮とからなる変動を表す。
[0151]図18Cは、平均形状に対する第3のモードの影響を示す。このモードは、前頭面における骨幹曲率及び上腕頭内反／外反に対して高い影響を有することが観察できる。この第3のモードはまた、肘小頭及び内側上顆の修正された位置を生成する。
[0152]図18Dは、平均形状に関する第4のモードの変動を示す。モード値を修正すると、矢状面における骨幹曲率が変化することが分かる。第4のモードはまた、上腕頭及び肘の位置にわずかな影響を有する。
[0153]図18Eは、平均形状に対する第5のモードの影響を示す。モードは、上腕頭を一方向に回転させ、上顆軸を別の方向に回転させることによって、上腕頭の後傾を制御することが観察できる。第5のモードは、小結節及び大結節の位置を上腕頭と同じ方向に回転させる。
[0154]図18Fは、平均形状に対する第6のモードの変動を提示する。モード値を減少させることは、上腕骨骨幹を収縮させるだけであり、その結果、モード値を増加させることは、骨幹を拡張させることが観察できる。このモードは、第2のモードと少し類似しており、違いは、異なる骨ゾーンに対する影響の強度にある。現在のモードは、骨幹に対して高い影響を有し、頭部及び肘に対して非常に軽い影響を有する一方で、第2のモードは、上腕骨全体に対して均一な影響を有することが分かる。
[0155]図18Gは、第7のモードの影響を示しており、主な変動は、上腕頭内反／外反変化並びに結節及び小頭変位にある。
[0156]図18Hは、第8のモードの変動を示す。このモードは、上腕骨滑車の位置、形状及び向きと同様に、小頭の位置及び形状をかなり変化させることが分かる。さらに、第8のモードのこの変動は、外側上顆及び内側上顆の位置に影響を及ぼす。第8のモードはさらに、上腕骨近位部形状、より具体的には両方の結節に強い影響を及ぼす。形状パラメータが減少するとき、結節間の距離は増加し、逆もまた同様である。結節の位置の変化は、二頭筋溝の形状にも影響を与える。
[0157]上記の例は、平均形状に対する最初の8つの主要な変動モードの影響を説明している。対応間の二乗距離を最小化することによって、処理回路102は、SSMのコンパクト性を最小化することができる。しかし、コンパクト性の値を最小化しても、第8のモードは平均形状に大きな影響を与える。したがって、全ての上腕骨変動を正確に表すために、処理回路102は、8つを上回るモードを使用するように構成されてもよい。
[0158]上腕骨後傾と相関する上腕骨近位部点／ゾーンを決定するために、処理回路102は以下のように構成されてもよい。（1）上腕骨SSMに基づいてN個の上腕骨インスタンスSnを作成し、（2）各Snについて、骨幹中心軸（Adiaphysis）及び上顆軸（Atransepicondylar）及び後傾角度（thetan）を計算し、（3）各上腕骨3D表面Sn点piをAdiaphysis軸上に投影し、（4）各投影点について、ベクトルVi=pi-pprojected Iを決定し、（5）各ベクトルViについて、角度αi=∠（Vi,Atransepicondylar）を計算する。
[0159]N個の生成された上腕骨すべてを処理した後、処理回路102は、各上腕骨について角度値αiを決定し、次いで、線形回帰分析を適用して、上腕骨後傾角度とすべての上腕骨頂点について計算された角度αiとの間の任意の潜在的な相関を決定することができる。
[0160]得られた結果は、上腕骨の後傾と強く相関する上腕骨近位部上のいくつかのゾーンを明らかにする。信頼できる目印として使用することができるこれらのゾーンには、二頭筋溝、小結節、結節間溝のエッジ、及び上腕骨近位骨幹の前面も含まれる。
[0161]処理回路102はまた、関節面直径相関を決定するように構成されてもよい。回帰分析に基づいて、処理回路102は、以下のように回帰線の方程式を決定することができる。
y=0.825×x-0.37 （3.6）
ここで、xは関節面半径であり、yは関節面厚さである。
[0162]上腕骨長は、後傾／傾斜変動と相関を有することが決定されている。図19A及び19Bは、後傾及び傾斜変動に対する上腕骨長の影響を示し、小さい上腕骨長は、より高い後傾及び傾斜変動に対応し、より長い上腕骨長値は、減少する後傾及び傾斜変動に対応する。したがって、処理回路102は、SSMを用いてオブジェクトスケールを考慮するように構成することができる。
[0163]上述のツールを利用して、処理回路102は、骨折片処理を実行するように構成されてもよい。上腕骨近位部骨折に関して、CTスキャン画像は、ともに融合されるように、破損断片のうちのいくつかを示すことが多い。一般に3つのタイプの断片癒合がある。（1）クラス1の癒合－破損されていないが曲がっているだけの骨（例えば、図20A）;クラス2の癒合－別の断片に当たる骨折断片の物理的変位（例えば、図20B）;クラス3の癒合－狭い骨間間隔によって引き起こされる自動セグメント化中の誤差（例えば、図20C）。
[0164]図20Aから20Cは、破損された断片の癒合を引き起こす異なるプロセスを図示する。図20Aは、破片が骨幹と比較して曲がっている断片を示す。図20Bは、2つの破損部分が衝突するまで移動した断片を示す。図20Cは、セグメント化誤差によって生じた破損断片間の癒合が生じた断片を示す。
[0165]破損された断片を操作し、元の患者の解剖学的構造を復元することができるようにするために、処理回路102は、全ての融合断片を分離するように構成されてもよい。いかなる骨折線も、高い絶対最小曲率値を有する領域を含むことが発見されている。最小曲率は、骨折線に沿って著しく変化し、しばしば、非常に低い絶対曲率値を伴う領域を有する。さらに、上腕骨近位部は、中程度の絶対最小曲率値を有する多くの無傷の骨領域を有することが観察されている。これらの条件は、閾値化のみを使用して融合断片を分離することを困難にする。分離問題を解決するために、処理回路102は、ステップセグメント化を実行するように構成されてもよい。
[0166]ステップセグメント化アルゴリズムの背後にあるアイデアは、セグメント化プロセスを徐々に伝搬させることである。各ステップの間、セグメント化プロセスは、全体的なセグメント化をガイドする特定の関心領域において開始する。図21Aから21Fは、アルゴリズムの原理を図示し、破損上腕骨近位部に適用される提案されたアイデアの3つのステップを示す。図21Aは、最小曲率を示す。図21Bは、曲率閾値化による領域初期化を示す。図21Cは、次のステップ伝搬点を示す。図21Dは、第1の伝搬ステップの後、再計算される次の伝搬点を示す。図21Eは、第2の伝搬ステップ後を示し、図21Fは、4回の反復後に得られた領域の骨格を示す。
[0167]最小表面曲率が骨折線記述子として選ばれている（図21A）。任意の骨折線に沿って、「高い」絶対最小曲率値を有する領域を見出すことが可能である。この値は問題固有であり、実験的に選ばれなければならない。「0.3」という値は、「高い」絶対最小曲率値とみなすことができる。したがって、ステップセグメント化アルゴリズムのための領域を初期化するために、処理回路102は、-0.3未満の最小曲率値を伴う全ての頂点を選ぶように構成されてもよい（図21B）。
[0168]次のステップは、伝搬ソース点検出である。処理回路102は、以前に定義された領域の境界輪郭を検出し、離散曲線展開アルゴリズムを適用するように構成される（図21C）。そして、処理回路102は、高速マーチング法に基づく波動伝搬の中心として、各ソース点を使用する。処理回路102は、絶対最小曲率値を波動伝搬の速度関数として使用し、これは、高い曲率を有する領域におけるより速い伝搬を意味し、その結果、低い曲率値を有する領域ではより遅い伝搬を意味する。伝搬距離は、画像ノイズによって引き起こされる誤った方向への伝搬を回避することを可能にする特定の値に制限される。第1の伝搬ステップ後に得られた結果を図21Dに示す。
[0169]伝搬プロセスが停止されると、処理回路102は、取得された点を初期領域と組み合わせて、次の反復のための入力を作成する。したがって、新しい領域について、処理回路102は、境界輪郭及びソース点（そのすべてではないがいくつかは、図21Dにおいて点2110Aから2110Dとしてラベル付けされている）を再計算し、さらなる伝搬のために高速マーチング法を再適用する。これは、反復回数が問題定義値である反復アルゴリズムである。
[0170]2回の反復後の伝搬領域の例を図21Eに示す。上腕骨近位部破損断片分離のために、処理回路102は、例えば、4回の反復を使用するように構成されてもよい。図21Fは、最終領域の骨格である得られた破線を示す。
[0171]処理回路102は、ステップ伝搬目印検出を実行するように構成されてもよい。ステップセグメント化アルゴリズムの1つの「成功の鍵」は、正確でロバストなステップ伝搬目印検出である。これらの点を正確に検出するために、処理回路102は、どの点が伝搬プロセスにとって重要であるかを定義するように構成されてもよい。図22A及び22Bは、外科医が骨折線に属する全ての頂点を手動で選択した上腕骨近位部骨折の3D画像を示す。選択された頂点は、閉じたサイクルを形成してもよい細長い線を形成することが観察できる。
[0172]上述したように、表面最小曲率は、骨折線記述子として選ばれている（例えば、図21A参照）。任意の骨折線に沿って、「高い」絶対最小曲率値を有する領域を見出すことが可能である。用語「高い」は、実験的に定義することができる問題特有の値であってもよい。そのような領域は、骨折線に従い、したがって、細長い形状をとる。骨折線の残りを検出するために、処理回路102は、定義された領域の突出（終了）点から波を伝搬するように構成されてもよい。図22Aは、上腕頭に沿った曲率の例を示し、スケールの上部は最小曲率を表し、底部はより高い曲率を表す。図22Bにおける点2202は、骨折線を検出するための伝搬プロセスについて潜在的に最適な点の例に対応する。
[0173]処理回路102はまた、前述の点を計算するために離散曲線展開（DCE）アルゴリズムを実行してもよい。DCEアルゴリズムは、オブジェクトの輪郭歪みを排除すると同時に、オブジェクト認識に十分なレベルで知覚的外観を保存する役割を果たす。本質的に、この技術は、あまり重要でない輪郭頂点（多くの場合、ノイズによって影響を受ける頂点）を排除し、輪郭記述にとって重要な頂点を保持する。この技術は、形状類似性尺度、骨格プルーニング、及び通常の2Dグリッド上のバイナリオブジェクトの突出点検出のために広く使用されている。
[0174]単純な2D魚形状へのDCEアルゴリズムの適用が図23A及び図23Bに示されており、ここでは、形状輪郭がノイズで乱されている。図23Bは、得られた結果を示しており、輪郭の最も重要な点が青色で示されている。これらの結果を観察した後、このアルゴリズムはステップ伝搬点を検出するために使用することができると結論付けることができる。
[0175]次に、DCE技術の基本概念を導入する。各進化ステップに対して、最小の関連性尺度を有する輪郭点が除去され、2つの隣接点が接続されて輪郭線セグメントを形成する。関連性尺度K（式4.1）は、ユークリッド距離及び角度に基づいて以下のように決定することができる。
Figure 2023502280000012
 ここで、βは、2つの輪郭のセグメントs1及びs2の共通の頂点における回転符号なし角度であり、l（.）は、多角形曲線の全長に対して正規化された長さ関数である。この尺度の主な特性は、K（s1;s2）の値が高いほど、形状に対する弧
Figure 2023502280000013
 の寄与が大きいことである。
[0176]図24A及び図24Bは、2つのタイプの輪郭トポロジーを示す。図24Aはスパイクを示し、図24Bは空洞を示す。処理回路102はまた、ステップ伝搬目印検出を実行するように構成されてもよい。処理回路102は、三角形分割された表面上で容易に計算することができ、従来のDCEと比較して通常の2Dグリッド上で同様の結果をもたらす新しいコスト関数を実装するように構成することができる。三角形分割された表面上の頂点によって形成される輪郭にDCEアルゴリズムを適用するために、処理回路は、通常の2Dグリッド上の輪郭と同じ技術を実装するように構成されてもよい。違いは、3D表面上で計算することができる新しい関連性尺度にある。頂点関連性尺度は、分析された頂点に接続されたセグメント長の合計に正比例し、これらのセグメントの接続されていない頂点間の距離に反比例する。
Figure 2023502280000014
 ここで、a、b、cは図24（A）に示されている。
[0177]距離cを見つけるために、処理回路102は、検討される輪郭（例えば、図24A）を定義するオブジェクトの内部のみの輪郭頂点間の最短経路を探索するように構成されてもよい。頂点が凹状領域内で見つかるとき、距離cは、空洞を形成するセグメントの合計に等しい（例えば、図24B）。
c=a+b （4.3）
[0178]最後の条件は、「凹状」頂点を区別しない。例えば、以下の2つの異なる凹状領域を考える。
1.a=10 cm、b=20 cm、c=30 cm
2.a=1 cm、b=0.5 cm、c=1.5 cm
[0179]関連性尺度（式4.2）は、たとえば、両方の場合について1ってもよいが、第1のケースではセグメントはより大きく、したがってより重要である。様々な凹状セグメントを区別するために、処理回路102は、サイズ係数を決定するように構成することができる。
Figure 2023502280000015
[0180]上記の例では、サイズ係数は、第1のケースでは4.48に等しく、第2のケースでは1.22に等しい。したがって、処理回路102は、そのような凹状領域を区別することができる。この関連性尺度は、任意の三角形分割されたメッシュに適用することができ、式4.2のコスト関数にサイズ係数を乗じたものに等しい。
Figure 2023502280000016
[0181]前述したように、骨折線は、最小曲率で特徴付けることができる。融合した骨片を分離するために、処理回路102は、最小曲率を表面記述子として使用するように構成することができる。最小曲率値は、骨折線に沿って有意に変動し、この変動は、融合断片間の角度、DICOM画質、及び後続のセグメント化に依存する。ほとんどすべての骨折線について、低い最小曲率値を有する1つ又はいくつかのゾーンが識別可能である。「低い最小曲率」という用語は、用途に依存し、特定の問題ごとに定義することができる。これらの「低曲率」ゾーンは、細長い形状を形成し、骨折線に従う。最小曲率値が「低」値と0との間で変化する他の上腕骨ゾーンは、骨折線に属するか、又は二頭筋溝に属するか、又は単に無傷の骨表面の一部であってもよい。
[0182]処理回路102は、ステップセグメント化のための以下のセグメント化アルゴリズムを実装するように構成されてもよい。このアルゴリズムは、各反復（ステップ）中に、非常に弱い強度を有するゾーンをセグメント化することを可能にする特定の方向に波が伝搬する反復プロセスである。このアルゴリズムの主なステップは以下の通りである。
1.領域の初期化：
・メッシュM上の各頂点Viについて、最小曲率値
Figure 2023502280000017
 を計算する
・頂点Rのセットを作成する：
Figure 2023502280000018
 2.ラベル付けする領域：
・Rinit：Rj←Rinit, j∈M内の非接続頂点セットを分離し、Mは検出された非接続頂点集合の数である。
3.境界頂点検出：
・各Rj:j∈Mについて、境界輪郭Bj（例えば、図25Aの点2502）を検出する。
・境界輪郭は、位相的に接続された境界頂点の順序付けられたリストである。その近傍において、前景からの頂点（例えば、点2504、図25A）及び背景からの頂点（例えば、点2506、図25A）を同時に提示する場合、頂点は、境界頂点として分類される。
・頂点vの近傍は、vへのすべてのエッジ接続頂点である。
（例えば、頂点2508は、図25Aにおける頂点2510の近傍である）。
4.ソース点計算：
・検出された境界輪郭Bjごとに、ステップ伝搬点
Figure 2023502280000019
 k∈Kj,j∈Mを計算するためにステップ伝搬目印検出に関して上述したDCEアルゴリズムを適用し、Kjは輪郭Bjについて検出されたソース点の数である。
5.表面速度計算：
・各頂点Viについて、絶対最小曲率値として速度関数を定義する。
6.伝搬：
・各
Figure 2023502280000020
 ソース点について、高速マーチング法を適用する。定義された表面速度（ステップ5）は、より高い曲率値を有する領域におけるより速い波伝搬を意味し、結果として、低い曲率を有する領域へのより遅い伝搬を意味する。
・伝搬は測地的距離に関して制限される。最も遠い輪郭波が限界距離に達する場合、伝搬が停止される。この距離は問題固有の値である。
・波伝搬距離の最良の限界を選ぶために、1mmのステップを有する3mmから10mmの範囲をテストした。3mmより小さい任意の距離は、アルゴリズムが特定の方向（表面速度関数を用いて決定される方向）に進むことを可能にしない可能性がある。10mmを超える伝搬距離は、ノイズ領域を伝搬する可能性が高い。各テストについて、手動で選択された骨折線とステップセグメント化アルゴリズムによって検出された線との間のRMS距離を計算した。5mmの距離限界が最良の結果を生じた。
7.停止基準：
・全てのソース点
Figure 2023502280000021
 について限界距離に達したとき→ステップ2において点集合に伝搬点を追加する。
・ステップ2に進む。
[0183]ステップ2からステップ7まで繰り返すことによって、セグメント化プロセスは前進する。反復回数は重要なパラメータであり、アプリケーションに依存してもよい。反復回数を増加させると、典型的には、検出される領域の数が増加するが、これらの領域は必ずしも骨折線に属するとは限らない。多数の反復は、セグメント化結果にとって望ましくない多くのノイズの多い領域を検出してもよい。
[0184]反復回数は、問題固有の値であってもよい。破損断片分離問題について、処理回路102は、所望の結果を達成するために3回の反復を実行するように構成することができるが、他の回数の反復を使用することもできる。
[0185]処理回路102はまた、骨折線検出を実行するように構成されてもよい。処理回路102は、上述のようにステップセグメント化を使用して検出された領域に骨格抽出を適用することによって、骨折した上腕骨近位部の骨折線を計算してもよい。任意の三角形分割された3Dメッシュ上の頂点のセットに対する骨格抽出の問題は、些細なタスクではない。1つの解決策は、数学的形態演算のシーケンスが、三角形分割された表面上の頂点のセットに適用される方法である。説明した技術は、実施するのに効率的かつ簡単であるが、切断された骨格線につながる可能性があるいくつかの欠点を有する。この問題を克服するために、処理回路102は、頂点クラス間の優先順位を統合することによって、細線化プロセスを改善するために頂点カテゴリの追加の定義を含むように構成されてもよい。この方法は、異なるカテゴリのメッシュ（同種及び異種）及び頂点セット構成に対してテストされている。得られた結果は、アプローチの高い精度及び効率を図示している。
[0186]上で説明したように、上腕骨近位部骨折に関して、CTスキャン画像は、多くの場合、破損断片のうちのいくつかを互いに融合しているものとして示す。この課題に対処するために、処理回路102は、最小曲率に基づいて骨折線を特徴付けるように構成されてもよい。しかしながら、最小曲率は、骨折線に沿って著しく変化し、骨折線に沿って低い絶対曲率値を有する領域を観察することがしばしば起こる。さらに、上腕骨近位部は、中程度の絶対最小曲率値を有する多くの無傷の骨領域を有する。したがって、処理回路102は、上述のステップセグメント化アルゴリズムを実装するように構成されてもよい。ステップセグメント化アルゴリズムの原理は、漸進的な伝搬プロセスである。各反復中に、セグメント化プロセスは、全体的なセグメント化／伝搬をガイドする関心領域において開始する。このような関心領域は「ソース点」と呼ばれ、離散曲線展開アルゴリズムを使用して計算される。
[0187]上記で紹介したツールを使用して、処理回路102は、骨折整復のための手順を決定するように構成されてもよい。骨折整復は、骨折又は脱臼を正しい整列に修復するための外科処置である。これに関連して、用語「整復」は、任意の種類の除去又は定量的減少を必ずしも意味するものではなく、むしろ回復、又は「正常に戻す」ことを意味する。骨折において、断片は、変位及び／又は角度形成に関してそれらの整列を失う。骨折した骨が変形することなく治癒するためには、骨片をその正常な解剖学的位置に再整列させなければならない。整形外科手術は、変位を整復させることによって骨折した骨の正常な解剖学的構造又は機能を回復しようと試みる。
[0188]非手術治療、閉鎖整復、開放整復及び内部固定、肩半関節形成術、並びに逆全肩関節形成術を含む、上腕骨近位部骨折管理のためのいくつかの技術が存在する。非手術治療を除く全てのこれらの技術について、元の解剖学的構造（骨折前）は、満足な結果を得るために外科医が有するべき重要な情報である。
[0189]上腕骨近位部骨折を整復し、元の解剖学的構造を見つけるための技術は、手動の破損断片整復、近位骨折整復のための触覚ベースのアプローチ、無傷の反対側上腕骨近位部形状に基づく破損断片整復、及び統計解剖アトラスモデルに基づく破損断片整復を含む。
[0190]処理回路102は、破損骨幹断片上への上腕骨SSM適合を実行するように構成されてもよい。粗い位置合わせの目的は、利用可能な破損断片を、それらの境界の類似性を捕捉することができるレベルまで整列させることであり、これにより、ICPアルゴリズムに基づく細かい整列が可能になる。処理回路102は、上腕骨SSMを使用することによって、粗い上腕骨近位部断片位置合わせを実施するように構成されてもよく、SSMは、破損断片配置のためのテンプレートとして作用する。しかしながら、上述のように、上腕骨形状は、集団にわたってかなりの変動を有し、したがって、単純な平均形状を信頼できるテンプレートとして使用することはできない。処理回路102は、ステップアルゴリズムを実装するように構成されてもよく、各ステップについて、SSMは、骨折についての追加情報を組み込む。これは、患者の生来の上腕骨近位部形状へのSSM形状の近似を改善する。
[0191]処理回路102は、骨幹検出及び除去を行うように構成されてもよい。図26Aから26Dは、骨幹検出及び特徴付けのためのプロセスを示す。図26Aは、骨幹有向境界ボックス（OBB）の例を示す。図26Bは、骨幹破損部分除去の例を示す。図26Cは、骨幹中心軸点の例を示す。図26Dは、破損部分中心軸計算なしの骨幹の例を示す。
[0192]処理回路102は、破損断片の中から骨幹断片を決定することによって、整復プロセスを開始する。そうするために、処理回路102は、破損上腕骨全体に対する有向境界ボックス（OBB）を計算し、ユークリッド距離（図26Aの点2601及び2602）に基づいて、上腕骨回転中心に最も近い角及び最も遠い角を決定する。検出された断片にわたって反復することによって、処理回路102は、骨幹を、OBB最遠点に最も近い頂点を有する断片として決定する。
[0193]処理回路102はまた、骨幹特徴付けを実行するように構成される。処理回路102は、常に上腕頭の方を指す中心軸を使用して骨幹を特徴付ける。以下により詳細に記載されるように、このベクトルの正確な計算は、骨折輪郭のない骨幹部分を必要とする。したがって、ロバストな破損骨幹中心軸計算の手順は、2つのステップからなる。（1）骨折輪郭除去及び（2）骨幹中心軸計算。
[0194]処理回路102は、骨折した輪郭除去を実行するように構成されてもよく、その間に骨折した骨幹部が切除される。非常に多くの場合、複雑な上腕骨近位部骨折が骨幹端レベルで生じる。骨幹端レベルを検出するために、骨幹半径の差を検出する方法が使用されてもよい。そうするために、処理回路102は、破損骨幹断片の周囲のOBBを計算し、最も長いOBBのベクトルに垂直な平面によってこの骨幹メッシュを切断する。処理回路102は、最も遠いOBB点から開始し、最も近い点の方向に移動する（例えば、図26B参照）。各切断について、処理回路102は、当てはめられた円の半径を決定し、その半径を前の切断と比較する。半径値が10%以上増加した場合、骨幹端レベルが達成されたので、処理回路102は切断プロセスを停止する。
[0195]処理回路102は、骨幹中心軸計算を2つのステップで実行する。まず、処理回路102は、最長のOBBベクトル軸に垂直な平面によって、破損したエッジのない骨幹を切断することによって、初期中心軸を推定する。各切断について、処理回路102は、切断平面と骨幹メッシュとの間の交点の重心を計算する。処理回路は、取得した重心を使用して、第1骨幹中心軸推定値である線を最小平均二乗の意味で適合させる（図26D）。
[0196]処理回路102は、以前の手順を再適用することによって最終的な中心軸を計算するが、今回は、処理回路102は、以前に推定される中心軸に垂直な平面によって骨幹を切断する。
[0197]要約すると、破損骨幹は、最長のOBB軸に垂直な平面によって切断され、各切断について、重心が計算される。中心軸を決定するために、処理回路102は、最小二乗の意味で、検出された重心に線を適合させる。図26Cに見られ得るように、骨折輪郭レベルにおける中心点は、中心軸から逸脱し、これが、処理回路102が骨幹端レベルより高い骨幹表面部分を除去するように構成されてもよい理由である。
[0198]処理回路102は、内部表面除去を実行するように構成されてもよい。正確な破損断片再構成のために、CTスキャンセグメント化中に、処理回路102は、皮質骨の外面及び内面の両方を検出するように構成することができる。破損断片整復及び元の上腕骨形状予測のために、処理回路102は、外部皮質形状のみを必要としてもよい。内部皮質骨を検出するために、各骨幹三角形をその正常な向きについてテストする。このテストは以下の3つのステップで行われる。（1）三角形の重心を骨幹中心軸に投影し、（2）骨幹中心軸への方向を三角形の重心からその投影へのベクトルとして決定し、（3）三角形の法線と中心軸への方向とのドット積が正である場合、三角形を内部皮質表面の一部としてマークする。外部皮質形状のみを抽出するために、内部表面としてマークされた全ての三角形が除去されてもよい。
[0199]処理回路102は、粗い適合を実行するように構成されてもよい。上述のように、上腕骨長及び骨幹直径は、集団にわたって著しい変動を有するが、依然として、上腕骨SSMを使用してモデル化することができる。各上腕骨変動（長さ、後傾、傾斜．．．）は、変動の特定の主要モードによって制御することができる。したがって、処理回路102は、近位骨幹半径を破損骨幹断片の半径に適合させることによって、SSMの形状を初期化することができる。
[0200]処理回路102は以下を行うことができる。（1）前節で説明したように近位骨幹（骨幹端なし）抽出を決定し、（2）骨幹中心軸に垂直な平面による抽出表面切断を決定し、（3）各切断について、平面-表面交点に円を適合させ、（4）適合させた半径の平均値として近位骨幹半径を決定する。
[0201]第1及び第2の変動モードは、近位骨幹半径にかなりの影響を及ぼす。処理回路102は、最初の2つの主要な変動モードを変化させることによって、上腕骨SSM骨幹半径と破損骨幹半径との間の差異を最小化する非線形シンプレックス最適化を適用するように構成されてもよい。そのような最適化は、さらなる姿勢改良のために重要である元の形状骨幹半径を推定する。これは、元の骨の形状の最初の基本的な近似である。上腕骨SSM骨幹半径は破損されたものとほぼ等しいので、処理回路102は、両方の骨幹について同じレベルで骨幹端ゾーンをほぼ検出することができる。処理回路102は、骨幹端レベルにおける骨幹中心軸上の点及び軸自体を使用して、破損骨幹と上腕骨SSMとの間の剛体変換を計算する。結果として生じる変換は、上腕骨SSMに対する骨折した骨幹の姿勢を初期化することを可能にする。
[0202]処理回路102は、中心軸に沿って及び中心軸の周りで破損骨幹を並進及び回転させるように構成することができる。前述の初期化に基づいて、処理回路102は、上腕骨SSM上の破損骨幹位置を取得する。この位置は、実際の位置の第1の近似であり、したがって改善される必要がある。破損した骨幹の正確な位置を決定するために調整することができる2つのパラメータ、すなわち、中心軸に沿った垂直並進及び中心軸の周りの回転がある。
[0203]前述の初期化は、破損骨幹の高さを決定するための正確な技術である。しかしながら、この初期化は誤差を導入する可能性があり、したがって、既存の技術は、破損骨幹の高さの改善された決定から利益を得ることができる。本開示は、破損した骨幹の高さ決定を潜在的に改善するアルゴリズムを導入する。アルゴリズムは、破損骨幹断片をその中心軸に沿って上下に並進させることを含む。各並進について、処理回路102は、骨幹断片と上腕骨SSMとの間のRMS距離を計算する。処理回路102は、RMS距離を最小にする並進を探索する。
[0204]最初の整列及び垂直並進の後、処理回路102は、破損骨幹の非常に正確な垂直位置付けを得るが、中心軸の周りのその向きについては何も知らない。多くの場合、骨幹は、正しい向きを見つけることを不可能にする円柱としてモデル化される。幸いなことに、近位骨幹は、大結節及び小結節から下がる二頭筋溝及び2つの隆起を含む。そのような形状変形は、処理回路102が、上腕骨SSMに対する正しい破損骨幹向きを決定することを可能にする。アルゴリズムは、その中心軸の周りの破損骨幹の回転に基づく。各ターンについて、破損骨幹とSSMとの間のRMS距離が計算される。最良の向きは、最小RMS距離に対応する。
[0205]図27Aから図27Dは、上腕骨SSMとの破損骨幹の初期整列の第1の例を表し、図27Eから図27Hは、上腕骨SSMとの破損骨幹の初期整列の第2の例を表す。図27Aから27Dは、SSMの骨幹半径よりも小さい近位骨幹半径を有する患者を示す。図27Dは、シンプレックス最適化の出力を示しており、SSMサイズが減少している。最初の並進及び向きは非常に正確に計算された。したがって、並進及び回転最適化は、初期位置をそれぞれ2mm及び3度だけ調整した。
[0206]図27Eから27Hは、上腕骨SSMと同様の骨幹半径を有する患者を示す。シンプレックス最適化は、上腕骨のサイズをほとんど変化させない。最初の垂直整列は正確に推定され、垂直調整手順は破損骨幹の高さを変化させなかった。しかしながら、図27Gは、誤った破損骨幹向きを示す。最適化プロセスは、破損骨幹を68度回転させ、図27Hは、正確に配向された破損骨幹を示す。
[0207]処理回路102は、破損骨幹の利用可能な部分上に上腕骨SSMを可能な限り良好に適合させるように構成される。処理回路102は、形状最適化を実行するように構成される。より具体的には、処理回路102は、破損骨幹とSSMとの間のRMS距離を最小化する主要な変動モードの組み合わせを見出そうとするシンプレックス最小化アルゴリズムを適用する。
[0208]図28Aから図28Cは、骨幹形状に基づく破損上腕骨形状推定の例を示す。図28Aから図28Cは、3人の異なる患者に対する前述のアルゴリズムの適用を示す。得られた結果の目視観察は、推定されるモデル形状が利用可能な骨幹部分に非常に近いことを示す。得られた結果はまた、同じ精度を有するアルゴリズムが異なる長さの骨幹を処理することができることを示す。利用可能な骨幹の長い部分を有する上腕骨形状推定の例が、図28A及び28Bに示される。図28Cは、短い骨幹部分に基づく予測された上腕骨形状の例を示す。
[0209]上腕頭は、その整復のための特定のアルゴリズムの作成を可能にする及び／又は必要とする1つの解剖学的及び1つの幾何学的特性を有する。第1に、上腕頭は、いずれの筋肉にも付着していない唯一の断片である。この解剖学上の特性は、上腕骨近位部骨折のケースでは、任意の方向及び長い距離にわたる上腕頭の変位を可能にする。第2に、上腕頭表面を球形状で正確に近似することができる。この幾何学的特性は、処理回路102が上腕頭中心を計算し、その上腕頭中心を上腕骨SSM頭中心に位置合わせすることを可能にする。
[0210]球状上腕頭の幾何学的特性を使用して、処理回路102は、破損した上腕頭を上腕骨SSMアトラスに位置合わせするために以下のアルゴリズムを実装してもよい。
・破損上腕頭検出：
－破損上腕頭中心Cbrokenを、上述のように最大数の表面法線によって交差されるボクセルとして決定する；
－破損断片Fj,j∈M,Mの中から上腕頭を決定する
・検出された破損断片の数；
・各断片Fjについて、最小二乗の意味で球体を適合させ、球体中心Cjを記憶する；
・各Cjについて、ユークリッド距離Dj=dist（Cj,Cbroken）を計算する；
－最小距離Dmin=minj∈M{Dj}は、破損された上腕頭断片FBrokenHead←Fjに対応し、jは、距離Dminに対応する指数である。CBrokenHeadは、検出された破損頭部中心に対応する；
・上腕骨SSM頭部中心検出：
－平均形状上の手動で選択された上腕頭頂点IDは、任意の主要モード構成のための上腕骨SSM上のそれらの場所が知られることを可能にする；
－これらの点に適合する球体は、上腕骨SSM頭部中心Chssmが計算されることを可能にする。
・破損した上腕頭中心整列：
－変換TbrokenHeadを並進ベクトルVtr=Chssm-CBrokenHeadとして定義する；
－破損頭部断片に変換TBrokenHeadを適用する：
FBrokenHeadAtHSSM←Tr（FBrokenHead,TBrokenHead）;
・上腕頭破損整復：
－以前の頭部中心整列の後、破損した上腕頭の向きは、不正確であるかもしれない。正しい向きを見つけるために、処理回路102はシンプレックス最適化アルゴリズムを適用する。その回転中心の周りの破損上腕頭回転の平均によって、最適化プロセスは、破損上腕頭と上腕骨SSM表面との間のRMS距離を最小化する。
[0211]上腕頭整復の実施例は、図31A-31C及び32A-32Cに示される。破損された上腕頭断片は、予測された上腕骨形状に完全に適合する。得られた視覚的結果は、記載された破損頭部低減アルゴリズムの正しい挙動を示す。
[0212]上腕骨近位部骨折は、骨粗鬆症において発生する世界で4番目に最も一般的な骨折（股関節骨折、脊椎骨折及び橈骨骨折の後）として位置づけられる。それは、世界中で発生する全ての骨折の約8%を占め、重要な負担費用と関係する。骨折した肩を治療するために、外科医は、その形状及び（又は）機能性を回復する必要がある。このような操作は非常に複雑であり、成功した結果を保証することはできない。再入院は、上腕骨近位骨折後に生じることが多く、これらの再入院を管理する費用は、典型的には、一次入院よりも高い。不満足な結果の主な理由は、変位した断片によって引き起こされる未知の生来の上腕骨形状である。
[0213]上記で説明した技術の概要をここで提供する。処理回路102は、CTスキャンセグメント化を実行する。提案されたセグメント化のコアは、マルチスケールヘッセベースの骨強調フィルタである。このフィルタは、上腕骨近位部骨折のケースで最も適合された解決策であるが、迅速性、過剰なメモリ使用、及びアプリケーション固有のパラメータ依存性などのいくつかの欠点を有する。
[0214]2つの最初の問題を克服するために、本開示は、破損した上腕頭、骨幹、及び残りの断片の位置を自動的に決定するための技術を説明する。ROIは、位置付けられた断片の周りに作成され、セグメント化プロセスは、定義されたROIの内側でのみ実行される。
[0215]フィルタのアプリケーション固有のパラメータセットを決定するために、多数の可能なセットがテストされてもよい。各テストについて、得られた結果をグラウンドトゥルースデータと比較する。次いで、バイナリ分類を使用して、最良のパラメータセットを決定する。記載した手順を7人の患者に適用する。最良のパラメータセットは、全ての患者に対するセグメント化結果を同時に最大化するものである。
[0216]提案されたセグメント化アルゴリズムを検証するために、上腕骨近位部骨折を伴う20回のCTスキャン検査のセットを使用した。自動的にセグメント化された破損面とグランドトゥルース面との間のRMS距離を選んで、セグメント化誤差を定量化した。20人の患者について得られた平均RMS誤差は1mm未満であった。これらの結果は、提案されたセグメント化アルゴリズムの高い精度を証明する。
[0217]処理回路102は、骨折断片処理を実行する。上腕骨近位部骨折のケースでは、CTスキャン画像は、ともに融合されるように、破損断片のうちのいくつかを示すことが多い。破損断片を操作し、元の患者の解剖学的構造を回復するためには、全ての融合断片を分離しなければならない。文献では、上記の問題を解決する試みはほとんど行われておらず、記載された方法はすべて手動又は半自動のいずれかである。融合断片分離は、些細なタスクではない。すべての可能な癒合タイプを処理することができるように、本開示は、ステップセグメント化と呼ばれる新しいセグメント化アルゴリズムを説明する。このアルゴリズムの背後にあるアイデアは、セグメント化プロセスの漸進的な伝搬である。各ステップの間、関心のある特定の領域が、波動伝搬の開始点として使用される。そのような「局所攻撃」伝搬は、所望の領域に向けて全体的なセグメント化プロセスをガイドすることを可能にする。
[0218]断片分離プロセスは、破損骨表面に対して作用する。ガイドされた伝搬のための「関心領域」を識別するために、処理回路102は、Elena Barcucci、Andrea Frosini 及び Simone Rinaldi編、Discrete Geometry for Computer Imagery, Computer Scienceの講義ノート8668号410-421頁、Springer International Publishing、2014年9月における、Sergii Poltaretskyi、Jean Chaoui及びChafiaa Hamitouche-Djabouの任意の三角形分割された3Dメッシュ上での離散曲線展開に記載されているような「任意の三角形分割された3Dメッシュ上の離散曲線展開」アルゴリズムを実行する。これらの方法は、3Dメッシュ上に定義された任意の輪郭に対する突出頂点の識別を可能にする。上述の技術は、任意の三角形分割されたメッシュ上で動作する。しかしながら、同じ考え方を2Dセグメント化問題に適用することができる。
[0219]処理回路102は、上腕骨統計的形状モデリングを実行する。統計的形状モデルは、モデル化された形状に関する推測的情報と考えることができる。これらのモデルは、セグメント化、形状予測、形態計測分析などの目的で医療用途において広く使用されている。整形外科分野では、SSMはいくつかの人骨に頻繁に適用されてきたが、上腕骨SSM及びその適用に関する本格的な研究は存在しない。
[0220]本開示は、2つの上腕骨間の対応を検出するための自動アルゴリズムを説明する。これらの対応により、処理回路102は、主成分分析によってSSMを計算することができる。自動アプローチは、手動対応確立中に人間の専門家によって導入される誤差を排除することにより、精度向上のために重要な役割を果たす。
[0221]SSMを使用して、処理回路102は仮想断片整復を実行する。前述の技術は、破損上腕骨近位部形状推定／予測を達成するためのツールとしての役割を果たす。
[0222]形状再構成に成功するためには、2つの主要な問題を解決する必要がある。識別される問題は、オステオポローシスによって引き起こされる弱い骨密度、及び上腕骨近位部骨折中にしばしば起こる粉砕効果である。第1の問題は、セグメント化品質に悪影響を及ぼすので、全ての骨表面が検出されるとは限らない。第2の問題は、整復処置に骨折輪郭を使用することを不可能にする。
[0223]これらの2つの問題に鑑みて、本開示は、上腕骨SSMに基づく破損形状予測のための技術について説明する。骨幹表面は、後傾、傾斜、及び上腕骨HH推定のための信頼できる情報として使用することができる。これらのパラメータを推定するために、処理回路102は、適合ベースの手順を実行する。この手順は、上腕骨SSMモデルを、利用可能な骨幹断片に適合するように適合させる。結果として得られた形状は、生来の上腕骨予測として使用される。
[0224]上記で紹介した技術を使用する骨折整復のための例示的用途をここで説明する。デバイス100は、上腕骨の少なくとも一部分及び肩甲骨の一部分を含む関節の画像データを取得する。画像データは、複数のボクセルを含む3D画像データであってもよい。デバイス100は、画像データをセグメント化して、皮質骨に対応する画像データの部分を識別する。デバイス100は、例えば、3D画像データにおいて、皮質骨に対応するボクセルを識別するために、上述した様々なセグメント化技術のうちのいずれかを使用することができる。セグメント化は、肩甲骨に対応する皮質骨の識別だけでなく、上腕骨についての複数の断片の画像データにおける識別をもたらしてもよい。画像データ内の各断片は、概して、大部分が連続する皮質骨ボクセルの他の群から部分的又は完全に分離された大部分が連続する皮質骨ボクセルの群に対応する。
[0225]骨折のタイプ及び重症度に応じて、セグメント化画像データは、骨幹断片、上腕頭断片、小結節断片、及び／又は大結節断片などのいくつかの断片を含むことができる。上腕骨のこれらの部分のうちのいくつかは、3D画像データにおいて依然として一緒であってもよく、すなわち、破損されていない。例えば、多くの骨折において、上腕頭は、小結節と一緒に留まる。上腕骨のうちのいくつかの部分が複数の断片に破損されるかもしれない。例えば、いくつかの骨折において、大結節は、2つ、3つ、4つ、又は時にはさらに多くの断片に破損されることがある。
[0226]デバイス100は、肩甲骨、及びセグメント化された画像データ内で識別された各断片についての3D表面メッシュを含む3D表面モデルを作成することができる。デバイス100は、例えば、セグメント化された画像データに対してデシメーションアルゴリズムを実行して、識別された断片ごとに3Dメッシュを決定することができる。各3D表面メッシュは、それぞれが3つの頂点を有する複数の三角形によって表されてもよく、頂点は3Dモデル空間内の位置である。デバイス100は、ボクセルが頂点にマッピングされ、逆もまた同様であるように、3D画像データと同じスケールで3D表面モデルを生成することができる。ボクセルとは異なり、頂点は、輝度又はクロミナンス値、RGB値、モノクロ値、又はこれらに類するもののような、いかなる種類の関係する色情報も有さないかもしれない。
[0227]デバイス100は、3D表面モデルにおいて、上腕頭に対応する3Dメッシュの一部分を識別するように構成することができる。骨折した上腕骨では、上腕頭は、例えば、筋肉に付着している上腕骨のそれらの部分に起因して典型的に制限される、より小さい及びより大きい結節の移動と比較して、いくつかの異なる方向に比較的大きい距離を移動することができる。上腕頭を識別するために、デバイス100は、例えば、前述の球体検出アルゴリズムを使用して、3Dメッシュの表面上の内向き法線ベクトルを識別してもよい。デバイス100は、各頂点についての法線ベクトルを、その頂点を共有するすべての三角形についての法線ベクトルの平均であるとして決定してもよい。次いで、デバイス100は、最も法線ベクトルによって交差される点を決定することができる。上腕頭はほぼ球形であるので、最も交差した点は、上腕頭に対応するほぼ球体のほぼ中心を表す。
[0228]図29は、骨折した上腕骨に対する3Dメッシュの2Dスライスの例を示している。図29に見ることができるように、ベクトル2902A、2902B、2902C、及び図29においてラベル付けされていない他のベクトルはすべて、断片2904の表面からの法線ベクトルである。点2906又はその近くですべて交差するベクトル2902Aから2902Cに基づいて、デバイス100は、3Dメッシュ2904がほぼ球形であり、したがって上腕頭に対応すると決定することができる。対照的に、ベクトル2908A、2908B、及び他のベクトル（図29ではラベル付けされていない）はすべて、3Dメッシュ2910の表面からの法線ベクトルである。ベクトル2908A、2908B、及び他のベクトルは共通の交点を有さないので、デバイス100は、3Dメッシュ2910が上腕頭に対応しないと決定することができる。図29の例は、説明の目的で2Dで示されているが、デバイス100は、法線ベクトルを決定し、3D空間内の点2906を識別するように構成することができる。
[0229]デバイス100は、上腕骨の骨幹に対応する3Dメッシュを検出することもできる。デバイス100は、例えば、上腕頭から最も遠い3Dモデル内の頂点を識別してもよい。この頂点は、典型的には骨幹の遠位端に、すなわち肘に向かって対応する。肩の外傷において、断片は、筋肉の存在に起因して患者の腕のこの部分に移動しないので、この最も遠い頂点は骨幹に対応すると仮定されてもよい。この文脈において、デバイス100は、基準点として上記で識別された近似球中心を使用して、上腕頭から最も離れた頂点を決定するように構成されてもよい。すなわち、デバイス100は、球中心から最も離れた頂点（例えば、図29の点2906）を、患者の骨幹に対応する3Dメッシュに属するものとして識別することができる。
[0230]骨幹に対応する3Dメッシュを識別した後、デバイス100は、骨幹に対応する3Dメッシュから骨幹内面を除去するように構成することができる。すなわち、骨幹に対応すると決定された3Dメッシュに関して、デバイス100は、骨幹の内面に対応する頂点、及びそれらの頂点に関係付けられた三角形を識別及び除去するように構成されてもよい。
[0231]図30Aは、骨幹の一部分に対応する例示的な3Dメッシュ3000Aの2Dスライスを示す。3Dメッシュ3000Aは、左表面3002及び右表面3012を有する。左表面3002は、3Dメッシュ3000Aの骨幹の2Dスライスの左側の皮質骨に対応し、外表面3004及び内表面3006を有する。3Dメッシュ3000Aはまた、右表面3012を有する。右表面3012は、3Dメッシュ3000Aの骨幹の2Dスライスの右側の皮質骨に対応し、外面3014と内面3016とを有する。デバイス100は、識別された骨幹断片の周囲に境界ボックスを配向することによって、中心軸3022を決定することができ、境界ボックスの長軸は、骨幹軸、すなわち、中心軸3022に対応する。デバイス100は、例えば、骨幹断片が完全にボックス内にある向きを決定するために、骨幹断片の周囲で境界ボックスを移動させることによって、境界ボックスを配向することができる。
[0232]デバイス100はまた、外面3004及び3014並びに内面3006及び3016のすべての頂点を含む、3Dメッシュ3000Aの頂点の法線ベクトルを計算するように構成されることができる。ベクトル3020Aから3020Dは、そのような法線ベクトルの例である。法線ベクトルの他の例も図30Aに示されているが、ラベル付けされていない。次いで、デバイス100は、中心軸3022の方を指す法線ベクトルを有する頂点を、骨幹の骨壁の内面に対応するものとして分類し、中心軸3022から離れる方を指す法線ベクトルを有する頂点を、骨幹の骨壁の外面に対応するものとして分類することができる。したがって、デバイス100は、中心軸3022の方を指す法線ベクトルを有する頂点を識別し、これらの頂点と接続又は関係付けられる全ての三角形を除去することによって、内面3006及び3016に対応する三角形を識別及び除去することができる。
[0233]図30Bは、3Dメッシュ3000Aと同じ骨幹の部分に対応する3Dメッシュ3000Bの例の2Dスライスを示すが、3Dメッシュ3000Bでは、推論表面3002及び3016が除去されている。同様に、図30Cは、内側骨壁及び外側骨壁の両方に対応する全ての頂点を有する上腕骨壁に対応する例示的な3Dメッシュ3030を示し、図30Dは、上腕骨の外面に対応しない頂点を有さない上腕骨壁の外面に対応する3Dメッシュ3032の例を示す。
[0234]デバイス100は、同様に、他の断片の3Dメッシュから内面を除去することができる。上腕頭断片に関して、例えば、デバイス100は、図29の点2906等の上腕頭の中心点の方を指す法線ベクトルを有する頂点を決定することによって、内面を識別し、それらの頂点を含む3Dメッシュ三角形から除去してもよい。
[0235]骨幹骨壁に対応する3Dメッシュの外面の形状に基づいて、デバイス100は、上述の技術を使用して統計的形状モデリングに基づいて患者の予測された上腕骨を決定することができる。すなわち、デバイス100は、予測された上腕骨に対応する別の3Dメッシュを生成する。
[0236]いくつかのインプリメンテーションでは、デバイス100はまた、3Dモデルから、小さい断片に対応する3Dメッシュを除去するように構成されてもよい。すなわち、デバイス100は、3Dモデルから、デバイス100が200mm2より小さい、又はいくつかの他のそのような閾値より小さい表面積を有すると決定した任意の3Dメッシュを除去してもよい。外科医は一般に、小さな断片を再付着させるのではなく除去する。したがって、術前計画及び術中ガイダンスの目的のために、外科医は、小さな断片を見ないことを望むかもしれない。
[0237]骨幹は上腕骨近位部骨折中に頻繁に変位するので、外科医は、骨折を修復するために骨幹を移動させる必要がある可能性が高い。したがって、得られた画像データにおける骨幹の位置は、骨幹が骨折前にどこにあったかを示さない可能性が高い。デバイス100は、関節窩などの既知の基準を使用して、予測された上腕骨及び骨幹を推定される骨折前位置に位置合わせするように構成されてもよい。すなわち、デバイス100は、関節窩の3Dメッシュの位置に基づいて、予測された上腕骨の3Dメッシュの位置を決定することができる。例えば、デバイス100は、位置、サイズ、及び形状などの要因に基づいて3Dモデルにおいて肩甲骨を識別し、肩甲骨の3Dメッシュにおいて関節窩を識別するように構成されてもよい。次いで、デバイス100は、予測された上腕骨を関節窩に位置合わせすることができる。一例として、デバイス100は、上腕頭表面と関節窩表面との間の距離が3mmであり、骨幹軸と肩甲骨垂直軸との間の角度が30度であるように、予測された上腕骨を位置合わせすることができる。他の距離及び角度が使用されてもよい。デバイス100は、追加又は代替として、外科医等のユーザからの入力に基づいて、肩甲骨に対して予測された上腕骨を位置合わせするように構成されてもよい。
[0238]デバイス100は、上腕頭又は骨幹に対応しない断片のすべての3Dメッシュを、未知の断片に対応するものとしてマークするように構成されてもよい。次いで、デバイス100は、予測された上腕骨についての3Dメッシュの上腕頭分に対する未知の断片についての3Dメッシュの初期投影及び整列を実行してもよい。断片を投影して整列するために、デバイス100は、予測された上腕骨の上腕頭の中心点を中心とする3Dモデル空間内の球体を決定してもよい。デバイス100は、予測された上腕骨の上腕頭の半径よりもわずかに大きい、例えば、10%大きい半径を有するものとして球体を決定してもよい。
[0239]図31Aは、上腕頭3104を有する予測された上腕骨3102の3Dメッシュの例を示す。図31Aはまた、上腕頭断片に対応する3Dメッシュ3106を示す。図31Aはまた、いくつかの未知の断片を示す。球体3108は、上腕頭3104の半径よりもわずかに大きい半径を有する球体である。球体3108の中心は、上腕頭3104のほぼ中心に対応する。図31B及び31Cは、図31Aと同じ断片及び球体を示すが、異なる視点から見たものである。予測された上腕頭よりもわずかに大きい半径を有する球体に断片を整列させることによって、デバイス100は、例えば、接触又は重複を低減するために、断片を分離してもよい。
[0240]断片の3Dメッシュを球体（例えば、球体3108）に投影するために、デバイス100は、例えば、断片の3Dメッシュの重心を計算することができる。重心は、例えば、断片の全ての頂点の平均頂点であってもよい。したがって、デバイス100は、すべての頂点座標の合計を頂点の数で割ったものとして平均頂点を計算することができる。次いで、デバイス100は、断片の3Dメッシュの重心を球体に投影してもよい。3Dメッシュの重心を球体に投影するために、デバイス100は、断片の3Dメッシュの重心を通り、球体の中心を通る線を決定することができる。デバイス100は、この線が球体と交差する交点を決定することができる。次いで、デバイス100は、断片の重心から交点までの並進ベクトルを決定し、その並進ベクトルを断片の3Dメッシュのすべての頂点に適用することができる。したがって、並進ベクトルは、断片のサイズ又は形状を変更することなく、断片を3Dモデル空間内で移動させる。
[0241]次いで、デバイス100は、断片の3Dメッシュの頂点と球体の表面の頂点との間の距離を最小化する向きを決定することによって、断片の3Dメッシュを整列することができる。デバイス100は、デバイス100が並進ベクトルを断片の3Dメッシュに適用した後に球体との交点に対応する断片の重心の周りで断片の3Dメッシュを回転させることによって、推定される整列を決定することができる。
[0242]デバイス100が未知の断片を投影して球体と整列した後、デバイス100は、他の断片の3Dメッシュとの交差がなくなるまで未知の断片の3Dメッシュを移動させることができる。そうするために、デバイス100は、全体的重心、たとえば、すべての未知の断片についてのすべての頂点の平均頂点を計算することができる。デバイス100は、例えば、次いで、交差がなくなるまで、反復毎に1mm等の反復様式で、断片を全体的重心から離れるように移動させてもよい。デバイス100は、例えば、断片ごとに、全体的重心から個々の断片の重心を通って延びるベクトルを決定し、そのベクトルに沿って個々の断片を移動させることができる。いくつかの例では、デバイス100は、反復ごとに、全体的重心から最も遠い断片のみを移動させ、次いで、反復ごとに新しい全体的重心を計算してもよい。
[0243]次いで、デバイス100は、予測された上腕骨の上腕頭に対する上腕頭断片の3Dメッシュの近似位置合わせを実行することができる。デバイス100は、例えば、検出された破損した上腕頭の3Dメッシュの決定された中心点から予測された上腕頭の中心までのベクトルである並進ベクトルを計算することによって、破損した上腕頭の3Dメッシュを並進させてもよい。すなわち、デバイス100は、上腕頭断片の3Dメッシュの中心から予測された上腕頭の中心へのベクトルを計算し、次いで、計算されたベクトルを使用して、上腕頭断片の3Dメッシュ全体を移動させるために、上腕頭断片の3Dメッシュのすべての頂点を修正するように構成されてもよい。
[0244]次いで、デバイス100は、予測された上腕骨の上腕頭に対する上腕頭断片の3Dメッシュの初期向きを見出すために、非線形最小化を使用してもよい。そうするために、デバイス100は、関係付けられた軸との3つの角度のセット（1,0,0;0,1,0;0,0,1）を構築してもよい。これらの軸を中心とする回転は、3D空間における任意の可能な回転を表す。次いで、デバイス100は、定義された空間内で上腕頭断片の3Dメッシュを回転させて、上腕頭断片の3Dメッシュの頂点と予測された上腕骨の3Dメッシュの上腕頭部分の頂点との間の最小距離を決定することができる。デバイス100は、例えば、破損された上腕頭断片の3Dメッシュ上の頂点と予測された上腕頭の3Dメッシュ上の頂点との間の距離の合計を決定してもよい。上腕頭断片の3Dメッシュ上の各頂点について、デバイス100は、予測された上腕頭の3Dメッシュ上の最も近い頂点までの距離を決定してもよい。デバイス100は、上腕頭断片の3Dメッシュを中心の周りで回転させて、この距離の合計を最小化する向きを決定することができる。この最小化は、初期推定として機能することができ、完全である必要はない。
[0245]デバイス100は、骨折を整復するために、未定義の断片の3Dメッシュを新しい重心に向かって戻すように構成することができる。上述の移動及び配向の後、デバイス100は、未知の断片の3Dメッシュに対する新しい全体的重心を計算し、未知の断片に対する3Dメッシュが接触又は交差し始めるまで、未知の断片に対する3Dメッシュを新しい全体的重心に向かって反復的に移動させてもよい。デバイス100は、例えば、未確認の断片の各3Dメッシュに対して、新しい全体的重心から未確認の断片の個々の3Dメッシュの重心を通るベクトルを決定し、そのベクトルに沿って個々の断片の3Dメッシュを移動させることができる。各反復に対して、デバイス100は、識別されていない断片の3Dメッシュを、1mm又は何らかの他のそのような距離などの少量だけ移動させることができる。予測された上腕骨の上腕頭に対する上腕頭断片についての3Dメッシュの向きと同様に、この最小化は、未知の断片の3Dメッシュの場所に対する十分な初期推定として機能することができ、完全である必要はない。
[0246]次いで、デバイス100は、未知の断片の3Dメッシュのための許容領域を計算してもよい。許容領域は、未知の断片の3Dメッシュの可能な位置を表し、上腕頭断片及び骨幹断片の3Dメッシュと重複しない予測された上腕骨の3Dメッシュ上の領域に対応することができる。デバイス100は、予測された上腕骨の3Dメッシュから上腕頭断片及び骨幹断片の3Dメッシュを減算することによって許容領域を決定することができ、残りの領域は許容領域である。
[0247]図32Aから32Cは、3つの異なる視点からの許容領域3202を示す。許容領域3202は、骨幹断片3204又は上腕頭断片3206と重複しない予測された上腕骨の一部に対応する。
[0248]次いで、デバイス100は、未定義の断片の3Dメッシュを許容領域上に投影することができる。デバイス100は、投影を実行するために、例えば、ICPアルゴリズム又は他のタイプの数学的最適化アルゴリズムを実装することができる。デバイス100は、例えば、他の断片及び許容領域の両方に対して未定義断片の位置を調整するために、未定義断片に対して非線形位置最適化を実行してもよい。そうするために、各未定義の断片について、デバイス100は、6つのパラメータ（x,y,z並進及びz,y,z回転）及び3つの軸（x（1,0,0）,y（0,1,0）,z（0,0,1））のセットを定義するように構成されてもよい。並進及び回転は固定であってもよく、これは、3Dメッシュへの並進及び回転の適用が、3Dメッシュの向き又は場所を変更してもよいが、3Dメッシュの形状又はサイズに影響を及ぼさないことを意味する。
[0249]最小化アルゴリズムの反復ごとに、デバイス100は、定義された変換セットからの変換を各断片の3Dメッシュに適用して、3Dメッシュの輪郭を整列させることができる。定義された変換のセットは、断片を変換する並進及び回転を含んでいてもよい。図33Aは、断片3304に対して断片3302を移動させる並進の例を示す。図33Aの実施例では、デバイス100は、並進ベクトル（矢印3306によって表される）を断片3302に適用し、並進の後、断片3302を断片3304に対して移動させる。図33Bは、断片3314に対して断片3312を移動させる回転の例を示す。図33Bの実施例では、デバイス100は、回転ベクトル（矢印3316によって表される）を断片3312に適用し、回転後、断片3312を断片3314に対して移動させる。
[0250]デバイス100は、次いで、すべての未知の断片の全体的重心に向かって断片を移動させるために、整列された断片に対して並進を実行してもよい。デバイス100は、2つの項、すなわち、（1）断片間の距離と、（2）許容領域境界及び断片境界からの距離との積として最小化関数を計算するように構成されてもよい。
[0251]次いで、デバイス100は、上腕頭断片のための3Dメッシュの向きを改良してもよい。未知の断片の3Dメッシュに対しておおよその骨折前位置が決定されると、デバイス100は、上腕頭輪郭を識別し、この輪郭に平面を適合させることによって、上腕頭断片に対する3Dメッシュの向きを改良することができる。デバイス100は、例えば、境界頂点、例えば、1つの三角形のみに接続される上腕頭断片のためのメッシュ内のエッジの頂点を識別することによって、上腕頭輪郭を識別してもよい。デバイス100は、平面によって定義される法線の周りで上腕頭を回転させてもよい。平面は、例えば、上腕頭姿勢回転の法線を定義してもよい。デバイス100は、例えば、上腕頭を-180度から180度まで4度のステップで、又は他の何らかのそのようなステップで回転させることができる。デバイス100は、反復ごとに上腕頭輪郭から未定義の断片及び骨幹までの距離を計算し、次いで、最小距離を伴う向きを選択することができる。
[0252]デバイス100は、次いで、互いに対するすべての断片の位置を調整するために、全体的断片調整を実行してもよい。そうするために、各断片（骨幹を除く）について、デバイス100は、6つのパラメータ（x、y、z並進及びx、y、z回転）及び3つの軸（x（1,0,0）、y（0,1,0）、z（0,0,1））のセットを定義することができる。最小化アルゴリズムの反復ごとに、デバイス100は、定義されたセットから各断片への変換を適用することができる。反復ごとに、デバイス100は、すべての断片間の距離値を計算することができる。距離値は、例えば、断片輪郭頂点間の最短距離の合計であってもよい。最小化を使用して、デバイス100は、全ての断片についての全体的最適位置を見出すことができる。これらの計算を実行する際に、デバイス100は、骨幹を変換することなく断片距離を計算するために骨幹を使用することができる。なぜなら、骨幹は、上述の位置決めに基づく全ての断片の基準であるからである。
[0253]図34A及び34Bは、上記で紹介された全体的断片調整を実行するための最小化アルゴリズムの例を示す。上述の断片の初期位置決めを実行した後、デバイス100は、図34A及び図34Bの最小化アルゴリズムを実行して、未知の断片の3Dメッシュの最終位置を決定することができる。
[0254]デバイス100は、未知の断片の3Dメッシュの位置を調整するために、未知の断片の各3Dメッシュに初期回転及び／又は並進を適用する（3400）。デバイス100は、例えば、利用可能な回転及び並進の定義されたセットから回転及び並進を選択してもよい。定義されたセットは、3Dメッシュが移動できる回転及び／又は距離を制限するために、可能な利用可能な回転及び並進の領域を制限できる。次いで、デバイス100は、未知の断片の3Dメッシュの全体的重心を計算する（3410）。
[0255]デバイス100は、未知の断片の各3Dメッシュについて距離を計算する（3420）。断片に対する距離は、Fragment_d_gc_iによって表すことができ、「i」は断片IDを表す。距離は、例えば、断片の重心と全体的な重心との間の距離、又は他の何らかのそのような距離であってもよい。デバイス100は、未知の断片に対する最も遠い3Dメッシュの距離を決定する（3430）。すなわち、デバイス100は、最大距離を有する断片を決定する。
この最大距離は、Max_dと呼ぶことができる。
[0256]次いで、デバイス100は、最も遠い断片の距離に基づいて未知の断片を変換する。図34Bは、Max_dの値に基づいて断片を変換するための例示的なプロセスを示す。未知の断片の各3Dメッシュについて、デバイス100は、変位ベクトルを計算する（3442）変位ベクトルは、本明細書では断片iについてDisplacement_iと称され、1 mmなどの設定された大きさを有することができる。デバイス100は、例えば、Displacement_iを、断片iの重心から全ての未知の断片についての全体的重心へのベクトルとして決定してもよい。次いで、デバイス100は、未知の断片の各3Dメッシュに対する並進を決定する（3444）。デバイス100は、例えば、並進を（Fragment_d_gc_i/Max_d）*Displacement_iとして決定することができる。したがって、最も遠い断片について、Fragment_d_gc_iはMax_dに等しく、したがって、最も遠い断片は、Displacement_iの大きさの全増分移動され、他の未知の断片は、増分の一部移動される。この割合は（Fragment_d_gc_i/Max_d）に相当する。次いで、デバイス100は、特定の断片について決定された並進を使用して、未知の断片の各3Dメッシュを変換する（3446）。
[0257]未知の断片を変換した後、デバイス100は、未知の断片の3Dメッシュのいずれかが交差するかどうかを決定する（3448）。未知の断片の3Dメッシュが交差しない場合（3448、NO）、デバイス100は、未知の断片の3Dメッシュが交差するまで、ステップ3442、3444、及び3446を繰り返す。
[0258]未知の断片が交差すると（3448、YES）、デバイス100は最小化値を計算する（図34A、3450）。デバイス100は、たとえば、断片間の総距離、及び未知の断片と許容領域の外側輪郭との間の総距離の一方又は両方に基づいて、最小化値を決定してもよい。断片間の総距離を計算するために、デバイス100は、たとえば、各断片の境界輪郭上の各頂点について、別の断片の境界エッジ上の最も近い頂点を識別し、これらの2つの頂点間の距離を計算してもよい。デバイス100は、断片間の総距離を、断片の各境界輪郭頂点と異なる断片の最も近い境界輪郭頂点との間の距離の合計として決定することができる。
[0259]デバイス100はまた、未知の断片と許容される領域の外側輪郭との間のaを計算してもよい。そうするために、デバイス100は、許容領域の境界輪郭上の各頂点について、任意の未知の断片境界輪郭上の最も近い頂点を識別し、許容領域頂点と最も近い未知の断片頂点との間の距離を決定してもよい。デバイス100は、未知の断片と許容領域の外側輪郭との間の総距離を、許容領域頂点と最も近い未知の断片頂点との間の距離の合計として決定してもよい。
[0260]デバイス100は、たとえば、断片間の総距離と、未知の断片と許容領域の外側輪郭との間の総距離との和又は積として最小化値を決定してもよい。いくつかの例では、デバイス100は、一方が他方よりも最小化値に影響を与えるように、これらの2つの因子を重み付けしてもよい。いくつかの例では、例えば、未知の断片と許容される領域の外側輪郭との間の総距離の代わりに、未知の断片によってカバーされる許容される領域のパーセンテージは、最小化値を決定するために使用することもできる。最小化値を計算した後、デバイス100は、停止条件が満たされたかどうかを決定する（3460）。停止条件が満たされていない場合（3460、NO）、デバイス100は、停止条件が満たされるまでステップ3400、3410、3420、3430、3440、及び3450を繰り返す。ステップ3400、3410、3420、3430、3440、及び3450の各反復について、デバイス100は、異なる初期回転及び／又は並進を未知の断片のそれぞれに適用する。停止条件が満たされると（3460、YES）、デバイス100は、最小の最小化値を有する整復を決定する（3470）。なぜなら、この整復は、未知の断片の良好な再構成であるとみなすことができるからである。
[0261]上記の停止条件は、たとえば、反復の回数又は時間量であってもよい。いくつかのインプリメンテーションでは、停止条件は、代替的に又は追加的に、しきい値を下回る最小化値を達成することに基づいてもよい。
[0262]図35は、本開示において説明される１つ以上の例示的な技術によるコンピューティングデバイスの動作の例示的な方法を図示するフローチャートである。図35の技術は、図1のデバイス100に関して説明されるが、いかなる特定のタイプのコンピューティングデバイスにも限定されない。
[0263]デバイス100は、関節の画像データを取得する（3502）。画像データは、例えば、CTスキャン、CTスキャンから開発された3Dモデル、又は本明細書に説明される他の何らかのタイプの画像データであってもよい。デバイス100は、上腕骨の骨幹の形状を決定するために画像データをセグメント化する（3504）。デバイス100は、例えば、関節が骨折を含むと決定することに応答して、骨幹の形状を決定するためにセグメント化を実行してもよい。デバイス100は、画像データの分析に基づいて、又は外科医等のデバイス100のユーザからのユーザ入力に基づいて、関節が骨折を含むことを決定してもよい。
[0264]骨幹の決定された形状に基づいて、デバイス100は、上腕骨の推定される病的状態になる前の形状を決定する（3506）。デバイス100は、例えば、上記で説明されるSSM技術を使用して、上腕骨の推定される病的状態になる前の形状を決定してもよい。骨折のほとんどの場合、患者の損傷を受けていない上腕骨の画像データは利用できない。したがって、デバイス100は、上記で説明されるように、上腕骨の推定される病的状態になる前の形状を決定するように構成されてもよい。しかしながら、患者の損傷していない上腕骨の画像データが利用可能であるインスタンスでは、デバイス100は、上腕骨の推定される病的状態になる前の形状の代わりに、患者の損傷していない上腕骨の画像データを利用してもよい。
[0265]上腕骨の推定される形状に基づいて、デバイス100は、画像データ内の1つ以上の骨片を識別する（3508）。デバイス100は、例えば、１つ以上の骨片を識別するために上述の様々な技術を実行することができる。例えば、デバイス100は、上腕骨の推定される病的状態になる前の形状に基づいて、関心領域を識別し、関心領域内でセグメント化を行って、関心領域内の断片を識別するように構成されてもよい。いくつかの例では、デバイス100はまた、1つ以上の骨片を識別した後、上腕骨の推定される形状を改良してもよい。1つ以上の骨片を識別することの一部として、デバイス100はまた、関節の画像データを上腕骨の推定される病的状態になる前の形状の画像と比較し、比較に基づいて、関節の画像データ内の骨折場所を識別するように構成されてもよい。デバイス100は、画像データ内の１つ以上の骨片の形状を決定し、１つ以上の骨片の形状及び識別された骨折位置に基づいて、１つ以上の骨片に対応する予測位置を決定するように構成されてもよい。
[0266]画像データ内の識別された骨片に基づいて、デバイス100は出力を生成する（3510）。出力は、例えば、関節について決定された（例えば、上腕骨について決定された）骨折の分類、及び／又は関節を固定するための外科処置の識別であってもよい。分類は、例えば、AO分類、Neer分類、又は他の何らかのタイプの分類であってもよい。外科的推奨は、例えば、関節を固定するための処置の識別を含んでもよい。処置は、例えば、手術が推奨されないこと、釘又はプレートの設置などの低侵襲手術が推奨されること、又はインプラントの設置が推奨されることの指示であってもよい。
[0267]いくつかの例では、デバイス100は、画像データ内に存在する断片の数を決定し、決定された断片の数に基づいて外科的推奨を出力するように構成されてもよい。一例として、4つ以上の断片を識別することに応答して、デバイス100は、関節置換手術などの外科的介入が患者に必要であることを示す外科的推奨を生成するように構成されてもよい。別の例では、1つ又は2つの断片のみを検出することに応答して、デバイス100は、釘又はプレートなどの非外科的処置が患者に推奨されることを示す外科的推奨を生成するように構成されてもよい。
[0268]いくつかの例では、デバイス100は、画像データ内の１つ以上の骨片の形状を決定し、１つ以上の骨片の形状に基づいて、１つ以上の骨片に対応する上腕骨の推定される病的状態になる前の形状上の位置を識別するように構成されてもよい。断片の形状を検出することによって、デバイス100は、例えば、断片が患者の解剖学的構造のどの部分に対応するかを決定することができる。例えば、断片の形状が球形である場合、断片は上腕頭に対応してもよい。全ての断片がセグメント化された後、デバイス100は、患者の解剖学的構造のどの部分に断片が対応するかを決定することができ、例えば、大結節及び小結節、上腕頭、二頭筋溝、又は患者の解剖学的構造の他の部分から断片を検出することができる。
[0269]いくつかの例では、デバイス100は、画像データ内の１つ以上の骨片の変位及び／又は変位の角度を決定するように構成されてもよい。画像データ内に存在する１つ以上の骨片の変位及び／又は変位の角度に基づいて、デバイス100は、関節について決定された外科的推奨又は骨折の分類を出力するように構成されてもよい。画像データ内に存在する断片の変位及び／又は変位の角度に基づいて、デバイス100は、断片を分類するように構成されてもよい。例えば、断片が45度を超える回転及び／又は10mm以上の変位を有する場合、処理回路102は、断片を変位していると分類してもよい。変位した断片の数及び他の基準に基づいて、デバイス100は、関節について決定された外科的推奨又は骨折の分類を出力するように構成されてもよい。
[0270]デバイス100によって生成される出力は、出力画像、静止画像や、一連の画像や、ビデオや、アニメーションを含むことが意図される用語、又は任意の他の種類のグラフィカル出力であってもよい。デバイス100は、ディスプレイ110、視覚化デバイス116、又は他の何らかのそのようなディスプレイ上に表示するための出力画像を生成してもよい。
[0271]出力画像は、例えば、患者の関節の出力画像であってもよい。出力画像は、患者の損傷した上腕骨、上腕骨の推定される病的状態になる前の形状の少なくとも一部分、及び1つ以上の骨片のうちの少なくとも1つの骨片の視覚的表現を含んでいてもよい。デバイス100は、例えば、上腕骨の推定される病的状態になる前の形状の画像と、患者の損傷した上腕骨の画像とを重ね合わせて、骨折によって損傷した患者の上腕骨の部分を識別してもよい。例えば、患者の上腕骨の損傷を受けていない部分については、上腕骨の推定される病的状態になる前の形状の画像と、患者の実際の上腕骨の画像とは、形状及び他の特徴が厳密に一致するはずである。患者の上腕骨の損傷部分では、上腕骨の推定される病的状態になる前の形状の画像は、患者の実際の上腕骨の画像から逸脱するかもしれない。
[0272]デバイス100は、たとえば、１つ以上の識別特徴を使用して、患者の実際の上腕骨の画像と一致しない上腕骨の推定される病的状態になる前の形状の領域を提示するように構成されてもよい。識別特徴は、輪郭、陰影、着色、強調などを含んでもよい。同様に、デバイス100は、例えば、患者の実際の上腕骨の画像と一致する上腕骨の推定される病的状態になる前の形状の領域を提示し、上腕骨の推定される病的状態になる前の形状と一致しない患者の実際の上腕骨の画像の部分を、互いに対照的な様式で提示するように構成されてもよい。したがって、デバイス100は、患者の上腕骨の非損傷部分、患者の上腕骨の損傷部分、及び患者の上腕骨の予測部分が一意的に識別される出力画像を生成するように構成されてもよい。これに関連して、患者の上腕骨の予測された部分は、一般に、損傷を受けていない場合に患者の上腕骨のそれらの部分がどのように見えるかを示す。
[0273]デバイス100はまた、１つ以上の骨片のうちの少なくとも1つの骨片の視覚的表現を含む出力画像を生成するように構成されてもよい。デバイス100はまた、1つ以上の骨片のうちの1つの骨片に対応する上腕骨の推定される病的状態になる前の形状の視覚的表現の一部分を識別する注釈を出力画像に追加してもよい。デバイス100は、例えば、損傷した上腕骨を固定することの一部として、断片が移動される場所を識別するために、輪郭付け、陰影付け、着色、強調、又は他の何らかの技術を使用してもよい。加えて、又は代替として、デバイス100はまた、損傷した上腕骨を固定することの一部として断片を移動させるための技術を識別する、矢印又はテキストの方向等の他の注釈を追加してもよい。
[0274]デバイス100は、例えば手術計画段階の一部として、ディスプレイ110を介して表示するための出力画像を生成するように構成されてもよい。手術計画段階の一部としてデバイス100によって生成される出力画像は、外科医が、手術の範囲及び持続時間をより良好に推定し、手術を行うために必要とされるツールを決定し、手術中に行われる技術を決定し、他のそのような外科的決定を行うことを可能にしてもよい。デバイス100は、実際の手術の前の手術計画段階の間に、上腕骨の推定される病的状態になる前の形状のうちのいくつか又は全部を含む出力画像、及び／又は患者の実際の損傷した上腕骨に対応する画像データを外科医に出力するように構成されてもよい。出力画像は、患者の損傷した上腕骨の画像データから、上述の技術を使用して識別することができる１つ以上の断片を示すことができる。出力画像はまた、上腕骨の推定される病的状態になる前の形状又は患者の損傷していない上腕骨の一部分を示してもよい。上腕骨の推定される病的状態になる前の形状又は患者の損傷していない上腕骨は、断片に対応する位置を示すように注釈を付けられてもよい。すなわち、上腕骨の推定される病的状態になる前の形状又は患者の損傷していない上腕骨に注釈を付けて、手術中に断片を移動させるべき場所を外科医に示すことができる。
[0275]患者が関節置換手術を受ける場合、手術計画段階の間に、処理回路102は、患者のために設置される上腕頭インプラントに対応する上腕頭インプラントの視覚的表現を含む出力画像を出力するように構成されてもよい。上腕頭インプラントは、例えば、患者の実際の、損傷上腕骨に対応する骨幹に設置されるものとして示されてもよい。出力画像はまた、患者の損傷した上腕骨の画像データから、上述の技術を使用して識別されることができる1つ以上の断片を示してもよい。上腕頭インプラント及び上腕骨の推定される病的状態になる前の形状又は患者の損傷していない上腕骨を伴う出力画像は、断片に対応する位置を示すように注釈を付けられてもよい。注釈は、インプラント手術中に断片をどこに配置すべきかについて外科医に助言するために使用されてもよい。
[0276]デバイス100はまた、例えば手術中に、視覚化デバイス116を介して表示するための出力画像を生成するように構成されてもよい。いくつかのインスタンスでは、上述の手術計画段階は、実際の手術が行われる数日前又は数週間前に発生してもよい。大外傷などの他のインスタンスでは、手術計画段階は、実際の外科手術の直前又はそれと同時に行われてもよい。デバイス100は、実際の手術中に手術計画段階について上述したのと同じ出力画像を生成するように構成されてもよい。
[0277]デバイス100は、損傷した上腕骨を修復するためにインプラントをどのように設置するか、及び断片をどのように移動させるかについて外科医をガイドするための一連の画像を生成してもよい。例えば、予測された上腕骨に基づいて、デバイス100は、上腕骨高さ、上腕頭サイズ、及び髄管サイズを決定してもよい。この情報を用いて、デバイス100は、外科医に、最も適切なインプラントサイズを示唆することが可能であってもよい。さらに、デバイス100はまた、破損骨幹線上の1つ以上の特徴点（例えば、外科医が外科的介入の間に容易に見出すことができる点）を識別することができる。この点から、デバイス100は、予測される病的状態になる前の形状を尊重するために、インプラントが位置付けられるべき高さを計算することができる。手術中、外科医は、この点を見つけ、高さを測定し、インプラントを正確に設置することができる。いくつかの例では、デバイス100はまた、例えば、視覚化デバイス116を介して、上腕頭等のインプラント構成要素の外科医の設置をガイドしてもよい情報を表示するように構成されてもよい。例えば、デバイス100は、インプラントを正しい高さ、向き等でどのように配置するかを外科医に示すマーキング又は注釈を生成してもよい。
[0278]上腕頭の設置後、デバイス100は、上腕頭インプラントを示す画像を出力してもよい。デバイス100はまた、様々な断片が上腕頭インプラントに対してどこに配置されるべきかに関して外科医をガイドするために画像に注釈を付けてもよい。
[0279]上述した出力画像を生成することの一部として、デバイス100は、関節の画像データを上腕骨の推定される病的状態になる前の形状の画像に整列させ、関節の画像データの一部分と上腕骨の推定される病的状態になる前の形状の画像の一部分とを示す合成画像を生成するように構成されてもよい。合成画像はまた、1つ以上の骨片、上腕頭インプラントの視覚的表現、及び／又は骨片の1つ以上を移動させる位置を識別する注釈を示してもよい。
[0280]以下の例は、上記で説明したデバイス及び技術の例である。
[0281]例1：方法は、上腕骨の少なくとも一部を含む関節の画像データを取得することと、上腕骨の骨幹の形状を決定するために画像データをセグメント化することと、骨幹の決定された形状に基づいて、上腕骨の推定される病的状態になる前の形状を決定することと、上腕骨の推定される形状に基づいて、画像データ内の1つ以上の骨片を識別することと、画像データ内の識別された骨片に基づいて、出力を生成することとを含む。
[0282]例2：１つ以上の骨片の識別に基づいて画像データ内に存在する断片の数を決定することをさらに含む、実施例1に記載の方法。
[0283]例3：出力は、断片の決定された数に基づいて決定された外科的推奨を含む、例2に記載の方法。
[0284]例4：外科的推奨は、関節を固定するための処置の識別を含む、例3に記載の方法。
[0285]例5：出力は、関節について決定された骨折の分類を含む、例1から4のいずれかに記載の方法。
[0286]例6：画像データ内の１つ以上の骨片を識別することは、上腕骨の推定される病的状態になる前の形状に基づいて、関心領域を識別することと、関心領域内の断片を識別するために関心領域内でセグメント化を実行することとを含む、例1から5のいずれかに記載の方法。
[0287]例7：画像データ内の１つ以上の骨片の形状を決定することをさらに含む、例1から6のいずれかに記載の方法。
[0288]例8：１つ以上の骨片の形状に基づいて、１つ以上の骨片に対応する上腕骨の推定される病的状態になる前の形状上の位置を特定することをさらに含む、例7に記載の方法。
[0289]例9：画像データ内の１つ以上の骨片の変位角度を決定することをさらに含む、例1から8のいずれかに記載の方法。
[0290]例10：前記画像データにおける前記１つ以上の骨片の変位を決定することをさらに含む、例1から9のいずれかに記載の方法。
[0291]例11：画像データ内に存在する1つ以上の骨片の変位及び／又は変位角度に基づいて、外科的推奨を決定することを更に含み、出力は外科的推奨を含む、例9又は10に記載の方法。
[0292]例12：外科的推奨は、関節について決定された骨折の分類を含む、例11に記載の方法。
[0293]例13：出力は、出力画像を含む、例1から12のいずれかに記載の方法。
[0294]例14：出力画像は、上腕骨の推定される病的状態になる前の形状の少なくとも一部分の視覚的表現を含む、例13に記載の方法。
[0295]例15：出力画像はまた、1つ以上の骨片のうちの少なくとも1つの骨片の視覚的表現を含む、例14に記載の方法。
[0296]例16：出力画像は、上腕頭インプラントの視覚的表現も含む、例14又は15に記載の方法。
[0297]例17：出力画像は、1つ以上の骨片のうちの少なくとも1つの骨片の視覚的表現を含む、例13から16のいずれかに記載の方法。
[0298]例18：出力画像は、上腕頭インプラントの視覚的表現も含む、例13から17のいずれかに記載の方法。
[0299]例19：出力画像に対する注釈を生成することをさらに含み、注釈は、１つ以上の骨片のうちの1つの骨片に対応する上腕骨の推定される病的状態になる前の形状の視覚的表現の一部分を識別する、例13から18のいずれかの方法。
[0300]例20：出力を生成することは、関節の画像データを上腕骨の推定される病的状態になる前の形状の画像に整合させることと、関節の画像データの一部分及び上腕骨の推定される病的状態になる前の形状の画像の一部分を示す合成画像を生成することとを含む、例1から19のいずれかに記載の方法。
[0301]例21：合成画像データは、１つ以上の骨片をさらに示す、例20に記載の方法。
[0302]例22：合成画像データは、上腕頭インプラントの視覚的表現を更に示す、例20又は21に記載の方法。
[0303]例23：合成画像は、骨片のうちの1つ以上を移動させる位置を識別する注釈をさらに示す、例20から22のいずれかに記載の方法。
[0304]例24：関節の画像データを上腕骨の推定される病的状態になる前の形状の画像と比較することと、比較に基づいて、関節の画像データ内の骨折場所を識別することと、画像データ内の1つ以上の骨片の形状を決定することと、1つ以上の骨片の形状及び識別された骨折場所に基づいて、1つ以上の骨片に対応する予測場所を決定することとをさらに含む、例1から23のいずれかに記載の方法。
[0305]例25：上腕骨の推定される病的状態になる前の形状を決定することは、統計的形状モデルに基づいて、上腕骨の推定される病的状態になる前の形状を決定することを含む、例1から24のいずれかに記載の方法。
[0306]例26：上腕骨の推定される形状に基づいて、推定される上腕骨高さ、おされたよび推定上腕頭サイズ、又は推定される髄管サイズのうちの1つ以上を決定することをさらに含む、例1から24のいずれかに記載の方法。
[0307]例27：推定される上腕骨高さ、推定される上腕頭サイズ、又は推定される髄管サイズのうちの1つ以上に基づいて、患者のための推奨インプラントサイズを決定することをさらに含む、例1から26のいずれかに記載の方法。
[0308]例28：上腕骨の推定される形状に基づいて、患者のための推奨インプラントサイズを決定することをさらに含む、例1から27のいずれかに記載の方法。
[0309]例29：上腕骨の破断骨幹線上の１つ以上の特徴点を決定することをさらに含む、例1から28のいずれかに記載の方法。
[0310]例30：推定される上腕骨高さ、推定される上腕頭サイズ、又は推定される髄管サイズのうちの1つ以上に基づいて、上腕骨の破損骨幹線上の1つ以上の特徴点を決定することをさらに含む、例26及び29の方法。
[0311]例31：破断骨幹線上の１つ以上の特徴点に基づいて、上腕頭コンポーネントのインプラント高さを決定することをさらに含む、例29又は30の方法。
[0312]例32：決定されたインプラント高さの視覚的表示を出力することをさらに含む、例31の方法。
[0313]例33：システムは、上腕骨の少なくとも一部分を含む関節の画像データを記憶するメモリと、１つ以上のプロセッサとを含み、１つ以上のプロセッサは、上腕骨の少なくとも一部分を含む関節の画像データを取得し、上腕骨の骨幹の形状を決定するために画像データをセグメント化し、骨幹の決定された形状に基づいて上腕骨の推定される病的状態になる前の形状を決定し、上腕骨の推定される形状に基づいて画像データ内の1つ以上の骨片を識別し、画像データ内の識別された骨片に基づいて出力を生成するように構成されている。
[0314]例34：１つ以上のプロセッサは、１つ以上の骨片の識別に基づいて画像データ内に存在する断片の数を決定するようにさらに構成される、例33に記載のシステム。
[0315]例35：出力は、断片の決定された数に基づいて決定された外科的推奨を含む、例34に記載のシステム。
[0316]例36：外科的推奨は、関節を固定するための処置の識別を備える、例35に記載のシステム。
[0317]例37：出力は、関節について決定された骨折の分類を含む、例33から36のいずれかに記載のシステム。
[0318]例38：画像データ内の1つ以上の骨片を識別するために、1つ以上のプロセッサは、上腕骨の推定される病的状態になる前の形状に基づいて、関心領域を識別し、関心領域内の断片を識別するために関心領域内でセグメント化を行うように構成される、例33から37のいずれかに記載のシステム。
[0319]例39：1つ以上のプロセッサは、画像データ内の1つ以上の骨片の形状を決定するようにさらに構成される、例33から38のいずれかに記載のシステム。
[0320]例40：１つ以上のプロセッサは、１つ以上の骨片の形状に基づいて、１つ以上の骨片に対応する上腕骨の推定される病的状態になる前の形状上の位置を識別するようにさらに構成される、例39に記載のシステム。
[0321]例41：1つ以上のプロセッサは、画像データ内の1つ以上の骨片の変位角度を決定するようにさらに構成される、例33から40のいずれかに記載のシステム。
[0322]例42：1つ以上のプロセッサは、画像データ内の1つ以上の骨片の変位を決定するようにさらに構成される、例33から41のいずれかに記載のシステム。
[0323]例43：1つ以上のプロセッサは、画像データ内に存在する１つ以上の骨片の変位及び／又は変位の角度に基づいて、外科的推奨を決定するようにさらに構成され、出力は外科的推奨を含む、例41又は42に記載のシステム。
[0324]例44：外科的推奨は、関節について決定された骨折の分類を含む、例43に記載のシステム。
[0325]例45：出力は出力画像を含む、例33から44のいずれかに記載のシステム。
[0326]例46：出力画像は、上腕骨の推定される病的状態になる前の形状の少なくとも一部分の視覚的表現を含む、例45に記載のシステム。
[0327]例47：出力画像はまた、1つ以上の骨片のうちの少なくとも1つの骨片の視覚的表現を含む、例46に記載のシステム。
[0328]例48：出力画像は、上腕頭インプラントの視覚的表現も含む、例46又は47に記載のシステム。
[0329]例49：出力画像は、1つ以上の骨片のうちの少なくとも1つの骨片の視覚的表現を含む、例45から48のいずれかに記載のシステム。
[0330]例50：出力画像は、上腕頭インプラントの視覚的表現も含む、例45から49のいずれかに記載のシステム。
[0331]例51：1つ以上のプロセッサは、出力画像に対する注釈を生成するようにさらに構成され、注釈は、1つ以上の骨片のうちの1つの骨片に対応する上腕骨の推定される病的状態になる前の形状の視覚的表現の一部分を識別する、例45から50のいずれかに記載のシステム。
[0332]例52：出力を生成するために、1つ以上のプロセッサは、関節の画像データを上腕骨の推定される病的状態になる前の形状の画像に整列させ、関節の画像データの一部分及び上腕骨の推定される病的状態になる前の形状の画像の一部分を示す合成画像を生成するように構成される、例43から51のいずれかに記載のシステム。
[0333]例53：合成画像データは、1つ以上の骨片をさらに示す、例52に記載のシステム。
[0334]例54：合成画像データは、上腕頭インプラントの視覚的表現をさらに示す、例52又は53に記載のシステム。
[0335]例55：合成画像はさらに、骨片のうちの1つ以上を移動させるための位置を識別する注釈を示す、例52から54のいずれかに記載のシステム。
[0336]例56：1つ以上のプロセッサは、関節の画像データを上腕骨の推定される病的状態になる前の形状の画像と比較し、比較に基づいて、関節の画像データ内の骨折場所を識別し、画像データ内の1つ以上の骨片の形状を決定し、1つ以上の骨片の形状及び識別された骨折場所に基づいて、1つ以上の骨片に対応する予測場所を決定するようにさらに構成される、例33から45のいずれかに記載のシステム。
[0337]例57：上腕骨の推定される病的状態になる前の形状を決定するために、1つ以上のプロセッサは、統計的形状モデルに基づいて、上腕骨の推定される病的状態になる前の形状を決定するように構成される、例33から46のいずれかに記載のシステム。
[0338]例58：システムは、出力を表示するように構成されたディスプレイデバイスを備える、例33から57のいずれかに記載のシステム。
[0339]例59：ディスプレイは、視覚化デバイスを備える、例58に記載のシステム。
[0340]例60：上腕骨の推定される形状に基づいて、推定される上腕骨高さ、及び推定される上腕頭サイズ、又は推定される髄管サイズのうちの1つ以上を決定することをさらに含む、例35から59のいずれかに記載のシステム。
[0341]例61：推定される上腕骨高さ、推定される上腕頭サイズ、又は推定される髄管サイズのうちの1つ以上に基づいて、患者のための推奨インプラントサイズを決定することをさらに含む、例35から60のいずれかに記載のシステム。
[0342]例62：推定される上腕骨の形状に基づいて、患者のための推奨インプラントサイズを決定することをさらに含む、例35から61のいずれかに記載のシステム。
[0343]例63：上腕骨の破損骨幹線上の1つ以上の特徴点を決定することをさらに含む、例35から62のいずれかに記載のシステム。
[0344]例64：推定される上腕骨高さ、推定される上腕頭サイズ、又は推定される髄管サイズのうちの1つ以上に基づいて、上腕骨の破損骨幹線上の1つ以上の特徴点を決定することをさらに含む、例61及び63に記載のシステム。
[0345]例65：破断骨幹線上の１つ以上の特徴点に基づいて、上腕頭コンポーネントのインプラント高さを決定することをさらに含む、例63又は64に記載のシステム。
[0346]例66：決定されたインプラント高さの視覚的表示を出力することをさらに含む、例65に記載のシステム。
[0347]例67：実行されるとき、手術システムの1つ以上のプロセッサに、例1から32の任意の組み合わせの方法を実行させる命令を記憶するコンピュータ読取可能記憶媒体。
[0348]例68：例1から32のいずれかの組み合わせの方法を実行する手段を含む仮想手術システム。
[0349]例69：方法は、上腕骨の少なくとも一部分を含む関節の画像データを取得することと、皮質骨に対応する画像データの部分を識別するために画像データをセグメント化することと、皮質骨に対応する画像データの部分に基づいて3次元（3D）モデルを生成すること、3Dモデルは、皮質骨に対応する画像データの部分の表面に対応する１つ以上の3Dメッシュを含み、１つ以上の3Dメッシュにおいて、骨幹に対応する3Dメッシュの一部分を識別することと、骨幹に対応する3Dメッシュの部分の形状に基づいて、上腕骨の推定される病的状態になる前の形状を決定することと、上腕骨の推定される病的状態になる前の形状に基づいて、出力を生成することとを含む、方法。
[0350]例70：1つ以上の3Dメッシュにおいて、上腕頭に対応する3Dメッシュの部分を識別することをさらに含む、例69に記載の方法。
[0351]例71：上腕頭に対応する3Dメッシュの部分を識別することは、１つ以上の3Dメッシュの頂点の法線ベクトルを決定することと、１つ以上の3Dメッシュの頂点の法線ベクトルの最も一般的な交点を決定することと、最も一般的な交点と交差する法線ベクトルを有する頂点を、上腕頭に対応する3Dメッシュの部分に属する頂点として識別することとを含む、例70に記載の方法。
[0352]例72：骨幹に対応する3Dメッシュの部分を識別することは、１つ以上の3Dメッシュにおいて、上腕頭に対応する3Dメッシュの部分から最も遠い頂点を決定することを含む、例70又は71に記載の方法。
[0353]例73：上腕骨の推定される病的状態になる前の形状を基準に位置合わせすることをさらに含む、例69から72のいずれかに記載の方法。
[0354]例74：3Dモデルにおいて、肩甲骨に対応する3Dメッシュを識別することと、肩甲骨に対応する3Dメッシュに基づいて基準点を識別することとをさらに含む、例74に記載の方法。
[0355]例75：未知の断片に対応する3Dメッシュを3Dモデルにおいて識別することをさらに含み、未知の断片に対応する3Dメッシュは、骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュを含む、例69から74のいずれかに記載の方法。
[0356]例76：上腕骨の推定される病的状態になる前の形状、骨幹に対応する3Dメッシュ、及び上腕頭に対応する3Dメッシュに基づいて、未知の断片に対応する3Dメッシュの許容領域を決定することをさらに含む、例76に記載の方法。
[0357]例77：未知の断片の許容領域内の位置を決定することをさらに含む、例76に記載の方法。
[0358]例78：許容領域の境界と未知の断片に対応する3Dメッシュとの間の距離に基づいて最小化値を決定する、例76に記載の方法。
[0359]例79：未知の断片に対応する3Dメッシュによってカバーされる許容領域のパーセンテージに基づいて最小化値を決定する、例76に記載の方法。
[0360]例80：未知の断片に対応するそれぞれの3Dメッシュ間の距離にさらに基づいて最小化値を決定する、例78又は79に記載の方法。
[0361]例81：未知の断片に対応する3Dメッシュに対して複数の変換を実行することと、複数の変換のそれぞれについて、未知の断片に対応する3Dメッシュによってカバーされる許容領域のパーセンテージ、許容領域の境界と未知の断片に対応する3Dメッシュとの間の距離、又は未知の断片に対応するそれぞれの3Dメッシュ間の距離のうちの１つ以上に基づいて最小化値を決定することと、複数の変換についての最小化値に基づいて、断片整復を選択することとをさらに含む、例76の方法。
[0362]例82：画像データ内に存在する断片の数を決定することをさらに含む、例69から81のいずれかに記載の方法。
[0363]例83：出力は、断片の決定された数に基づいて決定された外科的推奨を含む、例82に記載の方法。
[0364]例84：外科的推奨は、関節を固定するための処置の識別を含む、例83に記載の方法。
[0365]例85：出力は、関節について決定された骨折の分類を含む、例69から84のいずれかに記載の方法。
[0366]例86：出力は、出力画像を含む、例69から85のうちのいずれかに記載の方法。
[0367]例87：出力画像は、上腕骨の推定される病的状態になる前の形状の少なくとも一部分の視覚的表現を含む、例86に記載の方法。
[0368]例88：出力画像はまた、未知の断片のうちの少なくとも1つの視覚的表現を含む、例87に記載の方法。
[0369]例89：出力画像は、上腕頭インプラントの視覚的表現も含む、例87又は88に記載の方法。
[0370]例90：出力画像に対する注釈を生成することをさらに含み、注釈は、未知の断片のうちの未知の断片に対応する、上腕骨の推定される病的状態になる前の形状の視覚的表現の一部分を識別する、例86から89のいずれかに記載の方法。
[0371]例91：出力を生成することは、関節の画像データを上腕骨の推定される病的状態になる前の形状の画像に整列させることと、関節の画像データの一部分及び上腕骨の推定される病的状態になる前の形状の画像の一部分を示す合成画像を生成することとを含む、例69から90のいずれかに記載の方法。
[0372]例92：合成画像データは、１つ以上の骨片をさらに示す、例91に記載の方法。
[0373]例93：合成画像データは、未知の断片のうちの１つ以上の視覚的表現をさらに示す、例91又は92に記載の方法。
[0374]例94：合成画像は、未知の断片のうちの1つ以上を移動させる位置を識別する注釈をさらに示す、例91から93のいずれかに記載の方法。
[0375]例95：3Dモデルから１つ以上の骨片の変位の角度を決定することをさらに含む、例69から94のいずれかに記載の方法。
[0376]例96：3Dモデルから1つ以上の骨片の変位を決定することをさらに含む、例69から95のいずれかに記載の方法。
[0377]例97：１つ以上の骨片の変位及び／又は変位の角度に基づいて、外科的推奨を決定することをさらに含み、出力は外科的推奨を含む、例95又は96の方法。
[0378]例98：外科的推奨は、関節について決定された骨折の分類を含む、例97に記載の方法。
[0379]例99：断片整復に必要な回転量を決定することによって、3Dモデルから１つ以上の骨片の変位角度を決定することをさらに含む、例95から98のいずれかに記載の方法。
[0380]例100：断片整復に必要とされる並進の量を決定することによって、3Dモデルからの１つ以上の骨片の変位を決定することをさらに含む、例95から99のいずれかに記載の方法。
[0381]例101：命令を記憶するコンピュータ読取可能記憶媒体であって、命令は、実行されるとき、手術システムの1つ以上のプロセッサに、例69から100の任意の組み合わせの方法を実行させる、コンピュータ読取可能記憶媒体。
[0382]例102：例69から101の任意の組み合わせの方法を実行する手段を備える、仮想手術システム。
[0383]限定された数の例に関して技術を開示したが、本開示の利益を有する当業者は、そこからの多数の修正及びバリエーションを理解するであろう。例えば、説明した例の任意の合理的な組み合わせが実行されてもよいことが企図される。添付の特許請求の範囲は、本発明の真の趣旨及び範囲内に入るような修正及びバリエーションをカバーすることが意図される。
[0384]例に応じて、本明細書で説明した技術のうちの任意のもののある特定の動作又はイベントは、異なるシーケンスで実行することができ、追加、統合、又は完全に省略されてもよい（例えば、全ての説明した動作又はイベントが、それら技術の実施のために必要なわけではない）ことが認識されるべきである。その上、ある特定の例では、動作又はイベントは、連続してではなく、例えば、マルチスレッド処理、割り込み処理、又は複数のプロセッサを通じて、同時に実行されてもよい。
[0385]１つ以上の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせにおいて実現されてもよい。ソフトウェアにおいて実現される場合、それら機能は、１つ以上の命令又はコードとして、コンピュータ読取可能媒体上に記憶されてもよいか、又はコンピュータ読取可能媒体を通して送信されてもよく、ハードウェアベースの処理ユニットによって実行されてもよい。コンピュータ読取可能媒体は、たとえば、通信プロトコルにしたがって、コンピュータプログラムの１つの場所から別の場所への転送を容易にするあらゆる媒体を含む通信媒体、又はデータ記憶媒体のような有体の媒体に対応するコンピュータ読取可能記憶媒体を含んでいてもよい。このように、コンピュータ読取可能媒体は、概して、（１）非一時的である有形のコンピュータ読取可能記憶媒体、又は（２）信号又は搬送波のような通信媒体に対応してもよい。データ記憶媒体は、本開示で説明された技術のインプリメンテーションのための命令、コード、及び／又はデータ構造を取り出すために、１つ以上のコンピュータもしくは１つ以上のプロセッサによってアクセスされることができる任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ読取可能媒体を含んでいてもよい。
[0386]限定ではなく例として、そのようなコンピュータ読取可能記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ－ＲＯＭ若しくは他の光ディスク記憶装置、磁気ディスク記憶装置、若しくは他の磁気記憶デバイス、フラッシュメモリ、又は命令若しくはデータ構造の形態で所望されるプログラムコードを記憶するために使用することができ、コンピュータによってアクセスすることができる任意の他の媒体を備えることができる。また、任意の接続は、厳密にはコンピュータ読取可能媒体と称される。たとえば、命令が、ウェブサイトから、サーバから、又は同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、又は赤外線、無線、及びマイクロ波のようなワイヤレステクノロジーを使用する他の遠隔ソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、又は赤外線、無線、及びマイクロ波のようなワイヤレステクノロジーは、媒体の定義に含まれる。しかしながら、コンピュータ読取可能記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象にすることが理解されるべきである。ここで使用したようなディスク（ｄｉｓｋ及びｄｉｓｃ）は、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル汎用ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、及びブルーレイ（登録商標）ディスクを含むが、通常、ディスク（ｄｉｓｋ）はデータを磁気的に再生する一方で、ディスク（ｄｉｓｃ）はデータをレーザにより光学的に再生する。上記の組み合わせも、コンピュータ読取可能媒体の範囲内に含むべきである。
[0387]本開示で説明した動作は、１つ以上のプロセッサによって実行されてもよく、１つ以上のプロセッサは、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は他の同等の集積回路若しくはディスクリート論理回路などの固定機能処理回路、プログラマブル回路、又はそれらの組み合わせとして実現されてもよい。固定機能回路は、特定の機能性を提供する回路を指し、実行することができる動作に予め設定される。プログラマブル回路は、様々なタスクを実行するようにプログラムすることができる回路を指し、実行することができる動作において柔軟な機能性を提供する。例えば、プログラマブル回路は、ソフトウェア又はファームウェアの命令によって定義された形でプログラマブル回路を動作させるソフトウェア又はファームウェアによって指定された命令を実行してもよい。固定機能回路は、（例えば、パラメータを受け取る又はパラメータを出力するために）ソフトウェア命令を実行してもよいが、固定機能回路が実行する動作のタイプは、一般に不変である。それ故に、「プロセッサ」及び「処理回路」という用語は、本明細書で使用される場合、前述の構造のうちの任意のもの又は本明細書で説明した技術のインプリメンテーションに適した任意の他の構造を指してもよい。
[0388]様々な例を説明してきた。これら及び他の例は、次の特許請求の範囲内にある。
[0388]様々な例を説明してきた。これら及び他の例は、次の特許請求の範囲内にある。

ここに、出願当初の特許請求の範囲の記載事項を付記する。
［１］ 方法であって、
上腕骨の少なくとも一部分を含む関節の画像データを取得することと、
皮質骨に対応する画像データの部分を識別するために前記画像データをセグメント化することと、
前記皮質骨に対応する画像データの部分に基づいて、3次元（3D）モデルを生成することと、前記3Dモデルは、前記皮質骨に対応する画像データの部分の表面に対応する１つ以上の3Dメッシュを含み、
前記1つ以上の3Dメッシュにおいて、骨幹に対応する3Dメッシュの一部分を識別することと、
前記骨幹に対応する3Dメッシュの部分の形状に基づいて、前記上腕骨の推定される病的状態になる前の形状を決定することと、
前記上腕骨の推定される病的状態になる前形状に基づいて、出力を生成することと、を含む、方法。
［２］ 前記上腕骨の前記推定される病的状態になる前の形状を基準点に位置合わせすることをさらに含む、［１］に記載の方法。
［３］ 前記3Dモデルにおいて、肩甲骨に対応する3Dメッシュを識別することと、
前記肩甲骨に対応する3Dメッシュに基づいて、前記基準点を識別することと、をさらに含む、［２］に記載の方法。
［４］ 前記１つ以上の3Dメッシュにおいて、上腕頭に対応する3Dメッシュの一部分を識別することをさらに含む、［１］に記載の方法。
［５］ 前記上腕頭に対応する3Dメッシュの部分を識別することは、
前記１つ以上の3Dメッシュの頂点の法線ベクトルを決定することと、
前記１つ以上の3Dメッシュの頂点の法線ベクトルの最も一般的な交点を決定することと、
前記最も共通の交点と交差する法線ベクトルを有する頂点を、前記上腕頭に対応する前記3Dメッシュの部分に属する頂点であるとして識別することとを含む、［４］に記載の方法。
［６］ 前記骨幹に対応する前記3Dメッシュの部分を識別することは、前記１つ以上の3Dメッシュにおいて、前記上腕頭に対応する前記3Dメッシュの部分から最も遠い頂点を決定することを含む、［４］に記載の方法。
［７］ 前記3Dモデルにおいて、未知の断片に対応する3Dメッシュを識別することをさらに含み、前記未知の断片に対応する3Dメッシュは、前記骨幹に対応する3Dメッシュ又は前記上腕頭に対応する3Dメッシュではない3Dメッシュを含む、［４］に記載の方法。
［８］ 前記上腕骨の前記推定される病的状態になる前の形状、前記骨幹に対応する3Dメッシュ、及び前記上腕頭に対応する3Dメッシュに基づいて、前記未知の断片に対応する3Dメッシュのための許容領域を決定することをさらに含む、［７］に記載の方法。
［９］ 前記許容領域において、前記未知の断片に対応する3Dメッシュの位置を決定することをさらに含む、［８］に記載の方法。
［１０］ 前記許容領域の境界と前記未知の断片に対応する3Dメッシュとの間の距離に基づいて、最小化値を決定することをさらに含む、［８］に記載の方法。
［１１］ 前記未知の断片に対応する前記3Dメッシュによってカバーされる前記許容領域のパーセンテージに基づいて、最小化値を決定することをさらに含む、［８］に記載の方法。
［１２］ 前記未知の断片に対応するそれぞれの3Dメッシュ間の距離にさらに基づいて、前記最小化値を決定することをさらに含む、［１１］記載の方法。
［１３］ 前記未知の断片に対応する3Dメッシュに対して複数の変換を実行することと、
前記複数の変換のそれぞれについて、前記未知の断片に対応する3Dメッシュによってカバーされる前記許容領域のパーセンテージ、前記許容領域の境界と前記未知の断片に対応する3Dメッシュとの間の距離、又は前記未知の断片に対応するそれぞれの3Dメッシュ間の距離のうちの１つ以上に基づいて、最小化値を決定することと、
前記複数の変換についての前記最小化値に基づいて、断片整復を選択することをさらに含む、［８］記載の方法。
［１４］ 前記画像データ内に存在する未知の断片の数を決定することをさらに含み、前記未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュによって表される、［１］に記載の方法。
［１５］ 前記出力は、前記決定された未知の断片の数に基づいて決定された外科的推奨を含む、［１４］に記載の方法。
［１６］ 前記外科的推奨は、前記関節を固定するための処置の識別を含む、［１５］に記載の方法。
［１７］ 前記出力は、前記関節について決定された骨折の分類を含む、［１］に記載の方法。
［１８］ 前記出力は、出力画像を含む、［１］に記載の方法。
［１９］ 前記出力画像は、前記上腕骨の推定される病的状態になる前の形状の少なくとも一部の視覚的表現を含む、［１８］に記載の方法。
［２０］ 前記出力画像は、少なくとも1つの未知の断片の視覚的表現を含み、前記未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュを含む、［１８］に記載の方法。
［２１］ 前記出力画像は、上腕頭インプラントの視覚的表現を含む、［１８］に記載の方法。
［２２］ 前記出力画像に対する注釈を生成することをさらに含み、前記注釈は、未知の断片に対応する前記上腕骨の前記推定される病的状態になる前の形状の視覚的表現の一部分を識別し、前記未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュを含む、［１８］記載の方法。
［２３］ 前記出力を生成することは、
前記関節の画像データを前記上腕骨の前記推定される病的状態になる前の形状の画像に整列させることと、
前記関節の画像データの一部分と、前記上腕骨の前記推定される病的状態になる前の形状の前記画像の一部分とを示す合成画像を生成することとを含む、［１］に記載の方法。
［２４］ 前記合成画像は、1つ以上の未知の断片の視覚的表現をさらに示し、前記1つ以上の未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュに対応する、［２３］に記載の方法。
［２５］ 前記合成画像は、1つ以上の未知の断片を移動させるための位置を識別する注釈をさらに示し、前記1つ以上の未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュに対応する、［２３］に記載の方法。
［２６］ 前記3Dモデルから１つ以上の未知の断片の変位角度を決定することと、前記１つ以上の未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュによって表され、
前記１つ以上の未知の断片の変位角度に基づいて、外科的推奨を決定することと、をさらに含み、前記出力は前記外科的推奨を含む、［１］に記載の方法。
［２７］ 断片整復に必要な回転量を決定することによって、前記3Dモデルからの前記１つ以上の未知の断片の変位角度を決定することとさらに含む、［２６］記載の方法。
［２８］ 前記3Dモデルから1つ以上の未知の断片の変位を決定することと、前記1つ以上の未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュによって表され、
前記１つ以上の未知の断片の変位に基づいて外科的推奨を決定することと、をさらに含み、前記出力は前記外科的推奨を含む、［１］に記載の方法。
［２９］ 断片整復に必要とされる並進の量を決定することによって、前記3Dモデルからの前記１つ以上の未知の断片の変位を決定することをさらに含む、［２８］記載の方法。
［３０］ 前記外科的推奨は、前記関節について決定された骨折の分類を含む、［２８］に記載の方法。
［３１］ 医療システムであって、
上腕骨の少なくとも一部分を含む関節の画像データを記憶するように構成されたメモリと、
処理回路と、を備え、
前記処理回路は、
前記上腕骨の少なくとも一部分を含む関節の画像データを取得し、
皮質骨に対応する前記画像データの部分を識別するために前記画像データをセグメント化し、
皮質骨に対応する前記画像データの部分に基づいて3次元（3D）モデルを生成し、前記3Dモデルは、皮質骨に対応する前記画像データの部分の表面に対応する1つ以上の3Dメッシュを含み、
前記１つ以上の3Dメッシュにおいて、骨幹に対応する3Dメッシュの一部分を識別し、
前記骨幹に対応する3Dメッシュの部分の形状に基づいて、前記上腕骨の推定される病的状態になる前の形状を決定し、
前記上腕骨の前記推定される病的状態になる前の形状に基づいて出力を生成するように構成されている、医療システム。
［３２］ 前記処理回路は、
前記上腕骨の前記推定される病的状態になる前の形状を基準点に位置合わせするようにさらに構成されている、［３１］に記載の医療システム。
［３３］ 前記処理回路は、
前記3Dモデルにおいて、肩甲骨に対応する3Dメッシュを識別し、
前記肩甲骨に対応する3Dメッシュに基づいて、前記基準点を識別するようにさらに構成されている、［３２］に記載の医療システム。
［３４］ 前記処理回路は、
前記1つ以上の3Dメッシュにおいて、上腕頭に対応する3Dメッシュの一部分を識別するようにさらに構成されている、［３１］に記載の医療システム。
［３５］ 前記上腕頭に対応する3Dメッシュの部分を識別するために、前記処理回路は、
前記１つ以上の3Dメッシュの頂点の法線ベクトルを決定し、
前記１つ以上の3Dメッシュの頂点の法線ベクトルの最も一般的な交点を決定し、
前記最も共通の交点と交差する法線ベクトルを有する頂点を、前記上腕頭に対応する3Dメッシュの部分に属する頂点であるとして識別するようにさらに構成されている、［３４］に記載の医療システム。
［３６］ 前記骨幹に対応する3Dメッシュの部分を識別するために、前記処理回路は、前記１つ以上の3Dメッシュにおいて、前記上腕頭に対応する前記3Dメッシュの部分から最も遠い頂点を決定するようにさらに構成されている、［３４］に記載の医療システム。
［３７］ 前記処理回路は、
前記3Dモデルにおいて、未知の断片に対応する3Dメッシュを識別するようにさらに構成され、前記未知の断片に対応する3Dメッシュは、前記骨幹に対応する前記3Dメッシュ又は前記上腕頭に対応する前記3Dメッシュではない3Dメッシュを含む、［３４］に記載の医療システム。
［３８］ 前記処理回路は、
前記上腕骨の前記推定される病的状態になる前の形状、前記骨幹に対応する3Dメッシュ、及び前記上腕頭に対応する3Dメッシュに基づいて、前記未知の断片に対応する3Dメッシュのための許容領域を決定するようにさらに構成されている、［３７］に記載の医療システム。
［３９］ 前記処理回路は、
前記許容領域内で、前記未知の断片に対応する3Dメッシュの位置を決定するようにさらに構成されている、［３８］に記載の医療システム。
［４０］ 前記処理回路は、
前記許容領域の境界と前記未知の断片に対応する3Dメッシュとの間の距離に基づいて、最小化値を決定するようにさらに構成されている、［３８］に記載の医療システム。
［４１］ 前記処理回路は、
前記未知の断片に対応する3Dメッシュによってカバーされる前記許容領域のパーセンテージに基づいて、最小化値を決定するようにさらに構成されている、［３８］に記載の医療システム。
［４２］ 前記処理回路は、
前記未知の断片に対応するそれぞれの3Dメッシュ間の距離にさらに基づいて、前記最小化値を決定するようにさらに構成されている、［４１］に記載の医療システム。
［４３］ 前記処理回路は、
前記未知の断片に対応する3Dメッシュに対して複数の変換を実行し、
前記複数の変換のそれぞれについて、前記未知の断片に対応する3Dメッシュによってカバーされた前記許容領域のパーセンテージ、前記許容領域の境界と前記未知の断片に対応する3Dメッシュとの間の距離、又は前記未知の断片に対応するそれぞれの3Dメッシュ間の距離のうちの１つ以上に基づいて最小化値を決定し、
前記複数の変換についての前記最小化値に基づいて、断片整復を選択するようにさらに構成されている、［３８］に記載の医療システム。
［４４］ 前記処理回路は、
前記画像データ中の未知の断片の数を決定するようにさらに構成され、前記未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュによって表される、［３１］に記載の医療システム。
［４５］ 前記出力は、前記決定された未知の断片の数に基づいて決定された外科的推奨を含む、［４４］に記載の医療システム。
［４６］ 前記外科的推奨は、前記関節を固定するための処置の識別を含む、［４５］に記載の医療システム。
［４７］ 前記出力は、前記関節について決定された骨折の分類を含む、［３１］に記載の医療システム。
［４８］ 前記出力は、出力画像を含む、［３１］記載の医療システム。
［４９］ 前記出力画像は、前記上腕骨の推定される病的状態になる前の形状の少なくとも一部分の視覚的表現を含む、［４８］に記載の医療システム。
［５０］ 前記出力画像は、少なくとも1つの未知の断片の視覚的表現を含み、未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュを含む、［４８］に記載の医療システム。
［５１］ 前記出力画像は、上腕頭インプラントの視覚的表現を含む、［４８］に記載の医療システム。
［５２］ 前記処理回路は、
前記出力画像に対する注釈を生成するようにさらに構成され、前記注釈は、未知の断片に対応する前記上腕骨の推定される病的状態になる前の形状の視覚的表現の一部分を識別し、前記未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュを含む、［４８］に記載の医療システム。
［５３］ 前記処理回路は、
前記関節の画像データを前記上腕骨の推定される病的状態になる前の形状の画像に整列させ、
前記関節の画像データの一部と、前記上腕骨の推定される病的状態になる前の形状の画像の一部分とを示す合成画像を生成するようにさらに構成されている、［３１］に記載の医療システム。
［５４］ 前記合成画像は、1つ以上の未知の断片の視覚的表現をさらに示し、前記1つ以上の未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュに対応する、［５３］に記載の医療システム。
［５５］ 前記合成画像は、1つ以上の未知の断片を移動させる位置を識別する注釈をさらに示し、前記1つ以上の未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュに対応する、［５３］に記載の医療システム。
［５６］ 前記処理回路は、
前記3Dモデルから1つ以上の未知の断片の変位角度を決定し、前記1つ以上の未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュによって表され、
前記1つ以上の未知の断片の前記変位角度に基づいて外科的推奨を決定するようにさらに構成され、前記出力は、前記外科的推奨を含む、［３１］に記載の医療システム。
［５７］ 前記処理回路は、
断片整復のために必要とされる回転量を決定することによって、前記3Dモデルからの前記1つ以上の未知の断片の変位角度を決定するようにさらに構成されている、［５６］に記載の医療システム。
［５８］ 前記処理回路は、
前記3Dモデルから1つ以上の未知の断片の変位を決定し、前記1つ以上の未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュによって表され、
前記1つ以上の未知の断片の変位に基づいて外科的推奨を決定するようにさらに構成され、前記出力は前記外科的推奨を含む、［３１］に記載の医療システム。
［５９］ 前記処理回路は、
断片整復に必要とされる並進の量を決定することによって、前記3Dモデルからの前記１つ以上の未知の断片の変位を決定するようにさらに構成されている、［５８］に記載の医療システム。
［６０］ 前記外科的推奨は、前記関節について決定された骨折の分類を含む、［５８］に記載の医療システム。
［６１］ 前記出力を表示するように構成されたディスプレイデバイスをさらに備える、［３１］記載の医療システム。
［６２］ 前記ディスプレイデバイスは、複合現実視覚化デバイスを備える、［６１］に記載の医療システム。
［６３］ コンピュータ読取可能記憶媒体であって、
上腕骨の少なくとも一部分を含む関節の画像データを取得することと、
皮質骨に対応する画像データの部分を識別するために前記画像データをセグメント化することと、
前記皮質骨に対応する画像データの部分に基づいて、3次元（3D）モデルを生成することと、前記3Dモデルは、前記皮質骨に対応する画像データの部分の表面に対応する1つ以上の3Dメッシュを含み、
前記１つ以上の3Dメッシュにおいて、骨幹に対応する3Dメッシュの一部分を識別することと、
前記骨幹に対応する3Dメッシュの部分の形状に基づいて、前記上腕骨の推定される病的状態になる前の形状を決定することと、
前記上腕骨の前記推定される病的状態になる前の形状に基づいて出力を生成することとを含む、コンピュータ読取可能記憶媒体。
［６４］ 医療システムであって、
上腕骨の少なくとも一部分を含む関節の画像データを取得する手段と、
皮質骨に対応する画像データの部分を識別するために前記画像データをセグメント化する手段と、
前記皮質骨に対応する画像データの部分に基づいて、3次元（3D）モデルを生成する手段と、前記3Dモデルは、前記皮質骨に対応する画像データの部分の表面に対応する１つ以上の3Dメッシュを含み、
前記１つ以上の3Dメッシュにおいて、骨幹に対応する3Dメッシュの一部分を識別する手段と、
前記骨幹に対応する3Dメッシュの一部分の形状に基づいて、前記上腕骨の推定される病的状態になる前の形状を決定する手段と、
前記上腕骨の推定される病的状態になる前の形状に基づいて、出力を生成する手段とを備える、医療システム。

Claims (64)

  1. 方法であって、
    上腕骨の少なくとも一部分を含む関節の画像データを取得することと、
    皮質骨に対応する画像データの部分を識別するために前記画像データをセグメント化することと、
    前記皮質骨に対応する画像データの部分に基づいて、3次元（3D）モデルを生成することと、前記3Dモデルは、前記皮質骨に対応する画像データの部分の表面に対応する１つ以上の3Dメッシュを含み、
    前記1つ以上の3Dメッシュにおいて、骨幹に対応する3Dメッシュの一部分を識別することと、
    前記骨幹に対応する3Dメッシュの部分の形状に基づいて、前記上腕骨の推定される病的状態になる前の形状を決定することと、
    前記上腕骨の推定される病的状態になる前形状に基づいて、出力を生成することと、を含む、方法。
  2. 前記上腕骨の前記推定される病的状態になる前の形状を基準点に位置合わせすることをさらに含む、請求項１に記載の方法。
  3. 前記3Dモデルにおいて、肩甲骨に対応する3Dメッシュを識別することと、
    前記肩甲骨に対応する3Dメッシュに基づいて、前記基準点を識別することと、をさらに含む、請求項２に記載の方法。
  4. 前記１つ以上の3Dメッシュにおいて、上腕頭に対応する3Dメッシュの一部分を識別することをさらに含む、請求項１に記載の方法。
  5. 前記上腕頭に対応する3Dメッシュの部分を識別することは、
    前記１つ以上の3Dメッシュの頂点の法線ベクトルを決定することと、
    前記１つ以上の3Dメッシュの頂点の法線ベクトルの最も一般的な交点を決定することと、
    前記最も共通の交点と交差する法線ベクトルを有する頂点を、前記上腕頭に対応する前記3Dメッシュの部分に属する頂点であるとして識別することとを含む、請求項４に記載の方法。
  6. 前記骨幹に対応する前記3Dメッシュの部分を識別することは、前記１つ以上の3Dメッシュにおいて、前記上腕頭に対応する前記3Dメッシュの部分から最も遠い頂点を決定することを含む、請求項４に記載の方法。
  7. 前記3Dモデルにおいて、未知の断片に対応する3Dメッシュを識別することをさらに含み、前記未知の断片に対応する3Dメッシュは、前記骨幹に対応する3Dメッシュ又は前記上腕頭に対応する3Dメッシュではない3Dメッシュを含む、請求項４に記載の方法。
  8. 前記上腕骨の前記推定される病的状態になる前の形状、前記骨幹に対応する3Dメッシュ、及び前記上腕頭に対応する3Dメッシュに基づいて、前記未知の断片に対応する3Dメッシュのための許容領域を決定することをさらに含む、請求項７に記載の方法。
  9. 前記許容領域において、前記未知の断片に対応する3Dメッシュの位置を決定することをさらに含む、請求項８に記載の方法。
  10. 前記許容領域の境界と前記未知の断片に対応する3Dメッシュとの間の距離に基づいて、最小化値を決定することをさらに含む、請求項８に記載の方法。
  11. 前記未知の断片に対応する前記3Dメッシュによってカバーされる前記許容領域のパーセンテージに基づいて、最小化値を決定することをさらに含む、請求項８に記載の方法。
  12. 前記未知の断片に対応するそれぞれの3Dメッシュ間の距離にさらに基づいて、前記最小化値を決定することをさらに含む、請求項１１記載の方法。
  13. 前記未知の断片に対応する3Dメッシュに対して複数の変換を実行することと、
    前記複数の変換のそれぞれについて、前記未知の断片に対応する3Dメッシュによってカバーされる前記許容領域のパーセンテージ、前記許容領域の境界と前記未知の断片に対応する3Dメッシュとの間の距離、又は前記未知の断片に対応するそれぞれの3Dメッシュ間の距離のうちの１つ以上に基づいて、最小化値を決定することと、
    前記複数の変換についての前記最小化値に基づいて、断片整復を選択することをさらに含む、請求項８記載の方法。
  14. 前記画像データ内に存在する未知の断片の数を決定することをさらに含み、前記未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュによって表される、請求項１に記載の方法。
  15. 前記出力は、前記決定された未知の断片の数に基づいて決定された外科的推奨を含む、請求項１４に記載の方法。
  16. 前記外科的推奨は、前記関節を固定するための処置の識別を含む、請求項１５に記載の方法。
  17. 前記出力は、前記関節について決定された骨折の分類を含む、請求項１に記載の方法。
  18. 前記出力は、出力画像を含む、請求項１に記載の方法。
  19. 前記出力画像は、前記上腕骨の推定される病的状態になる前の形状の少なくとも一部の視覚的表現を含む、請求項１８に記載の方法。
  20. 前記出力画像は、少なくとも1つの未知の断片の視覚的表現を含み、前記未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュを含む、請求項１８に記載の方法。
  21. 前記出力画像は、上腕頭インプラントの視覚的表現を含む、請求項１８に記載の方法。
  22. 前記出力画像に対する注釈を生成することをさらに含み、前記注釈は、未知の断片に対応する前記上腕骨の前記推定される病的状態になる前の形状の視覚的表現の一部分を識別し、前記未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュを含む、請求項１８記載の方法。
  23. 前記出力を生成することは、
    前記関節の画像データを前記上腕骨の前記推定される病的状態になる前の形状の画像に整列させることと、
    前記関節の画像データの一部分と、前記上腕骨の前記推定される病的状態になる前の形状の前記画像の一部分とを示す合成画像を生成することとを含む、請求項１に記載の方法。
  24. 前記合成画像は、1つ以上の未知の断片の視覚的表現をさらに示し、前記1つ以上の未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュに対応する、請求項２３に記載の方法。
  25. 前記合成画像は、1つ以上の未知の断片を移動させるための位置を識別する注釈をさらに示し、前記1つ以上の未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュに対応する、請求項２３に記載の方法。
  26. 前記3Dモデルから１つ以上の未知の断片の変位角度を決定することと、前記１つ以上の未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュによって表され、
    前記１つ以上の未知の断片の変位角度に基づいて、外科的推奨を決定することと、をさらに含み、前記出力は前記外科的推奨を含む、請求項１に記載の方法。
  27. 断片整復に必要な回転量を決定することによって、前記3Dモデルからの前記１つ以上の未知の断片の変位角度を決定することとさらに含む、請求項２６記載の方法。
  28. 前記3Dモデルから1つ以上の未知の断片の変位を決定することと、前記1つ以上の未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュによって表され、
    前記１つ以上の未知の断片の変位に基づいて外科的推奨を決定することと、をさらに含み、前記出力は前記外科的推奨を含む、請求項１に記載の方法。
  29. 断片整復に必要とされる並進の量を決定することによって、前記3Dモデルからの前記１つ以上の未知の断片の変位を決定することをさらに含む、請求項２８記載の方法。
  30. 前記外科的推奨は、前記関節について決定された骨折の分類を含む、請求項２８に記載の方法。
  31. 医療システムであって、
    上腕骨の少なくとも一部分を含む関節の画像データを記憶するように構成されたメモリと、
    処理回路と、を備え、
    前記処理回路は、
    前記上腕骨の少なくとも一部分を含む関節の画像データを取得し、
    皮質骨に対応する前記画像データの部分を識別するために前記画像データをセグメント化し、
    皮質骨に対応する前記画像データの部分に基づいて3次元（3D）モデルを生成し、前記3Dモデルは、皮質骨に対応する前記画像データの部分の表面に対応する1つ以上の3Dメッシュを含み、
    前記１つ以上の3Dメッシュにおいて、骨幹に対応する3Dメッシュの一部分を識別し、
    前記骨幹に対応する3Dメッシュの部分の形状に基づいて、前記上腕骨の推定される病的状態になる前の形状を決定し、
    前記上腕骨の前記推定される病的状態になる前の形状に基づいて出力を生成するように構成されている、医療システム。
  32. 前記処理回路は、
    前記上腕骨の前記推定される病的状態になる前の形状を基準点に位置合わせするようにさらに構成されている、請求項３１に記載の医療システム。
  33. 前記処理回路は、
    前記3Dモデルにおいて、肩甲骨に対応する3Dメッシュを識別し、
    前記肩甲骨に対応する3Dメッシュに基づいて、前記基準点を識別するようにさらに構成されている、請求項３２に記載の医療システム。
  34. 前記処理回路は、
    前記1つ以上の3Dメッシュにおいて、上腕頭に対応する3Dメッシュの一部分を識別するようにさらに構成されている、請求項３１に記載の医療システム。
  35. 前記上腕頭に対応する3Dメッシュの部分を識別するために、前記処理回路は、
    前記１つ以上の3Dメッシュの頂点の法線ベクトルを決定し、
    前記１つ以上の3Dメッシュの頂点の法線ベクトルの最も一般的な交点を決定し、
    前記最も共通の交点と交差する法線ベクトルを有する頂点を、前記上腕頭に対応する3Dメッシュの部分に属する頂点であるとして識別するようにさらに構成されている、請求項３４に記載の医療システム。
  36. 前記骨幹に対応する3Dメッシュの部分を識別するために、前記処理回路は、前記１つ以上の3Dメッシュにおいて、前記上腕頭に対応する前記3Dメッシュの部分から最も遠い頂点を決定するようにさらに構成されている、請求項３４に記載の医療システム。
  37. 前記処理回路は、
    前記3Dモデルにおいて、未知の断片に対応する3Dメッシュを識別するようにさらに構成され、前記未知の断片に対応する3Dメッシュは、前記骨幹に対応する前記3Dメッシュ又は前記上腕頭に対応する前記3Dメッシュではない3Dメッシュを含む、請求項３４に記載の医療システム。
  38. 前記処理回路は、
    前記上腕骨の前記推定される病的状態になる前の形状、前記骨幹に対応する3Dメッシュ、及び前記上腕頭に対応する3Dメッシュに基づいて、前記未知の断片に対応する3Dメッシュのための許容領域を決定するようにさらに構成されている、請求項３７に記載の医療システム。
  39. 前記処理回路は、
    前記許容領域内で、前記未知の断片に対応する3Dメッシュの位置を決定するようにさらに構成されている、請求項３８に記載の医療システム。
  40. 前記処理回路は、
    前記許容領域の境界と前記未知の断片に対応する3Dメッシュとの間の距離に基づいて、最小化値を決定するようにさらに構成されている、請求項３８に記載の医療システム。
  41. 前記処理回路は、
    前記未知の断片に対応する3Dメッシュによってカバーされる前記許容領域のパーセンテージに基づいて、最小化値を決定するようにさらに構成されている、請求項３８に記載の医療システム。
  42. 前記処理回路は、
    前記未知の断片に対応するそれぞれの3Dメッシュ間の距離にさらに基づいて、前記最小化値を決定するようにさらに構成されている、請求項４１に記載の医療システム。
  43. 前記処理回路は、
    前記未知の断片に対応する3Dメッシュに対して複数の変換を実行し、
    前記複数の変換のそれぞれについて、前記未知の断片に対応する3Dメッシュによってカバーされた前記許容領域のパーセンテージ、前記許容領域の境界と前記未知の断片に対応する3Dメッシュとの間の距離、又は前記未知の断片に対応するそれぞれの3Dメッシュ間の距離のうちの１つ以上に基づいて最小化値を決定し、
    前記複数の変換についての前記最小化値に基づいて、断片整復を選択するようにさらに構成されている、請求項３８に記載の医療システム。
  44. 前記処理回路は、
    前記画像データ中の未知の断片の数を決定するようにさらに構成され、前記未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュによって表される、請求項３１に記載の医療システム。
  45. 前記出力は、前記決定された未知の断片の数に基づいて決定された外科的推奨を含む、請求項４４に記載の医療システム。
  46. 前記外科的推奨は、前記関節を固定するための処置の識別を含む、請求項４５に記載の医療システム。
  47. 前記出力は、前記関節について決定された骨折の分類を含む、請求項３１に記載の医療システム。
  48. 前記出力は、出力画像を含む、請求項３１記載の医療システム。
  49. 前記出力画像は、前記上腕骨の推定される病的状態になる前の形状の少なくとも一部分の視覚的表現を含む、請求項４８に記載の医療システム。
  50. 前記出力画像は、少なくとも1つの未知の断片の視覚的表現を含み、未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュを含む、請求項４８に記載の医療システム。
  51. 前記出力画像は、上腕頭インプラントの視覚的表現を含む、請求項４８に記載の医療システム。
  52. 前記処理回路は、
    前記出力画像に対する注釈を生成するようにさらに構成され、前記注釈は、未知の断片に対応する前記上腕骨の推定される病的状態になる前の形状の視覚的表現の一部分を識別し、前記未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュを含む、請求項４８に記載の医療システム。
  53. 前記処理回路は、
    前記関節の画像データを前記上腕骨の推定される病的状態になる前の形状の画像に整列させ、
    前記関節の画像データの一部と、前記上腕骨の推定される病的状態になる前の形状の画像の一部分とを示す合成画像を生成するようにさらに構成されている、請求項３１に記載の医療システム。
  54. 前記合成画像は、1つ以上の未知の断片の視覚的表現をさらに示し、前記1つ以上の未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュに対応する、請求項５３に記載の医療システム。
  55. 前記合成画像は、1つ以上の未知の断片を移動させる位置を識別する注釈をさらに示し、前記1つ以上の未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュに対応する、請求項５３に記載の医療システム。
  56. 前記処理回路は、
    前記3Dモデルから1つ以上の未知の断片の変位角度を決定し、前記1つ以上の未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュによって表され、
    前記1つ以上の未知の断片の前記変位角度に基づいて外科的推奨を決定するようにさらに構成され、前記出力は、前記外科的推奨を含む、請求項３１に記載の医療システム。
  57. 前記処理回路は、
    断片整復のために必要とされる回転量を決定することによって、前記3Dモデルからの前記1つ以上の未知の断片の変位角度を決定するようにさらに構成されている、請求項５６に記載の医療システム。
  58. 前記処理回路は、
    前記3Dモデルから1つ以上の未知の断片の変位を決定し、前記1つ以上の未知の断片は、前記骨幹に対応する3Dメッシュ又は上腕頭に対応する3Dメッシュではない3Dメッシュによって表され、
    前記1つ以上の未知の断片の変位に基づいて外科的推奨を決定するようにさらに構成され、前記出力は前記外科的推奨を含む、請求項３１に記載の医療システム。
  59. 前記処理回路は、
    断片整復に必要とされる並進の量を決定することによって、前記3Dモデルからの前記１つ以上の未知の断片の変位を決定するようにさらに構成されている、請求項５８に記載の医療システム。
  60. 前記外科的推奨は、前記関節について決定された骨折の分類を含む、請求項５８に記載の医療システム。
  61. 前記出力を表示するように構成されたディスプレイデバイスをさらに備える、請求項３１記載の医療システム。
  62. 前記ディスプレイデバイスは、複合現実視覚化デバイスを備える、請求項６１に記載の医療システム。
  63. コンピュータ読取可能記憶媒体であって、
    上腕骨の少なくとも一部分を含む関節の画像データを取得することと、
    皮質骨に対応する画像データの部分を識別するために前記画像データをセグメント化することと、
    前記皮質骨に対応する画像データの部分に基づいて、3次元（3D）モデルを生成することと、前記3Dモデルは、前記皮質骨に対応する画像データの部分の表面に対応する1つ以上の3Dメッシュを含み、
    前記１つ以上の3Dメッシュにおいて、骨幹に対応する3Dメッシュの一部分を識別することと、
    前記骨幹に対応する3Dメッシュの部分の形状に基づいて、前記上腕骨の推定される病的状態になる前の形状を決定することと、
    前記上腕骨の前記推定される病的状態になる前の形状に基づいて出力を生成することとを含む、コンピュータ読取可能記憶媒体。
  64. 医療システムであって、
    上腕骨の少なくとも一部分を含む関節の画像データを取得する手段と、
    皮質骨に対応する画像データの部分を識別するために前記画像データをセグメント化する手段と、
    前記皮質骨に対応する画像データの部分に基づいて、3次元（3D）モデルを生成する手段と、前記3Dモデルは、前記皮質骨に対応する画像データの部分の表面に対応する１つ以上の3Dメッシュを含み、
    前記１つ以上の3Dメッシュにおいて、骨幹に対応する3Dメッシュの一部分を識別する手段と、
    前記骨幹に対応する3Dメッシュの一部分の形状に基づいて、前記上腕骨の推定される病的状態になる前の形状を決定する手段と、
    前記上腕骨の推定される病的状態になる前の形状に基づいて、出力を生成する手段とを備える、医療システム。
JP2022530726A 2019-11-26 2020-11-20 骨断片化のケースにおける整形外科手術のための術前計画及び術中ガイダンス Active JP7463510B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024051275A JP2024096725A (ja) 2019-11-26 2024-03-27 骨断片化のケースにおける整形外科手術のための術前計画及び術中ガイダンス

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962940810P 2019-11-26 2019-11-26
US62/940,810 2019-11-26
US202063049497P 2020-07-08 2020-07-08
US63/049,497 2020-07-08
PCT/US2020/061608 WO2021108270A1 (en) 2019-11-26 2020-11-20 Pre-operative planning and intra operative guidance for orthopedic surgical procedures in cases of bone fragmentation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024051275A Division JP2024096725A (ja) 2019-11-26 2024-03-27 骨断片化のケースにおける整形外科手術のための術前計画及び術中ガイダンス

Publications (2)

Publication Number Publication Date
JP2023502280A true JP2023502280A (ja) 2023-01-23
JP7463510B2 JP7463510B2 (ja) 2024-04-08

Family

ID=73855535

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022530726A Active JP7463510B2 (ja) 2019-11-26 2020-11-20 骨断片化のケースにおける整形外科手術のための術前計画及び術中ガイダンス
JP2024051275A Pending JP2024096725A (ja) 2019-11-26 2024-03-27 骨断片化のケースにおける整形外科手術のための術前計画及び術中ガイダンス

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024051275A Pending JP2024096725A (ja) 2019-11-26 2024-03-27 骨断片化のケースにおける整形外科手術のための術前計画及び術中ガイダンス

Country Status (5)

Country Link
US (1) US20220401221A1 (ja)
EP (1) EP4065023A1 (ja)
JP (2) JP7463510B2 (ja)
AU (2) AU2020393845B2 (ja)
WO (1) WO2021108270A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11367181B2 (en) * 2018-12-29 2022-06-21 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for ossification center detection and bone age assessment
CN113724306B (zh) * 2021-08-04 2023-06-13 卡本(深圳)医疗器械有限公司 一种术前ctmr扫描图像与术中病人坐标的配准算法
US20240048763A1 (en) * 2022-08-02 2024-02-08 Tencent America LLC Duplicate vertices based position compression
EP4324430A1 (en) * 2022-08-18 2024-02-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for producing a bone replacement element
WO2024068984A1 (en) * 2022-09-30 2024-04-04 Universiteit Antwerpen Methods and systems for determining an anatomical reconstruction of a broken bone
CN116912213B (zh) * 2023-07-20 2024-04-19 中国人民解放军总医院第六医学中心 一种医学Dicom图像边缘轮廓多边检测算法和检测系统
CN118657893A (zh) * 2024-08-21 2024-09-17 浙江华东测绘与工程安全技术有限公司 一种基于三维实时声呐数据的海缆真实模型建立方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010200925A (ja) * 2009-03-03 2010-09-16 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP2011518645A (ja) * 2008-04-29 2011-06-30 オティスメッド コーポレイション 悪化前の状態を表すと共に関節形成装置の設計及び製造において使用可能であるコンピュータ化骨モデルの生成
JP2013529970A (ja) * 2010-06-16 2013-07-25 エーツー・サージカル 骨の変形を特徴付ける幾何学的要素を３ｄ画像から自動的に決定する方法およびシステム
JP2016503322A (ja) * 2012-11-16 2016-02-04 キュンポク ナショナル ユニバーシティ インダストリー−アカデミック コーオペレーション ファウンデーションＫｙｕｎｇｐｏｏｋ Ｎａｔｉｏｎａｌ Ｕｎｉｖｅｒｓｉｔｙ Ｉｎｄｕｓｔｒｙ−Ａｃａｄｅｍｉｃ Ｃｏｏｒｐｅｒａｔｉｏｎ Ｆｏｕｎｄａｔｉｏｎ 整復施術ロボット及びその駆動制御方法
EP3421001A1 (en) * 2017-06-30 2019-01-02 Koninklijke Philips N.V. Transformation determination for anatomically aligning fragments of a broken bone
JP2019103670A (ja) * 2017-12-13 2019-06-27 朝日レントゲン工業株式会社 骨質評価装置、骨質評価プログラム、及び骨質評価方法
JP2019195649A (ja) * 2013-10-15 2019-11-14 ラシュワン マフホウズ，モハメド 骨再建及び整形外科インプラント

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2962573B1 (fr) 2010-06-16 2019-04-12 Imascap Procede d'identification automatique des contours d'un os predefini, procedes derives et produits programme d'ordinateur correspondants
US11086970B2 (en) 2013-03-13 2021-08-10 Blue Belt Technologies, Inc. Systems and methods for using generic anatomy models in surgical planning
US20160045317A1 (en) * 2013-03-15 2016-02-18 Conformis, Inc. Kinematic and Parameterized Modeling for Patient-Adapted Implants, Tools, and Surgical Procedures
US10258256B2 (en) * 2014-12-09 2019-04-16 TechMah Medical Bone reconstruction and orthopedic implants
CN105303604A (zh) 2015-10-19 2016-02-03 中国科学院软件研究所 一种用于人体单侧肢体骨骼骨性损伤测量的方法及系统
CN111226220B (zh) * 2017-09-07 2023-06-20 港大科桥有限公司 骨骼模型、建模过程及其系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011518645A (ja) * 2008-04-29 2011-06-30 オティスメッド コーポレイション 悪化前の状態を表すと共に関節形成装置の設計及び製造において使用可能であるコンピュータ化骨モデルの生成
JP2010200925A (ja) * 2009-03-03 2010-09-16 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP2013529970A (ja) * 2010-06-16 2013-07-25 エーツー・サージカル 骨の変形を特徴付ける幾何学的要素を３ｄ画像から自動的に決定する方法およびシステム
JP2016503322A (ja) * 2012-11-16 2016-02-04 キュンポク ナショナル ユニバーシティ インダストリー−アカデミック コーオペレーション ファウンデーションＫｙｕｎｇｐｏｏｋ Ｎａｔｉｏｎａｌ Ｕｎｉｖｅｒｓｉｔｙ Ｉｎｄｕｓｔｒｙ−Ａｃａｄｅｍｉｃ Ｃｏｏｒｐｅｒａｔｉｏｎ Ｆｏｕｎｄａｔｉｏｎ 整復施術ロボット及びその駆動制御方法
JP2019195649A (ja) * 2013-10-15 2019-11-14 ラシュワン マフホウズ，モハメド 骨再建及び整形外科インプラント
EP3421001A1 (en) * 2017-06-30 2019-01-02 Koninklijke Philips N.V. Transformation determination for anatomically aligning fragments of a broken bone
JP2019103670A (ja) * 2017-12-13 2019-06-27 朝日レントゲン工業株式会社 骨質評価装置、骨質評価プログラム、及び骨質評価方法

Also Published As

Publication number Publication date
AU2020393845B2 (en) 2023-11-23
EP4065023A1 (en) 2022-10-05
JP7463510B2 (ja) 2024-04-08
WO2021108270A1 (en) 2021-06-03
JP2024096725A (ja) 2024-07-17
AU2024201104A1 (en) 2024-03-14
US20220401221A1 (en) 2022-12-22
AU2020393845A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
JP7463510B2 (ja) 骨断片化のケースにおける整形外科手術のための術前計画及び術中ガイダンス
US11626212B2 (en) Systems and methods for automated segmentation of patient specific anatomies for pathology specific measurements
AU2020331936B2 (en) Pre-operative planning of surgical revision procedures for orthopedic joints
JP7250954B2 (ja) 整形外科に関する医用画像データのセグメンテーションのための閉曲面フィッティング
US20230186495A1 (en) Pre-morbid characterization of anatomical object using orthopedic anatomy segmentation using hybrid statistical shape modeling (ssm)
JP7242898B2 (ja) 統計的形状モデリング（ｓｓｍ）を使用した解剖学的対象の発病前特性化
Botha et al. Pre-operative Planning and Intra-operative Guidance for Shoulder Replacement Surgery

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220708

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220708

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240327

R150 Certificate of patent or registration of utility model

Ref document number: 7463510

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150