CN112581354A - 用于确定用于在整形外科手术中使用的三维模型的准确度的技术 - Google Patents

用于确定用于在整形外科手术中使用的三维模型的准确度的技术 Download PDF

Info

Publication number
CN112581354A
CN112581354A CN202011022380.0A CN202011022380A CN112581354A CN 112581354 A CN112581354 A CN 112581354A CN 202011022380 A CN202011022380 A CN 202011022380A CN 112581354 A CN112581354 A CN 112581354A
Authority
CN
China
Prior art keywords
dimensional
image
candidate
model
circuitry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011022380.0A
Other languages
English (en)
Inventor
S·S·波洛克
R·P·库尔蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DePuy Synthes Products Inc
Original Assignee
DePuy Synthes Products Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DePuy Synthes Products Inc filed Critical DePuy Synthes Products Inc
Publication of CN112581354A publication Critical patent/CN112581354A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T3/08—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30052—Implant; Prosthesis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Abstract

本发明题为“用于确定用于在整形外科手术中使用的三维模型的准确度的技术”。本公开涉及用于确定三维模型的准确度的技术，该三维模型包括具有电路的装置，该电路用于获得解剖对象(例如，人关节的骨)的二维图像，获得解剖对象的候选三维模型，以及产生候选三维模型的二维轮廓。电路还将边缘检测算法应用于二维图像以产生对应的边缘图像，以及将二维轮廓与边缘图像进行比较以产生指示候选三维模型的准确度的分数。

Description

用于确定用于在整形外科手术中使用的三维模型的准确度的 技术
相关专利申请的交叉引用
本申请涉及于2019年9月27日提交的标题为“TECHNOLOGIES FOR DETERMININGTHE SPATIAL ORIENTATION OF INPUT IMAGES FOR USE IN AN ORTHOPAEDIC SURGICALPROCEDURE”的美国专利申请16/586887。
技术领域
本公开涉及整形外科手术，并且更具体地涉及用于确定用于在整形外科手术中使用的三维模型的准确度的技术。
背景技术
一些三维建模系统诸如基于x射线的系统基于来自不同视点的对象的一组二维图像(例如，x射线图像)来产生对象的三维模型。为了降低所得模型不准确的可能性，例如由于三维空间中的不正确取向，操作人员可将校准标记物(例如，已知尺寸和/或位置的物理对象)放置在被成像和模型化的对象上或对象附近。然而，此类校准对象位置复杂且耗时。此外，在此类系统中，验证三维模型的准确度的过程必须由操作人员执行，操作人员目视检查模型，并将模型与原始对象进行比较，以确定模型是否正确对齐和确定尺寸。
发明内容
在一个方面，本公开描述了一种具有电路的装置，该电路用于获得解剖对象(例如，人关节的骨)的二维图像，获得解剖对象的候选三维模型，以及产生候选三维模型的二维轮廓。电路还将边缘检测算法应用于二维图像以产生对应的边缘图像，以及将二维轮廓与边缘图像进行比较以产生指示候选三维模型的准确度的分数。
在另一个方面，本公开描述了一种或多种机器可读存储介质，所述机器可读存储介质包括存储在所述机器可读存储介质上的多个指令，所述指令响应于被执行而使得装置获得解剖对象的二维图像，获得解剖对象的候选三维模型，以及产生候选三维模型的二维轮廓。所述多个指令另外使得装置将边缘检测算法应用于二维图像以产生对应的边缘图像，以及将二维轮廓与边缘图像进行比较以产生指示候选三维模型的准确度的分数。
在又一个方面，本公开描述了一种方法，该方法包括由装置获得解剖对象的二维图像，由装置获得解剖对象的候选三维模型，以及由装置产生候选三维模型的二维轮廓。该方法还包括由装置将边缘检测算法应用于二维图像以产生对应的边缘图像，以及由装置将二维轮廓与边缘图像进行比较以产生指示候选三维模型的准确度的分数。
附图说明
本文所述的概念以举例的方式而非限制的方式在附图中示出。为了说明的简化和清晰，图中所示的元件未必按比例绘制。在被认为适当的情况下，图之中已重复参考标签以指示对应的或类似的元件。具体实施方式具体是指附图，其中：
图1为用于确定由对象的二维图像产生的三维模型的准确度的系统的一个实施方案的简化图；
图2为可包括在图1的系统中的模型产生装置的一个实施方案的简化框图；
图3-8为可由图1和图2的模型产生装置执行的方法的一个实施方案的简化框图，以用于确定由对象的二维图像产生的三维模型的准确度；
图9为可由图1的系统生成的膝关节的三维模型、输入二维图像和轮廓的空间取向的图；以及
图10为可由图1的系统处理的股骨的三维模型的对准以及模型与股骨的二维图像的对准的图。
具体实施方式
虽然本公开的概念易于具有各种修改形式和替代形式，但其具体实施方案已在附图中以举例的方式示出，并且将在本文中进行详细描述。然而，应当理解，本文无意将本公开的概念限制为所公开的具体形式，而是相反，本发明的目的在于涵盖与本公开和所附权利要求一致的所有修改形式、等同形式和替代形式。
在整篇说明书中，当提及矫形外科植入物或假体和本文所述的外科器械以及患者的自然解剖结构时，可使用表示解剖学参考的术语，例如前、后、内、外、上、下等等。这些术语在解剖学研究和矫形外科领域都具有公知的含义。除非另外说明，否则在书面具体实施方式和权利要求中使用的这些解剖参考术语旨在与其熟知的含义一致。
本说明书中对“一个实施方案”、“实施方案”、“例示性实施方案”等的引用是指所述实施方案可包括特定特征、结构、或特性，但每个实施方案可包括或可不必包括该特定特征、结构、或特性。此外，这些术语未必指同一实施方案。此外，当结合实施方案来描述特定特征、结构、或特性时，无论是否进行明确描述均应认为，结合其它实施方案来实现这种特定特征、结构、或特性在本领域的技术人员的知识范围内。另外，应当理解，以“A、B和C中的至少一者”的形式包括在列表中的项目可意指(A)；(B)；(C)；(A和B)；(A和C)；(B和C)；或(A、B和C)。类似地，以“A、B或C中的至少一者”的形式列出的项目可意指(A)；(B)；(C)；(A和B)；(A和C)；(B和C)；或(A、B和C)。
在一些情况下，所公开的实施方案可以硬件、固件、软件或它们的任何组合来实现。所公开的实施方案还可被实现为由暂态或非暂态机器可读(例如，计算机可读)存储介质携带或存储在暂态或非暂态机器可读(例如，计算机可读)存储介质上的指令，该指令可由一个或多个处理器读取和执行。机器可读存储介质可体现为用于以机器可读形式存储或传输信息的任何存储装置、机构或其它物理结构(例如，易失性或非易失性存储器、介质盘或其它介质装置)。
在附图中，一些结构或方法特征部可以特定布置和/或排序示出。然而，应当理解，可不需要此类特定布置和/或排序。相反，在一些实施方案中，此类特征部可以与例示性附图中所示不同的方式和/或排序布置。另外，在特定附图中包括结构或方法特征部并不意味着暗示此类特征部在所有实施方案中都是必需的，并且在一些实施方案中，可不包括这些特征部或者可与其它特征部组合。
现在参见图1，用于确定由对象的二维图像产生的三维模型的准确度的系统100包括通过网络116与图像产生装置112和客户端计算装置114通信的模型产生装置110。与其它系统不同，系统100在不依赖于广泛的人辅助和复杂校准标记物的情况下确定三维模型的准确度，如本文所更详细描述。在例示性实施方案中，在操作中，模型产生装置110可从多个不同视点(例如，正交视点)获得对象诸如解剖对象140(例如，人体的一部分，诸如人关节的一个或多个骨)的一组二维图像(例如，x射线图像)。此外，在例示性实施方案中，模型产生装置110由所获得的二维图像产生解剖对象140的三维模型。这样做时，模型产生装置110基于图像中的参考对象(例如，具有25毫米直径的钢球)的已知尺寸并且基于限定解剖对象140的可能取向(例如，旋转和平移)的候选值来确定模型的比例。此外，模型产生装置110基于评分过程来确定所产生的模型的准确度，其中模型产生装置110将三维模型的二维轮廓与所获得的二维图像的边缘检测版本进行比较，如本文所更详细描述。此外，模型产生装置110可迭代地调整候选值(例如，根据梯度上升过程、粒子群过程、遗传算法、机器学习等)以产生模型的另外版本，直到获得阈值准确度分数(例如，大于或等于目标准确度的准确度分数、一组预定义数量的所产生的准确度分数中的最高准确度分数、指示局部最大值的准确度分数等)。
在例示性实施方案中，模型产生装置110包括取向确定逻辑单元120，该取向确定逻辑单元可体现为被配置为执行上述模型产生和准确度评分操作(例如，从模型产生装置110的通用处理器卸载那些操作)的软件或任何装置或电路(例如，协处理器、可重新配置的电路、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等)。此外，在例示性实施方案中，取向确定逻辑单元120包括准确度确定逻辑单元122，该准确度确定逻辑单元可体现为软件或任何装置或电路(例如，协处理器、可重新配置的电路、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等)，该软件或任何装置或电路被配置为执行构成准确度评分过程的操作(例如，产生模型的三维轮廓，将三维轮廓投影到成像表面上以产生二维轮廓，对所获得的解剖对象140的二维图像应用边缘检测操作以产生边缘图像(例如，二维图像的边缘检测版本)，以及将二维轮廓中的边缘与边缘图像中的边缘进行比较以确定指示模型的准确度的分数)。
在例示性实施方案中，图像产生装置112可体现为能够从多个不同视点(例如，角度)产生对象(例如，解剖对象140)的一组二维图像的任何装置(例如，计算机、计算装置等)。在例示性实施方案中，图像产生装置112包括一个或多个辐射源(例如，x射线源)，所述一个或多个辐射源中的每个辐射源可体现为能够将辐射(例如，x射线辐射)引导到对象处的任何装置。图像产生装置112还包括一个或多个检测器装置132，所述一个或多个检测器装置中的每个检测器装置可体现为能够由辐射与解剖对象140的相互作用而产生解剖对象140的对应图像的任何装置。如上所述，在例示性实施方案中，图像产生装置112从多个不同视点(例如，角度)产生解剖对象140的二维图像，通过利用相对于解剖对象140以不同取向布置的多个固定辐射源130和检测器装置132，和/或通过使用一个或多个可动辐射源130和检测器装置132从不同视点迭代地产生解剖对象140的图像。
另外，系统100可包括客户端计算装置114，该客户端计算装置可体现为能够与图像产生装置112和/或模型产生装置110通信以向装置110、112中的一个或多个装置发送请求(例如，以产生解剖对象的二维图像、以由图像产生模型、以确定模型的准确度分数等)并从一个或多个装置110、112中的一个或多个装置接收数据(例如，所产生的二维图像、所产生的模型、一个或多个准确度分数等)。
现在参见图2，例示性模型产生装置110可体现为计算装置(例如，计算机)，所述计算装置包括计算引擎(在本文中也称为“计算引擎电路”)210、输入/输出(I/O)子系统216、通信电路218、以及一个或多个数据存储装置222。当然，在其它实施方案中，模型产生装置110可包括其它部件或附加部件，诸如计算机中常见的那些(例如，显示器、外围装置等)。另外，在一些实施方案中，例示性部件中的一个或多个部件可结合在另一个部件中或以其它方式形成另一个部件的一部分。计算引擎210可体现为能够执行下文所述的各种计算功能的任何类型的装置或装置的集合。在一些实施方案中，计算引擎210可体现为单个装置，诸如集成电路、嵌入式系统、现场可编程门阵列(FPGA)、片上系统(SOC)或其它集成系统或装置。在例示性实施方案中，计算引擎210包括或体现为处理器212、存储器214、取向确定逻辑单元120和准确度确定逻辑单元122，如上文参考图1所述。处理器212可体现为能够执行本文所述功能的任何类型的处理器。例如，处理器212可体现为一个或多个多核处理器、微控制器或其它处理器或处理/控制电路。在一些实施方案中，处理器212可体现为、包括或耦接到FPGA、专用集成电路(ASIC)、可重新配置的硬件或硬件电路或其它专用硬件以促进执行本文所述的功能。
主存储器214可体现为能够执行本文所述功能的任何类型的易失性存储器(例如，动态随机存取存储器(DRAM)等)或非易失性存储器或数据存储装置。易失性存储器可为需要电力来保持由介质存储的数据的状态的存储介质。在一些实施方案中，主存储器214的全部或一部分可集成到处理器212中。在操作中，主存储器214可存储在操作期间使用的各种软件和数据，诸如一个或多个应用程序、由一个或多个应用程序操作的数据(例如，二维图像、三维模型、用于取向的候选值、轮廓、边缘图像、准确度分数等)、库和驱动器。
计算引擎210经由I/O子系统216通信地耦接到模型产生装置110的其它部件，该I/O子系统可体现为电路和/或部件以促进与计算引擎210(例如，与处理器212和/或主存储器214)和模型产生装置110的其它部件的输入/输出操作。例如，I/O子系统216可体现为或以其它方式包括存储器控制器集线器、输入/输出控制集线器、集成传感器集线器、固件装置、通信链路(例如，点对点链路、总线链路、导线、缆线、光导、印刷电路板迹线等)和/或促进输入/输出操作的其它部件和子系统。在一些实施方案中，I/O子系统216可形成片上系统(SoC)的一部分，并且与处理器212、主存储器214和模型产生装置110的其它部件中的一者或多者一起结合到计算引擎210中。
通信电路218可体现为能够通过网络在模型产生装置110和另一个计算装置(例如，图像产生装置112、客户端计算装置114等)之间启用通信的任何通信电路、装置或它们的集合。通信电路218可被配置为使用任何一种或多种通信技术(例如，有线或无线通信)和相关联的协议(例如，以太网、
Figure BDA0002701050710000061
WiMAX、
Figure BDA0002701050710000062
蜂窝等)来实现此类通信。
例示性通信电路218包括网络接口控制器(NIC)220。NIC 220可体现为一个或多个板内添加、子卡、网络接口卡、控制器芯片、芯片组或可由模型产生装置110用于与另一个计算装置(例如，图像产生装置112、客户端计算装置114等)连接的其它装置。在一些实施方案中，NIC 220可体现为包括一个或多个处理器的片上系统(SoC)的一部分，或者被包括在还含有一个或多个处理器的多芯片封装件上。在一些实施方案中，NIC 220可包括均在NIC220本地的本地处理器(未示出)和/或本地存储器(未示出)。在此类实施方案中，NIC 220的本地处理器可能能够执行本文所述的计算引擎210的功能中的一个或多个功能。附加地或另选地，在此类实施方案中，NIC 220的本地存储器可在板级、套接字级、芯片级和/或其它级处集成到模型产生装置110的一个或多个部件中。
一个或多个例示性数据存储装置222可体现为被配置用于短期或长期存储数据的任何类型的装置，诸如例如存储器装置和电路、存储卡、硬盘驱动器、固态驱动器或其它数据存储装置。每个数据存储装置222可包括存储数据存储装置222的数据和固件代码的系统分区。每个数据存储装置222还可包括存储操作系统的数据文件和可执行文件的一个或多个操作系统分区。
图像产生装置112和客户端计算装置114可具有与参考模型产生装置110在图2中描述的那些类似的部件。模型产生装置110的那些部件的描述同样适用于图像产生装置112和客户端计算装置114的部件的描述，不同的是，在一些实施方案中，取向确定逻辑单元120和准确度确定逻辑单元122不被包括在除模型产生装置110之外的装置中。此外，应当理解，模型产生装置110、图像产生装置112和客户端计算装置114中的任一者可包括通常存在于计算装置中的其它部件、子部件和装置，所述部件、子部件和装置在上文中未参考模型产生装置110进行讨论，并且为了本说明书的清楚性，未在本文进行讨论。此外，应当理解，计算装置的一个或多个部件可分布在任何距离上，并且不一定容纳在同一物理单元中。
重新参考图1，模型产生装置110、图像产生装置112和客户端计算装置114例示性地经由网络116进行通信，该网络可体现为任何类型的数据通信网络，包括全球网络(例如，互联网)、一个或多个广域网(WAN)、局域网(LAN)、数字用户线路(DSL)网络、缆线网络(例如，同轴网络、光纤网络等)、蜂窝网络(例如，全球移动通信系统(GSM)、3G、长期演进(LTE)、全球微波接入互操作(WiMAX)等)、无线电接入网络(RAN)、或它们的任何组合。此外，虽然在图1中示出为单独的装置，但应当理解，在一些实施方案中，模型产生装置110、图像产生装置112和客户端计算装置114中的一者或多者可组合成单个单元。
现在参见图3，在操作中，模型产生装置110可执行用于确定由对象(例如，解剖对象140)的二维图像产生的三维模型的准确度的方法300。方法300以框302开始，在框302中，模型产生装置110确定是否启用准确度确定。模型产生装置110可响应于确定模型产生装置110配备有取向确定逻辑单元120和准确度确定逻辑单元122、响应于确定配置设置(例如，在存储器214中)指示启用准确度确定、响应于来自另一个装置(例如，客户端计算装置114)的启用准确度确定的请求、和/或基于其它因素来确定启用准确度确定。响应于确定启用准确度确定，方法300前进至框304，在该框中，模型产生装置110(例如，从图像产生装置112)获得解剖对象的二维图像。这样做时，在例示性实施方案中，模型产生装置110获得人体的一部分的二维图像，如框306中所指示。如框308中所指示，模型产生装置110可获得人体的一个或多个骨的二维图像。例如，并且如框310中所指示，模型产生装置110可获得髋关节或膝关节的二维图像。在例示性实施方案中，在获得二维图像时，模型产生装置110获得x射线图像(例如，通过使x射线辐射(例如，来自辐射源130)穿过患者的身体到达检测器(例如，检测器装置132)上而产生的图像)，如框312中所指示。在其它实施方案中，二维图像可由其它类型的电磁辐射(例如，可见光、红外光等)形成。在例示性实施方案中，模型产生装置110从多个不同视点(例如，角度)获得解剖对象140的二维图像，如框314中所指示。这样做时，在例示性实施方案中，模型产生装置110获得正交图像(例如，来自彼此垂直的视点的图像)，如框316中所指示。在其它实施方案中，视点可相对于彼此成其它角度。
随后，在框318中，模型产生装置110确定所获得的二维图像的比例系数(例如，指示二维图像中所表示的对象的尺寸与它们的实际尺寸不同的量的数据)。这样做时，并且如框320中所指示，模型产生装置110确定二维图像中表示的距离(例如，对象的直径、长度等)与实际距离(例如，对象的实际直径、长度等)的比率。例如，并且如框322中所指示，模型产生装置110可根据二维图像中具有预定义(例如，已知的)尺寸的参考对象的表示来确定比例系数。在例示性实施方案中，模型产生装置110可确定参考对象在其出现在所获得的二维图像中时的尺寸与该参考对象的预定义尺寸的比率，如框324中所指示。如框326中所指示，模型产生装置110可根据具有预定义直径的球来确定比例系数。在例示性实施方案中，并且如框328中所指示，模型产生装置110可根据具有25毫米预定义直径的金属球来确定比例系数(例如，通过确定二维图像中表示的球的直径与25毫米的已知直径的比率)。即，金属球可与患者一起物理地存在(例如，在患者旁边、附接到患者等)，并且通过图像产生装置112成像。随后，方法300前进至图4的框330，在该框中，模型产生装置110确定指示在所获得的二维图像中表示的解剖对象140的平移和旋转的候选值。
现在参见图4，在确定候选值时，模型产生装置110确定解剖对象在三个维度(例如，沿x轴、y轴和z轴)上的平移的候选值，如框332中所指示。类似地，并且如框332中所指示，在例示性实施方案中，模型产生装置110确定解剖对象140在三个维度(例如，沿x轴、y轴和z轴)上的旋转的候选值，如框334中所指示。候选值可以多种方式确定，这取决于实施方案。例如，并且如框336中所指示，模型产生装置110可根据(例如，基于)先前候选值和使用那些值(例如，来自方法300的先前迭代)产生的模型的对应准确度分数来确定当前候选值。如框338中所指示，模型产生装置110可基于梯度上升过程(例如，用于通过采用与当前点处函数的梯度或近似梯度的正值成比例的步骤来找到函数的最大值的一阶迭代优化过程)或梯度下降过程(例如，找到函数的最小值)来确定候选值。在一些实施方案中，模型产生装置110可基于遗传算法(例如，利用基于生物的运算符诸如突变、交叉和选择来模拟自然选择的过程以找到问题的最佳解决方案的元启发式算法)来确定候选值，如框340中所指示。
附加地或另选地，模型产生装置110可基于粒子群过程(例如，通过迭代地改进与给定质量测量有关的候选解决方案来优化问题的过程(例如，准确度分数)，其通过利用一组候选解决方案(称为“粒子”)并根据影响每个粒子的位置和速度的数学运算而在搜索空间中四处移动粒子)，如框342中所指示。在一些实施方案中，模型产生装置110可利用机器学习过程(例如，利用训练数据来识别指示输入变量和输出之间的数学关系的图案的过程)来确定当前候选值，如框344中所指示。在其它实施方案中，模型产生装置110可基于对可用参数空间中的每个值的扫描来确定候选值(例如，迭代地尝试围绕每个轴线的每个可能的旋转角度等)，如框346中所指示。随后，方法300前进至图5的框348，在该框中，模型产生装置110根据所获得的二维图像(例如，来自框304)、比例系数(例如，来自框318)和候选值(例如，来自框330)来获得(例如，产生)解剖对象140的候选三维模型。
现在参见图5，在获得模型时，并且如框350中所指示，模型产生装置110应用三角形划分(例如，在解剖对象140和从其产生二维图像的视点之间)来确定沿解剖对象的表面的点在三维空间中的位置(例如，每个点具有x、y和z坐标)。如框352中所指示，模型产生装置110可利用解剖对象的参考模型的数据组(例如，在存储器214中或在数据存储装置222中)来提供指示解剖对象的未在所获得的二维图像中表示的部分的数据(例如，骨的一部分未在所获得的二维图像中示出)。在例示性实施方案中，模型产生装置110基于比例系数对模型应用缩放(例如，设置模型的尺寸)，如框354中所指示。这样做时，在例示性实施方案中，模型产生装置110在三个空间维度上应用比例系数(例如，使用相同的比例系数来沿x轴、y轴和z轴设置模型的尺寸)，如框356中所指示。模型产生装置110还可基于候选值(例如，在框332中确定的平移的候选值)对模型应用平移(例如，改变模型的位置)，如框358中所指示。这样做时，在例示性实施方案中，模型产生装置110在三个维度上(例如，在x维度、y维度和z维度上)应用平移，如框360中所指示。类似地，并且如框362中所指示，模型产生装置110可基于候选值应用旋转。这样做时，并且如框364中所指示，模型产生装置110可在三个维度上应用旋转(例如，使对象围绕x轴、y轴和z轴旋转候选值中定义的量)。
随后，并且如框366中所指示，模型产生装置110确定指示所产生的三维模型(例如，在框348中产生的模型)的准确度的分数。这样做时，在例示性实施方案中，模型产生装置110将三维模型的二维轮廓与所获得的二维图像的边缘检测版本(例如，其中边缘以像素值(例如，具有非零像素值)指示，而不表示边缘的区域以不同像素值(例如，为零的像素值)表示的二维图像的版本)进行比较，如框368中所指示。这样做时，并且如框370中所指示，模型产生装置110基于用于产生所获得的二维图像的x射线源(例如，辐射源130)的所确定的位置(例如，从所确定的位置投影)来比较由三维模型的三维轮廓的突出部产生的二维轮廓(例如，在框348中产生的模型)。如框372中所指示，模型产生装置110可对沿二维轮廓(例如，来自框370)和所获得的二维图像的对应边缘检测版本之间共享的边缘的像素值求和，从而将分数定义为所得的总和。
现在参见图6，在产生指示候选三维模型的准确度的分数时，模型产生装置110可将所获得的二维图像和候选三维模型定位在三维空间中，如框374中所指示。这样做时，并且如框376中所指示，在例示性实施方案中，模型产生装置110基于候选值(例如，来自框330的候选值)和所确定的比例系数(例如，来自框318)相对于彼此定位所获得的二维图像和候选三维模型。另外，在框378中，在例示性实施方案中，模型产生装置110确定用于产生所获得的二维图像的x射线源(例如，辐射源130)在三个维度上的位置。在框380中，模型产生装置110追踪(例如，执行射线追踪)从每个X射线源的所确定位置到对应二维图像的射线。这样做时，模型产生装置110针对每条射线识别候选三维模型的表面上的相交的多边形(例如，三角形)，如框382中所指示。另外，并且如框384中所指示，模型产生装置110针对每条射线识别彼此相邻并且以相对取向(例如，指向相对的方向)布置的相交多边形(例如，来自在框382中识别的一组相交多边形)。此外，并且如框386中所指示，在例示性实施方案中，模型产生装置110针对每条射线确定相交、相邻、相对的多边形(例如，在框384中识别的多边形)之间的一个或多个公共边缘。随后，方法300前进到图7的框388，在该框中，模型产生装置110由一个或多个公共边缘(例如，在框386中确定的边缘)产生三维轮廓(例如，限定候选三维模型的外表面的曲线)。
现在参见图7，在产生三维轮廓时，在例示性实施方案中，模型产生装置110将三维轮廓产生为多曲线(例如，接合在一起的多条曲线)，如框390中所指示。如框392中所指示，模型产生装置110可对三维轮廓中的一个或多个三维轮廓应用平滑操作，并且如框394中所指示，模型产生装置110可从轮廓中的一个或多个轮廓移除具有满足预定义长度的长度的任何区段(例如，移除短于预定义长度的任何区段)。另外，并且如框396中所指示，模型产生装置110通过将三维轮廓(例如，从框388)从x射线源的位置(从在框378中确定的x射线源的位置)投影到一个或多个成像表面上(例如，位于所获得的二维图像定位在框374中的三维空间中的位置处的平面)来产生二维轮廓。模型产生装置110还可将一个或多个遮罩应用于所获得的二维图像，以从所获得的二维图像移除一个或多个对象(例如，来自框322的参考对象)，如框398中所指示。此外，在例示性实施方案中，如框400中所指示，模型产生装置110将边缘检测操作应用于所获得的二维图像以产生对应的边缘图像(例如，所获得的二维图像的边缘检测版本)。这样做时，并且如框402中所指示，模型产生装置110将Canny边缘检测算法应用于所获得的二维图像(例如，应用高斯滤波器以使图像平滑并且移除噪声、定位图像中的强度梯度、应用非最大抑制以消除对边缘检测的伪响应、应用双阈值以确定潜在边缘、以及跟踪具有滞后的边缘)。如框404中所指示，模型产生装置110可另外将距离滤波器应用于边缘图像。在框406中，在例示性实施方案中，模型产生装置110在存在于二维轮廓中的整个边缘上循环(例如，来自框396)。这样做时，模型产生装置110定位边缘图像中对应于来自轮廓的当前边缘的像素，并且确定那些对应像素的值，如框408中所指示。此外，并且如框410中所指示，模型产生装置110基于来自轮廓的边缘与对应边缘图像中的对应像素值的比较来产生分数。这样做时，并且如框412中所指示，模型产生装置110可对像素值求和(例如，确定运行总数)并将分数指定为总和。
膝关节(例如，解剖对象140)的候选三维模型902(例如，在框348中产生的候选模型)的空间取向900、输入二维图像910、912(例如，在框304中获得的二维图像)和轮廓920(例如，在框368中用于确定指示候选模型的准确度的分数的轮廓)的例示性示例在图9中示出。股骨1002的候选三维模型与x射线图像1010(例如，从框304获得的二维图像)的原型对准1000(例如，空间取向)的例示性示例在图10中示出。在模型产生装置110已确定指示候选三维模型的准确度的分数之后，方法300前进至图8的框414，在该框中，模型产生装置110基于是否已满足阈值准确度分数(例如，通过在框366中确定的分数)来确定后续动作过程。
现在参见图8，在确定是否已满足阈值准确度分数时，模型产生装置110可确定在框366中确定的分数是等于还是大于预定义分数，在框366中确定的分数是否为在方法300的一系列迭代中产生的一组分数中的最高分数，并且/或者基于其它因素。无论如何，响应于确定尚未满足阈值准确度分数，方法300循环回到图4的框330，在该框中，模型产生装置110确定后续候选值组(例如，不同组)，并且基于后续候选值组产生具有不同空间取向的后续三维模型。否则(例如，如果已满足阈值准确度分数)，方法300前进到框416，在该框中，模型产生装置110产生指示候选三维模型为解剖对象140的准确表示的输出数据(例如，将被显示、写到存储器和/或发送到另一个计算装置，诸如客户端计算装置114)。这样做时，并且如框418中所指示，模型产生装置110可产生包括用于产生候选三维模型的候选值的输出数据。输出数据还可包括用于产生候选三维模型的比例系数。
作为方法300的例示性示例，模型产生装置110可从图像产生装置获得患者的膝关节的一组二维X射线图像。在图像中，存在金属球。模型产生装置110被配置为检测金属球的存在，该金属球具有已知的(例如，对于模型产生装置110)25毫米的直径。在该示例中，金属球在由模型产生装置110获得的二维X射线图像中为100像素宽。因此，模型产生装置110确定每四个像素表示1毫米(例如，4比1的缩放系数)。鉴于金属球是对称的，模型产生装置110可在x、y和z维度上固定缩放系数(例如，任何方向上的4个像素表示该方向上的1毫米)。
接下来，在例示性示例中，模型产生装置110确定膝关节的骨在X射线图像中的平移和旋转的候选值。这样做时，模型产生装置110沿x轴、y轴和z轴选择二十毫米的可能平移。另外，模型产生装置110沿x轴、y轴和z轴中的每个轴选择顺时针20度的可能平移。然后，模型产生装置110使用任何已知的2D/3D转换方法(例如
Figure BDA0002701050710000131
2D3D)从X射线图像获得膝关节的骨的候选三维模型，从而使用人膝关节的骨的参考模型填充缺失的骨细节。在该过程中，模型产生装置110沿x轴、y轴和z轴中的每个轴应用二十毫米的平移(例如，假设患者在每个维度上从参考膝关节模型所基于的位置移动二十毫米)，并且沿x轴、y轴和z轴顺时针旋转二十度(例如，假设产生X射线图像的X射线检测器顺时针旋转二十度，或者患者沿相对于参考膝关节模型所基于的取向的每个轴线将膝关节的一个或多个骨顺时针旋转(例如，由于膝关节的屈曲)二十度)，并且使用每一毫米4个像素的缩放系数来按比例绘制模型。然后，模型产生装置110通过将模型的二维轮廓与X射线图像的边缘检测版本进行比较以产生准确度分数来确定所得模型的准确度，如参考图3至图7所述(例如，将模型导入工作空间中，重构X射线源的位置，从X射线源的位置进行射线追踪以产生三维轮廓，由三维轮廓的投影产生二维轮廓，将边缘检测应用于来自图像产生装置112的二维X射线图像以产生X射线图像的边缘检测版本，将二维轮廓与X射线图像的边缘检测版本进行比较)。二维轮廓和X射线图像的对应边缘检测版本之间的任何差异(例如，非重叠线)减少了准确度分数，而相似性(例如，重叠线)增加了准确度分数。出于示例的目的，准确度分数可为7。
然后，模型产生装置110重复获得候选模型的过程，这次使用不同的平移和旋转值。例如，使用x＝30、y＝30、z＝30的平移值和x＝30、y＝30、z＝30的旋转值。所得的准确度分数为8。随后，模型产生装置以x＝40、y＝40、z＝40的平移值重复该过程，并且准确度分数降至6。基于准确度分数的下降，模型产生装置110测试20至30范围内的各种值以进行平移和旋转，直到模型产生装置110确定以x＝28、y＝28、z＝28的平移值和x＝24、y＝20、z＝26的旋转值达到最高分数9。随后，模型产生装置110向用户或其它装置指示，使用x＝28、y＝28、z＝28的平移值和x＝24、y＝20、z＝26的旋转值产生的模型为膝关节中的一个或多个骨的最准确模型。
虽然在附图和前述描述中已经详细地描述了某些例示性实施方案，但此类例示和描述在特征上应被视为是例示性的而不是限制性的，应当理解，仅示出和描述了例示性的实施方案，并且本公开的实质内进行的所有改变和变型都应受到保护。
本文所述方法、设备和系统的多个特征使本公开具有多个优点。应当注意的是，本公开的方法、设备和系统的另选的实施方案可以不包括所有所述特征，但仍然可以受益于此类特征的优点中的至少一些。对于上述方法、设备和系统，本领域的普通技术人员可容易地设想出其自己的实施方式，该实施方式可结合本发明特征中的一个或多个特征，并且落在由所附权利要求限定的本公开的实质和范围内。

Claims (16)

1.一种装置，包括：
电路，所述电路用于：
获得人关节的骨的二维图像；
获得所述骨的候选三维模型；
产生所述候选三维模型的二维轮廓；
将边缘检测算法应用于所述二维图像以产生对应的边缘图像；以及
将所述二维轮廓与所述边缘图像进行比较以产生指示所述候选三维模型的准确度的分数。
2. 根据权利要求1所述的装置，其中所述电路还用于：
将所获得的所述二维图像和所述候选三维模型定位在三维空间中；以及
确定用于产生所获得的所述二维图像的x射线源在三个维度上的位置。
3.根据权利要求2所述的装置，其中所述电路还用于追踪从用于产生所获得的所述二维图像中的一个二维图像的x射线源的确定位置到所获得的对应所述二维图像的射线。
4.根据权利要求3所述的装置，其中所述电路还用于针对每条射线识别所述候选三维模型的表面上的与所述射线相交的多边形。
5.根据权利要求4所述的装置，其中针对每条射线识别的所述多边形是相邻的并且以相对取向布置。
6.根据权利要求5所述的装置，其中所述电路还用于确定针对每条射线识别的所述多边形之间的一个或多个公共边缘。
7.根据权利要求1所述的装置，其中所述电路还用于由所述候选三维模型的表面上的多边形之间的公共边缘产生一个或多个三维轮廓。
8.根据权利要求7所述的装置，其中产生一个或多个三维轮廓包括产生一个或多个多曲线。
9.根据权利要求7所述的装置，其中所述电路还用于对所述一个或多个三维轮廓应用平滑操作。
10.根据权利要求7所述的装置，其中所述电路还用于响应于确定线段具有满足预定义长度的长度而从所述一个或多个三维轮廓移除所述线段。
11.根据权利要求7所述的装置，其中产生所述候选三维模型的二维轮廓包括将所述一个或多个三维轮廓投影到成像表面上。
12.根据权利要求11所述的装置，其中将所述一个或多个三维轮廓投影到所述成像表面上包括从用于产生所获得的所述二维图像中的一个二维图像的x射线源的位置投影所述一个或多个三维轮廓。
13.根据权利要求1所述的装置，其中所述电路还将遮罩应用到所获得的所述二维图像以从所获得的所述二维图像移除对象。
14.根据权利要求1所述的装置，其中应用边缘检测算法包括应用Canny边缘检测算法。
15.根据权利要求1所述的装置，其中所述电路还将距离滤波器应用于所述边缘图像。
16. 根据权利要求1所述的装置，其中将所述二维轮廓与所述边缘图像进行比较以产生指示所述候选三维模型的准确度的分数包括：
在所述边缘图像中定位对应于所述二维轮廓中的边缘的像素值；并且
对所定位的所述像素值求和。
CN202011022380.0A 2019-09-27 2020-09-25 用于确定用于在整形外科手术中使用的三维模型的准确度的技术 Pending CN112581354A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/586884 2019-09-27
US16/586,884 US11348216B2 (en) 2019-09-27 2019-09-27 Technologies for determining the accuracy of three-dimensional models for use in an orthopaedic surgical procedure

Publications (1)

Publication Number Publication Date
CN112581354A true CN112581354A (zh) 2021-03-30

Family

ID=72659081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011022380.0A Pending CN112581354A (zh) 2019-09-27 2020-09-25 用于确定用于在整形外科手术中使用的三维模型的准确度的技术

Country Status (6)

Country Link
US (2) US11348216B2 (zh)
EP (1) EP3798980A1 (zh)
JP (1) JP2021053374A (zh)
CN (1) CN112581354A (zh)
AU (1) AU2020233710A1 (zh)
IL (1) IL277374A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113633376A (zh) * 2021-08-06 2021-11-12 吉林大学 一种全髋关节裸眼三维虚拟置换方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11348216B2 (en) 2019-09-27 2022-05-31 DePuy Synthes Products, Inc. Technologies for determining the accuracy of three-dimensional models for use in an orthopaedic surgical procedure
US11134908B2 (en) 2019-09-27 2021-10-05 DePuy Synthes Products, Inc. Technologies for determining the spatial orientation of input imagery for use in an orthopaedic surgical procedure
US11819280B2 (en) 2020-09-30 2023-11-21 DePuy Synthes Products, Inc. Customized patient-specific orthopaedic surgical instrument using patient-specific contacting bodies and parametric fixed geometry

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080143707A1 (en) 2006-11-28 2008-06-19 Calgary Scientific Inc. Texture-based multi-dimensional medical image registration
US9070207B2 (en) * 2007-09-06 2015-06-30 Yeda Research & Development Co., Ltd. Modelization of objects in images
JP5301239B2 (ja) * 2008-08-09 2013-09-25 株式会社キーエンス 画像処理におけるパターンモデルの位置決め方法、画像処理装置、画像処理プログラム及びコンピュータで読み取り可能な記録媒体
CN104271076B (zh) * 2011-12-23 2017-05-31 物化股份有限公司 使用精度映射和稳定性分析来设计和生成器件的系统和方法
US9514539B2 (en) * 2012-05-09 2016-12-06 Laboratoires Bodycad Inc. Segmentation of magnetic resonance imaging data
US11257241B2 (en) 2017-12-07 2022-02-22 Radlink, Inc. System and method for component positioning by registering a 3D patient model to an intra-operative image
JP5957357B2 (ja) * 2012-10-15 2016-07-27 株式会社日立ハイテクノロジーズ パターン検査・計測装置及びプログラム
CA2908716C (en) * 2013-04-09 2021-03-16 Laboratoires Bodycad Inc. Concurrent active contour segmentation
US10258256B2 (en) 2014-12-09 2019-04-16 TechMah Medical Bone reconstruction and orthopedic implants
US10796499B2 (en) 2017-03-14 2020-10-06 Universidade De Coimbra Systems and methods for 3D registration of curves and surfaces using local differential information
US11348216B2 (en) 2019-09-27 2022-05-31 DePuy Synthes Products, Inc. Technologies for determining the accuracy of three-dimensional models for use in an orthopaedic surgical procedure
US11134908B2 (en) 2019-09-27 2021-10-05 DePuy Synthes Products, Inc. Technologies for determining the spatial orientation of input imagery for use in an orthopaedic surgical procedure

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113633376A (zh) * 2021-08-06 2021-11-12 吉林大学 一种全髋关节裸眼三维虚拟置换方法
CN113633376B (zh) * 2021-08-06 2024-03-15 吉林大学 一种全髋关节裸眼三维虚拟置换方法

Also Published As

Publication number Publication date
EP3798980A1 (en) 2021-03-31
JP2021053374A (ja) 2021-04-08
US11348216B2 (en) 2022-05-31
US20220292663A1 (en) 2022-09-15
IL277374A (en) 2021-04-29
US20210097668A1 (en) 2021-04-01
AU2020233710A1 (en) 2021-04-15
US11816822B2 (en) 2023-11-14

Similar Documents

Publication Publication Date Title
US11348216B2 (en) Technologies for determining the accuracy of three-dimensional models for use in an orthopaedic surgical procedure
US10867436B2 (en) Systems and methods for reconstruction of 3D anatomical images from 2D anatomical images
US11883220B2 (en) Technologies for determining the spatial orientation of input imagery for use in an orthopaedic surgical procedure
LU101009B1 (en) Artificial-intelligence-based determination of relative positions of objects in medical images
US20220071708A1 (en) Patient positioning using a skeleton model
EP4365838A1 (en) Registration method and system
WO2021164614A1 (zh) 骨折复位的计算机辅助方法、装置及电子设备
US20220054862A1 (en) Medical image processing device, storage medium, medical device, and treatment system
CN113570648B (zh) 多骨骼影像配准方法、电子装置以及医学导航系统
US20240135519A1 (en) Technologies for determining the accuracy of three-dimensional models for use in an orthopaedic surgical procedure
US20230263500A1 (en) Determining a configuration of a medical x-ray imaging system for detecting a marker device
JP7354280B2 (ja) 統計的形状モデリング（ｓｓｍ）を使用した解剖学的対象の発病前特性化
US20220044440A1 (en) Artificial-intelligence-assisted surgery
US11430203B2 (en) Computer-implemented method for registering low dimensional images with a high dimensional image, a method for training an aritificial neural network useful in finding landmarks in low dimensional images, a computer program and a system for registering low dimensional images with a high dimensional image
JP3667727B2 (ja) 物体の位置測定方法及びその装置
US20240081769A1 (en) Lung volume estimation from radiographic images
US20220156942A1 (en) Closed surface fitting for segmentation of orthopedic medical image data
KR20230149097A (ko) 3차원 뼈 모델을 재건하는 장치 및 방법
Guillet Use of the Microsoft Kinect for applications of patient surface data to radiotherapy
CN114693750A (zh) 一种图像配准方法及装置
JP2015000092A (ja) 患者位置決めシステム、および患者位置決め方法。

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination