CN116509547A - 骨科机器人钉道智能规划系统及其方法 - Google Patents

骨科机器人钉道智能规划系统及其方法 Download PDF

Info

Publication number
CN116509547A
CN116509547A CN202310562553.5A CN202310562553A CN116509547A CN 116509547 A CN116509547 A CN 116509547A CN 202310562553 A CN202310562553 A CN 202310562553A CN 116509547 A CN116509547 A CN 116509547A
Authority
CN
China
Prior art keywords
feature
bone region
matrix
fractured bone
fractured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310562553.5A
Other languages
English (en)
Inventor
陈其余
郑淑智
张雪
王鉴顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Second Affiliated Hospital and Yuying Childrens Hospital of Wenzhou Medical University
Original Assignee
Second Affiliated Hospital and Yuying Childrens Hospital of Wenzhou Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Second Affiliated Hospital and Yuying Childrens Hospital of Wenzhou Medical University filed Critical Second Affiliated Hospital and Yuying Childrens Hospital of Wenzhou Medical University
Priority to CN202310562553.5A priority Critical patent/CN116509547A/zh
Publication of CN116509547A publication Critical patent/CN116509547A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/56—Surgical instruments or methods for treatment of bones or joints; Devices specially adapted therefor
    • A61B17/58—Surgical instruments or methods for treatment of bones or joints; Devices specially adapted therefor for osteosynthesis, e.g. bone plates, screws, setting implements or the like
    • A61B17/88—Osteosynthesis instruments; Methods or means for implanting or extracting internal or external fixation devices
    • A61B17/92—Impactors or extractors, e.g. for removing intramedullary devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Robotics (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

一种骨科机器人钉道智能规划系统及其方法，其获取由骨科机器人采集的骨折手骨的目标图；采用基于深度学习的人工智能技术，进行所述目前图像中关于断裂骨骼隐含特征分布信息的充分表达，以此来进行推荐钉道的断裂骨骼区域图像生成，从而优化钉道规划的准确性和效率。

Description

骨科机器人钉道智能规划系统及其方法
技术领域
本申请涉及智能化规划技术领域，并且更具体地，涉及一种骨科机器人钉道智能规划系统及其方法。
背景技术
骨折后通过钢钉进行骨折块固定是现代医学中常用的治疗手段，通过钢钉固定骨折块能够避免骨折块因为其他的肌肉组织或韧带的牵拉而出现移位现象，确保断裂骨骼能够在正确的位置，以恰当的姿态愈合。然而，若置钉通道位置确定有误，无法完全固定断裂骨骼，或者位置不准确，则会对骨折患者造成一定的影响，例如断裂骨骼在不恰当的位置处愈合，造成患者愈合后行动不便，忍受时间较长或者更剧烈疼痛，神经损伤部分区域失去知觉、血管损伤等。
然而，目前医生规划置钉通道位置，通常都是凭借临床经验，人为根据具体骨骼断裂状况指定置钉通道，这样确定的置钉通道的准确性完全依靠医生的经验，缺乏可靠的数据依据，可靠性较低，并且对于临床经验不丰富的医生来说，确定置钉通道的位置风险系数较高。
因此，期望一种优化的骨科机器人钉道智能规划系统。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种骨科机器人钉道智能规划系统及其方法，其获取由骨科机器人采集的骨折手骨的目标图；采用基于深度学习的人工智能技术，进行所述目前图像中关于断裂骨骼隐含特征分布信息的充分表达，以此来进行推荐钉道的断裂骨骼区域图像生成，从而优化钉道规划的准确性和效率。
第一方面，提供了一种骨科机器人钉道智能规划系统，其包括：图像采集模块，用于获取由骨科机器人采集的骨折手骨的目标图像；目标感兴趣检测模块，用于将所述骨折手骨的目标图像通过断裂骨骼区域目标检测网络以得到断裂骨骼区域感兴趣区域图像；断裂骨骼区域深浅特征融合模块，用于将所述断裂骨骼区域感兴趣区域图像通过包含深浅特征融合模块的卷积神经网络模型以得到断裂骨骼区域特征矩阵；特征矩阵切分模块，用于对所述断裂骨骼区域特征矩阵进行特征矩阵切分以得到多个断裂骨骼区域局部特征矩阵；全局上下文关联模块，用于将所述多个断裂骨骼区域局部特征矩阵分别展开为多个断裂骨骼区域局部特征向量后通过基于转换器的上下文编码器以得到多个上下文断裂骨骼区域局部特征向量；维度重构模块，用于将所述多个上下文断裂骨骼区域局部特征向量进行维度重构以得到多个上下文断裂骨骼区域局部特征矩阵，并将所述多个上下文断裂骨骼区域局部特征矩阵排列为全局断裂骨骼区域特征矩阵；特征优化模块，用于对所述全局断裂骨骼区域特征矩阵进行特征优化以得到优化全局断裂骨骼区域特征矩阵；以及图像生成模块，用于将所述优化全局断裂骨骼区域特征矩阵通过基于对抗生成网络的钉道生成器以得到包含推荐钉道的断裂骨骼区域图像。
在上述骨科机器人钉道智能规划系统中，所述断裂骨骼区域目标检测网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
在上述骨科机器人钉道智能规划系统中，所述断裂骨骼区域深浅特征融合模块，包括：浅层提取单元，用于从所述包含深浅特征融合模块的卷积神经网络模型的浅层提取浅层特征图；深层提取单元，用于从所述包含深浅特征融合模块的卷积神经网络模型的深层提取深层特征图；融合单元，用于使用所述卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到融合特征图；以及，池化单元，用于将所述融合特征图沿着通道维度进行全局均值池化以得到所述断裂骨骼区域特征矩阵。
在上述骨科机器人钉道智能规划系统中，所述全局上下文关联模块，包括：向量构造单元，用于将所述多个断裂骨骼区域局部特征向量进行一维排列以得到断裂骨骼区域全局特征向量；自注意单元，用于计算所述断裂骨骼区域全局特征向量与所述多个断裂骨骼区域局部特征向量中各个断裂骨骼区域局部特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；标准化单元，用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；关注度计算单元，用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；以及，注意力施加单元，用于分别以所述多个概率值中各个概率值作为权重对所述多个断裂骨骼区域局部特征向量中各个断裂骨骼区域局部特征向量进行加权以得到所述多个上下文断裂骨骼区域局部特征向量。
在上述骨科机器人钉道智能规划系统中，所述特征优化模块，包括：线性变换单元，用于将所述全局断裂骨骼区域特征矩阵通过线性变换转换为正方矩阵；融合优化单元，用于对所述正方矩阵进行向量谱聚类代理学习融合优化以得到所述优化全局断裂骨骼区域特征矩阵。
在上述骨科机器人钉道智能规划系统中，所述融合优化单元，用于：以如下优化公式对所述正方矩阵进行向量谱聚类代理学习融合优化以得到所述优化全局断裂骨骼区域特征矩阵；其中，所述优化公式为：，其中，/>是所述正方矩阵，/> 是所述正方矩阵的转置矩阵，/>是所述全局断裂骨骼区域特征矩阵，/>表示所述正方矩阵的各个行特征向量，且/>是所述正方矩阵的每两个相应行特征向量之间的距离组成的距离矩阵，/>是所述距离矩阵的转置矩阵，表示矩阵的指数运算，所述矩阵的指数运算表示以矩阵中各个位置特征值为幂的自然指数函数值，/>和/>分别表示按位置点乘和矩阵加法。
在上述骨科机器人钉道智能规划系统中，所述图像生成模块，用于：将所述优化全局断裂骨骼区域特征矩阵输入所述基于对抗生成网络的钉道生成器以由所述基于对抗生成网络的钉道生成器通过反卷积编码输出所述包含推荐钉道的断裂骨骼区域图像。
第二方面，提供了一种骨科机器人钉道智能规划方法，其包括：获取由骨科机器人采集的骨折手骨的目标图像；将所述骨折手骨的目标图像通过断裂骨骼区域目标检测网络以得到断裂骨骼区域感兴趣区域图像；将所述断裂骨骼区域感兴趣区域图像通过包含深浅特征融合模块的卷积神经网络模型以得到断裂骨骼区域特征矩阵；对所述断裂骨骼区域特征矩阵进行特征矩阵切分以得到多个断裂骨骼区域局部特征矩阵；将所述多个断裂骨骼区域局部特征矩阵分别展开为多个断裂骨骼区域局部特征向量后通过基于转换器的上下文编码器以得到多个上下文断裂骨骼区域局部特征向量；将所述多个上下文断裂骨骼区域局部特征向量进行维度重构以得到多个上下文断裂骨骼区域局部特征矩阵，并将所述多个上下文断裂骨骼区域局部特征矩阵排列为全局断裂骨骼区域特征矩阵；对所述全局断裂骨骼区域特征矩阵进行特征优化以得到优化全局断裂骨骼区域特征矩阵；以及将所述优化全局断裂骨骼区域特征矩阵通过基于对抗生成网络的钉道生成器以得到包含推荐钉道的断裂骨骼区域图像。
在上述骨科机器人钉道智能规划方法中，所述断裂骨骼区域目标检测网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
在上述骨科机器人钉道智能规划方法中，将所述断裂骨骼区域感兴趣区域图像通过包含深浅特征融合模块的卷积神经网络模型以得到断裂骨骼区域特征矩阵，包括：从所述包含深浅特征融合模块的卷积神经网络模型的浅层提取浅层特征图；从所述包含深浅特征融合模块的卷积神经网络模型的深层提取深层特征图； 使用所述卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到融合特征图；以及，将所述融合特征图沿着通道维度进行全局均值池化以得到所述断裂骨骼区域特征矩阵。
与现有技术相比，本申请提供的骨科机器人钉道智能规划系统及其方法，其获取由骨科机器人采集的骨折手骨的目标图；采用基于深度学习的人工智能技术，进行所述目前图像中关于断裂骨骼隐含特征分布信息的充分表达，以此来进行推荐钉道的断裂骨骼区域图像生成，从而优化钉道规划的准确性和效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本申请实施例的骨科机器人钉道智能规划系统的应用场景图。
图2为根据本申请实施例的骨科机器人钉道智能规划系统的框图。
图3为根据本申请实施例的骨科机器人钉道智能规划系统中所述断裂骨骼区域深浅特征融合模块的框图。
图4为根据本申请实施例的骨科机器人钉道智能规划系统中所述全局上下文关联模块的框图。
图5为根据本申请实施例的骨科机器人钉道智能规划系统中所述特征优化模块的框图。
图6为根据本申请实施例的骨科机器人钉道智能规划方法的流程图。
图7为根据本申请实施例的骨科机器人钉道智能规划方法的系统架构的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。
在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。
如上所述，目前医生规划置钉通道位置，通常都是凭借临床经验，人为根据具体骨骼断裂状况指定置钉通道，这样确定的置钉通道的准确性完全依靠医生的经验，缺乏可靠的数据依据，可靠性较低，并且对于临床经验不丰富的医生来说，确定置钉通道的位置风险系数较高。因此，期望一种优化的骨科机器人钉道智能规划系统。
相应地，考虑到在实际进行骨科钉道的位置规划过程中，为了保证置钉通道的准确性和置钉效率，关键在于对人体骨折部位，例如手骨进行目标图像分析，以提取手骨中断裂骨骼区域的隐性特征信息，以此来进行包含有推荐钉道的断裂骨骼区域图像的生成，从而优化钉道规划的效率和准确性。但是，由于所述骨折手骨的目标图像中存在有较多的信息量，且还存在有大量的背景干扰，而图像中关于所述断裂骨骼区域的断裂骨骼隐含特征分布信息为隐含的小尺度特征信息，难以进行准确且充分地捕捉，导致对于钉道规划的精准度较低。因此，在此过程中，难点在于如何进行所述目前图像中关于断裂骨骼隐含特征分布信息的充分表达，以此来进行推荐钉道的断裂骨骼区域图像生成，从而优化钉道规划的准确性和效率。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述目前图像中关于断裂骨骼隐含特征分布信息提供了新的解决思路和方案。
具体地，在本申请的技术方案中，获取由骨科机器人采集的骨折手骨的目标图像。接着，考虑到在对于所述钉道的规划时，应更加聚焦于所述断裂骨骼区域的隐含特征信息，因此，若能够在对于所述骨折手骨的目标图像进行挖掘时滤除掉其余无用的背景干扰特征信息，显然能够提高钉道规划的准确性。基于此，在本申请的技术方案中，进一步将所述骨折手骨的目标图像通过断裂骨骼区域目标检测网络以得到断裂骨骼区域感兴趣区域图像。具体地，使用所述断裂骨骼区域目标检测网络的目标锚定层以锚框B来进行滑动对所述骨折手骨的目标图像进行处理，以对于所述断裂骨骼感兴趣区域进行框定，从而得到所述断裂骨骼区域感兴趣区域图像。特别地，这里，所述骨折手骨的目标图像为基于锚窗的目标检测网络，且所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
然后，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述断裂骨骼区域感兴趣区域图像的特征挖掘，特别地，考虑到在对于所述断裂骨骼区域感兴趣区域图像的隐藏特征进行提取时，为了能够更准确地进行钉道的规划，以生成更为精准地推荐钉道断裂骨骼区域图像，应关注于所述断裂骨骼感兴趣区域的形状、轮廓和纹理等浅层特征，这些所述浅层特征对于所述钉道的规划具有重要意义。然而，卷积神经网络在编码时，随着其深度的加深，浅层特征会变得模糊甚至被噪声所淹没。因此，在本申请的技术方案中，使用包含深浅特征融合模块的卷积神经网络模型来对所述断裂骨骼区域感兴趣区域图像进行处理以得到断裂骨骼区域特征矩阵。应可以理解，相较于标准卷积神经网络模型，根据本申请的所述卷积神经网络模型能够保留所述断裂骨骼感兴趣区域的浅层特征和深层特征，以不仅使得特征信息更为丰富，且不同深度的特征能得以保留，以提高所述钉道规划的精准度。
进一步地，考虑到由于骨折手骨具有不同的形状和结构，导致断裂的骨骼复杂多样，因此它们的局部特征也会有所不同。并且，所述断裂骨骼的隐含特征分布信息在图像中为小尺度的隐含特征分布信息。因此，为了提高对于所述断裂骨骼隐含特征的感知能力，以优化钉道规划的精度，在本申请的技术方案中，进一步对所述断裂骨骼区域特征矩阵进行特征矩阵切分以得到多个断裂骨骼区域局部特征矩阵。应可以理解，通过将所述断裂骨骼区域特征矩阵切分成多个小块，可以更准确地捕捉断裂骨骼的局部特征，进而优化机器人系统对患者骨折手骨的理解和刻画。同时，这种方法还可以提高神经网络的计算效率，促进系统运行速度的提升。
接着，使用在局部隐含关联特征提取方面具有优异表现的卷积神经网络模型来进行所述各个断裂骨骼区域局部特征矩阵的深度隐含关联特征挖掘，但是由于卷积运算的固有局限性，纯CNN的方法很难学习明确的全局和远程语义信息交互。因此，在本申请的技术方案中，进一步将所述多个断裂骨骼区域局部特征矩阵分别展开为断裂骨骼区域局部特征向量后通过基于转换器的上下文编码器中进行编码，以提取出每个所述断裂骨骼局部区域中关于断裂骨骼隐含特征的基于全局的上下文语义关联特征信息，从而得到多个上下文断裂骨骼区域局部特征向量。
然后，将所述多个上下文断裂骨骼区域局部特征向量进行维度重构为多个上下文断裂骨骼区域局部特征矩阵，并将所述多个上下文断裂骨骼区域局部特征矩阵排列为全局断裂骨骼区域特征矩阵，以此来得到所述断裂骨骼区域中关于断裂骨骼全局的隐含关联特征信息。
进一步地，为了进行钉道的准确规划，以此来得到具有推荐钉道的断裂骨骼区域图像，在本申请的技术方案中，进一步再将所述全局断裂骨骼区域特征矩阵通过基于对抗生成网络的钉道生成器以得到包含推荐钉道的断裂骨骼区域图像。应可以理解，所述对抗生成网络包括生成器和鉴别器，其中，所述生成器用于生成包含推荐钉道的断裂骨骼区域图像，所述鉴别器用于计算包含推荐钉道的断裂骨骼区域图像和真实钉道规划图像之间的差异，并通过梯度下降的方向传播算法来更新所述生成器的网络参数以得到具有生成钉道规划图像功能的生成器。这样，能够生成包含推荐钉道的断裂骨骼区域图像，以优化钉道规划的准确性和效率。
特别地，在本申请的技术方案中，将所述多个上下文断裂骨骼区域局部特征向量进行维度重构得到所述多个上下文断裂骨骼区域局部特征矩阵，并将所述多个上下文断裂骨骼区域局部特征矩阵排列为所述全局断裂骨骼区域特征矩阵时，本申请的申请人考虑到在基于转换器的上下文编码器进行所述多个断裂骨骼区域局部特征矩阵的上下文图像语义特征关联编码时，会由于各个上下文断裂骨骼区域局部特征矩阵的内部图像特征语义与特征矩阵排列导致的合成噪声特征发生混淆，使得有意义的生成图像语义特征与噪声特征之间分界的模糊性影响所述全局断裂骨骼区域特征矩阵的整体生成式特征分布表达效果，从而降低所述全局断裂骨骼区域特征矩阵通过基于对抗生成网络的钉道生成器得到的包含推荐钉道的断裂骨骼区域图像的图像质量。
因此，首先将所述全局断裂骨骼区域特征矩阵通过线性变换转换为正方矩阵，即使得其行数和列数相同，再对所述正方矩阵，例如记为进行向量谱聚类代理学习融合优化，来得到优化后的全局断裂骨骼区域特征矩阵，例如表示为/>，这里，优化后的全局断裂骨骼区域特征矩阵/>具体为：/>，其中，/>表示所述正方矩阵/>的各个行特征向量，且/>是相应向量之间的距离组成的距离矩阵。
这里，对于将所述多个断裂骨骼区域局部特征矩阵的上下文图像语义特征关联编码时，由于各个上下文断裂骨骼区域局部特征矩阵的内部图像特征语义与合成噪声特征发生混淆而导致有意义的生成图像语义特征与噪声特征之间分界的模糊性，所述向量谱聚类代理学习融合优化通过引入用于表示特征矩阵间的空间布局和语义相似性的谱聚类代理学习，来利用生成式回归语义特征和生成式回归场景之间的关联的概念化信息，对各个上下文断裂骨骼区域局部特征矩阵间的潜在关联属性进行隐性监督传播，从而提高合成特征的整体分布依赖性，由此提升所述全局断裂骨骼区域特征矩阵的整体生成式特征分布表达效果，以提升其通过基于对抗生成网络的钉道生成器得到的包含推荐钉道的断裂骨骼区域图像的图像质量。这样，能够准确地进行推荐钉道的断裂骨骼区域图像生成，从而优化钉道规划的准确性和效率。
图1为根据本申请实施例的骨科机器人钉道智能规划系统的应用场景图。如图1所示，在该应用场景中，首先，获取由骨科机器人采集的骨折手骨（例如，如图1中所示意的M）的目标图（例如，如图1中所示意的C）；然后，将获取的目标图输入至部署有骨科机器人钉道智能规划算法的服务器（例如，如图1中所示意的S）中，其中所述服务器能够基于骨科机器人钉道智能规划算法对所述目标图进行处理，以将所述优化全局断裂骨骼区域特征矩阵通过基于对抗生成网络的钉道生成器以得到包含推荐钉道的断裂骨骼区域图像。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
在本申请的一个实施例中，图2为根据本申请实施例的骨科机器人钉道智能规划系统的框图。如图2所示，根据本申请实施例的骨科机器人钉道智能规划系统100，包括：图像采集模块110，用于获取由骨科机器人采集的骨折手骨的目标图像；目标感兴趣检测模块120，用于将所述骨折手骨的目标图像通过断裂骨骼区域目标检测网络以得到断裂骨骼区域感兴趣区域图像；断裂骨骼区域深浅特征融合模块130，用于将所述断裂骨骼区域感兴趣区域图像通过包含深浅特征融合模块的卷积神经网络模型以得到断裂骨骼区域特征矩阵；特征矩阵切分模块140，用于对所述断裂骨骼区域特征矩阵进行特征矩阵切分以得到多个断裂骨骼区域局部特征矩阵；全局上下文关联模块150，用于将所述多个断裂骨骼区域局部特征矩阵分别展开为多个断裂骨骼区域局部特征向量后通过基于转换器的上下文编码器以得到多个上下文断裂骨骼区域局部特征向量；维度重构模块160，用于将所述多个上下文断裂骨骼区域局部特征向量进行维度重构以得到多个上下文断裂骨骼区域局部特征矩阵，并将所述多个上下文断裂骨骼区域局部特征矩阵排列为全局断裂骨骼区域特征矩阵；特征优化模块170，用于对所述全局断裂骨骼区域特征矩阵进行特征优化以得到优化全局断裂骨骼区域特征矩阵；以及，图像生成模块180，用于将所述优化全局断裂骨骼区域特征矩阵通过基于对抗生成网络的钉道生成器以得到包含推荐钉道的断裂骨骼区域图像。
具体地，在本申请实施例中，所述图像采集模块110，用于获取由骨科机器人采集的骨折手骨的目标图像。如上所述，目前医生规划置钉通道位置，通常都是凭借临床经验，人为根据具体骨骼断裂状况指定置钉通道，这样确定的置钉通道的准确性完全依靠医生的经验，缺乏可靠的数据依据，可靠性较低，并且对于临床经验不丰富的医生来说，确定置钉通道的位置风险系数较高。因此，期望一种优化的骨科机器人钉道智能规划系统。
相应地，考虑到在实际进行骨科钉道的位置规划过程中，为了保证置钉通道的准确性和置钉效率，关键在于对人体骨折部位，例如手骨进行目标图像分析，以提取手骨中断裂骨骼区域的隐性特征信息，以此来进行包含有推荐钉道的断裂骨骼区域图像的生成，从而优化钉道规划的效率和准确性。但是，由于所述骨折手骨的目标图像中存在有较多的信息量，且还存在有大量的背景干扰，而图像中关于所述断裂骨骼区域的断裂骨骼隐含特征分布信息为隐含的小尺度特征信息，难以进行准确且充分地捕捉，导致对于钉道规划的精准度较低。因此，在此过程中，难点在于如何进行所述目前图像中关于断裂骨骼隐含特征分布信息的充分表达，以此来进行推荐钉道的断裂骨骼区域图像生成，从而优化钉道规划的准确性和效率。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述目前图像中关于断裂骨骼隐含特征分布信息提供了新的解决思路和方案。
具体地，在本申请的技术方案中，获取由骨科机器人采集的骨折手骨的目标图像。
具体地，在本申请实施例中，所述目标感兴趣检测模块120，用于将所述骨折手骨的目标图像通过断裂骨骼区域目标检测网络以得到断裂骨骼区域感兴趣区域图像。接着，考虑到在对于所述钉道的规划时，应更加聚焦于所述断裂骨骼区域的隐含特征信息，因此，若能够在对于所述骨折手骨的目标图像进行挖掘时滤除掉其余无用的背景干扰特征信息，显然能够提高钉道规划的准确性。
基于此，在本申请的技术方案中，进一步将所述骨折手骨的目标图像通过断裂骨骼区域目标检测网络以得到断裂骨骼区域感兴趣区域图像。具体地，使用所述断裂骨骼区域目标检测网络的目标锚定层以锚框B来进行滑动对所述骨折手骨的目标图像进行处理，以对于所述断裂骨骼感兴趣区域进行框定，从而得到所述断裂骨骼区域感兴趣区域图像。
特别地，这里，所述骨折手骨的目标图像为基于锚窗的目标检测网络，且所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
具体地，在本申请实施例中，所述断裂骨骼区域深浅特征融合模块130，用于将所述断裂骨骼区域感兴趣区域图像通过包含深浅特征融合模块的卷积神经网络模型以得到断裂骨骼区域特征矩阵。然后，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述断裂骨骼区域感兴趣区域图像的特征挖掘，特别地，考虑到在对于所述断裂骨骼区域感兴趣区域图像的隐藏特征进行提取时，为了能够更准确地进行钉道的规划，以生成更为精准地推荐钉道断裂骨骼区域图像，应关注于所述断裂骨骼感兴趣区域的形状、轮廓和纹理等浅层特征，这些所述浅层特征对于所述钉道的规划具有重要意义。
然而，卷积神经网络在编码时，随着其深度的加深，浅层特征会变得模糊甚至被噪声所淹没。因此，在本申请的技术方案中，使用包含深浅特征融合模块的卷积神经网络模型来对所述断裂骨骼区域感兴趣区域图像进行处理以得到断裂骨骼区域特征矩阵。应可以理解，相较于标准卷积神经网络模型，根据本申请的所述卷积神经网络模型能够保留所述断裂骨骼感兴趣区域的浅层特征和深层特征，以不仅使得特征信息更为丰富，且不同深度的特征能得以保留，以提高所述钉道规划的精准度。
图3为根据本申请实施例的骨科机器人钉道智能规划系统中所述断裂骨骼区域深浅特征融合模块的框图，如图3所示，所述断裂骨骼区域深浅特征融合模块130，包括：浅层提取单元131，用于从所述包含深浅特征融合模块的卷积神经网络模型的浅层提取浅层特征图；深层提取单元132，用于从所述包含深浅特征融合模块的卷积神经网络模型的深层提取深层特征图； 融合单元133，用于使用所述卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到融合特征图；以及，池化单元134，用于将所述融合特征图沿着通道维度进行全局均值池化以得到所述断裂骨骼区域特征矩阵。
应可以理解，相较于标准卷积神经网络模型，根据本申请的所述卷积神经网络模型能够保留浅层特征和深层特征，以不仅使得特征信息更为丰富，且不同深度的特征能得以保留，以提高对于所述断裂骨骼区域感兴趣区域图像提取的充分性和准确性。
在使用卷积神经网络模型对所述断裂骨骼区域感兴趣区域图像进行编码的过程中，首先从所述卷积神经网络模型的浅层提取出浅层特征图（例如，所述浅层指的是第一层至第六层），并从所述卷积神经网络模型的深层提取深层特征图（例如，所述卷积神经网络模型的最后一层），然后，通过融合所述浅层特征图和所述深层特征图以得到包含浅层特征和深层特征的特征表示。在具体编码过程中，所述浅层特征图的提取位置由所述卷积神经网络模型的整体网络深度所决定，例如，当网络深度是30时，从所述卷卷积神经网络模型的第3层，当网络深度是40时，从所述卷积神经网络模型的第4层，对此，并不为本申请所局限。同样地，所述深层特征图的提取位置也并不为本申请所局限，其可以是最后一层，也可以是倒数最二层，也可以是同时从最后一层和倒数第二层。
具体地，在本申请实施例中，所述特征矩阵切分模块140，用于对所述断裂骨骼区域特征矩阵进行特征矩阵切分以得到多个断裂骨骼区域局部特征矩阵。进一步地，考虑到由于骨折手骨具有不同的形状和结构，导致断裂的骨骼复杂多样，因此它们的局部特征也会有所不同。并且，所述断裂骨骼的隐含特征分布信息在图像中为小尺度的隐含特征分布信息。因此，为了提高对于所述断裂骨骼隐含特征的感知能力，以优化钉道规划的精度，在本申请的技术方案中，进一步对所述断裂骨骼区域特征矩阵进行特征矩阵切分以得到多个断裂骨骼区域局部特征矩阵。应可以理解，通过将所述断裂骨骼区域特征矩阵切分成多个小块，可以更准确地捕捉断裂骨骼的局部特征，进而优化机器人系统对患者骨折手骨的理解和刻画。同时，这种方法还可以提高神经网络的计算效率，促进系统运行速度的提升。
具体地，在本申请实施例中，所述全局上下文关联模块150，用于将所述多个断裂骨骼区域局部特征矩阵分别展开为多个断裂骨骼区域局部特征向量后通过基于转换器的上下文编码器以得到多个上下文断裂骨骼区域局部特征向量。接着，使用在局部隐含关联特征提取方面具有优异表现的卷积神经网络模型来进行所述各个断裂骨骼区域局部特征矩阵的深度隐含关联特征挖掘，但是由于卷积运算的固有局限性，纯CNN的方法很难学习明确的全局和远程语义信息交互。
因此，在本申请的技术方案中，进一步将所述多个断裂骨骼区域局部特征矩阵分别展开为断裂骨骼区域局部特征向量后通过基于转换器的上下文编码器中进行编码，以提取出每个所述断裂骨骼局部区域中关于断裂骨骼隐含特征的基于全局的上下文语义关联特征信息，从而得到多个上下文断裂骨骼区域局部特征向量。
图4为根据本申请实施例的骨科机器人钉道智能规划系统中所述全局上下文关联模块的框图，如图4所示，所述全局上下文关联模块150，包括：向量构造单元151，用于将所述多个断裂骨骼区域局部特征向量进行一维排列以得到断裂骨骼区域全局特征向量；
自注意单元152，用于计算所述断裂骨骼区域全局特征向量与所述多个断裂骨骼区域局部特征向量中各个断裂骨骼区域局部特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；标准化单元153，用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；关注度计算单元154，用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；以及，注意力施加单元155，用于分别以所述多个概率值中各个概率值作为权重对所述多个断裂骨骼区域局部特征向量中各个断裂骨骼区域局部特征向量进行加权以得到所述多个上下文断裂骨骼区域局部特征向量。
上下文编码器旨在挖掘得到词序列中上下文之间的隐藏模式，可选地，编码器包括：CNN(Convolutional Neural Network，卷积神经网络)、Recursive NN(RecursiveNeural Network，递归神经网络)、语言模型(Language Model)等。基于CNN的方法对于局部特征有比较好的提取效果，但其对于句子中的长程依赖(Long-termDependency)问题效果欠佳，因此基于Bi-LSTM(Long Short- Term Memory，长短期记忆网络)的编码器被广泛使用。Recursive NN把句子当作树状结构而非序列进行处理，从理论上而言具有更强的表示能力，但其存在样本标注难度大、深层易梯度消失、难以并行计算等弱点，因此在实际应用中使用 较少。Transformer是应用广泛的网络结构了，同时具有CNN和RNN的特性，对于全局特征有较好的提取效果，同时相较于RNN(RecurrentNeural Network，循环神经网络)在并行计算上具有一定优势。
具体地，在本申请实施例中，所述维度重构模块160，用于将所述多个上下文断裂骨骼区域局部特征向量进行维度重构以得到多个上下文断裂骨骼区域局部特征矩阵，并将所述多个上下文断裂骨骼区域局部特征矩阵排列为全局断裂骨骼区域特征矩阵。然后，将所述多个上下文断裂骨骼区域局部特征向量进行维度重构为多个上下文断裂骨骼区域局部特征矩阵，并将所述多个上下文断裂骨骼区域局部特征矩阵排列为全局断裂骨骼区域特征矩阵，以此来得到所述断裂骨骼区域中关于断裂骨骼全局的隐含关联特征信息。
具体地，在本申请实施例中，所述特征优化模块170，用于对所述全局断裂骨骼区域特征矩阵进行特征优化以得到优化全局断裂骨骼区域特征矩阵。图5为根据本申请实施例的骨科机器人钉道智能规划系统中所述特征优化模块的框图，如图5所示，所述特征优化模块170，包括：线性变换单元171，用于将所述全局断裂骨骼区域特征矩阵通过线性变换转换为正方矩阵；融合优化单元172，用于对所述正方矩阵进行向量谱聚类代理学习融合优化以得到所述优化全局断裂骨骼区域特征矩阵。
特别地，在本申请的技术方案中，将所述多个上下文断裂骨骼区域局部特征向量进行维度重构得到所述多个上下文断裂骨骼区域局部特征矩阵，并将所述多个上下文断裂骨骼区域局部特征矩阵排列为所述全局断裂骨骼区域特征矩阵时，本申请的申请人考虑到在基于转换器的上下文编码器进行所述多个断裂骨骼区域局部特征矩阵的上下文图像语义特征关联编码时，会由于各个上下文断裂骨骼区域局部特征矩阵的内部图像特征语义与特征矩阵排列导致的合成噪声特征发生混淆，使得有意义的生成图像语义特征与噪声特征之间分界的模糊性影响所述全局断裂骨骼区域特征矩阵的整体生成式特征分布表达效果，从而降低所述全局断裂骨骼区域特征矩阵通过基于对抗生成网络的钉道生成器得到的包含推荐钉道的断裂骨骼区域图像的图像质量。
因此，首先将所述全局断裂骨骼区域特征矩阵通过线性变换转换为正方矩阵，即使得其行数和列数相同，再对所述正方矩阵，例如记为进行向量谱聚类代理学习融合优化，来得到优化后的全局断裂骨骼区域特征矩阵，例如表示为/>，这里，优化后的全局断裂骨骼区域特征矩阵/>具体为：以如下优化公式对所述正方矩阵进行向量谱聚类代理学习融合优化以得到所述优化全局断裂骨骼区域特征矩阵；其中，所述优化公式为：，其中，/>是所述正方矩阵，/> 是所述正方矩阵的转置矩阵，/>是所述全局断裂骨骼区域特征矩阵，/>表示所述正方矩阵的各个行特征向量，且/>是所述正方矩阵的每两个相应行特征向量之间的距离组成的距离矩阵，/>是所述距离矩阵的转置矩阵，/>表示矩阵的指数运算，所述矩阵的指数运算表示以矩阵中各个位置特征值为幂的自然指数函数值，/>和/>分别表示按位置点乘和矩阵加法。/>
这里，对于将所述多个断裂骨骼区域局部特征矩阵的上下文图像语义特征关联编码时，由于各个上下文断裂骨骼区域局部特征矩阵的内部图像特征语义与合成噪声特征发生混淆而导致有意义的生成图像语义特征与噪声特征之间分界的模糊性，所述向量谱聚类代理学习融合优化通过引入用于表示特征矩阵间的空间布局和语义相似性的谱聚类代理学习，来利用生成式回归语义特征和生成式回归场景之间的关联的概念化信息，对各个上下文断裂骨骼区域局部特征矩阵间的潜在关联属性进行隐性监督传播，从而提高合成特征的整体分布依赖性，由此提升所述全局断裂骨骼区域特征矩阵的整体生成式特征分布表达效果，以提升其通过基于对抗生成网络的钉道生成器得到的包含推荐钉道的断裂骨骼区域图像的图像质量。这样，能够准确地进行推荐钉道的断裂骨骼区域图像生成，从而优化钉道规划的准确性和效率。
具体地，在本申请实施例中，所述图像生成模块180，用于将所述优化全局断裂骨骼区域特征矩阵通过基于对抗生成网络的钉道生成器以得到包含推荐钉道的断裂骨骼区域图像。进一步地，为了进行钉道的准确规划，以此来得到具有推荐钉道的断裂骨骼区域图像，在本申请的技术方案中，进一步再将所述全局断裂骨骼区域特征矩阵通过基于对抗生成网络的钉道生成器以得到包含推荐钉道的断裂骨骼区域图像。
应可以理解，所述对抗生成网络包括生成器和鉴别器，其中，所述生成器用于生成包含推荐钉道的断裂骨骼区域图像，所述鉴别器用于计算包含推荐钉道的断裂骨骼区域图像和真实钉道规划图像之间的差异，并通过梯度下降的方向传播算法来更新所述生成器的网络参数以得到具有生成钉道规划图像功能的生成器。这样，能够生成包含推荐钉道的断裂骨骼区域图像，以优化钉道规划的准确性和效率。
其中，所述图像生成模块，用于：将所述优化全局断裂骨骼区域特征矩阵输入所述基于对抗生成网络的钉道生成器以由所述基于对抗生成网络的钉道生成器通过反卷积编码输出所述包含推荐钉道的断裂骨骼区域图像。
综上，基于本申请实施例的骨科机器人钉道智能规划系统100被阐明，其获取由骨科机器人采集的骨折手骨的目标图；采用基于深度学习的人工智能技术，进行所述目前图像中关于断裂骨骼隐含特征分布信息的充分表达，以此来进行推荐钉道的断裂骨骼区域图像生成，从而优化钉道规划的准确性和效率。
如上所述，根据本申请实施例的骨科机器人钉道智能规划系统100可以实现在各种终端设备中，例如用于骨科机器人钉道智能规划的服务器等。在一个示例中，根据本申请实施例的骨科机器人钉道智能规划系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该骨科机器人钉道智能规划系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该骨科机器人钉道智能规划系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该骨科机器人钉道智能规划系统100与该终端设备也可以是分立的设备，并且该骨科机器人钉道智能规划系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
在本申请的一个实施例中，图6为根据本申请实施例的骨科机器人钉道智能规划方法的流程图。如图6所示，根据本申请实施例的骨科机器人钉道智能规划方法，其包括：210，获取由骨科机器人采集的骨折手骨的目标图像；220，将所述骨折手骨的目标图像通过断裂骨骼区域目标检测网络以得到断裂骨骼区域感兴趣区域图像；230，将所述断裂骨骼区域感兴趣区域图像通过包含深浅特征融合模块的卷积神经网络模型以得到断裂骨骼区域特征矩阵；240，对所述断裂骨骼区域特征矩阵进行特征矩阵切分以得到多个断裂骨骼区域局部特征矩阵；250，将所述多个断裂骨骼区域局部特征矩阵分别展开为多个断裂骨骼区域局部特征向量后通过基于转换器的上下文编码器以得到多个上下文断裂骨骼区域局部特征向量；260，将所述多个上下文断裂骨骼区域局部特征向量进行维度重构以得到多个上下文断裂骨骼区域局部特征矩阵，并将所述多个上下文断裂骨骼区域局部特征矩阵排列为全局断裂骨骼区域特征矩阵；270，对所述全局断裂骨骼区域特征矩阵进行特征优化以得到优化全局断裂骨骼区域特征矩阵；以及，280，将所述优化全局断裂骨骼区域特征矩阵通过基于对抗生成网络的钉道生成器以得到包含推荐钉道的断裂骨骼区域图。
图7为根据本申请实施例的骨科机器人钉道智能规划方法的系统架构的示意图。如图7所示，在所述骨科机器人钉道智能规划方法的系统架构中，首先，获取由骨科机器人采集的骨折手骨的目标图像；然后，将所述骨折手骨的目标图像通过断裂骨骼区域目标检测网络以得到断裂骨骼区域感兴趣区域图像；接着，将所述断裂骨骼区域感兴趣区域图像通过包含深浅特征融合模块的卷积神经网络模型以得到断裂骨骼区域特征矩阵；然后，对所述断裂骨骼区域特征矩阵进行特征矩阵切分以得到多个断裂骨骼区域局部特征矩阵；接着，将所述多个断裂骨骼区域局部特征矩阵分别展开为多个断裂骨骼区域局部特征向量后通过基于转换器的上下文编码器以得到多个上下文断裂骨骼区域局部特征向量；然后，将所述多个上下文断裂骨骼区域局部特征向量进行维度重构以得到多个上下文断裂骨骼区域局部特征矩阵，并将所述多个上下文断裂骨骼区域局部特征矩阵排列为全局断裂骨骼区域特征矩阵；接着，对所述全局断裂骨骼区域特征矩阵进行特征优化以得到优化全局断裂骨骼区域特征矩阵；以及，最后，将所述优化全局断裂骨骼区域特征矩阵通过基于对抗生成网络的钉道生成器以得到包含推荐钉道的断裂骨骼区域图。
在一个具体示例中，在上述骨科机器人钉道智能规划方中，所述断裂骨骼区域目标检测网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
在一个具体示例中，在上述骨科机器人钉道智能规划方中，将所述断裂骨骼区域感兴趣区域图像通过包含深浅特征融合模块的卷积神经网络模型以得到断裂骨骼区域特征矩阵，包括：从所述包含深浅特征融合模块的卷积神经网络模型的浅层提取浅层特征图；从所述包含深浅特征融合模块的卷积神经网络模型的深层提取深层特征图； 使用所述卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到融合特征图；以及，将所述融合特征图沿着通道维度进行全局均值池化以得到所述断裂骨骼区域特征矩阵。
在一个具体示例中，在上述骨科机器人钉道智能规划方中，将所述多个断裂骨骼区域局部特征矩阵分别展开为多个断裂骨骼区域局部特征向量后通过基于转换器的上下文编码器以得到多个上下文断裂骨骼区域局部特征向量，包括：将所述多个断裂骨骼区域局部特征向量进行一维排列以得到断裂骨骼区域全局特征向量；计算所述断裂骨骼区域全局特征向量与所述多个断裂骨骼区域局部特征向量中各个断裂骨骼区域局部特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；以及，分别以所述多个概率值中各个概率值作为权重对所述多个断裂骨骼区域局部特征向量中各个断裂骨骼区域局部特征向量进行加权以得到所述多个上下文断裂骨骼区域局部特征向量。
在一个具体示例中，在上述骨科机器人钉道智能规划方中，对所述全局断裂骨骼区域特征矩阵进行特征优化以得到优化全局断裂骨骼区域特征矩阵，包括：将所述全局断裂骨骼区域特征矩阵通过线性变换转换为正方矩阵；对所述正方矩阵进行向量谱聚类代理学习融合优化以得到所述优化全局断裂骨骼区域特征矩阵。
在一个具体示例中，在上述骨科机器人钉道智能规划方中，对所述正方矩阵进行向量谱聚类代理学习融合优化以得到所述优化全局断裂骨骼区域特征矩阵，包括：以如下优化公式对所述正方矩阵进行向量谱聚类代理学习融合优化以得到所述优化全局断裂骨骼区域特征矩阵；其中，所述优化公式为：，其中，/>是所述正方矩阵，/> 是所述正方矩阵的转置矩阵，/>是所述全局断裂骨骼区域特征矩阵，/>表示所述正方矩阵的各个行特征向量，且/>是所述正方矩阵的每两个相应行特征向量之间的距离组成的距离矩阵，/>是所述距离矩阵的转置矩阵，表示矩阵的指数运算，所述矩阵的指数运算表示以矩阵中各个位置特征值为幂的自然指数函数值，/>和/>分别表示按位置点乘和矩阵加法。
在一个具体示例中，在上述骨科机器人钉道智能规划方中，将所述优化全局断裂骨骼区域特征矩阵通过基于对抗生成网络的钉道生成器以得到包含推荐钉道的断裂骨骼区域图像，包括：将所述优化全局断裂骨骼区域特征矩阵输入所述基于对抗生成网络的钉道生成器以由所述基于对抗生成网络的钉道生成器通过反卷积编码输出所述包含推荐钉道的断裂骨骼区域图像。
本领域技术人员可以理解，上述骨科机器人钉道智能规划方法中的各个步骤的具体操作已经在上面参考图1到图5的骨科机器人钉道智能规划系统的描述中得到了详细介绍，并因此，将省略其重复描述。
本申请还提供了一种计算机程序产品，所述计算机程序产品包括指令，当所述指令被执行时，以使得装置执行对应于上述方法中的操作。
在本申请的一个实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述方法的计算机程序。
应可以理解，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等) 上实施的计算机程序产品的形式。
本申请实施例的方法、系统、和计算机程序产品的流程图和/或框图来描述的。应理解可由计算机程序指令实现流程图和/或框图中的每一流程和/或方框、以及流程图和/或框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的步骤。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种骨科机器人钉道智能规划系统，其特征在于，包括：图像采集模块，用于获取由骨科机器人采集的骨折手骨的目标图像；目标感兴趣检测模块，用于将所述骨折手骨的目标图像通过断裂骨骼区域目标检测网络以得到断裂骨骼区域感兴趣区域图像；断裂骨骼区域深浅特征融合模块，用于将所述断裂骨骼区域感兴趣区域图像通过包含深浅特征融合模块的卷积神经网络模型以得到断裂骨骼区域特征矩阵；特征矩阵切分模块，用于对所述断裂骨骼区域特征矩阵进行特征矩阵切分以得到多个断裂骨骼区域局部特征矩阵；全局上下文关联模块，用于将所述多个断裂骨骼区域局部特征矩阵分别展开为多个断裂骨骼区域局部特征向量后通过基于转换器的上下文编码器以得到多个上下文断裂骨骼区域局部特征向量；维度重构模块，用于将所述多个上下文断裂骨骼区域局部特征向量进行维度重构以得到多个上下文断裂骨骼区域局部特征矩阵，并将所述多个上下文断裂骨骼区域局部特征矩阵排列为全局断裂骨骼区域特征矩阵；特征优化模块，用于对所述全局断裂骨骼区域特征矩阵进行特征优化以得到优化全局断裂骨骼区域特征矩阵；以及图像生成模块，用于将所述优化全局断裂骨骼区域特征矩阵通过基于对抗生成网络的钉道生成器以得到包含推荐钉道的断裂骨骼区域图像。
2.根据权利要求1所述的骨科机器人钉道智能规划系统，其特征在于，所述断裂骨骼区域目标检测网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
3.根据权利要求2所述的骨科机器人钉道智能规划系统，其特征在于，所述断裂骨骼区域深浅特征融合模块，包括：浅层提取单元，用于从所述包含深浅特征融合模块的卷积神经网络模型的浅层提取浅层特征图；深层提取单元，用于从所述包含深浅特征融合模块的卷积神经网络模型的深层提取深层特征图；融合单元，用于使用所述卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到融合特征图；以及池化单元，用于将所述融合特征图沿着通道维度进行全局均值池化以得到所述断裂骨骼区域特征矩阵。
4.根据权利要求3所述的骨科机器人钉道智能规划系统，其特征在于，所述全局上下文关联模块，包括：向量构造单元，用于将所述多个断裂骨骼区域局部特征向量进行一维排列以得到断裂骨骼区域全局特征向量；自注意单元，用于计算所述断裂骨骼区域全局特征向量与所述多个断裂骨骼区域局部特征向量中各个断裂骨骼区域局部特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；标准化单元，用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；关注度计算单元，用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；以及注意力施加单元，用于分别以所述多个概率值中各个概率值作为权重对所述多个断裂骨骼区域局部特征向量中各个断裂骨骼区域局部特征向量进行加权以得到所述多个上下文断裂骨骼区域局部特征向量。
5.根据权利要求4所述的骨科机器人钉道智能规划系统，其特征在于，所述特征优化模块，包括：线性变换单元，用于将所述全局断裂骨骼区域特征矩阵通过线性变换转换为正方矩阵；融合优化单元，用于对所述正方矩阵进行向量谱聚类代理学习融合优化以得到所述优化全局断裂骨骼区域特征矩阵。
6.根据权利要求5所述的骨科机器人钉道智能规划系统，其特征在于，所述融合优化单元，用于：以如下优化公式对所述正方矩阵进行向量谱聚类代理学习融合优化以得到所述优化全局断裂骨骼区域特征矩阵；其中，所述优化公式为：
，其中，/>是所述正方矩阵，/>是所述正方矩阵的转置矩阵，/>是所述全局断裂骨骼区域特征矩阵，/>表示所述正方矩阵的各个行特征向量，且/>是所述正方矩阵的每两个相应行特征向量之间的距离组成的距离矩阵，/>是所述距离矩阵的转置矩阵，/>表示矩阵的指数运算，所述矩阵的指数运算表示以矩阵中各个位置特征值为幂的自然指数函数值，/>和/>分别表示按位置点乘和矩阵加法。
7.根据权利要求6所述的骨科机器人钉道智能规划系统，其特征在于，所述图像生成模块，用于：将所述优化全局断裂骨骼区域特征矩阵输入所述基于对抗生成网络的钉道生成器以由所述基于对抗生成网络的钉道生成器通过反卷积编码输出所述包含推荐钉道的断裂骨骼区域图像。
8.一种骨科机器人钉道智能规划方法，其特征在于，包括：获取由骨科机器人采集的骨折手骨的目标图像；将所述骨折手骨的目标图像通过断裂骨骼区域目标检测网络以得到断裂骨骼区域感兴趣区域图像；将所述断裂骨骼区域感兴趣区域图像通过包含深浅特征融合模块的卷积神经网络模型以得到断裂骨骼区域特征矩阵；对所述断裂骨骼区域特征矩阵进行特征矩阵切分以得到多个断裂骨骼区域局部特征矩阵；将所述多个断裂骨骼区域局部特征矩阵分别展开为多个断裂骨骼区域局部特征向量后通过基于转换器的上下文编码器以得到多个上下文断裂骨骼区域局部特征向量；将所述多个上下文断裂骨骼区域局部特征向量进行维度重构以得到多个上下文断裂骨骼区域局部特征矩阵，并将所述多个上下文断裂骨骼区域局部特征矩阵排列为全局断裂骨骼区域特征矩阵；对所述全局断裂骨骼区域特征矩阵进行特征优化以得到优化全局断裂骨骼区域特征矩阵；以及将所述优化全局断裂骨骼区域特征矩阵通过基于对抗生成网络的钉道生成器以得到包含推荐钉道的断裂骨骼区域图像。
9.根据权利要求8所述的骨科机器人钉道智能规划方法，其特征在于，所述断裂骨骼区域目标检测网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。
10.根据权利要求9所述的骨科机器人钉道智能规划方法，其特征在于，将所述断裂骨骼区域感兴趣区域图像通过包含深浅特征融合模块的卷积神经网络模型以得到断裂骨骼区域特征矩阵，包括：从所述包含深浅特征融合模块的卷积神经网络模型的浅层提取浅层特征图；从所述包含深浅特征融合模块的卷积神经网络模型的深层提取深层特征图； 使用所述卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到融合特征图；以及将所述融合特征图沿着通道维度进行全局均值池化以得到所述断裂骨骼区域特征矩阵。
CN202310562553.5A 2023-05-18 2023-05-18 骨科机器人钉道智能规划系统及其方法 Pending CN116509547A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310562553.5A CN116509547A (zh) 2023-05-18 2023-05-18 骨科机器人钉道智能规划系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310562553.5A CN116509547A (zh) 2023-05-18 2023-05-18 骨科机器人钉道智能规划系统及其方法

Publications (1)

Publication Number Publication Date
CN116509547A true CN116509547A (zh) 2023-08-01

Family

ID=87390221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310562553.5A Pending CN116509547A (zh) 2023-05-18 2023-05-18 骨科机器人钉道智能规划系统及其方法

Country Status (1)

Country Link
CN (1) CN116509547A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252926A (zh) * 2023-11-20 2023-12-19 南昌工控机器人有限公司 基于视觉定位的手机壳辅料智能装配控制系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252926A (zh) * 2023-11-20 2023-12-19 南昌工控机器人有限公司 基于视觉定位的手机壳辅料智能装配控制系统
CN117252926B (zh) * 2023-11-20 2024-02-02 南昌工控机器人有限公司 基于视觉定位的手机壳辅料智能装配控制系统

Similar Documents

Publication Publication Date Title
CN110689038B (zh) 神经网络模型的训练方法、装置和医学图像处理系统
CN106296699A (zh) 基于深度神经网络和多模态mri图像的脑肿瘤分割方法
CN109508907A (zh) 基于深度学习与远程视频的奶牛体况智能评分系统
Huang et al. Invariant representation learning for infant pose estimation with small data
CN109213876A (zh) 基于生成对抗网络的跨模态检索方法
CN110111885B (zh) 属性预测方法、装置、计算机设备及计算机可读存储介质
CN116504382B (zh) 远程医疗监护系统及其方法
CN102496156A (zh) 基于协同量子粒子群算法的医学图像分割方法
CN109508787A (zh) 用于超声位移估计的神经网络模型训练方法及系统
CN111597946A (zh) 图像生成器的处理方法、图像生成方法及装置
CN113240661B (zh) 基于深度学习的腰椎骨分析方法、装置、设备及存储介质
CN111192660B (zh) 一种影像报告分析方法、设备及计算机存储介质
CN116509547A (zh) 骨科机器人钉道智能规划系统及其方法
Zheng et al. Meta-learning meets the Internet of Things: Graph prototypical models for sensor-based human activity recognition
CN110897634A (zh) 一种基于生成对抗网络的心电信号生成方法
CN111402216A (zh) 基于深度学习的三维碎骨分割方法和装置
CN115081486A (zh) 一种癫痫发作前期颅内脑电网络定位癫痫灶系统及方法
CN112150569A (zh) 将cbct图像生成为ct图像的方法、装置及终端设备
Erol et al. Synthesis of micro-doppler signatures for abnormal gait using multi-branch discriminator with embedded kinematics
CN110533184A (zh) 一种网络模型的训练方法及装置
Chatterjee et al. A survey on techniques used in medical imaging processing
CN115281662B (zh) 一种慢性踝关节不稳智能辅助诊断系统
CN113283465B (zh) 一种弥散张量成像数据分析方法及装置
Waheed et al. An Automated Human Action Recognition and Classification Framework Using Deep Learning
Mishra Application Specific Instrumentation (ASIN): A Bio-inspired Paradigm to Instrumentation using recognition before detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication