CN111768399A - 图像处理方法及装置、电子设备和存储介质 - Google Patents

图像处理方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111768399A
CN111768399A CN202010646714.5A CN202010646714A CN111768399A CN 111768399 A CN111768399 A CN 111768399A CN 202010646714 A CN202010646714 A CN 202010646714A CN 111768399 A CN111768399 A CN 111768399A
Authority
CN
China
Prior art keywords
target
key point
heat map
image
confidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010646714.5A
Other languages
English (en)
Inventor
顾宇俊
袁璟
赵亮
黄宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202010646714.5A priority Critical patent/CN111768399A/zh
Publication of CN111768399A publication Critical patent/CN111768399A/zh
Priority to PCT/CN2020/138438 priority patent/WO2022007342A1/zh
Priority to JP2021576877A priority patent/JP2022542780A/ja
Priority to KR1020217042439A priority patent/KR20220013404A/ko
Priority to TW110116123A priority patent/TW202203153A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开涉及一种图像处理方法及装置、电子设备和存储介质。所述方法包括：获取目标图像的目标关键点；对所述目标图像中的目标对象进行分割，得到所述目标对象的分割结果；获取所述目标对象的处理类型；根据所述目标关键点、所述分割结果以及所述处理类型，确定所述目标对象的至少一个处理参数。通过上述过程，可以提升图像处理的精度和准确性。

Description

图像处理方法及装置、电子设备和存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法及装置、电子设备和存储介质。
背景技术
随着患有膝关节疾病的人越来越多，将膝关节受力力线转移到中央甚至稍偏外侧的部分，从而减少内侧间室的压力，避免或延缓关节置换的胫骨高位截骨术越发重要。胫骨高位截骨中的一个重要环节在于确定胫骨截骨的位置，胫骨截骨位置的准确性将大大影响胫骨高位截骨的效果。因此，如何准确地确定胫骨高位截骨的位置，成为目前一个亟待解决的问题。
发明内容
本公开提出了一种图像处理技术方案。
根据本公开的一方面，提供了一种图像处理方法，包括：
获取目标图像的目标关键点；对所述目标图像中的目标对象进行分割，得到所述目标对象的分割结果；获取所述目标对象的处理类型；根据所述目标关键点、所述分割结果以及所述处理类型，确定所述目标对象的至少一个处理参数。
在一种可能的实现方式中，所述获取目标图像的目标关键点，包括：对所述目标图像进行关键点检测，得到至少两个包含置信度的目标关键点。
在一种可能的实现方式中，所述获取目标图像的目标关键点，包括：对所述目标图像进行关键点检测，得到至少两个目标关键点分别对应的热度图；获取至少两个所述热度图对应的所述目标关键点的坐标以及置信度。
在一种可能的实现方式中，所述获取目标图像的目标关键点，包括：对所述目标图像进行关键点检测，得到至少两个目标关键点分别对应的第一热度图和第二热度图，其中，所述第一热度图对应的所述目标关键点的响应范围大于所述第二热度图对应的所述目标关键点的响应范围；从所述第一热度图中确定第一关键点，根据所述第一热度图，得到所述第一关键点的第一置信度；根据所述第一置信度，从所述第二热度图中确定第二关键点，结合所述第二热度图，得到所述第二关键点的第二置信度；根据所述第二置信度，将所述第一关键点或所述第二关键点确定为所述目标图像中的目标关键点，并得到与所述目标关键点对应的置信度。
在一种可能的实现方式中，所述根据所述第一置信度，从所述第二热度图中确定第二关键点，结合所述第二热度图，得到所述第二关键点的第二置信度，包括：在所述第一置信度大于第一置信度阈值的情况下，根据所述第一关键点在所述第一热度图中的位置确定响应区域，从所述第二热度图的所述响应区域内中确定第二关键点，根据所述第二热度图的所述响应区域，得到所述第二关键点的第二置信度；在所述第一置信度不大于所述第一置信度阈值的情况下，从所述第二热度图中确定第二关键点，根据所述第二热度图，得到所述第二关键点的第二置信度。
在一种可能的实现方式中，所述根据所述第二置信度，将所述第一关键点或所述第二关键点确定为所述目标图像中的目标关键点，并得到与所述目标关键点对应的置信度，包括：在所述第二置信度大于第二置信度阈值的情况下，将所述第二关键点确定为所述目标图像中的目标关键点，将所述第二置信度作为与所述目标关键点对应的置信度；在所述第二置信度不大于所述第二置信度阈值的情况下，将所述第一关键点确定为所述目标图像中的目标关键点，将所述第一置信度作为与所述目标关键点对应的置信度。
在一种可能的实现方式中，所述对所述目标图像进行关键点检测，包括：将所述目标图像输入至第一神经网络进行关键点检测。
在一种可能的实现方式中，所述第一神经网络通过包含目标关键点位置标注的训练图像进行训练，所述训练包括：根据所述目标关键点位置标注，生成与所述目标关键点位置对应的目标热度图；将所述训练图像输入至第一神经网络，得到所述第一神经网络输出的热度图；根据所述输出的热度图与所述目标热度图，确定所述第一神经网络的损失；根据所述损失，调整所述第一神经网络的至少一个参数。
在一种可能的实现方式中，所述获取所述目标对象的处理类型，包括：根据所述目标关键点，确定所述目标对象的处理类型。
在一种可能的实现方式中，所述目标关键点为多个，所述至少一个处理参数包括第一处理参数和第二处理参数，所述根据所述目标关键点、所述分割结果以及所述处理类型，确定所述目标对象的至少一个处理参数，包括：根据所述处理类型，确定所述目标对象待获取的第一处理参数以及第二处理参数；根据至少两个所述目标关键点以及所述分割结果，获取所述第一处理参数；根据至少三个所述目标关键点，结合所述第一处理参数，获取所述第二处理参数。
在一种可能的实现方式中，所述目标图像包括经过预处理的图像，所述预处理包括图像标准化和/或图像增强。
在一种可能的实现方式中，所述目标对象包括胫骨对象；所述处理类型包括：内侧闭合式、外侧闭合式、内侧开放式或外侧开放式；所述至少一个处理参数包括进刀点、合页点、目标力线、处理角度以及处理距离中的一个或多个。
根据本公开的一方面，提供了一种图像处理装置，包括：
目标关键点获取模块，用于获取目标图像的目标关键点；分割模块，用于对所述目标图像中的目标对象进行分割，得到所述目标对象的分割结果；处理类型获取模块，用于获取所述目标对象的处理类型；处理参数确定模块，用于根据所述目标关键点、所述分割结果以及所述处理类型，确定所述目标对象的至少一个处理参数。
在一种可能的实现方式中，所述目标关键点获取模块用于：对所述目标图像进行关键点检测，得到至少两个包含置信度的目标关键点。
在一种可能的实现方式中，所述目标关键点获取模块用于：对所述目标图像进行关键点检测，得到至少两个目标关键点分别对应的热度图；获取至少两个所述热度图对应的所述目标关键点的坐标以及置信度。
在一种可能的实现方式中，所述目标关键点获取模块用于：对所述目标图像进行关键点检测，得到至少两个目标关键点分别对应的第一热度图和第二热度图，其中，所述第一热度图对应的所述目标关键点的响应范围大于所述第二热度图对应的所述目标关键点的响应范围；从所述第一热度图中确定第一关键点，根据所述第一热度图，得到所述第一关键点的第一置信度；根据所述第一置信度，从所述第二热度图中确定第二关键点，结合所述第二热度图，得到所述第二关键点的第二置信度；根据所述第二置信度，将所述第一关键点或所述第二关键点确定为所述目标图像中的目标关键点，并得到与所述目标关键点对应的置信度。
在一种可能的实现方式中，所述目标关键点获取模块进一步用于：在所述第一置信度大于第一置信度阈值的情况下，根据所述第一关键点在所述第一热度图中的位置确定响应区域，从所述第二热度图的所述响应区域内中确定第二关键点，根据所述第二热度图的所述响应区域，得到所述第二关键点的第二置信度；在所述第一置信度不大于所述第一置信度阈值的情况下，从所述第二热度图中确定第二关键点，根据所述第二热度图，得到所述第二关键点的第二置信度。
在一种可能的实现方式中，所述目标关键点获取模块进一步用于：在所述第二置信度大于第二置信度阈值的情况下，将所述第二关键点确定为所述目标图像中的目标关键点，将所述第二置信度作为与所述目标关键点对应的置信度；在所述第二置信度不大于所述第二置信度阈值的情况下，将所述第一关键点确定为所述目标图像中的目标关键点，将所述第一置信度作为与所述目标关键点对应的置信度。
在一种可能的实现方式中，所述目标关键点获取模块用于：将所述目标图像输入至第一神经网络进行关键点检测。
在一种可能的实现方式中，所述第一神经网络通过包含目标关键点位置标注的训练图像进行训练，所述训练包括：根据所述目标关键点位置标注，生成与所述目标关键点位置对应的目标热度图；将所述训练图像输入至第一神经网络，得到所述第一神经网络输出的热度图；根据所述输出的热度图与所述目标热度图，确定所述第一神经网络的损失；根据所述损失，调整所述第一神经网络的至少一个参数。
在一种可能的实现方式中，所述处理类型获取模块用于：根据所述目标关键点，确定所述目标对象的处理类型。
在一种可能的实现方式中，所述目标关键点为多个，所述至少一个处理参数包括第一处理参数和第二处理参数，所述处理参数确定模块用于：根据所述处理类型，确定所述目标对象待获取的第一处理参数以及第二处理参数；根据至少两个所述目标关键点以及所述分割结果，获取所述第一处理参数；根据至少三个所述目标关键点，结合所述第一处理参数，获取所述第二处理参数。
在一种可能的实现方式中，所述目标图像包括经过预处理的图像，所述预处理包括图像标准化和/或图像增强。
在一种可能的实现方式中，所述目标对象包括胫骨对象；所述处理类型包括：内侧闭合式、外侧闭合式、内侧开放式或外侧开放式；所述至少一个处理参数包括进刀点、合页点、目标力线、处理角度以及处理距离中的一个或多个。
根据本公开的一方面，提供了一种电子设备，包括：
处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述图像处理方法。
根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述图像处理方法。
在本公开实施例中，通过获取目标图像的目标关键点和目标对象的处理类型，并对目标图像中的目标对象进行分割，得到目标对象的分割结果，从而根据目标关键点、分割结果以及处理类型来确定目标对象的至少一个处理参数。通过上述过程，可以利用分割结果所表明的目标对象在目标图像中的位置，与获取的目标关键点进行结合，来得到在当前的处理类型下，针对目标对象更为准确的处理参数，大大提升了图像处理的精度和准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1示出根据本公开一实施例的图像处理方法的流程图。
图2示出根据本公开一实施例的胫骨高位截骨的原理示意图。
图3示出根据本公开一实施例的处理类型示意图。
图4示出根据本公开一实施例的胫骨高位截骨的X光片示意图。
图5示出根据本公开一实施例的胫骨高位截骨的X光片示意图。
图6示出根据本公开一实施例的胫骨高位截骨的X光片示意图。
图7示出根据本公开一实施例的第一热度图的示意图。
图8示出根据本公开一实施例的第二热度图的示意图。
图9示出根据本公开一实施例的获取处理参数的示意图。
图10示出根据本公开一实施例的藤泽点示意图。
图11示出根据本公开一实施例的第二处理参数示意图。
图12示出根据本公开一应用示例的示意图。
图13示出根据本公开一应用示例的示意图。
图14示出根据本公开一实施例的图像处理装置的框图。
图15示出根据本公开实施例的一种电子设备的框图。
图16示出根据本公开实施例的一种电子设备的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
图1示出根据本公开一实施例的图像处理方法的流程图，该方法可以应用于图像处理装置，图像处理装置可以为终端设备、服务器或者其他处理设备等。其中，终端设备可以为用户设备(UserEquipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal DigitalAssistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。
在一些可能的实现方式中，该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
如图1所示，所述图像处理方法可以包括：
步骤S11，获取目标图像的目标关键点。
步骤S12，对目标图像中的目标对象进行分割，得到目标对象的分割结果。
步骤S13，获取目标对象的处理类型。
步骤S14，根据目标关键点、分割结果以及处理类型，确定目标对象的至少一个处理参数。
其中，目标图像可以是包含有目标对象的任意形式的图像，其实现方式可以根据目标对象的实际情况灵活决定。
目标对象可以是具有处理需求的任意对象，其实现形式可以根据本公开实施例提出的图像处理方法的实际应用场景所灵活决定。在一种可能的实现方式中，本公开实施例提出的方法可以应用于手术规划过程中，则目标对象可以是手术对象，比如人体的某些部位、器官或是组织等，目标图像则可以是包含手术对象的医学图像，比如X光片、计算机体层摄影(CT，Computed Tomography)图像或是磁共振成像(MRI，Magnetic ResonanceImaging)等。具体地，在一个示例中，本公开实施例提出的图像处理方法可以应用于胫骨高位截骨的手术规划过程中，则目标对象可以是需要执行高位截骨的部位，即胫骨对象(可以是左胫骨也可以是右胫骨，根据胫骨截骨的实际需求确定)等，目标图像则可以是包含有这些对象的医学图像，比如全身X光片、下肢X光片或是胫骨部位的X光片等。图2示出根据本公开一实施例的胫骨高位截骨的原理示意图，从图中可以看出，胫骨高位截骨可以在内侧的软骨出现严重磨损之前，将膝关节受力力线转移到中央甚至稍偏外侧的部分，从而减少内侧间室的压力，避免或延缓膝关节的置换。即胫骨高位截骨可能需要依据人体整个下肢处于站立位的受力状态来确定处理参数。因此，在本公开中，后续各公开实施例均以目标对象为胫骨对象，目标图像为下肢X光片为例对图像处理过程进行阐述，目标对象为其他对象或是目标图像为其他形式图像的情形可以参考后续各公开实施例进行灵活扩展，不再一一列举。
目标图像的目标关键点的数量和实现形式同样可以根据目标对象的实现形式以及图像处理方法的应用场景灵活决定。需要注意的是，由于图像处理方法的应用场景不同，因此目标图像中的目标关键点，可以包含在目标对象内，也可以位于目标对象以外，根据实际情况决定即可，在此不做限制。在一种可能的实现方式中，在目标对象为胫骨对象且图像处理方法应用于辅助进行胫骨截骨的情况下，由于上述公开实施例已提到，胫骨截骨可能需要考虑到人体下肢整体的受力状态来确定处理参数，因此获取的目标关键点可以既包含属于目标对象的目标关键点，也包含位于目标对象以外的目标关键点。在一种可能的实现方式中，目标关键点可以包含有股骨头中心点、踝关节中心点(可以定义为踝关节间隙内侧端点与踝关节间隙外侧端点的中点)、膝关节中心点(可以定义为胫骨平台内侧端点与胫骨平台外侧端点的中点)、胫骨平台内侧端点以及胫骨平台外侧端点，在一种可能的实现方式中，目标关键点可以在包含有上述各目标关键点的基础上，额外包含有股骨大转子尖点、股骨内侧髁点、股骨外侧髁点、踝关节间隙内侧端点以及踝关节间隙外侧端点中的一个或多个等。具体如何获取目标图像的目标关键点，其实现形式可以根据实际情况灵活决定，在此先不做展开，详见后续各公开实施例。
目标对象的分割结果在本公开实施例中不做限制，可以根据分割的实际实现形式灵活决定，在此先不做展开，详见下述各公开实施例。需要注意的是，在本公开实施例中，步骤S11与步骤S12相互独立，二者的实现顺序不受限制。即可以先获取目标图像的目标关键点，再对目标图像中的目标对象进行分割；也可以先对目标对象进行分割再获取目标图像的目标关键点；或是同时获取目标图像的目标关键点并对目标对象进行分割等，根据实际情况灵活选择即可。
除了通过步骤S11获取目标图像的目标关键点以及通过步骤S12获取目标对象的分割结果以外，在本公开实施例中，还可以通过步骤S13获取目标对象的处理类型。对于一些目标对象来说，其在对应的应用场景中可能存在多种处理方式，随着处理方式的不同，需要确定的目标对象的处理参数自然也会发生变化，因此可以通过获取目标对象的具体处理类型来明确最终要确定的处理参数。目标对象的处理类型可以根据目标对象以及目标对象的应用场景所共同灵活确定，图3示出根据本公开一实施例的处理类型示意图，从图中可以看出，在一个示例中，在目标对象为胫骨对象且图像处理方法应用于辅助进行胫骨截骨的情况下，目标对象的处理类型可以包括有内侧闭合式、外侧闭合式、内侧开放式或外侧开放式等。具体如何获取目标对象的处理方式，其实现形式可以根据实际情况灵活决定，详见下述各公开实施例，在此先不做展开。
在得到了目标图像的目标关键点、目标对象的分割结果以及目标对象的处理类型以后，可以根据目标关键点、分割结果以及处理类型，通过步骤S14来确定目标对象的至少一个处理参数。其中，目标对象的处理参数的数量以及实现形式同样可以根据目标对象的实现形式以及图像处理方法的应用场景灵活决定。
图4～图6示出根据本公开一实施例的胫骨高位截骨的X光片示意图，其中图4为包含双腿的下肢全长X光片，图5为胫骨高位截骨前单腿下肢全长X光片，图6为胫骨高位截骨后单腿下肢全长X光片。从图中可以看出，胫骨高位截骨可以通过对胫骨进行截骨，对下肢力线(股骨头中心与踝关节中心的连线段)进行矫正，由于需要对胫骨进行截骨，需要考虑到截骨的位置以及截骨的长度等。因此，在一种可能的实现方式中，在目标对象为胫骨对象且图像处理方法应用于辅助进行胫骨截骨的情况下，目标对象的处理参数可以包括有进刀点、合页点、目标力线、处理角度以及处理距离中的一个或多个等。其中，目标力线可以是上述公开实施例中下肢力线的目标位置所对应的线段，比如可以是踝关节矫正后的目标点与股骨头中心点之间的连线线段等，处理角度可以是胫骨截骨中的手术角度，其可以随着处理类型的不同而发生变化，比如处理类型为内侧闭合式或外侧闭合式的情况下，处理角度可以为闭合的角度，处理类型为内侧开放式或外侧开放式的情况下，处理角度可以为开放的角度，同样地，处理距离可以是胫骨截骨中的截骨距离，其也可以随着处理类型被划分为闭合距离或开放距离等。
具体如何根据目标关键点、分割结果与处理类型，来确定上述一个或多个处理参数，其确定过程可以根据实际情况灵活决定，详见下述各公开实施例，在此先不做展开。
在本公开实施例中，通过获取目标图像的目标关键点和目标对象的处理类型，并对目标图像中的目标对象进行分割，得到目标对象的分割结果，从而根据目标关键点、分割结果以及处理类型来确定目标对象的至少一个处理参数。通过上述过程，可以利用分割结果所表明的目标对象在目标图像中的位置，与获取的目标关键点进行结合，来得到在当前的处理类型下，针对目标对象更为准确的处理参数，大大提升了图像处理的精度和准确性。
如上述公开实施例所述，步骤S11中获取目标图像目标关键点的方式可以根据实际情况灵活决定。在一种可能的实现方式中，步骤S11可以包括：对目标图像进行关键点检测，得到至少两个包含置信度的目标关键点。
其中，如上述各公开实施例所述，目标关键点的数量可以根据实际情况灵活决定，在一种可能的实现方式中，在目标对象为胫骨的情况下，目标关键点可以至少包含有股骨头中心点、踝关节中心点、膝关节中心点、胫骨平台内侧端点以及胫骨平台外侧端点。
对目标图像进行目标关键点检测的方式可以根据实际情况灵活决定，详见下述各公开实施例，在此先不做展开。由于不同的目标关键点检测可能会产生不同的检测结果，即得到的目标关键点可能不是完全准确，因此，可以通过置信度来反应得到的目标关键点的准确程度。具体如何确定目标关键点的置信度，其确定方式可以灵活决定。在一种可能的实现方式中，可以直接根据检测到的各目标关键点的相对位置来确定每个目标关键点的置信度，从而直接通过对目标图像进行目标关键点检测来得到包含置信度的目标关键点。在一种可能的实现方式中，也可以通过其他方式来确定目标关键点的置信度，详见下述各公开实施例，在此先不做展开。
通过对目标图像进行关键点检测，得到至少两个包含置信度的目标关键点。可以在获取目标关键点的同时，确定这些目标关键点是否准确，在因某些原因(如图像质量过差、目标关键点不存在等)无法精确预测目标关键点的情况下，可以基于置信度对一些准确率较低的目标关键点进行排除或是额外处理补全，从而提升目标关键点的准确性，继而提升后续得到的处理参数的准确性。
对目标关键点进行额外处理补全的方式可以根据实际情况灵活决定，在本公开实施例中不做限制，在一种可能的实现方式中，可以通过缺失值补全方法来补全这些目标关键点，即利用置信度较高的目标关键点进行推测，来确定置信度较低的目标关键点的特征向量，继而确定置信度较低的目标关键点位置。
在一种可能的实现方式中，步骤S11可以包括：
对目标图像进行关键点检测，得到至少两个目标关键点分别对应的热度图；
获取至少两个热度图对应的目标关键点的坐标以及置信度。
其中，热度图可以是目标关键点的响应热度图，在一种可能的实现方式中，热度图的大小可以与目标图像一致，在热度图中，距离目标关键点的位置越近的像素点，可以具有更高的响应值，从而可以通过热度图中各像素点的响应值来确定目标关键点在目标图像中的位置。对目标图像进行关键点检测来得到热度图的方式可以根据实际情况灵活决定，详见下述各公开实施例，在此先不做展开。
如上述各公开实施例所述，目标关键点的数量可以为一个也可以为多个，因此，相应地，热度图的数量也可以根据实际情况灵活决定。在一种可能的实现方式中，可以分别根据每一个目标关键点得到对应的热度图，即每个目标关键点分别对应一个热度图；在一种可能的实现方式中，也可以根据所有目标关键点来得到对应的热度图，即一个热度图中包含所有目标关键点。后续各公开实施例均以每个目标关键点分别对应一个热度图的实现过程来进行说明，一个热度图中包含所有目标关键点的实现过程可以参考后续各公开实施例进行相应扩展，不再赘述。
在每个目标关键点分别对应一个热度图的情况下，如何根据热度图来确定对应目标关键点的坐标的方式可以根据实际情况灵活决定，不局限于下述各公开实施例。
在一种可能的实现方式中，可以将热度图中具有最高响应值的像素点作为目标关键点，则该具有最高响应值的像素点在热度图中的坐标，即可以作为目标关键点在目标图像中的坐标。在一种可能的实现方式中，也可以首先基于热度图来确定热度图中的高响应区域，高响应区域的确定方式可以根据实际情况灵活设定，比如可以遍历热度图中的每个像素点，将响应值高于某一设定阈值的像素点均作为高响应区域中的像素点，从而在热度图中确定出高响应区域；在确定了热度图的高响应区域后，可以进一步将高响应区域的重心作为目标关键点，则该高响应区域的重心在热度图中的坐标，即可以作为目标关键点在目标图像中的坐标。
进一步地，在得到目标关键点坐标的同时，还可以得到目标关键点的置信度，置信度的定义可以参考上述各公开实施例，得到目标关键点的置信度的方式也可以如上述各公开实施例所述灵活决定。由于本公开实施例可以通过得到目标关键点对应的热度图的形式来确定目标关键点的坐标，因此在一种可能的实现方式中，可以进一步利用热度图来确定目标关键点的置信度。具体如何根据热度图来确定目标关键点的置信度，其实现形式也可以根据实际情况灵活决定，不局限于下述各公开实施例。
在一种可能的实现方式中，根据热度图确定目标关键点的置信度的过程可以包括：
根据目标关键点的响应值，从热度图中选定至少一个包含目标关键点的区域；
根据目标关键点的响应值，结合至少一个包含目标关键点的区域的区域参数，确定目标关键点的置信度。
其中，从热度图中选定的包含目标关键点的区域的选定方式可以根据实际情况灵活设定。在一种可能的实现方式中，可以将目标关键点的响应值记为m，由于热度图中越接近目标关键点的像素点响应值越高，因此可以通过遍历热度图，选定其中响应值大于αi*m的像素点，则这些像素点构成的区域自然可以包含有目标关键点。通过更改αi的值，可以得到多个不同的包含目标关键点的区域，αi的值与选定的包含目标关键点的区域的数量可以根据实际情况灵活决定，不局限于下述各公开实施例。在一个示例中，可以选定四个包含目标关键点的区域，则这四个包含目标关键点的区域可以分别对应四个αi的值，分别记为α0、α1、α2和α3，在一个示例中，这四个αi的值可以设定为：α0＝0.8；α1＝0.6；α0＝0.4；α0＝0.2。
在得到了这些包含目标关键点的区域后，可以确定这些区域的区域参数，并根据确定的区域参数与目标关键点的响应值来确定目标关键点的置信度。包含目标关键点的区域的区域参数，其实现形式可以根据实际情况灵活决定，在一种可能的实现方式中，区域参数可以是区域的周长ci，在一种可能的实现方式中，区域参数也可以是区域的面积si，在一种可能的实现方式中，区域参数也可以是根据区域的周长与面积共同确定的参数，如
Figure BDA0002573313980000071
随着区域参数实现形式的不同，确定目标关键点置信度的方式也可以灵活发生变化，在一个示例中，在区域参数为根据区域的周长与面积所共同确定的参数的情况下，目标关键点的置信度的计算方式可以为：
Figure BDA0002573313980000072
其中，Confidence为目标关键点的置信度，m为目标关键点的响应值，M为预设的目标关键点的目标响应值，si为包含目标关键点的区域的面积，ci为包含目标关键点的区域的周长。
通过上述公开实施例可以看出，在一种可能的实现方式中，可以通过多个包含有目标关键点的区域的区域参数来确定目标关键点的置信度。在一种可能的实现方式中，也可以通过其他的方式来确定目标关键点的置信度。在一种可能的实现方式中，根据热度图确定目标关键点的置信度的过程可以包括：
根据目标关键点的坐标，生成与目标关键点位置对应的目标热度图；
对与目标关键点对应的热度图进行归一化，得到第一概率分布；
对目标热度图进行归一化，得到第二概率分布；
将第一概率分布与第二概率分布的相关系数，作为目标关键点的置信度。
其中，与目标关键点对应的热度图即通过对目标图像进行关键点检测所得到的热度图，而目标热度图则是根据目标关键点坐标所生成的热度图，即根据该热度图中确定的目标关键点坐标，可以反向再生成一个热度图作为目标热度图。根据目标关键点坐标生成目标热度图的方式可以根据实际情况灵活决定，不局限于下述公开实施例。在一种可能的实现方式中，可以通过目标关键点坐标，结合二维高斯函数，生成目标热度图，二维高斯函数的实现形式可以根据实际情况灵活决定，在一个示例中，根据目标关键点坐标生成的目标热度图的形式可以为：
Figure BDA0002573313980000081
其中，f(x,y)为目标热度图对应的分布函数，x为目标热度图中像素点的横坐标，y为目标热度图中像素点的纵坐标，M为上述公开实施例中提到的预设的目标关键点的目标响应值，x0为目标关键点的横坐标，y0为目标关键点的纵坐标，σ为预设的目标关键点的响应范围。
在得到了目标热度图后，可以分别对热度图和目标热度图进行归一化，来得到热度图的第一概率分布以及目标热度图的第二概率分布，并将第一概率分别和第二概率分布之间的相关系数，来作为目标关键点的置信度。
通过对目标图像进行关键点检测，得到至少两个目标关键点分别对应的热度图，继而获取至少两个热度图对应的目标关键点的坐标以及置信度，通过上述过程，可以基于热度图同时获取目标关键点的坐标和置信度，处理过程简单直观，提升了获取目标关键点的精度和效率，从而提升图像处理整体过程的精度和效率。
在一种可能的实现方式中，步骤S11可以包括：
步骤S111，对目标图像进行关键点检测，得到至少两个目标关键点分别对应的第一热度图和第二热度图，其中，第一热度图对应的目标关键点的响应范围大于第二热度图对应的目标关键点的响应范围；
步骤S112，从第一热度图中确定第一关键点，根据第一热度图，得到第一关键点的第一置信度；
步骤S113，根据第一置信度，从第二热度图中确定第二关键点，结合第二热度图，得到第二关键点的第二置信度；
步骤S114，根据第二置信度，将第一关键点或第二关键点确定为目标图像中的目标关键点，并得到与目标关键点对应的置信度。
其中，第一热度图和第二热度图可以是通过对目标图像进行关键点检测生成的与目标关键点对应的两个热度图。如上述各公开实施例所述，目标关键点的数量可以为多个，因此，在一种可能的实现方式中，可以针对每个目标关键点，分别生成与该目标关键点对应的第一热度图和第二热度图，从而对每个目标关键点，可以分别基于其对应的两个热度图来确定该目标关键点的位置与置信度。在一种可能的实现方式中，也可以选取其中部分目标关键点，然后基于选取的这些目标关键点分别生成与该目标关键点对应的第一热度图和第二热度图。在一种可能的实现方式中，也可以针对所有目标关键点生成总体的第一热度图和第二热度图，即第一热度图和第二热度图包含所有目标关键点的响应位置，从而基于这两个总体的第一热度图和第二热度图来确定每个或部分目标关键点的位置与置信度。后续各公开实施例均以每个目标关键点分别生成与该目标关键点对应的第一热度图和第二热度图为例进行说明，其余的情况可以参考后续各公开实施例进行扩展，不再赘述。
图7示出根据本公开一实施例的第一热度图的示意图，图8示出根据本公开一实施例的第二热度图的示意图，如上述公开实施例所述，在一种可能的实现方式中，第一热度图对应的目标关键点的响应范围大于第二热度图对应的目标关键点的响应范围，即在第一热度图与第二热度图对应同一目标关键点的情况下，第一热度图表明的目标关键点可能所在的位置范围要大于第二热度图所表明的位置范围。从图7与图8的对比也可以看出，第一热度图和第二热度图都可以表明目标关键点位于图中中间偏右的位置，但是第一热度图圈定的目标关键点的范围要大于第二热度图圈定的目标关键点的范围，即第一热度图可以对目标关键点进行较为粗糙的定位，而第二热度图可以对目标关键点进行较为精细的定位。
第一关键点可以是根据第一热度图所确定的目标关键点，其置信度可以记为第一置信度。第二关键点则可以是根据第二热度图所确定的目标关键点，其置信度可以记为第二置信度。对于同一目标关键点所分别生成的第一热度图和第二热度图来说，其确定的第一关键点和第二关键点均对应目标图像中的同一目标关键点，不过由于其分别基于第一热度图和第二热度图来生成，第一关键点和第二关键点的坐标，以及对应的置信度，可能会有一些差异。因此，可以进一步基于第一关键点和第二关键点的位置和置信度，来最终得到目标图像中目标关键点的位置和置信度。
通过分别得到与目标关键点对应的第一热度图和第二热度图，并从第一热度图中确定第一关键点及对应的第一置信度，从第二热度图中确定第二关键点及对应的置信度，通过上述过程，可以有效地利用具有较粗糙定位结果的第一热度图和具有较精细定位结果的第二热度图，综合确定目标图像中目标关键点的位置和置信度，提升了目标图像中目标关键点定位预测的准确性和稳定性，继而提升了后续图像处理结果的准确度和稳定性。
具体地，步骤S112中基于第一热度图来得到包含第一置信度的第一关键点的方式可以参考上述公开实施例中基于热度图确定目标关键点的坐标及置信度的方式，在此不再赘述。在确定了第一关键点和第一置信度后，可以基于第一置信度，通过步骤S113来从第二热度图中确定第二关键点并得到第二置信度。步骤S113的实现方式可以根据实际情况灵活决定，在一种可能的实现方式中，步骤S113可以包括：
在第一置信度大于第一置信度阈值的情况下，根据第一关键点在第一热度图中的位置确定响应区域，从第二热度图的响应区域中确定第二关键点，根据第二热度图的响应区域，得到第二关键点的第二置信度。
在第一置信度不大于第一置信度阈值的情况下，从第二热度图中确定第二关键点，根据第二热度图，得到第二关键点的第二置信度。
通过上述公开实施例可以看出，在一种可能的实现方式中，可以基于第一置信度与第一置信度阈值的比较情况，来以不同的方式在第二热度图中确定第二关键点及对应的第二置信度。其中，第一置信度阈值的具体值在本公开实施例中不做限制，可以根据实际情况灵活决定，在一个示例中，可以将第一置信度阈值设置为0.5。
在第一置信度大于第一置信度阈值的情况下，可以表明第一热度图中确定的第一关键点的位置比较准确，因此，可以进一步根据第一热度图中表明的第一关键点的位置，来确定响应区域，继而在第二热度图中，根据响应区域的位置来确定第二关键点，并得到第二关键点的第二置信度。
其中，响应区域可以是根据第一热度图中第一关键点位置所圈定的一个预设范围，这一预设范围的大小可以根据实际情况灵活决定，在本公开实施例不做限定。由于第一热度图与第二热度图是针对同一关键点的热度图，因此响应区域在第一热度图与第二热度图中的位置是一致的，即第一热度图的响应区域可以直接对应到第二热度图中。在一种可能的实现方式中，可以将第二热度图中位于响应区域以外的像素点的响应值均设置为0，从而仅保留第二热度图中的响应区域，而将其余区域进行排除。
在将响应区域对应到第二热度图后，可以基于第二热度图的响应区域来确定第二关键点，并根据第二热度图的响应区域，得到第二关键点的第二置信度。具体得到第二关键点和第二置信度的方式同样可以参考上述各公开实施例，在此不再赘述。
在第一置信度不大于第一置信度阈值的情况下，可以表明第一热度图中确定的第一关键点的位置准确度较低，此时，可以不考虑第一热度图的对应结果，直接根据第二热度图来确定第二关键点和第二置信度，根据第二热度图确定第二关键点和第二置信度的方式同样可以参考上述各公开实施例，在此不再赘述。
通过在第一置信度大于第一置信度阈值的情况下根据第一关键点的位置确定响应区域，继而根据第二热度图的响应区域来确定第二关键点和第二置信度，在第一置信度不大于第一置信度阈值的情况下直接根据第二热度图来确定第二关键点和第二置信度。通过上述过程，在第一置信度大于第一置信度阈值，即第一热度图中确定的第一关键点的位置比较准确的情况下，由于目标图像中的目标关键点在响应区域内的可能性比较大，直接在第二热度图的响应区域中来确定第二关键点，一方面可以减小计算的数据量，另一方面也可以使得确定的第二关键点具有较高的置信度；而在第一置信度不大于第一置信度阈值，即第一热度图中确定第一关键点的位置准确的较低的情况下，由于第一热度图和第二热度图之间相互独立，直接根据第二热度图来确定第二关键点，可以仍得到具有较高置信度的目标关键点。从而大大提升了最终得到的目标关键点的准确程度，继而提升了图像处理的精度。
在一种可能的实现方式中，步骤S113也可以具有其他的实现方式，比如不考虑第一置信度的大小，而是直接根据第二热度图得到第二关键点和第二置信度。
在分别得到了第一关键点和对应的第一置信度，以及第二关键点和对应的第二置信度以后，可以通过步骤S114，根据第二置信度，来将第一关键点或第二关键点确定为目标图像中的目标关键点，并得到与目标关键点对应的置信度。步骤S114的实现方式也可以根据实际情况灵活决定，在一种可能的实现方式中，步骤S114可以包括：
在第二置信度大于第二置信度阈值的情况下，将第二关键点确定为目标图像中的目标关键点，将第二置信度作为与目标关键点对应的置信度。
在第二置信度不大于第二置信度阈值的情况下，将第一关键点确定为目标图像中的目标关键点，将第一置信度作为与目标关键点对应的置信度。
通过上述公开实施例可以看出，在一种可能的实现方式中，可以基于第二置信度与第二置信度阈值的比较情况，来选定将第一关键点还是第二关键点作为目标图像的目标关键点。其中，第二置信度阈值的具体值在本公开实施例中不做限制，可以根据实际情况灵活决定，在一个示例中，可以将第二置信度阈值设置为0.5；在一个示例中，也可以将第一置信度的值设置为第二置信度阈值。
在第二置信度大于第二置信度阈值的情况下，可以表明第二热度图中确定的第二关键点的位置比较准确，因此，可以将第二关键点作为目标图像的目标关键点，将第二关键点的第二置信度作为目标图像中目标关键点的置信度。在第二置信度不大于第二阈值的情况下，则可以表明第二热度图确定的第二关键点的准确率较低，在这种情况下，可以选择将第一关键点作为目标图像的目标关键点，将第一关键点的第一置信度作为目标图像中目标关键点的置信度。
由于第一热度图可以对目标关键点进行较为粗糙的定位，第二热度图可以对目标关键点进行较为精细的定位，因此，通过上述过程，可以在对目标关键点进行较为精细的定位的结果比较准确的情况下，选用精细的定位结果确定目标关键点，在精细的定位结果准确度较低的情况下选择较为粗糙的定位结果确定目标关键点，从而可以尽可能地提升最终得到的目标关键点的准确性，继而提升图像处理的精度。
进一步地，无论是上述何种实现步骤S11的方式，均可以通过对目标图像进行关键点检测的方式来得到目标关键点或目标关键点的热度图。具体地，对目标图像进行关键点检测的方式可以根据实际情况灵活决定，在一种可能的实现方式中，可以通过特定的关键点检测算法或是关键点热度图生成算法来实现，在一种可能的实现方式中，也可以通过神经网络来实现目标关键点的检测。因此，在一种可能的实现方式中，对目标图像进行关键点检测，可以包括：将目标图像输入至第一神经网络进行关键点检测。
其中，第一神经网络可以是具有关键点检测功能的网络，其具体实现功能可以根据步骤S11的实现方式的不同而灵活发生变化，比如在一种可能的实现方式中，第一神经网络可以直接根据目标图像生成目标关键点坐标和目标关键点置信度；在一种可能的实现方式中，第一神经网络也可以根据目标图像生成多个分别与每个目标关键点对应的热度图，通过对第一神经网络生成的热度图进行后处理得到目标关键点坐标和置信度；在一种可能的实现方式中，第一神经网络也可以根据目标图像生成多个分别与每个目标关键点对应的第一热度图和第二热度图，通过对第一热度图和第二热度图进行后处理得到目标关键点的坐标和置信度等。
第一神经网络具体的实现形式也可以根据其功能和实际情况灵活决定，不局限于下述公开实施例。在一种可能的实现方式中，第一神经网络可以通过一个包含编码器、解码器以及跳跃链接结构的Unet神经网络来实现。在一种可能的实现方式中，第一神经网络也可以通过其他的神经网络模型如Vnet等来实现。
通过将目标图像输入至第一神经网络进行关键点检测，可以通过神经网络实现关键点的检测过程，从而有效提升关键点检测的稳定性、效率和精度，继而提升图像处理的稳定性、效率和精度。同时，由于神经网络可以根据关键点检测的实际情况灵活调整结构和实现方式，因此，可以提升关键点检测的灵活性，继而提升图像处理方法实现的灵活性。
随着第一神经网络实现功能与实现形式的不同，第一神经网络的训练方式也可以灵活发生变化。在一种可能的实现方式中，在第一神经网络可以实现根据目标图像生成多个分别与每个目标关键点对应的热度图这一功能的情况下，第一神经网络可以通过包含目标关键点位置标注的训练图像进行训练，训练过程可以包括：
根据目标关键点位置标注，生成与目标关键点位置对应的目标热度图；
将训练图像输入至第一神经网络，得到第一神经网络输出的热度图；
根据输出的热度图与目标热度图，确定第一神经网络的损失；
根据损失，调整第一神经网络的至少一个参数。
其中，目标关键点位置标注可以表明训练图像中目标关键点的实际位置，通过目标关键点位置标注生成的目标热度图，则可以准确地反应目标关键点的响应情况。根据目标关键点位置标注生成目标热度图的方式可以参考上述公开实施例中根据目标关键点坐标生成的目标热度图的过程，在此不再赘述。
在得到目标热度图后，可以根据目标热度图和第一神经网络基于训练图像输出的热度图，来确定第一神经网络的损失。确定第一神经网络的损失的方式可以根据实际情况灵活选择，不局限于下述公开实施例。在一个示例中，可以通过均方误差损失函数，来得到第一神经网络的损失。在得到了第一神经网络的损失后，可以根据损失调整第一神经网络的至少一个参数，调整参数的方式同样灵活，不局限于下述实施例，在一个示例中，可以通过反向传播及随机梯度下降法来反向调整第一神经网络的参数。
利用目标热度图，对第一神经网络输出的热度图进行监督，来确定第一神经网络的损失，并基于损失调整第一神经网络的至少一个参数，可以使得第一神经网络生成的热度图尽量接近目标热度图，从而使得训练后的第一神经网络具有较高的精度。继而提升基于此训练后的第一神经网络获得的目标关键点的精度，从而提升图像处理的精度。
在第一神经网络实现的功能发生变化的情况下，第一神经网络的训练过程也将发生变化，可以根据上述各公开实施例灵活扩展，在此不再一一赘述。需要注意的是，在第一神经网络可以实现根据目标图像生成第一热度图和第二热度图这一功能的情况下，其训练过程中根据目标关键点位置标注生成的目标热度图可以为第一目标热度图和第二目标热度图，第一目标热度图和第二目标热度图均可以通过上述公开实施例提到的二维高斯函数进行生成，在一个示例中，可以通过调整σ的值，使得第一热度图中目标关键点的响应范围大于第二热度图中目标关键点的响应范围，即在一个示例中，第一目标热度图的生成函数内σ的值可以大于第二目标热度图的生成函数内σ的值，其余参数值则可以均保持相同。
步骤S12中对目标图像中的目标对象进行分割，得到目标对象的分割结果的实现方式也可以根据实际情况灵活决定，不局限于下述各公开实施例。在一种可能的实现方式中，可以通过基于像素灰度值的方法对目标对象进行分割；在一种可能的实现方式中，可以通过基于水平集、主动轮廓模型或区域生长的方法来对目标对象进行分割等。在一种可能的实现方式中，也可以通过具有分割功能的神经网络来实现目标对象的分割，因此，在一个示例中，步骤S12可以包括：将目标图像输入至第二神经网络进行目标对象分割，得到目标对象的分割结果。
其中，第二神经网络可以是具有目标对象预测分割功能的神经网络，其实现形式可以根据实际情况灵活决定，不局限于下述公开实施例。在一种可能的实现方式中，第二神经网络可以采用名称为Tiramisu的全卷积神经网络进行实现，Tiramisu神经网络具有降采样路径、升采样路径和跳跃连接，并采用DenseNet结构中的密集连接块(Dense Block)作为卷积块，可以具有更好的特征复用效果，得到更鲁棒的特征，其中，密集连接块中包含级联卷积层，且每一个卷积层的输入将与其输出合并作为下一个卷积层的输入。
第二神经网络的训练方式可以根据实际情况灵活决定，不局限于下述公开实施例。在一种可能的实现方式中，可以通过交叉熵损失函数对第二神经网络生成的分割结果进行监督，并使用反向传播及随机梯度下降法训练，使第二神经网络生成的分割结果尽量接近人工标注的股骨分割标准。
通过将目标图像输入至第二神经网络，得到目标对象的分割结果，可以有效提升目标对象的分割精度和鲁棒性，继而提升图像处理的精度和鲁棒性。
如上述各公开实施例所述，在一种可能的实现方式中，目标对象可以为胫骨对象等在人体中具有两侧结构的对象，因此，在对目标对象进行分割后，可能得到的是左胫骨与右胫骨的总体分割结果，出于后续图像处理的需要，还可以对得到的分割结果进一步进行后处理，来将左右两个分割结果进行切分。对分割结果进行后处理的方式可以根据实际情况灵活决定，在一种可能的实现方式中，可以根据第二神经网络生成的胫骨分割结果计算连通域，保留面积最大的两个连通域，将重心在左侧的连通域作为左侧胫骨分割结果，将重心在右侧的连通域作为右侧胫骨分割结果。
在一种可能的实现方式中，第二神经网络也可以直接实现左右胫骨的分割功能，即将目标图像输入第二神经网络后，第二神经网络可以自动识别其中的左侧胫骨对象或右侧胫骨对象，并分别对左侧胫骨对象和右侧胫骨对象进行分割，从而分别输出左侧胫骨分割结果和右侧胫骨分割结果。
除了获取目标对象的目标关键点以及目标对象的分割结果以外，还可以通过步骤S13获取目标对象的处理类型。目标对象处理类型的获取方式可以根据实际情况灵活决定，在一种可能的实现方式中，步骤S13可以包括：
根据目标关键点，确定目标对象的处理类型。
上述公开实施例已经提到，目标对象的处理类型可以根据目标对象以及目标对象的应用场景所共同灵活确定，因此相应地，目标对象的处理类型的获取方式可以根据目标对象以及应用场景的不同也灵活的产生变化。
在一种可能的实现方式中，在目标对象为胫骨对象且图像处理方法应用于辅助进行胫骨截骨的情况下，可以根据目标对象的实际状态来确定目标对象的处理类型。上述公开实施例已经提到，胫骨高位截骨需要考虑到人体下肢整体的受力状态，因此胫骨高位截骨类型的选择，也需要考虑到人体下肢当前的受力状态或受力情况，在一种可能的实现方式中，可以通过目标关键点来确定人体下肢当前的受力状态，继而确定合适的处理类型。
如何根据目标关键点确定目标对象的处理类型，其实现过程可以根据实际情况灵活决定。在一种可能的实现方式中，可以根据目标关键点位置计算出与处理类型相关的计算参数，并将这些计算参数反馈到人机交互界面中，相关人员可以根据人机交互界面中反馈的计算参数通过经验确定处理类型，并通过人机交互界面将选定的处理类型传递至图像处理装置中，从而实现处理类型的获取。在一种可能的实现方式中，可以根据目标关键点位置计算出与处理类型相关的计算参数，并基于计算参数直接进一步计算确定处理类型。在一种可能的实现方式中，也可以根据目标关键点进行计算从而部分确定处理类型，比如排除掉部分不可能实现的处理类型，举例来说，在确定胫骨高位截骨的处理类型的情况下，如果通过目标关键点确定人体下肢为膝内翻(如O形腿)的情况，则可以确定处理类型不会为内侧闭合式与外侧开放式，在这种情况下，处理类型还可以包括有内侧开放式与外侧闭合式，甚至还可以包含有其他的手术方式，比如内侧开放式股骨远端截骨或外侧闭合式股骨远端截骨等；进一步地，在排除掉部分处理类型以后，还可以将剩余可选择的处理类型，通过上述公开实施例提出的方式反馈到人机交互界面，从而根据相关人员的选择，来最终获取处理类型。在一种可能的实现方式中，还可以通过包含目标关键点与处理类型标注的训练图像，训练得到一个具有确定处理类型功能的神经网络，将获取了目标关键点的目标图像输入至该神经网络中，可以输出与该目标图像对应的处理类型等。
在通过上述任意公开实施例得到目标关键点以及目标对象的分割结果后，可以通过步骤S13，根据至少一个目标关键点，结合分割结果，确定目标对象的至少一个处理参数。其中，步骤S13的实现方式，可以根据目标对象以及需要确定的处理参数的实际情况灵活决定，不局限于下述各公开实施例。在一种可能的实现方式中，目标关键点可以为多个，至少一个处理参数可以包括第一处理参数和第二处理参数，步骤S13可以包括：
步骤S131，根据处理类型，确定目标对象待获取的第一处理参数以及第二处理参数；
步骤S132，根据至少两个目标关键点以及分割结果，获取第一处理参数；
步骤S132，根据至少三个目标关键点，结合第一处理参数，获取第二处理参数。
其中，第一处理参数可以是基于目标关键点以及分割结果首先获得的处理参数，具体包含哪些参数可以根据实际情况灵活决定。在目标对象为胫骨对象图像处理方法应用于辅助进行胫骨截骨的情况下，由于进刀点与合页点可以首先根据目标关键点和分割结果所确定，因此在一种可能的实现方式中，第一处理参数可以包括合页点和/或进刀点，进一步地，由于合页点和进刀点二者的连线可以构成截骨线，因此基于合页点和进刀点可以直接确定截骨线的长度，因此，在一种可能的实现方式中，第一处理参数可以包含合页点、进刀点以及截骨线长度中的一个或多个。
第二处理参数可以是在确定了第一处理参数后，结合目标关键点可以进一步获取的处理参数，具体包含哪些参数也可以根据实际情况灵活决定。在目标对象为胫骨对象图像处理方法应用于辅助进行胫骨截骨的情况下，在确定了合页点与进刀点以后，还可以基于确定的结果，结合目标关键点的检测结果，来进一步确定胫骨截骨的目标力线，因此在一种可能的实现方式中，第二处理参数可以包括目标力线；在确定了胫骨截骨的目标力线后，根据已经获得的各类目标关键点，还可以进一步得出开放或闭合的角度，以及开放或闭合的距离等，因此，在一种可能的实现方式中，第二处理参数可以包括目标力线、处理角度以及处理距离中的一个或多个。
如上述各公开实施例所述，随着处理类型的不同，需要获取的处理参数的类型可能灵活发生变化。因此在一种可能的实现方式中，在通过步骤S132确定第一处理参数以及根据步骤S133确定第二处理参数之前，可以首先通过步骤S131，确定需要获取哪些第一处理参数和第二处理参数。举例来说，由于处理类型可以包括内侧闭合式、外侧闭合式、内侧开放式以及外侧开放式，因此，在一个示例中，随着处理类型是在内侧还是外侧的不同，所需要获取的第一处理参数中进刀点的确定标准与位置可能随之发生变化；在一个示例中，随着处理类型是闭合式还是开放式的不同，所需要获取的第二处理参数可能包含的是闭合角度或开放角度、闭合距离或开放距离等。在一种可能的实现方式中，在处理类型为内侧闭合式的情况下，第一处理参数可能会发生变化，在一个示例中，内侧闭合式下的进刀点需要根据合页点和闭合角度所共同确定，在这种情况下，第一处理参数可以仅包含合页点，而进刀点则作为第二处理参数进行获取。
后续各公开实施例均以处理类型为内侧开放式为例进行说明，在其余处理类型下，S13中各步骤的实现方式可以参考后续各公开实施例进行灵活扩展，不再一一举例说明。
在目标对象为其他对象，图像处理方法应用于辅助其他类型的手术过程的情况下，步骤S13的实现形式也可以灵活发生变化，比如可以直接根据分割结果和目标关键点来得到所有的处理参数；或是先根据分割结果得到部分处理参数，再根据得到的部分处理参数，结合目标关键点获得其余的处理参数；或是先根据目标关键点得到部分处理参数，再根据得到的部分处理参数，结合分割结果得到其余的处理参数等，其具体的实现过程可以基于目标对象的实际情况，参考下述各公开实施例来灵活扩展变化，不再一一赘述。
步骤S132的具体实现过程可以根据目标对象的实际情况灵活决定，不局限于下述公开实施例，在一种可能的实现方式中，步骤S132可以包括：
根据目标关键点确定第一处理参数的所属范围；
将第一处理参数的所属范围与分割结果结合，得到第一处理参数。
通过上述公开实施例可以看出，在一种可能的实现方式中，在获取第一处理参数的过程中，可以首先基于目标关键点确定第一处理参数的大致范围，再基于分割结果对目标对象位置的限制，将其与确定的大致范围结合，从而得到第一处理参数。
如上述各公开实施例所述，在目标对象为胫骨对象图像处理方法应用于辅助进行胫骨截骨的情况下，第一处理参数可以包含有合页点和/或进刀点，因此在一种可能的实现方式中，可以先根据目标关键点确定合页点与进刀点的所属范围，再根据分割结果结合确定的所属范围，得到合页点与进刀点的具体位置。图9示出根据本公开一实施例的获取处理参数的示意图，如图所示，在一个示例中，在处理类型为内侧开放式的情况下，确定合页点的具体过程可以为：将获取的胫骨平台外侧端点下方10mm这一范围作为合页点的所属范围，再在这一所属范围中，找到其与分割结果中胫骨外侧轮廓的交点，并基于这一交点向胫骨内侧移动10mm，得到第一处理参数中的合页点，即图9中左侧胫骨近端线段的左端点。在一个示例中，在处理类型为内侧开放式的情况下，确定进刀点的具体过程可以为：将获取的胫骨平台内侧端点下方15mm这一范围作为进刀点的所属范围，再在这一所属范围中，找到其与分割结果中胫骨内侧轮廓的交点，将这一交点作为第一处理参数中的进刀点，即图9中左侧胫骨近端线段的右端点。进一步地，在一个示例中，在确定了合页点与进刀点后，还可以连接合页点与进刀点，将连接的线段作为截骨线，即图9中左侧胫骨近端的连接线段。
在得到了包含合页点与进刀点的第一处理参数后，可以根据目标关键点和第一处理参数，通过步骤S133进一步确定第二处理参数。步骤S133的具体实现过程同样可以根据目标对象的实际情况灵活决定，不局限于下述公开实施例，在一种可能的实现方式中，步骤S133可以包括：
将第一处理参数与至少三个目标关键点进行结合，得到目标力线；
根据目标力线，结合第一处理参数和至少一个目标关键点，得到处理角度和/或处理距离。
如上述各公开实施例所述，目标力线可以是上述公开实施例中下肢力线的目标位置。具体地，目标力线如何获取，可以根据胫骨截骨手术的矫正目的不同而灵活决定。举例来说，在一种可能的实现方式中，胫骨截骨手术的矫正目的可能为矫正后的下肢力线(即目标力线)通过膝关节中心点，在一种可能的实现方式中，胫骨手术的矫正目的也可能为矫正后的下肢力线通过藤泽点等。其中，藤泽点可以为胫骨内侧端点与胫骨外侧端点连线的线段中，从胫骨内侧端点起长度占连线线段62％的点，图10示出根据本公开一实施例的藤泽点示意图，从图中可以看出，其中箭头指向的位置即藤泽点的位置。后续各公开实施例均以目标力线通过膝关节中心点为例进行说明，目标力线通过藤泽点的实现方式可以参考后续各公开实施例进行扩展，不再赘述。
如图9所示，在一个示例中，在目标力线为通过膝关节中心点的情况下，根据第一处理参数与至少三个目标关键点结合，得到目标力线的具体过程可以为：从股骨头中心点向膝关节中心点作射线，并以合页点为圆心，合页点与踝关节中心点的距离为半径作弧线，则该弧线与上述射线远端的交点可以作为踝关节中心点的矫正目标，踝关节中心点的矫正目标与股骨头中心点的连线线段构成目标力线。
在确定了目标力线后，则可以进一步得到开放角度和开放距离。图11示出根据本公开一实施例的第二处理参数示意图，从图中可以看出，在一个示例中，开放角度可以为从合页点向踝关节中心点的射线，以及从合页点向踝关节中心点的矫正目标的射线，这两个射线所形成的夹角，开放距离可以为以开放角度为顶角，腰长为截骨线长度的等腰三角形的底边长度，如图11所示，在左侧截骨线以下的胫骨整体图像绕合页点旋转上述开放角度的情况下，下肢力线可以经过膝关节中心，即达到了目标力线的位置。
在一种可能的实现方式中，在处理类型为内侧闭合式的情况下，开放角度可以变为闭合角度，进一步地，可以基于在胫骨内侧轮廓上，与合页点形成顶角为闭合角度的等腰三角形的两点来确定进刀点。
通过上述过程，可以利用分割结果，并进一步借助获取的目标关键点自动得到胫骨高位截骨术的进刀点、合页点、开放(闭合)角度以及开放(闭合)距离等，从而实现自动化程度更高的图像处理过程，用以对胫骨截骨进行辅助，提升医工交互效率。
除了上述过程以外，本公开实施例提出的图像处理方法，在获取目标关键点和/或分割结果之前，还可以包括图像预处理的步骤，即在一种可能的实现方式中，目标图像可以包括经过预处理的图像，其中，预处理可以包括图像标准化和/或图像增强。
上述公开实施例已经提出，目标图像可以是包含目标对象的医学图像，比如全身X光片、下肢X光片或是胫骨部位的X光片等。对于不同设备拍摄出的医学图像来说，其可能存在一些差异，比如有些医学图像采用白色背景黑色前景，有些医学图像则采用白色前景黑色背景，不同设备拍摄的医学图像其像素间距可能存在差异等，因此，为了便于对这些医学图像统一进行目标关键点获取或是分割，在一种可能的实现方式中，可以对医学图像进行图像标准化，来得到经过预处理的目标图像。在一种可能的实现方式中，为了使得后续得到的图像处理结果具有较好的处理效果，还可以对医学图像进行图像增强。
图像标准化的实现方式可以根据实际情况灵活决定，不局限于下述各公开实施例。在一种可能的实现方式中，图像标准化可以包括背景标准化、像素间距标准化以及像素值归一化中的一个或多个。背景标准化的方式可以将图像的背景设定为同一颜色，具体设定为何种颜色不受限制，在一个示例中，可以将医学图像的背景均设置为黑色，前景均设置为白色等。像素间距标准化的方式可以为将医学图像中的像素间距均设置为规定值，规定值的具体数值可以根据实际情况灵活设定，在一个示例中，可以将像素间距均设置为(0.68mm，0.68mm)。像素值归一化可以将图像中像素值均归一化某一数值范围内，比如[0,1]之间等，具体归一化的方式不受限定，在一个示例中，可以先对医学图像中的像素点像素值从小到大进行排序，将其中位于3％位置的像素值设定为最低像素值，位于99％位置的像素值设定为最高像素值，然后将低于最低像素值的像素点的值更改为最低像素值，高于最高像素值的像素点的值更高为最高像素值，在完成像素值更改后再将像素值归一化到[0,1]之间，从而完成像素值归一化。
图像增强的方式也可以根据实际情况灵活决定，不局限于下述实施例，在一个示例中，可以通过限制对比度自适应直方图均衡化算法(CLAHE，Contrast Limited AdaptiveHistogram Equalization)来增强医学图像的局部对比度，从而实现图像增强。
通过图像标准化和/或图像增强来得到经过预处理的图像作为目标图像，可以便于后续对具有统一规格且具有较好图像效果的目标图像进行目标关键点获取和分割，增加目标关键点获取和分割的实现便捷程度，也可以增加获取目标关键点的精度和分割精度，继而增加图像处理的实现便捷性和精度。
应用场景示例
胫骨高位截骨术是一种治疗早期膝关节骨关节炎的有效手段，它可以保留原有的关节，通过矫正膝关节负重力线、阻止软骨的进一步磨损、增加关节稳定性、缓解疼痛、改善膝关节功能，从而避免或尽可能的推迟关节置换。其中，胫骨截骨位置的准确性将大大影响胫骨高位截骨的效果。因此，如何准确地确定胫骨高位截骨的位置，成为目前一个亟待解决的问题。
图12与图13示出根据本公开一应用示例的示意图，如图所示，本公开实施例提出了一种图像处理方法，这一处理方法可以基于下肢X光片来确定胫骨截骨过程中的截骨位置，该图像处理的过程可以为：
第一步，下肢X光片中目标关键点的自动定位。
图12示出目标关键点自动定位的流程，从图中可以看出，本公开应用示例可以实现下肢X光片中左侧和右侧的股骨头中心、大转子尖、股骨內侧髁、股骨外侧髁、胫骨平台内侧端点、胫骨平台外侧端点、踝关节间隙内侧端点、踝关节间隙外侧端点、膝关节中心、踝关节中心，共10*2＝20种目标关键点的自动定位(左右各10种目标关键点)。其中其中膝关节中心点可以定义为胫骨平台内侧端点和胫骨平台外侧端点的中点，踝关节中心点可以定义为踝关节间隙内侧端点和踝关节间隙外侧端点的中点，在一个示例中，可以先基于定义定位各中心点左右两侧的端点，再通过计算定位的两个端点的中点来得到上述中心点；在一个示例中，也可以直接定位上述中心点的位置。为实现后续胫骨截骨各处理参数的确定，所预测的目标关键点应至少包含股骨头中心点、踝关节中心点、膝关节中心点、胫骨平台内侧端点以及胫骨平台外侧端点等。
具体地，目标关键点的定位过程可以分为以下几个步骤：
首先对原始输入图像依次按以下步骤进行数据预处理：将X光图像统一处理为背景为黑色，前景为白色；统一图像的像素间距为(0.68mm,0.68mm)；将像素数值归一化，先将低于第3百分位数和高于第99百分位数的值分别置为第3百分位数、第99百分位数，再将数值归一化到[0，1]之间；再利用CLAHE方法增强图像的局部对比度。
然后将预处理后的图像输入全卷积神经网络(即上述公开实施例中的第一神经网络)，在本公开应用示例中，可以采用一个含编码器-解码器及跳跃链接结构的Unet网络，来针对每一种目标关键点分别生成粗定位热度图(即上述公开实施例中的第一热度图)和细定位热度图(即上述公开实施例中的第二热度图)。
在第一神经网络的训练阶段，可以根据每幅输入的训练图像中每个目标关键点位置的真实值(即标注值)，来计算该目标关键点对应的粗定位目标热度图及细定位目标热度图，再通过均方误差损失函数对第一神经网络生成的热度图进行监督，使用反向传播及随机梯度下降法训练，使第一神经网络生成的热度图尽量接近前述目标热度图。粗定位目标热度图和细定位目标热度图可以均以下述二维高斯函数的形式进行表示：
Figure BDA0002573313980000161
其中，x为目标热度图中像素点的横坐标，y为目标热度图中像素点的纵坐标，x0为目标关键点的横坐标，y0为目标关键点的纵坐标，e为自然常数，参数σ控制热度图上高响应区域的范围，参数M控制目标热度图的峰值。如上述公开实施例中的图7所示，粗定位目标热度图中σ的值较细定位热度图中更大，因此在更大的范围上有高响应值。实现方案中的目标热度图也可以由有类似性质(越靠近目标关键点的位置上有越大的响应值，粗定位热度图较细定位热度图在更大的范围上有高响应值)的函数来实现，不局限于本应用示例提出的形式。
在生成粗定位热度图和细定位热度图后，可以对其进行后处理，来得到目标关键点的定位结果，其中，对粗定位热度图和细定位热度图的后处理总体可以分为3个步骤：
首先进行粗定位坐标(即上述公开实施例中的第一关键点的坐标)和粗定位置信度(即上述公开实施例中的第一置信度)的计算，在本公开应用示例中，可以将粗定位热度图上最大值的坐标作为粗定位坐标；然后计算粗定位热度图上数值>最大值*αi倍率的区域(即上述公开实施例中的包含目标关键点的区域)的周长ci和面积si，在本公开应用示例中，可以选用4个αi取值，分别记为：α0＝0.8；α1＝0.6；α0＝0.4；α0＝0.2。
则粗定位置信度可以为：
Figure BDA0002573313980000162
其中，π为圆周率，m为目标关键点的响应值，M为预设的目标关键点的目标响应值。
然后进行细定位坐标(即上述公开实施例中第二关键点的坐标)和细定位置信度(即上述公开实施例中的第二置信度)的计算，在本公开应用示例中，若粗定位置信度>0.5，可以认为粗定位基本准确，则可以保留细定位热度图上粗定位坐标附近一定范围(即上述公开实施例中的响应区域)内的响应值，并将细定位热度图中超出响应区域范围的值设置为0，从而使得细定位坐标总在粗定位坐标附近；若粗定位置信度≤0.5，则保留原有的细定位热度图。然后通过与粗定位热度图中类似的方法，根据处理后或原有的细定位热度图，计算细定位坐标和细定位置信度。
在分别完成了粗定位热度图和细定位热度图的相关计算后，可以选定最终目标关键点的预测结果，具体过程可以为：在细定位置信度>0.5或细定位置信度>粗定位置信度的情况下，选用细定位坐标及细定位置信度作为最终输出的目标关键点定位坐标和置信度；否则选用粗定位坐标及粗定位置信度作为最终输出的目标关键点定位坐标和置信度。
在本公开应用示例中，粗、细定位坐标和细定位置信度的具体计算方法也可以采用其他的计算方式，例如可根据热度图上高响应区域的重心确定热度图中的定位坐标，或是可以根据预测热度图与定位坐标对应的目标热度图的相关系数来计算置信度等。
第二步，下肢X光片中胫骨的自动分割。
图13示出自动分割的流程，从图中可以看出，本公开应用示例中，胫骨自动分割的过程可以通过下述步骤来实现：
首先对输入图像进行预处理：本公开应用示例中，可以采用与前述目标关键点自动定位过程相同的图像预处理步骤，在此不再赘述。
然后将预处理后的图像输入预测胫骨分割的全卷积神经网络(即上述公开实施例中的第二神经网络)。本公开应用示例中，可以采用一种名为Tiramisu的全卷积神经网络来进行股骨分割，该Tiramisu网络与Unet网络类似，具有降采样路径，升采样路径和跳跃连接，在此基础上该Tiramisu网络结构使用了DenseNet结构中的密集连接块(Dense Block)替换了由级联卷积层组成的卷积块，从而实现更好的特征复用，并得到更鲁棒的特征。密集连接块中不但包含了级联卷积层，且每一个卷积层的输入将与其输出合并作为下一个卷积层的输入。
在第二神经网络的训练阶段，可以通过交叉熵损失函数对第二神经网络生成的分割结果进行监督，使用反向传播及随机梯度下降法训练，使第二神经网络生成的分割结果尽量接近人工标注的胫骨分割标准。本公开应用示例中，第二神经网络可以实现双侧胫骨分割预测，在一种可能的实现方式中，也可以通过第二神经网络直接实现左侧胫骨分割预测和/或右侧胫骨分割预测。
在得到上述分割结果后，可以对分割结果进行后处理，对分割结果后处理的过程可以为：对第二神经网络生成的胫骨分割结果计算连通域，保留其中最大的两个连通域，将其中重心在左侧的连通域作为左侧胫骨分割结果，将其中重心在右侧的连通域作为右侧胫骨分割结果；取出这两个连通域的边界，分别作为左侧胫骨轮廓和右侧胫骨轮廓。
第三步，基于目标关键点位置和胫骨轮廓，确定胫骨截骨的各项处理参数。
本公开应用示例以获取内侧开放式的胫骨高位截骨的各项处理参数为例进行说明：
首先，可以利用目标关键点和胫骨轮廓以及进刀点、合页点间的几何位置关系获取进刀点与合页点。具体地：在胫骨外侧轮廓上获取胫骨平台外侧端点下方10mm的点，该点再向胫骨内侧10mm处的点即可以作为合页点；在胫骨内侧轮廓上找到胫骨平台内侧端点下方15mm的点即可以作为进刀点，合页点与进刀点的连线段即截骨线。如上述公开实施例中的图9所示，左侧胫骨近端线段为截骨线，其左侧端点为合页点，其右侧端点为进刀点。
接着可以根据胫骨高位截骨的矫正目标来确定目标力线(下肢力线可以为股骨头中心与踝关节中心的连线段，目标力线可以为下肢力线的矫正目标)。例如在矫正目标为目标力线经过膝关节中心的情况下，可以从股骨头中心向膝关节中心作射线，以合页点为圆心、合页点与踝关节中心的距离为半径作弧线，则该弧线与射线远端的交点可以作为踝关节中心矫正目标，踝关节中心矫正目标与股骨头中心的连线段可以作为目标力线。
在确定了目标力线后，可以进一步确定开放角度和开放距离。其中，开放角度可以为从合页点向踝关节中心点的射线，与从合页点向踝关节中心矫正目标点的射线所形成的夹角。开放距离可以为开放角度为顶角，腰长等于截骨线长度的等腰三角形的底边长度。
进一步地，本公开应用示例中胫骨高位截骨术的处理类型可以从内侧开放式被替换为内侧闭合式、外侧开放式或外侧闭合式，则开放角度、进刀点、合页点的推荐方法可以相应发生变化，例如处理类型为内侧闭合式的情况下，可以用闭合角度代替开放角度，进刀点的位置可以通过，在胫骨内侧轮廓上与合页点形成顶角为闭合角度的等腰三角形的两点这种方式所确定。本公开应用示例中的矫正目标也可以灵活变化，在一个示例中，矫正目标可以变为目标力线经过上述公开实施例中提出的藤泽点，则目标力线及踝关节中心矫正目标的计算方法可以相应地发生变化。
通过上述公开应用示例，可以利用第一神经网络自动定位下肢X线片中的目标关键点，减少了手工标注目标关键点的过程，从而简化手术规划流程、提升医工交互效率；第一神经网络能够同时利用粗定位热度图和细定位热度图进行目标关键点的定位预测，兼具高稳定性和高精确性；同时能够给出各目标关键点预测的置信度，从而尽可能减少目标关键点因某些原因(如图像质量过差、目标关键点不存在等)无法被精确预测时得到过大偏差的错误预测结果的情况，同时便于后续使用缺失值补全方法对预测失败的目标关键点进行补全。
同时，本公开应用示例可以利用第二神经网络自动实现下肢X线片中的胫骨分割，并进一步借助胫骨平台外侧端点和内侧端点自动确定胫骨高位截骨术的进刀点、合页点、开放(闭合)角度、开放(闭合)距离。从而实现自动化高、精确度高的胫骨高位截骨中各项处理参数的预测，简化手术规划流程、提升医工交互效率。
需要说明的是，本公开实施例的图像处理方法不限于应用在上述下肢X光片图像的处理中，也不限于仅确定胫骨截骨的位置，可以应用于任意的图像处理，以及任意相关处理参数的确定过程中，本公开对此不作限定。
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
此外，本公开还提供了图像处理装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种图像处理方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。
图14示出根据本公开实施例的图像处理装置的框图。该图像处理装置可以为终端设备、服务器或者其他处理设备等。其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal DigitalAssistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。
在一些可能的实现方式中，该图像处理装置可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
如图14所示，所述图像处理装置20可以包括：
目标关键点获取模块21，用于获取目标图像的目标关键点。
分割模块22，用于对目标图像中的目标对象进行分割，得到目标对象的分割结果。
处理类型获取模块23，用于获取目标对象的处理类型。
处理参数确定模块24，用于根据目标关键点、分割结果以及处理类型，确定目标对象的至少一个处理参数。
在一种可能的实现方式中，目标关键点获取模块用于：对目标图像进行关键点检测，得到至少两个包含置信度的目标关键点。
在一种可能的实现方式中，目标关键点获取模块用于：对目标图像进行关键点检测，得到至少两个目标关键点分别对应的热度图；获取至少两个热度图对应的目标关键点的坐标以及置信度。
在一种可能的实现方式中，目标关键点获取模块用于：对目标图像进行关键点检测，得到至少两个目标关键点分别对应的第一热度图和第二热度图，其中，第一热度图对应的目标关键点的响应范围大于第二热度图对应的目标关键点的响应范围；从第一热度图中确定第一关键点，根据第一热度图，得到第一关键点的第一置信度；根据第一置信度，从第二热度图中确定第二关键点，结合第二热度图，得到第二关键点的第二置信度；根据第二置信度，将第一关键点或第二关键点确定为目标图像中的目标关键点，并得到与目标关键点对应的置信度。
在一种可能的实现方式中，目标关键点获取模块进一步用于：在第一置信度大于第一置信度阈值的情况下，根据第一关键点在第一热度图中的位置确定响应区域，从第二热度图的响应区域内中确定第二关键点，根据第二热度图的响应区域，得到第二关键点的第二置信度；在第一置信度不大于第一置信度阈值的情况下，从第二热度图中确定第二关键点，根据第二热度图，得到第二关键点的第二置信度。
在一种可能的实现方式中，目标关键点获取模块进一步用于：在第二置信度大于第二置信度阈值的情况下，将第二关键点确定为目标图像中的目标关键点，将第二置信度作为与目标关键点对应的置信度；在第二置信度不大于第二置信度阈值的情况下，将第一关键点确定为目标图像中的目标关键点，将第一置信度作为与目标关键点对应的置信度。
在一种可能的实现方式中，目标关键点获取模块用于：将目标图像输入至第一神经网络进行关键点检测。
在一种可能的实现方式中，第一神经网络通过包含目标关键点位置标注的训练图像进行训练，训练包括：根据目标关键点位置标注，生成与目标关键点位置对应的目标热度图；将训练图像输入至第一神经网络，得到第一神经网络输出的热度图；根据输出的热度图与目标热度图，确定第一神经网络的损失；根据损失，调整第一神经网络的至少一个参数。
在一种可能的实现方式中，处理类型获取模块用于：根据目标关键点，确定目标对象的处理类型。
在一种可能的实现方式中，目标关键点为多个，至少一个处理参数包括第一处理参数和第二处理参数，处理参数确定模块用于：根据处理类型，确定目标对象待获取的第一处理参数以及第二处理参数；根据至少两个目标关键点以及分割结果，获取第一处理参数；根据至少三个目标关键点，结合第一处理参数，获取第二处理参数。
在一种可能的实现方式中，目标图像包括经过预处理的图像，预处理包括图像标准化和/或图像增强。
在一种可能的实现方式中，目标对象包括胫骨对象；处理类型包括：内侧闭合式、外侧闭合式、内侧开放式或外侧开放式；至少一个处理参数包括进刀点、合页点、目标力线、处理角度以及处理距离中的一个或多个。
本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是非易失性计算机可读存储介质。
本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，当计算机可读代码在设备上运行时，设备中的处理器执行用于实现如上任一实施例提供的图像处理方法的指令。
本公开实施例还提供了另一种计算机程序产品，用于存储计算机可读指令，指令被执行时使得计算机执行上述任一实施例提供的图像处理方法的操作。
电子设备可以被提供为终端、服务器或其它形态的设备。
图15示出根据本公开实施例的一种电子设备800的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。
参照图15，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。
图16示出根据本公开实施例的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图16，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (15)

1.一种图像处理方法，其特征在于，包括：
获取目标图像的目标关键点；
对所述目标图像中的目标对象进行分割，得到所述目标对象的分割结果；
获取所述目标对象的处理类型；
根据所述目标关键点、所述分割结果以及所述处理类型，确定所述目标对象的至少一个处理参数。
2.根据权利要求1所述的方法，其特征在于，所述获取目标图像的目标关键点，包括：
对所述目标图像进行关键点检测，得到至少两个包含置信度的目标关键点。
3.根据权利要求1或2所述的方法，其特征在于，所述获取目标图像的目标关键点，包括：
对所述目标图像进行关键点检测，得到至少两个目标关键点分别对应的热度图；
获取至少两个所述热度图对应的所述目标关键点的坐标以及置信度。
4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述获取目标图像的目标关键点，包括：
对所述目标图像进行关键点检测，得到至少两个目标关键点分别对应的第一热度图和第二热度图，其中，所述第一热度图对应的所述目标关键点的响应范围大于所述第二热度图对应的所述目标关键点的响应范围；
从所述第一热度图中确定第一关键点，根据所述第一热度图，得到所述第一关键点的第一置信度；
根据所述第一置信度，从所述第二热度图中确定第二关键点，结合所述第二热度图，得到所述第二关键点的第二置信度；
根据所述第二置信度，将所述第一关键点或所述第二关键点确定为所述目标图像中的目标关键点，并得到与所述目标关键点对应的置信度。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一置信度，从所述第二热度图中确定第二关键点，结合所述第二热度图，得到所述第二关键点的第二置信度，包括：
在所述第一置信度大于第一置信度阈值的情况下，根据所述第一关键点在所述第一热度图中的位置确定响应区域，从所述第二热度图的所述响应区域内中确定第二关键点，根据所述第二热度图的所述响应区域，得到所述第二关键点的第二置信度；
在所述第一置信度不大于所述第一置信度阈值的情况下，从所述第二热度图中确定第二关键点，根据所述第二热度图，得到所述第二关键点的第二置信度。
6.根据权利要求4或5所述的方法，其特征在于，所述根据所述第二置信度，将所述第一关键点或所述第二关键点确定为所述目标图像中的目标关键点，并得到与所述目标关键点对应的置信度，包括：
在所述第二置信度大于第二置信度阈值的情况下，将所述第二关键点确定为所述目标图像中的目标关键点，将所述第二置信度作为与所述目标关键点对应的置信度；
在所述第二置信度不大于所述第二置信度阈值的情况下，将所述第一关键点确定为所述目标图像中的目标关键点，将所述第一置信度作为与所述目标关键点对应的置信度。
7.根据权利要求2至6中任意一项所述的方法，其特征在于，所述对所述目标图像进行关键点检测，包括：
将所述目标图像输入至第一神经网络进行关键点检测。
8.根据权利要求7所述的方法，其特征在于，所述第一神经网络通过包含目标关键点位置标注的训练图像进行训练，所述训练包括：
根据所述目标关键点位置标注，生成与所述目标关键点位置对应的目标热度图；
将所述训练图像输入至第一神经网络，得到所述第一神经网络输出的热度图；
根据所述输出的热度图与所述目标热度图，确定所述第一神经网络的损失；
根据所述损失，调整所述第一神经网络的至少一个参数。
9.根据权利要求1至8中任意一项所述的方法，其特征在于，所述获取所述目标对象的处理类型，包括：
根据所述目标关键点，确定所述目标对象的处理类型。
10.根据权利要求1至9中任意一项所述的方法，其特征在于，所述目标关键点为多个，所述至少一个处理参数包括第一处理参数和第二处理参数，所述根据所述目标关键点、所述分割结果以及所述处理类型，确定所述目标对象的至少一个处理参数，包括：
根据所述处理类型，确定所述目标对象待获取的第一处理参数以及第二处理参数；
根据至少两个所述目标关键点以及所述分割结果，获取所述第一处理参数；
根据至少三个所述目标关键点，结合所述第一处理参数，获取所述第二处理参数。
11.根据权利要求1至10中任意一项所述的方法，其特征在于，所述目标图像包括经过预处理的图像，所述预处理包括图像标准化和/或图像增强。
12.根据权利要求1至11中任意一项所述的方法，其特征在于，所述目标对象包括胫骨对象；
所述处理类型包括：内侧闭合式、外侧闭合式、内侧开放式或外侧开放式；
所述至少一个处理参数包括进刀点、合页点、目标力线、处理角度以及处理距离中的一个或多个。
13.一种图像处理装置，其特征在于，包括：
目标关键点获取模块，用于获取目标图像的目标关键点；
分割模块，用于对所述目标图像中的目标对象进行分割，得到所述目标对象的分割结果；
处理类型获取模块，用于获取所述目标对象的处理类型；
处理参数确定模块，用于根据所述目标关键点、所述分割结果以及所述处理类型，确定所述目标对象的至少一个处理参数。
14.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至12中任意一项所述的方法。
15.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至12中任意一项所述的方法。
CN202010646714.5A 2020-07-07 2020-07-07 图像处理方法及装置、电子设备和存储介质 Withdrawn CN111768399A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010646714.5A CN111768399A (zh) 2020-07-07 2020-07-07 图像处理方法及装置、电子设备和存储介质
PCT/CN2020/138438 WO2022007342A1 (zh) 2020-07-07 2020-12-22 图像处理方法及装置、电子设备、存储介质和程序产品
JP2021576877A JP2022542780A (ja) 2020-07-07 2020-12-22 画像処理方法及び装置、電子機器、記憶媒体並びにプログラム製品
KR1020217042439A KR20220013404A (ko) 2020-07-07 2020-12-22 이미지 처리 방법 및 장치, 전자 기기, 저장 매체 및 프로그램 제품
TW110116123A TW202203153A (zh) 2020-07-07 2021-05-04 圖像處理方法、電子設備和電腦可讀儲存介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010646714.5A CN111768399A (zh) 2020-07-07 2020-07-07 图像处理方法及装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN111768399A true CN111768399A (zh) 2020-10-13

Family

ID=72724799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010646714.5A Withdrawn CN111768399A (zh) 2020-07-07 2020-07-07 图像处理方法及装置、电子设备和存储介质

Country Status (5)

Country Link
JP (1) JP2022542780A (zh)
KR (1) KR20220013404A (zh)
CN (1) CN111768399A (zh)
TW (1) TW202203153A (zh)
WO (1) WO2022007342A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348892A (zh) * 2020-10-29 2021-02-09 上海商汤智能科技有限公司 点定位方法及相关装置、设备
CN113610102A (zh) * 2021-06-23 2021-11-05 浙江大华技术股份有限公司 分割网络的训练及目标分割方法、相关设备
WO2022007342A1 (zh) * 2020-07-07 2022-01-13 上海商汤智能科技有限公司 图像处理方法及装置、电子设备、存储介质和程序产品
CN117058149A (zh) * 2023-10-12 2023-11-14 中南大学 一种用于训练识别骨关节炎的医学影像测量模型的方法
WO2023241032A1 (zh) * 2022-06-15 2023-12-21 北京长木谷医疗科技有限公司 基于深度学习的智能识别骨关节炎的方法及系统

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102395664B1 (ko) * 2022-01-26 2022-05-09 주식회사 몰팩바이오 Hsv 색 공간과 clahe를 이용한 병리 슬라이드 이미지 색감 표준화 방법 및 장치
CN115225710B (zh) * 2022-06-17 2024-06-07 中国电信股份有限公司 数据包的传输方法、装置、电子设备及存储介质
CN115187821B (zh) * 2022-07-05 2024-03-22 阿波罗智能技术(北京)有限公司 验证模型转换前后正确性的方法、相关装置及程序产品
CN115018834B (zh) * 2022-08-08 2022-10-25 山东光岳九州半导体科技有限公司 一种半导体晶片图像对准方法
CN115908385A (zh) * 2022-12-22 2023-04-04 上海媒智科技有限公司 一种基于深度学习的橡胶管缺陷检测方法和系统
CN116327357A (zh) * 2023-03-09 2023-06-27 天津市天津医院 基于深度学习的膝关节模拟手术自动规划方法及系统
CN117152287B (zh) * 2023-08-31 2024-10-18 北京百度网讯科技有限公司 图像编辑方法、装置、设备、介质及产品
CN117830570B (zh) * 2023-12-29 2024-10-29 武汉爱尔眼科洪山医院有限公司 基于机器学习的icl植入方法、系统、设备及可读存储介质
CN117975569A (zh) * 2024-02-29 2024-05-03 欧亚高科数字技术有限公司 一种虚拟仿真的麻醉师动作捕捉方法
CN118655831A (zh) * 2024-08-14 2024-09-17 宝鸡核力材料科技有限公司 一种钛合金金属加工过程中的工艺参数调节方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7157765B2 (ja) * 2017-05-09 2022-10-20 ハートフロー， インコーポレイテッド 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法
CN108205655B (zh) * 2017-11-07 2020-08-11 北京市商汤科技开发有限公司 一种关键点预测方法、装置、电子设备及存储介质
CN110533639B (zh) * 2019-08-02 2022-04-15 杭州依图医疗技术有限公司 一种关键点定位方法及装置
CN111768400A (zh) * 2020-07-07 2020-10-13 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111768399A (zh) * 2020-07-07 2020-10-13 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022007342A1 (zh) * 2020-07-07 2022-01-13 上海商汤智能科技有限公司 图像处理方法及装置、电子设备、存储介质和程序产品
CN112348892A (zh) * 2020-10-29 2021-02-09 上海商汤智能科技有限公司 点定位方法及相关装置、设备
WO2022088729A1 (zh) * 2020-10-29 2022-05-05 上海商汤智能科技有限公司 点定位方法及相关装置、设备、介质及计算机程序
CN113610102A (zh) * 2021-06-23 2021-11-05 浙江大华技术股份有限公司 分割网络的训练及目标分割方法、相关设备
WO2023241032A1 (zh) * 2022-06-15 2023-12-21 北京长木谷医疗科技有限公司 基于深度学习的智能识别骨关节炎的方法及系统
CN117058149A (zh) * 2023-10-12 2023-11-14 中南大学 一种用于训练识别骨关节炎的医学影像测量模型的方法
CN117058149B (zh) * 2023-10-12 2024-01-02 中南大学 一种用于训练识别骨关节炎的医学影像测量模型的方法

Also Published As

Publication number Publication date
JP2022542780A (ja) 2022-10-07
WO2022007342A1 (zh) 2022-01-13
TW202203153A (zh) 2022-01-16
KR20220013404A (ko) 2022-02-04

Similar Documents

Publication Publication Date Title
CN111768399A (zh) 图像处理方法及装置、电子设备和存储介质
US20210166395A1 (en) Image segmentation method and apparatus, computer device, and storage medium
CN111768400A (zh) 图像处理方法及装置、电子设备和存储介质
CN111899268B (zh) 图像分割方法及装置、电子设备和存储介质
CN109978886B (zh) 图像处理方法及装置、电子设备和存储介质
US9665945B2 (en) Techniques for image segmentation
CN110705626A (zh) 一种图像处理方法及装置、电子设备和存储介质
CN109284681B (zh) 位姿检测方法及装置、电子设备和存储介质
CN113222038B (zh) 基于核磁图像的乳腺病灶分类和定位方法及装置
CN112967291B (zh) 图像处理方法及装置、电子设备和存储介质
CN111833988B (zh) 放射参数确定方法及装置、电子设备和存储介质
CN113034491B (zh) 一种冠脉钙化斑块检测方法及装置
TWI765386B (zh) 神經網路訓練及圖像分割方法、電子設備和電腦儲存介質
CN113012166A (zh) 颅内动脉瘤分割方法及装置、电子设备和存储介质
WO2023050691A1 (zh) 图像处理方法及装置、电子设备、存储介质和程序
JP2022548453A (ja) 画像分割方法及び装置、電子デバイス並びに記憶媒体
CN114820584A (zh) 肺部病灶定位装置
CN113947603A (zh) 图像处理方法及装置、电子设备和存储介质
CN113763285A (zh) 图像处理方法及装置、电子设备和存储介质
CN115601316A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113553460B (zh) 影像检索方法及装置、电子设备和存储介质
CN111507202B (zh) 图像处理方法、装置及存储介质
CN118299009A (zh) 乳房植入物的建模方法及设备
CN118542688A (zh) 心胸比的确定方法及装置、程序产品及医疗设备
CN118542689A (zh) 心膈角定位方法及装置、程序产品、医疗设备和应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40032336

Country of ref document: HK

WW01 Invention patent application withdrawn after publication

Application publication date: 20201013

WW01 Invention patent application withdrawn after publication