CN110533639A - 一种关键点定位方法及装置 - Google Patents

一种关键点定位方法及装置 Download PDF

Info

Publication number
CN110533639A
CN110533639A CN201910713688.0A CN201910713688A CN110533639A CN 110533639 A CN110533639 A CN 110533639A CN 201910713688 A CN201910713688 A CN 201910713688A CN 110533639 A CN110533639 A CN 110533639A
Authority
CN
China
Prior art keywords
image
key point
dimension
key
locating module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910713688.0A
Other languages
English (en)
Other versions
CN110533639B (zh
Inventor
石磊
倪浩
郑永升
魏子昆
杨忠程
丁泽震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
According To Hangzhou Medical Technology Co Ltd
Original Assignee
According To Hangzhou Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by According To Hangzhou Medical Technology Co Ltd filed Critical According To Hangzhou Medical Technology Co Ltd
Priority to CN201910713688.0A priority Critical patent/CN110533639B/zh
Publication of CN110533639A publication Critical patent/CN110533639A/zh
Application granted granted Critical
Publication of CN110533639B publication Critical patent/CN110533639B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种关键点定位方法及装置，其中方法包括：将3D影像输入第一定位模型，获得各第一关键点的位置，将3D影像的至少一个维度的影像层输入第二定位模型，获得至少一个维度上的各第二关键点的位置，将各第一关键点和至少一个维度上的各第二关键点中相同的第一关键点和第二关键点作为目标关键点，并基于相同的第一关键点和第二关键点的位置，确定目标关键点的位置。本发明实施例中，通过采用第一定位模型和第二定位模型自动定位关键点的位置，可以无需人工主观地判断3D影像中的关键点，从而可以提高关键点定位的效率；且，通过第一定位模型和第二定位模型联合分析得到关键点的位置，可以提高关键点定位的精度。

Description

一种关键点定位方法及装置
技术领域
本发明实施例涉及机器学习技术领域，尤其涉及一种关键点定位方法及装置。
背景技术
在医疗技术领域中，通常涉及到从影像中定位关键点的问题，关键点可以是指对于骨骼或器官进行分区的关键点，比如对手骨分区所用到的指骨骨骺、尺骨骨骺、桡骨骨骺，或者对肺分区所用到的气管交叉点、左右肺背段等。通过对影像中的关键点进行定位，可以准确地判断出病灶所在的位置，便于后续制定治疗方案。
现有技术中主要通过人工查看影像的方式定位关键点，比如若医生获取到一张肺部影像，则可以根据经验对肺部影像进行分析，从而对肺部影像中可能是关键点的区域进行手动定位。然而，采用该种方式，由于不同医生的经验不同，因此从影像中定位出的关键点的精度受人为的主观因素影响较大，且人为查看影像通常需要耗费较长的时间，导致工作效率和定位效率均较低。
综上，目前亟需一种关键点定位方法，用以解决现有技术中采用人工方式定位影像中的关键点所导致的关键点的精度受人为的主观因素影响大、效率低的技术问题。
发明内容
本发明实施例提供了一种关键点定位方法及装置，用以解决现有技术中采用人工方式定位影像中的关键点所导致的关键点的精度受人为的主观因素影响大、效率低的技术问题。
第一方面，本发明实施例提供了一种关键点定位方法，包括：
将3D影像输入至第一定位模型，以获得所述3D影像的各第一关键点的位置，并将所述3D影像的至少一个维度的影像层输入至第二定位模型，以获得所述3D影像在所述至少一个维度上的各第二关键点的位置；其中，任一维度的影像层包括以使用所述维度的切分平面切分所述3D影像得到的一帧或多帧连续的2D影像；不同维度的切分平面不平行；进一步地，将所述各第一关键点和所述至少一个维度上的各第二关键点中相同的第一关键点和第二关键点作为目标关键点，基于所述相同的第一关键点和第二关键点的位置，确定所述目标关键点的位置。
在上述设计中，通过采用第一定位模型和第二定位模型自动确定关键点的位置，可以无需人工主观根据3D影像判断关键点，从而可以提高关键点定位的效率；且，通过第一定位模型定位出的第一关键点的位置和第二定位模型定位出的第二关键点的位置联合分析得到目标关键点的位置，可以避免由单个定位模型的误差导致的关键点不精确的技术问题，从而可以提高关键点定位的精度。
在一种可能的设计中，所述第一定位模型包括第一定位模块和第二定位模块；所述将3D影像输入至第一定位模型，以获得所述3D影像的各第一关键点的位置，包括：将所述3D影像输入至所述第一定位模块，以获得所述3D影像的各初始第一关键点的位置，分割所述3D影像，以获得包括所述各初始第一关键点的各个粗分割体，并将所述各个粗分割体输入至与其对应的第二定位模块，以获得所述各个粗分割体包括的各第一关键点的位置。
在上述设计中，通过先采用第一定位模块从3D影像中分割出粗分割体，然后再采用第二定位模块从粗分割体中定位出各第一关键点，可以缩小定位范围，在保证定位精度的同时降低第二定位模块的数据处理量，提高关键点定位的效率。
在一种可能的设计中，所述第二定位模块包括特征提取模块和全连接分类模块；所述将所述各个粗分割体输入至与其对应的第二定位模块，以获得所述各个粗分割体包括的各第一关键点的位置，包括：将任一粗分割体作为多通道输入至所述特征提取模块，以获得所述粗分割体对应的第一特征图像；将所述粗分割体对应的第一特征图像输入至所述全连接分类模块，以确定所述粗分割体上每个像素点的类别，以像素点的类别为目标类别的像素点的位置为所述粗分割体包括的第一关键点的位置。
在一种可能的设计中，所述第二定位模型包括分类器、第三定位模块和第四定位模块；所述将所述3D影像的至少一个维度的影像层输入至第二定位模型，以获得所述3D影像在所述至少一个维度上的各第二关键点的位置，包括：将所述3D影像的至少一个维度的影像层输入至所述分类器，以获得所述3D影像在所述至少一个维度上的各关键帧影像，将所述3D影像在所述至少一个维度上的各关键帧影像输入至所述第三定位模块，以获得所述3D影像在所述至少一个维度上的各初始第二关键点的位置；进一步地，分割所述3D影像在所述至少一个维度上的各关键帧影像，以获得包括所述各初始第二关键点的各个粗分割区域，将所述各个粗分割区域输入至与其对应的第三定位模块，以获得所述各个粗分割区域包括的各第二关键点的位置。
在上述设计中，通过使用分类器从切分得到的各个维度的影像层中确定出关键帧影像，使得第三定位模块和第四定位模块可以为二维的卷积神经网络模型，如此，可以支持使用二维的第三定位模块和第四定位模块处理三维的3D影像，从而可以提高处理效率；且，通过先采用第三定位模块从关键帧影像中分割出粗分割区域，然后再采用第四定位模块从粗分割区域中定位出各第二关键点，可以缩小定位范围，在保证定位精度的同时降低第四定位模块的数据处理量，提高关键点定位的效率。
在一种可能的设计中，所述基于所述相同的第一关键点和第二关键点的位置，确定所述目标关键点的位置，包括：对所述相同的第一关键点和第二关键点的位置进行加权平均，得到所述目标关键点的位置。
在上述设计中，权重可以由本领域技术人员根据实际场景设置的，因此通过采用加权平均的方式确定目标位置，可以使得本发明实施例中的关键点定位方法更加适用于实际场景，用户的体验较好。
第二方面，本发明实施例提供的一种关键点定位装置，包括：
第一定位模型，用于输入3D影像，输出所述3D影像的各第一关键点的位置；
第二定位模型，用于输入所述3D影像的至少一个维度的影像层，输出所述3D影像在所述至少一个维度上的各第二关键点的位置；其中，任一维度的影像层包括以使用所述维度的切分平面切分所述3D影像得到的一帧或多帧连续的2D影像；不同维度的切分平面不平行；
确定模块，用于将所述各第一关键点和所述至少一个维度上的各第二关键点中相同的第一关键点和第二关键点作为目标关键点，基于所述相同的第一关键点和第二关键点的位置，确定所述目标关键点的位置。
在一种可能的设计中，所述第一定位模型包括第一定位模块、第一分割模块和至少一个第二定位模块；所述第一定位模块输入所述3D影像，输出所述3D影像的各初始第一关键点的位置，以使所述第一分割模块基于所述3D影像的各初始第一关键点的位置分割所述3D影像，输出包括所述各初始第一关键点的各个粗分割体；进一步地，所述第二定位模块输入包括所述初始第一关键点的粗分割体，输出所述粗分割体包括的第一关键点的位置。
在一种可能的设计中，所述第二定位模型包括分类器、第三定位模块、第二分割模块和至少一个第四定位模块；所述分类器输入所述3D影像的至少一个维度的影像层，输出所述3D影像在所述至少一个维度上的各关键帧影像，以使所述第三定位模块输入所述3D影像在所述至少一个维度上的各关键帧影像，输出所述3D影像在所述至少一个维度上的各初始第二关键点的位置；相应地，所述第二分割模块基于所述3D影像在所述至少一个维度上的各初始第二关键点的位置分割所述3D影像在所述至少一个维度上的各关键帧影像，输出包括所述各初始第二关键点的各个粗分割区域，所述第四定位模块输入包括所述初始第二关键点的粗分割区域，输出所述粗分割区域包括的各第二关键点的位置。
第三方面，本发明实施例提供的一种关键点定位设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储单元存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行如上述第一方面任意所述的关键点定位方法。
第四方面，本发明实施例提供的一种计算机可读介质，其存储有可由关键点定位设备执行的计算机程序，当所述程序在关键点定位设备上运行时，使得所述关键点定位设备执行如上述第一方面任意所述的关键点定位方法。
本发明的上述方面或其它方面在以下的实施例中进行具体的描述。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种关键点定位方法的流程示意图；
图2为本发明实施例提供的一种3D影像的示意图；
图3为本发明实施例提出的一种调整3D影像的方法的流程示意图；
图4为本发明实施例提供的一种第一定位模块的结构示意图；
图5为本发明实施例提供的一种卷积模块的结构示意图；
图6为本发明实施例提供的一种第三定位模块的结构示意图；
图7为本发明实施例提供的一种卷积特征提取块的示意图；
图8为本发明实施例提供的一种关键点定位装置的结构示意图；
图9为本发明实施例提供的一种关键点定位设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1为本发明实施例提供的一种关键点定位方法的流程示意图，具体包括以下步骤：
步骤101，将3D影像输入至第一定位模型，以获得3D影像的各第一关键点的位置。
本发明实施例中的关键点定位方法可以对3D影像上的关键点进行定位，其中，3D影像可以是采用计算机断层扫描设备拍摄的3D影像，例如，脑部CT影像、胸部CT影像、腿部CT影像等，也可以是采用磁共振设备拍摄的3D影像；相应地，关键点可以为本领域技术人员所公知的点，或者也可以为本领域技术人员根据实际需要设置的点，比如可以为定义分区的关键点，或者可以为确定病灶所在区域的关键点，具体不作限定。
本发明实施例中，示例性地，3D影像可以如图2所示。
在一个示例中，在获取3D影像之后，可以对3D影像进行预处理，比如，可以先从3D影像中分割出目标3D影像，再将分割出的目标3D影像粘贴到和目标3D影像的长宽高相符的纯黑影像上；其中，目标3D影像可以是指感兴趣区域所在的影像，比如纯手骨影像、纯肺影像等。如此，通过对3D影像进行预处理，可以将3D影像上与关键点定位无关的区域的像素属性设置为预设值，而仅保留与关键点相关的区域的像素属性，从而可以提高后续影像定位的效率。
在一种可能的情形中，3D影像可能并不是标准影像，比如由于患者的姿势不标准导致拍摄得到的3D影像中感兴趣区域倾斜。在该种情况下，若采用非标准的3D影像执行后续的关键点定位过程，可能会使得定位出的关键点的位置不准确。
为了解决这个问题，图3为本发明实施例提出的一种调整3D影像的方法的流程示意图，具体包括以下步骤：
步骤301，根据3D影像所属的类型，获取3D影像的多个基准点的预设位置。
其中，基准点可以为本领域技术人员设置的用于标识标准影像中关键区域所在位置的点，相应地，基准点的预设位置可以是指标准影像中指示关键区域的基准位置的点的位置，比如坐标。本发明实施例中，不同类型的标准影像可以对应有不同的基准点；举例来说，若3D影像为手骨影像，则3D影像所属的类型为手骨，手骨影像中的关键区域可以是指中指所在的区域、小指所在的区域、拇指所在的区域等；如此，在手骨类型的标准影像中多个基准点的预设位置可以是指与中指相关的多个点的预设位置，其可以用于标识中指的基准位置，或者也可以是与小指相关的多个点的预设位置，其可以用于标识小指的基准位置，或者还可以是与拇指相关的多个点的预设位置，其可以用于标识拇指的基准位置；又比如，若3D影像为肺影像，则3D影像所属的类型为肺，肺影像中的关键区域可以是指左肺所在的区域、气管所在的区域等；如此，在肺类型的标准影像中多个基准点的预设位置可以是指与左肺相关的多个点的预设位置，其可以用于标识左肺的基准位置；或者也可以是指与气管相关的多个点的预设位置，其可以用于标识气管的基准位置等等。
需要说明的是，基准点的数量可以由本领域技术人员根据实际需要进行设置，比如可以为五个或五个以上，具体不作限定。
步骤302，采用调整模型确定3D影像中多个基准点的实际位置，调整模型是使用预先标记多个基准点的实际位置的多个影像训练深度残差网络得到的。
举例来说，若基准点为与气管相关的点，则调整模型可以为使用预先标记气管相关的多个点的实际位置的多个影像训练得到的，或者若基准点为与中指相关的点，则调整模型可以为使用预先标记中指相关的多个点的实际位置的多个影像训练得到的。具体地说，可以先获取多个影像，然后采用人工的方式标记多个影像中的多个基准点的实际位置，并将标记有多个基准点的实际位置的多个影像输入深度残差网络进行训练；若在某次训练得到的模型参数使得深度残差网络的目标函数满足预设条件，则可以根据该次训练得到的模型参数确定调整模型。
相应地，在使用调整模型时，可以将3D影像输入调整模型，如此，调整模型可以输出3D影像上的多个基准点的实际位置。
步骤303，根据多个基准点的预设位置和多个基准点的实际位置确定3D影像中关键区域的基准位置与当前位置之间的对应关系，并根据对应关系将3D影像中关键区域的当前位置调整至基准位置。
举例来说，若基准点为与气管相关的点，则根据多个基准点的预设位置可以确定气管在3D影像中的基准位置，而根据多个基准点的当前位置可以确定气管在3D影像中的当前位置；如此，根据气管在3D影像中的当前位置以及气管在3D影像中的基准位置之间的对应关系，可以将3D影像调整为标准影像。举例来说，若气管在3D影像中的当前位置相对于气管在3D影像中的基准位置左偏5毫米且右旋0.5度，则可以将3D影像向右平移5毫米，并向左旋转0.5度，从而将3D影像调整为标准影像。在一个示例中，还可以根据气管在3D影像中的当前位置以及气管在3D影像中的基准位置之间的对应关系，确定3D影像中其它关键区域(比如左肺、右肺等)的当前位置与基准位置之间的对应关系，并可以根据各个关键区域的当前位置与基准位置之间的对应关系将3D影像中的各关键区域调整至基准位置。
本发明实施例中，通过在定位3D影像中的关键点之前，先将3D影像中的各关键区域调整至基准位置，可以提高对关键点定位的精度。
进一步地，第一定位模型可以包括第一定位模块和第二定位模块，第一定位模块和第二定位模块可以均为3维卷积神经网络。其中，第一定位模块可以为使用预先标记关键点的多个影像为训练样本训练3维卷积神经网络确定的，第二定位模块可以为使用预先标记关键点的多个粗分割体为训练样本训练3维卷积神经确定的；第二定位模块的数量可以根据各初始第一关键点对应的粗分割体的数量来确定，比如第二定位模块的数量可以等于粗分割体的数量，或者第二定位模块的数量可以大于粗分割体的数量，不作限定。
在一种可能的实现方式中，第一定位模型在接收到3D影像后，可以将3D影像输入第一定位模块，从而确定出3D影像上包括的各初始第一关键点的位置，并可以从3D影像中以各初始第一关键点的位置为基准分割出一个或多个粗分割体；其中，每个粗分割体中可以包括一个或多个初始第一关键点，一个或多个粗分割体的尺寸可以为固定值，比如可以为96*96*96。进一步地，针对于每一个粗分割体，可以将该粗分割体输入至与该粗分割体对应的第二定位模块，从而确定出该粗分割体上包括的一个或多个第一关键点的位置。其中，粗分割体对应的第二定位模块可以是指使用与粗分割体类型相同的训练样本训练得到的深度残差网络。
在一个示例中，第一定位模块在接收到3D影像后，可以先对3D影像进行归一化处理。比如，可以先对3D影像添加边距属性，将3D影像的长宽高比例调整为1:1:1，然后再将3D影像缩放为固定尺寸，比如96*96*96；进一步地，第一定位模块可以在3D影像的各个像素通道上添加每个像素点对应的相对坐标，像素点的相对坐标是指该像素点在缩放后的3D影像上的坐标与该像素点在原3D影像上的坐标的对应关系，如此，缩放后的3D影像中的任一像素点均可以对应原3D影像中的一个像素点；相对坐标可以包括X轴相对坐标、Y轴相对坐标和Z轴相对坐标。
在该示例中，由于第一定位模块对原3D影像进行了缩放，因此第一定位模块在缩放后的3D影像中确定出多个初始第一关键点的位置(比如坐标)后，还可以根据缩放后的3D影像中多个初始第一关键点的位置和像素坐标的对应关系确定出原3D影像中的多个初始第一关键点的位置，进而可以基于多个初始第一关键点的位置从原3D影像中分割出一个或多个粗分割体。
进一步地，以任一粗分割体为例，第一定位模型在将该粗分割体输入对应的第二定位模块之前，还可以对该粗分割体进行调整，以使该粗分割体满足第二定位模块的要求。比如，若粗分割体为立方体，而第二定位模型要求粗分割体的八个面分别在对应的方位，则第一定位模型可以沿着任意轴线旋转该粗分割体，或者可以沿着任意方向平移该粗分割体，以使该粗分割体的八个面分别位于对应的方位。
本发明实施例中，先采用第一定位模块从3D影像中定位出各个初始第一关键点，从而基于各个初始第一关键点从3D影像中分割出各粗分割体，然后再采用第二定位模块从各粗分割体中定位出各个第一关键点的位置，可以缩小第一关键点的定位范围，可以提高对第一关键点定位的精度。
上述过程详细讲述了使用第一定位模块和第二定位模块定位3D影像中的第一关键点的过程，下面具体描述训练得到第一定位模块和第二定位模块的过程。
第一定位模块的训练过程
具体实施中，可以获取多组3D影像作为第一定位模块的训练样本。针对每组3D影像，可以先对该组3D影像进行预处理，再根据该组3D影像的类型将该组3D影像调整为标准3D影像；其中，对3D影像进行预处理以及调整3D影像的过程可以参照上述内容进行实现，此处不再赘述。
在执行完上述步骤后，可以由专业人员(比如医生)在多组3D影像中标注关键点所在的位置，具体地说，可以为每个关键点所在的位置标注一个序号或字符，或者也可以为每个关键点所在的位置标注一种颜色或属性；如此，多组3D影像中相同的关键点所在的位置可以具有相同的特征(比如序号、字符、颜色或属性)。进一步地，可以将已标注关键点所在的位置的多组3D影像作为训练样本，输入至3维卷积神经网络进行训练。
在一个示例中，在将训练样本输入3维卷积神经网络进行训练之前，还可以对训练样本进行数据增强，数据增强的方式包括但不限于：
1、随机旋转一定角度。
2、随机上下左右平移0～30像素。
3、随机缩放0.85～1.15倍。
4、对3D影像的对比度和亮度进行少量抖动。
其中，数据增强的强度可以由本领域技术人员进行设置，具体不作限定。本发明实施例中，通过执行数据增强，可以将训练样本的数据量增强至原训练样本数据量的10倍。
进一步地，3维卷积神经网络模型在接收到训练样本后，可以预测训练样本上关键点的坐标，进而可以根据标注的关键点的坐标和预测的关键点的坐标计算损失函数，若损失函数大于预设阈值，则可以采用反向传播的方法执行迭代过程；若损失函数小于或等于预设阈值，则可以将对应的3维卷积神经网络模型作为第一定位模块。其中，反向传播的方法可以为带有动量和阶梯衰减的随机梯度下降(Stochastic Gradient Descent，SGD)优化算法，具体不作限定。
图4为本发明实施例提供的一种第一定位模块的结构示意图，图5为本发明实施例提供的一种卷积模块的结构示意图，结合图4和图5，第一定位模块可以包括特征提取模块和全连接分类模块。其中，特征提取模块可以包括多个连续的卷积模块，每个卷积模块可以包括一个3维卷积层、一个归一化(Batch Normalization，BN)层、一个激活函数层和一个最大采样(max poling，MP)层；3维卷积层以及最大采样层均可以为固定尺寸，比如3维卷积层为3*3*3、MP层为2*2*2，如图5所示。
需要说明的是，本发明实施例中的激活函数可以为多种类型的激活函数，比如，可以为线性整流函数(Rectified Linear Unit,ReLU)，具体不做限定。
进一步地，全连接分类模块可以包括第一全连接层和第二全连接层，多个连续的卷积模块的输出结果通过第一全连接层进行合并，进而输入第二全连接层，如此，第二全连接层可以输出各个类别的置信度。在一个示例中，为了降低第二全连接层的处理数据量，可以在第一全连接层和第二全连接层之间设置通过率为0.5的dropout层，如此，第一全连接层的输出结果可以通过dropout层进行过滤，进而输出给第二全连接层。
具体实施中，可以将任一粗分割体作为多通道输入至特征提取模块，以提取得到该粗分割体的第一特征图像，进而将该粗分割体的第一特征图像输入全连接分类模块进行分类。其中，全连接分类模块可以输出该粗分割体上每个像素点属于各个类别的置信度，在本发明实施例中，各个类别可以包括关键点类别和非关键点类别，每个像素点属于关键点类别的置信度和非关键点类别的置信度之和可以为1。如此，可以从该粗分割体上的多个像素点中选择关键点类别的置信度最大的像素点作为一个初始第一关键点，或者也可以将该粗分割体上的多个像素点中属于关键点类别的置信度大于预设置信度的像素点作为初始第一关键点，不作限定。
第二定位模块的训练过程
具体实施中，可以直接根据第一定位模块定位出的初始第一关键点的位置从第一定位模块的训练样本中分割得到一个或多个粗定位体，并将一个或多个粗定位体作为第二定位模块的训练样本；或者，也可以重新获取多组3D影像作为第二定位模块的训练样本，针对每组3D影像，可以先将该组3D影像中的各个关键区域调整至基准位置，再对该组3D影像进行预处理；其中，对3D影像进行预处理以及调整3D影像的过程可以参照上述过程进行实现，此处不再赘述；进一步地，针对于每组3D影像，可以按照预设规则从该组3D影像中分割出一个或多个固定尺寸的粗分割体，比如每个粗分割体的尺寸可以为98*98*98。
本发明实施例中，可以将包括相同感兴趣区域的粗分割体作为一组粗分割体，比如若3D影像为手骨影像，则多组3D影像中小指对应的粗分割体可以作为第一组粗分隔体，多组影像中中指对应的粗分割体可以作为第二组粗分隔体，等等；进而可以针对每组粗分割体训练一个第二定位模块。
以训练一个第二定位模块为例，具体地，可以由专业人员在一组粗分割体中标注关键点，或者也可以直接使用第一定位模块预测训练样本中的关键点；进一步地，可以将每个粗分割体调整为标准粗分割体，采用的方法可以参照图3以及步骤301～步骤303，比如，若确定某一粗分割体的方位相对于标准粗分割体向右倾斜1度，则可以将该粗分割体向左旋转1度，或者，若确定某一粗分割体的面相对于标准粗分割体向右上方偏移2毫米，则可以将该粗分割体向左下平移2毫米。如此，在得到标准粗分割体后，可以将该组标准粗分割体作为训练样本，输入3维卷积神经网络模型进行训练。
在一个示例中，在将训练样本输入3维卷积神经网络进行训练之前，还可以对训练样本进行数据增强，数据增强的方式包括但不限于：
1、随机旋转一定角度。
2、随机上下左右平移0～30像素。
3、随机缩放0.85～1.15倍。
4、对粗分割体的对比度和亮度进行少量抖动。
其中，数据增强的强度可以由本领域技术人员进行设置，具体不作限定。本发明实施例中，通过执行数据增强，可以将训练样本的数据量增强至原训练样本数据量的10倍。
进一步地，3维卷积神经网络模型在接收到训练样本后，可以输出该组粗分割体中预测的关键点的坐标，从而可以根据标注的关键点的坐标和预测的关键点的坐标计算损失函数，若损失函数大于预设阈值，则可以采用反向传播的方法执行迭代过程，若损失函数小于或等于预设阈值，则可以使用该次训练对应的3维卷积神经网络模型作为第二定位模块。其中，反向传播的方法可以为带有动量和阶梯衰减的sgd算法，具体不作限定。
本实施例中，第二定位模块中的3维卷积神经网络模型也可以包括一个特征提取模块和一个全连接分类模块。其中，特征提取模块以及全连接分类模块的构成可以参照图4以及图5所示，此处不再赘述。
步骤102，将3D影像的至少一个维度的影像层输入至第二定位模型，以获得3D影像在至少一个维度上的各第二关键点的位置。
具体实施中，在获取3D影像之后，可以对3D影像进行切分，切分前可以先将3D影像转化为DICOM格式的图像，然后根据DICOM格式图像的DICOM信息选取固定的窗宽窗位切分3D影像；如此，可以将3D影像切分以获得多帧的2D影像。在一个示例中，窗宽可以选取为W＝80，窗位可以选取为L＝40。
进一步地，在不同的维度对3D影像进行切分以得到不同维度的多帧2D影像后，还可以对不同维度的多帧2D影像进行归一化处理。具体地说，可以对不同维度的多帧2D影像进行缩放，比如可以将不同维度的多帧2D影像均缩放为同一尺寸，或者也可以将同一维度的多帧2D影像缩放为同一尺寸，不同维度的多帧2D影像缩放为不同尺寸，具体不作限定。本发明实施例中，通过对不同维度的多帧2D影像进行归一化处理，可以使得同一维度的多帧2D影像或不同维度的多帧2D影像具有一致性，从而可以提高后续从影像中定位关键点的效率。
举例来说，对于3D影像而言，可以预先在3D影像上设置参考坐标系，参考坐标系可以由原点o、x轴、y轴和z轴构成；进一步地，可以以xoy平面(即横断面)为切分平面，或以yoz平面(即冠状面)为切分平面，或以xoz平面(即矢状面)为切分平面，从而切分3D影像得到一个维度的多帧2D影像；或者，可以以xoy平面、yoz平面和xoz平面中的任意多个(即两个或两个以上)平面为切分平面，从而切分3D影像得到多个维度的多帧2D影像。若以xoy平面、yoz平面和xoz平面为3个切分平面，则可以使用xoy平面切分3D影像得到多帧(比如90帧)第一维度的2D影像、使用yoz平面切分3D影像得到多帧(比如90帧)第二维度的2D影像、使用xoz平面切分3D影像得到多帧(比如90帧)第三维度的2D影像。其中，90帧第一维度的2D影像中的任一第一维度的2D影像可以与xoy平面平行，90帧第二维度的2D影像中的任一第二维度的2D影像可以与yoz平面平行，90帧第三维度的2D影像中的任一第三维度的2D影像可以与xoz平面平行。
进一步地，在切分得到90帧第一维度的2D影像、90帧第二维度的2D影像和90帧第三维度的2D影像后，还可以对这270帧2D影像进行缩放；在一个示例中，可以将这270帧2D影像均缩放到固定大小，比如512*512像素。以90帧第一维度的2D影像为例，为了保证后续检测2D影像的完整性和一致性，在缩放90帧第一维度的2D影像之前，还可以在90帧第一维度的2D影像的四周添加黑边，从而将这90帧第一维度的2D影像的长宽比例均调整为1:1。
在一种可能的实现方式中，可以采用滑窗方式从90帧第一维度的2D影像中确定出多组第一维度的影像层，其中，滑窗方式所采用的预设滑窗帧数可以由本领域技术人员根据经验进行设置，比如可以为1帧，也可以为至少两帧，具体不作限定。若预设滑窗帧数为3帧，则可以从90帧第一维度的2D影像中确定出八十八组第一维度的影像层，其中，第一～第三帧第一维度的2D影像可以组成第一组第一维度的影像层，第二～第四帧第一维度的2D影像可以组成第二组第一维度的影像层、第三～第五帧第一维度的2D影像可以组成第三组第一维度的影像层，……，第八十八～第九十帧第一维度的2D影像可以组成第八十八组第一维度的影像层。
需要说明的是，上述实现方式仅为一种示例性的说明，并不构成对方案的限定。具体实施中，也可以采用其它方式从90帧第一维度的2D影像中确定出多组第一维度的影像层，举例来说，可以将设定数量的连续的2D影像作为一组影像层，比如若设定数量为3，则可以从90帧第一维度的2D影像中确定出三十组第一维度的影像层，其中，第一～第三帧第一维度的2D影像可以组成第一组第一维度的影像层，第四～第六帧第一维度的2D影像可以组成第二组第一维度的影像层、第七～第九帧第一维度的2D影像可以组成第三组第一维度的影像层，……，第八十八～第九十帧第一维度的2D影像可以组成第三十组第一维度的影像层。
采用上述实现方式，若每组影像层中均包括3帧2D影像，则可以从3D影像中切分得到八十八组第一维度的影像层、八十八组第二维度的影像层以及八十八组第三维度的影像层，每组第一维度的影像层可以包括3帧第一维度的2D影像，每组第二维度的影像层可以包括3帧第二维度的2D影像，每组第三维度的影像层可以包括3帧第三维度的2D影像。
需要说明的是，本发明实施例并不限定第一维度的影像层的数量、第二维度的影像层的数量以及第三维度的影像层的数量，比如第一维度的影像层的数量、第二维度的影像层的数量以及第三维度的影像层的数量可以相同，或者也可以不同，具体不作限定。
进一步地，在切分得到各个维度的影像层后，可以将3D影像的至少一个维度的影像层输入至第二定位模型，以获得3D影像在至少一个维度上的各第二关键点的位置。举例来说，可以将第一维度的影像层输入至第二定位模型，以获得3D影像在第一维度上的各第二关键点的位置；或者也可以将第一维度的影像层和第二维度的影像层输入至第二定位模型，以获得3D影像在第一维度上的各第二关键点的位置以及3D影像在第二维度上的各第二关键点的位置；或者还可以将第一维度的影像层、第二维度的影像层和第三维度的影像层输入至第二定位模型，以获得3D影像在第一维度上的各第二关键点的位置、3D影像在第二维度上的各第二关键点的位置以及3D影像在第三维度上的各第二关键点的位置，等等。
下面以确定3D影像在第一维度上的各第二关键点为例描述步骤102的具体实现过程，确定3D影像在第二维度上和/或第三维度上的各第二关键点的过程可以参照该方法进行实现，不再赘述。
在一种可能的实现方式中，为减少模型的计算量，可以采用2维卷积神经网络定位3D影像在第一维度上的各第二关键点，其中，第二定位模型可以为训练好的卷积神经网络(Convolutional Neural Networks，CNN)模型，也可以为其它模型，不作限定。具体实施中，第二定位模型中可以设置有分类器、第三定位模块和第四定位模块，分类器可以对每组第一维度的影像层进行分类处理，以从每组第一维度的影像层所包括的多帧第一维度的2D影像中确定出关键帧影像，关键帧影像是指包含关键点的2D影像；如此，在使用分类器确定出3D影像在第一维度上的各关键帧影像后，第二定位模型可以将各关键帧影像输入至第三定位模块，以确定出每个关键帧影像中的各初始第二关键点的位置。进一步地，第二定位模型可以以各初始第二关键点的位置为基准从各初始第二关键点对应的关键帧影像中分割出包括各初始第二关键点的各粗分割区域，并可以将各粗分割区域输入至对应的第四定位模块，以从各粗分割区域中确定出各第二关键点的位置。其中，粗分割区域对应的第四定位模块可以是指训练样本的类型与粗分割区域所属的类型相同的深度残差网络。
下面分别描述分类器、第三定位模块和第四定位模块的功能和结构。
分类器
具体实施中，针对于任一组第一维度的影像层，分类器可以确定该组第一维度的影像层所包括的每帧第一维度的2D影像的类别，一帧2D影像的类别可以为关键帧影像或者非关键帧影像。具体实施中，以第一组第一维度的影像层为例，若第一组第一维度的影像层包括第一至第三帧第一维度的2D影像，则分类器可以输出第一至第三帧第一维度的2D影像为关键帧影像的置信度，若第二帧第一维度的2D影像的置信度大于或等于预设置信度，则可以确定第二帧第一维度的2D影像为关键帧影像；相应地，若第三帧第一维度的2D影像的置信度小于预设置信度，则可以确定第三帧第一维度的2D影像为非关键帧影像。其中，预设置信度可以由本领域技术人员根据经验进行设置，比如可以为0.5。
本发明实施例中，若采用滑窗方式切分3D影像得到多组第一维度的影像层，则某一帧第一维度的2D影像可以属于一组或多组第一维度的影像层，比如，在预设滑窗帧数为3帧时，若该帧第一维度的2D影像为3D影像的边缘2D影像，则该帧第一维度的2D影像可以对应有1组第一维度的影像层；若该帧第一维度的2D影像为3D影像的边缘2D影像相邻的2D影像，则该帧第一维度的2D影像可以对应有2组第一维度的影像层；若该帧第一维度的2D影像不为3D影像的边缘2D影像且不为边缘2D影像相邻的2D影像，则该帧第一维度的2D影像可以对应有3组第一维度的影像层。如此，针对于任意一帧第一维度的2D影像，可以先从多组第一维度的影像层中确定出包含该帧第一维度的2D影像的一组或多组第一维度的目标影像层，然后将一组或多组目标影像层中该帧第一维度的2D影像为关键帧影像的置信度的平均值作为该帧第一维度的2D影像为关键帧影像的目标置信度。进一步地，在确定出每一帧第一维度的2D影像为关键帧影像的目标置信度后，可以将目标置信度大于预设置信度的第一维度的2D影像作为3D影像在第一维度上的一个关键帧影像。
需要说明的是，上述实现过程描述了使用分类器确定3D影像在第一维度上的各关键帧影像的过程，可以理解地，本发明实施例中也可以分别将八十八组第二维度的影像层和八十八组第三维度的影像层输入至分类器，以确定出3D影像在第二维度上的关键帧影像以及3D影像在第三维度上的关键帧影像，此处不再赘述。
本发明实施例中，通过使用滑窗方式确定每一帧2D影像的目标置信度，可以充分利用3D影像中相邻2D影像的信息，从而有利于提高关键帧影像判断的准确率；且，通过采用2维卷积神经网络模型确定出3D影像中的关键帧影像，可以降低计算量，提高识别效率。
第三定位模块
具体实施中，在确定出3D影像在第一维度上的各关键帧影像后，可以将第一维度上的各关键帧影像输入第三定位模块，以确定3D影像在第一维度上的各初始第二关键点的位置。在一个示例中，在将第一维度上的关键帧影像输入第三定位模块之前，若确定第一维度上的关键帧影像不是标准关键帧影像，则可以先将第一维度上的关键帧影像调整为标准关键帧影像，然后再输入第三定位模块。其中，标准关键帧影像是预先定义方向、形状、大小和位置的关键帧影像，将关键帧影像调整为标准关键帧影像的过程可以参照图3以及步骤301～步骤303执行，区别仅在于图3描述的调整方式为沿着三维立体中的任一轴线进行旋转或平移，而此处所需的调整方式为沿着2维平面上的任意轴线进行旋转或平移，此处不再赘述。
本发明实施例中，在使用第三定位模块确定出3D影像在第一维度上的各初始第二关键点的位置后，针对于任一初始第二关键点，第二定位模型可以根据该初始第二关键点的位置从包含该初始第二关键点的关键帧影像中分割出一个或多个粗分割区域；其中，每个粗分割区域中可以包括一个或多个初始第二关键点，一个或多个粗分割区域的尺寸可以为固定值，比如可以为96*96。可以理解地，粗分割区域的具体位置以及粗分割区域的形状和大小可以由本领域技术人员根据经验预先进行设置，在此不做限定。
在一种可能的实现方式中，第三定位模块可以是以预先标记关键点的多个关键帧影像为训练样本对深度残差网络进行训练后确定的。训练深度残差网络得到第三定位模块的过程可以如步骤a1～步骤c1所示：
步骤a1，获取训练样本。
此处，可以获取多组3D影像，再将多组3D影像切分为多帧2D影像，或者也可以直接获取摄像装置拍摄得到的多帧2D影像，比如彩色2D影像、灰度2D影像等；进一步地，在获取到多帧2D影像后，可以采用多种方式从多帧2D影像中确定出关键帧影像，比如可以采用人为检测的方式确定关键帧影像，或者也可以使用上述分类器确定关键帧影像，具体不作限定。
在一个示例中，在确定多帧2D影像中的关键帧影像后，还可以将关键帧影像调整为标准关键帧影像，具体的调整过程可以参照上述过程进行实现，此处不再赘述。如此，可以将调整后的关键帧影像作为训练样本。
步骤b1，标记训练样本中关键点所在的位置。
具体实施中，可以由专业人员在调整后的关键帧影像上标注关键点所在的位置，比如可以为每个关键点所在的位置设置一个序号，也可以设置一个字符，还可以使用不同的颜色标注，具体不作限定。
本发明实施例中，在标记训练样本中关键点所在的位置后，还可以对训练样本进行数据增强，数据增强的方法包括但不限于：1、随机旋转一定角度；2、随机上下左右平移0～30像素；3、随机缩放0.85～1.15倍；4、对调整后的关键帧影像的对比度和亮度进行少量抖动。在一个示例中，为了保证数据处理的精确度，可以将训练样本的数据量增强至原数据量的10倍；可以理解地，训练样本的数据量增强的倍数可以由本领域技术人员进行设置，不再赘述。
步骤c1，将训练样本输入深度残差网络，训练得到第三定位模块。
此处，可以将训练样本输入深度残差网络进行训练，训练时可以根据标注的关键点的位置和深度残差网络预测的关键点的位置计算损失函数，并可以通过反向传播的方法进行迭代，迭代的优化算法可以使用带有动量和阶梯衰减的随机梯度下降(StochasticGradient Descent，SGD)优化算法等，具体不作限定。
图6为本发明实施例提供的一种第三定位模块的结构示意图，如图6所示，第三定位模块可以包括N个连续的卷积特征提取块和一个全连接层；其中，每个卷积特征提取块可以包括L个卷积模块，L大于0，任意一个卷积模块中包括卷积层、归一化(BatchNormalization，BN)层及激励层(即激活函数层)，如图7所示。
具体实施中，针对于N个卷积特征提取块中的任意两个连续的卷积特征提取块(比如第一卷积特征提取块和第二卷积特征提取块)，第二卷积特征提取块输出的第二特征图像可以与第一卷积特征提取块输出的第一特征图像相加，作为第三卷积特征提取块的输入或者第二卷积特征提取块的输出。其中，第三卷积特征提取块可以为位于第二卷积特征提取块之后且与第二卷积特征提取块连接的卷积特征提取块。
第四定位模块
具体实施中，针对于3D影像在第一维度上的每一个初始第二关键点，可以从包含该初始第二关键点的关键帧影像中分割出一个或多个粗分割区域，并可以将一个或多个粗分割区域分别输入与一个或多个粗分割区域对应的第四定位模块。其中，与粗分割区域对应的第四定位模型可以为使用与粗分割区域类型相同的训练样本训练得到的深度残差网络，每个粗分割区域对应的第四定位模块可以输出每个粗分割区域所包括的第二关键点的位置。
在一个示例中，在将任一粗分割区域输入该粗分割区域对应的第四定位模块之前，还可以对该粗分割区域进行调整，以使该粗分割区域满足第四定位模块的要求。比如，若粗分割区域为正方形区域，而第四定位模型要求粗分割区域的四个边分别在对应的方位，则第二定位模型可以沿着任意轴线旋转该粗分割区域，或者可以沿着任意方向平移该粗分割区域，以使该粗分割区域的四个边分别位于对应的方位。
本发明实施例中，通过先采用第三定位模块定位出各初始第二关键点的位置，然后再采用第四定位模块从包含各初始第二关键点的各粗分割区域中定位出各第二关键点，可以缩小第二关键点定位的范围，提高关键点定位的精度。
在一种可能的实现方式中，第四定位模块可以是以预先标记关键点的多个粗分割区域为训练样本对深度残差网络进行训练后确定的，第四定位模块的数量可以根据各初始第二关键点对应的粗分割区域的数量来确定。训练深度残差网络得到第四定位模块的过程可以如步骤a2～步骤c2所示：
步骤a2：获取训练样本。
此处，可以先获取多张关键帧影像，然后将多张关键帧影像调整至基准位置，再对多张关键帧影像进行预处理，预处理的方式不限于将关键帧影像调整为标准关键帧影像和归一化处理。其中，调整关键帧影像至基准位置、调整关键帧影像为标准关键帧和归一化处理的过程均可以参照上述方法实现，不再赘述。进一步地，针对于每一张调整后的关键帧影像，可以按照预设规则从该调整后的关键帧影像中分割出一个或多个粗分割区域；举例来说，若该调整后的关键帧影像为脑部关键帧影像，则可以从脑部关键帧影像中分割出左脑区域、右脑区域、垂体区域等粗分割区域，或者若该调整后的关键帧影像为肺部关键帧影像，则可以从肺部关键帧影像中分割出左肺区域、右肺区域、气管区域等粗分割区域。其中，粗分割区域可以由本领域技术人员根据经验选择，具体不作限定。
本发明实施例可以针对每种类型的粗分割区域训练一个第四定位模块，比如对左脑区域训练一个第四定位模块，对右脑区域训练一个第四定位模块，对垂体区域训练一个第四定位模块，对左肺区域训练一个第四定位模块，对右肺区域训练一个第四定位模块，对气管区域训练一个第四定位模块等。
步骤b2：标记训练样本中关键点所在的位置。
具体实施中，针对任一个第四定位模块，可以由专业人员在该第四定位模块对应的训练样本上标注关键点所在的位置，或者也可以直接使用第三定位模块预测关键点所在的位置，具体不作限定。本发明实施例中，在标注训练样本中关键点所在的位置后，还可以对训练样本进行数据增强，数据增强的方法包括但不限于：1.随机上下左右平移0～20像素；2.随机旋转-20～20度；3.随机缩放0.8～1.2倍。在一个示例中，为了保证数据处理的精确度，可以将训练样本的数据量增强至原数据量的10倍；可以理解地，训练样本的数据量增强的倍数可以由本领域技术人员进行设置，此处不再赘述。
步骤c2：将训练样本输入深度残差网络，训练得到第四定位模块。
此处，可以将训练样本输入深度残差网络进行训练，训练时可以根据标注的关键点的位置和深度残差网络预测的关键点的位置计算损失函数，并可以通过反向传播的方法进行迭代，迭代的优化算法可以使用带有动量和阶梯衰减的SGD优化算法等，具体不作限定。
在一种可能的实现方式中，第四定位模块可以包括N个连续的卷积特征提取块和一个全连接层；其中，每个卷积特征提取块可以包括L个卷积模块，L大于0，任意一个卷积模块中包括卷积层、归一化(Batch Normalization，BN)层及激励层，第四定位模块的结构可以图6所示，卷积特征提取块的结构可以如图7所示。
具体实施中，针对于N个卷积特征提取块中的任意两个连续的卷积特征提取块(比如第一卷积特征提取块和第二卷积特征提取块)，第二卷积特征提取块输出的第二特征图像可以与第一卷积特征提取块输出的第一特征图像相加，作为第三卷积特征提取块的输入或者第二卷积特征提取块的输出。其中，第三卷积特征提取块可以为位于第二卷积特征提取块之后且与第二卷积特征提取块连接的卷积特征提取块。
需要说明的是，上述方式具体描述了将八十八组第一维度的影像层输入第二定位模型，从而定位出3D影像在第一维度上的各第二关键点的过程，可以理解地，若同时将八十八组第一维度的影像层、八十八组第二维度的影像层和八十八组第三维度的影像层输入第二定位模型，则可以分别定位出3D影像在第一维度上的各第二关键点、3D影像在第二维度上的各第二关键点和3D影像在第三维度上的各第二关键点。
步骤103，将各第一关键点和至少一个维度的各第二关键点中相同的第一关键点和第二关键点作为目标关键点，基于相同的第一关键点和第二关键点的位置，确定目标关键点的位置。
本发明实施例中，在训练第一定位模型和第二定位模型时，可以人为对训练样本中的关键点设置标识，标识可以为序号、字符等信息；如此，第一定位模型和第二定位模型所定位出的3D影像中的关键点不仅可以包括关键点的位置，还可以包括关键点的标识。如此，在确定出3D影像的各第一关键点的位置和标识，以及确定出3D影像在至少一个维度上的各第二关键点的位置和标识后，可以根据各第一关键点的标识与至少一个维度上的各第二关键点的标识确定出标识相同的第一关键点和第二关键点，将标识信息相同的第一关键点和第二关键点作为一个目标关键点。如此，一个目标关键点可以对应多个位置，比如若确定出3D影像中的各第一关键点的位置和标识，以及确定出3D影像在第一～第三维度上的各第二关键点的位置和标识，则一个目标关键点可以对应4个位置，第一关键点的坐标、第一维度上的第二关键点的位置、第二维度上的第二关键点的位置和第三维度上的第二关键点的位置。
进一步地，确定目标关键点的位置的方式可以有多种，比如可以将目标关键点的对应的多个位置的平均值作为目标关键点的位置，或者可以从目标关键点的多个位置中选取较为接近的至少两个位置，并将较为接近的至少两个位置的平均值作为目标关键点的位置，具体不作限定。在一个示例中，可以预先设置第一关键点的位置对应的权重以及至少一个维度上的各第二关键点的位置对应的权重，第一关键点的位置对应的权重和至少一个维度上的各第二关键点的位置对应的权重之和可以为1；如此，可以将第一关键点的位置和至少一个维度上的各第二关键点的位置的加权平均值作为目标关键点的位置。
需要说明的是，第一关键点的位置对应的权重以及至少一个维度上的各第二关键点对应的权重可以由本领域技术人员根据实际场景进行设置，不作限定。
根据上述内容可知：本发明的上述实施例中，将3D影像输入至第一定位模型，以获得3D影像的各第一关键点的位置，将3D影像的至少一个维度的影像层输入至第二定位模型，以获得3D影像在至少一个维度上的各第二关键点的位置；其中，任一维度的影像层包括以使用所述维度的切分平面切分3D影像得到的一帧或多帧连续的2D影像，不同维度的切分平面不平行；进一步地，将各第一关键点和至少一个维度上的各第二关键点中相同的第一关键点和第二关键点作为目标关键点，基于相同的第一关键点和第二关键点的位置，确定目标关键点的位置。本发明实施例中，通过采用第一定位模型和第二定位模型自动确定关键点的位置，可以无需人工主观根据3D影像判断关键点，从而可以提高关键点定位的效率；且，通过第一定位模型定位出的第一关键点的位置和第二定位模型定位出的第二关键点的位置联合分析得到目标关键点的位置，可以避免由单个定位模型的误差导致的不精确的技术问题，从而可以提高关键点定位的精度。
针对上述方法流程，本发明实施例还提供一种关键点定位装置，该装置的具体内容可以参照上述方法实施。
图8为本发明实施例提供的一种关键点定位装置的结构示意图，该装置包括：
第一定位模型810，用于输入3D影像，输出所述3D影像的各第一关键点的位置；
第二定位模型820，用于输入所述3D影像的至少一个维度的影像层，输出所述3D影像在所述至少一个维度上的各第二关键点的位置；其中，任一维度的影像层包括以使用所述维度的切分平面切分所述3D影像得到的一帧或多帧连续的2D影像；不同维度的切分平面不平行；
确定模块830，用于将所述各第一关键点和所述至少一个维度上的各第二关键点中相同的第一关键点和第二关键点作为目标关键点，基于所述相同的第一关键点和第二关键点的位置，确定所述目标关键点的位置。
可选地，所述第一定位模型810包括第一定位模块、第一分割模块和至少一个第二定位模块；
所述第一定位模块，用于输入所述3D影像，输出所述3D影像的各初始第一关键点的位置；
所述第一分割模块，用于基于所述3D影像的各初始第一关键点的位置分割所述3D影像，输出包括所述各初始第一关键点的各个粗分割体；
所述第二定位模块，用于输入包括所述初始第一关键点的粗分割体，输出所述粗分割体包括的第一关键点的位置。
可选地，所述第二定位模型820包括分类器、第三定位模块、第二分割模块和至少一个第四定位模块；
所述分类器，用于输入所述3D影像的至少一个维度的影像层，输出所述3D影像在所述至少一个维度上的各关键帧影像；
所述第三定位模块，用于输入所述3D影像在所述至少一个维度上的各关键帧影像，输出所述3D影像在所述至少一个维度上的各初始第二关键点的位置；
所述第二分割模块，用于基于所述3D影像在所述至少一个维度上的各初始第二关键点的位置分割所述3D影像在所述至少一个维度上的各关键帧影像，输出包括所述各初始第二关键点的各个粗分割区域；
所述第四定位模块，用于输入包括所述初始第二关键点的粗分割区域，输出所述粗分割区域包括的各第二关键点的位置。
本发明的上述实施例中，将3D影像输入至第一定位模型，以获得3D影像的各第一关键点的位置，并将3D影像的至少一个维度的影像层输入至第二定位模型，以获得3D影像在至少一个维度上的各第二关键点的位置；其中，任一维度的影像层包括以使用维度的切分平面切分3D影像得到的一帧或多帧连续的2D影像，不同维度的切分平面不平行；进一步地，将各第一关键点和至少一个维度上的各第二关键点中相同的第一关键点和第二关键点作为目标关键点，基于相同的第一关键点和第二关键点的位置，确定目标关键点的位置。本发明实施例中，通过采用第一定位模型和第二定位模型自动确定关键点的位置，可以无需人工主观根据3D影像判断关键点，从而可以提高关键点定位的效率；且，通过第一定位模型定位出的第一关键点的位置和第二定位模型定位出的第二关键点的位置联合分析得到目标关键点的位置，可以避免由单个定位模型的误差导致的不精确的技术问题，从而可以提高关键点定位的精度。
基于相同的技术构思，本发明实施例提供了一种关键点定位设备，如图9所示，包括至少一个处理器1201，以及与至少一个处理器连接的存储器1202，本发明实施例中不限定处理器1201与存储器1202之间的具体连接介质，图9中处理器1201和存储器1202之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。
在本发明实施例中，存储器1202存储有可被至少一个处理器1201执行的指令，至少一个处理器1201通过执行存储器1202存储的指令，可以执行前述的关键点定位方法中所包括的步骤。
其中，处理器1201是关键点定位设备的控制中心，可以利用各种接口和线路连接关键点定位设备的各个部分，通过运行或执行存储在存储器1202内的指令以及调用存储在存储器1202内的数据，从而实现关键点定位。可选的，处理器1201可包括一个或多个处理单元，处理器1201可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1201中。在一些实施例中，处理器1201和存储器1202可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器1201可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器1202作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器1202可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器1202是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本发明实施例中的存储器1202还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
基于同一发明构思，本发明实施例还提供了一种计算机可读介质，其存储有可由关键点定位设备执行的计算机程序，当所述程序在关键点定位设备上运行时，使得所述关键点定位设备执行关键点定位方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种关键点定位方法，其特征在于，包括：
将3D影像输入至第一定位模型，以获得所述3D影像的各第一关键点的位置；
将所述3D影像的至少一个维度的影像层输入至第二定位模型，以获得所述3D影像在所述至少一个维度上的各第二关键点的位置；其中，任一维度的影像层包括以使用所述维度的切分平面切分所述3D影像得到的一帧或多帧连续的2D影像；不同维度的切分平面不平行；
将所述各第一关键点和所述至少一个维度上的各第二关键点中相同的第一关键点和第二关键点作为目标关键点，基于所述相同的第一关键点和第二关键点的位置，确定所述目标关键点的位置。
2.根据权利要求1所述的方法，其特征在于，所述第一定位模型包括第一定位模块和第二定位模块，所述将3D影像输入至第一定位模型，以获得所述3D影像的各第一关键点的位置，包括：
将所述3D影像输入至所述第一定位模块，以获得所述3D影像的各初始第一关键点的位置；
分割所述3D影像，以获得包括所述各初始第一关键点的各个粗分割体；
将所述各个粗分割体输入至与其对应的第二定位模块，以获得所述各个粗分割体包括的各第一关键点的位置。
3.根据权利要求2所述的方法，其特征在于，所述第二定位模块包括特征提取模块和全连接分类模块，所述将所述各个粗分割体输入至与其对应的第二定位模块，以获得所述各个粗分割体包括的各第一关键点的位置，包括：
将任一粗分割体作为多通道输入至所述特征提取模块，以获得所述粗分割体对应的第一特征图像；将所述粗分割体对应的第一特征图像输入至所述全连接分类模块，以确定所述粗分割体上每个像素点的类别，以像素点的类别为目标类别的像素点的位置为所述粗分割体包括的第一关键点的位置。
4.根据权利要求1～3任一项所述的方法，其特征在于，所述第二定位模型包括分类器、第三定位模块和第四定位模块，所述将所述3D影像的至少一个维度的影像层输入至第二定位模型，以获得所述3D影像在所述至少一个维度上的各第二关键点的位置，包括：
将所述3D影像的至少一个维度的影像层输入至所述分类器，以获得所述3D影像在所述至少一个维度上的各关键帧影像；
将所述3D影像在所述至少一个维度上的各关键帧影像输入至所述第三定位模块，以获得所述3D影像在所述至少一个维度上的各初始第二关键点的位置；
分割所述3D影像在所述至少一个维度上的关键帧影像，以获得包括所述各初始第二关键点的各个粗分割区域；
将所述各个粗分割区域输入至与其对应的第三定位模块，以获得所述各个粗分割区域包括的各第二关键点的位置。
5.根据权利要求1～3任一项所述的方法，其特征在于，所述基于所述相同的第一关键点和第二关键点的位置，确定所述目标关键点的位置，包括：
对所述相同的第一关键点和第二关键点的位置进行加权平均，得到所述目标关键点的位置。
6.一种关键点定位装置，其特征在于，包括：
第一定位模型，用于输入3D影像，输出所述3D影像的各第一关键点的位置；
第二定位模型，用于输入所述3D影像的至少一个维度的影像层，输出所述3D影像在所述至少一个维度上的各第二关键点的位置；其中，任一维度的影像层包括以使用所述维度的切分平面切分所述3D影像得到的一帧或多帧连续的2D影像；不同维度的切分平面不平行；
确定模块，用于将所述各第一关键点和所述至少一个维度上的各第二关键点中相同的第一关键点和第二关键点作为目标关键点，基于所述相同的第一关键点和第二关键点的位置，确定所述目标关键点的位置。
7.根据权利要求6所述的装置，其特征在于，所述第一定位模型包括第一定位模块、第一分割模块和至少一个第二定位模块；
所述第一定位模块，用于输入所述3D影像，输出所述3D影像的各初始第一关键点的位置；
所述第一分割模块，用于基于所述3D影像的各初始第一关键点的位置分割所述3D影像，输出包括所述各初始第一关键点的各个粗分割体；
所述第二定位模块，用于输入包括所述初始第一关键点的粗分割体，输出所述粗分割体包括的第一关键点的位置。
8.根据权利要求6～7任一项所述的装置，其特征在于，所述第二定位模型包括分类器、第三定位模块、第二分割模块和至少一个第四定位模块；
所述分类器，用于输入所述3D影像的至少一个维度的影像层，输出所述3D影像在所述至少一个维度上的各关键帧影像；
所述第三定位模块，用于输入所述3D影像在所述至少一个维度上的各关键帧影像，输出所述3D影像在所述至少一个维度上的各初始第二关键点的位置；
所述第二分割模块，用于基于所述3D影像在所述至少一个维度上的各初始第二关键点的位置分割所述3D影像在所述至少一个维度上的各关键帧影像，输出包括所述各初始第二关键点的各个粗分割区域；
所述第四定位模块，用于输入包括所述初始第二关键点的粗分割区域，输出所述粗分割区域包括的各第二关键点的位置。
9.一种关键点定位设备，其特征在于，包括至少一个处理器、以及至少一个存储器，其中，所述存储单元存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行权利要求1～5任一权利要求所述方法的步骤。
10.一种计算机可读介质，其特征在于，其存储有可由关键点定位设备执行的计算机程序，当所述程序在关键点定位设备上运行时，使得所述关键点定位设备执行权利要求1～5任一所述方法的步骤。
CN201910713688.0A 2019-08-02 2019-08-02 一种关键点定位方法及装置 Active CN110533639B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910713688.0A CN110533639B (zh) 2019-08-02 2019-08-02 一种关键点定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910713688.0A CN110533639B (zh) 2019-08-02 2019-08-02 一种关键点定位方法及装置

Publications (2)

Publication Number Publication Date
CN110533639A true CN110533639A (zh) 2019-12-03
CN110533639B CN110533639B (zh) 2022-04-15

Family

ID=68662092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910713688.0A Active CN110533639B (zh) 2019-08-02 2019-08-02 一种关键点定位方法及装置

Country Status (1)

Country Link
CN (1) CN110533639B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145185A (zh) * 2019-12-17 2020-05-12 天津市肿瘤医院 一种基于聚类关键帧提取ct图像的肺实质分割方法
CN111368832A (zh) * 2020-03-05 2020-07-03 北京推想科技有限公司 感兴趣区域的标记方法、装置、设备和存储介质
CN111951309A (zh) * 2020-06-30 2020-11-17 杭州依图医疗技术有限公司 一种淋巴结配准方法及装置、计算机设备及存储介质
CN112001889A (zh) * 2020-07-22 2020-11-27 杭州依图医疗技术有限公司 医学影像处理方法、装置及医学影像显示方法
WO2022007342A1 (zh) * 2020-07-07 2022-01-13 上海商汤智能科技有限公司 图像处理方法及装置、电子设备、存储介质和程序产品

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345740A (zh) * 2013-06-13 2013-10-09 沈阳航空航天大学 基于多投影图像配准的肺结节检测方法
CN104143184A (zh) * 2013-05-10 2014-11-12 上海联影医疗科技有限公司 一种肺部分割的方法
CN103646395B (zh) * 2013-11-28 2016-06-01 中南大学 一种基于格网法的高精度影像配准方法
CN105719324A (zh) * 2014-12-19 2016-06-29 株式会社东芝 图像处理装置以及图像处理方法
CN106097325A (zh) * 2016-06-06 2016-11-09 厦门铭微科技有限公司 一种基于三维重建图像的定位指示生成方法及装置
CN106355023A (zh) * 2016-08-31 2017-01-25 北京数字精准医疗科技有限公司 基于医学影像的开放式定量分析方法与系统
CN107808377A (zh) * 2017-10-31 2018-03-16 北京青燕祥云科技有限公司 一种肺叶中病灶的定位方法及装置
CN107909588A (zh) * 2017-07-26 2018-04-13 广州慧扬健康科技有限公司 基于三维全卷积神经网络的mri皮质下分区系统
CN108447082A (zh) * 2018-03-15 2018-08-24 深圳市唯特视科技有限公司 一种基于联合学习关键点检测器的三维目标匹配方法
CN108717707A (zh) * 2018-04-10 2018-10-30 杭州依图医疗技术有限公司 一种结节匹配方法及装置
CN109166133A (zh) * 2018-07-14 2019-01-08 西北大学 基于关键点检测和深度学习的软组织器官图像分割方法
CN109447963A (zh) * 2018-10-22 2019-03-08 杭州依图医疗技术有限公司 一种脑部影像识别的方法及装置
CN109509177A (zh) * 2018-10-22 2019-03-22 杭州依图医疗技术有限公司 一种脑部影像识别的方法及装置
CN109919122A (zh) * 2019-03-18 2019-06-21 中国石油大学(华东) 一种基于3d人体关键点的时序行为检测方法
CN109934841A (zh) * 2019-03-27 2019-06-25 上海宽带技术及应用工程研究中心 肝部轮廓的检测方法、系统、存储介质、终端及显示系统
CN109978838A (zh) * 2019-03-08 2019-07-05 腾讯科技（深圳）有限公司 图像区域定位方法、装置和医学图像处理设备

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104143184A (zh) * 2013-05-10 2014-11-12 上海联影医疗科技有限公司 一种肺部分割的方法
CN103345740A (zh) * 2013-06-13 2013-10-09 沈阳航空航天大学 基于多投影图像配准的肺结节检测方法
CN103646395B (zh) * 2013-11-28 2016-06-01 中南大学 一种基于格网法的高精度影像配准方法
CN105719324A (zh) * 2014-12-19 2016-06-29 株式会社东芝 图像处理装置以及图像处理方法
CN106097325A (zh) * 2016-06-06 2016-11-09 厦门铭微科技有限公司 一种基于三维重建图像的定位指示生成方法及装置
CN106355023A (zh) * 2016-08-31 2017-01-25 北京数字精准医疗科技有限公司 基于医学影像的开放式定量分析方法与系统
CN107909588A (zh) * 2017-07-26 2018-04-13 广州慧扬健康科技有限公司 基于三维全卷积神经网络的mri皮质下分区系统
CN107808377A (zh) * 2017-10-31 2018-03-16 北京青燕祥云科技有限公司 一种肺叶中病灶的定位方法及装置
CN108447082A (zh) * 2018-03-15 2018-08-24 深圳市唯特视科技有限公司 一种基于联合学习关键点检测器的三维目标匹配方法
CN108717707A (zh) * 2018-04-10 2018-10-30 杭州依图医疗技术有限公司 一种结节匹配方法及装置
CN109166133A (zh) * 2018-07-14 2019-01-08 西北大学 基于关键点检测和深度学习的软组织器官图像分割方法
CN109447963A (zh) * 2018-10-22 2019-03-08 杭州依图医疗技术有限公司 一种脑部影像识别的方法及装置
CN109509177A (zh) * 2018-10-22 2019-03-22 杭州依图医疗技术有限公司 一种脑部影像识别的方法及装置
CN109978838A (zh) * 2019-03-08 2019-07-05 腾讯科技（深圳）有限公司 图像区域定位方法、装置和医学图像处理设备
CN109919122A (zh) * 2019-03-18 2019-06-21 中国石油大学(华东) 一种基于3d人体关键点的时序行为检测方法
CN109934841A (zh) * 2019-03-27 2019-06-25 上海宽带技术及应用工程研究中心 肝部轮廓的检测方法、系统、存储介质、终端及显示系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MAX BLENDOWSKI 等: "Combining MRF-based deformable registration and deep binary 3D-CNN descriptors for large lung motion estimation in COPD patients", 《INTERNATIONAL JOURNAL OF COMPUTER ASSISTED RADIOLOGY AND SURGERY》 *
吴保荣 等: "融合多维度卷积神经网络的肺结节分类方法", 《计算机工程与应用》 *
揭萍: "基于序列图像分析的医学CT图像分割算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145185A (zh) * 2019-12-17 2020-05-12 天津市肿瘤医院 一种基于聚类关键帧提取ct图像的肺实质分割方法
CN111145185B (zh) * 2019-12-17 2023-12-22 天津市肿瘤医院 一种基于聚类关键帧提取ct图像的肺实质分割方法
CN111368832A (zh) * 2020-03-05 2020-07-03 北京推想科技有限公司 感兴趣区域的标记方法、装置、设备和存储介质
CN111368832B (zh) * 2020-03-05 2023-06-20 推想医疗科技股份有限公司 感兴趣区域的标记方法、装置、设备和存储介质
CN111951309A (zh) * 2020-06-30 2020-11-17 杭州依图医疗技术有限公司 一种淋巴结配准方法及装置、计算机设备及存储介质
CN111951309B (zh) * 2020-06-30 2024-01-30 杭州依图医疗技术有限公司 一种淋巴结配准方法及装置、计算机设备及存储介质
WO2022007342A1 (zh) * 2020-07-07 2022-01-13 上海商汤智能科技有限公司 图像处理方法及装置、电子设备、存储介质和程序产品
JP2022542780A (ja) * 2020-07-07 2022-10-07 シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド 画像処理方法及び装置、電子機器、記憶媒体並びにプログラム製品
CN112001889A (zh) * 2020-07-22 2020-11-27 杭州依图医疗技术有限公司 医学影像处理方法、装置及医学影像显示方法

Also Published As

Publication number Publication date
CN110533639B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN110533639A (zh) 一种关键点定位方法及装置
CN109408653B (zh) 基于多特征检索和形变的人体发型生成方法
CN106030661B (zh) 视野独立的3d场景纹理化背景
WO2021174939A1 (zh) 人脸图像的获取方法与系统
CN110111418A (zh) 创建脸部模型的方法、装置及电子设备
CN110335277A (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN110147721A (zh) 一种三维人脸识别方法、模型训练方法和装置
CN108921057B (zh) 基于卷积神经网络的对虾形态测量方法、介质、终端设备及装置
CN107993216A (zh) 一种图像融合方法及其设备、存储介质、终端
CN109377484A (zh) 一种检测骨龄的方法及装置
CN107085825A (zh) 图像虚化方法、装置及电子设备
CN109657583A (zh) 脸部关键点检测方法、装置、计算机设备和存储介质
CN110533029A (zh) 确定影像中目标区域的方法及装置
CN109146879A (zh) 一种检测骨龄的方法及装置
EP1334470A2 (en) Facial animation of a personalized 3-d face model using a control mesh
CN112419170A (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
CN110197462A (zh) 一种人脸图像实时美化与纹理合成方法
CN109754396A (zh) 图像的配准方法、装置、计算机设备和存储介质
CN109711268B (zh) 一种人脸图像筛选方法及设备
CN108463823A (zh) 一种用户头发模型的重建方法、装置及终端
CN110176064B (zh) 一种摄影测量生成三维模型的主体对象自动识别方法
CN109272002A (zh) 一种骨龄片的分类方法及装置
CN109285154A (zh) 一种检测骨龄的方法及装置
CN109146767A (zh) 基于深度图的图像虚化方法及装置
CN108564120A (zh) 基于深度神经网络的特征点提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant