CN111798976A - 一种ddh人工智能辅助诊断方法及装置 - Google Patents

一种ddh人工智能辅助诊断方法及装置 Download PDF

Info

Publication number
CN111798976A
CN111798976A CN202010578575.7A CN202010578575A CN111798976A CN 111798976 A CN111798976 A CN 111798976A CN 202010578575 A CN202010578575 A CN 202010578575A CN 111798976 A CN111798976 A CN 111798976A
Authority
CN
China
Prior art keywords
hip
network
ddh
acetabulum
age
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010578575.7A
Other languages
English (en)
Other versions
CN111798976B (zh
Inventor
宫平
施岚峰
俞益州
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN202010578575.7A priority Critical patent/CN111798976B/zh
Publication of CN111798976A publication Critical patent/CN111798976A/zh
Application granted granted Critical
Publication of CN111798976B publication Critical patent/CN111798976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提供了一种DDH人工智能辅助诊断方法及装置,方法包括:通过实例分割网络,分割出髋部各骨,进行影像质量控制;通过关键点检测网络,结合月龄信息,得到髋关节关键点;基于髋关节关键点,测量髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别;结合月龄信息,训练髋关节发育异常识别网络,检测征象;结合月龄信息、病例病史信息、髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别和征象,训练分类网络,得出DDH辅助诊断结果。不仅可以自动、快速、准确的计算DDH涉及的各项测量指标,而且考虑了患儿病例病史信息,可给出DDH辅助诊断建议,能够提高DDH的临床诊断效率和准确性。

Description

一种DDH人工智能辅助诊断方法及装置
技术领域
本发明涉及计算机领域,尤其涉及一种DDH人工智能辅助诊断方法及装置。
背景技术
发育性髋关节发育不良(DDH)是常见的小儿骨科疾病之一,对患儿生活影响很大。根据临床诊疗指南,DDH包括髋臼发育不良、髋关节半脱位及髋关节脱位。在中国,DDH发病率大约为1‰,其中20%DDH患者具有家族史,女孩的发病率是男孩的6倍左右,髋关节左侧发病率约为右侧的2倍。DDH公认的治疗原则是早发现、早治疗。对于6月以下的儿童,DDH筛查、诊断主要采用超声影像;对于6个月以上的儿童,主要以X片影像作为诊断依据。
在DDH诊断中,医生首先需要在X线片上找出一组DDH诊断相关的关键点(landmark),并依据这些landmarks,测量出髋臼指数、CE角(中心边缘角)、股骨头覆盖率;还需计算出Tonnis分级或IHDI分级。然后,医生需要结合一些髋关节X线片的征象,如“沈通氏线是否连续、髋臼外侧缘是否锐利清晰、髋臼顶部是否呈弧形”,并综合考虑患儿的病例病史信息,在报告中给出髋关节发育正常、髋臼发育不良、髋关节半脱位、髋关节脱位中的一种诊断结论,以对应不同的治疗路径。该过程不仅繁琐耗时,且医生间一致性较差。
且现有的基于人工智能的DDH公开文献,仅完成了X线片上DDH诊断相关的关键点定位及髋臼指数的计算;并且没有考虑对DDH临床诊断有意义的患儿月龄等信息。
因此,现有的基于X片影像的DDH人工智能诊断方法,具有以下局限性:(1)只给出CE角、髋臼指数等部分测量指标,未能给出‘沈通氏线是否连续,髋臼外侧缘是否锐利清晰、髋臼顶部是否呈弧形’等髋关节发育异常征象的判断,也不能给出‘髋臼发育不良,髋关节半脱位及髋关节脱位’的诊断结果。(2)现有方法,没有合理利用患儿的月龄信息,由于不同月龄段儿童髋关节部位形态发育变化大,各测量指标的合理范围也随月龄的变化而发生明显变化,不考虑患者月龄将引入较大的不确定性。(3)DDH的测量与诊断,对髋关节正位片的拍摄质量(尤其是拍摄姿态的规范性)有严格要求。公开文献中没有关于自动识别‘髋关节正位片’拍摄姿态是否合格的方法。
发明内容
本发明旨在提供一种克服上述问题或者至少部分地解决上述问题的DDH人工智能辅助诊断方法及装置。
为达到上述目的,本发明的技术方案具体是这样实现的:
本发明一方面提供了一种DDH人工智能辅助诊断方法,包括:通过实例分割网络,分割出髋部各骨,进行影像质量控制;通过关键点检测网络,结合月龄信息,得到髋关节关键点;基于髋关节关键点,测量髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别;结合月龄信息,训练髋关节发育异常识别网络,检测征象;结合月龄信息、病例病史信息、髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别和征象,训练分类网络,得出DDH辅助诊断结果。
其中,通过实例分割网络,分割出髋部各骨,进行影像质量控制包括:通过实例分割网络将髋关节各骨头分割出来,分别计算出左髋的髂骨、右髋的髂骨、耻骨、坐骨的投影面积;通过左髋的髂骨和右髋的髂骨的投影面积比例,确定拍摄角度的水平方向偏差;计算耻骨和坐骨最高点的水平切线,以耻骨和坐骨顶端两水平切线之间的垂直距离和坐骨投影垂直高度的比值确定拍摄角度的垂直方向偏差。
其中,通过关键点检测网络,结合月龄信息,得到髋关节关键点包括:根据拍摄角度的水平方向偏差和拍摄角度的垂直方向偏差确定各骨的轮廓;根据各骨的轮廓,确定感兴趣区域,以及感兴趣区域中的关键点,其中,关键点包括:髋臼外侧缘点、三角软骨中心点、股骨头中心点、股骨骺端上缘中点。
其中,基于髋关节关键点,测量髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别包括:利用关键点检测网络提取关键点特征;将利用月龄预测模块获取的月龄特征向量和关键点特征进行拼接,训练以月龄为条件的关键点概率分布,得到关键点并计算髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别。
其中,结合月龄信息,训练髋关节发育异常识别网络,检测征象包括:利用主干网络提取三项征象影像特征,其中,三项征象影像特征包括:沈通氏线是否不连续、髋臼外侧缘是否不够锐利清晰、髋臼顶部是否不呈弧形;将月龄特征向量和主干网络提取的三项征象影像特征进行拼接,采用交叉熵损失函数分别计算三项征象分类的损失,训练符合特定年龄段的髋关节发育异常征象。
其中,结合月龄信息、病例病史信息、髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别和征象,训练分类网络,得出DDH辅助诊断结果包括:训练分类器,将髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别、符合特定年龄段的髋关节发育异常征象、主干网络提取的髋关节X片影像特征,以及月龄特征向量、病例病史信息作为分类器的输入,学习得到辅助诊断结果。
本发明另一方面提供了一种DDH人工智能辅助诊断装置,包括:影像质量控制模块,用于通过实例分割网络,分割出髋部各骨,进行影像质量控制;关键点获取模块,用于通过关键点检测网络,结合月龄信息,得到髋关节关键点;测量模块,用于基于髋关节关键点,测量髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别;检测模块,用于结合月龄信息,训练髋关节发育异常识别网络,检测征象;诊断模块,用于结合月龄信息、病例病史信息、髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别和征象,训练分类网络,得出DDH辅助诊断结果。
其中,影像质量控制模块通过如下方式通过实例分割网络,分割出髋部各骨,进行影像质量控制:影像质量控制模块,具体用于通过实例分割网络将髋关节各骨头分割出来,分别计算出左髋的髂骨、右髋的髂骨、耻骨、坐骨的投影面积;通过左髋的髂骨和右髋的髂骨的投影面积比例,确定拍摄角度的水平方向偏差;计算耻骨和坐骨最高点的水平切线,以耻骨和坐骨顶端两水平切线之间的垂直距离和坐骨投影垂直高度的比值确定拍摄角度的垂直方向偏差。
其中,关键点获取模块通过如下方式通过关键点检测网络,结合月龄信息,得到髋关节关键点:关键点获取模块,具体用于根据拍摄角度的水平方向偏差和拍摄角度的垂直方向偏差确定各骨的轮廓;根据各骨的轮廓,确定感兴趣区域,以及感兴趣区域中的关键点,其中,关键点包括:髋臼外侧缘点、三角软骨中心点、股骨头中心点、股骨骺端上缘中点。
其中,测量模块通过如下方式基于髋关节关键点,测量髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别:测量模块,具体用于利用关键点检测网络提取关键点特征;将利用月龄预测模块获取的月龄特征向量和关键点特征进行拼接,训练以月龄为条件的关键点概率分布,得到关键点并计算髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别。
其中,检测模块通过如下方式结合月龄信息,训练髋关节发育异常识别网络,检测征象:检测模块,具体用于利用主干网络提取三项征象影像特征,其中,三项征象影像特征包括:沈通氏线是否不连续、髋臼外侧缘是否不够锐利清晰、髋臼顶部是否不呈弧形;将月龄特征向量和主干网络提取的三项征象影像特征进行拼接,采用交叉熵损失函数分别计算三项征象分类的损失,训练符合特定年龄段的髋关节发育异常征象。
其中,诊断模块通过如下方式结合月龄信息、病例病史信息、髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别和征象,训练分类网络,得出DDH辅助诊断结果:诊断模块,具体用于训练分类器,将髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别、符合特定年龄段的髋关节发育异常征象、主干网络提取的髋关节X片影像特征,以及月龄特征向量、病例病史信息作为分类器的输入,学习得到辅助诊断结果。
由此可见,通过本发明提供的DDH人工智能辅助诊断方法及装置,不仅可以自动、快速、准确的计算DDH涉及的各项测量指标,而且考虑了患儿病例病史信息,可给出DDH辅助诊断建议,能够提高DDH的临床诊断效率和准确性。解决了以往方法不能精确、全面的计算髋关节X片影像中DDH相关各指标的问题。所述DDH相关指标,包括但不限于(1)以髋臼指数、CE角、股骨头覆盖率为典型代表的测量指标,(2)以Tonnis分类法、IHDI分类法为代表的分级指标(3)髋关节常用征象的识别“沈通氏线是否连续、髋臼外侧缘是否锐利清晰、髋臼顶部是否呈弧形”。不同月龄段儿童髋关节部位形态发育变化大,本发明结合髋关节形态特征和患儿月龄等病例病史信息给出精准的辅助诊断建议。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1为本发明实施例提供的DDH人工智能辅助诊断方法的流程图;
图2为本发明实施例提供的DDH人工智能辅助诊断方法的原理框图;
图3为本发明实施例提供的DDH人工智能辅助诊断装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
本发明的核心在于:设置“月龄预测模块”,从X片影像中提取出患儿月龄的特征向量,经过全连接层特征变换后,送入DDH测量、诊断模块,以实现不同年龄段的精确测量、诊断。其实现方法可以包括以下步骤:
(1)髋关节正位片拍摄质量控制;
(2)髋关节关键点(landmark)定位与测量指标计算;
(3)髋关节发育异常征象检测;
(4)发育性髋关节发育不良(DDH)的辅助诊断。
图1示出了本发明实施例提供的DDH人工智能辅助诊断方法的流程图,参见图1,本发明实施例提供的DDH人工智能辅助诊断方法,包括:
S1,通过实例分割网络,分割出髋部各骨,进行影像质量控制。
具体地,在拍摄髋关节正位片时,若拍摄角度存在较大水平偏差或垂直偏差,会造成髋臼形态变化、直接影响髋关节各项指标的测量及诊断。
针对此问题,作为本发明实施例的一个可选实施方式,通过实例分割网络,分割出髋部各骨,进行影像质量控制包括:通过实例分割网络将髋关节各骨头分割出来,分别计算出左髋的髂骨、右髋的髂骨、耻骨、坐骨的投影面积;通过左髋的髂骨和右髋的髂骨的投影面积比例,确定拍摄角度的水方向平偏差;计算耻骨和坐骨最高点的水平切线,以耻骨和坐骨顶端两水平切线之间的垂直距离和坐骨投影垂直高度的比值确定拍摄角度的垂直方向偏差。
本步骤即为髋关节正位片拍摄质量控制步骤,本发明通过实例分割网络将髋关节各骨头分割出来,分别计算出左髋、右髋的髂骨、耻骨、坐骨的投影面积。通过双侧髂骨的投影面积比例,估算出拍摄角角度的水平方向偏差;若双侧髂骨面积相等,则认为拍摄角度无水平偏差。为估算拍摄角度的垂直偏差,计算耻骨和坐骨最高点的水平切线,以‘耻骨、坐骨顶端两水平切线之间的垂直距离’和‘坐骨投影垂直高度’的比值定义拍摄角度的垂直方向偏差:比值为0,偏差最小,即耻骨、坐骨顶端等高的情况。
S2,通过关键点检测网络,结合月龄信息,得到髋关节关键点。
作为本发明实施例的一个可选实施方式,通过关键点检测网络,结合月龄信息,得到髋关节关键点包括:根据拍摄角度的水平方向偏差和拍摄角度的垂直方向偏差确定各骨的轮廓;根据各骨的轮廓,确定感兴趣区域,以及感兴趣区域中的关键点,其中,关键点包括:髋臼外侧缘点、三角软骨中心点、股骨头中心点、股骨骺端上缘中点。
S3,基于髋关节关键点,测量髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别。
作为本发明实施例的一个可选实施方式,基于髋关节关键点,测量髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别包括:利用关键点检测网络提取关键点特征;将利用月龄预测模块获取的月龄特征向量和关键点特征进行拼接,训练以月龄为条件的关键点概率分布,得到关键点并计算髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别。
步骤S2和S3即为髋关节关键点(landmark)定位与测量指标计算步骤。基于前一步骤得出的各骨轮廓,可以划分出一个DDH诊断的感兴趣区域,区域中包含关键点为髋臼外侧缘点(记为E点)、三角软骨中心点(记为Y点)、股骨头中心点(记为C点)、股骨骺端上缘中点(记为H点)。对不同月龄儿童,髋骨及上述关键点形态变化较大,对关键点定位带来影响,针对此问题,在网络训练的过程中,将月龄预测模块输出的月龄特征向量和关键点检测网络提取的特征进行拼接,使得网络可以学习到以月龄为条件的关键点概率分布,进而得到关键点并自动计算出股骨头覆盖率、CE角、髋臼指数、Tonnis等级和IHDI等级等测量指标。
S4,结合月龄信息,训练髋关节发育异常识别网络,检测征象。
作为本发明实施例的一个可选实施方式,结合月龄信息,训练髋关节发育异常识别网络,检测征象包括:利用主干网络提取三项征象影像特征,其中,三项征象影像特征包括:沈通氏线是否不连续、髋臼外侧缘是否不够锐利清晰、髋臼顶部是否不呈弧形;将月龄特征向量和主干网络提取的三项征象影像特征进行拼接,采用交叉熵损失函数分别计算三项征象分类的损失,训练符合特定年龄段的髋关节发育异常征象。
本步骤即为髋关节发育异常征象检测步骤,髋关节发育异常征象包括但不限于:沈通氏线是否不连续、髋臼外侧缘不够锐利清晰、髋臼顶部不呈弧形。由于这三项征象之间相互有影响,且均与患儿月龄相关,本发明将三项征象分类合为一个多任务分类的问题。类似地,将患儿月龄特征向量和主干网络提取的三项征象影像特征进行拼接,再采用交叉熵损失函数分别计算三项征象分类的损失。本发明能够有效的结合三项征象图像间形态特征和月龄信息,得到符合特定年龄段的髋关节发育异常征象的合理判断。
S5,结合月龄信息、病例病史信息、髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别和征象,训练分类网络,得出DDH辅助诊断结果。
作为本发明实施例的一个可选实施方式,结合月龄信息、病例病史信息、髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别和征象,训练分类网络,得出DDH辅助诊断结果包括:训练分类器,将髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别、符合特定年龄段的髋关节发育异常征象、主干网络提取的髋关节X片影像特征,以及月龄特征向量、病例病史信息作为分类器的输入,学习得到辅助诊断结果。
本步骤即为发育性髋关节发育不良(DDH)的辅助诊断步骤,本发明最后给出髋关节发育评估的诊断结果,包括髋关节发育正常,髋臼发育不良,髋关节半脱位及髋关节脱位。具体地:训练一个分类器(如随机森林分类器,或支持向量机或深度卷积神经网络),将前述步骤得到的髋臼指数、骨头覆盖率、CE角、Tonnis等级、IHDI等级、髋臼外侧缘是否锐利清晰、髋臼顶部是否呈弧形、沈通氏线是否连续等各
线片征象和主干网络提取的髋关节X片影像特征,以及月龄特征向量、病例病史信息(患儿性别、DDH家族史、产位、是否第一胎、体格检查结果)纳入模型的输入,学习得到四分类的辅助诊断结果:髋关节发育正常,髋臼发育不良,髋关节半脱位或髋关节脱位。
由此可见,通过本发明提供的DDH人工智能辅助诊断方法,通过左右侧髂骨的投影面积之比,估计拍摄角度的水平偏差,该偏差高于预设值,则认为拍摄质量不合格;通过‘耻骨、坐骨顶端的垂直差距’与‘坐骨投影垂直高度’之比,估计拍摄角度的垂直偏差,该偏差高于预设值,则认为拍摄质量不合格。采用深度学习并结合月龄信息进行DDH诊断,可以提升DDH诊断中各项指标的准确性。利用本发明提供的DDH人工智能辅助诊断方法不仅能够自动测量DDH中各项指标,指标包括但不限于:(1)以髋臼指数、CE角、股骨头覆盖率为典型代表的测量指标(2)以Tonnis分类法、IHDI分类法为代表的分级指标(3)髋关节发育异常征象“沈通氏线是否连续、髋臼外侧缘是否锐利清晰、髋臼顶部是否呈弧形”,还能够直接给出DDH的诊断结果。可以充分利用不同月龄患儿DDH影像特征差异结合“月龄预测模块”,从X片影像提取出患儿髋关节正位片的“月龄特征向量”,经过全连接层特征变换后,送入DDH测量、诊断模块,以实现不同年龄段的精确测量诊断。
综上,本发明采用深度学习技术具有两方面的优势,一是深度学习技术基于大数据,能够体现出医生集体智慧和经验,相比于单个医生的判断,具有更好的客观性。二是深度学习技术相比于传统图像处理技术,具有更好的泛化能力,能够适用于不同环境不同条件下的样本,并且本发明在深度学习模型训练中引入“月龄预测模块”,充分利用了儿童月龄信息,能够提高模型对不同年龄段影像的DDH诊断准确性。
在自动测量出全面的各项指标同时,将患儿病例病史信息纳入模型输入特征,可给出DDH的辅助诊断结果,有助于提高医生临床诊断DDH的效率和一致性。
图3示出了本发明实施例提供的DDH人工智能辅助诊断装置的结构示意图,该DDH人工智能辅助诊断装置应用上述方法,以下仅对DDH人工智能辅助诊断装置的结构进行简单说明,其他未尽事宜,请参照上述DDH人工智能辅助诊断方法中的相关描述,参见图3,本发明实施例提供的DDH人工智能辅助诊断装置,包括:
影像质量控制模块,用于通过实例分割网络,分割出髋部各骨,进行影像质量控制;
关键点获取模块,用于通过关键点检测网络,结合月龄信息,得到髋关节关键点;
测量模块,用于基于髋关节关键点,测量髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别;
检测模块,用于结合月龄信息,训练髋关节发育异常识别网络,检测征象;
诊断模块,用于结合月龄信息、病例病史信息、髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别和征象,训练分类网络,得出DDH辅助诊断结果。
作为本发明实施例的一个可选实施方式,影像质量控制模块通过如下方式通过实例分割网络,分割出髋部各骨,进行影像质量控制:影像质量控制模块,具体用于通过实例分割网络将髋关节各骨头分割出来,分别计算出左髋的髂骨、右髋的髂骨、耻骨、坐骨的投影面积;通过左髋的髂骨和右髋的髂骨的投影面积比例,确定拍摄角度的水平方向偏差;计算耻骨和坐骨最高点的水平切线,以耻骨和坐骨顶端两水平切线之间的垂直距离和坐骨投影垂直高度的比值确定拍摄角度的垂直方向偏差。
作为本发明实施例的一个可选实施方式,关键点获取模块通过如下方式通过关键点检测网络,结合月龄信息,得到髋关节关键点:关键点获取模块,具体用于根据拍摄角度的水平方向偏差和拍摄角度的垂直方向偏差确定各骨的轮廓;根据各骨的轮廓,确定感兴趣区域,以及感兴趣区域中的关键点,其中,关键点包括:髋臼外侧缘点、三角软骨中心点、股骨头中心点、股骨骺端上缘中点。
作为本发明实施例的一个可选实施方式,测量模块通过如下方式基于髋关节关键点,测量髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别:测量模块,具体用于利用关键点检测网络提取关键点特征;将利用月龄预测模块获取的月龄特征向量和关键点特征进行拼接,训练以月龄为条件的关键点概率分布,得到关键点并计算髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别。
作为本发明实施例的一个可选实施方式,检测模块通过如下方式结合月龄信息,训练髋关节发育异常识别网络,检测征象:检测模块,具体用于利用主干网络提取三项征象影像特征,其中,三项征象影像特征包括:沈通氏线是否不连续、髋臼外侧缘是否不够锐利清晰、髋臼顶部是否不呈弧形;将月龄特征向量和主干网络提取的三项征象影像特征进行拼接,采用交叉熵损失函数分别计算三项征象分类的损失,训练符合特定年龄段的髋关节发育异常征象。
作为本发明实施例的一个可选实施方式,诊断模块通过如下方式结合月龄信息、病例病史信息、髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别和征象,训练分类网络,得出DDH辅助诊断结果:诊断模块,具体用于训练分类器,将髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别、符合特定年龄段的髋关节发育异常征象、主干网络提取的髋关节X片影像特征,以及月龄特征向量、病例病史信息作为分类器的输入,学习得到辅助诊断结果。
作为本发明实施例的一个可选实施方式,本发明实施例提供的DDH人工智能辅助诊断装置还包括:诊断模块,用于获取训练好的DDH人工智能辅助诊断模型;获取待诊断髋关节X片影像,将待诊断髋关节X片影像输入至训练好的DDH人工智能辅助诊断模型,得到待分类髋关节X片影像的诊断结果。
由此可见,通过本发明提供的DDH人工智能辅助诊断装置,通过左右侧髂骨的投影面积之比,估计拍摄角度的水平偏差,该偏差高于预设值,则认为拍摄质量不合格;通过’耻骨、坐骨顶端的垂直差距’与‘坐骨投影垂直高度’之比,估计拍摄角度的垂直偏差,该偏差高于预设值,则认为拍摄质量不合格。采用深度学习并结合月龄信息进行DDH诊断,可以提升DDH诊断中各项指标的准确性。利用本发明提供的DDH人工智能辅助诊断方法不仅能够自动测量DDH中各项指标,指标包括但不限于:(1)以髋臼指数、CE角、股骨头覆盖率为典型代表的测量指标(2)以Tonnis分类法、IHDI分类法为代表的分级指标(3)髋关节发育异常征象“沈通氏线是否连续、髋臼外侧缘是否锐利清晰、髋臼顶部是否呈弧形”,还能够直接给出DDH的诊断结果。可以充分利用不同月龄患儿DDH影像特征差异结合“月龄预测模块”,从X片影像提取出患儿髋关节正位片的“月龄特征向量”,经过全连接层特征变换后,送入DDH测量、诊断模块,以实现不同年龄段的精确测量诊断。
综上,本发明采用深度学习技术具有两方面的优势,一是深度学习技术基于大数据,能够体现出医生集体智慧和经验,相比于单个医生的判断,具有更好的客观性。二是深度学习技术相比于传统图像处理技术,具有更好的泛化能力,能够适用于不同环境不同条件下的样本,并且本发明在深度学习模型训练中引入“月龄预测模块”,充分利用了儿童月龄信息,能够提高模型对不同年龄段影像的DDH诊断准确性。
在自动测量出全面的各项指标同时,将患儿病例病史信息纳入模型输入特征,可给出DDH的辅助诊断结果,有助于提高医生临床诊断DDH的效率和一致性。
本领域内的技术人员应明白,本发明申请的实施例可提供方法、系统、或计算机程序产品。因此,本发明申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明申请是参照根据本发明申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
以上仅为本发明申请的实施例而已,并不用于限制本发明申请。对于本领域技术人员来说,本发明申请可以有各种更改和变化。凡在本发明申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明申请的权利要求范围之内。

Claims (12)

1.一种DDH人工智能辅助诊断方法,其特征在于,包括:
通过实例分割网络,分割出髋部各骨,进行影像质量控制;
通过关键点检测网络,结合月龄信息,得到髋关节关键点;
基于所述髋关节关键点,测量髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别;
结合所述月龄信息,训练髋关节发育异常识别网络,检测征象;
结合所述月龄信息、病例病史信息、所述髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别和所述征象,训练分类网络,得出DDH辅助诊断结果。
2.根据权利要求1所述的方法,其特征在于,所述通过实例分割网络,分割出髋部各骨,进行影像质量控制包括:
通过实例分割网络将髋关节各骨头分割出来,分别计算出左髋的髂骨、右髋的髂骨、耻骨、坐骨的投影面积;
通过所述左髋的髂骨和所述右髋的髂骨的投影面积比例,确定拍摄角度的水平方向偏差;
计算所述耻骨和所述坐骨最高点的水平切线,以所述耻骨和所述坐骨顶端两水平切线之间的垂直距离和坐骨投影垂直高度的比值确定拍摄角度的垂直方向偏差。
3.根据权利要求2所述的方法,其特征在于,所述通过关键点检测网络,结合月龄信息,得到髋关节关键点包括:
根据所述拍摄角度的水平方向偏差和所述拍摄角度的垂直方向偏差确定各骨的轮廓;
根据所述各骨的轮廓,确定感兴趣区域,以及所述感兴趣区域中的关键点,其中,所述关键点包括:髋臼外侧缘点、三角软骨中心点、股骨头中心点、股骨骺端上缘中点。
4.根据权利要求3所述的方法,其特征在于,所述基于所述髋关节关键点,测量髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别包括:
利用关键点检测网络提取关键点特征;
将利用月龄预测模块获取的月龄特征向量和所述关键点特征进行拼接,训练以月龄为条件的关键点概率分布,得到关键点并计算髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别。
5.根据权利要求4所述的方法,其特征在于,所述结合所述月龄信息,训练髋关节发育异常识别网络,检测征象包括:
利用所述主干网络提取三项征象影像特征,其中,所述三项征象影像特征包括:沈通氏线是否不连续、髋臼外侧缘是否不够锐利清晰、髋臼顶部是否不呈弧形;
将所述月龄特征向量和所述主干网络提取的三项征象影像特征进行拼接,采用交叉熵损失函数分别计算三项征象分类的损失,训练符合特定年龄段的髋关节发育异常征象。
6.根据权利要求5所述的方法,其特征在于,所述结合所述月龄信息、病例病史信息、所述髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别和所述征象,训练分类网络,得出DDH辅助诊断结果包括:
训练分类器,将所述髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别、所述符合特定年龄段的髋关节发育异常征象、所述主干网络提取的髋关节X片影像特征,以及所述月龄特征向量、病例病史信息作为所述分类器的输入,学习得到辅助诊断结果。
7.一种DDH人工智能辅助诊断装置,其特征在于,包括:
影像质量控制模块,用于通过实例分割网络,分割出髋部各骨,进行影像质量控制;
关键点获取模块,用于通过关键点检测网络,结合月龄信息,得到髋关节关键点;
测量模块,用于基于所述髋关节关键点,测量髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别;
检测模块,用于结合所述月龄信息,训练髋关节发育异常识别网络,检测征象;
诊断模块,用于结合所述月龄信息、病例病史信息、所述髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别和所述征象,训练分类网络,得出DDH辅助诊断结果。
8.根据权利要求7所述的装置,其特征在于,所述影像质量控制模块通过如下方式通过实例分割网络,分割出髋部各骨,进行影像质量控制:
所述影像质量控制模块,具体用于通过实例分割网络将髋关节各骨头分割出来,分别计算出左髋的髂骨、右髋的髂骨、耻骨、坐骨的投影面积;通过所述左髋的髂骨和所述右髋的髂骨的投影面积比例,确定拍摄角度的水平方向偏差;计算所述耻骨和所述坐骨最高点的水平切线,以所述耻骨和所述坐骨顶端两水平切线之间的垂直距离和坐骨投影垂直高度的比值确定拍摄角度的垂直方向偏差。
9.根据权利要求8所述的装置,其特征在于,所述关键点获取模块通过如下方式通过关键点检测网络,结合月龄信息,得到髋关节关键点:
所述关键点获取模块,具体用于根据所述拍摄角度的水平方向偏差和所述拍摄角度的垂直方向偏差确定各骨的轮廓;根据所述各骨的轮廓,确定感兴趣区域,以及所述感兴趣区域中的关键点,其中,所述关键点包括:髋臼外侧缘点、三角软骨中心点、股骨头中心点、股骨骺端上缘中点。
10.根据权利要求9所述的装置,其特征在于,所述测量模块通过如下方式基于所述髋关节关键点,测量髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别:
所述测量模块,具体用于利用关键点检测网络提取关键点特征;将利用月龄预测模块获取的月龄特征向量和所述关键点特征进行拼接,训练以月龄为条件的关键点概率分布,得到关键点并计算髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别。
11.根据权利要求10所述的装置,其特征在于,所述检测模块通过如下方式结合所述月龄信息,训练髋关节发育异常识别网络,检测征象:
所述检测模块,具体用于利用所述主干网络提取三项征象影像特征,其中,所述三项征象影像特征包括:沈通氏线是否不连续、髋臼外侧缘是否不够锐利清晰、髋臼顶部是否不呈弧形;将所述月龄特征向量和所述主干网络提取的三项征象影像特征进行拼接,采用交叉熵损失函数分别计算三项征象分类的损失,训练符合特定年龄段的髋关节发育异常征象。
12.根据权利要求11所述的装置,其特征在于,所述诊断模块通过如下方式结合所述月龄信息、病例病史信息、所述髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别和所述征象,训练分类网络,得出DDH辅助诊断结果:
所述诊断模块,具体用于训练分类器,将所述髋臼指数、CE角、股骨头覆盖率、Tonnis级别、IHDI级别、所述符合特定年龄段的髋关节发育异常征象、所述主干网络提取的髋关节X片影像特征,以及所述月龄特征向量、病例病史信息作为所述分类器的输入,学习得到辅助诊断结果。
CN202010578575.7A 2020-06-23 2020-06-23 一种ddh人工智能辅助诊断方法及装置 Active CN111798976B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010578575.7A CN111798976B (zh) 2020-06-23 2020-06-23 一种ddh人工智能辅助诊断方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010578575.7A CN111798976B (zh) 2020-06-23 2020-06-23 一种ddh人工智能辅助诊断方法及装置

Publications (2)

Publication Number Publication Date
CN111798976A true CN111798976A (zh) 2020-10-20
CN111798976B CN111798976B (zh) 2024-08-13

Family

ID=72804604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010578575.7A Active CN111798976B (zh) 2020-06-23 2020-06-23 一种ddh人工智能辅助诊断方法及装置

Country Status (1)

Country Link
CN (1) CN111798976B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112617870A (zh) * 2020-12-16 2021-04-09 哈尔滨文缔拓明科技有限公司 一种基于dr图像的成人髋关节角度获取方法
CN112700427A (zh) * 2021-01-07 2021-04-23 哈尔滨晓芯科技有限公司 髋关节x光自动评估方法
CN112754528A (zh) * 2020-12-30 2021-05-07 北京积水潭医院 超声波图像中的股骨头定位方法、系统、装置及存储介质
CN113192005A (zh) * 2021-04-01 2021-07-30 陈博昌 发育性髋关节异常超声图像计算机智能算法辅助判别系统
CN113362282A (zh) * 2021-05-18 2021-09-07 汕头大学 基于多任务学习的髋关节关键点位置检测方法及系统
CN114663384A (zh) * 2022-03-18 2022-06-24 中国人民解放军陆军第九五〇医院 肩关节脱位识别系统、存储介质
CN114795258A (zh) * 2022-04-18 2022-07-29 浙江大学 一种儿童髋关节发育不良诊断系统
CN115036005A (zh) * 2022-06-01 2022-09-09 西安电子科技大学 Ddh辅助诊断方法及装置
CN116968758A (zh) * 2023-09-19 2023-10-31 江西五十铃汽车有限公司 一种基于三维场景表示的车辆控制方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107146214A (zh) * 2016-03-01 2017-09-08 厦门大学 儿童髋关节发育状况计算机自动诊断的方法
CN108537838A (zh) * 2018-03-13 2018-09-14 北京理工大学 一种髋关节骨性髋臼角度的检测方法
CN110033438A (zh) * 2019-03-14 2019-07-19 上海市第六人民医院 髋关节标记系统及其标记方法
CN110738654A (zh) * 2019-10-18 2020-01-31 中国科学技术大学 髋关节影像中的关键点提取及骨龄预测方法
CN110895809A (zh) * 2019-10-18 2020-03-20 中国科学技术大学 准确提取髋关节影像中关键点的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107146214A (zh) * 2016-03-01 2017-09-08 厦门大学 儿童髋关节发育状况计算机自动诊断的方法
CN108537838A (zh) * 2018-03-13 2018-09-14 北京理工大学 一种髋关节骨性髋臼角度的检测方法
CN110033438A (zh) * 2019-03-14 2019-07-19 上海市第六人民医院 髋关节标记系统及其标记方法
CN110738654A (zh) * 2019-10-18 2020-01-31 中国科学技术大学 髋关节影像中的关键点提取及骨龄预测方法
CN110895809A (zh) * 2019-10-18 2020-03-20 中国科学技术大学 准确提取髋关节影像中关键点的方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112617870A (zh) * 2020-12-16 2021-04-09 哈尔滨文缔拓明科技有限公司 一种基于dr图像的成人髋关节角度获取方法
CN112617870B (zh) * 2020-12-16 2024-05-03 哈尔滨文缔拓明科技有限公司 一种基于dr图像的成人髋关节角度获取方法
CN112754528B (zh) * 2020-12-30 2022-07-01 北京积水潭医院 超声波图像中的股骨头定位方法、系统、装置及存储介质
CN112754528A (zh) * 2020-12-30 2021-05-07 北京积水潭医院 超声波图像中的股骨头定位方法、系统、装置及存储介质
CN112700427A (zh) * 2021-01-07 2021-04-23 哈尔滨晓芯科技有限公司 髋关节x光自动评估方法
CN112700427B (zh) * 2021-01-07 2024-04-16 哈尔滨晓芯科技有限公司 髋关节x光自动评估方法
CN113192005A (zh) * 2021-04-01 2021-07-30 陈博昌 发育性髋关节异常超声图像计算机智能算法辅助判别系统
CN113362282A (zh) * 2021-05-18 2021-09-07 汕头大学 基于多任务学习的髋关节关键点位置检测方法及系统
CN114663384B (zh) * 2022-03-18 2023-04-28 中国人民解放军陆军第九五〇医院 肩关节脱位识别系统、存储介质
CN114663384A (zh) * 2022-03-18 2022-06-24 中国人民解放军陆军第九五〇医院 肩关节脱位识别系统、存储介质
CN114795258A (zh) * 2022-04-18 2022-07-29 浙江大学 一种儿童髋关节发育不良诊断系统
CN115036005A (zh) * 2022-06-01 2022-09-09 西安电子科技大学 Ddh辅助诊断方法及装置
CN116968758A (zh) * 2023-09-19 2023-10-31 江西五十铃汽车有限公司 一种基于三维场景表示的车辆控制方法及装置

Also Published As

Publication number Publication date
CN111798976B (zh) 2024-08-13

Similar Documents

Publication Publication Date Title
CN111798976B (zh) 一种ddh人工智能辅助诊断方法及装置
CN109754387B (zh) 一种全身骨显像放射性浓聚灶的智能检测定位方法
ES2914873T3 (es) Sugerencia de segunda lectura
US8538109B2 (en) Method and system for dynamic pulmonary trunk modeling and intervention planning
CN111179227B (zh) 基于辅助诊断和主观美学的乳腺超声图像质量评价方法
US20220198230A1 (en) Auxiliary detection method and image recognition method for rib fractures based on deep learning
EP3657433B1 (en) Medical image data
CN113763340B (zh) 基于多任务深度学习强直性脊柱炎的自动分级方法
Bano et al. AutoFB: automating fetal biometry estimation from standard ultrasound planes
Lang et al. Automatic localization of landmarks in craniomaxillofacial CBCT images using a local attention-based graph convolution network
CN109919254B (zh) 乳腺密度分类方法、系统、可读存储介质和计算机设备
CN113706491A (zh) 基于混合注意力弱监督迁移学习的半月板损伤分级方法
CN116894973B (zh) 一种基于集成学习的髋关节病变智能自标注方法及装置
Hernandez-Herrera et al. 3-D $+{t} $ Human Sperm Flagellum Tracing in Low SNR Fluorescence Images
Gutiérrez-Martínez et al. Computer-aided diagnosis in rheumatic diseases using ultrasound: an overview
Dan et al. DeepGA for automatically estimating fetal gestational age through ultrasound imaging
Liu et al. Tracking-based deep learning method for temporomandibular joint segmentation
Cigdem et al. Artificial intelligence in knee osteoarthritis: a comprehensive review
Compte et al. Are current machine learning applications comparable to radiologist classification of degenerate and herniated discs and Modic change? A systematic review and meta-analysis
CN112837264B (zh) 肋骨定位、骨折临床结局预测装置及自动诊断系统
CN111967539B (zh) 基于cbct数据库的颌面部骨折的识别方法、装置及终端设备
Caesarendra et al. AutoSpine-Net: Spine detection using convolutional neural networks for Cobb angle classification in adolescent idiopathic scoliosis
Ji et al. A novel artificial intelligence model for fetal facial profile marker measurement during the first trimester
CN113362282B (zh) 基于多任务学习的髋关节关键点位置检测方法及系统
CN116228660A (zh) 胸部正片异常部位检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Gong Ping

Inventor after: Shi Lanfeng

Inventor after: Yu Yizhou

Inventor before: Gong Ping

Inventor before: Shi Lanfeng

Inventor before: Yu Yizhou

GR01 Patent grant
GR01 Patent grant