CN110335670A - 用于骨骺等级分级的图像数据处理方法及装置 - Google Patents

用于骨骺等级分级的图像数据处理方法及装置 Download PDF

Info

Publication number
CN110335670A
CN110335670A CN201910500106.0A CN201910500106A CN110335670A CN 110335670 A CN110335670 A CN 110335670A CN 201910500106 A CN201910500106 A CN 201910500106A CN 110335670 A CN110335670 A CN 110335670A
Authority
CN
China
Prior art keywords
epiphysis
image
network
classification
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910500106.0A
Other languages
English (en)
Inventor
单宝平
李华
宫平
李一鸣
俞益洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN201910500106.0A priority Critical patent/CN110335670A/zh
Publication of CN110335670A publication Critical patent/CN110335670A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种用于骨骺等级分级的图像数据处理方法及装置。该方法包括接收待处理图像；将所述待处理图像通过预设网络学习模型，输出所述待处理图像中骨骺的目标图像区域；通过图形用户界面，对所述骨骺的目标图像区域执行预设操作处理，得到骨骺等级分级评定结果。本申请解决了X光片图像处理效果不佳的技术问题。通过本申请采用深度学习和图形用户界面的交互方式实现对骨骺发育等级评，提高骨龄诊断的准确性，可减少骨龄诊断用时。

Description

用于骨骺等级分级的图像数据处理方法及装置
技术领域
本申请涉及医疗技术、骨龄评价领域，具体而言，涉及一种用于骨骺等级分级的图像数据处理方法及装置。
背景技术
骨龄评估通常是对被测者的手部和腕部进行X光摄片，然后由医生根据拍得的X光片进行分析评估。
发明人发现，对于骨龄测量场景中骨骺闭合分析评定存在人工处理的准确率低，且诊断用时较长的问题。
针对相关技术中对X光片图像处理效果不佳的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种用于骨骺等级分级分级的图像数据处理方法及装置，以解决对X光片图像处理效果不佳的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种用于骨骺等级分级分级的图像数据处理方法。
根据本申请的用于骨骺等级分级分级的图像数据处理方法包括：接收待处理图像；将所述待处理图像通过预设网络学习模型，输出所述待处理图像中骨骺的目标图像区域；通过图形用户界面，对所述骨骺的目标图像区域执行预设操作处理，得到骨骺等级分级评定结果。
进一步地，将所述待处理图像通过预设网络学习模型，输出所述待处理图像中骨骺的目标图像区域包括：所述网络模型采用预设关键点检测框架下作为主干网络，并依次设置特征提取网络、特征融合网络、区域举荐网络、分类回归网络；其中，所述特征提取网络，用于采用多层卷积神经网络作为骨干网路，在不同尺度上进行特征图提取；所述特征融合网络，用于对不同分支上的所述特征图采用不同或相同的图像特征进行的特征融合；所述区域举荐网络，用于生成目标定位框得到目标区域；所述分类回归网络，用于对目标区域分类。
进一步地，通过图形用户界面，对所述骨骺的目标图像区域执行预设操作处理，得到骨骺等级分级评定结果包括：通过图形用户界面，对所述骨骺的目标图像区域执行骨骺分类结果查看操作；通过图形用户界面，对所述骨骺的目标图像区域执行骨骺当前分类结果和相似分类的标准示意图查看操作；通过图形用户界面，对所述骨骺的目标图像区域执行骨骺分类结果查看操作，并通过所述图形用户界面对所述骨骺分类进行修改。
进一步地，将所述待处理图像通过预设网络学习模型，输出所述待处理图像中骨骺的目标图像区域之后还包括：基于预设深度学习网络进行样本训练数据的抑制；用训练完成的检出网络对待处理图像中骨骺的目标图像区域数据进行预测，收集预测检出置信度高的区域。
进一步地，通过图形用户界面，对所述骨骺的目标图像区域执行预设操作处理，得到骨骺等级分级评定结果包括：通过图形用户界面，加载所述待处理图像中X线手部影像并显示；通过图形用户界面，选择预设骨骺对象以使所述骨骺对象处于选中状态。
为了实现上述目的，根据本申请的另一方面，提供了一种用于骨骺等级分级的图像数据处理装置。
根据本申请的用于骨骺等级分级的图像数据处理装置包括：用于骨骺等级分级的图像数据处理装置，其特征在于，包括：接收模块，用于接收待处理图像；处理模块，用于将所述待处理图像通过预设网络学习模型，输出所述待处理图像中骨骺的目标图像区域；用户接口模块，用于通过图形用户界面，对所述骨骺的目标图像区域执行预设操作处理，得到骨骺等级分级评定结果。
进一步地，所述处理模块包括：网络学习单元，用于在所述网络模型采用预设关键点检测框架下作为主干网络，并依次设置特征提取网络、特征融合网络、区域举荐网络、分类回归网络；其中，所述特征提取网络，用于采用多层卷积神经网络作为骨干网路，在不同尺度上进行特征图提取；所述特征融合网络，用于对不同分支上的所述特征图采用不同或相同的图像特征进行的特征融合；所述区域举荐网络，用于生成目标定位框得到目标区域；所述分类回归网络，用于对目标区域分类。
进一步地，所述用户接口模块包括：查看单元，用于通过图形用户界面，对所述骨骺的目标图像区域执行骨骺分类结果查看操作；对比单元，用于通过图形用户界面，对所述骨骺的目标图像区域执行骨骺当前分类结果和相似分类的标准示意图查看操作；分类单元，用于通过图形用户界面，对所述骨骺的目标图像区域执行骨骺分类结果查看操作，并通过所述图形用户界面对所述骨骺分类进行修改。
进一步地，装置还包括：所述用户接口模块还包括：数据单元，用于通过图形用户界面，根据已储存的骨龄数据对用户执行随访操作。
进一步地，所述用户接口模块包括：加载单元，用于通过图形用户界面，加载所述待处理图像中X线手部影像并显示；选择单元，用于通过图形用户界面，选择预设骨骺对象以使所述骨骺对象处于选中状态。
在本申请实施例中用于骨骺等级分级分级的图像数据处理方法及装置，采用接收待处理图像的方式，通过将所述待处理图像通过预设网络学习模型，输出所述待处理图像中骨骺的目标图像区域，达到了通过图形用户界面，对所述骨骺的目标图像区域执行预设操作处理，得到骨骺等级分级评定结果的目的，从而降低出错率和减少耗时的技术效果，进而解决了处理效果不佳的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请第一实施例的用于骨骺等级分级的图像数据处理方法流程示意图；
图2是根据本申请第二实施例的用于骨骺等级分级的图像数据处理方法流程示意图；
图3是根据本申请第三实施例的用于骨骺等级分级的图像数据处理方法流程示意图；
图4是根据本申请第四实施例的用于骨骺等级分级的图像数据处理方法流程示意图；
图5是根据本申请第五实施例的用于骨骺等级分级的图像数据处理方法流程示意图；
图6是根据本申请第一实施例的用于骨骺等级分级的图像数据处理装置结构示意图；
图7是根据本申请第二实施例的用于骨骺等级分级的图像数据处理装置结构示意图；
图8是根据本申请第案实施例的用于骨骺等级分级的图像数据处理装置结构示意图；
图9是根据本申请第四实施例的用于骨骺等级分级的图像数据处理装置结构示意图；
图10是根据本申请第五实施例的用于骨骺等级分级的图像数据处理装置结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本申请实施例的用于骨骺等级分级分级的图像数据处理方法，采用深度学习和图形用户界面的交互方式实现对骨骺发育等级评。基于深度学习方法对影像进行处理，完成对掌指骨、腕骨的骨骺关键点检测和骨骺对象的识别分割。之后显示待处理图像区域，其中，所述待处理图像包括手掌的X线片。之后采用基于图形用户界面的交互方式对所述待处理图像采用自动位置校正处理，显示校正后的结果，显示各个骨骺的等级。此外，还可对骨骺等级进行修改；通过页面交互，可与标准示意图或者标准图谱进行对比，进而为每个骨骺选定更为准确的骨骺发育等级。通过上述步骤解决了骨骺发育等级评定准确率低、诊断用时过长的问题。通过本申请可提高骨龄诊断的准确性，可减少骨龄诊断用时。
如图1所示，该方法包括如下的步骤S102至步骤S106：
步骤S102，接收待处理图像；
后台服务器或者客户端接收待处理图像，所述待处理图像是手掌的X线片。在进行骨龄评估时通常需要对被测者的手部和腕部进行X光摄片，比如待处理图像可以是：单张左手平放时的X线影像。
步骤S104，将所述待处理图像通过预设网络学习模型，输出所述待处理图像中骨骺的目标图像区域；
将所述待处理图像通过预设网络学习模型后输出所述待处理图像中骨骺的目标图像区域，对所述待处理图像采用自动位置校正处理，显示校正后的结果。
所述预设网络学习模型用于基于深度学习方法对目标影像进行处理，完成对掌指骨、腕骨的骨骺关键点检测，完成骨骺对象的识别分割。
步骤S106，通过图形用户界面，对所述骨骺的目标图像区域执行预设操作处理，得到骨骺等级分级评定结果。
图形用户界面即GUI，是指采用图形方式显示的计算机操作用户界面。
通过所述图形用户界面，可以实现对所述骨骺的目标图像区域执行预设操作处理，所述预设操作处理可以是：可对骨骺等级进行修改。也可以是：标准示意图或者标准图谱进行对比，进而为每个骨骺选定更为准确的骨骺发育等级。
优选地，所述图形用户界面为包含有标准化等级的骨骺图片界面组件，将所述图片界面组件排列在所述目标图像区域界面上层，并从标准化等级的骨骺图片界面组件中，选择相应组件布置到界面下方的界面设计区。特别地，界面组件上通过将骨骺区域和X线影像区域的骨骺对应后在页面横向或者纵向对齐。
需要注意的是，骨骺等级分级评定结果可以根据实际使用情况得到，在本申请的实施例中并不进行限定。
需要注意的是，上述骨骺发育等级评的方法可兼容在国内、国际具有较高接受度的骨龄评价标准和方法，如TW3标准以及中华05标准。
从以上的描述中，可以看出，本申请实现了如下技术效果：
在本申请实施例中，采用接收待处理图像的方式，通过将所述待处理图像通过预设网络学习模型，输出所述待处理图像中骨骺的目标图像区域，达到了通过图形用户界面，对所述骨骺的目标图像区域执行预设操作处理，得到骨骺等级分级评定结果的目的，从而降低出错率和减少耗时的技术效果，进而解决了处理效果不佳的技术问题。
根据本申请实施例，本申请实施例中的优选，如图2所示，将所述待处理图像通过预设网络学习模型，输出所述待处理图像中骨骺的目标图像区域包括：
步骤S202，所述网络模型采用预设关键点检测框架下作为主干网络，并依次设置特征提取网络、特征融合网络、区域举荐网络、分类回归网络；
其中，所述特征提取网络，用于采用多层卷积神经网络作为骨干网路，在不同尺度上进行特征图提取；
所述特征融合网络，用于对不同分支上的所述特征图采用不同或相同的图像特征进行的特征融合；
所述区域举荐网络，用于生成目标定位框得到目标区域；
所述分类回归网络，用于对目标区域分类。
通过对所述待处理图像采用图像预处理，得到的结果输入预设网络学习模型；以及根据所述网络学习模型输出目标图像的检测结果，得到所述影像的目标图像区域。
需要注意的是，所述图像预处理可以根据实际待处理图像的质量选择，在本申请的实施例中并不进行具体限定。
还需要注意的是，网络学习模型预选采用神经网络学习模型。
具体地，输入待处理图像，在所述待处理图像包括：平放的左手掌X线影像；对所述的待处理图像输入预设网络学习模型；以及根据所述网络学习模型输出目标图像的检测结果，得到所述骨骺的目标图像区域。根据所述网络学习模型输出目标图像的检测结果以及分割结果，得到所述X线图像中骨骺的目标图像区域包括：所述网络模型采用预设目标检测框架下作为主干网络，并依次设置特征提取网络、特征融合网络、区域举荐网络、分类回归网络；其中，所述特征提取网络，用于采用多层卷积神经网络作为骨干网路，在不同尺度上进行特征图提取；所述特征融合网络，用于对不同分支上的所述特征图的图像特征进行的特征融合；所述区域举荐网络，用于生成目标定位框得到目标区域；所述分类回归网络，用于对目标区域分类或框回归。
根据本申请实施例，本申请实施例中的优选，如图3所示，通过图形用户界面，对所述骨骺的目标图像区域执行预设操作处理，得到骨骺等级分级评定结果包括：
步骤S302，通过图形用户界面，对所述骨骺的目标图像区域执行骨骺分类结果查看操作；
步骤S304，通过图形用户界面，对所述骨骺的目标图像区域执行骨骺当前分类结果和相似分类的标准示意图查看操作；
步骤S306，通过图形用户界面，对所述骨骺的目标图像区域执行骨骺分类结果查看操作，并通过所述图形用户界面对所述骨骺分类进行修改。
具体地，在显示页面中加载一张X线影像以及这张X线影像中的待检测的骨骺列表至界面组件中。加载一套包含有标准化等级的骨骺图片界面组件，将其排列在基于X线影像区域界面上层，并从标准化等级的骨骺图片界面组件中，选择相应组件布置到界面下方的界面设计区。
优选地，对界面设计区的标准化等级的骨骺图片界面组件进行骨骺等级更改，选择与X线影像相对应最接近的等级。通过上述步骤实质上是用户对比X线影像中的骨骺等级和标准化图片骨骺等级进行比较鉴别、分类分级的过程，通过对照标准化图片，提高效率且避免出错。
当保存中准化图片骨骺等级与X线影像中的骨骺等级的对应关系，骨骺等级随之更改，各个页面中交互组件中该骨骺的等级随之变化，但需要注意的是各个骨骺的等级在不同的交互组件中显示值保持一致。
特别地，界面上将骨骺区域和X线影像区域的骨骺对应后在页面横向或者纵向对齐。对界面设计区的标准化等级的骨骺图片界面组件进行骨骺等级更改，选择与X线影像相对应最接近的等级。
根据本申请实施例，本申请实施例中的优选，如图4所示，将所述待处理图像通过预设网络学习模型，输出所述待处理图像中骨骺的目标图像区域之后还包括：
步骤S402，基于预设深度学习网络进行样本训练数据的抑制；
步骤S404，用训练完成的检出网络对待处理图像中骨骺的目标图像区域数据进行预测，收集预测检出置信度高的区域。
具体地，对所述X线影像骨骺的目标图像区域的还包括假阳性消除的步骤。所述假阳性消除包括：基于预设深度学习网络进行样本训练数据的抑制，用训练完成的检出网络对此部分数据进行预测，收集预测检出置信度高的区域。
根据本申请实施例，本申请实施例中的优选，如图5所示，通过图形用户界面，对所述骨骺的目标图像区域执行预设操作处理，得到骨骺等级分级评定结果包括：
步骤S502，通过图形用户界面，加载所述待处理图像中X线手部影像并显示；
步骤S504，通过图形用户界面，选择预设骨骺对象以使所述骨骺对象处于选中状态。
具体地，在所述图形用户界面的X线影像加载界面组件中可加载显示X线手部影像，此外在所述图形用户界面与用户进行交互时可选择某个骨骺对象，使之处于选中状态。
通过图形用户界面的X线影像加载界面组件选中骨骺对象后，可查看骨骺分类结论一套包含有标准化等级的骨骺图片界面组件，将其排列在基于X线影像区域界面上层，可以实现对界面中标准化等级的骨骺图片界面组件进行骨骺等级更改。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例，还提供了一种用于实施上述用于骨骺等级分级分级的图像数据处理方法的装置，如图6所示，该装置包括：接收模块10，用于接收待处理图像；处理模块20，用于将所述待处理图像通过预设网络学习模型，输出所述待处理图像中骨骺的目标图像区域；用户接口模块30，用于通过图形用户界面，对所述骨骺的目标图像区域执行预设操作处理，得到骨骺等级分级评定结果。
本申请实施例的接收模块10中后台服务器或者客户端接收待处理图像，所述待处理图像是手掌的X线片。在进行骨龄评估时通常需要对被测者的手部和腕部进行X光摄片，比如待处理图像可以是：单张左手平放时的X线影像。
本申请实施例的处理模块20中将所述待处理图像通过预设网络学习模型后输出所述待处理图像中骨骺的目标图像区域，对所述待处理图像采用自动位置校正处理，显示校正后的结果。
所述预设网络学习模型用于基于深度学习方法对目标影像进行处理，完成对掌指骨、腕骨的骨骺关键点检测，完成骨骺对象的识别分割。
本申请实施例的用户接口模块30中图形用户界面即GUI，是指采用图形方式显示的计算机操作用户界面。
通过所述图形用户界面，可以实现对所述骨骺的目标图像区域执行预设操作处理，所述预设操作处理可以是：可对骨骺等级进行修改。也可以是：标准示意图或者标准图谱进行对比，进而为每个骨骺选定更为准确的骨骺发育等级。
优选地，所述图形用户界面为包含有标准化等级的骨骺图片界面组件，将所述图片界面组件排列在所述目标图像区域界面上层，并从标准化等级的骨骺图片界面组件中，选择相应组件布置到界面下方的界面设计区。特别地，界面组件上通过将骨骺区域和X线影像区域的骨骺对应后在页面横向或者纵向对齐。
需要注意的是，骨骺等级分级评定结果可以根据实际使用情况得到，在本申请的实施例中并不进行限定。
需要注意的是，上述骨骺发育等级评的方法可兼容在国内、国际具有较高接受度的骨龄评价标准和方法，如TW3标准以及中华05标准。
根据本申请实施例，本申请实施例中的优选，如图7所示，所述处理模块20包括：网络学习单元201，用于在所述网络模型采用预设关键点检测框架下作为主干网络，并依次设置特征提取网络、特征融合网络、区域举荐网络、分类回归网络；其中，所述特征提取网络，用于采用多层卷积神经网络作为骨干网路，在不同尺度上进行特征图提取；所述特征融合网络，用于对不同分支上的所述特征图采用不同或相同的图像特征进行的特征融合；所述区域举荐网络，用于生成目标定位框得到目标区域；所述分类回归网络，用于对目标区域分类。
本申请实施例中通过对所述待处理图像采用图像预处理，得到的结果输入预设网络学习模型；以及根据所述网络学习模型输出目标图像的检测结果，得到所述影像的目标图像区域。
需要注意的是，所述图像预处理可以根据实际待处理图像的质量选择，在本申请的实施例中并不进行具体限定。
还需要注意的是，网络学习模型预选采用神经网络学习模型。
具体地，输入待处理图像，在所述待处理图像包括：平放的左手掌X线影像；对所述的待处理图像输入预设网络学习模型；以及根据所述网络学习模型输出目标图像的检测结果，得到所述骨骺的目标图像区域。根据所述网络学习模型输出目标图像的检测结果以及分割结果，得到所述X线图像中骨骺的目标图像区域包括：所述网络模型采用预设目标检测框架下作为主干网络，并依次设置特征提取网络、特征融合网络、区域举荐网络、分类回归网络；其中，所述特征提取网络，用于采用多层卷积神经网络作为骨干网路，在不同尺度上进行特征图提取；所述特征融合网络，用于对不同分支上的所述特征图的图像特征进行的特征融合；所述区域举荐网络，用于生成目标定位框得到目标区域；所述分类回归网络，用于对目标区域分类或框回归。
根据本申请实施例，本申请实施例中的优选，如图8所示，所述用户接口模块30包括：查看单元301，用于通过图形用户界面，对所述骨骺的目标图像区域执行骨骺分类结果查看操作；对比单元302，用于通过图形用户界面，对所述骨骺的目标图像区域执行骨骺当前分类结果和相似分类的标准示意图查看操作；分类单元303，用于通过图形用户界面，对所述骨骺的目标图像区域执行骨骺分类结果查看操作，并通过所述图形用户界面对所述骨骺分类进行修改。
本申请实施例中具体地，在显示页面中加载一张X线影像以及这张X线影像中的待检测的骨骺列表至界面组件中。加载一套包含有标准化等级的骨骺图片界面组件，将其排列在基于X线影像区域界面上层，并从标准化等级的骨骺图片界面组件中，选择相应组件布置到界面下方的界面设计区。
优选地，对界面设计区的标准化等级的骨骺图片界面组件进行骨骺等级更改，选择与X线影像相对应最接近的等级。通过上述步骤实质上是用户对比X线影像中的骨骺等级和标准化图片骨骺等级进行比较鉴别、分类分级的过程，通过对照标准化图片，提高效率且避免出错。
当保存中准化图片骨骺等级与X线影像中的骨骺等级的对应关系，骨骺等级随之更改，各个页面中交互组件中该骨骺的等级随之变化，但需要注意的是各个骨骺的等级在不同的交互组件中显示值保持一致。
特别地，界面上将骨骺区域和X线影像区域的骨骺对应后在页面横向或者纵向对齐。对界面设计区的标准化等级的骨骺图片界面组件进行骨骺等级更改，选择与X线影像相对应最接近的等级。
根据本申请实施例，本申请实施例中的优选，如图9所示，所述用户接口模块30还包括：数据单元306，用于通过图形用户界面，根据已储存的骨龄数据对用户执行随访操作。
具体地，基于图形用户界面和通过纵向积累的用户骨龄数据，可以对用户进行随访操作。通过图形用户界面可以直观显示完成随访操作。
根据本申请实施例，本申请实施例中的优选，如图10所示，所述用户接口模块包括：加载单元304，用于通过图形用户界面，加载所述待处理图像中X线手部影像并显示；选择单元305，用于通过图形用户界面，选择预设骨骺对象以使所述骨骺对象处于选中状态。
具体地，在所述图形用户界面的X线影像加载界面组件中可加载显示X线手部影像，此外在所述图形用户界面与用户进行交互时可选择某个骨骺对象，使之处于选中状态。
通过图形用户界面的X线影像加载界面组件选中骨骺对象后，可查看骨骺分类结论一套包含有标准化等级的骨骺图片界面组件，将其排列在基于X线影像区域界面上层，可以实现对界面中标准化等级的骨骺图片界面组件进行骨骺等级更改。
在上述实施例的模块中，按照如下步骤执行如下的操作：
步骤S1，输入待处理图像。
在所述待处理图像中至少包括：单张左手平放的X线影像。然后对所述待处理图像采用图像预处理，得到的结果输入预设网络学习模型，根据所述网络学习模型输出目标图像的检测结果，得到所述影像的目标图像区域。完成深度学习模型的对X线影像的处理。
步骤S2，页面中加载一张X线影像以及这张X线影像中的待检测的骨骺列表至界面组件中。
在图形用户界面中记载出：X线影像和所述X线影像中的待检测的骨骺区域列表至X线影像加载界面组件。
步骤S3，加载一套包含有标准化等级的骨骺图片界面组件，将其排列在基于X线影像区域界面上层，并从标准化等级的骨骺图片界面组件中，选择相应组件布置到界面下方的界面设计区。特别地，界面上将骨骺区域和X线影像区域的骨骺对应后在页面横向或者纵向对齐。
X线影像加载界面组件，可加载并显示X线影像，以及这张X线影像中的待检测的骨骺列表。
骨骺图片界面组件，将骨骺图片界面组件排列在基于X线影像区域界面上层，对界面中标准化等级的骨骺图片界面组件进行骨骺等级更改，选择与X线影像中相对应骨骺最接近的分类等级，保存对应关系，骨骺等级随之更改，各个页面中交互组件中该骨骺的等级随之变化，各个骨骺的等级在不同的交互组件中显示值保持一致。
步骤S4，对界面设计区的标准化等级的骨骺图片界面组件进行骨骺等级更改，选择与X线影像相对应最接近的等级。
用户对比X线影像中的骨骺等级和标准化图片骨骺等级进行比较鉴别、分类分级的过程，通过对照标准化图片，提高效率且避免出错。
步骤S5，保存步骤S4中的骨骺等级对应关系，骨骺等级随之更改，各个页面中交互组件中该骨骺的等级随之变化，但各个骨骺的等级在不同的交互组件中显示值保持一致。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种用于骨骺等级分级分级的图像数据处理方法，其特征在于，包括：
接收待处理图像；
将所述待处理图像通过预设网络学习模型，输出所述待处理图像中骨骺的目标图像区域；
通过图形用户界面，对所述骨骺的目标图像区域执行预设操作处理，得到骨骺等级分级评定结果。
2.根据权利要求1所述的图像数据处理方法，其特征在于，将所述待处理图像通过预设网络学习模型，输出所述待处理图像中骨骺的目标图像区域包括：
所述网络模型采用预设关键点检测框架下作为主干网络，并依次设置特征提取网络、特征融合网络、区域举荐网络、分类回归网络；
其中，所述特征提取网络，用于采用多层卷积神经网络作为骨干网路，在不同尺度上进行特征图提取；
所述特征融合网络，用于对不同分支上的所述特征图采用不同或相同的图像特征进行的特征融合；
所述区域举荐网络，用于生成目标定位框得到目标区域；
所述分类回归网络，用于对目标区域分类。
3.根据权利要求2所述的图像数据处理方法，其特征在于，通过图形用户界面，对所述骨骺的目标图像区域执行预设操作处理，得到骨骺等级分级评定结果包括：
通过图形用户界面，对所述骨骺的目标图像区域执行骨骺分类结果查看操作；
通过图形用户界面，对所述骨骺的目标图像区域执行骨骺当前分类结果和相似分类的标准示意图查看操作；
通过图形用户界面，对所述骨骺的目标图像区域执行骨骺分类结果查看操作，并通过所述图形用户界面对所述骨骺分类进行修改。
4.根据权利要求1所述的图像数据处理方法，其特征在于，将所述待处理图像通过预设网络学习模型，输出所述待处理图像中骨骺的目标图像区域之后还包括：
基于预设深度学习网络进行样本训练数据的抑制；
用训练完成的检出网络对待处理图像中骨骺的目标图像区域数据进行预测，收集预测检出置信度高的区域。
5.根据权利要求1所述的图像数据处理方法，其特征在于，通过图形用户界面，对所述骨骺的目标图像区域执行预设操作处理，得到骨骺等级分级评定结果包括：
通过图形用户界面，加载所述待处理图像中X线手部影像并显示；
通过图形用户界面，选择预设骨骺对象以使所述骨骺对象处于选中状态。
6.一种用于骨骺等级分级的图像数据处理装置，其特征在于，包括：
接收模块，用于接收待处理图像；
处理模块，用于将所述待处理图像通过预设网络学习模型，输出所述待处理图像中骨骺的目标图像区域；
用户接口模块，用于通过图形用户界面，对所述骨骺的目标图像区域执行预设操作处理，得到骨骺等级分级评定结果。
7.根据权利要求6所述的图像数据处理装置，其特征在于，所述处理模块包括：
网络学习单元，用于在所述网络模型采用预设关键点检测框架下作为主干网络，并依次设置特征提取网络、特征融合网络、区域举荐网络、分类回归网络；
其中，所述特征提取网络，用于采用多层卷积神经网络作为骨干网路，在不同尺度上进行特征图提取；
所述特征融合网络，用于对不同分支上的所述特征图采用不同或相同的图像特征进行的特征融合；
所述区域举荐网络，用于生成目标定位框得到目标区域；
所述分类回归网络，用于对目标区域分类。
8.根据权利要求7所述的图像数据处理装置，其特征在于，所述用户接口模块包括：
查看单元，用于通过图形用户界面，对所述骨骺的目标图像区域执行骨骺分类结果查看操作；
对比单元，用于通过图形用户界面，对所述骨骺的目标图像区域执行骨骺当前分类结果和相似分类的标准示意图查看操作；
分类单元，用于通过图形用户界面，对所述骨骺的目标图像区域执行骨骺分类结果查看操作，并通过所述图形用户界面对所述骨骺分类进行修改。
9.根据权利要求6所述的图像数据处理装置，其特征在于，所述用户接口模块还包括：数据单元，用于通过图形用户界面，根据已储存的骨龄数据对用户执行随访操作。
10.根据权利要求6所述的图像数据处理装置，其特征在于，所述用户接口模块包括：
加载单元，用于通过图形用户界面，加载所述待处理图像中X线手部影像并显示；
选择单元，用于通过图形用户界面，选择预设骨骺对象以使所述骨骺对象处于选中状态。
CN201910500106.0A 2019-06-10 2019-06-10 用于骨骺等级分级的图像数据处理方法及装置 Pending CN110335670A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910500106.0A CN110335670A (zh) 2019-06-10 2019-06-10 用于骨骺等级分级的图像数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910500106.0A CN110335670A (zh) 2019-06-10 2019-06-10 用于骨骺等级分级的图像数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN110335670A true CN110335670A (zh) 2019-10-15

Family

ID=68140937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910500106.0A Pending CN110335670A (zh) 2019-06-10 2019-06-10 用于骨骺等级分级的图像数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN110335670A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882517A (zh) * 2020-06-08 2020-11-03 杭州深睿博联科技有限公司 一种基于图卷积神经网络的骨龄评测方法、系统、终端及存储介质
CN114141367A (zh) * 2020-09-03 2022-03-04 大理大学 一种法医学青少年骨龄鉴定计算方法及系统
EP4104766A4 (en) * 2020-03-02 2023-09-13 Shanghai Pulse Medical Technology Inc. METHOD AND DEVICE FOR CALCULATION OF BLOOD FLOW IN A CORONARY ARTERY AND ELECTRONIC DEVICE

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018057714A1 (en) * 2016-09-21 2018-03-29 The General Hospital Corporation Systems, methods and media for automatically generating a bone age assessment from a radiograph
CN108334899A (zh) * 2018-01-28 2018-07-27 浙江大学 基于手骨x光片骨骼和关节量化信息集成的骨龄评估方法
CN109036560A (zh) * 2018-07-09 2018-12-18 黄卫保 骨发育分析系统
CN109285154A (zh) * 2018-09-30 2019-01-29 杭州依图医疗技术有限公司 一种检测骨龄的方法及装置
CN109741309A (zh) * 2018-12-27 2019-05-10 北京深睿博联科技有限责任公司 一种基于深度回归网络的骨龄预测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018057714A1 (en) * 2016-09-21 2018-03-29 The General Hospital Corporation Systems, methods and media for automatically generating a bone age assessment from a radiograph
CN108334899A (zh) * 2018-01-28 2018-07-27 浙江大学 基于手骨x光片骨骼和关节量化信息集成的骨龄评估方法
CN109036560A (zh) * 2018-07-09 2018-12-18 黄卫保 骨发育分析系统
CN109285154A (zh) * 2018-09-30 2019-01-29 杭州依图医疗技术有限公司 一种检测骨龄的方法及装置
CN109741309A (zh) * 2018-12-27 2019-05-10 北京深睿博联科技有限责任公司 一种基于深度回归网络的骨龄预测方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
H. LEE 等: "Fully Automated Deep Learning Systemfor Bone Age Assessment", 《J DIGIT IMAGING》 *
X. CHEN 等: "Bone Age Assessment with X-ray Images Based on Contourlet Motivated Deep Convolutional Networks", 《2018 IEEE 20TH INTERNATIONAL WORKSHOP ON MULTIMEDIA SIGNAL PROCESSING (MMSP)》 *
刘鸣谦 等: "基于多维度特征融合的深度学习骨龄评估模型", 《第二军医大学学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4104766A4 (en) * 2020-03-02 2023-09-13 Shanghai Pulse Medical Technology Inc. METHOD AND DEVICE FOR CALCULATION OF BLOOD FLOW IN A CORONARY ARTERY AND ELECTRONIC DEVICE
CN111882517A (zh) * 2020-06-08 2020-11-03 杭州深睿博联科技有限公司 一种基于图卷积神经网络的骨龄评测方法、系统、终端及存储介质
CN114141367A (zh) * 2020-09-03 2022-03-04 大理大学 一种法医学青少年骨龄鉴定计算方法及系统

Similar Documents

Publication Publication Date Title
CN110428475B (zh) 一种医学图像的分类方法、模型训练方法和服务器
CN111739075B (zh) 一种结合多尺度注意力的深层网络肺部纹理识别方法
JP6924413B2 (ja) データ生成装置、データ生成方法及びデータ生成プログラム
JP6915349B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN105912990B (zh) 人脸检测的方法及装置
CN110335670A (zh) 用于骨骺等级分级的图像数据处理方法及装置
CN106530305A (zh) 语义分割模型训练和图像分割方法及装置、计算设备
CN109313805A (zh) 图像处理装置、图像处理系统、图像处理方法和程序
Song et al. MSFYOLO: Feature fusion-based detection for small objects
CN112534243B (zh) 检查装置与方法及计算机能读取的非临时性的记录介质
CN114821282B (zh) 一种基于域对抗神经网络的图像检测装置及方法
CN108960124A (zh) 用于行人再识别的图像处理方法及装置
CN110533654A (zh) 零部件的异常检测方法及装置
EP3916637A1 (en) Apparatus and method for detecting elements of an assembly
CN109934081A (zh) 一种基于深度神经网络的行人属性识别方法、装置及存储介质
CN112633297A (zh) 目标对象的识别方法、装置、存储介质以及电子装置
CN107341440A (zh) 基于多任务度量多核学习的室内rgb‑d场景图像识别方法
CN115131630A (zh) 模型训练、微卫星状态预测方法、电子设备及存储介质
CN110378391A (zh) 计算模型的特征筛选方法、装置、电子设备和存储介质
CN109671055A (zh) 肺结节检测方法及装置
CN109167998A (zh) 检测相机状态的方法及装置、电子设备、存储介质
CN109460820A (zh) 一种神经网络训练方法、装置、计算机设备和存储介质
CN111178445A (zh) 图像处理方法及装置
CN109448842B (zh) 人体肠道微生态失衡的确定方法、装置及电子设备
CN113096079B (zh) 图像分析系统及其构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191015

RJ01 Rejection of invention patent application after publication