CN113873945A - 骨部图像解析方法和学习方法 - Google Patents

骨部图像解析方法和学习方法 Download PDF

Info

Publication number
CN113873945A
CN113873945A CN201980096648.4A CN201980096648A CN113873945A CN 113873945 A CN113873945 A CN 113873945A CN 201980096648 A CN201980096648 A CN 201980096648A CN 113873945 A CN113873945 A CN 113873945A
Authority
CN
China
Prior art keywords
image
bone
learning
bone region
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980096648.4A
Other languages
English (en)
Inventor
押川翔太
高桥涉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Publication of CN113873945A publication Critical patent/CN113873945A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A61B6/5282—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to scatter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Dentistry (AREA)
  • Primary Health Care (AREA)
  • Physiology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本骨部图像解析方法包括以下步骤：基于使用了第一学习用输入图像(30)以及与第一学习用输入图像(30)对应的第一标签图像(40)的机器学习的学习结果，来提取规定的骨部区域(A)和规定构件(300)，第一学习用输入图像(30)是通过将模拟了亮度值比骨部的亮度值大的规定构件(300)的第一模拟构件图像(300a)附加于骨部区域图像(20)来获取到的图像。

Description

骨部图像解析方法和学习方法
技术领域
本发明涉及一种骨部图像解析方法和学习方法，特别涉及一种用于进行对被检者的规定的骨部区域的解析的骨部图像解析方法和学习方法。
背景技术
以往，已知有用于进行对被检者的规定的骨部区域的解析的骨部图像解析方法和学习方法。这样的骨部图像解析方法例如在专利第2638875号公报中公开。
在专利第2638875号公报中，公开了具备产生放射线的单元以及被照射了该放射线的1枚晶格的骨盐定量分析装置。另外，在骨盐定量分析装置中，具备如下的单元：该单元通过仅对由上述晶格反射的放射线中的、规定的两个反射角度的放射线进行准直(以使彼此的放射线并行前进的方式进行调整)，来同时地将两个不同能量的放射线向被检者照射。骨盐定量分析装置构成为：利用两个不同能量的放射线同时扫描被检者，由此使用与各个X射线对应的透射数据来进行被检者的骨盐定量分析(骨密度的测定)。
现有技术文献
专利文献
专利文献1：专利第2638875号公报
发明内容
发明要解决的问题
上述那样的骨密度的测定一般以腰椎、大腿骨的骨密度为对象。在此，在大腿骨的形状中个人差异大，为了实施稳定的过程观察，确定被检者的骨部的区域变得重要。因此，以往，为了更准确地确定(提取)骨部等的骨部区域(骨部图像)，而考虑基于机器学习的学习结果来进行骨部区域的确定(提取)。
然而，在以往的方法中，根据对亮度值比骨部的亮度值大的由金属形成的医疗用构件等被设置于规定的骨部区域的被检者进行拍摄所得的摄影图像，基于机器学习的学习结果来进行了对规定的骨部区域的提取，在这种情况下，存在有时无法提取上述医疗用构件周围的骨部的问题。这是因为：由于难以准备足以进行学习的数量的在规定的骨部区域设置有上述医疗用构件的病症图像，而无法充分地进行使用了上述病症图像的机器学习。因而，在以往的方法中，存在如下问题：难以根据亮度值比骨部的亮度值大的上述构件被设置于规定的骨部区域的被检者的摄影图像来进行骨部的提取，因此难以在上述摄影图像上进行骨部的解析。
本发明是为了解决上述的问题而完成的，本发明的一个目的在于提供一种能够使在亮度值比骨部的亮度值大的构件被设置于规定的骨部区域的被检者的摄影图像上进行骨部的解析变得容易的骨部图像解析方法和学习方法。
用于解决问题的方案
为了达成上述目的，本发明的第一方面中的骨部图像解析方法包括以下步骤：获取显示有规定的骨部区域的多个骨部区域图像；通过将模拟了亮度值比骨部的亮度值大的规定构件的第一模拟构件图像附加于多个骨部区域图像中的一部分骨部区域图像，来获取第一学习用输入图像；获取第一标签图像，第一标签图像包括规定的骨部区域和第一模拟构件图像在第一学习用输入图像中显示的位置的第一正解信息；使用第一学习用输入图像和第一标签图像来实施机器学习，机器学习用于在由X射线摄影装置拍摄到的显示有规定的骨部区域和规定构件的摄影图像上提取规定的骨部区域和规定构件；以及基于机器学习的学习结果，来在摄影图像上提取规定的骨部区域和规定构件。
另外，根据本发明的第二方面的学习方法包括以下步骤：获取显示有规定的骨部区域的多个骨部区域图像；通过将模拟了亮度值比骨部的亮度值大的规定构件的模拟构件图像附加于多个骨部区域图像中的一部分骨部区域图像，来获取学习用输入图像；获取标签图像，标签图像包括规定的骨部区域和模拟构件图像在学习用输入图像中显示的位置的正解信息；以及使用学习用输入图像和标签图像来实施机器学习，机器学习用于在由X射线摄影装置拍摄到的显示有规定的骨部区域和规定构件的摄影图像上提取规定的骨部区域和规定构件。
发明的效果
根据本发明，如上所述，使用将模拟了亮度值比骨部的亮度值大的规定构件的模拟构件图像附加于骨部区域图像所得的第一学习用输入图像(学习用输入图像)来实施机器学习。由此，能够使用如在规定的骨部区域实际设置有上述规定构件那样的模拟的第一学习用输入图像(学习用输入图像)来实施机器学习。其结果，即使由于病症少而无法准备在规定的骨部区域实际设置有上述规定构件的图像，也能够通过使用上述的模拟的第一学习用输入图像(学习用输入图像)，来实施用于提取规定的骨部区域和规定构件的机器学习。由此，能够根据亮度值比骨部的亮度值大的规定构件被设置于规定的骨部区域的被检者的摄影图像，来适当地提取规定的骨部区域(和规定构件)。其结果，能够使亮度值比骨部的亮度值大的规定构件被设置于规定的骨部区域的被检者的摄影图像上进行骨部的解析变得容易。
附图说明
图1是示出根据第一实施方式的X射线摄影装置和学习装置的图。
图2是示出根据第一实施方式和第二实施方式的摄影图像(无金属构件)的图。
图3是示出根据第一实施方式和第二实施方式的摄影图像(有金属构件)的图。
图4是示出根据第一实施方式的骨部图像解析方法和学习方法的流程图。
图5是用于说明根据第一实施方式和第二实施方式的骨部区域图像的获取方法的图。
图6是用于说明根据第一实施方式和第二实施方式的学习用输入图像的获取方法的图。
图7是用于说明根据第一实施方式的与附加有模拟构件图像的学习用输入图像对应的标签图像的获取方法的图。
图8是用于说明根据第一实施方式的与未附加模拟构件图像的学习用输入图像对应的标签图像的获取方法的图。
图9是用于说明根据第一实施方式和第二实施方式的用于再次学习的学习用输入图像的获取方法的图。
图10是用于说明根据第一实施方式的与用于再次学习的学习用输入图像对应的标签图像的获取方法的图。
图11是根据第一实施方式的将基于使用了模拟构件图像的机器学习的提取结果与基于未使用模拟构件图像的机器学习(比较例)的提取结果进行比较所得的图。
图12是示出根据第二实施方式的X射线摄影装置和学习装置的图。
图13是示出根据第二实施方式的骨部图像解析方法和学习方法的流程图。
图14是用于说明根据第二实施方式的与学习用输入图像对应的标签图像的获取方法的图。
图15是示出根据第二实施方式的基于使用了模拟构件图像的机器学习的提取结果的图。
具体实施方式
以下，基于附图来说明使本发明具体化的实施方式。
[第一实施方式]
(X射线摄影装置的结构)
如图1所示，X射线摄影装置100具备X射线照射部1、X射线检测部2、图像处理部3以及控制部4。另外，X射线摄影装置100具备显示被图像处理部3处理后的图像的显示部5。
X射线照射部1向被检者T照射X射线。X射线检测部2检测从X射线照射部1照射到被检者T的X射线。X射线摄影装置100例如在对被检者T的骨部区域A(参照图2)的骨密度的计算(测定)中使用。在骨密度的测定中，例如，使用了DEXA(Dual-Energy X-rayAbsorptiometry：双能X射线吸收测定法)法，该DEXA法是通过从X射线照射部1向被检者T的测定部位照射两种能量的X射线来区别骨成分与其它组织的方法。此外，在第一实施方式中，作为一例，将骨部区域A设为包括大腿骨和骨盆的区域。即，骨部区域A存在于被检者T的左半身和右半身的各个半身中。此外，骨部区域A是本发明的“规定的骨部区域”的一例。
X射线照射部1包括X射线源1a。X射线源1a与未图示的高电压发生部连接，是通过被施加高电压来产生X射线的X射线管。X射线源1a以X射线射出方向朝向X射线检测部2的检测面的方式配置。
X射线检测部2对从X射线照射部1照射并且透过了被检者T的X射线进行检测，并输出与检测到的X射线强度相应的检测信号。此外，X射线检测部2例如由FPD(Flat PanelDetector：平板探测器)构成。
图像处理部3包括图像获取部3a、机器学习基础区域提取部3b以及解析部3c。此外，图像获取部3a、机器学习基础区域提取部3b以及解析部3c各自是图像处理部3中的作为软件的功能块。即，图像获取部3a、机器学习基础区域提取部3b以及解析部3c各自构成为基于控制部4的指令信号而发挥功能。
图像获取部3a基于由X射线检测部2检测到的X射线来获取被检者T的摄影图像10(参照图2)。例如，摄影图像10是通过对使用不同的两个能量的X射线获取到的各个图像的差进行计算来获取到的能量减影图像。此外，摄影图像10可以是X射线图像、或根据被检者T的CT图像数据制作出的DRR(Digitally Reconstructed Radiograph：数字重建射线照片)图像。
机器学习基础区域提取部3b构成为：基于学习装置200中的机器学习的学习结果，来在基于由X射线检测部2检测到的X射线获取到的摄影图像10中，提取摄影图像10上的规定区域。具体而言，在第一实施方式中，使用深度学习作为机器学习。
解析部3c构成为：进行由技师在摄影图像10中指定的区域的圆形度的计算和骨密度的计算等。
(学习装置的结构)
学习装置200构成为：实施用于在显示有骨部区域A(参照图2)的摄影图像10(参照图2)上提取骨部区域A的机器学习。另外，学习装置200构成为：实施用于在显示有骨部区域A和构件300的摄影图像10(参照图3)上提取骨部区域A和构件300的机器学习。此外，构件300是本发明的“规定构件”的一例。
具体而言，构件300是指亮度值比骨部的亮度值大的构件。详细而言，构件300包括至少一部分被配置在骨部区域A的内部的金属。例如，关于构件300，考虑人工关节、固定用板以及螺钉等在整形手术中使用的金属制留置物。
(骨部图像解析方法和学习方法)
接着，参照图4～图11来说明X射线摄影装置100中的骨部图像解析方法和学习装置200中的学习方法。
如图4所示，骨部图像解析方法(学习方法)包括在步骤101中进行的获取多个(例如100张)骨部区域图像20(参照图5)的步骤。多个骨部区域图像20是显示有骨部区域A的图像。多个骨部区域图像20可以是由X射线摄影装置100获取到的图像，也可以是由其它装置获取到的图像。另外，骨部区域图像20可以是能量减影图像、X射线图像以及DRR图像中的某一方。此外，在DRR图像的情况下，可以是仅骨部的DRR图像。另外，在X射线图像的情况下，可以包括利用低压和高压等不同的管电压拍摄到的图像。
具体而言，如图5所示，获取骨部区域图像20的步骤包括以下步骤：获取显示有左右中的一方(在第一实施方式中作为一例设为右侧)的骨部区域A的右侧骨部区域图像21，来作为骨部区域图像20。另外，获取骨部区域图像20的步骤包括以下步骤：获取显示有左右中的另一方(即左侧)的骨部区域A的左侧骨部区域图像22被左右反转所得的反转后骨部区域图像23，来作为骨部区域图像20。即，显示有左侧的骨部区域A的左侧骨部区域图像22被左右反转，由此被变换为模拟成显示了右侧的骨部区域A的反转后骨部区域图像23。例如，分别获取50张右侧骨部区域图像21和50张反转后骨部区域图像23。此外，右侧骨部区域图像21是本发明的“一侧骨部图像”的一例。另外，左侧骨部区域图像22和反转后骨部区域图像23分别是本发明的“另一侧骨部反转前图像”和“另一侧骨部反转后图像”的一例。
接着，如图4所示，骨部图像解析方法(学习方法)包括在步骤102中进行的获取多个学习用输入图像30(参照图6)的步骤。此外，学习用输入图像30是本发明的“第一学习用输入图像”的一例。
在此，在第一实施方式中，如图6所示，在步骤102中，通过将模拟了构件300的模拟构件图像300a附加于多个骨部区域图像20中的一部分骨部区域图像20，来获取学习用输入图像30。具体而言，获取学习用输入图像30的步骤包括以下步骤：将模拟了至少一部分配置于骨部区域A的内部的金属的模拟构件图像300a附加于多个骨部区域图像20中的一部分骨部区域图像20。此外，将模拟构件图像300a附加于多个骨部区域图像20中的例如约30％的骨部区域图像20中的各个骨部区域图像20。此外，30％的比例是一例，不限于此。另外，图6所示的模拟构件图像300a的形状是一例，例如也可以是圆形形状或三角形形状等。此外，模拟构件图像300a是本发明的“第一模拟构件图像”的一例。
另外，附加模拟了金属的模拟构件图像300a的步骤包括将具有与金属的亮度值大致相等的亮度值的模拟构件图像300a附加于骨部区域图像20的步骤。具体而言，模拟构件图像300a的亮度值是从被认为金属的规定亮度值范围中随机地选择(设定)的。
详细而言，在步骤102中，获取将模拟构件图像300a附加于右侧骨部区域图像21所得的右侧学习用输入图像31、以及将模拟构件图像300a附加于反转后骨部区域图像23所得的左侧学习用输入图像32，来作为多个学习用输入图像30。即，在骨部区域A的朝向全部一致的多个学习用输入图像30(31、32)中的各个学习用输入图像中，附加有模拟构件图像300a。此外，要附加模拟构件图像300a的骨部区域图像20可以仅为右侧骨部区域图像21，也可以仅为反转后骨部区域图像23。此外，右侧学习用输入图像31和左侧学习用输入图像32分别是本发明的“一侧学习用图像”和“另一侧学习用图像”的一例。
此外，下面，不对右侧骨部区域图像21与反转后骨部区域图像23进行区别而作为骨部区域图像20来进行说明。另外，不对右侧学习用输入图像31与左侧学习用输入图像32进行区别而作为学习用输入图像30来进行说明。
在第一实施方式中，获取学习用输入图像30的步骤包括如下步骤：针对要附加模拟构件图像300a的多个骨部区域图像20中的每个骨部区域图像20，以使模拟构件图像300a的亮度值、形状、位置以及数量中的至少一方互不相同的方式将模拟构件图像300a附加于多个骨部区域图像20中的各个骨部区域图像20，由此获取多个学习用输入图像30。具体而言，针对多个骨部区域图像20中的每个骨部区域图像20，通过图像处理部3(图像获取部3a)来随机地设定所附加的模拟构件图像300a的亮度值、形状、位置以及数量。此时，通过图像处理部3(图像获取部3a)将所附加的模拟构件图像300a的亮度值、形状、位置以及数量中的至少一方以在骨部区域图像20之间互不相同的方式进行设定(调整)。例如，在图6的右侧学习用输入图像31和左侧学习用输入图像32中，模拟构件图像300a的形状及数量不同。
接着，如图4所示，骨部图像解析方法(学习方法)包括在步骤103中进行的获取标签图像40(参照图7)的步骤。标签图像40包括骨部区域A和模拟构件图像300a在学习用输入图像30中显示的位置的正解信息400。此外，标签图像40是由技师基于多个学习用输入图像30中的各个学习用输入图像30手动地生成(获取)的图像。此外，标签图像40和正解信息400分别是本发明的“第一标签图像”和“第一正解信息”的一例。
另外，获取标签图像40的步骤包括以下步骤：获取对标签图像40上的与骨部区域A对应的位置以及与模拟构件图像300a对应的位置赋予了共同的正解值所得的标签图像40。具体而言，对标签图像40上的与学习用输入图像30上的骨部区域A对应的位置以及与模拟构件图像300a对应的位置(坐标)分别赋予共同的正解值1。此外，标签图像40中的其余部分(背景部分)是值为0的状态。即，标签图像40被二值化，以将与骨部区域A及模拟构件图像300a对应的区域以及与其余部分(背景部分)对应的区域进行区分。
另外，在第一实施方式中，如图4所示，骨部图像解析方法(学习方法)包括在步骤103中进行的以下步骤：获取标签图像41(参照图8)，标签图像41包括骨部区域A在多个骨部区域图像20中的未被附加模拟构件图像300a的骨部区域图像20上显示的位置的正解信息410(参照图8)。此外，未被附加模拟构件图像300a的骨部区域图像20为全部的骨部区域图像20中的约70％。另外，标签图像41和正解信息410分别是本发明的“第三标签图像”和“第三正解信息”的一例。
具体而言，对标签图像41上的与(未被附加模拟构件图像300a的)骨部区域图像20上的骨部区域A对应的位置(坐标)赋予正解值1。此外，标签图像41中的其余部分(背景部分)是值为0的状态。即，标签图像41被二值化，以将与骨部区域A对应的区域以及与其余部分(背景部分)对应的区域进行区分。
接着，如图4所示，骨部图像解析方法(学习方法)包括在步骤104中进行的实施机器学习的步骤。
在第一实施方式中，该步骤104中的机器学习是使用学习用输入图像30和标签图像40来实施用于在显示有骨部区域A和构件300的摄影图像10(参照图3)上提取骨部区域A和构件300的机器学习的步骤。换言之，通过将相互对应的学习用输入图像30与标签图像40的多个组用作学习用的数据，来实施该机器学习。此外，相互对应的学习用输入图像30与标签图像40的组是指由一个学习用输入图像30和根据上述一个学习用输入图像30生成(获取到)的标签图像40构成的组。另外，摄影图像10是由X射线摄影装置100拍摄到的图像。
另外，实施该机器学习的步骤包括以下步骤：使用学习用输入图像30与标签图像40的组、以及未被附加模拟构件图像300a的骨部区域图像20与标签图像41的组来实施机器学习。即，将附加有模拟构件图像300a的骨部区域图像20(学习用输入图像30)、以及未被附加模拟构件图像300a的骨部区域图像20这两方用作机器学习用的输入数据。此外，学习用输入图像30与标签图像40的组同未被附加模拟构件图像300a的骨部区域图像20与标签图像41的组之比例如为3：7左右。
接着，如图4所示，实施机器学习的步骤104包括实施再次学习的步骤。在上述再次学习中，使用将模拟构件图像300b(参照图9)附加于作为学习用输入图像30的基础的骨部区域图像20所得的学习用输入图像50(参照图9)，模拟构件图像300b是亮度值、形状、位置以及数量中的至少一方与学习用输入图像30的模拟构件图像300a(参照图6)不同的模拟了构件300的图像。另外，在上述再次学习中，使用包括骨部区域A和模拟构件图像300b在学习用输入图像50中显示的位置的正解信息600的标签图像60(参照图10)。在使用学习用输入图像30(参照图7)和标签图像40(参照图7)进行了机器学习之后，使用学习用输入图像50和标签图像60进行再次学习。此外，标签图像60和学习用输入图像50分别是本发明的“第二标签图像”以及“第二学习用输入图像”的一例。另外，正解信息600和模拟构件图像300b分别是本发明的“第二正解信息”和“第二模拟构件图像”的一例。
此外，与标签图像40(参照图7)同样地，对标签图像60上的与学习用输入图像50上的骨部区域A对应的位置以及与模拟构件图像300b对应的位置(坐标)分别赋予共同的正解值1。此外，标签图像60中的其余部分(背景部分)是值为0的状态。即，标签图像60被二值化，以将与骨部区域A及模拟构件图像300b对应的区域以及与其余部分(背景部分)对应的区域进行区分。
另外，上述再次学习在使用了学习用输入图像30(参照图7)和标签图像40(参照图7)的机器学习(以及使用了标签图像41的学习)之后重复进行数千次。针对要附加模拟构件图像300b的多个骨部区域图像20中的各个骨部区域图像20，通过图像处理部3(图像获取部3a)将模拟构件图像300b的亮度值、形状、位置以及数量中的至少一方以在数千次的再次学习的期间每次都被变更的方式进行调整。
接着，如图4所示，骨部图像解析方法包括在步骤105中进行的获取图像提取(分割)对象的图像的步骤。具体而言，通过由X射线摄影装置100进行被检者T的摄影来获取摄影图像10(参照图2和图3)。此外，在获取到显示有左侧的骨部区域A的摄影图像10的情况下，通过使显示有上述左侧的骨部区域A的摄影图像10左右反转来获取模拟成显示了右侧的骨部区域A的图像。由此，能够使图像提取(分割)对象的图像中的骨部区域A的朝向与用于机器学习的学习用图像(参照图7和图8)中的骨部区域A的朝向一致。
在此，在第一实施方式中，如图4所示，骨部图像解析方法包括在步骤106中进行的基于步骤104的机器学习的学习结果来在摄影图像10上提取(分割)骨部区域A和构件300的步骤。即，基于数千次的再次学习的学习结果，来在摄影图像10上提取(分割)骨部区域A和构件300。
具体而言，如图11所示，提取骨部区域A和构件300的步骤包括基于机器学习(包括再次学习)的学习结果来在摄影图像10上一体地提取骨部区域A和构件300的步骤。即，不将骨部区域A和构件300相互区别而提取摄影图像10上的与骨部区域A及构件300对应的区域(图11的(a)的涂黑部分)。由此，在摄影图像10上，将与骨部区域A及构件300对应的区域以及与其余区域(背景部分)对应的区域(图11的(a)的涂白部分)进行区别。此外，如图11的(b)的比较例所图示的那样，在以往的方法(仅学习骨部的方法)中，提取出构件300以及与构件300分离的骨部，但未提取出构件300周围的骨部。
然后，如图4所示，骨部图像解析方法包括在步骤107中进行的进行图像的解析的步骤。具体而言，在图像上选择在步骤106提取出的骨部区域A中的任意区域，该选择结果被图像处理部3受理。然后，在选择出的解析区域中，进行骨密度的测定(计算)以及圆形度的测定(计算)等。此外，在将骨部区域A与构件300进行区别来进行解析的情况下，能够通过在被图像提取(分割)出的区域内，例如使用基于亮度值的规则库进行提取，来只提取骨部区域A。
(第一实施方式的效果)
在第一实施方式中，能够获得如下的效果。
在第一实施方式中，如上所述，骨部图像解析方法包括以下步骤：获取显示有骨部区域A的多个骨部区域图像20；以及通过将模拟了亮度值比骨部的亮度值大的构件300的模拟构件图像300a附加于多个骨部区域图像20中的一部分骨部区域图像20，来获取学习用输入图像30。另外，骨部图像解析方法包括以下步骤：获取包括骨部区域A和模拟构件图像300a在学习用输入图像30中显示的位置的正解信息400的标签图像40。另外，骨部图像解析方法包括以下步骤：使用学习用输入图像30和标签图像40，来实施用于在由X射线摄影装置100拍摄到的显示有骨部区域A和构件300的摄影图像10上提取骨部区域A和构件300的机器学习。另外，骨部图像解析方法包括以下步骤：基于机器学习的学习结果，来在摄影图像10上提取骨部区域A和构件300。由此，能够使用如在骨部区域A实际设置有构件300那样的模拟的图像(学习用输入图像30)来实施机器学习。其结果，即使由于病症少而无法准备在骨部区域A实际设置有构件300的图像，也能够通过使用上述的模拟的学习用输入图像30来实施用于提取骨部区域A和构件300的机器学习。由此，能够根据亮度值比骨部的亮度值大的构件300被设置于骨部区域A的被检者T的摄影图像10，来适当地提取骨部区域A(和构件300)。其结果，能够使在亮度值比骨部的亮度值大的构件300被设置于骨部区域A的被检者T的摄影图像10上进行骨部的解析变得容易。
另外，在第一实施方式中，如上所述，获取学习用输入图像30的步骤包括以下步骤：将模拟了至少一部分配置于骨部区域A的内部的金属的模拟构件图像300a附加于多个骨部区域图像20中的一部分骨部区域图像20。由此，能够根据在骨部区域A配置有金属的摄影图像10，来适当地提取骨部区域A(和金属)。
另外，在第一实施方式中，如上所述，附加模拟了金属的模拟构件图像300a的步骤包括如下步骤：将具有与金属的亮度值大致相等的亮度值的模拟构件图像300a附加于骨部区域图像20。由此，能够利用与金属实际配置于骨部区域A的情况接近的条件下的学习用输入图像30来实施机器学习。其结果，能够根据在骨部区域A配置有金属的摄影图像10，来更适当地提取骨部区域A(和金属)。
另外，在第一实施方式中，如上所述，获取学习用输入图像30的步骤包括以下步骤：在将模拟构件图像300a附加于多个骨部区域图像20中的各个骨部区域图像20的情况下，针对要附加模拟构件图像300a的多个骨部区域图像20中的每个骨部区域图像20，以使模拟构件图像300a的亮度值、形状、位置以及数量中的至少一方互不相同的方式将模拟构件图像300a附加于多个骨部区域图像20中的各个骨部区域图像20，由此获取多个学习用输入图像30。由此，能够使用互不相同的学习用输入图像30来实施机器学习，因此能够使用于机器学习的学习用输入图像30具有多样性。其结果，能够使用更多种的学习用输入图像30来实施机器学习，并且能够使机器学习的精度提高，因此能够根据构件300被设置于骨部区域A的摄影图像10，来更适当地提取骨部区域A(和构件300)。
另外，在第一实施方式中，如上所述，获取标签图像40的步骤包括以下步骤：获取对标签图像40上的与骨部区域A对应的位置以及与模拟构件图像300a对应的位置赋予共同的正解值所得的标签图像40。另外，提取骨部区域A和构件300的步骤包括以下步骤：基于机器学习的学习结果，来在摄影图像10上一体地提取骨部区域A和构件300。由此，与对骨部区域A和模拟构件图像300a赋予互不相同的正解值的情况相比，能够基于更少的正解值来实施机器学习。其结果，能够使学习装置200中的机器学习相对简易化。
另外，在第一实施方式中，如上所述，实施机器学习的步骤包括以下步骤：在使用学习用输入图像30和标签图像40进行了学习之后使用学习用输入图像50和标签图像60进行再次学习，学习用输入图像50是将模拟构件图像300b附加于作为学习用输入图像30的基础的骨部区域图像20所得的图像，模拟构件图像300b是亮度值、形状、位置以及数量中的至少一方与学习用输入图像30的模拟构件图像300a不同的模拟了构件300的图像，标签图像60包括骨部区域A和模拟构件图像300b在学习用输入图像50中显示的位置的正解信息600。另外，基于机器学习的学习结果来提取骨部区域A和构件300的步骤包括以下步骤：基于进行了再次学习的学习结果，来在摄影图像10上提取骨部区域A和构件300。由此，通过使用与学习用输入图像30和标签图像40不同的学习用输入图像50和标签图像60进行再次学习，能够进行与仅进行使用学习用输入图像30和标签图像40的学习的情况相比更多的学习，因此能够根据摄影图像10来更进一步地适当地提取骨部区域A(和构件300)。另外，通过在再次学习中使用作为学习用输入图像30的基础的骨部区域图像20，能够与一次性地学习更多的骨部区域图像20的情况相比，抑制预先准备(存储)的骨部区域图像20的数量增大。
另外，在第一实施方式中，如上所述，骨部图像解析方法包括以下步骤：获取标签图像41，标签图像41包括骨部区域A在多个骨部区域图像20中的未被附加模拟构件图像300a的骨部区域图像20上显示的位置的正解信息410。另外，实施机器学习的步骤包括以下步骤：使用学习用输入图像30与标签图像40的组、以及未被附加模拟构件图像300a的骨部区域图像20与标签图像41的组来实施机器学习。由此，能够根据构件300被设置于骨部区域A的摄影图像10来提取骨部区域A(和构件300)，并且能够根据仅显示有骨部区域A的摄影图像10来提取骨部区域A。
另外，在第一实施方式中，如上所述，获取多个骨部区域图像20的步骤包括以下步骤：在骨部区域A存在于被检者T的左半身和右半身中的各个半身的情况下，获取右侧学习用输入图像31和左侧学习用输入图像32来作为学习用输入图像30，右侧学习用输入图像31是将模拟构件图像300a附加于显示有左右中的一方的骨部区域A的右侧骨部区域图像21所得的图像，左侧学习用输入图像32是将模拟构件图像300a附加于反转后骨部区域图像23所得的图像，反转后骨部区域图像23是显示有左右中的另一方的骨部区域A的左侧骨部区域图像22被左右反转所得的图像。由此，通过使左侧骨部区域图像22左右反转，来获取模拟成显示了右侧的骨部区域A的左侧学习用输入图像32，由此能够使右侧学习用输入图像31中的骨部区域A的朝向与左侧学习用输入图像32中的骨部区域A的朝向一致。其结果，与所显示的骨部区域A的左右的朝向不一致的情况不同，能够基于朝向已被统一(即学习的条件已被统一)的学习数据(学习用输入图像30)来进行学习，因此与左右分别学习的情况相比，能够进一步提高机器学习的学习效率。
另外，在第一实施方式中，如上所述，机器学习包括深度学习。由此，基于深度学习的提取对象区域的提取精度较高，因此能够在摄影图像10上高精度地提取骨部区域A(和构件300)。
另外，在第一实施方式中，如上所述，学习方法包括以下步骤：获取显示有骨部区域A的多个骨部区域图像20；以及通过将模拟了亮度值比骨部的亮度值大的构件300的模拟构件图像300a附加于多个骨部区域图像20中的一部分骨部区域图像20，来获取学习用输入图像30。另外，学习方法包括以下步骤：获取标签图像40，标签图像40包括骨部区域A和模拟构件图像300a在学习用输入图像30中显示的位置的正解信息400。另外，学习方法包括以下步骤：使用学习用输入图像30和标签图像40，来实施用于在由X射线摄影装置100拍摄到的显示有骨部区域A和构件300的摄影图像10上提取骨部区域A和构件300的机器学习。由此，能够使用如在骨部区域A实际设置有构件300那样的模拟的图像(学习用输入图像30)来实施机器学习。其结果，即使由于病症少而无法准备在骨部区域A实际设置有构件300的图像，也能够通过使用上述的模拟的学习用输入图像30来实施用于提取骨部区域A和构件300的机器学习。由此，能够根据亮度值比骨部的亮度值大的构件300被设置于骨部区域A的被检者T的摄影图像10，来适当地提取骨部区域A(和构件300)。其结果，能够提供能够使在亮度值比骨部的亮度值大的构件300被设置于骨部区域A的被检者T的摄影图像10上进行骨部的解析变得容易的学习方法。
[第二实施方式]
接着，参照图12～图15来说明根据第二实施方式的骨部图像解析方法(学习方法)的结构。在第二实施方式的骨部图像解析方法(学习方法)中，不同于将骨部区域A与构件300不区别地进行提取的上述第一实施方式，将骨部区域A与构件300区别地进行提取。此外，对与上述第一实施方式同样的结构标注与第一实施方式相同的符号并进行图示，并且省略说明。
(X射线摄影装置的结构)
如图12所示，在第二实施方式中，机器学习基础区域提取部3b构成为：基于学习装置210中的机器学习的学习结果，在基于由X射线检测部2检测到的X射线获取到的摄影图像10中提取摄影图像10上的规定的区域。
(骨部图像解析方法和学习方法)
接着，参照图13～图15来说明X射线摄影装置100中的骨部图像解析方法以及学习装置210中的学习方法。
如图13所示，骨部图像解析方法包括在步骤113中进行的获取标签图像70(参照图14)的步骤。标签图像70包括骨部区域A和模拟构件图像300a在学习用输入图像30中显示的位置的正解信息700(参照图14)。此外，标签图像70和正解信息700分别是本发明的“第一标签图像”和“第一正解信息”的一例。
在此，在第二实施方式中，如图14所示，获取标签图像70的步骤包括以下步骤：获取对标签图像70上的与骨部区域A对应的位置以及与模拟构件图像300a对应的位置赋予互不相同的正解值所得的标签图像70。具体而言，对标签图像70上的与学习用输入图像30上的骨部区域A对应的位置(坐标)赋予正解值1，并且对标签图像70上的与学习用输入图像30上的模拟构件图像300a对应的位置(坐标)赋予正解值2。即，正解信息700包括骨部区域A在学习用输入图像30中显示的位置的正解信息700a、以及模拟构件图像300a在学习用输入图像30中显示的位置的正解信息700b。此外，标签图像70中的其余部分(背景部分)是值为0的状态。即，标签图像70被三值化，以将与骨部区域A对应的区域、与模拟构件图像300a对应的区域以及与其余部分(背景部分)对应的区域进行区分。此外，正解信息700a和正解信息700b是本发明的“第一正解信息”的一例。
此外，省略详细的说明，但在再次学习中，也基于对与骨部区域A对应的位置以及与模拟构件图像300a对应的位置赋予互不相同的正解值所得的标签图像(未图示)来进行机器学习。
另外，如图15所示，步骤116的提取骨部区域A和构件300的步骤包括以下步骤：基于机器学习(包括再次学习)的学习结果，来在摄影图像10上个别地提取骨部区域A和构件300。即，骨部区域A和构件300被相互区别，个别地提取摄影图像10上的与骨部区域A对应的区域(图15的(a)的左下斜线部分)以及与构件300对应的区域(图15的(a)的右下斜线部分)的各个区域。由此，在摄影图像10上，将与骨部区域A对应的区域、与构件300对应的区域以及与其余区域(背景部分)对应的区域(图15的(a)的涂白部分)进行区别(相互独立地提取)。
然后，如图13所示，骨部图像解析方法包括在步骤117中进行的进行图像的解析的步骤。即，在将与骨部区域A对应的区域、与构件300对应的区域以及与其余区域(背景部分)对应的区域进行区别所得的图像上，选择骨部区域A的任意区域，该选择结果被图像处理部3受理。然后，在选择出的解析区域中，进行骨密度的测定(计算)以及圆形度的测定(计算)等。
此外，第二实施方式的其它结构与上述第一实施方式相同。
(第二实施方式的效果)
在第二实施方式中，能够获得如下的效果。
另外，在第二实施方式中，如上所述，获取标签图像70的步骤包括以下步骤：获取对标签图像70上的与骨部区域A对应的位置以及与模拟构件图像300a对应的位置赋予互不相同的正解值所得的标签图像70。另外，提取骨部区域A和构件300的步骤包括以下步骤：基于机器学习的学习结果，来在摄影图像10上个别地提取骨部区域A和构件300。由此，能够提取骨部区域A与构件300的分界，因此能够使在个别地提取骨部区域A和构件300所得的图像上仅选择骨部来进行解析的作业变得容易。另外，不需要为了将骨部区域A与构件300进行区别而进行除基于机器学习的学习结果的提取以外的提取(作为基于像素的亮度值的差的提取法的、规则库的提取等)，因此能够使用于将骨部区域A与构件300区别地提取的作业变得简易。
此外，第二实施方式的其它效果与上述第一实施方式相同。
(变形例)
此外，应认为本次公开的实施方式在所有方面都是例示而非限制性的。本发明的范围不是由上述实施方式的说明来表示，而是由权利要求书来表示，还包括与权利要求书等同的意义以及范围内的全部变更(变形例)。
例如，在上述第一实施方式和第二实施方式中，示出了使用模拟了在骨部区域A(规定的骨部区域)的内部配置的金属的模拟构件图像300a(第一模拟构件图像)的例子，但本发明不限于此。例如，也可以使用模拟了在骨部区域A(规定的骨部区域)的外部配置的金属(即没有埋入到骨的内部的金属)的模拟构件图像。
另外，在上述第一实施方式和第二实施方式中，示出了使用模拟了金属的模拟构件图像300a(第一模拟构件图像)的例子，但本发明不限于此。也可以使用模拟了金属以外的构件(例如陶瓷)的模拟构件图像。在该情况下，将骨部区域图像20附加于具有与上述金属以外的构件的亮度值大致相等的亮度值的模拟构件图像。
另外，在上述第一实施方式和第二实施方式中，示出了进行多次再次学习的例子，但本发明不限于此。例如，也可以是，使在1次的机器学习中使用的学习用输入图像30(第一学习用输入图像)与标签图像40(第一标签图像)的组的数量同进行再次学习的情况相比增加，从而仅实施1次机器学习。
另外，在上述第一实施方式和第二实施方式中，示出了使显示有左侧的骨部区域A(规定的骨部区域)的左侧骨部区域图像22(另一侧骨部反转前图像)左右反转的例子，但本发明不限于此。也可以使显示有右侧的骨部区域A(规定的骨部区域)的右侧骨部区域图像21(一侧骨部图像)左右反转。
另外，在上述第一实施方式和第二实施方式中，示出了将模拟构件图像300a(第一模拟构件图像)附加于使显示有左侧的骨部区域A(规定的骨部区域)的左侧骨部区域图像22(另一侧骨部反转前图像)左右反转所得的反转后骨部区域图像23(另一侧骨部反转后图像)的例子，但本发明不限于此。也可以使将模拟构件图像300a(第一模拟构件图像)附加于显示有左侧的骨部区域A(规定的骨部区域)的左侧骨部区域图像22(另一侧骨部反转前图像)所得的图像左右反转。
另外，在上述第一实施方式和第二实施方式中，示出了将模拟构件图像300b(第二模拟构件图像)附加于作为学习用输入图像30(第一学习用输入图像)的基础的骨部区域图像20的例子，但本发明不限于此。例如，也可以将模拟构件图像300b(第二模拟构件图像)附加于多个骨部区域图像20中的未被附加模拟构件图像300a的骨部区域图像20中的至少一部分骨部区域图像20。
另外，在上述第二实施方式中，示出了个别地提取骨部区域A(规定的骨部区域)、构件300(规定构件)以及其余部分(背景部分)的例子，但本发明不限于此。例如，也可以是，不将构件300(规定构件)与背景部分进行区别，而个别地提取骨部区域A(规定的骨部区域)与构件300(规定构件)及背景部分。
另外，在上述第一实施方式和第二实施方式中，示出了骨部区域A(规定的骨部区域)为包括大腿骨的区域的例子，但本发明不限于此。例如，骨部区域A(规定的骨部区域)也可以为大腿骨以外的骨部的区域。
另外，在上述第一实施方式和第二实施方式中，示出了使用深度学习(AI)作为机器学习的例子，但本发明不限于此。例如，也可以使用深度学习以外的机器学习作为机器学习。
[方式]
本领域技术人员能够理解到，上述示例性的实施方式是下面方式的具体例。
(项目1)
一种骨部图像解析方法，包括以下步骤：
获取显示有规定的骨部区域的多个骨部区域图像；
通过将模拟了亮度值比骨部的亮度值大的规定构件的第一模拟构件图像附加于所述多个骨部区域图像中的一部分所述骨部区域图像，来获取第一学习用输入图像；
获取第一标签图像，所述第一标签图像包括所述规定的骨部区域和所述第一模拟构件图像在所述第一学习用输入图像中显示的位置的第一正解信息；
使用所述第一学习用输入图像和所述第一标签图像来实施机器学习，所述机器学习用于在由X射线摄影装置拍摄到的显示有所述规定的骨部区域和所述规定构件的摄影图像上提取所述规定的骨部区域和所述规定构件；以及
基于所述机器学习的学习结果，来在所述摄影图像上提取所述规定的骨部区域和所述规定构件。
(项目2)
根据项目1所述的骨部图像解析方法，
获取所述第一学习用输入图像的步骤包括以下步骤：将模拟了至少一部分配置于所述规定的骨部区域的内部的金属的所述第一模拟构件图像附加于所述多个骨部区域图像中的一部分所述骨部区域图像。
(项目3)
根据项目2所述的骨部图像解析方法，
将模拟了所述金属的所述第一模拟构件图像进行附加的步骤包括以下步骤：将具有与所述金属的亮度值大致相等的亮度值的所述第一模拟构件图像附加于所述骨部区域图像。
(项目4)
根据项目1～3中的任一项所述的骨部图像解析方法，
获取所述第一学习用输入图像的步骤包括以下步骤：在将所述第一模拟构件图像附加于多个所述骨部区域图像中的各个所述骨部区域图像的情况下，针对要附加所述第一模拟构件图像的所述多个骨部区域图像中的每个骨部区域图像，以使所述第一模拟构件图像的亮度值、形状、位置以及数量中的至少一方互不相同的方式将所述第一模拟构件图像附加于所述多个骨部区域图像中的各个骨部区域图像，由此获取多个所述第一学习用输入图像。
(项目5)
根据项目1～3中的任一项所述的骨部图像解析方法，
获取所述第一标签图像的步骤包括以下步骤：获取对在所述第一标签图像上的与所述规定的骨部区域对应的位置以及与所述第一模拟构件图像对应的位置赋予共同的正解值所得的所述第一标签图像，
提取所述规定的骨部区域和所述规定构件的步骤包括以下步骤：基于所述机器学习的学习结果，来在所述摄影图像上一体地提取所述规定的骨部区域和所述规定构件。
(项目6)
根据项目1～3中的任一项所述的骨部图像解析方法，，
获取所述第一标签图像的步骤包括以下步骤：获取对在所述第一标签图像上的与所述规定的骨部区域对应的位置以及与所述第一模拟构件图像对应的位置赋予互不相同的正解值所得的所述第一标签图像，
提取所述规定的骨部区域和所述规定构件的步骤包括以下步骤：基于所述机器学习的学习结果，来在所述摄影图像上个别地提取所述规定的骨部区域和所述规定构件。
(项目7)
根据项目1～3中的任一项所述的骨部图像解析方法，
实施所述机器学习的步骤还包括以下步骤：在使用所述第一学习用输入图像和所述第一标签图像进行了学习之后，使用第二学习用输入图像和第二标签图像进行再次学习，其中，所述第二学习用输入图像是将第二模拟构件图像附加于作为所述第一学习用输入图像的基础的所述骨部区域图像所得的图像，所述第二模拟构件图像是与所述第一学习用输入图像的所述第一模拟构件图像相比亮度值、形状、位置以及数量中的至少一方不同的、模拟了所述规定构件的图像，所述第二标签图像包括所述规定的骨部区域和所述第二模拟构件图像在所述第二学习用输入图像中显示的位置的第二正解信息，
基于所述机器学习的学习结果来提取所述规定的骨部区域和所述规定构件的步骤包括以下步骤：基于进行了再次学习的学习结果，来在所述摄影图像上提取所述规定的骨部区域和所述规定构件。
(项目8)
根据项目1～3中的任一项所述的骨部图像解析方法，
还包括以下步骤：获取第三标签图像，所述第三标签图像包括所述规定的骨部区域在所述多个骨部区域图像中的未被附加所述第一模拟构件图像的所述骨部区域图像中显示的位置的第三正解信息，
实施所述机器学习的步骤包括以下步骤：使用所述第一学习用输入图像与所述第一标签图像的组、以及未被附加所述第一模拟构件图像的所述骨部区域图像与所述第三标签图像的组来实施所述机器学习。
(项目9)
根据项目1～3中的任一项所述的骨部图像解析方法，
获取所述第一学习用输入图像的步骤包括以下步骤：在所述规定的骨部区域存在于被检者的左半身和右半身中的各个半身的情况下，获取一侧学习用图像和另一侧学习用图像来作为所述第一学习用输入图像，所述一侧学习用图像是将所述第一模拟构件图像附加于显示有左右中的一方的所述规定的骨部区域的一侧骨部图像所得的图像，所述另一侧学习用图像是将所述第一模拟构件图像附加于另一侧骨部反转后图像所得的图像，所述另一侧骨部反转后图像是显示有左右中的另一方的所述规定的骨部区域的另一侧学习用图像被左右反转所得的图像。
(项目10)
根据项目1～3中的任一项所述的骨部图像解析方法，
所述机器学习包括深度学习。
(项目11)
一种学习方法，包括以下步骤：
获取显示有规定的骨部区域的多个骨部区域图像；
通过将模拟了亮度值比骨部的亮度值大的规定构件的模拟构件图像附加于所述多个骨部区域图像中的一部分所述骨部区域图像，来获取学习用输入图像；
获取标签图像，所述标签图像包括所述规定的骨部区域和所述模拟构件图像在所述学习用输入图像中显示的位置的正解信息；以及
使用所述学习用输入图像和所述标签图像来实施机器学习，所述机器学习用于在由X射线摄影装置拍摄到的显示有所述规定的骨部区域和所述规定构件的摄影图像上提取所述规定的骨部区域和所述规定构件。
附图标记说明
10：摄影图像；20：骨部区域图像；21：右侧骨部区域图像(一侧骨部图像)；22：左侧骨部区域图像(另一侧骨部反转前图像)；23：反转后骨部区域图像(另一侧骨部反转后图像)；30：学习用输入图像(第一学习用输入图像)；31：右侧学习用输入图像(一侧学习用图像)；32：左侧学习用输入图像(另一侧学习用图像)；40、70：标签图像(第一标签图像)；41：标签图像(第三标签图像)；50：学习用输入图像(第二学习用输入图像)；60：标签图像(第二标签图像)；100：X射线摄影装置；300：构件(规定构件)；300a：模拟构件图像(第一模拟构件图像)；300b：模拟构件图像(第二模拟构件图像)；400、700、700a、700b：正解信息(第一正解信息)；410：正解信息(第三正解信息)；600：正解信息(第二正解信息)；A：骨部区域(规定的骨部区域)；T：被检者。

Claims (11)

1.一种骨部图像解析方法，包括以下步骤：
获取显示有规定的骨部区域的多个骨部区域图像；
通过将模拟了亮度值比骨部的亮度值大的规定构件的第一模拟构件图像附加于所述多个骨部区域图像中的一部分所述骨部区域图像，来获取第一学习用输入图像；
获取第一标签图像，所述第一标签图像包括所述规定的骨部区域和所述第一模拟构件图像在所述第一学习用输入图像中显示的位置的第一正解信息；
使用所述第一学习用输入图像和所述第一标签图像来实施机器学习，所述机器学习用于在由X射线摄影装置拍摄到的显示有所述规定的骨部区域和所述规定构件的摄影图像上提取所述规定的骨部区域和所述规定构件；以及
基于所述机器学习的学习结果，来在所述摄影图像上提取所述规定的骨部区域和所述规定构件。
2.根据权利要求1所述的骨部图像解析方法，其特征在于，
获取所述第一学习用输入图像的步骤包括以下步骤：将模拟了至少一部分配置于所述规定的骨部区域的内部的金属的所述第一模拟构件图像附加于所述多个骨部区域图像中的一部分所述骨部区域图像。
3.根据权利要求2所述的骨部图像解析方法，其特征在于，
将模拟了所述金属的所述第一模拟构件图像进行附加的步骤包括以下步骤：将具有与所述金属的亮度值大致相等的亮度值的所述第一模拟构件图像附加于所述骨部区域图像。
4.根据权利要求1～3中的任一项所述的骨部图像解析方法，其特征在于，
获取所述第一学习用输入图像的步骤包括以下步骤：在将所述第一模拟构件图像附加于多个所述骨部区域图像中的各个所述骨部区域图像的情况下，针对要附加所述第一模拟构件图像的所述多个骨部区域图像中的每个骨部区域图像，以使所述第一模拟构件图像的亮度值、形状、位置以及数量中的至少一方互不相同的方式将所述第一模拟构件图像附加于所述多个骨部区域图像中的各个骨部区域图像，由此获取多个所述第一学习用输入图像。
5.根据权利要求1～3中的任一项所述的骨部图像解析方法，其特征在于，
获取所述第一标签图像的步骤包括以下步骤：获取对在所述第一标签图像上的与所述规定的骨部区域对应的位置以及与所述第一模拟构件图像对应的位置赋予共同的正解值所得的所述第一标签图像，
提取所述规定的骨部区域和所述规定构件的步骤包括以下步骤：基于所述机器学习的学习结果，来在所述摄影图像上一体地提取所述规定的骨部区域和所述规定构件。
6.根据权利要求1～3中的任一项所述的骨部图像解析方法，其特征在于，
获取所述第一标签图像的步骤包括以下步骤：获取对在所述第一标签图像上的与所述规定的骨部区域对应的位置以及与所述第一模拟构件图像对应的位置赋予互不相同的正解值所得的所述第一标签图像，
提取所述规定的骨部区域和所述规定构件的步骤包括以下步骤：基于所述机器学习的学习结果，来在所述摄影图像上个别地提取所述规定的骨部区域和所述规定构件。
7.根据权利要求1～3中的任一项所述的骨部图像解析方法，其特征在于，
实施所述机器学习的步骤还包括以下步骤：在使用所述第一学习用输入图像和所述第一标签图像进行了学习之后，使用第二学习用输入图像和第二标签图像进行再次学习，其中，所述第二学习用输入图像是将第二模拟构件图像附加于作为所述第一学习用输入图像的基础的所述骨部区域图像所得的图像，所述第二模拟构件图像是与所述第一学习用输入图像的所述第一模拟构件图像相比亮度值、形状、位置以及数量中的至少一方不同的、模拟了所述规定构件的图像，所述第二标签图像包括所述规定的骨部区域和所述第二模拟构件图像在所述第二学习用输入图像中显示的位置的第二正解信息，
基于所述机器学习的学习结果来提取所述规定的骨部区域和所述规定构件的步骤包括以下步骤：基于进行了再次学习的学习结果，来在所述摄影图像上提取所述规定的骨部区域和所述规定构件。
8.根据权利要求1～3中的任一项所述的骨部图像解析方法，其特征在于，
还包括以下步骤：获取第三标签图像，所述第三标签图像包括所述规定的骨部区域在所述多个骨部区域图像中的未被附加所述第一模拟构件图像的所述骨部区域图像中显示的位置的第三正解信息，
实施所述机器学习的步骤包括以下步骤：使用所述第一学习用输入图像与所述第一标签图像的组、以及未被附加所述第一模拟构件图像的所述骨部区域图像与所述第三标签图像的组来实施所述机器学习。
9.根据权利要求1～3中的任一项所述的骨部图像解析方法，其特征在于，
获取所述第一学习用输入图像的步骤包括以下步骤：在所述规定的骨部区域存在于被检者的左半身和右半身中的各个半身的情况下，获取一侧学习用图像和另一侧学习用图像来作为所述第一学习用输入图像，所述一侧学习用图像是将所述第一模拟构件图像附加于显示有左右中的一方的所述规定的骨部区域的一侧骨部图像所得的图像，所述另一侧学习用图像是将所述第一模拟构件图像附加于另一侧骨部反转后图像所得的图像，所述另一侧骨部反转后图像是显示有左右中的另一方的所述规定的骨部区域的另一侧骨部反转前图像被左右反转所得的图像。
10.根据权利要求1～3中的任一项所述的骨部图像解析方法，其特征在于，
所述机器学习包括深度学习。
11.一种学习方法，包括以下步骤：
获取显示有规定的骨部区域的多个骨部区域图像；
通过将模拟了亮度值比骨部的亮度值大的规定构件的模拟构件图像附加于所述多个骨部区域图像中的一部分所述骨部区域图像，来获取学习用输入图像；
获取标签图像，所述标签图像包括所述规定的骨部区域和所述模拟构件图像在所述学习用输入图像中显示的位置的正解信息；以及
使用所述学习用输入图像和所述标签图像来实施机器学习，所述机器学习用于在由X射线摄影装置拍摄到的显示有所述规定的骨部区域和所述规定构件的摄影图像上提取所述规定的骨部区域和所述规定构件。
CN201980096648.4A 2019-06-19 2019-06-19 骨部图像解析方法和学习方法 Pending CN113873945A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/024263 WO2020255292A1 (ja) 2019-06-19 2019-06-19 骨部画像解析方法および学習方法

Publications (1)

Publication Number Publication Date
CN113873945A true CN113873945A (zh) 2021-12-31

Family

ID=74040359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980096648.4A Pending CN113873945A (zh) 2019-06-19 2019-06-19 骨部图像解析方法和学习方法

Country Status (4)

Country Link
JP (1) JP7173338B2 (zh)
KR (1) KR20220010529A (zh)
CN (1) CN113873945A (zh)
WO (1) WO2020255292A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120288186A1 (en) * 2011-05-12 2012-11-15 Microsoft Corporation Synthesizing training samples for object recognition
CN108460414A (zh) * 2018-02-27 2018-08-28 北京三快在线科技有限公司 训练样本图像的生成方法、装置及电子设备
CN108509915A (zh) * 2018-04-03 2018-09-07 百度在线网络技术（北京）有限公司 人脸识别模型的生成方法和装置
CN109255767A (zh) * 2018-09-26 2019-01-22 北京字节跳动网络技术有限公司 图像处理方法和装置
CN109523507A (zh) * 2018-09-26 2019-03-26 佛山市幻云科技有限公司 一种病变图像生成的方法、装置及计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2638875B2 (ja) 1988-01-31 1997-08-06 株式会社島津製作所 骨塩定量分析装置
JP2005156334A (ja) 2003-11-25 2005-06-16 Nec Tohoku Sangyo System Kk 疑似不良画像自動作成装置及び画像検査装置
JP5984120B2 (ja) 2012-04-27 2016-09-06 学校法人日本大学 画像処理装置、ｘ線ｃｔ撮影装置および画像処理方法
US9495752B2 (en) 2012-09-27 2016-11-15 Siemens Product Lifecycle Management Software Inc. Multi-bone segmentation for 3D computed tomography

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120288186A1 (en) * 2011-05-12 2012-11-15 Microsoft Corporation Synthesizing training samples for object recognition
CN108460414A (zh) * 2018-02-27 2018-08-28 北京三快在线科技有限公司 训练样本图像的生成方法、装置及电子设备
CN108509915A (zh) * 2018-04-03 2018-09-07 百度在线网络技术（北京）有限公司 人脸识别模型的生成方法和装置
CN109255767A (zh) * 2018-09-26 2019-01-22 北京字节跳动网络技术有限公司 图像处理方法和装置
CN109523507A (zh) * 2018-09-26 2019-03-26 佛山市幻云科技有限公司 一种病变图像生成的方法、装置及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HOOMAN ESFANDIARI: "A deep learning framework for segmentation and pose estimation of pedicle screw implants based on C-arm fluoroscopy", 《INTERNATIONAL JOURNAL OF COMPUTER ASSISTED RADIOLOGY AND SURGERY》, pages 1272 - 1281 *

Also Published As

Publication number Publication date
JPWO2020255292A1 (zh) 2020-12-24
WO2020255292A1 (ja) 2020-12-24
JP7173338B2 (ja) 2022-11-16
KR20220010529A (ko) 2022-01-25

Similar Documents

Publication Publication Date Title
EP3627145A1 (en) Data processing device and data processing method for x-ray inspection, and x-ray inspecting device with said device mounted therein
JP4653737B2 (ja) ３次元再構成のための放射線画像法並びにその方法を実施するコンピュータプログラムおよび装置
CN111656405A (zh) 使用深度学习来减少金属伪影
US9142020B2 (en) Osteo-articular structure
EP3612095B1 (en) Beam hardening correction in x-ray dark-field imaging
JP2004057831A (ja) 画像形成システムの低線量画像シミュレーションのための方法及びシステム
US20220313176A1 (en) Artificial Intelligence Training with Multiple Pulsed X-ray Source-in-motion Tomosynthesis Imaging System
CN104939848A (zh) 单色图像的生成
CN112165900A (zh) 图像解析方法、分割方法、骨密度测量方法、学习模型生成方法和图像生成装置
KR20210028559A (ko) 화상 해석 방법, 화상 처리 장치, 골밀도 측정 장치 및 학습 모델의 작성 방법
JP2019208832A (ja) 歯科分析システムおよび歯科分析ｘ線システム
CN104080404B (zh) 骨密度测量装置
JPH0924039A (ja) 骨塩定量分析方法および装置
JP2019032211A (ja) 核医学診断装置
US20220358652A1 (en) Image processing apparatus, radiation imaging apparatus, image processing method, and storage medium
CN113873945A (zh) 骨部图像解析方法和学习方法
JP2017093879A (ja) Ｘ線測定システム及びｘ線検出データ処理方法
US11266368B2 (en) Radiograph density detection device
JP2010005373A (ja) 放射線画像補正方法および装置ならびにプログラム
Dendere et al. Dual-energy X-ray absorptiometry for measurement of phalangeal bone mineral density on a slot-scanning digital radiography system
Rajendran MARS spectral CT technology for orthopaedic applications
WO2020255290A1 (ja) 器官画像解析方法および学習方法
EP4368109A1 (en) Method for training a scatter correction model for use in an x-ray imaging system
Kawashita et al. Collimation detection in digital radiographs using plane detection hough transform
WO2023195443A1 (ja) 画像処理装置、画像処理装置の作動方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination