CN112438745A - 图像解析方法、处理装置、测定装置及学习模型制作方法 - Google Patents

图像解析方法、处理装置、测定装置及学习模型制作方法 Download PDF

Info

Publication number
CN112438745A
CN112438745A CN202010772414.1A CN202010772414A CN112438745A CN 112438745 A CN112438745 A CN 112438745A CN 202010772414 A CN202010772414 A CN 202010772414A CN 112438745 A CN112438745 A CN 112438745A
Authority
CN
China
Prior art keywords
image
femur
region
subject
neck region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010772414.1A
Other languages
English (en)
Inventor
胡尔重
中矢知宏
能登原大介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Publication of CN112438745A publication Critical patent/CN112438745A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physiology (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Medicinal Chemistry (AREA)
  • Business, Economics & Management (AREA)

Abstract

本发明提供一种图像解析方法、处理装置、测定装置及学习模型制作方法。该图像解析方法包括以下工序：使用机器学习作为分割的手段，并且制作教师用图像，该教师用图像是在包含被检体的股骨的区域的图像中至少附加有能够识别股骨的颈部区域和背景区域的标签的图像；以及通过使用了包含被检体的股骨的区域的图像和制作出的教师用图像的学习处理，来制作机器学习的学习模型。

Description

图像解析方法、处理装置、测定装置及学习模型制作方法
技术领域
本发明涉及一种图像解析方法、图像处理装置、骨密度测定装置以及学习模型制作方法。
背景技术
以往，已知一种为了测定骨密度而利用减影图像进行骨解析的放射线摄影装置。例如在日本特开2016-119954号公报中公开了这种装置。
上述日本特开2016-119954号公报的放射线摄影装置具备：减影图像生成单元，其生成相当于高电压条件下的放射线图像与低电压条件下的放射线图像之差的减影图像；以及骨解析单元，其对减影图像中拍进的被检体的骨像的一部分实施图像处理，并计算用于评价骨的状态(骨密度)的评价值。
在上述日本特开2016-119954号公报中，用户从减影图像中选择想要获取骨的状态(骨密度)的评价的部位(关心区域)，由此利用骨解析单元计算出评价值。因此，用户需要从减影图像中选择想要测定骨密度的部位。
另外，虽然在上述日本特开2016-119954号公报中没有公开，但以往已知如下一种图像解析方法：在关心区域为股骨的颈部的情况下，自动地检测作为关心区域的股骨的颈部。该以往的图像解析方法是如下一种方法：对包含股骨的图像进行图像解析，将股骨的中间变细的部分(宽度小的部分)作为股骨的颈部区域来自动地检测。然而，由于股骨的颈部的大小、形状以及位置因被检体的不同而大为不同，因此在使用了以往的图像解析方法的情况下，存在将颈部区域以外的部分误检测为股骨的颈部区域的情况。因此，以往的图像解析方法存在以下问题点：股骨的颈部区域的检测精度低，用户需要修正关心区域的位置或大小，因此用户耗费工夫。
发明内容
本发明是为了解决如上所述的问题而完成的，本发明的一个目的在于，提供一种能够高精度地检测股骨的颈部并能够节省用户的工夫的图像解析方法、图像处理装置、骨密度测定装置以及学习模型制作方法。
为了实现上述目的，本发明的第一方面的图像解析方法通过对包含被检体的股骨的区域的图像进行解析，来进行用于确定被检体的股骨的颈部区域的分割，所述图像解析方法包括以下工序：使用机器学习作为分割的手段，并且制作教师用图像，该教师用图像是在包含被检体的股骨的区域的图像中至少附加有能够识别股骨的颈部区域和背景区域的标签的图像；以及通过使用了包含被检体的股骨的区域的图像和制作出的教师用图像的学习处理，来制作机器学习的学习模型。此外，分割是指将图像划分为多个区域(例如，将包含股骨的图像划分为包含股骨的区域、包含除股骨以外的骨头的区域以及包含背景的区域)。
为了实现上述目的，本发明的第二方面的图像处理装置具备：控制部，其进行以下控制：基于通过使用了教师用图像和包含被检体的股骨的学习用的输入图像的机器学习而学习到的学习模型，进行股骨的颈部区域的分割，从包含被检体的股骨的分析用的分析图像获取被检体的股骨的颈部区域，并且基于被检体的股骨的颈部区域来获取关心区域，其中，教师用图像附加有用于识别被检体的股骨的颈部区域和背景区域的标签；以及显示部，其以能够变更关心区域的范围的方式来显示将基于学习模型获取到的关心区域和分析图像进行叠加而得到的图像。
为了实现上述目的，本发明的第三方面的骨密度测定装置具备：控制部，其进行以下控制：基于通过使用了教师用图像和包含被检体的股骨的学习用的输入图像的机器学习而学习到的学习模型，进行股骨的颈部区域的分割，从包含被检体的股骨的用于测定骨密度的分析图像获取被检体的股骨的颈部区域，并且基于被检体的股骨的颈部区域来获取关心区域，基于获取到的关心区域来测定骨密度，其中，教师用图像附加有用于识别被检体的股骨的颈部区域和背景区域的标签；以及显示部，其以能够变更关心区域的范围的方式来显示将基于学习模型获取到的关心区域和分析图像进行叠加而得到的图像。
为了实现上述目的，本发明的第四方面的学习模型制作方法包括以下工序：获取包含被检体的股骨的学习用的输入图像；基于输入图像获取附加有用于识别被检体的股骨的颈部区域和背景区域的标签的教师用图像；以及基于输入图像和教师用图像，通过机器学习来获取用于确定股骨的颈部区域的学习模型。
根据第一方面，如上所述那样包括以下工序：制作教师用图像，该教师用图像是在包含被检体的股骨的区域的图像中至少附加有能够识别股骨的颈部区域和背景区域的标签的图像；以及通过使用了包含被检体的股骨的区域的图像和在制作教师用图像的工序中制作出的教师用图像的学习处理，来制作机器学习的学习模型。由此，由于包括通过使用了至少附加有能够识别股骨的颈部区域和背景区域的标签的教师用图像和包含被检体的股骨的区域的图像的学习处理来制作机器学习的学习模型的工序，因此能够基于得到的学习模型来识别股骨的颈部区域和背景区域。其结果，能够高精度地检测股骨的颈部区域。另外，根据第二方面和第三方面，如上所述，基于通过使用了包含被检体的股骨的学习用的输入图像和附加有用于识别被检体的股骨的颈部区域和背景区域的标签的教师用图像的机器学习而学习到的学习模型，从包含被检体的股骨的分析用的分析图像获取被检体的股骨的颈部区域，并且基于被检体的股骨的颈部区域获取关心区域。由此，能够基于通过机器学习得到的学习模型来识别股骨的颈部区域和背景区域，因此能够高精度地检测股骨的颈部区域。并且，由于能够高精度地检测股骨的颈部，因此能够省去用户修正关心区域的位置或大小的工夫。另外，根据第四方面，通过使用附加有用于识别被检体的股骨的颈部区域和背景区域的标签的教师用图像来获取学习模型，并使用所获取到的学习模型，能够容易且高精度地检测股骨的颈部区域。
附图说明
图1是示出骨密度测定装置的结构的框图。
图2是示出关心区域的图。
图3是用于说明股骨的颈部的图。
图4是示出输入图像的一例的图。
图5是示出分析图像的一例的图。
图6是示出控制部的控制流程的图。
图7是示出学习模型的制作方法的流程图。
图8是示出教师用图像的一例的图。
图9是后处理阶段的流程图。
图10是示意地示出后处理阶段的图。
具体实施方式
以下，基于附图来说明将本发明具体化的实施方式。
[骨密度测定装置的结构]
如图1所示，本实施方式的骨密度测定装置100具备摄影部1、控制部2以及显示部3。此外，骨密度测定装置100是本发明的“图像处理装置”的一例。
骨密度测定装置100是用于诊断骨质疏松症等骨疾病的装置。本实施方式的骨密度测定装置100是使用DXA(Dual energy X-ray Absorptiometry：双能源X射线吸收)法测定骨密度的装置。DXA法是以下方法：照射两种不同能量的X射线，计算由于骨与除骨以外的软组织的X射线吸收率的差异而未被吸收的X射线量，从而测定骨密度。骨密度(BoneMineral Density)是每平方厘米的骨量，用g/cm2表示。
如图2和图3所示，本实施方式的骨密度测定装置100以作为人体的被检体90的股骨50的颈部区域53为测定对象即关心区域4来测定骨密度。此外，关心区域4是本发明的“表示被检体的股骨的颈部区域的信息”的一例。
股骨50是位于从腿根到膝盖之间的腿的骨头。股骨50的部位从腿根到膝盖分为股骨头51、颈部52、转子部(未图示)、转子下(未图示)、骨干部(未图示)以及远端(未图示)。股骨头51位于腿根侧，是通过髋关节与骨盆60接触的部分。颈部52位于与股骨头51相比靠膝盖侧的位置，是与股骨头51邻接的收紧部分。
如图3所示，在本实施方式中，颈部区域53是包含颈部52的区域，为了准确地测定骨密度，优选是仅包含颈部52的区域。包含股骨50的除颈部52以外的部分的股骨区域54是包含股骨50的除颈部52以外的股骨头51、转子部等部分的区域。此外，在图3中，示出阴影的部分表示被检体90的腿，由阴影包围的区域中的白色部分表示颈部区域53，黑色部分表示股骨50的除颈部52以外的部分的股骨区域54。此外，股骨区域54存在仅包含股骨50的除颈部52以外的部分的情况和还包含图像上包含的除股骨以外的骨头(例如骨盆60)的情况。
如图1所示，摄影部1包括X射线照射部11和X射线检测部12。X射线照射部11被控制部2控制为照射不同能量的X射线。X射线检测部12例如由FPD(Flat Panel Detector：平板检测器)构成。
在摄影部1中，隔着用于载置被检体90的载置台配置X射线照射部11和X射线检测部12。在X射线检测部12中检测从X射线照射部11照射出的X射线中的透过了被载置在载置台上的被检体90的X射线。摄影部1基于在X射线检测部12中检测到的X射线来获取X射线图像。在本实施方式中，摄影部1通过对照射高能量的X射线而得到的X射线图像与照射低能量的X射线而得到的X射线图像进行相减，来得到骨清晰的X射线图像。
控制部2例如是CPU(Central Processing Unit：中央处理单元)。控制部2进行以下控制：获取由摄影部1获取到的包含被检体90的股骨50的用DXA法拍摄到的X射线图像，来作为输入图像5(参照图4)或分析图像6(参照图5)。
如图4所示，输入图像5是用于制作学习模型7的学习用的图像。
如图5所示，分析图像6是用于根据所制作出的学习模型7获取股骨50的颈部区域53并基于获取到的股骨50的颈部区域53获取关心区域4、并且用于测定骨密度的分析用的图像。此外，在图4和图5中，为了方便，将分析图像6和输入图像5设为相同的图像，但通常是不同的图像。
控制部2构成为进行图像解析的控制。作为图像解析方法，控制部2通过对包含被检体90的股骨50的区域的图像进行解析，来进行用于确定被检体90的股骨50的颈部区域53的分割。另外，控制部2进行控制，以使机器学习用作分割的手段。图像解析方法在后面叙述。
显示部3例如是液晶显示器等监视器。控制部2进行使显示部3显示由分析图像6和关心区域4叠加而成的叠加图像70的控制(参照图10)。
基于图6对控制部2的图像解析的控制进行说明。作为控制部2的控制，具有：使用通过机器学习得到的学习模型7从分析图像6获取骨区域映射图像9的学习和推理阶段；以及从骨区域映射图像9获取股骨50的颈部区域53并获取关心区域4的后处理阶段。
[学习和推理阶段]
在学习和推理阶段中，首先，控制部2进行制作学习模型7的控制。
基于图7和图8对学习模型7的制作方法进行说明。作为步骤20，控制部2进行获取包含被检体90的股骨50的输入图像5的控制。控制部2要获取的输入图像5是用DXA法获取到的X射线图像。
作为步骤21，控制部2进行制作教师用图像8(正确图像)的控制。如图8所示，教师用图像8是附加有多个标签的输入图像5。标签表示在进行机器学习的情况下成为答案的分类。在本实施方式中，多个标签包括表示股骨50的颈部区域53的标签、表示股骨50的除颈部区域53以外的股骨区域54的标签以及能够识别背景区域55的标签。在图8中，股骨50的颈部区域53用白色表示，股骨50的除颈部52以外的股骨区域54用阴影表示，背景区域55用黑色表示。
作为标签的附加方法，例如使用骨密度测定装置100所具备的自动提取功能和修正功能。自动提取功能是自动地提取特定部位的位置的功能。修正功能是在被提取的位置不正确的情况下通过用户的输入来进行调整的功能。自动提取功能的一例是检测宽度方向上的长度短的股骨50的部分并提取颈部区域53的功能。用户通过修正功能对通过自动提取功能提取出的股骨50的颈部区域53进行修正，通过涂抹颜色等对股骨50的颈部区域53附加标签。另外，用户选择股骨50的除颈部52以外的部分的股骨区域54，通过涂颜色来附加股骨50的除颈部52以外的部分的股骨区域54的标签。并且，用户对背景区域55附加标签来作为背景。教师用图像8越多，能够制作出越准确的学习模型7。此外，步骤20和步骤21是本发明的“制作教师用图像的工序”的一例。
在步骤22中，控制部2进行以下控制：通过以根据输入图像5输出教师用图像8的方式进行学习的机器学习，来制作用于确定股骨50的颈部区域53的学习模型7。作为机器学习法，能够使用全卷积神经网络(Fully Convolutional Networks；FCN)、神经网络、支持向量机(SVM)、增强等任意方法。此外，步骤22是本发明的“制作机器学习的学习模型的工序”的一例。
在步骤23中，控制部2进行存储通过机器学习获取到的学习模型7的控制。学习模型7的存储目的地能够设为骨密度测定装置100所具备的存储部、与骨密度测定装置100连接的外部的存储装置等。以上是制作学习模型7的方法。
控制部2进行以下控制：在制作出学习模型7之后，获取所拍摄到的X射线图像来作为分析图像6。控制部2进行将获取到的分析图像6输入到学习模型7来获取骨区域映射图像9的控制。
骨区域映射图像9是对分析图像6实施图像处理而得到的图像，并且与教师用图像8同样地是附加有用于分别识别被检体90的股骨50的颈部区域53、被检体90的股骨50的除颈部52以外的部分的股骨区域54以及背景区域55的标签的图像(参照图10)。
[后处理阶段]
根据图9和图10说明后处理阶段。作为步骤30，控制部2进行从骨区域映射图像9获取股骨50的颈部区域53的控制。控制部2进行以下控制：通过将附加有表示股骨50的颈部区域53的标签的区域分离来获取股骨50的颈部区域53。此外，步骤30是本发明的“获取股骨的颈部区域的工序”的一例。
控制部2基于分离出的被检体90的股骨50的颈部区域53来获取并设定关心区域4。关心区域4是进行骨密度测定的范围。控制部2进行以下控制：获取并设定与分离出的颈部区域53相接的最小矩形来作为关心区域4。在图10中，用虚线表示关心区域4，但也可以用实线表示。
作为步骤31，控制部2进行使关心区域4叠加在分析图像6的对应的位置处的控制。关心区域4构成为能够变更大小、形状或位置等的范围。通过接受用户的输入来进行关心区域4的变更。利用未图示的操作面板等进行用户的输入。与关心区域4叠加的分析图像6是用于获取关心区域4的分析图像6。此外，步骤31是本发明的“将表示在颈部区域获取工序中获取到的被检体的股骨的颈部区域的信息叠加在分析图像的对应的位置处的工序”的一例。
关心区域4是由用户经由操作面板最终决定的区域。在最终决定的关心区域4的范围内，骨密度测定装置100获取骨密度的数据。骨密度的数据也可以显示在显示部3中。
作为步骤32，控制部2进行使显示部3显示在步骤31中得到的叠加图像70的控制。步骤32是本发明的“显示通过叠加工序得到的叠加图像的工序”的一例。
(本实施方式的效果)
在本实施方式中，能够得到如下的效果。
在本实施方式中，图像解析方法是一种通过对包含被检体90的股骨50的区域的图像进行解析来进行用于确定被检体90的股骨50的颈部区域53的分割的图像解析方法，其包括以下工序：使用机器学习作为分割的手段，并且制作教师用图像8，该教师用图像8是在包含被检体90的股骨50的区域的图像中至少附加有能够识别股骨50的颈部区域53和背景区域55的标签的图像；以及通过使用了包含被检体90的股骨50的区域的图像和在制作教师用图像8的工序中制作出的教师用图像8的学习处理，来制作机器学习的学习模型7。由此，由于包括通过使用了至少附加有能够识别股骨50的颈部区域53和背景区域55的标签的教师用图像8和包含被检体90的股骨50的区域的图像的学习处理来制作机器学习的学习模型7的工序，因此能够基于得到的学习模型7来识别股骨50的颈部区域53和背景区域55。其结果，能够高精度地检测股骨50的颈部区域53。
另外，在本实施方式中，教师用图像8附加有能够识别股骨50的颈部区域53、股骨50的除颈部区域53以外的股骨区域54以及背景区域55的标签。如果像这样构成，则由于包含用于识别股骨50的颈部区域53和股骨50的除颈部52以外的部分的股骨区域54的标签，因此股骨50的颈部区域53与股骨50的除颈部52以外的部分的股骨区域54的边界变得更明确，能够高精度地提取颈部区域53。
另外，在本实施方式中，还包括以下工序：通过将包含被检体90的股骨50的分析用的分析图像6输入到学习模型7来获取被检体90的股骨50的颈部区域53；将表示在获取颈部区域53的工序中获取到的被检体90的股骨50的颈部区域53的信息叠加在分析图像6的对应的位置处；以及显示通过叠加工序得到的叠加图像70。如果像这样构成，则用户能够基于想要获取颈部区域53的任意的分析图像6来获取股骨区域54。另外，通过显示表示被检体90的股骨50的颈部区域53的信息，用户能够确认是否能够准确地获取到股骨50的颈部区域53。
另外，在本实施方式中，表示被检体90的股骨50的颈部区域53的信息包含关心区域4，该关心区域4是基于在获取颈部区域53的工序中获取到的被检体90的股骨50的颈部区域53而获取到的区域。如果像这样构成，则用户能够确认是否已将颈部区域53设定为关心区域4。
另外，在本实施方式中，股骨50的颈部区域53中的关心区域4的范围构成为能够变更。如果像这样构成，则用户能够调整关心区域4的范围，因此能够与由颈部区域53的被检体90引起的个体差异相匹配地设定关心区域4。
另外，在本实施方式中，如上所述，获取股骨50的颈部区域53的工序构成为：基于使用至少附加有用于分别识别被检体90的股骨50的颈部区域53和背景区域55的标签的教师用图像8学习到的学习模型7来获取骨区域映射图像9，基于获取到的骨区域映射图像9来获取被检体90的股骨50的颈部区域53，其中，所述骨区域映射图像9至少附加有用于分别识别被检体90的股骨50的颈部区域53和背景区域55的标签。由此，通过使用股骨50的颈部区域53与背景区域55的边界明确的骨区域映射图像9进行分割，能够高精度地提取颈部区域53。
另外，在本实施方式中，如上所述，获取股骨50的颈部区域53的工序构成为进行从获取到的骨区域映射图像9分离被检体90的股骨50的颈部区域53的控制。由此，通过基于被分离出的被检体90的股骨50的颈部区域53设定关心区域4，能够将股骨50的颈部区域53高精度地设定为关心区域4。
另外，在本实施方式中，获取股骨50的颈部区域53的工序构成为：基于从获取到的骨区域映射图像9分离出的被检体90的股骨50的颈部区域53来获取关心区域4。如果像这样构成，则通过基于被分离出的被检体90的股骨50的颈部区域53设定关心区域4，能够将股骨50的颈部区域53高精度地设定为关心区域4。
另外，在本实施方式中，将表示被检体90的股骨50的颈部区域53的信息叠加在分析图像6的对应的位置处的工序构成为：对获取到被检体90的颈部区域53的分析图像6叠加基于从骨区域映射图像9获取到的被检体90的颈部区域53而获取到的关心区域4。如果像这样构成，则通过基于被分离出的被检体90的股骨50的颈部区域53设定关心区域4，能够将股骨50的颈部区域53高精度地设定为关心区域4，并且用户能够确认关心区域4的位置。
另外，在本实施方式中，如上所述，分析图像6用于测定骨密度。由此，能够使用任意的分析图像6测定颈部区域53的骨密度。
另外，在本实施方式中，如上所述，骨密度测定装置100具备：控制部2，其进行以下控制：基于通过使用了教师用图像8和包含被检体90的股骨50的学习用的输入图像5的机器学习而学习到的学习模型7，进行股骨50的颈部区域53的分割，从包含被检体90的股骨50的分析用的分析图像6获取被检体90的股骨50的颈部区域53，并且基于被检体90的股骨50的颈部区域53来获取关心区域4，其中，所述教师用图像8附加有用于识别被检体90的股骨50的颈部区域53和背景区域55的标签；以及显示部3，其以能够变更关心区域4的范围的方式来显示将基于学习模型7获取到的关心区域4和分析图像6进行叠加而得到的图像。由此，能够基于通过机器学习得到的学习模型7来识别股骨50的颈部区域53和背景区域55，因此能够高精度地检测股骨50的颈部区域53。并且，能够高精度地检测股骨50的颈部区域53，因此能够省去用户修正关心区域4的位置或大小的工夫。
另外，在本实施方式中，如上所述，学习模型7的制作方法包括以下工序：获取包含被检体90的股骨50的学习用的输入图像5；基于输入图像5获取附加有用于识别被检体90的股骨50的颈部区域53和背景区域55的标签的教师用图像8；以及基于输入图像5和教师用图像8，通过机器学习来获取用于确定股骨50的颈部区域53的学习模型7。由此，通过使用附加有用于识别被检体90的股骨50的颈部区域53和背景区域55的标签的教师用图像8获取学习模型7，并使用所获取到的学习模型7，能够容易且高精度地获取股骨50的颈部区域53。
(变形例)
此外，应该认为此次公开的实施方式在所有方面均为例示性的而非限制性的内容。本发明的范围不通过上述的实施方式的说明来示出，而是通过权利要求书来示出，还包含与权利要求书等同的意思以及范围内的所有变更(变形例)。
例如，在上述实施方式中，示出了图像处理装置是骨密度测定装置的例子，但本发明不限于此。在本发明中，例如图像处理装置也可以是X射线治疗装置。
另外，在上述实施方式中，示出了骨密度测定装置(图像处理装置)具备控制部和显示部的例子，但本发明不限于此，例如也可以是，除了具备控制部和显示部以外，还具备图像处理部，图像处理部基于控制部的控制从分析图像获取股骨的颈部区域，并且基于股骨的颈部区域来获取关心区域。
另外，在上述实施方式中，示出了骨密度测定装置具备显示部的例子，但本发明不限于此，例如，显示部也可以是外置的监视器(外部显示装置)。
另外，在上述实施方式中，示出了骨密度测定装置(图像处理装置)制作学习模型的例子，但本发明不限于此，例如也可以从保存有学习模型的个人计算机读入学习模型。
另外，在上述实施方式中，示出了控制部进行从骨区域映射图像分离被检体的股骨的颈部区域的控制的例子，但本发明不限于此，例如也可以不分离股骨的颈部区域就设定关心区域。
另外，在上述实施方式中，示出了骨区域映射图像是附加有用于识别股骨的颈部和除颈部以外的部分的区域的标签的图像的例子，但本发明不限于此。例如，骨区域映射图像也可以是仅附加有用于识别股骨的颈部区域和背景区域的标签的图像。
另外，在上述实施方式中，示出了获取骨区域映射图像的例子，但本发明不限于此。例如，如果能够获取股骨的颈部区域，则未必获取骨区域映射图像。
另外，在上述实施方式中，示出了与关心区域叠加的分析图像是为了获取关心区域而使用的分析图像的例子，但本发明不限于此。例如，与关心区域叠加的分析图像也可以与为了获取关心区域而使用的分析图像不同。
另外，在上述实施方式中，示出了表示被检体的股骨的颈部区域的信息是关心区域的例子，但本发明不限于此。例如，表示被检体的股骨的颈部区域的信息也可以是在颈部区域获取工序中获取到的颈部区域。
[方式]
本领域技术人员能够理解的是，上述例示性的实施方式是以下方式的具体例。
(项目1)
一种图像解析方法，通过对包含被检体的股骨的区域的图像进行解析，来进行用于确定所述被检体的所述股骨的颈部区域的分割，所述图像解析方法包括以下工序：
使用机器学习作为分割的手段，并且制作教师用图像，该教师用图像是在包含所述被检体的所述股骨的区域的图像中至少附加有能够识别所述股骨的颈部区域和背景区域的标签的图像；以及
通过使用了包含所述被检体的所述股骨的区域的图像和制作出的所述教师用图像的学习处理，来制作机器学习的学习模型。
(项目2)
根据项目1所述的图像解析方法，其中，
所述教师用图像附加有能够识别所述股骨的颈部区域、除所述股骨的颈部区域以外的股骨区域以及背景区域的标签。
(项目3)
根据项目1或2所述的图像解析方法，其中，还包括以下工序：
股骨颈部区域获取工序，通过向所述学习模型7输入包含所述被检体的所述股骨的分析用的分析图像，来获取所述被检体的所述股骨的颈部区域；
叠加工序，将表示在所述股骨颈部区域获取工序中获取到的所述被检体的所述股骨的颈部区域5的信息叠加在所述分析图像的对应的位置处；以及
显示通过叠加工序获得的叠加图像。
(项目4)
根据项目3所述的图像解析方法，其中，
表示所述被检体的所述股骨的颈部区域的信息包含基于在所述股骨颈部区域获取工序中获取到的所述被检体的所述股骨的颈部区域而获取到的关心区域。
(项目5)
根据项目4所述的图像解析方法，其中，
所述股骨的颈部区域中的所述关心区域的范围构成为能够变更。
(项目6)
根据项目5所述的图像解析方法，其中，
所述股骨颈部区域获取工序构成为：基于使用附加有用于分别识别所述被检体的所述股骨的颈部区域和所述背景区域的标签的所述教师用图像学习到的所述学习模型来获取骨区域映射图像，基于获取到的所述骨区域映射图像来获取所述被检体的所述股骨的颈部区域，其中，所述骨区域映射图像至少附加有用于分别识别所述被检体的所述股骨的颈部区域和所述背景区域的标签。
(项目7)
根据项目6所述的图像解析方法，其中，
所述股骨颈部区域获取工序构成为：进行从获取到的所述骨区域映射图像分离所述被检体的所述股骨的颈部区域的控制。
(项目8)
根据项目7所述的图像解析方法，其中，
所述股骨颈部区域获取工序构成为：基于从获取到的所述骨区域映射图像分离出的所述被检体的所述股骨的颈部区域，来获取表示所述被检体的所述股骨的颈部区域的信息。
(项目9)
根据项目6～8中的任一项所述的图像解析方法，其中，
将表示所述被检体的所述股骨的颈部区域的信息叠加在所述分析图像的对应的位置处的工序构成为：对获取到所述被检体的颈部区域的所述分析图像叠加基于从所述骨区域映射图像获取到的所述被检体的颈部区域而获取到的表示所述被检体的所述股骨的颈部区域的信息。
(项目10)
根据项目3～9中的任一项所述的图像解析方法，其中，
所述分析图像用于测定骨密度。
(项目11)
一种图像处理装置，具备：
控制部，其进行以下控制：基于通过使用了教师用图像和包含被检体的股骨的学习用的输入图像5的机器学习而学习到的学习模型7，进行所述股骨的颈部区域的分割，从包含所述被检体的所述股骨的分析用的分析图像获取所述被检体的所述股骨的颈部区域，并且基于所述被检体的所述股骨的颈部区域来获取关心区域，其中，所述教师用图像附加有用于识别所述被检体的所述股骨的颈部区域和背景区域的标签；以及
显示部，其以能够变更所述关心区域的范围的方式来显示将基于所述学习模型获取到的所述关心区域和所述分析图像进行叠加而得到的图像。
(项目12)
一种骨密度测定装置，具备：
控制部，其进行以下控制：基于通过使用了教师用图像和包含被检体的股骨的学习用的输入图像的机器学习而学习到的学习模型，进行所述股骨的颈部区域的分割，从包含所述被检体的所述股骨的用于测定骨密度的分析图像获取所述被检体的所述股骨的颈部区域，并且基于所述被检体的所述股骨的颈部区域来获取关心区域，基于获取到的所述关心区域来测定骨密度，其中，所述教师用图像附加有用于识别所述被检体的所述股骨的颈部区域和背景区域的标签；以及
显示部，其以能够变更所述关心区域的范围的方式来显示将基于所述学习模型获取到的所述关心区域和所述分析图像进行叠加而得到的图像。
(项目13)
一种学习模型制作方法，包括以下工序：
获取包含被检体的股骨的学习用的输入图像；
基于所述输入图像获取附加有用于识别所述被检体的所述股骨的颈部区域和背景区域的标签的教师用图像；以及
基于所述输入图像和所述教师用图像，通过机器学习来获取用于确定所述股骨的颈部区域的学习模型。

Claims (13)

1.一种图像解析方法，通过对包含被检体的股骨的区域的图像进行解析，来进行用于确定所述被检体的所述股骨的颈部区域的分割，所述图像解析方法包括以下工序：
使用机器学习作为所述分割的手段，并且制作教师用图像，该教师用图像是在包含所述被检体的所述股骨的区域的图像中至少附加有能够识别所述股骨的颈部区域和背景区域的标签的图像；以及
通过使用了包含所述被检体的所述股骨的区域的图像和制作出的所述教师用图像的学习处理，来制作机器学习的学习模型。
2.根据权利要求1所述的图像解析方法，其特征在于，
所述教师用图像附加有能够识别所述股骨的颈部区域、除所述股骨的颈部区域以外的股骨区域以及背景区域的标签。
3.根据权利要求1所述的图像解析方法，其特征在于，还包括以下工序：
股骨颈部区域获取工序，通过向所述学习模型输入包含所述被检体的所述股骨的分析用的分析图像，来获取所述被检体的所述股骨的颈部区域；
叠加工序，将表示在所述股骨颈部区域获取工序中获取到的所述被检体的所述股骨的颈部区域的信息叠加在所述分析图像的对应的位置处；以及
显示通过叠加工序获得的叠加图像。
4.根据权利要求3所述的图像解析方法，其特征在于，
表示所述被检体的所述股骨的颈部区域的信息包含基于在所述股骨颈部区域获取工序中获取到的所述被检体的所述股骨的颈部区域而获取到的关心区域。
5.根据权利要求4所述的图像解析方法，其特征在于，
所述股骨的颈部区域中的所述关心区域的范围构成为能够变更。
6.根据权利要求5所述的图像解析方法，其特征在于，
所述股骨颈部区域获取工序构成为：基于使用至少附加有用于分别识别所述被检体的所述股骨的颈部区域和所述背景区域的标签的所述教师用图像学习到的所述学习模型，来获取骨区域映射图像，基于获取到的所述骨区域映射图像来获取所述被检体的所述股骨的颈部区域，其中，所述骨区域映射图像至少附加有用于分别识别所述被检体的所述股骨的颈部区域和所述背景区域的标签。
7.根据权利要求6所述的图像解析方法，其特征在于，
所述股骨颈部区域获取工序构成为：进行从获取到的所述骨区域映射图像分离所述被检体的所述股骨的颈部区域的控制。
8.根据权利要求7所述的图像解析方法，其特征在于，
所述股骨颈部区域获取工序构成为：基于从获取到的所述骨区域映射图像分离出的所述被检体的所述股骨的颈部区域，来获取表示所述被检体的所述股骨的颈部区域的信息。
9.根据权利要求6所述的图像解析方法，其特征在于，
将表示所述被检体的所述股骨的颈部区域的信息叠加在所述分析图像的对应的位置处的工序构成为：对获取到所述被检体的颈部区域的所述分析图像叠加基于从所述骨区域映射图像获取到的所述被检体的颈部区域而获取到的表示所述被检体的所述股骨的颈部区域的信息。
10.根据权利要求3所述的图像解析方法，其特征在于，
所述分析图像用于测定骨密度。
11.一种图像处理装置，具备：
控制部，其进行以下控制：基于通过使用了教师用图像和包含被检体的股骨的学习用的输入图像的机器学习而学习到的学习模型，进行所述股骨的颈部区域的分割，从包含所述被检体的所述股骨的分析用的分析图像获取所述被检体的所述股骨的颈部区域，并且基于所述被检体的所述股骨的颈部区域来获取关心区域，其中，所述教师用图像附加有用于识别所述被检体的所述股骨的颈部区域和背景区域的标签；以及
显示部，其以能够变更所述关心区域的范围的方式来显示将基于所述学习模型获取到的所述关心区域和所述分析图像进行叠加而得到的图像。
12.一种骨密度测定装置，具备：
控制部，其进行以下控制：基于通过使用了教师用图像和包含被检体的股骨的学习用的输入图像的机器学习而学习到的学习模型，进行所述股骨的颈部区域的分割，从包含所述被检体的所述股骨的用于测定骨密度的分析图像获取所述被检体的所述股骨的颈部区域，并且基于所述被检体的所述股骨的颈部区域来获取关心区域，基于获取到的所述关心区域来测定骨密度，其中，所述教师用图像附加有用于识别所述被检体的所述股骨的颈部区域和背景区域的标签；以及
显示部，其以能够变更所述关心区域的范围的方式来显示将基于所述学习模型获取到的所述关心区域和所述分析图像进行叠加而得到的图像。
13.一种学习模型制作方法，包括以下工序：
获取包含被检体的股骨的学习用的输入图像；
基于所述输入图像获取附加有用于识别所述被检体的所述股骨的颈部区域和背景区域的标签的教师用图像；以及
基于所述输入图像和所述教师用图像，通过机器学习来获取用于确定所述股骨的颈部区域的学习模型。
CN202010772414.1A 2019-09-04 2020-08-04 图像解析方法、处理装置、测定装置及学习模型制作方法 Pending CN112438745A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-161502 2019-09-04
JP2019161502A JP7226199B2 (ja) 2019-09-04 2019-09-04 画像解析方法、画像処理装置および骨密度測定装置

Publications (1)

Publication Number Publication Date
CN112438745A true CN112438745A (zh) 2021-03-05

Family

ID=74733475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010772414.1A Pending CN112438745A (zh) 2019-09-04 2020-08-04 图像解析方法、处理装置、测定装置及学习模型制作方法

Country Status (3)

Country Link
JP (1) JP7226199B2 (zh)
KR (1) KR20210028559A (zh)
CN (1) CN112438745A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102414601B1 (ko) * 2021-10-12 2022-07-04 에이아이다이콤 (주) 기계학습 기반 고관절 골절 진단을 위한 골밀도 도출 방법 및 이를 이용한 골밀도 도출 프로그램
WO2023095245A1 (ja) * 2021-11-25 2023-06-01 株式会社島津製作所 Ｘ線撮影装置
KR102578943B1 (ko) * 2023-04-12 2023-09-15 에이아이다이콤 (주) 엑스레이(X-ray) 촬영된 고관절 방사선 이미지를 이용한 기계학습 기반 골밀도 도출방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017212859A1 (ja) * 2016-06-08 2017-12-14 株式会社日立製作所 Ｘ線画像診断装置及び骨密度測定方法
CN107895367A (zh) * 2017-11-14 2018-04-10 中国科学院深圳先进技术研究院 一种骨龄识别方法、系统及电子设备
CN108764241A (zh) * 2018-04-20 2018-11-06 平安科技（深圳）有限公司 分割股骨近端的方法、装置、计算机设备和存储介质
CN109285154A (zh) * 2018-09-30 2019-01-29 杭州依图医疗技术有限公司 一种检测骨龄的方法及装置
CN109523523A (zh) * 2018-11-01 2019-03-26 郑宇铄 基于fcn神经网络和对抗学习的椎体定位识别分割方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10991070B2 (en) 2015-12-18 2021-04-27 OrthoGrid Systems, Inc Method of providing surgical guidance
WO2019003434A1 (ja) 2017-06-30 2019-01-03 株式会社島津製作所 放射線治療用追跡装置、位置検出装置および動体追跡方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017212859A1 (ja) * 2016-06-08 2017-12-14 株式会社日立製作所 Ｘ線画像診断装置及び骨密度測定方法
CN107895367A (zh) * 2017-11-14 2018-04-10 中国科学院深圳先进技术研究院 一种骨龄识别方法、系统及电子设备
CN108764241A (zh) * 2018-04-20 2018-11-06 平安科技（深圳）有限公司 分割股骨近端的方法、装置、计算机设备和存储介质
CN109285154A (zh) * 2018-09-30 2019-01-29 杭州依图医疗技术有限公司 一种检测骨龄的方法及装置
CN109523523A (zh) * 2018-11-01 2019-03-26 郑宇铄 基于fcn神经网络和对抗学习的椎体定位识别分割方法

Also Published As

Publication number Publication date
JP2021037164A (ja) 2021-03-11
JP7226199B2 (ja) 2023-02-21
KR20210028559A (ko) 2021-03-12

Similar Documents

Publication Publication Date Title
CN112438745A (zh) 图像解析方法、处理装置、测定装置及学习模型制作方法
US8705695B2 (en) Region of interest determination for X-ray imaging
EP1400203B1 (en) Computer assisted bone densitometer
US11138746B2 (en) Diagnostic support system and diagnostic support method
US8295570B2 (en) Methods and apparatus for measuring body circumference
JPH10509075A (ja) 改良した指示特性を有する骨濃度計
US8300911B1 (en) Methods and apparatus for measuring visceral fat mass
US10245001B2 (en) Generation of a three-dimensional reconstruction of a body part by an X-ray machine
CN112165900A (zh) 图像解析方法、分割方法、骨密度测量方法、学习模型生成方法和图像生成装置
US20110060247A1 (en) Methods and apparatus for measuring bone lengths
US20200281544A1 (en) Methods, systems, and apparatus for determining radiation doses
US10083503B2 (en) Image area specification device and method, and X-ray image processing device and method
EP3151193A1 (en) System for assessing bone fusion
CN104080404B (zh) 骨密度测量装置
JP2009160313A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
CN112438744A (zh) 骨密度测定装置和骨密度测定方法
US10089728B2 (en) Radiation-image processing device and method
Bredow et al. Software-based matching of X-ray images and 3d models of knee prostheses
KR20100128605A (ko) 가상 마커 방식을 접목한 생체 데이터 산출 시스템 및 자동 처리 방법
JP7173338B2 (ja) 骨部画像解析方法および学習方法
CN112996440B (zh) X射线摄像装置
WO2024122340A1 (ja) 画像処理装置、画像処理装置の作動方法、およびプログラム
KR102495365B1 (ko) 인공지능을 이용한 관절 분석 시스템 및 그 방법
JPWO2018198206A1 (ja) Ｘ線撮像装置
JP2024063537A (ja) 情報処理装置及びその制御方法、放射線撮影システム、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination