CN114677268A - X射线图像处理装置和x射线图像处理方法 - Google Patents

X射线图像处理装置和x射线图像处理方法 Download PDF

Info

Publication number
CN114677268A
CN114677268A CN202111402804.0A CN202111402804A CN114677268A CN 114677268 A CN114677268 A CN 114677268A CN 202111402804 A CN202111402804 A CN 202111402804A CN 114677268 A CN114677268 A CN 114677268A
Authority
CN
China
Prior art keywords
image
frequency component
resolution
frequency
ray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111402804.0A
Other languages
English (en)
Inventor
武田辽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020214498A external-priority patent/JP7571533B2/ja
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Publication of CN114677268A publication Critical patent/CN114677268A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种X射线图像处理装置和X射线图像处理方法，其中，X射线图像处理装置包括：图像获取部；频率分解处理部，其将X射线图像频率分解为高频成分图像和低频成分图像；高分辨率图像生成部，其通过学习模型根据高频成分图像生成分辨率比高频成分图像的分辨率高的图像即高分辨率高频成分图像；以及图像合成部，其将基于低频成分图像的图像和基于高分辨率高频成分图像的图像进行合成来生成高分辨率X射线图像。

Description

X射线图像处理装置和X射线图像处理方法
技术领域
本发明涉及一种X射线图像处理装置和X射线图像处理方法，尤其涉及一种通过学习模型来使图像的分辨率提高的X射线图像处理装置和X射线图像处理方法。
背景技术
以往，已知一种通过学习模型来使图像的分辨率提高的X射线图像处理装置。此种的X射线图像处理装置例如在Chao Dong et.al.,Image Super-Resolution UsingDeepConvolutional Networks,arXiv:1501.00092v3[cs.CV],31July 2015(下面称为非专利文献1)中被公开。
在上述非专利文献1中，公开了通过学习完成的学习模型来使图像的分辨率提高的结构。具体地说，在上述非专利文献1中公开了如下结构：使学习模型使用教师用低分辨率图像和教师用高分辨率图像对根据低分辨率图像来估计高清晰度的高分辨率图像的超分辨处理进行学习。在上述非专利文献1中，将通过对获取到的图像即原图像应用放大处理而制作出的清晰度低的图像用作教师用低分辨率图像。另外，在上述非专利文献1中，将原图像用作教师用高分辨率图像。关于如上述非专利文献1公开的那样的超分辨处理，让学习模型对使教师用低分辨率图像的清晰度接近教师用高分辨率图像的清晰度进行学习。另外，在上述非专利文献1中，学习模型由三层卷积层构成。
在此，在图像的频率成分中包含边缘部分等高频成分和背景等低频成分。医师等所关注的部位例如是血管、被导入到血管内的器件等，包含于高频成分中。一般来说，在图像中包含的频率成分的比例中，低频成分比高频成分多。在上述非专利文献1所公开的超分辨处理的学习中，让学习模型对使图像中包含的全部频率成分提高清晰度进行学习。因此，在上述非专利文献1所公开的超分辨处理的学习中，在将对使低频成分的清晰度提高进行学习的比例和对使高频成分的清晰度提高进行学习的比例进行了比较的情况下，对使低频成分的清晰度提高进行学习的比例更大。因而，在进行了通过如上述非专利文献1所公开的那样的超分辨处理使图像的分辨率和清晰度提高的处理的情况下，存在如下问题：与低频率成分的清晰度的提高程度相比较，高频成分的清晰度的提高程度低。在该情况下，有时即使在实施了超分辨处理的情况下也无法将高频成分高清晰度化。其结果，存在有时高频成分中包含的医师等所关注的部位的可视性没有提高的问题。
发明内容
本发明为了解决如上述的的问题而完成，本发明的一个目的在于提供一种能够通过对在实施了超分辨处理的情况下无法将高频成分高清晰度化进行抑制、来提高所关注的部位的可视性的X射线图像处理装置和X射线图像处理方法。
为了达成上述目的，本发明的第1方面的X射线图像处理装置包括：图像获取部，其获取X射线图像；频率分解处理部，其将X射线图像频率分解为高频成分图像和低频成分图像；高分辨率图像生成部，其通过对提高图像的分辨率进行学习所得到的学习完成的学习模型，根据高频成分图像来生成高分辨率高频成分图像，所述高分辨率高频成分图像是分辨率比高频成分图像的分辨率高的图像；以及图像合成部，其通过将基于低频成分图像的图像和基于高分辨率高频成分图像的图像进行合成来生成高分辨率X射线图像。
另外，为了达成上述目的，本发明的第2方面的X射线图像处理方法包括以下步骤：获取X射线图像；将X射线图像频率分解为高频成分图像和低频成分图像；通过学习完成的学习模型，根据高频成分图像来生成高分辨率高频成分图像，所述高分辨率高频成分图像是分辨率比高频成分图像的分辨率高的图像；以及通过将基于低频成分图像的图像和基于高分辨率高频成分图像的图像进行合成来生成高分辨率X射线图像。
在上述第1方面的X射线图像摄像装置中，如上所述，包括：频率分解处理部，其将X射线图像频率分解为高频成分图像和低频成分图像；高分辨率图像生成部，其根据高频成分图像来生成分辨率比高频成分图像的分辨率高的图像即高分辨率高频成分图像；以及图像合成部，其将基于低频成分图像的图像和基于高分辨率高频成分图像的图像进行合成来生成高分辨率X射线图像。由此，由于高分辨率图像生成部在将低频率成分图像和高频成分图像分开的状态下提高分辨率，因此与对包含高频成分和低频成分双方的成分的X射线图像进行提高分辨率的处理的结构相比较，能够抑制高频成分图像的高清晰度化的程度降低。其结果，能够提供一种能够通过对在实施了超分辨处理的情况下无法将高频成分高清晰度化进行抑制、来提高所关注的部位的可视性的X射线图像处理装置。
另外，在上述第2方面的X射线图像处理方法中，如上所述，包括以下步骤：将X射线图像频率分解为高频成分图像和低频成分图像；通过学习完成的学习模型，根据高频成分图像来生成分辨率比高频成分图像的分辨率高的图像即高分辨率高频成分图像；以及通过将基于低频成分图像的图像和基于高分辨率高频成分图像的图像进行合成来生成高分辨率X射线图像。由此，能够提供一种与上述第1方面的X射线图像处理装置同样地能够通过对在实施了超分辨处理的情况下无法将高频成分高清晰度化进行抑制、来提高所关注的部位的可视性的X射线图像处理方法。
附图说明
图1是示出一个实施方式的X射线图像处理装置的整体结构的示意图。
图2是用于说明X射线图像摄像装置的结构的示意图。
图3是用于说明拍进关注部位和非关注部位的X射线图像的示意图。
图4是用于说明一个实施方式的学习模型的学习方法以及使用学习完成的学习模型来根据X射线图像生成高分辨率X射线图像的方法的示意图。
图5是用于说明一个实施方式的频率分解处理、放大处理、提高分辨率的处理、以及生成高分辨率X射线图像的处理的示意图。
图6A是用于说明X射线图像的示意图。
图6B是用于说明一个实施方式的高分辨率X射线图像的示意图。
图6C是用于说明比较例1的X射线图像的示意图。
图6D是用于说明比较例2的X射线图像的示意图。
图7是用于说明一个实施方式的高分辨率X射线图像、比较例1的X射线图像、以及比较例2的X射线图像中的器件的清晰度的示意图。
图8是用于说明一个实施方式中的图像处理部根据X射线图像来生成被放大后的高分辨率X射线图像的处理的流程图。
图9是示出第1变形例的X射线图像处理装置的整体结构的示意图。
图10是用于说明第1变形例的放大处理、频率分解处理、缩小处理、提高分辨率的处理、以及生成高分辨率X射线图像的处理的示意图。
图11是用于说明第1变形例中的图像处理部根据X射线图像来生成被放大后的高分辨率X射线图像的处理的流程图。
图12是示出第2变形例的X射线图像处理装置的整体结构的示意图。
图13是用于说明第2变形例的放大处理、频率分解处理、提高分辨率的处理、以及生成高分辨率X射线图像的处理的示意图。
图14是用于说明第2变形例中的图像处理部根据X射线图像来生成被放大后的高分辨率X射线图像的处理的流程图。
具体实施方式
下面，基于附图来说明将本发明具体化的实施方式。
参照图1和图2来说明一个实施方式的X射线图像处理装置100的结构。此外，在本实施方式中，对作为医用X射线图像的图像处理装置的X射线图像处理装置100的结构进行说明。
(X射线图像处理装置的结构)
如图1所示，X射线图像处理装置100具备图像获取部1、图像处理部2以及存储部3。
图像获取部1构成为获取X射线图像10。在本实施方式中，图像获取部1例如构成为从X射线图像摄像装置200获取X射线图像10。图像获取部1例如包括输入输出接口。
图像处理部2构成为生成使获取到的X射线图像10的分辨率提高所得到的高分辨率X射线图像13。图像处理部2是构成为包括CPU(Central Processing Unit，中央处理单元)、ROM(Read Only Memory，只读存储器)、RAM(Random Access Memory，随机存取存储器)、GPU(Graphics Processing Unit，图形处理单元)、以及构成为图像处理用的FPGA(Field-Programmable Gate Array，现场可编程门阵列)等处理器的计算机。另外，由作为硬件的CPU等构成的图像处理部2包括频率分解处理部2a、高分辨率图像生成部2b以及图像合成部2c来作为软件(程序)的功能块。另外，在本实施方式中，图像处理部2包括图像放大部2d来作为功能块。图像处理部2通过执行存储部3中存储的程序来作为频率分解处理部2a、高分辨率图像生成部2b、图像合成部2c以及图像放大部2d发挥功能。频率分解处理部2a、高分辨率图像生成部2b、图像合成部2c以及图像放大部2d也可以设置专用的处理器(处理电路)来通过硬件分别构成。图像处理部2的各功能块的详细内容后面叙述。
存储部3构成为存储X射线图像10、高分辨率X射线图像13、学习模型40。另外，存储部3构成为存储图像处理部2所执行的各种程序。存储部3例如包括HDD(Hard Disk Drive，硬盘驱动器)、或者SSD(Solid State Drive，固态驱动器)等非易失性的存储器。
(X射线图像摄像装置的结构)
如图2所示，X射线图像摄像装置200具备X射线源201、X射线检测部202、摄像装置控制部203、摄像装置图像处理部204以及显示部205。摄像装置控制部203与X射线源201、摄像装置图像处理部204及显示部205电连接。另外，X射线检测部202与摄像装置图像处理部204电连接。X射线图像摄像装置200通过对被检者90进行拍摄来生成X射线图像10。另外，X射线图像摄像装置200向X射线图像处理装置100发送所生成的X射线图像10。此外，在图2所示的例子中，通过虚线来图示电连接，通过实线的箭头来图示信息的输入输出。
X射线源201由于被施加高电压而产生X射线。构成为由X射线源201产生的X射线向配置有X射线检测部202的方向照射。
X射线检测部202检测从X射线源201照射来的X射线，并且将检测到的X射线变换为电信号。X射线检测部202例如为FPD(Flat Panel Detector，平板检测器)。X射线检测部202的检测信号(图像信号)被向摄像装置图像处理部204发送。
摄像装置控制部203构成为对X射线图像摄像装置200进行控制。摄像装置控制部203例如包括CPU、ROM以及RAM等。
摄像装置图像处理部204构成为基于从X射线检测部202发送来的检测信号来生成X射线图像10。摄像装置图像处理部204例如包括GPU、或者构成为图像处理用的FPGA等的处理器。
在摄像装置图像处理部204中生成的X射线图像10被向X射线图像处理装置100发送。
显示部205构成为显示在X射线图像处理装置100中生成的高分辨率X射线图像13。显示部205例如包括液晶监视器等显示装置。
(X射线图像)
如图3所示，X射线图像10是拍摄被检者90(参照图2)得到的图像。具体地说，X射线图像10拍进被检者90的血管90a以及被导入到血管90a的器件91的图像。另外，在X射线图像10中拍进关注部位50和非关注部位51。关注部位50例如包括血管90a的边缘50a和器件91的边缘50b。另外，非关注部位51例如包括被检者90的心脏51a、肺51b以及横隔膜51c。另外，器件91例如包括支架、导管、导丝等。
(图像处理方法)
接着，参照图4和图5来说明通过本实施方式的图像处理方法根据X射线图像10生成被放大后的高分辨率X射线图像13的结构。
图4是示出本实施方式的图像处理的流程的框图。如图4所示，在本实施方式中，图像处理方法大体上分为X射线图像处理方法101和学习模型41的学习方法102。
(学习模型生成)
本实施方式的学习模型41的学习方法102让学习模型41使用教师用低分辨率高频成分图像42和教师用高分辨率高频成分图像43来对提高高频成分的分辨率进行学习。另外，在本实施方式中，在让学习模型41学习时，还对提高分辨率并且将图像放大进行学习。此外，在本说明书中，“放大”是指将图像的分辨率变大。另外，在本说明书中，“高分辨率”是指清晰度高。另外，“低分辨率”是指清晰度低。
在本实施方式中，例如，让学习模型41学习将1024×1024的分辨率的图像的分辨率提高成2048×2048的分辨率的图像的分辨率。另外，在本实施方式中，例如，让学习模型41学习将图像放到为4倍的大小。学习模型41例如为图4所示的卷积神经网络(Convolutional neural network；CNN)、或在一部分中包含卷积神经网络。通过让学习模型41进行学习而生成的学习模型40被存储于X射线图像处理装置100的存储部3(图1)中。此外，让学习模型41进行学习的方法没有限定。
(X射线图像处理方法)
本实施方式的X射线图像处理方法101为根据高频成分图像11生成高分辨率高频成分图像的X射线图像处理方法。本实施方式的X射线图像处理方法101包括以下步骤：获取X射线图像10；将X射线图像10频率分解为高频成分图像11和低频成分图像12；通过学习完成的学习模型40根据高频成分图像11来生成分辨率比高频成分图像11的分辨率高的图像即高分辨率高频成分图像；以及通过将基于低频成分图像12的图像和基于高分辨率高频成分图像的图像进行合成来生成高分辨率X射线图像13。X射线图像处理方法101的各步骤的详细的处理后面叙述。
如图4所示，在本实施方式中，获取X射线图像10的步骤通过图像获取部1来进行。图像获取部1从X射线图像摄像装置200获取X射线图像10。另外，图像获取部1对频率分解处理部2a输出所获取到的X射线图像10。
另外，如图4所示，在本实施方式中，频率分解的步骤通过频率分解处理部2a来进行。频率分解处理部2a构成为将X射线图像10频率分解为高频成分图像11和低频成分图像12。
另外，如图4所示，在本实施方式中，生成高分辨率高频成分图像的步骤通过高分辨率图像生成部2b来进行。高分辨率图像生成部2b构成为通过对提高图像的分辨率进行学习所得到的学习完成的学习模型40，根据高频成分图像11来生成分辨率比高频成分图像11的分辨率高的图像即高分辨率高频成分图像。此外，如图4所示，在本实施方式中，高分辨率图像生成部2b构成为：不进行根据低频成分图像12来生成分辨率比低频成分图像12的分辨率高的图像的处理，而进行根据高频成分图像11来生成高分辨率高频成分图像的处理。即，在本实施方式中，高分辨率图像生成部2b仅对高频成分图像11进行提高分辨率的处理。
另外，在本实施方式中，如图4所示，生成高分辨率X射线图像13的步骤通过图像合成部2c来进行。图像合成部2c构成为通过将基于低频成分图像12的图像和基于高分辨率高频成分图像的图像进行合成来生成高分辨率X射线图像13。
(生成高分辨率X射线图像的结构)
接着，参照图5来说明图像处理部2根据X射线图像10生成被放大后的高分辨率X射线图像13的结构。此外，在图5所示的例子中，示出生成X射线图像10的大小的4倍大小的高分辨率X射线图像13的结构。
频率分解处理部2a(参照图4)从图像获取部1获取X射线图像10。另外，频率分解处理部2a通过对获取到的X射线图像10进行频率分解来生成高频成分图像11和低频成分图像12。另外，频率分解处理部2a对高分辨率图像生成部2b输出所生成的高频成分图像11。另外，频率分解处理部2a对图像放大部2d输出所生成的低频成分图像12。高频成分图像11的大小及清晰度与X射线图像10的大小及清晰度相同。另外，低频成分图像12的大小及清晰度也与X射线图像10的大小及清晰度相同。
在本实施方式中，频率分解处理部2a构成为：进行分解的频带被设定为使X射线图像10中的规定的关注部位50的频率成分成为高频侧成分的频率分解处理。具体地说，频率分解处理部2a构成为：以规定的频率对X射线图像10进行分解，以使血管90a(参照图3)的边缘50a(参照图3)的频率成分和器件91(参照图3)的边缘50b(参照图3)的频率成分成为高频侧成分。即，频率分解处理部2a对X射线图像10进行分解，以成为关注部位50的频率成分不含于高频成分图像11和低频成分图像12双方，而包含于高频成分图像11但不包含于低频成分图像12的状态。此外，关注部位50的频率成分的大部分包含于高频成分图像11即可，允许一些频率成分包含于低频成分图像12。
另外，在本实施方式中，频率分解处理部2a通过对X射线图像10进行平滑滤波处理来获取低频成分图像12。具体地说，频率分解处理部2a通过针对X射线图像10使用高斯滤波器来获取低频成分图像12。另外，频率分解处理部2a构成为：通过从X射线图像10减去低频成分图像12来获取高频成分图像11。即，在本实施方式中，频率分解处理部2a将X射线图像10分解为高频成分图像11和低频成分图像12这2个图像。另外，在将高频成分图像11和低频成分图像12进行了合成的情况下，得到X射线图像10。
图像放大部2d(参照图4)构成为在频率分解处理部2a进行频率分解处理之前或者进行了频率分解处理之后将图像放大。在本实施方式中，图像放大部2d将进行了频率分解处理之后的图像放大。即，在本实施方式中，低频成分图像12被输入图像放大部2d。另外，图像放大部2d构成为：将通过频率分解处理部2a进行频率分解而获取到的低频成分图像12放大，来生成低频成分放大图像14。另外，图像放大部2d对图像合成部2c输出低频成分放大图像14。
另外，在本实施方式中，图像放大部2d构成为通过能够可逆变换的插值算法来放大图像。能够可逆变换的插值算法例如包括最近邻法。最近邻法是在放大了图像时将通过放大而产生的像素值处于距离未定的像素最近的位置的像素值使用于该像素的像素值的方法。此外，低频成分放大图像14的大小是低频成分图像12的4倍的大小。另外，低频成分放大图像14的清晰度比低频成分图像12的清晰度低。低频成分放大图像14是本发明中的“基于低频成分图像的图像”的一例。
另外，在本实施方式中，学习模型40(参照图4)还对提高图像的分辨率时将生成的图像放大进行学习。高分辨率图像生成部2b(参照图4)构成为：通过学习模型40根据高频成分图像11生成与高频成分图像11相比分辨率提高且放大后的高分辨率高频成分放大图像15。此外，在图5所示的例子中，高频成分图像11被输入高分辨率图像生成部2b。另外，高分辨率图像生成部2b进行使被输入的高频成分图像11的大小和清晰度提高的处理。具体地说，高分辨率图像生成部2b生成大小为高频成分图像11的4倍的大小且清晰度比高频成分图像11的清晰度高的高分辨率高频成分放大图像15。高分辨率图像生成部2b对图像合成部2c输出所生成的高分辨率高频成分放大图像15。高分辨率高频成分放大图像15是本发明中的“高分辨率高频成分图像”以及“基于高分辨率高频成分图像的图像”的一例。
低频成分放大图像14和高分辨率高频成分放大图像15被输入图像合成部2c。图像合成部2c构成为：通过将低频成分放大图像14和高分辨率高频成分放大图像15进行合成来生成高分辨率X射线图像13。在本实施方式中，图像合成部2c通过将低频成分放大图像14和高分辨率高频成分放大图像15相加来生成高分辨率X射线图像13。在图5所示的例子中，高分辨率X射线图像13为大小是X射线图像10的4倍的大小且清晰度比X射线图像10的清晰度高的图像。另外，在本实施方式中，图像合成部2c对X射线图像摄像装置200的显示部205输出所生成的高分辨率X射线图像13。
(运动图像)
在本实施方式中，X射线图像摄像装置200(参照图2)例如通过在导管治疗等的X射线IVR(Interventional Radiology，介入放射学)中对被检者90进行透视拍摄来拍摄X射线图像10作为规定的帧频的运动图像。图像获取部1构成为获取作为运动图像的X射线图像10。具体地说，图像获取部1按时间序列连续地获取作为帧图像的X射线图像10。频率分解处理部2a构成为：每当获取作为运动图像的X射线图像10的帧时，对获取到的帧进行频率分解处理，由此按帧获取低频成分图像12和高频成分图像11。高分辨率图像生成部2b构成为根据按帧获取到的高频成分图像11来生成高分辨率高频成分图像。图像合成部2c构成为通过将每帧的低频成分图像12和每帧的高分辨率高频成分图像进行合成来生成作为运动图像的高分辨率X射线图像13。另外，图像合成部2c以规定的帧频将高分辨率X射线图像13以运动图像的形式输出到显示部205(参照图2)。
此外，本实施方式的图像处理部2的高分辨率X射线图像13的生成处理通过由医师等进行用于进行放大显示的操作输入来开始。
(高分辨率X射线图像、比较例1以及比较例2)
接着，参照图6和图7，对于本实施方式的图像处理部2所生成的高分辨率X射线图像13与通过以往方法生成的比较例1和比较例2中的图像中拍进的器件91的清晰度的差异进行说明。
图6A是拍进器件91的X射线图像10。图6B是本实施方式的图像处理部2所生成的高分辨率X射线图像13。另外，图6C是比较例1的通过学习了不对X射线图像10进行频率分解处理但提高分辨率所得到的模型来提高分辨率、同时进行了放大的图像60。另外，图6D是比较例2的通过非线性函数放大了X射线图像10所得到的图像61。图像61例如是通过Bicubic插值算法进行了放大的图像。
确认到：图6B所示的高分辨率X射线图像13中拍进的器件91比比较例1的图像60中拍进的器件91及比较例2的图像61中拍进的器件91更鲜明地拍进。此外，在图7所示的曲线80中确认到：高分辨率X射线图像13中拍进的器件91比比较例1的图像60中拍进的器件91及比较例2的图像61中拍进的器件91更鲜明地拍进。
图7所示的曲线80的横轴为像素的位置，纵轴为像素值。另外，曲线80包含本实施方式的高分辨率X射线图像13的曲线81、比较例1的图像60的曲线82以及比较例2的图像61的曲线83。各曲线是通过标记图像中的规定位置的像素的像素值而得到的。曲线81是对于高分辨率X射线图像13(参照图6)中的直线70(参照图6)的位置的像素标记了像素值的变化所得到的曲线。另外，曲线82是对于图像60(参照图6)中的直线71(参照图6)的位置的像素标记了像素值的变化所得到的曲线。另外，曲线83是对于图像61(参照图6)中的直线72(参照图6)的位置的像素标记了像素值的变化所得到的曲线。
将各曲线中的像素值的最小值和各曲线的谷部分的宽度作为表示器件91(参照图6)的清晰度的指标。具体地说，各曲线的谷部分的宽度越小且谷部分的深度越深则越清晰。即，意味着各曲线的谷部分的斜率(边缘的亮度变化量)越大则清晰度越高。此外，谷部分的宽度是指各曲线中的向下方突出的部分的宽度。另外，谷部分的深度是指各曲线的谷部分的突出程度。在图7所示的例子中，基于直线73所示的位置上的宽度确认了器件91的清晰度。
如图7所示，通过对曲线81的谷部分的宽度81a、曲线82的谷部分的宽度82a以及曲线83的谷部分的宽度83a进行了比较，确认了曲线81的谷部分的宽度81a最小。另外，通过对各曲线的像素值的最小值进行了比较，确认了曲线81的像素值的最小值最小。即，根据曲线81～83确认到：在本实施方式的高分辨率X射线图像13、比较例1的图像60以及比较例2的图像61中，高分辨率X射线图像13中拍进的器件91最鲜明。
接着，参照图8来说明本实施方式的图像处理部2根据X射线图像10生成被放大后的高分辨率X射线图像13的处理。
在步骤101a中，图像获取部1获取X射线图像10。在本实施方式中，以帧为单位来获取作为运动图像的X射线图像10。
在步骤101b中，频率分解处理部2a对X射线图像10进行频率分解处理来获取高频成分图像11和低频成分图像12。
在步骤101c中，高分辨率图像生成部2b通过学习模型40根据高频成分图像11生成高分辨率高频成分图像。在本实施方式中，高分辨率图像生成部2b生成高分辨率高频成分放大图像15来作为高分辨率高频成分图像。
在步骤101d中，图像放大部2d通过将低频成分图像12放大来生成低频成分放大图像14。
在步骤101e中，图像合成部2c通过将基于低频成分图像12的图像和基于高分辨率高频成分图像的图像进行合成来生成被放大后的高分辨率X射线图像13。具体地说，图像合成部2c通过将高分辨率高频成分放大图像15和低频成分放大图像14进行合成来生成被放大后的高分辨率X射线图像13。
在本实施方式中，图像合成部2c对作为运动图像的X射线图像10进行上述步骤101a～步骤101e的处理来生成作为运动图像的被放大后的高分辨率X射线图像13。此外，上述步骤101c的处理和上述步骤101d的处理中的哪一个先进行都可以。另外，在图像处理部2能够以同时并行的方式进行处理的情况下，可以以同时并行的方式进行上述步骤101c的处理和上述步骤101d的处理。
(本实施方式的效果)
在本实施方式中，能够得到如下的效果。
在本实施方式中，如上所述，X射线图像处理装置100包括：图像获取部1，其获取X射线图像10；频率分解处理部2a，其将X射线图像10频率分解为高频成分图像11和低频成分图像12；高分辨率图像生成部2b，其通过对提高图像的分辨率进行学习所得到的学习完成的学习模型40，根据高频成分图像11来生成分辨率比高频成分图像11的分辨率高的图像即高分辨率高频成分图像；以及图像合成部2c，其通过将基于低频成分图像12的图像和基于高分辨率高频成分图像的图像进行合成来生成高分辨率X射线图像13。
由此，由于高分辨率图像生成部2b在将低频成分图像12和高频成分图像11分开的状态下提高分辨率，因此与对包含高频成分和低频成分双方的成分的X射线图像10进行提高分辨率的处理的结构相比较，能够抑制高频成分图像11的高清晰度化的程度降低。其结果，能够提供一种能够通过对在实施了超分辨处理的情况下无法将高频成分高清晰度化进行抑制、来提高所关注的部位的可视性的X射线图像处理装置100。
另外，在本实施方式中，如上所述，X射线图像处理方法包括以下步骤：获取X射线图像10；将X射线图像10频率分解为高频成分图像11和低频成分图像12；通过学习完成的学习模型40，根据高频成分图像11来生成分辨率比高频成分图像11的分辨率高的图像即高分辨率高频成分图像；以及通过将基于低频成分图像12的图像和基于高分辨率高频成分图像的图像进行合成来生成高分辨率X射线图像13。
由此，能够提供一种与上述X射线图像处理装置100相同地能够通过对在实施了超分辨处理的情况下无法将高频成分高清晰度化进行抑制、来提高所关注的部位的可视性的X射线图像处理方法。
另外，在上述实施方式中，通过如下那样构成，能够得到如下述的进一步的效果。
即，在本实施方式中，如上所述，高分辨率图像生成部2b构成为：不进行根据低频成分图像12来生成分辨率比低频成分图像12的分辨率高的图像的处理，而进行根据高频成分图像11来生成高分辨率高频成分图像的处理。由此，由于不对低频成分图像12进行提高分辨率的处理，因此与对于高频成分图像11和低频成分图像12一并进行提高分辨率的处理的结构相比，能够抑制处理速度降低以及处理负荷增加。
另外，在本实施方式中，如上所述，频率分解处理部2a构成为：进行分解的频带被设定为使X射线图像10中的规定的关注部位50的频率成分成为高频侧成分的频率分解处理。由此，通过提高包含关注部位50的频率成分的高频成分图像11的分辨率，由此能够在高分辨率高频成分放大图像15中提高关注部位50的清晰度。其结果，能够在高分辨率X射线图像13中提高关注部位50的可视性。
另外，在本实施方式中，如上所述，X射线图像10是拍进被检者90的血管90a以及被导入到血管90a的器件91的图像，关注部位50是血管90a的边缘50a和器件91的边缘50b。由此，在高分辨率X射线图像13中，由于能够提高血管90a的边缘50a和器件91的边缘50b的清晰度，因此能够在高分辨率X射线图像13中提高血管90a和器件91的可视性。
另外，在本实施方式中，如上所述，图像获取部1构成为获取作为运动图像的X射线图像10，频率分解处理部2a构成为：每当获取作为运动图像的X射线图像10的帧时，对获取到的帧进行频率分解处理，由此按帧获取低频成分图像12和高频成分图像11，高分辨率图像生成部2b构成为根据按帧获取到的高频成分图像11来生成高分辨率高频成分图像，图像合成部2c构成为通过将每帧的低频成分图像12和每帧的高分辨率高频成分图像进行合成来生成作为运动图像的高分辨率X射线图像13。由此，生成作为运动图像的高分辨率X射线图像13，因此例如使显示装置等显示作为运动图像的高分辨率X射线图像13，由此能够向操作者呈现提高了关注部位50的可视性的运动图像。其结果，能够在操作者进行手术时使操作者实时确认提高了关注部位50的可视性的运动图像。
另外，在本实施方式中，如上所述，频率分解处理部2a构成为：通过对X射线图像10进行平滑滤波处理来获得低频成分图像12，并且从X射线图像10减去低频成分图像12来获取高频成分图像11。由此，由于通过平滑滤波处理来进行频率分解处理，因此例如与在获取到全部的X射线图像10之后进行频率分解处理的基于傅立叶变换的频率分解处理不同，能够在获取到一部分的X射线图像10的阶段开始频率分解处理。其结果，能够提高频率分解处理的速度。
另外，在本实施方式中，如上所述，还具备将图像放大的图像放大部2d，图像放大部2d构成为在频率分解处理部2a进行频率分解处理之前或者进行了频率分解处理之后将图像放大。由此，由于能够在频率分解处理之前或者之后的期望的时刻进行图像的放大处理，因此能够提高图像处理的结构的自由度。
另外，在本实施方式中，如上所述，图像放大部2d构成为：将通过频率分解处理部2a进行频率分解而获取到的低频成分图像12放大，由此生成低频成分放大图像14，学习模型40还对提高图像的分辨率时将生成的图像放大进行学习，高分辨率图像生成部2b构成为通过学习模型40根据高频成分图像11来生成与高频成分图像11相比分辨率提高且放大后的高分辨率高频成分放大图像15，图像合成部2c构成为通过将低频成分放大图像14和高分辨率高频成分放大图像15进行合成来生成高分辨率X射线图像13。由此，能够在通过高分辨率图像生成部2b提高分辨率的同时将图像放大，因此与使放大后的高频成分图像11的分辨率提高的结构相比较，能够减小应用学习模型40的图像的大小。其结果，能够抑制由学习模型40进行的提高分辨率的处理的负荷增加。
另外，在本实施方式中，如上所述，图像放大部2d构成为通过能够可逆变换的插值算法来放大图像。由此，即使在通过放大处理将低频成分图像12放大而生成了低频成分放大图像14的情况下，也能够抑制低频成分图像12中包含的像素的像素值的信息缺失。
[变形例]
应认为本次公开的实施方式的全部方面是例示性的而不是限制性的。本发明的范围不通过上述实施方式的说明来示出，而是通过权利要求书来示出，还包含在与权利要求书等同的含义以及范围内的全部的变更(变形例)。
(第1变形例)
例如，在上述实施方式中，示出了图像放大部2d在频率分解处理部2a对X射线图像10进行了频率分解处理之后将图像放大的结构的例子，但本发明并不限定于此。例如，在图9所示的第1变形例中，图像放大部20d也可以构成为将通过频率分解处理部20a进行频率分解之前的X射线图像10放大。
如图9所示，与上述实施方式的X射线图像处理装置100的不同点在于，第1变形例的X射线图像处理装置110具备图像处理部20来代替图像处理部2、以及在存储部3中存储学习模型140来代替学习模型40。
与上述实施方式的图像处理部2的不同点在于，图像处理部20具备频率分解处理部20a来代替频率分解处理部2a、具备高分辨率图像生成部20b来代替高分辨率图像生成部2b、具备图像放大部20d来代替图像放大部2d、以及具备将图像缩小的图像缩小部2e。
与上述实施方式的学习模型40的不同点在于，学习模型140对根据代替高频成分图像11的高频成分缩小图像18(参照图10)生成高分辨率高频成分放大图像15进行学习。此外，在高频成分图像11的大小及清晰度与高频成分缩小图像18的大小及清晰度相等的情况下，可以使用学习模型40。
如图10所示，第1变形例的图像放大部20d(参照图9)构成为将通过频率分解处理部2a进行频率分解之前的X射线图像10放大。具体地说，图像放大部20d通过将X射线图像10放大来生成被放大后的X射线图像16。此外，在作为放大对象的图像的大小和放大率相等的情况下，可以使用图像放大部2d。
另外，如图10所示，在第1变形例中，频率分解处理部20a(图照参9)构成为根据被放大后的X射线图像16来生成低频成分放大图像14和高频成分放大图像17。频率分解处理部20a所进行的频率分解处理由于与上述实施方式的频率分解处理部2a所进行的频率成分处理相同，因此省略详细的说明。
另外，如图10所示，在第1变形例中，图像缩小部2e(参照图9)构成为通过将高频成分放大图像17缩小来获得高频成分缩小图像18。在第1变形例中，图像缩小部2e构成为通过能够可逆变换的插值算法将图像缩小。能够可逆变换的插值算法例如包括像素平均法。此外，图像缩小部2e将高频成分放大图像17缩小成高频成分缩小图像18的大小与X射线图像10的大小相等。
另外，如图10所示，在第1变形例中，高分辨率图像生成部20b(参照图9)构成为通过学习模型140根据高频成分缩小图像18来生成高分辨率高频成分放大图像15。
另外，如图10所示，在第1变形例中，图像合成部2c(参照图9)构成为通过将低频成分放大图像14和高分辨率高频成分放大图像15进行合成来生成高分辨率X射线图像13。
接着，参照图11来说明第1变形例的图像处理部20生成被放大后的高分辨率X射线图像13的处理。此外，对于与上述实施方式的图像处理部2所进行的处理相同的处理，标记相同的附图标记，并省略详细的说明。
在步骤101a中，图像获取部1获取X射线图像10。
在步骤101f中，图像放大部20d通过将X射线图像10放大来获取被放大后的X射线图像16。
在步骤101g中，频率分解处理部20a对被放大后的X射线图像16进行频率分解处理来获取高频成分放大图像17和低频成分放大图像14。
在步骤101h中，图像缩小部2e通过将高频成分放大图像17缩小来获取高频成分缩小图像18。
在步骤101i中，高分辨率图像生成部20b通过学习模型140根据高频成分缩小图像18生成高分辨率高频成分放大图像15。
在步骤101e中，图像合成部2c通过将基于低频成分图像12的图像和基于高分辨率高频成分图像的图像进行合成来生成被放大后的高分辨率X射线图像13。具体地说，图像合成部2c通过将高分辨率高频成分放大图像15和低频成分放大图像14进行合成来生成被放大后的高分辨率X射线图像13。
此外，第1变形例的X射线图像处理装置110的其它结构是与上述实施方式的X射线图像处理装置100相同的结构。
(第1变形例的效果)
在第1变形例中，能够得到如下的效果。
在第1变形例中，如上所述，X射线图像处理装置110还具备将图像缩小的图像缩小部2e，图像放大部20d构成为将通过频率分解处理部20a进行频率分解之前的X射线图像10放大，学习模型140还对提高图像的分辨率时将生成的图像放大进行学习，频率分解处理部20a构成为根据被放大后的X射线图像16来生成低频成分放大图像14和高频成分放大图像17，图像缩小部2e构成为通过将高频成分放大图像17缩小来获得高频成分缩小图像18，高分辨率图像生成部20b构成为通过学习模型140根据高频成分缩小图像18来生成高分辨率高频成分放大图像15，图像合成部2c构成为通过将低频成分放大图像14和高分辨率高频成分放大图像15进行合成来生成高分辨率X射线图像13。
由此，基于在进行频率分解处理之前被放大后的X射线图像16来获取低频成分放大图像14和高频成分放大图像17，因此与通过频率分解处理将X射线图像10分解成低频成分图像12和高频成分图像11并且对各个图像进行放大处理的结构相比较，能够抑制处理工程增加。另外，使用学习模型140根据高频成分缩小图像18来生成高分辨率高频成分放大图像15，因此与根据高频成分放大图像17来生成高分辨率高频成分放大图像15的结构相比较，能够减小应用学习模型140的图像的大小，因此能够抑制处理负荷增加。
另外，在第1变形例中，如上所述，图像缩小部2e构成为通过能够可逆变换的插值算法将图像缩小。由此，即使在通过缩小处理将高频成分放大图像17缩小来生成高频成分缩小图像18的情况下，也能够抑制高频成分放大图像17中包含的像素值的信息缺失。
此外，第1变形例的其它效果与上述实施方式的效果相同。
(第2变形例)
另外，在上述实施方式中，示出了图像放大部2d在频率分解处理部2a对X射线图像10进行频率分解处理之后将图像放大的结构的例子，但本发明并不限定于此。例如，在图12所示的第2变形例中，图像放大部21d也可以构成为将通过频率分解处理部21a进行频率分解之前的X射线图像10放大。
如图12所示，与上述实施方式的X射线图像处理装置100的不同点在于，第2变形例的X射线图像处理装置120具备图像处理部21来代替图像处理部2、以及在存储部3中存储学习模型240来代替学习模型40。
与上述实施方式的图像处理部2的不同点在于，图像处理部21具备频率分解处理部21a来代替频率分解处理部2a，具备高分辨率图像生成部21b来代替高分辨率图像生成部2b，以及具备图像放大部21d来代替图像放大部2d。
与上述实施方式的学习模型40的不同点在于，学习模型240对根据高频成分放大图像17(参照图13)来生成高分辨率高频成分放大图像15(参照图13)进行学习。即，学习模型240与学习模型40不同，学习模型240不对将图像放大进行学习。
如图13所示，图像放大部21d(参照图12)构成为将通过频率分解处理部21a进行频率分解之前的X射线图像10放大。即，图像放大部21d构成为通过将X射线图像10放大来生成被放大后的X射线图像16。换言之，图像放大部21d是与上述第1变形例的图像放大部20d相同的结构。
另外，如图13所示，在第2变形例中，频率分解处理部21a(参照图12)构成为根据被放大后的X射线图像16来生成低频成分放大图像14和高频成分放大图像17。即，频率分解处理部21a是与上述第1变形例的频率分解处理部20a相同的结构。
另外，如图13所示，在第2变形例中，高分辨率图像生成部21b(参照图12)构成为通过学习模型240根据高频成分放大图像17来生成高分辨率高频成分放大图像15。
另外，如图13所示，在第2变形例中，图像合成部2c(参照图12)构成为通过将低频成分放大图像14和高分辨率高频成分放大图像15进行合成来生成高分辨率X射线图像13。
接着，参照图14来说明第2变形例的图像处理部21生成被放大后的高分辨率X射线图像13的处理。此外，对于与上述实施方式和第1变形例的图像处理部2所进行的处理相同的处理，标记相同的附图标记，省略详细的说明。
在步骤101a中，图像获取部1获取X射线图像10。
在步骤101f中，图像放大部21d通过将X射线图像10放大来获取被放大后的X射线图像16。
在步骤101g中，频率分解处理部21a对被放大后的X射线图像16进行频率分解处理来获取高频成分放大图像17和低频成分放大图像14。
在步骤101j中，高分辨率图像生成部21b通过学习模型240根据高频成分放大图像17生成高分辨率高频成分放大图像15。
在步骤101e中，图像合成部2c通过将基于低频成分图像12的图像和基于高分辨率高频成分图像的图像进行合成来生成被放大后的高分辨率X射线图像13。具体地说，图像合成部2c通过将高分辨率高频成分放大图像15和低频成分放大图像14进行合成来生成被放大后的高分辨率X射线图像13。
此外，第2变形例的X射线图像处理装置120的其它结构是与上述实施方式的X射线图像处理装置100相同的结构。
(第2变形例的效果)
在第2变形例中，能够得到如下的效果。
在第2变形例中，如上所述，图像放大部21d构成为将通过频率分解处理部21a进行频率分解前的X射线图像10放大，频率分解处理部21a构成为根据被放大后的X射线图像16来生成低频成分放大图像14和高频成分放大图像17，高分辨率图像生成部21b构成为通过学习模型240根据高频成分放大图像17来生成高分辨率高频成分放大图像15，图像合成部2c构成为通过将低频成分放大图像14和高分辨率高频成分放大图像15进行合成来生成高分辨率X射线图像13。
由此，通过对被放大后的X射线图像16进行频率分解处理来生成低频成分放大图像14和高频成分放大图像17，因此与将通过对X射线图像10进行频率分解处理而获取到的低频成分图像12和高频成分图像11分别放大的结构相比较，能够抑制处理工程复杂化。
此外，第2变形例的其它效果与上述实施方式的效果相同。
(其它的变形例)
另外，在上述实施方式、上述第1变形例以及上述第2变形例中，示出了X射线图像处理装置构成为X射线图像10、医用X射线图像的处理装置的例子，但本发明并不限定于此。例如，X射线图像处理装置也可以构成为为了无损检査而进行拍摄的X射线图像的处理装置。
另外，在上述实施方式、上述第1变形例以及上述第2变形例中，示出了X射线图像处理装置与X射线图像摄像装置200的摄像装置图像处理部204分开构成的例子，但本发明并不限定于此。例如，可以构成为摄像装置图像处理部204作为X射线图像处理装置发挥功能。
另外，在上述实施方式、上述第1变形例以及上述第2变形例中，示出了图像放大部将图像放大4倍的结构的例子，但本发明并不限定于此。图像放大部放大图像的倍率能够是任意的值。另外，在图像放大部放大图像的放大率为4倍以外的情况下，将通过学习模型40放大高频成分图像11的倍率、或者通过学习模型140放大高频成分缩小图像18的倍率设为与通过图像放大部放大图像的倍率相同的倍率即可。另外，放大率可以构成为能够变更。在能够变更放大率的情况下，在存储部3中存储与各放大率相应的学习模型即可。另外，在能够变更放大率的情况下，可以构成为：使学习模型预先学习成将图像放大到图像放大部进行放大时的最大放大率，缩小到期望的放大率。
另外，在上述实施方式、上述第1变形例以及上述第2变形例中，示出了图像放大部通过最近邻法放大图像的结构的例子，但本发明并不限定于此。例如，图像放大部也可以构成为通过线性函数或非线性函数来放大图像。
另外，在上述第1变形例中，示出了图像缩小部2e通过像素平均法缩小图像的结构的例子，但本发明并不限定于此。例如，图像缩小部2e可以构成为通过线性函数或非线性函数来缩小图像。
另外，在上述实施方式、上述第1变形例以及上述第2变形例中，示出了图像处理部根据分辨率为1024×1024的X射线图像10来生成分辨率为2048×2048的高分辨率X射线图像13的结构的例子，但本发明并不限定于此。例如，图像处理部可以构成为根据分辨率为512×512的X射线图像10来生成分辨率为1024×1024的高分辨率X射线图像13。另外，图像处理部可以构成为根据分辨率为2048×2048的X射线图像10来生成分辨率为4096×4096的高分辨率X射线图像13。若使高分辨率X射线图像13的分辨率比X射线图像10的分辨率高，则X射线图像10和高分辨率X射线图像13的分辨率可以是任意的分辨率。
另外，在上述实施方式和上述第1变形例中，示出了高分辨率图像生成部通过学习模型40(学习模型140)根据高频成分图像11(高频成分缩小图像18)来生成高分辨率高频成分放大图像15的结构的例子，但本发明并不限定于此。例如，高分辨率图像生成部可以构成为根据高频成分图像11(高频成分缩小图像18)来生成高分辨率高频成分图像。即，学习模型40(学习模型140)可以不对将图像放大的处理进行学习。也可以构成为：在学习模型40(学习模型140)不对将图像放大的处理进行学习的情况下，通过图像放大部将高分辨率高频成分图像放大，来生成高分辨率高频成分放大图像15。
另外，在上述实施方式、上述第1变形例以及上述第2变形例中，示出了高分辨率图像生成部根据高频成分图像11(高频成分放大图像17以及高频成分缩小图像18)来生成高分辨率高频成分放大图像15的结构的例子，但本发明并不限定于此。例如，高分辨率图像生成部可以构成为将低频成分图像12(低频成分放大图像14)的分辨率提高。即，高分辨率图像生成部可以具备高频成分图像11用的第一高分辨率图像生成部和低频成分图像12用的第二高分辨率图像生成部。然而，在高分辨率图像生成部使低频成分图像12(低频成分放大图像14)的分辨率提高的结构的情况下，处理的负荷增加，并且处理时间增加。因此，优选为如下结构：高分辨率图像生成部不进行使低频成分图像12(低频成分放大图像14)的分辨率提高的处理，而进行使高频成分图像11(高频成分放大图像17以及高频成分缩小图像18)的分辨率提高的处理。
另外，在上述实施方式、上述第1变形例以及上述第2变形例中，示出了图像处理部根据作为运动图像的X射线图像10来生成作为运动图像的被放大后的高分辨率X射线图像13的结构的例子，但本发明并不限定于此。例如，图像处理部可以构成为根据作为静止图像的X射线图像10来生成作为静止图像的被放大后的高分辨率X射线图像13。另外，在图像处理部生成作为静止图像的被放大后的高分辨率X射线图像13的结构的情况下，频率分解处理部可以构成为通过平滑滤波处理以外的处理来进行频率分解处理。平滑滤波处理以外的处理例如包括傅立叶变换。
另外，在上述实施方式、上述第1变形例以及上述第2变形例中，示出了频率分解处理部将X射线图像10分解为高频成分图像11和低频成分图像12这两个图像的结构的例子，但本发明并不限定于此。例如，频率分解处理部可以构成为将X射线图像10分解为3个以上的图像。主要能够分解为包含关注部位50的频率成分的图像和包含背景等的频率成分的图像，分解的图像的数量没有限定。
另外，在上述实施方式、上述第1变形例以及上述第2变形例中，示出了图像处理部通过同一的处理器来执行用于进行使图像的大小和清晰度提高的处理的高分辨率图像生成部与用于进行图像的分解、放大、合成等的各处理部的结构的例子，但本发明并不限定于此。例如图像处理部可以具备高分辨率图像生成部来作为与进行图像的分解、放大、合成等的各处理部的处理器不同的独立的处理器。即，图像处理部可以具备进行使图像的大小和清晰度提高的处理的专用的处理器来作为高分辨率图像生成部。
[方式]
本领域技术人员能够理解上述例示的实施方式为下面的方式的具体例。
(项目1)
一种X射线图像处理装置，包括：
图像获取部，其获取X射线图像；
频率分解处理部，其将所述X射线图像频率分解为高频成分图像和低频成分图像；
高分辨率图像生成部，其通过对提高图像的分辨率进行学习所得到的学习完成的学习模型，根据所述高频成分图像来生成高分辨率高频成分图像，所述高分辨率高频成分图像是分辨率比所述高频成分图像的分辨率高的图像；以及
图像合成部，其通过将基于所述低频成分图像的图像和基于所述高分辨率高频成分图像的图像进行合成来生成高分辨率X射线图像。
(项目2)
根据项目1所记载的X射线图像处理装置，其中，
所述高分辨率图像生成部构成为：不进行根据所述低频成分图像来生成分辨率比所述低频成分图像的分辨率高的图像的处理，而进行根据所述高频成分图像来生成所述高分辨率高频成分图像的处理。
(项目3)
根据项目1所记载的X射线图像处理装置，其中，
所述频率分解处理部构成为：进行分解的频带被设定为使所述X射线图像中的规定的关注部位的频率成分成为高频侧成分的频率分解处理。
(项目4)
根据项目3所记载的X射线图像处理装置，其中，
所述X射线图像是拍进被检者的血管以及被导入到所述血管的器件的图像，
所述关注部位包含所述血管的边缘和所述器件的边缘。
(项目5)
根据项目1所记载的X射线图像处理装置，其中，
所述图像获取部构成为获取作为运动图像的所述X射线图像，
所述频率分解处理部构成为：每当获取作为运动图像的所述X射线图像的帧时，对获取到的帧进行频率分解处理，由此按帧获取所述低频成分图像和所述高频成分图像，
所述高分辨率图像生成部构成为根据按帧获取到的所述高频成分图像来生成所述高分辨率高频成分图像，
所述图像合成部构成为：通过将每帧的所述低频成分图像和每帧的所述高分辨率高频成分图像进行合成来生成作为运动图像的所述高分辨率X射线图像。
(项目6)
根据项目1所记载的X射线图像处理装置，其中，
所述频率分解处理部构成为：通过对所述X射线图像进行平滑滤波处理来获得所述低频成分图像，并且从所述X射线图像减去所述低频成分图像来获得所述高频成分图像。
(项目7)
根据项目1所记载的X射线图像处理装置，其中，
还具备将图像放大的图像放大部，
所述图像放大部在所述频率分解处理部进行频率分解处理之前或者进行了频率分解处理之后，将图像放大。
(项目8)
根据项目7所记载的X射线图像处理装置，其中，
所述图像放大部构成为：将通过所述频率分解处理部进行频率分解而获取到的所述低频成分图像放大，由此生成低频成分放大图像，
所述学习模型还对提高图像的分辨率时将生成的图像放大进行学习，
所述高分辨率图像生成部构成为：通过所述学习模型根据所述高频成分图像来生成高分辨率高频成分放大图像，所述高分辨率高频成分放大图像是与所述高频成分图像相比分辨率提高且放大后的图像，
所述图像合成部构成为：通过将所述低频成分放大图像和所述高分辨率高频成分放大图像进行合成，来生成所述高分辨率X射线图像。
(项目9)
根据项目7所记载的X射线图像处理装置，其中，
还具备将图像缩小的图像缩小部，
所述图像放大部构成为将通过所述频率分解处理部进行频率分解之前的所述X射线图像放大，
所述学习模型还对提高图像的分辨率时将生成的图像放大进行学习，
所述频率分解处理部构成为根据被放大后的所述X射线图像来生成低频成分放大图像和高频成分放大图像，
所述图像缩小部构成为通过将所述高频成分放大图像缩小来获取高频成分缩小图像，
所述高分辨率图像生成部构成为：通过所述学习模型根据所述高频成分缩小图像来生成高分辨率高频成分放大图像，
所述图像合成部构成为：通过将所述低频成分放大图像和所述高分辨率高频成分放大图像进行合成来生成所述高分辨率X射线图像。
(项目10)
根据项目7所记载的X射线图像处理装置，其中，
所述图像放大部构成为将通过所述频率分解处理部进行频率分解之前的所述X射线图像放大，
所述频率分解处理部构成为根据被放大后的所述X射线图像来生成低频成分放大图像和高频成分放大图像，
所述高分辨率图像生成部构成为：通过所述学习模型根据所述高频成分放大图像来生成高分辨率高频成分放大图像，
所述图像合成部构成为：通过将所述低频成分放大图像和所述高分辨率高频成分放大图像进行合成来生成所述高分辨率X射线图像。
(项目11)
根据项目7～10中的任一项所记载的X射线图像处理装置，其中，
所述图像放大部构成为通过能够可逆变换的插值算法将图像放大。
(项目12)
根据项目9所记载的X射线图像处理装置，其中，
所述图像缩小部构成为通过能够可逆变换的插值算法将图像缩小。
(项目13)
一种X射线图像处理方法，包括以下步骤：
获取X射线图像；
将所述X射线图像频率分解为高频成分图像和低频成分图像；
通过学习完成的学习模型，根据所述高频成分图像来生成高分辨率高频成分图像，所述高分辨率高频成分图像是分辨率比所述高频成分图像的分辨率高的图像；以及
通过将基于所述低频成分图像的图像和基于所述高分辨率高频成分图像的图像进行合成来生成高分辨率X射线图像。

Claims (13)

1.一种X射线图像处理装置，包括：
图像获取部，其获取X射线图像；
频率分解处理部，其将所述X射线图像频率分解为高频成分图像和低频成分图像；
高分辨率图像生成部，其通过对提高图像的分辨率进行学习所得到的学习完成的学习模型，根据所述高频成分图像来生成高分辨率高频成分图像，所述高分辨率高频成分图像是分辨率比所述高频成分图像的分辨率高的图像；以及
图像合成部，其通过将基于所述低频成分图像的图像和基于所述高分辨率高频成分图像的图像进行合成来生成高分辨率X射线图像。
2.根据权利要求1所述的X射线图像处理装置，其中，
所述高分辨率图像生成部构成为：不进行根据所述低频成分图像来生成分辨率比所述低频成分图像的分辨率高的图像的处理，而进行根据所述高频成分图像来生成所述高分辨率高频成分图像的处理。
3.根据权利要求1所述的X射线图像处理装置，其中，
所述频率分解处理部构成为：进行分解的频带被设定为使所述X射线图像中的规定的关注部位的频率成分成为高频侧成分的频率分解处理。
4.根据权利要求3所述的X射线图像处理装置，其中，
所述X射线图像是拍进被检者的血管以及被导入到所述血管的器件的图像，
所述关注部位包含所述血管的边缘和所述器件的边缘。
5.根据权利要求1所述的X射线图像处理装置，其中，
所述图像获取部构成为获取作为运动图像的所述X射线图像，
所述频率分解处理部构成为：每当获取作为运动图像的所述X射线图像的帧时，对获取到的帧进行频率分解处理，由此按帧获取所述低频成分图像和所述高频成分图像，
所述高分辨率图像生成部构成为根据按帧获取到的所述高频成分图像来生成所述高分辨率高频成分图像，
所述图像合成部构成为：通过将每帧的所述低频成分图像和每帧的所述高分辨率高频成分图像进行合成来生成作为运动图像的所述高分辨率X射线图像。
6.根据权利要求1所述的X射线图像处理装置，其中，
所述频率分解处理部构成为：通过对所述X射线图像进行平滑滤波处理来获得所述低频成分图像，并且从所述X射线图像减去所述低频成分图像来获得所述高频成分图像。
7.根据权利要求1所述的X射线图像处理装置，其中，
还具备将图像放大的图像放大部，
所述图像放大部在所述频率分解处理部进行频率分解处理之前或者进行了频率分解处理之后，将图像放大。
8.根据权利要求7所述的X射线图像处理装置，其中，
所述图像放大部构成为：将通过所述频率分解处理部进行频率分解而获取到的所述低频成分图像放大，由此生成低频成分放大图像，
所述学习模型还对提高图像的分辨率时将生成的图像放大进行学习，
所述高分辨率图像生成部构成为：通过所述学习模型根据所述高频成分图像来生成高分辨率高频成分放大图像，所述高分辨率高频成分放大图像是与所述高频成分图像相比分辨率提高且放大后的图像，
所述图像合成部构成为：通过将所述低频成分放大图像和所述高分辨率高频成分放大图像进行合成，来生成所述高分辨率X射线图像。
9.根据权利要求7所述的X射线图像处理装置，其中，
还具备将图像缩小的图像缩小部，
所述图像放大部构成为将通过所述频率分解处理部进行频率分解之前的所述X射线图像放大，
所述学习模型还对提高图像的分辨率时将生成的图像放大进行学习，
所述频率分解处理部构成为根据被放大后的所述X射线图像来生成低频成分放大图像和高频成分放大图像，
所述图像缩小部构成为通过将所述高频成分放大图像缩小来获取高频成分缩小图像，
所述高分辨率图像生成部构成为：通过所述学习模型根据所述高频成分缩小图像来生成高分辨率高频成分放大图像，
所述图像合成部构成为：通过将所述低频成分放大图像和所述高分辨率高频成分放大图像进行合成来生成所述高分辨率X射线图像。
10.根据权利要求7所述的X射线图像处理装置，其中，
所述图像放大部构成为将通过所述频率分解处理部进行频率分解之前的所述X射线图像放大，
所述频率分解处理部构成为根据被放大后的所述X射线图像来生成低频成分放大图像和高频成分放大图像，
所述高分辨率图像生成部构成为：通过所述学习模型根据所述高频成分放大图像来生成高分辨率高频成分放大图像，
所述图像合成部构成为：通过将所述低频成分放大图像和所述高分辨率高频成分放大图像进行合成来生成所述高分辨率X射线图像。
11.根据权利要求7～10中的任一项所述的X射线图像处理装置，其中，
所述图像放大部构成为通过能够可逆变换的插值算法将图像放大。
12.根据权利要求9所述的X射线图像处理装置，其中，
所述图像缩小部构成为通过能够可逆变换的插值算法将图像缩小。
13.一种X射线图像处理方法，包括以下步骤：
获取X射线图像；
将所述X射线图像频率分解为高频成分图像和低频成分图像；
通过学习完成的学习模型，根据所述高频成分图像来生成高分辨率高频成分图像，所述高分辨率高频成分图像是分辨率比所述高频成分图像的分辨率高的图像；以及
通过将基于所述低频成分图像的图像和基于所述高分辨率高频成分图像的图像进行合成来生成高分辨率X射线图像。
CN202111402804.0A 2020-12-24 2021-11-24 X射线图像处理装置和x射线图像处理方法 Pending CN114677268A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020214498A JP7571533B2 (ja) 2020-12-24 Ｘ線画像処理装置およびｘ線画像処理方法
JP2020-214498 2020-12-24

Publications (1)

Publication Number Publication Date
CN114677268A true CN114677268A (zh) 2022-06-28

Family

ID=82070455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111402804.0A Pending CN114677268A (zh) 2020-12-24 2021-11-24 X射线图像处理装置和x射线图像处理方法

Country Status (2)

Country Link
US (1) US20220207723A1 (zh)
CN (1) CN114677268A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220101494A1 (en) * 2020-09-30 2022-03-31 Nvidia Corporation Fourier transform-based image synthesis using neural networks

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7492967B2 (en) * 2003-09-24 2009-02-17 Kabushiki Kaisha Toshiba Super-resolution processor and medical diagnostic imaging apparatus
US10685429B2 (en) * 2017-02-22 2020-06-16 Siemens Healthcare Gmbh Denoising medical images by learning sparse image representations with a deep unfolding approach

Also Published As

Publication number Publication date
US20220207723A1 (en) 2022-06-30
JP2022100493A (ja) 2022-07-06

Similar Documents

Publication Publication Date Title
US9245323B2 (en) Medical diagnostic device and method of improving image quality of medical diagnostic device
JP3995854B2 (ja) 画像処理方法および装置並びに記録媒体
CN102024251B (zh) 用于双源ct的基于多图像虚拟非对比图像增强的系统和方法
JP7405176B2 (ja) 画像処理方法および画像処理装置
CN106530236B (zh) 一种医学图像处理方法及系统
CN111598989B (zh) 一种图像渲染参数设置方法、装置、电子设备及存储介质
JP6071444B2 (ja) 画像処理装置及びその作動方法、プログラム
US11631160B2 (en) Image processing apparatus, image processing method, and X-ray CT apparatus
WO2013073627A1 (ja) 画像処理装置及び方法
JPWO2019167597A1 (ja) 超解像処理装置、方法及びプログラム
CN115943420A (zh) 图像处理装置、图像处理方法、训练装置、训练方法、以及程序
CN114677268A (zh) X射线图像处理装置和x射线图像处理方法
JP6381959B2 (ja) 画像処理装置、及び、ｘ線診断装置
JP6716197B2 (ja) 画像処理装置およびｘ線診断装置
JP5353876B2 (ja) 画像処理装置
JP6002324B2 (ja) 放射線画像生成装置及び画像処理方法
JP7106741B2 (ja) 学習方法、学習装置、生成モデル及びプログラム
JP2022064389A (ja) 画像処理装置、画像処理方法およびプログラム
WO2019156140A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP7571533B2 (ja) Ｘ線画像処理装置およびｘ線画像処理方法
CN113269772A (zh) 一种图像分割方法和装置
JP6383145B2 (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
JP2009054013A (ja) 画像処理装置
WO2021033741A1 (ja) 医用画像処理装置、ｘ線診断装置、および医用画像処理方法
CN118115623B (zh) 一种基于双域联合的dsa去伪影成像方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination