JP2022100493A - Ｘ線画像処理装置およびｘ線画像処理方法 - Google Patents

Ｘ線画像処理装置およびｘ線画像処理方法 Download PDF

Info

Publication number
JP2022100493A
JP2022100493A JP2020214498A JP2020214498A JP2022100493A JP 2022100493 A JP2022100493 A JP 2022100493A JP 2020214498 A JP2020214498 A JP 2020214498A JP 2020214498 A JP2020214498 A JP 2020214498A JP 2022100493 A JP2022100493 A JP 2022100493A
Authority
JP
Japan
Prior art keywords
image
frequency component
resolution
ray
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020214498A
Other languages
English (en)
Inventor
遼 武田
Ryo Takeda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP2020214498A priority Critical patent/JP2022100493A/ja
Priority to US17/523,613 priority patent/US20220207723A1/en
Priority to CN202111402804.0A priority patent/CN114677268A/zh
Publication of JP2022100493A publication Critical patent/JP2022100493A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Figure 2022100493000001
【課題】超解像処理を施した場合に高周波成分が高精細化できないことを抑制することにより、着目する部位の視認性を向上させることが可能なＸ線画像処理装置を提供する。
【解決手段】このＸ線画像処理装置１００は、Ｘ線画像１０を取得する画像取得部１と、Ｘ線画像１０を高周波成分画像１１と低周波成分画像１２とに周波数分解する周波数分解処理部２ａと、画像の解像度を高めることを学習させた学習済みの学習モデル４０によって、高周波成分画像１１から高周波成分画像１１よりも解像度が高い画像である高解像度高周波成分画像を生成する高解像度画像生成部２ｂと、低周波成分画像１２に基づく画像と高解像度高周波成分画像に基づく画像とを合成することにより高解像度Ｘ線画像１３を生成する画像合成部２ｃと、を含む。
【選択図】図１

Description

この発明は、Ｘ線画像処理装置およびＸ線画像処理方法に関し、特に、学習モデルによって画像の解像度を向上させるＸ線画像処理装置およびＸ線画像処理方法に関する。
従来、学習モデルによって画像の解像度を向上させるＸ線画像処理装置が知られている（たとえば、非特許文献１参照）。
上記非特許文献１には、学習済みの学習モデルによって、画像の解像度を向上させる構成が開示されている。具体的には、上記非特許文献１には、教師用の低解像画像と、教師用の高解像度画像とを用いて、低解像度画像から高精細な高解像度画像を推定する超解像処理を学習モデルに学習させる構成が開示されている。上記非特許文献１では、取得した画像である原画像に拡大処理を適用することにより作成した精細さが低い画像を、教師用の低解像度画像として用いる。また、上記非特許文献１では、原画像を教師用の高解像度画像として用いている。上記非特許文献１に開示されているような超解像処理は、教師用低解像度画像の精細さを教師用高解像度画像の精細さに近づけることを学習モデルに学習させる。また、上記非特許文献１では、学習モデルは、三層の畳み込み層で構成される。
Chao Dong et. al., Image Super-Resolution Using Deep Convolutional Networks, arXiv:1501.00092v3 [cs.CV], 31 July 2015
ここで、画像の周波数成分には、エッジ部分などの高周波成分と、背景などの低周波成分とが含まれる。医師などが着目する部位は、たとえば、血管や血管内に導入されたデバイスなどであり、高周波成分に含まれる。一般的に、画像に含まれる周波数成分の割合は、低周波成分のほうが高周波成分よりも多い。上記非特許文献１に開示されている超解像処理の学習では、画像に含まれる全ての周波数成分に対して精細さを向上させることを学習モデルに学習させる。そのため、上記非特許文献１に開示されている超解像処理の学習では、低周波成分の精細さを向上させることを学習する割合と、高周波成分の精細さを向上させることを学習する割合とを比較した場合、低周波成分の精細さを向上させることを学習する割合の方が大きくなる。したがって、上記非特許文献１に開示されているような超解像処理によって画像の解像度および精細さを向上させる処理を行った場合、低周波数成分の精細さの向上度合いと比較して、高周波成分の精細さの向上度合いが低くなるという不都合がある。この場合、超解像処理を施した場合でも、高周波成分が高精細化できない場合がある。その結果、高周波成分に含まれる医師などが着目する部位の視認性が向上しない場合があるという問題点がある。
この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、超解像処理を施した場合に高周波成分が高精細化できないことを抑制することにより、着目する部位の視認性を向上させることが可能なＸ線画像処理装置およびＸ線画像処理方法を提供することである。
上記目的を達成するために、この発明の第１の局面によるＸ線画像処理装置は、Ｘ線画像を取得する画像取得部と、Ｘ線画像を高周波成分画像と低周波成分画像とに周波数分解する周波数分解処理部と、画像の解像度を高めることを学習させた学習済みの学習モデルによって、高周波成分画像から高周波成分画像よりも解像度が高い画像である高解像度高周波成分画像を生成する高解像度画像生成部と、低周波成分画像に基づく画像と高解像度高周波成分画像に基づく画像とを合成することにより高解像度Ｘ線画像を生成する画像合成部と、を含む。
また、上記目的を達成するために、この発明の第２の局面によるＸ線画像処理方法は、Ｘ線画像を取得するステップと、Ｘ線画像を高周波成分画像と低周波成分画像とに周波数分解するステップと、学習済みの学習モデルによって、高周波成分画像から高周波成分画像よりも解像度が高い画像である高解像度高周波成分画像を生成するステップと、低周波成分画像に基づく画像と高解像度高周波成分画像に基づく画像とを合成することにより高解像度Ｘ線画像を生成するステップと、を含む。
上記第１の局面におけるＸ線画像撮像装置では、上記のように、Ｘ線画像を高周波成分画像と低周波成分画像とに周波数分解する周波数分解処理部と、高周波成分画像から高周波成分画像よりも解像度が高い画像である高解像度高周波成分画像を生成する高解像度画像生成部と、低周波成分画像に基づく画像と高解像度高周波成分画像に基づく画像とを合成することにより高解像度Ｘ線画像を生成する画像合成部と、を含む。これにより、高解像度画像生成部が、低周波数成分画像と高周波成分画像とを分けた状態で解像度を向上させるため、高周波成分および低周波成分の両方の成分を含むＸ線画像に対して解像度を向上させる処理を行う構成と比較して、高周波成分画像の高精細化の度合いが低下することを抑制することができる。その結果、超解像処理を施した場合に高周波成分が高精細化できないことを抑制することにより、着目する部位の視認性を向上させることが可能なＸ線画像処理装置を提供することができる。
また、上記第２の局面におけるＸ線画像処理方法では、上記のように、Ｘ線画像を高周波成分画像と低周波成分画像とに周波数分解するステップと、学習済みの学習モデルによって、高周波成分画像から高周波成分画像よりも解像度が高い画像である高解像度高周波成分画像を生成するステップと、低周波成分画像に基づく画像と高解像度高周波成分画像に基づく画像とを合成することにより高解像度Ｘ線画像を生成するステップと、を含む。これにより、上記第１の局面によるＸ線画像処理装置と同様に、超解像処理を施した場合に高周波成分が高精細化できないことを抑制することにより、着目する部位の視認性を向上させることが可能なＸ線画像処理方法を提供することができる。
一実施形態によるＸ線画像処理装置の全体構成を示した模式図である。 Ｘ線画像撮像装置の構成を説明するための模式図である。 着目部位および非着目部位が写るＸ線画像を説明するための模式図である。 一実施形態による学習モデルの学習方法と、学習済みの学習モデルを用いてＸ線画像から高解像度Ｘ線画像を生成する方法とを説明するための模式図である。 一実施形態による周波数分解処理、拡大処理、解像度を向上させる処理、および、高解像度Ｘ線画像を生成する処理を説明するための模式図である。 Ｘ線画像、一実施形態による高解像度Ｘ線画像、比較例１によるＸ線画像、および、比較例２によるＸ線画像を説明するための模式図（Ａ）～模式図（Ｄ）である。 一実施形態による高解像度Ｘ線画像、比較例１によるＸ線画像、および、比較例２によるＸ線画像におけるデバイスの精細さを説明するための模式図である。 一実施形態における画像処理部が、Ｘ線画像から拡大された高解像度Ｘ線画像を生成する処理を説明するためのフローチャートである。 第１変形例によるＸ線画像処理装置の全体構成を示した模式図である。 第１変形例による拡大処理、周波数分解処理、縮小処理、解像度を向上させる処理、および、高解像度Ｘ線画像を生成する処理を説明するための模式図である。 第１変形例における画像処理部が、Ｘ線画像から拡大された高解像度Ｘ線画像を生成する処理を説明するためのフローチャートである。 第２変形例によるＸ線画像処理装置の全体構成を示した模式図である。 第２変形例による拡大処理、周波数分解処理、解像度を向上させる処理、および、高解像度Ｘ線画像を生成する処理を説明するための模式図である。 第２変形例における画像処理部が、Ｘ線画像から拡大された高解像度Ｘ線画像を生成する処理を説明するためのフローチャートである。
以下、本発明を具体化した実施形態を図面に基づいて説明する。
図１および図２を参照して、一実施形態によるＸ線画像処理装置１００の構成について説明する。なお、本実施形態では、医用Ｘ線画像の画像処理装置としてのＸ線画像処理装置１００の構成について説明する。
（Ｘ線画像処理装置の構成）
Ｘ線画像処理装置１００は、図１に示すように、画像取得部１と、画像処理部２と、記憶部３とを備える。
画像取得部１は、Ｘ線画像１０を取得するように構成されている。本実施形態では、画像取得部１は、たとえば、Ｘ線画像撮像装置２００からＸ線画像１０を取得するように構成されている。画像取得部１は、たとえば、入出力インターフェースを含む。
画像処理部２は、取得したＸ線画像１０の解像度を向上させた高解像度Ｘ線画像１３を生成するように構成されている。画像処理部２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、および、画像処理用に構成されたＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などプロセッサを含んで構成されたコンピュータである。また、ハードウェアとしてのＣＰＵなどからなる画像処理部２は、ソフトウェア（プログラム）の機能ブロックとして、周波数分解処理部２ａと、高解像度画像生成部２ｂと、画像合成部２ｃと、を含む。また、本実施形態では、画像処理部２は、機能ブロックとして、画像拡大部２ｄを含む。画像処理部２は、記憶部３に記憶されたプログラムを実行することにより、周波数分解処理部２ａ、高解像度画像生成部２ｂ、画像合成部２ｃ、および、画像拡大部２ｄとして機能する。周波数分解処理部２ａ、高解像度画像生成部２ｂ、画像合成部２ｃ、および、画像拡大部２ｄは、専用のプロセッサ（処理回路）を設けてハードウェアにより個別に構成されていてもよい。画像処理部２の各機能ブロックの詳細については、後述する。
記憶部３は、Ｘ線画像１０、高解像度Ｘ線画像１３、学習モデル４０を記憶するように構成されている。また、記憶部３は、画像処理部２が実行する各種プログラムを記憶するように構成されている。記憶部３は、たとえば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、または、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの不揮発性のメモリを含む。
（Ｘ線画像撮像装置の構成）
図２に示すように、Ｘ線画像撮像装置２００は、Ｘ線源２０１と、Ｘ線検出部２０２と、撮像装置制御部２０３と、撮像装置画像処理部２０４と、表示部２０５と、を備える。撮像装置制御部２０３は、Ｘ線源２０１、撮像装置画像処理部２０４、および、表示部２０５と、電気的に接続されている。また、Ｘ線検出部２０２は、撮像装置画像処理部２０４と電気的に接続している。Ｘ線画像撮像装置２００は、被検者９０を撮像することにより、Ｘ線画像１０を生成する。また、Ｘ線画像撮像装置２００は、生成したＸ線画像１０をＸ線画像処理装置１００へと送る。なお、図２に示す例では、電気的な接続を破線で図示し、情報の入出力を実線の矢印で図示している。
Ｘ線源２０１は、高電圧が印加されることにより、Ｘ線を発生させる。Ｘ線源２０１で発生されたＸ線は、Ｘ線検出部２０２が配置された方向に照射されるように構成されている。
Ｘ線検出部２０２は、Ｘ線源２０１から照射されたＸ線を検出するとともに、検出されたＸ線を電気信号に変換する。Ｘ線検出部２０２は、たとえば、ＦＰＤ（Ｆｌａｔ Ｐａｎｅｌ Ｄｅｔｅｃｔｏｒ）である。Ｘ線検出部２０２の検出信号（画像信号）は、撮像装置画像処理部２０４へと送られる。
撮像装置制御部２０３は、Ｘ線画像撮像装置２００を制御するように構成されている。撮像装置制御部２０３は、たとえば、ＣＰＵ、ＲＯＭおよびＲＡＭなどを含む。
撮像装置画像処理部２０４は、Ｘ線検出部２０２から送られた検出信号に基づいて、Ｘ線画像１０を生成するように構成されている。撮像装置画像処理部２０４は、たとえば、ＧＰＵ、または、画像処理用に構成されたＦＰＧＡなどのプロセッサを含む。
撮像装置画像処理部２０４において生成されたＸ線画像１０は、Ｘ線画像処理装置１００へと送られる。
表示部２０５は、Ｘ線画像処理装置１００において生成された高解像度Ｘ線画像１３を表示するように構成されている。表示部２０５は、たとえば、液晶モニタなどの表示装置を含む。
（Ｘ線画像）
図３に示すように、Ｘ線画像１０は、被検者９０（図２参照）を撮影した画像である。具体的には、Ｘ線画像１０は、被検者９０の血管９０ａおよび血管９０ａに導入されたデバイス９１が写る画像である。また、Ｘ線画像１０には、着目部位５０と非着目部位５１とが写る。着目部位５０は、たとえば、血管９０ａのエッジ５０ａ、および、デバイス９１のエッジ５０ｂを含む。また、非着目部位５１は、たとえば、被検者９０の心臓５１ａ、肺５１ｂ、および、横隔膜５１ｃを含む。また、デバイス９１は、たとえば、ステント、カテーテル、ガイドワイヤなどを含む。
（画像処理方法）
次に、図４および図５を参照して、本実施形態による画像処理方法によって、Ｘ線画像１０から拡大された高解像度Ｘ線画像１３を生成する構成について説明する。
図４は、本実施形態による画像処理の流れを示したブロック図である。図４に示すように、本実施形態では、画像処理方法は、大きく分けて、Ｘ線画像処理方法１０１と、学習モデル４１の学習方法１０２と、を含む。
（学習モデル生成）
本実施形態による学習モデル４１の学習方法１０２は、教師用低解像度高周波成分画像４２と、教師用高解像度高周波成分画像４３とを用いて、高周波成分の解像度を向上させることを学習モデル４１に学習させる。また、本実施形態では、学習モデル４１を学習させる際に、解像度を向上させるとともに、画像を拡大することをさらに学習させる。なお、本明細書において、「拡大する」とは、画像の解像度を大きくすることを意味する。また、本明細書において、「高解像度」とは、精細さが高いことを意味する。また、「低解像度」とは、精細さが低いことを意味する。
本実施形態では、たとえば、１０２４×１０２４の解像度の画像を、２０４８×２０４８の解像度の画像となるように解像度を向上させることを学習モデル４１に学習させる。また、本実施形態では、たとえば、画像を４倍のサイズに拡大させることを学習モデル４１に学習させる。学習モデル４１は、たとえば、図４に示す畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ＣＮＮ）であるか、畳み込みニューラルネットワークを一部に含む。学習モデル４１を学習させることにより生成された学習モデル４０は、Ｘ線画像処理装置１００の記憶部３（図１）に記憶される。なお、学習モデル４１を学習させる手法については、問わない。
（Ｘ線画像処理方法）
本実施形態によるＸ線画像処理方法１０１は、高周波成分画像１１から、高解像度高周波成分画像を生成するＸ線画像処理方法である。本実施形態によるＸ線画像処理方法１０１は、Ｘ線画像１０を取得するステップと、Ｘ線画像１０を高周波成分画像１１と低周波成分画像１２とに周波数分解するステップと、学習済みの学習モデル４０によって、高周波成分画像１１から高周波成分画像１１よりも解像度が高い画像である高解像度高周波成分画像を生成するステップと、低周波成分画像１２に基づく画像と高解像度高周波成分画像に基づく画像とを合成することにより高解像度Ｘ線画像１３を生成するステップと、を含む。Ｘ線画像処理方法１０１の各ステップの詳細な処理については、後述する。
本実施形態では、図４に示すように、Ｘ線画像１０を取得するステップは、画像取得部１によって行われる。画像取得部１は、Ｘ線画像撮像装置２００からＸ線画像１０を取得する。また、画像取得部１は、周波数分解処理部２ａに対して取得したＸ線画像１０を出力する。
また、本実施形態では、図４に示すように、周波数分解するステップは、周波数分解処理部２ａによって行われる。周波数分解処理部２ａは、Ｘ線画像１０を高周波成分画像１１と低周波成分画像１２とに周波数分解するように構成されている。
また、本実施形態では、図４に示すように、高解像度高周波成分画像を生成するステップは、高解像度画像生成部２ｂによって行われる。高解像度画像生成部２ｂは、画像の解像度を高めることを学習させた学習済みの学習モデル４０によって、高周波成分画像１１から高周波成分画像１１よりも解像度が高い画像である高解像度高周波成分画像を生成するように構成されている。なお、図４に示すように、本実施形態では、高解像度画像生成部２ｂは、低周波成分画像１２から低周波成分画像１２よりも解像度が高い画像を生成する処理は行わず、高周波成分画像１１から高解像度高周波成分画像を生成する処理を行うように構成されている。すなわち、本実施形態では、高解像度画像生成部２ｂは、高周波成分画像１１のみに対して、解像度を向上させる処理を行う。
また、本実施形態では、図４に示すように、高解像度Ｘ線画像１３を生成するステップは、画像合成部２ｃによって行われる。画像合成部２ｃは、低周波成分画像１２に基づく画像と高解像度高周波成分画像に基づく画像とを合成することにより高解像度Ｘ線画像１３を生成するように構成されている。
（高解像度Ｘ線画像を生成する構成）
次に、図５を参照して、画像処理部２が、Ｘ線画像１０から拡大された高解像度Ｘ線画像１３を生成する構成について説明する。なお、図５に示す例では、Ｘ線画像１０のサイズの４倍のサイズの高解像度Ｘ線画像１３を生成する構成を示している。
周波数分解処理部２ａ（図４参照）は、画像取得部１からＸ線画像１０を取得する。また、周波数分解処理部２ａは、取得したＸ線画像１０を周波数分解することにより、高周波成分画像１１と、低周波成分画像１２と、を生成する。また、周波数分解処理部２ａは、生成した高周波成分画像１１を高解像度画像生成部２ｂに対して出力する。また、周波数分解処理部２ａは、生成した低周波成分画像１２を画像拡大部２ｄに対して出力する。高周波成分画像１１サイズおよび精細さは、Ｘ線画像１０のサイズおよび精細さと同様である。また、低周波成分画像１２のサイズおよび精細さも、Ｘ線画像１０のサイズおよび精細さと同様である。
本実施形態では、周波数分解処理部２ａは、分解する周波数帯域が、Ｘ線画像１０のうちの所定の着目部位５０の周波数成分が高周波側の成分となるように設定された周波数分解処理を行うように構成されている。具体的には、周波数分解処理部２ａは、血管９０ａ（図３参照）のエッジ５０ａ（図３参照）の周波数成分、および、デバイス９１（図３参照）のエッジ５０ｂ（図３参照）の周波数成分が、高周波側の成分となるように、所定の周波数でＸ線画像１０を分解するように構成されている。すなわち、周波数分解処理部２ａは、着目部位５０の周波数成分が、高周波成分画像１１および低周波成分画像１２の両方に含まれるのではなく、高周波成分画像１１に含まれていて、低周波成分画像１２に含まれていない状態となるように、Ｘ線画像１０を分解する。なお、着目部位５０の周波数成分の大部分が高周波成分画像１１に含まれていればよく、多少の周波数成分が低周波成分画像１２に含まれることを許容する。
また、本実施形態では、周波数分解処理部２ａは、Ｘ線画像１０に対して平滑化フィルタ処理を行うことにより、低周波成分画像１２を取得する。具体的には、周波数分解処理部２ａは、Ｘ線画像１０に対してガウシアンフィルタを用いることにより、低周波成分画像１２を取得する。また、周波数分解処理部２ａは、Ｘ線画像１０から低周波成分画像１２を差分することにより、高周波成分画像１１を取得するように構成されている。すなわち、本実施形態では、周波数分解処理部２ａは、Ｘ線画像１０を、高周波成分画像１１と低周波成分画像１２との２つの画像に分解する。また、高周波成分画像１１と低周波成分画像１２とを合成した場合、Ｘ線画像１０が得られる。
画像拡大部２ｄ（図４参照）は、周波数分解処理部２ａによる周波数分解処理を行う前、または、周波数分解処理を行った後のいずれかにおいて画像を拡大するように構成されている。本実施形態では、画像拡大部２ｄは、周波数分解処理が行われた後の画像を拡大する。すなわち、本実施形態では、画像拡大部２ｄには、低周波成分画像１２が入力される。また、画像拡大部２ｄは、周波数分解処理部２ａによって周波数分解することにより取得された低周波成分画像１２を拡大することにより、低周波成分拡大画像１４を生成するように構成されている。また、画像拡大部２ｄは、低周波成分拡大画像１４を、画像合成部２ｃに対して出力する。
また、本実施形態では、画像拡大部２ｄは、可逆変換可能な補間アルゴリズムによって画像を拡大するように構成されている。可逆変換可能な補間アルゴリズムは、たとえば、最近傍法を含む。最近傍法とは、画像を拡大した際に、拡大によって生じた画素値が未定の画素から最も近い位置にある画素値を、その画素の画素値に用いる手法である。なお、低周波成分拡大画像１４のサイズは、低周波成分画像１２の４倍のサイズである。また、低周波成分拡大画像１４の精細さは、低周波成分画像１２の精細さよりも低くなる。低周波成分拡大画像１４は、特許請求の範囲の「低周波分画像に基づく画像」の一例である。
また、本実施形態では、学習モデル４０（図４参照）は、画像の解像度を高める際に、生成する画像を拡大することをさらに学習している。高解像度画像生成部２ｂ（図４参照）は、学習モデル４０によって、高周波成分画像１１から、高周波成分画像１１よりも解像度が向上し、かつ、拡大された高解像度高周波成分拡大画像１５を生成するように構成されている。なお、図５に示す例では、高解像度画像生成部２ｂには、高周波成分画像１１が入力される。また、高解像度画像生成部２ｂは、入力された高周波成分画像１１のサイズおよび精細さを向上させる処理を行う。具体的には、高解像度画像生成部２ｂは、高周波成分画像１１の４倍のサイズであり、かつ、高周波成分画像１１よりも精細さの高い高解像度高周波成分拡大画像１５を生成する。高解像度画像生成部２ｂは、生成した高解像度高周波成分拡大画像１５を、画像合成部２ｃに対して出力する。高解像度高周波成分拡大画像１５は、特許請求の範囲の「高解像度高周波分画像」および「高解像度高周波分画像に基づく画像」の一例である。
画像合成部２ｃには、低周波成分拡大画像１４と、高解像度高周波成分拡大画像１５とが入力される。画像合成部２ｃは、低周波成分拡大画像１４と、高解像度高周波成分拡大画像１５とを合成することにより、高解像度Ｘ線画像１３を生成するように構成されている。本実施形態では、画像合成部２ｃは、低周波成分拡大画像１４と、高解像度高周波成分拡大画像１５とを加算することにより、高解像度Ｘ線画像１３を生成する。図５に示す例では、高解像度Ｘ線画像１３は、Ｘ線画像１０の４倍のサイズであり、Ｘ線画像１０よりも精細さが高い画像である。また、本実施形態では、画像合成部２ｃは、生成した高解像度Ｘ線画像１３を、Ｘ線画像撮像装置２００の表示部２０５に対して出力する。
（動画像）
本実施形態では、Ｘ線画像撮像装置２００（図２参照）は、たとえば、カテーテル治療などのＸ線ＩＶＲ（Ｉｎｔｅｒｖｅｎｔｉｏｎａｌ Ｒａｄｉｏｌｏｇｙ）において被検者９０を透視撮影することによって、Ｘ線画像１０を所定のフレームレートの動画像として撮影する。画像取得部１は、動画像としてのＸ線画像１０を取得するように構成されている。具体的には、画像取得部１は、時系列的に連続してフレーム画像としてのＸ線画像１０を取得する。周波数分解処理部２ａは、動画像としてのＸ線画像１０のフレームを取得する度に、取得したフレームに対して周波数分解処理を行うことにより、フレーム毎に低周波成分画像１２と高周波成分画像１１とを取得するように構成されている。高解像度画像生成部２ｂは、フレーム毎に取得された高周波成分画像１１から高解像度高周波成分画像を生成するように構成されている。画像合成部２ｃは、フレーム毎の低周波成分画像１２とフレーム毎の高解像度高周波成分画像とを合成することにより、動画像としての高解像度Ｘ線画像１３を生成するように構成されている。また、画像合成部２ｃは、所定のフレームレートで動画像として高解像度Ｘ線画像１３を表示部２０５（図２参照）に出力する。
なお、本実施形態による画像処理部２による高解像度Ｘ線画像１３の生成処理は、医師などが、拡大表示を行う操作入力を行うことにより開始される。
（高解像度Ｘ線画像、比較例１、および、比較例２）
次に、図６および図７を参照して、本実施形態による画像処理部２が生成した高解像度Ｘ線画像１３と、従来手法により生成された比較例１および比較例２とにおける、画像に写るデバイス９１の精細さの違いについて説明する。
図６（Ａ）は、デバイス９１が写るＸ線画像１０である。図６（Ｂ）は、本実施形態による画像処理部２が生成した高解像度Ｘ線画像１３である。また、図６（Ｃ）は、Ｘ線画像１０に対して周波数分解処理を行わず、解像度を高めることを学習させたモデルによって解像度を向上させるとともに、拡大した比較例１による画像６０である。また、図６（Ｄ）は、非線形関数によってＸ線画像１０を拡大した比較例２による画像６１である。画像６１は、たとえば、Ｂｉｃｕｂｉｃ補間アルゴリズムにより拡大された画像である。
図６（Ｂ）に示す高解像度Ｘ線画像１３に写るデバイス９１は、比較例１による画像６０に写るデバイス９１および比較例２による画像６１に写るデバイス９１よりも、鮮明に写っていることが確認された。なお、高解像度Ｘ線画像１３に写るデバイス９１が、比較例１による画像６０に写るデバイス９１および比較例２による画像６１に写るデバイス９１よりも、鮮明に写っていることを、図７に示すプロファイル８０において確認された。
図７に示すプロファイル８０は、横軸が画素の位置であり、縦軸が画素値である。また、プロファイル８０は、本実施形態による高解像度Ｘ線画像１３のプロファイル８１と、比較例１による画像６０のプロファイル８２と、比較例２による画像６１のプロファイル８３とを含む。各プロファイルは、画像中の所定の位置の画素の画素値をプロットすることにより得られる。プロファイル８１は、高解像度Ｘ線画像１３（図６参照）中の直線７０（図６参照）の位置の画素について、画素値の変化をプロットしたものである。また、プロファイル８２は、画像６０（図６参照）中の直線７１（図６参照）の位置の画素について、画素値の変化をプロットしたものである。また、プロファイル８３は、画像６１（図６参照）中の直線７２（図６参照）の位置の画素について、画素値の変化をプロットしたものである。
各プロファイルにおける画素値の最小値と、各プロファイルの谷部分の幅とを、デバイス９１（図６参照）の精細さを示す指標とした。具体的には、各プロファイルの谷部分の幅が小さく、かつ、谷部分の深さが大きいほうが、より精細である。すなわち、各プロファイルの谷部分の傾き（エッジにおける輝度変化量）が大きいほど、精細さが高いことを意味する。なお、谷部分の幅とは、各プロファイルのうち、下方に突出している部分の幅を意味する。また、谷部分の深さとは、各プロファイルの谷部分の突出度合いを意味する。図７に示す例では、直線７３に示す位置における幅に基づいて、デバイス９１の精細さを確認した。
図７に示すように、プロファイル８１の谷部分の幅８１ａ、プロファイル８２の谷部分の幅８２ａ、および、プロファイル８３の谷部分の幅８３ａを比較したところ、プロファイル８１の谷部分の幅８１ａが最も小さいことが確認された。また、各プロファイルの画素値の最小値を比較したところ、プロファイル８１の画素値の最小値が最も小さいことが確認された。すなわち、本実施形態による高解像度Ｘ線画像１３、比較例１による画像６０、および、比較例２による画像６１のうち、高解像度Ｘ線画像１３に写るデバイス９１が最も鮮明であることが、プロファイル８１～８３により確認された。
次に、図８を参照して、本実施形態による画像処理部２がＸ線画像１０から拡大された高解像度Ｘ線画像１３を生成する処理について説明する。
ステップ１０１ａにおいて、画像取得部１は、Ｘ線画像１０を取得する。本実施形態では、動画像としてのＸ線画像１０をフレーム単位で取得する。
ステップ１０１ｂにおいて、周波数分解処理部２ａは、Ｘ線画像１０に対して周波数分解処理を行い、高周波成分画像１１および低周波成分画像１２を取得する。
ステップ１０１ｃにおいて、高解像度画像生成部２ｂは、学習モデル４０によって、高周波成分画像１１から、高解像度高周波成分画像を生成する。本実施形態では、高解像度画像生成部２ｂは、高解像度高周波成分画像として、高解像度高周波成分拡大画像１５を生成する。
ステップ１０１ｄにおいて、画像拡大部２ｄは、低周波成分画像１２を拡大することにより、低周波成分拡大画像１４を生成する。
ステップ１０１ｅにおいて、画像合成部２ｃは、低周波成分画像１２に基づく画像と高解像度高周波成分画像に基づく画像とを合成することにより、拡大された高解像度Ｘ線画像１３を生成する。具体的には、画像合成部２ｃは、高解像度高周波成分拡大画像１５と、低周波成分拡大画像１４とを合成することにより、拡大された高解像度Ｘ線画像１３を生成する。
本実施形態では、画像合成部２ｃは、動画像としてのＸ線画像１０に対して、上記ステップ１０１ａ～ステップ１０１ｅの処理を行い、動画像としての拡大された高解像度Ｘ線画像１３を生成する。なお、上記ステップ１０１ｃの処理と、上記ステップ１０１ｄの処理とは、どちらを先に行ってもよい。また、画像処理部２が同時並行で処理を行える場合、上記ステップ１０１ｃの処理と、上記ステップ１０１ｄの処理とを、同時並行で行ってもよい。
（本実施形態の効果）
本実施形態では、以下のような効果を得ることができる。
本実施形態では、上記のように、Ｘ線画像処理装置１００は、Ｘ線画像１０を取得する画像取得部１と、Ｘ線画像１０を高周波成分画像１１と低周波成分画像１２とに周波数分解する周波数分解処理部２ａと、画像の解像度を高めることを学習させた学習済みの学習モデル４０によって、高周波成分画像１１から高周波成分画像１１よりも解像度が高い画像である高解像度高周波成分画像を生成する高解像度画像生成部２ｂと、低周波成分画像１２に基づく画像と高解像度高周波成分画像に基づく画像とを合成することにより高解像度Ｘ線画像１３を生成する画像合成部２ｃと、を含む。
これにより、高解像度画像生成部２ｂが、低周波成分画像１２と高周波成分画像１１とを分けた状態で解像度を向上させるため、高周波成分および低周波成分の両方の成分を含むＸ線画像１０に対して解像度を向上させる処理を行う構成と比較して、高周波成分画像１１の高精細化の度合いが低下することを抑制することができる。その結果、超解像処理を施した場合に高周波成分が高精細化できないことを抑制することにより、着目する部位の視認性を向上させることが可能なＸ線画像処理装置１００を提供することができる。
また、本実施形態では、上記のように、Ｘ線画像処理方法は、Ｘ線画像１０を取得するステップと、Ｘ線画像１０を高周波成分画像１１と低周波成分画像１２とに周波数分解するステップと、学習済みの学習モデル４０によって、高周波成分画像１１から高周波成分画像１１よりも解像度が高い画像である高解像度高周波成分画像を生成するステップと、低周波成分画像１２に基づく画像と高解像度高周波成分画像に基づく画像とを合成することにより高解像度Ｘ線画像１３を生成するステップと、を含む。
これにより、上記Ｘ線画像処理装置１００と同様に、超解像処理を施した場合に高周波成分が高精細化できないことを抑制することにより、着目する部位の視認性を向上させることが可能なＸ線画像処理方法を提供することができる。
また、上記実施形態では、以下のように構成したことによって、下記のような更なる効果が得られる。
すなわち、本実施形態では、上記のように、高解像度画像生成部２ｂは、低周波成分画像１２から低周波成分画像１２よりも解像度が高い画像を生成する処理は行わず、高周波成分画像１１から高解像度高周波成分画像を生成する処理を行うように構成されている。これにより、低周波成分画像１２に対して解像度を向上させる処理が行われないので、高周波成分画像１１とともに低周波成分画像１２に対しても解像度を向上させる処理を行う構成と比較して、処理速度が低下すること、および、処理負荷が増加することを抑制することができる。
また、本実施形態では、上記のように、周波数分解処理部２ａは、分解する周波数帯域が、Ｘ線画像１０のうちの所定の着目部位５０の周波数成分が高周波側の成分となるように設定された周波数分解処理を行うように構成されている。これにより、着目部位５０の周波数成分が含まれる高周波成分画像１１の解像度を向上させることにより、高解像度高周波成分拡大画像１５において、着目部位５０の精細さを向上させることができる。その結果、高解像度Ｘ線画像１３において、着目部位５０の視認性を向上させることができる。
また、本実施形態では、上記のように、Ｘ線画像１０は、被検者９０の血管９０ａおよび血管９０ａに導入されたデバイス９１が写る画像であり、着目部位５０は、血管９０ａのエッジ５０ａ、および、デバイス９１のエッジ５０ｂである。これにより、高解像度Ｘ線画像１３において、血管９０ａのエッジ５０ａおよびデバイス９１のエッジ５０ｂの精細さを向上させることが可能になるので、高解像度Ｘ線画像１３において、血管９０ａおよびデバイス９１の視認性を向上させることができる。
また、本実施形態では、上記のように、画像取得部１は、動画像としてのＸ線画像１０を取得するように構成されており、周波数分解処理部２ａは、動画像としてのＸ線画像１０のフレームを取得する度に、取得したフレームに対して周波数分解処理を行うことにより、フレーム毎に低周波成分画像１２と高周波成分画像１１とを取得するように構成されており、高解像度画像生成部２ｂは、フレーム毎に取得された高周波成分画像１１から高解像度高周波成分画像を生成するように構成されており、画像合成部２ｃは、フレーム毎の低周波成分画像１２とフレーム毎の高解像度高周波成分画像とを合成することにより、動画像としての高解像度Ｘ線画像１３を生成するように構成されている。これにより、動画像としての高解像度Ｘ線画像１３が生成されるので、たとえば、表示装置などに動画像としての高解像度Ｘ線画像１３を表示させることにより、操作者に対して着目部位５０の視認性を向上させた動画像を提示することができる。その結果、操作者が手技を行っている際にリアルタイムで着目部位５０の視認性を向上させた動画像を操作者に確認させることができる。
また、本実施形態では、上記のように、周波数分解処理部２ａは、Ｘ線画像１０に対して平滑化フィルタ処理を行うことにより、低周波成分画像１２を取得するとともに、Ｘ線画像１０から低周波成分画像１２を差分することにより、高周波成分画像１１を取得するように構成されている。これにより、平滑化フィルタ処理によって周波数分解処理を行うため、たとえば、Ｘ線画像１０の全体を取得した後に周波数分解処理を行うフーリエ変換による周波数分解処理と異なり、Ｘ線画像１０の一部を取得した段階で周波数分解処理を開始することができる。その結果、周波数分解処理の速度を向上させることができる。
また、本実施形態では、上記のように、画像を拡大する画像拡大部２ｄをさらに備え、画像拡大部２ｄは、周波数分解処理部２ａによる周波数分解処理を行う前、または、周波数分解処理を行った後のいずれかにおいて画像を拡大するように構成されている。これにより、周波数分解処理の前および後のいずれかのうち、所望のタイミングにおいて画像の拡大処理を行うことが可能となるので、画像処理の構成の自由度を向上させることができる。
また、本実施形態では、上記のように、画像拡大部２ｄは、周波数分解処理部２ａによって周波数分解することにより取得された低周波成分画像１２を拡大することにより、低周波成分拡大画像１４を生成するように構成されており、学習モデル４０は、画像の解像度を高める際に、生成する画像を拡大することをさらに学習されており、高解像度画像生成部２ｂは、学習モデル４０によって、高周波成分画像１１から、高周波成分画像１１よりも解像度が向上し、かつ、拡大された高解像度高周波成分拡大画像１５を生成するように構成されており、画像合成部２ｃは、低周波成分拡大画像１４と、高解像度高周波成分拡大画像１５とを合成することにより、高解像度Ｘ線画像１３を生成するように構成されている。これにより、高解像度画像生成部２ｂによって解像度を向上させるとともに、画像を拡大することが可能となるので、拡大した高周波成分画像１１に対して解像度を向上させる構成と比較して、学習モデル４０を適用する画像のサイズを小さくすることができる。その結果、学習モデル４０による解像度を向上させる処理の負荷が増加することを抑制することができる。
また、本実施形態では、上記のように、画像拡大部２ｄは、可逆変換可能な補間アルゴリズムによって画像を拡大するように構成されている。これにより、拡大処理によって低周波成分画像１２を拡大することにより低周波成分拡大画像１４を生成した場合でも、低周波成分画像１２に含まれる画素の画素値の情報が欠落することを抑制することができる。
［変形例］
今回開示された実施形態は、全ての点で例示であり制限的なものではないと考えられるべきである。本発明の範囲は上記実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内での全ての変更（変形例）が含まれる。
（第１変形例）
たとえば、上記実施形態では、画像拡大部２ｄが、周波数分解処理部２ａがＸ線画像１０に対して周波数分解処理を行った後に画像を拡大する構成の例を示したが、本発明はこれに限られない。たとえば、図９に示す第１変形例では、画像拡大部２０ｄは、周波数分解処理部２０ａによって周波数分解が行われる前のＸ線画像１０を拡大するように構成されていてもよい。
図９に示すように、第１変形例によるＸ線画像処理装置１１０は、画像処理部２の代わりに、画像処理部２０を備える点、および、学習モデル４０の代わりに学習モデル１４０が記憶部３に記憶されている点で、上記実施形態によるＸ線画像処理装置１００とは異なる。
画像処理部２０は、周波数分解処理部２ａの代わりに周波数分解処理部２０ａを備える点、高解像度画像生成部２ｂの代わりに、高解像度画像生成部２０ｂを備える点、画像拡大部２ｄの代わりに画像拡大部２０ｄを備える点、および、画像を縮小する画像縮小部２ｅを備える点で、上記実施形態による画像処理部２とは異なる。
学習モデル１４０は、高周波成分画像１１の代わりに、高周波成分縮小画像１８（図１０参照）から高解像度高周波成分拡大画像１５を生成することを学習されている点で、上記実施形態による学習モデル４０とは異なる。なお、高周波成分画像１１のサイズおよび精細さと高周波成分縮小画像１８のサイズおよび精細さとが等しい場合、学習モデル４０を用いてもよい。
図１０に示すように、第１変形例による画像拡大部２０ｄ（図９参照）は、周波数分解処理部２ａによって周波数分解する前のＸ線画像１０を拡大するように構成されている。具体的には、画像拡大部２０ｄは、Ｘ線画像１０を拡大することにより、拡大されたＸ線画像１６を生成する。なお、拡大対象の画像のサイズおよび拡大率が等しい場合、画像拡大部２ｄを用いてもよい。
また、図１０に示すように、第１変形例では、周波数分解処理部２０ａ（図９参照）は、拡大されたＸ線画像１６から、低周波成分拡大画像１４と、高周波成分拡大画像１７とを生成するように構成されている。周波数分解処理部２０ａが行う周波数分解処理は、上記実施形態による周波数分解処理部２ａと同様であるので、詳細な説明は省略する。
また、図１０に示すように、第１変形例では、画像縮小部２ｅ（図９参照）は、高周波成分拡大画像１７を縮小することにより、高周波成分縮小画像１８を取得するように構成されている。第１変形例では、画像縮小部２ｅは、可逆変換可能な補間アルゴリズムによって画像を縮小するように構成されている。可逆変換可能な補間アルゴリズムは、たとえば、画素平均法を含む。なお、画像縮小部２ｅは、高周波成分縮小画像１８のサイズが、Ｘ線画像１０のサイズと等しくなるように、高周波成分拡大画像１７を縮小する。
また、図１０に示すように、第１変形例では、高解像度画像生成部２０ｂ（図９参照）は、学習モデル１４０によって、高周波成分縮小画像１８から、高解像度高周波成分拡大画像１５を生成するように構成されている。
また、図１０に示すように、第１変形例では、画像合成部２ｃ（図９参照）は、低周波成分拡大画像１４と、高解像度高周波成分拡大画像１５とを合成することにより、高解像度Ｘ線画像１３を生成するように構成されている。
次に、図１１を参照して、第１変形例による画像処理部２０が拡大された高解像度Ｘ線画像１３を生成する処理について説明する。なお、上記実施形態による画像処理部２が行う処理と同様の処理については、同様の符号を付し、詳細な説明は省略する。
ステップ１０１ａにおいて、画像取得部１は、Ｘ線画像１０を取得する。
ステップ１０１ｆにおいて、画像拡大部２０ｄは、Ｘ線画像１０を拡大することにより、拡大されたＸ線画像１６を取得する。
ステップ１０１ｇにおいて、周波数分解処理部２０ａは、拡大されたＸ線画像１６に対して周波数分解処理を行い、高周波成分拡大画像１７および低周波成分拡大画像１４を取得する。
ステップ１０１ｈにおいて、画像縮小部２ｅは、高周波成分拡大画像１７を縮小することにより、高周波成分縮小画像１８を取得する。
ステップ１０１ｉにおいて、高解像度画像生成部２０ｂは、学習モデル１４０によって、高周波成分縮小画像１８から高解像度高周波成分拡大画像１５を生成する。
ステップ１０１ｅにおいて、画像合成部２ｃは、低周波成分画像１２に基づく画像と高解像度高周波成分画像に基づく画像とを合成することにより、拡大された高解像度Ｘ線画像１３を生成する。具体的には、画像合成部２ｃは、高解像度高周波成分拡大画像１５と、低周波成分拡大画像１４とを合成することにより、拡大された高解像度Ｘ線画像１３を生成する。
なお、第１変形例によるＸ線画像処理装置１１０のその他の構成は、上記実施形態によるＸ線画像処理装置１００と同様の構成である。
（第１変形例の効果）
第１変形例では、以下のような効果を得ることができる。
第１変形例では、上記のように、Ｘ線画像処理装置１１０は、画像を縮小する画像縮小部２ｅをさらに備え、画像拡大部２０ｄは、周波数分解処理部２０ａによって周波数分解する前のＸ線画像１０を拡大するように構成されており、学習モデル１４０は、画像の解像度を高める際に、生成する画像を拡大することをさらに学習されており、周波数分解処理部２０ａは、拡大されたＸ線画像１６から、低周波成分拡大画像１４と、高周波成分拡大画像１７とを生成するように構成されており、画像縮小部２ｅは、高周波成分拡大画像１７を縮小することにより、高周波成分縮小画像１８を取得するように構成されており、高解像度画像生成部２０ｂは、学習モデル１４０によって、高周波成分縮小画像１８から、高解像度高周波成分拡大画像１５を生成するように構成されており、画像合成部２ｃは、低周波成分拡大画像１４と、高解像度高周波成分拡大画像１５とを合成することにより、高解像度Ｘ線画像１３を生成するように構成されている。
これにより、周波数分解処理を行う前に拡大されたＸ線画像１６に基づいて、低周波成分拡大画像１４および高周波成分拡大画像１７が取得されるので、Ｘ線画像１０を周波数分解処理によって低周波成分画像１２および高周波成分画像１１に分解し、それぞれの画像に対して拡大処理を行う構成と比較して、処理工程が増加することを抑制することができる。また、学習モデル１４０を用いて高周波成分縮小画像１８から高解像度高周波成分拡大画像１５を生成するため、高周波成分拡大画像１７から高解像度高周波成分拡大画像１５を生成する構成と比較して、学習モデル１４０を適用する画像のサイズを小さくすることが可能となるので、処理負荷が増加することを抑制することができる。
また、第１変形例では、上記のように、画像縮小部２ｅは、可逆変換可能な補間アルゴリズムによって画像を縮小するように構成されている。これにより、縮小処理によって高周波成分拡大画像１７を縮小することにより高周波成分縮小画像１８を生成した場合でも、高周波成分拡大画像１７に含まれる画素値の情報が欠落することを抑制することができる。
なお、第１変形例のその他の効果は、上記実施形態による効果と同様である。
（第２変形例）
また、上記実施形態では、画像拡大部２ｄが、周波数分解処理部２ａがＸ線画像１０に対して周波数分解処理を行った後に画像を拡大する構成の例を示したが、本発明はこれに限られない。たとえば、図１２に示す第２変形例では、画像拡大部２１ｄは、周波数分解処理部２１ａによって周波数分解が行われる前のＸ線画像１０を拡大するように構成されていてもよい。
図１２に示すように、第２変形例によるＸ線画像処理装置１２０は、画像処理部２の代わりに、画像処理部２１を備える点、および、学習モデル４０の代わりに学習モデル２４０が記憶部３に記憶されている点で、上記実施形態によるＸ線画像処理装置１００とは異なる。
画像処理部２１は、周波数分解処理部２ａの代わりに周波数分解処理部２１ａを備える点、高解像度画像生成部２ｂの代わりに、高解像度画像生成部２１ｂを備える点、および、画像拡大部２ｄの代わりに画像拡大部２１ｄを備える点で、上記実施形態による画像処理部２とは異なる。
学習モデル２４０は、高周波成分拡大画像１７（図１３参照）から高解像度高周波成分拡大画像１５（図１３参照）を生成することを学習されている点で、上記実施形態による学習モデル４０と異なる。すなわち、学習モデル２４０は、学習モデル４０とは異なり、画像を拡大することを学習されていない。
図１３に示すように、画像拡大部２１ｄ（図１２参照）は、周波数分解処理部２１ａによって周波数分解する前のＸ線画像１０を拡大するように構成されている。すなわち、画像拡大部２１ｄは、Ｘ線画像１０を拡大することにより、拡大されたＸ線画像１６を生成するように構成されている。言い換えると、画像拡大部２１ｄは、上記第１変形例による画像拡大部２０ｄと同様の構成である。
また、図１３に示すように、第２変形例では、周波数分解処理部２１ａ（図１２参照）は、拡大されたＸ線画像１６から、低周波成分拡大画像１４と高周波成分拡大画像１７とを生成するように構成されている。すなわち、周波数分解処理部２１ａは、上記第１変形例による周波数分解処理部２０ａと同様の構成である。
また、図１３に示すように、第２変形例では、高解像度画像生成部２１ｂ（図１２参照）は、学習モデル２４０によって、高周波成分拡大画像１７から高解像度高周波成分拡大画像１５を生成するように構成されている。
また、図１３に示すように、第２変形例では、画像合成部２ｃ（図１２参照）は、低周波成分拡大画像１４と、高解像度高周波成分拡大画像１５とを合成することにより、高解像度Ｘ線画像１３を生成するように構成されている。
次に、図１４を参照して、第２変形例による画像処理部２１が拡大された高解像度Ｘ線画像１３を生成する処理について説明する。なお、上記実施形態および第１変形例による画像処理部２が行う処理と同様の処理については、同様の符号を付し、詳細な説明は省略する。
ステップ１０１ａにおいて、画像取得部１は、Ｘ線画像１０を取得する。
ステップ１０１ｆにおいて、画像拡大部２１ｄは、Ｘ線画像１０を拡大することにより、拡大されたＸ線画像１６を取得する。
ステップ１０１ｇにおいて、周波数分解処理部２１ａは、拡大されたＸ線画像１６に対して周波数分解処理を行い、高周波成分拡大画像１７および低周波成分拡大画像１４を取得する。
ステップ１０１ｊにおいて、高解像度画像生成部２１ｂは、学習モデル２４０によって、高周波成分拡大画像１７から高解像度高周波成分拡大画像１５を生成する。
ステップ１０１ｅにおいて、画像合成部２ｃは、低周波成分画像１２に基づく画像と高解像度高周波成分画像に基づく画像とを合成することにより、拡大された高解像度Ｘ線画像１３を生成する。具体的には、画像合成部２ｃは、高解像度高周波成分拡大画像１５と、低周波成分拡大画像１４とを合成することにより、拡大された高解像度Ｘ線画像１３を生成する。
なお、第２変形例によるＸ線画像処理装置１２０のその他の構成は、上記実施形態によるＸ線画像処理装置１００と同様の構成である。
（第２変形例の効果）
第２変形例では、以下のような効果を得ることができる。
第２変形例では、上記のように、画像拡大部２１ｄは、周波数分解処理部２１ａによって周波数分解する前のＸ線画像１０を拡大するように構成されており、周波数分解処理部２１ａは、拡大されたＸ線画像１６から、低周波成分拡大画像１４と高周波成分拡大画像１７とを生成するように構成されており、高解像度画像生成部２１ｂは、学習モデル２４０によって、高周波成分拡大画像１７から高解像度高周波成分拡大画像１５を生成するように構成されており、画像合成部２ｃは、低周波成分拡大画像１４と、高解像度高周波成分拡大画像１５とを合成することにより、高解像度Ｘ線画像１３を生成するように構成されている。
これにより、拡大されたＸ線画像１６に対して周波数分解処理を行うことにより、低周波成分拡大画像１４および高周波成分拡大画像１７が生成されるため、Ｘ線画像１０を周波数分解処理することにより取得した低周波成分画像１２および高周波成分画像１１の各々を拡大する構成と比較して、処理工程が複雑化することを抑制することができる。
なお、第２変形例のその他の効果は、上記実施形態による効果と同様である。
（その他の変形例）
また、上記実施形態、上記第１変形例、および、上記第２変形例では、Ｘ線画像処理装置が、Ｘ線画像１０として、医用Ｘ線画像の処理装置として構成される例を示したが、本発明はこれに限られない。たとえば、Ｘ線画像処理装置は、非破壊検査用途に撮影されたＸ線画像の処理装置として構成されていてもよい。
また、上記実施形態、上記第１変形例、および、上記第２変形例では、Ｘ線画像処理装置１００が、Ｘ線画像撮像装置２００の撮像装置画像処理部２０４と個別に構成される例を示したが、本発明はこれに限られない。たとえば、撮像装置画像処理部２０４が、Ｘ線画像処理装置１００として機能するように構成されていてもよい。
また、上記実施形態、上記第１変形例および上記第２変形例では、画像拡大部が、画像を２倍に拡大する構成の例を示したが、本発明はこれに限られない。画像拡大部が画像を拡大する倍率は、任意の値であり得る。また、画像拡大部による画像の拡大率が２倍以外の場合、学習モデル４０によって高周波成分画像１１を拡大する倍率、または、学習モデル１４０によって高周波成分縮小画像１８を拡大する倍率を、画像拡大部によって画像を拡大する倍率と同様の倍率にすればよい。また、拡大率は、変更可能に構成されていてもよい。拡大率が変更可能な場合、各拡大率に応じた学習モデルを記憶部３に記憶しておけばよい。また、拡大率が変更可能な場合、学習モデルを、画像拡大部が拡大する際の最大拡大率に画像を拡大するように学習させておき、所望も拡大率まで縮小させるように構成されていてもよい。
また、上記実施形態、上記第１変形例および上記第２変形例では、画像拡大部が、最近傍法により画像を拡大する構成の例を示したが、本発明はこれに限られない。たとえば、画像拡大部は、線形関数、または、非線形関数によって画像を拡大するように構成されていてもよい。
また、上記第１変形例では、画像縮小部２ｅが、画素平均法により画像を縮小する構成の例を示したが、本発明はこれに限られない。たとえば、画像縮小部２ｅは、線形関数、または、非線形関数によって画像を縮小するように構成されていてもよい。
また、上記実施形態、上記第１変形例および上記第２変形例では、画像処理部が、解像度が１０２４×１０２４のＸ線画像１０から、解像度が２０４８×２０４８の高解像度Ｘ線画像１３を生成する構成の例を示したが、本発明はこれに限られない。たとえば、画像処理部は、解像度が５１２×５１２のＸ線画像１０から、解像度が１０２４×１０２４の高解像度Ｘ線画像１３を生成するように構成されていてもよい。また、画像処理部は、解像度が２０４８×２０４８のＸ線画像１０から、解像度が４０９６×４０９６の高解像度Ｘ線画像１３を生成するように構成されていてもよい。高解像度Ｘ線画像１３の解像度がＸ線画像１０の解像度よりも高ければ、Ｘ線画像１０および高解像度Ｘ線画像１３の解像度は、どのような解像度であってもよい。
また、上記実施形態、および、上記第１変形例では、高解像度画像生成部が、学習モデル４０（学習モデル１４０）によって、高周波成分画像１１（高周波成分縮小画像１８）から高解像度高周波成分拡大画像１５を生成する構成の例を示したが、本発明はこれに限られない。たとえば、高解像度画像生成部は、高周波成分画像１１（高周波成分縮小画像１８）から高解像度高周波成分画像を生成するように構成されていてもよい。すなわち、学習モデル４０（学習モデル１４０）は、画像を拡大する処理を学習されていなくてもよい。学習モデル４０（学習モデル１４０）が画像を拡大する処理を学習されていない場合、画像拡大部によって、高解像度高周波成分画像を拡大することにより、高解像度高周波成分拡大画像１５を生成するように構成すればよい。
また、上記実施形態、上記第１変形例および上記第２変形例では、高解像度画像生成部が、高周波成分画像１１（高周波成分拡大画像１７、および、高周波成分縮小画像１８）から、高解像度高周波成分拡大画像１５を生成する構成の例を示したが、本発明はこれに限られない。たとえば、高解像度画像生成部は、低周波成分画像１２（低周波成分拡大画像１４）の解像度を向上させるように構成されていてもよい。すなわち、高解像度画像生成部は、高周波成分画像１１用の第１高解像度画像生成部と、低周波成分画像１２用の第２高解像度画像生成部とを備えていてもよい。しかしながら、高解像度画像生成部が、低周波成分画像１２（低周波成分拡大画像１４）の解像度を向上させる構成の場合、処理の負荷が増加するとともに、処理時間が増加する。そのため、高解像度画像生成部は、低周波成分画像１２（低周波成分拡大画像１４）の解像度を向上させる処理を行わず、高周波成分画像１１（高周波成分拡大画像１７、および、高周波成分縮小画像１８）の解像度を向上させる処理を行う構成のほうが好ましい。
また、上記実施形態、上記第１変形例および上記第２変形例では、画像処理部が、動画像としてのＸ線画像１０から動画像としての拡大された高解像度Ｘ線画像１３を生成する構成の例を示したが、本発明はこれに限られない。たとえば、画像処理部は、静止画としてのＸ線画像１０から、静止画としての拡大された高解像度Ｘ線画像１３を生成するように構成されていてもよい。また、画像処理部が静止画としての拡大された高解像度Ｘ線画像１３を生成する構成の場合、周波数分解処理部は、平滑化フィルタ処理以外の処理により、周波数分解処理を行うように構成されていてもよい。平滑化フィルタ処理以外の処理は、たとえば、フーリエ変換を含む。
また、上記実施形態、上記第１変形例および上記第２変形例では、周波数分解処理部が、Ｘ線画像１０を高周波成分画像１１と低周波成分画像１２との２つの画像に分化する構成の例を示したが、本発明はこれに限られない。たとえば、周波数分解処理部は、Ｘ線画像１０を、３つ以上の画像に分解するように構成されていてもよい。着目部位５０の周波数成分が含まれる画像を背景などの周波数成分が含まれる画像と分解することが可能であれば、分解する画像の数は問わない。
また、上記実施形態、上記第１変形例および上記第２変形例では、画像処理部が、画像のサイズおよび精細さを向上させる処理を行う高解像度画像生成部と、画像の分解、拡大、合成などを行う各処理部とを同一のプロセッサで実行する構成の例を示したが、本発明はこれに限られない。たとえば画像処理部２は、高解像度画像生成部を、画像の分解、拡大、合成などを行う各処理部を行うプロセッサとは異なる個別のプロセッサとして備えていてもよい。すなわち、画僧処理部は、高解像度画像生成部として、画像のサイズおよび精細さを向上させる処理を行う専用のプロセッサを備えていてもよい。
［態様］
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
（項目１）
Ｘ線画像を取得する画像取得部と、
前記Ｘ線画像を高周波成分画像と低周波成分画像とに周波数分解する周波数分解処理部と、
画像の解像度を高めることを学習させた学習済みの学習モデルによって、前記高周波成分画像から前記高周波成分画像よりも解像度が高い画像である高解像度高周波成分画像を生成する高解像度画像生成部と、
前記低周波成分画像に基づく画像と前記高解像度高周波成分画像に基づく画像とを合成することにより高解像度Ｘ線画像を生成する画像合成部と、を含む、Ｘ線画像処理装置。
（項目２）
前記高解像度画像生成部は、前記低周波成分画像から前記低周波成分画像よりも解像度が高い画像を生成する処理は行わず、前記高周波成分画像から前記高解像度高周波成分画像を生成する処理を行うように構成されている、項目１に記載のＸ線画像処理装置。
（項目３）
前記周波数分解処理部は、分解する周波数帯域が、前記Ｘ線画像のうちの所定の着目部位の周波数成分が高周波側の成分となるように設定された周波数分解処理を行うように構成されている、項目１または２に記載のＸ線画像処理装置。
（項目４）
前記Ｘ線画像は、被検者の血管および前記血管に導入されたデバイスが写る画像であり、
前記着目部位は、前記血管のエッジ、および、前記デバイスのエッジである、項目３に記載のＸ線画像処理装置。
（項目５）
前記画像取得部は、動画像としての前記Ｘ線画像を取得するように構成されており、
前記周波数分解処理部は、動画像としての前記Ｘ線画像のフレームを取得する度に、取得したフレームに対して周波数分解処理を行うことにより、フレーム毎に前記低周波成分画像と前記高周波成分画像とを取得するように構成されており、
前記高解像度画像生成部は、フレーム毎に取得された前記高周波成分画像から前記高解像度高周波成分画像を生成するように構成されており、
前記画像合成部は、フレーム毎の前記低周波成分画像とフレーム毎の前記高解像度高周波成分画像とを合成することにより、動画像としての前記高解像度Ｘ線画像を生成するように構成されている、項目１～４のいずれか１項に記載のＸ線画像処理装置。
（項目６）
前記周波数分解処理部は、前記Ｘ線画像に対して平滑化フィルタ処理を行うことにより、前記低周波成分画像を取得するとともに、前記Ｘ線画像から前記低周波成分画像を差分することにより、前記高周波成分画像を取得するように構成されている、項目１～５のいずれか１項に記載のＸ線画像処理装置。
（項目７）
画像を拡大する画像拡大部をさらに備え、
前記画像拡大部は、前記周波数分解処理部による周波数分解処理を行う前、または、周波数分解処理を行った後のいずれかにおいて画像を拡大するように構成されている、項目１～６のいずれか１項に記載のＸ線画像処理装置。
（項目８）
前記画像拡大部は、前記周波数分解処理部によって周波数分解することにより取得された前記低周波成分画像を拡大することにより、低周波成分拡大画像を生成するように構成されており、
前記学習モデルは、画像の解像度を高める際に、生成する画像を拡大することをさらに学習されており、
前記高解像度画像生成部は、前記学習モデルによって、前記高周波成分画像から、前記高周波成分画像よりも解像度が向上し、かつ、拡大された高解像度高周波成分拡大画像を生成するように構成されており、
前記画像合成部は、前記低周波成分拡大画像と、前記高解像度高周波成分拡大画像とを合成することにより、前記高解像度Ｘ線画像を生成するように構成されている、項目７に記載のＸ線画像処理装置。
（項目９）
画像を縮小する画像縮小部をさらに備え、
前記画像拡大部は、前記周波数分解処理部によって周波数分解する前の前記Ｘ線画像を拡大するように構成されており、
前記学習モデルは、画像の解像度を高める際に、生成する画像を拡大することをさらに学習されており、
前記周波数分解処理部は、拡大された前記Ｘ線画像から、低周波成分拡大画像と、高周波成分拡大画像とを生成するように構成されており、
前記画像縮小部は、前記高周波成分拡大画像を縮小することにより、高周波成分縮小画像を取得するように構成されており、
前記高解像度画像生成部は、前記学習モデルによって、前記高周波成分縮小画像から、高解像度高周波成分拡大画像を生成するように構成されており、
前記画像合成部は、前記低周波成分拡大画像と、前記高解像度高周波成分拡大画像とを合成することにより、前記高解像度Ｘ線画像を生成するように構成されている、項目７に記載のＸ線画像処理装置。
（項目１０）
前記画像拡大部は、前記周波数分解処理部によって周波数分解する前の前記Ｘ線画像を拡大するように構成されており、
前記周波数分解処理部は、拡大された前記Ｘ線画像から、低周波成分拡大画像と高周波成分拡大画像とを生成するように構成されており、
前記高解像度画像生成部は、前記学習モデルによって、前記高周波成分拡大画像から高解像度高周波成分拡大画像を生成するように構成されており、
前記画像合成部は、前記低周波成分拡大画像と、前記高解像度高周波成分拡大画像とを合成することにより、前記高解像度Ｘ線画像を生成するように構成されている、項目７に記載のＸ線画像処理装置。
（項目１１）
前記画像拡大部は、可逆変換可能な補間アルゴリズムによって画像を拡大するように構成されている、項目７～１０のいずれか１項に記載のＸ線画像処理装置。
（項目１２）
前記画像縮小部は、可逆変換可能な補間アルゴリズムによって画像を縮小するように構成されている、項目９に記載のＸ線画像処理装置。
（項目１３）
Ｘ線画像を取得するステップと、
前記Ｘ線画像を高周波成分画像と低周波成分画像とに周波数分解するステップと、
学習済みの学習モデルによって、前記高周波成分画像から前記高周波成分画像よりも解像度が高い画像である高解像度高周波成分画像を生成するステップと、
前記低周波成分画像に基づく画像と前記高解像度高周波成分画像に基づく画像とを合成することにより高解像度Ｘ線画像を生成するステップと、を含む、Ｘ線画像処理方法。
１ 画像取得部
２ａ、２０ａ、２１ａ 周波数分解処理部
２ｂ、２０ｂ、２１ｂ 高解像度画像生成部
２ｃ 画像合成部
２ｄ、２０ｄ、２１ｄ 画像拡大部
２ｅ 画像縮小部
１０ Ｘ線画像
１１ 高周波成分画像
１２ 低周波成分画像
１３ 高解像度Ｘ線画像
１４ 低周波成分拡大画像
１５ 高解像度高周波成分拡大画像（高解像度高周波成分画像、高解像度高周波成分画像に基づく画像）
１６ 拡大されたＸ線画像
１７ 高周波成分拡大画像
１８ 高周波成分縮小画像
４０、１４０、２４０ 学習モデル
５０ 着目部位
５０ａ エッジ（血管のエッジ）
５０ｂ エッジ（デバイスのエッジ）
９０ 被検者
９０ａ 血管
９１ デバイス
１００、１１０、１２０ Ｘ線画像処理装置

Claims (13)

  1. Ｘ線画像を取得する画像取得部と、
    前記Ｘ線画像を高周波成分画像と低周波成分画像とに周波数分解する周波数分解処理部と、
    画像の解像度を高めることを学習させた学習済みの学習モデルによって、前記高周波成分画像から前記高周波成分画像よりも解像度が高い画像である高解像度高周波成分画像を生成する高解像度画像生成部と、
    前記低周波成分画像に基づく画像と前記高解像度高周波成分画像に基づく画像とを合成することにより高解像度Ｘ線画像を生成する画像合成部と、を含む、Ｘ線画像処理装置。
  2. 前記高解像度画像生成部は、前記低周波成分画像から前記低周波成分画像よりも解像度が高い画像を生成する処理は行わず、前記高周波成分画像から前記高解像度高周波成分画像を生成する処理を行うように構成されている、請求項１に記載のＸ線画像処理装置。
  3. 前記周波数分解処理部は、分解する周波数帯域が、前記Ｘ線画像のうちの所定の着目部位の周波数成分が高周波側の成分となるように設定された周波数分解処理を行うように構成されている、請求項１または２に記載のＸ線画像処理装置。
  4. 前記Ｘ線画像は、被検者の血管および前記血管に導入されたデバイスが写る画像であり、
    前記着目部位は、前記血管のエッジ、および、前記デバイスのエッジを含む、請求項３に記載のＸ線画像処理装置。
  5. 前記画像取得部は、動画像としての前記Ｘ線画像を取得するように構成されており、
    前記周波数分解処理部は、動画像としての前記Ｘ線画像のフレームを取得する度に、取得したフレームに対して周波数分解処理を行うことにより、フレーム毎に前記低周波成分画像と前記高周波成分画像とを取得するように構成されており、
    前記高解像度画像生成部は、フレーム毎に取得された前記高周波成分画像から前記高解像度高周波成分画像を生成するように構成されており、
    前記画像合成部は、フレーム毎の前記低周波成分画像とフレーム毎の前記高解像度高周波成分画像とを合成することにより、動画像としての前記高解像度Ｘ線画像を生成するように構成されている、請求項１～４のいずれか１項に記載のＸ線画像処理装置。
  6. 前記周波数分解処理部は、前記Ｘ線画像に対して平滑化フィルタ処理を行うことにより、前記低周波成分画像を取得するとともに、前記Ｘ線画像から前記低周波成分画像を差分することにより、前記高周波成分画像を取得するように構成されている、請求項１～５のいずれか１項に記載のＸ線画像処理装置。
  7. 画像を拡大する画像拡大部をさらに備え、
    前記画像拡大部は、前記周波数分解処理部による周波数分解処理を行う前、または、周波数分解処理を行った後のいずれかにおいて画像を拡大するように構成されている、請求項１～６のいずれか１項に記載のＸ線画像処理装置。
  8. 前記画像拡大部は、前記周波数分解処理部によって周波数分解することにより取得された前記低周波成分画像を拡大することにより、低周波成分拡大画像を生成するように構成されており、
    前記学習モデルは、画像の解像度を高める際に、生成する画像を拡大することをさらに学習されており、
    前記高解像度画像生成部は、前記学習モデルによって、前記高周波成分画像から、前記高周波成分画像よりも解像度が向上し、かつ、拡大された高解像度高周波成分拡大画像を生成するように構成されており、
    前記画像合成部は、前記低周波成分拡大画像と、前記高解像度高周波成分拡大画像とを合成することにより、前記高解像度Ｘ線画像を生成するように構成されている、請求項７に記載のＸ線画像処理装置。
  9. 画像を縮小する画像縮小部をさらに備え、
    前記画像拡大部は、前記周波数分解処理部によって周波数分解する前の前記Ｘ線画像を拡大するように構成されており、
    前記学習モデルは、画像の解像度を高める際に、生成する画像を拡大することをさらに学習されており、
    前記周波数分解処理部は、拡大された前記Ｘ線画像から、低周波成分拡大画像と、高周波成分拡大画像とを生成するように構成されており、
    前記画像縮小部は、前記高周波成分拡大画像を縮小することにより、高周波成分縮小画像を取得するように構成されており、
    前記高解像度画像生成部は、前記学習モデルによって、前記高周波成分縮小画像から、高解像度高周波成分拡大画像を生成するように構成されており、
    前記画像合成部は、前記低周波成分拡大画像と、前記高解像度高周波成分拡大画像とを合成することにより、前記高解像度Ｘ線画像を生成するように構成されている、請求項７に記載のＸ線画像処理装置。
  10. 前記画像拡大部は、前記周波数分解処理部によって周波数分解する前の前記Ｘ線画像を拡大するように構成されており、
    前記周波数分解処理部は、拡大された前記Ｘ線画像から、低周波成分拡大画像と高周波成分拡大画像とを生成するように構成されており、
    前記高解像度画像生成部は、前記学習モデルによって、前記高周波成分拡大画像から高解像度高周波成分拡大画像を生成するように構成されており、
    前記画像合成部は、前記低周波成分拡大画像と、前記高解像度高周波成分拡大画像とを合成することにより、前記高解像度Ｘ線画像を生成するように構成されている、請求項７に記載のＸ線画像処理装置。
  11. 前記画像拡大部は、可逆変換可能な補間アルゴリズムによって画像を拡大するように構成されている、請求項７～１０のいずれか１項に記載のＸ線画像処理装置。
  12. 前記画像縮小部は、可逆変換可能な補間アルゴリズムによって画像を縮小するように構成されている、請求項９に記載のＸ線画像処理装置。
  13. Ｘ線画像を取得するステップと、
    前記Ｘ線画像を高周波成分画像と低周波成分画像とに周波数分解するステップと、
    学習済みの学習モデルによって、前記高周波成分画像から前記高周波成分画像よりも解像度が高い画像である高解像度高周波成分画像を生成するステップと、
    前記低周波成分画像に基づく画像と前記高解像度高周波成分画像に基づく画像とを合成することにより高解像度Ｘ線画像を生成するステップと、を含む、Ｘ線画像処理方法。
JP2020214498A 2020-12-24 2020-12-24 Ｘ線画像処理装置およびｘ線画像処理方法 Pending JP2022100493A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020214498A JP2022100493A (ja) 2020-12-24 2020-12-24 Ｘ線画像処理装置およびｘ線画像処理方法
US17/523,613 US20220207723A1 (en) 2020-12-24 2021-11-10 X-ray image processing apparatus and x-ray image processing method
CN202111402804.0A CN114677268A (zh) 2020-12-24 2021-11-24 X射线图像处理装置和x射线图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020214498A JP2022100493A (ja) 2020-12-24 2020-12-24 Ｘ線画像処理装置およびｘ線画像処理方法

Publications (1)

Publication Number Publication Date
JP2022100493A true JP2022100493A (ja) 2022-07-06

Family

ID=82070455

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020214498A Pending JP2022100493A (ja) 2020-12-24 2020-12-24 Ｘ線画像処理装置およびｘ線画像処理方法

Country Status (3)

Country Link
US (1) US20220207723A1 (ja)
JP (1) JP2022100493A (ja)
CN (1) CN114677268A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220101494A1 (en) * 2020-09-30 2022-03-31 Nvidia Corporation Fourier transform-based image synthesis using neural networks

Also Published As

Publication number Publication date
CN114677268A (zh) 2022-06-28
US20220207723A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
US9245323B2 (en) Medical diagnostic device and method of improving image quality of medical diagnostic device
WO2012026597A1 (ja) 画像処理装置および方法
EP2000976B1 (en) Image processing apparatus and image processing method
JP7405176B2 (ja) 画像処理方法および画像処理装置
JP2010067272A (ja) 高品質画像及び映像アップスケーリングのためのシステム及び方法
JPH10509824A (ja) 画像データの適応的補間のためのシステム及び方法
US8311392B2 (en) Image processing apparatus, image processing method, and storage medium
JP6523638B2 (ja) 表示パネルドライバ、表示装置、画像処理装置及び画像処理方法
RU2469308C2 (ru) Рентгеновский инструмент для трехмерного ультразвукового исследования
WO2013073627A1 (ja) 画像処理装置及び方法
WO2009122863A1 (ja) 画像表示システム及び画像表示プログラム
JP2022100493A (ja) Ｘ線画像処理装置およびｘ線画像処理方法
US20200074623A1 (en) Image processing apparatus , image processing method, and computer readable recording medium storing program
JP4773522B2 (ja) 画像表示装置および画像表示プログラム
JP2012205619A (ja) 画像処理装置、制御装置、内視鏡装置、画像処理方法及び画像処理プログラム
JP6002324B2 (ja) 放射線画像生成装置及び画像処理方法
Dorr et al. Space-variant spatio-temporal filtering of video for gaze visualization and perceptual learning
CN111462004B (zh) 图像增强方法和装置、计算机设备、存储介质
CN111434311B (zh) 超声波摄像装置以及图像处理方法
WO2016006554A1 (ja) 超音波診断装置
JP2004133592A (ja) 画像を拡大するための画像処理装置および画像処理方法および画像処理プログラム
WO2021033741A1 (ja) 医用画像処理装置、ｘ線診断装置、および医用画像処理方法
JP2021026592A (ja) 画像処理方法、画像処理装置および学習モデル作成方法
KR20190056740A (ko) 영상 처리 방법 및 이를 이용한 표시장치
Guo et al. Adaptive Laplacian Filtering Interpolation Scaling Algorithm

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231031

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240507