JP2018114233A - 画像処理装置及びx線診断装置 - Google Patents

画像処理装置及びx線診断装置 Download PDF

Info

Publication number
JP2018114233A
JP2018114233A JP2017008818A JP2017008818A JP2018114233A JP 2018114233 A JP2018114233 A JP 2018114233A JP 2017008818 A JP2017008818 A JP 2017008818A JP 2017008818 A JP2017008818 A JP 2017008818A JP 2018114233 A JP2018114233 A JP 2018114233A
Authority
JP
Japan
Prior art keywords
pixel
similarity
image
pixels
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017008818A
Other languages
English (en)
Other versions
JP6870993B2 (ja
Inventor
白石 邦夫
Kunio Shiraishi
邦夫 白石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2017008818A priority Critical patent/JP6870993B2/ja
Priority to US15/869,918 priority patent/US10679097B2/en
Publication of JP2018114233A publication Critical patent/JP2018114233A/ja
Application granted granted Critical
Publication of JP6870993B2 publication Critical patent/JP6870993B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】画像の分解能の低下を抑えつつ、点状のノイズを除去することができる画像処理装置及びX線診断装置を提供すること。
【解決手段】実施形態のX線診断装置は、判定部と、算出部と、平均部とを備える。判定部は、画像を構成する各画素について、点状のノイズに相当するか否かを判定する。算出部は、前記画像を構成する第1の画素と第2の画素との類似度を算出する。平均部は、算出された前記類似度に基づいて前記第1の画素と前記第2の画素とを重み付き平均することで、前記画像に対するフィルタ処理を実行する。算出部は、前記第1の画素が前記ノイズに相当すると判定された場合、前記第1の画素の周辺に位置する第1の周辺画素と、前記第2の画素の周辺に位置する第2の周辺画素とを比較することによって前記類似度を算出する。
【選択図】図1

Description

本発明の実施形態は、画像処理装置及びX線診断装置に関する。
X線診断装置は、X線検出器により、被検体を透過したX線を検出することでX線画像を収集する。X線検出器は、液晶ディスプレイのTFT(Thin Film Transistor)技術を利用した平面検出器が主流であるが、CCD(Couple Charged Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等を用いたX線検出器もある。ここで、CCDやCMOSのX線検出器を用いて収集されるX線画像には、画素値の大きい点状のノイズ(白点ノイズ)が画素単位で突発的に生じる場合がある。
また、X線診断装置は、収集したX線画像に対して、ノイズを低減するための画像処理を行う。例えば、X線診断装置は、X線画像を構成する画素間の類似度を算出し、算出した類似度を用いて画素間の重み付け平均を行うフィルタ処理により、ノイズを低減する。このようなフィルタ処理としては、例えば、特許第4170767号公報に記載のフィルタ(以下、コヒーレント・フィルタと称する)や非局所平均(Non-Local Means:NLM)フィルタ等によるノイズ低減処理が挙げられる。これらのようなフィルタによるノイズ低減処理は、ノイズを低減しつつも、暈けの発生を低減してX線画像の画質を向上することができる。
しかしながら、X線画像に白点ノイズが含まれる場合、フィルタ処理を行っても白点ノイズが残存してしまう場合がある。即ち、白点ノイズである画素と他の画素との類似度は低く算出され、重み付け平均に用いられる重みが小さくなる結果、重み付け平均を行っても画素値がそれほど変化せず、白点ノイズがそのまま残存する。また、ノイズ低減処理後のX線画像においては、白点ノイズ以外のノイズが低減される結果、白点ノイズがより顕著となる場合がある。
特許第4170767号公報 特開2012−256175号公報 特開2014−45488号公報
本発明が解決しようとする課題は、画像の分解能の低下を抑えつつ、点状のノイズを除去することができる画像処理装置及びX線診断装置を提供することである。
実施形態のX線診断装置は、判定部と、算出部と、平均部とを備える。判定部は、画像を構成する各画素について、点状のノイズに相当するか否かを判定する。算出部は、前記画像を構成する第1の画素と第2の画素との類似度を算出する。平均部は、算出された前記類似度に基づいて前記第1の画素と前記第2の画素とを重み付き平均することで、前記画像に対するフィルタ処理を実行する。算出部は、前記第1の画素が前記ノイズに相当すると判定された場合、前記第1の画素の周辺に位置する第1の周辺画素と、前記第2の画素の周辺に位置する第2の周辺画素とを比較することによって前記類似度を算出する。
図1は、第1の実施形態に係るX線診断装置の構成の一例を示すブロック図である。 図2は、第1の実施形態に係る類似度の算出を説明するための図である。 図3は、第1の実施形態に係るX線診断装置の処理の一連の流れを説明するためのフローチャートである。 図4は、第2の実施形態に係る類似度の算出を説明するための図である。 図5は、第3の実施形態に係るスパイクノイズの判定及び類似度の算出を説明するための図である。
以下、図面を参照して、実施形態に係る画像処理装置及びX線診断装置を説明する。なお、以下では、実施形態に係る画像処理装置を含むX線診断装置について説明する。また、以下では、画像処理の対象となる画像が、X線診断装置により収集されたX線画像である場合について説明する。
(第1の実施形態)
まず、図1を用いて第1の実施形態に係るX線診断装置100の構成の一例を説明する。図1は、第1の実施形態に係るX線診断装置100の構成の一例を示すブロック図である。図1に示すように、第1の実施形態に係るX線診断装置100は、高電圧発生器11と、X線管12と、コリメータ13aと、フィルタ13bと、天板14と、Cアーム15と、X線検出器16とを備える。また、第1の実施形態に係るX線診断装置100は、Cアーム回転・移動機構17と、天板移動機構18と、Cアーム・天板機構制御回路19と、コリメータ・フィルタ制御回路20と、処理回路21と、入力回路22と、ディスプレイ23と、画像データ生成回路24と、記憶回路25とを備える。
図1に示すX線診断装置100においては、各処理機能がコンピュータによって実行可能なプログラムの形態で記憶回路25へ記憶されている。Cアーム・天板機構制御回路19、コリメータ・フィルタ制御回路20、処理回路21及び画像データ生成回路24は、記憶回路25からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の各回路は、読み出したプログラムに対応する機能を有することとなる。
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、あるいは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理医療デバイス(例えば、単純プログラマブル論理医療デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理医療デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサは記憶回路25に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路25にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。
第1の実施形態における収集機能211は、特許請求の範囲における収集部の一例である。また、第1の実施形態における判定機能212は、特許請求の範囲における判定部の一例である。また、第1の実施形態における算出機能213は、特許請求の範囲における算出部の一例である。また、第1の実施形態における平均機能214は、特許請求の範囲における平均部の一例である。
高電圧発生器11は、処理回路21による制御の下、高電圧を発生し、発生した高電圧をX線管12に供給する。X線管12は、高電圧発生器11から供給される高電圧を用いて、X線を発生する。コリメータ13aは、コリメータ・フィルタ制御回路20による制御の下、X線管12が発生したX線を、被検体Pにおける撮影対象領域に選択的に照射されるよう絞り込む。例えば、コリメータ13aは、スライド可能な4枚の絞り羽根を有する。コリメータ13aは、コリメータ・フィルタ制御回路20による制御の下、これらの絞り羽根をスライドさせることで、X線管12が発生したX線を絞り込んで被検体Pに照射させる。なお、絞り羽根は、鉛などで構成された板状部材であり、X線の照射範囲を調整するためにX線管12のX線照射口付近に設けられる。
フィルタ13bは、X線管12から曝射されたX線を調節するためのX線フィルタである。例えば、フィルタ13bは、被検体Pに対する被曝線量の低減と画像データの画質向上を目的として、その材質や厚みによって透過するX線の線質を変化させ、被検体Pに吸収されやすい軟線成分を低減したり、X線画像のコントラスト低下を招く高エネルギー成分を低減したりする。また、フィルタ13bは、その材質や厚み、位置などによってX線の線量及び照射範囲を変化させ、X線管12から被検体Pへ照射されるX線が予め定められた分布になるようにX線を減衰させる。
天板14は、被検体Pを載せるベッドであり、図示しない寝台の上に配置される。なお、被検体Pは、X線診断装置100に含まれない。X線検出器16は、マトリックス状に配列された検出素子を有し、被検体Pを透過したX線を検出する。例えば、X線検出器16は、検出素子として、CMOSやCCDを有する。各検出素子は、被検体Pを透過したX線を電気信号に変換して蓄積し、蓄積した電気信号を画像データ生成回路24に送信する。
Cアーム15は、X線管12、コリメータ13a、フィルタ13b及びX線検出器16を保持する。X線管12、コリメータ13a及びフィルタ13bとX線検出器16とは、Cアーム15により被検体Pを挟んで対向するように配置される。なお、図1では、X線診断装置100がシングルプレーンの場合を例に挙げて説明しているが、実施形態はこれに限定されるものではなく、バイプレーンの場合であってもよい。
Cアーム回転・移動機構17は、Cアーム15を回転及び移動させるための機構であり、天板移動機構18は、天板14を移動させるための機構である。例えば、Cアーム回転・移動機構17及び天板移動機構18は、図示しないアクチュエータ(モータ等)が発生させた動力を用いて、Cアーム15を回転及び移動させ、天板14を移動させる。Cアーム・天板機構制御回路19は、処理回路21による制御の下、Cアーム回転・移動機構17及び天板移動機構18を制御することで、Cアーム15の回転や移動、天板14の移動を調整する。
コリメータ・フィルタ制御回路20は、処理回路21による制御の下、コリメータ13aが有する絞り羽根の開度を調整することで、被検体Pに対して照射されるX線の照射範囲を制御する。また、コリメータ・フィルタ制御回路20は、処理回路21による制御の下、フィルタ13bの位置を調整することで、被検体Pに対して照射されるX線の線量の分布を制御する。
画像データ生成回路24は、X線検出器16によってX線から変換された電気信号を用いて画像データを生成し、生成した画像データを記憶回路25に格納する。例えば、画像データ生成回路24は、X線検出器16から受信した電気信号に対して、電流・電圧変換やA(Analog)/D(Digital)変換、パラレル・シリアル変換を行い、画像データを生成する。そして、画像データ生成回路24は、生成した画像データを記憶回路25に格納する。
記憶回路25は、画像データ生成回路24によって生成された画像データを受け付けて記憶する。また、記憶回路25は、後述する処理回路21によるフィルタ処理後の画像データを記憶する。また、記憶回路25は、図1に示す各回路によって読み出されて実行される各種機能に対応するプログラムを記憶する。一例を挙げると、記憶回路25は、処理回路21によって読み出されて実行される収集機能211に対応するプログラム、判定機能212に対応するプログラム、算出機能213に対応するプログラム、平均機能214に対応するプログラム及び制御機能215に対応するプログラムを記憶する。
入力回路22は、各種指示や各種設定などを行うためのトラックボール、スイッチボタン、マウス、キーボード等によって実現される。入力回路22は、処理回路21に接続されており、操作者から受け取った入力操作を電気信号へ変換し処理回路21へと出力する。ディスプレイ23は、操作者の指示を受け付けるためのGUI(Graphical User Interface)やX線画像を表示する。例えば、ディスプレイ23は、処理回路21によるフィルタ処理後のX線画像を表示する。
処理回路21は、収集機能211、判定機能212、算出機能213、平均機能214及び制御機能215を実行することで、X線診断装置100全体の動作を制御する。例えば、処理回路21は、収集機能211に対応するプログラムを記憶回路25から読み出して実行することにより、被検体Pに対するX線照射及び被検体Pを透過したX線の検出を制御し、画像データを収集する。
例えば、処理回路21は、入力回路22から転送された操作者の指示に従って高電圧発生器11を制御し、X線管12に供給する電圧を調整することで、被検体Pに照射するX線の線量やON/OFFを制御する。また、例えば、処理回路21は、操作者の指示に従ってCアーム・天板機構制御回路19を制御し、Cアーム15の回転や移動、天板14の移動を調整する。また、例えば、処理回路21は、操作者の指示に従ってコリメータ・フィルタ制御回路20を制御し、コリメータ13aが有する絞り羽根の開度を調整することで、被検体Pに対して照射されるX線の照射範囲を制御する。また、例えば、処理回路21は、操作者の指示に従ってコリメータ・フィルタ制御回路20を制御し、フィルタ13bの位置を調整することで、被検体Pに対して照射されるX線の線量を制御し、また、X線の照射範囲を線量ごとに制御する。即ち、処理回路21は、コリメータ・フィルタ制御回路20の制御を通じて、X線の線量の分布を制御する。また、処理回路21は、画像データ生成回路24を制御することにより、X線検出器16によってX線から変換された電気信号に基づく画像データ生成処理を制御することで、画像データを収集する。
また、処理回路21は、判定機能212、算出機能213及び平均機能214に対応するプログラムを記憶回路25から読み出して実行することにより、画像データに対するフィルタ処理を実行する。なお、処理回路21によるフィルタ処理については後述する。また、処理回路21は、制御機能215に対応するプログラムを記憶回路25から読み出して実行することにより、フィルタ処理後のX線画像をディスプレイ23に表示させたり、操作者の指示を受け付けるためのGUIをディスプレイ23に表示させたりする。
以上、X線診断装置100の構成の一例について説明した。かかる構成のもと、本実施形態に係るX線診断装置100は、以下、詳細に説明する処理回路21による処理によって、画像データの分解能の低下を抑えつつ、点状のノイズを除去する。具体的には、X線診断装置100は、画像データを構成する各画素が点状のノイズに相当するか否かを判定し、点状のノイズに相当する画素の画素値を用いないで画素間の類似度を算出する。そして、X線診断装置100は、算出した類似度を用いて重み付け加算平均を行うことで、点状のノイズを除去する。以下、第1の実施形態に係るX線診断装置100が行う処理について詳細に説明する。
まず、収集機能211は、高電圧発生器11、Cアーム・天板機構制御回路19、コリメータ・フィルタ制御回路20及び画像データ生成回路24を制御することにより、被検体Pを透過したX線に基づく画像データを収集し、収集した画像データを記憶回路25に格納する。
次に、判定機能212は、記憶回路25に格納された画像データを読み出し、読み出した画像データを構成する各画素について、点状のノイズに相当するか否かを判定する。なお、以下では、点状のノイズの一例として、スパイクノイズについて説明する。スパイクノイズは、CMOSやCCDを用いたX線検出器16にX線を照射することで発生する輝点ノイズ(白点ノイズ)である。スパイクノイズは、例えば、動画像のあるフレームに含まれない場合であっても、次のフレームのいずれかの画素に発生したり、更に次のフレームで消失したりする。即ち、スパイクノイズは、画素単位で突発的に発生する。
例えば、判定機能212は、画像データを構成する画素のうち、周囲の画素と画素値が大きく異なる画素を、スパイクノイズであると判定する。即ち、スパイクノイズは輝点ノイズであり、スパイクノイズの発生した画素の画素値は、スパイクノイズの発生していない画素の画素値と比較して著しく大きくなることから、判定機能212は、画像データを構成する画素のうち、周囲の画素より画素値が明らかに大きい画素を、スパイクノイズであると判定する。
一例を挙げると、判定機能212は、まず、画像データを構成する画素のうちいずれかを、スパイクノイズに相当するか否かを判定する対象の画素(判定対象画素)として選択する。次に、判定機能212は、判定対象画素について、判定対象画素がスパイクノイズに相当するか否かを判定するための範囲(判定用範囲)を設定する。例えば、判定機能212は、判定対象画素について、判定対象画素を中心とした「3画素×3画素」の正方形領域を、判定用範囲として設定する。
なお、判定機能212が設定する判定用範囲は、判定対象画素を含んで複数の画素にわたる範囲であれば、大きさ及び形状については任意である。例えば、判定用範囲は、「3画素×3画素」の正方形領域である場合に限らず、「5画素×5画素」の正方形領域など大きさの異なる領域であってもよいし、正方形から角の画素を除いた形状の領域や、円形の形状の領域等であってもよい。
即ち、判定用範囲が判定対象画素のみを含むものである場合、判定対象画素と画素値の大きさを比較する画素がないのであるから、判定対象画素がスパイクノイズに相当するか否かを判定することができない。一方で、判定用範囲が判定対象画素を含んで複数の画素にわたる範囲である場合、判定対象画素と周辺の画素とで画素値の大きさを比較することで、スパイクノイズに相当するか否かの判定が可能である。なお、以下では、判定用範囲が、判定対象画素を中心とした「3画素×3画素」の正方形領域である場合について説明する。
次に、判定機能212は、判定対象画素がスパイクノイズに相当するか否かを判定するための比較基準となる情報を算出する。例えば、判定機能212は、判定対象画素について設定した判定用範囲に含まれる各画素の画素値について、統計的ばらつきを示す指標を算出する。ここで、判定機能212は、統計的ばらつきを示す指標として、標準偏差や平均差、平均絶対偏差、四分位範囲等を算出することができる。なお、以下では、一例として、判定機能212が標準偏差を算出する場合について説明する。例えば、判定機能212は、判定対象画素を中心とする「3画素×3画素」の正方形領域に含まれる9つの画素の画素値について平均値を算出し、各画素における平均値との差の二乗を合計し、合計した値をデータの個数(9つ)で割った値の平方根を、標準偏差として算出する。
次に、判定機能212は、判定用範囲に含まれる各画素の画素値から算出した標準偏差に基づき、判定対象画素がスパイクノイズに相当するか否かを判定する。例えば、判定機能212は、まず、各画素にどの程度の割合でスパイクノイズが生じるのかを示すバックデータを、過去に同一のX線検出器16を用いて収集された画像データに基づいて取得する。ここで、画像レベル(画素値の平均値など)ごとにスパイクノイズの生じる割合が変化することから、判定機能212は、スパイクノイズが生じる割合を画像レベルごとに示すバックデータを取得する。
例えば、判定機能212は、過去に収集された画像データについて、画像データ全体の画素数とスパイクノイズが生じた画素の数との比を、スパイクノイズが生じた割合として算出し、算出した割合と画像データの画像レベルとを対応付けることで、バックデータを取得する。あるいは、過去に収集された画像データに基づいて算出されたバックデータが予め記憶回路25に記憶され、判定機能212は、記憶回路25からバックデータを読み出すことにより、バックデータを取得する。
次に、判定機能212は、取得したバックデータに基づいて、スパイクノイズであるか否かを判定するための閾値を設定する。例えば、判定機能212は、スパイクノイズが生じる割合を画像レベルごとに示すバックデータから、判定用範囲の画像レベル(判定用範囲に含まれる各画素の画素値の平均値等)に応じてスパイクノイズが生じる割合を取得し、取得した割合から閾値を設定する。一例を挙げると、判定機能212は、画素値が「3σ以上」となる画素をスパイクノイズと判定するように、閾値を設定する。
そして、判定機能212は、設定した閾値と、判定用範囲に含まれる各画素の画素値から算出した標準偏差と、判定対象画素の画素値とに基づいて、判定対象画素がスパイクノイズに相当するか否かを判定する。例えば、判定機能212は、判定対象画素の画素値が、判定用範囲に含まれる各画素の画素値の平均値に対して「3σ以上」となる場合、判定対象画素がスパイクノイズに相当すると判定する。一方、判定対象画素の画素値が平均値に対して「3σ未満」となる場合、判定機能212は、判定対象画素がスパイクノイズに相当しないと判定する。
上述したように、判定機能212は、バックデータや標準偏差を用いることで、画像レベルごとにスパイクノイズが生じる割合が変化することや、仮に判定対象画素がスパイクノイズであった場合に想定される画素値の大きさ等を考慮しつつ、判定対象画素がスパイクノイズに相当するか否かを判定する。なお、バックデータに係る画像レベルは、画素値の平均値であってもよいし、画素値の中央値であってもよいし、その他の代表値としてもよい。
また、判定機能212が算出する標準偏差については、種々の変形が可能である。例えば、判定機能212は、画素a1を中心とする「3画素×3画素」の正方形領域に含まれる9つの画素の画素値の中央値を算出し、各画素における中央値との差の二乗を合計し、合計した値をデータの個数(9つ)で割った値の平方根を、標準偏差として算出する。即ち、判定機能212は、判定用範囲内での画像レベルを、判定用範囲に含まれる各画素の画素値の平均値としてもよいし、判定用範囲に含まれる各画素の画素値の中央値としてもよいし、その他の代表値としてもよい。
また、判定機能212は、判定用範囲に含まれる各画素のうち判定対象画素を除く画素の画素値について、標準偏差を算出する場合であってもよい。即ち、判定対象画素がスパイクノイズであった場合、スパイクノイズを含む画素群で標準偏差を算出することとなり、標準偏差に基づく判定の信頼性が低下するため、判定機能212は、標準偏差の算出に判定対象画素を用いないこととしてもよい。
更に、判定機能212は、画像データを構成する画素のうち判定対象画素とする画素を順次変更することにより、画像データを構成する各画素がスパイクノイズに相当するか否かを判定する。即ち、判定機能212は、画像データを構成する各画素について、画素ごとに設定した判定用範囲に含まれる各画素の画素値について標準偏差を算出し、算出した標準偏差に基づいてスパイクノイズに相当するか否かを判定する。
なお、スパイクノイズが発生する割合(ノイズの期待値)が画像レベルごとに異なることから、判定用範囲が大きいと、ノイズ判定において誤差を生じる場合がある。例えば、
被検体Pの複数の部位(臓器や骨など)にわたる大きさの判定用範囲を設定した場合、被検体Pの部位ごとにノイズ判定の信頼性が変化する。即ち、判定用範囲での平均的な明るさに近い部位についてのノイズ判定に対し、平均的な明るさと大きく異なる部位についてのノイズ判定が不正確なものとなる。従って、判定機能212は、被検体Pの各部位よりも小さい判定用範囲を設定し、判定用範囲内での絵柄が均一となるようにしたり、判定用範囲内の各画素の画素値が同程度となるようにしたりすることで、ノイズ判定をより正確なものとすることができる。
次に、判定機能212による判定について、別の例を説明する。まず、判定機能212は、画像データを構成する各画素の画素値の平方根について、統計的ばらつきを示す指標を算出する。即ち、判定機能212は、画素ごとに設定した判定用範囲内の画素値について、統計的ばらつきを示す指標を算出するのでなく、画像全体における各画素の画素値の平方根について、統計的ばらつきを示す指標を算出する。なお、以下では、一例として、判定機能212が標準偏差を算出する場合について説明する。
ここで、画像レベルによってノイズの期待値は異なるものの、ルートの変換をかけて平方根を算出した場合、ノイズの期待値が均一化される。即ち、画像データに生じるノイズは画像レベルの平方根の値に比例することから、判定機能212は、画素値の平方根について算出した標準偏差を用いて、画像全体の各画素について一律にスパイクノイズか否かを判定することができる。なお、判定機能212は、画像データに生じるノイズが画像レベルの平方根の値に比例するのは回路ノイズを無視した場合であることを考慮し、回路ノイズの影響に相当するオフセット値を画素値の平方根に加えて、標準偏差を算出することとしてもよい。
そして、判定機能212は、画像データ全体の画素の画素値の平方根について算出した標準偏差に基づいて、判定対象画素がスパイクノイズに相当するか否かを判定する。更に、判定機能212は、画像データを構成する画素のうち判定対象画素とする画素を順次変更することにより、画像データを構成する各画素がスパイクノイズに相当するか否かを判定する。即ち、判定機能212は、画像データを構成する各画素の画素値の平方根について標準偏差を算出し、算出した標準偏差に基づいて、各画素がスパイクノイズに相当するか否かを判定する。
また、判定機能212は、上述した標準偏差に加え、画像データの変調伝達関数(Modulation Transfer Function:MTF)に基づいて、各画素がスパイクノイズに相当するか否かを判定する場合であってもよい。例えば、判定機能212は、まず、画像データの各画素における画素値を位置の関数としてフーリエ変換する。ここで、スパイクノイズは点状のノイズであることから、画像データにスパイクノイズが含まれる場合、高周波領域の信号が多いMTFが得られる。一方で、画像データにスパイクノイズが含まれなければ、高周波領域の信号は少なくなる。
従って、判定機能212は、MTFを考慮することにより、スパイクノイズの有無を判定することができる。また、判定機能212は、画像データ上に設定された複数の領域ごとにMTFを算出することで、領域ごとにスパイクノイズの有無を判定し、画像データ全体に含まれるスパイクノイズの数を推定することができる。そして、判定機能212は、標準偏差及びMTFに基づいて各画素がノイズに相当するか否かを判定することで、標準偏差のみに基づいてノイズに相当するか否かを判定する場合と比較し、スパイクノイズか否かの判定をより正確なものとすることができる。
また、判定機能212は、画像レベルに対する判定対象画素の画素値の大小に応じて、判定対象画素がスパイクノイズに相当するか否かを判定する場合であってもよい。例えば、画像データにおいて、被検体Pの部位やデバイス等を示す信号は、画像データ全体の画像レベルに対して小さい画素値で、暗く表現される。一方で、スパイクノイズは、画像レベルに対して大きい画素値で、明るく表現される。従って、判定機能212は、画像レベルからの乖離を標準偏差により評価してスパイクノイズか否かを評価するにあたり、画素値が周辺より小さい画素はスパイクノイズと判定しないこととしてもよい。
判定機能212が、画像データの各画素についてスパイクノイズに相当するか否かを判定した後、算出機能213は、画像データを構成する画素間の類似度を算出する。以下では、画像データを構成する画素のうち第1の画素と第2の画素との類似度を算出する場合について、図2を用いて説明する。図2は、第1の実施形態に係る類似度の算出を説明するための図である。
図2においては、第1の画素として画素a1を示し、第2の画素として画素b1を示す。また、図2においては、第1の画素の周辺に位置する第1の周辺画素として画素a2〜a9を示し、第2の画素の周辺に位置する第2の周辺画素として画素b2〜b9を示す。なお、図2に示す画素a1〜a9及び画素b1〜b9は、同一の平面(XY平面)上に位置する。
図2において、第1の画素(画素a1)がスパイクノイズでないと判定された場合、算出機能213は、第1の画素(画素a1)と第2の画素(画素b1)との類似度を、第1の画素(画素a1)及び第2の画素(画素b1)の周辺の画素を含んで算出する。例えば、算出機能213は、第1の画素(画素a1)と第2の画素(画素b1)との類似度を、第1の画素(画素a1)及び第1の周辺画素(画素a2〜a9)と、第2の画素(画素b1)及び第2の周辺画素(画素b2〜b9)とを比較することによって算出する。
次に、平均機能214は、算出機能213が算出した類似度に基づいて、第1の画素(画素a1)と第2の画素(画素b1)とを重み付き平均することで、画像データに対するフィルタ処理を実行する。即ち、平均機能214は、第1の画素(画素a1)と第2の画素(画素b1)との類似度が大きい場合、大きな重みを付して、第1の画素(画素a1)の画素値と、第2の画素(画素b1)の画素値とを平均する。一方、第1の画素(画素a1)と第2の画素(画素b1)との類似度が小さい場合、平均機能214は、重みを小さくして、第1の画素(画素a1)の画素値と第2の画素(画素b1)との画素値とを平均する。このように、類似度に基づく重みで画素同士を平均することにより、平均機能214は、X線画像の分解能の低下を抑えつつ、スパイクノイズを除去することができる。
一方で、第1の画素(画素a1)がスパイクノイズであると判定された場合において、画素a1〜a9と画素b1〜b9とを比較することによって類似度を算出し、第1の画素(画素a1)と第2の画素(画素b1)とを重み付き平均すると、第1の画素(画素a1)にスパイクノイズが残存する場合がある。
例えば、第1の画素(画素a1)がスパイクノイズであり、第2の画素(画素b1)がスパイクノイズでない場合において、画素a1〜a9と画素b1〜b9とを比較することによって類似度を算出すると、第1の画素(画素a1)と第2の画素(画素b1)とで画素値が大きく異なるため、類似度は小さく算出される。このような小さい類似度を重みとして、第1の画素(画素a1)と第2の画素(画素b1)とを重み付き平均した場合、第1の画素(画素a1)の画素値の変化は小さく、スパイクノイズが残存する。
また、例えば、第1の画素(画素a1)及び第2の画素(画素b1)の双方がスパイクノイズである場合において、画素a1〜a9と画素b1〜b9とを比較することによって類似度を算出すると、第1の画素(画素a1)及び第2の画素(画素b1)の画素値が周囲の画素より大きいという点で共通するため、類似度は大きく算出される。しかしながら、スパイクノイズである第2の画素(画素b1)と重み付き平均しても第1の画素(画素a1)の画素値の変化は小さく、スパイクノイズが残存する。
そこで、算出機能213は、第1の画素(画素a1)がスパイクノイズであると判定された場合、第1の画素(画素a1)と第2の画素(画素b1)との類似度を、第1の画素(画素a1)の画素値を用いないで算出する。例えば、算出機能213は、第1の画素(画素a1)と第2の画素(画素b1)との類似度を、第1の周辺画素(画素a2〜a9)と第2の周辺画素(画素b2〜b9)とを比較することによって算出する。
算出機能213は、スパイクノイズである第1の画素(画素a1)の画素値を用いないで類似度を算出することにより、第2の画素(画素b1)がスパイクノイズでない場合においても、周辺の画素が類似していれば、類似度を大きな値として算出する。そして、平均機能214は、第1の画素(画素a1)について、大きな類似度を重みとしてスパイクノイズでない第2の画素(画素b1)と重み付き平均することにより、第1の画素(画素a1)の画素値を第2の画素(画素b1)の画素値に近づける。即ち、算出機能213は、第1の画素(画素a1)におけるスパイクノイズを低減する。
図2においては、画像データを構成する画素のうち、画素a1を第1の画素とし、画素b1を第2の画素として、類似度の算出及び重み付き平均をする場合について説明した。更に、算出機能213及び平均機能214は、画像データを構成する画素において、第1の画素とする画素及び第2の画素とする画素を順次変更していくことで、画像データを構成する画素の組み合わせの各々について類似度の算出及び重み付き平均を実行する。
例えば、算出機能213及び平均機能214は、まず、画素a1を第1の画素とし、画像データを構成する画素のうち画素a1を除く画素を順次第2の画素として、類似度の算出及び重み付き平均を実行する。次に、算出機能213及び平均機能214は、第1の画素を、画像データを構成する画素のうち画素a1を除くいずれかの画素に変更し、既に第1の画素とした画素a1及び変更後の第1の画素を除く画素を順次第2の画素として、類似度の算出及び重み付き平均を実行する。更に、算出機能213及び平均機能214は、第1の画素を、画像データを構成する画素のうち既に第1の画素とした画素を除くいずれかの画素に変更し、既に第1の画素とした画素及び変更後の第1の画素を除く画素を順次第2の画素として類似度の算出及び重み付き平均を実行する処理を、画像データを構成する全ての画素を第1の画素とするまで繰り返し実行する。
なお、図2においては、第1の周辺画素が、第1の画素(画素a1)の周辺の8つの画素(画素a2〜a9)である場合について説明したが、第1の周辺画素とする画素の範囲は任意である。例えば、第1の周辺画素は8つでなく、第1の画素(画素a1)を中心とする「5画素×5画素」の正方形領域に含まれる第1の画素(画素a1)以外の24の画素であってもよい。また、例えば、第1の周辺画素は、第1の画素(画素a1)を中心とする正方形領域に含まれる画素でなく、例えば、正方形から角の画素を除いた形状や円形の形状の領域に含まれる画素であってもよい。また、第2の周辺画素の範囲は、第1の周辺画素の範囲に対応する。
そして、制御機能215は、判定機能212、算出機能213及び平均機能214による画像処理(フィルタ処理)後の画像データを、記憶回路25に格納する。また、制御機能215は、記憶回路25に格納された画像処理後の画像データから表示用画像を生成し、ディスプレイ23に表示させる。
次に、X線診断装置100による処理の手順の一例を、図3を用いて説明する。図3は、第1の実施形態に係るX線診断装置100の処理の一連の流れを説明するためのフローチャートである。ステップS101は、収集機能211に対応するステップである。ステップS102は、判定機能212に対応するステップである。ステップS103、ステップS104及びステップS105は、算出機能213に対応するステップである。ステップS106は、平均機能214に対応するステップである。ステップS107は、制御機能215に対応するステップである。
まず、処理回路21は、被検体Pを透過したX線に基づいてX線画像を収集し(ステップS101)、収集したX線画像における判定対象画素について、スパイクノイズに相当するか否かを判定する(ステップS102)。判定対象画素がスパイクノイズに相当する場合(ステップS102肯定)、処理回路21は、類似度の算出に用いる画素を変更する(ステップS103)。例えば、処理回路21は、類似度の算出に用いる画素を、図2に示す画素a1〜a9及び画素b1〜b9から、画素a2〜a9及び画素b2〜b9に変更する。
類似度の算出に用いる画素を変更した後、あるいは判定対象画素がスパイクノイズに相当しない場合(ステップS102否定)、処理回路21は、類似度の算出に用いる画素を決定し(ステップS104)、決定した画素を用いて類似度を算出する(ステップS105)。次に、処理回路21は、算出した類似度に基づいてフィルタ処理を実行する(ステップS106)。即ち、処理回路21は、算出した類似度に基づいて画素間で重み付き平均する処理を実行する。そして、処理回路21は、フィルタリング済みのX線画像を出力し(ステップS107)、処理を終了する。
上述したように、第1の実施形態によれば、判定機能212は、X線画像を構成する各画素について、スパイクノイズに相当するか否かを判定する。算出機能213は、X線画像を構成する第1の画素と第2の画素との類似度を算出する。平均機能214は、算出された類似度に基づいて第1の画素と第2の画素とを重み付き平均することで、X線画像に対するフィルタ処理を実行する。算出機能213は、第1の画素がスパイクノイズに相当すると判定された場合、第1の画素の周辺に位置する第1の周辺画素と、第2の画素の周辺に位置する第2の周辺画素とを比較することによって、第1の画素と第2の画素との類似度を算出する。従って、第1の実施形態に係るX線診断装置100は、X線画像の分解能の低下を抑えつつ、点状のノイズを除去することができる。
(第2の実施形態)
上述した第1の実施形態では、第1の画素がスパイクノイズであると判定された場合に、第1の画素の画素値を用いないで第1の画素と第2の画素との類似度を算出する方法の一例として、第1の周辺画素と第2の周辺画素とを比較して類似度を算出する場合について説明した。これに対し、第2の実施形態では、第1の画素がスパイクノイズであると判定された場合に、第1の画素の画素値を用いないで第1の画素と第2の画素との類似度を算出する方法のバリエーションについて説明する。
第2の実施形態に係るX線診断装置100は、図1に示した第1の実施形態に係るX線診断装置100と同様の構成を有し、算出機能213による処理の一部が相違する。そこで、第1の実施形態において説明した構成と同様の構成を有する点については、図1と同一の符号を付し、説明を省略する。
以下、図4を用いて、第2の実施形態に係る類似度の算出について説明する。図4は、第2の実施形態に係る類似度の算出を説明するための図である。図4は、画像データを構成する画素のうち、第1の画素(画素a1)と、第1の画素の周辺に位置する第1の周辺画素(画素a2〜a9)とを示す。なお、以下では、判定機能212により、第1の画素(画素a1)がスパイクノイズに相当すると判定された場合について説明する。
まず、算出機能213は、第1の画素の画素値を、第1の周辺画素の画素値に基づく統計値により置換する。例えば、算出機能213は、まず、第1の画素(画素a1)の画素値を、第1の周辺画素(画素a2〜a9)の画素値の平均値により置換する。次に、算出機能213は、画素値を置換した第1の画素(画素a1)及び第1の周辺画素(画素a2〜a9)と、図示しない第2の画素及び第2の周辺画素とを比較することによって類似度を算出する。即ち、算出機能213は、9画素間での比較により類似度を算出する。そして、平均機能214は、算出された類似度に基づいて、第1の画素と、第2の画素とを重み付き平均する。
上述した例では、第1の周辺画素の画素値に基づく統計値として、第1の周辺画素の画素値の平均値について説明したが、実施形態はこれに限定されるものではない。例えば、算出機能213は、第1の画素の画素値を、第1の周辺画素の画素値の平均値により置換する場合であってもよいし、第1の周辺画素の画素値の中央値により置換する場合であってもよいし、第1の周辺画素の画素値に基づくその他の代表値により置換する場合であってもよい。
上述したように、第2の実施形態によれば、算出機能213は、第1の画素がスパイクノイズに相当すると判定された場合、第1の画素の画素値を、第1の周辺画素の画素値の平均値や中央値により置換し、画素値を置換した第1の画素及び第1の周辺画素と、第2の画素及び第2の周辺画素とを比較することによって、第1の画素と第2の画素との類似度を算出する。従って、第2の実施形態に係るX線診断装置100は、第1の画素の画素値を用いないこととしても、類似度の算出に用いる画素の数を保って類似度の信頼性を維持しつつ、点状のノイズを除去することができる。
(第3の実施形態)
上述した実施形態では、第1の画素と第2の画素との類似度を算出する際、第1の周辺画素と第2の周辺画素とを比較し、あるいは、第1の画素及び第1の周辺画素と、第2の画素及び第2の周辺画素とを比較する場合について説明した。即ち、上述した実施形態では、類似度の算出に用いる画素を、1つのX線画像から選択する場合について説明した。これに対し、第3の実施形態では、類似度の算出に用いる画素を、1又は複数のX線画像から選択する場合について説明する。
第3の実施形態に係るX線診断装置100は、図1に示した第1の実施形態に係るX線診断装置100と同様の構成を有し、収集機能211、判定機能212及び算出機能213による処理の一部が相違する。そこで、第1の実施形態において説明した構成と同様の構成を有する点については、図1と同一の符号を付し、説明を省略する。
まず、収集機能211は、X線画像を経時的に複数収集する。例えば、収集機能211は、図1に示すXY平面上における2次元画像としてのX線画像を、一定の時間間隔で連続的に収集する。なお、以下では、経時的に収集された複数のX線画像を複数のフレームと記載し、個々のX線画像をフレームと記載する。
次に、判定機能212は、複数のフレームを構成する各画素について、スパイクノイズに相当するか否かを判定する。ここで、図5を用いて、第3の実施形態に係るスパイクノイズの判定について説明する。図5は、第3の実施形態に係るスパイクノイズの判定及び類似度の算出を説明するための図である。図5は、経時的に収集された複数のフレームのうちの3つのフレームにおける5箇所の対応する画素を示す。
図5において、画素a1、画素c1、画素d1、画素e1及び画素f1は、時間t1のフレーム上の画素を示す。また、画素a10、画素c2、画素d2、画素e2及び画素f2は、時間t2のフレーム上の画素を示す。また、画素a11、画素c3、画素d3、画素e3及び画素f3は、時間t3のフレーム上の画素を示す。
例えば、判定機能212は、まず、時間t1のフレーム上の各画素について、スパイクノイズに相当するか否かを判定する。例えば、判定機能212は、画素a1について、スパイクノイズに相当するか否かを判定するための判定用範囲を設定する。ここで、判定用範囲は、例えば、画素a1を中心とし、X方向に3画素、Y方向に3画素の正方形領域である。次に、判定機能212は、判定用範囲に含まれる各画素の画素値について標準偏差を算出し、算出した標準偏差に基づいて、画素a1がスパイクノイズに相当するか否かを判定する。更に、判定機能212は、画素c1、画素d1、画素e1及び画素f1を含む時間t1のフレーム上の各画素について、判定用範囲に含まれる各画素の画素値について標準偏差を算出し、スパイクノイズに相当するか否かを判定する。あるいは、判定機能212は、時間t1のフレーム上の各画素の画素値の平方根について標準偏差を算出し、算出した標準偏差に基づいて、時間t1のフレーム上の各画素がスパイクノイズに相当するか否かを判定する。
更に、判定機能212は、時間t2のフレーム上の各画素(画素a10や画素c2、画素d2、画素e2、画素f2など)、時間t3のフレーム上の各画素(画素a11や画素c3、画素d3、画素e3、画素f3など)、その他図示しないフレーム上の各画素について、スパイクノイズに相当するか否かを判定する。
次に、算出機能213は、フレーム上の画素間の類似度を算出する。例えば、算出機能213は、まず、時間t1のフレーム上の第1の画素(例えば、画素a1)と、第2の画素(例えば、画素c1)との類似度を算出する。ここでまず、第1の画素(画素a1)が、判定機能212によりスパイクノイズに相当しないと判定された場合における、第2の画素(画素c1)との類似度の算出について説明する。
第1の画素(画素a1)がスパイクノイズに相当しないと判定された場合、算出機能213は、第1の画素(画素a1)と第2の画素(画素c1)との類似度を、第1の画素(画素a1)及び第1の画素(画素a1)からフレーム方向の範囲に含まれる第3の周辺画素と、第2の画素(画素c1)及び第2の画素(画素c1)からフレーム方向の範囲に含まれる第4の周辺画素とを比較することによって算出する。ここで、フレーム方向は、図5に示すt方向(即ち、時間方向)である。例えば、画素a1からフレーム方向には、画素a10や画素a11などが位置する。画素a1や画素a10、画素a11は、例えば、X線検出器16の同一の検出素子に対応する画素であり、X線を検出した時間のみが異なる。
フレーム方向の範囲は、類似度の算出に用いる画素を決定するためのフレーム方向(時間方向)の範囲である。フレーム方向の範囲は、プリセットされた範囲であってもよいし、入力回路22を介して操作者からの入力操作を受け付けることで設定される範囲であってもよい。あるいは、フレーム方向の範囲は、第1の画素を含むフレームに基づいて、算出機能213が設定する場合であってもよい。例えば、算出機能213は、第1の画素を含むフレームの周波数成分や、フレーム間の画素値の変化の大きさに応じて、フレーム方向の範囲を設定する。一例を挙げると、算出機能213は、フレーム間の画素値の変化が小さく、フレーム方向の相関が強いほど、フレーム方向の範囲を大きく設定する。
例えば、フレーム方向の範囲は、「第1の画素を含むフレームを含んで3フレーム分の範囲」や、「第1の画素を含むフレームから0.3秒以内の範囲」のように設定される。例えば、フレーム方向の範囲が、「第1の画素を含むフレームを含んで3フレーム分の範囲」である場合、第1の画素(画素a1)からフレーム方向の範囲に含まれる第3の周辺画素は、画素a10及び画素a11であり、第2の画素(画素c1)からフレーム方向の範囲に含まれる第4の周辺画素は、画素c2及び画素c3である。
例えば、算出機能213は、第1の画素(画素a1)と第2の画素(画素c1)との類似度を、第1の画素(画素a1)及び第3の周辺画素(画素a10及び画素a11)と、第2の画素(画素c1)及び第4の周辺画素(画素c2及び画素c3)とを比較することによって算出する。即ち、算出機能213は、フレーム方向(時間方向)に3画素分で、空間方向に広がりを持たない画素群の間で類似度を算出する。そして、平均機能214は、空間方向に広がりを持たない画素群の間で算出された類似度に基づいて画素間の重み付き平均を実行する。このようなフィルタ処理によれば、例えば、空間方向の画素値の変化が大きい場合(構造が複雑な部位についてX線画像を収集した場合など)において、X線画像が平滑化されて暈けてしまうことを防ぎつつ、ノイズを除去することができる。
次に、第1の画素(画素a1)が、判定機能212によりスパイクノイズに相当すると判定された場合における類似度の算出について説明する。例えば、第1の画素(画素a1)がスパイクノイズである場合に、第1の画素(画素a1)と第2の画素(画素c1)との類似度を、第1の画素(画素a1)及び第3の周辺画素(画素a10及び画素a11)と、第2の画素(画素c1)及び第4の周辺画素(画素c2及び画素c3)とを比較することによって算出した場合、重み付き平均を実行しても、第1の画素(画素a1)にスパイクノイズが残存する場合がある。
即ち、第1の画素(画素a1)がスパイクノイズであり第2の画素(画素c1)がスパイクノイズでない場合、類似度は小さく算出され、重み付き平均を実行しても第1の画素(画素a1)の画素値は大きいままとなり、スパイクノイズが残存する。また、第1の画素(画素a1)及び第2の画素(画素c1)がスパイクノイズである場合は、類似度は大きく算出されるが、スパイクノイズである第2の画素(画素c1)と重み付き平均を実行しても第1の画素(画素a1)の画素値は大きいままとなり、スパイクノイズが残存する。
一方で、第1の画素(画素a1)の画素値を用いないこととし、例えば、第1の画素(画素a1)と第2の画素(画素c1)との類似度を、第3の周辺画素(画素a10及び画素a11)と第4の周辺画素(画素c2及び画素c3)とを比較することによって算出した場合、2画素間での比較となるため、算出される類似度の信頼性が低下する。また、第3の周辺画素及び第4の周辺画素のフレーム方向の範囲を拡大することにより、類似度の算出に用いる画素の数を増やした場合、フレーム方向の画素値の変化(被検体Pの撮影時における動きに起因する変化など)の影響を受け、X線画像が平滑化されて不明瞭となってしまう場合がある。
そこで、第3の実施形態に係る算出機能213は、第1の画素(画素a1)がスパイクノイズに相当すると判定された場合、類似度の算出に用いる画素の空間的な範囲を変更する。例えば、第1の画素(画素a1)がスパイクノイズに相当すると判定された場合、算出機能213は、第1の画素(画素a1)からフレームの縦方向及び横方向の範囲に含まれる第1の周辺画素と、第2の画素(画素c1)からフレームの縦方向及び横方向の範囲に含まれる第2の周辺画素とを比較することによって、類似度を算出する。
ここで、フレームの縦方向及び横方向は、フレーム(X線画像)に平行な任意の2方向であり、例えば、図5に示すX方向及びY方向である。例えば、画素a1からフレームの縦方向及び横方向には、画素c1や画素d1、画素e1、画素f1などが位置する。画素a1や画素c1、画素d1、画素e1、画素f1は、例えば、X線検出器16により同時に、異なる検出素子で検出された画素である。即ち、フレーム方向が時間方向であるのに対して、フレームの縦方向及び横方向は空間方向である。
フレームの縦方向及び横方向の範囲は、類似度の算出に用いる画素を決定するための範囲である。フレームの縦方向及び横方向の範囲は、プリセットされた範囲であってもよいし、入力回路22を介して操作者からの入力操作を受け付けることで設定される範囲であってもよい。あるいは、フレームの縦方向及び横方向の範囲は、第1の画素を含むフレームに基づいて、算出機能213が設定する場合であってもよい。例えば、算出機能213は、第1の画素を含むフレームの周波数成分に応じて、フレームの縦方向及び横方向の範囲を設定する。
また、フレームの縦方向及び横方向の範囲は、任意の大きさ及び形状を有し、フレーム上に2次元の範囲として設定される範囲である。例えば、フレームの縦方向及び横方向の範囲を、X方向に3画素、Y方向に3画素の正方形領域とした場合、第1の周辺画素は、第1の画素(画素a1)を中心とした正方形領域に含まれる第1の画素(画素a1)以外の8つの画素となり、第2の周辺画素は、第2の画素(画素c1)を中心とした正方形領域に含まれる第2の画素(画素c1)以外の8つの画素となる。
例えば、算出機能213は、第1の画素(画素a1)がスパイクノイズである場合、類似度の算出に、第1の画素(画素a1)の画素値を用いないこととする。また、算出機能213は、類似度の算出に用いる画素を、第3の周辺画素(画素a10及び画素a11)及び第4の周辺画素(画素c2及び画素c3)から、第1の周辺画素(画素a1を中心とする「3画素×3画素」の正方形領域に含まれる画素a1以外の8つの画素)及び第2の周辺画素(画素c1を中心とする「3画素×3画素」の正方形領域に含まれる画素c1以外の8つの画素)へと変更する。そして、算出機能213は、第1の周辺画素と第2の周辺画素とを比較して、第1の画素(画素a1)と第2の画素(画素c1)との類似度を算出する。
上述したように、算出機能213は、第1の画素(画素a1)がスパイクノイズである場合、第1の画素(画素a1)の画素値を用いず、かつ、類似度の算出に用いる画素を空間方向に拡張する。従って、算出機能213は、スパイクノイズである第1の画素の画素値を用いないこととしつつも、類似度の算出に用いる画素の数を増やして、類似度の信頼性を高めることができる。更に、算出機能213は、第2の画素(画素c1)がスパイクノイズでない場合においても、周辺の画素が類似していれば類似度を大きな値として算出する。そして、平均機能214は、スパイクノイズである第1の画素(画素a1)について、大きな類似度を重みとしてスパイクノイズでない第2の画素(画素c1)との重み付き平均をすることにより、第1の画素(画素a1)におけるスパイクノイズを低減する。
これまで、時間t1のフレーム上の画素のうち、画素a1を第1の画素とし、画素c1を第2の画素として、類似度の算出及び重み付き平均をする場合について説明した。更に、算出機能213及び平均機能214は、時間t1のフレーム上の画素において、第1の画素とする画素及び第2の画素とする画素を順次変更し、時間t1のフレームを構成する画素の組み合わせの各々について類似度の算出及び重み付き平均を実行する。また、算出機能213及び平均機能214は、時間t1のフレーム以外のフレームについても、フレームを構成する画素の組み合わせの各々について類似度の算出及び重み付き平均を実行する。
そして、制御機能215は、判定機能212、算出機能213及び平均機能214による画像処理(フィルタ処理)後の各フレームを、記憶回路25に格納する。また、制御機能215は、記憶回路25に格納された画像処理後の複数のフレームをディスプレイ23に表示させる。ここで、複数のフレームは、例えば、ディスプレイ23において動画像として表示される。
なお、これまで、第1の画素がスパイクノイズでない場合に類似度の算出に用いる範囲を、フレーム方向に3画素分で空間方向に広がりを持たない範囲とする場合について説明した。即ち、第1の画素がスパイクノイズでない場合、(フレームの横方向(h),フレームの縦方向(v),フレーム方向(f))=(1,1,3)の範囲で類似度を算出する場合について説明した。また、これまで、第1の画素がスパイクノイズである場合に類似度の算出に用いる範囲を、「3画素×3画素」の正方形領域とする場合について説明した。即ち、第1の画素がスパイクノイズである場合、(h,v,f)=(3,3,1)の範囲で類似度を算出する場合について説明した。しかしながら、類似度の算出に用いる範囲については、種々の変形が可能である。
例えば、算出機能213は、第1の画素がスパイクノイズである場合に類似度の算出に用いる範囲を、第1の画素を含むフレーム上の画素に限定せず、他のフレームの画素を含むように設定してもよい。一例を挙げると、算出機能213は、第1の画素がスパイクノイズである場合、(h,v,f)=(3,3,3)の範囲で類似度を算出する。即ち、算出機能213は、判定機能212により第1の画素がスパイクノイズに相当すると判定された場合、第1の画素から縦方向(v)、横方向(h)及びフレーム方向(f)の範囲に含まれる第1の周辺画素と、第2の画素から縦方向(v)、横方向(h)及びフレーム方向(f)の範囲に含まれる第2の周辺画素とを比較することによって類似度を算出する場合であってもよい。かかる場合、第1の周辺画素は、第1の画素を中心とした(h,v,f)=(3,3,3)の範囲に含まれる第1の画素以外の26の画素であり、第2の周辺画素は、第2の画素を中心とした(h,v,f)=(3,3,3)の範囲に含まれる第2の画素以外の26の画素である。
また、算出機能213は、第1の画素がスパイクノイズに相当すると判定された場合、第1の周辺画素と第2の周辺画素とを比較することによって類似度を算出する場合であってもよいし、第1の画素の画素値を第1の周辺画素の画素値の平均値又は中央値に置換し、画素値を置換した第1の画素及び第1の周辺画素と、第2の画素及び第2の周辺画素とを比較することによって類似度を算出する場合であってもよい。
上述したように、第3の実施形態によれば、算出機能213は、第1の画素がスパイクノイズに相当しないと判定された場合、第1の画素及び第1の画素からフレーム方向の範囲に含まれる第3の周辺画素と、第2の画素及び第2の画素からフレーム方向の範囲に含まれる第4の周辺画素と比較することによって類似度を算出する。また、算出機能213は、第1の画素がスパイクノイズに相当すると判定された場合、第1の画素からX線画像の縦方向及び横方向の範囲に含まれる第1の周辺画素と、第2の画素からX線画像の縦方向及び横方向の範囲に含まれる第2の周辺画素とを比較することによって類似度を算出する。従って、第3の実施形態に係るX線診断装置100は、第1の画素の画素値を用いないこととしても、類似度の算出に用いる画素の数を維持又は増加させ、類似度の信頼性を維持しつつ、点状のノイズを除去することができる。
上述した第1〜第3の実施形態において説明した処理回路21による処理は、画素間の類似度の算出及び類似度に基づく画素間の重み付き平均を含む任意のフィルタ処理に適用することができる。例えば、上述した実施形態で説明した画像処理方法は、コヒーレント・フィルタを用いたフィルタ処理や、非局所平均フィルタを用いたフィルタ処理に適用することができる。
また、上述した第1〜第3の実施形態では、X線診断装置により収集されるX線画像に対する画像処理について説明したが、実施形態はこれに限定されるものではない。例えば、上述した実施形態で説明した画像処理方法は、点状のノイズを含みうる種々の画像(例えば、光学カメラにより撮影された画像など)に適用できる。
また、上述した第1〜第3の実施形態では、処理回路21を有するX線診断装置について説明したが、実施形態はこれに限定されるものではない。例えば、画像処理装置が有する処理回路において、判定機能212、算出機能213及び平均機能214に対応する機能が実現される場合であってもよい。一例を挙げると、画像処理装置が有する処理回路は、まず、X線診断装置により収集されたX線画像等の画像を取得し、取得した画像を構成する各画素について点状のノイズに相当するか否かを判定し、画像を構成する第1の画素と第2の画素との類似度を算出する。ここで、第1の画素が点状のノイズに相当すると判定した場合、処理回路は、第1の画素の周辺に位置する第1の周辺画素と、第2の画素の周辺に位置する第2の周辺画素とを比較することによって、第1の画素と第2の画素との類似度を算出する。そして、処理回路は、算出した類似度に基づいて第1の画素と第2の画素とを重み付き平均する。
上述した実施形態に係る各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。即ち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。更に、各装置にて行われる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されうる。
また、上述した実施形態で説明した画像処理方法は、予め用意された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。この画像処理プログラムは、インターネット等のネットワークを介して配布することができる。また、この画像処理プログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
以上説明した少なくとも1つの実施形態によれば、画像の分解能の低下を抑えつつ、点状のノイズを除去することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
100 X線診断装置
211 収集機能
212 判定機能
213 算出機能
214 平均機能
215 制御機能

Claims (11)

  1. 画像を構成する各画素について、点状のノイズに相当するか否かを判定する判定部と、
    前記画像を構成する第1の画素と第2の画素との類似度を算出する算出部と、
    算出された前記類似度に基づいて前記第1の画素と前記第2の画素とを重み付き平均することで、前記画像に対するフィルタ処理を実行する平均部とを備え、
    前記算出部は、前記第1の画素が前記ノイズに相当すると判定された場合、前記第1の画素の周辺に位置する第1の周辺画素と、前記第2の画素の周辺に位置する第2の周辺画素とを比較することによって前記類似度を算出する、画像処理装置。
  2. 前記算出部は、前記第1の画素が前記ノイズに相当すると判定された場合、前記第1の画素の画素値を、前記第1の周辺画素の画素値に基づく統計値により置換し、画素値を置換した前記第1の画素及び前記第1の周辺画素と、前記第2の画素及び前記第2の周辺画素とを比較することによって前記類似度を算出する、請求項1に記載の画像処理装置。
  3. 前記統計値は、前記第1の周辺画素の画素値の平均値である、請求項2に記載の画像処理装置。
  4. 前記統計値は、前記第1の周辺画素の画素値の中央値である、請求項2に記載の画像処理装置。
  5. 前記画像は、経時的に収集された複数のフレームのうちいずれかのフレームであり、
    前記算出部は、前記第1の画素が前記ノイズに相当しないと判定された場合、前記第1の画素及び前記第1の画素からフレーム方向の範囲に含まれる第3の周辺画素と、前記第2の画素及び前記第2の画素から前記フレーム方向の範囲に含まれる第4の周辺画素と比較することによって前記類似度を算出し、前記第1の画素が前記ノイズに相当すると判定された場合、前記第1の画素から前記画像の縦方向及び横方向の範囲に含まれる前記第1の周辺画素と、前記第2の画素から前記縦方向及び前記横方向の範囲に含まれる前記第2の周辺画素とを比較することによって前記類似度を算出する、請求項1に記載の画像処理装置。
  6. 前記算出部は、前記第1の画素が前記ノイズに相当すると判定された場合、前記第1の画素から前記縦方向、前記横方向及び前記フレーム方向の範囲に含まれる前記第1の周辺画素と、前記第2の画素から前記縦方向、前記横方向及び前記フレーム方向の範囲に含まれる前記第2の周辺画素とを比較することによって前記類似度を算出する、請求項5に記載の画像処理装置。
  7. 前記判定部は、前記画像を構成する各画素について、画素ごとに設定した範囲に含まれる各画素の画素値について統計的ばらつきを示す指標を算出し、算出した指標に基づいて前記ノイズに相当するか否かを判定する、請求項1乃至6のいずれか一項に記載の画像処理装置。
  8. 前記判定部は、前記画像を構成する各画素の画素値の平方根について統計的ばらつきを示す指標を算出し、算出した指標に基づいて、前記画像を構成する各画素が前記ノイズに相当するか否かを判定する、請求項1乃至6のいずれか一項に記載の画像処理装置。
  9. 前記指標は、標準偏差である、請求項7又は8に記載の画像処理装置。
  10. 前記判定部は、前記指標、及び、前記画像の変調伝達関数に基づいて、前記画像を構成する各画素が前記ノイズに相当するか否かを判定する、請求項7乃至9のいずれか一項に記載の画像処理装置。
  11. 被検体を透過したX線に基づいてX線画像を収集する収集部と、
    前記X線画像を構成する各画素について、点状のノイズに相当するか否かを判定する判定部と、
    前記X線画像を構成する第1の画素と第2の画素との類似度を算出する算出部と、
    算出された前記類似度に基づいて前記第1の画素と前記第2の画素とを重み付き平均することで、前記画像に対するフィルタ処理を実行する平均部とを備え、
    前記算出部は、前記第1の画素が前記ノイズに相当すると判定された場合、前記第1の画素の周辺に位置する第1の周辺画素と、前記第2の画素の周辺に位置する第2の周辺画素とを比較することによって前記類似度を算出する、X線診断装置。
JP2017008818A 2017-01-20 2017-01-20 画像処理装置及びx線診断装置 Active JP6870993B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017008818A JP6870993B2 (ja) 2017-01-20 2017-01-20 画像処理装置及びx線診断装置
US15/869,918 US10679097B2 (en) 2017-01-20 2018-01-12 Image processing apparatus, X-ray diagnostic apparatus, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017008818A JP6870993B2 (ja) 2017-01-20 2017-01-20 画像処理装置及びx線診断装置

Publications (2)

Publication Number Publication Date
JP2018114233A true JP2018114233A (ja) 2018-07-26
JP6870993B2 JP6870993B2 (ja) 2021-05-12

Family

ID=62906530

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017008818A Active JP6870993B2 (ja) 2017-01-20 2017-01-20 画像処理装置及びx線診断装置

Country Status (2)

Country Link
US (1) US10679097B2 (ja)
JP (1) JP6870993B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021018791A (ja) * 2019-07-22 2021-02-15 調 荻野 時系列データの前処理プログラム及び前処理方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016043691A1 (en) * 2014-09-15 2016-03-24 Analogic Corporation Noise reduction in a radiation image
JP2019212138A (ja) * 2018-06-07 2019-12-12 コニカミノルタ株式会社 画像処理装置、画像処理方法及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08307771A (ja) * 1995-05-02 1996-11-22 Toshiba Corp 動き領域検出回路並びにこの動き領域検出回路を用いたノイズ低減フィルタ及びx線透視装置
WO2002086821A1 (fr) * 2001-04-19 2002-10-31 Kabushiki Kaisha Toshiba Procede et dispositif de traitement d'image
US20050276510A1 (en) * 2004-06-08 2005-12-15 Stmicroelectronics S.R.I. Filtering of noisy images
US20140226905A1 (en) * 2013-02-14 2014-08-14 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP2014165874A (ja) * 2013-02-27 2014-09-08 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP2015007917A (ja) * 2013-06-25 2015-01-15 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2015211347A (ja) * 2014-04-25 2015-11-24 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4547223B2 (ja) * 2004-09-28 2010-09-22 オリンパス株式会社 撮像システム、ノイズ低減処理装置及び撮像処理プログラム
US8237830B2 (en) 2007-04-11 2012-08-07 Red.Com, Inc. Video camera
KR101674078B1 (ko) * 2009-12-16 2016-11-08 삼성전자 주식회사 블록 기반의 영상 잡음 제거 방법 및 장치
KR101669819B1 (ko) * 2010-11-11 2016-10-27 삼성전자주식회사 깊이 영상의 고정밀 복원을 위한 필터링 장치 및 방법
JP2012256175A (ja) 2011-06-08 2012-12-27 Yokogawa Electric Corp 画像処理方法、画像処理装置およびこれらを用いた創薬支援装置
US9819879B2 (en) * 2011-07-12 2017-11-14 Samsung Electronics Co., Ltd. Image filtering apparatus and method based on noise prediction using infrared ray (IR) intensity
KR101910870B1 (ko) * 2012-06-29 2018-10-24 삼성전자 주식회사 잡음 제거 장치, 시스템 및 방법
US20140056536A1 (en) 2012-08-27 2014-02-27 Toshiba Medical Systems Corporation Method and system for substantially removing dot noise
JP6381895B2 (ja) * 2012-11-20 2018-08-29 キヤノンメディカルシステムズ株式会社 画像処理装置、画像処理方法およびx線診断装置
KR102144994B1 (ko) * 2013-09-30 2020-08-14 삼성전자주식회사 영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치
US9679363B1 (en) * 2014-12-15 2017-06-13 Marvel International Ltd. System and method for reducing image noise
KR20170107252A (ko) * 2016-03-15 2017-09-25 삼성전자주식회사 이미지 데이터의 노이즈 제거 방법
US10621756B2 (en) * 2017-01-13 2020-04-14 Canon Medical Systems Corporation Apparatus and method for correcting bias in low-count computed tomography projection data

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08307771A (ja) * 1995-05-02 1996-11-22 Toshiba Corp 動き領域検出回路並びにこの動き領域検出回路を用いたノイズ低減フィルタ及びx線透視装置
WO2002086821A1 (fr) * 2001-04-19 2002-10-31 Kabushiki Kaisha Toshiba Procede et dispositif de traitement d'image
US20050276510A1 (en) * 2004-06-08 2005-12-15 Stmicroelectronics S.R.I. Filtering of noisy images
US20140226905A1 (en) * 2013-02-14 2014-08-14 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP2014179971A (ja) * 2013-02-14 2014-09-25 Canon Inc 画像処理装置、画像処理方法、およびプログラム
JP2014165874A (ja) * 2013-02-27 2014-09-08 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP2015007917A (ja) * 2013-06-25 2015-01-15 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2015211347A (ja) * 2014-04-25 2015-11-24 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021018791A (ja) * 2019-07-22 2021-02-15 調 荻野 時系列データの前処理プログラム及び前処理方法

Also Published As

Publication number Publication date
US20180211132A1 (en) 2018-07-26
US10679097B2 (en) 2020-06-09
JP6870993B2 (ja) 2021-05-12

Similar Documents

Publication Publication Date Title
US8494118B2 (en) Radiographic apparatus
JP2015058225A (ja) X線診断装置
JP2014226514A5 (ja)
JP6284898B2 (ja) ノイズ抑制処理装置および方法並びにプログラム
JP2018114233A (ja) 画像処理装置及びx線診断装置
JP5238175B2 (ja) X線画像診断装置
JP2017196301A (ja) X線診断装置
JP6833338B2 (ja) X線検出器
JPWO2011074471A1 (ja) X線画像診断装置、x線露出制御方法及びプログラム
JP2011019591A (ja) X線撮影装置、x線検出器における欠損画素の補間方法、および、x線検出器における欠損マップの作成方法
US20230157657A1 (en) X-ray diagnostic apparatus, medical image processing apparatus, and medical image processing method
JP2008073208A (ja) 画像処理装置及び画像処理方法
JP2017104329A (ja) X線診断装置およびx線ct装置
JP4703221B2 (ja) X線ct装置
JP6026171B2 (ja) 医用画像撮影装置及び医用画像撮影方法
JP6651332B2 (ja) X線画像診断装置及び画像処理方法
JP6976699B2 (ja) X線診断装置
JP2018117696A (ja) X線診断装置
JP4980769B2 (ja) 放射線撮像装置及び方法
US10213177B2 (en) X-ray CT apparatus, data processing device, and projection data generation method
JP7179448B2 (ja) X線診断装置
JP6321267B2 (ja) 画像解析装置および方法並びにプログラム
JP7069077B2 (ja) 放射線画像処理装置及びその作動方法並びに放射線画像処理プログラム
JP2012231210A (ja) 画像撮影装置、画像撮影方法
JP2022168979A (ja) X線診断装置、医用画像処理装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210415

R150 Certificate of patent or registration of utility model

Ref document number: 6870993

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150