JP2020088654A - 放射線撮像装置、放射線撮像システム、放射線撮像装置の制御方法、および、プログラム - Google Patents

放射線撮像装置、放射線撮像システム、放射線撮像装置の制御方法、および、プログラム Download PDF

Info

Publication number
JP2020088654A
JP2020088654A JP2018221679A JP2018221679A JP2020088654A JP 2020088654 A JP2020088654 A JP 2020088654A JP 2018221679 A JP2018221679 A JP 2018221679A JP 2018221679 A JP2018221679 A JP 2018221679A JP 2020088654 A JP2020088654 A JP 2020088654A
Authority
JP
Japan
Prior art keywords
pixel
value
pixel value
unit
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018221679A
Other languages
English (en)
Other versions
JP7308609B2 (ja
Inventor
重夫 小林
Shigeo Kobayashi
重夫 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018221679A priority Critical patent/JP7308609B2/ja
Priority to US16/689,192 priority patent/US11199637B2/en
Publication of JP2020088654A publication Critical patent/JP2020088654A/ja
Application granted granted Critical
Publication of JP7308609B2 publication Critical patent/JP7308609B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01TMEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/16Measuring radiation intensity
    • G01T1/20Measuring radiation intensity with scintillation detectors
    • G01T1/208Circuits specially adapted for scintillation detectors, e.g. for the photo-multiplier section
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/40Arrangements for generating radiation specially adapted for radiation diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/42Arrangements for detecting radiation specially adapted for radiation diagnosis
    • A61B6/4266Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a plurality of detector units
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/40Imaging
    • G01N2223/401Imaging image processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/40Imaging
    • G01N2223/42Imaging image digitised, -enhanced in an image processor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/50Detectors
    • G01N2223/505Detectors scintillation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Measurement Of Radiation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Studio Devices (AREA)

Abstract

【課題】異常画素の補正に有利な技術を提供する。【解決手段】入射する放射線を電気信号に変換する複数の画素を備え、第1画像データを出力する撮像部と、複数の画素のうち常に異常な画素値を出力する第1画素の位置情報を記憶する記憶部と、位置情報に基づいて、第1画素の画素値を予め設定された設定値に置換することによって第1画像データから第2画像データを生成する置換部と、複数の画素のうち記憶部に記憶されておらず、かつ、異常な画素値を出力する第2画素を検出し、第2画素の画素値を補正する補正部と、を備え、補正部は、第2画像データのうち画素値が置換された第1画素を含むデータに基づいて、第2画素の検出および補正を行う。【選択図】図3

Description

本発明は、放射線撮像装置、放射線撮像システム、放射線撮像装置の制御方法、および、プログラムに関する。
放射線による医療画像診断や非破壊検査に用いる撮像装置として、半導体材料によって形成された平面検出器(Flat Panel Detector:FPD)を用いた放射線撮像装置が知られている。このような放射線撮像装置は、例えば医療画像診断において、静止画や動画などのデジタル撮像装置として用いられる。
FPDに配される複数の画素の中に、FPDの製造工程上の問題などによって、常に異常な信号を出力する画素(欠陥画素)が存在する場合がある。また、撮像中の偶発的なノイズなどの混入によって、一時的に異常な信号を出力する画素(異常画素)が存在する場合がある。特許文献1には、異常画素の検出および補正を行った後、欠陥画素を補正することが示されている。特許文献1の異常画素の検出において、注目する画素と当該注目する画素の近傍に配された画素(近傍画素)とを比較することによって、当該注目する画素が異常画素であるか否かを判定する。このとき、欠陥画素の位置情報が記憶されたマップ(欠陥画素マップ)を参照することによって、近傍画素に欠陥画素がある場合、近傍画素のうち欠陥画素を除いた画素と、当該注目する画素と、の比較を行うことによって、異常画素の検出が行われる。また、異常画素が検出された場合、異常画素の画素値は、近傍画素のうち欠陥画素を除いた画素の画素値を用いて補正される。
米国特許出願公開第2011/0235940号明細書
特許文献1に示される方法では、画素ごとに欠陥画素マップを参照し、欠陥画素を除いた画素を用いて異常画素の検出および補正を行うため、異常画素の検出および補正にかかる処理効率を低下させる要因となりうる。
本発明は、異常画素の補正に有利な技術を提供することを目的とする。
上記課題に鑑みて、本発明の実施形態に係る放射線撮像装置は、入射する放射線を電気信号に変換する複数の画素を備え、第1画像データを出力する撮像部と、複数の画素のうち常に異常な画素値を出力する第1画素の位置情報を記憶する記憶部と、位置情報に基づいて、第1画素の画素値を予め設定された設定値に置換することによって第1画像データから第2画像データを生成する置換部と、複数の画素のうち記憶部に記憶されておらず、かつ、異常な画素値を出力する第2画素を検出し、第2画素の画素値を補正する補正部と、を備え、補正部は、第2画像データのうち画素値が置換された第1画素を含むデータに基づいて、第2画素の検出および補正を行うことを特徴とする。
上記手段によって、異常画素の補正に有利な技術を提供する。
本発明の実施形態に係る放射線撮像装置を用いた放射線撮像システムの構成例を示す図。 図1の放射線撮像装置の補正処理の工程を示すフロー図。 図1の放射線撮像装置の補正処理の方法を示すブロック図。 図1の放射線撮像装置の欠陥画素の置換処理の動作を示すフロー図。 図1の放射線撮像装置の異常画素の補正処理の動作を示すフロー図。 図5の補正処理の例を示す図。 図1の放射線撮像装置の欠陥画素の補間処理の動作を示すフロー図。
以下、本発明に係る放射線撮像装置の具体的な実施形態を、添付図面を参照して説明する。以下の説明及び図面において、複数の図面に渡って共通の構成については共通の符号を付している。そのため、複数の図面を相互に参照して共通する構成を説明し、共通の符号を付した構成については適宜説明を省略する。また、本発明における放射線には、放射線崩壊によって放出される粒子(光子を含む)の作るビームであるα線、β線、γ線などの他に、同程度以上のエネルギを有するビーム、例えばX線や粒子線、宇宙線なども含みうる。
図1〜7を参照して、本発明の実施形態における放射線撮像装置の構成および動作について説明する。図1は、本発明の実施形態における放射線撮像装置100を用いた放射線撮像システムSYSの構成例を示す図である。放射線撮像システムSYSは、放射線撮像装置100、制御用コンピュータ140、放射線源制御部150、放射線源160を含む。
放射線源160は、放射線源制御部150から出力される制御信号に応じて放射線を生成し、放射線撮像装置100に向けて放射線を照射する。放射線源160から照射される放射線は、被検体190を介して放射線撮像装置100に入射する。放射線撮像装置100は、照射された放射線量に応じた画像を生成し、制御用コンピュータ140へ送信する。
制御用コンピュータ140は、放射線撮像システムSYS全体の動作を制御する。例えば、制御用コンピュータ140は、放射線源制御部150に対して放射線の照射の開始や停止を指示し、放射線撮像装置100に放射線の照射の開始や停止を通知することによって、放射線源制御部150と放射線撮像装置100との間の同期をとる。また、制御用コンピュータ140は、ユーザ(医師や放射線技師など)が放射線撮像装置100の設定を変更するために用いられてもよい。制御用コンピュータ140に、ユーザが放射線源160で生成される放射線の条件や放射線撮像装置100の設定などの確認や、放射線撮像システムSYSにおける撮像条件を入力するためのディスプレイやキーボードが内蔵されていてもよい。また、図1に示されるように、制御用コンピュータ140とは別に、撮像された放射線画像や、放射線撮像システムSYSの撮像条件や設定をユーザが確認するための表示部170や、撮像条件や設定をユーザが入力するための制御卓180が配されていてもよい。
放射線撮像装置100は、撮像部110および制御部120を含む。撮像部110は、シンチレータ101と、シンチレータ101によって放射線から変換された光を電気信号に変換するための光電変換部をそれぞれ備える複数の画素が配された撮像パネル102と、を含む。本実施形態において、撮像部110は、シンチレータ101と撮像パネル102とを含むが、これに限られることはない。撮像部110が、入射する放射線を電気信号に直接変換する変換素子をそれぞれ備える複数の画素が配された撮像パネルによって構成され、シンチレータ101が配されなくてもよい。撮像部110は、入射する放射線を入射した放射線量に応じた電気信号に変換する複数の画素を含んでいればよい。
制御部120は、放射線撮像装置100の全体を制御する。制御部120は、外部電源や内蔵バッテリなどから電力を受け放射線撮像装置100の全体に供給するレギュレータ機能を備えうる。また、制御部120は、撮像パネル102を駆動し、撮像パネル102から画像データを読み出す。さらに、制御部120は、撮像パネル102から読み出した画像データに対して、撮像パネル102に固有の特性を補正するための補正処理を行う。制御部120が実施する補正処理として、オフセットの補正やゲインの補正があげられる。また、詳細は後述するが、制御部120が実施する補正処理として、常に異常な信号を出力する画素に対する補間、および、撮像中の偶発的なノイズなどの混入によって、一時的に異常な信号を出力する画素に対する補正があげられる。これらの補正機能が、制御用コンピュータ140に備わっていてもよい。この場合、放射線撮像装置100と制御用コンピュータ140の補正機能とをあわせて本発明の「放射線撮像装置」といえる。
次いで、図2、3を用いて、本実施形態おける制御部120が実施する補正処理の流れを説明する。図2は、放射線撮像装置100の画像データの補正処理の工程を示すフロー図である。
放射線撮像システムSYSを用いた放射線画像の撮像の後、まず、制御部120は、ステップS201において、撮像部110の撮像パネル102から出力される画像データ(第1画像データ)を取得する。取得された画像データは、ステップS202において、常に異常な信号を出力する画素(第1画素:以下、欠陥画素と呼ぶ場合がある。)の信号値を予め設定された設定値に置換する置換処理を行う。次いで、制御部120は、ステップS203において、撮像部110から出力され置換処理が行われた画像データに対して、偶発的なノイズなどによって一時的に異常な信号を出力する画素(第2画素:以下、異常画素と呼ぶ場合がある。)の検出を行う。さらに、制御部120は、検出された異常画素の画素値を補正する。異常画素の補正処理が行われた後、制御部120は、ステップS204において、暗画像や撮像条件などに応じたオフセット補正およびゲイン補正の各処理を行う。オフセット補正およびゲイン補正を行った後、制御部120は、ステップS205において、欠陥画素の補間処理を行う。
図3は、放射線撮像装置100の画像データの補正処理の工程を示すブロック図である。制御部120は、撮像部110から出力された画像データの補正処理を行うために、置換部301、補正部302、オフセット補正部303、ゲイン補正部304、補間部305を含む。また、制御部120は、複数の画素のうち常に異常な画素値を出力する欠陥画素の位置情報を記憶する記憶部306を含む。ここでは、制御部120の中に記憶部306が含まれるように説明するが、記憶部306が、制御部120から独立して配されていてもよい。欠陥画素の位置情報は、例えば、放射線撮像装置100の出荷前の検査や出荷後のキャリブレーション作業などによって取得され、予め記憶部306に記憶される。
撮像部110から出力された画像データに対して、まず、置換部301において、記憶部306に記憶された欠陥画素の位置情報を用いて、欠陥画素の画素値を予め設定された設定値に置換する置換処理が実施される。ここで、常に異常な信号を出力する欠陥画素とは、例えば、撮像パネル102の製造工程上の問題や経時変化などによって、常に異常な信号を出力する画素のことである。このため、上述のように予め記憶部306に、その位置情報を記憶することができる画素である。欠陥画素は、例えば、入射する放射線の線量にかかわらず、常に同じ値の画素値を出力する画素でありうる。この置換処理によって、欠陥画素の画素値が予め設定された設定値に置換された画像データ(第2画像データ)が生成される。
次いで、補正部302は、置換部による処理が行われた画像データに対して、複数の画素のうち記憶部306に記憶されておらず、かつ、異常な画素値を出力する異常画素を検出し、異常画素の画素値を補正する。ここで、一時的に異常な信号を出力する異常画素とは、撮像中の偶発的なノイズなどの混入によって、空間的にも時間的にもランダムに画素値が異常値を示す画素である。例えば、撮像中に放射線撮像装置100に衝撃が加わった場合などに発生しうる。また、本実施形態の撮像部110のようにシンチレータ101を用いた構成において、シンチレータ101で吸収されず(光に変換されず)に通過した放射線フォトンが、撮像パネル102に入射する場合がある。この放射線フォトンが、撮像パネル102の画素の光電変換部で光電効果を起こし、電気信号に変換された場合、その画素は、通常の画素値と比較して、異常に大きな画素値を出力しうる。異常画素は、一般的に正常な画素よりも大きな値の画素値を出力すると考えられる。空間的にも時間的にもランダムに出現する異常画素は、記憶部306に登録することができないため、補正部302は、記憶部306に記憶されていない画素のうち異常な画素値を出力する画素を検出し、この画素値を補正する。
補正部302による処理が行われた画像データに対して、オフセット補正部303において、オフセットデータ記憶部307に記憶されたオフセットデータを用いてオフセットを補正する処理が行われる。オフセットデータは、撮像前などに放射線が照射されない状態で撮像パネル102のそれぞれの画素から出力される信号(暗画像)を取得し、オフセットデータ記憶部307に記憶される。次に、オフセット補正部303で処理された画像データに対して、ゲイン補正部304において、ゲインデータ記憶部206に記憶された、撮像条件などに応じたゲインデータを用いてゲインを補正する処理が行われる。
次いで、ゲイン補正部304で処理された画像データは、補間部305において、記憶部306に登録されている欠陥画素の位置情報に基づいて、空間的な補間処理が行われる。より具体的に、補間部305は、記憶部306に記憶された欠陥画素の位置情報と撮像パネル102に配された複数の画素のうち欠陥画素の近傍に配された画素の画素値とに基づいて、欠陥画素の画素値を生成する。補間部305は、生成された画素値を欠陥画素の画素値とする。補間部305で処理された画像データは、出力データとして制御用コンピュータ140に転送される。
次に、図4〜7を用いて、図2、3に示す補正処理の各ステップについて、詳細に説明する。
図4は、図2のステップS202における欠陥画素の画素値の置換を行う置換処理の詳細を説明するフロー図である。本処理は、図3における置換部301の処理にあたる。この置換処理は、ステップS203の異常画素の補正において、補正後の異常画素の画素値に対して、欠陥画素の影響を抑制するために必要な処理である。また、異常画素の検出がされていないステップS202において、欠陥画素の補間処理は行わない。これは、欠陥画素の近傍に異常画素が存在すると、異常画素は記憶部306に登録されていないため、補間部305は、異常画素を含む画素を用いて欠陥画素の補間を行ってしまう可能性があるためである。
図4、5、7において、処理中の画素を「画素n」と記述する。「n」は、それぞれの画素に対応する番号である。例えば、撮像部110の撮像パネル102に1000個の画素が配されている場合、「n」は、それぞれの画素に0から順に999までナンバリングされた画素の番号である。
撮像部110から出力された画像データに対して、最初に、ステップS401において、置換部301は、画素の番号である「n」の初期化(n=0)を行う。次に、置換部301は、ステップS402において、記憶部306に記憶された欠陥画素の位置情報に基づいて、画素nが欠陥画素か否かを判定する。ステップS402において、画素nが欠陥画素ではないと判定された場合、置換部301は、ステップS404に遷移する。ステップS402において、画素nが欠陥画素であると判定された場合、置換部301は、ステップS403に遷移する。置換部301は、ステップステップS403に遷移すると、欠陥画素と判定された画素nの画素値を予め設定された設定値に置換する。例えば、設定値が、複数の画素のうち正常な画素の画素値の最小値であってもよい。ここで、正常な画素の画素値の最小値とは、画素が、例えば、暗い側から0〜255の256段階の画素値を出力するように設計されている場合、「0」の画素値のことをいう。また、例えば、設定値が、複数の画素のうち正常な画素の画素値の中間値であってもよい。ここで、正常な画素の画素値の中間値とは、画素が、上述のような設計がなされている場合、例えば、「128」の画素値であってもよいし、例えば、「64」〜「192」の間のユーザや撮像条件などによって設定される任意の画素値であってもよい。以下、置換部301は、欠陥画素の画素値を、正常な画素の画素値の最小値に置換するとして説明する。
置換部301は、ステップS404に遷移した場合、画素nが最終画素か否かの判定を行う。ステップS404おいて最終画素ではないと判定された場合、置換部301は、ステップS405に遷移する。置換部301は、ステップS405において、「n」を「n+1」に進め、引き続き、ステップS402からの処理を繰り返す。また、ステップS404において、画素nが最終画素と判定された場合、置換部301における置換処理の工程が終了する。
次に、図5および図6(a)〜6(d)を参照して、図2のステップS203における異常画素の検出および異常画素の画素値の補正の詳細について説明する。本処理は、図3における補正部302の処理にあたる。
図5は、異常画素の検出および補正処理の流れを示すフロー部である。図6(a)〜6(d)は、異常画素の検出および補正処理の一例を示す図である。図6(a)は、撮像部110の撮像パネル102に配される1つの画素を示し、画素内のNは、図6(b)〜6(d)において、画素値の大小関係の順番を示す。図6(b)〜6(d)において、画素値の大小関係は、最も小さい画素値を示す画素のNを「1」、最も大きい画素値を示す画素のNを「9」として順番に表されている。図6(b)は、異常画素の検出するための判定の対象画素を中心とし、対象画素の近傍に配された8画素の近傍画素を含む9画素で、画素値の大小比較を行った例を示している。9画素による比較のため、Nは、最も小さい画素値を出力した画素の1から最も大きい画素値を出力した9までの値となる。図6(c)、6(d)は、異常画素の画素値を補正する補正処理の方法を示す図である。
本実施形態において、近傍画素は、図6(b)に示されるように、対象画素を取り囲む8つの画素とするが、これに限られることはない。例えば、近傍画素は、対象画素に隣り合う4つの画素(例えば、対象画素の上下左右に配された画素)であってもよい。さらに、例えば、近傍画素は、対象画素を取り囲む5×5のマトリックスに含まれる24個の画素であってもよい。
まず、図5に示すフロー図を参照し、異常画素の検出および異常画素の画素値の補正処理について説明する。
置換部301による処理が行われた画像データに対して、最初に、ステップS501において、補正部302は、画素の番号である「n」の初期化(n=0)を行う。次に、補正部302は、画素nが異常画素か否かの判定を行う。まず、ステップS502において、補正部302は、画素nの画素値と画素nの近傍に配された近傍画素の画素値との比較を行う。図6(b)は、ステップS502における判定結果の例である。ステップS502において、画素nの画素値が、画素nと近傍画素との画素値の中で最大であると判定された場合、補正部302は、ステップS503に遷移する。ステップS502において、画素nの画素値が、画素nと近傍画素との画素値の中で最大ではないと判定された場合、補正部302は、画素nは異常画素ではないと判定し、ステップS505に遷移する。
図6(b)に示されるように、ステップS502において画素nが、画素nと近傍画素との画素値の中で最大であった場合、補正部302は、ステップS503において、画素nの画素値が設定された閾値以上か否かを判定する。画素nの画素値が閾値以上の場合、補正部302は、画素nが異常画素であると判定しステップS504に遷移する。上述したように、異常画素は、一般に、正常な画素よりも大きな値の画素値を出力すると考えられる。また、欠陥画素は、図2に示すステップS202において、画素値が最小の画素値に置換されている。このため、画素nの画素値が閾値以上の場合、補正部302は、画素nが異常画素であると判定できる。画素nの画素値が閾値よりも小さい場合、補正部302は、画素nが異常画素ではないと判定しステップS505に遷移する。
ステップS502、S503を実施することによって、補正部302は、置換部301によって欠陥画素の画素値が置換された画像データのうち画素値が置換された欠陥画素を含むデータに基づいて、異常画素の検出を行う。より具体的には、補正部302は、複数の画素のうち置換部301によって画素値が置換されていない画素の画素値、および、欠陥画素の設定値に置換された画素値を使用して、異常画素の検出を行う。これによって、撮像部110の撮像パネル102に配された複数の画素から、記憶部306に記憶されていない、設定された閾値以上の画素値を出力する画素が、異常画素として検出される。
このように、補正部302は、欠陥画素の設定値に置換された画素値を参照して異常画素の検出を行う。換言すると、補正部302は、異常画素の検出において、記憶部306に記憶された欠陥画素の位置情報を参照し、異常画素の検出の対象となる1つ1つの画素の近傍画素に欠陥画素が含まれているか否かを判定しなくてもよい。これによって、異常画素の検出にかかる処理効率が向上しうる。
本実施形態において、補正部302は、ステップS502で画素nの画素値が近傍画素の画素値よりも大きいと判定された画素nに対して、ステップS503で閾値との比較を行うが、これに限られることはない。例えば、ステップS502を省略し、補正部302が、画像データに含まれるすべての画素nに対して画素値が閾値以上か否かを判定することによって、異常画素を検出してもよい。また、異常画素を検出する際の閾値は、例えば、ユーザが撮像条件などに応じて設定してもよい。また、例えば、制御用コンピュータ140内のメモリなどに、撮像条件などに応じた閾値が記憶され、ユーザが撮像条件を設定した際に、制御用コンピュータ140から、放射線撮像装置100の制御部120に閾値が転送されてもよい。
補正部302は、異常画素を検出した場合、ステップS504において、異常画素の画素値の補正処理を実施する。ステップS504で補正部302が行う補正処理について、図6(c)、6(d)を参照して説明する。ここでは、図6(b)に示される中央の画素が異常画素として検出され、補正部302が、複数の画素のうち異常画素の近傍に配された近傍画素の画素値に基づいて、異常画素の画素値を補正する例を示す。
例えば、図6(c)に示されるように、補正部302は、異常画素の画素値を、近傍画素のうち最も大きい画素値を出力する画素と同じ画素値に変更してもよい。また、例えば、図6(d)に示されるように、異常画素の画素値を、近傍画素のうち中間値を出力する画素の画素値に変更してもよい。ここで、中間値とは、図6(d)に示される構成の場合、8画素の近傍画素のうち小さい側から4番目または5番目の画素値を出力する画素の画素値であってもよい。また、例えば、4番目の画素値を出力した画素と5番目の画素値を出力した画素との画素値の平均値であってもよい。また、例えば、補正部302は、異常画素の画素値を近傍画素から出力される画素値の平均値に変更してもよい。このとき、欠陥画素は、図2に示すステップS202において画素値が最小の画素値に置換されている。このため、補正部302は、異常画素の画素値を、近傍画素のうち最大の画素値を出力する画素と最小の画素値を出力する画素とを除いた画素から出力される画素値の平均値に変更してもよい。さらに、例えば、補正部302は、異常画素の画素値を、近傍画素のうち2番目に大きな画素値を出力する画素と同じ画素値に変更してもよい。2番目に大きな画素値に変更することによって、近傍画素に、さらに他の異常画素が含まれていた場合においても、このさらなる異常画素の影響を抑制し、異常画素の補正の精度を向上させることが可能となる。
また、ステップS504における異常画素の補正は、上述のような異常画素の近傍に配された画素を用いた空間的な補正に限られるものではない。例えば、動画像の撮像など連続して撮像が行われる場合、補正部302は、異常画素が発生したフレームの前後のフレームの同じ位置の画素の画素値を用いて、異常画素の補正を行ってもよい。例えば、補正部302は、異常画素の画素値を、1つ前のフレームまたは1つ後のフレームの画素値と同じ画素値にしてもよい。また、例えば、補正部302は、異常画素の画素値を、1つ前のフレームの画素値と1つ後のフレームの画素値との平均値など、2つ以上のフレームの画素値に基づいて補正してもよい。
また、補正部302は、上述したような補正の方法のうち少なくとも2種類から選択される方法を用いて異常画素の画素値を補正可能に構成されていてもよい。この場合、補正部302は、異常画素の補正を行う処理方法を選択するための方法設定部をさらに備えうる。方法設定部は、例えば、ユーザの指定に従って補正方法を選択してもよい。また、例えば、撮像条件などに応じて、方法設定部が、適宜、異常画素の補正を行う処理方法を選択してもよい。
ステップS504を実施することによって、補正部302は、置換部301によって欠陥画素の画素値が置換された画像データのうち画素値が置換された欠陥画素を含むデータに基づいて、異常画素の補正を行う。より具体的には、補正部302は、複数の画素のうち置換部301によって画素値が置換されていない画素の画素値、および、欠陥画素の設定値に置換された画素値を使用して、異常画素の補正を行う。このように、複数の画素の中から異常画素が検出された場合、補正部302は、近傍画素に欠陥画素が含まれていても、欠陥画素の設定値に置換された画素値を参照して異常画素の補正を行う。換言すると、補正部302は、異常画素の補正において、記憶部306に記憶された欠陥画素の位置情報を参照し、検出された1つ1つの異常画素の近傍画素に欠陥画素が含まれているか否かを判定しなくてもよい。これによって、異常画素の補正にかかる処理効率が向上しうる。
補正部302は、ステップS505に遷移した場合、画素nが最終画素かどうか判定を行う。ステップS505において最終画素ではないと判定された場合、補正部302は、ステップS506に遷移する。補正部302は、ステップS506において、「n」を「n+1」に進め、引き続き、ステップS502からの処理を繰り返す。また、ステップS505において、画素nが最終画素と判定された場合、補正部302における異常画素の検出および補正の工程が終了する。
続いて、図7を参照して、図2のステップS205における欠陥画素の画素値の補間を行う補間処理の詳細を説明する。図7は、欠陥画素の補間処理の流れを示すフロー図である。本処理は、図3における補間部305の処理にあたる。
補間部305は、最初に、ステップS701において、画素の番号である「n」の初期化を行う。次に、補間部305は、ステップS702において、記憶部306に記憶された欠陥画素の位置情報に基づいて、画素nが欠陥画素か否かを判定する。ステップS702において、画素nが欠陥画素ではないと判定された場合、補間部305は、ステップS704に遷移する。ステップS702において、画素nが欠陥画素であると判定された場合、補間部305は、ステップS403に遷移する。補間部305は、ステップS403に遷移すると、欠陥画素と判定された画素nの画素値を、複数の画素のうち欠陥画素と判定された画素nの近傍に配された画素の画素値に基づいて補間する。例えば、補間部305は、複数の画素のうち欠陥画素と判定された画素nの近傍に配された画素の画素値の平均値に変更する。
補間部305は、補正部302によって異常画素に対する処理が行われた画像データに対して、処理を行う。これによって、欠陥画素の補間において、異常画素の画素値の影響を受けることが抑制される。また、本実施形態において、図3に示されるように、補間部305は、オフセット補正部303およびゲイン補正部304による処理が行われた画像データに対して処理を行うが、これに限られることはない。補間部305は、オフセット補正部303およびゲイン補正部304による処理が行われる前に、欠陥画素の補間を行ってもよい。
また、欠陥画素の補正方法として、欠陥画素と判定された画素nの近傍に配された画素の画素値の平均値を採用する方法を示したが、これに限られるものではない。例えば、補間部305は、欠陥画素と判定された画素nの近傍に配された画素の画素値の中間値を用いて、欠陥画素と判定された画素nの画素値を補完してもよい。また、例えば、欠陥画素は、図2に示すステップS202において画素値が最小の画素値に置換されている。そこで、補間部305は、記憶部306に記憶された記憶情報から欠陥画素と判定された画素nの画素値を、近傍画素のうち最小の画素値を出力する画素を除いた画素から出力される画素値の平均値に補正してもよい。これによって、欠陥画素と判定された画素nの近傍に、さらに他の欠陥画素があった場合であっても、欠陥画素と判定された画素nの画素値の補間の精度を保つことが可能となる。
補間部305は、ステップS704に遷移した場合、画素nが最終画素かどうか判定を行う。ステップS704おいて最終画素ではないと判定された場合、補間部305は、ステップS705に遷移する。補間部305は、ステップS705において、「n」を「n+1」に進め、引き続き、ステップS702からの処理を繰り返す。また、ステップS704において、画素nが最終画素と判定された場合、補間部305における欠陥画素の補間の工程が終了する。
以上のように、本実施形態において、異常画素の検出を行う前に、欠陥画素の画素値を異常画素の検出および補正に対して影響が小さな値に置換する。これによって、異常画素を検出する際に、検出の対象となる画素ごとに、それぞれの画素の近傍に欠陥画素があるか否かの判定をする必要がなくなる。また、異常画素の画素値の補正を行う際、検出された異常画素ごとに、すべての近傍画素に基づいて補正するのか、近傍画素から欠陥画素を除いた画素に基づいて補正するのかの判定を必要としない。これによって、異常画素の検出および補正にかかる効率の低下を抑制することが可能となる。
以上、本発明に係る実施形態を示したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、本発明の要旨を逸脱しない範囲で、上述した実施形態は適宜変更、組み合わせが可能である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
100:放射線撮像装置、110:撮像部、301:置換部、302:補正部、306:記憶部

Claims (18)

  1. 入射する放射線を電気信号に変換する複数の画素を備え、第1画像データを出力する撮像部と、
    前記複数の画素のうち常に異常な画素値を出力する第1画素の位置情報を記憶する記憶部と、
    前記位置情報に基づいて、前記第1画素の画素値を予め設定された設定値に置換することによって前記第1画像データから第2画像データを生成する置換部と、
    前記複数の画素のうち前記記憶部に記憶されておらず、かつ、異常な画素値を出力する第2画素を検出し、前記第2画素の画素値を補正する補正部と、を備え、
    前記補正部は、前記第2画像データのうち画素値が置換された前記第1画素を含むデータに基づいて、前記第2画素の検出および補正を行うことを特徴とする放射線撮像装置。
  2. 前記補正部は、前記複数の画素のうち前記置換部によって画素値が置換されていない画素の画素値、および、前記第1画素の前記設定値に置換された画素値を使用して、前記第2画素の検出および補正を行うことを特徴とする請求項1に記載の放射線撮像装置。
  3. 前記補正部は、前記第2画素の検出および補正において、前記第1画素の前記設定値に置換された画素値を参照することを特徴とする請求項1または2に記載の放射線撮像装置。
  4. 前記設定値が、前記複数の画素のうち正常な画素の画素値の最小値であることを特徴とする請求項1乃至3の何れか1項に記載の放射線撮像装置。
  5. 前記補正部が、前記複数の画素のうち設定された閾値以上の画素値を出力する画素を前記第2画素として検出することを特徴とする請求項1乃至4の何れか1項に記載の放射線撮像装置。
  6. 前記補正部が、前記複数の画素のうち前記第2画素の近傍に配された近傍画素の画素値に基づいて、前記第2画素の画素値を補正することを特徴とする請求項1乃至5の何れか1項に記載の放射線撮像装置。
  7. 前記補正部が、前記第2画素の画素値を、前記近傍画素のうち最も大きい画素値を出力する画素と同じ画素値に変更することを特徴とする請求項6に記載の放射線撮像装置。
  8. 前記補正部が、前記第2画素の画素値を、前記近傍画素のうち中間値を出力する画素の画素値に変更することを特徴とする請求項6に記載の放射線撮像装置。
  9. 前記補正部が、
    少なくとも2種類から選択される方法を用いて前記第2画素の画素値を補正可能に構成され、
    前記方法を選択するための設定部をさらに備え、
    前記方法が、
    前記第2画素の画素値を、前記近傍画素のうち最も大きい画素値を出力する画素と同じ画素値に変更する方法と、
    前記第2画素の画素値を、前記近傍画素のうち中間値を出力する画素の画素値に変更する方法と、
    を含むことを特徴とする請求項6に記載の放射線撮像装置。
  10. 前記設定部が、撮像を行う際の撮像条件に応じて前記方法を選択することを特徴とする請求項9に記載の放射線撮像装置。
  11. 前記放射線撮像装置は、前記位置情報と前記複数の画素のうち前記第1画素の近傍に配された画素の画素値とに基づいて、前記第1画素の画素値を生成する補間部をさらに備え、
    前記補間部は、前記補正部によって処理が行われた前記第2画像データに対して、処理を行うことを特徴とする請求項1乃至10の何れか1項に記載の放射線撮像装置。
  12. 前記放射線撮像装置が、画像データのオフセットを補正するオフセット補正部と、画像データのゲインを補正するゲイン補正部をさらに備え、
    前記オフセット補正部および前記ゲイン補正部は、前記補正部によって処理が行われた前記第2画像データに対して、処理を行い、
    前記補間部は、前記補正部、前記オフセット補正部および前記ゲイン補正部によって処理が行われた前記第2画像データに対して、処理を行うことを特徴とする請求項11に記載の放射線撮像装置。
  13. 前記補間部が、前記第1画素の画素値を、前記複数の画素のうち前記第1画素の近傍に配された画素の画素値に基づいて、前記第1画素の画素値を補正することを特徴とする請求項11または12に記載の放射線撮像装置。
  14. 前記補間部が、前記第1画素の画素値を、前記複数の画素のうち前記第1画素の近傍に配された画素の画素値の平均値に変更することを特徴とする請求項13に記載の放射線撮像装置。
  15. 前記撮像部が、シンチレータをさらに含み、
    前記複数の画素が、前記シンチレータによって放射線から変換された光を電気信号に変換するための光電変換部をそれぞれ備えることを特徴とする請求項1乃至14の何れか1項に記載の放射線撮像装置。
  16. 請求項1乃至15の何れか1項に記載の放射線撮像装置と、
    前記放射線撮像装置に放射線を照射するための放射線源と、
    を含む放射線撮像システム。
  17. 放射線撮像装置の制御方法であって、
    前記放射線撮像装置は、
    入射する放射線を電気信号に変換する複数の画素を含む撮像部と、
    前記複数の画素のうち常に異常な画素値を出力する第1画素の位置情報を記憶する記憶部と、
    前記位置情報に基づいて、前記第1画素の画素値を予め設定された設定値に置換する置換部と、
    前記複数の画素のうち前記記憶部に記憶されておらず、かつ、異常な画素値を出力する第2画素を検出し、前記第2画素の画素値を補正する補正部と、を備え、
    前記制御方法は、
    前記撮像部から出力される第1画像データに対して、前記置換部による処理を行うことによって第2画像データを生成する工程と、
    前記第2画像データのうち画素値が置換された前記第1画素を含むデータに基づいて、前記補正部による前記第2画素の検出および補正を行う工程と、
    を含むことを特徴とする制御方法。
  18. 請求項17に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
JP2018221679A 2018-11-27 2018-11-27 放射線撮像装置、放射線撮像システム、放射線撮像装置の制御方法、および、プログラム Active JP7308609B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018221679A JP7308609B2 (ja) 2018-11-27 2018-11-27 放射線撮像装置、放射線撮像システム、放射線撮像装置の制御方法、および、プログラム
US16/689,192 US11199637B2 (en) 2018-11-27 2019-11-20 Radiation imaging apparatus, radiation imaging system, control method of radiation imaging apparatus, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018221679A JP7308609B2 (ja) 2018-11-27 2018-11-27 放射線撮像装置、放射線撮像システム、放射線撮像装置の制御方法、および、プログラム

Publications (2)

Publication Number Publication Date
JP2020088654A true JP2020088654A (ja) 2020-06-04
JP7308609B2 JP7308609B2 (ja) 2023-07-14

Family

ID=70771426

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018221679A Active JP7308609B2 (ja) 2018-11-27 2018-11-27 放射線撮像装置、放射線撮像システム、放射線撮像装置の制御方法、および、プログラム

Country Status (2)

Country Link
US (1) US11199637B2 (ja)
JP (1) JP7308609B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023038659A (ja) * 2021-09-07 2023-03-17 キヤノン株式会社 画像処理装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7271209B2 (ja) * 2019-02-06 2023-05-11 キヤノン株式会社 放射線撮像装置、放射線撮像システムおよび放射線撮像装置の制御方法
JP7426899B2 (ja) 2020-05-26 2024-02-02 キヤノン株式会社 放射線撮影装置、放射線撮影システム、放射線撮影装置の制御方法、および、プログラム
EP4354893A1 (en) * 2022-10-14 2024-04-17 Beijing Xiaomi Mobile Software Co., Ltd. Method for image processing, device and software

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000132662A (ja) * 1998-10-22 2000-05-12 Konica Corp 放射線画像処理装置
JP2001008107A (ja) * 1999-06-18 2001-01-12 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
JP2002022844A (ja) * 2000-04-20 2002-01-23 Koninkl Philips Electronics Nv X線画像を形成するx線検査装置及び方法
JP2002197450A (ja) * 2000-12-26 2002-07-12 Canon Inc 撮像装置及び撮像方法
JP2008236491A (ja) * 2007-03-22 2008-10-02 Fujifilm Corp 撮像素子画像処理方法
JP2010263961A (ja) * 2009-05-12 2010-11-25 Canon Inc X線画像撮影装置およびx線画像撮影装置の制御方法
WO2018198916A1 (ja) * 2017-04-24 2018-11-01 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005354278A (ja) * 2004-06-09 2005-12-22 Seiko Epson Corp 撮像手段の撮像した画像の画像データを処理する画像データ処理
US8660335B2 (en) 2010-03-24 2014-02-25 Varian Medical Systems, Inc. Transient pixel defect detection and correction
EP3367679A4 (en) * 2015-10-22 2019-06-05 Olympus Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING AND PROGRAM
JP7033932B2 (ja) 2018-01-17 2022-03-11 キヤノン株式会社 放射線撮像装置、放射線撮像装置の制御方法およびプログラム
US10923516B2 (en) * 2018-03-22 2021-02-16 Ricoh Company, Ltd. Image capturing device, image capturing method, image processing device, image processing method, and storage medium

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000132662A (ja) * 1998-10-22 2000-05-12 Konica Corp 放射線画像処理装置
JP2001008107A (ja) * 1999-06-18 2001-01-12 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
JP2002022844A (ja) * 2000-04-20 2002-01-23 Koninkl Philips Electronics Nv X線画像を形成するx線検査装置及び方法
JP2002197450A (ja) * 2000-12-26 2002-07-12 Canon Inc 撮像装置及び撮像方法
JP2008236491A (ja) * 2007-03-22 2008-10-02 Fujifilm Corp 撮像素子画像処理方法
JP2010263961A (ja) * 2009-05-12 2010-11-25 Canon Inc X線画像撮影装置およびx線画像撮影装置の制御方法
WO2018198916A1 (ja) * 2017-04-24 2018-11-01 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023038659A (ja) * 2021-09-07 2023-03-17 キヤノン株式会社 画像処理装置
JP7419307B2 (ja) 2021-09-07 2024-01-22 キヤノン株式会社 画像処理装置

Also Published As

Publication number Publication date
US20200166656A1 (en) 2020-05-28
JP7308609B2 (ja) 2023-07-14
US11199637B2 (en) 2021-12-14

Similar Documents

Publication Publication Date Title
JP6860538B2 (ja) 放射線撮像装置、放射線撮像システム、放射線撮像装置の制御方法、および、プログラム
US11199637B2 (en) Radiation imaging apparatus, radiation imaging system, control method of radiation imaging apparatus, and non-transitory computer-readable storage medium
US9569829B2 (en) Image processing apparatus, radiation imaging apparatus, control methods for them, gain image creation method, radiation imaging system, and storage medium
US10055819B2 (en) Radiation imaging apparatus, radiation imaging method, and radiation imaging system
US11693129B2 (en) Radiation imaging apparatus, radiation imaging system, control method of radiation imaging apparatus, and non-transitory computer-readable storage medium
JP6671109B2 (ja) 放射線撮影装置、放射線撮影方法、及びプログラム
US20180275075A1 (en) Radiation imaging system, radiation imaging method, and non-transitory computer-readable storage medium
US10140686B2 (en) Image processing apparatus, method therefor, and image processing system
JP6491545B2 (ja) 画像処理装置、放射線撮影装置、画像処理方法、プログラム、および記憶媒体
JP2005287661A (ja) 放射線撮像装置
US9606243B2 (en) Radiation imaging apparatus, method of determining radiation irradiation, and storage medium
US10641908B2 (en) Radiation imaging apparatus, radiation imaging method, and computer readable storage medium
JP4814138B2 (ja) 放射線画像撮影方法および放射線画像撮影装置
JP6980456B2 (ja) 放射線撮像システム
US20130322596A1 (en) Image capturing apparatus, image capturing system, method of controlling image capturing apparatus, and storage medium
JP2017164374A (ja) 放射線検出装置及び放射線検査装置
JP2008245999A (ja) 放射線撮影装置
US11553890B2 (en) Radiation imaging apparatus, radiation imaging system, control method for radiation imaging apparatus, and non-transitory computer-readable storage medium
JP2018153447A (ja) 放射線撮影装置及びその制御方法
JP5959971B2 (ja) 撮像装置、その制御方法及びプログラム
JP2015080518A (ja) 放射線撮影装置およびその制御方法、放射線画像処理装置および方法、並びに、プログラムおよびコンピュータ可読記憶媒体
JP6320155B2 (ja) 画像処理装置、放射線撮影装置、それらの制御方法、放射線撮影システムおよびプログラム
US20240053497A1 (en) Radiation imaging apparatus that determines timing of sampling and holding
JP2010233589A (ja) 放射線画像撮影装置
JP4501489B2 (ja) 放射線撮像装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230320

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230704

R151 Written notification of patent or utility model registration

Ref document number: 7308609

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151