JP2015514448A - ステレオx線管に基づく体外高コントラスト物体の抑圧 - Google Patents

ステレオx線管に基づく体外高コントラスト物体の抑圧 Download PDF

Info

Publication number
JP2015514448A
JP2015514448A JP2014560482A JP2014560482A JP2015514448A JP 2015514448 A JP2015514448 A JP 2015514448A JP 2014560482 A JP2014560482 A JP 2014560482A JP 2014560482 A JP2014560482 A JP 2014560482A JP 2015514448 A JP2015514448 A JP 2015514448A
Authority
JP
Japan
Prior art keywords
image
footprint
images
target
ray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014560482A
Other languages
English (en)
Other versions
JP6416631B2 (ja
Inventor
ロレンツ,クリスティアン
グラス,ミヒャエル
シェーファー,ディルク
ヨハネス ブレンデル,ベルンハルト
ヨハネス ブレンデル,ベルンハルト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2015514448A publication Critical patent/JP2015514448A/ja
Application granted granted Critical
Publication of JP6416631B2 publication Critical patent/JP6416631B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5252Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data removing objects from field of view, e.g. removing patient table from a CT image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/40Arrangements for generating radiation specially adapted for radiation diagnosis
    • A61B6/4021Arrangements for generating radiation specially adapted for radiation diagnosis involving movement of the focal spot
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44Constructional features of apparatus for radiation diagnosis
    • A61B6/4429Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4435Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
    • A61B6/4441Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

二重焦点X線管(104)を用いて、所与のガントリー位置で僅かに異なるビュー位置から2つの画像PIα、PIβの組が収集される。撮像された構造のステレオ視差又は両眼視差(BD)を用いて、ビュー方向での物体深さが推定され、次いで、この物体深さを用いて、身体の内側の物体IOと外側の物体EOとの間の判別が行われる。画像PIα、PIβから、該当する構造が実質的に除去される。

Description

本発明は、画像処理装置、画像処理の方法、撮像システム、コンピュータプログラム要素、及びコンピュータ読み取り可能媒体に関する。
介入撮像の状況においては、しばしば、ケーブル、電子装置、及び種々の機器が患者の体の外に配置され、頻繁に、介入中撮像において不要な画像コンテンツを引き起こす。体外での器具類又はその他の装置に由来するこの画像コンテンツは、特に時間が重要な状況において、視覚的に邪魔なものとなり得る。
故に、撮像中に臨床医を支援する画像処理装置が望まれる。
本発明の上記目的は、独立請求項の事項によって達成され、更なる実施形態が従属請求項に組み入れられる。
なお、以下に記載される本発明の態様は、画像処理の方法、撮像システム、コンピュータプログラム要素、及びコンピュータ読み取り可能媒体にも等しくあてはまる。
本発明の一態様によれば、画像処理装置が提供され、この画像処理装置は、
X線スキャナによって異なる投影角で撮影された被検体の少なくとも2つの投影画像を受信する入力インタフェースユニットであり、画像の各々が標的物のフットプリントを含む、入力インタフェースユニットと、
2つの画像フットプリントを用いて、画像が撮影されたときに標的物が被写体の外部にあったかを決定する、ように構成された画像深さ決定部と、
標的物が外部であると上記決定部によって決定されたときに、画像のうちの少なくとも一方における画像フットプリントの少なくとも一部を異なる画像情報で置き換える、ように構成された画像操作部と、
このように操作された画像を出力するように構成された出力インタフェースユニットと、
を有する。
ここに提案される装置は、画像コンテンツのステレオ視差又は両眼視差を用いて、それぞれの構造の深さを推定する。これは、身体の内側の構造と外側の構造との間の判別を行うことを可能にする。身体の外側の物体に由来する画像コンテンツが画像から除去される。こうして処理された画像は、眺められたときに、臨床的に関心ある解剖学的構造についての、実質的にぼんやりされていない明瞭な見た目を提供する。
換言すれば、この装置は、ステレオX線管に基づく体外物体の抑圧を実現する。一実施形態において、抑圧されるのは、高コントラスト物体又は高減衰物体である。
一実施形態によれば、画像深さ決定部は、2つの標的物フットプリント間の両眼視差を確立し、且つ確立された両眼視差をユーザ定義可能な視差閾値と比較して、標的物が外部であるかを決定するように構成される。
一実施形態によれば、両眼視差閾値は、ユーザ入力に応答して調整可能であり、該値は、期待される、あるいは測定された、被検体の厚さに関係する。
一実施形態によれば、画像操作部は、画像フットプリントを、上記少なくとも一方の画像の残りの部分を形成する画像情報の少なくとも一部から補間された画像情報で置き換えるように構成される。
一実施形態によれば、この装置は更に、2つの画像の少なくとも一方内でフットプリントを検出するように構成された物体フットプリント検出部を有する。
一実施形態によれば、画像深さ決定部は、物体フットプリント検出部によるフットプリントについての入力を受信するように構成され、上記検出部は、検出した物体フットプリントが1つ以上の選択基準に合致する場合にのみ、検出した物体フットプリントについての入力を画像深さ決定部に提供するように構成される。
一実施形態によれば、選択基準は、形状とX線不透過度若しくは減衰プロファイルとの何れか1つ又は組み合わせを含む。
一実施形態によれば、物体フットプリント検出部は、使用される基準に基づいて物体が外部であることが先験的に決定される場合に、画像深さ決定部をバイパス/リープフロッグするように構成される。これは、関連する形状が外部物体に由来することを物体認識がはっきりと断定可能な場合に、CPU時間を節減することを可能にする。
この装置は、ほぼ等しいビューで収集される2つの投影画像が利用可能なX線用途で使用され得る。この装置は、例えば、介入X線、緊急設定、又は、患者の外側の物体によって引き起こされる邪魔な画像コンテンツが発生するその他の時間が重要な用途などの状況で使用され得る。
一実施形態によれば、イメージャの使用の最中又は前に医療専門家によって有効にされた後、画像プロセッサの動作は、画像が収集されると自動的に再開する。画像プロセッサの動作は、撮像セッション中に所望のように有効化あるいは無効化されることができる。
本発明の他の一態様によれば、画像プロセッサ装置と、特にはCアープ型のX線スキャナであるX線スキャナとを含んだ撮像システムが提供される。
一実施形態によれば、イメージャは、2つの異なる角度位置を担うことが可能な回転式X線源を含む。
一実施形態によれば、イメージャは、2つの異なる角度位置のうちの何れをも担うことが可能な移動可能な焦点を有する固定式X線源を含む。
一実施形態によれば、イメージャは、二重焦点型のX線管を含む。二重焦点X線管は、ガントリー又はCアームのジオメトリ又は位置の変化なしで、僅かに異なるビュー位置からの2つの画像の組を収集することを可能にする。
以下、図面を参照して本発明の例示的な実施形態を説明する。
画像プロセッサを含んだ撮像システムを模式的に示すブロック図である。 図1の撮像システムを更に詳細に示す図である。 図1の撮像システムの画像プロセッサの画像処理を示す図である。 画像を処理する方法を示すフローチャートである。
図1を参照するに、Cアーム型のX線イメージャ100が示されている。X線イメージャ100は、患者台108によって支持された患者110の少なくとも2つの投影画像PIα、PIβを収集するために使用される。
イメージャ100は、ベアリング上にジャーナル(軸頸)接続された固いCアーム構造102を有する。ジャーナル接続は、それを通る第1の軸の周りでのCアーム102の回転を可能にする。
Cアーム構造102は、故に、患者110の周りで様々な回転角αに位置付けられることができる。
Cアーム102は、その一方の端部にX線源104を担持し、他方の端部にX線源104と対向する空間関係で検出器106を担持している。検出器106は、検出器セルのアレイ(図示せず)を含んでいる。
X線源104からX線が放射される。X線は、患者の体110を通り抜けた後に、検出器106で検出される。X線は、X線ペンシルビームpとして形成される。
各X線ビームpは、患者内を通ってそれに影響を及ぼすときに減衰される。検出器106で検出されるのは、この減衰されたX線ビームである。
X線ビームが患者の体に衝突する入射角(“投影方向”又は“ビュー”)は、部分的に、画像が収集されるときのCアーム102の位置によって定められる。個々のX線ビームpの各々が被る減衰の度合いは、線(レイ)pが通り抜ける組織の種類及び量に依存する。減衰された各X線ビームpは、検出器セルに突き当たり、そこで減衰度に反比例する電気信号を生成する。
そして、各検出器セルでそれに突き当たったX線ビームpに関して生成された電気信号は、データ収集装置105によって、対応する濃淡値をエンコードした画素値へと変換される。濃淡値は、それぞれの検出器セルの位置で被った減衰量とともに変化する。高減衰部分を表す画素は、低減衰部分を表す画素より暗い色調をエンコードし得る。そして、画素値は、投影画像PIα、PIβを形成する行列構造にて記憶される。
一実施形態において、X線管104は二重焦点型であり、それにより、各々が異なる投影方向α、βからの少なくとも2つの投影画像PIα、PIβを同じCアーム(又は、場合により、ガントリー)位置から収集することを可能にする。
他の実施形態において、X線管104は、単一の焦点ではあるが2つの位置の間で移動可能な焦点を含み、それにより同様に、一方が他方から僅かにオフセットされた投影方向を有する2つの投影画像PIα、PIβの、同じCアーム位置での収集を可能にする。ここでの目的に関しては、ビューαとβとの間のオフセット角度で十分であることが分かっている。しかしながら、更なる他の一実施形態において、X線管104は従来通りのものであり、その場合、2つの投影画像PIα、PIβを収集するためにCアーム又はガントリーが順次に異なる角度位置へと動かされることになる。好ましくは、このシステムは約Δ≧1.5°の角度分解能を可能にする。投影角α、βは、1つ以上の角度値によってそれ自体が定義されるCアームの角度位置に関係する。
投影画像PIα、PIβが収集されると、それらは、好適な通信ネットワークを介してワークステーション114へと伝送される。ワークステーション114は、イメージャ100の動作全体を制御するための制御ソフトウェアを含むとともに、人間オペレータからの命令を受信するためのコンソールを含んでいる。そして、収集された投影画像PIα、PIβは、後に取り出されるよう、ワークステーション114上のストレージに格納され、あるいは外部データベース(図示せず)に格納される。投影画像PIα、PIβは、DICOMフォーマットで格納されてもよい。DICOMフォーマットは、各投影画像について、それが収集された投影方向をその収集時間tとともにエンコードするメタデータを含む。ワークステーション114はまた、スクリーン112上で画像を見ることを可能にする好適なレンダリングソフトウェアを実行し得る。
ワークステーション114は画像プロセッサ200と通信する。
画像プロセッサ200は、2つの画像PIα及びPIβのコピー、又は収集の直後に画像プロセッサ200に転送されるこれらの画像、を受け取るのに好適なインタフェース手段202を含んでいる。画像プロセッサ200は更に、フットプリント検出部204、画像深さ決定部(レゾルバ)206、及び画像操作部(マニピュレータ)208を含んでいる。また、出力インタフェース手段210も存在しており、これを介して、受信した2つの投影画像PIα及びPIβに基づく改善(エンハンスト)画像を、更なる処理、又はワークステーション114若しくは外部データベースでの保管のために出力することができる。
図1において、画像プロセッサ200のコンポーネントは、分散アーキテクチャにて構成されて好適な通信ネットワークで接続されるものとして示されている。これらのコンポーネントはまた、専用のFPGAとして、あるいは配線接続された独立チップとして構成され得る。しかしながら、これは単に例示的な一実施形態に過ぎない。これらのコンポーネントはまた、実行可能なソフトウェアルーチンとしてワークステーション114上に常駐していてもよい。これらのコンポーネントは、例えば、Matlab(登録商標)又はSimulink(登録商標)などの好適な科学計算プラットフォームにてプログラムされ、その後に、ライブラリにて管理されてワークステーション140によって呼び出されるときにリンク付けられる例えばC++又はCなどのより低水準の言語のルーチンへと翻訳され得る。
図2は、画像収集中のX線管104の動作を更に詳細に示している。患者110の体の内部の物体IOと患者の体の外部の物体EOとの2つの物体が示されている。内部物体IOは、例えば、患者の肋骨の一部とすることができ、外部物体EOは、患者支持台108の下を走るケーブルの一部、又は介入中に使用され得るX線イメージャ若しくはその他の医療装置の何れかのその他の配線の一部とすることができる。
各焦点(フォーカルポイント)FPα及びFPβについて、それから発して、その後に患者110の体を通り抜けるそれぞれのX線ビームが模式的に示されている。その後、減衰されたビームが検出器106のセル(図示せず)に突き当たり、それにより、2つの投影画像PIα、PIβが生成される。画像PIαは、焦点FPαを起源とするビームによって生成され、画像PIβは、焦点FPβを起源とするビームによって生成される。EOα及びIOαは、それぞれ、外部物体EO及び内部物体IOの画像PIα内でのフットプリント(占有範囲)を示している。同様に、投影画像PIβは、外部物体EO及び内部物体IOそれぞれのフットプリントEOβ及びIOβを含んでいる。
画像プロセッサ200は、好適な長さ単位で測定されるユーザ調整可能な標的範囲(ターゲットレンジ)APTを格納したメモリを有する。初期設定では、標的範囲は、図2中に指し示されるような平均患者厚さ(average patient thickness)に相当する。患者支持台の上面からX線エミッタ104の下面までAPTを測定することによって、好適な1次元基準フレームが定められる(しかし、その他の基準フレームも企図される)。同様に調整可能な、メモリ内のその他の値は、ソース(線源)−物体距離(SOD)及び物体−受像器距離(OID)、並びに関係するソース−受像器距離SID=SOD+OIDである。これらの値APT、SOD、OIDの集合は、各画像収集に使用される投影角すなわちCアーム位置とともに、それぞれの画像及びスキャナに関する“撮像ジオメトリ”を形成する。標的範囲APTは、SODより小さいように見える。内部物体IOは患者の体110内にあるので、内部物体IOの縦方向位置はAPT内にある。これらの撮像ジオメトリパラメータはユーザ定義可能且つ調整可能であるので、装置200はまた、異なるジオメトリを有する異なるスキャナタイプとともに使用されることができる。
図2に示す例において、内部物体IOは、外部物体EOより、X線管104に近く位置している。この近接性の差により、これら2つの物体の両眼視差(binocular disparity)BDに長さの差が存在する。内部物体IOは、より遠くソースから離れた外部物体EOよりも、X線管104に近いので、内部物体IOの方が両眼視差BDが大きい。換言すれば、BDは、SID内での深さ又は縦方向位置の指標である。2つの画像PIα、PIβの間で、はっきり見える明白な外部物体EOのフットプリントEOα及びEOβのシフトを、好適な長さ単位で測定することによって、両眼視差BDを量子化することができる。明白なシフトは、2つの投影画像PIα及びPIβが好適な座標軸に沿って適切にアライメントされるか互いに重ね合わされるかする場合に測定可能である。2つの画像が揃えられるときに同様にシフトして現れる内部物体IOのフットプリントIOα、IOβについても、状況は同様である。シフト量、すなわち、両眼視差BDは、図2に示して上述したソース104に対する近接性の違いにより、2つの物体IO、EOで異なる。当然ながら、外部物体が内部物体IOよりもX線管104に近くなる場合である外部物体が患者の上方に位置する場合にも、同様の考察が成り立つ。
広く言えば、画像装置200は、外部物体に由来する深さ外(アウト・オブ・デプス)範囲のフットプリントEOβ,αを投影画像から除去することにより、画像深さに適応された画像補正を提供する。深さ範囲はユーザ定義可能なAPTである。外部物体のフットプリントは、画像を調べるときにオペレータの注意を逸らし得るものであり、故に、除去することが望ましい。その場合、オペレータは、投影画像のうち医学的あるいは解剖学的に意味のある部分に集中することができる。装置200は、投影画像PIα及びPIβ内で潜在的標的物検出のステップを実行する。そして、潜在的標的物EO、IOそれぞれの画像深さが、それぞれのフットプリントEOα,β及びIOα,βに基づいて計算される。そして、フットプリントの両眼視差BDの差に基づき、物体EO、IOが外側物体又は内側物体に分類される。そして、投影画像PIα,βの一方又は双方が、特定された外側物体EOのフットプリントEOα及び/又はEOβを除去することによる実質的な画像クリーニングを受ける。
次いで、画像処理装置200の動作を更に詳細に説明する。
動作
僅かに逸れた投影方向α、βで収集された2つの投影画像PIα,βが、画像プロセッサ200のインタフェース202で受信される。
フットプリント検出部204が、潜在的標的物として、これらの画像の一方又は双方の何れか内でフットプリントEOα,β及びIOα,βを検出する。これを達成するため、フットプリント検出部204は、例えば強度及び/又は勾配による閾値振り分けなど、セグメンテーションパラメータに基づく画像セグメンテーション技術を使用する。セグメンテーションパラメータは、これらの画像のうちの、可能性ある関心物と考えられる画像部分を指定する。一実施形態によれば、セグメンテーションパラメータは調整されることができる。強度勾配及び形状が、スコア値へと結合され得る。そして、より高いスコアを達成するセグメントすなわち画像部分が、可能性ある関心物として注意を与えられる。一実施形態によれば、画像検出部204は、高いコントラストの物体に対して高いスコアを与えるように構成される。換言すれば、フットプリント検出部は、潜在的な多数のセグメントの中から、高い減衰/高い強度の物体に由来するために見る者の邪魔となりそうなものを選択するフィルタとして機能する。セグメンテーションパラメータは、各フットプリントに関するものであり、その後、フットプリント情報へと集約される。
そして、フットプリント検出部204によって集められたフットプリント情報は、画像深さ決定部(レゾルバ)206に渡される。フットプリントについての情報は、2値(バイナリ)マスクとして提供されることができ、あるいは、座標、すなわち、潜在的標的物の部分を形成するようにフットプリント検出部204によって特定あるいは検出された画素の行及び列、を含んだリストとして提供され得る。2値マスクは、投影画像と同じ行群及び列群を有するが“0”又は“1”の何れかのエントリを含んだ行列である。“1”は、それぞれの位置の画素が潜在的標的物の一部であることを指し示し、ゼロはそうでないことを指し示す。
そして、グラフィックレゾルバ206は、レジストレーション技術又はオプティカルフロー法を用いて、2つの投影画像PIα,βを互いにレジストレーションする。そして、2つの投影画像PIα,βに跨ってのフットプリント間の対応関係(例えば、形状類似度指標に基づく)が確立され、それにより、合致して組み合わされた(マッチアップされた)フットプリントの対が得られる。図2の例では、外部物体の2つのフットプリントEOα,βがマッチアップペアを形成するとともに、内部物体の2つのフットプリントIOα,βがマッチアップペアを形成する。この段階では、まだ、それらのフットプリントが外部物体EO又は内部物体IOのどちらに関係するかは分からない。このように2つの投影画像PIα,βに跨って対応し合うフットプリント対をマッチアップすることは、Cheung,W.,Hamarneh,G.、“n-sift:n-dimensional scale invariant feature transform”、Trans.Img.Proc.、第18巻、pp.2012-2021、2009年9月に記載されるようなSIFT法を用いることによって達成され得る。フットプリント間の対応関係が確立されると、各ペア内の2つのフットプリントの、共通画像面を横切っての明白な相対シフトを測定して、各ペアの両眼視差BDに関する視標として記録することができる。そして、画素単位で表された両眼視差BDが、撮像ジオメトリパラメータに使用される長さ単位と同じ単位で測定可能な長さ単位へと変換される。そして、画像深さ決定部206は、確立された両眼視差BDを、画像を収集するときにイメージャによって使用された撮像パラメータとともに用いて、SID範囲内の外部物体EO及び内部物体IOの縦方向距離を計算することができる。検出器106が約150μmの分解能を提供し且つΔが約1°であると仮定すると、画像面内の画素シフト当たり約2mmの、垂直なAPT方向の深さ分解能を達成し得る。
計算された縦方向位置を用い、そして、この位置を標的範囲APTと比較することで、フットプリントEOα,β及びIOα,βをそれぞれ外側物体又は内側物体の何れかとして分類することができる。外部/外側物体又は内部/内側物体の上記分類は標的範囲APTに基づくが、標的範囲APTは、深さ閾値を対話的に定め且つその状況での該閾値の最適値の評価及び発見を行うように、装置200の動作中にユーザによって調整されることが可能である。深さ閾値を定め直すための標的範囲値のこの行ったり来たりの“揺動(スウィングさせること)”は、物体が例えば患者の胸の上にあるワイヤといった“接触面”物体又は“境界線”物体であるときに有用である。ユーザは、画像深さ決定部206が接触面物体を外部物体として認識するまで、閾値を設定することができる。理解されるように、標的範囲を変化させる(例えば、シフトあるいは拡大する)ことのユーザ要求を受けて、画像深さ決定部は、斯くして分類される各物体の深さ値を再計算して、内部物体及び外部物体の候補リストを更新する。この機能は、システムが内部物体又は外部物体と見なすことになるものについての更なる制御をユーザに提供する。他の一実施形態によれば、装置200は、投影画像PIα,βが収集されたときに使用された撮像ジオメトリパラメータを問い合わせることによって、標的範囲APTを自動的に決定する。撮像ジオメトリパラメータは、画像メタデータ(ヘッダファイル内に格納される)から取得されることができ、あるいはワークステーション114又はデータベースに保持された画像プロトコル記録を問い合わせることによって取得されることができる。
そして、投影画像PIα又はPIβの一方又は双方内の外部物体フットプリントEOα,βを特定する二値マスクが、画像操作部208に転送される。二値マスクは、外部物体EOα,βの部分を形成するように画像深さ決定部206によって確立された画素を記録している。そこで、画像操作部は、眺めたときに外部物体のフットプリントをもはや示さない出力改善(エンハンスト)画像EIを作り出すようにそれぞれの外部物体フットプリントEOα,β内の画素情報を実質的に置換あるいは除去することによる標的画像洗浄に、この位置特定情報を使用する。
一実施形態によれば、画像操作部208は、なだらかな補間を使用する。この手法は、例えばワイヤなどの細長い構造といった、少なくとも1つの次元で比較的小さい寸法を有する画像物体に好適なものである。フットプリントEOα,βの内側の画素値が、該フットプリントの外側で隣接する画像面から補間された補間画素値で置き換えられる。例えば、金属アーチファクト補正又は本出願による国際公開第2011/077334号に記載されるような実質的な骨抑圧に使用されるものなど、その他の技術も企図される。
他の一実施形態において、区分的に一定(ピースワイズ・コンスタント)な減算手法が使用される。区分的に一定な減算手法は、例えば電極など、高減衰の板状又はシート状の物体に由来するフットプリントに好適に使用される。最終的に物体領域の外側又は内側の間の滑らかな強度遷移が達成されるよう、区分的に一定な吸収寄与分が徐々にログ画像から減算される。以下、画像洗浄の目的での区分的に一定な減算について、図3を参照して更に詳細に説明する。
図3の左側は、外部の板状物体EOによって引き起こされる減衰プロファイルを示している。板状の寸法のEOは、物体EOによって引き起こされる高い減衰により、切断点(cut-off point)COPの位置で鋭い強度低下を生じさせる。
図3の中央部分は、フットプリントEOαの境界を画成する切断点COPを示している。フットプリントEOαの内側の減衰プロファイルが、切断点COPとの合致が検出されるまでシフトあるいは逐次的に減算される。
図3の右側は、区分的に一定な減算法の完了を示しており、切断点COP間に滑らかな遷移を構築するように確立されたプロファイルを用いて切断点COPが接続されている。一実施形態において、切断点COPを接続するよう、スプライン関数技術によって、フィッティングされる減衰プロファイルが達成される。
図3は明瞭性のために1次元断面を示しているが、理解されるように、以上のことは実際には2次元画像面にて実行され、故に、図3に示された曲線はそれぞれの減衰表面の断面である。
一実施形態によれば、フットプリントの大きさ及び/又は強度プロファイルに応じてこれら2つの画像操作手法の間で切り換えるように構成された“スマート”画像マニピュレータが使用される。
一実施形態によれば、画像プロセッサは、性能を高めるために、リープフロッグ(飛び越し)機能又はバイパス(迂回)機能を使用する。この実施形態においては、フットプリント検出部204によって確立された形状、強度プロファイルが、外部物体であるとして先験的に知られた物体の画像フットプリント情報を保持するデータベースと、オンザフライでマッチアップされる。データベースクエリが合致をもたらすと、先験的に外側の物体のフットプリント情報が直接的に画像操作部に渡されることで、その除去が達成される。換言すれば、この実施形態では、画像深さ決定部は飛び越され、故に、これら先験的な物体の画像深さ値は計算されない。一実施形態において、画像深さ決定部が飛び越されたことをオペレータに警告するために、対応するインジケーションが発せられる。これは、オペレータが物体をレビューして決定が正しいことを確認することを可能にする。迂回は、内部物体に関係しない可能性が高い形状に対してのみ使用される。例えば、細長い構造は通常、人間の肋骨又は配線のどちらに関係するか明瞭でないので、画像深さ決定部を迂回することを許されないことがある。
図4のフローチャートは、画像処理の方法を簡単にまとめている。
ステップ402にて、投影画像PIα,βが受信される。
ステップ404にて、投影画像PIα,βの何れか一方又は双方内の潜在的標的物のフットプリントが確立される。
ステップ406にて、潜在的標的物のフットプリントの強度プロファイル及び/又は形状、又はこれらの組み合わせが、データベースの値と比較される。
潜在的標的物フットプリントが先験的に外側物体に由来すると認識されない場合、すなわち、データベースクエリが合致をもたらさない場合、フロー制御はステップ408に渡り、そこで、僅かにオフセットされた画像各々の投影方向によって生じる両眼視差に基づいて、物体の深さが計算される。
標的範囲を定める設定可能な画像深さ閾値に基づいて、物体フットプリントの各々が、外部物体又は内部物体の何れかに分類される。
標的範囲は、内側又は外側と見なされるものを決定する。物体深さは、ユーザによって定められるか、画像が収集されたときに使用された撮像ジオメトリパラメータから自動的に決定されるかの何れかである。
ステップ410にて、外側又は外部として分類された物体(“フットプリント”)が、それらの画素値を新たな画素情報で置き換えることによって、不要な物体の滑らかな除去を達成するように操作される。
ステップ412にて、こうして操作された投影画像が、改善画像EIとして出力される。
ステップ406で、フットプリントの形状又は減衰プロファイルが、外側物体であると分かっている物体のフットプリントと合致した場合、フロー制御は深さ決定ステップ408をバイパスあるいはリープフロッグして直接的にステップ410に進み、そこで、それら先験的な外側フットプリントの画素情報が除去される。
本発明の例示的な他の一実施形態において、以上の実施形態のうちの1つに従った方法の方法ステップを適切なシステム上で実行するように適応されたことを特徴とするコンピュータプログラム又はコンピュータプログラム要素が提供される。
コンピュータプログラム要素は、故に、これまた本発明の一実施形態に一部とし得るコンピュータユニットに格納され得る。このコンピュータユニットは、上述の方法のステップを実行するように、あるいはそれらのステップの実行を含むように適応され得る。また、コンピュータプログラム要素は、上述の装置の構成要素を作動させるように適応されてもよい。コンピュータユニットは、自動的に作動するように、且つ/或いはユーザの命令を実行するように適応され得る。コンピュータプログラムは、データプロセッサの作業メモリにロードされ得る。データプロセッサは斯くして、本発明に係る方法を実行するように装備され得る。
本発明のこの例示的な実施形態は、最初から本発明を使用するコンピュータプログラムと、アップデートによって既存プログラムを、本発明を使用するプログラムへと変化させるコンピュータプログラムとの双方に及ぶ。
さらに、コンピュータプログラム要素は、上述の方法の実施形態の手順を遂行するのに必要な全てのステップを提供することができてもよい。
本発明の例示的な更なる一実施形態によれば、先行セクションに記載したコンピュータプログラム要素を格納した、例えばCD−ROMなどのコンピュータ読み取り可能媒体が提示される。
コンピュータプログラムは、その他のハードウェアとともに供給されるか、あるいはその一部として供給されるかする例えば光記憶媒体若しくは半導体媒体などの好適な媒体に格納され、且つ/或いはそのような好適な媒体上で配給されてもよいし、例えばインターネット又はその他の有線若しくは無線の通信システムを介してなど、その他の形態で配給されてもよい。
しかしながら、コンピュータプログラムはまた、ワールドワイドウェブのようなネットワーク上に提示されて、そのようなネットワークからデータプロセッサの作業メモリへとダウンロードされてもよい。本発明の例示的な更なる一実施形態によれば、本発明の上述の実施形態のうちの1つに係る方法を実行するように構成されたコンピュータプログラム要素をダウンロードに利用可能にする媒体が提供される。
なお、様々な主題を参照して本発明の実施形態を説明した。特に、一部の実施形態は方法タイプのクレームを参照して説明し、他の実施形態は装置タイプのクレームを参照して説明した。しかしながら、当業者は、上述及び以下の記載から、別のことが告知されていない限り、1つのタイプの主題に属する特徴の組合せだけでなく、相異なる主題に関する特徴間の組み合わせも、本願で開示されていると見なされることを認識するであろう。しかしながら、何れの特徴も、組み合わされて、それらの特徴の単純な和を超える相乗効果をもたらし得る。
図面及び以上の記載にて本発明を詳細に図示して説明してきたが、これらの図示及び説明は、限定的なものではなく、例示的あるいは典型的なものとみなされるべきである。本発明は、開示の実施形態に限定されるものではない。開示の実施形態へのその他の変形が、図面、本開示及び従属請求項の検討から、請求項に係る発明を実施する当業者によって理解されて実現され得る。
請求項において、用語“有する”はその他の要素又はステップを排除するものではなく、不定冠詞“a”又は“an”は複数であることを排除するものではない。単一のプロセッサ若しくはその他のユニットが、請求項に記載される複数のアイテムの機能を果たしてもよい。特定の複数の手段が相互に異なる従属項に記載されているという単なる事実は、それらの手段の組合せが有利に使用され得ないということを指し示すものではない。請求項中の如何なる参照符号も、範囲を限定するものとして解されるべきでない。

Claims (15)

  1. X線スキャナによって異なる投影角で撮影された被検体の少なくとも2つの投影画像を受信する入力インタフェースユニットであり、前記画像の各々が標的物のフットプリントを含む、入力インタフェースユニットと、
    前記2つの画像フットプリントを用いて、前記画像が撮影されたときに前記標的物が前記被検体の外部にあったかを決定する、ように構成された画像深さ決定部と、
    前記標的物が外部であると前記決定部によって決定されたときに、前記画像のうちの少なくとも一方における前記標的物フットプリントの少なくとも一部を異なる画像情報で置き換える、ように構成された画像操作部と、
    このように操作された画像を出力するように構成された出力インタフェースユニットと、
    を有する画像処理装置。
  2. 前記画像深さ決定部は、前記2つの標的物フットプリント間の両眼視差を確立し、且つ前記確立された両眼視差をユーザ定義可能な両眼視差閾値と比較して前記標的物が外部であるかを決定するように構成される、請求項1に記載の装置。
  3. 前記両眼視差閾値は、ユーザ入力に応答して調整可能であり、該値は、期待される、あるいは測定された、前記被検体の厚さに関係する、請求項2に記載の装置。
  4. 前記画像操作部は、前記画像フットプリントを、前記少なくとも一方の画像の残りの部分を形成する画像情報の少なくとも一部から補間された画像情報で置き換えるように構成される、請求項1乃至3の何れか一項に記載の装置。
  5. 当該装置は更に、前記2つの画像の少なくとも一方内で前記フットプリントを検出するように構成された物体フットプリント検出部を有する、請求項1乃至4の何れか一項に記載の装置。
  6. 前記画像深さ決定部は、前記物体フットプリント検出部による前記フットプリントについての入力を受信するように構成され、前記検出部は、検出した前記フットプリントが1つ以上の選択基準に合致する場合にのみ、検出した前記フットプリントについての前記入力を前記画像深さ決定部に提供するように構成される、請求項5に記載の装置。
  7. 前記選択基準は、形状及びX線不透過度の何れか一方又は組み合わせを含む、請求項6に記載の装置。
  8. 前記物体フットプリント検出部は、使用される前記基準に基づいて前記物体が外部であることが先験的に決定される場合に、前記画像深さ決定部をバイパス/リープフロッグするように構成される、請求項6又は7に記載の装置。
  9. 請求項1乃至8の何れか一項に記載の装置と、
    X線スキャナと、
    を含む撮像システム。
  10. 前記スキャナは、2つの異なる角度位置を担うことが可能な回転式X線源を含み、あるいは
    前記スキャナは、前記2つの異なる角度位置のうちの何れをも担うことが可能な移動可能な焦点を有する固定式X線源を含み、あるいは
    前記スキャナは、二重焦点型のX線管を含む、
    請求項9に記載の撮像システム。
  11. 前記X線スキャナはCアーム型である、請求項9又は10に記載の撮像システム。
  12. X線スキャナによって異なる投影角で撮影された被検体の少なくとも2つの投影画像を受信するステップであり、前記画像の各々が標的物のフットプリントを含む、ステップと、
    前記2つのフットプリントに基づき、前記画像が撮影されたときに前記標的物が前記被検体の外部にあったかを決定するステップと、
    前記標的物が外部であると前記決定するステップにより決定されたときに、前記画像のうちの少なくとも一方における前記フットプリントの少なくとも一部を異なる画像情報で置き換えるステップと、
    このように操作された画像を出力するステップと、
    を有する画像処理の方法。
  13. 前記2つの画像の少なくとも一方内で前記フットプリントを検出し、
    前記検出されたフットプリントが1つ以上の選択基準と合致するかを確立し、合致する場合に、前記決定するステップを迂回して、前記画像のうちの少なくとも一方における前記合致したフットプリントの少なくとも一部を異なる画像情報で置き換えるステップを実行する、
    ことを更に有する請求項12に記載の方法。
  14. 請求項1乃至8の何れか一項に記載の装置を制御するコンピュータプログラムであって、処理ユニットによって実行されるときに、請求項12又は13に記載の方法を実行するように適応されたコンピュータプログラム。
  15. 請求項14に記載のコンピュータプログラムを格納したコンピュータ読み取り可能媒体。
JP2014560482A 2012-03-06 2013-03-04 ステレオx線管に基づく体外高コントラスト物体の抑圧 Active JP6416631B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261607040P 2012-03-06 2012-03-06
US61/607,040 2012-03-06
PCT/IB2013/051699 WO2013132407A1 (en) 2012-03-06 2013-03-04 Stereo x-ray tube based suppression of outside body high contrast objects

Publications (2)

Publication Number Publication Date
JP2015514448A true JP2015514448A (ja) 2015-05-21
JP6416631B2 JP6416631B2 (ja) 2018-10-31

Family

ID=48191012

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014560482A Active JP6416631B2 (ja) 2012-03-06 2013-03-04 ステレオx線管に基づく体外高コントラスト物体の抑圧

Country Status (5)

Country Link
US (1) US9867586B2 (ja)
EP (1) EP2823465B1 (ja)
JP (1) JP6416631B2 (ja)
CN (1) CN104285240B (ja)
WO (1) WO2013132407A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6253752B1 (ja) * 2016-11-29 2017-12-27 株式会社東芝 階層化ストレージシステム
CN107049349A (zh) * 2017-02-06 2017-08-18 李宝生 一种基于衰减板的锥形束ct成像系统
CN106618625A (zh) * 2017-02-08 2017-05-10 李宝生 一种基于衰减板的数字化x线摄影系统
CN111782857B (zh) * 2020-07-22 2023-11-03 安徽大学 基于混合注意力密集网络的足迹图像检索方法
CN116982998B (zh) * 2023-09-26 2024-02-06 赛诺威盛科技(北京)股份有限公司 Ct系统动态调整x射线辐射剂量的方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08210847A (ja) * 1995-02-06 1996-08-20 Ikegami Tsushinki Co Ltd 画像処理方法
JPH1051813A (ja) * 1996-07-29 1998-02-20 Toshiba Corp X線ステレオ画像表示装置
JPH1094539A (ja) * 1996-09-24 1998-04-14 Takashi Oe ステレオ透視対応x線映像装置
JPH11351862A (ja) * 1998-06-09 1999-12-24 Yazaki Corp 前方車両検出方法及び装置
JP2006519635A (ja) * 2003-02-28 2006-08-31 セダラ ソフトウェア コーポレイション 画像領域セグメント化システムおよびその方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101358936B (zh) * 2007-08-02 2011-03-16 同方威视技术股份有限公司 一种利用双视角多能量透射图像进行材料识别的方法及系统
US8819591B2 (en) 2009-10-30 2014-08-26 Accuray Incorporated Treatment planning in a virtual environment
US8903153B2 (en) 2009-12-22 2014-12-02 Koninklijke Philips N.V. Bone suppression in x-ray radiograms

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08210847A (ja) * 1995-02-06 1996-08-20 Ikegami Tsushinki Co Ltd 画像処理方法
JPH1051813A (ja) * 1996-07-29 1998-02-20 Toshiba Corp X線ステレオ画像表示装置
JPH1094539A (ja) * 1996-09-24 1998-04-14 Takashi Oe ステレオ透視対応x線映像装置
JPH11351862A (ja) * 1998-06-09 1999-12-24 Yazaki Corp 前方車両検出方法及び装置
JP2006519635A (ja) * 2003-02-28 2006-08-31 セダラ ソフトウェア コーポレイション 画像領域セグメント化システムおよびその方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZEGANG DONG, ROBERT S. LEDLEY: "Processing X-ray images to eliminate irrelevant structures that mask important features", COMPUTERIZED MEDICAL IMAGING AND GRAPHICS, vol. 28, no. 6, JPN6017000252, September 2004 (2004-09-01), US, pages 321 - 331, XP055075304, ISSN: 0003738060, DOI: 10.1016/j.compmedimag.2004.06.001 *

Also Published As

Publication number Publication date
CN104285240B (zh) 2017-11-14
EP2823465B1 (en) 2018-08-15
WO2013132407A1 (en) 2013-09-12
US20150023471A1 (en) 2015-01-22
CN104285240A (zh) 2015-01-14
JP6416631B2 (ja) 2018-10-31
US9867586B2 (en) 2018-01-16
EP2823465A1 (en) 2015-01-14

Similar Documents

Publication Publication Date Title
KR101389841B1 (ko) 파노라마 영상 데이터 제공 방법 및 장치
JP6534998B2 (ja) 医療画像を表示する方法及び装置
US10092262B2 (en) Method and system for tomosynthesis projection images enhancement
JP6416631B2 (ja) ステレオx線管に基づく体外高コントラスト物体の抑圧
US9098935B2 (en) Image displaying apparatus, image displaying method, and computer readable medium for displaying an image of a mammary gland structure without overlaps thereof
JP6564018B2 (ja) 放射線画像の肺野セグメンテーション技術及び骨減弱技術
JP2020500579A (ja) 撮像システムのための収集パラメータを選択すること
US9530203B2 (en) Image processing apparatus and image processing method
US9427197B2 (en) Method and apparatus to generate a panoramic radiography
WO2015040547A1 (en) Method and system for spine position detection
EP3047455A1 (en) Method and system for spine position detection
JP2012090659A (ja) 医用画像処理装置、医用画像撮影装置、及び医用画像処理プログラム
JP5576631B2 (ja) 放射線撮影装置、放射線撮影方法、及びプログラム
TWI583192B (zh) 影像處理裝置
JP2007325641A (ja) 医用画像表示装置
US10535167B2 (en) Method and system for tomosynthesis projection image enhancement and review
JP5242094B2 (ja) 医用画像撮影装置、医用画像処理装置および医用画像処理プログラム
US9483833B2 (en) Real-time, interactive image analysis
CN115187640A (zh) 一种基于点云的ct与mri 3d/3d图像配准方法
KR20180115122A (ko) 이미지 처리 장치 및 이에 의한 가상의 엑스선 이미지 생성 방법
KR101495489B1 (ko) 의료 영상 처리 장치 및 그 화질 개선 방법
Zhang et al. VDVM: An automatic vertebrae detection and vertebral segment matching framework for C-arm X-ray image identification
JP2002140714A (ja) 特徴量正誤判定方法および画像処理装置
Ilovar et al. Analysis of radiograph and detection of cardiomegaly
JP4411011B2 (ja) 画像処理装置、プログラム及びコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181004

R150 Certificate of patent or registration of utility model

Ref document number: 6416631

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250