JP2020044341A - 再構成画像データの可視化 - Google Patents

再構成画像データの可視化 Download PDF

Info

Publication number
JP2020044341A
JP2020044341A JP2019199661A JP2019199661A JP2020044341A JP 2020044341 A JP2020044341 A JP 2020044341A JP 2019199661 A JP2019199661 A JP 2019199661A JP 2019199661 A JP2019199661 A JP 2019199661A JP 2020044341 A JP2020044341 A JP 2020044341A
Authority
JP
Japan
Prior art keywords
image data
volumetric image
reconstructed
noise
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019199661A
Other languages
English (en)
Other versions
JP6936842B2 (ja
Inventor
アマール ダーナントワリ
Dhanantwari Amar
アマール ダーナントワリ
ムクタ ジョシ
Joshi Mukta
ムクタ ジョシ
ヤエル ナエ
Nae Yael
ヤエル ナエ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2020044341A publication Critical patent/JP2020044341A/ja
Application granted granted Critical
Publication of JP6936842B2 publication Critical patent/JP6936842B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/467Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient characterised by special input means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/421Filtered back projection [FBP]

Abstract

【課題】ノイズ除去を伴う再構成処理により隠され得るフィーチャをよりよく表示する。【解決手段】方法は、第1の再構成アルゴリズムにより投影データを処理し、第1の再構成ボリュメトリック画像データを再構成することを含み、第1の再構成ボリュメトリック画像データは、第1の3Dノイズを有する。方法は更に、第2の異なる再構成アルゴリズムにより同じ投影データを処理し、第2の再構成された再構成ボリュメトリック画像データを再構成することを含み、第2の再構成ボリュメトリック画像データは、第1の3Dノイズと異なる第2の3Dノイズを有する。方法は更に、主ビューポートに、第1又は第2の再構成ボリュメトリック画像データを視覚的に提示することを含む。方法は更に、主ビューポートのサブ部分に重ねられる関心領域のオーバレイに、第1又は第2の再構成ボリュメトリック画像データの他方のサブ部分を視覚的に提示することを含む。【選択図】図2

Description

本発明は、概して、再構成画像データの視覚化に関し、特にコンピュータトモグラフィ(CT)の用途に関して記述される。しかしながら、本発明は、他のモダリティにも従う。
放射線医は、画像の或る特性のインジケータとして使用されるノイズに起因する特定の外観を有する画像を読影するように訓練されている。例えば、ノイズは、レビューする人に、画像における構造、形状及び/又は輪郭について信頼水準を提供することができる。例えば、より高い可視のノイズは、視覚化された構造、形状及び輪郭が真の構造、形状及び輪郭を表すより低い蓋然性を示すことができ、より低い可視ノイズは、視覚化された構造、形状及び輪郭が真の構造、形状及び輪郭を表すより高い蓋然性を示すことができる。
別の例において、画像のテクスチャは、画像の基礎をなす空間解像度の標示を提供する。例えば、多数のしみのようなノイズは、より低い解像度を示すことがあり、精細なノイズは、より高い解像度を示すことができる。別の例において、同じグレースケールレンジによって視覚化される組織領域のサブ部分のノイズの外観は、領域が複数の異なる組織を含むことを示すことができる。例として、レンジは、1つの組織のノイズの中だけにありえ、これは結果的に、いくつかのグレーピクセルを生じさせ、その外側では、別の組織のノイズがあり、それにより、レビューする人が、グレースケールレンジをシフトさせる必要なく2つの組織間の区別を行うことを可能にする。
ノイズ除去アルゴリズム(投影及び/又は画像ドメイン)及び高度な再構成技法が、再構成された画像データのノイズを低減するために使用される。しかしながら、ノイズの低減は更に、(ノイズ除去アルゴリズムに依存して部分的に又は完全に、)画像をレビューする人が信頼水準及び/又は解像度を決定するために及び/又は異なる組織を区別するために使用する上記の視覚的な手掛かりをも除去する。結果的に得られる再構成画像は、放射線医がレビューすることを訓練された画像と比較して、異なる特性を有しうるので、残念ながら、これは、放射線医がノイズ除去再構成アルゴリズムを用いることをためらうことにつながりうる。
ここに記述される見地は、上述した問題及びその他に対処する。
以下は、再構成された画像データ、ノイズ低減された(又はノイズ除去された)再構成画像、及び/又はそれらの組み合わせが、オブザーバに同時に視覚的に提示し、それによりノイズが提供する視覚的な手掛かりを視覚的に提示し及び/又は観察すること、及び/又はノイズ低減された(デフォルトの又はユーザ規定された)画像データを観察することを可能にし、それゆえ除去されるノイズによって隠されうる関心のあるフィーチャをよりよく表示することができるアプローチを記述する。
1つの見地において、方法は、第1の再構成アルゴリズムにより投影データを処理し、第1の再構成ボリュメトリック画像データを再構成することを含み、ここで、第1の再構成ボリュメトリック画像データは、第1の3Dノイズ関数を有する。方法は更に、第2の異なる再構成アルゴリズムにより同じ投影データを処理し、第2の再構成ボリュメトリック画像データを再構成することを含み、ここで、第2の再構成されたボリュメトリック画像データは、第1の3Dノイズ関数と異なる第2の3Dノイズ関数を有する。方法は更に、主ビューポートに、第1又は第2の再構成ボリュメトリック画像データを視覚的に提示することを含む。方法は、更に、主ビューポートのサブ部分の上に重ねられる関心領域のオーバレイに、第1又は第2の再構成ボリュメトリック画像データの他方のサブ部分を視覚的に提示することを含む。
別の見地において、方法は、第1の再構成アルゴリズムにより投影データを処理し、第1の再構成ボリュメトリック画像データを再構成することを含み、ここで、第1の再構成ボリュメトリック画像データは、第1の3Dノイズ関数を有する。方法は更に、第2の異なる再構成アルゴリズムにより同じ投影データを処理し、第2の再構成ボリュメトリック画像データを再構成することを含み、ここで、第2の再構成ボリュメトリック画像データは、第1のノイズ関数と異なる第2の3Dノイズ関数を有する。方法は更に、関心のあるノイズレベルを得ることを含む。方法は更に、関心のあるノイズレベルに基づいて、第1及び第2のボリュメトリック画像データを組み合わせ、組み合わされたボリュメトリック画像データを生成することを含む。方法は更に、組み合わされたボリュメトリック画像データを視覚的に表示することを含む。
別の見地において、システムは、それぞれ異なる再構成アルゴリズムにより投影データの同じ組を再構成し、第1及び第2の再構成画像データを生成する再構成装置を有する。再構成アルゴリズムの1つは、ノイズ除去再構成アルゴリズムである。再構成装置は、ノイズ除去された再構成画像データのサブ部分を含み、視覚的に表示される画像データのサブ部分の上に重ねられるオーバレイによって、第1又は第2の再構成画像データを視覚的に表示すること、又は、入力ノイズレベルに基づいて第1及び第2の再構成画像データを組み合わせ、組み合わされた画像データを生成し、組み合わされた画像データを視覚的に表示すること、の少なくとも一方を行う。
本発明は、さまざまなコンポーネント及びコンポーネントの取り合わせ並びにさまざまなステップ及びステップの取り合わせの形をとりうる。図面は、好適な実施形態を示すことのみを目的とし、本発明を制限するものとして解釈されるべきでない。
再構成装置を有するイメージングシステムを概略的に示す図。 図1の再構成装置の非限定的な例を示す図。 一方がノイズ除去再構成アルゴリズムである2つの異なる再構成アルゴリズムにより同じ投影データを再構成し、両方の再構成アルゴリズムの再構成された画像データを同時に表示する例示の方法を示す図。 一方がノイズ除去再構成アルゴリズムである2つの異なる再構成アルゴリズムにより同じ投影データを再構成し、関心のあるノイズレベルに基づいて両方の再構成アルゴリズムの再構成画像データを組み合わせ、組み合わされた再構成画像データを表示する例示の方法を示す図。
以下は、ノイズ低減されない再構成画像データ、ノイズ低減された(又はノイズ除去された)再構成画像、及び/又はそれらの組み合わせが、オブザーバに視覚的に提示され、それにより、ノイズが提供する視覚的な手掛かりを視覚的に提示し及び/又は観察し、及び/又はノイズ低減された(デフォルトの又はユーザ規定された)画像データを観察することを可能にし、こうして、除去されたノイズによって隠されうる関心のあるフィーチャをよりよく表示することができるアプローチを記述する。
図1は、コンピュータトモグラフィ(CT)スキャナのようなイメージングシステム100を示す。
イメージングシステム100は、概して、静止ガントリ102及び回転ガントリ104を有する。回転ガントリ104は、静止ガントリ102によって回転可能に支持され、長手軸又はz軸を中心に検査領域のまわりを回転する。
寝台のような患者支持体120は、検査領域において例えば人間患者のような対象又は被検体を指示する。支持体120は、対象又は被検体をローディング、スキャニング及び/又はアンローディングするために対象又は被検体を移動させるように構成される。
X線管のような放射線源108は、回転ガントリ104によって回転可能に支持される。放射線源108は、回転ガントリ104と共に回転し、検査領域106を横切る放射線を放出する。
放射線感受性検出器アレイ110は、検査領域106をまたいで放射線源108の反対側に円弧をなして位置する。検出器アレイ110は、z軸方向に沿って延在する検出器の1又は複数の行を有し、検査領域106を横切って放射線を検出し、それを示す投影データを生成する。
汎用コンピュータシステム又はコンピュータが、オペレータコンソール112として働き、例えばマウス、キーボード及び/又はその他のような入力装置114、及び例えば表示装置、フィルマ又はその他のような出力装置116を有する。コンソール112は、オペレータがシステム100の動作を制御することを可能にする。これは、例えばフィルタード逆投影、ノイズ低減、それらの組み合わせ、及び/又は他の再構成アルゴリズムである1又は複数の再構成アルゴリズムを選択し、第1の再構成画像のサブ部分の上において、移動可能な関心領域(ROI)のオーバレイをアクティブにし及び位置付け、ROI及び/又は関連するビューポートに第2の異なる再構成された画像データを表示し、再構成のためのノイズレベルを示すこと等を含む。
再構成装置118は、投影データを処理し、ボリュメトリック画像データを再構成する。後で詳しく述べるように、一例において、再構成装置118は、ノイズ低減されない再構成されたボリュメトリック画像データ、ノイズ低減された(又はノイズ除去された)再構成されたボリュメトリック画像、及び/又はそれらの組み合わせ(合成)を生成する。結果的に得られるボリュメトリック画像データは視覚的に提示されることができ、それにより、ノイズが提供する手掛かりを、ボリュメトリック画像データ内に可視化することを可能にする。ノイズ低減された及び/又は組み合わされた再構成ボリュメトリック画像データは、同時に及び/又は個別に表示されることができる。このデータは、他の場合には除去されたノイズによって隠されうる関心のあるフィーチャをよりよく表示することができる。データは、出力装置116の1又は複数の表示モニタによって表示されることができる。
後で一層詳しく記述されるように、再構成装置118は、フィルタード逆投影(FBP)再構成、(画像ドメイン及び/又は投影ドメインの)ノイズ低減された再構成アルゴリズム(例えば反復的再構成)、及び/又は他のアルゴリズムを用いることができる。再構成装置118は、例えば物理メモリ及び他の非一時的媒体のようなコンピュータ可読記憶媒体に符号化され又は埋め込まれるコンピュータ可読命令を実行する(1又は複数の)マイクロプロセッサにより実現されることができることが理解されることができる。付加的に又は代替として、マイクロプロセッサは、搬送波、信号及び他の一時的(又は非一時的)媒体によって担持されるコンピュータ可読命令を実行することができる。
図2は、再構成装置118の例を概略的に示す。
再構成器202は、投影データを処理し、投影データは、イメージングシステム100及び/又は他のイメージングシステムによって生成されることができ、例えば画像データ保管通信システム(PACS)、放射線医学情報システム(RIS)、病院情報システム(HIS)及び/又は他のデータリポジトリのようなイメージングシステム及び/又はデータリポジトリから得られることができる。図示される再構成器202は、フィルタード逆投影、コーンビーム及び/又は他のノイズ低減しない再構成アルゴリズムを用いる。再構成器202は、投影データを処理し、再構成されたボリュメトリック画像データを生成する。
ノイズ低減再構成器204は、同じ投影データを処理する。しかしながら、再構成器204は、反復的及び/又は他のノイズ低減再構成アルゴリズムを含みうるノイズ低減再構成アルゴリズムを用いる。ノイズ低減再構成器204は、ノイズ低減された(又はノイズ除去された)再構成ボリュメトリック画像データを生成し、かかる再構成ボリュメトリック画像データは、再構成器202によって生成される再構成ボリュメトリック画像データの対応する領域のノイズレベルより小さいノイズレベル(例えば画像全体又はそのサブ部分における標準偏差)を有する。
図示される実施形態において、再構成器202及びノイズ低減再構成器204は、2つの異なる再構成器として示されている。しかしながら、変形例において、再構成器202及びノイズ低減再構成器204は、2つの異なる再構成アルゴリズムを使用して同じ投影データを再構成し、ノイズ低減されない再構成画像データ及びノイズ低減された再構成画像データである再構成画像データの2つの異なる組を生成する同じ再構成器である。
ノイズ決定器206は、再構成されたボリュメトリック画像データ及び/又はそのサブ部分のノイズ(例えば、3D関数、平均、その他)、及び/又はノイズ低減された再構成ボリュメトリック画像データ及び/又はそのサブ部分を決定する。図示される実施形態において、ノイズ決定器206は、付加的に又は代替として、投影データに基づいてノイズを決定することができる。付加的に又は代替として、ノイズ算定は、再構成ボリュメトリック画像データと、ノイズ低減された再構成ボリュメトリック画像データとの間の差異に基づくことができる。他のアプローチが更にここに企図される。
データコンバイナ208は、ノイズ低減されない再構成ボリュメトリック画像データと、ノイズ低減された再構成ボリュメトリック画像データを組み合わせ、組み合わされたボリュメトリック画像データを生成する。図示される実施形態において、データコンバイナ208は、混合アルゴリズム210、ノイズ低減されない再構成ボリュメトリック画像ボクセル及びノイズ低減された再構成ボリュメトリック画像ボクセルの各々のノイズ値、並びにターゲットノイズレベルに基づいて、ノイズ低減されない再構成ボリュメトリック画像データ及びノイズ低減された再構成ボリュメトリック画像データを組み合わせる。ターゲットのノイズレベルは、デフォルト及び/又はユーザ規定に基づくことができる(例えば、関心のあるノイズレベル(例えば、標準偏差、分散、その他)を示す入力された関心のある信号のノイズレベルによって決定される)。
マッパ212は、ノイズ低減されない再構成ボリュメトリック画像データ、ノイズ低減された再構成ボリュメトリック画像データ、及び/又は組み合わされたボリュメトリック画像データのボクセルの間の物理的マッピング又はマップを生成する。例えば、マップは、ノイズ低減されない再構成ボリュメトリック画像データ、ノイズ低減された再構成ボリュメトリック画像データ、及び/又は組み合わされたボリュメトリック画像データの各々のボクセル(x,y,z)を、ノイズ低減されない再構成ボリュメトリック画像データ、ノイズ低減された再構成ボリュメトリック画像データ及び/又は組み合わされたボリュメトリック画像データの他の物のボクセルにマップする。
関心領域(ROI)オーバレイ生成器214は、アクティブにされるとき、ROIオーバレイを生成し、ROIオーバレイは、オーバレイアルゴリズム216に基づいてオーバレイされ、レンダリングされたボリュメトリック画像データについて移動されることができる。アクティブ化は、ユーザが、アクティブ化を起動する制御(例えば物理的なボタン、マウスクリック、タッチスクリーンの領域のタッチ、音声認識、その他)を作動させることを示すROIアクティブ化入力信号を受け取ることに応じるものでありうる。マウスクリック及び/又はタッチ領域は、ボタン、ダイヤル、スライダ、ドロップダウンメニューなどの形でありうる。アクティブ化がない場合、又はアクティブ化の終了時に、関心領域(ROI)オーバレイ生成器214は、ディスプレイから、任意のオーバレイされたROIオーバレイを除去する。終了は、ユーザが同じ及び/又は他の制御を作動させることを通じて、起動されることができる。
概して、ROIオーバレイは、第1の表示された再構成ボリュメトリック画像データの上にオーバレイされ又は重ねられるとき、レンダリングされた第1の表示されたボリュメトリック画像データの領域を識別し、その領域に、第2の異なる再構成アルゴリズムによって再構成された第2のボリュメトリック画像データが視覚的に提示される。ROIオーバレイに視覚的に提示される第2のボリュメトリック画像データは、ROIオーバレイの後ろの第1の表示された再構成ボリュメトリック画像データ内の同じロケーションに対応する。マッパ212のマップは、このマッピングを提供する。ROIオーバレイは、予め決められた形状(例えば、円形、楕円形、矩形、不規則な形、など)の組から選択されることができ、ユーザによってフリーハンドで描かれることができ、及び/又は他のやり方で生成される。更に、ROIオーバレイは、大きさを変更されることができ、形状を変更されることができ、及び/又は他のやり方で操作されることができる。
任意には、ポップアップビューポート218は、第1の表示された再構成ボリュメトリック画像データの一部の上に、及び/又は第1の表示される再構成ボリュメトリック画像データの上に重ならない領域に、表示されることができる。ビューポート218は、同様にアクティブにされ及び/又は終了されることができる。ビューポート218は、概して、ROIオーバレイよりもより大きいビューイング領域を有し、倍率220がROIオーバレイとビューポートビューイング領域ジオメトリとの間の差又はそれらの比率に対応するとき、同じ情報を表示する。倍率220を増大することは、ビューポートビューイング領域を増大させ、及び/又はズームインし、外側周縁の領域を表示しない。ビューポート218がアクティブにされる場合、ROIオーバレイは、(ROIオーバレイの外側の領域のような)第1の再構成されたボリュメトリック画像データ、又は(ビューポート218のような)第2の再構成ボリュメトリック画像データを視覚的に提示することができる。
レンダリングエンジン222は、出力装置116の表示モニタを通じてデータをレンダリングする。これは、ノイズ低減されない再構成ボリュメトリック画像データ、ノイズ低減された再構成ボリュメトリック画像データ、及び/又は、組み合わされた再構成画像データの1又は複数をレンダリングすることを含む。任意に、レンダリングエンジン222は、ROIオーバレイをレンダリングすることができる。任意に、レンダリングエンジン222は、ポップアップビューポート218をレンダリングすることができる。動作モードを示す入力は、レンダリングエンジン222がレンダリングするものを決定する。
図3は、移動可能なROIオーバレイ及び任意のビューポートがレンダリングされた再構成ボリュメトリック画像データの上に重ねられる例示の方法を示す。
方法における工程の順序は制限的でないことが理解されるべきである。従って、他の順序が更にここに企図される。更に、1又は複数の工程が省かれることができ、及び/又は1又は複数の付加の工程が含められることができる。
工程302において、投影データが得られる。
工程304において、再構成器は、投影データを再構成し、ノイズ低減されない再構成ボリュメトリック画像データを生成する。
工程306において、同じ又は異なる再構成器が、投影データを再構成し、ノイズ低減された(又はノイズ除去された)再構成ボリュメトリック画像データを生成する。
工程308において、ノイズ低減されない再構成ボリュメトリック画像データが、主表示領域に表示される。
工程310において、ROIオーバレイが、表示されたノイズ低減されない再構成ボリュメトリック画像データのサブ部分の上に重ねられる。
工程312において、ノイズ低減されない再構成ボリュメトリック画像データに対応するノイズ低減された再構成ボリュメトリック画像データのサブ部分が、ROIオーバレイ内に表示される。
工程314において、アクティブにされる場合、ポップアップビューポートが更に表示され、ポップアップビューポートは、ROIオーバレイと同じであるが拡大されたデータを含む。
工程316において、ROIオーバレイは維持され、又は移動され、その場合、視覚的に提示されるデータが、ロケーションを反映するようにROIオーバレイ及びビューポート内で更新される。
上述の工程は、コンピュータプロセッサによって実行されるとき、記述された工程をプロセッサに実行させるコンピュータ可読命令であって、コンピュータ可読記憶媒体に符号化され又は埋め込まれることができるコンピュータ可読命令を通して実現されることができる。付加的に又は代替として、コンピュータ可読命令の少なくとも1つが、信号、搬送波又は他の一時的媒体によって担持される。
上述したもの変形例において、ノイズ低減された再構成ボリュメトリック画像データが、表示領域に表示され、ノイズ低減されない再構成ボリュメトリック画像データ又は組み合わされたボリュメトリックイメージングされたデータが、ROIオーバレイに表示される。ノイズ低減された再構成ボリュメトリック画像データ、ノイズ低減されない再構成ボリュメトリック画像データ又は組み合わされたボリュメトリック画像データが、ポップアップビューポートに表示される。
別の変形例において、ノイズ低減されない再構成ボリュメトリック画像データが、表示領域に表示され、組み合わされたボリュメトリック画像データがROIオーバレイに表示される。ノイズ低減された再構成ボリュメトリック画像データ、ノイズ低減されない再構成ボリュメトリック画像データ、又は組み合わされたボリュメトリック画像データが、ポップアップビューポートに表示される。
上述したものの更に別の変形例において、ノイズ低減された再構成ボリュメトリック画像データが、表示領域に表示され、組み合わされたボリュメトリック画像データが、ROIオーバレイに表示される。ノイズ低減された再構成ボリュメトリック画像データ、ノイズ低減されない再構成ボリュメトリック画像データ、又は組み合わされたボリュメトリック画像データが、ポップアップビューポートに表示される。
更に別の変形例において、組み合わされたボリュメトリック画像データが、表示領域に表示され、ノイズ低減されない再構成ボリュメトリック画像データ、又はノイズ低減された再構成ボリュメトリック画像データが、ROIオーバレイに表示される。ノイズ低減された再構成ボリュメトリック画像データ、ノイズ低減されない再構成ボリュメトリック画像データ、又は組み合わされたボリュメトリック画像データが、ポップアップビューポートに表示される。
上述の変形例のいずれかによって、関心領域オーバレイに表示されるボリュメトリック画像データは、ノイズ低減されない再構成ボリュメトリック画像データ、ノイズ低減された再構成ボリュメトリック画像データ、又は組み合わされたボリュメトリック画像データの間で切り替えられることができる。
図4は、組み合わされたノイズ低減されない及びノイズ低減されたボリュメトリック画像データが、生成され表示される例示の方法を示す。
方法の工程の順序は制限的でないことが理解されるべきである。従って、他の順序が更にここに企図される。更に、1又は複数の工程が省かれることができ、及び/又は1又は複数の付加の行為が含められることができる。
工程402において、投影データが得られる。
工程404において、再構成器は、投影データを再構成し、ノイズ除去されない再構成ボリュメトリック画像データを生成する。
工程406において、同じ又は異なる再構成器が、投影データを再構成し、ノイズ低減された(又はノイズ除去された)再構成されたボリュメトリック画像データを生成する。
工程408において、再構成されたボリュメトリック画像データの3Dノイズ関数が決定される。工程410において、ノイズ低減された再構成ボリュメトリック画像データの3Dノイズ関数が決定される。
工程412において、ノイズ低減されない再構成ボリュメトリック画像データ及びノイズ低減された再構成ボリュメトリック画像データが、デフォルトの又はユーザ提供される関心のあるノイズ値に基づいて組み合わせられる。
1つの例において、関心のあるノイズ値は、図3のROIオーバレイ及び/又はビューポートを通じて決定される。
工程414において、組み合わされた再構成ボリュメトリック画像データが表示される。
工程416において、関心のある異なるノイズ値を受け取ることに応じて、工程412及び414が繰り返される。
上述の工程は、コンピュータプロセッサによって実行されるとき、記述された工程をプロセッサに実施させるコンピュータ可読命令であって、コンピュータ可読記憶媒体に符号化され又は埋め込まれることができるコンピュータ可読命令を通して実現されることができる。付加的に又は代替として、コンピュータ可読命令の少なくとも1つが、信号、搬送波又は他の一時的媒体によって担持される。
上記は、放射線医が現在スキャンされている被検体の画像を読影することに関連して利用されることができる。代替として、上記は、放射線医が1又は複数の以前にスキャンされた被検体の画像を読影することに関連して利用されることができる。後者は、以前にスキャンされた被検体のデータベースにアクセスし、放射線医が異なるノイズ除去再構成からの結果及びそれぞれ異なるノイズレベルに基づく異なる組み合わせからの結果をビューすることを可能にする。
後者は、スキャンのための線量を下げる潜在的な効果を視覚化するために利用されることができる。これは、まず、ノイズと線量との間の関係を決定し及び/又は取得し、次に関心のある線量又はノイズを提供し、対応するノイズ又は線量を表示し、再構成されたボリュメトリック画像データを処理し、提示することを含むことができる。この場合、ユーザは、線量及び/又はノイズパラメータを動的に変更し、後続の再構成を通じて効果を視覚化することが可能でありうる。
本発明は、好適な実施形態を参照して記述された。変形及び変更は、上述の詳細な説明を読み理解することにより当業者に思いつくであろう。本発明は、すべてのこのような変形及び変更が添付の請求項又はそれと等価なものの範囲内にある限りそれらを含むものとして構成されることが意図される。

Claims (26)

  1. 第1の再構成アルゴリズムにより投影データを処理し、第1の再構成ボリュメトリック画像データを再構成するステップであって、第1の再構成ボリュメトリック画像データは、第1の3Dノイズ関数を有する、ステップと、
    第2の異なる再構成アルゴリズムにより同じ投影データを処理し、第2の再構成ボリュメトリック画像データを再構成するステップであって、第2の再構成ボリュメトリック画像データは、前記第1の3Dノイズ関数と異なる第2の3Dノイズ関数を有する、ステップと、
    主ビューポートに、前記第1又は前記第2の再構成ボリュメトリック画像データを視覚的に提示するステップと、
    前記主ビューポートのサブ部分の上に重ねられる関心領域のオーバレイ内に、前記第1又は前記第2の再構成ボリュメトリック画像データの他方のサブ部分を視覚的に提示するステップと、を含む方法。
  2. 前記関心領域のオーバレイが、第1のビューイング領域を有し、
    前記方法が、前記第1のビューイング領域より大きい第2のビューイング領域を有するポップアップビューポートを視覚的に提示するステップを更に含み、前記ポップアップビューポートは、前記関心領域のオーバレイに視覚的に提示されるのと同じ前記第1又は第2の再構成ボリュメトリック画像データの前記他方のサブ部分を、前記第2のビューイング領域の前記第1のビューイング領域に対する比に基づいて拡大して、視覚的に提示する、請求項1に記載の方法。
  3. 前記第1の再構成ボリュメトリック画像データが、ノイズ低減されない再構成ボリュメトリック画像データであり、前記第2の再構成ボリュメトリック画像データが、ノイズ低減された再構成ボリュメトリック画像データである、請求項1又は2のいずれかの方法。
  4. 前記第1の再構成ボリュメトリック画像データが、ノイズ低減されない再構成ボリュメトリック画像データであり、前記第2の再構成ボリュメトリック画像データが、ノイズ低減されない再構成ボリュメトリック画像データ及びノイズ低減された再構成ボリュメトリック画像データの組み合わせである、請求項1又は2に記載の方法。
  5. 前記関心領域のオーバレイの位置の変更を示す信号を受け取るステップと、
    前記信号に示されている位置へ、前記関心領域のオーバレイを移動させるステップと、
    前記位置に基づいて、前記関心領域のオーバレイに表示されるボリュメトリック画像データを更新するステップと、
    を含む、請求項1乃至4のいずれか1項に記載の方法。
  6. 前記第1の再構成ボリュメトリック画像データと前記第2の再構成ボリュメトリック画像データとの間で、前記関心領域のオーバレイに表示されるボリュメトリック画像データを切り替えるステップを更に含む、請求項1乃至4のいずれか1項に記載の方法。
  7. 前記関心領域のオーバレイに表示されるボリュメトリック画像データに基づいて、関心のあるノイズレベルを識別するステップを更に含む、請求項1乃至6のいずれか1項に記載の方法。
  8. 前記識別された関心のあるノイズレベルに基づいて、前記第1及び前記第2の再構成ボリュメトリック画像データを組み合わせ、組み合わされたボリュメトリック画像データを生成するステップと、
    前記組み合わされたボリュメトリック画像データを視覚的に表示するステップと、
    を含む、請求項7に記載の方法。
  9. 関心のあるノイズレベルを受け取るステップと、
    前記関心のあるノイズレベルに基づいて、前記第1及び前記第2の再構成ボリュメトリック画像データを組み合わせ、組み合わされたボリュメトリック画像データを生成するステップと、
    前記組み合わされたボリュメトリック画像データを視覚的に表示するステップと、
    を含む、請求項1乃至7のいずれか1項に記載の方法。
  10. 前記関心のあるノイズレベルの変更を受け取るステップと、
    変更された関心のあるノイズレベルに基づいて、前記第1及び前記第2のボリュメトリック画像データを再び組み合わせて、第2の組み合わされたボリュメトリック画像データを生成するステップと、
    前記第2の組み合わされたボリュメトリック画像データを視覚的に表示するステップと、
    を含む、請求項9に記載の方法。
  11. 第1の再構成アルゴリズムにより投影データを処理して、第1の再構成ボリュメトリック画像データを再構成するステップであって、第1の再構成ボリュメトリック画像データは、第1の3Dノイズ関数を有する、ステップと、
    第2の異なる再構成アルゴリズムにより同じ投影データを処理して、第2の再構成ボリュメトリック画像データを再構成するステップであって、第2の再構成ボリュメトリック画像データは、前記第1の3Dノイズ関数と異なる第2の3Dノイズ機能を有する、ステップと、
    関心のあるノイズレベルを得るステップと、
    前記関心のあるノイズレベルに基づいて、前記第1及び前記第2の再構成ボリュメトリック画像データを組み合わせ、組み合わされたボリュメトリック画像データを生成するステップと、
    前記組み合わされたボリュメトリック画像データを視覚的に表示するステップと、
    を含む方法。
  12. 前記第1の再構成ボリュメトリック画像データが、ノイズ低減されない再構成ボリュメトリック画像データであり、前記第2の再構成ボリュメトリック画像データが、ノイズ低減された再構成ボリュメトリック画像データである、請求項11に記載の方法。
  13. 前記関心のあるノイズレベルが、デフォルトのノイズレベルである、請求項11又は12に記載の方法。
  14. 前記関心のあるノイズレベルが、ユーザ規定されるノイズレベルである、請求項11又は12に記載の方法。
  15. 前記関心のあるノイズレベルの変更を受け取るステップと、
    変更された関心のあるノイズレベルに基づいて、前記第1及び前記第2のボリュメトリック画像データを再び組み合わせて、第2の組み合わされたボリュメトリック画像データを生成するステップと、
    前記第2の組み合わされたボリュメトリック画像データを視覚的に表示するステップと、
    を含む、請求項14に記載の方法。
  16. 主ビューポートに、前記第1又は前記第2の再構成ボリュメトリック画像データを視覚的に表示するステップと、
    前記主ビューポートのサブ部分の上に重ねられる関心領域のオーバレイ内に、前記第1又は前記第2の再構成ボリュメトリック画像データの他方のサブ部分を視覚的に表示するステップと、
    を含む、請求項11乃至15のいずれか1項に記載の方法。
  17. 前記オーバレイが、第1のビューイング領域を有し、
    前記方法が、前記第1のビューイング領域より大きい第2のビューイング領域を有するポップアップビューポートを視覚的に提示するステップを更に含み、前記ポップアップビューポートは、前記関心領域のオーバレイに視覚的に提示されるのと同じ前記第1又は前記第2の再構成ボリュメトリック画像データの前記他方のサブ部分を、前記第1のビューイング領域に対する前記第2のビューイング領域の比に基づいて拡大して、視覚的に提示する、請求項16に記載の方法。
  18. 前記第1の再構成ボリュメトリック画像データが、ノイズ低減されない再構成ボリュメトリック画像データであり、前記第2の再構成ボリュメトリック画像データが、ノイズ低減された再構成ボリュメトリック画像データである、請求項16又は17に記載のいずれか1項に記載の方法。
  19. 前記第1の再構成ボリュメトリック画像データが、ノイズ低減されない再構成ボリュメトリック画像データであり、前記第2の再構成ボリュメトリック画像データは、ノイズ低減されない再構成ボリュメトリック画像データ及びノイズ低減された再構成されたボリュメトリック画像データの組み合わせである、請求項16又は17に記載の方法。
  20. 前記関心領域のオーバレイの位置の変更を示す信号を受け取るステップと、
    前記信号において示される位置へ、前記関心領域のオーバレイを移動させるステップと、
    前記位置に基づいて、前記関心領域のオーバレイに表示されるボリュメトリック画像データを更新するステップと、
    を更に含む、請求項11乃至19のいずれか1項に記載の方法。
  21. 前記第1の再構成ボリュメトリック画像データと前記第2の再構成ボリュメトリック画像データとの間で、前記関心領域のオーバレイに表示されるボリュメトリック画像データを切り替えるステップを更に含む、請求項11乃至20のいずれか1項に記載の方法。
  22. それぞれ異なる再構成アルゴリズムにより投影データの同じ組を再構成し、第1及び第2の再構成画像データを生成する再構成装置を有するシステムであって、
    前記再構成アルゴリズムの1つが、ノイズ除去再構成アルゴリズムであり、前記再構成装置が、
    ノイズ除去された再構成画像データのサブ部分を含み、視覚的に表示された画像データのサブ部分の上に重ねられるオーバレイにより、前記第1又は第2の再構成画像データを視覚的に表示すること、又は、
    入力ノイズレベルに基づいて、前記第1及び第2の再構成画像データを組み合わせ、組み合わされた画像データを生成し、前記組み合わされた画像データを視覚的に表示すること、
    の少なくとも一方を行う、システム。
  23. 前記再構成装置が、前記オーバレイ内のノイズ除去された再構成画像データのサブ部分の拡大されたビューを含むポップアップビューポートを表示する、請求項22に記載のシステム。
  24. 前記オーバレイが、移動可能であり、
    前記再構成装置は、前記オーバレイが視覚的に表示された画像データ上の異なるロケーションに移動されることに応じて、前記オーバレイ及び前記ポップアップビューポート内のデータを更新する、請求項22に記載のシステム。
  25. 前記再構成装置が、ユーザ入力として関心のあるノイズレベルを受け取り、前記受け取られた関心のあるノイズレベルに基づいて前記第1及び前記第2の再構成画像データを組み合わせる、請求項22乃至24のいずれか1項に記載のシステム。
  26. 前記再構成装置が、次のユーザ入力として関心のあるノイズレベルの変更を受け取り、前記関心のあるノイズレベルの変更に基づいて、前記第1及び第2の再構成画像データを組み合わせる、請求項24に記載のシステム。
JP2019199661A 2013-04-10 2019-11-01 再構成画像データの可視化 Active JP6936842B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361810353P 2013-04-10 2013-04-10
US61/810,353 2013-04-10
JP2016507078A JP6905827B2 (ja) 2013-04-10 2014-03-28 再構成画像データの可視化

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016507078A Division JP6905827B2 (ja) 2013-04-10 2014-03-28 再構成画像データの可視化

Publications (2)

Publication Number Publication Date
JP2020044341A true JP2020044341A (ja) 2020-03-26
JP6936842B2 JP6936842B2 (ja) 2021-09-22

Family

ID=50624894

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016507078A Active JP6905827B2 (ja) 2013-04-10 2014-03-28 再構成画像データの可視化
JP2019199661A Active JP6936842B2 (ja) 2013-04-10 2019-11-01 再構成画像データの可視化

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016507078A Active JP6905827B2 (ja) 2013-04-10 2014-03-28 再構成画像データの可視化

Country Status (6)

Country Link
US (1) US11227414B2 (ja)
EP (1) EP2984630A1 (ja)
JP (2) JP6905827B2 (ja)
CN (1) CN105103194B (ja)
RU (1) RU2676001C2 (ja)
WO (1) WO2014167450A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10592743B2 (en) 2017-08-24 2020-03-17 International Business Machines Corporation Machine learning to predict cognitive image composition
US10552944B2 (en) * 2017-10-13 2020-02-04 Adobe Inc. Image upscaling with controllable noise reduction using a neural network
CN109523605A (zh) * 2018-11-29 2019-03-26 上海联影医疗科技有限公司 一种ct图像重建的方法、装置、设备及介质
RU2741957C1 (ru) * 2020-06-01 2021-02-01 Федеральное государственное бюджетное учреждение науки Федеральный научный центр "Владикавказский научный центр Российской академии наук" Способ отбора селекционных образцов озимой тритикале
EP3964131A1 (en) 2020-09-03 2022-03-09 Koninklijke Philips N.V. Spectral x-ray material decomposition method

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1040449A1 (en) 1998-07-28 2000-10-04 General Electric Company Method and apparatus for calibrating a non-contact range sensor
US6285741B1 (en) 1998-08-25 2001-09-04 General Electric Company Methods and apparatus for automatic image noise reduction
RU2166909C1 (ru) * 2000-05-18 2001-05-20 Восканян Юрий Эдуардович Способ визуализации артерий нижних конечностей методом магнитно-резонансной ангиографии
JP2003153893A (ja) 2001-11-21 2003-05-27 Hitachi Medical Corp 断層写真像の作成装置
JP4217023B2 (ja) 2002-02-25 2009-01-28 一郎 佐久間 血管内皮計測装置
US6959106B1 (en) 2002-04-16 2005-10-25 General Electric Company Method and apparatus for detecting low contrast object in a diagnostic image
RU2252692C2 (ru) 2003-07-25 2005-05-27 ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ НАУЧНО-ПРОИЗВОДСТВЕННО-КОНСТРУКТОРСКАЯ ФИРМА "Медиком МТД" Способ исследования функционального состояния головного мозга, устройство для исследования функционального состояния головного мозга и способ измерения подэлектродного сопротивления
US7489825B2 (en) 2005-07-13 2009-02-10 Ge Medical Systems Method and apparatus for creating a multi-resolution framework for improving medical imaging workflow
EP1934942B1 (en) * 2005-09-26 2016-05-04 Koninklijke Philips N.V. Iterative reconstruction with enhanced noise control filtering
JP2007235227A (ja) * 2006-02-27 2007-09-13 Toshiba Corp 映像再生装置、および映像再生方法
US8077153B2 (en) * 2006-04-19 2011-12-13 Microsoft Corporation Precise selection techniques for multi-touch screens
ATE497729T1 (de) 2006-10-02 2011-02-15 Hansen Medical Inc System für dreidimensionale ultraschall-abbildung
US7756312B2 (en) 2006-10-19 2010-07-13 General Electric Company Methods and apparatus for noise estimation
US8081809B2 (en) * 2006-11-22 2011-12-20 General Electric Company Methods and systems for optimizing high resolution image reconstruction
TW200828983A (en) 2006-12-27 2008-07-01 Altek Corp Method of eliminating image noise
EP2156408B1 (en) 2007-05-30 2021-03-17 Koninklijke Philips N.V. Pet local tomography
WO2009083864A2 (en) 2007-12-20 2009-07-09 Philips Intellectual Property & Standards Gmbh Iterative reconstruction of polyhedral objects from few projections
EP2240906B1 (en) 2008-01-14 2013-12-11 Wisconsin Alumni Research Foundation Method for prior image constrained progressive image reconstruction
US7977943B2 (en) 2008-04-10 2011-07-12 General Electric Company Method and system for reconstructing images
US8472688B2 (en) 2008-04-17 2013-06-25 Wisconsin Alumni Research Foundation Method for image reconstruction employing sparsity-constrained iterative correction
DE102008052690B4 (de) 2008-10-22 2019-10-31 Siemens Healthcare Gmbh Vorrichtung und Verfahren zur Rekonstruktion und Visualisierung von Projektionsdaten
DE102008052691A1 (de) 2008-10-22 2010-04-29 Siemens Aktiengesellschaft Vorrichtung und Verfahren zur Rekonstruktion und Visualisierung von Volumendaten auf der Basis allgemeiner Projektionsdaten
KR20110097879A (ko) * 2008-11-24 2011-08-31 코닌클리케 필립스 일렉트로닉스 엔.브이. 3d 비디오와 보조 데이터의 조합
US8660636B2 (en) 2009-01-19 2014-02-25 Koninklijke Philips N.V. Regional reconstruction and quantitative assessment in list mode PET imaging
DE102009039987A1 (de) 2009-09-03 2011-03-17 Siemens Aktiengesellschaft Iterativer CT-Bildfilter zur Rauschreduktion
JP5349384B2 (ja) * 2009-09-17 2013-11-20 富士フイルム株式会社 医用画像表示装置および方法並びにプログラム
US8705831B2 (en) * 2009-09-24 2014-04-22 Koninklijke Philips N.V. System and method for generating an image of a region of interest
EP2489011B1 (en) 2009-10-14 2020-04-29 3Mensio Medical Imaging B.V. A method, a graphic user interface, a system and a computer program for optimizing workflow of a medical intervention
US8862206B2 (en) 2009-11-12 2014-10-14 Virginia Tech Intellectual Properties, Inc. Extended interior methods and systems for spectral, optical, and photoacoustic imaging
EP2385494A1 (en) 2010-05-07 2011-11-09 IBBT vzw A method and device for estimating noise in a reconstructed image
DE102010029187A1 (de) 2010-05-20 2011-11-24 Siemens Aktiengesellschaft Verfahren zur Rekonstruktion eines einer Schnittebene durch ein aufgenommenes Objekt entsprechenden zweidimensionalen Schichtbildes und Röntgeneinrichtung
US8629404B2 (en) 2010-07-21 2014-01-14 Siemens Medical Solutions Usa, Inc. Method and apparatus to optimize injected dose and scan time in SPECT imaging
EP2691932B1 (en) 2011-03-28 2019-07-24 Koninklijke Philips N.V. Contrast-dependent resolution image
JP5925438B2 (ja) * 2011-06-23 2016-05-25 株式会社東芝 超音波診断装置
WO2013014554A1 (en) * 2011-07-28 2013-01-31 Koninklijke Philips Electronics N.V. Image generation apparatus

Also Published As

Publication number Publication date
US11227414B2 (en) 2022-01-18
RU2676001C2 (ru) 2018-12-25
JP6936842B2 (ja) 2021-09-22
WO2014167450A1 (en) 2014-10-16
JP6905827B2 (ja) 2021-07-21
JP2016514612A (ja) 2016-05-23
CN105103194B (zh) 2019-01-29
EP2984630A1 (en) 2016-02-17
CN105103194A (zh) 2015-11-25
US20160048982A1 (en) 2016-02-18
RU2015147854A (ru) 2017-05-22

Similar Documents

Publication Publication Date Title
JP6936842B2 (ja) 再構成画像データの可視化
EP2132715B1 (en) Image viewing window
US9087400B2 (en) Reconstructing an object of interest
US9053565B2 (en) Interactive selection of a region of interest in an image
EP3061073B1 (en) Image visualization
CN106663319B (zh) 谱图像数据的可视化
EP2831845B1 (en) Visual suppression of selective tissue in image data
CN107209946B (zh) 图像数据分割和显示
JP2015515296A (ja) 対象物の画像情報の提供
JP6486953B2 (ja) 画像データにおける運動構造をセグメント化する方法、対象運動構造セグメンター及び記憶媒体
US9349177B2 (en) Extracting bullous emphysema and diffuse emphysema in E.G. CT volume images of the lungs
US20230334732A1 (en) Image rendering method for tomographic image data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201030

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210812

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210827

R150 Certificate of patent or registration of utility model

Ref document number: 6936842

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150