JP2015208599A - 医用画像診断支援装置、方法およびプログラム - Google Patents

医用画像診断支援装置、方法およびプログラム Download PDF

Info

Publication number
JP2015208599A
JP2015208599A JP2014093581A JP2014093581A JP2015208599A JP 2015208599 A JP2015208599 A JP 2015208599A JP 2014093581 A JP2014093581 A JP 2014093581A JP 2014093581 A JP2014093581 A JP 2014093581A JP 2015208599 A JP2015208599 A JP 2015208599A
Authority
JP
Japan
Prior art keywords
image
noise reduction
groups
integrated value
execution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014093581A
Other languages
English (en)
Other versions
JP6491823B2 (ja
JP2015208599A5 (ja
Inventor
阪本 剛
Takeshi Sakamoto
剛 阪本
博昭 浦山
Hiroaki Urayama
博昭 浦山
畦元 将吾
Shogo Azemoto
将吾 畦元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Aze Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aze Ltd filed Critical Aze Ltd
Priority to JP2014093581A priority Critical patent/JP6491823B2/ja
Publication of JP2015208599A publication Critical patent/JP2015208599A/ja
Publication of JP2015208599A5 publication Critical patent/JP2015208599A5/ja
Application granted granted Critical
Publication of JP6491823B2 publication Critical patent/JP6491823B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

【課題】3次元医用画像データにより生成される観察用画像に対し実行するノイズ低減処理の実行強度を、適正にかつ短時間で決定し得るようにする。
【解決手段】観察用画像を構成する対象ボクセルを、担持するCT値の大きさに応じて複数の群(第1群〜第3群)に分別し、群別ボクセル数(N1、N2、N3)を求める。求めた群別ボクセル数に、群ごとに設定した重みづけ係数(K1、K2、K3)を乗じて変更し、変更後の群別ボクセル数(N1´、N2´、N3´)を求める。この変更後の群別ボクセル数の積算値に基づきノイズ低減処理の実行強度を決定し、決定した実行強度によるノイズ低減処理を実行する。
【選択図】図4

Description

本発明は、医療分野等における画像診断を支援するための画像処理技術に関するものであり、特に、3次元医用画像データにより画像を生成する際に生じるノイズの低減処理を行う医用画像診断支援装置、方法およびプログラムに関する。
従来、X線CT(Computed Tomography)やMRI(Magnetic Resonance Imaging)等の画像診断装置により得られた3次元医用画像データ(3次元的な情報を担持したボリュームデータ)を、コンピュータを用いて2次元的に再構成することにより、被検体(患者)の任意の領域(例えば、胸部や腹部における体軸断面)に対応した観察用画像を作成し、その観察用画像を利用して、患者に病状を説明したり手術計画を立てたりすることが行われている。
このような観察用画像には、様々な要因によりノイズが発生する。例えば、被検体の断面の観察用画像を作成する場合には、被検体の断面積(ボクセル換算の体積と考えてもよい)が大きいほどノイズ量が増える傾向がある。また、X線CTによる観察用画像では、X線が通過し難い、高いCT値を有する骨等の組織の割合が大きいほどノイズが増える傾向があることや、コンプトン散乱等の物理的現象の影響でノイズが生じることも知られている。
X線CTでは、X線量を増やすとノイズが低減する(例えば、X線量を2倍に増やすとノイズが2の平方根(2分の1乗)分の1に減少する)ことが知られているが、X線量を増やすと被検体の被曝線量も増えることになる。近年のX線CT装置においては、X線量を抑制しつつノイズの少ない観察用画像を作成することを目標としている。そのために、観察用画像の構成手法として、演算量は少ないが低線量下でのノイズが大きくなるフィルタ補正逆投影(FBP:Filtered Back Projection)法に替えて、演算量は多いが低線量下でもノイズを抑えることができる逐次近似再構成(IR:Iterative Reconstruction)法を応用した手法を用いるなどの対策を講じることにより、低線量下における画像ノイズの低減を図っている。
一方、画像診断装置により構成された観察用画像(ボクセルデータの集合体としての画像データ)に対し、画像処理技術を用いた後処理としてのノイズ低減処理を行うことも近年一般的に行われている。このようなノイズ低減処理としては、移動平均フィルタや加重平均フィルタ等の線形フィルタや、メディアンフィルタやエッジ保存フィルタ等の非線形フィルタによる平滑化処理が一般的であるが、他にも種々の手法が知られている。
例えば、被検体の体軸方向に沿った、互いに隣接する複数の観察用画像(体軸断面画像データ)がある場合に、その中の一の観察用画像のノイズパターンを、隣接する他の観察用画像を用いて抽出し、そのノイズパターンを一の観察用画像から除去する方法が知られている。また、X線CT装置により得られた複数の薄いスライス画像に対してそれぞれ3次元の画像フィルタ処理を施し、その後に複数の薄いスライス画像を束ねることによりノイズ低減を図る手法も提案されている(例えば、下記特許文献1を参照)。
特開2005−131287号公報
画像処理により良好なノイズ低減効果を得るためには、ノイズ低減処理を施す観察用画像に生じているノイズ量を的確に把握し、そのノイズ量に応じて、観察用画像に対しどの程度ノイズ低減処理を施すのか(以下、適宜「ノイズ低減処理の実行強度」と称する)を適正に決定することが重要とされている。
しかしながら、観察用画像に生じているノイズ量を正確に把握することは難しく時間を要する。このため、ノイズ低減処理の実行強度を適正に決定しようとするあまり、画像ノイズ量を厳密に把握することに拘泥されると、ノイズ低減処理を実行するのに多大な時間を要することとなる。
本発明は、このような事情に鑑みなされたものであり、3次元医用画像データにより生成される観察用画像に対し実行するノイズ低減処理の実行強度を、適正にかつ短時間で決定することが可能な医用画像診断支援装置、方法およびプログラムを提供することを目的とする。
上記目的を達成するため、本発明に係る医用画像診断支援装置、方法およびプログラムは、以下の特徴を備えている。
すなわち、本発明に係る医用画像診断支援装置は、
3次元医用画像データにより生成される、被検体の所定の領域に対応した所定の観察用画像におけるノイズを低減させるためのノイズ低減処理を実行する医用画像診断支援装置であって、
前記所定の観察用画像を構成する複数の画像構成要素を、各画像構成要素が担持する信号値(例えば、X線CTにおけるCT値やMRIにおける信号強度)の大きさに応じて複数の群に分別する画像構成要素分別手段と、
前記複数の群に分別された前記複数の画像構成要素の群別の個数を求める画像構成要素計数手段と、
前記画像構成要素計数手段により求められた前記群別の個数を、前記複数の群の各々に属する各前記画像構成要素が担持する前記信号値の大きさに応じて変更する画像構成要素数変更手段と、
前記画像構成要素数変更手段による変更後の前記群別の個数の積算値を求める画像構成要素数積算手段と、
前記画像構成要素数積算手段により求められた前記積算値に基づき、前記ノイズ低減処理の実行強度を決定するノイズ低減処理実行強度決定手段と、
前記ノイズ低減処理実行強度決定手段により決定された前記実行強度に基づき、前記所定の観察用画像に対し前記ノイズ低減処理を実行するノイズ低減処理実行手段と、を備えたことを特徴とする。
この態様の医用画像診断支援装置においては、観察用画像を構成する複数の画像構成要素を、各画像構成要素が担持する信号値の大きさに応じて複数の群に分別し、分別された群別の個数を信号値の大きさに応じて変更し、その変更後の群別の個数の積算値に基づき、ノイズ低減処理の実行強度を決定するようになっている。観察用画像を構成する複数の画像構成要素の上記積算値は、観察用画像に写る被検体領域の大きさ(断面積や体積)を反映するとともに、それに加えて、被検体領域内の各部位が担持する信号値の大きさを反映したものとなる。
観察用画像における被検体領域の大きさや各部位が担持する信号値の大きさは、観察用画像に生じるノイズ量と密接な関係を有している。したがって、これらを反映した上記積算値に基づき、ノイズ低減処理の実行強度を決定する上記医用画像診断支援装置によれば、ノイズ低減処理の実行強度を適正に決定することが可能となる。また、上記積算値は、観察用画像を構成する画像構成要素の個数に基づき容易に算出することができるので、観察用画像に発生している実際のノイズ量を正確に求めてノイズ低減処理の実行強度を決定するものに比べ、ノイズ低減処理の実行強度を短時間で決定することが可能となる。
本発明に係る医用画像診断支援装置において、前記画像構成要素分別手段、前記画像構成要素計数手段、前記画像構成要素数変更手段および前記画像構成要素数積算手段による各処理を、前記被検体の複数の領域の各々に対応した複数の観察用画像に対し実行させ、当該複数の観察用画像の各々についての前記積算値を求める複数画像積算値算出手段を備え、前記ノイズ低減処理実行強度決定手段は、前記複数の観察用画像の各々について求められた各前記積算値の中から基準となる基準積算値を選出し、当該基準積算値に対する、前記所定の観察用画像における前記積算値の比率を求め、当該比率に応じて、前記所定の観察用画像に対する前記ノイズ低減処理の実行強度を決定するように構成することができる。
この態様の医用画像診断支援装置によれば、一の被検体に関する複数の観察用画像の各々におけるノイズ低減処理の実行強度を、基準積算値に対する各々の積算値(ノイズ低減処理を実行する観察用画像における積算値)の比率によって決定することができるので、観察用画像間においてノイズ低減効果にばらつきが生じることを抑制することが可能となる。
本発明に係る医用画像診断支援装置において、前記複数の観察用画像の各々について求められた各前記積算値の大小関係を示すグラフを作成する積算値グラフ作成手段を備え、前記ノイズ低減処理実行強度決定手段は、前記積算値グラフ作成手段により作成された前記グラフを用いて、前記ノイズ低減処理の実行強度を決定するように構成することができる。
この態様の医用画像診断支援装置によれば、上記グラフを作成、表示することにより、ノイズ低減処理の実行強度の決定過程を医師等に分かり易く提示することが可能となる。
本発明に係る医用画像診断支援方法は、
3次元医用画像データにより生成される、被検体の所定の領域に対応した所定の観察用画像におけるノイズを低減させるためのノイズ低減処理を実行する医用画像診断支援方法であって、
前記所定の観察用画像を構成する複数の画像構成要素を、各画像構成要素が担持する信号値の大きさに応じて複数の群に分別する画像構成要素分別ステップと、
前記複数の群に分別された前記複数の画像構成要素の群別の個数を求める画像構成要素計数ステップと、
前記画像構成要素数算出ステップにより求められた前記群別の個数を、前記複数の群の各々に属する各前記画像構成要素が担持する前記信号値の大きさに応じて変更する画像構成要素数変更ステップと、
前記画像構成要素数変更ステップによる変更後の前記群別の個数の積算値を求める画像構成要素数積算ステップと、
前記画像構成要素数積算ステップにより求められた前記積算値に基づき、前記ノイズ低減処理の実行強度を決定するノイズ低減処理実行強度決定ステップと、
前記ノイズ低減処理実行強度決定ステップにより決定された前記実行強度に基づき、前記所定の観察用画像に対し前記ノイズ低減処理を実行するノイズ低減処理実行ステップと、を備えたことを特徴とする。
この態様の医用画像診断支援方法によれば、所定の観察用画像に対し実行するノイズ低減処理の実行強度を適正にかつ短時間で決定することが可能となる。
また、本発明に係る医用画像診断支援プログラムは、
3次元医用画像データにより生成される、被検体の所定の領域に対応した所定の観察用画像におけるノイズを低減させるためのノイズ低減処理を実行する医用画像診断支援プログラムであって、
前記所定の観察用画像を構成する複数の画像構成要素を、各画像構成要素が担持する信号値の大きさに応じて複数の群に分別する画像構成要素分別ステップと、
前記複数の群に分別された前記複数の画像構成要素の群別の個数を求める画像構成要素計数ステップと、
前記画像構成要素数算出ステップにより求められた前記群別の個数を、前記複数の群の各々に属する各前記画像構成要素が担持する前記信号値の大きさに応じて変更する画像構成要素数変更ステップと、
前記画像構成要素数変更ステップによる変更後の前記群別の個数の積算値を求める画像構成要素数積算ステップと、
前記画像構成要素数積算ステップにより求められた前記積算値に基づき、前記ノイズ低減処理の実行強度を決定するノイズ低減処理実行強度決定ステップと、
前記ノイズ低減処理実行強度決定ステップにより決定された前記実行強度に基づき、前記所定の観察用画像に対し前記ノイズ低減処理を実行するノイズ低減処理実行ステップと、をコンピュータにおいて実行せしめることを特徴とする。
この態様の医用画像診断支援プログラムによれば、所定の観察用画像に対し実行するノイズ低減処理の実行強度を、コンピュータにより適正にかつ短時間で決定させることが可能となる。
上記「観察用画像」とは、紙面や画像モニタ面等の画像表示面に出力された画像の他、画像表示面に出力される前の、仮想の画像データ空間上に構築された、ボクセルやピクセル等の画像構成要素(画像データ)の集合体を含む概念である。
また、上記「観察用画像を構成する複数の画像構成要素」とは、観察用画像の全領域を構成する全ての画像構成要素を意味する場合の他、観察用画像における特定の領域(例えば、観察対象となる領域や画像ノイズの特に多い領域)を構成する一部の画像構成要素を意味する場合を含む。
また、上記「ノイズ低減処理」とは、画像処理技術を用いた後処理としてのノイズ低減処理を意味している。具体的には、空間領域における、移動平均フィルタや加重平均フィルタ(ガウシアンフィルタを含む)等の線形フィルタや、メディアンフィルタやエッジ保存フィルタ等の非線形フィルタによる平滑化処理が挙げられる。また、周波数領域において高周波成分を除去するためのローパスフィルタによる処理も他の例として挙げられる。
また、上記「ノイズ低減処理の実行強度」とは、観察用画像に対し実行するノイズ低減処理の程度を示すもので、具体的には例えば、平滑化処理に用いられるフィルタにおける各係数の値の比率やフィルタの大きさ、ローパスフィルタにおける通過域や阻止域の大きさ、あるいは一の観察用画像に対し実行するノイズ低減処理の回数等が挙げられる。
本発明に係る医用画像診断支援装置、方法およびプログラムによれば、上述の特徴構成を備えたことにより、3次元医用画像データにより生成される観察用画像に対し実行するノイズ低減処理の実行強度を、適正にかつ短時間で決定することが可能となる。
本発明の一実施形態に係る医用画像診断支援装置の概要を示す図((A)は概略構成図、(B)は演算処理装置の内部構成を示すブロック図)である。 図1に示す演算処理装置の機能的構成を示すブロック図である。 CT値に応じて設定する各群と群別ボクセル数と重みづけ係数との対応関係を示す図である。 群別ボクセル数の一例を示す図((A)は変更前の群別ボクセル数の度数分布曲線、(B)は変更後の群別ボクセル数の度数分布曲線)である。 積算値比較グラフの一例を示す図である。 正規化した積算値比較グラフの一例を示す図である。 ノイズ低減処理に使用するガウシアンフィルタ((A)は3×3、(B)は5×5、(C)7×7)を例示する図である。 ノイズ低減処理を実行した観察用画像((A)は胸部の体軸断面、(B)は大腿部の体軸断面)を例示する図である。 他の観察用画像(骨盤付近の体軸断面)を示す図((A)はノイズ低減処理を実行したもの、(B)はノイズ低減処理を実行していないもの)である。 ノイズ低減処理を実行していない観察用画像((A)は肩付近の体軸断面、(B)は腸骨付近の体軸断面)を例示する図である。 ノイズ低減処理を実行していない他の観察用画像((A)は膝関節付近の体軸断面、(B)は肝臓付近の体軸断面)を例示する図である。
以下、本発明の実施形態について、上述の図面を参照しつつ詳細に説明する。まず、図1、2を参照しながら本発明の一実施形態に係る医用画像診断支援装置の構成について説明する。
本実施形態の医用画像診断支援装置1は、図1(A)に示すように、コンピュータ等からなる演算処理装置10と、キーボード21やマウス22等からなる入力装置20と、液晶表示パネル等からなる画像表示部31を有する画像表示装置30とを備えてなる。この医用画像診断支援装置1は、X線CT装置やMRI装置等の画像診断装置により得られた3次元医用画像データにより生成される、被検体の体軸断面等の観察用画像(画像診断装置に付属する画像処理部により構成されたものを含む)に対し、画像処理技術を用いた後処理としてのノイズ低減処理を行うワークステーションとして構成されている。
上記演算処理装置10は、図1(B)に示すように、画像処理等における各種演算を実行するCPU(Central Processing Unit)101と、処理プログラムや処理すべき画像データ等が置かれる、DRAM(Dynamic Random Access Memory)等からなるメインメモリ102と、CPU101やメインメモリ102等へのデータの入出力を制御するチップセット103とを備えている。また、CPU101から送られた画像データや処理命令に基づき表示用画像を構成するGPU(Graphic Processing Unit)105および該GPU105により構成された表示用画像を記憶するVRAM(Video Random Access Memory)106を有するグラフィックスボード104と、ハードディスク等からなる記憶装置107と、これら各構成要素間におけるデータ等のやり取りを仲介するデータバス108とを備えている。さらに、当該演算処理装置10と、入力装置20および画像表示装置30との間におけるデータ等のやり取りを仲介するインターフェース109を備えている。
また、この演算処理装置10は、機能的な観点から説明すれば、図2に示すように、画像データ取得部11、画像データ解析部12および画像生成部13を備えている。なお、図2に示す各ブロックは、図1(B)に示すCPU101、メインメモリ102、グラフィックスボード104、記憶装置107等のハードウェアや、CPU101やGPU105が実行する各種プログラム(本発明に係る医用画像診断支援プログラムを含む)等により実現される各機能を具象化し、構成要素として示したものである。
上記画像データ取得部11は、X線CT装置やMRI装置等の各種の医用画像診断装置により得られた種々の3次元医用画像データを取得するものである。なお、以下では、画像データ取得部11が、マルチスライスX線CT装置により得られた、被検体の全身(頭部から足部まで)のCT画像データを取得する場合を例にとって説明する。
上記画像データ解析部12は、画像データ取得部11により取得されたCT画像データに基づき、各種の解析や計測を行うものであり、画像構成要素分別部121、画像構成要素計数部122、画像構成要素数変更部123、画像構成要素数積算部124、複数画像積算値算出部125、ノイズ低減処理実行強度決定部126およびノイズ低減処理実行部127を備えている。
画像構成要素分別部121(画像構成要素分別手段に相当)は、取得されたCT画像データにより構築される画像データ空間(以下、適宜「ボクセル空間」と称する)において、被検体の所定の領域(本実施形態では、被検体の頭部から足部までの各体軸断面のうちの一断面)に対応する所定の観察用画像(一断面画像)を構成する(本実施形態では、観察用画像中の被検体領域を構成する)複数のボクセルを、各ボクセルが担持するCT値(信号値に相当)の大きさに応じて複数の群(詳しくは後述する)に分別するように構成されている。
画像構成要素計数部122(画像構成要素計数手段に相当)は、画像構成要素分別部121により上記複数の群に分別されたボクセルの、群別の個数(各群に属するボクセルの個数、以下、適宜「群別ボクセル数」と称する)をそれぞれ求めるように構成されている。
画像構成要素数変更部123(画像構成要素数変更手段に相当)は、画像構成要素計数部122により求められた上記群別ボクセル数を、複数の群の各々に属する各ボクセルが担持するCT値の大きさに応じて変更する(変更方法の詳細については後述する)ように構成されている。
画像構成要素数積算部124(画像構成要素数積算手段に相当)は、画像構成要素数変更部123による変更後の群別ボクセル数の積算値(変更後の各群別ボクセル数を合算した値、以下、適宜「変更後ボクセル数積算値」と称する)を求めるように構成されている。
複数画像積算値算出部125(複数画像積算値算出手段に相当)は、画像構成要素分別部121、画像構成要素計数部122、画像構成要素数変更部123および画像構成要素数積算部124による各処理を、被検体の複数の領域(本実施形態では、被検体の頭部から足部までの各体軸断面)の各々に対応した複数の観察用画像に対し実行させ、その複数の観察用画像の各々について上記変更後ボクセル数積算値を求めるように構成されている。
ノイズ低減処理実行強度決定部126(ノイズ低減処理実行強度決定手段に相当)は、複数画像積算値算出部125の指示の下、画像構成要素数積算部124により求められた各観察画像の変更後ボクセル数積算値に基づき、各観察用画像に施すノイズ低減処理の実行強度を画像ごとに決定する(実行強度の決定方法の詳細については後述する)ように構成されている。
ノイズ低減処理実行部127(ノイズ低減処理実行手段に相当)は、ノイズ低減処理実行強度決定部126により画像ごとに決定されたノイズ低減処理の実行強度に基づき、ノイズ低減処理の実行対象となる観察用画像に対しノイズ低減処理を実行するように構成されている。
一方、上記画像生成部13は、画像データ取得部11により取得されたCT画像データや、画像データ解析部12により求められた各種の解析または計測結果に基づき、画像診断支援に供する種々の画像を生成するものであり、積算値グラフ作成部131および観察用画像作成部132を備えている。
積算値グラフ作成部131(積算値グラフ作成手段に相当)は、被検体の頭部から足部までの各体軸断面に対応した複数の観察用画像の各々について求められた変更後ボクセル数積算値の大小関係を示すグラフ(以下、適宜「積算値比較グラフ」と称する)を作成するように構成されている。
観察用画像出力部132は、ノイズ低減処理が施された観察用画像を出力用の画像に変換し、画像表示装置30の画像表示部31に表示するように構成されている。
次に、本発明に係る医用画像診断支援方法の一実施形態について、主に図3〜図11を参照しながら説明する。この医用画像診断支援方法は、本発明の医用画像診断支援プログラムに基づき、上記医用画像診断支援装置1により実行されるものであり、大別すると以下の〈1〉〜〈9〉の手順からなる。
〈1〉 被検体の頭部から足部までの各体軸断面のうちの一断面(例えば、胸部の一断面)に対応する観察用画像(以下、適宜「第1観察用画像」と称する)を構成する(詳しくは、第1観察用画像中の被検体領域を構成する)複数のボクセル(以下、適宜「対象ボクセル」と称する)を、各ボクセルが担持するCT値の大きさに応じて複数の群に分別する(画像構成要素分別ステップ)。この複数のボクセルの分別は、詳細には例えば、以下の手順で行われる。
まず、CT値に応じて複数の群を設定する。本実施形態では、図3に示すように、第1群、第2群および第3群の3つの群を設定する。第1群は、空気に該当する領域のボクセルが属するようにCT値の範囲を−500未満に設定している。第2群は、脂肪や水、軟組織に該当するボクセルが属するようにCT値の範囲を−500以上100未満に設定しており、第3群は、骨に該当する領域のボクセルが属するようにCT値の範囲を100以上に設定している。
次に、第1観察用画像における上記対象ボクセルの全てを、各ボクセルが担持するCT値の大きさに応じて、第1群、第2群および第3群の各々に分別する。例えば、CT値が403のボクセルは第3群に分別し、CT値が−842のボクセルは第1群に分別し、CT値が28のボクセルは第2群に分別するという具合である。
〈2〉 第1群〜第3群に分別されたボクセルの群別の個数(群別ボクセル数)を求める(画像構成要素計数ステップ)。ここでは、図3に示すように、第1群の群別ボクセル数がN1、第2群の群別ボクセル数がN2、第3群の群別ボクセル数がN3であるとして説明を続ける。なお、対象ボクセルの分別時に、各群の群別ボクセル数を計数するようにしてもよい。
〈3〉 上記〈2〉の手順により求められた各群の群別ボクセル数N1、N2、N3を、各群に属するボクセルが担持するCT値の大きさに応じて変更する(画像構成要素数変更ステップ)。このCT値の変更は、詳細には例えば、以下の手順で行われる。なお、以下の手順による各処理は、上述の画像構成要素数変更部123により実行される。
まず、上記〈1〉の手順により設定された第1群、第2群および第3群の各々に対応する重みづけ係数K1、K2、K3を設定する。この重みづけ係数K1、K2、K3は、上記〈2〉の手順により求められた各群の群別ボクセル数N1、N2、N3に乗じて変更するためのもので、各群に対応づけたCT値の範囲と画像ノイズの発生度合に応じて値が決定される。
例えば、本実施形態では、第2群のCT値範囲に属する脂肪や水、軟部組織等の占める割合が大きい画像中ではノイズ発生量が比較的少ないことを考慮し、第2群の重みづけ係数K2の値を1に設定する。一方、第1群のCT値範囲に属する空気等の占める割合が増えるとノイズ量がかなり増えることを考慮し、第1群の重みづけ係数K1の値を2に設定する。また、第3群のCT値範囲に属する骨や歯、金属等の占める割合が増えるとノイズ量がさらに大きく増えることを考慮し、第3群の重みづけ係数K3の値を3に設定する。
次に、下式(1)〜(3)に示すように、群別ボクセル数N1、N2、N3に重みづけ係数K1、K2、K3をそれぞれ乗じ、変更後の群別ボクセル数N1´、N2´、N3´を算出する。
1´=K1・N1(=2N1) ・・・ (1)
2´=K2・N2(=N2) ・・・ (2)
3´=K3・N3(=3N3) ・・・ (3)
なお、上述の変更後の群別ボクセル数N1´、N2´、N3´を算出する過程を、第1観察画像における対象ボクセルの度数分布曲線(階級幅=1)を用いて表したものが、図4である。図4(A)は、重みづけ係数K1、K2、K3を乗じる前、すなわち変更前の群別ボクセル数N1、N2、N3の度数分布を示し、図4(B)は、重みづけ係数K1、K2、K3を乗じた場合の、変更後の群別ボクセル数N1´、N2´、N3´の度数分布を示している。このような度数分布曲線を用いた表示を行うことは必須ではないが、医師等に変更後の群別ボクセル数N1´、N2´、N3´を算出する過程を分かり易く示すために行ってもよい。また、表示された度数分布を見た医師等が、重みづけ係数K1、K2、K3を補正し得るようにしてもよい。
〈4〉 上記〈3〉の手順により算出された、変更後の群別ボクセル数N1´、N2´、N3´の積算値(変更後ボクセル数積算値)TNを、下式(4)により求める(画像構成要素数積算ステップ)。
TN=N1´+N2´+N3´ ・・・ (4)
〈5〉 上記〈1〉、〈2〉、〈3〉、〈4〉の手順による各処理を、第1観察用画像以外の、被検体の頭部から足部までの各体軸断面に対応した複数の観察用画像(例えば、X線CT装置の各スライス位置に対応した観察用画像)に対し実行し、その複数の観察用画像の各々について上記変更後ボクセル数積算値を求める(複数画像積算値算出ステップ)。
〈6〉 上記〈5〉の手順により複数の観察用画像の各々について求められた各変更後ボクセル数積算値の大小関係を示すグラフ(積算値比較グラフ)を作成する(積算値グラフ作成ステップ)。
図5に、このような積算値比較グラフの一例を示す。図5に示す積算値比較グラフは、各観察用画像の断面位置(体軸方向の位置)を横軸にとり、各観察用画像における変更後ボクセル数積算値を縦軸にとって、体軸方向における変更後ボクセル数積算値の変化状態を曲線(実線による曲線)で表したものである。
なお、図5では、各観察用画像における上記対象ボクセル(被検体領域を構成するボクセル)の個数の変化状態を、2点鎖線による曲線(以下、適宜「参考曲線」と称する)で表示している。この参考曲線は、体軸方向の各位置における被検体領域全体の断面積値をそのまま示したものに相当する。一方、本実施形態における変更後ボクセル数積算値は、観察用画像における、画像ノイズが発生し易い空気や骨等の被検体領域の断面積値を、画像ノイズの発生量において基準となる脂肪や水、軟部組織等の被検体領域の断面積値に換算した場合の被検体領域全体の断面積値に該当する。したがって、図5における実線による曲線(積算値比較グラフ)は、このような断面積値の換算をした場合の、体軸方向の各位置における被検体領域全体の断面積値を示したものに相当する。
〈7〉 上記〈5〉の手順により求められた各変更後ボクセル数積算値に基づき、ノイズ低減処理の実行強度を決定する(ノイズ低減処理実行強度決定ステップ)。この実行強度の決定は、上記〈6〉の手順により作成された積算値比較グラフを用いて、詳細には例えば、以下の手順で行われる。なお、以下の手順による各処理は、上述のノイズ低減処理実行強度決定部126により実行される。
まず、上記積算値比較グラフにおいて、被検体の頭部から足部までの各体軸断面に対応した複数の観察用画像の各々について求められた各変更後ボクセル数積算値の中から基準となる基準積算値を選出する。本実施形態では、各変更後ボクセル数積算値のうち最大値となるものを、基準積算値として選出する(図5を参照)。
次いで、上記積算値比較グラフを正規化する。具体的には、変更後ボクセル数積算値の比較を容易とするために、基準積算値に「1」を対応づける正規化を行う(基準積算値以外の変更後ボクセル数積算値は、基準積算値との比率に応じた数値に対応づける)。このような正規化を行った積算値比較グラフ(以下「正規化した積算値比較グラフ」と称する)を図6に示す。
次に、ノイズ低減処理を施す観察用画像(ここでは、第1観察用画像とする)における変更後ボクセル数積算値の上記基準積算値に対する比率を、上記正規化した積算値比較グラフから求め(ここでは、その比率を0.85とする)、その比率に応じて、第1観察用画像に対するノイズ低減処理の実行強度を決定する。本実施形態では、ノイズ低減処理の実行強度を、例えば、上記比率が0以上0.4未満の範囲に属する場合は強度1に設定し、0.4以上0.7未満の範囲に属する場合は強度2に設定し、0.7以上1.0以下の範囲に属する場合は強度3(数値が大きいほど実行強度が大きい)に設定する(強度設定の詳細については後述する)。
なお、このような積算値比較グラフや正規化した積算値比較グラフを作成し表示することは必須ではないが、医師等にノイズ低減処理の実行強度を決定する過程を分かり易く示すために行ってもよい。また、医師等が、決定されたノイズ低減処理の実行強度を補正し得るようにしてもよい。
〈8〉 上記〈7〉の手順により決定された実行強度に基づき、第1観察用画像に対しノイズ低減処理を実行する(ノイズ低減処理実行ステップ)。本実施形態では、ノイズ低減処理を、例えば、2次元のガウシアンフィルタを用いた平滑化処理により行う。ガウシアンフィルタは、カーネル(オペレータ、マトリックス等とも称される)における重み係数の分布を、下式(5)で表される正規分布に近似させた加重平均フィルタである。
f(x,y)=(1/2πσ2)exp{−(x2+y2)/2σ2} ・・・ (5)
ここで、x,yは座標値、σは分散を表す。
本実施形態においては、ノイズ低減処理の実行強度(ガウシアンフィルタによる平滑化の度合)を、例えば、上記(5)中のσの値を変えてカーネルの重み係数を変更することにより設定する。具体的には例えば、ノイズ低減処理の実行強度が、強度1の場合はσの値を0.8に設定し、強度2の場合はσの値を1.0に設定し、強度3の場合はσの値を1.3に設定して、カーネルの重み係数を決定する。なお、σの値に応じてカーネルの大きさを変更してもよいし、σの値によらずカーネルの大きさを一定(例えば、5×5)としてもよい。
図7に、実行強度に応じてカーネルの大きさを変更する場合のガウシアンフィルタの例を示す。図7(A)に示す3×3のガウシアンフィルタは強度1のものでσ≒0.8となるように重み係数が設定されている。同様に、図7(B)に示す5×5のガウシアンフィルタは強度2のものでσ≒1.0となるように重み係数が設定され、図7(C)に示す7×7のガウシアンフィルタは強度3のものでσ≒1.3となるように重み係数が設定されている。なお、図7に示す各カーネル中の数値は、実際の重み係数の値を分数で表記する場合の分子の値のみを示しており、実際の係数値は、カーネル中の各数値に各カーネルの左に記す括弧内の数値を乗じた値となる。
上記第1観察用画像の場合、上記〈7〉の手順により、変更後ボクセル数積算値の基準積算値に対する比率(0.85)からノイズ低減処理の実行強度が強度3に設定されるので、強度3のガウシアンフィルタを用いてノイズ低減処理(平滑化処理)が実行される。
〈9〉 上記〈8〉の手順によりノイズ低減処理が施された観察用画像を、出力環境に応じた諧調処理等を経て出力用の画像に変換し、画像表示装置30の画像表示部31に表示する(観察用画像出力ステップ)。
図8に、本実施形態によるノイズ低減処理を実行した観察用画像(出力画像)の例を示す。図8(A)に示すのは、ノイズ低減処理を実行した胸部の観察用画像(上述の第1観察用画像に相当する体軸断面画像)である。このような胸部の観察用画像(ノイズ低減処理前)では、肺野部の空気領域の占める割合が大きく、被検体領域のCT値の平均値は低くなる。このため、画像ノイズの発生量は少なくなるとも考えられるが、実際には、ノイズ発生量は多くなる。また、肺野の場合、末梢血管や気管支などの構造を読影するためにエッジ強調フィルタが用いられることが多く、その場合ノイズ成分も強調されて画像に表示されることになる。このため、ノイズ量の十分な低減が必要になる。本実施形態では上述したように、空気領域のCT値範囲を含む上記第1群の重みづけ係数の値を高く設定することにより、変更後の群別ボクセル数が多くなるようにし、ノイズ低減処理の実行強度が高レベル(強度3)に設定されるようにしている。このため、本実施形態によるノイズ低減処理を施すことにより良好なノイズ低減効果が得られる。
図8(B)に示すのは、本実施形態によるノイズ低減処理を実行した大腿部の観察用画像(体軸断面画像)である。このような大腿部の観察用画像(ノイズ低減処理前)では、上記胸部のものと比べ被検体領域の断面積が小さく骨部の領域も多くないため、画像ノイズの発生量は比較的少なくなる。本実施形態を適用すると、ノイズ低減処理の実行強度が中間レベル(強度2)に設定され、これにより良好なノイズ低減効果が得られる。
図9に、本実施形態によるノイズ低減処理を実行した観察用画像(出力画像)の他の例を示す。図9(A)に示すのは、ノイズ低減処理を実行した骨盤付近の観察用画像(体軸断面画像)であり、図9(B)に示すのは、ノイズ低減処理を実行していない骨盤付近の観察用画像である。このような骨盤付近の観察用画像(ノイズ低減処理前)では、被検体領域の断面積が大きく骨部の領域も多くなるため、画像ノイズの発生量は多くなる。本実施形態を適用すると、ノイズ低減処理の実行強度が高レベル(強度3)に設定され、これにより良好なノイズ低減効果が得られる。
なお、以下、体軸断面位置による画像ノイズの発生量の傾向について説明する。図10は、ノイズ低減処理を実行していない肩付近の観察用画像(同図(A))とノイズ低減処理を実行していない腸骨付近の観察用画像(同図(B))を示している。これらの観察用画像では、被検体領域の断面積が大きく骨部の領域も多くなるため、画像ノイズの発生量は多くなる。本実施形態を適用する場合、ノイズ低減処理の実行強度が高レベル(強度3)に設定される。
図11は、ノイズ低減処理を実行していない膝関節付近の観察用画像(同図(A))とノイズ低減処理を実行していない肝臓付近の観察用画像(同図(B))を示している。膝関節付近の観察用画像では、被検体領域の全体に占める骨部の割合が比較的高いが被検体領域の断面積が小さいため、画像ノイズの発生量は少なくなる。本実施形態を適用する場合、ノイズ低減処理の実行強度が低レベル(強度1)に設定される。肝臓付近の観察用画像では、被検体領域の全体に占める骨部の割合は少ないが被検体領域の断面積が大きいため、画像ノイズの発生量は比較的多くなる。本実施形態を適用する場合、ノイズ低減処理の実行強度が中レベル(強度2)から高レベル(強度3)に設定される。
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、種々に実施の態様を変更することが可能である。
例えば、上述の実施形態では、観察用画像における対象ボクセルを分別する群の数を3としているが、2以上の任意の数に設定可能である。例えば、上述の第2群をさらに3つの群(CT値の範囲が−500〜0、0〜50、50〜100の各群)に分け、第3群をさらに2つの群(CT値の範囲が100〜1000の群と1000以上の群)に分けることが挙げられる。また、各群に対応づけるCT値の範囲や各群に適用する重みづけ係数の値についても上記実施形態とは異なるように適宜設定可能である。
また、上述の実施形態では、ノイズ低減処理の実行強度を3段階(強度1〜3)に設定しているが、例えば、強度1〜10の10段階を設定したり、強度1〜5の5段階を設定したりするなど、2以上の任意の数の段階を設定可能である。
さらに、上述の実施形態では、複数の観察用画像の各々について求めた各変更後ボクセル数積算値の中から、最大値となるものを基準積算値として選出しているが、別の条件で基準積算値を選出してもよい。例えば、変更後ボクセル数積算値が所定の数値範囲に属するもの(複数ある場合はそのうちの1つ)を、基準積算値として選出することが挙げられる。また、基準積算値との比率に基づき設定するノイズ低減処理の実行強度についても、基準積算値の設定の仕方に応じて適宜変更することが可能である(例えば、基準積算値に対応する実行強度が低レベルや中レベルになることもある)。
また、上述の実施形態では、ガウシアンフィルタを用いた平滑化処理をノイズ低減処理として実行しているが、移動平均フィルタ等の別の線形フィルタやメディアンフィルタ等の非線形フィルタによる平滑化処理をノイズ低減処理として実行することや、周波数領域においてローパスフィルタにより高周波成分を除去する処理をノイズ低減処理として実行することも可能である。
また、上記実施形態では、X線CT装置により取得されたCT画像データを用いて、体軸断面画像を観察用画像として作成する場合を例にとって説明しているが、本発明は他の場合にも適用可能である。例えば、DSA(Digital Subtraction Angiography)装置により取得された画像データを用いて血管画像を観察用画像として作成する場合や、MRI装置により取得された画像データを用いて任意断面の画像を観察用画像として作成する場合が挙げられる。
1 医用画像診断支援装置
10 演算処理装置
20 入力装置
21 キーボード
22 マウス
30 画像表示装置
31 画像表示部
1、N2、N3 群別ボクセル数
1´、N2´、N3´ 変更後の群別ボクセル数
1、K2、K3 重みづけ係数

Claims (5)

  1. 3次元医用画像データにより生成される、被検体の所定の領域に対応した所定の観察用画像におけるノイズを低減させるためのノイズ低減処理を実行する医用画像診断支援装置であって、
    前記所定の観察用画像を構成する複数の画像構成要素を、各画像構成要素が担持する信号値の大きさに応じて複数の群に分別する画像構成要素分別手段と、
    前記複数の群に分別された前記複数の画像構成要素の群別の個数を求める画像構成要素計数手段と、
    前記画像構成要素計数手段により求められた前記群別の個数を、前記複数の群の各々に属する各前記画像構成要素が担持する前記信号値の大きさに応じて変更する画像構成要素数変更手段と、
    前記画像構成要素数変更手段による変更後の前記群別の個数の積算値を求める画像構成要素数積算手段と、
    前記画像構成要素数積算手段により求められた前記積算値に基づき、前記ノイズ低減処理の実行強度を決定するノイズ低減処理実行強度決定手段と、
    前記ノイズ低減処理実行強度決定手段により決定された前記実行強度に基づき、前記所定の観察用画像に対し前記ノイズ低減処理を実行するノイズ低減処理実行手段と、を備えたことを特徴とする医用画像診断支援装置。
  2. 前記画像構成要素分別手段、前記画像構成要素計数手段、前記画像構成要素数変更手段および前記画像構成要素数積算手段による各処理を、前記被検体の複数の領域の各々に対応した複数の観察用画像に対し実行させ、当該複数の観察用画像の各々についての前記積算値を求める複数画像積算値算出手段を備え、
    前記ノイズ低減処理実行強度決定手段は、前記複数の観察用画像の各々について求められた各前記積算値の中から基準となる基準積算値を選出し、当該基準積算値に対する、前記所定の観察用画像における前記積算値の比率を求め、当該比率に応じて、前記所定の観察用画像に対する前記ノイズ低減処理の実行強度を決定する、ことを特徴とする請求項1に記載の医用画像診断支援装置。
  3. 前記複数の観察用画像の各々について求められた各前記積算値の大小関係を示すグラフを作成する積算値グラフ作成手段を備え、
    前記ノイズ低減処理実行強度決定手段は、前記積算値グラフ作成手段により作成された前記グラフを用いて、前記ノイズ低減処理の実行強度を決定する、ことを特徴とする請求項2に記載の医用画像診断支援装置。
  4. 3次元医用画像データにより生成される、被検体の所定の領域に対応した所定の観察用画像におけるノイズを低減させるためのノイズ低減処理を実行する医用画像診断支援方法であって、
    前記所定の観察用画像を構成する複数の画像構成要素を、各画像構成要素が担持する信号値の大きさに応じて複数の群に分別する画像構成要素分別ステップと、
    前記複数の群に分別された前記複数の画像構成要素の群別の個数を求める画像構成要素計数ステップと、
    前記画像構成要素数算出ステップにより求められた前記群別の個数を、前記複数の群の各々に属する各前記画像構成要素が担持する前記信号値の大きさに応じて変更する画像構成要素数変更ステップと、
    前記画像構成要素数変更ステップによる変更後の前記群別の個数の積算値を求める画像構成要素数積算ステップと、
    前記画像構成要素数積算ステップにより求められた前記積算値に基づき、前記ノイズ低減処理の実行強度を決定するノイズ低減処理実行強度決定ステップと、
    前記ノイズ低減処理実行強度決定ステップにより決定された前記実行強度に基づき、前記所定の観察用画像に対し前記ノイズ低減処理を実行するノイズ低減処理実行ステップと、を備えたことを特徴とする医用画像診断支援方法。
  5. 3次元医用画像データにより生成される、被検体の所定の領域に対応した所定の観察用画像におけるノイズを低減させるためのノイズ低減処理を実行する医用画像診断支援プログラムであって、
    前記所定の観察用画像を構成する複数の画像構成要素を、各画像構成要素が担持する信号値の大きさに応じて複数の群に分別する画像構成要素分別ステップと、
    前記複数の群に分別された前記複数の画像構成要素の群別の個数を求める画像構成要素計数ステップと、
    前記画像構成要素数算出ステップにより求められた前記群別の個数を、前記複数の群の各々に属する各前記画像構成要素が担持する前記信号値の大きさに応じて変更する画像構成要素数変更ステップと、
    前記画像構成要素数変更ステップによる変更後の前記群別の個数の積算値を求める画像構成要素数積算ステップと、
    前記画像構成要素数積算ステップにより求められた前記積算値に基づき、前記ノイズ低減処理の実行強度を決定するノイズ低減処理実行強度決定ステップと、
    前記ノイズ低減処理実行強度決定ステップにより決定された前記実行強度に基づき、前記所定の観察用画像に対し前記ノイズ低減処理を実行するノイズ低減処理実行ステップと、をコンピュータにおいて実行せしめることを特徴とする医用画像診断支援プログラム。
JP2014093581A 2014-04-30 2014-04-30 医用画像診断支援装置、方法およびプログラム Active JP6491823B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014093581A JP6491823B2 (ja) 2014-04-30 2014-04-30 医用画像診断支援装置、方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014093581A JP6491823B2 (ja) 2014-04-30 2014-04-30 医用画像診断支援装置、方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2015208599A true JP2015208599A (ja) 2015-11-24
JP2015208599A5 JP2015208599A5 (ja) 2017-06-15
JP6491823B2 JP6491823B2 (ja) 2019-03-27

Family

ID=54611297

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014093581A Active JP6491823B2 (ja) 2014-04-30 2014-04-30 医用画像診断支援装置、方法およびプログラム

Country Status (1)

Country Link
JP (1) JP6491823B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106994021A (zh) * 2016-01-22 2017-08-01 通用电气公司 一种计算ct影像上的噪声的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH039730A (ja) * 1989-06-07 1991-01-17 Hitachi Medical Corp Ct画像作成方法
JP2005323926A (ja) * 2004-05-17 2005-11-24 Ge Medical Systems Global Technology Co Llc 画像処理方法、画像処理装置およびx線ct装置
US20120039518A1 (en) * 2010-08-12 2012-02-16 Siemens Aktiengesellschaft Method, computer readable medium and system for iterative image filtering with anisotropic noise model for a ct image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH039730A (ja) * 1989-06-07 1991-01-17 Hitachi Medical Corp Ct画像作成方法
JP2005323926A (ja) * 2004-05-17 2005-11-24 Ge Medical Systems Global Technology Co Llc 画像処理方法、画像処理装置およびx線ct装置
US20120039518A1 (en) * 2010-08-12 2012-02-16 Siemens Aktiengesellschaft Method, computer readable medium and system for iterative image filtering with anisotropic noise model for a ct image

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106994021A (zh) * 2016-01-22 2017-08-01 通用电气公司 一种计算ct影像上的噪声的方法及装置

Also Published As

Publication number Publication date
JP6491823B2 (ja) 2019-03-27

Similar Documents

Publication Publication Date Title
Geyer et al. State of the art: iterative CT reconstruction techniques
Segars et al. Application of the 4-D XCAT phantoms in biomedical imaging and beyond
JP6766045B2 (ja) トモシンセシスデータから合成マンモグラムを生成する方法
Silva et al. Innovations in CT dose reduction strategy: application of the adaptive statistical iterative reconstruction algorithm
Sagara et al. Abdominal CT: comparison of low-dose CT with adaptive statistical iterative reconstruction and routine-dose CT with filtered back projection in 53 patients
Noël et al. Initial performance characterization of a clinical noise–suppressing reconstruction algorithm for mdct
Hara et al. Iterative reconstruction technique for reducing body radiation dose at CT: feasibility study
JP2016522071A (ja) トモシンセシスデータからエッジ保存合成マンモグラムを生成するための方法
JP2005243023A (ja) 検査対象物の断層撮影3d表示のフィルタ処理方法および医用断層撮影システム
Schaller et al. Noise reduction in abdominal computed tomography applying iterative reconstruction (ADMIRE)
US20230097849A1 (en) Creation method of trained model, image generation method, and image processing device
Kang et al. An anatomic coordinate system of the femoral neck for highly reproducible BMD measurements using 3D QCT
CN111260703B (zh) 一种获取脊柱拉直图像集的方法、系统、介质及存储介质
JP6576690B2 (ja) 医用画像処理装置
Schnurr et al. Simulation-based deep artifact correction with convolutional neural networks for limited angle artifacts
JP2007152106A (ja) 断層撮影における高コントラスト対象のコンピュータ支援による認識方法およびシステム
Do et al. A decomposition-based CT reconstruction formulation for reducing blooming artifacts
JP2018033966A (ja) 医用画像処理装置、医用画像処理プログラム及びx線コンピュータ断層撮像装置
US11877879B2 (en) Synthetic mammogram with imprinted image impression
JP2022076477A (ja) 医用情報処理装置、医用情報処理システム及び医用情報処理方法
McCollough et al. Milestones in CT: past, present, and future
US11317875B2 (en) Reconstruction of flow data
JP6491823B2 (ja) 医用画像診断支援装置、方法およびプログラム
Abadi et al. Virtual clinical trial in action: textured XCAT phantoms and scanner-specific CT simulator to characterize noise across CT reconstruction algorithms
Samei et al. CT-based quantification

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20150831

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150902

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20151117

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20161101

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170425

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180703

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180719

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190304

R150 Certificate of patent or registration of utility model

Ref document number: 6491823

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350