JP2005080757A - 信号処理装置 - Google Patents

信号処理装置 Download PDF

Info

Publication number
JP2005080757A
JP2005080757A JP2003313855A JP2003313855A JP2005080757A JP 2005080757 A JP2005080757 A JP 2005080757A JP 2003313855 A JP2003313855 A JP 2003313855A JP 2003313855 A JP2003313855 A JP 2003313855A JP 2005080757 A JP2005080757 A JP 2005080757A
Authority
JP
Japan
Prior art keywords
signal
calculated
function
feature amount
curvature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003313855A
Other languages
English (en)
Other versions
JP2005080757A5 (ja
Inventor
Satoshi Kasai
聡 笠井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Medical and Graphic Inc
Original Assignee
Konica Minolta Medical and Graphic Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Medical and Graphic Inc filed Critical Konica Minolta Medical and Graphic Inc
Priority to JP2003313855A priority Critical patent/JP2005080757A/ja
Priority to US10/932,938 priority patent/US20050053270A1/en
Publication of JP2005080757A publication Critical patent/JP2005080757A/ja
Publication of JP2005080757A5 publication Critical patent/JP2005080757A5/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

【課題】処理対象の信号から検出対象の特定信号を他の信号と区別して的確に検出する。
【解決手段】信号処理装置10では、濃度方向を有する医用画像信号の曲面に対し、まず注目画素pが設定され、当該注目画素pを中心とした最小マスクサイズ3×3の範囲内の曲面を最小二乗法により近似した近似関数がCPU21において算出される。そして、その近似関数を決定する係数を用いてその注目画素pにおける曲率が画像特徴量として算出される。次いで、マスクサイズが一回り大きめに変更設定されて変更されたマスクサイズ内の曲面に対し、同様に近似関数及び曲率が算出される。最大マスクサイズに達するまで近似関数及び曲率が算出されると、各マスクサイズで算出された曲率の画像特徴量が多変量解析に入力され、その多変量解析結果から異常陰影候補の信号領域が検出される。
【選択図】図1

Description

曲面を構成する信号における特徴量を算出する信号処理装置に関する。
医療の分野においては、医用画像のデジタル化が実現され、CR(Computed Radiography)装置等により生成された医用画像データをモニタに表示し、このモニタに表示された医用画像を医師が読影して、病変部の状態や経時変化を観察して診断を行っている。
従来、このような医師の読影に対する負担軽減を目的として、上記医用画像データを画像処理することにより、画像上に現れた病変部の陰影を異常陰影候補として自動的に検出するコンピュータ診断支援装置(Computed-Aided Diagnosis;以下、CADという。)と呼ばれる医用信号処理装置が開発されている。
病変部の陰影は、特徴的な濃度分布を有していることが多く、CADは、このような濃度特性に基づいて病変部と予測される画像領域を異常陰影候補領域として検出するものである。例えば、乳癌の癌化部分の特徴的なものとして腫瘤、微小石灰化クラスタが挙げられるが、乳房を撮影した医用画像(これをマンモグラフィという。)上では、腫瘤陰影はガウス分布に近い濃度変化を持った白っぽく丸い陰影として現れる一方、微小石灰化クラスタは、微小石灰化した部分が集まって(クラスタ化して)存在するものであり、マンモグラフィ上では略円錐構造の濃度変化を持った白っぽく丸い陰影として現れる。
上記CADでは、検出目的とする病変種類に応じて様々な検出アルゴリズムが開発されており、腫瘤陰影の検出に最適なアルゴリズムとしてはアイリスフィルタを用いた手法が提案されているし(例えば、特許文献1、特許文献2参照)、微小石灰化クラスタ陰影の検出に最適なアルゴリズムとしてはモルフォルジーフィルタを用いた手法等が提案されている。
特開平8−263641号公報 特開平10−91758号公報
しかしながら、アイリスフィルタは、一般的に腫瘤陰影のように丸く周囲に比べて低濃度である領域に強く反応するため、円形度が高く厚みのある乳腺が塊状となって画像上に現れている場合、正常組織の乳腺をも異常陰影として誤検出してしまう場合がある。同様に、画像上にノイズのような高周波信号が発生している場合、微小石灰化クラスタ陰影とノイズの信号変化が類似しているため、判別がつきにくく、やはりノイズ領域を誤検出してしまうことがある。
また、画像信号を濃度成分を有する3次元信号として見た場合、画像信号は濃度分布を示す曲面を構成する。異常陰影は上述したように円錐構造状等の濃度変化を示すので、異常陰影の信号領域は特徴的な曲面を構成するはずである。しかしながら、アイリスフィルタのようにある注目画素への濃度勾配の集中度を検出する等、濃度特性に基づいて異常陰影候補を検出する手法は開発されているものの、陰影の濃度分布の曲面形状を考慮した手法はいまだ提案されていない。
また、微小石灰化クラスタ陰影は、石灰化した低濃度な点状の陰影が有る程度広がりを持って画像上に現れることが一般的であるが、領域的な特徴を考慮して異常陰影候補の検出することは行われていなかった。
さらに、医用画像信号における信号処理に限らず、信号解析全般において検出対象である特定の信号のみを検出し、ノイズ成分をいかに正確に除去しうるかは依然として重要な課題である。
本発明の課題は、処理対象の信号から検出対象の特定信号を他の信号と区別して的確に検出することである。
請求項1に記載の発明は、信号処理装置において、
曲面を構成する処理対象信号において、任意の注目信号を設定し、その注目信号から所定範囲内の曲面を近似した近似関数を算出する関数算出手段と、
前記関数算出手段により算出された近似関数を決定する係数を用いて近似関数が算出された所定範囲内における信号の特徴量を算出する特徴量算出手段と、
を備えることを特徴とする。
ここで、処理対象信号としては、曲面を構成する信号であれば、画像信号や音信号、色信号等の様々な信号が適用可能である。
請求項2に記載の発明は、請求項1に記載の信号処理装置において、
前記関数算出手段は、注目信号から所定範囲内の曲面の近似関数を複数算出し、
前記特徴量算出手段は、前記算出された複数の近似関数のそれぞれから特徴量を算出することを特徴とする。
請求項3に記載の発明は、請求項2に記載の信号処理装置において、
前記関数算出手段は、近似関数を算出する範囲を変更して、変更された範囲毎に近似関数を算出し、
前記特徴量算出手段は、前記算出された各範囲における近似関数のそれぞれから特徴量を算出することを特徴とする。
請求項4に記載の発明は、請求項2に記載の信号処理装置において、
前記関数算出手段は、近似する関数の次数を変更して、変更された次数毎にその次数の近似関数を算出し、
前記特徴量算出手段は、前記算出された各次数の近似関数のそれぞれから特徴量を算出することを特徴とする。
請求項5に記載の発明は、請求項1〜4の何れか一項に記載の信号処理装置において、
前記特徴量算出手段は、特徴量として前記関数算出手段により算出された近似関数の係数から曲率を算出することを特徴とする。
請求項6に記載の発明は、請求項5に記載の信号処理装置において、
前記特徴量算出手段は、曲率の特徴量を算出するとともに、当該算出された曲率を用いて曲率に関する特徴量を算出することを特徴とする。
請求項7に記載の発明は、請求項1〜6の何れか一項に記載の信号処理装置において、
前記関数算出手段は、最小二乗法により近似関数を算出することを特徴とする。
請求項8に記載の発明は、請求項7に記載の信号処理装置において、
前記関数算出手段により最小二乗法で算出される近似関数は多次元多項式関数であることを特徴とする。
請求項9に記載の発明は、請求項8に記載の信号処理装置において、
前記特徴量算出手段は、多次元多項式関数の二次の項、一次の項、定数項の何れか又は全てを用いて特徴量を算出することを特徴とする。
請求項10に記載の発明は、請求項1〜9の何れか一項に記載の信号処理装置において、
前記処理対象の信号は、画像信号であることを特徴とする。
請求項11に記載の発明は、請求項10に記載の信号処理装置において、
前記画像信号は、医用画像信号であることを特徴とする。
請求項12に記載の発明は、請求項10又は11に記載の信号処理装置において、
前記特徴量算出手段により算出される特徴量を用いて、ガウス分布状又は円錐構造状の曲面を構成する信号領域を検出する検出手段を備えることを特徴とする。
請求項13に記載の発明は、請求項12に記載の信号処理装置において、
前記検出手段は、前記特徴量算出手段により算出された特徴量を用いて、医用画像信号から腫瘤陰影候補の信号領域を検出することを特徴とする。
請求項14に記載の発明は、請求項12に記載の信号処理装置において、
前記検出手段は、前記特徴量算出手段により算出された特徴量を用いて、医用画像信号から微小石灰化クラスタ陰影候補の信号領域を検出することを特徴とする。
請求項1、5に記載の発明によれば、注目信号から所定範囲内の曲面を近似した近似関数を算出し、その所定範囲内の信号の特徴量として近似関数の係数を用いて曲率を算出するので、算出された曲率の特徴量から曲面形状を推定することができる。従って、処理対象の信号から特徴的な曲面形状を構成する検出対象の信号を他の信号と区別して的確に検出することができる。例えば、濃度分布の曲面を構成する医用画像信号から特徴的な濃度分布の曲面形状を有する異常陰影の画像信号領域等を検出することができる。
請求項2に記載の発明によれば、曲面に対して複数の近似関数を算出し、算出された各近似関数から曲率の特徴量を算出するので、複数の特徴量を用いて検出対象の信号を検出することが可能となる。
請求項3に記載の発明によれば、近似関数を算出する範囲を変更し、変更された各範囲で算出された近似関数の係数から曲率の特徴量を算出するので、変更された各範囲で算出された複数の特徴量を用いて検出対象の特定信号を検出することが可能となる。従って、信号変化の領域性を考慮した信号検出を行うことができ、信号検出精度を向上させることができる。また、注目画素から曲率を算出する範囲を変更することで注目画素から離れた画素の情報を利用することが可能であり、周波数成分に近い情報を得ることも期待できる。
請求項4に記載の発明によれば、近似する関数の次数を変更して、変更された各次数の近似関数を算出するので、各次数の近似関数から曲率の特徴量を算出し、この算出された複数の特徴量を用いて検出対象の特定信号を検出することができる。一般に近似関数の次数が高くなるにつれて近似精度が向上するため、近似された曲面には高周波成分が現れる。従って、信号の周波数の情報を考慮した信号検出を行うことができ、信号検出精度を向上させることができる。
請求項6に記載の発明によれば、算出された曲率から新たな特徴量を算出することができる。
請求項7に記載の発明によれば、最小二乗法により近似関数を算出することができる。
請求項8、9に記載の発明によれば、最小二乗法により算出される近似関数は多次元多項式関数であり、多次元多項式関数の2次の項、1次の項、定数項の係数を用いて曲率の特徴量を算出することができる。
請求項10に記載の発明によれば、画像信号を処理対象とすることができる。従って、画像信号から検出対象とする特定の画像信号の信号領域を検出することができる。
請求項11に記載の発明によれば、医用画像の画像信号を処理対象とすることができる。従って、医用画像信号から検出対象とする異常陰影候補の領域等、特定の画像信号の信号領域を検出することができる。
請求項12に記載の発明によれば、曲率の特徴量を用いて、ガウス分布状又は円錐構造状の特徴的な信号変化を有する信号領域を他の信号と区別して検出することができる。例えば、医用画像信号からガウス分布状の曲面形状を構成する腫瘤陰影の信号領域や、円錐構造状の曲面形状を構成する微小石灰化クラスタ陰影の信号領域を検出することが可能となる。
請求項13に記載の発明によれば、曲率の特徴量を用いて、医用画像信号からガウス分布状の信号変化を有する腫瘤陰影候補の信号領域を検出することができる。
請求項14に記載の発明によれば、曲率の特徴量を用いて、医用画像信号から円錐構造状の信号変化を有する微小石灰化クラスタ陰影候補の信号領域を検出することができる。
〈第1の実施の形態〉
第1の実施の形態では、濃度方向を有する医用画像信号により構成される濃度分布の曲面を最小二乗法により近似した近似関数を算出し、当該近似関数を決定する係数を用いてその曲面における曲率を画像特徴量として算出する際に、近似関数を算出する曲面の領域範囲を変更し、変更された各領域範囲における近似関数を算出して画像特徴量を算出する例を説明する。
まず、構成を説明する。
図1に、第1の実施の形態における信号処理装置10の機能的構成を示す。
図1に示すように、信号処理装置10は、CPU(Central Processing Unit)11、I/F(InterFace)12、操作部13、表示部14、通信部15、RAM(Random Access Memory)16、ROM(Read Only Memory)17、プログラムメモリ18から構成される。
CPU11は、プログラムメモリ18に格納されているシステムプログラムの他、本発明に係る異常陰影候補検出処理プログラム(図6参照)をRAM16に展開し、当該プログラムとの協働により信号処理装置10の各部の動作を集中制御する。
異常陰影候補検出処理では、医用画像信号から画像特徴量として曲率を算出し、この曲率の画像特徴量を用いて異常陰影候補の画像領域を検出する。
以下、図2〜図4を参照して、曲率の算出方法について詳細に説明する。
図2(a)は、位置(x、y方向)、濃度(z方向)の3方向の信号成分からなる医用画像信号における濃度分布の曲面Eを示す図である。図2(b)は、曲面E上の任意の一画素を注目画素pに設定し、この注目画素pの接平面をxy座標面、注目画素pの法線方向をz軸とし、注目画素pを原点とした局所座標系を示す図である。なお、図2(a)では、説明の便宜上、曲面Eを滑らかな曲面で示したが、実際にはデジタル画像を扱うので、図3に示すように、曲面Eは画素毎に離散的な濃度値を示す階段状となっている。
局所座標系で曲面Eを示すと、下記の式1のように示される。
Figure 2005080757
また、x軸と角度θをなす法断面上の注目画素pにおける曲率κ(θ)(法断面上の注目画素pにおける曲率を特に法曲率という。)は、次式2により求められる。
Figure 2005080757
すなわち、曲面Eの近似関数を算出し、その算出された近似関数を決定する2次の項の係数a、1次の項の係数b、定数項の係数cの各係数を求めることにより、法曲率κ(θ)を算出することができる。
本実施の形態では、最小二乗法により2次関数で曲面Eを近似する、つまり2次曲面で近似する。
最小二乗法による近似関数の算出は、まず曲面Eの近似関数を2次関数「y=a′x2+b′x+c′」と仮定し、画素信号値(x、y)とこの近似関数の出力値の差の二乗平均Sを算出する。そして、算出された二乗平均Sを各係数a′、b′、c′に対して偏微分した値が0となるように設定することにより、係数a′、b′、c′を算出し、近似関数を決定する。
そして、曲面Eを最小二乗法により2次関数「y=a′x2+b′x+c′」で近似することにより得られた2次の項の係数a′、1次の項の係数b′、定数項の係数c′の各係数を、式2のa、b、cにそれぞれ代入することにより、法曲率κ(θ)が求められる。
ここで、注目画素pの法曲率κ(θ)は、法線を中心として法平面を回転させると、法断面の形状が変化するため、法曲率κ(θ)の値もまた変化することになる。すなわち、法曲率κ(θ)は、法平面の回転角度θにより、最大値及び最小値をとる。そこで、κ(θ)が最大となる回転角度θ、κ(θ)が最小となる回転角度θを求めて、最大曲率κ1、最小曲率κ2を算出する。
算出された最大曲率κ1、最小曲率κ2から下記の式3、式4により、平均曲率H、ガウス曲率Kを求めることができる。
H=1/2(κ1+κ2)・・・(3)
K=κ1κ2・・・・・・・・・(4)
CPU11は、上述した方法により、濃度分布を示す曲面上のある注目画素pを中心とし、曲率を求める範囲、つまりマスクサイズn×nを変更して、変更された各マスクサイズにおける曲面の近似関数を算出し、当該算出された近似関数の係数から各マスクサイズn×nにおける最大曲率κn1、最小曲率κn2、平均曲率Hn、ガウス曲率Kn(nはマスクサイズのパラメータを示す)の各種曲率を算出する。
例えば、図3に示すような信号分布をした医用画像信号を処理対象とする場合、まず注目画素pを中心としてマスクサイズ3×3の範囲内の曲面を最小二乗法により2次曲面で近似した近似関数を算出する。そして、近似関数を決定する係数から最大曲率κn1、最小曲率κn2、そして平均曲率Hn、ガウス曲率Knの各特徴量を算出する。同様に、マスクサイズn×nを5×5、7×7、・・・と注目画素pから1画素分づつ範囲を広げて順次特徴量を算出していく。
図4に、3×3、5×5、7×7とマスクサイズのパラメータnを変更して算出された近似関数により近似された曲面を示す。図4(a)は、原信号の曲面を示す図であり、注目画素pを中心としたマスクサイズ7×7の領域範囲内における曲面である。この原信号に対して3×3のマスクサイズで2次関数により近似された曲面が図4(b)に示すものであり、同様に5×5、7×7のマスクサイズで近似された曲面が図4(c)、(d)に示すものである。図4に示すように、マスクサイズが大きくなるにつれて低周波成分が算出される曲率に影響を及ぼしている。
このようにしてマスクサイズを広げて予め設定された最大マスクサイズ、例えば13×13のマスクサイズにおける特徴量算出を終えると、CPU11は、3×3〜13×13までのマスクサイズで算出された各特徴量、最大曲率κn1、最小曲率κn2、平均曲率Hn、ガウス曲率Knを多変量解析に入力し、注目画素p周辺の画像領域は真陽性の異常陰影である可能性が高いか否かを判定する。なお、上記各種曲率に加え、κ(θ)の分散、標準偏差等、κ(θ)を用いて曲率に関する特徴量を算出し、この曲率に関する特徴量も併せて利用して多変量解析を行うこととしてもよい。
以下、多変量解析について説明する。
特徴量として算出された平均曲率Hは、曲面が全体として凹形状か凸形状かを示す指標となり、正の方向にHの値が大きいほど曲面は凹形状を示し、負の方向にHの値が大きいほど凸形状を示す。また、ガウス曲率Kは、曲面の平面への展開のしにくさを示す指標となり、Kの値の絶対値が大きいほど平面に展開しにくく、Kの値が0のとき平面に展開可能な形状であることを示す。
曲面の形状は、平均曲率Hとガウス曲率Kの符号の組み合わせにより、図5に示すように分類可能である。図5に示すように、K及びHが何れも正の値をとるとき曲面の形状は凹型、K=0かつH>0のときは半円筒状の谷型といったように、平均曲率Hとガウス曲率Kの値の正負の状態により曲面の形状を分類することができる。
微小石灰化クラスタや腫瘤の陰影は凹型の形状に分類されるが、微小石灰化クラスタは凹の形状がやや円錐形に近い一方、腫瘤はなだらかなガウス分布状の凹形状となる傾向がある。また、乳腺の陰影は谷型の形状に分類されるため、微小石灰化クラスタや腫瘤等の異常陰影と容易に区別することができる。
一方で、微小石灰化クラスタ陰影は、点状の石灰化部分が200μm〜1mm程度の広がりを持って画像上に現れる領域性を有している。従って、例えばサンプリングピッチを50μmとした場合、ある程度の広がりを持った円錐形の濃度変化がいくつも見られる可能性が高い。また、腫瘤陰影は、5mm〜3cm程度の大きさを有しているものが多く、画像上では5mm〜3cmの領域範囲でガウス分布状の濃度変化が見られることが推測される。
従って、予め既知の異常陰影に対して、異常陰影の種類又は大きさに応じたマスクサイズn×nで最大曲率κn1、最小曲率κn2、平均曲率Hn、ガウス曲率Knの画像特徴量を求めておき、これを標本データとして多変量解析にセットし、多変量解析の出力値としてどの異常陰影の特徴をどの程度有しているかを示す指標値を出力するように多変量解析を構築する。多変量解析の手法としては、人工ニューラルネットワーク、主成分分析、判別分析等が挙げられるが、何れを適用してもよいし、これら以外の手法であってもよい。
そして、多変量解析の結果、得られた指標値から注目画素pを中心とするマスクサイズn×nの領域は、真陽性の異常陰影であるか否かを判定する。例えば、腫瘤陰影を検出対象として、腫瘤陰影の特徴をどの程度有しているかを0〜1の値に正規化して出力されるように多変量解析を構築する。この正規化された指標値は1に近い程、腫瘤陰影の特徴を有している程度が大きいことを示す。そして、算出された各種曲率の特徴量を多変量解析に入力して0〜1に正規化された指標値を得て、指標値が閾値、例えば0.7より大きい場合は、真陽性であると判定し、閾値0.7より小さい場合は偽陽性であると判定する。
指標値から真陽性の異常陰影であると判定されると、CPU11は、特徴量が算出された注目画素pを中心とするマスクサイズ13×13の画像領域を異常陰影の候補領域として検出する。すなわち、異常陰影候補検出処理プログラムとCPU11との協働により、関数算出手段、特徴量算出手段及び検出手段を実現することができる。
I/F12は、画像生成装置Gと接続するためのインターフェイスであり、画像生成装置Gにおいて生成された医用画像信号を信号処理装置10に入力する。
画像生成装置Gとしては、例えば医用画像が記録されたフィルム上にレーザ光を走査して医用画像信号を読み取るレーザデジタイザや、CCD(Charge Coupled Device)等の光電変換素子からなるセンサによりフィルムに記録された医用画像信号を読み取るフィルムスキャナ等が適用可能である。
また、フィルムに記録された医用画像を読み取るのではなく、蓄積性蛍光体を用いて医用画像を撮影する撮影装置や、照射された放射線の強度に応じた電荷を生成する放射線検出素子とコンデンサからなるフラットパネルディテクタ等を接続可能な構成としてもよく、その医用画像信号の入力方法は特に限定しない。
操作部13は、カーソルキーや数字キー、各種機能キーからなるキーボードを備えて構成され、押下されたキーに対応する操作信号をCPU11に出力する。なお、必要に応じてマウスやタッチパネル等のポインティングディバイスを含むこととしてもよい。
表示部14は、LCD(Liquid Crystal Display)等から構成され、医用画像や、CPU11による異常陰影候補の検出結果等の各種表示情報を表示する。
通信部15は、ネットワークインターフェイスカード、モデム、ターミナルアダプタ等の通信用インターフェイスにより構成され、通信ネットワーク上の外部機器と各種情報の送受信を行う。例えば、通信部15を介して画像生成装置Gから医用画像信号を受信する構成としてもよいし、通信部15を介して病院内のサーバ等に接続したり、各診療室に設置される診療端末に接続して、異常陰影候補の検出結果を送信する構成としてもよい。
RAM16は、CPU11によって実行される各種プログラムやこれらプログラムによって処理されたデータ等を一時的に記憶するワークエリアを形成する。
ROM17は、CPU11によって処理されたデータ等を記憶するメモリである。ROM17は、特徴量ファイル171を備え、この特徴量ファイル171にCPU11によって算出された特徴量を格納する。
プログラムメモリ18は、システムプログラムや異常陰影候補検出処理プログラム及び各種プログラムで処理されたデータ等を記憶する。
次に、第1の実施の形態における動作を説明する。
図6は、信号処理装置10により実行される異常陰影候補検出処理を説明するフローチャートである。この処理は、I/F12を介して画像生成装置Gから入力された医用画像信号から曲率等の特徴量を算出し、当該特徴量に基づいて異常陰影候補の信号領域を検出する処理である。
図6に示す異常陰影候補検出処理では、まず医用画像信号に対して、任意の注目画素pが設定される(ステップS1)。次いで、初期値としてマスクサイズのパラメータnがn=3に設定され(ステップS2)、近似関数を算出するマスクサイズn×nが決定される(ステップS3)。
次いで、注目画素pを中心としたマスクサイズn×nの領域範囲における濃度分布の曲面が最小二乗法により2次関数で近似され、その近似関数が決定される。最初のルーチンでは、n=3の初期値に設定されているので、3×3のマスクサイズの領域における曲面の近似関数が決定される。なお、本実施の形態では、2次関数で近似する例を説明するが、マスクサイズを変更しても近似する関数の次数が同じであるならば、4次、6次等その近似する関数の次数は特に限定しない。
近似関数が決定されると、この近似関数を決定する係数が取得され(ステップS4)、当該取得された係数を用いて注目画素pにおける最大曲率κn1、最小曲率κn2、平均曲率Hn、ガウス曲率Knの各特徴量が算出される(ステップS5)。算出された各特徴量のデータは、特徴量ファイル171に格納される(ステップS6)。
算出された特徴量のデータが保存されると、マスクサイズのパラメータnにn+2の値が代入され、マスクサイズが一回り大きく変更設定される(ステップS7)。次いで、n=15となり、nの値が近似関数の算出を行う最大マスクサイズとして設定されている値13を超えたか否かが判別される(ステップS8)。nの値がn=15ではない場合(ステップS8;N)、ステップS3の処理に戻り、新たに設定されたマスクサイズn×nの領域範囲で再度特徴量の算出が行われる。そして、れる。
一方、マスクサイズ3×3〜13×13の各領域範囲で順次特徴量の算出が繰り返され、n=15に達した場合(ステップS8;Y)、各マスクサイズで算出された複数の特徴量を用いて多変量解析が行われる(ステップS9)。
多変量解析により検出対象の異常陰影の特徴をどの程度有しているかを示す指標値が解析結果として得られると、その指標値に基づいて異常陰影候補の検出が行われる(ステップS10)。例えば、検出対象が腫瘤陰影であり、多変量解析結果として出力された指標値が予め腫瘤陰影に対して設定された閾値より高い場合は、真陽性の異常陰影である可能性が高いと判定され、注目画素pを中心としたマスクサイズ13×13の領域範囲が異常陰影の候補領域として検出される一方、指標値が閾値より低い場合は異常陰影である可能性が低い判定され、異常陰影候補として検出されずに次の処理、ステップS11へ移行する。
このようにして、ある注目画素pを中心として最小マスクサイズ3×3から最大マスクサイズ13×13までの所定範囲内で特徴量が算出され、その特徴量を用いて異常陰影候補の検出が行われると、全ての検出対象領域について異常陰影候補の検出が終了したか否かが判別される(ステップS11)。全ての検出対象領域について検出が終了しておらず、検出対象領域がまだ存在する場合は(ステップS11;N)、その未検出領域において注目画素p′が再設定され(ステップS12)、ステップS2の処理に戻って再設定された注目画素p′について再度特徴量の算出が繰り返される。なお、全ての画素に対して注目画素p′を順次設定して異常陰影候補領域の検出を行うこととしてもよいし、ある所定間隔で順次注目画素p′を設定していくこととしてもよい。
一方、全ての検出対象領域に対して異常陰影候補の検出が行われ、未検出の検出対象領域が存在しない場合(ステップS11;Y)、本処理を終了する。
以上のように、濃度分布の曲面を構成する医用画像信号において、注目画素pを設定し、当該注目画素pを中心とした所定範囲の領域に対して、その範囲内における濃度分布の曲面を近似した近似関数を算出し、当該近似関数を決定する係数から曲率を特徴量として算出して異常陰影候補の検出に用いるので、特徴的な曲面形状を構成する異常陰影の信号領域を正常組織の信号領域と区別して的確に検出することができる。
特に、マンモグラフィでは、乳腺のような線状の正常組織でも、細いものから太いものまで様々な太さのものが存在するので、太く塊状となった乳腺組織の陰影は円形度が高い腫瘤や丸く広がりを持った微小石灰化クラスタの陰影と判別しがたい場合がある。しかしながら、曲率を算出すると、図5に示したように乳腺のような線状組織は谷型となるに対し、腫瘤や微小石灰化クラスタは凹型を示す。従って、線状の正常組織のような偽陽性陰影を異常陰影として誤検出することを防ぐことができる。
また、第1の実施の形態では、注目画素pを中心として曲率を算出する領域範囲(マスクサイズ)を変更し、各領域範囲で曲率を算出して複数の特徴量とするので、陰影の広がりの程度を考慮して総合的に異常陰影か否かを判定することができ、様々な大きさを有する異常陰影に対応することができる。
例えば、腫瘤陰影は5mm〜3cm程度の大きさであるのに対し、微小石灰化クラスタ陰影は、200μm〜1mm程度と腫瘤陰影よりかなり小さいサイズとなる。従って、腫瘤陰影を検出する際にはマスクサイズを最大3cm程度まで変更し、微小石灰化クラスタ陰影を検出する際にはマスクサイズを最大1mm程度まで変更することにより、検出対象とする異常陰影に対応することができる。
特に、微小石灰化クラスタの陰影は、高周波な石灰化部分がある程度の広がりを持って画像上に現れるのに対し、ノイズは非常に高周波な陰影として局所的に画像上に現れるので、曲率を算出する領域範囲を徐々に広げながら真陽性の異常陰影であるか否かを判定することにより、領域分布性を有する微小石灰化クラスタのような真陽性の異常陰影とノイズのような偽陽性の陰影とを区別することが可能となる。
また、このように検出対象の病変種類の大きさに応じてマスクサイズを設定することにより、異なる病変種類の異常陰影を1つの検出アルゴリズムで検出することができる。従来の検出アルゴリズムでは、病変種類に特化したフィルタを用いることが多く、検出対象とする病変種類に応じたフィルタをいくつも準備しなければならかったが、本発明では1つのアルゴリズムで複数の病変種類の異常陰影を検出することが可能であるので効率的である。
〈第2の実施の形態〉
第2の実施の形態では、濃度方向を有する医用画像信号から構成される濃度分布の曲面を最小二乗法により近似した近似関数を算出し、当該近似関数を決定する係数を用いてその画像特徴量を算出する際に、近似する関数の次数を変更し、変更された各次数の近似関数を算出して画像特徴量を算出する例を説明する。
まず、構成を説明する。
第2の実施の形態における信号処理装置の内部構成は、第1の実施の形態における信号処理装置10と同一であるので、同一構成部には同一の符号を付して図示を省略し、異なる機能部分についてのみ説明する。すなわち、第2の実施の形態における信号処理装置10は、CPU11、I/F12、操作部13、表示部14、通信部15、RAM16、ROM17、プログラムメモリ18から構成される。
CPU11は、プログラムメモリ18に格納されているシステムプログラムの他、本発明に係る異常陰影候補検出処理プログラム(図8参照)をRAM16に展開し、当該プログラムとの協働により信号処理装置10の各部の動作を集中制御する。
異常陰影候補検出処理では、医用画像信号から画像特徴量として曲率を算出し、この画像特徴量を用いて異常陰影候補の信号領域を検出する。なお、近似関数の算出方法及び曲率の算出方法は、第1の実施の形態で説明した方法と同様であるので、その説明は省略する。
第2の実施の形態では、CPU11は、曲率の特徴量を算出する際に近似関数を算出するマスクサイズを固定し、注目画素pから所定のマスクサイズ、例えば7×7のマスクサイズの曲面に対し、2次関数、4次関数、6次関数、・・・と近似する関数の次数を変更し、変更された各次数の関数で曲面を近似した近似関数を算出する。
図7に、2次、4次、6次と次数のパラメータmを変更した近似関数により近似された曲面を示す。図7(a)は、原信号の曲面を示す図であり、注目画素pを中心としたマスクサイズ7×7の領域範囲の曲面である。この原信号に対して2次関数により近似された曲面が図7(b)に示すものであり、同様に4次関数、6次関数により近似された曲面が図7(c)、図7(d)に示すものである。近似する次数が高くなるほど近似精度が向上し、曲面の形状が原信号に近くなっている。
各次数の近似関数が算出されると、各次数の近似関数における2次の項、1次の項、定数項の係数a′、b′、c′を得て上述した式2に代入し、注目画素pにおける法曲率κm(θ)の最大曲率κm1、最小曲率κm2を算出し、さらに平均曲率Hm、ガウス曲率Kmを特徴量として算出する(mは次数のパラメータを示す)。
CPU11は、各次数の近似関数から算出された特徴量を多変量解析に入力し、異常陰影の可能性が高いか否かを判定する。多変量解析についても第1の実施の形態と同様に、予め既知の異常陰影に対して、異常陰影の種類又は大きさに応じたマスクサイズで最大曲率κm1、最小曲率κm2、平均曲率Hm、ガウス曲率Kmの各特徴量を求めておき、これを標本データとして多変量解析にセットし、多変量解析の出力値としてどの異常陰影の特徴をどの程度有しているかを示す指標値を出力するように多変量解析を構築する。多変量解析の結果、異常陰影である可能性が高い指標値が得られると、CPU11は、注目画素pを中心とした所定のマスクサイズ内の画像領域を異常陰影の候補領域として検出する。
次に、第2の実施の形態における動作を説明する。
図8は、信号処理装置10により実行される異常陰影候補検出処理を説明するフローチャートである。この処理は、I/F12を介して画像生成装置Gから入力された医用画像信号から曲率等の特徴量を算出し、当該特徴量に基づいて異常陰影の候補領域を検出する処理である。
図6に示す異常陰影候補検出処理では、まずI/F12を介して画像生成装置Gから入力された医用画像信号に対して、任意の注目画素pが設定される(ステップS101)。次いで、初期値として次数のパラメータmがm=2に設定され、近似関数を算出する次数mが決定される(ステップS102)。
次いで、所定のマスクサイズn×nの領域範囲における濃度分布の曲面が最小二乗法によりm次関数で近似され、そのm次の近似関数が決定される。最初のルーチンでは、m=2の初期値に設定されているので、2次の近似関数が決定される。
近似関数が決定されると、その近似関数の2次の項、1次の項、定数項の各係数が取得され(ステップS103)、当該取得された係数を用いて注目画素pにおける最大曲率κm1、最小曲率κm2、平均曲率Hm、ガウス曲率Kmの各特徴量が算出される(ステップS104)。算出された各特徴量のデータは、特徴量ファイル171に格納される(ステップS105)。
算出された特徴量のデータが保存されると、次数のパラメータmにm+2の値が代入され、近似関数の次数が1段階高次数に設定される(ステップS106)。次いで、mの値が、近似関数の算出を行う最大次数として設定されている値8に達したか否かが判別される(ステップS107)。m=8ではない場合(ステップS107;N)、ステップS103の処理に戻り、新たに設定された次数mで再度近似関数が算出され、特徴量の算出が行われる。
一方、2次、4次、6次と各次数で順次近似関数及び特徴量の算出が繰り返され、n=8に達した場合(ステップS107;Y)、次数を変更して算出された特徴量を用いて多変量解析が行われる(ステップS108)。
次いで、多変量解析により検出対象の異常陰影の特徴をどの程度有しているかを示す指標値が解析結果として得られると、その指標値に基づいて異常陰影候補の検出が行われる(ステップS109)。例えば、検出対象が腫瘤陰影であり、多変量解析結果として出力された指標値が予め腫瘤陰影に対して設定された閾値より高い場合は、真陽性の異常陰影である可能性が高いと判定され、注目画素pを中心としたマスクサイズ13×13の領域範囲が異常陰影の候補領域として検出される一方、指標値が閾値より低い場合は異常陰影である可能性が低い判定され、異常陰影候補として検出されずに次の処理、ステップS110へ移行する。
このようにして、ある注目画素pを中心とした所定マスクサイズの領域範囲内で特徴量が算出され、その特徴量を用いて異常陰影候補の検出が行われると、全ての検出対象領域について異常陰影候補の検出が終了したか否かが判別される(ステップS110)。全ての検出対象領域について検出が終了しておらず、検出対象領域がまだ存在する場合は(ステップS110;N)、その未検出領域において注目画素p′が再設定され(ステップS111)、ステップS2の処理に戻って再設定された注目画素p′について再度特徴量の算出が繰り返される。なお、全ての画素に対して注目画素p′を順次設定して異常陰影候補領域の検出を行うこととしてもよいし、ある所定間隔で順次注目画素p′を設定していくこととしてもよい。
一方、全ての検出対象領域に対して異常陰影候補の検出が行われ、未検出の検出対象領域が存在しない場合(ステップS110;Y)、本処理を終了する。
以上のように、濃度分布の曲面を構成する医用画像信号において、注目画素pを設定し、当該注目画素pを中心とした所定範囲内の曲面を近似した近似関数を算出し、当該近似関数を決定する係数から曲率を特徴量として算出して異常陰影候補の検出に用いるので、特徴的な曲面形状を構成する異常陰影の信号領域を正常組織の信号領域と区別して的確に判定することが可能となる。
特に、マンモグラフィでは、乳腺のような線状の正常組織でも、細いものから太いものまで様々な太さのものが存在するので、太く塊状となった乳腺組織の陰影は円形度が高い腫瘤や丸く広がりを持った微小石灰化クラスタの陰影と判別しがたい場合がある。しかしながら、曲率を算出すると、図5に示したように乳腺のような線状組織は谷型となるに対し、腫瘤や微小石灰化クラスタは凹型を示す。従って、線状の正常組織のような偽陽性陰影を異常陰影として誤検出することを防ぐことができる。
また、第2の実施の形態では、曲面を近似する近似関数の次数を変更し、各次数の近似関数毎にその近似関数の係数で曲率を算出して複数の特徴量としている。図7に示したように、近似関数の次数が高くなるにつれてその近似関数で近似された曲面には高周波成分が反映されるようになる。従って、画像信号の周波数の情報を含めて総合的に真陽性の異常陰影であるか否かを判定することができる。従って、異常陰影候補の検出精度を向上させることができる。
特に、ノイズは非常に高周波な陰影として画像上に現れるので、近似関数の次数を変えて高周波信号の現れ方をとらえることにより、微小石灰化クラスタのような真陽性とノイズのような偽陽性を判別することが可能となる。
なお、第1及び第2の実施の形態における記述内容は、本発明を適用した信号処理装置10の好適な一例であり、これに限定されるものではない。
例えば、上述した説明では、注目画素を順次設定してその注目画素周辺で曲率等の特徴量を算出し、算出された特徴量を用いて異常陰影候補の検出を行っていたが、検出方法はこれに限らず、まず1次検出として、アイリスフィルタやモルフォルジーフィルタ等の他の検出アルゴリズムにより検出を行い、2次検出として、若しくは1次検出の絞り込みとしてその1次検出で検出された候補領域において本発明の曲率を用いた検出アルゴリズムで検出を行うこととしてもよい。1次検出で曲率を用いる場合、全ての画素を注目画素とするため、有る程度の演算時間が必要であるが、2次検出で曲率を用いる場合は、候補の中心を注目画素として曲率を算出し、偽陽性候補削除のための1特徴量として用いることができるため、より検出精度が高まるとともに、演算時間を短縮して演算の効率化を図ることができる。
また、アイリスフィルタやモルフォルジーフィルタ等を用いた他の検出アルゴリズムと本発明の曲率を用いた検出アルゴリズムとを併用し、各検出アルゴリズムで算出された特徴量やその他の特徴量、例えばアイリスフィルタで算出された濃度勾配の集中度や陰影の円形度、面積等の各種特徴量を曲率の特徴量とともに多変量解析に入力し、異常陰影であるか否かを判定することとしてもよい。これにより、総合的な判定を行うことができる。
また、上述した説明では、マンモグラフィから腫瘤や微小石灰化クラスタ等の陰影を検出対象とする例で説明したが、他の部位を撮影した医用画像からその部位における異常陰影を検出する際にも本発明を適用可能である。さらに、マンモグラフィ等の放射線画像に限らず、超音波画像、MRI(Magnetic Resonance Imaging)画像でも適用可能である。
さらに、3方向成分を有する3次元信号を解析する際に曲率を求めてその信号の特徴量とするのならば、上述したような位置(x方向、y方向)、濃度(z方向)の3方向成分からなる医用画像信号に限らず、本発明を適用可能である。例えば、周波数、時間、周波数スペクトルの3軸から構成されるサウンドスペクトログラムや、明度成分、2つの知覚色度成分からなる色信号などに対しても適用可能である。
その他、第1及び第2の実施の形態における信号処理装置10の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
本実施の形態における信号処理装置10の機能的構成を示す図である。 (a)医用画像信号からなる曲面を示す図である。(b)曲面を局所座標系で示した図である。 デジタル医用画像において画像信号から構成される濃度分布の曲面を示す図である。 マスクサイズを変えて原信号を近似関数で近似した曲面を示す図であり、(a)は原信号、(b)は3×3のマスクサイズ、(c)は5×5のマスクサイズ、(d)は7×7のマスクサイズにおける近似曲面を示す図である。 平均曲率Hとガウス曲率Kの組み合わせにより分類される曲面の形状を示す図である。 第1の実施の形態における信号処理装置10により実行される異常陰影候補検出処理を説明するフローチャートである。 近似する関数の次数を変えて原信号を近似関数で近似した曲面を示す図であり、(a)は原信号、(b)は2次関数、(c)は4次関数、(d)は6次関数による近似曲面を示す図である。 第2の実施の形態における信号処理装置10により実行される異常陰影候補検出処理を説明するフローチャートである。
符号の説明
10 信号処理装置
11 CPU
12 I/F
13 操作部
14 表示部
15 通信部
16 RAM
17 ROM
171 特徴量ファイル
18 プログラムメモリ

Claims (14)

  1. 曲面を構成する処理対象信号において、任意の注目信号を設定し、その注目信号から所定範囲内の曲面を近似した近似関数を算出する関数算出手段と、
    前記関数算出手段により算出された近似関数を決定する係数を用いて近似関数が算出された所定範囲内における信号の特徴量を算出する特徴量算出手段と、
    を備えることを特徴とする信号処理装置。
  2. 前記関数算出手段は、注目信号から所定範囲内の曲面の近似関数を複数算出し、
    前記特徴量算出手段は、前記算出された複数の近似関数のそれぞれから特徴量を算出することを特徴とする請求項1に記載の信号処理装置。
  3. 前記関数算出手段は、近似関数を算出する範囲を変更して、変更された範囲毎に近似関数を算出し、
    前記特徴量算出手段は、前記算出された各範囲における近似関数のそれぞれから特徴量を算出することを特徴とする請求項2に記載の信号処理装置。
  4. 前記関数算出手段は、近似する関数の次数を変更して、変更された次数毎にその次数の近似関数を算出し、
    前記特徴量算出手段は、前記算出された各次数の近似関数のそれぞれから特徴量を算出することを特徴とする請求項2に記載の信号処理装置。
  5. 前記特徴量算出手段は、特徴量として前記関数算出手段により算出された近似関数の係数から曲率を算出することを特徴とする請求項1〜4の何れか一項に記載の信号処理装置。
  6. 前記特徴量算出手段は、曲率の特徴量を算出するとともに、当該算出された曲率を用いて曲率に関する特徴量を算出することを特徴とする請求項5に記載の信号処理装置。
  7. 前記関数算出手段は、最小二乗法により近似関数を算出することを特徴とする請求項1〜6の何れか一項に記載の信号処理装置。
  8. 前記関数算出手段により最小二乗法で算出される近似関数は多次元多項式関数であることを特徴とする請求項7に記載の信号処理装置。
  9. 前記特徴量算出手段は、多次元多項式関数の二次の項、一次の項、定数項の何れか又は全てを用いて特徴量を算出することを特徴とする請求項8に記載の信号処理装置。
  10. 前記処理対象信号は、画像信号であることを特徴とする請求項1〜9の何れか一項に記載の信号処理装置。
  11. 前記画像信号は、医用画像信号であることを特徴とする請求項10に記載の信号処理装置。
  12. 前記特徴量算出手段により算出される特徴量を用いて、ガウス分布状又は円錐構造状の曲面を構成する信号領域を検出する検出手段を備えることを特徴とする請求項10又は11に記載の信号処理装置。
  13. 前記検出手段は、前記特徴量算出手段により算出された特徴量を用いて、医用画像信号から腫瘤陰影候補の信号領域を検出することを特徴とする請求項12に記載の信号処理装置。
  14. 前記検出手段は、前記特徴量算出手段により算出された特徴量を用いて、医用画像信号から微小石灰化クラスタ陰影候補の信号領域を検出することを特徴とする請求項12に記載の信号処理装置。
JP2003313855A 2003-09-05 2003-09-05 信号処理装置 Pending JP2005080757A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003313855A JP2005080757A (ja) 2003-09-05 2003-09-05 信号処理装置
US10/932,938 US20050053270A1 (en) 2003-09-05 2004-09-02 Image processing apparatus and signal processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003313855A JP2005080757A (ja) 2003-09-05 2003-09-05 信号処理装置

Publications (2)

Publication Number Publication Date
JP2005080757A true JP2005080757A (ja) 2005-03-31
JP2005080757A5 JP2005080757A5 (ja) 2006-10-19

Family

ID=34414656

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003313855A Pending JP2005080757A (ja) 2003-09-05 2003-09-05 信号処理装置

Country Status (1)

Country Link
JP (1) JP2005080757A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006230910A (ja) * 2005-02-28 2006-09-07 Konica Minolta Medical & Graphic Inc 画像処理装置及び画像処理方法
JP2012213518A (ja) * 2011-03-31 2012-11-08 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
WO2013047882A1 (en) * 2011-09-28 2013-04-04 Canon Kabushiki Kaisha Image processing apparatus, image processing method and program
JP2021182267A (ja) * 2020-05-19 2021-11-25 日本製鉄株式会社 トラッキング装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006230910A (ja) * 2005-02-28 2006-09-07 Konica Minolta Medical & Graphic Inc 画像処理装置及び画像処理方法
JP2012213518A (ja) * 2011-03-31 2012-11-08 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
WO2013047882A1 (en) * 2011-09-28 2013-04-04 Canon Kabushiki Kaisha Image processing apparatus, image processing method and program
GB2510741A (en) * 2011-09-28 2014-08-13 Canon Kk Image processing apparatus, image processing method and program
JP2014524602A (ja) * 2011-09-28 2014-09-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US9324148B2 (en) 2011-09-28 2016-04-26 Canon Kabushiki Kaisha and The University of Tokyo Image processing apparatus, image processing method and program
JP2021182267A (ja) * 2020-05-19 2021-11-25 日本製鉄株式会社 トラッキング装置

Similar Documents

Publication Publication Date Title
CN107480677B (zh) 一种识别三维ct图像中感兴趣区域的方法及装置
US9480439B2 (en) Segmentation and fracture detection in CT images
JP2005198970A (ja) 医用画像処理装置
US20100150413A1 (en) Abnormal shadow candidate detecting method and abnormal shadow candidate detecting device
JP2004032684A (ja) 医療画像において腫瘤や実質組織変形をコンピュータを用いて検出する自動化した方法と装置
WO2006126384A1 (ja) 異常陰影候補の表示方法及び医用画像処理システム
JP2006325638A (ja) 異常陰影候補の検出方法及び医用画像処理システム
US9808217B2 (en) Breast cancer detection system, breast cancer detection method, breast cancer detection program, and computer-readable recording medium having breast cancer detection program recorded thereon
JP4453321B2 (ja) 医用画像処理装置及びプログラム
EP1908404A1 (en) Abnormal shade candidate detection method and abnormal shade candidate detection device
US20050053270A1 (en) Image processing apparatus and signal processing apparatus
JP3852125B2 (ja) 2次元多階調画像におけるパタン検出方法及び装置
JP2005253685A (ja) 画像診断支援装置及び画像診断支援プログラム
US9582892B2 (en) Radiation imaging apparatus, radiation imaging method, and program
JP2002143136A (ja) 異常陰影候補検出方法および検出処理システム
JP2006230910A (ja) 画像処理装置及び画像処理方法
US10579895B2 (en) Information processing apparatus, extraction method, and medium
JP2005080758A (ja) 画像処理装置
JP2006325640A (ja) 異常陰影候補の表示方法及び医用画像処理システム
JP2006340835A (ja) 異常陰影候補の表示方法及び医用画像処理システム
JP4631260B2 (ja) 画像診断支援装置、画像診断支援方法及びプログラム
JP2005080757A (ja) 信号処理装置
JP2006334140A (ja) 異常陰影候補の表示方法及び医用画像処理システム
JP2005253770A (ja) 医用画像処理装置及び医用画像処理プログラム
JP2006230904A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060830

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090721

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091117