JP2004283211A - 画像判別装置、方法およびプログラム - Google Patents

画像判別装置、方法およびプログラム Download PDF

Info

Publication number
JP2004283211A
JP2004283211A JP2003075647A JP2003075647A JP2004283211A JP 2004283211 A JP2004283211 A JP 2004283211A JP 2003075647 A JP2003075647 A JP 2003075647A JP 2003075647 A JP2003075647 A JP 2003075647A JP 2004283211 A JP2004283211 A JP 2004283211A
Authority
JP
Japan
Prior art keywords
image
contour
shadow
outside
extracting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003075647A
Other languages
English (en)
Other versions
JP4184842B2 (ja
Inventor
Satoru Osawa
哲 大沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2003075647A priority Critical patent/JP4184842B2/ja
Priority to US10/803,895 priority patent/US7620222B2/en
Publication of JP2004283211A publication Critical patent/JP2004283211A/ja
Application granted granted Critical
Publication of JP4184842B2 publication Critical patent/JP4184842B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】コンピュータを用いた医用画像診断支援装置において、画像の濃淡値から得られる医用画像に固有のイメージパターンに基づいて、腫瘤の判定を人の視覚で捉えた感覚に近い感覚で行う。
【解決手段】医用画像データから陰影の候補領域を抽出し、抽出した候補領域の輪郭vの周辺の輪郭内外画像Dの特徴量を用いて、前記候補領域の陰影の種類を判定する。
【選択図】 図3

Description

【0001】
【発明の属する技術分野】
本発明は、被写体を撮影して得た医用画像データに基づいて画像中の異常陰影を検出し、その異常陰影を表示して診断に供するコンピュータ支援画像診断装置に関するものである。
【0002】
【従来の技術】
従来、種々の画像取得方法により得られた画像に対して、階調処理や周波数処理等の画像処理を施し、画像の観察読影性能を向上させることが行われている。特に人体を被写体とした放射線画像のような医用画像の分野においては、医師等の専門家が、得られた画像に基づいて患者の疾病や傷害の有無を的確に診断する必要があり、その画像の読影性能を向上させる画像処理は不可欠なものとなっている。そのため、このような画像処理を用いることで、観察者の経験や画像読影能力の高低によって左右されず客観的に腫瘤陰影を判断できるように様々な方法が提案されている。
【0003】
放射線画像等に撮影された癌化した部分の腫瘤陰影は、おおむね丸味をおびた輪郭を持ち、かつ、画像上では周囲に比べて画素値が大きな領域として観測される。このような腫瘤陰影は、半球状で同じ濃度が同心円状に広がる形状の領域(以降、円形凸領域と呼ぶ)で、濃度値の分布が周縁部から中心部に向かうにしたがって濃度値が低くなるという濃度値の勾配が認められる。その勾配線は腫瘤の中心方向に向かって集中するもので、濃度値の勾配を勾配ベクトルとして算出し、その勾配ベクトルの集中度から腫瘤陰影を検出することができることが知られている(例えば、非特許文献1、非特許文献2参照)。
【0004】
また、このような集中度を評価するものの中には、腫瘤の大きさや形状に左右されない検出力を達成するために、フィルタの大きさと形状とを工夫したものがあり、代表的なものとして、アイリスフィルタや適応リングフィルタが挙げられる。
【0005】
このアリスフィルタの出力値は、円形凸領域の輪郭で最大値を与え異常陰影の候補領域を抽出する可能であり(例えば、特許文献1参照)、一方、適応リングフィルタの出力は、円形凸領域の中心付近で極大値をとるものである(例えば、非特許文献2参照)。
【0006】
そこで、アイリスフィルタ等で異常陰影の候補領域を検出し、検出された異常陰影の候補領域に基づいて候補領域内部の濃度ヒストグラムを求め、このヒストグラムに基づく複数の特徴量、すなわち分散値、コントラスト、角モーメント等を算出し、さらに各特徴量を所定の重み付け関数で定義して新たな評価関数値を算出し、算出された評価関数値に基づいて候補領域が悪性陰影であるか否かを判定し、悪性陰影のみを異常陰影候補として検出する方法が提案されている(例えば、特許文献2)。
【0007】
また、予め実験的に得られている候補領域内部の濃度ヒストグラムに基づく複数の特徴量から正常陰影と異常陰影のクラスターに分類し、医用画像データに現われた候補領域に対して、正常陰影を示すパターンクラスからのマハラノビス距離Dm1と異常陰影を示すパターンクラスからのマハラノビス距離Dm2を算出して異常陰影に該当するものか否かを検出するものがある(例えば、特許文献2、特許文献3参照)。
【0008】
さらに、以上の手法を組み合わせて、読影者の負担の軽減と、質の向上を図ったコンピュータ診断支援(CAD:Computer aided diagnosis)システムがある。このCADシステムの流れは以下のようになる。
▲1▼ まず、原画像に適応リングフィルタを利用して円形凸領域を強調する。
▲2▼ 次に、フィルタ出力値の極大点を抽出し、大きいものからいくつか(例えば、7個)を腫瘤候補点として抽出する。
▲3▼ 腫瘤候補点から、腫瘤候補領域を抽出するために、アイリスフィルタとSnakes法を適用する。Snakes法は、エネルギー最小化原理に基づいた最適解としての輪郭を抽出する方法であり、Snakesエネルギーとしてアイリスフィルタの出力を用いる。Snakesのアルゴリズムによる候補領域決定の詳細は、非特許文献3に述べられている。
▲4▼ さらに、決定された各候補領域から特徴量を算出して、マハラノビス距離に基づいて、候補領域を悪性腫瘤影と良性腫瘤影の2つのクラスターに判別する。
このように、形状抽出結果に基づいて腫瘤が悪性腫瘤であるか良性腫瘤であるかを判別するものがある(例えば、非特許文献4参照)。
【0009】
また、近年、読影する医用画像の視覚的な特徴が類似する類似画像を過去症例のデータベースから検索するCADが提案されている(例えば、非特許文献5参照)。
【0010】
【特許文献1】
特開平8−294479号公報
【0011】
【特許文献2】
特開平9−167238号公報
【0012】
【特許文献3】
特開2002−74325号公報
【0013】
【非特許文献1】
魏 軍、荻原 義裕、清水 明伸、小畑 秀文、“こう配ベクトルの点集中性フィルタの特性解析”、電子情報通信学会論文誌(D−II) Vol.J84−D−II No.7,pp.1289−1298,2001.
【0014】
【非特許文献2】
魏 軍、荻原 義裕、小畑 秀文、“がん陰影候補抽出のための勾配ベクトル集中フィルタ”、電子情報通信学会論文誌(D−II) Vol.J83−D−II No.1,pp.118−125,Jan.2000.
【0015】
【非特許文献3】
H.Kobata,M.Murakami,et al,”Computerized detection of malignant tumors on digital mammograms,”IEEE Trans on Med,Imag,Vol.18,No.5,pp.369−378,1999.
【0016】
【非特許文献4】
古屋早知子、魏 軍、荻原 義裕、清水 明伸、小畑 秀文、縄野 繁、“準最適特徴量組み合わせによる乳房X線像上の腫瘤影判別性能向上”、電子情報通信学会 Vol.100 No.434,pp.93−100,2001.
【0017】
【非特許文献5】
“M.Ginger,Z.Huo,C.Vybomy,L.Lan,I.Bonta,K.Horsch,R.Nishikawa,I.Rosenborough,Intelligent CAD workstation for breast imaging using similarity to known lesions and multiple visual prompt aids, PROCEEDINGS OF SPIE, Medical Imaging 2002,February 2002,San Diego”
【0018】
【発明が解決しようとする課題】
上記のような診断支援技術は、候補領域の形状、大きさ、濃度のコントラスト等の抽象化された特徴量を用いて判断するため、必ずしも人間の視覚で捉えた感覚とは一致せずズレが生じる。そのため、類似すると判定された腫瘤であっても実際の画像を視覚的に比較した場合には類似しない場合があった。例えば、類似画像を過去症例のデータベースから検索するような場合に、質問腫瘤画像とは類似しない腫瘤画像が検索される場合があった。
【0019】
本発明は、この課題に鑑みて、画像の濃淡値から得られる医用画像に固有のイメージパターンに基づいて、腫瘤を人の視覚で捉えた感覚に近い感覚で分析する手法を用いた画像判別装置を提供することを目的とするものである。
【0020】
【課題を解決するための手段】
本発明の画像判別装置は、医用画像データから所定の陰影の候補領域を抽出する候補領域抽出手段を備えた画像判別装置であって、
前記候補領域抽出手段で抽出した前記候補領域の輪郭周辺の輪郭内外画像を抽出する輪郭内外画像抽出手段と、
該輪郭内外画像抽出手段で抽出した輪郭内外画像の特徴量を用いて、前記候補領域の陰影の種類を判定する陰影判定手段とを備えたことを特徴とするものである。
【0021】
また、本発明の画像判別方法は、医用画像データから所定の陰影の候補領域を抽出し、
該候補領域の輪郭周辺の輪郭内外画像を抽出し、
該輪郭内外画像の特徴量を用いて、前記候補領域の陰影の種類を判定することを特徴とするものである。
【0022】
また、本発明のプログラムは、コンピュータに、
医用画像データから所定の陰影の候補領域を抽出する手順と、
該候補領域の輪郭周辺の輪郭内外画像を抽出する手順と、
該輪郭内外画像の特徴量を用いて、前記候補領域の陰影の種類を判定する手順として実行させるものである。
【0023】
ここで「陰影」とは、例えば医療用のX線画像やマンモグラム等における、血管等の正常陰影や、腫瘍、腫瘤、癌等種々の症状を示す異常陰影をいい、乳房や胸部等の様々な部位で観察されるものである。
【0024】
「陰影の候補領域の抽出」は、陰影は背景の画像とは異なる濃度を示すことに注目して陰影の候補領域の抽出を行う。
【0025】
具体的には、画像中から腫瘤候補となる領域をアイリスフィルタ等を用いて抽出したり、アイリスフィルタ等により抽出した腫瘤候補となる領域の中心位置(候補点)に基づいてSnakes法等を用いてより正確に候補領域を抽出することができる。
【0026】
アイリスフィルタは濃度の勾配値に注目して候補領域を抽出するもので、画像中から濃度勾配集中度の値が高い領域を抽出するものである。また、アイリスフィルタ以外の手法を用いてもよく、例えば、丸くて濃度の低い(白い)領域を抽出してもよい。
【0027】
また、Snakes法は、アイリスフィルタで抽出された候補領域(点)に基づいて、より正確な腫瘤形状を抽出するもので、例えば、候補点を中心に一定半径上の点を初期値として抽出することができる。Snakes法は陰影の輪郭周辺(エッジ)で画像エネルギーが極小になるように定義し、陰影の輪郭の近傍に初期値として設定された曲線上のエネルギーが最小となるように曲線を徐々に移動させて、収束したところで候補領域を抽出するものである。
【0028】
また、「輪郭内外画像」とは、候補領域の輪郭周辺の画像で、輪郭から所定の範囲にある画像であり、「輪郭内外画像の特徴量」には、例えば、輪郭内外画像に発生する濃淡パターンに基づく特徴量や、輪郭内外画像の濃度ヒストグラムに基づく複数の特徴量(分散値、コントラスト、角モーメント等)等を用いることが可能である。
【0029】
また、陰影には、正常なもの、腫瘤のように異常なもの、さらに異常なもののうち良性なものと悪性なものがあり、前記陰影の種類を、正常陰影、異常陰影、異常陰影のうちの良性陰影、異常陰影のうちの悪性陰影のいずれかに分けるようにしてもよい。
【0030】
さらに、悪性腫瘤を悪性腫瘤1、悪性腫瘤2というように詳細に分けてもよい。
【0031】
あるいは、陰影がどの症例に類似するものかを判定してもよく、前記陰影の種類は、前記陰影に類似する症例の種類であってもよい。
【0032】
また、前記輪郭内外画像抽出手段は、前記輪郭内外画像を輪郭辺縁、輪郭内側および輪郭外側のいずれか2以上の領域に分けるものとしてもよく、前記陰影判定手段では、各該領域のうち少なくとも1つの領域の特徴量に基づいて前記陰影の種類を判定するものであってもよい。
【0033】
「輪郭辺縁、輪郭内側および輪郭外側のいずれか2以上の領域に分ける」とは、候補領域の輪郭を基準にして領域を分けるもので、輪郭辺縁と輪郭内側と輪郭外側の3つの領域や輪郭内側と輪郭外側の2つの領域等に分け、異なる特徴が現れる領域に分ける方が望ましい。また、領域の一部が重なり合うように分けてもよい。
【0034】
また、前記輪郭内外画像抽出手段により抽出した前記輪郭内外画像を構成する単位画素群に基づいて、該単位画素群の画素に出現する濃淡のパターンを抽出する濃淡パターン抽出手段と、
前記輪郭内外画像の単位画素群がいずれの前記濃淡パターンに類似するかを判定し、前記濃淡パターンが前記輪郭内外画像に出現する出現頻度を前記類似する濃淡パターンにカウントして算出する出現頻度算出手段と、
前記濃淡パターンの出現頻度に基づいて、前記輪郭内外画像を陰影の種類に応じて分類する分類手段とを有し、
前記陰影判定手段は、前記輪郭内外画像に前記濃淡パターンが出現する出現頻度を前記出現頻度算出手段で求め、該出現頻度を特徴量として該候補領域が前記分類手段で分類したいずれの前記陰影の種類に属するものであるかを判定するものであってもよい。
【0035】
「単位画素群」は、画像上の小領域の画素で、画像を分析する単位となる画素群である。例えば、20×20画素程度が好ましい。
【0036】
「単位画素群の画素に出現する濃淡のパターンを抽出する」とは、輪郭内外画像を構成する単位画素群に多く発生する濃淡パターンを抽出することで、コホーネンの自己組織化(以下、SOMという)等のパターン分析の手法を用いて濃淡パターンを抽出することが可能である。
【0037】
また、「前記濃淡パターンの出現頻度に基づいて、前記輪郭内外画像を腫瘤タイプに応じて分類する」とは、各濃度パターンが出現する頻度(ヒストグラム)に基づいて、輪郭内外画像がどの腫瘤タイプに属するものであるかを分類することで、具体的には、SOM等のクラスター分析の手法を用いて分類することができる。SOM以外にマハラノビス距離等の距離関数(距離の概念を表す関数)や類似度等の他のクラスター分析の手法を用いて分類してもよい。
【0038】
【発明の効果】
本発明の画像判別装置によれば、候補領域の輪郭周辺の輪郭内外画像の特徴量を用いて判定することにより、陰影の形状によらず陰影の種類を判定することができる。
【0039】
また、輪郭内外画像を輪郭辺縁、輪郭内側、輪郭外側等の特徴のある領域に分けることにより、より正確な判定をすることができる。
【0040】
さらに、輪郭内外画像を構成する単位画素群の濃淡パターンの出現頻度に基づいて陰影の種類を判定することにより、候補領域の属する陰影の種類を人間の視覚で捉えた感覚に近い判定結果を得ることができる。
【0041】
【発明の実施の形態】
以下、本発明の画像判別装置について、図面を参照して詳細に説明する。図1は、本発明の画像判別装置1の概要を示す図である。
【0042】
画像判別装置1は、医用画像データSから陰影の候補領域を抽出する候補領域抽出手段2と、陰影の輪郭周辺の輪郭内外画像を抽出する輪郭内外画像抽出手段3と、輪郭内外画像を構成する単位画素群に現れる濃淡パターンを代表するものを抽出する濃淡パターン抽出手段4と、濃淡パターンが輪郭内外画像に出現する出現頻度を算出する出現頻度算出手段5と、輪郭内外画像に濃淡パターンが出現する頻度に基づいて陰影の種類を分類する分類手段6と、注目する陰影の輪郭内外画像の濃淡パターンの出現頻度から、注目する陰影がいずれの陰影の種類に類似するものであるかを判定する陰影判定手段7とから構成される。
【0043】
候補領域抽出手段2は、医用画像データSから陰影の候補領域を抽出するもので、具体的には、画像中から腫瘤候補となる領域をアイリスフィルタ等を用いて抽出したり、アイリスフィルタ等により抽出した中心位置(候補点)に基づいてSnakes法等を用いてより正確に候補領域を抽出することもできる。
【0044】
アイリスフィルタは濃度値の勾配に注目して候補領域を抽出するもので、例えば、画像中から濃度勾配の集中度の値が上位7番目までの領域を抽出するものである。また、アイリスフィルタ以外の手法を用いてもよく、例えば、丸くて濃度の低い(白い)領域を上位から抽出してもよい。
【0045】
Snakes法は、アイリスフィルタで抽出された候補領域(点)に基づいて、より正確な腫瘤形状を抽出するもので、例えば、候補点を中心に一定半径上の点を初期値として抽出することができる。Snakes法は陰影の輪郭周辺(エッジ)で画像エネルギーが極小になるように定義し、陰影の輪郭の近傍に初期値として設定された曲線上のエネルギーが最小となるように曲線を徐々に移動させて、収束したところで候補領域を抽出するものである。エネルギーには内部エネルギー、画像エネルギー、外部エネルギーがあり、画像エネルギーとしては、アイリスフィルタで抽出した候補点から、辺縁に向けて引いた半直線上の勾配値の総和が辺縁上で最大となることを利用した出力値を用いるのがよい。
【0046】
本実施の形態では、Snakes法を用いて陰影の候補領域を抽出する場合について説明する。まず、Snakesの動作原理を図2を用いて説明する。Snakesとは、画像内に仮想的に置かれた輪ゴムのような物理的な性質が与えられた曲線で、対象とする医用画像データSの濃度から得られる画像エネルギーにおいて、Snakes上の画像エネルギーの総和が極小状態で安定するように動かしていき形状を抽出する。
【0047】
そこで、まず対象となる医用画像データSから抽出する形状の輪郭上で極小値をとるように画像エネルギーを定義し、目的とする形状の輪郭の近傍にSnakesの初期位置を設定して、Snakes上の画像エネルギーの総和が最小になるようにSnakesを動かして目的とする形状を抽出する。図2は、Snakesを閉曲線v(s)として与え、閉曲線v(s)を徐々に収縮させて抽出する領域(斜線部)の輪郭に閉曲線v(s)が近づいていく様子を表したものである。
【0048】
Snakesの動作決定するSnakes上の画像エネルギーの総和Eは一般に式(1)で与えられる。
【0049】
【数1】
Figure 2004283211
sは閉曲線上のパラメータで、s=0の位置が始点でs=1の位置は終点を表す(閉曲線の場合には、s=0の位置とs=1の位置は一致する)。
【0050】
また、EintはSnakesの内部エネルギーで、Eimageが画像の特徴量である濃淡に依存する画像濃淡エネルギーで、Econは外部拘束力による外部エネルギーである。
【0051】
(1)内部エネルギーEint
内部エネルギーEintは、Snakes自身の長さvsと、曲率vssの自乗の重みつき線形和で定義され式(3)で与えられる。
【0052】
【数2】
Figure 2004283211
この内部エネルギーEintは、v(s)の伸縮を調整する項である。
【0053】
(2)画像濃淡エネルギーEimage
画像エネルギーEimageは、医用画像データSの濃淡に基づいて目的とする形状の近傍で極小となるように定義されるエネルギーで、例えば、濃度や濃度勾配等の画像の特徴量から陰影のエッジで最小となるように定義する。例えば、アイリスフィルタの出力値(円形凸領域の輪郭で最大値を与えるもの)を用いて陰影のエッジで最小となるように定義してもよい。
【0054】
(3)外拘エネルギーEcon
外拘エネルギーEconは意図的にSnakesの振る舞いや質を変えるために与えるもので、適切な外部拘束力Econを与えることでSnakesの初期位置をエッジの近傍に設定した場合のみでなく、やや離れたところにSnakesの初期位置を設定した場合にも輪郭に収束するように調整することができる。
【0055】
以上のように定義したエネルギーの総和E(式(1))が最小値になるように閉曲線v(s)を変化させ、エネルギーの総和Eが最小値に収束した位置で、閉曲線v(s)が略輪郭に一致したものとして候補領域を抽出する。
【0056】
輪郭内外画像抽出手段3では、図3に示すように、候補領域抽出手段2で抽出した形状の輪郭v(s)の周辺の画像を輪郭内外画像Dとして抽出する。輪郭内外画像Dは輪郭からの所定の範囲内にある画像である。輪郭内外画像Dは輪郭内側、輪郭外側、輪郭辺縁上等の領域に分けて、各領域に現れる特徴量を観測することにより腫瘤のタイプを詳細に分類することが可能である。
【0057】
また、輪郭内外画像Dは輪郭の形状に依存しないで特徴を観測できる方が好ましく、輪郭v(s)を基準に統一した形状に変換する方が望ましい。例えば、図4に示すように、抽出した輪郭v(s)が直線になるように輪郭内外画像Dを変換して、抽出した輪郭v(s)をx方向に一致させ、輪郭v(s)に垂直な方向t(t1、t2、t3、t4、t5、t6)をy方向と一致するような矩形形状に変換する。
【0058】
これにより、図5に示すように、(a)と(b)の陰影の輪郭の形状は相違するが、変換後の輪郭内外画像Dは(c)に示すように同じ形状に変換され、画像の比較が容易になる。
【0059】
あるいは、図6に示すように、輪郭上に特徴のある形状Aが出現するような陰影(a)、(b)を統一した形状(c)に変換して、x軸上の位置をシフトして比較することにより類似する画像の判定が容易になる。
【0060】
また、図7に示すように、陰影の辺縁部に現れるスピキュラSP等が出現するような陰影(a)、(b)を統一した形状(c)に変換することにより、スピキュラSP等の輪郭に対して垂直な方向に特徴がある濃淡パターンの検出が容易になる。
【0061】
濃淡パターン抽出手段4では、輪郭内外画像Dを構成する小領域の画素群(以下、単位画素群とする)に発生する濃度パターンを代表するものを抽出して濃度パターン抽出結果記憶手段40に記憶する。具体的には、様々な症例の輪郭内外画像D(例えば、180×80画素)からランダムに切り出した単位画素群(ROI:例えば、20×20画素、図4(b)参照)を、SOMに提示して輪郭内外画像Dに含まれる単位画素群を代表する濃度パターンを抽出する(SOMに提示する方法の詳細は、特開平6−309457を参照)。図8は、SOMを用いて64個の濃度パターンを抽出した結果の一例である。単位画素群の濃度パターンの抽出はSOMを用いた場合に限らず、他のパターン分析の手法を用いて濃淡パターンを抽出することが可能である。
【0062】
出現頻度算出手段5は、濃度パターン抽出結果記憶手段40に記憶している濃淡パターンが輪郭内外画像に出現する出現頻度を濃淡パターン毎にカウントする。例えば、輪郭内外画像D内の単位画素群を1つずつ上下左右に動かし、濃度パターン毎に出現する出現頻度を求める。また、輪郭内外画像D上の単位画素群がどの濃度パターンに属するかは、例えば、最小二乗距離や相関をみて判定し、最も近似する濃度パターンにカウントして輪郭内外画像Dの濃度パターンのヒストグラムを求める。
【0063】
あるいは、単位画素との類似度が高い濃淡パターンにのみカウントするようにし、いずれの濃淡パターンにも類似しない場合にはカウントしないようにしてヒストグラムを求めるようにしてもよい。例えば、最小二乗距離や相関の値が所定値以下の場合にその濃淡パターンにカウントし、最小二乗距離や相関の値が所定値以下の濃淡パターンがない場合にはカウントしないようにする。
【0064】
さらに、輪郭内外画像Dを、図9に示すように、輪郭辺縁、輪郭内側、輪郭外側の各領域に分けて濃度パターンのヒストグラムを求めて、陰影の種類を詳細に分類してもよい。図10は、各領域に応じて濃度パターンの出現頻度をカウントした結果の一例を表すもので、aは輪郭内側のヒストグラム、bは輪郭辺縁のヒストグラム、cは輪郭外側のヒストグラムである。また、輪郭内外画像Dは、輪郭辺縁、輪郭内側、輪郭外側の3つの領域に限らず、輪郭内側と輪郭外側の2つの領域に分けるようにしてもよい。また、輪郭辺縁と輪郭内側、輪郭辺縁と輪郭外側とは重なり合わないような領域を設定してもよい。
【0065】
分類手段6では、輪郭内外画像Dがどの陰影の種類に対応するかを濃淡パターンの出現頻度に基づいて分類する。まず、出現頻度算出手段5を用いて求めた出現頻度を、異常陰影のうち悪性腫瘤や良性腫瘤や腫瘤でないもの等の陰影の種類に応じて、例えば、SOMに入力し、図11に示すような類似した画像同士が近い位置となるような陰影マップを求め、この陰影マップ上に陰影の種類のラベル付けを行う。この分類した結果は分類結果記憶手段60に記憶する。また、陰影マップには異常陰影のみならず正常陰影を入力することで、候補領域の画像が正常陰影か異常陰影かの判定も行うことが可能となる。さらに、様々な症例に対応するものを入力して様々な症例に分類することも可能である。
【0066】
次に、陰影判定手段7は、医用画像データSから注目する候補領域を抽出して陰影の種類を判定する。まず、候補領域抽出手段2で医用画像データSから注目する候補領域の輪郭を抽出し、抽出した輪郭を基準に輪郭内外画像抽出手段3で輪郭内外画像Dを抽出する。そこで、輪郭内外画像Dに濃淡パターンの出現頻度を出現頻度算出手段5で求め、求めた出現頻度をSOMに入力し、分類手段6で分類結果記憶手段60に記憶している結果からいずれの陰影の種類に類似するものであるかを判定する。これにより、陰影が異常陰影であるか、正常陰影であるか、さらに異常陰影のうち良性であるか、悪性であるかを判定することが可能である。
【0067】
あるいは、分類手段6で症例について分類した場合には、どの症例に類似するかを判定することも可能である。さらに、類似症例画像をデータベース等に蓄積しておき類似する症例の画像を検出することができるように構成してもよい。このとき類似症例画像の各々に、その診断・治療情報(確定診断結果、検査方針、治療方針等)を対応付けて記憶しておき、検出された類似症例画像とともに対応する診断・治療方針を表示することが可能なようにしておいてもよい。
【0068】
以上、分類手段6や陰影判定手段7で輪郭内外画像Dの陰影の種類を分類や判定にSOMを用いた場合について述べたが、マハラノビス距離等の他のクラスター分析の手法を用いて腫瘤タイプを分類し、注目する候補領域がいずれの各腫瘤タイプに属するかを分類することも可能である。
【0069】
次に、画像判別装置1の動作について図12、図13のフローチャートを用いて説明する。ここでは、陰影の種類を腫瘤タイプに分類した場合について説明する。
【0070】
まず、図12のフローチャートに基づいて、濃度パターンの抽出と腫瘤タイプの分類について説明する。候補領域抽出手段2で多くの症例の医用画像データSから候補領域を抽出し(S100)、抽出した各候補領域の輪郭v(s)の周辺から輪郭内外画像Dを抽出する(S101)。濃淡パターン抽出手段4では、多くの医用画像データSから抽出した輪郭内外画像Dからランダムに切り出した単位画素群(ROI)をSOMに繰り返し入力して単位画素群の濃度パターンを代表する濃度パターンを抽出し濃度パターン抽出結果記憶手段40に記憶する(S102)。
【0071】
ここで、抽出した輪郭内外画像Dの各々について、抽出した濃度パターンが出現する出現頻度を出現頻度算出手段5で算出する(S103)。分類手段6で、求めた輪郭内外画像Dの濃度パターンの出現頻度を、SOMに繰り返し提示して輪郭内外画像Dを各腫瘤タイプに分類し、分類した腫瘤タイプの分類結果を分類結果記憶手段60に記憶する(S104)。このとき、なるべく多くの症例の医用画像を用いて、単位画素群の濃度パターンの抽出や腫瘤タイプの分類をすることが望ましい。
【0072】
次に、図13のフローチャートに基づいて、注目する候補領域の腫瘤タイプの判定について説明する。まず、陰影判定手段7で、医用画像データSから注目する候補領域を候補領域抽出手段2で抽出し(S110)、輪郭内外画像抽出手段3で抽出した候補領域の輪郭から輪郭内外画像Dを抽出する(S111)。そこで、濃度パターン抽出結果記憶手段40に記憶している濃度パターンが輪郭内外画像Dに出現する出現頻度を濃度パターン毎にカウントし(S112)、得られたヒストグラムをSOMに入力すると分類結果記憶手段60に記憶している腫瘤マップに基づいて、注目する候補領域の属する腫瘤タイプを判定する(S113)。
【0073】
図14は、画像判別装置1を用いて実際に判定を行なった結果を示すもので、左側の質問画像に対し、それに対応して得られたイメージ画像を右側に示す。質問画像の輪郭を得て輪郭内外画像Dを作成し、輪郭内外画像Dに対応するイメージ画像を得ることにより、視覚的に類似した画像が得られることが観察できる。
【0074】
以上の本実施の形態では、候補領域の輪郭周辺に現れる濃度パターンの出現頻度を特徴量として判定する場合について説明したが、輪郭内外画像Dに濃度ヒストグラムに基づく複数の特徴量(分散値、コントラスト、角モーメント等)等他のものを適応してもよい(濃度ヒストグラムに関する特徴量の詳細は、例えば、特許文献2を参照)。
【0075】
以上、詳細に説明したように、候補領域の輪郭周辺に現れる特徴量を調べることにより輪郭の形状や大きさに左右されること無く陰影の候補領域が正常陰影であるか異常陰影であるかの判定や、類似する症例の検出を行うことが可能である。
【0076】
さらに、濃度パターンを調べることにより、人間の視覚で捉えた感覚に近い判定結果を得ることができる。
【0077】
また、上述の画像判別装置の機能を備えたプログラムをCD−ROM等の記録媒体に記録し、コンピュータにインストールして機能させるようにしてもよい。あるいは、ネットワークを介してこのプログラムをダウンロードするようにすることも可能である。
【図面の簡単な説明】
【図1】画像判別装置の概要を示す図
【図2】Snakesの動作原理を示す図
【図3】輪郭と輪郭内外画像Dとの関係を表す図
【図4】輪郭内外画像の変換を説明するための図(その1)
【図5】輪郭内外画像の変換を説明するための図(その2)
【図6】輪郭内外画像の変換を説明するための図(その3)
【図7】輪郭内外画像の変換を説明するための図(その4)
【図8】濃度パターンの抽出結果の一例を表す図
【図9】輪郭内外画像を輪郭辺縁、輪郭内側、輪郭外側の各領域に分けた図
【図10】濃度パターンのヒストグラムの一例を表す図
【図11】腫瘤マップにラベル付けを行なった一例を表す図
【図12】濃度パターンの抽出や腫瘤タイプの分類を説明するためのフローチャート
【図13】注目する腫瘤の腫瘤タイプの判定を説明するためのフローチャート)
【図14】画像判別装置の判定結果を示す図
【符号の説明】
1 画像判別装置
2 候補領域抽出手段
3 輪郭内外画像抽出手段
4 濃淡パターン抽出手段
5 出現頻度算出手段
6 分類手段
7 陰影判定手段
40 濃度パターン抽出結果記憶手段
60 分類結果記憶手段
D 輪郭内外画像
S 医用画像データ

Claims (7)

  1. 医用画像データから所定の陰影の候補領域を抽出する候補領域抽出手段を備えた画像判別装置であって、
    前記候補領域抽出手段で抽出した前記候補領域の輪郭周辺の輪郭内外画像を抽出する輪郭内外画像抽出手段と、
    該輪郭内外画像抽出手段で抽出した輪郭内外画像の特徴量を用いて、前記候補領域の陰影の種類を判定する陰影判定手段とを備えたことを特徴とする画像判別装置。
  2. 前記陰影の種類が、正常陰影、異常陰影、異常陰影のうちの良性陰影、異常陰影のうちの悪性陰影のいずれかであることを特徴とする請求項1記載の画像判別装置。
  3. 前記陰影の種類が、前記陰影に類似する症例の種類であることを特徴とする請求項1記載の画像判別装置。
  4. 前記輪郭内外画像抽出手段が、前記輪郭内外画像を輪郭辺縁、輪郭内側および輪郭外側のいずれか2以上の領域に分けるものであり、
    前記陰影判定手段が、各該領域のうち少なくとも1つの領域の特徴量に基づいて前記陰影の種類を判定するものであることを特徴とする請求項1から3いずれか記載の画像判別装置。
  5. 前記輪郭内外画像抽出手段により抽出した前記輪郭内外画像を構成する単位画素群に基づいて、該単位画素群の画素に出現する濃淡のパターンを抽出する濃淡パターン抽出手段と、
    前記輪郭内外画像の単位画素群がいずれの前記濃淡パターンに類似するかを判定し、前記濃淡パターンが前記輪郭内外画像に出現する出現頻度を前記類似する濃淡パターンにカウントして算出する出現頻度算出手段と、
    前記濃淡パターンの出現頻度に基づいて、前記輪郭内外画像を陰影の種類に応じて分類する分類手段とを有し、
    前記陰影判定手段が、前記輪郭内外画像に前記濃淡パターンが出現する出現頻度を前記出現頻度算出手段で求め、該出現頻度を特徴量として該候補領域が前記分類手段で分類したいずれの前記陰影の種類に属するものであるかを判定するものであることを特徴とする請求項1から4いずれか記載の画像判別装置。
  6. 医用画像データから所定の陰影の候補領域を抽出し、
    該候補領域の輪郭周辺の輪郭内外画像を抽出し、
    該輪郭内外画像の特徴量を用いて、前記候補領域の陰影の種類を判定することを特徴とする画像判別方法。
  7. コンピュータに、
    医用画像データから所定の陰影の候補領域を抽出する手順と、
    該候補領域の輪郭周辺の輪郭内外画像を抽出する手順と、
    該輪郭内外画像の特徴量を用いて、前記候補領域の陰影の種類を判定する手順として実行させるためのプログラム。
JP2003075647A 2003-03-19 2003-03-19 画像判別装置、方法およびプログラム Expired - Fee Related JP4184842B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003075647A JP4184842B2 (ja) 2003-03-19 2003-03-19 画像判別装置、方法およびプログラム
US10/803,895 US7620222B2 (en) 2003-03-19 2004-03-19 Method, apparatus, and program for judging images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003075647A JP4184842B2 (ja) 2003-03-19 2003-03-19 画像判別装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2004283211A true JP2004283211A (ja) 2004-10-14
JP4184842B2 JP4184842B2 (ja) 2008-11-19

Family

ID=32984788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003075647A Expired - Fee Related JP4184842B2 (ja) 2003-03-19 2003-03-19 画像判別装置、方法およびプログラム

Country Status (2)

Country Link
US (1) US7620222B2 (ja)
JP (1) JP4184842B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009540451A (ja) * 2006-06-16 2009-11-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 臨床医駆動の例示ベースのコンピュータ支援診断
WO2015104745A1 (ja) * 2014-01-10 2015-07-16 キヤノン株式会社 処理装置、処理方法、およびプログラム
JP2016016265A (ja) * 2014-07-10 2016-02-01 株式会社東芝 画像処理装置、画像処理方法及び医用画像診断装置

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005334298A (ja) * 2004-05-27 2005-12-08 Fuji Photo Film Co Ltd 異常陰影検出方法および装置並びにプログラム
DE102005036998B4 (de) * 2005-08-05 2014-11-20 Siemens Aktiengesellschaft Vorrichtung zur automatischen Detektion von Auffälligkeiten in medizinischen Bilddaten
WO2007134447A1 (en) * 2006-05-18 2007-11-29 Resonant Medical Inc. Methods and systems for segmentation using boundary reparameterization
US9451928B2 (en) 2006-09-13 2016-09-27 Elekta Ltd. Incorporating internal anatomy in clinical radiotherapy setups
US8244036B2 (en) * 2007-01-24 2012-08-14 Bluebeam Software, Inc. Method for emphasizing differences in graphical appearance between an original document and a modified document with annotations
JP5646128B2 (ja) * 2007-02-28 2014-12-24 株式会社東芝 医用画像検索システム
WO2009012576A1 (en) 2007-07-20 2009-01-29 Resonant Medical Inc. Methods and systems for guiding the acquisition of ultrasound images
US8249317B2 (en) 2007-07-20 2012-08-21 Eleckta Ltd. Methods and systems for compensating for changes in anatomy of radiotherapy patients
US8135198B2 (en) 2007-08-08 2012-03-13 Resonant Medical, Inc. Systems and methods for constructing images
US8189738B2 (en) 2008-06-02 2012-05-29 Elekta Ltd. Methods and systems for guiding clinical radiotherapy setups
US8401260B2 (en) * 2008-09-22 2013-03-19 General Electric Company Systems and methods for analyzing growth of computer detected patterns on digital medical images
US8726324B2 (en) * 2009-03-27 2014-05-13 Motorola Mobility Llc Method for identifying image capture opportunities using a selected expert photo agent
US10542962B2 (en) 2009-07-10 2020-01-28 Elekta, LTD Adaptive radiotherapy treatment using ultrasound
US20110172526A1 (en) * 2010-01-12 2011-07-14 Martin Lachaine Feature Tracking Using Ultrasound
US9248316B2 (en) 2010-01-12 2016-02-02 Elekta Ltd. Feature tracking using ultrasound
CN101794384B (zh) * 2010-03-12 2012-04-18 浙江大学 基于人体轮廓图提取与分组运动图查询的投篮动作识别
JP5505164B2 (ja) * 2010-07-23 2014-05-28 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5526044B2 (ja) * 2011-01-11 2014-06-18 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5830295B2 (ja) * 2011-07-29 2015-12-09 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5825070B2 (ja) * 2011-11-21 2015-12-02 セイコーエプソン株式会社 印刷装置、および印刷方法
JP5879291B2 (ja) * 2013-03-27 2016-03-08 富士フイルム株式会社 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法
JP5946153B2 (ja) * 2014-03-12 2016-07-05 富士フイルム株式会社 画像処理装置、その作動方法およびプログラム
JP5612790B1 (ja) * 2014-03-28 2014-10-22 ユニチカスパークライト株式会社 再帰性反射性材料
US20150286887A1 (en) 2014-04-07 2015-10-08 Massachusetts Institute Of Technology Use of Microparticle Additives to Simultaneously Enable Artifact-Free Image Registration, Auto-Focusing, and Chromatic Aberration Correction in Microscopy
US10282647B2 (en) 2015-05-05 2019-05-07 Massachusetts Institute Of Technology Substrate pre-scanning for high throughput microscopy
US20170164924A1 (en) * 2015-12-15 2017-06-15 Konica Minolta, Inc. Ultrasound image diagnostic apparatus
CN111210441A (zh) * 2020-01-02 2020-05-29 苏州瑞派宁科技有限公司 肿瘤预测方法、装置、云平台及计算机可读存储介质
CN112784923A (zh) * 2021-02-07 2021-05-11 重庆渝抗医药科技有限公司 大数据环境下医疗异常影像的分类方法
KR102320431B1 (ko) * 2021-04-16 2021-11-08 주식회사 휴런 의료 영상 기반 종양 검출 및 진단 장치
US11503224B1 (en) * 2021-11-29 2022-11-15 Unity Technologies Sf Increasing dynamic range of a virtual production display

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0726060B1 (en) * 1995-01-23 2003-09-03 Fuji Photo Film Co., Ltd. Apparatus for computer aided diagnosis
JP3808123B2 (ja) * 1995-10-11 2006-08-09 富士写真フイルム株式会社 異常陰影の検出方法
US6112112A (en) * 1998-09-18 2000-08-29 Arch Development Corporation Method and system for the assessment of tumor extent in magnetic resonance images
JP2002074325A (ja) 2000-08-31 2002-03-15 Fuji Photo Film Co Ltd 異常陰影候補検出方法および装置
JP2002074327A (ja) 2000-08-31 2002-03-15 Fuji Photo Film Co Ltd 異常陰影候補検出システム
US7187789B2 (en) 2000-08-31 2007-03-06 Fuji Photo Film Co., Ltd. Prospective abnormal shadow detecting system, and method of and apparatus for judging whether prospective abnormal shadow is malignant or benignant
US6694046B2 (en) * 2001-03-28 2004-02-17 Arch Development Corporation Automated computerized scheme for distinction between benign and malignant solitary pulmonary nodules on chest images
WO2002093188A2 (en) * 2001-05-17 2002-11-21 Siemens Corporate Research, Inc. A variational approach for the segmentation of the left ventricle in mr cardiac images

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009540451A (ja) * 2006-06-16 2009-11-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 臨床医駆動の例示ベースのコンピュータ支援診断
WO2015104745A1 (ja) * 2014-01-10 2015-07-16 キヤノン株式会社 処理装置、処理方法、およびプログラム
JP2015130972A (ja) * 2014-01-10 2015-07-23 キヤノン株式会社 処理装置、処理方法、およびプログラム
US10102622B2 (en) 2014-01-10 2018-10-16 Canon Kabushiki Kaisha Processing apparatus, processing method, and non-transitory computer-readable storage medium
JP2016016265A (ja) * 2014-07-10 2016-02-01 株式会社東芝 画像処理装置、画像処理方法及び医用画像診断装置

Also Published As

Publication number Publication date
JP4184842B2 (ja) 2008-11-19
US20040184646A1 (en) 2004-09-23
US7620222B2 (en) 2009-11-17

Similar Documents

Publication Publication Date Title
JP4184842B2 (ja) 画像判別装置、方法およびプログラム
Wang et al. Localizing microaneurysms in fundus images through singular spectrum analysis
Kallergi Computer‐aided diagnosis of mammographic microcalcification clusters
CN109635846B (zh) 一种多类医学图像判断方法和系统
Schilham et al. A computer-aided diagnosis system for detection of lung nodules in chest radiographs with an evaluation on a public database
AU2005207310B2 (en) System and method for filtering a medical image
US6246782B1 (en) System for automated detection of cancerous masses in mammograms
JP6077993B2 (ja) 画像の異形を識別するための画像データの処理方法、システムおよびプログラム
Al-Shamlan et al. Feature extraction values for breast cancer mammography images
JPH10503961A (ja) 医療画像において腫瘤や実質組織変形をコンピュータを用いて検出する自動化した方法と装置
Zhao et al. Down syndrome detection from facial photographs using machine learning techniques
JP2006034585A (ja) 画像表示装置、画像表示方法およびそのプログラム
KR20180082817A (ko) 다중 파라메터 자기공명영상에서 전립선 주변부 영역의 전립선암 자동 검출 및 국소화 방법
Kim et al. Breast mass classification using eLFA algorithm based on CRNN deep learning model
Zhang et al. Comparison of multiple feature extractors on Faster RCNN for breast tumor detection
Abdel-Nasser et al. Automatic nipple detection in breast thermograms
CN113643279A (zh) 基于ct影像的肺结节检测设备、装置及存储介质
JP2005034211A (ja) 画像判別装置、方法およびプログラム
JP5106047B2 (ja) 画像処理方法及び装置
JP2004195080A (ja) 異常陰影検出装置
KR20210050790A (ko) 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 장치 및 방법
JP2004187998A (ja) 異常陰影形状抽出装置
US7430308B1 (en) Computer aided diagnosis of mammographic microcalcification clusters
Cao et al. Deep learning based lesion detection for mammograms
Zewei et al. An interactive method based on the live wire for segmentation of the breast in mammography images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050209

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080902

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080904

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110912

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4184842

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120912

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130912

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees