JP2008077677A - 有糸分裂活性の測定 - Google Patents
有糸分裂活性の測定 Download PDFInfo
- Publication number
- JP2008077677A JP2008077677A JP2007295170A JP2007295170A JP2008077677A JP 2008077677 A JP2008077677 A JP 2008077677A JP 2007295170 A JP2007295170 A JP 2007295170A JP 2007295170 A JP2007295170 A JP 2007295170A JP 2008077677 A JP2008077677 A JP 2008077677A
- Authority
- JP
- Japan
- Prior art keywords
- image
- threshold
- area
- mitotic
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000394 mitotic effect Effects 0.000 title claims abstract description 138
- 238000005259 measurement Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 108
- 230000008569 process Effects 0.000 claims description 42
- 230000011278 mitosis Effects 0.000 claims description 33
- 238000000513 principal component analysis Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 8
- 239000003086 colorant Substances 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 4
- 238000007621 cluster analysis Methods 0.000 claims description 4
- 230000017074 necrotic cell death Effects 0.000 claims 2
- 238000003745 diagnosis Methods 0.000 abstract description 6
- 235000019557 luminance Nutrition 0.000 abstract 1
- 238000002560 therapeutic procedure Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 23
- 230000000875 corresponding effect Effects 0.000 description 20
- 238000001514 detection method Methods 0.000 description 10
- 238000009940 knitting Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 9
- 230000009471 action Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000000717 retained effect Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 206010006187 Breast cancer Diseases 0.000 description 4
- 208000026310 Breast neoplasm Diseases 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 4
- 230000001338 necrotic effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 230000032823 cell division Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 238000010827 pathological analysis Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010008342 Cervix carcinoma Diseases 0.000 description 1
- 206010009944 Colon cancer Diseases 0.000 description 1
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 108091092356 cellular DNA Proteins 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 201000010881 cervical cancer Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 208000029742 colonic neoplasm Diseases 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 102000054765 polymorphisms of proteins Human genes 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000005239 tubule Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
- G01N15/1433—Signal processing using image recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Saccharide Compounds (AREA)
- Polysaccharides And Polysaccharide Derivatives (AREA)
Abstract
【解決手段】組織病理検体画像から有糸分裂活性を測定する方法は、最初に、有糸分裂像に対応する輝度を有する画像画素を識別し、それから、基準色を与える基準画素を選択する。有糸分裂活性を測定する代替的な方法は、画像領域のプロファイルを測定し、そのプロファイルが有糸分裂像に関連づけられる強度における閾値を上回っている場合は、有糸分裂像に対応するものとして画像領域をカウントする。プロファイルが先の基準を満たさないが、それぞれの閾値の基準を満たす他の3つの値を有する場合も、有糸分裂像が示される。
【選択図】図1
Description
a)有糸分裂像に関連づけられる輝度を有する画像データにおける画素を識別する工程と、
b)基準色を提供するために、位置および輝度が他の識別された画素と十分に近い基準画素を、識別された画素の中から選択する工程と、
c)可能性がある有糸分裂を示すために、輝度が基準色の輝度と十分に近い画像データにおける画素を位置特定する工程と、
d)画素をそれに追加することによって、位置特定された画素からの可能性がある有糸分裂像に対応する画像領域を増加させる工程であって、画像領域に対する可能性がある増加は、それら画素の輝度がそれぞれの画像領域輝度に十分に近く、かつ画像データ背景輝度から十分に遠いか否かに応じて実施または拒絶される、画像領域を増加させる工程と、
e)画像領域面積に関する閾値、緻密度に関する閾値、および幅/高さ比に関する閾値に基づいて、成長画像領域を選択する工程と、
f)当該領域の数の閾値に基づいて、有糸分裂像を実際に示すものとして選択され成長画像領域をカウントする工程とを有することを特徴とする方法を提供する。
a)有糸分裂像の画像に関連づけられる強度が欠如した画素を除去するために、色画像データの閾値を定め、
b)すべての色に存在しない画素を除去し、かつ
c)小さすぎたり、大きすぎたりするため可能性がある有糸分裂像にならない画素を除去するために、画像領域面積の閾値を定めることによって、有糸分裂像を示すことに関しての受け入れまたは拒絶のために編成されうる。
a)有糸分裂像の画像に関連づけられる強度を有する画素を識別するために分割し、
b)小さすぎたり、大きすぎたりするため可能性がある有糸分裂像にならない画素を除去するために画像領域面積の閾値を定め、
c)画素の画像領域が十分に大きいクラスタであるか否かを判断するためにクラスタ解析を行い、かつ
d)壊死性またはヘアリ(hairy)エッジフィルタリングを行うことによって、
有糸分裂像を示すことに関しての受け入れまたは拒絶のために編成されうる。
a)可能性がある有糸分裂像に対応する画像領域の強度プロファイルを測定する工程と、
b)その強度プロファイルが、有糸分裂像の画像に関連づけられる強度を有する強度プロファイル内の位置における予め設定された閾値より大きい値を有する場合に、有糸分裂像を示すものとして画像領域をカウントする工程とを有することを特徴とする方法を提供する。
a)画像データを重複する副画像に分解し、
b)PCAを副画像に適用して、第1の主成分画像を導き、
c)ブロブ(blob)および背景の2値画像を生成するために、第1の主成分画像の閾値を定め、
d)副画像境界に隣接または交差するブロブを拒絶し、
e)ブロブの穴を満たし、
f)小さすぎて可能性がある有糸分裂像に対応しないブロブを拒絶し、かつ
g)工程a)で先述した画像領域プロファイル測定のために、副画像を単一画像に再編成することによって、画像データを前処理することを含むことができる。
a)有糸分裂像の画像に関連づけられる強度が欠如した画素を除去するために、色画像データの閾値を定め、
b)すべての色に存在しない画素を除去し、かつ
c)小さすぎたり、大きすぎたりするため可能性がある有糸分裂像にならない画素を除去するために、画像領域面積の閾値を定めることによって、有糸分裂像を示すことに関しての受け入れまたは拒絶のために編成されうる。
a)有糸分裂像の画像に関連づけられる強度を有する画素を識別するために分割し、
b)小さすぎたり、大きすぎたりするため可能性がある有糸分裂像にならない画素を除去するために画像領域面積の閾値を定め、
c)画素の画像領域が十分に大きいクラスタであるか否かを判断するためにクラスタ解析を行い、かつ
d)壊死性またはヘアリエッジフィルタリングを行うことによって、有糸分裂像を示すことに関しての受け入れまたは拒絶のために編成されうる。
a)有糸分裂像に関連づけられる輝度を有する画像データにおける画素を識別する工程と、
b)基準色を提供するために、位置および輝度が他の識別された画素と十分に近い基準画素を、識別された画素の中から選択する工程と、
c)可能性がある有糸分裂を示すために、輝度が基準色の輝度と十分に近い画像データにおける画素を位置特定する工程と、
d)画素をそれに追加することによって、位置特定された画素からの可能性がある有糸分裂像に対応する画像領域を増加させる工程であって、画像領域に対する可能性がある増加は、それら画素の輝度がそれぞれの画像領域輝度に十分に近く、かつ画像データ背景輝度から十分に遠いか否かに応じて、実施または拒絶される、画像領域を増加させる工程と、
e)画像領域面積に関する閾値、緻密度に関する閾値、および幅/高さ比に関する閾値に基づいて、成長画像領域を選択する工程と、
f)当該領域の数に関する閾値に基づいて、有糸分裂像を実際に示すものとして選択された画像領域をカウントする工程とを、実行するようにプログラムされることを特徴とするコンピュータ装置を提供する。
a)可能性がある有糸分裂像に対応する画像領域の強度プロファイルを測定する工程と、
b)その強度プロファイルが、有糸分裂像の画像に関連づけられる強度を有する強度プロファイル内の位置における予め設定された閾値より大きい値を有する場合に、有糸分裂像を示すものとして画像領域をカウントする工程とを、実行するようにプログラムされることを特徴とするコンピュータ装置を提供する。
a)有糸分裂像に関連づけられる輝度を有する画像データにおける画素を識別する工程と、
b)基準色を提供するために、位置および輝度が他の識別された画素と十分に近い基準画素を、識別された画素の中から選択する工程と、
c)可能性がある有糸分裂を示すために、輝度が基準色の輝度と十分に近い画像データにおける画素を位置特定する工程と、
d)画素をそれに追加することによって、位置特定された画素からの可能性がある有糸分裂像に対応する画像領域を増加させる工程であって、画像領域に対する可能性のある増加は、それら画素の輝度がそれぞれの画像領域輝度に十分に近く、かつ画像データ背景輝度から十分に遠いか否かに応じて、実施または拒絶される、画像領域を増加させる工程と、
e)画像領域面積に関する閾値、緻密度に関する閾値、および幅/高さ比に関する閾値に基づいて、成長画像領域を選択する工程と、
f)当該領域の数に関する閾値に基づいて、有糸分裂像を実際に示すものとして選択された成長画像領域をカウントする工程とを、実施するようにコンピュータを制御するための命令を含むことを特徴とするコンピュータプログラムを提供する。
a)可能性がある有糸分裂像に対応する画像領域の強度プロファイルを測定する工程と、
b)その強度プロファイルが、有糸分裂像の画像に関連づけられる強度を有する強度プロファイル内の位置における予め設定された閾値より大きい値を有する場合に、有糸分裂像を示すものとして画像領域をカウントする工程とを、実施させることを特徴とするコンピュータプログラムを提供する。
Li=0.299×Ri+0.587×Gi+0.114×Bi (8)
RatioR=(255/LumMaxR)×1.05 (9)
RatioG=(255/LumMaxG)×1.05 (10)
RatioB=(255/LumMaxB)×1.05 (11)
BalancedRi=Ri×RatioR (12)
BalancedGi=Gi×RatioG (13)
BalancedBi=Bi×RatioB (14)
Li=0.2999×Ri+0.587×Gi+0.114×Bi (15)
|(0.299×Ri+0.587×Gi+0.114×Bi)−(Lpicked colour)|<20 (16)
マスク画像画素が受け入れられ、同位置にある対応する「成長」の画素が0である場合は、
「成長」の画素を真(1)に設定する。
「成長」の画素の位置を「アクションリスト」という名称のリストに入力する。
アクションリストが空でなければ、
最後に追加された画素をアクションリストから除去するが、画像位置をメモリに保持し、それを「除去された画素」と呼ぶ。
除去された画素の最も近い画素である4つの「成長」の画素、すなわち、対角線上の近隣画素ではなく、同じ列または行のみで除去された画素と隣り合う画素を選択する。
まだマスク画像画素と比較されていない最も近い近隣画素の1つを選択する。
以下の3つの基準、すなわち(a)マスク画像画素と選択された最も近い近隣画素の輝度の差がLT未満であること、(b)マスク画像画素と背景色の輝度の差がLTより大きいこと、および(c)マスク画像画素と白色画素の輝度の差がLTより大きいことが満たされる場合は(または満たされる場合のみ)、
選択された最も近い近隣画素と同じ位置に配置された「成長」の画素を偽(0)から真(1)に変更し、選択された最も近い近隣画素の位置をアクションリストに追加する。
基準(a)、(b)および(c)のいずれか1つ以上が満たされない場合は、該当する成長の「画素」を変化させず、その位置をアクションリストに追加しない。
まだマスク画像画素と比較されていない次の最も近い近隣画素についても繰り返す。
アクションリストへの次のエントリについても繰り返す。
他のすべてのマスク画像画素についても繰り返す。
面積A(ブロブにおける画素数)
周長P(ブロブの境界上の画素数)
緻密度(4πA/P2)
幅(ブロブを横切る行における最大画素数)
高さ(ブロブを下がる列における最大画素数)
幅/高さ比
輝度百分率:ブロブの画素と同じ位置に配置された中央値フィルタリングされた画像画素を使用して、最も暗い中央値フィルタリングされた画像画素の輝度を、背景色の輝度で割った結果に100をかけることによって測定値を計算する
摂動差(perturbed difference)(それぞれ予め設定された増分および減分によって摂動された、LTに対応する閾値を用いて得られた成長ブロブサイズ間の差)
色相差(平均色相と入力画像からの背景色相との差の絶対値)。
本例では摂動係数PF(PF=4)を加えることによって閾値LTを調整し、
成長プロセス68を適用して、より大きい新たなブロブを得て、
摂動係数PFを減算することによって閾値LTを調整し、かつ
成長プロセス68を適用して、より小さい新たなブロブを得る。
M=(R、G、B)の最大値 (17)
m=(R、G、B)の最小値 (18)
このとき
newr=(M−R)/(M−m) (19)
newg=(M−G)/(M−m) (20)
newb=(M−B)/(M−m) (21)
RがMに等しい場合は、H=60(newb−newg) (22)
GがMに等しい場合は、H=60(2+newr−newb) (23)
BがMに等しい場合は、H=60(4+newg−newr) (24)
Hが360以上の場合は、H=H−360 (25)
Hが0未満の場合は、H=H+360 (26)
最大ブロブの面積を取得し、
中央値ブロブの面積を取得し、
最大ブロブの面積が、中央値ブロブ面積のBパーセントより大きい場合は、
最も暗いDパーセントのブロブの輝度を取得し、Dパーセントの位置にブロブが存在しない場合は、より暗く、かつ輝度リストにおける概念的なDパーセントのブロブの位置に最も近いブロブの輝度をとる。
最大のCブロブの各々に対して、
ブロブ輝度が、最も暗いDパーセントのブロブ以下である場合は、
検知された有糸分裂像であるとしてそのブロブを受け入れ、
有糸分裂像のカウントを1だけ増加させ、
未評価のブロブがなくなるまで最大のCのブロブの残りについて繰り返し、有糸分裂像のカウントを出力する。
最大のFパーセントのブロブの面積を取得し、Fパーセントの位置にブロブが存在しない場合は、面積リストにおける概念的なFパーセントのブロブの位置に(面積が)最も近いブロブの面積をとる。
最も暗いEのブロブの各々に対して、
ブロブ面積が、最大のFパーセントのブロブの面積以下である場合は、
検知された有糸分裂像であるとしてそのブロブを受け入れ、
(最初は0である)有糸分裂像のカウントを1だけ増加させ、
未評価のブロブがなくなるまで最大のEのブロブの残りについて繰り返し、有糸分裂像のカウントを出力する。
現在の細胞は有糸分裂細胞である。
それ以外の場合、すなわちビン(1)≦7.6である場合は、
ビン(2)>25.5、びん(4)>0、かつ最小プロフィル<0.15であれば、
現在の細胞は有糸分裂細胞であり、
それ以外の場合、ビン(2)≦25.5、かつ/またはビン(4)≦0、かつ/または最小プロフィル≧0.15であれば、
現在の細胞は有糸分裂細胞ではない。
Claims (34)
- 組織病理検体画像データから有糸分裂活性を測定する方法であって、
a)有糸分裂像に関連づけられる輝度を有する画像データにおける画素を識別する工程と、
b)基準色を提供するために、位置および輝度が他の識別された画素と十分に近い基準画素を、識別された画素の中から選択する工程と、
c)可能性がある有糸分裂を示すために、輝度が基準色の輝度と十分に近い画像データにおける画素を位置特定する工程と、
d)画素を追加することによって、位置特定された画素からの可能性がある有糸分裂像に対応する画像領域を増加させる工程であって、画像領域に対する可能性がある増加は、前記画素の輝度がそれぞれの画像領域輝度に十分に近く、かつ画像データ背景輝度から十分に遠いか否かに応じて実施または拒絶される、画像領域を増加させる工程と、
e)画像領域面積に関する閾値、緻密度に関する閾値、および幅/高さ比に関する閾値に基づいて、成長画像領域を選択する工程と、
f)当該領域の数に関する閾値に基づいて、有糸分裂像を実際に示すものとして選択された成長画像領域をカウントする工程とを有することを特徴とする方法。 - 成長画像領域を選択する工程が、背景輝度に対する画像領域輝度の比に関する閾値、および複数の閾値を用いて各画像領域を成長させることによって導かれた面積間の面積差に関する閾値も含むことを特徴とする、請求項1に記載の方法。
- 画像領域面積に関する閾値が、355画素<面積<1700画素であり、緻密度に関する閾値が、0.17<緻密度<0.77であり、幅/高さ比に関する閾値が、幅/高さ比<2.7であり、輝度に関する閾値が、輝度百分率<44%であり、かつ面積差に関する閾値が、面積差<23面積/100であることを特徴とする、請求項2に記載の方法。
- 有糸分裂像を実際に示すものとして選択された成長画像領域をカウントする工程が、領域面積に関する閾値および輝度に関する閾値も含むことを特徴とする、請求項1に記載の方法。
- 画像領域に対する連続的な可能性がある増加が、個別の画素であり、該個別の各画素が、既存の画像領域画素の行または列の直接隣接する画素であることを特徴とする、請求項1に記載の方法。
- 工程b)が、2つの画像寸法の小さい方の2%以下の距離だけ離れた他の識別された画素に比べて、8%未満の輝度差の輝度を有する基準画素によって実施されることを特徴とする、請求項1に記載の方法。
- 工程a)が、有糸分裂像に対応する輝度を有する画素を識別するのに先だって、画像データの白バランシングを行うことおよび中央値フィルタリングを行うことを含むことを特徴とする、請求項1に記載の方法。
- 工程c)において、画素が、
a)有糸分裂像の画像に関連づけられる強度が欠如した画素を除去するために、色画像データの閾値を定め、
b)すべての色に存在しない画素を除去し、かつ
c)小さすぎたり、大きすぎたりするため可能性がある有糸分裂像にならない画素を除去するために画像領域面積の閾値を定めることによって、有糸分裂像を示すことに関しての受け入れまたは拒絶のために編成されることを特徴とする、請求項1に記載の方法。 - 工程c)において、画素が、
a)有糸分裂像の画像に関連づけられる強度を有する画素を識別するために分割し、
b)小さすぎたり、大きすぎたりするため可能性がある有糸分裂像にならない画素を除去するために画像領域面積の閾値を定め、
c)画素の画像領域が十分に大きいクラスタであるか否かを判断するためにクラスタ解析を行い、かつ
d)壊死性およびヘアリエッジフィルタリングを行うことによって、有糸分裂像を示すことに関しての受け入れまたは拒絶のために編成されることを特徴とする、請求項1に記載の方法。 - 組織病理検体画像データから有糸分裂活性を測定する方法であって、
a)可能性がある有糸分裂像に対応する画像領域の強度プロファイルを測定する工程と、
b)強度プロファイルが、有糸分裂像の画像に関連づけられる強度を有する強度プロファイル内の位置における予め設定された閾値より大きい値を有する場合に、有糸分裂像を示すものとして画像領域をカウントする工程とを有することを特徴とする方法。 - 強度プロファイルが、有糸分裂像の画像に関連づけられる強度を有する強度プロファイル内の位置における予め設定された閾値を超えない第1の値と、予め設定された第2の閾値より大きい第2の値と、予め設定された第3の閾値より大きい第3の値と、予め設定された第4の閾値より小さい最小値とを有する場合に、有糸分裂像を示すものとして画像領域をカウントすることを含むことを特徴とする、請求項10に記載の方法。
- 第1の値が、強度プロファイルの一端にあり、第1および第2の値が、強度プロファイル内で互いに隣接し、第3の値が、第2の値と隣接していないことを特徴とする、請求項11に記載の方法。
- 画像データが、着色画像データの主成分解析(PCA)によって得られた第1の主成分を含むことを特徴とする、請求項11に記載の方法。
- 工程a)が、
a)画像データを重複する副画像に分解し、
b)PCAを副画像に適用して、第1の主成分画像を導き、
c)ブロブおよび背景の2値画像を生成するために第1の主成分画像の閾値を定め、
d)副画像境界に隣接または交差するブロブを拒絶し、
e)ブロブの穴を満たし、
f)小さすぎて可能性がある有糸分裂像に対応しないブロブを拒絶し、かつ
g)工程a)で先述した画像領域のプロファイル測定のために、副画像を単一画像に再構成することによって、画像データを前処理することを含むことを特徴とする、請求項11に記載の方法。 - 工程g)の後に、画素が、
a)有糸分裂像の画像に関連づけられる強度が欠如した画素を除去するために色画像データの閾値を定め、
b)すべての色に存在しない画素を除去し、かつ
c)小さすぎたり、大きすぎたりするため可能性がある有糸分裂像にならない画素を除去するために画像領域面積の閾値を定めることによって、有糸分裂像を示すことに関しての受け入れまたは拒絶のために編成されることを特徴とする、請求項14に記載の方法。 - 工程g)の後に、画素が、
a)有糸分裂像の画像に関連づけられる強度を有する画素を識別するために分割し、
b)小さすぎたり、大きすぎたりするため可能性がある有糸分裂像にならない画素を除去するために画像領域面積の閾値を定め、
c)画素の画像領域が十分に大きいクラスタであるか否かを判断するためにクラスタ解析を行い、かつ
d)壊死性およびヘアリエッジフィルタリングを行うことによって、有糸分裂像を示すことに関しての受け入れまたは拒絶のために編成されることを特徴とする、請求項14に記載の方法。 - 組織病理検体画像データから有糸分裂活性を測定するためのコンピュータ装置であって、
a)有糸分裂像に関連づけられる輝度を有する画像データにおける画素を識別する工程と、
b)基準色を提供するために、位置および輝度が他の識別された画素と十分に近い基準画素を、識別された画素の中から選択する工程と、
c)可能性がある有糸分裂を示すために、輝度が基準色の輝度と十分に近い画像データにおける画素を位置特定する工程と、
d)画素を追加することによって、位置特定された画素からの可能性がある有糸分裂像に対応する画像領域を増加させる工程であって、画像領域に対する可能性がある増加が、前記画素の輝度がそれぞれの画像領域輝度に十分に近く、かつ画像データ背景輝度から十分に遠いか否かに応じて実施または拒絶される、画像領域を増加させる工程と、
e)画像領域面積に関する閾値、緻密度に関する閾値、および幅/高さ比に関する閾値に基づいて、成長画像領域を選択する工程と、
f)当該領域の数に関する閾値に基づいて、有糸分裂像を実際に示すものとして選択された成長画像領域をカウントする工程とを、実行するようにプログラムされることを特徴とするコンピュータ装置。 - 背景輝度に対する画像領域輝度の比に関する閾値、および複数の閾値を用いて各画像領域を成長させることによって導かれた面積間の面積差に関する閾値も用いることによって、成長画像領域を選択する工程を実行するようにプログラムされることを特徴とする、請求項17に記載の装置。
- 画像領域面積に関する閾値が、355画素<面積<1700画素であり、緻密度に関する閾値が、0.17<緻密度<0.77であり、幅/高さ比に関する閾値が、幅/高さ比<2.7であり、輝度に関する閾値が、幅/高さ比<2.7であり、かつ面積差に関する閾値が、面積差<23面積/100であることを特徴とする、請求項18に記載の装置。
- 領域面積に関する閾値および輝度に関する閾値も用いることによって、選択された成長画像領域を実際に示すものとして有糸分裂像をカウントする工程を実行するようにプログラムされることを特徴とする、請求項17に記載の装置。
- 画像領域に対する連続的な可能性がある増加が、個別の画素であり、該個別の各画素が、既存の画像領域画素の行または列の直接隣接する画素であることを特徴とする、請求項17に記載の装置。
- 2つの画像寸法の小さい方の2%以下の距離だけ離れた他の識別された画素に比べて、8%未満の輝度差の輝度を有する基準画素によって、工程b)を実行するようにプログラムされることを特徴とする、請求項17に記載の装置。
- 組織病理検体画像データから有糸分裂活性を測定するためのコンピュータ装置であって、
a)可能性がある有糸分裂像に対応する画像領域の強度プロファイルを測定する工程と、
b)強度プロファイルが、有糸分裂像の画像に関連づけられる強度を有する強度プロファイル内の位置における予め設定された閾値より大きい値を有する場合に、有糸分裂像を示すものとして画像領域をカウントする工程とを、実行するようにプログラムされることを特徴とする装置。 - 強度プロファイルが、有糸分裂像の画像に関連づけられる強度を有する強度プロファイル内の位置における予め設定された閾値を超えない第1の値と、予め設定された第2の閾値より大きい第2の値と、予め設定された第3の閾値より大きい第3の値と、予め設定された第4の閾値より小さい最小値とを有する場合に、有糸分裂像を示すものとして画像領域をカウントするようにプログラムされることを特徴とする、請求項23に記載の装置。
- 第1の値が、強度プロファイルの一端にあり、第1および第2の値は、強度プロファイル内で互いに隣接し、第3の値は、第2の値と隣接していないことを特徴とする、請求項24に記載の装置。
- 画像データが、着色画像データの主成分解析(PCA)によって得られた第1の主成分を含むことを特徴とする、請求項24に記載の装置。
- 組織病理検体画像データから有糸分裂活性を測定するのに使用されるコンピュータプログラムであって、
a)有糸分裂像に関連づけられる輝度を有する画像データにおける画素を識別する工程と、
b)基準色を提供するために、位置および輝度が他の識別された画素と十分に近い基準画素を、識別された画素の中から選択する工程と、
c)可能性がある有糸分裂を示すために、輝度が基準色の輝度と十分に近い画像データにおける画素を位置特定する工程と、
d)画素を追加することによって、位置特定された画素からの可能性がある有糸分裂像に対応する画像領域を増加させる工程であって、画像領域に対する可能性がある増加が、前記画素の輝度がそれぞれの画像領域輝度に十分に近く、かつ画像データ背景輝度から十分に遠いか否かに応じて実施または拒絶される、画像領域を増加させる工程と、
e)画像領域面積に関する閾値、緻密度に関する閾値、および幅/高さ比に関する閾値に基づいて、成長画像領域を選択する工程と、
f)当該領域の数に関する閾値に基づいて、有糸分裂像を実際に示すものとして選択された成長画像領域をカウントする工程とを、実施するようにコンピュータを制御するための命令を含むことを特徴とするコンピュータプログラム。 - 命令が、背景輝度に対する画像領域輝度の比に関する閾値、および複数の閾値を用いて各画像領域を成長させることによって導かれた面積間の面積差に関する閾値も用いることによって、成長画像領域を選択する工程を実施させることを特徴とする、請求項27に記載のコンピュータプログラム。
- 画像領域面積に関する閾値が、355画素<面積<1700画素であり、緻密度に関する閾値が、0.17<緻密度<0.77であり、幅/高さ比に関する閾値が、0.17<緻密度<0.77であり、輝度に関する閾値が、輝度百分率<44%であり、かつ面積差に関する閾値が、面積差<23面積/100であることを特徴とする、請求項28に記載のコンピュータプログラム。
- 命令が、領域面積および輝度に関する閾値も用いて、有糸分裂像を実際に示すものとして選択された成長画像領域をカウントする工程を実施させることを特徴とする、請求項27に記載のコンピュータプログラム。
- 組織病理検体画像データから有糸分裂活性を測定するのに使用されるコンピュータプログラムであって、命令が、
a)可能性がある有糸分裂像に対応する画像領域の強度プロファイルを測定する工程と、
b)強度プロファイルが、有糸分裂像の画像に関連づけられる強度を有する強度プロファイル内の位置における予め設定された閾値より大きい値を有する場合に、有糸分裂像を示すものとして画像領域をカウントする工程とを、実施させることを特徴とするコンピュータプログラム。 - 命令は、強度プロファイルが、有糸分裂像の関連に対応づけられる強度を有する強度プロファイル内の位置における予め設定された閾値を超えない第1の値と、予め設定された第2の閾値より大きい第2の値と、予め設定された第3の閾値より大きい第3の値と、予め設定された第4の閾値より小さい最小値とを有する場合に、有糸分裂像を示すものとして画像領域をカウントさせることを特徴とする、請求項31に記載のコンピュータプログラム。
- 第1の値は、強度プロファイルの一端にあり、第1および第2の値は、強度プロファイル内で互いに隣接し、第3の値は、第2の値と隣接していないことを特徴とする、請求項32に記載のコンピュータプログラム。
- 命令が、
a)画像データを重複する副画像に分解し、
b)PCAを副画像に適用して、第1の主成分画像を導き、
c)ブロブおよび背景の2値画像を生成するために第1の主成分画像の閾値を定め、
d)副画像境界に隣接または交差するブロブを拒絶し、
e)ブロブの穴を満たし、
f)小さすぎて可能性がある有糸分裂像に対応しないブロブを拒絶し、かつ
g)工程a)で先述した画像領域プロファイル測定のために、副画像を単一画像に再編成することによって、画像データを前処理することを工程a)に含めることを特徴とする請求項32に記載のコンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB0226787.0 | 2002-11-18 | ||
GBGB0226787.0A GB0226787D0 (en) | 2002-11-18 | 2002-11-18 | Measurement of mitotic activity |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004552855A Division JP4174050B2 (ja) | 2002-11-18 | 2003-11-13 | 有糸分裂活性の測定 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2008077677A true JP2008077677A (ja) | 2008-04-03 |
JP2008077677A5 JP2008077677A5 (ja) | 2009-01-08 |
JP4864857B2 JP4864857B2 (ja) | 2012-02-01 |
Family
ID=9947976
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004552855A Expired - Fee Related JP4174050B2 (ja) | 2002-11-18 | 2003-11-13 | 有糸分裂活性の測定 |
JP2007295170A Expired - Fee Related JP4864857B2 (ja) | 2002-11-18 | 2007-11-14 | 有糸分裂活性の測定 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004552855A Expired - Fee Related JP4174050B2 (ja) | 2002-11-18 | 2003-11-13 | 有糸分裂活性の測定 |
Country Status (8)
Country | Link |
---|---|
US (1) | US7577280B2 (ja) |
EP (2) | EP1760634B1 (ja) |
JP (2) | JP4174050B2 (ja) |
AT (2) | ATE347718T1 (ja) |
AU (1) | AU2003302054A1 (ja) |
DE (2) | DE60329792D1 (ja) |
GB (1) | GB0226787D0 (ja) |
WO (1) | WO2004047004A2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019510223A (ja) * | 2016-03-18 | 2019-04-11 | ライブニッツ−インスティトゥート ヒュア フォトニッシェ テクノロジエン エーファオ | 概観画像をセグメント化することにより分散オブジェクトを検査するための方法 |
WO2022101983A1 (ja) | 2020-11-10 | 2022-05-19 | 株式会社パーキンエルマージャパン | 検体の分類方法 |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7333656B2 (en) * | 2003-11-26 | 2008-02-19 | Matsushita Electric Industrial Co., Ltd. | Image processing method and image processing apparatus |
US7689038B2 (en) * | 2005-01-10 | 2010-03-30 | Cytyc Corporation | Method for improved image segmentation |
US7536064B2 (en) * | 2005-05-31 | 2009-05-19 | Microsoft Corporation | Image comparison by metric embeddings |
GB2430026A (en) | 2005-09-09 | 2007-03-14 | Qinetiq Ltd | Automated selection of image regions |
JP4921858B2 (ja) * | 2006-06-07 | 2012-04-25 | オリンパス株式会社 | 画像処理装置および画像処理プログラム |
TWI314424B (en) * | 2006-06-23 | 2009-09-01 | Marketech Int Corp | System and method for image signal contrast adjustment and overflow compensation |
JP4944641B2 (ja) * | 2007-03-05 | 2012-06-06 | 学校法人順天堂 | 染色組織標本の陽性細胞の自動検出法 |
US8379961B2 (en) * | 2008-07-03 | 2013-02-19 | Nec Laboratories America, Inc. | Mitotic figure detector and counter system and method for detecting and counting mitotic figures |
WO2010040371A1 (en) * | 2008-10-07 | 2010-04-15 | Bio Explorer B.V. | Device and method for automatically analyzing micro organisms in a sample |
JP5535727B2 (ja) * | 2010-04-01 | 2014-07-02 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
CN101866484B (zh) * | 2010-06-08 | 2012-07-04 | 华中科技大学 | 一种图像中像素显著程度的计算方法 |
JP5140206B2 (ja) * | 2010-10-12 | 2013-02-06 | パナソニック株式会社 | 色信号処理装置 |
US8351676B2 (en) * | 2010-10-12 | 2013-01-08 | Sony Corporation | Digital image analysis using multi-step analysis |
JP5670695B2 (ja) * | 2010-10-18 | 2015-02-18 | ソニー株式会社 | 情報処理装置及び方法、並びにプログラム |
US9196047B2 (en) * | 2010-11-08 | 2015-11-24 | Manipal Institute Of Technology | Automated tuberculosis screening |
KR20120102447A (ko) * | 2011-03-08 | 2012-09-18 | 삼성전자주식회사 | 진단장치 및 방법 |
US10186236B2 (en) * | 2013-05-23 | 2019-01-22 | Intel Corporation | Universal codec |
JP6460644B2 (ja) * | 2013-05-30 | 2019-01-30 | キヤノン株式会社 | 分光画像データ処理装置および2次元分光装置 |
MA41117A (fr) | 2014-12-05 | 2017-10-10 | Myfiziq Ltd | Imagerie d'un corps |
US10152630B2 (en) * | 2016-08-09 | 2018-12-11 | Qualcomm Incorporated | Methods and systems of performing blob filtering in video analytics |
CN108570109B (zh) * | 2017-03-14 | 2022-04-26 | 广东东阳光药业有限公司 | 包含免疫球蛋白Fc部分的双靶点融合蛋白 |
CN112347823B (zh) * | 2019-08-09 | 2024-05-03 | 中国石油天然气股份有限公司 | 沉积相边界识别方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0993445A (ja) * | 1995-09-20 | 1997-04-04 | Fuji Xerox Co Ltd | 画像処理装置 |
WO2001039123A1 (en) * | 1999-11-24 | 2001-05-31 | Confirma | Dynamic thresholding of segmented data sets and display of similarity values in a similarity image |
JP2001243469A (ja) * | 2000-03-01 | 2001-09-07 | Toden Software Inc | 太線の抽出方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5235522A (en) * | 1990-10-10 | 1993-08-10 | Cell Analysis Systems, Inc. | Method and apparatus for automated analysis of biological specimens |
IL101522A (en) | 1992-04-08 | 1997-09-30 | Combact Imaging Systems Ltd | Detection of microorganisms in a sample and determination of the sensitivity of microorganisms to antibiotics |
US6215892B1 (en) * | 1995-11-30 | 2001-04-10 | Chromavision Medical Systems, Inc. | Method and apparatus for automated image analysis of biological specimens |
US6261760B1 (en) * | 1998-03-09 | 2001-07-17 | The Regents Of The University Of California | Regulation of the cell cycle by sterols |
US6876760B1 (en) | 2000-12-04 | 2005-04-05 | Cytokinetics, Inc. | Classifying cells based on information contained in cell images |
US7176293B1 (en) * | 1999-07-29 | 2007-02-13 | The Wistar Institute Of Anatomy And Biology | Compositions and methods to enhance sensitivity of cancer cells to mitotic stress |
US7016787B2 (en) * | 2001-02-20 | 2006-03-21 | Cytokinetics, Inc. | Characterizing biological stimuli by response curves |
-
2002
- 2002-11-18 GB GBGB0226787.0A patent/GB0226787D0/en not_active Ceased
-
2003
- 2003-11-13 DE DE60329792T patent/DE60329792D1/de not_active Expired - Lifetime
- 2003-11-13 US US10/535,140 patent/US7577280B2/en active Active
- 2003-11-13 AU AU2003302054A patent/AU2003302054A1/en not_active Abandoned
- 2003-11-13 AT AT03811421T patent/ATE347718T1/de not_active IP Right Cessation
- 2003-11-13 EP EP06024926A patent/EP1760634B1/en not_active Expired - Lifetime
- 2003-11-13 WO PCT/GB2003/004916 patent/WO2004047004A2/en active IP Right Grant
- 2003-11-13 AT AT06024926T patent/ATE446557T1/de not_active IP Right Cessation
- 2003-11-13 DE DE60310267T patent/DE60310267T2/de not_active Expired - Lifetime
- 2003-11-13 JP JP2004552855A patent/JP4174050B2/ja not_active Expired - Fee Related
- 2003-11-13 EP EP03811421A patent/EP1579375B1/en not_active Expired - Lifetime
-
2007
- 2007-11-14 JP JP2007295170A patent/JP4864857B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0993445A (ja) * | 1995-09-20 | 1997-04-04 | Fuji Xerox Co Ltd | 画像処理装置 |
WO2001039123A1 (en) * | 1999-11-24 | 2001-05-31 | Confirma | Dynamic thresholding of segmented data sets and display of similarity values in a similarity image |
JP2001243469A (ja) * | 2000-03-01 | 2001-09-07 | Toden Software Inc | 太線の抽出方法 |
Non-Patent Citations (2)
Title |
---|
JPN5005015575, MADACHY R J, IEEE ENGINEERING IN MEDICINE & BIOLOGY SOCIETY, 10TH ANNUAL INT. CONFERENCE, 19881104, P372−374 * |
JPN5005015576, SUNDBLAD LARS−GORAN, JOURNAL OF EXPERIMENTAL BOTANY, 199810, V49 N327, P1749−1756, GB, OXFORD UNIVERSITY PRESS * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019510223A (ja) * | 2016-03-18 | 2019-04-11 | ライブニッツ−インスティトゥート ヒュア フォトニッシェ テクノロジエン エーファオ | 概観画像をセグメント化することにより分散オブジェクトを検査するための方法 |
WO2022101983A1 (ja) | 2020-11-10 | 2022-05-19 | 株式会社パーキンエルマージャパン | 検体の分類方法 |
Also Published As
Publication number | Publication date |
---|---|
ATE446557T1 (de) | 2009-11-15 |
JP2006506635A (ja) | 2006-02-23 |
ATE347718T1 (de) | 2006-12-15 |
EP1760634A3 (en) | 2007-08-01 |
JP4864857B2 (ja) | 2012-02-01 |
EP1760634A2 (en) | 2007-03-07 |
EP1760634B1 (en) | 2009-10-21 |
WO2004047004A2 (en) | 2004-06-03 |
WO2004047004A3 (en) | 2005-08-11 |
JP4174050B2 (ja) | 2008-10-29 |
DE60310267D1 (de) | 2007-01-18 |
DE60329792D1 (de) | 2009-12-03 |
DE60310267T2 (de) | 2007-06-14 |
GB0226787D0 (en) | 2002-12-24 |
EP1579375B1 (en) | 2006-12-06 |
AU2003302054A1 (en) | 2004-06-15 |
US20060098858A1 (en) | 2006-05-11 |
US7577280B2 (en) | 2009-08-18 |
EP1579375A2 (en) | 2005-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4864857B2 (ja) | 有糸分裂活性の測定 | |
JP5156631B2 (ja) | 画像領域の自動選定 | |
JP4420821B2 (ja) | 組織学的アセスメント | |
CN106340016B (zh) | 一种基于细胞显微镜图像的dna定量分析方法 | |
US8200013B2 (en) | Method and device for segmenting a digital cell image | |
US7574304B2 (en) | Chromatin segmentation | |
CN113537182B (zh) | 染色体中期分裂相显微图像的自动识别方法与系统 | |
JP4383352B2 (ja) | 核多形性の組織学的評価 | |
Ding et al. | Classification of chromosome karyotype based on faster-rcnn with the segmatation and enhancement preprocessing model | |
JP4452624B2 (ja) | 細管の自動組織学的類別 | |
Amitha et al. | Developement of computer aided system for detection and classification of mitosis using SVM | |
JP4981112B2 (ja) | 組織学的アセスメント | |
Marroquín et al. | Nonlinear image analysis for fuzzy classification of breast cancer | |
Hoe et al. | Nuclei Segmentation in Breast Histopathology Images using FCM | |
AU2002354969B2 (en) | Chromatin segmentation | |
CN116503311A (zh) | 免疫组织化学染色影像的分析方法 | |
Lagerstrom et al. | A graph watershed method for analysis and quantification of neurite branching structure | |
Tay | Algorithms for Tissue Image Analysis using Multifractal Techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081118 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101221 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110315 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110318 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110616 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111101 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111109 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141118 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |