JP2005504595A - 画像内の病変の評定 - Google Patents
画像内の病変の評定 Download PDFInfo
- Publication number
- JP2005504595A JP2005504595A JP2003533200A JP2003533200A JP2005504595A JP 2005504595 A JP2005504595 A JP 2005504595A JP 2003533200 A JP2003533200 A JP 2003533200A JP 2003533200 A JP2003533200 A JP 2003533200A JP 2005504595 A JP2005504595 A JP 2005504595A
- Authority
- JP
- Japan
- Prior art keywords
- lesion
- image
- site
- visibility
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
Description
【0001】
本発明は、画像内の(複数の)病変(又は損傷もしくは外傷)の有無を評定する方法とそのためのシステムに関する。上記画像は、潜在的に病変を含む任意の画像であってよく、特に医用画像診断法における画像であり、より特定的には眼底画像であってもよい。
【背景技術】
【0002】
眼底画像の解析は、画像の高い変異性と、理想的でない画像形成条件に直面した場合における高い信頼性の処理に対する必要性と、短い計算期限といった、いくつかの難題を提示する。異なる患者間では、彼らが健康であっても大きな変異性が観察され、病気があれば状況はさらに悪くなる。同じ患者でも、異なる画像形成条件下にあるときと、治療の過程又は単に長い時間期間にわたるときとでは、変異性が観察される。その上、眼底画像は、不適当な照明と、グレアと、フェードアウトと、焦点の不一致と、反射、屈折及び分散から生じるアーティファクトとに曝されて、制限された品質を有することを特徴とする場合が多い。
【0003】
眼底画像における血管樹(vascular tree)の自動的な抽出及び解析は、いくつかの理由で、眼底画像の解析における1つの重要なタスクである。何よりもまず、血管樹は網膜の最も顕著な構成要素であり、健康状態に関わらず存在する。これにより、血管樹は、自動位置合わせ(automated registration)及びモンタージュ合成アルゴリズムの明らかな基礎となる。加えて、視神経乳頭及び中心窩についての自動的かつ頑健な位置測定のタスクと、眼底画像における静脈及び動脈の自動的な分類のタスクとは、血管樹の適正な抽出に甚だ大きく依存する可能性がある。もう1つの例として、多くの場合血管によく似ている病変を自動的に検出するタスクもある。適正に抽出された血管樹は、このようなアルゴリズムによって生成された偽陽性反応を無効化し、従ってその特異性を高める際の有益なツールとなる可能性がある。最後に、血管はそれ自体、増大された捩れと、異常な血管径の変化と、萎縮(deproliferation)といった様々な病理的発現を見せることが多い。血管の自動追跡アルゴリズムもまた、これらの現象を解析するための明らかな基礎になるであろう。
【0004】
糖尿病は、労働年齢の成人が失明する主要な原因である。これは、その多くの症状の中でもとりわけ、末梢血管系の進行性障害を含む病気である。網膜の脈管構造のこれらの変化は、進行性の視力障害を引き起こし、最終的には完全な失明を引き起こす。糖尿病性網膜症の悲劇的なところは、ほとんど大多数の場合において早期の診断と治療により失明は予防できるのに、早期検出をもたらしうるスクリーニングプログラムが広く行きわたっていないことにある。
【0005】
現時点において、糖尿病性網膜症を早期検出するための有望な技術が存在している。研究者らは、網膜症には網膜を通る血流における視覚的に検出可能な変化という前駆症状があることを発見している。現在では糖尿病性網膜症をランク付けして分類する診断技術が存在し、上記診断技術は、異なる時点で撮影された一連の網膜画像とともに、変性の早期検出のための方法論を提供している。その後には、様々な内科的、外科的及び食事的療法により、病気が失明へと進行することが防止され得る。
【発明の開示】
【発明が解決しようとする課題】
【0006】
糖尿病による失明を予防するための既存の技術にも関わらず、病気に苦しんでいる患者のうちのほんの少数が適切かつ時宜を得た治療を受け、大部分の患者は、大きな障壁によって、糖尿病のために損なわれた目の最先端治療から隔てられている。網膜症を評価する訓練を積んだ眼科医は限られた人数しか存在せず、その大部分は人口密集地に居住している。多くの患者が、専門医のもとへ出かけるために費用又は時間をかける余裕を持たない。それに加えて、年配の患者、田舎の患者及び少数民族の患者は、文化的及び言語的な障壁によって、適切な治療を求め得ない場合が多い。さらに、糖尿病が持続性疾患であることと、糖尿病性網膜症が変性疾患であることとから、病気に苦しんでいる患者は、網膜の状態をモニタリングして記録する定期検査を含む生涯にわたる病気の管理と、患者側での医学上又は行動上のガイドラインに対する不断の注意とを必要とする。このように所定のレベルに維持された個人への負担は高度の動機づけを必要とし、生涯にわたる病気の管理は生活様式にとって重大な重荷になる可能性がある。これらの要素は、患者が、少なくとも何らかの時点で、しばしば破滅的結末を伴って適切な病気の管理を受け損なう可能性を増大させる。
【0007】
従って、網膜の変性又は病状に対する、より広範なスクリーニングを実施し、かつ、このようなスクリーニングの実施に対する財政的、社会的及び文化的な障壁に積極的に対処することが望ましいであろう。また、網膜を評価する効率及び質を改善することも望ましいであろう。
【0008】
ゆえに、眼底の構造の位置測定結果及び方向の両方についての正確な知識が重要であり、このことは、血管の位置決めを含む。現在、眼底画像の検査は、主として、臨床医が各画像を「手作業で」調べることによって実施されている。これは、経験豊富な臨床医でも単一の画像を評定するためには数分を要する可能性があることから、非常に時間のかかる作業であるというだけでなく、与えられた1つの画像を異なる臨床医が評定する方法に不一致が存在する可能性があるために、誤診を生じがちでもある。従って、少なくとも予備的なスクリーニング情報を提供するように、また、診断の手助けとして、困難な場合の解析において臨床医を支援するように、コンピュータ化された画像解析を使用して、眼底画像を解析する処理を自動化する方法を提供することが望ましい。
【0009】
次には、一般に、コンピュータ化された画像解析技術を使用して、乳頭突起(視神経の出口の地点)及び中心窩(網膜が最も光に敏感である、網膜の中心領域)の両方の位置と、眼底の血管とを正確に決定する方法を提供することが望ましい。
【課題を解決するための手段】
【0010】
本発明は、複数の血管を含む画像において病変(又は損傷もしくは外傷)を検出するための方法に関する。画像は、血管を含む任意の対象の画像であってもよい。特に、本方法は、X線、走査画像、写真、核磁気放射型走査、CTスキャン、及び潜在的に病変を含む他の画像のような、医学上の画像診断法に関する。
【0011】
眼底画像における様々な構造物の自動的に検出する方法を、実際に病変を含む眼底画像において確実に病変を検出することが可能であり、病変を含まない他の画像では確実に病変を検出しないことが可能な方法にすることが目標とされる。既存の方法は、多くの画像において病変を検出することはできるが、病変を含まない画像に適用される場合には信頼性がない。
【0012】
さらに、この方法は、照明、病気の症状の存在、及び/又は画像のアーテファクトに関わりなく、広範な画像に適用可能であることを必要とするという意味で頑健でなければならない。病変は、画像内の局所的な事象として検出可能な病気又は病理学的状態の任意の徴候でありうる。
【0013】
本発明の非常に重要な態様は、眼底のあらゆる病変を検出することにある。網膜の病変は、通常は小血管瘤及び滲出物を含むが、これらは眼底画像上に一般に「点形状」(すなわち、実質的に円形状)の部位として表れる。このような小血管瘤と滲出物とを区別することと、さらにこれらを「綿花状白斑」及び出血のような画像内の他の病変又は病状から区別することとが重要である。
【0014】
従って、本発明は、画像における(複数の)病変の有無を評定する方法に関し、本方法は、
a)画像の少なくとも1つのサブセットを評価することを含み、それによって、各サブセットは、所定の可視度を有する病変候補部位であり、上記方法は、上記病変候補部位を包囲する部位における上記画像の背景の変動を評価することを含み、
b)上記病変候補部位の可視度を上記背景の変動によって補正し、上記補正された可視度を、その部位における病変の予め決められた可視度のしきい値と比較すること、又は、予め決められた可視度のしきい値を上記背景の変動によって補正し、上記病変候補部位の可視度を、上記予め決められかつ補正された可視度のしきい値と比較することを含み、
c)a)で検出された上記病変候補部位を、ステップb)で取得された上記しきい値に関連して病変として、又は病変でないものとして分類することを含み、
d)オプションで、すべての病変候補部位が分類されるまでステップa)乃至c)を反復することを含む。
【0015】
本方法により、例えば画像の様々な部分で変化する照明に起因した、画像内の背景の変動を含む特定の画像における背景とは独立に病変を検出できるようにするために、検出された病変は、背景に関連して補正される、特に病変に近接した局所的な背景部分に関連して補正される。
【0016】
本発明のもう1つの態様は、画像における(複数の)病変の有無を評定する方法による病変候補部位の確定に関し、上記方法は、
a)画像において病変を代表する少なくとも1つの開始点を確定することと、
b)少なくとも1つの開始点を選択し、病変候補の周辺部位が確定されるまで上記開始点の周りにq本の等曲線を成長させる(又は、増大させる、もしくは拡張する)ことによって上記病変候補に対応する画像のサブセットを評価することを含み、qは少なくとも1である整数であり、上記等曲線は1つ又は複数の可視特性にてなるベクトルから成長され、
c)上記病変候補部位の可視度を決定し、上記病変候補の可視度を予め決められたしきい値と比較することを含み、上記可視度はステップb)における成長に使用された可視特性とは異なる可視特性から決定され、
d)a)で検出された上記病変候補部位を、ステップb)で取得された上記しきい値に関連して病変として、又は病変でないものとして分類することを含み、
オプションで、すべての病変候補部位が分類されるまでステップb)乃至d)を反復することを含む。
【0017】
この態様により、(複数の)病変候補部位は開始点から等曲線として成長され、開始点は、血管及び視神経乳頭といった、画像内の自然発生的な構造物に対して調整されることが可能である。
【0018】
さらに本発明は、本発明による方法を実行するための以下のようなシステムに関し、例えば、
画像における(複数の)病変の有無を評定するシステムであって、
a)画像の少なくとも1つのサブセットを評価するアルゴリズムを備え、それによって、各サブセットは、所定の可視度を有する病変候補部位であり、上記アルゴリズムは、上記病変候補部位を包囲する部位における画像の背景の変動を評価し、
b)上記病変候補部位の可視度を背景の変動によって補正し、上記補正された可視度を、その部位における病変の予め決められた可視度のしきい値と比較すること、又は、予め決められた可視度のしきい値を背景の変動によって補正し、上記病変候補部位の可視度を上記予め決められかつ補正された可視度のしきい値と比較することを行うアルゴリズムと、
c)a)で検出された上記病変候補部位を、ステップb)で取得された上記しきい値に関連して病変として、又は病変でないものとして分類するアルゴリズムと、
d)オプションで、すべての病変候補部位が分類されるまでステップa)乃至c)を反復するアルゴリズムとを備えたシステムであり、また、
画像における(複数の)病変の有無を評定するシステムであって、
a)画像において病変を代表する少なくとも1つの開始点を確定するアルゴリズムと、
b)少なくとも1つの開始点を選択し、病変候補の周辺部位が確定されるまで上記開始点の周りにq本の等曲線を成長させることによって上記病変候補に対応する画像のサブセットを評価するアルゴリズムとを備え、qは少なくとも1である整数であり、上記等曲線は1つ又は複数の可視特性にてなるベクトルから成長され、
c)上記病変候補部位の可視度を決定し、上記病変候補の可視度を予め決められたしきい値と比較するアルゴリズムを備え、上記可視度はステップb)における成長に使用された可視特性とは異なる可視特性から決定され、
d)a)で検出された上記病変候補部位を、ステップb)で取得された上記しきい値に関連して病変として、又は病変でないものとして分類するアルゴリズムと、
e)オプションで、すべての病変候補部位が分類されるまでステップb)乃至d)を反復するアルゴリズムとを備えたシステムである。
【0019】
上記システムは、ここに記述された方法に係る任意の変形を組み込むことができる。
【0020】
また本発明は、個人の少なくとも一方の目の眼底画像から上記個人における病気の有無を診断する方法に関し、上記方法は、
−上で画成された方法によって少なくとも1つの病変の有無を評定することと、
−病変の数及び/又は大きさ及び/又は配置に関連して上記眼底画像を段階分けすることと、
−病気の有無を診断することとを含む。
【0021】
画像は次に、画像内の病変の大きさ及び/又は数及び/又は配置に依存して分類されてもよく、よって、本発明は、眼底画像を分類する方法に関し、上記方法は、
眼底画像を分類する方法であって、
−上で画成された方法によって少なくとも1つの病変の有無を評定することと、
−病変の数及び/又は大きさ及び/又は配置に関連して上記眼底画像を段階分けすることと、
−上記眼底画像を少なくとも2つのクラスに分類することとを含む。
【0022】
ここに記述された方法はすべて、好適には、例えばコンピュータが読み取り可能なプログラムに含まれるような、自動的な方法において使用されるためのものである。
【発明を実施するための最良の形態】
【0023】
定義.
中心窩:この用語はその通常の解剖学的意味で使用され、つまりは視力を生じさせる杆状体が多数集中している、網膜における点を示す。中心窩と「黄斑」という用語とは同義語として使用される。
画像:画像という用語は、検査される領域の表現を記述するために使用される。すなわち、画像という用語は、1次元表現、2次元表現、3次元表現及びn次元表現を含む。従って、画像という用語は、領域の量(ボリューム)、領域の行列表示(マトリックス)及び領域の情報のアレーを含む。
眼底画像における病変:小血管瘤、滲出物、出血、綿花状白斑といった眼底に存在する任意の病状。好適には、病変は、点形状の病変、すなわち小血管瘤及び滲出物を示す。
視神経乳頭:この用語はその通常の解剖学的意味で使用され、つまりは眼底において視神経が網膜に進入する部位を示す。本部位の同義語は、例えば「盲」点、乳頭突起又は視神経円板である。
赤−緑−青画像:この用語は、赤チャンネル、緑チャンネル及び青チャンネルを有する画像に関連し、RBG画像とも呼ばれる。
ROI:関心が持たれた領域(region of interest)である。
開始点:この用語は、サブセットの探索を開始するための点又は部位を記述している。従って、開始点という用語は、画素等の数学的な点に限定されるものではなく、単に探索を開始するために位置決めされた位置を表す。
可視度:可視度という用語は本用語の通常の意味で使用され、つまりは、背景及び他の構造物/病変部に比べた際の、眼底領域の病変又は構造物の視認性の程度を表す。
【0024】
画像.
本発明のいう画像は、関心が持たれた領域に係るあらゆる種類の画像及び表現であってよい。眼底画像は、網膜を検査するための従来的ツールであり、任意の適切な手段の上に記録されることが可能である。ある実施形態では、画像は、ディアス(dias)、紙の写真又はディジタル写真から選択された媒体上に表示される。しかしながら、画像は、例えばCCDである素子のアレー上の表現のような、他の任意の種類の表現であってもよい。
【0025】
画像はグレートーン画像又はカラー画像であることが可能であり、好適な実施形態では、画像はカラー画像である。
【0026】
サブセット.
画像内には、病変候補部位である少なくとも1つのサブセットが画定される。サブセットという用語はその通常の意味で使用され、つまりは1つ又は複数の画素を示す。
【0027】
サブセットは、任意の適切な方法によって検出されかつ画定されることが可能であり、例えば、フィルタリングによって、テンプレートマッチングによって、開始点と、上記開始点からの成長領域(又は拡張領域)とを確定することによって、及び/又は候補部位を探索する他の方法によって、及び/又はこれらの組み合わせによって検出されることが可能である。ある実施形態では、(複数の)病変候補部位は、開始点を確定し、上記開始点からサブセットを評価することによって検出される。互いに重複するサブセット又は隣接するサブセット等、各々が同じ病変を表す(又は代表する)2つ以上のサブセットが検出される場合もある。
【0028】
ある好適な実施形態では、サブセットは連結されたサブセットであり、すなわち、そのサブセットに属するすべての画素は他の画素の少なくとも1つに連結され、そのサブセットの画素をたどることによって任意の画素から任意の画素に到達することができる。さらに好適な実施形態においては、画像のサブセットの評価は、サブセットの周辺部位を確定することを含む。この周辺部位は、例えば動的輪郭モデル(スネーク)(参考文献、,エム・カス,エイ・ウィトキン,及びディー・テルゾプーロス,“スネークス:動的輪郭モデル”(M. Kass, A. Witkin and D. Terzopoulos, "Snakes: Active contour model"))によって、テンプレートの使用によって、又は成長(もしくは拡張)によって確定されてもよい。
【0029】
開始点の確定.
開始点は、様々な適当な方法と、このような方法の様々な組み合わせとによって確定されることが可能である。眼底画像の変異性は特に画像ダイナミクスに関連し、コントラストは画像毎に大幅に変化する可能性があり、同じ眼底画像でも領域毎に大幅に変化する可能性がある。適切な開始点アルゴリズムはこの状況を認識し、その感度を手許の画像に適合させるように努める必要がある。画像は、上記方法のための開始点を確定する前に、又は確定することの一部としてフィルタリングされたり、及び/又はぼかされたりしてもよい。例えば、画像の低周波数成分は、開始点を確定する前に除去されてもよい。また、画像には、例えば画像に対して中央値又は平均値フィルタリングを行って画像からフィルタリング結果を減算することにより、アンシャープをかけたフィルタリングが実行されてもよい。
【0030】
画像がフィルタリングされるか否かに関わらず、開始点は、局所的な極値のような画像の極値として確定されることが可能である。しかしながら、好適には、画像はフィルタリングされた画像であり、フィルタリングは線形及び/又は非線形であってもよい。評定される病変のタイプに依存して、極値は極小である場合も、極大である場合も、あるいはその両方である場合もある。
【0031】
ある実施形態では、フィルタリング方法はテンプレートマッチング法であり、テンプレートは、病変を識別するための任意の適切な幾何学的形状及び寸法を呈することが可能である。テンプレートの例は円であり、この円は、視神経乳頭の直径の期待値の比として設定される半径を有する。
【0032】
画像が、開始点を確定する前に、又は開始点を確定するステップの一部として、1つ又は複数のフィルタでフィルタリングされ得るということは、本発明の範囲内にある。従って、本発明のある実施形態においては、開始点は2つ以上のフィルタを組み合わせることによって確定される。
【0033】
従って、極値は、下記のようないくつかの方法のうちの1つ又は複数の方法によって個々に識別されることが可能である。
【0034】
病変は通常、画像における暗い領域又は明るい領域のいずれかになり、もしくは少なくとも局所的に最も暗い領域又は最も明るい領域のいずれかになる。従って、1つの方法として、画像における輝度の少なくとも1つの極値を確定することが可能であり、好適には少なくとも1つの輝度の極小値又は少なくとも1つの輝度の極大値を確定することが可能である。ゆえに、ある好適な実施形態では、少なくとも1つの局所的な輝度の最大値が確定される。極値は任意の画像関数に基づいて確定されることが可能であり、例えば、画像関数は、アンシャープ処理された画像、赤チャンネルの画像、緑チャンネルの画像、又はこれらの任意の組み合わせである。ある好適な実施形態では、画像関数は緑チャンネルである。
【0035】
本方法は、輝度を使用する代わりに、もしくは輝度を使用することに加えて、画像内の少なくとも1つの分散の極値を確定することを含んでもよく、好適には画像内の少なくとも1つの分散の最大値を確定することを含んでもよい。輝度に関して述べたときと同じ理由で、少なくとも1つの局所的な分散の最大値が確定される。極値は任意の画像関数に基づいて確定されることが可能であり、例えば、画像関数は、アンシャープ処理された画像、赤チャンネルの画像、緑チャンネルの画像、又はこれらの任意の組み合わせである。ある好適な実施形態では、画像関数は緑チャンネルである。
【0036】
開始点を確定するためのもう1つの方法は、開始点のランダムな確定であってよく、この場合、究極的にランダムな確定は、実質的に画像の各画素において開始点を確定する。当然ながら、ランダムな確定は、上で議論された方法のうちの任意のものと組み合わされてよい。
【0037】
さらにもう1つの実施形態では、開始点は、均一に分布したか又は不均一に分布した格子点のような、格子点として確定されてもよい。本方法もやはり、画像における極値の確定方法及び/又はランダムな確定方法のいずれとも組み合わされてよい。
【0038】
ある好適な方法では、開始点は、それほど最適ではない照度を有する画像や、あるいはそれほど最適ではない他の形式の画像品質を呈する画像に関しても、病変が存在する場合に当該病変の正しい位置決めを評定する確率を高めるために、説明された方法のうちの1つよりも多くの方法によって確定される。但し、一極集中した形態ではなく、かつ病院の専門診療科の場合に比べて経験の少ないスタッフによって眼底画像が記録される場合には、問題が増大する。
【0039】
さらに好適な実施形態では、開始点は、緑チャンネルの画像関数の局所的な最小値及び/又は最大値を位置決めし、これらを開始点として作用させることによって確定される。
【0040】
成長.
ある好適な実施形態では、サブセットは、サブセットを開始点から成長させる(又は拡張する)ことによって確定される。オブジェクトの成長は、オブジェクトを背景から分ける(セグメント化する)ために使用される。本方法は暗いオブジェクト及び明るいオブジェクトの両方を成長させるために使用可能であり、一方のためのアルゴリズムは、単にもう一方のアルゴリズムを逆転させたものである。この成長方法の最も本質的な部分は、オブジェクトを背景に関して制限することにある。この制限は任意の方法で実行可能であり、例えば、広範な等曲線(isocurve)にわたって後述のような可視特性を調べるか又はオブジェクトの深度を調べ、単に、可能な最高の可視特性値を結果的にもたらす深度を選択することによって実行可能である。
【0041】
従って、この実施形態では、サブセットの確定は、病変候補部位の周辺部位が確定されるまで、開始点を取り巻く部位の少なくとも1つの成長している特徴部分に基づいてq本の等曲線を成長させることとして説明されることが可能である。ここで、qは、少なくとも1である整数である。すなわち、各開始点に関して、病変候補部位をそれぞれ代表する可能性のある複数の等曲線が、その開始点から成長される。言い替えれば、成長処理は、そのサブセットの規準抽出をもたらす可能性があり、サブセットの数は、例えば、等しく離間した等曲線に対応する。好適には、最小のサブセットは開始点自体のサブセットを超過し、最大のサブセットの面積は予め決められた値を下回る。しかしながら、通常は、等曲線のうちのただ1つが病変の周辺部位を確定し、上記等曲線は、病変候補部位である最も高い確率を有する等曲線である。この確率は、例えば後述のような可視度の最大値であってもよい。よって、画像のサブセットは、成長処理の結果として生じる等曲線によって包含される領域を含み、等曲線自体はサブセットの周辺部位を含む。
【0042】
成長アルゴリズムは、サブセットの開始点において初期化される。等距離レベルでの高さを増大させると、複数の等曲線を成長させることになる。ステップ深度は、離散的な整数値を有し、任意に設定されることが可能であるが、通常は実際的理由から、バイト画像からの画素のレベルの起点として1に選択される。原則として、本アルゴリズムは、各開始点から始めて画像全体にわたって継続されることが可能である。しかしながら、この場合もやはり実際的理由から、かつ画像において評定される病変は所定の正常なサイズ範囲を有することが知られているということから、成長を行うことに対して少なくとも1つの制限を与えることが適切である。すなわち、予め決められた所定の面積を超える病変候補部位は許容されない。さらに、もう1つの制限が追加的に、又は単独で適用されてもよい。すなわち、病変候補は等曲線の最小数及び最大数によって制限される。
【0043】
上述の予め決められた値は、好適には0.1から1.0までの範囲にあり、例えば0.2乃至0.8の範囲にあり、例えば0.3乃至0.6の範囲にある。
【0044】
成長手順は、図7にフローチャートで示されている。
【0045】
本発明においては、特に、分水嶺法(watershed method)の使用による成長を適用することができる。分水嶺アルゴリズムは、ランチュジュル(Lantuejoul)とブシェル(Beucher)によって、セグメント化を目的として導入された。分水嶺の概念は、画像を地形表面と考えることから引き出されている。画像の輝度(グレーレベル)は、この視点からは標高と見なされる。局所的な最小値は、常に下降する経路によってそこからより低いグレーレベルの地点に到達することはできない、連結された安定領域(plateau)である。画像表面が浸漬すると、氾濫部位(集水域)のいく分かは合流する傾向がある。2つ以上の異なる氾濫部位が接触すると、それらの間に限りなく高いダム(分水線)が構築される。最終的には、結果として生じるダムのネットワークが画像の分水嶺を画成する。言い替えれば、分水線は、画像を、集水域と呼ばれる互いに交差しない複数のパッチに分割する。各パッチはただ1つの局所的な最小値を含むことから、パッチの数は画像内の局所的な最小値の数に等しい。
【0046】
ある好適な実施形態では、最小値を有しかつひとまとまり(塊)の領域の中心に最も近い画素が、成長アルゴリズムの起点となる。
【0047】
図2のフローチャートに、成長処理の一例を示す。示された処理ステップを、前に示されたフローチャートにより図3に関連して説明する。
【0048】
ステップ1,3,5及び8:
未処理の最小の画素を発見し、同じ値を有する近傍の画素を包含する。境界は、他の領域に接触しない。
ステップ2及び6:
開始画素から、許容値よりも大きく逸脱していない近傍の画素を包含する。境界は他の領域に接触せず、よって新たな領域を割り当てる。
ステップ4及び9:
開始画素から、許容値よりも大きく逸脱していない近傍の画素を包含する。境界は他の領域に接触し、よってこれらを拡大する。
ステップ7,10,11,12及び13:
最小の未処理の画素を見つけて、同じ値を有する近傍の画素を包含する。境界は他の領域に接触し、よってこれらを拡大する。
【0049】
分水嶺アルゴリズムの感度は、許容値のレベルを変更することによって調節されることが可能であり、これにより、ごく小さな値の深度を有するベース(basis)を除外することができる。
【0050】
病変候補部位の周辺部位を確定した後、上記病変候補部位は、例えば単に開始点から周辺部位まで塗りつぶし(flood fill)を実行することにより充填されることが可能である。
【0051】
可視度.
可視度という用語は本用語の通常の意味で使用され、つまりは、背景及び他の構造物/病変部に比べた、眼底領域の病変又は構造物の視認性の程度を表す。ある部位の可視度は、輝度、血管の可視度に比較した病変候補の可視度、病変候補の端部の可視度、病変候補の色情報、画像の一部の分散の測定値、及び/又は画像の分散の測定値を含む、複数の特性にてなるベクトルとして決定されることが可能である。ある好適な実施形態では、病変候補の端部の可視度は、方向付けられた病変候補部位の端部の勾配として計算され、特に、重み付けされた端部の勾配として計算される。
【0052】
従って、可視特性は、方向で重み付けられた領域の境界の勾配画素の総和に基づくことが可能である。特に、勾配画素は、成長された領域に向かう当該勾配画素の方向αに従って、例えば病変候補部位に次式を適用することによって重み付けされることが可能である。
【0053】
【数1】
【数2】
【数3】
【0054】
ここで、Nは病変の輪郭における画素数である。riを、ひとまとまりの病変(病変の塊)の中心とViにおける画像点との間のベクトルであるとすると、αiは、riと当該点における方向との間の角度になる。
【0055】
図8に、上述のベクトルの例を示す。
【0056】
可視特性はまた、血管が「除去」されている画像から計算されることが可能である。このことは、元の画像I(r,c)から血管の画像V(r,c)を減算し、血管の「復元された」画像を生成することによって、すなわち次式により血管の代わりに補間された背景値が導入された画像を生成することによって実行される。
【0057】
【数4】
【0058】
補間される値は、次式によって生成されることが可能である。
【0059】
【数5】
【0060】
ここで、h(x)=exp(−x2/2)である。核の幅w(r,c)は、画素(r,c)から最も近い背景画素までの距離に設定される。同じ原理によって、画像内の他の要素を「除去」することができる。この「除去」は、血管等の構成要素に近接した偽陽性の病変を回避するために実行される。
【0061】
サブセットの検証.
サブセットは、背景に関連して補正される前に検証されてもよい。検証とは、背景の変動によって補正される前に候補部位が病変候補部位として分類されるべきであるか否かを決定するための検証ステップが、各サブセットに対して実行されることを意味する。検証は、好適には(複数の)成長している特徴部分とは異なる特徴部分によって実行される。
【0062】
ある実施形態では、検証ステップは、病変候補部位の可視度を計算することを含む。
【0063】
背景の変動.
眼底画像内の病変検出における主要な問題点の1つは、内部で病変が発見されるであろう背景が、大きく変化することにある。眼底部位の中にはほぼ一定の背景を有するものもあるが、例えば視神経繊維層又は脈絡膜構造物を有する部位のように極度に変化するものもある。本発明のある態様によれば、頑健な方法で評価された背景の変動に従って各病変候補部位に対して取得された可視特性値を、例えば正規化によって補正することの効果が発見されている。正規化手順は、少なくとも次の2つのステップにおいて実行されることが可能である。
【0064】
画像の少なくとも1つのサブセットを評価し、それにより、各サブセットは、所定の可視度を有する病変候補部位になり、その後で、上記病変候補部位に可視特性を割り当てること。
背景の変動を評価し、上記病変候補部位の可視度を補正すること。
【0065】
しかしながら、多くの実施形態では、サブセットの評価及び背景の変動の評価は、各サブセットにつき1つのステップで実行される。
【0066】
背景の変動は、任意の適切な測定値によって評価されることが可能であり、従って、背景の変動は、勾配画像、曲率画像又はラプラス画像等の、元の画像の空間的特性及び/又は分布特性から、あるいはその任意の変形から選択されることが可能である。
【0067】
空間的特性は、例えばフーリエ変換、共起行列及びフラクタル次元に基づいてもよく、分布特性は、平均、分散、歪度又は尖度のようなモーメントであってもよい。
【0068】
病変は、例えば、方向で重み付けられた病変の境界における勾配の測定値に基づく、先に論じた可視特性によって記述されることが可能であり、この実施形態では、背景の勾配の平均及び標準偏差の評価値によって病変の可視特性を正規化すると効果的であることが示されている。
【0069】
従ってある好適な実施形態では、背景の変動は、例えば以下のことにより、外れ値(アウトライア)を逐次に識別することで評価される。
【0070】
c1)病変候補部位を取り囲むものとして画成される部位に係る勾配の大きさの画素の平均及び標準偏差を評価し、勾配の大きさの画素の下限のしきい値か、又は上限のしきい値より上の値かを決定すること。
c2)下限のしきい値より下に、又は上限のしきい値より上に大きく逸脱している勾配の大きさの画素を除去し、残りの勾配の大きさの画素の平均及び標準偏差を評価し直し、勾配の大きさの画素の第2の下限のしきい値及び第2の上限のしきい値を決定することを、大きく逸脱している勾配の大きさの画素が見つからなくなるまで反復すること。
c3)c2)において評価された平均及び標準偏差から背景の変動を評価すること。
【0071】
この実施形態では、上限のしきい値及び下限のしきい値は、標準偏差を乗じた定数として決められ、例えば少なくとも2が乗算され、例えば少なくとも3が乗算され、例えば少なくとも4が乗算され、例えば少なくとも5が乗算され、又は例えば少なくとも6が乗算された標準偏差として決められる。c2)では、各反復ステップで、たかだか1つの画素が除去されることが好適である。
【0072】
病変候補部位を取り囲むものとして画成される部位は、病変候補部位自体を含んでもよく、あるいは含まなくてもよい。ある好適な実施形態では、ステップc1)における勾配の大きさの画素は、病変候補部位からの画素を含む。
【0073】
候補部位を取り囲む部位は、通常、予測される視神経乳頭部位の0.25乃至1.0の範囲内にあるように選択され、例えば予測される視神経乳頭部位の0.5乃至1.0の範囲内に、例えば予測される視神経乳頭部位の0.6乃至1.0の範囲内にあるように選択される。通常、このような部位は、100乃至100,000個の画素の範囲の画素数に対応し、例えば400乃至64,000個の画素の範囲の画素数に、例えば1000乃至50,000個の画素の範囲の画素数に、例えば5,000乃至25,000個の画素の範囲の画素数に対応する。
【0074】
以下、図6のフローチャートを参照して、背景の変動を評価するための好適な方法について説明する。
【0075】
正規化の第1のステップは、補正する病変の背景の勾配を評価することである。この評価は、まず、ひとまとまりの病変(病変の塊)の中心から与えられた半径で決まる範囲内に存在する画素を収集することにより行われる。画素の量は、評定される画像の解像度に従って設定される。ほとんどの目的において、画素の量は、50乃至100個の画素の半径で決まるの範囲に設定される。図4等を参照されたい。
【0076】
血管及び/又は他の病変が交差すると、背景の勾配の評価値に影響する可能性があり、勾配の背景に係る頑健な評価が求められる。図5は勾配画像における背景領域を示すが、図5から、交差する血管及び/又は他の病変による影響は明らかである。
【0077】
頑健な評価の一例は、外れ値を継続的に除去することによるものである。よって、画成された背景領域内の複数の勾配画素はアレーに収集され、このアレーは上記勾配画素の値に従ってソーティングされる。次に、このアレーの平均及び標準偏差が計算される。ここでアレーの各末端における値が、計算された平均及び標準偏差と比較され、両者のうちでより大きく逸脱した値を有する方が外れ値である場合には、これがアレーから除去される。
【0078】
上記観測値が除去された後、平均及び標準偏差は計算し直され、両端が再度チェックされる。このトリミングは、外れ値が発見されなくなるまで継続される。この実装においては、外れ値を、平均から標準偏差の2倍だけ大きく逸脱した値として定義している。
【0079】
病変の背景の頑健な平均及び標準偏差が評価されると、次の標準的な式を使用して、病変の可視度を正規化することができる。
【0080】
【数6】
【0081】
他の頑健な方法として、輝度を収集する前に画像をフィルタリングすることによるもの、又は、平均に代わる中間値と、標準偏差に代わる偏差の絶対値の平均といった頑健な評価量(又は推定量)を使用することによるものが可能である。
【0082】
背景の変動が評価されると、病変候補部位の可視度を背景の変動によって補正し、補正された可視度を、その部位における病変のための予め決められた可視度のしきい値と比較することが可能であり、あるいは、予め決められた可視度のしきい値を背景の変動によって補正し、病変候補部位の可視度を、予め決められかつ補正された可視度のしきい値と比較することが可能である。これらのステップのいずれによっても、病変に対して局所的なしきい値を割り当てることが可能であり、これにより、病変の存在及び/又は非存在を評定するための方法の特異性及び感度が増大される。
【0083】
病変候補部位は、ステップb)で取得されたしきい値との比較の後、病変として、又は病変でないものとして分類される。
【0084】
本方法に係るステップは、すべてのサブセットに対して逐次に実行されてもよく、又は並列に実行されてもよい。
【0085】
画像の自然発生的な構造物の中には、病変の評定に不利に影響する可能性のあるものがある。このような構造物は、例えば眼底画像の血管及び視神経乳頭であり、これらの構造物は画像内に暗い/明るい部位をもたらすことがその理由である。従って、上記構造物に対して何らかの調整を行うことが好適である。
【0086】
血管に対する調整.
脈管系を画像コンテンツの他の部分から分離する際に使用可能な方法は、様々なものが知られている。
【0087】
血管を追跡するためのもう1つの方法は、異なるフィルタ行列が異なる方向を有する局所的近傍において血管が直線状であるという事実を利用する方法である。このような直線状の要素の位置決め及び方向は、時にマッチフィルタと呼ばれるテンプレートマッチングのアプローチを使用して決定されることが可能である。
【0088】
当業者に知られた血管を追跡するための他の方法は、下記の文献に記述されている。
【0089】
サブハシス・チャウドゥーリーほか,“2次元マッチドフィルタを用いた網膜画像における血管の検出”,IEEEトランザクションズ・オン・メディカルイメージング,Vol.8,No.3,1989年9月(Subhasis Chaudhuri et al., "Detection of Blood Vessels in Retinal Images Using Two-Dimensional Matched Filters", IEEE Transactions on Medical Images, Vol. 8, No. 3, September 1989)。
トリアス・ワイ・エイほか,“ファジイクラスタリングに基づく網膜画像のためのファジイ血管追跡アルゴリズム”,IEEEトランザクションズ・オン・メディカルイメージング,ISSN:0278−0062,米国,IEEE,1998年4月,vol.17,No.2,263−273ページ(Tolias y a et al., "A fuzzy vessel tracking algorithm for retinal images based on fuzzy clustering", IEEE Transactions on Medical Images, April 1998, IEEE, USA, vil. 17, No. 2, pages 263-273, ISSN: 0278-0062)。
アキタほか,“眼底画像を理解するコンピュータによる方法”,第4章,パターンレコグニション,ISSN:0031−3203,英国,1982年,vol.15,No.6,431−443ページ(Akita et al., "A computer method of understanding ocular fundus images", Pattern Recognition, 1982, UK, vol. 15, No. 6, pages 431-443, ISSN: 0031-3203, chapter 4)。
【0090】
血管を追跡するためのある好適な方法は、複数の血管をそれぞれ代表する複数の開始点から個々の血管を追跡し、網膜の血管網を反復して成長させることによるものである。この方法のある好適な実施形態が、レティナリゼ・アクティーゼルスカブ(RETINALYZE A/S)の「血管の追跡」と題する同時係属中のPCT特許出願に記述されている。
【0091】
本発明によるいくつかの実施形態においては、開始点の評価及び/又はサブセットの評価は、画像内に出現する血管に関連して調整されることが好適である。これらの実施形態の多くにとって、病変候補部位の評価を行う前に、画像内の血管の検出を行うことはさらに好適である。
【0092】
1つの実施形態では、開始点の調整は、ある病変を代表する複数の開始点から、血管内に位置決めされた開始点が除外されることを意味する。もう1つの実施形態では、画像のサブセットであって、当該サブセットの少なくとも一部が血管内に位置決めされたサブセットは、病変候補部位としては拒絶される。
【0093】
血管に関連して調整するためのさらにもう1つの方法は、画像の血管を検出し、画像内に現出する血管は開始点を確定する前にマスキングされるというものである。血管は、任意の適切な方法によってマスキングされることが可能であり、例えば、1乃至10の範囲内の画素数等、所定数の画素を血管に沿ってマスキングすることによる等の方法によってマスキングされることが可能である。
【0094】
画像内の血管が識別されたならば、血管において静脈と動脈とを区別できることが望ましい場合がある。このことは、例えば静脈のビーディング及び病巣の小動脈狭窄の診断において重要である可能性がある。
【0095】
眼底画像において観察される脈管系は、元来、3次元構造物の2次元への投影である。原則的には、分離された血管セグメントを見るだけで動脈から静脈を区別することは極めて困難である。しかしながら、個々には動脈構造及び静脈構造が各々完全な樹である(すなわち、血管に沿って心臓から各毛細血管に向かい、さらに心臓へと戻る1つの固有の経路が存在する)という事実を利用することによって、効果的な分離が達成され得ることが発見されている。
【0096】
網膜上では、動脈及び静脈の構造物が各々表面を充填し、よって、すべての組織はそれぞれ、特定の動脈によって供給を受け、あるいは特定の静脈によって排出を受けている。
【0097】
動脈から静脈を区別するための方法は、トルサナ・ダイアビーティーズ・ダイイグノスティック・アクティーゼルスカブ(Torsana Diabetes Diagnostic A/S)による国際出願の国際公開公報WO00/65982号に記述され、これは、血管セグメントの交差が、実際的には常に静脈と動脈との間に存在する(すなわち、実際的には、動脈と動脈との間の交差、又は静脈と静脈との間の交差は存在しない)という認識に基づいている。
【0098】
視神経乳頭のマスキング.
病変の評定を妨害する可能性のある別の構造物は、視神経乳頭である。血管とは対照的に、視神経乳頭は必ずしもすべての画像内に存在しないが、このことは、カメラ又はCCDが捉える領域に依存する。
【0099】
従って、ある好適な実施形態では、視神経乳頭である部位の有無は、病変を評定する前に、所定の頑健な方法によって評定される。このような方法は、例えばレティナリゼ・アクティーゼルスカブによる「眼底画像における視神経乳頭の検出(Detection of optic nerve head in a fundus image)」と題する同時係属中のPCT特許出願に記載されている。
【0100】
本発明による実施形態のうちのいくつかにおいて、開始点の評価及び/又はサブセットの評価は、画像内に出現する視神経乳頭に関連して調整されることが好適である。これらの実施形態の多くにとって、病変候補部位を評価する前に、画像内の視神経乳頭の検出が行われることはさらに好適である。
【0101】
ある実施形態では、開始点の調整は、視神経乳頭内に位置決めされた開始点が、病変を代表する複数の開始点から除外されるということを意味する。もう1つの実施形態では、画像のサブセットであって、当該サブセットの少なくとも一部が視神経乳頭内に位置決めされたサブセットは、病変候補部位としては拒絶される。
【0102】
視神経乳頭に関連して調整するためのさらにもう1つの方法は、画像の視神経乳頭を検出した場合に、画像内に現出する視神経乳頭が、開始点を確定する前にマスキングされるというものである。視神経乳頭は、例えば、視神経乳頭の直径と乗算された定数に対応する数、オプションでは視神経乳頭の直径の期待値と乗算された定数に対応する数のような、視神経乳頭の周りにおける所定数の画素をマスキングすることによる等、任意の適切な方法によってマスキングされることが可能である。上記定数は1.1乃至2.0の範囲内にあり、好適には約1.5である。
【0103】
さらなる実施形態では、本発明による方法は、例えば、神経繊維層と、追跡されない血管と、硝子体における反射とに起因する偽陽性の病変を低減させるために、病変の周りにおける局所的な輝度の変動に関連して可視度を重み付けする。これらの偽陽性には、病変の周りにおける局所的な輝度の変動が、均質な部位に位置決めされる大部分の真の病変とは対照的に、比較的大きいという共通の特徴がある。
【0104】
成長された2つの病変が重複する場合、病変の端部を画成する等輝度曲線は交差できないことから、一方の病変は他方に埋め込まれる必要がある。この場合、背景は、内側の小さい方の病変を評価する際に大きい病変が背景として解釈されることを防止するために、僅かに異なって画成されてもよい。
【0105】
互いに重複した病変について考察する場合、「前景(フォアグラウンド)」は、正の可視度を有する画素より成る、病変画像(les-image)における全体的に連結された要素であってもよい。背景は上述の通りに画成されるが、この前景領域との関連で画成される。従って、互いに重複しているすべての病変は同じ背景領域を有する。図10に、この原理を示す。
【0106】
背景がこのように画成されない場合には、中心窩の周りに成長された領域及び大きな病変における領域は、通常これらは重複するように成長された領域を有することから、間違って分類される可能性がある。
【0107】
従って、可視度は、局所的な背景に対する均質性を尺度として重み付けされることが好適である。局所的又は隣接した背景は、病変からBin個の画素より多くかつ最大でBin+Bout個の画素である画素の帯状部分として画成されることが可能である。ある点と病変との間の距離は、その点と病変内の1つの画素との間の最短距離として定義される。よって、Boutは病変の周りにおける背景の帯状部分の幅であり、Binは病変と背景とを分離する帯状部分の幅である。この原理は、フロントページの図面及び図9に示されている。パラメータBin及びBoutの大きさは、画像のスケールによって決められる必要がある。
【0108】
画素が、以下のもののいずれかに位置していれば、これを背景から除外できる。
【0109】
1.追跡されている血管の上。
2.ROIより外側。
3.Tvを超える可視度を有する別の病変に対してBinより少ない距離。ここで、vは現在の病変の可視度であり、Tは許容値パラメータである。
【0110】
上記第1及び第2の規準によって画素を除外する際の背景となる理論的根拠は明らかであろう。上記第3の規準は、互いに近接して位置した真の病変が互いの背景に影響を与えることを防止するために採用され、パラメータTはこの制限事項の許容度を管理するために使用可能である。T=0に設定することは、規準がまったく使用されない場合(T=∞に相当する)より有意に優れ、Tの値を約1.0に選択することによって、小さい可視度を有する病変が背景の帯状部分から除外されることは防止されるということがわかっている。このことは、実際上、最も顕著であると思われる。
【0111】
ある実施形態では、真の病変と偽の病変とを区別するために、背景における緑チャンネルの平均の輝度と、病変における緑チャンネルの平均の輝度との比が使用されてもよい。例えば、真の病変を偽の病変から区別するためには、下記のような固定されたしきい値が最も妥当であると思われる。
【0112】
【数7】
【0113】
ここで、IRthreshは好ましくは1.1未満であって、例えば1.01と1.09の間であり、好ましくは1.04と1.08の間である。偽の病変はIRtresh未満の平均輝度の比を有する。ここで、μgreen,out及びμgreen,inは各々、隣接した背景における緑チャンネルの平均値、及び病変における緑チャンネルの平均値である。
【0114】
もう1つの実施形態では、画像の一部に係る分散の測定値が、以下のことによって評価される。
【0115】
c4)予め決められた幅を有し、病変候補部位から予め決められた距離に存在する帯状部分の画素を画成すること。
c5)上記帯状部分の輝度の平均及び標準偏差を評価すること。及び
c6)c5において評価された平均及び標準偏差から、画像の一部に係る分散の測定値を評価すること。
【0116】
このことは、典型的な偽陽性の病変、すなわち血管に位置したもの及び反射付近に位置したものを検出するために、背景における標準偏差と病変における標準偏差との比が使用されるということによって例証され得る。次式のような、分散で重みつけられた可視度の尺度が、実際に有益なアプローチであるということがわかっている。
【0117】
【数8】
【0118】
ここで、vは通常の正規化された可視度の尺度であり、σ2 poly,in及びσ2 poly,outは各々、病変内及び背景内における多重平滑化画像(poly-smoothed image)の輝度の分散である。
【0119】
次に、分散で重み付けられた可視度の尺度は、上述のような予め決められた可視度のしきい値と比較される。ある好適な実施形態では、上述のように重み付けされるのは補正された可視度であり、もしくは重み付けされた可視度が補正されたしきい値と比較される。
【0120】
アプリケーション.
以下、本発明による方法の様々なアプリケーション例について議論する。
【0121】
いったん病変の有無が評定されると、病変に関する情報は様々な目的で使用されることが可能である。
【0122】
従って、本発明はさらに、ある個人の少なくとも一方の目の眼底画像から上記個人における病気の有無を診断するための方法に関し、上記方法は、
−上述の方法によって少なくとも1つの病変の有無を評定することと、
−病変の数及び/又は大きさ及び/又は配置に関連して上記眼底画像を段階分けすることと、
−病気の有無を診断することとを含む。
【0123】
特に本方法は、糖尿病性網膜症の診断及び予後に関する。
【0124】
もう1つの態様において、本発明は眼底画像を分類するための方法に関し、上記方法は、
−上述の方法によって少なくとも1つの病変の有無を評定することと、
−病変の数及び/又は大きさ及び/又は配置に関連して上記眼底画像を段階分けすることと、
−上記眼底画像を少なくとも2つのクラスに分類することとを含む。
【0125】
通常はいくつかのクラスが使用され、画像は、病変の数と、病変から中心窩までの距離との両方に関連して段階分けされる。
【0126】
システム.
もう1つの態様では、本発明はさらに、眼底画像における病変の有無を評定するためのシステムに関する。従って、本発明によるシステムは、上述の方法と、本発明の範囲内にあるその任意の組み合わせとを実行する能力のある任意のシステムであってよい。従って、本システムは、上述された方法のうちの任意のものを実行するためのアルゴリズムを含んでいてもよい。
【0127】
グラフィカルユーザインタフェースのモジュールは、ディスプレイモニタの表示画面と共同して動作することができる。上記グラフィカルユーザインタフェースは、従来型のキーボード及びマウスから所定のインタフェースを介して入力されたデータ及びコマンドを受信しかつディスプレイモニタ上へ結果を表示する処理システムの一部として実装されることが可能である。説明を簡単化するために、アドレスバッファ、メモリバッファ及び他の標準的な制御回路等の従来型コンピュータシステムの多くの構成要素については、これらの要素が当該技術において公知であって本発明を理解する上でそれらの詳細な説明は不要であるので、議論を省略している。
【0128】
予め捕捉された画像データは、ネットワークインタフェースを介して処理システムへと直接に供給され、大容量記憶装置及び/又はメモリに局所的に記憶されることが可能である。さらにまた画像データは、着脱可能なハードディスク、光ディスク、テープドライブ、又は当該技術において知られた他の任意タイプのデータ転送装置及び/又は記憶装置等の、携帯型の大容量記憶媒体を用いて、ネットワークを介して供給されてもよい。
【0129】
当業者は、複数のプロセッサを有する並列型コンピュータのプラットフォームもまた、本発明によるシステムと共用するための適切なハードウェアプラットフォームであることを認識するであろう。このような構成は、複数のプロセッサを有する並列型マシン及びワークステーションを包含することが可能であるが、これに限定されない。処理システムは単一のコンピュータである場合もあり、あるいは、いくつかのコンピュータが通信ネットワークを介して接続されて、論理的な処理システムを生成する場合もある。
【0130】
上述のシステムのアルゴリズムはいずれも、上述された方法の様々な変形例に適合化されてもよい。
【0131】
本発明は、通常の場合に画像の段階分けを行う者である段階決定者(grader)がより迅速かつ確実に病変を識別することを可能にする。また本システムは、やはり従来の段階決定者のための補助ツールとして、血管による妨害を受けずに、網膜の病変及び他の病状の自動的検出を可能にする。
【0132】
本システムを使用すれば、ある場所で画像を記録し、別の場所でそれを検査するように配置することも可能である。例えば、画像は、任意の眼鏡士又は医師により又はその他の場所において記録され、検査の専門家のところに、写真又はこれに類似するものとして運ばれるか、もしくはディジタル媒体上で運ばれるかのいずれかが可能である。従って、本システムを使用することによって、画像を記録するための分散化された複数のセンタ(非集中化された複数のセンタ)に対する必要性は、確保している専門の段階決定者の人数を少なくしながら実現されることが可能である。
【0133】
さらに、ネットワークは、本手順に関与する人物間での画像及び医療情報の伝送に加えて、検査装置で画像を検査する専門家が、記録位置(recordation localisation)で、すなわち捕捉装置で発生している画像捕捉を直接に制御する際に使用する制御信号又は画像調整信号を含むデータ信号を伝送することができる。特に、ズーム倍率、ステアリング調整、及び視野照明の波長のようなコマンド信号は、所望の画像形成効果を達成するために遠隔から選択的に変更されることが可能である。従って、より高い倍率又は異なる遠近法(もしくは方向)で解明する必要のある疑わしい組織構造物は、このような制御パラメータを変更することにより、曖昧さなしに即時に解明されることが可能である。さらに、照明波長を切り換えることにより、組織の異なる層を表示する視界、もしくは脈管構造及び血流特性の画像形成を強調する視界を選択的に得ることができる。さらに、蛍光撮像(fluorescence imaging)等の特殊な調査が行われる場合、制御信号は、所定の波長の光を用いた刺激を開始し、刺激の後か又は染料又は薬物の添加後の所定時刻に画像形成を開始し、もしくはこのような正確に制御された画像形成プロトコルを開始するための、時間について変化する信号を含んでいてもよい。これらの動作のためのディジタルデータ信号は、眼科用機器が、関連した特殊なパラメータを制御するための開始スイッチ又は内部ディジタル回路をすでに有する場合、又は、電気的制御装置をシステムの焦点、照度及びこれらに類似するもののような制御パラメータに容易に適合化させる能力を有する場合には、比較的簡単な方法で上記眼科用機器に対してインタフェースをとって接続されることが可能である。
【0134】
また、検査を行う専門家は、同じく遠隔的に何らかの処置を行うことも可能である。この場合の画像形成及び眼科治療用機器は、一般に、視界に表れる構造物上に機器を整列しかつ安定した状態に保持するステアリング及び安定化システムを含むことは理解されるであろう。しかしながら、本発明のこの態様では、画像の捕捉と、検査場所における診断又は処置行為の開始との間に依然として生じる短いが無視のできない時間遅延を考慮して、本発明は、本システムの制御がさらに、所定の場所における眼科医が、特定の血管又は組織構造物の位置を正確に指摘したりするような、網膜の視界における特定の位置を識別することを可能にする画像識別及び相関ソフトウェアを含むことを企図し、また、本発明は、画像捕捉コンピュータが、ビデオフレーム内のパターンを識別することと、捕捉場所において捕捉された際の各画像フレームに対して識別された位置を相関させることとを可能にする画像認識ソフトウェアを当該画像捕捉コンピュータが含むことを企図している。例えば、画像認識ソフトウェアは網膜の血管のパターン上にロックすることができる。従って、比較的短い時間間隔にわたって発生する可能性のある狭い網膜野での断続的運動(サッカード)及び眼球の他の突然の運動の存在にも関わらず、本眼科用機器は視界における識別された場所をターゲットとし、遠隔での処置が達成される。
【0135】
前述の動作に加えて、本発明はさらに、捕捉装置によって提供される画像が、組織の特徴部分についての、及びオプションとして血流特性についての写真測量解析のために処理されるということを企図している。これは、下記のようにして達成されることが可能である。記録装置で捕捉された画像は、検査装置へ送信され、検査装置において画面上に表示される。図面において概略的に示されているように、このような画像は、様々な直径及び長さを有する血管網を含む可能性がある。これらの血管は、血液の供給及び戻りのネットワークを構成する動脈性及び静脈性の両方の毛細管を含む。検査装置において、ワークステーションには写真測量測定プログラムが装備されてもよく、この写真測量測定プログラムにより、例えば、技術者は、画像形成された血管上へカーソルを置き、血管に沿ってカーソルを移動させながらクリックし、血管及び当該血管に接続している小血管の幅及びそれらの座標をソフトウェアに自動的に決定させることが可能になる
【0136】
画素の位置からの座標を記録しかつ表示された特徴部分をリンクして記録するソフトウェアと、血管の容量及びこれに類似するものを決定するサブモジュールとは、写真測量プログラムの技術から簡単かつ容易に構築される。また、上述のように脈管構造を自動的にマッピングするための、あるいは、異なる時期に撮られた2つの画像を比較して発生している変化を識別するか又は注釈を付与し、オペレータのために、血管のび爛、変色した組織、又は他の差異等の特徴部分を強調するためのワークステーションプロトコルが実装されてもよい。さらに、ユーザグラフィカルインタフェースによって、専門家は、画像にリンクされた、又は画像内の所定の場所に現れた特定の特徴部分にリンクされた診断の指示にタイプして書き込むことが可能になるため、画像又はその処理されたバージョンはさらに有用なものになる。
【0137】
従って、非常に正確であってかつ注釈を豊富に含む医療記録を容易に編集することが可能であり、かつ、上記医療記録を、所定期間にわたる変化の詳細な証拠のために、以前に撮られた画像と比較することが可能であり、又は、例えば、そこで発生している実際の血流度を評定するために、最近の血管造影図と比較することが可能である。検査装置における眼科医のノートパッドへのメモ書きとまったく同様に、検査装置における測定値の入力は注釈付きの画像記録となり、患者の記録の一部として中央のライブラリに記憶される。
【産業上の利用可能性】
【0138】
簡単な医療記録システムとは異なり、本発明は、患者が医療にアクセスする際のダイナミクスを変化させ、現在の保健医療(ヘルスケア)における甚大なジレンマ、すなわち糖尿病性網膜症の適切な普遍的スクリーニングに対する障壁を解決するような方法で眼科専門知識の分配効率を変化させる。以上、本発明の基本的な実施形態を開示し説明してきた。当業者にはさらなる変形例及び修正例が思い浮かぶであろうが、そのような変形例及び修正例はすべて添付の請求の範囲に画成された本発明の範囲に包含される。
【図面の簡単な説明】
【0139】
【図1】眼底画像を示す図である。
【図2】分水嶺手順を示すフローチャートである。
【図3】1の許容値による分水嶺アルゴリズムを使用して処理するための画素の1次元の例を示す図である。
【図4】眼底の部分的な画像を示し、75個の画素の半径を有する病変の背景領域を示す円が配置されている図である。
【図5】勾配画像における背景領域を示す図である。
【図6】正規化処理を示すフローチャートである。
【図7】成長処理を示すフローチャートである。
【図8】可視特性の計算を示す概略図である。
【図9】成長された病変とその周囲の背景を表す帯状部分との一例を示す図である。
【図10】互いに重複する領域の一例を示し、左側のパネルは、右側のパネルに示された増殖に位置付けられたシード点から成長される3つの領域を示し、最も大きく成長された領域を取り囲む帯状部分は、3つの領域すべての背景として使用されることを示す図である。
Claims (66)
- 画像における(複数の)病変の有無を評定する方法であって、
a)画像の少なくとも1つのサブセットを評価することを含み、それによって、各サブセットは、所定の可視度を有する病変候補部位であり、上記方法は、上記病変候補部位を包囲する部位における上記画像の背景の変動を評価することを含み、
b)上記病変候補部位の可視度を上記背景の変動によって補正し、上記補正された可視度を、その部位における病変の予め決められた可視度のしきい値と比較すること、又は、予め決められた可視度のしきい値を上記背景の変動によって補正し、上記病変候補部位の可視度を、上記予め決められかつ補正された可視度のしきい値と比較することを含み、
c)a)で検出された上記病変候補部位を、ステップb)で取得された上記しきい値に関連して病変として、又は病変でないものとして分類することを含み、
d)オプションで、すべての病変候補部位が分類されるまでステップa)乃至c)を反復することを含む方法。 - 上記画像は眼底画像である請求項1記載の方法。
- 上記画像は、ディアス(dias)、紙の写真又はディジタル写真から選択された媒体上に表示される、先行する請求項のうちの任意の請求項に記載の方法。
- 上記画像はカラー画像である、先行する請求項のうちの任意の請求項に記載の方法。
- (複数の)病変の有無を評定するために緑チャンネルが使用される、先行する請求項のうちの任意の請求項に記載の方法。
- 上記(複数の)サブセットは、病変を代表する複数の開始点を確定することと、開始点の周りの各サブセットを評価することとによって評価される、先行する請求項のうちの任意の請求項に記載の方法。
- 上記開始点は上記画像の極値に確定される、先行する請求項のうちの任意の請求項に記載の方法。
- 上記画像のサブセットは連結されたサブセットである、先行する請求項のうちの任意の請求項に記載の方法。
- 上記画像のサブセットは上記画像をフィルタリングすることによって評価される、先行する請求項のうちの任意の請求項に記載の方法。
- 上記画像のサブセットを評価することは、上記サブセットの周辺部位を確定することを含む、先行する請求項のうちの任意の請求項に記載の方法。
- 上記サブセットは、上記背景の変動に関連して補正する前に検証される、先行する請求項のうちの任意の請求項に記載の方法。
- 上記画像のサブセットは、上記開始点の周りに部位を成長させることによって評価される、先行する請求項のうちの任意の請求項に記載の方法。
- 上記部位の少なくとも1つの成長している特徴部分に基づくq本の等曲線は、上記病変候補部位の周辺部位が確定されるまで上記開始点の周りに成長され、qは少なくとも1である整数である請求項12記載の方法。
- 上記等曲線内の部位の可視度が評価され、最高の可視度を有する等曲線は上記病変候補部位の周辺部位を確定する請求項13記載の方法。
- 上記サブセットの検証は、上記(複数の)成長している特徴部分とは異なる特徴部分によって実行される、請求項12乃至14のうちの任意の請求項に記載の方法。
- 上記部位の可視度は、輝度、血管の可視度と比較した上記病変候補の可視度、上記病変候補の端部の可視度、上記病変候補の色情報、上記画像の一部の分散の測定値、及び/又は上記画像の分散の測定値を含む、複数の特性にてなるベクトルとして決定される、先行する請求項のうちの任意の請求項に記載の方法。
- 上記画像のサブセットは動的輪郭モデルによって評価される、先行する請求項のうちの任意の請求項に記載の方法。
- 開始点の識別は、上記画像内に出現する血管に関連して調整される、先行する請求項6乃至17のうちの任意の請求項に記載の方法。
- 上記サブセットの評価は、上記画像内に出現する血管に関連して調整される、先行する請求項のうちの任意の請求項に記載の方法。
- 上記(複数の)サブセットの評価を行う前に、上記画像における血管の検出を行う、先行する請求項のうちの任意の請求項に記載の方法。
- 血管内に位置決めされた開始点は、病変を代表する上記複数の開始点から除外される、先行する請求項6乃至20のうちの任意の請求項に記載の方法。
- 上記画像のサブセットであって、当該サブセットの少なくとも一部が血管内に位置決めされたサブセットは、病変候補部位としては拒絶される、先行する請求項のうちの任意の請求項に記載の方法。
- 上記画像内に出現する血管は、開始点を確定する前にマスキングされる、先行する請求項のうちの任意の請求項に記載の方法。
- 上記開始点の識別は、上記画像内に出現する視神経乳頭に関連して調整される、先行する請求項2乃至23のうちの任意の請求項に記載の方法。
- 上記サブセットの評価は、上記画像内に出現する視神経乳頭に関連して調整される、先行する請求項2乃至24のうちの任意の請求項に記載の方法。
- 上記(複数の)サブセットの評価及び/又は開始点の識別を行う前に、上記視神経乳頭を含む領域の検出を行う、先行する請求項のうちの任意の請求項に記載の方法。
- 視神経乳頭内に位置決めされた開始点は、病変を代表する上記複数の開始点から除外される、先行する請求項6乃至26のうちの任意の請求項に記載の方法。
- 上記画像のサブセットであって、当該サブセットの少なくとも一部が上記視神経乳頭内に位置決めされたサブセットは、病変候補部位としては拒絶される、先行する請求項2乃至27のうちの任意の請求項に記載の方法。
- 上記視神経乳頭の領域は、上記サブセットを評価すること及び/又は上記開始点を確定することより前にマスキングされる、先行する請求項2乃至28のうちの任意の請求項に記載の方法。
- 上記病変候補部位を包囲する部位は上記病変候補部位を含む、先行する請求項のうちの任意の請求項に記載の方法。
- 上記病変候補部位を包囲する部位は上記病変候補部位を除外する、先行する請求項のうちの任意の請求項に記載の方法。
- 上記候補部位を包囲する部位は、予測される視神経乳頭部位の0.25乃至1.0の範囲内にあるように選択され、上記範囲は、例えば予測される視神経乳頭部位の0.5乃至1.0であり、例えば予測される視神経乳頭部位の0.6乃至1.0である、先行する請求項のうちの任意の請求項に記載の方法。
- 上記背景の変動は、勾配画像、曲率画像又はラプラス画像等の、元の画像の空間的特性及び/又は分布特性から、あるいはその任意の変形から選択される、先行する請求項のうちの任意の請求項に記載の方法。
- 上記背景の変動は、
c1)上記病変候補部位を包囲して画成される部位に係る勾配の大きさの画素の平均及び標準偏差を評価し、上記勾配の大きさの画素の下限のしきい値か、又はその上限のしきい値より上の値かを決定することと、
c2)下限のしきい値より下に、又は上限のしきい値より上に大きく逸脱している勾配の大きさの画素を除去し、残りの勾配の大きさの画素の平均及び標準偏差を評価し直し、上記勾配の大きさの画素の第2の下限のしきい値及び第2の上限のしきい値を決定することを、大きく逸脱している勾配の大きさの画素が見つからなくなるまで反復することと、
c3)c2)において評価された上記平均及び標準偏差から背景の変動を評価することとによって評価される、先行する請求項のうちの任意の請求項に記載の方法。 - 上記画像の一部の分散の測定値は、
c4)予め決められた幅を有し、上記病変候補部位から予め決められた距離に存在する帯状部分の画素を画成することと、
c5)上記帯状部分の輝度の平均及び標準偏差を評価することと、
c6)c5において評価された上記平均及び標準偏差から画像の一部の分散の測定値を評価することとによって評価される、先行する請求項16乃至34のうちの任意の請求項に記載の方法。 - 上記上限のしきい値及び下限のしきい値は、上記標準偏差を乗じた定数として決められる請求項28記載の方法。
- ステップc1)における上記勾配の大きさの画素は上記病変候補部位からの画素を含む請求項28又は29記載の方法。
- ステップc2)では、たかだか1つの画素が除去される請求項28乃至30のうちの任意の請求項に記載の方法。
- 画像における(複数の)病変の有無を評定する方法であって、
a)画像において病変を代表する少なくとも1つの開始点を確定することと、
b)少なくとも1つの開始点を選択し、病変候補の周辺部位が確定されるまで上記開始点の周りにq本の等曲線を成長させることによって上記病変候補に対応する画像のサブセットを評価することを含み、qは少なくとも1である整数であり、上記等曲線は1つ又は複数の可視特性にてなるベクトルから成長され、
c)上記病変候補部位の可視度を決定し、上記病変候補の可視度を予め決められたしきい値と比較することを含み、上記可視度はステップb)における成長に使用された可視特性とは異なる可視特性から決定され、
d)a)で検出された上記病変候補部位を、ステップb)で取得された上記しきい値に関連して病変として、又は病変でないものとして分類することを含み、
e)オプションで、すべての病変候補部位が分類されるまでステップb)乃至d)を反復することを含む方法。 - 上記画像は眼底画像である請求項39記載の方法。
- 上記画像は、ディアス(dias)、紙の写真又はディジタル写真から選択された媒体上に表示される、先行する請求項39乃至40のうちの任意の請求項に記載の方法。
- 上記画像はカラー画像である、先行する請求項39乃至41のうちの任意の請求項に記載の方法。
- (複数の)病変の有無を評定するために緑チャンネルが使用される、先行する請求項39乃至42のうちの任意の請求項に記載の方法。
- 上記開始点は上記画像の極値に確定される、先行する請求項39乃至43のうちの任意の請求項に記載の方法。
- 上記画像のサブセットは連続的なサブセットである、先行する請求項39乃至44のうちの任意の請求項に記載の方法。
- 上記画像のサブセットは、上記画像をフィルタリングすることによって評価される、先行する請求項39乃至45のうちの任意の請求項に記載の方法。
- 上記等曲線内の部位の可視度が評価され、最高の可視度を有する等曲線は上記病変候補部位の周辺部位を確定する請求項46記載の方法。
- 上記部位の可視度は、輝度、血管の可視度と比較した上記病変候補の可視度、上記病変候補の端部の可視度、上記病変候補の色情報、上記画像の一部の分散の測定値、及び/又は上記画像の分散の測定値を含む、複数の特性にてなるベクトルとして決定される、先行する請求項39乃至47のうちの任意の請求項に記載の方法。
- 上記病変候補部位の可視度を上記背景の変動によって補正し、上記補正された可視度を、その部位における病変の予め決められた可視度のしきい値と比較すること、又は、予め決められた可視度のしきい値を上記背景の変動によって補正し、上記病変候補部位の可視度を上記予め決められかつ補正された可視度のしきい値と比較することをさらに含み、
検出された上記病変候補部位を、取得された上記しきい値に関連して病変として、又は病変でないものとして分類することをさらに含む、先行する請求項のうちの任意の請求項に記載の方法。 - 開始点の識別は、上記画像内に出現する血管に関連して調整される、先行する請求項39乃至49のうちの任意の請求項に記載の方法。
- 上記サブセットの評価は、上記画像内に出現する血管に関連して調整される、先行する請求項39乃至50のうちの任意の請求項に記載の方法。
- 上記(複数の)サブセットの評価を行う前に、上記画像内の血管の検出を行う、先行する請求項39乃至51のうちの任意の請求項に記載の方法。
- 血管内に位置決めされた開始点は、病変を代表する上記複数の開始点から除外される、先行する請求項39乃至52のうちの任意の請求項に記載の方法。
- 上記画像のサブセットであって、当該サブセットの少なくとも一部が血管内に位置決めされたサブセットは、病変候補部位としては拒絶される、先行する請求項39乃至53のうちの任意の請求項に記載の方法。
- 上記画像内に出現する血管は、開始点を確定する前にマスキングされる、先行する請求項39乃至54のうちの任意の請求項に記載の方法。
- 上記開始点の識別は、上記画像内に出現する視神経乳頭に関連して調整される、先行する請求項40乃至55のうちの任意の請求項に記載の方法。
- 上記サブセットの評価は、上記画像内に出現する視神経乳頭に関連して調整される、先行する請求項40乃至56のうちの任意の請求項に記載の方法。
- 上記(複数の)サブセットの評価及び/又は開始点の識別を行う前に、上記視神経乳頭を含む領域の検出を行う、先行する請求項40乃至57のうちの任意の請求項に記載の方法。
- 視神経乳頭内に位置決めされた開始点は、病変を代表する上記複数の開始点から除外される、先行する請求項40乃至58のうちの任意の請求項に記載の方法。
- 上記画像のサブセットであって、当該サブセットの少なくとも一部が上記視神経乳頭内に位置決めされたサブセットは、病変候補部位としては拒絶される、先行する請求項40乃至59のうちの任意の請求項に記載の方法。
- 上記視神経乳頭の領域は、上記サブセットを評価すること及び/又は上記開始点を確定することより前にマスキングされる、先行する請求項40乃至60のうちの任意の請求項に記載の方法。
- 個人の少なくとも一方の目の眼底画像から上記個人における病気の有無を診断する方法であって、
−請求項1乃至61のうちの任意の請求項で画成された方法によって少なくとも1つの病変の有無を評定することと、
−病変の数及び/又は大きさに関連して上記眼底画像を段階分けすることと、
−病気の有無を診断することとを含む方法。 - 上記病気は糖尿病性網膜症である請求項62記載の方法。
- 眼底画像を分類する方法であって、
−請求項1乃至60のうちの任意の請求項で画成された方法によって少なくとも1つの病変の有無を評定することと、
−病変の数及び/又は大きさに関連して上記眼底画像を段階分けすることと、
−上記眼底画像を少なくとも2つのクラスに分類することとを含む方法。 - 画像における(複数の)病変の有無を評定するシステムであって、
a)画像の少なくとも1つのサブセットを評価するアルゴリズムを備え、それによって、各サブセットは、所定の可視度を有する病変候補部位であり、上記アルゴリズムは、上記病変候補部位を包囲する部位における画像の背景の変動を評価し、
b)上記病変候補部位の可視度を背景の変動によって補正し、上記補正された可視度を、その部位における病変の予め決められた可視度のしきい値と比較すること、又は、予め決められた可視度のしきい値を背景の変動によって補正し、上記病変候補部位の可視度を上記予め決められかつ補正された可視度のしきい値と比較することを行うアルゴリズムと、
c)a)で検出された上記病変候補部位を、ステップb)で取得された上記しきい値に関連して病変として、又は病変でないものとして分類するアルゴリズムと、
d)オプションで、すべての病変候補部位が分類されるまでステップa)乃至c)を反復するアルゴリズムとを備えたシステム。 - 画像における(複数の)病変の有無を評定するシステムであって、
a)画像において病変を代表する少なくとも1つの開始点を確定するアルゴリズムと、
b)少なくとも1つの開始点を選択し、病変候補の周辺部位が確定されるまで上記開始点の周りにq本の等曲線を成長させることによって上記病変候補に対応する画像のサブセットを評価するアルゴリズムとを備え、qは少なくとも1である整数であり、上記等曲線は1つ又は複数の可視特性にてなるベクトルから成長され、
c)上記病変候補部位の可視度を決定し、上記病変候補の可視度を予め決められたしきい値と比較するアルゴリズムを備え、上記可視度はステップb)における成長に使用された可視特性とは異なる可視特性から決定され、
d)a)で検出された上記病変候補部位を、ステップb)で取得された上記しきい値に関連して病変として、又は病変でないものとして分類するアルゴリズムと、
e)オプションで、すべての病変候補部位が分類されるまでステップb)乃至d)を反復するアルゴリズムとを備えたシステム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DKPA200101451 | 2001-10-03 | ||
DKPA200200635 | 2002-04-25 | ||
US37623302P | 2002-04-30 | 2002-04-30 | |
PCT/DK2002/000661 WO2003030074A1 (en) | 2001-10-03 | 2002-10-03 | Assessment of lesions in an image |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005504595A true JP2005504595A (ja) | 2005-02-17 |
JP4411071B2 JP4411071B2 (ja) | 2010-02-10 |
Family
ID=27222545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003533200A Expired - Fee Related JP4411071B2 (ja) | 2001-10-03 | 2002-10-03 | 画像内の病変の評定 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7583827B2 (ja) |
EP (2) | EP1444635B1 (ja) |
JP (1) | JP4411071B2 (ja) |
CN (1) | CN100530204C (ja) |
DK (1) | DK2793189T3 (ja) |
WO (1) | WO2003030074A1 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005253796A (ja) * | 2004-03-12 | 2005-09-22 | Yokohama Tlo Co Ltd | 眼底診断装置 |
JP2006334044A (ja) * | 2005-06-01 | 2006-12-14 | Kowa Co | 眼科測定装置 |
JP2008295804A (ja) * | 2007-05-31 | 2008-12-11 | Topcon Corp | 眼底検査装置及びプログラム |
JP2012233800A (ja) * | 2011-05-02 | 2012-11-29 | Toyota Central R&D Labs Inc | マルチセンサ判定装置及びプログラム |
KR20150119860A (ko) * | 2013-02-19 | 2015-10-26 | 옵토스 피엘씨 | 이미지 프로세싱에서 또는 이미지 프로세싱에 관한 개선들 |
JP2016103248A (ja) * | 2014-11-28 | 2016-06-02 | 富士通株式会社 | 画像提供システムおよび画像提供方法 |
WO2022065798A1 (ko) * | 2020-09-28 | 2022-03-31 | 주식회사 딥바이오 | 병리 이미지 분석 결과 출력 방법 및 이를 수행하는 컴퓨팅 시스템 |
Families Citing this family (71)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7011625B1 (en) * | 2003-06-13 | 2006-03-14 | Albert Shar | Method and system for accurate visualization and measurement of endoscopic images |
US7708403B2 (en) * | 2003-10-30 | 2010-05-04 | Welch Allyn, Inc. | Apparatus and method for diagnosis of optically identifiable ophthalmic conditions |
DE102004008979B4 (de) * | 2004-02-24 | 2006-12-28 | Siemens Ag | Verfahren zur Filterung tomographischer 3D-Darstellungen nach erfolgter Rekonstruktion von Volumendaten |
JP4487180B2 (ja) * | 2004-03-18 | 2010-06-23 | ソニー株式会社 | 情報生成装置及び情報生成方法 |
JP2005284792A (ja) * | 2004-03-30 | 2005-10-13 | Sharp Corp | 画像照合装置、画像照合方法、画像照合プログラムおよび画像照合プログラムを記録したコンピュータ読取り可能な記録媒体 |
WO2007041429A1 (en) * | 2005-09-30 | 2007-04-12 | Alan Penn & Associates, Inc. | Method and system for generating display data |
US7587232B2 (en) * | 2006-02-28 | 2009-09-08 | Kabushiki Kaisha Toshiba | Magnetic resonance imaging apparatus, magnetic resonance data processing apparatus, magnetic resonance data processing program and magnetic resonance imaging apparatus control method |
US7873196B2 (en) * | 2006-03-22 | 2011-01-18 | Cornell Research Foundation, Inc. | Medical imaging visibility index system and method for cancer lesions |
ITTO20060223A1 (it) * | 2006-03-24 | 2007-09-25 | I Med S R L | Procedimento e sistema per il riconoscimento automatico di anomalie preneoplastiche in strutture anatomiche, e relativo programma per elaboratore |
US10617564B1 (en) * | 2006-05-10 | 2020-04-14 | Apple Inc. | Area scanning photomedicine device and method |
JP5121204B2 (ja) * | 2006-10-11 | 2013-01-16 | オリンパス株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
US7940977B2 (en) | 2006-10-25 | 2011-05-10 | Rcadia Medical Imaging Ltd. | Method and system for automatic analysis of blood vessel structures to identify calcium or soft plaque pathologies |
US7873194B2 (en) | 2006-10-25 | 2011-01-18 | Rcadia Medical Imaging Ltd. | Method and system for automatic analysis of blood vessel structures and pathologies in support of a triple rule-out procedure |
US7983459B2 (en) | 2006-10-25 | 2011-07-19 | Rcadia Medical Imaging Ltd. | Creating a blood vessel tree from imaging data |
US7860283B2 (en) | 2006-10-25 | 2010-12-28 | Rcadia Medical Imaging Ltd. | Method and system for the presentation of blood vessel structures and identified pathologies |
US7940970B2 (en) | 2006-10-25 | 2011-05-10 | Rcadia Medical Imaging, Ltd | Method and system for automatic quality control used in computerized analysis of CT angiography |
FR2916883B1 (fr) * | 2007-05-29 | 2009-09-04 | Galderma Res & Dev | Procede et dispositif d'acquisition et de traitement d'images pour la detection de lesions evolutives |
US8175352B2 (en) * | 2007-09-21 | 2012-05-08 | Siemens Aktiengesellschaft | System and method for automated magnetic resonance scan prescription for optic nerves |
US8065166B2 (en) | 2007-10-30 | 2011-11-22 | Onemednet Corporation | Methods, systems, and devices for managing medical images and records |
US9171344B2 (en) | 2007-10-30 | 2015-10-27 | Onemednet Corporation | Methods, systems, and devices for managing medical images and records |
US9760677B2 (en) | 2009-04-29 | 2017-09-12 | Onemednet Corporation | Methods, systems, and devices for managing medical images and records |
US8718363B2 (en) * | 2008-01-16 | 2014-05-06 | The Charles Stark Draper Laboratory, Inc. | Systems and methods for analyzing image data using adaptive neighborhooding |
US8737703B2 (en) * | 2008-01-16 | 2014-05-27 | The Charles Stark Draper Laboratory, Inc. | Systems and methods for detecting retinal abnormalities |
US8150113B2 (en) * | 2008-01-23 | 2012-04-03 | Carestream Health, Inc. | Method for lung lesion location identification |
JP5374078B2 (ja) * | 2008-06-16 | 2013-12-25 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
GB0902280D0 (en) * | 2009-02-12 | 2009-03-25 | Univ Aberdeen | Disease determination |
GB2470727A (en) * | 2009-06-02 | 2010-12-08 | Univ Aberdeen | Processing retinal images using mask data from reference images |
US20110129133A1 (en) * | 2009-12-02 | 2011-06-02 | Ramos Joao Diogo De Oliveira E | Methods and systems for detection of retinal changes |
US7856135B1 (en) | 2009-12-02 | 2010-12-21 | Aibili—Association for Innovation and Biomedical Research on Light and Image | System for analyzing ocular fundus images |
CN102129697B (zh) * | 2010-01-19 | 2013-05-29 | 北京大学 | 一种文本图像压缩方法 |
US20110176711A1 (en) * | 2010-01-21 | 2011-07-21 | Radu Catalin Bocirnea | Methods, apparatuses & computer program products for facilitating progressive display of multi-planar reconstructions |
JP5555097B2 (ja) * | 2010-08-24 | 2014-07-23 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、および画像処理プログラム |
US8351669B2 (en) * | 2011-02-01 | 2013-01-08 | Universidade Da Coruna-Otri | Method, apparatus, and system for retinal image analysis |
US8355544B2 (en) | 2011-02-01 | 2013-01-15 | Universidade Da Coruna-Otri | Method, apparatus, and system for automatic retinal image analysis |
JP2012196245A (ja) * | 2011-03-18 | 2012-10-18 | Canon Inc | 眼科情報処理装置及びその制御方法 |
US9089288B2 (en) * | 2011-03-31 | 2015-07-28 | The Hong Kong Polytechnic University | Apparatus and method for non-invasive diabetic retinopathy detection and monitoring |
EP2740073B1 (en) | 2011-06-17 | 2017-01-18 | Quantitative Imaging, Inc. | Methods and apparatus for assessing activity of an organ and uses thereof |
JP6025311B2 (ja) * | 2011-08-01 | 2016-11-16 | キヤノン株式会社 | 眼科診断支援装置および方法 |
KR101916855B1 (ko) | 2011-10-17 | 2019-01-25 | 삼성전자주식회사 | 병변 수정 장치 및 방법 |
JP5926533B2 (ja) * | 2011-10-27 | 2016-05-25 | キヤノン株式会社 | 眼科装置 |
JP5979904B2 (ja) | 2012-02-20 | 2016-08-31 | キヤノン株式会社 | 画像処理装置、眼科撮影システム、及び画像処理方法 |
JP5936254B2 (ja) * | 2012-02-29 | 2016-06-22 | 国立大学法人京都大学 | 眼底観察装置及び眼底画像解析装置 |
EP2926723A4 (en) * | 2013-02-22 | 2016-07-27 | Sony Corp | APPARATUS AND METHOD FOR EYE BACKGROUND BASIC EDITION AND PROGRAM |
US9424395B2 (en) * | 2013-03-04 | 2016-08-23 | Heartflow, Inc. | Method and system for sensitivity analysis in modeling blood flow characteristics |
US9171224B2 (en) | 2013-07-04 | 2015-10-27 | Qualcomm Incorporated | Method of improving contrast for text extraction and recognition applications |
WO2015013632A1 (en) | 2013-07-26 | 2015-01-29 | The Regents Of The University Of Michigan | Automated measurement of changes in retinal, retinal pigment epithelial, or choroidal disease |
US8885901B1 (en) * | 2013-10-22 | 2014-11-11 | Eyenuk, Inc. | Systems and methods for automated enhancement of retinal images |
US9974506B2 (en) | 2013-11-05 | 2018-05-22 | International Business Machines Corporation | Associating coronary angiography image annotations with syntax scores for assessment of coronary artery disease |
US9237847B2 (en) | 2014-02-11 | 2016-01-19 | Welch Allyn, Inc. | Ophthalmoscope device |
KR101580075B1 (ko) * | 2015-01-23 | 2016-01-21 | 김용한 | 병변 영상 분석을 통한 광 치료 장치, 이에 이용되는 병변 영상 분석에 의한 병변 위치 검출방법 및 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록 매체 |
US10799115B2 (en) | 2015-02-27 | 2020-10-13 | Welch Allyn, Inc. | Through focus retinal image capturing |
US11045088B2 (en) | 2015-02-27 | 2021-06-29 | Welch Allyn, Inc. | Through focus retinal image capturing |
US20160310043A1 (en) * | 2015-04-26 | 2016-10-27 | Endochoice, Inc. | Endoscopic Polyp Measurement Tool and Method for Using the Same |
US9757023B2 (en) | 2015-05-27 | 2017-09-12 | The Regents Of The University Of Michigan | Optic disc detection in retinal autofluorescence images |
US10136804B2 (en) * | 2015-07-24 | 2018-11-27 | Welch Allyn, Inc. | Automatic fundus image capture system |
US10772495B2 (en) | 2015-11-02 | 2020-09-15 | Welch Allyn, Inc. | Retinal image capturing |
WO2017120217A1 (en) | 2016-01-07 | 2017-07-13 | Welch Allyn, Inc. | Infrared fundus imaging system |
CA2958003C (en) | 2016-02-19 | 2022-04-05 | Paul Stanley Addison | System and methods for video-based monitoring of vital signs |
US10939824B2 (en) | 2017-11-13 | 2021-03-09 | Covidien Lp | Systems and methods for video-based monitoring of a patient |
AU2018400475B2 (en) | 2018-01-08 | 2024-03-07 | Covidien Lp | Systems and methods for video-based non-contact tidal volume monitoring |
CN108853702B (zh) * | 2018-05-15 | 2021-02-26 | 中国科学院苏州生物医学工程技术研究所 | 一种新型智能药物喷洒系统 |
US11096574B2 (en) | 2018-05-24 | 2021-08-24 | Welch Allyn, Inc. | Retinal image capturing |
EP3806727A1 (en) | 2018-06-15 | 2021-04-21 | Covidien LP | Systems and methods for video-based patient monitoring during surgery |
WO2020033613A1 (en) | 2018-08-09 | 2020-02-13 | Covidien Lp | Video-based patient monitoring systems and associated methods for detecting and monitoring breathing |
US11617520B2 (en) | 2018-12-14 | 2023-04-04 | Covidien Lp | Depth sensing visualization modes for non-contact monitoring |
US11315275B2 (en) | 2019-01-28 | 2022-04-26 | Covidien Lp | Edge handling methods for associated depth sensing camera devices, systems, and methods |
US11484208B2 (en) | 2020-01-31 | 2022-11-01 | Covidien Lp | Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods |
CN111353992B (zh) * | 2020-03-10 | 2023-04-07 | 塔里木大学 | 一种基于纹理特征的农产品缺陷检测方法及系统 |
TWI728818B (zh) * | 2020-05-22 | 2021-05-21 | 貞安有限公司 | 居家監控眼底時程影像的系統與方法 |
US11950848B2 (en) * | 2020-08-10 | 2024-04-09 | Welch Allyn, Inc. | Fundus imaging for microvascular assessment |
US11900605B2 (en) * | 2021-09-30 | 2024-02-13 | Merative Us L.P. | Methods and systems for detecting focal lesions in multi-phase or multi-sequence medical imaging studies |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0624010B2 (ja) | 1986-05-29 | 1994-03-30 | 株式会社豊田中央研究所 | 画像内濃淡領域検出装置 |
US5868134A (en) * | 1993-09-21 | 1999-02-09 | Kabushiki Kaisha Topcon | Retinal disease analyzer |
JPH07299053A (ja) * | 1994-04-29 | 1995-11-14 | Arch Dev Corp | コンピュータ診断支援方法 |
JPH09149901A (ja) | 1995-11-30 | 1997-06-10 | Toshiba Corp | 画像生成装置及び画像生成方法 |
WO1999057683A1 (en) * | 1998-05-04 | 1999-11-11 | The Johns Hopkins University | Method and apparatus for segmenting small structures in images |
GB9909966D0 (en) | 1999-04-29 | 1999-06-30 | Torsana Diabetes Diagnostics A | Analysis of fundus images |
WO2003030075A1 (en) | 2001-10-03 | 2003-04-10 | Retinalyze Danmark A/S | Detection of optic nerve head in a fundus image |
WO2003030101A2 (en) | 2001-10-03 | 2003-04-10 | Retinalyze Danmark A/S | Detection of vessels in an image |
-
2002
- 2002-10-03 CN CNB028228758A patent/CN100530204C/zh not_active Expired - Fee Related
- 2002-10-03 US US10/491,746 patent/US7583827B2/en not_active Expired - Fee Related
- 2002-10-03 EP EP02800053.7A patent/EP1444635B1/en not_active Expired - Lifetime
- 2002-10-03 WO PCT/DK2002/000661 patent/WO2003030074A1/en active Application Filing
- 2002-10-03 JP JP2003533200A patent/JP4411071B2/ja not_active Expired - Fee Related
- 2002-10-03 DK DK14176515.6T patent/DK2793189T3/en active
- 2002-10-03 EP EP14176515.6A patent/EP2793189B1/en not_active Expired - Lifetime
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005253796A (ja) * | 2004-03-12 | 2005-09-22 | Yokohama Tlo Co Ltd | 眼底診断装置 |
JP4574195B2 (ja) * | 2004-03-12 | 2010-11-04 | よこはまティーエルオー株式会社 | 眼底診断装置 |
JP2006334044A (ja) * | 2005-06-01 | 2006-12-14 | Kowa Co | 眼科測定装置 |
JP2008295804A (ja) * | 2007-05-31 | 2008-12-11 | Topcon Corp | 眼底検査装置及びプログラム |
JP2012233800A (ja) * | 2011-05-02 | 2012-11-29 | Toyota Central R&D Labs Inc | マルチセンサ判定装置及びプログラム |
KR20150119860A (ko) * | 2013-02-19 | 2015-10-26 | 옵토스 피엘씨 | 이미지 프로세싱에서 또는 이미지 프로세싱에 관한 개선들 |
KR102095723B1 (ko) | 2013-02-19 | 2020-04-01 | 옵토스 피엘씨 | 이미지 프로세싱에서 또는 이미지 프로세싱에 관한 개선들 |
JP2016103248A (ja) * | 2014-11-28 | 2016-06-02 | 富士通株式会社 | 画像提供システムおよび画像提供方法 |
WO2022065798A1 (ko) * | 2020-09-28 | 2022-03-31 | 주식회사 딥바이오 | 병리 이미지 분석 결과 출력 방법 및 이를 수행하는 컴퓨팅 시스템 |
Also Published As
Publication number | Publication date |
---|---|
EP2793189A3 (en) | 2015-02-25 |
DK2793189T3 (en) | 2017-02-06 |
EP2793189B1 (en) | 2016-11-02 |
EP1444635B1 (en) | 2017-05-10 |
EP2793189A2 (en) | 2014-10-22 |
US7583827B2 (en) | 2009-09-01 |
EP1444635A1 (en) | 2004-08-11 |
WO2003030074A1 (en) | 2003-04-10 |
US20040258285A1 (en) | 2004-12-23 |
CN100530204C (zh) | 2009-08-19 |
CN1589449A (zh) | 2005-03-02 |
JP4411071B2 (ja) | 2010-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4411071B2 (ja) | 画像内の病変の評定 | |
Akram et al. | Automated detection of dark and bright lesions in retinal images for early detection of diabetic retinopathy | |
Patton et al. | Retinal image analysis: concepts, applications and potential | |
Abràmoff et al. | Retinal imaging and image analysis | |
Siddalingaswamy et al. | Automatic grading of diabetic maculopathy severity levels | |
WO2018116321A2 (en) | Retinal fundus image processing method | |
Zhu et al. | Digital image processing for ophthalmology: Detection of the optic nerve head | |
WO2010030159A2 (en) | A non invasive method for analysing the retina for ocular manifested diseases | |
Abràmoff | Image processing | |
Phridviraj et al. | A bi-directional Long Short-Term Memory-based Diabetic Retinopathy detection model using retinal fundus images | |
Giancardo | Automated fundus images analysis techniques to screen retinal diseases in diabetic patients | |
WO2003030073A1 (en) | Quality measure | |
Mangrulkar | Retinal image classification technique for diabetes identification | |
WO2003030075A1 (en) | Detection of optic nerve head in a fundus image | |
WO2004082453A2 (en) | Assessment of lesions in an image | |
Waly et al. | Detection of Retinal Blood Vessels by using Gabor filter with Entropic threshold | |
Patil et al. | Screening and detection of diabetic retinopathy by using engineering concepts | |
Elseid et al. | DEVELOPING A REAL TIME ALGORITHM FOR DIAGNOSING GLAUCOMA. | |
DK1444635T3 (en) | Assessment of lesions in an image | |
Krishna et al. | Retinal vessel segmentation techniques | |
WO2003030101A2 (en) | Detection of vessels in an image | |
Krestanova et al. | Premature infant blood vessel segmentation of retinal images based on hybrid method for the determination of tortuosity | |
Anitha et al. | Validating Retinal Color Fundus Databases and Methods for Diabetic Retinopathy Screening | |
Mohammadi et al. | The computer based method to diabetic retinopathy assessment in retinal images: a review. | |
Dhaya et al. | DIABETIC RETINOPATHY CLASSIFICATION USING LENET-5 CLASSIFIER |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050921 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080902 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20081202 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20081209 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20081226 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090109 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090421 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090721 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090728 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090821 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090828 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090924 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090929 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20091001 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091027 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091116 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131120 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |