JP2008513067A - デジタル画像で網膜血管を分析するための方法および装置 - Google Patents

デジタル画像で網膜血管を分析するための方法および装置 Download PDF

Info

Publication number
JP2008513067A
JP2008513067A JP2007531596A JP2007531596A JP2008513067A JP 2008513067 A JP2008513067 A JP 2008513067A JP 2007531596 A JP2007531596 A JP 2007531596A JP 2007531596 A JP2007531596 A JP 2007531596A JP 2008513067 A JP2008513067 A JP 2008513067A
Authority
JP
Japan
Prior art keywords
blood vessel
image
vessel
segment
diameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007531596A
Other languages
English (en)
Other versions
JP4990143B2 (ja
Inventor
ヴァルトハルト ヴィルサー
Original Assignee
イメドース ゲーエムベーハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by イメドース ゲーエムベーハー filed Critical イメドース ゲーエムベーハー
Publication of JP2008513067A publication Critical patent/JP2008513067A/ja
Application granted granted Critical
Publication of JP4990143B2 publication Critical patent/JP4990143B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Geometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Abstract

デジタル画像に基づいた網膜血管分析のための方法および装置の目的は、個々の血管のリスク、特に脳卒中のリスクを、より高い信頼性で、主観的な系統誤差および偶然誤差を少なくして決定し得るように、健常な血管状態とリスクのある血管状態を区別する能力を向上させると同時に、手動労力を低減し、時間を節約することである。乳頭を取り囲む測定ゾーンの血管部分に沿った一連の隣接血管セグメントについて血管セグメント直径、血管の種類、および画像座標が決定され、血管セグメントごとに、評価される画像に関して、時間をずらして記録される基準画像に関して、および、血管セグメントについて基準画像と評価される比較画像の間で決定される変位ベクトルに関して記憶される。比較測定は、基準画像で既に測定された同一の血管セグメントだけについて行われる。血管部分および血管の種類に対する血管セグメントの相関は、基準画像からそのまま採用される。基準画像と比較画像の血管セグメントについての記憶されたデータセットにより、測定された全ての血管セグメントについてパラメータを決定し、それらの空間分解された推移を、例えば、推移画像で表すためのベースとして、座標に関する血管セグメント直径の推移が提供される。

Description

本発明は、デジタル画像に基づいた網膜血管の分析方法に関し、中心血管から延び、動脈と静脈でタイプが異なる測定されるべき血管部分を含むリング形の測定ゾーンが乳頭の周囲に配置され、これらの血管部分のそれぞれについて血管径が決定され、血管部分の決定された血管径からパラメータが計算される。
本発明は、更に、画像を記録するための散瞳または無散瞳眼底カメラ;データ入力媒体およびデータ出力媒体が設けられており、相関する画像データと患者データを取得、記憶、およびアーカイブするシステムを有する制御および評価コンピュータ;中心血管から延び、測定される血管部分を含む画像中の乳頭を取り囲むリング形の測定ゾーンを決定するための手段;血管径を決定するための測定デバイス;および、測定された血管径からパラメータを決定するための計算手段を含む、デジタル画像に基づいた網膜血管の分析装置に関する。
眼底のデジタル画像を使用する定量的血管分析で、血管のリスクを評価することが可能であり、これは、例えば、ハバード(Hubbard)らによる細動脈対細静脈の比(非特許文献1)でA/V(PSH)比として決定することができる。例えば、ある調査(ARICスタディ)では、女性でA/V比と心臓血管のリスクの間に血圧や他のリスク要因に依らない関係を、および、女性と男性で脳卒中と糖尿病について決定することができた。
乳頭の周囲のリング形の測定ゾーン内に配置される動脈および静脈の限界値を上回る値の血管径から、予め決定された式でパラメータとしてA/V(PSH)比を計算するため、デジタル眼底画像を評価した。このために、ハバード(Hubbard)の式(非特許文献2)に基づいて測定された動脈全部と測定された静脈全部の血管径から、中心細動脈相当物(central arteriolar equivalent)CAE(PSH)および中心細静脈相当物(central venular equivalent)CVE(PSH)が計算される。A/V(PSH)比は商:CAE(PSH)/CVE(PSH)として決定される。
ウォン(Wong)ら(非特許文献3)は、測定ゾーン内の動脈および静脈として識別される血管から大きい血管部分の小部分を選択すること、および、A/V(PSH)比の計算に用いるため1つの血管小部分につき5つの測定から血管全体を特徴付ける平均血管径を決定することを提案している。
パラメータを決定する際に方法に関連する標準偏差が多数の分類限界を超え、測定の不確かさが大きいため、且つ個々の間のばらつきが大きいため、個々の追跡調査および健常な試験群に対する個々のA/V(PSH)比の比較では、健常なものと脳卒中のリスクが高いものの区別が少ししかできず、その結果、個々の診断にあまり適していない。更に、ウォン(Wong)らによって記載されている既知の方法における追跡調査および健常なものの測定との比較の評価には、時間がかかる。更に、方法を手動および半手動で実施することによる主観的な系統誤差および偶然誤差の発生が高い。
Ophthalmology(眼科学)、106巻、1999年12月、2269〜2280頁 Ophthalmology(眼科学)、106巻、1999年12月、2272頁 Ophthalmology(眼科学)、111巻、2004年6月、1183〜1190頁
従って、本発明の目的は、個々の血管のリスク、特に脳卒中のリスクを、より高い信頼性で、且つ、主観的な系統誤差および偶然誤差をより少なくして決定し得るように、健常な血管状態と危険な血管状態を区別する能力を向上させると同時に、手動労力を低減し、時間を節約することである。
この目的は、請求項1の特徴部分の記載により、冒頭に記載されているような網膜血管分析方法で達成される。有利な展開は、従属請求項に記載されている。
血管部分に沿って一連の隣接血管セグメントが選択され、血管セグメント直径、血管部分に対する割り当て、動脈または静脈で区別される血管の種類、および、対応付けられる画像座標がどの血管セグメントについても決定され、後の比較測定のためにそれらにアクセスできるように、評価される画像に関するデータセットに血管セグメントごとに一緒に記憶およびアーカイブされる。時間をずらして記録された同じ目の比較画像を比較測定することによって、選択された基準画像と同一の血管セグメントについて比較画像中で血管径が自動的に決定され、ここで、血管の種類および血管部分に対する血管セグメントの関連付け(相関)は、基準画像からそのまま採用される。比較画像中の血管セグメントに関するデータセットは、基準画像との照合、および、基準画像と比較画像の間の血管セグメントの変位ベクトルで補われる。基準画像中の血管セグメントに関するデータセットと、基準画像と照合される比較画像中の血管セグメントに関するデータセットにより、正確に比較可能な血管セグメント直径のデータベースに時間推移が提供される。本発明によれば、有益なパラメータは、これに基づいて形成され、グラフまたはフローチャート(推移画像)で明確に表現され、それによって、健常な血管と病気の血管を区別する能力、および、微小血管のリスクの診断の有益性がかなり向上する。
ウォン(Wong)らとは対照的に、好ましくは測定ゾーン内の検出可能な血管セグメントの全部について測定が行われる本発明による方法は、定義可能なプロトコルに従ってこれらの血管部分のパラメータを生成することにより、血管部分の直径曲線から導かれる有利な情報を提供することができる。1つの血管を代表するものとして1つの値だけを考慮するのではなく、ここでは位置に依る応測定が血管で行われるため、機能的なおよび病理的な血管の変化(狭窄および拡張など)を検出することができ、それによって検査方法の有効性が実質的に増大する。また、測定の不確かさは血管の長さに反比例するため、本方法の適用は有利である。
同じ患者の目で少なくとも1つの検査が既に実施されているとき、本発明は、有利には比較測定の可能性を提供し、本方法を実施するのに使用される装置でこの検査の測定値および画像にアクセスすることができる、即ち、それらはメモリに記憶される。
従って、基準画像に対して時間をずらして記録された比較画像で患者に関する比較測定を実施するとき、基準画像中の血管セグメントと同一の比較画像中の血管セグメントの直径が決定され、どの血管セグメントに対する血管の種類および血管部分の相関も、基準画像のデータセットから比較画像のデータセットにそのまま採用され、比較画像の血管セグメントに関するデータセットは、少なくとも基準画像との関係で拡張される。
有利な方法では、基準画像中の血管セグメントと同一の比較画像中の血管セグメントの直径の測定を自動的に行うことができるように、比較画像中の血管セグメントの座標は、予め決定された変位ベクトルにより基準画像中の血管セグメントの座標から計算される。そうすることにより、比較画像の血管セグメントのデータセットは、少なくとも血管セグメントの変位ベクトルだけ拡張される。
基準画像で一回だけ決定された比較画像中の測定位置の全部の画像座標は空間補正され、基準画像で一回決定されて維持された血管の種類に対する相関のように、比較画像での測定に自動的に提供されるため、評価される画像シーケンスに関わらず、正確に同一の位置および同一の相関(象限、動脈相関、静脈相関)を有する測定値だけが、個々の管路の変化の決定および表示に含まれるように、比較画像中での測定は、常に、画像コンテンツが選択された基準画像中のものと同一である位置で行われる。
また、比較画像の全部および基準画像で血管セグメント直径が決定され得る同一の血管セグメントだけを、複数の比較画像の比較測定のパラメータを決定するのに使用すること、並びに、血管径およびパラメータについて基準画像と比較画像の絶対的および相対的な差が生じることは、とりわけ重要である。
従って、全体としては、画像または測定位置座標が空間補正されるか否かに関わらず、測定位置の客観的空間補正および自動プリセット、並びに、画像シーケンス、所与のパラメータまたはパラメータベクトルの任意の決定された基準画像に対する時間と位置に関して無条件に完全である評価可能なデータセットの客観的選択が可能になる。
基準画像からの血管セグメント直径と、比較画像からのものとの差を生成することによって、または、血管セグメント直径から計算されるパラメータ間の差からも、微小血管の状態の非常に敏感な変化を決定することができる。
どの血管部分についても、パラメータの決定に使用される平均直径が、血管セグメント直径の推移から算術平均として形成されるため、特に有利にパラメータを決定することができる。
細動脈血管部分と細静脈血管部分の平均直径から、第1および第2のパラメータとして中心細動脈相当物と中心細静脈相当物を決定することができ、それから第3のパラメータとして細動脈対細静脈の比を導くことができ、これらは、ハバード(Hubbard)に基づいて計算されるが、従来技術よりずっと再現性が高く、より正確なパラメータを本発明に基づいて提供する。
しかし、中心細動脈相当物と中心細静脈相当物は、好ましくは、平均血管部分直径のn乗全部の合計のn乗根として形成され、ここで、中心細動脈相当物には2.5〜3.0の間、好ましくは2.7のnの値が使用され、中心細静脈相当物には2.0〜2.5の間、好ましくは2.1のnの値が使用される。
また、どの血管部分でも、最大直径および最小直径、並びに平均血管セグメント直径のばらつきを第4のパラメータベクトルとして決定することができる。
更に、平均血管セグメント半径の4乗の逆数を、血管セグメントの血管の抵抗を説明するための第5のパラメータとして形成することができ、血管の長さと血管の半径の商を、局所的な圧力低下を説明するための第6のパラメータとして形成することができる。
血管セグメントでは、血管の長さは、予め設定することができる血管セグメントの長さであるが、血管セグメントの長さが変わり得る場合、それは計算によって更新されなければならない。この場合、血管の半径は、血管セグメント直径の半分である。血管部分全体の場合、血管部分の血管の長さを計算しなければならず、血管の半径は血管部分の平均血管径の半分である。
リング形の測定ゾーンの内側境界の最も近くにある血管部分の平均血管径から、および、リング形の測定ゾーンの外側境界の最も近くにある血管部分の平均血管径から、中心細動脈相当物、中心細静脈相当物、および細動脈対細静脈の比について、それぞれ内側の値と外側の値を形成することによって、別のパラメータを決定することができる。
血管部分の追加のパラメータとして、第7、第8および第9のパラメータを、
−血管部分の平均直径の2乗全部の合計の平方根として、
−血管部分の平均直径の3乗全部の合計の3乗根として、および
−血管部分の平均直径の4乗全部の合計の4乗根として、
形成することができ、ここで、
−動脈および静脈の中心相当物は、第7、第8および第9のパラメータから決定され、細動脈対細静脈の比はこれらの中心相当物から形成される。
これらの追加のパラメータから、どの血管部分についても、4つの分類で限局性狭窄を検出するための閾値として有利に使用できるパラメータを導くことができ、平均血管部分直径の1乗、2乗、3乗または4乗は、対応付けられる閾値N1またはN2、N3またはN4より小さい。
閾値がパーセンテージとして与えられる場合、限局性狭窄を検出するためのパラメータの絶対値は、以下のようになる:
−第1のパラメータ限局性狭窄N1=N1の閾値パーセンテージ×血管部分の平均直径/100%、
−第2のパラメータ限局性狭窄N2=N2の閾値パーセンテージ×第7のパラメータ/100%、
−第3のパラメータ限局性狭窄N3=N3の閾値パーセンテージ×第8のパラメータ/100%、および
−第4のパラメータ限局性狭窄N4=N4の閾値パーセンテージ×第9のパラメータ/100%。
血管セグメントを自動または半自動の測定モジュールで測定することができるように、本発明による方法は、従来のように血管セグメントに対話式に手動でマーク付けすること、および、それらを手動で血管部分および血管の種類に相関させることが可能である。これは、非常に時間がかかり、誤差が起こりやすい。しかし、本発明によれば、既に完全に自動的に比較測定を行うことができる。血管追跡系(vessel trackers)の使用も可能である。この場合、血管追跡系では、血管セグメントの全部を手動でマーク付けし、相関させることは、もはや必要ではなく、開始セグメントだけでよく、血管追跡系は、後で血管部分の他の血管セグメントを検出し、それらを追跡し、測定するために血管セグメントを測定モジュールに送る。次いで、この測定モジュールで血管セグメント直径を決定する。しかし、血管のセグメント化および他の方法でも、血管セグメントを自動的に検出し、それらを血管部分および血管の種類に相関させることが可能である。
従って、前述の実施形態の全てにおいて測定時間および評価時間が激減するため、本発明による方法でずっと効率的にパラメータを決定することができる。パラメータは、主観的影響の減少により高い客観性を有するため、比較画像でのパラメータ比較は、基準測定がなくても、既知の技術的解決法よりかなり再現性が高く、正確である。
これはリスク評価に特に有利であり、リスク評価を、ばらつきの大きい様々なリスク群のほとんど区別のつかない母集団を比較することによって(依然として可能であるが)行う必要がもはやなく、しかし、それを個々の検証可能な管路の変化に減ずることができる。
本発明の別の実施形態では、比較画像と基準画像の空間分解されたパラメータ間の差が計算され、基準画像から異なる画像が生成され、その異なる画像中に、比較測定からそれぞれ決定された直径差または空間分解されたパラメータまたは空間分解されたパラメータの差が正しい座標でカラーコード化されて入力される。
血管径、および/または、パラメータ、または比較画像と基準画像とのその差が画像記録の時間の関数としてグラフで表される、推移グラフィックス(Progress graphics)を生成することができる。
また、血管セグメント直径がコード化されて再現されるか、または血管部分が特徴付けられるように、評価される画像中に血管セグメントの位置がマーク付けされるため、決定されたパラメータとパラメータの差をデータ出力のために要約して文書化すると有利である。異なる色でコード化を行うとき、狭い血管部位と広い血管部位を明確に、評価に有利なように示すことができる。
更に、血管セグメント化デバイスが血管セグメント、および、動脈と静脈で区別されるその血管の種類を検出し、画像中の血管セグメントの座標を取得し、検出される血管部分および画像座標に沿って一連の隣接血管セグメントを選択し、各血管セグメントの血管径を決定するための測定デバイスによって決定された血管セグメント直径を有する血管セグメントのデータセットが、対応付けられる画像座標、対応付けられる血管部分、対応付けられる血管の種類、および評価される画像との関係と一緒に記憶され、アーカイブされる血管セグメント記憶装置が設けられることによって、前述の目的は、網膜血管分析のための冒頭に記載したような装置で本発明に従って達成される。
本発明による手段をデバイス中で統合させても、または、画像記録、評価および表示を異なる位置で行うことができるように互いに空間的に分離していてもよい。画像または評価結果の遠隔データ伝送も、例えば、インターネットまたは他の媒体を介して行うことができる。
血管径を決定するための測定デバイス、並びに動脈と静脈で血管部分を検出および区別するための手段は、血管セグメント直径の決定および血管の種類に対する相関を自動的に行うことができるように、好ましくは自動運転するデバイスである。
本発明による装置は、基準画像に対して時間をずらして記録される比較画像で患者に関する比較測定をするために、基準画像中の血管セグメントの画像座標から比較画像中の同一の血管セグメントの画像座標を計算する座標変換手段を含む、同一の血管セグメントを取り出すためのデバイス;および、基準画像と少なくとも1つの比較画像との測定特有の差およびパラメータ特有の差を決定し、測定された血管セグメント直径間、およびパラメータ間の差を生成し、空間分解された差をカラーコード化し、それらを基準画像中で正しい座標で異なる推移画像に構築する差生成系を含むことによって特に有利に、更に開発され得る。
基準画像および比較画像を選択するため、画像選択デバイスを使用することができる。
更に、血管分析ログ(ログ記録/文書化)、および、血管セグメントの直径または空間分解されたパラメータが評価のために明瞭に表されている、例えば、眼底画像中でカラーコード化されている臨床状態画像を生成するために、血管分析文書化ユニットを有利に提供することができる。
以下で概略的な図面を参照して本発明をより詳細に説明する。図面は、網膜血管の分析装置をブロック図で示す。
理解し易くするように装置を図面に示す方法を選択したが、対応する技術的現状を参照することによって構造的最適化が達成され得る。
患者の目1を検査するために、眼底写真撮影用のデジタル画像化またはデジタル化システムを有する無散瞳または散瞳眼底カメラ2が提供され、コンピュータ3と連絡する。対話モードに役立つ入力媒体4(例えば、キーボードおよびマウス)、および対話のため、および結果を表示および出力するための出力媒体5(例えば、スクリーンおよびプリンタ)は、眼底カメラ2に接続される。
好ましい画像化システム6は、画像データと患者データを取得、記憶、およびアーカイブするのに役立ち、ここで、例えば、患者ID、右/左目、検査の日時、および、特に本発明に従って決定される他のデータ(例えば、血管セグメントデータセットGSi)などの、画像化システム6に記憶された患者データと検査データPとUの間に各個々の画像EBの画像識別(画像ID)により照合接続(referenced connection)を行うことができる。
画像化システム6の代わりに、画像に対して確定した関係にある、確定した患者識別、被検眼識別、および検査日時識別のためのデータを少なくとも記憶する他の手段を提供することもできる。これがデータベースで、または、画像のための追加の記憶位置で直接、例えば、データが画像への固定接続で記憶されているDICOM標準に従って行われるかどうかは重要ではない。
血管に依り血管セグメントGSを自動検出するために自動血管検出デバイス7−1が使用され、これは、また、血管の種類(動脈または静脈)、および、画像中の画像座標に依り行われ、同時に血管セグメントを血管部分に相関させる。
評価技術によって乳頭の周囲にリング形の測定ゾーンが形成され、そこに存在する血管は血管部分として調査されるため、血管セグメントGSは、表示または出力された血管セグメント直径で幾何学的に分解される最小の血管の単位を意味し、ここで、血管、特に血管部分は、血管の管路に沿った複数の血管セグメントGSによって形成される。
血管部分に沿って検出された血管セグメントGSdごとに血管径を自動的に測定する、血管径を決定するための測定デバイス7−2に、検出された血管セグメントGSdを送る。幾つかの場合、どの血管セグメントについても血管セグメント直径を決定できるわけではないことを考慮に入れなければならない。
少なくとも血管セグメントGSdの1つの測定位置で、しかし好ましくは、次の平均化の間中、複数の測定位置で血管セグメント直径が決定され、これは、測定の確かさが大きいことの他に、血管の延長の傾斜した姿勢を測定線に対して補正することができるという利点を有する。
決定された(平均)血管セグメント直径を表示、出力、および、必要に応じて、記憶することができると同時に、計算後、血管セグメント直径が利用可能であるとき、一時的に記憶されるに過ぎない測定位置の個々の測定値は廃棄され、もはや他の処理に使用されない。
自動血管検出デバイス7−1および血管径を決定するための測定デバイス7−2が別々のデバイスとして構成されるか若しくは共通のデバイスを形成するかどうか、または、血管セグメントGSの検出、血管の種類の検出、直径の測定、画像座標の決定、および、血管部分に対する血管セグメントGSの相関が個々の段階で行われるか若しくは任意選択的に組み合わせられるか、若しくは、例えば、測定ゾーンに沿ってセグメントごとに案内される血管追跡系で1段階だけで行われ、出発点自体も検出するかどうかは重要ではない。しかし、血管セグメントGSがその相関および平均血管セグメント直径と共に固定記憶され、従って後の評価に利用可能であることは重要である。
従って、血管セグメント直径に利用可能なそれらの血管セグメントGSdは、この血管セグメント直径と共に血管セグメントGSiとして血管セグメント記憶装置7−3に送られ、そこで、それらは、評価される個々の画像EB、血管部分、血管の種類および画像座標、並びに、基準画像RBに対するそれらの相関と共に記憶され、アーカイブされる。従って、好ましくは、どの血管セグメントも、血管セグメント直径、評価される画像中の血管セグメント座標、血管部分との相関、血管の種類(動脈または静脈)との相関、および、評価される画像との関係を含むそれ自身のデータセットを得る。評価される画像との関係で、検査データおよび患者データ、並びに、被検眼との関係も生成することができる。
血管分析のパラメータを決定するための評価ユニット7−4は、血管セグメントGSiのデータセットからパラメータKGを計算し、一時的に記憶する。この種のパラメータKGは、既知のモデル式で、乳頭を取り囲むリング形の測定ゾーン内に配置される細動脈と細静脈の血管の決定された直径を組み合わせる中心細動脈相当物CAEと中心細静脈相当物CVE、2つのパラメータからの比CAE(PSH)/CVE(PSH)、細動脈対細静脈の比(A/V(PSH)比)を包含する。
血管分析で得られた個々の画像結果の文書化は、血管分析文書化ユニット7−5によって行われる。血管分析ログ、および、評価し易くするために血管セグメント直径または空間分解されたパラメータが、例えば、カラーコード化されて表示される臨床状態画像が生成される。
調査される第1の画像または基準画像RBを、対応付けられる比較画像VBと共に、または一連の比較画像と共に選択するため、画像選択デバイス8を使用する。比較画像VBは、基準画像RBに関して時間をずらして記録される画像であり、それによって患者の目における変化を決定することができる。
基準測定を行う場合、画像選択デバイス8は、最初、選択のため、既に評価された患者の目の全ての関連画像を提供する。次いで、評価されたまたは評価されていない、この患者の目の他の全ての画像が、選択のため比較画像として提供される。一連の比較画像全部を一緒に合わせることもでき、逐次的に基準画像を照合して作成することができる。
同一の血管セグメントを取り出すための手段(10)と対応付けられる座標変換手段9は、変位ベクトルを決定し、それによって、比較画像VB中の同一の血管セグメントまたは比較画像VBの特徴の実際の位置を基準画像RBに変換することができる。
座標変換の好適な手段が従来技術から既知であり、2つの画像間の同一の画像点の変位ベクトルを計算する。最も単純な場合、同じ変位座標が全ての画像点に適用されるように、2つの垂直座標の変位を決定するだけの画像相関方法を使用することができる。しかし、セグメントまたは画像点ごとに変位ベクトルを計算できる方法が、より正確である。
基準画像RBと少なくとも1つの比較画像VBとの測定特有のおよびパラメータ特有の差を決定するため、および、推移画像または変化画像若しくはパラメータのチャートを提供するために差生成系7−6が提供され、そのために、測定された血管セグメント直径間、およびパラメータ間の差が生成される。
網膜血管の分析装置のブロック図である。

Claims (21)

  1. 中心血管から延び、動脈と静脈でタイプが異なる測定されるべき血管部分を含むリング形の測定ゾーンが、乳頭の周囲に一定の距離で配置されており、上記血管部分のそれぞれについて血管径が決定され、前記血管部分の決定された血管径からパラメータが計算される、デジタル画像に基づいた網膜血管の分析方法において、
    前記血管部分に沿って一連の隣接血管セグメントが選択され、どの血管セグメントについても血管セグメント直径および所属の画像座標が決定され、前記血管セグメントが、動脈または静脈で区別される血管の種類、および血管部分に関連付けられること、並びに、
    どの血管セグメントについても、少なくとも前記血管セグメントの座標、前記血管セグメント直径、関連付けられる血管の種類、関連付けられる血管部分、および、評価される画像との関係を含むデータセットが記憶され、アーカイブされることを特徴とする、方法。
  2. 基準画像に対して時間をずらして記録される比較画像での患者に関する比較測定で、前記基準画像中の血管セグメントと同一の、前記比較画像中の血管セグメントの直径を決定すること、どの血管セグメントに対する血管の種類および血管部分の関連付けも、前記基準画像のデータセットから前記比較画像のデータセットにそのまま採用されること、および、前記比較画像中の血管セグメントに関するデータセットが少なくとも前記基準画像との関係で補われることを特徴とする、請求項1に記載の方法。
  3. 前記基準画像中の血管セグメントと同一の前記比較画像中の血管セグメントを決定するため、前記比較画像中の血管セグメントの座標が、予め決定された変位ベクトルを用いて前記基準画像中の血管セグメントの座標から計算され、それによって前記基準画像中の血管セグメントと同一の前記比較画像中の血管セグメントの直径の測定が自動的に行われ得ること、および
    前記比較画像の血管セグメントのデータセットが少なくとも前記血管セグメントの変位ベクトルだけ拡張されることを特徴とする、請求項2に記載の方法。
  4. 前記比較画像の全部および前記基準画像で血管セグメント直径を決定することができる同一の血管セグメントだけが、複数の比較画像の比較測定でパラメータを決定するのに使用されること、および
    前記血管径およびパラメータのために、前記基準画像と前記比較画像との絶対的および相対的な差が生成されることを特徴とする、請求項2または3に記載の方法。
  5. パラメータを決定するのに使用される平均直径が、血管セグメント直径の推移から、各血管部分に対する算術平均として形成されることを特徴とする、請求項1〜4のいずれか1項に記載の方法。
  6. 第1および第2のパラメータとして、中心細動脈相当物と中心細静脈相当物が、前記細動脈血管部分と前記細静脈血管部分の平均直径から、決定され、それから第3のパラメータとして、細動脈対細静脈の比が導かれることを特徴とする、請求項5に記載の方法。
  7. 前記中心細動脈相当物と前記中心細静脈相当物が、前記平均血管部分直径のn乗全部の合計のn乗根として形成され、その際、前記中心細動脈相当物に2.5〜3.0の間のnの値が使用され、前記中心細静脈相当物に2.0〜2.5の間のnの値が使用されることを特徴とする、請求項6に記載の方法。
  8. どの血管部分についても、最大直径および最小直径、並びに前記平均血管セグメント直径のばらつきが、第4のパラメータベクトルとして決定されることを特徴とする、請求項1〜4に記載の方法。
  9. 前記平均血管セグメント半径の4乗の逆数が、血管セグメントの血管抵抗を説明するための第5のパラメータとして形成されることを特徴とする、請求項1〜4のいずれか1項に記載の方法。
  10. 前記血管の長さと血管半径の商が、局所的な圧力低下を説明するための第6のパラメータとして形成されることを特徴とする、請求項1〜5のいずれか1項に記載の方法。
  11. 前記リング形の測定ゾーンの内側境界の最も近くにある前記血管部分の平均血管径から、および、前記リング形の測定ゾーンの外側境界の最も近くにある前記血管部分の平均血管径から、中心細動脈相当物、中心細静脈相当物、および細動脈対細静脈の比についてそれぞれ内側の値と外側の値が形成されることを特徴とする、請求項1〜6のいずれか1項に記載の方法。
  12. 第7のパラメータ、第8のパラメータおよび第9のパラメータが、
    −血管部分の平均直径の2乗全部の合計の平方根として、
    −血管部分の平均直径の3乗全部の合計の3乗根として、および
    −血管部分の平均直径の4乗全部の合計の4乗根として、
    形成されること、および、
    −動脈および静脈の中心相当物が、上記第7、第8および第9のパラメータから決定され、これら中心相当物から細動脈対細静脈の比が形成されること、
    を特徴とする、請求項6に記載の方法。
  13. どの血管部分についても限局性狭窄のパラメータが決定され、閾値がパーセンテージとして与えられる場合、その絶対値は以下のようになることを特徴とする、請求項12に記載の方法:
    −第1のパラメータ限局性狭窄N1=N1の閾値パーセンテージ×前記血管部分の平均直径/100%、
    −第2のパラメータ限局性狭窄N2=N2の閾値パーセンテージ×第7のパラメータ/100%、
    −第3のパラメータ限局性狭窄N3=N3の閾値パーセンテージ×第8のパラメータ/100%、および
    −第4のパラメータ限局性狭窄N4=N4の閾値パーセンテージ×第9のパラメータ/100%。
  14. 前記比較画像と前記基準画像の空間分解されたパラメータ間の差が計算されること、および、前記基準画像から異なる画像が生成され、前記異なる画像中で、それぞれ前記比較測定から決定された前記直径差または空間分解されたパラメータまたは空間分解されたパラメータの差が正しい座標でカラーコード化されて入力されることを特徴とする、請求項2〜13のいずれか1項に記載の方法。
  15. 前記血管径および/または前記パラメータ、または前記比較画像と前記基準画像のその差が画像記録の時間の関数としてグラフで表される、推移グラフィックスが生成されることを特徴とする、請求項2〜13のいずれか1項に記載の方法。
  16. 決定されたパラメータおよびパラメータ差が、データ出力のために要約されてログ記録されることを特徴とする、請求項4〜13のいずれか1項に記載の方法。
  17. 前記血管セグメント直径がコード化されて再生されるか、または前記血管部分が特徴付けられるように、前記血管セグメントの位置が前記評価される画像中にマーク付けされることを特徴とする、請求項5〜13のいずれか1項に記載の方法。
  18. 画像を記録するための散瞳または無散瞳眼底カメラ;データ入力媒体およびデータ出力媒体を備え、相関する画像データと患者データを取得、記憶、およびアーカイブするシステムを有する制御および評価コンピュータ;中心血管から延び、測定されるべき血管部分を含む画像中の乳頭を取り囲むリング形の測定ゾーンを決定するための手段;前記血管径を決定するための測定デバイス;および、前記測定された血管径からパラメータを決定するための計算手段を含む、デジタル画像に基づいた網膜血管の分析装置において、
    血管セグメント化デバイス(7−1)が、前記血管セグメント、および、動脈と静脈で区別されるその血管種類を検出し、前記画像中の前記血管セグメントの座標を取得し、前記検出された血管部分および画像座標に沿って一連の隣接血管セグメントを選択し、各血管セグメントに対する前記血管径を決定するための測定デバイス(7−2)によって決定された前記血管セグメント直径を有する前記血管セグメントのデータセットが、前記属する画像座標、前記関連付けられる血管部分、前記関連付けられる血管の種類、および前記評価される画像との関係と共に記憶され、アーカイブされる血管セグメント記憶装置(7−3)が提供されることを特徴とする、装置。
  19. 基準画像に対して時間をずらして記録される比較画像での患者に関する比較測定のため、
    前記基準画像中の血管セグメントの画像座標から前記比較画像中の同一の血管セグメントの画像座標を計算する座標変換手段(9)を含む、同一の血管セグメントを取り出すためのデバイス(10)、および、
    基準画像と少なくとも1つの比較画像との間の測定値特有の差およびパラメータ特有の差を決定し、前記測定された血管セグメント直径間とパラメータ間の差を生成し、空間分解された差をカラーコード化し、それらを基準画像中に正しい座標で異なる推移画像に構築する差生成系(7−6)を更に含むことを特徴とする、請求項18に記載の装置。
  20. 基準画像と比較画像を選択するため、画像選択デバイス(8)が設けられることを特徴とする、請求項18または19に記載の装置。
  21. 血管分析ログ、および、前記血管セグメントの直径または空間分解されたパラメータが明瞭な評価のために、異なる画像中で表される臨床状態画像を生成するため、血管分析文書化ユニット(7−5)が設けられることを特徴とする、請求項18〜20のいずれか1項に記載の装置。
JP2007531596A 2004-09-21 2005-09-21 デジタル画像で網膜血管を分析するための方法および装置 Expired - Fee Related JP4990143B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102004046141.4 2004-09-21
DE102004046141 2004-09-21
PCT/DE2005/001680 WO2006032261A1 (de) 2004-09-21 2005-09-21 Verfahren und vorrichtung zur retinalen gefässanalyse anhand digitaler bilder

Publications (2)

Publication Number Publication Date
JP2008513067A true JP2008513067A (ja) 2008-05-01
JP4990143B2 JP4990143B2 (ja) 2012-08-01

Family

ID=35457539

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007531596A Expired - Fee Related JP4990143B2 (ja) 2004-09-21 2005-09-21 デジタル画像で網膜血管を分析するための方法および装置

Country Status (4)

Country Link
US (1) US8098908B2 (ja)
JP (1) JP4990143B2 (ja)
DE (1) DE112005002929A5 (ja)
WO (1) WO2006032261A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007283105A (ja) * 2006-04-18 2007-11-01 Imedos Gmbh 網膜血管を分析する装置及び方法
JP2011516200A (ja) * 2008-04-08 2011-05-26 ナショナル ユニヴァーシティー オブ シンガポール 網膜画像分析システム及び方法
KR101124039B1 (ko) * 2010-09-02 2012-03-23 서울대학교산학협력단 광학적 망막 특성 측정 장치
JP2014533567A (ja) * 2011-11-23 2014-12-15 インストゥルメンタシオン イ オフタルモロヒア(インソフト,エセ.エレ.) ヘモグロビンの測定方法および測定装置
JP2017196306A (ja) * 2016-04-28 2017-11-02 キヤノン株式会社 画像処理装置及び画像処理方法
JP2021087817A (ja) * 2021-02-24 2021-06-10 キヤノン株式会社 画像処理装置及び画像処理方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006002259A1 (de) * 2006-01-17 2007-07-19 Siemens Ag Verfahren zur Untersuchung von Gefäßen eines Patienten auf der Grundlage von innerhalb eines Untersuchungsbereichs mit einem Tomographiegerät erfassten Bilddaten
DE102008018701A1 (de) * 2008-04-09 2009-10-15 Carl Zeiss Meditec Ag Verfahren zur automatisierten Detektion und Segmentierung der Papille in Fundusaufnahmen
US7856135B1 (en) 2009-12-02 2010-12-21 Aibili—Association for Innovation and Biomedical Research on Light and Image System for analyzing ocular fundus images
JP6716604B2 (ja) * 2015-01-19 2020-07-01 スタツマヌ・アイシーピー・エーピーエスStatuManu ICP ApS 頭蓋内圧の非侵襲的評価のための方法及び装置
JP7341874B2 (ja) * 2018-12-26 2023-09-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
EP3719808A1 (en) * 2019-04-04 2020-10-07 Optos PLC Determining levels of hypertension from retinal vasculature images
DE102020129792B4 (de) * 2020-11-11 2023-03-09 Volume Graphics Gmbh Computerimplementiertes Verfahren zum Ermitteln eines Werts eines geometrischen Parameters
CN114663421B (zh) * 2022-04-08 2023-04-28 皖南医学院第一附属医院(皖南医学院弋矶山医院) 基于信息迁移和有序分类的视网膜图像分析系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63264041A (ja) * 1987-04-22 1988-10-31 渡辺 剛 眼底網膜血管径計測方法および装置
JPH0363030A (ja) * 1989-07-31 1991-03-19 Canon Inc 眼科用計測装置
JPH1071125A (ja) * 1996-08-29 1998-03-17 Nippon Telegr & Teleph Corp <Ntt> 眼底の動静脈径比の計測方法
WO1998023202A1 (de) * 1996-11-26 1998-06-04 Walthard Vilser Vorrichtung und verfahren zur untersuchung von biologischen gefässen
JPH10243924A (ja) * 1997-03-05 1998-09-14 Nippon Telegr & Teleph Corp <Ntt> 眼底の動静脈径比の計測方法
JP2000166876A (ja) * 1998-12-11 2000-06-20 Nippon Telegr & Teleph Corp <Ntt> 眼底画像における動静脈血管径比の経時変化自動計測方法、そのシステム及びそのプログラムを記録した記録媒体
JP2001145604A (ja) * 1999-11-19 2001-05-29 Nippon Telegr & Teleph Corp <Ntt> 眼底画像の動静脈識別方法及び装置
JP2001275976A (ja) * 2000-03-31 2001-10-09 Canon Inc 眼底検査装置
JP2004181233A (ja) * 2002-11-25 2004-07-02 Eastman Kodak Co 画像中の重要領域決定方法及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2690027B2 (ja) * 1994-10-05 1997-12-10 株式会社エイ・ティ・アール音声翻訳通信研究所 パターン認識方法及び装置
US5674405A (en) * 1995-07-28 1997-10-07 Modar, Inc. Method for hydrothermal oxidation
US5935076A (en) * 1997-02-10 1999-08-10 University Of Alabama In Huntsville Method and apparatus for accurately measuring the transmittance of blood within a retinal vessel
US5912720A (en) * 1997-02-13 1999-06-15 The Trustees Of The University Of Pennsylvania Technique for creating an ophthalmic augmented reality environment
US5993001A (en) * 1997-06-05 1999-11-30 Joslin Diabetes Center, Inc. Stereoscopic imaging system for retinal examination with remote examination unit
NL1014075C2 (nl) * 2000-01-13 2001-07-16 Koninkl Kpn Nv Methode en inrichting voor het bepalen van de kwaliteit van een signaal.
US6741880B1 (en) * 2000-06-16 2004-05-25 General Electric Company Method and apparatus for efficient stenosis identification and assessment using MR imaging
EP1323116A4 (en) 2000-08-23 2009-02-18 Philadelphia Opthalmologic Ima ARRANGEMENTS AND METHODS FOR TELE-OPHTHALMOLOGY
JP4265876B2 (ja) * 2000-11-06 2009-05-20 富士フイルム株式会社 画像を幾何学的に計測するための計測処理装置
US6913888B2 (en) * 2001-12-11 2005-07-05 Duke University Toll-like receptor 4 mutations
JP4217023B2 (ja) * 2002-02-25 2009-01-28 一郎 佐久間 血管内皮計測装置
DE10221472B4 (de) * 2002-05-15 2004-07-08 E-Eyecare Gmbh Diagnoseeinrichtung
JP4804005B2 (ja) * 2002-11-13 2011-10-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 境界構造を検出するための医用ビューイングシステム及び方法
WO2005031635A1 (en) * 2003-09-25 2005-04-07 Paieon, Inc. System and method for three-dimensional reconstruction of a tubular organ
US20060036167A1 (en) * 2004-07-03 2006-02-16 Shina Systems Ltd. Vascular image processing
EP1869637A1 (en) * 2005-03-31 2007-12-26 Paieon Inc. Method and apparatus for positioning a device in a tubular organ
DE102005036564A1 (de) * 2005-08-03 2007-02-22 Siemens Ag Betriebsverfahren für eine bildgebende medizintechnische Anlage und hiermit korrespondierende Gegenstände

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63264041A (ja) * 1987-04-22 1988-10-31 渡辺 剛 眼底網膜血管径計測方法および装置
JPH0363030A (ja) * 1989-07-31 1991-03-19 Canon Inc 眼科用計測装置
JPH1071125A (ja) * 1996-08-29 1998-03-17 Nippon Telegr & Teleph Corp <Ntt> 眼底の動静脈径比の計測方法
WO1998023202A1 (de) * 1996-11-26 1998-06-04 Walthard Vilser Vorrichtung und verfahren zur untersuchung von biologischen gefässen
JP2000504256A (ja) * 1996-11-26 2000-04-11 ヴァルトハルト ヴィルザー 生物の血管を検査するための装置および方法
JPH10243924A (ja) * 1997-03-05 1998-09-14 Nippon Telegr & Teleph Corp <Ntt> 眼底の動静脈径比の計測方法
JP2000166876A (ja) * 1998-12-11 2000-06-20 Nippon Telegr & Teleph Corp <Ntt> 眼底画像における動静脈血管径比の経時変化自動計測方法、そのシステム及びそのプログラムを記録した記録媒体
JP2001145604A (ja) * 1999-11-19 2001-05-29 Nippon Telegr & Teleph Corp <Ntt> 眼底画像の動静脈識別方法及び装置
JP2001275976A (ja) * 2000-03-31 2001-10-09 Canon Inc 眼底検査装置
JP2004181233A (ja) * 2002-11-25 2004-07-02 Eastman Kodak Co 画像中の重要領域決定方法及びプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007283105A (ja) * 2006-04-18 2007-11-01 Imedos Gmbh 網膜血管を分析する装置及び方法
JP2011516200A (ja) * 2008-04-08 2011-05-26 ナショナル ユニヴァーシティー オブ シンガポール 網膜画像分析システム及び方法
US8687862B2 (en) 2008-04-08 2014-04-01 National University Of Singapore Retinal image analysis systems and methods
KR101124039B1 (ko) * 2010-09-02 2012-03-23 서울대학교산학협력단 광학적 망막 특성 측정 장치
JP2014533567A (ja) * 2011-11-23 2014-12-15 インストゥルメンタシオン イ オフタルモロヒア(インソフト,エセ.エレ.) ヘモグロビンの測定方法および測定装置
JP2017196306A (ja) * 2016-04-28 2017-11-02 キヤノン株式会社 画像処理装置及び画像処理方法
US10769789B2 (en) 2016-04-28 2020-09-08 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2021087817A (ja) * 2021-02-24 2021-06-10 キヤノン株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
JP4990143B2 (ja) 2012-08-01
DE112005002929A5 (de) 2007-08-30
WO2006032261A1 (de) 2006-03-30
WO2006032261A8 (de) 2006-06-08
US20080107310A1 (en) 2008-05-08
US8098908B2 (en) 2012-01-17

Similar Documents

Publication Publication Date Title
JP4990143B2 (ja) デジタル画像で網膜血管を分析するための方法および装置
US11207045B2 (en) Systems and methods for estimating healthy lumen diameter and stenosis quantification in coronary arteries
US9848765B2 (en) Quantifying a blood vessel reflection parameter of the retina
JP2004329929A (ja) 血管構造物における異常の自動検出方法および装置
JP6563949B2 (ja) 生物の心臓データを処理するための処理装置及び方法
JP2018163680A5 (ja)
KR101656740B1 (ko) 동맥 혈압 파형의 특징점 검출 장치 및 방법
US20230172451A1 (en) Medical image visualization apparatus and method for diagnosis of aorta
CN112674736A (zh) 一种用于自动评价血管形变的监测显示方法及系统
KR20210080328A (ko) 의료용 인공 신경망 기반 대표 영상을 제공하는 의료 영상 판독 지원 장치 및 방법
JP2006107511A (ja) 臨床検査データの可視化表現シート
US20220378300A1 (en) Systems and methods for monitoring the functionality of a blood vessel
CA3017610C (en) Systems and methods for estimating healthy lumen diameter and stenosis quantification in coronary arteries
US20230005139A1 (en) Fibrotic Cap Detection In Medical Images
US20240127435A1 (en) System and method for detecting and quantifying a plaque/stenosis in a vascular ultrasound scan data
JP7474841B2 (ja) 信頼性の高い血圧測定の検出
Ringrose et al. The ongoing saga of poor blood pressure measurement: past, present, and future perspectives
CN115530872A (zh) 一种超声诊断系统、设备、介质
JP2023048660A (ja) 認知機能評価方法、認知機能検査方法、システムおよびコンピュータプログラム
CN111383767A (zh) 一种基于深度学习的肺内小结节进展评估系统及方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080916

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110419

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110715

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110725

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110818

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110825

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110916

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110927

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111013

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120410

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120501

R150 Certificate of patent or registration of utility model

Ref document number: 4990143

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees