JP2021062127A - 毛細血管の評価方法及びその装置 - Google Patents

Abstract

【課題】同じ毛細血管の継続的な観察を容易に実現可能とした、毛細血管の評価方法及びその装置を提供する。【解決手段】重複部分を有するように少しずつずらして毛細血管領域の顕微鏡写真を複数枚撮影し、重複部分における特徴的な形態を有する特定領域を一致させることにより、複数枚の顕微鏡写真から一連のパノラマ画像を作成し、パノラマ画像において、継続観察する標的領域を指定し、特定時間経過後に標的領域を含む毛細血管領域の顕微鏡写真を撮影し、特定時間経過前後の標的領域の画像類似性を算出し、この画像類似性が７０％以上である場合に、標的領域における毛細血管の数、間隔、太さ、形状異常の変化を特定する。【選択図】図１

Description

本発明は、毛細血管、特に爪郭部の毛細血管を経時的に評価する方法及びその方法を実施する装置に関するものである。

爪郭部の毛細血管画像は、自己免疫リウマチ性疾患の診断基準、糖尿病末梢血管障害の把握、褥瘡部の血流観察、肺血管病変・肝疾患・高血圧症の評価などにおいて、非侵襲的で簡便な観察・評価方法に利用されている。自己免疫リウマチ性疾患、糖尿病、肺血管病変、肝疾患、高血圧のような疾病は、爪郭部の毛細管パターンの形態的な変化を引き起こす。このような爪郭部毛細血管の顕微鏡検査としては、例えば非特許文献１において、生体内微小循環を評価する画像処理技術が報告されている。毛細管パターンの具体的な変化の検出は、これらの疾病の早期検出を補助する。爪郭部毛細血管診断は、早期段階における診断が困難な全身性強皮症の進行を観察するのにも有用であり、臨床的な合併症及び予後の早期検出のための予測値を有する（例えば、非特許文献２参照）。このように、爪郭部毛細血管形態の評価は、臨床現場において本質的なことである。

毛細血管画像の品質及び解像度は、正確な診断及び評価にとって重要である。理想的には、患者の経過観察の間、同じ毛細血管が評価されるべきである。しかしながら、全ての爪郭部毛細血管は似たような形状を有しており、しかも、１ｍｍ当たりに９本の毛細血管が存在するような高い平均密度を有しているため、それぞれの評価において同じ毛細血管を見つけることは難しく、そのため、連続観察における個々の毛細血管を同定することは非常に困難である。したがって、全身性強皮症の診断等においては、多くの場合、ほぼ同じ場所を複数枚撮影し、目視で同じらしき場所を探して比較したり、これらの画像の分析から平均値を算出する方法が用いられてきた。

また、このような課題に対して、全爪郭部をカバーする一連の画像を組み合わせることにより、低解像度の状況下の全爪郭部のパノラマ画像に類似な画像を作成するハードウエアシステムが開発されている（例えば、非特許文献３参照）。

M. M. Chojnowski, A. Felis-Giemza, and M. Olesinska, Capillaroscopy - a role in modern rheumatology," Reumatologia, vol. 54, pp. 67-72, 2016 M. Cutolo, "ATLAS OF CAPILLAROSCOPY IN RHEUMATIC DISEASES," Edra S.p.A., ISBN 978.88.214.3203.3 M. E. Anderson, P. D. Allen, T. Moore, V. Hillier, C. J. Taylor, and A. L. Herrick, "Computerized nailfold video capillaroscopy - a new tool for assessment of Raynaud’s phenomenon," J Rheumatol, vol. 32, pp. 841-848, 2005 S. K. Lam, C. Y. Yeong, C. T. Yew, W. S. Chai, and S. A. Suandi, "A Study on Similarity Computations in Template Matching Technique for Identity Verification," International Journal on Computer Science and Engineering, vol. 02, no. 08, pp. 2659-2665, 2010 H. C. Lim, L. N. Rasid and S. A. Suandi, "A study on the effectivness of different patch size and shape for eyes and mouth detection," International Journal on Computer Science and Engineering, Vol. 2, No. 3, pp. 424432, 2010

しかしながら、上記のハードウエアシステムは、個々の毛細血管を同定する従来の方法よりも効率的であるが、非常に高価であるため、一般的に普及されていない。また、現状では、継続して同一の毛細血管部位を特定できるソフトウエアシステムはなく、それを組み込んだ観察機械も開発されていない。

そこで、本発明は、上記のような状況に鑑みてなされたもので、ソフトウエアアプローチに基づき、同じ毛細血管の継続的な観察を容易に実現可能とした、毛細血管の評価方法及びその評価を実施し得る装置を提供することを目的としている。

したがって、本発明の毛細血管の評価方法は、
重複部分を有するように少しずつずらして毛細血管領域の顕微鏡写真を複数枚撮影し、
前記重複部分における特徴的な形態を有する特定領域を一致させることにより、前記複数枚の顕微鏡写真から一連のパノラマ画像を作成し、
前記パノラマ画像において、継続観察する標的領域を指定し、
特定時間経過後に前記標的領域を含む毛細血管領域の顕微鏡写真を撮影し、
特定時間経過前後の前記標的領域の画像類似性を算出し、
前記画像類似性が７０％以上である場合に、前記標的領域における毛細血管の数、間隔、太さ、形状異常の変化を特定することを特徴としている。

このような特徴を備えた本発明によれば、測定者が任意で指定した標的領域を次回以降の測定時に自動的に同定することができ、継続的に同一部位の毛細血管顕微鏡調査を行うことができる。これにより、ソフトウエアシステムにおいて、毛細血管の座標を特定することができ、その結果、定量的な毛細血管形態・血流速度などのパラメータ評価が可能となる。

また、本発明の毛細血管の評価方法においては、前記標的領域の周辺に、前記標的領域と同じサイズを有する複数の関心領域を設定し、前記標的領域の画像類似性算出の比較対象とすることが好ましい。

また、本発明の毛細血管の評価装置は、
重複部分を有するように少しずつずらして毛細血管領域の顕微鏡写真を複数枚撮影し、前記重複部分における特徴的な形態を有する特定領域を一致させることにより、前記複数枚の顕微鏡写真から作成された一連のパノラマ画像において、継続観察する標的領域を指定し、
特定時間経過後に前記標的領域を含む毛細血管領域を撮影した顕微鏡写真を用いて、特定時間経過前後の前記標的領域の画像類似性を算出し、
前記画像類似性が７０％以上である場合に、前記標的領域における毛細血管の数、間隔、太さ、形状異常の変化を特定することを特徴としている。

また、本発明の毛細血管の評価装置においては、前記標的領域の周辺に、前記標的領域と同じサイズを有する複数の関心領域を設定し、前記標的領域の画像類似性算出の比較対象とすることが好ましい。

本発明の毛細血管の評価方法及びその装置によれば、同じ毛細血管の継続的な観察を容易に実現可能とした、毛細血管の評価方法及びその評価を実施し得る装置を提供することができる。

本発明の毛細血管の評価方法の一実施形態を示すフローチャートである。 本発明の毛細血管の評価方法におけるパノラマ画像の作成手順の一実施形態を示した毛細血管顕微鏡写真である。 本発明の毛細血管の評価方法に用いられるパノラマ画像における標的領域の検出結果の一実施形態を示した毛細血管顕微鏡写真である。 本発明の毛細血管の評価方法による（ａ）標的領域におけるバイオマーカー特定、（ｂ）Ｃａｎｎｙによるエッジ検出、（ｃ）各毛細血管の座標算出の各結果を示した毛細血管顕微鏡写真である。

以下、本発明の実施形態に係る毛細血管の評価方法及びその製造装置について図面を用いて説明する。なお、本発明は下記の実施形態に限定されるものではない。

本発明者らは、上記課題を解決するために、同じ毛細血管（本実施形態では、爪郭部毛細血管）の連続的な観察について鋭意研究を行った結果、毛細血管画像の同一部位の検出についてはテンプレートマッチングで行い、毛細血管の座標の特定についてはＣａｎｎｙエッジ検出を用いることにより、同じ爪郭部毛細血管の同定及び評価をＯｐｅｎＣＶ上で実現し得ることを見出し、本発明の毛細血管の評価方法及びその装置を発明するに至った。

本発明の毛細血管の評価方法は、毛細血管スコープと称される顕微鏡にソフトウエアシステムとして実装されて用いられる。爪郭部の毛細血管の評価項目としては、１ｍｍ当たりの毛細血管の本数、毛細血管の形態や直径、さらには、爪郭部における微小出血の有無や配列の乱れなどがある。また、撮影自体は同じ倍率でさえあればどのような機種であってもよい。さらに、本発明の毛細血管の評価方法及びそれを実施する装置においては、写真等の静止画だけではなく、動画にも応用可能である。

図１は、本発明の毛細血管の評価方法の一実施形態を示すフローチャートである。本発明の毛細血管の評価方法は、図１に示されているように、まず、複数枚の顕微鏡写真から一連のパノラマ画像を作成しＳ１、このパノラマ画像において、継続観察を行う標的領域を決定するＳ２。次いで、特定時間経過後に撮影された顕微鏡写真における毛細血管領域の標的領域を自動検出しＳ３、特定時間経過前後のこれらの標的領域の画像類似性を算出するＳ４。画像類似性が７０%以上の場合、特定時間経過前後の標的領域が一致すると判断される。一方、画像類似性が７０％未満であると、再度標的自動検出工程に戻される。ここまでの各工程は、テンプレートマッチングを利用している。

そして、特定時間経過前後の標的領域が一致すると判断された場合、Ｃａｎｎｙエッジ検出により、毛細血管から定量的なバイオマーカーを抽出し、輪郭の座標を有する標的領域を評価するＳ５。図１に示されたテンプレートマッチング及びＣａｎｎｙエッジ検出のアルゴリズムは、ＯｐｅｎＣＶのオープンソースから提供されている。

＜パノラマ画像作成工程＞
次に、本発明の毛細血管の評価方法における各工程について、さらに詳細に説明する。図２は、本発明の毛細血管の評価方法におけるパノラマ画像の作成手順の一実施形態を示した毛細血管顕微鏡写真である。図２に示した実施形態においては、４枚の顕微鏡写真（Ｉｍａｇｅ１〜４）から一連のパノラマ画像を作成している。

このパノラマ画像の作成工程は、まず、Ｓｔｅｐ１に示すように、重複部分を有するように少しずつずらして爪郭部の毛細血管領域の顕微鏡写真を複数枚撮影する（本実施形態においては、Ｉｍａｇｅ１〜４の４枚）。次いで、この重複部分において特徴的な形態を有する特定領域を指定する。例えば、Ｉｍａｇｅ１及び２における特定領域としては、Ｔｅｍｐｌａｔｅ１＿２を指定している。そして、Ｓｔｅｐ２に示すように、特定領域Ｔｅｍｐｌａｔｅ１＿２を一致させるように、隣接する顕微鏡写真Ｉｍａｇｅ１及び２を重ね合わせることにより、Ｉｍａｇｅ１＿２を作成する。

続いて、このようにして得られたＩｍａｇｅ１＿２に対して、隣接する顕微鏡写真Ｉｍａｇｅ３との重複部分から特定領域Ｔｅｍｐｌａｔｅ１＿３を指定し、上記と同様にして、特定領域Ｔｅｍｐｌａｔｅ１＿３を一致させるように、隣接する顕微鏡写真Ｉｍａｇｅ１＿２及び３を重ね合わせて、Ｉｍａｇｅ１＿３を作成する（Ｓｔｅｐ３）。さらに、Ｉｍａｇｅ１＿３に対して、隣接する顕微鏡写真Ｉｍａｇｅ４との重複部分から特定領域Ｔｅｍｐｌａｔｅ１＿４を指定し、上記と同様にして、特定領域Ｔｅｍｐｌａｔｅ１＿４を一致させるように、隣接する顕微鏡写真Ｉｍａｇｅ１＿３及び４を重ね合わせる。その結果、４枚の顕微鏡写真（Ｉｍａｇｅ１〜４）が連続的に合成された爪郭部の毛細血管領域のパノラマ画像が作成される（ＯｕｔＰｕｔ）。

ここで、２枚の顕微鏡写真を回転させることなく重ね合わせる場合には、特定領域の座標は、２枚の画像を単に繋ぎ合わせることにより得られる。その際、顕微鏡の焦点の深さが非常に短いため、画像を取り込む前に、ボケ量を確認することが重要となる。特に、爪の境界領域においては、境界が曲線となることが多いため、注意を払う必要がある。

＜標的領域決定及び検出工程＞
本発明においては、上記のようにして作成したパノラマ画像において、予め図３に示されているような標的領域を決定し、特定時間経過後にこの標的領域における変化を検出している。すなわち、標的領域は、特定時間経過前後の毛細血管の状態変化を継続観察し得る領域である。図３は、本発明の毛細血管の評価方法に用いられるパノラマ画像における標的領域の検出結果の一実施形態を示した毛細血管顕微鏡写真である。図３（ａ）は、図３（ｂ）のパノラマ画像において検出された標的領域（白線枠部）近傍を拡大した顕微鏡写真であり、このように表示することにより、臨床医は、顕微鏡を制御しながら、標的領域にすぐにアプローチすることができる。このようなパノラマ画像は、直近の観察で決定された標的領域を認識するのに有用である。

また、本発明の毛細血管の評価方法及びそれを実施し得る装置においては、必要に応じて、上記の標的領域の周辺に、この標的領域と同じサイズを有する複数の関心領域を設定し、標的領域の画像類似性算出の比較対象とすることができる。このように設定された関心領域を設けることにより、標的領域の毛細血管の形態が大きく変化して画像類似性が大幅に変わったとしても、同一の標的領域として特徴量を算出し、比較することが可能となる。この関心領域は標的領域の周辺にランダムで設定されたものであり、特徴点の多少は特に問題としない。また、この関心領域の設定は自動的に行ってもよい。

＜画像類似性の算出工程＞
上記の工程で決定された標的領域及び複数の関心領域について、特定時間経過前後の画像類似性を算出する。この画像類似性の算出については、後述のテンプレートマッチングのアルゴリズムを用いる。ここで算出された画像類似性が７０％以上である場合には、特定時間経過前後の標的領域が同一なものであると判断し、この標的領域における毛細血管の数、間隔、太さ、形状異常の変化を特定することができる。一方、この画像類似性が７０％未満であると、特定時間経過前後の標的領域が異なるものと判断されるため、本発明においては、標的領域の決定工程に戻り、再度好適な標的領域を決定し直す必要がある。

＜画像類似性チェックのアルゴリズム＞
テンプレートマッチングにおいては、テンプレートにマッチングし得る全ての可能な配置は、それぞれピクセル単位でマッチングされた配置に対する係数を有する合成マトリクス内に備えられている。ソース画像のサイズがＷ×Ｈ（Ｗ及びＨはそれぞれ幅及び高さを示す）であり、ｗ×ｈがテンプレート画像の幅と高さの積である場合、マトリクスサイズは（Ｗ−ｗ＋１）×（Ｈ−ｈ＋１）により得られる。

テンプレートマッチング方法には、二乗差の合計、相互相関、相関係数法等のいくつかのタイプがある。そのマッチングアルゴリズムによっては、マッチング結果は僅かに異なる。定数Ｔはテンプレート画像（本発明においては特定時間経過後の撮像画像）であり、Ｉは入力ソース画像（特定時間経過前の撮像画像）であり、ＳＳＤ（ｘ、ｙ）、ＣＣ（ｘ、ｙ）、ρ（ｘ、ｙ）は、それぞれ、マッチング後の配置（ｘ、ｙ）の範囲［０、１］における二乗差の合計、相互相関、相関係数用の数値順索引である。しかしながら、ＳＳＤの解釈は他の２つの方法とは反対であり、例えば０が最高を示し、１が最低を示すため、観測結果が矛盾しないように、その結果から１を引くことによりＳＳＤの結果を逆にしている。実施においては、ＣＣ（ｘ、ｙ）のみは他の方法の全てを比較した後に用いられる（例えば、非特許文献４及び５参照）。

＜標的領域評価＞
上記の画像類似性の算出工程において特定時間経過前後の画像類似性が７０％以上であると判断された標的領域においては、毛細血管の定量的評価値及び変化量が算出される。本発明の毛細血管の評価方法においては、図４に示されているように、（ａ）標的領域におけるバイオマーカーを特定し、（ｂ）Ｃａｎｎｙによるエッジを検出することにより、（ｃ）各毛細血管の座標を算出している。このようにして得られた座標から、毛細血管数や毛細血管の間隔などの定量的な爪郭部毛細血管の評価を行うことが可能となる。さらに、前回の数値からの変化量を算出することもできる。

また、爪郭部毛細血管の数、静脈と動脈との間の中間部の大きさ、及び、微小出血の３つのパラメータは、全身性強皮症の早期検出に有用である。なお、中間部の大きさを確認する必要がある場合には、３点を備えた円方程式を計算することができる。

なお、本実施形態では、評価対象とする毛細血管の具定例として、爪郭部毛細血管が示されているが、毛細血管の種類は、爪郭部毛細血管には限定されない。評価対象とする毛細血管は、爪郭部毛細血管以外の毛細血管であってもよい。

Claims (4)

1. 重複部分を有するように少しずつずらして毛細血管領域の顕微鏡写真を複数枚撮影し、
   前記重複部分における特徴的な形態を有する特定領域を一致させることにより、前記複数枚の顕微鏡写真から一連のパノラマ画像を作成し、
   前記パノラマ画像において、継続観察する標的領域を指定し、
   特定時間経過後に前記標的領域を含む毛細血管領域の顕微鏡写真を撮影し、
   特定時間経過前後の前記標的領域の画像類似性を算出し、
   前記画像類似性が７０％以上である場合に、前記標的領域における毛細血管の数、間隔、太さ、形状異常の変化を特定することを特徴とする毛細血管の評価方法。
2. 前記標的領域の周辺に、前記標的領域と同じサイズを有する複数の関心領域を設定し、前記標的領域の画像類似性算出の比較対象とすることを特徴とする請求項１に記載の毛細血管の評価方法。
3. 重複部分を有するように少しずつずらして毛細血管領域の顕微鏡写真を複数枚撮影し、前記重複部分における特徴的な形態を有する特定領域を一致させることにより、前記複数枚の顕微鏡写真から作成された一連のパノラマ画像において、継続観察する標的領域を指定し、
   特定時間経過後に前記標的領域を含む毛細血管領域を撮影した顕微鏡写真を用いて、特定時間経過前後の前記標的領域の画像類似性を算出し、
   前記画像類似性が７０％以上である場合に、前記標的領域における毛細血管の数、間隔、太さ、形状異常の変化を特定することを特徴とする毛細血管の評価装置。
4. 前記標的領域の周辺に、前記標的領域と同じサイズを有する複数の関心領域を設定し、前記標的領域の画像類似性算出の比較対象とすることを特徴とする請求項３に記載の毛細血管の評価装置。
   
   

Images