JP2021006250A - 3次元血管認識方法及び3次元血管認識装置 - Google Patents

3次元血管認識方法及び3次元血管認識装置 Download PDF

Info

Publication number
JP2021006250A
JP2021006250A JP2020110627A JP2020110627A JP2021006250A JP 2021006250 A JP2021006250 A JP 2021006250A JP 2020110627 A JP2020110627 A JP 2020110627A JP 2020110627 A JP2020110627 A JP 2020110627A JP 2021006250 A JP2021006250 A JP 2021006250A
Authority
JP
Japan
Prior art keywords
blood vessel
image
dimensional
skeleton
wavelength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020110627A
Other languages
English (en)
Other versions
JP7164890B2 (ja
Inventor
忻 盧
Xin Lu
忻 盧
尚幸 壽
Naoyuki Kotobuki
尚幸 壽
義裕 萩原
Yoshihiro Hagiwara
義裕 萩原
イミティ アデルジャン
Yimit Adiljan
イミティ アデルジャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iwate University
Original Assignee
Iwate University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iwate University filed Critical Iwate University
Publication of JP2021006250A publication Critical patent/JP2021006250A/ja
Application granted granted Critical
Publication of JP7164890B2 publication Critical patent/JP7164890B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】近赤外カメラを使用することで、非侵襲的に血管の走行や太さ、深さなど複数の3次元血管情報を算出し、仮想空間に3次元血管画像を再構成することができる3次元血管認識方法と共に小型且つ軽量な3次元血管認識装置を提供すること。【解決手段】異なる波長の近赤外線が照射された生体の前記異なる波長の近赤外線に応じた複数の画像を撮影部で撮影し、制御部で各画像の血管の輪郭を抽出する血管抽出工程と、制御部で前記各画像の血管の輪郭を合成して輪郭の合成画像を作成する合成画像作成工程と、制御部で合成画像に対して前記波長の成分に分けて図形を平滑化し、処理画像を得る画像処理工程と、制御部で処理画像から血管の骨格を抽出し、ベジェ曲面を演算して血管を3次元に復元化して表示部に表示する3次元復元化工程と、を備えている。【選択図】図5

Description

本発明は、生体の血管を認識する3次元血管認識方法及び3次元血管認識装置に関する。
医療現場などでは、検査や治療を行う際に生体内の断面や輪郭を可視化することがある。このような可視化技術として、生体内の血管への適切な穿刺を促すことを可能にする特許文献1に開示される静脈可視化技術が知られている。
特許文献1の静脈可視化装置は、撮像部、投射部、照射部及び表示部を備えており、血液中のヘモグロビンが近赤外光を吸収する性質を利用して、非侵襲的に血管(静脈)走行を可視化する装置である。近赤外線カメラにより血管を強調した2次元画像を撮影して表示部に表示する。このような静脈可視化装置は、直視下では血管を確認しにくい人や血管が細い人、注射や点滴を複数回行っている人、血液透析を行っていて血管が石灰化している人などへの穿刺の補助を目的に使用している。
しかし、特許文献1の血管可視化装置は、2次元画像のみで血管情報を提示し、立体的な血管認識機能を持たないため、生体表面からの深さなど血管情報の表示に改善の余地がある。また、穿刺の補助、検査及び治療の際に、生体内の断面や輪郭を認識する装置として次のような装置が一般的に知られている。
CT装置は、X線を生体の周囲から照射し、コンピュータを使って断面を画像化する装置である。生体内のX線透過の差を、細かく白黒の濃淡としてフイルム、モニターなどに表わす。検査中はおよそ5分〜15分程度、台の上で仰向けになってX線を受ける。一般的には、血管検査の場合に造影剤を併用することで、より詳しく構造や機能を評価することができる。しかし、CT検査で用いる造影剤は、ほとんどの場合ヨードの化合物で、血管内に直接投与され、副作用として、吐き気・嘔吐・熱感・じんましんなどが確認されることがある。これらの副作用の発現率はそれらすべてを合わせても1〜5%未満であるが、造影剤にアレルギーのある方や喘息の方、腎臓の機能に障害のある方などは、リスクが高いとされており、医師の判断によって造影剤の投与がされない可能性がある。
MRI装置は、放射線は使用せず、強い磁石と電波を使って、生体のあらゆる断面を正確に写し出す画像診断装置である。しかし、大きい磁石と電波を使うので、患者様によっては検査を行うことができない場合がある。まず、心臓ペースメーカを装着している患者様、脳動脈クリップなど体内に金属がある患者様は検査を行えない。また、アイラインなど化粧品に含まれる微小な金属が電波の影響で熱をもって、火傷の原因にもなるため、検査前には化粧類は落として検査する必要がある。さらに、検査時にはトンネルのような筒の中に入っているので、閉所恐怖症の患者様は検査が行えないことがある。検査時間は、検査の目的によっても変わるが、およそ20分〜40分と長くなる。MRI検査は磁石と電波によって画像を得るため、CT検査のような放射線による被曝がない。もう一つの特長は、造影剤を使用しなくても血管の情報が得られることである。
超音波診断装置は、超音波を生体に照射し、生体内の音響的に異なる境界面から戻ってくる反射波を分析して生体内の内部構造や血流の分布状態を画像化する装置である。生体に対して無害、小型で安価かつ検査料も安い、時間の遅れがなくリアルタイムの表示が可能である。超音波診断装置による3次元画像表示は、CT、MRIなどの装置と同様、複数の断層像から立体的な3次元画像を再構成し、さらにこれをフイルム、モニターなどの3次元画像として表示するものである。しかし、最近の4D/リアルタイム3D画像表示といわれる表示法は、この3次元表示に時間軸を付加し動画として表示させたものであり、精度が高くないため、産科領域(胎児の観察、計測)主に利用されている。CTやMRIと違い、一度に身体の広い部分をスキャンすることは出来ない。得られる情報も、CTやMRIに比べて多いとは言えない。また、空気があると超音波が乱反射して画像が得られない。さらに、超音波探触子を患者の皮膚に直接的に接触させて検査を行うため、プローブと皮膚の間に超音波を伝導させるための超音波ゼリーを塗布する必要がある。検査時間は15分ぐらいと長くかかる。
特開2017−164046号公報
本発明は、以上の点に鑑み、血管走行を映し出す2次元の血管可視化方法及び装置ではなく、近赤外カメラを使用することで、非侵襲的に血管の走行や太さ、深さなど複数の3次元血管情報を算出し、仮想空間に3次元血管画像を再構成することができる3次元血管認識方法と共に小型且つ軽量な3次元血管認識装置を提供することを課題とする。ここで、「血管の輪郭」とは、血管を形作っている周りの線をいい、「血管の骨格」とは、血管領域に内接する円の中心の集合としたものをいう。
[1]
異なる波長の近赤外線が照射された生体の前記異なる波長の近赤外線に応じた複数の画像を撮影部で撮影し、制御部で各画像の血管の輪郭を抽出する血管抽出工程と、
前記制御部で前記各画像の血管の輪郭を合成して輪郭の合成画像を作成する合成画像作成工程と、
前記制御部で前記合成画像に対して前記波長の成分に分けて図形を平滑化し、処理画像を得る画像処理工程と、
前記制御部で前記処理画像から前記血管の骨格を抽出し、ベジェ曲面を演算して前記血管を3次元に復元化して表示部に表示する3次元復元化工程と、を備えていることを特徴とする。
かかる構成によれば、血管抽出工程では異なる波長の近赤外線に応じた複数の画像を撮影部で撮影し、制御部で各画像の血管の輪郭を抽出する。合成画像作成工程では各画像の血管の輪郭を合成し、画像処理工程では合成画像に対して波長の成分に分けて図形を平滑化し、3次元復元化工程ではベジェ曲面により血管を3次元に復元化して表示部に表示する。このように、血管抽出工程、合成画像作成工程、画像処理工程及び3次元復元化工程を連続させることで、撮影部(近赤外カメラ)を介して、非侵襲的に血管の走行や太さ、深さなど複数の3次元血管情報を算出する。このため、従来の手法では抽出が容易でなかった血管抽出処理の精度を向上させ、仮想空間に3次元血管画像を再構成することができる3次元血管認識方法と共に小型且つ軽量な3次元血管認識装置を提供することができる。
さらに、本発明は、従来の超音波診断装置よりも生体の広い部分を撮影してスキャンすることが可能であるが、最適化技術を利用しているため処理時間を例えばわずか20秒に短縮でき、さらに一般的に汎用化されている組み込み技術を使えば、画像処理速度が速くなりリアルタイムで処理することが可能になる。さらに、本発明は、放射線被爆がない、造影剤を使用しない、金属検査をしない、ゼリー塗布をしない、小型かつ非接触型などのメリットを持っているため、本発明によれば、血管を検査する者(臨床検査技師、医師など)と検査される者の両者に対して検査の負担を軽くすることができる。
[2]好ましくは、前記血管抽出工程は、
前記生体の前記画像を前記撮影部で撮影する撮影工程と、
撮影された前記画像を赤外線単色光としてグレースケール画像に変換するグレースケール化工程と、
前記グレースケール画像からバイラテラルフィルタによりノイズを低減して平滑化画像にする平滑化フィルタ工程と、
DoGフィルタにより前記平滑化画像の差をとりガウシアン差分画像にするDoGフィルタ工程と、
前記ガウシアン差分画像に所定の閾値により2値化して2値化画像にする2値化工程と、
前記2値化画像から動的輪郭抽出法で前記血管の輪郭を抽出する動的輪郭法工程と、を備えている。
かかる構成によれば、グレースケール化工程、平滑化フィルタ工程、DoGフィルタ工程、2値化工程及び動的輪郭法工程により、ノイズを低減させて精度の高い3次元血管情報を得ることができる。
[3]好ましくは、3次元復元化工程は、
前記処理画像から前記血管の骨格を抽出する骨格抽出工程と、
抽出した前記骨格を切り分ける切り分け工程と、
切り分けた前記骨格毎にベジェ曲面の制御点を求める制御点探索工程と、
前記制御点からベジェ曲面を演算するベジェ曲面演算工程と、
演算して求めた前記ベジェ曲面上の点を三角形分割する三角形分割工程と、
三角形分割して得られた複数の面を前記表示部の同一の空間に描画する血管3次元描画工程と、を備えている。
かかる構成によれば、骨格抽出工程、切り分け工程、制御点探索工程、ベジェ曲面演算工程、三角形分割工程及び動的輪郭法工程により、より精度の高い3次元血管情報を得ることができる。
[4]好ましくは、3次元復元化工程は、
前記処理画像から前記血管の骨格を抽出する骨格抽出工程と、
抽出した前記骨格を切り分ける切り分け工程と、
切り分けた前記骨格毎に前記骨格の垂直断面に形成される前記血管の輪郭に近似する楕円の制御点を求める制御点探索工程と、
前記制御点を3次元に配置して前記骨格の垂直断面毎に前記制御点から楕円を形成する楕円当てはめ工程と、
前記楕円からベジェ曲面を演算するベジェ曲面演算工程と、
演算して求めた前記ベジェ曲面上の点を三角形分割する三角形分割工程と、
三角形分割して得られた複数の面を前記表示部の同一の空間に描画する血管3次元描画工程と、を備えている。
かかる構成によれば、楕円当てはめ工程により、演算により求められる血管の断面を楕円で近似するので、より実際の血管形状に近似させて精度の高い3次元血管情報を得ることができる。
[5]好ましくは、異なる波長の近赤外線が照射された生体の前記異なる波長の近赤外線に応じた複数の画像を撮影する撮影部と、
撮影した各画像の血管の輪郭を抽出し、
前記各画像の血管の輪郭を合成して輪郭の合成画像を作成し、前記合成画像に対して前記波長の成分に分けて図形を平滑化することで処理画像を得て、前記処理画像から前記血管の骨格を抽出し、ベジェ曲面を演算して前記血管を3次元に復元化する制御部と、
3次元に復元化された前記血管を表示する表示部と、を備えている。
かかる構成によれば、撮像部、制御部、表示部からなる簡易な構成で、血管抽出処理の精度を向上させ、仮想空間に3次元血管画像を再構成することができる。撮像部、制御部、表示部からなるので、小型且つ軽量な3次元血管認識装置とすることができる。
[6]好ましくは、異なる波長の近赤外線が照射された生体の前記異なる波長の近赤外線に応じた複数の画像を撮影する撮影部と、
撮影した各画像の血管の輪郭を抽出し、
前記各画像の血管の輪郭を合成して輪郭の合成画像を作成し、前記合成画像に対して前記波長の成分に分けて図形を平滑化することで処理画像を得て、前記処理画像から前記血管の骨格を抽出し、前記骨格毎に前記骨格の垂直断面に形成される前記血管の輪郭に近似する楕円の制御点を求め、前記制御点を3次元に配置して前記骨格の垂直断面毎に前記制御点から楕円を形成し、前記楕円からベジェ曲面を演算して前記血管を3次元に復元化する制御部と、
3次元に復元化された前記血管を表示する表示部と、を備えている。
かかる構成によれば、撮像部、制御部、表示部からなる簡易な構成で、血管抽出処理の精度を向上させ、仮想空間に3次元血管画像を再構成することができる。制御部は、演算により求められる血管の断面を楕円で近似するので、簡易な構成でより実際の血管形状に近似させて精度の高い3次元血管情報を得ることができる。
[7]好ましくは、前記撮像部は、前記生体を撮影する複数の汎用カメラと、これらの複数の汎用カメラのレンズの前方に設けられ所定の異なる波長域の近赤外線をカットする複数のカットフィルタと、を備えている。
かかる構成によれば、撮像部は、生体を撮影する複数の汎用カメラと、所定の異なる波長域の近赤外線をカットする複数のカットフィルタを設けたのみであるので、装置のコストを低減することができる。
近赤外カメラを使用することで、非侵襲的に血管の走行や太さ、深さなど複数の3次元血管情報を算出し、仮想空間に3次元血管画像を再構成することができる3次元血管認識方法と共に小型且つ軽量な3次元血管認識装置を提供することができる。
本発明の3次元血管認識装方法により認識される生体の皮膚近傍の断面図である。 太陽光線の波長の区分を説明する図である。 本発明の3次元血管認識装置の斜視図である。 本発明の撮影部の斜視図である。 本発明の3次元血管認識方法の工程のフロー図である。 (a)は近赤外線の波長を760nmで撮影した画像の一例である。(b)はグレースケール画像の一例である。(c)は平滑化画像の一例である。(d)はガウシアン差分画像の一例である。(e)は2値化画像の一例である。(f)は抽出された血管の輪郭を示す波長760nmの画像の一例である。 (a)は波長760nmの画像と波長800nmの画像の差分で作成されたマスク画像の一例である。(b)は波長800nmの画像と波長840nmの画像の差分で作成されたマスク画像の一例である。 (a)は合成画像の一例である。(b)はクロージング処理を施した処理画像の一例である。(c)は処理画像を2値化した処理後の2値化画像の一例である。(d)は波長760nmの赤外線画像から目視で作成した正解画像の一例である。 (a)は性能評価値算出に用いる血管画像の模式図である。(b)は性能評価値算出に用いる正解血管と抽出した血管とを合成した模式図である。 被験者の各画像及び従来の方法と本発明の方法による血管抽出率の評価結果を示す表である。 (a)は骨格抽出工程で抽出された骨格の画像の一例である。(b)は切り分け工程で切り分けられた骨格の画像の一例である。(c)は制御点探索工程で求められた制御点を示す画像の一例である。(d)はベジェ曲面演算工程で演算されたベジェ曲面の一例である。(e)は三角形分割工程で三角形分割されたベジェ曲面の一例である。 血管3次元描画工程で描画された血管の一例である。 血管の描画方法の別態様を説明する図である。 本発明の別態様に係る3次元復元化工程のフロー図である。 (a)は楕円当てはめ工程で求められた制御点を示す画像の一例である。(b)は楕円当てはめ工程での深さ方向の断面における楕円形状を示す説明図である。 楕円当てはめ工程で求められた制御点を3次元に配置した状態の図である。 楕円当てはめ工程で各断面に楕円を形成した状態の図である。 本発明の別態様に係る3次元復元化工程で描画された血管の一例である。
本発明の実施の形態を添付図に基づいて以下に説明する。なお、図面は、スケートブレード用研磨器具を概念的(模式的)に示すものとする。
図1に示すように、一例としての生体10の断面では、皮膚11の奥に血管12が存在している。血管12は立体的な形状であるため、皮膚11を平面視で見た2次元的な血管12の画像だけでなく、3次元的な血管12の画像やモデルがあると、血管12の位置を正確に把握することができるので検査や治療の際に好ましい。
図1及び図2に示すように、光は波長が長くなるほど皮膚11の奥まで届く性質を持っている。近赤外線による画像では、可視光領域で撮影が可能な領域よりも深い部分を撮影できる。
次に3次元血管認識装置20について説明する。
図3及び図4に示すように、3次元血管認識装置20は、撮影部21と、制御部25と、表示部26と、台部27と、を備えている。撮影部(近赤外線カメラ)21は、異なる波長の近赤外線が照射された生体10の異なる波長の近赤外線に応じた複数の画像30(図6参照)を撮影するものである。撮影部21は、台部27に固定されたアーム22と、このアーム22の先端部に設けられた3つの汎用カメラ23と、これらの汎用カメラ23のレンズの前方に設けられ所定の異なる波長域をカットする3種類のフィルタ24a、24b、24cと、を備えている。
フィルタ24aは、760nm以下の波長域をカットすることで、概ね波長760nm以上の赤外線を通すものとして使用される。フィルタ24bは、800nm以下の波長域をカットすることで、概ね波長800nm以上の赤外線を通すものとして使用される。フィルタ24cは、840nm以下の波長域をカットすることで、概ね波長840nm以上の赤外線を通すものとして使用される。このため、波長760nm以上の赤外線を通すフィルタ24aを設けた汎用カメラ23は、波長760nm用の画像を撮影するカメラとなる。波長800nm以上の赤外線を通すフィルタ24bを設けた汎用カメラ23は、波長800nm用の画像を撮影するカメラとなる。波長840nm以上の赤外線を通すフィルタ24cを設けた汎用カメラ23は、波長840nm用の画像を撮影するカメラとなる。
制御部25は、撮影した各画像30の血管の輪郭を抽出し、各画像30の血管(静脈)の輪郭を合成して輪郭の合成画像40(図8参照)を作成し、合成画像40に対して波長の成分に分けて図形を平滑化することで処理画像41(図8参照)を得る。さらに制御部25は、処理画像41から血管の骨格を抽出し、抽出した骨格を切り分けて端から端まで探索を進め、骨格から垂線を引き入力画面上でその垂線上に沿って値の変化を読み取り制御点を求めX、Y座標とし、入力座標における制御点の座標の値をZとし、ベジェ曲面60(図11参照)を演算して血管70(図12参照)を3次元に復元化するものである。
表示部26は、3次元に復元化された血管70を表示するものである。台部27は、生体10を置くと共に、撮影部21に接続されたアーム22、制御部25及び表示部26を支持するものである。なお、生体10を撮影できれば台部27は無くてもよく、さらには撮影部21を操作者(不図示)が手で支持してもよい。
次に3次元血管認識方法の主工程のフローについて説明する。なお、以後の説明では符号は図3、図6〜図9、図11及び図12を適宜参照する。また、3次元血管認識装置20は、窓から入る自然光や、LED、蛍光灯、白熱電球などの一般的な照明器具による室内灯の明かりの下で使用することが可能である。特別な波長を照射する器具が不要であり、装置のコストを低減できる。なお、生体10からの反射光をより正確に受けるために、所定の波長を照射する照射器具(光源)を使用しても差し支えない。
図5に示すように、3次元血管認識方法の主工程は、血管抽出工程、合成画像作成工程、画像処理工程及び3次元復元化工程を備えている。STEP1で、異なる波長の近赤外線が照射された生体の異なる3つの波長の近赤外線に応じた3つの画像30を撮影部21で撮影し、制御部25で各画像30の血管の輪郭を抽出する(血管抽出工程)。STEP2で、制御部25で各画像30の血管の輪郭を合成して輪郭の合成画像40を作成する(合成画像作成工程)。STEP3で、制御部25で合成画像40に対して波長の成分に分けて図形を平滑化し、処理画像41を得る(画像処理工程)。STEP4で、制御部25で処理画像41から血管の骨格を抽出し、ベジェ曲面50を演算して血管を3次元に復元化して表示部26に表示する(3次元復元化工程)。
次にSTEP1の血管抽出工程の副工程のフローについて説明する。
図5の右上部に示すように、STEP11で、生体10の波長の異なる3つの画像30を撮影部21で撮影する(撮影工程)。STEP12で、撮影された画像30を赤外線単色光としてグレースケール画像31に変換する(グレースケール化工程)。
グレースケール変換は、本発明で使用する画像(赤外線画像)30が、撮影部(センサー)21の反応領域内の波長をすべて赤外線単色光としてデータ化するためであり、また、扱うデータ量の圧縮および処理の簡略化のためである。血管抽出に用いる赤外線画像30では、血管と皮膚との吸収率の違いにより血管を抽出するため、グレースケール変換を行っても結果にほとんど影響はない。グレースケール変換の方法は様々だが、発明ではNTSC係数による加重平均法を利用する。よってグレースケール化の輝度値の値はYIQ表色系のY(輝度)にあたる。以下に、カラー画像(RGB)からグレースケール画像への変換式を数式1に示すとともに、赤外線画像30とそれをグレースケール変換したグレースケール画像31を図6に示す。
STEP13で、グレースケール画像31からバイラテラルフィルタによりノイズを低減して平滑化画像にする(平滑化フィルタ工程)。
平滑化フィルタ工程では、光学カメラ等で撮影された画像30には、外乱の影響等による様々なノイズが存在している。そこで、平滑化を行うことでこれらのノイズを低減する手法が多く研究、利用されている。本発明では、バイラテラルフィルタを利用して画像30のノイズの低減を行う。バイラテラルフィルタはガウシアンフィルタと同様にノイズ低減のために利用される平滑化フィルタの一種であるが、フィルタカーネルを生成する際に画素値間の距離も考慮することで、物体境界の輪郭を保持したまま平滑化を行うことができる。注目画素 f (x, y)に対してカーネルサイズ (2W + 1) × (2W + 1) のバイラテラルフィルタを施した時、出力される結果 g(x, y) は数式2のようになる。
ここで、w(x, y, i, j) は注目画素 f (x, y) と参照画素 f (x + i, y + j) との画素値間の距離により算出する重みであり、画素値間の距離を用いて正規分布により重みを算出すると次の数式3のようになる。
この重みを用いることで、輝度差が小さいと重みが大きく、また、輝度差が大きいと重みが小さくなるように滑らかに変化する。本発明ではW、σ1、σ2を16、3.0、0.849とした。これらのパラメータは限定されるものではなく、画像サイズ等に合わせて定めるものとする。これにより、物体境界の輪郭を保持したまま画像のノイズの低減を行う。図6に平滑化フィルタを使用した平滑化画像32を示す。
STEP14で、DoGフィルタにより平滑化画像32の差をとりガウシアン差分画像33にする(DoGフィルタ工程)。
DoGフィルタ工程では、DoGフィルタ(Difference of Gaussian Filter)を利用して血管抽出を行う。ガウシアン差分はガウス関数のスケール空間の異なるDoGフィルタ(ガウシアンフィルタ)により平滑化された画像の差をとる処理である。赤外線画像30における血管部と皮膚部のマクロ的なコントラストはある程度強いものの、ミクロ的にはその境界は滑らかで、曖昧であることが多い。そのため、カーネルサイズが小さいエッジ抽出フィルタでは血管部の抽出が困難である。また、単純な閾値処理を適用しただけでは、照明ムラ等により皮膚部の誤抽出が多くなってしまう。そこで本発明では、血管径が手の甲に対して十分に小さいことから、血管部が輝度変化の滑らかなエッジであるとし、DoGフィルタを利用して血管抽出を行う。DoGフィルタにより、ガウシアンフィルタのフィルタサイズ等のスケールの組み合わせを変化させることで、一般的なエッジ抽出よりも、滑らかな変化のエッジ部を抽出することが可能となる。DoGフィルタは数式4で表される。図6にDoGフィルタを使用したガウシアン差分画像33を示す。本発明ではσ3、σ4を0.849、5.0とした。これらのパラメータは限定されるものではなく、画像の状況に合わせて定めるものとする。
STET15で、ガウシアン差分画像33に所定の閾値により2値化して2値化画像34にする(2値化工程)。
2値化工程では、差分後の画像に閾値を用いた2値化を行う。DoGフィルタを適用した画像上では血管候補部と認識された部分が抽出された。これにはノイズとして血管部ではない部分も抽出されているため、所定の閾値による2値化を行うことで血管候補部の抽出を行う。本発明では閾値を0.8とした。図6に閾値により2値化した2値化画像34を示す。ただし、当該閾値は0.8に限定されるものではなく、適宜近赤外線の照射部の状況等に合わせて定めるものとする。
2値化工程に続けて、ノイズ除去を行う。原画像中には様々なノイズが存在するため、2値化後の2値化画像34においても少なからずノイズが存在する。これらのノイズまたは誤抽出した部分を低減し、血管部の抽出をより正確なものとするため、面積が一定以下である抽出部を削除することでノイズ除去を行う。まず2値化した血管画像にラベリング処理を行う。ここで述べる2値化画像34でのラベリング処理とは、連結成分ごとに区別された記号(ラベル)を各画素に入れた画像により、個々の連結成分を区別するものである。このラベリングにより、各連結成分のピクセル単位での面積計算等が可能になる。
2値化画像34上に存在するノイズの面積は、血管部の面積に対して比較的小さいものが多い。また、血管部であっても抽出範囲が小さい場合は、例えば医療行為時に穿刺を行うことが難しい可能性が高いため、穿刺候補から外しておきたい。よって、一定の面積以下のパターンを削除することで、上記の範囲を穿刺候補から外す。本発明では抽出された血管の内、ピクセルの面積が200より小さいものに対して削除を行う。図6にピクセル数が小さいものをノイズとして除去した輪郭の画像35を示す。なお、図6の輪郭の画像35は、波長760nmの画像である。
STEP16で、2値化画像34から動的輪郭抽出法で血管の輪郭を抽出する(動的輪郭法工程)。
ここで用いた動的輪郭抽出法は、Lanktonらの考案した局所領域に基づく動的輪郭抽出法である(Shawn Lankton and Allen Tannenbaum, “Localizing Region Based Active Contours”, IEEE Transaction on Image Processing. Vol. 17, No. 11, pp. 2029-2039, 2008.ならびに、米国特許第8,155,405号ほか)。この方法では、グローバル変数で定義された領域モデルではなく、局所エネルギーモデルを各局所領域にそれぞれ当てはめることによって画像領域を分割する。具体的には、ある閉曲線によって分けられた局所領域の内側と外側の違いに基づいて、閉曲線に沿う各制御点の局所近傍を計算し、この領域の局所エネルギーモデルを構築する。そして、それぞれの局所領域に対応するモデルの局所エネルギーが極小化になるまでに各制御点を動かした後に、制御点で構成された各閉曲線をその局所領域の輪郭線として抽出する。
なお、動的輪郭抽出法の詳細な数式等については、一般化さているものを使用するため計算式等の詳細な説明は省略するが、動的輪郭抽出法の概略は次のようになる。(1)初期閉曲線を与え、(2)局所エネルギー計算を行い、(3)局所エネルギーが極小になるように閉曲線の形状を変化させ、(2)〜(3)を繰り返して血管の輪郭を抽出する。
このように、DoGフィルタによって抽出し、ノイズを除去した血管の輪郭を変化させることで動的な輪郭抽出を行う。以上のような動的な輪郭抽出法で、グレースケール画像31を元に輪郭線を更新していく。本発明では50回の更新により、血管の輪郭の抽出を行う。
次にSTEP2の合成画像作成工程について詳細に説明する。
合成画像作成工程では、波長が異なる赤外線画像(画像)から血管を抽出し、合成する。まず、波長の異なるそれぞれの画像30に対し、血管の抽出を行う。例えば波長760nmの画像30に対して血管を抽出し輪郭の画像35(図6参照)を得る。同様に波長800nmの画像と、波長840nmの画像に対して血管を抽出し輪郭の画像を得る。
次にマスク画像の作成を行う。波長760nmの画像と波長800nmの画像の差分を求め、波長800nmのマスク画像36(図7参照)を作成する。波長800nmと波長840nmの画像の差分を求め、波長840nmのマスク画像37(図7参照)を作成する。作成したマスクによって波長760nmの画像35(図6参照)に写っている血管、波長800nmのマスク画像36のみに写っている血管、そして波長840nmのマスク画像37のみに写っている血管を得ることができる。
次に画像の合成を行う。図8の(a)に示すように、近赤外線画像それぞれにおいて、波長760nmの画像35のみに含まれている血管部分を濃いグレー40aで表し、波長800nmのみに含まれる血管部分を中度の濃さのグレー40bで表し、波長840nmのみに含まれる血管部分を薄いグレー40cとして合成した合成画像40を作成する。
次にSTEP3の画像処理工程について詳細に説明する。
図8の(b)に示すように、得られた合成画像の濃いグレー40aの成分を強,薄いグレー40cの成分を弱,中度の濃さのグレー40bの成分をその中間の強度としてクロージング処理を行う。これにより、第1の処理画像41を得る。
さらに図8の(c)に示すように、第1の処理画像41を、背景部分とそれ以外の領域で二値化を行う。この手順までを行った画像を第2の処理画像42とする。
次に本発明の3次元血管認識方法と従来の血管認識方法の評価について説明する。
まず、抽出後処理された第2の処理画像42の正確度等を評価するために、図8の(d)に示す正解画像43を作成した。正解画像43は、第2の処理画像42と比較するためのものであり、画像(赤外線画像)30より目視により正確に抽出して作成したものである。
本発明の方法と従来の方法による抽出結果の評価は、各方法により抽出された輪郭の画像35及び処理画像42と、目視により作成した正解画像43との比較により行う。抽出率の性能を測定する際、感度、特異度、正確度といった概念がよく用いられる。感度(Sensitivity)は、陽性と判定されるべき個体数のうち実際に陽性と判別された個体数の割合を示し、特異度(Specificity)は陰性と判定されるべき個体数のうち実際に陰性と判定された個体数の割合を示す。また、正確度(Accuracy)は全体に対する適切な判定数の割合を示す。本発明ではこれらの値を血管抽出画像の評価に用いる。それぞれの値の算出方法を次の数式5〜数式7に示す。
ここで、TP(正陽性:True Positive)は血管部を正確に血管部として判別した画素数、FP(偽陽性:False Positive)は血管部を誤って非血管部として判別した画素数、TN(正陰性:True Negative)は非血管部を正確に非血管部として判別した画素数、FN(偽陽性:False Negative)は血管脈部を誤って血管部として判別した画素数である。
これらのうち、性能評価値算出に用いる血管画像の模式図を図9の(a)に示し、性能評価値算出に用いる正解血管と抽出した血管とを合成した模式図を図9の(b)に示す。図9(a)の中央部の黒い線が血管を表す。
図10は、生体(被験者の左右の手の甲)10の画像における、従来の方法と本発明の方法のそれぞれによる血管抽出の結果と、抽出画像の評価結果による区分画像、及び血管抽出率の評価結果について、被験者の血管抽出率の値を示す。なお、下部の表中の1行目の値、760nm、800nm、840nmは従来の方法によるそれぞれの波長の抽出画像を示す。
本発明の方法を用いて血管抽出を行った結果の平均は、赤外線画像単体から血管抽出した結果の平均と比べて、760nmの画像からは40%、800nmの画像からは35%、840nmの画像からは20%感度が向上している。また、赤外線画像単体を使用する場合と比較して、本発明の方法はより大きな正確さを得ることができる。一方で陰性と判定されるべき個体数のうち実際に陰性と判定された個体数の割合に関する特異度については、本発明の方法における値が赤外線画像単体を使用する場合の値に比べて低い。これは、特異度が低下した要因として、本発明の方法が正解画像作成時に捉えきれていなかった血管を抽出できたことが考えられる。
次にSTEP4の3次元復元化工程の副工程のフローについて説明する。
図5の右下部に示すように、STEP41で、第2の処理画像42から血管の骨格51(図11(a)参照)を抽出する(骨格抽出工程)。STEP42で、抽出した骨格51(図11(b)参照)を切り分ける(切り分け工程)。切り分け工程では、骨格51の枝分かれをしている部分で切り分ける。
STEP43で、切り分けた骨格51毎にベジェ曲面50の制御点53(図11(c)参照)を求める(制御点探索工程)。制御点探索工程では、切り分けた骨格51毎に端から端まで探索を進める。骨格51から垂線52を引き、入力画面上でその垂線52に沿って値の変化を読み取り、制御点53を求める。なお、ベジェ曲線は、N個の制御点から得られるN−1次曲線であり、制御部(コンピュータ)上で滑らかな線を描くための手法のことである。ここでは5次曲線・曲面とした。
STEP44で、制御点からベジェ曲面50(図11(d)参照)を演算する(ベジェ曲面演算工程)。ベジェ曲面演算工程では、STEP43で求めた制御点53の座標をX、Y座標とし、入力座標における制御点の座標の値をZ座標としてベジェ曲面50を求める。
STEP45で、演算して求めたベジェ曲面50上の点を三角形分割(図11(e)参照)する(三角形分割工程)。三角形分割工程では、ベジェ曲面50上の点を三角形分割し、ベジェ曲面50を置き換える。なお、符号60は、三角形分割されたベジェ曲面である。
図12に示すように、STEP46で、三角形分割して得られた複数の面を表示部26の同一の空間に描画する(血管3次元描画工程)。血管3次元描画工程では、小分けされた表面を同じ空間に表示することにより3次元復元を行い、血管70を表示部26に描画する。表示部26に描画された血管70は、いわゆる3次元CADのモデルと同様に表示部26の画面上で移動、回転、拡大縮小、断面などを切ることができる。さらには、この血管70の形状データを基にして、いわゆる3Dプリンタで血管モデルを形成することもできる。
次に血管の描画方法の別態様を説明する。
図13に示すように、台部27にはアーム28が固定され、このアーム28の先端部に小型プロジェクタ29が設けられている。小型プロジェクタ29は、制御部25に無線又は有線で接続されており血管情報を投影することができる。具体的には、制御部25により演算された3次元血管情報は、小型プロジェクタ29により、実際に血管がある位置を腕などの生体10の表面に血管可視化画像71を投射することができる。なお、小型プロジェクタ29は、空間内の位置を認識させて、所謂ハンディタイプのものとしてもよい。
次に本発明の別態様に係るSTEP4の3次元復元化工程の副工程のフロー図について説明する。
図14の右下部に示すように、3次元復元化工程は、STEP41で、第2の処理画像42から血管の骨格51(図11(a)参照)を抽出する(骨格抽出工程)。STEP42で、抽出した骨格51(図11(b)参照)を切り分ける(切り分け工程)。切り分け工程では、骨格51の枝分かれをしている部分で切り分ける。
図15(a)に示すように、STEP43で、切り分けた骨格51毎に、この骨格51の垂直断面に形成される血管の輪郭に近似する楕円(図15(c)参照)の制御点53a、53bを求める(制御点探索工程)。制御点探索工程では、切り分けた骨格51毎に端から端まで探索を進める。波長840nmのグレースケール画像と波長800nmのグレースケール画像の差分(図15(a)参照)、波長800nmのグレースケール画像と波長760nmのグレースケール画像の差分(図15(b)参照)にそれぞれに対して、骨格51から垂線52を引き、入力画面上でその垂線52に沿って血管の輪郭線まで画素値の変化を読み取り、制御点53a、53bを求める。
図16、図17に示すように、STEP43.5で、制御点53a、53bを3次元に配置して骨格51の垂直断面毎に制御点53a、53bから楕円54(図15(c)参照)を形成する(楕円当てはめ工程)。
ここで、光は波長が長くなるほど皮膚11(図1参照)の奥まで届く性質を持っていることを利用する。波長760nmから800nmまでの光は、血管上部(皮膚への深度が浅い)の情報のみを含むから、図15(b)に示す骨格51の垂線52上にある画素値の濃い点が、血管上部の浅い制御点(血管の骨格に近い、血管の厚いところ)、およびその薄い点が、血管上部の深い制御点(血管の輪郭に近い、血管の薄いところ)と考えられる。それらの制御点を合わせて53b、(図15(c)参照)となる。波長800nmから840nmまでの光は、血管下部(皮膚への深度が深い)の情報のみを含むから、図15(a)に示す骨格51の垂線52上にある画素値の濃い点が、血管下部の深い制御点(血管の骨格に近い、血管の厚いどころ)、およびその薄い点が、血管下部の浅い制御点(血管の輪郭に近い、血管の薄いどころ)と考えられる。それらの制御点を合わせて53a(図15(c)参照)となる。
複数の血管上部の制御点53bにより楕円54の上側の円弧を形成する点群が3次元に配置され、複数の血管下部の制御点53aにより楕円54の下側の円弧を形成する点群が3次元に配置される(図16参照)。そして、骨格51の垂直断面毎に制御点53a、53bの点群の楕円54の当てはめを行い、複数の楕円54が3次元に配置される(図17参照)。
次に楕円54(楕円ε)の当てはめについて説明する。
最小二乗法を用いて楕円の当てはめを行う。まず、制御点53a、53bの点群を3次元空間から2次元垂直断面に射影し、その断面上の楕円εは次のように定義する。
ここで、ω、ω、ω、ω、ω およびω は、座標(x,y)に関する変数x、xy、y、x、yおよび定数1の係数とする。また、この楕円は以下の拘束条件(数式9)を満たさなくてはならないとする。
それらの変数と定数がベクトル:
で表され、その対応する係数ベクトルが
で定義された場合、楕円は次のようなベクトル式で書かれる。
各制御点の座標xi =(x,y),i=1,2,・・・,Nを数式(12)に代入すると、もし楕円の曲線は制御点を通っていない場合、誤差が生じる。この誤差は制御点と曲線の間の距離と考えられ、次の関数のように定義される。
したがって、楕円の当てはめは、係数ベクトルωに対して制御点距離の2乗和を最小化することになる。
ここで、拘束条件(数式9)は次式に変更される。
ベクトルxを行列にすると、数式14と数式15を次のように再定式化することができる。
ここで、Dはベクトルxの計画行列:
であり、Cは楕円の拘束条件(制約式)を表す制約行列
である。そして、数式16において、ラグランジュの未定乗数法を適用すると、次式のようなラグランジュ関数Lが得られる。
∂L/∂ω=0および∂L/∂λ=0になる場合、ラグランジュ関数Lの最適化式は次のように記述される。
ここで、Sは6×6の散布図行列:
であり、係数ベクトルωの6つの実数解は、次式の固有値分解によって得られる。
また、
に基づいて、最適な係数ベクトルω^=[ω^1 ω^2 ω^3 ω^4 ω^5 ω^6]は、数式20を満たす最小の正の固有値に対応する固有ベクトルとして計算される。ω^が存在すれば、当てはめた楕円の中心(x,y)は、次式で得られる。求められた楕円εを2次元垂直断面から3次元空間に射影する。
STEP44で、楕円54上の点からベジェ曲面50(図11(d)参照)を演算する(ベジェ曲面演算工程)。ベジェ曲面演算工程では、STEP43.5で求めた楕円54の円弧を表現する点群を、ベジェ曲面の制御点としてベジェ曲面50を求める。
STEP45で、演算して求めたベジェ曲面50上の点を三角形分割(図11(e)参照)する(三角形分割工程)。三角形分割工程では、ベジェ曲面50上の点を三角形分割し、ベジェ曲面50を置き換える。なお、符号60は、三角形分割されたベジェ曲面である。
図18に示すように、STEP46で、三角形分割して得られた複数の面を表示部26の同一の空間に描画する(血管3次元描画工程)。血管3次元描画工程では、小分けされた表面を同じ空間に表示することにより3次元復元を行い、血管72を表示部26に描画する。演算により求められる血管の断面を楕円で近似するので、より実際の血管形状に近似させて精度の高い3次元血管情報を得ることができる。
次に以上に述べた3次元血管認識方法及び3次元血管認識装置20の作用、効果について説明する。
血管抽出工程、合成画像作成工程、画像処理工程及び3次元復元化工程を連続させることで、撮影部21(近赤外カメラ)を介して、非侵襲的に血管12の走行や太さ、深さなど複数の3次元血管情報を算出する。このため、従来の手法では抽出が容易でなかった血管抽出処理の精度を向上させ、仮想空間に3次元血管画像を再構成することができる3次元血管認識方法を提供することができる。
さらに、本発明は、超音波診断装置より身体の広い部分を撮影してスキャンすることが可能であるが、最適化技術を利用しているため処理時間を例えばわずか20秒と短縮でき、さらに汎用化されている組み込み技術を使えば、リアルタイムで処理することが可能になる。さらに、放射線被爆がない、造影剤を使用しない、金属検査をしない、ゼリー塗布をしない、小型かつ非接触型などのメリットを持っているため、本発明によれば、血管12を検査する者(臨床検査技師、医師など)と検査される者の両者に対して検査の負担を軽くすることができる。
さらに、グレースケール化工程、平滑化フィルタ工程、DoGフィルタ工程、2値化工程及び動的輪郭法工程により、ノイズを低減させて精度の高い3次元血管情報を得ることができる。さらに、骨格抽出工程、切り分け工程、制御点探索工程、ベジェ曲面演算工程、三角形分割工程及び動的輪郭法工程により、より精度の高い3次元血管情報を得ることができる。さらに、楕円当てはめ工程により、演算により求められる血管の断面を楕円で近似するので、より実際の血管形状に近似させて精度の高い3次元血管情報を得ることができる。
さらに、撮影部21、制御部25、表示部26からなるので、小型且つ軽量な3次元血管認識装置20とすることができる。さらに、撮影部21は、生体10を撮影する複数の汎用カメラ23と、所定の異なる波長域の近赤外線をカットする複数のカットフィルタ24a、24b、24cを設けたのみであるので、装置のコストを低減することができる。さらに、制御部は、演算により求められる血管の断面を楕円で近似するので、簡易な構成でより実際の血管形状に近似させて精度の高い3次元血管情報を得ることができる。
尚、実施例では、汎用カメラ23を3つとし、3つの異なる波長の反射光を撮影したが、これに限定されず、汎用カメラ23は、2つ、4つ、5つ以上として2つ、4つ、5つ以上の波長の異なる反射光を撮影するものとしてもよい。また、実施例では、血管を3次元化して認識する技術としたが、これに限定されず、近赤外線の反射光を取得することで3次元化して形状を認識することができれば、生体の他の部分や、工業製品などの物品など、用途は問わない。さらには、3次元血管可視化画像は、モニター、スクリーンなどの表示部26や、小型プロジェクタ29による生体10の表面に映し出したものに限定されず、ホログラムなど空間所に立体的に描画する形態であってもよい。即ち、本発明の作用及び効果を奏する限りにおいて、本発明は、実施例に限定されるものではない。
また、実施例では、ベジェ曲面を利用して血管を3次元に描画したが、これに限定されず、例えば、Coons曲面、Gregory曲面、B−Spline曲面など血管を3次元に描画できれば他の曲面を演算により求めて利用してもよい。さらに、実施例では、Lanktonらの考案した局所領域に基づく動的輪郭抽出法を利用して血管輪郭を抽出したが、これに限定されず、例えば、代表的な手法としてSnakes法やLevel set法などで血管輪郭を抽出できれば他の動的輪郭抽出法により求めて利用してもよい。
本発明は、生体の血管を認識する3次元血管認識方法及び3次元血管認識装置に好適である。
10…生体(手の甲)、12…血管、20…3次元認識装置、21…撮影部(近赤外線カメラ)、23…汎用カメラ、24a、24b、24c…フィルタ、25…制御部、26…表示部、30…画像(赤外線画像)、31…グレースケール画像、32…平滑化画像、33…ガウシアン差分画像、34…2値化画像、35…輪郭の画像、36…波長800nmのマスク画像、37…波長840nmのマスク画像、40…合成画像、41…第1の処理画像、42…第2の処理画像、50…ベジェ曲面、53、53a、53b…制御点、54…楕円、60…三角形分割されたベジェ曲面、70、72…描画された血管。

Claims (7)

  1. 異なる波長の近赤外線が照射された生体の前記異なる波長の近赤外線に応じた複数の画像を撮影部で撮影し、制御部で各画像の血管の輪郭を抽出する血管抽出工程と、
    前記制御部で前記各画像の血管の輪郭を合成して輪郭の合成画像を作成する合成画像作成工程と、
    前記制御部で前記合成画像に対して前記波長の成分に分けて図形を平滑化し、処理画像を得る画像処理工程と、
    前記制御部で前記処理画像から前記血管の骨格を抽出し、ベジェ曲面を演算して前記血管を3次元に復元化して表示部に表示する3次元復元化工程と、を備えていることを特徴とする3次元血管認識方法。
  2. 請求項1記載の3次元血管認識方法であって、
    前記血管抽出工程は、
    前記生体の前記画像を前記撮影部で撮影する撮影工程と、
    撮影された前記画像を赤外線単色光としてグレースケール画像に変換するグレースケール化工程と、
    前記グレースケール画像からバイラテラルフィルタによりノイズを低減して平滑化画像にする平滑化フィルタ工程と、
    DoGフィルタにより前記平滑化画像の差をとりガウシアン差分画像にするDoGフィルタ工程と、
    前記ガウシアン差分画像に所定の閾値により2値化して2値化画像にする2値化工程と、
    前記2値化画像から動的輪郭抽出法で前記血管の輪郭を抽出する動的輪郭法工程と、を備えていることを特徴とする3次元血管認識方法。
  3. 請求項1又は請求項2記載の3次元血管認識方法であって、
    3次元復元化工程は、
    前記処理画像から前記血管の骨格を抽出する骨格抽出工程と、
    抽出した前記骨格を切り分ける切り分け工程と、
    切り分けた前記骨格毎にベジェ曲面の制御点を求める制御点探索工程と、
    前記制御点からベジェ曲面を演算するベジェ曲面演算工程と、
    演算して求めた前記ベジェ曲面上の点を三角形分割する三角形分割工程と、
    三角形分割して得られた複数の面を前記表示部の同一の空間に描画する血管3次元描画工程と、を備えていることを特徴とする3次元血管認識方法。
  4. 請求項1又は請求項2記載の3次元血管認識方法であって、
    3次元復元化工程は、
    前記処理画像から前記血管の骨格を抽出する骨格抽出工程と、
    抽出した前記骨格を切り分ける切り分け工程と、
    切り分けた前記骨格毎に前記骨格の垂直断面に形成される前記血管の輪郭に近似する楕円の制御点を求める制御点探索工程と、
    前記制御点を3次元に配置して前記骨格の垂直断面毎に前記制御点から楕円を形成する楕円当てはめ工程と、
    前記楕円からベジェ曲面を演算するベジェ曲面演算工程と、
    演算して求めた前記ベジェ曲面上の点を三角形分割する三角形分割工程と、
    三角形分割して得られた複数の面を前記表示部の同一の空間に描画する血管3次元描画工程と、を備えていることを特徴とする3次元血管認識方法。
  5. 異なる波長の近赤外線が照射された生体の前記異なる波長の近赤外線に応じた複数の画像を撮影する撮影部と、
    撮影した各画像の血管の輪郭を抽出し、
    前記各画像の血管の輪郭を合成して輪郭の合成画像を作成し、前記合成画像に対して前記波長の成分に分けて図形を平滑化することで処理画像を得て、前記処理画像から前記血管の骨格を抽出し、ベジェ曲面を演算して前記血管を3次元に復元化する制御部と、
    3次元に復元化された前記血管を表示する表示部と、を備えていることを特徴とする3次元血管認識装置。
  6. 異なる波長の近赤外線が照射された生体の前記異なる波長の近赤外線に応じた複数の画像を撮影する撮影部と、
    撮影した各画像の血管の輪郭を抽出し、
    前記各画像の血管の輪郭を合成して輪郭の合成画像を作成し、前記合成画像に対して前記波長の成分に分けて図形を平滑化することで処理画像を得て、前記処理画像から前記血管の骨格を抽出し、前記骨格毎に前記骨格の垂直断面に形成される前記血管の輪郭に近似する楕円の制御点を求め、前記制御点を3次元に配置して前記骨格の垂直断面毎に前記制御点から楕円を形成し、前記楕円からベジェ曲面を演算して前記血管を3次元に復元化する制御部と、
    3次元に復元化された前記血管を表示する表示部と、を備えていることを特徴とする3次元血管認識装置。
  7. 請求項5又は請求項6記載の3次元血管認識装置であって、
    前記撮像部は、前記生体を撮影する複数の汎用カメラと、これらの複数の汎用カメラのレンズの前方に設けられ所定の異なる波長域の近赤外線をカットする複数のカットフィルタと、を備えていることを特徴とする3次元血管認識装置。
JP2020110627A 2019-06-27 2020-06-26 3次元血管認識方法及び3次元血管認識装置 Active JP7164890B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019120601 2019-06-27
JP2019120601 2019-06-27

Publications (2)

Publication Number Publication Date
JP2021006250A true JP2021006250A (ja) 2021-01-21
JP7164890B2 JP7164890B2 (ja) 2022-11-02

Family

ID=74165267

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020110627A Active JP7164890B2 (ja) 2019-06-27 2020-06-26 3次元血管認識方法及び3次元血管認識装置

Country Status (1)

Country Link
JP (1) JP7164890B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181726A1 (ja) * 2021-02-25 2022-09-01 国立大学法人東北大学 画像処理方法、プログラム、および画像処理装置
CN116831526A (zh) * 2023-06-29 2023-10-03 成都市凯瑞医疗科技有限公司 红外双目与超声融合的三维血管成像方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102813504A (zh) * 2012-08-29 2012-12-12 北京理工大学 一种多光谱三维静脉图像显示装置
JP2013244343A (ja) * 2012-05-29 2013-12-09 Mitsubishi Electric Engineering Co Ltd 生体情報提示装置および生体情報提示方法
US20140039309A1 (en) * 2012-04-26 2014-02-06 Evena Medical, Inc. Vein imaging systems and methods
CN106994001A (zh) * 2017-03-30 2017-08-01 展谱光电科技(上海)有限公司 便携式多光谱摄像装置及其使用方法
JP2017164424A (ja) * 2016-03-18 2017-09-21 国立大学法人広島大学 治療支援システム、治療支援システムの動作方法及び治療支援プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140039309A1 (en) * 2012-04-26 2014-02-06 Evena Medical, Inc. Vein imaging systems and methods
JP2013244343A (ja) * 2012-05-29 2013-12-09 Mitsubishi Electric Engineering Co Ltd 生体情報提示装置および生体情報提示方法
CN102813504A (zh) * 2012-08-29 2012-12-12 北京理工大学 一种多光谱三维静脉图像显示装置
JP2017164424A (ja) * 2016-03-18 2017-09-21 国立大学法人広島大学 治療支援システム、治療支援システムの動作方法及び治療支援プログラム
CN106994001A (zh) * 2017-03-30 2017-08-01 展谱光电科技(上海)有限公司 便携式多光谱摄像装置及其使用方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181726A1 (ja) * 2021-02-25 2022-09-01 国立大学法人東北大学 画像処理方法、プログラム、および画像処理装置
CN116831526A (zh) * 2023-06-29 2023-10-03 成都市凯瑞医疗科技有限公司 红外双目与超声融合的三维血管成像方法
CN116831526B (zh) * 2023-06-29 2024-01-02 成都市凯瑞医疗科技有限公司 红外双目与超声融合的三维血管成像方法

Also Published As

Publication number Publication date
JP7164890B2 (ja) 2022-11-02

Similar Documents

Publication Publication Date Title
Giancardo et al. Textureless macula swelling detection with multiple retinal fundus images
JP6080249B2 (ja) 3次元画像表示装置および方法並びにプログラム
US10430941B2 (en) Identifying abnormal tissue in images of computed tomography
Athanasiou et al. Three-dimensional reconstruction of coronary arteries and plaque morphology using CT angiography–comparison and registration with IVUS
US20070167710A1 (en) Method and Apparatus for Inner Wall Extraction and Stent Strut Detection Using Intravascular Optical Coherence Tomography Imaging
JP7374615B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7164890B2 (ja) 3次元血管認識方法及び3次元血管認識装置
Chen et al. An improved level set for liver segmentation and perfusion analysis in MRIs
Glaßer et al. Combined visualization of wall thickness and wall shear stress for the evaluation of aneurysms
CN107862724A (zh) 一种改进的微血管血流成像方法
CN106780649A (zh) 图像的伪影去除方法和装置
Sakas et al. Advanced applications of volume visualization methods in medicine
CN114209278B (zh) 一种基于光学相干层析成像的深度学习皮肤病诊断系统
Blondel et al. Automatic trinocular 3D reconstruction of coronary artery centerlines from rotational X-ray angiography
CN112137693B (zh) 四维超声引导穿刺的成像方法及装置
Mukai et al. Tongue model construction based on ultrasound images with image processing and deep learning method
Van Tran et al. Design and enhance the vein recognition using near infrared light and projector
Chandrashekar et al. A deep learning approach to generate contrast-enhanced computerised tomography angiography without the use of intravenous contrast agents
CN113658172B (zh) 图像处理方法及装置、计算机可读存储介质及电子设备
Stergiopoulos 2 Applications to Medical Data: 7.2. 1 Radiological Data
Shen et al. Evaluation and analysis of cardiovascular function in intensive care unit patients by ultrasound image segmentation based on deep learning
Ilyasova et al. Systems for Recognition and Intelligent Analysis of Biomedical Images
Stergiopoulos Advanced Applications of Volume Visualization Methods in Medicine
Avilés et al. An Ultrasound Transducer Tracking System Enhanced by Artificial Intelligence: A Camera-Based Approach
Pchelkina et al. An Algorithm for Automatic Image Segmentation Using the Sobel Method for an Optical Coherence Tomography

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220725

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221014

R150 Certificate of patent or registration of utility model

Ref document number: 7164890

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150