JP2017224061A - 処理装置、情報取得装置、及び画像処理方法 - Google Patents
処理装置、情報取得装置、及び画像処理方法 Download PDFInfo
- Publication number
- JP2017224061A JP2017224061A JP2016117544A JP2016117544A JP2017224061A JP 2017224061 A JP2017224061 A JP 2017224061A JP 2016117544 A JP2016117544 A JP 2016117544A JP 2016117544 A JP2016117544 A JP 2016117544A JP 2017224061 A JP2017224061 A JP 2017224061A
- Authority
- JP
- Japan
- Prior art keywords
- partial
- blood vessel
- measure
- partial area
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】血管に関する情報を精度よく取得することが可能な処理装置などを提供する。【解決手段】処理装置は、被検体の血管を含む部位の複数の画像のフレームにおいて、同一場所に部分領域をそれぞれ設定し、複数の部分領域の各々の測度を取得する第一部と、複数の部分領域から、測度が第1の所定の条件を満たす第1の部分領域と測度が第2の所定の条件を満たす第2の部分領域とを選択する第二部と、第1の部分領域と第2の部分領域について差分を採る第三部と、を有する。【選択図】 図1
Description
本発明は、処理装置、情報取得装置、及び画像処理方法に関する。
生体内等の組織構造や血管構造等を撮像可能な手段としては、例えば、核磁気共鳴画像法(magnetic resonance imaging:MRI)、X線CT(X−ray Computed Tomography)などが挙げられる。しかし、これらの方法では、造影剤使用、被爆等の課題があり、非被曝非侵襲な観察方法が求められている。
非被曝・非侵襲な計測方法として光による計測技術が挙げられる。しかし、生体は光に対して強散乱体であり、光による生体内組織の観察においては散乱光の影響により、組織構造のボケ、画像コントラストの低下が生じる。そのため、細い血管のように散乱によるコントラスト低下が生じやすい血管や、光吸収が弱くコントラストが低い新生血管群等の血管の観察に際しては、血管像を抽出し強調することが求められる。
ところで、特許文献1では、静脈認証の分野において、静脈の空間周波数よりも低い低周波成分及び高い周波数成分を低減するフィルタを用いて、静脈の血管パターンを抽出することが開示されている。
しかし、新生血管群などの像は、空間周波数が低い可能性が高く、特許文献1の方法を用いると、新生血管群のパターンが抽出しにくくなる。そこで、血管像の空間周波数に関係なく、血管に関する情報を精度よく取得することが求められる。本発明の目的は、血管に関する情報(高コントラストな血管像など)を精度よく取得することが可能な処理装置などを提供することである。
本発明の一側面としての処理装置は、被検体の血管を含む部位の複数の画像のフレームにおいて、対応する同一の場所に部分領域をそれぞれ設定し、複数の前記部分領域の各々の測度を取得する第一部と、複数の前記部分領域から、前記測度が第1の所定の条件を満たす第1の部分領域と前記測度が第2の所定の条件を満たす第2の部分領域とを選択する第二部と、前記第1の部分領域と前記第2の部分領域について差分を採って前記部分領域における処理画像データを生成する第三部と、を有することを特徴とする。
本発明の一側面によれば、血管に関する情報を精度よく取得することが可能な処理装置などを提供することができる。例えば、光を用いて、時間的に血流変化する注目血管を観察して得られる血管動画像から、鮮鋭な血管画像を生成することができる。
本発明の一側面の画像処理方法は、次の第一工程乃至第三工程を有する。第一工程では、被検体の血管を含む部位の複数の画像のフレームにおいて、対応する同一の場所に部分領域をそれぞれ設定し、複数の前記部分領域の各々の測度を取得する。第二工程では、複数の前記部分領域から、前記測度が第1の所定の条件を満たす第1の部分領域と前記測度が第2の所定の条件を満たす第2の部分領域とを選択する。第三工程では、前記第二工程で選択された前記第1の部分領域と前記第2の部分領域について差分を採って前記部分領域における処理画像データを生成する。この差分の取得ないし減算は、例えば、部分領域である小領域の画素ごとに行われて、処理画像データである鮮鋭化小領域の画像が生成される。前記測度の差分取得ないし減算を行って、鮮鋭化小領域の画像を生成することもできる。
さらに、前記第一工程乃至第三工程を繰り返して、前記画像のフレームにおいてずらして設定された複数の部分領域の各々で処理画像データを生成することができる。そして、第四工程で、複数の処理画像データを統合することで被検体の血管に関する情報を取得することができる。ここでは、前記第一工程で、前記画像のフレームにおいて重複を許して複数の部分領域を設定することが好ましい。重複しないで(つまり隙間なく部分領域をずらして行く)複数の部分領域を設定することもできるが、部分領域である小領域間の継ぎ目が目立つ恐れがあり、あまり好ましくない。ただし、本発明はこの形態を排除するものではない。
前記画像のフレームにおいて複数の部分領域をずらして設定する場合、典型的には、部分領域のサイズは等しいが、異なるサイズで設定することもできる。部分領域自体の大きさについても、場合に応じて決定すればよい。部分領域のずらし量についても、場合に応じてその量を設定すればよい。例えば、要求される鮮鋭化の程度がより大きい部分では、より小さいサイズで部分領域を設定し、より小さいずらし量で部分領域をずらす手法を採ることができる。また、測度の種類は、典型的には、同じ種類のものを採用するが、ずらして設定される複数の部分領域において、異なる種類の測度を用いて第1の部分領域と第2の部分領域を選択することもできる。いずれにせよ、これらの態様については、場合に応じて決めればよい。以上の画像処理により、例えば通常の透過撮像では散乱光による背景分布の中に淡い血管像(吸収像)が存在するような画像でも、散乱光成分などを画像から除去することにより、例えばコントラストの良い血管像が抽出可能である。
異なる撮像条件で被検体を撮像するに際し、撮像条件の違いによる血管像の差異に関しては、血流の変化による血管部の透過率変化、光吸収変化などが挙げられる。血流の変化を生じさせる原因或いは手法には次のものがある。例えば心臓の拍動に起因する、人体で常に生じている血流変動がある。また、撮像する血管を含む部位の高さと被検者の心臓の高さとの位置関係を変化させても、血流変動が生じうる。例えば、被検者に深呼吸して一定期間息を止めてもらう、撮像される指をもつ手と反対側の手を肩より高く挙げて一定期間止めておいてもらう、等の手法がある。しかし、確実に血流の変化を生じさせるには、血流変化部である駆血帯(カフ)などを用いて、撮像部位よりも心臓に近い部位を圧迫する圧力を変化させ、撮像部位の血流を変動させることが好適である。前記画像処理方法の各工程の態様には、後述する実施形態及び実施例で説明するように様々なものがある。本発明の他の側面の情報取得装置は、前記第一乃至第三工程の機能をそれぞれ実行する第一部、第二部、第三部を含む処理装置を有する。
以下、添付の図面を参照して、本発明の実施形態及び実施例を説明する。本発明の一実施形態の情報取得装置ないし撮像装置は、光源部と、撮像部と、処理部を含む処理装置とを少なくとも有する。光源部からの光を、例えば被検体の部位に照射し、透過光、反射光、散乱光の少なくとも1つを撮像部にて検出し、撮像部位の画像を、異なる撮像条件にて複数回撮像する。本実施形態では、注目する血管を異なる条件で撮像したこうした画像を複数用いる。
図1は、本発明の一側面の情報取得装置ないし撮像装置の例示的な構成を模式的に示す。図1において、照明部(光源部)101は、可視から近赤外の光を放射する。一例として、400nm〜1700nmの波長範囲の光である。特に、散乱の影響も比較的小さく、且つヘモグロビン或いは水の特徴的な吸収スペクトルを含む波長700nm〜1200nmの範囲の光が望ましい。受光部(撮像部)103は、上記波長範囲の光を受光できるアレイセンサと、同アレイセンサに光を結像する光学系と、を含む。保持部102上の被検体は、手の指などである。撮像部位は、被検体の全体、或いは被検体の或る注目領域であり、血管を含む部位である。処理部(制御・処理部)104は、撮像部103で撮像された画像の信号を処理し、処理データを出力部(モニタ)に出力する。
画像処理方法の原理について説明する前に、まず構成例を、図1に示したブロック図に従い詳しく説明する。撮像装置100において、照明部101は、LED(Laser Emitting Diode)やレーザーを用いることが可能である。照明波長は、「生体の窓」にあたる波長が、生体への深達度が高く好適である。すなわち、一般に生体組織おいて、特に赤外波長700nm〜1000nmは「生体の窓」と呼ばれ、光の吸収が小さく、光が皮膚下の深部まで到達する。また、注目部位を含む撮像領域を、一括で照射するように大面積な照明光源が好適である。これは、例えばLEDをアレイ状に配列した面光源を形成することで実現できる。あるいは、太い平行光束で照射する構成をとることも好適である。LEDであれば1つのLEDを略平行光束にコリメートすることで実現できる。レーザーであれば、光束径を拡大し平行光束にすることで実現できる。
また、照明部101と撮像部位との間に拡散板を挿入する構成は、LEDアレイなどの光源の光量分布を均一化して、撮像部位を照明することが可能であり好適である。レーザーを照明光源として用いる場合、光束径を拡大せず、ガルバノミラー等のスキャン光学系を用いて、撮像部位における照明位置を変化させながら撮像する構成も可能である。
保持部102は、手指などの生体組織の撮像部位を保持する機能を有していても良い。保持部102の形状は、単純な平面状であっても良いし、曲面状であっても良い。照射光が保持部102と撮像部位を透過する構成の場合、保持部102は照射光に対して透過率が高い部材で構成されていることが望ましい。あるいは、保持部102の一部が光透過部材または空気などの透明部で、残りの部分が遮光部材で構成され、照明光が観察部位の所望の位置だけを照射する構成も好適である。また、保持部102は、照明部101や受光部103に対して、生体組織を保持したまま相対的に移動させる駆動機構を有しても良い。
受光部103は、前述した照明波長に感度を有するカメラやフォトディテクタを用いることが可能である。例えばデジタルデータを出力可能なカメラであれば、その出力は処理部104にデジタル画像データとして取りこむことが可能である。血管画像は、脂肪や筋肉、骨などの散乱体に起因する生体内散乱光が重畳し、コントラストの低い画像となりやすい。したがって、血管画像の撮像にカメラを用いる場合、階調が豊かで、僅かな光量の分布を確実に検知できる性能を有することが好ましい。また、カメラが有するノイズも小さいことが好ましい。さらに、カメラは動画撮像機能があることが好ましい。
フォトディテクタと、受光位置をスキャンする光学系や光学素子とを組み合わせて、受光部103を構成し、受光位置信号と光量信号から取得画像を計算機内で再構成しても良い。フォトディテクタからの電圧信号はアナログ出力であるため、これをA/D変換してコンピュータ等の演算装置に取り込む場合には、ビット数が高いA/D変換をしておくことが好ましい。フォトディテクタは単一素子であるため、高速性、低ノイズ性に優れ、好適である。
処理部104は、受光部103からの出力信号(血管画像)から、処理画像データであり血管像を鮮鋭化した画像(鮮鋭化血管画像)を生成する。処理部104は例えばコンピュータなどを用いることが可能である。また、必要に応じて、受光部103からの信号を取り込む取り込みボードを有しても良い。更に、撮像画像や各種演算処理で算出した最終画像を表示するためのディスプレイも有していることが好ましい。ただし、画像をディスプレイに表示する構成に限るものではなく、別の表示機器で画像を表示させても良い。また、本装置からの出力は、特異的なデータや特定の特徴を持つデータの有無などの検出結果であってもよい。例えば、関節などのある領域を撮像し、関節を含む領域の画素値の平均を関節ごとに算出し他の関節と比較することが可能である。そして他の関節と比較して画素値の平均値が特に低いまたは高いなどの疾患や怪我等が疑われる特異的な部位の存在を撮像データから検出することが可能である。検出した場合には装置からの出力として、特異的な部位を検出したことを知らせるメッセージや判定結果の表示などの処理も可能である。このような処理は撮像データを画像化する処理を経ることなく、撮像データを直接処理し算出するため、高速な演算が可能である。
また、処理部104は、後述する血管画像鮮鋭化のための画像処理方法を記したプログラムやアプリケーションを内蔵している。あるいは、血管画像鮮鋭化のための画像処理方法を記したプログラムを、回路として実装したボード等を有していても良い。また、処理部104は同時に、照明部101の制御機能(光量変動のモニタ、抑制、光量調整など)や、保持部102の制御機能(XYZ微動機構の制御、制震など)を有していても良い。すなわち、本発明は、次の様な処理でも実現可能である。即ち、実施形態や実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
次に、撮像装置100が鮮鋭な血管画像を生成する画像処理方法を、図2に示したフローチャートに従い説明する。ステップS201では、撮像装置100により生体組織の注目部位を、動画で観察して得られる複数枚の血管画像である、第1のフレームから第Nのフレームのうち、第1のフレームの任意の場所から、部分領域である1枚の小領域を抽出する。ここで、フレームとは、撮像時間の異なる血管画像のことである。この処理を、位置合わせ処理をした他のフレームの対応する場所でも行うことで、複数枚の小領域の画像データを生成する。
前記Nは2以上の整数である。また、本実施形態では、同一部位かつ同一の注目血管を観察する必要がある。或るフレームでは手指を観察しているが、別のフレームでは足指を観察している、のでは本実施形態の画像処理方法は機能しない。また、本実施形態では、注目血管は時間的に血流変化する必要がある。すなわち、心臓の鼓動や外部からの締め付けなどにより血流変化が生じ、これにより血管画像のコントラストが、フレーム毎に変化している必要がある。心臓の鼓動による血流変化は生体内で日常的に起こっており、駆血帯(カフ)の締め付けによる血流変化も、血圧測定の分野では行われているため、この前提は妥当である。また、ここで言う小領域とは、取得した血管画像よりも小さいサイズの画像のことであり、小(片)画像やパッチなどとも呼ばれる。
位置合わせ処理は、例えば生体組織に予め付けた目印を手掛かりに行うことも可能である。また、第1のフレームから第Nのフレームは、必要に応じて処理前に画素値を規格化しても良い。また、取得した血管画像全面を処理する必要がない場合、血管画像の一部を切り出して(トリミングして)処理しても良い。その場合は、切り出された一部分をフレームと呼ぶ。また、切り出しを行う場合は、他のフレームの対応する場所において、切り出しを行う必要がある。また、血管画像を従来手法によりノイズ除去やコントラスト強調した後、処理しても良い。
ステップS202では、ステップS201で生成した複数枚の小領域の、各々の測度を算出する。ここで、測度とは小領域のコントラストなどを定量的に測る指標であり、例えば次の式1で与えられる、小領域の画素値の分散を用いても良い。
V(X)=1/(N−1)・Σi=1 N|xi−μ|2 μ=1/N・Σi=1 Nxi
式1
ここで、V(X)は小領域X(部分領域X)の画素値の分散、Nは小領域Xの全画素数、xiは小領域Xのi番目の画素値、μは小領域の画素値の平均値、である。
V(X)=1/(N−1)・Σi=1 N|xi−μ|2 μ=1/N・Σi=1 Nxi
式1
ここで、V(X)は小領域X(部分領域X)の画素値の分散、Nは小領域Xの全画素数、xiは小領域Xのi番目の画素値、μは小領域の画素値の平均値、である。
測度は分散に限らず、コントラストや勾配に基づく量を用いても良い。コントラストは小領域内の最大画素値Imaxと最小画素値Iminを用いて、次の式2で定義される量である。
(Imax−Imin)/(Imax+Imin) 式2
勾配は例えば小領域内の右隣の画素との差分(隣接する画素間の差分)の絶対値をとって得られる微分小領域の画素値の和で定義することができる。この様に、処理装置の前記第三部は、部分領域の複数の画素値の最大値と最小値、平均、標準偏差、分散などのうちのデータを処理して測度を取得することができる。なお、本明細書において太字は行列またはベクトル量、細字はスカラー量を表している。
(Imax−Imin)/(Imax+Imin) 式2
勾配は例えば小領域内の右隣の画素との差分(隣接する画素間の差分)の絶対値をとって得られる微分小領域の画素値の和で定義することができる。この様に、処理装置の前記第三部は、部分領域の複数の画素値の最大値と最小値、平均、標準偏差、分散などのうちのデータを処理して測度を取得することができる。なお、本明細書において太字は行列またはベクトル量、細字はスカラー量を表している。
ステップS203では、ステップS202で算出した測度のうち、最大のものに対応する第1の小領域と、最小のものに対応する第2の小領域を選択する。なお、最大のものが複数存在する場合は、そのうちいずれか1つを選択し、対応する小領域を第1の小領域とする。選択方法はランダムでも良いし、前述したような他の測度を用いて再度評価しても良い。また、最小のものが複数存在する場合の処理も同様である。この様に、処理装置の前記第二部は、測度が第1の閾値以上である第1の部分領域と測度が第2の閾値以下である第2の部分領域とを選択したり、測度が最大である第1の部分領域と測度が最小である第2の部分領域とを選択したりすることができる。また前記第二部は、複数種類の測度がそれぞれ所定の条件を満たす第1の部分領域と複数種類の測度がそれぞれ所定の条件を満たす第2の部分領域とを選択することもできる。
ステップS204では、ステップS203で選択した第1の小領域から第2の小領域を、重み付き減算し、第1のフレームの任意の場所(ステップS201で小領域を抽出した場所に対応する場所)における、鮮鋭化小領域を生成する。重み付き減算の方法は、次の式3で与えられる。
Y=X1−αX2 式3
ここで、X1、X2は各々第1、第2の小領域、Yは第1のフレームの任意の場所における鮮鋭化小領域、αは重み、である。これにより、散乱光に起因するオフセット成分を差し引き、鮮鋭な小領域を生成できる。
Y=X1−αX2 式3
ここで、X1、X2は各々第1、第2の小領域、Yは第1のフレームの任意の場所における鮮鋭化小領域、αは重み、である。これにより、散乱光に起因するオフセット成分を差し引き、鮮鋭な小領域を生成できる。
重みαの決定方法は、次の式4で与えられる。
α=argαmaxV(Y) α:αmax→αmin 式4
ここで、αmax、αminは各々重みの最大値と最小値である。すなわち、重みαを大きな値から小さな値に変化させた際の、鮮鋭化小領域の測度が最大となる重みαを選択する。
α=argαmaxV(Y) α:αmax→αmin 式4
ここで、αmax、αminは各々重みの最大値と最小値である。すなわち、重みαを大きな値から小さな値に変化させた際の、鮮鋭化小領域の測度が最大となる重みαを選択する。
なお、照明光にムラがある場合などは、後述するように第1のフレームの全ての場所において、鮮鋭化小領域を生成した後、鮮鋭化小領域を統合して鮮鋭化血管画像を生成すると、小領域間の継ぎ目が目立つことがある。そこで、例えば生成した鮮鋭化小領域から、平均値を減算(=平均値をゼロに置換)することで、統合した際の小領域間の継ぎ目が目立たないようにしても良い。または、鮮鋭化小領域の平均値を、ゼロ以外の所定の一定値に置き換えても良い。または、後述するように鮮鋭化小領域を統合して鮮鋭化血管画像を生成した後、小領域間の継ぎ目を平滑化するなどして、継ぎ目を目立たなくさせても良い。
例えば、小領域間の継ぎ目を中心とする処理領域を設定し、その処理領域に対してメジアンフィルタを作用させても良い。ここで、メジアンフィルタとは処理領域内の中心に位置する画素の値を、処理領域内の全画素値の中央の画素値で置き換える処理であり、平滑化の効果がある。これにより、継ぎ目が目立っている(=周囲の画素値から大きく外れている)場合、補正することができる。平滑化処理はこれに限らず、鮮鋭化血管画像をフーリエ変換し、得られる周波数画像の高周波(ノイズ)成分をカットした後、逆フーリエ変換する、などの処理をしても良い。
ステップS205では、第1のフレーム全面でステップS201からステップS204を行い、第1のフレームの全ての場所における鮮鋭化小領域を生成する。なお、第1のフレームからの小領域の抽出は、小領域同士が重複しても良いが、第1のフレーム全面を覆うようにする必要がある。また、生成された鮮鋭化小領域は、第1のフレームのどの場所に対応するのか、鮮鋭化小領域毎に記憶しておく必要がある。
以上の差分を採る処理において、第1の部分領域(小領域)と第2の部分領域(小領域)との各画素の差分を採って当該部分領域における処理画像データを生成している。しかし、第1の部分領域の測度と第2の部分領域との測度の差分を採って当該部分領域における処理画像データを生成することもできる。
ステップS206では、第1のフレーム全面で生成した鮮鋭化小領域を統合し、鮮鋭化血管画像を生成する。鮮鋭化小領域の統合方法は、次の式5で与えられる。
Z=Ψ[Σi,jφij(Yij)] 式5
ここで、Zは鮮鋭化血管画像である。また、φijは第1のフレームの場所(i,j)における鮮鋭化小領域Yijを最終血管画像である鮮鋭化血管画像Zの対応する場所(i,j)へ平行移動させる演算子、Ψは小領域の重複数で鮮鋭化血管画像Zの場所毎に画素値を除算する演算子である。
Z=Ψ[Σi,jφij(Yij)] 式5
ここで、Zは鮮鋭化血管画像である。また、φijは第1のフレームの場所(i,j)における鮮鋭化小領域Yijを最終血管画像である鮮鋭化血管画像Zの対応する場所(i,j)へ平行移動させる演算子、Ψは小領域の重複数で鮮鋭化血管画像Zの場所毎に画素値を除算する演算子である。
この様に、処理装置の第四部は、画像のフレームにおいて設定された複数の部分領域の各々で生成された複数の処理画像データを統合することで被検体の血管に関する情報を取得する。そして、処理装置の前記第一部が、重複を許して複数の部分領域を設定するとき、前記第四部は、複数の部分領域が重複する位置で、複数の部分領域の処理画像データを積算して得た結果を該位置の部分領域の重複数で除算する。
例えば、鮮鋭化血管画像Zの場所(i,j)において、重複数が5の場合、5枚の小領域の対応する場所における画素値を積算し、得られる値を5で割ったものが、鮮鋭化血管画像Zの場所(i,j)における画素値となる。なお、鮮鋭化血管画像Zは初期値として一様な値(特にゼロ)を持っていることが望ましい。また、生成した鮮鋭化血管画像は、必要に応じて画素値を規格化しても良い。
以上が、撮像装置100により撮像された血管動画像から、鮮鋭な血管画像を生成する画像処理方法である。時間的な血管画像のコントラスト変化に着目し、かつ血管画像を小領域に分割して処理することは、従来は行われておらず、この点が特徴である。また、単一波長の照明光源でも良く、簡単な装置構成で、より鮮鋭な血管画像が得られる。ただし、本発明は、複数波長の照明光源を用いることを排除するものではない。例えば、光源から被検体に照射される光として、可視から近赤外帯域のうちの少なくとも一部の波長領域の光を用いることができる。
より具体的な実施例を説明する。
(実施例1)
本実施例では、図1に示す装置構成で、2秒間隔で手指の透過像を撮ったN=100枚のフレームから、鮮鋭な血管画像を生成した例を示す。なお、駆血帯により腕を圧迫したのち開放することで、注目血管の血流を時間変化させた血管動画像を用いた。また、照明光源として波長810nmのLEDを用いた。また、血管動画像は画素値が0〜1となるように、画像処理前に規格化した。各フレームのサイズは400×400画素、第1のフレームから抽出する小領域のサイズは50×50画素とした。ステップS205における小領域の抽出は、小領域同士を1画素横または縦方向にシフトさせて、重複させて行った。なお、重複数が大きければ、式5における積算して得られる値ΣYijも大きくなるが、同時に式5における重複数で場所毎に鮮鋭化血管画像の画素値を除算する演算子Ψの値も大きくなる。その結果、得られる鮮鋭化血管画像の画素値は、どの場所も略同じとなる。
(実施例1)
本実施例では、図1に示す装置構成で、2秒間隔で手指の透過像を撮ったN=100枚のフレームから、鮮鋭な血管画像を生成した例を示す。なお、駆血帯により腕を圧迫したのち開放することで、注目血管の血流を時間変化させた血管動画像を用いた。また、照明光源として波長810nmのLEDを用いた。また、血管動画像は画素値が0〜1となるように、画像処理前に規格化した。各フレームのサイズは400×400画素、第1のフレームから抽出する小領域のサイズは50×50画素とした。ステップS205における小領域の抽出は、小領域同士を1画素横または縦方向にシフトさせて、重複させて行った。なお、重複数が大きければ、式5における積算して得られる値ΣYijも大きくなるが、同時に式5における重複数で場所毎に鮮鋭化血管画像の画素値を除算する演算子Ψの値も大きくなる。その結果、得られる鮮鋭化血管画像の画素値は、どの場所も略同じとなる。
また、ステップS204における重みαは次の値とした。
αmax=1E−4(1*10−4)、αmin〜6E−7(6*10−7)
また、ステップS204において、生成した鮮鋭化小領域から平均値を減算した。ステップS202における小領域の測度は、前記式1で与えられる分散を用いた。鮮鋭化血管画像は画素値が0〜255となるように、画像処理後に再度規格化した。
αmax=1E−4(1*10−4)、αmin〜6E−7(6*10−7)
また、ステップS204において、生成した鮮鋭化小領域から平均値を減算した。ステップS202における小領域の測度は、前記式1で与えられる分散を用いた。鮮鋭化血管画像は画素値が0〜255となるように、画像処理後に再度規格化した。
図3(a)、(b)に、第1のフレームと、N枚のフレームから本実施例の画像処理方法により生成した鮮鋭化血管画像を示す。また、図3(c)〜(f)に、従来の技術である4つのコントラスト強調法LCS、HE、CLAHE、CLAHE−FHHにより生成した鮮鋭化血管画像を併せて示した。なお、従来手法はN枚のフレーム全てに対して適用した結果のうち、最良のものを選択して示している。ここから、図3(b)に示す画像に係わる本実施例の画像処理方法によると、画像処理を行わないものや従来手法のものより鮮鋭な血管画像が得られることが、定性的に分かる。
LCS(Local Contrast Stretch)やHE(Histogram Equalization)などのコントラスト強調方法は、例えば、文献「Marlina Binti Yanko、Junita Mohamad−Saleh、Bakhtiar Affendi Rosdi、「Low constrast hand vein image enhancement」、IEEE International Conference on Signal and Image Processing Applications、アメリカ合衆国、2011、p.390−392」に開示されている。また、CLAHEは、Contrast Limited Adaptive histogram equalizationの略であり、CLAHE−FHHは、CLAHE-fuzzy histogram hyperbolizationの略である。
本実施例の効果を定量的に示すために、次の文献に記載のコントラスト指標Mを用いた。「Fengtao Wang、Ali Behrooz,Michael Morris、Ali Adibi,「High−contrast subcutaneous vein detection and localization using multispectral imaging」、Journal of Biomedical Optics、2013、pp.050504−1−050504−3」
コントラスト指標Mは大きいほど画像が鮮鋭であることを表し、次の式6で与えられる。
M=|Uvein−Uskin|/(Uvein+Uskin) 式6
コントラスト指標Mは大きいほど画像が鮮鋭であることを表し、次の式6で与えられる。
M=|Uvein−Uskin|/(Uvein+Uskin) 式6
ここで、Uveinは血管画像における注目血管領域の画素値、Uskinは血管画像における注目血管周辺の皮膚(または筋肉や骨、脂肪など)領域の画素値、である。10箇所の注目血管領域を抽出し、そこから得られる10個のコントラスト指標Mを平均化して、最終的なコントラスト指標Mを算出している。このコントラスト指標Mを用いて、血管画像を定量評価すると以下の表1のようである。
ここから、本実施例の画像処理方法により生成した鮮鋭化血管画像のコントラスト指標Mが最も大きいことから、最も鮮鋭であることが定量的に分かる。これより、本実施例の画像処理方法によれば、従来手法より鮮鋭な血管画像が得られる。
本発明は、光を用いた情報取得装置ないし撮像装置による血管イメージングへ好適に適用することができる。ただし、原理的に可能である限り、他の分野の装置に適用することもできる。
101:照明部(光源部)、103:受光部(撮像部)、104:処理部(処理装置、第一部、第二部、第三部)
Claims (23)
- 被検体の血管を含む部位の複数の画像のフレームにおいて、対応する同一の場所に部分領域をそれぞれ設定し、複数の前記部分領域の各々の測度を取得する第一部と、 複数の前記部分領域から、前記測度が第1の所定の条件を満たす第1の部分領域と前記測度が第2の所定の条件を満たす第2の部分領域とを選択する第二部と、 前記第1の部分領域と前記第2の部分領域について差分を採って前記部分領域における処理画像データを生成する第三部と、を有することを特徴とする処理装置。
- 前記第二部は、前記測度が第1の閾値以上である第1の部分領域と前記測度が第2の閾値以下である第2の部分領域とを選択することを特徴とする請求項1に記載の処理装置。
- 前記第二部は、前記測度が最大である第1の部分領域と前記測度が最小である第2の部分領域とを選択することを特徴とする請求項1に記載の処理装置。
- 前記第二部は、複数種類の前記測度がそれぞれ所定の条件を満たす第1の部分領域と前記複数種類の前記測度がそれぞれ所定の条件を満たす第2の部分領域とを選択することを特徴とする請求項1に記載の処理装置。
- 前記画像のフレームにおいて設定された複数の前記部分領域の各々で生成された複数の前記処理画像データを統合することで前記被検体の血管に関する情報を取得する第四部を有することを特徴とする請求項1から4の何れか1項に記載の処理装置。
- 前記第一部は、前記画像のフレームにおいて重複を許して複数の前記部分領域を設定することを特徴とする請求項5に記載の処理装置。
- 前記第四部は、前記画像のフレームにおいて複数の前記部分領域が重複する位置で、複数の前記部分領域の処理画像データを積算して得た結果を該位置の部分領域の重複数で除算することを特徴とする請求項6に記載の処理装置。
- 前記第四部は、前記画像のフレームで生成した複数の前記部分領域の処理画像データを統合する方法として、前記フレームの場所(i,j)において生成した処理画像データであるYijと、前記処理画像データを最終血管画像であるZの対応する場所(i,j)へ平行移動させる演算子であるφijと、前記処理画像データの重複数で最終血管画像の場所毎に画素値を除算する演算子であるΨとを用いた
Z=Ψ[Σi,jφij(Yij)]
で表される方法を用いることを特徴とする請求項7に記載の処理装置。 - 前記第三部は、前記第1の部分領域と前記第2の部分領域との各画素の差分を採って前記部分領域における処理画像データを生成することを特徴とする請求項1から8の何れか1項に記載の処理装置。
- 前記第三部は、前記第1の部分領域から前記第2の部分領域を重みを付けて減算することで前記差分を採ることを特徴とする請求項1から9の何れか1項に記載の処理装置。
- 前記第三部は、前記重みを、減算して得られる前記処理画像データの測度が最大となるように決定することを特徴とする請求項10に記載の処理装置。
- 前記第三部は、前記第1部分領域から前記第2部分領域を重みを付けて減算した後、得られる前記部分領域の画素値の平均値を所定の一定値に置換することで、前記部分領域の処理画像データを生成することを特徴とする請求項10または11に記載の処理装置。
- 前記第三部は、前記第1の部分領域の測度と前記第2の部分領域との測度の差分を採って前記部分領域における処理画像データを生成することを特徴とする請求項1から7の何れか1項に記載の処理装置。
- 前記第三部は、前記部分領域の複数の画素値の最大値と最小値、平均、標準偏差、分散のうちのデータを処理して前記測度を取得することを特徴とする請求項1から4の何れか1項に記載の処理装置。
- 前記第一部は、前記測度として、部分領域Xの全画素数であるN、部分領域Xのi番目の画素値であるxi、部分領域Xの画素値の平均値であるμを用いた
V(X)=1/(N−1)・Σi=1 N|xi−μ|2 μ=1/N・Σi=1 Nxi
で与えられる測度を用いることを特徴とする請求項14に記載の処理装置。 - 前記第一部は、前記測度として、前記部分領域の最大画素値Imaxと最小画素値Iminを用いたコントラスト
(Imax−Imin)/(Imax+Imin)
で与えられる測度を用いることを特徴とする請求項14に記載の処理装置。 - 前記第一部は、前記測度として、前記部分領域で隣接する画素間の差分の絶対値をとって得られる微分小領域の画素値の和である勾配を用いることを特徴とする請求項1から4の何れか1項に記載の処理装置。
- 請求項1から17の何れか1項に記載の処理装置と、
血管を含む被検体に光を照射する光源部と、
被検体を撮像する撮像部と、を有し、 前記処理装置は、前記血管に関する情報を取得することを特徴とする情報取得装置。 - 前記被検体の血管の血流を外部から変化させる血流変化部を有し、 前記撮像部は、前記血流変化部により前記血管の血流が時間的に変化させられた前記被検体の血管を含む部位を複数回撮像することを特徴とする請求項18に記載の情報取得装置。
- 前記血管に関する情報は、前記血管を含む部位の画像データであることを特徴とする請求項18または139に記載の情報取得装置。
- 前記光源から前記被検体に照射される前記光は、可視から近赤外帯域のうちの少なくとも一部の波長領域の光であることを特徴とする請求項18から20の何れか1項に記載の情報取得装置。
- 被検体の血管を含む部位の複数の画像のフレームにおいて、対応する同一の場所に部分領域をそれぞれ設定し、複数の前記部分領域の各々の測度を取得する第一工程と、
複数の前記部分領域から、前記測度が第1の所定の条件を満たす第1の部分領域と前記測度が第2の所定の条件を満たす第2の部分領域とを選択する第二工程と、
前記第二工程で選択された前記第1の部分領域と前記第2の部分領域について差分を採って前記部分領域における処理画像データを生成する第三工程と、
を有することを特徴とする画像処理方法。 - 請求項22に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016117544A JP2017224061A (ja) | 2016-06-14 | 2016-06-14 | 処理装置、情報取得装置、及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016117544A JP2017224061A (ja) | 2016-06-14 | 2016-06-14 | 処理装置、情報取得装置、及び画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017224061A true JP2017224061A (ja) | 2017-12-21 |
Family
ID=60687087
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016117544A Pending JP2017224061A (ja) | 2016-06-14 | 2016-06-14 | 処理装置、情報取得装置、及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017224061A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020014645A (ja) * | 2018-07-25 | 2020-01-30 | インフォコム株式会社 | 光感受性物質の撮影画像処理システム及び光感受性物質の撮影方法 |
-
2016
- 2016-06-14 JP JP2016117544A patent/JP2017224061A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020014645A (ja) * | 2018-07-25 | 2020-01-30 | インフォコム株式会社 | 光感受性物質の撮影画像処理システム及び光感受性物質の撮影方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5704998B2 (ja) | 光音響装置およびその制御方法 | |
CN106073700B (zh) | 图像生成方法和图像生成装置 | |
EP2754388B1 (en) | System and method for quality-enhanced high-rate optoacoustic imaging of an object | |
JP4675372B2 (ja) | 下肢潅流量測定装置 | |
JP6671946B2 (ja) | 情報取得装置、撮像装置及び情報取得方法 | |
JP6025888B2 (ja) | 光音響装置、装置および方法 | |
US20080218732A1 (en) | Infrared Scanner for Biological Applications | |
EP2911587B1 (en) | Nir image guided targeting | |
JP2016217860A (ja) | 制御装置、測定装置、制御方法、プログラム、記憶媒体 | |
JP6661787B2 (ja) | 光音響画像評価装置、方法およびプログラム並びに光音響画像生成装置 | |
EP3801208B1 (en) | Optical coherence imager and method | |
JP6732476B2 (ja) | 被検体情報取得装置 | |
JP6218908B2 (ja) | 方法 | |
JP2017140302A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US10492694B2 (en) | Object information acquisition apparatus | |
JP2017224061A (ja) | 処理装置、情報取得装置、及び画像処理方法 | |
JP6771968B2 (ja) | 情報取得装置、撮影装置及び情報取得方法 | |
JP6419281B2 (ja) | 情報処理装置および方法 | |
JP2021037088A (ja) | 光干渉断層撮像装置、光干渉断層撮像装置の作動方法、及びプログラム | |
JP2017042603A (ja) | 被検体情報取得装置 | |
Draijer et al. | Time domain algorithm for accelerated determination of the first order moment of photo current fluctuations in high speed laser Doppler perfusion imaging | |
JP2017202267A (ja) | 情報取得装置、撮影装置及び情報取得方法 | |
Thompson et al. | Is there a difference between laser speckle and laser Doppler in depth sensitivity? | |
FI123944B (fi) | Kolmiulotteista tunnistusta hyödyntävä, mikrometriaallonpituusalueen säteilyyn perustuva emissiivis-optinen tomografiamenetelmä kasvaimen todentamiseen ja hoitovasteen seurantaan | |
JP2019217388A (ja) | 画像生成装置、画像生成方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20181204 |