JP2018128759A - テカリ領域除去装置 - Google Patents

Abstract

【課題】 組織表面におけるテカリ領域を違和感なくカラー画像から除去することが可能なテカリ領域除去装置を提供する。【解決手段】 画像処理部４４は、グレースケール画像作成部６１と、テカリ領域除去部６２と、関心領域追跡部６３と、時間強度曲線測定部６４とを備える。また、テカリ領域除去部６２は、グレースケール画像作成部６１により作成したグレースケール画像における画素値が閾値より大きな領域と、この画素値が閾値より大きな領域の外周領域とを加算して、テカリ領域より大きな除外領域を設定する除外領域設定部７１と、カラー画像から除外領域を除外した後、その除外領域の画素を当該除外領域の外周部の画素に基づいて補完する補完部７２とを備える。【選択図】 図５

Description

この発明は、組織を含むカラー画像に基づいて組織表面におけるテカリ領域を除去するテカリ領域除去装置に関する。

近赤外蛍光イメージングと呼称される手法が、外科手術における血管やリンパ管の造影に利用されている。この近赤外蛍光イメージングにおいては、蛍光色素であるインドシアニングリーン（ＩＣＧ）をインジェクタ等により被検者の体内に注入することで患部に投与する。そして、このインドシアニングリーンにその波長が６００〜８５０ｎｍ（ナノメータ）程度の近赤外光を励起光として照射すると、インドシアニングリーンは７５０〜９００ｎｍ程度の波長の近赤外蛍光を発する。この蛍光を、近赤外光を検出可能な撮像素子で撮影し、その画像を液晶表示パネル等の表示部に表示する。この近赤外蛍光イメージングによれば、体表から２０ｍｍ程度までの深さに存在する血管やリンパ管等の観察が可能となる。

また、近年、腫瘍を蛍光標識して手術ナビゲーションに利用する手法が注目されている。腫瘍を蛍光標識するための蛍光標識剤としては、５−アミノレブリン酸（５−ＡＬＡ／５−Ａｍｉｎｏｌｅｖｕｌｉｎｉｃ Ａｃｉｄ）が使用される。この５−アミノレブリン酸（以下、これを略称するときは「５−ＡＬＡ」という）を被検者に投与した場合、５−ＡＬＡは蛍光色素であるＰｐＩＸ（ｐｒｏｔｏｐｏｒｐｈｙｒｉｎＩＸ／プロトポルフィリンナイン）に代謝される。なお、このＰｐＩＸは癌細胞に特異的に蓄積する。そして、５−ＡＬＡの代謝物であるＰｐＩＸに向けて４１０ｎｍ程度の波長の可視光を照射すると、ＰｐＩＸからおよそ６３０ｎｍ程度の波長の赤色の可視光が蛍光として発光される。このＰｐＩＸからの蛍光を撮像素子で撮影して観察することにより、癌細胞を確認することが可能となる。

このような体内に侵入させた蛍光色素からの蛍光を撮影するイメージング装置では、撮影後の蛍光画像を、被検者のカラー画像とともに表示部に表示する。医師は、表示部に表示された蛍光画像およびカラー画像と被検者のリアル画像とを視認しながら、手術等を実行する。

ここで、手術を行っているときの被検者の組織は、体液や手術時に使用される生理食塩水などの液体によりテカリが発生しやすい状況となっている。イメージング装置においては、被検者の直上から可視光を照射してカラー画像を撮影することが多く、可視光源による可視光の照射方向と可視光用撮像素子等によるカラー画像の撮影方向とが一致することになる。このため、被検者の組織を撮影したカラー画像中には、テカリ領域が生ずることになる。なお、テカリ領域とは、液体の存在により、組織の一部が他の領域と比較して光って見える領域を意味する。

ここで、「組織」とは、被検者の内臓器官である臓器等の組織を意味する。また、「組織」には、皮膚移植時に移植される皮膚等の臓器以外の組織を含む。この出願の明細書等においては、被検者における臓器を含む各種の組織を、単に「組織」と言う。

イメージング装置により作成され、表示部に表示されるカラー画像における関心領域（ＲＯＩ：Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）は、術野において医師が見る関心領域と一致している。このため、カラー画像上には、医師の視野には見られないテカリ領域が表示されることになる。このため、カラー画像と医師による視野とが異なることになる。また、カラー画像においてテカリ領域が存在したときには、エッジ強調や特徴画像抽出等の各種の画像処理に支障をきたす。

特許文献１には、人物を含んで撮影した画像を印刷する技術分野において、閾値を越えた領域を反射領域と判定し、平滑化処理により補正を行う画像処理方法が開示されている。

特開２００７−１９０８８５号公報

特許文献１に記載されたように、単純に閾値を検出して画像処理を行った場合においては、テカリ領域とその他の領域との境界を補正することができないことから、違和感のある不自然な画像となるという問題がある。また、カラー画像に対して単純な平滑化処理を行った場合においては、ＲＧＢの比率が変化して、処理後の領域がテカリ領域の周辺の色とは異なる色となることから、テカリ領域を別の色で塗ったような違和感のある画像となる。

この発明は上記課題を解決するためになされたものであり、組織表面におけるテカリ領域を違和感なくカラー画像から除去することが可能なテカリ領域除去装置を提供することを目的とする。

請求項１に記載の発明は、組織を含むカラー画像において組織表面におけるテカリ領域を除去するテカリ領域除去装置であって、前記組織を撮影することにより、前記組織を含むカラー画像を撮影する撮像素子と、前記撮像素子により撮影した前記組織を含むカラー画像からグレースケール画像を作成するグレースケール画像作成部と、前記グレースケール画像における画素値が閾値より大きな領域と、この画素値が閾値より大きな領域の外周領域とを加算して、前記テカリ領域より大きな除外領域を設定する除外領域設定部と、前記カラー画像から前記除外領域を除外した後、その除外した領域の画素を当該除外した領域の外周部の画素に基づいて補完する補完部と、を備えたことを特徴とする。

請求項２に記載の発明は、請求項１に記載の発明において、前記除外領域設定部は、前記グレースケール画像における画素値が閾値より大きな領域を膨張させた後、この領域と前記画素値が閾値より大きな領域の外周領域とを加算して、前記テカリ領域より大きな除外領域を設定する。

請求項１および請求項２に記載の発明によれば、カラー画像からテカリ領域より大きな除外領域を除外した後、その除外領域の画素を当該除外領域の外周部の画素に基づいて補完することから、組織表面におけるテカリ領域を違和感なくカラー画像から除去することが可能となる。

この発明に係る関心領域追跡装置を備えたイメージング装置１を、表示装置２とともに示す斜視図である。 照明・撮影部１２の概要図である。 照明・撮影部１２におけるカメラ２１の概要図である。 この発明に係るイメージング装置１の主要な制御系を、表示装置２とともに示すブロック図である。 制御部４０における画像処理部４４のブロック図である。 画像処理部４４により得た被検者の関心部位を含む画像の推移を示す模式図である。 画像処理部４４により得た被検者の関心部位を含む画像の推移を示す模式図である。 画像処理部４４により得た被検者の関心部位を含む画像の推移を示す模式図である。 画像処理部４４により得た被検者の関心部位を含む画像の推移を示す模式図である。 画像処理部４４により得た被検者の関心部位を含む画像の推移を示す模式図である。 テカリ除去処理のフローを示すブロック図である。 テカリ領域から抽出した領域の画素値と大きさを概念的に示す模式図である。 テカリ領域から抽出した領域の画素値と大きさを概念的に示す模式図である。 テカリ領域から抽出した領域の画素値と大きさを概念的に示す模式図である。 テカリ領域から抽出した領域の画素値と大きさを概念的に示す模式図である。 テカリ領域から抽出した領域の画素値と大きさを概念的に示す模式図である。 テカリ領域から抽出した領域の画素値と大きさを概念的に示す模式図である。 テカリ領域から抽出した領域を概念的に示す模式図である。 テカリ領域から抽出した領域を概念的に示す模式図である。 テカリ領域から抽出した領域を概念的に示す模式図である。 テカリ領域から抽出した領域を概念的に示す模式図である。 テカリ領域から抽出した領域を概念的に示す模式図である。 輪郭追跡法により、除外領域の画素を除外領域の外周部の画素に基づいて補完する工程を模式的に示す説明図である。 移動ベクトル算出法により特徴画像の移動量を複数のフレームにわたって検出する動作を模式的に示す説明図である。 時間強度曲線（ＴＩＣ）を示すグラフである。

＜装置構成＞
以下、この発明の実施の形態を図面に基づいて説明する。図１は、この発明に係る関心領域追跡装置を備えたイメージング装置１を、表示装置２とともに示す斜視図である。

表示装置２は、大型の液晶表示装置等から構成される表示部５２を、支持機構５１により支持する構成を有する。

イメージング装置１は、被検者の体内に注入された蛍光色素としてのインドシアニングリーンに対し励起光を照射し、このインドシアニングリーンから放射される蛍光を撮影するとともに、その蛍光画像を被検者の可視画像であるカラー画像とともに表示装置２に表示するためのものである。そして、このイメージング装置１は、特に、上述した蛍光画像およびカラー画像の表示とともに、被検者の関心領域における蛍光の強度を経時的に測定することにより、被検者の関心領域における蛍光の時間強度曲線（Ｔｉｍｅ Ｉｎｔｅｎｓｉｔｙ Ｃｕｒｖｅ：ＴＩＣ）を得るためのものである。

このイメージング装置１は、４個の車輪１３を備えた台車１１と、この台車１１の上面における台車１１の進行方向の前方付近に配設されたアーム機構３０と、このアーム機構３０にサブアーム４１を介して配設された照明・撮影部１２と、モニター１５とを備える。台車１１の進行方向の後方には、台車１１を移動するときに使用されるハンドル１４が付設されている。また、台車１１の上面には、このイメージング装置１の遠隔操作に使用される図示しない操作部を装着するための凹部１６が形成されている。

上述したアーム機構３０は、台車１１の進行方向の前方側に配設されている。このアーム機構３０は、台車１１の進行方向の前方側に立設された支柱３６上に配設された支持部３７に対して、ヒンジ部３３により連結された第１アーム部材３１を備える。この第１アーム部材３１は、ヒンジ部３３の作用により、支柱３６および支持部３７を介して、台車１１に対して揺動可能となっている。なお、上述したモニター１５は、支柱３６に付設されている。

この第１アーム部材３１の上端には、第２アーム部材３２がヒンジ部３４により連結されている。この第２アーム部材３２は、ヒンジ部３４の作用により、第１アーム部材３１に対して揺動可能となっている。このため、第１アーム部材３１と第２アーム部材３２とは、図１に示す第１アーム部材３１と第２アーム部材３２とが第１アーム部材３１と第２アーム部材３２との連結部であるヒンジ部３４を中心として所定の角度開いた撮影姿勢と、第１アーム部材３１と第２アーム部材３２とが近接する待機姿勢とをとることが可能となっている。

第２アーム部材３２の下端には、支持部４３がヒンジ部３５により連結されている。この支持部４３は、ヒンジ部３５の作用により、第２アーム部材３２に対して揺動可能となっている。この支持部４３には、回転軸４２が支持されている。そして、照明・撮影部１２を支持したサブアーム４１は、第２アーム部材３２の先端に配設された回転軸４２を中心に回動する。このため、照明・撮影部１２は、このサブアーム４１の回動により、図１に示す撮影姿勢または待機姿勢をとるためのアーム機構３０に対して台車１１の進行方向の前方側の位置と、台車１１を移動させる時の姿勢であるアーム機構３０に対して台車１１の進行方向の後方側の位置との間を移動する。

図２は、照明・撮影部１２の概要図である。

この照明・撮影部１２は、後述する近赤外線および可視光を検出可能な複数の撮像素子を備えたカメラ２１と、このカメラ２１の外周部に配設された６個のＬＥＤよりなる可視光源２２と、６個のＬＥＤよりなる励起用光源２３と、１個のＬＥＤよりなる確認用光源２４とを備える。可視光源２２は、可視光を照射する。励起用光源２３は、インドシアニングリーンを励起させるための励起光であるその波長が７６０ｎｍの近赤外光を照射する。また、確認用光源２４は、インドシアニングリーンから発生する蛍光の波長と近似するその波長が８１０ｎｍの近赤外光を照射する。なお、励起用光源２３の波長は、７６０ｎｍに限定されず、インドシアニングリーンを励起できる波長であればよい。確認用光源２４の波長は、８１０ｎｍに限定されず、インドシアニングリーンが発する波長以上であってもよい。

図３は、照明・撮影部１２におけるカメラ２１の概要図である。

このカメラ２１は、焦点合わせのために往復移動する可動レンズ５４と、波長選択フィルター５３と、可視光用撮像素子５５と、蛍光用撮像素子５６とを備える。可視光用撮像素子５５と蛍光用撮像素子５６とは、ＣＭＯＳやＣＣＤから構成される。なお、可視光用撮像素子５５は、可視光の画像をカラー画像として撮影することが可能なものが使用される。

カメラ２１に対して、その光軸Ｌに沿って同軸で入射した可視光および蛍光は、焦点合わせ機構を構成する可動レンズ５４を通過した後、波長選択フィルター５３に到達する。同軸状に入射した可視光および蛍光のうち、可視光は、波長選択フィルター５３により反射され、可視光用撮像素子５５に入射する。また、同軸状に入射した可視光および蛍光のうち、蛍光は、波長選択フィルター５３を通過して蛍光用撮像素子５６に入射する。このとき、可動レンズ５４を含む焦点合わせ機構の作用により、可視光は可視光用撮像素子５５に対して焦点合わせされ、蛍光は蛍光用撮像素子５６に対して焦点合わせされる。可視光用撮像素子５５は、可視画像を、カラー画像として、所定のフレームレートで撮影する。また、蛍光用撮像素子５６は、近赤外画像である蛍光画像を所定のフレームレートで撮影する。

図４は、この発明に係るイメージング装置１の主要な制御系を、表示装置２とともに示すブロック図である。

このイメージング装置１は、論理演算を実行するＣＰＵ、装置の制御に必要な動作プログラムが格納されたＲＯＭ、制御時にデータ等が一時的にストアされるＲＡＭ等から構成され、装置全体を制御する制御部４０を備える。この制御部４０は、後述する各種の画像処理を実行する画像処理部４４を備える。この制御部４０は、上述した表示装置２と接続されている。また、この制御部４０は、カメラ２１、可視光源２２、励起用光源２３および確認用光源２４を備えた照明・撮影部１２と接続されている。さらに、この制御部４０は、カメラ２１により撮影された画像を記憶する画像記憶部４５と接続されている。この画像記憶部４５は、近赤外画像を記憶する近赤外画像記憶部４６と、可視画像（カラー画像）を記憶する可視画像記憶部４７とから構成される。

図５は、制御部４０における画像処理部４４のブロック図である。

この画像処理部４４は、グレースケール画像作成部６１と、テカリ領域除去部６２と、関心領域追跡部６３と、時間強度曲線測定部６４とを備える。なお、グレースケール画像作成部６１とテカリ領域除去部６２とは、この発明に係るテカリ領域除去装置の主要部を構成する。

上述したグレースケール画像作成部６１は、可視光用撮像素子５５により撮影したカラー画像に基づいて、グレースケール画像を作成する。また、テカリ領域除去部６２は、グレースケール画像作成部６１により作成したグレースケール画像における画素値が閾値より大きな領域と、この画素値が閾値より大きな領域の外周領域とを加算して、テカリ領域より大きな除外領域を設定する除外領域設定部７１と、カラー画像から除外領域を除外した後、その除外領域の画素を当該除外領域の外周部の画素に基づいて補完する補完部７２と、を備える。また、関心領域追跡部６３は、グレースケール画像作成部６１で作成されたグレースケール画像に基づいて、組織における特徴画像を抽出する特徴画像抽出部７３と、グレースケール画像を二値化して二値化画像を作成する二値化部７４と、この二値化部７４で作成された二値化画像における特徴画像の移動量を複数のフレームにわたって検出することにより、関心領域を追跡する追跡部７５と、を備える。さらに、時間強度曲線測定部６４は、蛍光用撮像素子５６により撮影した蛍光画像における特定点の画素値を測定する画素値測定部７６と、この画素値測定部７６における画素値の測定位置を、上述した関心領域追跡部６３により追跡した関心領域に対応させて移動させる測定位置移動部７７と、を備える。

以上のような構成を有するイメージング装置１を使用して被検者に対する手術を行う場合には、最初に、照明・撮影部１２における確認用光源２４を点灯するとともに、その照射領域の画像をカメラ２１により撮影する。確認用光源２４からは、インドシアニングリーンから発生する蛍光の波長と近似する、その波長が８１０ｎｍの近赤外光が照射される。この近赤外光は、人の目では確認することができない。一方、確認用光源２４から波長が８１０ｎｍの近赤外光を照射するとともに、この照射領域の画像をカメラ２１により撮影した場合、カメラ２１が正常に動作していた場合においては、近赤外光が照射された領域の画像がカメラ２１により撮影され、その画像が表示装置２における表示部５２に表示される。これにより、カメラ２１の動作確認を容易に実行することが可能となる。

しかる後、被検者にインドシアニングリーンを注射により注入する。そして、被検者の組織における患部に向けて、照明・撮影部１２における励起用光源２３から近赤外線を照射するとともに可視光源２２から可視光を照射する。なお、励起用光源２３から照射される近赤外光としては、上述したように、インドシアニングリーンが蛍光を発するための励起光として作用する７６０ｎｍの近赤外光が採用される。これにより、被検者の体内に注入されたインドシアニングリーンは、約８００ｎｍをピークとする近赤外領域の蛍光を発生させる。

そして、被検者の組織における患部付近を照明・撮影部１２におけるカメラ２１により、所定のフレームレートで撮影する。このカメラ２１は、上述したように、近赤外光と可視光とを検出することが可能となっている。カメラ２１により所定のフレームレートで撮影された近赤外画像およびカラー画像は、画像処理部４４により、近赤外画像およびカラー画像を表示装置２における表示部５２に表示可能な画像データに変換され、表示部５２に表示される。また、必要に応じ、画像処理部４４は、近赤外画像データとカラー画像データとを利用して、カラー画像と近赤外画像とを融合させた合成画像を作成する。さらに、カメラ２１により撮影された近赤外画像およびカラー画像は、必要に応じ、画像記憶部４５における近赤外画像記憶部４６および可視画像記憶部４７に記憶される。

このようなイメージング装置１においては、被検者の組織における患部のカラー画像と近赤外画像とを同時に動画として記憶し、ビデオレコーダで記録した撮影画像を動画再生する構成となっている。すなわち、このようなイメージング装置１は、所定のフレームレートで撮影した画像を動画として録画・再生することで、明るい外部照明環境下での、ＩＣＧ等の蛍光色素投与後の血管・リンパ管の走行の観察や癌病巣領域の確認ができるものである。このような録画データは、参照用に使用し得るだけではなく、解析に利用することにより新しい知見を得ることができる。すなわち、関心領域の時間方向の信号変化曲線を描画する時間強度曲線（ＴＩＣ）の解析においては、関心領域の近赤外画像の画素値がピークとなるまでの時間を求めることにより、インドシアニングリーン等の蛍光色素の造影時間を定量的に評価することが可能となる。

このような時間強度曲線を得るためには、被検者の血管の領域を関心領域とし、その関心領域の近赤外画像の画素値を経時的に測定する必要がある。一方、被検者の関心領域は、被検者の体動等により移動する。このため、このイメージング装置１においては、関心領域を追跡することにより、関心領域の移動にかかわらず、正確な時間強度曲線を測定する構成を採用している。すなわち、このイメージング装置１においては、被検者の組織を含むカラー画像からテカリ領域を除去した後、そのカラー画像を用いて関心領域を追跡することにより、常に同一位置の画素値を測定している。

以下、このイメージング装置１を使用して時間強度曲線を得るための動作について説明する。図６から図１０は、この発明に係るイメージング装置１において、画像処理部４４により得た被検者の関心部位を含む画像の推移を示す模式図である。なお、これらの図においては、被検者の心臓付近の画像の推移を模式的に示している。

＜テカリ除去＞
これらの図のうち、図６は、可視光用撮像素子５５により撮影した被検者の組織のカラー画像を模式的に示している。手術を行っているときの被検者の組織は、体液や手術時に使用される生理食塩水などの液体によりテカリが発生しやすい状況となっている。一方、照明・撮影部１２は、被検者の直上から可視光を照射してカラー画像を撮影することが多く、可視光源２２による可視光の照射方向と可視光用撮像素子５５によるカラー画像の撮影方向とが一致することになる。このため、被検者の組織を撮影したカラー画像中には、テカリ領域Ｇが生ずることになる。図６においては、テカリ領域Ｇを白抜きの領域として図示している。なお、図６においては、多数のテカリ領域のうちの一部のテカリ領域にのみ符号Ｇを付している。ここで、テカリ領域とは、液体の存在により、組織の一部が他の領域と比較して光って見える領域を意味する。

カラー画像における関心領域は、術野において医師が見る関心領域と一致している。このため、カラー画像上には、医師の視野には見られないテカリ領域が表示されることになる。従って、カラー画像と医師による視野とが異なることになる。また、カラー画像においてテカリ領域が存在したときには、エッジ強調や特徴画像抽出等の各種の画像処理に支障をきたす。

このため、このイメージング装置１においては、最初に、画像処理部４４におけるテカリ領域除去部６２により、カラー画像に対するテカリ除去処理を実行している。このテカリ領域除去部６２によるテカリ除去処理においては、グレースケール画像作成部６１によりカラー画像から作成されたグレースケール画像を使用する。そして、除外領域設定部７１により、グレースケール画像における画素値が閾値より大きな領域と、この画素値が閾値より大きな領域の外周領域とを加算して、テカリ領域より大きな除外領域を設定する。しかる後、補完部７２により、カラー画像から除外領域を除外した後、その除外領域の画素を当該除外領域の外周部の画素に基づいて補完する。

以下、このテカリ除去処理について詳細に説明する。図１１は、テカリ除去処理のフローを示すブロック図である。また、図１２から図１７は、テカリ領域から抽出した領域の画素値と大きさを概念的に示す模式図である。さらに、図１８から図２２は、テカリ領域から抽出した領域を概念的に示す模式図である。なお、図１２から図１７においては、縦軸は画素値を示し、横軸は位置を示している。

テカリ除去処理を行うときには、最初に、図５に示すグレースケール画像作成部６１により、可視光用撮像素子５５により撮影したカラー画像をグレースケール化する。このカラー画像のグレースケール化は、ＢＴ．６０１、ＢＴ．７０９、Ｒ値抽出、Ｇ値抽出、Ｂ値抽出、ＲＢ値平均、ＲＧ値平均、ＧＢ値平均、ＲＧＢ値平均、ＭＡＸ値、ＭＩＮ値、ＭＡＸ・ＭＩＮ平均値、ＭＡＸ−ＭＩＮ値、２５５×（ＭＡＸ−ＭＩＮ）／ＭＡＸ値、ＲＧＢ中間値等の、一般的な方法を使用すればよい。

そして、グレースケール画像に対して、平滑化処理を行う。図１２は、平滑化処理を行う前後のテカリ領域から抽出した領域の画素値と大きさを示している。この図において、Ｇ１は平滑化処理前のテカリ領域から抽出した領域の画素値と大きさを示し、Ｇ２は平滑化処理後のテカリ領域から抽出した領域の画素値と大きさを示している。この平滑化処理により、グレースケール画像におけるノイズを除去することが可能となる。

次に、平滑化処理後の画像に対して、閾値を抽出する。この閾値の抽出は、グレースケール画像における各画素値から閾値に相当する画素値を減算することにより行われる。図１３におけるＧ２は、閾値抽出前のテカリ領域から抽出した領域の画素値と大きさを示し、図１４におけるＧ３は、閾値抽出後のテカリ領域から抽出した領域の画素値と大きさを示している。しかる後、閾値抽出後の画像に対して膨張化処理を行う。図１５におけるＧ３は膨張化処理前のテカリ領域から抽出した領域の画素値と大きさを示し、図１５におけるＧ４は膨張化処理後のテカリ領域から抽出した領域の画素値と大きさを示している。また、図１８および図１９におけるＥ３は、膨張化処理前のテカリ領域から抽出した領域を示し、図１９におけるＥ４は膨張化処理後のテカリ領域から抽出した領域を示している。

また、図１１に示すように、これと並行して、平滑化処理後の画像に対して、エッジ抽出処理を行う。このエッジ抽出処理においては、例えば、平滑化処理後の画像に対して３×３のミーンフィルタ（Ｍｅａｎ Ｆｉｌｔｅｒ）処理を二回連続して適用し、一回目の処理結果から二回目の処理結果を減算する。図１６におけるＧ５は、エッジ抽出処理後のテカリ領域から抽出した領域の画素値と大きさを示している。テカリ領域から抽出した領域の画素値と大きさは、図１３に示す状態から図１６に示す状態となる。そして、エッジ抽出処理後の画像に対して閾値を抽出する。この閾値の抽出は、グレースケール画像における各画素値から閾値に相当する画素値を減算することにより行われる。図１７におけるＧ６は、閾値抽出後のテカリ領域から抽出した領域の画素値と大きさを示している。また、図２０におけるＥ６は、閾値抽出後のテカリ領域から抽出した、中央部に空き領域が形成された略ドーナツ状の領域を示している。

しかる後、閾値を抽出して膨張化処理を行った後の画像と、エッジ抽出後に閾値抽出を行った画像とを加算する。すなわち、閾値を抽出して膨張化処理を行った後の画像と、エッジ抽出後に閾値抽出を行った画像とをあわせて、一つの画像とする。図２１においては、領域Ｅ４と領域Ｅ６とを加算した状態を示している。この図に示すように、領域Ｅ６の中央部の空き領域が領域Ｅ４によりうめられている。

しかる後、加算後の画像に対して膨張処理を実行する。図２２においては、図２１に示す領域Ｅ６から膨張した領域Ｅ７を示している。この領域Ｅ７は、図７に示すテカリ領域Ｇよりも大きな領域となっている。そして、図１１に示すように、この領域を除外領域として、元のカラー画像から減算することにより除外する。

図７は、可視光用撮像素子５５により撮影した被検者の組織のカラー画像から、テカリ領域より大きな領域である除外領域が除外された状態を模式的に示している。なお、図７においては、除外された領域を黒塗りの領域として図示している。図７においては、除外された領域に対して、テカリ領域と同じ符号Ｇを付している。なお、図７においては、多数の除外領域のうちの一部の除外領域にのみ符号Ｇを付している。

被検者の組織のカラー画像から、テカリ領域より大きな領域である除外領域を除外した後には、この除外領域の画素を、除外領域の外周部の画素に基づいて補完する。この補完は、例えば、輪郭追跡法により実行することができる。

図２３は、輪郭追跡法により、除外領域の画素を除外領域の外周部の画素に基づいて補完する工程を模式的に示す説明図である。なお、この図においては、補完が必要な領域、すなわち、上述した除外領域を白抜きとし、それ以外の領域に対してハッチングを付している。

この輪郭追跡法は、画像における所定の領域に対して矢印Ａで示すように走査を行い、矢印Ｂに示すように、補完が必要な領域、すなわち、上述した除外領域の輪郭を追跡しながら、周囲から中央部に向かって補完していく方法である。各々の補完が必要な領域に対しては、注目画素に対する周囲の画素の平均値、あるいは、中央値で補完を行う。ここで、注目画素に対する周囲の画素とは、例えば、注目画素の左右２画素、上下２画素、あるいは、周囲８画素である。なお、図２３においては、二次元的に輪郭を追跡して補完を行っているが、１ラインで輪郭を追跡して補完を行うようにしてもよい。

なお、上述した輪郭追跡法にかえて、画像縮小法により補完を行ってもよい。画像縮小法は、補完が必要な領域の中心で、上下左右１画素分画像全体を縮小することにより、輪郭部分と同じ座標に色が現れることを利用し、その色で補完を行う方法である。縮小時のロジックはリニア、バイキュービックなどいずれでも良い。

また、上述した輪郭追跡法にかえて、直線近似・周囲補正法により補完を行ってもよい。直線近似・周囲補正法は、１ラインに注目し、輪郭よりも１画素離れた始点、終点画素の色を使い、リニアに補完する方法である。リニアに補完を行った後、隣り合うラインで色が存在するときは、それらとの平均値を採用する周囲補正を実行する。

図８は、被検者の組織のカラー画像に対して、上述したテカリ除去を行った後の状態を模式的に示している。上述したテカリ除去を実行することにより、被検者の組織のカラー画像から、テカリ領域を違和感なく除去することが可能となる。

＜関心領域追跡＞
以上のテカリ除去工程が終了すれば、次に、被検者の組織を含むカラー画像に基づいて組織における関心領域を追跡する関心領域追跡工程を実行する。この関心領域追跡工程は、主として、図５に示す関心領域追跡部６３により実行される。

このときには、最初に、上述したテカリ除去工程によりテカリ領域を除去したカラー画像を、グレースケール化し、グレースケール画像を作成する。このグレースケール画像の作成は、図５に示すグレースケール画像作成部６１により実行される。このカラー画像のグレースケール化は、上述したテカリ除去工程と同様、ＢＴ．６０１、ＢＴ．７０９、Ｒ値抽出、Ｇ値抽出、Ｂ値抽出、ＲＢ値平均、ＲＧ値平均、ＧＢ値平均、ＲＧＢ値平均、ＭＡＸ値、ＭＩＮ値、ＭＡＸ・ＭＩＮ平均値、ＭＡＸ−ＭＩＮ値、２５５×（ＭＡＸ−ＭＩＮ）／ＭＡＸ値、ＲＧＢ中間値等の、一般的な方法を使用すればよい。図９は、このようにして作成された被検者の組織のグレースケール画像を模式的に示している。

次に、図５に示す特徴画像抽出部７３により、グレースケール画像から特徴画像を作成する。この特徴画像は、被検者の血管やしわなどを特徴量として抽出した画像である。特徴画像の抽出は、特徴抽出は、単純なコンボリューション（畳み込み積分：ｃｏｎｖｏｌｕｔｉｏｎ）、ラプラシアンフィルタ、アンシャープマスク、エネルギー関数を用いる方法など、各種の手法を使用することができる。このとき、リアルタイム処理を実行するためには、コンボリューションやラプラシアン、アンシャープマスクなどを使用することが好ましい。

この特徴画像の抽出に、アンシャープマスクを使用する場合について説明する。アンシャープマスクを使用する場合においては、ぼかし係数をｓとし、重みをｗとした場合（但し、０＜ｗ＜１）、グレースケール画像をｓ×ｓの平均、もしくは、ガウシアンフィルタをかけてぼかすことにより、ぼかし画像を作成する。そして、以下の式により特徴画像を抽出した出力画像を演算する。
出力画像 ＝ （原画 − ｗ × ぼかし画像）／（１ − ｗ）

特徴画像の抽出後には、図５に示す二値化部７４により、二値化処理を実行する。図１０においては、特徴画像を抽出し、二値化した後の出力画像を模式的に示している。なお、図１０においては、通常明るく表示される特徴画像を線で表現している。

次に、図５に示す追跡部７５により、二値化後の特徴画像を用いて、特徴画像の移動量を複数のフレームにわたって検出することにより、関心領域を追跡する。この関心領域の追跡は、例えば、移動ベクトル算出法や、パターンマッチング法を利用して実行することができる。

図２４は、移動ベクトル算出法により特徴画像の移動量を複数のフレームにわたって検出する動作を模式的に示す説明図である。なお、これらの図形における矩形領域の横軸は位置を示し、縦軸は画素値を示している。

この図において、図中左側のＦｔは特徴画像の現在のフレームを示し、Ｆｔ−１は特徴画像の過去の（一つ前の）フレームを示している。また、図中中央のＡＣＣは、特徴画像の現在フレームから過去フレームを減算した結果を示し、ＤＥＣは、特徴画像の過去フレームから現在フレームを減算した結果を示している。そして、図中右側は、ｋ１、ｋ２、ｋ３を任意の係数（但し、ｋ１＞ｋ２＞ｋ３）としたときの下記の式の演算結果を示している。
ｋ１・ｋ２＋ｋ２・ＡＣＣ＋ｋ３・ＤＥＣ

図２４において、図中右側に示すように、演算後の差分画像は右側に行くに従って、画素値が大きくなっている。例えば、ｋ１＝２、ｋ２＝１、ｋ３＝−１とし、二値化画像の最大値を１としたときには、画像のバックグラウンドは０、画像が移動してバックグラウンドとなった消失画素は１、変化していない画素は２、新たに現れた出現画像は３となり、差分画像の画素値は右に行くほど１、２、３と増加していく。これにより、図中右側において矢印Ｍで示すように、この画像は時間の経過とともに右側に移動していることが認識できる。このような演算を複数フレームにわたって連続して実行する。そして、関心領域の角や中央の画素を基準座標とし、上述した差分画像を利用して、例えば、基準座標の上下左右方向の消失画素と出現画素の数や比を利用して、移動ベクトルを算出することが可能となる。

また、上述した移動ベクトル算出法のかわりに、パターンマッチング法を利用して関心領域を追跡することも可能である。この場合においては、関心領域のうちのＮ×Ｎ領域の画素をテンプレートとして使用するパターンとする。そして、ＭをＮより大きい整数とし、関心領域を含む領域のうちＭ×Ｍの領域に対してパターンマッチングを実行する。このパターンマッチングは、相関関数や、分散、標準偏差等の方法を利用して類似度を算出することにより行う。このパターンマッチングにより、特徴画像の移動量を複数フレームにわたって検出することが可能となる。

このようにして、特徴画像の全域に対して特徴画像の移動量を検出することにより、関心領域を追跡することが可能となる。このため、特徴画像における特定の位置の移動を、複数フレームにわたって追跡することが可能となる。

＜時間強度曲線測定＞
次に、上述した関心領域の追跡結果を利用することにより、関心領域の蛍光の強度の時間方向の信号変化曲線を描画する時間強度曲線の解析を行う時間強度曲線測定工程について説明する。

この時間強度曲線の測定には、上述した関心領域の追跡結果を利用する。すなわち、時間強度曲線測定は、図５に示す時間強度曲線測定部６４における画素値測定部７６により測定する蛍光画像の画素値の測定位置を、時間強度曲線測定部６４における測定位置移動部７７により、関心領域追跡部６３により追跡した関心領域に対応させて移動させることにより実行される。

時間強度曲線の解析を行う場合においては、蛍光用撮像素子５６により撮影した蛍光画像におけるインドシアニングリーンからの蛍光の強度を経時的に測定したい位置を測定点として予め設定する。そして、画素値測定部７６によりこの測定点における蛍光の強度を測定する。この測定点の位置は、被検者の体動等に伴って移動する。このため、測定位置移動部７７により、画素値測定部７６における画素値の測定位置を、上述した関心領域追跡部６３により追跡した関心領域に対応させて移動させる。このような構成を採用することにより、測定点が移動した場合においても、その測定点を追跡して、画素値の測定を実行することが可能となる。

図２５は、このようにして測定した時間強度曲線（ＴＩＣ）を示すグラフである。この図において、縦軸は測定点の画素値、すなわち、インドシアニングリーンからの蛍光の強度を示し、横軸は時間を示している。

ＴＩＣ解析においては、関心領域におけるインドシアニングリーンからの蛍光の画素値がピークとなるまでの時間を求めることにより、インドシアニングリーンの造影時間を定量的に評価することが可能となる。そして、このイメージング装置１においては、画素値測定部７６により測定する画素値の測定位置を、関心領域追跡部６３により追跡した関心領域に対応させて、測定位置移動部７７により移動させることにより、関心領域が被検者の体動等により移動した場合においても、常に一定の位置の画素値を測定することができ、正確な時間強度曲線を得ることが可能となる。

なお、上述した実施形態において、蛍光画像の多数の領域において組織の移動を認識し、それらの領域において時間強度曲線を測定してマップを表示することにより、関心領域だけではなく、術野全体に対して定量的な評価を行うことも可能となる。

１ イメージング装置
２ 表示装置
１２ 照明・撮影部
２１ カメラ
２２ 可視光源
２３ 励起用光源
２４ 確認用光源
３０ アーム機構
４０ 制御部
４４ 画像処理部
４５ 画像記憶部
４６ 近赤外画像記憶部
４７ 可視画像記憶部
５２ 表示部
５５ 可視光用撮像素子
５６ 蛍光用撮像素子
６１ グレースケール画像作成部
６２ テカリ領域除去部
６３ 関心領域追跡部
６４ 時間強度曲線測定部
７１ 除外領域設定部
７２ 補完部
７３ 特徴画像追跡部
７４ 二値化部
７５ 追跡部
７６ 画素値測定部
７７ 測定位置移動部

Claims (2)

1. 組織を含むカラー画像において組織表面におけるテカリ領域を除去するテカリ領域除去装置であって、
   前記組織を撮影することにより、前記組織を含むカラー画像を撮影する撮像素子と、
   前記撮像素子により撮影した前記組織を含むカラー画像からグレースケール画像を作成するグレースケール画像作成部と、
   前記グレースケール画像における画素値が閾値より大きな領域と、この画素値が閾値より大きな領域の外周領域とを加算して、前記テカリ領域より大きな除外領域を設定する除外領域設定部と、
   前記カラー画像から前記除外領域を除外した後、その除外した領域の画素を当該除外した領域の外周部の画素に基づいて補完する補完部と、
   を備えたことを特徴とするテカリ領域除去装置。
2. 請求項１に記載のテカリ除去装置において、
   前記除外領域設定部は、前記グレースケール画像における画素値が閾値より大きな領域を膨張させた後、この領域と前記画素値が閾値より大きな領域の外周領域とを加算して、前記テカリ領域より大きな除外領域を設定するテカリ領域除去装置。
   

Images