JP2018128759A - テカリ領域除去装置 - Google Patents

テカリ領域除去装置 Download PDF

Info

Publication number
JP2018128759A
JP2018128759A JP2017020110A JP2017020110A JP2018128759A JP 2018128759 A JP2018128759 A JP 2018128759A JP 2017020110 A JP2017020110 A JP 2017020110A JP 2017020110 A JP2017020110 A JP 2017020110A JP 2018128759 A JP2018128759 A JP 2018128759A
Authority
JP
Japan
Prior art keywords
area
image
region
unit
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017020110A
Other languages
English (en)
Inventor
紘之 妻鳥
Hiroyuki Tsumadori
紘之 妻鳥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP2017020110A priority Critical patent/JP2018128759A/ja
Publication of JP2018128759A publication Critical patent/JP2018128759A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

【課題】 組織表面におけるテカリ領域を違和感なくカラー画像から除去することが可能なテカリ領域除去装置を提供する。【解決手段】 画像処理部44は、グレースケール画像作成部61と、テカリ領域除去部62と、関心領域追跡部63と、時間強度曲線測定部64とを備える。また、テカリ領域除去部62は、グレースケール画像作成部61により作成したグレースケール画像における画素値が閾値より大きな領域と、この画素値が閾値より大きな領域の外周領域とを加算して、テカリ領域より大きな除外領域を設定する除外領域設定部71と、カラー画像から除外領域を除外した後、その除外領域の画素を当該除外領域の外周部の画素に基づいて補完する補完部72とを備える。【選択図】 図5

Description

この発明は、組織を含むカラー画像に基づいて組織表面におけるテカリ領域を除去するテカリ領域除去装置に関する。
近赤外蛍光イメージングと呼称される手法が、外科手術における血管やリンパ管の造影に利用されている。この近赤外蛍光イメージングにおいては、蛍光色素であるインドシアニングリーン(ICG)をインジェクタ等により被検者の体内に注入することで患部に投与する。そして、このインドシアニングリーンにその波長が600〜850nm(ナノメータ)程度の近赤外光を励起光として照射すると、インドシアニングリーンは750〜900nm程度の波長の近赤外蛍光を発する。この蛍光を、近赤外光を検出可能な撮像素子で撮影し、その画像を液晶表示パネル等の表示部に表示する。この近赤外蛍光イメージングによれば、体表から20mm程度までの深さに存在する血管やリンパ管等の観察が可能となる。
また、近年、腫瘍を蛍光標識して手術ナビゲーションに利用する手法が注目されている。腫瘍を蛍光標識するための蛍光標識剤としては、5−アミノレブリン酸(5−ALA/5−Aminolevulinic Acid)が使用される。この5−アミノレブリン酸(以下、これを略称するときは「5−ALA」という)を被検者に投与した場合、5−ALAは蛍光色素であるPpIX(protoporphyrinIX/プロトポルフィリンナイン)に代謝される。なお、このPpIXは癌細胞に特異的に蓄積する。そして、5−ALAの代謝物であるPpIXに向けて410nm程度の波長の可視光を照射すると、PpIXからおよそ630nm程度の波長の赤色の可視光が蛍光として発光される。このPpIXからの蛍光を撮像素子で撮影して観察することにより、癌細胞を確認することが可能となる。
このような体内に侵入させた蛍光色素からの蛍光を撮影するイメージング装置では、撮影後の蛍光画像を、被検者のカラー画像とともに表示部に表示する。医師は、表示部に表示された蛍光画像およびカラー画像と被検者のリアル画像とを視認しながら、手術等を実行する。
ここで、手術を行っているときの被検者の組織は、体液や手術時に使用される生理食塩水などの液体によりテカリが発生しやすい状況となっている。イメージング装置においては、被検者の直上から可視光を照射してカラー画像を撮影することが多く、可視光源による可視光の照射方向と可視光用撮像素子等によるカラー画像の撮影方向とが一致することになる。このため、被検者の組織を撮影したカラー画像中には、テカリ領域が生ずることになる。なお、テカリ領域とは、液体の存在により、組織の一部が他の領域と比較して光って見える領域を意味する。
ここで、「組織」とは、被検者の内臓器官である臓器等の組織を意味する。また、「組織」には、皮膚移植時に移植される皮膚等の臓器以外の組織を含む。この出願の明細書等においては、被検者における臓器を含む各種の組織を、単に「組織」と言う。
イメージング装置により作成され、表示部に表示されるカラー画像における関心領域(ROI:Region of Interest)は、術野において医師が見る関心領域と一致している。このため、カラー画像上には、医師の視野には見られないテカリ領域が表示されることになる。このため、カラー画像と医師による視野とが異なることになる。また、カラー画像においてテカリ領域が存在したときには、エッジ強調や特徴画像抽出等の各種の画像処理に支障をきたす。
特許文献1には、人物を含んで撮影した画像を印刷する技術分野において、閾値を越えた領域を反射領域と判定し、平滑化処理により補正を行う画像処理方法が開示されている。
特開2007−190885号公報
特許文献1に記載されたように、単純に閾値を検出して画像処理を行った場合においては、テカリ領域とその他の領域との境界を補正することができないことから、違和感のある不自然な画像となるという問題がある。また、カラー画像に対して単純な平滑化処理を行った場合においては、RGBの比率が変化して、処理後の領域がテカリ領域の周辺の色とは異なる色となることから、テカリ領域を別の色で塗ったような違和感のある画像となる。
この発明は上記課題を解決するためになされたものであり、組織表面におけるテカリ領域を違和感なくカラー画像から除去することが可能なテカリ領域除去装置を提供することを目的とする。
請求項1に記載の発明は、組織を含むカラー画像において組織表面におけるテカリ領域を除去するテカリ領域除去装置であって、前記組織を撮影することにより、前記組織を含むカラー画像を撮影する撮像素子と、前記撮像素子により撮影した前記組織を含むカラー画像からグレースケール画像を作成するグレースケール画像作成部と、前記グレースケール画像における画素値が閾値より大きな領域と、この画素値が閾値より大きな領域の外周領域とを加算して、前記テカリ領域より大きな除外領域を設定する除外領域設定部と、前記カラー画像から前記除外領域を除外した後、その除外した領域の画素を当該除外した領域の外周部の画素に基づいて補完する補完部と、を備えたことを特徴とする。
請求項2に記載の発明は、請求項1に記載の発明において、前記除外領域設定部は、前記グレースケール画像における画素値が閾値より大きな領域を膨張させた後、この領域と前記画素値が閾値より大きな領域の外周領域とを加算して、前記テカリ領域より大きな除外領域を設定する。
請求項1および請求項2に記載の発明によれば、カラー画像からテカリ領域より大きな除外領域を除外した後、その除外領域の画素を当該除外領域の外周部の画素に基づいて補完することから、組織表面におけるテカリ領域を違和感なくカラー画像から除去することが可能となる。
この発明に係る関心領域追跡装置を備えたイメージング装置1を、表示装置2とともに示す斜視図である。 照明・撮影部12の概要図である。 照明・撮影部12におけるカメラ21の概要図である。 この発明に係るイメージング装置1の主要な制御系を、表示装置2とともに示すブロック図である。 制御部40における画像処理部44のブロック図である。 画像処理部44により得た被検者の関心部位を含む画像の推移を示す模式図である。 画像処理部44により得た被検者の関心部位を含む画像の推移を示す模式図である。 画像処理部44により得た被検者の関心部位を含む画像の推移を示す模式図である。 画像処理部44により得た被検者の関心部位を含む画像の推移を示す模式図である。 画像処理部44により得た被検者の関心部位を含む画像の推移を示す模式図である。 テカリ除去処理のフローを示すブロック図である。 テカリ領域から抽出した領域の画素値と大きさを概念的に示す模式図である。 テカリ領域から抽出した領域の画素値と大きさを概念的に示す模式図である。 テカリ領域から抽出した領域の画素値と大きさを概念的に示す模式図である。 テカリ領域から抽出した領域の画素値と大きさを概念的に示す模式図である。 テカリ領域から抽出した領域の画素値と大きさを概念的に示す模式図である。 テカリ領域から抽出した領域の画素値と大きさを概念的に示す模式図である。 テカリ領域から抽出した領域を概念的に示す模式図である。 テカリ領域から抽出した領域を概念的に示す模式図である。 テカリ領域から抽出した領域を概念的に示す模式図である。 テカリ領域から抽出した領域を概念的に示す模式図である。 テカリ領域から抽出した領域を概念的に示す模式図である。 輪郭追跡法により、除外領域の画素を除外領域の外周部の画素に基づいて補完する工程を模式的に示す説明図である。 移動ベクトル算出法により特徴画像の移動量を複数のフレームにわたって検出する動作を模式的に示す説明図である。 時間強度曲線(TIC)を示すグラフである。
<装置構成>
以下、この発明の実施の形態を図面に基づいて説明する。図1は、この発明に係る関心領域追跡装置を備えたイメージング装置1を、表示装置2とともに示す斜視図である。
表示装置2は、大型の液晶表示装置等から構成される表示部52を、支持機構51により支持する構成を有する。
イメージング装置1は、被検者の体内に注入された蛍光色素としてのインドシアニングリーンに対し励起光を照射し、このインドシアニングリーンから放射される蛍光を撮影するとともに、その蛍光画像を被検者の可視画像であるカラー画像とともに表示装置2に表示するためのものである。そして、このイメージング装置1は、特に、上述した蛍光画像およびカラー画像の表示とともに、被検者の関心領域における蛍光の強度を経時的に測定することにより、被検者の関心領域における蛍光の時間強度曲線(Time Intensity Curve:TIC)を得るためのものである。
このイメージング装置1は、4個の車輪13を備えた台車11と、この台車11の上面における台車11の進行方向の前方付近に配設されたアーム機構30と、このアーム機構30にサブアーム41を介して配設された照明・撮影部12と、モニター15とを備える。台車11の進行方向の後方には、台車11を移動するときに使用されるハンドル14が付設されている。また、台車11の上面には、このイメージング装置1の遠隔操作に使用される図示しない操作部を装着するための凹部16が形成されている。
上述したアーム機構30は、台車11の進行方向の前方側に配設されている。このアーム機構30は、台車11の進行方向の前方側に立設された支柱36上に配設された支持部37に対して、ヒンジ部33により連結された第1アーム部材31を備える。この第1アーム部材31は、ヒンジ部33の作用により、支柱36および支持部37を介して、台車11に対して揺動可能となっている。なお、上述したモニター15は、支柱36に付設されている。
この第1アーム部材31の上端には、第2アーム部材32がヒンジ部34により連結されている。この第2アーム部材32は、ヒンジ部34の作用により、第1アーム部材31に対して揺動可能となっている。このため、第1アーム部材31と第2アーム部材32とは、図1に示す第1アーム部材31と第2アーム部材32とが第1アーム部材31と第2アーム部材32との連結部であるヒンジ部34を中心として所定の角度開いた撮影姿勢と、第1アーム部材31と第2アーム部材32とが近接する待機姿勢とをとることが可能となっている。
第2アーム部材32の下端には、支持部43がヒンジ部35により連結されている。この支持部43は、ヒンジ部35の作用により、第2アーム部材32に対して揺動可能となっている。この支持部43には、回転軸42が支持されている。そして、照明・撮影部12を支持したサブアーム41は、第2アーム部材32の先端に配設された回転軸42を中心に回動する。このため、照明・撮影部12は、このサブアーム41の回動により、図1に示す撮影姿勢または待機姿勢をとるためのアーム機構30に対して台車11の進行方向の前方側の位置と、台車11を移動させる時の姿勢であるアーム機構30に対して台車11の進行方向の後方側の位置との間を移動する。
図2は、照明・撮影部12の概要図である。
この照明・撮影部12は、後述する近赤外線および可視光を検出可能な複数の撮像素子を備えたカメラ21と、このカメラ21の外周部に配設された6個のLEDよりなる可視光源22と、6個のLEDよりなる励起用光源23と、1個のLEDよりなる確認用光源24とを備える。可視光源22は、可視光を照射する。励起用光源23は、インドシアニングリーンを励起させるための励起光であるその波長が760nmの近赤外光を照射する。また、確認用光源24は、インドシアニングリーンから発生する蛍光の波長と近似するその波長が810nmの近赤外光を照射する。なお、励起用光源23の波長は、760nmに限定されず、インドシアニングリーンを励起できる波長であればよい。確認用光源24の波長は、810nmに限定されず、インドシアニングリーンが発する波長以上であってもよい。
図3は、照明・撮影部12におけるカメラ21の概要図である。
このカメラ21は、焦点合わせのために往復移動する可動レンズ54と、波長選択フィルター53と、可視光用撮像素子55と、蛍光用撮像素子56とを備える。可視光用撮像素子55と蛍光用撮像素子56とは、CMOSやCCDから構成される。なお、可視光用撮像素子55は、可視光の画像をカラー画像として撮影することが可能なものが使用される。
カメラ21に対して、その光軸Lに沿って同軸で入射した可視光および蛍光は、焦点合わせ機構を構成する可動レンズ54を通過した後、波長選択フィルター53に到達する。同軸状に入射した可視光および蛍光のうち、可視光は、波長選択フィルター53により反射され、可視光用撮像素子55に入射する。また、同軸状に入射した可視光および蛍光のうち、蛍光は、波長選択フィルター53を通過して蛍光用撮像素子56に入射する。このとき、可動レンズ54を含む焦点合わせ機構の作用により、可視光は可視光用撮像素子55に対して焦点合わせされ、蛍光は蛍光用撮像素子56に対して焦点合わせされる。可視光用撮像素子55は、可視画像を、カラー画像として、所定のフレームレートで撮影する。また、蛍光用撮像素子56は、近赤外画像である蛍光画像を所定のフレームレートで撮影する。
図4は、この発明に係るイメージング装置1の主要な制御系を、表示装置2とともに示すブロック図である。
このイメージング装置1は、論理演算を実行するCPU、装置の制御に必要な動作プログラムが格納されたROM、制御時にデータ等が一時的にストアされるRAM等から構成され、装置全体を制御する制御部40を備える。この制御部40は、後述する各種の画像処理を実行する画像処理部44を備える。この制御部40は、上述した表示装置2と接続されている。また、この制御部40は、カメラ21、可視光源22、励起用光源23および確認用光源24を備えた照明・撮影部12と接続されている。さらに、この制御部40は、カメラ21により撮影された画像を記憶する画像記憶部45と接続されている。この画像記憶部45は、近赤外画像を記憶する近赤外画像記憶部46と、可視画像(カラー画像)を記憶する可視画像記憶部47とから構成される。
図5は、制御部40における画像処理部44のブロック図である。
この画像処理部44は、グレースケール画像作成部61と、テカリ領域除去部62と、関心領域追跡部63と、時間強度曲線測定部64とを備える。なお、グレースケール画像作成部61とテカリ領域除去部62とは、この発明に係るテカリ領域除去装置の主要部を構成する。
上述したグレースケール画像作成部61は、可視光用撮像素子55により撮影したカラー画像に基づいて、グレースケール画像を作成する。また、テカリ領域除去部62は、グレースケール画像作成部61により作成したグレースケール画像における画素値が閾値より大きな領域と、この画素値が閾値より大きな領域の外周領域とを加算して、テカリ領域より大きな除外領域を設定する除外領域設定部71と、カラー画像から除外領域を除外した後、その除外領域の画素を当該除外領域の外周部の画素に基づいて補完する補完部72と、を備える。また、関心領域追跡部63は、グレースケール画像作成部61で作成されたグレースケール画像に基づいて、組織における特徴画像を抽出する特徴画像抽出部73と、グレースケール画像を二値化して二値化画像を作成する二値化部74と、この二値化部74で作成された二値化画像における特徴画像の移動量を複数のフレームにわたって検出することにより、関心領域を追跡する追跡部75と、を備える。さらに、時間強度曲線測定部64は、蛍光用撮像素子56により撮影した蛍光画像における特定点の画素値を測定する画素値測定部76と、この画素値測定部76における画素値の測定位置を、上述した関心領域追跡部63により追跡した関心領域に対応させて移動させる測定位置移動部77と、を備える。
以上のような構成を有するイメージング装置1を使用して被検者に対する手術を行う場合には、最初に、照明・撮影部12における確認用光源24を点灯するとともに、その照射領域の画像をカメラ21により撮影する。確認用光源24からは、インドシアニングリーンから発生する蛍光の波長と近似する、その波長が810nmの近赤外光が照射される。この近赤外光は、人の目では確認することができない。一方、確認用光源24から波長が810nmの近赤外光を照射するとともに、この照射領域の画像をカメラ21により撮影した場合、カメラ21が正常に動作していた場合においては、近赤外光が照射された領域の画像がカメラ21により撮影され、その画像が表示装置2における表示部52に表示される。これにより、カメラ21の動作確認を容易に実行することが可能となる。
しかる後、被検者にインドシアニングリーンを注射により注入する。そして、被検者の組織における患部に向けて、照明・撮影部12における励起用光源23から近赤外線を照射するとともに可視光源22から可視光を照射する。なお、励起用光源23から照射される近赤外光としては、上述したように、インドシアニングリーンが蛍光を発するための励起光として作用する760nmの近赤外光が採用される。これにより、被検者の体内に注入されたインドシアニングリーンは、約800nmをピークとする近赤外領域の蛍光を発生させる。
そして、被検者の組織における患部付近を照明・撮影部12におけるカメラ21により、所定のフレームレートで撮影する。このカメラ21は、上述したように、近赤外光と可視光とを検出することが可能となっている。カメラ21により所定のフレームレートで撮影された近赤外画像およびカラー画像は、画像処理部44により、近赤外画像およびカラー画像を表示装置2における表示部52に表示可能な画像データに変換され、表示部52に表示される。また、必要に応じ、画像処理部44は、近赤外画像データとカラー画像データとを利用して、カラー画像と近赤外画像とを融合させた合成画像を作成する。さらに、カメラ21により撮影された近赤外画像およびカラー画像は、必要に応じ、画像記憶部45における近赤外画像記憶部46および可視画像記憶部47に記憶される。
このようなイメージング装置1においては、被検者の組織における患部のカラー画像と近赤外画像とを同時に動画として記憶し、ビデオレコーダで記録した撮影画像を動画再生する構成となっている。すなわち、このようなイメージング装置1は、所定のフレームレートで撮影した画像を動画として録画・再生することで、明るい外部照明環境下での、ICG等の蛍光色素投与後の血管・リンパ管の走行の観察や癌病巣領域の確認ができるものである。このような録画データは、参照用に使用し得るだけではなく、解析に利用することにより新しい知見を得ることができる。すなわち、関心領域の時間方向の信号変化曲線を描画する時間強度曲線(TIC)の解析においては、関心領域の近赤外画像の画素値がピークとなるまでの時間を求めることにより、インドシアニングリーン等の蛍光色素の造影時間を定量的に評価することが可能となる。
このような時間強度曲線を得るためには、被検者の血管の領域を関心領域とし、その関心領域の近赤外画像の画素値を経時的に測定する必要がある。一方、被検者の関心領域は、被検者の体動等により移動する。このため、このイメージング装置1においては、関心領域を追跡することにより、関心領域の移動にかかわらず、正確な時間強度曲線を測定する構成を採用している。すなわち、このイメージング装置1においては、被検者の組織を含むカラー画像からテカリ領域を除去した後、そのカラー画像を用いて関心領域を追跡することにより、常に同一位置の画素値を測定している。
以下、このイメージング装置1を使用して時間強度曲線を得るための動作について説明する。図6から図10は、この発明に係るイメージング装置1において、画像処理部44により得た被検者の関心部位を含む画像の推移を示す模式図である。なお、これらの図においては、被検者の心臓付近の画像の推移を模式的に示している。
<テカリ除去>
これらの図のうち、図6は、可視光用撮像素子55により撮影した被検者の組織のカラー画像を模式的に示している。手術を行っているときの被検者の組織は、体液や手術時に使用される生理食塩水などの液体によりテカリが発生しやすい状況となっている。一方、照明・撮影部12は、被検者の直上から可視光を照射してカラー画像を撮影することが多く、可視光源22による可視光の照射方向と可視光用撮像素子55によるカラー画像の撮影方向とが一致することになる。このため、被検者の組織を撮影したカラー画像中には、テカリ領域Gが生ずることになる。図6においては、テカリ領域Gを白抜きの領域として図示している。なお、図6においては、多数のテカリ領域のうちの一部のテカリ領域にのみ符号Gを付している。ここで、テカリ領域とは、液体の存在により、組織の一部が他の領域と比較して光って見える領域を意味する。
カラー画像における関心領域は、術野において医師が見る関心領域と一致している。このため、カラー画像上には、医師の視野には見られないテカリ領域が表示されることになる。従って、カラー画像と医師による視野とが異なることになる。また、カラー画像においてテカリ領域が存在したときには、エッジ強調や特徴画像抽出等の各種の画像処理に支障をきたす。
このため、このイメージング装置1においては、最初に、画像処理部44におけるテカリ領域除去部62により、カラー画像に対するテカリ除去処理を実行している。このテカリ領域除去部62によるテカリ除去処理においては、グレースケール画像作成部61によりカラー画像から作成されたグレースケール画像を使用する。そして、除外領域設定部71により、グレースケール画像における画素値が閾値より大きな領域と、この画素値が閾値より大きな領域の外周領域とを加算して、テカリ領域より大きな除外領域を設定する。しかる後、補完部72により、カラー画像から除外領域を除外した後、その除外領域の画素を当該除外領域の外周部の画素に基づいて補完する。
以下、このテカリ除去処理について詳細に説明する。図11は、テカリ除去処理のフローを示すブロック図である。また、図12から図17は、テカリ領域から抽出した領域の画素値と大きさを概念的に示す模式図である。さらに、図18から図22は、テカリ領域から抽出した領域を概念的に示す模式図である。なお、図12から図17においては、縦軸は画素値を示し、横軸は位置を示している。
テカリ除去処理を行うときには、最初に、図5に示すグレースケール画像作成部61により、可視光用撮像素子55により撮影したカラー画像をグレースケール化する。このカラー画像のグレースケール化は、BT.601、BT.709、R値抽出、G値抽出、B値抽出、RB値平均、RG値平均、GB値平均、RGB値平均、MAX値、MIN値、MAX・MIN平均値、MAX−MIN値、255×(MAX−MIN)/MAX値、RGB中間値等の、一般的な方法を使用すればよい。
そして、グレースケール画像に対して、平滑化処理を行う。図12は、平滑化処理を行う前後のテカリ領域から抽出した領域の画素値と大きさを示している。この図において、G1は平滑化処理前のテカリ領域から抽出した領域の画素値と大きさを示し、G2は平滑化処理後のテカリ領域から抽出した領域の画素値と大きさを示している。この平滑化処理により、グレースケール画像におけるノイズを除去することが可能となる。
次に、平滑化処理後の画像に対して、閾値を抽出する。この閾値の抽出は、グレースケール画像における各画素値から閾値に相当する画素値を減算することにより行われる。図13におけるG2は、閾値抽出前のテカリ領域から抽出した領域の画素値と大きさを示し、図14におけるG3は、閾値抽出後のテカリ領域から抽出した領域の画素値と大きさを示している。しかる後、閾値抽出後の画像に対して膨張化処理を行う。図15におけるG3は膨張化処理前のテカリ領域から抽出した領域の画素値と大きさを示し、図15におけるG4は膨張化処理後のテカリ領域から抽出した領域の画素値と大きさを示している。また、図18および図19におけるE3は、膨張化処理前のテカリ領域から抽出した領域を示し、図19におけるE4は膨張化処理後のテカリ領域から抽出した領域を示している。
また、図11に示すように、これと並行して、平滑化処理後の画像に対して、エッジ抽出処理を行う。このエッジ抽出処理においては、例えば、平滑化処理後の画像に対して3×3のミーンフィルタ(Mean Filter)処理を二回連続して適用し、一回目の処理結果から二回目の処理結果を減算する。図16におけるG5は、エッジ抽出処理後のテカリ領域から抽出した領域の画素値と大きさを示している。テカリ領域から抽出した領域の画素値と大きさは、図13に示す状態から図16に示す状態となる。そして、エッジ抽出処理後の画像に対して閾値を抽出する。この閾値の抽出は、グレースケール画像における各画素値から閾値に相当する画素値を減算することにより行われる。図17におけるG6は、閾値抽出後のテカリ領域から抽出した領域の画素値と大きさを示している。また、図20におけるE6は、閾値抽出後のテカリ領域から抽出した、中央部に空き領域が形成された略ドーナツ状の領域を示している。
しかる後、閾値を抽出して膨張化処理を行った後の画像と、エッジ抽出後に閾値抽出を行った画像とを加算する。すなわち、閾値を抽出して膨張化処理を行った後の画像と、エッジ抽出後に閾値抽出を行った画像とをあわせて、一つの画像とする。図21においては、領域E4と領域E6とを加算した状態を示している。この図に示すように、領域E6の中央部の空き領域が領域E4によりうめられている。
しかる後、加算後の画像に対して膨張処理を実行する。図22においては、図21に示す領域E6から膨張した領域E7を示している。この領域E7は、図7に示すテカリ領域Gよりも大きな領域となっている。そして、図11に示すように、この領域を除外領域として、元のカラー画像から減算することにより除外する。
図7は、可視光用撮像素子55により撮影した被検者の組織のカラー画像から、テカリ領域より大きな領域である除外領域が除外された状態を模式的に示している。なお、図7においては、除外された領域を黒塗りの領域として図示している。図7においては、除外された領域に対して、テカリ領域と同じ符号Gを付している。なお、図7においては、多数の除外領域のうちの一部の除外領域にのみ符号Gを付している。
被検者の組織のカラー画像から、テカリ領域より大きな領域である除外領域を除外した後には、この除外領域の画素を、除外領域の外周部の画素に基づいて補完する。この補完は、例えば、輪郭追跡法により実行することができる。
図23は、輪郭追跡法により、除外領域の画素を除外領域の外周部の画素に基づいて補完する工程を模式的に示す説明図である。なお、この図においては、補完が必要な領域、すなわち、上述した除外領域を白抜きとし、それ以外の領域に対してハッチングを付している。
この輪郭追跡法は、画像における所定の領域に対して矢印Aで示すように走査を行い、矢印Bに示すように、補完が必要な領域、すなわち、上述した除外領域の輪郭を追跡しながら、周囲から中央部に向かって補完していく方法である。各々の補完が必要な領域に対しては、注目画素に対する周囲の画素の平均値、あるいは、中央値で補完を行う。ここで、注目画素に対する周囲の画素とは、例えば、注目画素の左右2画素、上下2画素、あるいは、周囲8画素である。なお、図23においては、二次元的に輪郭を追跡して補完を行っているが、1ラインで輪郭を追跡して補完を行うようにしてもよい。
なお、上述した輪郭追跡法にかえて、画像縮小法により補完を行ってもよい。画像縮小法は、補完が必要な領域の中心で、上下左右1画素分画像全体を縮小することにより、輪郭部分と同じ座標に色が現れることを利用し、その色で補完を行う方法である。縮小時のロジックはリニア、バイキュービックなどいずれでも良い。
また、上述した輪郭追跡法にかえて、直線近似・周囲補正法により補完を行ってもよい。直線近似・周囲補正法は、1ラインに注目し、輪郭よりも1画素離れた始点、終点画素の色を使い、リニアに補完する方法である。リニアに補完を行った後、隣り合うラインで色が存在するときは、それらとの平均値を採用する周囲補正を実行する。
図8は、被検者の組織のカラー画像に対して、上述したテカリ除去を行った後の状態を模式的に示している。上述したテカリ除去を実行することにより、被検者の組織のカラー画像から、テカリ領域を違和感なく除去することが可能となる。
<関心領域追跡>
以上のテカリ除去工程が終了すれば、次に、被検者の組織を含むカラー画像に基づいて組織における関心領域を追跡する関心領域追跡工程を実行する。この関心領域追跡工程は、主として、図5に示す関心領域追跡部63により実行される。
このときには、最初に、上述したテカリ除去工程によりテカリ領域を除去したカラー画像を、グレースケール化し、グレースケール画像を作成する。このグレースケール画像の作成は、図5に示すグレースケール画像作成部61により実行される。このカラー画像のグレースケール化は、上述したテカリ除去工程と同様、BT.601、BT.709、R値抽出、G値抽出、B値抽出、RB値平均、RG値平均、GB値平均、RGB値平均、MAX値、MIN値、MAX・MIN平均値、MAX−MIN値、255×(MAX−MIN)/MAX値、RGB中間値等の、一般的な方法を使用すればよい。図9は、このようにして作成された被検者の組織のグレースケール画像を模式的に示している。
次に、図5に示す特徴画像抽出部73により、グレースケール画像から特徴画像を作成する。この特徴画像は、被検者の血管やしわなどを特徴量として抽出した画像である。特徴画像の抽出は、特徴抽出は、単純なコンボリューション(畳み込み積分:convolution)、ラプラシアンフィルタ、アンシャープマスク、エネルギー関数を用いる方法など、各種の手法を使用することができる。このとき、リアルタイム処理を実行するためには、コンボリューションやラプラシアン、アンシャープマスクなどを使用することが好ましい。
この特徴画像の抽出に、アンシャープマスクを使用する場合について説明する。アンシャープマスクを使用する場合においては、ぼかし係数をsとし、重みをwとした場合(但し、0<w<1)、グレースケール画像をs×sの平均、もしくは、ガウシアンフィルタをかけてぼかすことにより、ぼかし画像を作成する。そして、以下の式により特徴画像を抽出した出力画像を演算する。
出力画像 = (原画 − w × ぼかし画像)/(1 − w)
特徴画像の抽出後には、図5に示す二値化部74により、二値化処理を実行する。図10においては、特徴画像を抽出し、二値化した後の出力画像を模式的に示している。なお、図10においては、通常明るく表示される特徴画像を線で表現している。
次に、図5に示す追跡部75により、二値化後の特徴画像を用いて、特徴画像の移動量を複数のフレームにわたって検出することにより、関心領域を追跡する。この関心領域の追跡は、例えば、移動ベクトル算出法や、パターンマッチング法を利用して実行することができる。
図24は、移動ベクトル算出法により特徴画像の移動量を複数のフレームにわたって検出する動作を模式的に示す説明図である。なお、これらの図形における矩形領域の横軸は位置を示し、縦軸は画素値を示している。
この図において、図中左側のFtは特徴画像の現在のフレームを示し、Ft−1は特徴画像の過去の(一つ前の)フレームを示している。また、図中中央のACCは、特徴画像の現在フレームから過去フレームを減算した結果を示し、DECは、特徴画像の過去フレームから現在フレームを減算した結果を示している。そして、図中右側は、k1、k2、k3を任意の係数(但し、k1>k2>k3)としたときの下記の式の演算結果を示している。
k1・k2+k2・ACC+k3・DEC
図24において、図中右側に示すように、演算後の差分画像は右側に行くに従って、画素値が大きくなっている。例えば、k1=2、k2=1、k3=−1とし、二値化画像の最大値を1としたときには、画像のバックグラウンドは0、画像が移動してバックグラウンドとなった消失画素は1、変化していない画素は2、新たに現れた出現画像は3となり、差分画像の画素値は右に行くほど1、2、3と増加していく。これにより、図中右側において矢印Mで示すように、この画像は時間の経過とともに右側に移動していることが認識できる。このような演算を複数フレームにわたって連続して実行する。そして、関心領域の角や中央の画素を基準座標とし、上述した差分画像を利用して、例えば、基準座標の上下左右方向の消失画素と出現画素の数や比を利用して、移動ベクトルを算出することが可能となる。
また、上述した移動ベクトル算出法のかわりに、パターンマッチング法を利用して関心領域を追跡することも可能である。この場合においては、関心領域のうちのN×N領域の画素をテンプレートとして使用するパターンとする。そして、MをNより大きい整数とし、関心領域を含む領域のうちM×Mの領域に対してパターンマッチングを実行する。このパターンマッチングは、相関関数や、分散、標準偏差等の方法を利用して類似度を算出することにより行う。このパターンマッチングにより、特徴画像の移動量を複数フレームにわたって検出することが可能となる。
このようにして、特徴画像の全域に対して特徴画像の移動量を検出することにより、関心領域を追跡することが可能となる。このため、特徴画像における特定の位置の移動を、複数フレームにわたって追跡することが可能となる。
<時間強度曲線測定>
次に、上述した関心領域の追跡結果を利用することにより、関心領域の蛍光の強度の時間方向の信号変化曲線を描画する時間強度曲線の解析を行う時間強度曲線測定工程について説明する。
この時間強度曲線の測定には、上述した関心領域の追跡結果を利用する。すなわち、時間強度曲線測定は、図5に示す時間強度曲線測定部64における画素値測定部76により測定する蛍光画像の画素値の測定位置を、時間強度曲線測定部64における測定位置移動部77により、関心領域追跡部63により追跡した関心領域に対応させて移動させることにより実行される。
時間強度曲線の解析を行う場合においては、蛍光用撮像素子56により撮影した蛍光画像におけるインドシアニングリーンからの蛍光の強度を経時的に測定したい位置を測定点として予め設定する。そして、画素値測定部76によりこの測定点における蛍光の強度を測定する。この測定点の位置は、被検者の体動等に伴って移動する。このため、測定位置移動部77により、画素値測定部76における画素値の測定位置を、上述した関心領域追跡部63により追跡した関心領域に対応させて移動させる。このような構成を採用することにより、測定点が移動した場合においても、その測定点を追跡して、画素値の測定を実行することが可能となる。
図25は、このようにして測定した時間強度曲線(TIC)を示すグラフである。この図において、縦軸は測定点の画素値、すなわち、インドシアニングリーンからの蛍光の強度を示し、横軸は時間を示している。
TIC解析においては、関心領域におけるインドシアニングリーンからの蛍光の画素値がピークとなるまでの時間を求めることにより、インドシアニングリーンの造影時間を定量的に評価することが可能となる。そして、このイメージング装置1においては、画素値測定部76により測定する画素値の測定位置を、関心領域追跡部63により追跡した関心領域に対応させて、測定位置移動部77により移動させることにより、関心領域が被検者の体動等により移動した場合においても、常に一定の位置の画素値を測定することができ、正確な時間強度曲線を得ることが可能となる。
なお、上述した実施形態において、蛍光画像の多数の領域において組織の移動を認識し、それらの領域において時間強度曲線を測定してマップを表示することにより、関心領域だけではなく、術野全体に対して定量的な評価を行うことも可能となる。
1 イメージング装置
2 表示装置
12 照明・撮影部
21 カメラ
22 可視光源
23 励起用光源
24 確認用光源
30 アーム機構
40 制御部
44 画像処理部
45 画像記憶部
46 近赤外画像記憶部
47 可視画像記憶部
52 表示部
55 可視光用撮像素子
56 蛍光用撮像素子
61 グレースケール画像作成部
62 テカリ領域除去部
63 関心領域追跡部
64 時間強度曲線測定部
71 除外領域設定部
72 補完部
73 特徴画像追跡部
74 二値化部
75 追跡部
76 画素値測定部
77 測定位置移動部

Claims (2)

  1. 組織を含むカラー画像において組織表面におけるテカリ領域を除去するテカリ領域除去装置であって、
    前記組織を撮影することにより、前記組織を含むカラー画像を撮影する撮像素子と、
    前記撮像素子により撮影した前記組織を含むカラー画像からグレースケール画像を作成するグレースケール画像作成部と、
    前記グレースケール画像における画素値が閾値より大きな領域と、この画素値が閾値より大きな領域の外周領域とを加算して、前記テカリ領域より大きな除外領域を設定する除外領域設定部と、
    前記カラー画像から前記除外領域を除外した後、その除外した領域の画素を当該除外した領域の外周部の画素に基づいて補完する補完部と、
    を備えたことを特徴とするテカリ領域除去装置。
  2. 請求項1に記載のテカリ除去装置において、
    前記除外領域設定部は、前記グレースケール画像における画素値が閾値より大きな領域を膨張させた後、この領域と前記画素値が閾値より大きな領域の外周領域とを加算して、前記テカリ領域より大きな除外領域を設定するテカリ領域除去装置。
JP2017020110A 2017-02-07 2017-02-07 テカリ領域除去装置 Pending JP2018128759A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017020110A JP2018128759A (ja) 2017-02-07 2017-02-07 テカリ領域除去装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017020110A JP2018128759A (ja) 2017-02-07 2017-02-07 テカリ領域除去装置

Publications (1)

Publication Number Publication Date
JP2018128759A true JP2018128759A (ja) 2018-08-16

Family

ID=63172907

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017020110A Pending JP2018128759A (ja) 2017-02-07 2017-02-07 テカリ領域除去装置

Country Status (1)

Country Link
JP (1) JP2018128759A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082477A (zh) * 2022-08-23 2022-09-20 山东鲁芯之光半导体制造有限公司 一种基于去反光效果的半导体晶圆加工质量检测方法
CN117523644A (zh) * 2024-01-04 2024-02-06 深圳星和动力科技有限公司 一种公共交通身份认证方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082477A (zh) * 2022-08-23 2022-09-20 山东鲁芯之光半导体制造有限公司 一种基于去反光效果的半导体晶圆加工质量检测方法
CN115082477B (zh) * 2022-08-23 2022-10-28 山东鲁芯之光半导体制造有限公司 一种基于去反光效果的半导体晶圆加工质量检测方法
CN117523644A (zh) * 2024-01-04 2024-02-06 深圳星和动力科技有限公司 一种公共交通身份认证方法及系统
CN117523644B (zh) * 2024-01-04 2024-03-12 深圳星和动力科技有限公司 一种公共交通身份认证方法及系统

Similar Documents

Publication Publication Date Title
US20180220893A1 (en) Region of interest tracing apparatus
JP5435532B2 (ja) 画像処理システム
JP4409166B2 (ja) 画像処理装置
US20150339817A1 (en) Endoscope image processing device, endoscope apparatus, image processing method, and information storage device
WO2023103467A1 (zh) 图像处理方法、装置及设备
CN108186115A (zh) 手持式荧光超声融合造影导航系统
US9826884B2 (en) Image processing device for correcting captured image based on extracted irregularity information and enhancement level, information storage device, and image processing method
CN107072644B (zh) 成像装置
US20150363942A1 (en) Image processing device, endoscope apparatus, image processing method, and information storage device
CN106447703A (zh) 近红外荧光与契伦科夫荧光融合成像方法及设备
US20150363929A1 (en) Endoscope apparatus, image processing method, and information storage device
JP4751689B2 (ja) 眼球表面解析システム
JP6485275B2 (ja) イメージング装置
US20200323430A1 (en) Imaging device and imaging method
US20190239749A1 (en) Imaging apparatus
JP6150617B2 (ja) 検出装置、学習装置、検出方法、学習方法及びプログラム
JP2018128759A (ja) テカリ領域除去装置
JP6708143B2 (ja) 時間強度曲線測定装置
JP6187535B2 (ja) 診断支援装置並びに当該診断支援装置における画像処理方法及びそのプログラム
JPWO2018167816A1 (ja) 撮像装置
JP7478245B2 (ja) 医療画像装置及びその作動方法
US11689689B2 (en) Infrared imaging system having structural data enhancement
JP7200755B2 (ja) イメージング装置およびイメージング装置の作動方法
Jütte et al. True digital hair removal with real value inpainting for improved dermoscopy based on image fusion
Rimskaya et al. Differential diagnostics of skin pigmented lesions with the aim of early detection of precancerous changes based on the analysis of clinical images