JP2023164610A - 画像処理装置、画像処理方法および画像処理システム - Google Patents

画像処理装置、画像処理方法および画像処理システム Download PDF

Info

Publication number
JP2023164610A
JP2023164610A JP2023151636A JP2023151636A JP2023164610A JP 2023164610 A JP2023164610 A JP 2023164610A JP 2023151636 A JP2023151636 A JP 2023151636A JP 2023151636 A JP2023151636 A JP 2023151636A JP 2023164610 A JP2023164610 A JP 2023164610A
Authority
JP
Japan
Prior art keywords
image
blood vessel
degree
image data
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023151636A
Other languages
English (en)
Inventor
健太郎 深沢
Kentaro Fukazawa
宇紀 深澤
Takanori Fukazawa
大介 菊地
Daisuke Kikuchi
穂 高橋
Minoru Takahashi
和樹 池下
Kazuki Ikeshita
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of JP2023164610A publication Critical patent/JP2023164610A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/94
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Abstract

【課題】蛍光画像の視認性を向上させることが可能な技術が提供されることが望まれる。【解決手段】ICG蛍光法によって血管が撮像された第1の画像データの特徴を示す複数の指標を検出する特徴検出部と、前記複数の指標を統合した結果に基づいて、前記第1の画像データに対して施される強調処理の度合いを制御する強調処理部と、を備える、画像処理装置が提供される。【選択図】図3

Description

本開示は、画像処理装置、画像処理方法および画像処理システムに関する。
近年、医療現場において内視鏡が用いられることがある。内視鏡によって撮像が行われる場合、白色光の照射によって得られた通常画像を観察する通常観察が行われる場合がある。あるいは、励起光を照射することにより発生する蛍光により画像(蛍光画像)を得る蛍光観察が行われる場合もある。また、これらの通常画像と蛍光画像とが重ね合わされた合成画像をモニタに表示する技術が開示されている(例えば、特許文献1参照)。
特開2011-5002号公報
このようにして得られる蛍光画像は、強調処理が施された上でモニタに表示される。このとき、カメラヘッドから入力された蛍光画像に対する強調処理の度合いを均一にしてしまうと、領域によっては強調処理の度合いが強くなりすぎてしまい、視認性が向上しない場合がある。一例として、散乱が大きい領域および細い血管に施される強調処理の度合いは強くてよいが、同じ強さの強調処理を他の領域に施してしまうと、強調処理の度合いが強くなりすぎてしまう場合がある。
そこで、蛍光画像の視認性を向上させることが可能な技術が提供されることが望まれる。
本開示によれば、ICG蛍光法によって血管が撮像された第1の画像データの特徴を示す複数の指標を検出する特徴検出部と、前記複数の指標を統合した結果に基づいて、前記第1の画像データに対して施される強調処理の度合いを制御する強調処理部と、を備える、画像処理装置が提供される。
本開示によれば、ICG蛍光法によって血管が撮像された第1の画像データの特徴を検出することと、プロセッサにより、前記特徴に基づいて、前記第1の画像データに対して施される強調処理の度合いを制御することと、を含む、画像処理方法が提供される。
本開示によれば、ICG蛍光法によって血管を撮像して第1の画像データを得る撮像部と、前記第1の画像データの特徴を検出する特徴検出部と、前記特徴に基づいて、前記第1の画像データに対して施される強調処理の度合いを制御する強調処理部と、を備える、画像処理システムが提供される。
以上説明したように本開示によれば、蛍光画像の視認性を向上させることが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
内視鏡手術システムの概略的な構成の一例を示す図である。 図1に示すカメラヘッド及びCCUの機能構成の一例を示すブロック図である。 本開示の第1の実施形態に係るCCUの機能構成例を示すブロック図である。 被写体特徴検出部の詳細構成例を示す図である。 散乱度検出部の詳細構成例を示す図である。 相関値と散乱度との対応関係の例を示す図である。 血管径検出部の詳細構成例を示す図である。 ICG画像に対して画像処理が異なる強度で施された場合について説明するための図である。 差分値と血管径との対応関係の例を示す図である。 ICG画像の例を示す図である。 スケール「0.5」におけるICG画像の例を示す図である。 スケール「5」におけるICG画像の例を示す図である。 スケール「10」におけるICG画像の例を示す図である。 スケール「15」におけるICG画像の例を示す図である。 スケール「20」におけるICG画像の例を示す図である。 血管密集度検出部の詳細構成例を示す図である。 血管密集度について説明するための図である。 血管の割合と最多の血管径との組み合わせと血管密集度との対応関係の例を示す図である。 血管深さ検出部の詳細構成例を示す図である。 血管情報と相関値との組み合わせと血管深さとの対応関係の例を示す図である。 強調処理の度合いがICG画像全体で均一である場合について説明するための図である。 血管径に応じて異なる度合いの強調処理が施された後のICG画像の例を示す図である。 血管径に応じて異なる度合いの強調処理が施された後のICG画像の例を示す図である。 被写体特徴に対応する係数が係数DBに登録されている場合(第1の例)を示す図である。 被写体特徴の一部に対応する係数は係数DBに登録されているが、被写体特徴の残りに対応する係数は係数DBに登録されていない場合(第2の例)を示す図である。 単一の係数しか係数DBに登録されていない場合(第3の例)を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
1.システム構成例
2.概要
3.第1の実施形態
4.第2の実施形態
5.むすび
<<1.システム構成例>>
まず、図面を参照しながら、本開示の実施形態に係る医療用システム(画像処理システム)の一例の構成例について説明する。本開示の実施形態に係る医療用システムの例としては様々なシステムが想定される。ここでは、本開示の実施形態に係る医療用システムの一例として、内視鏡手術システムの構成例について主に説明する。
図1は、本開示に係る技術が適用され得る内視鏡手術システム5000の概略的な構成の一例を示す図である。図1では、術者(医師)5067が、内視鏡手術システム5000を用いて、患者ベッド5069上の患者5071に手術を行っている様子が図示されている。図示するように、内視鏡手術システム5000は、内視鏡5001と、その他の術具5017と、内視鏡5001を支持する支持アーム装置5027と、内視鏡下手術のための各種の装置が搭載されたカート5037と、から構成される。
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ5025a~5025dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ5025a~5025dから、内視鏡5001の鏡筒5003や、その他の術具5017が患者5071の体腔内に挿入される。図示する例では、その他の術具5017として、気腹チューブ5019、エネルギー処置具5021及び鉗子5023が、患者5071の体腔内に挿入されている。また、エネルギー処置具5021は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具5017はあくまで一例であり、術具5017としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡5001によって撮影された患者5071の体腔内の術部の画像が、表示装置5041に表示される。術者5067は、表示装置5041に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具5021や鉗子5023を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ5019、エネルギー処置具5021及び鉗子5023は、手術中に、術者5067又は助手等によって支持される。
(支持アーム装置)
支持アーム装置5027は、ベース部5029から延伸するアーム部5031を備える。図示する例では、アーム部5031は、関節部5033a、5033b、5033c、及びリンク5035a、5035bから構成されており、アーム制御装置5045からの制御により駆動される。アーム部5031によって内視鏡5001が支持され、その位置及び姿勢が制御される。これにより、内視鏡5001の安定的な位置の固定が実現され得る。
(内視鏡)
内視鏡5001は、先端から所定の長さの領域が患者5071の体腔内に挿入される鏡筒5003と、鏡筒5003の基端に接続されるカメラヘッド5005と、から構成される。図示する例では、硬性の鏡筒5003を有するいわゆる硬性鏡として構成される内視鏡5001を図示しているが、内視鏡5001は、軟性の鏡筒5003を有するいわゆる軟性鏡として構成されてもよい。
鏡筒5003の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡5001には光源装置5043が接続されており、当該光源装置5043によって生成された光が、鏡筒5003の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者5071の体腔内の観察対象に向かって照射される。なお、内視鏡5001は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド5005の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)5039に送信される。なお、カメラヘッド5005には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視(3D表示)等に対応するために、カメラヘッド5005には撮像素子が複数設けられてもよい。この場合、鏡筒5003の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
(カートに搭載される各種の装置)
CCU5039は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5001及び表示装置5041の動作を統括的に制御する。具体的には、CCU5039は、カメラヘッド5005から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5039は、当該画像処理を施した画像信号を表示装置5041に提供する。また、CCU5039は、カメラヘッド5005に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
表示装置5041は、CCU5039からの制御により、当該CCU5039によって画像処理が施された画像信号に基づく画像を表示する。内視鏡5001が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置5041としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置5041として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置5041が設けられてもよい。
光源装置5043は、例えばLED(light emitting diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡5001に供給する。
アーム制御装置5045は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置5027のアーム部5031の駆動を制御する。
入力装置5047は、内視鏡手術システム5000に対する入力インタフェースである。ユーザは、入力装置5047を介して、内視鏡手術システム5000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置5047を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置5047を介して、アーム部5031を駆動させる旨の指示や、内視鏡5001による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具5021を駆動させる旨の指示等を入力する。
入力装置5047の種類は限定されず、入力装置5047は各種の公知の入力装置であってよい。入力装置5047としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ5057及び/又はレバー等が適用され得る。入力装置5047としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置5041の表示面上に設けられてもよい。
あるいは、入力装置5047は、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置5047は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置5047は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置5047が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者5067)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置5049は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具5021の駆動を制御する。気腹装置5051は、内視鏡5001による視野の確保及び術者の作業空間の確保の目的で、患者5071の体腔を膨らめるために、気腹チューブ5019を介して当該体腔内にガスを送り込む。レコーダ5053は、手術に関する各種の情報を記録可能な装置である。プリンタ5055は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム5000において特に特徴的な構成について、更に詳細に説明する。
(支持アーム装置)
支持アーム装置5027は、基台であるベース部5029と、ベース部5029から延伸するアーム部5031と、を備える。図示する例では、アーム部5031は、複数の関節部5033a、5033b、5033cと、関節部5033bによって連結される複数のリンク5035a、5035bと、から構成されているが、図1では、簡単のため、アーム部5031の構成を簡略化して図示している。実際には、アーム部5031が所望の自由度を有するように、関節部5033a~5033c及びリンク5035a、5035bの形状、数及び配置、並びに関節部5033a~5033cの回転軸の方向等が適宜設定され得る。例えば、アーム部5031は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5031の可動範囲内において内視鏡5001を自由に移動させることが可能になるため、所望の方向から内視鏡5001の鏡筒5003を患者5071の体腔内に挿入することが可能になる。
関節部5033a~5033cにはアクチュエータが設けられており、関節部5033a~5033cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置5045によって制御されることにより、各関節部5033a~5033cの回転角度が制御され、アーム部5031の駆動が制御される。これにより、内視鏡5001の位置及び姿勢の制御が実現され得る。この際、アーム制御装置5045は、力制御又は位置制御等、各種の公知の制御方式によってアーム部5031の駆動を制御することができる。
例えば、術者5067が、入力装置5047(フットスイッチ5057を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置5045によってアーム部5031の駆動が適宜制御され、内視鏡5001の位置及び姿勢が制御されてよい。当該制御により、アーム部5031の先端の内視鏡5001を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部5031は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5031は、手術室から離れた場所に設置される入力装置5047を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置5045は、ユーザからの外力を受け、その外力にならってスムーズにアーム部5031が移動するように、各関節部5033a~5033cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部5031に触れながらアーム部5031を移動させる際に、比較的軽い力で当該アーム部5031を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡5001を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡5001が支持されていた。これに対して、支持アーム装置5027を用いることにより、人手によらずに内視鏡5001の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置5045は必ずしもカート5037に設けられなくてもよい。また、アーム制御装置5045は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置5045は、支持アーム装置5027のアーム部5031の各関節部5033a~5033cにそれぞれ設けられてもよく、複数のアーム制御装置5045が互いに協働することにより、アーム部5031の駆動制御が実現されてもよい。
(光源装置)
光源装置5043は、内視鏡5001に術部を撮影する際の照射光を供給する。光源装置5043は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5043において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5005の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置5043は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド5005の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置5043は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置5043は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
(カメラヘッド及びCCU)
図2を参照して、内視鏡5001のカメラヘッド5005及びCCU5039の機能についてより詳細に説明する。図2は、図1に示すカメラヘッド5005及びCCU5039の機能構成の一例を示すブロック図である。
図2を参照すると、カメラヘッド5005は、その機能として、レンズユニット5007と、撮像部5009と、駆動部5011と、通信部5013と、カメラヘッド制御部5015と、を有する。また、CCU5039は、その機能として、通信部5059と、画像処理部5061と、制御部5063と、を有する。カメラヘッド5005とCCU5039とは、伝送ケーブル5065によって双方向に通信可能に接続されている。
まず、カメラヘッド5005の機能構成について説明する。レンズユニット5007は、鏡筒5003との接続部に設けられる光学系である。鏡筒5003の先端から取り込まれた観察光は、カメラヘッド5005まで導光され、当該レンズユニット5007に入射する。レンズユニット5007は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット5007は、撮像部5009の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部5009は撮像素子によって構成され、レンズユニット5007の後段に配置される。レンズユニット5007を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部5009によって生成された画像信号は、通信部5013に提供される。
撮像部5009を構成する撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者5067は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部5009を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者5067は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部5009が多板式で構成される場合には、各撮像素子に対応して、レンズユニット5007も複数系統設けられる。
また、撮像部5009は、必ずしもカメラヘッド5005に設けられなくてもよい。例えば、撮像部5009は、鏡筒5003の内部に、対物レンズの直後に設けられてもよい。
駆動部5011は、アクチュエータによって構成され、カメラヘッド制御部5015からの制御により、レンズユニット5007のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部5009による撮像画像の倍率及び焦点が適宜調整され得る。
通信部5013は、CCU5039との間で各種の情報を送受信するための通信装置によって構成される。通信部5013は、撮像部5009から得た画像信号をRAWデータとして伝送ケーブル5065を介してCCU5039に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者5067が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部5013には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル5065を介してCCU5039に送信される。
また、通信部5013は、CCU5039から、カメラヘッド5005の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部5013は、受信した制御信号をカメラヘッド制御部5015に提供する。なお、CCU5039からの制御信号も、光通信によって伝送されてもよい。この場合、通信部5013には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部5015に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU5039の制御部5063によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡5001に搭載される。
カメラヘッド制御部5015は、通信部5013を介して受信したCCU5039からの制御信号に基づいて、カメラヘッド5005の駆動を制御する。例えば、カメラヘッド制御部5015は、撮像画像のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部5009の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部5015は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部5011を介してレンズユニット5007のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部5015は、更に、鏡筒5003やカメラヘッド5005を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット5007や撮像部5009等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド5005について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、CCU5039の機能構成について説明する。通信部5059は、カメラヘッド5005との間で各種の情報を送受信するための通信装置によって構成される。通信部5059は、カメラヘッド5005から、伝送ケーブル5065を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部5059には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部5059は、電気信号に変換した画像信号を画像処理部5061に提供する。
また、通信部5059は、カメラヘッド5005に対して、カメラヘッド5005の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部5061は、カメラヘッド5005から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理(電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部5061は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。
画像処理部5061は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部5061が複数のGPUによって構成される場合には、画像処理部5061は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
制御部5063は、内視鏡5001による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部5063は、カメラヘッド5005の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部5063は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡5001にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部5063は、画像処理部5061による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部5063は、画像処理部5061によって画像処理が施された画像信号に基づいて、術部の画像を表示装置5041に表示させる。この際、制御部5063は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部5063は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具5021使用時のミスト等を認識することができる。制御部5063は、表示装置5041に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者5067に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド5005及びCCU5039を接続する伝送ケーブル5065は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル5065を用いて有線で通信が行われていたが、カメラヘッド5005とCCU5039との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル5065を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル5065によって妨げられる事態が解消され得る。
以上、本開示に係る技術が適用され得る内視鏡手術システム5000の一例について説明した。なお、ここでは、一例として内視鏡手術システム5000について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
以上、本開示に係る技術が適用され得る内視鏡手術システム5000の構成例について説明した。
<<2.概要>>
続いて、本開示に係る技術の概要について説明する。医療現場において内視鏡が用いられることがある。内視鏡によって撮像が行われる場合、白色光の照射によって得られた通常画像を観察する通常観察が行われる場合がある。あるいは、励起光を照射することにより発生する蛍光により画像(蛍光画像)を得る蛍光観察が行われる場合もある。また、これらの通常画像と蛍光画像とが重ね合わされた合成画像をモニタに表示する技術が開示されている。
このようにして得られる蛍光画像は、表示される場合がある。このとき、カメラヘッドから入力された蛍光画像に対する強調処理の度合いを均一にしてしまうと、領域によっては強調処理の度合いが強くなりすぎてしまい、視認性が向上しない場合がある。一例として、散乱が大きい領域および細い血管に施される強調処理の度合いは強くてよいが、同じ強さの強調処理を他の領域に施してしまうと、強調処理の度合いが強くなりすぎてしまう場合がある。
そこで、本開示の実施形態においては、蛍光画像の視認性を向上させることが可能な技術を主に提案する。また、蛍光画像の視認性を向上させることが、観察対象の診断支援につながることが期待される。
以上、本開示に係る技術の概要について説明した。
<<3.第1の実施形態>>
続いて、本開示の第1の実施形態について説明する。
(CCUの機能構成例)
まず、本開示の第1の実施形態に係るCCUの機能構成例について説明する。図3は、本開示の第1の実施形態に係るCCUの機能構成例を示すブロック図である。図3に示すように、本開示の第1の実施形態に係るCCU5039は、被写体特徴検出部110および強調処理部160を有する。被写体特徴検出部110および強調処理部160は、上記した画像処理部5061に存在していてよい。
上記したように、特殊光観察では、励起光を照射することにより発生する蛍光により画像(蛍光画像)を得る蛍光観察が行われ得る。蛍光観察では、インドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの(いわゆる、ICG蛍光法による撮像)が行われ得る。以下では、蛍光画像の例として、ICG蛍光法によって血管が撮像された第1の画像データ(以下、「ICG画像」とも言う。)が、カメラヘッド5005からCCU5039に入力される場合を主に想定する。
また、上記したように、通常観察では、白色光の照射によって得られた通常画像の観察が行われる。以下では、通常画像の例として、白色光の照射時に血管が撮像された第2の画像データ(以下、「WLI(White Light Image)画像」とも言う。)が、カメラヘッド5005からCCU5039に入力される場合を主に想定する。
カメラヘッド5005からCCU5039にICG画像とWLI画像とが入力される場合、ICG画像を撮像するイメージセンサとWLI画像を撮像するイメージセンサとは別であってもよい。あるいは、光源の種類の切り替えによって白色光を照射するタイミングと励起光を照射するタイミングとを切り替えることによって、ICG画像とWLI画像とを共通のイメージセンサによって撮像してもよい。なお、CCU5039には、ICG画像が入力されればよく、WLI画像は、必要に応じてCCU5039に入力されればよい。
図3に示されるように、被写体特徴検出部110(特徴検出部)は、ICG画像の特徴(以下、「被写体特徴情報」とも言う。)を検出する。そして、強調処理部160は、被写体特徴検出部110によって検出されたICG画像の特徴(被写体特徴情報)に基づいて、ICG画像に対して施される強調処理の度合いを制御する。かかる構成によれば、蛍光画像の一例としてのICG画像の視認性を向上させることが可能となる。
強調処理部160によって強調処理が施された後のICG画像は、制御部5063を介して表示装置5041(表示部)に出力される。このとき、制御部5063は、強調処理が施された後のICG画像が表示装置5041によって表示されるように表示装置5041を制御する。これによって、ユーザは、強調処理が施された後のICG画像を視認することが可能となる。
強調処理部160によって強調処理が施された後のICG画像とともに、強調処理部160によって強調処理が施される前のICG画像も、制御部5063を介して表示装置5041に出力されてもよい。このとき、制御部5063は、強調処理が施される前後のICG画像がともに表示装置5041によって表示されるように表示装置5041を制御してもよい。これによって、ユーザは、強調処理が施される前後のICG画像を見比べることが可能となる。
強調処理部160によって施される強調処理の度合いは、ユーザからの操作に応じて変更可能であってもよい。すなわち、強調処理部160は、ユーザから入力された操作情報に基づいて、強調処理の度合いを制御してもよい。これによって、ICG画像に施される強調処理の度合いを、ユーザの所望する度合いに調整することが可能となる。なお、ユーザは、入力装置5047を介して操作情報を入力可能であってよい。
強調処理部160によって強調処理が施された後のICG画像とともに、WLI画像も、制御部5063を介して表示装置5041に出力されてもよい。このとき、制御部5063は、強調処理が施された後のICG画像とWLI画像とがともに表示装置5041によって表示されるように表示装置5041を制御してもよい。このとき、強調処理が施された後のICG画像とWLI画像とは、離れた位置に表示されてもよいし、強調処理が施された後のICG画像がWLI画像に重畳されて表示されてもよい。
以下では、被写体特徴検出部110および強調処理部160それぞれの機能詳細について順に説明する。
(被写体特徴検出部110)
まず、被写体特徴検出部110の機能詳細について説明する。図4は、被写体特徴検出部110の詳細構成例を示す図である。図4に示されるように、被写体特徴検出部110は、散乱度検出部111、血管径検出部112、血管密集度検出部113、血管深さ検出部114および被写体特徴ベクトル化処理部115を有する。
後に詳細に説明するように、散乱度検出部111は、光の散乱度を検出し、血管径検出部112は、血管径を検出し、血管密集度検出部113は、血管密集度を検出し、血管深さ検出部114は、血管深さを検出する。
本開示の第1の実施形態においては、被写体特徴検出部110が、散乱度検出部111、血管径検出部112、血管密集度検出部113および血管深さ検出部114の全部を有する場合を主に想定する。かかる場合、被写体特徴ベクトル化処理部115は、散乱度、血管径、血管密集度および血管深さを被写体特徴としてベクトル化すればよい。すなわち、被写体特徴は、散乱度、血管径、血管密集度および血管深さを含んでよい。
しかし、被写体特徴検出部110は、被写体特徴検出部110は、散乱度検出部111、血管径検出部112、血管密集度検出部113および血管深さ検出部114の一部のみを有していてもよい。かかる場合には、当該一部を被写体特徴としてベクトル化すればよい。すなわち、被写体特徴は、散乱度、血管径、血管密集度および血管深さの一部を含んでよい。
なお、被写体特徴検出部110が、散乱度検出部111、血管径検出部112、血管密集度検出部113および血管深さ検出部114のうちの一つしか有していない場合には、被写体特徴ベクトル化処理部115によるベクトル化はなされなくてよい。すなわち、被写体特徴は、散乱度、血管径、血管密集度および血管深さのうちの一つを含んでよい。
(散乱度検出部111)
続いて、散乱度検出部111の機能詳細について説明する。図5は、散乱度検出部111の詳細構成例を示す図である。図5に示されるように、散乱度検出部111は、相関値算出部1111および散乱度割り当て部1112を有する。
ここで、ICG画像は、生体内を透過した光の撮像によって得られる。そこで、ICG画像は、WLI画像と比較して、光の散乱によるぼけ度合いが大きくなりやすい。そこで、ICG画像とWLI画像との相関値が小さいほど、ICG画像における光の散乱によるぼけ度合いが大きいと考えられる。したがって、散乱度検出部111は、相関値算出部1111によって、ICG画像とWLI画像との相関値を算出し、散乱度割り当て部1112によって、相関値に基づいて散乱度を決定する(相関値に散乱度を割り当てる)。
より具体的に、相関値算出部1111は、ICG画像とWLI画像との相関値を領域ごと(例えば、画素ごと、またはブロックごと)に算出する。相関値の算出としては、2つのデータ列の相関の度合いを測れる手法であれば、どのような手法が採用されてもよい。例えば、相関値の算出として、正規化相互相関が用いられてもよい。正規化相互相関の例としては、NCC(Normalized Cross-Correlation)、および、ZNCC(Zero-mean Normalized Cross-Correlation)などが挙げられる。
あるいは、相関値算出部1111は、ICG画像およびWLI画像それぞれの周波数特性を測定し、ICG画像およびWLI画像それぞれの周波数特性の違いを相関値として算出してもよい。
散乱度割り当て部1112は、ICG画像とWLI画像との相関値に基づいて散乱度を決定する(相関値に散乱度を割り当てる)。上記したように、ICG画像とWLI画像との相関値が小さいほど、ICG画像における光の散乱によるぼけ度合いが大きいと考えられる。そのため、散乱度割り当て部1112は、相関値の絶対値が小さいほど、大きな散乱度を決定してよい(絶対値の小さい相関値に大きい散乱度を割り当ててよい)。
図6は、相関値と散乱度との対応関係の例を示す図である。図6を参照すると、相関値の絶対値と散乱度との対応テーブル1113が示されている。散乱度は、数値が大きいほど散乱が大きいことを示している。図6に示されるように、散乱度割り当て部1112は、相関値の絶対値が小さいほど、大きい散乱度を決定してよい(絶対値の小さい相関値に大きい散乱度を割り当ててよい)。ただし、相関値と散乱度との対応関係は、図6に示された例に限定されない。
なお、本開示の第1の実施形態においては、被写体特徴が散乱度を含む場合を主に想定する。すなわち、被写体特徴検出部110によって散乱度が検出される場合を主に想定する。しかし、被写体特徴は、散乱度の代わりに相関値自体を含んでもよい。すなわち、被写体特徴検出部110によって散乱度は検出されなくてもよい。かかる場合には、散乱度検出部111は、散乱度割り当て部1112を有していなくてよい。
また、ICG画像とWLI画像との相関値の代わりに、ICG画像とWLI画像との差分値が用いられてもよい。このとき、ICG画像とWLI画像との差分値が大きいほど、ICG画像における光の散乱によるぼけ度合いが大きいと考えられる。そこで、散乱度割り当て部1112は、差分値の絶対値が大きいほど、大きい散乱度を決定してよい(絶対値が大きい差分値に大きい散乱度を割り当ててよい)。
以上、散乱度検出部111の機能詳細について説明した。
(血管径検出部112)
続いて、血管径検出部112の機能詳細について説明する。図7は、血管径検出部112の詳細構成例を示す図である。図7に示されるように、血管径検出部112は、第1の画像処理部1121、第2の画像処理部1122、差分算出部1123および血管径割り当て部1124を有する。
ここで、ICG画像に対して画像処理が異なる強度で施された場合、血管径が細いほど、2つの処理結果それぞれに写る血管の差分が大きくなる傾向がある。かかる傾向について、図8を参照しながら説明する。なお、本開示の第1の実施形態においては、ICG画像に対して画像処理が施される場合について主に想定する。しかし、ICG画像の代わりに、または、ICG画像とともにWLI画像に対して画像処理が施されてもよい。
図8は、ICG画像に対して画像処理が異なる強度で施された場合について説明するための図である。図8に示された例では、ICG画像に対して強調処理(例えば、アンシャープマスク処理など)が施される場合を主に想定する。しかし、ICG画像に対して施される画像処理は、強調処理に限定されない。例えば、ICG画像に対して施される画像処理は、平滑化処理(例えば、ガウシアンフィルタ処理など)であってもよい。すなわち、ICG画像に対して施される画像処理は、血管径が細いほど、2つの処理結果それぞれに写る血管の差分が大きくなるような画像処理であればよい。
図8を参照すると、強調処理が強く施された後のICG画像M11と、強調処理が弱く施された後のICG画像M12とが示されている。強調処理が強く施された後のICG画像M11には、細い血管K11および他の血管(中程度の太さの血管、および、太い血管)が写っており、強調処理が弱く施された後のICG画像M12には、細い血管K11に対応する血管K12および他の血管(中程度の太さの血管、および、太い血管)が写っている。
このとき、強調処理が強く施された後のICG画像M11と強調処理が弱く施された後のICG画像M12との差分画像M13には、細い血管K11のみが写っており、他の血管(中程度の太さの血管、および、太い血管)は写っていない。このような現象は、上記したように、血管径が細いほど、2つの処理結果それぞれに写る血管の差分は大きくなる傾向があることによる。
したがって、第1の画像処理部1121は、第1の強度によってICG画像に対して画像処理を施す。そして、第2の画像処理部1122は、第1の強度とは異なる第2の強度によってICG画像に対して画像処理を施す。差分算出部1123は、第1の画像処理部1121による処理結果と、第2の画像処理部1122による処理結果との差分値を算出する。
血管径割り当て部1124は、ICG画像に対して異なる強度で施される2つの画像処理の処理結果同士の差分値に基づいて血管径を決定する(差分値に血管径を割り当てる)。上記したように、2つの画像処理の処理結果同士の差分値が大きいほど、血管径が細いと考えられる。そのため、血管径割り当て部1124は、2つの画像処理の処理結果同士の差分値が大きいほど、細い血管径を決定してよい(差分値に細い血管径を割り当ててよい)。
図9は、差分値と血管径との対応関係の例を示す図である。図9を参照すると、差分値の絶対値と血管径との対応テーブル1125が示されている。ここで、血管径は、数値が大きいほど小さいことを示している。図9に示されるように、血管径割り当て部1124は、差分値の絶対値が大きいほど、細い血管径(数値の大きな血管径)を決定してよい(絶対値の大きい差分値に細い血管径を割り当ててよい)。ただし、差分値と血管径との対応関係は、図9に示された例に限定されない。
なお、本開示の第1の実施形態においては、被写体特徴が血管径を含む場合を主に想定する。すなわち、被写体特徴検出部110によって血管径が検出される場合を主に想定する。しかし、被写体特徴は、血管径の代わりに差分値自体を含んでもよい。すなわち、被写体特徴検出部110によって血管径は検出されなくてもよい。かかる場合には、血管径検出部112は、血管径割り当て部1124を有していなくてよい。
(血管径検出部112の変形例)
続いて、血管径検出部112の変形例について説明する。血管径検出部112は、他の手法によって血管径を決定してもよい。具体的に、血管径検出部112は、ICG画像から算出されるヘッセ行列の固有値に基づいて、血管径を決定してもよい。以下では、かかる変形例について説明する。なお、かかる手法の詳細としては、参考文献「A. F. Frangi et. al., "Multiscale vessel enhancement
filtering", Proceedings of MICCAI, pp130-137, 1998.」の記載を参照することが可能である。
図10は、ICG画像の例を示す図である。図10を参照すると、血管径検出部112に入力されるICG画像G10が示されている。血管径検出部112は、ICG画像G10のヘッセ行列を画素ごとに算出する。ここで、画素ごとのヘッセ行列は、画素の座標を(x,y)とし、画素値をIとすると、以下の(数式1)に示すように表される。
Figure 2023164610000002
続いて、血管径検出部112は、画素ごとのヘッセ行列の固有値を算出する。固有値は、以下の(数式2)に示すように表される。
Figure 2023164610000003
血管径検出部112は、固有値を用いた構造ベースの指標Rと強度ベースの指標Sとに基づいて、血管抽出を行う。構造ベースの指標Rおよび強度ベースの指標Sは、以下の(数式3)に示すように表される。
Figure 2023164610000004
具体的に、血管径検出部112は、構造ベースの指標Rと強度ベースの指標Sとを用いた血管抽出のための式を用いて血管抽出を行う。血管抽出のための式は、構造ベースの指標Rと強度ベースの指標Sとを用いて、以下の(数式4)に示すように表される。
Figure 2023164610000005
ここで、2つの固有値の差が大きいほど、構造ベースの指標Rは小さくなり、V(s)の値は大きくなるため、画素が血管であると判断されやすくなる。一方、画素値の変化が小さい画素(背景部の画素など)において強度ベースの指標Sは小さくなり、V(s)の値は小さくなるため、画素が血管ではないと判断されやすくなる。
より具体的な例を用いて説明する。上記したように、血管径検出部112は、ICG画像G10のヘッセ行列を画素ごとに算出する。ここで、画素ごとのヘッセ行列Hは、画素の座標を(x,y)とすると、以下の(数式5)に示すように表される。
Figure 2023164610000006
血管径検出部112は、このようにして表される画素ごとのヘッセ行列Hを用いて、上記したように固有値を算出し、血管抽出のための式を用いて血管抽出を行う。より具体的に、血管径検出部112は、ある画素において全スケール中で最大画素値をとるスケール(V(s)が最大となるスケール)において当該画素が血管部であるとし、各スケールにおいて血管を抽出する。これによって、血管径のサイズごとに血管を抽出することが可能となる(血管径の大小を考慮して血管を抽出することが可能となる)。
図11~図15は、各スケールにおけるICG画像の例を示す図である。図11には、スケールが「0.5」である場合におけるICG画像G11が示されている。図12には、スケールが「5」である場合におけるICG画像G12が示されている。図13には、スケールが「10」である場合におけるICG画像G13が示されている。図14には、スケールが「15」である場合におけるICG画像G14が示されている。図15には、スケールが「20」である場合におけるICG画像G15が示されている。図11~図15を参照すると、スケールが大きくなるにつれて太い血管が抽出され得ることが把握される。
以上、血管径検出部112の機能詳細について説明した。
(血管密集度検出部113)
続いて、血管密集度検出部113の機能詳細について説明する。図16は、血管密集度検出部113の詳細構成例を示す図である。図16に示されるように、血管密集度検出部113は、血管密集度割り当て部1131を有する。なお、図16に示されるように、血管密集度検出部113には、血管径検出部112によって検出された血管径に関する情報が入力され得る。
血管密集度割り当て部1131は、ICG画像に基づく血管密集度を決定する。以下では、血管密集度が、ICG画像のある面積に占める血管の面積の割合(以下、「血管の割合」とも言う。)とその面積内に最も多い血管径(以下、「最多の血管径」とも言う。)との組み合わせである場合を主に想定する。しかし、血管密集度はどのように決定されてもよい。例えば、血管密集度は、ICG画像のある面積内に存在する血管の本数(以下、単に「血管の本数」とも言う。)であってもよいし、血管の割合であってもよい。
図17は、血管密集度について説明するための図である。図17を参照すると、細い血管が密に存在する場合と、太い血管が疎に存在する場合と、細い血管が疎に存在する場合が例として示されている。図17に示された例において、太い血管が疎に存在する場合は、細い血管が疎に存在する場合よりも、血管密集度が高いと言える(血管の割合が大きいほど、血管密集度が高いと言える)。また、細い血管が密に存在する場合と細い血管が疎に存在する場合とは、ICG画像のある面積に占める血管(の面積)の割合が同程度であるが、最も多い血管径が細い場合のほうが、最も多い血管径が太い場合よりも、血管密集度が高いと言える。
血管密集度割り当て部1131は、血管の割合と最多の血管径との組み合わせに基づいて血管密集度を決定する(当該組み合わせに血管密集度を割り当てる)。上記したように、血管の割合が大きいほど、血管密集度が高いと考えられる。さらに、最多の血管径が細いほど、血管密集度が高いと考えられる。そのため、血管密集度割り当て部1131は、血管の割合が大きいほど、または、最多の血管径が細いほど、高い血管密集度を決定してよい(血管の割合と最多の血管径との組み合わせに高い血管密集度を割り当ててよい)。
図18は、血管の割合と最多の血管径との組み合わせと血管密集度との対応関係の例を示す図である。図18を参照すると、血管の割合と最多の血管径との組み合わせと血管密集度との対応テーブル1132が示されている。ここで、血管密集度は、数値が大きいほど高いことを示している。図18に示されるように、血管密集度割り当て部1131は、血管の割合が大きいほど、または、最多の血管径が細いほど、高い血管密集度を決定してよい(血管の割合と最多の血管径との組み合わせに高い血管密集度を割り当ててよい)。ただし、血管の割合と最多の血管径との組み合わせと血管密集度との対応関係は、図18に示された例に限定されない。
なお、上記したように、血管密集度は、血管の本数であってもよいし、血管の割合であってもよい。このとき、血管密集度割り当て部1131は、血管の本数が多いほど、高い血管密集度を決定してよい(血管の本数に高い血管密集度を割り当ててよい)。あるいは、血管密集度割り当て部1131は、血管の割合が大きいほど、高い血管密集度を決定してよい(血管の割合に高い血管密集度を割り当ててよい)。
(血管深さ検出部114)
続いて、血管深さ検出部114の機能詳細について説明する。図19は、血管深さ検出部114の詳細構成例を示す図である。図19に示されるように、血管深さ検出部114は、血管検出部1141、相関値算出部1142および血管深さ割り当て部1143を有する。なお、相関値算出部1142は、散乱度検出部111における相関値算出部1111と同様に機能してよい。
ここで、WLI画像に血管が写っておらず、ICG画像に血管が写っている場合などのように、WLI画像よりもICG画像のほうがより鮮明に血管が写っている場合が想定される。かかる場合には、生体内の深い位置に血管が存在すると考えられる。そこで、ICG画像とWLI画像との相関値が小さいほど、血管深さが大きいと考えられる。さらに、血管が検出されなかった場合には、血管が検出された場合よりも、血管深さが大きいと考えられる。
したがって、血管深さ検出部114は、血管検出部1141によって、ICG画像およびWLI画像の少なくともいずれか一方に血管が存在するか否かを検出し、相関値算出部1142によって、ICG画像とWLI画像との相関値を算出し、血管深さ割り当て部1143によって、血管が存在するか否かを示す情報(以下、「血管情報」とも言う。)および相関値に基づいて散乱度を決定する(血管情報および相関値に血管深さを割り当てる)。
より具体的に、血管検出部1141は、ICG画像およびWLI画像の少なくともいずれか一方に(ICG画像に、WLI画像に、または、ICG画像とWLI画像との双方に)血管が存在するか否かを領域ごと(例えば、画素ごと、またはブロックごと)に検出する。このとき、血管検出部1141は、色情報または信号帯域を算出し、色情報または信号帯域に基づいて血管が存在するか否かを検出すればよい。
血管深さ割り当て部1143は、血管情報および相関値に基づいて散乱度を決定する(血管情報および相関値に血管深さを割り当てる)。上記したように、ICG画像とWLI画像との相関値が小さいほど、血管深さが大きいと考えられる。そのため、散乱度割り当て部1112は、相関値の絶対値が小さいほど、大きい血管深さを決定してよい(絶対値の小さい相関値に大きい血管深さを割り当ててよい)。
さらに、上記したように、血管が検出されなかった場合には、血管が検出された場合よりも、血管深さが大きいと考えられる。そのため、血管深さ割り当て部1143は、血管が検出されなかった場合には、血管が検出された場合よりも、大きい血管深さを決定してよい(血管が検出された場合よりも血管が検出されなかった場合に、大きい血管深さを割り当ててよい)。
図20は、血管情報と相関値との組み合わせと血管深さとの対応関係の例を示す図である。図20を参照すると、血管情報と相関値との組み合わせと血管深さとの対応テーブル1144が示されている。血管深さは、数値が大きいほど生体内において血管が深い位置に存在することを示している。図20に示されるように、血管深さ割り当て部1143は、血管が検出されなかった場合には血管が検出された場合よりも、大きい血管深さを決定してよく、相関値の絶対値が小さいほど、大きい血管深さを決定してよい。ただし、血管情報と相関値との組み合わせと血管深さとの対応関係は、図20に示された例に限定されない。
また、ICG画像とWLI画像との相関値の代わりに、ICG画像とWLI画像との差分値が用いられてもよい。このとき、ICG画像とWLI画像との差分値が大きいほど、血管深さが大きいと考えられる。そこで、血管深さ割り当て部1143は、差分値の絶対値が大きいほど、大きい血管深さを決定してよい(絶対値が大きい差分値に大きい血管深さを割り当ててよい)。
以上、血管深さ検出部114の機能詳細について説明した。
(強調処理部160)
続いて、強調処理部160の機能詳細について説明する。ここで、強調処理の度合いがICG画像全体で均一である場合について説明する。図21は、強調処理の度合いがICG画像全体で均一である場合について説明するための図である。図21を参照すると、強調処理が施される前のICG画像M21と、弱い強調処理が施された後のICG画像M22と、強い強調処理が施された後のICG画像M23とが示されている。
ここで、強調処理が施される前のICG画像M21においては、細い血管K21が細いままであり視認しづらくなってしまっている。一方、弱い強調処理が施された後のICG画像M22においては、細い血管K22が少し太くなっているため、細い血管K22の視認性が少し改善されている。また、強い強調処理が施された後のICG画像M23においては、細い血管K23がさらに太くなっているため、細い血管K23の視認性が大きく改善されている。しかし、強調処理の度合いが強くなるにつれて、画像全体のノイズも増えてしまっていることが把握される。
そこで、強調処理部160は、被写体特徴検出部110によって検出された被写体特徴に応じて、強調処理の度合いを制御する。具体的に、強調処理部160は、被写体特徴検出部110によって検出された被写体の特徴量が大きいほど、強調処理の度合いを強くすればよい。これによって、強く強調されるべき領域には、強く強調処理が施され、過強調を防ぐべき領域には、弱く強調処理が施されてノイズが低減されるため、視認性の向上が向上される。
具体的に、強調処理部160は、散乱度検出部111によって散乱度が検出された場合、散乱度が大きいほど、強調処理の度合いを強めてよい。また、強調処理部160は、散乱度検出部111によって相関値が検出された場合、相関値が低いほど、強調処理の度合いを強めてよい。これによって、蛍光の散乱が大きい領域に対して施される強調処理の度合いは強くなり、他の領域に対して施される強調処理の度合いは弱くなるため、視認性が向上される。
また、強調処理部160は、血管径検出部112によって血管径が検出された場合、血管径が小さいほど、強調処理の度合いを強めてよい。また、強調処理部160は、血管径検出部112によってICG画像とWLI画像との差分値が検出された場合、差分値の絶対値が小さいほど、強調処理の度合いを強めてよい。これによって、血管径の細い領域に対して施される強調処理の度合いは強くなり、他の領域に対して施される強調処理の度合いは弱くなるため、視認性が向上される。
図22は、血管径に応じて異なる度合いの強調処理が施された後のICG画像の例を示す図である。図22を参照すると、血管径に応じて異なる度合いの強調処理が施されたICG画像M31が示されている。径が細い血管K23が存在する領域R1には、強い度合いの強調処理が施されている。一方、径が太い血管K32が存在する領域R2には、弱い度合いの強調処理が施されている。かかる強調処理によって、径が細い血管K23および径が太い血管K32の視認性が向上される。
図21に戻って説明を続ける。強調処理部160は、血管密集度検出部113によって血管密集度が検出された場合、血管密集度が高いほど、強調処理の度合いを強めてよい。これによって、血管密集度が高い領域に対して施される強調処理の度合いは強くなり、他の領域に対して施される強調処理の度合いは弱くなるため、視認性が向上される。
また、強調処理部160は、血管深さ検出部114によって血管深さが検出された場合、血管深さが大きいほど、強調処理の度合いを強めてよい。これによって、血管深さが大きい領域に対して施される強調処理の度合いは強くなり、他の領域に対して施される強調処理の度合いは弱くなるため、視認性が向上される。
なお、本開示の第1の実施形態においては、ICG画像に対して強調処理が施される場合を主に想定したが、強調処理の代わりにノイズ除去処理がICG画像に施されてもよい。
かかる場合、強調処理部160は、被写体特徴検出部110によって検出された被写体特徴に応じて、ノイズ除去の度合いを制御する。具体的に、強調処理部160は、被写体特徴検出部110によって検出された被写体の特徴量が大きいほど、ノイズ除去処理の度合いを強くすればよい。これによって、強くノイズ除去されるべき領域(より視認しづらい領域)には、強くノイズ除去処理が施され、その他の領域には、弱くノイズ除去処理が施されるため、視認性の向上が向上される。
具体的に、散乱度検出部111によって散乱度が検出された場合、散乱度が大きいほど、ノイズ除去処理の度合いは強められてよい。また、散乱度検出部111によって相関値が検出された場合、相関値が低いほど、ノイズ除去処理の度合いは強められてよい。また、血管径検出部112によって血管径が検出された場合、血管径が小さいほど、ノイズ除去処理の度合いは強められてよい。また、血管径検出部112によってICG画像とWLI画像との差分値が検出された場合、差分値の絶対値が小さいほど、ノイズ除去処理の度合いは強められてよい。
また、血管密集度検出部113によって血管密集度が検出された場合、血管密集度が高いほど、ノイズ除去処理の度合いは強められてよい。また、血管深さ検出部114によって血管深さが検出された場合、血管深さが大きいほど、強調処理の度合いは強められてよい。
なお、強調処理部160によって施される強調処理の具体的な手法は、特に限定されない。例えば、ICG画像に対して強調処理が施される前の画素値をxとし、xに対する強調処理に利用される周辺の画素値(画素値xを含む)をx~xとし、強調度合いをpとすると、ICG画像に対して強調処理が施された後の画素値yは、以下の(数式6)に示すように表される。
Figure 2023164610000007
以上、本開示の第1の実施形態について説明した。
<<4.第2の実施形態>>
続いて、本開示の第2の実施形態について説明する。
(CCUの機能構成例)
まず、本開示の第2の実施形態に係るCCUの機能構成例について説明する。図23は、本開示の第2の実施形態に係るCCUの機能構成例を示すブロック図である。図23に示すように、本開示の第2の実施形態に係るCCU5039は、本開示の第1の実施形態と同様に、被写体特徴検出部110および強調処理部160を有する。その他、本開示の第2の実施形態に係るCCU5039は、クラス分類部120、係数選択部130、係数DB(データベース)140を有する。
係数DB140には、過去のICG画像を用いた機械学習によって生成された、被写体特徴と強調処理の係数(以下、単に「係数」とも言う。)との対応付け(以下、「係数セット」とも言う。)が登録されている。より具体的には、過去のICG画像から検出された被写体特徴と係数との複数の組み合わせに対する学習処理によって、被写体特徴と係数との対応付けが構築される。このように、被写体特徴のクラスごとに係数があらかじめ用意されている。
クラス分類部120は、被写体特徴検出部110によって検出された被写体特徴の一部または全部が、どの係数セットの特徴にマッチするかを判定することによって、被写体特徴が属するクラスを判定する。係数選択部130は、係数DB140からクラスに対応する係数を選択する。なお、係数セットに含まれる特徴の種類としては、様々な場合が想定される。
具体的に、第1の例として、被写体特徴検出部110によって検出された被写体特徴に対応する係数が係数DB140に登録されている場合が想定される。第2の例として、被写体特徴検出部110によって検出された被写体特徴の一部(第1の特徴)に対応する係数は係数DB140に登録されているが、被写体特徴検出部110によって検出された被写体特徴の残り(第1の特徴とは異なる第2の特徴)に対応する係数は係数DB140に登録されていない場合が想定される。第3の例として、単一の係数しか係数DB140に登録されていない場合が想定される。
図24は、被写体特徴に対応する係数が係数DB140に登録されている場合(第1の例)を示す図である。図24に示されるように、係数セットT10には、被写体特徴検出部110によって検出された被写体特徴(散乱度、血管径、・・・)と係数とが対応付けられた係数セットT11~T14が含まれている。
このように、被写体特徴検出部110によって検出された被写体特徴に対応する係数が係数DB140に登録されている場合、被写体特徴の全部に対する係数が係数DB140から取得される。そのため、強調処理部160は、係数に応じて強調処理を制御すればよい。すなわち、強調処理部160による強調処理は、被写体特徴検出部110によって検出された被写体特徴によらず単一であってよい(S11)。
図25は、被写体特徴の一部(第1の特徴)に対応する係数は係数DB140に登録されているが、被写体特徴の残り(第2の特徴)に対応する係数は係数DB140に登録されていない場合(第2の例)を示す図である。図25に示されるように、係数セットT20には、被写体特徴検出部110によって検出された被写体特徴の一部(散乱度)と係数とが対応付けられた係数セットT21~T22が含まれている。
このように、被写体特徴検出部110によって検出された被写体特徴の一部(第1の特徴)に対応する係数が係数DB140に登録されている場合、かつ、被写体特徴の残り(第2の特徴)に対応する係数が係数DB140に登録されていない場合、被写体特徴の一部に対する係数だけが係数DB140から取得される。そのため、強調処理部160は、係数に応じて強調処理を制御するとともに、被写体特徴検出部110によって検出された被写体特徴の残り(第2の特徴)に基づいて、強調処理の度合いを制御すればよい。すなわち、強調処理部160による強調処理の度合いは、他の特徴(散乱度以外の特徴)に基づいて制御されてよい(S12)。
図26は、単一の係数しか係数DB140に登録されていない場合(第3の例)を示す図である。図26に示されるように、係数セットT30には、1種類の係数を含む係数セットT31が含まれている。このように、単一の係数が係数DB140に登録されている場合、単一の係数が係数DB140から取得される。そのため、強調処理部160は、単一の係数に応じて強調処理を制御するとともに、被写体特徴検出部110によって検出された被写体特徴に基づいて、強調処理の度合いを制御すればよい。すなわち、強調処理部160による強調処理の度合いは、被写体特徴の全部に基づいて制御されてよい(S13)。
なお、本開示の第2の実施形態に係る強調処理部160によって施される強調処理の具体的な手法も、特に限定されない。例えば、本開示の第1の実施形態と同様に、ICG画像に対して強調処理が施される前の画素値をxとし、xに対する強調処理に利用される周辺の画素値(画素値xを含む)をx~xとし、強調度合いをpとし、本開示の第2の実施形態において、係数aとすると、ICG画像に対して強調処理が施された後の画素値yは、以下の(数式7)に示すように表される。
Figure 2023164610000008
以上、本開示の第2の実施形態について説明した。
<5.むすび>
以上説明したように、本開示の実施形態によれば、ICG蛍光法によって血管が撮像された第1の画像データの例としてのICG画像の特徴を検出する被写体特徴検出部110と、被写体特徴検出部110によって検出された特徴に基づいて、ICG画像に対して施される強調処理の度合いを制御する強調処理部160と、を備える、画像処理装置の例としてのCCU5039が提供される。かかる構成によれば、蛍光画像の視認性が向上される。また、蛍光画像の視認性の向上によって観察対象の診断が支援され得る。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、コンピュータに内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上記した制御部5063が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ICG蛍光法によって血管が撮像された第1の画像データの特徴を検出する特徴検出部と、
前記特徴に基づいて、前記第1の画像データに対して施される強調処理の度合いを制御する強調処理部と、
を備える、画像処理装置。
(2)
前記特徴は、前記第1の画像データと白色光の照射時に前記血管が撮像された第2の画像データとの相関値、または、前記相関値に基づいて決定される散乱度を含む、
前記(1)に記載の画像処理装置。
(3)
前記強調処理部は、前記相関値が低いほど、または、前記散乱度が大きいほど、前記強調処理の度合いを強める、
前記(2)に記載の画像処理装置。
(4)
前記特徴は、前記第1の画像データに対して異なる強度で施される2つの画像処理の処理結果同士の差分値、または、前記差分値に基づいて決定される血管径を含む、
前記(1)~(3)のいずれか一項に記載の画像処理装置。
(5)
前記強調処理部は、前記差分値の絶対値が小さいほど、または、前記血管径が小さいほど、前記強調処理の度合いを強める、
前記(4)に記載の画像処理装置。
(6)
前記特徴は、前記第1の画像データから算出されるヘッセ行列の固有値に基づいて決定される血管径を含む、
前記(1)~(3)のいずれか一項に記載の画像処理装置。
(7)
前記強調処理部は、前記血管径が小さいほど、前記強調処理の度合いを強める、
前記(6)に記載の画像処理装置。
(8)
前記特徴は、前記第1の画像データに基づいて決定される血管の密集度を含む、
前記(1)~(7)のいずれか一項に記載の画像処理装置。
(9)
前記強調処理部は、前記血管の密集度が高いほど、前記強調処理の度合いを強める、
前記(8)に記載の画像処理装置。
(10)
前記特徴は、前記第1の画像データと白色光の照射時に前記血管が撮像された第2の画像データとの相関値と、前記第1の画像データおよび前記2の画像データの少なくともいずれか一方に血管が存在するか否かを示す情報とに応じて決定される血管の深さを含む、
前記(1)~(9)のいずれか一項に記載の画像処理装置。
(11)
前記強調処理部は、前記血管の深さが大きいほど、前記強調処理の度合いを強める、
前記(10)に記載の画像処理装置。
(12)
前記強調処理部は、前記特徴に対応する係数が登録されている場合、前記係数に応じて前記強調処理を制御する、
前記(1)~(11)のいずれか一項に記載の画像処理装置。
(13)
前記強調処理部は、第1の特徴に対応する係数が登録されている場合、かつ、前記第1の特徴とは異なる第2の特徴に対応する係数が登録されていない場合、前記係数に応じて前記強調処理を制御するとともに、前記第2の特徴に基づいて、前記強調処理の度合いを制御する、
前記(1)~(11)のいずれか一項に記載の画像処理装置。
(14)
前記強調処理部は、単一の係数が登録されている場合、前記係数に応じて前記強調処理を制御するとともに、前記特徴に基づいて、前記強調処理の度合いを制御する、
前記(1)~(11)のいずれか一項に記載の画像処理装置。
(15)
前記係数は、機械学習によってあらかじめ生成される、
前記(12)~(14)のいずれか一項に記載の画像処理装置。
(16)
前記画像処理装置は、前記強調処理が施された後の前記第1の画像データが表示されるように表示部を制御する制御部を備える、
前記(1)~(15)のいずれか一項に記載の画像処理装置。
(17)
前記制御部は、前記強調処理が施される前後の前記第1の画像データがともに表示されるように前記表示部を制御する、
前記(16)に記載の画像処理装置。
(18)
前記強調処理部は、ユーザから入力された操作情報に基づいて、前記強調処理の度合いを制御する、
前記(1)~(17)のいずれか一項に記載の画像処理装置。
(19)
ICG蛍光法によって血管が撮像された第1の画像データの特徴を検出することと、
プロセッサにより、前記特徴に基づいて、前記第1の画像データに対して施される強調処理の度合いを制御することと、
を含む、画像処理方法。
(20)
ICG蛍光法によって血管を撮像して第1の画像データを得る撮像部と、
前記第1の画像データの特徴を検出する特徴検出部と、
前記特徴に基づいて、前記第1の画像データに対して施される強調処理の度合いを制御する強調処理部と、
を備える、画像処理システム。
110 被写体特徴検出部
111 散乱度検出部
112 血管径検出部
113 血管密集度検出部
114 血管深さ検出部
115 被写体特徴ベクトル化処理部
1111 相関値算出部
1112 散乱度割り当て部
1121 第1の画像処理部
1122 第2の画像処理部
1123 差分算出部
1124 血管径割り当て部
1141 血管検出部
1142 相関値算出部
1143 血管深さ割り当て部
120 クラス分類部
130 係数選択部
140 係数DB
160 強調処理部

Claims (11)

  1. ICG蛍光法によって血管が撮像された第1の画像データの特徴を示す複数の指標を検出する特徴検出部と、
    前記複数の指標を統合した結果に基づいて、前記第1の画像データに対して施される強調処理の度合いを制御する強調処理部と、
    を備える、画像処理装置。
  2. 前記複数の指標は、前記第1の画像データと白色光の照射時に前記血管が撮像された第2の画像データとの相関値、または、前記相関値に基づいて決定される散乱度を少なくとも含む、
    請求項1に記載の画像処理装置。
  3. 前記複数の指標は、前記第1の画像データに対して異なる強度で施される2つの画像処理の処理結果同士の差分値、または、前記差分値に基づいて決定される血管径を少なくとも含む、
    請求項1に記載の画像処理装置。
  4. 前記複数の指標は、前記第1の画像データから算出されるヘッセ行列の固有値に基づいて決定される血管径を少なくとも含む、
    請求項1に記載の画像処理装置。
  5. 前記複数の指標は、前記第1の画像データに基づいて決定される血管の密集度を少なくとも含む、
    請求項1に記載の画像処理装置。
  6. 前記複数の指標は、前記第1の画像データと白色光の照射時に前記血管が撮像された第2の画像データとの相関値と、前記第1の画像データおよび前記2の画像データの少なくともいずれか一方に血管が存在するか否かを示す情報とに応じて決定される血管の深さを少なくとも含む、
    請求項1に記載の画像処理装置。
  7. 前記強調処理部は、前記複数の指標に対応する係数が登録されている場合、前記係数に応じて前記強調処理を制御する、
    請求項1に記載の画像処理装置。
  8. 前記強調処理部は、第1の指標に対応する係数が登録されている場合、かつ、前記第1の指標とは異なる第2の指標に対応する係数が登録されていない場合、前記係数に応じて前記強調処理を制御するとともに、前記第2の指標に基づいて、前記強調処理の度合いを制御する、
    請求項1に記載の画像処理装置。
  9. 前記強調処理部は、単一の係数が登録されている場合、前記係数に応じて前記強調処理を制御するとともに、前記複数の指標に基づいて、前記強調処理の度合いを制御する、
    請求項1に記載の画像処理装置。
  10. ICG蛍光法によって血管が撮像された第1の画像データの特徴を示す複数の指標を検出することと、
    プロセッサにより、前記複数の指標を統合した結果に基づいて、前記第1の画像データに対して施される強調処理の度合いを制御することと、
    を含む、画像処理方法。
  11. ICG蛍光法によって血管を撮像して第1の画像データを得る撮像部と、
    前記第1の画像データの特徴を示す複数の指標を検出する特徴検出部と、
    前記複数の指標を統合した結果に基づいて、前記第1の画像データに対して施される強調処理の度合いを制御する強調処理部と、
    を備える、画像処理システム。
JP2023151636A 2017-11-13 2023-09-19 画像処理装置、画像処理方法および画像処理システム Pending JP2023164610A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017218465 2017-11-13
JP2017218465 2017-11-13
JP2019551890A JPWO2019092950A1 (ja) 2017-11-13 2018-08-27 画像処理装置、画像処理方法および画像処理システム
PCT/JP2018/031471 WO2019092950A1 (ja) 2017-11-13 2018-08-27 画像処理装置、画像処理方法および画像処理システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019551890A Division JPWO2019092950A1 (ja) 2017-11-13 2018-08-27 画像処理装置、画像処理方法および画像処理システム

Publications (1)

Publication Number Publication Date
JP2023164610A true JP2023164610A (ja) 2023-11-10

Family

ID=66439141

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019551890A Pending JPWO2019092950A1 (ja) 2017-11-13 2018-08-27 画像処理装置、画像処理方法および画像処理システム
JP2023151636A Pending JP2023164610A (ja) 2017-11-13 2023-09-19 画像処理装置、画像処理方法および画像処理システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019551890A Pending JPWO2019092950A1 (ja) 2017-11-13 2018-08-27 画像処理装置、画像処理方法および画像処理システム

Country Status (3)

Country Link
US (1) US20210169305A1 (ja)
JP (2) JPWO2019092950A1 (ja)
WO (1) WO2019092950A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3705018A4 (en) * 2017-11-01 2020-10-14 Sony Corporation SURGICAL ARM SYSTEM AND SURGICAL ARM CONTROL SYSTEM
CN114364298A (zh) * 2019-09-05 2022-04-15 奥林巴斯株式会社 内窥镜系统、处理系统、内窥镜系统的工作方法以及图像处理程序
EP4254039A1 (en) * 2020-11-24 2023-10-04 FUJIFILM Corporation Medical device and method for operating same
US20240049944A1 (en) * 2020-12-29 2024-02-15 Anaut Inc. Recording Medium, Method for Generating Learning Model, and Surgery Support Device

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6483538B2 (en) * 1998-11-05 2002-11-19 Tektronix, Inc. High precision sub-pixel spatial alignment of digital images
US6421454B1 (en) * 1999-05-27 2002-07-16 Litton Systems, Inc. Optical correlator assisted detection of calcifications for breast biopsy
JP5376206B2 (ja) * 2007-12-05 2013-12-25 富士フイルム株式会社 位置特定システムおよびプログラム
JP5267143B2 (ja) * 2008-03-27 2013-08-21 富士フイルム株式会社 撮像装置およびプログラム
JP5250342B2 (ja) * 2008-08-26 2013-07-31 富士フイルム株式会社 画像処理装置およびプログラム
JP5385176B2 (ja) * 2009-09-28 2014-01-08 富士フイルム株式会社 画像表示装置の作動方法および画像表示装置
JP5395725B2 (ja) * 2010-04-05 2014-01-22 富士フイルム株式会社 電子内視鏡システム
JP5501210B2 (ja) * 2010-12-16 2014-05-21 富士フイルム株式会社 画像処理装置
WO2013042395A1 (ja) * 2011-09-20 2013-03-28 オリンパスメディカルシステムズ株式会社 画像処理装置及び内視鏡システム
JP6533358B2 (ja) * 2013-08-06 2019-06-19 三菱電機エンジニアリング株式会社 撮像装置
JP2015066311A (ja) * 2013-09-30 2015-04-13 国立大学法人徳島大学 画像処理装置、画像処理方法、画像処理装置の制御プログラム、記録媒体
JP6362420B2 (ja) * 2014-05-26 2018-07-25 キヤノン株式会社 被検体情報取得装置、被検体情報取得方法、および、プログラム
JP6336949B2 (ja) * 2015-01-29 2018-06-06 富士フイルム株式会社 画像処理装置及び画像処理方法、並びに内視鏡システム
JP6408400B2 (ja) * 2015-02-27 2018-10-17 富士フイルム株式会社 内視鏡システム、内視鏡プロセッサ装置、及び、内視鏡システムの作動方法
JP6779025B2 (ja) * 2016-04-01 2020-11-04 富士フイルム株式会社 画像処理装置及びその作動方法並びに内視鏡用プロセッサ装置及びその作動方法
JP6759032B2 (ja) * 2016-09-27 2020-09-23 キヤノン株式会社 光音響装置、情報処理方法、及びプログラム
JP2018050775A (ja) * 2016-09-27 2018-04-05 キヤノン株式会社 光音響装置、情報処理方法、及びプログラム
GB2574428B (en) * 2018-06-06 2020-06-10 Visidon Oy Image registering method and apparatus

Also Published As

Publication number Publication date
US20210169305A1 (en) 2021-06-10
JPWO2019092950A1 (ja) 2020-11-12
WO2019092950A1 (ja) 2019-05-16

Similar Documents

Publication Publication Date Title
US11221296B2 (en) Imaging system
JP7095679B2 (ja) 情報処理装置、支援システム及び情報処理方法
JP2023164610A (ja) 画像処理装置、画像処理方法および画像処理システム
US10904437B2 (en) Control apparatus and control method
US11463629B2 (en) Medical system, medical apparatus, and control method
JP2018108173A (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2019155931A1 (ja) 手術システム、画像処理装置及び画像処理方法
JP2018075218A (ja) 医療用支持アーム及び医療用システム
JP2020074926A (ja) 医療用観察システム、信号処理装置及び医療用観察方法
JPWO2018221041A1 (ja) 医療用観察システム及び医療用観察装置
CN110913787A (zh) 手术支持系统、信息处理方法和信息处理装置
US11699215B2 (en) Imaging device, method and program for producing images of a scene having an extended depth of field with good contrast
WO2020008920A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
JP7092111B2 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
WO2018173605A1 (ja) 手術用制御装置、制御方法、手術システム、およびプログラム
WO2020203164A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2020116067A1 (ja) 医療システム、情報処理装置及び情報処理方法
JP7160042B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
JP2023103499A (ja) 医用画像処理システム、手術画像制御装置、及び、手術画像制御方法
JPWO2020045014A1 (ja) 医療システム、情報処理装置及び情報処理方法
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2019154886A (ja) 医療用表示制御装置、および表示制御方法
WO2021044900A1 (ja) 施術システム、画像処理装置、画像処理方法、及びプログラム
WO2022019057A1 (ja) 医療用アーム制御システム、医療用アーム制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230926