JP2014198144A - 画像処理装置、画像処理方法、情報処理プログラム、蛍光観察システム、および蛍光ナビゲーション・サージェリー・システム - Google Patents
画像処理装置、画像処理方法、情報処理プログラム、蛍光観察システム、および蛍光ナビゲーション・サージェリー・システム Download PDFInfo
- Publication number
- JP2014198144A JP2014198144A JP2013074785A JP2013074785A JP2014198144A JP 2014198144 A JP2014198144 A JP 2014198144A JP 2013074785 A JP2013074785 A JP 2013074785A JP 2013074785 A JP2013074785 A JP 2013074785A JP 2014198144 A JP2014198144 A JP 2014198144A
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- fluorescence
- observed
- fluorescent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Endoscopes (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Closed-Circuit Television Systems (AREA)
- Microscoopes, Condenser (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
Abstract
【課題】適切に蛍光画像を撮像・表示・記録できる画像処理装置、画像処理方法、情報処理プログラム、蛍光観察システム、および蛍光ナビゲーション・サージェリー・システムを提供する。【解決手段】生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該観察すべき対象領域に励起光を照射して得られる蛍光像を、第1の解像度により撮像した画像を当該観察すべき対象領域の蛍光画像として、記録媒体に保存する保存部と、前記蛍光画像の少なくとも一部の領域をユーザに選択させ、前記選択された領域をROI領域の蛍光画像として切り出す切り出し部と、前記ROI領域の蛍光画像を前記第1の解像度より低い第2の解像度により表示部に表示させる表示制御部とを具備する。【選択図】図1
Description
本技術は、外科手術として蛍光ナビゲーション・サージェリーを行うための蛍光ナビゲーション・サージェリー・システム、および当該システムに用いられる画像処理装置、画像処理方法、情報処理プログラム、および蛍光観察システムに関する。
従来より、乳がんの切除手術において、がんの転移が疑われるセンチネルリンパ節の廓清が行われてきた。目視による同定が容易ではないセンチネルリンパ節の廓清に際して、蛍光試薬であるインドシアニングリーン(ICG)を用いたセンチネルリンパ節の同定が行われている。
ICGを用いたセンチネルリンパ節の同定方法の1つとして、近赤外波長帯域の励起光を観察領域に照射し、ICGから発せられた、同じく近赤外波長帯域の蛍光を撮像して観察する方法がある(例えば、特許文献1参照)。
センチネルリンパ節の同定を行うためのICG試薬の蛍光観察用のシステムとして製品化されたものに、pde-neo(浜松ホトニクス株式会社、特許文献2参照)、HyperEye Medical System(瑞穂医科工業株式会社)、mini-FLARE(Beth Israel病院、非特許文献1参照)などがある。
HyperEye Medical Systemおよびmini-FLAREでは、内蔵されている可視光観察ビデオカメラにより撮影された可視光観察画像に蛍光観察画像を重畳させて表示を行うなどの機能がある。画像の重畳を適切に行うために、例えば、mini-FLAREシステムでは、可視光画像観察用ビデオカメラと蛍光画像観察用ビデオカメラとで撮像に用いるズームレンズを共有することにより、両方の画像の視野が一致するように構成されており、2つのビデオカメラには同じ画素数の撮像素子が用いられている。
また、近年の癌遺伝子研究および試薬研究の進展により、癌細胞を選択的に染色することが可能となってきている(例えば、小林久隆氏の研究、非特許文献2参照)。例えば、スプレーするだけでがん細胞が光り出す蛍光試薬が開発されている(非特許文献3参照)。
また、従来から、医療現場において、手術時にその手術の様子をビデオカメラで撮影して記録を残すことにより、医療過誤訴訟に備える仕組みが考えられてきている。そして、手技を撮影するために術野の高解像度画像(High Definition(HD)解像度)の取得と、全体の様子を撮影するために手術台とその周辺の画像(Standard Definition(SD)またはHD解像度)の取得が行われている(例えば特許文献3参照)。
Annals of Surgical Oncology 2009 October; 16(10): 2943?2952、インターネット<URL:http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2772055/>
Nature Medicine 15, 104 - 109 (2009)
プレスリリース"スプレーするだけでがん細胞が光り出す蛍光試薬を開発"、[online]、平成23年11月24日、科学技術振興機構、[平成25年3月18日検索]、インターネット<URL:http://www.jst.go.jp/pr/announce/20111124-2/index.html>
上記のがん細胞を選択的に染色する試薬を用いてがん細胞を検出する場合、術者が施術中に注目する領域、すなわち、メスなどを用いて切除を行っている領域だけでなく、術者が注目する領域以外の領域を含んだ術野全体にわたって広く観察することが重要である。その理由は、がん細胞の取り残しが無いか否かを手術時や手術後に確認する為である。
しかし、pde-neo、HyperEye Medical System、mini-FLAREなどの上記システムでは、撮影を行っているビデオカメラのズームレンズを用いて術者の視野の大きさを調整することを前提にしている。すなわち、手術時に撮影される蛍光観察画像は、術野のうち術者の興味がある領域のみであった。そのため、これらのシステムにより撮影された蛍光観察画像は、がん細胞の取り残しが無いことを証明するために用いることは出来なかった。
その他、これまでのシステムでは、蛍光画像が適切に撮影・表示・記録できているとは言えなかった。
以上のような事情に鑑み、本技術の目的は、適切に蛍光画像を撮像・表示・記録できる画像処理装置、画像処理方法、情報処理プログラム、蛍光観察システム、および蛍光ナビゲーション・サージェリー・システムを提供することにある。
上記目的を達成するため、本技術の一形態に係る画像処理装置は、生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該観察すべき対象領域に励起光を照射して得られる蛍光像を、第1の解像度により撮像した画像を当該観察すべき対象領域の蛍光画像として、記録媒体に保存する保存部と、前記蛍光画像の少なくとも一部の領域をユーザに選択させ、前記選択された領域をROI領域の蛍光画像として切り出す切り出し部と、前記ROI領域の蛍光画像を前記第1の解像度より低い第2の解像度により表示部に表示させる表示制御部とを具備する。
本技術では、観察すべき対象領域全体の蛍光画像を第1の解像度で記録に残した上、施術のために、ユーザが選択したROI領域の蛍光画像を第2の解像度で表示部に表示させる。それ故、記録と観察という2つの目的に対応でき、適切に蛍光画像を撮像・表示・記録できる。
上記目的を達成するため、本技術の一形態に係る画像処理装置では、前記保存部は、前記観察すべき対象領域の蛍光画像をRAW画像データのまま保存する構成でもよい。
上記目的を達成するため、本技術の一形態に係る画像処理方法は、生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該観察すべき対象領域に励起光を照射して得られる蛍光像を、第1の解像度により撮像した画像を当該観察すべき対象領域の蛍光画像として、記録媒体に保存し、前記蛍光画像の少なくとも一部の領域をユーザに選択させ、前記選択された領域をROI領域の蛍光画像として切り出し、前記ROI領域の蛍光画像を前記第1の解像度より低い第2の解像度により表示部に表示させる。
上記目的を達成するため、本技術の一形態に係る情報処理プログラムは、生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該観察すべき対象領域に励起光を照射して得られる蛍光像を、第1の解像度により撮像した画像を当該観察すべき対象領域の蛍光画像として、記録媒体に保存する保存部、前記蛍光画像の少なくとも一部の領域をユーザに選択させ、前記選択された領域をROI領域の蛍光画像として切り出す切り出し部、および前記ROI領域の蛍光画像を前記第1の解像度より低い第2の解像度により表示部に表示させる表示制御部としてコンピュータを機能させる。
上記目的を達成するため、本技術の一形態に係る蛍光観察システムは、生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該対象領域に励起光を照射する励起光源と、前記観察すべき対象領域から発せられた蛍光像を、前記観察すべき対象領域の蛍光画像として、第1の解像度により撮像する撮像部と、前記観察すべき対象領域の蛍光画像を記録媒体に保存する保存部と、前記蛍光画像の少なくとも一部の領域をユーザに選択させ、前記選択された領域をROI領域の蛍光画像として切り出す切り出し部と、前記ROI領域の蛍光画像を前記第1の解像度より低い第2の解像度により表示する表示部とを具備する。
上記目的を達成するため、本技術の一形態に係る蛍光ナビゲーション・サージェリー・システムは、生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該対象領域に励起光を照射する励起光源と、前記観察すべき対象領域から発せられた蛍光像を、前記観察すべき対象領域の蛍光画像として、第1の解像度により撮像する蛍光撮像部と、前記観察すべき対象領域の蛍光画像を記録媒体に保存する保存部と、前記蛍光画像の少なくとも一部の領域をユーザに選択させ、前記選択された領域をROI領域の蛍光画像として切り出す切り出し部と、前記ROI領域の蛍光画像を前記第1の解像度より低い第2の解像度により表示する蛍光画像表示部と、前記観察すべき対象領域の少なくとも一部の領域をユーザに選択させ、選択された領域を、可視光画像として撮像する可視光撮像部と、前記可視光画像を表示する可視光画像表示部とを具備する。
上記目的を達成するため、本技術の一形態に係る蛍光ナビゲーション・サージェリー・システムは、生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該対象領域に励起光を照射する励起光源と、前記観察すべき対象領域から発せられた蛍光像を、前記観察すべき対象領域の蛍光画像として、第1の解像度により撮像する蛍光撮像部と、前記観察すべき対象領域の蛍光画像を記録媒体に保存する保存部と、ユーザが入力した位置選択情報に基づき、前記観察すべき対象領域の少なくとも一部の領域をROI領域として選択し、当該ROI領域の可視光画像を撮像する可視光撮像部と、前記位置選択情報に基づき、前記観察すべき対象領域の蛍光画像から、前記ROI領域の蛍光画像を切り出す切り出し部と、前記可視光画像と前記切り出した蛍光画像との位置を合わせ重畳して重畳画像を生成する重畳部と、前記重畳画像を前記第1の解像度より低い第2の解像度により表示する重畳画像表示部とを具備する。
上記目的を達成するため、本技術の一形態に係る蛍光ナビゲーション・サージェリー・システムは、生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該対象領域に励起光を照射する励起光源と、前記観察すべき対象領域から発せられた蛍光像を、前記観察すべき対象領域の蛍光画像として、第1の解像度により撮像する蛍光撮像部と、前記観察すべき対象領域の蛍光画像を記録媒体に保存する保存部と、前記観察すべき対象領域の少なくとも一部の領域をユーザに選択させ、前記選択された領域をROI領域として、当該ROI領域の可視光画像を撮像する可視光撮像部と、前記可視光画像に含まれるエッジ情報に基づき、前記観察すべき対象領域の蛍光画像から、前記ROI領域の蛍光画像を切り出す切り出し部と、前記可視光画像と前記切り出した蛍光画像との位置を合わせ重畳して重畳画像を生成する重畳部と、前記重畳画像を前記第1の解像度より低い第2の解像度により表示する重畳画像表示部とを具備する。
以上のように、本技術によれば、適切に蛍光画像を撮像・表示・記録することが出来る。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
<第1の実施形態>
[全体構成]
最初に、本実施形態に係る蛍光ナビゲーション・サージェリー・システムの全体構成について説明する。図1は、本実施形態に係る蛍光ナビゲーション・サージェリー・システム100の全体構成図である。
<第1の実施形態>
[全体構成]
最初に、本実施形態に係る蛍光ナビゲーション・サージェリー・システムの全体構成について説明する。図1は、本実施形態に係る蛍光ナビゲーション・サージェリー・システム100の全体構成図である。
蛍光ナビゲーション・サージェリー・システム100は、大きく分けて、術者が術野SAを観察するための可視光撮影システム300と、蛍光画像を撮影・記録・表示する蛍光撮影システム200とに大別される。蛍光ナビゲーション・サージェリー・システム100は、可視光撮影システム300と蛍光撮影システム200とに分かれているので、上述したmini-FLAREシステム等のような両者でズームレンズを共用するシステムとは異なり、両者のズームレンズを独立して操作することが出来る。
(可視光撮影システム)
可視光撮影システム300は、術野観察用ビデオカメラ1、光学ズームレンズ2、および術野観察用モニタ3を含んで構成される。術野観察用ビデオカメラ1は、術野SAの全体を撮影することも出来るし、撮影方向を振ることでパンを行ったり、光学ズームレンズ2により光学ズームを行ったりして、術者の興味がある領域ROIのみを撮影することも出来る。術野観察用ビデオカメラ1では、術者の運針の様子を的確に撮影する必要があるので、高フレームレートでの画像出力が求められる。なお、術者の興味がある領域ROIとは、術者が切除作業を進めたいと考えている領域や切除作業を行った領域のことである。
可視光撮影システム300は、術野観察用ビデオカメラ1、光学ズームレンズ2、および術野観察用モニタ3を含んで構成される。術野観察用ビデオカメラ1は、術野SAの全体を撮影することも出来るし、撮影方向を振ることでパンを行ったり、光学ズームレンズ2により光学ズームを行ったりして、術者の興味がある領域ROIのみを撮影することも出来る。術野観察用ビデオカメラ1では、術者の運針の様子を的確に撮影する必要があるので、高フレームレートでの画像出力が求められる。なお、術者の興味がある領域ROIとは、術者が切除作業を進めたいと考えている領域や切除作業を行った領域のことである。
術野観察用モニタ3はHD解像度の画像表示を行うものであり、図の示すように、術野観察用モニタ3上には、例えば、術野SAの全体が表示される。蛍光の波長が可視光帯域ではない近赤外の波長である場合、術野観察用モニタ3上には、蛍光領域FAは示されない。なお、可視光撮影システム300は、主に内視鏡手術の場合に用いられ、一般的な開腹手術、開胸手術では用いない事もある。
(蛍光撮影システム)
一方、蛍光撮影システム200は、LED4、レンズ5、エキサイトフィルタ6、24Mピクセルカメラ7、光学ズームレンズ8、エミッションフィルタ9、画像処理装置10、および蛍光画像観察用モニタ16を含んで構成される。LED4、レンズ5、およびエキサイトフィルタ6により励起光源が構成される。なお、蛍光撮影システム200は、一般的な開腹手術や開胸手術においては、上記pde-neoやmini-FLAREと同様のサイズ・形状でもよいし、腹腔鏡手術や内視鏡手術においては、腹腔鏡や内視鏡に組み込まれるサイズにしてもよい。
一方、蛍光撮影システム200は、LED4、レンズ5、エキサイトフィルタ6、24Mピクセルカメラ7、光学ズームレンズ8、エミッションフィルタ9、画像処理装置10、および蛍光画像観察用モニタ16を含んで構成される。LED4、レンズ5、およびエキサイトフィルタ6により励起光源が構成される。なお、蛍光撮影システム200は、一般的な開腹手術や開胸手術においては、上記pde-neoやmini-FLAREと同様のサイズ・形状でもよいし、腹腔鏡手術や内視鏡手術においては、腹腔鏡や内視鏡に組み込まれるサイズにしてもよい。
また、画像処理装置10は、欠陥補正・現像部11、画像圧縮部12、画像保存部13、デジタルズーム・パン部14、およびグラフィックボード15を含んで構成される。
画像処理装置10は、例えば、CPU(Central Processing Unit)と、ROM(Read Only Memory)と、RAM(Random Access Memory)とを含むパーソナルコンピュータ(PC)のハードウェア要素で構成される。あるいはFPGA(Field Programmable Gate Array)などの専用ICによって構成されてもよい。
画像処理装置10は、欠陥補正・現像部11、画像圧縮部12、画像保存部13、デジタルズーム・パン部14、およびグラフィックボード15の間で各種信号をやりとりして、蛍光画像を処理するための様々な演算処理を実行する。RAMには、そのための各種のプログラムおよびデータがロードされ、CPUはRAMにロードされたプログラムを実行する。ROMには、RAMにロードされるプログラムやデータなどが格納される。
なお、欠陥補正・現像部11、画像圧縮部12、画像保存部13、およびデジタルズーム・パン部14は、ROMなどからRAMにロードされたプログラムがCPUにより実行されることで実現される機能ブロックである。
[構成要素の詳細と処理の流れ]
最初に、蛍光撮影システム200では、LED4、レンズ5、およびエキサイトフィルタ6からなるLED照明により、励起光が術野SAに照射される。
最初に、蛍光撮影システム200では、LED4、レンズ5、およびエキサイトフィルタ6からなるLED照明により、励起光が術野SAに照射される。
術野SAには、予めICGなどの蛍光造影剤が局注またはスプレーされており、蛍光造影剤は目的の場所に集まっている。術野SAに照射された励起光により、蛍光造影剤は蛍光を発する。(以下、蛍光造影剤が集まり蛍光を発する領域を蛍光領域FAと呼ぶ。)
蛍光領域FAから発せられた蛍光は、エミッションフィルタ9を透過し、光学ズームレンズ8により拡大され、24Mピクセルカメラ7により撮像される。エミッションフィルタ9は、目的とする蛍光以外の波長の光を遮断する役割を持つ。光学ズームレンズ8は、24Mピクセルカメラ7により、手術を行う可能性がある領域である画像記録領域RA全体が撮像されるように視野を調整する役目を持つ。
24Mピクセルカメラ7は、本技術における最も重要な構成要素であり、24メガ・ピクセルの画素を持ち、例えば6k×4kサイズの超高解像度の画像を撮像出来る撮像素子を有している。この撮像素子からは、例えば最大6.3fpsのレートで画像を出力することが出来る。24Mピクセルカメラ7は、上記の術野観察用ビデオカメラ1とは異なり、運針のような動きのあるものを撮影するのではなく、蛍光を発するがん細胞など動きの無い対象物を撮影するので、1fpsから3fps程度のフレームレートがあれば十分である。
24Mピクセルカメラ7から出力された蛍光画像は、画像処理装置10に入力される。画像処理装置10に入力された蛍光画像は、最初に、欠陥補正・現像部11において、欠陥補正処理や、デモザイク処理などの現像処理が行われる。現像処理の後、蛍光画像は、画像圧縮部12とデジタルズーム・パン部14とに出力される。
画像圧縮部12に入力された蛍光画像は、画像圧縮処理により画像圧縮が行われ画像サイズが縮小された後、画像保存部13に出力される。
画像圧縮の後、画像保存部13に入力された蛍光画像は、画像保存部13において保存される。画像保存部13は、例えば、HDD(ハードディスクドライブ)等の記憶媒体を有しており、圧縮された蛍光画像は、記憶媒体に保存される。記憶媒体に保存された画像は、例えば、図2に示すような、術野SA全体を撮影した中で、蛍光領域FAのみが光っている画像となる。
現像処理の後、デジタルズーム・パン部14に出力された蛍光画像に対して、デジタルズーム・パン部14は、術者の興味がある領域ROIのみを拡大表示するために、デジタルズーム処理やパニング処理を行う。
デジタルズーム・パン部14では、更に、蛍光画像観察用モニタ16上で術者の興味がある領域ROIのみに絞られた蛍光画像を鮮明に表示するピクセル・バイ・ピクセル表示を行うために、小ピクセル化処理が行われてもよい。
デジタルズーム・パン部14における処理が終了した蛍光画像は、グラフィックボード15を経由して、蛍光画像観察用モニタ16上に表示される。蛍光画像観察用モニタ16は、HD解像度の画像を表示するものであり、図に示すように、蛍光画像観察用モニタ16上には、例えば、蛍光領域FAを含む、術者の興味がある領域ROIが拡大して表示される。
[保存する蛍光画像と表示する蛍光画像について]
本技術では、医療過誤訴訟などに対応するために記録する画像と、術者が施術時に参照するために蛍光画像観察用モニタ16上に表示される画像とが異なる点が特徴の一つとなる。すなわち、蛍光画像観察用モニタ16上には、術者の興味がある領域ROIが表示されるが、画像記録部13に記録される画像は、光学ズームレンズ8により視野が調整された術野SA全体を撮像したものである。
本技術では、医療過誤訴訟などに対応するために記録する画像と、術者が施術時に参照するために蛍光画像観察用モニタ16上に表示される画像とが異なる点が特徴の一つとなる。すなわち、蛍光画像観察用モニタ16上には、術者の興味がある領域ROIが表示されるが、画像記録部13に記録される画像は、光学ズームレンズ8により視野が調整された術野SA全体を撮像したものである。
画像記録部13に記録される画像は、手術を進める上で術者がその時点で興味のあった領域ROIのみを記録したものではなく、術野SA全体の蛍光画像を撮影したものである。そのため、手術後に、手術において蛍光標識されたがんなどの部位に切除し残した箇所が有るか否かを確認することが出来る。
[典型的な技術との比較]
上述した典型的な技術では、画像を撮像するカメラが有する撮像素子の画素数は、高解像度であってもHD解像度の2メガ・ピクセル相当であった。そのため、本技術のように、術野SA全体を撮像した画像をデジタルズームにより拡大して術者の興味がある領域ROIのみを取りだしても画質が劣化し、実用的ではなかった。従って、施術の際に撮影する画像は、術者の興味がある領域のみを撮影するしかなく、手術後にがん等の取り残しが有るか否かを確認するための術野SA全体の画像を撮影することは出来なかった。
上述した典型的な技術では、画像を撮像するカメラが有する撮像素子の画素数は、高解像度であってもHD解像度の2メガ・ピクセル相当であった。そのため、本技術のように、術野SA全体を撮像した画像をデジタルズームにより拡大して術者の興味がある領域ROIのみを取りだしても画質が劣化し、実用的ではなかった。従って、施術の際に撮影する画像は、術者の興味がある領域のみを撮影するしかなく、手術後にがん等の取り残しが有るか否かを確認するための術野SA全体の画像を撮影することは出来なかった。
また、2メガ・ピクセル程度の画素数の撮像素子を用いて例えば15cm×10cm程度の大きさの術野SAを撮像する場合、この撮像素子のピクセル解像度は75μm程度となる。つまり、細胞の数倍の大きさの解像度となるので、がん細胞の取り残しを確認する作業においては、がん細胞を見落とす可能性が高い解像度となってしまう。
しかし、本技術で用いる24メガ・ピクセルの撮像素子を用いて15cm×10cm程度の大きさの術野SAを撮像する場合、この撮像素子のピクセル解像度は25μm程度となる。がん細胞とほぼ等しい大きさの解像度が得られるので、蛍光標識されたがん細胞などの見逃しが起こりにくくなる解像度にて、蛍光画像の記録を行うことが出来る。
また、本技術では、24メガ・ピクセルの撮像素子を用いて撮像した、例えば15cm×10cm程度の大きさの術野SAの画像に対してデジタルズーム処理を行い、例えば5cm×2.5cm程度の大きさの術者が興味のある領域ROIを拡大して表示する。この場合でも、ピクセル・バイ・ピクセル以上の解像度で蛍光画像観察用モニタ16上に表示できるので、術者に対して良好な画質の蛍光画像を提供することが出来る。
[術野の大きさと撮像素子の画素数について]
ここでは、撮影する術野SAの大きさと蛍光画像を撮像する撮像素子の画素数の関係について説明を行う。
ここでは、撮影する術野SAの大きさと蛍光画像を撮像する撮像素子の画素数の関係について説明を行う。
例えば、産科婦人科における腹腔鏡を用いた卵巣摘出手術などにおいては、運針を行う鉗子と針が視野からはずれないように観察視野を調整するので、撮影される視野は7−8cm四方程度か、あるいはそれを少し上回る視野に設定されることが一般的である。
そして、100μm程度の大きさの腫瘍を見逃さないようにするためには、例えばピクセル解像度が50μm程度か、それ以下となるような光学システムを用いて蛍光画像を撮影することが望ましい。
一辺の長さが7cmの術野SAにおいて、ピクセル解像度50μmにて撮影を行う場合、撮像素子の画素数は1400ピクセルに対応する。従って、一辺の長さが10cm程度ある術野SAに対応させて、上述した本技術による効果を得る為には、撮像素子として、短辺2000ピクセル以上の画素数を有する撮像素子を用いることが望ましい。
[本技術の奏する効果について]
本技術に係る蛍光ナビゲーション・サージェリー・システムは、術者の要求に応じて術者の興味のある領域ROIをデジタルズームにより拡大して表示することが出来、かつ、術野SA全体を腫瘍の見逃しが無い程度のピクセル解像度で撮影・記録することが出来る。そのため、典型的なシステムでは撮影されていなかった術者が興味の無かった領域についても撮影・記録することが出来る。それ故、医療過誤訴訟への対策などのマーケットにも対応することが出来る。
本技術に係る蛍光ナビゲーション・サージェリー・システムは、術者の要求に応じて術者の興味のある領域ROIをデジタルズームにより拡大して表示することが出来、かつ、術野SA全体を腫瘍の見逃しが無い程度のピクセル解像度で撮影・記録することが出来る。そのため、典型的なシステムでは撮影されていなかった術者が興味の無かった領域についても撮影・記録することが出来る。それ故、医療過誤訴訟への対策などのマーケットにも対応することが出来る。
[変形例(蛍光画像保存時に圧縮しない構成について)]
次に、24Mピクセルカメラ7により撮像した蛍光画像の画像保存部13への保存方法の変形例について説明する。
次に、24Mピクセルカメラ7により撮像した蛍光画像の画像保存部13への保存方法の変形例について説明する。
上記の実施形態では、欠陥補正・現像部11において蛍光画像を現像した後で、画像圧縮部12において蛍光画像の圧縮を行った。しかし、圧縮による画像劣化を避けたいという要望がある場合は、圧縮無しに蛍光画像を保存する事になる。そこで、本変形例では、24Mピクセルカメラ7から出力されたRAW画像データを圧縮せずに画像保存部13へ保存する。
一般的に、単板でRGB各色のカラーフィルタがベイヤ配列として形成されているカラー撮像素子では、RAW画像データが出力され、出力されたRAW画像データを現像することにより、最終的なカラー画像を得ることが出来る。現像行程を経ることにより、得られたカラー画像のサイズは、元のRAW画像データに比べ膨大なサイズになってしまう。
例えば、24メガ・ピクセルを有する撮像素子から出力されるRAW画像データのサイズは、輝度情報が14bitの場合、約50MBである。このRAW画像データを輝度情報が16bitのカラー画像に現像すると、そのサイズは約147MBとなってしまう。そして、この現像されたカラー画像の輝度情報を8bitに減らしても、依然として約73MBのデータサイズを有したままである。
このように、輝度情報を16bitから8bitに減らしたカラー画像よりも元のRAW画像データのほうが、データサイズが小さい。それ故、画像を圧縮せずに保存する場合は、現像前のRAW画像データをそのまま保存するほうが小さいデータサイズで画像保存部13に保存することが出来る。そして、画像保存部13では、蛍光画像を保存するために必要な記憶媒体の容量を削減出来るので、システム運用コストの観点から効率的である。
図3に本変形例の画像処理装置10Bに対応した機能ブロックを示す。図に示すように、画像処理装置10Bは、欠陥補正部11B、画像保存部13、現像部11C、デジタルズーム・パン部14、グラフィックスボード15を含んで構成される。
欠陥補正部11Bおよび現像部11Cは、上記実施形態の欠陥補正・現像部11の機能を欠陥補正処理と現像処理の2つに分けたものである。画像処理装置10Bでは、画像圧縮部12が無くなっている。
処理の流れとしては、まず、画像処理装置10Bが、24Mピクセルカメラ7から出力された蛍光画像を受け付ける。
画像処理装置10Bに入力された蛍光画像は、欠陥補正部11Bにおいて、欠陥補正処理が行われる。欠陥補正処理の後、蛍光画像は、画像保存部13と現像部11Cとに出力される。
画像保存部13に入力された蛍光画像は、画像保存部13において保存される。画像保存部13の機能と構成は、上述の実施形態のものと同じである。
現像部11Cに入力された蛍光画像に対しては、デモザイク処理などの現像処理が施される。その後、現像された蛍光画像は、デジタルズーム・パン部14に出力される。
現像処理の後、デジタルズーム・パン部14に出力された蛍光画像に対して、デジタルズーム・パン部14は、術者の興味がある領域ROIのみを拡大表示するために、デジタルズーム処理やパニング処理を行う。デジタルズーム・パン部14の機能と構成は、上述の実施形態のものと同じである。
デジタルズーム・パン部14における処理が終了した蛍光画像は、グラフィックボード15を経由して、蛍光画像観察用モニタ16上に表示される。
<第2の実施形態>
次に、第2の実施形態について説明する。第1の実施形態との大きな違いは、第1の実施形態では、術野観察用モニタ3と、蛍光画像観察用モニタ16が分かれていたのに対し、第2の実施形態では、2つの画像が重畳され1つのモニタで観察される点である。なお、術者が興味のある領域ROIがモニタ上に表示される点と、手術を行う可能性がある領域である画像記録領域RA全体が画像として保存される点は、第1の実施形態と同じである。
次に、第2の実施形態について説明する。第1の実施形態との大きな違いは、第1の実施形態では、術野観察用モニタ3と、蛍光画像観察用モニタ16が分かれていたのに対し、第2の実施形態では、2つの画像が重畳され1つのモニタで観察される点である。なお、術者が興味のある領域ROIがモニタ上に表示される点と、手術を行う可能性がある領域である画像記録領域RA全体が画像として保存される点は、第1の実施形態と同じである。
図4に、本実施形態に係る蛍光ナビゲーション・サージェリー・システム100Bの全体構成を示す。なお、第1の実施形態と同じ機能の構成要素には同じ符号を付け、説明を省略する。
蛍光ナビゲーション・サージェリー・システム100Bは、大きく分けて、術者が術野SAを観察するための可視光撮影システム300Bと、蛍光画像を撮影・記録する蛍光撮影システム200Bとからなる。そして、可視光撮影システム300Bにより撮影された術野観察用画像を見ながら手術を行う事を前提とした手術用システムを想定している。そのため、蛍光撮影システム200Bにより撮影された蛍光画像の表示範囲を、術野観察用画像の表示範囲と位置合わせし重畳する画像処理装置10Dと、重畳された画像を表示する重畳画像観察用モニタ16Bを更に備えている。
(可視光撮影システム)
可視光撮影システム300Bは、術野観察用ビデオカメラ1、および光学ズームレンズ2を含んで構成される。術野観察用ビデオカメラ1は、術野SAの全体を撮影することも出来るし、撮影方向を振ることでパンを行ったり、光学ズームレンズ2により光学ズームを行ったりして、術者の興味がある領域ROIのみを撮影することも出来る。術野観察用ビデオカメラ1により撮影された画像は、画像処理装置10Dに出力される。
可視光撮影システム300Bは、術野観察用ビデオカメラ1、および光学ズームレンズ2を含んで構成される。術野観察用ビデオカメラ1は、術野SAの全体を撮影することも出来るし、撮影方向を振ることでパンを行ったり、光学ズームレンズ2により光学ズームを行ったりして、術者の興味がある領域ROIのみを撮影することも出来る。術野観察用ビデオカメラ1により撮影された画像は、画像処理装置10Dに出力される。
(蛍光撮影システム)
一方、蛍光撮影システム200Bは、LED4、レンズ5、エキサイトフィルタ6、24Mピクセルカメラ7、光学ズームレンズ8、エミッションフィルタ9、および画像処理装置10Cを含んで構成される。
一方、蛍光撮影システム200Bは、LED4、レンズ5、エキサイトフィルタ6、24Mピクセルカメラ7、光学ズームレンズ8、エミッションフィルタ9、および画像処理装置10Cを含んで構成される。
また、画像処理装置10Cは、機能ブロックとして、欠陥補正・現像部11、画像圧縮部12、および画像保存部13を含んで構成される。
欠陥補正・現像部11において欠陥補正処理および現像処理が終了した蛍光画像は、画像圧縮部12に出力されると共に、画像処理装置10Dのデジタルズーム・パン部14に出力される。
(画像処理装置10Dの構成と処理の流れ)
画像処理装置10Dは、デジタルズーム・パン部14および位置合わせ・画像合成部17の機能ブロックと、グラフィックボード15とを含んで構成される。なお、画像処理装置10Cおよび10Dは、第1の実施形態の画像処理装置10と同じく、PCやFPGAなどの専用ICにより構成されてもよい。
画像処理装置10Dは、デジタルズーム・パン部14および位置合わせ・画像合成部17の機能ブロックと、グラフィックボード15とを含んで構成される。なお、画像処理装置10Cおよび10Dは、第1の実施形態の画像処理装置10と同じく、PCやFPGAなどの専用ICにより構成されてもよい。
画像処理装置10Dでは、まず、デジタルズーム・パン部14が、欠陥補正・現像部11から供給された蛍光画像と、術野観察用ビデオカメラ1から供給された、術野観察用ビデオカメラ1の光学ズームおよびパニング情報(位置選択情報)とを受け付ける。デジタルズーム・パン部14は、術野観察用ビデオカメラ1からの画像に適切に重畳するために、受け付けた光学ズームおよびパニング情報に基づき、蛍光画像に対してデジタルズーム処理およびデジタルパニング処理を行う。ズームおよびパン処理後の蛍光画像は、位置合わせ・画像合成部17に出力される。
次に、位置合わせ・画像合成部17が、術野観察用ビデオカメラ1から供給された術野観察用画像と、デジタルズーム・パン部14から供給された蛍光画像とを重畳させ合成する。合成された重畳画像は、グラフィックボード15を介して重畳画像観察用モニタ16Bに出力され画面上にHD解像度で表示される。
なお、上記の説明では、術野観察用ビデオカメラ1から供給された、術野観察用ビデオカメラ1の光学ズームおよびパニング情報に基づいて位置合わせを行う構成を説明したが、これに限らず、エッジ検出などの画像解析処理により画像を重ね合わせるべき位置を求め、重畳処理を行ってもよい。
以上、第2の実施形態の構成について説明した。なお、上記では1つの重畳画像観察用モニタ16に術野観察用画像と蛍光画像を重ね合わせて表示する構成を示した。しかし、術者の好みによっては、施術時に術野観察用画像と蛍光画像とを分けてモニタ上に表示させたいという要望もある。そのため、第2の実施形態の構成でも、術野観察用ビデオカメラ1から出力された術野観察用画像を別途取り出して術野観察用モニタ3に出力させ、また、デジタルズーム・パン部14から出力された蛍光画像を別途取り出して蛍光画像観察用モニタ16に出力させることも可能である。
<第3の実施形態>
次に、第3の実施形態について説明する。第2の実施形態との大きな違いは、第2の実施形態では、術野観察用ビデオカメラ1と24Mピクセルカメラ7とが、異なる方向から画像記録領域RAや術者の興味がある領域ROIを撮影していたのに対し、第3の実施形態では、両者が同じ光軸で撮影する点である。
次に、第3の実施形態について説明する。第2の実施形態との大きな違いは、第2の実施形態では、術野観察用ビデオカメラ1と24Mピクセルカメラ7とが、異なる方向から画像記録領域RAや術者の興味がある領域ROIを撮影していたのに対し、第3の実施形態では、両者が同じ光軸で撮影する点である。
図5に、本実施形態に係る蛍光ナビゲーション・サージェリー・システム100Cの全体構成を示す。なお、第1の実施形態および第2の実施形態と同じ機能の構成要素には同じ符号を付け、説明を省略する。
蛍光ナビゲーション・サージェリー・システム100Cでは、上述のとおり、可視光撮影システムと蛍光撮影システムが統合され、光学系の一部が共用された撮影システムとなっている。
[構成と撮影の流れ]
この撮影システムは、術野観察用ビデオカメラ1、光学ズームレンズ2B、レンズ駆動部21、パニング・ステージ20、LED4、レンズ5、エキサイトフィルタ6、24Mピクセルカメラ7、光学ズームレンズ8C、エミッションフィルタ9、ダイクロイックミラー9B、ズームレンズ8B、可視光LED30、レンズ31、可視光フィルタ32を含んで構成される。
この撮影システムは、術野観察用ビデオカメラ1、光学ズームレンズ2B、レンズ駆動部21、パニング・ステージ20、LED4、レンズ5、エキサイトフィルタ6、24Mピクセルカメラ7、光学ズームレンズ8C、エミッションフィルタ9、ダイクロイックミラー9B、ズームレンズ8B、可視光LED30、レンズ31、可視光フィルタ32を含んで構成される。
まず、可視光による撮影について説明する。可視光LED30、レンズ31、可視光フィルタ32から構成される可視光照明が、画像記録領域RAに可視光を照射する。画像記録領域RAからの反射光はズームレンズ8Bに入射する。ズームレンズ8Bは、24Mピクセルカメラ7において、画像記録領域RA全体が撮影されるように視野が調整される。ズームレンズ8Bを通過した可視光は、ダイクロイックミラー9Bに入射する。ダイクロイックミラー9Bは、蛍光領域FAからの蛍光のみを反射し、可視光を透過させるものである。ダイクロイックミラー9Bを透過した可視光は、ズームレンズ2Bに入射する。このズームレンズ2Bは、ズーム駆動機構21により駆動され、術野観察用ビデオカメラ1に撮影される視野が、術者の興味がある領域ROIを撮影するのに必要な倍率に拡大される。また、術野観察用ビデオカメラ1に撮影される視野は、パニング・ステージ20により、術野観察用ビデオカメラ1をパンすることにより、術者の興味がある領域ROIに合わせられる。
以上により、術野観察用ビデオカメラ1において、術者の興味がある領域ROIの画像が撮影される。撮影された可視光画像は、位置合わせ・画像合成部17に出力される。また、撮影する視野を術者の興味がある領域ROIに限定するために、レンズ駆動部21により行われたズーミングと、パニング・ステージ20により行われたパニングの情報は、光学ズームおよびパニング情報(位置選択情報)としてデジタルズーム・パン部14に出力される。
次に、蛍光の撮影について説明する。LED4、レンズ5、エキサイトフィルタ6により構成される励起光源から射出された励起光により、蛍光領域FAが蛍光を発する。蛍光領域FAから発された蛍光は、画像記録領域RA全体が撮影されるように視野が調整されたズームレンズ8Bを通過し、ダイクロイックミラー9Bにより反射され、エミッションフィルタ9およびレンズ8Cを通過して、24Mピクセルカメラ7に入射し、撮影される。
以上により、24Mピクセルカメラ7において、画像記録領域RA全体の蛍光画像が撮影される。撮影された蛍光画像は、欠陥補正・現像部11に出力される。
上記の構成とすることにより、撮影される可視光画像と蛍光画像とで、同じ方向からの画像を撮影することが出来る。そのため、位置合わせ・画像合成部17における位置合わせが容易となり、正確に2種類の画像の位置合わせを行い、重畳させることが出来る。
以上、第3の実施形態について説明した。
以上、第3の実施形態について説明した。
[補足事項]
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
1 … 術野観察用ビデオカメラ
2 … 光学ズームレンズ
2B… 光学ズームレンズ
3 … 術野観察用モニタ
4 … LED
5 … レンズ
6 … エキサイトフィルタ
7 … 24Mピクセルカメラ
8 … 光学ズームレンズ
8B… 光学ズームレンズ
8C… レンズ
9 … エミッションフィルタ
9B… ダイクロイックミラー
10〜10D … 画像処理装置
11 … 欠陥補正・現像部
11B … 欠陥補正部
11C … 現像部
12 … 画像圧縮部
13 … 画像保存部
14 … デジタルズーム・パン部
15 … グラフィックボード
16 … 蛍光画像観察用モニタ
17 … 位置合わせ・画像合成部
20 … パニング・ステージ
21 … レンズ駆動部
30 … 可視光LED
31 … レンズ
32 … 可視光フィルタ
100〜100B … 蛍光ナビゲーション・サージェリー・システム
200〜200B … 蛍光撮影システム
300〜300B … 可視光撮影システム
FA … 蛍光領域
RA … 画像記録領域
ROI … 術者の興味がある領域
SA … 術野
2 … 光学ズームレンズ
2B… 光学ズームレンズ
3 … 術野観察用モニタ
4 … LED
5 … レンズ
6 … エキサイトフィルタ
7 … 24Mピクセルカメラ
8 … 光学ズームレンズ
8B… 光学ズームレンズ
8C… レンズ
9 … エミッションフィルタ
9B… ダイクロイックミラー
10〜10D … 画像処理装置
11 … 欠陥補正・現像部
11B … 欠陥補正部
11C … 現像部
12 … 画像圧縮部
13 … 画像保存部
14 … デジタルズーム・パン部
15 … グラフィックボード
16 … 蛍光画像観察用モニタ
17 … 位置合わせ・画像合成部
20 … パニング・ステージ
21 … レンズ駆動部
30 … 可視光LED
31 … レンズ
32 … 可視光フィルタ
100〜100B … 蛍光ナビゲーション・サージェリー・システム
200〜200B … 蛍光撮影システム
300〜300B … 可視光撮影システム
FA … 蛍光領域
RA … 画像記録領域
ROI … 術者の興味がある領域
SA … 術野
Claims (8)
- 生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該観察すべき対象領域に励起光を照射して得られる蛍光像を、第1の解像度により撮像した画像を当該観察すべき対象領域の蛍光画像として、記録媒体に保存する保存部と、
前記蛍光画像の少なくとも一部の領域をユーザに選択させ、前記選択された領域をROI領域の蛍光画像として切り出す切り出し部と、
前記ROI領域の蛍光画像を前記第1の解像度より低い第2の解像度により表示部に表示させる表示制御部と
を具備する画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記保存部は、
前記観察すべき対象領域の蛍光画像をRAW画像データのまま保存する
画像処理装置。 - 生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該観察すべき対象領域に励起光を照射して得られる蛍光像を、第1の解像度により撮像した画像を当該観察すべき対象領域の蛍光画像として、記録媒体に保存し、
前記蛍光画像の少なくとも一部の領域をユーザに選択させ、前記選択された領域をROI領域の蛍光画像として切り出し、
前記ROI領域の蛍光画像を前記第1の解像度より低い第2の解像度により表示部に表示させる
画像処理方法。 - 生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該観察すべき対象領域に励起光を照射して得られる蛍光像を、第1の解像度により撮像した画像を当該観察すべき対象領域の蛍光画像として、記録媒体に保存する保存部、
前記蛍光画像の少なくとも一部の領域をユーザに選択させ、前記選択された領域をROI領域の蛍光画像として切り出す切り出し部、および
前記ROI領域の蛍光画像を前記第1の解像度より低い第2の解像度により表示部に表示させる表示制御部
としてコンピュータを機能させるための情報処理プログラム。 - 生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該対象領域に励起光を照射する励起光源と、
前記観察すべき対象領域から発せられた蛍光像を、前記観察すべき対象領域の蛍光画像として、第1の解像度により撮像する撮像部と、
前記観察すべき対象領域の蛍光画像を記録媒体に保存する保存部と、
前記蛍光画像の少なくとも一部の領域をユーザに選択させ、前記選択された領域をROI領域の蛍光画像として切り出す切り出し部と、
前記ROI領域の蛍光画像を前記第1の解像度より低い第2の解像度により表示する表示部と
を具備する蛍光観察システム。 - 生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該対象領域に励起光を照射する励起光源と、
前記観察すべき対象領域から発せられた蛍光像を、前記観察すべき対象領域の蛍光画像として、第1の解像度により撮像する蛍光撮像部と、
前記観察すべき対象領域の蛍光画像を記録媒体に保存する保存部と、
前記蛍光画像の少なくとも一部の領域をユーザに選択させ、前記選択された領域をROI領域の蛍光画像として切り出す切り出し部と、
前記ROI領域の蛍光画像を前記第1の解像度より低い第2の解像度により表示する蛍光画像表示部と、
前記観察すべき対象領域の少なくとも一部の領域をユーザに選択させ、選択された領域を、可視光画像として撮像する可視光撮像部と、
前記可視光画像を表示する可視光画像表示部と
を具備する蛍光ナビゲーション・サージェリー・システム。 - 生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該対象領域に励起光を照射する励起光源と、
前記観察すべき対象領域から発せられた蛍光像を、前記観察すべき対象領域の蛍光画像として、第1の解像度により撮像する蛍光撮像部と、
前記観察すべき対象領域の蛍光画像を記録媒体に保存する保存部と、
ユーザが入力した位置選択情報に基づき、前記観察すべき対象領域の少なくとも一部の領域をROI領域として選択し、当該ROI領域の可視光画像を撮像する可視光撮像部と、
前記位置選択情報に基づき、前記観察すべき対象領域の蛍光画像から、前記ROI領域の蛍光画像を切り出す切り出し部と、
前記可視光画像と前記切り出した蛍光画像との位置を合わせ重畳して重畳画像を生成する重畳部と、
前記重畳画像を前記第1の解像度より低い第2の解像度により表示する重畳画像表示部と
を具備する蛍光ナビゲーション・サージェリー・システム。 - 生体の、観察すべき対象領域であって、蛍光試薬が予め投入された当該対象領域に励起光を照射する励起光源と、
前記観察すべき対象領域から発せられた蛍光像を、前記観察すべき対象領域の蛍光画像として、第1の解像度により撮像する蛍光撮像部と、
前記観察すべき対象領域の蛍光画像を記録媒体に保存する保存部と、
前記観察すべき対象領域の少なくとも一部の領域をユーザに選択させ、前記選択された領域をROI領域として、当該ROI領域の可視光画像を撮像する可視光撮像部と、
前記可視光画像に含まれるエッジ情報に基づき、前記観察すべき対象領域の蛍光画像から、前記ROI領域の蛍光画像を切り出す切り出し部と、
前記可視光画像と前記切り出した蛍光画像との位置を合わせ重畳して重畳画像を生成する重畳部と、
前記重畳画像を前記第1の解像度より低い第2の解像度により表示する重畳画像表示部と
を具備する蛍光ナビゲーション・サージェリー・システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013074785A JP2014198144A (ja) | 2013-03-29 | 2013-03-29 | 画像処理装置、画像処理方法、情報処理プログラム、蛍光観察システム、および蛍光ナビゲーション・サージェリー・システム |
CN201410108883.8A CN104068938A (zh) | 2013-03-29 | 2014-03-21 | 图像处理设备、图像处理方法和荧光导航手术系统 |
US14/222,162 US10143378B2 (en) | 2013-03-29 | 2014-03-21 | Image processing apparatus, image processing method, information processing program, fluorescence observation system, and fluorescence navigation surgery system |
US16/163,285 US11452453B2 (en) | 2013-03-29 | 2018-10-17 | Image processing apparatus, image processing method, information processing program, fluorescence observation system, and fluorescence navigation surgery system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013074785A JP2014198144A (ja) | 2013-03-29 | 2013-03-29 | 画像処理装置、画像処理方法、情報処理プログラム、蛍光観察システム、および蛍光ナビゲーション・サージェリー・システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014198144A true JP2014198144A (ja) | 2014-10-23 |
Family
ID=51590823
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013074785A Pending JP2014198144A (ja) | 2013-03-29 | 2013-03-29 | 画像処理装置、画像処理方法、情報処理プログラム、蛍光観察システム、および蛍光ナビゲーション・サージェリー・システム |
Country Status (3)
Country | Link |
---|---|
US (2) | US10143378B2 (ja) |
JP (1) | JP2014198144A (ja) |
CN (1) | CN104068938A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017012553A (ja) * | 2015-07-02 | 2017-01-19 | ソニー・オリンパスメディカルソリューションズ株式会社 | 内視鏡用撮像装置、及び内視鏡装置 |
JP2017148503A (ja) * | 2016-02-15 | 2017-08-31 | ライカ インストゥルメンツ (シンガポール) プライヴェット リミテッドLeica Instruments (Singapore) Pte. Ltd. | 擬似色を用いた顕微鏡又は内視鏡などの医用検査装置 |
JPWO2016203572A1 (ja) * | 2015-06-17 | 2018-04-05 | オリンパス株式会社 | 撮像装置 |
JP2023083547A (ja) * | 2016-03-09 | 2023-06-15 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、及び記録媒体 |
US12003891B2 (en) | 2018-12-10 | 2024-06-04 | Olympus Corporation | Image recording apparatus, image recording method, and endoscope system |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014198144A (ja) | 2013-03-29 | 2014-10-23 | ソニー株式会社 | 画像処理装置、画像処理方法、情報処理プログラム、蛍光観察システム、および蛍光ナビゲーション・サージェリー・システム |
US10130301B2 (en) | 2015-01-22 | 2018-11-20 | Elwha Llc | Devices and methods for remote hydration measurement |
US10159439B2 (en) | 2015-01-22 | 2018-12-25 | Elwha Llc | Devices and methods for remote hydration measurement |
US10674982B2 (en) * | 2015-08-06 | 2020-06-09 | Covidien Lp | System and method for local three dimensional volume reconstruction using a standard fluoroscope |
CN105748149B (zh) * | 2016-04-20 | 2019-02-01 | 叶莹 | 一种用于癌症手术荧光导航和残癌示踪与清除的设备 |
EP3486874A4 (en) * | 2016-07-14 | 2019-07-17 | LG Innotek Co., Ltd. | METHOD AND DEVICE FOR IMAGE PRODUCTION |
EP3914139A1 (en) * | 2019-01-25 | 2021-12-01 | Intuitive Surgical Operations, Inc. | Augmented medical vision systems and methods |
JP2023519489A (ja) * | 2020-02-21 | 2023-05-11 | サージビジョン・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング | 対応する補助画像内で識別される制限情報領域で処理された発光画像を用いた医療処置の支援 |
CN113749772A (zh) * | 2021-04-22 | 2021-12-07 | 上海格联医疗科技有限公司 | 一种增强近红外4k荧光导航系统 |
EP4086685A1 (de) * | 2021-05-07 | 2022-11-09 | Carl Zeiss Meditec AG | Mikroskopiesystem und verfahren zum betreiben eines mikroskopiesystems |
CN113693739B (zh) * | 2021-08-27 | 2022-10-28 | 南京诺源医疗器械有限公司 | 肿瘤导航修正方法、装置及便携式荧光影像导航设备 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3971065A (en) * | 1975-03-05 | 1976-07-20 | Eastman Kodak Company | Color imaging array |
JPH0693897B2 (ja) * | 1985-08-14 | 1994-11-24 | 株式会社東芝 | 超音波診断装置 |
US5384862A (en) * | 1992-05-29 | 1995-01-24 | Cimpiter Corporation | Radiographic image evaluation apparatus and method |
JP3851699B2 (ja) * | 1997-02-06 | 2006-11-29 | 富士写真フイルム株式会社 | 画像解析装置 |
JP3723663B2 (ja) * | 1997-07-15 | 2005-12-07 | フクダ電子株式会社 | 超音波診断装置 |
US6217510B1 (en) * | 1997-10-02 | 2001-04-17 | Olympus Optical Co., Ltd. | Endoscopes and endoscope devices which image regular observation images and fluorescent images as well as which provide easier operation of treatment tools |
US5980458A (en) * | 1999-01-15 | 1999-11-09 | Hewlett-Packard Company | Data acquisition in ultrasonic imaging systems using multiple, parallel receive and transmit lines |
US20020138008A1 (en) * | 2000-01-13 | 2002-09-26 | Kazuhiro Tsujita | Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images |
JP2001299676A (ja) | 2000-04-25 | 2001-10-30 | Fuji Photo Film Co Ltd | センチネルリンパ節検出方法および検出システム |
US7194118B1 (en) * | 2000-11-10 | 2007-03-20 | Lucid, Inc. | System for optically sectioning and mapping surgically excised tissue |
US6853809B2 (en) * | 2001-01-30 | 2005-02-08 | Koninklijke Philips Electronics N.V. | Camera system for providing instant switching between wide angle and full resolution views of a subject |
US6960165B2 (en) * | 2001-05-16 | 2005-11-01 | Olympus Corporation | Endoscope with a single image pick-up element for fluorescent and normal-light images |
JP4054222B2 (ja) * | 2002-06-05 | 2008-02-27 | オリンパス株式会社 | 内視鏡装置用光源装置 |
DE10362401B3 (de) * | 2002-08-28 | 2022-03-10 | Carl Zeiss Meditec Ag | Mikroskopiesystem und Mikroskopieverfahren |
WO2005048826A1 (ja) | 2003-11-20 | 2005-06-02 | Hamamatsu Photonics K.K. | リンパ節検出装置 |
JP4186074B2 (ja) | 2004-06-04 | 2008-11-26 | 日本電気株式会社 | 遠隔医療監査システムおよび遠隔医療監査方法 |
CN101142592B (zh) * | 2005-03-22 | 2010-07-07 | 奥林巴斯株式会社 | 图像处理装置及内窥镜装置 |
JP6053673B2 (ja) * | 2011-04-28 | 2016-12-27 | オリンパス株式会社 | 蛍光観察装置とその画像表示方法 |
EP2810602A4 (en) * | 2012-02-02 | 2015-06-17 | Hitachi Aloka Medical Ltd | DIAGNOSTIC APPARATUS FOR MEDICAL IMAGES AND METHOD FOR SETTING A SPECIFIC REGION THEREFOR |
JP2014198144A (ja) | 2013-03-29 | 2014-10-23 | ソニー株式会社 | 画像処理装置、画像処理方法、情報処理プログラム、蛍光観察システム、および蛍光ナビゲーション・サージェリー・システム |
-
2013
- 2013-03-29 JP JP2013074785A patent/JP2014198144A/ja active Pending
-
2014
- 2014-03-21 CN CN201410108883.8A patent/CN104068938A/zh active Pending
- 2014-03-21 US US14/222,162 patent/US10143378B2/en active Active
-
2018
- 2018-10-17 US US16/163,285 patent/US11452453B2/en active Active
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2016203572A1 (ja) * | 2015-06-17 | 2018-04-05 | オリンパス株式会社 | 撮像装置 |
JP2017012553A (ja) * | 2015-07-02 | 2017-01-19 | ソニー・オリンパスメディカルソリューションズ株式会社 | 内視鏡用撮像装置、及び内視鏡装置 |
US11070772B2 (en) | 2015-07-02 | 2021-07-20 | Sony Olympus Medical Solutions Inc. | Endoscope image-capturing device and endoscope device |
US11611725B2 (en) | 2015-07-02 | 2023-03-21 | Sony Olympus Medical Solutions Inc. | Endoscope image-capturing device and endoscope device |
US11910133B2 (en) | 2015-07-02 | 2024-02-20 | Sony Olympus Medical Solutions Inc. | Endoscope image-capturing device and endoscope device |
JP2017148503A (ja) * | 2016-02-15 | 2017-08-31 | ライカ インストゥルメンツ (シンガポール) プライヴェット リミテッドLeica Instruments (Singapore) Pte. Ltd. | 擬似色を用いた顕微鏡又は内視鏡などの医用検査装置 |
JP2023083547A (ja) * | 2016-03-09 | 2023-06-15 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、及び記録媒体 |
US12003891B2 (en) | 2018-12-10 | 2024-06-04 | Olympus Corporation | Image recording apparatus, image recording method, and endoscope system |
Also Published As
Publication number | Publication date |
---|---|
US11452453B2 (en) | 2022-09-27 |
US10143378B2 (en) | 2018-12-04 |
US20190046041A1 (en) | 2019-02-14 |
US20140296718A1 (en) | 2014-10-02 |
CN104068938A (zh) | 2014-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11452453B2 (en) | Image processing apparatus, image processing method, information processing program, fluorescence observation system, and fluorescence navigation surgery system | |
JP5707758B2 (ja) | 撮像装置、撮像システム、手術用ナビゲーションシステム、及び撮像方法 | |
US20180110414A1 (en) | Photodynamic diagnostic device and photodynamic diagnostic method | |
JP2010172673A (ja) | 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法 | |
JP2003215469A (ja) | 内視鏡装置 | |
JP2006198106A (ja) | 電子内視鏡装置 | |
EP3801191A1 (en) | Masking approach for imaging multi-peak fluorophores by an imaging system | |
JPH10309281A (ja) | 蛍光診断装置 | |
JP2012003214A (ja) | 情報処理装置、情報処理方法、プログラム、撮像装置、及び光学顕微鏡を搭載した撮像装置 | |
US20210019921A1 (en) | Image processing device, image processing method, and program | |
JP2013025466A (ja) | 画像処理装置、画像処理システム及び画像処理プログラム | |
JPWO2019039259A1 (ja) | 診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法 | |
CN110087528A (zh) | 内窥镜系统以及图像显示装置 | |
JP2007020727A (ja) | 画像処理装置 | |
JP2010220794A (ja) | 内視鏡画像回転装置および方法並びにプログラム | |
JP2009257967A (ja) | 蛍光観察装置および蛍光観察方法 | |
JP2006180926A (ja) | 医療用表示装置 | |
JP2012022206A (ja) | 顕微鏡観察システム | |
JP7457019B2 (ja) | 医療撮像システム及び方法 | |
CN103281947B (zh) | 图像处理装置、及其动作方法以及内窥镜系统 | |
JP4731703B2 (ja) | 眼科装置 | |
JP5177668B2 (ja) | 立体画像作成装置及び方法並びに内視鏡検査システム | |
JP5835797B2 (ja) | パノラマ画像作成プログラム | |
US7864413B2 (en) | Examination apparatus with multiple image acquisition devices | |
JP5050128B2 (ja) | 画像処理装置およびその方法 |