JP2017042257A

JP2017042257A - Imaging device

Info

Publication number: JP2017042257A
Application number: JP2015165450A
Authority: JP
Inventors: 石川　亮宏; Akihiro Ishikawa; 亮宏石川
Original assignee: Shimadzu Corp
Current assignee: Shimadzu Corp
Priority date: 2015-08-25
Filing date: 2015-08-25
Publication date: 2017-03-02
Anticipated expiration: 2035-08-25
Also published as: JP6485284B2

Abstract

PROBLEM TO BE SOLVED: To provide an imaging device capable of collecting image data that can be used for image analysis.SOLUTION: A control unit 30 includes an image processing part 31 and an image recording control part 37 as a functional configuration. The image processing part 31 includes a synthesis part 32 for synthesizing a fluorescent image and a visible light image acquired from an illumination/photographing part 12, a condition designation part 33 for designating an analysis condition, etc. of image analysis by an analysis part 34 explained later, and the analysis part 34 for performing analysis by the analysis condition designated by the condition designation part 33. A storage unit 40 connected to the control unit 30 includes an image storage part 41 including a reproduction moving image storage part 42 for storing a synthesis image in which the fluorescent image and the visible light image are synthesized in the synthesis part 32 in the image processing part 31 as an irreversible compression moving image file, and an analysis moving image storage part 44 for storing the fluorescent moving image and the visible light moving image as a non-compression or reversible compression moving image file.SELECTED DRAWING: Figure 3

Description

この発明は、被検者の体内に浸入させた蛍光物質に対し励起光を照射し、この蛍光物質から放射される蛍光を撮影するイメージング装置に関する。 The present invention relates to an imaging apparatus that irradiates a fluorescent material that has entered a body of a subject with excitation light and images fluorescence emitted from the fluorescent material.

近赤外蛍光イメージングと呼称される手法が、外科手術における血管造影に利用されている。この近赤外蛍光イメージングにおいては、蛍光色素であるインドシアニングリーン（ＩＣＧ）を患部に注入する。そして、このインドシアニングリーンにその波長が８１０ｎｍ（ナノメータ）程度の近赤外光を励起光として照射すると、インドシアニングリーンはおおよそ８４５ｎｍの波長の近赤外蛍光を発する。この蛍光を、近赤外光を検出可能な撮像素子で撮影し、その画像を液晶表示パネル等の表示部に表示する。この近赤外蛍光イメージングによれば、体表から２０ｍｍ程度までの深さに存在する血管やリンパ管等の観察が可能となる。 A technique called near-infrared fluorescence imaging is used for angiography in surgery. In this near-infrared fluorescence imaging, indocyanine green (ICG), which is a fluorescent dye, is injected into the affected area. When this indocyanine green is irradiated with near-infrared light having a wavelength of about 810 nm (nanometer) as excitation light, the indocyanine green emits near-infrared fluorescence having a wavelength of about 845 nm. This fluorescence is photographed by an imaging device capable of detecting near infrared light, and the image is displayed on a display unit such as a liquid crystal display panel. According to this near-infrared fluorescence imaging, it is possible to observe blood vessels, lymph vessels, and the like existing at a depth of about 20 mm from the body surface.

また、近年、腫瘍を蛍光標識して手術ナビゲーションに利用する手法が注目されている。腫瘍を蛍光標識するための蛍光標識剤としては、５−アミノレブリン酸（５−ＡＬＡ／５−ＡｍｉｎｏｌｅｖｕｌｉｎｉｃＡｃｉｄ）が使用される。この５−アミノレブリン酸（以下、これを略称するときは「５−ＡＬＡ」という）を被検者に投与した場合、５−ＡＬＡは蛍光物質であるＰｐＩＸ（ｐｒｏｔｏｐｏｒｐｈｙｒｉｎＩＸ／プロトポルフィリンナイン）に代謝される。なお、このＰｐＩＸは癌細胞に特異的に蓄積する。そして、５−ＡＬＡの代謝物であるＰｐＩＸに向けて４１０ｎｍ程度の波長の可視光を照射すると、ＰｐＩＸからおよそ６３０ｎｍ程度の波長の赤色の可視光が蛍光として発光される。このＰｐＩＸからの蛍光を観察することにより、癌細胞を確認することが可能となる。 In recent years, attention has been focused on a technique in which a tumor is fluorescently labeled and used for surgical navigation. As a fluorescent labeling agent for fluorescently labeling the tumor, 5-aminolevulinic acid (5-ALA / 5-Aminolevulinic Acid) is used. When this 5-aminolevulinic acid (hereinafter abbreviated as “5-ALA”) is administered to a subject, 5-ALA is metabolized to a fluorescent substance, PpIX (protoporphyrinIX / protoporphyrinine). . This PpIX accumulates specifically in cancer cells. When PpIX, which is a metabolite of 5-ALA, is irradiated with visible light having a wavelength of about 410 nm, red visible light having a wavelength of about 630 nm is emitted as fluorescence from PpIX. By observing the fluorescence from this PpIX, cancer cells can be confirmed.

特許文献１には、インドシアニングリーンが投与された生体の被検臓器に対して、インドシアニングリーンの励起光を照射して得られた近赤外蛍光の強度分布イメージと、インドシアニングリーン投与前の被検臓器に対して、Ｘ線、核磁気共鳴または超音波を作用させて得られた癌病巣分布イメージとを比較し、近赤外蛍光の強度分布イメージで検出されるが癌病巣分布イメージでは検出されない領域のデータを、癌の副病巣領域データとして収集するデータ収集方法が開示されている。 Patent Document 1 discloses an intensity distribution image of near-infrared fluorescence obtained by irradiating an indocyanine green excitation light to a living organ to which indocyanine green is administered, and before indocyanine green administration. Compared with the cancer lesion distribution image obtained by applying X-ray, nuclear magnetic resonance or ultrasound to the subject's organs, it is detected by the intensity distribution image of near-infrared fluorescence, but the cancer lesion distribution image Discloses a data collection method for collecting data of a region that is not detected as secondary lesion region data of cancer.

国際公開第２００９／１３９４６６号International Publication No. 2009/139466

このような体内に侵入させた蛍光物質からの蛍光を撮影するイメージング装置では、単一のカメラで可視光と近赤外光とを同時に撮影し、ビデオレコーダで記録した撮影画像を動画再生する構成となっている。このように、従来のイメージング装置は、所定のフレームレートで撮影した画像を動画として録画・再生することで、明るい外部照明環境下での、ＩＣＧ投与後の血管・リンパ管の走行の観察や癌病巣領域の確認ができるものである。 In such an imaging device that captures fluorescence from a fluorescent substance that has entered the body, a single camera simultaneously captures visible light and near-infrared light, and plays back the captured image recorded by the video recorder as a moving image. It has become. As described above, the conventional imaging apparatus records and reproduces an image taken at a predetermined frame rate as a moving image, thereby observing the running of blood vessels and lymph vessels after administration of ICG and cancer in a bright external illumination environment. The focus area can be confirmed.

ところで、動画を構成するデータは、データ送信負荷の低減や再生の容易さ等、データの取り扱いを軽快に行うために、圧縮率の高い動画圧縮技術（Ｃｏｄｅｃ）により符号化され、動画再生機器やアプリケーションにより取り扱うことが可能なファイルフォーマットに格納される。そして、Ｃｏｄｅｃにより非可逆圧縮されたデータを格納した動画ファイルが記憶装置等に保存される。これらの圧縮動画ファイルは、動画再生時に、データの圧縮時に使用したＣｏｄｅｃで伸長される。一旦、非可逆圧縮形式で圧縮された動画の各フレームの画像は、圧縮前の無圧縮の各フレームの画像と比較して画質が劣化する。このため、再生を目的として生成される非可逆圧縮の動画ファイルの画像データを、種々の画像処理技術を利用した定量的評価等に利用することは困難であった。 By the way, data constituting a moving image is encoded by a moving image compression technology (Codec) having a high compression rate in order to easily handle data such as reduction of data transmission load and ease of reproduction, It is stored in a file format that can be handled by the application. Then, the moving image file storing the data irreversibly compressed by Codec is stored in a storage device or the like. These compressed moving image files are decompressed with the Codec used when compressing data during moving image reproduction. The image of each frame of the moving image once compressed in the lossy compression format deteriorates in image quality as compared with the image of each uncompressed frame before compression. For this reason, it has been difficult to use image data of a lossy-compressed moving image file generated for the purpose of reproduction for quantitative evaluation using various image processing techniques.

この発明は上記課題を解決するためになされたものであり、画像解析に利用することができる画像データを収集することが可能なイメージング装置を提供することを目的とする。 The present invention has been made to solve the above-described problems, and an object thereof is to provide an imaging apparatus capable of collecting image data that can be used for image analysis.

請求項１に記載の発明は、被検者の体内に浸入させた蛍光物質に励起光を照射する励起光源と、前記被検者に向けて白色光を照射する可視光源と、前記励起光により励起され、前記蛍光物質から発生した蛍光と、前記白色光の反射光とを検出して撮影する撮影部と、前記撮影部が、所定のフレームレートで前記蛍光と前記反射光とを同時に撮影することにより取得した蛍光画像および可視光画像とを合成した合成画像を作成する合成部を有する画像処理部と、前記蛍光画像、前記可視光画像、および、前記合成画像をそれぞれ記憶する画像記憶部と、を備え、前記画像記憶部は、前記蛍光画像、前記可視光画像、および、前記合成画像をそれぞれ高圧縮率の非可逆圧縮動画ファイルとして保存する第１動画保存部と、前記蛍光画像および前記可視光画像を、それぞれ可逆圧縮動画ファイルまたは無圧縮動画ファイルとして保存する第２動画保存部と、を有することを特徴とする。 According to the first aspect of the present invention, there is provided an excitation light source that irradiates excitation light to a fluorescent material that has entered the body of a subject, a visible light source that irradiates white light toward the subject, and the excitation light. An imaging unit that detects and captures the fluorescence emitted from the fluorescent material and the reflected light of the white light, and the imaging unit simultaneously captures the fluorescence and the reflected light at a predetermined frame rate. An image processing unit having a synthesis unit that creates a synthesized image obtained by synthesizing the fluorescent image and the visible light image acquired in this manner, and an image storage unit that stores the fluorescent image, the visible light image, and the synthesized image, respectively. The image storage unit includes a first moving image storage unit that stores the fluorescent image, the visible light image, and the composite image as a lossy compressed moving image file having a high compression rate, the fluorescent image, and the The Miko image, a second moving image storage unit for storing a lossless compression video files or uncompressed video file, respectively, and having a.

請求項２に記載の発明は、請求項１に記載の発明において、前記画像処理部は、前記非可逆圧縮動画ファイルの再生時に画像解析の対象とするフレームと、解析条件とを指定する条件指定部と、前記条件指定部において指定された前記非可逆圧縮動画ファイルのフレームに対応するフレームを、前記可逆圧縮動画ファイルまたは前記無圧縮動画ファイルから抽出して画像解析を行う解析部と、を有し、前記解析部における解析結果を表示部に表示する。 According to a second aspect of the present invention, in the first aspect of the present invention, the image processing unit specifies a frame to be subjected to image analysis and an analysis condition when the lossy compressed moving image file is played back. And an analysis unit that extracts a frame corresponding to the frame of the lossy compressed moving image file specified by the condition specifying unit from the lossless compressed moving image file or the non-compressed moving image file and performs image analysis. And the analysis result in the said analysis part is displayed on a display part.

請求項３に記載の発明は、請求項１または請求項２に記載の発明において、前記可逆圧縮動画ファイルまたは前記無圧縮動画ファイルの生成時における録画の開始と停止を、前記非可逆圧縮動画ファイルの生成時における録画の開始と停止に同期させる録画制御部を備える。 According to a third aspect of the present invention, in the first or second aspect of the present invention, the start and stop of recording at the time of generation of the lossless compressed moving image file or the uncompressed moving image file is determined by the lossy compressed moving image file. A recording control unit that synchronizes the start and stop of recording at the time of generation.

請求項４に記載の発明は、請求項１または請求項２に記載の発明において、前記可逆圧縮動画ファイルまたは前記無圧縮動画ファイルの生成時における録画の開始と停止を、前記非可逆圧縮動画ファイルの生成時における録画の開始と停止とは別に指定する録画制御部を備える。 According to a fourth aspect of the present invention, in the first or second aspect of the present invention, the start and stop of recording at the time of generation of the lossless compressed moving image file or the uncompressed moving image file is defined as the lossy compressed moving image file. There is provided a recording control unit for designating separately from start and stop of recording at the time of generation.

請求項１に記載の発明によれば、画像記憶部が、撮影部により取得した画像を、高圧縮率の非可逆圧縮動画ファイルとして保存する第１動画保存部と、可逆圧縮動画ファイルまたは無圧縮動画ファイルとして保存する第２動画保存部とを備えることから、従来と同様の動画再生が可能であるとともに、各種画像解析に使用することが可能な画質の動画像を収集することが可能となる。 According to the first aspect of the present invention, the image storage unit stores the first moving image storage unit that stores the image acquired by the photographing unit as an irreversible compressed moving image file with a high compression rate, and the reversible compressed moving image file or the non-compressed file. Since the second moving image storage unit that stores the moving image as a moving image file is provided, it is possible to reproduce the moving image similar to the conventional one and collect moving images having image quality that can be used for various image analysis. .

請求項２に記載の発明によれば、画像処理部が、非可逆圧縮動画ファイルの再生時に画像解析の対象とするフレームと解析条件を指定する条件指定部と、条件指定部において指定された非可逆圧縮動画ファイルのフレームに対応するフレームを、可逆圧縮動画ファイルを伸長した伸長動画ファイルまたは無圧縮動画ファイルから抽出して画像解析を行う解析部と、を有することから、オペレータは、表示部に表示させた非可逆圧縮動画ファイルの再生画像を見ながら、無圧縮または可逆圧縮動画ファイルにおける画像解析範囲の指定を容易に行うことができるとともに、従来、非可逆圧縮動画ファイルに格納された画像データの画質では得ることができなかった、空間的、時間的、定量的解析等の画像解析手法を用いた解析結果を取得することが可能となる。 According to the second aspect of the present invention, the image processing unit includes a condition designating unit that designates a frame to be subjected to image analysis and an analysis condition at the time of reproduction of the lossy compressed moving image file, and a non-specified designated by the condition designating unit. An operator that extracts a frame corresponding to the frame of the lossless compressed moving image file from the decompressed moving image file or the uncompressed moving image file obtained by expanding the lossless compressed moving image file, and performs image analysis. While viewing the playback image of the displayed lossy compressed video file, you can easily specify the image analysis range in the non-compressed or lossless compressed video file, and the image data previously stored in the lossy compressed video file To obtain analysis results using image analysis techniques such as spatial, temporal, and quantitative analysis that could not be obtained with It is possible.

請求項３に記載の発明によれば、録画制御部の作用により、収集対象とするすべての動画の録画の開始と停止が同期して実行されることから、表示部に表示するための動画である非可逆圧縮動画ファイルの取得と同時に、各種画像解析に使用することができる画質の画像データを格納した可逆圧縮動画ファイルまたは無圧縮動画ファイルを容易に取得することが可能となる。 According to the third aspect of the present invention, since the start and stop of the recording of all moving images to be collected are executed synchronously by the action of the recording control unit, the moving images to be displayed on the display unit are displayed. Simultaneously with the acquisition of a certain irreversible compressed moving image file, it becomes possible to easily acquire a reversible compressed moving image file or an uncompressed moving image file storing image data of image quality that can be used for various image analysis.

請求項４に記載の発明によれば、録画制御部の作用により、表示部に表示するための非可逆圧縮動画ファイルの取得とは別に、可逆圧縮動画ファイルまたは無圧縮動画ファイルとして保存する動画の録画の開始と停止を制御することから、非可逆圧縮動画ファイルよりもファイルサイズが大きくなる可逆圧縮動画ファイルまたは無圧縮動画ファイルを、解析に必要な時間範囲のみの動画ファイルとすることでサイズダウンでき、動画ファイルの記憶や転送等にかかる負荷を軽減することができる。 According to the fourth aspect of the present invention, by the action of the recording control unit, separately from the acquisition of the irreversible compressed moving image file to be displayed on the display unit, the moving image stored as a reversible compressed moving image file or an uncompressed moving image file is stored. By controlling the start and stop of recording, the size of a lossless compressed video file or a non-compressed video file that has a larger file size than that of a lossy compressed video file is reduced to a video file that has only the time range required for analysis. It is possible to reduce the load on storage and transfer of moving image files.

この発明に係るイメージング装置の概要図である。1 is a schematic diagram of an imaging apparatus according to the present invention. 照明・撮影部１２の概要図である。2 is a schematic diagram of an illumination / photographing unit 12. FIG. この発明に係るイメージング装置の主要な制御系を示すブロック図である。It is a block diagram which shows the main control systems of the imaging device which concerns on this invention. 表示部１４の画像の表示態様の一例を示す模式図である。4 is a schematic diagram illustrating an example of a display mode of an image on the display unit 14. FIG. 表示部１４の画像の表示態様の一例を示す模式図である。4 is a schematic diagram illustrating an example of a display mode of an image on the display unit 14. FIG.

以下、この発明の実施の形態を図面に基づいて説明する。図１は、この発明に係るイメージング装置の概要図である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a schematic diagram of an imaging apparatus according to the present invention.

このイメージング装置は、タッチパネル式の入力部１１を備え、後述する制御部３０および記憶部４０等を内蔵した本体１０と、アーム１３により移動可能に支持された照明・撮影部１２と、液晶表示パネル等から構成される表示部１４と、患者１７を載置する治療台１６とを備える。なお、照明・撮影部１２はアーム１３によって支持されたものに限定されず、術者が手に携帯するものや、既存の設備に固定するものであってもよい。 The imaging apparatus includes a touch panel type input unit 11, a main body 10 including a control unit 30 and a storage unit 40, which will be described later, an illumination / photographing unit 12 supported movably by an arm 13, and a liquid crystal display panel. And the like, and a treatment table 16 on which a patient 17 is placed. Note that the illumination / imaging unit 12 is not limited to the one supported by the arm 13, and may be one carried by the operator or fixed to an existing facility.

図２は、照明・撮影部１２の斜視図である。 FIG. 2 is a perspective view of the illumination / photographing unit 12.

この照明・撮影部１２は、近赤外光および可視光を検出可能なカメラ２１と、このカメラ２１の外周部に配設された赤外光源２２と、赤外光源２２の外周部に配設された可視光源２３とを備える。赤外光源２２は、患者１７の体内に侵入させた蛍光物質を励起させる励起光源である。また可視光源２３は、患者１７に白色光を照射する。 The illumination / photographing unit 12 includes a camera 21 capable of detecting near-infrared light and visible light, an infrared light source 22 disposed on the outer peripheral portion of the camera 21, and an outer peripheral portion of the infrared light source 22. The visible light source 23 is provided. The infrared light source 22 is an excitation light source that excites a fluorescent material that has entered the body of the patient 17. The visible light source 23 irradiates the patient 17 with white light.

この実施形態においては、赤外光源２２および可視光源２３と、カメラ２１とを一体化した照明・撮影部１２を使用しているが、赤外光源２２、可視光源２３、カメラ２１とを、それぞれ個別に配設してもよい。なお、表示部１４に蛍光画像のみを表示する場合には、可視光源２３を備えなくてもよい。 In this embodiment, the illumination / photographing unit 12 in which the infrared light source 22 and the visible light source 23 are integrated with the camera 21 is used. However, the infrared light source 22, the visible light source 23, and the camera 21 are respectively You may arrange | position separately. In addition, when displaying only a fluorescence image on the display part 14, the visible light source 23 does not need to be provided.

図３は、この発明に係るイメージング装置の主要な制御系を示すブロック図である。 FIG. 3 is a block diagram showing a main control system of the imaging apparatus according to the present invention.

このイメージング装置は、論理演算を実行するＣＰＵ、複数のＣｏｄｅｃを含む動画の生成および再生に必要なプログラムおよび装置の制御に必要なプログラムが格納されたＲＯＭ、制御時にデータが一時的に保存されるＲＡＭ等から構成され、装置全体を制御する制御部３０を備える。この制御部３０は、上述した入力部１１および表示部１４と接続されている。 This imaging apparatus includes a CPU that executes logical operations, a ROM that stores a program necessary for generating and reproducing a moving image including a plurality of Codecs, and a program necessary for controlling the apparatus, and temporarily stores data during control. A control unit 30 configured by a RAM or the like and controlling the entire apparatus is provided. The control unit 30 is connected to the input unit 11 and the display unit 14 described above.

また、この制御部３０は、カメラ２１、赤外光源２２および可視光源２３を備えた照明・撮影部１２と接続されている。このカメラ２１は、近赤外蛍光を検知するイメージセンサである近赤外蛍光センサ２５と、白色光の反射光（可視光）を検知するイメージセンサである可視光センサ２６を備えている。カメラ２１に入射した蛍光および可視光は、カメラ２１内の分光機構により分離され、各イメージセンサにより検知される。そして、各イメージセンサにより検知されて得られた蛍光画像および可視光画像は、制御部３０に送られる。カメラ２１が近赤外蛍光センサ２５と可視光センサ２６を備えることにより、このイメージング装置では、同一視野での蛍光画像および可視光画像を同期して取得できる。 The control unit 30 is connected to an illumination / photographing unit 12 including a camera 21, an infrared light source 22, and a visible light source 23. The camera 21 includes a near-infrared fluorescent sensor 25 that is an image sensor that detects near-infrared fluorescence, and a visible light sensor 26 that is an image sensor that detects reflected light (visible light) of white light. Fluorescence and visible light incident on the camera 21 are separated by a spectroscopic mechanism in the camera 21 and detected by each image sensor. Then, the fluorescence image and the visible light image obtained by being detected by each image sensor are sent to the control unit 30. Since the camera 21 includes the near-infrared fluorescence sensor 25 and the visible light sensor 26, this imaging apparatus can acquire a fluorescence image and a visible light image in the same field of view synchronously.

制御部３０は、機能的構成として画像処理部３１と録画制御部３７とを備える。画像処理部３１は、照明・撮影部１２により取得された蛍光画像と可視光画像とを合成する合成部３２と、後述する解析部３４による画像解析の解析条件等を指定する条件指定部３３と、条件指定部３３により指定された解析条件で解析を実行する解析部３４とを備える。録画制御部３７は、照明・撮影部１２により取得する蛍光画像、可視光画像および合成部３２において合成された合成画像の動画記録の開始と停止を制御する。 The control unit 30 includes an image processing unit 31 and a recording control unit 37 as functional configurations. The image processing unit 31 includes a combining unit 32 that combines the fluorescent image acquired by the illumination / photographing unit 12 and a visible light image, and a condition specifying unit 33 that specifies analysis conditions for image analysis by the analyzing unit 34 to be described later. And an analysis unit 34 that executes analysis under the analysis conditions specified by the condition specifying unit 33. The recording control unit 37 controls the start and stop of moving image recording of the fluorescent image acquired by the illumination / photographing unit 12, the visible light image, and the synthesized image synthesized by the synthesizing unit 32.

さらに、この制御部３０は、カメラ２１により撮影された画像等を記憶する記憶部４０とも接続されている。この記憶部４０は、画像処理部３１における合成部３２において蛍光画像と可視光画像とが合成された合成動画データを非可逆圧縮の動画ファイルとして保存する再生用動画保存部４２と、蛍光動画データと可視光動画データとを無圧縮または可逆圧縮の動画ファイルとして保存する解析用動画保存部４４とを有する画像記憶部４１を備える。なお、再生用動画保存部４２は、この発明の第１動画保存部に相当し、解析用動画保存部４４は、この発明の第２動画保存部に相当する。また、この実施形態では、第１動画保存部と第２動画保存部を、画像記録部４１の機能構成として説明しているが、第１動画保存部と第２動画保存部とを物理的に分離した記憶装置として構成してもよい。 Furthermore, the control unit 30 is also connected to a storage unit 40 that stores an image taken by the camera 21. The storage unit 40 includes a reproduction moving image storage unit 42 that stores the combined moving image data obtained by combining the fluorescent image and the visible light image in the combining unit 32 of the image processing unit 31 as a lossy compressed moving image file, and the fluorescent moving image data. And an analysis moving image storage unit 44 for storing the visible light moving image data as an uncompressed or lossless compressed moving image file. The reproduction moving image storage unit 42 corresponds to the first moving image storage unit of the present invention, and the analysis moving image storage unit 44 corresponds to the second moving image storage unit of the present invention. In this embodiment, the first moving image storage unit and the second moving image storage unit are described as the functional configuration of the image recording unit 41. However, the first moving image storage unit and the second moving image storage unit are physically separated. A separate storage device may be configured.

以下、この発明に係るイメージング装置を使用して外科の手術を行う場合の動作について説明する。なお、患者１７に対して術中蛍光血管造影を行う場合を例に説明する。 The operation when performing a surgical operation using the imaging apparatus according to the present invention will be described below. An example in which intraoperative fluorescent angiography is performed on the patient 17 will be described.

外科の手術の際に、この発明に係るイメージング装置を使用して蛍光血管造影を行う場合には、治療台１６上の仰臥した患者１７にインドシアニングリーンを注射により注入する。しかる後、患部を含む被写体に向けて、赤外光源２２から赤外線を照射するとともに可視光源２３から白色光を照射する。なお、赤外線としては、インドシアニングリーンが蛍光を発するための励起光として作用する７５０〜８５０ｎｍの近赤外光が採用される。これにより、インドシアニングリーンは、８４５ｎｍをピークとする近赤外領域の蛍光を発生させる。 In the case of performing fluorescent angiography using the imaging apparatus according to the present invention at the time of surgical operation, indocyanine green is injected into the patient 17 who is supine on the treatment table 16 by injection. Thereafter, the infrared light source 22 emits infrared light and the visible light source 23 emits white light toward the subject including the affected part. In addition, as infrared rays, near infrared light of 750 to 850 nm that acts as excitation light for indocyanine green to emit fluorescence is employed. Thereby, indocyanine green generates fluorescence in the near infrared region having a peak at 845 nm.

そして、患者１７の患部付近をカメラ２１により撮影する。撮影は、オペレータの入力部１１からの入力に応じて開始される。カメラ２１は、赤外光と可視光とを検出することが可能となっている。カメラ２１により撮影された蛍光画像および可視光画像は、図３に示す画像処理部３１に送られる。画像処理部３１においては、蛍光画像および可視画像を表示部１４に表示可能な画像データに変換する。すなわち、蛍光画像は８ビット画像データ、可視光画像はＲＧＢの３色より構成する２４ビット画像データに変換される。 Then, the vicinity of the affected part of the patient 17 is photographed by the camera 21. Imaging is started in response to an input from the input unit 11 of the operator. The camera 21 can detect infrared light and visible light. The fluorescence image and the visible light image captured by the camera 21 are sent to the image processing unit 31 shown in FIG. In the image processing unit 31, the fluorescent image and the visible image are converted into image data that can be displayed on the display unit 14. That is, the fluorescent image is converted into 8-bit image data, and the visible light image is converted into 24-bit image data composed of three colors of RGB.

カメラ２１により撮影される画像は、録画制御部３７の作用により、所定のフレームレートで収集される。そして、画像処理部３１では、画像データの連続である蛍光動画および可視光動画が生成され、必要に応じて可逆圧縮形式のＣｏｄｅｃにより符号化が行われる。蛍光動画及び可視光動画は、ファイルフォーマットに格納され、無圧縮の動画ファイルまたは可逆圧縮の動画ファイルとして画像記憶部４１における解析用動画保存部４４に保存される。また、蛍光動画および可視光動画の各フレームの蛍光画像および可視光画像は、合成部３２で合成され、合成動画となる。この合成動画は、非可逆圧縮形式で符号化された後にファイルフォーマットに格納され、非可逆圧縮の動画ファイルとして画像記憶部４１における再生用動画保存部４２に保存される。再生用動画保存部４２に非可逆圧縮の動画ファイルとして保存した合成動画は、保存直後または任意の時間後に観察のために表示部１４に表示される。 Images captured by the camera 21 are collected at a predetermined frame rate by the action of the recording control unit 37. Then, the image processing unit 31 generates a fluorescent moving image and a visible light moving image that are continuous image data, and performs encoding by a lossless compression codec as necessary. The fluorescent moving image and the visible light moving image are stored in a file format and stored in the analysis moving image storage unit 44 in the image storage unit 41 as an uncompressed moving image file or a reversible compressed moving image file. The fluorescent image and the visible light image of each frame of the fluorescent moving image and the visible light moving image are combined by the combining unit 32 to become a combined moving image. The synthesized moving image is encoded in an irreversible compression format, stored in a file format, and stored in a reproduction moving image storage unit 42 in the image storage unit 41 as an irreversible compression moving image file. The synthesized moving image stored as a lossy-compressed moving image file in the reproduction moving image storage unit 42 is displayed on the display unit 14 for observation immediately after storage or after an arbitrary time.

このイメージング装置では、合成動画の生成の開始と終了、および、無圧縮または非可逆圧縮の蛍光動画および可視光動画の生成の開始と終了は、録画制御部３７の作用により同期している。すなわち、再生用動画の録画の開始と停止、および、解析用動画の録画の開始と停止が同期しているので、このイメージング装置では、表示部１４に表示される合成動画と、この合成動画と同じ時間軸を持ち、かつ、録画時と後の再生時で画質の劣化を生じない画像データを保持する蛍光動画および可視光動画の少なくとも３つの動画ファイルが取得できることになる。 In this imaging apparatus, the start and end of generation of a synthetic moving image and the start and end of generation of a non-compressed or irreversible compression fluorescent moving image and visible light moving image are synchronized by the action of the recording control unit 37. That is, since the start and stop of recording of the moving image for reproduction and the start and stop of recording of the moving image for analysis are synchronized, in this imaging apparatus, the combined moving image displayed on the display unit 14 and the combined moving image It is possible to acquire at least three moving image files of a fluorescent moving image and a visible light moving image that have the same time axis and retain image data that does not cause deterioration in image quality during recording and later playback.

図４および図５は、表示部１４の画像の表示態様の一例を示す模式図である。 4 and 5 are schematic diagrams illustrating an example of an image display mode of the display unit 14.

図４および図５に示すように、表示部１４には、蛍光画像、可視光画像、合成画像または後述する処理画像の表示領域が設けられ、それぞれの画像が表示される。蛍光画像、可視光画像の表示領域には、例えば、解析用動画保存部４４に保存される無圧縮の動画ファイルから所定のフレーム間隔で抜き出した静止画が表示される。なお、蛍光動画や可視光動画を再生用動画保存部４２に非可逆圧縮動画ファイルとして保存してもよく、この場合には、蛍光画像、可視光画像の表示領域に蛍光動画や可視光動画を再生することもできる。また、図４に示す合成画像の表示領域には、再生用動画保存部４２に非可逆圧縮の動画ファイルとして保存した合成動画が再生される。 As shown in FIGS. 4 and 5, the display unit 14 is provided with a display area for a fluorescent image, a visible light image, a composite image, or a processed image described later, and each image is displayed. In the display area of the fluorescent image and the visible light image, for example, still images extracted from the uncompressed moving image file stored in the analysis moving image storage unit 44 at predetermined frame intervals are displayed. Note that a fluorescent moving image or a visible light moving image may be stored as a lossy compressed moving image file in the reproduction moving image storage unit 42. In this case, the fluorescent moving image or the visible light moving image is displayed in the display area of the fluorescent image or the visible light image. It can also be played. Further, in the composite image display area shown in FIG. 4, the composite moving image stored as a lossy compressed moving image file in the reproduction moving image storage unit 42 is reproduced.

条件指定部３３は、オペレータによる入力部１１からの入力に応じて、画像解析を行うフレームの指定および解析条件の指定を実行する。画像解析を行うフレームの指定は、オペレータが、図４に示す表示部１４の合成画像の表示領域に再生されている動画を見ながら、例えば、入力部１１のタッチパネルに設けられた動画中の画像解析を施す範囲を指定するボタンなど、解析メニューに関連付けられたボタンをタッチすることで実行することができる。このとき、再生動画ファイルと解析用動画保存部４４に保存された動画ファイルの各フレームの時間的な対応関係により、解析用動画保存部４４に保存された動画ファイルにおける画像解析を行うフレームも定まることになる。すなわち、オペレータは、従来と同様の再生動画による観察を行いながら、解析用動画保存部４４に保存された動画ファイルの所望のフレームを容易に画像解析の対象とすることができる。なお、このような画像解析の対象とするフレームの指定は、フレーム番号や動画の録画時間範囲の選択等を数値入力することにより行うこともできる。 The condition designating unit 33 performs designation of a frame for performing image analysis and designation of analysis conditions in accordance with an input from the input unit 11 by the operator. The frame for image analysis is specified by, for example, an image in a moving image provided on the touch panel of the input unit 11 while the operator watches the moving image reproduced in the composite image display area of the display unit 14 shown in FIG. This can be executed by touching a button associated with the analysis menu, such as a button for designating a range to be analyzed. At this time, the frame for performing image analysis in the moving image file stored in the analysis moving image storage unit 44 is also determined by the temporal correspondence between each frame of the reproduced moving image file and the moving image file stored in the analysis moving image storage unit 44. It will be. That is, the operator can easily set a desired frame of the moving image file stored in the analysis moving image storage unit 44 as an object of image analysis while performing observation with a reproduction moving image similar to the conventional one. Note that such a frame to be subjected to image analysis can also be specified by numerically inputting a frame number, a video recording time range selection, and the like.

また、条件指定部３３における画像解析の対象とするフレームの指定には、上述した入力部１１のタッチパネルによる入力だけでなく、他の入力手段により行うこともできる。例えば、表示部１４にタッチパネルを設け、図４に示す表示部１４の合成画像の表示領域に再生されている合成画像をタッチすることにより、画像解析を行うフレームの指定を行ってもよい。また、入力装置としてマウスを別途追加して、表示部１４の合成画像の表示領域に合成動画が再生されているときにオペレータがマウスをクリックすることで、画像解析を行うフレームの指定を行ってもよい。 In addition, the designation of a frame to be subjected to image analysis in the condition designating unit 33 can be performed not only by the input using the touch panel of the input unit 11 described above but also by other input means. For example, the display unit 14 may be provided with a touch panel, and a frame to be subjected to image analysis may be designated by touching the composite image reproduced in the composite image display area of the display unit 14 illustrated in FIG. In addition, a mouse is additionally added as an input device, and when the synthesized moving image is reproduced in the synthesized image display area of the display unit 14, the operator clicks the mouse to designate a frame for image analysis. Also good.

条件指定部３３における解析条件の指定は、例えば、入力部１１のタッチパネルに設けられた条件選択ボタンをオペレータがタッチすること等により実行される。血管やリンパ管の走行方向などの空間的な解析、血管内の血流の時間的な解析や定量的な解析、施術前後の血流の比較解析等、予めいくつかの解析メニューを用意しておき、そこから解析条件を選択することで、解析条件を指定することができる。 The specification of the analysis condition in the condition specifying unit 33 is executed, for example, when the operator touches a condition selection button provided on the touch panel of the input unit 11. Several analysis menus are prepared in advance, such as spatial analysis of the direction of blood vessels and lymphatic vessels, temporal analysis and quantitative analysis of blood flow in blood vessels, and comparative analysis of blood flow before and after treatment. The analysis conditions can be specified by selecting an analysis condition from there.

解析部３４は、条件指定部３３により合成動画において指定された解析対象となる合成動画フレームに対応するフレームを、解析用動画保存部４４に保存した無圧縮の蛍光動画ファイルおよび／または可視光動画ファイル、もしくは、可逆圧縮の蛍光動画ファイルおよび／または可視光動画ファイルを伸長したデータからそれぞれ抽出する。しかる後、画質の劣化が生じていない各フレームの画像に対して、条件指定部３３により指定された解析条件に従って、解析を実行する。 The analysis unit 34 stores an uncompressed fluorescent moving image file and / or a visible light moving image in which the frame corresponding to the combined moving image frame to be analyzed specified in the combined moving image by the condition specifying unit 33 is stored in the analyzing moving image storage unit 44. A file or a reversible compressed fluorescent moving image file and / or a visible light moving image file is extracted from the decompressed data. Thereafter, the analysis is executed on the image of each frame in which the image quality is not deteriorated according to the analysis condition specified by the condition specifying unit 33.

解析部３４による解析結果は、表示部１４に表示される。例えば、動画中で血流量をモニターしたい血管やその血管の影響領域を関心領域として指定し、蛍光動画から抽出したフレームの画像解析を行う場合には、図４に示すように、例えば、合成動画を再生している領域に重畳して解析結果の表示領域を設け、そこに数値や時間変化を示すグラフなどの図表により解析結果を表示する。 The analysis result by the analysis unit 34 is displayed on the display unit 14. For example, when a blood vessel whose blood flow volume is to be monitored in a moving image or an affected region of the blood vessel is designated as a region of interest and image analysis of a frame extracted from a fluorescent moving image is performed, for example, as shown in FIG. An analysis result display area is provided so as to be superimposed on the area where the image is reproduced, and the analysis result is displayed there by a figure such as a graph showing a numerical value or a change over time.

また、施術前と施術後での血流の状態を比較した場合には、図５に示すように、例えば、施術後の合成動画に施術前のあるフレームの蛍光画像を重ね合わせた処理画像を表示するようにしてもよい。 Further, when comparing the blood flow state before and after the treatment, as shown in FIG. 5, for example, a processed image obtained by superimposing a fluorescence image of a certain frame before the treatment on the synthesized moving image after the treatment is obtained. You may make it display.

次に、この発明に係るイメージング装置の変形例について説明する。 Next, a modified example of the imaging apparatus according to the present invention will be described.

上述した実施形態では、録画制御部３７は、記録する動画（蛍光動画、可視光動画および合成動画）の全てについて、それらが無圧縮、可逆圧縮、非可逆圧縮のいずれの形式で保存されるか否かにかかわらず、同期して録画と保存を実行する録画制御を行っている。一方、この変形例の録画制御部３７においては、非可逆圧縮の動画（合成動画）と、無圧縮または可逆圧縮の動画（蛍光動画、可視光動画）とで、録画の開始と停止を別々に制御している。このような制御の変形は、タッチパネル式の入力部１１に、収集したい動画の種別ごとに録画の開始と停止の入力ボタンを設け、それらの入力ボタンからの入力に応じた動作を実行させるプログラムを制御部３０のＲＯＭに格納することにより実現される。 In the above-described embodiment, the recording control unit 37 saves all of the recorded moving images (fluorescent moving images, visible light moving images, and synthesized moving images) in a non-compressed, lossless or irreversible compression format. Regardless of whether or not, recording control is performed to perform recording and storage in synchronization. On the other hand, in the recording control unit 37 of this modified example, recording is started and stopped separately for a lossy-compressed moving image (synthesized moving image) and a non-compressed or lossless-compressed moving image (fluorescent moving image, visible light moving image). Is controlling. Such a modification of the control is provided with a recording start and stop input button for each type of moving image to be collected in the touch panel type input unit 11, and a program for executing an operation according to the input from these input buttons. This is realized by storing in the ROM of the control unit 30.

録画制御部３７を、この変形例のように動作させる場合には、制御部３０に備えられた時計機能を利用して各動画ファイルに記述された時刻情報を読み取り、非可逆圧縮の合成動画ファイルの各フレームの時刻と、無圧縮または可逆圧縮の蛍光動画ファイル等の各フレームの時刻とを照合する。これにより、同時刻のフレームを、無圧縮または可逆圧縮の蛍光動画ファイル、および／または、無圧縮または可逆圧縮の可視光動画ファイルから抽出する。このように録画時間の異なる動画ファイル間の時間軸の対応付けを行うことで、表示部１４に再生される合成動画における各フレームと、解析部３４において画像解析に使用する蛍光動画および可視光動画の各フレームとの同時性を担保することができる。 When the recording control unit 37 is operated as in this modified example, the time information described in each video file is read using the clock function provided in the control unit 30, and the composite video file of irreversible compression is read. The time of each frame is compared with the time of each frame such as a non-compressed or reversibly compressed fluorescent moving image file. Thereby, the frames at the same time are extracted from the uncompressed or lossless-compression fluorescent movie file and / or the uncompressed or lossless-compression visible light movie file. By associating the time axis between moving image files having different recording times in this way, each frame in the synthesized moving image reproduced on the display unit 14, and a fluorescent moving image and a visible light moving image used for image analysis in the analyzing unit 34 The synchronization with each frame can be ensured.

可逆圧縮の動画ファイルは、一般的に非可逆圧縮の動画ファイルに比べ圧縮率が低く、データ容量が非可逆圧縮の動画ファイルより大きくなり、無圧縮の動画ファイルは、さらにデータ容量が大きくなる。上述した変形例では、画像解析に不要なデータを保存しないため、記憶部４０のデータ保存容量が不足する状況を回避することができるとともに、後に動画の各フレーム画像を利用する場合において、データ転送負荷を低減することが可能となる。 A losslessly compressed moving image file generally has a lower compression rate than an irreversible compressed moving image file, has a larger data capacity than an irreversible compressed moving image file, and an uncompressed moving image file has a larger data capacity. In the above-described modification, since data unnecessary for image analysis is not stored, it is possible to avoid a situation where the data storage capacity of the storage unit 40 is insufficient, and to transfer data when using each frame image of a moving image later. The load can be reduced.

なお、上述した実施形態においては、患者１７の血管造影にインドシアニングリーンを使用する場合について説明したが、癌細胞内で蛍光物質であるプロトポルフィリンＩＸ（ＰｐＩＸ）に代謝される５−ＡＬＡ等の、その他の蛍光標識剤を使用した場合にも、この発明を適用することができる。 In the above-described embodiment, the case where indocyanine green is used for angiography of the patient 17 has been described. However, 5-ALA or the like metabolized to protoporphyrin IX (PpIX) which is a fluorescent substance in cancer cells. The present invention can also be applied when other fluorescent labeling agents are used.

１１入力部
１２照明・撮影部
１３アーム
１４表示部
２１カメラ
２２赤外光源
２３可視光源
２５近赤外センサ
２６可視光センサ
３０制御部
３１画像処理部
３２合成部
３３条件指定部
３４解析部
４０記憶部
４１画像記憶部
４２再生用動画保存部
４４解析用動画保存部 DESCRIPTION OF SYMBOLS 11 Input part 12 Illumination / imaging | photography part 13 Arm 14 Display part 21 Camera 22 Infrared light source 23 Visible light source 25 Near-infrared sensor 26 Visible light sensor 30 Control part 31 Image processing part 32 Composition part 33 Condition designation part 34 Analysis part 40 Memory | storage Unit 41 Image storage unit 42 Movie storage unit for reproduction 44 Movie storage unit for analysis

Claims

An excitation light source that irradiates excitation light to a fluorescent substance that has entered the body of the subject;
A visible light source that emits white light toward the subject;
An imaging unit that detects and captures fluorescence generated from the fluorescent material excited by the excitation light and reflected light of the white light;
An image processing unit having a combining unit that generates a combined image obtained by combining the fluorescent image and the visible light image acquired by simultaneously capturing the fluorescent light and the reflected light at a predetermined frame rate;
An image storage unit for storing the fluorescence image, the visible light image, and the composite image, and
With
The image storage unit
A first moving image storage unit that stores the fluorescent image, the visible light image, and the composite image as an irreversible compressed moving image file with a high compression ratio,
A second moving image storage unit that stores the fluorescent image and the visible light image as a reversible compressed moving image file or an uncompressed moving image file, respectively;
An imaging apparatus comprising:

The imaging apparatus according to claim 1, wherein
The image processing unit
A condition designating unit for designating a frame to be subjected to image analysis at the time of reproduction of the lossy compressed video file and an analysis condition;
An analysis unit that performs image analysis by extracting a frame corresponding to the frame of the lossy compressed moving image file specified by the condition specifying unit from the lossless compressed moving image file or the uncompressed moving image file;
Have
An imaging apparatus for displaying an analysis result in the analysis unit on a display unit.

The imaging apparatus according to claim 1 or 2,
An imaging apparatus comprising a recording control unit that synchronizes the start and stop of recording when generating the lossless compressed moving image file or the uncompressed moving image file with the start and stop of recording when generating the lossy compressed moving image file.

The imaging apparatus according to claim 1 or 2,
An imaging apparatus comprising: a recording control unit that designates start and stop of recording when generating the lossless compressed moving image file or the uncompressed moving image file separately from start and stop of recording when generating the lossy compressed moving image file.