JP2017223706A - Fluorescence observation device and fluorescence observation method - Google Patents
Fluorescence observation device and fluorescence observation method Download PDFInfo
- Publication number
- JP2017223706A JP2017223706A JP2017159459A JP2017159459A JP2017223706A JP 2017223706 A JP2017223706 A JP 2017223706A JP 2017159459 A JP2017159459 A JP 2017159459A JP 2017159459 A JP2017159459 A JP 2017159459A JP 2017223706 A JP2017223706 A JP 2017223706A
- Authority
- JP
- Japan
- Prior art keywords
- image
- acquisition period
- frame
- fluorescence
- image acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Microscoopes, Condenser (AREA)
Abstract
Description
本発明は、蛍光観察装置及び蛍光観察方法に関する。 The present invention relates to a fluorescence observation apparatus and a fluorescence observation method.
従来、観測対象物に対して所定波長の励起光を供給・照射し、観測対象物で発生した蛍光の観測画像を撮像装置で取得する蛍光観察装置が知られている。かかる蛍光観察装置は、例えば医療分野において、リンパ管やリンパ節といった生体組織の同定などに用いられている。蛍光観察において、観測対象物の状態の時間変化等を観測する場合には、所定のフレームレートで時系列に画像を取得し、観測対象物の動画像を観測する方法が用いられている（例えば特許文献１，２参照）。 Conventionally, there has been known a fluorescence observation apparatus that supplies and irradiates an observation target with excitation light having a predetermined wavelength and acquires an observation image of fluorescence generated in the observation target with an imaging device. Such a fluorescence observation apparatus is used for identification of biological tissues such as lymphatic vessels and lymph nodes in the medical field, for example. In fluorescence observation, when observing a temporal change in the state of an observation object, a method of acquiring images in time series at a predetermined frame rate and observing a moving image of the observation object is used (for example, (See Patent Documents 1 and 2).
蛍光観察装置は、微弱な蛍光の観測画像を撮像するため、室内光や太陽光などの赤外波長成分が背景光として存在すると、観測画像のＳ／Ｎ比が低下するおそれがある。そこで、背景光の影響を除くため、励起光の供給をＯＮにしたときの画像（ＯＮ画像）と、励起光の供給をＯＦＦ（ＯＦＦ画像）にしたときの画像との差分を取る手法が検討されている。しかしながら、背景光の影響を除く一方で、短時間で高いＳ／Ｎ比の観測画像を取得できることが望まれている。露光時間を長くすればＳ／Ｎ比の向上が見込まれるが、単純に露光時間を長くすると、対象物の画像（動画像）の平滑性が失われるおそれがある。また、ＯＮ画像の露光時間とＯＦＦ画像の露光時間との関係によっては、観測画像を視認するユーザに対して励起光の点滅による違和感を生じさせてしまうおそれがある。 Since the fluorescence observation apparatus captures a weak fluorescence observation image, if an infrared wavelength component such as room light or sunlight is present as background light, the S / N ratio of the observation image may be reduced. Therefore, in order to eliminate the influence of background light, a method for taking the difference between the image when the excitation light supply is turned on (ON image) and the image when the supply of excitation light is turned off (OFF image) is examined. Has been. However, it is desired that an observation image with a high S / N ratio can be acquired in a short time while removing the influence of background light. Increasing the exposure time is expected to improve the S / N ratio, but if the exposure time is simply increased, the smoothness of the image (moving image) of the object may be lost. Further, depending on the relationship between the exposure time of the ON image and the exposure time of the OFF image, there is a possibility that the user who visually recognizes the observation image may feel uncomfortable due to blinking of the excitation light.
本発明は、上記課題の解決のためになされたものであり、鮮明で視認性に優れた観測画像が得られる蛍光観察装置及び蛍光観察方法を提供することを目的とする。 The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a fluorescence observation apparatus and a fluorescence observation method capable of obtaining a clear and highly visible observation image.
本発明の一側面に係る蛍光観察装置は、観測対象物に対して蛍光観測のための励起光を供給すると共に、前記励起光の供給のＯＮ／ＯＦＦを切り替え可能な励起光供給手段と、観測対象物に対して白色光を供給する白色光供給手段と、観測対象物からの光像を撮像すると共に、得られた観測対象物の画像データとして、第１フレームの画像及び第２フレームの画像を時系列で交互に出力する撮像手段と、撮像手段から出力された第１フレームの画像又は第２フレームの画像を記憶する画像記憶手段と、撮像手段から出力された第１フレームの画像及び第２フレームの画像の一方と、画像記憶手段に記憶された第１フレームの画像及び第２フレームの画像の他方との差分を取った差分画像を生成する差分画像生成手段と、を備え、励起光供給手段は、撮像手段による第１フレームの画像取得期間及び前記第２フレームの画像取得期間の一方が励起光の供給をＯＮにした蛍光画像取得期間となり、他方が励起光の供給をＯＦＦにした背景画像取得期間となるように励起光の供給を切り替え、撮像手段において、蛍光画像取得期間における励起光のＯＮ時間の長さと、背景画像取得期間における励起光のＯＦＦ時間の長さとが互いに異なっており、白色光供給手段は、蛍光画像取得期間及び背景画像取得期間のいずれにおいても白色光の供給をＯＮにする。 An fluorescence observation apparatus according to an aspect of the present invention supplies excitation light for fluorescence observation to an observation object, and excitation light supply means capable of switching ON / OFF of supply of the excitation light, and observation A white light supply means for supplying white light to the object, and a light image from the observation object, and an image of the first frame and an image of the second frame as image data of the obtained observation object Are alternately output in time series, image storage means for storing the first frame image or second frame image output from the imaging means, the first frame image output from the imaging means, and the first frame. A difference image generating means for generating a difference image obtained by taking a difference between one of the two frame images and the other of the first frame image and the second frame image stored in the image storage means; Supplier Is a fluorescence image acquisition period in which one of the image acquisition period of the first frame and the image acquisition period of the second frame by the imaging means is turned on and the other is a background image in which the supply of excitation light is turned off The supply of excitation light is switched so as to be an acquisition period, and in the imaging means, the length of the excitation light ON time in the fluorescence image acquisition period is different from the length of the excitation light OFF time in the background image acquisition period, The white light supply means turns on the white light supply in both the fluorescence image acquisition period and the background image acquisition period.
この蛍光観察装置では、観測対象物の画像データを時系列に取得する。また、第１フレームの画像取得期間及び第２フレームの画像取得期間の一方が蛍光画像取得期間となり、他方が背景画像取得期間となるように、フレーム画像の取得と励起光のＯＮ／ＯＦＦとを同期させる。これにより、撮像手段から出力された第１フレームの画像及び第２フレームの画像の一方と、画像記憶手段に記憶された第１フレームの画像及び第２フレームの画像の他方との差分とを取ることで、背景光の影響を除いた鮮明な観測画像を取得できる。また、この蛍光観察装置では、蛍光画像取得期間の露光時間と、背景画像取得期間の露光時間とが互いに異なっている。このように、蛍光画像取得期間の露光時間と背景画像取得期間の露光時間とを非対称にすることにより、観測画像の平滑性が良好なものとなる。また、露光時間の非対称性に応じて励起光のＯＮ／ＯＦＦの時間も非対称となるので、励起光の点滅によるユーザへの違和感を低減できる。さらに、白色供給手段による観測対象物のカラー画像を差分画像に重畳させることで、カラーで表示された観測対象物に蛍光が表示されるので、観測画像の視認性を一層高められる。 In this fluorescence observation apparatus, image data of an observation object is acquired in time series. Also, the acquisition of the frame image and the ON / OFF of the excitation light are performed so that one of the image acquisition period of the first frame and the image acquisition period of the second frame is the fluorescence image acquisition period and the other is the background image acquisition period. Synchronize. Thereby, the difference between one of the first frame image and the second frame image output from the imaging unit and the other of the first frame image and the second frame image stored in the image storage unit is obtained. Thus, a clear observation image excluding the influence of background light can be acquired. In this fluorescence observation apparatus, the exposure time in the fluorescence image acquisition period and the exposure time in the background image acquisition period are different from each other. Thus, the smoothness of the observation image is improved by making the exposure time in the fluorescence image acquisition period and the exposure time in the background image acquisition period asymmetric. Further, since the ON / OFF time of the excitation light is also asymmetric according to the asymmetry of the exposure time, it is possible to reduce a sense of discomfort to the user due to blinking of the excitation light. Furthermore, since the fluorescence is displayed on the observation object displayed in color by superimposing the color image of the observation object on the difference image by the white supply means, the visibility of the observation image can be further enhanced.
また、撮像手段は、エリアイメージセンサであることが好ましい。また、撮像手段は、プログレッシブ読み出し型の撮像手段であることが好ましい。この場合、観測対象物の画像データを好適に時系列に取得できる。 Moreover, it is preferable that an imaging means is an area image sensor. The imaging means is preferably a progressive readout type imaging means. In this case, the image data of the observation target can be suitably acquired in time series.
また、背景画像取得期間の露光時間又は蛍光画像取得期間の露光時間が３０ｍｓｅｃ未満に設定されていることが好ましい。この場合、蛍光画像取得期間又は背景画像取得期間が人体における網膜の時間分解能以下に設定されるため、励起光の点滅によるユーザへの違和感を一層効果的に低減できる。なお、背景画像取得期間の露光時間が３０ｍｓｅｃ未満に設定される場合、蛍光画像取得期間が相対的に長くなるので、蛍光画像において観測対象物の蛍光強度を一層十分に確保できる。したがって、より鮮明な観測画像を得ることが可能となる。 Moreover, it is preferable that the exposure time in the background image acquisition period or the exposure time in the fluorescence image acquisition period is set to less than 30 msec. In this case, since the fluorescence image acquisition period or the background image acquisition period is set to be equal to or less than the time resolution of the retina in the human body, it is possible to more effectively reduce the sense of discomfort to the user due to blinking of excitation light. In addition, when the exposure time of the background image acquisition period is set to less than 30 msec, the fluorescence image acquisition period becomes relatively long, so that the fluorescence intensity of the observation object can be more sufficiently ensured in the fluorescence image. Therefore, a clearer observation image can be obtained.
また、蛍光画像取得期間及び背景画像取得期間の合計時間が６０ｍｓｅｃ以下に設定されていることが好ましい。こうすると、観測画像の平滑性を一層確保できる。 The total time of the fluorescence image acquisition period and the background image acquisition period is preferably set to 60 msec or less. In this way, the smoothness of the observed image can be further ensured.
また、観測対象物に対して蛍光観測のための励起光を供給すると共に、励起光の供給のＯＮ／ＯＦＦを切り替える励起光供給ステップと、観測対象物に対して白色光を供給する白色光供給ステップと、観測対象物からの光像を撮像すると共に、得られた観測対象物の画像データとして、第１フレームの画像及び第２フレームの画像を時系列で交互に読み出しを行う撮像ステップと、撮像ステップで得られた第１フレームの画像又は第２フレームの画像を記憶する画像記憶ステップと、撮像ステップで得られた第１フレームの画像及び第２フレームの画像の一方と、画像記憶ステップで記憶された第１フレームの画像及び第２フレームの画像の他方との差分を取った差分画像を生成する差分画像生成ステップと、を備え、励起光供給ステップでは、撮像手段による第１フレームの画像取得期間及び第２フレームの画像取得期間の一方が励起光の供給をＯＮにした蛍光画像取得期間となり、他方が励起光の供給をＯＦＦにした背景画像取得期間となるように励起光の供給を切り替え、撮像ステップでは、蛍光画像取得期間における励起光のＯＮ時間の長さと、背景画像取得期間における励起光のＯＦＦ時間の長さとを互いに異ならせ、白色光供給ステップでは、蛍光画像取得期間及び背景画像取得期間のいずれにおいても白色光の供給をＯＮにする。 Also, an excitation light supply step for supplying excitation light for fluorescence observation to the observation object and switching on / off of the supply of excitation light, and a white light supply for supplying white light to the observation object An imaging step for alternately reading out the first frame image and the second frame image in time series as the image data of the observation object obtained while capturing the optical image from the step and the observation object; An image storing step for storing the first frame image or the second frame image obtained in the imaging step, one of the first frame image and the second frame image obtained in the imaging step, and the image storing step. A difference image generation step for generating a difference image obtained by taking a difference between the stored image of the first frame and the other of the images of the second frame, and at the excitation light supply step One of the image acquisition period of the first frame and the image acquisition period of the second frame by the imaging means is a fluorescence image acquisition period in which the supply of excitation light is turned on, and the other is a background image acquisition period in which the supply of excitation light is turned off The excitation light supply is switched so that the excitation light ON time length in the fluorescence image acquisition period and the excitation light OFF time length in the background image acquisition period are different from each other in the imaging step. In the step, the supply of white light is turned on in both the fluorescence image acquisition period and the background image acquisition period.
この蛍光観察方法では、観測対象物の画像データを時系列に取得する。また、第１フレームの画像取得期間及び第２フレームの画像取得期間の一方が蛍光画像取得期間となり、他方が背景画像取得期間となるように、フレーム画像の取得と励起光のＯＮ／ＯＦＦとを同期させる。これにより、撮像ステップで取得された第１フレームの画像及び第２フレームの画像の一方と、画像記憶ステップで記憶された第１フレームの画像及び第２フレームの画像の他方との差分とを取ることで、背景光の影響を除いた鮮明な観測画像を取得できる。また、この蛍光観察方法では、蛍光画像取得期間の露光時間と、背景画像取得期間の露光時間とが互いに異なっている。このように、蛍光画像取得期間の露光時間と背景画像取得期間の露光時間とを非対称にすることにより、観測画像の平滑性が良好なものとなる。また、露光時間の非対称性に応じて励起光のＯＮ／ＯＦＦの時間も非対称となるので、励起光の点滅によるユーザへの違和感を低減できる。さらに、白色供給ステップによる観測対象物のカラー画像を差分画像に重畳させることで、カラーで表示された観測対象物に蛍光が表示されるので、観測画像の視認性を一層高められる。 In this fluorescence observation method, image data of an observation object is acquired in time series. Also, the acquisition of the frame image and the ON / OFF of the excitation light are performed so that one of the image acquisition period of the first frame and the image acquisition period of the second frame is the fluorescence image acquisition period and the other is the background image acquisition period. Synchronize. Accordingly, the difference between one of the first frame image and the second frame image acquired in the imaging step and the other of the first frame image and the second frame image stored in the image storage step is taken. Thus, a clear observation image excluding the influence of background light can be acquired. In this fluorescence observation method, the exposure time in the fluorescence image acquisition period and the exposure time in the background image acquisition period are different from each other. Thus, the smoothness of the observation image is improved by making the exposure time in the fluorescence image acquisition period and the exposure time in the background image acquisition period asymmetric. Further, since the ON / OFF time of the excitation light is also asymmetric according to the asymmetry of the exposure time, it is possible to reduce a sense of discomfort to the user due to blinking of the excitation light. Furthermore, since the fluorescence is displayed on the observation object displayed in color by superimposing the color image of the observation object in the white supply step on the difference image, the visibility of the observation image can be further enhanced.
本発明に係る蛍光観察装置及び蛍光観察方法によれば、鮮明で視認性に優れた観測画像が得られる。 According to the fluorescence observation apparatus and the fluorescence observation method according to the present invention, a clear observation image with excellent visibility can be obtained.
以下、図面を参照しながら、本発明の一側面に係る蛍光観察装置及び蛍光観察方法の好適な実施形態について詳細に説明する。
［第１実施形態］
Hereinafter, preferred embodiments of a fluorescence observation apparatus and a fluorescence observation method according to one aspect of the present invention will be described in detail with reference to the drawings.
[First Embodiment]
図１は、本発明の第１実施形態に係る蛍光観察装置を示すブロック図である。同図に示す蛍光観察装置１Ａは、所定のフレームレートで時系列に観測対象物Ｐについての観測画像を取得することで、ユーザが観測対象物Ｐを動画で観察できるように構成されている。観測対象物Ｐは、例えば生体組織であり、予めインドシアニングリーンなどの蛍光色素が導入されている。蛍光観察装置１Ａは、例えば励起光源１１と、撮像装置１２と、画像処理部１３と、フレームメモリ１４と、差分演算器１５と、表示装置１６と、制御装置１７とを備えている。 FIG. 1 is a block diagram showing a fluorescence observation apparatus according to the first embodiment of the present invention. The fluorescence observation apparatus 1A shown in the figure is configured so that the user can observe the observation object P as a moving image by acquiring observation images of the observation object P in time series at a predetermined frame rate. The observation object P is, for example, a living tissue, and a fluorescent dye such as indocyanine green is introduced in advance. 1 A of fluorescence observation apparatuses are provided with the excitation light source 11, the imaging device 12, the image process part 13, the frame memory 14, the difference calculator 15, the display apparatus 16, and the control apparatus 17, for example.
励起光源１１は、観測対象物Ｐに対して蛍光観測のための励起光を供給する装置である。励起光源１１としては、例えば近赤外のＬＥＤやＳＬＤが用いられる。励起光源１１は、制御装置１７の制御によって励起光の供給のＯＮ／ＯＦＦ切り替えが可能となっている。励起光源１１は、より具体的には、撮像装置１２の動作と同期して観測対象物Ｐへの励起光の供給がなされるように制御される。励起光源１１は、撮像装置１２による第１フレームの画像取得期間及び第２フレームの画像取得期間の一方が励起光の供給をＯＮにした蛍光画像取得期間となり、他方が励起光の供給をＯＦＦにした背景画像取得期間となるように励起光の供給を行う。なお、励起光の供給のＯＮとは、例えば励起光源１１を点灯させた状態であり、励起光の供給のＯＦＦとは、例えば励起光源１１を消灯させた状態である。また、励起光の供給のＯＦＦには、励起光の供給を完全に停止する場合のみに限られず、励起光の強度をＯＮの場合に比べて小さくすることも含む。 The excitation light source 11 is an apparatus that supplies excitation light for observation of fluorescence to the observation object P. As the excitation light source 11, for example, a near infrared LED or SLD is used. The excitation light source 11 can be switched ON / OFF of the supply of excitation light under the control of the control device 17. More specifically, the excitation light source 11 is controlled so that excitation light is supplied to the observation object P in synchronization with the operation of the imaging device 12. In the excitation light source 11, one of the image acquisition period of the first frame and the image acquisition period of the second frame by the imaging device 12 is a fluorescence image acquisition period in which the supply of excitation light is turned on, and the other turns off the supply of excitation light. The excitation light is supplied so as to be the background image acquisition period. The excitation light supply ON is, for example, a state in which the excitation light source 11 is turned on, and the excitation light supply OFF is, for example, a state in which the excitation light source 11 is turned off. Further, the OFF of the excitation light supply is not limited to the case where the supply of the excitation light is completely stopped, and includes the case where the intensity of the excitation light is reduced as compared with the case where the excitation light is ON.
撮像装置１２は、制御装置１７の制御によって観測対象物Ｐからの光像を撮像する装置である。撮像装置１２は、観測対象物Ｐの画像データとして、第１フレームの画像及び第２フレームの画像を時系列で交互に出力するプログレッシブ型の撮像装置である。プログレッシブ型の撮像装置は、撮像素子の信号読み出し方式としてプログレッシブ読み出しを採用した装置である。プログレッシブ読み出しは、撮像素子の信号読み出し方式の一つであるインターレース読み出しとは異なり、ラスタ走査中に飛び越し走査を行わず、順次信号を読み出す方式である。撮像装置１２は、励起光波長域の光をカットすると共に蛍光波長域の光を透過させるフィルタ等の分光手段（不図示）を備え、分光手段からの光をＣＣＤイメージセンサやＣＭＯＳイメージセンサといったエリアイメージセンサによって撮像する。 The imaging device 12 is a device that captures a light image from the observation object P under the control of the control device 17. The imaging device 12 is a progressive imaging device that alternately outputs a first frame image and a second frame image in time series as image data of the observation object P. A progressive imaging apparatus is an apparatus that employs progressive readout as a signal readout method of an image sensor. Unlike the interlaced readout, which is one of the signal readout methods of the image sensor, the progressive readout is a method of sequentially reading out signals without performing interlaced scanning during raster scanning. The imaging device 12 includes spectroscopic means (not shown) such as a filter that cuts light in the excitation light wavelength range and transmits light in the fluorescence wavelength range, and the light from the spectroscopic means is an area such as a CCD image sensor or a CMOS image sensor. Images are taken by an image sensor.
この撮像装置１２において、１フレームの画像取得期間は、露光時間と画像データの読み出し時間とによって構成されており、蛍光画像取得期間の露光時間と、背景画像取得期間の露光時間とは、互いに異なるように設定されている。したがって、蛍光画像取得期間の露光時間と背景画像取得期間の露光時間とは等しくなく、いずれか一方が他方に比べて長くなるように設定されている。本実施形態では、蛍光画像取得期間の露光時間が背景画像取得期間の露光時間に対して長くなるように設定されており、その比は例えば５：１程度となっている。なお、蛍光画像取得期間を背景取得期間よりも短くなるように設定してもよい。 In this imaging device 12, the image acquisition period of one frame is configured by the exposure time and the readout time of image data, and the exposure time of the fluorescence image acquisition period and the exposure time of the background image acquisition period are different from each other. Is set to Therefore, the exposure time in the fluorescence image acquisition period and the exposure time in the background image acquisition period are not equal, and either one is set to be longer than the other. In the present embodiment, the exposure time in the fluorescence image acquisition period is set to be longer than the exposure time in the background image acquisition period, and the ratio is, for example, about 5: 1. The fluorescent image acquisition period may be set to be shorter than the background acquisition period.
第１フレームの画像取得期間の露光時間及び第２フレームの画像取得期間の露光時間は、例えば１００ｍｓｅｃ以下に設定されており、好ましくは６０ｍｓｅｃ以下に設定されている。プログレッシブ型の撮像装置では、一般にフレームレートが３０ｆｐｓ程度であり、１フレームの画像取得期間は３３．３ｍｓｅｃ程度である。したがって、蛍光画像と背景画像との差分を取った差分画像（後述）の取得には２フレーム分の画像を取得する必要があるため、第１フレームの画像取得期間の露光時間及び第２フレームの画像取得期間の露光時間の合計時間としては６０ｍｓｅｃ程度の時間が必要となり、差分画像のフレームレートは１６．７ｆｐｓ程度となる。 The exposure time in the image acquisition period of the first frame and the exposure time in the image acquisition period of the second frame are set to, for example, 100 msec or less, preferably 60 msec or less. In a progressive imaging apparatus, the frame rate is generally about 30 fps, and the image acquisition period of one frame is about 33.3 msec. Therefore, since it is necessary to acquire an image for two frames in order to acquire a difference image (described later) obtained by taking the difference between the fluorescence image and the background image, the exposure time of the image acquisition period of the first frame and the second frame The total exposure time of the image acquisition period requires about 60 msec, and the frame rate of the difference image is about 16.7 fps.
一般に、人体における網膜の時間分解能は、５０ｍｓｅｃ〜１００ｍｓｅｃ程度の範囲であり、これを超える時間分解能である場合（対応するフレームレートよりも小さいフレームレートである場合）、差分画像を動画で表示するときの平滑性が失われるおそれがある。したがって、第１フレームの画像取得期間及び第２フレームの画像取得期間を１００ｍｓｅｃ以下、好ましくは６０ｍｓｅｃ以下とすることで、差分画像の平滑性を担保できる。 In general, the time resolution of the retina in the human body is in the range of about 50 msec to 100 msec, and when the time resolution exceeds this (when the frame rate is smaller than the corresponding frame rate), when displaying the difference image as a moving image There is a risk of loss of smoothness. Therefore, the smoothness of the difference image can be ensured by setting the image acquisition period of the first frame and the image acquisition period of the second frame to 100 msec or less, preferably 60 msec or less.
また、蛍光画像取得期間の露光時間は、３０ｍｓｅｃ以上に設定される一方で、背景画像取得期間の露光時間は、３０ｍｓｅｃ以下に設定されている。このように、蛍光画像取得期間を十分に確保することで鮮明な蛍光画像を取得することができる。一方、背景画像取得期間の露光時間は、蛍光画像取得期間の露光時間に比べて短くても背景画像の取得に問題はなく、１０ｍｓｅｃ程度でも十分である。なお、読み出し時間は、通常数十μｓｅｃ〜数百μｓｅｃ程度であり、露光時間に比べて非常に小さい。したがって、露光時間の設定を調整すれば、十分に鮮明な蛍光画像を取得できる。 The exposure time in the fluorescence image acquisition period is set to 30 msec or more, while the exposure time in the background image acquisition period is set to 30 msec or less. Thus, a clear fluorescent image can be acquired by sufficiently securing the fluorescent image acquisition period. On the other hand, even if the exposure time in the background image acquisition period is shorter than the exposure time in the fluorescence image acquisition period, there is no problem in acquiring the background image, and about 10 msec is sufficient. The readout time is usually about several tens of microseconds to several hundreds of microseconds, which is much shorter than the exposure time. Therefore, a sufficiently clear fluorescent image can be acquired by adjusting the exposure time setting.
さらに、蛍光画像取得期間の露光時間及び背景画像取得期間の露光時間のいずれか一方が人体における網膜の時間分解能以下に設定されていることが好ましい。本実施形態では、蛍光画像取得期間と背景画像取得期間との切り替えに合わせて、励起光源１１の励起光のＯＮ／ＯＦＦも切り替えられる。すなわち、蛍光画像取得期間の露光時間中に励起光がＯＮとなるように制御装置１７が励起光源１１を制御し、背景画像取得期間の露光時間中に励起光がＯＦＦとなる（励起光の強度が小さくなるように）制御装置１７が励起光源１１を制御する。網膜の時間分解能には個人差があるが、概ね５０ｍｓｅｃ〜１００ｍｓｅｃの範囲である。したがって、蛍光画像取得期間の露光時間及び背景画像取得期間の露光時間のいずれか一方が３０ｍｓｅｃ未満であれば、観測画像を視認するユーザに対し、励起光の点滅による違和感を効果的に低減できる。 Furthermore, it is preferable that either one of the exposure time in the fluorescence image acquisition period and the exposure time in the background image acquisition period is set to be equal to or lower than the time resolution of the retina in the human body. In this embodiment, ON / OFF of excitation light of the excitation light source 11 is also switched in accordance with switching between the fluorescence image acquisition period and the background image acquisition period. That is, the control device 17 controls the excitation light source 11 so that the excitation light is turned on during the exposure time of the fluorescence image acquisition period, and the excitation light is turned off during the exposure time of the background image acquisition period (the intensity of the excitation light). The control device 17 controls the excitation light source 11. The time resolution of the retina varies between individuals, but is generally in the range of 50 msec to 100 msec. Therefore, if either one of the exposure time in the fluorescence image acquisition period and the exposure time in the background image acquisition period is less than 30 msec, it is possible to effectively reduce a sense of incongruity due to blinking excitation light for the user who visually recognizes the observation image.
画像処理部１３は、制御装置１７による制御に基づいて撮像装置１２で撮像された画像データの輝度を調整する部分である。画像処理部１３は、蛍光画像取得期間の露光時間と背景画像取得期間の露光時間との比に基づいて、蛍光画像の輝度及び背景画像の輝度を補正する。画像処理部１３は、蛍光画像取得期間の露光時間と背景画像取得期間の露光時間との比に基づく補正値を入力される画像の切り替えに合わせて切り替え、蛍光画像の輝度及び背景画像の輝度を補正する。すなわち、画像処理部１３は、励起光源１１の励起光のＯＮ／ＯＦＦの切り替えに合わせて補正値を切り替える。 The image processing unit 13 is a part that adjusts the luminance of image data captured by the imaging device 12 based on control by the control device 17. The image processing unit 13 corrects the luminance of the fluorescent image and the luminance of the background image based on the ratio between the exposure time in the fluorescent image acquisition period and the exposure time in the background image acquisition period. The image processing unit 13 switches the correction value based on the ratio of the exposure time of the fluorescence image acquisition period and the exposure time of the background image acquisition period in accordance with the input image switching, and changes the brightness of the fluorescence image and the brightness of the background image. to correct. That is, the image processing unit 13 switches the correction value in accordance with ON / OFF switching of the excitation light of the excitation light source 11.
本実施形態のように、蛍光画像取得期間の露光時間が背景画像取得期間の露光時間に対して長くなるように設定されている場合、画像処理部１３は、例えば蛍光画像取得期間の露光時間をｔ１とし、背景画像取得期間の露光時間ｔ２とした場合、蛍光画像が入力されると蛍光画像の輝度をそのまま維持する（第１の補正値）一方で、背景画像が入力されると背景画像の輝度を（ｔ１／ｔ２）倍する（第２の補正値）。なお、入力される画像の切り替えに関する信号は、制御装置１７から画像処理部１３に入力される。 When the exposure time in the fluorescence image acquisition period is set to be longer than the exposure time in the background image acquisition period as in this embodiment, the image processing unit 13 sets the exposure time in the fluorescence image acquisition period, for example. When t1 is set and the exposure time is t2 in the background image acquisition period, the luminance of the fluorescent image is maintained as it is when the fluorescent image is input (first correction value), while the background image is input when the background image is input. Brightness is multiplied by (t1 / t2) (second correction value). It should be noted that an input signal related to switching of images is input from the control device 17 to the image processing unit 13.
このように、露光時間の違いによる蛍光画像と背景画像との間の輝度の違いを補正することにより、差分を取ったときに背景光の影響を効果的に除去でき、より鮮明な観測画像を取得できる。なお、画像処理部１３に入力された輝度をそのまま維持して出力する場合についても、補正値が１倍の補正と考えればよい。また、画像処理部１３は、背景画像の輝度をそのまま維持する（第２の補正値）一方で、蛍光画像の輝度を（ｔ２／ｔ１）倍（第１の補正値）にしてもよい。 In this way, by correcting the difference in brightness between the fluorescent image and the background image due to the difference in exposure time, the effect of background light can be effectively removed when taking the difference, and a clearer observation image can be obtained. You can get it. It should be noted that the correction value may be considered as a correction of 1 times when the luminance input to the image processing unit 13 is output as it is. Further, the image processing unit 13 may maintain the luminance of the background image as it is (second correction value), while increasing the luminance of the fluorescent image by (t2 / t1) times (first correction value).
フレームメモリ１４は、撮像装置１２から出力された第１フレームの画像又は第２フレームの画像を記憶する部分である。フレームメモリ１４は、画像処理部１３で補正された蛍光画像又は背景画像を記憶する。 The frame memory 14 is a part that stores the first frame image or the second frame image output from the imaging device 12. The frame memory 14 stores the fluorescent image or the background image corrected by the image processing unit 13.
差分演算器１５は、撮像装置１２から出力された第１フレームの画像及び第２フレームの画像の一方と、画像記憶手段に記憶された第１フレームの画像及び第２フレームの画像の他方との差分を取った差分画像を生成する部分である。より具体的には、差分演算器１５には、画像処理部１３から出力された蛍光画像又は背景画像の一方と、フレームメモリ１４に記憶された蛍光画像及び背景画像の他方とが入力され、その差分の演算がなされる。 The difference calculator 15 calculates one of the first frame image and the second frame image output from the imaging device 12 and the other of the first frame image and the second frame image stored in the image storage unit. This is a part for generating a difference image obtained by taking the difference. More specifically, the difference calculator 15 receives one of the fluorescent image and the background image output from the image processing unit 13 and the other of the fluorescent image and the background image stored in the frame memory 14. The difference is calculated.
差分演算器としては、例えば演算論理装置（ＡＬＵ：Arithmetic Logic Unit）が用いられる。差分演算器１５のＡ１入力端子には、画像処理部１３の出力が出力され、差分演算器１５のＢ１入力端子には、フレームメモリ１４の出力が接続されている。また、差分演算器１５のＹ１出力端子からは、演算結果である差分画像が表示装置１６に出力される。なお、差分演算において、演算結果が負となる場合には０出力となる。 As the difference calculator, for example, an arithmetic logic unit (ALU) is used. The output of the image processing unit 13 is output to the A1 input terminal of the difference calculator 15, and the output of the frame memory 14 is connected to the B1 input terminal of the difference calculator 15. Further, a difference image as a calculation result is output to the display device 16 from the Y1 output terminal of the difference calculator 15. In the difference calculation, when the calculation result is negative, the output is 0.
表示装置１６は、差分演算器１５で生成された差分画像を表示する装置である。蛍光観察装置１Ａには、表示装置１６以外の画像出力装置を設けてもよく、表示装置１６を設けずに、得られた差分画像の画像データを外部に出力する構成としてもよい。 The display device 16 is a device that displays the difference image generated by the difference calculator 15. The fluorescence observation apparatus 1 </ b> A may be provided with an image output device other than the display device 16, and the image data of the obtained difference image may be output to the outside without providing the display device 16.
図２は、図１に示した蛍光観察装置において実行される蛍光観察方法を示すタイミングチャートである。このタイミングチャートでは、（ａ）励起光源のＯＮ／ＯＦＦ、（ｂ）撮像装置における第１フレームの画像取得期間及び第２フレームの画像取得期間、（ｃ）差分演算器のＡ１入力、（ｄ）差分演算器のＢ１入力、（ｅ）生成される差分画像をそれぞれ示している。 FIG. 2 is a timing chart showing a fluorescence observation method executed in the fluorescence observation apparatus shown in FIG. In this timing chart, (a) excitation light source ON / OFF, (b) first frame image acquisition period and second frame image acquisition period in the imaging apparatus, (c) A1 input of difference calculator, (d) A B1 input of the difference calculator and (e) a generated difference image are shown.
図２のタイミングチャートにおいて、１つのフレームの差分画像を取得するためのフレーム取得期間ＴＮは、第１フレームの画像取得期間Ｔ１１と第２フレームの画像取得期間Ｔ２１とによって構成されている。同図の例では、画像取得期間Ｔ１１が蛍光画像取得期間であり、励起光の供給がＯＮとなっている。また、画像取得期間Ｔ２１が背景画像取得期間であり、励起光の供給がＯＦＦとなっている。 In the timing chart of FIG. 2, a frame acquisition period TN for acquiring a difference image of one frame is configured by an image acquisition period T11 of the first frame and an image acquisition period T21 of the second frame. In the example of the figure, the image acquisition period T11 is a fluorescence image acquisition period, and the supply of excitation light is ON. Further, the image acquisition period T21 is a background image acquisition period, and the supply of excitation light is OFF.
上述したように、蛍光画像取得期間の露光時間ｔ１は、背景画像取得期間の露光時間ｔ２よりも長くなるように設定されている。図２の例では、露光時間ｔ１は例えば５０ｍｓｅｃ、露光時間ｔ２は例えば１０ｍｓｅｃとなっている。したがって、画像取得期間Ｔ１１における励起光のＯＮ時間も約５０ｍｓｅｃ、画像取得期間Ｔ２１における励起光のＯＦＦ時間も約１０ｍｓｅｃとなっている。なお、これらの励起光のＯＮ時間及びＯＦＦ時間には、撮像装置の読み出し時間も加算されている。 As described above, the exposure time t1 in the fluorescence image acquisition period is set to be longer than the exposure time t2 in the background image acquisition period. In the example of FIG. 2, the exposure time t1 is, for example, 50 msec, and the exposure time t2 is, for example, 10 msec. Therefore, the excitation light ON time in the image acquisition period T11 is also about 50 msec, and the excitation light OFF time in the image acquisition period T21 is also about 10 msec. Note that the readout time of the imaging device is also added to the ON time and OFF time of these excitation lights.
画像取得期間Ｔ１１で取得された蛍光画像は、画像取得期間Ｔ２１において、画像処理部１３での第１の補正値に基づく輝度補正を経て差分演算器１５のＡ１入力端子に入力される。また、１つ前のフレーム取得期間ＴＮ−１の画像取得期間Ｔ２０で取得された背景画像は、画像取得期間Ｔ１１において、画像処理部１３での第２の補正値に基づく輝度補正を経てフレームメモリ１４に入力され、画像取得期間Ｔ２１において差分演算器１５のＢ１入力端子に入力される。そして、画像取得期間Ｔ２１では、Ａ１入力の蛍光画像とＢ１入力の背景画像との差分を取るＡ１−Ｂ１演算が実行され、蛍光が抽出された差分画像が生成される。 The fluorescence image acquired in the image acquisition period T11 is input to the A1 input terminal of the difference calculator 15 through luminance correction based on the first correction value in the image processing unit 13 in the image acquisition period T21. In addition, the background image acquired in the image acquisition period T20 of the previous frame acquisition period TN-1 is subjected to luminance correction based on the second correction value in the image processing unit 13 in the image acquisition period T11, and then the frame memory. 14 and input to the B1 input terminal of the difference calculator 15 in the image acquisition period T21. In the image acquisition period T21, an A1-B1 calculation is performed to take a difference between the A1 input fluorescence image and the B1 input background image, and a difference image from which fluorescence is extracted is generated.
励起光の供給、撮像装置１２での撮像、画像処理部１３での輝度補正、及び差分演算器１５での差分画像の生成は、各フレーム取得期間における第１フレームの画像取得期間及び第２フレームの画像取得期間で繰り返し実行される。これにより、生成された差分画像がＹ１出力から表示装置１６に時系列に出力され、観測対象物Ｐの観測画像が動画像として表示される。 The supply of excitation light, imaging with the imaging device 12, brightness correction with the image processing unit 13, and generation of the difference image with the difference calculator 15 are the image acquisition period and the second frame of the first frame in each frame acquisition period. It is repeatedly executed during the image acquisition period. Thereby, the generated difference image is output from the Y1 output to the display device 16 in time series, and the observation image of the observation object P is displayed as a moving image.
以上説明したように、蛍光観察装置１Ａでは、観測対象物Ｐの画像データをプログレッシブ読み出しによって時系列に取得する。また、第１フレームの画像取得期間及び第２フレームの画像取得期間の一方が蛍光画像取得期間となり、他方が背景画像取得期間となるように、フレーム画像の取得と励起光のＯＮ／ＯＦＦとを同期させている。これにより、撮像装置１２から出力された第１フレームの画像及び第２フレームの画像の一方と、画像記憶手段に記憶された第１フレームの画像及び第２フレームの画像の他方との差分とを取ることで、背景光の影響を除いた鮮明な観測画像を取得できる。 As described above, in the fluorescence observation apparatus 1A, the image data of the observation object P is acquired in time series by progressive reading. Also, the acquisition of the frame image and the ON / OFF of the excitation light are performed so that one of the image acquisition period of the first frame and the image acquisition period of the second frame is the fluorescence image acquisition period and the other is the background image acquisition period. Synchronized. Thereby, the difference between one of the first frame image and the second frame image output from the imaging device 12 and the other of the first frame image and the second frame image stored in the image storage means is calculated. By taking this, a clear observation image excluding the influence of background light can be acquired.
また、この蛍光観察装置１Ａでは、蛍光画像取得期間の露光時間と、背景画像取得期間の露光時間とが互いに異なっている。このように、蛍光画像取得期間の露光時間と背景画像取得期間の露光時間とを非対称にすることにより、観測画像の平滑性が良好なものとなる。また、露光時間の非対称性に応じて励起光のＯＮ／ＯＦＦの時間も非対称となるので、励起光の点滅によるユーザへの違和感を低減できる。 In the fluorescence observation apparatus 1A, the exposure time in the fluorescence image acquisition period and the exposure time in the background image acquisition period are different from each other. Thus, the smoothness of the observation image is improved by making the exposure time in the fluorescence image acquisition period and the exposure time in the background image acquisition period asymmetric. Further, since the ON / OFF time of the excitation light is also asymmetric according to the asymmetry of the exposure time, it is possible to reduce a sense of discomfort to the user due to blinking of the excitation light.
この蛍光観察装置１Ａでは、蛍光画像取得期間の露光時間と背景画像取得期間の露光時間との比に基づいて、蛍光画像の輝度及び背景画像の輝度を補正している。このように、露光時間の違いによる蛍光画像と背景画像との間の輝度の違いを補正することにより、差分を取ったときに背景光の影響を効果的に除去でき、より鮮明な観測画像を取得できる。 In the fluorescence observation apparatus 1A, the luminance of the fluorescent image and the luminance of the background image are corrected based on the ratio between the exposure time in the fluorescent image acquisition period and the exposure time in the background image acquisition period. In this way, by correcting the difference in brightness between the fluorescent image and the background image due to the difference in exposure time, the effect of background light can be effectively removed when taking the difference, and a clearer observation image can be obtained. You can get it.
本実施形態では、蛍光画像取得期間が背景画像取得期間よりも長くなるように励起光の供給を切り替えており、これに伴って、蛍光画像取得期間の露光時間が背景画像取得期間の露光時間よりも長くなるように設定されている。これにより、蛍光画像を十分な露光時間で取得することができ、蛍光画像において観測対象物の蛍光強度を一層十分に確保できる。したがって、より鮮明な観測画像を得ることが可能となる。 In the present embodiment, the excitation light supply is switched so that the fluorescence image acquisition period is longer than the background image acquisition period, and accordingly, the exposure time of the fluorescence image acquisition period is longer than the exposure time of the background image acquisition period. Is also set to be long. Thereby, a fluorescence image can be acquired with sufficient exposure time, and the fluorescence intensity of the observation object can be secured more sufficiently in the fluorescence image. Therefore, a clearer observation image can be obtained.
図３は、比較例における画像の一例を示す図であり、（ａ）は蛍光画像、（ｂ）は背景画像、（ｃ）は差分画像である。また、図４は、実施例における画像の一例を示す図であり、（ａ）は蛍光画像、（ｂ）は背景画像、（ｃ）は差分画像である。 FIG. 3 is a diagram illustrating an example of an image in a comparative example, where (a) is a fluorescent image, (b) is a background image, and (c) is a difference image. FIG. 4 is a diagram illustrating an example of an image in the embodiment, where (a) is a fluorescent image, (b) is a background image, and (c) is a difference image.
図３に示す比較例では、蛍光画像取得期間の露光時間と背景画像取得期間の露光時間との比が１：１（３０ｍｓｅｃ：３０ｍｓｅｃ）とされている。一方、図４に示す実施例では、フレーム取得期間を比較例と同一に設定した上で、蛍光画像取得期間の露光時間と背景画像取得期間の露光時間との比が５：１（５０ｍｓｅｃ：１０ｍｓｅｃ）とされ、背景画像の輝度を５倍に補正して蛍光画像との差分を取っている。この結果から、蛍光画像取得期間の露光時間と背景画像取得期間の露光時間とを異ならせる蛍光観察装置１Ａの蛍光観察方法においても、背景光の影響を効果的に除去して鮮明な観測画像を取得可能であることが確認できる。
［第２実施形態］
In the comparative example shown in FIG. 3, the ratio of the exposure time in the fluorescence image acquisition period and the exposure time in the background image acquisition period is 1: 1 (30 msec: 30 msec). On the other hand, in the embodiment shown in FIG. 4, the frame acquisition period is set to be the same as that of the comparative example, and the ratio of the exposure time of the fluorescent image acquisition period to the exposure time of the background image acquisition period is 5: 1 (50 msec: 10 msec). ), The brightness of the background image is corrected to 5 times, and a difference from the fluorescence image is obtained. From this result, even in the fluorescence observation method of the fluorescence observation apparatus 1A in which the exposure time in the fluorescence image acquisition period is different from the exposure time in the background image acquisition period, a clear observation image can be obtained by effectively removing the influence of the background light. It can be confirmed that it can be acquired.
[Second Embodiment]
図５は、本発明の第２実施形態に係る蛍光観察装置を示すブロック図である。同図に示すように、第２実施形態に係る蛍光観察装置１Ｂは、観測対象物Ｐに白色光を供給する白色光源２１と、白色光源２１による観測対象物Ｐの光像を撮像する撮像装置２２と、差分演算器１５によって生成された差分画像に、撮像装置２２によって撮像されたカラー画像を重畳させる重畳演算器２３とを更に備える点で第１実施形態と異なっている。 FIG. 5 is a block diagram showing a fluorescence observation apparatus according to the second embodiment of the present invention. As shown in the figure, the fluorescence observation apparatus 1B according to the second embodiment includes a white light source 21 that supplies white light to the observation target P, and an imaging device that captures a light image of the observation target P by the white light source 21. 22 and a difference calculator generated by the difference calculator 15 are different from those of the first embodiment in that the calculator 22 further superimposes a color image captured by the imaging device 22 on the difference image.
白色光源２１は、例えば白色ＬＥＤなどの照明光源である。また、撮像装置２２は、可視域の光を透過させるフィルタ等の分光手段（不図示）を備え、分光手段からの光をＣＣＤイメージセンサやＣＭＯＳイメージセンサといったエリアイメージセンサによって、観測対象物Ｐのカラー画像を撮像する。なお、励起光源用の撮像装置１２と白色光源用の撮像装置２２とは、同軸に分光された光像を撮像するように配置されることが好ましい。この場合、例えばプリズムやビームスプリッタといった分光手段（不図示）によって複数の光路に分光された光像をそれぞれ撮像できるようにエリアイメージセンサを配置すればよい。また、複数の光路に分光された光像が１つのエリアイメージセンサで受光される構成としてもよい。 The white light source 21 is an illumination light source such as a white LED. In addition, the imaging device 22 includes a spectral unit (not shown) such as a filter that transmits light in the visible range, and the light from the spectral unit is detected by the area image sensor such as a CCD image sensor or a CMOS image sensor. Take a color image. The imaging device 12 for the excitation light source and the imaging device 22 for the white light source are preferably arranged so as to capture a light image that is split coaxially. In this case, for example, an area image sensor may be arranged so that light images split into a plurality of optical paths can be captured by a spectroscopic means (not shown) such as a prism or a beam splitter. Moreover, it is good also as a structure by which the optical image disperse | distributed to the several optical path is light-received with one area image sensor.
重畳演算器２３は、差分演算器１５と同様の演算論理装置である。重畳演算器２３のＡ２入力端子には、撮像装置２２で取得されたカラー画像データが入力され、重畳演算器２３のＢ２入力端子には、差分演算器１５のＹ１出力端子からの差分画像データが入力される。そして、重畳演算器２３は、差分画像データにカラー画像を重畳してＹ２出力端子から表示装置１６に出力する。 The superimposition calculator 23 is an arithmetic logic device similar to the difference calculator 15. The color image data acquired by the imaging device 22 is input to the A2 input terminal of the superimposition calculator 23, and the difference image data from the Y1 output terminal of the difference calculator 15 is input to the B2 input terminal of the superimposition calculator 23. Entered. Then, the superimposing calculator 23 superimposes the color image on the difference image data and outputs it to the display device 16 from the Y2 output terminal.
図６は、図５に示した蛍光観察装置において実行される蛍光観察方法を示すタイミングチャートである。このタイミングチャートでは、（ａ）励起光源のＯＮ／ＯＦＦ、（ｂ）白色光源のＯＮ／ＯＦＦ、（ｃ）励起光源用の撮像装置における第１フレームの画像取得期間及び第２フレームの画像取得期間、（ｄ）白色光源用の撮像装置における第１フレームの画像取得期間及び第２フレームの画像取得期間、（ｅ）生成される差分画像、（ｆ）生成される重畳画像をそれぞれ示している。 FIG. 6 is a timing chart showing a fluorescence observation method executed in the fluorescence observation apparatus shown in FIG. In this timing chart, (a) excitation light source ON / OFF, (b) white light source ON / OFF, (c) image acquisition period of the first frame and image acquisition period of the second frame in the imaging device for the excitation light source (D) The image acquisition period of the first frame and the image acquisition period of the second frame in the imaging device for white light source, (e) the generated difference image, and (f) the generated superimposed image, respectively.
図６のタイミングチャートにおいて、励起光源１１及び励起光源１１用の撮像装置１２の動作、及び生成される差分画像は、図２の場合と同様である。白色光源２１は、蛍光画像取得期間及び背景画像取得期間のいずれの期間においてもＯＮ状態のままとなっており、白色光源２１用の撮像装置２２は、励起光源１１用の撮像装置１２の動作と同期して、カラー画像の露光及び読み出しを実行する。そして、画像取得期間Ｔ２１では、Ａ２入力のカラー画像とＢ２入力の差分画像との重畳を取るＡ２＋Ｂ２演算が実行され、これにより、カラー画像に差分画像が重畳された観察画像が生成される。 In the timing chart of FIG. 6, the operation of the excitation light source 11 and the imaging device 12 for the excitation light source 11 and the generated difference image are the same as in the case of FIG. 2. The white light source 21 remains in the ON state in both the fluorescence image acquisition period and the background image acquisition period, and the imaging device 22 for the white light source 21 operates in accordance with the operation of the imaging device 12 for the excitation light source 11. In synchronism, color image exposure and readout are executed. In the image acquisition period T21, an A2 + B2 calculation is performed to superimpose the A2 input color image and the B2 input difference image, thereby generating an observation image in which the difference image is superimposed on the color image.
以上のような蛍光観察装置１Ｂにおいても、蛍光画像取得期間の露光時間と、背景画像取得期間の露光時間とが互いに異なっている。このように、蛍光画像取得期間の露光時間と背景画像取得期間の露光時間とを非対称にすることにより、観測画像の平滑性が良好なものとなる。また、露光時間の非対称性に応じて励起光のＯＮ／ＯＦＦの時間も非対称となるので、励起光の点滅によるユーザへの違和感を低減できる。また、白色光源２１による観測対象物Ｐのカラー画像を差分画像に重畳させることで、カラーで表示された観測対象物Ｐに蛍光が表示されるので、観測画像の視認性を一層高めることができる。 Also in the fluorescence observation apparatus 1B as described above, the exposure time in the fluorescence image acquisition period and the exposure time in the background image acquisition period are different from each other. Thus, the smoothness of the observation image is improved by making the exposure time in the fluorescence image acquisition period and the exposure time in the background image acquisition period asymmetric. Further, since the ON / OFF time of the excitation light is also asymmetric according to the asymmetry of the exposure time, it is possible to reduce a sense of discomfort to the user due to blinking of the excitation light. Moreover, since the fluorescence is displayed on the observation object P displayed in color by superimposing the color image of the observation object P by the white light source 21 on the difference image, the visibility of the observation image can be further enhanced. .
なお、図６のタイミングチャートでは、白色光源２１を常にＯＮ（点灯）の状態としているため、白色光源２１の白色光の波長領域と励起光源１１の励起光の波長領域が重複（一部重複を含む）しても、蛍光画像と背景画像とに白色光によって励起された蛍光が含まれ、差分画像ではその影響が排除される。ただし、図７に示すように、励起光源１１のＯＮ／ＯＦＦの切り替えと反転するように、白色光源２１のＯＮ／ＯＦＦを切り替えてもよい。なお、図６で示したタイミングチャートの場合でも、白色光源２１からの白色光の波長領域から励起光の波長領域の光をカットするように、バンドパスフィルタなどの分光手段（不図示）を白色光源２１の白色光の光路上に配置することで、蛍光画像が白色光源によって影響を受けてしまうことを回避できるので、カラーで表示された観測画像を好適に得ることができる。
［第３実施形態］
In the timing chart of FIG. 6, since the white light source 21 is always ON (lighted), the wavelength region of the white light of the white light source 21 and the wavelength region of the excitation light of the excitation light source 11 overlap (partially overlap). The fluorescence image and the background image include fluorescence excited by white light, and the difference image eliminates the influence thereof. However, as shown in FIG. 7, the white light source 21 may be switched ON / OFF so as to be reversed with the ON / OFF switching of the excitation light source 11. In the case of the timing chart shown in FIG. 6 as well, a spectral means (not shown) such as a band-pass filter is white so as to cut the light in the wavelength region of the excitation light from the wavelength region of the white light from the white light source 21. By arranging the light source 21 on the optical path of white light, it is possible to avoid that the fluorescent image is affected by the white light source, so that an observation image displayed in color can be suitably obtained.
[Third Embodiment]
図８は、本発明の第３実施形態に係る蛍光観察装置を示すブロック図である。同図に示すように、第３実施形態に係る蛍光観察装置１Ｃは、フレームメモリ１４の後段にＭＡＸ／ＭＩＮフィルタ３１を更に備えている点で第１実施形態と異なっている。 FIG. 8 is a block diagram showing a fluorescence observation apparatus according to the third embodiment of the present invention. As shown in the figure, the fluorescence observation apparatus 1 </ b> C according to the third embodiment is different from the first embodiment in that a MAX / MIN filter 31 is further provided in the subsequent stage of the frame memory 14.
このＭＡＸ／ＭＩＮフィルタ３１は、フレームメモリ１４から差分演算器１５に出力される蛍光画像又は背景画像に対し、これらの画像に含まれる各画素の輝度について、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最大輝度を対象画素の輝度とする最大フィルタ処理、又は、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最小輝度を対象画素の輝度とする最小フィルタ処理を行うフィルタである。 The MAX / MIN filter 31 has a luminance of each pixel included in these images within a predetermined range in the vicinity of the target pixel with respect to the fluorescent image or background image output from the frame memory 14 to the difference calculator 15. Maximum filter processing using the maximum brightness at multiple pixels with a certain pixel added as the target pixel brightness, or the minimum brightness at multiple pixels with a pixel within the specified range in the vicinity of the target pixel as the target pixel It is a filter that performs the minimum filter processing with the brightness of.
図９は、図８に示した蛍光観察装置において実行される蛍光観察方法を示すタイミングチャートである。同図に示す例では、画像取得期間Ｔ１１で取得された蛍光画像は、画像取得期間Ｔ２１において、画像処理部１３での第１の補正値に基づく輝度補正を経て差分演算器１５のＡ１入力端子に入力される。また、１つ前のフレーム取得期間ＴＮ−１の画像取得期間Ｔ２０で取得された背景画像は、画像取得期間Ｔ１１において、画像処理部１３での第２の補正値に基づく輝度補正を経てフレームメモリ１４に入力され、画像取得期間Ｔ２１において、ＭＡＸ／ＭＩＮフィルタ３１で最大フィルタ処理された後、差分演算器１５のＢ１入力端子に入力される。そして、画像取得期間Ｔ２１では、Ａ１入力の蛍光画像とＢ１入力の背景画像との差分を取るＡ１−ＭＡＸ（Ｂ１）演算が実行され、蛍光が抽出された差分画像が生成される。 FIG. 9 is a timing chart showing a fluorescence observation method executed in the fluorescence observation apparatus shown in FIG. In the example shown in the figure, the fluorescence image acquired in the image acquisition period T11 is subjected to luminance correction based on the first correction value in the image processing unit 13 in the image acquisition period T21, and then the A1 input terminal of the difference calculator 15 Is input. In addition, the background image acquired in the image acquisition period T20 of the previous frame acquisition period T N-1 is subjected to luminance correction based on the second correction value in the image processing unit 13 in the image acquisition period T11, and then the frame is obtained. After being input to the memory 14 and subjected to maximum filter processing by the MAX / MIN filter 31 in the image acquisition period T21, it is input to the B1 input terminal of the difference calculator 15. In the image acquisition period T21, an A1-MAX (B1) operation is performed to take a difference between the A1 input fluorescence image and the B1 input background image, and a difference image from which fluorescence is extracted is generated.
以上のような蛍光観察装置１Ｃにおいても、蛍光画像取得期間の露光時間と、背景画像取得期間の露光時間とが互いに異なっている。このように、蛍光画像取得期間の露光時間と背景画像取得期間の露光時間とを非対称にすることにより、観測画像の平滑性が良好なものとなる。また、露光時間の非対称性に応じて励起光のＯＮ／ＯＦＦの時間も非対称となるので、励起光の点滅によるユーザへの違和感を低減できる。 Also in the fluorescence observation apparatus 1C as described above, the exposure time in the fluorescence image acquisition period and the exposure time in the background image acquisition period are different from each other. Thus, the smoothness of the observation image is improved by making the exposure time in the fluorescence image acquisition period and the exposure time in the background image acquisition period asymmetric. Further, since the ON / OFF time of the excitation light is also asymmetric according to the asymmetry of the exposure time, it is possible to reduce a sense of discomfort to the user due to blinking of the excitation light.
また、蛍光観察装置１Ｃでは、フレームメモリ１４から差分演算器１５に出力される背景画像に対し、ＭＡＸ／ＭＩＮフィルタ３１による最大フィルタ処理がなされている。第１フレームの画像と第２フレームの画像との差分画像において、例えば明るい画像部分と暗い画像部分との境界で偽の差分画像成分が抽出される場合がある。また、観測対象物Ｐに動きがある場合にも、偽の差分画像成分が抽出される場合がある。これに対し、最大フィルタ処理を背景画像に適用することで、偽の差分画像成分の抽出を抑制できる。 In the fluorescence observation apparatus 1 </ b> C, the maximum filter processing by the MAX / MIN filter 31 is performed on the background image output from the frame memory 14 to the difference calculator 15. In the difference image between the image of the first frame and the image of the second frame, for example, a false difference image component may be extracted at the boundary between the bright image portion and the dark image portion. In addition, even when the observation target P has a movement, a false difference image component may be extracted. On the other hand, by applying the maximum filter process to the background image, it is possible to suppress the extraction of a fake difference image component.
ＭＡＸ／ＭＩＮフィルタ３１の最大フィルタ処理による偽の差分画像成分の抽出の抑制効果について説明する。図１０は、図８に示した蛍光観察装置における画像の一例を示す図であり、（ａ）は背景画像、（ｂ）は蛍光画像である。これらの背景画像及び蛍光画像は、輝度補正済みであり、背景画像を取得してから蛍光画像を取得するまでに、観測対象物Ｐが２画素分だけ上側に移動した状態を示している。また、図１１は、図１０の例において偽の差分画像成分の除去の様子を示す図であり、（ａ）は通常の差分を取る場合、（ｂ）（ｃ）は、最大フィルタ処理を行った場合である。 The effect of suppressing the extraction of false differential image components by the maximum filter processing of the MAX / MIN filter 31 will be described. FIG. 10 is a diagram illustrating an example of an image in the fluorescence observation apparatus illustrated in FIG. 8, where (a) is a background image and (b) is a fluorescence image. The background image and the fluorescence image have been corrected for luminance, and show a state in which the observation target P has moved upward by two pixels from the acquisition of the background image to the acquisition of the fluorescence image. FIG. 11 is a diagram showing how the false differential image component is removed in the example of FIG. 10, where (a) shows a normal difference, and (b) and (c) show the maximum filter processing. This is the case.
図１１（ａ）のＸは、図１０（ａ）の線Ｌ１に沿った輝度分布であり、Ｙは、図１０（ｂ）の線Ｌ２に沿った輝度分布を示している。輝度分布Ｘでは、図中の上側の画素から順に「暗→明→暗→明→暗→暗→明→明→明→暗→暗」となっているのに対し、輝度分布Ｙでは、観測対象物Ｐが移動した結果、図中の上側から順に「暗→明→暗→暗→明→明→明→暗→暗→明→明」となっている。このとき、Ｙ−Ｘ演算による差分画像では、本来、蛍光信号以外はすべての画素で輝度分布が「暗」にならなくてはならないが、輝度分布Ｙが「明」で且つ輝度分布Ｘが「暗」である画素において、偽の差分画像成分Ｚ１，Ｚ２が発生している。 11A represents the luminance distribution along the line L1 in FIG. 10A, and Y represents the luminance distribution along the line L2 in FIG. In the luminance distribution X, “dark → bright → dark → bright → dark → dark → bright → bright → bright → dark → dark” in order from the upper pixel in FIG. As a result of the movement of the object P, “dark → light → dark → dark → light → light → light → dark → dark → light → light” in order from the upper side in the figure. At this time, in the difference image obtained by the Y-X calculation, the luminance distribution must be “dark” in all pixels except for the fluorescence signal, but the luminance distribution Y is “bright” and the luminance distribution X is “ False differential image components Z1 and Z2 are generated in pixels that are “dark”.
このような偽の差分画像成分に対し、図１１（ｂ）では、フィルタ処理の画素数をｎ＝２として最大フィルタ処理を行い、対象画素に垂直方向で時間的に前の１個の画素を加えた２個の画素での最大輝度を対象画素の輝度としている。また、図１１（ｃ）では、フィルタ処理の画素数をｎ＝３として最大フィルタ処理を行い、対象画素に垂直方向で時間的に前の２個の画素を加えた３個の画素での最大輝度を対象画素の輝度としている。 For such a false difference image component, in FIG. 11B, the maximum filter processing is performed by setting the number of pixels of the filter processing to n = 2, and one pixel preceding in time in the direction perpendicular to the target pixel is obtained. The maximum luminance of the two added pixels is the luminance of the target pixel. Further, in FIG. 11C, the maximum filter processing is performed by setting the number of pixels of the filter processing to n = 3, and the maximum of three pixels obtained by adding the previous two pixels in the vertical direction to the target pixel The luminance is the luminance of the target pixel.
図１１（ｂ）に示すように、ｎ＝２の最大フィルタ処理では、背景画像の輝度分布ＭＡＸ（Ｘ）において、１つ前の画素の輝度が「暗」から「明」に置き換えられ、「暗→明→明→明→明→暗→明→明→明→明→暗」となっている。これにより、Ｙ−ＭＡＸ（Ｘ）演算による差分画像では、偽の差分画像成分Ｚ１，Ｚ２が除去されている。一方、Ｙ−ＭＡＸ（Ｘ）演算による差分画像では、輝度分布ＭＡＸ（Ｘ）における６番目の画素が依然として「暗」であるため、偽の差分画像成分Ｚ３が発生している。 As shown in FIG. 11B, in the maximum filter processing of n = 2, the luminance of the previous pixel is replaced from “dark” to “bright” in the luminance distribution MAX (X) of the background image. Dark → Bright → Bright → Bright → Bright → Dark → Bright → Bright → Bright → Bright → Dark ”. Thereby, the fake difference image components Z1 and Z2 are removed from the difference image obtained by the Y-MAX (X) calculation. On the other hand, in the difference image obtained by the Y-MAX (X) calculation, since the sixth pixel in the luminance distribution MAX (X) is still “dark”, a false difference image component Z3 is generated.
これに対し、図１１（ｃ）に示すように、ｎ＝３の最大フィルタ処理では、背景画像の輝度分布ＭＡＸ（Ｘ）において、２つ前及び１つ前の画素の輝度が「暗」から「明」に置き換えられ、「暗→明→明→明→明→明→明→明→明→明→明」となっている。これにより、Ｙ−ＭＡＸ（Ｘ）演算による差分画像では、全ての偽の差分画像成分が除去されている。 On the other hand, as shown in FIG. 11C, in the maximum filter processing of n = 3, the luminance of the previous pixel and the previous pixel is “dark” in the luminance distribution MAX (X) of the background image. It has been replaced with “bright” and becomes “dark → bright → bright → bright → bright → bright → bright → bright → bright → bright → bright”. Thereby, all the false difference image components are removed from the difference image obtained by the Y-MAX (X) calculation.
図１２は、図８に示した蛍光観察装置において実行される蛍光観察方法の変形例を示すタイミングチャートである。同図に示す例では、画像取得期間Ｔ１１で取得された蛍光画像は、画像取得期間Ｔ２１において、画像処理部１３での第１の補正値に基づく輝度補正を経てフレームメモリ１４に入力される。フレームメモリ１４に入力された蛍光画像は、画像取得期間Ｔ１２において、ＭＡＸ／ＭＩＮフィルタ３１で最小フィルタ処理された後、差分演算器１５のＢ１入力端子に入力される。また、画像取得期間Ｔ２１で取得された背景画像は、画像取得期間Ｔ１２において、画像処理部１３での第２の補正値に基づく輝度補正を経て差分演算器１５のＡ１入力端子に入力される。そして、画像取得期間Ｔ１２では、Ｂ１入力の蛍光画像とＡ１入力の背景画像との差分を取るＭＩＮ（Ｂ１）−Ａ１演算が実行され、蛍光が抽出された差分画像が生成される。 FIG. 12 is a timing chart showing a modification of the fluorescence observation method executed in the fluorescence observation apparatus shown in FIG. In the example shown in the figure, the fluorescent image acquired in the image acquisition period T11 is input to the frame memory 14 through luminance correction based on the first correction value in the image processing unit 13 in the image acquisition period T21. The fluorescence image input to the frame memory 14 is subjected to minimum filter processing by the MAX / MIN filter 31 in the image acquisition period T12, and then input to the B1 input terminal of the difference calculator 15. The background image acquired in the image acquisition period T21 is input to the A1 input terminal of the difference calculator 15 through luminance correction based on the second correction value in the image processing unit 13 in the image acquisition period T12. In the image acquisition period T12, a MIN (B1) -A1 calculation is performed to take a difference between the B1 input fluorescence image and the A1 input background image, and a difference image from which fluorescence is extracted is generated.
ＭＡＸ／ＭＩＮフィルタ３１の最小フィルタ処理による偽の差分画像成分の抽出の抑制効果について説明する。図１３は、図８に示した蛍光観察装置における画像の一例を示す図であり、（ａ）は蛍光画像、（ｂ）は背景画像である。これらの蛍光画像及び背景画像は、輝度補正済みであり、蛍光画像を取得してから背景画像を取得するまでに、観測対象物Ｐが２画素分だけ下側に移動した状態を示している。また、図１４は、図１３の例において偽の差分画像成分の除去の様子を示す図であり、（ａ）は通常の差分を取る場合、（ｂ）（ｃ）は、最小フィルタ処理を行った場合である。 The effect of suppressing the extraction of false differential image components by the minimum filter processing of the MAX / MIN filter 31 will be described. FIG. 13 is a diagram illustrating an example of an image in the fluorescence observation apparatus illustrated in FIG. 8, in which (a) is a fluorescence image and (b) is a background image. The fluorescence image and the background image have been corrected for luminance, and show a state in which the observation target P has moved downward by two pixels from the time when the fluorescence image is acquired until the background image is acquired. FIGS. 14A and 14B are diagrams illustrating how the false difference image component is removed in the example of FIG. 13. FIG. 14A illustrates a case where a normal difference is obtained, and FIGS. 14B and 14C illustrate minimum filter processing. This is the case.
図１４（ａ）のＸは、図１３（ａ）の線Ｌ３に沿った輝度分布であり、Ｙは、図１３（ｂ）の線Ｌ４に沿った輝度分布を示している。輝度分布Ｘでは、図中の上側の画素から順に「暗→明→暗→暗→明→明→明→暗→暗→明→明」となっているのに対し、輝度分布Ｙでは、観測対象物Ｐが移動した結果、図中の上側から順に「暗→明→暗→明→暗→暗→明→明→明→暗→暗」となっている。このとき、Ｘ−Ｙ演算による差分画像では、輝度分布Ｘが「明」で且つ輝度分布Ｙが「暗」である画素において、偽の差分画像成分Ｚ４，Ｚ５が発生している。 X in FIG. 14A is the luminance distribution along the line L3 in FIG. 13A, and Y indicates the luminance distribution along the line L4 in FIG. 13B. In the luminance distribution X, “dark → bright → dark → dark → bright → bright → bright → dark → dark → bright → bright”, while the luminance distribution Y is observed As a result of the movement of the object P, “dark → light → dark → light → dark → dark → light → light → light → dark → dark” in order from the upper side in the figure. At this time, in the difference image obtained by the XY calculation, false difference image components Z4 and Z5 are generated in pixels where the luminance distribution X is “bright” and the luminance distribution Y is “dark”.
このような偽の差分画像成分に対し、図１４（ｂ）では、フィルタ処理の画素数をｎ＝２として最小フィルタ処理を行い、対象画素に垂直方向で時間的に前の１個の画素を加えた２個の画素での最小輝度を対象画素の輝度としている。また、図１４（ｃ）では、フィルタ処理の画素数をｎ＝３として最小フィルタ処理を行い、対象画素に垂直方向で時間的に前の２個の画素を加えた３個の画素での最小輝度を対象画素の輝度としている。 In FIG. 14B, for such a false difference image component, the minimum filter processing is performed with the number of pixels of the filter processing being set to n = 2, and one pixel that is temporally previous to the target pixel is determined in time. The minimum luminance of the two added pixels is the luminance of the target pixel. Further, in FIG. 14C, the minimum filter processing is performed by setting the number of pixels of the filter processing to n = 3, and the minimum of three pixels obtained by adding the two previous pixels in time in the vertical direction to the target pixel. The luminance is the luminance of the target pixel.
図１４（ｂ）に示すように、ｎ＝２の最小フィルタ処理では、蛍光画像の輝度分布ＭＩＮ（Ｘ）において、１つ前の画素の輝度が「明」から「暗」に置き換えられ、「暗→暗→暗→暗→暗→明→明→暗→暗→暗→明」となっている。これにより、ＭＩＮ（Ｘ）−Ｙ演算による差分画像では、偽の差分画像成分Ｚ４，Ｚ５が除去されている。一方、ＭＩＮ（Ｘ）−Ｙ演算による差分画像では、輝度分布ＭＩＮ（Ｘ）における６，７番目の画素が依然として「明」であるため、偽の差分画像成分Ｚ６が発生している。 As shown in FIG. 14B, in the minimum filter processing of n = 2, the luminance of the previous pixel is replaced from “bright” to “dark” in the luminance distribution MIN (X) of the fluorescent image. Dark → Dark → Dark → Dark → Dark → Bright → Bright → Dark → Dark → Dark → Bright ”. Thereby, the false difference image components Z4 and Z5 are removed from the difference image by the MIN (X) -Y operation. On the other hand, in the difference image based on the MIN (X) -Y calculation, the sixth and seventh pixels in the luminance distribution MIN (X) are still “bright”, and therefore a false difference image component Z6 is generated.
これに対し、図１４（ｃ）に示すように、ｎ＝３の最小フィルタ処理では、蛍光画像の輝度分布ＭＩＮ（Ｘ）において、２つ前及び１つ前の画素の輝度が「明」から「暗」に置き換えられ、「暗→暗→暗→暗→暗→暗→明→暗→暗→暗→暗」となっている。これにより、ＭＩＮ（Ｘ）−Ｙ演算による差分画像では、全ての偽の差分画像成分が除去されている。 On the other hand, as shown in FIG. 14C, in the minimum filter processing of n = 3, the luminance of the second and previous pixels in the luminance distribution MIN (X) of the fluorescent image is “bright”. It has been replaced with “dark” and becomes “dark → dark → dark → dark → dark → dark → light → dark → dark → dark → dark”. Thereby, all the false difference image components are removed from the difference image obtained by the MIN (X) -Y calculation.
なお、上述した最大フィルタ処理及び最小フィルタ処理を組み合わせることも可能である。図１５は、図８に示した蛍光観察装置において実行される蛍光観察方法の別の変形例を示すタイミングチャートである。同図に示す例では、画像取得期間Ｔ１１で取得された蛍光画像は、画像取得期間Ｔ２１において、画像処理部１３での第１の補正値に基づく輝度補正を経てフレームメモリ１４に入力され、かつ差分演算器１５のＡ１入力端子に入力される。また、画像取得期間Ｔ２０で取得された背景画像は、画像取得期間Ｔ２１において、画像処理部１３での第２の補正値に基づく輝度補正を経てＭＡＸ／ＭＩＮフィルタ３１で最大フィルタ処理された後、差分演算器１５のＢ１入力端子に入力される。そして、画像取得期間Ｔ２１では、Ａ１入力の蛍光画像とＢ１入力の背景画像との差分を取るＡ１−ＭＡＸ（Ｂ１）演算が実行され、蛍光が抽出された差分画像が生成される。 It is possible to combine the above-described maximum filter processing and minimum filter processing. FIG. 15 is a timing chart showing another modification of the fluorescence observation method executed in the fluorescence observation apparatus shown in FIG. In the example shown in the figure, the fluorescence image acquired in the image acquisition period T11 is input to the frame memory 14 through the luminance correction based on the first correction value in the image processing unit 13 in the image acquisition period T21, and It is input to the A1 input terminal of the difference calculator 15. Further, the background image acquired in the image acquisition period T20 is subjected to maximum filter processing in the MAX / MIN filter 31 through the luminance correction based on the second correction value in the image processing unit 13 in the image acquisition period T21. It is input to the B1 input terminal of the difference calculator 15. In the image acquisition period T21, an A1-MAX (B1) operation is performed to take a difference between the A1 input fluorescence image and the B1 input background image, and a difference image from which fluorescence is extracted is generated.
一方、フレームメモリ１４に入力された蛍光画像は、画像取得期間Ｔ１２において、ＭＡＸ／ＭＩＮフィルタ３１で最小フィルタ処理された後、差分演算器１５のＢ１入力端子に入力される。また、画像取得期間Ｔ２１で取得された背景画像は、画像取得期間Ｔ１２において、画像処理部１３での第２の補正値に基づく輝度補正を経て差分演算器１５のＡ１入力端子に入力され、かつフレームメモリ１４に入力される。そして、画像取得期間Ｔ１２では、Ｂ１入力の蛍光画像とＡ１入力の背景画像との差分を取るＭＩＮ（Ｂ１）−Ａ１演算が実行され、蛍光が抽出された差分画像が生成される。 On the other hand, the fluorescence image input to the frame memory 14 is input to the B1 input terminal of the difference calculator 15 after being subjected to minimum filter processing by the MAX / MIN filter 31 in the image acquisition period T12. Further, the background image acquired in the image acquisition period T21 is input to the A1 input terminal of the difference calculator 15 through luminance correction based on the second correction value in the image processing unit 13 in the image acquisition period T12, and Input to the frame memory 14. In the image acquisition period T12, a MIN (B1) -A1 calculation is performed to take a difference between the B1 input fluorescence image and the A1 input background image, and a difference image from which fluorescence is extracted is generated.
ＭＡＸ／ＭＩＮフィルタ３１での最大フィルタ処理及び最小フィルタ処理において、フィルタ処理を適用する対象画素の近傍の画素数ｎを大きく設定すると、偽の差分画像成分の除去能力を向上できる。一方、画素数ｎを大きく設定すると、フィルタ処理実行のための回路規模の像体といった問題が生じ得る。また、大きい画素数ｎでのフィルタ処理の実行は、例えば差分画像自体を小さくしてしまう効果もある。 In the maximum filter processing and the minimum filter processing in the MAX / MIN filter 31, when the number n of pixels in the vicinity of the target pixel to which the filter processing is applied is set large, the ability to remove false differential image components can be improved. On the other hand, when the number of pixels n is set large, a problem such as an image of a circuit scale for executing filter processing may occur. Further, the execution of the filtering process with a large number of pixels n also has an effect of reducing the difference image itself, for example.
このような点を考慮すると、最大フィルタ処理及び最小フィルタ処理における対象画素の近傍の画素数ｎは、３以上５０以下の整数に設定することが好ましい。また、フィルタ処理回路、メモリの構成等に応じ、対象画素に対して垂直方向に時間的に後となる画素についてフィルタ処理に用いる構成としてもよい。さらに、同様のＭＡＸ／ＭＩＮフィルタを水平方向に適用する構成としてもよく、ＭＡＸ／ＭＩＮフィルタを垂直方向及び水平方向に組み合わせて適用する構成としてもよい。 Considering such points, it is preferable to set the number n of pixels in the vicinity of the target pixel in the maximum filter processing and the minimum filter processing to an integer of 3 to 50. Further, a configuration may be adopted in which a pixel that is temporally later in the vertical direction with respect to the target pixel is used for the filter processing in accordance with the configuration of the filter processing circuit, memory, and the like. Furthermore, the same MAX / MIN filter may be applied in the horizontal direction, or the MAX / MIN filter may be applied in combination in the vertical direction and the horizontal direction.
１Ａ〜１Ｃ…蛍光観察装置、１１…励起光源（励起光供給手段）、１２…撮像装置（撮像手段）、１３…画像処理部（画像処理手段）、１４…フレームメモリ（画像記憶手段）、１５…差分演算器（差分画像生成手段）、２１…白色光源（白色光供給手段）、２２…撮像装置（撮像手段）、２３…重畳演算器（重畳画像生成手段）、３１…ＭＡＸ／ＭＩＮフィルタ（フィルタ処理手段）、Ｐ…観測対象物。 DESCRIPTION OF SYMBOLS 1A-1C ... Fluorescence observation apparatus, 11 ... Excitation light source (excitation light supply means), 12 ... Imaging device (imaging means), 13 ... Image processing part (image processing means), 14 ... Frame memory (image storage means), 15 ... difference calculator (difference image generation means), 21 ... white light source (white light supply means), 22 ... imaging device (imaging means), 23 ... superimposition calculator (superimposition image generation means), 31 ... MAX / MIN filter ( Filter processing means), P ... observation object.
Claims (6)
前記観測対象物に対して白色光を供給する白色光供給手段と、
前記観測対象物からの光像を撮像すると共に、得られた前記観測対象物の画像データとして、第１フレームの画像及び第２フレームの画像を時系列で交互に出力する撮像手段と、
前記撮像手段から出力された前記第１フレームの画像又は前記第２フレームの画像を記憶する画像記憶手段と、
前記撮像手段から出力された前記第１フレームの画像及び前記第２フレームの画像の一方と、前記画像記憶手段に記憶された前記第１フレームの画像及び前記第２フレームの画像の他方との差分を取った差分画像を生成する差分画像生成手段と、を備え、
前記励起光供給手段は、前記撮像手段による前記第１フレームの画像取得期間及び前記第２フレームの画像取得期間の一方が前記励起光の供給をＯＮにした蛍光画像取得期間となり、他方が前記励起光の供給をＯＦＦにした背景画像取得期間となるように前記励起光の供給を切り替え、
前記撮像手段において、前記蛍光画像取得期間における前記励起光のＯＮ時間の長さと、前記背景画像取得期間における前記励起光のＯＦＦ時間の長さとが互いに異なっており、
前記白色光供給手段は、前記蛍光画像取得期間及び背景画像取得期間のいずれにおいても前記白色光の供給をＯＮにすることを特徴とする蛍光観察装置。 Excitation light supply means for supplying excitation light for fluorescence observation to the observation object and capable of switching ON / OFF of supply of the excitation light;
White light supply means for supplying white light to the observation object;
An imaging unit that captures an optical image from the observation object and outputs the first frame image and the second frame image alternately in time series as the obtained image data of the observation object;
Image storage means for storing the image of the first frame or the image of the second frame output from the imaging means;
Difference between one of the image of the first frame and the image of the second frame output from the imaging unit and the other of the image of the first frame and the image of the second frame stored in the image storage unit Difference image generation means for generating a difference image taken,
In the excitation light supply means, one of the image acquisition period of the first frame and the image acquisition period of the second frame by the imaging means is a fluorescence image acquisition period in which the supply of excitation light is turned on, and the other is the excitation image supply period. Switching the supply of the excitation light so as to be a background image acquisition period in which the supply of light is turned off,
In the imaging means, the length of the ON time of the excitation light in the fluorescence image acquisition period is different from the length of the OFF time of the excitation light in the background image acquisition period,
The fluorescence observation apparatus, wherein the white light supply means turns on the supply of the white light in both the fluorescence image acquisition period and the background image acquisition period.
前記観測対象物に対して白色光を供給する白色光供給ステップと、
前記観測対象物からの光像を撮像すると共に、得られた前記観測対象物の画像データとして、第１フレームの画像及び第２フレームの画像を時系列で交互に読み出しを行う撮像ステップと、
前記撮像ステップで得られた前記第１フレームの画像又は前記第２フレームの画像を記憶する画像記憶ステップと、
前記撮像ステップで得られた前記第１フレームの画像及び前記第２フレームの画像の一方と、前記画像記憶ステップで記憶された前記第１フレームの画像及び前記第２フレームの画像の他方との差分を取った差分画像を生成する差分画像生成ステップと、を備え、
前記励起光供給ステップでは、撮像手段による前記第１フレームの画像取得期間及び前記第２フレームの画像取得期間の一方が前記励起光の供給をＯＮにした蛍光画像取得期間となり、他方が前記励起光の供給をＯＦＦにした背景画像取得期間となるように前記励起光の供給を切り替え、
前記撮像ステップでは、前記蛍光画像取得期間における前記励起光のＯＮ時間の長さと、前記背景画像取得期間における前記励起光のＯＦＦ時間の長さとを互いに異ならせ、
前記白色光供給ステップでは、前記蛍光画像取得期間及び背景画像取得期間のいずれにおいても前記白色光の供給をＯＮにすることを特徴とする蛍光観察方法。 An excitation light supply step of supplying excitation light for fluorescence observation to the observation object and switching ON / OFF of the supply of the excitation light;
A white light supply step of supplying white light to the observation object;
An imaging step of capturing an optical image from the observation object, and alternately reading out the first frame image and the second frame image in time series as the obtained image data of the observation object;
An image storage step of storing the image of the first frame or the image of the second frame obtained in the imaging step;
Difference between one of the first frame image and the second frame image obtained in the imaging step and the other of the first frame image and the second frame image stored in the image storage step. A difference image generation step for generating a difference image taken,
In the excitation light supply step, one of the image acquisition period of the first frame and the image acquisition period of the second frame by the imaging unit is a fluorescence image acquisition period in which the supply of excitation light is turned on, and the other is the excitation light The supply of the excitation light is switched so that the background image acquisition period is turned off,
In the imaging step, the excitation light ON time length in the fluorescence image acquisition period and the excitation light OFF time length in the background image acquisition period are different from each other,
In the white light supply step, the white light supply is turned on in both the fluorescent image acquisition period and the background image acquisition period.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017159459A JP6411597B2 (en) | 2017-08-22 | 2017-08-22 | Fluorescence observation apparatus and fluorescence observation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017159459A JP6411597B2 (en) | 2017-08-22 | 2017-08-22 | Fluorescence observation apparatus and fluorescence observation method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013072782A Division JP6198426B2 (en) | 2013-03-29 | 2013-03-29 | Fluorescence observation apparatus and fluorescence observation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017223706A true JP2017223706A (en) | 2017-12-21 |
| JP6411597B2 JP6411597B2 (en) | 2018-10-24 |
Family
ID=60688051
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017159459A Expired - Fee Related JP6411597B2 (en) | 2017-08-22 | 2017-08-22 | Fluorescence observation apparatus and fluorescence observation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6411597B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108828770A (en) * | 2018-06-05 | 2018-11-16 | 广东欧谱曼迪科技有限公司 | A kind of bias light removing method and system suitable near infrared imaging |
| JP2019168423A (en) * | 2018-03-26 | 2019-10-03 | 浜松ホトニクス株式会社 | Image acquisition device and image acquisition method |
| WO2019198309A1 (en) * | 2018-04-09 | 2019-10-17 | 浜松ホトニクス株式会社 | Sample observation device and sample observation method |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1067375A2 (en) * | 1999-07-07 | 2001-01-10 | Fuji Photo Film Co., Ltd. | Fluorescence measuring apparatus |
| JP2002119464A (en) * | 2000-10-18 | 2002-04-23 | Asahi Optical Co Ltd | Electronic endoscopic device |
| JP2005204905A (en) * | 2004-01-22 | 2005-08-04 | Pentax Corp | Electronic endoscope apparatus with light irradiation control function |
| JP2009279172A (en) * | 2008-05-22 | 2009-12-03 | Fujinon Corp | Fluorescent image obtainment method and apparatus |
| JP2009279171A (en) * | 2008-05-22 | 2009-12-03 | Fujinon Corp | Fluorescent image obtainment method and apparatus |
| JP2012065898A (en) * | 2010-09-24 | 2012-04-05 | Fujifilm Corp | Electronic endoscope system |
-
2017
- 2017-08-22 JP JP2017159459A patent/JP6411597B2/en not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1067375A2 (en) * | 1999-07-07 | 2001-01-10 | Fuji Photo Film Co., Ltd. | Fluorescence measuring apparatus |
| JP2002119464A (en) * | 2000-10-18 | 2002-04-23 | Asahi Optical Co Ltd | Electronic endoscopic device |
| JP2005204905A (en) * | 2004-01-22 | 2005-08-04 | Pentax Corp | Electronic endoscope apparatus with light irradiation control function |
| JP2009279172A (en) * | 2008-05-22 | 2009-12-03 | Fujinon Corp | Fluorescent image obtainment method and apparatus |
| JP2009279171A (en) * | 2008-05-22 | 2009-12-03 | Fujinon Corp | Fluorescent image obtainment method and apparatus |
| JP2012065898A (en) * | 2010-09-24 | 2012-04-05 | Fujifilm Corp | Electronic endoscope system |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019168423A (en) * | 2018-03-26 | 2019-10-03 | 浜松ホトニクス株式会社 | Image acquisition device and image acquisition method |
| WO2019198309A1 (en) * | 2018-04-09 | 2019-10-17 | 浜松ホトニクス株式会社 | Sample observation device and sample observation method |
| JP2019184403A (en) * | 2018-04-09 | 2019-10-24 | 浜松ホトニクス株式会社 | Sample observing device and sample observing method |
| JP7007227B2 (en) | 2018-04-09 | 2022-01-24 | 浜松ホトニクス株式会社 | Sample observation device and sample observation method |
| US11391935B2 (en) | 2018-04-09 | 2022-07-19 | Hamamatsu Photonics K.K. | Sample observation device and sample observation method |
| CN108828770A (en) * | 2018-06-05 | 2018-11-16 | 广东欧谱曼迪科技有限公司 | A kind of bias light removing method and system suitable near infrared imaging |
| CN108828770B (en) * | 2018-06-05 | 2024-02-23 | 广东欧谱曼迪科技有限公司 | Background light elimination method and system suitable for near infrared imaging |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6411597B2 (en) | 2018-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6198426B2 (en) | Fluorescence observation apparatus and fluorescence observation method | |
| JP6411597B2 (en) | Fluorescence observation apparatus and fluorescence observation method | |
| US9635343B2 (en) | Stereoscopic endoscopic image processing apparatus | |
| JP6072372B2 (en) | Endoscope system | |
| JP6437943B2 (en) | Endoscope system, processor device, and operation method of endoscope system | |
| WO2019230095A1 (en) | Camera apparatus, image processing method, and camera system | |
| US20150002813A1 (en) | Image processing apparatus and image processing method | |
| JPWO2018131141A1 (en) | Endoscopic image processing apparatus and endoscopic image processing method | |
| JP7265823B2 (en) | Imaging device and program | |
| JPWO2017104192A1 (en) | Medical observation system | |
| JP2020151403A (en) | Medical image processing apparatus and medical observation system | |
| CN111542748A (en) | Information processing apparatus, information processing method, and fluorescent image capturing system | |
| JP6218709B2 (en) | Endoscope system, processor device, operation method of endoscope system, and operation method of processor device | |
| JP7116580B2 (en) | IMAGING DEVICE, METHOD AND PROGRAM FOR CONTROLLING IMAGING DEVICE | |
| JP2009066147A (en) | Living body observing device | |
| JP2016193107A (en) | Image processing system | |
| JP6043025B2 (en) | Imaging system and image processing apparatus | |
| US20210100439A1 (en) | Endoscope apparatus, operating method of endoscope apparatus, and information storage medium | |
| JP2009100936A (en) | Image processor | |
| EP3636135A1 (en) | Medical system and control unit | |
| JP2014161500A (en) | Image processor, ophthalmological photographing apparatus and method, and program | |
| JP2015225393A (en) | Image emphasis processing system and electronic endoscope system | |
| US20230255460A1 (en) | Image processing apparatus and image processing method | |
| US20210196100A1 (en) | Image processing apparatus, endoscope system, and image processing method | |
| JP4415162B2 (en) | Electronic endoscope device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180529 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180723 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180904 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180926 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6411597 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |