JP2014188083A - Endoscope system, processor device, and operation method - Google Patents
Endoscope system, processor device, and operation method Download PDFInfo
- Publication number
- JP2014188083A JP2014188083A JP2013064663A JP2013064663A JP2014188083A JP 2014188083 A JP2014188083 A JP 2014188083A JP 2013064663 A JP2013064663 A JP 2013064663A JP 2013064663 A JP2013064663 A JP 2013064663A JP 2014188083 A JP2014188083 A JP 2014188083A
- Authority
- JP
- Japan
- Prior art keywords
- light
- signal
- image signal
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 24
- 229910052760 oxygen Inorganic materials 0.000 claims abstract description 85
- 239000001301 oxygen Substances 0.000 claims abstract description 85
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims abstract description 84
- 238000003384 imaging method Methods 0.000 claims abstract description 38
- 238000012937 correction Methods 0.000 claims abstract description 27
- 238000005286 illumination Methods 0.000 claims description 78
- 238000005259 measurement Methods 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000001914 filtration Methods 0.000 claims description 16
- 230000008827 biological function Effects 0.000 claims description 14
- 238000006073 displacement reaction Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 239000008280 blood Substances 0.000 abstract description 19
- 210000004369 blood Anatomy 0.000 abstract description 19
- 108010054147 Hemoglobins Proteins 0.000 abstract description 14
- 102000001554 Hemoglobins Human genes 0.000 abstract description 14
- 238000012545 processing Methods 0.000 description 36
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 25
- 230000000875 corresponding effect Effects 0.000 description 22
- 238000006243 chemical reaction Methods 0.000 description 15
- 239000004065 semiconductor Substances 0.000 description 10
- 230000007423 decrease Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000002834 transmittance Methods 0.000 description 7
- 230000003595 spectral effect Effects 0.000 description 6
- 108010064719 Oxyhemoglobins Proteins 0.000 description 5
- 230000008033 biological extinction Effects 0.000 description 5
- 210000004204 blood vessel Anatomy 0.000 description 5
- 238000005452 bending Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 4
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 238000000295 emission spectrum Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 206010021143 Hypoxia Diseases 0.000 description 2
- 239000006096 absorbing agent Substances 0.000 description 2
- 238000000149 argon plasma sintering Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000001146 hypoxic effect Effects 0.000 description 2
- 230000031700 light absorption Effects 0.000 description 2
- 210000004767 rumen Anatomy 0.000 description 2
- INGWEZCOABYORO-UHFFFAOYSA-N 2-(furan-2-yl)-7-methyl-1h-1,8-naphthyridin-4-one Chemical compound N=1C2=NC(C)=CC=C2C(O)=CC=1C1=CC=CO1 INGWEZCOABYORO-UHFFFAOYSA-N 0.000 description 1
- 235000005811 Viola adunca Nutrition 0.000 description 1
- 240000009038 Viola odorata Species 0.000 description 1
- 235000013487 Viola odorata Nutrition 0.000 description 1
- 235000002254 Viola papilionacea Nutrition 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 108010002255 deoxyhemoglobin Proteins 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001687 destabilization Effects 0.000 description 1
- 108010036302 hemoglobin AS Proteins 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000011241 protective layer Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
- A61B5/1459—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Optics & Photonics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
本発明は、検体内の撮像により得られる画像信号から血中ヘモグロビンの酸素飽和度に関する生体機能情報を求める内視鏡システム及びプロセッサ装置並びに作動方法に関する。 The present invention relates to an endoscope system, a processor device, and an operating method for obtaining biological function information related to oxygen saturation of blood hemoglobin from an image signal obtained by imaging in a specimen.
医療分野においては、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムを用いて、診断することが一般的になっている(特許文献1〜6)。また、近年においては、生体機能情報の中でも血中ヘモグロビンの酸素飽和度を用いた病変部の診断が行われつつある。血中ヘモグロビンの酸素飽和度を取得する方法としては、酸化ヘモグロビンと還元ヘモグロビンの吸光係数が異なる第1信号光と、この第1信号光と異なる波長域の第2信号光を交互に粘膜内の血管に照射して、それら第1及び第2信号光の反射光を内視鏡先端部のセンサで検出する。 In the medical field, diagnosis is generally performed using an endoscope system including a light source device, an endoscope, and a processor device (Patent Documents 1 to 6). In recent years, lesions are being diagnosed using the oxygen saturation of blood hemoglobin in the biological function information. As a method for obtaining the oxygen saturation of blood hemoglobin, the first signal light having a different extinction coefficient between oxyhemoglobin and reduced hemoglobin and the second signal light having a wavelength range different from that of the first signal light are alternately contained in the mucous membrane. The blood vessel is irradiated, and the reflected light of the first and second signal lights is detected by the sensor at the distal end portion of the endoscope.
センサで検出した第1信号光の反射光に対応する第1信号用画像信号と第2信号光の反射光に対応する第2信号用画像信号の比率を示す測定用信号比は、内視鏡の自動露光制御(AE)が理想的に作動している状況下においては、血管内の酸素飽和度に変化が無ければ、一定値を維持する。その一方で、酸素飽和度に変化が生ずれば、それに伴って測定用信号比も変化する。したがって、測定用信号比から、酸素飽和度を算出することができる。 The signal ratio for measurement indicating the ratio of the image signal for the first signal corresponding to the reflected light of the first signal light detected by the sensor and the image signal for the second signal corresponding to the reflected light of the second signal light is an endoscope. When the automatic exposure control (AE) is ideally operated, a constant value is maintained if there is no change in the oxygen saturation in the blood vessel. On the other hand, if the oxygen saturation changes, the measurement signal ratio also changes accordingly. Therefore, the oxygen saturation can be calculated from the measurement signal ratio.
しかしながら、内視鏡先端部と検体との距離が急激に変化した場合など自動露光制御が不安定になった場合には、第1信号光と第2信号光の反射光の強度比(フレーム間強度比)が予め定めたフレーム間強度比(基準フレーム間強度比)から外れてしまうことがある。この場合には、酸素飽和度に変化が無い場合であっても、フレーム間強度比の変化とともに、測定用信号比も変化する。これは、酸素飽和度の算出精度を低下させる要因の一つとなる。 However, when the automatic exposure control becomes unstable, such as when the distance between the distal end of the endoscope and the specimen changes suddenly, the intensity ratio of the reflected light of the first signal light and the second signal light (between frames) Intensity ratio) may deviate from a predetermined interframe intensity ratio (reference interframe intensity ratio). In this case, even if there is no change in the oxygen saturation, the measurement signal ratio also changes as the inter-frame intensity ratio changes. This is one of the factors that reduce the calculation accuracy of the oxygen saturation.
そこで、特許文献1では、自動露光制御の不安定化でフレーム間強度比が基準フレーム間強度比から外れた場合であっても、それによって測定用信号比が変動しないように、フレーム間強度比の変化に応じて、第1信号用画像信号又は第2信号用画像信号を補正している。 Therefore, in Patent Document 1, even if the interframe intensity ratio deviates from the reference interframe intensity ratio due to destabilization of automatic exposure control, the interframe intensity ratio is set so that the measurement signal ratio does not fluctuate accordingly. The first signal image signal or the second signal image signal is corrected in accordance with the change of.
特許文献1では、フレーム間強度比の変化を把握するために、第1信号光と同時に第1参照光(蛍光体から発せられる蛍光のうちセンサのR画素で検出される赤色成分)を発光するとともに、第2信号光と同時に第2参照光(蛍光体から発せられる蛍光のうちセンサのR画素で検出される赤色成分)を発光している。そして、第1参照光に対応する第1参照用画像信号と第2参照光に対応する第2参照用画像信号との比率を示す参照用信号比を参照して、各画素毎に、第1信号用画像信号又は第2信号用画像信号の補正を行っている。 In Patent Document 1, in order to grasp the change in the intensity ratio between frames, the first reference light (the red component detected by the R pixel of the sensor out of the fluorescence emitted from the phosphor) is emitted simultaneously with the first signal light. At the same time, the second reference light (red component detected by the R pixel of the sensor out of the fluorescence emitted from the phosphor) is emitted simultaneously with the second signal light. Then, referring to the reference signal ratio indicating the ratio between the first reference image signal corresponding to the first reference light and the second reference image signal corresponding to the second reference light, the first reference image signal is determined for each pixel. The signal image signal or the second signal image signal is corrected.
参照用信号比は、第1参照用画像信号の平均値と第2参照用画像信号の平均値から算出される。そのため、画面内の一部の領域が他の領域よりも暗くなった場合など、明るさが大きく異なる領域が画像中に存在する場合には、参照用信号比を用いても、正確に補正することができない場合がある。このような状況は、内視鏡先端部が湾曲して旋回動作する場合(画面内の一部の領域が検体に接近し、その他の領域が遠ざかるような場合)や、内視鏡先端部の前方に突然隆起物が出現した場合などに発生する。したがって、画像中に明るさが異なる領域が存在しても、フレーム間強度比の変動に応じて、信号用画像信号を正確に補正することによって、酸素飽和度を精度良く算出することが求められている。 The reference signal ratio is calculated from the average value of the first reference image signal and the average value of the second reference image signal. For this reason, if an area with significantly different brightness exists in the image, such as when some areas in the screen are darker than other areas, correct even if the reference signal ratio is used. It may not be possible. Such a situation can occur when the endoscope tip is curved and swivels (some areas in the screen are close to the specimen and other areas are moved away), or the endoscope tip is Occurs when an uplift suddenly appears forward. Therefore, even if there are regions with different brightness in the image, it is required to accurately calculate the oxygen saturation level by accurately correcting the signal image signal according to the fluctuation of the intensity ratio between frames. ing.
本発明は、画像中に明るさが異なる領域が存在しても、血中ヘモグロビンの酸素飽和度を精度良く算出することができる内視鏡システム及びプロセッサ装置並びに作動方法を提供することを目的とする。 An object of the present invention is to provide an endoscope system, a processor device, and an operation method capable of accurately calculating the oxygen saturation level of blood hemoglobin even when regions having different brightness exist in an image. To do.
上記目的を達成するために、本発明の内視鏡システムは、第1信号光、及び参照光を含む第1照明光を発する第1光源と、第1信号光と波長域が異なる第2信号光、及び参照光を含む第2照明光を発する第2光源と、第1照明光と第2照明光が交互に検体に照射されるように、第1照明光と第2照明光の照射タイミングを制御する光源制御部と、検体から第1照明光の反射光を受光した時には、第1照明光の反射光を第1信号光と参照光に波長分離して撮像することにより、第1信号光に対応する第1信号用画像信号を出力するとともに、参照光に対応する第1参照用画像信号を出力し、検体から第2照明光の反射光を受光した時には、第2照明光の反射光を第2信号光と参照光に波長分離して撮像することにより、第2信号光に対応する第2信号用画像信号を出力するとともに、参照光に対応する第2参照用画像信号を出力する撮像部と、第1信号用画像信号と第2信号用画像信号との位置ずれ量を算出するとともに、それら信号用画像信号間の位置合わせを行う第1位置合わせ部と、位置ずれ量に基づいて、第1参照用画像信号と第2参照用画像信号の位置合わせを行う第2位置合わせ部と、位置合わせ済みの第1参照用画像信号と第2参照用画像信号に基づいて、各画素毎に、第1及び第2信号光の強度に関する参照情報を算出する参照情報算出部と、参照情報に基づいて、第1信号用画像信号又は第2信号用画像信号を補正する補正部と、補正後の第1信号用画像信号又は第2信号用画像信号に基づいて、生体機能情報を算出する生体機能情報算出部とを備えることを特徴とする。 To achieve the above object, an endoscope system according to the present invention includes a first light source that emits first illumination light including first signal light and reference light, and a second signal having a wavelength range different from that of the first signal light. The irradiation timing of the first illumination light and the second illumination light so that the specimen is alternately irradiated with the second light source that emits the second illumination light including the light and the reference light, and the first illumination light and the second illumination light. When the reflected light of the first illumination light from the specimen is received from the sample, the reflected light of the first illumination light is wavelength-separated into the first signal light and the reference light and imaged. When the first signal image signal corresponding to the light is output, the first reference image signal corresponding to the reference light is output, and the reflected light of the second illumination light is received from the specimen, the second illumination light is reflected. The second signal light and the reference light are wavelength-separated and imaged to obtain a second signal light corresponding to the second signal light. An image pickup unit that outputs a signal image signal and outputs a second reference image signal corresponding to the reference light; calculates a positional deviation amount between the first signal image signal and the second signal image signal; A first alignment unit that performs alignment between the signal image signals, a second alignment unit that aligns the first reference image signal and the second reference image signal based on the amount of displacement, Based on the first reference image signal and the second reference image signal that have been aligned, a reference information calculation unit that calculates reference information about the intensity of the first and second signal lights for each pixel, and the reference information Based on the correction unit that corrects the first signal image signal or the second signal image signal, and the biological function information that calculates the biological function information based on the corrected first signal image signal or second signal image signal And a function information calculation unit. To.
第1信号用画像信号と第2信号用画像信号に対して、高周波成分を抽出する高周波フィルタリングを施す高周波成分抽出部を備え、第1位置合わせ部は、高周波フィルタリング後の第1信号用画像信号と第2信号用画像信号に基づいて、位置ずれ量の算出及び位置合わせを行うことが好ましい。位置合わせ済みの第1参照用画像信号と第2参照用画像信号に対して、低周波成分を抽出する低周波フィルタリングを施す低周波成分抽出部を備え、第2位置合わせ部は、低周波フィルタリング後の第1参照用画像信号と第2参照用画像信号間の位置合わせを行うことが好ましい。 The first signal image signal and the second signal image signal include a high-frequency component extraction unit that performs high-frequency filtering to extract a high-frequency component, and the first alignment unit receives the first signal image signal after high-frequency filtering. It is preferable to calculate the amount of displacement and align the position based on the second signal image signal. A low-frequency component extraction unit that performs low-frequency filtering for extracting a low-frequency component on the first reference image signal and the second reference image signal that have been aligned is provided, and the second alignment unit includes low-frequency filtering. It is preferable to perform alignment between the subsequent first reference image signal and the second reference image signal.
第1信号用画像信号及び第2信号用画像信号のうち、一方の画像信号の複数のエリアにそれぞれ基準ポイントを設定するとともに、他方の画像信号内に、基準ポイントに対応する位置に探索ポイントを設定する探索条件設定部を備え、第1位置合わせ部は、探索ポイントを所定の探索範囲で移動させることにより、基準ポイントと最も近い特徴量を有する目標ポイントを検出する検出処理を行い、位置ずれ量は、目標ポイントを検出したときの探索ポイントの移動量であることが好ましい。 A reference point is set in each of a plurality of areas of one image signal of the first signal image signal and the second signal image signal, and a search point is set at a position corresponding to the reference point in the other image signal. A search condition setting unit for setting is provided, and the first alignment unit performs a detection process of detecting a target point having a feature quantity closest to the reference point by moving the search point within a predetermined search range. The amount is preferably the amount of movement of the search point when the target point is detected.
複数のエリアのうち暗部が存在する暗エリアについては、前記暗エリアのうち前記暗部以外の部分に基準ポイント及び探索ポイントを設定することが好ましい。検体との距離が一定値以上の場合の探索範囲を、距離が一定値を下回る場合の探索範囲よりも広くすることが好ましい。検体を拡大する拡大手段を備え、拡大手段の非使用時における探索範囲を、拡大手段の使用時における探索範囲よりも広くすることが好ましい。 For a dark area where a dark part exists among a plurality of areas, it is preferable to set a reference point and a search point in a part of the dark area other than the dark part. It is preferable that the search range when the distance to the specimen is equal to or greater than a certain value be wider than the search range when the distance is below a certain value. It is preferable to provide an enlarging means for enlarging the specimen, and to make the search range when the enlarging means is not used wider than the search range when the enlarging means is used.
撮像部は、第1信号光を受光して第1信号用画像信号を出力する第1画素と、第2信号光を受光して第2信号用画像信号を出力する第2画素と、参照光を受光して第1参照用画像信号又は第2参照用画像信号を出力する第3画素とが設けられたカラーのセンサを有することが好ましい。 The imaging unit receives a first signal light and outputs a first signal image signal; a second pixel that receives a second signal light and outputs a second signal image signal; and a reference light It is preferable to have a color sensor provided with a third pixel that receives the light and outputs the first reference image signal or the second reference image signal.
第1及び第2信号光は参照光よりも短波長の波長域を有することが好ましい。参照光は、第1照明光に含まれ、第1信号光よりも長波長の第1参照光と、第2照明光に含まれ、第2信号光よりも長波長の第2参照光からなり、第1参照光と第2参照光は波形が同じで、第1参照光と前記第2参照光の強度比が同じであり、第1参照用画像信号は、第1参照光に対応しており、第2参照用画像信号は第2参照光に対応することが好ましい。 The first and second signal lights preferably have a shorter wavelength range than the reference light. The reference light is included in the first illumination light and includes the first reference light having a longer wavelength than the first signal light and the second reference light included in the second illumination light and having a longer wavelength than the second signal light. The first reference light and the second reference light have the same waveform, and the first reference light and the second reference light have the same intensity ratio. The first reference image signal corresponds to the first reference light. The second reference image signal preferably corresponds to the second reference light.
生体機能情報は、補正後の第1信号用画像信号及び第2信号用画像信号間の測定用信号比に基づいて算出される酸素飽和度であり、参照情報は、第1参照用画像信号と第2参照用画像信号間の比率を示す参照用信号比であり、参照用信号比は、第1照明光の反射光の強度と第2照明光の反射光の強度との比率を示すフレーム間強度比に合わせて変化することが好ましい。 The biological function information is oxygen saturation calculated based on the measurement signal ratio between the corrected first signal image signal and the second signal image signal, and the reference information is the first reference image signal and A reference signal ratio indicating a ratio between the second reference image signals, and the reference signal ratio is an inter-frame indicating a ratio between the intensity of the reflected light of the first illumination light and the intensity of the reflected light of the second illumination light. It is preferable to change according to the intensity ratio.
本発明は、第1信号光、及び参照光を含む第1照明光を発する第1光源と、第1信号光と波長域が異なる第2信号光、及び参照光を含む第2照明光を発する第2光源と、第1照明光と第2照明光が交互に検体に照射されるように、第1照明光と第2照明光の発生タイミングを制御する光源制御部と、検体から第1照明光の反射光を受光した時には、第1照明光の反射光を第1信号光と参照光に波長分離して撮像することにより、第1信号光に対応する第1信号用画像信号を出力するとともに、参照光に対応する第1参照用画像信号を出力し、検体から第2照明光の反射光を受光した時には、第2照明光の反射光を第2信号光と参照光に波長分離して撮像することにより、第2信号光に対応する第2信号用画像信号を出力するとともに、参照光に対応する第2参照用画像信号を出力する撮像部とを備える内視鏡システムのプロセッサ装置において、第1信号用画像信号と第2信号用画像信号との位置ずれ量を算出するとともに、それら信号用画像信号間の位置合わせを行う第1位置合わせ部と、位置ずれ量に基づいて、第1参照用画像信号と第2参照用画像信号の位置合わせを行う第2位置合わせ部と、位置合わせ済みの第1参照用画像信号と第2参照用画像信号に基づいて、各画素毎に、第1及び第2信号光の強度に関する参照情報を算出する参照情報算出部と、参照情報に基づいて、第1信号用画像信号又は第2信号用画像信号を補正する補正部と、補正後の第1信号用画像信号又は第2信号用画像信号に基づいて、生体機能情報算出部と、を備えることを特徴とする。 The present invention emits a first light source that emits first illumination light including first signal light and reference light, a second signal light that has a wavelength range different from that of the first signal light, and second illumination light that includes reference light. A second light source, a light source controller that controls the generation timing of the first illumination light and the second illumination light so that the specimen is alternately irradiated with the first illumination light and the second illumination light, and the first illumination from the specimen When the reflected light of the light is received, the reflected light of the first illumination light is imaged by separating the wavelength of the reflected light of the first illumination light into the first signal light and the reference light, thereby outputting a first signal image signal corresponding to the first signal light. In addition, when the first reference image signal corresponding to the reference light is output and the reflected light of the second illumination light is received from the specimen, the reflected light of the second illumination light is wavelength-separated into the second signal light and the reference light. The second signal image signal corresponding to the second signal light is output and the reference light is captured. In a processor device of an endoscope system including an imaging unit that outputs a corresponding second reference image signal, the amount of positional deviation between the first signal image signal and the second signal image signal is calculated, and these signals are calculated. A first alignment unit that performs alignment between the image signals for use, a second alignment unit that performs alignment of the first reference image signal and the second reference image signal based on the amount of displacement, and alignment Based on the reference information, a reference information calculation unit that calculates reference information about the intensity of the first and second signal lights for each pixel based on the completed first reference image signal and second reference image signal A correction unit that corrects the first signal image signal or the second signal image signal, and a biological function information calculation unit based on the corrected first signal image signal or second signal image signal. It is characterized by that.
本発明の内視鏡システムの作動方法は、光源制御部が、第1信号光及び参照光を含む第1照明光と、第1信号光と波長域が異なる第2信号光及び参照光を含む第2照明光を、異なるタイミングで発生するように、第1照明光と第2照明光の発生タイミングを制御するステップと、撮像部が、検体から第1照明光の反射光を受光した時には、第1照明光の反射光を第1信号光と参照光に波長分離して撮像することにより、第1信号光に対応する第1信号用画像信号を出力するとともに、参照光に対応する第1参照用画像信号を出力し、検体から第2照明光の反射光を受光した時には、第2照明光の反射光を第2信号光と参照光に波長分離して撮像することにより、第2信号光に対応する第2信号用画像信号を出力するとともに、参照光に対応する第2参照用画像信号を出力するステップと、第1位置合わせ部が、第1信号用画像信号と第2信号用画像信号との位置ずれ量を算出するとともに、それら信号用画像信号間の位置合わせを行うステップと、第2位置合わせ部が、位置ずれ量に基づいて、第1参照用画像信号と第2参照用画像信号の位置合わせを行うステップと、参照情報算出部が、位置合わせ済みの第1参照用画像信号と第2参照用画像信号に基づいて、各画素毎に、第1及び第2信号光の強度に関する参照情報を算出するステップと、補正部が、参照情報に基づいて、第1信号用画像信号又は第2信号用画像信号を補正するステップと、生体機能情報算出部が、補正後の第1信号用画像信号又は第2信号用画像信号に基づいて、生体機能情報を算出するステップと、を有することを特徴とする。 In the operation method of the endoscope system according to the present invention, the light source control unit includes the first illumination light including the first signal light and the reference light, and the second signal light and the reference light having different wavelength ranges from the first signal light. The step of controlling the generation timing of the first illumination light and the second illumination light so that the second illumination light is generated at different timings, and when the imaging unit receives the reflected light of the first illumination light from the specimen, By imaging the reflected light of the first illumination light by separating the wavelength into the first signal light and the reference light, the first signal image signal corresponding to the first signal light is output, and the first corresponding to the reference light is output. When the reference image signal is output and the reflected light of the second illumination light is received from the specimen, the reflected light of the second illumination light is separated into the second signal light and the reference light and imaged to obtain the second signal. Outputs the second signal image signal corresponding to the light and supports the reference light The step of outputting the second reference image signal, and the first alignment unit calculates the amount of misalignment between the first signal image signal and the second signal image signal, and the position between the signal image signals. A step of performing alignment, a step in which the second alignment unit aligns the first reference image signal and the second reference image signal based on the amount of displacement, and the reference information calculation unit has already been aligned. Calculating reference information regarding the intensity of the first and second signal light for each pixel based on the first reference image signal and the second reference image signal, and a correction unit based on the reference information The step of correcting the first signal image signal or the second signal image signal and the biological function information calculation unit based on the corrected first signal image signal or second signal image signal, And a step of calculating And wherein the Rukoto.
本発明によれば、画像中に明るさが異なる領域が存在しても、第1及び第2信号光の強度比の変動に応じて、第1又は第2信号用画像信号を正確に補正することによって、酸素飽和度を精度良く算出することができる。 According to the present invention, even if there are regions with different brightness in the image, the first or second signal image signal is accurately corrected in accordance with the fluctuation of the intensity ratio of the first and second signal lights. Thus, the oxygen saturation can be calculated with high accuracy.
[第1実施形態]
図1に示すように、第1実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール20とを有する。内視鏡12は光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。内視鏡12は、検体内に挿入される挿入部21と、挿入部の基端部分に設けられた操作部22と、挿入部21の先端側に設けられる湾曲部23及び先端部24を有している。操作部22のアングルノブ22aを操作することにより、湾曲部23は湾曲動作する。この湾曲動作に伴って、先端部24が所望の方向に向けられる。
[First Embodiment]
As shown in FIG. 1, the
また、操作部22には、アングルノブ22aの他、モード切替SW22bと、ズーム操作部22cが設けられている。モード切替SW22bは、通常観察モードと、特殊観察モードの2種類のモード間の切り替え操作に用いられる。通常観察モードは、検体内をフルカラー画像化した通常光画像をモニタ18に表示するモードである。特殊観察モードは、検体内の血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像をモニタ18に表示するモードである。ズーム操作部22cは、内視鏡12内のズーミングレンズ47(図2参照)を駆動させて、検体を拡大させるズーム操作に用いられる。
In addition to the
プロセッサ装置16は、モニタ18及びコンソール20と電気的に接続される。モニタ18は、画像情報等を出力表示する。コンソール20は、機能設定等の入力操作を受け付けるUI(ユーザーインターフェース)として機能する。なお、プロセッサ装置16には、画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
The
図2に示すように、光源装置14は、中心波長473nmの第1青色レーザ光を発する第1青色レーザ光源(473LD)34と、中心波長445nmの第2青色レーザ光を発する第2青色レーザ光源(445LD)34とを発光源として備えている。これら各光源34、36の半導体発光素子からの発光は、光源制御部40により個別に制御されており、第1青色レーザ光源34の出射光と、第2青色レーザ光源36の出射光の光量比は変更自在になっている。光源制御部40は、通常観察モードの場合には、第2青色レーザ光源36を駆動させて、第2青色レーザ光を発光している。
As shown in FIG. 2, the
これに対して、特殊観察モードの場合には、1フレーム間隔で、第1青色レーザ光源34と第2青色レーザ光源36を交互に点灯させる。これにより、第1青色レーザ光と第2青色レーザ光が交互に発光する。なお、第1、第2青色レーザ光の半値幅は±10nm程度にすることが好ましい。また、青色レーザ光源34及び青紫色レーザ光源36は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオード等の発光体を用いた構成としてもよい。
On the other hand, in the special observation mode, the first blue laser light source 34 and the second blue
各光源34、36から出射されるレーザ光は、集光レンズ、光ファイバ、合波器などの光学部材(いずれも図示せず)を介して、ライトガイド(LG)41に入射する。ライトガイド41は、光源装置14と内視鏡12を接続するユニバーサルコード(図示せず)内に内蔵されている。ライトガイド41は、各光源34,36からのレーザ光を、内視鏡12の先端部24まで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルを使用することができる。
Laser light emitted from each of the
内視鏡12の先端部24は照明光学系24aと撮像光学系24bを有している。照明光学系24aには、蛍光体44と、照明レンズ45が設けられている。蛍光体44には、ライトガイド41からのレーザ光が入射する。この蛍光体44においては、第1又は第2青色レーザ光が照射されることで、蛍光体44から蛍光が発せられる。また、一部の第1又は第2青色レーザ光は、そのまま蛍光体44を透過する。蛍光体44を出射した光は、照明レンズ45を介して、検体内に照射される。
The
ここで、通常観察モードにおいては、第2青色レーザ光が蛍光体44に入射するため、図3に示すような白色光が検体内に照射される。この第2白色光は、第2青色レーザ光と、この第2青色レーザ光により蛍光体44から励起発光する緑色〜赤色の第2蛍光とから構成される。したがって、第2白色光は、波長範囲が可視光全域に及んでいる。
Here, in the normal observation mode, since the second blue laser light is incident on the
一方、特殊観察モードにおいては、第1青色レーザ光と第2青色レーザ光が蛍光体44交互に入射することにより、図4に示すように、第1白色光と第2白色光が交互に発光する。この交互に発光する第1及び第2白色光は、検体内に照射される。第1白色光は、第1青色レーザ光と、この第2青色レーザ光により蛍光体44から励起発光する緑色〜赤色の第1蛍光とから構成される。したがって、信号光は、波長範囲が可視光全域に及んでいる。第2白色光は、通常観察モード時に発光する第2白色光と同様である。図5に示すように、第1蛍光と第2蛍光とは、波形が同じである。また、第1蛍光の強度(I1(λ))と第2蛍光の強度(I2(λ))の比を示すフレーム間強度比(I2(λ)/I1(λ))は、いずれの波長λにおいてもほぼ同じである(例えば、I2(λ1)/I1(λ1)=I2(λ2)/I1(λ2))。
On the other hand, in the special observation mode, when the first blue laser light and the second blue laser light are alternately incident on the
ここで、フレーム間強度比(I2(λ)/I1(λ))は、酸素飽和度の算出精度に影響を与えるものであるため、光源制御部40により、予め設定された基準フレーム間強度比を維持するように高精度に制御されている。しかしながら、光源制御部40は、第1及び第2白色光の発光後にセンサ48で取得する画像信号に基づいて制御するため、内視鏡12の先端部24と検体との距離が急激に変化する場合などにおいては、光源制御部40での制御は不安定になることがある。本実施形態では、このように、光源制御部40での制御が不安定になった場合であっても、プロセッサ装置16でその不安定性を解消する画像処理が行われている。
Here, since the interframe intensity ratio (I2 (λ) / I1 (λ)) affects the calculation accuracy of the oxygen saturation, the light
なお、本発明の「第1照明光」については、「第1信号光」は「第1青色レーザ光源」に対応しており、「第1参照光」は「第1蛍光のうちセンサ48のR画素で受光する赤色成分の光」に対応している。また、本発明の「第2照明光」については、「第2信号光」は「第2蛍光のうちセンサ48のG画素で受光する緑色成分の光」に対応しており、「第2参照光」は「第2蛍光のうちセンサ48のR画素で受光する赤色成分の光」に対応している。
For the “first illumination light” of the present invention, the “first signal light” corresponds to the “first blue laser light source”, and the “first reference light” is “of the
なお、蛍光体44は、第1及び第2青色レーザ光の一部を吸収して、緑色〜赤色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl10O17)等の蛍光体)を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体44の励起光源として用いれば、高い発光効率で高強度の第1及び第2白色光が得られ、それら白色光の強度を容易に調整できる上に、色温度、色度の変化を小さく抑えることができる。
The
図2に示すように、内視鏡12の撮像光学系24bは、撮像レンズ46、ズーミングレンズ47、センサ48を有している。検体からの反射光は、撮像レンズ46及びズーミングレンズ47を介して、センサ48に入射する。これにより、センサ48に検体の反射像が結像される。ズーミングレンズ47は、ズーム操作部22cを操作することで、テレ端とワイド端との間を移動する。ズーミングレンズ47がワイド端側に移動すると検体の反射像が拡大する一方で、テレ端側に移動することで、検体の反射像が縮小する。
As shown in FIG. 2, the imaging
センサ48はカラーの撮像素子であり、検体の反射像を撮像して画像信号を出力する。なお、センサ48は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ等であることが好ましい。本発明で用いられるイメージセンサは、撮像面にRGBカラーフィルタが設けられたRGB画素を有するRGBイメージセンサであり、各chで光電変換をすることによってR、G、Bの3色の画像信号を出力する。
The
図6に示すように、Bカラーフィルタは380〜560nmの分光透過率を有しており、Gカラーフィルタは450〜630nmの分光透過率を有しており、Rカラーフィルタは580〜760nmの分光透過率を有している。したがって、通常観察モード時で第2白色光が検体内に照射されたときには、B画素には第2青色レーザ光と第2蛍光の緑色成分の一部が入射し、G画素には第2蛍光の緑色成分の一部が入射し、R画素には第2蛍光の赤色成分が入射する。ただし、第2青色レーザ光は第2蛍光よりも発光強度が極めて大きいので、B画素から出力するB画像信号の大部分は、第2青色レーザ光の反射光成分で占められている。 As shown in FIG. 6, the B color filter has a spectral transmittance of 380 to 560 nm, the G color filter has a spectral transmittance of 450 to 630 nm, and the R color filter has a spectral transmittance of 580 to 760 nm. It has transmittance. Therefore, when the second white light is irradiated into the specimen in the normal observation mode, the second blue laser light and a part of the green component of the second fluorescence are incident on the B pixel, and the second fluorescence is incident on the G pixel. A part of the green component is incident, and the red component of the second fluorescence is incident on the R pixel. However, since the emission intensity of the second blue laser light is much higher than that of the second fluorescence, most of the B image signal output from the B pixel is occupied by the reflected light component of the second blue laser light.
一方、特殊観察モード時で第1白色光が検体内に照射されたときには、B画素には第1青色レーザ光と第1蛍光の緑色成分の一部が入射し、G画素には第1蛍光の緑色成分の一部が入射し、R画素には第1蛍光の赤色成分が入射する。ただし、第1青色レーザ光は第1蛍光よりも発光強度が極めて大きいので、B画像信号の大部分は、第1青色レーザ光の反射光成分で占められている。なお、特殊観察モード時で第2白色光が検体内に照射されたときのBGR画素での光入射成分は、通常観察モードの場合と同様である。 On the other hand, when the first white light is irradiated into the specimen in the special observation mode, the first blue laser light and a part of the green component of the first fluorescence enter the B pixel, and the first fluorescence enters the G pixel. A part of the green component is incident, and the red component of the first fluorescence is incident on the R pixel. However, since the emission intensity of the first blue laser light is much higher than that of the first fluorescence, most of the B image signal is occupied by the reflected light component of the first blue laser light. The light incident component at the BGR pixel when the second white light is irradiated into the specimen in the special observation mode is the same as in the normal observation mode.
なお、センサ48としては、撮像面にC(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた、いわゆる補色イメージセンサであっても良い。補色イメージセンサの場合には、CMYGの4色の画像信号から色変換によってRGBの3色の画像信号を得ることができる。この場合には、CMYGの4色の画像信号からRGBの3色の画像信号に色変換する色変換手段を、内視鏡12、光源装置14又はプロセッサ装置16のいずれかに備えている必要がある。
The
撮像制御部49は、観察モードに応じたセンサ48の撮像制御を行う。図7Aに示すように、通常観察モード時には、1フレームの期間毎に、第2白色光で照明された検体内をカラーのセンサ48で撮像する。これにより、1フレーム毎に、センサ48からRGBの画像信号が出力する。図7Bに示すように、特殊観察モード時には、1フレーム目に、第1白色光で照明された検体内をカラーのセンサ48で撮像し、その次の2フレーム目に、第2白色光で照明された検体をカラーのセンサ48で撮像する。これにより、1フレーム目には、センサ48からR1画像信号、G1画像信号、B1画像信号が出力し、2フレーム目には、センサ48からR2画像信号、G2画像信号、B2画像信号が出力する。なお、センサ48の1フレーム分の期間は、検体からの反射光を光電変換して蓄積する蓄積期間と、その後に蓄積した電荷を読み出して画像信号を出力する読出期間とからなる。
The imaging control unit 49 performs imaging control of the
図2に示すように、センサ48から出力される画像信号は、CDS・AGC回路50に送信される。CDS・AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS・AGC回路50を経た画像信号は、ガンマ変換部51でガンマ変換が施される。これにより、モニタ18などの出力デバイスに適した階調を有する画像信号が得られる。このガンマ変換後の画像信号は、A/D変換器(A/Dコンバータ)52により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、プロセッサ装置16に入力される。
As shown in FIG. 2, the image signal output from the
プロセッサ装置16は、受信部54と、画像処理切替部60と、通常光画像処理部62と、特殊光画像処理部64と、画像表示信号生成部66とを備えている。受信部54は内視鏡12からのデジタル画像信号を受信する。この受信部54は、DSP(Digital Signal Processor)56とノイズ除去部58を備えている。DSP56は、デジタル画像信号に対して色補正処理を行う。ノイズ除去部58は、DSP56で色補正処理等が施されたデジタル画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等)を施すことによって、デジタル画像信号からノイズを除去する。ノイズが除去されたデジタル画像信号は、画像処理切替部60に送信される。
The
画像処理切替部60は、モード切替SW22bにより通常観察モードにセットされている場合には、デジタル画像信号を通常光画像処理部62に送信し、特殊観察モードに設定されている場合には、デジタル画像信号を特殊光画像処理部64に送信する。なお、本発明においては、区別のため、通常光画像処理部62及び特殊光画像処理部64による画像処理前のデジタル画像信号を画像信号といい、画像処理後のデジタル画像信号を画像データと呼ぶことにする。
The image
通常光画像処理部62は、色変換部68と、色彩強調部70と、構造強調部72とを有する。色変換部68は、入力された1フレーム分のB、G、R画像信号を、それぞれR画像データ、G画像データ、B画像データに割り付ける。これらRGBの画像データに対しては、更に、3×3のマトリックス処理、階調変換処理、3次元LUT処理などの色変換処理を行い、色変換処理済RGB画像データに変換する。
The normal light
色彩強調部70は、色変換済RGB画像データに対して、各種色彩強調処理を施す。構造強調部72は、色彩強調処理済RGB画像データに対して、空間周波数強調等の構造強調処理を行う。構造強調部72で構造強調処理が施されたRGB画像データは、通常光画像として通常光画像処理部62から画像表示信号生成部66に入力される。
The
特殊光画像処理部64は、入力された2フレーム分のB1,R1画像信号及びG2、R2画像信号に基づいて、酸素飽和度画像を生成する酸素飽和度画像生成部76と、酸素飽和度画像に対して、空間周波数強調等の構造強調処理を行う構造強調部78とを有する。構造強調部78で構造強調処理が施されたRGB画像データは、特殊光画像として特殊光画像処理部64から画像表示信号生成部66に入力される。
The special light
画像表示信号生成部66は、通常光画像処理部62又は特殊光画像処理部64から入力された通常光画像又は特殊光画像を、モニタ18で表示可能画像として表示するための表示画像信号に変換する。この変換後の表示画像信号に基づいて、モニタ18は、通常光画像又は特殊光画像を表示する。なお、特殊光画像としては、2フレーム分のRGB画像信号から、1フレームの酸素飽和度画像が表示される。
The image display
図8に示すように、酸素飽和度画像生成部76は、信号補正部80と、測定用信号比算出部81と、相関関係記憶部82と、酸素飽和度算出部83と、画像生成部84とを備えている。信号補正部80は探索条件設定部80aと、位置合わせ部80bと、参照用信号比算出部80cと、補正部80dとを備えており、酸素飽和度の算出に用いるB1画像信号、G2画像信号、R2画像信号について、基準フレーム間強度比の下で得られる画像信号と同等になるように補正する。
As shown in FIG. 8, the oxygen saturation
信号補正部80では、まず、探索条件設定部80aが、第1及び第2位置合わせ部80b,80cでの位置合わせ処理に用いる探索ポイントの各種条件(探索条件)を設定する。探索条件設定後は、図9に示すように、第1位置合わせ部80bが、B1画像信号とG2画像信号間の検体の位置ずれ量を算出するとともに、B1画像信号とG2画像信号間の検体像の位置合わせを行う。この第1位置合わせ部80bでは、B1画像信号を変形してG2画像信号に位置合わせするため、位置合わせ後のB1画像信号を「B1a画像信号」とする。
In the
そして、第2位置合わせ部80cが、第1位置合わせ部80bで算出した位置ずれ量に基づいて、R1画像信号とR2画像信号間の検体像の位置合わせを行う。そして、参照用信号比算出部80dが、位置合わせ済みのR1画像信号とR2画像信号から、G2画像信号、R2画像信号の補正に用いる参照用信号比を算出する。最後に、補正部80eが、参照用信号比に基づいて、G2画像信号、R2画像信号を、基準フレーム間強度比の下で得られる画像信号と同等となるように補正する。これにより、G2a画像信号及びR2a画像信号が得られる。以上の一連の処理により得られるB1a画像信号、G2a画像信号、R2a画像信号が、酸素飽和度の算出に用いられる。
Then, the
探索条件設定部80aは、探索条件として、基準ポイントの位置設定と、探索ポイントの位置設定と探索範囲の設定を行う。図10Aに示すように、基準ポイントP1〜P9は、B1画像信号内の9つエリアA1〜A9(3×3)の所定位置に設けられる。探索ポイントD1〜D9は、図10Bに示すように、G2画像信号内の9つのエリアA1〜A9(3×3)内で、基準ポイントP1〜P9と同じ画素位置に設けられる。これら探索ポイントD1〜D9は、G2画像信号内の9つのエリアA1〜A9内で、所定の探索範囲でX方向又はY方向に平行移動(探索)する。この探索ポイントD1〜D9の探索により、基準ポイントP1〜P9と最も近い特徴量(例えば、画素値や画素値分布)を有する画素もしくは画素領域(目標ポイントT)を検出する。なお、基準ポイントP1〜P9をG2画像信号内に設定し、探索ポイントD1〜D9をB1画像信号内に設定してもよい。
The search
基準ポイントP1〜P9及び探索ポイントD1〜D9については、図11Aに示すように、各エリアA1〜A9の明るさがほぼ同じである場合には、各エリアA1〜A9の中央にセットする。このように各エリアA1〜A9の明るさがほぼ同じである場合としては、例えば、図11Bに示すように、管腔内において、内視鏡12の先端部24の前方に、隆起物などが存在しない場合が考えられる。
As shown in FIG. 11A, the reference points P1 to P9 and the search points D1 to D9 are set at the center of each area A1 to A9 when the brightness of each area A1 to A9 is substantially the same. As described above, in the case where the brightness of each of the areas A1 to A9 is substantially the same, for example, as shown in FIG. 11B, a protruding object or the like is present in front of the
これに対して、図12Aに示すように、エリアA1〜A9の中で、画素値が一定値以下となる暗部BPが存在する暗エリア(図12Aでは「エリアA5」)がある場合には、暗エリアのうち暗部BP以外の部分に、基準ポイントP5及び探索ポイントD5を設定する。これは、暗部BPに基準ポイントP5及び探索ポイントD5を設定した場合には、探索直後に目標ポイントTを検出することになるため、位置合わせを正確に行うことができないためである。このように一部のエリアが暗くなる場合としては、例えば、図12Bに示すように、管腔内において、内視鏡12の先端部24の前方に、隆起物86が現れる場合が考えられる。なお、各エリアの明るさは、各エリアの画素値の平均値から求める。また、血管構造などの位置合わせに必要なランドマークがほとんどないエリアについては、基準ポイント及び探索ポイントを設定しなくてもよい。 On the other hand, as shown in FIG. 12A, in the areas A1 to A9, when there is a dark area (“area A5” in FIG. 12A) in which there is a dark portion BP whose pixel value is a certain value or less, A reference point P5 and a search point D5 are set in a portion other than the dark portion BP in the dark area. This is because when the reference point P5 and the search point D5 are set in the dark part BP, the target point T is detected immediately after the search, so that the alignment cannot be performed accurately. As a case where a part of the area becomes dark as described above, for example, as shown in FIG. The brightness of each area is obtained from the average value of the pixel values of each area. In addition, the reference point and the search point need not be set for an area where there are almost no landmarks necessary for alignment such as a blood vessel structure.
探索範囲については、内視鏡12の先端部24や検体の動きがほとんどない動き無し状態の場合には、図13に示すように、探索ポイントD1〜D9の移動範囲を狭くした第1の探索範囲Xに設定する。これは、動き無し状態の場合には、遠くまで探索しなくても、目標ポイントTの検出が可能だからである。これに対して、内視鏡12の先端部24が大きく湾曲するときや検体に大きな動きがあるときなど動き有り状態の場合には、図14に示すように、第1の探索範囲Xよりも探索ポイントD1〜D9の範囲を広くした第2の探索範囲Yに設定する。これは、動き有り状態の場合には、遠くまで探索しないと、目標ポイントTの検出が難しいからである。
As for the search range, in the case of a no-motion state in which there is almost no movement of the
なお、動き無し状態又は動き有り状態のいずれの状態にあるかの判別方法としては、以下の方法が考えられる。例えば、スクリーニング時のように、ズーミングレンズ47を作動させない場合には、内視鏡12の先端部24を動かす頻度が大きいため、検体に動きがあると考えられる。したがって、ズーミングレンズ47の非作動時には、動き有り状態と判別する。これに対して、拡大観察時のように、ズーミングレンズ47を作動させる場合には、内視鏡12の先端部24はほぼ静止状態で動く頻度は少ないと考えられるため、検体に動きは少ないと考えられる。したがって、ズーミングレンズ47の作動時には、動き無し状態と判別する。また、モード切替SW22bにより、動き無し状態と動き有り状態の切り替えを行えるようにしてもよい。
Note that the following method can be considered as a method of determining whether there is a state of no motion or a state of motion. For example, when the zooming
また、拡大観察時のように、内視鏡12の先端部24と検体との検体間距離が一定値を下回る場合には、探索範囲が狭い第1の探索範囲Xで探索を行う一方で、検体間距離が一定値以上の場合には、探索範囲が広い第2の探索範囲Yで探索を行うことが好ましい。なお、検体間距離は、センサ48の露光量に基づいて定めることが好ましい。即ち、露光量が小さい場合は、検体間距離は遠く、反対に露光量が大きい場合は、検体間距離は近いものとする。
Also, when the distance between the
第1位置合わせ部80bは、B1画像信号とG2画像信号に対して、それぞれ高周波の周波数フィルタリング処理を施す高周波フィルタリング部HFを備えている。高周波の周波数フィルタリング処理のB1画像信号とG2画像信号は、位置合わせ時に目印となるランドマーク(例えば、血管構造)などの高周波成分の情報がシャープに抽出されるため、探索ポイントD1〜D9による目標ポイントTの検出を精度良く行うことができる。
The
そして、第1位置合わせ部80bは、設定された探索条件に従って、B1画像信号内に9つの基準ポイントP1〜P9を設定するとともに、G2画像信号内に9つの探索ポイントD1〜D9を設定する。そして、各探索ポイントD1〜D9を所定の探索範囲内で探索させる。そして、各エリア毎に、探索ポイントD1〜D9が目標ポイントTを検出したときの探索ポイントD1〜D9の移動量を算出する。これら各エリアにおける探索ポイントD1〜D9の移動量が、B1画像信号及びG2画像信号の各エリアにおける検体像の位置ずれ量となる。なお、第1位置合わせ部80bでは、B1画像信号及びG2画像信号を所定の画像信号で規格化し、規格化した信号をピラミッド画像にしてから、位置ずれ量の算出を行ってもよい。
The
そして、各エリア毎の位置ずれ量に基づき、B1画像信号の各画素の画素値を補間して検体像を変形する。この変形処理により、B1画像信号の検体像の位置をG2画像信号の検体像の位置に合わせ込む。これにより、B1画像信号のG2画像信号間の位置合わせが完了する。ここで、位置合わせ後のB1画像信号をB1a画像信号とする。なお、所定エリアの探索ポイントの移動量が、他のエリアの探索ポイントの移動量よりも大きく外れている場合には、その所定エリアの探索ポイントの移動量は、他のエリアの探索ポイントの移動量に基づいて、補正することが好ましい。また、G2画像信号の各画素の画素値を補間して検体像を変形することにより、G2画像信号の検体像をB1画像信号の検体像の位置を合わせ込んでもよい。 Then, based on the positional deviation amount for each area, the specimen image is deformed by interpolating the pixel value of each pixel of the B1 image signal. By this deformation processing, the position of the specimen image of the B1 image signal is adjusted to the position of the specimen image of the G2 image signal. This completes the alignment between the B1 image signal and the G2 image signal. Here, the B1 image signal after alignment is referred to as a B1a image signal. If the amount of movement of the search point in the predetermined area is far from the amount of movement of the search point in the other area, the amount of movement of the search point in the predetermined area is the amount of movement of the search point in the other area. It is preferable to correct based on the amount. Alternatively, the sample image of the G2 image signal may be aligned with the position of the sample image of the B1 image signal by interpolating the pixel value of each pixel of the G2 image signal to deform the sample image.
第2位置合わせ部80cは、R1画像信号とR2画像信号に対して、それぞれ低周波の周波数フィルタリング処理を施す低周波フィルタリング部LFを備えている。低周波の周波数フィルタリング後のR1画像信号とR2画像信号は、高周波成分が除去されているため、明るさ情報が多く含まれる画像信号となっている。R1画像信号とR2画像信号の各エリア毎に、第1位置合わせ部80bで算出された各エリア毎の位置ずれ量に基づいて、各エリアの画素の画素値を補間して検体像を変形する。これにより、R1画像信号とR2画像信号間の位置合わせが完了する。
The
ここで、R1画像信号とR2画像信号間の位置合わせに、B1画像信号とG2画像信号間の位置ずれ量を用いるのは、以下の理由からである。R1画像信号とR2画像信号は、粘膜の吸収体(ヘモグロビン)の吸光係数が低い赤色波長成分を多く有しているため、光量に関する情報は多く含まれているものの、位置合わせのランドマークとなり得る構造物の像は多く含まれていない。したがって、R1画像信号とR2画像信号については、探索ポイントDが目標ポイントTを検出することが困難であるため、探索ポイントDの移動量、即ち、位置ずれ量を正確に算出できない場合が多い。 Here, the amount of misalignment between the B1 image signal and the G2 image signal is used for the alignment between the R1 image signal and the R2 image signal for the following reason. The R1 image signal and the R2 image signal have many red wavelength components having a low absorption coefficient of the mucosal absorber (hemoglobin), and therefore, although they contain a lot of information regarding the light quantity, they can be alignment landmarks. Many images of structures are not included. Therefore, for the R1 image signal and the R2 image signal, since it is difficult for the search point D to detect the target point T, the amount of movement of the search point D, that is, the amount of positional deviation cannot be calculated accurately in many cases.
これに対して、B1画像信号とG2画像信号は、粘膜の吸収体(ヘモグロビン)の吸光係数が高い青色波長成分を多く有しているため、血管構造などランドマークとなり得る構造物の像が多く含まれている。したがって、B1画像信号とG2画像信号については、探索ポイントDによる目標ポイントTの検出が容易であるため、探索ポイントDの移動量、即ち、位置ずれ量を正確に求めることができる。そこで、R1画像信号とR2画像信号間の位置合わせには、R1画像信号とR2画像信号の位置ずれ量ではなく、B1画像信号とG2画像信号間の位置ずれ量を用いている。 On the other hand, the B1 image signal and the G2 image signal have many blue wavelength components having a high extinction coefficient of the mucosal absorber (hemoglobin), and thus there are many images of structures such as blood vessel structures that can be landmarks. include. Therefore, for the B1 image signal and the G2 image signal, since the target point T can be easily detected by the search point D, the movement amount of the search point D, that is, the positional deviation amount can be accurately obtained. Therefore, for the alignment between the R1 image signal and the R2 image signal, the positional deviation amount between the B1 image signal and the G2 image signal is used instead of the positional deviation amount between the R1 image signal and the R2 image signal.
参照用信号比算出部80dは、位置合わせ済みのR1画像信号及びR2画像信号間の比率(R2/R1)を示す参照用信号比Cを、画素毎に算出する。この参照用信号比Cは、以下の(1)〜(3)の3つの理由により、実際のフレーム間強度比(I2(λ)/I1(λ))に連動して増減する。
(1):第1蛍光と第2蛍光は、波形が同一であり、また第1蛍光と第2蛍光のフレーム間強度比(I2(λ)/I1(λ))は、いずれの波長においても同一である(図5参照)。
(2):センサ48のR画素は、第1及び第2蛍光のうち長波長側の裾の部分のみ感度がある(図6参照)
(3):(1)、(2)から、R1画像信号とR2画像信号は、いずれも被写体となる生体組織についてほとんど同じ情報を持っている。
The reference signal
(1): The first fluorescent light and the second fluorescent light have the same waveform, and the intensity ratio between the first fluorescent light and the second fluorescent light (I2 (λ) / I1 (λ)) is the same at any wavelength. It is the same (refer FIG. 5).
(2): The R pixel of the
(3): From (1) and (2), both the R1 image signal and the R2 image signal have almost the same information about the living tissue as the subject.
以上から、参照用信号比Cは、実際のフレーム間強度比をほぼ正確に表している。ここで、参照用信号比Cの算出に用いたR1画像信号とR2画像信号は精度良く位置合わせがされているため、仮に、画像中に明るさが異なる領域が存在したとしても、各画素における参照用信号比Cは、実際のフレーム間強度比を正確に示している。なお、光源制御部40による光量制御が理想的に動作している状況下での参照用信号比については、基準参照用信号比「Ca」として予めメモリ(図示しない)に記憶されている。
From the above, the reference signal ratio C almost accurately represents the actual interframe intensity ratio. Here, since the R1 image signal and the R2 image signal used for calculating the reference signal ratio C are accurately aligned, even if there are regions with different brightness in the image, The reference signal ratio C accurately indicates the actual interframe intensity ratio. Note that the reference signal ratio under the situation where the light amount control by the light
補正部80eは、参照用信号比算出部80dで算出した参照用信号比Cと基準参照用信号比Caを用いて、G2画像信号とR2画像信号を補正する。これらG2画像信号とR2画像信号は、以下に式に基づいて補正することで、G2a画像信号とR2a画像信号となる。補正は、G2画像信号とR2画像信号の各画素毎に行われる。
R2a=R2/C×Ca
G2a=G2/C×Ca
この式において、「R2」、「G2」は、補正前の「R2画像信号」、「G2画像信号」を示しており、「R2a」、「G2a」は、補正後の「G2a画像信号」、「R2a画像信号」を示している。これらG2a画像信号とR2a画像信号は、基準フレーム間強度比の下で得られる画像信号と同等になるように補正されたものになっている。即ち、光源制御部40での光源制御(AE)が理想的に作動している場合は、参照用信号比Cは基準参照用信号比Caと一致するため、補正前と補正後でG2画像信号とR2画像信号の値はほぼ同じとなっている。
The
R2a = R2 / C × Ca
G2a = G2 / C × Ca
In this equation, “R2” and “G2” indicate “R2 image signal” and “G2 image signal” before correction, and “R2a” and “G2a” indicate “G2a image signal” after correction, “R2a image signal” is shown. These G2a image signal and R2a image signal are corrected so as to be equivalent to the image signal obtained under the reference inter-frame intensity ratio. That is, when the light source control (AE) in the light
これに対して、AEが不安定化した場合には、実際のフレーム間強度比が基準フレーム間強度比からズレてしまうことがある。例えば、実際のフレーム間強度比が基準フレーム間強度比よりも大きくなった場合(即ち、参照用信号比C>基準参照用信号比Caの場合)には、この増加分を打ち消すように、G2画像信号とR2画像信号の画素値を小さくする。反対に、実際のフレーム間強度比が基準フレーム間強度比よりも小さくなった場合(即ち、参照用信号比C<基準参照用信号比Caの場合)には、この減少分を打ち消すように、G2画像信号とR2画像信号の画素値を大きくする。これにより、AEが不安定化して、実際のフレーム間強度比が基準フレーム間強度比から変動したしても、この変動分を打ち消すように画像信号を補正することで、理想的にAEが作動したときと同様の画像信号を得ることができる。 On the other hand, when AE becomes unstable, the actual inter-frame intensity ratio may deviate from the reference inter-frame intensity ratio. For example, when the actual frame-to-frame strength ratio is larger than the standard frame-to-frame strength ratio (that is, when the reference signal ratio C> the reference reference signal ratio Ca), G2 is canceled so as to cancel this increase. The pixel values of the image signal and the R2 image signal are reduced. Conversely, when the actual inter-frame intensity ratio becomes smaller than the standard inter-frame intensity ratio (that is, when the reference signal ratio C <the reference reference signal ratio Ca), this decrease is canceled out. The pixel values of the G2 image signal and the R2 image signal are increased. As a result, even if the AE becomes unstable and the actual interframe intensity ratio fluctuates from the reference interframe intensity ratio, the AE is ideally operated by correcting the image signal so as to cancel this fluctuation. An image signal similar to that obtained can be obtained.
また、G2画像信号とR2画像信号の補正には、各画素のフレーム間強度比を正確に表した参照用信号比Cを用いているため、仮に、画像中に明るさが異なる領域が存在したとしても、各領域において適切な明るさ補正が行われる。即ち、画像中の明るい領域については、G2画像信号とR2画像信号の画素値を小さくすることにより、明るさを低減させる補正が行われ、画像中の暗い領域については、G2画像信号とR2画像信号の画素値を大きくすることにより、明るさを増加させる補正が行われる。 In addition, since the reference signal ratio C that accurately represents the inter-frame intensity ratio of each pixel is used for correcting the G2 image signal and the R2 image signal, there is a region with different brightness in the image. However, appropriate brightness correction is performed in each area. That is, for the bright area in the image, correction is performed to reduce the brightness by reducing the pixel values of the G2 image signal and the R2 image signal. For the dark area in the image, the G2 image signal and the R2 image are corrected. Correction that increases the brightness is performed by increasing the pixel value of the signal.
測定用信号比算出部81は、B1a画像信号及びG2a画像信号間の測定用信号比B1/G2と、G2a画像信号G2及びR2a画像信号間の測定用信号比R2/G2とを、各画素毎に求める。ここで、測定用信号比B1/G2、R2/G2の算出に用いる「B1a画像信号、G2a画像信号、R2a画像信号」は、信号補正部80での信号補正処理により補正されているため、これら測定用信号比B1/G2、R2/G2により、酸素飽和度を正確に算出することができる。
The measurement signal
相関関係記憶部82は、測定用信号比B1/G2及びR2/G2と酸素飽和度との相関関係を記憶している。この相関関係は、図15に示す二次元空間上に酸素飽和度の等高線を定義した2次元テーブルで記憶されている。この等高線の位置、形は光散乱の物理的なシミュレーションで得られ、血液量に応じて変わるように定義されている。例えば、血液量の変化があると、各等高線間の間隔が広くなったり、狭くなったりする。なお、測定用信号比B1/G2,R2/G2はlogスケールで記憶されている。
The
なお、上記相関関係は、図16に示すような酸化ヘモグロビンや還元ヘモグロビンの吸光特性や光散乱特性と密接に関連性し合っている。この図16において、グラフ90は酸化ヘモグロビンの吸光係数を、グラフ91は還元ヘモグロビンの吸光係数を示している。例えば、第1青色レーザ光の中心波長473nmのように吸光係数の差が大きい波長では、酸素飽和度の情報を取り易い。しかしながら、473nmの光に対応する信号を含むB1a画像信号は、酸素飽和度だけでなく血液量にも依存度が高い。そこで、B1a画像信号に加え、主として血液量に依存して変化する光に対応するR2a画像信号と、B1a画像信号とR2a画像信号のリファレンス信号となるG2a画像信号から得られる測定用信号比B1/G2及びR2/G2を用いることで、血液量に依存することなく、酸素飽和度を正確に求めることができる。
The above correlation is closely related to the light absorption characteristics and light scattering characteristics of oxyhemoglobin and reduced hemoglobin as shown in FIG. In FIG. 16, a
酸素飽和度算出部83は、相関関係記憶部82に記憶された相関関係を参照して、測定用信号比算出部81で求めた測定用信号比B1/G2、R2/G2に対応する酸素飽和度を求める。酸素飽和度の算出は各画素毎に求める。酸素飽和度算出部83では、以下のようにして酸素飽和度を算出する。例えば、所定画素における測定用信号比がB1*/G2*、R2*/G2*である場合には、図17に示すように、相関関係を参照すると、測定用信号比B1*/G2*、R2*/G2*に対応する酸素飽和度は「60%」となっている。したがって、酸素飽和度は「60%」として算出される。
The oxygen
なお、測定用信号比B1/G2、R2/G2は、B1画像信号と、信号補正部80で補正されたG2a画像信号及びR2a画像信号とに基づいて算出されたものであるため、測定用信号比B1/G2、R2/G2が極めて大きくなったり、極めて小さくなったりすることはほとんどない。即ち、測定用信号比B1/G2、R2/G2は、相関関係上において、酸素飽和度0%の下限ライン93を上回ったり、反対に、酸素飽和度100%の上限ライン94よりも下回ったりすることはほとんどない。
Note that the measurement signal ratios B1 / G2 and R2 / G2 are calculated based on the B1 image signal and the G2a image signal and the R2a image signal corrected by the
ただし、仮に、測定用信号比B1/G2、R2/G2が相関関係上で下限ライン93よりも上方に位置するときには酸素飽和度を0%とし、測定用信号比B1/G2、R2/G2が上限ライン94よりも下方に位置するときには酸素飽和度を100%とする。なお、対応点が下限ライン93と上限ライン94との間から外れている場合には、その画素における酸素飽和度の信頼度を下げて表示しないようにしてもよい。
However, if the measurement signal ratios B1 / G2 and R2 / G2 are positioned above the
画像生成部84は、酸素飽和度算出部86で算出した酸素飽和度と、B2画像信号、G2画像信号、R2画像信号とを用いて、酸素飽和度を画像化した酸素飽和度画像を生成する。この画像生成部84では、B2画像信号、G2画像信号、R2画像信号に対して、酸素飽和度に応じたゲインが施される。例えば、酸素飽和度が60%以上の場合には、B2画像信号、G2画像信号、R2画像信号のいずれも、同じゲイン「1」が施される。これに対して、酸素飽和度が60%未満の場合は、B2画像信号に対して「1」未満のゲインが施される一方で、G2画像信号、R2画像信号に対しては「1」を超えるゲインが施される。このゲイン処理後のB2画像信号、G2画像信号、R2画像信号がBGR画像データに割り付けられる。
The
これらBGR画像データに基づいてモニタ18に表示される酸素飽和度画像は、高酸素の領域(酸素飽和度が60〜100%の領域)は、ゲインがいずれも「1」でB2画像信号、G2画像信号、R2画像信号の画素値が変動しないため、通常光画像と同様の色で表示される。これに対して、酸素飽和度が一定値を下回る低酸素の領域(酸素飽和度が0〜60%の領域)では、酸素飽和度に応じてゲインが「1」未満もしくは「1」を超えるため、通常光画像と異なる色、即ち疑似カラーで表示される。なお、画像生成部では、低酸素の領域のみ疑似カラーで表示したが、低酸素領域だけでなく高酸素の領域(60〜100%)も疑似カラーで表示してもよい。
The oxygen saturation image displayed on the
次に、本実施形態における一連の流れを図18のフローチャートに沿って説明する。まず、通常観察モードにおいて、遠景状態からスクリーニングを行う。通常観察モードでは、通常光画像がモニタ18に表示される。このスクリーニング時に、ブラウニッシュエリアや発赤など病変の可能性がある部位(病変可能性部位)を検出したときには、モード切替SW22bを操作して、特殊観察モードに切り替える。この特殊観察モードにおいて、病変可能性部位が低酸素状態になっているか否かの診断を行う。
Next, a series of flows in the present embodiment will be described along the flowchart of FIG. First, screening is performed from a distant view state in the normal observation mode. In the normal observation mode, a normal light image is displayed on the
特殊観察モードでは、第1及び第2白色光が交互に発光される。そして、第1白色光で照明された検体像をセンサ48で撮像することにより、センサ48からB1画像信号、G1画像信号、R1画像信号が出力され、第2白色光で照明された検体像をセンサ48で撮像することにより、センサ48からB2画像信号、G2画像信号、R2画像信号が出力される。これら2フレーム分の画像信号が、1フレームの酸素飽和度画像の作成に用いられる。
In the special observation mode, the first and second white lights are emitted alternately. Then, the sample image illuminated with the first white light is captured by the
次に、位置合わせ2フレーム分の画像信号を取得したときの露光量、ズーミングレンズの作動状況、検体の動き量などに基づいて、B2画像信号及びG2画像信号内の各エリアA1〜A9毎に、基準ポイントP1〜P9と探索ポイントD1〜D9を設定するとともに、探索ポイントD1〜D9の探索範囲を設定する。そして、各エリアA1〜A9において、探索ポイントD1〜D9を、設定された探索範囲内で探索する。そして、探索ポイントD1〜D9が目標ポイントTを検出したときの移動量を、フレーム間の位置ずれ量とする。このフレーム間の位置ずれ量に基づいて、B1画像信号とG2画像信号間の位置合わせを行う。 Next, for each area A1 to A9 in the B2 image signal and the G2 image signal, based on the exposure amount when the image signal for the alignment two frames is acquired, the operating state of the zooming lens, the movement amount of the specimen, and the like. The reference points P1 to P9 and the search points D1 to D9 are set, and the search range of the search points D1 to D9 is set. And in each area A1-A9, search point D1-D9 is searched within the set search range. The amount of movement when the search points D1 to D9 detect the target point T is defined as the amount of positional deviation between frames. Based on the amount of positional deviation between the frames, alignment between the B1 image signal and the G2 image signal is performed.
次に、B1画像信号とG2画像信号間の位置ズレ量に基づいて、R1画像信号とR2画像信号間の位置合わせを行う。そして、位置合わせ済みのR1画像信号とR2画像信号に基づいて、参照用信号比Cを算出する。そして、参照用信号比Cと基準参照用信号比Caとを用いて、G2画像信号とR2画像信号を補正する。これにより、理想的にAEが作動したときと同様の画像信号であるG2a画像信号及びR2a画像信号が得られる。そして、位置合わせ済みのB1a画像信号とG2a画像信号及びR2a画像信号に基づいて、酸素飽和度を算出する。この算出した酸素飽和度とB2画像信号、G2画像信号、R2画像信号に基づいて、酸素飽和度画像が生成される。 Next, alignment between the R1 image signal and the R2 image signal is performed based on the positional deviation amount between the B1 image signal and the G2 image signal. Then, a reference signal ratio C is calculated based on the aligned R1 image signal and R2 image signal. Then, the G2 image signal and the R2 image signal are corrected using the reference signal ratio C and the standard reference signal ratio Ca. Thereby, the G2a image signal and the R2a image signal, which are the same image signals as when the AE is ideally operated, are obtained. Then, oxygen saturation is calculated based on the aligned B1a image signal, G2a image signal, and R2a image signal. An oxygen saturation image is generated based on the calculated oxygen saturation and the B2 image signal, G2 image signal, and R2 image signal.
生成された酸素飽和度画像は、特殊光画像として、モニタ18に表示される。このモニタ18に表示された酸素飽和度画像に基づいて、ドクターは、病変可能性部位が低酸素状態になっているかどうかを確認する。酸素飽和度の表示は、通常観察モードに切り替えられるまで、継続して表示される。そして、診断を終了する場合には、内視鏡12の挿入部21を検体内から抜き出す。
The generated oxygen saturation image is displayed on the
なお、上記第1実施形態では、内視鏡12の先端部24に蛍光体44を設けたが、これに代えて、図19の内視鏡システム100に示すように、光源装置14の内部に蛍光体44を設けてもよい。この場合には、第1青色レーザ光源(473LD)34及び第2青色レーザ光源(445LD)36と、ライトガイド41との間に、蛍光体44を設ける。第1青色レーザ光源34又は第2青色レーザ光源36は、第1青色レーザ光又は第2青色レーザ光を蛍光体44に向けて照射する。これにより、第1白色光又は第2白色光が発せられる。この第1又は第2白色光は、ライトガイド41を介して、検体内に照射される。それ以外については、内視鏡システム100は、内視鏡システム10と同様である。
In the first embodiment, the
なお、上記第1実施形態では、第1及び第2青色レーザ光を同一の蛍光体44に入射したが、第1青色レーザ光と第2青色レーザ光を、それぞれ別々の第1蛍光体、第2蛍光体に入射させてもよい。この場合には、第1蛍光体から発せられる蛍光のうちセンサ48のR画素に入射する第1赤色成分の光と、第2蛍光体から発せられる蛍光のうちセンサ48のR画素に入射する第2赤色成分の光について、同一の波形にする必要がある。また、第1赤色成分の光と第2赤色成分の光の強度比を、波長によらず一定にする必要がある。これは、参照用信号比Cを、実際のフレーム間強度比の増減に連動させるためである。
In the first embodiment, the first and second blue laser beams are incident on the
[第2実施形態]
図20に示すように、内視鏡システム200の光源装置14には、第1及び第2青色レーザ光源34,36、光源制御部40の代わりに、LED光源ユニット202と、LED光源制御部204が設けられている。また、内視鏡200の照明光学系24aには、蛍光体44が設けられていない。それ以外については、第1実施形態の内視鏡システム10と同様である。
[Second Embodiment]
As shown in FIG. 20, the
LED光源ユニット202は、特定の波長域に制限された光を発光する光源として、4つのLEDを有する。具体的には、LED光源ユニット202は、400〜500nmの青色領域の青色帯域光B(以下、単に青色光という)を発光するLED(B)と、473nm±10nmに制限された青色狭帯域光Nbを発光するLED(473)と、480〜620nmの緑色領域の緑色帯域光G(以下、単に緑色光という)を発光するLED(G)と、600〜720nmの赤色領域の赤色帯域光R(以下、単に赤色光という)を発光するLED(R)とを有している。なお、LED光源ユニット202は、各LEDがブロードな波長域の光を発光するように、波長域が少しずつ異なった狭帯域光を発光するLEDを複数設けてもよい。
The LED
なお、本発明の「第1照明光」については、「第1信号光」は「青色狭帯域光Nb」に対応し、「参照光」は「赤色光R」に対応している。また、本発明の「第2照明光」については、「第2信号光」が「緑色光G」に対応し、「参照光」は「赤色光R」に対応している。 In the “first illumination light” of the present invention, “first signal light” corresponds to “blue narrowband light Nb”, and “reference light” corresponds to “red light R”. In the “second illumination light” of the present invention, “second signal light” corresponds to “green light G”, and “reference light” corresponds to “red light R”.
LED光源制御部204は、LED光源ユニット202の各LEDを個別に制御している。また、LED光源制御部204は、通常観察モードの場合には、LED(B)、(G)、(R)を駆動する。これに対して、特殊観察モードの場合には、LED(473)、LED(G)、(R)と、LED(B)、(G)、(R)とを交互に駆動するように制御している。
The LED light
また、撮像制御部49では、各観察モード毎に、以下のような撮像制御を行っている。図21Aに示すように、通常観察モード時には、1フレームの期間毎に、青色光B、緑色光G及び赤色光Rが同時に照明された検体内をカラーのセンサ48で撮像、すなわち、青色光B、緑色光G及び赤色光Rを光電変換して得られる電荷を蓄積するステップと、蓄積した電荷をB画像信号、G画像信号、R画像信号として読み出すステップが行われる。こうした動作は通常観察モードに設定されている間、繰り返し行われる。そして、それら1フレーム分の画像信号に基づいて、上記第1実施形態と同様の方法で、通常光画像が生成される。
The imaging control unit 49 performs the following imaging control for each observation mode. As shown in FIG. 21A, in the normal observation mode, an image of the specimen illuminated with the blue light B, the green light G, and the red light R at the same time is captured by the
一方、図21Bに示すように、特殊観察モード時には、1フレーム目に、青色狭帯域光Nb、緑色光G、赤色光Rを光電変換して得られる電荷を蓄積するステップと、蓄積した電荷をB1画像信号、G1画像信号、R1画像信号として読み出すステップが行われ、その次の2フレーム目に、青色光B、緑色光G及び赤色光Rを光電変換して得られる電荷を蓄積するステップと、蓄積した電荷をB2画像信号、G2画像信号、R2画像信号として読み出すステップが行われる。こうした動作は特殊観察モードに設定されている間、繰り返し行われる。そして、それら2フレーム分の画像信号に基づいて、上記第1実施形態と同様の方法で、酸素飽和度画像が生成される。 On the other hand, as shown in FIG. 21B, in the special observation mode, in the first frame, a step of accumulating charges obtained by photoelectrically converting the blue narrow band light Nb, the green light G, and the red light R, and the accumulated charges A step of reading as a B1 image signal, a G1 image signal, and an R1 image signal is performed, and in the next second frame, a step of accumulating charges obtained by photoelectrically converting the blue light B, the green light G, and the red light R; Then, a step of reading the accumulated charges as a B2 image signal, a G2 image signal, and an R2 image signal is performed. Such an operation is repeated while the special observation mode is set. Based on the image signals for the two frames, an oxygen saturation image is generated by the same method as in the first embodiment.
ここで、1フレーム目の赤色光Rと2フレーム目の赤色光Rは、同一のLED(R)から発光しているため、それぞれの波形は同一であり、また、それらの強度比は波長によらず同一である。したがって、1フレーム目の赤色光発光時に得られるR1画像信号と2フレーム目の赤色光発光時に得られるR2画像信号との比率を示す参照用信号比Cは、実際のフレーム間強度比に連動して増減する。したがって、第2実施形態においても、参照用信号比Cは、実際のフレーム間強度比を正確に表していることになる。 Here, since the red light R of the first frame and the red light R of the second frame are emitted from the same LED (R), their waveforms are the same, and the intensity ratio thereof is the wavelength. Regardless. Therefore, the reference signal ratio C indicating the ratio between the R1 image signal obtained when the first frame of red light is emitted and the R2 image signal obtained when the second frame of red light is emitted is linked to the actual interframe intensity ratio. Increase or decrease. Therefore, also in the second embodiment, the reference signal ratio C accurately represents the actual interframe intensity ratio.
上記第2実施形態では、特殊観察モードにおいて、1フレーム目の赤色光R、2フレーム目の赤色光Rは、それぞれ同一のLED(R)から発光したが、別々のLED(R)から発光してもよい。ただし、この場合には、1フレーム目に第1LED(R)から発光する第1赤色光と、2フレーム目に第2LED(R)から発光する第2赤色光とは、それぞれ同じスペクトルにするとともに、各波長における強度比を同じにする必要がある。これは、参照用信号比Cを、実際のフレーム間強度比の増減に連動させるためである。 In the second embodiment, in the special observation mode, the red light R of the first frame and the red light R of the second frame are emitted from the same LED (R), but are emitted from different LEDs (R). May be. However, in this case, the first red light emitted from the first LED (R) in the first frame and the second red light emitted from the second LED (R) in the second frame have the same spectrum, respectively. The intensity ratio at each wavelength must be the same. This is because the reference signal ratio C is linked to the increase / decrease of the actual interframe intensity ratio.
[第3実施形態]
図22に示すように、内視鏡システム300の光源装置14には、第1及び第2青色レーザ光源34,36、光源制御部40の代わりに、広帯域光源302、回転フィルタ304、フィルタ切替部305が設けられている。それ以外については、第1実施形態の内視鏡システム10と同様である。
[Third Embodiment]
As shown in FIG. 22, the
広帯域光源302はキセノンランプ、白色LEDなどであり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ304は、内側に設けられた通常観察モード用フィルタ308と、外側に設けられた特殊観察モード用フィルタ309とを備えている(図23参照)。フィルタ切替部305は、回転フィルタ304を径方向に移動させるものであり、モード切替SW22bにより通常観察モードにセットされたときに、回転フィルタ304の通常観察モード用フィルタ308を白色光の光路に挿入し、特殊観察モードにセットされたときに、回転フィルタ304の特殊観察モード用フィルタ309を白色光の光路に挿入する。
The
図23に示すように、通常観察モード用フィルタ308には、白色光をそのまま透過させる開口部308aが設けられている。したがって、通常観察モード時には、白色光が検体内に照射される。特殊観察モード用フィルタ309には、周方向に沿って、白色光のうち所定帯域の帯域制限光(473,GR)を透過させるバンドパスフィルタ(BPF)309aと、白色光をそのまま透過させる開口部309bが設けられている。したがって、特殊観察モード時には、回転フィルタ304が回転することで、帯域制限光(473,GR)、白色光が交互に検体内に照射される。
As shown in FIG. 23, the normal
バンドパスフィルタ309aは、図24に示すように、473nm±10nmと、500〜700nm(緑色領域〜赤色領域)に透過性を有し、それ以外の波長は遮断する。したがって、帯域制限光(473,GR)は、473nm±10nmと500〜700nmの波長を有している。
As shown in FIG. 24, the band-
なお、本発明の「第1照明光」については、「第1信号光」は「帯域制限光のうちセンサ48のB画素に入射する光」に対応し、「参照光」は「帯域制限光のうちセンサ48のR画素に入射する光」に対応する。また、本発明の「第2照明光」については、「第2信号光」は「白色光のうちセンサ48のG画素に入射する光」に対応し、「参照光」は「白色光のうちセンサ48のR画素に入射する光」に対応する。
In the “first illumination light” of the present invention, “first signal light” corresponds to “light incident on the B pixel of the
また、撮像制御部49では、各観察モード毎に、以下のような撮像制御を行っている。図25Aに示すように、通常観察モード時には、1フレームの期間毎に、白色光を光電変換して得られる電荷を蓄積するステップと、蓄積した電荷をB画像信号、G画像信号、R画像信号として読み出すステップが行われる。こうした動作は通常観察モードに設定されている間、繰り返し行われる。そして、それら1フレーム分の画像信号に基づいて、上記第1実施形態と同様の方法で、通常光画像が生成される。 The imaging control unit 49 performs the following imaging control for each observation mode. As shown in FIG. 25A, in the normal observation mode, a step of accumulating charges obtained by photoelectrically converting white light for each frame period, and the accumulated charges are converted into B image signals, G image signals, and R image signals. Is read out. Such an operation is repeated while the normal observation mode is set. Then, based on the image signal for one frame, a normal light image is generated by the same method as in the first embodiment.
一方、図25Bに示すように、特殊観察モード時には、1フレーム目に、帯域制限光(473,GR)を光電変換して得られる電荷を蓄積するステップと、蓄積した電荷をB1画像信号、G1画像信号、R1画像信号として読み出すステップが行われ、その次の2フレーム目に、白色光を光電変換して得られる電荷を蓄積するステップと、蓄積した電荷をB2画像信号、G2画像信号、R2画像信号として読み出すステップが行われる。こうした動作は特殊観察モードに設定されている間、繰り返し行われる。そして、それら2フレーム分の画像信号に基づいて、上記第1実施形態と同様の方法で、酸素飽和度画像が生成される。 On the other hand, as shown in FIG. 25B, in the special observation mode, in the first frame, a step of accumulating charges obtained by photoelectric conversion of the band-limited light (473, GR), and the accumulated charges are stored in the B1 image signal, G1. A step of reading out as an image signal and an R1 image signal is performed, and in the next second frame, a step of accumulating charges obtained by photoelectrically converting white light, and an accumulated charge as a B2 image signal, a G2 image signal, and R2 A step of reading as an image signal is performed. Such an operation is repeated while the special observation mode is set. Based on the image signals for the two frames, an oxygen saturation image is generated by the same method as in the first embodiment.
ここで、1フレーム目の帯域制限光のうちセンサのR画素で受光する赤色成分と、2フレーム目の白色光のうちR画素で受光する赤色成分は、同一の広帯域光源302から発光したものであるため、それぞれの波形は同一であり、また、それらの強度比は波長によらず同一である。したがって、1フレーム目の帯域制限光発光時に得られるR1画像信号と2フレーム目の白色光発光時に得られるR2画像信号との比率を示す参照用信号比Cは、実際のフレーム間強度比に連動して増減する。したがって、第3実施形態においても、参照用信号比Cは、フレーム間強度比を表していることになる。
Here, the red component received by the R pixel of the sensor in the band limited light of the first frame and the red component received by the R pixel of the white light of the second frame are emitted from the same
[第4実施形態]
上記第3実施形態では、広帯域光源302、回転フィルタ304、フィルタ切替部305を設けた内視鏡システム300の例で説明したが、図26に示すように、第4実施形態の内視鏡システム400に、回転フィルタ404、半導体光源LD(473)406と、半導体光源制御部408と、光合流部410とを設けてもよい。それ以外については、第3実施形態の内視鏡システム300と同様である。
[Fourth Embodiment]
In the third embodiment, the example of the
図27に示すように、回転フィルタ404は、内側に設けられた通常観察モード用フィルタ412と、外側に設けられた特殊観察モード用フィルタ413とを備えている。通常観察モード用フィルタ412には、白色光をそのまま透過させる開口部412aが設けられている。したがって、通常観察モード時には、白色光が検体内に照射される。
As shown in FIG. 27, the
特殊観察モード用フィルタ413には、周方向に沿って、白色光のうち所定帯域の帯域制限光(GR)を透過させるバンドパスフィルタ(BPF)413aと、白色光をそのまま透過させる開口部413bが設けられている。したがって、特殊観察モード時には、回転フィルタ404が回転することで、帯域制限光(GR)、白色光が交互に検体内に照射される。バンドパスフィルタ413aは、図28に示すように、500〜700nmの波長域に透過性を有し、それ以外の波長は遮断する。したがって、帯域制限光(GR)は、500〜700nmの波長を有する。
The special
半導体光源LD(473)406は、473nm±10nmの青色狭帯域光Nbを発光する。半導体光源制御部408は、回転フィルタ404の回転を検出するセンサ(図示省略)から検出信号を取得し、取得した検出信号に応じて、半導体光源LD(473)406の駆動タイミング、同期タイミング、点灯、消灯などの制御を行う。これにより、半導体光源制御部408は、白色光が検体内に照射される照射期間内には青色狭帯域光Nbを発光せず、帯域制限光(GR)が検体内に照射される照射期間内に青色狭帯域光Nbを発光する。
The semiconductor light source LD (473) 406 emits blue narrowband light Nb of 473 nm ± 10 nm. The semiconductor light
光合流部410は、ダイクロイックミラーからなり、回転フィルタ404からの光を透過してLG41に入射させるとともに、青色半導体光源LD(473)406からの光を反射して、LG41に入射させる。
The
なお、本発明の「第1照明光」については、「第1信号光」は「青色狭帯域光Nb」に対応し、「参照光」は「帯域制限光のうちセンサ48のR画素に入射する光」に対応する。また、本発明の「第2照明光」については、「第2信号光」は「白色光のうちセンサ48のG画素に入射する光」に対応し、「参照光」は「白色光のうちセンサ48のR画素に入射する光」に対応する。
As for the “first illumination light” of the present invention, “first signal light” corresponds to “blue narrowband light Nb”, and “reference light” is “incident on the R pixel of
図29Aに示すように、通常観察モード時には、1フレームの期間毎に、白色光を光電変換して得られる電荷を蓄積するステップと、蓄積した電荷をB画像信号、G画像信号、R画像信号として読み出すステップが行われる。こうした動作は通常観察モードに設定されている間、繰り返し行われる。そして、それら1フレーム分の画像信号に基づいて、上記第1実施形態と同様の方法で、通常光画像が生成される。 As shown in FIG. 29A, in the normal observation mode, a step of accumulating charges obtained by photoelectrically converting white light for each frame period, and the accumulated charges are converted into a B image signal, a G image signal, and an R image signal. Is read out. Such an operation is repeated while the normal observation mode is set. Then, based on the image signal for one frame, a normal light image is generated by the same method as in the first embodiment.
一方、図29Bに示すように、特殊観察モード時には、1フレーム目に、青色狭帯域光Nb、帯域制限光(GR)を光電変換して得られる電荷を蓄積するステップと、蓄積した電荷をB1画像信号、G1画像信号、R1画像信号として読み出すステップが行われ、その次の2フレーム目に、白色光を光電変換して得られる電荷を蓄積するステップと、蓄積した電荷をB2画像信号、G2画像信号、R2画像信号として読み出すステップが行われる。こうした動作は特殊観察モードに設定されている間、繰り返し行われる。そして、それら2フレーム分の画像信号に基づいて、上記第1実施形態と同様の方法で、酸素飽和度画像が生成される。 On the other hand, as shown in FIG. 29B, in the special observation mode, in the first frame, a step of accumulating charges obtained by photoelectrically converting the blue narrow band light Nb and the band limited light (GR), and the accumulated charges B1 A step of reading out as an image signal, a G1 image signal, and an R1 image signal is performed, and in the next second frame, a step of accumulating charges obtained by photoelectric conversion of white light, and an accumulated charge as a B2 image signal, G2 A step of reading out as an image signal and an R2 image signal is performed. Such an operation is repeated while the special observation mode is set. Based on the image signals for the two frames, an oxygen saturation image is generated by the same method as in the first embodiment.
ここで、1フレーム目の帯域制限光のうちセンサのR画素で受光する赤色成分と、2フレーム目の白色光のうちR画素で受光する赤色成分は、同一の広帯域光源302から発光したものであるため、それぞれの波形は同一であり、また、それらの強度比は波長によらず同一である。したがって、1フレーム目の帯域制限光発光時に得られるR1画像信号と2フレーム目の白色光発光時に得られるR2画像信号との比率を示す参照用信号比Cは、実際のフレーム間強度比に連動して増減する。したがって、第4実施形態においても、参照用信号比Cは、フレーム間強度比を正確表していることになる。
Here, the red component received by the R pixel of the sensor in the band limited light of the first frame and the red component received by the R pixel of the white light of the second frame are emitted from the same
なお、上記実施形態では、2つの測定用信号比B1/G2、R2/G2から酸素飽和度を産出したが、測定用信号比B1/G2のみから酸素飽和度を算出してもよい。この場合には、酸素飽和度の算出に、測定用信号比B1/G2と酸素飽和度の相関関係を記憶した相関関係記憶部が用いられる。 In the above embodiment, the oxygen saturation is produced from the two measurement signal ratios B1 / G2 and R2 / G2, but the oxygen saturation may be calculated from only the measurement signal ratio B1 / G2. In this case, a correlation storage unit that stores the correlation between the measurement signal ratio B1 / G2 and the oxygen saturation is used to calculate the oxygen saturation.
なお、上記実施形態では、酸素飽和度の画像化した酸素飽和度画像の作成を行ったが、これに加えて、血液量を画像化した血液量画像の作成を行ってもよい。血液量は、測定用信号比算出部で求めた測定用信号比R2/G2と相関関係がある。そのため、測定用信号比R2/G2に応じて異なる色を割り当てることで、血液量を画像化した血液量画像を作成することができる。 In the above embodiment, the oxygen saturation image obtained by imaging the oxygen saturation is created. However, in addition to this, a blood volume image obtained by imaging the blood volume may be created. The blood volume has a correlation with the measurement signal ratio R2 / G2 obtained by the measurement signal ratio calculation unit. Therefore, by assigning different colors according to the measurement signal ratio R2 / G2, a blood volume image obtained by imaging the blood volume can be created.
なお、上記実施形態では、血液量(酸化ヘモグロビンと還元ヘモグロビンの和)のうち酸化ヘモグロビンの占める割合である酸素飽和度を算出したが、これに代えて又は加えて、「血液量×酸素飽和度(%)」から求まる酸化ヘモグロビンインデックスや、「血液量×(100−酸素飽和度)(%)」から求まる還元ヘモグロビンインデックスなど他の生体機能情報を算出してもよい。 In the above embodiment, the oxygen saturation, which is the proportion of oxyhemoglobin in the blood volume (the sum of oxyhemoglobin and deoxyhemoglobin), is calculated, but instead of or in addition to this, “blood volume × oxygen saturation” Other biological function information such as an oxygenated hemoglobin index obtained from (%) or a reduced hemoglobin index obtained from “blood volume × (100−oxygen saturation) (%)” may be calculated.
10,100,200,300,400 内視鏡システム
47 ズーミングレンズ
48 センサ
80a 探索条件設定部
80b 第1位置合わせ部
80c 第2位置合わせ部
80d 参照用信号比算出部
80e 補正部
83 酸素飽和度算出部
HF 高周波フィルタリング部(高周波成分抽出部)
LF 低周波フィルタリング部(低周波成分抽出部)
10, 100, 200, 300, 400
LF Low frequency filtering unit (low frequency component extraction unit)
Claims (13)
前記第1信号光と波長域が異なる第2信号光、及び前記参照光を含む第2照明光を発する第2光源と、
前記第1照明光と前記第2照明光が交互に検体に照射されるように、前記第1照明光と前記第2照明光の照射タイミングを制御する光源制御部と、
前記検体から前記第1照明光の反射光を受光した時には、前記第1照明光の反射光を前記第1信号光と前記参照光に波長分離して撮像することにより、前記第1信号光に対応する第1信号用画像信号を出力するとともに、前記参照光に対応する第1参照用画像信号を出力し、前記検体から前記第2照明光の反射光を受光した時には、前記第2照明光の反射光を前記第2信号光と前記参照光に波長分離して撮像することにより、前記第2信号光に対応する第2信号用画像信号を出力するとともに、前記参照光に対応する第2参照用画像信号を出力する撮像部と、
前記第1信号用画像信号と前記第2信号用画像信号との位置ずれ量を算出するとともに、それら信号用画像信号間の位置合わせを行う第1位置合わせ部と、
前記位置ずれ量に基づいて、前記第1参照用画像信号と前記第2参照用画像信号の位置合わせを行う第2位置合わせ部と、
位置合わせ済みの前記第1参照用画像信号と前記第2参照用画像信号に基づいて、各画素毎に、前記第1及び第2信号光の強度に関する参照情報を算出する参照情報算出部と、
前記参照情報に基づいて、前記第1信号用画像信号又は前記第2信号用画像信号を補正する補正部と、
補正後の前記第1信号用画像信号又は前記第2信号用画像信号に基づいて、生体機能情報を算出する生体機能情報算出部と、
を備えることを特徴とする内視鏡システム。 A first light source that emits first illumination light including first signal light and reference light;
A second light source for emitting a second illumination light including a second signal light having a wavelength range different from that of the first signal light and the reference light;
A light source control unit that controls the irradiation timing of the first illumination light and the second illumination light so that the specimen is alternately irradiated with the first illumination light and the second illumination light;
When the reflected light of the first illumination light is received from the specimen, the reflected light of the first illumination light is separated into the first signal light and the reference light and imaged to obtain the first signal light. When the corresponding first signal image signal is output, the first reference image signal corresponding to the reference light is output, and the reflected light of the second illumination light is received from the specimen, the second illumination light The reflected light is imaged by separating the reflected light into the second signal light and the reference light, thereby outputting a second signal image signal corresponding to the second signal light and a second corresponding to the reference light. An imaging unit that outputs a reference image signal;
A first alignment unit that calculates a positional deviation amount between the first signal image signal and the second signal image signal, and performs alignment between the signal image signals;
A second alignment unit that aligns the first reference image signal and the second reference image signal based on the displacement amount;
A reference information calculation unit that calculates reference information related to the intensity of the first and second signal lights for each pixel based on the aligned first reference image signal and the second reference image signal;
A correction unit that corrects the first signal image signal or the second signal image signal based on the reference information;
A biological function information calculation unit that calculates biological function information based on the corrected image signal for the first signal or the image signal for the second signal;
An endoscope system comprising:
前記第1位置合わせ部は、前記高周波フィルタリング後の前記第1信号用画像信号と前記第2信号用画像信号に基づいて、前記位置ずれ量の算出及び前記位置合わせを行うことを特徴とする請求項1記載の内視鏡システム。 A high-frequency component extraction unit that applies high-frequency filtering to extract a high-frequency component for the first signal image signal and the second signal image signal;
The first alignment unit calculates the displacement amount and performs the alignment based on the first signal image signal and the second signal image signal after the high-frequency filtering. The endoscope system according to Item 1.
前記第2位置合わせ部は、前記低周波フィルタリング後の前記第1参照用画像信号と前記第2参照用画像信号間の位置合わせを行うことを特徴とする請求項1または2記載の内視鏡システム。 A low-frequency component extraction unit that applies low-frequency filtering to extract a low-frequency component for the first reference image signal and the second reference image signal that have been aligned;
The endoscope according to claim 1, wherein the second alignment unit performs alignment between the first reference image signal and the second reference image signal after the low-frequency filtering. system.
前記第1位置合わせ部は、前記探索ポイントを所定の探索範囲で移動させることにより、前記基準ポイントと最も近い特徴量を有する目標ポイントを検出する検出処理を行い、
前記位置ずれ量は、前記目標ポイントを検出したときの前記探索ポイントの移動量であることを特徴とする請求項1ないし3いずれか1項記載の内視鏡システム。 A reference point is set in each of a plurality of areas of one image signal out of the first signal image signal and the second signal image signal, and a search is made at a position corresponding to the reference point in the other image signal. It has a search condition setting part to set points,
The first alignment unit performs a detection process of detecting a target point having a feature quantity closest to the reference point by moving the search point within a predetermined search range;
The endoscope system according to claim 1, wherein the displacement amount is a movement amount of the search point when the target point is detected.
前記拡大手段の非使用時における探索範囲を、前記拡大手段の使用時における探索範囲よりも広くすることを特徴とする請求項4ないし6いずれか1項記載の内視鏡システム。 Comprising an enlarging means for enlarging the specimen,
The endoscope system according to any one of claims 4 to 6, wherein a search range when the magnifying means is not used is made wider than a search range when the magnifying means is used.
前記第1参照光と前記第2参照光は波形が同じで、前記第1参照光と前記第2参照光の強度比が同じであり、
前記第1参照用画像信号は、前記第1参照光に対応しており、前記第2参照用画像信号は前記第2参照光に対応することを特徴とする請求項1ないし8いずれか1項記載の内視鏡システム。 The reference light is included in the first illumination light and is included in the first reference light having a longer wavelength than the first signal light and the second illumination light and has a longer wavelength than that of the second signal light. Consists of two reference lights,
The first reference light and the second reference light have the same waveform, and the intensity ratio of the first reference light and the second reference light is the same,
9. The first reference image signal corresponds to the first reference light, and the second reference image signal corresponds to the second reference light. The endoscope system described.
前記参照情報は、前記第1参照用画像信号と前記第2参照用画像信号間の比率を示す参照用信号比であり、
前記参照用信号比は、前記第1照明光の反射光の強度と前記第2照明光の反射光の強度との比率を示すフレーム間強度比に合わせて変化すること特徴とする請求項1ないし10いずれか1項記載の内視鏡システム。 The biological function information is oxygen saturation calculated based on a measurement signal ratio between the first signal image signal and the second signal image signal after correction,
The reference information is a reference signal ratio indicating a ratio between the first reference image signal and the second reference image signal,
2. The reference signal ratio changes according to an inter-frame intensity ratio indicating a ratio between the intensity of reflected light of the first illumination light and the intensity of reflected light of the second illumination light. The endoscope system according to any one of 10.
前記第1信号用画像信号と前記第2信号用画像信号との位置ずれ量を算出するとともに、それら信号用画像信号間の位置合わせを行う第1位置合わせ部と、
前記位置ずれ量に基づいて、前記第1参照用画像信号と前記第2参照用画像信号の位置合わせを行う第2位置合わせ部と、
位置合わせ済みの前記第1参照用画像信号と前記第2参照用画像信号に基づいて、各画素毎に、前記第1及び第2信号光の強度に関する参照情報を算出する参照情報算出部と、
前記参照情報に基づいて、前記第1信号用画像信号又は前記第2信号用画像信号を補正する補正部と、
補正後の前記第1信号用画像信号又は前記第2信号用画像信号に基づいて、生体機能情報算出部と、
を備えることを特徴とする内視鏡システムのプロセッサ装置。 A first light source that emits a first illumination light including a first signal light and a reference light; a second signal light that has a wavelength range different from that of the first signal light; and a second light that emits a second illumination light including the reference light. From the sample, a light source, a light source control unit that controls generation timing of the first illumination light and the second illumination light so that the sample is alternately irradiated with the first illumination light and the second illumination light. When the reflected light of the first illumination light is received, the reflected light of the first illumination light is image-separated into the first signal light and the reference light, thereby imaging the first signal light corresponding to the first signal light. When the image signal for one signal is output, the first image signal for reference corresponding to the reference light is output, and the reflected light of the second illumination light is received from the specimen, the reflected light of the second illumination light By separating the wavelength into the second signal light and the reference light. Outputs a second signal for the image signal corresponding to the second signal light, in the processor device of an endoscope system including an imaging unit for outputting a second reference picture signal corresponding to the reference light,
A first alignment unit that calculates a positional deviation amount between the first signal image signal and the second signal image signal, and performs alignment between the signal image signals;
A second alignment unit that aligns the first reference image signal and the second reference image signal based on the displacement amount;
A reference information calculation unit that calculates reference information related to the intensity of the first and second signal lights for each pixel based on the aligned first reference image signal and the second reference image signal;
A correction unit that corrects the first signal image signal or the second signal image signal based on the reference information;
Based on the corrected image signal for the first signal or the image signal for the second signal, the biological function information calculation unit;
A processor device for an endoscope system, comprising:
撮像部が、前記検体から第1照明光の反射光を受光した時には、前記第1照明光の反射光を前記第1信号光と前記参照光に波長分離して撮像することにより、前記第1信号光に対応する第1信号用画像信号を出力するとともに、前記参照光に対応する第1参照用画像信号を出力し、前記検体から前記第2照明光の反射光を受光した時には、前記第2照明光の反射光を前記第2信号光と前記参照光に波長分離して撮像することにより、前記第2信号光に対応する第2信号用画像信号を出力するとともに、前記参照光に対応する第2参照用画像信号を出力するステップと、
第1位置合わせ部が、前記第1信号用画像信号と前記第2信号用画像信号との位置ずれ量を算出するとともに、それら信号用画像信号間の位置合わせを行うステップと、
第2位置合わせ部が、前記位置ずれ量に基づいて、前記第1参照用画像信号と前記第2参照用画像信号の位置合わせを行うステップと、
参照情報算出部が、位置合わせ済みの前記第1参照用画像信号と前記第2参照用画像信号に基づいて、各画素毎に、前記第1及び第2信号光の強度に関する参照情報を算出するステップと、
補正部が、前記参照情報に基づいて、前記第1信号用画像信号又は前記第2信号用画像信号を補正するステップと、
生体機能情報算出部が、補正後の前記第1信号用画像信号又は前記第2信号用画像信号に基づいて、生体機能情報を算出するステップと、
を有することを特徴とする内視鏡システムの作動方法。 The light source control unit generates the first illumination light including the first signal light and the reference light and the second illumination light including the second signal light and the reference light having a wavelength range different from the first signal light at different timings. Controlling the generation timing of the first illumination light and the second illumination light,
When the imaging unit receives the reflected light of the first illumination light from the specimen, the reflected light of the first illumination light is separated into the first signal light and the reference light, and the first imaging light is captured. When the first signal image signal corresponding to the signal light is output and the first reference image signal corresponding to the reference light is output and the reflected light of the second illumination light is received from the specimen, the first signal image signal is output. The reflected light of the two illumination lights is separated into the second signal light and the reference light and imaged to output a second signal image signal corresponding to the second signal light and also to the reference light Outputting a second reference image signal,
A first alignment unit that calculates a positional deviation amount between the first signal image signal and the second signal image signal and performs alignment between the signal image signals;
A second alignment unit aligning the first reference image signal and the second reference image signal based on the displacement amount;
The reference information calculation unit calculates reference information regarding the intensity of the first and second signal lights for each pixel based on the first reference image signal and the second reference image signal that have been aligned. Steps,
A correction unit correcting the first signal image signal or the second signal image signal based on the reference information;
A biological function information calculating unit calculating biological function information based on the corrected first image signal signal or the second signal image signal;
A method of operating an endoscope system, comprising:
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013064663A JP5997643B2 (en) | 2013-03-26 | 2013-03-26 | ENDOSCOPE SYSTEM, PROCESSOR DEVICE, AND OPERATION METHOD |
PCT/JP2014/056268 WO2014156604A1 (en) | 2013-03-26 | 2014-03-11 | Endoscope system, operational method therefor and processor device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013064663A JP5997643B2 (en) | 2013-03-26 | 2013-03-26 | ENDOSCOPE SYSTEM, PROCESSOR DEVICE, AND OPERATION METHOD |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014188083A true JP2014188083A (en) | 2014-10-06 |
JP5997643B2 JP5997643B2 (en) | 2016-09-28 |
Family
ID=51623587
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013064663A Active JP5997643B2 (en) | 2013-03-26 | 2013-03-26 | ENDOSCOPE SYSTEM, PROCESSOR DEVICE, AND OPERATION METHOD |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5997643B2 (en) |
WO (1) | WO2014156604A1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017104233A1 (en) * | 2015-12-17 | 2017-06-22 | 富士フイルム株式会社 | Endoscope system, processor device, and endoscope system operation method |
WO2017104232A1 (en) * | 2015-12-17 | 2017-06-22 | 富士フイルム株式会社 | Endoscope system, processor device, and operation method of endoscope system |
EP3238604A4 (en) * | 2014-12-22 | 2018-01-03 | FUJIFILM Corporation | Processor device for endoscope, method for operating same, and control program |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6517573B2 (en) * | 2015-04-17 | 2019-05-22 | Hoya株式会社 | Image processing apparatus and endoscope apparatus |
WO2017183339A1 (en) | 2016-04-21 | 2017-10-26 | 富士フイルム株式会社 | Endoscope system, processor device, and endoscope system operation method |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008149674A1 (en) * | 2007-06-05 | 2008-12-11 | Olympus Corporation | Image processing device, image processing program and image processing method |
JP2009011563A (en) * | 2007-07-04 | 2009-01-22 | Olympus Corp | Image processor and image processing program |
JP2011200517A (en) * | 2010-03-26 | 2011-10-13 | Fujifilm Corp | Electronic endoscope system |
JP2011217886A (en) * | 2010-04-07 | 2011-11-04 | Olympus Corp | Fluorescence observation device |
JP2012125402A (en) * | 2010-12-15 | 2012-07-05 | Fujifilm Corp | Endoscope system, processor device thereof, and method of obtaining function information |
JP2012205619A (en) * | 2011-03-29 | 2012-10-25 | Olympus Medical Systems Corp | Image processor, control device, endoscope apparatus, image processing method, and image processing program |
JP2013013656A (en) * | 2011-07-06 | 2013-01-24 | Fujifilm Corp | Endoscope system, endoscope system processor and image display method |
-
2013
- 2013-03-26 JP JP2013064663A patent/JP5997643B2/en active Active
-
2014
- 2014-03-11 WO PCT/JP2014/056268 patent/WO2014156604A1/en active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008149674A1 (en) * | 2007-06-05 | 2008-12-11 | Olympus Corporation | Image processing device, image processing program and image processing method |
JP2009011563A (en) * | 2007-07-04 | 2009-01-22 | Olympus Corp | Image processor and image processing program |
JP2011200517A (en) * | 2010-03-26 | 2011-10-13 | Fujifilm Corp | Electronic endoscope system |
JP2011217886A (en) * | 2010-04-07 | 2011-11-04 | Olympus Corp | Fluorescence observation device |
JP2012125402A (en) * | 2010-12-15 | 2012-07-05 | Fujifilm Corp | Endoscope system, processor device thereof, and method of obtaining function information |
JP2012205619A (en) * | 2011-03-29 | 2012-10-25 | Olympus Medical Systems Corp | Image processor, control device, endoscope apparatus, image processing method, and image processing program |
JP2013013656A (en) * | 2011-07-06 | 2013-01-24 | Fujifilm Corp | Endoscope system, endoscope system processor and image display method |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3238604A4 (en) * | 2014-12-22 | 2018-01-03 | FUJIFILM Corporation | Processor device for endoscope, method for operating same, and control program |
WO2017104233A1 (en) * | 2015-12-17 | 2017-06-22 | 富士フイルム株式会社 | Endoscope system, processor device, and endoscope system operation method |
WO2017104232A1 (en) * | 2015-12-17 | 2017-06-22 | 富士フイルム株式会社 | Endoscope system, processor device, and operation method of endoscope system |
US10842423B2 (en) | 2015-12-17 | 2020-11-24 | Fujifilm Corporation | Endoscope system, processor device, and operation method of endoscope system |
US10869590B2 (en) | 2015-12-17 | 2020-12-22 | Fujifilm Corporation | Endoscope system, processor device, and operation method of endoscope system |
Also Published As
Publication number | Publication date |
---|---|
WO2014156604A1 (en) | 2014-10-02 |
JP5997643B2 (en) | 2016-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5992936B2 (en) | Endoscope system, processor device for endoscope system, operation method of endoscope system, operation method of processor device for endoscope system | |
JP5977772B2 (en) | Endoscope system, processor device for endoscope system, method for operating endoscope system, method for operating processor device | |
JP6092792B2 (en) | Endoscope system processor device, endoscope system, operating method of endoscope system processor device, operating method of endoscope system | |
KR101913622B1 (en) | Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra | |
JP5887367B2 (en) | Processor device, endoscope system, and operation method of endoscope system | |
WO2021060158A1 (en) | Endoscope system and method for operating same | |
US20140340497A1 (en) | Processor device, endoscope system, and operation method of endoscope system | |
US20170296034A1 (en) | Image processing apparatus, method for operating image processing apparatus, computer-readable recording medium, and endoscope device | |
JP6008812B2 (en) | Endoscope system and operating method thereof | |
JP5997643B2 (en) | ENDOSCOPE SYSTEM, PROCESSOR DEVICE, AND OPERATION METHOD | |
JP6259747B2 (en) | Processor device, endoscope system, operating method of processor device, and program | |
JP6085649B2 (en) | Endoscope light source device and endoscope system | |
US10003774B2 (en) | Image processing device and method for operating endoscope system | |
JP5972312B2 (en) | Medical image processing apparatus and operating method thereof | |
JP2018051364A (en) | Endoscope system, endoscope system processor, endoscope system operation method, and processor operation method | |
JP6245710B2 (en) | Endoscope system and operating method thereof | |
JP6099518B2 (en) | Endoscope system and method of operation | |
JP5990141B2 (en) | ENDOSCOPE SYSTEM, PROCESSOR DEVICE, AND OPERATION METHOD | |
JP2016120026A (en) | Endoscope system and operation method thereof | |
JP6272956B2 (en) | Endoscope system, processor device for endoscope system, method for operating endoscope system, method for operating processor device | |
JP6586206B2 (en) | Endoscope system and operating method thereof | |
JP2016067781A (en) | Processor device for endoscope, and method for operating processor device for endoscope |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160518 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160803 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160826 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5997643 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |