JP2014076223A - Image signal processing device and electronic endoscope system - Google Patents

Image signal processing device and electronic endoscope system Download PDF

Info

Publication number
JP2014076223A
JP2014076223A JP2012226494A JP2012226494A JP2014076223A JP 2014076223 A JP2014076223 A JP 2014076223A JP 2012226494 A JP2012226494 A JP 2012226494A JP 2012226494 A JP2012226494 A JP 2012226494A JP 2014076223 A JP2014076223 A JP 2014076223A
Authority
JP
Japan
Prior art keywords
color
image signal
light
image
matrix coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012226494A
Other languages
Japanese (ja)
Inventor
Ayaka Yokouchi
文香 横内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2012226494A priority Critical patent/JP2014076223A/en
Publication of JP2014076223A publication Critical patent/JP2014076223A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image signal processing device and an electronic endoscope system capable of improving coloring of a saturation part of an image.SOLUTION: An image signal processing device includes: an image pick-up device for picking up a subject irradiated with predetermined narrow band light and outputting an image signal; a color conversion part for converting the image signal into a primary color signal of R, G, and B; a saturation determination part for determining whether or not the image signal is saturated; and an image generation part for generating an image of the subject based on the primary color signal. The color conversion part has a first color matrix coefficient set so that a specific structure of the subject is emphasized by the narrow band light and a second color matrix coefficient set so that the strength of each primary color signal increases as a luminance value of a pixel of the image pick-up device increases. When it is determined that the image signal is not saturated, the color conversion is performed using the first color matrix coefficient. When it is determined that the image signal is saturated, the color conversion is performed using the second color matrix coefficient.

Description

本発明は、狭帯域光画像を観察可能な電子内視鏡システムに関し、特に狭帯域光画像の飽和部における色づきを好適に低減する画像信号処理装置及び電子内視鏡システムに関する。   The present invention relates to an electronic endoscope system capable of observing a narrowband light image, and more particularly to an image signal processing apparatus and an electronic endoscope system that suitably reduce coloring in a saturated portion of a narrowband light image.

医療機器分野においては、体腔内に狭帯域光を照射して体腔内の特定部位の強調画像(狭帯域光画像)を生成して表示する電子内視鏡システムが知られている。この種の電子内視鏡システムにおいては、CCD(Charge Coupled Device)の補色フィルタ等の分光感度や、光源ランプやライトガイド等の分光特性の影響により、CCDの各色信号の飽和するタイミングが異なるために、画像の飽和部でカラーバランスがくずれ、モニタに表示される観察画像に色づきが発生することがある。そこで、この色づきを抑制するための種々の対策が提案されている。   In the medical device field, an electronic endoscope system is known that generates and displays an enhanced image (narrowband light image) of a specific part in a body cavity by irradiating the body cavity with narrowband light. In this type of electronic endoscope system, the timing of saturation of each color signal of the CCD differs depending on the spectral sensitivity of a complementary color filter of a CCD (Charge Coupled Device) and the spectral characteristics of a light source lamp, a light guide, and the like. In addition, the color balance may be lost in the saturated portion of the image, and coloring may occur in the observed image displayed on the monitor. Therefore, various countermeasures for suppressing this coloring have been proposed.

狭帯域光画像による観察対象は、消化管等の生体内における各種部位であり、その画像処理においては血管強調を行うため、ヘモグロビンの吸収が大きい波長帯を含む色信号の飽和が早くなる。そこで、例えば、特許文献1に記載の電子内視鏡システムでは、CCDから出力される画像信号のうち、400〜700nmの赤系統の波長範囲におけるCCDの電荷蓄積量を波長較正フィルタにより調整して、赤系統の色成分が先に飽和しないようにしている。   The observation target by the narrow-band light image is various parts in the living body such as the digestive tract, and blood vessel enhancement is performed in the image processing, so that saturation of color signals including a wavelength band in which hemoglobin is absorbed is accelerated. Therefore, for example, in the electronic endoscope system described in Patent Document 1, the charge accumulation amount of the CCD in the wavelength range of the red system of 400 to 700 nm among the image signals output from the CCD is adjusted by the wavelength calibration filter. The red color component is not saturated first.

特許4169957号Japanese Patent No. 4169957

しかし、特許文献1に記載の電子内視鏡システムのように波長較正フィルタを追加する場合、システム内における光学設計の見直しや信号処理の変更が必要となる。さらには、フィルタを追加することによるコストアップも避けられない。   However, when a wavelength calibration filter is added as in the electronic endoscope system described in Patent Document 1, it is necessary to review the optical design and change signal processing in the system. Furthermore, an increase in cost due to the addition of a filter is inevitable.

本発明は上記に鑑みてなされたものであり、狭帯域光観察において、波長較正フィルタ等の新たな部材を追加することなく、画像の飽和部の色づきを低減することが可能な画像信号処理装置及び電子内視鏡システムを提供することを目的とする。   The present invention has been made in view of the above, and an image signal processing apparatus capable of reducing coloring of a saturated portion of an image without adding a new member such as a wavelength calibration filter in narrowband light observation. And it aims at providing an electronic endoscope system.

本発明の一実施形態においては、被写体を照射するための光を導光するライトガイドに向けて所定の狭帯域光を出射する狭帯域光出射部と、所定の狭帯域光を照射された被写体を撮像し画像信号を出力する撮像素子と、撮像素子から出力された画像信号をR、G、Bの原色信号に色変換する色変換部と、画像信号が飽和しているか否かを判断する飽和判断部と、色変換部により色変換された原色信号に基づいて被写体の画像を生成する画像生成部とを備え、色変換部は、狭帯域光によって被写体の特定構造が強調されるように設定された第1のカラーマトリクス係数と、各原色信号の強度が撮像素子の画素の輝度値の増加に伴って増加するように設定された第2のカラーマトリクス係数とを備え、飽和判断部によって画像信号が飽和していないと判断されたとき、第1のカラーマトリクス係数を用いて色変換し、飽和判断部によって画像信号が飽和していると判断されたとき、第2のカラーマトリクス係数を用いて色変換する画像信号処理装置が提供される。   In one embodiment of the present invention, a narrowband light emitting unit that emits predetermined narrowband light toward a light guide that guides light for irradiating the subject, and a subject that is irradiated with the predetermined narrowband light An image sensor that picks up an image and outputs an image signal; a color converter that converts the image signal output from the image sensor into primary color signals of R, G, and B; and determines whether the image signal is saturated A saturation determination unit; and an image generation unit that generates an image of the subject based on the primary color signal color-converted by the color conversion unit, the color conversion unit so that the specific structure of the subject is emphasized by the narrowband light A first color matrix coefficient that is set, and a second color matrix coefficient that is set so that the intensity of each primary color signal increases as the luminance value of the pixel of the image sensor increases. The image signal is not saturated When it is determined that the image signal is color-converted using the first color matrix coefficient, and the image signal is color-converted using the second color matrix coefficient when the saturation determination unit determines that the image signal is saturated A processing device is provided.

上記の構成によれば、画像の飽和部においてR、G、Bの各原色信号の強度のばらつきを抑えるように画像信号の色変換を行い、飽和部における色づきを低減した画像を生成することができる。   According to the above configuration, it is possible to perform color conversion of the image signal so as to suppress variations in the intensity of the primary color signals of R, G, and B in the saturated portion of the image and generate an image in which coloring in the saturated portion is reduced. it can.

さらに、飽和判断部は、画像信号の強度が所定の閾値以上であるか否かに基づいて該画像信号が飽和しているか否かを判断する構成としてもよい。また、狭帯域光出射部は、所定の広帯域光を放射する光源と、広帯域光を異なる分光特性を有する狭帯域光に分光する複数種類の狭帯域光フィルタと、複数種類の狭帯域光フィルタのいずれか1つを指定するフィルタ指定手段と、指定された狭帯域光フィルタを広帯域光の光路に配置するフィルタ配置手段とを有し、色変換部は、複数種類の狭帯域光フィルタのそれぞれに対して、各分光特性に応じた第1のカラーマトリクス係数及び第2のカラーマトリクス係数を有し、指定された狭帯域光フィルタに応じて第1のカラーマトリクス係数及び第2のカラーマトリクス係数を選択する構成としてもよい。さらに、所定の広帯域光をライトガイドに向けて出射する広帯域光出射部と、ライトガイドと、狭帯域光出射部及び広帯域光出射部との間に配置され、ライトガイドに所定の狭帯域光又は所定の広帯域光を選択的に入射させる照射光選択手段と、を備え、色変換部は、照射光選択手段によって所定の広帯域光が選択されている場合に、第1のカラーマトリクス係数及び第2のカラーマトリクス係数とは異なる第3のカラーマトリクス係数を用いて色変換を行う構成としてもよい。   Furthermore, the saturation determination unit may be configured to determine whether the image signal is saturated based on whether the intensity of the image signal is equal to or higher than a predetermined threshold. The narrowband light emitting unit includes a light source that emits predetermined broadband light, a plurality of types of narrowband optical filters that split the broadband light into narrowband light having different spectral characteristics, and a plurality of types of narrowband optical filters. A filter designating unit for designating any one of the filters, and a filter arranging unit for arranging the designated narrowband optical filter in the optical path of the broadband light, and the color conversion unit is provided for each of the plurality of types of narrowband optical filters. On the other hand, the first color matrix coefficient and the second color matrix coefficient corresponding to each spectral characteristic are provided, and the first color matrix coefficient and the second color matrix coefficient are determined according to the designated narrow band optical filter. A configuration may be selected. Furthermore, it is arranged between a broadband light emitting unit that emits predetermined broadband light toward the light guide, the light guide, the narrow band light emitting unit, and the broadband light emitting unit, and the light guide has predetermined narrow band light or Irradiating light selecting means for selectively allowing predetermined broadband light to enter, and the color conversion unit includes a first color matrix coefficient and a second color when the predetermined broadband light is selected by the irradiation light selecting means. The color conversion may be performed using a third color matrix coefficient different from the color matrix coefficient.

また、別の観点からは、本発明の一実施形態によれば、上記のように構成された画像信号処理装置と、ライトガイド及び撮像素子を有する電子内視鏡とを備える電子内視鏡システムを提供することができる。   From another viewpoint, according to one embodiment of the present invention, an electronic endoscope system including the image signal processing device configured as described above, and an electronic endoscope having a light guide and an image sensor. Can be provided.

本発明によれば、波長較正フィルタ等の新たな部材を追加することなく、画像の飽和部の色づきを改善することが可能な画像信号処理装置及び電子内視鏡システムが提供される。   ADVANTAGE OF THE INVENTION According to this invention, the image signal processing apparatus and electronic endoscope system which can improve coloring of the saturated part of an image, without adding new members, such as a wavelength calibration filter, are provided.

図1は、本発明の一実施形態に係る電子内視鏡システムの構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of an electronic endoscope system according to an embodiment of the present invention. 図2は、本発明の一実施形態に係る電子内視鏡システムが有するプロセッサに搭載された回転式フィルタターレットの構成を示す図である。FIG. 2 is a diagram illustrating a configuration of a rotary filter turret mounted on a processor included in the electronic endoscope system according to the embodiment of the present invention. 図3(a)〜(c)は、本発明の一実施形態に係る回転式フィルタターレットの各光学フィルタの分光特性を示す図である。3A to 3C are diagrams showing spectral characteristics of each optical filter of the rotary filter turret according to the embodiment of the present invention. 図4(a)、(b)は、本発明の一実施形態に係るプロセッサに実装された色変換回路による色変換処理を概念的に説明する図である。4A and 4B are diagrams conceptually illustrating color conversion processing by a color conversion circuit mounted on a processor according to an embodiment of the present invention. 図5(a)、(c)は、本発明の一実施形態に係るカラーマトリクス係数の具体的構成を示す図であり、図5(b)、(d)は、カラーマトリクス係数を使用して色変換した場合の画像の各原色信号の飽和状態の推移を示すグラフである。FIGS. 5A and 5C are diagrams showing a specific configuration of color matrix coefficients according to an embodiment of the present invention. FIGS. 5B and 5D are diagrams using color matrix coefficients. It is a graph which shows transition of the saturation state of each primary color signal of the image at the time of color conversion. 図6は、本発明の一実施形態に係る色変換処理のフローチャートを示す図である。FIG. 6 is a diagram showing a flowchart of color conversion processing according to an embodiment of the present invention.

以下、図面を参照しながら、本発明の一実施形態に係る電子内視鏡システムについて説明する。   Hereinafter, an electronic endoscope system according to an embodiment of the present invention will be described with reference to the drawings.

図1は、本実施形態に係る電子内視鏡システム1の構成を示すブロック図である。図1に示されるように、電子内視鏡システム1は、医療用の撮像システムであり、電子内視鏡100、プロセッサ200、モニタ300を備える。電子内視鏡100の基端は、プロセッサ200と接続されている。プロセッサ200は、自然光の届かない体腔内を電子内視鏡100を介して照明し、電子内視鏡100が出力する画像信号を処理して画像を生成する画像信号処理装置である。なお、別の実施形態においては、照明光を出射する光源装置をプロセッサ200とは別体で構成してもよい。   FIG. 1 is a block diagram showing a configuration of an electronic endoscope system 1 according to the present embodiment. As shown in FIG. 1, the electronic endoscope system 1 is a medical imaging system, and includes an electronic endoscope 100, a processor 200, and a monitor 300. The proximal end of the electronic endoscope 100 is connected to the processor 200. The processor 200 is an image signal processing apparatus that illuminates a body cavity that does not reach natural light via the electronic endoscope 100 and processes an image signal output from the electronic endoscope 100 to generate an image. In another embodiment, a light source device that emits illumination light may be configured separately from the processor 200.

図1に示されるように、プロセッサ200は、システムコントローラ202及びタイミングコントローラ204を有する。システムコントローラ202は、電子内視鏡システム1の各構成要素を制御する。タイミングコントローラ204は、信号の処理タイミングを調整するクロックパルスを電子内視鏡システム1内の各回路に出力する。   As shown in FIG. 1, the processor 200 includes a system controller 202 and a timing controller 204. The system controller 202 controls each component of the electronic endoscope system 1. The timing controller 204 outputs a clock pulse for adjusting the signal processing timing to each circuit in the electronic endoscope system 1.

ランプ208は、ランプ電源イグナイタ206による始動後、主に可視光領域から不可視である赤外領域に広がる波長域の光を放射する。ランプ208には、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプが適している。ランプ208から放射された照明光は、集光レンズ210によって集光されると共に絞り212を介して適正な光量に調節される。   The lamp 208 radiates light in a wavelength range mainly extending from the visible light region to the invisible infrared region after being started by the lamp power igniter 206. As the lamp 208, a high-intensity lamp such as a xenon lamp, a halogen lamp, a mercury lamp, or a metal halide lamp is suitable. The illumination light radiated from the lamp 208 is condensed by the condenser lens 210 and adjusted to an appropriate amount of light through the diaphragm 212.

絞り212には、アームやギヤ等の伝達機構(不図示)を介してモータ214が機械的に連結している。モータ214は例えばDCモータであり、ドライバ216のドライブ制御下で駆動する。絞り212は、モニタ300の表示画面に表示される映像を適正な明るさにするため、モータ214によって動作して開度が変化し、ランプ208から放射された照明光の光量を開度に応じて調節する。適正とされる映像の明るさの基準は、術者によるフロントパネル218又は電子内視鏡100の手元操作部(不図示)の輝度調節操作に応じて設定変更される。   A motor 214 is mechanically connected to the diaphragm 212 via a transmission mechanism (not shown) such as an arm or a gear. The motor 214 is a DC motor, for example, and is driven under the drive control of the driver 216. The diaphragm 212 is operated by the motor 214 to change the opening degree so that the image displayed on the display screen of the monitor 300 has an appropriate brightness, and the amount of illumination light emitted from the lamp 208 is changed according to the opening degree. Adjust. The appropriate reference for the brightness of the image is changed according to the brightness adjustment operation performed by the operator on the front panel 218 or the hand operation unit (not shown) of the electronic endoscope 100.

フロントパネル218の構成には種々の形態が想定される。フロントパネル218の具体的構成例としては、プロセッサ200のフロント面に実装された機能ごとのハードウェアキーや、タッチパネル式GUI(Graphical User Interface)、ハードウェアキーとGUIとの組合せ等が挙げられる。   Various forms of the configuration of the front panel 218 are assumed. Specific examples of the configuration of the front panel 218 include a hardware key for each function mounted on the front surface of the processor 200, a touch panel GUI (Graphical User Interface), a combination of a hardware key and a GUI, and the like.

絞り212を通過した照射光は、回転式フィルタターレット213に入射する。図2は、回転式フィルタターレット213の構成を示す図である。図2に示されるように、回転式フィルタターレット213は円盤状部材であり、円周方向に配置された複数の光学フィルタF1〜F3、及び開口APを有する。開口APには、光学フィルタが貼り付けられていない。なお、開口APは、可視光領域全域の光を透過させるフィルタに置き換えてもよい。   Irradiation light that has passed through the aperture 212 enters the rotary filter turret 213. FIG. 2 is a diagram showing a configuration of the rotary filter turret 213. As shown in FIG. 2, the rotary filter turret 213 is a disk-shaped member, and has a plurality of optical filters F1 to F3 and an aperture AP arranged in the circumferential direction. An optical filter is not attached to the aperture AP. The aperture AP may be replaced with a filter that transmits light in the entire visible light region.

図3は、光学フィルタF1〜F3の分光特性の一例を示す。図3中、縦軸は、分光透過率(正規化されているため単位なし)を示し、横軸は、波長(単位:nm)を示す。図3(a)に示されるように、光学フィルタF1は、3つの波長域に半値幅の狭い透過ピークを持つ狭帯域光フィルタである。また、図3(b)に示されるように、光学フィルタF2は、例えばヘモグロビンの吸収に適した波長域に半値幅の狭い透過ピークを持つ狭帯域光フィルタである。そして、図3(c)に示されるように、光学フィルタF3は、光学フィルタF2と異なる特定構造(例えば胃の腺管構造等)に対応する波長域に半値幅の狭い透過ピークを持つ狭帯域光フィルタである。各狭帯域光フィルタは、例えば検出用(体腔内の広い範囲の中から病変部を探し出すのに適した分光特性を持つフィルタ)や精査用(発見した病変部の精査に適した分光特性を持つフィルタ)等、用途ごとに備えられていてもよい。   FIG. 3 shows an example of the spectral characteristics of the optical filters F1 to F3. In FIG. 3, the vertical axis indicates the spectral transmittance (normalized and no unit), and the horizontal axis indicates the wavelength (unit: nm). As shown in FIG. 3A, the optical filter F1 is a narrow band optical filter having a transmission peak with a narrow half-value width in three wavelength regions. As shown in FIG. 3B, the optical filter F2 is a narrow-band optical filter having a transmission peak with a narrow half-value width in a wavelength range suitable for absorption of hemoglobin, for example. As shown in FIG. 3C, the optical filter F3 is a narrow band having a transmission peak with a narrow half-value width in a wavelength range corresponding to a specific structure (for example, a gastric gland duct structure) different from the optical filter F2. It is an optical filter. Each narrowband optical filter has, for example, detection (a filter having a spectral characteristic suitable for finding a lesion from a wide range in a body cavity) or a detailed examination (spectral characteristic suitable for examining a found lesion). Filter) and the like.

モータ215は、例えばドライバ216のドライブ制御下で駆動するステップモータであり、アームやギヤ等の伝達機構(不図示)を介して回転式フィルタターレット213と機械的に連結している。モータ215は、回転式フィルタターレット213を印加電圧(パルス)に応じた角度だけ回転させる。   The motor 215 is a step motor that is driven under the drive control of the driver 216, for example, and is mechanically coupled to the rotary filter turret 213 via a transmission mechanism (not shown) such as an arm or a gear. The motor 215 rotates the rotary filter turret 213 by an angle corresponding to the applied voltage (pulse).

術者は、フロントパネル218に対するフィルタ切替操作又は電子内視鏡100の手元操作部に設置されたフィルタ切替ボタン114の操作を通じて回転式フィルタターレット213を回転させることができる。なお、図1中、図面を簡明化するため、フィルタ切替ボタン114と他のブロックとの結線は省略している。   The surgeon can rotate the rotary filter turret 213 through a filter switching operation on the front panel 218 or an operation of a filter switching button 114 installed on the hand operation unit of the electronic endoscope 100. In FIG. 1, the connection between the filter switching button 114 and other blocks is omitted in order to simplify the drawing.

回転式フィルタターレット213は、フィルタ切替操作が行われるごとに90°回転して、光学フィルタF1、F2、F3、開口APを照明光路に選択的に挿入する。回転式フィルタターレット213の外周縁付近には、ホームポジションを検出するための位置検出用穴Hが開けられている。   The rotary filter turret 213 rotates 90 ° each time a filter switching operation is performed, and selectively inserts the optical filters F1, F2, F3, and the aperture AP into the illumination optical path. In the vicinity of the outer peripheral edge of the rotary filter turret 213, a position detection hole H for detecting the home position is formed.

システムコントローラ202は、フォトインタラプタFIを通じた位置検出用穴Hの検出とモータ215への印加パルス数に基づいて、照明光路にいずれの光学フィルタ又は開口APが配置されているかを認識する。   The system controller 202 recognizes which optical filter or aperture AP is arranged in the illumination optical path based on the detection of the position detection hole H through the photo interrupter FI and the number of pulses applied to the motor 215.

照射光は、照明光路に配置されている光学フィルタ(F1〜F3のいずれか)によって特定の狭帯域光に分光されて、LCB(Light Carrying Bundle)102の入射端に入射する。開口APが照明光路に配置されている場合は、絞り212を通過した照射光(すなわち、可視光領域を含む広帯域の白色光)がLCB102の入射端に直接入射する。   The irradiation light is split into specific narrowband light by an optical filter (any one of F1 to F3) arranged in the illumination optical path, and enters an incident end of an LCB (Light Carrying Bundle) 102. When the aperture AP is disposed in the illumination optical path, the irradiation light that has passed through the stop 212 (that is, broadband white light including the visible light region) is directly incident on the incident end of the LCB 102.

LCB102の入射端に入射した照射光は、LCB102内を全反射を繰り返すことによって伝播する。LCB102内を伝播した照射光は、電子内視鏡100の先端に配されたLCB102の出射端から出射する。LCB102の出射端から出射した照射光は、配光レンズ104を経由して被写体に到達する。被写体からの反射光は、対物レンズ106を経由して固体撮像素子108の受光面上の各画素で光学像を結ぶ。   Irradiation light incident on the incident end of the LCB 102 propagates by repeating total reflection in the LCB 102. Irradiation light propagating through the LCB 102 is emitted from the emission end of the LCB 102 arranged at the tip of the electronic endoscope 100. Irradiation light emitted from the emission end of the LCB 102 reaches the subject via the light distribution lens 104. The reflected light from the subject forms an optical image at each pixel on the light receiving surface of the solid-state image sensor 108 via the objective lens 106.

固体撮像素子108は、例えば補色市松型画素配置を有するインターレース方式の単板式カラーCCDイメージセンサである。固体撮像素子108は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、イエローYe、シアンCy、グリーンG、マゼンタMgの各補色に対応する画像信号を得る。   The solid-state image sensor 108 is, for example, an interlaced single-plate color CCD image sensor having a complementary color checkered pixel arrangement. The solid-state image sensor 108 accumulates an optical image formed by each pixel on the light receiving surface as a charge corresponding to the amount of light, and obtains an image signal corresponding to each complementary color of yellow Ye, cyan Cy, green G, and magenta Mg. .

固体撮像素子108は、実質的な感度向上やフレームレート向上のため、垂直方向に隣接する2つの画素の画像信号を加算して混合信号Wr、Gb、Wb、Grを生成して出力する。混合信号は、プリアンプ110による信号増幅後、内視鏡側信号処理回路112に入力される。なお、固体撮像素子108のカラー配列は、例えばベイヤ型であってもよい。また、固体撮像素子108は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサに置き換えてもよい。   The solid-state imaging device 108 generates and outputs mixed signals Wr, Gb, Wb, and Gr by adding image signals of two pixels adjacent in the vertical direction in order to substantially improve sensitivity and frame rate. The mixed signal is input to the endoscope side signal processing circuit 112 after signal amplification by the preamplifier 110. Note that the color array of the solid-state image sensor 108 may be, for example, a Bayer type. Further, the solid-state image sensor 108 may be replaced with a CMOS (Complementary Metal Oxide Semiconductor) image sensor.

タイミングコントローラ204は、システムコントローラ202によるタイミング制御に従って、内視鏡側信号処理回路112にクロックパルスを供給する。内視鏡側信号処理回路112は、タイミングコントローラ204から供給されるクロックパルスに従って、固体撮像素子108をプロセッサ200側で処理される映像のフレームレートに同期したタイミングで駆動制御する。内視鏡側信号処理回路112に入力された画像信号は、所定のアナログ信号処理の後、AD変換されて、プロセッサ側信号処理回路220に入力される。   The timing controller 204 supplies clock pulses to the endoscope side signal processing circuit 112 according to the timing control by the system controller 202. The endoscope side signal processing circuit 112 controls driving of the solid-state imaging device 108 at a timing synchronized with a frame rate of a video processed on the processor 200 side, according to a clock pulse supplied from the timing controller 204. The image signal input to the endoscope side signal processing circuit 112 is subjected to AD conversion after predetermined analog signal processing, and then input to the processor side signal processing circuit 220.

プロセッサ側信号処理回路220は、飽和検出回路222、色変換回路224、画像処理回路226、メモリ228を有している。プロセッサ側信号処理回路220に入力された画像信号(混合信号(Wb、Gb、Gr、Wr))は、色変換回路224に送られる。色変換回路224は、メモリ228に記憶された所定のカラーマトリクス係数を用いてプロセッサ側信号処理回路220に入力された画像信号を原色信号(RGB)に変換する。また、画像信号は、色変換回路224内の飽和検出回路222に送られる。飽和検出回路222は、各画像信号が飽和しているか否かを検出し、検出結果を飽和情報として生成する。具体的には、飽和検出回路222は、各画像信号の強度が所定の閾値以上であるか否かを判定し、強度が閾値以上である場合にその画像信号が飽和しているとして検出する。そして、飽和検出回路222は、各画像信号の飽和の検出結果を示す飽和検出信号を生成する。飽和検出信号としては、各画像信号の飽和の有無を示すビット信号が挙げられるが、これに限らず種々の信号の構成によって飽和の有無を示すようにしてもよい。   The processor side signal processing circuit 220 includes a saturation detection circuit 222, a color conversion circuit 224, an image processing circuit 226, and a memory 228. The image signal (mixed signal (Wb, Gb, Gr, Wr)) input to the processor side signal processing circuit 220 is sent to the color conversion circuit 224. The color conversion circuit 224 converts the image signal input to the processor side signal processing circuit 220 into a primary color signal (RGB) using a predetermined color matrix coefficient stored in the memory 228. The image signal is sent to the saturation detection circuit 222 in the color conversion circuit 224. The saturation detection circuit 222 detects whether each image signal is saturated, and generates a detection result as saturation information. Specifically, the saturation detection circuit 222 determines whether or not the intensity of each image signal is equal to or greater than a predetermined threshold, and detects that the image signal is saturated when the intensity is equal to or greater than the threshold. Then, the saturation detection circuit 222 generates a saturation detection signal indicating the detection result of saturation of each image signal. Examples of the saturation detection signal include a bit signal indicating the presence or absence of saturation of each image signal.

色変換回路224は、飽和検出回路222が生成した飽和検出信号に基づいて、飽和していると検出された混合信号に対してカラーマトリクス係数を切り替えて再度色変換を行い、色変換した原色信号を画像処理回路226に出力する。本実施形態における、色変換回路224の具体的な処理内容については後述する。   Based on the saturation detection signal generated by the saturation detection circuit 222, the color conversion circuit 224 performs color conversion again by switching the color matrix coefficient for the mixed signal detected as being saturated, and the color-converted primary color signal Is output to the image processing circuit 226. Specific processing contents of the color conversion circuit 224 in this embodiment will be described later.

画像処理回路226は、入力された原色信号に対してγ補正や輪郭強調等の所定の画像処理を行い、各色信号別にフレーム単位でR、G、Bの各色対応のフレームメモリ(不図示)にバッファリングする。画像処理回路226は、バッファリングされた各色信号をタイミングコントローラ204によって制御されたタイミングでフレームメモリから掃き出し、NTSC(National Television System Committee)やPAL(Phase Alternating Line)等の所定の規格に準拠した映像信号に変換する。変換された映像信号がモニタ300に順次出力されることにより、被写体の画像がモニタ300の表示画面に表示される。   The image processing circuit 226 performs predetermined image processing such as γ correction and edge enhancement on the input primary color signal, and stores it in a frame memory (not shown) corresponding to each color of R, G, and B for each color signal. Buffer. The image processing circuit 226 sweeps out each buffered color signal from the frame memory at a timing controlled by the timing controller 204, and the video conforms to a predetermined standard such as NTSC (National Television System Committee) or PAL (Phase Alternating Line). Convert to signal. The converted video signals are sequentially output to the monitor 300, whereby the subject image is displayed on the display screen of the monitor 300.

メモリ228には、回転式フィルタターレット213の各光学フィルタF1〜F3に対応付けられたカラーマトリクス係数が記憶されている。上述した通り、消化管等の生体内における狭帯域光観察では、被写体の血管を強調するために、ヘモグロビンの吸収が大きい波長帯を含む画像信号が大きくなる。すなわち、本実施形態においては、混合信号Wbが最初に飽和する傾向がある。そこで、本実施形態では、各光学フィルタに対して、混合信号Wbが飽和していない場合と飽和している場合とで、異なるカラーマトリクス係数を用いている。説明の便宜上、光学フィルタF1に係るカラーマトリクス係数のうち、混合信号Wbが飽和していない場合に使用するカラーマトリクス係数をM11、混合信号Wbが飽和している場合に使用するカラーマトリクス係数をM12とする。同様に、光学フィルタF2に係るカラーマトリクス係数には、M21とM22を、光学フィルタF3に係るカラーマトリクス係数には、M31とM32をそれぞれ用意する。また、開口AP用(すなわち、白色光用)のカラーマトリクス係数としてM40が用意される。カラーマトリクス係数の具体的構成や色変換処理の詳細については後述する。   The memory 228 stores color matrix coefficients associated with the optical filters F1 to F3 of the rotary filter turret 213. As described above, in narrow-band light observation in a living body such as the digestive tract, an image signal including a wavelength band in which hemoglobin is absorbed is large in order to emphasize the blood vessel of the subject. That is, in the present embodiment, the mixed signal Wb tends to be saturated first. Therefore, in this embodiment, different color matrix coefficients are used for each optical filter depending on whether the mixed signal Wb is not saturated or saturated. For convenience of explanation, among the color matrix coefficients related to the optical filter F1, the color matrix coefficient used when the mixed signal Wb is not saturated is M11, and the color matrix coefficient used when the mixed signal Wb is saturated is M12. And Similarly, M21 and M22 are prepared for the color matrix coefficients related to the optical filter F2, and M31 and M32 are prepared for the color matrix coefficients related to the optical filter F3. Further, M40 is prepared as a color matrix coefficient for the aperture AP (that is, for white light). The specific configuration of color matrix coefficients and details of color conversion processing will be described later.

システムコントローラ202は、フォトインタラプタFIを通じた位置検出用穴Hの検出とモータ215への印加パルス数に基づいて、いずれの光学フィルタ又は開口APが照明光路に配置されているかを認識する。なお、電子内視鏡システム1のシステム起動時には、開口APが照明光路に挿入され配置される。具体的には、システムコントローラ202は、システムの起動と共に、モータ215に対する駆動制御を通じて回転式フィルタターレット213を回転させて位置検出用穴Hを検出し、開口APが照明光路に挿入され配置されるように回転式フィルタターレット213を位置検出用穴Hの検出位置から所定角度回転させる。   The system controller 202 recognizes which optical filter or aperture AP is arranged in the illumination optical path based on the detection of the position detection hole H through the photo interrupter FI and the number of pulses applied to the motor 215. Note that when the electronic endoscope system 1 is activated, the aperture AP is inserted into the illumination optical path. Specifically, the system controller 202 detects the position detection hole H by rotating the rotary filter turret 213 through drive control with respect to the motor 215 when the system is started, and the opening AP is inserted into the illumination optical path. Thus, the rotary filter turret 213 is rotated by a predetermined angle from the detection position of the position detection hole H.

システムコントローラ202は、光学フィルタ又は開口APのいずれが照明光路に配置されているかの認識結果に基づいて、色変換回路224を制御する。色変換回路224は、システムコントローラ202からの制御信号と、飽和検出回路222からの飽和検出信号に基づいて、メモリ228から適切なカラーマトリクス係数を取得して色変換処理を行う。   The system controller 202 controls the color conversion circuit 224 based on the recognition result of which one of the optical filter and the aperture AP is arranged in the illumination optical path. The color conversion circuit 224 acquires an appropriate color matrix coefficient from the memory 228 based on the control signal from the system controller 202 and the saturation detection signal from the saturation detection circuit 222 and performs color conversion processing.

ここで、図4(a)、(b)に、色変換回路224による色変換処理の概念図を示す。図4(a)において、左図は混合信号Wr、Gb、Wb、Grの強度分布Pを示し、中央図は照明光路に配置されている回転式フィルタターレット213の光学フィルタ(便宜上、光学フィルタF1)の分光特性Fを示し、右図は色変換回路224による色変換処理で用いられるカラーマトリクス係数M(3×4行列)を示す。図4(a)の左図中、縦軸は強度(正規化されているため単位なし)を示し、横軸は波長(単位:nm)を示す。また、図4(a)の中央図中、縦軸は、分光透過率(正規化されているため単位なし)を示し、横軸は、波長(単位:nm)を示す。なお、強度分布Pは、固体撮像素子108のオンチップカラーフィルタの垂直方向に隣接する2画素の各々に対応する分光特性を、2画素加算処理の数式に適用したときに算出される波長と強度との関係を示す分布である。   Here, FIGS. 4A and 4B are conceptual diagrams of color conversion processing by the color conversion circuit 224. FIG. 4A, the left diagram shows the intensity distribution P of the mixed signals Wr, Gb, Wb, and Gr, and the central diagram shows the optical filter of the rotary filter turret 213 arranged in the illumination optical path (for convenience, the optical filter F1). The right figure shows the color matrix coefficient M (3 × 4 matrix) used in the color conversion processing by the color conversion circuit 224. In the left diagram of FIG. 4A, the vertical axis represents intensity (no unit because it is normalized), and the horizontal axis represents wavelength (unit: nm). In the central diagram of FIG. 4A, the vertical axis indicates the spectral transmittance (no unit because it is normalized), and the horizontal axis indicates the wavelength (unit: nm). The intensity distribution P is a wavelength and intensity calculated when spectral characteristics corresponding to two pixels adjacent to each other in the vertical direction of the on-chip color filter of the solid-state image sensor 108 are applied to the formula of the two-pixel addition process. Is a distribution showing the relationship.

図4(b)は、図4(a)の強度分布P、分光特性F、カラーマトリクス係数Mを掛け合わせて得られる波長と強度との関係を示す強度分布P’を示す。図4(b)中、縦軸は強度(正規化されているため単位なし)を示し、横軸は波長(単位:nm)を示す。   FIG. 4B shows an intensity distribution P ′ indicating the relationship between the wavelength and the intensity obtained by multiplying the intensity distribution P, the spectral characteristic F, and the color matrix coefficient M shown in FIG. In FIG. 4B, the vertical axis represents intensity (no unit because it is normalized), and the horizontal axis represents wavelength (unit: nm).

本実施形態においては、図4(a)に示される分光特性Fに応じたカラーマトリックス係数Mを設定することで強度分布P’を変更し、モニタ300の表示画面上で強調表示の対象となる生体の特定構造を変更している。なお、図4(a)に示されるカラーマトリクス係数Mは、色変換回路224による色変換処理で使用するカラーマトリクス係数を切り替えることで変更される。   In the present embodiment, the intensity distribution P ′ is changed by setting the color matrix coefficient M corresponding to the spectral characteristic F shown in FIG. 4A, and is highlighted on the display screen of the monitor 300. The specific structure of the living body is changed. Note that the color matrix coefficient M shown in FIG. 4A is changed by switching the color matrix coefficient used in the color conversion processing by the color conversion circuit 224.

また、図4(a)に示される分光特性Fは、フロントパネル218又はフィルタ切替ボタン114に対して操作を行い、光路配置フィルタを切り替えることで変更される。すなわち、モニタ300の表示画面上で強調表示の対象となる生体の特定構造を変更すること(強度分布P’の変更)は、光路配置フィルタの切替によって達成される。例えば光学フィルタF1の分光特性では強調表示させにくい特定構造を狭帯域光観察する場合、術者は、光路配置フィルタを光学フィルタF2又はF3に切り替える。これにより、光学フィルタF1の分光特性では強調表示させにくい特定構造の狭帯域光画像をモニタ300の表示画面に表示させることができる。   Further, the spectral characteristic F shown in FIG. 4A is changed by operating the front panel 218 or the filter switching button 114 to switch the optical path arrangement filter. That is, changing the specific structure of the living body to be highlighted on the display screen of the monitor 300 (changing the intensity distribution P ′) is achieved by switching the optical path arrangement filter. For example, when observing a narrow band light with a specific structure that is difficult to highlight with the spectral characteristics of the optical filter F1, the operator switches the optical path arrangement filter to the optical filter F2 or F3. Thereby, it is possible to display a narrowband light image having a specific structure that is difficult to highlight with the spectral characteristics of the optical filter F <b> 1 on the display screen of the monitor 300.

図5(a)〜(d)は、本実施形態におけるカラーマトリクス係数の具体的構成例と当該係数を使用した場合の色変換処理後の原色信号R、G、Bの画素の輝度値と強度の関係を示す図である。図5(a)は、混合信号Wbが飽和していない場合に使用するカラーマトリクス係数であり、図5(b)は、そのカラーマトリクス係数を使用して色変換処理を行った場合のグラフである。また、図5(c)は、混合信号Wbが飽和している場合に使用するカラーマトリクス係数であり、図5(d)が、そのカラーマトリクス係数を使用して色変換処理を行った場合のグラフである。各グラフの横軸である画素の輝度値は、色変換の元となる混合信号Wb、Gb、Gr、Wrの輝度値の平均値である。また、グラフの縦軸である強度は、カラーマトリクス係数を使用した色変換後の原色信号のそれぞれの信号強度である。すなわち、カラーマトリクス係数の各成分を変更することにより、各原色信号の強度も変化する。   FIGS. 5A to 5D show a specific configuration example of color matrix coefficients in the present embodiment, and luminance values and intensities of pixels of primary color signals R, G, and B after color conversion processing when the coefficients are used. It is a figure which shows the relationship. FIG. 5A shows color matrix coefficients used when the mixed signal Wb is not saturated, and FIG. 5B is a graph when color conversion processing is performed using the color matrix coefficients. is there. FIG. 5C shows color matrix coefficients used when the mixed signal Wb is saturated. FIG. 5D shows a case where color conversion processing is performed using the color matrix coefficients. It is a graph. The luminance value of the pixel on the horizontal axis of each graph is an average value of the luminance values of the mixed signals Wb, Gb, Gr, and Wr that are the source of color conversion. The intensity on the vertical axis of the graph is the signal intensity of each primary color signal after color conversion using color matrix coefficients. That is, by changing each component of the color matrix coefficient, the intensity of each primary color signal also changes.

図5(b)に示されるように、図5(a)のカラーマトリクス係数を使用する場合(すなわち、混合信号Wbが飽和していない場合)、原色信号Rは、画素の輝度値の増加に伴い強度が上昇し、グラフのPで示す位置で最大値に達して飽和する。本実施形態では、原色信号の強度が最大値に達したときを飽和とみなすこととする。そして、さらに画素の輝度値が増加しても、原色信号Rの強度は変化せず、原色信号Rは飽和したままの状態となる。ここで、モニタ300に表示される画像において、原色信号が飽和した部分を飽和部と呼ぶこととする。図5(b)に示されるように、原色信号GとBの強度は、原色信号Rが飽和に達してさらに画素の輝度値が増加すると、それぞれが相関なく変動していく。このため、画像の飽和部において、各原色信号R、G、Bの強度がばらつくことによって色づきが発生してしまう。そこで、本実施形態では、混合信号Wbが飽和している場合は、色変換に使用するカラーマトリクスを図5(c)に示すカラーマトリクス係数に切り換えることにより、画像の飽和部において、飽和していない原色信号G、Bの強度を画素の輝度値の増加に伴って共に飽和に向かって増加させることで、原色信号R、G、Bの強度のばらつきを抑えて色づきを低減している。   As shown in FIG. 5B, when the color matrix coefficient of FIG. 5A is used (that is, when the mixed signal Wb is not saturated), the primary color signal R increases the luminance value of the pixel. Along with this, the strength increases, reaches the maximum value at the position indicated by P in the graph, and is saturated. In the present embodiment, when the intensity of the primary color signal reaches the maximum value, it is regarded as saturation. Even if the luminance value of the pixel further increases, the intensity of the primary color signal R does not change, and the primary color signal R remains saturated. Here, in the image displayed on the monitor 300, a portion where the primary color signal is saturated is referred to as a saturated portion. As shown in FIG. 5B, the intensities of the primary color signals G and B change without correlation when the primary color signal R reaches saturation and the luminance value of the pixel further increases. For this reason, coloring occurs due to variations in the intensity of each primary color signal R, G, B in the saturated portion of the image. Therefore, in the present embodiment, when the mixed signal Wb is saturated, the color matrix used for color conversion is switched to the color matrix coefficient shown in FIG. By increasing the intensity of the non-primary color signals G and B toward the saturation as the luminance value of the pixel increases, the intensity variation of the primary color signals R, G, and B is suppressed to reduce coloring.

図5(c)に示す本実施形態のカラーマトリクス係数は、混合信号Wbが飽和したときに略同一のタイミングで原色信号Rが飽和するように設定されており、図5(d)に示されるように、Pで示す位置で(すなわち、混合信号Wbが飽和したときに)原色信号Rが飽和に達し、さらに画素の輝度値が増加すると、原色信号G、Bの強度が、共に線形的に増加して飽和に向かっていくように設定されている。このため、モニタ300に表示される画像の飽和部では、原色信号R、G、Bの強度のばらつきを抑え、色づきを低減することができる。   The color matrix coefficients of the present embodiment shown in FIG. 5C are set so that the primary color signal R is saturated at substantially the same timing when the mixed signal Wb is saturated, and is shown in FIG. 5D. Thus, when the primary color signal R reaches saturation at the position indicated by P (that is, when the mixed signal Wb is saturated) and the luminance value of the pixel further increases, the intensities of the primary color signals G and B are both linearly It is set to increase and go toward saturation. For this reason, in the saturated portion of the image displayed on the monitor 300, variations in intensity of the primary color signals R, G, and B can be suppressed, and coloring can be reduced.

次に、本実施形態における色変換処理の詳細について説明する。図6は、本実施形態における、色変換回路224の色変換処理のフローチャートを示す図である。色変換回路224は、入力される混合信号ごと(すなわち、画素ごと)に本フローチャートの処理を行う。説明の便宜上、本明細書中の説明並びに図面において、処理ステップは「S」と省略して記す。まず、色変換回路224は、システムコントローラ202からの制御信号に基づいて照明光路に光学フィルタが配置されているか否かを判断する(S101)。   Next, details of the color conversion processing in the present embodiment will be described. FIG. 6 is a diagram showing a flowchart of the color conversion processing of the color conversion circuit 224 in the present embodiment. The color conversion circuit 224 performs the processing of this flowchart for each input mixed signal (that is, for each pixel). For convenience of explanation, the processing step is abbreviated as “S” in the description and drawings in this specification. First, the color conversion circuit 224 determines whether an optical filter is arranged in the illumination optical path based on a control signal from the system controller 202 (S101).

開口APが照明光路に配置されている場合は(S101:No)、処理対象の混合信号に対して白色光用のカラーマトリクス係数M40を使用して色変換処理を行い(S103)、本フローチャートの処理を終了する。色変換回路224は、後続の混合信号に対して本フローチャートに従って上記の処理を繰り返す。   When the aperture AP is disposed in the illumination optical path (S101: No), color conversion processing is performed on the mixed signal to be processed using the color matrix coefficient M40 for white light (S103), and this flowchart is performed. The process ends. The color conversion circuit 224 repeats the above processing according to this flowchart for subsequent mixed signals.

照明光路に開口APが配置されている場合、被写体には可視光領域を含む広帯域の白色光が照射される。固体撮像素子108は、白色光が照射された被写体から反射光を受光して画像信号に変換する。画像信号は、プリアンプ110、内視鏡側信号処理回路112、プロセッサ側信号処理回路220の各回路における信号処理を経て、モニタ300に出力され、モニタ300の表示画面上には通常のカラー画像が表示される。   When the aperture AP is arranged in the illumination optical path, the subject is irradiated with broadband white light including a visible light region. The solid-state image sensor 108 receives reflected light from a subject irradiated with white light and converts it into an image signal. The image signal undergoes signal processing in each circuit of the preamplifier 110, the endoscope side signal processing circuit 112, and the processor side signal processing circuit 220, and is output to the monitor 300. A normal color image is displayed on the display screen of the monitor 300. Is displayed.

一方、照明光路に光学フィルタF1、F2又はF3が配置されている場合(S101:Yes)、S105に進む。S105では、飽和検出回路222によって、入力される画像信号(すなわち、混合信号Wb)が飽和しているか否かが判断され、飽和検出信号が生成される。そして、混合信号Wbが飽和していないと判断された場合、処理はS107に進み、混合信号Wbが飽和していると判断された場合(すなわち、飽和検出信号が生成された場合)、処理はS109に進む。   On the other hand, when the optical filter F1, F2 or F3 is arranged in the illumination optical path (S101: Yes), the process proceeds to S105. In S105, the saturation detection circuit 222 determines whether the input image signal (that is, the mixed signal Wb) is saturated, and generates a saturation detection signal. When it is determined that the mixed signal Wb is not saturated, the process proceeds to S107, and when it is determined that the mixed signal Wb is saturated (that is, when a saturation detection signal is generated), the process is performed. The process proceeds to S109.

S107では、色変換回路224が、メモリ228から、照明光路に配置されている光学フィルタに応じて、カラーマトリクス係数M11、M21、M31のいずれかの係数を取得し、取得したカラーマトリクス係数を使用して混合信号の色変換処理を行い原色信号を生成し、本フローチャートの処理を終了する。   In S107, the color conversion circuit 224 acquires any one of the color matrix coefficients M11, M21, and M31 from the memory 228 according to the optical filter disposed in the illumination optical path, and uses the acquired color matrix coefficient. Then, the color conversion process of the mixed signal is performed to generate the primary color signal, and the process of this flowchart is finished.

S109では、色変換回路224が、メモリ228から、照明光路に配置されている光学フィルタに応じて、カラーマトリクス係数M12、M22、M32のいずれかの係数を取得し、取得したカラーマトリクス係数を使用して混合信号の色変換処理を行い原色信号を生成し、本フローチャートの処理を終了する。なお、開口APが照明光路に配置されている場合と同様、照明光路に光学フィルタF1、F2又はF3が配置されている場合も、色変換回路224は、後続の混合信号に対して本フローチャートに従って上記の処理を繰り返す。   In S109, the color conversion circuit 224 acquires any one of the color matrix coefficients M12, M22, and M32 from the memory 228 according to the optical filter disposed in the illumination optical path, and uses the acquired color matrix coefficient. Then, the color conversion process of the mixed signal is performed to generate the primary color signal, and the process of this flowchart is finished. Similar to the case where the aperture AP is arranged in the illumination optical path, even when the optical filter F1, F2, or F3 is arranged in the illumination optical path, the color conversion circuit 224 performs the following mixed signal in accordance with this flowchart. Repeat the above process.

以上のように、本実施形態では、画像信号(すなわち、混合信号Wb)が飽和していない場合はカラーマトリクス係数M11、M21、M31を使用して、観察対象の血管強調が適切になされた画像を生成するための色変換処理を行い、画像信号(すなわち、混合信号Wb)が飽和している場合はカラーマトリクス係数M12、M22、M32を使用して、飽和部の不自然な色づきを低減した画像を生成するための色変換処理を行うため、観察対象が見やすく、より精確な診断に資する画像をモニタ300に表示することができる。   As described above, according to the present embodiment, when the image signal (that is, the mixed signal Wb) is not saturated, the color matrix coefficients M11, M21, and M31 are used to appropriately enhance the blood vessel to be observed. When the image signal (that is, the mixed signal Wb) is saturated, color matrix coefficients M12, M22, and M32 are used to reduce unnatural coloring in the saturated portion. Since color conversion processing for generating an image is performed, an observation object is easy to see, and an image contributing to more accurate diagnosis can be displayed on the monitor 300.

以上が本発明の実施形態の説明である。本発明は、上記の構成に限定されるものではなく、本発明の技術的思想の範囲において様々な変形が可能であり、照明光路に配置される光学フィルタの数、分光特性、カラーマトリクス係数等は、本実施形態のものに限らず適宜変更することができる。例えば、図5(c)に示す本実施形態のカラーマトリクス係数は、混合信号Wbが飽和したときに略同一のタイミングで原色信号Rが飽和するように設定したが、必ずしも混合信号Wbの飽和と原色信号Rの飽和が一致するように構成する必要はない。   The above is the description of the embodiment of the present invention. The present invention is not limited to the above configuration, and various modifications are possible within the scope of the technical idea of the present invention. The number of optical filters arranged in the illumination optical path, spectral characteristics, color matrix coefficients, etc. Is not limited to that of the present embodiment, and can be changed as appropriate. For example, the color matrix coefficients of this embodiment shown in FIG. 5C are set so that the primary color signal R is saturated at substantially the same timing when the mixed signal Wb is saturated. It is not necessary to configure so that the saturation of the primary color signal R matches.

また、本実施形態においては、混合信号Wbが飽和している場合に使用するカラーマトリクス係数は、飽和していない原色信号の強度が線形的に増加して飽和に向かうように構成されている。しかし、飽和していない原色信号の強度が所定の相関を持って飽和に向かう構成であればよく、線形的に増加する構成に限定されるものではない。   In the present embodiment, the color matrix coefficient used when the mixed signal Wb is saturated is configured such that the intensity of the primary color signal that is not saturated increases linearly and goes toward saturation. However, the configuration is not limited to a configuration in which the intensity of the unsaturated primary color signal has a predetermined correlation and goes toward saturation, and increases linearly.

また、上記の説明では、画素の輝度値が増加したときに各原色信号のうちR成分が先に飽和する場合を想定し、狭帯域光観察において血管強調等が施された画像を表示する場合に好適な実施形態について説明したが、他の原色信号が先に飽和する場合でも、飽和する原色信号に応じて、飽和していない原色信号の強度を上記の通りに増加させるカラーマトリクス係数に切り替える構成とすることで、表示画像の飽和部における色づきを低減することができる。   Also, in the above description, assuming that the R component of each primary color signal is saturated first when the luminance value of the pixel is increased, displaying an image subjected to blood vessel enhancement or the like in narrowband light observation Although the preferred embodiment has been described, even when other primary color signals are saturated first, switching to a color matrix coefficient that increases the intensity of the unsaturated primary color signal as described above according to the saturated primary color signal. By adopting the configuration, it is possible to reduce coloring in the saturated portion of the display image.

また、上記の説明では、原色信号の強度が最大値に達したときを飽和とみなしているが、原色信号の強度が所定の閾値以上となったときに飽和とみなす構成としてもよい。また、上記の説明ではカラーマトリクス係数を記憶するメモリ228を色変換回路224の外部に配置する構成としたが、色変換回路224がメモリ228を有する構成としてもよい。   In the above description, the case where the intensity of the primary color signal reaches the maximum value is regarded as saturation. However, the structure may be regarded as saturation when the intensity of the primary color signal exceeds a predetermined threshold. In the above description, the memory 228 for storing the color matrix coefficients is arranged outside the color conversion circuit 224. However, the color conversion circuit 224 may have the memory 228.

1 電子内視鏡システム
100 電子内視鏡
200 プロセッサ
202 システムコントローラ
213 回転式フィルタターレット
220 プロセッサ側信号処理回路
222 飽和検出回路
224 色変換回路
226 画像処理回路
228 メモリ
300 モニタ
FI フォトインタラプタ
DESCRIPTION OF SYMBOLS 1 Electronic endoscope system 100 Electronic endoscope 200 Processor 202 System controller 213 Rotary filter turret 220 Processor side signal processing circuit 222 Saturation detection circuit 224 Color conversion circuit 226 Image processing circuit 228 Memory 300 Monitor FI Photo interrupter

Claims (5)

被写体を照射するための光を導光するライトガイドに向けて、所定の狭帯域光を出射する狭帯域光出射部と、
前記所定の狭帯域光を照射された被写体を撮像し画像信号を出力する撮像素子と、
前記撮像素子から出力された前記画像信号をR、G、Bの原色信号に色変換する色変換部と、
前記画像信号が飽和しているか否かを判断する飽和判断部と、
前記色変換部により色変換された原色信号に基づいて前記被写体の画像を生成する画像生成部と、
を備え、
前記色変換部は、
前記狭帯域光によって前記被写体の特定構造が強調されるように設定された第1のカラーマトリクス係数と、前記各原色信号の強度が前記撮像素子の画素の輝度値の増加に伴って増加するように設定された第2のカラーマトリクス係数とを備え、
前記飽和判断部によって前記画像信号が飽和していないと判断されたとき、前記第1のカラーマトリクス係数を用いて色変換し、前記飽和判断部によって前記画像信号が飽和していると判断されたとき、前記第2のカラーマトリクス係数を用いて色変換する
ことを特徴とする画像信号処理装置。
A narrowband light emitting unit that emits predetermined narrowband light toward a light guide that guides light for illuminating the subject;
An image sensor that images the subject irradiated with the predetermined narrowband light and outputs an image signal;
A color conversion unit for color-converting the image signal output from the image sensor into R, G, and B primary color signals;
A saturation determination unit for determining whether or not the image signal is saturated;
An image generation unit that generates an image of the subject based on a primary color signal color-converted by the color conversion unit;
With
The color converter is
The first color matrix coefficient set so that the specific structure of the subject is emphasized by the narrowband light, and the intensity of each primary color signal increase as the luminance value of the pixel of the image sensor increases. A second color matrix coefficient set to
When the saturation determination unit determines that the image signal is not saturated, color conversion is performed using the first color matrix coefficient, and the saturation determination unit determines that the image signal is saturated. An image signal processing apparatus characterized in that color conversion is performed using the second color matrix coefficient.
前記飽和判断部は、前記画像信号の強度が所定の閾値以上であるか否かに基づいて該画像信号が飽和しているか否かを判断することを特徴とする請求項1に記載の画像信号処理装置。   The image signal according to claim 1, wherein the saturation determination unit determines whether or not the image signal is saturated based on whether or not the intensity of the image signal is equal to or greater than a predetermined threshold. Processing equipment. 前記狭帯域光出射部は、
所定の広帯域光を放射する光源と、
前記広帯域光を異なる分光特性を有する狭帯域光に分光する複数種類の狭帯域光フィルタと、
前記複数種類の狭帯域光フィルタのいずれか1つを指定するフィルタ指定手段と、
前記指定された狭帯域光フィルタを前記広帯域光の光路に配置するフィルタ配置手段と、を有し
前記色変換部は、前記複数種類の狭帯域光フィルタのそれぞれに対して、各分光特性に応じた前記第1のカラーマトリクス係数及び前記第2のカラーマトリクス係数を有し、前記指定された狭帯域光フィルタに応じて前記第1のカラーマトリクス係数及び前記第2のカラーマトリクス係数を選択することを特徴とする請求項1又は請求項2に記載の画像信号処理装置。
The narrow-band light emitting part is
A light source that emits predetermined broadband light;
A plurality of types of narrowband optical filters that split the broadband light into narrowband light having different spectral characteristics;
Filter designating means for designating any one of the plurality of types of narrowband optical filters;
Filter arrangement means for arranging the designated narrowband optical filter in the optical path of the broadband light, wherein the color conversion unit corresponds to each spectral characteristic for each of the plurality of types of narrowband optical filters. The first color matrix coefficient and the second color matrix coefficient are selected, and the first color matrix coefficient and the second color matrix coefficient are selected according to the designated narrowband optical filter. The image signal processing apparatus according to claim 1, wherein:
前記所定の広帯域光を前記ライトガイドに向けて出射する広帯域光出射部と、
前記ライトガイドと、前記狭帯域光出射部及び前記広帯域光出射部との間に配置され、前記ライトガイドに前記所定の狭帯域光又は前記所定の広帯域光を選択的に入射させる照射光選択手段と、を備え、
前記色変換部は、前記照射光選択手段によって前記所定の広帯域光が選択されている場合に、前記第1のカラーマトリクス係数及び第2のカラーマトリクス係数とは異なる第3のカラーマトリクス係数を用いて色変換を行う
ことを特徴とする請求項3に記載の画像信号処理装置。
A broadband light emitting section for emitting the predetermined broadband light toward the light guide;
Irradiation light selection means that is arranged between the light guide and the narrowband light emitting section and the broadband light emitting section, and selectively makes the predetermined narrowband light or the predetermined broadband light incident on the lightguide. And comprising
The color conversion unit uses a third color matrix coefficient different from the first color matrix coefficient and the second color matrix coefficient when the predetermined broadband light is selected by the irradiation light selection unit. The image signal processing apparatus according to claim 3, wherein color conversion is performed.
請求項1から請求項4のいずれか一項に記載の画像信号処理装置と、
前記ライトガイド及び前記撮像素子を有する電子内視鏡と、
を備えることを特徴とする電子内視鏡システム。
The image signal processing device according to any one of claims 1 to 4,
An electronic endoscope having the light guide and the imaging device;
An electronic endoscope system comprising:
JP2012226494A 2012-10-12 2012-10-12 Image signal processing device and electronic endoscope system Pending JP2014076223A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012226494A JP2014076223A (en) 2012-10-12 2012-10-12 Image signal processing device and electronic endoscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012226494A JP2014076223A (en) 2012-10-12 2012-10-12 Image signal processing device and electronic endoscope system

Publications (1)

Publication Number Publication Date
JP2014076223A true JP2014076223A (en) 2014-05-01

Family

ID=50782080

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012226494A Pending JP2014076223A (en) 2012-10-12 2012-10-12 Image signal processing device and electronic endoscope system

Country Status (1)

Country Link
JP (1) JP2014076223A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021052319A (en) * 2019-09-25 2021-04-01 株式会社日立国際電気 Imaging device and machine learning processing method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021052319A (en) * 2019-09-25 2021-04-01 株式会社日立国際電気 Imaging device and machine learning processing method

Similar Documents

Publication Publication Date Title
US11399123B2 (en) Image transformation and display for fluorescent and visible imaging
JP6435275B2 (en) Endoscope device
WO2016121556A1 (en) Processor device for endoscope, method for operating same, and control program
WO2011099322A1 (en) Electronic endoscope system
WO2016080130A1 (en) Observation apparatus
JP6690003B2 (en) Endoscope system and operating method thereof
US10165934B2 (en) Endoscope apparatus with addition of image signals
JP2016015995A (en) Electronic endoscope system, and processor for electronic endoscope
US9734592B2 (en) Medical image processing device and method for operating the same
JP6392486B1 (en) Endoscope system
JP2013022219A (en) Image signal processor, imaging system, and electronic endoscope system
JP6556076B2 (en) Endoscopic image signal processing apparatus and method, and program
JP6196593B2 (en) Endoscope system, light source device, operation method of endoscope system, and operation method of light source device
JP5922955B2 (en) Electronic endoscope system
JPWO2019163470A1 (en) Endoscopic system and how to operate it
JP2014033777A (en) Electronic endoscope apparatus and illumination device
JP6071508B2 (en) Electronic endoscope system
JP2013013589A (en) Image signal processor, imaging system, and electronic endoscope system
JP2014076223A (en) Image signal processing device and electronic endoscope system
JP6535435B2 (en) Processor and endoscope system
JP6242474B2 (en) Endoscope processor and electronic endoscope system
WO2016059906A1 (en) Endoscope device
JP5856943B2 (en) Imaging system
JP6514155B2 (en) Electronic endoscope system and light source device for endoscope
CN108882835B (en) Endoscope image signal processing device and method, and storage medium