JP2014076223A - Image signal processing device and electronic endoscope system - Google Patents
Image signal processing device and electronic endoscope system Download PDFInfo
- Publication number
- JP2014076223A JP2014076223A JP2012226494A JP2012226494A JP2014076223A JP 2014076223 A JP2014076223 A JP 2014076223A JP 2012226494 A JP2012226494 A JP 2012226494A JP 2012226494 A JP2012226494 A JP 2012226494A JP 2014076223 A JP2014076223 A JP 2014076223A
- Authority
- JP
- Japan
- Prior art keywords
- color
- image signal
- light
- image
- matrix coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 54
- 239000011159 matrix material Substances 0.000 claims abstract description 69
- 238000006243 chemical reaction Methods 0.000 claims abstract description 61
- 229920006395 saturated elastomer Polymers 0.000 claims abstract description 53
- 230000003287 optical effect Effects 0.000 claims description 69
- 230000003595 spectral effect Effects 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000004040 coloring Methods 0.000 abstract description 12
- 238000001514 detection method Methods 0.000 description 26
- 238000005286 illumination Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 15
- 238000000034 method Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 5
- 210000004204 blood vessel Anatomy 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 102000001554 Hemoglobins Human genes 0.000 description 3
- 108010054147 Hemoglobins Proteins 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 210000001035 gastrointestinal tract Anatomy 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000001156 gastric mucosa Anatomy 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 229910001507 metal halide Inorganic materials 0.000 description 1
- 150000005309 metal halides Chemical class 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
Abstract
Description
本発明は、狭帯域光画像を観察可能な電子内視鏡システムに関し、特に狭帯域光画像の飽和部における色づきを好適に低減する画像信号処理装置及び電子内視鏡システムに関する。 The present invention relates to an electronic endoscope system capable of observing a narrowband light image, and more particularly to an image signal processing apparatus and an electronic endoscope system that suitably reduce coloring in a saturated portion of a narrowband light image.
医療機器分野においては、体腔内に狭帯域光を照射して体腔内の特定部位の強調画像(狭帯域光画像)を生成して表示する電子内視鏡システムが知られている。この種の電子内視鏡システムにおいては、CCD(Charge Coupled Device)の補色フィルタ等の分光感度や、光源ランプやライトガイド等の分光特性の影響により、CCDの各色信号の飽和するタイミングが異なるために、画像の飽和部でカラーバランスがくずれ、モニタに表示される観察画像に色づきが発生することがある。そこで、この色づきを抑制するための種々の対策が提案されている。 In the medical device field, an electronic endoscope system is known that generates and displays an enhanced image (narrowband light image) of a specific part in a body cavity by irradiating the body cavity with narrowband light. In this type of electronic endoscope system, the timing of saturation of each color signal of the CCD differs depending on the spectral sensitivity of a complementary color filter of a CCD (Charge Coupled Device) and the spectral characteristics of a light source lamp, a light guide, and the like. In addition, the color balance may be lost in the saturated portion of the image, and coloring may occur in the observed image displayed on the monitor. Therefore, various countermeasures for suppressing this coloring have been proposed.
狭帯域光画像による観察対象は、消化管等の生体内における各種部位であり、その画像処理においては血管強調を行うため、ヘモグロビンの吸収が大きい波長帯を含む色信号の飽和が早くなる。そこで、例えば、特許文献1に記載の電子内視鏡システムでは、CCDから出力される画像信号のうち、400〜700nmの赤系統の波長範囲におけるCCDの電荷蓄積量を波長較正フィルタにより調整して、赤系統の色成分が先に飽和しないようにしている。
The observation target by the narrow-band light image is various parts in the living body such as the digestive tract, and blood vessel enhancement is performed in the image processing, so that saturation of color signals including a wavelength band in which hemoglobin is absorbed is accelerated. Therefore, for example, in the electronic endoscope system described in
しかし、特許文献1に記載の電子内視鏡システムのように波長較正フィルタを追加する場合、システム内における光学設計の見直しや信号処理の変更が必要となる。さらには、フィルタを追加することによるコストアップも避けられない。
However, when a wavelength calibration filter is added as in the electronic endoscope system described in
本発明は上記に鑑みてなされたものであり、狭帯域光観察において、波長較正フィルタ等の新たな部材を追加することなく、画像の飽和部の色づきを低減することが可能な画像信号処理装置及び電子内視鏡システムを提供することを目的とする。 The present invention has been made in view of the above, and an image signal processing apparatus capable of reducing coloring of a saturated portion of an image without adding a new member such as a wavelength calibration filter in narrowband light observation. And it aims at providing an electronic endoscope system.
本発明の一実施形態においては、被写体を照射するための光を導光するライトガイドに向けて所定の狭帯域光を出射する狭帯域光出射部と、所定の狭帯域光を照射された被写体を撮像し画像信号を出力する撮像素子と、撮像素子から出力された画像信号をR、G、Bの原色信号に色変換する色変換部と、画像信号が飽和しているか否かを判断する飽和判断部と、色変換部により色変換された原色信号に基づいて被写体の画像を生成する画像生成部とを備え、色変換部は、狭帯域光によって被写体の特定構造が強調されるように設定された第1のカラーマトリクス係数と、各原色信号の強度が撮像素子の画素の輝度値の増加に伴って増加するように設定された第2のカラーマトリクス係数とを備え、飽和判断部によって画像信号が飽和していないと判断されたとき、第1のカラーマトリクス係数を用いて色変換し、飽和判断部によって画像信号が飽和していると判断されたとき、第2のカラーマトリクス係数を用いて色変換する画像信号処理装置が提供される。 In one embodiment of the present invention, a narrowband light emitting unit that emits predetermined narrowband light toward a light guide that guides light for irradiating the subject, and a subject that is irradiated with the predetermined narrowband light An image sensor that picks up an image and outputs an image signal; a color converter that converts the image signal output from the image sensor into primary color signals of R, G, and B; and determines whether the image signal is saturated A saturation determination unit; and an image generation unit that generates an image of the subject based on the primary color signal color-converted by the color conversion unit, the color conversion unit so that the specific structure of the subject is emphasized by the narrowband light A first color matrix coefficient that is set, and a second color matrix coefficient that is set so that the intensity of each primary color signal increases as the luminance value of the pixel of the image sensor increases. The image signal is not saturated When it is determined that the image signal is color-converted using the first color matrix coefficient, and the image signal is color-converted using the second color matrix coefficient when the saturation determination unit determines that the image signal is saturated A processing device is provided.
上記の構成によれば、画像の飽和部においてR、G、Bの各原色信号の強度のばらつきを抑えるように画像信号の色変換を行い、飽和部における色づきを低減した画像を生成することができる。 According to the above configuration, it is possible to perform color conversion of the image signal so as to suppress variations in the intensity of the primary color signals of R, G, and B in the saturated portion of the image and generate an image in which coloring in the saturated portion is reduced. it can.
さらに、飽和判断部は、画像信号の強度が所定の閾値以上であるか否かに基づいて該画像信号が飽和しているか否かを判断する構成としてもよい。また、狭帯域光出射部は、所定の広帯域光を放射する光源と、広帯域光を異なる分光特性を有する狭帯域光に分光する複数種類の狭帯域光フィルタと、複数種類の狭帯域光フィルタのいずれか1つを指定するフィルタ指定手段と、指定された狭帯域光フィルタを広帯域光の光路に配置するフィルタ配置手段とを有し、色変換部は、複数種類の狭帯域光フィルタのそれぞれに対して、各分光特性に応じた第1のカラーマトリクス係数及び第2のカラーマトリクス係数を有し、指定された狭帯域光フィルタに応じて第1のカラーマトリクス係数及び第2のカラーマトリクス係数を選択する構成としてもよい。さらに、所定の広帯域光をライトガイドに向けて出射する広帯域光出射部と、ライトガイドと、狭帯域光出射部及び広帯域光出射部との間に配置され、ライトガイドに所定の狭帯域光又は所定の広帯域光を選択的に入射させる照射光選択手段と、を備え、色変換部は、照射光選択手段によって所定の広帯域光が選択されている場合に、第1のカラーマトリクス係数及び第2のカラーマトリクス係数とは異なる第3のカラーマトリクス係数を用いて色変換を行う構成としてもよい。 Furthermore, the saturation determination unit may be configured to determine whether the image signal is saturated based on whether the intensity of the image signal is equal to or higher than a predetermined threshold. The narrowband light emitting unit includes a light source that emits predetermined broadband light, a plurality of types of narrowband optical filters that split the broadband light into narrowband light having different spectral characteristics, and a plurality of types of narrowband optical filters. A filter designating unit for designating any one of the filters, and a filter arranging unit for arranging the designated narrowband optical filter in the optical path of the broadband light, and the color conversion unit is provided for each of the plurality of types of narrowband optical filters. On the other hand, the first color matrix coefficient and the second color matrix coefficient corresponding to each spectral characteristic are provided, and the first color matrix coefficient and the second color matrix coefficient are determined according to the designated narrow band optical filter. A configuration may be selected. Furthermore, it is arranged between a broadband light emitting unit that emits predetermined broadband light toward the light guide, the light guide, the narrow band light emitting unit, and the broadband light emitting unit, and the light guide has predetermined narrow band light or Irradiating light selecting means for selectively allowing predetermined broadband light to enter, and the color conversion unit includes a first color matrix coefficient and a second color when the predetermined broadband light is selected by the irradiation light selecting means. The color conversion may be performed using a third color matrix coefficient different from the color matrix coefficient.
また、別の観点からは、本発明の一実施形態によれば、上記のように構成された画像信号処理装置と、ライトガイド及び撮像素子を有する電子内視鏡とを備える電子内視鏡システムを提供することができる。 From another viewpoint, according to one embodiment of the present invention, an electronic endoscope system including the image signal processing device configured as described above, and an electronic endoscope having a light guide and an image sensor. Can be provided.
本発明によれば、波長較正フィルタ等の新たな部材を追加することなく、画像の飽和部の色づきを改善することが可能な画像信号処理装置及び電子内視鏡システムが提供される。 ADVANTAGE OF THE INVENTION According to this invention, the image signal processing apparatus and electronic endoscope system which can improve coloring of the saturated part of an image, without adding new members, such as a wavelength calibration filter, are provided.
以下、図面を参照しながら、本発明の一実施形態に係る電子内視鏡システムについて説明する。 Hereinafter, an electronic endoscope system according to an embodiment of the present invention will be described with reference to the drawings.
図1は、本実施形態に係る電子内視鏡システム1の構成を示すブロック図である。図1に示されるように、電子内視鏡システム1は、医療用の撮像システムであり、電子内視鏡100、プロセッサ200、モニタ300を備える。電子内視鏡100の基端は、プロセッサ200と接続されている。プロセッサ200は、自然光の届かない体腔内を電子内視鏡100を介して照明し、電子内視鏡100が出力する画像信号を処理して画像を生成する画像信号処理装置である。なお、別の実施形態においては、照明光を出射する光源装置をプロセッサ200とは別体で構成してもよい。
FIG. 1 is a block diagram showing a configuration of an
図1に示されるように、プロセッサ200は、システムコントローラ202及びタイミングコントローラ204を有する。システムコントローラ202は、電子内視鏡システム1の各構成要素を制御する。タイミングコントローラ204は、信号の処理タイミングを調整するクロックパルスを電子内視鏡システム1内の各回路に出力する。
As shown in FIG. 1, the
ランプ208は、ランプ電源イグナイタ206による始動後、主に可視光領域から不可視である赤外領域に広がる波長域の光を放射する。ランプ208には、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプが適している。ランプ208から放射された照明光は、集光レンズ210によって集光されると共に絞り212を介して適正な光量に調節される。
The
絞り212には、アームやギヤ等の伝達機構(不図示)を介してモータ214が機械的に連結している。モータ214は例えばDCモータであり、ドライバ216のドライブ制御下で駆動する。絞り212は、モニタ300の表示画面に表示される映像を適正な明るさにするため、モータ214によって動作して開度が変化し、ランプ208から放射された照明光の光量を開度に応じて調節する。適正とされる映像の明るさの基準は、術者によるフロントパネル218又は電子内視鏡100の手元操作部(不図示)の輝度調節操作に応じて設定変更される。
A
フロントパネル218の構成には種々の形態が想定される。フロントパネル218の具体的構成例としては、プロセッサ200のフロント面に実装された機能ごとのハードウェアキーや、タッチパネル式GUI(Graphical User Interface)、ハードウェアキーとGUIとの組合せ等が挙げられる。
Various forms of the configuration of the
絞り212を通過した照射光は、回転式フィルタターレット213に入射する。図2は、回転式フィルタターレット213の構成を示す図である。図2に示されるように、回転式フィルタターレット213は円盤状部材であり、円周方向に配置された複数の光学フィルタF1〜F3、及び開口APを有する。開口APには、光学フィルタが貼り付けられていない。なお、開口APは、可視光領域全域の光を透過させるフィルタに置き換えてもよい。
Irradiation light that has passed through the
図3は、光学フィルタF1〜F3の分光特性の一例を示す。図3中、縦軸は、分光透過率(正規化されているため単位なし)を示し、横軸は、波長(単位:nm)を示す。図3(a)に示されるように、光学フィルタF1は、3つの波長域に半値幅の狭い透過ピークを持つ狭帯域光フィルタである。また、図3(b)に示されるように、光学フィルタF2は、例えばヘモグロビンの吸収に適した波長域に半値幅の狭い透過ピークを持つ狭帯域光フィルタである。そして、図3(c)に示されるように、光学フィルタF3は、光学フィルタF2と異なる特定構造(例えば胃の腺管構造等)に対応する波長域に半値幅の狭い透過ピークを持つ狭帯域光フィルタである。各狭帯域光フィルタは、例えば検出用(体腔内の広い範囲の中から病変部を探し出すのに適した分光特性を持つフィルタ)や精査用(発見した病変部の精査に適した分光特性を持つフィルタ)等、用途ごとに備えられていてもよい。 FIG. 3 shows an example of the spectral characteristics of the optical filters F1 to F3. In FIG. 3, the vertical axis indicates the spectral transmittance (normalized and no unit), and the horizontal axis indicates the wavelength (unit: nm). As shown in FIG. 3A, the optical filter F1 is a narrow band optical filter having a transmission peak with a narrow half-value width in three wavelength regions. As shown in FIG. 3B, the optical filter F2 is a narrow-band optical filter having a transmission peak with a narrow half-value width in a wavelength range suitable for absorption of hemoglobin, for example. As shown in FIG. 3C, the optical filter F3 is a narrow band having a transmission peak with a narrow half-value width in a wavelength range corresponding to a specific structure (for example, a gastric gland duct structure) different from the optical filter F2. It is an optical filter. Each narrowband optical filter has, for example, detection (a filter having a spectral characteristic suitable for finding a lesion from a wide range in a body cavity) or a detailed examination (spectral characteristic suitable for examining a found lesion). Filter) and the like.
モータ215は、例えばドライバ216のドライブ制御下で駆動するステップモータであり、アームやギヤ等の伝達機構(不図示)を介して回転式フィルタターレット213と機械的に連結している。モータ215は、回転式フィルタターレット213を印加電圧(パルス)に応じた角度だけ回転させる。
The
術者は、フロントパネル218に対するフィルタ切替操作又は電子内視鏡100の手元操作部に設置されたフィルタ切替ボタン114の操作を通じて回転式フィルタターレット213を回転させることができる。なお、図1中、図面を簡明化するため、フィルタ切替ボタン114と他のブロックとの結線は省略している。
The surgeon can rotate the
回転式フィルタターレット213は、フィルタ切替操作が行われるごとに90°回転して、光学フィルタF1、F2、F3、開口APを照明光路に選択的に挿入する。回転式フィルタターレット213の外周縁付近には、ホームポジションを検出するための位置検出用穴Hが開けられている。
The
システムコントローラ202は、フォトインタラプタFIを通じた位置検出用穴Hの検出とモータ215への印加パルス数に基づいて、照明光路にいずれの光学フィルタ又は開口APが配置されているかを認識する。
The
照射光は、照明光路に配置されている光学フィルタ(F1〜F3のいずれか)によって特定の狭帯域光に分光されて、LCB(Light Carrying Bundle)102の入射端に入射する。開口APが照明光路に配置されている場合は、絞り212を通過した照射光(すなわち、可視光領域を含む広帯域の白色光)がLCB102の入射端に直接入射する。
The irradiation light is split into specific narrowband light by an optical filter (any one of F1 to F3) arranged in the illumination optical path, and enters an incident end of an LCB (Light Carrying Bundle) 102. When the aperture AP is disposed in the illumination optical path, the irradiation light that has passed through the stop 212 (that is, broadband white light including the visible light region) is directly incident on the incident end of the
LCB102の入射端に入射した照射光は、LCB102内を全反射を繰り返すことによって伝播する。LCB102内を伝播した照射光は、電子内視鏡100の先端に配されたLCB102の出射端から出射する。LCB102の出射端から出射した照射光は、配光レンズ104を経由して被写体に到達する。被写体からの反射光は、対物レンズ106を経由して固体撮像素子108の受光面上の各画素で光学像を結ぶ。
Irradiation light incident on the incident end of the
固体撮像素子108は、例えば補色市松型画素配置を有するインターレース方式の単板式カラーCCDイメージセンサである。固体撮像素子108は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、イエローYe、シアンCy、グリーンG、マゼンタMgの各補色に対応する画像信号を得る。
The solid-
固体撮像素子108は、実質的な感度向上やフレームレート向上のため、垂直方向に隣接する2つの画素の画像信号を加算して混合信号Wr、Gb、Wb、Grを生成して出力する。混合信号は、プリアンプ110による信号増幅後、内視鏡側信号処理回路112に入力される。なお、固体撮像素子108のカラー配列は、例えばベイヤ型であってもよい。また、固体撮像素子108は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサに置き換えてもよい。
The solid-
タイミングコントローラ204は、システムコントローラ202によるタイミング制御に従って、内視鏡側信号処理回路112にクロックパルスを供給する。内視鏡側信号処理回路112は、タイミングコントローラ204から供給されるクロックパルスに従って、固体撮像素子108をプロセッサ200側で処理される映像のフレームレートに同期したタイミングで駆動制御する。内視鏡側信号処理回路112に入力された画像信号は、所定のアナログ信号処理の後、AD変換されて、プロセッサ側信号処理回路220に入力される。
The
プロセッサ側信号処理回路220は、飽和検出回路222、色変換回路224、画像処理回路226、メモリ228を有している。プロセッサ側信号処理回路220に入力された画像信号(混合信号(Wb、Gb、Gr、Wr))は、色変換回路224に送られる。色変換回路224は、メモリ228に記憶された所定のカラーマトリクス係数を用いてプロセッサ側信号処理回路220に入力された画像信号を原色信号(RGB)に変換する。また、画像信号は、色変換回路224内の飽和検出回路222に送られる。飽和検出回路222は、各画像信号が飽和しているか否かを検出し、検出結果を飽和情報として生成する。具体的には、飽和検出回路222は、各画像信号の強度が所定の閾値以上であるか否かを判定し、強度が閾値以上である場合にその画像信号が飽和しているとして検出する。そして、飽和検出回路222は、各画像信号の飽和の検出結果を示す飽和検出信号を生成する。飽和検出信号としては、各画像信号の飽和の有無を示すビット信号が挙げられるが、これに限らず種々の信号の構成によって飽和の有無を示すようにしてもよい。
The processor side
色変換回路224は、飽和検出回路222が生成した飽和検出信号に基づいて、飽和していると検出された混合信号に対してカラーマトリクス係数を切り替えて再度色変換を行い、色変換した原色信号を画像処理回路226に出力する。本実施形態における、色変換回路224の具体的な処理内容については後述する。
Based on the saturation detection signal generated by the saturation detection circuit 222, the
画像処理回路226は、入力された原色信号に対してγ補正や輪郭強調等の所定の画像処理を行い、各色信号別にフレーム単位でR、G、Bの各色対応のフレームメモリ(不図示)にバッファリングする。画像処理回路226は、バッファリングされた各色信号をタイミングコントローラ204によって制御されたタイミングでフレームメモリから掃き出し、NTSC(National Television System Committee)やPAL(Phase Alternating Line)等の所定の規格に準拠した映像信号に変換する。変換された映像信号がモニタ300に順次出力されることにより、被写体の画像がモニタ300の表示画面に表示される。
The
メモリ228には、回転式フィルタターレット213の各光学フィルタF1〜F3に対応付けられたカラーマトリクス係数が記憶されている。上述した通り、消化管等の生体内における狭帯域光観察では、被写体の血管を強調するために、ヘモグロビンの吸収が大きい波長帯を含む画像信号が大きくなる。すなわち、本実施形態においては、混合信号Wbが最初に飽和する傾向がある。そこで、本実施形態では、各光学フィルタに対して、混合信号Wbが飽和していない場合と飽和している場合とで、異なるカラーマトリクス係数を用いている。説明の便宜上、光学フィルタF1に係るカラーマトリクス係数のうち、混合信号Wbが飽和していない場合に使用するカラーマトリクス係数をM11、混合信号Wbが飽和している場合に使用するカラーマトリクス係数をM12とする。同様に、光学フィルタF2に係るカラーマトリクス係数には、M21とM22を、光学フィルタF3に係るカラーマトリクス係数には、M31とM32をそれぞれ用意する。また、開口AP用(すなわち、白色光用)のカラーマトリクス係数としてM40が用意される。カラーマトリクス係数の具体的構成や色変換処理の詳細については後述する。
The
システムコントローラ202は、フォトインタラプタFIを通じた位置検出用穴Hの検出とモータ215への印加パルス数に基づいて、いずれの光学フィルタ又は開口APが照明光路に配置されているかを認識する。なお、電子内視鏡システム1のシステム起動時には、開口APが照明光路に挿入され配置される。具体的には、システムコントローラ202は、システムの起動と共に、モータ215に対する駆動制御を通じて回転式フィルタターレット213を回転させて位置検出用穴Hを検出し、開口APが照明光路に挿入され配置されるように回転式フィルタターレット213を位置検出用穴Hの検出位置から所定角度回転させる。
The
システムコントローラ202は、光学フィルタ又は開口APのいずれが照明光路に配置されているかの認識結果に基づいて、色変換回路224を制御する。色変換回路224は、システムコントローラ202からの制御信号と、飽和検出回路222からの飽和検出信号に基づいて、メモリ228から適切なカラーマトリクス係数を取得して色変換処理を行う。
The
ここで、図4(a)、(b)に、色変換回路224による色変換処理の概念図を示す。図4(a)において、左図は混合信号Wr、Gb、Wb、Grの強度分布Pを示し、中央図は照明光路に配置されている回転式フィルタターレット213の光学フィルタ(便宜上、光学フィルタF1)の分光特性Fを示し、右図は色変換回路224による色変換処理で用いられるカラーマトリクス係数M(3×4行列)を示す。図4(a)の左図中、縦軸は強度(正規化されているため単位なし)を示し、横軸は波長(単位:nm)を示す。また、図4(a)の中央図中、縦軸は、分光透過率(正規化されているため単位なし)を示し、横軸は、波長(単位:nm)を示す。なお、強度分布Pは、固体撮像素子108のオンチップカラーフィルタの垂直方向に隣接する2画素の各々に対応する分光特性を、2画素加算処理の数式に適用したときに算出される波長と強度との関係を示す分布である。
Here, FIGS. 4A and 4B are conceptual diagrams of color conversion processing by the
図4(b)は、図4(a)の強度分布P、分光特性F、カラーマトリクス係数Mを掛け合わせて得られる波長と強度との関係を示す強度分布P’を示す。図4(b)中、縦軸は強度(正規化されているため単位なし)を示し、横軸は波長(単位:nm)を示す。 FIG. 4B shows an intensity distribution P ′ indicating the relationship between the wavelength and the intensity obtained by multiplying the intensity distribution P, the spectral characteristic F, and the color matrix coefficient M shown in FIG. In FIG. 4B, the vertical axis represents intensity (no unit because it is normalized), and the horizontal axis represents wavelength (unit: nm).
本実施形態においては、図4(a)に示される分光特性Fに応じたカラーマトリックス係数Mを設定することで強度分布P’を変更し、モニタ300の表示画面上で強調表示の対象となる生体の特定構造を変更している。なお、図4(a)に示されるカラーマトリクス係数Mは、色変換回路224による色変換処理で使用するカラーマトリクス係数を切り替えることで変更される。
In the present embodiment, the intensity distribution P ′ is changed by setting the color matrix coefficient M corresponding to the spectral characteristic F shown in FIG. 4A, and is highlighted on the display screen of the
また、図4(a)に示される分光特性Fは、フロントパネル218又はフィルタ切替ボタン114に対して操作を行い、光路配置フィルタを切り替えることで変更される。すなわち、モニタ300の表示画面上で強調表示の対象となる生体の特定構造を変更すること(強度分布P’の変更)は、光路配置フィルタの切替によって達成される。例えば光学フィルタF1の分光特性では強調表示させにくい特定構造を狭帯域光観察する場合、術者は、光路配置フィルタを光学フィルタF2又はF3に切り替える。これにより、光学フィルタF1の分光特性では強調表示させにくい特定構造の狭帯域光画像をモニタ300の表示画面に表示させることができる。
Further, the spectral characteristic F shown in FIG. 4A is changed by operating the
図5(a)〜(d)は、本実施形態におけるカラーマトリクス係数の具体的構成例と当該係数を使用した場合の色変換処理後の原色信号R、G、Bの画素の輝度値と強度の関係を示す図である。図5(a)は、混合信号Wbが飽和していない場合に使用するカラーマトリクス係数であり、図5(b)は、そのカラーマトリクス係数を使用して色変換処理を行った場合のグラフである。また、図5(c)は、混合信号Wbが飽和している場合に使用するカラーマトリクス係数であり、図5(d)が、そのカラーマトリクス係数を使用して色変換処理を行った場合のグラフである。各グラフの横軸である画素の輝度値は、色変換の元となる混合信号Wb、Gb、Gr、Wrの輝度値の平均値である。また、グラフの縦軸である強度は、カラーマトリクス係数を使用した色変換後の原色信号のそれぞれの信号強度である。すなわち、カラーマトリクス係数の各成分を変更することにより、各原色信号の強度も変化する。 FIGS. 5A to 5D show a specific configuration example of color matrix coefficients in the present embodiment, and luminance values and intensities of pixels of primary color signals R, G, and B after color conversion processing when the coefficients are used. It is a figure which shows the relationship. FIG. 5A shows color matrix coefficients used when the mixed signal Wb is not saturated, and FIG. 5B is a graph when color conversion processing is performed using the color matrix coefficients. is there. FIG. 5C shows color matrix coefficients used when the mixed signal Wb is saturated. FIG. 5D shows a case where color conversion processing is performed using the color matrix coefficients. It is a graph. The luminance value of the pixel on the horizontal axis of each graph is an average value of the luminance values of the mixed signals Wb, Gb, Gr, and Wr that are the source of color conversion. The intensity on the vertical axis of the graph is the signal intensity of each primary color signal after color conversion using color matrix coefficients. That is, by changing each component of the color matrix coefficient, the intensity of each primary color signal also changes.
図5(b)に示されるように、図5(a)のカラーマトリクス係数を使用する場合(すなわち、混合信号Wbが飽和していない場合)、原色信号Rは、画素の輝度値の増加に伴い強度が上昇し、グラフのPで示す位置で最大値に達して飽和する。本実施形態では、原色信号の強度が最大値に達したときを飽和とみなすこととする。そして、さらに画素の輝度値が増加しても、原色信号Rの強度は変化せず、原色信号Rは飽和したままの状態となる。ここで、モニタ300に表示される画像において、原色信号が飽和した部分を飽和部と呼ぶこととする。図5(b)に示されるように、原色信号GとBの強度は、原色信号Rが飽和に達してさらに画素の輝度値が増加すると、それぞれが相関なく変動していく。このため、画像の飽和部において、各原色信号R、G、Bの強度がばらつくことによって色づきが発生してしまう。そこで、本実施形態では、混合信号Wbが飽和している場合は、色変換に使用するカラーマトリクスを図5(c)に示すカラーマトリクス係数に切り換えることにより、画像の飽和部において、飽和していない原色信号G、Bの強度を画素の輝度値の増加に伴って共に飽和に向かって増加させることで、原色信号R、G、Bの強度のばらつきを抑えて色づきを低減している。
As shown in FIG. 5B, when the color matrix coefficient of FIG. 5A is used (that is, when the mixed signal Wb is not saturated), the primary color signal R increases the luminance value of the pixel. Along with this, the strength increases, reaches the maximum value at the position indicated by P in the graph, and is saturated. In the present embodiment, when the intensity of the primary color signal reaches the maximum value, it is regarded as saturation. Even if the luminance value of the pixel further increases, the intensity of the primary color signal R does not change, and the primary color signal R remains saturated. Here, in the image displayed on the
図5(c)に示す本実施形態のカラーマトリクス係数は、混合信号Wbが飽和したときに略同一のタイミングで原色信号Rが飽和するように設定されており、図5(d)に示されるように、Pで示す位置で(すなわち、混合信号Wbが飽和したときに)原色信号Rが飽和に達し、さらに画素の輝度値が増加すると、原色信号G、Bの強度が、共に線形的に増加して飽和に向かっていくように設定されている。このため、モニタ300に表示される画像の飽和部では、原色信号R、G、Bの強度のばらつきを抑え、色づきを低減することができる。
The color matrix coefficients of the present embodiment shown in FIG. 5C are set so that the primary color signal R is saturated at substantially the same timing when the mixed signal Wb is saturated, and is shown in FIG. 5D. Thus, when the primary color signal R reaches saturation at the position indicated by P (that is, when the mixed signal Wb is saturated) and the luminance value of the pixel further increases, the intensities of the primary color signals G and B are both linearly It is set to increase and go toward saturation. For this reason, in the saturated portion of the image displayed on the
次に、本実施形態における色変換処理の詳細について説明する。図6は、本実施形態における、色変換回路224の色変換処理のフローチャートを示す図である。色変換回路224は、入力される混合信号ごと(すなわち、画素ごと)に本フローチャートの処理を行う。説明の便宜上、本明細書中の説明並びに図面において、処理ステップは「S」と省略して記す。まず、色変換回路224は、システムコントローラ202からの制御信号に基づいて照明光路に光学フィルタが配置されているか否かを判断する(S101)。
Next, details of the color conversion processing in the present embodiment will be described. FIG. 6 is a diagram showing a flowchart of the color conversion processing of the
開口APが照明光路に配置されている場合は(S101:No)、処理対象の混合信号に対して白色光用のカラーマトリクス係数M40を使用して色変換処理を行い(S103)、本フローチャートの処理を終了する。色変換回路224は、後続の混合信号に対して本フローチャートに従って上記の処理を繰り返す。
When the aperture AP is disposed in the illumination optical path (S101: No), color conversion processing is performed on the mixed signal to be processed using the color matrix coefficient M40 for white light (S103), and this flowchart is performed. The process ends. The
照明光路に開口APが配置されている場合、被写体には可視光領域を含む広帯域の白色光が照射される。固体撮像素子108は、白色光が照射された被写体から反射光を受光して画像信号に変換する。画像信号は、プリアンプ110、内視鏡側信号処理回路112、プロセッサ側信号処理回路220の各回路における信号処理を経て、モニタ300に出力され、モニタ300の表示画面上には通常のカラー画像が表示される。
When the aperture AP is arranged in the illumination optical path, the subject is irradiated with broadband white light including a visible light region. The solid-
一方、照明光路に光学フィルタF1、F2又はF3が配置されている場合(S101:Yes)、S105に進む。S105では、飽和検出回路222によって、入力される画像信号(すなわち、混合信号Wb)が飽和しているか否かが判断され、飽和検出信号が生成される。そして、混合信号Wbが飽和していないと判断された場合、処理はS107に進み、混合信号Wbが飽和していると判断された場合(すなわち、飽和検出信号が生成された場合)、処理はS109に進む。 On the other hand, when the optical filter F1, F2 or F3 is arranged in the illumination optical path (S101: Yes), the process proceeds to S105. In S105, the saturation detection circuit 222 determines whether the input image signal (that is, the mixed signal Wb) is saturated, and generates a saturation detection signal. When it is determined that the mixed signal Wb is not saturated, the process proceeds to S107, and when it is determined that the mixed signal Wb is saturated (that is, when a saturation detection signal is generated), the process is performed. The process proceeds to S109.
S107では、色変換回路224が、メモリ228から、照明光路に配置されている光学フィルタに応じて、カラーマトリクス係数M11、M21、M31のいずれかの係数を取得し、取得したカラーマトリクス係数を使用して混合信号の色変換処理を行い原色信号を生成し、本フローチャートの処理を終了する。
In S107, the
S109では、色変換回路224が、メモリ228から、照明光路に配置されている光学フィルタに応じて、カラーマトリクス係数M12、M22、M32のいずれかの係数を取得し、取得したカラーマトリクス係数を使用して混合信号の色変換処理を行い原色信号を生成し、本フローチャートの処理を終了する。なお、開口APが照明光路に配置されている場合と同様、照明光路に光学フィルタF1、F2又はF3が配置されている場合も、色変換回路224は、後続の混合信号に対して本フローチャートに従って上記の処理を繰り返す。
In S109, the
以上のように、本実施形態では、画像信号(すなわち、混合信号Wb)が飽和していない場合はカラーマトリクス係数M11、M21、M31を使用して、観察対象の血管強調が適切になされた画像を生成するための色変換処理を行い、画像信号(すなわち、混合信号Wb)が飽和している場合はカラーマトリクス係数M12、M22、M32を使用して、飽和部の不自然な色づきを低減した画像を生成するための色変換処理を行うため、観察対象が見やすく、より精確な診断に資する画像をモニタ300に表示することができる。
As described above, according to the present embodiment, when the image signal (that is, the mixed signal Wb) is not saturated, the color matrix coefficients M11, M21, and M31 are used to appropriately enhance the blood vessel to be observed. When the image signal (that is, the mixed signal Wb) is saturated, color matrix coefficients M12, M22, and M32 are used to reduce unnatural coloring in the saturated portion. Since color conversion processing for generating an image is performed, an observation object is easy to see, and an image contributing to more accurate diagnosis can be displayed on the
以上が本発明の実施形態の説明である。本発明は、上記の構成に限定されるものではなく、本発明の技術的思想の範囲において様々な変形が可能であり、照明光路に配置される光学フィルタの数、分光特性、カラーマトリクス係数等は、本実施形態のものに限らず適宜変更することができる。例えば、図5(c)に示す本実施形態のカラーマトリクス係数は、混合信号Wbが飽和したときに略同一のタイミングで原色信号Rが飽和するように設定したが、必ずしも混合信号Wbの飽和と原色信号Rの飽和が一致するように構成する必要はない。 The above is the description of the embodiment of the present invention. The present invention is not limited to the above configuration, and various modifications are possible within the scope of the technical idea of the present invention. The number of optical filters arranged in the illumination optical path, spectral characteristics, color matrix coefficients, etc. Is not limited to that of the present embodiment, and can be changed as appropriate. For example, the color matrix coefficients of this embodiment shown in FIG. 5C are set so that the primary color signal R is saturated at substantially the same timing when the mixed signal Wb is saturated. It is not necessary to configure so that the saturation of the primary color signal R matches.
また、本実施形態においては、混合信号Wbが飽和している場合に使用するカラーマトリクス係数は、飽和していない原色信号の強度が線形的に増加して飽和に向かうように構成されている。しかし、飽和していない原色信号の強度が所定の相関を持って飽和に向かう構成であればよく、線形的に増加する構成に限定されるものではない。 In the present embodiment, the color matrix coefficient used when the mixed signal Wb is saturated is configured such that the intensity of the primary color signal that is not saturated increases linearly and goes toward saturation. However, the configuration is not limited to a configuration in which the intensity of the unsaturated primary color signal has a predetermined correlation and goes toward saturation, and increases linearly.
また、上記の説明では、画素の輝度値が増加したときに各原色信号のうちR成分が先に飽和する場合を想定し、狭帯域光観察において血管強調等が施された画像を表示する場合に好適な実施形態について説明したが、他の原色信号が先に飽和する場合でも、飽和する原色信号に応じて、飽和していない原色信号の強度を上記の通りに増加させるカラーマトリクス係数に切り替える構成とすることで、表示画像の飽和部における色づきを低減することができる。 Also, in the above description, assuming that the R component of each primary color signal is saturated first when the luminance value of the pixel is increased, displaying an image subjected to blood vessel enhancement or the like in narrowband light observation Although the preferred embodiment has been described, even when other primary color signals are saturated first, switching to a color matrix coefficient that increases the intensity of the unsaturated primary color signal as described above according to the saturated primary color signal. By adopting the configuration, it is possible to reduce coloring in the saturated portion of the display image.
また、上記の説明では、原色信号の強度が最大値に達したときを飽和とみなしているが、原色信号の強度が所定の閾値以上となったときに飽和とみなす構成としてもよい。また、上記の説明ではカラーマトリクス係数を記憶するメモリ228を色変換回路224の外部に配置する構成としたが、色変換回路224がメモリ228を有する構成としてもよい。
In the above description, the case where the intensity of the primary color signal reaches the maximum value is regarded as saturation. However, the structure may be regarded as saturation when the intensity of the primary color signal exceeds a predetermined threshold. In the above description, the
1 電子内視鏡システム
100 電子内視鏡
200 プロセッサ
202 システムコントローラ
213 回転式フィルタターレット
220 プロセッサ側信号処理回路
222 飽和検出回路
224 色変換回路
226 画像処理回路
228 メモリ
300 モニタ
FI フォトインタラプタ
DESCRIPTION OF
Claims (5)
前記所定の狭帯域光を照射された被写体を撮像し画像信号を出力する撮像素子と、
前記撮像素子から出力された前記画像信号をR、G、Bの原色信号に色変換する色変換部と、
前記画像信号が飽和しているか否かを判断する飽和判断部と、
前記色変換部により色変換された原色信号に基づいて前記被写体の画像を生成する画像生成部と、
を備え、
前記色変換部は、
前記狭帯域光によって前記被写体の特定構造が強調されるように設定された第1のカラーマトリクス係数と、前記各原色信号の強度が前記撮像素子の画素の輝度値の増加に伴って増加するように設定された第2のカラーマトリクス係数とを備え、
前記飽和判断部によって前記画像信号が飽和していないと判断されたとき、前記第1のカラーマトリクス係数を用いて色変換し、前記飽和判断部によって前記画像信号が飽和していると判断されたとき、前記第2のカラーマトリクス係数を用いて色変換する
ことを特徴とする画像信号処理装置。 A narrowband light emitting unit that emits predetermined narrowband light toward a light guide that guides light for illuminating the subject;
An image sensor that images the subject irradiated with the predetermined narrowband light and outputs an image signal;
A color conversion unit for color-converting the image signal output from the image sensor into R, G, and B primary color signals;
A saturation determination unit for determining whether or not the image signal is saturated;
An image generation unit that generates an image of the subject based on a primary color signal color-converted by the color conversion unit;
With
The color converter is
The first color matrix coefficient set so that the specific structure of the subject is emphasized by the narrowband light, and the intensity of each primary color signal increase as the luminance value of the pixel of the image sensor increases. A second color matrix coefficient set to
When the saturation determination unit determines that the image signal is not saturated, color conversion is performed using the first color matrix coefficient, and the saturation determination unit determines that the image signal is saturated. An image signal processing apparatus characterized in that color conversion is performed using the second color matrix coefficient.
所定の広帯域光を放射する光源と、
前記広帯域光を異なる分光特性を有する狭帯域光に分光する複数種類の狭帯域光フィルタと、
前記複数種類の狭帯域光フィルタのいずれか1つを指定するフィルタ指定手段と、
前記指定された狭帯域光フィルタを前記広帯域光の光路に配置するフィルタ配置手段と、を有し
前記色変換部は、前記複数種類の狭帯域光フィルタのそれぞれに対して、各分光特性に応じた前記第1のカラーマトリクス係数及び前記第2のカラーマトリクス係数を有し、前記指定された狭帯域光フィルタに応じて前記第1のカラーマトリクス係数及び前記第2のカラーマトリクス係数を選択することを特徴とする請求項1又は請求項2に記載の画像信号処理装置。 The narrow-band light emitting part is
A light source that emits predetermined broadband light;
A plurality of types of narrowband optical filters that split the broadband light into narrowband light having different spectral characteristics;
Filter designating means for designating any one of the plurality of types of narrowband optical filters;
Filter arrangement means for arranging the designated narrowband optical filter in the optical path of the broadband light, wherein the color conversion unit corresponds to each spectral characteristic for each of the plurality of types of narrowband optical filters. The first color matrix coefficient and the second color matrix coefficient are selected, and the first color matrix coefficient and the second color matrix coefficient are selected according to the designated narrowband optical filter. The image signal processing apparatus according to claim 1, wherein:
前記ライトガイドと、前記狭帯域光出射部及び前記広帯域光出射部との間に配置され、前記ライトガイドに前記所定の狭帯域光又は前記所定の広帯域光を選択的に入射させる照射光選択手段と、を備え、
前記色変換部は、前記照射光選択手段によって前記所定の広帯域光が選択されている場合に、前記第1のカラーマトリクス係数及び第2のカラーマトリクス係数とは異なる第3のカラーマトリクス係数を用いて色変換を行う
ことを特徴とする請求項3に記載の画像信号処理装置。 A broadband light emitting section for emitting the predetermined broadband light toward the light guide;
Irradiation light selection means that is arranged between the light guide and the narrowband light emitting section and the broadband light emitting section, and selectively makes the predetermined narrowband light or the predetermined broadband light incident on the lightguide. And comprising
The color conversion unit uses a third color matrix coefficient different from the first color matrix coefficient and the second color matrix coefficient when the predetermined broadband light is selected by the irradiation light selection unit. The image signal processing apparatus according to claim 3, wherein color conversion is performed.
前記ライトガイド及び前記撮像素子を有する電子内視鏡と、
を備えることを特徴とする電子内視鏡システム。 The image signal processing device according to any one of claims 1 to 4,
An electronic endoscope having the light guide and the imaging device;
An electronic endoscope system comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012226494A JP2014076223A (en) | 2012-10-12 | 2012-10-12 | Image signal processing device and electronic endoscope system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012226494A JP2014076223A (en) | 2012-10-12 | 2012-10-12 | Image signal processing device and electronic endoscope system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014076223A true JP2014076223A (en) | 2014-05-01 |
Family
ID=50782080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012226494A Pending JP2014076223A (en) | 2012-10-12 | 2012-10-12 | Image signal processing device and electronic endoscope system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014076223A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021052319A (en) * | 2019-09-25 | 2021-04-01 | 株式会社日立国際電気 | Imaging device and machine learning processing method |
-
2012
- 2012-10-12 JP JP2012226494A patent/JP2014076223A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021052319A (en) * | 2019-09-25 | 2021-04-01 | 株式会社日立国際電気 | Imaging device and machine learning processing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11399123B2 (en) | Image transformation and display for fluorescent and visible imaging | |
JP6435275B2 (en) | Endoscope device | |
WO2016121556A1 (en) | Processor device for endoscope, method for operating same, and control program | |
WO2011099322A1 (en) | Electronic endoscope system | |
WO2016080130A1 (en) | Observation apparatus | |
JP6690003B2 (en) | Endoscope system and operating method thereof | |
US10165934B2 (en) | Endoscope apparatus with addition of image signals | |
JP2016015995A (en) | Electronic endoscope system, and processor for electronic endoscope | |
US9734592B2 (en) | Medical image processing device and method for operating the same | |
JP6392486B1 (en) | Endoscope system | |
JP2013022219A (en) | Image signal processor, imaging system, and electronic endoscope system | |
JP6556076B2 (en) | Endoscopic image signal processing apparatus and method, and program | |
JP6196593B2 (en) | Endoscope system, light source device, operation method of endoscope system, and operation method of light source device | |
JP5922955B2 (en) | Electronic endoscope system | |
JPWO2019163470A1 (en) | Endoscopic system and how to operate it | |
JP2014033777A (en) | Electronic endoscope apparatus and illumination device | |
JP6071508B2 (en) | Electronic endoscope system | |
JP2013013589A (en) | Image signal processor, imaging system, and electronic endoscope system | |
JP2014076223A (en) | Image signal processing device and electronic endoscope system | |
JP6535435B2 (en) | Processor and endoscope system | |
JP6242474B2 (en) | Endoscope processor and electronic endoscope system | |
WO2016059906A1 (en) | Endoscope device | |
JP5856943B2 (en) | Imaging system | |
JP6514155B2 (en) | Electronic endoscope system and light source device for endoscope | |
CN108882835B (en) | Endoscope image signal processing device and method, and storage medium |