JP2006192065A - Image processor - Google Patents

Image processor Download PDF

Info

Publication number
JP2006192065A
JP2006192065A JP2005006389A JP2005006389A JP2006192065A JP 2006192065 A JP2006192065 A JP 2006192065A JP 2005006389 A JP2005006389 A JP 2005006389A JP 2005006389 A JP2005006389 A JP 2005006389A JP 2006192065 A JP2006192065 A JP 2006192065A
Authority
JP
Japan
Prior art keywords
image
filter
reference light
image data
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005006389A
Other languages
Japanese (ja)
Other versions
JP4864325B2 (en
Inventor
Mitsufumi Fukuyama
三文 福山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pentax Corp
Original Assignee
Pentax Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pentax Corp filed Critical Pentax Corp
Priority to JP2005006389A priority Critical patent/JP4864325B2/en
Publication of JP2006192065A publication Critical patent/JP2006192065A/en
Application granted granted Critical
Publication of JP4864325B2 publication Critical patent/JP4864325B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To prevent flickers of a pseudo-color image using autofluorescence. <P>SOLUTION: An endoscope processor 20 comprises a reference light source 22, an excitation light source 23, a first signal processing circuit 35<SB>a</SB>, a filter processing circuit 36, a histogram operation circuit 37, and a pseudo-color operation circuit 38. By connecting the endoscope processor 20 and an endoscope 50, an image sensor 53 is connected to the first signal processing circuit 35<SB>a</SB>. The first signal processing circuit 35a and the filter processing circuit 36 form filter image data by removing noise components from an original image signal formed by the image sensor 53. The histogram operation circuit 37 and the pseudo-color operation circuit 38 then form pseudo-color image data on the basis of the filter image data generated when light is emitted from the reference light source 22 or from the excitation light source 23. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、自家蛍光を利用した電子内視鏡における画像処理装置に関する。   The present invention relates to an image processing apparatus in an electronic endoscope using autofluorescence.

紫外線等の特定の波長の光（励起光）を生体組織に照射することにより、蛍光を発する自家蛍光が知られている。また、がん細胞等の病変部においては蛍光の光量が低いことが知られている。この性質を利用した電子内視鏡システムが知られている（特許文献１参照）。   Autofluorescence that emits fluorescence by irradiating a living tissue with light (excitation light) having a specific wavelength such as ultraviolet rays is known. Further, it is known that the amount of fluorescent light is low in a lesion such as a cancer cell. An electronic endoscope system using this property is known (see Patent Document 1).

即ち、白色光等の参照光を照射した時の画像と励起光を照射した時の画像を比較して、励起光を照射した時の画像では暗く、参照光を照射した時の画像では明るい領域を抽出する信号処理を行い、この領域を着色した擬似カラー画像を表示することにより、病変部の特定を可能としていた。   That is, comparing the image when the reference light such as white light is irradiated with the image when the excitation light is irradiated, the image when the excitation light is irradiated is dark, and the image when the reference light is irradiated is bright By performing signal processing for extracting the image and displaying a pseudo color image in which this region is colored, it is possible to identify the lesioned part.

しかし、擬似カラー画像において着色領域と非着色領域の境界近辺にちらつきが発生していた。また、複数の色で着色した場合に第１の色の着色領域と第２の色の着色領域の境界近辺にもちらつきが発生していた。   However, the pseudo color image flickers in the vicinity of the boundary between the colored region and the non-colored region. In addition, when a plurality of colors are used, flickering occurs near the boundary between the first color coloring area and the second color coloring area.

また、擬似カラー画像では着色領域が単一の色により塗りつぶされてしまうため、操作性が悪かった。即ち、着色領域の写像を表示するためには、操作者の手動により参照光を照射した時の画像に切替える必要があった。
特開２００３−２９０１３０号公報 In addition, in the pseudo color image, the colored area is filled with a single color, so that the operability is poor. That is, in order to display the mapping of the colored region, it is necessary to switch to the image when the reference light is irradiated manually by the operator.
JP 2003-290130 A

したがって、本発明では擬似カラー画像においてちらつきの発生を防ぎ、併せて操作者による画像の切替え操作の煩雑さを軽減させることが可能な電子内視鏡の画像処理装置の提供を目的とする。   Accordingly, it is an object of the present invention to provide an image processing apparatus for an electronic endoscope that can prevent occurrence of flickering in a pseudo color image and reduce the complexity of an image switching operation by an operator.

本発明の画像処理装置は、参照光、或いは生体組織に照射すると蛍光を発光させる励起光が照射される被写体を撮像することにより生成される原画像信号を取得する画像信号取得手段と、原画像信号からノイズ成分を除去してフィルタ画像データを生成するフィルタ手段と、参照光を照射する時に生成される参照光フィルタ画像データと励起光を照射する時に生成される自家蛍光フィルタ画像データとに基づいて擬似カラー画像データを作成する画像処理手段とを備えることを特徴としている。このような構成により、生成した画像データからノイズ成分の除去を行われるので着色領域と非着色領域との境界が安定してちらつきの発生が防止される。   An image processing apparatus of the present invention includes an image signal acquisition unit that acquires an original image signal generated by imaging a subject irradiated with reference light or excitation light that emits fluorescence when irradiated on a living tissue, and an original image Based on filter means for removing noise components from the signal to generate filter image data, reference light filter image data generated when the reference light is irradiated, and autofluorescence filter image data generated when the excitation light is irradiated And image processing means for creating pseudo color image data. With such a configuration, noise components are removed from the generated image data, so that the boundary between the colored region and the non-colored region is stabilized and flickering is prevented.

被写体を照射する光を、参照光と励起光のいずれかに切替える切替え手段と、被写体へ照射する光が参照光に切替えられている間に生成される原画像信号を参照光原画像信号として被写体へ照射する光が励起光に切替えられている間に生成される原画像信号を自家蛍光原画像信号として識別する識別手段とを備えることが好ましい。   Switching means for switching light irradiating the subject to either reference light or excitation light, and an original image signal generated while the light irradiating the subject is switched to reference light as a reference light original image signal It is preferable to include an identification unit that identifies an original image signal generated while the light irradiated to the excitation light is switched to excitation light as an autofluorescence original image signal.

参照光フィルタ画像データと自家蛍光フィルタ画像データに基づいて第１着色領域が検出され、擬似カラー画像データは参照光を照射する時に生成される参照光原画像信号に対応する参照光原画像における第１着色領域の第１色相を強調する画像処理を参照光原画像信号に対して行うことにより作成されることが好ましい。このような構成により、第１着色領域が単一色で表示せずに第１色相を強調した画像であり、病変部の特定が容易で、かつ擬似カラー画像により、着色領域の写像を確認できるようになる。   The first colored region is detected based on the reference light filter image data and the autofluorescence filter image data, and the pseudo color image data is the first color in the reference light original image corresponding to the reference light original image signal generated when the reference light is irradiated. It is preferable that the image processing is performed by performing image processing for emphasizing the first hue of one colored region on the reference light original image signal. With such a configuration, the first colored area is an image in which the first hue is emphasized without being displayed in a single color, the lesion area can be easily identified, and the mapping of the colored area can be confirmed by the pseudo color image. become.

参照光フィルタ画像データに相当する参照光フィルタ画像を基準として自家蛍光フィルタ画像データに相当する自家蛍光フィルタ画像の輝度を正規化し、参照光フィルタ画像を構成する画素の輝度に対する正規化された自家蛍光フィルタ画像を構成する画素の輝度の比である輝度比が予め定められる第１閾値を下回る画素を第１着色領域として検出することが好ましい。   Normalizing the brightness of the autofluorescence filter image corresponding to the autofluorescence filter image data with reference to the reference light filter image corresponding to the reference light filter image data, and normalizing the autofluorescence with respect to the brightness of the pixels constituting the reference light filter image It is preferable to detect, as the first colored region, a pixel whose luminance ratio, which is a luminance ratio of pixels constituting the filter image, is lower than a predetermined first threshold value.

正規化は、自家蛍光フィルタ画像を構成する画素の輝度における最大輝度に対する参照光フィルタ画像を構成する画素の輝度における最大輝度の比である最大輝度比を求め、自家蛍光フィルタ画像を構成する各画素の輝度に最大輝度比を乗じることにより行われることが好ましい。   Normalization obtains the maximum luminance ratio, which is the ratio of the maximum luminance in the luminance of the pixel constituting the reference light filter image to the maximum luminance in the luminance of the pixel constituting the auto fluorescent filter image, and each pixel constituting the auto fluorescent filter image Preferably, this is performed by multiplying the brightness of 1 by the maximum brightness ratio.

フィルタ画像データに相当するフィルタ画像を構成する画素の輝度についての度数分布を作成する分布作成手段を備え、正規化は自家蛍光フィルタ画像データに相当する自家蛍光フィルタ画像を構成する画素の輝度の度数分布における平均輝度に対する参照光フィルタ画像データに相当する参照光フィルタ画像を構成する画素の輝度の度数分布における平均輝度の比である平均輝度比を求め、自家蛍光フィルタ画像を構成する各画素の輝度に平均輝度比を乗じることにより行われることが好ましい。   A distribution creating means for creating a frequency distribution for the luminance of the pixels constituting the filter image corresponding to the filter image data is provided, and the normalization is a frequency of the luminance of the pixels constituting the auto fluorescent filter image corresponding to the auto fluorescent filter image data The average luminance ratio, which is the ratio of the average luminance in the frequency distribution of the luminance of the pixels constituting the reference light filter image corresponding to the reference light filter image data with respect to the average luminance in the distribution, is obtained, and the luminance of each pixel constituting the autofluorescent filter image Is preferably performed by multiplying by the average luminance ratio.

画像処理手段が、輝度比が予め定められる第２閾値を下回る前記蛍光フィルタ画像の画素を第２着色領域として検出し、参照光原画像における第２着色領域の第２の色相を強調する画像処理を参照光原画像信号に対して行うことが好ましい。このような構成により、病変部と推定される領域と、病変部の可能性がある領域を異なる色に塗り分けることが可能であり、診断をより容易に行うことが可能となる。   Image processing in which the image processing means detects pixels of the fluorescent filter image whose luminance ratio is lower than a predetermined second threshold as a second colored region, and emphasizes the second hue of the second colored region in the reference light original image Is preferably performed on the reference light original image signal. With such a configuration, a region estimated to be a lesioned part and a region that may be a lesioned part can be painted in different colors, and diagnosis can be performed more easily.

フィルタ手段がメディアンフィルタ、移動平均フィルタ、及び時間軸平均フィルタのいずれかであることが好ましい。   It is preferable that the filter means is any one of a median filter, a moving average filter, and a time axis average filter.

擬似カラー画像データに対応する擬似カラー画像を表示するモニタに、参照光原画像信号に対応する参照光画像、及び自家蛍光原画像信号に対応する自家蛍光画像のいずれか一方、或いは両方を擬似カラー画像とともに表示することが好ましい。擬似カラー画像とともに、参照光画像、或いは自家蛍光画像が表示されるので、着色されていない病変部の画像を見るために、表示される画像の切替が不要となる。   On a monitor that displays a pseudo color image corresponding to the pseudo color image data, one or both of the reference light image corresponding to the reference light original image signal and the auto fluorescence image corresponding to the auto fluorescence original image signal are displayed in pseudo color. It is preferable to display it together with an image. Since the reference light image or the autofluorescence image is displayed together with the pseudo color image, it is not necessary to switch the displayed image in order to see the image of the lesion that is not colored.

本発明の画像処理プログラムは、参照光、或いは生体組織に照射すると蛍光を発光させる励起光が照射される被写体を撮像することにより生成される原画像信号を取得する画像信号取得手段と、原画像信号からノイズ成分を除去してフィルタ画像データを生成するフィルタ手段と、参照光を照射する時に生成される参照光フィルタ画像データと励起光を照射する時に生成される自家蛍光フィルタ画像データとに基づいて擬似カラー画像データを作成する画像処理手段としてコンピュータを機能させることを特徴としている。   The image processing program of the present invention includes an image signal acquisition unit that acquires an original image signal generated by imaging a subject irradiated with reference light or excitation light that emits fluorescence when irradiated on a living tissue, and an original image Based on filter means for removing noise components from the signal to generate filter image data, reference light filter image data generated when the reference light is irradiated, and autofluorescence filter image data generated when the excitation light is irradiated The computer is caused to function as image processing means for creating pseudo color image data.

本発明の内視鏡システムは、参照光、或いは生体組織に照射すると蛍光を発光させる励起光が照射される被写体を撮像する撮像素子を有する電子内視鏡と、撮像素子が生成する原画像信号からノイズ成分を除去してフィルタ画像データを生成するフィルタと、参照光を照射する時に生成される参照光フィルタ画像データと励起光を照射する時に生成される自家蛍光フィルタ画像データとに基づいて擬似カラー画像データを作成する画像処理手段と、擬似カラー画像データに対応する擬似カラー画像を表示するモニタとを備えることを特徴としている。   An endoscope system according to the present invention includes an electronic endoscope having an imaging element that images a subject irradiated with reference light or excitation light that emits fluorescence when irradiated on a living tissue, and an original image signal generated by the imaging element Based on the filter that generates the filter image data by removing the noise component from the reference light, the reference light filter image data that is generated when the reference light is irradiated, and the autofluorescence filter image data that is generated when the excitation light is irradiated It is characterized by comprising image processing means for creating color image data and a monitor for displaying a pseudo color image corresponding to the pseudo color image data.

本発明によれば、参照光画像と自家蛍光画像とによって作成される擬似カラー画像に発生する色分け境界近辺に発生するちらつきを防止することが可能となる。また、病変部と推定される領域の写像の確認のために表示される画像の切替が不要となる。   According to the present invention, it is possible to prevent flickering that occurs in the vicinity of a color-coded boundary that occurs in a pseudo color image created by a reference light image and an autofluorescence image. In addition, it is not necessary to switch the image displayed for confirming the mapping of the region estimated to be a lesion.

以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の一実施形態を適用した画像処理装置を有する内視鏡システムの内部構成を概略的に示すブロック図である。 Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram schematically showing an internal configuration of an endoscope system having an image processing apparatus to which an embodiment of the present invention is applied.

内視鏡システム１０は、内視鏡プロセッサ２０、内視鏡５０、およびモニタ６０によって構成される。プロセッサ２０は、内視鏡５０、及びモニタ６０に接続される。被写体を照射するための光を発光する光源システム２１が、プロセッサ２０の内部に設けられる。光源システム２１から発光される光は、内視鏡５０に設けられるライトガイド５１を介して被写体（図示せず）に照射される。   The endoscope system 10 includes an endoscope processor 20, an endoscope 50, and a monitor 60. The processor 20 is connected to the endoscope 50 and the monitor 60. A light source system 21 that emits light for irradiating a subject is provided inside the processor 20. Light emitted from the light source system 21 is irradiated to a subject (not shown) via a light guide 51 provided in the endoscope 50.

内視鏡５０の挿入部５２の先端に設けられたＣＣＤ等の撮像素子５３により撮像された被写体の画像は、原画像信号としてプロセッサ２０に送られる。原画像信号は、プロセッサ２０に設けられた画像処理システム３４において、所定の処理が行われる。プロセッサ２０は、本実施形態の画像処理装置の機能を実行することが可能で、所定の処理とともに、後述する擬似カラー画像データの作成を行うことが可能である。所定の処理が行われた原画像信号は、モニタ６０に送られ、原画像信号に相当する画像がモニタ６０に表示される。   An image of a subject imaged by an imaging element 53 such as a CCD provided at the distal end of the insertion portion 52 of the endoscope 50 is sent to the processor 20 as an original image signal. The original image signal is subjected to predetermined processing in an image processing system 34 provided in the processor 20. The processor 20 can execute the functions of the image processing apparatus according to the present embodiment, and can generate pseudo color image data to be described later along with predetermined processing. The original image signal subjected to the predetermined processing is sent to the monitor 60, and an image corresponding to the original image signal is displayed on the monitor 60.

光源システム２１は、白色光等の参照光を発する参照用光源２２、紫外線等の特定の波長の光（励起光）を発する励起用光源２３、集光レンズ２４、参照用光源電源回路２５、励起用光源制御回路２６、シャッタ２７、及び絞り２８等によって構成される。   The light source system 21 includes a reference light source 22 that emits reference light such as white light, an excitation light source 23 that emits light (excitation light) of a specific wavelength such as ultraviolet light, a condenser lens 24, a reference light source power circuit 25, and excitation. And a light source control circuit 26, a shutter 27, a diaphragm 28, and the like.

参照用光源２２から照射された参照光をライトガイド５１の入射端５１aに導くための光路中に絞り２８、シャッタ２７、ダイクロックミラー２９、及び集光レンズ２４が設けられる。参照用光源２２から照射された略平行な光束の光は、ダイクロックミラー２９を通過し、集光レンズ２４で集光されて入射端５１aに入射される。 An aperture 28, a shutter 27, a dichroic mirror 29, and a condenser lens 24 are provided in the optical path for guiding the reference light emitted from the reference light source 22 to the incident end 51 a of the light guide 51. Light of substantially parallel light flux emitted from the reference light source 22 passes through the dichroic mirror 29, is incident on the incident end 51 a is condensed by the condenser lens 24.

参照光の光量調整は、絞り２８を駆動することにより実行される。絞り２８は、絞り駆動回路３０により動作が制御される第１モータ３１aにより駆動される。絞り駆動回路３０は、第１信号処理回路３５aに接続される。撮像素子５３において生成する原画像信号に基づき、第１信号処理回路３５aにおいて、撮像した画像の受光量が検出される。第１モータ３１aの駆動量は、絞り駆動回路３０により、画像の受光量に応じて、求められる。 The light amount adjustment of the reference light is executed by driving the diaphragm 28. The diaphragm 28 is driven by a first motor 31 a whose operation is controlled by a diaphragm driving circuit 30. Diaphragm driving circuit 30 is connected to the first signal processing circuit 35 a. Based on the original image signal generated in the imaging device 53, in the first signal processing circuit 35 a, the received light amount of an image captured is detected. The driving amount of the first motor 31 a is obtained by the diaphragm driving circuit 30 according to the received light amount of the image.

シャッタ２７は、例えば図２に示すロータリーシャッタであり、参照光の入射端５１aへの通過と遮光が切替えられる。参照光を通過させる場合は、開口部２７oが参照光の光路中に挿入される。参照光を遮光する場合は、遮光部２７sが参照光の光路中に挿入される。シャッタ２７は、シャッタ駆動回路３２により動作が制御される第２モータ３１bにより駆動される。 The shutter 27 is, for example, a rotary shutter shown in FIG. 2, and is switched between passing and blocking of the reference light to the incident end 51 a . When passing the reference light, the opening 27 o is inserted into the optical path of the reference light. When the reference light is shielded, the light shielding portion 27 s is inserted in the optical path of the reference light. The shutter 27 is driven by a second motor 31 b whose operation is controlled by a shutter drive circuit 32.

励起用光源２３は、励起用光源２３から照射される略平行な光束の光が、ダイクロックミラー２９に反射されて入射端５１aに入射される位置に固定される。例えば、ダイクロックミラー２９を参照用光源２２の光路に対して４５°の角度に固定した場合、励起用光源２３の光路が参照用光源２２の光路に対して９０°の角度となる位置に配置される。励起用光源２３の発光、及び消灯は、励起用光源制御回路２６によって制御される。 The excitation light source 23 is fixed at a position where light of a substantially parallel light beam emitted from the excitation light source 23 is reflected by the dichroic mirror 29 and incident on the incident end 51 a . For example, when the dichroic mirror 29 is fixed at an angle of 45 ° with respect to the optical path of the reference light source 22, the optical path of the excitation light source 23 is disposed at a position at an angle of 90 ° with respect to the optical path of the reference light source 22. Is done. Light emission and extinction of the excitation light source 23 are controlled by the excitation light source control circuit 26.

シャッタ駆動回路３２、及び励起用光源制御回路２６は、タイミングコントローラ４０に接続される。シャッタ２７による参照光の通過と遮光のタイミングを制御するためのシャッタタイミング信号が、タイミングコントローラ４０からシャッタ駆動回路３２に出力される。また、励起用光源２３の発光と消灯のタイミングを制御するための発光タイミング信号が、タイミングコントローラ４０から励起用光源制御回路２６に出力される。   The shutter drive circuit 32 and the excitation light source control circuit 26 are connected to the timing controller 40. A shutter timing signal for controlling the timing of passage and blocking of the reference light by the shutter 27 is output from the timing controller 40 to the shutter drive circuit 32. A light emission timing signal for controlling the timing of light emission and extinction of the excitation light source 23 is output from the timing controller 40 to the excitation light source control circuit 26.

タイミングコントローラ４０は、シャッタ２７によって参照光を通過させる時に励起用光源２３を消灯させ、シャッタ２７によって参照光を遮光する時に励起用光源２３を発光させるようにシャッタタイミング信号、及び発光タイミング信号を出力する。即ち、被写体へ照射する光の切替えは、タイミングコントローラ４０、励起用光源制御回路２６、シャッタ駆動回路３２、第２モータ３１b、及びシャッタ２７が協同して動作することにより実行される。 The timing controller 40 outputs a shutter timing signal and a light emission timing signal so that the excitation light source 23 is turned off when the reference light is passed through the shutter 27 and the excitation light source 23 is caused to emit light when the reference light is blocked by the shutter 27. To do. In other words, the light to be irradiated on the subject is switched by the timing controller 40, the excitation light source control circuit 26, the shutter drive circuit 32, the second motor 31 b , and the shutter 27 operating in cooperation.

また、タイミングコントローラ４０によって、撮像素子５３を駆動するために必要なタイミング信号が、撮像素子駆動回路４１に出力される。また、後述するようにタイミングコントローラ４０は画像処理システム３４に接続される。所定のタイミング信号が、画像処理システム３４に出力される。   The timing controller 40 outputs a timing signal necessary for driving the image sensor 53 to the image sensor drive circuit 41. As will be described later, the timing controller 40 is connected to the image processing system 34. A predetermined timing signal is output to the image processing system 34.

参照用光源２２への電力は、参照用光源電源回路２５から供給される。参照用光源電源回路２５、及び励起用光源制御回路２６は、システムコントローラ３３に接続される。システムコントローラ３３に接続されるスコープボタン４２をＯＮにすることにより、参照用光源電源回路２５、及び励起用光源制御回路２６が起動される。   The power to the reference light source 22 is supplied from the reference light source power circuit 25. The reference light source power circuit 25 and the excitation light source control circuit 26 are connected to the system controller 33. By turning on the scope button 42 connected to the system controller 33, the reference light source power supply circuit 25 and the excitation light source control circuit 26 are activated.

ライトガイド５１の入射端５１aには、前述のように参照光、或いは励起光が入射される。ライトガイド５１の出射端５１bから出射する光が、配光レンズ５４を介して挿入部５２先端付近に照射される。撮像素子５３は、参照光が連続して照射される間、或いは励起光が連続して照射される間に少なくとも１フィールドずつの被写体像を撮像するように、撮像素子駆動回路４１によって制御される。 As described above, the reference light or the excitation light is incident on the incident end 51 a of the light guide 51. Light emitted from the emission end 51 b of the light guide 51 is applied to the vicinity of the distal end of the insertion portion 52 through the light distribution lens 54. The image sensor 53 is controlled by the image sensor drive circuit 41 so as to capture at least one field of subject image while the reference light is continuously irradiated or while the excitation light is continuously irradiated. .

被写体像は、対物レンズ５５、及び励起光カットフィルタ５６を介して、撮像素子５３に撮像される。励起光カットフィルタ５６により、被写体の光学像から励起光成分が除去される。励起光成分が除去されることにより、励起光が照射されることにより被写体である生体組織が発する蛍光成分のみが、撮像素子５３により撮像される。   The subject image is captured by the image sensor 53 via the objective lens 55 and the excitation light cut filter 56. The excitation light component is removed from the optical image of the subject by the excitation light cut filter 56. By removing the excitation light component, only the fluorescence component emitted from the biological tissue that is the subject when irradiated with the excitation light is imaged by the imaging element 53.

画像処理システム３４は、第１信号処理回路３５a、第２信号処理回路３５b、フィルタ処理回路３６、ヒストグラム演算回路３７、擬似カラー演算回路３８、及び第１、第２メモリ３９a、３９bによって構成される。 The image processing system 34 includes a first signal processing circuit 35 a , a second signal processing circuit 35 b , a filter processing circuit 36, a histogram calculation circuit 37, a pseudo color calculation circuit 38, and first and second memories 39 a and 39 b. Consists of.

撮像素子５３は、第１信号処理回路３５aに電気的に接続される。撮像素子５３の撮像動作の実行により生成する原画像信号は、第１信号処理回路３５aに取得される。その後、ホワイトバランス処理やγ補正等の所定の信号処理が行われ、デジタルデータである原画像データに変換される。 Imaging device 53 is electrically connected to the first signal processing circuit 35 a. Original image signal generated by the execution of the imaging operation of the image sensor 53 is acquired in the first signal processing circuit 35 a. Thereafter, predetermined signal processing such as white balance processing and γ correction is performed and converted into original image data which is digital data.

第１信号処理回路３５aは、タイミングコントローラ４０に接続される。識別タイミング信号が、タイミングコントローラ４０から第１信号処理回路３５aに送られる。識別タイミング信号は、シャッタタイミング信号に同期した参照タイミング信号と発光タイミング信号に同期した蛍光タイミング信号により構成される。 The first signal processing circuit 35 a is connected to the timing controller 40. Identifying timing signal is sent from the timing controller 40 to the first signal processing circuit 35 a. The identification timing signal includes a reference timing signal synchronized with the shutter timing signal and a fluorescence timing signal synchronized with the light emission timing signal.

第１信号処理回路３５aにおいて、参照タイミング信号が送られる間の原画像信号は参照光を照射する時に撮像した参照光原画像信号として認識される。一方、発光タイミング信号が送られる間の原画像信号は励起光を照射する時に撮像した自家蛍光原画像信号として認識される。 In the first signal processing circuit 35 a, the original image signal between the reference timing signal is sent is recognized as a reference HikariHara image signals captured when irradiated with the reference light. On the other hand, the original image signal while the light emission timing signal is sent is recognized as an autofluorescence original image signal captured when the excitation light is irradiated.

第１信号処理回路３５aには、第１メモリ３９aと第２メモリ３９bとが接続される。参照光原画像に相当する参照光原画像データは第１メモリ３９aに格納される。自家蛍光原画像に相当する蛍光原画像データは第２メモリ３９bに格納される。第１、第２メモリ３９a、３９bは、タイミングコントローラ４０に接続され、それぞれのタイミング信号を受けて、参照光原画像データ、及び自家蛍光原画像データの格納が実行される。 The first signal processing circuit 35 a, the first memory 39 a and the second memory 39 b are connected. Referring HikariHara image data corresponding to the reference HikariHara image is stored in the first memory 39 a. Fluorogenic image data corresponding to autofluorescence original image is stored in the second memory 39 b. First, second memory 39 a, 39 b is connected to the timing controller 40, receives the respective timing signals, reference HikariHara image data, and stores the autofluorescence original image data is executed.

また、第１信号処理回路３５aは、フィルタ処理回路３６に接続される。参照光原画像データ、及び自家蛍光原画像データは、フィルタ処理回路３６にも出力される。フィルタ処理回路３６において、原画像データからノイズ成分が除去され、フィルタ画像データが形成される。なお、フィルタ処理回路３６として、例えば、メディアンフィルタ、移動平均フィルタ、時間軸平均フィルタ等の従来公知のノイズ成分除去用のフィルタ回路が適用される。 The first signal processing circuit 35 a is connected to the filter processing circuit 36. The reference light original image data and the autofluorescence original image data are also output to the filter processing circuit 36. In the filter processing circuit 36, noise components are removed from the original image data, and filter image data is formed. As the filter processing circuit 36, for example, a conventionally known filter circuit for removing noise components such as a median filter, a moving average filter, a time axis average filter, or the like is applied.

フィルタ処理回路３６は、ヒストグラム演算回路３７に接続される。フィルタ画像データが、ヒストグラム演算回路３７に送られる。フィルタ画像データに基づいて、ヒストグラム演算回路３７において、ノイズ成分の除去された参照光原画像である参照光フィルタ画像の輝度のヒストグラム（図３、符号Ｒ参照）、或いはノイズ成分の除去された自家蛍光原画像である自家蛍光フィルタ画像の輝度のヒストグラム（図３、符号Ｆ参照）が作成される。   The filter processing circuit 36 is connected to the histogram calculation circuit 37. Filter image data is sent to the histogram calculation circuit 37. Based on the filter image data, a histogram of luminance of the reference light filter image which is the reference light original image from which the noise component has been removed (see reference numeral R in FIG. 3) or the home from which the noise component has been removed. A brightness histogram (see reference numeral F in FIG. 3) of the autofluorescence filter image that is the fluorescence original image is created.

ヒストグラム演算回路３７は、擬似カラー演算回路３８に接続される。擬似カラー演算回路３８において、自家蛍光フィルタ画像のヒストグラムＦ、及び参照光フィルタ画像のヒストグラムＲに基づいて、病変部と推測される領域が特定される。更に、擬似カラー演算回路３８において、病変部と推測した領域の着色処理が、参照光フィルタ画像データに対して行われる。   The histogram calculation circuit 37 is connected to the pseudo color calculation circuit 38. In the pseudo color arithmetic circuit 38, an area estimated to be a lesion is identified based on the histogram F of the autofluorescence filter image and the histogram R of the reference light filter image. Further, in the pseudo color arithmetic circuit 38, the coloring process for the region estimated to be a lesion is performed on the reference light filter image data.

病変部と推測される領域の特定、及び着色処理について説明する。前述のように、病変部である生体組織が発する蛍光は健常部である生体組織に比べて低い。従って、参照光フィルタ画像に比べた蛍光フィルタ画像の輝度が相対的に低い領域を病変部であると推測することが可能である。   A description will be given of identification of a region estimated to be a lesion and coloring processing. As described above, the fluorescence emitted from the living tissue that is the lesioned part is lower than that of the living tissue that is the healthy part. Therefore, it is possible to estimate that a region where the luminance of the fluorescent filter image is relatively low compared to the reference light filter image is a lesion.

まず、自家蛍光フィルタ画像のヒストグラムＦにおける輝度分布の最大値である最大蛍光輝度ＢmaxFと、参照光フィルタ画像のヒストグラムＲにおける輝度分布の最大値である最大参照輝度ＢmaxRとが、求められる（図３参照）。 First, a maximum fluorescence luminance B maxF that is the maximum value of the luminance distribution in the histogram F of the auto-fluorescent filter image and a maximum reference luminance B maxR that is the maximum value of the luminance distribution in the histogram R of the reference light filter image are obtained ( (See FIG. 3).

次に、自家蛍光フィルタ画像の各画素が、最大蛍光輝度ＢmaxFが最大参照輝度ＢmaxRに合致するように、正規化される。即ち、自家蛍光フィルタ画像の各画素における輝度に最大参照光輝度ＢmaxRを乗じて、最大蛍光輝度ＢmaxFを除すことによって正規化が行われる。次に、各画素において、正規化された自家蛍光フィルタ画像の輝度を参照光フィルタ画像の輝度で除した判別値が求められる。 Next, each pixel of the autofluorescence filter image is normalized so that the maximum fluorescence brightness B maxF matches the maximum reference brightness B maxR . That is, by multiplying the maximum reference beam intensity B maxR to the luminance of each pixel of the autofluorescence filter image, the normalization is performed by dividing the maximum fluorescence intensity B maxF. Next, in each pixel, a discriminant value obtained by dividing the luminance of the normalized auto-fluorescent filter image by the luminance of the reference light filter image is obtained.

判別値をＲＯＭ（図示せず）に記憶される第１閾値、及び第２閾値と比較することにより病変部であるか否かの判別が行われる。判別値が第１閾値より低い画素は、病変部である可能性が高い領域を表示していると判別される。判別値が第１閾値以上であって第２閾値より低い画素は、病変部である可能性が比較的高い領域を表示していると判別される。また、判別値が第２閾値以上である画素は、健常部と推測される領域を表示していると判別される。   It is determined whether or not it is a lesioned part by comparing the determination value with a first threshold value and a second threshold value stored in a ROM (not shown). It is determined that a pixel having a determination value lower than the first threshold is displaying an area that is likely to be a lesion. A pixel having a determination value equal to or higher than the first threshold and lower than the second threshold is determined to display an area having a relatively high possibility of being a lesion. Further, it is determined that a pixel having a determination value equal to or greater than the second threshold is displaying a region that is estimated to be a healthy part.

次に、参照光フィルタ画像の着色処理が行われる。判別値が第１閾値より低い画素を病変部表示画素として赤色に、第１閾値以上であって第２閾値より低い画素を注意部表示画素として黄色に表示するように、参照光フィルタ画像データに着色処理が行われる。   Next, a coloring process of the reference light filter image is performed. The reference light filter image data is displayed in such a manner that a pixel whose discrimination value is lower than the first threshold is displayed in red as a lesion display pixel, and a pixel that is equal to or higher than the first threshold and lower than the second threshold is displayed in yellow as a caution display pixel. A coloring process is performed.

擬似カラー演算回路３８は、第２信号処理回路３５bに接続される。参照光フィルタ画像データに着色処理を行った擬似カラー画像データは、第２信号処理回路３５bに出力される。第２信号処理回路３５bにおいて、擬似カラー画像データは、アナログ信号に変換され、クランプ、プランキング処理等の所定の信号処理が行われ、擬似カラー映像信号が生成される。 The pseudo color arithmetic circuit 38 is connected to the second signal processing circuit 35 b . The pseudo color image data obtained by performing the coloring process on the reference light filter image data is output to the second signal processing circuit 35 b . In the second signal processing circuit 35b , the pseudo color image data is converted into an analog signal, and predetermined signal processing such as clamping and blanking processing is performed to generate a pseudo color video signal.

第２信号処理回路３５bは、モニタ６０に接続される。第２信号処理回路３５bから擬似カラー映像信号がモニタ６０に出力され、モニタ６０の表示面全面に図４に示すような擬似カラー画像が表示される。病変部と推測される病変部推測領域ＡSは赤色に表示される。病変部である可能性が高い注意領域ＡCは黄色に表示される。それ以外の健常部と推測される領域は参照光を照射された状態の色で表示される。 The second signal processing circuit 35 b is connected to the monitor 60. A pseudo color video signal is output from the second signal processing circuit 35 b to the monitor 60, and a pseudo color image as shown in FIG. 4 is displayed on the entire display surface of the monitor 60. Lesion guess region A S suspected of lesion is displayed in red. High note region A C be a lesion is displayed in yellow. The area | region estimated as a healthy part other than that is displayed with the color of the state irradiated with the reference light.

第２信号処理回路３５bは、第１メモリ３９a、及び第２メモリ３９bにも接続されており、第１メモリ３９aに格納された参照光原画像データ、或いは第２メモリ３９bに格納された自家蛍光原画像データも、第２信号処理回路３５bにおいて、前述の信号処理が行われ、それぞれ参照光ビデオ信号、及び自家蛍光ビデオ信号が生成される。 The second signal processing circuit 35 b is also connected to the first memory 39 a and the second memory 39 b . The reference light original image data stored in the first memory 39 a or the second memory 39 b stored autofluorescence original image data is also in the second signal processing circuit 35 b, is performed signal processing described above, each reference beam a video signal, and the autofluorescence video signal is generated.

スコープボタン４２またはプロセッサ２０のフロントパネルにおける入力部（図示せず）への入力により、モニタ６０の表示領域に表示する画像を擬似カラー画像ＰC、参照光画像ＰR、及び自家蛍光画像ＰFのいずれかに切替え可能である。または、図５、図６に示すように、擬似カラー画像ＰC、参照光画像ＰR、及び自家蛍光画像ＰFのいずれか２つ、或いはすべてを同時に表示するための選択も可能である。 Images to be displayed in the display area of the monitor 60 by the input to the scope button 42 or an input unit (not shown) on the front panel of the processor 20 are the pseudo color image P C , the reference light image P R , and the autofluorescence image P F. It is possible to switch to either of these. Or, as shown in FIGS. 5 and 6, the pseudo-color image P C, the reference light image P R, and any two of autofluorescence image P F, or choose to display all at the same time is also possible.

モニタ６０上に、複数の画像を表示する場合は、第２信号処理回路３５bにおいて、それぞれの画像を表示する領域の割り当てや、画像の縮小処理が行われる。タイミングコントローラ４０は、第２信号処理回路３５bに接続される。第２信号処理回路３５bにおける画像の切り替え処理、複数画像を表示するための前述の処理は、タイミングコントローラ４０から出力されるタイミング信号に基づいて行われる。 On the monitor 60, when displaying a plurality of images, the second signal processing circuit 35 b, allocation or area for displaying each image, image reduction process is performed. The timing controller 40 is connected to the second signal processing circuit 35 b. The image switching process in the second signal processing circuit 35 b and the above-described process for displaying a plurality of images are performed based on the timing signal output from the timing controller 40.

次に図７のフローチャートを参照して、画像処理装置において実行される画像処理について説明する。   Next, image processing executed in the image processing apparatus will be described with reference to the flowchart of FIG.

擬似カラー画像をモニタ６０上に表示する設定に切替えることにより、本実施形態の画像処理は開始する。まず、ステップＳ１００において、シャッタ２７の開口部２７aを参照光の光路中に挿入するようにシャッタ２７を駆動させるシャッタタイミング信号をシャッタ駆動回路３２に出力する。シャッタタイミング信号の出力によりシャッタ２７が駆動され、被写体を照射する光は参照光に切替わる。 The image processing of this embodiment is started by switching to the setting for displaying the pseudo color image on the monitor 60. First, in step S100, and it outputs a shutter timing signal for driving the shutter 27 so as to insert the opening 27 a of the shutter 27 in the optical path of the reference light to the shutter driving circuit 32. The shutter 27 is driven by the output of the shutter timing signal, and the light that irradiates the subject is switched to the reference light.

次のステップＳ１０１において、撮像素子５３を駆動して、参照光を照射された被写体の参照光画像を撮像して、ステップＳ１０２に進む。ステップＳ１０２では、撮像により生成された参照光原画像信号に所定の信号処理を行い、デジタルデータである参照光原画像データを生成する。   In the next step S101, the image sensor 53 is driven to capture the reference light image of the subject irradiated with the reference light, and the process proceeds to step S102. In step S102, predetermined signal processing is performed on the reference light original image signal generated by imaging to generate reference light original image data which is digital data.

ステップＳ１０３では、参照光原画像データを第１メモリ３９aに格納して、ステップＳ１０４に進む。ステップＳ１０４では、参照光原画像データに対してフィルタ処理を行うことにより、参照光フィルタ画像データを生成する。次のステップＳ１０５では、参照光フィルタ画像データに基づいて、参照光フィルタ画像を構成する画素の輝度についてのヒストグラムを作成する。 In step S103, the reference HikariHara image data stored in the first memory 39 a, the process proceeds to step S104. In step S104, the reference light filter image data is generated by performing filtering on the reference light original image data. In the next step S105, a histogram for the luminance of the pixels constituting the reference light filter image is created based on the reference light filter image data.

次に、ステップＳ１０６に進み、励起光を発光させる発光タイミング信号を励起用光源制御回路２６に出力する。励起用光源制御回路２６は励起用光源２３を発光状態に切替えて、ステップＳ１０７に進む。ステップＳ１０７において、撮像素子５３を駆動して、励起光を照射された被写体の自家蛍光画像を撮像して、ステップＳ１０８に進む。ステップＳ１０８では、撮像により生成された自家蛍光原画像信号に所定の信号処理を行い、デジタルデータである自家蛍光原画像データを生成する。   In step S106, a light emission timing signal for emitting excitation light is output to the excitation light source control circuit 26. The excitation light source control circuit 26 switches the excitation light source 23 to the light emitting state, and proceeds to step S107. In step S107, the image sensor 53 is driven to capture an autofluorescence image of the subject irradiated with the excitation light, and the process proceeds to step S108. In step S108, the autofluorescence original image signal generated by the imaging is subjected to predetermined signal processing to generate autofluorescence original image data that is digital data.

ステップＳ１０９では、自家蛍光原画像データを第２メモリ３９bに格納して、ステップＳ１１０に進む。ステップＳ１１０では、自家蛍光原画像データに対してフィルタ処理を行うことにより、自家蛍光フィルタ画像データを生成する。次のステップＳ１１１では、自家蛍光フィルタ画像データに基づいて、自家蛍光フィルタ画像を構成する画素の輝度についてのヒストグラムを作成する。 In step S109, stores the autofluorescence original image data in the second memory 39 b, the process proceeds to step S110. In step S110, the autofluorescence original image data is filtered to generate autofluorescence filter image data. In the next step S111, a histogram for the luminance of the pixels constituting the autofluorescence filter image is created based on the autofluorescence filter image data.

次のステップＳ１１２では、参照光フィルタ画像に基づき自家蛍光フィルタ画像の正規化を行う。まず、参照光フィルタ画像に基づくヒストグラムＲの最大参照輝度ＢmaxR、及び自家蛍光フィルタ画像に基づくヒストグラムの最大蛍光輝度ＢmaxFを求める。次に自家蛍光フィルタ画像を構成する各画素の輝度に、最大参照輝度ＢmaxRを乗じ、最大蛍光輝度ＢmaxFを除する事によって、正規化が行われる。 In the next step S112, the autofluorescence filter image is normalized based on the reference light filter image. First, the maximum reference brightness B maxR of the histogram R based on the reference light filter image and the maximum fluorescence brightness B maxF of the histogram based on the autofluorescence filter image are obtained . Then the brightness of each pixel constituting the autofluorescence filtered image, multiplied by the maximum reference brightness B maxR, by dividing the maximum fluorescence intensity B maxF, the normalization is performed.

次のステップＳ１１３では、正規化を行った自家蛍光フィルタ画像を構成する各画素の輝度を、参照光フィルタ画像を構成する各画素の輝度で除することにより、判別値を求める。判別値を求めるとステップＳ１１４に進み、各画素が第１、第２着色領域であるか否かの判別を行う。ステップＳ１１３で求めた判別値が第１閾値より小さい画素を第１着色領域と判別し、第１閾値以上で第２閾値より小さい画素を第２着色領域と判別する。   In the next step S113, the discriminant value is obtained by dividing the luminance of each pixel constituting the normalized auto-fluorescent filter image by the luminance of each pixel constituting the reference light filter image. When the discriminant value is obtained, the process proceeds to step S114, and it is discriminated whether each pixel is the first or second colored region. A pixel having a determination value obtained in step S113 that is smaller than the first threshold is determined as a first colored region, and a pixel that is greater than or equal to the first threshold and smaller than the second threshold is determined as a second colored region.

ステップＳ１１５において、参照光フィルタ画像データにおいて第１着色領域に相当する画素を赤色にするように、第２着色領域に相当する画素を黄色にするように画像処理を行うことにより、擬似カラー画像データを作成する。   In step S115, pseudo color image data is obtained by performing image processing so that the pixel corresponding to the first colored region in the reference light filter image data is red and the pixel corresponding to the second colored region is yellow. Create

ステップＳ１１６に進み、モニタ６０への表示が、参照光画像ＰR、及び自家蛍光画像ＰFの一方、或いは両方とともに擬似カラー画像ＰCを表示する複数表示モードとする選択入力があるか否かを確認する。複数表示モードの選択入力がある場合はステップＳ１１７に進み、それぞれの画像を表示する領域の割当てや画像の縮小処理を行う。 Proceeds to step S116, the display on the monitor 60, the reference light image P R, and one of the autofluorescence image P F, or whether there is a selection input for a plurality display mode in which the pseudo-color image P C with both Confirm. If there is a selection input for a plurality of display modes, the process proceeds to step S117, where an area for displaying each image is assigned and image reduction processing is performed.

ステップＳ１１６において複数表示モードの選択入力がない場合、或いはステップＳ１１７の処理の後に、ステップＳ１１８に進む。ステップＳ１１８では、擬似カラー画像データ、或いは複数画像表示のためのデータをビデオ信号としてモニタ６０に出力する。次のステップＳ１１９において、終了入力がある場合は、本プログラムによる画像処理が終了する。終了入力がない場合は、ステップＳ１００に戻り、終了入力があるまでステップＳ１００〜ステップＳ１１９の処理を繰返す。   If there is no selection input for the multiple display mode in step S116, or after the process of step S117, the process proceeds to step S118. In step S118, pseudo color image data or data for displaying a plurality of images is output to the monitor 60 as a video signal. In the next step S119, if there is an end input, the image processing by this program ends. If there is no end input, the process returns to step S100, and the processes in steps S100 to S119 are repeated until there is an end input.

以上のように、本実施形態の画像処理装置を有する内視鏡システムによれば、ちらつきのない擬似カラー画像が、モニタ６０に表示されるため、使用者の診断性が向上する。参照光画像や蛍光画像において認識可能なちらつきを発生させないノイズでさえ、擬似カラー画像の色分けの境近辺にちらつきを発生させてしまっていたと考えられる。従って、このようなノイズを除去することにより、ちらつきの発生を抑えた擬似カラー画像を得ることが可能になる。   As described above, according to the endoscope system having the image processing apparatus of the present embodiment, a pseudo color image without flickering is displayed on the monitor 60, so that the diagnostic ability of the user is improved. Even noise that does not cause recognizable flicker in the reference light image or the fluorescence image is considered to have caused flicker near the boundary of the color coding of the pseudo color image. Therefore, by removing such noise, it is possible to obtain a pseudo color image in which the occurrence of flickering is suppressed.

また、擬似カラー画像とともに、参照光画像ＰRと自家蛍光画像ＰFのどちらか一方或いは両方をモニタ６０に表示可能である。従って、擬似カラー画像を含む複数画像をモニタ６０に表示させておくことにより、参照光画像ＰRの確認のための画像の切替え入力が不要である。 Further, the pseudo-color image can be displayed either one or both of the reference light image P R and autofluorescence image P F on the monitor 60. Therefore, by keeping to display the plurality of images including the pseudo color image on the monitor 60, the switching input of the image for confirmation of the reference light image P R is not required.

なお、本実施形態において、自家蛍光フィルタ画像の正規化を、最大蛍光輝度を最大参照輝度に合致させるように行われるが、自家蛍光フィルタ画像のヒストグラムＦ’における輝度分布の平均値ＢaveFを、参照光フィルタ画像のヒストグラムＲ’における輝度分布の平均値ＢaveRに合致させるように行うことも可能である（図８参照）。 In the present embodiment, the autofluorescence filter image is normalized so that the maximum fluorescence luminance matches the maximum reference luminance. However, the average value B aveF of the luminance distribution in the histogram F ′ of the autofluorescence filter image is expressed as follows : It is also possible to carry out so as to match the average value B aveR of the luminance distribution in the histogram R ′ of the reference light filter image (see FIG. 8).

参照光原画像がハレーションを起こしている場合には、図８に示すように、最大輝度で正規化をすることが出来ない。一方、平均値を合致させる正規化によれば、参照光原画像がハレーションを起こしている場合にも、自家蛍光フィルタ画像の正規化が可能である。   When the reference light original image causes halation, normalization cannot be performed with the maximum luminance as shown in FIG. On the other hand, according to the normalization that matches the average value, it is possible to normalize the auto-fluorescent filter image even when the reference light original image is halated.

なお、本実施形態において、参照光フィルタ画像データに着色処理が行われるが、参照光原画像データに着色処理が行われる構成であってもよい。   In the present embodiment, the coloring process is performed on the reference light filter image data. However, the coloring process may be performed on the reference light original image data.

また、本実施形態において、第１、第２着色領域をそれぞれ別の単一の色で着色する構成であるが、第１、第２の色の色相を強調する構成であってもよい。第１、第２の色の色相を強調する構成であれば、第１、第２着色領域における写像が表示されるので、病変部推測領域の写像を確認するための画像の切替えが不要となる。   In the present embodiment, the first and second coloring regions are colored with different single colors. However, the first and second colors may be emphasized in hue. With the configuration that emphasizes the hues of the first and second colors, the mapping in the first and second colored areas is displayed, so that it is not necessary to switch the image to confirm the mapping of the lesion estimated area. .

また、本実施形態を適用した画像処理装置は、参照用光源と励起用光源を備える汎用の画像処理装置に擬似カラー画像作成のプログラムを読込ませて構成することも可能である。   Further, the image processing apparatus to which the present embodiment is applied can be configured by causing a general-purpose image processing apparatus including a reference light source and an excitation light source to read a pseudo color image creation program.

本発明の一実施形態を適用した画像処理装置を有する内視鏡システムの内部構成を概略的に示すブロック図である。1 is a block diagram schematically showing an internal configuration of an endoscope system having an image processing apparatus to which an embodiment of the present invention is applied. FIG. シャッタの平面図である。It is a top view of a shutter. 参照光フィルタ画像、及び自家蛍光フィルタ画像の輝度分布を示すヒストグラムである。It is a histogram which shows the luminance distribution of a reference light filter image and an autofluorescence filter image. モニタに擬似カラー画像が表示された状態を示す図である。It is a figure which shows the state by which the pseudo color image was displayed on the monitor. モニタに擬似カラー画像と参照光画像とが表示された状態を示す図である。It is a figure which shows the state by which the pseudo color image and the reference light image were displayed on the monitor. モニタに擬似カラー画像、参照光画像、及び自家蛍光画像が表示された状態を示す図である。It is a figure which shows the state by which the pseudo color image, the reference light image, and the autofluorescence image were displayed on the monitor. 画像処理装置による画像処理の動作を説明するためのフローチャートである。5 is a flowchart for explaining an image processing operation by the image processing apparatus. 参照光フィルタ画像、及び自家蛍光フィルタ画像の輝度分布を示す別のヒストグラムである。It is another histogram which shows the luminance distribution of a reference light filter image and an autofluorescence filter image.

符号の説明Explanation of symbols

１０ 内視鏡システム
２０ 内視鏡プロセッサ
２１ 光源システム
２２ 参照用光源
２３ 励起用光源
２５ 参照用光源電源回路
２６ 励起用光源制御回路
２７ シャッタ
３２ シャッタ駆動回路
３４ 画像処理システム
３５a、３５b 第１、第２信号処理回路
３６ フィルタ処理回路
３７ ヒストグラム演算回路
３８ 擬似カラー演算回路
３９a、３９b 第１、第２メモリ
４０ タイミングコントローラ
４１ 撮像素子駆動回路
５０ 内視鏡
５１ ライトガイド
５１a 入射端
５１b 出射端
５３ 撮像素子
６０ モニタ
ＡC 注意領域
ＡS 病変部推測領域
ＰC 擬似カラー画像
ＰR 参照光画像
ＰF 自家蛍光画像


10 endoscopic system 20 endoscope processor 21 light source system 22 the reference light source 23 for excitation light source 25 for reference light source power supply circuit 26 for excitation light source control circuit 27 a shutter 32 shutter driving circuit 34 the image processing system 35 a, 35 b first , Second signal processing circuit 36 filter processing circuit 37 histogram calculation circuit 38 pseudo color calculation circuit 39 a , 39 b first and second memory 40 timing controller 41 image sensor driving circuit 50 endoscope 51 light guide 51 a incident end 51 b exit end 53 imaging device 60 monitors A C Note area A S lesion guess region P C pseudocolor image P R reference light image P F autofluorescence image


Claims (11)

参照光、或いは生体組織に照射すると蛍光を発光させる励起光が照射される被写体を撮像することにより生成される原画像信号を取得する画像信号取得手段と、
前記原画像信号からノイズ成分を除去してフィルタ画像データを生成するフィルタ手段と、
前記参照光を照射する時に生成される参照光フィルタ画像データと、前記励起光を照射する時に生成される自家蛍光フィルタ画像データとに基づいて、擬似カラー画像データを作成する画像処理手段とを備える
ことを特徴とする画像処理装置。 Image signal acquisition means for acquiring an original image signal generated by imaging a subject irradiated with reference light or excitation light that emits fluorescence when irradiated on a biological tissue;
Filter means for removing filtered noise data from the original image signal to generate filter image data;
Image processing means for creating pseudo color image data based on reference light filter image data generated when the reference light is irradiated and autofluorescence filter image data generated when the excitation light is irradiated An image processing apparatus. 前記被写体を照射する光を、前記参照光と前記励起光のいずれかに切替える切替え手段と、
前記被写体を照射する光が前記参照光に切替えられている間に生成される原画像信号を参照光原画像信号として、前記被写体へ照射する光が前記励起光に切替えられている間に生成される原画像信号を自家蛍光原画像信号として認識する認識手段とを備える
ことを特徴とする請求項１に記載の画像処理装置。 Switching means for switching light irradiating the subject to either the reference light or the excitation light;
An original image signal generated while the light illuminating the subject is switched to the reference light is used as a reference light original image signal, and the light irradiating the subject is generated while the excitation light is switched to the excitation light. The image processing apparatus according to claim 1, further comprising: a recognition unit that recognizes an original image signal as an autofluorescence original image signal. 前記参照光フィルタ画像データと、前記自家蛍光フィルタ画像データに基づいて第１着色領域が検出され、
前記擬似カラー画像データは、前記参照光を照射する時に生成される参照光原画像信号に対応する参照光原画像における、前記第１着色領域の第１色相を強調する画像処理を前記参照光原画像信号に対して行うことにより作成される
ことを特徴とする請求項１に記載の画像処理装置。 A first colored region is detected based on the reference light filter image data and the autofluorescence filter image data,
The pseudo color image data is obtained by performing image processing for emphasizing a first hue of the first colored region in a reference light original image corresponding to a reference light original image signal generated when the reference light is irradiated. The image processing apparatus according to claim 1, wherein the image processing apparatus is created by performing the process on an image signal. 前記参照光フィルタ画像データに相当する参照光フィルタ画像を基準として、前記自家蛍光フィルタ画像データに相当する自家蛍光フィルタ画像の輝度を正規化し、
前記参照光フィルタ画像を構成する画素の輝度に対する、正規化された前記自家蛍光フィルタ画像を構成する画素の輝度の比である輝度比が、予め定められる第１閾値を下回る画素を第１着色領域として検出する
ことを特徴とする請求項３に記載の画像処理装置。 Based on the reference light filter image corresponding to the reference light filter image data, the brightness of the auto fluorescent filter image corresponding to the auto fluorescent filter image data is normalized,
Pixels whose luminance ratio, which is the ratio of the luminance of the pixels constituting the normalized auto-fluorescent filter image to the luminance of the pixels constituting the reference light filter image, is lower than a predetermined first threshold value The image processing apparatus according to claim 3, wherein: 前記正規化は、
前記自家蛍光フィルタ画像を構成する画素の輝度における最大輝度に対する、前記参照光フィルタ画像を構成する画素の輝度における最大輝度の比である最大輝度比を求め、
前記自家蛍光フィルタ画像を構成する各画素の輝度に前記最大輝度比を乗じることにより行われる
ことを特徴とする請求項４に記載の画像処理装置。 The normalization is
Obtaining a maximum luminance ratio which is a ratio of the maximum luminance in the luminance of the pixels constituting the reference light filter image to the maximum luminance in the luminance of the pixels constituting the autofluorescent filter image;
The image processing apparatus according to claim 4, wherein the image processing apparatus is performed by multiplying the luminance of each pixel constituting the autofluorescent filter image by the maximum luminance ratio. 前記フィルタ画像データに相当するフィルタ画像を構成する画素の輝度についての度数分布を作成する分布作成手段を備え、
前記正規化は、
前記自家蛍光フィルタ画像データに相当する自家蛍光フィルタ画像を構成する画素の輝度の度数分布における平均輝度に対する、前記参照光フィルタ画像データに相当する参照光フィルタ画像を構成する画素の輝度の度数分布における平均輝度の比である平均輝度比を求め、
前記自家蛍光フィルタ画像を構成する各画素の輝度に前記平均輝度比を乗じることにより行われる
ことを特徴とする請求項４に記載の画像処理装置。 A distribution creating means for creating a frequency distribution for the luminance of the pixels constituting the filter image corresponding to the filter image data;
The normalization is
In the frequency distribution of the brightness of the pixels constituting the reference light filter image corresponding to the reference light filter image data, the average brightness in the brightness distribution of the pixels constituting the auto fluorescence filter image corresponding to the auto fluorescence filter image data Find the average brightness ratio, which is the ratio of the average brightness,
The image processing apparatus according to claim 4, wherein the image processing apparatus is performed by multiplying the luminance of each pixel constituting the self-fluorescent filter image by the average luminance ratio. 前記画像処理手段が、
前記輝度比が予め定められる第２閾値を下回る前記蛍光フィルタ画像の画素を第２着色領域として検出し、
前記参照光原画像における、前記第２着色領域の第２色相を強調する画像処理を前記参照光原画像信号に対して行う
ことを特徴とする請求項４に記載の画像処理装置。 The image processing means
Detecting the pixel of the fluorescent filter image whose luminance ratio is lower than a predetermined second threshold as a second colored region;
The image processing apparatus according to claim 4, wherein image processing for emphasizing a second hue of the second colored region in the reference light original image is performed on the reference light original image signal. 前記フィルタ手段が、メディアンフィルタ、移動平均フィルタ、及び時間軸平均フィルタのいずれかであることを特徴とする請求項１に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the filter unit is any one of a median filter, a moving average filter, and a time axis average filter. 前記擬似カラー画像データに対応する擬似カラー画像を表示するモニタに、前記参照光原画像信号に対応する参照光画像、及び前記自家蛍光原画像信号に対応する自家蛍光画像のいずれか一方、或いは両方を前記擬似カラー画像とともに表示することを特徴とする請求項１に記載の画像処理装置。   One or both of a reference light image corresponding to the reference light original image signal and an autofluorescence image corresponding to the autofluorescence original image signal on a monitor that displays a pseudo color image corresponding to the pseudo color image data The image processing apparatus according to claim 1, wherein the image processing apparatus is displayed together with the pseudo color image. 参照光、或いは生体組織に照射すると蛍光を発光させる励起光が照射される被写体を撮像することにより生成される原画像信号を取得する画像信号取得手段と、
前記原画像信号からノイズ成分を除去してフィルタ画像データを生成するフィルタ手段と、
前記参照光を照射する時に生成される参照光フィルタ画像データと、前記励起光を照射する時に生成される自家蛍光フィルタ画像データとに基づいて、擬似カラー画像データを作成する画像処理手段としてコンピュータを機能させる
ことを特徴とする画像処理プログラム。 Image signal acquisition means for acquiring an original image signal generated by imaging a subject irradiated with reference light or excitation light that emits fluorescence when irradiated on a biological tissue;
Filter means for removing filtered noise data from the original image signal to generate filter image data;
A computer as image processing means for creating pseudo color image data based on reference light filter image data generated when the reference light is irradiated and autofluorescence filter image data generated when the excitation light is irradiated An image processing program characterized by functioning. 参照光、或いは生体組織に照射すると蛍光を発光させる励起光が照射される被写体を撮像する撮像素子を有する電子内視鏡と、
前記撮像素子が生成する原画像信号からノイズ成分を除去してフィルタ画像データを生成するフィルタと、
前記参照光を照射する時に生成される参照光フィルタ画像データと、前記励起光を照射する時に生成される自家蛍光フィルタ画像データとに基づいて、擬似カラー画像データを作成する画像処理手段と、
前記擬似カラー画像データに対応する擬似カラー画像を表示するモニタとを備える
ことを特徴とする電子内視鏡システム。

An electronic endoscope having an imaging element for imaging a subject irradiated with reference light or excitation light that emits fluorescence when irradiated on a biological tissue;
A filter that removes noise components from the original image signal generated by the image sensor and generates filter image data;
Image processing means for creating pseudo color image data based on reference light filter image data generated when irradiating the reference light and autofluorescence filter image data generated when irradiating the excitation light;
An electronic endoscope system comprising: a monitor that displays a pseudo color image corresponding to the pseudo color image data.

JP2005006389A 2005-01-13 2005-01-13 Image processing device Active JP4864325B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005006389A JP4864325B2 (en) 2005-01-13 2005-01-13 Image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005006389A JP4864325B2 (en) 2005-01-13 2005-01-13 Image processing device

Publications (2)

Publication Number Publication Date
JP2006192065A true JP2006192065A (en) 2006-07-27
JP4864325B2 JP4864325B2 (en) 2012-02-01

Family

ID=36798587

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005006389A Active JP4864325B2 (en) 2005-01-13 2005-01-13 Image processing device

Country Status (1)

Country Link
JP (1) JP4864325B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008086605A (en) * 2006-10-03 2008-04-17 Pentax Corp Endoscope processor, self-fluorescence image display program, and endoscope system
JP2009279150A (en) * 2008-05-21 2009-12-03 Hoya Corp Endoscope processor and endoscope system
WO2010122884A1 (en) * 2009-04-21 2010-10-28 オリンパスメディカルシステムズ株式会社 Fluorescence image device and fluorescence image acquiring method
WO2011080996A1 (en) * 2009-12-28 2011-07-07 オリンパス株式会社 Image processing device, electronic apparatus, program, and image processing method
EP2465431A1 (en) * 2010-12-15 2012-06-20 Fujifilm Corporation Endoscope system, processor of endoscope system, and image producing method
CN103140161A (en) * 2011-06-14 2013-06-05 奥林巴斯医疗株式会社 Medical device
WO2014084134A1 (en) * 2012-11-30 2014-06-05 オリンパス株式会社 Observation device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10225436A (en) * 1997-02-13 1998-08-25 Fuji Photo Film Co Ltd Fluorescence detector
JP2001314366A (en) * 2000-05-08 2001-11-13 Fuji Photo Film Co Ltd Method and apparatus for displaying fluorescent image
JP2002102147A (en) * 2000-09-29 2002-04-09 Fuji Photo Film Co Ltd Fluorescent image acquisition device
JP2002336187A (en) * 2001-05-18 2002-11-26 Fuji Photo Film Co Ltd Method and apparatus for forming normalized fluorescent image
JP2003290130A (en) * 2002-04-05 2003-10-14 Pentax Corp Diagnostic system using self-fluorescence
JP2004024497A (en) * 2002-06-25 2004-01-29 Fuji Photo Film Co Ltd Fluorescent diagnostic image forming apparatus
JP2004215738A (en) * 2003-01-10 2004-08-05 Pentax Corp Image processor

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10225436A (en) * 1997-02-13 1998-08-25 Fuji Photo Film Co Ltd Fluorescence detector
JP2001314366A (en) * 2000-05-08 2001-11-13 Fuji Photo Film Co Ltd Method and apparatus for displaying fluorescent image
JP2002102147A (en) * 2000-09-29 2002-04-09 Fuji Photo Film Co Ltd Fluorescent image acquisition device
JP2002336187A (en) * 2001-05-18 2002-11-26 Fuji Photo Film Co Ltd Method and apparatus for forming normalized fluorescent image
JP2003290130A (en) * 2002-04-05 2003-10-14 Pentax Corp Diagnostic system using self-fluorescence
JP2004024497A (en) * 2002-06-25 2004-01-29 Fuji Photo Film Co Ltd Fluorescent diagnostic image forming apparatus
JP2004215738A (en) * 2003-01-10 2004-08-05 Pentax Corp Image processor

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008086605A (en) * 2006-10-03 2008-04-17 Pentax Corp Endoscope processor, self-fluorescence image display program, and endoscope system
JP2009279150A (en) * 2008-05-21 2009-12-03 Hoya Corp Endoscope processor and endoscope system
WO2010122884A1 (en) * 2009-04-21 2010-10-28 オリンパスメディカルシステムズ株式会社 Fluorescence image device and fluorescence image acquiring method
JP4689767B2 (en) * 2009-04-21 2011-05-25 オリンパスメディカルシステムズ株式会社 Fluorescence imaging apparatus and method of operating fluorescence imaging apparatus
US8107158B2 (en) 2009-04-21 2012-01-31 Olympus Medical Systems Corp. Fluorescent imaging device and fluorescent image acquiring method
US8913111B2 (en) 2009-12-28 2014-12-16 Olympus Corporation Image processing device, electronic apparatus, information storage device, and image processing method
WO2011080996A1 (en) * 2009-12-28 2011-07-07 オリンパス株式会社 Image processing device, electronic apparatus, program, and image processing method
CN102695446B (en) * 2009-12-28 2015-07-08 奥林巴斯株式会社 Image processing device, electronic apparatus, program, and image processing method
CN102695446A (en) * 2009-12-28 2012-09-26 奥林巴斯株式会社 Image processing device, electronic apparatus, program, and image processing method
EP2891450A1 (en) * 2010-12-15 2015-07-08 Fujifilm Corporation Endoscope system, processor of endoscope system, and image producing method
EP2465431A1 (en) * 2010-12-15 2012-06-20 Fujifilm Corporation Endoscope system, processor of endoscope system, and image producing method
US9706953B2 (en) 2010-12-15 2017-07-18 Fujifilm Corporation Endoscope system, processor of endoscope system, and image producing method
CN103140161B (en) * 2011-06-14 2015-06-17 奥林巴斯医疗株式会社 Medical device
CN103140161A (en) * 2011-06-14 2013-06-05 奥林巴斯医疗株式会社 Medical device
WO2014084134A1 (en) * 2012-11-30 2014-06-05 オリンパス株式会社 Observation device
EP2926713A4 (en) * 2012-11-30 2016-07-20 Olympus Corp Observation device
JPWO2014084134A1 (en) * 2012-11-30 2017-01-05 オリンパス株式会社 Observation device

Also Published As

Publication number Publication date
JP4864325B2 (en) 2012-02-01

Similar Documents

Publication Publication Date Title
JP4566754B2 (en) Image processing device
US9906739B2 (en) Image pickup device and image pickup method
JP4895750B2 (en) Endoscope processor, autofluorescence image display program, and endoscope system
JP5244455B2 (en) Endoscope processor and endoscope system
JP5502812B2 (en) Biological information acquisition system and method of operating biological information acquisition system
EP2581030B1 (en) Endoscope apparatus
US9392942B2 (en) Fluoroscopy apparatus and fluoroscopy system
JP4864325B2 (en) Image processing device
JP6581984B2 (en) Endoscope system
JP7009636B2 (en) Endoscope system
JP2009201940A (en) Endoscopic light source system, endoscopic light source equipment, endoscopic processor, and endoscopic unit
JP2007075198A (en) Electronic endoscope system
JP6169310B1 (en) Endoscope system
US11051683B2 (en) Control device for imaging system, imaging system, and method for controlling imaging system
US9332897B2 (en) Fluorescence-imaging apparatus
JPWO2018211885A1 (en) Image acquisition system, control device, and image acquisition method
JP4814529B2 (en) Image processing device
WO2017073286A1 (en) Control device for endoscope system, endoscope system, and endoscope system control method
JP2006192058A (en) Image processor
JP2007215927A (en) Endoscope processor, pseudo color image generation program, and fluorescent endoscope system
JP4694311B2 (en) Endoscope processor, image switching program, and fluorescence endoscope system
CN112689469A (en) Endoscope device, endoscope processor, and method for operating endoscope device
JP4575208B2 (en) Electronic endoscope device
JP2002345739A (en) Image display device
WO2021205624A1 (en) Image processing device, image processing method, navigation method and endoscope system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071212

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080501

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110816

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20110816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111011

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111109

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141118

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4864325

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250