JP2010213745A - Endoscopic image processing device and method and program - Google Patents

Endoscopic image processing device and method and program Download PDF

Info

Publication number
JP2010213745A
JP2010213745A JP2009060562A JP2009060562A JP2010213745A JP 2010213745 A JP2010213745 A JP 2010213745A JP 2009060562 A JP2009060562 A JP 2009060562A JP 2009060562 A JP2009060562 A JP 2009060562A JP 2010213745 A JP2010213745 A JP 2010213745A
Authority
JP
Japan
Prior art keywords
color
parameter
image
parameter set
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2009060562A
Other languages
Japanese (ja)
Inventor
Shinji Takeuchi
信次 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2009060562A priority Critical patent/JP2010213745A/en
Publication of JP2010213745A publication Critical patent/JP2010213745A/en
Abandoned legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To generate a spectral estimated image representing the spectral reflectance of an actual object with good accuracy. <P>SOLUTION: A parameter database DB storing parameter sets differing with color is provided. Chromaticity coordinates (x, y) are discriminated as color based on the color of image data (a pixel or a predetermined region) of an endoscopic image P. After that, one of the parameter sets MPS1-MPS6 to be used in matrix operation is selected based on the discriminated chromaticity coordinates (x, y). A spectral estimated image SP is generated using the selected parameter set SMPS. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、内視鏡を用いて取得された内視鏡画像をマトリクス演算することにより分光推定画像を生成する内視鏡画像処理装置および方法ならびにプログラムに関するものである。   The present invention relates to an endoscopic image processing apparatus, method, and program for generating a spectral estimated image by performing matrix calculation on an endoscopic image acquired using an endoscope.

近年、固体撮像素子を用いた電子内視鏡装置では、消化器官(胃粘膜等)における分光反射率に基づき、狭帯域バンドパスフィルタを組み合わせた分光イメージング、すなわち狭帯域フィルタ内蔵電子内視鏡装置(Narrow Band Imaging-NBl)が注目されている。この装置は、面順次式のR(赤),G(緑),B(青)の回転フィルタの代わりに、3つの狭(波長)帯域のバンドパスフィルタを設け、これら狭帯域バンドパスフィルタを介して照明光を順次出力し、これらの照明光で得られた3つの信号に対しそれぞれの重み付けを変えながらR,G,B(RGB)信号の場合と同様の処理を行うことにより、分光画像を形成するものである。このような分光画像によれば、胃、大腸等の消化器において、従来では得られなかった微細構造等が抽出される。   In recent years, in an electronic endoscope apparatus using a solid-state imaging device, based on spectral reflectance in a digestive organ (gastric mucosa, etc.), spectral imaging combined with a narrow-band bandpass filter, that is, an electronic endoscope apparatus with a built-in narrow-band filter (Narrow Band Imaging-NBl) is drawing attention. This device is provided with three narrow (wavelength) band-pass filters instead of the surface sequential R (red), G (green), and B (blue) rotary filters. By sequentially performing the same processing as in the case of the R, G, B (RGB) signals while changing the respective weights for the three signals obtained with these illumination lights, the spectral image is output. Is formed. According to such a spectral image, in the digestive organs such as the stomach and the large intestine, a fine structure or the like that has not been obtained conventionally is extracted.

一方、上記の狭帯域バンドパスフィルタを用いる面順次式のものではなく、白色光で得られた画像信号を基に、演算処理にて分光画像を形成することが提案されている(たとえば特許文献1参照)。これは、RGBのそれぞれのカラー感度特性を数値データ化したものと、特定の狭帯域バンドパスの分光特性を数値データ化したものとの関係をマトリクスデータ(係数セット)として求め、このマトリクスデータとRGB信号との演算により狭帯域バンドパスフィルタを介して得られる分光画像を推定した分光画像信号を得るものである。このような演算によって分光画像を形成する場合は、所望の波長域に対応した複数のフィルタを用意する必要がなく、またこれらの交換配置が不要となるので、装置の大型化が避けられ、低コスト化を図ることができる。上述したマトリクスパラメータは、たとえば400nmから700nmまで5nm間隔で各波長毎に設定されており、表示する分光推定画像の波長に対応したパラメータが選択される。   On the other hand, it has been proposed that a spectral image is formed by arithmetic processing based on an image signal obtained with white light, instead of a frame sequential type using the above-described narrowband bandpass filter (for example, Patent Documents). 1). This is obtained as a matrix data (coefficient set) between the RGB color sensitivity characteristics converted into numerical data and the spectral characteristics of a specific narrowband bandpass converted into numerical data. A spectral image signal obtained by estimating a spectral image obtained through a narrow-band bandpass filter by calculation with an RGB signal is obtained. When a spectral image is formed by such an operation, it is not necessary to prepare a plurality of filters corresponding to a desired wavelength region, and replacement arrangement of these is unnecessary, so that the apparatus can be prevented from being enlarged and reduced in size. Cost can be reduced. The matrix parameters described above are set for each wavelength, for example, at intervals of 5 nm from 400 nm to 700 nm, and a parameter corresponding to the wavelength of the spectral estimation image to be displayed is selected.

このマトリクスパラメータは、たとえば分光反射率が既知のカラーチャート(たとえば24色のマクベスチャート)を撮影し取得された画像から算出される。具体的には、カラーチャートの各パッチのマトリクスパラメータを検出し、検出したマトリクスパラメータに対しスプライン補間やラグランジェ補間等の非線形補間を施すことにより、400nmから700nmまで5nm間隔のマトリクスパラメータを生成する。これにより、パラメータ数を増やしながら滑らかな分布のマトリクスパラメータを取得することができる。   This matrix parameter is calculated from, for example, an image obtained by photographing a color chart having a known spectral reflectance (for example, a 24-color Macbeth chart). Specifically, matrix parameters for each patch of the color chart are detected, and nonlinear parameters such as spline interpolation and Lagrangian interpolation are applied to the detected matrix parameters, thereby generating matrix parameters at intervals of 5 nm from 400 nm to 700 nm. . Thereby, it is possible to acquire matrix parameters having a smooth distribution while increasing the number of parameters.

特開2003−93336号公報JP 2003-93336 A

しかし、上述のように非線形補間を施してマトリクスパラメータを作成したとき、被写体の真の分光反射率と演算により得られる分光推定画像との誤差が大きくなる場合がある。つまり、上述したようにたとえば400nmから700nmまでの広範囲な波長域について非線形補間をした際、マトリクスパラメータの値が実際の分光反射率に対しずれている波長域が存在し、特定の波長域の誤差の誤差が大きくなってしまう場合がある。このずれが大きい波長域では上記誤差が大きくなり分光推定画像の精度を劣化させる原因になるという問題がある。   However, when the matrix parameter is created by performing nonlinear interpolation as described above, there may be a case where an error between the true spectral reflectance of the subject and the spectral estimation image obtained by the calculation becomes large. That is, as described above, when nonlinear interpolation is performed for a wide wavelength range from 400 nm to 700 nm, for example, there is a wavelength range in which the matrix parameter value is deviated from the actual spectral reflectance, and an error in a specific wavelength range. The error may become large. There is a problem that in the wavelength range where this deviation is large, the error becomes large, which causes the accuracy of the spectral estimation image to deteriorate.

そこで、本発明は、実際の被写体の分光反射率を精度良く分光推定画像に表すことができる内視鏡画像処理装置および方法ならびにプログラムを提供することを目的とするものである。   Accordingly, an object of the present invention is to provide an endoscope image processing apparatus, method, and program capable of accurately expressing the spectral reflectance of an actual subject in a spectral estimated image.

本発明の内視鏡画像処理装置は、波長毎にマトリクスパラメータが割り当てられたパラメータセットを用いて内視鏡画像に対しマトリクス演算を行うことにより被写体の分光反射率を表した分光推定画像を生成する内視鏡画像処理装置であって、内視鏡画像の画像データの色を判別する色判別手段と、色毎に異なるパラメータセットを複数記憶したパラメータデータベースと、色判別手段により判別された色に対応したパラメータセットをパラメータデータベースから選択するパラメータ選択手段と、パラメータ選択手段により選択されたパラメータセットを用いてマトリクス演算を行うことにより分光推定画像を生成する演算手段とを備えたことを特徴とするものである。   The endoscopic image processing apparatus of the present invention generates a spectral estimation image representing the spectral reflectance of a subject by performing matrix calculation on the endoscopic image using a parameter set to which matrix parameters are assigned for each wavelength. An endoscopic image processing apparatus for determining a color of image data of an endoscopic image, a parameter database storing a plurality of parameter sets different for each color, and a color determined by the color determining means And a parameter selection unit that selects a parameter set corresponding to the parameter database, and a calculation unit that generates a spectral estimation image by performing matrix calculation using the parameter set selected by the parameter selection unit. To do.

本発明の内視鏡画像処理方法は、波長毎にマトリクスパラメータが割り当てられたパラメータセットを用いて内視鏡画像に対しマトリクス演算を行うことにより被写体の分光反射率を表した分光推定画像を生成する内視鏡画像処理方法であって、内視鏡画像の画像データの色を判別し、色毎に異なるパラメータセットを複数記憶したパラメータデータベースの中から、判別した色に対応したパラメータセットを選択し、選択したパラメータセットを用いてマトリクス演算を行うことにより分光推定画像を生成することを特徴とするものである。   The endoscopic image processing method of the present invention generates a spectral estimation image representing the spectral reflectance of a subject by performing a matrix operation on the endoscopic image using a parameter set to which matrix parameters are assigned for each wavelength. An endoscopic image processing method for determining the color of image data of an endoscopic image and selecting a parameter set corresponding to the determined color from a parameter database storing a plurality of parameter sets different for each color The spectral estimation image is generated by performing a matrix operation using the selected parameter set.

本発明の内視鏡画像処理プログラムは、コンピュータに、波長毎にマトリクスパラメータが割り当てられたパラメータセットを用いて内視鏡画像に対しマトリクス演算を行うことにより被写体の分光反射率を表した分光推定画像を生成することを実行させるための内視鏡画像処理プログラムであって、内視鏡画像の画像データの色を判別し、色毎に異なる前記パラメータセットを複数記憶したパラメータデータベースの中から、判別した色に対応したパラメータセットを選択し、選択したパラメータセットを用いてマトリクス演算を行うことにより分光推定画像を生成することを実行させることを特徴とするものである。   The endoscopic image processing program of the present invention is a spectral estimation that represents a spectral reflectance of a subject by performing a matrix operation on an endoscopic image using a parameter set in which matrix parameters are assigned to wavelengths for a computer. An endoscopic image processing program for executing generation of an image, determining a color of image data of an endoscopic image, from a parameter database storing a plurality of parameter sets different for each color, A parameter set corresponding to the discriminated color is selected, and a spectral calculation image is generated by performing matrix calculation using the selected parameter set.

ここで、パラメータデータベースは、色毎に複数のパラメータセットを記憶したものであればよく、たとえば色度図上の色度座標空間の異なる領域毎にパラメータセットを有するものであってもよい。このとき、色判別手段は色度座標を色として判別し、パラメータ選択手段は色判別手段において判別された色度座標に対応するパラメータセットをパラメータデータベースから選択することになる。あるいは、色判別手段はたとえば「赤」、「赤紫」等といった色を判別するものであり、パラメータデータベースは、当該各色に対応したパラメータセットを記憶したものであってもよい。   Here, the parameter database only needs to store a plurality of parameter sets for each color. For example, the parameter database may have a parameter set for each different region of the chromaticity coordinate space on the chromaticity diagram. At this time, the color discriminating unit discriminates the chromaticity coordinate as a color, and the parameter selecting unit selects a parameter set corresponding to the chromaticity coordinate discriminated by the color discriminating unit from the parameter database. Alternatively, the color discriminating means discriminates colors such as “red” and “red purple”, and the parameter database may store parameter sets corresponding to the respective colors.

また、各パラメータセットは、各パラメータセットに対応した色度座標空間上の各領域内の色をカラーパッチとして複数有するカラーチャートを用いてそれぞれ作成されたものであってもよい。   Each parameter set may be created using a color chart having a plurality of colors in each region on the chromaticity coordinate space corresponding to each parameter set as a color patch.

さらに、色判別手段は、内視鏡画像の画像データの色を判別するものであればよく、たとえば内視鏡画像の各画素毎に色を判別するようにしてもよい。このとき、パラメータ選択手段は画素毎にパラメータセットを選択し、分光画像生成手段はパラメータ選択手段により選択されたパラメータセットを用いて画素毎にマトリクス演算を行うことにより分光推定画像を生成する。   Furthermore, the color discriminating unit may be any unit that discriminates the color of the image data of the endoscopic image. For example, the color discriminating unit may discriminate the color for each pixel of the endoscopic image. At this time, the parameter selection unit selects a parameter set for each pixel, and the spectral image generation unit generates a spectral estimation image by performing matrix calculation for each pixel using the parameter set selected by the parameter selection unit.

あるいは、色判別手段が内視鏡画像を所定の領域に分割し、各領域毎に所定の領域内の各画素の色の集計に基づいて色を判別するようにしてもよい。このとき、パラメータ選択手段が所定の領域毎にパラメータセットを選択し、分光画像生成手段はパラメータ選択手段により選択されたパラメータセットを用いて画素毎にマトリクス演算を行うことにより分光推定画像を生成する。なお、所定の領域とは、たとえば関心領域であってもよいし、内視鏡画像を所定の画素(たとえば8×8画素)のブロック領域に区切り、各ブロック領域毎に色を判別するようにしてもよい。さらに、色の判別はたとえば関心領域内の各画素において最も頻度の高い色や色の平均値等の各画素の集計に基づいて関心領域の色を判別する等その手法を問わない。   Alternatively, the color discriminating unit may divide the endoscope image into predetermined regions and discriminate colors for each region based on the sum of the colors of the pixels in the predetermined region. At this time, the parameter selection unit selects a parameter set for each predetermined region, and the spectral image generation unit generates a spectral estimation image by performing matrix calculation for each pixel using the parameter set selected by the parameter selection unit. . The predetermined area may be, for example, a region of interest, or the endoscopic image is divided into block areas of predetermined pixels (for example, 8 × 8 pixels), and the color is determined for each block area. May be. Further, the color can be discriminated by any method, for example, by determining the color of the region of interest based on the summation of each pixel such as the most frequently used color or the average value of the colors in each pixel in the region of interest.

本発明の内視鏡画像処理装置および方法ならびにプログラムによれば、内視鏡画像の画像データの色を判別し、色毎に異なるパラメータセットを複数記憶したパラメータデータベースの中から、判別した色に対応したパラメータセットを選択し、選択したパラメータセットを用いてマトリクス演算を行い分光推定画像を生成することにより、内視鏡画像の画像データの色毎に対し最適なマトリクスパラメータを用いて分光推定画像を生成することができるため、従来の1つのマトリクスパラメータセットを用いて分光推定画像を生成した場合に比べて誤差の発生を防止して被写体の分光反射率を精度良く表した分光推定画像を生成することできる。   According to the endoscopic image processing apparatus, method, and program of the present invention, the color of the image data of the endoscopic image is discriminated, and the discriminated color is selected from the parameter database storing a plurality of different parameter sets for each color. By selecting a corresponding parameter set and performing a matrix operation using the selected parameter set to generate a spectral estimation image, a spectral estimation image using the optimal matrix parameters for each color of the image data of the endoscopic image Compared to the case where a spectral estimation image is generated using a single matrix parameter set, a spectral estimation image that accurately represents the spectral reflectance of the subject can be generated. Can do.

なお、パラメータデータベースが色度図上の色度座標空間の異なる領域毎にパラメータセットを有するものであり、色判別手段が色度図上の色度座標を色として判別するものであり、パラメータ選択手段が色判別手段において判別された色度座標に対応するパラメータセットをパラメータデータベースから選択するものであるとき、正確な色の判別を行い最適なパラメータセットを用いて分光推定画像を生成することができるため、より誤差の発生を防止して精度良く分光推定画像を生成することできる。   The parameter database has a parameter set for each different region of the chromaticity coordinate space on the chromaticity diagram, and the color discrimination means discriminates the chromaticity coordinate on the chromaticity diagram as a color. When the means selects from the parameter database a parameter set corresponding to the chromaticity coordinates determined by the color determination means, accurate color determination can be performed and a spectral estimation image can be generated using the optimum parameter set. Therefore, it is possible to prevent the occurrence of errors and generate a spectral estimation image with high accuracy.

さらに、各パラメータセットが、各パラメータセットに対応した色度座標空間上の各領域内の色をカラーパッチとして複数有するカラーチャートを用いてそれぞれ作成されたものであれば、非線形補間によりマトリクスパラメータの数を増加させたときであっても、補間による誤差の発生を最小限に抑えることができる。   Furthermore, if each parameter set is created by using a color chart having a plurality of colors in each region on the chromaticity coordinate space corresponding to each parameter set as a color patch, the matrix parameter is determined by nonlinear interpolation. Even when the number is increased, the occurrence of errors due to interpolation can be minimized.

色判別手段が内視鏡画像の各画素の画像データから色を判別するものであり、パラメータ選択手段が画素毎にパラメータセットを選択するものであり、分光画像生成手段がパラメータ選択手段により選択されたパラメータセットを用いて画素毎にマトリクス演算を行うことにより分光推定画像を生成するものであれば、各画素の色に最適なパラメータセットを用いて分光推定画像を生成することができるため、より誤差の発生を防止して精度良く分光推定画像を生成することできる。   The color discriminating unit discriminates the color from the image data of each pixel of the endoscopic image, the parameter selecting unit selects a parameter set for each pixel, and the spectral image generating unit is selected by the parameter selecting unit. If a spectral estimation image is generated by performing matrix calculation for each pixel using the parameter set, a spectral estimation image can be generated using a parameter set that is optimal for the color of each pixel. Generation of an error can be prevented and a spectral estimation image can be generated with high accuracy.

また、色判別手段が内視鏡画像を所定の領域に分割し、分割した領域毎に領域内の各画素の色の集計に基づいて色を判別するものであり、パラメータ選択手段が領域毎にパラメータセットを選択するものであり、分光画像生成手段がパラメータ選択手段により選択されたパラメータセットを用いて領域毎にマトリクス演算を行うことにより分光推定画像を生成するものであるとき、各領域について最適なパラメータセットを用いて分光推定画像を生成することができるため、誤差の発生を防止して精度良く効率的に分光推定画像を生成することできる。   Further, the color discriminating means divides the endoscopic image into predetermined areas, and discriminates colors for each divided area based on the sum of colors of each pixel in the area, and the parameter selecting means for each area. When selecting a parameter set, the spectral image generation unit generates a spectral estimation image by performing matrix calculation for each region using the parameter set selected by the parameter selection unit. Since a spectral estimation image can be generated using a simple parameter set, the generation of an error can be prevented and the spectral estimation image can be generated accurately and efficiently.

本発明の内視鏡画像処理装置が適用された内視鏡装置の一例を示すブロック図The block diagram which shows an example of the endoscopic apparatus to which the endoscopic image processing apparatus of this invention was applied. 図1の色判別手段により判別される色度座標の一例を示す表Table showing an example of chromaticity coordinates determined by the color determining means of FIG. 複数のパラメータセットと色度座標空間との関係を示す模式図Schematic diagram showing the relationship between multiple parameter sets and chromaticity coordinate space 図2のパラメータデータベースに記憶されたマトリクスパラメータの一例を示す表Table showing an example of matrix parameters stored in the parameter database of FIG. 本発明の内視鏡画像処理方法の好ましい実施形態を示すフローチャートThe flowchart which shows preferable embodiment of the endoscopic image processing method of this invention.

以下、図面を参照して本発明の実施形態を詳細に説明する。図1は本発明の内視鏡装置の一例を示すブロック図である。内視鏡装置1は、光源ユニット10、スコープ20、内視鏡画像処理装置30を備えている。光源ユニット10は内視鏡による観察を行うために被写体に光を照射するものであって、キセノンランプ等の通常観察を行うために白色光を照射する。光源ユニット10は光ファイバ11および集光レンズ13を介してスコープ20のライトガイド15に光学的に接続されており、光源ユニット10から射出された白色光L1はライトガイド15内に入射され観察窓16から被写体に照射される。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing an example of an endoscope apparatus of the present invention. The endoscope apparatus 1 includes a light source unit 10, a scope 20, and an endoscope image processing apparatus 30. The light source unit 10 irradiates a subject with light for observation by an endoscope, and irradiates white light for normal observation of a xenon lamp or the like. The light source unit 10 is optically connected to the light guide 15 of the scope 20 via the optical fiber 11 and the condenser lens 13, and the white light L1 emitted from the light source unit 10 enters the light guide 15 and enters the observation window. The object is irradiated from 16.

スコープ20は、撮像レンズ21、撮像手段22、CDS/AGC回路23、A/D変換器24、CCD駆動部25、レンズ駆動部26等を有しており、各構成要素はスコープコントローラ27により制御されている。撮像レンズ21はたとえば複数のレンズ群から構成されており、レンズ駆動部26の駆動により撮影倍率が変更する。撮像手段22はたとえばCCDやCMOS等からなり、撮像レンズ21により結像された被写体像を光電変換して画像を取得するものである。この撮像手段22としては、例えば撮像面にMg(マゼンタ),Ye(イエロー),Cy(シアン),G(グリーン)の色フィルタを有する補色型、あるいはRGBの色フィルタを有する原色型が用いられる。なお、撮像手段22の動作はCCD駆動部25により制御されている。撮像手段22が画像(映像)信号を取得したとき、CDS/AGC(相関二重サンプリング/自動利得制御)回路23がサンプリングして増幅し、A/D変換器24がCDS/AGC回路17から出力された内視鏡画像をA/D変換し、内視鏡画像処理装置30に出力される。   The scope 20 includes an imaging lens 21, an imaging means 22, a CDS / AGC circuit 23, an A / D converter 24, a CCD driving unit 25, a lens driving unit 26, and the like, and each component is controlled by a scope controller 27. Has been. The imaging lens 21 is composed of, for example, a plurality of lens groups, and the photographing magnification is changed by driving the lens driving unit 26. The imaging means 22 is composed of, for example, a CCD or a CMOS, and obtains an image by photoelectrically converting the subject image formed by the imaging lens 21. As the imaging means 22, for example, a complementary color type having Mg (magenta), Ye (yellow), Cy (cyan), G (green) color filters or a primary color type having RGB color filters on the imaging surface is used. . Note that the operation of the imaging means 22 is controlled by the CCD drive unit 25. When the image pickup means 22 acquires an image (video) signal, a CDS / AGC (correlated double sampling / automatic gain control) circuit 23 samples and amplifies, and an A / D converter 24 outputs from the CDS / AGC circuit 17. The obtained endoscopic image is A / D converted and output to the endoscopic image processing apparatus 30.

内視鏡画像処理装置30は、スコープ20を用いて取得された内視鏡画像を処理するものであって、たとえばDSP等により構成されている。内視鏡画像処理装置30は、画像取得手段31、前処理手段32、分光画像生成手段33、画像処理手段34、表示制御手段35を備えている。画像取得手段31は、スコープ20の撮像手段22により撮影された内視鏡画像Pを取得するものである。   The endoscopic image processing apparatus 30 processes an endoscopic image acquired using the scope 20, and is configured by, for example, a DSP. The endoscopic image processing apparatus 30 includes an image acquisition unit 31, a preprocessing unit 32, a spectral image generation unit 33, an image processing unit 34, and a display control unit 35. The image acquisition unit 31 acquires an endoscopic image P captured by the imaging unit 22 of the scope 20.

前処理手段32は、画像取得手段31において取得された内視鏡画像Pに対し前処理を施すものであって、たとえば内視鏡画像PがYCC表色系からなっている場合にはRGB表色系に変換し、さらにガンマ変換機能、階調を調整する機能等を有している。   The preprocessing unit 32 performs preprocessing on the endoscopic image P acquired by the image acquisition unit 31. For example, when the endoscopic image P is composed of the YCC color system, an RGB table is used. It converts to a color system, and further has a gamma conversion function, a function of adjusting gradation, and the like.

分光画像生成手段33は、内視鏡画像Pに対しマトリクスパラメータMを用いてマトリクス演算を行うことにより分光推定画像SPを生成するものである。なお、分光画像生成手段33の動作例の詳細については特開2003−93336号公報に記載されている。   The spectral image generating means 33 generates a spectral estimated image SP by performing matrix calculation on the endoscope image P using the matrix parameter M. Note that details of an operation example of the spectral image generation unit 33 are described in JP-A-2003-93336.

具体的には、分光画像生成手段33は、用いて下記式(1)に示すマトリクス演算を行うことにより分光推定画像SPを生成する。

Figure 2010213745


なお、式(1)において、SPr、SPg、SPbは分光推定画像SPの各RGB成分、Pr、Pg、Pbは内視鏡画像Pの各RGB成分、M00〜M22からなる3×3行の行列はマトリクス演算を行うためのマトリクスパラメータMをそれぞれ示している。 Specifically, the spectral image generation means 33 generates a spectral estimation image SP by performing a matrix calculation represented by the following formula (1).
Figure 2010213745


In Equation (1), SPr, SPg, SPb are RGB components of the spectral estimated image SP, Pr, Pg, Pb are RGB components of the endoscopic image P, and 3 × 3 rows comprising M 00 to M 22. These matrixes respectively indicate matrix parameters M for performing matrix operations.

画像処理手段34は内視鏡画像Pおよび分光推定画像SPに対し強調処理等を施すものであり、表示制御手段35は画像処理手段34において画像処理された内視鏡画像Pおよび分光推定画像SPをキャラクタ情報等とともに表示装置3に表示する機能を有している。特に、表示制御手段35は、内視鏡画像Pとして白色光L1が照射されたときの通常観察画像と分光推定画像SPとを表示する機能を有している。   The image processing unit 34 performs enhancement processing or the like on the endoscopic image P and the spectral estimation image SP, and the display control unit 35 performs the endoscopic image P and spectral estimation image SP that have been image-processed by the image processing unit 34. Is displayed on the display device 3 together with character information and the like. In particular, the display control unit 35 has a function of displaying the normal observation image and the spectral estimation image SP when the white light L1 is irradiated as the endoscope image P.

ここで、上述した分光画像生成手段33は、各画素の色毎に異なるマトリクスパラメータMを用いて式(1)のマトリクス演算を行う機能を有している。具体的には、分光画像生成手段33は、色判別手段40、パラメータ選択手段50、演算手段60を備えている。   Here, the above-described spectral image generation unit 33 has a function of performing the matrix calculation of Expression (1) using a matrix parameter M that is different for each color of each pixel. Specifically, the spectral image generation unit 33 includes a color determination unit 40, a parameter selection unit 50, and a calculation unit 60.

色判別手段40は内視鏡画像の色を判別するものであって、たとえば図2に示すように、RGB表色系で表される色は公知の手法により色度座標空間(x、y)のいずれかの座標(x、y)で表すことができ、色判別手段40は各画素のR成分、G成分、B成分の成分信号値に基づいて色度座標(x、y)を判別する。   The color discriminating means 40 discriminates the color of the endoscopic image. For example, as shown in FIG. 2, the color represented by the RGB color system is represented by a chromaticity coordinate space (x, y) by a known method. The color discrimination means 40 discriminates the chromaticity coordinates (x, y) based on the component signal values of the R component, G component, and B component of each pixel. .

なお、色判別手段40が内視鏡画像Pの画素毎に色を判別してパラメータセットを選択する場合について例示するが、内視鏡画像Pを複数の領域に分割し、各領域毎に色を判別するようにしてもよい。たとえば色判別手段40は、内視鏡画像を所定の画素(たとえば8×8画素)のブロック領域に分割し、分割した各ブロック領域毎に色を判別するようにしてもよい。各ブロック領域の色は、ブロック領域内の複数の画素の色の平均値や最も頻度の高い色等を集計に基づいて判別する。これにより、パラメータセットの選択処理の回数減らし高速で精度良く分光推定画像SPを生成することができる。   In addition, although the case where the color discriminating unit 40 discriminates the color for each pixel of the endoscopic image P and selects the parameter set is illustrated, the endoscopic image P is divided into a plurality of regions, and the color is determined for each region. You may make it discriminate | determine. For example, the color determination unit 40 may divide the endoscopic image into block areas of predetermined pixels (for example, 8 × 8 pixels) and determine the color for each of the divided block areas. The color of each block area is determined based on the total of the average value of colors of a plurality of pixels in the block area, the most frequently used color, or the like. Thus, the spectral estimation image SP can be generated with high accuracy at high speed by reducing the number of parameter set selection processes.

パラメータ選択手段50は、パラメータデータベースDBに記憶された複数のパラメータセットMPS1〜MPS6の中から、色判別手段40により判別された色に対応したパラメータセットSMPSを選択するものである。ここで、パラメータデータベースDB内には各色に対応した複数のパラメータセットMPS1〜MPS6が記憶されている。図3は色度座標空間上に複数のパラメータセットMPS1〜MPS6が存在する一例を示す模式図である。図3において、中心点Cはたとえば白色光の色度座標であって点Cから外側に向かうにつれて色の純度が高くなり、最も外側の線がスペクトル光の色度座標(最も色の純度が高い光)を示す。したがって、所定の点Pと点Cとを結んだ直線がスペクトルの色度座標に交わる点は色度座標Pの主波長(もしくは補色主波長)になり、点Cから点Pまでの線分の長さが純度を示す。   The parameter selection unit 50 selects a parameter set SMPS corresponding to the color determined by the color determination unit 40 from among the plurality of parameter sets MPS1 to MPS6 stored in the parameter database DB. Here, a plurality of parameter sets MPS1 to MPS6 corresponding to each color are stored in the parameter database DB. FIG. 3 is a schematic diagram showing an example in which a plurality of parameter sets MPS1 to MPS6 exist on the chromaticity coordinate space. In FIG. 3, the center point C is, for example, the chromaticity coordinate of white light, and the color purity increases toward the outside from the point C, and the outermost line indicates the chromaticity coordinate of the spectrum light (the highest color purity). Light). Therefore, the point where the straight line connecting the predetermined point P and the point C intersects the chromaticity coordinates of the spectrum is the dominant wavelength (or complementary dominant wavelength) of the chromaticity coordinates P, and the line segment from the point C to the point P Length indicates purity.

各パラメータセットMPS1〜MPS6には、たとえば400nmから700nmの波長域を5nm間隔で分けた波長域毎にマトリクスパラメータM=(Mj0,Mj1,Mj2)(i=1〜61、jはマトリクスパラメータMの行であってj=0〜2)が設定されている。図4はパラメータセットの1つであるパラメータセットMPS1の一例を示す表である。なお、図3においては、色度座標空間において6つの領域に分割した場合について例示しているが、2以上の領域に分割したものであればよい。また、MPS3〜MPS6にしめすように、異なる主波長(補色主波長)毎に領域を分割してもよいし、パラメータセットMPS1、MPS2のように同じ主波長であっても異なる純度毎に領域を分割してもよい。 Each parameter set MPS1 to MPS6 includes, for example, matrix parameters M = (M j0 , M j1 , M j2 ) (i = 1 to 61, j is a matrix) for each wavelength range obtained by dividing a wavelength range from 400 nm to 700 nm at 5 nm intervals. In the line of parameter M, j = 0 to 2) is set. FIG. 4 is a table showing an example of the parameter set MPS1, which is one of the parameter sets. Note that FIG. 3 illustrates the case where the image is divided into six regions in the chromaticity coordinate space, but may be divided into two or more regions. Further, as shown in MPS3 to MPS6, the region may be divided for each different main wavelength (complementary color main wavelength), or the region may be divided for each purity even with the same main wavelength as in the parameter sets MPS1 and MPS2. It may be divided.

各パラメータセットMPS1〜MPS6は以下のように作成される。たとえばパラメータセットMPS1の場合、パラメータセットMPS1に対応する色度空間上の色から構成された分光反射率が既知の複数のカラーパッチからなるカラーチャートが用意される。このカラーチャートを撮影し取得した画像からRGBの各信号成分値と各カラーパッチの分光反射率との関係からパラメータセットMPS1が作成される。このとき、5nm間隔のマトリクスパラメータを作成するために、各カラーパッチから検出したマトリクスパラメータに対しスプライン補間等の非線形補間処理が施される。なお、パラメータセットMPS2〜MPS6についても上述した手法により作成される。   Each parameter set MPS1 to MPS6 is created as follows. For example, in the case of the parameter set MPS1, a color chart composed of a plurality of color patches with known spectral reflectances composed of colors on the chromaticity space corresponding to the parameter set MPS1 is prepared. A parameter set MPS1 is created from the relationship between each RGB signal component value and the spectral reflectance of each color patch from an image obtained by photographing this color chart. At this time, in order to create matrix parameters at intervals of 5 nm, nonlinear interpolation processing such as spline interpolation is performed on the matrix parameters detected from each color patch. The parameter sets MPS2 to MPS6 are also created by the method described above.

図1の演算手段60は、パラメータ選択手段50により選択されたパラメータセットSMPSを用いてマトリクス演算を行うことにより分光推定画像SPを生成する。ここで、式(1)における分光推定画像SPのRGBに割り当てる波長は、観察部位に適した波長域の波長セットが用意されており、たとえばマウスやキーボード等の入力手段からいずれの波長セットを用いるかが入力される。具体的には、例えば(λ1,λ2,λ3)=(400,500,600)の標準セットCH1、血管を描出するための(λ1,λ2,λ3)=(470,500,670)もしくは(475,510,685)の血管セットCH2、CH3、特定組織を描出するための(λ1,λ2,λ3)=(440,480,520)もしくは(480,510,580)の組織セットCH5、オキシヘモグロビンとデオキシヘモグロビンとの差を描出するための(λ1,λ2,λ3)=(400,430,475)のヘモグロビンセットCH6、血液とカロテンとの差を描出するための(λ1,λ2,λ3)=(415,450,500)の血液‐カロテンセットCH7、血液と細胞質の差を描出するための(λ1,λ2,λ3)=(420,550,600)の血液‐細胞質セットCH8の8つの波長セットが記憶されている。そして、演算手段60は選択されたパラメータセットSMPSのうち、入力された波長セットに該当するマトリクスパラメータMを用いて上記式(1)に基づき分光推定画像SPを生成する。   The calculation means 60 in FIG. 1 generates a spectral estimation image SP by performing matrix calculation using the parameter set SMPS selected by the parameter selection means 50. Here, as the wavelength to be assigned to the RGB of the spectral estimation image SP in the formula (1), a wavelength set in a wavelength range suitable for the observation site is prepared. For example, any wavelength set is used from an input means such as a mouse or a keyboard. Is entered. Specifically, for example, (λ1, λ2, λ3) = (400, 500, 600) standard set CH1, (λ1, λ2, λ3) = (470, 500, 670) or (475 for rendering blood vessels , 510, 685) and (λ1, λ2, λ3) = (440, 480, 520) or (480, 510, 580) tissue set CH5, oxyhemoglobin for rendering a specific tissue, (Λ1, λ2, λ3) = (400, 430, 475) hemoglobin set CH6 for depicting the difference from deoxyhemoglobin, (λ1, λ2, λ3) = (for depicting the difference between blood and carotene) 415, 450, 500) blood-carotene set CH7, (λ1, λ2, λ3) = (420, 550, 600) blood for depicting the difference between blood and cytoplasm - Eight wavelength set cytoplasmic set CH8 are stored. And the calculating means 60 produces | generates the spectrum estimation image SP based on said Formula (1) using the matrix parameter M applicable to the input wavelength set among the selected parameter sets SMPS.

このように、色毎に異なるパラメータセットMPS1〜MPS6を用意して分光推定画像SPを生成することにより、誤差を最小限に抑え精度良く分光推定画像SPを生成することができる。すなわち、パラメータセットはカラーチャートを用いて作成するため、カラーパッチ以外の波長域についてマトリクスパラメータを作成するためには非線形補間処理が必要になる。この非線形補間処理において、従来のように400〜700nmの波長域を1つのカラーセットで作成したとき、特定の波長域において誤差が大きくなってしまう場合がある。   In this way, by preparing the spectral estimation image SP by preparing different parameter sets MPS1 to MPS6 for each color, the spectral estimation image SP can be generated with high accuracy while minimizing errors. That is, since the parameter set is created using a color chart, nonlinear interpolation processing is required to create matrix parameters for wavelength regions other than the color patch. In this non-linear interpolation processing, when a wavelength range of 400 to 700 nm is created with one color set as in the prior art, an error may increase in a specific wavelength range.

一方、色度座標空間を複数の領域に分割し(図3参照)、各色空間領域毎にカラーチャートを用意し、複数のカラーチャートから複数のパラメータセットMPS1〜MPS6を作成することにより、データ補間処理を行ったとしても誤差を小さくすることができる。結果として、当該マトリクスパラメータを用いて分光推定画像SPと実際の被写体の分光特性と誤差が小さくなり、精度の良い分光推定画像SPを生成することができる。   On the other hand, data interpolation is performed by dividing the chromaticity coordinate space into a plurality of regions (see FIG. 3), preparing a color chart for each color space region, and creating a plurality of parameter sets MPS1 to MPS6 from the plurality of color charts. Even if processing is performed, the error can be reduced. As a result, the spectral estimation image SP and the spectral characteristics and errors of the actual subject are reduced using the matrix parameter, and the spectral estimation image SP with high accuracy can be generated.

図5は本発明の内視鏡画像処理方法の好ましい実施形態を示すフローチャートであり、図1から図5を参照して内視鏡画像処理方法について説明する。まず、スコープ20が体腔内に挿入さたた状態で撮影を行うことにより、内視鏡画像Pが取得され(ステップST1)、前処理手段32により内視鏡画像Pに前処理が施される。その後、色判別手段40において内視鏡画像Pの画像データ(画素もしくは所定の領域)の色に基づいて色度座標(x、y)が色として判別される(ステップST2)。その後、パラメータ選択手段50において、判別した色度座標(x、y)に基づいてマトリクス演算に用いるパラメータセットMPS1〜MPS6のいずれかが選択される(ステップST3)。そして、演算手段60により選択したパラメータセットSMPSを用いて分光推定画像SPが生成される(ステップST4)、表示装置3に表示出力される(ステップST5)。   FIG. 5 is a flowchart showing a preferred embodiment of the endoscopic image processing method of the present invention. The endoscopic image processing method will be described with reference to FIGS. First, by performing imaging while the scope 20 is inserted into the body cavity, an endoscopic image P is obtained (step ST1), and the endoscopic image P is preprocessed by the preprocessing means 32. . Thereafter, the chromaticity coordinates (x, y) are determined as colors based on the color of the image data (pixels or predetermined areas) of the endoscopic image P in the color determining means 40 (step ST2). Thereafter, the parameter selection unit 50 selects one of the parameter sets MPS1 to MPS6 used for matrix calculation based on the determined chromaticity coordinates (x, y) (step ST3). Then, a spectral estimation image SP is generated using the parameter set SMPS selected by the computing means 60 (step ST4), and is displayed and output on the display device 3 (step ST5).

上記実施の形態によれば、内視鏡画像Pの色を判別し、色毎に異なるパラメータセットMPS1〜MPS6を複数記憶したパラメータデータベースDBの中から、判別した色に対応したパラメータセットSMPSを選択し、選択したパラメータセットSMPSを用いてマトリクス演算を行うことにより、色毎に最適なマトリクスパラメータMを用いて分光推定画像SPを生成することができるため、従来の1つのマトリクスパラメータセットを用いて分光推定画像SPを生成した場合に比べて誤差の発生を防止して精度良く分光推定画像SPを生成することできる。   According to the above embodiment, the color of the endoscopic image P is discriminated, and the parameter set SMPS corresponding to the discriminated color is selected from the parameter database DB storing a plurality of parameter sets MPS1 to MPS6 different for each color. Then, by performing matrix calculation using the selected parameter set SMPS, the spectral estimation image SP can be generated using the optimum matrix parameter M for each color, so that one conventional matrix parameter set is used. As compared with the case where the spectral estimation image SP is generated, the generation of errors can be prevented and the spectral estimation image SP can be generated with high accuracy.

また、図3に示すように、パラメータデータベースDBが色度図上の色度座標空間の異なる領域毎のパラメータセットMPS1〜MPS6を記憶したものであり、色判別手段40が色として色度座標(x、y)を判別するものであり、パラメータ選択手段50が色判別手段40において判別された色度座標(x、y)に対応するパラメータセットSMPSをパラメータデータベースDBから選択するものであれば、正確な色の純度および明度に従い最適なパラメータセットを用いて分光推定画像SPを生成することができるため、より誤差の発生を防止して精度良く分光推定画像SPを生成することできる。   Further, as shown in FIG. 3, the parameter database DB stores parameter sets MPS1 to MPS6 for different regions in the chromaticity coordinate space on the chromaticity diagram, and the color determining means 40 uses the chromaticity coordinates ( x, y) and the parameter selection means 50 selects the parameter set SMPS corresponding to the chromaticity coordinates (x, y) determined by the color determination means 40 from the parameter database DB. Since the spectral estimation image SP can be generated using an optimal parameter set in accordance with the accurate color purity and lightness, the spectral estimation image SP can be generated with high accuracy by preventing the occurrence of errors.

さらに、色判別手段40が内視鏡画像Pの各画素毎に色を判別するものであり、パラメータ選択手段50が画素毎にパラメータセットSMPSを選択するものであり、演算手段60がパラメータ選択手段50により選択されたパラメータセットSMPSを用いて画素毎にマトリクス演算を行うことにより分光推定画像SPを生成するものであれば、各画素の色に最適なパラメータセットSMPSを用いて分光推定画像SPを生成することができるため、より誤差の発生を防止して精度良く分光推定画像SPを生成することできる。   Further, the color discriminating means 40 discriminates the color for each pixel of the endoscope image P, the parameter selecting means 50 selects the parameter set SMPS for each pixel, and the computing means 60 is the parameter selecting means. If the spectral estimation image SP is generated by performing matrix calculation for each pixel using the parameter set SMPS selected by 50, the spectral estimation image SP is obtained using the parameter set SMPS optimum for the color of each pixel. Therefore, the spectral estimation image SP can be generated with high accuracy by preventing the occurrence of errors.

また、色判別手段40が内視鏡画像P内の所定の領域BR毎に所定の領域内の各画素の色の集計に基づいて色を判別するものであり、パラメータ選択手段50が所定の領域BR毎にパラメータセットSMPSを選択するものであり、演算手段60がパラメータ選択手段50により選択されたパラメータセットを用いて所定の領域BR毎にマトリクス演算を行うことにより分光推定画像SPを生成するものであるとき、各領域BR毎に最適なパラメータセットSMPSを用いて分光推定画像を生成することができるため、誤差の発生を防止して精度良く効率的に分光推定画像を生成することできる。   In addition, the color determining unit 40 determines a color for each predetermined region BR in the endoscopic image P based on the total of the colors of the pixels in the predetermined region, and the parameter selecting unit 50 determines the predetermined region. A parameter set SMPS is selected for each BR, and the calculation means 60 generates a spectral estimation image SP by performing matrix calculation for each predetermined region BR using the parameter set selected by the parameter selection means 50. In this case, since the spectral estimation image can be generated using the optimum parameter set SMPS for each region BR, it is possible to generate the spectral estimation image with high accuracy and accuracy by preventing the occurrence of errors.

本発明の実施の形態は上記実施形態に限定されない。たとえば、図2においてパラメータデータベースDBには5つのパラメータセットMPS1〜MPS6が記憶されている場合について例示しているが2以上であればよい。特に、体腔内を撮影した内視鏡画像PにおいてはパラメータセットMPS1の色度座標(x、y)になる場合が多いため、当該色度座標上のMPS1の領域をさらに細分化して複数のパラメータセットを設定するようにしてもよい。   The embodiment of the present invention is not limited to the above embodiment. For example, FIG. 2 illustrates the case where five parameter sets MPS1 to MPS6 are stored in the parameter database DB, but two or more may be used. In particular, in an endoscopic image P obtained by imaging the body cavity, there are many cases where the chromaticity coordinates (x, y) of the parameter set MPS1 are obtained. You may make it set a set.

さらに、パラメータデータベースには色度座標空間上において複数のパラメータセットMPS1〜MPS6が記憶された場合について例示しているが、たとえば図2に示す「赤」、「紅色」等の各色毎にパラメータセットを記憶するようにしてもよい。このとき、色判別手段は上記色のいずれに該当するかを判別することになる。   Further, the parameter database illustrates a case where a plurality of parameter sets MPS1 to MPS6 are stored in the chromaticity coordinate space. For example, the parameter set for each color such as “red” and “red” shown in FIG. May be stored. At this time, the color discriminating unit discriminates which of the above colors is applicable.

また、領域毎に分割して色を判別する際にブロック領域に分割する場合について例示しているが、体腔内を撮影した内視鏡画像Pにおいては、特定の色度座標(x、y)に偏った色分布になる傾向があるため、マウス等の入力手段からの入力もしくは自動識別された関心領域ROIを抽出し、当該領域ROIの色を上述した手法により判別をしてもよいし、1枚の内視鏡画像全体を1つの領域として上述した手法により色を判別してもよい。この場合であっても、上記領域の色の傾向に合致したパラメータセットMPS1〜MPS6を用いることにより、被写体の分光反射率を精度良く表した分光推定画像SPを生成することができる。   Moreover, although the case where it divides | segments for every area | region and divides | segments into a block area | region when discriminating a color is illustrated, in endoscopic image P which image | photographed the inside of a body cavity, specific chromaticity coordinates (x, y) The region of interest ROI may be extracted from the input means such as a mouse or automatically identified, and the color of the region ROI may be determined by the above-described method. The color may be determined by the above-described method with one entire endoscopic image as one region. Even in this case, by using the parameter sets MPS1 to MPS6 that match the color tendency of the region, it is possible to generate a spectral estimation image SP that accurately represents the spectral reflectance of the subject.

また、図1の内視鏡装置1において内視鏡画像処理装置30の構成がDSP等により構成されている場合について例示しているが、補助記憶装置に読み込まれた内視鏡画像処理プログラムをコンピュータ(たとえばパーソナルコンピュータ等)上で実行することにより実現されるようにしてもよい・この内視鏡画像処理プログラムは、たとえばCD−ROM等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。   1 illustrates the case where the configuration of the endoscopic image processing device 30 is configured by a DSP or the like in the endoscopic device 1 of FIG. 1, but an endoscopic image processing program read into the auxiliary storage device is illustrated. The endoscopic image processing program may be realized by being executed on a computer (for example, a personal computer). The endoscope image processing program is stored in an information storage medium such as a CD-ROM or a network such as the Internet. Will be distributed and installed on the computer.

1 内視鏡装置
20 スコープ
30 内視鏡画像処理装置
31 画像取得手段
32 前処理手段
33 分光画像生成手段
34 画像処理手段
35 表示制御手段
40 色判別手段
50 パラメータ選択手段
60 演算手段
DB パラメータデータベース
M マトリクスパラメータ
MPS1〜MPS6 パラメータセット
P 内視鏡画像
SP 分光推定画像
DESCRIPTION OF SYMBOLS 1 Endoscope apparatus 20 Scope 30 Endoscope image processing apparatus 31 Image acquisition means 32 Preprocessing means 33 Spectral image generation means 34 Image processing means 35 Display control means 40 Color discrimination means 50 Parameter selection means 60 Calculation means DB Parameter database M Matrix parameters MPS1 to MPS6 Parameter set P Endoscopic image SP Spectral estimation image

Claims (7)

波長毎にマトリクスパラメータが割り当てられたパラメータセットを用いて内視鏡画像に対しマトリクス演算を行うことにより被写体の分光反射率を表した分光推定画像を生成する内視鏡画像処理装置であって、
前記内視鏡画像の画像データの色を判別する色判別手段と、
色毎に異なる前記パラメータセットを複数記憶したパラメータデータベースと、
前記色判別手段により判別された色に対応した前記パラメータセットを前記パラメータデータベースから選択するパラメータ選択手段と、
該パラメータ選択手段により選択された前記パラメータセットを用いてマトリクス演算を行うことにより分光推定画像を生成する演算手段と
を備えたことを特徴とする内視鏡画像処理装置。
An endoscope image processing apparatus that generates a spectral estimation image representing a spectral reflectance of a subject by performing a matrix operation on an endoscopic image using a parameter set to which matrix parameters are assigned for each wavelength,
Color discriminating means for discriminating the color of the image data of the endoscopic image;
A parameter database storing a plurality of different parameter sets for each color;
Parameter selection means for selecting the parameter set corresponding to the color determined by the color determination means from the parameter database;
An endoscope image processing apparatus comprising: a calculation unit that generates a spectral estimation image by performing matrix calculation using the parameter set selected by the parameter selection unit.
前記パラメータデータベースが色度図上の色度座標空間の異なる領域毎に前記パラメータセットを有するものであり、
前記色判別手段が前記色度図上の色度座標を前記色として判別するものであり、
前記パラメータ選択手段が前記色判別手段において判別された前記色度座標に対応する前記パラメータセットを前記パラメータデータベースから選択するものであることを特徴とする請求項1記載の内視鏡画像処理装置。
The parameter database has the parameter set for each different region of the chromaticity coordinate space on the chromaticity diagram;
The color discrimination means discriminates the chromaticity coordinates on the chromaticity diagram as the color;
2. The endoscopic image processing apparatus according to claim 1, wherein the parameter selection unit selects the parameter set corresponding to the chromaticity coordinates determined by the color determination unit from the parameter database.
前記各パラメータセットが、該各パラメータセットに対応した前記色度座標空間上の各領域内の色をカラーパッチとして複数有するカラーチャートを用いてそれぞれ作成されたものであることを特徴とする請求項2記載の内視鏡画像処理装置。   The respective parameter sets are each created using a color chart having a plurality of colors in each region on the chromaticity coordinate space corresponding to the respective parameter sets as color patches. The endoscopic image processing apparatus according to 2. 前記色判別手段が前記内視鏡画像の各画素の画像データから色を判別するものであり、前記パラメータ選択手段が前記画素毎に前記パラメータセットを選択するものであり、前記分光画像生成手段が前記パラメータ選択手段により選択された前記パラメータセットを用いて画素毎にマトリクス演算を行うことにより前記分光推定画像を生成することを特徴とする請求項1から3のいずれか1項記載の内視鏡画像処理装置。   The color discriminating unit discriminates a color from image data of each pixel of the endoscopic image, the parameter selecting unit selects the parameter set for each pixel, and the spectral image generating unit The endoscope according to any one of claims 1 to 3, wherein the spectral estimation image is generated by performing a matrix operation for each pixel using the parameter set selected by the parameter selection unit. Image processing device. 前記色判別手段が前記内視鏡画像を所定の領域に分割し、分割した前記領域毎に該領域内の前記各画素の色の集計に基づいて色を判別するものであり、前記パラメータ選択手段が前記領域毎に前記パラメータセットを選択するものであり、前記分光画像生成手段が前記パラメータ選択手段により選択された前記パラメータセットを用いて前記領域毎にマトリクス演算を行うことにより前記分光推定画像を生成することを特徴とする請求項1から3のいずれか1項記載の内視鏡画像処理装置。   The color determining unit divides the endoscopic image into predetermined regions, and determines the color for each of the divided regions based on the total of the colors of the pixels in the region, and the parameter selecting unit Selects the parameter set for each region, and the spectral image generation unit performs the matrix calculation for each region using the parameter set selected by the parameter selection unit, thereby obtaining the spectral estimation image. The endoscope image processing apparatus according to claim 1, wherein the endoscope image processing apparatus generates the endoscope image processing apparatus. 波長毎にマトリクスパラメータが割り当てられたパラメータセットを用いて内視鏡画像に対しマトリクス演算を行うことにより被写体の分光反射率を表した分光推定画像を生成する内視鏡画像処理方法であって、
前記内視鏡画像の画像データの色を判別し、
前記色毎に異なる前記パラメータセットを複数記憶したパラメータデータベースの中から、判別した前記色に対応した前記パラメータセットを選択し、
選択した前記パラメータセットを用いてマトリクス演算を行うことにより分光推定画像を生成する
ことを特徴とする内視鏡画像処理方法。
An endoscopic image processing method for generating a spectral estimation image representing a spectral reflectance of a subject by performing a matrix operation on an endoscopic image using a parameter set to which a matrix parameter is assigned for each wavelength,
Determining the color of the image data of the endoscopic image;
From the parameter database storing a plurality of different parameter sets for each color, select the parameter set corresponding to the determined color,
An endoscopic image processing method characterized in that a spectral estimation image is generated by performing a matrix operation using the selected parameter set.
コンピュータに、波長毎にマトリクスパラメータが割り当てられたパラメータセットを用いて内視鏡画像に対しマトリクス演算を行うことにより被写体の分光反射率を表した分光推定画像を生成することを実行させるための内視鏡画像処理プログラムであって、
前記内視鏡画像の画像データの色を判別し、
前記色毎に異なる前記パラメータセットを複数記憶したパラメータデータベースの中から、判別した前記色に対応した前記パラメータセットを選択し、
選択した前記パラメータセットを用いてマトリクス演算を行うことにより分光推定画像を生成する
ことを実行させるための内視鏡画像処理プログラム。
In order to cause the computer to generate a spectral estimation image representing the spectral reflectance of the subject by performing a matrix operation on the endoscopic image using a parameter set to which matrix parameters are assigned for each wavelength. An endoscopic image processing program,
Determining the color of the image data of the endoscopic image;
From the parameter database storing a plurality of different parameter sets for each color, select the parameter set corresponding to the determined color,
An endoscope image processing program for executing generation of a spectral estimation image by performing matrix calculation using the selected parameter set.
JP2009060562A 2009-03-13 2009-03-13 Endoscopic image processing device and method and program Abandoned JP2010213745A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009060562A JP2010213745A (en) 2009-03-13 2009-03-13 Endoscopic image processing device and method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009060562A JP2010213745A (en) 2009-03-13 2009-03-13 Endoscopic image processing device and method and program

Publications (1)

Publication Number Publication Date
JP2010213745A true JP2010213745A (en) 2010-09-30

Family

ID=42973252

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009060562A Abandoned JP2010213745A (en) 2009-03-13 2009-03-13 Endoscopic image processing device and method and program

Country Status (1)

Country Link
JP (1) JP2010213745A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017168854A1 (en) * 2016-03-28 2017-10-05 日本電気株式会社 Image pickup system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11103471A (en) * 1997-09-25 1999-04-13 Olympus Optical Co Ltd Video signal processor
JP2003093336A (en) * 2001-09-26 2003-04-02 Toshiba Corp Electronic endoscope apparatus
JP2006341075A (en) * 2005-05-11 2006-12-21 Olympus Medical Systems Corp Signal processor for biological observation system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11103471A (en) * 1997-09-25 1999-04-13 Olympus Optical Co Ltd Video signal processor
JP2003093336A (en) * 2001-09-26 2003-04-02 Toshiba Corp Electronic endoscope apparatus
JP2006341075A (en) * 2005-05-11 2006-12-21 Olympus Medical Systems Corp Signal processor for biological observation system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017168854A1 (en) * 2016-03-28 2017-10-05 日本電気株式会社 Image pickup system

Similar Documents

Publication Publication Date Title
JP5271062B2 (en) Endoscope apparatus and method of operating the same
JP4647346B2 (en) Endoscope device
JP5250342B2 (en) Image processing apparatus and program
JP6495539B2 (en) Image processing apparatus, method of operating image processing apparatus, and image processing program
US10039439B2 (en) Endoscope system and method for operating the same
JP6234350B2 (en) Endoscope system, processor device, operation method of endoscope system, and operation method of processor device
JP5887367B2 (en) Processor device, endoscope system, and operation method of endoscope system
JP6420230B2 (en) Endoscope system, processor device, and operation method of endoscope system
JP5892985B2 (en) ENDOSCOPE SYSTEM, PROCESSOR DEVICE, AND OPERATION METHOD
JP6522539B2 (en) Endoscope system and method of operating the same
JP2006061620A (en) Video signal processor for endoscope
JP4717103B2 (en) Signal processing system and signal processing program
EP2505121B1 (en) Endoscope apparatus
US10010245B2 (en) Endoscope system, processor device, and method for operating endoscope system
JP6576895B2 (en) Endoscope system, processor device, and operation method of endoscope system
JP6562554B2 (en) Endoscope system, processor device, and signal processing method for endoscope system
WO2017183339A1 (en) Endoscope system, processor device, and endoscope system operation method
JP2010200883A (en) Device, method, and program for processing endoscopic image
JP2010142547A (en) Apparatus, method and program for processing endoscope image
US20100256449A1 (en) Endoscopic image processing apparatus and method and computer-readable recording medium
JP2010213746A (en) Endoscopic image processing device and method and program
JP6081622B2 (en) ENDOSCOPE SYSTEM, PROCESSOR DEVICE, AND METHOD FOR OPERATING ENDOSCOPE SYSTEM
JP2010213745A (en) Endoscopic image processing device and method and program
JP6153913B2 (en) Endoscope system, processor device, operation method of endoscope system, and operation method of processor device
JP6153912B2 (en) Endoscope system, processor device, operation method of endoscope system, and operation method of processor device

Legal Events

Date Code Title Description
RD15 Notification of revocation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7435

Effective date: 20110215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110708

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130205

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20130304