JP2018011796A - Calibration method - Google Patents
Calibration method Download PDFInfo
- Publication number
- JP2018011796A JP2018011796A JP2016143570A JP2016143570A JP2018011796A JP 2018011796 A JP2018011796 A JP 2018011796A JP 2016143570 A JP2016143570 A JP 2016143570A JP 2016143570 A JP2016143570 A JP 2016143570A JP 2018011796 A JP2018011796 A JP 2018011796A
- Authority
- JP
- Japan
- Prior art keywords
- color
- chart
- calibration
- transmission
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Endoscopes (AREA)
- Closed-Circuit Television Systems (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Description
本発明は、キャリブレーション方法に関する。 The present invention relates to a calibration method.
病変部は、一般に、正常な粘膜組織とは異なる色を呈する。正常組織に対して僅かに色の異なる病変部を術者が把握して診断するためには、少なくとも病変部に対応する色領域において正確な色情報を再現する内視鏡画像をモニタの表示画面に表示させることが可能な構成が必要となる。 The lesion is generally colored differently from normal mucosal tissue. In order for the surgeon to grasp and diagnose a lesion slightly different in color from normal tissue, an endoscopic image that reproduces accurate color information at least in the color region corresponding to the lesion is displayed on the monitor screen. A configuration that can be displayed on the screen is required.
例えば特許文献1に、担持体に担持された基準表面を撮影視野内に配置し、光源から発せられた照射光によって照射する構成が記載されている。特許文献1に記載の構成では、照射光により照射された基準表面を撮像することによって得られる実際のカラー信号と、予め保持された目標のカラー信号との比較結果に基づいてキャリブレーションが行われる。キャリブレーションを行うことにより、適正な色情報を持つ内視鏡画像がモニタの表示画面に表示されるため、術者による、病変部に対するより正確な診断が可能となる。 For example, Patent Document 1 describes a configuration in which a reference surface carried on a carrier is placed in a field of view and irradiated with irradiation light emitted from a light source. In the configuration described in Patent Document 1, calibration is performed based on a comparison result between an actual color signal obtained by imaging a reference surface irradiated with irradiation light and a target color signal held in advance. . By performing the calibration, an endoscopic image having appropriate color information is displayed on the display screen of the monitor, so that the surgeon can more accurately diagnose the lesioned part.
しかし、特許文献1に記載の構成では、基準表面の材料等に制約があることから、病変部によってはキャリブレーションに最適な色情報を基準表面で忠実に再現することが難しいという問題が指摘される。 However, in the configuration described in Patent Document 1, there is a problem that it is difficult to faithfully reproduce the color information optimal for calibration on the reference surface depending on the lesion because there are restrictions on the material and the like of the reference surface. The
本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、キャリブレーションに最適な色情報を忠実に再現した、基準表面等のチャートを用いてキャリブレーションを行うことができるキャリブレーション方法を提供することである。 The present invention has been made in view of the above circumstances, and an object of the present invention is to perform calibration using a chart such as a reference surface that faithfully reproduces color information optimal for calibration. A calibration method is provided.
本発明の一実施形態に係るキャリブレーション方法は、測定箱内にセットされた電子スコープのキャリブレーションを行う方法であり、測定箱内で且つ電子スコープの画角内に透過型チャートをセットするセットステップと、セットされた透過型チャートに対応する色合いを持つ光によって該透過型チャートを照射することにより、該透過型チャートをキャリブレーションの目標となる色に調整する調整ステップと、目標となる色に調整された透過型チャートを電子スコープによって撮像する撮像ステップと、撮像された透過型チャートの画像データに基づいて電子スコープによる撮影画像を構成する各画素の値を補正する補正値を算出する算出ステップと、算出された補正値を記憶する記憶ステップとを含む。 A calibration method according to an embodiment of the present invention is a method for calibrating an electronic scope set in a measurement box, and sets a transmission chart in the measurement box and within the angle of view of the electronic scope. An adjustment step for adjusting the transmissive chart to a calibration target color by irradiating the transmissive chart with light having a hue corresponding to the set transmissive chart, and a target color. An imaging step for imaging the transmission chart adjusted to the above with an electronic scope, and a calculation for calculating a correction value for correcting the value of each pixel constituting the captured image by the electronic scope based on the image data of the captured transmission chart A step and a storing step for storing the calculated correction value.
また、本発明の一実施形態に係るキャリブレーション方法は、複数の色の各々の明るさを独立に調整可能な光源に対して各色の明るさの割合を設定する設定ステップを含むものであってもよい。この場合、設定ステップにて、セットステップにてセットされた透過型チャートに対応する割合が設定される。また、調整ステップにて、設定ステップにて設定された割合で光源の各色を発光させることにより、セットステップにてセットされた透過型チャートに対応する色合いを持つ光によって該透過型チャートが照射される。 The calibration method according to an embodiment of the present invention includes a setting step of setting a ratio of the brightness of each color with respect to a light source capable of independently adjusting the brightness of each of a plurality of colors. Also good. In this case, the ratio corresponding to the transmission chart set in the setting step is set in the setting step. In addition, by causing each color of the light source to emit light at the ratio set in the setting step in the adjustment step, the transmission chart is irradiated with light having a hue corresponding to the transmission chart set in the setting step. The
また、本発明の一実施形態において、設定ステップにて、メモリに予め格納されているデータを用いて各色の明るさの割合を設定してもよい。 In one embodiment of the present invention, the ratio of the brightness of each color may be set using the data stored in advance in the memory in the setting step.
また、本発明の一実施形態において、調整ステップにて、透過型チャートは、例えば、所定の疾患の色に調整される。 In one embodiment of the present invention, the transmission chart is adjusted to, for example, a predetermined disease color in the adjustment step.
また、本発明の一実施形態に係るキャリブレーション方法は、複数の透過型チャートの各々について、セットステップ、照射ステップ及び撮像ステップを実行するものであってもよい。この場合、算出ステップにて、撮像された複数の透過型チャートの画像データに基づいて電子スコープによる撮影画像を構成する各画素の値を補正する補正値が算出される。 The calibration method according to an embodiment of the present invention may execute a set step, an irradiation step, and an imaging step for each of a plurality of transmission charts. In this case, in the calculation step, a correction value for correcting the value of each pixel constituting the captured image by the electronic scope is calculated based on the image data of the plurality of captured transmission charts.
本発明の一実施形態によれば、キャリブレーションに最適な色情報を忠実に再現した、基準表面等のチャートを用いてキャリブレーションを行うことができるキャリブレーション方法が提供される。 According to an embodiment of the present invention, there is provided a calibration method capable of performing calibration using a chart such as a reference surface that faithfully reproduces color information optimal for calibration.
以下、本発明の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として電子内視鏡システムを例に取り説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following, an electronic endoscope system will be described as an example of an embodiment of the present invention.
[電子内視鏡システム1の構成]
図1は、本発明の一実施形態に係る電子内視鏡システム1の構成を示すブロック図である。図1に示されるように、電子内視鏡システム1は、医療用に特化されたシステムであり、電子スコープ100、プロセッサ200及びモニタ300を備えている。
[Configuration of Electronic Endoscope System 1]
FIG. 1 is a block diagram showing a configuration of an electronic endoscope system 1 according to an embodiment of the present invention. As shown in FIG. 1, the electronic endoscope system 1 is a system specialized for medical use, and includes an electronic scope 100, a processor 200, and a monitor 300.
プロセッサ200は、システムコントローラ202及びタイミングコントローラ204を備えている。システムコントローラ202は、メモリ222に記憶された各種プログラムを実行し、電子内視鏡システム1全体を統合的に制御する。また、システムコントローラ202は、操作パネル218に接続されている。システムコントローラ202は、操作パネル218より入力される術者からの指示に応じて、電子内視鏡システム1の各動作及び各動作のためのパラメータを変更する。術者による入力指示には、例えば電子内視鏡システム1の動作モードの切替指示がある。本実施形態では、動作モードとして、通常モード、特殊モード及びキャリブレーションモードがある。タイミングコントローラ204は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム1内の各回路に出力する。 The processor 200 includes a system controller 202 and a timing controller 204. The system controller 202 executes various programs stored in the memory 222 and controls the entire electronic endoscope system 1 in an integrated manner. The system controller 202 is connected to the operation panel 218. The system controller 202 changes each operation of the electronic endoscope system 1 and parameters for each operation in accordance with an instruction from the operator input from the operation panel 218. The input instruction by the operator includes, for example, an instruction to switch the operation mode of the electronic endoscope system 1. In this embodiment, there are a normal mode, a special mode, and a calibration mode as operation modes. The timing controller 204 outputs a clock pulse for adjusting the operation timing of each unit to each circuit in the electronic endoscope system 1.
ランプ208は、ランプ電源イグナイタ206による始動後、白色光Lを射出する。ランプ208は、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプであり、また、LD(Laser Diode)やLED(Light Emitting Diode)等の半導体発光素子であってもよい。ランプ208より射出された白色光Lは、集光レンズ210によって集光されつつ絞り212を介して適正な光量に制限される。 The lamp 208 emits white light L after being started by the lamp power igniter 206. The lamp 208 is, for example, a high-intensity lamp such as a xenon lamp, a halogen lamp, a mercury lamp, or a metal halide lamp, and may be a semiconductor light emitting element such as an LD (Laser Diode) or an LED (Light Emitting Diode). The white light L emitted from the lamp 208 is limited to an appropriate amount of light through the diaphragm 212 while being collected by the condenser lens 210.
絞り212には、図示省略されたアームやギヤ等の伝達機構を介してモータ214が機械的に連結している。モータ214は例えばDCモータであり、ドライバ216のドライブ制御下で駆動する。絞り212は、モニタ300の表示画面に表示される映像を適正な明るさにするため、モータ214により動作され開度が変えられる。ランプ208より照射された白色光Lの光量は、絞り212の開度に応じて制限される。適正とされる映像の明るさの基準は、術者による操作パネル218の輝度調節操作に応じて設定変更される。なお、ドライバ216を制御して輝度調整を行う調光回路は周知の回路であり、本明細書においては省略することとする。 A motor 214 is mechanically connected to the diaphragm 212 via a transmission mechanism such as an arm or a gear (not shown). The motor 214 is a DC motor, for example, and is driven under the drive control of the driver 216. The aperture 212 is operated by the motor 214 to change the opening degree so that the image displayed on the display screen of the monitor 300 has an appropriate brightness. The amount of white light L emitted from the lamp 208 is limited according to the opening degree of the diaphragm 212. The appropriate reference for the brightness of the image is changed according to the brightness adjustment operation of the operation panel 218 by the operator. Note that the dimming circuit that controls the brightness by controlling the driver 216 is a well-known circuit and is omitted in this specification.
絞り212を通過した白色光Lは、LCB(Light Carrying Bundle)102の入射端面に集光されてLCB102内に入射される。入射端面よりLCB102内に入射された白色光Lは、LCB102内を伝播する。 The white light L that has passed through the diaphragm 212 is condensed on an incident end face of an LCB (Light Carrying Bundle) 102 and is incident on the LCB 102. White light L incident on the LCB 102 from the incident end face propagates in the LCB 102.
LCB102内を伝播した白色光Lは、電子スコープ100の先端に配置されたLCB102の射出端面より射出され、配光レンズ104を介して生体組織を照射する。白色光Lにより照射された生体組織からの戻り光は、対物レンズ106を介して固体撮像素子108の受光面上で光学像を結ぶ。 The white light L that has propagated through the LCB 102 is emitted from the emission end face of the LCB 102 disposed at the tip of the electronic scope 100 and irradiates the living tissue via the light distribution lens 104. The return light from the living tissue irradiated with the white light L forms an optical image on the light receiving surface of the solid-state image sensor 108 via the objective lens 106.
固体撮像素子108は、補色市松フィルタを搭載した単板式カラーCCD(Charge Coupled Device)イメージセンサである。固体撮像素子108は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、イエローYe、シアンCy、グリーンG、マゼンタMgの画素データを生成して出力する。なお、固体撮像素子108は、CCDイメージセンサに限らず、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子108はまた、原色系フィルタ(ベイヤ配列フィルタ)を搭載したものであってもよい。 The solid-state image sensor 108 is a single-plate color CCD (Charge Coupled Device) image sensor equipped with a complementary color checkered filter. The solid-state image sensor 108 accumulates an optical image formed by each pixel on the light receiving surface as a charge corresponding to the amount of light, and generates and outputs pixel data of yellow Ye, cyan Cy, green G, and magenta Mg. The solid-state imaging element 108 is not limited to a CCD image sensor, and may be replaced with a CMOS (Complementary Metal Oxide Semiconductor) image sensor or other types of imaging devices. The solid-state image sensor 108 may also be one equipped with a primary color filter (Bayer array filter).
電子スコープ100の接続部内には、ドライバ信号処理回路112が備えられている。ドライバ信号処理回路112には、白色光Lにより照射された生体組織を撮像した各画素の画素データが固体撮像素子108よりフレーム周期で入力される。ドライバ信号処理回路112は、固体撮像素子108より入力される画素データをプロセッサ200の信号処理回路220に出力する。なお、以降の説明において「フレーム」は「フィールド」に置き替えてもよい。本実施形態において、フレーム周期、フィールド周期はそれぞれ、1/30秒、1/60秒である。 A driver signal processing circuit 112 is provided in the connection portion of the electronic scope 100. The driver signal processing circuit 112 receives pixel data of each pixel obtained by imaging the living tissue irradiated with the white light L from the solid-state imaging device 108 in a frame cycle. The driver signal processing circuit 112 outputs pixel data input from the solid-state image sensor 108 to the signal processing circuit 220 of the processor 200. In the following description, “frame” may be replaced with “field”. In the present embodiment, the frame period and the field period are 1/30 seconds and 1/60 seconds, respectively.
ドライバ信号処理回路112はまた、メモリ114にアクセスして電子スコープ100の固有情報を読み出す。メモリ114に記録される電子スコープ100の固有情報には、例えば、固体撮像素子108の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路112は、メモリ114より読み出された固有情報をシステムコントローラ202に出力する。 The driver signal processing circuit 112 also accesses the memory 114 to read out the unique information of the electronic scope 100. The unique information of the electronic scope 100 recorded in the memory 114 includes, for example, the number and sensitivity of the solid-state image sensor 108, the operable frame rate, the model number, and the like. The driver signal processing circuit 112 outputs the unique information read from the memory 114 to the system controller 202.
システムコントローラ202は、電子スコープ100の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ202は、生成された制御信号を用いて、プロセッサ200に接続されている電子スコープに適した処理がなされるようにプロセッサ200内の各種回路の動作やタイミングを制御する。 The system controller 202 performs various calculations based on the unique information of the electronic scope 100 and generates a control signal. The system controller 202 controls the operation and timing of various circuits in the processor 200 using the generated control signal so that processing suitable for the electronic scope connected to the processor 200 is performed.
タイミングコントローラ204は、システムコントローラ202によるタイミング制御に従って、ドライバ信号処理回路112にクロックパルスを供給する。ドライバ信号処理回路112は、タイミングコントローラ204から供給されるクロックパルスに従って、固体撮像素子108をプロセッサ200側で処理される映像のフレームレートに同期したタイミングで駆動制御する。 The timing controller 204 supplies clock pulses to the driver signal processing circuit 112 in accordance with timing control by the system controller 202. The driver signal processing circuit 112 drives and controls the solid-state imaging device 108 at a timing synchronized with the frame rate of the video processed on the processor 200 side, according to the clock pulse supplied from the timing controller 204.
[通常モード時の動作]
通常モード時のプロセッサ200での信号処理動作を説明する。
[Operation in normal mode]
A signal processing operation in the processor 200 in the normal mode will be described.
プロセッサ200に備えられる信号処理回路220は、プリプロセス回路220A、プロセス回路220B、出力回路220C、補正回路220D、スコアリング回路220E、マッピング回路220Fを有している。 The signal processing circuit 220 provided in the processor 200 includes a preprocessing circuit 220A, a processing circuit 220B, an output circuit 220C, a correction circuit 220D, a scoring circuit 220E, and a mapping circuit 220F.
プリプロセス回路220Aは、ドライバ信号処理回路112よりフレーム周期で入力されるRAW形式の画素データにデモザイク処理を施してRGB形式の画素データに変換し、カラーマトリックス処理、ホワイトバランス調整、Hueゲイン調整等を施してプロセス回路220Bに出力する。 The pre-processing circuit 220A performs demosaic processing on the RAW pixel data input at a frame period from the driver signal processing circuit 112 to convert it into RGB pixel data, color matrix processing, white balance adjustment, Hue gain adjustment, and the like. And output to the process circuit 220B.
プロセス回路220Bは、プリプロセス回路220Aより入力される画素データにエンハンス処理、ガンマ補正等を施して通常のカラー画像データを生成し、出力回路220Cに出力する。 The process circuit 220B performs normal processing, gamma correction, and the like on the pixel data input from the preprocess circuit 220A to generate normal color image data, and outputs the normal color image data to the output circuit 220C.
出力回路220Cは、プロセス回路220Bより入力されるカラー画像データに対してY/C分離、色差補正等の処理を施して所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ300に出力される。これにより、生体組織の通常のカラー画像がモニタ300の表示画面に表示される。 The output circuit 220C performs processing such as Y / C separation and color difference correction on the color image data input from the process circuit 220B and converts it into a predetermined video format signal. The converted video format signal is output to the monitor 300. As a result, a normal color image of the living tissue is displayed on the display screen of the monitor 300.
[特殊モード時の動作]
次に、特殊モード時のプロセッサ200での信号処理動作を説明する。図2に、特殊モード時に実行される特殊画像生成処理のフローチャートを示す。図2の特殊画像生成処理は、電子内視鏡システム1の動作モードが特殊モードに切り替えられた時点で開始される。
[Operation in special mode]
Next, a signal processing operation in the processor 200 in the special mode will be described. FIG. 2 shows a flowchart of special image generation processing executed in the special mode. The special image generation process of FIG. 2 is started when the operation mode of the electronic endoscope system 1 is switched to the special mode.
[図2のS11(現フレームの画素データの入力)]
本処理ステップS11では、現フレームの各画素の画素データがプリプロセス回路220Aに入力される。各画素の画素データは、プリプロセス回路220Aによる信号処理後、プロセス回路220B及び補正回路220Dに入力される。
[S11 in FIG. 2 (input of pixel data of current frame)]
In this processing step S11, pixel data of each pixel of the current frame is input to the preprocess circuit 220A. Pixel data of each pixel is input to the process circuit 220B and the correction circuit 220D after signal processing by the preprocess circuit 220A.
[図2のS12(RG平面へのプロット)]
図3に、補正回路220Dの動作を概念的に説明するための図であって、互いに直交するR軸とG軸とによって定義されるRG平面(二次元色空間)を示す。なお、R軸は、R成分(Rの画素値)の軸であり、G軸は、G成分(Gの画素値)の軸である。
[S12 in FIG. 2 (plot on RG plane)]
FIG. 3 is a diagram for conceptually explaining the operation of the correction circuit 220D, and shows an RG plane (two-dimensional color space) defined by an R axis and a G axis orthogonal to each other. The R axis is the axis of the R component (R pixel value), and the G axis is the axis of the G component (G pixel value).
本処理ステップS12では、RGB3原色で定義されるRGB空間の各画素の画素データ(三次元データ)がRGの二次元データに変換されて、図3に示されるように、R、Gの画素値に応じてRG平面内にプロットされる。以下、説明の便宜上、RG平面内にプロットされた画素データの点を「画素対応点」と記す。なお、図3においては、図面を明瞭化する便宜上、全ての画素の画素対応点を示すのではなく一部の画素の画素対応点のみ示している。 In this processing step S12, pixel data (three-dimensional data) of each pixel in the RGB space defined by the RGB three primary colors is converted into two-dimensional data of RG, and as shown in FIG. And is plotted in the RG plane. Hereinafter, for the convenience of description, the pixel data points plotted in the RG plane are referred to as “pixel corresponding points”. In FIG. 3, for the sake of clarity, only the pixel corresponding points of some pixels are shown instead of the pixel corresponding points of all the pixels.
[図2のS13(基準軸の設定)]
本処理ステップS13では、補正回路220Dにより、胃炎等の所定の疾患の炎症強度を計算するために必要なRG平面内の基準軸が設定される。図4に、基準軸の説明を補助する図を示す。
[S13 in FIG. 2 (setting of reference axis)]
In this processing step S13, a reference axis in the RG plane necessary for calculating the inflammation intensity of a predetermined disease such as gastritis is set by the correction circuit 220D. FIG. 4 is a diagram for assisting the explanation of the reference axis.
撮影対象となる患者の体腔内は、ヘモグロビン色素等の影響によりR成分が他の成分(G成分及びB成分)に対して支配的であり、典型的には、炎症が強いほど赤味(R成分)が他の色味(G成分及びB成分)に対して強くなる。しかし、体腔内の撮影画像は、明るさに影響する撮影条件(例えば白色光Lの当たり具合)に応じて色味が変化する。例示的には、白色光Lの届かない陰影部分は黒(無彩色であり、例えば、R、G、Bがゼロ又はゼロに近い値)となり、白色光Lが強く当たって正反射する部分は白(無彩色であり、例えば、R、G、Bが255又は255に近い値)となる。すなわち、炎症が起こっている同じ異常部位を撮影した場合であっても、白色光Lが強く当たるほどその異常部位画像の画素値が大きくなる。そのため、白色光Lの当たり具合によっては、画素値が炎症の強さと相関の無い値を取ることがある。 In the body cavity of a patient to be imaged, the R component is dominant over other components (G component and B component) due to the influence of hemoglobin pigment or the like. Component) becomes strong against other colors (G component and B component). However, the color of the captured image in the body cavity changes according to the imaging condition that affects the brightness (for example, the degree of hitting of the white light L). Illustratively, the shaded portion where the white light L does not reach is black (achromatic color, for example, R, G, B is zero or a value close to zero), and the portion where the white light L strikes strongly and is specularly reflected is White (achromatic color, for example, R, G, B is a value close to 255 or 255). That is, even when the same abnormal site where inflammation has occurred is captured, the pixel value of the abnormal site image increases as the white light L hits stronger. Therefore, depending on how the white light L hits, the pixel value may take a value that has no correlation with the intensity of inflammation.
一般に、炎症が起こっていない体腔内の正常部位は十分な粘膜で覆われている。これに対し、炎症が起こっている体腔内の異常部位は十分な粘膜で覆われていない。具体的には、血管が拡張すると共に血管から血液・体液が漏出するため、相対的に粘膜が薄くなり血液の色が目に映り易くなる。粘膜は、基本的には白基調ではあるが、色味としては若干黄味がかっており、その濃淡(粘膜の厚み)によって画像上に写る色味(黄色の色味)が変化する。従って、粘膜の濃淡も炎症の強さを評価する指標の一つになるものと考えられる。 In general, normal sites in body cavities that are not inflamed are covered with sufficient mucosa. On the other hand, an abnormal site in a body cavity where inflammation occurs is not covered with sufficient mucosa. Specifically, blood vessels and blood fluids leak from the blood vessels as the blood vessels dilate, so that the mucous membrane becomes relatively thin and the color of blood is easily visible. The mucous membrane is basically a white tone, but has a slightly yellowish color, and the color (yellow color) reflected on the image changes depending on the shade (thickness of the mucous membrane). Therefore, the density of the mucous membrane is considered to be one index for evaluating the intensity of inflammation.
そこで、本処理ステップS13では、図4に示されるように、RG平面内において、(50,0)及び(255,76)を通る直線が基準軸の1つとして設定されると共に、(0,0)及び(255,192)を通る直線が基準軸の1つとして設定される。説明の便宜上、前者の基準軸を「ヘモグロビン変化軸AX1」と記し、後者の基準軸を「粘膜変化軸AX2」と記す。 Therefore, in this processing step S13, as shown in FIG. 4, a straight line passing through (50, 0) and (255, 76) is set as one of the reference axes in the RG plane, and (0, 0) and (255, 192) are set as one of the reference axes. For convenience of explanation, the former reference axis is referred to as “hemoglobin change axis AX1”, and the latter reference axis is referred to as “mucosal change axis AX2”.
図4に示されるプロットは、本発明者が体腔内の多数のサンプル画像を解析した結果得たものである。解析に用いられるサンプル画像には、症状レベルの最も高い炎症画像例(最も重症なレベルの炎症画像例)や、症状レベルの最も低い炎症画像例(実質的に正常部位であるとみなされる画像例)など、各段階の炎症画像例が含まれる。なお、図4の例では、図面を明瞭化する便宜上、解析の結果得られたプロットを一部だけ示している。解析の結果実際に得られたプロットは、図4に示されるプロットの数よりも遥かに多い。 The plot shown in FIG. 4 is obtained as a result of analysis of many sample images in the body cavity by the inventor. Sample images used for analysis include an example of inflammation image with the highest symptom level (example of inflammation image with the most severe level) and an example of inflammation image with the lowest symptom level (image example that is considered to be a substantially normal site) ) And the like are included. In the example of FIG. 4, only a part of the plot obtained as a result of the analysis is shown for the sake of clarity. The number of plots actually obtained as a result of the analysis is much larger than the number of plots shown in FIG.
上述したように、炎症が強い異常部位ほどR成分が他の成分(G成分及びB成分)に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、G軸よりもR軸に近い方の境界線上の軸、図4の例では、(50,0)及び(255,76)を通る境界線上の軸が、症状レベルの最も高い病変部(症状レベルの最も高い炎症(異常)部位)と相関の高い軸として設定される。この軸がヘモグロビン変化軸AX1である。ヘモグロビン変化軸AX1には、様々な撮影条件(例えば白色光Lの当たり具合)で撮影された症状レベルの最も高い炎症部位に対応するプロットが重畳される。 As described above, the R component becomes stronger with respect to other components (G component and B component) as the abnormal site is more intensely inflamed. Therefore, it is a boundary line between a region where the plot is distributed and a region where the plot is not distributed, and is an axis on the boundary line closer to the R axis than the G axis, in the example of FIG. 4, (50, 0) and (255, 76). ) Is set as an axis having a high correlation with the lesion having the highest symptom level (the inflammation (abnormal) site having the highest symptom level). This axis is the hemoglobin change axis AX1. On the hemoglobin change axis AX1, a plot corresponding to an inflammatory site with the highest symptom level photographed under various photographing conditions (for example, the degree of hitting of the white light L) is superimposed.
一方、正常部位に近いほどG成分(又はB成分)がR成分に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、R軸よりもG軸に近い方の境界線上の軸、図4の例では、(0,0)及び(255,192)を通る境界線上の軸が、症状レベルの最も低い病変部(症状レベルの最も低い炎症(異常)部位であって、実質的に正常(健常)部位であるとみなされるもの)と相関の高い軸として設定される。この軸が粘膜変化軸AX2である。粘膜変化軸AX2には、様々な撮影条件(例えば白色光Lの当たり具合)で撮影された症状レベルの最も低い炎症部位(実質的に正常部位とみなされるもの)に対応するプロットが重畳される。 On the other hand, the closer to the normal site, the stronger the G component (or B component) becomes than the R component. Therefore, it is a boundary line between a region where the plot is distributed and a region where the plot is not distributed, and is an axis on the boundary line closer to the G axis than the R axis, in the example of FIG. 4, (0, 0) and (255, 192). ) On the boundary line passing through) is highly correlated with the lesion with the lowest symptom level (the inflammatory (abnormal) site with the lowest symptom level, which is considered to be a substantially normal (healthy) site) Set as axis. This axis is the mucosa changing axis AX2. On the mucosal axis AX2, a plot corresponding to an inflammatory site having the lowest symptom level (substantially regarded as a normal site) photographed under various imaging conditions (for example, how white light L hits) is superimposed. .
補足すると、症状レベルの最も高い炎症部位は、出血を伴う。一方、症状レベルの最も低い炎症部位は、実質正常部位であるから、十分な粘膜で覆われている。そのため、図4に示されるRG平面内のプロットは、血液(ヘモグロビン色素)と最も相関の高い軸と、粘膜の色味と最も相関の高い軸に挟まれた領域内に分布すると捉えることができる。そのため、プロットが分布する領域と分布しない領域との境界線のうち、R軸に近い(R成分が強い)方の境界線が、症状レベルの最も高い炎症部位を示す軸(ヘモグロビン変化軸AX1)に相当し、G軸に近い(G成分が強い)方の境界線が、症状レベルの最も低い炎症部位を示す軸(粘膜変化軸AX2)に相当する。 In addition, the site of inflammation with the highest symptom level is accompanied by bleeding. On the other hand, the inflammatory site with the lowest symptom level is a substantially normal site and is therefore covered with sufficient mucosa. Therefore, the plot in the RG plane shown in FIG. 4 can be understood as being distributed in a region sandwiched between an axis having the highest correlation with blood (hemoglobin pigment) and an axis having the highest correlation with mucous color. . Therefore, of the boundary lines between the region where the plot is distributed and the region where the plot is not distributed, the boundary line closer to the R axis (the R component is strong) indicates the inflammatory site with the highest symptom level (hemoglobin change axis AX1). The boundary line closer to the G axis (stronger G component) corresponds to the axis indicating the inflammatory site with the lowest symptom level (mucosal change axis AX2).
[図2のS14(注目画素の選択)]
本処理ステップS14では、補正回路220Dにより、全ての画素の中から所定の順序に従い一つの注目画素が選択される。
[S14 in FIG. 2 (Selection of Target Pixel)]
In this processing step S14, the correction circuit 220D selects one target pixel from all the pixels in a predetermined order.
[図2のS15(画素データの補正)]
補正回路220Dには、後述のキャリブレーション処理時に算出された補正マトリックス係数が記憶されている。本処理ステップS15では、同一の病変部を異なる電子内視鏡システムで撮影したときのスコア値のばらつき(言い換えると、電子スコープの個体差)を抑えるため、補正回路220Dにより、処理ステップS14(注目画素の選択)にて選択された注目画素の画素データ(R,G)が補正マトリックス係数を用いて補正される。
[S15 in FIG. 2 (correction of pixel data)]
The correction circuit 220D stores correction matrix coefficients calculated at the time of calibration processing described later. In this processing step S15, the correction circuit 220D performs processing step S14 (attention) in order to suppress variation in score values (in other words, individual differences of electronic scopes) when the same lesioned part is imaged by different electronic endoscope systems. The pixel data (R, G) of the target pixel selected in (Selection of pixel) is corrected using the correction matrix coefficient.
・補正マトリックス例
Rnew :補正後の注目画素の画素データ(R成分)
Gnew :補正後の注目画素の画素データ(G成分)
M00〜M11:補正マトリックス係数
R :補正前の注目画素の画素データ(R成分)
G :補正前の注目画素の画素データ(G成分)
・ Example of correction matrix
R new : Pixel data of the target pixel after correction (R component)
G new : Pixel data of the target pixel after correction (G component)
M 00 to M 11 : Correction matrix coefficient R: Pixel data of the target pixel before correction (R component)
G: Pixel data of the target pixel before correction (G component)
[図2のS16(角度の算出)]
補正回路220Dにおいて現フレームの全ての画素に対して処理ステップS14(注目画素の選択)及びS15(画素データの補正)が実行されると、スコアリング回路220Eにより、処理ステップS15(画素データの補正)にて補正された各画素の画素データ(Rnew,Gnew)について、炎症強度を計算するための角度が算出される。具体的には、本処理ステップS16では、各画素について、ヘモグロビン変化軸AX1と粘膜変化軸AX2との交点(基準点)O’と画素対応点(Rnew,Gnew)とを結ぶ線分Lと、ヘモグロビン変化軸AX1とがなす角度θ(図3参照)が算出される。なお、基準点O’は、座標(−150,−75)に位置する。
[S16 in FIG. 2 (calculation of angle)]
When processing steps S14 (selection of target pixel) and S15 (correction of pixel data) are executed for all the pixels in the current frame in the correction circuit 220D, the scoring circuit 220E performs processing step S15 (correction of pixel data). The angle for calculating the inflammation intensity is calculated for the pixel data (R new , G new ) of each pixel corrected in (1). Specifically, in this processing step S16, for each pixel, a line segment L connecting the intersection (reference point) O ′ between the hemoglobin change axis AX1 and the mucosa change axis AX2 and the pixel corresponding point (R new , G new ). And an angle θ (see FIG. 3) formed by the hemoglobin change axis AX1 is calculated. The reference point O ′ is located at the coordinates (−150, −75).
[図2のS17(正規化処理)]
体腔内の撮影画像の明るさが白色光Lの当たり具合によって変化すると、撮影画像の色味は、個人差、撮影箇所、炎症の状態等の影響があるものの、RG平面内において、概ね、症状レベルの最も高い炎症部位ではヘモグロビン変化軸AX1上に沿って変化し、症状レベルの最も低い炎症部位では粘膜変化軸AX2上に沿って変化する。また、中間の症状レベルの炎症部位の撮影画像の色味も同じ傾向で変化するものと推定される。すなわち、炎症部位に対応する画素対応点は、白色光Lの当たり具合によって変化すると、基準点O’を起点とした方位角方向にシフトする。言い換えると、炎症部位に対応する画素対応点は、白色光Lの当たり具合によって変化すると、角度θが一定のまま移動して基準点O’との距離が変わる。これは、角度θが撮影画像の明るさの変化に実質的に影響を受けないパラメータであることを意味する。
[S17 in FIG. 2 (normalization processing)]
When the brightness of the captured image in the body cavity changes depending on how the white light L hits, the color of the captured image is affected by individual differences, the captured location, the state of inflammation, etc. The inflammatory site with the highest level changes along the hemoglobin change axis AX1, and the inflammatory site with the lowest symptom level changes along the mucosal change axis AX2. Moreover, it is estimated that the color of the photographed image of the inflammatory site having an intermediate symptom level also changes with the same tendency. That is, when the pixel corresponding point corresponding to the inflamed site changes depending on how the white light L hits, the pixel corresponding point shifts in the azimuth direction starting from the reference point O ′. In other words, when the pixel corresponding point corresponding to the inflamed site changes depending on how the white light L hits, the angle θ remains constant and the distance from the reference point O ′ changes. This means that the angle θ is a parameter that is substantially unaffected by changes in the brightness of the captured image.
角度θが小さいほどR成分がG成分に対して強くなり、炎症部位の症状レベルが高いことを示す。また、角度θが大きいほどG成分がR成分に対して強くなり、炎症部位の症状レベルが低いことを示す。 As the angle θ is smaller, the R component is stronger than the G component, indicating that the symptom level at the inflammatory site is high. Further, as the angle θ is larger, the G component becomes stronger than the R component, indicating that the symptom level at the inflammatory site is lower.
そこで、本処理ステップS17では、スコアリング回路220Eにより、角度θがゼロであるときに値255となり、角度θがθMAXであるときに値ゼロとなるように、現フレームの全ての画素について角度θが正規化される。なお、θMAXは、ヘモグロビン変化軸AX1と粘膜変化軸AX2とがなす角度と等しい。これにより、0〜255の範囲に収まる炎症強度(8bitの情報)が得られる。 Therefore, in this processing step S17, the scoring circuit 220E uses the angle 255 for all the pixels of the current frame so that the value 255 is obtained when the angle θ is zero and the value is zero when the angle θ is θ MAX. θ is normalized. Note that θ MAX is equal to the angle formed by the hemoglobin change axis AX1 and the mucosa change axis AX2. Thereby, the inflammation intensity (8-bit information) falling within the range of 0 to 255 is obtained.
[図2のS18(炎症評価値の計算)]
本処理ステップS18では、スコアリング回路220Eにより、現フレームの全ての画素の炎症強度を平均化した平均値(又は全ての画素の炎症強度の積算値)が撮影画像全体の炎症評価値として計算されると共に、計算した炎症評価値の表示データ(表示データ例:Score:○○)が生成される。
[S18 in FIG. 2 (calculation of inflammation evaluation value)]
In this processing step S18, the scoring circuit 220E calculates an average value (or an integrated value of the inflammation intensity of all the pixels) obtained by averaging the inflammation intensity of all the pixels in the current frame as the inflammation evaluation value of the entire captured image. In addition, display data (display data example: Score: OO) of the calculated inflammation evaluation value is generated.
[図2のS19(カラーマップ画像上での表示色の決定)]
本実施形態では、炎症強度に応じた表示色で撮影画像をモザイク化したカラーマップ画像を表示することができる。カラーマップ画像を表示可能とするため、炎症強度の値と所定の表示色とを対応付けたテーブルがスコアリング回路220Eの所定の記憶領域に記憶されている。本テーブルでは、例えば、値5刻みで異なる表示色が対応付けられている。例示的には、炎症強度の値が0〜5の範囲では黄色が対応付けられており、該値が5増える毎に色相環での色の並び順に従って異なる表示色が対応付けられており、該値が250〜255の範囲では赤色が対応付けられている。
[S19 in FIG. 2 (Determination of Display Color on Color Map Image)]
In this embodiment, it is possible to display a color map image obtained by mosaicing a captured image with a display color corresponding to the inflammation intensity. In order to display the color map image, a table in which the value of the inflammation intensity is associated with a predetermined display color is stored in a predetermined storage area of the scoring circuit 220E. In this table, for example, different display colors are associated with each value in increments of 5. Illustratively, yellow is associated with a value of inflammation intensity in the range of 0 to 5, and each time the value increases by 5, a different display color is associated according to the order of colors in the hue circle, When the value is in the range of 250 to 255, red is associated.
本処理ステップS19では、マッピング回路220Fにより、現フレームの各画素の、カラーマップ画像上での表示色が、上記テーブルに基づいて、処理ステップS17(正規化処理)にて得た炎症強度の値に応じた色に決定される。 In this processing step S19, the mapping circuit 220F displays the display color of each pixel of the current frame on the color map image based on the above table, the value of the inflammation intensity obtained in the processing step S17 (normalization processing). Depending on the color.
[図2のS20(カラーマップ画像データの生成)]
本処理ステップS20では、マッピング回路220Fにより、現フレームの各画素の色データが、処理ステップS19(カラーマップ画像上での表示色の決定)にて決定された表示色のデータに変換され、変換された表示色で表示される画素よりなるカラーマップ画像データが生成される。
[S20 in FIG. 2 (Generation of Color Map Image Data)]
In the present processing step S20, the mapping circuit 220F converts the color data of each pixel of the current frame into the display color data determined in the processing step S19 (determining the display color on the color map image). Color map image data composed of pixels displayed in the displayed display color is generated.
[図2のS21(オーバレイ処理)]
本処理ステップS21では、出力回路220Cにより、プロセス回路220Bより入力される通常のカラー画像データに基づく通常のカラー画像と、処理ステップS20(カラーマップ画像データの生成)にて生成されたカラーマップ画像データに基づくカラーマップ画像とをオーバレイさせる割合を係数として、前者の画像データ(通常のカラー画像データ)と後者の画像データ(カラーマップ画像データ)とが加算される。
[S21 in FIG. 2 (overlay processing)]
In this processing step S21, the output circuit 220C causes a normal color image based on the normal color image data input from the process circuit 220B, and the color map image generated in the processing step S20 (color map image data generation). The former image data (normal color image data) and the latter image data (color map image data) are added using the ratio of overlaying the color map image based on the data as a coefficient.
なお、係数の設定は、ユーザ操作により適宜設定変更することが可能である。例えば、通常のカラー画像の方を濃く表示したい場合は、カラー画像データの係数が高く設定され、カラーマップ画像の方を濃く表示したい場合は、カラーマップ画像データの係数が高く設定される。 It should be noted that the coefficient setting can be appropriately changed by a user operation. For example, when a normal color image is desired to be displayed darker, the color image data coefficient is set higher. When a color map image is desired to be displayed darker, the color map image data coefficient is set higher.
[図2のS22(終了判定)]
本処理ステップS22では、電子内視鏡システム1の動作モードが特殊モードとは別のモードに切り替えられたか否かが判定される。別のモードに切り替えられていないと判定される場合(S22:NO)、図2の特殊画像生成処理は、処理ステップS11(現フレームの画素データの入力)に戻る。一方、別のモードに切り替えられたと判定される場合(S22:YES)、図2の特殊画像生成処理は終了する。
[S22 in FIG. 2 (End Determination)]
In this processing step S22, it is determined whether or not the operation mode of the electronic endoscope system 1 has been switched to a mode different from the special mode. When it is determined that the mode has not been switched to another mode (S22: NO), the special image generation processing in FIG. 2 returns to processing step S11 (input of pixel data of the current frame). On the other hand, when it is determined that the mode has been switched to another mode (S22: YES), the special image generation process in FIG. 2 ends.
[画面表示例]
出力回路220Cは、図2の処理ステップS21(オーバレイ処理)にて加算処理された画像データに基づいて通常のカラー画像とカラーマップ画像とのオーバレイ画像の表示データを生成すると共にモニタ300の表示画面の周辺領域(画像表示領域の周囲)をマスクするマスキング処理を行い、更に、マスキング処理により生成されるマスク領域に炎症評価値を重畳した、モニタ表示用の画面データを生成する。出力回路220Cは、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換して、モニタ300に出力する。
[Screen display example]
The output circuit 220C generates display data of an overlay image of a normal color image and a color map image based on the image data added in processing step S21 (overlay processing) in FIG. A masking process for masking the peripheral area (periphery of the image display area) is performed, and screen data for monitor display is generated by superimposing an inflammation evaluation value on the mask area generated by the masking process. The output circuit 220 </ b> C converts the generated monitor display screen data into a predetermined video format signal and outputs it to the monitor 300.
図5に、特殊モード時の画面表示例を示す。図5に例示されるように、モニタ300の表示画面には、その中央領域に体腔内の撮影画像(通常画像とカラーマップ画像とがオーバレイ表示されたオーバレイ画像)が表示されると共に画像表示領域の周囲がマスキングされた画面が表示される。また、マスク領域には、炎症評価値(スコア)が表示される。 FIG. 5 shows a screen display example in the special mode. As illustrated in FIG. 5, on the display screen of the monitor 300, a captured image in the body cavity (an overlay image in which a normal image and a color map image are displayed in an overlay manner) is displayed in the center area, and an image display area A screen with a mask around is displayed. In addition, an inflammation evaluation value (score) is displayed in the mask area.
なお、特殊モード時の撮影画像の表示形態は、通常のカラー画像とカラーマップ画像とをオーバレイ表示したものに限らない。例えば、通常のカラー画像とカラーマップ画像を一画面内に並べて表示したり、カラーマップ画像のみを表示したりする表示形態が挙げられる。前者の場合、通常のカラー画像とカラーマップ画像の両方を同一のサイズで表示してもよいし、通常のカラー画像とカラーマップ画像の一方をメイン画像として表示すると共に他方をメイン画像より小さいサブ画像として表示してもよい。 Note that the display form of the captured image in the special mode is not limited to an overlay display of a normal color image and a color map image. For example, a display form in which a normal color image and a color map image are displayed side by side in a single screen, or only a color map image is displayed. In the former case, both the normal color image and the color map image may be displayed with the same size, or one of the normal color image and the color map image is displayed as the main image and the other is smaller than the main image. It may be displayed as an image.
このように、本実施形態によれば、トーン強調処理等の非線形な計算処理や複雑な色空間変換処理等を行うことなく単純な計算処理を行うだけで、炎症評価値(ここでは撮影部位のヘモグロビン色素の増減に相関のある値)が求まる。すなわち、炎症評価値の計算に必要なハードウェアリソースが大幅に抑えられる。また、体腔内の撮影画像の明るさに影響する撮影条件(例えば照射光の当たり具合等)によって炎症評価値が実質的に変動しないため、術者は、炎症についてより客観的で正確な判断を下すことが可能となる。 As described above, according to the present embodiment, the inflammation evaluation value (here, the region to be imaged) can be obtained only by performing simple calculation processing without performing nonlinear calculation processing such as tone enhancement processing or complicated color space conversion processing. A value correlated with the increase or decrease of the hemoglobin pigment). That is, the hardware resources necessary for calculating the inflammation evaluation value can be greatly reduced. In addition, since the inflammation evaluation value does not substantially vary depending on the imaging conditions that affect the brightness of the captured image in the body cavity (for example, how the irradiated light hits), the surgeon can make a more objective and accurate determination of inflammation. Can be reduced.
[キャリブレーションモードの説明]
次に、キャリブレーションモードについて説明する。キャリブレーションモード時には、キャリブレーション用治具400が電子内視鏡システム1にセットされると共に、プロセッサ200に接続された端末(PC)上でキャリブレーション用ソフトウェアが起動される。図6に、キャリブレーション用治具400を電子内視鏡システム1にセットした状態を概略構成図で示す。
[Description of calibration mode]
Next, the calibration mode will be described. In the calibration mode, the calibration jig 400 is set in the electronic endoscope system 1 and the calibration software is activated on a terminal (PC) connected to the processor 200. FIG. 6 is a schematic configuration diagram showing a state where the calibration jig 400 is set in the electronic endoscope system 1.
なお、キャリブレーションモード時に実行されるキャリブレーション処理では、対象疾患に関連する特定の色を補正対象としたキャリブレーションが行われる。すなわち、本キャリブレーション処理では、ホワイトバランスとは別のキャリブレーションが行われる。ホワイトバランスについては、ホワイトバランス専用治具を用いて既に調整されているものとする。なお、後述の透過型チャート408に代えて、ホワイトバランス専用治具と同じ仕様の白板やグレーカード等を用いることにより、キャリブレーション用治具400を用いたホワイトバランス調整を行うこともできる。 In the calibration process executed in the calibration mode, calibration is performed with a specific color related to the target disease as a correction target. That is, in this calibration process, calibration different from white balance is performed. It is assumed that the white balance has already been adjusted using the white balance dedicated jig. Note that white balance adjustment using the calibration jig 400 can be performed by using a white plate, a gray card, or the like having the same specifications as the white balance dedicated jig instead of a transmission chart 408 described later.
図6に示されるように、キャリブレーション用治具400は、測定箱402を備えている。測定箱402には、導入口402aが形成されている。 As shown in FIG. 6, the calibration jig 400 includes a measurement box 402. In the measurement box 402, an introduction port 402a is formed.
測定箱402には、固定台404が備えられている。キャリブレーション処理を実行するにあたり、固定台404には、電子スコープ100の先端部分が取付部材404aによって取り付けられる。 The measurement box 402 is provided with a fixed base 404. In executing the calibration process, the distal end portion of the electronic scope 100 is attached to the fixed base 404 by the attachment member 404a.
位置調節用コントローラ406は、不図示のアクチュエータにより、固定台404を、導入口402aを介して測定箱402の内外に進退移動させることができる。具体的には、位置調節用コントローラ406には、前進キー406a、後退キー406b及び表示器406cが備えられている。作業者によって前進キー406aが押されると、固定台404が導入口402aを介して測定箱402内に進む。作業者によって後退キー406bが押されると、固定台404が導入口402aを介して測定箱402外に進む。表示器406cには、前進キー406a又は後退キー406bに対する操作によって指定された固定台404の位置が表示される。 The position adjustment controller 406 can move the fixed base 404 forward and backward through the introduction port 402a in and out of the measurement box 402 by an actuator (not shown). Specifically, the position adjustment controller 406 includes a forward key 406a, a backward key 406b, and a display 406c. When the advance key 406a is pressed by the operator, the fixed base 404 advances into the measurement box 402 through the introduction port 402a. When the operator presses the retreat key 406b, the fixed base 404 moves out of the measurement box 402 through the introduction port 402a. On the display 406c, the position of the fixed base 404 designated by the operation on the forward key 406a or the backward key 406b is displayed.
キャリブレーション処理を実行するにあたり、作業者は、固定台404が測定箱402外に位置している状態で、電子スコープ100の先端部分を固定台404に取り付ける。次いで、作業者は、前進キー406aを押して固定台404を移動させることにより、電子スコープ100の先端部分を導入口402aを介して測定箱402内の所定位置まで挿入する。電子スコープ100の先端部分が測定箱402内に挿入されることにより、導入口402aが実質的に塞がれる。これにより、測定箱402内に外光が入らず、測定箱402は暗箱として機能する。キャリブレーション処理時に外光の影響を受けないため、キャリブレーションの精度が向上する。 In executing the calibration process, the operator attaches the distal end portion of the electronic scope 100 to the fixed base 404 in a state where the fixed base 404 is located outside the measurement box 402. Next, the operator presses the advance key 406a to move the fixed base 404, thereby inserting the distal end portion of the electronic scope 100 to a predetermined position in the measurement box 402 through the introduction port 402a. By inserting the distal end portion of the electronic scope 100 into the measurement box 402, the introduction port 402a is substantially blocked. Thereby, external light does not enter into the measurement box 402, and the measurement box 402 functions as a dark box. Since calibration is not affected by external light, the accuracy of calibration is improved.
測定箱402内には、導入口402aと対向する位置(言い換えると、電子スコープ100の先端面(配光レンズや対物レンズ等の配置面)と正対する位置)に透過型チャート408が配置されている。透過型チャート408は、キャリブレーション処理用の透過型チャートである。本キャリブレーション処理時には、透過型チャート408として、対象疾患に関連する特定の色を模した色指標がセットされる。透過型チャート408は、駆動機構416と機械的に連結されており、駆動機構416によって測定箱402内の所定位置にセットされる。また、透過型チャート408は、測定箱402内の所定位置に手動でセットされてもよい。 In the measurement box 402, a transmission chart 408 is arranged at a position facing the introduction port 402a (in other words, a position facing the front end surface of the electronic scope 100 (an arrangement surface of the light distribution lens, objective lens, etc.)). Yes. The transmission chart 408 is a transmission chart for calibration processing. During the calibration process, a color index imitating a specific color related to the target disease is set as the transmission chart 408. The transmission chart 408 is mechanically coupled to the drive mechanism 416 and is set at a predetermined position in the measurement box 402 by the drive mechanism 416. Further, the transmission chart 408 may be manually set at a predetermined position in the measurement box 402.
透過型チャート408の背面には、LED照明装置410が配置されている。LED照明装置410は、LED照明電源414により供給される電源によってオン/オフ及び明るさが制御される。 An LED illumination device 410 is disposed on the back surface of the transmission chart 408. The LED illumination device 410 is controlled to be turned on / off and brightness by the power supplied from the LED illumination power source 414.
LED照明装置410を測定箱402内に備えることにより、ランプ208が発する白色光Lをキャリブレーション時に用いる必要が無い。そのため、キャリブレーション処理において、ランプ208(言い換えると、白色光Lの分光特性)の経年劣化を考慮する必要が無い。 By providing the LED illumination device 410 in the measurement box 402, it is not necessary to use the white light L emitted from the lamp 208 during calibration. Therefore, in the calibration process, it is not necessary to consider aged deterioration of the lamp 208 (in other words, the spectral characteristics of the white light L).
図7は、LED照明装置410及びLED照明電源414の構成を示すブロック図である。図7に示されるように、LED照明装置410は、複数の砲弾型又はチップ型のLEDが正方格子状に配置されている。より詳細には、LED照明装置410は、複数のLEDが列状(図中上下方向)に並ぶLED列410rL、410gL、410bLが行方向(図中左右方向)に所定間隔毎に繰り返し配置されている。LED列410rLは、赤色LEDを列状に並べたものであり、LED列410gLは、緑色LEDを列状に並べたものであり、LED列410bLは、青色LEDを列状に並べたものである。 FIG. 7 is a block diagram showing the configuration of the LED illumination device 410 and the LED illumination power supply 414. As shown in FIG. 7, the LED illumination device 410 has a plurality of bullet-type or chip-type LEDs arranged in a square lattice pattern. More specifically, in the LED lighting device 410, LED rows 410rL, 410gL, and 410bL in which a plurality of LEDs are arranged in a row (up and down direction in the figure) are repeatedly arranged at predetermined intervals in the row direction (left and right direction in the figure). Yes. The LED row 410rL is a row of red LEDs arranged in a row, the LED row 410gL is a row of green LEDs, and the LED row 410bL is a row of blue LEDs arranged in a row. .
なお、上記においては、各LEDが正方格子状配列となるように各LED列が配置されているが、正方格子が45°回転したLED配列となるように、隣接する各LED列が所定量ずれて配置されてもよい。また、上記において、各LED列は、複数のLEDが列状(図中上下方向)に並ぶ構成となっているが、複数のLEDが行方向(図中左右方向)に並ぶ構成であってもよい。 In the above, each LED row is arranged so that each LED has a square lattice arrangement, but each adjacent LED row is shifted by a predetermined amount so that the square lattice has an LED arrangement rotated by 45 °. May be arranged. In addition, in the above, each LED column has a configuration in which a plurality of LEDs are arranged in a row (vertical direction in the figure), but a plurality of LEDs may be arranged in a row direction (left and right direction in the diagram). Good.
図8は、各LED列の構成を示す回路図である。図8に示されるように、LED列410rL、410gL、410bLでは、それぞれ、複数の赤色LED410r、緑色LED410g、青色LED410bが直列接続されており、且つ可変抵抗器VRr、VRg、VRbが直列接続されている。各可変抵抗器は、例えば、LED照明電源414に内蔵されている。 FIG. 8 is a circuit diagram showing a configuration of each LED row. As shown in FIG. 8, in the LED rows 410rL, 410gL, and 410bL, a plurality of red LEDs 410r, green LEDs 410g, and blue LEDs 410b are connected in series, and variable resistors VRr, VRg, and VRb are connected in series. Yes. Each variable resistor is built in the LED illumination power supply 414, for example.
LED照明電源414は、電源回路414aを備えている。電源回路414aは、商用電源から供給される交流電源を所定電圧の直流出力電源Vccに変換し、変換された直流出力電源Vccを、可変抵抗器VRr、VRg、VRbを介してLED列410rL、410gL、410bLの各LEDに供給する。これにより、各LEDが発光する。 The LED illumination power supply 414 includes a power supply circuit 414a. The power supply circuit 414a converts an AC power supplied from a commercial power source into a DC output power source Vcc having a predetermined voltage, and converts the converted DC output power source Vcc through the variable resistors VRr, VRg, VRb into the LED strings 410rL, 410gL. , 410 bL. Thereby, each LED emits light.
LED照明装置410から発せられた各色の光は、LED照明装置410の前段に配置された拡散板412によって拡散され、均一な光に変換されて、透過型チャート408に照射される。 The light of each color emitted from the LED illumination device 410 is diffused by the diffusion plate 412 disposed in the front stage of the LED illumination device 410, converted into uniform light, and applied to the transmission chart 408.
LED照明電源414は、各LEDより発せられる各色の光の明るさ等を制御する制御部414bを備えている。また、LED照明電源414は、明るさ調整つまみ414c、色調整つまみ414rd、414gd、414bdを備えている。明るさ調整つまみ414cは、LED照明装置410の明るさ(各LEDの明るさ)を手動調整するためのつまみである。色調整つまみ414rd、414gd、414bdは、それぞれ、赤色LED410r、緑色LED410g、青色LED410bの明るさ、言い換えると、色合い(各色の明るさの割合等)を手動調整するためのつまみである。 The LED illumination power source 414 includes a control unit 414b that controls the brightness of each color light emitted from each LED. The LED illumination power supply 414 includes a brightness adjustment knob 414c, a color adjustment knob 414rd, 414gd, and 414bd. The brightness adjustment knob 414c is a knob for manually adjusting the brightness of the LED illumination device 410 (the brightness of each LED). The color adjustment knobs 414rd, 414gd, and 414bd are knobs for manually adjusting the brightness of the red LED 410r, the green LED 410g, and the blue LED 410b, in other words, the hue (the ratio of the brightness of each color).
各LED列410rL、410gL、410bLにおいて、各LED410r、410g、410bは、入力電流(言い換えると、出力電源Vcc及び可変抵抗器VRr、VRg、VRbの抵抗値)に応じた明るさの光を発する。 In each LED row 410rL, 410gL, 410bL, each LED 410r, 410g, 410b emits light with brightness according to the input current (in other words, the output power supply Vcc and the resistance values of the variable resistors VRr, VRg, VRb).
例えば出力電源Vccが一定となる構成を考える。この構成では、制御部414bは、明るさ調整つまみ414c、色調整つまみ414rd、414gd、414bdによる調整値又はPCからのコマンドに基づいて、可変抵抗器VRr、VRg、VRbの抵抗値を増減させることにより、各LED410r、410g、410bへの入力電流を制御する。 For example, consider a configuration in which the output power supply Vcc is constant. In this configuration, the control unit 414b increases or decreases the resistance values of the variable resistors VRr, VRg, and VRb based on adjustment values by the brightness adjustment knob 414c, the color adjustment knobs 414rd, 414gd, and 414bd or a command from the PC. Thus, the input current to each LED 410r, 410g, 410b is controlled.
また、例えば可変抵抗器VRr、VRg、VRbの抵抗値が一定となる構成を考える。この構成では、制御部414bは、PCからのコマンドに基づいて出力電源Vccを可変させることにより、各LED410r、410g、410bへの入力電流を制御する。 Also, consider a configuration in which the resistance values of the variable resistors VRr, VRg, VRb are constant, for example. In this configuration, the control unit 414b controls the input current to each LED 410r, 410g, 410b by varying the output power supply Vcc based on a command from the PC.
図9に、キャリブレーションモード時に実行されるキャリブレーション処理のフローチャートを示す。また、図10に、図9のキャリブレーション処理の説明を補助する図を示す。図9に示されるキャリブレーション処理は、例えば工場出荷時に実行されるものであり、電子内視鏡システム1の動作モードがキャリブレーションモードに切り替えられた時点で開始される。 FIG. 9 shows a flowchart of the calibration process executed in the calibration mode. FIG. 10 is a diagram for assisting the description of the calibration process of FIG. The calibration process shown in FIG. 9 is executed at the time of factory shipment, for example, and is started when the operation mode of the electronic endoscope system 1 is switched to the calibration mode.
なお、キャリブレーション処理の実行に先立ち、作業者による準備作業が行われる。具体的には、作業者は、ホワイトバランス専用治具を用いて電子内視鏡システム1のホワイトバランスを調整する。作業者は、ホワイトバランスの調整が完了すると、電子内視鏡システム1をキャリブレーション用治具400にセットすると共に、プロセッサ200に接続されたPC上でキャリブレーション用ソフトウェアを起動させる。 Prior to the execution of the calibration process, a preparatory work is performed by an operator. Specifically, the operator adjusts the white balance of the electronic endoscope system 1 using a white balance dedicated jig. When the white balance adjustment is completed, the operator sets the electronic endoscope system 1 on the calibration jig 400 and activates the calibration software on the PC connected to the processor 200.
[図9のS31(変数iのリセット)]
本処理ステップS31では、LED照明電源414の所定のスイッチが押される又は電源がオンされると、制御部414bの内部メモリに保持されている変数iがゼロにリセットされる。
[S31 in FIG. 9 (Reset of Variable i)]
In this processing step S31, when a predetermined switch of the LED illumination power source 414 is pressed or the power source is turned on, the variable i held in the internal memory of the control unit 414b is reset to zero.
[図9のS32(透過型チャートのセット)]
本処理ステップS32では、駆動機構416によって透過型チャート408が測定箱402内の所定位置にセットされる。これにより、外光が遮蔽された空間内で且つ電子スコープ100の画角内に、透過型チャート408が固定配置される。なお、透過型チャート408は手動でセットされてもよい。
[S32 in FIG. 9 (Transparent Chart Set)]
In this processing step S 32, the transmission chart 408 is set at a predetermined position in the measurement box 402 by the drive mechanism 416. Thereby, the transmission chart 408 is fixedly disposed in the space where the external light is shielded and in the angle of view of the electronic scope 100. The transmission chart 408 may be set manually.
本実施形態では、本キャリブレーション処理用として複数枚(n枚)の透過型チャート408が用意されている。複数枚の透過型チャート408は、それぞれ、対象疾患について生体組織が異なる段階の症状レベルにあるときの色を模した色指標である。 In the present embodiment, a plurality of (n) transmissive charts 408 are prepared for the calibration process. Each of the plurality of transmission charts 408 is a color index imitating a color when the living tissue is at a symptom level at a different stage for the target disease.
本処理ステップS32の初回実行には、透過型チャート408として、例えば、対象疾患について症状レベルが最も高いときの生体組織の色を模した指標(以下、説明の便宜上「第一の透過型チャート」と記す。)がセットされる。本実施形態において、第一の透過型チャートは、RG平面内のヘモグロビン変化軸AX1上の所定点(後述の第一の目標点PT1)に対応する色を模したチャートである。 For the first execution of this processing step S32, for example, as a transmission chart 408, for example, an index simulating the color of the living tissue when the symptom level is the highest for the target disease (hereinafter, “first transmission chart” for convenience of explanation) .) Is set. In the present embodiment, the first transmission chart is a chart simulating the color corresponding to a predetermined point (first target point P T1 described later) on the hemoglobin change axis AX1 in the RG plane.
なお、キャリブレーション処理時にキャリブレーション用治具400にセットされる透過型チャート408の順序は予め決まっている。従って、キャリブレーション用治具400にセット中の透過型チャート408は、制御部414bにとって既知である。 Note that the order of the transmission chart 408 set on the calibration jig 400 during the calibration process is determined in advance. Therefore, the transmission chart 408 set in the calibration jig 400 is known to the control unit 414b.
[図9のS33(透過型チャートの色調整)]
透過型チャート408単体では、材料等に制約があるため、各段階の症状レベルにある生体組織の色を忠実に再現することが難しい。一例として、第一の透過型チャート単体では、RG平面内のヘモグロビン変化軸AX1上の所定点(後述の第一の目標点PT1)の色を忠実に再現することが難しい。そこで、本処理ステップS33では、LED照明装置410から発せられる光の色合いを調整することにより、透過型チャート408の色が調整される。
[S33 in FIG. 9 (Color Adjustment of Transmission Chart)]
With the transmission chart 408 alone, it is difficult to faithfully reproduce the color of the living tissue at the symptom level at each stage because there are restrictions on materials and the like. As an example, with the first transmission chart alone, it is difficult to faithfully reproduce the color of a predetermined point (first target point P T1 described later) on the hemoglobin change axis AX1 in the RG plane. Therefore, in this processing step S33, the color of the transmission chart 408 is adjusted by adjusting the hue of the light emitted from the LED illumination device 410.
具体的には、キャリブレーション用治具400に備えられるメモリ414eに、複数枚の透過型チャート408の各々に対応する調整データが予め格納されている。例えば第一の透過型チャートを調整する場合、制御部414bは、第一の透過型チャートに対応する調整データをメモリ414eから読み出し、読み出された調整データに基づいて可変抵抗器VRr、VRg、VRbの抵抗値を調整する。これにより、LED照明装置410から発せられる光の色合いが調整される。色合い調整後の光が第一の透過型チャートに照射されることにより、第一の透過型チャートがキャリブレーションの目標となる色(対象疾患について症状レベルが最も高いときの生体組織の色)に調整される。言い換えると、第一の透過型チャートは、対象疾患について症状レベルが最も高いときの生体組織の色を忠実に再現したものとなる。 Specifically, adjustment data corresponding to each of the plurality of transmission charts 408 is stored in advance in the memory 414 e provided in the calibration jig 400. For example, when adjusting the first transmission chart, the control unit 414b reads out adjustment data corresponding to the first transmission chart from the memory 414e, and based on the read adjustment data, the variable resistors VRr, VRg, The resistance value of VRb is adjusted. Thereby, the hue of the light emitted from the LED lighting device 410 is adjusted. The first transmissive chart is irradiated with light after color adjustment to the first transmissive chart so that the first transmissive chart has the color that is the target of calibration (the color of the living tissue when the symptom level is the highest for the target disease). Adjusted. In other words, the first transmission chart faithfully reproduces the color of the living tissue when the symptom level is the highest for the target disease.
なお、作業者は、各種調整つまみを操作して、LED照明装置410から発せられる光の色合いを調整し、その調整値を、新たな調整データとしてメモリ414eに保存することができる。 The operator can adjust various shades of light emitted from the LED lighting device 410 by operating various adjustment knobs, and store the adjustment value in the memory 414e as new adjustment data.
[図9のS34(実測値の算出)]
本処理ステップS34では、LED照明装置410から発せられた光によって照射された透過型チャート408が電子スコープ100によって撮影され、その撮影画像データ(RAW形式やYUV形式等)がPCに入力される。次いで、キャリブレーション用ソフトウェアにより、透過型チャート408の撮影画像データから、透過型チャート408の実測値が算出される。例示的には、透過型チャート408の画像内の中央領域の画素(例えば200×200画素)の平均値が実測値として算出される。
[S34 in FIG. 9 (Calculation of Actual Value)]
In this processing step S34, the transmission chart 408 irradiated with the light emitted from the LED illumination device 410 is photographed by the electronic scope 100, and the photographed image data (RAW format, YUV format, etc.) is input to the PC. Next, the actual measurement value of the transmission chart 408 is calculated from the captured image data of the transmission chart 408 by the calibration software. Illustratively, an average value of pixels (for example, 200 × 200 pixels) in the central region in the image of the transmission chart 408 is calculated as an actual measurement value.
[図9のS35(変数iの更新)]
本処理ステップS35では、制御部414bの内部メモリに保持されている変数iが1インクリメントされる。
[S35 in FIG. 9 (update of variable i)]
In this processing step S35, the variable i held in the internal memory of the control unit 414b is incremented by one.
[図9のS36(完了判定)]
本処理ステップS36では、変数iがn(nは自然数)であるか否かが判定される。変数iがnであると判定された場合(S36:YES)、処理ステップS34(実測値の算出)にて、対象疾患について用意された複数枚(n枚)の透過型チャート408の全てについて実測値の算出が完了している。この場合、本フローチャートは、処理ステップS37(補正マトリックス係数の算出)に進む。
[S36 in FIG. 9 (completion judgment)]
In this processing step S36, it is determined whether or not the variable i is n (n is a natural number). When it is determined that the variable i is n (S36: YES), all the multiple (n) transmission charts 408 prepared for the target disease are actually measured in the processing step S34 (calculation of measured values). Value calculation is complete. In this case, the flowchart proceeds to processing step S37 (calculation of correction matrix coefficients).
変数iがnでないと判定された場合(S36:NO)、対象疾患について用意されたn枚の透過型チャート408のうち、処理ステップS34(実測値の算出)による実測値の算出が行われてないものが残っている。この場合、本フローチャートは、処理ステップS32(透過型チャートのセット)に戻る。次いで、駆動機構416により、次の透過型チャート408が測定箱402内の所定位置にセットされ、処理ステップS33(透過型チャートの色調整)以降が実行される。なお、作業者がチャート切替ボタン414fを押すことにより、透過型チャート408が切り替えられるようにしてもよい。 When it is determined that the variable i is not n (S36: NO), the actual measurement value is calculated by the processing step S34 (calculation of the actual measurement value) out of the n transmission charts 408 prepared for the target disease. There is nothing left. In this case, the flowchart returns to processing step S32 (transmission chart set). Next, the next transmission chart 408 is set at a predetermined position in the measurement box 402 by the drive mechanism 416, and the processing step S33 (color adjustment of the transmission chart) and the subsequent steps are executed. The transparent chart 408 may be switched by the operator pressing the chart switching button 414f.
[図9のS37(補正マトリックス係数の算出)]
本処理ステップS37では、補正マトリックス係数が算出される。
[S37 in FIG. 9 (Calculation of correction matrix coefficients)]
In this processing step S37, a correction matrix coefficient is calculated.
本実施形態では、説明の便宜上、二枚の透過型チャート408(第一の透過型チャートと第二の透過型チャート)について処理ステップS32〜S36が実行されたものとする。なお、第二の透過型チャートは、対象疾患について健常であるときの生体組織の色を模した色指標であり、RG平面内の粘膜変化軸AX2上の所定点(後述の第二の目標点PT2)に対応する色を模したチャートである。また、第一の透過型チャートの実測値を第一の実撮影データ点PD1とし、第二の透過型チャートの実測値を第二の実撮影データ点PD2とする。また、説明の便宜上、図10に示されるように、第一の実撮影データ点PD1及び第二の実撮影データ点PD2を、ここでの対象疾患(胃炎等)と関連付けられたRG平面に配置する。 In this embodiment, for convenience of explanation, it is assumed that the processing steps S32 to S36 have been executed for two transmission charts 408 (first transmission chart and second transmission chart). The second transmission chart is a color index simulating the color of the living tissue when the target disease is healthy, and is a predetermined point on the mucosa change axis AX2 in the RG plane (second target point described later). It is a chart simulating colors corresponding to P T2 ). In addition, the actual measurement value of the first transmission chart is the first actual imaging data point PD1, and the actual measurement value of the second transmission chart is the second actual imaging data point PD2 . For convenience of explanation, as shown in FIG. 10, the first actual imaging data point P D1 and the second actual imaging data point P D2 are associated with the target disease (such as gastritis) here. To place.
図10に概念的に示されるように、ヘモグロビン変化軸AX1上には第一の実撮影データ点PD1に対応する第一の目標点PT1が配置され、粘膜変化軸AX2上には第二の実撮影データ点PD2に対応する第二の目標点PT2が配置されている。本処理ステップS37では、キャリブレーション用ソフトウェアにより、第一の実撮影データ点PD1と第一の目標点PT1との距離(第一の距離Δ1)と、第二の実撮影データ点PD2と第二の目標点PT2との距離(第二の距離Δ2)との合計値を最小とする補正マトリックス係数が最小二乗法等を用いて算出される。 As conceptually shown in FIG. 10, the first target point P T1 corresponding to the first actual imaging data point P D1 is arranged on the hemoglobin change axis AX1, and the second target point P T1 is arranged on the mucosa change axis AX2. A second target point P T2 corresponding to the actual photographing data point P D2 is arranged. In this processing step S37, the calibration software sets the distance between the first actual photographing data point P D1 and the first target point P T1 (first distance Δ 1 ) and the second actual photographing data point P. A correction matrix coefficient that minimizes the total value of the distance (second distance Δ 2 ) between D2 and the second target point P T2 is calculated using a least square method or the like.
[図9のS38(補正マトリックス係数の保存)]
本処理ステップS38では、処理ステップS37(補正マトリックス係数の算出)にて算出された補正マトリックス係数がプロセッサ200の補正回路220Dに保存される。これにより、図9に示されるキャリブレーション処理が完了する。
[S38 in FIG. 9 (preservation of correction matrix coefficients)]
In this processing step S38, the correction matrix coefficient calculated in processing step S37 (calculation of correction matrix coefficient) is stored in the correction circuit 220D of the processor 200. Thereby, the calibration process shown in FIG. 9 is completed.
各電子内視鏡システムに対してキャリブレーション処理を実行することにより、対象疾患(胃炎等)に関連する透過型チャート408を各電子内視鏡システムで撮影したときに略同じ値(何れの電子内視鏡システムにおいても第一の目標点PT1や第二の目標点PT2に近似する値)が得られるため、最終的に計算される炎症評価値も略等しい値となる。そのため、対象疾患(胃炎等)を各電子内視鏡システムで実際に撮影した場合にも炎症評価値のばらつきが抑えられることが判る。 By executing the calibration process for each electronic endoscope system, when the transmission chart 408 related to the target disease (such as gastritis) is photographed with each electronic endoscope system (whichever electronic In the endoscope system as well, a value that approximates the first target point P T1 and the second target point P T2 is obtained, so that the finally calculated inflammation evaluation value is also substantially equal. Therefore, it can be seen that even when the target disease (such as gastritis) is actually photographed by each electronic endoscope system, variation in the inflammation evaluation value can be suppressed.
すなわち、本実施形態によれば、補正対象を限定する(具体的には、対象疾患に関連する特定の色を補正対象とする)ことにより、対象疾患の評価値計算に用いられる色データに残存する誤差(主に電子スコープ100の光学部品の個体差によるばらつき)が良好に除去される。これにより、評価値の計算精度が向上する。 In other words, according to the present embodiment, by limiting the correction target (specifically, a specific color related to the target disease is set as the correction target), it remains in the color data used for the evaluation value calculation of the target disease. Errors (mainly, variations due to individual differences in the optical parts of the electronic scope 100) are removed satisfactorily. Thereby, the calculation accuracy of the evaluation value is improved.
また、本実施形態によれば、LED照明装置410から発せられる光が、キャリブレーション用治具400にセットされている透過型チャート408を用いてキャリブレーションを行うのに最適な色合いに調整される。最適な色合いに調整された光が透過型チャート408に照射されることにより、電子スコープ100は、対象疾患について、忠実に再現された、最適な色の画像(透過型チャート408の画像)を撮影することができる。そのため、キャリブレーションの精度が向上する。 Further, according to the present embodiment, the light emitted from the LED illumination device 410 is adjusted to an optimum color for performing calibration using the transmission chart 408 set in the calibration jig 400. . By irradiating the transmissive chart 408 with light adjusted to the optimum hue, the electronic scope 100 captures an image of the optimum color (image of the transmissive chart 408) faithfully reproduced for the target disease. can do. Therefore, the accuracy of calibration is improved.
以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。 The above is the description of the exemplary embodiments of the present invention. Embodiments of the present invention are not limited to those described above, and various modifications are possible within the scope of the technical idea of the present invention. For example, the embodiment of the present application also includes an embodiment that is exemplarily specified in the specification or a combination of obvious embodiments and the like as appropriate.
上記の実施形態では、作業者により、第一の透過型チャート408として、第一の色(所定の疾患について症状レベルが最も高いときの生体組織の色)を持つものが選択され、第二の透過型チャート408として、第二の色(所定の疾患について健常であるときの生体組織の色)を持つものが選択されている。そのため、上記の実施形態では、色空間内において第一の色や第二の色(すなわち補正対象)に距離が近い色ほど高い精度でキャリブレーションされている。言い換えると、色空間内において、補正対象から距離が遠い色(例えば水色のような、炎症ではあり得ない色)ほどキャリブレーションの精度が低い。 In the above embodiment, the operator selects the first transmission chart 408 having the first color (the color of the living tissue when the symptom level is the highest for a predetermined disease), and the second As the transmission chart 408, a chart having the second color (the color of the living tissue when healthy for a given disease) is selected. For this reason, in the above-described embodiment, the color closer to the first color or the second color (that is, the correction target) in the color space is calibrated with higher accuracy. In other words, in the color space, a color that is farther from the correction target (for example, a color that cannot be inflamed, such as light blue) has a lower calibration accuracy.
従って、作業者は、キャリブレーションモード時にキャリブレーション用治具400にセットする透過型チャート408について、電子内視鏡システム1を用いて特に高い精度でスコアリングしたい症状レベルに対応するものを選択するとよい。例えば、軽度炎症に対するスコアリング精度を向上させたい場合、作業者は、透過型チャート408として、軽度の炎症が起こったときの生体組織の色を模したものを選択するとよい。 Therefore, when the operator selects the transmission chart 408 set on the calibration jig 400 in the calibration mode, the electronic chart system 1 corresponding to the symptom level to be scored with high accuracy is selected. Good. For example, when it is desired to improve the scoring accuracy for mild inflammation, the operator may select a transmission chart 408 that simulates the color of biological tissue when mild inflammation occurs.
また、上記の実施形態では、各画素に含まれるR成分とG成分(RGの二次元色空間)を用いて炎症評価値が計算されているが、別の実施形態では、RGの二次元色空間に代えて、RBの二次元色空間やHSI、HSV、Lab等の三次元色空間を用いることにより、それぞれの色空間に対応する、上記の実施形態とは別の対象疾患(胃の委縮や大腸腫瘍等)に関する評価値を計算することもできる。この場合、上記の実施形態とは異なる指標及び目標点を用いて補正マトリックス係数が算出される。 In the above embodiment, the inflammation evaluation value is calculated using the R component and G component (RG two-dimensional color space) included in each pixel. In another embodiment, the two-dimensional color of RG is calculated. By using a two-dimensional color space of RB or a three-dimensional color space such as HSI, HSV, or Lab instead of the space, the target disease (stomach atrophy) different from the above-described embodiment corresponding to each color space. And evaluation values for colorectal tumors and the like can also be calculated. In this case, the correction matrix coefficient is calculated using an index and a target point different from those in the above embodiment.
プロセッサ200の補正回路220Dには、各種対象疾患に対応する複数種類の補正マトリックス係数が保存されてもよい。診断対象の疾患に応じて補正マトリックス係数が切り替わることにより、それぞれの対象疾患で安定した(個体差によるばらつきの少ない)評価値計算が行われる。 The correction circuit 220D of the processor 200 may store a plurality of types of correction matrix coefficients corresponding to various target diseases. By changing the correction matrix coefficient according to the disease to be diagnosed, evaluation value calculation that is stable (small variation due to individual differences) is performed for each target disease.
また、上記の実施形態では、補正マトリックス係数を用いて電子内視鏡システム1(主に電子スコープ100の光学部品)の個体差による評価値のばらつきが抑えられているが、別の実施形態では、電子内視鏡システム1の個体差による評価値のばらつきを、補正マトリックス係数に代えてHueゲインで抑えるようにしてもよい。 In the above-described embodiment, variation in evaluation values due to individual differences in the electronic endoscope system 1 (mainly optical components of the electronic scope 100) is suppressed by using the correction matrix coefficient, but in another embodiment, The variation of evaluation values due to individual differences in the electronic endoscope system 1 may be suppressed by the Hue gain instead of the correction matrix coefficient.
また、上記の実施形態では、プロセッサ200とキャリブレーション用治具400とが別体の装置であるが、キャリブレーション用治具400は、プロセッサ200に内蔵されたものであってもよい。 In the above embodiment, the processor 200 and the calibration jig 400 are separate devices, but the calibration jig 400 may be built in the processor 200.
1 電子内視鏡システム
100 電子スコープ
102 LCB
104 配光レンズ
106 対物レンズ
108 固体撮像素子
112 ドライバ信号処理回路
114 メモリ
200 プロセッサ
202 システムコントローラ
204 タイミングコントローラ
206 ランプ電源イグナイタ
208 ランプ
210 集光レンズ
212 絞り
214 モータ
216 ドライバ
218 操作パネル
220 信号処理回路
220A プリプロセス回路
220B プロセス回路
220C 出力回路
220D 補正回路
220E スコアリング回路
220F マッピング回路
222 メモリ
400 キャリブレーション用治具
402 測定箱
402a 導入口
404 固定台
404a 取付部材
406 位置調節用コントローラ
406a 前進キー
406b 後退キー
406c 表示器
408 透過型チャート
410 LED照明装置
410rL、410gL、410bL LED列
410r 赤色LED
410g 緑色LED
410b 青色LED
412 拡散板
414 LED照明電源
414a 電源回路
414b 制御部
414c 明るさ調整つまみ
414rd、414gd、414bd 色調整つまみ
414e メモリ
414f チャート切替ボタン
416 駆動機構
VRr、VRg、VRb 可変抵抗器
1 Electronic Endoscope System 100 Electronic Scope 102 LCB
104 Light distribution lens 106 Objective lens 108 Solid-state imaging device 112 Driver signal processing circuit 114 Memory 200 Processor 202 System controller 204 Timing controller 206 Lamp power source igniter 208 Lamp 210 Condensing lens 212 Aperture 214 Motor 216 Driver 218 Operation panel 220 Signal processing circuit 220A Pre-processing circuit 220B Process circuit 220C Output circuit 220D Correction circuit 220E Scoring circuit 220F Mapping circuit 222 Memory 400 Calibration jig 402 Measurement box 402a Inlet 404 Fixing base 404a Mounting member 406 Position adjustment controller 406a Advance key 406b Reverse key 406c Display 408 Transmission type chart 410 LED illumination device 410rL, 410gL, 410 bL LED string 410r Red LED
410g Green LED
410b Blue LED
412 Diffuser plate 414 LED illumination power supply 414a Power supply circuit 414b Control unit 414c Brightness adjustment knob 414rd, 414gd, 414bd Color adjustment knob 414e Memory 414f Chart switching button 416 Drive mechanism VRr, VRg, VRb Variable resistor
Claims (5)
前記測定箱内で且つ前記電子スコープの画角内に透過型チャートをセットするセットステップと、
セットされた透過型チャートに対応する色合いを持つ光によって該透過型チャートを照射することにより、該透過型チャートをキャリブレーションの目標となる色に調整する調整ステップと、
目標となる色に調整された透過型チャートを前記電子スコープによって撮像する撮像ステップと、
撮像された透過型チャートの画像データに基づいて前記電子スコープによる撮影画像を構成する各画素の値を補正する補正値を算出する算出ステップと、
算出された補正値を記憶する記憶ステップと、
を含む、
キャリブレーション方法。 A calibration method for calibrating an electronic scope set in a measurement box,
A set step of setting a transmission chart within the measurement box and within the angle of view of the electronic scope;
An adjustment step of adjusting the transmissive chart to a calibration target color by irradiating the transmissive chart with light having a hue corresponding to the set transmissive chart;
An imaging step of imaging a transmission chart adjusted to a target color by the electronic scope;
A calculation step of calculating a correction value for correcting the value of each pixel constituting the image captured by the electronic scope based on the image data of the captured transmission chart;
A storage step for storing the calculated correction value;
including,
Calibration method.
を含み、
前記設定ステップにて、
前記セットステップにてセットされた透過型チャートに対応する前記割合を設定し、
前記調整ステップにて、
前記設定ステップにて設定された割合で前記光源の各色を発光させることにより、前記セットステップにてセットされた透過型チャートに対応する色合いを持つ光によって該透過型チャートを照射する、
請求項1に記載のキャリブレーション方法。 Including a setting step of setting a brightness ratio of each color with respect to a light source capable of independently adjusting the brightness of each of the plurality of colors;
In the setting step,
Set the ratio corresponding to the transmission chart set in the setting step,
In the adjustment step,
By illuminating each color of the light source at a ratio set in the setting step, the transmission chart is irradiated with light having a hue corresponding to the transmission chart set in the setting step.
The calibration method according to claim 1.
メモリに予め格納されているデータを用いて前記各色の明るさの割合を設定する、
請求項2に記載のキャリブレーション方法。 In the setting step,
Setting the ratio of brightness of each color using data stored in advance in memory;
The calibration method according to claim 2.
前記透過型チャートは、所定の疾患の色に調整される、
請求項1から請求項3の何れか一項に記載のキャリブレーション方法。 In the adjustment step,
The transmission chart is adjusted to a predetermined disease color,
The calibration method according to any one of claims 1 to 3.
前記算出ステップにて、
撮像された前記複数の透過型チャートの画像データに基づいて前記電子スコープによる撮影画像を構成する各画素の値を補正する補正値を算出する、
請求項1から請求項3の何れか一項に記載のキャリブレーション方法。 For each of the plurality of transmission charts, execute the set step, the irradiation step and the imaging step,
In the calculating step,
Calculating a correction value for correcting the value of each pixel constituting the image captured by the electronic scope based on the image data of the plurality of captured transmission charts;
The calibration method according to any one of claims 1 to 3.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016143570A JP2018011796A (en) | 2016-07-21 | 2016-07-21 | Calibration method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016143570A JP2018011796A (en) | 2016-07-21 | 2016-07-21 | Calibration method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018011796A true JP2018011796A (en) | 2018-01-25 |
Family
ID=61019665
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016143570A Pending JP2018011796A (en) | 2016-07-21 | 2016-07-21 | Calibration method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018011796A (en) |
-
2016
- 2016-07-21 JP JP2016143570A patent/JP2018011796A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6581730B2 (en) | Processor for electronic endoscope and electronic endoscope system | |
JP6125740B1 (en) | Endoscope system and evaluation value calculation device | |
JP6067264B2 (en) | Image processing apparatus and endoscope apparatus | |
JP6427280B2 (en) | Correction data generation method and correction data generation apparatus | |
JP2016015995A (en) | Electronic endoscope system, and processor for electronic endoscope | |
JP6591688B2 (en) | Processor for electronic endoscope and electronic endoscope system | |
JP6912608B2 (en) | Endoscope system | |
JP2017060806A (en) | Image processor and endoscope apparatus | |
JP6420358B2 (en) | Endoscope system and evaluation value calculation device | |
JP2022053845A (en) | Processor for endoscope and endoscope system | |
JP6433634B2 (en) | Processor for electronic endoscope and electronic endoscope system | |
JP6113387B1 (en) | Evaluation value calculation apparatus and electronic endoscope system | |
JP6926242B2 (en) | Electronic Endoscope Processor and Electronic Endoscope System | |
JP2018011796A (en) | Calibration method | |
JP2018023497A (en) | Color correction jig and electronic endoscope system | |
JP2018011797A (en) | Calibration effect confirmation method and indicator | |
JP7253632B2 (en) | Endoscope system and its operating method | |
WO2021065939A1 (en) | Endoscope system and method for operating same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170718 |