JP2020065685A - Endoscope system - Google Patents

Endoscope system Download PDF

Info

Publication number
JP2020065685A
JP2020065685A JP2018199811A JP2018199811A JP2020065685A JP 2020065685 A JP2020065685 A JP 2020065685A JP 2018199811 A JP2018199811 A JP 2018199811A JP 2018199811 A JP2018199811 A JP 2018199811A JP 2020065685 A JP2020065685 A JP 2020065685A
Authority
JP
Japan
Prior art keywords
image
score
medical condition
display
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018199811A
Other languages
Japanese (ja)
Inventor
広樹 渡辺
Hiroki Watanabe
広樹 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2018199811A priority Critical patent/JP2020065685A/en
Publication of JP2020065685A publication Critical patent/JP2020065685A/en
Pending legal-status Critical Current

Links

Images

Abstract

To provide an endoscope system which can highly accurately determine the seriousness or progress of a disease in an endoscopic examination.SOLUTION: An image signal acquisition unit 54 acquires a normal image signal by normal light and a special image signal by special light. A symptom score calculation unit 71 calculates a symptom score expressing the symptom of an observation object on the basis of each of the normal image signal and the special image signal. A symptom comparison unit 73 compares each symptom score by the instruction of a comparison object selection unit 72. A display processing unit 74 generates a high score display image by the special image when the symptom score by the special image is higher than the symptom score by the normal image. A display control unit 62 controls the display of the high score display image.SELECTED DRAWING: Figure 11

Description

本発明は、内視鏡システムに関する。   The present invention relates to an endoscope system.

医療分野において、生体内の観察対象を撮影する内視鏡システムが広く利用されている。内視鏡システムは、生体内に挿入され、観察対象を撮影して画像信号を出力する内視鏡と、画像信号に基づき、観察対象の観察画像を生成しこれをモニタに出力する内視鏡用プロセッサ装置(以下、プロセッサ装置という)とを備える。   In the medical field, an endoscope system for photographing an observation target in a living body is widely used. The endoscope system is an endoscope that is inserted into a living body, captures an observation target and outputs an image signal, and an endoscope that generates an observation image of the observation target based on the image signal and outputs the observation image to a monitor. Processor device (hereinafter, referred to as a processor device).

観察画像を利用した診断においては、疾患の重症度または疾患の進行度(ステージまたは病期等)の判定が行われることがある。疾患の重症度は、疾患の程度を示す指標であり、また、疾患の進行度は、疾患の進行を示す指標である。これらの指標は、疾患毎または観点毎等により基準が設定されている。   In the diagnosis using the observation image, the severity of the disease or the degree of progression of the disease (stage, stage, etc.) may be determined. The severity of the disease is an index showing the degree of the disease, and the degree of progression of the disease is an index showing the progress of the disease. The criteria for these indicators are set according to each disease or each viewpoint.

観察画像を利用した診断に関連する疾患の重症度としては、例えば、潰瘍性大腸炎における内視鏡指標の一つである、メイヨースコア(Mayo Score)が挙げられる。メイヨースコアでは、内視鏡を用いた大腸における患部の所見により、疾患の特徴の有無及び程度等から、グレード0及び1の軽症、グレード2の中等症またはグレード3の重症のいずれかに判定する。また、観察画像を利用した診断に関連する疾患の進行度としては、例えば、胃がんにおけるステージが挙げられる。胃がんにおけるステージは、病変の観察及び生検等により、腫瘍の深さ及び転移の状態を総合的に判定し、ステージIからIVまでに分類する。疾患の重症度または進行度は、治療方針の決定等において重要な判断材料となる。特に、重症度に応じた内科的治療が中心となる潰瘍性大腸炎等は、発症早期の的確な診断が重要であるため、内視鏡検査により重症度を高い精度で決定することが有益である。   Examples of the severity of a disease associated with diagnosis using an observation image include Mayo Score, which is one of the endoscopic indexes in ulcerative colitis. The Mayo score determines whether the disease is grade 0 or 1 mild, grade 2 moderate, or grade 3 based on the presence or absence of disease features and the degree of disease based on the findings of the large intestine using an endoscope. . Moreover, examples of the degree of progression of a disease associated with diagnosis using an observation image include a stage in gastric cancer. The stages in gastric cancer are classified into stages I to IV by comprehensively determining the depth of the tumor and the state of metastasis by observing lesions and biopsy. The severity or the degree of progression of the disease is an important criterion for determining the treatment policy. In particular, for ulcerative colitis, etc., which mainly involves medical treatment according to the severity, it is important to make an accurate diagnosis in the early stage of onset, so it is useful to determine the severity with endoscopy with high accuracy. is there.

内視鏡システムには、生体内の観察部位に白色の通常光を照射して、生体組織の表面の全体的な性状を観察する通常モードと、観察部位に特殊光を照射して観察を行う特殊モードを備えるものがある。特殊モードでは、特殊光として、例えば波長が制限された挟帯域の光を患部に照射することにより、白色の通常光では見えなかった、独特な血管形状または粘膜凹凸形状等の疾患特徴を捉えることが可能である。   The endoscope system irradiates the observation site in the living body with white normal light to observe the overall properties of the surface of the living tissue, and the special light is irradiated to the observation region to perform observation. Some have special modes. In the special mode, as a special light, for example, by irradiating the affected area with a narrow band of light with a limited wavelength, it is possible to capture disease features such as unique blood vessel shape or mucous membrane uneven shape that could not be seen with white normal light. Is possible.

したがって、場合にもよるが、この特殊モードにより、疾患の重症度または進行度の判定の元となる患部の状態または疾患の特徴を詳細に観察することができる。そのため、特殊モードにより、通常光下で観察する通常モードよりも、精度の高い重症度または進行度の判定結果を提供することが可能である。なお、精度が高いとは、具体的には、患部の実際の重症度または進行度と、内視鏡検査により判定した重症度または進行度とが、一致する割合が高いことを意味する。   Therefore, depending on the case, this special mode allows detailed observation of the condition of the affected area or the characteristics of the disease, which is the basis for determining the severity or progression of the disease. Therefore, with the special mode, it is possible to provide a more accurate determination result of severity or progress than in the normal mode of observing under normal light. Note that “high accuracy” specifically means that the actual severity or progress of the affected area and the severity or progress determined by endoscopy are highly consistent.

特殊モードを用いる例としては、通常モードと特殊モードとを用い、ぼけの少ない蛍光画像を得ることにより、疾患の進行状況の解析を行う画像処理装置が開示されている(特許文献1)。また、特殊モードにおいて、酸素飽和度に関する病状スコアに基づく情報を表示部に表示することにより、より正確かつ詳細な診断を行う内視鏡システムが開示されている(特許文献2)。   As an example of using the special mode, there is disclosed an image processing device that analyzes the progress of a disease by using a normal mode and a special mode to obtain a fluorescence image with less blurring (Patent Document 1). Further, there is disclosed an endoscope system that performs more accurate and detailed diagnosis by displaying information based on a medical condition score regarding oxygen saturation on a display unit in a special mode (Patent Document 2).

国際公開第2017/175452号International Publication No. 2017/175452 特開2015−085152号公報JP, 2005-085152, A

内視鏡検査においては、通常は自然な色で見ることができる通常モードが用いられ、医師が特に注意して観察したい箇所について、上記のような特殊モードを用いるといった使われ方をする場合が多い。しかしながら、この場合は、医師が意図しない限り特殊モードへの切り替えがなされない。そのため、特殊モードで観察した場合には疾患特徴を捉えることができる観察部位であっても、通常モードでの観察ではその疾患特徴を捉えることができず、通常モードのみで診断を行うことにより重症度または進行度の判定の精度が低い箇所が発生するという問題が発生することがあった。   In endoscopy, the normal mode that can be seen in natural colors is usually used, and the doctor may use the special mode as described above for the part to be observed with particular attention. Many. However, in this case, switching to the special mode is not performed unless the doctor intends. Therefore, even when the observation site is capable of capturing the disease feature when observing in the special mode, the disease feature cannot be captured by the observation in the normal mode. There was a problem that a part with low accuracy in determining the degree of progress or progress occurs.

そこで、本発明は、内視鏡検査において疾患の重症度または進行度を高い精度で判定することができる内視鏡システムを提供することを目的とする。   Therefore, it is an object of the present invention to provide an endoscope system capable of highly accurately determining the severity or progress of a disease in endoscopy.

本発明の内視鏡システムは、互いに発光スペクトルが異なる第1照明光と第2照明光とを発光する光源部と、第1照明光で照明中の観察対象を撮像して第1画像信号を取得し、かつ、第2照明光で照明中の観察対象を撮像して第2画像信号を取得する画像信号取得部と、第1画像信号に基づいて第1特徴量を算出し、かつ、第2画像信号に基づいて第2特徴量を算出する特徴量算出部と、第1画像信号に基づいて観察対象の病状を表す第1病状スコアを算出し、かつ、第2画像信号に基づいて観察対象の病状を表す第2病状スコアを算出する病状スコア算出部と、第1特徴量と第2特徴量とを比較する、または、第1病状スコアと第2病状スコアとを比較する病状比較部と、第2特徴量が第1特徴量よりも大きい場合、または、第2病状スコアが第1病状スコアよりも大きい場合に、第2画像信号を用いて高スコア表示画像を生成する表示処理部と、高スコア表示画像の表示を制御する表示制御部とを備える。   The endoscope system of the present invention captures a first image signal by capturing an image of an observation target illuminated with the first illumination light and a light source unit that emits first illumination light and second illumination light having emission spectra different from each other. An image signal acquisition unit that acquires and acquires a second image signal by imaging an observation target that is being illuminated by the second illumination light, and calculates a first feature amount based on the first image signal, and A feature amount calculator that calculates a second feature amount based on the two image signals, a first medical condition score that indicates the medical condition of the observation target based on the first image signal, and an observation based on the second image signal A medical condition score calculation unit that calculates a second medical condition score representing the medical condition of the target, and a medical condition comparison unit that compares the first characteristic amount and the second characteristic amount, or that compares the first medical condition score and the second medical condition score. And the second feature amount is larger than the first feature amount, or the second medical condition score If There is larger than the first condition score comprises a display processor for generating a high-score display image using the second image signal, and a display control unit for controlling the display of high-score display image.

第1照明光は、白色光であり、第2照明光は、特殊光であることが好ましい。   It is preferable that the first illumination light is white light and the second illumination light is special light.

病状比較部が比較する対象として、第1特徴量と第2特徴量とを用いるか、または、第1病状スコアと第2病状スコアとを用いるかのいずれかを指定する比較対象選択部を備えることが好ましい。   The medical condition comparing unit includes a comparison target selecting unit that specifies either the first characteristic amount and the second characteristic amount, or the first medical condition score and the second medical condition score, as targets to be compared. It is preferable.

第1病状スコア及び第2病状スコアは、疾患の重症度または疾患の進行度を含むことが好ましい。   The first medical condition score and the second medical condition score preferably include disease severity or disease progression.

第1特徴量及び第2特徴量は、血管、腺管または粘膜に基づく値を含むことが好ましい。   It is preferable that the first characteristic amount and the second characteristic amount include a value based on a blood vessel, a duct, or a mucous membrane.

高スコア表示画像は、第2画像信号による第2画像であることが好ましい。   The high score display image is preferably the second image based on the second image signal.

高スコア表示画像は、第2画像信号により第1画像信号を処理することにより生成した第1強調画像であることが好ましい。   The high score display image is preferably a first emphasized image generated by processing the first image signal with the second image signal.

高スコア表示画像は、第2画像信号により第2画像信号を処理することにより生成した第2強調画像であることが好ましい。   The high score display image is preferably a second emphasized image generated by processing the second image signal with the second image signal.

表示制御部は、高スコア表示画像の表示に先立ち、高スコア表示画像の存在に係る通知を行うことが好ましい。   It is preferable that the display control unit gives a notification regarding the existence of the high score display image before displaying the high score display image.

通知は、警告の表示であることが好ましい。   The notification is preferably a warning display.

音、光または振動を発生する通知部を備え、通知は、通知部による、音、光または振動の発生であることが好ましい。   It is preferable that a notification unit that generates sound, light, or vibration is provided, and that the notification is generation of sound, light, or vibration by the notification unit.

高スコア表示画像の表示の指示を受け付ける指示部を備え、表示制御部は、通知の後、指示部による指示に従って、高スコア表示画像を表示することが好ましい。   It is preferable that the display control unit includes an instruction unit that receives an instruction to display the high score display image, and the display control unit displays the high score display image in accordance with the instruction from the instruction unit after the notification.

表示制御部は、第2病状スコアが第1病状スコアよりも大きい場合に、高スコア表示画像を表示することが好ましい。   It is preferable that the display control unit displays the high score display image when the second medical condition score is higher than the first medical condition score.

表示制御部は、第1画像信号に基づく第1画像を表示している場合において。第2病状スコアが第1病状スコアよりも大きい場合に、第1画像信号から高スコア表示画像に切り替えて表示することが好ましい。   The display control unit displays the first image based on the first image signal. When the second medical condition score is higher than the first medical condition score, it is preferable to switch from the first image signal to the high score display image for display.

表示制御部は、第1画像信号に基づく第1画像を表示している場合において。第1病状スコアが第2病状スコア以上である場合に、第1画像信号に基づく第1画像を継続して表示することが好ましい。   The display control unit displays the first image based on the first image signal. It is preferable to continuously display the first image based on the first image signal when the first medical condition score is equal to or higher than the second medical condition score.

表示制御部は、第1画像信号に基づく第1画像と高スコア表示画像との両者を表示することが好ましい。   The display control unit preferably displays both the first image based on the first image signal and the high score display image.

表示制御部は、第1画像信号に基づく第1画像を、高スコア表示画像よりも大きい表示領域で表示することが好ましい。   The display control unit preferably displays the first image based on the first image signal in a display area larger than the high score display image.

表示制御部は、第1画像信号に基づく第1画像を、高スコア表示画像よりも小さい表示領域で表示することが好ましい。   The display control unit preferably displays the first image based on the first image signal in a display area smaller than the high score display image.

表示制御部は、第2病状スコアが第1病状スコアよりも大きい場合に、第1画像信号に基づく画像から高スコア表示画像への表示に切り替えることが好ましい。   It is preferable that the display control unit switches the image based on the first image signal to the high score display image when the second medical condition score is higher than the first medical condition score.

本発明の内視鏡システムは、内視鏡検査において疾患の重症度または進行度を精度良く判定することができる。   INDUSTRIAL APPLICABILITY The endoscopic system of the present invention can accurately determine the severity or progression of a disease in endoscopy.

内視鏡システムの外観図である。It is an external view of an endoscope system. 内視鏡システムの機能を示すブロック図である。It is a block diagram showing a function of an endoscope system. 通常光の分光スペクトルを示すグラフである。It is a graph which shows the spectrum of normal light. 通常光の分光スペクトルを示すグラフである。It is a graph which shows the spectrum of normal light. 特殊光の分光スペクトルを示すグラフである。It is a graph which shows the spectrum of special light. 画像処理部の機能示すブロック図である。It is a block diagram which shows the function of an image processing part. 判定モード用処理部の機能を示すブロック図である。It is a block diagram which shows the function of the process part for determination modes. 特徴量算出部の機能を示すブロック図である。It is a block diagram showing a function of a feature quantity calculation unit. 病状スコア算出部の機能を示すブロック図である。It is a block diagram which shows the function of a medical condition score calculation part. 表示処理部の機能を示すブロック図である。It is a block diagram which shows the function of a display processing part. 画像と、特徴量および病状スコアとの関連を示す説明図である。It is explanatory drawing which shows the relationship between an image, a feature value, and a medical condition score. 画像と、特徴量および病状スコアとの関連を示す説明図である。It is explanatory drawing which shows the relationship between an image, a feature value, and a medical condition score. 取得した画像と、表示画像との関連を示す説明図である。It is explanatory drawing which shows the relationship between the acquired image and a display image. 取得した画像と、表示画像との関連を示す説明図である。It is explanatory drawing which shows the relationship between the acquired image and a display image. 取得した画像と、表示画像との関連を示す説明図である。It is explanatory drawing which shows the relationship between the acquired image and a display image. モニタに表示される画像の説明図である。It is explanatory drawing of the image displayed on a monitor. モニタに表示される画像の説明図である。It is explanatory drawing of the image displayed on a monitor. モニタに表示される画像の説明図である。It is explanatory drawing of the image displayed on a monitor. モニタに表示される画像の説明図である。It is explanatory drawing of the image displayed on a monitor. モニタに表示される画像の説明図である。It is explanatory drawing of the image displayed on a monitor. 判定モードにおける処理手順の流れを示すフロー図である。It is a flow figure showing the flow of the processing procedure in judgment mode.

図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、ユーザーインターフェース19とを備える。内視鏡12は、生体内の観察対象に照明光を照射し、照明光で照射された観察対象を撮影して画像信号を出力する。光源装置14は、観察対象に照射する照明光を内視鏡12に供給する。プロセッサ装置16は、画像信号に基づき観察対象の観察画像を生成し、内視鏡システム10のシステム制御及び画像処理等を行う。モニタ18は、プロセッサ装置16から出力された画像を表示する表示部である。ユーザーインターフェース19は、プロセッサ装置16等への設定入力等を行う入力デバイスであり、キーボードKBおよびマウスMS等から構成する。プロセッサ装置16は、モニタ18及びユーザーインターフェース19と電気的に接続する。   As shown in FIG. 1, the endoscope system 10 includes an endoscope 12, a light source device 14, a processor device 16, a monitor 18, and a user interface 19. The endoscope 12 illuminates an observation target in the living body with illumination light, photographs the observation target illuminated with the illumination light, and outputs an image signal. The light source device 14 supplies the endoscope 12 with the illumination light with which the observation target is irradiated. The processor device 16 generates an observation image of the observation target based on the image signal, and performs system control and image processing of the endoscope system 10. The monitor 18 is a display unit that displays the image output from the processor device 16. The user interface 19 is an input device for inputting settings to the processor device 16 and the like, and includes a keyboard KB, a mouse MS, and the like. The processor device 16 is electrically connected to the monitor 18 and the user interface 19.

内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けた操作部12bと、挿入部12aの先端側に設けた湾曲部12cと、先端部12dとを有する。操作部12bのアングルノブ13aを操作することにより、湾曲部12cが湾曲する。湾曲部12cが湾曲することにより、先端部12dが所望の方向に向く。先端部12dには、観察対象に向けて空気や水等を噴射する噴射口(図示しない)を設けている。   The endoscope 12 includes an insertion portion 12a to be inserted into a subject, an operation portion 12b provided at a proximal end portion of the insertion portion 12a, a bending portion 12c provided at a distal end side of the insertion portion 12a, and a distal end portion 12d. Have. The bending portion 12c is bent by operating the angle knob 13a of the operation portion 12b. By bending the bending portion 12c, the tip portion 12d faces in a desired direction. The tip 12d is provided with an ejection port (not shown) for ejecting air, water, or the like toward the observation target.

また、操作部12bには、アングルノブ13aの他、観察モードの切り替え操作に用いるモード切替部13b、モニタ18に表示する画像の指示を受け付ける指示部である表示指示部13c、その他各種の選択または指示等の操作を行うスコープスイッチ13eおよびズーム操作部13dを設けている。   In addition to the angle knob 13a, the operation unit 12b includes a mode switching unit 13b used for switching the observation mode, a display instructing unit 13c that is an instructing unit that receives an instruction of an image to be displayed on the monitor 18, and other various selections or A scope switch 13e and a zoom operation unit 13d for performing operations such as instructions are provided.

モード切替部13bを押下することにより、内視鏡システム10が有する通常モードと、特殊モードと、判定モードとが、順に切り替わる。観察モードが通常モードである場合、複数色の光を通常モード用の光量比Lcで合波した通常光を発光し、かつ、この通常光で照明中の観察対象を撮像して得られた通常画像をモニタ18に表示する。また、観察モードが特殊モードである場合、複数色の光を特殊モード用の光量比Lsで合波した特殊光を発光し、かつ、この特殊光で照明中の観察対象を撮像して得られた特殊画像をモニタ18に表示する。光量比Lcと光量比Lsとは異なるため、通常光と特殊光とは、互いに発光スペクトルが異なる。なお、モニタ18に表示する画像は、適宜設定可能である。   By pressing the mode switching unit 13b, the normal mode, the special mode, and the determination mode of the endoscope system 10 are sequentially switched. When the observation mode is the normal mode, the normal light obtained by combining the light of a plurality of colors with the light amount ratio Lc for the normal mode to emit normal light, and imaging the observation target illuminated with the normal light is used. The image is displayed on the monitor 18. Further, when the observation mode is the special mode, it is obtained by combining the plural colors of light with the light amount ratio Ls for the special mode to emit special light, and imaging the observation target being illuminated with the special light. The special image is displayed on the monitor 18. Since the light amount ratio Lc and the light amount ratio Ls are different, the emission spectra of the normal light and the special light are different from each other. The image displayed on the monitor 18 can be set appropriately.

また、観察モードが判定モードである場合、通常光と特殊光を交互に発光する。そして、通常光で照明中の観察対象を撮像した通常画像を得て、かつ、特殊光で照明中の観察対象を撮像した特殊画像を得る。判定モードでは、モニタ18に、最初に通常画像を表示する。また、内視鏡システム10は、通常画像及び特殊画像のそれぞれに基づき算出したそれぞれの特徴量または病状スコアによって、モニタ18に表示する画像を制御する。特徴量とは、画像信号の所定の画像的特徴を比較できるように数値化または分類したものである。病状スコアとは、観察対象の病状を示す指標であり、疾患の重症度または疾患の進行度を含む。   When the observation mode is the determination mode, normal light and special light are emitted alternately. Then, a normal image obtained by picking up the observation target being illuminated by the normal light is obtained, and a special image obtained by picking up the observation target being illuminated by the special light is obtained. In the judgment mode, the normal image is first displayed on the monitor 18. In addition, the endoscope system 10 controls the image displayed on the monitor 18 according to the respective feature amounts or the medical condition scores calculated based on the normal image and the special image, respectively. The feature amount is a value that is digitized or classified so that predetermined image features of the image signal can be compared. The medical condition score is an index indicating the medical condition of the observation target, and includes the severity of the disease or the progress of the disease.

表示指示部13cを操作することによって、モニタ18に表示する画像を切り替える等の指示を行うことができる。ズーム操作部13dを操作することによって、観察対象を拡大または縮小して撮像することができる。また、挿入部12aから先端部12dにわたって、処置具などを挿通するための鉗子チャンネル(図示しない)を設けている。処置具は、鉗子入口12eから鉗子チャンネル内に挿入する。内視鏡12は、光源装置14と光学的に接続し、かつ、プロセッサ装置16と電気的に接続する。   By operating the display instruction section 13c, it is possible to give an instruction such as switching the image displayed on the monitor 18. By operating the zoom operation unit 13d, the observation target can be magnified or reduced to capture an image. Further, a forceps channel (not shown) for inserting a treatment tool or the like is provided from the insertion portion 12a to the tip portion 12d. The treatment tool is inserted into the forceps channel from the forceps inlet 12e. The endoscope 12 is optically connected to the light source device 14 and electrically connected to the processor device 16.

図2に示すように、光源装置14は、観察対象の照明に用いる照明光を発する光源部20と、光源部20を制御する光源制御部22とを備えている。光源部20は、複数色のLED(Light Emitting Diode)の半導体光源である。光源制御部22は、LEDのオン/オフや、LEDの駆動電流や駆動電圧の調整によって、照明光の発光量を制御する。   As shown in FIG. 2, the light source device 14 includes a light source unit 20 that emits illumination light used to illuminate an observation target, and a light source control unit 22 that controls the light source unit 20. The light source unit 20 is a semiconductor light source of LEDs (Light Emitting Diodes) of a plurality of colors. The light source control unit 22 controls the light emission amount of the illumination light by turning on / off the LED and adjusting the drive current and drive voltage of the LED.

光源部20は、V−LED(Violet Light Emitting Diode)20a、B−LED(Blue Light Emitting Diode)20b、G−LED(Green Light Emitting Diode)20c、及びR−LED(Red Light Emitting Diode)20dの4色のLEDと、波長カットフィルタ23とを有している。   The light source unit 20 is a V-LED (Violet Light Emitting Diode) 20a, a B-LED (Blue Light Emitting Diode) 20b, a G-LED (Green Light Emitting Diode) 20c, and an R-LED (Red Lighting) Emitting Light. It has LEDs of four colors and a wavelength cut filter 23.

図3に示すように、V−LED20aは、波長帯域380nm〜420nmの紫色光Vを発する。B−LED20bは、波長帯域420nm〜500nmの青色光Bを発する。B−LED23bから出射した青色光Bのうち少なくともピーク波長の450nmよりも長波長側は、波長カットフィルタ23によりカットされる。これにより、波長カットフィルタ23を透過した後の青色光Bxは、420〜460nmの波長範囲になる。このように、460nmよりも長波長側の波長域の光をカットしているのは、この460nmよりも長波長側の波長域の光は、観察対象である血管の血管コントラストを低下させる要因であるためである。なお、波長カットフィルタ23は、460nmよりも長波長側の波長域の光をカットする代わりに、460nmよりも長波長側の波長域の光を減光させてもよい。   As shown in FIG. 3, the V-LED 20a emits violet light V having a wavelength band of 380 nm to 420 nm. The B-LED 20b emits blue light B having a wavelength band of 420 nm to 500 nm. The wavelength cut filter 23 cuts at least a long wavelength side of the peak wavelength of 450 nm of the blue light B emitted from the B-LED 23b. As a result, the blue light Bx after passing through the wavelength cut filter 23 has a wavelength range of 420 to 460 nm. In this way, the light in the wavelength range longer than 460 nm is cut off because the light in the wavelength range longer than 460 nm is a factor that reduces the blood vessel contrast of the blood vessel to be observed. Because there is. The wavelength cut filter 23 may reduce the light in the wavelength range longer than 460 nm instead of cutting the light in the wavelength range longer than 460 nm.

G−LED20cは、波長帯域が480nm〜600nmに及ぶ緑色光Gを発する。R−LED20dは、波長帯域が600nm〜650nmに及び赤色光Rを発する。なお、各LED20a〜20dから発せられる光は、それぞれの中心波長とピーク波長とが同じであっても良いし、異なっていても良い。   The G-LED 20c emits green light G whose wavelength band extends from 480 nm to 600 nm. The R-LED 20d emits red light R in a wavelength band of 600 nm to 650 nm. The light emitted from each of the LEDs 20a to 20d may have the same central wavelength or the same peak wavelength, or may have different peak wavelengths.

光源制御部22は、各LED20a〜20dの点灯や消灯、及び点灯時の発光量等を独立に制御することによって、照明光の発光タイミング、発光期間、光量、及び分光スペクトルの調節を行う。光源制御部22における点灯及び消灯の制御は、観察モードごとに異なっている。なお、基準の明るさはユーザーインターフェース19等によって設定可能である。   The light source control unit 22 adjusts the light emission timing of the illumination light, the light emission period, the light amount, and the spectrum by independently controlling the lighting and extinguishing of each of the LEDs 20a to 20d, the light emitting amount at the time of lighting, and the like. The control of turning on and off in the light source control unit 22 is different for each observation mode. The reference brightness can be set by the user interface 19 or the like.

通常モードの場合、光源制御部22は、V−LED20a、B−LED20b、G−LED20c、及びR−LED20dを全て点灯させる。その際、図4に示すように、紫色光V、青色光Bx、緑色光G、及び赤色光R間の光量比Lcは、青色光Bxの光強度のピークが、紫色光V、緑色光G、及び赤色光Rのいずれの光強度のピークよりも大きくなるように設定されている。これにより、通常モードでは、光源装置14から、紫色光V、青色光Bx、緑色光G、及び赤色光Rを含む通常モード用の多色光が、通常光として発せられる。通常光は、青色帯域から赤色帯域まで一定以上の強度を有しているため、ほぼ白色の白色光である。なお、白色光は、キセノンランプが発する白色光のように、青色成分、緑色成分、赤色成分の波長帯域をすべて含む広帯域光だけでなく、青色成分、緑色成分、赤色成分の少なくとも3色のそれぞれの波長帯域の光を混合した照明光も含む。   In the normal mode, the light source control unit 22 turns on all of the V-LED 20a, the B-LED 20b, the G-LED 20c, and the R-LED 20d. At that time, as shown in FIG. 4, in the light amount ratio Lc among the violet light V, the blue light Bx, the green light G, and the red light R, the peak of the light intensity of the blue light Bx is the violet light V and the green light G. , And the light intensity of the red light R is set to be larger than the peak of the light intensity. As a result, in the normal mode, the light source device 14 emits the normal mode polychromatic light including the violet light V, the blue light Bx, the green light G, and the red light R as the normal light. The ordinary light is almost white white light because it has a certain intensity or more from the blue band to the red band. It should be noted that white light is not only wide band light including all wavelength bands of blue component, green component, and red component, like white light emitted from a xenon lamp, but also at least three colors of blue component, green component, and red component. It also includes illumination light that is a mixture of light in the wavelength band of.

特殊モードの場合、光源制御部22は、V−LED20a、B−LED20b、G−LED20c、及びR−LED20dを全て点灯させる。その際、図5に示すように、紫色光V、青色光Bx、緑色光G、及び赤色光R間の光量比Lsは、紫色光Vの光強度のピークが、青色光Bx、緑色光G、及び赤色光Rのいずれの光強度のピークよりも大きくなるように設定されている。これにより、特殊モードでは、光源装置14から、紫色光V、青色光Bx、緑色光G、及び赤色光Rを含む特殊モード用の多色光が、特殊光として発せられる。特殊光は、紫色光Vが占める割合が大きいことから、青みを帯びた光となっている。なお、特殊光は、4色全ての光が含まれていなくてもよく、4色のLED20a〜20dのうち少なくとも1色のLEDからの光が含まれていればよい。なお、光強度は、光の光束の単位立体角内の密度であり、光量は、光の放射エネルギーを人間の感覚(視感度)に基づき評価した値である。   In the special mode, the light source control unit 22 turns on all of the V-LED 20a, the B-LED 20b, the G-LED 20c, and the R-LED 20d. At that time, as shown in FIG. 5, in the light amount ratio Ls among the violet light V, the blue light Bx, the green light G, and the red light R, the peak of the light intensity of the violet light V is the blue light Bx, the green light G. , And the light intensity of the red light R is set to be larger than the peak of the light intensity. As a result, in the special mode, the light source device 14 emits polychromatic light for the special mode including the purple light V, the blue light Bx, the green light G, and the red light R as the special light. The special light is bluish light because a large proportion of the purple light V occupies it. The special light does not have to include all four colors of light as long as it includes light from at least one of the four colors of LEDs 20a to 20d. The light intensity is a density of a light flux within a unit solid angle, and the light amount is a value obtained by evaluating the radiant energy of light based on human sense (visual sensitivity).

判定モードの場合、光源制御部22は、通常光と特殊光が、1フレームごとに交互に発光されるように、V−LED20a、B−LED20b、G−LED20c、及びR−LED20dを制御する。即ち、光源制御部22は、V−LED20a、B−LED20b、G−LED20c、及びR−LED20dを全て点灯させ、その際に、紫色光V、青色光Bx、緑色光G、及び赤色光R間の光量比Lcと光量比Lsとを、1フレームごとに交互に切り替える制御を行う。1秒間あたりのフレーム数(静止画像数)は、例えば、60fps(Frame per second)である。したがって、判定モードにおいて、光源制御部22は、通常光と特殊光とが1/60秒毎に切り替わるように制御する。以上のように、光源部20は、互いに発光スペクトルが異なる通常光(白色光(第1照明光))と特殊光(第2照明光)とを発光する。   In the determination mode, the light source control unit 22 controls the V-LED 20a, the B-LED 20b, the G-LED 20c, and the R-LED 20d so that the normal light and the special light are alternately emitted for each frame. That is, the light source control unit 22 turns on all of the V-LED 20a, the B-LED 20b, the G-LED 20c, and the R-LED 20d, and at that time, between the purple light V, the blue light Bx, the green light G, and the red light R. The light amount ratio Lc and the light amount ratio Ls are alternately switched for each frame. The number of frames (the number of still images) per second is, for example, 60 fps (Frame per second). Therefore, in the determination mode, the light source control unit 22 controls so that the normal light and the special light are switched every 1/60 seconds. As described above, the light source unit 20 emits normal light (white light (first illumination light)) and special light (second illumination light) having different emission spectra.

図2に示すように、光源部20が発光した照明光は、ライトガイド41に入射する。ライトガイド41は、内視鏡12及びユニバーサルコード(図示しない)内に内蔵されており、照明光を内視鏡12の先端部12dまで伝搬する。ユニバーサルコードは、内視鏡12と光源装置14及びプロセッサ装置16とを接続するコードである。なお、ライトガイド41としては、マルチモードファイバを使用できる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルを使用できる。   As shown in FIG. 2, the illumination light emitted by the light source unit 20 enters the light guide 41. The light guide 41 is built in the endoscope 12 and a universal cord (not shown), and propagates the illumination light to the tip portion 12d of the endoscope 12. The universal cord is a cord that connects the endoscope 12, the light source device 14, and the processor device 16. A multimode fiber can be used as the light guide 41. As an example, it is possible to use a thin fiber cable having a core diameter of 105 μm, a clad diameter of 125 μm, and a diameter of φ0.3 to 0.5 mm including a protective layer serving as an outer cover.

内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bを設けている。照明光学系30aは、照明レンズ45を有しており、この照明レンズ45を介して照明光が観察対象に向けて出射する。撮像光学系30bは、対物レンズ46、ズームレンズ47、及びイメージセンサ48を有している。イメージセンサ48は、対物レンズ46及びズームレンズ47を介して、観察対象から戻る照明光の反射光等(反射光の他、散乱光、観察対象が発する蛍光、または、観察対象に投与等した薬剤に起因した蛍光等を含む)を用いて観察対象を撮像する。   An illumination optical system 30a and an imaging optical system 30b are provided at the tip portion 12d of the endoscope 12. The illumination optical system 30a has an illumination lens 45, and the illumination light is emitted toward the observation target via the illumination lens 45. The imaging optical system 30b has an objective lens 46, a zoom lens 47, and an image sensor 48. The image sensor 48 reflects the illumination light returning from the observation target through the objective lens 46 and the zoom lens 47 (in addition to the reflected light, the scattered light, the fluorescence emitted from the observation target, or the drug administered to the observation target). The observation target is imaged using (including fluorescence or the like caused by the above).

ズームレンズ47は、ズーム操作部13dの操作をすることで移動し、イメージセンサ48を用いて撮像する観察対象を拡大または縮小する。   The zoom lens 47 moves by operating the zoom operation unit 13d, and enlarges or reduces the observation target imaged using the image sensor 48.

イメージセンサ48は、例えば原色系のカラーフィルタを有するカラーセンサであり、青色カラーフィルタを有するB画素(青色画素)、緑色カラーフィルタを有するG画素(緑色画素)、及び、赤色カラーフィルタを有するR画素(赤色画素)の3種類の画素を備える。青色カラーフィルタは、主として紫色から青色の光を透過する。緑色カラーフィルタは、主として緑色の光を透過する。赤色カラーフィルタは、主として赤色の光を透過する。上記のように原色系のイメージセンサ48を用いて観察対象を撮像すると、最大で、B画素から得るB画像(青色画像)、G画素から得るG画像(緑色画像)、及び、R画素から得るR画像(赤色画像)の3種類の画像を同時に得ることができる。   The image sensor 48 is, for example, a color sensor having a primary color filter, and has a B pixel (blue pixel) having a blue color filter, a G pixel (green pixel) having a green color filter, and an R pixel having a red color filter. It has three types of pixels (red pixels). The blue color filter mainly transmits purple to blue light. The green color filter mainly transmits green light. The red color filter mainly transmits red light. When the observation target is imaged using the primary color image sensor 48 as described above, the maximum is obtained from the B image (blue image) obtained from the B pixel, the G image (green image) obtained from the G pixel, and the R pixel. It is possible to simultaneously obtain three types of R images (red images).

なお、イメージセンサ48としては、CCD(Charge Coupled Device)センサや、CMOS(Complementary Metal Oxide Semiconductor)センサを利用可能である。また、本実施形態のイメージセンサ48は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色−原色色変換をすれば、B画像、G画像、及びR画像に変換できる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ48として使用できる。この場合、BGR等各色の照明光を用いて観察対象を順次撮像することにより、上記各色の画像を得ることができる。   As the image sensor 48, a CCD (Charge Coupled Device) sensor or a CMOS (Complementary Metal Oxide Semiconductor) sensor can be used. Further, although the image sensor 48 of the present embodiment is a primary color type color sensor, a complementary color type color sensor can also be used. The complementary color sensor includes, for example, a cyan pixel provided with a cyan color filter, a magenta pixel provided with a magenta color filter, a yellow pixel provided with a yellow color filter, and a green pixel provided with a green color filter. Have. An image obtained from the pixels of each color when a complementary color sensor is used can be converted into a B image, a G image, and an R image by performing complementary color-primary color conversion. Further, instead of the color sensor, a monochrome sensor without a color filter can be used as the image sensor 48. In this case, the image of each color can be obtained by sequentially capturing the observation target using illumination light of each color such as BGR.

プロセッサ装置16は、中央制御部52と、画像信号取得部54と、画像処理部61と、表示制御部62とを有する。中央制御部52は、光源制御部22およびイメージセンサ48を制御することによる照明光の照射タイミングと撮像のタイミングの同期制御等、内視鏡システム10の統括的な制御を行う。通常モードでは、照明光として通常光を発光して通常画像信号を画像信号取得部54に入力する。特殊モードでは、照明光として特殊光を発光して特殊画像信号を画像信号取得部54に入力する。判定モードでは、照明光として通常光で照明中の観察対象を撮像する通常画像信号を画像信号取得部54に入力し、照明光として特殊光で照明中の観察対象を撮像して特殊画像信号を画像信号取得部54に入力することを、1フレーム毎に切り替えて行う。また、内視鏡12またはユーザーインターフェース19等を用いて、各種設定の入力等をした場合には、中央制御部52は、入力された各種設定を、光源制御部22、イメージセンサ48、または画像処理部61等の内視鏡システム10の各部に入力する。   The processor device 16 includes a central control unit 52, an image signal acquisition unit 54, an image processing unit 61, and a display control unit 62. The central control unit 52 performs overall control of the endoscope system 10, such as synchronous control of illumination light irradiation timing and image pickup timing by controlling the light source control unit 22 and the image sensor 48. In the normal mode, normal light is emitted as illumination light and a normal image signal is input to the image signal acquisition unit 54. In the special mode, special light is emitted as illumination light and a special image signal is input to the image signal acquisition unit 54. In the determination mode, a normal image signal for capturing the observation target being illuminated with the normal light as the illumination light is input to the image signal acquisition unit 54, and the observation target being illuminated with the special light is used as the illumination light to generate the special image signal. The input to the image signal acquisition unit 54 is switched for each frame. When various settings are input using the endoscope 12, the user interface 19, or the like, the central control unit 52 changes the input settings to the light source control unit 22, the image sensor 48, or the image. Input to each part of the endoscope system 10 such as the processing part 61.

画像信号取得部54は、イメージセンサ48から、観察対象を撮像した画像信号を取得する。具体的には、中央制御部52の制御により、通常光で照明中の観察対象を撮像する通常画像信号を取得し、かつ、照明光として特殊光で照明中の観察対象を撮像して特殊画像信号取得する。通常画像信号の取得と特殊画像信号の取得とは、1フレーム毎に切り替えて行われる。画像信号取得部54は、DSP(Digital Signal Processor)56と、ノイズ低減部58と、変換部59とを有し、これらを用いて、取得した画像信号に必要に応じて各種処理を施す。DSP56は、取得した画像信号に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種処理を施す。   The image signal acquisition unit 54 acquires, from the image sensor 48, an image signal of the observation target. Specifically, under the control of the central control unit 52, a normal image signal for capturing an observation target being illuminated with normal light is acquired, and an observation target being illuminated with special light is used as illumination light to capture a special image. Get the signal. The acquisition of the normal image signal and the acquisition of the special image signal are switched for each frame. The image signal acquisition unit 54 has a DSP (Digital Signal Processor) 56, a noise reduction unit 58, and a conversion unit 59, and uses these to perform various processes on the acquired image signal as necessary. The DSP 56 performs various processes such as a defect correction process, an offset process, a gain correction process, a linear matrix process, a gamma conversion process, a demosaic process, and a YC conversion process on the acquired image signal as needed.

欠陥補正処理は、イメージセンサ48の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像信号から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像信号にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像信号の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像信号の明るさや彩度を整える処理である。   The defect correction process is a process of correcting the pixel value of the pixel corresponding to the defective pixel of the image sensor 48. The offset process is a process of reducing the dark current component from the image signal subjected to the defect correction process and setting an accurate zero level. The gain correction process is a process of adjusting the signal level of each image by multiplying the offset-processed image signal by a gain. The linear matrix process is a process for enhancing the color reproducibility of the offset-processed image signal, and the gamma conversion process is a process for adjusting the brightness and saturation of the image signal after the linear matrix process.

なお、イメージセンサ48がカラーセンサである場合には、デモザイク処理が行われる。デモザイク処理(等方化処理や同時化処理とも言う)は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像信号に対して施す。欠落した画素とは、カラーフィルタの配列に起因して(イメージセンサ48において他の色の画素を配置しているため)、画素値がない画素である。例えば、B画像はB画素において観察対象を撮像して得る画像なので、G画素やR画素に対応する位置の画素には画素値がない。デモザイク処理は、B画像を補間して、イメージセンサ48のG画素及びR画素の位置にある画素の画素値を生成する。YC変換処理は、デモザイク処理後の画像を、輝度チャンネルYと色差チャンネルCb及び色差チャンネルCrに変換する処理である。   If the image sensor 48 is a color sensor, demosaicing processing is performed. The demosaic process (also referred to as an isotropic process or a simultaneous process) is a process of interpolating the pixel value of a missing pixel, and is performed on the image signal after the gamma conversion process. The missing pixel is a pixel having no pixel value due to the arrangement of the color filters (because the pixels of other colors are arranged in the image sensor 48). For example, since the B image is an image obtained by imaging the observation target at the B pixel, the pixel at the position corresponding to the G pixel or the R pixel has no pixel value. In the demosaic process, the B image is interpolated to generate pixel values of pixels located at the G pixel and R pixel positions of the image sensor 48. The YC conversion process is a process of converting the image after the demosaic process into a luminance channel Y, a color difference channel Cb, and a color difference channel Cr.

ノイズ低減部58は、輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部59は、ノイズ低減処理後の輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrを再びBGRの各色の画像信号に再変換する。   The noise reduction unit 58 performs noise reduction processing on the luminance channel Y, the color difference channel Cb, and the color difference channel Cr using, for example, the moving average method or the median filter method. The conversion unit 59 reconverts the luminance channel Y, the color difference channel Cb, and the color difference channel Cr after the noise reduction processing into image signals of each color of BGR again.

図6に示すように、画像処理部61は、通常モード用処理部63と、特殊モード用処理部64と、判定モード用処理部65を備えている。通常モード用処理部63は、通常モードに設定されている場合に作動し、受信した通常画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理では、RGB画像に対して3×3のマトリックス処理、階調変換処理、及び3次元LUT(Look Up Table)処理などにより色変換処理を行う。   As shown in FIG. 6, the image processing unit 61 includes a normal mode processing unit 63, a special mode processing unit 64, and a determination mode processing unit 65. The normal mode processing unit 63 operates when the normal mode is set, and performs color conversion processing, color enhancement processing, and structure enhancement processing on the received normal image signal. In the color conversion processing, color conversion processing is performed on the RGB image by 3 × 3 matrix processing, gradation conversion processing, three-dimensional LUT (Look Up Table) processing, and the like.

色彩強調処理は、色変換処理済みのRGB画像信号に対して行われる。構造強調処理は、観察対象の構造を強調する処理であり、色彩強調処理後のRGB画像信号に対して行われる。上記のような各種画像処理等を行うことによって、通常画像が得られる。通常画像は、紫色光V、青色光Bx、緑色光G、赤色光Rがバランス良く発せられた通常光に基づいて得られた画像であるため、自然な色合いの画像となっている。通常画像は、表示制御部62に入力する。   The color enhancement processing is performed on the RGB image signal that has undergone the color conversion processing. The structure emphasizing process is a process of emphasizing the structure of the observation target, and is performed on the RGB image signal after the color emphasizing process. A normal image can be obtained by performing the various image processing as described above. Since the normal image is an image obtained based on the normal light in which the violet light V, the blue light Bx, the green light G, and the red light R are emitted in a well-balanced manner, the image has a natural hue. The normal image is input to the display control unit 62.

特殊モード用処理部64は、特殊モードに設定されている場合に作動する。特殊モード用処理部64では、受信した特殊画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理、色彩強調処理、及び構造強調処理の処理内容は、通常モード用処理部63と同様である。上記のような各種画像処理を行うことによって、特殊画像が得られる。特殊画像は、血管のヘモグロビンの吸収係数が高い紫色光Vが、他の色の青色光Bx、緑色光G、赤色光Rよりも大きい発光量となっている特殊光に基づいて得られた画像であるため、血管構造や腺管構造の解像度が他の構造よりも高くなっている。特殊画像は表示制御部62に入力する。   The special mode processing unit 64 operates when the special mode is set. The special mode processing unit 64 performs color conversion processing, color enhancement processing, and structure enhancement processing on the received special image signal. The processing contents of the color conversion processing, the color enhancement processing, and the structure enhancement processing are the same as those of the normal mode processing unit 63. A special image is obtained by performing the various image processing as described above. The special image is obtained based on the special light in which the purple light V having a high hemoglobin absorption coefficient of blood vessels has a larger light emission amount than the blue light Bx, the green light G, and the red light R of the other colors. Therefore, the resolution of the blood vessel structure and the ductal structure is higher than that of other structures. The special image is input to the display control unit 62.

図7に示すように、判定モード用処理部65は、特徴量算出部70と、病状スコア算出部71と、比較対象選択部72と、病状比較部73と、表示処理部74とを備える。判定モード用処理部65は、判定モードに設定されている場合に作動する。   As illustrated in FIG. 7, the determination mode processing unit 65 includes a feature amount calculation unit 70, a medical condition score calculation unit 71, a comparison target selection unit 72, a medical condition comparison unit 73, and a display processing unit 74. The determination mode processing unit 65 operates when the determination mode is set.

特徴量算出部70は、通常画像信号(第1画像信号)および特殊画像信号(第2画像信号)に基づいて、それぞれの特徴量(第1特徴量及び第2特徴量)を算出する特徴量算出機能を担う。病状スコア算出部71は、通常画像信号および特殊画像信号に基づいてそれぞれ算出された特徴量により、観察対象の病状を表す病状スコア(第1病状スコアおよび第2病状スコア)をそれぞれ算出する。比較対象選択部72は、病状比較部73が比較する対象として、特徴量を用いるか、または、病状スコアを用いるかのいずれかを選択して指定する。   The feature quantity calculation unit 70 calculates the feature quantity (first feature quantity and second feature quantity) based on the normal image signal (first image signal) and the special image signal (second image signal). Be responsible for the calculation function. The medical condition score calculation unit 71 calculates a medical condition score (first medical condition score and second medical condition score) representing the medical condition of the observation target based on the feature amounts calculated based on the normal image signal and the special image signal, respectively. The comparison target selection unit 72 selects and specifies either a feature amount or a medical condition score as a target to be compared by the medical condition comparison unit 73.

病状比較部73は、比較対象選択部72からの指示に従い、通常画像信号の特徴量と特殊画像信号の特徴量とを、または、通常画像信号の病状スコアと特殊画像信号の病状スコアとを比較する。表示処理部74は、病状比較部73による比較の結果、特殊画像信号の特徴量が通常画像信号の特徴よりも大きい場合、または、特殊画像信号の病状スコアが通常画像信号の病状スコアよりも大きい場合に、特殊画像信号による画像を用いて、場合により、強調処理などの画像処理を行うことにより、高スコア表示画像を生成する。なお、通常画像信号の特徴量または病状スコアが、特殊画像信号の特徴量または病状スコアよりも大きい場合は、通常画像信号による画像を用いて、高スコア表示画像を生成する。また、判定モード用処理部65におけるこれらの処理は、自動で行う。   The medical condition comparing unit 73 compares the characteristic amount of the normal image signal with the characteristic amount of the special image signal, or compares the medical condition score of the normal image signal with the medical condition score of the special image signal according to the instruction from the comparison target selecting unit 72. To do. As a result of the comparison by the medical condition comparison unit 73, the display processing unit 74 determines that the characteristic amount of the special image signal is larger than the characteristic of the normal image signal, or the medical condition score of the special image signal is larger than the medical condition score of the normal image signal. In this case, an image based on the special image signal is used, and in some cases, image processing such as emphasis processing is performed to generate a high score display image. When the feature amount or the medical condition score of the normal image signal is larger than the feature amount or the medical condition score of the special image signal, the high score display image is generated using the image of the normal image signal. Further, these processes in the determination mode processing unit 65 are automatically performed.

図8に示すように、特徴量算出部70は、通常画像特徴量算出部75と、特殊画像特徴量算出部76とを有する。通常画像特徴量算出部75は、通常画像信号の特徴量(以下、通常特徴量という)を算出する。特殊画像特徴量算出部76は、特殊画像信号の特徴量(以下、特殊特徴量という)を算出する。特徴量は、病状スコアを算出するために、また、通常特徴量と特殊特徴量との比較により、高スコア表示画像を作成するために用いられる。   As shown in FIG. 8, the feature amount calculation unit 70 includes a normal image feature amount calculation unit 75 and a special image feature amount calculation unit 76. The normal image feature amount calculation unit 75 calculates the feature amount of the normal image signal (hereinafter, referred to as normal feature amount). The special image feature amount calculation unit 76 calculates the feature amount of the special image signal (hereinafter referred to as the special feature amount). The feature amount is used to calculate a medical condition score and to create a high score display image by comparing the normal feature amount and the special feature amount.

特徴量について、具体的には、例えば、本実施形態では、内視鏡12として、下部内視鏡を用いて、観察対象を大腸の炎症性腸疾患である潰瘍性大腸炎を対象とする。本実施形態において、特徴量は、画像信号の所定の画像的特徴として、血管、腺管または粘膜に基づくものを含む。血管、腺管または粘膜に基づく特徴量は、血管の状態、腺管の状態または粘膜の状態を数値化または分類した値を用いる。血管の状態としては、血管の透見程度、血管の太さ、血管の密度、血管の形状、血管の分岐程度、血管の色またはこれらの分布等を含む。腺管の状態としては、腺管の透見程度、腺管の太さ、腺管の密度、腺管の形状、腺管の分岐程度、腺管の色またはこれらの分布等を含む。粘膜の状態としては、粘膜の色、粘膜の表面のざらつき、粘膜の表面の凹凸またはこれらの分布を含む。   Regarding the characteristic amount, specifically, in the present embodiment, for example, a lower endoscope is used as the endoscope 12, and the observation target is ulcerative colitis, which is an inflammatory bowel disease of the large intestine. In the present embodiment, the feature amount includes a feature based on a blood vessel, a duct, or a mucous membrane as the predetermined image feature of the image signal. As the characteristic amount based on the blood vessel, duct or mucous membrane, a value obtained by digitizing or classifying the state of blood vessel, the state of duct or the state of mucous membrane is used. The state of the blood vessel includes the degree of seeing through the blood vessel, the thickness of the blood vessel, the density of the blood vessel, the shape of the blood vessel, the degree of branching of the blood vessel, the color of the blood vessel, or the distribution thereof. The state of the duct includes the see-through degree of the duct, the thickness of the duct, the density of the duct, the shape of the duct, the degree of branching of the duct, the color of the duct or their distribution. The state of the mucous membrane includes the color of the mucous membrane, the roughness of the surface of the mucous membrane, the unevenness of the surface of the mucous membrane, or their distribution.

本実施形態では、血管の透見程度、粘膜の色および粘膜のざらつきまたは凹凸の3種類の特徴量を算出する。特徴量は通常画像信号(第1画像信号)または特殊画像信号(第2画像信号)の画像処理により得られる。血管の透見程度の特徴量は、通常画像信号または特殊画像信号において、血管を検出することにより得られる。粘膜の色の特徴量は、通常画像信号または特殊画像信号において、色自体及び色が占める面積により得られる。また、粘膜のざらつきまたは凹凸の特徴量は、通常画像信号または特殊画像信号において、予め準備されたパターンとのマッチングにより得られる。   In the present embodiment, three types of feature amounts, that is, the degree of see-through of blood vessels, the color of mucous membranes, and the roughness or unevenness of mucous membranes are calculated. The feature amount is obtained by image processing of the normal image signal (first image signal) or the special image signal (second image signal). The feature amount of the degree of see-through of the blood vessel is obtained by detecting the blood vessel in the normal image signal or the special image signal. The color feature amount of the mucous membrane is obtained from the color itself and the area occupied by the color in the normal image signal or the special image signal. Further, the feature amount of the roughness or unevenness of the mucous membrane is obtained by matching with a previously prepared pattern in the normal image signal or the special image signal.

これらの特徴量は、特徴を数値化して算出するか、または、観察対象の画像的特徴として、特定の特徴量のテンプレートを予め記憶させておき、抽出した画像的特徴量がテンプレートの特徴量とマッチングするか否かの判定を行うこと等により算出する。ここで、「マッチング」とは、比較する特徴量がそれぞれ一致する他、比較する特徴量の差分が一定の範囲内に収まっていることも含まれる。マッチングの程度を数値化することにより、特徴量とすることができる。本実施形態では、特殊画像信号において、上記のような特徴量を把握しやすくするため、血管構造や腺管構造の解像度が他の構造よりも高くなるような照明光を選択している。   These feature amounts are calculated by digitizing the features, or a template of a specific feature amount is stored in advance as an image feature of the observation target, and the extracted image feature amount is the feature amount of the template. It is calculated by, for example, determining whether or not they match. Here, “matching” includes that the feature amounts to be compared match each other and that the difference between the feature amounts to be compared is within a certain range. By digitizing the degree of matching, the feature amount can be obtained. In the present embodiment, in order to make it easier to recognize the above-mentioned feature amount in the special image signal, the illumination light is selected so that the resolution of the blood vessel structure or the duct structure is higher than that of other structures.

特徴量の種類の数は、例えば、病状スコアを算出できる種類の数であれば良く、観察対象の違いまたは疾患の違い等により適宜決定でき、一種類でも、二種類以上の複数を用いても良い。また、特徴量の種類により、特徴量を明瞭に把握できるように、照明光の発光スペクトルを変更することができる。また、複数種類の特徴量を算出した後に、これらを合計して各画像の特徴量としてもよいし、各特徴量に重み付けをした上で、これらを合計して、各画像の特徴量としてもよい。また、各画像で同じ種類の特徴量を算出してもよいし、違う種類の特徴量を算出してもよい。また、特徴量の算出は、画像処理による以外に、機械学習による画像認識処理により行っても良い。   The number of types of the feature amount may be, for example, the number of types capable of calculating the medical condition score, and can be appropriately determined depending on the difference of the observation target or the difference of the disease, and may be one type or a plurality of two or more types. good. In addition, the emission spectrum of the illumination light can be changed so that the characteristic amount can be clearly understood depending on the type of the characteristic amount. Further, after calculating a plurality of types of feature amounts, these may be summed and used as the feature amount of each image, or each feature amount may be weighted and then summed to obtain the feature amount of each image. Good. Also, the same type of feature amount may be calculated for each image, or different types of feature amount may be calculated. Further, the calculation of the feature amount may be performed by image recognition processing by machine learning instead of image processing.

図9に示すように、病状スコア算出部71は、通常画像スコア算出部77と、通常用スコアテーブル78と、特殊画像スコア算出部79と、特殊用スコアテーブル80とを備える。通常画像スコア算出部77は、通常画像特徴量算出部75により得られた通常画像の特徴量および通常用スコアテーブル78に基づき、通常画像の病状スコア(第1病状スコア)を算出する。同様に、特殊画像スコア算出部79は、特殊画像特徴量算出部76により得られた特殊特徴量および特殊用スコアテーブル80に基づき、特殊画像の病状スコア(第2病状スコア)を算出する。   As shown in FIG. 9, the medical condition score calculation unit 71 includes a normal image score calculation unit 77, a normal score table 78, a special image score calculation unit 79, and a special score table 80. The normal image score calculation unit 77 calculates the medical condition score (first medical condition score) of the normal image based on the characteristic amount of the normal image obtained by the normal image characteristic amount calculation unit 75 and the normal score table 78. Similarly, the special image score calculation unit 79 calculates the medical condition score (second medical condition score) of the special image based on the special characteristic amount and the special score table 80 obtained by the special image characteristic amount calculation unit 76.

なお、通常画像の病状スコア(以下、通常スコアという)は、通常特徴量から算出する他に、通常画像信号の画素値等を用いて直接算出するようにしてもよい。同様にして、特殊画像の病状スコア(以下、特殊スコアという)は、特殊特徴量から算出する他に、特殊画像信号の画素値等を用いて直接算出するようにしてもよい。   The medical condition score of the normal image (hereinafter referred to as the normal score) may be calculated directly from the normal feature amount, or directly using the pixel value of the normal image signal or the like. Similarly, the medical condition score of the special image (hereinafter, referred to as a special score) may be calculated directly from the pixel value of the special image signal or the like, instead of being calculated from the special feature amount.

上記したように、病状スコアは、例えば、潰瘍性大腸炎の重症度における内視鏡指標の一つである、メイヨースコア(Mayo Score)である。通常画像スコア算出部77は、通常特徴量と通常用スコアテーブル78とにより、通常スコアである通常画像のメイヨースコアを、0及び1の軽症、グレード2の中等症またはグレード3の重症のいずれかに判定する。同様に、特殊画像スコア算出部79は、特殊特徴量と特殊用スコアテーブル80とにより、特殊スコアである特殊画像のメイヨースコアを、0及び1の軽症、グレード2の中等症またはグレード3の重症のいずれかに判定し、分類する。   As described above, the medical condition score is, for example, the Mayo Score, which is one of the endoscopic indexes in the severity of ulcerative colitis. The normal image score calculation unit 77 uses the normal feature amount and the normal score table 78 to set the Mayo score of the normal image, which is a normal score, to either 0 or 1, mild, grade 2 moderate, or grade 3 severe. To judge. Similarly, the special image score calculation unit 79 uses the special feature amount and the special score table 80 to set the Mayo score of the special image, which is the special score, to 0 or 1 as mild, grade 2 as moderate, or grade 3 as severe. It is classified as one of the following.

比較対象選択部72は、病状比較部73が比較する対象として、特徴量を用いるか、または、病状スコアを用いるかのいずれかを指定する。指定は、スコープスイッチ13e(図1参照)、または、ユーザーインターフェース19によって行う。なお、この指定は、内視鏡システムの起動時にどちらかに指定する、または、一度指定すると次に指定を変更するまで変更されないようにする等、適宜設定することができる。また、特徴量及び病状スコアの両者を比較する対象に指定することもできる。この場合は、病状比較部73において、通常特徴量と特殊特徴量との比較と、通常病状スコアと特殊病状スコアとの比較の両者を行い、その結果を病状比較部73に送る。   The comparison target selection unit 72 specifies whether to use the feature amount or the medical condition score as the target to be compared by the medical condition comparison unit 73. The designation is performed by the scope switch 13e (see FIG. 1) or the user interface 19. It should be noted that this designation can be appropriately set such that either one is designated when the endoscope system is started up, or once designated, the designation is not changed until the next designation is changed. It is also possible to specify both the feature amount and the medical condition score as a target for comparison. In this case, the medical condition comparison unit 73 performs both the comparison of the normal characteristic amount and the special characteristic amount and the comparison of the normal medical condition score and the special medical condition score, and sends the result to the medical condition comparison unit 73.

病状比較部73は、比較対象選択部72の選択に従い、通常特徴量と特殊特徴量とを比較し、または、通常スコアと特殊スコアとを比較する。または、特徴量の比較と病状スコアの比較との両者が選択された場合は、通常特徴量と特殊特徴量との比較と、通常病状スコアと特殊病状スコアとの比較の両者を行う。比較の結果は、表示処理部74における高スコア表示画像の生成に用いられる。   The medical condition comparing unit 73 compares the normal feature amount with the special feature amount or compares the normal score with the special score according to the selection of the comparison target selecting unit 72. Alternatively, when both the feature amount comparison and the medical condition score comparison are selected, both the normal characteristic amount and the special characteristic amount are compared, and the normal medical condition score and the special medical condition score are both compared. The result of the comparison is used to generate a high score display image in the display processing unit 74.

表示処理部74は、病状比較部73による通常特徴量と特殊特徴量、または、通常スコアと特殊スコアとの比較の結果、通常特徴量と特殊特徴量とに差が生じた場合、または、差が所定の範囲以上である場合に、もしくは、通常スコアと特殊スコアとが異なる場合に、高スコア表示画像を作成する。高スコア表示画像は、通常画像と特殊画像とのそれぞれにおいて算出された特徴量または病状スコアが異なる場合に、観察者に特徴量または病状スコアが高い画像に関して認知を促すための画像である。したがって、高スコア表示画像は、通常画像と特殊画像とのうち、特徴量または病状スコアが高いほうの画像自体とすることができる。   The display processing unit 74, when there is a difference between the normal feature amount and the special feature amount as a result of the comparison between the normal feature amount and the special feature amount by the medical condition comparison unit 73 or the comparison between the normal score and the special score, or the difference. When is higher than a predetermined range, or when the normal score and the special score are different, a high score display image is created. The high score display image is an image for prompting the observer to recognize an image having a high feature amount or a medical condition score when the feature amount or the medical condition score calculated in each of the normal image and the special image is different. Therefore, the high score display image can be the image itself having the higher feature amount or medical condition score, of the normal image and the special image.

比較対象選択部72が、特徴量及び病状スコアの両者を比較する対象に指定し、病状比較部73による比較の結果、特徴量または病状スコアのどちらか一方または両方において差が生じた場合、通常画像または特殊画像のうち、特徴量または病状スコアが高い方の画像に基づいて高スコア表示画像を生成する。特徴量が高い画像と、病状スコアが高い画像とが異なる場合、例えば、特徴量については通常特徴量が特殊特徴量より高く、病状スコアについては特殊スコアが通常スコアより高い結果の場合は、通常画像と特殊画像とのどちらに基づいて高スコア表示画像を作成するかを指定することができる。   When the comparison target selection unit 72 designates both the feature amount and the medical condition score as a target to be compared, and as a result of the comparison by the medical condition comparison unit 73, a difference occurs in either one or both of the characteristic amount and the medical condition score, The high score display image is generated based on the image having the higher feature amount or the medical condition score among the images or the special images. If the image with a high feature amount and the image with a high medical condition score are different, for example, the normal feature amount for the feature amount is higher than the special feature amount, and the special score for the medical condition score is higher than the normal score. It is possible to specify whether to generate the high score display image based on the image or the special image.

図10に示すように、表示処理部74は、通常画像生成部81と、特殊画像生成部82と、第1強調画像生成部83と、第2強調画像生成部84とを備える。病状比較部73による比較の結果、例えば、特殊画像信号(第2画像信号)に基づく特殊病状スコアが、通常画像信号(第1画像信号)に基づく通常病状スコアよりも大きい場合に作成される高スコア表示画像は、特殊画像生成部82と、第1強調画像生成部83と、第2強調画像生成部84において、生成される。特殊画像生成部82は、特殊モード用処理部64と同様の機能を備え、高スコア表示画像として、特殊画像を生成する。第1強調画像生成部83は、高スコア表示画像として、通常画像を特殊画像信号により強調した画像(第1強調画像)を生成する。第2強調画像生成部84は、高スコア表示画像として、特殊画像を通常画像信号により強調した画像(第2強調画像)を生成する。なお、通常スコアが特殊スコア以上の場合は、高スコア表示画像が生成されない。高スコア表示画像については、後述する。   As shown in FIG. 10, the display processing unit 74 includes a normal image generation unit 81, a special image generation unit 82, a first emphasized image generation unit 83, and a second emphasized image generation unit 84. As a result of the comparison by the medical condition comparison unit 73, for example, a high level created when the special medical condition score based on the special image signal (second image signal) is larger than the normal medical condition score based on the normal image signal (first image signal). The score display image is generated by the special image generation unit 82, the first emphasized image generation unit 83, and the second emphasized image generation unit 84. The special image generation unit 82 has the same function as the special mode processing unit 64 and generates a special image as a high score display image. The first emphasized image generation unit 83 generates, as a high score display image, an image (first emphasized image) in which a normal image is emphasized by a special image signal. The second emphasized image generating unit 84 generates an image (second emphasized image) in which the special image is emphasized by the normal image signal as the high score display image. If the normal score is equal to or higher than the special score, the high score display image is not generated. The high score display image will be described later.

高スコア表示画像の生成について、図11により具体的に説明する。図11は、通常画像および特殊画像のそれぞれにおいて、特徴量と病状スコアとを算出し、高スコア画像が存在すると判定される場合と、高スコア画像が存在しないと判定される場合を説明する説明図である。通常画像85と特殊画像86は、同じ観察部位を撮影した画像である。この観察部位は、実際のMayoScore(以下、Mayoという)が軽症である部位である。通常画像85の特徴量は30、病状スコアは、図11において、「Mayo0」と記載しているように、Mayo0と算出された。同じ観察部位について、特殊画像86の特徴量は30、病状スコアはMayo0と算出された。比較対象選択部72により、比較対象は病状スコアとされており、この場合は、通常画像85と特殊画像86により病状スコアが異なることがないため、高スコア表示画像は作成されない。したがって、モニタ18には通常画像が変わらず表示される。   Generation of the high score display image will be specifically described with reference to FIG. FIG. 11 illustrates a case where a feature amount and a medical condition score are calculated for each of a normal image and a special image, and it is determined that a high score image exists and a case where a high score image does not exist. It is a figure. The normal image 85 and the special image 86 are images obtained by photographing the same observation site. This observation site is a site where actual MayoScore (hereinafter referred to as Mayo) is mild. The feature amount of the normal image 85 was 30, and the medical condition score was calculated as Mayo0 as described as "Mayo0" in FIG. For the same observation site, the feature amount of the special image 86 was calculated to be 30, and the medical condition score was calculated to be Mayo0. The comparison target selection unit 72 sets the comparison target as a medical condition score. In this case, since the medical condition score does not differ between the normal image 85 and the special image 86, the high score display image is not created. Therefore, the normal image is displayed on the monitor 18 unchanged.

次に、実際には、軽症であり、Mayoが1である別の観察部位について、通常画像85の特徴量は30、病状スコアはMayo0と算出された。同じ観察部位について、特殊画像86の特徴量は40、病状スコアはMayo1と算出された。比較対象選択部72により、比較対象は病状スコアとされており、この場合は、通常画像85と特殊画像86により病状スコアが異なるため、高スコア表示画像が作成される。このように、通常画像で画像に表示されず把握できない表面の凹凸が、特殊画像では画像として表示されるため、特徴量の算出結果も異なり、特徴量に基づく病状スコアも通常画像とは異なった値で算出される。高スコア表示画像が作成されることにより、観察者は、精度良く疾患の重症度を判定することができる。   Next, for another observation site that is actually mild and has Mayo 1, the feature amount of the normal image 85 was calculated to be 30, and the medical condition score was calculated to be Mayo 0. For the same observation site, the feature amount of the special image 86 was calculated to be 40, and the medical condition score was calculated to be Mayo1. The comparison target selection unit 72 sets the comparison target as a medical condition score. In this case, since the medical condition score differs between the normal image 85 and the special image 86, a high score display image is created. In this way, the irregularities of the surface that are not displayed in the image in the normal image and cannot be grasped are displayed as images in the special image, so the calculation result of the characteristic amount is different, and the medical condition score based on the characteristic amount is also different from the normal image. Calculated by value. By creating the high score display image, the observer can accurately determine the severity of the disease.

次に、実際には、中等症であり、Mayoが2である別の観察部位について、通常画像85の特徴量は60、病状スコアはMayo2と算出された。同じ部位について、特殊画像86の特徴量は65、病状スコアはMayo2と算出された。また、同様に、重症であり、Mayoが3である別の観察部位について、通常画像85の特徴量は90、病状スコアはMayo3と算出された。同じ部位について、特殊画像86の特徴量は95、病状スコアはMayo3と算出された。比較対象選択部72により、比較対象は病状スコアとされており、この場合は、どちらも通常画像と特殊画像とにより病状スコアが異なることがないため、高スコア表示画像は作成されない。したがって、モニタ18には通常画像が変わらず表示される。   Next, for another observation site that is actually moderate and has Mayo of 2, the feature amount of the normal image 85 was calculated to be 60 and the medical condition score was calculated to be Mayo2. For the same site, the feature amount of the special image 86 was calculated to be 65, and the medical condition score was calculated to be Mayo2. Similarly, for another observation site that is severe and has Mayo of 3, the feature amount of the normal image 85 was calculated to be 90, and the medical condition score was calculated to be Mayo3. For the same site, the feature amount of the special image 86 was calculated to be 95, and the medical condition score was calculated to be Mayo3. The comparison target selection unit 72 sets the comparison target as a medical condition score. In this case, since the medical condition score does not differ between the normal image and the special image in both cases, the high score display image is not created. Therefore, the normal image is displayed on the monitor 18 unchanged.

なお、比較対象選択部72により、比較対象が特徴量とされた場合について説明する。図12に示すように、中等症であり、Mayoが2である別の観察部位について、通常画像85の特徴量が60、同じ部位について、特殊画像86の特徴量が65と算出されているため、特殊画像に基づく高スコア表示画像が作成される。また、同様に、重症であり、Mayoが3である別の観察部位について、通常画像85の特徴量が90、同じ部位について、特殊画像86の特徴量が95と算出されているため、特殊画像に基づく高スコア表示画像が作成される。   A case will be described in which the comparison target selection unit 72 sets the comparison target as a feature amount. As shown in FIG. 12, since the feature amount of the normal image 85 is calculated as 60 and the feature amount of the special image 86 is calculated as 65 for the other observed region that is moderate and has Mayo of 2. A high score display image based on the special image is created. Similarly, for another observation site that is severe and has Mayo of 3, the feature amount of the normal image 85 is 90, and the feature amount of the special image 86 is 95 for the same region. A high score display image based on is created.

高スコア表示画像について、具体的に説明する。図13に示すように、通常画像85と特殊画像86とのうち、特殊スコアが高い場合、特殊画像生成部82が生成した特殊画像86(第2画像)を、高スコア表示画像とする。高スコア表示画像は、モニタ18に表示する。   The high score display image will be specifically described. As shown in FIG. 13, when the special score is high among the normal image 85 and the special image 86, the special image 86 (second image) generated by the special image generation unit 82 is set as the high score display image. The high score display image is displayed on the monitor 18.

また、高スコア表示画像は、通常画像および特殊画像のうち、病状スコアが高い方の画像(以下、高スコア画像という)により、病状スコアが低い方の画像(以下、低スコア画像という)を処理することにより生成することができる。   The high-score display image is a normal image and a special image having a higher medical condition score (hereinafter referred to as a high-score image), and an image having a lower medical condition score (hereinafter referred to as a low-score image) is processed. Can be generated by

第1強調画像生成部83(図10参照)は、高スコア画像の病状スコアの算出の元となった特徴量を強調して表示する画像を作成し、低スコア画像に重畳した高スコア表示画像(第1強調画像)を生成して、高スコア表示画像とする。図14に示すように、通常画像85と特殊画像86とのうち、特殊スコアが高い場合、まず、特殊スコアの算出の元となった特徴量を強調して表示する画像を作成する。その後、この画像を通常画像85に重畳することにより、通常画像85において特徴量を強調して表示する特徴部87aを有する第1強調画像87を作成する。この画像を、高スコア表示画像とする。高スコア表示画像は、モニタ18に表示する。   The first emphasized image generation unit 83 (see FIG. 10) creates an image that emphasizes and displays the feature amount that is the basis of the calculation of the medical condition score of the high score image, and the high score display image is superimposed on the low score image. (First emphasized image) is generated to be a high score display image. As shown in FIG. 14, when the special score is high among the normal image 85 and the special image 86, first, an image in which the feature amount that is the basis of the calculation of the special score is emphasized and displayed is created. Then, by superimposing this image on the normal image 85, the first emphasized image 87 having the characteristic portion 87a for emphasizing and displaying the feature amount in the normal image 85 is created. This image is a high score display image. The high score display image is displayed on the monitor 18.

同様に、高スコア表示画像は、通常画像および特殊画像のうち、高スコア画像により、高スコア画像を処理することにより生成することができる。第2強調画像生成部84(図10参照)は、高スコア画像の病状スコアの算出の元となった特徴量を強調して表示する画像を作成し、低スコア画像に重畳した高スコア表示画像(第2強調画像)を生成して、高スコア表示画像とする。図15に示すように、通常画像85と特殊画像86とのうち、特殊スコアが高い場合、まず、特殊スコアの算出の元となった特徴量を強調して表示する画像を作成する。その後、この画像を特殊画像86に重畳することにより、特殊画像86においてさらに特徴量を強調して表示する特徴部88aを有する第2強調画像88を作成する。この画像を、高スコア表示画像とする。高スコア表示画像は、モニタ18に表示する。   Similarly, the high score display image can be generated by processing the high score image with the high score image of the normal image and the special image. The second emphasized image generation unit 84 (see FIG. 10) creates an image that emphasizes and displays the feature amount that is the basis of the calculation of the medical condition score of the high score image, and superimposes it on the low score image. (Second emphasized image) is generated and is set as a high score display image. As shown in FIG. 15, when the special score is high among the normal image 85 and the special image 86, first, an image is displayed in which the feature amount that is the basis of the calculation of the special score is emphasized and displayed. Then, by superimposing this image on the special image 86, a second emphasized image 88 having a characteristic portion 88a for further emphasizing and displaying the characteristic amount in the special image 86 is created. This image is a high score display image. The high score display image is displayed on the monitor 18.

表示制御部62は、表示処理部74が生成した高スコア表示画像の表示を制御する。表示は、モニタ18に表示することにより行う。表示の制御とは、高スコア表示画像の表示の有無または高スコア表示画像の表示態様を決定し、モニタ18への表示を指示することである。   The display control unit 62 controls the display of the high score display image generated by the display processing unit 74. The display is performed by displaying on the monitor 18. The control of display is to determine whether or not to display the high score display image or the display mode of the high score display image, and to instruct the display on the monitor 18.

表示の有無としては、表示制御部62は、高スコア画像、および、高スコア表示画像が作成された際にモニタ18に表示されている画像の両者により、高スコア表示画像を表示するかしないかを決定できる。具体的には、例えば、特殊画像が高スコア画像であり、特殊画像から高スコア表示画像が作成された際に、モニタ18に通常画像が表示されている場合は、表示制御部62は、高スコア表示画像をモニタ18に表示する。一方、モニタ18に特殊画像が表示されている場合は、モニタ18の表示を変更しない。また、例えば、通常画像が高スコア画像であり、通常画像から高スコア表示画像が作成された際に、モニタ18に特殊画像が表示されている場合は、表示制御部62は、高スコア表示画像をモニタ18に表示する。一方、モニタ18に通常画像が表示されている場合は、モニタ18の表示を変更しない。すなわち、この場合、表示制御部62は、通常画像(第1画像)を表示している場合、継続して、通常画像(第1画像)を表示する。   As for the presence / absence of display, whether the display control unit 62 displays the high score display image based on both the high score image and the image displayed on the monitor 18 when the high score display image is created. Can be determined. Specifically, for example, if the special image is a high-score image and the normal image is displayed on the monitor 18 when the high-score display image is created from the special image, the display control unit 62 displays The score display image is displayed on the monitor 18. On the other hand, when the special image is displayed on the monitor 18, the display on the monitor 18 is not changed. Further, for example, when the normal image is a high score image and the special image is displayed on the monitor 18 when the high score display image is created from the normal image, the display control unit 62 causes the high score display image to be displayed. Is displayed on the monitor 18. On the other hand, when the normal image is displayed on the monitor 18, the display on the monitor 18 is not changed. That is, in this case, when the normal image (first image) is being displayed, the display control unit 62 continuously displays the normal image (first image).

高スコア表示画像の表示態様としては、高スコア表示画像がモニタ18に表示されるような態様であればよい。例えば、高スコア表示画像が作成された際に、モニタ18に表示されている画像(以下、元画像という)を、高スコア表示画像に切り替えることができる。また、元画像と高スコア表示画像との両者を表示することができる。この場合は、元画像と高スコア表示画像とにおいて、モニタ18における表示領域を同じにして、モニタ18に2画面並ぶように表示してもよいし、元画像と高スコア表示画像とを表示領域を変えて2画面表示してもよい。すなわち、いわゆる、メイン画像とサブ画像とに、元画像と高スコア表示画像とを振り分けて表示してもよい。   The display mode of the high score display image may be any mode in which the high score display image is displayed on the monitor 18. For example, when the high score display image is created, the image displayed on the monitor 18 (hereinafter referred to as the original image) can be switched to the high score display image. Further, both the original image and the high score display image can be displayed. In this case, the original image and the high-score display image may have the same display area on the monitor 18 and may be displayed side by side on the monitor 18, or the original image and the high-score display image may be displayed. May be changed to display two screens. That is, the original image and the high score display image may be sorted and displayed in the so-called main image and sub image.

具体的には、表示制御部62は、図16に示すように、通常画像85(第1画像)をモニタ18に表示している際に、通常画像85と特殊画像86とのうち、特殊画像86の病状スコアが高い場合、モニタ18に表示する画面を、特殊画像86に切り替える。また、図17に示すように、同様の場合、モニタ18に表示する画面を、通常画像85(第1画像)と特殊画像86とにおいて、モニタ18における表示領域を同じにして、モニタ18に2画面並ぶように表示する。また、図18に示すように、同様の場合、モニタ18に表示する画面を、表示領域が大きいメイン画像として通常画像85(第1画像)を、表示領域が小さいサブ画像として特殊画像86を、モニタ18に2画面並ぶように表示する。また、図19に示すように、同様の場合、モニタ18に表示する画面を、表示領域が大きいメイン画像として特殊画像86を、表示領域が小さいサブ画像として通常画像85(第1画像)を、モニタ18に2画面並ぶように表示する。   Specifically, as shown in FIG. 16, the display control unit 62 displays the normal image 85 (first image) on the monitor 18 and displays the special image among the normal image 85 and the special image 86. When the medical condition score of 86 is high, the screen displayed on the monitor 18 is switched to the special image 86. Further, as shown in FIG. 17, in the same case, the screens displayed on the monitor 18 are displayed on the monitor 18 with the same display area in the normal image 85 (first image) and the special image 86. Display them side by side on the screen. Further, as shown in FIG. 18, in the same case, the screen displayed on the monitor 18 includes a normal image 85 (first image) as a main image with a large display area, and a special image 86 as a sub image with a small display area. The two screens are displayed side by side on the monitor 18. Further, as shown in FIG. 19, in the same case, the screen displayed on the monitor 18 includes the special image 86 as the main image having a large display area, and the normal image 85 (first image) as the sub image having a small display area. The two screens are displayed side by side on the monitor 18.

なお、表示制御部62は、表示制御部62による高スコア画像の表示の制御に先立ち、観察者に高スコア表示画像の存在に係る通知を行う。高スコア表示画像の存在に係る通知とは、高スコア表示画像が生成されたことを観察者に認識させるための通知である。通知は、高スコア表示画像が生成されたことについて、観察者が認識できる方法で行われる。   The display control unit 62 notifies the observer of the presence of the high-score display image before the display control unit 62 controls the display of the high-score image. The notification regarding the existence of the high score display image is a notification for making the observer recognize that the high score display image is generated. The notification is performed in a manner that an observer can recognize that the high score display image is generated.

通知は、モニタ18に警告の表示をすることで行われる。警告の表示は、例えば、モニタ18の表示領域において、警告のための文章または図を表示する、または、モニタ18の画像において色調を変化させる等により行うことができる。   The notification is performed by displaying a warning on the monitor 18. The warning can be displayed, for example, by displaying a sentence or a drawing for the warning in the display area of the monitor 18, or by changing the color tone in the image of the monitor 18.

また、通知は、通知部17(図2参照)に音、光または振動を発生させることによって行うことができる。通知部17は、音、光または振動を発生することにより、観察者に高スコア表示画像の存在を通知する。通知部17は、具体的には、モニタ18が有するスピーカーとすることができる。また、光または振動を発生する小型無線機器とすることができる。   Further, the notification can be performed by causing the notification unit 17 (see FIG. 2) to generate sound, light, or vibration. The notification unit 17 notifies the observer of the presence of the high-score display image by generating sound, light, or vibration. The notification unit 17 can be specifically a speaker included in the monitor 18. In addition, a small wireless device which emits light or vibration can be used.

通知について、具体的に説明する。図20に示すように、モニタ18に、警告表示を行うことにより、観察者に高スコア表示画像が存在することを通知する。通常画像85の表示中に、高スコア表示画像が生成された際に、文字による警告表示89がモニタ18に表示される。警告表示89は、「高スコア画像あり・観察モードを変更します」等の文章による。   The notification will be specifically described. As shown in FIG. 20, a warning is displayed on the monitor 18 to notify the observer that a high-score display image exists. When the high score display image is generated while the normal image 85 is being displayed, a warning display 89 in characters is displayed on the monitor 18. The warning display 89 is based on a sentence such as “High-score image exists, change observation mode”.

表示制御部62は、高スコア表示画像の存在に係る通知を、所定の時間行った後、自動的に高スコア表示画像を表示する。自動的に高スコア表示画像を表示した後、所定の時間経過後に、高スコア表示画像を表示する前に表示していた画像に自動的に切り替えてもよいし、指示をしてから切り替えても良い。また、通知を行った後、指示部からの指示に従って、高スコア表示画像を表示することができる。指示部は、観察者がモニタ18に高スコア表示画像を表示する指示を受け付ける。したがって、例えば、指示部は、内視鏡12の表示指示部13cである。具体的には、表示制御部62は、上記の通知を行った後、表示指示部13cによる指示がされない間は、高スコア表示画像をモニタ18に表示しない。一方、上記の通知を行った後、表示指示部13cによる指示がされたときは、高スコア表示画像をモニタ18に表示する。   The display control unit 62 automatically displays the high score display image after giving a notification regarding the presence of the high score display image for a predetermined time. After the high-score display image is automatically displayed, after a predetermined time has elapsed, the image may be automatically switched to the image displayed before the high-score display image is displayed, or may be switched after the instruction. good. Further, after giving the notification, the high score display image can be displayed according to the instruction from the instruction unit. The instruction unit receives an instruction from the observer to display the high score display image on the monitor 18. Therefore, for example, the instruction unit is the display instruction unit 13c of the endoscope 12. Specifically, the display control unit 62 does not display the high-score display image on the monitor 18 after the above notification is made and until the display instruction unit 13c gives an instruction. On the other hand, when the display instruction unit 13c gives an instruction after the above notification, the high score display image is displayed on the monitor 18.

図21に示すように、判定モードにおける処理手順の流れをフロー図にて説明する。ステップS100とステップS140に示すように、画像信号取得部54が通常画像信号と特殊画像信号とを順に取得する。最初に、ステップS110において、通常画像がモニタ18に表示される。通常画像特徴量算出部75において、通常画像信号から通常特徴量が算出される(ステップS120)。通常画像スコア算出部77において、通常特徴量から通常スコアが算出される(ステップS130)。同様に、特殊画像特徴量出部76において、特殊画像信号から特殊特徴量が算出される(ステップS150)。特殊画像スコア算出部79において、特殊特徴量から特殊スコアが算出される(ステップS160)。通常スコアと特殊スコアとが算出されると、本実施形態では、比較対象選択部72により病状スコアが選択されているため、両者の病状スコアが病状比較部73により比較される(ステップS170)。比較の結果、高スコア画像が存在するかどうか判定される(ステップS180)。高スコア画像が存在する場合は(ステップS180でYES)、ステップS190の高スコア表示画像作成に進む。高スコア画像が存在しない場合は(ステップS180でNO)、ステップS100の画像取得まで戻る。   As shown in FIG. 21, the flow of the processing procedure in the determination mode will be described with reference to a flow chart. As shown in steps S100 and S140, the image signal acquisition unit 54 sequentially acquires the normal image signal and the special image signal. First, in step S110, a normal image is displayed on the monitor 18. The normal image feature amount calculation unit 75 calculates the normal feature amount from the normal image signal (step S120). The normal image score calculation unit 77 calculates a normal score from the normal feature amount (step S130). Similarly, the special image feature amount output unit 76 calculates the special feature amount from the special image signal (step S150). The special image score calculation unit 79 calculates a special score from the special feature amount (step S160). When the normal score and the special score are calculated, since the medical condition score is selected by the comparison target selection unit 72 in the present embodiment, both medical condition scores are compared by the medical condition comparison unit 73 (step S170). As a result of the comparison, it is determined whether or not there is a high-score image (step S180). If a high score image exists (YES in step S180), the process proceeds to high score display image creation in step S190. If there is no high-score image (NO in step S180), the process returns to image acquisition in step S100.

ステップS190において、表示処理部74により、高スコア表示画像が作成される。その後、ステップS200において、表示制御部62により表示の有無及び表示態様が決定される。通常スコアが、特殊スコアよりも高いときは、ステップS200において、表示の有無が判定される。通常画像がモニタ18に表示されているので、通常画像が高スコア画像である場合は、高スコア画像は表示されず、ステップS100の画像取得まで戻る。特殊画像が高スコア画像である場合(ステップS200でNO)は、ステップS210の表示態様決定に進む。ステップS220において、通知部74により、観察者に高スコア画像が生成されたことについて通知がされる。通知がされた後、ステップS230において、表示の指示がなされたかが判定される。表示の指示があった場合は、ステップS240の高スコア表示画像が、モニタ18に表示される。表示の指示がない場合は、ステップS100の通常画像取得に戻る。観察者が高スコア表示画像の表示を終了する(ステップS240でYES)と、高スコア表示画像の表示を終了する。   In step S190, the display processing unit 74 creates a high score display image. Then, in step S200, the presence or absence of display and the display mode are determined by the display control unit 62. If the normal score is higher than the special score, it is determined in step S200 whether or not there is a display. Since the normal image is displayed on the monitor 18, if the normal image is a high score image, the high score image is not displayed and the process returns to the image acquisition in step S100. If the special image is a high-score image (NO in step S200), the process proceeds to step S210 to determine the display mode. In step S220, the notification unit 74 notifies the viewer that the high score image has been generated. After the notification is given, it is determined in step S230 whether a display instruction has been given. If there is a display instruction, the high score display image in step S240 is displayed on the monitor 18. If there is no display instruction, the process returns to the normal image acquisition in step S100. When the observer ends the display of the high score display image (YES in step S240), the display of the high score display image ends.

なお、ステップS220の通知およびステップS230の表示指示の有無の判定は、なくてもよい。その場合は、ステップS210の表示態様決定の次にステップS240の高スコア画像表示に進む。   It should be noted that the notification of step S220 and the determination of the presence / absence of the display instruction of step S230 may be omitted. In that case, after determining the display mode in step S210, the process proceeds to high score image display in step S240.

以上のように、内視鏡システム10を構成することにより、通常画像の表示により観察をしている場合であっても、常に通常画像と異なる発光スペクトルによる画像である特殊画像が取得され、通常画像と特殊画像とのそれぞれについて特徴量および病状スコアが算出されているため、観察部位の特徴量が高い画像もしくは疾患の重症度または疾患の進行度が高い画像を見逃すことなく観察することができ、疾患の重症度等の診断確度が低下することを防ぐことができる。また、疾患の重症度または疾患の進行度である病状スコアが算出されるため、観察者による診断のばらつきを防ぎ、客観的な診断が可能となる。また、高スコア表示画像が生成された際に、モニタ18に自動的に表示する場合は、観察者の指示が不要である。一方、モニタ18の表示が切り替わらないようにする場合は、観察者の指示により、高スコア表示画像の表示を制御することができる。   As described above, by configuring the endoscope system 10, even when observing by displaying a normal image, a special image that is an image having an emission spectrum different from that of the normal image is always acquired. Since the feature amount and the medical condition score are calculated for each of the image and the special image, it is possible to observe without missing the image with a high feature amount of the observation site or the image with a high degree of disease severity or disease progression. It is possible to prevent deterioration of diagnostic accuracy such as disease severity. In addition, since the medical condition score, which is the severity of the disease or the degree of progression of the disease, is calculated, it is possible to prevent variations in the diagnosis by the observer and to make an objective diagnosis. Further, when the high score display image is automatically displayed on the monitor 18 when the high score display image is generated, the instruction of the observer is unnecessary. On the other hand, in the case where the display of the monitor 18 is not switched, the display of the high score display image can be controlled by the instruction of the observer.

なお、本実施形態では、通常画像及び特殊画像において、算出した特徴量により病状スコアを算出しているが、特徴量を介さずに、画像処理により病状スコアを算出してもよい。例えば、機械学習による画像認識技術により、通常画像及び特殊画像のそれぞれから、直接病状スコアを算出してもよい。また、特徴量自体を、機械学習による画像認識技術により算出してもよい。   In the present embodiment, the medical condition score is calculated based on the calculated characteristic amount in the normal image and the special image, but the medical condition score may be calculated by image processing without using the characteristic amount. For example, an image recognition technique based on machine learning may be used to directly calculate the medical condition score from each of the normal image and the special image. Further, the feature amount itself may be calculated by an image recognition technique by machine learning.

上記の内視鏡システム10の作動方法は、光源部20が、互いに発光スペクトルが異なる第1照明光と第2照明光とを発光する発光ステップと、画像信号取得部54が、第1照明光で照明中の観察対象を撮像して第1画像信号を取得し、かつ、第2照明光で照明中の観察対象を撮像して第2画像信号を取得する画像信号取得ステップと、特徴量算出部70が、第1画像信号に基づいて第1特徴量を算出し、第2画像信号に基づいて第2特徴量を算出する特徴量算出ステップと、病状スコア算出部71が、第1画像信号に基づいて観察対象の病状を表す第1病状スコアを算出し、かつ、第2画像信号に基づいて観察対象の病状を表す第2病状スコアを算出する病状スコア算出ステップと、病状比較部73が、第1病状スコアと第2病状スコアとを比較する病状比較ステップと、表示処理部74が、第2病状スコアが第1病状スコアよりも大きい場合に、第2画像信号を用いて高スコア表示画像を生成する高スコア表示画像生成ステップと、表示制御部62   In the operation method of the endoscope system 10 described above, the light source unit 20 emits the first illumination light and the second illumination light whose emission spectra are different from each other, and the image signal acquisition unit 54 uses the first illumination light. An image signal acquisition step of capturing an observation target being illuminated to acquire a first image signal and capturing an observation target being illuminated with a second illumination light to acquire a second image signal; The unit 70 calculates a first characteristic amount based on the first image signal and calculates a second characteristic amount based on the second image signal, and a medical condition score calculation unit 71 calculates the first image signal. A medical condition score calculation step of calculating a first medical condition score representing the medical condition of the observation target based on the above, and calculating a second medical condition score representing the medical condition of the observation target based on the second image signal; , The first medical condition score and the second medical condition score A medical condition comparing step of comparing, and a display processing unit 74, when the second medical condition score is larger than the first medical condition score, a high score display image generating step of generating a high score display image using the second image signal, Display control unit 62

上記において、画像信号取得部54、中央制御部52、画像処理部61、表示制御部62等といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路(Graphical Processing Unit:GPU)などが含まれる。   In the above, the hardware structure of the processing unit (processing unit) that executes various processes such as the image signal acquisition unit 54, the central control unit 52, the image processing unit 61, the display control unit 62, etc. is as follows. Various processors. The circuit configuration of various processors is changed after manufacturing such as CPU (Central Processing Unit) and FPGA (Field Programmable Gate Array), which are general-purpose processors that execute software (programs) and function as various processing units. A programmable logic device (PLD), which is a possible processor, and a dedicated electric circuit (Graphical Processing Unit: GPU), which is a processor having a circuit configuration specifically designed to execute various processes, are included. .

1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ、GPUとCPUの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。   One processing unit may be configured by one of these various processors, or a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs, a combination of CPU and FPGA, a GPU and the like). CPU combination). Further, the plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, firstly, one processor is configured with a combination of one or more CPUs and software, as represented by a computer such as a client or a server. There is a form in which this processor functions as a plurality of processing units. Secondly, as represented by a system on chip (SoC), etc., there is a form using a processor that realizes the function of the entire system including a plurality of processing units by one IC (Integrated Circuit) chip. is there. As described above, the various processing units are configured using one or more of the above various processors as a hardware structure.

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。   Furthermore, the hardware structure of these various processors is, more specifically, an electrical circuit in the form of a combination of circuit elements such as semiconductor elements.

10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
13a アングルノブ
13b モード切替部
13c 表示指示部
13d ズーム操作部
12e 鉗子入口
14 光源装置
16 プロセッサ装置
17 通知部
18 モニタ
19 ユーザーインターフェース
20 光源部
20a V−LED
20b B−LED
20c G−LED
20d R−LED
22 光源制御部
23 波長カットフィルタ
30a 照明光学系
30b 撮像光学系
41 ライトガイド
45 照明レンズ
46 対物レンズ
47 ズームレンズ
48 イメージセンサ
52 中央制御部
54 画像信号取得部
61 画像処理部
62 表示制御部
63 通常モード用処理部
64 特殊モード用処理部
65 判定モード用処理部
70 特徴量算出部
71 病状スコア算出部
72 比較対象選択部
73 病状比較部
74 表示処理部
75 通常画像特徴量算出部
76 特殊画像特徴量算出部
77 通常画像スコア算出部
78 通常用スコアテーブル
79 特殊画像スコア算出部
80 特殊用スコアテーブル
81 通常画像生成部
82 特殊画像生成部
83 第1強調画像生成部
84 第2強調画像生成部
85 通常画像
86 特殊画像
87 通常画像の強調画像(第1強調画像)
87a 特徴部
88 特殊画像の強調画像(第2強調画像)
88a 特徴部
89 警告表示
S100〜S250 ステップ
10 endoscope system 12 endoscope 12a insertion part 12b operation part 12c bending part 12d tip part 13a angle knob 13b mode switching part 13c display instruction part 13d zoom operation part 12e forceps entrance 14 light source device 16 processor device 17 notification part 18 monitor 19 User Interface 20 Light Source 20a V-LED
20b B-LED
20c G-LED
20d R-LED
22 Light Source Control Section 23 Wavelength Cut Filter 30a Illumination Optical System 30b Imaging Optical System 41 Light Guide 45 Illumination Lens 46 Objective Lens 47 Zoom Lens 48 Image Sensor 52 Central Control Section 54 Image Signal Acquisition Section 61 Image Processing Section 62 Display Control Section 63 Normal Mode processing unit 64 Special mode processing unit 65 Judgment mode processing unit 70 Feature amount calculation unit 71 Medical condition score calculation unit 72 Comparison target selection unit 73 Medical condition comparison unit 74 Display processing unit 75 Normal image characteristic amount calculation unit 76 Special image feature Quantity calculation unit 77 Normal image score calculation unit 78 Normal score table 79 Special image score calculation unit 80 Special score table 81 Normal image generation unit 82 Special image generation unit 83 First emphasized image generation unit 84 Second emphasized image generation unit 85 Normal image 86 Special image 87 Normal image emphasized image (first emphasized image)
87a Features 88 Enhanced image of special image (second enhanced image)
88a Characteristic portion 89 Warning display S100 to S250 steps

Claims (18)

互いに発光スペクトルが異なる第1照明光と第2照明光とを発光する光源部と、
前記第1照明光で照明中の観察対象を撮像して第1画像信号を取得し、かつ、前記第2照明光で照明中の前記観察対象を撮像して第2画像信号を取得する画像信号取得部と、
前記第1画像信号に基づいて第1特徴量を算出し、かつ、前記第2画像信号に基づいて第2特徴量を算出する特徴量算出部と、
前記第1画像信号に基づいて前記観察対象の病状を表す第1病状スコアを算出し、かつ、前記第2画像信号に基づいて前記観察対象の病状を表す第2病状スコアを算出する病状スコア算出部と、
前記第1特徴量と前記第2特徴量とを比較する、または、前記第1病状スコアと前記第2病状スコアとを比較する病状比較部と、
前記第2特徴量が前記第1特徴量よりも大きい場合、または、前記第2病状スコアが前記第1病状スコアよりも大きい場合に、前記第2画像信号を用いて高スコア表示画像を生成する表示処理部と、
前記高スコア表示画像の表示を制御する表示制御部と、
を備える内視鏡システム。
A light source unit that emits first illumination light and second illumination light having emission spectra different from each other;
An image signal for capturing an observation target being illuminated with the first illumination light to obtain a first image signal, and for capturing an observation target being illuminated with the second illumination light to obtain a second image signal. The acquisition part,
A feature quantity calculation unit that calculates a first feature quantity based on the first image signal and a second feature quantity based on the second image signal;
A medical condition score calculation that calculates a first medical condition score that represents the medical condition of the observation target based on the first image signal, and calculates a second medical condition score that represents the medical condition of the observation target based on the second image signal Department,
A medical condition comparison unit that compares the first characteristic amount and the second characteristic amount, or that compares the first medical condition score and the second medical condition score,
When the second feature amount is larger than the first feature amount or when the second medical condition score is larger than the first medical condition score, a high score display image is generated using the second image signal. A display processing unit,
A display control unit for controlling the display of the high score display image,
An endoscope system including.
前記第1照明光は、白色光であり、前記第2照明光は、特殊光である請求項1に記載の内視鏡システム。   The endoscope system according to claim 1, wherein the first illumination light is white light, and the second illumination light is special light. 前記病状比較部が比較する対象として、前記第1特徴量と前記第2特徴量とを用いるか、または、前記第1病状スコアと前記第2病状スコアとを用いるかのいずれかを指定する比較対象選択部を備える請求項1または2に記載の内視鏡システム。   A comparison that specifies either the first characteristic amount and the second characteristic amount or the first medical condition score and the second medical condition score are used as targets to be compared by the medical condition comparing unit. The endoscope system according to claim 1, further comprising a target selection unit. 前記第1病状スコア及び前記第2病状スコアは、疾患の重症度または疾患の進行度を含む請求項1ないし3のいずれか1項に記載の内視鏡システム。   The endoscope system according to any one of claims 1 to 3, wherein the first medical condition score and the second medical condition score include a severity of a disease or a progression of the disease. 前記第1特徴量及び前記第2特徴量は、血管、腺管または粘膜に基づく値を含む請求項1ないし4のいずれか1項に記載の内視鏡システム。   The endoscope system according to any one of claims 1 to 4, wherein the first characteristic amount and the second characteristic amount include values based on blood vessels, gland ducts, or mucous membranes. 前記高スコア表示画像は、前記第2画像信号に基づく第2画像である請求項1ないし5のいずれか1項に記載の内視鏡システム。   The endoscope system according to any one of claims 1 to 5, wherein the high-score display image is a second image based on the second image signal. 前記高スコア表示画像は、前記第2画像信号により前記第1画像信号を処理することにより生成した第1強調画像である請求項1ないし5のいずれか1項に記載の内視鏡システム。   The endoscope system according to any one of claims 1 to 5, wherein the high-score display image is a first emphasized image generated by processing the first image signal with the second image signal. 前記高スコア表示画像は、前記第2画像信号により前記第2画像信号を処理することにより生成した第2強調画像である請求項1ないし5のいずれか1項に記載の内視鏡システム。   The endoscope system according to any one of claims 1 to 5, wherein the high-score display image is a second emphasized image generated by processing the second image signal with the second image signal. 前記表示制御部は、前記高スコア表示画像の表示に先立ち、前記高スコア表示画像の存在に係る通知を行う請求項1ないし8のいずれか1項に記載の内視鏡システム。   The endoscope system according to any one of claims 1 to 8, wherein the display control unit performs a notification regarding the presence of the high score display image before displaying the high score display image. 前記通知は、警告の表示である請求項9に記載の内視鏡システム。   The endoscope system according to claim 9, wherein the notification is a warning display. 音、光または振動を発生する通知部を備え、
前記通知は、前記通知部による、音、光または振動の発生である請求項9または10に記載の内視鏡システム。
Equipped with a notification unit that generates sound, light or vibration,
The endoscope system according to claim 9 or 10, wherein the notification is generation of sound, light, or vibration by the notification unit.
前記高スコア表示画像の表示の指示を受け付ける指示部を備え、
前記表示制御部は、前記通知の後、前記指示部による前記指示に従って、前記高スコア表示画像を表示する請求項9ないし11のいずれか1項に記載の内視鏡システム。
An instruction unit for receiving an instruction to display the high score display image,
The endoscope system according to any one of claims 9 to 11, wherein the display control unit displays the high score display image according to the instruction from the instruction unit after the notification.
前記表示制御部は、前記第2病状スコアが前記第1病状スコアよりも大きい場合に、前記高スコア表示画像を表示する請求項1ないし12のいずれか1項に記載の内視鏡システム。   The endoscope system according to any one of claims 1 to 12, wherein the display control unit displays the high score display image when the second medical condition score is higher than the first medical condition score. 前記表示制御部は、前記第1画像信号に基づく第1画像を表示している場合において。前記第2病状スコアが前記第1病状スコアよりも大きい場合に、前記第1画像信号から前記高スコア表示画像に切り替えて表示する請求項13に記載の内視鏡システム。   In the case where the display control unit is displaying the first image based on the first image signal. The endoscope system according to claim 13, wherein when the second medical condition score is higher than the first medical condition score, the first image signal is switched to the high score display image for display. 前記表示制御部は、前記第1画像信号に基づく前記第1画像を表示している場合において。前記第1病状スコアが前記第2病状スコア以上である場合に、前記第1画像信号に基づく前記第1画像を継続して表示する請求項1ないし12のいずれか1項に記載の内視鏡システム。   In the case where the display control unit is displaying the first image based on the first image signal. The endoscope according to any one of claims 1 to 12, wherein the first image based on the first image signal is continuously displayed when the first medical condition score is equal to or higher than the second medical condition score. system. 前記表示制御部は、前記第1画像信号に基づく前記第1画像と前記高スコア表示画像との両者を表示する請求項13に記載の内視鏡システム。   The endoscope system according to claim 13, wherein the display control unit displays both the first image based on the first image signal and the high-score display image. 前記表示制御部は、前記第1画像信号に基づく前記第1画像を、前記高スコア表示画像よりも大きい表示領域で表示する請求項16に記載の内視鏡システム。   The endoscope system according to claim 16, wherein the display control unit displays the first image based on the first image signal in a display area larger than the high score display image. 前記表示制御部は、前記第1画像信号に基づく前記第1画像を、前記高スコア表示画像よりも小さい表示領域で表示する請求項16に記載の内視鏡システム。
The endoscope system according to claim 16, wherein the display control unit displays the first image based on the first image signal in a display area smaller than the high score display image.
JP2018199811A 2018-10-24 2018-10-24 Endoscope system Pending JP2020065685A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018199811A JP2020065685A (en) 2018-10-24 2018-10-24 Endoscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018199811A JP2020065685A (en) 2018-10-24 2018-10-24 Endoscope system

Publications (1)

Publication Number Publication Date
JP2020065685A true JP2020065685A (en) 2020-04-30

Family

ID=70388922

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018199811A Pending JP2020065685A (en) 2018-10-24 2018-10-24 Endoscope system

Country Status (1)

Country Link
JP (1) JP2020065685A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022014235A1 (en) 2020-07-14 2022-01-20 富士フイルム株式会社 Image analysis processing device, endoscopy system, operation method for image analysis processing device, and program for image analysis processing device
WO2022071413A1 (en) 2020-10-02 2022-04-07 富士フイルム株式会社 Image processing device, endoscope system, method for operating image processing device, and program for image processing device
WO2022210508A1 (en) * 2021-03-31 2022-10-06 富士フイルム株式会社 Processor device, medical image processing device, medical image processing system, and endoscopic system
WO2022249817A1 (en) * 2021-05-27 2022-12-01 富士フイルム株式会社 Medical image processing device and endoscope system
WO2023084969A1 (en) * 2021-11-11 2023-05-19 富士フイルム株式会社 Medical image evaluation assisting device and operation method for medical image evaluation assisting device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002345739A (en) * 2001-05-25 2002-12-03 Fuji Photo Film Co Ltd Image display device
JP2011255006A (en) * 2010-06-09 2011-12-22 Olympus Corp Image processor, endoscopic device, program and image processing method
WO2018180631A1 (en) * 2017-03-30 2018-10-04 富士フイルム株式会社 Medical image processing device, endoscope system, and method for operating medical image processing device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002345739A (en) * 2001-05-25 2002-12-03 Fuji Photo Film Co Ltd Image display device
JP2011255006A (en) * 2010-06-09 2011-12-22 Olympus Corp Image processor, endoscopic device, program and image processing method
WO2018180631A1 (en) * 2017-03-30 2018-10-04 富士フイルム株式会社 Medical image processing device, endoscope system, and method for operating medical image processing device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022014235A1 (en) 2020-07-14 2022-01-20 富士フイルム株式会社 Image analysis processing device, endoscopy system, operation method for image analysis processing device, and program for image analysis processing device
WO2022071413A1 (en) 2020-10-02 2022-04-07 富士フイルム株式会社 Image processing device, endoscope system, method for operating image processing device, and program for image processing device
WO2022210508A1 (en) * 2021-03-31 2022-10-06 富士フイルム株式会社 Processor device, medical image processing device, medical image processing system, and endoscopic system
WO2022249817A1 (en) * 2021-05-27 2022-12-01 富士フイルム株式会社 Medical image processing device and endoscope system
WO2023084969A1 (en) * 2021-11-11 2023-05-19 富士フイルム株式会社 Medical image evaluation assisting device and operation method for medical image evaluation assisting device

Similar Documents

Publication Publication Date Title
JP6785941B2 (en) Endoscopic system and how to operate it
JP6785948B2 (en) How to operate medical image processing equipment, endoscopic system, and medical image processing equipment
WO2017057574A1 (en) Image processing apparatus, endoscope system, and image processing method
JP2020065685A (en) Endoscope system
JP6917518B2 (en) Endoscope system
JP7335399B2 (en) MEDICAL IMAGE PROCESSING APPARATUS, ENDOSCOPE SYSTEM, AND METHOD OF OPERATION OF MEDICAL IMAGE PROCESSING APPARATUS
WO2017057573A1 (en) Image processing device, endoscopic system, and image processing method
JP6823072B2 (en) Processor device and endoscopic system
JP6924837B2 (en) Medical image processing system, endoscopy system, diagnostic support device, and medical service support device
US20230027950A1 (en) Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium
JP7130043B2 (en) MEDICAL IMAGE PROCESSING APPARATUS, ENDOSCOPE SYSTEM, AND METHOD OF OPERATION OF MEDICAL IMAGE PROCESSING APPARATUS
JP6054806B2 (en) Image processing apparatus and method for operating endoscope system
US20230101620A1 (en) Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium
JP6763025B2 (en) Processor device and how to operate the processor device
WO2022071413A1 (en) Image processing device, endoscope system, method for operating image processing device, and program for image processing device
JPWO2020066941A1 (en) How to operate a medical image processing device, an endoscopic system, and a medical image processing device
WO2021199910A1 (en) Medical image processing system and method for operating medical image processing system
WO2022014235A1 (en) Image analysis processing device, endoscopy system, operation method for image analysis processing device, and program for image analysis processing device
WO2018079217A1 (en) Endoscopic system and operation method thereof
JP7214886B2 (en) Image processing device and its operating method
WO2022059233A1 (en) Image processing device, endoscope system, operation method for image processing device, and program for image processing device
JP7196196B2 (en) endoscope system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230427

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230915

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230927

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20231124