JP2020065685A - Endoscope system - Google Patents
Endoscope system Download PDFInfo
- Publication number
- JP2020065685A JP2020065685A JP2018199811A JP2018199811A JP2020065685A JP 2020065685 A JP2020065685 A JP 2020065685A JP 2018199811 A JP2018199811 A JP 2018199811A JP 2018199811 A JP2018199811 A JP 2018199811A JP 2020065685 A JP2020065685 A JP 2020065685A
- Authority
- JP
- Japan
- Prior art keywords
- image
- score
- medical condition
- display
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 claims abstract description 42
- 201000010099 disease Diseases 0.000 claims abstract description 33
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 33
- 238000005286 illumination Methods 0.000 claims description 44
- 210000004204 blood vessel Anatomy 0.000 claims description 21
- 210000004400 mucous membrane Anatomy 0.000 claims description 14
- 238000000295 emission spectrum Methods 0.000 claims description 7
- 210000004907 gland Anatomy 0.000 claims 1
- 208000024891 symptom Diseases 0.000 abstract 7
- 238000000034 method Methods 0.000 description 50
- 230000008569 process Effects 0.000 description 43
- 238000006243 chemical reaction Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 11
- 239000003086 colorant Substances 0.000 description 10
- 238000003745 diagnosis Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000005452 bending Methods 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 5
- 238000001839 endoscopy Methods 0.000 description 5
- 238000003780 insertion Methods 0.000 description 5
- 230000037431 insertion Effects 0.000 description 5
- 206010009900 Colitis ulcerative Diseases 0.000 description 4
- 201000006704 Ulcerative Colitis Diseases 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 206010061818 Disease progression Diseases 0.000 description 2
- 208000005718 Stomach Neoplasms Diseases 0.000 description 2
- 230000005750 disease progression Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 206010017758 gastric cancer Diseases 0.000 description 2
- 210000002429 large intestine Anatomy 0.000 description 2
- 201000011549 stomach cancer Diseases 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 208000022559 Inflammatory bowel disease Diseases 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 101001013647 Mus musculus Methionine synthase Proteins 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000011241 protective layer Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Abstract
Description
本発明は、内視鏡システムに関する。 The present invention relates to an endoscope system.
医療分野において、生体内の観察対象を撮影する内視鏡システムが広く利用されている。内視鏡システムは、生体内に挿入され、観察対象を撮影して画像信号を出力する内視鏡と、画像信号に基づき、観察対象の観察画像を生成しこれをモニタに出力する内視鏡用プロセッサ装置(以下、プロセッサ装置という)とを備える。 In the medical field, an endoscope system for photographing an observation target in a living body is widely used. The endoscope system is an endoscope that is inserted into a living body, captures an observation target and outputs an image signal, and an endoscope that generates an observation image of the observation target based on the image signal and outputs the observation image to a monitor. Processor device (hereinafter, referred to as a processor device).
観察画像を利用した診断においては、疾患の重症度または疾患の進行度(ステージまたは病期等)の判定が行われることがある。疾患の重症度は、疾患の程度を示す指標であり、また、疾患の進行度は、疾患の進行を示す指標である。これらの指標は、疾患毎または観点毎等により基準が設定されている。 In the diagnosis using the observation image, the severity of the disease or the degree of progression of the disease (stage, stage, etc.) may be determined. The severity of the disease is an index showing the degree of the disease, and the degree of progression of the disease is an index showing the progress of the disease. The criteria for these indicators are set according to each disease or each viewpoint.
観察画像を利用した診断に関連する疾患の重症度としては、例えば、潰瘍性大腸炎における内視鏡指標の一つである、メイヨースコア(Mayo Score)が挙げられる。メイヨースコアでは、内視鏡を用いた大腸における患部の所見により、疾患の特徴の有無及び程度等から、グレード0及び1の軽症、グレード2の中等症またはグレード3の重症のいずれかに判定する。また、観察画像を利用した診断に関連する疾患の進行度としては、例えば、胃がんにおけるステージが挙げられる。胃がんにおけるステージは、病変の観察及び生検等により、腫瘍の深さ及び転移の状態を総合的に判定し、ステージIからIVまでに分類する。疾患の重症度または進行度は、治療方針の決定等において重要な判断材料となる。特に、重症度に応じた内科的治療が中心となる潰瘍性大腸炎等は、発症早期の的確な診断が重要であるため、内視鏡検査により重症度を高い精度で決定することが有益である。 Examples of the severity of a disease associated with diagnosis using an observation image include Mayo Score, which is one of the endoscopic indexes in ulcerative colitis. The Mayo score determines whether the disease is grade 0 or 1 mild, grade 2 moderate, or grade 3 based on the presence or absence of disease features and the degree of disease based on the findings of the large intestine using an endoscope. . Moreover, examples of the degree of progression of a disease associated with diagnosis using an observation image include a stage in gastric cancer. The stages in gastric cancer are classified into stages I to IV by comprehensively determining the depth of the tumor and the state of metastasis by observing lesions and biopsy. The severity or the degree of progression of the disease is an important criterion for determining the treatment policy. In particular, for ulcerative colitis, etc., which mainly involves medical treatment according to the severity, it is important to make an accurate diagnosis in the early stage of onset, so it is useful to determine the severity with endoscopy with high accuracy. is there.
内視鏡システムには、生体内の観察部位に白色の通常光を照射して、生体組織の表面の全体的な性状を観察する通常モードと、観察部位に特殊光を照射して観察を行う特殊モードを備えるものがある。特殊モードでは、特殊光として、例えば波長が制限された挟帯域の光を患部に照射することにより、白色の通常光では見えなかった、独特な血管形状または粘膜凹凸形状等の疾患特徴を捉えることが可能である。 The endoscope system irradiates the observation site in the living body with white normal light to observe the overall properties of the surface of the living tissue, and the special light is irradiated to the observation region to perform observation. Some have special modes. In the special mode, as a special light, for example, by irradiating the affected area with a narrow band of light with a limited wavelength, it is possible to capture disease features such as unique blood vessel shape or mucous membrane uneven shape that could not be seen with white normal light. Is possible.
したがって、場合にもよるが、この特殊モードにより、疾患の重症度または進行度の判定の元となる患部の状態または疾患の特徴を詳細に観察することができる。そのため、特殊モードにより、通常光下で観察する通常モードよりも、精度の高い重症度または進行度の判定結果を提供することが可能である。なお、精度が高いとは、具体的には、患部の実際の重症度または進行度と、内視鏡検査により判定した重症度または進行度とが、一致する割合が高いことを意味する。 Therefore, depending on the case, this special mode allows detailed observation of the condition of the affected area or the characteristics of the disease, which is the basis for determining the severity or progression of the disease. Therefore, with the special mode, it is possible to provide a more accurate determination result of severity or progress than in the normal mode of observing under normal light. Note that “high accuracy” specifically means that the actual severity or progress of the affected area and the severity or progress determined by endoscopy are highly consistent.
特殊モードを用いる例としては、通常モードと特殊モードとを用い、ぼけの少ない蛍光画像を得ることにより、疾患の進行状況の解析を行う画像処理装置が開示されている(特許文献1)。また、特殊モードにおいて、酸素飽和度に関する病状スコアに基づく情報を表示部に表示することにより、より正確かつ詳細な診断を行う内視鏡システムが開示されている(特許文献2)。 As an example of using the special mode, there is disclosed an image processing device that analyzes the progress of a disease by using a normal mode and a special mode to obtain a fluorescence image with less blurring (Patent Document 1). Further, there is disclosed an endoscope system that performs more accurate and detailed diagnosis by displaying information based on a medical condition score regarding oxygen saturation on a display unit in a special mode (Patent Document 2).
内視鏡検査においては、通常は自然な色で見ることができる通常モードが用いられ、医師が特に注意して観察したい箇所について、上記のような特殊モードを用いるといった使われ方をする場合が多い。しかしながら、この場合は、医師が意図しない限り特殊モードへの切り替えがなされない。そのため、特殊モードで観察した場合には疾患特徴を捉えることができる観察部位であっても、通常モードでの観察ではその疾患特徴を捉えることができず、通常モードのみで診断を行うことにより重症度または進行度の判定の精度が低い箇所が発生するという問題が発生することがあった。 In endoscopy, the normal mode that can be seen in natural colors is usually used, and the doctor may use the special mode as described above for the part to be observed with particular attention. Many. However, in this case, switching to the special mode is not performed unless the doctor intends. Therefore, even when the observation site is capable of capturing the disease feature when observing in the special mode, the disease feature cannot be captured by the observation in the normal mode. There was a problem that a part with low accuracy in determining the degree of progress or progress occurs.
そこで、本発明は、内視鏡検査において疾患の重症度または進行度を高い精度で判定することができる内視鏡システムを提供することを目的とする。 Therefore, it is an object of the present invention to provide an endoscope system capable of highly accurately determining the severity or progress of a disease in endoscopy.
本発明の内視鏡システムは、互いに発光スペクトルが異なる第1照明光と第2照明光とを発光する光源部と、第1照明光で照明中の観察対象を撮像して第1画像信号を取得し、かつ、第2照明光で照明中の観察対象を撮像して第2画像信号を取得する画像信号取得部と、第1画像信号に基づいて第1特徴量を算出し、かつ、第2画像信号に基づいて第2特徴量を算出する特徴量算出部と、第1画像信号に基づいて観察対象の病状を表す第1病状スコアを算出し、かつ、第2画像信号に基づいて観察対象の病状を表す第2病状スコアを算出する病状スコア算出部と、第1特徴量と第2特徴量とを比較する、または、第1病状スコアと第2病状スコアとを比較する病状比較部と、第2特徴量が第1特徴量よりも大きい場合、または、第2病状スコアが第1病状スコアよりも大きい場合に、第2画像信号を用いて高スコア表示画像を生成する表示処理部と、高スコア表示画像の表示を制御する表示制御部とを備える。 The endoscope system of the present invention captures a first image signal by capturing an image of an observation target illuminated with the first illumination light and a light source unit that emits first illumination light and second illumination light having emission spectra different from each other. An image signal acquisition unit that acquires and acquires a second image signal by imaging an observation target that is being illuminated by the second illumination light, and calculates a first feature amount based on the first image signal, and A feature amount calculator that calculates a second feature amount based on the two image signals, a first medical condition score that indicates the medical condition of the observation target based on the first image signal, and an observation based on the second image signal A medical condition score calculation unit that calculates a second medical condition score representing the medical condition of the target, and a medical condition comparison unit that compares the first characteristic amount and the second characteristic amount, or that compares the first medical condition score and the second medical condition score. And the second feature amount is larger than the first feature amount, or the second medical condition score If There is larger than the first condition score comprises a display processor for generating a high-score display image using the second image signal, and a display control unit for controlling the display of high-score display image.
第1照明光は、白色光であり、第2照明光は、特殊光であることが好ましい。 It is preferable that the first illumination light is white light and the second illumination light is special light.
病状比較部が比較する対象として、第1特徴量と第2特徴量とを用いるか、または、第1病状スコアと第2病状スコアとを用いるかのいずれかを指定する比較対象選択部を備えることが好ましい。 The medical condition comparing unit includes a comparison target selecting unit that specifies either the first characteristic amount and the second characteristic amount, or the first medical condition score and the second medical condition score, as targets to be compared. It is preferable.
第1病状スコア及び第2病状スコアは、疾患の重症度または疾患の進行度を含むことが好ましい。 The first medical condition score and the second medical condition score preferably include disease severity or disease progression.
第1特徴量及び第2特徴量は、血管、腺管または粘膜に基づく値を含むことが好ましい。 It is preferable that the first characteristic amount and the second characteristic amount include a value based on a blood vessel, a duct, or a mucous membrane.
高スコア表示画像は、第2画像信号による第2画像であることが好ましい。 The high score display image is preferably the second image based on the second image signal.
高スコア表示画像は、第2画像信号により第1画像信号を処理することにより生成した第1強調画像であることが好ましい。 The high score display image is preferably a first emphasized image generated by processing the first image signal with the second image signal.
高スコア表示画像は、第2画像信号により第2画像信号を処理することにより生成した第2強調画像であることが好ましい。 The high score display image is preferably a second emphasized image generated by processing the second image signal with the second image signal.
表示制御部は、高スコア表示画像の表示に先立ち、高スコア表示画像の存在に係る通知を行うことが好ましい。 It is preferable that the display control unit gives a notification regarding the existence of the high score display image before displaying the high score display image.
通知は、警告の表示であることが好ましい。 The notification is preferably a warning display.
音、光または振動を発生する通知部を備え、通知は、通知部による、音、光または振動の発生であることが好ましい。 It is preferable that a notification unit that generates sound, light, or vibration is provided, and that the notification is generation of sound, light, or vibration by the notification unit.
高スコア表示画像の表示の指示を受け付ける指示部を備え、表示制御部は、通知の後、指示部による指示に従って、高スコア表示画像を表示することが好ましい。 It is preferable that the display control unit includes an instruction unit that receives an instruction to display the high score display image, and the display control unit displays the high score display image in accordance with the instruction from the instruction unit after the notification.
表示制御部は、第2病状スコアが第1病状スコアよりも大きい場合に、高スコア表示画像を表示することが好ましい。 It is preferable that the display control unit displays the high score display image when the second medical condition score is higher than the first medical condition score.
表示制御部は、第1画像信号に基づく第1画像を表示している場合において。第2病状スコアが第1病状スコアよりも大きい場合に、第1画像信号から高スコア表示画像に切り替えて表示することが好ましい。 The display control unit displays the first image based on the first image signal. When the second medical condition score is higher than the first medical condition score, it is preferable to switch from the first image signal to the high score display image for display.
表示制御部は、第1画像信号に基づく第1画像を表示している場合において。第1病状スコアが第2病状スコア以上である場合に、第1画像信号に基づく第1画像を継続して表示することが好ましい。 The display control unit displays the first image based on the first image signal. It is preferable to continuously display the first image based on the first image signal when the first medical condition score is equal to or higher than the second medical condition score.
表示制御部は、第1画像信号に基づく第1画像と高スコア表示画像との両者を表示することが好ましい。 The display control unit preferably displays both the first image based on the first image signal and the high score display image.
表示制御部は、第1画像信号に基づく第1画像を、高スコア表示画像よりも大きい表示領域で表示することが好ましい。 The display control unit preferably displays the first image based on the first image signal in a display area larger than the high score display image.
表示制御部は、第1画像信号に基づく第1画像を、高スコア表示画像よりも小さい表示領域で表示することが好ましい。 The display control unit preferably displays the first image based on the first image signal in a display area smaller than the high score display image.
表示制御部は、第2病状スコアが第1病状スコアよりも大きい場合に、第1画像信号に基づく画像から高スコア表示画像への表示に切り替えることが好ましい。 It is preferable that the display control unit switches the image based on the first image signal to the high score display image when the second medical condition score is higher than the first medical condition score.
本発明の内視鏡システムは、内視鏡検査において疾患の重症度または進行度を精度良く判定することができる。 INDUSTRIAL APPLICABILITY The endoscopic system of the present invention can accurately determine the severity or progression of a disease in endoscopy.
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、ユーザーインターフェース19とを備える。内視鏡12は、生体内の観察対象に照明光を照射し、照明光で照射された観察対象を撮影して画像信号を出力する。光源装置14は、観察対象に照射する照明光を内視鏡12に供給する。プロセッサ装置16は、画像信号に基づき観察対象の観察画像を生成し、内視鏡システム10のシステム制御及び画像処理等を行う。モニタ18は、プロセッサ装置16から出力された画像を表示する表示部である。ユーザーインターフェース19は、プロセッサ装置16等への設定入力等を行う入力デバイスであり、キーボードKBおよびマウスMS等から構成する。プロセッサ装置16は、モニタ18及びユーザーインターフェース19と電気的に接続する。
As shown in FIG. 1, the
内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けた操作部12bと、挿入部12aの先端側に設けた湾曲部12cと、先端部12dとを有する。操作部12bのアングルノブ13aを操作することにより、湾曲部12cが湾曲する。湾曲部12cが湾曲することにより、先端部12dが所望の方向に向く。先端部12dには、観察対象に向けて空気や水等を噴射する噴射口(図示しない)を設けている。
The
また、操作部12bには、アングルノブ13aの他、観察モードの切り替え操作に用いるモード切替部13b、モニタ18に表示する画像の指示を受け付ける指示部である表示指示部13c、その他各種の選択または指示等の操作を行うスコープスイッチ13eおよびズーム操作部13dを設けている。
In addition to the
モード切替部13bを押下することにより、内視鏡システム10が有する通常モードと、特殊モードと、判定モードとが、順に切り替わる。観察モードが通常モードである場合、複数色の光を通常モード用の光量比Lcで合波した通常光を発光し、かつ、この通常光で照明中の観察対象を撮像して得られた通常画像をモニタ18に表示する。また、観察モードが特殊モードである場合、複数色の光を特殊モード用の光量比Lsで合波した特殊光を発光し、かつ、この特殊光で照明中の観察対象を撮像して得られた特殊画像をモニタ18に表示する。光量比Lcと光量比Lsとは異なるため、通常光と特殊光とは、互いに発光スペクトルが異なる。なお、モニタ18に表示する画像は、適宜設定可能である。
By pressing the
また、観察モードが判定モードである場合、通常光と特殊光を交互に発光する。そして、通常光で照明中の観察対象を撮像した通常画像を得て、かつ、特殊光で照明中の観察対象を撮像した特殊画像を得る。判定モードでは、モニタ18に、最初に通常画像を表示する。また、内視鏡システム10は、通常画像及び特殊画像のそれぞれに基づき算出したそれぞれの特徴量または病状スコアによって、モニタ18に表示する画像を制御する。特徴量とは、画像信号の所定の画像的特徴を比較できるように数値化または分類したものである。病状スコアとは、観察対象の病状を示す指標であり、疾患の重症度または疾患の進行度を含む。
When the observation mode is the determination mode, normal light and special light are emitted alternately. Then, a normal image obtained by picking up the observation target being illuminated by the normal light is obtained, and a special image obtained by picking up the observation target being illuminated by the special light is obtained. In the judgment mode, the normal image is first displayed on the
表示指示部13cを操作することによって、モニタ18に表示する画像を切り替える等の指示を行うことができる。ズーム操作部13dを操作することによって、観察対象を拡大または縮小して撮像することができる。また、挿入部12aから先端部12dにわたって、処置具などを挿通するための鉗子チャンネル(図示しない)を設けている。処置具は、鉗子入口12eから鉗子チャンネル内に挿入する。内視鏡12は、光源装置14と光学的に接続し、かつ、プロセッサ装置16と電気的に接続する。
By operating the
図2に示すように、光源装置14は、観察対象の照明に用いる照明光を発する光源部20と、光源部20を制御する光源制御部22とを備えている。光源部20は、複数色のLED(Light Emitting Diode)の半導体光源である。光源制御部22は、LEDのオン/オフや、LEDの駆動電流や駆動電圧の調整によって、照明光の発光量を制御する。
As shown in FIG. 2, the
光源部20は、V−LED(Violet Light Emitting Diode)20a、B−LED(Blue Light Emitting Diode)20b、G−LED(Green Light Emitting Diode)20c、及びR−LED(Red Light Emitting Diode)20dの4色のLEDと、波長カットフィルタ23とを有している。
The
図3に示すように、V−LED20aは、波長帯域380nm〜420nmの紫色光Vを発する。B−LED20bは、波長帯域420nm〜500nmの青色光Bを発する。B−LED23bから出射した青色光Bのうち少なくともピーク波長の450nmよりも長波長側は、波長カットフィルタ23によりカットされる。これにより、波長カットフィルタ23を透過した後の青色光Bxは、420〜460nmの波長範囲になる。このように、460nmよりも長波長側の波長域の光をカットしているのは、この460nmよりも長波長側の波長域の光は、観察対象である血管の血管コントラストを低下させる要因であるためである。なお、波長カットフィルタ23は、460nmよりも長波長側の波長域の光をカットする代わりに、460nmよりも長波長側の波長域の光を減光させてもよい。
As shown in FIG. 3, the V-
G−LED20cは、波長帯域が480nm〜600nmに及ぶ緑色光Gを発する。R−LED20dは、波長帯域が600nm〜650nmに及び赤色光Rを発する。なお、各LED20a〜20dから発せられる光は、それぞれの中心波長とピーク波長とが同じであっても良いし、異なっていても良い。
The G-
光源制御部22は、各LED20a〜20dの点灯や消灯、及び点灯時の発光量等を独立に制御することによって、照明光の発光タイミング、発光期間、光量、及び分光スペクトルの調節を行う。光源制御部22における点灯及び消灯の制御は、観察モードごとに異なっている。なお、基準の明るさはユーザーインターフェース19等によって設定可能である。
The light
通常モードの場合、光源制御部22は、V−LED20a、B−LED20b、G−LED20c、及びR−LED20dを全て点灯させる。その際、図4に示すように、紫色光V、青色光Bx、緑色光G、及び赤色光R間の光量比Lcは、青色光Bxの光強度のピークが、紫色光V、緑色光G、及び赤色光Rのいずれの光強度のピークよりも大きくなるように設定されている。これにより、通常モードでは、光源装置14から、紫色光V、青色光Bx、緑色光G、及び赤色光Rを含む通常モード用の多色光が、通常光として発せられる。通常光は、青色帯域から赤色帯域まで一定以上の強度を有しているため、ほぼ白色の白色光である。なお、白色光は、キセノンランプが発する白色光のように、青色成分、緑色成分、赤色成分の波長帯域をすべて含む広帯域光だけでなく、青色成分、緑色成分、赤色成分の少なくとも3色のそれぞれの波長帯域の光を混合した照明光も含む。
In the normal mode, the light
特殊モードの場合、光源制御部22は、V−LED20a、B−LED20b、G−LED20c、及びR−LED20dを全て点灯させる。その際、図5に示すように、紫色光V、青色光Bx、緑色光G、及び赤色光R間の光量比Lsは、紫色光Vの光強度のピークが、青色光Bx、緑色光G、及び赤色光Rのいずれの光強度のピークよりも大きくなるように設定されている。これにより、特殊モードでは、光源装置14から、紫色光V、青色光Bx、緑色光G、及び赤色光Rを含む特殊モード用の多色光が、特殊光として発せられる。特殊光は、紫色光Vが占める割合が大きいことから、青みを帯びた光となっている。なお、特殊光は、4色全ての光が含まれていなくてもよく、4色のLED20a〜20dのうち少なくとも1色のLEDからの光が含まれていればよい。なお、光強度は、光の光束の単位立体角内の密度であり、光量は、光の放射エネルギーを人間の感覚(視感度)に基づき評価した値である。
In the special mode, the light
判定モードの場合、光源制御部22は、通常光と特殊光が、1フレームごとに交互に発光されるように、V−LED20a、B−LED20b、G−LED20c、及びR−LED20dを制御する。即ち、光源制御部22は、V−LED20a、B−LED20b、G−LED20c、及びR−LED20dを全て点灯させ、その際に、紫色光V、青色光Bx、緑色光G、及び赤色光R間の光量比Lcと光量比Lsとを、1フレームごとに交互に切り替える制御を行う。1秒間あたりのフレーム数(静止画像数)は、例えば、60fps(Frame per second)である。したがって、判定モードにおいて、光源制御部22は、通常光と特殊光とが1/60秒毎に切り替わるように制御する。以上のように、光源部20は、互いに発光スペクトルが異なる通常光(白色光(第1照明光))と特殊光(第2照明光)とを発光する。
In the determination mode, the light
図2に示すように、光源部20が発光した照明光は、ライトガイド41に入射する。ライトガイド41は、内視鏡12及びユニバーサルコード(図示しない)内に内蔵されており、照明光を内視鏡12の先端部12dまで伝搬する。ユニバーサルコードは、内視鏡12と光源装置14及びプロセッサ装置16とを接続するコードである。なお、ライトガイド41としては、マルチモードファイバを使用できる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルを使用できる。
As shown in FIG. 2, the illumination light emitted by the
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bを設けている。照明光学系30aは、照明レンズ45を有しており、この照明レンズ45を介して照明光が観察対象に向けて出射する。撮像光学系30bは、対物レンズ46、ズームレンズ47、及びイメージセンサ48を有している。イメージセンサ48は、対物レンズ46及びズームレンズ47を介して、観察対象から戻る照明光の反射光等(反射光の他、散乱光、観察対象が発する蛍光、または、観察対象に投与等した薬剤に起因した蛍光等を含む)を用いて観察対象を撮像する。
An illumination
ズームレンズ47は、ズーム操作部13dの操作をすることで移動し、イメージセンサ48を用いて撮像する観察対象を拡大または縮小する。
The
イメージセンサ48は、例えば原色系のカラーフィルタを有するカラーセンサであり、青色カラーフィルタを有するB画素(青色画素)、緑色カラーフィルタを有するG画素(緑色画素)、及び、赤色カラーフィルタを有するR画素(赤色画素)の3種類の画素を備える。青色カラーフィルタは、主として紫色から青色の光を透過する。緑色カラーフィルタは、主として緑色の光を透過する。赤色カラーフィルタは、主として赤色の光を透過する。上記のように原色系のイメージセンサ48を用いて観察対象を撮像すると、最大で、B画素から得るB画像(青色画像)、G画素から得るG画像(緑色画像)、及び、R画素から得るR画像(赤色画像)の3種類の画像を同時に得ることができる。
The
なお、イメージセンサ48としては、CCD(Charge Coupled Device)センサや、CMOS(Complementary Metal Oxide Semiconductor)センサを利用可能である。また、本実施形態のイメージセンサ48は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色−原色色変換をすれば、B画像、G画像、及びR画像に変換できる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ48として使用できる。この場合、BGR等各色の照明光を用いて観察対象を順次撮像することにより、上記各色の画像を得ることができる。
As the
プロセッサ装置16は、中央制御部52と、画像信号取得部54と、画像処理部61と、表示制御部62とを有する。中央制御部52は、光源制御部22およびイメージセンサ48を制御することによる照明光の照射タイミングと撮像のタイミングの同期制御等、内視鏡システム10の統括的な制御を行う。通常モードでは、照明光として通常光を発光して通常画像信号を画像信号取得部54に入力する。特殊モードでは、照明光として特殊光を発光して特殊画像信号を画像信号取得部54に入力する。判定モードでは、照明光として通常光で照明中の観察対象を撮像する通常画像信号を画像信号取得部54に入力し、照明光として特殊光で照明中の観察対象を撮像して特殊画像信号を画像信号取得部54に入力することを、1フレーム毎に切り替えて行う。また、内視鏡12またはユーザーインターフェース19等を用いて、各種設定の入力等をした場合には、中央制御部52は、入力された各種設定を、光源制御部22、イメージセンサ48、または画像処理部61等の内視鏡システム10の各部に入力する。
The
画像信号取得部54は、イメージセンサ48から、観察対象を撮像した画像信号を取得する。具体的には、中央制御部52の制御により、通常光で照明中の観察対象を撮像する通常画像信号を取得し、かつ、照明光として特殊光で照明中の観察対象を撮像して特殊画像信号取得する。通常画像信号の取得と特殊画像信号の取得とは、1フレーム毎に切り替えて行われる。画像信号取得部54は、DSP(Digital Signal Processor)56と、ノイズ低減部58と、変換部59とを有し、これらを用いて、取得した画像信号に必要に応じて各種処理を施す。DSP56は、取得した画像信号に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種処理を施す。
The image
欠陥補正処理は、イメージセンサ48の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像信号から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像信号にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像信号の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像信号の明るさや彩度を整える処理である。
The defect correction process is a process of correcting the pixel value of the pixel corresponding to the defective pixel of the
なお、イメージセンサ48がカラーセンサである場合には、デモザイク処理が行われる。デモザイク処理(等方化処理や同時化処理とも言う)は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像信号に対して施す。欠落した画素とは、カラーフィルタの配列に起因して(イメージセンサ48において他の色の画素を配置しているため)、画素値がない画素である。例えば、B画像はB画素において観察対象を撮像して得る画像なので、G画素やR画素に対応する位置の画素には画素値がない。デモザイク処理は、B画像を補間して、イメージセンサ48のG画素及びR画素の位置にある画素の画素値を生成する。YC変換処理は、デモザイク処理後の画像を、輝度チャンネルYと色差チャンネルCb及び色差チャンネルCrに変換する処理である。
If the
ノイズ低減部58は、輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部59は、ノイズ低減処理後の輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrを再びBGRの各色の画像信号に再変換する。
The
図6に示すように、画像処理部61は、通常モード用処理部63と、特殊モード用処理部64と、判定モード用処理部65を備えている。通常モード用処理部63は、通常モードに設定されている場合に作動し、受信した通常画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理では、RGB画像に対して3×3のマトリックス処理、階調変換処理、及び3次元LUT(Look Up Table)処理などにより色変換処理を行う。
As shown in FIG. 6, the
色彩強調処理は、色変換処理済みのRGB画像信号に対して行われる。構造強調処理は、観察対象の構造を強調する処理であり、色彩強調処理後のRGB画像信号に対して行われる。上記のような各種画像処理等を行うことによって、通常画像が得られる。通常画像は、紫色光V、青色光Bx、緑色光G、赤色光Rがバランス良く発せられた通常光に基づいて得られた画像であるため、自然な色合いの画像となっている。通常画像は、表示制御部62に入力する。
The color enhancement processing is performed on the RGB image signal that has undergone the color conversion processing. The structure emphasizing process is a process of emphasizing the structure of the observation target, and is performed on the RGB image signal after the color emphasizing process. A normal image can be obtained by performing the various image processing as described above. Since the normal image is an image obtained based on the normal light in which the violet light V, the blue light Bx, the green light G, and the red light R are emitted in a well-balanced manner, the image has a natural hue. The normal image is input to the
特殊モード用処理部64は、特殊モードに設定されている場合に作動する。特殊モード用処理部64では、受信した特殊画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理、色彩強調処理、及び構造強調処理の処理内容は、通常モード用処理部63と同様である。上記のような各種画像処理を行うことによって、特殊画像が得られる。特殊画像は、血管のヘモグロビンの吸収係数が高い紫色光Vが、他の色の青色光Bx、緑色光G、赤色光Rよりも大きい発光量となっている特殊光に基づいて得られた画像であるため、血管構造や腺管構造の解像度が他の構造よりも高くなっている。特殊画像は表示制御部62に入力する。
The special mode processing unit 64 operates when the special mode is set. The special mode processing unit 64 performs color conversion processing, color enhancement processing, and structure enhancement processing on the received special image signal. The processing contents of the color conversion processing, the color enhancement processing, and the structure enhancement processing are the same as those of the normal mode processing unit 63. A special image is obtained by performing the various image processing as described above. The special image is obtained based on the special light in which the purple light V having a high hemoglobin absorption coefficient of blood vessels has a larger light emission amount than the blue light Bx, the green light G, and the red light R of the other colors. Therefore, the resolution of the blood vessel structure and the ductal structure is higher than that of other structures. The special image is input to the
図7に示すように、判定モード用処理部65は、特徴量算出部70と、病状スコア算出部71と、比較対象選択部72と、病状比較部73と、表示処理部74とを備える。判定モード用処理部65は、判定モードに設定されている場合に作動する。
As illustrated in FIG. 7, the determination
特徴量算出部70は、通常画像信号(第1画像信号)および特殊画像信号(第2画像信号)に基づいて、それぞれの特徴量(第1特徴量及び第2特徴量)を算出する特徴量算出機能を担う。病状スコア算出部71は、通常画像信号および特殊画像信号に基づいてそれぞれ算出された特徴量により、観察対象の病状を表す病状スコア(第1病状スコアおよび第2病状スコア)をそれぞれ算出する。比較対象選択部72は、病状比較部73が比較する対象として、特徴量を用いるか、または、病状スコアを用いるかのいずれかを選択して指定する。
The feature
病状比較部73は、比較対象選択部72からの指示に従い、通常画像信号の特徴量と特殊画像信号の特徴量とを、または、通常画像信号の病状スコアと特殊画像信号の病状スコアとを比較する。表示処理部74は、病状比較部73による比較の結果、特殊画像信号の特徴量が通常画像信号の特徴よりも大きい場合、または、特殊画像信号の病状スコアが通常画像信号の病状スコアよりも大きい場合に、特殊画像信号による画像を用いて、場合により、強調処理などの画像処理を行うことにより、高スコア表示画像を生成する。なお、通常画像信号の特徴量または病状スコアが、特殊画像信号の特徴量または病状スコアよりも大きい場合は、通常画像信号による画像を用いて、高スコア表示画像を生成する。また、判定モード用処理部65におけるこれらの処理は、自動で行う。
The medical condition comparing unit 73 compares the characteristic amount of the normal image signal with the characteristic amount of the special image signal, or compares the medical condition score of the normal image signal with the medical condition score of the special image signal according to the instruction from the comparison target selecting unit 72. To do. As a result of the comparison by the medical condition comparison unit 73, the
図8に示すように、特徴量算出部70は、通常画像特徴量算出部75と、特殊画像特徴量算出部76とを有する。通常画像特徴量算出部75は、通常画像信号の特徴量(以下、通常特徴量という)を算出する。特殊画像特徴量算出部76は、特殊画像信号の特徴量(以下、特殊特徴量という)を算出する。特徴量は、病状スコアを算出するために、また、通常特徴量と特殊特徴量との比較により、高スコア表示画像を作成するために用いられる。
As shown in FIG. 8, the feature
特徴量について、具体的には、例えば、本実施形態では、内視鏡12として、下部内視鏡を用いて、観察対象を大腸の炎症性腸疾患である潰瘍性大腸炎を対象とする。本実施形態において、特徴量は、画像信号の所定の画像的特徴として、血管、腺管または粘膜に基づくものを含む。血管、腺管または粘膜に基づく特徴量は、血管の状態、腺管の状態または粘膜の状態を数値化または分類した値を用いる。血管の状態としては、血管の透見程度、血管の太さ、血管の密度、血管の形状、血管の分岐程度、血管の色またはこれらの分布等を含む。腺管の状態としては、腺管の透見程度、腺管の太さ、腺管の密度、腺管の形状、腺管の分岐程度、腺管の色またはこれらの分布等を含む。粘膜の状態としては、粘膜の色、粘膜の表面のざらつき、粘膜の表面の凹凸またはこれらの分布を含む。
Regarding the characteristic amount, specifically, in the present embodiment, for example, a lower endoscope is used as the
本実施形態では、血管の透見程度、粘膜の色および粘膜のざらつきまたは凹凸の3種類の特徴量を算出する。特徴量は通常画像信号(第1画像信号)または特殊画像信号(第2画像信号)の画像処理により得られる。血管の透見程度の特徴量は、通常画像信号または特殊画像信号において、血管を検出することにより得られる。粘膜の色の特徴量は、通常画像信号または特殊画像信号において、色自体及び色が占める面積により得られる。また、粘膜のざらつきまたは凹凸の特徴量は、通常画像信号または特殊画像信号において、予め準備されたパターンとのマッチングにより得られる。 In the present embodiment, three types of feature amounts, that is, the degree of see-through of blood vessels, the color of mucous membranes, and the roughness or unevenness of mucous membranes are calculated. The feature amount is obtained by image processing of the normal image signal (first image signal) or the special image signal (second image signal). The feature amount of the degree of see-through of the blood vessel is obtained by detecting the blood vessel in the normal image signal or the special image signal. The color feature amount of the mucous membrane is obtained from the color itself and the area occupied by the color in the normal image signal or the special image signal. Further, the feature amount of the roughness or unevenness of the mucous membrane is obtained by matching with a previously prepared pattern in the normal image signal or the special image signal.
これらの特徴量は、特徴を数値化して算出するか、または、観察対象の画像的特徴として、特定の特徴量のテンプレートを予め記憶させておき、抽出した画像的特徴量がテンプレートの特徴量とマッチングするか否かの判定を行うこと等により算出する。ここで、「マッチング」とは、比較する特徴量がそれぞれ一致する他、比較する特徴量の差分が一定の範囲内に収まっていることも含まれる。マッチングの程度を数値化することにより、特徴量とすることができる。本実施形態では、特殊画像信号において、上記のような特徴量を把握しやすくするため、血管構造や腺管構造の解像度が他の構造よりも高くなるような照明光を選択している。 These feature amounts are calculated by digitizing the features, or a template of a specific feature amount is stored in advance as an image feature of the observation target, and the extracted image feature amount is the feature amount of the template. It is calculated by, for example, determining whether or not they match. Here, “matching” includes that the feature amounts to be compared match each other and that the difference between the feature amounts to be compared is within a certain range. By digitizing the degree of matching, the feature amount can be obtained. In the present embodiment, in order to make it easier to recognize the above-mentioned feature amount in the special image signal, the illumination light is selected so that the resolution of the blood vessel structure or the duct structure is higher than that of other structures.
特徴量の種類の数は、例えば、病状スコアを算出できる種類の数であれば良く、観察対象の違いまたは疾患の違い等により適宜決定でき、一種類でも、二種類以上の複数を用いても良い。また、特徴量の種類により、特徴量を明瞭に把握できるように、照明光の発光スペクトルを変更することができる。また、複数種類の特徴量を算出した後に、これらを合計して各画像の特徴量としてもよいし、各特徴量に重み付けをした上で、これらを合計して、各画像の特徴量としてもよい。また、各画像で同じ種類の特徴量を算出してもよいし、違う種類の特徴量を算出してもよい。また、特徴量の算出は、画像処理による以外に、機械学習による画像認識処理により行っても良い。 The number of types of the feature amount may be, for example, the number of types capable of calculating the medical condition score, and can be appropriately determined depending on the difference of the observation target or the difference of the disease, and may be one type or a plurality of two or more types. good. In addition, the emission spectrum of the illumination light can be changed so that the characteristic amount can be clearly understood depending on the type of the characteristic amount. Further, after calculating a plurality of types of feature amounts, these may be summed and used as the feature amount of each image, or each feature amount may be weighted and then summed to obtain the feature amount of each image. Good. Also, the same type of feature amount may be calculated for each image, or different types of feature amount may be calculated. Further, the calculation of the feature amount may be performed by image recognition processing by machine learning instead of image processing.
図9に示すように、病状スコア算出部71は、通常画像スコア算出部77と、通常用スコアテーブル78と、特殊画像スコア算出部79と、特殊用スコアテーブル80とを備える。通常画像スコア算出部77は、通常画像特徴量算出部75により得られた通常画像の特徴量および通常用スコアテーブル78に基づき、通常画像の病状スコア(第1病状スコア)を算出する。同様に、特殊画像スコア算出部79は、特殊画像特徴量算出部76により得られた特殊特徴量および特殊用スコアテーブル80に基づき、特殊画像の病状スコア(第2病状スコア)を算出する。
As shown in FIG. 9, the medical condition
なお、通常画像の病状スコア(以下、通常スコアという)は、通常特徴量から算出する他に、通常画像信号の画素値等を用いて直接算出するようにしてもよい。同様にして、特殊画像の病状スコア(以下、特殊スコアという)は、特殊特徴量から算出する他に、特殊画像信号の画素値等を用いて直接算出するようにしてもよい。 The medical condition score of the normal image (hereinafter referred to as the normal score) may be calculated directly from the normal feature amount, or directly using the pixel value of the normal image signal or the like. Similarly, the medical condition score of the special image (hereinafter, referred to as a special score) may be calculated directly from the pixel value of the special image signal or the like, instead of being calculated from the special feature amount.
上記したように、病状スコアは、例えば、潰瘍性大腸炎の重症度における内視鏡指標の一つである、メイヨースコア(Mayo Score)である。通常画像スコア算出部77は、通常特徴量と通常用スコアテーブル78とにより、通常スコアである通常画像のメイヨースコアを、0及び1の軽症、グレード2の中等症またはグレード3の重症のいずれかに判定する。同様に、特殊画像スコア算出部79は、特殊特徴量と特殊用スコアテーブル80とにより、特殊スコアである特殊画像のメイヨースコアを、0及び1の軽症、グレード2の中等症またはグレード3の重症のいずれかに判定し、分類する。 As described above, the medical condition score is, for example, the Mayo Score, which is one of the endoscopic indexes in the severity of ulcerative colitis. The normal image score calculation unit 77 uses the normal feature amount and the normal score table 78 to set the Mayo score of the normal image, which is a normal score, to either 0 or 1, mild, grade 2 moderate, or grade 3 severe. To judge. Similarly, the special image score calculation unit 79 uses the special feature amount and the special score table 80 to set the Mayo score of the special image, which is the special score, to 0 or 1 as mild, grade 2 as moderate, or grade 3 as severe. It is classified as one of the following.
比較対象選択部72は、病状比較部73が比較する対象として、特徴量を用いるか、または、病状スコアを用いるかのいずれかを指定する。指定は、スコープスイッチ13e(図1参照)、または、ユーザーインターフェース19によって行う。なお、この指定は、内視鏡システムの起動時にどちらかに指定する、または、一度指定すると次に指定を変更するまで変更されないようにする等、適宜設定することができる。また、特徴量及び病状スコアの両者を比較する対象に指定することもできる。この場合は、病状比較部73において、通常特徴量と特殊特徴量との比較と、通常病状スコアと特殊病状スコアとの比較の両者を行い、その結果を病状比較部73に送る。
The comparison target selection unit 72 specifies whether to use the feature amount or the medical condition score as the target to be compared by the medical condition comparison unit 73. The designation is performed by the scope switch 13e (see FIG. 1) or the
病状比較部73は、比較対象選択部72の選択に従い、通常特徴量と特殊特徴量とを比較し、または、通常スコアと特殊スコアとを比較する。または、特徴量の比較と病状スコアの比較との両者が選択された場合は、通常特徴量と特殊特徴量との比較と、通常病状スコアと特殊病状スコアとの比較の両者を行う。比較の結果は、表示処理部74における高スコア表示画像の生成に用いられる。
The medical condition comparing unit 73 compares the normal feature amount with the special feature amount or compares the normal score with the special score according to the selection of the comparison target selecting unit 72. Alternatively, when both the feature amount comparison and the medical condition score comparison are selected, both the normal characteristic amount and the special characteristic amount are compared, and the normal medical condition score and the special medical condition score are both compared. The result of the comparison is used to generate a high score display image in the
表示処理部74は、病状比較部73による通常特徴量と特殊特徴量、または、通常スコアと特殊スコアとの比較の結果、通常特徴量と特殊特徴量とに差が生じた場合、または、差が所定の範囲以上である場合に、もしくは、通常スコアと特殊スコアとが異なる場合に、高スコア表示画像を作成する。高スコア表示画像は、通常画像と特殊画像とのそれぞれにおいて算出された特徴量または病状スコアが異なる場合に、観察者に特徴量または病状スコアが高い画像に関して認知を促すための画像である。したがって、高スコア表示画像は、通常画像と特殊画像とのうち、特徴量または病状スコアが高いほうの画像自体とすることができる。
The
比較対象選択部72が、特徴量及び病状スコアの両者を比較する対象に指定し、病状比較部73による比較の結果、特徴量または病状スコアのどちらか一方または両方において差が生じた場合、通常画像または特殊画像のうち、特徴量または病状スコアが高い方の画像に基づいて高スコア表示画像を生成する。特徴量が高い画像と、病状スコアが高い画像とが異なる場合、例えば、特徴量については通常特徴量が特殊特徴量より高く、病状スコアについては特殊スコアが通常スコアより高い結果の場合は、通常画像と特殊画像とのどちらに基づいて高スコア表示画像を作成するかを指定することができる。 When the comparison target selection unit 72 designates both the feature amount and the medical condition score as a target to be compared, and as a result of the comparison by the medical condition comparison unit 73, a difference occurs in either one or both of the characteristic amount and the medical condition score, The high score display image is generated based on the image having the higher feature amount or the medical condition score among the images or the special images. If the image with a high feature amount and the image with a high medical condition score are different, for example, the normal feature amount for the feature amount is higher than the special feature amount, and the special score for the medical condition score is higher than the normal score. It is possible to specify whether to generate the high score display image based on the image or the special image.
図10に示すように、表示処理部74は、通常画像生成部81と、特殊画像生成部82と、第1強調画像生成部83と、第2強調画像生成部84とを備える。病状比較部73による比較の結果、例えば、特殊画像信号(第2画像信号)に基づく特殊病状スコアが、通常画像信号(第1画像信号)に基づく通常病状スコアよりも大きい場合に作成される高スコア表示画像は、特殊画像生成部82と、第1強調画像生成部83と、第2強調画像生成部84において、生成される。特殊画像生成部82は、特殊モード用処理部64と同様の機能を備え、高スコア表示画像として、特殊画像を生成する。第1強調画像生成部83は、高スコア表示画像として、通常画像を特殊画像信号により強調した画像(第1強調画像)を生成する。第2強調画像生成部84は、高スコア表示画像として、特殊画像を通常画像信号により強調した画像(第2強調画像)を生成する。なお、通常スコアが特殊スコア以上の場合は、高スコア表示画像が生成されない。高スコア表示画像については、後述する。
As shown in FIG. 10, the
高スコア表示画像の生成について、図11により具体的に説明する。図11は、通常画像および特殊画像のそれぞれにおいて、特徴量と病状スコアとを算出し、高スコア画像が存在すると判定される場合と、高スコア画像が存在しないと判定される場合を説明する説明図である。通常画像85と特殊画像86は、同じ観察部位を撮影した画像である。この観察部位は、実際のMayoScore(以下、Mayoという)が軽症である部位である。通常画像85の特徴量は30、病状スコアは、図11において、「Mayo0」と記載しているように、Mayo0と算出された。同じ観察部位について、特殊画像86の特徴量は30、病状スコアはMayo0と算出された。比較対象選択部72により、比較対象は病状スコアとされており、この場合は、通常画像85と特殊画像86により病状スコアが異なることがないため、高スコア表示画像は作成されない。したがって、モニタ18には通常画像が変わらず表示される。
Generation of the high score display image will be specifically described with reference to FIG. FIG. 11 illustrates a case where a feature amount and a medical condition score are calculated for each of a normal image and a special image, and it is determined that a high score image exists and a case where a high score image does not exist. It is a figure. The
次に、実際には、軽症であり、Mayoが1である別の観察部位について、通常画像85の特徴量は30、病状スコアはMayo0と算出された。同じ観察部位について、特殊画像86の特徴量は40、病状スコアはMayo1と算出された。比較対象選択部72により、比較対象は病状スコアとされており、この場合は、通常画像85と特殊画像86により病状スコアが異なるため、高スコア表示画像が作成される。このように、通常画像で画像に表示されず把握できない表面の凹凸が、特殊画像では画像として表示されるため、特徴量の算出結果も異なり、特徴量に基づく病状スコアも通常画像とは異なった値で算出される。高スコア表示画像が作成されることにより、観察者は、精度良く疾患の重症度を判定することができる。
Next, for another observation site that is actually mild and has Mayo 1, the feature amount of the
次に、実際には、中等症であり、Mayoが2である別の観察部位について、通常画像85の特徴量は60、病状スコアはMayo2と算出された。同じ部位について、特殊画像86の特徴量は65、病状スコアはMayo2と算出された。また、同様に、重症であり、Mayoが3である別の観察部位について、通常画像85の特徴量は90、病状スコアはMayo3と算出された。同じ部位について、特殊画像86の特徴量は95、病状スコアはMayo3と算出された。比較対象選択部72により、比較対象は病状スコアとされており、この場合は、どちらも通常画像と特殊画像とにより病状スコアが異なることがないため、高スコア表示画像は作成されない。したがって、モニタ18には通常画像が変わらず表示される。
Next, for another observation site that is actually moderate and has Mayo of 2, the feature amount of the
なお、比較対象選択部72により、比較対象が特徴量とされた場合について説明する。図12に示すように、中等症であり、Mayoが2である別の観察部位について、通常画像85の特徴量が60、同じ部位について、特殊画像86の特徴量が65と算出されているため、特殊画像に基づく高スコア表示画像が作成される。また、同様に、重症であり、Mayoが3である別の観察部位について、通常画像85の特徴量が90、同じ部位について、特殊画像86の特徴量が95と算出されているため、特殊画像に基づく高スコア表示画像が作成される。
A case will be described in which the comparison target selection unit 72 sets the comparison target as a feature amount. As shown in FIG. 12, since the feature amount of the
高スコア表示画像について、具体的に説明する。図13に示すように、通常画像85と特殊画像86とのうち、特殊スコアが高い場合、特殊画像生成部82が生成した特殊画像86(第2画像)を、高スコア表示画像とする。高スコア表示画像は、モニタ18に表示する。
The high score display image will be specifically described. As shown in FIG. 13, when the special score is high among the
また、高スコア表示画像は、通常画像および特殊画像のうち、病状スコアが高い方の画像(以下、高スコア画像という)により、病状スコアが低い方の画像(以下、低スコア画像という)を処理することにより生成することができる。 The high-score display image is a normal image and a special image having a higher medical condition score (hereinafter referred to as a high-score image), and an image having a lower medical condition score (hereinafter referred to as a low-score image) is processed. Can be generated by
第1強調画像生成部83(図10参照)は、高スコア画像の病状スコアの算出の元となった特徴量を強調して表示する画像を作成し、低スコア画像に重畳した高スコア表示画像(第1強調画像)を生成して、高スコア表示画像とする。図14に示すように、通常画像85と特殊画像86とのうち、特殊スコアが高い場合、まず、特殊スコアの算出の元となった特徴量を強調して表示する画像を作成する。その後、この画像を通常画像85に重畳することにより、通常画像85において特徴量を強調して表示する特徴部87aを有する第1強調画像87を作成する。この画像を、高スコア表示画像とする。高スコア表示画像は、モニタ18に表示する。
The first emphasized image generation unit 83 (see FIG. 10) creates an image that emphasizes and displays the feature amount that is the basis of the calculation of the medical condition score of the high score image, and the high score display image is superimposed on the low score image. (First emphasized image) is generated to be a high score display image. As shown in FIG. 14, when the special score is high among the
同様に、高スコア表示画像は、通常画像および特殊画像のうち、高スコア画像により、高スコア画像を処理することにより生成することができる。第2強調画像生成部84(図10参照)は、高スコア画像の病状スコアの算出の元となった特徴量を強調して表示する画像を作成し、低スコア画像に重畳した高スコア表示画像(第2強調画像)を生成して、高スコア表示画像とする。図15に示すように、通常画像85と特殊画像86とのうち、特殊スコアが高い場合、まず、特殊スコアの算出の元となった特徴量を強調して表示する画像を作成する。その後、この画像を特殊画像86に重畳することにより、特殊画像86においてさらに特徴量を強調して表示する特徴部88aを有する第2強調画像88を作成する。この画像を、高スコア表示画像とする。高スコア表示画像は、モニタ18に表示する。
Similarly, the high score display image can be generated by processing the high score image with the high score image of the normal image and the special image. The second emphasized image generation unit 84 (see FIG. 10) creates an image that emphasizes and displays the feature amount that is the basis of the calculation of the medical condition score of the high score image, and superimposes it on the low score image. (Second emphasized image) is generated and is set as a high score display image. As shown in FIG. 15, when the special score is high among the
表示制御部62は、表示処理部74が生成した高スコア表示画像の表示を制御する。表示は、モニタ18に表示することにより行う。表示の制御とは、高スコア表示画像の表示の有無または高スコア表示画像の表示態様を決定し、モニタ18への表示を指示することである。
The
表示の有無としては、表示制御部62は、高スコア画像、および、高スコア表示画像が作成された際にモニタ18に表示されている画像の両者により、高スコア表示画像を表示するかしないかを決定できる。具体的には、例えば、特殊画像が高スコア画像であり、特殊画像から高スコア表示画像が作成された際に、モニタ18に通常画像が表示されている場合は、表示制御部62は、高スコア表示画像をモニタ18に表示する。一方、モニタ18に特殊画像が表示されている場合は、モニタ18の表示を変更しない。また、例えば、通常画像が高スコア画像であり、通常画像から高スコア表示画像が作成された際に、モニタ18に特殊画像が表示されている場合は、表示制御部62は、高スコア表示画像をモニタ18に表示する。一方、モニタ18に通常画像が表示されている場合は、モニタ18の表示を変更しない。すなわち、この場合、表示制御部62は、通常画像(第1画像)を表示している場合、継続して、通常画像(第1画像)を表示する。
As for the presence / absence of display, whether the
高スコア表示画像の表示態様としては、高スコア表示画像がモニタ18に表示されるような態様であればよい。例えば、高スコア表示画像が作成された際に、モニタ18に表示されている画像(以下、元画像という)を、高スコア表示画像に切り替えることができる。また、元画像と高スコア表示画像との両者を表示することができる。この場合は、元画像と高スコア表示画像とにおいて、モニタ18における表示領域を同じにして、モニタ18に2画面並ぶように表示してもよいし、元画像と高スコア表示画像とを表示領域を変えて2画面表示してもよい。すなわち、いわゆる、メイン画像とサブ画像とに、元画像と高スコア表示画像とを振り分けて表示してもよい。
The display mode of the high score display image may be any mode in which the high score display image is displayed on the
具体的には、表示制御部62は、図16に示すように、通常画像85(第1画像)をモニタ18に表示している際に、通常画像85と特殊画像86とのうち、特殊画像86の病状スコアが高い場合、モニタ18に表示する画面を、特殊画像86に切り替える。また、図17に示すように、同様の場合、モニタ18に表示する画面を、通常画像85(第1画像)と特殊画像86とにおいて、モニタ18における表示領域を同じにして、モニタ18に2画面並ぶように表示する。また、図18に示すように、同様の場合、モニタ18に表示する画面を、表示領域が大きいメイン画像として通常画像85(第1画像)を、表示領域が小さいサブ画像として特殊画像86を、モニタ18に2画面並ぶように表示する。また、図19に示すように、同様の場合、モニタ18に表示する画面を、表示領域が大きいメイン画像として特殊画像86を、表示領域が小さいサブ画像として通常画像85(第1画像)を、モニタ18に2画面並ぶように表示する。
Specifically, as shown in FIG. 16, the
なお、表示制御部62は、表示制御部62による高スコア画像の表示の制御に先立ち、観察者に高スコア表示画像の存在に係る通知を行う。高スコア表示画像の存在に係る通知とは、高スコア表示画像が生成されたことを観察者に認識させるための通知である。通知は、高スコア表示画像が生成されたことについて、観察者が認識できる方法で行われる。
The
通知は、モニタ18に警告の表示をすることで行われる。警告の表示は、例えば、モニタ18の表示領域において、警告のための文章または図を表示する、または、モニタ18の画像において色調を変化させる等により行うことができる。
The notification is performed by displaying a warning on the
また、通知は、通知部17(図2参照)に音、光または振動を発生させることによって行うことができる。通知部17は、音、光または振動を発生することにより、観察者に高スコア表示画像の存在を通知する。通知部17は、具体的には、モニタ18が有するスピーカーとすることができる。また、光または振動を発生する小型無線機器とすることができる。
Further, the notification can be performed by causing the notification unit 17 (see FIG. 2) to generate sound, light, or vibration. The
通知について、具体的に説明する。図20に示すように、モニタ18に、警告表示を行うことにより、観察者に高スコア表示画像が存在することを通知する。通常画像85の表示中に、高スコア表示画像が生成された際に、文字による警告表示89がモニタ18に表示される。警告表示89は、「高スコア画像あり・観察モードを変更します」等の文章による。
The notification will be specifically described. As shown in FIG. 20, a warning is displayed on the
表示制御部62は、高スコア表示画像の存在に係る通知を、所定の時間行った後、自動的に高スコア表示画像を表示する。自動的に高スコア表示画像を表示した後、所定の時間経過後に、高スコア表示画像を表示する前に表示していた画像に自動的に切り替えてもよいし、指示をしてから切り替えても良い。また、通知を行った後、指示部からの指示に従って、高スコア表示画像を表示することができる。指示部は、観察者がモニタ18に高スコア表示画像を表示する指示を受け付ける。したがって、例えば、指示部は、内視鏡12の表示指示部13cである。具体的には、表示制御部62は、上記の通知を行った後、表示指示部13cによる指示がされない間は、高スコア表示画像をモニタ18に表示しない。一方、上記の通知を行った後、表示指示部13cによる指示がされたときは、高スコア表示画像をモニタ18に表示する。
The
図21に示すように、判定モードにおける処理手順の流れをフロー図にて説明する。ステップS100とステップS140に示すように、画像信号取得部54が通常画像信号と特殊画像信号とを順に取得する。最初に、ステップS110において、通常画像がモニタ18に表示される。通常画像特徴量算出部75において、通常画像信号から通常特徴量が算出される(ステップS120)。通常画像スコア算出部77において、通常特徴量から通常スコアが算出される(ステップS130)。同様に、特殊画像特徴量出部76において、特殊画像信号から特殊特徴量が算出される(ステップS150)。特殊画像スコア算出部79において、特殊特徴量から特殊スコアが算出される(ステップS160)。通常スコアと特殊スコアとが算出されると、本実施形態では、比較対象選択部72により病状スコアが選択されているため、両者の病状スコアが病状比較部73により比較される(ステップS170)。比較の結果、高スコア画像が存在するかどうか判定される(ステップS180)。高スコア画像が存在する場合は(ステップS180でYES)、ステップS190の高スコア表示画像作成に進む。高スコア画像が存在しない場合は(ステップS180でNO)、ステップS100の画像取得まで戻る。
As shown in FIG. 21, the flow of the processing procedure in the determination mode will be described with reference to a flow chart. As shown in steps S100 and S140, the image
ステップS190において、表示処理部74により、高スコア表示画像が作成される。その後、ステップS200において、表示制御部62により表示の有無及び表示態様が決定される。通常スコアが、特殊スコアよりも高いときは、ステップS200において、表示の有無が判定される。通常画像がモニタ18に表示されているので、通常画像が高スコア画像である場合は、高スコア画像は表示されず、ステップS100の画像取得まで戻る。特殊画像が高スコア画像である場合(ステップS200でNO)は、ステップS210の表示態様決定に進む。ステップS220において、通知部74により、観察者に高スコア画像が生成されたことについて通知がされる。通知がされた後、ステップS230において、表示の指示がなされたかが判定される。表示の指示があった場合は、ステップS240の高スコア表示画像が、モニタ18に表示される。表示の指示がない場合は、ステップS100の通常画像取得に戻る。観察者が高スコア表示画像の表示を終了する(ステップS240でYES)と、高スコア表示画像の表示を終了する。
In step S190, the
なお、ステップS220の通知およびステップS230の表示指示の有無の判定は、なくてもよい。その場合は、ステップS210の表示態様決定の次にステップS240の高スコア画像表示に進む。 It should be noted that the notification of step S220 and the determination of the presence / absence of the display instruction of step S230 may be omitted. In that case, after determining the display mode in step S210, the process proceeds to high score image display in step S240.
以上のように、内視鏡システム10を構成することにより、通常画像の表示により観察をしている場合であっても、常に通常画像と異なる発光スペクトルによる画像である特殊画像が取得され、通常画像と特殊画像とのそれぞれについて特徴量および病状スコアが算出されているため、観察部位の特徴量が高い画像もしくは疾患の重症度または疾患の進行度が高い画像を見逃すことなく観察することができ、疾患の重症度等の診断確度が低下することを防ぐことができる。また、疾患の重症度または疾患の進行度である病状スコアが算出されるため、観察者による診断のばらつきを防ぎ、客観的な診断が可能となる。また、高スコア表示画像が生成された際に、モニタ18に自動的に表示する場合は、観察者の指示が不要である。一方、モニタ18の表示が切り替わらないようにする場合は、観察者の指示により、高スコア表示画像の表示を制御することができる。
As described above, by configuring the
なお、本実施形態では、通常画像及び特殊画像において、算出した特徴量により病状スコアを算出しているが、特徴量を介さずに、画像処理により病状スコアを算出してもよい。例えば、機械学習による画像認識技術により、通常画像及び特殊画像のそれぞれから、直接病状スコアを算出してもよい。また、特徴量自体を、機械学習による画像認識技術により算出してもよい。 In the present embodiment, the medical condition score is calculated based on the calculated characteristic amount in the normal image and the special image, but the medical condition score may be calculated by image processing without using the characteristic amount. For example, an image recognition technique based on machine learning may be used to directly calculate the medical condition score from each of the normal image and the special image. Further, the feature amount itself may be calculated by an image recognition technique by machine learning.
上記の内視鏡システム10の作動方法は、光源部20が、互いに発光スペクトルが異なる第1照明光と第2照明光とを発光する発光ステップと、画像信号取得部54が、第1照明光で照明中の観察対象を撮像して第1画像信号を取得し、かつ、第2照明光で照明中の観察対象を撮像して第2画像信号を取得する画像信号取得ステップと、特徴量算出部70が、第1画像信号に基づいて第1特徴量を算出し、第2画像信号に基づいて第2特徴量を算出する特徴量算出ステップと、病状スコア算出部71が、第1画像信号に基づいて観察対象の病状を表す第1病状スコアを算出し、かつ、第2画像信号に基づいて観察対象の病状を表す第2病状スコアを算出する病状スコア算出ステップと、病状比較部73が、第1病状スコアと第2病状スコアとを比較する病状比較ステップと、表示処理部74が、第2病状スコアが第1病状スコアよりも大きい場合に、第2画像信号を用いて高スコア表示画像を生成する高スコア表示画像生成ステップと、表示制御部62
In the operation method of the
上記において、画像信号取得部54、中央制御部52、画像処理部61、表示制御部62等といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路(Graphical Processing Unit:GPU)などが含まれる。
In the above, the hardware structure of the processing unit (processing unit) that executes various processes such as the image
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ、GPUとCPUの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。 One processing unit may be configured by one of these various processors, or a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs, a combination of CPU and FPGA, a GPU and the like). CPU combination). Further, the plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, firstly, one processor is configured with a combination of one or more CPUs and software, as represented by a computer such as a client or a server. There is a form in which this processor functions as a plurality of processing units. Secondly, as represented by a system on chip (SoC), etc., there is a form using a processor that realizes the function of the entire system including a plurality of processing units by one IC (Integrated Circuit) chip. is there. As described above, the various processing units are configured using one or more of the above various processors as a hardware structure.
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。 Furthermore, the hardware structure of these various processors is, more specifically, an electrical circuit in the form of a combination of circuit elements such as semiconductor elements.
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
13a アングルノブ
13b モード切替部
13c 表示指示部
13d ズーム操作部
12e 鉗子入口
14 光源装置
16 プロセッサ装置
17 通知部
18 モニタ
19 ユーザーインターフェース
20 光源部
20a V−LED
20b B−LED
20c G−LED
20d R−LED
22 光源制御部
23 波長カットフィルタ
30a 照明光学系
30b 撮像光学系
41 ライトガイド
45 照明レンズ
46 対物レンズ
47 ズームレンズ
48 イメージセンサ
52 中央制御部
54 画像信号取得部
61 画像処理部
62 表示制御部
63 通常モード用処理部
64 特殊モード用処理部
65 判定モード用処理部
70 特徴量算出部
71 病状スコア算出部
72 比較対象選択部
73 病状比較部
74 表示処理部
75 通常画像特徴量算出部
76 特殊画像特徴量算出部
77 通常画像スコア算出部
78 通常用スコアテーブル
79 特殊画像スコア算出部
80 特殊用スコアテーブル
81 通常画像生成部
82 特殊画像生成部
83 第1強調画像生成部
84 第2強調画像生成部
85 通常画像
86 特殊画像
87 通常画像の強調画像(第1強調画像)
87a 特徴部
88 特殊画像の強調画像(第2強調画像)
88a 特徴部
89 警告表示
S100〜S250 ステップ
10
20b B-LED
20c G-LED
20d R-LED
22 Light Source Control Section 23
88a
Claims (18)
前記第1照明光で照明中の観察対象を撮像して第1画像信号を取得し、かつ、前記第2照明光で照明中の前記観察対象を撮像して第2画像信号を取得する画像信号取得部と、
前記第1画像信号に基づいて第1特徴量を算出し、かつ、前記第2画像信号に基づいて第2特徴量を算出する特徴量算出部と、
前記第1画像信号に基づいて前記観察対象の病状を表す第1病状スコアを算出し、かつ、前記第2画像信号に基づいて前記観察対象の病状を表す第2病状スコアを算出する病状スコア算出部と、
前記第1特徴量と前記第2特徴量とを比較する、または、前記第1病状スコアと前記第2病状スコアとを比較する病状比較部と、
前記第2特徴量が前記第1特徴量よりも大きい場合、または、前記第2病状スコアが前記第1病状スコアよりも大きい場合に、前記第2画像信号を用いて高スコア表示画像を生成する表示処理部と、
前記高スコア表示画像の表示を制御する表示制御部と、
を備える内視鏡システム。 A light source unit that emits first illumination light and second illumination light having emission spectra different from each other;
An image signal for capturing an observation target being illuminated with the first illumination light to obtain a first image signal, and for capturing an observation target being illuminated with the second illumination light to obtain a second image signal. The acquisition part,
A feature quantity calculation unit that calculates a first feature quantity based on the first image signal and a second feature quantity based on the second image signal;
A medical condition score calculation that calculates a first medical condition score that represents the medical condition of the observation target based on the first image signal, and calculates a second medical condition score that represents the medical condition of the observation target based on the second image signal Department,
A medical condition comparison unit that compares the first characteristic amount and the second characteristic amount, or that compares the first medical condition score and the second medical condition score,
When the second feature amount is larger than the first feature amount or when the second medical condition score is larger than the first medical condition score, a high score display image is generated using the second image signal. A display processing unit,
A display control unit for controlling the display of the high score display image,
An endoscope system including.
前記通知は、前記通知部による、音、光または振動の発生である請求項9または10に記載の内視鏡システム。 Equipped with a notification unit that generates sound, light or vibration,
The endoscope system according to claim 9 or 10, wherein the notification is generation of sound, light, or vibration by the notification unit.
前記表示制御部は、前記通知の後、前記指示部による前記指示に従って、前記高スコア表示画像を表示する請求項9ないし11のいずれか1項に記載の内視鏡システム。 An instruction unit for receiving an instruction to display the high score display image,
The endoscope system according to any one of claims 9 to 11, wherein the display control unit displays the high score display image according to the instruction from the instruction unit after the notification.
The endoscope system according to claim 16, wherein the display control unit displays the first image based on the first image signal in a display area smaller than the high score display image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018199811A JP2020065685A (en) | 2018-10-24 | 2018-10-24 | Endoscope system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018199811A JP2020065685A (en) | 2018-10-24 | 2018-10-24 | Endoscope system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020065685A true JP2020065685A (en) | 2020-04-30 |
Family
ID=70388922
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018199811A Pending JP2020065685A (en) | 2018-10-24 | 2018-10-24 | Endoscope system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020065685A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022014235A1 (en) | 2020-07-14 | 2022-01-20 | 富士フイルム株式会社 | Image analysis processing device, endoscopy system, operation method for image analysis processing device, and program for image analysis processing device |
WO2022071413A1 (en) | 2020-10-02 | 2022-04-07 | 富士フイルム株式会社 | Image processing device, endoscope system, method for operating image processing device, and program for image processing device |
WO2022210508A1 (en) * | 2021-03-31 | 2022-10-06 | 富士フイルム株式会社 | Processor device, medical image processing device, medical image processing system, and endoscopic system |
WO2022249817A1 (en) * | 2021-05-27 | 2022-12-01 | 富士フイルム株式会社 | Medical image processing device and endoscope system |
WO2023084969A1 (en) * | 2021-11-11 | 2023-05-19 | 富士フイルム株式会社 | Medical image evaluation assisting device and operation method for medical image evaluation assisting device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002345739A (en) * | 2001-05-25 | 2002-12-03 | Fuji Photo Film Co Ltd | Image display device |
JP2011255006A (en) * | 2010-06-09 | 2011-12-22 | Olympus Corp | Image processor, endoscopic device, program and image processing method |
WO2018180631A1 (en) * | 2017-03-30 | 2018-10-04 | 富士フイルム株式会社 | Medical image processing device, endoscope system, and method for operating medical image processing device |
-
2018
- 2018-10-24 JP JP2018199811A patent/JP2020065685A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002345739A (en) * | 2001-05-25 | 2002-12-03 | Fuji Photo Film Co Ltd | Image display device |
JP2011255006A (en) * | 2010-06-09 | 2011-12-22 | Olympus Corp | Image processor, endoscopic device, program and image processing method |
WO2018180631A1 (en) * | 2017-03-30 | 2018-10-04 | 富士フイルム株式会社 | Medical image processing device, endoscope system, and method for operating medical image processing device |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022014235A1 (en) | 2020-07-14 | 2022-01-20 | 富士フイルム株式会社 | Image analysis processing device, endoscopy system, operation method for image analysis processing device, and program for image analysis processing device |
WO2022071413A1 (en) | 2020-10-02 | 2022-04-07 | 富士フイルム株式会社 | Image processing device, endoscope system, method for operating image processing device, and program for image processing device |
WO2022210508A1 (en) * | 2021-03-31 | 2022-10-06 | 富士フイルム株式会社 | Processor device, medical image processing device, medical image processing system, and endoscopic system |
WO2022249817A1 (en) * | 2021-05-27 | 2022-12-01 | 富士フイルム株式会社 | Medical image processing device and endoscope system |
WO2023084969A1 (en) * | 2021-11-11 | 2023-05-19 | 富士フイルム株式会社 | Medical image evaluation assisting device and operation method for medical image evaluation assisting device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6785941B2 (en) | Endoscopic system and how to operate it | |
JP6785948B2 (en) | How to operate medical image processing equipment, endoscopic system, and medical image processing equipment | |
WO2017057574A1 (en) | Image processing apparatus, endoscope system, and image processing method | |
JP2020065685A (en) | Endoscope system | |
JP6917518B2 (en) | Endoscope system | |
JP7335399B2 (en) | MEDICAL IMAGE PROCESSING APPARATUS, ENDOSCOPE SYSTEM, AND METHOD OF OPERATION OF MEDICAL IMAGE PROCESSING APPARATUS | |
WO2017057573A1 (en) | Image processing device, endoscopic system, and image processing method | |
JP6823072B2 (en) | Processor device and endoscopic system | |
JP6924837B2 (en) | Medical image processing system, endoscopy system, diagnostic support device, and medical service support device | |
US20230027950A1 (en) | Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium | |
JP7130043B2 (en) | MEDICAL IMAGE PROCESSING APPARATUS, ENDOSCOPE SYSTEM, AND METHOD OF OPERATION OF MEDICAL IMAGE PROCESSING APPARATUS | |
JP6054806B2 (en) | Image processing apparatus and method for operating endoscope system | |
US20230101620A1 (en) | Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium | |
JP6763025B2 (en) | Processor device and how to operate the processor device | |
WO2022071413A1 (en) | Image processing device, endoscope system, method for operating image processing device, and program for image processing device | |
JPWO2020066941A1 (en) | How to operate a medical image processing device, an endoscopic system, and a medical image processing device | |
WO2021199910A1 (en) | Medical image processing system and method for operating medical image processing system | |
WO2022014235A1 (en) | Image analysis processing device, endoscopy system, operation method for image analysis processing device, and program for image analysis processing device | |
WO2018079217A1 (en) | Endoscopic system and operation method thereof | |
JP7214886B2 (en) | Image processing device and its operating method | |
WO2022059233A1 (en) | Image processing device, endoscope system, operation method for image processing device, and program for image processing device | |
JP7196196B2 (en) | endoscope system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211214 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220726 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230221 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230417 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230427 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230915 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230927 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20231124 |