JP2017213097A - Image processing device, image processing method, and program - Google Patents

Image processing device, image processing method, and program Download PDF

Info

Publication number
JP2017213097A
JP2017213097A JP2016107826A JP2016107826A JP2017213097A JP 2017213097 A JP2017213097 A JP 2017213097A JP 2016107826 A JP2016107826 A JP 2016107826A JP 2016107826 A JP2016107826 A JP 2016107826A JP 2017213097 A JP2017213097 A JP 2017213097A
Authority
JP
Japan
Prior art keywords
lesion
image
image data
image processing
evaluation value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016107826A
Other languages
Japanese (ja)
Inventor
智樹 岩崎
Tomoki Iwasaki
智樹 岩崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2016107826A priority Critical patent/JP2017213097A/en
Publication of JP2017213097A publication Critical patent/JP2017213097A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image processing device, an image processing method, and a program that enable reliability of a detection result on a lesion candidate region to be grasped.SOLUTION: An image processing device 5 includes an acquisition part 51 for acquiring image data of a body cavity of a subject, a blur calculation part 541 for calculating a blur evaluation value on the blur of a lesion image corresponding to lesion image data based on one of the image data and the lesion image data in which a lesion candidate region is extracted based on the image data, and a display control part 56 for superposing the blur evaluation value of the lesion image on the lesion image and outputting the blur evaluation value superposed on the lesion image to the outside.SELECTED DRAWING: Figure 1

Description

本発明は、画像データに対して画像処理を行う画像処理装置、画像処理方法およびプログラムに関する。   The present invention relates to an image processing apparatus, an image processing method, and a program for performing image processing on image data.

従来、画像処理装置において、内視鏡から入力した内視鏡画像に対し、特定のパターンを用いてパターンマッチングを行うことにより、病変等の病変候補領域を自動的に検出する技術が知られている(特許文献1参照)。この技術では、パターンマッチングにより検出した内視鏡画像の病変候補領域にアラート画像を重畳し、ユーザに病変候補領域を報知する。   2. Description of the Related Art Conventionally, in an image processing apparatus, a technique for automatically detecting a lesion candidate area such as a lesion by performing pattern matching on an endoscopic image input from an endoscope using a specific pattern is known. (See Patent Document 1). In this technique, an alert image is superimposed on a lesion candidate area of an endoscopic image detected by pattern matching, and the lesion candidate area is notified to the user.

特開2011−255006号公報JP 2011-255006 A

ところで、内視鏡画像は、撮影時に臓器の拍動によりブレが生じることによって、コントラストが著しく低下する。この場合、上述した特許文献1では、パターンマッチングによるマッチング精度が低下し、病変候補領域の検出精度も低下する。このため、病変候補領域の検出結果に対する信頼度を把握することができる技術が望まれていた。   By the way, the contrast of an endoscopic image is significantly reduced due to blurring caused by the pulsation of an organ at the time of imaging. In this case, in Patent Document 1 described above, the matching accuracy by pattern matching decreases, and the detection accuracy of the lesion candidate area also decreases. For this reason, the technique which can grasp | ascertain the reliability with respect to the detection result of a lesion candidate area | region was desired.

本発明は、上記に鑑みてなされたものであって、病変候補領域の検出結果に対する信頼度を把握することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。   The present invention has been made in view of the above, and an object of the present invention is to provide an image processing apparatus, an image processing method, and a program capable of grasping the reliability of the detection result of a lesion candidate region.

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、被検体の体腔内を撮像した画像データを取得する取得部と、前記画像データおよび前記画像データに対応する画像に病変候補領域に関する情報が重畳された病変画像データのどちらか一方に基づいて、前記病変画像データに対応する病変画像のブレ具合を評価するブレ評価値を算出する算出部と、前記病変画像に、前記ブレ評価値を重畳して外部へ出力する出力部と、を備えたことを特徴とする。   In order to solve the above-described problems and achieve the object, an image processing apparatus according to the present invention corresponds to the acquisition unit that acquires image data obtained by imaging the body cavity of a subject, the image data, and the image data. A calculation unit that calculates a blur evaluation value for evaluating a blur condition of a lesion image corresponding to the lesion image data based on either one of the lesion image data in which information on a lesion candidate region is superimposed on the image; and the lesion image And an output unit that superimposes the blur evaluation value and outputs the output to the outside.

また、本発明に係る画像処理装置は、上記発明において、前記画像データに対して、所定の画像処理を施す第1画像処理部をさらに備え、前記取得部は、前記所定の画像処理が施された前記画像データに基づいて外部の病変検出装置が生成した時間的に前後する2つの前記病変画像データを前記病変検出装置から取得し、前記算出部は、前記取得部が取得した時間的に前後する2つの前記病変画像データそれぞれに対応する前記病変画像に基づいて、前記ブレ評価値を算出することを特徴とする。   The image processing apparatus according to the present invention further includes a first image processing unit that performs predetermined image processing on the image data in the above invention, and the acquisition unit performs the predetermined image processing. Two lesion image data that are generated by an external lesion detection device based on the image data and acquired in time are acquired from the lesion detection device, and the calculation unit is configured to acquire the time sequence acquired by the acquisition unit. The blur evaluation value is calculated based on the lesion image corresponding to each of the two lesion image data.

また、本発明に係る画像処理装置は、上記発明において、前記画像データに対して、所定の画像処理を施す第1画像処理部と、前記第1画像処理部が前記所定の画像処理を施した前記画像データに対応する画像に対し、病変パターンを用いてパターンマッチングを行うことによって、前記病変画像データを生成する病変検出部と、をさらに備え、前記算出部は、前記所定の画像処理が施された時間的に前後する2つの前記画像データそれぞれに基づいて、前記ブレ評価値を算出することを特徴とする。   In the image processing apparatus according to the present invention, in the above invention, a first image processing unit that performs predetermined image processing on the image data, and the first image processing unit performs the predetermined image processing. A lesion detection unit that generates the lesion image data by performing pattern matching on the image corresponding to the image data using a lesion pattern, and the calculation unit performs the predetermined image processing. The blur evaluation value is calculated based on each of the two pieces of the image data that are temporally changed.

また、本発明に係る画像処理装置は、上記発明において、前記病変検出部は、前記ブレ評価値に基づいて、前記パターンマッチングで用いる病変パターンを変更することを特徴とする。   In the image processing apparatus according to the present invention as set forth in the invention described above, the lesion detection unit changes a lesion pattern used in the pattern matching based on the blur evaluation value.

また、本発明に係る画像処理装置は、上記発明において、前記算出部が算出した前記ブレ評価値が所定の閾値以上であるか否かを判定する判定部をさらに備え、前記出力部は、前記判定部によって前記ブレ評価値が前記所定の閾値以上であると判定された場合、前記ブレ評価値を前記病変画像に重畳することを特徴とする。   The image processing apparatus according to the present invention further includes a determination unit that determines whether or not the blur evaluation value calculated by the calculation unit is equal to or greater than a predetermined threshold in the above invention, and the output unit includes the output unit The blur evaluation value is superimposed on the lesion image when the determination unit determines that the blur evaluation value is equal to or greater than the predetermined threshold.

また、本発明に係る画像処理装置は、上記発明において、前記出力部は、前記病変画像における前記病変候補領域に対応する前記画像の領域に前記ブレ評価値に関する情報を重畳して出力することを特徴とする。   Further, in the image processing apparatus according to the present invention, in the above invention, the output unit superimposes and outputs information related to the blur evaluation value in an area of the image corresponding to the lesion candidate area in the lesion image. Features.

また、本発明に係る画像処理装置は、上記発明において、前記画像データに対応する画像と前記病変画像とを合成して合成画像データを生成する合成部をさらに備えたことを特徴とする。   The image processing apparatus according to the present invention is characterized in that, in the above invention, the image processing apparatus further includes a combining unit that combines the image corresponding to the image data and the lesion image to generate combined image data.

また、本発明に係る画像処理方法は、被検体の体腔内を撮像した画像データを取得する取得ステップと、前記画像データおよび前記画像データに対応する画像に病変候補領域に関する情報が重畳された病変画像データのどちらか一方に基づいて、前記病変画像データに対応する病変画像のブレ具合を評価するブレ評価値を算出する算出ステップと、前記病変画像に、前記ブレ評価値を重畳して外部へ出力する出力ステップと、を含むことを特徴とする。   The image processing method according to the present invention includes an acquisition step of acquiring image data obtained by imaging the body cavity of a subject, and a lesion in which information about a lesion candidate region is superimposed on the image data and an image corresponding to the image data. Based on either one of the image data, a calculation step for calculating a blur evaluation value for evaluating the blur condition of the lesion image corresponding to the lesion image data; and the blur evaluation value is superimposed on the lesion image And an output step for outputting.

また、本発明に係るプログラムは、画像処理装置に、被検体の体腔内を撮像した画像データを取得する取得ステップと、画像データおよび前記画像データに対応する画像に病変候補領域に関する情報が重畳された病変画像データのどちらか一方に基づいて、前記病変画像データに対応する病変画像のブレ具合を評価するブレ評価値を算出する算出ステップと、前記病変画像に、前記ブレ評価値を重畳して外部へ出力する出力ステップと、を実行させることを特徴とする。   In the program according to the present invention, an acquisition step of acquiring image data obtained by imaging the body cavity of the subject is superimposed on the image processing apparatus, and information regarding the lesion candidate region is superimposed on the image data and an image corresponding to the image data. And calculating a blur evaluation value for evaluating a blur condition of the lesion image corresponding to the lesion image data based on either one of the lesion image data, and superimposing the blur evaluation value on the lesion image. And an output step of outputting to the outside.

本発明によれば、病変検出の信頼性を向上させることができるという効果を奏する。   According to the present invention, there is an effect that the reliability of lesion detection can be improved.

図1は、本発明の実施の形態1に係る内視鏡システムの機能構成を示すブロック図である。FIG. 1 is a block diagram showing a functional configuration of an endoscope system according to Embodiment 1 of the present invention. 図2は、本発明の実施の形態1に係る画像処理装置が実行する処理の概要を示すフローチャートである。FIG. 2 is a flowchart showing an outline of processing executed by the image processing apparatus according to Embodiment 1 of the present invention. 図3は、本発明の実施の形態1に係る内視鏡が生成する内視鏡画像の一例を示す図である。FIG. 3 is a diagram illustrating an example of an endoscopic image generated by the endoscope according to the first embodiment of the present invention. 図4は、本発明の実施の形態1に係る病変検出装置が生成する病変画像の一例を示す図である。FIG. 4 is a diagram showing an example of a lesion image generated by the lesion detection apparatus according to Embodiment 1 of the present invention. 図5は、本発明の実施の形態1に係る画像処理装置の合成部が生成する合成画像の一例を示す図である。FIG. 5 is a diagram illustrating an example of a composite image generated by the combining unit of the image processing apparatus according to Embodiment 1 of the present invention. 図6は、本発明の実施の形態1に係る表示装置が表示する画像の一例を示す図である。FIG. 6 is a diagram showing an example of an image displayed by the display device according to Embodiment 1 of the present invention. 図7は、本発明の実施の形態2に係る内視鏡システムの機能構成を示すブロック図である。FIG. 7 is a block diagram showing a functional configuration of the endoscope system according to Embodiment 2 of the present invention. 図8は、本発明の実施の形態2に係る表示装置が表示する画像の一例を示す図である。FIG. 8 is a diagram showing an example of an image displayed by the display device according to Embodiment 2 of the present invention. 図9は、本発明の実施の形態3に係る内視鏡システムの機能構成を示すブロック図である。FIG. 9 is a block diagram showing a functional configuration of the endoscope system according to Embodiment 3 of the present invention. 図10は、本発明の実施の形態3に係る表示装置が表示する画像の一例を示す図である。FIG. 10 is a diagram showing an example of an image displayed by the display device according to Embodiment 3 of the present invention. 図11は、本発明の実施の形態3に係る表示装置が表示する画像の別の一例を示す図である。FIG. 11 is a diagram showing another example of an image displayed by the display device according to Embodiment 3 of the present invention.

以下、本発明を実施するための形態(以下、「実施の形態」という)を説明する。実施の形態では、本発明に係る画像処理装置を含む内視鏡システムを一例に説明する。なお、この実施の形態により、本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。   Hereinafter, modes for carrying out the present invention (hereinafter referred to as “embodiments”) will be described. In the embodiment, an endoscope system including an image processing apparatus according to the present invention will be described as an example. Note that the present invention is not limited to the embodiments. Further, in the description of the drawings, the same portions will be described with the same reference numerals.

(実施の形態1)
〔内視鏡システムの構成〕
図1は、本発明の実施の形態1に係る内視鏡システムの機能構成を示すブロック図である。図1に示す内視鏡システム1は、内視鏡2(内視鏡スコープ)と、病変検出装置3と、表示装置4と、画像処理装置5(プロセッサ)と、を備える。
(Embodiment 1)
[Configuration of endoscope system]
FIG. 1 is a block diagram showing a functional configuration of an endoscope system according to Embodiment 1 of the present invention. An endoscope system 1 shown in FIG. 1 includes an endoscope 2 (endoscope scope), a lesion detection device 3, a display device 4, and an image processing device 5 (processor).

内視鏡2は、被検体内に挿入されることによって、被検体の体内を撮像した画像データを生成する。内視鏡2は、被検体内に挿入する先端部に撮像装置が設けられ、この撮像装置が先端部から照射された照射領域を撮像することによって画像データを生成して画像処理装置5へ出力する。なお、内視鏡2の種類は特に限定されず、本実施の形態1では、軟性内視鏡または硬性内視鏡であってもよい。   The endoscope 2 generates image data obtained by imaging the inside of the subject by being inserted into the subject. The endoscope 2 is provided with an imaging device at a distal end portion to be inserted into a subject. The imaging device captures an irradiation area irradiated from the distal end portion, thereby generating image data and outputting the image data to the image processing device 5. To do. In addition, the kind of endoscope 2 is not specifically limited, In this Embodiment 1, a flexible endoscope or a rigid endoscope may be sufficient.

病変検出装置3は、内視鏡2が生成した画像データに基づいて、病変候補領域に関する情報を重畳した病変画像データを生成する。具体的には、病変検出装置3は、画像処理装置5を介して内視鏡2が生成した画像データを取得し、取得した画像データに対応する画像に対し、病変パターンによるパターンマッチング処理に基づく病変候補領域を検出し、検出した病変候補領域に対応する領域に、枠、記号、文字および図形等を含む情報を重畳して識別可能に強調した病変画像データを生成する。ここで、病変候補領域とは、被検体の表層において健常な表層と異なる異常な表層の領域、例えば、色味が異常な領域(赤褐色)、血管構造が異常な領域、出血領域、潰瘍領域、ポリープ領域および癌領域のいずれかである。病変検出装置3は、複数の医療用画像を用いて予め学習された識別器を有するパーソナルコンピュータ等を用いて実現される。   The lesion detection device 3 generates lesion image data on which information related to a lesion candidate region is superimposed based on the image data generated by the endoscope 2. Specifically, the lesion detection device 3 acquires image data generated by the endoscope 2 via the image processing device 5, and based on pattern matching processing using a lesion pattern for an image corresponding to the acquired image data. A lesion candidate area is detected, and lesion image data is generated by superimposing information including a frame, a symbol, a character, and a figure on the area corresponding to the detected lesion candidate area so as to be identifiable. Here, the lesion candidate region is an abnormal surface layer region that is different from a healthy surface layer on the surface of the subject, for example, a region with an abnormal color (reddish brown), a region with an abnormal blood vessel structure, a bleeding region, an ulcer region, Either a polyp region or a cancer region. The lesion detection device 3 is realized by using a personal computer or the like having a discriminator learned in advance using a plurality of medical images.

表示装置4は、画像処理装置5によって画像処理が施された画像や内視鏡システム1に関する各種情報を表示する。表示装置4は、液晶または有機EL(Electro Luminescence)等を有する表示モニタを用いて実現される。   The display device 4 displays an image that has been subjected to image processing by the image processing device 5 and various types of information related to the endoscope system 1. The display device 4 is realized using a display monitor having liquid crystal, organic EL (Electro Luminescence), or the like.

画像処理装置5は、取得部51と、画像処理部52と、フレームメモリ53と、ブレ評価部54と、合成部55と、表示制御部56と、を備える。   The image processing apparatus 5 includes an acquisition unit 51, an image processing unit 52, a frame memory 53, a blur evaluation unit 54, a synthesis unit 55, and a display control unit 56.

取得部51は、内視鏡2が生成した被検体の体腔内を撮像した画像データを取得し、取得した画像データを画像処理部52へ出力する。また、取得部51は、病変検出装置3から病変画像データを取得し、取得した病変画像データをフレームメモリ53へ出力する。   The acquisition unit 51 acquires image data obtained by imaging the body cavity of the subject generated by the endoscope 2, and outputs the acquired image data to the image processing unit 52. In addition, the acquisition unit 51 acquires lesion image data from the lesion detection device 3 and outputs the acquired lesion image data to the frame memory 53.

画像処理部52は、取得部51から入力された画像データに所定の画像処理を施して病変検出装置3および合成部55それぞれに出力する。ここで、所定の画像処理とは、例えば、A/D変換処理、オプティカルブラック減算処理、ホワイトバランス調整処理、内視鏡2が面順次式の場合には画像データの同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理等を含む画像処理である。   The image processing unit 52 performs predetermined image processing on the image data input from the acquisition unit 51 and outputs the image data to the lesion detection device 3 and the synthesis unit 55. Here, the predetermined image processing includes, for example, A / D conversion processing, optical black subtraction processing, white balance adjustment processing, image data synchronization processing, and color matrix calculation when the endoscope 2 is a frame sequential type. Image processing including processing, γ correction processing, color reproduction processing, edge enhancement processing, and the like.

フレームメモリ53は、取得部51から順次入力された複数の病変画像データを一時的に記録し、この複数の病変画像データを時系列に沿ってブレ評価部54および合成部55それぞれへ出力する。具体的には、フレームメモリ53は、所定のフレーム数(例えば10フレーム分)を一時的に記録する。フレームメモリ53は、例えばSDRAM(Synchronous Dynamic Random Access Memory)等を用いて実現される。   The frame memory 53 temporarily records a plurality of lesion image data sequentially input from the acquisition unit 51, and outputs the plurality of lesion image data to the blur evaluation unit 54 and the synthesis unit 55 in time series. Specifically, the frame memory 53 temporarily records a predetermined number of frames (for example, 10 frames). The frame memory 53 is realized using, for example, an SDRAM (Synchronous Dynamic Random Access Memory).

ブレ評価部54は、フレームメモリ53から入力される時間的に前後する病変画像データに対応する病変画像に基づいて、病変画像のブレ具合を評価するブレ評価値を算出し、この算出したブレ評価値を表示制御部56へ出力する。ブレ評価部54は、ブレ算出部541と、ブレ判定部542と、を有する。   The blur evaluation unit 54 calculates a blur evaluation value for evaluating the blur condition of the lesion image based on the lesion image corresponding to the lesion image data that is temporally changed and input from the frame memory 53, and calculates the calculated blur evaluation. The value is output to the display control unit 56. The blur evaluation unit 54 includes a blur calculation unit 541 and a blur determination unit 542.

ブレ算出部541は、フレームメモリ53から入力される時間的に前後する2つの病変画像データそれぞれに対応する2つの病変画像に基づいて、病変画像のブレ具合を評価するブレ評価値を算出する。ここで、ブレ算出部541が算出するブレ評価値は、2つの病変画像の類似度、2つの病変画像に含まれる特徴点の移動量、2つの病変画像における各画素の動きベクトル、2つの病変画像における高周波成分の積算値、2つの病変画像における高周波成分のエッジおよび2つの病変画像における注目画素の動きベクトルのいずれかである。なお、ブレ算出部541は、上述した以外にも、他の周知技術によって、病変画像におけるブレ評価値を算出してもよい。また、本実施の形態1では、ブレ算出部541が算出部として機能する。   The blur calculation unit 541 calculates a blur evaluation value for evaluating the blur condition of a lesion image based on two lesion images corresponding to two lesion image data that are temporally changed and input from the frame memory 53. Here, the blur evaluation value calculated by the blur calculation unit 541 is a similarity between two lesion images, a movement amount of a feature point included in the two lesion images, a motion vector of each pixel in the two lesion images, and two lesions. The integrated value of the high-frequency component in the image, the edge of the high-frequency component in the two lesion images, and the motion vector of the pixel of interest in the two lesion images. In addition to the above, the blur calculation unit 541 may calculate the blur evaluation value in the lesion image using another known technique. In the first embodiment, the blur calculation unit 541 functions as a calculation unit.

ブレ判定部542は、ブレ算出部541が算出したブレ評価値が所定の閾値以上であるか否かを判定する。ここで、所定の閾値以上としているが、ブレ評価値の算出方法によって、閾値を適宜変更してもよい。即ち、ブレ判定部542は、ブレ評価値の算出方法に応じて、ブレ算出部541が算出したブレ評価値が所定の閾値以下であるか否かを判定してもよい。なお、本実施の形態1では、ブレ判定部542が判定部として機能する。   The blur determination unit 542 determines whether or not the blur evaluation value calculated by the blur calculation unit 541 is greater than or equal to a predetermined threshold. Here, the threshold value is set to be equal to or greater than the predetermined threshold value, but the threshold value may be changed as appropriate depending on the blur evaluation value calculation method. That is, the shake determination unit 542 may determine whether or not the shake evaluation value calculated by the shake calculation unit 541 is equal to or less than a predetermined threshold according to a method for calculating the shake evaluation value. In the first embodiment, the blur determination unit 542 functions as a determination unit.

合成部55は、画像処理部52から入力された画像データに対応する画像(以下、「内視鏡画像」という)とフレームメモリ53から入力された病変画像データに対応する病変画像とを合成した合成画像データを生成して表示制御部56へ出力する。具体的には、合成部55は、表示装置4が画像を表示する表示領域に、画像処理部52によって画像処理が施された画像データに対応する画像と、フレームメモリ53から入力された病変画像データに対応する病変画像と、を合成した合成画像データを生成する。ここで、病変画像の表示領域は、内視鏡画像の表示領域より小さい。   The combining unit 55 combines an image corresponding to the image data input from the image processing unit 52 (hereinafter referred to as “endoscopic image”) and a lesion image corresponding to the lesion image data input from the frame memory 53. Composite image data is generated and output to the display control unit 56. Specifically, the composition unit 55 displays an image corresponding to the image data subjected to the image processing by the image processing unit 52 in the display area where the display device 4 displays an image, and a lesion image input from the frame memory 53. Composite image data obtained by combining a lesion image corresponding to the data is generated. Here, the display area of the lesion image is smaller than the display area of the endoscopic image.

表示制御部56は、合成部55から入力された合成画像データに対応する合成画像に、ブレ評価部54が算出したブレ評価値を重畳して表示装置4へ出力する。具体的には、表示制御部56は、合成画像に、ブレ評価値を病変画像の信頼性(信頼度)として重畳して表示装置4へ出力して表示させる。また、表示制御部56は、ブレ判定部542がブレ算出部541によって算出されたブレ評価値が所定の閾値以上であると判定した場合、ブレ評価値を合成画像に重畳して表示装置4へ出力して表示させる一方、ブレ判定部542がブレ算出部541によって算出されたブレ評価値が所定の閾値以上でないと判定した場合、ブレ評価値を合成画像に重畳することなく、合成画像のみを表示装置4へ出力して表示させる。なお、本実施の形態1では、表示制御部56が出力部として機能する。   The display control unit 56 superimposes the shake evaluation value calculated by the shake evaluation unit 54 on the composite image corresponding to the composite image data input from the synthesis unit 55 and outputs the superimposed image to the display device 4. Specifically, the display control unit 56 superimposes the blur evaluation value on the composite image as the reliability (reliability) of the lesion image and outputs it to the display device 4 for display. In addition, when the blur determination unit 542 determines that the blur evaluation value calculated by the blur calculation unit 541 is equal to or greater than a predetermined threshold, the display control unit 56 superimposes the blur evaluation value on the composite image to the display device 4. On the other hand, when the blur determination unit 542 determines that the blur evaluation value calculated by the blur calculation unit 541 is not equal to or greater than a predetermined threshold, only the composite image is displayed without superimposing the blur evaluation value on the composite image. Output to the display device 4 to display. In the first embodiment, the display control unit 56 functions as an output unit.

〔画像処理装置の処理〕
次に、画像処理装置5が実行する処理について説明する。図2は、画像処理装置5が実行する処理の概要を示すフローチャートである。
[Processing of image processing apparatus]
Next, processing executed by the image processing apparatus 5 will be described. FIG. 2 is a flowchart showing an outline of processing executed by the image processing apparatus 5.

図2に示すように、まず、取得部51は、内視鏡2から画像データおよび病変検出装置3から病変画像データを取得する(ステップS101)。具体的には、取得部51は、図3に示す内視鏡画像P1を取得するとともに、図4に示す内視鏡画像P1に基づいて病変候補領域A1が抽出された病変画像P2を取得する。この場合、取得部51は、内視鏡2から取得した内視鏡画像P1を画像処理部52へ出力するとともに、病変検出装置3から取得した病変画像P2をフレームメモリ53へ出力する。   As illustrated in FIG. 2, first, the acquisition unit 51 acquires image data from the endoscope 2 and lesion image data from the lesion detection device 3 (step S101). Specifically, the acquisition unit 51 acquires the endoscopic image P1 illustrated in FIG. 3 and acquires the lesion image P2 from which the lesion candidate area A1 is extracted based on the endoscopic image P1 illustrated in FIG. . In this case, the acquisition unit 51 outputs the endoscopic image P1 acquired from the endoscope 2 to the image processing unit 52, and outputs the lesion image P2 acquired from the lesion detection device 3 to the frame memory 53.

続いて、ブレ算出部541は、フレームメモリ53に記録された時間的に前後する2つの病変画像に基づいて、病変画像のブレに関するブレ評価値を算出する(ステップS102)。   Subsequently, the blur calculation unit 541 calculates a blur evaluation value related to blur of the lesion image based on the two lesion images that are recorded in the frame memory 53 and that are temporally changed (step S102).

その後、ブレ判定部542は、ブレ算出部541が算出したブレ評価値が閾値以上であるか否かを判定する(ステップS103)。ブレ判定部542によってブレ算出部541が算出したブレ評価値が閾値以上であると判定された場合(ステップS103:Yes)、画像処理装置5は、後述するステップS104へ移行する。これに対して、ブレ判定部542によってブレ算出部541が算出したブレ評価値が閾値以上でないと判定された場合(ステップS103:No)、画像処理装置5は、後述するステップS107へ移行する。   Thereafter, the blur determination unit 542 determines whether or not the blur evaluation value calculated by the blur calculation unit 541 is greater than or equal to a threshold value (step S103). When the blur determination unit 542 determines that the blur evaluation value calculated by the blur calculation unit 541 is greater than or equal to the threshold (step S103: Yes), the image processing apparatus 5 proceeds to step S104 described later. On the other hand, when it is determined by the blur determination unit 542 that the blur evaluation value calculated by the blur calculation unit 541 is not equal to or greater than the threshold (step S103: No), the image processing apparatus 5 proceeds to step S107 described later.

ステップS104において、合成部55は、画像処理部52から入力された内視鏡画像とフレームメモリ53から入力された病変画像とを合成して合成画像データを生成する。具体的には、図5に示すように、合成部55は、内視鏡画像P1と病変画像P2とを合成して合成画像W1を生成する。   In step S <b> 104, the synthesis unit 55 synthesizes the endoscopic image input from the image processing unit 52 and the lesion image input from the frame memory 53 to generate composite image data. Specifically, as illustrated in FIG. 5, the combining unit 55 combines the endoscope image P1 and the lesion image P2 to generate a combined image W1.

続いて、表示制御部56は、ブレ算出部541が算出したブレ評価値を合成画像データに対応する合成画像に重畳して表示装置4に表示させる(ステップS105)。具体的には、図6に示すように、表示制御部56は、合成画像W1にブレ評価値として信頼性を示す情報A2を重畳して表示装置4に表示させる。これにより、ユーザは、現在の病変画像P2の信頼性を直感的に把握することができる。なお、表示制御部56は、情報A2として、ブレ評価値を数字(70%)で表示していたが、数字に換えて、例えば病変候補領域A1の枠を、ブレ評価値に応じて強調表示させたり、ハイライト表示させたりしてもよい。もちろん、表示制御部56は、情報A2として、記号や文字を合成画像W1に重畳して表示装置4に表示させてもよい。   Subsequently, the display control unit 56 causes the display device 4 to display the blur evaluation value calculated by the blur calculation unit 541 on the composite image corresponding to the composite image data (step S105). Specifically, as illustrated in FIG. 6, the display control unit 56 causes the display device 4 to display the information A <b> 2 indicating reliability as a blur evaluation value on the composite image W <b> 1. Thereby, the user can intuitively grasp the reliability of the current lesion image P2. Note that the display control unit 56 displayed the blur evaluation value as a number (70%) as the information A2, but instead of the number, for example, the frame of the lesion candidate region A1 is highlighted according to the blur evaluation value. Or may be highlighted. Of course, the display control unit 56 may superimpose symbols and characters on the composite image W1 as the information A2 and cause the display device 4 to display the information A2.

その後、被検体の観察を終了する場合(ステップS106:Yes)、画像処理装置5は、本処理を終了する。これに対して、被検体の観察を終了しない場合(ステップS106:No)、画像処理装置5は、上述したステップS101へ戻る。   Thereafter, when the observation of the subject is ended (step S106: Yes), the image processing apparatus 5 ends the present process. On the other hand, when the observation of the subject is not finished (step S106: No), the image processing apparatus 5 returns to step S101 described above.

ステップS107において、合成部55は、画像処理部52から入力された内視鏡画像とフレームメモリ53から入力された病変画像とを合成して合成画像データを生成する。この場合、表示制御部56は、合成部55にブレ評価値としての信頼性を示す情報を重畳することなく、表示装置4に表示させる。ステップS107の後、画像処理装置5は、ステップS106へ移行する。これにより、ユーザは、現在の病変画像P2の信頼性がないことを直感的に把握することができる。また、表示制御部56は、ブレ判定部542によってブレ算出部541が算出したブレ評価値が閾値以上でないと判定された場合、病変画像P2を非表示としてもよい。   In step S <b> 107, the synthesis unit 55 synthesizes the endoscopic image input from the image processing unit 52 and the lesion image input from the frame memory 53 to generate composite image data. In this case, the display control unit 56 causes the display device 4 to display the information on the reliability as the blur evaluation value on the combining unit 55 without superimposing the information. After step S107, the image processing apparatus 5 proceeds to step S106. Thereby, the user can intuitively grasp that the current lesion image P2 is not reliable. Further, the display control unit 56 may hide the lesion image P2 when the blur determination unit 542 determines that the blur evaluation value calculated by the blur calculation unit 541 is not greater than or equal to the threshold value.

以上説明した本発明の実施の形態1によれば、表示制御部56が病変画像にブレ評価値を重畳して表示装置4へ出力して表示させるので、現在の病変画像における病変候補領域の信頼性を直感的に把握することができる。   According to the first embodiment of the present invention described above, since the display control unit 56 superimposes the blur evaluation value on the lesion image and outputs it to the display device 4 for display, the reliability of the lesion candidate area in the current lesion image is displayed. Can intuitively grasp the sex.

また、本発明の実施の形態1によれば、表示制御部56が合成部55によって生成された合成画像にブレ評価値を重畳して表示装置4へ出力して表示させるので、内視鏡画像と病変画像とを比べながら被検体の観察を行うことができる。   Further, according to the first embodiment of the present invention, the display control unit 56 superimposes the blur evaluation value on the synthesized image generated by the synthesizing unit 55 and outputs it to the display device 4 for display. The subject can be observed while comparing the lesion image with the lesion image.

また、本発明の実施の形態1によれば、表示制御部56は、ブレ判定部542によってブレ算出部541が算出したブレ評価値が閾値以上であると判定された場合、ブレ算出部541が算出したブレ評価値を病変画像に重畳して表示装置4へ出力して表示させるので、病変画像内における病変候補領域の信頼度を直感的に把握することができる。   Further, according to the first embodiment of the present invention, when the shake determination unit 542 determines that the shake evaluation value calculated by the shake calculation unit 541 is greater than or equal to the threshold, the display control unit 56 Since the calculated blur evaluation value is superimposed on the lesion image and output to the display device 4 for display, the reliability of the lesion candidate area in the lesion image can be intuitively grasped.

また、本発明の実施の形態では、1つの病変候補領域に対する信頼度としてブレ評価値を表示していたが、例えば病変検出装置3が複数の病変候補領域を検出した場合、ブレ評価部54が病変検出装置3によって検出された複数の病変候補領域の各々のブレ評価値を算出し、表示制御部56が各病変候補領域のブレ評価値に関する情報を重畳して表示装置4へ出力させて表示させてもよい。   In the embodiment of the present invention, the blur evaluation value is displayed as the reliability for one lesion candidate area. However, when the lesion detection apparatus 3 detects a plurality of lesion candidate areas, for example, the blur evaluation unit 54 The blur evaluation value of each of the plurality of lesion candidate areas detected by the lesion detection apparatus 3 is calculated, and the display control unit 56 superimposes information on the blur evaluation value of each lesion candidate area and outputs it to the display apparatus 4 for display. You may let them.

(実施の形態2)
次に、本発明の実施の形態2について説明する。上述した実施の形態1では、病変検出装置3が画像処理部52によって画像処理が施された画像データに基づいて、病変候補領域を検出した病変画像データを生成していたが、本実施の形態2では、病変検出装置3がRAWデータの画像データに基づいて、病変候補領域を検出した病変画像データを生成する。以下においては、本実施の形態2に係る内視鏡システムの構成について説明する。なお、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して説明を省略する。
(Embodiment 2)
Next, a second embodiment of the present invention will be described. In the first embodiment described above, the lesion detection device 3 generates the lesion image data in which the lesion candidate area is detected based on the image data subjected to the image processing by the image processing unit 52. In 2, the lesion detection device 3 generates lesion image data in which a lesion candidate area is detected based on the image data of the RAW data. Hereinafter, the configuration of the endoscope system according to the second embodiment will be described. In addition, the same code | symbol is attached | subjected to the structure same as the endoscope system 1 which concerns on Embodiment 1 mentioned above, and description is abbreviate | omitted.

〔内視鏡システムの構成〕
図7は、本発明の実施の形態2に係る内視鏡システムの機能構成を示すブロック図である。図7に示す内視鏡システム1aは、上述した実施の形態1に係る内視鏡システム1の画像処理装置5に換えて、画像処理装置5aを備える。
[Configuration of endoscope system]
FIG. 7 is a block diagram showing a functional configuration of the endoscope system according to Embodiment 2 of the present invention. An endoscope system 1a illustrated in FIG. 7 includes an image processing device 5a instead of the image processing device 5 of the endoscope system 1 according to the first embodiment described above.

画像処理装置5aは、上述した実施の形態1に係る画像処理装置5の画像処理部52に換えて、第1画像処理部52aと、第2画像処理部52bと、を備える。   The image processing device 5a includes a first image processing unit 52a and a second image processing unit 52b instead of the image processing unit 52 of the image processing device 5 according to Embodiment 1 described above.

第1画像処理部52aは、取得部51から入力されたRAWデータの画像データに対して、基本の画像処理を行って病変検出装置3へ出力する。ここで、基本の画像処理とは、少なくともA/D変換処理およびオプティカルブラック減算処理等の絵作りに影響しない画像処理である。   The first image processing unit 52 a performs basic image processing on the image data of the RAW data input from the acquisition unit 51 and outputs the image data to the lesion detection device 3. Here, the basic image processing is image processing that does not affect picture making, such as at least A / D conversion processing and optical black subtraction processing.

第2画像処理部52bは、フレームメモリ53から入力された病変画像データに対して、絵作りに必要な画像処理を行って表示制御部56へ出力する。ここで、絵作りに必要な画像処理としては、ホワイトバランス調整処理、内視鏡2が面順次式の場合には画像データの同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理等を含む画像処理である。   The second image processing unit 52 b performs image processing necessary for picture creation on the lesion image data input from the frame memory 53 and outputs the image processing to the display control unit 56. Here, as image processing necessary for picture creation, white balance adjustment processing, when the endoscope 2 is a frame sequential type, image data synchronization processing, color matrix calculation processing, γ correction processing, color reproduction processing, and Image processing including edge enhancement processing and the like.

このように構成された内視鏡システム1aは、病変検出装置3が画像処理装置5aからRAWデータの画像データに基づいて、病変候補領域を検出した病変画像データを生成する。そして、ブレ評価部54が時間的に前後する2つの病変画像データに対応する病変画像のブレに関するブレ評価値を算出する。その後、表示制御部56は、病変画像データに対応する病変画像に、ブレ評価値を信頼性に関する情報として重畳して表示装置4に表示させる。具体的には、図8に示すように、表示制御部56は、病変画像P10に、ブレ評価値を信頼性に関する情報A2として重畳した画像W2を表示装置4にリアルタイムで表示させる。これにより、ユーザは画像W2のみを視認しながら、病変画像P10の信頼性を直感的に把握することができる。   In the endoscope system 1a configured as described above, the lesion detection device 3 generates lesion image data in which a lesion candidate region is detected based on the image data of the RAW data from the image processing device 5a. Then, the blur evaluation unit 54 calculates a blur evaluation value related to the blur of the lesion image corresponding to the two lesion image data moving back and forth in time. Thereafter, the display control unit 56 causes the display device 4 to display the blur evaluation value superimposed on the lesion image corresponding to the lesion image data as information on reliability. Specifically, as shown in FIG. 8, the display control unit 56 causes the display device 4 to display an image W2 in which the blur evaluation value is superimposed as the reliability information A2 on the lesion image P10 in real time. Accordingly, the user can intuitively grasp the reliability of the lesion image P10 while visually recognizing only the image W2.

以上説明した本発明の実施の形態2によれば、表示制御部56が病変画像にブレ評価値を重畳して表示装置4へ出力して表示させるので、現在の病変画像における病変候補領域の信頼性を直感的に把握することができる。   According to the second embodiment of the present invention described above, since the display control unit 56 superimposes the blur evaluation value on the lesion image and outputs it to the display device 4 for display, the reliability of the lesion candidate area in the current lesion image is displayed. Can intuitively grasp the sex.

また、本発明の実施の形態2によれば、病変検出装置3が画像処理装置5aからRAWデータの画像データに基づいて、病変候補領域を検出した病変画像データを生成し、ブレ評価部54が時間的に前後する2つの病変画像データに対応する病変画像のブレに関するブレ評価値を算出するので、色味や階調が変更されるまえの画像データにおいて病変候補領域が検出されるので、より精度の高い病変検出を行うことができる。   Further, according to the second embodiment of the present invention, the lesion detection device 3 generates lesion image data in which a lesion candidate region is detected based on the image data of the RAW data from the image processing device 5a, and the blur evaluation unit 54 Since the blur evaluation value regarding the blur of the lesion image corresponding to the two lesion image data before and after the time is calculated, the lesion candidate area is detected in the image data before the color and gradation are changed. It is possible to detect a lesion with high accuracy.

(実施の形態3)
次に、本発明の実施の形態3について説明する。本実施の形態3では、画像処理装置が病変候補領域を抽出する。以下においては、本実施の形態2に係る内視鏡システム1aと同一の構成には同一の符号を付して説明を省略する。
(Embodiment 3)
Next, a third embodiment of the present invention will be described. In the third embodiment, the image processing apparatus extracts a lesion candidate area. Below, the same code | symbol is attached | subjected to the structure same as the endoscope system 1a which concerns on this Embodiment 2, and description is abbreviate | omitted.

〔内視鏡システムの構成〕
図9は、本発明の実施の形態3に係る内視鏡システムの機能構成を示すブロック図である。図9に示す内視鏡システム1bは、上述した実施の形態2に係る内視鏡システム1aに係る画像処理装置5aに換えて、画像処理装置5bを備える。
[Configuration of endoscope system]
FIG. 9 is a block diagram showing a functional configuration of the endoscope system according to Embodiment 3 of the present invention. An endoscope system 1b illustrated in FIG. 9 includes an image processing device 5b instead of the image processing device 5a according to the endoscope system 1a according to the second embodiment described above.

画像処理装置5bは、上述した実施の形態2に係る画像処理装置5aの構成に加えて、病変候補領域検出部57をさらに備える。   The image processing device 5b further includes a lesion candidate region detection unit 57 in addition to the configuration of the image processing device 5a according to the second embodiment described above.

病変候補領域検出部57は、フレームメモリ53から入力されるRAWデータの画像データに基づいて、病変候補領域を抽出した病変画像データを生成する。具体的には、病変候補領域検出部57は、フレームメモリ53から取得したRAWデータの画像データに対応する画像に対し、病変パターンによるパターンマッチングまたは高周波成分に基づく病変候補領域を抽出して病変画像データを生成する。さらに、病変候補領域検出部57は、ブレ評価部54が算出したブレ評価値に基づいて、病変候補領域に対する重み付けを行った病変画像データを生成して第2画像処理部52bへ出力する。   The lesion candidate area detection unit 57 generates lesion image data obtained by extracting the lesion candidate area based on the image data of the RAW data input from the frame memory 53. Specifically, the lesion candidate area detection unit 57 extracts a lesion candidate area based on a pattern matching based on a lesion pattern or a high frequency component from an image corresponding to the image data of the RAW data acquired from the frame memory 53, and the lesion image. Generate data. Further, the lesion candidate area detection unit 57 generates lesion image data weighted on the lesion candidate area based on the blur evaluation value calculated by the blur evaluation unit 54, and outputs the lesion image data to the second image processing unit 52b.

このように構成された内視鏡システム1bは、病変候補領域検出部57がフレームメモリ53から入力されたRAWデータの画像データとブレ評価部54が算出したブレ評価値とに基づいて、病変画像データを生成する。具体的には、図10に示すように、病変候補領域検出部57は、フレームメモリ53から入力されたRAWデータの画像データとブレ評価部54が算出したブレ評価値とに基づいて、病変候補領域A1を強調した病変画像データに対応する病変画像P20を生成する。そして、表示制御部56は、病変画像P10を含む画像W3を表示装置4にリアルタイムで表示させる。これにより、ユーザは病変画像WP20のみを視認しながら、病変画像P20の信頼性を直感的に把握することができる。   The endoscope system 1b configured as described above is based on the image data of the raw data input from the frame memory 53 by the lesion candidate area detection unit 57 and the blur evaluation value calculated by the blur evaluation unit 54. Generate data. Specifically, as shown in FIG. 10, the lesion candidate area detection unit 57 is based on the image data of the RAW data input from the frame memory 53 and the blur evaluation value calculated by the blur evaluation unit 54. A lesion image P20 corresponding to the lesion image data in which the region A1 is emphasized is generated. Then, the display control unit 56 causes the display device 4 to display the image W3 including the lesion image P10 in real time. Accordingly, the user can intuitively grasp the reliability of the lesion image P20 while visually recognizing only the lesion image WP20.

以上説明した本発明の実施の形態3によれば、表示制御部56が病変画像にブレ評価値を重畳して表示装置4へ出力して表示させるので、現在の病変画像における病変候補領域の信頼性を直感的に把握することができる。   According to the third embodiment of the present invention described above, since the display control unit 56 superimposes the blur evaluation value on the lesion image and outputs it to the display device 4 for display, the reliability of the lesion candidate area in the current lesion image is displayed. Can intuitively grasp the sex.

また、本発明の実施の形態3によれば、内視鏡2から順次入力される画像データに基づいて、病変候補領域検出部57が病変画像データを順次生成するので、リアルタイムで反映させる病変候補領域を確認しながら検査を行うことができる。   Further, according to the third embodiment of the present invention, the lesion candidate area detection unit 57 sequentially generates lesion image data based on the image data sequentially input from the endoscope 2, so that the lesion candidate to be reflected in real time. Inspection can be performed while checking the area.

なお、本発明の実施の形態3では、病変候補領域検出部57が病変候補領域を矩形状の枠で強調した病変画像P20を生成してが、矩形状の枠でなく、例えば図11に示すように病変候補領域A1をハイライト表示させてもよい。   In the third embodiment of the present invention, the lesion candidate region detection unit 57 generates the lesion image P20 in which the lesion candidate region is emphasized with a rectangular frame. In this way, the lesion candidate area A1 may be highlighted.

(その他の実施の形態)
また、本発明の実施の形態では、伝送ケーブルを介して画像データおよび病変画像データを画像処理装置へ送信していたが、例えば有線である必要はなく、無線であってもよい。この場合、所定の無線通信規格(例えばWi−Fi(登録商標)やBluetooth(登録商標)に従って、画像データおよび病変画像データ等を画像処理装置へ送信するようにすればよい。もちろん、他の無線通信規格に従って無線通信を行ってもよい。
(Other embodiments)
In the embodiment of the present invention, the image data and the lesion image data are transmitted to the image processing apparatus via the transmission cable. However, for example, the image data and the lesion image data are not necessarily wired and may be wireless. In this case, image data, lesion image data, and the like may be transmitted to the image processing device in accordance with a predetermined wireless communication standard (for example, Wi-Fi (registered trademark) or Bluetooth (registered trademark)). Wireless communication may be performed according to a communication standard.

また、本発明の実施の形態では、プロセッサと光源とが一体的に形成されていたが、これに限定されることなく、例えばプロセッサと光源とを別体の装置として構成してもよい。   In the embodiment of the present invention, the processor and the light source are integrally formed. However, the present invention is not limited to this. For example, the processor and the light source may be configured as separate devices.

また、本発明の実施の形態では、面順次式の内視鏡を例に説明したが、同時式の内視鏡であっても適用することができる。   In the embodiment of the present invention, a frame sequential endoscope has been described as an example, but a simultaneous endoscope can also be applied.

また、本発明の実施の形態では、被検体に挿入される内視鏡であったが、例えばカプセル型の内視鏡または被検体を撮像する撮像装置であっても適用することができる。   In the embodiment of the present invention, the endoscope is inserted into the subject. However, the present invention can also be applied to, for example, a capsule endoscope or an imaging device that images the subject.

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いて各処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。   In the description of the flowchart in the present specification, the context of each process is clearly indicated using expressions such as “first”, “subsequent”, and “follow”, but this is necessary to implement the present invention. The order of processing is not uniquely determined by their expression. That is, the order of processing in the flowcharts described in this specification can be changed within a consistent range.

このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。   As described above, the present invention can include various embodiments not described herein, and various design changes can be made within the scope of the technical idea specified by the claims. It is.

1,1a,1b 内視鏡システム
2 内視鏡
3 病変検出装置
4 表示装置
5,5a,5b 画像処理装置
51 取得部
52 画像処理部
52a 第1画像処理部
52b 第2画像処理部
53 フレームメモリ
54 ブレ評価部
55 合成部
56 表示制御部
57 病変候補領域検出部
541 ブレ算出部
542 ブレ判定部
A1 病変候補領域
A2 情報
P1 内視鏡画像
P2 病変画像
R1,W2,W3 病変候補領域
W1 合成画像
1, 1a, 1b Endoscope system 2 Endoscope 3 Lesion detection device 4 Display device 5, 5a, 5b Image processing device 51 Acquisition unit 52 Image processing unit 52a First image processing unit 52b Second image processing unit 53 Frame memory 54 blur evaluation unit 55 synthesis unit 56 display control unit 57 lesion candidate region detection unit 541 blur calculation unit 542 blur determination unit A1 lesion candidate region A2 information P1 endoscopic image P2 lesion image R1, W2, W3 lesion candidate region W1 synthesized image

Claims (9)

被検体の体腔内を撮像した画像データを取得する取得部と、
前記画像データおよび前記画像データに対応する画像に病変候補領域に関する情報が重畳された病変画像データのどちらか一方に基づいて、前記病変画像データに対応する病変画像のブレ具合を評価するブレ評価値を算出する算出部と、
前記病変画像に、前記ブレ評価値を重畳して外部へ出力する出力部と、
を備えたことを特徴とする画像処理装置。
An acquisition unit for acquiring image data obtained by imaging the body cavity of the subject;
A blur evaluation value for evaluating the degree of blurring of a lesion image corresponding to the lesion image data based on one of the image data and lesion image data in which information about a lesion candidate region is superimposed on the image corresponding to the image data A calculation unit for calculating
An output unit for superimposing the blur evaluation value on the lesion image and outputting it to the outside;
An image processing apparatus comprising:
前記画像データに対して、所定の画像処理を施す第1画像処理部をさらに備え、
前記取得部は、前記所定の画像処理が施された前記画像データに基づいて外部の病変検出装置が生成した時間的に前後する2つの前記病変画像データを前記病変検出装置から取得し、
前記算出部は、前記取得部が取得した時間的に前後する2つの前記病変画像データそれぞれに対応する前記病変画像に基づいて、前記ブレ評価値を算出することを特徴とする請求項1に記載の画像処理装置。
A first image processing unit that performs predetermined image processing on the image data;
The acquisition unit acquires, from the lesion detection device, two lesion image data that are temporally generated and generated by an external lesion detection device based on the image data subjected to the predetermined image processing,
The said calculation part calculates the said blur evaluation value based on the said lesion image corresponding to each of the two said lesion image data which the said acquisition part acquired before and behind in time. Image processing apparatus.
前記画像データに対して、所定の画像処理を施す第1画像処理部と、
前記第1画像処理部が前記所定の画像処理を施した前記画像データに対応する画像に対し、病変パターンを用いてパターンマッチングを行うことによって、前記病変画像データを生成する病変検出部と、
をさらに備え、
前記算出部は、前記所定の画像処理が施された時間的に前後する2つの前記画像データそれぞれに基づいて、前記ブレ評価値を算出することを特徴とする請求項1に記載の画像処理装置。
A first image processing unit that performs predetermined image processing on the image data;
A lesion detection unit that generates the lesion image data by performing pattern matching using a lesion pattern on an image corresponding to the image data on which the first image processing unit has performed the predetermined image processing;
Further comprising
The image processing apparatus according to claim 1, wherein the calculation unit calculates the blur evaluation value based on each of the two pieces of image data that are temporally changed and subjected to the predetermined image processing. .
前記病変検出部は、前記ブレ評価値に基づいて、前記パターンマッチングで用いる病変パターンを変更することを特徴とする請求項3に記載の画像処理装置。   The image processing apparatus according to claim 3, wherein the lesion detection unit changes a lesion pattern used in the pattern matching based on the blur evaluation value. 前記算出部が算出した前記ブレ評価値が所定の閾値以上であるか否かを判定する判定部をさらに備え、
前記出力部は、前記判定部によって前記ブレ評価値が前記所定の閾値以上であると判定された場合、前記ブレ評価値を前記病変画像に重畳することを特徴とする請求項1〜4のいずれか1つに記載の画像処理装置。
A determination unit that determines whether the blur evaluation value calculated by the calculation unit is equal to or greater than a predetermined threshold;
The output unit superimposes the blur evaluation value on the lesion image when the determination unit determines that the blur evaluation value is greater than or equal to the predetermined threshold. The image processing apparatus according to claim 1.
前記出力部は、前記病変画像における前記病変候補領域に対応する前記画像の領域に前記ブレ評価値に関する情報を重畳して出力することを特徴とする請求項1〜5のいずれか1つに記載の画像処理装置。   The said output part superimposes and outputs the information regarding the said blur evaluation value to the area | region of the said image corresponding to the said lesion candidate area | region in the said lesion image, The output of Claim 1 characterized by the above-mentioned. Image processing apparatus. 前記画像データに対応する画像と前記病変画像とを合成して合成画像データを生成する合成部をさらに備えたことを特徴とする請求項1〜6のいずれか1つに記載の画像処理装置。   The image processing apparatus according to claim 1, further comprising a combining unit that combines the image corresponding to the image data and the lesion image to generate combined image data. 被検体の体腔内を撮像した画像データを取得する取得ステップと、
前記画像データおよび前記画像データに対応する画像に病変候補領域に関する情報が重畳された病変画像データのどちらか一方に基づいて、前記病変画像データに対応する病変画像のブレ具合を評価するブレ評価値を算出する算出ステップと、
前記病変画像に、前記ブレ評価値を重畳して外部へ出力する出力ステップと、
を含むことを特徴とする画像処理方法。
An acquisition step of acquiring image data obtained by imaging the body cavity of the subject;
A blur evaluation value for evaluating the degree of blurring of a lesion image corresponding to the lesion image data based on one of the image data and lesion image data in which information about a lesion candidate region is superimposed on the image corresponding to the image data A calculating step for calculating
An output step of superimposing the blur evaluation value on the lesion image and outputting it to the outside;
An image processing method comprising:
画像処理装置に、
被検体の体腔内を撮像した画像データを取得する取得ステップと、
画像データおよび前記画像データに対応する画像に病変候補領域に関する情報が重畳された病変画像データのどちらか一方に基づいて、前記病変画像データに対応する病変画像のブレ具合を評価するブレ評価値を算出する算出ステップと、
前記病変画像に、前記ブレ評価値を重畳して外部へ出力する出力ステップと、
を実行させることを特徴とするプログラム。
In the image processing device,
An acquisition step of acquiring image data obtained by imaging the body cavity of the subject;
Based on either the image data or the lesion image data in which the information related to the lesion candidate area is superimposed on the image corresponding to the image data, a blur evaluation value for evaluating the blur condition of the lesion image corresponding to the lesion image data is obtained. A calculating step for calculating;
An output step of superimposing the blur evaluation value on the lesion image and outputting it to the outside;
A program characterized by having executed.
JP2016107826A 2016-05-30 2016-05-30 Image processing device, image processing method, and program Pending JP2017213097A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016107826A JP2017213097A (en) 2016-05-30 2016-05-30 Image processing device, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016107826A JP2017213097A (en) 2016-05-30 2016-05-30 Image processing device, image processing method, and program

Publications (1)

Publication Number Publication Date
JP2017213097A true JP2017213097A (en) 2017-12-07

Family

ID=60576028

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016107826A Pending JP2017213097A (en) 2016-05-30 2016-05-30 Image processing device, image processing method, and program

Country Status (1)

Country Link
JP (1) JP2017213097A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019146066A1 (en) * 2018-01-26 2019-08-01 オリンパス株式会社 Endoscope image processing device, endoscope image processing method, and program
WO2019187049A1 (en) * 2018-03-30 2019-10-03 オリンパス株式会社 Diagnosis support device, diagnosis support method, and diagnosis support program
JP2020095600A (en) * 2018-12-14 2020-06-18 キヤノン株式会社 Processing system, processing device, terminal device, processing method, and program
JP2020175051A (en) * 2019-04-23 2020-10-29 学校法人慈恵大学 Diagnosis support system and diagnosis support program
JPWO2019138773A1 (en) * 2018-01-10 2020-12-10 富士フイルム株式会社 Medical image processing equipment, endoscopic systems, medical image processing methods and programs
JP2021045337A (en) * 2019-09-18 2021-03-25 富士フイルム株式会社 Medical image processing device, processor device, endoscope system, medical image processing method, and program
WO2021149169A1 (en) * 2020-01-21 2021-07-29 日本電気株式会社 Operation assistance device, operation assistance method, and computer-readable recording medium
WO2021201272A1 (en) * 2020-04-03 2021-10-07 富士フイルム株式会社 Medical image processing apparatus, endoscope system, operation method for medical image processing apparatus, and program for medical image processing apparatus
WO2022191058A1 (en) * 2021-03-09 2022-09-15 富士フイルム株式会社 Endoscopic image processing device, method, and program
US11991478B2 (en) 2018-07-09 2024-05-21 Fujifilm Corporation Medical image processing apparatus, medical image processing system, medical image processing method, and program

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019138773A1 (en) * 2018-01-10 2020-12-10 富士フイルム株式会社 Medical image processing equipment, endoscopic systems, medical image processing methods and programs
US11526986B2 (en) 2018-01-10 2022-12-13 Fujifilm Corporation Medical image processing device, endoscope system, medical image processing method, and program
WO2019146066A1 (en) * 2018-01-26 2019-08-01 オリンパス株式会社 Endoscope image processing device, endoscope image processing method, and program
US11457876B2 (en) 2018-03-30 2022-10-04 Olympus Corporation Diagnosis assisting apparatus, storage medium, and diagnosis assisting method for displaying diagnosis assisting information in a region and an endoscopic image in another region
CN111989025A (en) * 2018-03-30 2020-11-24 奥林巴斯株式会社 Diagnosis support device, diagnosis support method, and diagnosis support program
WO2019187049A1 (en) * 2018-03-30 2019-10-03 オリンパス株式会社 Diagnosis support device, diagnosis support method, and diagnosis support program
US11991478B2 (en) 2018-07-09 2024-05-21 Fujifilm Corporation Medical image processing apparatus, medical image processing system, medical image processing method, and program
JP7317498B2 (en) 2018-12-14 2023-07-31 キヤノン株式会社 Processing system, processing apparatus, processing method, and program
JP2020095600A (en) * 2018-12-14 2020-06-18 キヤノン株式会社 Processing system, processing device, terminal device, processing method, and program
JP7127779B2 (en) 2019-04-23 2022-08-30 学校法人慈恵大学 Diagnostic support system and diagnostic support program
JP2020175051A (en) * 2019-04-23 2020-10-29 学校法人慈恵大学 Diagnosis support system and diagnosis support program
JP2021045337A (en) * 2019-09-18 2021-03-25 富士フイルム株式会社 Medical image processing device, processor device, endoscope system, medical image processing method, and program
JP7373335B2 (en) 2019-09-18 2023-11-02 富士フイルム株式会社 Medical image processing device, processor device, endoscope system, operating method of medical image processing device, and program
JPWO2021149169A1 (en) * 2020-01-21 2021-07-29
WO2021149169A1 (en) * 2020-01-21 2021-07-29 日本電気株式会社 Operation assistance device, operation assistance method, and computer-readable recording medium
JP7315033B2 (en) 2020-01-21 2023-07-26 日本電気株式会社 Treatment support device, treatment support method, and program
WO2021201272A1 (en) * 2020-04-03 2021-10-07 富士フイルム株式会社 Medical image processing apparatus, endoscope system, operation method for medical image processing apparatus, and program for medical image processing apparatus
WO2022191058A1 (en) * 2021-03-09 2022-09-15 富士フイルム株式会社 Endoscopic image processing device, method, and program

Similar Documents

Publication Publication Date Title
JP2017213097A (en) Image processing device, image processing method, and program
US20210030264A1 (en) Image processing apparatus, image processing method, and program
JP6371729B2 (en) Endoscopy support apparatus, operation method of endoscopy support apparatus, and endoscope support program
CN109219385B (en) Endoscope system, image processing apparatus, image processing method, and medium
US8767057B2 (en) Image processing device, image processing method, and program
JP6348078B2 (en) Branch structure determination apparatus, operation method of branch structure determination apparatus, and branch structure determination program
US11004197B2 (en) Medical image processing apparatus, medical image processing method, and program
JP7074065B2 (en) Medical image processing equipment, medical image processing methods, programs
JP6392570B2 (en) Image processing apparatus, method of operating image processing apparatus, image processing program, and endoscope system
JP5486432B2 (en) Image processing apparatus, operating method thereof, and program
JP6478136B1 (en) Endoscope system and operation method of endoscope system
US9530205B2 (en) Polyp detection apparatus and method of operating the same
US20180342079A1 (en) Image processing apparatus, image processing method, and computer readable recording medium
US20160180526A1 (en) Image processing apparatus, image processing method, image processing system, and non-transitory computer-readable storage medium
US9826884B2 (en) Image processing device for correcting captured image based on extracted irregularity information and enhancement level, information storage device, and image processing method
WO2019130868A1 (en) Image processing device, processor device, endoscope system, image processing method, and program
JP2018153346A (en) Endoscope position specification device, method, and program
US20220265228A1 (en) Radiation imaging system, radiation imaging method, image processing apparatus, and storage medium
JPWO2019187049A1 (en) Diagnostic support device, diagnostic support program, and diagnostic support method
US10154778B2 (en) Endoscopic processor
JP6840263B2 (en) Endoscope system and program
JPWO2019138772A1 (en) Image processing equipment, processor equipment, image processing methods, and programs
JP2015008733A (en) Ultrasonic treatment device and method
JP2021045337A (en) Medical image processing device, processor device, endoscope system, medical image processing method, and program
WO2023126999A1 (en) Image processing device, image processing method, and storage medium