WO2016159726A1 - Device for automatically sensing lesion location from medical image and method therefor - Google Patents

Device for automatically sensing lesion location from medical image and method therefor Download PDF

Info

Publication number
WO2016159726A1
WO2016159726A1 PCT/KR2016/003432 KR2016003432W WO2016159726A1 WO 2016159726 A1 WO2016159726 A1 WO 2016159726A1 KR 2016003432 W KR2016003432 W KR 2016003432W WO 2016159726 A1 WO2016159726 A1 WO 2016159726A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
threshold
threshold value
contour
setting
Prior art date
Application number
PCT/KR2016/003432
Other languages
French (fr)
Korean (ko)
Inventor
김황남
손수연
이석규
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Publication of WO2016159726A1 publication Critical patent/WO2016159726A1/en

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16ZINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00Subject matter not provided for in other main groups of this subclass

Definitions

  • the present invention relates to an apparatus and method for automatically detecting the position of a lesion from a medical image, and more particularly, to an apparatus and a method for automatically detecting a lesion position using a brightness difference in an image obtained through an endoscope.
  • images obtained through various medical devices are used to examine lesions inside the body.
  • images include endoscope images, magnetic resonance imaging (MRI), and computed tomography (CT) images.
  • MRI magnetic resonance imaging
  • CT computed tomography
  • 'Endoscope' is a medical device that can directly observe the internal organs or the body cavity, and is designed to insert a machine to observe the organs that cannot directly identify the lesion without incision.
  • organs there are esophagus, gastroscopy, duodenum, etc.
  • fiber scope lens system type, gastric camera, etc.
  • Magnetic Resonance Imaging is a large magnetic cylinder that generates a magnetic field, and then enters the human body to generate high-frequency waves to resonate hydrogen nuclei in the body, thereby measuring the difference in the signal from each tissue. It is a technique to image by reconstructing.
  • Computed tomography is a technology that takes a human body into a large circular machine with an X-ray generator and then photographs a cross-section of the human body.
  • Computed tomography has the advantage that structures are less overlapped than simple X-rays, so structures and lesions can be seen more clearly.In most organs and diseases, the lesions are suspected and need to be examined. When necessary, it is basically a test method.
  • computed tomography is common to magnetic resonance imaging (MRI) in that cross-sectional images are obtained, but computed tomography (CT) uses X-rays, and magnetic resonance imaging (MRI) uses high frequency in a magnetic field. The difference is that images are acquired by transferring.
  • MRI magnetic resonance imaging
  • CT computed tomography
  • CT computed tomography
  • an object of the present invention is to provide an apparatus and method for automatically detecting a lesion location by detecting a tissue suspected to be a lesion by using brightness differences in a medical image, so as to accurately detect even minute changes that are difficult to visually identify.
  • the present invention is to provide an apparatus and method for automatically detecting the position of the lesion to increase the cure rate by initially diagnosing the lesion.
  • the present invention provides a criterion for determining whether a lesion can be diagnosed as abnormal tissue, thereby providing an apparatus and method for automatically detecting a lesion location, which can be used as a tool for learning to apprentices who are not familiar with lesion diagnosis. I would like to.
  • an apparatus for automatically detecting a lesion location including: an input unit configured to receive an original image collected through a medical device; A threshold setting unit configured to set at least one threshold based on brightness values of pixels constituting the grayscale image after converting the original image into a grayscale image; An image conversion unit for binarizing the grayscale image into a black and white image based on the at least one threshold value; And an contour processor for searching for components suspected to be lesions from the binarized image, extracting contours, and displaying the contours on the original image.
  • the input unit may receive an original image from the endoscope.
  • the threshold setting unit sets an average value of brightness values for all the pixels constituting the grayscale image as a first threshold value, and then adds at least one additional threshold value based on the first threshold value. Can be set.
  • the threshold setting unit may set an average value of brightness values for pixels having a brightness value greater than the first threshold value among pixels constituting the grayscale image as a second threshold value.
  • the threshold setting unit may set an average value of brightness values for pixels of which the brightness value of the pixels constituting the grayscale image is smaller than the first threshold value to a third threshold value.
  • the image conversion unit binarizes the grayscale image into a black and white image for each of the at least one threshold, and as a result, may generate the same number of black and white images as the number of the thresholds.
  • the contour processing unit extracts the contour for each of the black and white images, and then displays the contours in one original image.
  • the contour processor may store in advance a size range of the contour to be displayed on the original image, and display only the contour within the size range.
  • the setting of the threshold value may include: setting an average value of brightness values for all pixels constituting the grayscale image as a first threshold value; And setting at least one additional threshold value based on the first threshold value.
  • the setting of the additional threshold value may set an average value of brightness values for pixels whose brightness value is greater than the first threshold value among pixels constituting the grayscale image as a second threshold value.
  • the setting of the additional threshold further includes setting an average value of brightness values for pixels of which the brightness value of the pixels constituting the grayscale image is smaller than the first threshold value as a third threshold value. It may include.
  • said image converting step may binarize said grayscale image into a black and white image for each of said at least one threshold, resulting in the same number of black and white images as said number of thresholds.
  • said contour processing step comprises extracting said contour for each of said monochrome images; And displaying the extracted contour lines in the one original image.
  • the contour processing step may display only the contour line within the size range of the preset contour line.
  • the present invention has an advantage of detecting the boundary lines for the tissues suspected to be lesions by using the brightness difference in the image during the endoscopy, thereby accurately detecting minute changes that are difficult to be examined by the naked eye.
  • the present invention has the advantage of automatically detecting the position of the bottle, by using a multiple threshold value to reduce the binarization error to obtain accurate results.
  • the present invention can increase the cure rate of the disease by initially diagnosing the lesion, and providing a criterion for whether the lesion can be diagnosed as an abnormal tissue, thereby providing a tool for learning to apprentices who are not familiar with the diagnosis of the lesion. It can be used as.
  • the present invention is also applied to the capsule endoscope adjusted in vitro during telemedicine, to guide the examination doctor to the tissue that is considered to be a problem or to move to the suspected lesion site, automation of the movement of the capsule endoscope is also possible There is an advantage to this.
  • FIG. 1 is a schematic block diagram of an automatic lesion position detection apparatus according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a method for automatically detecting a lesion position according to an embodiment of the present invention.
  • FIG. 3 is a schematic process flowchart of the multi-threshold setting process of FIG. 2.
  • FIG. 4 is a schematic process flowchart of the image conversion process of FIG. 2.
  • FIG. 5 is a diagram illustrating images generated for each processing step according to an embodiment of the present invention.
  • 6 and 7 are diagrams for explaining and explaining the effects of the present invention.
  • first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • the apparatus 100 for automatically detecting a lesion position may include an input unit 110, a threshold setting unit 120, an image switching unit 130, and an outline processing unit 140. ).
  • the input unit 110 inputs an original image to the automatic lesion position detecting apparatus 100.
  • the original image collected through a medical device eg, endoscope
  • the threshold setting unit 120 is transmitted to the input unit 110.
  • the threshold setting unit 120 sets at least one threshold by analyzing the original image transmitted through the input unit 110. To this end, the threshold setting unit 120 converts the original image, which is a color tone image, to a grayscale image, and then derives brightness values of all pixels constituting the grayscale image. At least one threshold is set based on the brightness values of all the pixels.
  • the threshold setting unit 120 derives an average value of brightness values for all the pixels constituting the grayscale image based on Equation 1, and sets the value as a first threshold.
  • Threshold ⁇ Value gray (i) / Number of Pixels
  • ⁇ Value gray (i) is the sum of brightness values for all the pixels constituting the grayscale image
  • Number of Pixels is the number of all pixels
  • the first threshold obtained by Equation 1 is the corresponding frame. It is the standard for normal tissue in Esau.
  • the threshold setting unit 120 may further set additional thresholds based on the first threshold. This is to reduce an error that may occur when the corresponding image is binarized with only one first threshold. For example, if the illuminated area within a frame is concentrated in one place, an error may occur when the difference between abnormal tissue and normal tissue is determined by one reference value.
  • the threshold value setting unit 120 includes an average value (aka second threshold value) for a portion of the illumination that is illuminated in addition to the first threshold value, and an average value (aka 3 thresholds).
  • the second threshold may be derived from Equation 2
  • the third threshold may be derived from Equation 3.
  • Threshold bright ⁇ Value bright (i) / Number of bright Pixels
  • Threshold bright is an average value for the illuminated area
  • ⁇ Value bright (i) is the sum of brightness values of pixels having a brightness value greater than the first threshold value
  • Number of brightPixels is the first threshold value. This is the number of pixels with a brightness value greater than the value.
  • Threshold dark ⁇ Value dark (i) / Number of dark Pixels
  • Threshold dark is an average value for a non-illuminated area
  • ⁇ Value dark (i) is a sum of brightness values of pixels having a brightness value smaller than a first threshold value
  • Number of darkPixels is a first value. The number of pixels having a brightness value less than a threshold.
  • the image converting unit 130 binarizes the grayscale image into a black and white image based on at least one threshold set by the threshold setting unit 120.
  • the image conversion unit 130 may adjust brightness values of all pixels constituting the grayscale image and the first threshold value. Comparing the values, the brightness value of a pixel having a brightness value greater than the first threshold value is set to 10, and the brightness value of a pixel having a brightness value less than the first threshold value is set to 0, thereby making the grayscale image monochrome. Convert to an image.
  • the image conversion unit 130 generates the black and white image by performing the binarization process on each of the one or more threshold values generated by the threshold setting unit 120. Therefore, the number of monochrome images also varies according to the number of thresholds.
  • the threshold value setting unit 120 sets the first to third threshold values as in the above example, the image conversion unit 130 generates a black and white image for each of the first to third threshold values, Black and white images will be generated.
  • the contour processor 140 searches for components suspected of lesions from the black-and-white image (that is, the binarized image) generated by the image conversion unit 130, extracts the contour, and displays the contour on the original image.
  • the component refers to a white interior region at the points where black and white abut on the binarized image
  • the contour processor 140 extracts a contour corresponding to the edge of the white interior region.
  • the contour processing unit 140 extracts the contours for each of the one or more black and white images and then integrates the contours into one original image. It is preferable to display.
  • the method of extracting the contour scans the brightness values of the pixels constituting the image sequentially, and if the brightness values differ from the surrounding pixels, the corresponding pixels are displayed and they are connected to express the boundary line. Can be used.
  • the method of extracting the contour by the above method is only one embodiment, the contour extraction method of the present invention is not limited to the above-described method. That is, a method of extracting the contours of the components may apply various known techniques.
  • the contour processing unit 140 preferably stores in advance the size range of the contour line to be displayed on the original image, and displays only the contour line within the size range.
  • the contour processing unit 140 may determine the length of the longest straight line that passes through the center of the contour of the closed curve and meets the closed curve as the size of the corresponding contour.
  • the outline processor 140 may display the outline on the original image only when the size of the outline is within the pre-stored size range. This is difficult to see as a lesion for components that are too large, and those components that are too small are areas where the mucosal surface reflects light, which is difficult to see as lesions.
  • the size range of the contour is preferably set in advance by a person skilled in the art, the examination doctor may adjust the size of the lesion to be detected directly.
  • FIG. 2 is a flowchart illustrating a method for automatically detecting a lesion position according to an embodiment of the present invention. 1 and 2 is a method for automatically detecting a lesion position according to an embodiment of the present invention.
  • step S100 it is determined whether an original image (ie, a medical image) collected from a medical device is input to the input unit 110. For example, it is determined whether the image acquired through the endoscope is input to the input unit 110.
  • FIG. 5 is a diagram illustrating images generated by processing steps according to an embodiment of the present invention.
  • FIG. 5A illustrates an original image (ie, a color tone image) input in step S100.
  • (B) shows the image converted into a grayscale image in step S200. Regions indicated in white in FIG. 5B are components.
  • the threshold setting unit 120 sets at least one threshold value (ie, multiple threshold values) based on brightness values of pixels constituting the grayscale image. Since an example of a more specific process for this is illustrated in FIG. 3, the specific process will be described with reference to FIG. 3.
  • the image conversion unit 130 binarizes the grayscale image into a monochrome image based on at least one threshold value set in operation S300.
  • the binarization process is repeated by the threshold number set in step S300, and the number of black and white images generated as the result is the same as the threshold number.
  • 5 (c) and (d) illustrate the result of binarizing the grayscale image illustrated in FIG. 5 (b) with different threshold values.
  • FIG. 5C shows a result of binarization by the first threshold
  • FIG. 5D shows a result of binarization by the second or third threshold.
  • FIGS. 5C and 5D shows that the binarization result is more accurate than that of FIG. 5C. Therefore, it can be seen that as the number of thresholds increases, an error occurring in the binarization process can be reduced. Meanwhile, since an example of a more specific process for this is illustrated in FIG. 4, the specific process will be described with reference to FIG. 4.
  • the contour processing unit 140 searches for components suspected of lesions from the binarized image and extracts contours. At this time, the contour extraction process is repeated by the number of monochrome images generated in step S400. That is, a contour extraction process is performed on each of the black and white images generated in step S400.
  • step S600 the contour processing unit 140 displays the contour line extracted in the step S500 on the original image.
  • the outlines are extracted from the one or more black and white images in step S500, the respective outlines are displayed by integrating the respective outlines into one original image.
  • a predetermined condition eg, size
  • FIG. 5E shows an example of the contour extracted from the black and white image illustrated in FIG. 5D
  • FIG. 5F shows the above image on the original image illustrated in FIG. 5A. The example which displayed the outline illustrated in (e) of 5 is shown.
  • FIG. 3 is a schematic process flowchart of the multi-threshold setting process of FIG. 2. 1 and 3, the multi-threshold setting process S300 of FIG. 2 is as follows.
  • step S310 the threshold value setting unit 120 extracts brightness values for all pixels constituting the grayscale image as illustrated in FIG. 5B.
  • the threshold setting unit 120 sets the average value of the brightness values for all the pixels as the first threshold value.
  • the threshold setting unit 120 operates as described in the description with reference to FIG. 1 and preferably derives the first to third threshold values based on Equations 1 to 3 below.
  • the example of FIG. 3 shows an example of a process for deriving the first to third threshold values, but the present invention is limited to deriving the first to third threshold values. It is not. For example, only the first and second two thresholds may be derived and the subsequent process may be processed based on those values. However, when the threshold value is more than three, a problem arises in that efficiency decreases in computation speed and accuracy. Therefore, it is preferable to set the maximum threshold value to three.
  • FIG. 4 is a schematic process flowchart of the image conversion process of FIG. 2. 1 and 4, the image conversion process S400 of FIG. 2 is as follows.
  • step S410 the image conversion unit 130 performs binarization based on the first threshold value. For this reason, in step S410, the grayscale image generated by the threshold setting unit 120 is converted into the first black and white image.
  • step S420 the image conversion unit 130 performs binarization based on the second threshold value. For this reason, in step S420, the grayscale image generated by the threshold setting unit 120 is converted into a second black and white image.
  • the image switching unit 130 performs binarization based on the third threshold value. For this reason, in operation S430, the grayscale image generated by the threshold setting unit 120 is converted into a third monochrome image.
  • the image conversion process S400 binarizes the grayscale image into a black and white image for each of the at least one threshold, and as a result, generates the same number of black and white images as the number of the thresholds.
  • 6 and 7 are diagrams for explaining the effects of the present invention, and are diagrams for explaining the results of performance evaluation by applying the present invention step by step.
  • FIG. 6A illustrates an example of a case in which a specialist examiner displays a lesion area A on an endoscope image
  • FIG. 6B illustrates a first threshold derived by Equation 1.
  • Figure 6 (c) is derived after performing the binarization based on the first threshold (Threshold)
  • An example of a case in which the extracted contour is integrated and displayed in the original image after binarization is performed based on the generated contour and the second threshold bright generated additionally is shown.
  • the lesion area A indicated by the specialist doctor in FIG. 6A is not indicated by an outline. This is due to an error caused by the initial threshold being set to the average brightness value as the camera lights are concentrated in the lower right corner of the original image.
  • FIG. 6C an outline B similar to the lesion area A indicated by the specialist medical doctor is displayed in FIG. 6A. This indicates that a more accurate result can be obtained by performing additional binarization once more based on the second threshold bright derived by Equation 2 and then adding the derived contour.
  • FIG. 7 An example of numerically expressing this effect is illustrated in FIG. 7.
  • a first stage (1 st stage) is a stage when only an average threshold value (ie, a first threshold value) is applied, and a second stage (2 nd stage) is a second threshold value. bright ) If necessary, a third threshold (Threshold dark ) can be added to proceed to the third stage (3 rd stage), but as shown in FIG. proceeds up to value (Threshold bright) a second step of adding (2 nd stage).
  • FIG. 6B The result generated in the first stage of FIG. 7 (1 st stage) is shown in FIG. Referring to FIG. 6B and FIG. 7 together, the boundary lines shown in FIG. 6B are suspected lesions due to the difference in brightness with the surroundings even though there are no lesions. This is defined as 'false positive' because it is considered to be positive (lesion). On the other hand, since the actual lesion site was not detected as a lesion, this part is 'false negative' which judges the positive (lesion) as negative (normal).
  • the present invention may apply multiple thresholds to detect and display all the parts suspected of being lesions, thereby reducing the probability of missing the lesions by guiding the examination to an unsuccessful doctor and a trained trainee. That is, removing the 'false negative' which is not recognized as a lesion even though it is a lesion is a top priority of the present invention. Referring to FIGS. 6 and 7, it can be confirmed that this goal has been achieved through setting of multiple thresholds.
  • the above-described embodiments of the present invention can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium.
  • the computer-readable recording medium may include a magnetic storage medium (eg, a ROM, a floppy disk, a hard disk, etc.) and an optical read medium (eg, a CD-ROM, DVD, etc.).
  • a magnetic storage medium eg, a ROM, a floppy disk, a hard disk, etc.
  • an optical read medium eg, a CD-ROM, DVD, etc.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Endoscopes (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)

Abstract

Disclosed is an automatic lesion location sensing device for automatically sensing a lesion location from a medical image. The automatic lesion location sensing device of the present invention comprises: an input unit for receiving an original image collected through a medical instrument; a threshold value setting unit for converting the original image into a gray tone image, and then, setting at least one threshold value on the basis of a brightness value of pixels for forming the gray tone image; an image conversion unit for binarizing the gray tone image into a black and white image on the basis of the at least one threshold value; and a contour processing unit for extracting contours by searching for, from the binarized image, components which are suspected lesions, and then displaying the contours on the original image.

Description

의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법Apparatus and method for automatically detecting the location of a lesion from a medical image
본 발명은 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법에 관한 것으로서, 특히 내시경을 통해 얻어진 영상 내의 명도차를 이용하여 병변 위치를 자동으로 감지하는 장치 및 그 방법에 관한 것이다. The present invention relates to an apparatus and method for automatically detecting the position of a lesion from a medical image, and more particularly, to an apparatus and a method for automatically detecting a lesion position using a brightness difference in an image obtained through an endoscope.
일반적으로 신체 내부의 병변 검진시 다양한 의료 기기를 통해 얻어진 영상을 이용한다. 이러한 영상의 예로 내시경(Endoscope) 영상, 자기공명영상(MRI: Magnetic Resonance Imaging), 컴퓨터 단층 촬영(CT: Computed Tomography) 영상 등이 있다. In general, images obtained through various medical devices are used to examine lesions inside the body. Examples of such images include endoscope images, magnetic resonance imaging (MRI), and computed tomography (CT) images.
'내시경(Endoscope)'은 내장 장기나 체강 내부를 직접 관찰할 수 있는 의료 기구로써, 절개를 하지 않고 육안으로 직접 병변을 확인할 수 없는 장기에 대해 기계를 삽입하여 관찰하도록 창안된 기구이다. 기관에 따라 식도경, 위경, 십이지장경 등이 있으며, 방식에 따라 파이버스코프, 렌즈 시스템형, 위카메라 등이 있다.'Endoscope' is a medical device that can directly observe the internal organs or the body cavity, and is designed to insert a machine to observe the organs that cannot directly identify the lesion without incision. Depending on the organ, there are esophagus, gastroscopy, duodenum, etc. Depending on the method, there are fiber scope, lens system type, gastric camera, etc.
'자기공명영상(MRI)'이란 자기장을 발생하는 큰 자석통 속에 인체를 들어가게 한 후 고주파를 발생시켜 신체 부위에 있는 수소원자핵을 공명시키고, 그로 인해 각 조직으로부터 나오는 신호의 차이를 측정하여 컴퓨터를 통해 재구성함으로써 영상화 하는 기술이다.Magnetic Resonance Imaging (MRI) is a large magnetic cylinder that generates a magnetic field, and then enters the human body to generate high-frequency waves to resonate hydrogen nuclei in the body, thereby measuring the difference in the signal from each tissue. It is a technique to image by reconstructing.
'컴퓨터 단층촬영(CT)'은 X선 발생장치가 있는 원형의 큰 기계에 인체를 들어가게 한 후 그 인체에 대한 횡단면을 촬영하는 기술이다. 이러한 컴퓨터 단층촬영(CT)은 단순 X선 촬영에 비해 구조물이 겹쳐지는 것이 적어 구조물 및 병변을 좀 더 명확히 볼 수 있는 장점이 있으며, 대부분의 장기 및 질환에서 병변이 의심되고 정밀검사를 시행해야 할 필요가 있을 때 기본적으로 실시하는 검사법이다. 한편, 컴퓨터 단층촬영(CT)은 단면상을 얻는다는 점에서 자기 공명 영상(MRI)과 공통되지만, 컴퓨터 단층촬영(CT)은 X선을 이용하고, 자기 공명 영상(MRI)은 자기장 내에서 고주파를 전사하여 영상을 획득한다는 차이점이 있다.Computed tomography (CT) is a technology that takes a human body into a large circular machine with an X-ray generator and then photographs a cross-section of the human body. Computed tomography (CT) has the advantage that structures are less overlapped than simple X-rays, so structures and lesions can be seen more clearly.In most organs and diseases, the lesions are suspected and need to be examined. When necessary, it is basically a test method. On the other hand, computed tomography (CT) is common to magnetic resonance imaging (MRI) in that cross-sectional images are obtained, but computed tomography (CT) uses X-rays, and magnetic resonance imaging (MRI) uses high frequency in a magnetic field. The difference is that images are acquired by transferring.
이와 같이 영상을 이용하여 신체 내부의 병변을 검진하는 방법들 중 자기공명영상(MRI)나 컴퓨터 단층촬영(CT)에 의한 영상의 경우 병변 부위를 감지하여 검진 의사에게 알려주거나 병변으로 의심되는 부위에 대한 가이드라인을 제공해주는 시스템이 존재한다. 하지만, 내시경 검진시 이러한 시스템이 존재하지 않는다. As described above, among the methods of examining lesions inside the body by using an image, magnetic resonance imaging (MRI) or computed tomography (CT) images detect the lesion and notify the examination doctor to the site where the lesion is suspected. There is a system that provides guidelines. However, these systems do not exist at the endoscopy.
한편, 컴퓨터 단층촬영(CT)에서 폐결절을 자동으로 검출하는 기술이 개발되었지만 아직 정확도가 충분히 높지 않기 때문에 참고 의견으로만 인정되고 있다. On the other hand, a technique for automatically detecting pulmonary nodules in computed tomography (CT) has been developed, but it is only accepted as a reference opinion because the accuracy is not high enough.
따라서 본 발명은 의료 영상 내의 명도차를 이용하여 병변으로 의심되는 조직을 감지하도록 함으로써, 육안으로 판별하기 힘든 미세한 변화까지도 정확히 감지할 수 있도록 하는 병변 위치 자동 감지 장치 및 그 방법을 제공하고자 한다.Accordingly, an object of the present invention is to provide an apparatus and method for automatically detecting a lesion location by detecting a tissue suspected to be a lesion by using brightness differences in a medical image, so as to accurately detect even minute changes that are difficult to visually identify.
또한, 본 발명은 병변을 초기에 진단함으로써 완치율을 높이는 병변 위치 자동 감지 장치 및 그 방법을 제공하고자 한다. In addition, the present invention is to provide an apparatus and method for automatically detecting the position of the lesion to increase the cure rate by initially diagnosing the lesion.
또한, 본 발명은 병변으로 판단한 부위를 이상조직으로 진단할 수 있는 지에 대한 기준을 제공함으로써, 병변 진단에 익숙하지 않은 견습생에게 학습을 위한 도구로 활용이 가능한 병변 위치 자동 감지 장치 및 그 방법을 제공하고자 한다. In addition, the present invention provides a criterion for determining whether a lesion can be diagnosed as abnormal tissue, thereby providing an apparatus and method for automatically detecting a lesion location, which can be used as a tool for learning to apprentices who are not familiar with lesion diagnosis. I would like to.
상기 목적을 달성하기 위한 본 발명의 일실시예에 따른 병변 위치 자동 감지 장치는 의료 기기를 통해 수집된 원본 이미지를 입력받는 입력부; 상기 원본 이미지를 회색조 이미지로 변환한 후, 상기 회색조 이미지를 구성하는 픽셀들의 명도값에 기초하여 적어도 하나의 임계값들을 설정하는 임계값 설정부; 상기 적어도 하나의 임계값들에 기초하여 상기 회색조 이미지를 흑백 이미지로 이진화하는 이미지 전환부; 및 상기 이진화된 이미지로부터 병변으로 의심되는 컴포넌트들을 탐색하여 윤곽선을 추출한 후 그 윤곽선을 상기 원본 이미지에 표시하는 윤곽선 처리부를 포함하는 것을 특징으로 한다. According to an aspect of the present invention, there is provided an apparatus for automatically detecting a lesion location, including: an input unit configured to receive an original image collected through a medical device; A threshold setting unit configured to set at least one threshold based on brightness values of pixels constituting the grayscale image after converting the original image into a grayscale image; An image conversion unit for binarizing the grayscale image into a black and white image based on the at least one threshold value; And an contour processor for searching for components suspected to be lesions from the binarized image, extracting contours, and displaying the contours on the original image.
바람직하게는, 상기 입력부는 내시경으로부터 원본 이미지를 입력받을 수 있다. Preferably, the input unit may receive an original image from the endoscope.
바람직하게는, 상기 임계값 설정부는 상기 회색조 이미지를 구성하는 모든 픽셀들에 대한 명도값의 평균값을 제1 임계값으로 설정한 후, 상기 제1 임계값에 기초하여 적어도 하나의 추가 임계값들을 더 설정할 수 있다. Preferably, the threshold setting unit sets an average value of brightness values for all the pixels constituting the grayscale image as a first threshold value, and then adds at least one additional threshold value based on the first threshold value. Can be set.
바람직하게는, 상기 임계값 설정부는 상기 회색조 이미지를 구성하는 픽셀들 중 그 명도값이 상기 제1 임계값 보다 큰 픽셀들에 대한 명도값의 평균값을 제2 임계값으로 할 수 있다. Preferably, the threshold setting unit may set an average value of brightness values for pixels having a brightness value greater than the first threshold value among pixels constituting the grayscale image as a second threshold value.
바람직하게는, 상기 임계값 설정부는 상기 회색조 이미지를 구성하는 픽셀들 중 그 명도값이 상기 제1 임계값 보다 작은 픽셀들에 대한 명도값의 평균값을 제3 임계값으로 설정할 수 있다.Preferably, the threshold setting unit may set an average value of brightness values for pixels of which the brightness value of the pixels constituting the grayscale image is smaller than the first threshold value to a third threshold value.
바람직하게는, 상기 이미지 전환부는 상기 적어도 하나의 임계값들 각각에 대하여 상기 회색조 이미지를 흑백 이미지로 이진화하고, 그 결과 상기 임계값의 수와 동일한 개수의 흑백 이미지들을 생성할 수 있다. Preferably, the image conversion unit binarizes the grayscale image into a black and white image for each of the at least one threshold, and as a result, may generate the same number of black and white images as the number of the thresholds.
바람직하게는, 상기 윤곽선 처리부는 상기 흑백 이미지들 각각에 대하여 상기 윤곽선을 추출한 후 그 윤곽선들을 하나의 원본 이미지에 통합 표시할 수 있다. Preferably, the contour processing unit extracts the contour for each of the black and white images, and then displays the contours in one original image.
바람직하게는, 상기 윤곽선 처리부는 상기 원본 이미지에 표시할 윤곽선의 크기 범위를 미리 저장하고, 그 크기 범위 내의 윤곽선만을 표시할 수 있다.Preferably, the contour processor may store in advance a size range of the contour to be displayed on the original image, and display only the contour within the size range.
한편, 상기 목적을 달성하기 위한 본 발명의 일실시예에 따른 병변 위치 자동 감지 방법은 의료 기기를 통해 수집되는 원본 이미지를 회색조 이미지로 변환하는 단계; 상기 회색조 이미지를 구성하는 픽셀들의 명도값에 기초하여 적어도 하나의 임계값들을 설정하는 단계; 상기 적어도 하나의 임계값들에 기초하여 상기 회색조 이미지를 흑백 이미지로 이진화하는 단계; 및 상기 이진화된 이미지로부터 병변으로 의심되는 컴포넌트들을 탐색하여 윤곽선을 추출한 후 그 윤곽선을 상기 원본 이미지에 표시하는 윤곽선 처리 단계를 포함하는 것을 특징으로 한다.On the other hand, the lesion position automatic detection method according to an embodiment of the present invention for achieving the above object comprises the steps of converting the original image collected through the medical device to a grayscale image; Setting at least one threshold value based on brightness values of pixels constituting the grayscale image; Binarizing the grayscale image to a black and white image based on the at least one threshold; And an outline processing step of extracting an outline by searching for components suspected to be lesions from the binarized image and displaying the outline on the original image.
바람직하게는, 상기 임계값 설정 단계는 상기 회색조 이미지를 구성하는 모든 픽셀들에 대한 명도값의 평균값을 제1 임계값으로 설정하는 단계; 및 상기 제1 임계값에 기초하여 적어도 하나의 추가 임계값들을 더 설정하는 단계를 포함할 수 있다. Preferably, the setting of the threshold value may include: setting an average value of brightness values for all pixels constituting the grayscale image as a first threshold value; And setting at least one additional threshold value based on the first threshold value.
바람직하게는, 상기 추가 임계값 설정 단계는 상기 회색조 이미지를 구성하는 픽셀들 중 그 명도값이 상기 제1 임계값 보다 큰 픽셀들에 대한 명도값의 평균값을 제2 임계값으로 설정할 수 있다. Preferably, the setting of the additional threshold value may set an average value of brightness values for pixels whose brightness value is greater than the first threshold value among pixels constituting the grayscale image as a second threshold value.
바람직하게는, 상기 추가 임계값 설정 단계는 상기 회색조 이미지를 구성하는 픽셀들 중 그 명도값이 상기 제1 임계값 보다 작은 픽셀들에 대한 명도값의 평균값을 제3 임계값으로 설정하는 단계를 더 포함할 수 있다. Preferably, the setting of the additional threshold further includes setting an average value of brightness values for pixels of which the brightness value of the pixels constituting the grayscale image is smaller than the first threshold value as a third threshold value. It may include.
바람직하게는, 상기 이미지 전환 단계는 상기 적어도 하나의 임계값들 각각에 대하여 상기 회색조 이미지를 흑백 이미지로 이진화하고, 그 결과 상기 임계값의 수와 동일한 개수의 흑백 이미지들을 생성할 수 있다. Advantageously, said image converting step may binarize said grayscale image into a black and white image for each of said at least one threshold, resulting in the same number of black and white images as said number of thresholds.
바람직하게는, 상기 윤곽선 처리 단계는 상기 흑백 이미지들 각각에 대하여 상기 윤곽선을 추출하는 단계; 및 상기 추출된 윤곽선들을 상기 하나의 원본 이미지에 통합 표시하는 단계를 포함할 수 있다. Advantageously, said contour processing step comprises extracting said contour for each of said monochrome images; And displaying the extracted contour lines in the one original image.
바람직하게는, 상기 윤곽선 처리 단계는 미리 설정된 윤곽선의 크기 범위 내의 윤곽선만을 표시할 수 있다.Preferably, the contour processing step may display only the contour line within the size range of the preset contour line.
본 발명은 내시경 검진 시, 영상 내의 명도차를 이용하여 병변으로 의심되는 조직들에 대한 경계선을 감지하게 함으로써, 검진의사가 육안으로 판별하기 힘든 미세한 변화까지 정확히 감지할 수 있도록 하는 장점이 있다. 특히, 본 발명은 병별 위치를 자동으로 감지하되, 다중 임계값을 이용하여 이진화 오차를 줄임으로써 정확한 결과를 얻을 수 있는 장점이 있다.The present invention has an advantage of detecting the boundary lines for the tissues suspected to be lesions by using the brightness difference in the image during the endoscopy, thereby accurately detecting minute changes that are difficult to be examined by the naked eye. In particular, the present invention has the advantage of automatically detecting the position of the bottle, by using a multiple threshold value to reduce the binarization error to obtain accurate results.
이로 인해, 본 발명은 병변을 초기에 진단하여 병의 완치율을 높일 수 있고, 병변으로 판단한 부위를 이상조직으로 진단할 수 있는 지에 대한 기준을 제공함으로써 병변 진단에 익숙하지 않은 견습생에게 학습을 위한 도구로 활용이 가능하다. 또한, 본 발명은 원격 진료 시 체외에서 조정하는 캡슐 내시경에도 적용함으로써, 문제가 있다고 판단되는 조직에 대해 검진의사에게 안내하여 병변 의심 부위에 대한 이동을 하도록 하거나, 캡슐 내시경의 이동에 대한 자동화도 가능하도록 하는 장점이 있다. For this reason, the present invention can increase the cure rate of the disease by initially diagnosing the lesion, and providing a criterion for whether the lesion can be diagnosed as an abnormal tissue, thereby providing a tool for learning to apprentices who are not familiar with the diagnosis of the lesion. It can be used as. In addition, the present invention is also applied to the capsule endoscope adjusted in vitro during telemedicine, to guide the examination doctor to the tissue that is considered to be a problem or to move to the suspected lesion site, automation of the movement of the capsule endoscope is also possible There is an advantage to this.
도 1은 본 발명의 일실시예에 따른 병변 위치 자동 감지 장치에 대한 개략적인 블록도이다. 1 is a schematic block diagram of an automatic lesion position detection apparatus according to an embodiment of the present invention.
도 2는 본 발명의 일실시예에 따른 병변 위치 자동 감지 방법에 대한 처리 흐름도이다. 2 is a flowchart illustrating a method for automatically detecting a lesion position according to an embodiment of the present invention.
도 3은 도 2의 다중 임계값 설정 과정에 대한 개략적인 처리 흐름도이다. 3 is a schematic process flowchart of the multi-threshold setting process of FIG. 2.
도 4는 도 2의 이미지 전환 과정에 대한 개략적인 처리 흐름도이다. 4 is a schematic process flowchart of the image conversion process of FIG. 2.
도 5는 본 발명의 일실시예에 따른 처리 단계 별로 생성되는 이미지들을 예시한 도면이다. 5 is a diagram illustrating images generated for each processing step according to an embodiment of the present invention.
도 6 및 도 7은 본 발명의 효과를 도식화하여 설명하기 위한 도면들이다. 6 and 7 are diagrams for explaining and explaining the effects of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. In describing the drawings, similar reference numerals are used for similar elements.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms such as first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component. The term and / or includes a combination of a plurality of related items or any item of a plurality of related items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is referred to as being "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in between. Should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. Throughout the specification and claims, when a part includes a certain component, it means that it may further include other components, except to exclude other components unless specifically stated otherwise.
도 1은 본 발명의 일실시예에 따른 병변 위치 자동 감지 장치에 대한 개략적인 블록도이다. 도 1을 참조하면, 본 발명의 일실시예에 따른 병변 위치 자동 감지 장치(100)는 입력부(110)와, 임계값 설정부(120)와, 이미지 전환부(130)와, 윤곽선 처리부(140)를 포함한다. 1 is a schematic block diagram of an automatic lesion position detection apparatus according to an embodiment of the present invention. Referring to FIG. 1, the apparatus 100 for automatically detecting a lesion position according to an exemplary embodiment of the present invention may include an input unit 110, a threshold setting unit 120, an image switching unit 130, and an outline processing unit 140. ).
입력부(110)는 병변 위치 자동 감지 장치(100)로 원본 이미지를 입력한다. 특히, 의료 기기(예컨대, 내시경 등)를 통해 수집된 원본 이미지를 입력받아 임계값 설정부(120)로 전달한다. The input unit 110 inputs an original image to the automatic lesion position detecting apparatus 100. In particular, the original image collected through a medical device (eg, endoscope) is received and transmitted to the threshold setting unit 120.
임계값 설정부(120)는 입력부(110)를 통해 전달된 상기 원본 이미지를 분석하여 적어도 하나의 임계값들을 설정한다. 이를 위해, 임계값 설정부(120)는 색조 영상인 원본 이미지를 회색조 이미지로 변환한 후, 상기 회색조 이미지를 구성하는 모든 픽셀들의 명도값을 도출한다. 그리고 상기 모든 픽셀들의 명도값에 기초하여 적어도 하나의 임계값들을 설정한다. The threshold setting unit 120 sets at least one threshold by analyzing the original image transmitted through the input unit 110. To this end, the threshold setting unit 120 converts the original image, which is a color tone image, to a grayscale image, and then derives brightness values of all pixels constituting the grayscale image. At least one threshold is set based on the brightness values of all the pixels.
먼저, 임계값 설정부(120)는 수학식 1에 의거하여 상기 회색조 이미지를 구성하는 모든 픽셀들에 대한 명도값의 평균값을 도출하고, 그 값을 제1 임계값(Threshold)으로 설정한다. First, the threshold setting unit 120 derives an average value of brightness values for all the pixels constituting the grayscale image based on Equation 1, and sets the value as a first threshold.
[수학식1][Equation 1]
Threshold = ΣValuegray (i) / Number of PixelsThreshold = ΣValue gray (i) / Number of Pixels
이 때, ΣValuegray(i)는 회색조 이미지를 구성하는 모든 픽셀들에 대한 명도값들의 합, Number of Pixels는 모든 픽셀들의 수이고, 수학식 1에 의해 얻어진 제1 임계값(Threshold)이 해당 프레임에서의 정상 조직에 대한 기준이 된다. In this case, ΣValue gray (i) is the sum of brightness values for all the pixels constituting the grayscale image, Number of Pixels is the number of all pixels, and the first threshold obtained by Equation 1 is the corresponding frame. It is the standard for normal tissue in Esau.
또한, 임계값 설정부(120)는 상기 제1 임계값(Threshold)에 기초하여 추가 임계값들을 더 설정할 수 있다. 이는 상기 제1 임계값(Threshold) 하나만을 가지고 해당 이미지를 이진화 했을 경우 발생할 수 있는 오차를 줄이기 위함이다. 예를 들어, 한 프레임 내에서 조명이 비추는 부위가 한 곳에 집중된다면 하나의 기준값으로 이상 조직과 정상 조직과의 차이를 판별해낼 때 오차가 생길 수 있다. In addition, the threshold setting unit 120 may further set additional thresholds based on the first threshold. This is to reduce an error that may occur when the corresponding image is binarized with only one first threshold. For example, if the illuminated area within a frame is concentrated in one place, an error may occur when the difference between abnormal tissue and normal tissue is determined by one reference value.
따라서, 이러한 오차를 줄이기 위해, 임계값 설정부(120)는 상기 제1 임계값 외에 조명이 비추고 있는 부위에 대한 평균값(일명, 제2 임계값)과, 그렇지 않은 부위에 대한 평균값(일명, 제3 임계값)을 추가한다. 상기 제2 임계값은 수학식 2에 의해 도출하고, 상기 제3 임계값은 수학식 3에 의해 도출할 수 있다. Therefore, in order to reduce such an error, the threshold value setting unit 120 includes an average value (aka second threshold value) for a portion of the illumination that is illuminated in addition to the first threshold value, and an average value (aka 3 thresholds). The second threshold may be derived from Equation 2, and the third threshold may be derived from Equation 3.
[수학식2][Equation 2]
Thresholdbright = ΣValuebright (i) / Number of brightPixelsThreshold bright = ΣValue bright (i) / Number of bright Pixels
이 때, Thresholdbright는 조명이 비추고 있는 부위에 대한 평균값으로, ΣValuebright(i)는 제1 임계값(Threshold) 보다 큰 명도값을 가지는 픽셀들의 명도값들의 합이고, Number of brightPixels는 제1 임계값(Threshold) 보다 큰 명도값을 가지는 픽셀들의 수이다. In this case, Threshold bright is an average value for the illuminated area, ΣValue bright (i) is the sum of brightness values of pixels having a brightness value greater than the first threshold value, and Number of brightPixels is the first threshold value. This is the number of pixels with a brightness value greater than the value.
[수학식3][Equation 3]
Thresholddark = ΣValuedark (i) / Number of darkPixelsThreshold dark = ΣValue dark (i) / Number of dark Pixels
이 때, Thresholddark는 조명이 비취지 않는 부위에 대한 평균값으로, ΣValuedark(i)은 제1 임계값(Threshold) 보다 작은 명도값을 가지는 픽셀들의 명도값들의 합이고, Number of darkPixels는 제1 임계값(Threshold) 보다 작은 명도값을 가지는 픽셀들의 수이다. In this case, Threshold dark is an average value for a non-illuminated area, ΣValue dark (i) is a sum of brightness values of pixels having a brightness value smaller than a first threshold value, and Number of darkPixels is a first value. The number of pixels having a brightness value less than a threshold.
이미지 전환부(130)는 임계값 설정부(120)에서 설정된 적어도 하나의 임계값들에 기초하여 상기 회색조 이미지를 흑백 이미지로 이진화한다. The image converting unit 130 binarizes the grayscale image into a black and white image based on at least one threshold set by the threshold setting unit 120.
예를 들어, 임계값 설정부(120)에서 생성된 제1 임계값에 기초하여 이진화를 수행할 경우, 이미지 전환부(130)는 상기 회색조 이미지를 구성하는 모든 픽셀들의 명도값과 상기 제1 임계값을 비교하여 상기 제1 임계값 보다 큰 명도값을 갖는 픽셀의 명도값은 10으로 설정하고, 상기 제1 임계값 보다 작은 명도값을 갖는 픽셀의 명도값은 0으로 설정하여 상기 회색조 이미지를 흑백 이미지로 변환한다. For example, when binarization is performed based on the first threshold value generated by the threshold setting unit 120, the image conversion unit 130 may adjust brightness values of all pixels constituting the grayscale image and the first threshold value. Comparing the values, the brightness value of a pixel having a brightness value greater than the first threshold value is set to 10, and the brightness value of a pixel having a brightness value less than the first threshold value is set to 0, thereby making the grayscale image monochrome. Convert to an image.
이미지 전환부(130)는 상기 임계값 설정부(120)에서 생성된 적어도 하나의 임계값들 각각에 대하여, 상기 이진화 과정을 수행하여 흑백 이미지를 생성한다. 따라서, 임계값의 개수에 따라 흑백 이미지의 개수도 달라진다. 상기 예에서와 같이 임계값 설정부(120)가 제1 내지 제3 임계값을 설정한 경우, 이미지 전환부(130)는 상기 제1 내지 제3 임계값 각각에 대하여 흑백 이미지를 생성하므로, 3개의 흑백 이미지가 생성될 것이다. The image conversion unit 130 generates the black and white image by performing the binarization process on each of the one or more threshold values generated by the threshold setting unit 120. Therefore, the number of monochrome images also varies according to the number of thresholds. When the threshold value setting unit 120 sets the first to third threshold values as in the above example, the image conversion unit 130 generates a black and white image for each of the first to third threshold values, Black and white images will be generated.
윤곽선 처리부(140)는 상기 이미지 전환부(130)에서 생성되는 흑백 이미지(즉, 이진화된 이미지)로부터 병변으로 의심되는 컴포넌트들을 탐색하여 윤곽선을 추출한 후 그 윤곽선을 상기 원본 이미지에 표시한다. The contour processor 140 searches for components suspected of lesions from the black-and-white image (that is, the binarized image) generated by the image conversion unit 130, extracts the contour, and displays the contour on the original image.
여기서, 컴포넌트는 이진화된 이미지에서 흑과 백이 맞닿는 지점들에서의 백색 내부 영역을 말하며, 윤곽선 처리부(140)는 그 백색 내부 영역의 가장 자리에 해당하는 윤곽선을 추출하게 된다. Here, the component refers to a white interior region at the points where black and white abut on the binarized image, and the contour processor 140 extracts a contour corresponding to the edge of the white interior region.
상기 예에서와 같이 이미지 전환부(130)에서 하나 이상의 흑백 이미지가 생성되는 경우, 윤곽선 처리부(140)는 상기 하나 이상의 흑백 이미지들 각각에 대하여 상기 윤곽선을 추출한 후 그 윤곽선들을 하나의 원본 이미지에 통합 표시하는 것이 바람직하다. When one or more black and white images are generated in the image conversion unit 130 as in the above example, the contour processing unit 140 extracts the contours for each of the one or more black and white images and then integrates the contours into one original image. It is preferable to display.
이 때, 윤곽선을 추출하는 방법은 해당 이미지를 구성하는 픽셀들의 명도값을 순차적으로 스캔하다가, 그 명도값이 주변의 픽셀들과 비교하여 차이가 나는 경우 해당 픽셀을 표시하고 이들이 연결되어 경계선을 표현하는 방법을 사용할 수 있다. In this case, the method of extracting the contour scans the brightness values of the pixels constituting the image sequentially, and if the brightness values differ from the surrounding pixels, the corresponding pixels are displayed and they are connected to express the boundary line. Can be used.
이 때, 상기와 같은 방법으로 윤곽선을 추출하는 방법은 하나의 실시예에 불과한 것으로서, 본 발명의 윤곽선 추출 방법이 상기 제시된 방법으로 제한되는 것은 아니다. 즉, 상기 컴포넌트들의 윤곽선을 추출하는 방법은 공지된 다양한 기술을 적용할 수 있을 것이다. At this time, the method of extracting the contour by the above method is only one embodiment, the contour extraction method of the present invention is not limited to the above-described method. That is, a method of extracting the contours of the components may apply various known techniques.
한편, 윤곽선 처리부(140)는 상기 원본 이미지에 표시할 윤곽선의 크기 범위를 미리 저장하고, 그 크기 범위 내의 윤곽선만을 표시하는 것이 바람직하다. On the other hand, the contour processing unit 140 preferably stores in advance the size range of the contour line to be displayed on the original image, and displays only the contour line within the size range.
이 때, 윤곽선 처리부(140)는 폐곡선으로 이루어진 윤곽선의 중심을 지나고 상기 폐곡선과 만나는 직선 중 가장 긴 직선의 길이를 해당 윤곽선의 크기로 결정할 수 있다. At this time, the contour processing unit 140 may determine the length of the longest straight line that passes through the center of the contour of the closed curve and meets the closed curve as the size of the corresponding contour.
그리고, 윤곽선 처리부(140)는 상기 윤곽선의 크기가 상기 미리 저장된 크기 범위 이내인 경우에만 상기 윤곽선을 상기 원본 이미지에 표시하는 것이 바람직하다. 이는 너무 큰 컴포넌트의 경우 병변이라 보기 어려우며, 너무 작은 컴포넌트들은 점막 표면이 조명을 반사하는 부분들로, 병변이라 보기 어렵기 때문이다. 이를 위해, 상기 윤곽선의 크기 범위는 해당 분야의 전문가가 미리 설정하는 것이 바람직하며, 검출하고자 하는 병변의 크기를 검진 의사가 직접 조정할 수도 있을 것이다. In addition, the outline processor 140 may display the outline on the original image only when the size of the outline is within the pre-stored size range. This is difficult to see as a lesion for components that are too large, and those components that are too small are areas where the mucosal surface reflects light, which is difficult to see as lesions. To this end, the size range of the contour is preferably set in advance by a person skilled in the art, the examination doctor may adjust the size of the lesion to be detected directly.
도 2는 본 발명의 일실시예에 따른 병변 위치 자동 감지 방법에 대한 처리 흐름도이다. 도 1 및 도 2를 참조하면 본 발명의 일실시예에 따른 병변 위치 자동 감지 방법은 다음과 같다. 2 is a flowchart illustrating a method for automatically detecting a lesion position according to an embodiment of the present invention. 1 and 2 is a method for automatically detecting a lesion position according to an embodiment of the present invention.
먼저, 단계 S100에서는, 의료 기기로부터 수집된 원본 이미지(즉, 의료 영상)가 입력부(110)로 입력되는 지 여부를 결정한다. 예를 들어, 내시경을 통해 획득한 영상이 입력부(110)로 입력되는 지 여부를 결정한다. First, in step S100, it is determined whether an original image (ie, a medical image) collected from a medical device is input to the input unit 110. For example, it is determined whether the image acquired through the endoscope is input to the input unit 110.
단계 S200에서는, 임계값 설정부(120)가 상기 단계 S100에서 입력된 원본 이미지를 회색조 이미지로 변환한다. 한편, 도 5는 본 발명의 일 실시 예에 따른 처리 단계 별로 생성되는 이미지들을 예시한 도면으로서, 도 5의 (a)는 단계 S100에서 입력된 원본 이미지(즉, 색조 영상)를 나타내고, 도 5의 (b)는 단계 S200에서 회색조 이미지로 변환된 이미지를 나타낸다. 도 5의 (b)에서 백색으로 표시된 영역들이 컴포넌트이다.In operation S200, the threshold setting unit 120 converts the original image input in operation S100 into a grayscale image. Meanwhile, FIG. 5 is a diagram illustrating images generated by processing steps according to an embodiment of the present invention. FIG. 5A illustrates an original image (ie, a color tone image) input in step S100. (B) shows the image converted into a grayscale image in step S200. Regions indicated in white in FIG. 5B are components.
단계 S300에서는, 임계값 설정부(120)가 상기 회색조 이미지를 구성하는 픽셀들의 명도값에 기초하여 적어도 하나의 임계값들(즉, 다중 임계값)을 설정한다. 이를 위한 보다 구체적인 처리 과정의 예가 도 3에 예시되어 있으므로, 그 구체적인 처리 과정은 도 3을 참조하여 설명할 것이다. In operation S300, the threshold setting unit 120 sets at least one threshold value (ie, multiple threshold values) based on brightness values of pixels constituting the grayscale image. Since an example of a more specific process for this is illustrated in FIG. 3, the specific process will be described with reference to FIG. 3.
단계 S400에서는, 이미지 전환부(130)가 상기 단계 S300에서 설정된 적어도 하나의 임계값들에 기초하여 상기 회색조 이미지를 흑백 이미지로 이진화한다. 이 때, 상기 이진화 과정은 상기 단계 S300에서 설정된 임계값 수 만큼 반복하며, 그 결과 생성되는 흑백 이미지의 수도 상기 임계값 수와 동일하다. 도 5의 (c) 및 (d)는 서로 다른 임계값을 가지고 상기 도 5의 (b)에 예시된 회색조 이미지를 이진화 한 결과를 예시한다. 이 때, 도 5의 (c)는 제1 임계치에 의해 이진화를 수행한 결과를 나타내고, 도 5의 (d)는 제2 또는 제3 임계치에 의해 이진화를 수행한 결과를 나타낸다. 도 5의 (c)와 도 5의 (d)를 참조하면, 도 5의 (d)는 도 5의 (c)와 비교하여 이진화 결과가 보다 정확한 것을 알 수 있다. 따라서 상기 임계값의 수가 증가할수록 이진화 과정에서 발생하는 오차를 줄일 수 있음을 알 수 있다. 한편, 이를 위한 보다 구체적인 처리 과정의 예가 도 4에 예시되어 있으므로, 그 구체적인 처리 과정은 도 4를 참조하여 설명할 것이다. In operation S400, the image conversion unit 130 binarizes the grayscale image into a monochrome image based on at least one threshold value set in operation S300. In this case, the binarization process is repeated by the threshold number set in step S300, and the number of black and white images generated as the result is the same as the threshold number. 5 (c) and (d) illustrate the result of binarizing the grayscale image illustrated in FIG. 5 (b) with different threshold values. At this time, FIG. 5C shows a result of binarization by the first threshold, and FIG. 5D shows a result of binarization by the second or third threshold. Referring to FIGS. 5C and 5D, FIG. 5D shows that the binarization result is more accurate than that of FIG. 5C. Therefore, it can be seen that as the number of thresholds increases, an error occurring in the binarization process can be reduced. Meanwhile, since an example of a more specific process for this is illustrated in FIG. 4, the specific process will be described with reference to FIG. 4.
단계 S500에서는, 윤곽선 처리부(140)가 상기 이진화된 이미지로부터 병변으로 의심되는 컴포넌트들을 탐색하여 윤곽선을 추출한다. 이 때, 상기 윤곽선 추출 과정은 상기 단계 S400에서 생성된 흑백 이미지의 수 만큼 반복한다. 즉, 상기 단계 S400에서 생성된 흑백 이미지 각각에 대하여 윤곽선 추출 과정을 수행한다. In operation S500, the contour processing unit 140 searches for components suspected of lesions from the binarized image and extracts contours. At this time, the contour extraction process is repeated by the number of monochrome images generated in step S400. That is, a contour extraction process is performed on each of the black and white images generated in step S400.
단계 S600에서는, 윤곽선 처리부(140)가 상기 단계 S500에서 추출된 윤곽선을 상기 원본 이미지에 표시한다. 상기 단계 S500에서, 하나 이상의 흑백 이미지로부터 윤곽선을 추출한 경우, 단계 S600에서는, 그 각각의 윤곽선들을 하나의 원본 이미지에 통합하여 표시한다. 한편, 상기 단계 S600에서는, 상기 단계 S500에서 추출된 모든 윤곽선을 표시하는 것이 아니라 소정의 조건(예컨대, 크기)을 만족하는 윤곽선만을 표시할 수 있다. 도 5의 (e)는 도 5의 (d)에 예시된 흑백 이미지로부터 추출된 윤곽선의 예를 도시하고, 도 5의 (f)는 도 5의 (a)에 예시된 원본 이미지 상에 상기 도 5의 (e)에 예시된 윤곽선을 표시한 예를 도시한다. In step S600, the contour processing unit 140 displays the contour line extracted in the step S500 on the original image. When the outlines are extracted from the one or more black and white images in step S500, the respective outlines are displayed by integrating the respective outlines into one original image. Meanwhile, in step S600, not all the contour lines extracted in step S500 may be displayed, but only the contour lines satisfying a predetermined condition (eg, size) may be displayed. FIG. 5E shows an example of the contour extracted from the black and white image illustrated in FIG. 5D, and FIG. 5F shows the above image on the original image illustrated in FIG. 5A. The example which displayed the outline illustrated in (e) of 5 is shown.
도 3은 도 2의 다중 임계값 설정 과정에 대한 개략적인 처리 흐름도이다. 도 1 및 도 3을 참조하면, 도 2의 다중 임계값 설정 과정(S300)은 다음과 같다. 3 is a schematic process flowchart of the multi-threshold setting process of FIG. 2. 1 and 3, the multi-threshold setting process S300 of FIG. 2 is as follows.
먼저, 단계 S310에서는, 임계값 설정부(120)가 도 5의 (b)에 예시된 바와 같은 회색조 이미지를 구성하는 모든 픽셀들에 대한 명도값을 추출한다.First, in step S310, the threshold value setting unit 120 extracts brightness values for all pixels constituting the grayscale image as illustrated in FIG. 5B.
단계 S320에서는, 임계값 설정부(120)가 상기 모든 픽셀들에 대한 명도값의 평균값을 제1 임계값으로 설정한다. In operation S320, the threshold setting unit 120 sets the average value of the brightness values for all the pixels as the first threshold value.
단계 S330에서는, 임계값 설정부(120)가 상기 제1 임계값에 기초하여 설정한 제1 기준을 만족하는 픽셀들(예컨대, 명도값이 상기 제1 임계값 보다 큰 픽셀들)에 대한 명도값의 평균값을 제2 임계값으로 설정한다. In operation S330, brightness values of pixels (eg, pixels whose brightness value is greater than the first threshold value) satisfying the first criterion set by the threshold value setting unit 120 based on the first threshold value. The average value of is set to a second threshold value.
단계 S340에서는, 임계값 설정부(120)가 상기 제1 임계값에 기초하여 설정한 제2 기준을 만족하는 픽셀들(예컨대, 명도값이 상기 제1 임계값 보다 작은 픽셀들)에 대한 명도값의 평균값을 제3 임계값으로 설정한다.In operation S340, brightness values of pixels (eg, pixels whose brightness value is smaller than the first threshold value) satisfying the second criterion set by the threshold value setting unit 120 based on the first threshold value. The average value of is set to a third threshold value.
이를 위해, 임계값 설정부(120)는 도 1을 참조한 설명시 언급된 바와 같이 동작하며, 수학식 1 내지 수학식 3에 의거하여 제1 내지 제3 임계값을 도출하는 것이 바람직하다. To this end, the threshold setting unit 120 operates as described in the description with reference to FIG. 1 and preferably derives the first to third threshold values based on Equations 1 to 3 below.
이 때, 도 3의 예에서는, 제1 내지 제3의 3개의 임계값을 도출하는 처리 과정의 예를 도시하고 있지만, 본 발명이 제1 내지 제3의 3개의 임계값을 도출하는 것으로 제한되는 것은 아니다. 예를 들어, 제1 및 제2의 2개의 임계값만을 도출하고 그 값들에 기초하여 이후의 과정을 처리할 수도 있는 것이다. 다만, 상기 임계값이 3개를 초과하는 경우, 연산 속도와 정확도에 있어서 효율이 떨어지는 문제가 발생하므로, 최대 임계값을 3개로 설정하는 것이 바람직하다.At this time, the example of FIG. 3 shows an example of a process for deriving the first to third threshold values, but the present invention is limited to deriving the first to third threshold values. It is not. For example, only the first and second two thresholds may be derived and the subsequent process may be processed based on those values. However, when the threshold value is more than three, a problem arises in that efficiency decreases in computation speed and accuracy. Therefore, it is preferable to set the maximum threshold value to three.
도 4는 도 2의 이미지 전환 과정에 대한 개략적인 처리 흐름도이다. 도 1 및 도 4를 참조하면, 도 2의 이미지 전환 과정(S400)은 다음과 같다. 4 is a schematic process flowchart of the image conversion process of FIG. 2. 1 and 4, the image conversion process S400 of FIG. 2 is as follows.
먼저, 단계 S410에서는, 이미지 전환부(130)가 상기 제1 임계값을 기준으로 이진화를 수행한다. 이로 인해, 단계 S410에서는 임계값 설정부(120)에서 생성된 회색조 이미지가 제1 흑백 이미지로 변환된다. First, in step S410, the image conversion unit 130 performs binarization based on the first threshold value. For this reason, in step S410, the grayscale image generated by the threshold setting unit 120 is converted into the first black and white image.
단계 S420에서는, 이미지 전환부(130)가 상기 제2 임계값을 기준으로 이진화를 수행한다. 이로 인해, 단계 S420에서는 임계값 설정부(120)에서 생성된 회색조 이미지가 제2 흑백 이미지로 변환된다. In operation S420, the image conversion unit 130 performs binarization based on the second threshold value. For this reason, in step S420, the grayscale image generated by the threshold setting unit 120 is converted into a second black and white image.
단계 S430에서는, 이비지 전환부(130)가 상기 제3 임계값을 기준으로 이진화를 수행한다. 이로 인해, 단계 S430에서는 임계값 설정부(120)에서 생성된 회색조 이미지가 제3 흑백 이미지로 변환된다. In operation S430, the image switching unit 130 performs binarization based on the third threshold value. For this reason, in operation S430, the grayscale image generated by the threshold setting unit 120 is converted into a third monochrome image.
즉, 이미지 전환 과정(S400)은 상기 적어도 하나의 임계값들 각각에 대하여 상기 회색조 이미지를 흑백 이미지로 이진화하고, 그 결과 상기 임계값의 수와 동일한 개수의 흑백 이미지들을 생성한다. That is, the image conversion process S400 binarizes the grayscale image into a black and white image for each of the at least one threshold, and as a result, generates the same number of black and white images as the number of the thresholds.
도 6 및 도 7은 본 발명의 효과를 도식화하여 설명하기 위한 도면들로서, 본 발명을 단계별로 적용하여 성능 평가를 해본 결과를 설명하기 위한 도면들이다. 6 and 7 are diagrams for explaining the effects of the present invention, and are diagrams for explaining the results of performance evaluation by applying the present invention step by step.
도 6의 (a)는 전문 검진 의사가 내시경 이미지에 병변 부위(A)를 표시한 경우의 예를 도시하고, 도 6의 (b)는 수학식 1에 의해 도출된 제1 임계값(Threshold)을 기준으로 이진화를 수행한 후 그 결과 도출된 윤곽선만을 원본 이미지에 표시한 경우의 예를 도시하고, 도 6의 (c)는 상기 제1 임계값(Threshold)을 기준으로 이진화를 수행한 후 도출된 윤곽선과, 추가적으로 생성된 제2 임계값(Thresholdbright)을 기준으로 이진화를 수행한 후 도출된 윤곽선을 원본 이미지에 통합하여 표시한 경우의 예를 도시한다. FIG. 6A illustrates an example of a case in which a specialist examiner displays a lesion area A on an endoscope image, and FIG. 6B illustrates a first threshold derived by Equation 1. After performing the binarization on the basis of Figure 2 shows an example in which only the resulting contour is displayed on the original image, Figure 6 (c) is derived after performing the binarization based on the first threshold (Threshold) An example of a case in which the extracted contour is integrated and displayed in the original image after binarization is performed based on the generated contour and the second threshold bright generated additionally is shown.
도 6의 (b)를 참조하면, 도 6의 (a)에 전문 검진 의사가 표시한 병변 부위(A)가 윤곽선으로 표시되어 있지 않다. 이는 원본 이미지에서 카메라 조명이 오른쪽 하단에 집중되면서 초기 임계값이 평균 명도값으로 설정되어 생긴 오차 때문이다. Referring to FIG. 6B, the lesion area A indicated by the specialist doctor in FIG. 6A is not indicated by an outline. This is due to an error caused by the initial threshold being set to the average brightness value as the camera lights are concentrated in the lower right corner of the original image.
도 6의 (c)를 참조하면, 도 6의 (a)에 전문 검진 의사가 표시한 병변 부위(A)와 유사한 윤곽선(B)이 표시되어 있다. 이는 수학식 2에 의해 도출된 제2 임계값(Thresholdbright)을 기준으로 추가적인 이진화를 한번 더 수행한 후 도출된 윤곽선을 추가함으로써 보다 정확한 결과를 얻을 수 있음을 나타낸다. Referring to FIG. 6C, an outline B similar to the lesion area A indicated by the specialist medical doctor is displayed in FIG. 6A. This indicates that a more accurate result can be obtained by performing additional binarization once more based on the second threshold bright derived by Equation 2 and then adding the derived contour.
이러한 효과를 수치적으로 표현한 예가 도 7에 예시되어 있다. 도 7에서, 첫 번째 단계(1st stage)는 평균 임계값(즉, 제1 임계값(Threshold))만을 적용했을 때의 단계이고, 두 번째 단계(2nd stage)는 제2 임계값(Thresholdbright)을 추가한 단계이다. 필요에 따라 제3 임계값(Thresholddark)를 추가하여 세 번째 단계(3rd stage)까지 진행이 가능하지만, 도 6의 (a)에서 보이는 바와 같이 병변이 이미지에서 밝은 부분에 위치하고 있으므로 제2 임계값(Thresholdbright)을 추가한 두 번째 단계(2nd stage)까지만 진행한다. An example of numerically expressing this effect is illustrated in FIG. 7. In FIG. 7, a first stage (1 st stage) is a stage when only an average threshold value (ie, a first threshold value) is applied, and a second stage (2 nd stage) is a second threshold value. bright ) If necessary, a third threshold (Threshold dark ) can be added to proceed to the third stage (3 rd stage), but as shown in FIG. proceeds up to value (Threshold bright) a second step of adding (2 nd stage).
도 7의 첫 번째 단계(1st stage)에서 생성된 결과가 도 6의 (b)이다. 도 6의 (b)와 도 7을 함께 참조하면, 도 6의 (b)에서 보이는 경계선들은 실제로는 병변이 없음에도 주변과의 명도차로 인해 병변으로 의심되는 부분이다. 이는 음성(정상)을 양성(병변)으로 판단하고 있으므로 'false positive'라고 정의한다. 한편, 실제 병변 부위는 병변으로 감지하지 못했으므로, 이 부분은 양성(병변)을 음성(정상)으로 판단하는 'false negative'이다. The result generated in the first stage of FIG. 7 (1 st stage) is shown in FIG. Referring to FIG. 6B and FIG. 7 together, the boundary lines shown in FIG. 6B are suspected lesions due to the difference in brightness with the surroundings even though there are no lesions. This is defined as 'false positive' because it is considered to be positive (lesion). On the other hand, since the actual lesion site was not detected as a lesion, this part is 'false negative' which judges the positive (lesion) as negative (normal).
한편, 도 7의 두 번째 단계(2nd stage)의 결과는 도 6의 (c)에 예시되어 있다. 도 6의 (c)와 도 7을 함께 참조하면, 이 단계에서는 병변이 아님에도 병변으로 의심하는 부분, 즉 'false positive'가 8개로 증가하였다. 그리고 실제 병변 부위를 병변으로 감지하고 있으므로 이를 'true positive'로 정의한다. 이에 따라 'false negative'는 제거되었다. On the other hand, the results of the second stage (2 nd stage) of Figure 7 is illustrated in Figure 6 (c). Referring to FIG. 6C and FIG. 7 together, at this stage, the portion suspected of the lesion, that is, the false positive, increased to eight even though the lesion was not a lesion. And since the actual lesion is detected as a lesion, it is defined as 'true positive'. As a result, 'false negative' has been removed.
이와 같이 본 발명은 같이 다중의 임계값을 적용함으로써, 병변으로 의심될 수 있는 부분을 모두 검출하여 표시함으로써, 검진 의사 및 숙련되지 않은 교육생에게 이를 안내하여 병변을 놓칠 확률을 감소시킬 수 있다. 즉, 병변임에도 병변으로 인지하지 못하는 'false negative'를 제거하는 것이 본 발명의 최우선 목표이며, 도 6 및 도 7을 참조하면, 다중 임계값 설정을 통해 이 목표가 달성되었음을 확인할 수 있다.As described above, the present invention may apply multiple thresholds to detect and display all the parts suspected of being lesions, thereby reducing the probability of missing the lesions by guiding the examination to an unsuccessful doctor and a trained trainee. That is, removing the 'false negative' which is not recognized as a lesion even though it is a lesion is a top priority of the present invention. Referring to FIGS. 6 and 7, it can be confirmed that this goal has been achieved through setting of multiple thresholds.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. Meanwhile, the above-described embodiments of the present invention can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독매체(예를 들면, 시디롬, 디브이디 등)를 포함한다. The computer-readable recording medium may include a magnetic storage medium (eg, a ROM, a floppy disk, a hard disk, etc.) and an optical read medium (eg, a CD-ROM, DVD, etc.).
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. So far I looked at the center of the preferred embodiment for the present invention.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명이 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

Claims (15)

  1. 의료 기기를 통해 수집된 원본 이미지를 입력받는 입력부;An input unit for receiving an original image collected through a medical device;
    상기 원본 이미지를 회색조 이미지로 변환한 후, 상기 회색조 이미지를 구성하는 픽셀들의 명도값에 기초하여 적어도 하나의 임계값들을 설정하는 임계값 설정부;A threshold setting unit configured to set at least one threshold based on brightness values of pixels constituting the grayscale image after converting the original image into a grayscale image;
    상기 적어도 하나의 임계값들에 기초하여 상기 회색조 이미지를 흑백 이미지로 이진화하는 이미지 전환부; 및An image conversion unit for binarizing the grayscale image into a black and white image based on the at least one threshold value; And
    상기 이진화된 이미지로부터 병변으로 의심되는 컴포넌트들을 탐색하여 윤곽선을 추출한 후 그 윤곽선을 상기 원본 이미지에 표시하는 윤곽선 처리부를 포함하는 것을 특징으로 하는 병변 위치 자동 감지 장치.And a contour processing unit for extracting contours by searching for components suspected as lesions from the binarized image and displaying the contours on the original image.
  2. 제1항에 있어서, 상기 입력부는The method of claim 1, wherein the input unit
    내시경으로부터 원본 이미지를 입력받는 것을 특징으로 하는 병변 위치 자동 감지 장치.Lesion position automatic detection device, characterized in that receiving the original image from the endoscope.
  3. 제1항에 있어서, 상기 임계값 설정부는The method of claim 1, wherein the threshold setting unit
    상기 회색조 이미지를 구성하는 모든 픽셀들에 대한 명도값의 평균값을 제1 임계값으로 설정한 후, 상기 제1 임계값에 기초하여 적어도 하나의 추가 임계값들을 더 설정하는 것을 특징으로 하는 병변 위치 자동 감지 장치.After setting the average value of the brightness values for all the pixels constituting the grayscale image as a first threshold value, further setting at least one additional threshold value based on the first threshold value Sensing device.
  4. 제3항에 있어서, 상기 임계값 설정부는The method of claim 3, wherein the threshold setting unit
    상기 회색조 이미지를 구성하는 픽셀들 중 그 명도값이 상기 제1 임계값 보다 큰 픽셀들에 대한 명도값의 평균값을 제2 임계값으로 설정하는 것을 특징으로 하는 병변 위치 자동 감지 장치. And automatically setting an average value of brightness values for pixels having a brightness value greater than the first threshold value among pixels constituting the grayscale image as a second threshold value.
  5. 제4항에 있어서, 상기 임계값 설정부는The method of claim 4, wherein the threshold setting unit
    상기 회색조 이미지를 구성하는 픽셀들 중 그 명도값이 상기 제1 임계값 보다 작은 픽셀들에 대한 명도값의 평균값을 제3 임계값으로 설정하는 것을 특징으로 하는 병변 위치 자동 감지 장치. And an average value of brightness values of pixels of which the brightness value of the pixels constituting the grayscale image is smaller than the first threshold value is set to a third threshold value.
  6. 제1항에 있어서, 상기 이미지 전환부는The method of claim 1, wherein the image conversion unit
    상기 적어도 하나의 임계값들 각각에 대하여 상기 회색조 이미지를 흑백 이미지로 이진화하고, 그 결과 상기 임계값의 수와 동일한 개수의 흑백 이미지들을 생성하는 것을 특징으로 하는 병변 위치 자동 감지 장치. And binarizing the grayscale image into a black-and-white image for each of the at least one threshold, thereby generating the same number of black-and-white images as the number of thresholds.
  7. 제6항에 있어서, 상기 윤곽선 처리부는The method of claim 6, wherein the contour processing unit
    상기 흑백 이미지들 각각에 대하여 상기 윤곽선을 추출한 후 그 윤곽선들을 하나의 원본 이미지에 통합 표시하는 것을 특징으로 하는 병변 위치 자동 감지 장치. And automatically extracting the contour line from each of the black and white images and displaying the contour lines in one original image.
  8. 제1항에 있어서, 상기 윤곽선 처리부는According to claim 1, wherein the contour processing unit
    상기 원본 이미지에 표시할 윤곽선의 크기 범위를 미리 저장하고, 그 크기 범위 내의 윤곽선만을 표시하는 것을 특징으로 하는 병변 위치 자동 감지 장치.And a size range of the contour to be displayed in the original image in advance, and display only the contour within the size range.
  9. 의료 기기를 통해 수집되는 원본 이미지를 회색조 이미지로 변환하는 단계;Converting the original image collected by the medical device into a grayscale image;
    상기 회색조 이미지를 구성하는 픽셀들의 명도값에 기초하여 적어도 하나의 임계값들을 설정하는 단계;Setting at least one threshold value based on brightness values of pixels constituting the grayscale image;
    상기 적어도 하나의 임계값들에 기초하여 상기 회색조 이미지를 흑백 이미지로 이진화하는 단계; 및Binarizing the grayscale image to a black and white image based on the at least one threshold; And
    상기 이진화된 이미지로부터 병변으로 의심되는 컴포넌트들을 탐색하여 윤곽선을 추출한 후 그 윤곽선을 상기 원본 이미지에 표시하는 윤곽선 처리 단계를 포함하는 것을 특징으로 하는 병변 위치 자동 감지 방법.And a contour processing step of extracting contours by searching for components suspected to be lesions from the binarized image and displaying the contours on the original image.
  10. 제9항에 있어서, 상기 임계값 설정 단계는The method of claim 9, wherein the threshold setting step
    상기 회색조 이미지를 구성하는 모든 픽셀들에 대한 명도값의 평균값을 제1 임계값으로 설정하는 단계; 및Setting an average value of brightness values for all pixels constituting the grayscale image as a first threshold value; And
    상기 제1 임계값에 기초하여 적어도 하나의 추가 임계값들을 더 설정하는 단계를 포함하는 것을 특징으로 하는 병변 위치 자동 감지 방법.And further setting at least one additional threshold value based on the first threshold value.
  11. 제10항에 있어서, 상기 추가 임계값 설정 단계는The method of claim 10, wherein the additional threshold setting step
    상기 회색조 이미지를 구성하는 픽셀들 중 그 명도값이 상기 제1 임계값 보다 큰 픽셀들에 대한 명도값의 평균값을 제2 임계값으로 설정하는 것을 특징으로 하는 병변 위치 자동 감지 방법.And automatically setting an average value of brightness values for pixels having a brightness value greater than the first threshold value among pixels constituting the grayscale image as a second threshold value.
  12. 제11항에 있어서, 상기 추가 임계값 설정 단계는 The method of claim 11, wherein the additional threshold setting step
    상기 회색조 이미지를 구성하는 픽셀들 중 그 명도값이 상기 제1 임계값 보다 작은 픽셀들에 대한 명도값의 평균값을 제3 임계값으로 설정하는 단계를 더 포함하는 것을 특징으로 하는 병변 위치 자동 감지 방법.And automatically setting an average value of brightness values of pixels of the grayscale image, the brightness values of which are smaller than the first threshold value, to a third threshold value. .
  13. 제9항에 있어서, 상기 이미지 전환 단계는The method of claim 9, wherein the image conversion step
    상기 적어도 하나의 임계값들 각각에 대하여 상기 회색조 이미지를 흑백 이미지로 이진화하고, 그 결과 상기 임계값의 수와 동일한 개수의 흑백 이미지들을 생성하는 것을 특징으로 하는 병변 위치 자동 감지 방법.And binarizing the grayscale image into a black and white image for each of the at least one threshold value, and thereby generating the same number of black and white images as the number of the threshold values.
  14. 제13항에 있어서, 상기 윤곽선 처리 단계는The method of claim 13, wherein the contour processing step
    상기 흑백 이미지들 각각에 대하여 상기 윤곽선을 추출하는 단계; 및Extracting the contour for each of the black and white images; And
    상기 추출된 윤곽선들을 상기 하나의 원본 이미지에 통합 표시하는 단계를 포함하는 것을 특징으로 하는 병변 위치 자동 감지 방법.And automatically displaying the extracted contour lines in the one original image.
  15. 제1항에 있어서, 상기 윤곽선 처리 단계는The method of claim 1, wherein the contour processing step
    미리 설정된 윤곽선의 크기 범위 내의 윤곽선만을 표시하는 것을 특징으로 하는 병변 위치 자동 감지 방법.Automatic detection of lesion position, characterized in that for displaying only the contour line within the size range of the preset contour line.
PCT/KR2016/003432 2015-04-01 2016-04-01 Device for automatically sensing lesion location from medical image and method therefor WO2016159726A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0046279 2015-04-01
KR1020150046279A KR20160118037A (en) 2015-04-01 2015-04-01 Apparatus and method for detecting lesion from medical image automatically

Publications (1)

Publication Number Publication Date
WO2016159726A1 true WO2016159726A1 (en) 2016-10-06

Family

ID=57004716

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/003432 WO2016159726A1 (en) 2015-04-01 2016-04-01 Device for automatically sensing lesion location from medical image and method therefor

Country Status (2)

Country Link
KR (1) KR20160118037A (en)
WO (1) WO2016159726A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109346159A (en) * 2018-11-13 2019-02-15 平安科技(深圳)有限公司 Case image classification method, device, computer equipment and storage medium
CN113723417A (en) * 2021-08-31 2021-11-30 平安国际智慧城市科技股份有限公司 Image matching method, device and equipment based on single view and storage medium
CN114903408A (en) * 2022-04-22 2022-08-16 华伦医疗用品(深圳)有限公司 Endoscope imaging system with diagnostic imaging

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102149369B1 (en) * 2018-04-06 2020-08-31 주식회사 뷰노 Method for visualizing medical image and apparatus using the same
KR102102255B1 (en) 2019-05-14 2020-04-20 주식회사 뷰노 Method for aiding visualization of lesions in medical imagery and apparatus using the same
KR102613718B1 (en) 2022-09-06 2023-12-14 주식회사 에어스메디컬 Method, program, and apparatus for object tracking based on medical imaging
KR20240034428A (en) 2022-09-07 2024-03-14 (주)임팩티브에이아이 Method, program and apparatus for developing new products based on artificial intelligence

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004133736A (en) * 2002-10-11 2004-04-30 Hitachi Medical Corp Medical image display method and device thereof
KR20120113861A (en) * 2011-04-06 2012-10-16 인하대학교 산학협력단 A system and method for diagnosing pancreatic intraepithelial neoplasia
KR20120126679A (en) * 2011-05-12 2012-11-21 주식회사 이턴 Control method of surgical robot system, recording medium thereof, and surgical robot system
KR20140033332A (en) * 2010-12-17 2014-03-18 오르후스 우니베르시테트 Method for delineation of tissue lesions
KR20140134563A (en) * 2013-05-14 2014-11-24 사회복지법인 삼성생명공익재단 Ultrasound diagnostic apparatus and method for quality control

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004133736A (en) * 2002-10-11 2004-04-30 Hitachi Medical Corp Medical image display method and device thereof
KR20140033332A (en) * 2010-12-17 2014-03-18 오르후스 우니베르시테트 Method for delineation of tissue lesions
KR20120113861A (en) * 2011-04-06 2012-10-16 인하대학교 산학협력단 A system and method for diagnosing pancreatic intraepithelial neoplasia
KR20120126679A (en) * 2011-05-12 2012-11-21 주식회사 이턴 Control method of surgical robot system, recording medium thereof, and surgical robot system
KR20140134563A (en) * 2013-05-14 2014-11-24 사회복지법인 삼성생명공익재단 Ultrasound diagnostic apparatus and method for quality control

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109346159A (en) * 2018-11-13 2019-02-15 平安科技(深圳)有限公司 Case image classification method, device, computer equipment and storage medium
CN109346159B (en) * 2018-11-13 2024-02-13 平安科技(深圳)有限公司 Case image classification method, device, computer equipment and storage medium
CN113723417A (en) * 2021-08-31 2021-11-30 平安国际智慧城市科技股份有限公司 Image matching method, device and equipment based on single view and storage medium
CN113723417B (en) * 2021-08-31 2024-04-12 深圳平安智慧医健科技有限公司 Single view-based image matching method, device, equipment and storage medium
CN114903408A (en) * 2022-04-22 2022-08-16 华伦医疗用品(深圳)有限公司 Endoscope imaging system with diagnostic imaging

Also Published As

Publication number Publication date
KR20160118037A (en) 2016-10-11

Similar Documents

Publication Publication Date Title
WO2016159726A1 (en) Device for automatically sensing lesion location from medical image and method therefor
WO2019088462A1 (en) System and method for generating blood pressure estimation model, and blood pressure estimation system and method
WO2017022882A1 (en) Apparatus for classifying pathological diagnosis of medical image, and pathological diagnosis system using same
WO2014208971A1 (en) Ultrasound image display method and apparatus
US7907775B2 (en) Image processing apparatus, image processing method and image processing program
WO2019172621A1 (en) Disease prediction method and disease prediction device using same
WO2020242019A1 (en) Medical image processing method and device using machine learning
WO2015041451A1 (en) Image diagnosis device for photographing breast by using matching of tactile image and near-infrared image and method for acquiring breast tissue image
WO2013095032A1 (en) Method for automatically detecting mid-sagittal plane by using ultrasound image and apparatus thereof
WO2013105815A1 (en) Fetus modeling method and image processing apparatus therefor
WO2022059982A1 (en) Ultrasound diagnostic system
Pan et al. A novel algorithm for color similarity measurement and the application for bleeding detection in WCE
WO2020180135A1 (en) Brain disease prediction apparatus and method, and learning apparatus for predicting brain disease
WO2017065358A1 (en) Method and device for diagnosing infectious disease through image of reagent kit
WO2014157796A1 (en) Endoscope system for diagnosis support and method for controlling same
WO2017150894A1 (en) Method and device for analyzing blood vessel using angiographic image
WO2019221586A1 (en) Medical image management system, method, and computer-readable recording medium
WO2022139068A1 (en) Deep learning-based lung disease diagnosis assistance system and deep learning-based lung disease diagnosis assistance method
WO2020222555A1 (en) Image analysis device and method
WO2021187700A2 (en) Method for diagnostic ultrasound of carotid artery
CN113768452A (en) Intelligent timing method and device for electronic endoscope
WO2023075303A1 (en) Artificial intelligence-based endoscopic diagnosis aid system and method for controlling same
WO2017010612A1 (en) System and method for predicting pathological diagnosis on basis of medical image analysis
WO2021112436A1 (en) Device and method for automatic calculation of cleanness of bowel
WO2020246676A1 (en) System for automatic diagnosis of uterine cervical cancer

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16773507

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16773507

Country of ref document: EP

Kind code of ref document: A1