KR101494975B1 - Nipple automatic detection system and the method in 3D automated breast ultrasound images - Google Patents

Nipple automatic detection system and the method in 3D automated breast ultrasound images Download PDF

Info

Publication number
KR101494975B1
KR101494975B1 KR20130134735A KR20130134735A KR101494975B1 KR 101494975 B1 KR101494975 B1 KR 101494975B1 KR 20130134735 A KR20130134735 A KR 20130134735A KR 20130134735 A KR20130134735 A KR 20130134735A KR 101494975 B1 KR101494975 B1 KR 101494975B1
Authority
KR
South Korea
Prior art keywords
nipple
image
detection
region
detecting
Prior art date
Application number
KR20130134735A
Other languages
Korean (ko)
Inventor
홍헬렌
김한나
Original Assignee
서울여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울여자대학교 산학협력단 filed Critical 서울여자대학교 산학협력단
Priority to KR20130134735A priority Critical patent/KR101494975B1/en
Application granted granted Critical
Publication of KR101494975B1 publication Critical patent/KR101494975B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8993—Three dimensional imaging systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52077—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging with means for elimination of unwanted signals, e.g. noise or interference

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

The present invention relates to a system and a method for automatically detecting a nipple from a 3D automatic breast ultrasound image by using a coronal slap-average projection and a cumulative probability map. The system for automatically detecting a nipple from a 3D automatic breast ultrasound image according to the present invention comprises: a distortion analysis unit which performs a distortion analysis on a 3D automatic breast ultrasound image to select image slices for detecting nipples and generate a coronal slap-average projection image; a nipple-areola area detection unit which performs a Hough transform on the coronal slap-average projection image to detect a nipple-areola area; and a nipple position detection unit which generates a nipple cumulative probability map for the image slices including nipples to detect a final nipple position.

Description

3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템 및 그 검출 방법{Nipple automatic detection system and the method in 3D automated breast ultrasound images} TECHNICAL FIELD [0001] The present invention relates to a nipple automatic detection system for a three-dimensional automatic breast mammographic ultrasound image,

본 발명은 3차원 자동 유방 초음파 영상에서 유두 위치를 자동으로 검출하는 기술에 관한 것이며, 더 상세하게는 3차원 자동 유방 초음파 영상에서 관상면 슬랩-평균투영과 확률누적맵을 이용하여, 정확한 유두 위치를 검출하는 시스템 및 방법에 관한 것이다.
The present invention relates to a technique for automatically detecting a nipple position in a three-dimensional automatic breast ultrasound image, and more particularly, to a technique for automatically detecting a nipple position in a three-dimensional automatic breast ultrasound image using a coronal slab- And more particularly,

일반적으로, 유두는 유방에서 신뢰할 수 있는 랜드마크(landmark) 중 하나로, 유방의 좌우 대칭을 비교하거나[1] 유방암 진단 시 암의 위치를 설명하기 위한 기준으로 사용된다[2]. 또한 유방암 진단 및 추적을 위하여 서로 다른 모달리티(modality) 영상 간 정합 시 중요한 특징 점으로 이용된다[3, 4].In general, the nipple is one of the reliable landmarks in the breast and is used as a reference to compare the symmetry of the breast [1] or to describe the location of the cancer in breast cancer diagnosis [2]. It is also used as an important feature point for different modality images for breast cancer diagnosis and tracking [3, 4].

종래 유두 검출을 위한 연구는 X-선 유방 영상, 유방 MR 영상과 유방 초음파 영상에서 이루어지고 있다. X-선 유방 영상과 유방 MR 영상에서의 유두 검출 연구는 다음과 같다. Previous research on nipple detection has been performed on X-ray mammograms, breast MR images, and breast ultrasound images. The nipple detection studies on X-ray mammograms and breast MR images were as follows.

S. D. Tzikopoulos[5] 등은 X-선 유방 영상에서 유방 경계에서 유두가 볼록하게 나타나는 특성을 이용하여, 유방 경계 부분으로부터 10mm 지점까지를 협대역(narrowband)으로 정의한 후 협대역 내에서 반복적으로 임계값 기법을 수행해, 논리 곱 연산자를 적용한 이진 영상에서 허프 변환을 통해 타원 형태로 유두를 검출하였다. Chandrasekhar[6] 등은 X-선 유방 영상에서 유방 경계부분의 기울기 벡터가 균일하게 유방 안쪽 방향으로 나타나다가 유두가 존재하는 지점에서 방향이 급변하는 특성을 이용하여 유두를 검출하였으며, S. Petroudi[7] 등은 X-선 유방 영상에서 유방 경계부분에 위치한 지방층을 적응적 임계값 기법을 통해 분할한 뒤, 지방층 안쪽과 바깥쪽 경계의 곡률이 급변하는 지점을 유두의 위치로 검출하였다. C. Zhou[8] 등도 Chandrasekhar[6] 등이나 S. Petroudi[7] 등과 유사하게, X-선 유방 영상에서 유방 경계부분의 곡률 변화가 큰 지점을 유두로 검출하였으며, 곡률 변화가 뚜렷하지 않은 데이터의 경우 밝기값 변화가 큰 지점을 유두로 검출하였다. M. Jas[9] 등은 X-선 유방 영상에서 흉근 영역과 유방 영역을 다중 임계값 기법을 통해 각각 분할한 후, 유방 영역의 중심점을 기준으로 하여 흉근의 경계와 수평을 이루는 스트립(strip)을 설정하여 유방 경계 방향으로 이동시키며 처음 만나는 유방 경계부분을 유두의 위치로 검출하였다. M.Karnan[1] 등은 X-선 유방 영상에서 유전 알고리즘을 이용해 유방 경계부분을 검출한 후 경계부분 화소의 밝기값을 해집단으로 사용한 유전 알고리즘을 통해 적합 값이 최소가 되는 위치를 유두의 위치로 검출하였다. M. Frandkin[10] 등은 유방 MR 영상에서 적응적 임계값 기법을 적용하여 피부 표면을 추출한 후, 피부 표면 인근 지역에 대하여 헤시안 기법 기반의 구형 강화 필터를 통해 유륜 영역을 구형의 관심영역으로 설정하고, 관심영역 내부에서 허프 변환을 적용하여 타원 형태로 유두 영역을 최종 검출하였다. SD Tzikopoulos et al. [5] used a characteristic that the nipple is convex at the breast border in the X-ray mammography, define the narrow band from the breast border to 10 mm, And detected the nipple in the elliptical shape through the Hough transform in the binary image using the logical multiplication operator. Chandrasekhar et al. [6] detected the nipple by using the characteristic that the tilt vector of the breast boundary in the X-ray breast image uniformly appeared in the inner direction of the breast and the direction of the nipple was rapidly changed. S. Petroudi [ 7] and others have shown that the fat layer located at the breast border is divided by the adaptive threshold technique in the X-ray mammography and then the position of the nipple is detected at the point where the curvature changes rapidly at the inner and outer boundaries of the fat layer. Similar to Chandrasekhar [6] and S. Petroudi [7], C. Zhou [8] and others also detected a large point of change in the curvature of the breast border in the X-ray mammogram, In the case of data, the point where the change in brightness value is large was detected with the nipple. M. Jas et al. [9] divided the thoracic and breast regions by multiple threshold techniques in X-ray mammograms, and found a strip that is parallel to the border of the pectoral muscle, And moved to the direction of the breast border, and the area of the breast boundary that was first encountered was detected as the position of the nipple. M. Karnan and colleagues [1] et al. Used genetic algorithms to detect the breast border in X-ray mammograms, and then used the genetic algorithm to calculate the brightness value of the border pixels. . M. Frandkin and colleagues [10] et al. Used the adaptive threshold technique to extract the surface of the skin by applying the adaptive threshold method and then, by using the Hessian technique based spherical enhancement filter, And Huff transformation is applied inside the region of interest to detect the nipple area in the elliptical shape.

[도 15]는 유방 영상별 특성을 나타낸 그림으로, [도 15]의 (a), (b)와 같이 X-선 유방 영상과 유방 MR 영상에서는 유방의 둥근 형태나 유두의 볼록한 형태가 유지되기 때문에, 상기에서 제시한 관련 연구들에서는 이와 같은 특성을 이용하여 유두의 위치를 검출하였다. [Fig. 15] is a diagram showing the characteristics of the breast image. As shown in Figs. 15A and 15B, in the X-ray mammogram and the breast MR image, the rounded shape of the breast or the convex shape of the nipple is maintained Therefore, in the above-mentioned related studies, the position of the nipple was detected by using these characteristics.

하지만, 3D 자동 유방 초음파 영상은 유방을 신체 앞 쪽에서 등 쪽 방향으로 압박하여 획득되므로, [도 15]의 (c), (d)에서 볼 수 있듯이 유방의 둥근 형태나 유두의 볼록한 구형 형태가 유지되지 않기 때문에 유방 X-선 영상이나 유방 MR 영상에서의 유두 검출 방법들과 같이 유방의 형태적 특성을 이용한 방법으로는 유두를 검출하기 어렵다. [도 15]의 (c)와 같이 3D 자동 유방 초음파의 관상면 영상에서 피부 영역은 밝은 밝기값을 가지며, 유두를 포함한 유륜은 어두운 밝기값의 타원 형태로 나타난다. 영상 슬라이스에 따라 유두 및 유륜 영역과 피부 영역 간 밝기값 차이가 상이하게 나타나며, 피부에서 유방 내부로 이동할수록 유두와 비슷하게 어두운 밝기값을 가지는 지방 조직이 많이 나타나는 특성이 있다.However, since the 3D automatic breast ultrasound image is acquired by pressing the breast toward the back of the body in the backward direction, the rounded shape of the breast or the convex spherical shape of the nipple is maintained as shown in (c) and (d) , It is difficult to detect the nipple by using the morphological characteristics of the breast as in the nipple detection methods in breast X-ray imaging or breast MR imaging. As shown in (c) of FIG. 15, in a 3D image of a breast mammogram, a skin region has a bright brightness value, and an isola including an nipple has an elliptical shape with a dark brightness value. According to the image slice, there is a difference in the brightness value between the nipple and the shoulder area and the skin area, and as the skin moves from the skin to the breast, many fat tissues having dark brightness value similar to the nipple appear.

종래 3D 자동 유방 초음파 영상에서의 유두 검출 연구는 다음과 같다. Y. Ikedo[4] 등은 물이 채워진 막 위로 엎드려 유방의 둥근 형태를 유지하며 영상을 획득할 수 있도록 제작된 3D 자동 유방 초음파 기기의 영상에서, 유방의 가장 높은 지점에 유두가 위치한다는 해부학적 정보를 이용해 유두의 위치를 검출하였다. 3D 자동 유방 초음파의 횡단면 영상(Axial image)에서 유방 경계 중 가장 높은 지점에 유두를 포함하는 관심 영역을 설정하고, X-방향과 Z-방향의 밝기값 프로파일을 통해 밝기값이 가장 낮은 위치를 유두의 위치로 검출하였다. 하지만 일반적인 3D 자동 유방 초음파 기기에서 획득된 영상에서는 유방의 둥근 형태가 유지되지 않으므로 위와 같은 방법으로 초기 관심영역을 설정하기 어렵다. The study of nipple detection in conventional 3D automatic breast ultrasound imaging is as follows. Y. Ikedo et al. [4] showed that 3D mammographic ultrasound images of the breast, which were prepared to acquire images while keeping the rounded shape of the breast down on the water filled membrane, showed that the nipple was located at the highest point of the breast Information was used to detect the location of the nipple. In the axial image of the 3D automatic breast ultrasound, the region of interest including the nipple is set at the highest point of the breast boundary, and the position having the lowest brightness value through the brightness value profile in the X-direction and the Z- . However, since the rounded shape of the breast is not maintained in the images acquired from a general 3D automatic breast ultrasound device, it is difficult to set the initial region of interest by the above method.

L. Wang[12] 등은 3D 자동 유방 초음파 영상에서 초음파가 유두를 투과하지 않아 유두 후면에 튜브 형태의 그림자가 형성되는 특성을 이용한 유두 검출 방법을 제안하였다. 어두운 밝기값의 튜브 형태의 경우 3×3 헤시안 행렬을 이용해 3개의 고유값을 구하였을 때, 2번째로 큰 고유값이 큰 값을 가지는 특성을 이용해 2번째로 큰 고유값을 누적해 누적 값이 가장 큰 위치를 유두의 위치로 검출하였다. 그러나 초음파는 유방 조직 깊이 들어갈수록 약해지므로 유두 그림자 또한 약화되며, 유두 그림자의 튜브 형태가 뚜렷하게 나타나지 않는 측면(LAT: lateral)촬영 영상에서 정확성이 떨어지는 한계점이 있다. L. Wang et al. [12] proposed a nipple detection method based on the feature that the ultrasound does not penetrate the nipple in the 3D automatic breast ultrasound image and the tube-shaped shadow is formed on the back of the nipple. In the case of the tube type with a dark brightness value, when three eigenvalues are obtained by using a 3 × 3 Hessian matrix, the second largest eigenvalue has a large value, and the second largest eigenvalue is accumulated, The largest position was detected at the position of the nipple. Ultrasound, however, weakens as the depth of breast tissue becomes weaker, so the nipple shadows also weaken and there is a limit to the accuracy of the LAT (lateral) images where the tube shape of the nipple shadow is not clearly visible.

T. Tan[13] 등은 3D 자동 유방 초음파의 관상면 영상에서 피부는 밝게 나타나고 유두를 포함한 유륜은 어두운 원형으로 나타나는 특성을 이용하여 허프 변환을 통해 유두 영역을 원으로 검출하였다. 하지만 3D 자동 유방 초음파의 관상면 영상에서 유두는 정확한 원형이 아닌 타원형으로 나타나 원 검출 알고리즘으로는 정확한 유두 검출이 어렵다. 또한 유두와 유륜은 모두 어두운 밝기값을 가져 둘 사이에 에지가 형성되지 못하고 밝은 밝기값을 가지는 피부와 유륜 사이에 에지가 형성되므로, 원 뿐만 아니라 타원 형태로 검출하더라도 유륜의 경계부분을 유두의 경계로 잘못 검출하는 한계가 있다. 뿐만 아니라 영상 슬라이스에 따라 유두-유륜 영역과 피부를 포함한 기타 영역 간 밝기값 차이 정도가 다르며, 유두-유륜 영역의 크기와 형태가 다르게 나타나 영상 슬라이스에 따라 상이한 유두 검출 결과를 나타내는 문제점이 있다.
T. Tan et al. [13] detected the nipple area as a circle through the Hough transform using the characteristic that the skin appeared bright on the coronal image of the 3D automatic breast ultrasonogram and the dark circles appeared on the shoulder including the nipple. However, in coronal image of 3D automatic breast ultrasound, the nipple is not an exact circle but an elliptical shape, and it is difficult to detect the correct nipple with circle detection algorithm. In addition, since both the nipple and the shoulder have edges, the edge is formed between the skin and the shoulder having a bright brightness value. Therefore, even if the nipple and the shoulder are detected as elliptical shapes, As shown in FIG. In addition, according to the image slice, there is a difference in the brightness value difference between the nipple-toothed wheel region and other regions including the skin, and the size and shape of the nipple-toothed wheel region are different.

[1] M. Karnan, K. Thangavel, "Automatic detection of the breast border and nipple position on digital mammograms using genetic algorithm for asymmetry approach to detection of microcalcifications", Computer Methods and Programs in Biomedicine, vol.87, issue 1, pp. 12-20, 2007. [1] M. Karnan, K. Thangavel, "Automatic detection of the breast border and nipple position on digital mammograms using genetic algorithm for asymmetry approach to detection of microcalcifications", Computer Methods and Programs in Biomedicine, vol.87, issue 1, pp. 12-20, 2007. [2] A. Karanikolic, V. Katic, M. Pesic, N. Djordjevic, S. Filipovic, R. Ilic, "Risk factors for nipple involvement in breast cancer patients", Asia??Pacific Journal of Clinical Oncology, vol. 1, pp.53-56, 2005. [2] A. Karanikolic, V. Katic, M. Pesic, N. Djordjevic, S. Filipovic, R. Ilic, "Risk factors for nipple involvement in breast cancer patients", Asia Pacific Journal of Clinical Oncology, vol. 1, pp. 53-56, 2005. [3] W. Y. Moon, Y-W. Shen, C-S. Huang, S-C. Luo, A. Kuzucan, J-H. Chen, R-F. Chang, "Comparative study of density analysis using automated whole breast ultrasound and MRI", Medical Physics, vol. 38, issue 1, pp. 382-389, 2011. [3] W. Y. Moon, Y-W. Shen, C-S. Huang, S-C. Luo, A. Kuzucan, J-H. Chen, R-F. Chang, "Comparative study of density analysis using automated whole-breast ultrasound and MRI ", Medical Physics, vol. 38, issue 1, pp. 382-389, 2011. [4] Y. Ikedo, D. Fukuoka, T. Hara, H. Fujita, E. Takada, T. Endo, T. Morita, "Computerized mass detection in whole breast ultrasound images: Reduction of false positives using bilateral subtraction technique", Proc. of the SPIE Medical Imaging 2007: Computer-Aided Diagnosis, vol. 6514, 65141T, 2007. [4] Y. Ikedo, D. Fukuoka, T. Hara, H. Fujita, E. Takada, T. Endo, T. Morita, "Computerized mass detection in whole breast ultrasound images: Reduction of false positives using bilateral subtraction technique" , Proc. of the SPIE Medical Imaging 2007: Computer-Aided Diagnosis, vol. 6514, 65141, 2007. [5] S. D. Tzikopoulos, M. E. Mavroforakis, H. V. Georgiou, N. Dimitropoulos, S. Theodoridis, "A fully automated scheme for mammographic segmentation and classification based on breast density and asymmetry", Computer Methods and Programs in Biomedicine, vol. 102, issue 1, pp. 47-63, 2011. [5] S. D. Tzikopoulos, M. E. Mavroforakis, H. V. Georgiou, N. Dimitropoulos, S. Theodoridis, "A fully automated scheme for mammographic segmentation and classification based on breast density and asymmetry", Computer Methods and Programs in Biomedicine, vol. 102, issue 1, pp. 47-63, 2011. [6] R. Chandrasekhar, Y. Attikiouzel, "A simple method for automatically locating the nipple on mammograms", IEEE Transactions on Medical Imaging, vol. 16, no. 5, pp. 483-494, 1997. [6] R. Chandrasekhar, Y. Attikiouzel, "A simple method for automatically locating the nipple on mammograms", IEEE Transactions on Medical Imaging, vol. 16, no. 5, pp. 483-494,1997. [7] S. Petroudi, M. Brady, "Automatic Nipple Detection on Mammograms", Proc. of MICCAI 2003, vol. 2879, pp. 971-972, 2003. [7] S. Petroudi, M. Brady, "Automatic Nipple Detection on Mammograms", Proc. of MICCAI 2003, vol. 2879, pp. 971-972, 2003. [8] C. Zhou, H-P. Chan, C. Paramagul, M. A. Roubidoux, B. Sahiner, L. M. Hadjiiski, N. Petrick, "Computerized nipple identification for multiple image analysis in computer-aided diagnosis", Medical Physics, vol. 31, issue 10, pp.2871-2882, 2004. [8] C. Zhou, H-P. Chan, C. Paramagul, M. A. Roubidoux, B. Sahiner, L. M. Hadjiiski, N. Petrick, "Computerized nipple identification for multiple image analysis in computer-aided diagnosis", Medical Physics, vol. 31, issue 10, pp. 2871-2882, 2004. [9] M. Jas, S. Mukhopadhyay, J. Chakraborty, A. Sadhu, N. Khandelwal, "A Heuristic Approach to Automated Nipple Detection in Digital Mammograms", Journal of Digital Imaging, 2013. [9] M. Jas, S. Mukhopadhyay, J. Chakraborty, A. Sadhu, N. Khandelwal, "A Heuristic Approach to Automated Nipple Detection in Digital Mammograms", Journal of Digital Imaging, [10] M. Fradkin, J-M. Rouet, H. Buurman, "Automatic nipple detection on breast MRI", Proc. of CARS' 2010, vol. 5, pp. 368-369, 2010. [10] M. Fradkin, J-M. Rouet, H. Buurman, "Automatic nipple detection on breast MRI ", Proc. of CARS ' 2010, vol. 5, pp. 368-369, 2010. [11] H. Jo, H. Hong, "Nonrigid Registration with Tumor Rigidity constraint in Dynamic Contrast-Enhanced Breast MR Images", Journal of KIISE : Software and Applications, vol. 38, no. 12, pp. 606-612, 2011. [11] H. Jo, H. Hong, "Nonrigid Registration with Tumor Rigidity Constraints in Dynamic Contrast-Enhanced Breast MR Images", Journal of KIISE: Software and Applications, vol. 38, no. 12, pp. 606-612, 2011. [12] L. Wang, F. Zoehrer, O. Friman, H. Hahn, "A fully automatic method for nipple detection in 3D breast ultrasound images", International Journal of Computer Assisted Radiology and Surgery, vol. 6, pp. S191-S192, 2011. [12] L. Wang, F. Zoehrer, O. Friman, H. Hahn, "A fully automatic method for nipple detection in 3D breast ultrasound images", International Journal of Computer Assisted Radiology and Surgery, vol. 6, pp. S191-S192, 2011. [13] T. Tan, B. Platel, R. Mus, N. Karssemeijer, "Detection of breast cancer in automated 3D breast ultrasound", Proc. of SPIE Medical Imaging 2012: Computer-Aided Diagnosis, vol. 8315, 831505, 2012. [13] T. Tan, B. Platel, R. Mus, N. Karssemeijer, "Detection of breast cancer in automated 3D breast ultrasound", Proc. of SPIE Medical Imaging 2012: Computer-Aided Diagnosis, vol. 8315, 831505, 2012. [14] [Online]. Available: http://en.wikipedia.org/wiki/Skewness (downloaded 2013, May. 10) [14] [Online]. Available: http://en.wikipedia.org/wiki/Skewness (downloaded 2013, May 10) [15] R. C. Gonzalex, R. E. Woods, Digital image processing, 2nd Ed., p.175, Prentice-Hall, New Jersey, 2002. [15] R. C. Gonzalex, R. E. Woods, Digital image processing, 2nd Ed., P.175, Prentice-Hall, New Jersey, 2002. [16] R. C. Gonzalex, R. E. Woods, Digital image processing, 2nd Ed., p.578, Prentice-Hall, New Jersey, 2002. [16] R. C. Gonzalex, R. E. Woods, Digital image processing, 2nd ed., P.578, Prentice-Hall, New Jersey, 2002. [17] H. K. Yuen, J. Illingworth, J. Kittler, "Detecting partially occluded ellipses using the Hough transform", Image and Vision Computing, vol. 7, pp. 31-37, 1989. [17] H. K. Yuen, J. Illingworth, J. Kittler, "Detecting Partially Occluded ellipses Using the Hough Transform", Image and Vision Computing, vol. 7, pp. 31-37, 1989. [18] N. Otsu, "A Threshold Selection Method from Gray-Level Histograms", IEEE Transactions on Systems, Man and Cybernetics, vol. SMC-9, no. 1, pp. 62-66, 1978. [18] N. Otsu, "A Threshold Selection Method from Gray-Level Histograms", IEEE Transactions on Systems, Man and Cybernetics, vol. SMC-9, no. 1, pp. 62-66, 1978.

본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 제안된 것으로, 본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템의 목적은, 관상면 슬랩-평균투영과 확률누적맵을 이용하여, 유두의 위치를 검출하여, 유방 관련 질병 진단 및 추적에 특징점으로 활용하도록 하는데 있다.It is an object of the present invention to provide an automatic nipple detection system for a three-dimensional automatic breast ultrasound image, which uses a tubular slab-average projection and a probability accumulation map, To detect the position of the nipple and to utilize it as a feature point for diagnosis and tracking of breast related diseases.

다른 목적은, 왜도분석부를 포함하여, 유두 검출에 적합한 영상 슬라이스를 선별하는데 있다.Another object is to select a video slice suitable for nipple detection, including a voxel analysis section.

또 다른 목적은, 유두-유륜 영역 검출부를 포함하여, 3차원 자동 유방 초음파의 정면촬영 영상과 유두 그림자가 약한 측면 촬영 영상에서 지방 및 유선 조직으로의 번짐 없이 유두-유륜 영역을 검출하는데 있다.Another object of the present invention is to detect the nipple-to-shoulder region without blurring into fat and mammary tissue in a frontal view image of a 3-dimensional automatic breast ultrasound including a nipple-toothed region detection unit and a weak side view image of the nipple shadow.

또 다른 목적은, 유두 위치 검출부를 포함하여, 유두-유륜 영역에서 유륜 및 주변 조직으로부터 유두를 분리시키는데 있다.
Another object is to separate the nipple from the oil ring and surrounding tissues in the nipple-shoulder region, including the nipple position detection portion.

본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 방법의 목적은, 관상면 슬랩-평균투영과 확률누적맵을 적용하여, 유두-유륜 영역의 크기 및 형태 변화에 대한 영향력을 감소시키고, 정면촬영 영상을 비롯한 측면 촬영 영상에서도 정확한 유두 위치를 검출할 수 있는 방법을 제공하는데 있다.
An object of the present invention is to provide an automatic nipple detection method for a three-dimensional automatic breast ultrasound image, which comprises applying a tubular slab-average projection and a probability accumulation map to reduce influence on size and shape change of the nipple- And to provide a method of detecting an accurate nipple position even in a side-shot image including a photographed image.

본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템은 3D 자동 유방 초음파 영상에 관하여, 왜도 분석으로 유두 검출을 위한 영상 슬라이스를 선별하고 관상면 슬랩-평균투영 영상을 생성하는 왜도분석부, 상기 관상면 슬랩-평균투영 영상에 관하여, 허프 변환으로 유두-유륜 영역을 검출하는 유두-유륜 영역 검출부 및 유두가 포함된 영상 슬라이스에 관하여, 유두 확률누적맵을 생성하여 최종 유두 위치를 검출하는 유두 위치 검출부를 포함하는 것을 특징으로 한다.The automatic nipple detection system of the 3D automatic breast ultrasound image according to the present invention is characterized in that the 3D automatic breast ultrasound image is obtained by selecting the image slices for nipple detection by the distortion analysis and generating the tubular slab- With respect to the coronal image slab-average projection image, regarding the image-slice including the nipple-iso-ring region detecting unit and the nipple detecting the nipple-to-shoulder region by the Hough transform, a nipple probability accumulation map is generated to detect the final nipple position And a nipple position detecting unit for detecting a nipple position.

또한, 본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템에 있어서, 왜도분석부는 3D 자동 유방 초음파 영상에 대하여, 관상면 영상 슬라이스 내에 잡음을 제거하는 잡음제거 필터부, 잡음 제거된 영상 슬라이스에 관하여, 영상 왜도 분석을 수행하는 영상왜도 분석부, 상기 영상 슬라이스의 왜도를 계산하여, 특정 왜도 임계값 이하의 영상슬라이스를 선별하는 영상 슬라이스 선별부 및 선별된 영상 슬라이스에서 대하여, 관상면 슬랩-평균투영 영상을 생성하는 관상면 영상 분석부를 포함하는 것을 특징으로 한다.In addition, in the automatic nipple detection system of the three-dimensional automatic breast ultrasound image according to the present invention, the distortion analyzing unit may include a noise canceling filter unit for removing noise in the coronal image slice, An image distortion analyzing unit for performing image distortion analysis on the slice, an image slice sorting unit for calculating the degree of distortion of the image slice and selecting image slices having a specific distortion threshold value or less, And a coronal image analyzing unit for generating a coronal image slab-average projection image.

또한, 본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템에 있어서, 유두-유륜 영역 검출부는 상기 관상면 슬랩-평균투영 영상에 소벨 연산자를 사용하여, 에지를 검출하는 에지검출부 및 에지 검출 영상에 허프 변환을 이용한 타원 검출 알고리즘을 적용하여, 유두-유륜 영역을 검출하는 타원검출부를 포함하는 것을 특징으로 한다.In the nipple-to-shoulder region detection unit of the three-dimensional automatic breast ultrasound image according to the present invention, the nipple-to-shoulder region detection unit detects an edge using a Sobel operator on the tubular slab-average projection image, And an ellipse detection unit for detecting the nipple-eye ring region by applying an ellipse detection algorithm using Hough transform to the image.

또한, 본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템에 있어서, 유두 위치 검출부는 상기 유두-유륜 영역이 검출된 영상슬라이스에 대하여, 누적 히스토그램을 생성하여 3D 오츠 임계값 기법을 적용하는 오츠 임계값 적용부, 유두 확률누적맵에서 누적확률 값이 가장 큰 화소들을 유두 후보 화소로 선정하여, 유두 후보 영역을 검출하는 유두 후보 검출부, 형태학적 연산의 침식 기법으로 유두가 아닌 영역을 제거하는 침식기법 적용부, 형태학적 연산의 확장 기법으로 유두 영역의 침식된 외곽 부분을 복원하여, 최종 유두 영역을 검출하는 최종 영역 검출부 및 상기 최종 유두 영역에서 화소들의 중심점을 산출하여 최종 유두점을 검출하는 최종 유두 검출부를 포함하는 것을 특징으로 한다.
Further, in the nipple automatic detection system of the three-dimensional automatic breast ultrasound image according to the present invention, the nipple position detecting unit generates a cumulative histogram for the image slice in which the nipple- The oocyte threshold value application unit and the nipple probability accumulation map are used to select nipple candidate pixels with the largest cumulative probability value as the nipple candidate region and to detect the nipple candidate region. The erosion technique applying unit and the morphological operation enlarging method are used to reconstruct the eroded outer portion of the nipple region, to detect the final nipple region, and to detect the final nipple point by calculating the center point of the pixels in the last nipple region And a final nipple detecting unit.

본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 방법은 (a) 왜도분석부를 이용하여, 3D 자동 유방 초음파 영상에 관하여, 왜도 분석으로 유두 검출을 위한 영상 슬라이스를 선별하는 단계, (b) 선별된 영상 슬라이스에 관한 관상면 슬랩-평균투영 영상을 생성하는 단계, (c) 유두-유륜 영역 검출부를 이용하여, 상기 관상면 슬랩-평균투영 영상에 관하여, 허프 변환으로 유두-유륜 영역을 검출하는 단계 및 (d) 유두 위치 검출부를 이용하여, 유두가 포함된 영상 슬라이스에 관하여, 유두 확률누적맵을 생성하여 최종 유두 위치를 검출하는 단계를 포함하는 것을 특징으로 한다.The automatic nipple detection method of a three-dimensional automatic breast ultrasound image according to the present invention comprises the steps of: (a) selecting an image slice for nipple detection by a distortion analysis on a 3D automatic breast ultrasound image using a distortion analyzer; b) generating a tubular slab-average projection image of the selected image slice; (c) using the nipple-to-shoulder region detection unit to perform a Huff transformation on the tubular slab- (D) generating a nipple probability accumulation map with respect to the image slice including the nipple using the nipple position detecting unit, and detecting the last nipple position.

또한, 본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 방법에 있어서, (a) 단계는 (a-1) 영상왜도 분석부를 이용하여, 3D 자동 유방 초음파 영상에 관하여, 영상 왜도 분석을 수행하는 단계 및 (a-2) 영상 슬라이스 선별부를 이용하여, 상기 영상 슬라이스의 왜도를 계산하여, 특정 왜도 임계값 이하의 영상슬라이스를 선별하는 단계를 포함하는 것을 특징으로 한다.In the automatic nipple detection method of a three-dimensional automatic breast ultrasound image according to the present invention, the step (a) includes the steps of (a-1) And (a-2) calculating a degree of distortion of the image slice using the image slice sorting unit, and sorting image slices having a specific distortion threshold value or less.

또한, 본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 방법은 (a-1) 단계 이전에 (a-3) 가우시안 잡음 제거 필터로 왜도 분석된 관상면 영상 슬라이스의 잡음을 제거하는 단계를 더 포함하는 것을 특징으로 한다.In addition, the automatic nipple detection method of a three-dimensional automatic breast ultrasound image according to the present invention includes the steps of (a-1) removing noise of a coronal image slice analyzed by (a-3) Gaussian noise elimination filter, And further comprising:

또한, 본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 방법에 있어서, (c) 단계는 (c-1) 에지검출부를 이용하여, 상기 관상면 슬랩-평균투영 영상에 소벨 연산자를 사용하여, 에지를 검출하는 단계 및 (c-2) 타원검출부를 이용하여, 에지 검출 영상에 허프 변환을 이용한 타원 검출 알고리즘을 적용하여, 유두-유륜 영역을 검출하는 단계를 포함하는 것을 특징으로 한다.In the automatic nipple detection method of a three-dimensional automatic breast ultrasound image according to the present invention, step (c) includes the steps of: (c-1) using an edge detection unit, using a Sobel operator on the tubular slab- And (c-2) detecting an nipple-to-bean wheel region by applying an ellipse detection algorithm using an Hough transform to the edge detection image using the ellipse detection unit.

또한, 본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 방법은 (d) 단계는 (d-1) 오츠 임계값 적용부를 이용하여, 상기 유두-유륜 영역이 검출된 영상슬라이스에 대하여, 누적 히스토그램을 생성하여 3D 오츠 임계값 기법을 적용하는 단계, (d-2) 유두 후보 검출부를 이용하여, 유두 확률누적맵에서 누적확률 값이 가장 큰 화소들을 유두 후보 화소로 선정하여, 유두 후보 영역을 검출하는 단계, (d-3) 침식기법 적용부를 이용하여, 형태학적 연산의 침식 기법으로 유두가 아닌 영역을 제거하는 단계, (d-4) 최종 영역 검출부를 이용하여, 형태학적 연산의 확장 기법으로 유두 영역의 침식된 외곽 부분을 복원하여, 최종 유두 영역을 검출하는 단계 및 (d-5) 상기 최종 유두 영역에서 화소들의 중심점을 산출하여 최종 유두점을 검출하는 단계를 포함하는 것을 특징으로 한다.
In the napping automatic detection method of a three-dimensional automatic breast ultrasound image according to the present invention, the step (d) includes the steps of (d-1) applying an ots threshold value application to the image slice in which the nipple- (D-2) using the nipple candidate detector to select the pixels having the largest cumulative probability value as the nipple candidate pixels in the nipple probability accumulation map, and to calculate the nipple candidate region (D-3) removing the non-nipple region by the erosion technique of the morphological operation using the erosion technique application unit, (d-4) expanding the morphological operation using the final region detection unit, (D-5) calculating a center point of pixels in the last nipple area to detect a final nipple point, and .

이상에서 설명한 바와 같이, 본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템은 관상면 슬랩-평균투영과 확률누적맵을 이용함으로써, 유두의 정확한 위치를 검출할 수 있으며, 유방암 진단 시, 암의 위치를 설명하기 위한 기준으로 사용하며, 유방암 진단 및 추적을 위한 영상 정합 시, 특징점으로 활용하여, 유방암 진단 및 치료의 정확성 및 신뢰성을 크게 향상시킬 수 있는 효과가 있다.As described above, the nipple automatic detection system of the 3D automatic breast ultrasound image according to the present invention can detect the accurate position of the nipple by using the tubular slab-average projection and the probability accumulation map, It is used as a criterion for explaining the position of the cancer, and can be used as a feature point in image matching for diagnosis and tracking of breast cancer, thereby greatly improving the accuracy and reliability of diagnosis and treatment of breast cancer.

또한, 관상면 영상 슬라이스의 왜도 분석을 통해 유두 검출에 적합한 영상 슬라이스를 선별할 수 있으며, 관상면 슬랩-평균투영 영상을 생성함으로써, 유두-유륜 변화에 대한 영향력을 감소시킬 수 있을 뿐만 아니라 유방 경계나 유선 조직 및 지방 조직으로의 번짐을 방지할 수 있는 효과가 있다.In addition, the image slice suitable for nipple detection can be selected through the distortion analysis of the coronal image slice. By generating the coronal slab-average projection image, not only can the influence on the nipple- It is possible to prevent blurring to the boundary, the wired tissue and the adipose tissue.

또한 관상면 슬랩-평균투영 영상에서 허프 변환을 이용한 타원 검출 알고리즘을 적용함으로써, 정면촬영 영상과 측면촬영 영상에서 지방 및 유선 조직으로의 번짐을 방지할 수 있으며, 이를 통해 유두 위치 검출의 정확성을 크게 향상시킬 수 있는 효과가 있다.In addition, by applying the ellipse detection algorithm using the Hough transform in the coronal slab-average projection image, it is possible to prevent blurring into the fat and the mammary tissue in the frontal and lateral images, There is an effect that can be improved.

또한, 유두 확률누적맵을 통해 최종 유두 영역에서 정확한 최종 유두 위치를 검출할 수 있는 효과가 있다.
In addition, the accurate nipple position can be detected in the final nipple region through the nipple probability accumulation map.

본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 방법은, 관상면 슬랩-평균투영과 확률누적맵을 적용함으로써, 유두-유륜 영역의 크기 및 형태 변화에 대한 영향력을 감소시킬 수 있으며, 관상면 영상의 정면촬영 영상을 비롯한 측면 촬영 영상에서도 정확한 유두 위치를 검출할 수 있는 효과가 있다.
The automatic nipple detecting method of a three-dimensional automatic breast ultrasound image according to the present invention can reduce the influence on the size and shape change of the nipple-toothed wheel region by applying the tubular slab-average projection and the probability accumulation map, It is possible to detect an accurate nipple position even in a side-shot image including a frontal image of a side image.

도 1은 본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템의 전체 구성을 나타내는 구성도.
도 2는 본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템에 있어서, 왜도분석부의 상세 구성을 나타내는 구성도.
도 3은 본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템에 있어서, 밝기값 히스토그램에 따른 왜도 변화를 나타내는 실시예 화면 및 그래프.
도 4는 본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템에 있어서, 유두-유륜 영역 검출부의 상세 구성을 나타내는 구성도.
도 5는 본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템에 있어서, 단일 슬라이스 영상과 슬랩-평균투영 영상에서의 타원 검출을 나타내는 실시예 영상.
도 6은 본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템에 있어서, 유두 위치 검출부의 상세 구성을 나타내는 구성도.
도 7은 본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템에 있어서, 유두 확률누적맵이 적용된 실시예 영상.
도 8은 본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 방법의 전체 흐름을 나타내는 흐름도.
도 9는 본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 방법에 있어서, S10 단계의 상세흐름을 나타내는 흐름도.
도 10은 본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 방법에 있어서, S20 단계의 상세흐름을 나타내는 흐름도.
도 11은 본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 방법에 있어서, S30 단계의 상세흐름을 나타내는 흐름도.
도 12는 3차원 자동 유방 초음파 정면 촬영 영상에서 본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 방법과 종래 유두 검출 방법을 비교하는 실시예 화면.
도 13은 3차원 자동 유방 초음파 측면 촬영 영상에서 본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 방법과 종래 유두 검출 방법을 비교하는 실시예 화면.
도 14는 본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 방법과 종래 유두 자동 검출 방법의 유두 검출율을 비교하는 결과 그래프.
도 15는 일반적인 유방 영상별 특성을 나타내는 도면.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram showing the entire configuration of a nipple automatic detection system of a three-dimensional automatic breast ultrasound image according to the present invention. FIG.
BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a three-dimensional automatic breast ultrasound image detection system.
FIG. 3 is a graph showing an example screen and a graph showing a change in the degree of distortion according to the brightness value histogram in the nipple automatic detection system of the three-dimensional automatic breast ultrasound image according to the present invention.
FIG. 4 is a block diagram showing a detailed configuration of a nipple-to-shoulder region detection unit in a nipple automatic detection system of a three-dimensional automatic breast ultrasound image according to the present invention.
FIG. 5 is a diagram illustrating an embodiment of detecting an ellipse in a single slice image and a slab-average projection image in a nipple automatic detection system of a three-dimensional automatic breast ultrasound image according to the present invention.
FIG. 6 is a configuration diagram showing a detailed configuration of a nipple position detecting unit in a nipple automatic detection system of a three-dimensional automatic breast ultrasound image according to the present invention. FIG.
FIG. 7 is a diagram illustrating an embodiment in which the nipple probability accumulation map is applied in the nipple automatic detection system of the three-dimensional automatic breast ultrasound image according to the present invention.
FIG. 8 is a flowchart showing an overall flow of a nipple automatic detection method of a three-dimensional automatic breast ultrasound image according to the present invention.
FIG. 9 is a flow chart showing a detailed flow of step S10 in the nipple automatic detection method of a three-dimensional automatic breast ultrasound image according to the present invention.
FIG. 10 is a flow chart showing a detailed flow of step S20 in the automatic nipple detection method of a three-dimensional automatic breast ultrasound image according to the present invention.
FIG. 11 is a flow chart showing a detailed flow of step S30 in the nipple automatic detection method of a three-dimensional automatic breast ultrasound image according to the present invention.
FIG. 12 is an exemplary screen comparing an automatic nipple detection method of a three-dimensional automatic breast ultrasound image according to the present invention and a conventional nipple detection method in a three-dimensional automatic breast ultrasound frontal image.
FIG. 13 is an exemplary screen comparing an automatic nipple detection method of a three-dimensional automatic breast ultrasound image according to the present invention and a conventional nipple detection method in a three-dimensional automatic breast ultrasound side-view image.
FIG. 14 is a graph comparing the nipple detection rate of the nipple automatic detection method of the three-dimensional automatic breast ultrasound image and the conventional nipple automatic detection method according to the present invention.
FIG. 15 is a diagram showing characteristics of a general breast image. FIG.

이하, 본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템 및 그 검출 방법을 실시하기 위한 구체적인 내용을 설명하면 다음과 같다.
Hereinafter, a detailed description will be made for a nipple automatic detection system and a detection method thereof for a three-dimensional automatic breast ultrasound image according to the present invention.

본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템(50)[도 1]에 도시된 바와 같이, 왜도분석부(10), 유두-유륜 영역 검출부(20) 및 유두 위치 검출부(30)를 포함한다.The nipple-toothed wheel region detecting unit 20 and the nipple position detecting unit 30 (see FIG. 1) of the automatic nipple detecting system 50 of the three-dimensional automatic breast ultrasound image according to the present invention ).

상기 왜도분석부(10)는 3D 자동 유방 초음파 영상에 관하여, 왜도 분석으로 유두 검출을 위한 영상 슬라이스를 선별하고 관상면 슬랩-평균투영 영상을 생성하는 역할을 하며, 상기 왜도분석부(10)는 [도 2]에 도시된 바와 같이, 잡음제거 필터부(11), 영상왜도 분석부(12), 영상 슬라이스 선별부(13) 및 관상면 영상 분석부(14)를 포함한다.The distortion analyzer 10 performs a distortion analysis on the 3D automatic breast ultrasound image to select an image slice for nipple detection and generate a tubular slab-average projection image, and the distortion analyzer 10 includes a noise elimination filter unit 11, an image distortion analyzing unit 12, an image slice sorting unit 13 and a coronal image analyzing unit 14 as shown in FIG.

상기 잡음제거 필터부(11)는 관상면 영상 슬라이스 내에 잡음을 제거하는 하는 역할을 하며, 본 발명에 따른 상기 잡음제거 필터부(11)는 가우시안(Gaussian) 잡음 제거 필터를 적용하여, 유두가 포함된 영상 슬라이스의 잡음을 제거한다.The noise elimination filter unit 11 serves to remove noise in the coronal image slice. The noise elimination filter unit 11 according to the present invention applies a Gaussian noise elimination filter, Thereby eliminating the noise of the image slice.

상기 영상왜도 분석부(12)는 3D 자동 유방 초음파 영상에 관하여, 영상 왜도 분석을 수행하는 역할을 하며, 왜도는 확률분포가 얼마나 비대칭적으로 분포되어 있는지를 나타내는 지표로서 확률분포가 왼쪽으로 치우칠수록 큰 양수 값을, 오른쪽으로 치우칠수록 큰 음수 값을 가지며, 다음 [수학식 1]을 통해 구할 수 있다.The image distortion analyzer 12 performs the image distortion analysis on the 3D automatic breast ultrasound image, and the degree of the distortion is an index indicating how asymmetrically the probability distribution is distributed, The larger the positive value is, and the larger the value is, the larger the negative value, and can be obtained by the following equation (1).

Figure 112013101524304-pat00001
Figure 112013101524304-pat00001

이때, 확률변수 X의 평균 μ, 표준편차 σ에 대한 왜도 r1은 확률분포의 비대칭성을 나타내는 지표이며, [도 3]은 밝기값 히스토그램에 따른 왜도 변화를 나타내는 것으로 [도 3]의 (a)와 같이 피부 조직이 많이 나타나는 영상 슬라이스의 경우, 밝은 밝기값의 영역이 많이 나타나 히스토그램이 오른쪽으로 치우친 형태를 보여 왜도가 음수로 나타나는 반면, [도 3]의 (b)와 같이 3D 자동 유방 초음파 영상의 영상 슬라이스는 일반적으로 어두운 밝기값의 영역이 많이 나타나 밝기값 히스토그램이 왼쪽으로 치우친 형태를 보여 왜도가 양수로 나타난다.Here, the reason r 1 for the mean μ and the standard deviation σ of the random variable X is an index showing the asymmetry of the probability distribution, and FIG. 3 shows the variation of the distortion according to the brightness value histogram [ In the case of the image slice with a lot of skin tissues as shown in (a), the histogram is shown in a right-shifted form with a lot of areas having bright brightness values, and the distortion is represented as a negative number. On the other hand, The image slice of the automatic breast ultrasound image generally shows a lot of areas with dark brightness values, and the histogram of the brightness values is shifted to the left, and the degree of the illusions is positive.

상기 영상 슬라이스 선별부(13)는 상기 영상 슬라이스의 왜도를 계산하여, 특정 왜도 임계값(Tskew) 이하의 영상슬라이스를 선별하는 역할을 한다.The image slice selector 13 calculates the degree of distortion of the image slice and selects image slices having a specific threshold value T skew or less.

본 발명에 있어서, 왜도 분석을 통해 선별한 영상 슬라이스들에서도 유두-유륜 영역의 크기 및 형태가 다르게 나타나므로, 본 발명에 있어서, 관상면 영상 분석부(14)를 이용하여, 상기 영상 슬라이스 선별부(13)에서 선별된 영상 슬라이스들에 대하여 관상면 슬랩-평균투영 영상을 생성하도록 한다. In the present invention, since the size and shape of the nipple-to-shoulder region are different in the image slices selected by the distortion analysis, the present invention uses the coronal image analysis unit 14 to perform the image slice sorting And generates a tubular slab-average projection image with respect to the image slices selected by the unit (13).

본 발명에 있어서, 관상면 슬랩-평균투영 영상은 [도 3]의 (c)와 같이, 관상면 방향으로 추적되는 각 화소들의 밝기값을 누적해 더한 후 선별된 영상 슬라이스의 장수로 나누어 생성되도록 한다.In the present invention, the tubular slab-average projection image is obtained by accumulating the brightness values of the pixels traced in the coronal plane direction, and then dividing the brightness values by the number of the selected image slices, as shown in (c) do.

일반적으로 3D 자동 유방 초음파 영상의 관상면에서 유두-유륜 영역은 어두운 밝기값의 타원 형태로 나타나지만, 피부로부터 유방 내부로 이동 할수록 밝은 밝기값을 가지는 피부 조직이 덜 나타나고 어두운 밝기값을 가지는 지방 조직들이 많이 나타나게 되어 유두-유륜 영역과 주변 영역 간 밝기값이 유사해진다. 또한 영상 슬라이스에 따라 유두-유륜 영역과 피부를 포함한 기타 영역 간 밝기값 차이 정도가 다르며, 유두-유륜 영역의 크기와 형태가 다르게 나타나, 유두 검출에 적합한 영상 슬라이스 선정이 어려우며 영상 슬라이스에 따라 상이한 유두 검출 결과를 나타낼 수 있다.In general, 3D nano-ultrasound image shows the nipple-euron area as an elliptical shape with dark brightness value, but as the skin moves from the skin to the inside of the breast, the skin tissue with bright brightness value appears less and the dark tissue value So that the brightness value between the nipple-iso-wheel region and the surrounding region becomes similar. In addition, according to the image slice, there is a difference in brightness value between the nipple-to-shoulder region and other regions including the skin, and the size and shape of the nipple-toothed region are different. It is difficult to select a suitable image slice for detecting the nipple. The detection result can be displayed.

따라서 본 발명에 따른 상기 왜도분석부(10)를 통해, 유두 검출에 적합한 영상 슬라이스를 자동으로 선정하는 것이 가능하고, 관상면 슬랩-평균투영 영상을 생성함으로서 각 영상 슬라이스에서 나타나는 유두-유륜 영역의 변화에 대한 영향력을 감소시킬 뿐 아니라 유두-유륜 영역 검출 단계에서 유방 경계나 유선 조직 및 지방 조직으로의 번짐을 방지할 수 있는 것이다.
Therefore, it is possible to automatically select an image slice suitable for nipple detection through the distortion analyzer 10 according to the present invention, and to generate a tubular slab-average projection image, And it is also possible to prevent blurring to the breast boundary, the mammary gland tissue and the adipose tissue in the nipple-to-breast region detection step.

상기 유두-유륜 영역 검출부(20)는 상기 관상면 슬랩-평균투영 영상에 관하여, 허프 변환으로 유두-유륜 영역을 검출하는 역할을 하며, 본 발명에 따른 상기 유두-유륜 영역 검출부(20)는 [도 4]에 도시된 바와 같이, 에지검출부(21) 및 타원검출부(22)를 포함한다.The nipple-to-shoulder region detection unit 20 detects the nipple-toothed wheel region by the Huff transformation with respect to the tubular slab-average projection image, and the nipple-toothed wheel region detection unit 20 according to the present invention detects [ As shown in FIG. 4, includes an edge detection unit 21 and an elliptical detection unit 22.

상기 에지검출부(21)는 상기 관상면 슬랩-평균투영 영상에 소벨 연산자를 사용하여, 에지를 검출하는 역할을 하며, 본 발명의 실시예에서 유두-유륜 영역을 이루는 에지가 소실되지 않고 충분히 검출되도록 기울기 영상에서 임계값인 Tedge를 20으로 설정하여 밝기값 변화량이 20보다 큰 에지를 검출하도록 하였다.The edge detector 21 detects an edge using the Sobel operator on the tubular slab-average projected image. In the present embodiment, the edge detector 21 detects edges of the nipple- In the slope image, the threshold value T edge is set to 20, so that an edge having a brightness variation of more than 20 is detected.

상기 타원검출부(22)는 에지 검출 영상에 허프 변환을 이용한 타원 검출 알고리즘을 적용하여, 유두-유륜 영역을 검출하는 역할을 한다.The ellipse detection unit 22 detects an nipple-to-bean wheel region by applying an ellipse detection algorithm using an Hough transform to the edge detection image.

또한, 본 발명에 있어서, 3D 자동 유방 초음파 영상의 관상면 영상 슬라이스에서 유두는 영상의 좌우로 치우칠 수 있지만 상하로는 크게 치우지치 않으므로, 타원 검출 알고리즘의 적용 범위를 줄이고 유방 경계로의 번짐을 방지하기 위해, 본 발명의 실시예에서는 에지 검출 영상의 상하 25% 영역을 제외한 중심 50% 범위 내에서 허프 변환을 이용한 타원 검출 알고리즘을 적용하였다.In the present invention, in the 3D automatic breast ultrasound image, the nipple can be offset to the left and right of the image in the coronal image slice, but the up and down directions are not largely offset. Thus, the application range of the ellipse detection algorithm is reduced, In the embodiment of the present invention, the ellipse detection algorithm using the Hough transform is applied within the range of 50% of the center excluding the upper and lower 25% regions of the edge detection image.

또한, 본 발명에 있어서, 상기 타원검출부(22)의 허프 변환을 이용한 타원 검출은 타원의 방정식을 매개변수 공간으로 변환하여 타원을 찾는 방법으로, 매개변수를 변화시키며 타원을 구해 매개변수들에 따른 각 타원의 둘레에 존재하는 에지 화소의 수를 누적하여 가장 많은 에지 화소를 포함하는 타원을 유두-유륜 영역으로 검출하며, 다음 [수학식 2]는 타원의 매개변수 방정식을 나타낸다.In the present invention, the ellipse detection using the Hough transform of the ellipse detection unit 22 is a method of finding an ellipse by converting an equation of an ellipse into a parameter space. The parameter is changed and an ellipse is obtained. The ellipse including the largest number of edge pixels is detected as the nipple-isola region by accumulating the number of edge pixels existing around each ellipse, and the following equation (2) represents the parameter equation of the ellipse.

Figure 112013101524304-pat00002
Figure 112013101524304-pat00002

이때, (Xc, Yc)는 타원의 중심점, A는 장축 길이의 1/2, B는 단축 길이의 1/2, θ는 타원의 회전각을 나타낸다. t는 0에서 2π사이의 값이며, (X(t), Y(t))는 타원을 이루는 한 점의 좌표를 말한다.Here, (X c , Y c ) is the center point of the ellipse, A is 1/2 of the major axis length, B is 1/2 of the minor axis length, and θ is the rotation angle of the ellipse. t is a value between 0 and 2π, and (X (t), Y (t)) is the coordinate of a point forming an ellipse.

[도 5]는 본 발명에 있어서, 단일 슬라이스 영상과 슬랩-평균투영 영상에서의 타원 검출 결과로, 허프 변환을 이용한 타원 검출 알고리즘을 통해 검출된, 누적 에지 화소수가 많은 50개의 타원을 붉은색으로 보여주는 실시예 화면으로, [도 5]의 (a)는 단일 슬라이스 영상에서의 타원 검출 결과, 유선 조직으로 인해 발생한 에지에도 타원이 검출 된 반면, [도 5]의 (b) 슬랩-평균투영 영상에서는 유선 조직의 에지가 약화되어 검출된 50개의 타원이 모두 유두-유륜 영역에 적합된 것을 확인할 수 있다.FIG. 5 is a graph showing the results of detecting ellipses in a single slice image and a slab-average projection image according to the present invention. In FIG. 5, 50 ellipses having a large number of cumulative edge pixels detected through an ellipse detection algorithm using Hough transform are red 5A shows an ellipse in the single slice image, and FIG. 5B shows a slab-average projection image (FIG. 5B). On the other hand, , The edges of the wired tissues were weakened and it was confirmed that all 50 ellipses detected were suitable for the nipple-shoulder region.

이처럼 본 발명에 따른 상기 유두-유륜 영역 검출부(20)는 관상면 슬랩-평균투영 영상에서 허프 변환을 이용한 타원 검출 알고리즘을 적용함으로써 3D 자동 유방 초음파의 정면촬영 영상과 유두 그림자가 약한 측면촬영 영상 모두에서 지방 및 유선 조직으로의 번짐 없이 유두-유륜 영역을 검출할 수 있도록 한다. 또한 이를 통해 검출된 유두-유륜 영역을 유두 위치 검출 단계의 관심영역으로 사용함으로서 유두 위치 검출 단계의 정확성을 높일 수 있는 효과가 있다.
As described above, the nipple-to-shoulder region detection unit 20 according to the present invention applies the ellipse detection algorithm using the Hough transform in the tubular slab-average projection image, thereby obtaining both the frontal image of the 3D automatic breast ultrasound image and the weak side image of the nipple shadow To detect the nipple-isochronous region without blurring into fat and mammary tissue. Also, by using the detected nipple-shoulder region as an area of interest of the nipple position detecting step, the accuracy of the nipple position detecting step can be enhanced.

상기 유두 위치 검출부(30)는 유두가 포함된 영상 슬라이스에 관하여, 유두 확률누적맵을 생성하여 최종 유두 위치를 검출하는 역할을 하며, 본 발명에 따른 상기 유두 위치 검출부(30)는 [도 6]에 도시된 바와 같이, 오츠 임계값 적용부(31), 유두 후보 검출부(32), 침식 기법 적용부(33), 최종 영역 검출부(34) 및 최종 유두 검출부(35)를 포함한다.The nipple position detecting unit 30 detects the last nipple position by generating a nipple cumulative accumulation map with respect to the image slice including the nipple. The nipple position detecting unit 30 according to the present invention, An erosion technique applying unit 33, a final region detecting unit 34 and a final nipple detecting unit 35 as shown in FIG.

상기 오츠 임계값 적용부(31)는 상기 유두-유륜 영역 검출부(20)에 의해 검출된 유두-유륜 영역에 대하여, 누적 히스토그램을 생성하여 3D 오츠 임계값 기법을 적용하는 역할을 한다.The ozone threshold value applying unit 31 generates a cumulative histogram for the nipple-toothed wheel region detected by the nipple-toothed wheel region detecting unit 20 and applies the 3D ozt value thresholding technique.

즉, 유륜이나 유선 조직은 영상 슬라이스에 따라 위치나 형태가 변하는 반면, 유두는 유두 뒤에 유두 그림자가 형성되기 때문에 여러 영상 슬라이스에 걸쳐 같은 위치에 유사한 형태로 나타난다. 이와 같은 특성을 이용하여 타원 형태의 관심영역 범위 내에서 유두가 충분히 포함되는 상위 영상 슬라이스에 대하여 누적 히스토그램을 생성해 3D 오츠 임계값 기법을 수행한다. 오츠 임계값 기법을 수행하여 어두운 밝기값을 가지는 그룹에 속한 화소에 높은 확률값을 부여하고, 여러 영상 슬라이스에 대하여 누적시켜 유두 확률누적맵을 생성하며, 다음 [수학식 3]은 유두 확률누적맵에 속하는 누적 확률 값을 구하는 식이다. In other words, the position and shape of the wool and wired tissues change according to the image slice, whereas the nipple appears in the same position across the various image slices because the nipple shadow is formed behind the nipple. By using this characteristic, a cumulative histogram is generated for the upper image slice including the nipple in the range of the elliptical region of interest, and the 3D ozt value thresholding technique is performed. The oats threshold value technique is performed to give a high probability value to pixels belonging to a group having a dark brightness value and to accumulate for a plurality of image slices to generate a teat probability accumulation map, To obtain the cumulative probability value belonging thereto.

Figure 112013101524304-pat00003
Figure 112013101524304-pat00003

이때, n은 유두가 충분히 포함되는 상위 영상 슬라이스의 장수, fb는 3D 오츠 임계값 기법을 수행한 결과 영상을 나타낸다.In this case, n is the number of upper image slices including nipples sufficiently, and f b represents images obtained by performing the 3D ozs threshold technique.

상기 유두 후보 검출부(34)는 유두 확률누적맵에서 누적확률 값이 가장 큰 화소들을 유두 후보 화소로 선정하여, 유두 후보 영역을 검출하는 역할을 하며, 유두 확률누적맵에서 누적확률 값이 가장 큰 화소들을 유두 후보 화소로 선정함으로써, 밝은 밝기값을 가지는 유선 조직과 어두운 밝기값을 가지지만 여러 영상 슬라이스에 걸쳐 나타나지 않은 유륜 영역으로부터 유두 후보 영역을 구한다.The nipple candidate detecting unit 34 selects the pixels having the largest cumulative probability value as the nipple candidate pixels in the nipple probability accumulation map and detects the nipple candidate region. In the nipple probability accumulation map, Are selected as nipple candidate pixels, the nipple candidate region is obtained from the wired tissue having a bright brightness value and the region of the eye region having a dark brightness value but not over the image slices.

유두 확률누적맵을 통해 구한 유두 후보 영역의 화소 중에는 어두운 밝기값을 가지는 지방 조직이나, 유륜의 일부가 포함되어 있을 수 있으므로, 본 발명에서는 상기 침식 기법 적용부(33)로 5×5 크기의 원형 구조를 이용하여 형태학적 연산의 침식 기법을 수행해 유두가 아닌 작은 기타 영역을 제거하거나 유두 후보 영역으로부터 분리한다.The pixels of the nipple candidate region obtained through the nipple probability accumulation map may contain a portion of the fatty tissue or the wheel having a dark brightness value. Therefore, in the present invention, the erosion technique application unit 33 may include a 5x5 circular Structure is used to perform morphological erosion techniques to remove other small non-nipples or to separate from nipple candidates.

또한, 침식 기법 적용 과정에서 제거되지 않은 기타 영역을 제거하고, 유두 영역만 추출할 수 있도록 하기 위하여 연결요소 레이블링을 통해 연결 요소들을 구하여 가장 큰 연결 요소만 남기고 제거하는 것이 바람직하다.In addition, it is desirable to remove the other areas not removed in the application of the erosion technique, and to remove the nipple area only by extracting the connection elements through labeling of the connection elements and leaving only the largest connection elements.

더불어, 침식 기법 적용 과정에서 유두 영역의 외곽 부분의 화소가 소실되었으므로, 본 발명은 상기 최종 영역 검출부(34)로 5×5 크기의 원형 구조를 이용하여 형태학적 연산의 확장 기법을 수행해 유두 영역의 침식된 외곽 부분을 복원시켜 최종 유두 영역을 구하고, 상기 최종 유두 검출부(35)를 이용하여, 최종 유두 영역에서 영역 내에 속한 화소들의 중심점을 구함으로서 최종 유두 검출점을 구한다.In addition, since the pixels in the outer portion of the nipple area are lost in the application of the erosion technique, the present invention performs the morphological operation extension technique using the 5 × 5 circular structure as the final region detector 34, The last nipple area is obtained by restoring the eroded outer portion, and the last nipple detection point is obtained by obtaining the center point of the pixels belonging to the area in the last nipple area using the last nipple detection unit 35. [

[도 7]은 본 발명에 따른 유두 확률누적맵을 나타내는 그림으로 [도 7]의 (a)는 관상면 슬랩-평균투영 영상에서의 타원 검출 결과(녹색 곡선)를 나타내고, 그림 [도 7]의 (b)는 유두를 충분히 포함하는 영상 슬라이스들에 대하여 관심영역(녹색 영역) 내에서 3D 오츠 임계값 기법과 유두 확률누적맵을 통해 구한 유두 영역(붉은색 영역)을, [도 7]의 (c)는 최종 유두 검출점(붉은색 점)을 타나낸다. 관심영역 내에서 3D 오츠 임계값 기법과 유두 확률누적맵을 적용시킴으로서 [도 7]의 (b)와 같이 관심영역 내에 존재하는 유륜 및 기타 영역들로부터 유두 영역만 검출된 것을 확인 할 수 있으며, 이를 통하여 [도 7]의 (c)와 같이 최종 유두 검출점이 유두의 중심에 가깝게 검출된 것을 확인할 수 있다.FIG. 7 is a diagram illustrating a nipple probability accumulation map according to the present invention. FIG. 7 (a) shows the ellipse detection result (green curve) in the tubular slab-average projection image, (B) shows the papillary region (red region) obtained through the 3D Oats threshold technique and the nipple probability accumulation map in the region of interest (green region) for the image slices sufficiently containing the nipple, and FIG. 7 (c) shows the final nipple detection point (red dot). By applying the 3D Oats threshold value technique and the nipple probability accumulation map in the region of interest, it can be seen that only the nipple region is detected from the islands and other regions existing in the region of interest as shown in FIG. 7 (b) It can be confirmed that the final nipple detection point is detected close to the center of the nipple as shown in FIG. 7 (c).

이처럼 상기 관상면 슬랩-평균투영 영상을 이용해 구한 유두-유륜 영역 내부에는 유두 외에 유륜이나 주변 유선 조직이 포함되어 있을 수 있어, 유두 위치 검출의 정확성을 감소시킬 가능성이 있는데, 본 발명에 따른 유두 위치 검출부(30)를 통해 유두 확률누적맵을 적용함으로써, 여러 영상 슬라이스에 걸쳐 나타나지 않는 유륜과 밝은 밝기값을 가지는 유선 조직 및 기타 영역으로부터 유두 영역만을 분리시켜 유두 위치 검출의 정확성을 높일 수 있는 것이다.
As described above, in the nipple-shoulder region obtained by using the tubular slab-average projection image, there may be included an orbicular ring or a surrounding wire tissue in addition to the nipple, thereby reducing the accuracy of the nipple position detection. By applying the nipple probability accumulation map through the detection unit 30, it is possible to separate only the nipple region from the mammary gland which does not appear over various image slices, the mammary gland having a bright brightness value, and other regions, thereby improving the accuracy of the nipple position detection.

이상에서 설명한 바와 같이, 본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템을 적용 시, 관상면 슬랩-평균투영과 확률누적맵을 이용함으로써, 유두의 정확한 위치를 검출할 수 있는 효과가 있는 것이다. As described above, when the nipple automatic detection system of the 3D automatic breast ultrasound image according to the present invention is applied, the accurate position of the nipple can be detected by using the tubular slab-average projection and the probability accumulation map It is.

나아가 검출된 유두의 위치는 유방암 진단 시, 암의 위치를 설명하기 위한 기준으로 사용하며, 유방암 진단 및 추적을 위한 영상 정합 시, 특징점으로 활용하여, 유방암 진단 및 치료의 정확성 및 신뢰성을 크게 향상시킬 수 있는 효과가 있다.
Further, the position of the detected nipple is used as a reference for explaining the position of the cancer in the diagnosis of breast cancer, and as a feature point in the image matching for the diagnosis and tracking of breast cancer, the accuracy and reliability of diagnosis and treatment of breast cancer are greatly improved There is an effect that can be.

[도 8]은 본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템을 이용한 유두 자동 검출 방법의 전체 흐름을 나타내는 흐름도로, 상기 왜도분석부(10)를 이용하여, 3D 자동 유방 초음파 영상에 관하여, 왜도 분석으로 유두 검출을 위한 영상 슬라이스를 선별하는 단계(S10)를 수행한다.FIG. 8 is a flowchart showing the entire flow of the nipple automatic detection method using the nipple automatic detection system of the three-dimensional automatic breast ultrasound image according to the present invention. The 3D automatic breast ultrasound As for the image, a step S10 is performed to select an image slice for nipple detection by the degree analysis.

[도 9]는 상기 S10 단계의 상세 흐름을 나타내는 도면으로, 영상왜도 분석부(11)를 이용하여, 3D 자동 유방 초음파 영상에 관하여, 상기 잡음제거 필터부(11)를 이용하여, 관상면 영상 슬라이스의 잡음을 제거하는 단계(S11)를 수행하고, 상기 영상왜도 분석부(12)로 영상 왜도 분석을 수행하는 단계(S13)를 수행하고, 한다.9 is a view showing the detailed flow of the step S10. In the 3D automatic breast ultrasound image, using the noise elimination filter unit 11, Performing a step S11 of removing noise of the image slice and performing a step S13 of performing a video image distortion analysis on the image distortion analyzing unit 12,

다음으로, 상기 영상 슬라이스 선별부(13)를 이용하여, 상기 영상 슬라이스의 왜도를 계산하여, 특정 왜도 임계값 이하의 영상 슬라이스를 선별하는 단계(S15)를 수행하고, 상기 관상면 영상 분석부(14)를 통해 선별된 영상 슬라이스에 관한 관상면 슬랩-평균투영 영상을 생성하는 단계(S15)를 수행하며, 상기 S15 단계는 관상면 방향으로 추적되는 각 화소들의 밝기값을 누적해 더한 후 선별된 영상 슬라이스의 장수로 나누어 관상면 슬랩-평균투영 영상을 생성하는 단계이다.Next, a step (S15) of calculating the degree of distortion of the image slice using the image slice selector (13) and selecting image slices having a specific distortion threshold value or less is performed (S15), and the coronal image analysis (S15) of generating a tubular slab-average projected image with respect to the selected image slice through the unit 14, and in step S15, brightness values of the pixels traced in the tubular direction are accumulated and added And dividing the image slice length by the number of selected image slices to generate a tubular slab-average projection image.

이러한 본 발명에 따른 상기 S10 단계를 통해, 유두 검출에 적합한 영상 슬라이스를 선정하고, 유방 경계나 유선 조직 및 지방 조직으로 인해 발생하는 잘못 검출되는 에지의 영향력을 감소시킬 수 있는 것이다.Through the step S10 according to the present invention, the image slice suitable for nipple detection can be selected, and the influence of the erroneously detected edges caused by the breast border, the mammary tissue and the fatty tissue can be reduced.

다음으로, 상기 유두-유륜 영역 검출부(20)를 이용하여, 상기 관상면 슬랩-평균투영 영상에 관하여, 허프 변환으로 유두-유륜 영역을 검출하는 단계(S20)를 수행한다.Next, using the nipple-to-shoulder region detection unit 20, a step S20 of detecting the nipple-toothed wheel region by the Hough transform is performed on the tubular slab-average projection image.

[도 10]은 본 발명에 따른 상기 S20 단계의 상세 흐름을 나타내는 도면으로, 상기 에지검출부(21)를 이용하여, 상기 관상면 슬랩-평균투영 영상에 소벨 연산자를 사용하여, 에지를 검출하는 단계(S21) 및 상기 타원검출부(22)를 이용하여, 에지 검출 영상에 허프 변환을 이용한 타원 검출 알고리즘을 적용하여, 유두-유륜 영역을 검출하는 단계(S23)를 포함하며, 본 발명에 있어서, 상기 S23 단계는 에지 검출 영상의 상하 일부 영역을 제외한 중심 영역 범위에서 적용되도록 하는 것이 바람직하다.
10 is a flowchart showing the detailed flow of step S20 according to the present invention. The edge detection unit 21 detects an edge using a Sobel operator on the tubular slab-average projection image (S23) of detecting the nipple-iso-wheel region by applying an ellipse detection algorithm using the Hough transform to the edge detection image using the ellipse detection unit (S21) and the ellipsoidal detection unit (22). In the present invention, It is preferable that the step S23 is performed in a central region range excluding upper and lower partial regions of the edge detection image.

다음으로, 상기 유두 위치 검출부(30)를 이용하여, 유두가 포함된 영상 슬라이스에 관하여, 유두 확률누적맵을 생성하여 최종 유두 위치를 검출하는 단계(S30)를 수행한다.Next, using the nipple position detecting unit 30, a step S30 of generating a nipple probability accumulation map and detecting the last nipple position with respect to the image slice including the nipple is performed.

[도 11]은 본 발명에 따른 상기 S30 단계의 상세 흐름을 나타내는 도면으로, 상기 오츠 임계값 적용부(31)를 이용하여, 상기 유두-유륜 영역이 검출된 영상슬라이스에 대하여, 누적 히스토그램을 생성하여 3D 오츠 임계값 기법을 적용하는 단계(S31)를 수행하고, 본 발명에 있어서, 상기 S31 단계는 설정 밝기값 이하 영역에 화소에 확률값을 부여하고, 다수의 영상 슬라이스에 누적시켜 유두 확률누적맵을 생성하는 단계를 말한다.11 is a view showing a detailed flow of step S30 according to the present invention. Using the ozone threshold value application unit 31, a cumulative histogram is generated for the image slice in which the nipple-to-shoulder region is detected In step S31, a probability value is given to the pixels in a region below a set brightness value, and the probability is accumulated in a plurality of image slices to calculate a nipple probability accumulation map . ≪ / RTI >

다음으로, 상기 유두 후보 검출부(32)를 이용하여, 유두 확률누적맵에서 누적확률 값이 가장 큰 화소들을 유두 후보 화소로 선정하여, 유두 후보 영역을 검출하는 단계(S33)를 수행하고, 상기 침식 기법 적용부(33)를 이용하여, 형태학적 연산의 침식 기법으로 유두가 아닌 영역을 제거하는 단계(S35)를 수행한다.Next, using the nipple candidate detecting unit 32, a step (S33) of detecting a nipple candidate region by selecting pixels having the largest cumulative probability value as the nipple candidate pixels in the nipple probability accumulation map is performed, (S35) of removing the non-nipple region by the erosion technique of the morphological computation by using the technique applying section (33).

또한, 상기 최종 영역 검출부(34)를 이용하여, 형태학적 연산의 확장 기법으로 유두 영역의 침식된 외곽 부분을 복원하여, 최종 유두 영역을 검출하는 단계(S37)를 수행하고, 상기 최종 유두 검출부(35)를 이용하여, 상기 최종 유두 영역에서 화소들의 중심점을 산출하여 최종 유두점을 검출하는 단계(S39)를 수행한다.In addition, the step S37 of performing the step S37 of detecting the final nipple area by restoring the eroded outer portion of the nipple region using the last region detecting unit 34, 35) is used to calculate the center point of the pixels in the last nipple area to detect the last teat point (S39).

이러한 S30 단계를 통해 유두 확률누적맵을 적용함으로서 여러 영상 슬라이스에 걸쳐 나타나지 않는 유륜과 밝은 밝기값을 가지는 유선 조직 및 기타 영역으로부터 유두 영역만을 분리시켜 유두 위치 검출의 정확성을 높일 수 있는 것이다.
By applying the nipple probability accumulation map through step S30, it is possible to improve the accuracy of the detection of the nipple position by separating only the nipple region from the wool wheel which does not appear over various image slices, the wire tissue with the bright brightness value, and other regions.

본 발명에 따른 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템 및 그 검출 방법의 성능을 확인할 수 있는 실험 및 그 결과는 다음과 같다.Experiments to confirm the performance of the automatic nipple detection system and the detection method of the three-dimensional automatic breast ultrasound image according to the present invention are as follows.

실험을 위해 사용된 데이터는 6명의 환자로부터 SomoVu ScanStation(U-system, SanJose, USA)에서 획득한 3D 자동 유방 초음파 영상으로, 정면촬영(AP) 영상 11개, 측면촬영(LAT) 영상 7개이다. 영상 해상도는 595×210부터 950×210 사이이며, 영상 슬라이스 장 수는 197장부터 266장 사이이다. 실험은 모두 볼륨데이터의 관상면에서 수행되었으며, 각 볼륨데이터에서 유두가 충분히 포함되는 상위 8장의 영상 슬라이스 영역 내에서 수행되었다. 실험에 사용된 영상 슬라이스 장수는 총 144장이다. The data used for the experiment were 3D automatic breast ultrasound images obtained from SomoVu ScanStation (U-system, SanJose, USA) from 6 patients, 11 frontal (AP) and 7 lateral (LAT) images. The image resolution is between 595 × 210 and 950 × 210, and the image slice length is between 197 and 266. All of the experiments were performed on the coronal side of the volume data and were performed within the top eight image slice areas, which contain enough nipples in each volume data. The total number of image slices used in the experiment is 144.

실험으로는 육안 평가와 정확성 평가를 수행하였다. 종래 방법은 허프 변환을 이용한 타원 검출 알고리즘으로 유두를 검출한 방법이며, 관상면 슬랩-평균투영 영상 생성 후 허프 변환을 적용해 유두를 검출하는 본 발명의 방법과, 유두 확률누적맵까지 적용한 본 발명의 방법을 함께 비교하였다. 비교 방법의 실험은 제안 방법과 같은 잡음 제거와 에지 검출을 수행한 영상에서 이루어졌으며, 허프 변환의 수행 범위도 동일하게 적용되었다. In the experiment, visual evaluation and accuracy evaluation were performed. The conventional method is a method of detecting the nipple by an ellipse detection algorithm using Huff transformation. The method of the present invention for detecting the nipple by applying the Huff transformation after generating the tubular slab-average projection image and the method of the present invention Were compared together. Experiments of the comparison method were performed on the image with the noise removal and edge detection similar to the proposed method, and the range of the Huff transform was also applied.

[도 12]는 정면촬영 영상에서, [도 13]은 측면촬영 영상에서 종래 방법과 본 발명의 방법들을 적용한 유두 검출 결과를 비교한 것으로, 녹색 곡선으로 허프 변환을 통해 검출한 타원을 표시하고, 붉은 점으로 최종 유두 위치 검출점을 표시하였다. [도 12]의 (a)와 [도 13]의 (a)는 3D 자동 유방 초음파 데이터에서 각 영상 슬라이스 별로 허프 변환을 통해 검출한 타원의 중심점을 유두의 위치로 검출한 결과이며, [도 12]의 (b)와 [도 13]의 (b)는 관상면 슬랩-평균투영 영상에서 허프 변환을 적용해 구한 타원의 중심점을 유두의 위치로 검출한 결과이다. [도 12]의 (c)와 [도 13]의 (c)는 관상면 슬랩-평균투영 영상에서 허프 변환으로 검출한 타원 영역 안에서 유두 확률누적맵을 적용하여 유두 영역만을 분리한 후 유두 영역의 중심점을 유두의 위치로 검출한 결과이다.FIG. 12 is a front view photograph, FIG. 13 is a side view photograph showing a comparison between a conventional method and a nipple detection result using the methods of the present invention. In FIG. 13, The final nipple position detection point was indicated by a red dot. 12A and 13A show the result of detecting the center point of the ellipse detected by the Hough transform for each image slice in the 3D automatic breast ultrasound data at the position of the nipple, (B) and (b) of Fig. 13 are the results of detecting the center point of the ellipse obtained by applying the Hough transform in the tubular slab-average projection image to the position of the nipple. (C) and (c) of [Fig. 12] show only the nipple region by separating only the nipple region from the elliptical region detected by the Hough transform in the tubular slab-average projection image, This is the result of detecting the center point with the position of the nipple.

[도 12]의 (a)는 Data 1, 2, 3 모두에서 유선 조직이나 피부 조직까지 타원이 확장되어 검출되거나, 유선 조직에 타원이 검출되어 최종 검출점이 유두 영역 내부에 속하지 못한 영상 슬라이스를 확인 할 수 있으며, 영상 슬라이스 따라 유두 검출 결과가 상이하게 나타났다. (A) of FIG. 12 shows the detection of a video slice in which the ellipse is extended to the mammary tissue or the skin tissue in both Data 1, 2 and 3, or the ellipse is detected in the mammary gland tissue and the final detection point does not belong to the inside of the papillary region , And the nipple detection result was different according to the image slice.

반면, [도 12]의 (b)에서는 관상면 슬랩-평균투영 영상을 사용함으로서 Data 1, 2, 3 모두에서 영상 슬라이스에 따른 검출 결과의 차이 없이, 허프 변환을 통해 검출한 타원이 유선 조직에서 검출되지 않고 유륜-유두 영역에 검출되었다. 하지만 [도 12]의 (b)는 Data 2에서 타원이 유륜에 적합해 유두보다 크게 검출되었기 때문에 최종 검출점이 유두의 경계에 위치하였고, Data 3에서는 검출점이 유두 영역 내부에 속해 검출에 성공하였지만 유두의 중심보다는 유두 경계에 가깝게 검출되었다. On the other hand, in (b) of FIG. 12, by using the tubular slab-average projection image, the ellipses detected through the Huff transformation without any difference in the detection results according to the image slices in Data 1, But was detected in the fringe-nipple region. In Fig. 12 (b), however, the final detection point was located at the border of the nipple because the ellipse was detected larger than the nipple in Data 2, and in Data 3, the detection point was within the nipple region, Was detected closer to the nipple than to the center of the nipple.

그러나 [도 12]의 (c)에서는 유두 확률누적맵을 적용해 유두나 기타 조직 영역으로부터 유륜 영역만 검출함으로서, [도 12]의 (b)에서 잘못 검출되거나 유두의 경계에 가까운 검출점이 유두의 중심에 가깝게 보정된 것을 확인할 수 있다.However, in (c) of [Fig. 12], only the isochronous region is detected from the nipple or other tissues region by applying the nipple probability accumulation map, so that a detection point erroneously detected in [b] It can be confirmed that it is corrected close to the center.

또한, [도 13]의 (a)는 Data 1, 2에서 유선 조직이나 피부 조직에 타원이 검출되어 최종 검출점이 유두 영역 내부에 속하지 못한 영상 슬라이스를 확인 할 수 있으며, Data 3에서 유선 조직이나 피부 조직까지 타원이 확장되어 검출되었고, Data 1, 2, 3 모두에서 영상 슬라이스 따라 유두 검출 결과가 상이하게 나타났다.Fig. 13 (a) shows the image slices in which the final detection point does not belong to the inside of the papillary region in the mammary gland or skin tissue in Data 1 and 2, and in data 3, The ellipsoid was detected to extend to the tissue, and the data of the data 1, 2 and 3 showed different nipple detection results according to the image slice.

반면, [도 13]의 (b)에서는 관상면 슬랩-평균투영 영상을 사용함으로서 Data 1, 2, 3 모두에서 영상 슬라이스에 따른 검출 결과의 차이 없이, 허프 변환을 통해 검출한 타원이 유선 조직에서 검출되지 않고 유륜-유두 영역에 검출되었다. 하지만 [도 13]의 (b) Data 1에서 타원이 유방 경계까지 확장되어 검출점이 유두 경계 가까이에 검출되었고, Data 2에서는 유륜에 적합해 유두보다 크게 검출되었기 때문에 최종 검출점이 유두 내부에 속하기는 하지만 유두 중심보다는 경계에 가깝게 검출되었다. 또한 Data 3에서는 타원이 유선 조직으로 인해 발생한 에지까지 확장되어 최종 검출점이 유두 경계에 위치한 것을 확인할 수 있다. 유두 확률누적맵을 적용해 유두나 기타 조직 영역으로부터 유륜 영역만 검출한 [도 13]의 (c)의 경우, Data 1, 2, 3 모두에서 [도 13]의 (b)에서 잘못 검출되거나 유두의 경계에 가까운 검출점이 유두의 중심에 가깝게 보정된 것을 확인 할 수 있다. On the other hand, in (b) of FIG. 13, by using the tubular slab-average projection image, the ellipses detected through the Hough transform without any difference in the detection results according to the image slices in Data 1, But was detected in the fringe-nipple region. However, in (b) Data 1 of [Fig. 13], the detection point was detected near the nipple boundary and the data point 2 was detected larger than the nipple because the ellipse was extended to the breast boundary. However, it was detected near the border rather than the nipple center. In Data 3, we can see that the ellipse extends to the edge caused by the wired tissue and the final detection point is located at the nipple boundary. In the case of (c) of Fig. 13 in which only the area of the eye region is detected from the nipple or other tissues region by applying the nipple probability accumulation map, the data 1, 2 and 3 are wrongly detected in [b] It can be confirmed that the detection point near the boundary of the nipple is corrected close to the center of the nipple.

정확성 평가는 유두 검출점의 위치가 유두 영역 내에 포함되는지 여부를 측정하였으며, 검출점이 유두 경계에 위치하는 경우는 검출 성공으로 인정하지 않았다. [도 14]는 종래 유두 검출 방법과 본 발명의 유두 검출 방법들을 전체(total) 144장의 영상, 정면촬영(AP) 영상 및 측면촬영(LAT) 영상에서 유두 검출율을 비교한 것으로, (a)는 허프 변환을 이용한 종래 유두 검출 방법이며, (b)는 슬랩-평균투영을 이용한 종래 유두 검출 방법이며, (c)는 본 발명의 슬랩-평균투영 및 확률누적맵을 이용한 본 발명의 유두 검출 방법으로, 전체 영상 슬라이스이스에 대해서는 (a) 허프 변환을 이용한 유두 검출 방법보다 (c)는 본 발명의 유두 검출 방법이 51.64% 향상된 검출율을 보였고, (b) 슬랩-평균투영 영상을 이용한 종래 유두 검출 제안 방법보다 (c)는 본 발명의 유두 검출 방법이 21.78% 향상된 검출율을 나타내었다. In the accuracy evaluation, whether or not the position of the nipple detection point was included in the nipple area was measured, and when the detection point was located at the nipple boundary, it was not recognized as the detection success. FIG. 14 is a chart comparing the detection rates of nipples in the conventional nipple detection method and the nipple detection methods of the present invention in 144 total images, front-view (AP), and side-view (LAT) (B) is a conventional teat detection method using a slab-average projection, and (c) shows a teat detection method according to the present invention using the slab-average projection and probability accumulation map of the present invention (C) the detection rate of the nipple detection method of the present invention was 51.64% higher than that of the nipple detection method using the Huff transformation, (b) the conventional nipple using the slab- (C) shows a detection rate improved by 21.78% in the nipple detection method of the present invention.

또한 정면촬영(AP) 영상 보다 측면촬영(LAP)에서 (c)는 본 발명의 유두 검출 방법이 더 높은 검출율 향상을 보였다. 측면촬영 영상의 경우, 유방 경계의 에지가 여러 영상 슬라이스에 걸쳐 강하게 나타나며, 유두가 유방 경계에 가깝게 치우쳐져 있어 (a) 허프 변환을 이용한 종래 유두 검출 방법이나 (b) 슬랩-평균투영 영상에서 허프 변환을 이용해 유두를 검출한 종래 발명의 방법에서 에지가 강한 유방 경계에 타원이 걸쳐져 검출됨을 알 수 있었다. 반면, (c) 슬랩-평균투영 영상과 유두 확률누적맵을 이용해 유두를 검출한 본 발명의 방법의 경우, 유방 경계에 타원이 걸쳐 검출되더라도 유두 확률누적맵을 통해 확률이 높은 유두 영역을 정확하게 검출하기 때문에, (a) 허프 변환만을 이용한 종래 방법과 (b) 슬랩-평균투영 영상에서 허프 변환을 통해 유두를 검출한 종래 방법 보다 각각 57.13%, 28.57% 향상된 검출율을 나타냈다. In addition, in (L), (c), the nipple detection method of the present invention showed a higher detection rate improvement than the frontal (AP) image. In the case of the lateral radiograph, the edge of the breast border appears strongly on several image slices, and the nipple is biased close to the breast boundary. (A) The conventional nipple detection method using Hough transform or (b) In the method of the present invention in which the nipple was detected using the transformation, it was found that the ellipse was detected on the strong breast boundary by the edge. On the other hand, in the case of the method of the present invention in which the nipple is detected by using the slab-average projection image and the nipple probability accumulation map, even if an ellipse is detected on the breast boundary, the nipple region having a high probability is accurately detected (A) the detection rate was 57.13% and 28.57% higher than the conventional method using only the Hough transform and (b) the conventional method using the Hough transform in the slab-average projected image, respectively.

이를 통해 본 발명에 따른 슬랩-평균투영 영상과 유두 확률누적맵을 이용해 유두를 검출 방법을 적용할 경우, 유두가 유방 경계로 치우친 측면촬영 영상에서도 정확하게 유두의 위치를 검출할 수 있음을 확인할 수 있었다.
Thus, it can be seen that when the nipple detection method is applied using the slab-average projection image and the nipple probability accumulation map according to the present invention, the nipple can accurately detect the position of the nipple even in the side-view image shifted to the breast border .

이상 본 발명의 실시예로 설명하였으나 본 발명의 기술적 사상이 상기 실시예로 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범주에서 다양한 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템 및 그 검출 방법으로 구현할 수 있다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the scope of the present invention is not limited to the disclosed exemplary embodiments and that various types of automatic three- .

10 : 왜도분석부
11 : 잡음제거 필터부
12 : 영상왜도 분석부
13 : 영상 슬라이스 선별부
14 : 관상면 영상 분석부
20 : 유두-유륜 영역 검출부
21 : 에지검출부
22 : 타원검출부
30 : 유두 위치 검출부
31 : 오츠 임계값 적용부
32 : 유두 후보 검출부
33 : 침삭 기법 적용부
34 : 최종 영역 검출부
35 : 최종 유두 검출부
50 : 유두 자동 검출 시스템10: Distortion analysis section
11: Noise canceling filter section
12: Image distortion analysis section
13: image slice sorting unit
14: coronal image analysis section
20: nipple-shoulder region detection unit
21: edge detector
22:
30: nipple position detecting section
31: Oats threshold value application part
32: nipple candidate detection unit
33: Application of the caulking technique
34:
35: Final nipple detection unit
50: Nipple automatic detection system

Claims (17)

3D 자동 유방 초음파 영상에 관하여, 왜도 분석으로 유두 검출을 위한 영상 슬라이스를 선별하고 관상면 슬랩-평균투영 영상을 생성하는 왜도분석부;
상기 관상면 슬랩-평균투영 영상에 관하여, 허프 변환으로 유두-유륜 영역을 검출하는 유두-유륜 영역 검출부 및
유두가 포함된 영상 슬라이스에 관하여, 유두 확률누적맵을 생성하여 최종 유두 위치를 검출하는 유두 위치 검출부를 포함하며,
상기 유두 위치 검출부는,
상기 유두-유륜 영역이 검출된 영상슬라이스에 대하여, 누적 히스토그램을 생성하여 3D 오츠 임계값 기법을 적용하는 오츠 임계값 적용부;
유두 확률누적맵에서 누적확률 값이 가장 큰 화소들을 유두 후보 화소로 선정하여, 유두 후보 영역을 검출하는 유두 후보 검출부;
형태학적 연산의 침식 기법으로 유두가 아닌 영역을 제거하는 침식기법 적용부;
형태학적 연산의 확장 기법으로 유두 영역의 침식된 외곽 부분을 복원하여, 최종 유두 영역을 검출하는 최종 영역 검출부 및
상기 최종 유두 영역에서 화소들의 중심점을 산출하여 최종 유두점을 검출하는 최종 유두 검출부를 포함하는 것을 특징으로 하는 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템.
For a 3D automatic breast ultrasound image, a distortion analysis unit for selecting an image slice for nipple detection by a distortion analysis and generating a coronal slab-average projection image;
With respect to the tubular slab-average projection image, a nipple-to-shoulder region detection unit for detecting the nipple-toothed wheel region by Huff transformation,
And a nipple position detector for detecting a final nipple position by generating a nipple cumulative accumulation map with respect to the image slice including the nipple,
The nipple position detecting unit
An ozone threshold value applying unit for generating a cumulative histogram for the image slice in which the nipple-to-shoulder region is detected and applying a 3D ozt value threshold technique;
A nipple candidate detector for detecting a nipple candidate region by selecting pixels having the largest cumulative probability value in the nipple probability accumulation map as nipple candidate pixels;
Application of erosion technique to remove non - nipple area by erosion technique of morphological operation;
A morphological computation extension technique is used to reconstruct the eroded outer portion of the nipple region and to detect the final nipple region,
And a final nipple detecting unit for detecting a final nipple point by calculating a center point of pixels in the last nipple region.
제1항에 있어서,
상기 왜도분석부는
3D 자동 유방 초음파 영상에 대하여, 관상면 영상 슬라이스 내에 잡음을 제거하는 잡음제거 필터부;
잡음 제거된 영상 슬라이스에 관하여, 영상 왜도 분석을 수행하는 영상왜도 분석부;
상기 영상 슬라이스의 왜도를 계산하여, 특정 왜도 임계값 이하의 영상슬라이스를 선별하는 영상 슬라이스 선별부 및
선별된 영상 슬라이스에서 대하여, 관상면 슬랩-평균투영 영상을 생성하는 관상면 영상 분석부를 포함하는 것을 특징으로 하는 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템.
The method according to claim 1,
The distortion analysis unit
A noise canceling filter unit for removing noise in the coronal image slice with respect to the 3D automatic breast ultrasound image;
An image distortion analyzing unit for performing image distortion analysis on the noise-removed image slice;
A video slice selector for calculating the degree of distortion of the video slice and selecting a video slice having a predetermined threshold value or less;
And a coronal image analyzing unit for generating a coronal image slab-average projected image with respect to the selected image slice.
제2항에 있어서,
상기 왜도는 영상 밝기값의 비대칭적 확률분포를 나타내는 지표로, [수학식 1]을 통해 산출되는 것을 특징으로 하는 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템.
[수학식 1]
Figure 112013101524304-pat00004

이때, 확률변수 X의 평균 μ, 표준편차 σ에 대한 왜도 r1은 확률분포의 비대칭성을 나타내는 지표임.
3. The method of claim 2,
Wherein the degree of distortion is an index representing an asymmetric probability distribution of image brightness values, and is calculated through Equation (1).
[Equation 1]
Figure 112013101524304-pat00004

At this time, the reason r 1 for the mean μ and standard deviation σ of the random variable X is an index showing the asymmetry of the probability distribution.
제2항에 있어서,
상기 관상면 슬랩-평균투영 영상은
관상면 방향으로 추적되는 각 화소들의 밝기값을 누적해 더한 후 선별된 영상 슬라이스의 장수로 나누어 생성되는 것을 특징으로 하는 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템.
3. The method of claim 2,
The coronal slab-average projection image
Wherein the brightness value of each pixel traced in the coronal plane direction is accumulated and divided by the number of images of the selected image slice, and the automatic nipple detection system of the three-dimensional automatic breast ultrasound image.
제1항에 있어서,
상기 유두-유륜 영역 검출부는,
상기 관상면 슬랩-평균투영 영상에 소벨 연산자를 사용하여, 에지를 검출하는 에지검출부 및
에지 검출 영상에 허프 변환을 이용한 타원 검출 알고리즘을 적용하여, 유두-유륜 영역을 검출하는 타원검출부를 포함하는 것을 특징으로 하는 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템.
The method according to claim 1,
The nipple-and-shoulder-ring region detecting unit includes:
An edge detector for detecting an edge using the Sobel operator on the tubular slab-average projection image,
And an ellipse detection unit for detecting the nipple-isochronous region by applying an ellipse detection algorithm using an Hough transform to the edge detection image. The automatic nipple detection system of the three-dimensional automatic breast ultrasound image.
제5항에 있어서,
상기 타원 검출 알고리즘은,
상기 에지 검출 영상의 상하 일부 영역을 제외한 중심 영역 범위에서 적용되는 것을 특징으로 하는 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템.
6. The method of claim 5,
The ellipse detection algorithm includes:
Wherein the edge detection image is applied to a center region range excluding upper and lower partial regions of the edge detection image.
제5항에 있어서,
상기 타원 검출은
타원의 방정식을 매개변수 공간으로 변환하여, 타원을 구해 타원의 둘레에 존재하는 에지 화소의 수를 누적하여, 최대 에지 화소를 포함하는 타원을 유두-유륜 영역으로 검출하며, 타원의 매개변수 방정식은 [수학식 2]로 산출되는 것을 특징으로 하는 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템.
[수학식 2]
Figure 112013101524304-pat00005

이때,(Xc, Yc)는 타원의 중심점, A는 장축 길이의 1/2, B는 단축 길이의 1/2, θ는 타원의 회전각을 나타낸다. t는 0에서 2π사이의 값이며, (X(t), Y(t))는 타원을 이루는 한 점의 좌표임.
6. The method of claim 5,
The ellipse detection
The ellipse is transformed into a parameter space to obtain an ellipse, and the number of edge pixels existing around the ellipse is accumulated to detect the ellipse including the maximum edge pixel as the nipple-toe wheel region. The parameter equation of the ellipse (3) The automatic nipple detection system of a three-dimensional automatic breast ultrasound image.
&Quot; (2) "
Figure 112013101524304-pat00005

Here, (X c , Y c ) is the center point of the ellipse, A is 1/2 of the major axis length, B is 1/2 of the minor axis length, and θ is the rotation angle of the ellipse. t is a value between 0 and 2π, and (X (t), Y (t)) is the coordinate of a point forming an ellipse.
삭제delete 제1항에 있어서,
상기 오츠 임계값 기법은,
설정 밝기값 이하 영역에 화소에 확률값을 부여하고, 다수의 영상 슬라이스에 누적시켜 유두 확률누적맵을 생성하는 것이며, 상기 유두 확률누접맵에 속하는 누적 확률 값은 [수학식 3]으로 산출되는 것을 특징으로 하는 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템.
[수학식 3]
Figure 112015006741558-pat00006

이때, n은 유두가 충분히 포함되는 상위 영상 슬라이스의 장수, fb는 3D 오츠 임계값 기법을 수행한 결과 영상임.
The method according to claim 1,
The Ots < RTI ID = 0.0 >
A probability value is given to a pixel in a region below a set brightness value and is accumulated in a plurality of image slices to generate a teat probability accumulation map, and a cumulative probability value belonging to the teat probability map is calculated by Equation (3) The automatic nipple detection system of 3 - D automatic breast ultrasound image.
&Quot; (3) "
Figure 112015006741558-pat00006

In this case, n is the length of the upper image slice including the nipple sufficiently, and f b is the image obtained by performing the 3D OTS threshold technique.
(a) 왜도분석부를 이용하여, 3D 자동 유방 초음파 영상에 관하여, 왜도 분석으로 유두 검출을 위한 영상 슬라이스를 선별하는 단계;
(b) 선별된 영상 슬라이스에 관한 관상면 슬랩-평균투영 영상을 생성하는 단계;
(c) 유두-유륜 영역 검출부를 이용하여, 상기 관상면 슬랩-평균투영 영상에 관하여, 허프 변환으로 유두-유륜 영역을 검출하는 단계 및
(d) 유두 위치 검출부를 이용하여, 유두가 포함된 영상 슬라이스에 관하여, 유두 확률누적맵을 생성하여 최종 유두 위치를 검출하는 단계를 포함하며,
상기 (d) 단계는,
(d-1) 오츠 임계값 적용부를 이용하여, 상기 유두-유륜 영역이 검출된 영상슬라이스에 대하여, 누적 히스토그램을 생성하여 3D 오츠 임계값 기법을 적용하는 단계;
(d-2) 유두 후보 검출부를 이용하여, 유두 확률누적맵에서 누적확률 값이 가장 큰 화소들을 유두 후보 화소로 선정하여, 유두 후보 영역을 검출하는 단계;
(d-3) 침식기법 적용부를 이용하여, 형태학적 연산의 침식 기법으로 유두가 아닌 영역을 제거하는 단계;
(d-4) 최종 영역 검출부를 이용하여, 형태학적 연산의 확장 기법으로 유두 영역의 침식된 외곽 부분을 복원하여, 최종 유두 영역을 검출하는 단계 및
(d-5) 상기 최종 유두 영역에서 화소들의 중심점을 산출하여 최종 유두점을 검출하는 단계를 포함하는 것을 특징으로 하는 3차원 자동 유방 초음파 영상의 유두 자동 검출 방법.
(a) selecting a video slice for nipple detection by a distortion analysis with respect to a 3D automatic breast ultrasound image using a distortion analyzing unit;
(b) generating a coronal slab-average projection image of the selected image slice;
(c) detecting the nipple-to-shoulder region by Hough transform with respect to the tubular slab-average projection image using the nipple-to-shoulder region detection unit, and
(d) generating a nipple probability accumulation map and detecting a last nipple position with respect to the image slice including the nipple using the nipple position detecting unit,
The step (d)
(d-1) generating a cumulative histogram for the image slice in which the nipple-to-shoulder region is detected using the ozone threshold value applying unit, and applying a 3D ozochi threshold value technique;
(d-2) detecting nipple candidate regions by selecting pixels having the largest cumulative probability value in the nipple probability accumulation map as nipple candidate pixels using the nipple candidate detection unit;
(d-3) removing the non-nipple area by the erosion technique of the morphological operation using the erosion technique application part;
(d-4) detecting the final nipple area by restoring the eroded outer portion of the nipple region by using the last region detecting unit,
(d-5) calculating a center point of the pixels in the last nipple area to detect a final nipple point, and automatically detecting the nipple of the three-dimensional automatic breast ultrasound image.
제10항에 있어서,
상기 (a) 단계는,
(a-1) 영상왜도 분석부를 이용하여, 3D 자동 유방 초음파 영상에 관하여, 영상 왜도 분석을 수행하는 단계 및
(a-2) 영상 슬라이스 선별부를 이용하여, 상기 영상 슬라이스의 왜도를 계산하여, 특정 왜도 임계값 이하의 영상슬라이스를 선별하는 단계를 포함하는 것을 특징으로 하는 3차원 자동 유방 초음파 영상의 유두 자동 검출 방법.
11. The method of claim 10,
The step (a)
(a-1) performing image distortion analysis on the 3D automatic breast ultrasound image using the image distortion analyzing unit, and
(a-2) calculating a degree of distortion of the image slice using the image slice sorting unit, and sorting image slices having a certain degree of distortion threshold value or less. Automatic detection method.
제11항에 있어서,
상기 (a-1) 단계 이전에
(a-3) 가우시안 잡음 제거 필터로 왜도 분석된 관상면 영상 슬라이스의 잡음을 제거하는 단계를 더 포함하는 것을 특징으로 하는 3차원 자동 유방 초음파 영상의 유두 자동 검출 방법.
12. The method of claim 11,
Before the step (a-1)
(a-3) removing the noise of the coronal image slice analyzed by the Gaussian noise elimination filter to analyze the nipples of the three-dimensional automatic breast ultrasound image.
제10항에 있어서,
상기 (b) 단계는,
관상면 방향으로 추적되는 각 화소들의 밝기값을 누적해 더한 후 선별된 영상 슬라이스의 장수로 나누어 관상면 슬랩-평균투영 영상을 생성하는 것을 특징으로 하는 3차원 자동 유방 초음파 영상의 유두 자동 검출 방법.
11. The method of claim 10,
The step (b)
Wherein the brightness value of each pixel traced in the coronal plane direction is accumulated and divided by the number of the selected image slices to generate a tubular slab-average projection image.
제10항에 있어서,
상기 (c) 단계는,
(c-1) 에지검출부를 이용하여, 상기 관상면 슬랩-평균투영 영상에 소벨 연산자를 사용하여, 에지를 검출하는 단계 및
(c-2) 타원검출부를 이용하여, 에지 검출 영상에 허프 변환을 이용한 타원 검출 알고리즘을 적용하여, 유두-유륜 영역을 검출하는 단계를 포함하는 것을 특징으로 하는 3차원 자동 유방 초음파 영상의 유두 자동 검출 방법.
11. The method of claim 10,
The step (c)
(c-1) detecting an edge by using a Sobel operator on the tubular slab-average projection image using an edge detection unit, and
(c-2) applying an ellipse detection algorithm using the Hough transform to the edge detection image using the ellipse detection unit, and detecting the nipple-toothed wheel region. Detection method.
제14항에 있어서,
상기 (c-2) 단계는,
에지 검출 영상의 상하 일부 영역을 제외한 중심 영역 범위에서 적용되는 것을 특징으로 하는 3차원 자동 유방 초음파 영상의 유두 자동 검출 방법.
15. The method of claim 14,
The step (c-2)
Wherein the edge detection is applied to a range of a central region except for the upper and lower partial regions of the edge detection image.
삭제delete 제10항에 있어서,
상기 (d-1) 단계는,
설정 밝기값 이하 영역에 화소에 확률값을 부여하고, 다수의 영상 슬라이스에 누적시켜 유두 확률누적맵을 생성하는 단계인 것을 특징으로 하는 3차원 자동 유방 초음파 영상의 유두 자동 검출 방법.11. The method of claim 10,
The step (d-1)
Wherein a probability value is given to a pixel in a region below a set brightness value and accumulated in a plurality of image slices to generate a nipple probability accumulation map.
KR20130134735A 2013-11-07 2013-11-07 Nipple automatic detection system and the method in 3D automated breast ultrasound images KR101494975B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130134735A KR101494975B1 (en) 2013-11-07 2013-11-07 Nipple automatic detection system and the method in 3D automated breast ultrasound images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130134735A KR101494975B1 (en) 2013-11-07 2013-11-07 Nipple automatic detection system and the method in 3D automated breast ultrasound images

Publications (1)

Publication Number Publication Date
KR101494975B1 true KR101494975B1 (en) 2015-02-25

Family

ID=52594283

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130134735A KR101494975B1 (en) 2013-11-07 2013-11-07 Nipple automatic detection system and the method in 3D automated breast ultrasound images

Country Status (1)

Country Link
KR (1) KR101494975B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170126669A (en) * 2016-05-10 2017-11-20 (주)바텍이우홀딩스 Apparatus and method for aligning 3d head image
KR102540173B1 (en) * 2022-09-14 2023-06-07 주식회사 스키아 Breast region segmentation apparatus and method using magnetic resonance images

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100094045A (en) * 2009-02-18 2010-08-26 김계영 Lewd image detection method using papilla and breast line

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100094045A (en) * 2009-02-18 2010-08-26 김계영 Lewd image detection method using papilla and breast line

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170126669A (en) * 2016-05-10 2017-11-20 (주)바텍이우홀딩스 Apparatus and method for aligning 3d head image
KR101963358B1 (en) 2016-05-10 2019-03-28 (주)바텍이우홀딩스 Apparatus and method for aligning 3d head image
KR102540173B1 (en) * 2022-09-14 2023-06-07 주식회사 스키아 Breast region segmentation apparatus and method using magnetic resonance images

Similar Documents

Publication Publication Date Title
US8634622B2 (en) Computer-aided detection of regions of interest in tomographic breast imagery
Raba et al. Breast segmentation with pectoral muscle suppression on digital mammograms
EP2916737B1 (en) System and method for automated detection of lung nodules in medical images
JP4999163B2 (en) Image processing method, apparatus, and program
JP6031454B2 (en) Method and apparatus for identifying latent anomalies in imaging data and its application to medical images
Pandey et al. Automatic and fast segmentation of breast region-of-interest (ROI) and density in MRIs
JP6273291B2 (en) Image processing apparatus and method
US7480401B2 (en) Method for local surface smoothing with application to chest wall nodule segmentation in lung CT data
US9672600B2 (en) Clavicle suppression in radiographic images
Chen et al. Snake model-based lymphoma segmentation for sequential CT images
Lee et al. Detection and segmentation of small renal masses in contrast-enhanced CT images using texture and context feature classification
Ojo et al. Pre-processing method for extraction of pectoral muscle and removal of artefacts in mammogram
KR101494975B1 (en) Nipple automatic detection system and the method in 3D automated breast ultrasound images
Liu et al. Segmentation of mass in mammograms by a novel integrated active contour method
Myint et al. Effective kidney segmentation using gradient based approach in abdominal CT images
KR101126223B1 (en) Liver segmentation method using MR images
JP2002133397A (en) Abnormal shadow candidate detector
Swanly et al. Smart spotting of pulmonary TB cavities using CT images
JP2005211439A (en) Abnormal shadow display device and program thereof
Shi et al. A joint ROI extraction filter for computer aided lung nodule detection
Liu et al. Detection and station mapping of mediastinal lymph nodes on thoracic computed tomography using spatial prior from multi-atlas label fusion
Tan et al. Finding lesion correspondences in different views of automated 3D breast ultrasound
Bethapudi et al. Detection of malignancy in digital mammograms from segmented breast region using morphological techniques
Schwaab et al. Image quality in automated breast ultrasound images: a preliminary study for the development of automated image quality assessment
Belhaouair et al. On a new approach to the automated detection of thoracic organs diseases using the spot feature in the analysis of digital X-ray images

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180201

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190201

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200115

Year of fee payment: 6