KR102233768B1 - Method, apparatus, computer program, and computer readable medium for quantification of retinal blood vessel tortuosity by analysing fundus photographs - Google Patents

Method, apparatus, computer program, and computer readable medium for quantification of retinal blood vessel tortuosity by analysing fundus photographs Download PDF

Info

Publication number
KR102233768B1
KR102233768B1 KR1020190142869A KR20190142869A KR102233768B1 KR 102233768 B1 KR102233768 B1 KR 102233768B1 KR 1020190142869 A KR1020190142869 A KR 1020190142869A KR 20190142869 A KR20190142869 A KR 20190142869A KR 102233768 B1 KR102233768 B1 KR 102233768B1
Authority
KR
South Korea
Prior art keywords
retinal blood
blood vessel
point
unit
photograph image
Prior art date
Application number
KR1020190142869A
Other languages
Korean (ko)
Inventor
권윤형
김종수
김윤경
Original Assignee
동아대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동아대학교 산학협력단 filed Critical 동아대학교 산학협력단
Priority to KR1020190142869A priority Critical patent/KR102233768B1/en
Application granted granted Critical
Publication of KR102233768B1 publication Critical patent/KR102233768B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/04Babies, e.g. for SIDS detection
    • A61B2503/045Newborns, e.g. premature baby monitoring

Abstract

Provided are a method, device, computer program, and computer readable medium for quantification of tortuosity of retinal blood vessel through fundus image analysis. The method for quantification of tortuosity of retinal blood vessel according to the present invention comprises the steps of: obtaining a fundus image; specifying a reference point on retinal blood vessel located at a point separated by a predetermined straight line distance d from a starting point of retinal blood vessel located at the margin of the optic disc in the fundus image; measuring a length b of the retinal blood vessel from the starting point to the reference point in the fundus image; calculating a value obtained by dividing the measured b by d as a bending index of the retinal blood vessel; and outputting the bending index. The bending index derived by the present invention can be used as an auxiliary diagnostic tool in determining the course and treatment timing of the retinopathy of prematurity.

Description

안저사진 이미지 분석을 통한 망막혈관 구불거림의 정량화 방법, 장치, 컴퓨터프로그램 및 컴퓨터 판독가능 매체{METHOD, APPARATUS, COMPUTER PROGRAM, AND COMPUTER READABLE MEDIUM FOR QUANTIFICATION OF RETINAL BLOOD VESSEL TORTUOSITY BY ANALYSING FUNDUS PHOTOGRAPHS}Method, device, computer program, and computer readable medium for quantifying retinal blood vessels through fundus photo image analysis {METHOD, APPARATUS, COMPUTER PROGRAM, AND COMPUTER READABLE MEDIUM FOR QUANTIFICATION OF RETINAL BLOOD VESSEL TORTUOSITY BY ANALYSING FUNDUS PHOTOGRAPHS}

본 발명은 망막혈관 구불거림을 정량화하는 방법에 관한 것으로서, 보다 상세하게는 안저사진 이미지 분석을 통해 망막혈관이 구불거리는 정도를 객관화하는 방법에 관한 것이다. The present invention relates to a method of quantifying retinal blood vessel sway, and more particularly, to a method of objectifying the degree of retinal blood vessel sway through fundus photo image analysis.

일반적으로, 망막혈관의 구불거림이 필수적인 진단기준에 들어가는 안과질환들이 있다. 예를 들어, 미숙아망막병증(Retinopathy Of Prematurity)이 그러한 안과질환에 해당한다. In general, there are ophthalmic diseases in which retinal blood vessel swaying is an essential diagnostic criterion. For example, Retinopathy Of Prematurity is such an eye disease.

미숙아망막병증은 미숙아, 특히 저체중출생아에게서 발생할 수 있는 질환이다. 출생시 망막의 혈관이 완전히 형성되지 않은 미숙아에게 출생후 혈관형성 과정에 장애가 발생하면 망막의 혈관형성 부위와 혈관무형성 부위의 경계에서 비정상적인 섬유혈관증식이 발생하는데, 미숙아망막병증은 이것이 더욱 진행하여 망막이 박리되면서 최종적으로는 실명을 초래할 수 있는 질병이다. Retinopathy of prematurity is a disease that can occur in premature infants, especially low birth weight infants. In prenatal infants whose retinal blood vessels are not completely formed at birth, abnormal fibrovascular proliferation occurs at the boundary between the angiogenesis site and the angiogenesis site of the retina when an impairment occurs in the postnatal angiogenesis process. This is a disease that can eventually lead to blindness while detached.

미숙아망막병증은 검사자가 미숙아의 망막을 검안경 등으로 관찰하여 망막동맥 등의 망막혈관을 직접 보고 진단한다. 이때, 망막혈관의 구불거리는 정도는 검사자가 주관적으로 판단하고 있다. 그래서, 검사자의 숙련도 등에 따라 진단결과가 달라지는 경우가 발생하는 문제점이 있다. Retinopathy of prematurity is diagnosed by examining retinal blood vessels such as retinal arteries by examining the retina of a premature infant with an ophthalmoscope. At this time, the degree of curvature of the retinal blood vessels is subjectively determined by the examiner. Therefore, there is a problem in that the diagnosis result may vary depending on the skill level of the examiner.

비록 신생아용 안저촬영 장비로 촬영된 미숙아의 안저사진을 통해 망막혈관의 구불거림을 판명하는 컴퓨터프로그램이 제안되어 있기는 하지만, 스마트폰 등으로 촬영한 안저사진은 화질이 나빠서 그러한 컴퓨터프로그램에 적용하기 힘들고, 그러한 컴퓨터프로그램에서 망막혈관의 구불거림을 판명하는데 사용되는 방법은 복잡하고 어렵다는 문제점이 있다. Although a computer program has been proposed to determine the writhing of the retinal blood vessels through fundus photos of premature infants taken with a newborn fundus imaging device, fundus photos taken with a smartphone or the like are of poor quality, so they can be applied to such computer programs. It is difficult, and there is a problem that the method used to determine the skewed retinal blood vessels in such a computer program is complex and difficult.

본 발명이 해결하고자 하는 과제는 안저사진 이미지 분석을 통해 망막혈관의 구불거리는 정도를 객관화할 수 있고, 스마트폰 등으로 촬영한 안저사진을 통해서도 미숙아망막병증 등의 안과질환을 진단할 수 있으며, 안저사진 이미지로부터 간단하면서 쉬운 방법으로 망막혈관의 구불거림을 판명할 수 있는 망막혈관 구불거림의 정량화 방법 및 장치, 컴퓨터와 결합되어 그러한 방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램, 및 컴퓨터에 그러한 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독가능 매체를 제공하는데 있다. The problem to be solved by the present invention is that it is possible to objectify the degree of twisting of retinal blood vessels through an analysis of a fundus photo image, and to diagnose ophthalmic diseases such as prematurity retinopathy through a fundus photo taken with a smartphone, etc. A method and apparatus for quantifying retinal vascular sway that can be used to determine swaying of retinal blood vessels in a simple and easy way from photographic images, a computer program stored in a medium to execute such a method in combination with a computer, and such a method in a computer. It is to provide a computer-readable medium in which a program for execution is recorded.

상기와 같은 문제점을 해결하기 위한 본 발명의 일 실시예에 따른 망막혈관 구불거림의 정량화 방법은: 안저사진 이미지를 획득하는 단계; 상기 안저사진 이미지에서 시신경유두의 변연에 위치한 망막혈관의 시작점으로부터 미리 정해진 직선거리 d만큼 떨어진 지점에 위치한 상기 망막혈관 상의 기준점을 특정하는 단계; 상기 안저사진 이미지에서 상기 시작점으로부터 상기 기준점까지의 상기 망막혈관의 길이 b를 측정하는 단계; 상기 측정된 b를 상기 d로 나눈 값을 상기 망막혈관의 굴곡지수로서 산출하는 단계; 및 상기 굴곡지수를 출력하는 단계;를 포함한다.A method for quantifying retinal blood vessel wobble according to an embodiment of the present invention for solving the above problems includes: acquiring a fundus photograph image; Specifying a reference point on the retinal blood vessel located in the fundus photograph image by a predetermined linear distance d from the starting point of the retinal blood vessel located at the margin of the optic nerve papilla; Measuring a length b of the retinal blood vessel from the starting point to the reference point in the fundus photograph image; Calculating a value obtained by dividing the measured b by d as a flexion index of the retinal blood vessels; And outputting the flexure index.

바람직하게는, 상기 기준점을 특정하는 단계는: 상기 안저사진 이미지에서 상기 d의 길이를 갖고 일단 및 타단이 각각 상기 시작점 및 상기 망막혈관 상의 일지점에 위치하는 기준직선을 입력받는 단계; 및 상기 입력받은 기준직선의 타단이 위치하는 지점을 상기 기준점으로 특정하는 단계;를 포함하고, 상기 b를 측정하는 단계는: 상기 안저사진 이미지에서 상기 시작점으로 상기 기준점까지의 상기 망막혈관에 해당하는 부분을 입력받는 단계; 및 상기 입력받은 부분의 길이를 측정하여 상기 b로 설정하는 단계;를 포함한다.Preferably, the step of specifying the reference point includes: receiving a reference straight line having the length d in the fundus photograph image and having one end and the other end respectively located at the starting point and a point on the retinal blood vessel; And specifying a point at which the other end of the received reference line is located as the reference point; including, and measuring b includes: corresponding to the retinal blood vessel from the fundus photograph image to the reference point from the start point. Receiving a part; And measuring the length of the received portion and setting it to b.

바람직하게는, 상기 정량화 방법은: 상기 안저사진 이미지에서 시신경유두의 직경 a를 측정하는 단계; 및 상기 d를 상기 a에 미리 정해진 값 k(2≤k≤4)를 곱한 값으로 설정하는 단계를 더 포함한다. Preferably, the quantification method comprises: measuring the diameter a of the optic nerve papilla in the fundus photograph image; And setting d to a value obtained by multiplying a by a predetermined value k (2≦k≦4).

바람직하게는, 상기 a를 측정하는 단계는: 상기 안저사진 이미지에서 상기 시신경유두의 직경에 해당하는 부분을 입력받는 단계; 및 상기 입력받은 부분의 길이를 측정하여 상기 a로 설정하는 단계;를 포함한다. Preferably, the step of measuring a includes: receiving a portion corresponding to the diameter of the optic nerve papilla in the fundus photograph image; And measuring the length of the received part and setting it as a.

상기와 같은 문제점을 해결하기 위한 본 발명의 일 실시예에 따른 망막혈관 구불거림의 정량화 장치는 입력부, 출력부, 프로세서, 및 상기 프로세서에 의해 실행 가능한 명령어들을 저장하는 매체를 포함하고, 상기 프로세서는 상기 명령어들을 실행함으로써: 안저사진 이미지를 획득하는 이미지 획득부; 상기 획득된 안저사진 이미지에서 시신경유두의 변연에 위치한 망막혈관의 시작점으로부터 미리 정해진 직선거리 d만큼 떨어진 지점에 위치한 상기 망막혈관 상의 기준점을 특정하는 기준점 특정부; 상기 안저사진 이미지에서 상기 시작점으로부터 상기 기준점까지의 상기 망막혈관의 길이 b를 측정하는 망막혈관 길이 측정부; 상기 b를 상기 d로 나눈 값을 상기 망막혈관의 굴곡지수로서 산출하는 굴곡지수 산출부; 및 상기 굴곡지수를 상기 출력부를 통해 출력하도록 제어하는 출력 제어부를 포함한다. The apparatus for quantifying retinal blood vessel fluctuation according to an embodiment of the present invention for solving the above problems includes an input unit, an output unit, a processor, and a medium storing instructions executable by the processor, and the processor is By executing the above commands: an image acquisition unit that acquires a fundus photograph image; A reference point specifying unit for specifying a reference point on the retinal vessel located at a point separated by a predetermined linear distance d from the starting point of the retinal vessel located at the margin of the optic nerve papilla in the acquired fundus photograph image; A retinal blood vessel length measuring unit measuring the length b of the retinal blood vessel from the starting point to the reference point in the fundus photograph image; A flexion index calculation unit that calculates a value obtained by dividing b by d as a flexion index of the retinal blood vessels; And an output control unit for controlling the bending index to be output through the output unit.

바람직하게는, 상기 기준점 특정부는 상기 입력부를 통해 상기 안저사진 이미지에서 상기 d의 길이를 갖고 일단 및 타단이 각각 상기 시작점 및 상기 망막혈관 상의 일지점에 위치하는 기준직선을 입력받아 상기 입력받은 기준직선의 타단이 위치하는 지점을 상기 기준점으로 특정하고, 상기 망막혈관 길이 측정부는 상기 입력부를 통해 상기 안저사진 이미지에서 상기 시작점으로부터 상기 기준점까지의 상기 망막혈관에 해당하는 부분을 입력받아 상기 입력받은 부분의 길이를 측정하여 상기 b로 설정한다. Preferably, the reference point specifying unit has the length of d in the fundus photograph image through the input unit, and one end and the other end respectively receive a reference straight line located at the starting point and a point on the retinal blood vessel, and the received reference straight line The point where the other end of is located is specified as the reference point, and the retinal vessel length measurement unit receives a portion corresponding to the retinal vessel from the start point to the reference point in the fundus photograph image through the input unit, and Measure the length and set it to b.

바람직하게는, 상기 프로세서는 상기 명령어들을 실행함으로써: 상기 안저사진 이미지에서 시신경유두의 직경 a를 측정하는 시신경유두 직경 측정부; 및 상기 d를 상기 a에 미리 정해진 값 k(2≤k≤4)를 곱한 값으로 설정하는 직선거리 설정부를 더 포함한다. Preferably, by executing the instructions, the processor comprises: an optic nerve head diameter measuring unit for measuring the diameter a of the optic nerve head in the fundus photograph image; And a linear distance setting unit that sets d to a value obtained by multiplying a by a predetermined value k (2≦k≦4).

바람직하게는, 상기 시신경유두 직경 측정부는 상기 입력부를 통해 상기 안저사진 이미지에서 상기 시신경유두의 직경에 해당하는 부분을 입력받아 상기 입력받은 직경에 해당하는 부분의 길이를 측정하여 상기 a로 설정한다.Preferably, the optic nerve nipple diameter measurement unit receives a portion corresponding to the diameter of the optic nerve nipple from the fundus photograph image through the input unit, measures the length of the portion corresponding to the input diameter, and sets it as a.

상기와 같은 문제점을 해결하기 위한 본 발명의 일 실시예에 따른 컴퓨터프로그램은 컴퓨터와 결합되어 상기 정량화 방법의 각 단계를 실행시키기 위하여 매체에 저장된 것이다. A computer program according to an embodiment of the present invention for solving the above problems is combined with a computer and stored in a medium to execute each step of the quantification method.

상기와 같은 문제점을 해결하기 위한 본 발명의 일 실시예에 따른 컴퓨터 판독가능 매체는 컴퓨터에 상기 정량화 방법의 각 단계를 실행시키기 위한 프로그램이 기록된 것이다. In the computer-readable medium according to an embodiment of the present invention for solving the above problems, a program for executing each step of the quantification method is recorded on a computer.

본 발명에 의하면, 안저사진 이미지 분석을 통해 망막혈관의 구불거리는 정도를 객관화함으로써 미숙아망막병증 등의 안과질환에 대한 진단의 정확성을 높일 수 있다. According to the present invention, it is possible to increase the accuracy of diagnosis for ophthalmic diseases such as prematurity retinopathy by objectiveizing the degree of curvature of retinal blood vessels through the analysis of fundus photographic images.

그리고, 숙련된 전문의나 별도의 안저촬영 장비가 없는 경우에도 스마트폰 등으로 촬영한 안저사진을 통해 미숙아망막병증 등의 안과질환을 진단할 수 있다. In addition, even in the absence of an experienced specialist or additional fundus photographing equipment, eye diseases such as prematurity retinopathy can be diagnosed through a fundus picture taken with a smartphone or the like.

또한, 안저사진 이미지로부터 간단하면서 쉬운 방법으로 망막혈관의 구불거림을 판명할 수 있다.In addition, it is possible to determine the writhing of the retinal blood vessels in a simple and easy way from the fundus photographic image.

본 발명에 의해 도출되는 굴곡지수는 미숙아 망막병증 등의 경과 및 치료시기를 판단하는데 있어서 보조적 진단 도구로 사용될 수 있다. The flexion index derived by the present invention can be used as an auxiliary diagnostic tool in determining the course of retinopathy of prematurity and the timing of treatment.

도1은 본 발명의 일 실시예에 따른 망막혈관 구불거림의 정량화 장치의 블록도이다.
도2는 본 발명의 일 실시예에 따른 망막혈관 구불거림의 정량화 방법의 흐름도이다.
도3은 도2의 정량화 방법을 설명하기 위한 안저사진 이미지의 예시도이다.
도4는 도2의 a를 측정하는 단계의 상세 흐름도이다.
도5는 도2의 기준점을 특정하는 단계의 상세 흐름도이다.
도6은 도2의 b를 측정하는 단계의 상세 흐름도이다.
1 is a block diagram of an apparatus for quantifying retinal blood vessel wobble according to an embodiment of the present invention.
2 is a flowchart of a method for quantifying retinal blood vessel wobble according to an embodiment of the present invention.
3 is an exemplary diagram of a fundus photograph image for explaining the quantification method of FIG. 2.
4 is a detailed flowchart of the step of measuring a in FIG. 2.
Fig. 5 is a detailed flowchart of the step of specifying the reference point in Fig. 2;
6 is a detailed flowchart of the step of measuring b of FIG. 2.

본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.The embodiments described in the present specification are intended to clearly explain the spirit of the present invention to those of ordinary skill in the technical field to which the present invention pertains, so the present invention is not limited by the embodiments described herein, and the present invention The scope of should be construed as including modifications or variations that do not depart from the spirit of the present invention.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.The terms used in this specification have been selected as general terms currently widely used in consideration of functions in the present invention, but this varies according to the intention, custom, or the emergence of new technologies of those of ordinary skill in the technical field to which the present invention belongs. I can. However, if a specific term is defined and used in an arbitrary meaning unlike this, the meaning of the term will be separately described. Therefore, the terms used in the present specification should be interpreted based on the actual meaning of the term and the entire contents of the present specification, not a simple name of the term.

본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.The drawings attached to the present specification are for easy explanation of the present invention, and the shapes shown in the drawings may be exaggerated and displayed as necessary to aid understanding of the present invention, so the present invention is not limited by the drawings.

본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.In the present specification, when it is determined that a detailed description of a well-known configuration or function related to the present invention may obscure the subject matter of the present invention, a detailed description thereof will be omitted as necessary.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 구체적으로 설명한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도1은 본 발명의 일 실시예에 따른 망막혈관 구불거림의 정량화 장치의 블록도이다. 도1을 참조하면, 정량화 장치(100)는 본 발명에 따른 망막혈관 구불거림의 정량화 방법이 프로그래밍된 애플리케이션의 탑재가 가능한 컴퓨팅 장치로 구현될 수 있다. 예를 들어, 정량화 장치(100)는 개인용 컴퓨터(PC), 워크스테이션, 서버용 컴퓨터 등의 컴퓨터, 스마트폰과 같은 휴대용 단말기 등으로 구현될 수 있다. 또한, 정량화 장치(100)는 본 발명에 따른 망막혈관 구불거림의 정량화 방법을 수행하기 위한 별도의 장치로 구현될 수도 있다. 1 is a block diagram of an apparatus for quantifying retinal blood vessel wobble according to an embodiment of the present invention. Referring to FIG. 1, the quantification device 100 may be implemented as a computing device capable of loading an application programmed with the method for quantifying retinal blood vessel wobble according to the present invention. For example, the quantification device 100 may be implemented as a personal computer (PC), a computer such as a workstation, a server computer, or a portable terminal such as a smartphone. In addition, the quantification device 100 may be implemented as a separate device for performing the method for quantifying retinal blood vessel wobble according to the present invention.

정량화 장치(100)는 프로세서(110), 저장매체(120), 입력부(130), 출력부(140), 및 통신부(150)를 포함할 수 있다. The quantification apparatus 100 may include a processor 110, a storage medium 120, an input unit 130, an output unit 140, and a communication unit 150.

프로세서(110)는 하나 이상으로 포함될 수 있다. 프로세서(110)는 통상적으로 정량화 장치(100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(110)는 저장매체(120)에 저장된 프로그램들을 실행함으로써, 입력부(130), 출력부(140), 통신부(150) 등을 전반적으로 제어할 수 있다. One or more processors 110 may be included. The processor 110 typically controls the overall operation of the quantification device 100. For example, the processor 110 may generally control the input unit 130, the output unit 140, and the communication unit 150 by executing programs stored in the storage medium 120.

저장매체(120)는 프로세서(110)에 의해 실행 가능한 명령어들을 저장한다. 저장매체(120)는 프로세서(110)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들을 저장할 수도 있다. The storage medium 120 stores instructions executable by the processor 110. The storage medium 120 may store a program for processing and control of the processor 110 or may store input/output data.

저장 매체(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 정량화 장치(100)는 인터넷 상에서 저장 매체(120)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.The storage medium 120 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg, SD or XD memory, etc.), RAM (Random Access Memory) SRAM (Static Random Access Memory), ROM (ROM, Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic It may include at least one type of storage medium among a disk and an optical disk. In addition, the quantification device 100 may operate a web storage or a cloud server that performs a storage function of the storage medium 120 on the Internet.

저장 매체(120)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류될 수 있다.Programs stored in the storage medium 120 may be classified into a plurality of modules according to their functions.

입력부(130)는 사용자가 정량화 장치(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 입력부(130)에는 키보드, 마우스, 터치스크린, 키 패드(key pad), 터치 패드 등이 있을 수 있으나 이에 한정되는 것은 아니다. The input unit 130 refers to a means for a user to input data for controlling the quantification device 100. For example, the input unit 130 may include a keyboard, a mouse, a touch screen, a key pad, and a touch pad, but is not limited thereto.

출력부(140)는 정량화 장치(100)에서 처리되는 정보를 출력한다. 예를 들어, 출력부(140)는 정량화 장치(100)가 획득한 안저사진 이미지, 정량화 장치(100)가 안저사진 이미지를 분석하여 도출한 망막혈관의 굴곡지수 등을 출력할 수 있다. 출력부(140)는 저장매체(120)에 저장된 프로그램들이 실행되어 제공되는 사용자 인터페이스도 출력할 수 있다. The output unit 140 outputs information processed by the quantification device 100. For example, the output unit 140 may output a fundus photo image obtained by the quantification device 100, a curvature index of a retinal blood vessel derived by analyzing the fundus photo image by the quantification device 100, and the like. The output unit 140 may also output a user interface provided by executing programs stored in the storage medium 120.

통신부(150)는 정량화 장치(100)와 외부의 다른 전자장치, 서버 등 간의 통신을 가능하게 하는 하나 이상의 구성요소를 포함할 수 있다. The communication unit 150 may include one or more components that enable communication between the quantification device 100 and other external electronic devices, servers, and the like.

저장매체(120)는 이미지 획득부(121), 시신경유두 직경 측정부(122), 직선거리 설정부(123), 기준점 특정부(124), 망막혈관 길이 측정부(125), 굴곡지수 산출부(126), 및 출력제어부(127)를 포함할 수 있다. The storage medium 120 includes an image acquisition unit 121, an optic nerve papillary diameter measurement unit 122, a linear distance setting unit 123, a reference point specifying unit 124, a retinal blood vessel length measurement unit 125, and a flexion index calculation unit. 126, and an output control unit 127 may be included.

이미지 획득부(121)는 안저사진 이미지를 획득할 수 있다. 이미지 획득부(121)는 통신부(150)를 통해 외부의 다른 전자장치, 서버 등으로부터 안저사진 이미지를 획득할 수 있다. 또한, 안저사진 이미지를 저장한 외부 저장매체가 정량화 장치(100)에 결합되고, 이미지 획득부(121)가 그 외부 저장매체에 저장되어 있는 안저사진 이미지를 획득할 수도 있다. 또한, 정량화 장치(100)가 카메라부(미도시)를 더 포함하고, 이미지 획득부(121)가 그 카메라부를 통해 촬영된 안저사진 이미지를 획득할 수도 있다. The image acquisition unit 121 may acquire a fundus photograph image. The image acquisition unit 121 may acquire a fundus photo image from another external electronic device or server through the communication unit 150. In addition, an external storage medium storing the fundus photograph image may be coupled to the quantification device 100, and the image acquisition unit 121 may acquire a fundus photograph image stored in the external storage medium. In addition, the quantification apparatus 100 may further include a camera unit (not shown), and the image acquisition unit 121 may acquire a fundus photograph image captured through the camera unit.

일반적으로, 스마트폰 등으로 촬영된 안저사진 이미지는 별도의 안저촬영 장비로 촬영된 안저사진 이미지보다 나쁜 화질을 갖는다. 그래서, 스마트폰 등으로 촬영된 안저사진 이미지는 종래에 별도의 안저촬영 장비로 촬영된 안저사진을 통해 망막혈관의 구불거림을 판명하던 기술에 적용하기가 힘들었다. 그러나, 정량화 장치(100)는 이하와 같이 스마트폰 등으로 촬영된 안저사진에 적합한 방식으로 망막혈관의 구불거림을 정량화할 수 있다. In general, a fundus photo image taken with a smartphone or the like has a worse quality than a fundus photo image taken with a separate fundus photographing device. Therefore, it has been difficult to apply a fundus photograph image taken with a smartphone or the like to a technique that has previously proved to be wavy in retinal blood vessels through a fundus photograph taken with a separate fundus photographing device. However, the quantification device 100 may quantify the twisting of the retinal blood vessels in a manner suitable for a fundus photograph taken with a smartphone or the like as follows.

시신경유두 측정부(122)는 이미지 획득부(121)가 획득한 안저사진 이미지에서 시신경유두의 직경 a를 측정한다. 시신경유두 측정부(122)는 그러한 측정을 위하여 입력부(130)를 통해 사용자로부터 안저사진 이미지에서 시신경유두의 직경에 해당하는 부분을 입력받고, 입력받은 부분의 길이를 측정하여 a로 설정한다. The optic nerve nipple measurement unit 122 measures the diameter a of the optic nerve nipple from the fundus photograph image acquired by the image acquisition unit 121. For such measurement, the optic nerve nipple measurement unit 122 receives a portion corresponding to the diameter of the optic nerve nipple in the fundus photograph image from the user through the input unit 130, measures the length of the input portion, and sets a.

직선거리 설정부(123)는 시신경유두 측정부(122)에서 측정된 a에 k를 곱한 값을 후술되는 직선거리 d로 설정한다. k는 사용자에 의해 미리 설정되는 값으로서 2 이상이고 4 이하인 것이 바람직하다. k가 2보다 작으면 망막혈관의 굴곡지수를 산출하는데 있어서의 기초가 되는 구간이 너무 짧아지고 k가 4보다 크면 그러한 구간이 망막혈관 전체의 길이보다 길어져서 망막혈관의 실제 구불거리는 정도가 망막혈관의 굴곡지수에 제대로 반영되지 않을 수 있다. The linear distance setting unit 123 sets a value obtained by multiplying a by k measured by the optic nerve papillary measurement unit 122 as a linear distance d to be described later. k is a value preset by the user and is preferably 2 or more and 4 or less. If k is less than 2, the section that is the basis for calculating the retinal blood vessel flexion index becomes too short, and if k is greater than 4, the section becomes longer than the total length of retinal blood vessels, and the actual curvature of the retinal blood vessels is retinal blood vessels. It may not be properly reflected in the flexural index of.

기준점 특정부(124)는 안저사진 이미지에서 망막혈관 상의 기준점을 특정한다. 기준점 특정부(124)에 의해 특정되는 망막혈관 상의 기준점은 시신경유두의 변연(경계)에 위치한 망막혈관의 시작점으로부터 직선거리 설정부(123)에서 설정된 직선거리 d만큼 떨어진 지점에 위치한다. The reference point specifying unit 124 specifies a reference point on the retinal blood vessel in the fundus photograph image. The reference point on the retinal vessel specified by the reference point specifying unit 124 is located at a point separated by a linear distance d set by the linear distance setting unit 123 from the starting point of the retinal vessel located at the margin (boundary) of the optic nerve papilla.

기준점 특정부(124)는 그러한 특정을 위하여 입력부(130)를 통해 사용자로부터 안저사진 이미지에서 d의 길이를 갖고 일단 및 타단이 각각 망막혈관의 시작점 및 망막혈관 상의 일지점에 위치하는 기준직선을 입력받고, 입력받은 기준직선의 타단이 위치하는 지점을 망막혈관 상의 기준점으로 특정한다. 이와 같이 특정되는 망막혈관 상의 기준점은 망막혈관의 시작점을 중심으로 하고 기준직선의 길이 d를 반경으로 하는 원을 그렸을 때, 그 원이 망막혈관과 만나는 지점에 해당한다. The reference point specifying unit 124 inputs a reference straight line having a length d in the fundus photograph image from the user through the input unit 130 for such identification, and the one end and the other end are respectively located at the starting point of the retinal blood vessel and a point on the retinal blood vessel. The point where the other end of the received and received baseline is located is specified as a reference point on the retinal blood vessel. The reference point on the retinal blood vessel specified in this way corresponds to the point where the circle meets the retinal blood vessel when a circle is drawn with the starting point of the retinal vessel as the center and the length d of the baseline line is drawn as a radius.

망막혈관 길이 측정부(125)는 안저사진 이미지에서 망막혈관의 시작점으로부터 망막혈관 상의 기준점까지의 망막혈관의 길이 b를 측정한다. 망막혈관 길이 측정부(125)는 그러한 측정을 위하여 입력부(130)를 통해 사용자로부터 안저사진 이미지에서 망막혈관의 시작점으로부터 망막혈관 상의 기준점까지의 망막혈관에 해당하는 부분을 입력받고, 입력받은 부분의 길이를 측정하여 b로 설정한다. The retinal blood vessel length measuring unit 125 measures the length b of the retinal blood vessel from the start point of the retinal blood vessel to the reference point on the retinal blood vessel in the fundus photograph image. For such measurement, the retinal blood vessel length measurement unit 125 receives a portion corresponding to the retinal blood vessel from the start point of the retinal blood vessel to the reference point on the retinal blood vessel in the fundus photograph image from the user through the input unit 130, and Measure the length and set it to b.

굴곡지수 산출부(126)는 망막혈관 길이 측정부(125)에서 측정된 망막혈관의 길이 b를 직선거리 d로 나눈 값을 망막혈관의 굴곡지수(Tortuosity Index: TI)로서 산출한다. The flexion index calculation unit 126 calculates a value obtained by dividing the length b of the retinal blood vessel measured by the retinal blood vessel length measuring unit 125 by the linear distance d as a tortuosity index (TI) of the retinal blood vessel.

출력제어부(172)는 굴곡지수 산출부(126)에서 산출된 굴곡지수를 출력부(140)를 통해 출력하도록 제어한다. 출력제어부(127)는 망막혈관의 굴곡지수를 제공하는 화면이 외부의 전자장치를 통해 출력되도록 제어할 수도 있다. The output control unit 172 controls to output the bending index calculated by the bending index calculation unit 126 through the output unit 140. The output control unit 127 may control a screen providing the retinal blood vessel flexion index to be output through an external electronic device.

또한, 출력제어부(172)는 이미지 획득부(121)에서 획득된 안저사진 이미지를 출력부(140)를 통해 출력하도록 제어할 수도 있고, 시신경유두 직경 측정부(122), 기준점 특정부(124), 및 망막혈관 길이 측정부(125)에서 입력부(130)를 통해 사용자로부터 데이터를 입력받기 위한 사용자 인터페이스 및 그러한 사용자 인터페이스를 이용하여 사용자로부터 입력되는 데이터를 출력부(140)를 통해 출력하도록 제어할 수도 있다. In addition, the output control unit 172 may control to output the fundus photograph image obtained by the image acquisition unit 121 through the output unit 140, and the optic nerve head diameter measurement unit 122, the reference point specifying unit 124 , And a user interface for receiving data from the user through the input unit 130 in the retinal blood vessel length measurement unit 125 and control to output data input from the user through the output unit 140 using the user interface. May be.

한편, 시신경유두 직경 측정부(122), 기준점 특정부(124), 망막혈관 길이 측정부(125) 등은 ImageJ와 같은 공지의 프로그램을 사용하여 구현될 수 있다. ImageJ 프로그램은 온라인 애플릿 또는 다운로드 가능한 응용 프로그램 중 하나로 실행되고, 8 비트, 16 비트 및 32 비트 이미지를 표시, 편집, 분석, 처리, 저장 및 인쇄 할 수 있으며, TIFF, GIF, JPEG, BMP, DICOM, FITS 등의 대부분의 주요 형식을 지원하는 프로그램이다. ImageJ 프로그램을 사용하면 사진 이미지 상에서 원하는 직선이나 곡선의 길이를 간편하게 측정할 수 있다. Meanwhile, the optic nerve papillary diameter measurement unit 122, the reference point specifying unit 124, and the retinal blood vessel length measurement unit 125 may be implemented using a known program such as ImageJ. The ImageJ program runs as an online applet or as one of the downloadable applications and can display, edit, analyze, process, save and print 8-bit, 16-bit and 32-bit images, TIFF, GIF, JPEG, BMP, DICOM, It is a program that supports most major formats such as FITS. Using the ImageJ program, you can easily measure the length of a desired straight line or curve on a photographic image.

도2는 본 발명의 일 실시예에 따른 망막혈관 구불거림의 정량화 방법의 흐름도이다. 도2를 참조하면, 정량화 방법(200)은 도1의 정량화 장치(100)에 의해 수행될 수 있다. 2 is a flowchart of a method for quantifying retinal blood vessel wobble according to an embodiment of the present invention. Referring to FIG. 2, the quantification method 200 may be performed by the quantification apparatus 100 of FIG. 1.

먼저, 정량화 장치(100)는 안저사진 이미지를 획득한다(S210). 정량화 장치(100)는 통신 네트워크를 통해 외부의 다른 전자장치, 서버 등으로부터 안저사진 이미지를 획득할 수 있고, 정량화 장치(100)에 결합된 외부 저장매체에 저장되어 있는 안저사진 이미를 획득할 수도 있고, 정량화 장치(100)가 포함하는 카메라부를 통해 촬영된 안저사진 이미지를 획득할 수도 있다. First, the quantification device 100 acquires a fundus photograph image (S210). The quantification device 100 may acquire a fundus photo image from other external electronic devices, servers, etc. through a communication network, and may acquire a fundus photo image stored in an external storage medium coupled to the quantification device 100. In addition, a fundus photograph image captured through a camera unit included in the quantification device 100 may be obtained.

도3은 도2의 정량화 방법(200)을 설명하기 위한 안저사진 이미지의 예시도이다. 도3을 참조하면, 정량화 장치(100)가 획득하는 안저사진 이미지에는 시신경유두(310) 및 망막혈관들(330, 360)이 나타난다. 3 is an exemplary diagram of a fundus photographic image for explaining the quantification method 200 of FIG. 2. Referring to FIG. 3, an optic nerve papilla 310 and retinal blood vessels 330 and 360 are shown in a fundus photograph image acquired by the quantification device 100.

시신경유두(310)는 시신경이 맥락막과 공막을 뚫고 안구의 바깥으로 나가는 부위이다. 망막의 신경섬유는 시신경유두를 향해 모여서 공막을 뚫고 안구의 뒤로 나와 안와 내부를 지나 시신경관을 지나서 두개강 안으로 들어간다. The optic nerve papilla 310 is a part where the optic nerve penetrates the choroid and sclera and goes out of the eyeball. The nerve fibers of the retina gather toward the optic nerve papilla, penetrate the sclera, come out of the back of the eyeball, pass inside the orbit, pass through the optic nerve canal and enter the cranial cavity.

망막혈관(330, 360)은 망막에 혈액을 공급하는 망막동맥과 다시 혈액을 회수하는 망막정맥을 포함한다. 이들 망막 동, 정맥은 다같이 시각신경과 함께 시각신경구멍을 통해 망막까지 이르게 된다. 즉, 이들 망막 동, 정맥은 시각신경속에 끼워진 채 망막까지 이르게 된다. The retinal blood vessels 330 and 360 include retinal arteries that supply blood to the retina and retinal veins that recover blood. These retinal sinuses and veins all reach the retina through the visual nerve hole together with the visual nerve. In other words, these retinal sinuses and veins are inserted into the visual nerve and reach the retina.

일반적으로, 스마트폰 등으로 촬영된 안저사진 이미지는 별도의 안저촬영 장비로 촬영된 안저사진 이미지보다 나쁜 화질을 갖는다. 그래서, 스마트폰 등으로 촬영된 안저사진 이미지는 종래에 별도의 안저촬영 장비로 촬영된 안저사진을 통해 망막혈관의 구불거림을 판명하던 기술에 적용하기가 힘들었다. 그러나, 정량화 방법(200)은 이하와 같이 스마트폰 등으로 촬영된 안저사진에 적합한 방식으로 망막혈관(330, 360)의 구불거림을 정량화할 수 있다. In general, a fundus photo image taken with a smartphone or the like has a worse quality than a fundus photo image taken with a separate fundus photographing device. Therefore, it has been difficult to apply a fundus photograph image taken with a smartphone or the like to a technique that has previously proved to be wavy in retinal blood vessels through a fundus photograph taken with a separate fundus photographing device. However, the quantification method 200 may quantify the undulation of the retinal blood vessels 330 and 360 in a manner suitable for a fundus photograph taken with a smartphone or the like as follows.

다시 도2를 도3과 함께 참조하면, 정량화 장치(100)는 획득한 안저사진 이미지에서 시신경유두의 직경 a를 측정한다(S220). 정량화 장치(100)는 그러한 측정을 위하여 ImageJ와 같은 공지의 프로그램을 사용할 수 있다.Referring back to FIG. 2 together with FIG. 3, the quantification apparatus 100 measures the diameter a of the optic nerve papilla from the acquired fundus photograph image (S220). The quantification device 100 may use a known program such as ImageJ for such measurement.

도4는 도2의 a를 측정하는 단계(S220)의 상세 흐름도이다. 도4를 도3과 함께 참조하면, 정량화 장치(100)는 획득한 안저사진 이미지에서 시신경유두의 직경에 해당하는 부분(320)을 사용자로부터 입력받는다(S410). 4 is a detailed flowchart of a step S220 of measuring a of FIG. 2. Referring to FIG. 4 together with FIG. 3, the quantification apparatus 100 receives a portion 320 corresponding to the diameter of the optic nerve papilla in the acquired fundus photograph image from the user (S410).

예를 들어, 정량화 장치(100)는 획득한 안저사진 이미지를 사용자에게 디스플레이하고, 사용자가 디스플레이된 안저사진 이미지에서 시신경유두의 직경에 해당하는 부분(320)을 마우스, 키보드 등으로 표시하면, 정량화 장치(100)는 사용자가 표시한 부분을 입력받는다. 이 때, 사용자는 타원형의 시신경유두에서 최대직경에 해당하는 부분을 표시하는 것이 바람직하다. For example, the quantification device 100 displays the acquired fundus photograph image to the user, and when the user displays the portion 320 corresponding to the diameter of the optic nerve nipple in the displayed fundus photograph image with a mouse, a keyboard, etc., quantification The device 100 receives a portion displayed by the user. At this time, it is desirable for the user to display a portion corresponding to the maximum diameter in the elliptical optic nerve nipple.

정량화 장치(100)는 입력받은 부분(320)의 길이를 측정하여 시신경유두의 직경 a로 설정한다(S420). The quantification device 100 measures the length of the input portion 320 and sets the diameter a of the optic nerve nipple (S420).

다시 도2를 도3과 함께 참조하면, 정량화 장치(100)는 측정된 a에 k를 곱한 값을 직선거리 d로 설정한다(S230). k는 사용자에 의해 미리 설정되는 값으로서 2 이상이고 4 이하인 것이 바람직하다. k가 2보다 작으면 망막혈관(330, 360)의 굴곡지수를 산출하는데 있어서의 기초가 되는 구간이 너무 짧아지고 k가 4보다 크면 그러한 구간이 망막혈관(330, 360) 전체의 길이보다 길어져서 망막혈관(330, 360)의 실제 구불거리는 정도가 망막혈관(330, 360)의 굴곡지수에 제대로 반영되지 않을 수 있다. 이하에서는 k가 2로 설정된 경우, 즉 직선거리 d=2a로 설정된 경우를 예시적으로 설명하기로 한다. Referring back to FIG. 2 together with FIG. 3, the quantification apparatus 100 sets a value obtained by multiplying the measured a by k as the linear distance d (S230). k is a value preset by the user and is preferably 2 or more and 4 or less. If k is less than 2, the section that is the basis for calculating the retinal blood vessels (330, 360) is too short, and if k is greater than 4, the section becomes longer than the entire length of the retinal vessels (330, 360). The actual curvature of the retinal blood vessels 330 and 360 may not be properly reflected in the curvature index of the retinal blood vessels 330 and 360. Hereinafter, a case where k is set to 2, that is, a case where the linear distance d=2a is set will be described as an example.

정량화 장치(100)는 안저사진 이미지에서 시신경유두의 변연(경계)에 위치한 망막혈관의 시작점(P1, P3)으로부터 직선거리 d=2a 만큼 떨어진 지점에 위치한 망막혈관 상의 기준점(P2, P4)을 특정한다(S240). 정량화 장치(100)는 그러한 특정을 위하여 ImageJ와 같은 공지의 프로그램을 사용할 수 있다. The quantification device 100 is a reference point (P 2 , P) on the retinal blood vessel located at a point separated by a linear distance d = 2a from the starting point (P 1 , P 3 ) of the retinal blood vessel located at the margin (boundary) of the optic nerve papilla in the fundus photograph image. 4 ) is specified (S240). The quantification device 100 may use a known program such as ImageJ for such a specification.

도5는 도2의 기준점을 특정하는 단계(S240)의 상세 흐름도이다. 도5를 도3과 함께 참조하면, 정량화 장치(100)는 안저사진 이미지에서 d=2a의 길이를 갖고 일단 및 타단이 각각 망막혈관의 시작점(P1, P3) 및 망막혈관 상의 일지점(P2, P4)에 위치하는 기준직선(340, 370)을 사용자로부터 입력받는다(S510). 5 is a detailed flowchart of a step S240 of specifying a reference point in FIG. 2. Referring to FIG. 5 together with FIG. 3, the quantification device 100 has a length of d=2a in the fundus photograph image, and one end and the other end are the starting points (P 1 , P 3 ) of the retinal blood vessels and a point on the retinal blood vessels ( Reference straight lines 340 and 370 positioned at P 2 and P 4 ) are input from the user (S510).

예를 들어, 정량화 장치(100)는 사용자에게 안저사진 이미지 상에서 d=2a의 길이를 갖고 일단이 망막혈관의 시작점(P1, P3)에 고정된 상태로 타단이 시계방향 및 반시계방향 중의 적어도 하나로 회전가능한 직선을 디스플레이하고, 사용자가 마우스, 키보드 등으로 안저사진 이미지에서 그 직선의 타단을 회전시켜 망막혈관(330, 360) 상에 위치시키면, 정량화 장치(100)는 사용자가 위치시킨 직선을 기준직선으로서 입력받는다. For example, the quantification device 100 gives the user a length of d=2a on the fundus photograph image, and one end is fixed at the starting points (P 1 , P 3 ) of the retinal blood vessels, and the other end is in a clockwise and counterclockwise direction. When at least one rotatable straight line is displayed, and the user rotates the other end of the straight line in the fundus photo image with a mouse or keyboard and is placed on the retinal blood vessels 330 and 360, the quantification device 100 is the straight line positioned by the user. Is input as a reference straight line.

정량화 장치(100)는 입력받은 기준직선의 타단이 위치하는 지점(P2, P4)을 망막혈관 상의 기준점으로 특정한다(S520). 이와 같이 특정되는 망막혈관 상의 기준점(P2, P4)은 망막혈관의 시작점(P1, P3)을 중심으로 하고 기준직선의 길이 d=2a를 반경으로 하는 원을 그렸을 때, 그 원이 망막혈관(330, 360)과 만나는 지점에 해당한다. The quantification device 100 specifies the points (P 2 , P 4 ) where the other end of the input reference line is located as a reference point on the retinal blood vessel (S520). The reference points (P 2 , P 4 ) on the retinal blood vessels specified in this way are centered on the starting points (P 1 , P 3 ) of the retinal blood vessels, and when a circle with the length d=2a of the reference straight line is drawn as a radius, the circle is It corresponds to the point where it meets the retinal blood vessels 330 and 360.

다시 도2를 도3과 함께 참조하면, 정량화 장치(100)는 안저사진 이미지에서 망막혈관의 시작점(P1, P3)으로부터 망막혈관 상의 기준점(P2, P4)까지의 망막혈관의 길이 b를 측정한다(S250). 정량화 장치(100)는 그러한 측정을 위하여 ImageJ와 같은 공지의 프로그램을 사용할 수 있다.Referring back to FIG. 2 together with FIG. 3, the quantification device 100 is the length of the retinal blood vessels from the starting points (P 1 , P 3 ) of the retinal blood vessels to the reference points (P 2 , P 4 ) on the retinal blood vessels in the fundus photograph image. Measure b (S250). The quantification device 100 may use a known program such as ImageJ for such measurement.

도6은 도2의 b를 측정하는 단계(S250)의 상세 흐름도이다. 도6을 도3과 함께 참조하면, 정량화 장치(100)는 안저사진 이미지에서 망막혈관의 시작점(P1, P3)으로부터 망막혈관 상의 기준점(P2, P4)까지의 망막혈관에 해당하는 부분(350, 380)을 사용자로부터 입력받는다(S310). 6 is a detailed flowchart of the step (S250) of measuring b of FIG. 2. Referring to FIG. 6 together with FIG. 3, the quantification device 100 corresponds to the retinal blood vessels from the starting points (P 1 , P 3 ) of the retinal blood vessels to the reference points (P 2 , P 4 ) on the retinal blood vessels in the fundus photograph image. The portions 350 and 380 are input from the user (S310).

예를 들어, 정량화 장치(100)는 사용자에게 안저사진 이미지 상에서 기준직선(340, 370)을 디스플레이하거나 망막혈관의 시작점(P1, P3) 및 망막혈관 상의 기준점(P2, P4)을 디스플레이하고, 사용자가 안저사진 이미지에서 망막혈관의 시작점(P1, P3)으로부터 망막혈관 상의 기준점(P2, P4)까지의 망막혈관에 해당하는 부분(350, 380)을 표시하면, 정량화 장치(100)는 사용자가 표시한 부분을 입력받는다. For example, the quantification device 100 displays the reference straight lines 340 and 370 on the fundus photograph image to the user, or sets the starting points P 1 and P 3 of the retinal blood vessels and the reference points P 2 and P 4 on the retinal blood vessels. When the user displays the retinal blood vessels from the starting point (P 1 , P 3 ) to the reference point (P 2 , P 4 ) on the retinal blood vessel in the fundus photo image, quantification is performed. The device 100 receives a portion displayed by the user.

정량화 장치(100)는 입력받은 부분(350, 380)의 길이를 측정하여 망막혈관의 시작점(P1, P3)으로부터 망막혈관 상의 기준점(P2, P4)까지의 망막혈관의 길이 b로 설정한다(S320). The quantification device 100 measures the length of the inputted portions 350 and 380 to the length b of the retinal blood vessel from the starting point (P 1 , P 3 ) of the retinal blood vessel to the reference point (P 2 , P 4 ) on the retinal blood vessel. Set (S320).

다시 도2를 도3과 함께 참조하면, 정량화 장치(100)는 망막혈관의 시작점(P1, P3)으로부터 망막혈관 상의 기준점(P2, P4)까지의 망막혈관의 길이 b를 동일구간의 직선거리 d=2a로 나눈 값을 망막혈관(330, 360)의 굴곡지수(Tortuosity Index: TI)로서 산출한다(S260). Referring back to FIG. 2 together with FIG. 3, the quantification device 100 measures the length b of the retinal blood vessel from the starting point (P 1 , P 3 ) of the retinal blood vessel to the reference point (P 2 , P 4 ) on the retinal blood vessel in the same section The value divided by the linear distance d=2a of is calculated as the Tortosity Index (TI) of the retinal blood vessels 330 and 360 (S260).

정량화 장치(100)는 산출된 굴곡지수(TI)를 출력한다(S270). 예를 들어, 정량화 장치는 산출된 굴곡지수(TI)를 사용자에게 디스플레이한다. The quantification device 100 outputs the calculated flexural index TI (S270). For example, the quantification device displays the calculated flexural index TI to the user.

굴곡지수(TI)가 높을수록 망막혈관의 구불거리는 정도가 심한 것을 나타낸다. 그래서, 예를 들어 미숙아망막병증의 진단시, 굴곡지수(TI)가 높을수록 중증도가 심한 것으로 판정할 수 있다. 이러한 굴곡지수(TI)는 미숙아 망막병증 등의 경과 및 치료시기를 판단하는데 있어서 보조적 진단 도구로 사용될 수 있다. The higher the flexion index (TI), the more severe the retinal blood vessels are bent. So, for example, when diagnosing retinopathy of prematurity, the higher the flexion index (TI), the more severe it can be determined. The flexion index (TI) can be used as an auxiliary diagnostic tool in determining the course of retinopathy of prematurity and the timing of treatment.

정량화 방법(200)은 위와 같이 스마트폰으로 촬영한 안저사진에 적합한 방식으로 안저사진 이미지를 간단하고 쉬운 방법으로 분석하여 망막혈관의 구불거리는 정도를 객관화한다. 그래서, 숙련된 전문의나 별도의 안저촬영 장비가 없는 경우에도 스마트폰 등으로 촬영한 안저사진을 통해 미숙아망막병증 등의 안과질환을 진단할 수 있고 그 진단의 정확성을 높일 수 있다. As described above, the quantification method 200 analyzes the fundus photograph image in a simple and easy manner in a manner suitable for the fundus photograph taken with a smartphone as described above to objectify the degree of curvature of the retinal blood vessels. Therefore, even if there is no skilled specialist or a separate fundus photographing equipment, it is possible to diagnose ophthalmic diseases such as prematurity retinopathy through a fundus picture taken with a smartphone, and the accuracy of the diagnosis may be improved.

정량화 방법(200)은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The quantification method 200 may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operation of the embodiment, and vice versa.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 이상에서 설명한 본 발명의 실시예들은 서로 별개로 또는 조합되어 구현되는 것도 가능하다.The above description is merely illustrative of the technical idea of the present invention, and those of ordinary skill in the art to which the present invention pertains will be able to make various modifications and variations without departing from the essential characteristics of the present invention. Accordingly, the embodiments of the present invention described above may be implemented separately or in combination with each other.

따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain the technical idea, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

100: 망막혈관 구불거림의 정량화 장치 110: 프로세서
120: 저장매체 121: 이미지 획득부
122: 시신경유두 직경 측정부 123: 직선거리 설정부
124: 기준점 특정부 125: 망막혈관 길이 측정부
126: 굴곡지수 산출부 127: 출력제어부
310: 시신경유두 320: 시신경유두의 직경
330, 360: 망막혈관 340, 370: 기준직선
P1, P3: 망막혈관의 시작점 P2, P4: 망막혈관상의 기준점
350, 380: 망막혈관의 시작점으로부터 망막혈관상의 기준점까지의 망막혈관
100: apparatus for quantifying retinal blood vessel wobble 110: processor
120: storage medium 121: image acquisition unit
122: optic nerve papillary diameter measurement unit 123: linear distance setting unit
124: reference point specification unit 125: retinal blood vessel length measurement unit
126: flexion index calculation unit 127: output control unit
310: optic nerve nipple 320: diameter of optic nerve nipple
330, 360: retinal vessels 340, 370: baseline
P1, P3: starting point of retinal blood vessels P2, P4: reference point on retinal blood vessels
350, 380: retinal blood vessels from the starting point of retinal blood vessels to the reference point on the retinal blood vessels

Claims (10)

안저사진 이미지를 획득하는 단계;
상기 안저사진 이미지에서 시신경유두의 변연에 위치한 망막혈관의 시작점으로부터 미리 정해진 직선거리 d만큼 떨어진 지점에 위치한 상기 망막혈관 상의 기준점을 특정하는 단계;
상기 안저사진 이미지에서 상기 시작점으로부터 상기 기준점까지의 상기 망막혈관의 길이 b를 측정하는 단계;
상기 측정된 b를 상기 d로 나눈 값을 상기 망막혈관의 굴곡지수로서 산출하는 단계;
상기 굴곡지수를 출력하는 단계;
상기 안저사진 이미지에서 시신경유두의 직경 a를 측정하는 단계; 및
상기 d를 상기 a에 미리 정해진 값 k(2≤k≤4)를 곱한 값으로 설정하는 단계;를 더 포함하는 것을 특징으로 하는 망막혈관 구불거림의 정량화 방법.
Obtaining a fundus photographic image;
Specifying a reference point on the retinal blood vessel located in the fundus photograph image by a predetermined linear distance d from the starting point of the retinal blood vessel located at the margin of the optic nerve papilla;
Measuring a length b of the retinal blood vessel from the starting point to the reference point in the fundus photograph image;
Calculating a value obtained by dividing the measured b by d as a flexion index of the retinal blood vessels;
Outputting the flexure index;
Measuring the diameter a of the optic nerve papilla in the fundus photograph image; And
Setting the d to a value obtained by multiplying the a by a predetermined value k (2≦k≦4).
제1항에 있어서,
상기 기준점을 특정하는 단계는:
상기 안저사진 이미지에서 상기 d의 길이를 갖고 일단 및 타단이 각각 상기 시작점 및 상기 망막혈관 상의 일지점에 위치하는 기준직선을 입력받는 단계; 및
상기 입력받은 기준직선의 타단이 위치하는 지점을 상기 기준점으로 특정하는 단계;를 포함하고,
상기 b를 측정하는 단계는:
상기 안저사진 이미지에서 상기 시작점으로 상기 기준점까지의 상기 망막혈관에 해당하는 부분을 입력받는 단계; 및
상기 입력받은 부분의 길이를 측정하여 상기 b로 설정하는 단계;를 포함하는 것을 특징으로 하는 망막혈관 구불거림의 정량화 방법.
The method of claim 1,
The step of specifying the reference point is:
Receiving a reference straight line having a length of d in the fundus photograph image and having one end and the other end positioned at the starting point and a point on the retinal blood vessel, respectively; And
Including; specifying a point at which the other end of the received reference straight line is located as the reference point; Including,
The step of measuring b is:
Receiving a portion corresponding to the retinal blood vessel from the fundus photograph image to the reference point as the starting point; And
Measuring the length of the input portion and setting it to b.
삭제delete 제1항에 있어서,
상기 a를 측정하는 단계는:
상기 안저사진 이미지에서 상기 시신경유두의 직경에 해당하는 부분을 입력받는 단계; 및
상기 입력받은 부분의 길이를 측정하여 상기 a로 설정하는 단계;를 포함하는 것을 특징으로 하는 망막혈관 구불거림의 정량화 방법.
The method of claim 1,
The step of measuring a is:
Receiving a portion corresponding to the diameter of the optic nerve papilla from the fundus photograph image; And
And measuring the length of the received portion and setting it to a.
입력부, 출력부, 프로세서, 및 상기 프로세서에 의해 실행 가능한 명령어들을 저장하는 매체를 포함하고,
상기 프로세서는 상기 명령어들을 실행함으로써:
안저사진 이미지를 획득하는 이미지 획득부;
상기 획득된 안저사진 이미지에서 시신경유두의 변연에 위치한 망막혈관의 시작점으로부터 미리 정해진 직선거리 d만큼 떨어진 지점에 위치한 상기 망막혈관 상의 기준점을 특정하는 기준점 특정부;
상기 안저사진 이미지에서 상기 시작점으로부터 상기 기준점까지의 상기 망막혈관의 길이 b를 측정하는 망막혈관 길이 측정부;
상기 b를 상기 d로 나눈 값을 상기 망막혈관의 굴곡지수로서 산출하는 굴곡지수 산출부;
상기 굴곡지수를 상기 출력부를 통해 출력하도록 제어하는 출력 제어부;
상기 안저사진 이미지에서 시신경유두의 직경 a를 측정하는 시신경유두 직경 측정부; 및
상기 d를 상기 a에 미리 정해진 값 k(2≤k≤4)를 곱한 값으로 설정하는 직선거리 설정부;를 포함하는 것을 특징으로 하는 망막혈관 구불거림의 정량화 장치.
Including an input unit, an output unit, a processor, and a medium storing instructions executable by the processor,
The processor executes the instructions:
An image acquisition unit that acquires a fundus photographic image;
A reference point specifying unit for specifying a reference point on the retinal vessel located at a point separated by a predetermined linear distance d from the starting point of the retinal vessel located at the margin of the optic nerve papilla in the acquired fundus photograph image;
A retinal blood vessel length measuring unit measuring the length b of the retinal blood vessel from the starting point to the reference point in the fundus photograph image;
A flexion index calculation unit that calculates a value obtained by dividing b by d as a flexion index of the retinal blood vessels;
An output control unit for controlling the bending index to be output through the output unit;
An optic nerve nipple diameter measuring unit for measuring the diameter a of the optic nerve nipple in the fundus photograph image; And
And a linear distance setting unit for setting the d to a value obtained by multiplying the a by a predetermined value k (2≦k≦4).
제5항에 있어서,
상기 기준점 특정부는 상기 입력부를 통해 상기 안저사진 이미지에서 상기 d의 길이를 갖고 일단 및 타단이 각각 상기 시작점 및 상기 망막혈관 상의 일지점에 위치하는 기준직선을 입력받아 상기 입력받은 기준직선의 타단이 위치하는 지점을 상기 기준점으로 특정하고,
상기 망막혈관 길이 측정부는 상기 입력부를 통해 상기 안저사진 이미지에서 상기 시작점으로부터 상기 기준점까지의 상기 망막혈관에 해당하는 부분을 입력받아 상기 입력받은 부분의 길이를 측정하여 상기 b로 설정하는 것을 특징으로 하는 망막혈관 구불거림의 정량화 장치.
The method of claim 5,
The reference point specifying unit receives the reference straight line having the length d in the fundus photograph image and the one end and the other end are respectively located at the starting point and a point on the retinal blood vessel through the input unit, and the other end of the received reference straight line is located. A point to be specified as the reference point,
The retinal blood vessel length measurement unit receives a portion corresponding to the retinal blood vessel from the start point to the reference point in the fundus photograph image through the input unit, measures the length of the input portion, and sets the value to b. Device for quantifying retinal blood vessel sway
삭제delete 제5항에 있어서,
상기 시신경유두 직경 측정부는 상기 입력부를 통해 상기 안저사진 이미지에서 상기 시신경유두의 직경에 해당하는 부분을 입력받아 상기 입력받은 직경에 해당하는 부분의 길이를 측정하여 상기 a로 설정하는 것을 특징으로 하는 망막혈관 구불거림의 정량화 장치.
The method of claim 5,
The retina, characterized in that the optic nerve papillary diameter measurement unit receives a portion corresponding to the diameter of the optic nerve papilla from the fundus photograph image through the input unit, measures the length of the portion corresponding to the input diameter, and sets the value to a. Device for quantification of vascular twisting.
컴퓨터와 결합되어 제1항, 제2항 또는 제4항 중의 어느 항에 기재된 각 단계를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.
A computer program combined with a computer and stored on a medium to execute each step of claim 1, 2 or 4.
컴퓨터에 제1항, 제2항 또는 제4항 중의 어느 한 항에 기재된 각 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터 판독가능 매체. A computer-readable medium storing a program for executing each step of claim 1, 2, or 4 on a computer.
KR1020190142869A 2019-11-08 2019-11-08 Method, apparatus, computer program, and computer readable medium for quantification of retinal blood vessel tortuosity by analysing fundus photographs KR102233768B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190142869A KR102233768B1 (en) 2019-11-08 2019-11-08 Method, apparatus, computer program, and computer readable medium for quantification of retinal blood vessel tortuosity by analysing fundus photographs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190142869A KR102233768B1 (en) 2019-11-08 2019-11-08 Method, apparatus, computer program, and computer readable medium for quantification of retinal blood vessel tortuosity by analysing fundus photographs

Publications (1)

Publication Number Publication Date
KR102233768B1 true KR102233768B1 (en) 2021-03-30

Family

ID=75264837

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190142869A KR102233768B1 (en) 2019-11-08 2019-11-08 Method, apparatus, computer program, and computer readable medium for quantification of retinal blood vessel tortuosity by analysing fundus photographs

Country Status (1)

Country Link
KR (1) KR102233768B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115511883A (en) * 2022-11-10 2022-12-23 北京鹰瞳科技发展股份有限公司 Method, apparatus and storage medium for determining curvature of retinal fundus blood vessel

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011516200A (en) * 2008-04-08 2011-05-26 ナショナル ユニヴァーシティー オブ シンガポール Retina image analysis system and method
KR20160150171A (en) * 2015-06-18 2016-12-29 연세대학교 산학협력단 Method for determining tortuosity of blood vessel

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011516200A (en) * 2008-04-08 2011-05-26 ナショナル ユニヴァーシティー オブ シンガポール Retina image analysis system and method
KR20160150171A (en) * 2015-06-18 2016-12-29 연세대학교 산학협력단 Method for determining tortuosity of blood vessel

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115511883A (en) * 2022-11-10 2022-12-23 北京鹰瞳科技发展股份有限公司 Method, apparatus and storage medium for determining curvature of retinal fundus blood vessel

Similar Documents

Publication Publication Date Title
AU2018385433B2 (en) Digital visual acuity eye examination for remote physician assessment
US9898659B2 (en) System and method for remote medical diagnosis
KR101267755B1 (en) Image processing apparatus, image processing method, tomogram capturing apparatus, and program recording medium
EP3282924B1 (en) Assessment of low contrast visual sensitivity
EP3424406A1 (en) Method and system for classifying optic nerve head
US11890184B2 (en) Systems, apparatuses, and methods for intraocular lens selection using artificial intelligence
EP3655314B1 (en) A method of performing an eye examination test
US10709328B2 (en) Main module, system and method for self-examination of a user's eye
TW201402059A (en) Health condition determination method and health condition determination system
CN108520512B (en) Method and device for measuring eye parameters
WO2021005613A1 (en) Chest radiograph image analysis system and a method thereof
CN114078120B (en) Method, apparatus and medium for detecting scoliosis
KR102233768B1 (en) Method, apparatus, computer program, and computer readable medium for quantification of retinal blood vessel tortuosity by analysing fundus photographs
WO2021106967A1 (en) Ocular fundus image processing device and ocular fundus image processing program
JP6166871B2 (en) Blood vessel age output device, blood vessel age output method, and program
Sivakumar et al. A curvature based approach for the automated screening of retinopathy of prematurity in preterm infants
US9451906B2 (en) Retrieving mental images of faces from the human brain
EP3555777B1 (en) Determining an indicator relating to injury
WO2021139446A1 (en) Anti-vascular endothelial growth factor (vegf) curative effect prediction apparatus and method
RU2794161C2 (en) Program and system of information processing
Garg et al. Diabetic retinopathy prediction device system
JP7107958B2 (en) Program, information processing system, stress evaluation method, stress evaluation system, computer program, recording medium
US11055846B2 (en) Method for obtaining a fluorescent fundus image and a device thereof
US11107572B1 (en) Cross-validation of data derived from images captured during diagnostic sessions
WO2022225037A1 (en) Examination system, examination device, examination method, and examination program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant