KR101106358B1 - System for organizing multiple objects of interest in field of interest - Google Patents
System for organizing multiple objects of interest in field of interest Download PDFInfo
- Publication number
- KR101106358B1 KR101106358B1 KR1020057023804A KR20057023804A KR101106358B1 KR 101106358 B1 KR101106358 B1 KR 101106358B1 KR 1020057023804 A KR1020057023804 A KR 1020057023804A KR 20057023804 A KR20057023804 A KR 20057023804A KR 101106358 B1 KR101106358 B1 KR 101106358B1
- Authority
- KR
- South Korea
- Prior art keywords
- interest
- ooi
- foi
- field
- primary
- Prior art date
Links
- 238000012216 screening Methods 0.000 claims abstract description 24
- 238000003384 imaging method Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 26
- 230000003211 malignant effect Effects 0.000 claims description 12
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 201000010099 disease Diseases 0.000 claims description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 description 26
- 210000004027 cell Anatomy 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 230000015654 memory Effects 0.000 description 9
- 238000009595 pap smear Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000002380 cytological effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 206010008342 Cervix carcinoma Diseases 0.000 description 4
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 4
- 239000012620 biological material Substances 0.000 description 4
- 201000010881 cervical cancer Diseases 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 239000012472 biological sample Substances 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 241001442654 Percnon planissimum Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
- G01N15/1433—Signal processing using image recognition
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N2015/1006—Investigating individual particles for cytology
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Dispersion Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Telephone Function (AREA)
Abstract
본 발명은 생물학적 표본을 스크리닝하기 위한 및 스크리닝을 보조하기 의한 시스템에 관한 것이다. 생물학적 표본의 이미지가 수득되며, 이미지 데이터는 상기 이미지로부터 생성된다. 관심물체(OOI)를 상기 이미지 데이터로부터 확인한다. 상기 OOI는 다른 FOI에 OOI의 배정을 적어도 부분적으로 토대로 각각의 다수의 관심필드(FOI)에 배정된다. 예를들면, 다른 FOI에 이전에 배정되지 않은 OOI는 선택된 FOI에 배정될 수 있다. 상기 OOI는 FOI내에 포함된 OOI의 수를 최대화하기 위해 또는 다르게는 모든 OOI를 포함하기 위해 필요한 FOI의 수를 최소화하기 위해 FOI내에 그룹화될 수 있다. OOI의 배정이 완성되며, 기술자가 관찰하도록 상기 OOI를 제시하기 위해 관측시야(FOV)는 각 FOI와 관련하여 스캔될 수 있다.The present invention relates to a system for screening biological specimens and by assisting screening. An image of the biological specimen is obtained, and image data is generated from the image. The object of interest (OOI) is identified from the image data. The OOI is assigned to each of a plurality of fields of interest (FOI) based at least in part on the assignment of the OOI to other FOIs. For example, an OOI not previously assigned to another FOI may be assigned to the selected FOI. The OOIs can be grouped within a FOI to maximize the number of OOIs contained within the FOI or otherwise minimize the number of FOIs needed to include all OOIs. The assignment of the OOI is complete and the field of view (FOV) can be scanned in association with each FOI to present the OOI for the technician to observe.
FOV, FOI, OOI, 이미징 스테이션, 리뷰잉 스테이션, 프로세서 FOV, FOI, OOI, Imaging Station, Reviewing Station, Processor
Description
본 발명은 세포학적 표본을 분석하기 위한 시스템 및 더 구체적으로는 관심필드에서 세포 검사기사가 디스플레이하기 위해 세포 물질을 조직화하기 위한 시스템에 관한 것이다.The present invention relates to a system for analyzing cytological specimens and more specifically to a system for organizing cellular material for display by a cytopathologist in a field of interest.
의료분야에서, 세포 검사기사와 같은 실험실 기술자는 특정화된 세포 유형의 존재에 대한 세포학적 표본을 관찰할 필요가 있다. 예를들면, 악성 또는 예비-악성 세포의 존재에 대한 자궁경부-질 파파니콜라우(Pap) 스미어 슬라이드를 관찰할 필요가 있다. Pap 스미어는 50년전에 도입되었기 때문에, 자궁경부 암 또는 예비암 병변을 검출하는데 강력한 도구이다. 그 기간동안, Pap 스미어는 자궁경부 암의 치사율을 70%만큼이나 감소시켰다. 사망률의 급격한 감소는 느려졌지만, 미국에서 이 예방가능한 질병에 대한 치사율은 80년대 중반 이후로 해마다 약 5,000명으로 실질적으로 일정하게 유지되었다. 그러므로, 자궁경부 암으로 진단받은 15,000의 여성중 3분의 1이 해마다 여전히 사망하는 바, 이는 암의 발견이 너무 늦기 때문이다. 국가 암 위원회 데이터에 따르면, 1986년 이후로 50세 미만의 백인 여성에서 침윤성 자궁경부 암의 발병률이 해마다 3% 증가하였다.In the medical field, laboratory technicians, such as cell testers, need to observe cytological specimens for the presence of specified cell types. For example, it is necessary to observe cervical-vaginal Papani smear slides for the presence of malignant or pre-malignant cells. Since Pap smear was introduced 50 years ago, it is a powerful tool for detecting cervical or precancerous lesions. During that time, Pap Smear reduced the mortality rate of cervical cancer by 70%. Although the sharp decline in mortality has slowed, the mortality rate for this preventable disease in the United States has remained substantially constant at about 5,000 per year since the mid-80s. Therefore, one-third of the 15,000 women diagnosed with cervical cancer still die each year because the cancer discovery is too late. According to National Cancer Council data, the incidence of invasive cervical cancer has increased by 3% annually in Caucasian women under 50 since 1986.
이러한 경향에 무수히 많은 인자가 기여하지만, 많은 여성이, 특히 위험성이 높은 집단이 정기적인 자궁경부 암 검사를 여전히 하지 않기 때문이다. 많은 사람이 공감하는 다른 원인은 통상적인 Pap 스미어 방법의 제한성 때문이다.While countless factors contribute to this trend, many women, especially those at high risk, still do not routinely screen for cervical cancer. Another cause that many people sympathize with is the limitation of conventional Pap smear methods.
자궁경부 검사방법의 신뢰성 및 효능은 잘못된 양성 진단(특이성)을 피하는 동시에 예비-암 병변(민감성)을 진단하는 그 능력에 의해 측정된다. 그 결과, 이들 기준은 세포학적 해석의 정확성에 따라 다르다. 통상적인 Pap 스미어는 10-50% 범위의 잘못된 음성 비율을 나타낸다. 이는 소수의 악성 또는 예비-악성 세포의 가능한 존재를 측정하기 위해, 기술자가 관찰해야 하는 다수의 세포 및 물체(일반적으로 100,000 내지 200,000만큼 많이)에 주로 기인한다. 따라서, 생물학적 물질의 상세한 검토에 필요한 다른 실험뿐만 아니라 Pap 스미어는 기술자의 피로 때문에 잘못된 높은 음성 비율을 나타낸다.The reliability and efficacy of cervical screening methods are measured by their ability to diagnose pre-cancer lesions (sensitivity) while avoiding false positive diagnosis (specificity). As a result, these criteria depend on the accuracy of the cytological interpretation. Typical Pap smears show false negative rates in the 10-50% range. This is mainly due to the large number of cells and objects (typically as much as 100,000 to 200,000) that a technician must observe to determine the possible presence of a few malignant or pre-malignant cells. Thus, Pap smears, as well as other experiments required for a detailed review of biological material, show false negative rates due to technician fatigue.
이 관찰과정을 촉진하기 위해, 자동화된 시스템이 개발되어 추가 관찰로부터 남아있는 세포를 폐기할 가능성을 갖는 기술자가 가장 적절한 세포에 집중할 수 있게 되었다. 일반적인 자동화된 시스템은 이미저(imager) 및 자동화된 광학현미경을 포함한다. 요약하면, 상기 이미저는 슬라이드의 다른 부분을 각각 나타내는 세포학적 표본 슬라이드의 연속적인 다양한 이미지를 제공하도록 작동될 수 있다. 상기 이미저는 이어, 이들 이미지를 처리하여 슬라이드 상에서 관찰하기 위한 가장 적절한 생물학적 물체 및 슬라이드 상의 이들의 위치(x-y 좌표)를 측정한다. 이 정보는이어, 현미경으로 전달되어, 기술자가 관찰하기 위한 생물학적 물체상의 중심 및 x-y 좌표는 자동적으로 처리된다. 이 관찰과정 동안, 현미경은 x-y 좌표를 통해 생 물학적 물질을 연속적으로 단계로 나누며, 그 관측시야의 중심내에 생물학적 물체를 놓는다. 예를들면, 관찰할 적절한 생물학적 물체의 수가 22와 같다면, 현미경이 자동적으로 또는 반-자동적으로 관측시야를 생물학적 물체의 한정된 x-y 좌표로 움직임에 따라 기술자는 슬라이드상의 22 영역을 관찰할 것이다. 기술자는 이어, 병리학자에 의해 추가 검토가 필요하다고 여겨지는 슬라이드상의 임의의 물질, 예를들면 악성 또는 예비-악성 세포와 일치하는 임의의 물체를 표시할 것이다.To facilitate this observation, an automated system has been developed that allows the technician with the possibility of discarding the remaining cells from further observations to focus on the most appropriate cells. Common automated systems include imagers and automated optical microscopes. In summary, the imager can be operated to provide a series of diverse images of cytological specimen slides, each representing a different portion of the slide. The imager then processes these images to determine the most appropriate biological objects for viewing on the slide and their position on the slide (x-y coordinates). This information is then transmitted to the microscope so that the center and x-y coordinates on the biological object for the technician to observe are automatically processed. During this observation, the microscope sequentially divides the biological material through x-y coordinates and places the biological object in the center of the viewing field. For example, if the number of suitable biological objects to observe is equal to 22, the technician will observe 22 regions on the slide as the microscope automatically or semi-automatically moves the viewing field to the defined x-y coordinates of the biological object. The technician will then mark any material on the slide deemed necessary for further review by the pathologist, such as any object that matches a malignant or pre-malignant cell.
일반적으로, 이 자동화된 방법은 성공적인 것으로 입증되었는 바, 그 이유는 기술자가 한정된 수의 물질에 집중하여 표본상의 다수의 물체(생물학적 또는 생물학적이 아닌)를 재관찰할 필요를 없애기 때문이다. 기술자는 일반적으로 하루에 수백개의 슬라이드를 관찰해야 하기 때문에 쉽게 피곤해진다. Pap 스미어 표본과 같이 실험실에서 세포학적 표본을 관찰하기 위한 비용, 기술자가 각 슬라이드를 관찰하는데 걸리는 시간 등 상업적인 면이 고려되어야 한다. 즉, 기술자가 관찰하는데 시간이 더 걸릴수록, 더 많은 비용이 발생한다. 이와 반대로, 관찰하는데 시간이 덜 걸릴수록, 더 많은 돈을 절약할 수 있다.In general, this automated method has proven successful because it eliminates the need for technicians to revisit many objects (non-biological or non-biological) on a sample by concentrating on a limited number of materials. Technicians are often tired because they have to watch hundreds of slides a day. Commercial aspects such as the cost of observing cytological specimens in the laboratory, such as Pap smear specimens, and the time it takes the technician to view each slide, should be considered. In other words, the more time the technician takes to observe, the greater the cost. Conversely, the less time it takes to observe, the more money you can save.
발명의 요약Summary of the Invention
본 발명의 한 구체예로서, OOI를 제시하기 위한 생물학적 스크리닝 시스템이 제공된다. 상기 시스템은 표본 슬라이드의 이미지 수득 및 상기 이미지로부터 이미지 데이터 생성을 위한 이미징 스테이션을 포함한다. 상기 시스템은 관심물체(OOI; OBJECT OF INTEREST)를 수득하기 위해 상기 이미지의 필터링 및/또는 프로세싱하기 위한 및 적어도 부분적으로 다른 관심필드(FOI; FIELD OF INTEREST)에 OOI의 배정을 토대로 각 FOI에 하나 이상의 OOI를 배정하기 위한 하나 이상의 프로세서를 또한 포함한다. 각 FOI에 OOI의 배정은 상술한 바와 동일한 방식으로 실시될 수 있다. 상기 시스템은 각 FOI의 해당 관측시야(FOV)를 스캐닝하여 각 FOI내의 하나 이상의 OOI를 제시하기 위한 자동화된 또는 반-자동화된 현미경을 또한 포함한다.In one embodiment of the present invention, a biological screening system for presenting an OOI is provided. The system includes an imaging station for obtaining an image of a specimen slide and generating image data from the image. The system includes one for each FOI based on the assignment of the OOI to at least partially another field of interest (FOI) for filtering and / or processing the image to obtain an object of interest (OOI). It also includes one or more processors for assigning more than one OOI. The assignment of OOI to each FOI can be done in the same manner as described above. The system also includes an automated or semi-automated microscope to scan the corresponding field of view (FOV) of each FOI to present one or more OOIs within each FOI.
도 1은 생물학적 표본이 있는 표준 현미경 슬라이드의 평면도이며;1 is a top view of a standard microscope slide with a biological specimen;
도 2는 본 발명의 한 구체예에 따라 제작된 생물학적 스크리닝 시스템의 평면도이며;2 is a top view of a biological screening system constructed in accordance with one embodiment of the present invention;
도 3은 도2의 시스템에 사용된 현미경의 관측시야(FOV)를 통해 도시된 관심필드(FOI) 및 마커 인디케이터(marker indicator)의 도면이며;3 is a diagram of a field of interest (FOI) and a marker indicator shown through the field of view (FOV) of a microscope used in the system of FIG. 2;
도 4는 FOI에 관심물체(OOI)를 배정하기 위해 도 2 시스템의 FOI 프로세서에 의해 사용된 단계의 플로 다이아그램이며;4 is a flow diagram of the steps used by the FOI processor of the FIG. 2 system to assign an object of interest (OOI) to the FOI;
도 5는 OOI가 FOI에 이전에 배정된 OOI와 배치가능한 지를 결정하기 위해 FOI 프로세서에 의해 사용된 한 단계의 플로 다이아그램이며;5 is a flow diagram of one step used by the FOI processor to determine if an OOI can be placed with an OOI previously assigned to the FOI;
도 6은 OOI를 포함하기 위해 확장된 경계 박스의 다이아그램이며;6 is a diagram of a bounding box expanded to include an OOI;
도 7은 다른 OOI를 포함하기 위해 확장된 도 6의 경계 박스의 다이아그램이며; 및7 is a diagram of the bounding box of FIG. 6 expanded to include another OOI; And
도 8은 또 다른 OOI를 포함하기 위해 확장된 도 6의 경계 박스의 다이아그램이다.8 is a diagram of the bounding box of FIG. 6 expanded to include another OOI.
발명의 상세한 설명Detailed description of the invention
도 2와 관련하여, 본 발명의 한 구체예에 따라 제작된 생물학적 스크리닝 시스템(10)이 개시되어 있다. 상기 시스템(10)은 현미경 슬라이드(14, 도 1에 가장 잘 도시되어 있음)상에 놓인 생물학적 표본(12)을 제시하여 이어, 세포검사기사와 같은 기술자가 생물학적 표본(12)내의 관심물체(OOI)를 관찰할 수 있다. 상기 OOI는 슬라이드(14)의 일부분을 덮는 다수의 관심필드(FOI, 도 3에 도시되어 있는 것 중 하나)내에 있으므로, 세포검사기사는 적절하지 않는 슬라이드 영역보다는 FOI내의 OOI에 계속해서 집중할 수 있다. 상기 슬라이드(14)는 기준 마크(16)가 구비되어 있다.2, a
추가 관찰을 필요로 하는 임의의 생물학적 표본(또는 심지어는 컴퓨터 칩과 같은 비-생물학적 표본)을 제시하기 위해 상기 시스템(10)이 사용될 수 있지만, 상기 시스템(10)은 Pap 스미어 슬라이드상에서 일반적으로 발견되는 것과 같은 세포학적 자궁경부 또는 질 세포 물질의 제시에 적합하다. 이 경우, 상기 OOI는 악성 또는 예비-악성과 같은 비정상적인 상태의 존재를 체크하기 위해 재관찰되는 개별적인 세포 및 세포 클러스터의 형태를 취한다. 상기 생물학적 표본(12)은 얇은 세포 층으로서 슬라이드(14)상에 놓인다. 바람직하게는, 커버 슬립(도시되지 않음)이 상기 표본(12)에 부착됨으로써 상기 슬라이드(14)상에 상기 표본(12)을 고정시킨다. 상기 표본(12)은 파파니콜라우 염색과 같이 임의의 적합한 염료에 의해 염색될 것이다.The
상기 시스템(10)은 (1) 상기 슬라이드(14)상의 생물학적 물질의 이미지 수득 및 상기 이미지로부터 전자 이미지 데이터 생성을 위한 이미징 스테이션(18); (2) OOI를 확인하기 위해 상기 이미지 데이터의 필터링 및 프로세싱 및 각 FOI에 하나 이상의 OOI 배정을 위한 서버(20); 및 (3) 세포검사기사가 관찰하기 위한 OOI를 제시하기 위해 각 FOI의 스캔된 해당 관측시야(FOV, 도 3에 도시됨)를 제공하는 다수의 리뷰잉 스테이션(22)을 포함한다. 상기 시스템(10)은 모니터, 키보드 및 마우스(모두 도시되지 않음)를 비롯하여 사용자 인터페이스(도시되지 않음)를 또한 포함하므로, 세포검사기사가 상기 시스템(10)과 상호작용할 수 있다.The system (10) comprises: (1) an imaging station (18) for obtaining an image of a biological material on the slide (14) and generating electronic image data from the image; (2) a server (20) for filtering and processing the image data to assign OOIs and assigning one or more OOIs to each FOI; And (3) a plurality of reviewing
상기 이미징 스테이션(18)은 다른 슬라이드와 함께 카세트(도시되지 않음)내에 있는 상기 슬라이드(14)를 이미지한다. 이미징 단계 동안, 상기 슬라이드는 각각의 카세트로부터 제거되고 이미지화되고 이어, 연속적인 방식으로 카세트로 다시 보내진다. 도시된 구체예로서, 상기 이미징 스테이션(18)은 약 16시간동안 10개의 카세트를 프로세싱할 수 있으며, 각 카세트는 25개의 슬라이드를 보유할 수 있다.The
상기 이미징 스테이션(18)은 카메라(24), 현미경(26) 및 모터라이즈드 스테이지(28)를 포함한다. 상기 카메라(24)는 현미경(26)을 통해 슬라이드(14)의 확대된 이미지를 캡쳐한다. 상기 카메라(24)는 아날로그/디지털(A/D) 컨버터와 같은 다른 구성요소와 함께 또는 단독으로, 전하 결합 소자(CCD) 카메라와 같은 임의의 다수의 통상적인 카메라일 수 있으며, 640 x 480 화소의 해상도를 갖는 디지털 이미지와 같은 캡쳐된 이미지의 프로세싱을 허용하는 충분한 해상도의 디지털 출력을 생성할 수 있다. 바람직하게는, 각 화소는 화소를 통과하는 빛의 최소량에 대해 배정된 값이“00000000”이며, 화소를 통과하는 빛의 최대량에 대해 배정된 값“ 11111111”을 갖는 그 광학 투과율에 따라 8-비트 값(0 내지 255)으로 변환된다.The
상기 슬라이드(14)는 현미경(26) 관찰 영역의 상기 슬라이드(14)를 스캔하는 모터라이즈드 스테이지(28)상에 장착되며, 상기 카메라(24)는 생물학적 표본(12)의 다양한 영역에 대한 이미지를 캡쳐한다. 상기 카메라(24)의 셔터 속도는 바람직하게는 비교적 높으므로, 이미지의 스캐닝 속도 및/또는 수는 최대화될 수 있다. 모터라이즈드 스테이지(28)는 상기 카메라(24)에 의해 이미지가 캡쳐될 때 이미지의 x-y 좌표를 쫓는다. 예를들면, 인코더(도시되지 않음)는 이미징중에 x- 및 y-방향으로 이동한 순 거리를 탐지하기 위해 모터라이즈드 스테이지(28)의 각 모터에 결합될 수 있다. 이들 좌표는 상기 슬라이드(14, 도 1에 도시됨)에 고정된 기준 마크(16)에 대해 측정된다. 이들 기준 마크(16)는 후술하는 바와 같이, 관찰 단계중에 상기 슬라이드(14)의 x-y 좌표가 이미징 단계중에 수득된 상기 슬라이드의 x-y 좌표와 상호관련될 수 있음을 확인하기 위해 리뷰잉 스테이션(22)에 의해 또한 사용될 수 있다.The
본 발명을 이해하는데 적절하지 않은 다른 프로세싱 성분중에서, 상기 서버(20)는 (1) 상기 카메라(24)로부터 획득한 이미지 데이터로부터 OOI를 확인하는 이미지 프로세서(30); (2) 각 FOI에 OOI를 배정하는 FOI 프로세서(32); (3) 리뷰잉 스테이션(22)이 한개의 FOI에서 그 다음을 스캔하기 위해 사용하는 경로 패스를 찾는 경로 프로세서(34); 및 (4) OOI 및 FOI, OOI의 등급 및 x-y 좌표 및 FOI에 대한 경로 패스를 저장하는 메모리(36)를 포함한다. 각각의 프로세서(30, 32, 34)에 의해 수행되는 기능은 단일 프로세서 또는 다르게는 세개 이상의 프로세서에 의해 수행될 수 있음을 이해해야 한다. 마찬가지로, 상기 메모리(36)는 수개의 메모리로 분류될 수 있음을 이해해야 한다.Among other processing components that are not suitable for understanding the present invention, the
상기 이미지 프로세서(30)는 적절한 방식으로 카메라(24)로부터 수득한 디지털 이미지를 조정함으로써 생물학적 표본(12)내의 OOI를 확인한다. 구체예로서, 상기 이미지 프로세서(30)는 1차 및 2차 세그멘테이션 작업에 의해 이를 달성한다.The
1차 세그멘테이션 작업으로서, 상기 이미지 프로세서(30)는 추가 고찰로부터 인공산물을 제거한다. 상기 이미지 프로세서(30)는 광에 의해 세포핵일 것 같지않는 추가 고찰로부터 디지털 이미지 데이터의 화소를 마스킹함으로써 이를 달성한다. 디지털 이미지의 남아있는 화소는 모든 형상과 크기를 갖는 블랍(blob)을 형성한다. 상기 이미지 프로세서(30)는 이어, 직경이 극히 소수의 화소인 블랍 및 블랍으로부터 연장된 또는 인접한 블랍을 연결하는 좁은 스트랜드를 추가 고찰로부터 제거하기 위해, 블랍상의 침식 단계를 실시한다. 상기 이미지 프로세서(30)는 이어, 블럽의 화소 수에 따라 상기 이미지의 각 블랍이 개별적인 물체인지 또는 클러스터화 물체인지를 결정한다. 예를들면, 500화소 이상을 갖는 블랍은 클러스터화 물체로 간주되는 반면, 500 또는 그 미만 화소를 갖는 블랍은 개별적인 물체로 간주 될 것이다. 개별적인 물체의 경우, 블랍은 총 영역, 영역 비율에 대한 페리미터, 광학 밀도 표준 이탈에 관한 특정 기준을 만족시키지 않으며 그레이스케일 평균 화소값은 추가로 고려되지 않는다.As a primary segmentation task, the
2차 세그멘테이션 작업으로서, 상기 이미지 프로세서(30)는 개별적인 세포 또는 클러스터화 세포일 것 같지않는 블랍을 제거한다. 개별적인 물체의 경우, 상 기 이미지 프로세서(30)는 작은 물체를 제거하며 남아있는 블랍으로부터 투사를 제거하는 연속적인 침식 작업 및 남아있는 블랍으로부터 구멍을 제거하는 확장 작업을 실시한다. 클러스터와 물체의 경우, 상기 이미지 프로세서(30)는 한정된 경계를 제공하기 위해 물체의 가장자리를 날카롭게 한다. 상기 한정된 클러스터화 물체로부터, 상기 이미지 프로세서(30)는 이어, 높은 집적 광 밀도를 갖는 개별적인 물체 또는 물체들을 선별한다. 클러스터화 물체로부터 추출된 상기 개별적인 물체들은 클러스터-추출된 물체로서 표시될 것이다.As a secondary segmentation operation, the
분류 작업으로서, 상기 이미지 프로세서(30)는 각각의 개별적인 물체 및 클러스터화 물체의 다양한 특징을 측정하며 이어, 이들 특징의 측정된 값을 토대로 각 물체의 점수를 계산한다. 이 점수를 토대로, 상기 이미지 프로세서(30)는 인공산물일 것 같은 개별적인 물체 및 클러스터화 물체를 제거한다. 남아있는 물체들은 OOI로 간주되는 바, 개별적인 물체는 개별적인 OOI(IOOI)를 의미하며, 클러스터화 물체는 클러스터화 OOI(COOI)를 의미한다. 상기 이미지 프로세서(30)는 이어, 이들의 핵 집적 또는 평균 광학 밀도에 대한 OOI를 측정하며 이들의 광학 밀도값에 따라 OOI의 등급을 매긴다. 각각의 디지털 이미지에 있어서, 상기 이미지 프로세서(30)는 OOI의 상대적인 등급 및 좌표와 함께, 메모리(36)내에 프레임 데이터 레코드(FDR)로서 OOI를 저장한다. 도시된 구체예로서, 각 슬라이드(14)에 있어서 약 2000개 디지털 이미지가 수득되므로, 약 2000개 FDR이 메모리(36)에 저장될 것이다. 도시된 구체예로서, 상기 이미지 프로세서(30)는 개별적인 OOI에 있어서는 10개 및 클러스터화 OOI에 있어서는 3개로 각 FDR에 함유된 OOI의 수를 제한한다.As a classification task, the
상기 FOI 프로세서(32)는 OOI 등급을 토대로 각 FOI에 OOI를 배정한다. OOI의 배정은 다른 FOI내에 이미 배정되어 있는 FOI에 OOI의 배정을 피하는 방식으로 이루어진다. 이 방법에서, 상기 OOI는 동일한 방식으로 FOI(구체예에서, 고정된 수를 가짐)내에 그룹으로 될 수 있으므로, FOI내에 포함되는 OOI의 수는 최대화될 수 있다. 다르게는, FOI의 수가 고정되지 않으면, 모든 OOI를 포함하기 위해 필요한 FOI의 수는 최소화될 수 있다. 한 구체예로서, 20개 IOOI 우선의 FOI 및 2개 COOI 우선의 FOI가 생성될 것이다. 따라서, 세포검사기사에 의한 연속적인 관찰을 위해 IOOI 및 COOI 모두 FOI내에 포함될 것이다.The
도 4와 관련하여, OOI 우선의 FOI(이 경우에는, 20)를 생성하기 위해 FOI 프로세서(32)에 의해 사용되는 단계가 상세하게 개시될 것이다. 먼저, 상기 FOI 프로세서(32)는 현재 슬라이드(14)에 대해 메모리(36)에 저장된 FDR을 입수하며 IOOI 리스트 및 COOI 리스트를 만들기 위해(액션 블럭 50) IOOI 및 COOI를 추출한다. 다르게는, 상기 개별적인 OOI 및 클러스터화 OOI는 단일 리스트로 조합될 수 있다. 상기 클러스터-추출된 IOOI(즉, 상기 IOOI는 클러스터로부터 추출됨)는 클러스터-추출된 IOOI로서 표시될 것이다. 한 구체예로서, 상기 리스트는 예비결정된 수의 OOI, 예를들면 각각의 리스트에 대해 100개 IOOI 및 20개 COOI를 함유한다. 이 방법에서, 연속적인 프로세싱 및 사람의 재관찰 시간은 FOI 프로세서(32) 및 세포검사기사에 의한 추가 고찰로부터 위험 OOI를 내리는 것을 배제함으로써 최소화된다.4, the steps used by the
상기 FOI 프로세서(32)는 이어, x-y 좌표 및 OOI의 등급을 토대로 FOI에 x-y 좌표를 배정함으로써 예비결정된 크기를 갖는 FOI를 생성한다. 특이적으로, 상기 FOI 프로세서(32)는 처음 FOI에 최고 등급의 IOOI(즉, 상기 리스트에서 첫번째 IOOI)를 배정한다(액션 블록 52). 상기 FOI 프로세서(32)는 이어, 그 다음 등급의 IOOI(이 경우에는, 두번째 등급의 IOOI)를 현재 IOOI로서 선별하며(액션 블록 54), 상기 현재 IOOI 및 처음 FOI에 이전에 배정된 상기 IOOI가 처음 FOI내에 배치될 수 있는지를 결정한다(결정 블록 56). 특히, 상기 첫번째 패스에서 두번째 등급의 IOOI가 현재 IOOI일 것이며, 이전에 배정된 IOOI는 처음(즉, 첫번째 등급의) IOOI를 포함할 것이다.The
상기 현재 IOOI가 이전에 배정된 IOOI와 함께 배치될 수 있다면, 상기 현재 IOOI는 배치가능한 IOOI로서 확인되며 처음 FOI에 배정된다(액션 블록 58). 상기 현재 IOOI가 이전에 배정된 IOOI와 함께 배치될 수 없다면, 상기 현재 IOOI는 배치가능하지 않는 IOOI로서 확인되며 처음 FOI에 배정되지 않는다(액션 블록 60). 상기 FOI 프로세서(32)는 이어, 상기 현재 IOOI가 마지막 등급의 IOOI인지를 결정한다(결정 블록 62). 그렇지 않다면, 상기 과정은 그 다음 등급의 IOOI가 현재 IOOI로서 선택되는 블록 54로 되돌아간다. 따라서, 상기 FOI 프로세서(32)는 처음 FOI에 모든 배치가능한 IOOI를 배정하기 위해 블록 54-60을 반복함을 이해할 것이다. 반복 횟수는 리스트의 IOOI의 수에서 1을 뺀(즉, 상기 처음 FOI를 뺀) 것과 같을 것이며, 이 경우에서는 99회일 것이다.If the current IOOI can be deployed with a previously assigned IOOI, then the current IOOI is identified as a deployable IOOI and assigned to the first FOI (action block 58). If the current IOOI cannot be deployed with a previously assigned IOOI, then the current IOOI is identified as an IOOI that is not deployable and is not assigned to the first FOI (action block 60). The
상기 현재 IOOI가 마지막 등급의 IOOI일 경우, 상기 FOI 프로세서(32)는 처음 FOI에 임의의 배치가능한 COOI를 배정하기 위해 COOI 리스트를 반복할 것이다. 특이적으로, 상기 FOI 프로세서(32)는 그 다음 등급의 COOI를 현재 COOI로서 선택 하며(액션 블록 64), 상기 현재 COOI가 미리 배정된 IOOI 및 COOI와 함께 배치될 수 있는지를 결정한다(결정 블록 66). 물론, 최고 등급의 COOI가 그 다음 등급의 COOI일 경우, 상기 FOI 프로세서(32)는 현재 COOI가 이전에 배정된 IOOI와 함께 배치가능할 수 있는지를 결정할 필요가 있는 바, 그 이유는 처음 FOI에 이전에 배정된 COOI가 없기 때문이다. 임의의 경우에서, 상기 현재 COOI가 이전에 배정된 IOOI와 함께 배치가능하다면, 상기 현재 COOI는 배치가능한 IOOI로서 확인되며 처음 FOI에 배정된다(액션 블록 68). 상기 현재 COOI가 이전에 배정된 IOOI와 함께 배치가능하지 않다면, 상기 현재 COOI는 배치가능하지 않는 IOOI로서 확인되며 처음 FOI에 배정되지 않는다(액션 블록 70).If the current IOOI is the last class IOOI, the
상기 FOI 프로세서(32)는 이어, 상기 현재 COOI가 마지막 등급의 COOI인지를 결정한다(결정 블록 72). 그렇지 않다면, 상기 과정은 그 다음 등급의 COOI가 현재 COOI로서 선택되는 블록 64로 되돌아간다. 따라서, 상기 FOI 프로세서(32)는 처음 FOI에 모든 배치가능한 COOI를 배정하기 위해 블록 64-70을 반복함을 이해할 것이다. 반복 횟수는 리스트의 COOI의 수와 같을 것이며, 이 경우에서는 20회일 것이다. The
상기 현재 COOI가 마지막 등급의 COOI일 경우, 처음 FOI는 모든 배치가능한 OOI(IOOI 및 COOI)를 포함하는 방법으로 처음 FOI에 x-y 좌표를 배정함으로써 한정될 것이다. 하기에 상세하게 개시하는 바와 같이, x-y 좌표가 처음 FOI에 배정되는 상기 방법은 주로 상기 OOI가 배치가능한지를 결정하는 방법에 따라 다를 것이다.If the current COOI is the last class COOI, the first FOI will be defined by assigning x-y coordinates to the first FOI in a way that includes all deployable OOIs (IOOI and COOI). As described in detail below, the method by which the x-y coordinates are initially assigned to the FOI will depend primarily on the method of determining whether the OOI is deployable.
다음에, 상기 FOI 프로세서(32)는 FOI에 이전에 배정되지 않은 배치가능한 IOOI를 배정함으로써 그 다음 FOI를 한정한다. 특이적으로, 상기 FOI 프로세서(32)는 그 다음 FOI를 현재 FOI로서 선택하며(액션 블록 76) 현재 FOI에 가장 높은 등급의 이전에 배정되지 않는 IOOI를 배정한다(액션 등급 78). 예를들어, 상기 첫번째 및 두번째 등급의 IOOI가 이전에 배정되었지만 세번째 등급의 IOOI가 배정되지 않았다면, 상기 세번째 등급의 IOOI는 현재 FOI에 배정될 것이다. 상기 FOI 프로세서(32)는 이어, 이전에 배정되지 않은 그 다음 등급의 IOOI를 현재 IOOI로서 선택한다(액션 블록 80). 예를들어, 다섯번째, 여섯번째 및 일곱번째 등급의 IOOI가 이전에 배정되었지만, 여덟번째 등급의 IOOI가 배정되지 않았다면, 상기 여덟번째 등급의 IOOI는 현재 IOOI로서 선택될 것이다.Next, the
처음 FOI와 관련하여 상술한 동일한 방법으로, 상기 FOI 프로세서(32)는 현재 IOOI가 현재 FOI에 이전에 배정된 IOOI와 함께 배치가능한지를 결정할 것이다(결정 블록 82). 특히, 첫번째 패스에서 이전에 배정된 IOOI는 현재 FOI에 처음에 배정된 IOOI를 포함할 것이다. 배치가능하다면, 상기 현재 IOOI는 현재 FOI에 배정될 것이며(액션 블록 84), 그렇지않다면 상기 현재 IOOI는 현재 FOI에 배정되지 않을 것이다(액션 블록 86). 상기 FOI 프로세서(32)는 이어, 현재 IOOI가 마지막 등급의 이전에 배정되지 않은 IOOI인지를 결정한다(결정 블록 88). 그렇지않다면, 상기 과정은 그 다음 등급의 이전에 배정되지 않은 IOOI가 현재 IOOI로서 선택되는 액션 블록 80으로 되돌아간다. 따라서, 상기 FOI 프로세서(32)는 현재 FOI에 이전에 배정되지 않은 배치가능한 모든 IOOI를 배정하기 위해 블록 80-86을 반복함을 이해할 것이다.In the same manner described above with respect to the first FOI, the
상기 현재 IOOI가 마지막 등급의 IOOI일 경우, 상기 FOI 프로세서(32)는 처음 FOI와 관련하여 상술한 동일한 방법으로 현재 FOI에 임의의 이전에 배정되지 않은 배치가능한 COOI를 배정하기 위해 COOI 리스트를 반복할 것이다. 특이적으로, 상기 FOI 프로세서(32)는 그 다음 등급의 이전에 배정되지 않은 COOI를 현재 COOI로서 선택하며(액션 블록 90), 상기 현재 COOI가 이전에 배정된 IOOI 및 COOI와 함께 배치가능할 수 있는지를 결정한다(결정 블록 92). 한번 더, 가장 높은 등급의 이전에 배정되지 않는 COOI가 그 다음 등급의 COOI일 경우, 상기 FOI 프로세서(32)는 현재 COOI가 이전에 배정된 IOOI와 함께 배치가능할 수 있는지를 결정할 필요가 있는 바, 그 이유는 FOI에 이전에 배정된 COOI가 없기 때문이다. 배치가능하다면, 상기 현재 COOI는 현재 FOI에 배정될 것이며(액션 블록 94) 그렇지않다면, 상기 현재 COOI는 현재 FOI에 배정되지 않을 것이다(액션 블록 96). 상기 FOI 프로세서(32)는 이어, 현재 COOI가 마지막 등급의 이전에 배정되지 않은 COOI인지를 결정한다(결정 블록 98). 그렇지않다면, 상기 과정은 그 다음 등급의 이전에 배정되지 않은 COOI가 현재 COOI로서 선택되는 액션 블록 90으로 되돌아간다. 따라서, 상기 FOI 프로세서(32)는 현재 FOI에 모든 이전에 배정되지 않은 배치가능한 COOI를 배정하기 위해 블록 90-96을 반복함을 이해할 것이다. 상기 현재 COOI가 마지막 등급의 COOI일 경우, 현재 FOI는 모든 배치가능한 OOI(IOOI 및 COOI)를 포함하는 방법으로 현재 FOI에 x-y 좌표를 배정함으로써 한정될 것이다(액션 블록 100).If the current IOOI is the last class IOOI, the
상기 FOI 프로세서(32)는 이어, 현재 FOI가 마지막 IOOI 우선의 FOI(이 경우에서, 20번째 FOI)인지를 결정할 것이다(결정 블록 102). 그렇지않다면, 그 다음 FOI가 현재 FOI로 선택되는 블록 76으로 되돌아가며, 이어 이전에 배정되지 않은 배치가능한 IOOI 및 COOI가 현재 FOI에 배정된다.The
현재 FOI가 마지막 IOOI 우선의 FOI일 경우, 상기 과정은 종결하며(액션 블록 104) 이어, 상기 FOI 프로세서(32)는 블록 76-100에 제시된 FOI를 생성하기 위해 사용되는 것과 유사한 방법으로 COOI 우선의 FOI(이 경우에서, 마지막 2개 FOI)를 생성할 것이다. 중요한 차이는 이전에 배정되지 않은 IOOI가 FOI에 배정되기 전에, 이전에 배정되지 않은 배치가능한 COOI가 FOI에 배정될 것이라는 것이다. 다른 차이는 20개 IOOI 우선의 FOI가 생성된 후 2개 미만의 이전에 배정되지 않은 COOI가 남겨질 수 있으므로, 하나 이상의 COOI 우선의 FOI가 COOI에 의해 초기화될 수 없다는 사실로부터 비롯된다. 이 경우, 상기 FOI 프로세서(32)는 FOI에 이전에 배정되지 않은 클러스터-추출된 IOOI(즉, 클러스터로부터 추출된 것으로 표시된 IOOI)의 배정을 시도할 것이다. 이전에 배정되지 않은 클러스터-추출된 IOOI가 충분하지 않을 경우, 상기 FOI 프로세서(32)는 FOI에 클러스터로부터 추출되지 않은 이전에 배정되지 않은 IOOI를 배정할 것이다.If the current FOI is the last IOOI-priority FOI, the process terminates (action block 104), and the
상술한 바와 같이, 상기 OOI가 배치가능한지를 결정하는 방법 및 상기 x-y 좌표가 FOI에 배정되는 방법은 상호관련있다. 예를들면, 상기 x-y 좌표가 FOI에 배정되면, x-y 좌표는 FOI에 배정된 처음 OOI에 대해 중심이 되며, 상기 FOI는 고정될 것이며, 이 고정된 FOI의 경계내에 포함되는 OOI는 배치가능할 것으로 간주되는 반면, 상기 고정된 FOI의 경계외부에 포함되는 OOI는 배치가능하지 않는 것으로 간주될 것이다. 상기 x-y 좌표가 FOI에 배정되면, x-y 좌표는 OOI 그룹에 대해 결국 중심이 되므로 처음 배정된 OOI로부터 이동할 수 있으며, 현재 배치가능한 OOI가 FOI의 경계외부에 포함되도록 유도함없이, 역동적으로 이동가능한 FOI의 경계내에 포함되는 OOI(상기 FOI가 이동하여 OOI 및 현재 배치가능한 OOI를 수용한다면)는 배치가능할 것으로 간주되는 반면, 역동적으로 이동가능한 FOI의 경계의 외부에 포함되는 OOI 또는 현재 배치가능한 OOI가 FOI의 경계외부에 포함되도록 유도하는 OOI는 배치가능하지 않을 것으로 간주된다. 후자 방법이 전자보다 더 바람직한 바, 그 이유는 후자 방법이 주어진 FOI내에 더 많은 OOI가 배치가능하도록 하기 때문이다.As mentioned above, the method of determining whether the OOI is deployable and the way the x-y coordinates are assigned to the FOI are interrelated. For example, if the xy coordinate is assigned to an FOI, then the xy coordinate is centered relative to the first OOI assigned to the FOI, the FOI will be fixed, and the OOI contained within the bounds of this fixed FOI will be considered deployable. On the other hand, OOIs included outside the bounds of the fixed FOI will be considered not deployable. Once the xy coordinates are assigned to the FOI, the xy coordinates are eventually centered with respect to the OOI group so that they can be moved from the first assigned OOI, and that the currently deployable OOIs can be included outside the boundary of the FOI, without inducing the dynamic movement of the FOI. An OOI contained within a boundary (if the FOI moves to accept an OOI and a currently deployable OOI) is considered deployable, while an OOI or currently deployable OOI contained outside the boundary of a dynamically moveable FOI is considered to be deployable. An OOI leading to inclusion outside the boundary is considered not deployable. The latter method is more preferable than the former because the latter method allows more OOIs to be deployable within a given FOI.
FOI는 확장가능한 바운딩 박스를 사용함으로써 배치가능한 OOI(IOOI 및 COOI 모두 또는 그 중 하나)의 그룹에 대해 알맞게 중심이 될 수 있다. 특히 도 5-8과 관련하여, FOI가 배치가능한지를 반복해서 결정하기 위한 확장가능한 바운딩 박스(150)의 사용이 개시되어 있다. 먼저, 포인트로서 시작할 상기 바운딩 박스(150)는 처음 OOI(도 6에 OOI0으로서 도시됨)의 좌표와 같은 바운딩 박스(150)의 x-y 좌표를 만듬으로써 초기화될 것이다(액션 블록 160). 그 다음 OOI(도 6에 OOI1로서 도시됨)는 현재 OOI로서 확인되며(액션 블록 162), 상기 바운딩 박스(150)는 이어 확장되어 현재 OOI를 포함한다(액션 블록 164). The FOI can be moderately centered on a group of deployable OOIs (both IOOI and COOI or one of them) by using an extensible bounding box. In particular with respect to FIGS. 5-8, the use of an
중요하게도, 현재 OOI를 포함하는데 필요한 상기 바운딩 박스(150)의 측면만이 확장된다. 즉, 현재 OOI의 x-좌표가 상기 바운딩 박스(150)의 최소 x 좌표보다 적을 경우, 상기 바운딩 박스(150)의 왼쪽 면이 확장될 것이므로 상기 바운딩 박스 (150)의 최소 x-좌표가 현재 OOI의 x-좌표와 맞는다. 유사하게, 현재 OOI의 y-좌표가 상기 바운딩 박스(150)의 최소 y-좌표보다 적을 경우, 상기 바운딩 박스(150)의 바닥 면이 확장될 것이므로 상기 바운딩 박스(150)의 최소 y-좌표가 현재 OOI의 y-좌표와 맞는다. 현재 OOI의 x-좌표가 상기 바운딩 박스(150)의 최대 x-좌표보다 더 큰 경우, 상기 바운딩 박스(150)의 오른쪽 면이 확장될 것이므로 상기 바운딩 박스(150)의 최대 x-좌표가 현재 OOI의 x-좌표와 맞는다. 현재 OOI의 y-좌표가 상기 바운딩 박스(150)의 최대 y-좌표보다 더 큰 경우, 상기 바운딩 박스(150)의 꼭대기 면이 확장될 것이므로 상기 바운딩 박스(150)의 최대 y-좌표가 현재 OOI의 y-좌표와 맞는다. Importantly, only the side of the
도 6과 관련하여, OOI1의 x-좌표는 상기 바운딩 박스(150)(본질적으로 포인트임)의 최소 x 좌표보다 더 적으므로, 상기 바운딩 박스(150)의 왼쪽 면은 밖으로 확장되어 상기 바운딩 박스(150)의 최소 x 좌표는 OOI1의 x-좌표와 맞는다. OOI1의 y-좌표는 상기 바운딩 박스(150)의 최대 y 좌표보다 더 크므로, 상기 바운딩 박스(150)의 꼭대기 면은 밖으로 확장되어 상기 바운딩 박스(150)의 최대 y 좌표는 OOI1의 y-좌표와 맞는다. With respect to FIG. 6, the x-coordinate of OOI 1 is less than the minimum x coordinate of the bounding box 150 (which is essentially a point), so the left side of the
확장 후 임의 크기의 상기 바운딩 박스(150)가 현재 FOI의 크기를 능가하는지를 결정한다(결정 블록 166). 그렇지않다면, 현재 OOI는 배치가능한 것으로 확인되며(액션 블록 168), 상기 확장된 바운딩 박스는 그 다음 반복을 위한 새로운 바운딩 박스로서 설정될 것이다(액션 블록 172). 이와 대조로, 확장 후 상기 바운딩 박스(150)가 현재 FOI의 크기를 능가한다면, 상기 현재 OOI는 배치가능하지 않은 것으로서 확인되며(액션 블록 170), 상기 확장된 바운딩 박스는 이전의 바운딩 박스(즉, 이전의 바운딩 박스는 그 다음 반복을 위한 새로운 바운딩 박스일 것이다)로 되돌아 갈 것이다.It is determined whether the
도 8과 관련하여, 그 다음 OOI가 OOI3로서 도시되어 있다. OOI3의 x-좌표는 새로운 바운딩 박스(150)의 최대 x-좌표보다 더 크므로, 상기 바운딩 박스(150)의 오른쪽 면은 밖으로 확장되어 상기 바운딩 박스(150)의 최대 x-좌표는 OOI3의 x-좌표와 맞는다. 도 8에 도시된 바와 같이, OOI3를 포함하기 위해 확장될 때 상기 새로운 바운딩 박스의 크기는 300㎛ x 100㎛이다. 이 경우, 상기 바운딩 박스의 양쪽 크기는 현재 FOI의 크기보다 더 적으므로, OOI3는 배치가능한 것으로 확인될 것이며, 상기 확장된 바운딩 박스는 다음 반복을 위한 새로운 바운딩 박스로서 설정될 것이다. 상기 바운딩 박스가 최종적으로 설정되면, 상기 FOI 프로세서(32)는 상기 바운딩 박스(150)의 최소 및 최대 x-좌표의 평균과 동일한 FOI에 x-좌표를 배정함으로써 및 상기 바운딩 박스(150)의 최소 및 최대 y-좌표의 평균과 동일한 FOI에 y-좌표를 배정함으로써 배치된 OOI에 대해 FOI를 용이하게 중심으로 할 수 있다.With reference to FIG. 8, the next OOI is shown as OOI 3 . Since the x-coordinate of OOI 3 is greater than the maximum x-coordinate of the
22개의 모든 FOI가 생성된 후, 상기 FOI 프로세서(32)는 경로 프로세서(34)에 의한 나중 사용을 위해 메모리(36)의 모든 FOI의 x-y 좌표를 저장한다. 특히, 상기 경로 프로세서(34)는 변형된“트래블링 세일즈맨”알고리즘과 같은 적절한 경로 알고리즘을 사용하여 FOI의 x-y 좌표를 나타내는 바, 이는 리뷰잉 스테이션(22) 의 FOI를 제시하기 위한 가장 효과적인 관찰 경로를 결정한다. 상기 경로 프로세서(34)는 이어, 리뷰잉 스테이션(22)에 의한 연속적인 엑세스를 위한 메모리(36)의 FOI의 x-y 좌표를 경로 계획(구체예로서, 관찰될 순서대로 FOI를 리스트함으로써 이루어짐)과 함께 저장한다.After all 22 FOIs have been generated, the
도 2로 되돌아가 한 구체예로서, 총 3개의 리뷰잉 스테이션(22)은 서버(20)에 결합되어, 세명의 세포검사기사가 상기 서버(20)에 저장된 적절한 정보에 동시에 엑세스한다. 특히, 상기 시스템(10)은 세포검사 기사가 슬라이드를 관찰하는 것보다 훨씬 빠르게 상기 슬라이드(14)를 프로세스할 수 있다. 상기 시스템(10)의 표본 프로세싱 속도가 세포검사 기사의 표본 관찰 속도보다 더 느리지만, 상기 시스템(10)은 하루 24시간 작동할 수 있는 반면, 세포검사 기사는 하루에 8시간만 작업할 것이다. 그러므로, 스크리닝 프로세스의 장애 즉, 슬라이드(14)상에 함유된 생물학적 물질의 상세한 관찰은 사람 수준으로 발생한다. 그러므로, 다수의 리뷰잉 스테이션(22)의 사용은 이러한 장애를 경감시킴으로써 더 효과적인 프로세스를 제공한다.Returning to FIG. 2, in one embodiment, a total of three reviewing
리뷰잉 스테이션(22)에 대해 상세히 설명하기 전에, 도 3은 각 리뷰잉 스테이션이 FOI에 대해 중심이 되는 FOV의 예를 도시한다. 도시된 구체예로서, 상기 FOV는 직경이 2.2mm이며, 상기 FOI는 FOV에 의해 외접된 0.4mm x 0.4mm 평방으로 한정된다. 실제적인 구체예로서, 상기 FOI의 경계는 가상적이며 보이지 않으므로, 임의의 OOI에 대한 세포검사 기사의 관찰은 차단되지 않는다. 더 빨리 세포검사 기사의 주의를 FOI에 유도하기 위해 및 상기 FOI의 가상적인 경계에 의해 결합된 정확한 영역을 일반적으로 나타내는 기준을 제공하기 위해, L-모양의 마크 인디케이터(152)가 제공된다. 상기 마크 인디케이터(152)는 FOI를 캡쳐한다(즉, 마크 인디케이터(152)의 개방된 스퀘어 부분(154)은 FOI의 왼쪽 및 바닥면과 경계를 이룬다). 마크 인디케이터(152) 경계 및 FOI의 가상적인 경계사이에 0.05mm 여백이 제공되어 FOI의 왼쪽 및 바닥 경계의 외부로 연장되는 OOI의 일부분(FOI내에 포함되지만 FOI의 왼쪽 또는 바닥 경계 근처를 중심으로 하는 OOI로부터 생성된)은 마크 인디케이터(152)에 의해 차단되지 않는다. 상기 마크 인디케이터(152)는 병리학자의 추가 관찰을 필요로 할 때(예를들면, OOI가 악성 또는 예비-악성 특성을 갖는 경우), 세포검사 기사가 상기 FOI를 전기적으로 마크하게 하는 수단(예를들면, 상기 마크 인디케이터(152)를 전기적으로 채색하는 버튼을 누름으로써)을 제공한다.Before describing the reviewing
도 2와 관련하여, 각 리뷰잉 스테이션(22)은 현미경(38) 및 모터라이즈드 스테이지(40)를 포함한다. 상기 슬라이드(14)(이미지 프로세싱 후)는 모터라이즈드 스테이지(40)상에 장착되는 바, 이는 메모리(36)로부터 수득한 FOI의 x-y 좌표의 경로 계획 및 변형을 토대로 현미경(38) 관찰 영역으로 상기 슬라이드(14)를 움직인다. 특히, 이미징 스테이션(18)의 x-y 좌표 시스템에 대해 획득된 이들 x-y 좌표는 상기 슬라이드(14)에 고정된 기준 마크(도 1에 도시됨)를 사용하여 리뷰잉 스테이션(22)의 x-y 좌표 시스템으로 변형될 것이다. 따라서, 리뷰잉 프로세스중의 상기 슬라이드(14)의 x-y 좌표는 이미징 프로세스중의 x-y 좌표와 상호관련됨이 확실하다. 상기 모터라이즈드 스테이지(40)는 이어, 경로 계획에 나타난 바와 같이, FOI의 변형된 x-y 좌표에 따라 이동할 것이다.In connection with FIG. 2, each reviewing
도시된 구체예로서, 한개의 FOI에서 다른 FOI로 진행하기 위해 세포검사 기사는 액티베이션 스위치(도시되지 않음)를 누른다. 이 점에서, 상기 리뷰잉 스테이션(22)은 반-자동이다. 다르게는, 상기 FOI는 한개에서 다른 것으로 자동적으로 진행한다. 이 경우, 상기 모터라이즈드 스테이지(40)는 각 FOI에 대해 예비결정된 시간의 양을 선택적으로 중지할 수 있다. 이 점에서, 상기 리뷰잉 스테이션(22)은 완전 자동이다. In the illustrated embodiment, the cytographer presses an activation switch (not shown) to progress from one FOI to another. In this respect, the reviewing
선택된 FOI가 현미경(38)의 FOV에 존재할 때, 세포검사 기사는 FOI를 관찰하며 세포의 비정상의 정도(존재한다면)를 결정한다. 세포검사 기사는 의심되는 임의의 FOI를 전기적으로 표시한다. 세포검사 기사는 이전에 관찰된 FOI로 되돌아갈 수 있으며, FOI가 둘러싸지 않은 슬라이드상의 (관찰)위치로 수동적으로 이동할 수 있다. 상기 슬라이드(14)를 관찰한 후, 세포검사 기사에 의해 임의의 FOI가 표시되어 있다면, 상기 리뷰잉 스테이션(22)은 전체 생물학적 표본(12)을 자동적으로 스캔하여 100% 관찰 커버리지가 확보된다. 세포검사 기사는 슬라이드상의 위치의 재배치 및 엑세스하기 위해 자동스캔를 중지할 수 있으며, 상기 스테이지(40)를 움직일 수 있다.When the selected FOI is in the FOV of the
Claims (19)
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US47843103P | 2003-06-12 | 2003-06-12 | |
US60/478,431 | 2003-06-12 | ||
PCT/US2004/017414 WO2005024395A1 (en) | 2003-06-12 | 2004-06-02 | System for organizing multiple objects of interest in field of interest |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20060022265A KR20060022265A (en) | 2006-03-09 |
KR101106358B1 true KR101106358B1 (en) | 2012-01-18 |
Family
ID=34272437
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020057023804A KR101106358B1 (en) | 2003-06-12 | 2004-06-02 | System for organizing multiple objects of interest in field of interest |
Country Status (11)
Country | Link |
---|---|
US (1) | US7590492B2 (en) |
EP (1) | EP1631817B1 (en) |
JP (1) | JP4391527B2 (en) |
KR (1) | KR101106358B1 (en) |
CN (1) | CN1795375B (en) |
AT (1) | ATE539342T1 (en) |
AU (1) | AU2004271106C1 (en) |
BR (1) | BRPI0411242A (en) |
CA (1) | CA2524687C (en) |
HK (1) | HK1083368A1 (en) |
WO (1) | WO2005024395A1 (en) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7796815B2 (en) * | 2005-06-10 | 2010-09-14 | The Cleveland Clinic Foundation | Image analysis of biological objects |
US7636465B2 (en) * | 2005-12-09 | 2009-12-22 | Cytyc Corporation | Cross-frame object reconstruction for image-based cytology applications |
US8326014B2 (en) * | 2007-09-28 | 2012-12-04 | Cytyc Corporation | Methods and systems for processing biological specimens utilizing multiple wavelengths |
CA2709705C (en) * | 2007-12-27 | 2016-04-05 | Cytyc Corporation | Methods and systems for controlably scanning a cytological specimen |
US8325414B2 (en) * | 2007-12-27 | 2012-12-04 | Cytyc Corporation | Apparatus for single-handed control of microscope functions |
WO2012080363A1 (en) * | 2010-12-15 | 2012-06-21 | Carl Zeiss Ag | Automated depiction of predetermined regions in series of sections |
WO2014150274A1 (en) | 2013-03-15 | 2014-09-25 | Hologic, Inc. | System and method for reviewing and analyzing cytological specimens |
US10564172B2 (en) | 2014-05-08 | 2020-02-18 | The Cleveland Clinic Foundation | Systems and methods for detection, analysis, isolation and/or harvesting of biological objects |
JP6562625B2 (en) * | 2014-12-10 | 2019-08-21 | キヤノン株式会社 | Slide and microscope system using the slide |
TWI599793B (en) * | 2015-11-23 | 2017-09-21 | 財團法人金屬工業研究發展中心 | Image scanning system for tissue slides |
JP6643072B2 (en) * | 2015-12-10 | 2020-02-12 | キヤノン株式会社 | Microscope system and control method thereof |
IL251134B (en) * | 2016-05-17 | 2018-03-29 | Sheena Haim | System and method for following and conducting laboratory procedures |
KR102435609B1 (en) | 2017-03-09 | 2022-08-23 | 홀로직, 인크. | Systems and methods for automated preparation of biological specimens |
CN113039472A (en) | 2018-11-02 | 2021-06-25 | 豪洛捷公司 | Digital imaging system and method |
WO2021108321A1 (en) | 2019-11-25 | 2021-06-03 | Hologic, Inc. | Digital imaging system and method |
CN112528887B (en) * | 2020-12-16 | 2022-10-28 | 蚂蚁胜信(上海)信息技术有限公司 | Auditing method and device |
WO2023053103A1 (en) * | 2021-10-03 | 2023-04-06 | Imageprovision Technology Private Limited | Method and system for automatic scanning and focusing of uneven surfaces for identification and classification of particulates |
TW202349336A (en) | 2022-02-28 | 2023-12-16 | 美商好樂杰公司 | Digital imaging system and method |
CN115375674B (en) * | 2022-10-21 | 2023-02-03 | 武汉楚精灵医疗科技有限公司 | Stomach white-light neoplasia image identification method, device and storage medium |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4513438A (en) * | 1982-04-15 | 1985-04-23 | Coulter Electronics, Inc. | Automated microscopy system and method for locating and re-locating objects in an image |
US6252979B1 (en) * | 1995-06-07 | 2001-06-26 | Tripath Imaging, Inc. | Interactive method and apparatus for sorting biological specimens |
WO2002037158A2 (en) * | 2000-11-03 | 2002-05-10 | Cytyc Corporation | Cytological imaging systems and methods |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU4347900A (en) * | 1999-04-14 | 2000-11-14 | Tripath Imaging, Inc. | Automatic slide classification using microscope slide preparation type |
CN1169077C (en) * | 2001-09-07 | 2004-09-29 | 昆明利普机器视觉工程有限公司 | Information excavating system based on TV signal digital image recognition |
-
2004
- 2004-06-02 WO PCT/US2004/017414 patent/WO2005024395A1/en active Application Filing
- 2004-06-02 EP EP04776235A patent/EP1631817B1/en not_active Expired - Lifetime
- 2004-06-02 CA CA2524687A patent/CA2524687C/en not_active Expired - Lifetime
- 2004-06-02 AU AU2004271106A patent/AU2004271106C1/en not_active Expired
- 2004-06-02 JP JP2006533551A patent/JP4391527B2/en not_active Expired - Lifetime
- 2004-06-02 BR BRPI0411242-3A patent/BRPI0411242A/en active IP Right Grant
- 2004-06-02 KR KR1020057023804A patent/KR101106358B1/en active IP Right Grant
- 2004-06-02 CN CN2004800144661A patent/CN1795375B/en not_active Expired - Lifetime
- 2004-06-02 AT AT04776235T patent/ATE539342T1/en active
- 2004-06-10 US US10/866,397 patent/US7590492B2/en active Active
-
2006
- 2006-05-16 HK HK06105621.0A patent/HK1083368A1/en unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4513438A (en) * | 1982-04-15 | 1985-04-23 | Coulter Electronics, Inc. | Automated microscopy system and method for locating and re-locating objects in an image |
US6252979B1 (en) * | 1995-06-07 | 2001-06-26 | Tripath Imaging, Inc. | Interactive method and apparatus for sorting biological specimens |
WO2002037158A2 (en) * | 2000-11-03 | 2002-05-10 | Cytyc Corporation | Cytological imaging systems and methods |
Also Published As
Publication number | Publication date |
---|---|
CN1795375B (en) | 2013-09-11 |
EP1631817B1 (en) | 2011-12-28 |
AU2004271106A1 (en) | 2005-03-17 |
AU2004271106B2 (en) | 2009-04-02 |
HK1083368A1 (en) | 2006-06-30 |
EP1631817A1 (en) | 2006-03-08 |
CA2524687C (en) | 2013-03-12 |
AU2004271106C1 (en) | 2009-10-29 |
KR20060022265A (en) | 2006-03-09 |
BRPI0411242A (en) | 2006-07-18 |
CN1795375A (en) | 2006-06-28 |
US20040254738A1 (en) | 2004-12-16 |
JP4391527B2 (en) | 2009-12-24 |
JP2007516429A (en) | 2007-06-21 |
US7590492B2 (en) | 2009-09-15 |
WO2005024395A1 (en) | 2005-03-17 |
ATE539342T1 (en) | 2012-01-15 |
CA2524687A1 (en) | 2005-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101106358B1 (en) | System for organizing multiple objects of interest in field of interest | |
US7636465B2 (en) | Cross-frame object reconstruction for image-based cytology applications | |
US5625705A (en) | Intensity texture based classification system and method | |
AU2009251162B2 (en) | Method for classifying slides using scatter plot distributions | |
JP4864709B2 (en) | A system for determining the staining quality of slides using a scatter plot distribution | |
US8064679B2 (en) | Targeted edge detection method and apparatus for cytological image processing applications | |
US7906337B2 (en) | Method of generating and using biological qualification slides to qualify biological screening devices | |
MXPA05013442A (en) | System for organizing multiple objects of interest in field of interest |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20141223 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20151224 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20161229 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20171228 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20181221 Year of fee payment: 8 |