CN109416313A - 图像地图集系统和方法 - Google Patents
图像地图集系统和方法 Download PDFInfo
- Publication number
- CN109416313A CN109416313A CN201780039295.5A CN201780039295A CN109416313A CN 109416313 A CN109416313 A CN 109416313A CN 201780039295 A CN201780039295 A CN 201780039295A CN 109416313 A CN109416313 A CN 109416313A
- Authority
- CN
- China
- Prior art keywords
- reference picture
- image
- sample image
- display position
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 239000000523 sample Substances 0.000 claims abstract description 161
- 239000002245 particle Substances 0.000 claims abstract description 63
- 239000012472 biological sample Substances 0.000 claims abstract description 11
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000012935 Averaging Methods 0.000 claims description 4
- 241000208340 Araliaceae Species 0.000 claims description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 3
- 235000008434 ginseng Nutrition 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 31
- 210000004027 cell Anatomy 0.000 description 91
- 210000003743 erythrocyte Anatomy 0.000 description 32
- 210000000265 leukocyte Anatomy 0.000 description 12
- 238000010606 normalization Methods 0.000 description 12
- 238000010191 image analysis Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 210000000440 neutrophil Anatomy 0.000 description 6
- 210000002700 urine Anatomy 0.000 description 6
- 210000001772 blood platelet Anatomy 0.000 description 5
- 210000003979 eosinophil Anatomy 0.000 description 5
- 239000012634 fragment Substances 0.000 description 5
- 210000003714 granulocyte Anatomy 0.000 description 5
- 210000003887 myelocyte Anatomy 0.000 description 5
- 241000894006 Bacteria Species 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 4
- 239000008280 blood Substances 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 239000013078 crystal Substances 0.000 description 4
- 210000004698 lymphocyte Anatomy 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 108010034145 Helminth Proteins Proteins 0.000 description 3
- 240000004808 Saccharomyces cerevisiae Species 0.000 description 3
- 230000005859 cell recognition Effects 0.000 description 3
- 230000008021 deposition Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 210000002919 epithelial cell Anatomy 0.000 description 3
- 210000002468 fat body Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 244000000013 helminth Species 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 210000001616 monocyte Anatomy 0.000 description 3
- 210000000682 transitional epithelial cell Anatomy 0.000 description 3
- VTYYLEPIZMXCLO-UHFFFAOYSA-L Calcium carbonate Chemical compound [Ca+2].[O-]C([O-])=O VTYYLEPIZMXCLO-UHFFFAOYSA-L 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 210000003097 mucus Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000001539 phagocyte Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- LEVWYRKDKASIDU-QWWZWVQMSA-N D-cystine Chemical compound OC(=O)[C@H](N)CSSC[C@@H](N)C(O)=O LEVWYRKDKASIDU-QWWZWVQMSA-N 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- ROHFNLRQFUQHCH-YFKPBYRVSA-N L-leucine Chemical compound CC(C)C[C@H](N)C(O)=O ROHFNLRQFUQHCH-YFKPBYRVSA-N 0.000 description 1
- OUYCCCASQSFEME-QMMMGPOBSA-N L-tyrosine Chemical compound OC(=O)[C@@H](N)CC1=CC=C(O)C=C1 OUYCCCASQSFEME-QMMMGPOBSA-N 0.000 description 1
- ROHFNLRQFUQHCH-UHFFFAOYSA-N Leucine Natural products CC(C)CC(N)C(O)=O ROHFNLRQFUQHCH-UHFFFAOYSA-N 0.000 description 1
- 206010036590 Premature baby Diseases 0.000 description 1
- LEHOTFFKMJEONL-UHFFFAOYSA-N Uric Acid Chemical compound N1C(=O)NC(=O)C2=C1NC(=O)N2 LEHOTFFKMJEONL-UHFFFAOYSA-N 0.000 description 1
- TVWHNULVHGKJHS-UHFFFAOYSA-N Uric acid Natural products N1C(=O)NC(=O)C2NC(=O)NC21 TVWHNULVHGKJHS-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000001124 body fluid Anatomy 0.000 description 1
- 239000010839 body fluid Substances 0.000 description 1
- 229910000019 calcium carbonate Inorganic materials 0.000 description 1
- QXDMQSPYEZFLGF-UHFFFAOYSA-L calcium oxalate Chemical compound [Ca+2].[O-]C(=O)C([O-])=O QXDMQSPYEZFLGF-UHFFFAOYSA-L 0.000 description 1
- 239000001506 calcium phosphate Substances 0.000 description 1
- 229910000389 calcium phosphate Inorganic materials 0.000 description 1
- 235000011010 calcium phosphates Nutrition 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 229960003067 cystine Drugs 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 210000002308 embryonic cell Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000002751 lymph Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 235000019832 sodium triphosphate Nutrition 0.000 description 1
- 210000000130 stem cell Anatomy 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- QORWJWZARLRLPR-UHFFFAOYSA-H tricalcium bis(phosphate) Chemical compound [Ca+2].[Ca+2].[Ca+2].[O-]P([O-])([O-])=O.[O-]P([O-])([O-])=O QORWJWZARLRLPR-UHFFFAOYSA-H 0.000 description 1
- UNXRWKVEANCORM-UHFFFAOYSA-I triphosphate(5-) Chemical compound [O-]P([O-])(=O)OP([O-])(=O)OP([O-])([O-])=O UNXRWKVEANCORM-UHFFFAOYSA-I 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
- OUYCCCASQSFEME-UHFFFAOYSA-N tyrosine Natural products OC(=O)C(N)CC1=CC=C(O)C=C1 OUYCCCASQSFEME-UHFFFAOYSA-N 0.000 description 1
- 229940116269 uric acid Drugs 0.000 description 1
- 238000002562 urinalysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/5005—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells
- G01N33/5094—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells for blood cell populations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Electro-optical investigation, e.g. flow cytometers
- G01N15/1404—Fluid conditioning in flow cytometers, e.g. flow cells; Supply; Control of flow
-
- G01N15/1433—
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Electro-optical investigation, e.g. flow cytometers
- G01N15/1434—Electro-optical investigation, e.g. flow cytometers using an analyser being characterised by its optical arrangement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/96—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving blood or serum control standard
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/945—User interactive design; Environments; Toolboxes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N2015/1006—Investigating individual particles for cytology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Abstract
在一些实施方案中,提供了用于生成对细胞的样本图像进行分类的用户界面的过程和系统,所述过程包括接收来自生物样本的样本粒子的样本图像并选择各自描绘生物样本的参考粒子的参考图像。可以基于相似性对所述参考图像进行排序,并且可以基于所述顺序选择所述参考图像。可以将第一选择的参考图像与样本图像对齐并将其扩展成使得参考图像和样本图像的相邻边缘是相同的。可以动态填充扩展图像。样本图像和扩展参考图像可以在用户界面中显示。
Description
技术领域
本公开整体涉及用于临床应用的图像的分析。更具体地讲,但不作为限制,本公开涉及针对临床诊断诸如血液学和尿液分析所收集的细胞和粒子的图像的分析以及所述图像的显示的归一化,以允许用户基于图像之间的无关差异无干扰地执行临床分析。
附图说明
通过参考以下附图,可对各种示例的实质和优点有进一步的理解。
图1示出了根据实施方案的可用于执行图像分析、归一化和显示的示例性系统的框图。
图2示出了根据实施方案的可用于执行图像分析、归一化和显示的示例性计算机系统的框图。
图3示出了根据实施方案的用于执行图像分析、归一化和显示的过程的示例的流程图。
图4示出了根据实施方案的用于基于相似性确定图像的顺序的过程的示例的流程图。
图5示出了根据实施方案的用于确定图像之间的相似性的过程的示例的流程图。
图6示出了根据实施方案的用于对齐图像的过程的示例的流程图。
图7示出了根据实施方案的用于动态填充图像的背景的过程的示例的流程图。
图8示出了根据实施方案的用于确定图像的背景颜色的过程的示例的流程图。
图9至图14示出了根据实施方案显示的图像的示例。
图15至图21示出了根据实施方案的用户界面的示例。
具体实施方式
可以将对来自活生物体(例如,人、动物和植物)的细胞或粒子的分析用作鉴定疾病和细胞缺陷以及健康细胞的医学诊断工具。捕获用于分析的细胞或粒子可以通过例如从来自活生物体的流体(即,生物样本)中收集粒子来完成。例如,可以对来自人的血液样本所包含的细胞进行分析,以确定这些细胞是否健康或具有可以诊断的一些问题。例如,可以使用血液学系统对来自受到医生护理的患者的血液样本进行评估,该血液学系统被配备成具有多个光角度检测参数,诸如于2015年9月11日提交且于2016年2月11日公布为US 2016-0041083 A1的标题为“HEMATOLOGY SYSTEMS AND METHODS”的专利申请No.14/775,448中所述的系统。又如,可以对尿液样本进行评估。为了分析细胞或粒子,对细胞成像并将细胞与具有已知特点的细胞的其他图像进行比较可能是有益的。虽然可以通过自动化系统进行一些分析和比较,但是并非所有细胞图像都足够清晰,具有已知问题,或者与具有已知自动化问题的细胞图像足够相似,以便正常或有效地工作。在这种情况下,医疗诊断人员可以进行手动比较。任选地,可以提供如下用户界面,该用户界面提供要诊断或分类的样本细胞的图像,以及具有已知特点的细胞的参考图像。即使参考图像和样本图像中的细胞可能具有相同的特征或特点或者是同一类型的细胞,用于分类的样本图像也可能与参考图像具有差异,这可能会干扰比较结果。差异诸如图像尺寸、取向以及显示图像之间的间隙都是可能干扰细胞图像比较结果的差异的示例。本文所述的实施方案可以补偿那些干扰并提供优化的用户界面,以便使用图像地图集来比较样本图像和参考图像。
除非另外明确指出,否则在本公开中所提及的“粒子”或“多个粒子”将被理解为涵盖分散在流体中的任何离散的或成形的对象。如本文所用,“粒子”可以包括生物流体中的所有可测量的和可检测的(例如,通过图像和/或其他可测量的参数)组分。粒子具有任何材料、任何形状和任何尺寸。粒子可以包括细胞。粒子的示例包括但不限于细胞,包括血细胞、胚胎细胞、上皮细胞、干细胞、肿瘤细胞或细菌、寄生虫或前述任何一个的碎片或生物流体中的其他碎片。血细胞可以是任何血细胞,包括可能存在于生物流体中的任何正常或异常、成熟或未成熟的细胞,例如红细胞(“RBC”)、白细胞(“WBC”)、血小板(“PLT”)和其他细胞。这些成员还包括未成熟或异常细胞。未成熟的WBC可包括晚幼粒细胞、中幼粒细胞、早幼粒细胞和原始细胞。除了成熟的RBC之外,RBC的成员可包括具核RBC(“NTRC”)和网织红细胞。PLT可包括“巨型”PLT和PLT团。血小板、网织红细胞、具核RBC和WBC,包括嗜中性粒细胞、淋巴细胞、单核细胞、嗜酸性粒细胞、嗜碱性粒细胞和未成熟的WBC,包括原始细胞、早幼粒细胞、中幼粒细胞或晚幼粒细胞作为粒子进行计数和分析。在整个说明书中,图像被描述为细胞或粒子的图像。尽管在许多情况下被称为细胞,但这些图像可以是任何粒子的图像。“图像”是指由光学设备(诸如,镜头、镜子、相机或显微镜)产生的某物的视觉印象。
示例性尿液粒子可以包括尿液沉积粒子。示例性尿液沉积粒子可以包括红细胞(RBC)、异性红细胞、白细胞(WBC)、嗜中性粒细胞、淋巴细胞、吞噬细胞、嗜酸性粒细胞、嗜碱性粒细胞、鳞状上皮细胞、移行上皮细胞、诱饵细胞、肾小管上皮细胞、管型、晶体、细菌、酵母、寄生虫、椭圆形脂肪体、脂肪滴、精子、粘液、毛滴虫、细胞团以及细胞碎片。示例性细胞可以包括红细胞、白细胞和上皮细胞。示例性管型可以包括非细胞色素管型、未分类管型(例如,粒状管型)。示例性非细胞管型可以包括例如蜡状管型、宽管型、脂肪管型和晶体管型。示例性细胞管型可以包括例如RBC管型、WBC管型和细胞管型。示例性晶体可以包括例如草酸钙、三聚磷酸盐、磷酸钙、尿酸、碳酸钙、亮氨酸、胱氨酸、酪氨酸和无定形晶体。示例性非鳞状上皮细胞可以包括例如肾上皮细胞和移行上皮细胞。示例性酵母可以包括例如出芽酵母和具有假菌丝的酵母。示例性尿液沉积粒子还可以包括RBC团、脂肪、椭圆形脂肪体和毛滴虫。所述系统和方法可用于例如表征生物流体中的粒子,诸如检测和量化红细胞(RBC)、异形红细胞、白细胞(WBC)、嗜中性粒细胞、淋巴细胞、吞噬细胞、嗜酸性粒细胞、嗜碱性粒细胞、鳞状上皮细胞、移行上皮细胞、诱饵细胞、肾小管上皮细胞、管型、晶体、细菌、酵母、寄生虫、椭圆形脂肪体、脂肪滴、精子、粘液、毛滴虫、细胞团以及细胞碎片,分类和次类划分,计数和分析。
在以下描述中,出于解释的目的,阐述了具体细节以便提供对本发明的实施方案的透彻理解。然而,显而易见的是,可以在没有这些具体细节的情况下实践各种实施方案。这些附图和描述并非旨在进行限制。
在一些附图中描绘的系统可以以各种配置提供。任选地,系统可被配置为分布式系统,其中系统的一个或多个部件分布在云计算系统中的一个或多个网络上。所述系统的所有特征适用于作必要修正的所述方法,反之亦然。
图1示出了可用于执行图像分析、归一化和显示的示例性系统100的框图。系统100可以包括网络105,各种部件可以通过该网络进行通信,包括数据库120、数据库125、服务器110、计算设备115和分析器130。
分析器130可以通过例如捕获体液细胞图像的体液系统(如于2015年9月11日提交的标题为“HEMATOLOGY SYSTEMS AND METHODS”的专利申请No.14/775,448中详细所述)收集活生物体粒子和细胞的图像。分析器130可以收集图像并将其作为样本细胞图像存储在数据库120中。可以通过分析器130和/或通过其他捕获方法收集参考图像以用于比较并将其存储在数据库125中。
数据库120可以存储样本图像以用于分析。数据库125可以存储图像地图集(即,参考图像的数据库),以用于在分析存储在数据库120中的样本图像期间进行比较。任选地,数据库120和数据库125可以是单个数据库(例如,样本图像存储在与参考图像不同的表中)。数据库120和125可以是任何合适的数据库,包括例如SQL数据库、数据库或电子表格。
网络105可以是任何合适数量或类型的网络或链路,包括但不限于拨号网络、局域网(LAN)、广域网(WAN)、公共交换电话网络(PSTN)、蜂窝网络、WiFi网络、互联网、内联网或硬连线和/或无线通信链路的任何组合。网络105可以包括一个或多个子网络。在一些示例中,系统的两个或更多个部件(例如,计算设备115、服务器110、数据库120和125、分析器130或这些部件的任意组合)可以连接到网络105并经由该网络进行通信。
计算设备115可以是如参考图2所述的计算系统200。计算设备115可以是如本文更详细地讨论的能够执行图像分析、归一化和显示的系统。计算设备115可以是用户使用的系统,并且虽然被描绘为台式计算机,但是可以是任何用户设备,包括膝上型电脑或无线设备的(例如,智能手机、平板电脑、个人数据助理(PDA)、电子阅读器或智能手表)。
任选地,服务器110可以是如参考图2所述的计算系统200。服务器110能够执行图像分析和归一化,并且因为服务器有时不包括其自己的显示设备,所以将得到的图像发送到计算设备115以例如在用户界面中显示。任选地,服务器110可以是任何合适类型的服务器。服务器可以例如在服务器场或机架服务器中。例如,计算设备115和服务器110可以在云计算环境中。
图2示出了可用于执行图像分析、归一化和显示的示例性计算机系统200的框图。计算设备200可以是或包括例如膝上型计算机、台式计算机、平板电脑、电子阅读器、智能电话或移动设备、智能手表、个人数据助理(PDA)或其他电子设备。计算设备200可以是例如计算设备115或服务器110。
计算设备200可以包括处理器240,该处理器经由总线205与其他硬件连接。可以包括任何合适的有形(和非暂态)计算机可读介质(诸如RAM、ROM、EEPROM等)的存储器210可以体现配置计算设备200的操作的程序部件(例如,指令215)。在一些示例中,计算设备200可以包括输入/输出(“I/O”)接口部件225(例如,用于与显示器245、键盘或鼠标连接)和附加存储设备230。
计算设备200可以包括网络部件220。网络部件220可以表示促进网络连接的任何部件中的一者或多者。在一些示例中,网络部件220可以促进无线连接并且包括无线接口,诸如IEEE 802.11、蓝牙或用于接入蜂窝电话网络的无线电接口(例如,用于接入CDMA、GSM、UMTS或其他移动通信网络的收发器/天线)。在其他示例中,网络部件220可以是有线的并且可以包括接口,诸如以太网、USB或IEEE 1394。
尽管图2描绘了具有单个处理器240的单个计算设备200,但是系统可以包括任意数量的计算设备200和任意数量的处理器240。例如,多个计算设备200或多个处理器240可以分布在有线或无线网络(例如,广域网、局域网或互联网)例如网络105上。多个计算设备200或多个处理器240可以单独地或彼此协调地执行本公开的任何步骤。例如,处理器240和/或计算设备200可以是例如图1的计算设备115和/或服务器110。
图3示出了用于执行图像分析、归一化和显示的过程300的示例的流程图。该过程300可以在例如图1的系统100上实现,更具体地讲,在图2的计算机系统200上被实现为程序代码。
过程300在例如图2的计算机系统200上从305处开始。在310处,计算机系统200可以接收来自活生物体的样本粒子(例如,细胞)的样本图像。如上文简要讨论的,可以使用成像系统(例如,分析器130)对活生物体的细胞和粒子成像或拍摄,该成像系统使用从生物体收集的生物样本(例如,尿液或血液样本)。图像可以在捕获之前或之后放大并且描绘单个细胞或粒子的图像,诸如图9的样本图像905。可以在计算设备115(更详细地示出为图2的计算机系统200)处通过图1的网络105从例如图1的数据库120接收样本图像。
在315处,计算机系统200可以从参考图像的数据库中选择多个参考图像。参考图像的数据库可以是例如图1的数据库125。该数据库可以包含任意数量的参考图像。可以通过如上文参考样本图像所述的类似捕获方法来填充参考图像。参考图像可以是例如图9的参考图像910。可以通过用户选择的存储在数据库125中的参考图像库来填充参考图像。任选地,用户选择的图像可以来自先前捕获的参考图像库。任选地,用户选择的图像可以包括作为用户添加到参考图像数据库的样本图像的图像。任选地,用户选择的图像可以使用基于随机生成的全局唯一标识符(GUID)的文件名来确保系统之间的唯一性和可移植性。参考图像可以以任何合适的格式(例如,*.png、*.gif、*.jpg)存储。参考图像可以在被捕获时存储,意味着图像可以具有例如不同的文件大小、像素高度、像素宽度和/或成像细胞的放大率。
参考图像可以是包含已知特征的细胞或粒子,或者是某些类型的已知细胞或粒子。例如,全血样本通常包括三大类血细胞,包括红细胞(erythrocytes)、白细胞(leukocytes)和血小板(thrombocytes)。每类可以进一步划分为成员的亚类。例如,白细胞(WBC)的五大类型的亚类具有不同的形状和功能。白细胞可包括嗜中性粒细胞、淋巴细胞、单核细胞、嗜酸性粒细胞和嗜碱性粒细胞。红细胞类型也存在亚类。样本中粒子的外观可能根据病理条件、细胞成熟度和其他原因而不同。红细胞亚类可包括网织红细胞和具核红细胞。又如,成像细胞可以是镰状细胞。参考图像可以包括可以识别参考图像内的细胞类别的注释,或者识别参考图像内的细胞特征或特点的标签。例如,对已知为镰状细胞的细胞的图像进行的注释可以将细胞识别为镰状细胞。又如,对已知为红细胞的细胞的图像进行的注释可以将细胞识别为红细胞。一些参考图像可以包括识别细胞的多个特征或特点的多个标签。例如,细胞可以被注释为红细胞,并且具有将细胞识别为网状细胞的附加标签。细胞或粒子可以被标记为例如嗜中性粒细胞、淋巴细胞、单核细胞、嗜酸性粒细胞、嗜碱性粒细胞、血小板、网织红细胞、具核红细胞(RBC)、原始细胞、早幼粒细胞、中幼粒细胞、晚幼粒细胞、红细胞(RBC)、细胞、细菌、粒状物、细胞团或者细胞碎片或组分。任选地,计算机系统200可以通过选择例如具有特定标签和/或注释的所有参考图像来从参考图像的数据库中选择多个参考图像。例如,计算机系统200可以从数据库中选择被注释为红细胞的所有参考图像。又如,计算机系统200可以从数据库中选择具有白细胞注释的所有参考图像。任选地,计算机系统200可以允许用户选择用于选择参考图像的标签或注释。任选地,计算机系统200可以选择参考图像数据库中的所有参考图像。任选地,计算机系统200可以允许用户从参考图像数据库中选择所需的参考图像。任选地,计算机系统200可以允许用户选择附加标签作为过滤条件,并且例如选择被分类为白细胞并进一步被标记为嗜中性粒细胞的所有图像。
对图像进行标记或注释可以提供快速检索图像的有效方法。对于具有潜在许多不同亚型的大量参考图像,基于物理特点的变化或相同类别类型(分类)的疾病阶段的变化,提供靶向一个或多个亚型的子集可能是有益的。这可以通过分级标记来完成,诸如在识别成像细胞的类的注释内进行标记。例如,参考图像可以包括细胞是红细胞(“RBC”)的注释(即,RBC的注释,成像细胞属于RBC类)和将参考图像标记为具有特定特点的标记,以及例如具核红细胞可以具有将其识别为具核的标签的RBC注释。
在320处,计算机系统200可以基于每个参考图像与样本图像的相似性来确定多个参考图像的顺序。这可以节省大量对参考图像进行排序的时间,使得首先显示最相似的图像。如前所述,样本图像可以与参考图像在用户界面中一起显示以进行比较,以识别在样本图像中成像的细胞的特点、特征或类型。首先显示最相似的图像可以限制查找与样本图像相匹配的参考图像,以将样本图像分类为参考图像中的相同类型的细胞或者以识别样本图像具有与参考图像相同的特点或特征所花费的时间量。计算机系统200可以通过例如将样本图像与每个选择的参考图像进行比较来确定顺序,如参考图4和图5更详细地描述。
在325处,计算机系统200可以基于所确定的顺序从多个参考图像中选择第一参考图像。在计算机系统200确定参考图像的顺序使得第一参考图像是被确定为最相似的图像,第二参考图像是被确定为第二最相似的图像等等之后,计算机系统200可以选择第一参考图像以用于执行分析、归一化和显示。在对第一参考图像执行过程300的剩余步骤之后,计算机系统200可以选择第二参考图像用于在过程300的剩余步骤中执行分析、归一化和显示,并且继续对多个参考图像中的每个参考图像上重复这些步骤,直到根据过程300对所有选择的参考图像进行了分析、归一化和显示。
在330处,计算机系统200可以将第一参考图像与样本图像对齐。第一参考图像与样本图像的对齐可以例如用于通过用户界面向用户显示图像。对齐可以包括使图像的相邻边缘对齐以及使图像相对于彼此居中以在用户界面中显示。参考图6更详细地描述了可以执行的一种类型的对齐的示例。任选地,样本图像和参考图像的相邻边缘的尺寸不同。在这种情况下,可以扩展较小图像以与较大图像的尺寸相匹配。例如,任选地,可以缩放较小图像以扩展到与较大图像相同的尺寸。任选地,可以将图像叠加在与较大图像具有尺寸相同的相邻边缘的图像块上。任选地,可以将每个图像放置成在网格的单元中显示,并且网格的单元可以具有看起来在显示器中的匹配背景颜色,以将较小图像的尺寸调整为较大图像的尺寸。
任选地,用于在用户界面中显示的参考图像的数量可以介于1和8之间。可以对任意数量的参考图像进行对齐和扩展,并且可以基于共享相邻边缘的图像按顺序对参考图像进行对齐和扩展。参见参考图11的描述了解有关任选图像显示布局的更多详细信息。在数学术语中,假设Ii,j是m×n网格(其中i∈[0,m-1],j∈[0,n-1],宽度为Wi,j,宽度为Hi,j)中第i行、第j列的参考图像。可以通过如下计算显示网格的第i行高度RHi和第j列宽度CWj来进行对齐和扩展:
根据样本图像的相对尺寸和用于显示的参考图像列表,显示网格中特定行/列的最终行高或列宽可能导致样本图像或参考图像需要扩展。任选地,图像背景填充可以应用于尺寸与所计算的网格单元的宽度或高度不同的任何图像。并且可以将图像本身定位在相关网格单元的中心,而无需缩放或调整尺寸以保持原始图像的100%保真度。
在335处,计算机系统200可以动态填充对齐的第一参考图像的背景。在对齐步骤期间,可以扩展第一参考图像的背景以确保所显示的图像与样本图像具有尺寸相同的相邻边缘。可以用与参考图像的现有背景基本相同的颜色动态填充扩展背景,以确保均匀性并消除在包含不同背景颜色的图像之间具有间隙的干扰。任何图像的颜色可以包括例如红色、绿色、蓝色和阿尔法通道。可以通过确定与参考图像背景相匹配的颜色并用所确定的颜色填充扩展背景来填充背景,如参考图7更详细地描述。任选地,通过将参考图像叠加在用所确定的背景颜色填充的块上来填充背景。在显示期间,块可以是例如细胞网格的单元。此时应当注意,在本申请中讨论了两种不同类型的细胞。细胞图像(即,参考图像或样本图像)是活生物体的体细胞的图像。网格的细胞是不同类型的细胞,如表中的细胞。在整个申请中,当谈论细胞时,除非特别指出正在讨论网格的细胞,否则意指已经成像的体细胞。
任选地,样本图像和参考图像的对齐可能导致调整样本图像的尺寸以扩展背景(例如,因为样本图像小于参考图像)。在这种情况下,可以以与上文参考动态填充第一参考图像的背景所述的相同方式动态填充样本图像的背景。
在340处,计算机系统200可以在用户界面中显示样本图像和动态填充并对齐的第一参考图像。图9至图18示出了样本图像和一个或多个参考图像的用户界面显示的示例。任选地,用户界面可以显示在与计算机系统200相关联的显示设备中。例如,计算设备115(其可以是可以显示用户界面的具有监视器的任何用户设备,包括台式机、膝上型计算机、智能电话、平板电脑或包括显示监视器的任何其他合适的计算设备115)可以是计算机系统200。任选地,计算机系统200可以是服务器110。在此类实施方案中,服务器110可不包括特定显示监视器,因此服务器110可以将用于显示的信息(例如,参考图像和样本图像以及相关联的计算布局和颜色信息)发送到计算设备115,以在用户界面中向用户显示。
过程300可以在345处结束。如上所述,任选地,可以对第一参考图像执行步骤325、330和335,并且对于每个参考图像重复这些步骤,直到对每个选择的参考图像进行了对齐和动态填充。任选地在各自对参考图像进行对齐和动态填充中,显示步骤可以针对每个参考图像单独地执行,可以针对所有选择的参考图像同时执行(在对所有选择的参考图像进行对齐和动态填充之后仅一次),或者可以以一定数量的参考图像的组一次执行(例如,诸如在图12中一次与样本图像一起显示8个参考图像)。
图4示出了用于基于相似性确定图像的顺序的过程400的示例的流程图。过程400可以作为图3的步骤320的一部分执行。过程400可以在例如图1的系统100上实现,更具体地讲,在图2的计算机系统200上被实现为程序代码。
在405,计算机系统200可以将样本图像与多个参考图像中的每个参考图像进行比较。例如,可以通过为每个参考图像和样本图像生成特征向量并计算每个参考图像和样本图像之间的距离度量来进行比较,如参考图5更详细地描述。
在410处,计算机系统200可以确定每个参考图像与样本图像的相似性。可以基于例如参考图5讨论的所计算的距离度量来进行该确定。
图5示出了用于确定图像之间的相似性的过程500的示例的流程图。过程500可以作为图4的步骤405的一部分执行。过程500可以在例如图1的系统100上实现,更具体地讲,在图2的计算机系统200上被实现为程序代码。
在505处,计算机系统200可以为多个参考图像中的每个参考图像和样本图像生成特征向量。特征向量可以包括关于每个图像的多个特征的信息。例如,特征向量可以识别块尺寸、粒子尺寸、粒子形状、平均像素强度和/或图像平均灰度值。块尺寸可以是总图像的尺寸。可以缩放图像尺寸,如前所述。也可以扩展背景,如前所述。块尺寸是图像在发生任何这些变化之的尺寸。粒子尺寸可以是图像中样本细胞或参考细胞的尺寸。任选地,细胞尺寸在图像内可以看起来更大或更小,例如如图9所示。样本图像905中样本细胞的粒子尺寸小于参考图像910中参考细胞的粒子尺寸。基于例如图像捕获期间使用的放大率,粒子尺寸在图像内可以看起来更大或更小。粒子形状可以是图像中样本细胞或参考细胞的形状。可以通过从图像中选择多个像素,确定每个所选像素的强度并计算所选像素的平均强度来计算平均像素强度。可以通过从图像中选择多个像素,确定每个像素的灰度值并计算多个计算的灰度值的平均值来计算图像的平均灰度值。可以识别其他特征并将其用于每个图像的特征向量。
在510处,计算机系统200可以计算多个参考图像中的每个参考图像与样本图像的距离度量。例如,计算机系统200可以利用特征向量来计算每个参考图像和样本图像之间的距离度量。距离度量值越小,参考图像与样本图像越相似。然后可以利用距离度量值来按照与样本图像最相似到最不相似的顺序对参考图像进行排序。
任选地,可如下定义距离度量:
在该距离度量定义中,第i个参考图像特征向量具有fi,k的第k个分量,其中k∈[0,N-1],N为特征向量的维度。候选特征可以基于例如图像尺寸、图像中的粒子尺寸、图像中的粒子形状、图像的平均像素强度或粒子/块平均灰度值。距离度量值越小,第i个(参考)图像和第j个(样本)图像之间越相似。
图6示出了用于对齐图像的过程600的示例的流程图。过程600可以作为图3的步骤330的一部分执行。过程600可以在例如图1的系统100上实现,更具体地讲,在图2的计算机系统200上被实现为程序代码。
在605处,计算机系统200可以确定位于网格的第一单元内的第一显示位置,该第一显示位置用于在用户界面中显示样本图像。例如,图像可以在网格中的用户界面中显示,使得样本图像位于中心并且参考图像与样本图像相邻。例如,图9示出了与参考图像910相邻的样本图像905。类似地,又如,图11示出了与两个参考图像1110和1115相邻的样本图像1105。再如,图12示出了与参考图像1210、1215、1220和1225相邻的样本图像1205。图12还示出了与参考图像1230、1235、1240和1245共享角的样本图像,每个参考图像都与另一参考图像相邻。任选地,将样本图像放置在网格的中心,使得其可以与尽可能多的参考图像相邻,如图12所示。
在610处,计算机系统200可以确定位于网格的第二单元内的与第一显示位置相邻的第二显示位置,该第二显示位置用于在用户界面中显示第一参考图像。与参考图像相邻的样本图像的示例可以在图9至图14中找到。例如,样本图像905可以与参考图像910相邻,如图9所示。
在615处,计算机系统200可以将第二显示位置内的第一参考图像的质心与第一显示位置内的样本图像的质心对齐。例如,可以确定样本图像的中心,并将其放置成使得其位于第一显示位置的中心,所述第一显示位置可以是网格的第一单元的中心(例如,图9中的样本图像905的位置)。计算机系统200还可以确定第一参考图像的中心并且将其放置成使得其位于第二显示位置的中心,所述第二显示位置可以是网格的第二单元的中心(例如,图9中的参考图像910的位置)。由于网格的定义,在网格中相邻的第一显示位置的中心和第二显示位置的中心具有相邻边缘的共同中心(如图9所示)。任选地,可以使用其他方法,使得可以通过为样本图像和第一参考图像中的每一个选择导致每个图像的质心对齐的显示位置来使每个图像的中心对齐。
图7示出了用于动态填充图像的背景的过程700的示例的流程图。过程700可以作为图3的步骤335的一部分执行。过程700可以在例如图1的系统100上实现,更具体地讲,在图2的计算机系统200上被实现为程序代码。
在705处,计算机系统200可以扩展第二单元内的第一参考图像的背景以填充第二单元。任选地,第一参考图像的高度可以例如小于样本图像的高度。例如,如果样本图像和第一参考图像相邻边是垂直边,则第一参考图像和样本图像的相邻边将是不同的。类似地,例如,如果样本图像和第一参考图像相邻边是水平边,并且第一参考图像的宽度小于样本图像的宽度,则图像的相邻边将是不同的。可以扩展第一参考图像的背景以确保第一参考图像和样本图像的相邻边将是相同的。任选地,样本图像的尺寸(高度和/或宽度)可以小于第一参考图像的尺寸。在此类实施方案中,可以扩展样本图像背景。
在710处,计算机系统200可以确定第一参考图像的背景颜色。可以以多种方式确定第一参考图像的背景颜色。例如,可以使用如图8中详细说明的用于确定平均背景颜色的过程来确定背景颜色。任选地,可以将选择标准颜色用作参考图像的背景颜色。例如,如果所有参考图像具有相同的背景颜色,则背景颜色将始终相同并且可以是已知的。
在715处,计算机系统200可以用背景颜色填充第一参考图像的扩展背景。例如,可以用确定的背景颜色填充网格的第二单元,使得当在用户界面中显示时,第一参考图像看起来被扩展而不修改第一参考图像本身。任选地,可以处理第一参考图像以扩展图像尺寸并用确定的背景颜色填充扩展像素。
图8示出了用于确定图像的背景颜色的过程800的示例的流程图。过程800可以作为图7的步骤710的一部分执行。过程800可以在例如图1的系统100上实现,更具体地讲,在图2的计算机系统200上被实现为程序代码。
在805处,计算机系统200可以确定第一参考图像的四个角像素。典型图像具有4个角,并且可以使用每个角中的角像素。例如,如果图像块的尺寸为W×H像素,则四个角像素为:[0,0]、[W-1,0]、[0,H-1]、[W-1,H-1]。任选地,可以使用更多或更少的像素。任选地,可以使用选自边缘像素的任意数量的像素。任选地,边缘像素可以是沿图像的边缘的任何像素。任选地,边缘可以是距图像的绝对边缘的距离为阈值内(例如,距图像的绝对边缘的距离为三个像素)的像素。
在810处,计算机系统200可以计算四个角像素的平均颜色值。可以通过首先确定四个角像素中的每一者(或者如果使用其他边缘像素,则识别每个像素以便确定背景颜色)的颜色值来确定平均颜色值。一旦确定四个角像素中的每一者的颜色值,计算机系统200就可以使用来自四个角像素中的每一者的颜色值来计算四个角像素的平均颜色值。可以计算每种颜色分量(例如,红色、绿色、蓝色和阿尔法)的平均值。任选地,可以使用任何选择的像素来计算背景的平均颜色值。然后可以将平均颜色值用作图像的背景颜色。确定平均颜色值可以通过用与图像的整个背景基本上相匹配的颜色填充参考图像背景来帮助减少干扰。图12至图14示出了样本图像和八个参考图像的对齐和动态填充的网格的示例。
图9至图14示出了根据实施方案显示的图像的示例。图9显示了用户界面900的一部分,其可以用于将样本粒子930的样本图像905与参考粒子935的参考图像910进行比较。用户界面900可以包括类指示符915、向前导航按钮925和向后导航按钮920。
类指示符915可以是与参考图像910相关联的注释的指示。如图9所示,参考图像910可以具有与其相关联的注释“HYAL”。HYAL可以意味着例如参考图像910已被分类为透明管型。如图9所示,用户可以使用例如下拉选择列表来选择分类注释或特征标签。选择中包括的选项可以包括例如表1中提供的列表。表1中提供的列表包括可以被识别的细胞的不同细胞类型或特征。一旦用户对类指示符915进行了选择,就可以进行参考图像的选择,诸如,如参考图3的步骤315详细解释。
表1
如图9所示,在用户界面900中所示的图像905和910之间没有间隙,以消除与图像之间具有不同颜色相关联的干扰。可以如参考在图3的步骤310处接收样本图像所述那样获得样本图像905。可以如参考在图3的步骤315处选择参考图像所述那样选择参考图像910。
向前导航按钮925在被用户选择时,可以使参考图像910被用户界面显示器中的另一参考图像替换。任选地,向前导航按钮925可以选择由相似性确定的排序列表中的下一个参考图像,如参考图3的步骤325所述。任选地,向前导航按钮925可以选择计算机系统例如以随机顺序从参考图像组中选择的下一个参考图像,该参考图像组包括由类指示符915指示的注释或标签。
向后导航按钮920在被用户选择时,可以使参考图像910被用户界面显示器中的另一参考图像替换。任选地,向后导航按钮920可以选择由相似性确定的排序列表中的上一个参考图像,如参考图3的步骤325所述。任选地,向后导航按钮920可以选择先前查看的参考图像,无论是否来自顺序列表。
图10显示了用户界面1000的一部分,其非常类似于图9的用户界面900的该部分。如图10所示,样本图像1005是与图9的样本图像905相同的图像。样本图像1005是样本粒子1030的图像,并且参考图像910是参考粒子1035的图像。用户界面1000还可以包括类指示符1015、向前导航按钮1025和向后导航按钮1020。用户界面1000可以由具有由用户识别的新选择的图9中的类指示符915得到。例如,如果用户正在利用用户界面900并且使用类指示符915从如在图9的类指示符915处指示的HYAL选择为如由图10的类指示符1015指示的WBC。WBC可以意味着白细胞。得到的用户界面1000随后可以显示具有WBC注释的参考图像1010。
类指示符1015可以以与上文参考图9的类指示符915所述的相同方式实现。向前导航按钮1025可以以与上文参考图9的向前导航按钮925所述的相同方式实现。向后导航按钮1020可以以与上文参考图9的向后导航按钮920所述的相同方式实现。
如图9和图10所示,用户界面900的该部分大于用户界面1000的该部分。通过查看图9和图10,可以看到样本图像905与样本图像1005具有相同的宽度,但是样本图像905的高度大于样本图像1005的高度。样本图像905和样本图像1005都是相同的样本细胞,并且是相同的样本图像。然而,样品图像905和样品图像1005的尺寸(高度)不同。这可能是因为参考图像910大于参考图像1010。在这种情况下,可以如参考图3的步骤330和335所述那样扩展样本图像905的高度并对其进行动态填充,以确保样本图像905和参考图像910的相邻边缘具有相同的尺寸。
图11示出了类似于用户界面900和用户界面1000的用户界面1100的一部分。用户界面1100包括样本粒子1135的样本图像1105、参考粒子1140和1145的参考图像1110和1130、向前导航按钮1125、向后导航按钮1120和类指示符1115。类指示符1115可以以与上文参考图9的类指示符915所述的相同方式实现。向前导航按钮1125可以以与上文参考图9的向前导航按钮925所述的相同方式实现。向后导航按钮1120可以以与上文参考图9的向后导航按钮920所述的相同方式实现。
可以如参考在图3的步骤310处接收样本图像所述那样获得样本图像1105。可以如参考在图3的步骤315处选择参考图像所述那样选择参考图像1110和1130。仅出于演示目的,参考粒子1140和1145的参考图像1110和1130是相同的图像并且是测试粒子。任选地,例如,如果参考数据库具有很少的参考图像,则可以向用户显示相同的参考图像,以增强用户识别样本图像和参考图像之间的相似性的能力。任选地,在选择向前或向后导航按钮1120或1125之后,可以在网格显示器的相同或不同位置多次显示相同的参考图像。多次显示可以归因于例如参考数据库中的参考图像的数量以及填充显示网格的每个单元的期望。
在图11中,可以看到显示两个参考图像1110和1130,每个参考图像在样本图像1105的不同相邻边缘上。例如,参考图像1110和参考图像1130的位置的选择可以基于图像的相似性。可以首先在参考图像1110所在的位置显示更相似的图像,然后在参考图像1130所在的位置显示第二相似的图像。
对于涉及呈现多于一个参考图像并且主要在一个维度中的图像布局模式,例如“3×1”布局(如图19所述),可以根据X轴方向上的图像相似性度量来对参考图像进行排序。下图示出了这一点:
类似地,对于涉及两个维度的“3×3”的图像布局模式,可以基于由图像邻域定义的螺旋坐标来对参考图像进行排序。下图示出了参考图像的排序([0]、[1]、…、[7])以与自然图像邻域排序相匹配:
当参考图像的数量不能被滑动窗口尺寸整除时(m×n的图像布局的滑动窗口尺寸为m*n-1。例如,“3×3”的图像布局模式的滑动窗口尺寸为3*3-1=8),调节选择使得在显示参考图像时没有空的网格单元。例如,无论导航方向如何(例如,使用向前或向后导航按钮在参考图像列表中向前或向后移动,如参考图9所述),选择都没有区别。例如,如果“3×3”的图像布局模式有九(9)个参考图像,即滑动窗口尺寸为8,则有两个滑动窗口可用于显示,其中第一个窗口使用前8个参考图像,并且后一个窗口使用后8个参考图像。具体地讲,对于N个参考图像的列表,对于m×n的图像布局,滑动窗口的计数由下式给出:
其中m≠1或n≠1mod表示数学模运算。并且第i个滑动窗口起始指数(进入N个参考图像的列表)由下式给出:
其中m≠1或n≠1,i∈[0,K-1]
图12示出了类似于图9至图11中的用户界面的用户界面1200的一部分。用户界面1200显示八个参考图像1210、1215、1220、1225、1230、1235、1240和1245。图12还包括向前导航按钮、向后导航按钮和类指示符。
图13示出了类似于图9至图12中的用户界面的用户界面1300的一部分。用户界面1300显示八个参考图像(未编号)。图13还包括向前导航按钮、向后导航按钮和类指示符。用户界面1300是用户可以用来将位于图像中心的框内的样本图像与八个参考图像进行比较的用户界面的示例,所述参考图像围绕样本图像。
图14示出了类似于图9至图13中的用户界面的用户界面1400的一部分。用户界面1400显示八个参考图像(未编号)。图14还包括向前导航按钮、向后导航按钮和类指示符。用户界面1400是用户可以用来将位于图14的中心的框内的样本图像与八个参考图像进行比较的用户界面的示例,所述参考图像围绕样本图像。
图15至图18示出了用户界面的附加示例。图15示出了包括浮动窗口1505的用户界面1500,该浮动窗口可以是例如图19所示的用户界面1900的一部分。浮动窗口1505可以包括上下文菜单1510,当用户在浮动窗口1505内右键单击时,可以显示该上下文菜单。可以例如通过用户从图像选择部分1515中选择一个图像来选择在浮动窗口1505中(在上下文菜单1510后)显示的样本图像。上下文菜单中可用的任选选项可以包括例如更改显示布局、更改参考图像源、选择一个或多个标签、更改一个或多个图像的取向以及放大或缩小一个或多个图像。
图16示出了包括浮动窗口1605的用户界面1600,该浮动窗口可以是例如图20所示的用户界面2000的一部分。浮动窗口1605可以包括上下文菜单1610,当用户在浮动窗口1605内右键单击时,可以显示该上下文菜单。可以例如通过用户从图像选择部分1615中选择一个图像来选择在浮动窗口1605中显示的样本图像1620。在这种情况下,通过用户从图像选择部分1615中选择图像1625来选择样本图像1620。
图17示出了包括浮动窗口1705的用户界面1700,该浮动窗口可以是例如图21所示的用户界面2100的一部分。浮动窗口1705可以包括类标识符1710,其可以允许用户选择标签或注释以便选择参考图像,如参考图3的步骤325所述。可以例如通过用户从图像选择部分1715中选择一个图像来选择在浮动窗口1705中显示的样本图像1720。在这种情况下,通过用户从图像选择部分1715中选择图像1725来选择样本图像1720。
图18示出了包括浮动窗口1805的用户界面1800,该浮动窗口可以是例如图21所示的用户界面2100的一部分。浮动窗口1805可以包括上下文菜单1810,当用户在浮动窗口1805内右键单击时,可以显示该上下文菜单。
图19示出了用户界面1900的一部分,其可以是用户界面的被描绘为如图15所示的浮动窗口1505的该部分。当用户在用户界面1900的该部分中右键单击时,可以显示上下文菜单1905。上下文菜单1905可以更改样本图像和参考图像的显示布局。“3×1”选择变灰,因为已经将显示器设置为3×1网格。3×1选项例如在图11中示出。另一任选的选择可以包括例如在图9和图10中示出的“2×1”。另一任选的选择可以包括例如在图12至图14中示出的“3×3”。
图20示出了用户界面2000的一部分,其可以是用户界面的被描绘为如图16所示的浮动窗口1605的该部分。当用户在用户界面2000的该部分中右键单击时,可以显示上下文菜单2005。上下文菜单2005可以允许用户“选择标签”,其可以是对用于识别参考图像的标签的选择,以便在参考图像数据库内进行选择,并且可以进一步将显示的图像缩小到不仅是所选择的类而且还是所选择的标签。这样,用户可以自定义用于过滤的类和标签的多选择。在图20中,可以看到任选地用户可以选择要从中进行选择的参考图像的分类,该分类由类选择框2010示出。在这种情况下,选择的类是“HYST”。另外,可以选择标签以基于已经对参考数据库中的参考图像进行标记的粒子的其他特征来进一步缩小选择范围。上下文菜单2005可以允许用户选择一个或多个标签以过滤所显示的参考图像。选择的标签在2015处显示。可以基于参考图像是否被分类在所选择的类中以及是否具有与参考图像相关联的所选标签,从参考图像数据库中选择所显示的参考图像。
图21示出了用户界面2100的一部分,其可以是用户界面的被描绘为如图18所示的浮动窗口1805的该部分。当用户在用户界面2100的该部分中右键单击时,可以显示上下文菜单2105。上下文菜单2105可以允许用户更改图像源。选择图像源可以选择从中选择参照图像的数据库。用于选择图像源的选项可以是例如使用内置源,或者例如使用用户选择的参考图像数据库。可以例如如上所述生成用户选择的参考图像数据库。
可使用计算机或具有硬件、软件和/或固件的其他处理器来执行本文描述的计算或操作中的每一者。各个方法步骤可通过模块执行,并且所述模块可包括被布置用于执行本文所述的方法步骤的多种多样的数字和/或模拟数据处理硬件和/或软件中的任何一种。所述模块任选地包括数据处理硬件,该数据处理硬件由于具有与其相关联的适当机器编程代码而适于执行这些步骤中的一个或多个步骤,用于两个或更多个步骤(或两个或更多个步骤的部分)的模块被集成到单个处理器板中或采用多种多样的集成式和/或分布式处理架构中的任何一种被分成不同的处理器板。这些方法和系统通常将采用有形介质,该有形介质体现具有用于执行上述方法步骤的指令的机器可读代码。合适的有形介质可包括存储器(包括易失性存储器和/或非易失性存储器)、存储介质(诸如软盘、硬盘、磁带等上的磁记录;光学存储器诸如CD、CD-R/W、CD-ROM、DVD等上的磁记录;或任何其他数字或模拟存储介质),等等。
在附图中所描绘或上文所述的部件的不同布置,以及未示出或描述的部件和步骤也是可行的。类似地,一些特征结构和子组合是可用的,且它们可以在与其他特征结构和子组合无关的情况下被采用。出于例示性和非限制性的目的描述了本发明的实施方案,但可供选择的实施方案对于本专利的读者而言将是显而易见的。在某些情况下,方法步骤或操作可按不同的顺序执行或实施,或者可对操作进行添加、删除或修改。应当理解,在本发明的某些方面,可用多个部件来替换单个部件,并且可用单个部件来替换多个部件,以提供元件或结构或者执行给定的一种或多种功能。除了此类替换将不能有效实践本发明的某些实施方案的情况之外,此类替换被视为在本发明的范围之内。
应当理解,已对本发明实施方案的附图和描述进行了简化,以示出与清楚地理解本发明相关的元件。然而,本领域的普通技术人员将认识到,这些元件和其他元件可能是需要的。然而,由于此类元件是本领域中所熟知的,并且由于它们不利于更好地理解本发明,所以在本文中没有提供对此类元件的论述。应当理解,提供附图是为了进行示意性的说明,并且所述附图不作为构造图提供。省略的细节和修改或可供选择的实施方案在本领域普通技术人员的认识范围内。
应当理解,在本发明的某些方面,可用多个部件来替换单个部件,并且可用单个部件来替换多个部件,以提供元件或结构或者执行给定的一种或多种功能。除了此类替换将不能有效实践本发明的某些实施方案的情况之外,此类替换被视为在本发明的范围之内。
本文提供的示例旨在举例说明本发明的潜在和特定的具体实施。应当理解,所述示例主要旨在为本领域的技术人员提供对本发明的举例说明。在不脱离本发明的实质的前提下,可对这些图形或本文所述的操作进行变化。例如,在某些情况下,方法步骤或操作可按不同的顺序执行或实施,或者可对操作进行添加、删除或修改。
此外,鉴于本文已出于对本发明进行举例说明并且不对本发明构成限制的目的描述了本发明的特定实施方案,本领域的普通技术人员应当理解,在不脱离如权利要求中所述的本发明的前提下,可以对元件、步骤、结构和/或部件的细节、材料和布置进行在本发明的原理和范围内的许多变化。
本公开中所讨论的所有专利、专利公布、专利申请、期刊论文、书籍、技术参考文献等全文以引用方式并入本文中以用于所有目的。
Claims (24)
1.一种医疗设备,所述医疗设备用于帮助分析生物样本粒子,所述医疗设备包括:
处理器;以及
存储器设备,所述存储器设备存储能够由所述处理器执行以使所述处理器执行以下操作的指令:
接收来自生物样本的样本粒子的样本图像;
从参考图像的数据库中选择多个参考图像,所述多个参考图像中的每个参考图像是来自一个或多个生物样本的多个参考粒子中的参考粒子的参考图像;
基于每个参考图像与所述样本图像的相似性来确定所述多个参考图像的顺序;
基于所确定的顺序来从所述多个参考图像中选择第一参考图像;
将所述第一参考图像与所述样本图像对齐;
动态填充所对齐的第一参考图像的背景;以及
在用户界面中显示所述样本图像和动态填充并对齐的第一参考图像。
2.根据权利要求1所述的医疗设备,其中,用于确定所述多个参考图像的顺序的指令包括能够由所述处理器执行以使所述处理器执行以下操作的指令:
将所述样本图像与所述多个参考图像中的每个参考图像进行比较;以及
确定所述每个参考图像与所述样本图像的相似性。
3.根据权利要求1或2所述的医疗设备,其中,用于将所述样本图像与所述多个参考图像中的每个参考图像进行比较的指令包括能够由所述处理器执行以使所述处理器执行以下操作的指令:
针对所述多个参考图像中的每个参考图像和所述样本图像生成特征向量;以及
计算所述多个参考图像中的每个参考图像与所述样本图像的距离度量。
4.根据权利要求3所述的医疗设备,其中,用于针对所述多个参考图像中的每个参考图像和所述样本图像生成所述特征向量的特征包括以下中的至少一者:块尺寸、粒子尺寸、粒子形状、平均像素强度和图像平均灰度值。
5.根据权利要求1至4所述的医疗设备,其中,用于将所述第一参考图像与所述样本图像对齐的指令包括能够由所述处理器执行以使所述处理器执行以下操作的指令:
确定第一显示位置,所述第一显示位置用于在所述用户界面中显示所述样本图像,所述第一显示位置位于细胞网格的第一单元内;
确定与所述第一显示位置相邻的第二显示位置,所述第二显示位置用于在所述用户界面内显示所述第一参考图像,所述第二显示位置位于所述细胞网格的第二单元内;以及
将所述第二显示位置内的所述第一参考图像的质心与所述第一显示位置内的所述样本图像的质心对齐。
6.根据权利要求1至5所述的医疗设备,其中,用于动态填充所对齐的第一参考图像的背景的指令包括能够由所述处理器执行以使所述处理器执行以下操作的指令:
扩展所述第二单元内的第一参考图像的背景以填充所述第二单元;
确定所述第一参考图像的背景颜色;以及
用所述背景颜色填充所述第一参考图像的所扩展的背景。
7.根据权利要求6所述的医疗设备,其中,用于确定所述第一参考图像的背景颜色的指令包括能够由所述处理器执行以使所述处理器执行以下操作的指令:
确定所述第一参考图像的四个角像素;以及
计算所述四个角像素的平均颜色值。
8.根据权利要求1至7所述的医疗设备,其中,基于与所述多个参考图像中的每个参考图像相关联的标签来选择所述多个参考图像。
9.一种方法,包括:
在计算机系统处接收来自生物样本的样本粒子的样本图像;
由所述计算机系统从参考图像的数据库中选择多个参考图像,所述多个参考图像中的每个参考图像是来自一个或多个生物样本的多个参考粒子中的参考粒子的参考图像;
由所述计算机系统基于每个参考图像与所述样本图像的相似性来确定所述多个参考图像的顺序;
由所述计算机系统基于所确定的顺序来从所述多个参考图像中选择第一参考图像;
由所述计算机系统将所述第一参考图像与所述样本图像对齐;
由所述计算机系统动态填充所对齐的第一参考图像的背景;以及
由所述计算机系统在用户界面中显示所述样本图像和动态填充并对齐的第一参考图像。
10.根据权利要求9所述的方法,其中,确定所述多个参考图像的顺序包括:
由所述计算机系统将所述样本图像与所述多个参考图像中的每个参考图像进行比较;以及
由所述计算机系统确定所述每个参考图像与所述样本图像的相似性。
11.根据权利要求10所述的方法,其中,将所述样本图像与所述多个参考图像中的每个参考图像进行比较包括:
由所述计算机系统针对所述多个参考图像中的每个参考图像和所述样本图像生成特征向量;以及
由所述计算机系统基于针对每个图像所生成的特征向量来计算所述多个参考图像中的每个参考图像与所述样本图像的距离度量。
12.根据权利要求11所述的方法,其中,用于针对所述多个参考图像中的每个参考图像和所述样本图像生成所述特征向量的特征包括以下中的至少一者:块尺寸、粒子尺寸、粒子形状、平均像素强度和图像平均灰度值。
13.根据权利要求9至12中任一项所述的方法,其中,将所述第一参考图像与所述样本图像对齐包括:
由所述计算机系统确定第一显示位置,所述第一显示位置用于在所述用户界面中显示所述样本图像,所述第一显示位置位于细胞网格的第一单元内;
由所述计算机系统确定与所述第一显示位置相邻的第二显示位置,所述第二显示位置用于在所述用户界面内显示所述第一参考图像,所述第二显示位置位于所述细胞网格的第二单元内;以及
由所述计算机系统将所述第二显示位置内的所述第一参考图像的质心与所述第一显示位置内的所述样本图像的质心对齐。
14.根据权利要求9至13中任一项所述的方法,其中,动态填充所对齐的第一参考图像的背景包括:
由所述计算机系统扩展位于所述第二单元内的第一参考图像的背景以填充所述第二单元;
由所述计算机系统确定所述第一参考图像的背景颜色;以及
由所述计算机系统用所述背景颜色填充所述第一参考图像的所扩展的背景。
15.根据权利要求14所述的方法,其中,确定所述第一参考单元的背景颜色包括:
由所述计算机系统确定所述第一参考图像的四个角像素;以及
由所述计算机系统计算所述四个角像素的平均颜色值。
16.根据权利要求9至15中任一项所述的计算机实现的方法,其中,基于与所述多个参考图像中的每个参考图像相关联的标签来选择所述多个参考图像。
17.一种计算机可读存储器设备,所述计算机可读存储器设备包括在由所述处理器执行时使所述处理器执行以下操作的程序代码:
接收来自生物样本的样本粒子的样本图像;
从参考图像的数据库中选择多个参考图像,所述多个参考图像中的每个参考图像是来自一个或多个生物样本的多个参考粒子中的参考粒子的参考图像;
基于每个参考图像与所述样本图像的相似性来确定所述多个参考图像的顺序;
基于所确定的顺序从所述多个参考图像中选择第一参考图像;
将所述第一参考图像与所述样本图像对齐;
动态填充所对齐的第一参考图像的背景;以及
在用户界面中显示所述样本图像和动态填充并对齐的第一参考图像。
18.根据权利要求17所述的计算机可读存储器设备,其中,用于确定所述多个参考图像的顺序的程序代码包括在由所述处理器执行时使所述处理器执行以下操作的程序代码:
将所述样本图像与所述多个参考图像中的每个参考图像进行比较;以及
确定所述每个参考图像与所述样本图像的相似性。
19.根据权利要求18所述的计算机可读存储器设备,其中,用于将所述样本图像与所述多个参考图像中的每个参考图像进行比较的程序代码包括在由所述处理器执行时使所述处理器执行以下操作的程序代码:
针对所述多个参考图像中的每个参考图像和所述样本图像生成特征向量;以及
计算所述多个参考图像中的每个参考图像与所述样本图像的距离度量。
20.根据权利要求19所述的计算机可读存储器设备,其中,用于针对所述多个参考图像中的每个参考图像和所述样本图像生成所述特征向量的特征包括以下中的至少一者:块尺寸、粒子尺寸、粒子形状、平均像素强度和图像平均灰度值。
21.根据权利要求17至20中任一项所述的计算机可读存储器设备,其中,用于将所述第一参考图像与所述样本图像对齐的程序代码包括在由所述处理器执行时使所述处理器执行以下操作的程序代码:
确定第一显示位置,所述第一显示位置用于在所述用户界面中显示所述样本图像,所述第一显示位置位于细胞网格的第一单元内;
确定与所述第一显示位置相邻的第二显示位置,所述第二显示位置用于在所述用户界面内显示所述第一参考图像,所述第二显示位置位于所述细胞网格的第二单元内;以及
将所述第二显示位置内的所述第一参考图像的质心与所述第一显示位置内的所述样本图像的质心对齐。
22.根据权利要求17至21中任一项所述的计算机可读存储器设备,其中,用于动态填充所对齐的第一参考图像的背景的程序代码包括在由所述处理器执行时使所述处理器执行以下操作的程序代码:
扩展所述第二单元内的第一参考图像的背景以填充所述第二单元;
确定所述第一参考图像的背景颜色;以及
用所述背景颜色填充所述第一参考图像的所扩展的背景。
23.根据权利要求22所述的计算机可读存储器设备,其中,用于确定所述第一参考图像的背景颜色的程序代码包括在由所述处理器执行时使所述处理器执行以下操作的程序代码:
确定所述第一参考图像的四个角像素;以及
计算所述四个角像素的平均颜色值。
24.根据权利要求17至23中任一项所述的计算机可读存储器设备,其中,基于与所述多个参考图像中的每个参考图像相关联的标签来选择所述多个参考图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662354520P | 2016-06-24 | 2016-06-24 | |
US62/354,520 | 2016-06-24 | ||
PCT/US2017/038953 WO2017223412A1 (en) | 2016-06-24 | 2017-06-23 | Image atlas systems and methods |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109416313A true CN109416313A (zh) | 2019-03-01 |
Family
ID=59295339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780039295.5A Pending CN109416313A (zh) | 2016-06-24 | 2017-06-23 | 图像地图集系统和方法 |
Country Status (7)
Country | Link |
---|---|
US (2) | US11448583B2 (zh) |
EP (2) | EP3475683B1 (zh) |
JP (3) | JP6913697B2 (zh) |
KR (1) | KR102309995B1 (zh) |
CN (1) | CN109416313A (zh) |
BR (1) | BR112018076406A2 (zh) |
WO (1) | WO2017223412A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108538379A (zh) * | 2017-12-29 | 2018-09-14 | 上海联影医疗科技有限公司 | 磁共振参数卡中参数的处理方法及磁共振参数卡界面 |
CN112257508A (zh) * | 2020-06-30 | 2021-01-22 | 华为技术有限公司 | 识别物体的卫生状况方法及相关电子设备 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109416313A (zh) | 2016-06-24 | 2019-03-01 | 拜克门寇尔特公司 | 图像地图集系统和方法 |
US10747811B2 (en) * | 2018-05-22 | 2020-08-18 | Adobe Inc. | Compositing aware digital image search |
US11741662B2 (en) | 2018-10-29 | 2023-08-29 | Autodesk, Inc. | Shaped-based techniques for exploring design spaces |
US11380045B2 (en) | 2018-10-29 | 2022-07-05 | Autodesk, Inc. | Shaped-based techniques for exploring design spaces |
US11126330B2 (en) * | 2018-10-29 | 2021-09-21 | Autodesk, Inc. | Shaped-based techniques for exploring design spaces |
JP7175158B2 (ja) * | 2018-10-29 | 2022-11-18 | アークレイ株式会社 | 情報処理装置、測定システム、及びプログラム |
WO2020146341A1 (en) * | 2019-01-07 | 2020-07-16 | Futurewei Technologies, Inc. | Point cloud bitstream structure and auxiliary information differential coding |
JPWO2022181746A1 (zh) * | 2021-02-26 | 2022-09-01 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0660103A3 (en) * | 1993-12-22 | 1996-03-06 | Hitachi Ltd | Particle image analyzer. |
JPH11132936A (ja) * | 1997-10-29 | 1999-05-21 | Hitachi Ltd | 生体に関する粒子画像分類方法 |
WO2004046834A1 (en) * | 2002-11-18 | 2004-06-03 | International Remote Imaging Systems, Inc. | A multi-level controller system |
CN101211356A (zh) * | 2006-12-30 | 2008-07-02 | 中国科学院计算技术研究所 | 一种基于显著区域的图像查询方法 |
CN101339556A (zh) * | 2008-08-18 | 2009-01-07 | 福建四通石材有限公司 | 一种利用圆锥坐标实现图像颜色相似对比的方法 |
CN101539930A (zh) * | 2009-04-21 | 2009-09-23 | 武汉大学 | 一种相关反馈图像检索方法 |
US20100070904A1 (en) * | 2008-09-16 | 2010-03-18 | Beckman Coulter, Inc. | Interactive Tree Plot for Flow Cytometry Data |
JP2010151523A (ja) * | 2008-12-24 | 2010-07-08 | Hitachi High-Technologies Corp | 粒子画像解析方法および装置 |
CN102279864A (zh) * | 2010-06-09 | 2011-12-14 | 奥林巴斯映像株式会社 | 图像检索装置、图像检索方法以及照相机 |
CN102467564A (zh) * | 2010-11-12 | 2012-05-23 | 中国科学院烟台海岸带研究所 | 一种基于改进支持向量机相关反馈的遥感图像检索方法 |
CN102598054A (zh) * | 2009-09-30 | 2012-07-18 | 帝国创新有限公司 | 用于处理医用图像的方法和设备 |
CN102621053A (zh) * | 2005-09-21 | 2012-08-01 | 卢米尼克斯股份有限公司 | 图像数据处理的方法和系统 |
US20140273067A1 (en) * | 2013-03-15 | 2014-09-18 | Iris International, Inc. | Flowcell systems and methods for particle analysis in blood samples |
WO2015035477A1 (en) * | 2013-09-11 | 2015-03-19 | See-Out Pty Ltd | Image searching method and apparatus |
CN104809245A (zh) * | 2015-05-13 | 2015-07-29 | 信阳师范学院 | 一种图像检索方法 |
WO2014164757A8 (en) * | 2013-03-11 | 2015-09-24 | Roche Diagnostics Hematology, Inc. | Imaging blood cells |
CN105631872A (zh) * | 2015-12-28 | 2016-06-01 | 西安电子科技大学 | 基于多特征点的遥感图像配准方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH055733A (ja) * | 1991-06-28 | 1993-01-14 | Sanyo Electric Co Ltd | 血液像検査装置 |
US5732230A (en) * | 1995-05-19 | 1998-03-24 | Richo Company Ltd. | Computer user interface for manipulating image fragments using drag, drop and merge operations |
JP2008059088A (ja) | 2006-08-29 | 2008-03-13 | Toshiba Corp | 画像表示システム、及び画像表示装置 |
JP4875470B2 (ja) * | 2006-11-24 | 2012-02-15 | 富士フイルム株式会社 | 色補正装置および色補正プログラム |
JP2008188177A (ja) * | 2007-02-02 | 2008-08-21 | Hitachi Medical Corp | 画像処理装置 |
JP5438962B2 (ja) | 2008-12-25 | 2014-03-12 | シスメックス株式会社 | 細胞画像表示装置 |
WO2013001678A1 (ja) * | 2011-06-30 | 2013-01-03 | パナソニック株式会社 | 類似症例検索装置および関連度データベース作成装置並びに類似症例検索方法および関連度データベース作成方法 |
US9076076B1 (en) * | 2012-03-30 | 2015-07-07 | Google Inc. | Image similarity determination |
US9646376B2 (en) * | 2013-03-15 | 2017-05-09 | Hologic, Inc. | System and method for reviewing and analyzing cytological specimens |
JP2014235494A (ja) * | 2013-05-31 | 2014-12-15 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
JP6099593B2 (ja) | 2014-03-27 | 2017-03-22 | 富士フイルム株式会社 | 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム |
JP5810251B1 (ja) | 2014-04-09 | 2015-11-11 | パナソニック株式会社 | 情報端末の制御方法及びプログラム |
US10599810B2 (en) * | 2014-06-04 | 2020-03-24 | Panasonic Corporation | Control method and recording system |
EP3180717B1 (en) * | 2014-08-11 | 2020-07-22 | Ascensia Diabetes Care Holdings AG | Reconfigurable measurement system |
KR101774746B1 (ko) * | 2015-08-13 | 2017-09-05 | 주식회사 슈프리마 | 지문 인증 방법 및 그 지문 인증 방법을 이용한 장치 |
CN109416313A (zh) | 2016-06-24 | 2019-03-01 | 拜克门寇尔特公司 | 图像地图集系统和方法 |
-
2017
- 2017-06-23 CN CN201780039295.5A patent/CN109416313A/zh active Pending
- 2017-06-23 JP JP2018566963A patent/JP6913697B2/ja active Active
- 2017-06-23 EP EP17736838.8A patent/EP3475683B1/en active Active
- 2017-06-23 US US16/312,882 patent/US11448583B2/en active Active
- 2017-06-23 KR KR1020197000075A patent/KR102309995B1/ko active IP Right Grant
- 2017-06-23 BR BR112018076406A patent/BR112018076406A2/pt active Search and Examination
- 2017-06-23 WO PCT/US2017/038953 patent/WO2017223412A1/en unknown
- 2017-06-23 EP EP22166474.1A patent/EP4092403A1/en active Pending
-
2021
- 2021-07-12 JP JP2021114790A patent/JP7275202B2/ja active Active
-
2022
- 2022-08-30 US US17/898,910 patent/US20230087210A1/en active Pending
-
2023
- 2023-05-02 JP JP2023076100A patent/JP2023100825A/ja active Pending
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0660103A3 (en) * | 1993-12-22 | 1996-03-06 | Hitachi Ltd | Particle image analyzer. |
JPH11132936A (ja) * | 1997-10-29 | 1999-05-21 | Hitachi Ltd | 生体に関する粒子画像分類方法 |
JPH11132937A (ja) * | 1997-10-29 | 1999-05-21 | Hitachi Ltd | 生体に関する粒子画像分類システム |
WO2004046834A1 (en) * | 2002-11-18 | 2004-06-03 | International Remote Imaging Systems, Inc. | A multi-level controller system |
CN102621053A (zh) * | 2005-09-21 | 2012-08-01 | 卢米尼克斯股份有限公司 | 图像数据处理的方法和系统 |
CN101211356A (zh) * | 2006-12-30 | 2008-07-02 | 中国科学院计算技术研究所 | 一种基于显著区域的图像查询方法 |
CN101339556A (zh) * | 2008-08-18 | 2009-01-07 | 福建四通石材有限公司 | 一种利用圆锥坐标实现图像颜色相似对比的方法 |
US20100070904A1 (en) * | 2008-09-16 | 2010-03-18 | Beckman Coulter, Inc. | Interactive Tree Plot for Flow Cytometry Data |
JP2010151523A (ja) * | 2008-12-24 | 2010-07-08 | Hitachi High-Technologies Corp | 粒子画像解析方法および装置 |
CN101539930A (zh) * | 2009-04-21 | 2009-09-23 | 武汉大学 | 一种相关反馈图像检索方法 |
CN102598054A (zh) * | 2009-09-30 | 2012-07-18 | 帝国创新有限公司 | 用于处理医用图像的方法和设备 |
CN102279864A (zh) * | 2010-06-09 | 2011-12-14 | 奥林巴斯映像株式会社 | 图像检索装置、图像检索方法以及照相机 |
CN102467564A (zh) * | 2010-11-12 | 2012-05-23 | 中国科学院烟台海岸带研究所 | 一种基于改进支持向量机相关反馈的遥感图像检索方法 |
WO2014164757A8 (en) * | 2013-03-11 | 2015-09-24 | Roche Diagnostics Hematology, Inc. | Imaging blood cells |
US20140273067A1 (en) * | 2013-03-15 | 2014-09-18 | Iris International, Inc. | Flowcell systems and methods for particle analysis in blood samples |
WO2015035477A1 (en) * | 2013-09-11 | 2015-03-19 | See-Out Pty Ltd | Image searching method and apparatus |
CN104809245A (zh) * | 2015-05-13 | 2015-07-29 | 信阳师范学院 | 一种图像检索方法 |
CN105631872A (zh) * | 2015-12-28 | 2016-06-01 | 西安电子科技大学 | 基于多特征点的遥感图像配准方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108538379A (zh) * | 2017-12-29 | 2018-09-14 | 上海联影医疗科技有限公司 | 磁共振参数卡中参数的处理方法及磁共振参数卡界面 |
CN112257508A (zh) * | 2020-06-30 | 2021-01-22 | 华为技术有限公司 | 识别物体的卫生状况方法及相关电子设备 |
Also Published As
Publication number | Publication date |
---|---|
KR102309995B1 (ko) | 2021-10-06 |
US20190271632A1 (en) | 2019-09-05 |
JP2021177407A (ja) | 2021-11-11 |
JP6913697B2 (ja) | 2021-08-04 |
EP3475683B1 (en) | 2022-04-06 |
KR20190022612A (ko) | 2019-03-06 |
JP2023100825A (ja) | 2023-07-19 |
JP2019527876A (ja) | 2019-10-03 |
JP7275202B2 (ja) | 2023-05-17 |
EP3475683A1 (en) | 2019-05-01 |
US11448583B2 (en) | 2022-09-20 |
EP4092403A1 (en) | 2022-11-23 |
WO2017223412A1 (en) | 2017-12-28 |
US20230087210A1 (en) | 2023-03-23 |
BR112018076406A2 (pt) | 2019-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109416313A (zh) | 图像地图集系统和方法 | |
Godinez et al. | A multi-scale convolutional neural network for phenotyping high-content cellular images | |
Dittmar et al. | ScreenMill: a freely available software suite for growth measurement, analysis and visualization of high-throughput screen data | |
US8831327B2 (en) | Systems and methods for tissue classification using attributes of a biomarker enhanced tissue network (BETN) | |
US20130060775A1 (en) | Spanning-tree progression analysis of density-normalized events (spade) | |
He et al. | Automated model design and benchmarking of deep learning models for covid-19 detection with chest ct scans | |
Xu et al. | Computerized spermatogenesis staging (CSS) of mouse testis sections via quantitative histomorphological analysis | |
JP2023502033A (ja) | 骨髄細胞集団の可視化のための方法および装置 | |
Wieslander et al. | Deep learning with conformal prediction for hierarchical analysis of large-scale whole-slide tissue images | |
CN109844494A (zh) | 动态聚焦系统和方法 | |
CN110140176B (zh) | 用于检测最优候选化合物的计算机装置及其方法 | |
CN113902669A (zh) | 一种尿脱落细胞液基涂片的阅片方法及系统 | |
Candia et al. | Understanding health and disease with multidimensional single-cell methods | |
Guo et al. | Pathological Detection of Micro and Fuzzy Gastric Cancer Cells Based on Deep Learning. | |
KR101913952B1 (ko) | V-CNN 접근을 통한 iPSC 집락 자동 인식 방법 | |
Seewald et al. | Quantifying phenotypic variation in isogenic Caenorhabditis elegans expressing Phsp-16.2:: gfp by clustering 2D expression patterns | |
Bogomolovas et al. | Automated quantification and statistical assessment of proliferating cardiomyocyte rates in embryonic hearts | |
Alzu'bi et al. | A new approach for detecting eosinophils in the gastrointestinal tract and diagnosing eosinophilic colitis. | |
Wang et al. | CW-NET for multitype cell detection and classification in bone marrow examination and mitotic figure examination | |
CN110598561A (zh) | 基于机器学习的细胞玻片分析方法、装置及存储介质 | |
Fetter et al. | StomataCounter: a deep learning method applied to automatic stomatal identification and counting | |
Cakmak et al. | Interactive Classification Using Spectrograms and Audio Glyphs | |
EP4207095A1 (en) | System and method for similarity learning in digital pathology | |
US20230196720A1 (en) | Computer-implemented method, computer program product and system for data analysis | |
Shams et al. | Bio-net dataset: AI-based diagnostic solutions using peripheral blood smear images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40005546 Country of ref document: HK |