CN104115075A - 材料分析系统、方法和设备 - Google Patents

材料分析系统、方法和设备 Download PDF

Info

Publication number
CN104115075A
CN104115075A CN201280068906.6A CN201280068906A CN104115075A CN 104115075 A CN104115075 A CN 104115075A CN 201280068906 A CN201280068906 A CN 201280068906A CN 104115075 A CN104115075 A CN 104115075A
Authority
CN
China
Prior art keywords
data
sample
descriptor
illumination
holographic intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280068906.6A
Other languages
English (en)
Inventor
特加朗·奈杜
约翰·昂德里克·斯瓦特
苏珊娜·雨果
皮特·万罗伊恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Council for Scientific and Industrial Research CSIR
Original Assignee
Council for Scientific and Industrial Research CSIR
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Council for Scientific and Industrial Research CSIR filed Critical Council for Scientific and Industrial Research CSIR
Publication of CN104115075A publication Critical patent/CN104115075A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/04Measuring microscopes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02Investigating particle size or size distribution
    • G01N15/0205Investigating particle size or size distribution by optical means
    • G01N15/0227Investigating particle size or size distribution by optical means using imaging; using holography
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/487Physical analysis of biological material of liquid biological material
    • G01N33/49Blood
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/01Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials specially adapted for biological cells, e.g. blood cells
    • G01N2015/012Red blood cells
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/01Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials specially adapted for biological cells, e.g. blood cells
    • G01N2015/016White blood cells
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • G01N2015/144Imaging characterised by its optical setup
    • G01N2015/1445Three-dimensional imaging, imaging in different image planes, e.g. under different angles or at different depths, e.g. by a relative motion of sample and detector, for instance by tomography
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1486Counting the particles
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/0033Adaptation of holography to specific applications in hologrammetry for measuring or analysing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/0033Adaptation of holography to specific applications in hologrammetry for measuring or analysing
    • G03H2001/0038Adaptation of holography to specific applications in hologrammetry for measuring or analysing analogue or digital holobjects
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/005Adaptation of holography to specific applications in microscopy, e.g. digital holographic microscope [DHM]
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0447In-line recording arrangement
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0452Digital holography, i.e. recording holograms with digital recording means arranged to record an image of the object
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G03H2001/0825Numerical processing in hologram space, e.g. combination of the CGH [computer generated hologram] with a numerical optical element
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G03H2001/0833Look up table
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00Electro-optic or electronic components relating to digital holography
    • G03H2226/04Transmission or communication means, e.g. internet protocol
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2227/00Mechanical components or mechanical aspects not otherwise provided for
    • G03H2227/02Handheld portable device, e.g. holographic camera, mobile holographic display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40Data acquisition and logging
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16ZINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00Subject matter not provided for in other main groups of this subclass

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Biomedical Technology (AREA)
  • Dispersion Chemistry (AREA)
  • Hematology (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • Ecology (AREA)
  • Computing Systems (AREA)
  • Medicinal Chemistry (AREA)
  • Molecular Biology (AREA)
  • Urology & Nephrology (AREA)
  • Food Science & Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Holo Graphy (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及用于分析材料的系统和方法以及涉及用于分析材料特别是但不必唯一地是生物材料的设备。本发明包括:接收至少包括与感兴趣的材料的样品相关联的全息强度图案的全息强度数据,通过应用图像处理算法和技术来处理接收到的全息强度数据,以至少执行检测和识别所述样品中的至少一个感兴趣的对象的步骤中的一个或者两个步骤,因而至少生成合适的输出。

Description

材料分析系统、方法和设备
技术领域
本发明涉及例如用于分析生物材料例如血液的材料分析方法、系统以及设备。
背景技术
当前,在南非每年完成大约八百万个全血计数(FBC)。当医师面临明显患病的患者时,FBC为医师需要的最初的且最常见的病理测试。对于南非的和发展中国家的其它地方的FBC而言,在城乡诊所、医院和医生的会诊室中从患者采血。
对于每个测试而言,血液被采入药瓶,暂时冷藏保存,并且由速递员经由公路运输至最近的病理实验室,在病理实验室中由自动血液计数仪执行FBC,由病理医师解释FBC的结果。
该操作的物流显著导致了测试成本。到目前为止的大部分测试结果由病理医师在该实验室进行印刷并且解释,并且然后传送并且送回到请求的医师或者诊所,然后医师或者诊所治疗患者。典型的周转时间为48小时。
注意到,在一些情况中,实验室可能使用数字全息显微镜来有助于测试。然而,这些设备是难处理的,并且可能需要专业操作者来操作这些设备。
因此,本发明的目的在于处理或者至少改善上述问题和/或者缺点;或者为传统系统、设备和方法提供替代。
发明内容
本发明的第一方面提供一种用于分析材料的方法,方法包括:
接收至少包括与感兴趣的材料的样品相关联的全息强度图案的全息强度数据,全息强度数据由数据获取装置获取;并且
处理接收全息强度数据,以至少执行样品中的至少一个感兴趣对象的检测步骤和识别步骤中的一个步骤或者两个步骤。
用于处理接收到的全息强度数据的步骤可以至少包括以下步骤:
从接收全息强度数据中确定一个或多个数据关键点,全息强度数据与包括三维空间的传播空间中的离散位置相关联,与数据获取装置相关联的光照在三维空间上传播以有助于获取全息强度数据;并且
将所确定的数据关键点和与对象相关联的至少一个预先确定的对象描述符进行比较,以确定匹配,因而有助于样品中的至少一个感兴趣对象的检测步骤和识别步骤中的一个步骤或者两个步骤,其中,对象描述符为传播空间不变量。
方法可以包括提供多个对象描述符,每个对象描述符可以包括与传播空间中的多个期望离散位置分别相关联的多个描述符子集,其中,每个描述符子集包括一个或多个描述符关键点。
方法可以包括用于确定对象描述符的在先步骤,对于每个对象而言,在先步骤可以包括:
接收该对象的图像;
对于传播空间之上的多个离散位置的接收图像应用波形传播算法,因而生成与传播空间之上的离散位置对应的多个全息强度图案;
确定在传播空间之上的每个生成全息强度图案的描述符关键点;并且
使用确定描述符关键点和表示传播空间之上的相关联的离散位置的信息,以生成与对象相关联的对象描述符。
注意到,多个生成全息强度图案可以由波形传播等式人工地生成。虽然方法包括自动生成人工全息图以在其上训练,但是应当明白的是,在一些示例性实施例中,方法可以包括:通过手动地生成多个物理全息图以在其上训练来确定用于对象描述符确定的描述符关键点。
对象的图像通常包括对象的显微镜图像。
方法还可以包括:
通过将确定的描述符关键点与传播空间中的对应离散位置相关联来生成对象描述符子集;
通过将与对象对应的每个生成描述符子集进行关联来生成与对象相关联的对象描述符;并且
将所生成对象描述符存储到数据库中。
在一个示例性的实施例中,对象描述符另外是尺度空间不变量,因此,方法可以包括:
通过将模糊算法应用于每个生成全息强度图案,生成在传播空间之上生成多个全息强度图案中的每个全息强度图案的尺度空间,因而生成模糊图像;
通过将生成模糊图像彼此相减来确定生成模糊图像之间的差;
在确定的差中找到极值的尺度不变量关键点;并且
使用尺度不变量关键点来生成尺度空间不变量对象描述。
注意到,方法可以包括通过以下步骤来确定匹配的精确度:
将重建算法应用于接收全息强度数据,以重建接收到的全息强度数据回到与匹配关键点相关联的传播空间中的离散位置;
在传播空间的该位置得出关键点;
将新得出的关键点与对象描述符进行比较,以确定匹配置信度。
方法可以包括从数据获取装置以硬线连接的方式接收或者从包括数据获取装置的多个地理上分布的分析站以无线方式接收全息强度数据。
方法可以包括控制数据获取装置来生成至少包括与样品相关联的全息强度图案的全息数据。
方法可以包括:
生成与检测和识别操作中的一个或者两个相关联的输出数据;并且
经由硬线连接的或者无线的数据装置向用户接口模块发送所输出的数据,以至少用于因而输出。
方法可以包括:
通过确定相似感兴趣对象的总和来对检测或者识别的感兴趣对象进行分类;
通过重建接收全息强度数据来生成样品的图像;
生成包括确定的总和以及生成样品图像中的一个或者两个的输出数据;并且
经由硬线连接的或者无线的数据装置向用户接口模块发送所输出的数据,以至少用于因而输出。
本发明的第二方面提供一种材料分析系统,包括:
存储器设备,其存储数据;
数据接收器模块,其与数据获取装置进行数据通信,并且被配置为接收由数据获取装置获取的至少包括与感兴趣的材料的样品相关联的全息强度图案的全息强度数据;以及
图像处理器,其被配置为处理接收全息强度数据,以至少执行样品中的至少一个感兴趣对象的检测操作和识别操作中的一个操作或者两个操作。
图像处理器可以包括:
关键点提取模块,其被配置为从接收全息强度数据中确定一个或多个数据关键点,全息强度数据与包括这样一种空间的传播空间中的离散位置相关联,与数据获取装置相关联的光照在该空间上传播以有助于获取全息强度数据;并且
对象分类器,其被配置为将所确定的数据关键点与在存储器设备中存储的与对象相关联的至少一个预先确定的对象描述符进行比较,以确定匹配,因而有助于样品中的至少一个感兴趣对象的检测步骤和识别步骤中的一个步骤或者两个步骤,其中,对象描述符为传播空间不变量。
存储器设备可以存储多个对象描述符,每个对象描述符包括与传播空间中的多个期望离散位置分别相关联的多个描述符子集,其中,每个描述符子集包括一个或多个描述符关键点。
材料分析系统可以包括训练模块,其被配置为确定对象描述符,其中,对于每个对象而言,训练模块被配置为:
接收对象的图像;
对于传播空间之上的多个离散位置的接收图像应用波形传播算法,因而生成与传播空间之上的离散位置对应的多个全息强度图案;
确定在传播空间之上的每个生成全息强度图案的描述符关键点;并且
使用所确定的描述符关键点和表示传播空间之上的相关联的离散位置的信息,以生成与对象相关联的对象描述符。
数据接收器模块可以与数据获取装置进行硬线连接数据通信或者与包括数据获取装置的多个地理上分布的分析站进行无线数据通信。
系统可以包括数据获取装置或者包括数据获取装置的多个地理上分布的分析站,其中,每个数据获取装置包括数字全息显微镜配置,其至少包括用于生成光照的光照源和用于在使用中响应于在其上入射的生成光照而生成全息强度数据的图像传感器,其中,传播空间包括光照源和图像形成装置之间的三维空间的至少一部分。
数字全息显微镜布置还可以包括:
空间滤波器,其位于离光照源预先确定的距离处,空间滤波器至少包括一个光照孔,以用于来自光照源的光照从光照孔通过;以及
样品保持器,其可去除地位于离空间滤波器的预先确定的距离处,样品保持器被配置为保持感兴趣的材料的样品,其中,图像传感器与样品保持器间隔开,从而在使用中,来自光照源的光照从光照源传播通过光照孔、通过保持感兴趣的材料的样品的样品保持器到图像传感器上,图像传感器响应于在其上入射的光照而生成感兴趣的材料的样品的全息强度数据;其中,传播空间包括三维空间,来自光照源或者从光照孔和样品保持器中的一个或者两个传播的光照在三维空间上传播,以到达图像传感器,因而形成全息强度数据。
系统可以包括用户接口模块,其被配置为接收用户输入和输出,并且在存储器设备中至少存储与由图像处理器模块执行的检测操作和识别操作中的一个或者两个相关联的生成输出数据。
系统可以为用于分析与人类用户相关联的生物材料的样品的生物材料分析系统,因此,系统包括用户交互模块,其被配置为在存储器设备中生成用于系统的至少一个用户的用户配置文件,用户配置文件存储与特定用户相关联的生成输出数据。
本发明的第三方面提供一种材料分析设备,包括:
外壳,其被配置为在使用中可去除地接收携带感兴趣的材料的样品的样品保持器;
数据获取装置,其位于外壳中,以用于获取感兴趣的材料的样品的全息强度图案;
存储器设备,其存储数据;
图像处理器,其被配置为处理所获取的全息强度数据,以至少执行检测和识别样品中的至少一个感兴趣对象的一个操作或者两个操作,因而生成与操作相关联的输出数据;以及
用户接口,其配置为接收用户输入并且输出至少包括由图像处理器生成输出数据的信息。
图像处理器可以包括:
关键字提取模块,其被配置为从接收全息强度数据中确定一个或多个数据关键点,全息强度数据与包括这样一种空间的传播空间中的离散位置相关联,与数据获取装置相关联的光照在该种空间上传播以有助于获取全息强度数据;并且
对象分类器,其被配置为将所确定的数据关键点与在存储器设备中存储的与对象相关联的至少一个预先确定的对象描述符进行比较,以确定匹配,因而有助于样品中的至少一个感兴趣对象的检测步骤和识别步骤中的一个步骤或者两个步骤,其中,对象描述符为传播空间不变量并且包括与传播空间中的多个期望离散位置分别相关联的多个描述符子集,并且其中,每个描述符子集包括一个或多个描述符关键点。
数据捕获装置可以包括数字全息显微镜配置,其可以包括:
光照源,其被配置为生成光照;
空间滤波器,其其位于离光照源预先确定的距离处,空间滤波器至少包括一个光照孔,以用于来自光照源的光照从光照孔通过;其中,样品保持器可去除地定位在离空间滤波器的预先确定的距离处;以及
与样品保持器间隔开的图像传感器,图像传感器至少被配置为在使用中响应于在其上入射的生成光照,生成样品保持器中的感兴趣的材料的数字全息强度图案;其中,传播空间包括这样一种空间,来自光照源的或者从光照孔和样品保持器中的一个或者两个传播的光照在该种空间上传播,以到达图像传感器,因而形成全息强度数据。
设备可以包括通信模块,其被配置为从设备无线地接收数据并且发送数据。
设备可以为用于分析与人类用户相关联的生物材料的样品的生物材料分析设备,因此,设备包括用户交互模块,其被配置为在存储器设备中生成用于设备的至少一个用户的用户配置文件,用户配置文件存储与特定用户相关联的生成输出数据。
本发明的第四方面提供一种包括一组指令的非瞬态的计算机可读存储介质,当指令由计算设备执行时使计算设备执行上述方法。
附图说明
图1示出根据本发明的示例性实施例的材料分析系统的示意图;
图2更详细地示出当样品保持器在第一位置时图1的分析站的前透视图;
图3更详细地示出当样品保持器在第一位置时图1的分析站的后透视图;
图4更详细地示出当样品保持器在第二位置时图1的分析站的前透视图;
图5更详细地示出根据本发明的示例性实施例的材料分析系统的示意图的至少一部分;
图6示出穿过根据本发明的分析站的示意截面图,其更详细地示出了根据本发明的数据获取装置;
图7示出根据本发明的示例性实施例的材料分析设备的示意图,其示出与该设备相关联的功能模块。
图8(a)示出材料的样品、USAF测试载物片的的示例性原始传统亮视场显微镜图像;
图8(b)示出图8(a)的生成全息强度图案的图像;
图8(c)示出图8(b)的全息强度图案的重建图像;
图9(a)示出从数字同轴全息显微镜系统中获得的血涂片的全息图;
图9(b)示出血涂片的重建图像;并且
图9(c)示出使用传统亮视场显微镜(400X)获得的血涂片的图像的比较;
图10(a)示出血涂片样品的亮视场显微镜图像;
图10(b)示出对应于图10(a)的全息图;
图10(c)示出与图10(b)对应以便红血细胞对焦的重建图像;
图10(d)示出与图10(b)对应以便白血细胞对焦的重建图像;
图11(a)示出具有白血细胞的血涂片的亮视场显微镜图像的示例;
图11(b)示出红血细胞的图11(a)的带注释的图像;
图11(c)示出红血细胞的位置图像;
图11(d)示出白血细胞的位置图像;
图11(e)示出样品中的单个白血细胞的图像;
图12示出根据示例性实施例的方法的高级流程图;
图13示出根据示例性实施例的方法的另一个高级流程图;并且
图14示出以计算机系统的示例性形式的机器的图示法,其中,在计算机系统中可以执行用于使该机器执行本文所讨论的方法中的任何一个或多个的一组指令。
具体实施方式
在下面的说明书中,出于解释目的,大量的具体细节被给出以提供对本公开的实施例的透彻理解。然而,显而易见的是,本领域的熟练技术人员可以在没有这些具体细节的情况下实施本公开。
参考图1,根据本发明的示例性实施例的系统通常由参考数字10来指示。系统10通常为用于分析生物或者非生物的材料特别是具有精良细节的显微镜尺度的对象的材料分析系统。虽然本文所公开的发明可以找到对任何感兴趣的材料进行分析的应用,但是将参考优选示例性实施例来描述示例性实施例,借此该系统为生物材料分析系统10。生物材料可以包括与植物或者动物生命相关联的任何感兴趣的生物材料。在讨论的示例性实施例的本系统10中,生物材料与人类相关联,并且可以包括血液、组织等等。
为了简洁起见,注意到,由系统研究且分析的材料称为感兴趣的材料。系统10被配置为分析感兴趣的材料的样品以检测或者识别材料的样品中的一个或者多个感兴趣的对象。在感兴趣的材料为人类血液的示例中,(红色或者白色的)血细胞可以为感兴趣的对象,白色血细胞和红色血细胞为不同类型的对象。
系统10可以包括中心系统服务器12,该中心系统服务器12经由通信网络16与多个地理上隔开或者分布的数据获取站14进行无线数据通信。通信网络16可以为射频网络或者移动通信网络,例如,Wi-Fi网络或者GSM(全球移动通信系统)网络。通信网络16可以为分组交换网络,且可以形成互联网的一部分。然而,通信网络16可以为电路交换网络、公共交换数据网络等。
服务器12未必需要在一个位置包括单个服务器,而是可以分布在多个分布式网络化服务器上,布置在地理上隔开位置的多个分布式网络化服务器经由例如通信网络16彼此进行数据通信。然而,为了便于解释,示出了单个服务器。同理,虽然系统10可以包括多个数据获取站14,但是仅示出了三个。
每个数据获取站14通常位于远程位置,该远程位置通常难以接近适当的健康护理设施等。对此,因此,系统10便利地提供以供远程位置使用的护理系统点作为无线功能性辅助。
对此,转向图2至图4,在图2至图4中更清楚地示出了站14。站14便利地包括由耐用材料构造的坚固外壳14.1以经受远程未都市化的地区使用。为了易于使用,外壳14.1为具有两个相对主表面的平面状的平板。用户接口29(图2)可以设置在外壳14.1中,用户接口29至少包括布置在外壳14.1的一个主表面上的触摸响应屏14.2。该触摸响应屏14.2可以显示信息和(与用户接口29相关联的)GUI,并且可以相应地接收来自用户的触摸输入,以至少控制站14。这些可以以任何传统方式来完成。
站14是便携式的,并且因此是相对轻重量的,并且包括抓取构造以允许该站14便于使用。在一个示例性实施例中,该站可以具有以下的尺寸:315mm×250mm以及45mm的高度。
外壳14.1还被配置为以阻止环境光进入外壳14.1的光照密封方式可拆卸地接收用于承载感兴趣的材料的样品例如(下面所述的)血液的样品支持器。在一个示例性实施例中,外壳14包括在第一位置和第二位置之间可旋转的活板(flap)14.3,其中,在第一位置处,活板暴露以便定位或者从活板14.3移除样品支持器,并且借由第二位置,活板旋转关闭以按照光照密封方式将样品支持器导入到外壳14.1中。
现在参考图5,提供了如图1所示的系统10的更详细说明。为了便于说明,示出了站14和服务器的单个实例。系统10特别是中心系统服务器10包括存储非瞬态数据的数据库或者存储器设备18。数据库18可以为一个或多个合适的设备,其位于一个或多个位置但是彼此进行数据通信以提供用于存储数字化信息的装置。
注意到,服务器12可以为操作的计算机,并且可以包括具有非瞬态计算机可读介质(例如,用于存储指导如本文所述的服务器12的操作的指令或者软件的数据库18)的一个或多个处理器。参考本文所公开的方法所描述的步骤通常由与如本文所述的描述相关联的一个或多个处理步骤的应用来实现。
在任意情况中,系统10特别是服务器12和站14包括与由系统10执行的功能任务对应的多个组件或者模块。在本说明书的内容中描述的组件、模块和装置将理解为包括代码的识别部分、可计算的或者可执行的指令、数据或者用于实现特定功能、操作、处理或者程序的可计算的对象。因此这些组件、装置或者模块不必以软件来实现;而是可以以软件、硬件或者软件和硬件的组合来实现。进一步地,这些组件、装置或者模块未必需要合并到一个设备中,特别是服务器12的情况中,而是可以分散在多个设备上。
服务器12包括数据接收器模块20,该数据接收器模块20与站14的数据获取装置22进行数据通信,数据接收器模块20被配置为接收全息强度数据,该全息强度数据至少包括:与由数据获取装置22获取的感兴趣的材料的样品相关联的全息强度图案或者图像。
此外,参考图6,其中,通常在外壳14.1之内示出了数据获取装置22。数据获取装置22通常包括数字全息显微镜配置,其布置在外壳14.1中限定的光隔离室14.4中。虽然所示出的实施例近似同轴数字全息显微镜配置,但是应当明白的是,但是也可以使用离轴方法。因此所提供的数字全息显微镜配置允许使用包括光波的传播和干涉的全息图的基本原理,这可以使用标量衍射理论来解释。
全息显微镜配置包括用于生成光照的光照源24。光照源24包括LED(发光二极管)光源,例如,红外激光二极管(808nm)或者蓝色激光二极管(408nm)。平面空间滤波器26位于离光照源24为预先确定的距离处,平面空间滤波器26包括至少一个大约50μm直径的圆形光照孔26.1以用于来自光照源24的光照通过该圆形光照孔的通路。有利地选择光照孔26.1的形状和/或尺寸,以提高来自光照源24的光或者光照的准直。换句话说,孔26.1的功能在于在光波与材料的样品相互作用之前创建准直光束。因此这可以以除了本示例性实施例中所述的方式之外的方式来实现。
在任意情况中,滤波器26被布置为与来自光照源24的光照的传播方向垂直。从孔26.1发出的光照通常包括在传播空间Z之上传播的衍射光波。传播空间Z可以被宽松地限定为这样一种空间,其中,来自装置18的光或者来自滤波器20的衍射光在该空间上传播以有助于生成全息图。传播空间Z可以为例如三维物理空间的空间。然而,对于本描述而言,传播空间Z可以与来自光照源18的光照或者光波的传播的主轴平行的一维对应,并且这可以由Z参数化。
传播空间Z可以与数据获取装置22唯一地相关联。因此,在工业可复制的站14中,将传播空间Z选择为在相似的站上最佳的相似的传播空间Z。
在任意情况中,数据获取装置22被配置为在离空间过滤器26和光照源24预先确定的距离处以上述的可去除的方式接收用于保持感兴趣的材料的样品的样品支持器或者插入件28。因此,活板14.3被配置为在第一位置接收样品支持器28,并且在第二位置在使用中相对于数据获取装置22将该样品支持器28放到预先确定且希望的位置。以这种方式,进一步增强了系统10的准确性。
样品支持器28被配置为将材料的样品保持在来自光照孔26.1的光照的传播空间Z中。样品支持器28中的材料通常包括感兴趣的对象19,例如血细胞。因此,样品支持器22可以包括由玻璃构造的透明平面显微镜载物片28。载物片28可以为显微镜应用中所用的常规载物片。
数据获取装置22最后包括图像传感器或者图像记录装置30,其位于离来自样品支持器28的光照的传播空间Z中的样品支持器28预先确定距离处。图像传感器30通常被配置为响应于在传播空间Z之上来自光照源24的入射到材料上的光照而至少生成样品支持器28中的材料的数字全息强度图案。这样,数据获取装置22有效地获取了样品的全息强度图案或者图像。
图像传感器30可以选自电荷耦合器件(CCD)或者优选互补金属氧化物半导体(CMOS)图像传感器,其被布置为与光照传播空间Z基本上垂直。图像传感器30可以为具有2.2μm×2.2μm像素尺寸的1/2.5-英寸5MP CMOS数字图像传感器30。
必须注意到,传播空间Z在某些示例性实施例中优选包括例如全三维空间或者Z轴的空间,来自光照源24的光照或者光波或者来自滤波器26的衍射光在该空间之上传播,通过样品支持器28,到达图像传感器30,因而有助于全息强度数据的生成。
载物片28可以接收在与活板14.3相关联的托盘上,使得将活板14.3操作到第二位置以光隔离方式将载物片28导入到室14.4中以在传播空间Z中可操作地配置邻近的传感器30。托盘的形状和尺寸可以接收载物片28。对此,载物片可以具有以下尺寸:76mm×26mm×1mm。此外,注意到,载物片28中的材料可以在例如血液的情况被着色,因为病理医生通常以相似的方式分析该血液。
数据获取装置22通常无镜头,并且包括由CMOS图像传感器30生成全息强度图案的数字全息强度数据可以包括具有与例如像素强度等参数对应的像素值的像素矩阵,这些参数与全息强度数据相关联。在一些示例性实施例中,出于图像增强的目的,可以根据一个或多个相邻像素的值来计算像素值。注意到,为了更好地估计像素值,该像素值将使用来自相邻像素的信息。使用超分辨率技术将获得进一步的准确度,在该情况中,超分辨率技术将基于(单独或者同时)改变相位、波长以及光照源24和传感器或者图像传感器30之间的相对空间位移。
外壳14的形状和尺寸可以装备室14.4以及装备装置以在特定预先确定位置以安全方式定位至少装置22和载物片28中的至少一个组件。这有利于保证维持敏感组件之间的公差,因而有助于站14在使用中尤其是在农村地区中的操作的准确性,在农村地区中,数据获取站14的坚固构造是重要的。
在一个示例性实施例未必优选示例性实施例中,孔26.1和样品支持器28之间的距离大约为200mm,以在对象平面保证平面波。样品支持器28和图像传感器30之间的距离可以为2mm。明白的是,可以取决于例如数据获取站14的尺寸等因素来改变这些尺寸。
返回到图5,站14还包括用于指导站14的操作的处理器32。为此,站14可以包括机器可读介质,例如处理器32中的存储器、主存储器和/或硬盘驱动器,其携带一组指令以指导处理器32的操作。应当理解的是,处理器32可以为一个或多个微处理器、或者任何其它合适的计算设备、资源、硬件、软件或者嵌入式逻辑。
此外,站14包括通信模块34,以有助于站14经由通信网络16与中心系统服务器12进行无线通信。系统服务器34可以包括适当匹配的通信模块34,以有助于经由网络16的通信,并且因此相同的参考数字将用于指示相同的元件。通信模块34可以包括一个或多个调制解调器、天线等设备,以无线方式有助于经由网络16的无线通信。在所示出的示例性实施例中,模块34以无线方式有助于接收器模块20和站40之间的数据耦合或者通信。因此,站14被配置为向用于对其进行处理的中心系统服务器12无线地发送由数据获取装置22获取的全息强度数据。
因此,服务器12包括图像处理器36,其被配置为处理经由数据接收器模块20从站14接收到的全息强度数据,以至少执行由站15接收到的样品中的至少一个感兴趣的对象的检测操作和识别操作中的一个操作或两个操作。
与仅为健康护理专家的分析提供重建的全息图的许多现有系统相比,检测和识别步骤有利地以自动方式提供更稳健性的分析方法。
为了进一步增强接收到的数据处理,图像处理器36包括可能为前文所定义的模块中的模块。具体地,图像处理器36包括关键点提取模块38,其被配置为确定来自接收到的全息强度数据的一个或多个数据关键点,全息强度数据与传播空间Z中的离散位置相关联,而离散位置与前文所述的数据获取装置22相关联。在一个示例性实施例中,关键点提取模块38以传统方式遍历接收到的全息强度图像的像素并且选择具有感兴趣的强度值的像素,例如,局部极大值和极小值定位的位置等。注意到,确定的数据关键点与由关键点提取模块38选择的一个或多个感兴趣的像素对应。在一些示例性实施例中,还可以根据两个相邻瞬态图通过尺度空间的差值来提取极值点。这可以减少检测为更多突出点的关键点的数量。
图像处理器36还包括对象分类器40,其被配置为将确定的数据关键点与在存储器设备18中存储的与对象相关联的至少一个预先确定的对象描述符进行比较,以确定匹配,因而有助于样品中的至少一个感兴趣的对象的检测步骤和识别步骤中的一个步骤或者两个步骤,其中,对象描述符为传播空间不变量。把血细胞作为对象,每个类型的(红和白)血细胞可以通过包括多个描述符子集而包括与该类型的血细胞相关联的特定标识符,该特定标识符为传播空间不变量,其中,每个描述符子集包括多个描述符关键字和表示传播空间Z中的相关联的离散位置的信息。
如将描述的,关键点可以在传播空间Z上被收集并且因此定位到传播空间Z。关键点的收集可以形成感兴趣对象的对象描述符。因此,对象描述符可以为传播空间不变量以允许以传播空间不变量的方式检测并且/或者识别感兴趣的对象,而导致检测的关键点的描述符子集可以额外地允许在传播空间Z中的感兴趣的对象的定位。
例如,红血细胞描述符将具有传播空间Z中的离散位置1处的描述符关键点[X,Y,Z]和传播空间Z中的离散位置2处的描述符关键字[A,B,C]。提取出的数据关键点匹配[X,Y,Z]将使对象分类器40能够确定材料的样品(血液样品)中的对象为红血细胞,其反过来被设置在传播空间中的位置1处。这样,以计算高效的方式识别并且定位容积中的对象。
因此,对象描述符可以为传播空间不变量以允许以传播空间不变量方式检测并且/或者识别感兴趣的对象,而导致检测的关键点的描述符子集可以额外地允许感兴趣的对象在传播空间Z中的定位。
图像处理器36通常被配置为生成与检测或者识别的感兴趣对象相关联的输出数据。例如,图像处理器36可以计数检测或者识别的对象出现的数量,这在血液的情况下将为(红或者白)血细胞计数。服务器12可以被配置为经由通信模块34向站14发送生成输出数据以用于经由用户接口29的显示器14.2进行显示。用户可以例如通过用户接口29生成发送给服务器12的指令,以指示服务器发送数据的一个或多个具体项目而因而用于显示该具体项目。
图像处理器36还被配置为将重建算法应用于接收到的全息图,以因而产生接收到的全息图的重建图像。重建图像可以形成发送给站14的输出数据的一部分。图像处理器36可以被配置为前置且后置处理图像,以提高重建图像的质量并且细化重建图像的质量。对此,模块36可以被配置为通过应用额外的高通滤波器来执行图像增强。
为了进一步提高重建图像的分辨率,可以实现例如超分辨率的技术。可以通过使用多个源或者启用对象的多个观察点或者通过在多个位置放置对象来实现超分辨率。还可以通过在多个频率或者多个相位处观察对象来实现超分辨率。可以使用这些技术中的任何一个或者组合。
本发明至少有利地帮助在远程位置的健康护理专业人员。例如,仅访问站14的远程地区的医生可以经由用户接口29来选择接收血液样品的图像以及与所提取的血液样品相关联的白血细胞计数,图像处理器36以传统方式计数检测到的或者识别出的白血细胞,重建接收到的全息图以生成重建图像,并且向站14发送该重建图像,以由医生经由与站14相关联的显示器14.2进行观察。这样,可以有利地允许医生在最远程的地区提供健康护理援助。
注意到,对象描述符对于本发明而言是重要的。对此,为了确定每个感兴趣的对象的对象描述符,服务器12有利地包括用于生成对象描述符以由图像处理器36以前面所述的方式进行使用的训练模块42。理解的是,对象描述符不需要由服务器12生成,并且可以在外部生成并且仅由服务器12使用。
在任意情况中,训练模块42被配置为接收对象的图像。在该情况中,由训练模块42接收图像为传统显微镜图像而非全息图。然而,在一些示例性实施例中,训练模块42接收全息图,该全息图可以与传统图像相似的方式被重建使用。
训练模块42还被配置为将波形传播算法应用于接收图像,以生成与传播空间Z之上的不同离散位置对应的多个全息强度图案。具体地,训练模块42被配置为离散传播空间Z,并且对于离散的传播空间Z之上的每个期望的离散位置而言,应用波形传播算法,以因而生成传播空间Z中的离散位置处的全息图。
训练模块42可以被配置为出于前文所描述的目的例如取决于例如计算效率、分辨率和准确率考虑,将传播空间离散成预先确定数量的位置或者区域。为此,应当明白的是,训练模块42有利地被配置为接收至少表示传播空间Z的尺寸的信息。
在优选示例性实施例中,波形传播算法通常实施或者应用如由下面的波形传播等式(1)所描述的方法:
I ( α ′ , β ′ ) = j λ ∫ - ∞ ∞ ∫ - ∞ ∞ h ( x , y ) E R ( x , y ) e ( - jkr ) r dxdy     (等式1)
r ′ = ( x - α ′ ) 2 + ( y - β ′ ) 2 + z 2     (等式2)
k = 2 π λ     (等式3)
●在正向中,当等式1用于全息图生成时,等式1给出了I(α’,β’),其为在成像/传感器平面上形成的复杂的衍射图案。
○然后,该复杂的衍射图案与参考波形结合,以给出全息强度图案。
○然后,h(x,y)被看作感兴趣对象的图像。
○ER(x,y)为参考波形。
○r’为对象平面中的一点到用于形成全息图的复杂衍射图案平面中的一点的直线距离。
○λ为源波长
○z为传播轴
○(x,y)为对象现在处于的平面。
○(α’,β’)为其中用于形成全息图的衍射图案处于的平面。
●在反向中,当等式1用于对象重建时,等式1给出I(α’,β’),其为感兴趣对象在原始对象位于的位置的重建。
○然后,h(x,y)被看作全息强度图案。
○ER(x,y)为参考波形。
○r’为全息图平面中的一点到感兴趣对象平面中的一点的直线距离。
○λ为源波长
○z为传播轴
○(x,y)为全息图现在处于的平面。
○(α’,β’)为其中感兴趣对象处于的平面。
模块42使用等式(1)来生成与传播空间Z之上的特定离散位置对应的仿真或者模拟的全息强度图案或者瞬态图,使用接收图像作为输入。
在确定对象描述符的环境下,传播空间Z将被理解为基本上相似于以上针对识别对象而完成的描述。换句话说,用于确定对象描述符的装置22的相同硬件设定可以理想地基本上相似于用于识别对象的硬件设定,这样,服务器12已知传播空间Z的尺寸。
关于由模块42使用的等式(1)的选择,应当明白的是,某种意义上,波形传播等式(1)用作镜头。该波形传播等式(1)使对象聚焦。当对象处于聚焦(如在典型的镜头中)时,光波在焦点同时发生而在其它点,这些光波以以各种不同分散角度存在。因为嵌入的相位信息可能允许深度重建,这意味着可以分离在不同距离处的对象。
另一个重要方面在于等式(1)描述了所有的光波在三维传播空间中的任何点处的关系。如果在三维空间中的一些点处获取了传播光的样品,则等式(1)将允许该点在另一个位置重建。
换句话说,波形传播等式(1)首先维持通过传播空间Z的光波的关系,并且其次用作镜头(或者对光波进行变换),并且将光波彼此分离(或者聚焦光波),这两个操作被组合(并且利用)以创建传播空间Z的变化。
模块42还包括训练关键点提取模块42,其被配置为针对在传播空间Z上的每个生成全息强度图案确定感兴趣的描述符关键点或者稳定的描述符关键点。这可以以传统方式完成,以提取感兴趣的关键点。例如,各种各样的显著区检测器可以被应用在传播空间Z之上。在传播空间Z之上出现的显著点被识别为在传播空间Z之上不变的点。该特定子集将只不过以稳定方式有助于检测或者识别过程。
然后,模块42被配置为使用确定的描述符关键字和表示传播空间之上相关联的离散位置的信息来生成与对象例如红血细胞相关联的对象描述符。这可以通过如上文对于由波形传播模块42生成每个瞬态图所描述的方式相同方式,将由向量识别的描述符关键点与传播空间Z中的相应的或对应的离散位置相关联以生成描述符子集来完成。一旦传播空间Z之上的特定对象生成多个描述符子集,模块42就关联描述符子集并且将其存储在数据库18中作为对象描述符,以由系统12使用来识别与传播空间Z中的对象位置无关的对象。
在实际应用中,本发明允许在不必重新聚焦并且搜索整个全息重建的情况下从全息图的单个瞬态图中有利地识别对象,以首先找到对象。
服务器12可以使用上述原理且实现统计机器,该统计机器被配置为应用学习算法(例如神经网络),其将被训练以自动获得特征,并且进一步使用这些特征来在没有推导离散特征或者描述符集合的情况下(自动地)生成用于识别的对象描述符。系统10可以被配置为生成用于训练统计机器的全息图。
在优选示例性实施例中,除了作为传播空间Z为不变量之外,可以使得对象描述符为尺度空间不变量,因而识别在传播空间以及尺度空间S之上的感兴趣对象。尺寸空间不变量可以为本发明的附带功能。
为了使图像处理器36能够使用尺度空间理论技术,子波可以用作基本函数,其中,图像信息可以通过将不同脉冲加总来表示。子波允许图像的频率坐标和空间坐标在相同绘图上可视。在该系统中,信息被分布在尺度空间之上。将子波应用于空间允许我们找到该信息并且同时把他们进行分组。
随着尺度空间之中的对象和图像之间的焦距变化,对象的图像变得更加模糊,给出对象的空间表示。通过沿着整个空间表示即距对象的每个图像点处找到稳定点,可以提取特征。
因为每类对象可以创建向量,所以将这些稳定点的集合分组成向量,这可以用于对象的分类。通过收集尺度空间之上的多片信息,可以唯一地识别这些对象。
在一个示例性实施例中,存储器设备18可以存储与系统10的用户相关联的多个用户配置文件。用户配置文件可以包括与用户相关联的信息、病史和与由系统10为用户的生成输出相关联的历史。用户配置文件可以通过由用户经由站14输入的密码来访问。因此,虽然这没有进一步被说明或者描述,但是该用户可以注册来使用该系统10。
应当理解的是,在系统10中,大量的处理发生在远程服务器12中,因而最小化由站14需要的处理。然而,应当理解的是,若需要,在先的大多数系统10可以位于手持便携式设备中。因此,这可以通过本文所述的便利的且可计算地有效的处理技术和方法的提供来有利地实现。
现在参考图7,根据本发明的优选示例性实施例的材料分析设备通常由参考数字50指示。
设备50基本上相似于站14并且除了一些不同之外包括在先站14的所有组件。此外,设备50额外地包括外壳14.1中的系统10的大部分组件,特别是服务器12。为此,相似的部件将由相似的参考符号来表示,并且因此,上面所提供的各个组件的描述符应用于图7,根据具体情况或者实际情况而定,例如,应当理解的是,设备50的所有组件都不分布在网络上,如服务器12的情况,但是可选地直接硬线连接在一起并且包含在单个坚固的且强健的便携式单元中。
注意到,处理器32包括下文所述的最强大的图像处理器36。因此,设备50比如前所述的站14更可计算地动态的。在设备50中,数据接收器模块20有利地硬线连接至数据获取设备22,以从该数据获取设备22接收获取的全息强度。在一个示例性实施例中,接收器模块22与图像传感器30进行数据通信。
与可计算地昂贵的传统方法相比,如前所述的图像处理器36的操作有利地允许以更便利且更快的方式对全息强度图案进行处理和分析。
还注意到,经由数据接口29接收到的用户控制输入通常由图像处理器36来处理,而图像处理器36处理输出数据并且经由用户接口例如触摸屏接口为输出数据提供显示。
参考系统10,设备50的其它操作基本上相似于在先的描述。注意到,设备50不需要在真空中进行操作,并且可以根据具体情况经由模块34与用于存储患者配置文件等的服务器12进行通信。
现在转到图8至图11,其中,为了完整性,示出了相似于前文所述的由内联全息显微镜配置生成示例性图像。
图8(a)示出在数字内联全息图显微镜平台上由CMOS传感器记录的正1951美国空军(USAF)车轮图案测试目标片(R3L1S4P,Thorlabs)的中心区域的数字全息图。
然后,生成数字全息图用作图像重建算法的输入,相似于由系统10/设备50所应用的输入。该算法首先借由拉普拉斯滤波器执行全息图像的预处理,以增强全息图的对比度。图8(b)示出重建的USAF载物片图像。图8(c)示出使用连接到具有大约400X放大率的传统亮视场显微镜的CMOS传感器获取的USAF载物片图像。
为了进一步测试数字内联全息显微镜平台的能力,成像血液涂片。图9(a)示出使用蓝色激光二极管获得的血膜片的小区域的全息图。与使用具有400X放大率的传统亮视场显微镜获得的血膜片的小区域的图像相比,图9(b)示出对应的重建图像。图9(b)和图9(c)中圈出来的区域有助于突出两个图像中的对应区域。
蓝光源提供更清楚的用于成像红血细胞的结果,这比血膜中的白血细胞更普遍。这暗示来自不同光源的信息将被组合以用于最佳图像重建结果,并且将被进一步研究。
在一些示例性实施例中,通过改变不同光源、强度、光源孔尺寸和光源24和样品之间的距离以及样品和图像传感器30之间的距离而数字全息显微镜配置的最优化导致获取的生成数字全息强度数据中的变化。
在一个示例性实施例中,确定下面的参数是最佳的:
红色激光二极管光源(635nm波长)24
在光源24处的30um光照孔26.1
光源和样品保持器28之间的距离20cm
样品和图像传感器30之间的距离2mm
对于根据上述条件由装置22获取的全息图而言,在图像重建算法中设置的下列参数处创建最佳图像重建:
图像分辨率(res)=320
拉普拉斯滤波器比例因子(lap)=1.4
对于最明显聚焦的红血细胞(RBC)而言,样品保持器和图像传感器之间的
距离30=2380至2400
对于最明显聚焦的白血细胞(WBC)而言,样品和图像传感器之间的距离
30=2520至2550
最佳的显微镜配置和重建参数用于实现第一集成系统。图10示出了使用最佳配置获得的结果的示例。
图10(a)示出使用实验平台获得的标准血液的小型截面的亮视场显微镜图像。图10(b)示出了在图像传感器30的整个视场之上的对应全息图,感兴趣的小型截面对应于全息图的中心定位的显微镜图像。然后分析全息图的中心的小型子截面(大约300×300像素的尺寸),并且重建图像。图10(c)示出了聚焦的RBC的图像重建,同时图10(d)示出了突出并且焦距的WBC的图像重建。
图11示出了使用由装置22获取的全息图来由系统10/设备50生成分析结果的示例。因而可见,通常正确地计算WBC计数并且返回RBC的估计,找到在正确位置的所有细胞。
现在将参考图12和图13来进一步描述示例性实施例。虽然应当理解的是,示例性方法也可以应用于其它系统和设备(未示出),但是参考图1至图11来描述图12和图13中示出的示例性方法。
在图12中,根据示例性实施例的方法的高级流程图通常由参考数字60来指示。可以参考示例性实施例来描述方法60,借此根据本发明的使用设备50的用户期望分析血液样品,例如,确定白血细胞的血液计数。可以从下面的解释推断参考系统10的操作的实施例。
用户在样品保持器28上引进血液样品并且在设备40的外壳14.1的(第一条件中的)活板14.1的托盘上放置血液样品。用户操作活板14.3,以引进样品保持器中的样品到外壳14的腔14.1。然后,用户经由GUI操作用户接口29,以指示设备50获取图像,特别是全息强度数据或者全息图,其中数据获取装置22由设备50来操作,响应于接收来自用户接口29的合适指令,以获取与血液样品相关联的全息图。
因此,方法60包括:在块62处经由与装置22进行硬线连接数据通信的接收器模块20接收来自装置22的获取的全息图。全息图与传播空间Z中的特定位置相关联,特定位置与设备22相关联。
响应于接收全息图,方法60包括:在块64处经由图像处理器36处理接收到的全息图,因而至少检测或者识别一个或多个感兴趣的对象,例如来自相关联的全息图的血液样品中的白血细胞。处理器36可以计数从接收到的全息图中成功检测或者识别的白血细胞的数量,并且生成至少包括与血液样品相关联的白血细胞计数的输出数据。
可以典型地经由用户接口29向用户实时地或者近似于实时地显示该输出数据。处理器36可以以传统方式根据全息图来重建图像,并且可以输出该图像,并且可选地使用确定的输出数据来注释该图像。
在图像13中,根据示例性实施例的方法的高级流程图通常由参考数字70来指示。方法70通常涉及图12的方法,特别是图13的步骤64。
方法70包括:在块74处经由处理器36处理接收到的全息强度数据,以确定潜在的感兴趣对象的数据关键点,即接收到的全息强度图像中的白血细胞。在一些示例性实施例中,例如,数据关键点的确定可能需要根据高斯差来提取极点并且由模块38生成用于每个确定的感兴趣数据关键点的向量。
然后,方法70包括:在块76和78处例如经由对象分类器40将确定的数据关键点和在存储器设备18中存储的至少一个预先确定的对象描述符进行比较。方法70包括:将每个确定的数据关键点特别是与数据关键点相关联的信息与如上所述的传播空间不变量描述符的描述符关键字进行比较,以确定匹配,其中,描述符为传播空间不变量并且可选尺寸空间变量。注意到,方法70可以包括用于通过操作训练模块42来确定对象描述符的操作(未示出)的步骤,以如上所述的方式进行操作。
如果比较步骤76/78导致匹配,则方法70在块80处经由模块40对应地识别与确定的数据关键点相关联的对象为白血细胞,因为对象描述符的匹配的描述符关键点通常与其中在该情况中为白血细胞的对象相关联。
可以针对接收到的全息图像中的每个感兴趣的数据关键点重复该方法70。
方法70还可以包括:在块82处,处理确定的数据,以产生输出数据,例如通过计数检测或者识别的对象来对这些对象进行分类,根据接收到的全息图来生成重建图像等等。
虽然上面详细地描述了,但是它是值得重复的,换句话说,用于更具体对象识别的特征提取过程使用菲涅尔-基尔霍夫变换作为表示关于连续空间之上的感兴趣对象的信息的机制,该连续空间为由传播轴限定的空间。
在该空间之上实施稳定点的隔离,以允许稳定点的收集用作分类器中的向量。然后,这能够经由唯一的标记识别个别和显著的感兴趣对象,提供特征提取的新方法。
为了找到稳定点,可以使用多种不同方法。这些技术可以包括但不限于局部极大值和极小值定位的位置或者稳定点、傅里叶描述符、时刻不变量和原理组件分析。然后,在整个空间之上共用信息的提取的稳定点将表示在整个空间之上是稳定的点。通过组合这些共同稳定点,这些稳定点一起形成稳定标记,该标记识别在整个传播空间之上的感兴趣对象。
获得的稳定点的集合可以用作分类器中的向量,分类器的示例可以包括但不限于神经网络。这允许特征提取过程根据沿着传播轴在仅一个点处测量且获取的信息但是使用根据沿着传播轴的整个空间提取的信息来执行感兴趣对象的识别。
因此,本发明允许提取稳定特征集合,以用于感兴趣对象的分类。为了完成这个,该过程在整个变换空间之上找到稳定特征,包围用于获得全息图标记的现有技术的更大范围,其中,仅使用沿着传播轴的一个点或者单个瞬态图。通过更宽的空间来提取全息图标记,本发明提供比仅使用单个瞬态图更稳健的识别符,具有更高的公差。
本发明的特征提取过程还有利于成功实现的任何类型的深度测量,因为该过程与对象位于传播轴上无关。因此,感兴趣对象将处于体积之内的不同深度或者不同层,但是无论感兴趣对象在体积之内的位置,仍然针对每个对象提取个别标记。为了分析具有多层的样品,因此,本发明提供改进的且更健壮的识别符。
还可以通过应用多光谱技术,通过改变光学装配中的光源来增强本发明的信息提取过程。不同类型的对象在改变光源的波长的情况下创建不同光谱。这可以用作额外的分类机制。针对当前的系统,仅使用了红光源,但是可以探究具有不同波长的各种各样的其它光源。可以制定不同波长之下的对象标记,并且通过组合不同波长处的标记,可以获得组合的、更强的标记。
图14示出计算机系统100的示例中的机器的示意图,在计算机系统之内可以执行用于使机器执行本文所讨论的这些方法中的任何一个或多个方法的一组指令。在其它示例性实施例中,机器可以作为单独的设备进行操作或者可以连接(网络化)到其它机器。在网络化示例性实施例中,机器可以在服务器-客户端网络环境中在服务器或者客户端机器的能力内进行操作,或者在对等(或者分布式)网络环境中作为对等机器进行操作。机器可以为私人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、网络设备、网络路由器、交换机或者网桥、或者能够(依次或者另外)执行一组指令的任何机器,该组指令指定由那个机器采取的动作。此外,虽然为了便利性仅示出了单个机器,但是术语“机器”还应当包括任何机器集合,这些机器集合单独地或者共同地执行一组(或者多组)指令以执行本文所讨论的方法中的任何一个或多个。
在任意情况中,示例性计算机系统100包括处理器102(例如,中央处理单元(CPU)、图形处理单元(GPU)或者两个)、主存储器104和静态存储器106,它们经由总线108彼此通信。计算机系统100还可以包括视频显示单元110(例如,液晶显示器(LCD)或者阴极射线管(CRT))。计算机系统100还包括字母数字输入设备112(例如,键盘)、用户接口(UI)导航设备114(例如,鼠标或者触摸板)、磁盘驱动器单元116、信号生成设备118(例如,扬声器)和网络接口设备120。
硬盘驱动器单元16包括机器可读介质112,该机器可读介质112存储实现本文所述的方法或者功能中的任何一个或者多个或者由本文所述的方法或者功能中的任何一个或者多个使用的一组或者多组指令和数据结构(例如软件124)。软件124还可以在构成机器可读介质的计算机系统100、主存储器104和处理器102执行该软件期间完整地或者至少部分地驻留在主存储器104之内和/或处理器102之内。
还可以经由使用已知传输协议(例如,HTTP)中的一个或者多个的网络接口设备120在网络126之上发送或者接收软件124。
虽然在示例性实施例中将机器可读介质122示出为单个介质,但是术语“机器可读介质”可以指代用于存储一组或者多组指令的单个介质或者多个介质(例如,集中式的或者分布式的数据库,和/或相关联的缓存和服务器)。术语“机器可读介质”还可以包括以下任何介质:该介质能够存储、编码或者携带由机器执行的一组指令,使机器执行本发明的方法中的任何一个或多个,或者能够存储、编码或者携带由一组指令使用的或者与这组指令相关联的数据结构。因此,术语“机器可读介质”可以包括但不限于固态存储器、光学介质和磁性介质和载波信号。
本发明提供用于处理且分析材料、特别是材料的样品的便利性方式。(特别是用于显微镜应用的)传统的数字全息系统聚焦于优化系统的光学和物理设备,为了获得产生最佳重建的且聚焦的图像的全息图。这些光学系统可能是难处理的、昂贵且复杂,且对外部/环境因素很敏感。
本发明提供集成的、自我包含且连接的系统,该系统使用简单的物理设备,因此,可计算地高效信息提取技术和信号处理方法可以允许该设备为紧凑的和坚固的,理想地用作床旁(POC)设备。该系统是自我包含的移动POC设备,其包含传感器/测量设备,并且还包含到系统和可选到服务器的接口,其中,可计算强度分析/处理出现,并且患者数据被存储。患者数据库被实现,允许存储并且在任何时候在世界的任何地方都可访问患者病历和结果文件。出于加速分析和诊断的目的,该系统的目的在于有助于医疗临床环境的应用区域。用于当前应用的集成系统加速从测量时间到生成报告的时间的血液分析。这可以应用于快速分析和诊断时间是重要的任何分析或者诊断应用。
此外,本发明给对象识别提供用于提取最大信息的便利方法。这包括用于对象识别的新颖的特征提取过程。该后者过程使用菲涅尔-基尔霍夫变换作为允许在整个传播空间之上提取信息的机制。可以提取这些特征,以允许针对研究之下的不同对象创建唯一的标记。然后,该信息可以用于在不需要首先获得重建图像的情况下实现具有用于对象识别的高可视质量和高分辨率的用于识别对象的新分类方法。
本发明不是关注细化物理设备以获得高质量的重建图像,而是关注从全息图中提取极大信息。图像重建质量并且因此物理系统设备不是关注点,而是主要关注使用可用信息的信息提取。
虽然本发明在没有复杂光学设备的情况下使用简单的硬件,但是仍然能够感兴趣的足够信息的提取,但是本发明引入成功地且健壮实现数字基于全息图系统的新方法。

Claims (23)

1.一种用于分析材料的方法,所述方法包括:
接收至少包括与感兴趣的材料的样品相关联的全息强度图案的全息强度数据,所述全息强度数据由数据获取装置获取;并且
处理接收全息强度数据,以至少执行样品中的至少一个感兴趣对象的检测步骤和识别步骤中的一个步骤或者两个步骤。
2.根据权利要求1所述的方法,其中,处理接收全息强度数据的步骤至少包括以下步骤:
从接收全息强度数据中确定一个或多个数据关键点,所述全息强度数据与包括三维空间的传播空间中的离散位置相关联,与所述数据获取装置相关联的光照在所述三维空间上传播以有助于获取所述全息强度数据;和
将所确定的数据关键点和与对象相关联的至少一个预先确定的对象描述符进行比较,以确定匹配,因而有助于所述样品中的至少一个感兴趣对象的检测步骤和识别步骤中的一个步骤或者两个步骤,其中,所述对象描述符为传播空间不变量。
3.根据权利要求2所述的方法,所述方法包括提供多个对象描述符,每个对象描述符包括与所述传播空间中的多个期望离散位置分别相关联的多个描述符子集,其中,每个描述符子集包括一个或多个描述符关键点。
4.根据权利要求2或3所述的方法,其中,所述方法包括所述用于确定所述对象描述符的在先步骤,该在先步骤包括,对于每个对象而言:
接收该对象的图像;
对于所述传播空间之上的多个离散位置的接收图像应用波形传播算法,因而生成与所述传播空间之上的离散位置对应的多个全息强度图案;
确定在所述传播空间之上的每个生成全息强度图案的描述符关键点;并且
使用确定描述符关键点和表示所述传播空间之上的相关联的离散位置的信息,以生成与对象相关联的对象描述符。
5.根据前述权利要求中任一项所述的方法,所述方法包括:从所述数据获取装置以硬线连接的方式接收或者从多个地理上分布的分析站无线地接收全息强度数据,每个分析站包括数据获取装置。
6.根据前述权利要求中任一项所述的方法,所述方法包括:控制所述数据获取装置来生成至少包括与所述样品相关联的全息强度图案的全息数据。
7.根据前述权利要求中任一项所述的方法,所述方法包括:
生成与所述检测和识别操作中的一个或者两个相关联的输出数据;并且
经由硬线连接的或者无线的数据装置向用户接口模块发送所输出的数据,以至少用于因而输出。
8.根据权利要求7所述的方法,所述方法包括:
通过确定相似感兴趣对象的总和来对检测或者识别的感兴趣对象进行分类;
通过重建接收全息强度数据来样品的生成图像;
生成包括确定的总和以及样品的生成图像中的一个或者两个的输出数据;并且
经由硬线连接的或者无线的数据装置向用户接口模块发送所输出的数据,以用于因而输出。
9.一种材料分析系统,包括:
存储器设备,其存储数据;
数据接收器模块,其与数据获取装置进行数据通信,并且被配置为接收由数据获取装置获取的全息强度数据,全息强度数据至少包括与感兴趣的材料的样品相关联的全息强度图案;以及
图像处理器,其被配置为处理接收全息强度数据,以至少执行检测和识别所述样品中的至少一个感兴趣对象的操作中的一个操作或者两个操作。
10.根据权利要求9所述的材料分析系统,其中,所述图像处理器包括:
关键点提取模块,其被配置为从接收全息强度数据中确定一个或多个数据关键点,所述全息强度数据与包括这样一种空间的传播空间中的离散位置相关联,与所述数据获取装置相关联的光照在该种空间上传播以有助于获取所述全息强度数据;以及
对象分类器,其被配置为将所确定的数据关键点与存储在所述存储器设备中的与对象相关联的至少一个预先确定的对象描述符进行比较,以确定匹配,因而有助于样品中的至少一个感兴趣对象的检测步骤和识别步骤中的一个步骤或者两个步骤,其中,所述对象描述符为传播空间不变量。
11.根据权利要求10所述的材料分析系统,其中,所述存储器设备存储多个对象描述符,每个对象描述符包括与所述传播空间中的多个期望离散位置分别相关联的多个描述符子集,其中,每个描述符子集包括一个或多个描述符关键点。
12.根据权利要求10或11所述的材料分析系统,其中,所述材料分析系统包括训练模块,其被配置为确定所述对象描述符,其中,所述训练模块被配置为,对于每个对象而言:
接收所述对象的图像;
对于所述传播空间之上的多个离散位置的接收图像应用波形传播算法,因而生成与所述传播空间之上的离散位置对应的多个全息强度图案;
确定在所述传播空间之上的每个生成全息强度图案的描述符关键点;并且
使用确定描述符关键点和表示所述传播空间之上的相关联的离散位置的信息,以生成与对象相关联的对象描述符。
13.根据权利要求9至12中任一项所述的材料分析系统,其中,所述数据接收器模块与数据获取装置进行硬线连接数据通信或者与包括多个地理上分布的分析站进行无线数据通信,每个分析站包括数据获取装置。
14.根据权利要求10至13中任一项所述的材料分析系统,所述系统包括数据获取装置或者多个地理上分布的分析站,每个分析站包括数据获取装置,其中,每个数据获取装置包括数字全息显微镜配置,其至少包括用于生成光照的光照源和用于在使用中响应于在其上入射的生成光照而生成全息强度数据的图像传感器,其中,所述传播空间包括在光照源和图像形成装置之间的三维空间的至少一部分。
15.根据权利要求14所述的材料分析系统,其中,所述数字全息显微镜配置还包括:
空间滤波器,其位于离所述光照源预先确定的距离处,所述空间滤波器至少包括一个光照孔,以用于来自所述光照源的光照从光照孔通过;以及
样品保持器,其可去除地定位在离所述空间滤波器的预先确定的距离处,所述样品保持器被配置为保持感兴趣的材料的样品,其中,所述图像传感器与所述样品保持器间隔开,从而在使用中,通过所述样品保持器保持感兴趣的材料的样品并且将其保持在所述图像传感器上,来自光照源的光照从所述光照源传播通过所述光照孔,其中,所述图像传感器响应于在其上入射的光照而生成感兴趣的材料的样品的全息强度数据;其中,所述传播空间包括三维空间,来自光照源的或者从光照孔和样品保持器中的一个或者两个传播的光照在所述三维空间上传播,以到达所述所述图像传感器,因而形成所述全息强度数据。
16.根据权利要求9至15中任一项所述的材料分析系统,所述系统包括用户接口模块,其被配置为接收用户输入和输出,并且在所述存储器设备中至少存储与由所述图像处理器模块执行的检测操作和识别操作中的一个或者两个相关联的生成输出数据。
17.根据权利要求16所述的材料分析系统,其中,所述系统为用于分析与人类用户相关联的生物材料的样品的生物材料分析系统,因此,所述系统包括用户交互模块,其被配置为在存储器设备中生成用于系统的至少一个用户的用户配置文件,所述用户配置文件存储与具体用户相关联的生成输出数据。
18.一种材料分析设备,包括:
外壳,其被配置为在使用中可去除地接收用于携带感兴趣的材料的样品的样品保持器;
位于外壳中的数据获取装置,其用于获取感兴趣的材料的样品的全息强度图案;
存储器设备,其存储数据;
图像处理器,其被配置为处理所获取的全息强度数据,以至少执行样品中的至少一个感兴趣对象的检测操作和识别操作中的一个操作或者两个操作,因而生成与所述操作相关联的输出数据;以及
用户接口,其配置为接收用户输入并且输出至少包括由所述图像处理器生成输出数据的信息。
19.一种材料分析设备,其中,图像处理器包括:
关键字提取模块,其被配置为从接收全息强度数据中确定一个或多个数据关键点,所述全息强度数据与包括这样一种空间的传播空间中的离散位置相关联,与所述数据获取装置相关联的光照在该种空间上传播以有助于获取所述全息强度数据;并且
对象分类器,其被配置为将所确定的数据关键点与在所述存储器设备中存储的与对象相关联的至少一个预先确定的对象描述符进行比较,以确定匹配,因而有助于样品中的至少一个感兴趣对象的检测步骤和识别步骤中的一个步骤或者两个步骤,其中,所述对象描述符为传播空间不变量并且包括与所述传播空间中的多个期望离散位置分别相关联的多个描述符子集,并且其中,每个描述符子集包括一个或多个描述符关键点。
20.根据权利要求18或19所述的材料分析设备,其中,所述数据获取装置包括数字全息显微镜配置,其包括:
光照源,其被配置为生成光照;
空间滤波器,其其位于离所述光照源预先确定的距离处,所述空间滤波器至少包括一个光照孔,以用于来自所述光照源的光照从光照孔通过;其中,所述样品保持器可去除地定位在离所述空间滤波器的预先确定的距离处;以及
与所述样品保持器间隔开的图像传感器,所述图像传感器至少被配置为在使用中响应于在其上入射的生成光照,生成所述样品保持器中的感兴趣的材料的数字全息强度图案;其中,所述传播空间包括这样一种空间,来自光照源的或者从光照孔和样品保持器中的一个或者两个传播的光照在该种空间上传播,以到达所述所述图像传感器,因而形成所述全息强度数据。
21.根据权利要求18至20中任一项所述的材料分析设备,所述设备包括通信模块,其被配置为从所述设备无线地接收数据并且发射数据。
22.根据权利要求18至21中任一项所述的材料分析设备,其中,所述系统为用于分析与人类用户相关联的生物材料的样品的生物材料分析设备,因此,所述设备包括用户交互模块,用户交互模块被配置为在存储器设备中生成用于设备的至少一个用户的用户配置文件,所述用户配置文件存储与设备的具体用户相关联的生成输出数据。
23.一种非暂态的计算机可读存储介质,其包括一组指令,当所述指令由计算设备执行时,所述指令使计算设备执行包括以下步骤的方法:
接收至少包括与感兴趣的材料的样品相关联的全息强度图案的全息强度数据,所述全息强度数据由数据获取装置获取;并且
处理接收全息强度数据,以至少执行样品中的至少一个感兴趣对象的检测步骤和识别步骤中的一个步骤或者两个步骤。
CN201280068906.6A 2011-12-02 2012-11-30 材料分析系统、方法和设备 Pending CN104115075A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ZA201108880 2011-12-02
ZA2011/08880 2011-12-02
PCT/IB2012/056846 WO2013080163A1 (en) 2011-12-02 2012-11-30 Material analysis system, method and device

Publications (1)

Publication Number Publication Date
CN104115075A true CN104115075A (zh) 2014-10-22

Family

ID=47351893

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201280068912.1A Expired - Fee Related CN104115074B (zh) 2011-12-02 2012-11-30 全息图处理方法和系统
CN201280068906.6A Pending CN104115075A (zh) 2011-12-02 2012-11-30 材料分析系统、方法和设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201280068912.1A Expired - Fee Related CN104115074B (zh) 2011-12-02 2012-11-30 全息图处理方法和系统

Country Status (7)

Country Link
US (2) US20140365161A1 (zh)
EP (2) EP2786212A1 (zh)
JP (2) JP2015505983A (zh)
CN (2) CN104115074B (zh)
BR (2) BR112014013350A2 (zh)
MX (2) MX336678B (zh)
WO (2) WO2013080163A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102365543A (zh) 2009-01-16 2012-02-29 纽约大学 用全息视频显微术的自动实时粒子表征和三维速度计量
JP2015505983A (ja) * 2011-12-02 2015-02-26 シー・エス・アイ・アールCsir 物質解析システム、方法、および装置
WO2015175046A2 (en) 2014-02-12 2015-11-19 New York University Y fast feature identificaiton for holographic tracking and characterization of colloidal particles
CN108426994B (zh) * 2014-06-16 2020-12-25 西门子医疗保健诊断公司 分析数字全息显微术数据以用于血液学应用
US10614287B2 (en) 2014-06-16 2020-04-07 Siemens Healthcare Diagnostics Inc. Virtual staining of cells in digital holographic microscopy images using general adversarial networks
US10222315B2 (en) 2014-10-13 2019-03-05 New York University Machine-learning approach to holographic particle characterization
DK3218690T3 (da) 2014-11-12 2022-05-02 Univ New York Kolloidt fingeraftryk til bløde materialer med brug af total holografisk karakterisation
CN107408198A (zh) * 2015-03-02 2017-11-28 西门子公司 细胞图像和视频的分类
FR3034197B1 (fr) 2015-03-24 2020-05-01 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede de determination de l'etat d'une cellule
FR3034196B1 (fr) * 2015-03-24 2019-05-31 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede d'analyse de particules
CN108603827A (zh) 2015-09-11 2018-09-28 莱布尼茨光电技术研究所 用于个体化的患者血液分析的装置
DE102015115342A1 (de) * 2015-09-11 2017-03-16 Leibniz-Institut für Photonische Technologien e. V. Anordnung für die individualisierte Patientenblutanalyse
KR102579248B1 (ko) 2015-09-18 2023-09-15 뉴욕 유니버시티 정밀 슬러리 내 대형 불순물 입자의 홀로그래픽 검출 및 특성화
US10630965B2 (en) * 2015-10-02 2020-04-21 Microsoft Technology Licensing, Llc Calibrating a near-eye display
WO2017139279A2 (en) 2016-02-08 2017-08-17 New York University Holographic characterization of protein aggregates
FR3049348B1 (fr) * 2016-03-23 2023-08-11 Commissariat Energie Atomique Procede de caracterisation d’une particule dans un echantillon
CN105700321B (zh) * 2016-04-18 2018-02-16 中国工程物理研究院激光聚变研究中心 基于重建像强度方差的数字全息图在焦重建距离判断方法
US10670677B2 (en) 2016-04-22 2020-06-02 New York University Multi-slice acceleration for magnetic resonance fingerprinting
JP7257631B2 (ja) * 2016-05-17 2023-04-14 ケルクエスト 材料被写体の拡張認証の方法
FR3056749B1 (fr) * 2016-09-28 2018-11-23 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede de numeration de leucocytes dans un echantillon
BR102016023757A2 (pt) * 2016-10-11 2018-05-02 Patrícia Guedes Braguine Teste diagnóstico portátil para qualificação e quantificação de diferentes tipos de células e uso
WO2018158957A1 (ja) * 2017-03-03 2018-09-07 株式会社島津製作所 細胞観察システム
EP3460585B1 (en) * 2017-09-25 2021-07-14 Imec Vzw An imaging device for in-line holographic imaging of an object
WO2019099592A1 (en) * 2017-11-14 2019-05-23 miDiagnostics NV Classification of a population of objects by convolutional dictionary learning with class proportion data
GB2572756B (en) * 2018-04-05 2020-05-06 Imagination Tech Ltd Sampling for feature detection
GB2574058B (en) * 2018-05-25 2021-01-13 Envisics Ltd Holographic light detection and ranging
US11689707B2 (en) * 2018-09-20 2023-06-27 Shoppertrak Rct Llc Techniques for calibrating a stereoscopic camera in a device
US11543338B2 (en) 2019-10-25 2023-01-03 New York University Holographic characterization of irregular particles
US11948302B2 (en) 2020-03-09 2024-04-02 New York University Automated holographic video microscopy assay
CN111537472B (zh) * 2020-07-07 2020-09-25 中国人民解放军国防科技大学 人工制备生物材料在外部环境下的遮蔽效能获取方法
KR102564448B1 (ko) * 2021-05-28 2023-08-04 경희대학교 산학협력단 구조광과 홀로그래픽 카메라를 이용한 깊이 측정 장치 및 방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4259015A (en) * 1979-03-28 1981-03-31 Akiyoshi Wada Method and device for measuring fine particles
US4974920A (en) * 1989-04-17 1990-12-04 General Electric Company Electronic holographic apparatus
JP2003015509A (ja) * 2001-06-27 2003-01-17 Sony Corp 画像露光記録装置及び画像露光記録方法
JP3729154B2 (ja) * 2002-05-10 2005-12-21 株式会社日立製作所 パターン欠陥検査方法及びその装置
WO2004025567A2 (en) * 2002-09-12 2004-03-25 Nline Corporation System and method for acquiring and processing complex images
GB0415766D0 (en) * 2004-07-14 2004-08-18 Taylor Hobson Ltd Apparatus for and a method of determining a characteristic of a layer or layers
JP5182945B2 (ja) * 2005-12-22 2013-04-17 フェイズ ホログラフィック イメージング ペーハーイー アーベー 細胞サンプル分析のための方法と装置
US7616320B2 (en) * 2006-03-15 2009-11-10 Bahram Javidi Method and apparatus for recognition of microorganisms using holographic microscopy
US8542421B2 (en) * 2006-11-17 2013-09-24 Celloptic, Inc. System, apparatus and method for extracting three-dimensional information of an object from received electromagnetic radiation
US7813016B2 (en) * 2006-11-21 2010-10-12 California Institute Of Technology Method of nonlinear harmonic holography
GB0701201D0 (en) * 2007-01-22 2007-02-28 Cancer Rec Tech Ltd Cell mapping and tracking
US8791985B2 (en) * 2007-10-30 2014-07-29 New York University Tracking and characterizing particles with holographic video microscopy
US20090262335A1 (en) * 2008-04-22 2009-10-22 Vladimir Alexeevich Ukraintsev Holographic scatterometer
JP2010067014A (ja) * 2008-09-11 2010-03-25 Ricoh Co Ltd 画像分類装置及び画像分類方法
CA2778284C (en) * 2009-10-20 2018-04-24 The Regents Of The University Of California Incoherent lensfree cell holography and microscopy on a chip
US9044141B2 (en) * 2010-02-10 2015-06-02 Tokitae Llc Systems, devices, and methods including a dark-field reflected-illumination apparatus
CN102003936B (zh) * 2010-09-14 2012-01-04 浙江大学 同时测量液滴位置、粒径和复折射率的方法和装置
JP2015505983A (ja) * 2011-12-02 2015-02-26 シー・エス・アイ・アールCsir 物質解析システム、方法、および装置

Also Published As

Publication number Publication date
CN104115074B (zh) 2017-07-04
MX2014006552A (es) 2014-10-06
US20140365161A1 (en) 2014-12-11
JP2015505984A (ja) 2015-02-26
EP2786212A1 (en) 2014-10-08
MX345972B (es) 2017-02-28
BR112014013350A2 (pt) 2017-06-13
BR112014013351A2 (pt) 2017-06-13
WO2013080164A1 (en) 2013-06-06
CN104115074A (zh) 2014-10-22
WO2013080163A1 (en) 2013-06-06
US20140327944A1 (en) 2014-11-06
EP2786213A1 (en) 2014-10-08
JP2015505983A (ja) 2015-02-26
MX336678B (es) 2016-01-27
MX2014006555A (es) 2014-07-22

Similar Documents

Publication Publication Date Title
CN104115075A (zh) 材料分析系统、方法和设备
Song et al. Mapping urban functional zones by integrating very high spatial resolution remote sensing imagery and points of interest: A case study of Xiamen, China
Gopalakrishnan Deep learning in data-driven pavement image analysis and automated distress detection: A review
Plikynas et al. Indoor navigation systems for visually impaired persons: Mapping the features of existing technologies to user needs
Ghaznavi et al. Digital imaging in pathology: whole-slide imaging and beyond
Li et al. Assessing essential qualities of urban space with emotional and visual data based on GIS technique
Graells-Garrido et al. Sensing urban patterns with antenna mappings: the case of Santiago, Chile
Xu et al. A new remote sensing images and point-of-interest fused (RPF) model for sensing urban functional regions
Werner et al. Evaluating urban bicycle infrastructures through intersubjectivity of stress sensations derived from physiological measurements
Yuan et al. Exploiting deep learning and volunteered geographic information for mapping buildings in Kano, Nigeria
Mahabir et al. Crowdsourcing street view imagery: A comparison of mapillary and OpenStreetCam
CN110320158A (zh) 移动化学分析
KR102018480B1 (ko) 하이브리드 인지재활 시스템
Wang et al. Assessing street space quality using street view imagery and function-driven method: The case of Xiamen, China
Bu et al. Identifying the daily activity spaces of older adults living in a high-density urban area: A study using the smartphone-based global positioning system trajectory in Shanghai
Xie et al. A multi-sensory guidance system for the visually impaired using YOLO and ORB-SLAM
Qiao et al. The identification and use efficiency evaluation of urban industrial land based on multi-source data
Illarionova et al. Benchmark for building segmentation on up-scaled Sentinel-2 imagery
Moradi et al. Designing and building an intelligent pavement management system for urban road networks
Iparraguirre et al. Sensors on the move: onboard camera-based real-time traffic alerts paving the way for cooperative roads
Block et al. An unsupervised deep learning approach for satellite image analysis with applications in demographic analysis
Li et al. Using POI data to identify the demand for pedestrian crossing facilities at mid-block
Erdelić et al. Transition state matrices approach for trajectory segmentation based on transport mode change criteria
Dudek et al. The concept of big data management with various transportation systems sources as a key role in smart cities development
Abbas et al. Revolutionizing Urban Mobility: IoT-Enhanced Autonomous Parking Solutions with Transfer Learning for Smart Cities

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20180814