CN104781717A - 对显微镜设备异步排序的同时利用卷帘式快门照相机采集图像的系统和方法 - Google Patents

对显微镜设备异步排序的同时利用卷帘式快门照相机采集图像的系统和方法 Download PDF

Info

Publication number
CN104781717A
CN104781717A CN201380059462.4A CN201380059462A CN104781717A CN 104781717 A CN104781717 A CN 104781717A CN 201380059462 A CN201380059462 A CN 201380059462A CN 104781717 A CN104781717 A CN 104781717A
Authority
CN
China
Prior art keywords
camera
microscope
signal
exposure
cycle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380059462.4A
Other languages
English (en)
Inventor
布鲁斯·贡萨加
威廉·彼得森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Molecular Devices LLC
Original Assignee
Molecular Devices LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Molecular Devices LLC filed Critical Molecular Devices LLC
Publication of CN104781717A publication Critical patent/CN104781717A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/04Measuring microscopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/005Photographing internal surfaces, e.g. of pipe
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B39/00High-speed photography

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)

Abstract

一种计算机实施的方法和一种图像采集系统,用于将与显微镜相关联的设备的移动跟与显微镜相关联的照相机的图像采集同步化。接收来自与显微镜相关联的照相机的曝光信号。对曝光信号进行分析从而识别与显微镜相关联的设备可能被移动的时间周期。此外,接收与曝光信号相关联的图像数据。另外,在识别的时间周期中,向与显微镜相关联的设备发出一个命令从而将与显微镜相关联的设备移动到新的位置。

Description

对显微镜设备异步排序的同时利用卷帘式快门照相机采集图像的系统和方法
相关申请
本申请要求2012年11月12日提交的申请号为61/727,374的美国临时专利申请的优先权,并通过引用将其全部内容并入本文。
技术领域
本发明一般涉及从光学显微镜系统采集图像,尤其涉及在对这种显微镜设备的组件异步地排序的同时利用卷帘式快门照相机采集图像。
背景技术
自动化显微镜系统可由图像采集系统控制来对分布在这种显微镜的X-Y载物台上的一个或多个样本采集图像。除了载物台,显微镜可包括其它设备,如照相机支架、置于该支架中的照相机、闪光灯装置、透镜系统等。这些设备可在图像采集系统的控制下移动从而使得照相机能够采集样本的不同部分的图像、采集不同样本的图像、在不同的聚焦平面上采集图像、和/或使用不同的照明条件采集图像。显微镜设备还可包括光学元件,包括滤波器、相环、分光镜、带通滤波器。在实验过程中,这些显微镜设备的位置可在自动化显微镜捕捉的样本的框架内进行改变。
通常,数字照相机中使用的传感器包含以二维图案布置的多行像素元件。一些适合使用自动化显微镜的照相机利用全局快门。在这种照相机中,照相机传感器的所有像素被同时地以预定的曝光时间曝光给从样本反射的、样本放射的、和/或从样本透射出的光线。曝光时间结束时,来自传感器的所有像素的数据都被读取并被传送到图像采集系统作为像帧。
其它照相机,特别是使用CMOS传感器的照相机,使用卷帘式快门。通常,这些快门在不同的时间对照相机传感器的每行(或排)像素开始曝光。这些照相机中,存在一个时间周期,该时间周期内所有的或一组多行像素被同时曝光。此外,一些使用卷帘式快门的照相机可在像素被曝光时读取和传送来自这些行的像素的数据。
当在自动化显微系统中使用时,多个显微镜设备的移动必须与照相机进行的图像采集相协调,从而避免所采集的图像中的伪影。例如,如果在曝光期间样本的位置相对于照相机的位置发生了改变,则使用全局快门采集的图像中会出现全局图像模糊。在这种移动过程中使用卷帘式快门捕捉的图像会展现出,在图像的某些部分出现水平的和/或垂直的位移,或者在所捕捉的图像的不同部分中出现亮度差。
发明内容
一种计算机实施的方法,其用于将与显微镜相关联的设备的移动跟与显微镜相关联的照相机的图像采集同步化。该计算机实施的方法接收来自与显微镜相关联的照相机的曝光信号。对曝光信号进行分析从而识别与显微镜相关联的设备可能被移动的时间周期。此外,接收与曝光信号相关联的图像数据。另外,在识别的时间周期中,向与显微镜相关联的设备发出一个命令从而将与显微镜相关联的设备移动到新的位置。
一种图像采集系统,其用于将与显微镜相关联的设备的移动跟与显微镜相关联的照相机的图像采集同步化。该图像采集系统包括照相机控制器、系统控制器、图像采集模块、移动控制器。照相机控制器接收来自与显微镜相关联的照相机的曝光信号。系统控制器对曝光信号进行分析从而识别与显微镜相关联的设备可能被移动的时间周期。图像采集模块接收与曝光信号相关联的图像数据。移动控制器在识别的时间周期中向与显微镜相关联的设备发出命令从而将与显微镜相关联的设备移动到新的位置。
本发明的其它方面和优点将基于过对下面的详细描述的思考而变得清晰。
附图说明
图1是用于对自动化显微镜的照相机的图像采集进行控制的系统的系统简图;
图2是可由图1的系统控制的照相机中的传感器的曝光的示例性时序图;
图3至图5是由图1的系统承担的用于使照相机的操作与自动化显微镜的设备的移动同步化的处理的流程图;以及
图6A至图6F是由图1的系统的用户界面生成的用于从它的操作员获得信息的对话框。
具体实施方式
参照图1,图像采集系统100对包括照相机104和照明源106的显微镜设备102进行控制。图像采集系统100包括系统控制器108、移动控制器110、照相机控制器112、照明控制器114、系统存储器115。操作员使用图像采集系统100的用户界面116输入命令,这些命令指导图像采集系统100来对位于显微镜载物台上的一个或多个样本的一个或多个图像的捕捉进行控制。这种命令存储在移动指令存储器118中,移动指令存储器118是系统存储器115的一部分。
如上面所描述,对于存储在移动指令存储器中的每个指令,系统控制器108会指导移动控制器110将显微镜设备102放置在该指令所指定的位置。此后,系统控制器108指导照相机控制器112来指导照相机104开始一个曝光循环并指导照明控制器114打开照明源106。在一些实施例中,系统控制器108等待接收到来自照相机104的信号,并作为响应,指导照明控制器114打开照明源106。图像采集系统100的图像采集模块120接收照相机104传送的图像帧并将接收到的图像帧存储在系统存储器115的图像存储器122部分。该图像帧随后可由操作员通过用户界面116获得或者传送给另一个系统(未展示)进行分析。
从上面可以看到,如果照相机104使用了卷帘式快门,则这种照相机104的传感器的不同行的曝光会在不同的时间开始。参照图2,照相机104的像素行A具有第一时间周期200A,在该时间周期中,该行的像素会吸收到达该像素的光线。此后,存在第二时间周期202A,在该时间周期中,像素行A的像素不会吸收任何其他的光线。通常,在该第二周期202A中,从像素行A包含的每个像素读取数据并将数据传送给图像采集系统100,并将这些像素重置。该数据代表图像帧的一行像素。同样在时间周期202A中,行A的像素随后被重置。
时间周期202A终止后,在周期204A中,像素行A的像素开始吸收光线,用于照相机104捕捉的下一个图像帧。
行B至J的像素在时间周期200B至200J期间被分别同样地进行曝光。此后,在时间周期202B至202I期间,行B至I的像素被分别读取并重置,以准备分别在时间周期204B至204J中再次曝光。如图2中所展示,对于每个行A至J,每个曝光周期200A至200J分别在不同的时间开始。照相机104的卷帘式快门将每行开始曝光的时间错开。同样,每行都具有对该行进行曝光的时间窗口。
在照相机104的一个实施例中,存在时间周期206(一个“共享曝光周期”),在该时间周期内,时间周期200A至200J重叠。如图2中所展示,该时间周期206在周期200A至200J中的最后的周期的开始时启动,并在周期200A至200J中的最早的周期终止时结束。
在一个示例性实施例中,当行A至J中的第一个开始曝光时,照相机400可为照相机控制器112生成一个信号。在图2的示例性时序图中,将该信号示出为发生在时间A1。这种照相机104还可在行A至J中的最后一个开始曝光时生成一个信号,如图2中所展示的发生在时间B1的信号。照相机104还可在时间A1结束后的曝光周期开始时生成另一个信号,如所标示的发生在时间A2的信号。最后,照相机104可在时间B1结束后的曝光周期开始时生成一个信号,如所标示的发生在时间B2的信号。如图2中所示出的,在标示为B1和A2的时间生成的信号之间的共享曝光周期206是照相机卷帘式快门同时对照相机104的行A至J都进行曝光的时间。
系统控制器108对照相机控制器112接收到的信号进行监控。在一个实施例中,当系统控制器108检测到与共享曝光周期206的开始相关联的信号时,系统控制器108指导照明控制器114打开照明源106。当系统控制器108检测共享曝光周期206结束时,系统控制器108指导照明控制器114关闭照明源106。系统控制器108对移动指令存储器118进行检查从而确定是否需要捕捉另一个帧,如果需要,则指导移动控制器110对任何显微镜设备102和/或照相机104相应地进行重新定位。共享曝光周期206结束后,移动控制器110向这些设备102、104发出命令。在一个实施例中,作为对在时间周期208中的这些命令的响应,设备102、104被异步地进行重新定位,时间周期208是共享曝光周期的结束与周期200J的结束(在该周期中,像素行A至J的最后一行被曝光)之间的周期。在其它实施例中,作为对在共享曝光周期的结束后到下一个共享曝光周期开始前(例如,图2的时间周期204J)的命令的响应,设备102、104被异步地进行重新定位。在其它实施例中,一个或多个显微镜设备102、104可向移动控制器110发送信号,该信号指出这些设备将要移动到一个新的位置和/或这些设备已经完成了向新位置的移动。
共享曝光周期206结束后,照相机104读取行A至J的像素的各个总体照明水平,并将代表这些水平的数据传送给图像采集模块120。本领域内的技术人员应当清楚,照相机可以将像素数据作为原始字节流传送,可以是压缩的或非压缩的格式,并编译为该领域内已知的图像格式(例如,TIFF、JPEG等)。还应当清楚,图像采集模块120可将照相机传送的数据转换为其它格式。接收到数据后,图像采集模块120将该数据格式化为图像帧,如果需要,将该帧存储在图像存储器122中。
一些照相机104的实施例并不生成识别共享曝光周期的信号。这些照相机可提供上面描述的一些信号。即使当使用这些照相机时,系统控制器108会将移动控制器110、照相机104、照明源106同步化,从而使得当照相机104的传感器被曝光期间设备102、104不会被重新定位、
图3为示出了当使用提供识别共享曝光周期206的信号的照相机104时,由图像采集系统100承担的处理的流程图。参照图3,在步骤300,用户界面116获得指示需要采集的一个或多个样本的图像的用户移动命令,并将这些移动命令存储在移动指令存储器118中。在步骤302,移动控制器110通过例如向设备102提供电源、与设备102建立通信、确认设备102是可运转的等方式,对显微镜设备102进行初始化。同样,在步骤302,照相机控制器112通过例如向照相机104提供电源、与照相机104建立通信、指导照相机104对包含传感器的像素行进行重置、设置成像参数等方式,对照相机104进行初始化。通常的图像参数可包括曝光时间、合并模式(如何对传感器像素是组合来生成图像像素)、目标区域、需要采集的图像的数量、增益、同步具有不受图像采集系统100控制的硬件的触发信号等。此外,同样在步骤302,例如通过关闭提供给照明源106的电源或者向另一个与该照明源106相关联的控制器发送信号,照明控制器114关闭照明源106。
在步骤304,系统控制器108从移动指令存储器118中读取移动指令。在步骤306,移动控制器110向一个或多个显微镜设备102发送命令,从而将这些设备102移动到移动指令所指定的位置。通常,作为对这些命令的响应,显微镜设备102相对于图像采集系统100异步地移动。
在步骤308,照相机控制器112等待指示共享曝光周期206开始的信号。在步骤310,如果被照相机104支持,照相机控制器112向照相机104发送信号,从而开始吸收任何到达其中的传感器的光线。注意,由于照明源106在步骤302被关闭,所以没有任何信号会到达传感器。
在步骤312,照明控制器114打开照明源106。此后,在步骤314,照相机控制器112等待指示共享曝光周期206结束的信号。
接收到指示共享曝光周期206结束的信号后,照明控制器114关闭照明源106。在步骤318,如果被照相机104支持,相机控制器112向照相机104发送信号,从而结束对传感器上的光线的吸收。在步骤320,图像采集模块120接收来自照相机304的与共享曝光周期206期间捕捉的图像帧相关联的数据,并将这些数据存储在图像存储器122中。在一些实施例中,如果需要,图像采集模块120可向照相机104发送信号,从而启动数据的传输。在其它实施例中,作为对结束吸收信号的响应照相机104可自动开始传输数据。本领域内的技术人员应当清楚,图像采集模块120可使用不同的机制来从照相机104获得数据。
在步骤322,系统控制器108检查移动指令存储器118中是否存在另一个还没有被处理的移动命令。如果存在,则处理返回到步骤304。否则,在步骤324,用户界面116通知用户图像捕捉完成,并退出。
图4为示出了当使用不提供识别共享曝光周期206的开始和结束的信号的照相机104时,由图像采集系统100承担的处理的流程图。参照图4,在步骤400,用户界面116获得指示需要采集的一个或多个样本的图像的用户移动命令,并将这些移动命令存储在移动指令存储器118中。在步骤402,移动控制器110对显微镜设备102进行初始化,照相机控制器112对照相机104进行初始化,照明控制器114对照明源106进行初始化。如果需要,照明控制器114关闭照明源106。
在步骤404,系统控制器108从移动指令存储器118中读取移动指令。在步骤406,移动控制器110向一个或多个显微镜设备102发送命令,从而将这些设备102移动到移动指令指示的位置。在步骤408,照相机控制器112等待接收来自照相机104的指示照相机104的一行或多行传感器的曝光已经开始的信号。在步骤410,照明控制器114打开照明源106。在步骤412,照相机控制器112进行等待,直到收到指示照相机104的多行传感器的曝光已经结束的信号。在步骤414,照明控制器114关闭照明源。在步骤416,图像采集模块120接收来自照相机104的图像帧,并将该图像帧存储在图像存储器122中。
在步骤418,系统控制器108从移动指令存储器118中读取另一个移动指令(如果有的话)。在步骤420,移动控制器110按照在步骤418读取的移动指令对显微镜设备102和/或照相机104进行重新定位。此后,在步骤422,照相机控制器112等待接收到指示另一个曝光开始的信号,而在步骤424,等待接收到指示该另一个曝光结束的信号。在步骤426,图像采集模块120接收到来自照相机104的图像帧,在步骤428,将接收到的帧丢弃。在步骤424和426之间对传感器进行曝光所产生的图像被丢弃,因为在该时间周期中,显微镜设备102和/或照相机104可能作为对在步骤420启动的移动的响应而仍然正在移动。
在步骤430,系统控制器108检查是否在步骤418读取了移动命令,如果已经读取,则处理返回到步骤408。否则,用户界面116通知用户图像采集完成,并且图像采集系统100会退出。
图5为示出了可使用不同的照相机104的图像采集系统的一个示例性实施例所承担的处理的流程图。在步骤500,系统控制器108获取关于正在使用的照相机104的信息。该信息可包括照相机的制造商和/或型号。在一些实施例中,照相机控制器112可向照相机104查询该信息。在其它实施例中,用户界面116可通过操作员获得该信息。在其它实施例中,可将该信息在图像采集系统100中预先配置。
在步骤502,系统控制器108对与照相机104相关的信息进行检查从而确定该照相机104是否具有提供识别共享曝光周期的信号的能力。在一些实施例中,图像采集系统100在其存储器中存储有指示若干型号的照相机104的性能的列表。在其它实施例中,用户界面116可就该性能向用户询问。在其它实施例中,照相机控制器116可通过询问照相机104来获得该性能相关的信息。如果照相机104未提供识别共享曝光周期的信号,则处理进入到步骤504,否则处理进入到步骤506。
在步骤504,图像采集系统100承担了本文针对图3所描述的处理。在步骤506,图像采集系统100承担了本文针对图4所描述的处理。步骤504或506后,图像采集系统100退出。
参照图6A至6D,用户界面116可在与图像采集系统100相关联的显示器上提供若干对话框,从而允许操作员指定移动命令。一个对话框600允许操作员选择一个或多个复选框602,复选框602指定了显微镜设备102将要进行的移动的类型和需要采集的图像的类型。在一个实施例中,操作员可指定例如,采集的定时间隔拍摄的连续图像、所处的变化的载物台位置、照明设备106生成的光线的多个光波长的使用、所处的变化的聚焦平面(距离样本的Z距离)、图像流(即,没有时间间隔或中间没有延时的图像帧)的形成等。
另一个对话框604(图6B)包括字段606,在字段606中,操作员输入与正在采集的图像相关联的描述。在对话框604中,操作员可在字段608中输入与图像相关联的文件名的一部分。例如,如果操作员在字段608中输入了字符串“Experiment5”,则所采集的图像可被命名为“Experiment5_a,”、“Experiment5_b,”等等。对话框610(图6C)允许操作员指定以特定间隔采集图像。操作员可在字段612中指定图像集的数量。
对话框616(图6D)允许操作员指示改变照明,其可包括移动照明源或移动滤波器或其它光学元件。例如,操作员可使用弹出式菜单618来指定预先配置的照明利用区域620中提供的对话元素设置进一步的选项。例如,操作员可选择复选框624来指定聚焦平面应当在各图像之间是变化的。
参照图6E,用户界面116显示例如包括区域628的对话框626。区域628包括用户可修改的复选框、弹出式菜单、和字段,从而指定与来自照相机104的流图像相关联的参数。
参照图6F,人机界面116显示例如对话框632,从而向操作员报告将要采集的图像顺序。
上面描述的图像采集系统100允许对来自自动化显微镜的照相机的图像进行快速采集和串联。实现这种采集和串联的同时,将由于显微镜设备的移动而在该图像中引入伪影的可能性最小化。本文描述的系统的一些应用包括对样本3D图像的快速采集、随着时间的推移对多个荧光团标记的样本的快速采集、随着时间的推移对3D和多个荧光团标记的样本的采集。其它的应用对于本领域内的技术人员将会是显而易见的。
应当明白并意识到,可通过位于一个或多个电子或数字控制设备上的硬件、软件、或硬件与软件的组合执行结合图1-6所描述的一个或多个进程、子进程、处理步骤。例如软件可驻存在适当的电子处理组件或系统中的软件存储器(未示出)中,例如图1-6中示意性地描绘的一个或多个功能系统、控制器、设备、组件、模块、或子模块。软件存储器可包括有顺序的用于实施逻辑功能的可执行指令的列表(即,可以以数字形式(如数字电路或源代码)实施的、或者以如模拟源的模拟形式(如模拟电、声音或视频信号)实施的“逻辑”)。指令可在处理模块或控制器(例如,图1的系统控制器108、移动控制器110、照相机控制器112、照明控制器114、用户界面116、图像采集模块120)中执行,其包括例如,一个或多个微处理器、通用处理器、多个处理器的组合、数字信号处理器(DSPs)、现场可编程门阵列(FPGAs)、或专用集成电路(ASICs)。此外,示意图描述了具有不受功能的体系结构或物理布局限制的物理(硬件和/或软件)实施的功能的逻辑分类。在该应用中描述的实例系统可以以多种配置实施并作为硬件/软件组件在单独的硬件/软件单元中或在多个分离的硬件/软件单元中运行。
当通过电子系统(例如图2中的基线确定系统)的处理模块执行可执行指令时,可执行指令可被实施为存储有指令的计算机程序产品,引导电子系统执行指令。计算机程序产品可选择性地置入在任何非暂时性计算机可读存储媒介中,从而与指令执行系统、装置、或设备结合使用,或被指令执行系统、装置、或设备使用,指令执行系统、装置、或设备可以是例如基于计算机的电子系统、包含处理器的系统、或可选择性地从指令执行系统、装置、或设备获取指令并执行指令的其它系统。在本文档的上下文中,计算机可读存储媒介是可对与指令执行系统、装置或设备结合使用或者被指令执行系统、装置或设备使用的程序进行存储的任何非暂时性存储工具。非暂时性计算机可读存储媒介可选择性地是例如电子、磁、光、电磁、红外线、或半导体系统、装置、或设备。下面是非暂时的计算机可读存储媒介的更多具体实例的不完全清单:具有一个或多个导线的电连接(电子);便携式计算机磁盘(磁);随机存取(即易失性)存储器(电子);只读存储器(电子);可擦除可编程只读存储器,如闪存(电子);光盘存储器,如CD-ROM、CD-R、CD-RW(光学);以及数码影音光盘存储器,即DVD(光学)。应当注意的是,因为可通过例如对纸张或其它媒介进行光学扫描并随后进行编译、解释,或者根据需要以适合的方式进行其它处理,来电子地获取程序,并随后将其存储在计算机存储器或机器存储器中,因此,非暂时的计算机可读存储媒介甚至可以是纸张或适合将程序印刷在其上的其它媒介。
应当明白,在本文中使用的术语“接收和传输信号”指的是两个或更多个系统、设备、组件、模块、或子模块能够通过在某种类型的信号路径上的信号来彼此通信。信号可以是通信、功率、数据、或能量信号,它们可以沿着第一和第二系统、设备、组件、模块、或子模块之间的信号路径从第一系统、设备、组件、模块、或子模块向第二系统、设备、组件、模块、或子模块传送信息、功率、或能量。信号路径可包括物理、电、磁、电磁、电气化学、光学、有线、或无线连接。信号路径还可包括位于第一和第二系统、设备、组件、模块、或子模块之间的额外的系统、设备、组件、模块、或子模块。
工业实用性
基于上面的描述,很多对于本发明的修改对于本领域内的技术人员是显而易见的。相应地,该描述应当被解释为仅作为说明性的,呈现该该描述的目的是使得本领域内的技术人员能够制造和使用本发明,并传授执行本发明的最佳模式。保留在所附权利要求的范围内所作出的所有变化的专有权。

Claims (20)

1.一种计算机实施的方法,其用于将与显微镜相关联的设备的移动跟与显微镜相关联的照相机的图像采集同步化,包括:
接收来自与显微镜相关联的照相机的曝光信号;
对曝光信号进行分析从而识别与显微镜相关联的设备可能被移动的时间周期;
接收与曝光信号相关联的图像数据;以及
在识别的时间周期中,向与显微镜相关联的设备发出命令从而将与显微镜相关联的设备移动到新的位置。
2.如权利要求1所述的计算机实施的方法,其中与显微镜相关联的照相机使用卷帘式快门。
3.如权利要求1所述的计算机实施的方法,其中发出命令还包括发出命令从而将下面的装置中的至少一个移动到新的位置:该显微镜的X-Y载物台、照相机支架、照相机、闪光灯装置、聚焦设备、滤波器、相环、和分光镜。
4.如权利要求1所述的计算机实施的方法,还包括:
对曝光信号进行分析,从而确定接收到的数据应当被存储;以及
根据该确定,按照接收到的数据存储图像帧。
5.如权利要求1所述的计算机实施的方法,其中接收曝光信号还包括接收指示共享曝光周期结束的曝光信号,并且发出命令是作为对该信号的响应而进行的。
6.如权利要求5所述的计算机实施的方法,其中接收到的数据与在共享曝光周期中通过与显微镜相关联的照相机的传感器吸收的光线相关联。
7.如权利要求5所述的计算机实施的方法,还包括:
接收指示另一个共享曝光周期开始的另一个曝光信号;以及
作为对该信号的响应,发出信号从而打开照明源。
8.如权利要求7所述的计算机实施的方法,还包括:
接收指示该另一个共享曝光周期结束的再一个曝光信号;
作为对该再一个曝光信号的响应,发出信号从而关闭照明源;
接收与在该另一个共享曝光周期中通过与显微镜相关联的照相机的传感器吸收的光线相关联的另一个图像数据;以及
对该另一个数据进行存储。
9.如权利要求1所述的计算机实施的方法,其中接收曝光信号包括接收指示曝光周期已经结束的信号,并且接收图像数据包括接收与在曝光周期中通过与显微镜相关联的照相机的传感器吸收的光线相关联的图像数据。
10.如权利要求1所述的计算机实施的方法,还包括:
从照相机接收另一个曝光周期已经结束的另一个曝光信号;
接收与在另一个曝光周期中通过与显微镜相关联的照相机的传感器吸收的光线相关联的另一个图像数据;
根据与该曝光周期中吸收的光线相关联的图像数据存储图像帧;以及
将与在该另一个共享曝光周期中吸收的光线相关联的另一个图像数据丢弃。
11.如权利要求1所述的计算机实施的方法,还包括根据发出的命令异步地移动显微镜设备,其中接收图像数据和异步地移动显微镜设备是同时进行的。
12.如权利要求1所述的计算机实施的方法,其中发出的命令依据的是从向用户界面提供的多个移动指令中选择的一个移动指令。
13.一种图像采集系统,其用于将与显微镜相关联的设备的移动跟与显微镜相关联的照相机的图像采集同步化,该系统包括:
照相机控制器,其接收来自与显微镜相关联的照相机的曝光信号;
系统控制器,其对曝光信号进行分析从而识别与显微镜相关联的设备可能被移动的时间周期;
图像采集模块,其接收与曝光信号相关联的图像数据;以及
移动控制器,其在识别的时间周期中向与显微镜相关联的设备发出命令从而将与显微镜相关联的设备移动到新的位置。
14.如权利要求13所述的图像采集系统,其中与显微镜相关联的照相机使用卷帘式快门。
15.如权利要求14所述的图像采集系统,其中移动控制器发出的命令指导下面的装置中的至少一个移动到新的位置:该显微镜的X-Y载物台、照相机支架、照相机、闪光灯装置、聚焦设备、滤波器、相环、和分光镜。
16.如权利要求13所述的图像采集系统,其中系统控制器对曝光信号进行分析,从而确定接收到的数据应当被存储,图像采集模块根据该确定按照接收到的数据存储图像帧。
17.如权利要求13所述的图像采集系统,其中:
照相机控制器接收到的曝光信号包括指示共享曝光周期结束的曝光信号,并且作为对该信号的响应,移动控制器发出命令;
图像采集模块接收到的图像数据与在共享曝光周期中通过与显微镜相关联的照相机的传感器吸收的光线相关联;并且
还包括照明控制器,其中照相机控制器接收指示另一个共享曝光周期开始的另一个曝光信号,并且作为对该信号的响应,照明控制器发出信号从而打开照明源。
18.如权利要求17所述的图像采集系统,其中:
照相机控制器接收指示该另一个共享曝光周期结束的再一个曝光信号;
作为对该再一个曝光信号的响应,照明控制器发出信号从而关闭照明源;
图像采集模块接收与在该另一个共享曝光周期中通过与显微镜相关联的照相机的传感器吸收的光线相关联的另一个图像数据,并对其进行存储。
19.如权利要求13所述的图像采集系统,其中显微镜设备根据发出的命令异步地移动,并且其中图像捕捉设备在显微镜设备异步地移动的同时接收图像数据。
20.如权利要求13所述的图像采集系统,还包括用户界面,其用于接收多个移动指令,并且其中发出的命令依据的是从该多个移动指令中选择的一个移动指令。
CN201380059462.4A 2012-11-16 2013-11-15 对显微镜设备异步排序的同时利用卷帘式快门照相机采集图像的系统和方法 Pending CN104781717A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261727374P 2012-11-16 2012-11-16
US61/727,374 2012-11-16
PCT/US2013/070425 WO2014078735A1 (en) 2012-11-16 2013-11-15 System and method of acquiring images with a rolling shutter camera while asynchronously sequencing microscope devices

Publications (1)

Publication Number Publication Date
CN104781717A true CN104781717A (zh) 2015-07-15

Family

ID=50731736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380059462.4A Pending CN104781717A (zh) 2012-11-16 2013-11-15 对显微镜设备异步排序的同时利用卷帘式快门照相机采集图像的系统和方法

Country Status (5)

Country Link
US (1) US20150301328A1 (zh)
EP (1) EP2920634A4 (zh)
JP (1) JP2015536482A (zh)
CN (1) CN104781717A (zh)
WO (1) WO2014078735A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110121021A (zh) * 2019-06-28 2019-08-13 四川极智朗润科技有限公司 一种适用于卷帘快门相机的光学快门系统及其成像方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3047641A4 (en) * 2013-09-16 2017-03-08 Intel Corporation Camera and light source synchronization for object tracking
JP6134249B2 (ja) * 2013-11-01 2017-05-24 浜松ホトニクス株式会社 画像取得装置及び画像取得装置の画像取得方法
US10523880B2 (en) 2017-09-28 2019-12-31 Waymo Llc Synchronized spinning LIDAR and rolling shutter camera system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01169305A (ja) * 1987-12-25 1989-07-04 Hitachi Ltd 顕微鏡装置のパターン検出方法
CN101326814A (zh) * 2005-11-15 2008-12-17 诺基亚公司 具有可调节光学器件的成像系统
JP2009124260A (ja) * 2007-11-12 2009-06-04 Ricoh Co Ltd 撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63191063A (ja) * 1987-02-03 1988-08-08 Sumitomo Electric Ind Ltd 顕微鏡画像の処理方式
US5157484A (en) * 1989-10-23 1992-10-20 Vision Iii Imaging, Inc. Single camera autosteroscopic imaging system
DE10251345B4 (de) * 2002-11-05 2006-08-17 Leica Microsystems Cms Gmbh Verfahren und Vorrichtung zur Untersuchung von Schichten von Geweben in lebenden Tieren mit einem Mikroskop
CN101031837B (zh) * 2004-07-23 2011-06-15 通用电气医疗集团尼亚加拉有限公司 用于荧光共焦显微镜检查的方法和设备
JP2010169968A (ja) * 2009-01-23 2010-08-05 Olympus Corp 顕微鏡システム及び該制御方法
WO2012002893A1 (en) * 2010-06-30 2012-01-05 Ge Healthcare Bio-Sciences Corp A system for synchronization in a line scanning imaging microscope
JP5751986B2 (ja) * 2010-12-08 2015-07-22 キヤノン株式会社 画像生成装置
JP6136085B2 (ja) * 2011-10-05 2017-05-31 ソニー株式会社 画像取得装置、画像取得方法、およびコンピュータプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01169305A (ja) * 1987-12-25 1989-07-04 Hitachi Ltd 顕微鏡装置のパターン検出方法
CN101326814A (zh) * 2005-11-15 2008-12-17 诺基亚公司 具有可调节光学器件的成像系统
JP2009124260A (ja) * 2007-11-12 2009-06-04 Ricoh Co Ltd 撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110121021A (zh) * 2019-06-28 2019-08-13 四川极智朗润科技有限公司 一种适用于卷帘快门相机的光学快门系统及其成像方法

Also Published As

Publication number Publication date
JP2015536482A (ja) 2015-12-21
EP2920634A4 (en) 2016-06-22
EP2920634A1 (en) 2015-09-23
WO2014078735A1 (en) 2014-05-22
US20150301328A1 (en) 2015-10-22

Similar Documents

Publication Publication Date Title
CN104253947B (zh) 智能相机闪光灯
US7551272B2 (en) Method and an apparatus for simultaneous 2D and 3D optical inspection and acquisition of optical inspection data of an object
US8902307B2 (en) Machine vision system editing environment for a part program in which a continuous stream of image acquisition operations are performed during a run mode
JP6904263B2 (ja) 画像処理システム
CN104781717A (zh) 对显微镜设备异步排序的同时利用卷帘式快门照相机采集图像的系统和方法
JP6657242B2 (ja) 顕微鏡システムにおいて並行撮像を用いることにより合焦画像を生成するための装置および方法
CN104660898A (zh) 全局快门处理方法及装置
CN105981362A (zh) 用于获得图片的方法和多相机系统
JP2023510800A (ja) カメラ用マルチラインタイムシェアリング露光処理方法及びシステム
CN102361495B (zh) 投影控制方法及投影设备
WO2022232028A2 (en) Systems and methods to optimize imaging settings and image capture for a machine vision job
JP6509818B2 (ja) 顕微鏡システムにおいて平行撮像を用いて焦点の合った画像を生成するための装置および方法
CN1828631B (zh) 用于获取内部结构图像的方法和装置
US20130082107A1 (en) Illumination Setting Support Apparatus Of Optical Information Reading Apparatus
CN105357434A (zh) 一种信息处理方法及电子设备
CN110191261B (zh) 图像传感器以及图像传感器的模块结构通知方法
US9167215B2 (en) Machine vision system editing environment for a part program in which a continuous stream of image acquisition operations are performed during a run mode
CN109600531B (zh) 双目视觉扫描系统及扫描方法
JP2017169480A (ja) 観察装置、測定システム及び観察方法
JP7103746B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP7416231B2 (ja) 設置支援装置、設置支援方法、およびプログラム
JP6640610B2 (ja) 観察装置、測定システム及び観察方法
CN105308492A (zh) 光观察装置、用于其的摄像装置以及光观察方法
CN103175780A (zh) 大尺度生物组织连续切片的自动化成像系统
JP6939501B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150715

WD01 Invention patent application deemed withdrawn after publication