CN108628267B - 一种物方扫描成像系统的分离式、分布式操控方法 - Google Patents

一种物方扫描成像系统的分离式、分布式操控方法 Download PDF

Info

Publication number
CN108628267B
CN108628267B CN201810383832.4A CN201810383832A CN108628267B CN 108628267 B CN108628267 B CN 108628267B CN 201810383832 A CN201810383832 A CN 201810383832A CN 108628267 B CN108628267 B CN 108628267B
Authority
CN
China
Prior art keywords
image
scanning
software
task
scanning imagery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810383832.4A
Other languages
English (en)
Other versions
CN108628267A (zh
Inventor
毛珩
陶乐天
张家治
翟慕岳
单俍
李海文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201810383832.4A priority Critical patent/CN108628267B/zh
Publication of CN108628267A publication Critical patent/CN108628267A/zh
Application granted granted Critical
Publication of CN108628267B publication Critical patent/CN108628267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41835—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by programme execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本发明公开了一种物方扫描成像系统的分离式、分布式操控方法，该方法包括：步骤1，设置管理层、监控层、控制层和现场层；步骤2，通过管理层，用户发布扫描成像任务，并将扫描成像任务输送给监控层；步骤3，通过监控层处理和转发扫描成像任务以及分析扫描成像任务，生成扫描成像指令，并将扫描成像指令输送给控制层；步骤4，通过控制层接收扫描成像指令，运动控制软件和图像采集软件依据输入的扫描成像指令以并行的方式分别独立控制现场层设备完成扫描工作；步骤5，通过控制层将配准和拼接结果传回到监控层的数据库进行存储。本发明采用单主机、多从机的结构体系，构建针对多个独立物方扫描成像系统的集成控制系统，实现对大规模物方扫描集群的系统级操控。

Description

一种物方扫描成像系统的分离式、分布式操控方法
技术领域
本发明涉及成像控制方法，特别是涉及一种物方扫描成像系统的分离式、分布式操控方法。
背景技术
物方扫描成像系统是一类针对微观或介观尺度样本设计的高分辨率/大视场扫描成像系统。如图1所示，在这类扫描成像系统中，样本被固定在具有电动平移功能的载物台(以下简称平移台)上，固定的图像采集设备(以下简称相机)以垂直于载物台某一运动平面或斜视某一运动平面的方式固定安装，通过平移台的精准运动实现扫描。为了获得完整的大视场图像，需要对相机采集到的图像进行配准和拼接操作，其中，“配准”是指将图像进行平移、旋转和缩放等几何变换，以恢复逻辑上坐标分离的图像的相对位置关系。“拼接”是指将上述对准好的图像合并成一张图像，并消除图像边界的不一致性。
现有的物方扫描方案大致可以分为两类：标准扫描和快速扫描。其中，“标准扫描”的物方扫描方案具体是：平移台每移动到一个拍摄位置时停下，相机拍摄一帧图像，然后平移台启动，移动到下一个拍摄位置时停下，相机拍摄下一帧图像，以此类推。“快速扫描”的物方扫描方案具体是：平移台每次移动一个较长的行程(如移动一整行)，在运动过程中，相机会在平移台移动到特定位置时拍摄一张图像，整个行程中相机会拍摄多张图像。“标准扫描”不存在运动模糊，但由于平移台频繁启动和制动，扫描速度比较慢，相反，“快速扫描”的速度虽然快，但存在一定的运动模糊。
此外，如图2所示，现有的物方扫描成像系统的扫描轨迹也可分为两种：S形轨迹和Z形轨迹。图2中示出的A表示标准扫描的Z形扫描轨迹，B表示标准扫描的S形扫描轨迹，C表示快速扫描的Z形扫描轨迹，D表示快速扫描的S形扫描轨迹。在S形轨迹中，平移台每移动到一行/列的末尾，直接移动到下一行/列的末尾，然后从该列/行末尾移动到开头，紧接着移动到下一行/列的开头，然后从该行开头移动到末尾，以此类推，即“开头至末尾”、“末尾至开头”交替进行。在Z形轨迹中，平移台每移动到一行/列的末尾，就要移动到下一行/列的开头，即每一行/列都是“开头至末尾”。Z形轨迹每行/列都以同样的轨迹运行，因此有助于消除机械上的往返误差，但由于每两行/列之间必须要空移一行/列，因此浪费了时间，扫描速度较慢；相反，S形轨迹扫描速度较快，但奇数行/列与偶数行/列之间存在空回误差。
现有的物方扫描系统往往是由上位机、平移台、相机和时序控制模块组合而成的集成系统，每套系统同时只能进行一个操作任务。在现有应用条件下，如果要进行大量扫描工作，有两种方案可以选择：1)串行工作，即扫描工作一个接一个的进行，这样浪费了大量时间；2)并行工作，即采购多套同样的扫描系统，分别设定不同扫描任务，各系统同时工作，由于每套扫描系统的成本都较高，因此大量采购意味着不可接受的成本，而每套扫描系统中的上位机一般采用高性能工作站开发、时序控制模块一般采用高性能FPGA开发，其中存在大量的计算资源浪费，因此并行工作模式会浪费大量的计算资源。此外，每套扫描系统都具备各自独立的操控界面，在实际使用中，需要进行大量重复的操控工作，对于人力资源也是一种巨大的浪费。
在实际系统设计上，往往有多种不同的平移台可供选择，包括基于压电电机的、基于步进电机的和基于直线电机的等。控制方式上可分为开环控制、闭环控制、宏微结合等。有多种不同的相机可以选择，包括面阵相机、线阵相机等。采集方式上可以分为直接积分、时间延迟积分(TDI)等。读出方式有逐位读出、逐行读出等。针对不同的图像特点，还需要采用不同的算法对图像进行对准和拼接操作。这意味着，可以采用的系统设计方案变化繁多，在实际使用中，往往是针对特定的应用场景，选择特定型号的平移台和相机，使用特定的控制方案、采集方式和算法，从而优化系统性能，这样的系统往往具有高集成度、高耦合性、独立性的特点，这意味着系统硬件部件和程序组件更换难度大，不能适应多变的应用需求。
图3在现有技术的并行扫描工作模式的物方扫描系统，注意到并行的各扫描系统之间相互独立，具有各自的上位机系统和时序同步电路，在部署扫描任务时需要对各系统分别操作。
图4在图3中的单个扫描工作模式的物方扫描系统，各组件工作的时序片段，可见，在平移台和相机的工作过程中，上位机和时序同步电路处于资源闲置状态，此外，上位机和时序同步电路都具有一定的并行计算资源，可以进行多线程工作，单一系统的这种串行工作模式只使用了并行资源中的一个线程，浪费了大量线程资源。
目前，国内外尚没有一种能够对系统组分进行解耦、降低系统集成度、同时能够对系统进行大规模复制和集群控制的解决方案。
发明内容
本发明的目的在于提供一种操控一般性物方扫描成像系统的物方扫描成像系统的分离式、分布式操控方法，该方法能够用于同时控制大量不同的物方扫描成像模块，并同时满足各系统中不同成像需求。
为实现上述目的，本发明提供一种物方扫描成像系统的分离式、分布式操控方法，所述物方扫描成像系统的分离式、分布式操控方法包括：
步骤1，设置管理层、监控层、控制层和现场层，其中，所述控制层包括运动控制软件、图像采集软件和图像综合软件，所述现场层包括至少两个扫描成像模块，每一个所述扫描成像模块包括一台平移台和一台相机；
步骤2，通过所述管理层，用户发布扫描成像任务，并将所述扫描成像任务输送给所述监控层；
步骤3，通过所述监控层处理和转发扫描成像任务以及分析扫描成像任务，生成扫描成像指令，并将所述扫描成像指令输送给所述控制层；
步骤4，通过所述控制层接收所述扫描成像指令，所述运动控制软件和图像采集软件依据输入的扫描成像指令以并行的方式分别独立控制所述现场层设备完成扫描工作，所述步骤4具体包括：
步骤41，所述运动控制软件和图像采集软件并行协同工作，共同完成扫描工作，在协同工作过程中，通过程序同步交换必要的信号；
步骤42，所述图像综合软件对图像进行配准和拼接；
步骤5，通过所述控制层将配准和拼接结果传回到所述监控层的数据库进行存储；
步骤6，存储完成后，用户可随时在管理层从所述监控层的数据库中查看或下载存储的图像数据。
进一步地，步骤41中的“运动控制软件和图像采集软件之间的同步和交换信息”具体包括如下步骤：
步骤411，在扫描开始时，根据扫描成像指令中的扫描模式决定扫描方案，即平移台的运动轨迹及相邻路径点之间需要采集的图像数目；
步骤412，运动控制软件控制平移台移动到第一个路径点，同时图像采集软件为相机设置采集参数，并清空相机采集卡缓冲区；
步骤413，平移台每到达一个路径点，停下等待进一步指令，运动控制软件就向图像采集软件发送“就绪”信号；
步骤414，图像采集软件每收到“就绪”信号，就检查上一个路径点到当前路径点之间的图像是否采集完成，如果采集完成，则立即向运动控制软件发送“下一步”信号，否则将等到采集完成后向运动控制软件发送“下一步”信号；
步骤415，运动控制软件每收到“下一步”信号，再控制平移台移动到下一个路径点；
步骤416，重复步骤413至步骤416，直到采集完成。
进一步地，步骤42中，所述图像综合软件的工作流程具体包括：
步骤421，初始时，图像综合软件维护一张空图像I0；
步骤422，图像采集软件每采集一帧图像，立即存储这一帧图像，并向图像综合软件发送“新帧”信号；
步骤423，图像综合软件收到“新帧”信号后，检查新到来的帧It，结合该帧的行列号，判断其与已有图像I0的交叠区域；
在逐行扫描的情形下的行列号的计算方式如下：
c＝i-r·nc
在逐列扫描的情形下的行列号的计算方式如下：
r＝i-c·nr
其中，r为行号，c为列号，i为图像序号，nr为总行数，nc为总列数；
步骤424，对交叠区域进行配准；
步骤425，将配准后的It拼接到已有图像I0中，得到新的I0；
步骤426，重复步骤422至步骤425，直到采集完成。
进一步地，如果配置定义了图像后处理过程，则在所述步骤5之前还包括：步骤43，所述图像综合软件将步骤42配准和拼接好的图像输送给图像处理和分析软件进行后处理；所述图像处理和分析软件包括图像去渐晕程序、运动模糊复原程序、图像分割程序和图像实体识别程序，其中：所述图像去渐晕程序的工作具体包括：首先，由用户预先标定渐晕参数，在标定参数时，用户使用目标相机采集大量白色背景的图像，并作平均，得到一副平均背景图像，作为渐晕模板；然后，将待去渐晕图像除以背景图像，并乘以平均亮度系数，即得到去除渐晕的图像；所述运动模糊复原程序用于将由于直线运动速度过快产生单帧曝光时间内存在像素级以上模糊的退化图像复原为清晰图像，并采用运动图像复原盲反卷积方法估计出原始图像；所述图像分割程序由用户预先标定背景亮度，首先根据背景亮度求得背景连通域，然后在图像中扣除背景连通域并去除噪点后，剩余的连通域即为分割所得区域；所述图像实体识别程序用于从大幅图像中识别出常见样本的实体，并使用机器学习算法从实体的图像中提取实体的形态信息和运动信息。
进一步地，“采用运动图像复原盲反卷积方法估计出原始图像”的具体工作过程为：
首先，通过图像模糊正问题模型建立基于原始图像f(x，y)、模糊图像g(x，y)和模糊卷积核h(x，y)的最大后验估计目标函数
其中为第i阶偏导；
然后，结合原始图像和模糊图像在平滑区域的边缘轮廓约束项以及模糊卷积核估计和已知模糊卷积核的边缘轮廓约束项继而通过基于梯度的优化算法迭代求解如下全目标函数E(f，h)：
估计出最优的原始图像f*(x，y)、模糊卷积核h*(x，y)。
进一步地，所述控制层的运动控制软件、图像采集软件和图像综合软件均设置在一组计算机集群中，所述计算机集群的每个线程用于够运行所述运动控制软件、图像采集软件和图像综合软件其中之一，各所述线程并行执行或串行执行。
进一步地，所述运动控制软件通过平移台总线控制对应的所述扫描成像模块中的平移台的运动，所述图像采集软件通过相机总线控制对应的所述扫描成像模块中的相机的图像采集。
进一步地，步骤3中的“处理”是由所述监控层的调度模块将用户的扫描成像任务处理为系统能够处理的标准任务，一个标准任务能够描述使用设定的扫描成像模块进行扫描及各扫描参数，扫描参数对于不同的扫描模式和相机配置有不同的选项；步骤3中的“转发”指的是由所述调度模块将处理好的扫描成像任务同时转发任务分发程序和日志程序；步骤3中的“任务分发程序分析输入的扫描成像任务”具体为：任务分发程序确定扫描成像模块、样本的扫描区域和扫描参数，其中的“扫描参数”包括扫描的行数、列数、扫描速度、曝光时间、图像大小和扫描步长。
进一步地，“扫描参数”还包括TDI积分的相机的TDI积分的方向、内触发曝光的相机的帧频和/或外触发曝光的相机的触发源的类型。
本发明采用单主机、多从机的结构体系，构建针对多个独立物方扫描成像系统的集成控制系统，实现对大规模物方扫描集群的系统级操控。系统由管理层、监控层、控制层和现场层四个层级组成，各层具有不同级别的控制、管理功能和权限定义，并遵循统一的通信规范，以此实现大规模并行的物方扫描操控。本发明采用分离式设计原则，将物方扫描成像系统中的平移台、图像采集设备及其它程序功能实现进行逻辑解耦，在层级之内进一步对各不同功能进行水平分割，以实现对由多个不同类型的物方扫描成像模块组成的扫描成像系统的统一控制，同时降低更换系统内组件的成本。
附图说明
图1是现有的物方扫描成像系统的结构示意图；
图2是现有的物方扫描成像系统的扫描轨迹示意图；
图3是现有技术的并行扫描工作模式的物方扫描系统；
图4是图3所示的单个物方扫描系统；
图5是本发明所提供的物方扫描成像系统的分离式、分布式操控方法构件的操控系统一实施例的体系结构示意图；
图6是图5所示的操控系统的模块连接示意图；
图7是图5所示的操控方法中上位机对硬件设备的并行控制示意图；
图8是图5所示的操控方法的用户工作流程图。
图9是图5所示的操控方法在不同的扫描模式下的路径点及对应的图像数量。
图10是图5所示的操控方法的运动控制、图像采集和图像综合的协同工作时序示意图；
图11是图5所示的操控系统的输入/输出数据包示意图。
具体实施方式
在附图中，使用相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面结合附图对本发明的实施例进行详细说明。
在本发明的描述中，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。
如图5至图8所示，本实施例所提供的物方扫描成像系统的分离式、分布式操控方法包括如下步骤：
步骤1，构建操控系统，操控系统可以分为四个层级，分别为管理层、监控层、控制层和现场层。管理层、监控层、控制层和现场层之间是依次由上至下的控制关系，也就是说，管理层控制监控层，监控层控制控制层，控制层控制现场层。管理层、监控层与控制层之间及层内的各节点之间通过局域网通信，而控制层与现场层之间通过设备专用线缆、依照设备专用协议通信。
下面分别对管理层、监控层、控制层和现场层进行详细说明。
管理层中设置设管理工作站，用户直接通过管理工作站上的可视化操控程序下达扫描成像任务。比如：管理层提供用户可以直接操作的图形化界面，用户可以通过图形化界面下达并行的扫描任务。管理层包括用户终端。
监控层是物方扫描成像系统中的核心层，负责扫描成像系统的逻辑调度。也就是说，监控层相当于服务器集群。监控层具体包括调度模块、任务分发程序、同步程序、日志程序和数据库。其中，调度模块负责所有指令的转发，相当于主路由。任务分发程序将用户的任务指令转换为具体到扫描成像模块的扫描任务。同步程序负责为控制层和现场层的硬件设备同步系统时间。日志程序负责记录系统工作中产生的数据和日志。数据库用于保存管理层配置的参数、用户发布的任务、分发到各扫描成像模块的任务、扫描输出数据以及日志。
控制层接受监控层的调度，通过运动控制软件和图像采集软件直接控制现场层的硬件设备动作。也就是说，控制层相当于计算机集群。
控制层可以理解为对现场层的硬件设备进行控制的上位机及预置在上位机中的运动控制软件、图像采集软件、图像综合软件和图像处理和分析软件。控制层采用一组计算机集群代替传统扫描成像系统中的单台计算机，作为上位机。计算机集群中的各台计算机按照网格计算协议组网形成，具有大量可用计算资源，具体体现在：1)具有大量计算线程；2)每个线程能够进行高负荷运算。计算机集群的每个线程能够运行运动控制软件、图像采集软件、图像综合软件和图像处理和分析软件中的任何一个，比如图6中示出地，运动控制软件通过平移台总线控制对应的扫描成像模块中的平移台的运动，图像采集软件通过相机总线控制对应的扫描成像模块中的相机的图像采集。
上位机中的多个线程可以并行执行，也可以以交替方式串行执行。对于上位机中预置的各程序来说，程序执行的大部分时间用于等待现场层的硬件设备动作(平移台移动、相机曝光)，因此在某个扫描成像模块动作期间，上位机中的各程序还可以控制另一个扫描成像模块，这样就能够更加有效地利用计算机集群的计算资源，如图7所示。
现场层可以理解为一切扫描成像所用的硬件设备。综合考察目前常见的物方扫描成像系统，可以总结出，扫描成像系统一般由平移台和相机两个主要设备组成。基于此考虑，在本实施例所提供的操控方法中，现场层的顶层组成单元为扫描成像模块，每个扫描成像模块仅包含一台平移台和一台相机。
如图8所示，从“用户发布扫描成像任务”到“最终查看扫描成像结果”的基本工作流程具体如下：
步骤2，通过管理层，用户发布扫描成像任务，并将所述扫描成像任务输送给所述监控层。具体为：由用户将扫描成像任务发布到过管理层的管理工作站。
步骤3，通过所述监控层处理和转发扫描成像任务以及分析扫描成像任务，生成扫描成像指令，并将所述扫描成像指令输送给所述控制层。同时，日志程序将输入的扫描成像任务记录成日志。
“处理”指的是由监控层的调度模块将用户的扫描成像任务处理为系统能够处理的标准任务。一个标准任务能够描述使用设定的扫描成像模块进行扫描及各扫描参数，扫描参数对于不同的扫描模式和相机配置有不同的选项。
“转发”指的是由调度模块将处理好的扫描成像任务同时转发任务分发程序和日志程序。
“任务分发程序分析输入的扫描成像任务”具体为：任务分发程序确定扫描成像模块、样本的扫描区域和扫描参数，其中的“扫描参数”包括扫描的行数、列数(对于三维扫描还需要指定扫描的层数)、扫描速度、曝光时间、图像大小和扫描步长。“扫描参数”还会根据现场层中硬件设备所使用的具体情形，还会有所调整，比如：对于TDI积分的相机，需要设置TDI积分的方向。对于内触发曝光的相机，需要设置帧频。对于外触发曝光的相机，需要设置触发源的类型。也就是说，“扫描成像指令”包括扫描成像模块、扫描区域和扫描参数。
步骤4，通过所述控制层接收所述扫描成像指令，所述运动控制软件和图像采集软件依据输入的扫描成像指令以并行的方式分别独立控制所述现场层设备完成扫描工作。步骤4具体包括：
步骤41，所述运动控制软件和图像采集软件并行协同工作，共同完成扫描工作，在协同工作过程中，通过程序同步(图8中的软同步)交换必要的信号。和
步骤42，所述图像综合软件对图像进行配准和拼接。
步骤5，通过所述控制层将配准和拼接结果传回到所述监控层的数据库进行存储；
步骤6，存储完成后，用户可随时在管理层从所述监控层的数据库中查看或下载存储的图像数据。
如果配置定义了图像后处理过程，则在步骤5之前还包括：
步骤43，所述图像综合软件将步骤42配准和拼接好的图像输送给图像处理和分析软件进行后处理。图像处理和分析软件的功能具体描述如下：
大规模扫描系统的输出图像往往具有大视场、高分辨率的特征，因此输出数据量大，往往在数十亿甚至数百亿字节量级，用户难以也无需直接查看输出图像数据，而是需要查看通过数据分析程序对图像进行处理和分析之后得出的分析结果，分布式系统需要自动完成用户对于图像处理和分析的需求，这部分需求由控制层的图像处理和分析软件完成。
图像处理和分析软件包括图像去渐晕程序、运动模糊复原程序、图像分割程序和图像实体识别程序等，供用户选择使用。
所述图像去渐晕程序的工作首先由用户预先标定渐晕参数，在标定参数时，用户使用目标相机采集大量白色背景的图像，并作平均，得到一副平均背景图像，作为渐晕模板。实际工作时，将待去渐晕图像除以背景图像，并乘以平均亮度系数，即得到去除渐晕的图像。
所述运动模糊复原程序用于将由于直线运动速度过快产生单帧曝光时间内存在像素级以上模糊的退化图像复原为清晰图像，一般对模糊图像进行复原可采用两种方法：
一种方法是根据已知的运动模式，构造趋真的模糊卷积核，然后计算后者的反卷积核，由此对模糊图像进行卷积操作，即可得到清晰度逼近原始图像的复原图像。
另一种方法是当无法获知模糊卷积核时，采用盲反卷积方法，具体是使用最优化方法建立关于复原图像和模糊图像的目标函数，包含图像分布特征以及模糊卷积核分布特征的约束项，运用迭代算法估计最佳的模糊卷积核和原始图像。
在本发明中，由于扫描运动的参数精确已知，因此可预知较为准确的模糊卷积核分布，但考虑到本例中图像复原需要适用于各种复杂的图像边界情形，本发明提出一套改进的运动图像复原盲反卷积方法估计原始图像。“采用运动图像复原盲反卷积方法估计出原始图像”的具体工作过程为：
首先，通过图像模糊正问题模型建立基于原始图像f(x，y)、模糊图像g(x，y)和模糊卷积核h(x，y)的最大后验估计目标函数
其中为第i阶偏导；
然后，结合连同原始图像和模糊图像在平滑区域的边缘轮廓约束项以及模糊卷积核估计和已知模糊卷积核的边缘轮廓约束项继而通过基于梯度的优化算法迭代求解如下全目标函数E(f，h)：
从而估计出最优的原始图像f*(x，y)、模糊卷积核h*(x，y)。
图像分割程序需要用户预先标定背景亮度，在实际工作时，首先根据背景亮度求得背景连通域，然后在图像中扣除背景连通域并去除噪点后，剩余的连通域即为分割所得区域。如果需求更加复杂，可以选择采用其它算法进行分割，可选用的算法包括区域生长算法、区域分裂合并算法、主动轮廓算法、聚类算法，其中聚类算法又分为KM算法、FCM算法，较复杂的算法需要用户在发布任务时设定参数，且会消耗较多的计算资源。
图像实体识别程序可以从大幅图像中识别出常见样本的实体，如动物组织切片、植物组织切片、活体微型动物等，使用模式识别算法提取出实体，并使用机器学习算法从实体的图像中提取实体相关信息，包括形态信息、运动信息等。程序首先需要用户采集大量这类实体的图像，采用模式识别算法从中提取出一定量的特征，在实际工作中，使用这些特征在图像中进行搜索和匹配，通过组合匹配结果找出实体的位置和区域，并计算出实体的相关信息。
此外，用户也可以自行编写符合系统输入/输出协议的程序，并上传到工作站以供分析，系统输入/输出协议如图11所示。
步骤4中，运动控制软件和图像采集软件之间的协调工作具体包括：
将控制平移台运动的运动控制软件和控制相机采集图像的图像采集软件进行解耦，即分为独立的两个程序并行运行。将运动控制功能和图像采集功能解耦的难点在于：扫描工序依赖于平移台运动和相机拍摄的缜密协调，因此在解耦时需要保证这种协调性。在本实施例中，依赖于运动控制软件和图像采集软件之间的同步信号来保证协调工作。
对于任何一种扫描模式(标准扫描或快速扫描，Z形轨迹或S形轨迹)，均可以将扫描过程抽象为如下的过程：平移台沿着特定的一系列点(以下称为路径点)作直线运动，并在每个路径点停下，同时，相机在特定的两个相邻路径点之间采集特定数量的图像(采集的位置由内触发帧频或外触发信号来保证，与上位机无关)。图9展示了不同扫描模式的路径点及对应的图像数量。图9对于一次6行3列的扫描，不同扫描模式下的路径点及对应的拍摄张数。A表示标准扫描的Z形扫描轨迹；B表示标准扫描的S形扫描轨迹；C表示快速扫描的Z形扫描轨迹；D表示快速扫描的S形扫描轨迹。
因此，对于任何一种具体的扫描模式而言，步骤41中的“运动控制软件和图像采集软件之间的同步和交换信息”具体包括如下步骤，如图10所示：
步骤411，在扫描开始时，根据扫描成像指令中的扫描模式决定扫描方案，即平移台的运动轨迹(路径点)及相邻路径点之间需要采集的图像数目。“路径点”如图9中给出的空心圆形标记(图9中显示的○)所示，一个空心圆形标记代表一个路径点，平移台的轨迹可以理解为相邻的两个路径点采用直线依次串接而形成的一系列点。平移台在相邻的两个路径点之间作直线运动，且平移台在且仅在这些点处停下并等待上位机的指令。
步骤412，运动控制软件控制平移台移动到第一个路径点，同时图像采集软件为相机设置采集参数，并清空相机采集卡缓冲区；
步骤413，平移台每到达一个路径点，停下等待进一步指令，运动控制软件就向图像采集软件发送“就绪”信号；
步骤414，图像采集软件每收到“就绪”信号，就检查上一个路径点到当前路径点之间的图像是否采集完成，如果采集完成，则立即向运动控制软件发送“下一步”信号，否则将等到采集完成后向运动控制软件发送“下一步”信号；
步骤415，运动控制软件每收到“下一步”信号，再控制平移台移动到下一个路径点；
步骤416，重复步骤413至步骤416，直到采集完成。
在一个实施例中，步骤6中，图像综合软件的功能可描述如下：
扫描图像序列经图像采集软件输出后，送入图像综合软件进行配准处理和拼接处理。
步骤42中，图像综合软件的工作流程具体包括：
步骤421，初始时，图像综合软件维护一张空图像I0。
步骤422，图像采集软件每采集一帧图像，就立即存储这一帧图像，并向图像综合软件发送“新帧”信号。
步骤423，图像综合软件收到“新帧”信号后，检查新到来的帧It，结合该帧的行列号，判断其与已有图像I0的交叠区域；
在逐行扫描的情形下的行列号的计算方式如下：
c＝i-r·nc
在逐列扫描的情形下的行列号的计算方式如下：
r＝i-c·nr
其中，r为行号，c为列号，i为图像序号，nr为总行数，nc为总列数。
步骤424，对交叠区域进行配准。配准处理包括快速配准和精确配准两种方式。
在快速配准中，配准程序根据预先指定的行数、列数、层数和扫描步长，结合系统配置参数，计算出物理坐标系中，各图像拍摄的位置，并换算到图像坐标系中，然后在图像空间中将各图像按照换算出的坐标排列，即完成配准。该配准方式适用于平移台行程准确、系统参数精确的情况。
在精确配准中，首先，按照上述描述的快速配准方式进行配准；然后，在一定范围内计算图像空间中相邻图像的相关函数值，对相关函数进行拟合并取最大点作为配准位置，可以达到亚像素级别的配准。精确配准的速度可以调整，可以通过增大相关函数值计算间隔(即减少相关函数的采样点)来减少计算量，代价是牺牲配准精确度。
步骤425，将配准后的It拼接到已有图像I0中，得到新的I0。拼接处理包括带融合拼接和不带融合拼接两种方式。
在不带融合拼接中，配准后的图像直接叠加在一起取得拼接，在图像配准不是很精确的情况下，这样的输出图像有明显裂缝，如果对于裂缝处精确度要求不高，可以采用融合拼接。
在融合拼接中，在图像重叠区域，对两张图像进行融合，即I(i，j)＝(1-r(i，j))·I1(i，j)+r(i，j)·I2(i，j)，其中I1，I2为两张图像的灰度矩阵，I为输出图像的灰度矩阵，X(i，j)指取矩阵X的第i行第j列，r为定义域在图像空间上、值域在0～1之间的函数，该函数值随着i，j而线性变化。
步骤426，重复步骤422至步骤425，直到采集完成。
最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种物方扫描成像系统的分离式、分布式操控方法，其特征在于，包括：
步骤1，设置管理层、监控层、控制层和现场层，其中，所述控制层包括运动控制软件、图像采集软件和图像综合软件，所述现场层包括至少两个扫描成像模块，每一个所述扫描成像模块包括一台平移台和一台相机；
步骤2，通过所述管理层，用户发布扫描成像任务，并将所述扫描成像任务输送给所述监控层；
步骤3，通过所述监控层处理和转发扫描成像任务以及分析扫描成像任务，生成扫描成像指令，并将所述扫描成像指令输送给所述控制层；
步骤4，通过所述控制层接收所述扫描成像指令，所述运动控制软件和图像采集软件依据输入的扫描成像指令以并行的方式分别独立控制所述现场层设备完成扫描工作，所述步骤4具体包括：
步骤41，所述运动控制软件和图像采集软件并行协同工作，共同完成扫描工作，在协同工作过程中，通过程序同步交换必要的信号；
步骤42，所述图像综合软件对图像进行配准和拼接；
步骤5，通过所述控制层将配准和拼接结果传回到所述监控层的数据库进行存储；
步骤6，存储完成后，用户可随时在管理层从所述监控层的数据库中查看或下载存储的图像数据。
2.如权利要求1所述的物方扫描成像系统的分离式、分布式操控方法，其特征在于，步骤41中的“运动控制软件和图像采集软件之间的同步和交换信息”具体包括如下步骤：
步骤411，在扫描开始时，根据扫描成像指令中的扫描模式决定扫描方案，即平移台的运动轨迹及相邻路径点之间需要采集的图像数目；
步骤412，运动控制软件控制平移台移动到第一个路径点，同时图像采集软件为相机设置采集参数，并清空相机采集卡缓冲区；
步骤413，平移台每到达一个路径点，停下等待进一步指令，运动控制软件就向图像采集软件发送“就绪”信号；
步骤414，图像采集软件每收到“就绪”信号，就检查上一个路径点到当前路径点之间的图像是否采集完成，如果采集完成，则立即向运动控制软件发送“下一步”信号，否则将等到采集完成后向运动控制软件发送“下一步”信号；
步骤415，运动控制软件每收到“下一步”信号，再控制平移台移动到下一个路径点；
步骤416，重复步骤413至步骤416，直到采集完成。
3.如权利要求1所述的物方扫描成像系统的分离式、分布式操控方法，其特征在于，步骤42中，所述图像综合软件的工作流程具体包括：
步骤421，初始时，图像综合软件维护一张空图像I0；
步骤422，图像采集软件每采集一帧图像，立即存储这一帧图像，并向图像综合软件发送“新帧”信号；
步骤423，图像综合软件收到“新帧”信号后，检查新到来的帧It，结合该帧的行列号，判断其与已有图像I0的交叠区域；
在逐行扫描的情形下的行列号的计算方式如下：
x＝i-r·nc
在逐列扫描的情形下的行列号的计算方式如下：
r＝i-c·nr
其中，r为行号，c为列号，i为图像序号，nr为总行数，nc为总列数；
步骤424，对交叠区域进行配准；
步骤425，将配准后的It拼接到已有图像I0中，得到新的I0；
步骤426，重复步骤422至步骤425，直到采集完成。
4.如权利要求1所述的物方扫描成像系统的分离式、分布式操控方法，其特征在于，如果配置定义了图像后处理过程，则在所述步骤5之前还包括：
步骤43，所述图像综合软件将步骤42配准和拼接好的图像输送给图像处理和分析软件进行后处理；
所述图像处理和分析软件包括图像去渐晕程序、运动模糊复原程序、图像分割程序和图像实体识别程序，其中：
所述图像去渐晕程序的工作具体包括：首先，由用户预先标定渐晕参数，在标定参数时，用户使用目标相机采集大量白色背景的图像，并作平均，得到一副平均背景图像，作为渐晕模板；然后，将待去渐晕图像除以背景图像，并乘以平均亮度系数，即得到去除渐晕的图像；
所述运动模糊复原程序用于将由于直线运动速度过快产生单帧曝光时间内存在像素级以上模糊的退化图像复原为清晰图像，并采用运动图像复原盲反卷积方法估计出原始图像；
所述图像分割程序由用户预先标定背景亮度，首先根据背景亮度求得背景连通域，然后在图像中扣除背景连通域并去除噪点后，剩余的连通域即为分割所得区域；
所述图像实体识别程序用于从大幅图像中识别出常见样本的实体，并使用机器学习算法从实体的图像中提取实体的形态信息和运动信息。
5.如权利要求4所述的物方扫描成像系统的分离式、分布式操控方法，其特征在于，“采用运动图像复原盲反卷积方法估计出原始图像”的具体工作过程为：
首先，通过图像模糊正问题模型建立基于原始图像f(x，y)、模糊图像g(x，y)和模糊卷积核h(x，y)的最大后验估计目标函数
其中为第i阶偏导；
然后，结合原始图像和模糊图像在平滑区域的边缘轮廓约束项以及模糊卷积核估计和已知模糊卷积核的边缘轮廓约束项继而通过基于梯度的优化算法迭代求解如下全目标函数E(f，h)：
估计出最优的原始图像f*(x，y)、模糊卷积核h*(x，y)。
6.如权利要求1所述的物方扫描成像系统的分离式、分布式操控方法，其特征在于，所述控制层的运动控制软件、图像采集软件和图像综合软件均设置在一组计算机集群中，所述计算机集群的每个线程用于运行所述运动控制软件、图像采集软件和图像综合软件其中之一，各所述线程并行执行或串行执行。
7.如权利要求5所述的物方扫描成像系统的分离式、分布式操控方法，其特征在于，所述运动控制软件通过平移台总线控制对应的所述扫描成像模块中的平移台的运动，所述图像采集软件通过相机总线控制对应的所述扫描成像模块中的相机的图像采集。
8.如权利要求1所述的物方扫描成像系统的分离式、分布式操控方法，其特征在于，步骤3中的“处理”是由所述监控层的调度模块将用户的扫描成像任务处理为系统能够处理的标准任务，一个标准任务能够描述使用设定的扫描成像模块进行扫描及各扫描参数，扫描参数对于不同的扫描模式和相机配置有不同的选项；
步骤3中的“转发”指的是由所述调度模块将处理好的扫描成像任务同时转发任务分发程序和日志程序；
步骤3中的“任务分发程序分析输入的扫描成像任务”具体为：任务分发程序确定扫描成像模块、样本的扫描区域和扫描参数，其中的“扫描参数”包括扫描的行数、列数、扫描速度、曝光时间、图像大小和扫描步长。
9.如权利要求8所述的物方扫描成像系统的分离式、分布式操控方法，其特征在于，“扫描参数”还包括TDI积分的相机的TDI积分的方向、内触发曝光的相机的帧频和/或外触发曝光的相机的触发源的类型。
CN201810383832.4A 2018-04-26 2018-04-26 一种物方扫描成像系统的分离式、分布式操控方法 Active CN108628267B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810383832.4A CN108628267B (zh) 2018-04-26 2018-04-26 一种物方扫描成像系统的分离式、分布式操控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810383832.4A CN108628267B (zh) 2018-04-26 2018-04-26 一种物方扫描成像系统的分离式、分布式操控方法

Publications (2)

Publication Number Publication Date
CN108628267A CN108628267A (zh) 2018-10-09
CN108628267B true CN108628267B (zh) 2019-09-03

Family

ID=63694608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810383832.4A Active CN108628267B (zh) 2018-04-26 2018-04-26 一种物方扫描成像系统的分离式、分布式操控方法

Country Status (1)

Country Link
CN (1) CN108628267B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111064897B (zh) * 2018-10-17 2021-02-19 北京图森智途科技有限公司 一种曝光评估值的统计方法及成像设备
CN113259537A (zh) * 2021-04-09 2021-08-13 同济大学 一种可拓展式结构表观平面扫描单元及装置
CN113313823B (zh) * 2021-07-28 2021-11-12 康达洲际医疗器械有限公司 一种用于成像系统群的协同成像方法与系统
CN116704156A (zh) * 2023-04-28 2023-09-05 北京优酷科技有限公司 模型生成方法、电子设备及模型生成系统
CN117148781B (zh) * 2023-11-01 2024-02-27 北京科技大学 一种基于多plc互联的i/o设备远程控制方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6780368B2 (en) * 2001-04-10 2004-08-24 Nanotek Instruments, Inc. Layer manufacturing of a multi-material or multi-color 3-D object using electrostatic imaging and lamination
CN100523726C (zh) * 2007-12-12 2009-08-05 武汉大学 基于物方投影几何约束的线阵推扫式影像最佳扫描线搜索方法
CN101742050B (zh) * 2009-12-03 2011-09-07 浙江大学 针对运动模糊核空间移变的tdiccd图像复原方法
CN102063730B (zh) * 2011-01-14 2012-09-12 华中科技大学 基于单分子定位的快速超分辨成像方法及系统
US20130238111A1 (en) * 2012-03-12 2013-09-12 Apple Inc. Quantifying defects and handling thereof

Also Published As

Publication number Publication date
CN108628267A (zh) 2018-10-09

Similar Documents

Publication Publication Date Title
CN108628267B (zh) 一种物方扫描成像系统的分离式、分布式操控方法
CN111897332B (zh) 一种语义智能变电站机器人仿人巡视作业方法及系统
CN108537876A (zh) 基于深度相机的三维重建方法、装置、设备及存储介质
CN105160702B (zh) 基于LiDAR点云辅助的立体影像密集匹配方法及系统
CN110196053B (zh) 一种基于fpga的实时田间机器人视觉导航方法与系统
CN111679291B (zh) 基于三维激光雷达的巡检机器人目标定位配置方法
CN109141446A (zh) 用于获得地图的方法、装置、设备和计算机可读存储介质
CN109635748B (zh) 高分辨率影像中道路特征的提取方法
CN114708585A (zh) 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN107194962A (zh) 点云与平面图像融合方法及装置
CN101919685B (zh) 一种舌诊智能控制及诊断系统
CN106155299B (zh) 一种对智能设备进行手势控制的方法及装置
CN110706269B (zh) 一种基于双目视觉slam的动态场景密集建模方法
US11373366B2 (en) Method for improving modeling speed of digital slide scanner
US20230351677A1 (en) Model Generation Method and Apparatus, Image Perspective Determining Method and Apparatus, Device, and Medium
CN109360646A (zh) 基于人工智能的病理辅助诊断系统
Jiang et al. Application research of key frames extraction technology combined with optimized faster R-CNN algorithm in traffic video analysis
CN115424265A (zh) 一种点云语义分割标注方法及系统
US11107271B2 (en) Three-dimensional point data based on stereo reconstruction using structured light
CN116797944A (zh) 一种基于无人机图像识别光伏面板清洁度的检测方法及系统
CN114689038A (zh) 基于机器视觉的果实检测定位与果园地图构建方法
CN109492522A (zh) 特定目标检测模型训练程序、设备及计算机可读存储介质
CN117161004A (zh) 一种激光清洗的路径规划方法及系统
CN115346041A (zh) 基于深度学习的点位标注方法、装置、设备及存储介质
TWI625700B (zh) 用於點雲資料貼合之冗餘點偵測方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant