CN113489863A - 一种移动拍摄系统和方法 - Google Patents

Abstract

本发明公开一种移动拍摄系统和方法，属于电器技术领域，包括：通信装置，用于将针对拍摄对象规划的拍摄信息发送给控制装置，拍摄信息包括：移动拍摄装置拍摄时的起始位置和移动路径；控制装置，用于当移动拍摄装置接收到外部触发的拍摄指令后控制移动拍摄装置移动至起始位置并按照移动路径进行拍摄，以及控制移动拍摄装置中内置的单色光源按照预设的频闪方式进行频闪使移动拍摄装置曝光；移动拍摄装置，用于在接收拍摄指令后按照预设的循环曝光模式进行各单通道模拟增益以采集对拍摄对象拍摄的黑白图像；图像处理装置，用于对采集的黑白图像进行图片拼接以及对每个通道的图像进行相似度配准得到全通道对准的真彩色图像。本发明可以提高分辨率。

Description

一种移动拍摄系统和方法

技术领域

本发明实施例属于电器技术领域，尤其是一种移动拍摄系统和方法。

背景技术

视觉检测中主流的相机-光学系统组合有两种：(1)单色光搭配黑白相机；(2)白光搭配彩色相机。其中，组合(1)中黑白相机只能反映灰度信息，无法处理颜色敏感相关的问题，检测手段受到限制。彩色相机又分为伪彩色(拜耳)相机与真彩色(棱镜)相机，其中拜耳相机利用成品时便固定的模式，在感光元件上放置红色、绿色和蓝色的滤光片来获取颜色信息，每个像素点只能反映一种颜色的真值，使得结果分辨率只有实际的三分之一左右。棱镜相机将入射光分到三个独立的探测器上，采集100％的入射光，昂贵的光学组件意味着更高的成本，同分辨率下棱镜相机价格是拜耳相机的六倍，却仍然不能解决颜色平均和串扰问题。同时棱镜相机的分光过程大幅降低了帧速率以及后续图像处理的速度，无法应对高速的工业检测。因此基于成本以及效率考虑，高速工业视觉检测使用的彩色相机都是拜耳相机，存在的缺点如下：

拜耳相机插值技术大幅降低了相机的有效分辨率，只有实际像素点的三分之一左右，微小细节被平分；做白平衡时只能调节其中两个颜色通道的增益以适应响应最好的通道。提高增益不仅倍增有效信号，还会等比例增强图像中的噪声；拜耳相机因为使用插值手段，当图像中有精细复杂结构的图案时，更有可能导致莫尔条纹的出现；当获取线以及边缘时，容易与周围发生颜色混叠，出现完全不同的颜色，无法准确提取尺寸仅有两三个像素的精细特征；当检测对象表面不平坦时将失真产生伪影，导致颜色空间的错误转换最终产生误报。

拍摄模式：定点停顿拍摄以及移动拍摄(飞拍)在目前视觉检测上已经运用地相当成熟，停顿拍摄相对于移动拍摄存在以下短板：高速启停需要很高的系统稳定性，通常设备都需要配备一块质量足够的大理石底座，停顿时如何迅速降低移动轴的抖动完成静止也作为当前的一个研究热点，移动拍摄不需要停顿则不考虑抖动问题。每次停顿前需要一至两秒的减速过程影响整体效率，当检测范围变大时由于拍摄点过多将无法实现高速高质量检测；频繁高速启停造成导轨磨损影响移动精度，需要经常进行维护以及精度测量保证误差在可接受范围内；

发明内容

为解决上述技术问题，本发明提供一种移动拍摄系统。

一种移动拍摄系统，其特征在于，包括：通信装置、控制装置、移动拍摄装置和图像处理装置；

所述通信装置，用于将针对拍摄对象规划的拍摄信息发送给所述控制装置，其中，所述拍摄信息包括：所述移动拍摄装置拍摄时的起始位置和移动路径；

所述控制装置，用于当所述移动拍摄装置接收到外部触发的拍摄指令后控制所述移动拍摄装置移动至所述起始位置并按照所述移动路径进行拍摄，以及控制所述移动拍摄装置中内置的单色光源按照预设的频闪方式进行频闪使所述移动拍摄装置曝光；

所述移动拍摄装置，用于在接收所述拍摄指令后按照预设的循环曝光模式进行各单通道模拟增益以采集对所述拍摄对象拍摄的黑白图像；

所述图像处理装置，用于对采集的黑白图像进行拼接以及对每个通道的图像进行相似度配准得到全通道对准的真彩色图像。

进一步地，所述移动拍摄装置，还包括：图像采集模块；

所述图像采集模块，用于设置黑白面阵相机中所述单通道的重叠区域为overlap，使得所述拍摄对象完整地在一张单通道图片上，以及所述拍摄对象完整地出现在所有通道上，其中，每次拍摄间距隔距离为：

其中，L为相机被触发的步进距离，相机触发时依次循环频闪单个光源，S为相机运动轴一侧的分辨率，C为像元尺寸，N为单通道光源的数量。

进一步地，所述移动拍摄装置还包括：编码器反馈模块；

所述编码器反馈模块，用于当所述移动拍摄装置内置的电机的实际步进与提供的脉冲数不一致时，记录所述电机的实际步进距离，并通过对比发送给所述电机的脉冲数与编码器的实际值，动态反馈下一次位置以弥补出现的误差。

进一步地，所述图像处理装置包括：图像拼接模块；

所述图像拼接模块，用于对同一通道拍摄的相邻两张图像，在重叠区域overlap进行x、y方向的滑移进行相似度匹配，并设置偏移量slidex、slidey，得到同一通道的完整条图像。

进一步地，所述通道包括R通道、G通道和B通道；

其中，所述G通道与所述B通道分别与R通道的重叠区域大小为

选取重叠区域分别进行相似度配准，最终得到没有颜色混叠的真彩色图片，其中，L为相机被触发的步进距离，S为相机运动轴一侧的分辨率，C为像元尺寸。

进一步地，所述图像处理装置包括：多通道图片对准模块；

所述多通道图片对准模块，用于通过大津法自动选择有检测对象区域进行相似度配准，得到全通道对准的图片。

进一步地，所述图像处理装置包括：图片存储模块；

所述图片处理模块，用于将合成的彩色图像以及需要保留的通道图像按照预设的压缩率进行JPEG压缩。

进一步地，所述控制装置，还用于当所述电机发生丢步或异常问题时触发报警时间，并通过预设的助跑距离在到达所述起始位置前匀速前进。

进一步地，所述单色光源为RGB单色光源、同轴光或背光中的一种或多种。

为解决上述技术问题，本发明提供一种移动拍摄方法，包括：

通信装置将针对拍摄对象规划的拍摄信息发送给控制装置，其中，所述拍摄信息包括：所述移动拍摄装置拍摄时的起始位置和移动路径；

当所述移动拍摄装置接收到外部触发的拍摄指令后控制装置控制所述移动拍摄装置移动至所述起始位置并按照所述移动路径进行拍摄，以及控制所述移动拍摄装置中内置的单色光源按照预设的频闪方式进行频闪使所述移动拍摄装置曝光；

在接收所述拍摄指令后移动拍摄装置按照预设的循环曝光模式进行各单通道模拟增益以采集对所述拍摄对象拍摄的黑白图像；

图像处理装置对采集的黑白图像进行拼接以及对每个通道的图像进行相似度配准得到全通道对准的真彩色图像。

本发明实施例的有益效果是：通过对黑白相机采集到的R、G、B三色光曝光的黑白图片进行彩图合成，色彩饱和度跟颜色敏锐度远好于拜耳彩色相机，每个像素点采集100％的入射光，有效分辨率得到大幅提升。合成的彩图在检测对象边缘及精细条纹处极小可能发生颜色混叠产生完全不同的颜色，从源头根除由于颜色失真而造成的误报。获得与拥有昂贵光学元件的彩色棱镜分光相机相同效果的真彩色图片，成本却只是六分之一，有效控制视觉检测中成像系统的成本。移动拍摄消去了定拍停稳所需的抖动时间，提高检测效率，机械要求更低，机架磨损远小于定拍工作时的高速启停，因而故障率低，机械扰动小，能够减少维护。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的移动拍摄系统的结构流程示意图；

图2为本发明实施例提供的移动拍摄方法的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参照图1，图1为本发明实施例提供一种移动拍摄系统。

一种移动拍摄系统，其特征在于，包括：通信装置1、控制装置2、移动拍摄装置3和图像处理装置4；

通信装置1，用于将针对拍摄对象规划的拍摄信息发送给所述控制装置2，其中，所述拍摄信息包括：所述移动拍摄装置拍摄时的起始位置和移动路径；

控制装置2，用于当所述移动拍摄装置3接收到外部触发的拍摄指令后控制所述移动拍摄装置3移动至所述起始位置并按照所述移动路径进行拍摄，以及控制所述移动拍摄装置中内置的单色光源按照预设的频闪方式进行频闪使所述移动拍摄装置曝光；

移动拍摄装置3，用于在接收所述拍摄指令后按照预设的循环曝光模式进行各单通道模拟增益以采集对所述拍摄对象拍摄的黑白图像；

图像处理装置4，用于对采集的黑白图像进行拼接以及对每个通道的图像进行相似度配准得到全通道对准的真彩色图像。

本发明实施例中，通信装置1通过规划移动拍摄装置的巡扫路径，返回拍摄信息，拍摄信息表示每一轮移动拍摄的起点、运动方向以及拍摄组数(光源依次频闪完成为一组)，通过UDP协议将拍摄信息发送到控制板端。

通信装置1可以通过蓝牙或TCP实现，但是蓝牙的不同版本之间不兼容，功耗较高，设备的连接能力较差；TCP为了通信的可靠需要经过繁琐的握手过程，同时使用复杂的拥塞控制算法，一旦发生丢包，会重传丢失数据等到接收后才发送后续数据，因此延时会越来越大。由于UDP支持一对一，一对多，多对一和多对多的交互通信，在发送数据前不需要建立连接，具备更好的实时性及工作效率，同时对系统资源要求较少。

进一步地，控制装置2，还用于当所述电机发生丢步或异常问题时触发报警时间，并通过预设的助跑距离在到达所述起始位置前匀速前进。此外，运动控制装置2可以设置移动拍摄巡扫速度、换道间隔时间、控制运动轴移动到拍摄位置，完成检测对象的全盘扫描，在电机发生丢步以及其它异常问题时及时触发报警事件，通过预设的助跑距离在到达起拍位置点前实现匀速前进。此外，运动控制装置2还可以产生电机驱动信号、相机外部触发信号、红绿蓝单色光源频闪信号等。特别地，为了使图片亮度保持一致，设置相机曝光时间包含光源频闪时间，，在此模块中，单色光源数量不限制仅为RGB三种，可以拓展同轴光、背光以及其它项目所需的组合打光方式。

进一步地，移动拍摄装置3，还包括：图像采集模块；

图像采集模块，用于设置黑白面阵相机中所述单通道的重叠区域为overlap，使得所述拍摄对象完整地在一张单通道图片上，以及所述拍摄对象完整地出现在所有通道上，其中，每次拍摄间距隔距离为：

其中，L为相机被触发的步进距离，相机触发时依次循环频闪单个光源，S为相机运动轴一侧的分辨率，C为像元尺寸，N为单通道光源的数量。

由于采用RGB单色光源，因此单通道包括R通道、G通道和B通道。移动拍摄装置3可设置为外部触发、循环曝光模式，通过实验经验可以设置移动拍摄装置3中各个单通道的模拟增益，使用模拟增益不会等比例放大噪声，不仅能够弥补光源微秒级曝光的亮度不足，还可为后续合成彩图时得到最佳信噪比的彩色图片做好铺垫。

通常由于普通常亮光源无法满足移动拍摄微秒曝光的亮度需求，高电流常亮又将烧毁灯珠及电路，因而使用瞬时高电流频闪在提供足够光强的同时能够保护线路延长使用寿命。

本实施例中，使用黑白面阵相机搭配移动拍摄模式，为了保证每一个检测对象至少完整地在一张单通道图片上，以及保证每一个检测对象能够都完整地出现在所有通道上。

进一步地，所述移动拍摄装置还包括：编码器反馈模块；

所述编码器反馈模块，用于当所述移动拍摄装置内置的电机的实际步进与提供的脉冲数不一致时，记录所述电机的实际步进距离，并通过对比发送给所述电机的脉冲数与编码器的实际值，动态反馈下一次位置以弥补出现的误差。

本实施例中，由于电机普遍存在微米级别的精度误差，导致实际步进与给的脉冲数不一致，编码器记录的是电机实际步进距离，通过时时监测运动轴的电机状态，能够第一时间发现导轨因异物卡住等异常情况，通过对比发送给电机的脉冲数与编码器实际值，动态反馈到下一次位置将该误差弥补回来。

进一步地，所述图像处理装置包括：图像拼接模块；

所述图像拼接模块，用于对同一通道拍摄的相邻两张图像，在重叠区域overlap进行x、y方向的滑移进行相似度匹配，并设置偏移量slidex、slidey，得到同一通道的完整条图像。

进一步地，所述通道包括R通道、G通道和B通道；

其中，所述G通道与所述B通道分别与R通道的重叠区域大小为

选取重叠区域分别进行相似度配准，最终得到没有颜色混叠的真彩色图片，其中，L为相机被触发的步进距离，S为相机运动轴一侧的分辨率，C为像元尺寸。

进一步地，所述图像处理装置包括：多通道图片对准模块；

所述多通道图片对准模块，用于通过大津法自动选择有检测对象区域进行相似度配准，得到全通道对准的图片。

进一步地，所述图像处理装置包括：图片存储模块；

所述图片处理模块，用于将合成的彩色图像以及需要保留的通道图像按照预设的压缩率进行JPEG压缩。

本实施例中，每一张单通道图片都与相邻其他通道有着大小为

的重叠部分，同样通过大津法自动选择有检测对象区域进行相似度配准，得到全通道对准的图片。由于原始彩图数据量大，占据大量存储空间，将合成的彩色图片以及其它需要保留的通道图片经过JPEG压缩，选择合适的压缩率，不仅能够保证压缩效率还能够大幅减轻存储压力。

本发明的一个实施例，移动拍摄装置在滑轨上的运动速度为10mm/s，到达预先规划的拍摄位置时开始采图，相机触发及光源频闪时，频闪顺序为红光、绿光、蓝光、同轴光，其中RGB频闪伴随背光的开启，同轴频闪时背光关闭。相机分辨率为2592*2048，像元尺寸为4.8μm,镜筒放大倍数为3倍，使幅高一端作为前进方向，重叠区大小设置为400像素，则相机触发间隔为

则相机帧率为

为了达到与人眼感官相符的图像质量，设置相机快门开启时长为450μs，R、G、B曝光时间为200μs，同轴曝光时间为80μs，循环曝光模拟增益分别1，2.67，1.6，1。因使用移动拍摄，可能造成的最大重影像素大小为

通过对光源亮度的增强，减小实际曝光时间，能够有效减小重影对最终合成图质量的影响。得到原始图片后进行彩图合成及多通道图像对准、图像压储存，最终获得色彩饱和度及颜色细粒度都优于拜耳白彩色相机的真彩色图片以及配准后的同轴图片。

本发明实施例可作为机器视觉检测中的成像方案，尤其适用于半导体等拥有精细结构且缺陷类型对颜色敏感的外观质量检查。通信装置通过UDP将数据发送到控制装置，控制装置完成运动控制产生各路所需脉冲信号，通过移动拍摄装置获得R、G、B单通道黑白原始图片，最终实现单通道图的对准叠加获得真彩色图片。本发明得到的彩色图片单个像素点的有效分辨率相比拜耳彩色相机大幅提高，同时避免了图案边缘处颜色混叠及失真现象，移动拍摄去除了抖动等待时间，提高了检测效率，同时结构简单，能够有效控制制造及维护成本。

本发明实施还提供一种移动拍摄方法，如图2所示，图2为本发明实施例提供的移动拍摄方法的流程示意图。该方法包括：

S1、通信装置将针对拍摄对象规划的拍摄信息发送给控制装置，其中，所述拍摄信息包括：所述移动拍摄装置拍摄时的起始位置和移动路径；

S2、当所述移动拍摄装置接收到外部触发的拍摄指令后控制装置控制所述移动拍摄装置移动至所述起始位置并按照所述移动路径进行拍摄，以及控制所述移动拍摄装置中内置的单色光源按照预设的频闪方式进行频闪使所述移动拍摄装置曝光；

S3、在接收所述拍摄指令后移动拍摄装置按照预设的循环曝光模式进行各单通道模拟增益以采集对所述拍摄对象拍摄的黑白图像；

S4、图像处理装置对采集的黑白图像进行拼接以及对每个通道的图像进行相似度配准得到全通道对准的真彩色图像。

本发明实施例通信装置通过UDP将数据发送到控制装置，控制装置完成运动控制产生各路所需脉冲信号，通过移动拍摄装置获得R、G、B单通道黑白原始图片，最终实现单通道图的对准叠加获得真彩色图片。本发明得到的彩色图片单个像素点的有效分辨率相比拜耳彩色相机大幅提高，同时避免了图案边缘处颜色混叠及失真现象，移动拍摄去除了抖动等待时间，提高了检测效率，同时结构简单，能够有效控制制造及维护成本。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种移动拍摄系统，其特征在于，包括：通信装置、控制装置、移动拍摄装置和图像处理装置；

所述通信装置，用于将针对拍摄对象规划的拍摄信息发送给所述控制装置，其中，所述拍摄信息包括：所述移动拍摄装置拍摄时的起始位置和移动路径；

所述控制装置，用于当所述移动拍摄装置接收到外部触发的拍摄指令后控制所述移动拍摄装置移动至所述起始位置并按照所述移动路径进行拍摄，以及控制所述移动拍摄装置中内置的单色光源按照预设的频闪方式进行频闪使所述移动拍摄装置曝光；

所述移动拍摄装置，用于在接收所述拍摄指令后按照预设的循环曝光模式进行各单通道模拟增益以采集对所述拍摄对象拍摄的黑白图像；

所述图像处理装置，用于对采集的黑白图像进行拼接以及对每个通道的图像进行相似度配准得到全通道对准的真彩色图像。

2.根据权利要求1所述的拍摄系统，其特征在于，所述移动拍摄装置，还包括：图像采集模块；

所述图像采集模块，用于设置黑白面阵相机中所述单通道的重叠区域为overlap，使得所述拍摄对象完整地在一张单通道图片上，以及所述拍摄对象完整地出现在所有通道上，其中，每次拍摄间距隔距离为：

其中，L为相机被触发的步进距离，相机触发时依次循环频闪单个光源，S为相机运动轴一侧的分辨率，C为像元尺寸，N为单通道光源的数量。

3.根据权利要求1所述的拍摄系统，其特征在于，所述移动拍摄装置还包括：编码器反馈模块；

所述编码器反馈模块，用于当所述移动拍摄装置内置的电机的实际步进与提供的脉冲数不一致时，记录所述电机的实际步进距离，并通过对比发送给所述电机的脉冲数与编码器的实际值，动态反馈下一次位置以弥补出现的误差。

4.根据权利要求1所述的拍摄系统，其特征在于，所述图像处理装置包括：黑白图像拼接模块；

所述黑白图像拼接模块，用于对同一通道拍摄的相邻两张图像，在重叠区域overlap进行x、y方向的滑移进行相似度匹配，并设置偏移量slidex、slidey，得到同一通道的完整条图像。

5.根据权利要求4所述的拍摄系统，其特征在于，所述通道包括R通道、G通道和B通道；

其中，所述G通道与所述B通道分别与R通道的重叠区域大小为

选取重叠区域分别进行相似度配准，最终得到没有颜色混叠的真彩色图片，其中，L为相机被触发的步进距离，S为相机运动轴一侧的分辨率，C为像元尺寸。

6.根据权利要求5所述的拍摄系统，其特征在于，所述图像处理装置包括：多通道图片对准模块；

所述多通道图片对准模块，用于通过大津法自动选择有检测对象区域进行相似度配准，得到全通道对准的图片。

7.根据权利要求1所述的拍摄系统，其特征在于，所述图像处理装置包括：图片存储模块；

所述图片处理模块，用于将合成的彩色图像以及需要保留的通道图像按照预设的压缩率进行JPEG压缩。

8.根据权利要求3所述的拍摄系统，其特征在于，

所述控制装置，用于当所述电机发生丢步或异常问题时触发报警事件，并通过预设的助跑距离在到达所述起始位置前匀速前进。

9.根据权利要求1～8任一项所述的拍摄系统，其特征在于，所述单色光源为RGB单色光源、同轴光或背光中的一种或多种。

10.一种移动拍摄方法，其特征在于，包括：

通信装置将针对拍摄对象规划的拍摄信息发送给控制装置，其中，所述拍摄信息包括：所述移动拍摄装置拍摄时的起始位置和移动路径；

当所述移动拍摄装置接收到外部触发的拍摄指令后控制装置控制所述移动拍摄装置移动至所述起始位置并按照所述移动路径进行拍摄，以及控制所述移动拍摄装置中内置的单色光源按照预设的频闪方式进行频闪使所述移动拍摄装置曝光；

在接收所述拍摄指令后移动拍摄装置按照预设的循环曝光模式进行各单通道模拟增益以采集对所述拍摄对象拍摄的黑白图像；

图像处理装置对采集的黑白图像进行拼接以及对每个通道的图像进行相似度配准得到全通道对准的真彩色图像。

Images