CN108769530A - 图像采集处理设备和图像采集处理方法 - Google Patents

Abstract

一种图像采集处理设备和方法，用于采集被拍摄物体的多个局部图像并进行拼接，该设备包括：成像相机，用于拍摄被拍摄物体的多个局部图像；设置有多个定位标记的参照体；定位相机，与所述成像相机相对固定，用于拍摄所述参照体，获取包含至少部分定位标记的定位图像；同步触发单元，用于控制所述成像相机和所述定位相机的同步拍摄；处理单元，用于接收所述成像相机拍摄的局部图像和所述定位相机拍摄的所述定位标记的图像，并利用多个定位图像确定所述成像相机的多个拍摄位姿信息，以对成像相机所拍摄的多个局部图像进行拼接。本发明以简单的结构实现了图像拼接时的定位问题。

Description

图像采集处理设备和图像采集处理方法

技术领域

本发明涉及图像采集领域，尤其涉及一种图像采集处理设备和图像采集处理方法。

背景技术

在机器视觉、工业检测等应用存在着对大范围高分辨率成像的需求，而相机拍摄的视场大小和分辨率(包括光学分辨率和单个像素对应的实际尺寸)是相互矛盾的指标。例如，在半导体制程工艺中的晶圆表面外观检查，需要对300mm直径的晶圆进行1um分辨能力的高清检查。如果采用2K像素的相机，则单张图片对应的尺寸仅为2mm，无法覆盖300mm的成像范围。

采用多张不同位置拍摄的图像，互相拼接可以获得更大范围的成像，但需要知道图像之间彼此错位的空间位移和旋转的角度。并且此种信息一般需要做到亚像素精度，才能保证无缝、准确地拼接图像。准确、稳定地获取图像之间的错位信息，并基于此信息来拼接图像，用来做大场景高精度成像，是本领域技术人员需要探索的方向。

现有的大场景高精度成像的方案有如下几种：

方案1.采用更高分辨率的相机和成像系统：

如将目前常用的2K像素的相机换成4K，这种方式可以在不影响精度的情况下将成像场景尺寸翻倍。

方案2.采用多个相机拍照：

用多个相机组成相机阵列同时拍照，多张图像拼接可以获得更大的场景；并且在图像之间的彼此错位取决于相机之间的相对位置，可以预先测量和计算得出。

方案3.单个相机在移动平台扫描式拍照，依靠一个或多个位移传感器信息拼接图像：

此种方案原理和扫描仪类似；相机每次曝光对应成像范围的一部分区域；通过驱动装置，在逐个拍照位置拍照采集图像序列。通过图像序列之间的彼此拼接，获得更大的场景。

图像之间的错位信息可以通过高精度的一个或多个一维位移传感器换算得出，图1展示了一种通过移动相机到不同位置拍照，拼接图像获得大场景图像的方案。每个位置传感器可以读取空间中一个直线方向上的绝对或者相对的位置，从而得到拍照位置在一个坐标轴上的坐标；或者读取一个旋转方向上的绝对或者相对的角度。通过综合每个一维传感器的读数，确定拍照时相机的位置与姿态，计算图像之间的错位信息。此种一维传感器可以是直线型光栅编码器、磁栅编码器等，用于获得空间里XYZ轴的读数，也可以是圆形的光电编码器、旋转变压器等，用于读取姿态角度。

此种方法的特征是相机与被拍照物体的相对位置和姿态会发生变化。在实际实现中，既可以固定物体、移动相机，也可以固定相机位置，通过驱动装置移动被拍摄物体。图2示意了一种常见的、通过二维运动机构移动被拍照物体，从而实现平面内的扫描拼接的方案。在该方案中，相机的位置保持恒定，被拍摄的物体放置在y方向驱动装置上，二者相对位置很定。y方向驱动装置放置在x方向驱动装置上，通过电机、导轨、丝杆等运动驱动机构相对x方向驱动装置沿着单方向运动，运动的形成通过y方向传感器读数头读出。类似的，x方向驱动装置放置在固定载台上，沿着x单方向运动，其x方向的形成通过x方向传感器读数头读出。移动物体在不同的x、y位置拍照，获得一系列图片和对应的拍照位置信息；根据x、y信息可以获得图像之间的平移关系，从而实现不同图像的之间的拼接，获得更大场景的图像。

但是，现有的方案均存在各种缺陷：

方案1的主要技术缺陷来源于对相机和镜头选择与成本的高要求。面积大的感光芯片对制程工艺的良率提出了非常严苛的要求，高分辨率的相机极大的拉高了成本和可选择范围；同样的，大靶面高分辨率相机对应的镜头孔径要求都很大，在同样镜头参数要求下，大孔径镜头的制造与组装工艺都有很大的挑战。目前的技术水平相机的分辨率鲜有超过8K，且造价不菲。

方案2存在与方案1相同的成本问题。对于方案2而言，整套方案的成本正比于成像范围的面积成正比。同时方案2存在额外的技术缺陷。如图3所示，对于单个相机而言，如果拍照的物方视场要小于感光芯片上对应成像大小时，即光学放大倍率大于1时，并排贴合放置的两个相机将无法拍摄到两个图像中间的位置。也就是说对于1倍以上的光学放大倍率的应用中，相机阵列获得的多张图片无法完整的覆盖被拍摄对象的整个视场。

方案3是工业应用里广泛采用的一种大视场高精度成像方式，如常见的二次元测量仪。其主要问题是成像的精度对驱动装置的要求较高。采用一个或者多个高精度的位移传感器来计算错位信息的方式对成本有较高的要求，同时也对驱动装置的精度、稳定性有很高的要求。如在二次元测量仪中，为了保证图像错位信息在微米级别的测量精度，整套系统需要配备高性能的光栅尺、高精度的导轨和伺服电机，同时需要大理石平台甚至气浮载台来保证平台的稳定性；除此之外一般还对使用环境的温度有要求，避免热胀冷缩现象引起温度漂移。

如果驱动装置在扫描拍照中发生移动，则扫描拼接得到的图片会有抖动、拉伸等明显形变发生。如果驱动装置在运动过程中发生了垂直于运动方向的微小移动，则扫描生成的图片会产生波纹式的畸变；如果采用定时触发，且驱动装置的速度不匀速的情况下，扫描生成的图片会有拉伸或者收缩式的畸变。

发明内容

鉴于现有的测量方法均存在不同的问题，为解决现有技术存在的问题，本发明实施例提出了一种图像采集处理设备和图像采集处理方法。

上述图像采集处理设备用于采集被拍摄物体的多个局部图像并进行拼接，该图像采集处理设备包括：

成像相机，用于拍摄被拍摄物体的多个局部图像；

设置有定位标记的参照体，所述参照体为至少一个，并与所述被拍摄物体相对固定；

定位相机，与所述成像相机相对固定，用于拍摄所述参照体，获取包含至少部分定位标记的定位图像；以及

处理单元，用于根据所述定位相机拍摄的多个定位图像拼接所述成像相机拍摄的多个局部图像。

在一可选实施例中，所述图像采集处理设备还包括同步触发单元，用于控制所述成像相机和所述定位相机在同一时间分别针对被拍摄物体和参照体进行拍摄；

在一可选实施例中，所述处理单元用于:

接收所述成像相机拍摄的局部图像和所述定位相机拍摄的包含所述定位标记的图像，并利用多个定位图像确定拍摄位姿信息，以对成像相机所拍摄的多个局部图像进行拼接。

在一可选实施例中，所述处理单元用于：

处理单元存储参照体的全局图像Pref；

获取第i次拍摄时，被拍摄对象的局部图像P(i)和参照体的局部图像Pref(i)；

从所述全局图像Pref中搜索局部图像Pref(i)所处的位置，确定局部图像P(i)在被拍摄对象的全局图像中的位置信息；

检测所获得局部图像Pref(i)相对于全局图像Pref对应部分原始局部图像的缩放、旋转和畸变，并根据所得的缩放、旋转、畸变系数，对被拍摄对象的局部图像P(i)进行修正；

将修正后的局部图像，依据位置信息拼接至所述全局图像中。

在一可选实施例中，所述处理单元用于：

获取在第i次拍摄时，被拍摄对象的局部图像P(i)和参照体的局部图像Pref(i)；

获取第j次拍摄时，被拍摄对象的局部图像P(j)和参照体的局部图像Pref(j)；

根据局部图像Pref(i)和局部图像Pref(j)之间的重叠区域的匹配关系，计算第i次拍摄和第j次拍摄时参照体的局部图像Pref(i)与Pref(j)之间的相对位置信息，并根据所述相对位置信息得到第i次拍摄和第j次拍摄时被拍摄对象的局部图像P(i)和P(j)的相对位置信息；

根据重叠区域的缩放、旋转和畸变，确定两次图像采集的缩放、旋转、畸变系数，对第i次拍摄和第j次拍摄时被拍摄对象的局部图像P(i)和P(j)进行修正；

将修正后的第i次拍摄和第j次拍摄时被拍摄对象的局部图像P(i)和P(j)局部图像，根据上述所得P(i)和P(j)的相对位置信息，完成两个局部图像的拼接。

在一可选实施例中，所述参照体包括呈固定角度设置的第一参照体和第二参照体。

在一可选实施例中，所述图像采集处理设备还包括驱动装置，用于控制所述成像相机和所述定位相机的同步运动，或用于控制所述被拍摄物体和所述参照体的同步运动。

在一可选实施例中，所述成像相机和所述定位相机包括快门，所述同步触发单元信号连接所述成像相机和所述定位相机的快门。

在一可选实施例中，所述图像采集处理设备还包括：

光源，用于为被拍摄物体和参照体提供光线，所述同步触发单元信号连接于所述光源，并控制所述被拍摄物体对应的光源和所述参照体对应的光线频闪同步。

在一可选实施例中，所述图像采集处理设备还包括：

第一固定结构，用于固定所述成像相机和所述定位相机；

第二固定结构，用于固定所述被拍摄物体和所述参照体。

在一可选实施例中，所述参照体的定位标记包括如下至少其中之一：

结构标记、纹理标记、图案标记。

在一可选实施例中，所述定位标记通过印刷、镀膜、蚀刻至少其中之一的工艺制成。

在一可选实施例中，所述定位相机的拍摄精度小于所述成像相机的拍摄精度。

在一可选实施例中，所述定位相机的视场大于所述成像相机的视场。

在一可选实施例中，所述图像采集处理设备还包括位置传感器、速度传感器、加速度传感器至少其中之一，用于采集所述定位相机和/或所述成像相机的拍摄位姿信息，并修正所述成像相机的拍摄位姿信息。

在一可选实施例中，所述定位相机为至少一个，所述成像相机也为至少一个。

本发明实施例还提出一种图像采集处理方法，包括：

接收成像相机拍摄的多张被拍摄物体的局部图像和定位相机拍摄的多张参照体的定位图像，该参照体的定位图像包含定位标记，，所述多张局部图像和多张定位图像的拍摄位置相互对应；

利用所述定位标记确定所述多张定位图像的拼接方法；

利用所述定位图像的拼接方法，确定成像相机对应拍摄的多张被拍摄物体的局部图像的拼接方法，并利用所述拼接方法对多张被拍摄物体的局部图像进行拼接。

在一实施例中，所述利用定位标记确定所述多张定位图像的拼接方法的步骤包括：

获取参照体的全局图像(Pref)；

获取第i次拍摄时，被拍摄对象的局部图像(P(i))和参照体的局部图像(Pref(i))；

从所述全局图像(Pref)中搜索参照体的局部图像(Pref(i))所处的位置，确定参照体的局部图像(P(i))在被拍摄对象的全局图像中的位置信息；

检测所获得参照体的局部图像(Pref(i))相对于全局图像(Pref)对应部分原始局部图像的缩放、旋转和畸变，并根据所得的缩放、旋转、畸变系数，对被拍摄对象的局部图像(P(i))进行修正；

将修正后的被拍摄对象的局部图像，依据所述位置信息与其他修正后的被拍摄对象的局部图像进行拼接。

在一实施例中，所述利用定位标记确定所述多张定位图像的拼接方法的步骤包括：

获取在第i次拍摄时，被拍摄对象的局部图像(P(i))和参照体的局部图像(Pref(i))；

获取第j次拍摄时，被拍摄对象的局部图像(P(j))和参照体的局部图像(Pref(j))；

根据参照体的局部图像(Pref(i))和局部图像(Pref(j))之间的重叠区域的匹配关系，计算第i次拍摄和第j次拍摄时参照体的局部图像(Pref(i))与(Pref(j))之间的相对位置信息，并根据所述相对位置信息得到第i次拍摄和第j次拍摄时被拍摄对象的局部图像(P(i))和(P(j))的相对位置信息；

根据重叠区域的缩放、旋转和畸变，确定两次图像采集的缩放、旋转、畸变系数，对第i次拍摄和第j次拍摄时被拍摄对象的局部图像(P(i))和(P(j))进行修正；

将修正后的第i次拍摄和第j次拍摄时被拍摄对象的局部图像(P(i))和(P(j))局部图像，根据所述被拍摄对象的局部图像(P(i))和(P(j))的相对位置信息进行拼接。

本发明实施例还提出一种图像采集处理设备，用于采集被拍摄物体的多个局部图像并进行拼接，包括：

第一连接装置，用于固定成像相机，所述成像相机用于拍摄被拍摄物体的多个局部图像；

设置有定位标记的参照体，所述参照体为至少一个，并与所述被拍摄物体相对固定；

第二连接装置，用于固定定位相机，所述定位相机与所述成像相机相对固定，用于拍摄所述参照体，获取包含至少部分定位标记的定位图像；以及

处理单元，用于根据所述定位相机拍摄的多个定位图像拼接所述成像相机拍摄的多个局部图像。

综上所述，本发明提出的采图像采集处理设备和图像采集处理方法，至少具有如下优点：

本发明实施例提出的图像采集处理设备和方法，通过相对固定的成像相机和定位相机，以及相对固定的被拍摄物体和参照体，利用定位相机所拍摄的参照体的图像中包含的定位标记，对应地确定被拍摄物体的局部图像的拼接方法。由于通过定位标记可以快速地获得图像拼接所需的图像错位信息，本发明基于运动装置和图像拼接的成像方式，通过成像系统与算法的设计，从原理上保证了图像错位信息可以非常精确和稳定的获得，并且对驱动装置的本身的精度和稳定性要求很低，具有系统简单、成本低、制造精度要求低、图像拼接稳定性高等优点。

此外，本发明无需高精度的位移传感器、导轨、伺服系统，对运动系统要求很低；不易受到环境温度、湿度等干扰；环境适用性广泛；本发明不对被拍摄物体表面外观做任何限制，对分布均匀、单一且无纹理的物体区域，也可实现大范围的准确拼接。并对图像间的错位信息计算量小。

附图说明

图1展示了一种通过移动相机到不同位置拍照，拼接图像获得大场景图像的方案。

图2示意了一种常见的、通过二维运动机构移动被拍照物体，从而实现平面内的扫描拼接的方案。

图3所示为现有的方案2在一种不适用的场景的示意图。

图4所示为本发明第一实施例的图像采集处理装置的示意图。

图5所示为本发明第二实施例的图像采集处理装置的示意图。

图6所示为本发明第三实施例的图像采集处理方法的流程图。

具体实施方式

以下通过多个实施例，对本发明提出的图像采集处理设备和方法进行说明。

第一实施例

本发明第一实施例提出一种图像采集处理设备，用于采集被拍摄物体的多个局部图像并进行拼接。图4所示为本发明第一实施例的图像采集处理设备，该图像采集处理设备可以包括如下元件：

成像相机10、参照体20、定位相机30和处理单元40。

成像相机10可以是包括摄像头、图像传感器、快门等元件的拍摄装置，用于拍摄被拍摄物体100，获得被拍摄物体100的多个局部图像。值得注意的是，上述的成像相机10可泛指一切由图像传感器，镜头，光源，和固定连接结构件和其他辅助成像模块组成的图像采集装置，并不限定为市售的相机装置。

参照体20可以为一个或多个。在图4所示的实施例中，参照体20为一个。参照体20可以为如图所示的板体，也可以为其他任何形式。参照体20上设置有多个定位标记21，这些定位标记21可以是结构标记、纹理标记、图案标记等，这些标记包含定位信息，用于供定位相机30拍摄多张定位图像，并在后续根据所述定位相机拍摄的多个定位图像拼接所述成像相机拍摄的多个局部图像。

上述的结构标记例如为各种形状的孔、凸起、凹陷、狭缝或这些的组合、纹理标记例如为参照体上设置的特殊纹理。图案标记例如为圆点、方格、直线、三角形、十字形等标记。这些定位标记可以通过印刷、刻蚀、镀膜等一种或多种工艺加工形成。参照体20的材质例如可以为玻璃或陶瓷等性状稳定、受温度影响小的材料。

定位标记21可以为多个,在一实施例中，定位相机30可以获取包含多个定位标记21中的至少一部分定位标记21的定位图像；在其他实施例中，定位标记可以为一个(例如一根由窄到宽的标记带)，在这种情况下定位相机30可以获取包含一部分定位标记的定位图像。

在本实施例中，图像采集处理设备还可以包括第一固定结构和第二固定结构。第一固定结构用于固定所述成像相机10和所述定位相机30；第二固定结构用于固定所述被拍摄物体100和所述参照体20。在其他实施例中，图像采集处理设备可以仅包括第一固定结构，用于固定成像相机10和定位相机30。被拍摄物体100和参照体20可以通过其他方式固定设置，只要二者保持相对固定即可。图4中未示出被拍摄物体的固定方式。然而本领域技术人员可以知晓的是，被拍摄物体100和参照体20可以通过各种方式进行固定，本发明并不特别限制。

在本实施例中，被拍摄物体100与参照体20平行设置，成像相机10和定位相机30分别朝向被拍摄物体100和参照体20，并设置在被拍摄物体100与参照体20之间。

定位相机30和成像相机10相对固定，用于拍摄所述参照体20，获取包含至少部分定位标记21的定位图像；定位相机30同样可以泛指一切由图像传感器，镜头，光源，和固定连接结构件和其他辅助成像模块组成的图像采集装置，并不限定为市售的相机装置。定位相机30的拍摄精度可以低于成像相机10，定位相机30的视场可以大于所述成像相机10的视场。

在一可选实施例中，该图像采集处理设备还包括同步触发单元50。

同步触发单元50用于控制所述成像相机10和定位相机30的同步拍摄；具体来说，同步触发单元50可以连接于成像相机10和定位相机30的快门，用于同步地控制成像相机10的快门和定位相机30快门，保证成像相机10和定位相机30同时地拍摄图像。同步触发单元的机械形态、电学形态的同步触发单元，可以有各种形式，在此不再赘述。同步触发单元50的设置保证了拍摄的同步性，方便了后续根据所述定位相机拍摄的多个定位图像拼接所述成像相机拍摄的多个局部图像的操作。

值得注意的是，在其他实施例中，成像相机10和定位相机30不限于同步拍摄。例如，二者之间可以相隔若干毫秒进行拍摄，只要是在某一次拍摄中，成像相机10拍摄的局部图像和定位相机30拍摄的局部图像能够之间或间接地实现位置上的对应，即可。

例如，成像相机10和定位相机30可以在同一时刻拍摄，由于二者相互固定，二者所拍摄的位置是对应的，所拍摄到的图像也是对应的。但是如果成像相机10和定位相机30不在同一时刻拍摄，例如定位相机之后30毫秒拍摄，二者所拍摄的位置和拍摄到的图像均不对应。但是由于成像相机10和定位相机30的移动轨迹是可知的(例如为匀速移动)，因此可以推算或者估计出30毫秒之前定位相机拍摄的位置和图像，这一推算或估计出的位置和图像能够与成像相机10拍摄的位置和图像对应，因此也可以实现本发明实施例的根据所述定位相机拍摄的多个定位图像拼接所述成像相机拍摄的多个局部图像的目的。因此，该图像采集处理设备并不限于包括同步触发单元。

处理单元40用于接收所述成像相机10拍摄的局部图像和所述定位相机30拍摄的所述定位标记的图像，并根据所述定位相机拍摄的多个定位图像拼接所述成像相机拍摄的多个局部图像。

例如，处理单元40利用每一张拍摄到的定位图像确定拍摄时刻定位相机30的位姿信息。由于定位相机30和成像相机10的运动是同步的，此时可以根据多个定位相机30的拍摄位姿信息，确定成像相机10的拍摄位姿信息，结合成像相机10的拍摄位姿信息，对成像相机10所拍摄的多个局部图像进行拼接。

上述的拍摄位姿信息包括成像相机10或定位相机30相对既定参考坐标系的XYZ位置和俯仰角、旋转角和翻滚角，即本领域技术人员可知的六个自由度。拍摄位姿信息也可以包括上述信息的一部分而非全部，在此不再赘述。

对局部图像进行拼接的过程采用了错位信息。错位信息为：对于采用数字图像存储格式的两张图像I1(x,y)和I2(x,y)，其中x,y为二维图像传感器阵列的行列坐标；错位信息特指一种数学变换x,y→f(x,y),g(x,y)，使得变换后的图像I1(f(x,y),g(x,y))可以和I2(x,y)无差错的拼接在一起；具体的，该数学变换函数可选择为透射变换：

通过获取上述的位姿信息，可以确定上述数学变换函数的参数h₁至h₈，这是本领域技术人员公知的内容，在此不再赘述。

本发明实施例提供两种处理单元40实现拼接图像的方法，作为举例。

在一种方法中，处理单元40或其连接的存储单元中存储有参照体20的全局图像P_ref。在第i次拍摄时，获得被拍摄对象的局部图像P(i)和参照体的局部图像P_ref(i)。处理单元从全局图像P_ref中搜索局部图像P_ref(i)所处的位置信息，确定局部图像P(i)在被拍摄对象的全局图像中的位置信息；处理单元检测所获得P_ref(i)相对于全局图像P_ref对应部分原始局部图像的缩放、旋转和畸变，并根据所得的缩放、旋转、畸变系数，对P(i)进行修正；之后处理单元40将修正后的局部图像，依据位置信息拼接至全局图像中。

在另一种方法中，处理单元40不存储参照体的全局图像P_ref。在第i次拍摄中，处理单元40获得被拍摄对象的局部图像P(i)和参照体的局部图像P_ref(i)，在第j次拍摄中，获得被拍摄对象的局部图像P(j)和参照体的局部图像P_ref(j)。局部图像P_ref(i)和局部图像P_ref(j)之间有部分重叠区域，处理单元根据重叠区域的匹配关系，计算P_ref(i)与P_ref(j)之间的相对位置信息，并根据对应关系得到局部图像P(i)和P(j)的相对位置信息；处理单元根据重叠区域的缩放、旋转和畸变，确定两次图像采集的缩放、旋转、畸变系数，对局部图像P(i)和P(j)进行修正；处理单元将修正后的局部图像P(i)和P(j)，根据上述所得局部图像P(i)和P(j)的相对位置信息，完成两个局部图像的拼接。以此类推，处理单元40可以完成整个图像的拼接。

由上述内容可知，本发明第一实施例提出了一种图像采集处理设备，通过相对固定的成像相机和定位相机，以及相对固定的被拍摄物体和参照体，利用定位相机所拍摄的参照体的图像中包含的定位标记，对应地确定被拍摄物体的局部图像的拼接方法。由于通过定位标记可以快速地获得图像拼接所需的图像错位信息，本发明基于运动装置和图像拼接的成像方式，通过成像系统与算法的设计，从原理上保证了图像错位信息可以非常精确和稳定的获得，并且对驱动装置的本身的精度和稳定性要求很低，具有系统简单、成本低、制造精度要求低、图像拼接稳定性高等优点。

此外，本发明无需高精度的位移传感器、导轨、伺服系统，对运动系统要求很低；不易受到环境温度、湿度等干扰；环境适用性广泛；本发明不对被拍摄物体表面外观做任何限制，对分布均匀、单一且无纹理的物体区域，也可实现大范围的准确拼接。并对图像间的错位信息计算量小。

第二实施例

本发明第二实施例提出一种图像采集处理设备。在该实施例中，仅仅就本实施例与第一实施例的差别之处进行说明。

在本实施例中，所述图像采集处理设备还包括驱动装置70，用于控制所述成像相机10和所述定位相机30的同步运动，或用于控制所述被拍摄物体100和所述参照体20的同步运动。

在一实施例中，成像相机10和定位相机30在固定装置60的固定之下相互无运动，但是第一固定结构60可以由驱动装置70驱动，带动成像相机10和定位相机30进行前述六个自由度的运动。例如，成像相机10和定位相机30同时位于固定装置(例如驱动装置)的正反两面，则在平动时，成像相机10和定位相机30的坐标位置是相同的。在转动时，成像相机10和定位相机30的转动是相应的。例如成像相机10转动5°时，定位相机30转过的角度是-5°。

在另一实施例中，如图5所示，第二固定结构80用于固定被拍摄物体100和参照体20。驱动装置70连接于第二固定结构80，由此可以带动被拍摄物体100和参照体20同时运动。例如驱动装置70可以设置在被拍摄物体100和参照体20之间，同时带动被拍摄物体100和参照体20进行相同的运动。在此不再赘述。

在一实施例中，所述成像相机10和所述定位相机30包括快门，所述同步触发单元50信号连接所述成像相机10的快门和所述定位相机30的快门，用于控制二者快门的同步开启。可选地，所述成像相机10和所述定位相机30还可以包括光源。光源为常亮或频闪光源，如果成像相机10、定位相机30选择了频闪型的光源，同步触发单元也可相应的在各自相机拍照时同步的触发频闪光源，保证获取的成像与定位图像的同时性。

在一实施例中，所述成像相机和所述定位相机均可以包括图像传感器，所述处理单元40接收所述图像传感器的图像，并对所述局部图像进行拼接。具体地，在接收到定位相机30拍摄的包含定位标记21的定位图像后，处理单元40例如可以根据该定位图像的定位标记，与事先拍摄的无运动状态下的对照图像进行对比，计算出拍摄时刻定位相机30的平动和转动，从而获得成像相机10的平动和转动，利用成像相机的平动和转动，确定错位信息，从而对多张局部图像进行拼接。

处理单元40可以通过软件或者硬件实现，在此并不限定。

需要说明的是，在一些实施例中，由于成像相机与定位相机是同步触发的，同时触发的成像图像与定位图像在存储时彼此配对。

处理单元40可以包含姿态估计模块和图像拼接模块两部分，这两部分可以通过软件或硬件实现，本发明并不限定。

姿态估计模块从定位相机图像中分析所拍摄得到的图案，并通过和其他时间拍摄的定位图片之间图案的差异，识别图像是否有平移、缩放、旋转等变化，并依次检测和计算定位相机与参照体之间相对方位、角度等姿态变化，对定位相机相对于参照体的拍摄姿态进行估计；由于定位相机和成像相机相对位置恒定，且参照体与被拍摄物体相对位置恒定，可通过定位相机30相对于参照体20的拍摄位姿信息反推出成像相机10相对于被拍摄物体100的拍摄位姿信息。

可选的，姿态估计模块也可和外部位置传感器、速度传感器、加速度传感器等相连，结合外部传感器信息和定位图像，更精准可靠的对当前姿态进行计算。

图像拼接模块从姿态估计模块获取成像相机在拍摄每张图片时的姿态信息，并据此将运动扫描过程中的图像和信息序列彼此拼接在一起，形成大视场、高精度的结果。

此处的同步触发单元，只是指实现同步控制的这一功能模块，在物理上，它可以是和处理单元独立的，也可以是一体的，在同一电路板，或在同一元器件内。

同样的，处理单元内的姿态估计模块和图像拼接模块在物理上可以是互相独立的，也可以是一体的，在同一电路板，或在同一元器件内。

在一实施例中，所述图像采集处理设备还包括位置传感器、速度传感器、加速度传感器至少其中之一，用于采集所述定位相机和/或所述成像相机的拍摄位姿信息，并修正所述成像相机的拍摄位姿信息。

在本实施例提出的方案中，成像相机和定位相机相对位置固定，被拍照物体和参照体相对位置固定；成像相机与被拍照物体在不同的相对位置、姿态下拍照；每次拍照的时间和拍照位置由同步触发单元控制；拍照所得的成对图像回传到处理单元内；处理单元通过运动姿态估计模块计算出成像图片彼此错位信息，而后通过图像拼接模块获得大场景的拼接后图像信息。

在一实施例中，所述参照体20为两个或两个以上，例如可以包括呈固定角度设置的第一参照体和第二参照体。即，在图4所示的参照体20的基础上，还可以包括另一个参照体。两个以上的参照体例如可以供定位相机更方便地获得其他坐标，例如，图4所示的参照体20用于提供X-Y平面的定位标记，而第二参照体用于提供Z轴的定位标记。多个定位相机30对不同的参照体20分别进行拍摄，可以使得处理单元更快捷、简便地计算获得拍摄位置信息。再例如，定位相机30所拍摄的多个参照体20的定位标记能够集中反映拍摄位置，相比于一个参照体，多个参照体的设置也可以使得处理单元更快捷、简便地计算获得拍摄位置信息。

由上述可知，本发明方案与现有技术的方案1的区别至少在在于采用了多个拍照位置获得的图像拼接成像；本发明方案与现有技术的方案2的区别至少在于：在本方案中，被拼接的多个图像是通过同一个成像相机经过运动走位，在不一样的时间获得的，因而需要准确的运动姿态估计；而在方案2中，多个图像来自于多个相机，彼此之间姿态恒定，可事先标定出，无需运动姿态估计；本发明方案与现有技术的方案3的区别至少在于：本方案在定位相机通过拍摄参照体获得的图像来获得待拼接图像之间的错位信息；原始信息由定位相机内的图像传感器获得，而非使用外部的一个或者多个一维位移传感器，亦非使用成像相机的图像信息计算图像间错位。所以本发明无需高精度位移传感器，无需高稳定性载台和高精度运动机构，成本很低；同时，参照体的外观特点和图案可专门设计，一般具有丰富的标记和纹理信息，避免了均匀外观区域无法通过图像自身信息拼接的难题。

第三实施例

本发明第三实施例提出一种图像采集处理方法，包括如下步骤：

S301，接收成像相机拍摄的多张被拍摄物体的局部图像和定位相机拍摄的多张参照体的定位图像，其中参照体的定位图像包含定位标记，所述多张局部图像和多张定位图像的拍摄位置相互对应；

S302，利用所述定位标记确定所述多张定位图像的拼接方法；

S303，利用所述定位图像的拼接方法，确定成像相机对应拍摄的多张被拍摄物体的局部图像的拼接方法，并利用所述拼接方法对多张被拍摄物体的局部图像进行拼接。

在优选实施例中，所述利用定位标记确定所述多张定位图像的拼接方法的步骤，即步骤S302，可以包括如下子步骤：

S3021，获取参照体的全局图像Pref；

S3022，获取第i次拍摄时，被拍摄对象的局部图像P(i)和参照体的局部图像Pref(i)；

S3023，从所述全局图像Pref中搜索参照体的局部图像Pref(i)所处的位置，确定参照体的局部图像P(i)在被拍摄对象的全局图像中的位置信息；

检测所获得参照体的局部图像Pref(i)相对于全局图像Pref对应部分原始局部图像的缩放、旋转和畸变，并根据所得的缩放、旋转、畸变系数，对被拍摄对象的局部图像P(i)进行修正；

S3024，将修正后的被拍摄对象的局部图像，依据所述位置信息与其他修正后的被拍摄对象的局部图像进行拼接。

在另一实施例中在优选实施例中，所述利用定位标记确定所述多张定位图像的拼接方法的步骤，即步骤S302，可以包括如下子步骤：

S3025，获取在第i次拍摄时，被拍摄对象的局部图像P(i)和参照体的局部图像Pref(i)；

S3026，获取第j次拍摄时，被拍摄对象的局部图像P(j)和参照体的局部图像Pref(j)；

S3027，根据参照体的局部图像Pref(i)和局部图像Pref(j)之间的重叠区域的匹配关系，计算第i次拍摄和第j次拍摄时参照体的局部图像Pref(i)与Pref(j)之间的相对位置信息，并根据所述相对位置信息得到第i次拍摄和第j次拍摄时被拍摄对象的局部图像P(i)和P(j)的相对位置信息；

S3028，根据重叠区域的缩放、旋转和畸变，确定两次图像采集的缩放、旋转、畸变系数，对第i次拍摄和第j次拍摄时被拍摄对象的局部图像P(i)和P(j)进行修正；

S3029，将修正后的第i次拍摄和第j次拍摄时被拍摄对象的局部图像P(i)和P(j)局部图像，根据所述被拍摄对象的局部图像P(i)和P(j)的相对位置信息进行拼接。

由于方法实施例与设备实施例对应，相关内容可以参照设备实施例，在此不再赘述。

综上所述，本发明提出的图像采集处理方法至少具有如下优点：

本发明实施例提出的图像采集处理方法，通过相对固定的成像相机和定位相机，以及相对固定的被拍摄物体和参照体，利用定位相机所拍摄的参照体的图像中包含的定位标记，对应地确定被拍摄物体的局部图像的拼接方法。由于通过定位标记可以快速地获得图像拼接所需的图像错位信息，本发明基于运动装置和图像拼接的成像方式，通过成像系统与算法的设计，从原理上保证了图像错位信息可以非常精确和稳定的获得，并且对驱动装置的本身的精度和稳定性要求很低，具有系统简单、成本低、制造精度要求低、图像拼接稳定性高等优点。

此外，本发明无需高精度的位移传感器、导轨、伺服系统，对运动系统要求很低；不易受到环境温度、湿度等干扰；环境适用性广泛；本发明不对被拍摄物体表面外观做任何限制，对分布均匀、单一且无纹理的物体区域，也可实现大范围的准确拼接。并对图像间的错位信息计算量小。

第四实施例

本发明第四实施例提出一种图像采集处理设备，用于采集被拍摄物体的多个局部图像并进行拼接，包括：

第一连接装置，用于固定成像相机，所述成像相机用于拍摄被拍摄物体的多个局部图像；

设置有定位标记的参照体，所述参照体为至少一个，并与所述被拍摄物体相对固定；

第二连接装置，用于固定定位相机，所述定位相机与所述成像相机相对固定，用于拍摄所述参照体，获取包含至少部分定位标记的定位图像；以及

处理单元，用于根据所述定位相机拍摄的多个定位图像拼接所述成像相机拍摄的多个局部图像。

第四实施例与第一实施例相似，相关内容可以参考第一实施例。不同之处在于第四实施例的图像采集处理设备不包括成像相机和定位相机，或者二者其中之一。第四实施例的图像采集处理设备包括第一和第二连接装置，用来连接外接的成像相机和定位相机。

本发明实施例提出的图像采集处理方法，通过相对外接的成像相机和定位相机，以及相对固定的被拍摄物体和参照体，利用定位相机所拍摄的参照体的图像中包含的定位标记，对应地确定被拍摄物体的局部图像的拼接方法。由于通过定位标记可以快速地获得图像拼接所需的图像错位信息，本发明基于运动装置和图像拼接的成像方式，通过成像系统与算法的设计，从原理上保证了图像错位信息可以非常精确和稳定的获得，并且对驱动装置的本身的精度和稳定性要求很低，具有系统简单、成本低、制造精度要求低、图像拼接稳定性高等优点。

此外，本发明无需高精度的位移传感器、导轨、伺服系统，对运动系统要求很低；不易受到环境温度、湿度等干扰；环境适用性广泛；本发明不对被拍摄物体表面外观做任何限制，对分布均匀、单一且无纹理的物体区域，也可实现大范围的准确拼接。并对图像间的错位信息计算量小。

以上对本申请所提供的一种图像采集处理设备和方法，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (14)

1.一种图像采集处理设备，用于采集被拍摄物体的多个局部图像并进行拼接，其特征在于，包括：

成像相机，用于拍摄被拍摄物体的多个局部图像；

设置有定位标记的参照体，所述参照体为至少一个，并与所述被拍摄物体相对固定；

定位相机，与所述成像相机相对固定，用于拍摄所述参照体，获取包含至少部分定位标记的定位图像；以及

处理单元，用于根据所述定位相机拍摄的多个定位图像拼接所述成像相机拍摄的多个局部图像。

2.根据权利要求1所述的图像采集处理设备，其特征在于，所述图像采集处理设备还包括同步触发单元，用于控制所述成像相机和所述定位相机在同一时间分别针对被拍摄物体和参照体进行拍摄。

3.根据权利要求1所述的图像采集处理设备，其特征在于，所述处理单元用于:

接收所述成像相机拍摄的局部图像和所述定位相机拍摄的包含所述定位标记的图像，并利用多个定位图像确定拍摄位姿信息，以对成像相机所拍摄的多个局部图像进行拼接。

4.根据权利要求1所述的图像采集处理设备，其特征在于，所述处理单元用于：

处理单元存储参照体的全局图像(Pref)；

获取第i次拍摄时，被拍摄对象的局部图像(P(i))和参照体的局部图像(Pref(i))；

从所述全局图像(Pref)中搜索局部图像(Pref(i))所处的位置，确定局部图像(P(i))在被拍摄对象的全局图像中的位置信息；

检测所获得局部图像(Pref(i))相对于全局图像(Pref对应部分原始局部图像的缩放、旋转和畸变，并根据所得的缩放、旋转、畸变系数，对被拍摄对象的局部图像(P(i))进行修正；

将修正后的局部图像，依据位置信息拼接至所述全局图像中。

5.根据权利要求1所述的图像采集处理设备，其特征在于，所述处理单元用于：

获取在第i次拍摄时，被拍摄对象的局部图像(P(i))和参照体的局部图像(Pref(i))；

获取第j次拍摄时，被拍摄对象的局部图像(P(j))和参照体的局部图像(Pref(j))；

根据局部图像(Pref(i))和局部图像(Pref(j))之间的重叠区域的匹配关系，计算第i次拍摄和第j次拍摄时参照体的局部图像(Pref(i))与(Pref(j))之间的相对位置信息，并根据所述相对位置信息得到第i次拍摄和第j次拍摄时被拍摄对象的局部图像(P(i))和(P(j))的相对位置信息；

根据重叠区域的缩放、旋转和畸变，确定两次图像采集的缩放、旋转、畸变系数，对第i次拍摄和第j次拍摄时被拍摄对象的局部图像(P(i))和(P(j))进行修正；

将修正后的第i次拍摄和第j次拍摄时被拍摄对象的局部图像(P(i))和(P(j))局部图像，根据上述所得(P(i))和(P(j))的相对位置信息，完成两个局部图像的拼接。

6.根据权利要求1所述的图像采集处理设备，其特征在于，所述参照体包括呈固定角度设置的第一参照体和第二参照体。

7.根据权利要求1所述的图像采集处理设备，其特征在于，所述图像采集处理设备还包括驱动装置，用于控制所述成像相机和所述定位相机的同步运动，或用于控制所述被拍摄物体和所述参照体的同步运动。

8.根据权利要求2所述的图像采集处理设备，其特征在于，所述成像相机和所述定位相机包括快门，所述同步触发单元信号连接所述成像相机和所述定位相机的快门。

9.根据权利要求1所述的图像采集处理设备，其特征在于，所述图像采集处理设备还包括：

光源，用于为被拍摄物体和参照体提供光线，所述同步触发单元信号连接于所述光源，并控制所述被拍摄物体对应的光源和所述参照体对应的光线频闪同步。

10.根据权利要求1所述的图像采集处理设备，其特征在于，所述参照体的定位标记包括如下至少其中之一：

结构标记、纹理标记、图案标记。

11.根据权利要求3所述的图像采集处理设备，其特征在于，所述图像采集处理设备还包括位置传感器、速度传感器、加速度传感器至少其中之一，用于采集所述定位相机和/或所述成像相机的拍摄位姿信息，并修正所述成像相机的拍摄位姿信息。

12.根据权利要求1所述的图像采集处理设备，其特征在于，所述定位相机为至少一个，所述成像相机也为至少一个。

13.一种图像采集处理方法，其特征在于，包括：

接收成像相机拍摄的多张被拍摄物体的局部图像和定位相机拍摄的多张参照体的定位图像，该参照体的定位图像包含定位标记，，所述多张局部图像和多张定位图像的拍摄位置相互对应；

利用所述定位标记确定所述多张定位图像的拼接方法；

利用所述定位图像的拼接方法，确定成像相机对应拍摄的多张被拍摄物体的局部图像的拼接方法，并利用所述拼接方法对多张被拍摄物体的局部图像进行拼接。

14.一种图像采集处理设备，用于采集被拍摄物体的多个局部图像并进行拼接，其特征在于，包括：

第一连接装置，用于固定成像相机，所述成像相机用于拍摄被拍摄物体的多个局部图像；

设置有定位标记的参照体，所述参照体为至少一个，并与所述被拍摄物体相对固定；

第二连接装置，用于固定定位相机，所述定位相机与所述成像相机相对固定，用于拍摄所述参照体，获取包含至少部分定位标记的定位图像；以及

处理单元，用于根据所述定位相机拍摄的多个定位图像拼接所述成像相机拍摄的多个局部图像。