CN113306308A - 基于高精度视觉定位的便携式打印复印机的设计方法 - Google Patents

Abstract

本发明提出了一种基于高精度视觉定位的便携式打印复印机设计方法。该方法采用了多种类型的图像和位置跟踪传感器、并使用智能计算单元，简化了传统打印复印机复杂的机械结构；通过高精度的视觉定位功能突破了传统便携式打印机对打印介质、不同行对齐方式、打印幅面尺寸的限制要求，使得打印操作更为灵活；通过实现图像的原比例拼接式扫描，可以更容易地完成任意大小图像的扫描、复印、缩印、扩印功能；通过结合扫描和打印功能，可以实现与现有图像的拼接、对齐打印。保证打印或扫描图像的拼接定位精度<0.1mm。在一个打印或扫描任务中，对不同行间的起始位置和操作方向没有限定，使用方式非常灵活。

Description

基于高精度视觉定位的便携式打印复印机的设计方法

技术领域

本发明涉及一种打印机的设计方法，特别是指一种基于高精度视觉定位的便携式打印复印机的设计方法，属于打印复印机技术领域。

背景技术

现有的便携式打印设备在打印介质和打印幅面尺寸方面具有一定瓶颈。要么有些实现对打印介质有要求，只能在专用的打印介质(一般是指定尺寸的打印纸)上进行打印；要么有些实现虽然可以在多种物理介质表面进行打印，但打印内容只能是单行或者无法实现多行高精度的拼接打印，进而无法完成更大篇幅内容的无缝式打印。

现有便携式打印设备一般不具备图像扫描功能。虽然已经有专用的便携式图像扫描设备，但对扫描图像的尺寸有一定要求，无法完成对任意篇幅图像的原比例拼接式扫描。

发明内容

本发明提出了一种基于高精度视觉定位的便携式打印复印机设计方法。该方法采用了多种类型的图像和位置跟踪传感器、并使用智能计算单元，简化了传统打印复印机复杂的机械结构；通过高精度的视觉定位功能突破了传统便携式打印机对打印介质、不同行对齐方式、打印幅面尺寸的限制要求，使得打印操作更为灵活；通过实现图像的原比例拼接式扫描，可以更容易地完成任意大小图像的扫描、复印、缩印、扩印功能；通过结合扫描和打印功能，可以实现与现有图像拼接、对齐打印。

利用本发明提供的打印复印机设计方法及标定方法，可以实现高精度的视觉定位，定位结果的位置误差<0.1mm，朝向误差<0.1度。在600dpi的打印复印配置下拼接误差<3像素，基本可以保证肉眼不可见。

本设计方法在阐述系统工作过程时把打印复印介质表面作为绝对平面来处理，实际上本方法也适用于局部近似于绝对平面的非平面介质。这种简化处理在保证精度的前提下降低了系统设计的复杂度。

系统整体设计

便携式打印复印机整体设计分为硬件系统和软件系统两个部分。硬件系统是软件系统的工作基础。便携式打印复印机可以通过网络或者蓝牙等与其它外部设备(智能手机、平板电脑或者台式计算机等)进行通信，接收打印数据。

便携式打印复印机的硬件系统由主控计算机电路(含外部通讯设备)、打印头、打印头驱动电路、摄像头、照明装置、接触式图像传感器或者CCD线性图像传感器等类似的传感器、位置跟踪装置(可选方案包括：线性导轨及光栅尺或容栅式位移传感器等，惯性测量单元IMU，滚轮式光电编码器，光电鼠标传感器)、压力传感器、滚轮、用户接口装置(包括触摸屏、操纵按钮、状态指示灯或指示灯带)、电源、打印机壳体等。

主控计算机电路安装在打印机壳体内，是核心的计算、数据存储和通信单元。主控计算机电路与打印头驱动电路、摄像头、照明装置、接触式图像传感器、位置跟踪装置、压力传感器、用户接口装置和电源通过线缆连接。

打印头可以是任何一种已知的打印组件，可以设有一个或多个。本设计方法只以墨盒式喷墨打印头组件为例。但实际实施时并不限于该种类型的打印头组件。打印头固定安装在打印机壳体内的下部，打印头的喷头部分(以下简称打印头喷头)直接与打印介质近距离接触，距离一般在0.5mm～5mm。

打印头驱动电路安装在打印机壳体内并与打印头相连，用于接收主控计算机发送来的具体打印数据和通过位置跟踪装置得到的运动数据，控制打印头完成打印动作。

摄像头可以设有一个或多个，用于获取打印扫描介质表面的图像信息。摄像头固定安装在打印机壳体外侧靠上的位置，以便于拍摄打印复印机周围介质上的图像，并获得较广的视野。通过对摄像头拍摄的图像提取视觉特征并与预先存储的图像数据或者介质物理边界进行配准，完成粗定位功能。另外，通过摄像头和位置跟踪装置可以对介质表面的图像进行扫描拼接，并得到完整平面图像数据及其物理尺寸信息。

照明装置用于为摄像头提供统一、稳定的照明条件，提高采集图像信息的质量，避免因光照条件变化对系统定位精度或者扫描图像质量的影响。照明装置安装在打印机壳体的外侧，方便为摄像头视野范围内的介质表面提供统一照明条件即可，且应避免产生明显阴影。

接触式图像传感器或者CCD线性图像传感器等类似的传感器具备相似的功能，在实现上具备互相替代性。下文将以接触式图像传感器为例进行阐述，但相关方法对其它类似传感器也是适用的。接触式图像传感器用于获取打印复印机附近介质表面的图像信息，可以设有一个或多个。接触式图像传感器固定安装在打印机壳的底部并与介质近距离接触，距离一般在0.5mm～5mm。通过对接触式图像传感器采集图像提取视觉特征并与预先存储的图像数据或者介质物理边界进行配准完成精定位功能。除此之外，通过接触式图像传感器和位置跟踪装置可以对介质表面的图像进行扫描拼接，并得到完整的图像数据及其物理尺寸信息。

位置跟踪装置有多种设计方法，但总体功能是类似的，即在移动打印复印过程中对打印复印机进行单自由度或者多自由度的位移、运动或相对姿态测量。由于打印过程中打印复印机移动速度较快，而单个像素的打印尺寸非常小(单个像素的打印尺寸是打印分辨率dpi的倒数，比如对于600dpi的打印配置一个像素的尺寸约为42.33微米)，因此对位置跟踪测量的精度、频率、延时都有较高要求。其中，使用线性导轨及光栅尺的方法成本最低稳定性最好，因此下文将以该方法为例阐述其它环节的设计方法。但需要说明相关设计方法不仅局限于该种位置跟踪方法，对其它备选的方法也是适用的，比如当下文中提到线性导轨移动方向时，替换成滚轮移动方向也是可行的；当下文中提到光栅尺时，替换成容栅尺或磁栅尺也是可行的。

不同类型的位置跟踪装置其安装方法有一定差异，总体来讲以最为准确的测量打印复印机的运动为目的。对于使用线性导轨及光栅尺的方案，光栅带沿线性导轨的长度方向固定安装在线性导轨上，光栅头固定安装在打印机壳体上并可以沿光栅带移动从而测得打印复印机的位移。惯性测量单元IMU与打印机壳体固定连接即可，对位置没有特殊要求。滚轮式光电编码器安装在滚轮上，滚轮安装在打印机壳体下方与介质直接接触；打印复印机移动过程中滚轮滚动且不发生滑动。光电鼠标传感器水平固定在打印机体下方，感光部件与介质近距离接触。

对于使用线性导轨及光栅尺的方案，在打印复印过程中线性导轨是固定不动的，打印复印机体沿着线性导轨移动完成打印或图像扫描。线性导轨主要有两种功能，一是用于安装光栅尺进行位移测量，二是可以保证打印复印机的移动稳定性。对于其它类型的位置跟踪装置，可以使用相应的传感器测量运动，而打印复印机的移动稳定性则通过滚轮来保证。

压力传感器安装到线性导轨或者滚轮等支撑件上，用于检测线性导轨是否固定，以及用户是否有按压等特殊指令动作等。

滚轮安装在打印机壳体的底部并直接与介质接触，对打印机壳体起到支撑、稳定作用。

用户接口装置包括触摸屏、操纵按钮、状态指示灯或指示灯带等，都安装在打印机壳体表面，便于用户交互使用打印复印机。

电源安装在打印机壳体内，为整个系统提供能源。电源可以进行充放电，便于在不同场景的使用。

打印机壳体是打印复印机的结构框架，其它构件依赖其进行安装，并对内部构件起到保护作用。

需要说明的是，实际实现中可以是上述硬件设备的选择及组合，构件的具体样式、构件间的连接或结构关系也可以在原理支持的范围内产生不同变化。

便携式打印复印机的软件系统主要包括主控制软件和打印头驱动软件。

主控制软件包括：操作系统、设备驱动、视觉定位算法、图像扫描拼接算法、打印复印流程驱动、设备标定程序、打印图像渲染程序、用户接口软件等。

操作系统是软件系统的基础，可以采用Linux或Windows的发布版本，具备丰富的外部通信功能、底层库、工具软件和图形软件，并支持多种存储设备、触摸屏等用户交互设备等。对于具备上述功能的其它类型的操作系统也是可行的。

设备驱动用于获取各种硬件传感器数据，包括采集图像数据、运动测量数据、压力数据等。此外，设备驱动还用于其他输入输出设备的操控。

视觉定位算法对摄像头或接触式图像传感器获取到的图像数据(结合位置跟踪装置获得的运动数据得到平面图像)提取视觉特征，并与预先存储的图像数据或者介质物理边界进行配准，计算出打印机复印机图像传感器的位姿(包括位置和旋转)，进而根据系统参数可以得到打印喷头当前喷印位置。视觉定位功能是实现高精度拼接式打印的重要保障。

图像扫描拼接算法处理多次扫描过程中摄像头或接触式图像传感器获取到的图像数据及位置跟踪装置采集的运动数据，拼接生成单幅扫描图像并得到其物理尺寸信息。扫描得到的图像可以用于保存、复印或者用作视觉定位的配准图像。

打印复印流程驱动通过执行各个环节完成完整的打印复印任务。

设备标定程序用于标定不同传感器本身的测量模型参数及它们之间、它们与打印执行构件之间的空间关系，包括但不限于：摄像头的内参，不同摄像头间的外参，IMU与摄像头之间的外参，打印复印机平置在介质表面后摄像头与介质平面的相对位置关系(以下简称为摄像头与介质平面的外参关系)，摄像头与线性导轨移动方向的空间关系，摄像头与接触式图像传感器之间的空间关系，摄像头与打印头喷头之间的空间关系，接触式图像传感器与打印头喷头之间的空间关系，接触式图像传感器与线性导轨移动方向之间的安装夹角，打印头喷头与线性导轨移动方向之间的安装夹角，光电鼠标传感器x方向与线性导轨移动方向的安装夹角等。不同的设备具有不同的内外参设置，且随着时间变化会有一定变化，因此在正常使用设备前需要先进行标定。设备标定是实现高精度定位、进行准确拼接式打印扫描的前提。在不同的实现中，可能只需要标定上述设备参数的全部或部分。

打印图像渲染程序负责将不同类型的数据文件在一定的配置下渲染成可以进行打印的图像数据。该程序支持不同类型的数据文件，包括pdf、word、ppt、html、矢量图形数据等。

用户接口软件负责实现用户界面交互、打印复印任务管理、打印参数设置、系统状态显示、数据管理、设备管理等功能。

打印喷头驱动软件工作在打印喷头专门的驱动电路板上，接收主控制软件发送的打印数据并结合位置跟踪装置数据驱动打印喷头完成具体的打印动作。

打印流程设计方法

一个完整的打印流程包括发起打印任务和执行多次打印会话两大步骤。

发起一次打印任务后可以在打印介质表面的预定位置打印预设尺寸的图像。发起打印任务的子步骤包括：

步骤一：选择要打印的数据，打印数据的来源和格式可以有不同的方式。

步骤二：对打印数据进行渲染，主要是将非图像格式的打印数据渲染成图像格式，或者将图像数据进行上采样或者降采样以改变其分辨率。

步骤三：设置辅助定位特征。在有些场景下，介质表面图像内容的特征非常稀疏，以致难以完成打印机定位及多行打印图像的拼接。这种情况下需要借助一些辅助图像特征来完成定位。可行的方法包括：往打印介质平面上预设特征丰富的图像信息，比如可以提前固定放置或者打印用于定位的图像；往要打印的图像中添加专门用于定位的隐形特征图层，该图层通过特殊的墨水(比如含有在紫外线下会荧光的物质的墨水)来打印，直接肉眼不可见，但通过特殊的成像条件可以显像。

步骤四：选择初始行打印定位方法，进而确定整体的打印位置。不同的初始行打印定位方法包括：根据介质物理边界定位，根据介质表面图像定位，通过人工触发指定打印位置。对于根据介质表面图像定位的方法还需要提前通过图像扫描拼接获取介质表面图像的数据和物理尺寸信息。

步骤五：打印参数配置、效果预览及调整等，可以设置打印尺寸、分辨率等参数，也可以对具体的打印位置进行设置。

打印会话就是一行打印内容完成的过程。将多次打印会话打印的内容拼接在一起即完成一个完整的打印任务。一个完整的打印会话的子步骤包括：

步骤一：定位初始化过程。除人工触发指定打印位置的初始行之外，其余每行打印前都需要进行定位初始化。主要对打印复印机的摄像头或接触式图像传感器进行位姿估计，进而根据提前标定好的设备参数计算出打印喷头的位置及线性导轨移动方向，以完成高精度拼接式打印。使用摄像头、接触式图像传感器(并辅以位置跟踪装置)获取到的图像数据来完成定位初始化。这两种类型的传感器具有不同的观测模型和定位精度。其中前者数据视野范围大、定位精度相对低，后者数据视野范围小、定位精度更高。通过将两种视觉定位手段结合，可以得到同时兼具大视野范围和高定位精度的方法。

将摄像头数据与打印介质上已打印内容的图像数据、打印介质的物理边界或者打印介质上的物理尺寸已知的图像数据进行配准来进行粗定位。粗定位的具体方法包括：通过提取、匹配平面线特征解算摄像头位姿，通过提取、匹配平面点特征并结合Pnp Ransac算法计算摄像头位姿，通过提取、匹配图像中的文本特征计算摄像头位姿，通过光度误差优化的方法进一步调整摄像头位姿。

对于粗定位如果只使用单个摄像头，则视野范围相对局限、可能无法捕捉到足够的特征来完成定位，因此使用多摄像头数据融合定位的方法可以扩大视野范围。具体的方法包括：利用摄像头与介质平面的外参关系和摄像头的内外参将多个摄像头拍摄到的图像合成单个虚拟图像进行定位；采用基于重投影误差优化的多摄像头融合定位方法进行定位。

通过粗定位可以估计出摄像头位姿。为了进一步利用接触式图像传感器数据进行精定位，需要先根据摄像头位姿计算出接触式图像传感器的位置。这是根据摄像头与接触式图像传感器的空间关系计算出来的。该参数可以通过标定的方法提前获得。

由于接触式图像传感器安装方向与线性导轨移动方向不完全垂直，直接根据接触式图像传感器采集到的图像会有横向的畸变。因此在将采集到的每一列图像拼出用于精定位的图像之前，需要对每一列的数据按照接触式图像传感器与线性导轨移动方向的夹角倾斜对应角度。该预处理环节对于提高定位精度是有益的。

利用上面预处理环节获取到的接触式图像传感器图像数据与打印介质上已打印内容的图像数据、打印介质的物理边界或者打印介质上的物理尺寸已知的图像数据进行配准完成精定位。精定位的具体方法包括：通过提取、匹配点特征并结合SVD方法和Ransac算法估计接触式图像传感器在介质平面的2D位置和朝向，通过提取、匹配线特征直接计算接触式图像传感器在介质平面的2D位置和朝向，采用光度误差优化的方法对接触式图像传感器在介质平面的2D位置和朝向进行精调。

步骤二：根据定位结果计算打印喷头位置。定位初始化完成后，根据计算出来的接触式图像传感器2D位置和朝向，并利用提前标定好的接触式图像传感器与打印喷头的空间关系，可以计算出打印喷头当前位置。在某些情况下，若不使用精定位只采用粗定位，则根据摄像头位姿，并利用提前标定好的摄像头与打印喷头的空间关系，也可以计算出打印喷头当前位置。

步骤三：单行打印内容生成。确定打印喷头位置后，需要根据线性导轨移动方向切割打印图像未打印部分生成本次要打印的内容。进而主控计算机将不同打印头的单行打印内容发送给打印驱动电路，完成具体的打印工作。该方法也是保证多行打印内容良好拼接的关键。打印喷头安装方向与线性导轨移动方向的夹角可以通过标定的方法提前获得。

步骤四：打印过程中的定位跟踪。在打印过程中需要通过位置跟踪装置对打印机的运动连续进行高速测量，以确定打印喷头即时位置，并触发相应位置图像内容的打印动作，这就是定位跟踪过程。备选的具体实现方法包括：线性导轨和光栅式(或容栅式)位移传感器，IMU(惯性测量单元)，安装在滚轮装置上的光电式编码器，光电鼠标式传感器等。执行定位跟踪时可以根据初始或校正定位结果并结合位置跟踪装置的测量数据直接计算出当前位置。

步骤五：打印过程中的位置校正。在打印过程中可能由于操作的不稳定性等原因造成打印机在打印移动方向的横向有一定扰动或者产生一定旋转运动，从而导致根据位置跟踪装置计算出来的位置与实际位置出现一定偏差。除此之外初始定位误差、运动测量误差或者打印介质不稳定也可能会产生定位跟踪误差。这将导致多行打印图像之间出现重叠、错位或者缝隙，影响打印质量。为了消除打印过程中的定位跟踪误差，需要在打印过程中重新进行位置校正。具体方法与定位初始化相同。对于使用接触式图像传感器数据进行位置校正的方法，只需要使用最近局部范围内采集到图像数据即可。位置校正后需要及时调整打印内容，方法与打印内容生成类似。在单行打印中可以进行多次位置校正。

为了消除打印复印过程中的定位跟踪误差，除了使用定位初始化的方法重新估计所有自由度的运动之外，还可以只使用单个线特征消除旋转和横向的运动估计误差，实现一种沿直线边稳定打印复印的功能。

扫描流程设计

若要根据打印介质上现有的图像内容进行定位，需要准确获取打印介质上的图像数据及其物理尺寸信息。如果该部分内容属于本次打印任务已经完成的打印会话部分，则系统自然已经具有该信息。否则就需要通过图像扫描拼接的方式来获得定位图像信息。

除了可以为打印任务提供定位参照之外，通过图像扫描拼接还可以生成要打印的内容。对已有的图像数据进行扫描后得到要打印的数据源，进而将其打印到其他物理介质上，即实现复印、缩印、扩印功能。

图像扫描拼接的流程包括：

步骤一：选择扫描使用的图像传感器。有两种方案，即摄像头或者接触式图像传感器。

步骤二：进行多次图像扫描。对于使用摄像头的方案，通过摄像头和位置跟踪装置采集到的数据，并结合摄像头与介质平面的外参关系、摄像头内参、摄像头与线性导轨移动方向的空间关系可以计算出平面扫描图像。而对于使用接触式图像传感器的方案，通过接触式图像传感器和位置跟踪装置，并结合接触式图像传感器与线性导轨移动方向的夹角关系，也可以直接得到平面扫描图像。

步骤三：通过将多次扫描之后得到的图像进行特征提取、配准和拼接，可以得到一副完整的、具有原始物理尺寸信息的图像。

本发明的有效效果在于基于本发明方法设计的打印复印机可以实现在多种平面介质上进行任意尺寸图像的高精度拼接式打印、扫描及复印操作。平面介质包括不同尺寸的纸面、木材、金属、塑料、瓷面、墙面等。高精度的视觉定位方法可以保证打印或扫描图像的拼接定位精度<0.1mm。在一个打印或扫描任务中，对不同行间的起始位置和操作方向没有限定，使用方式非常灵活。

附图说明

图1a是一种带线性导轨的便携式打印复印机的结构图。

图1b是图1a中结构的爆炸图。

图2a是一种不带线性导轨的便携式打印复印机的结构图。

图2b是图2a中结构的爆炸图。

图3是系统软件整体结构图。

图4是打印工作整体流程图。

图5是一种使用摄像头的粗定位方法流程图。

图6是一种使用接触式图像传感器的精定位方法流程图。

图7a、7b是利用摄像头图像和线特征进行粗定位的方法图。

图8是通过提取、匹配点特征进行粗定位的方法图。

图9是利用摄像头位姿计算接触式图像传感器2D位姿方法图。

图10是接触式图像传感器数据预处理方法图。

图11是通过提取、匹配点特征进行精定位的方法图。

图12是通过提取、匹配线特征进行精定位的方法图。

图13是利用接触式图像传感器2D位姿计算打印喷头位置的方法图。

图14是利用多摄像头数据合成虚拟图像数据的方法图。

图15是基于重投影误差优化的多摄像头数据融合定位方法图。

图16是打印内容生成方法图。

图17是光电鼠标传感器与线性导轨移动方向角度关系图。

图18a、18b是利用线特征消除定位跟踪误差的方法图。

图19是利用接触式图像传感器进行图像扫描拼接的方法图。

图20是利用摄像头进行图像扫描拼接的坐标系示意图。

图21是接触式图像传感器与线性导轨移动方向空间关系的标定方法图。

图22是摄像头与接触式图像传感器空间关系的标定方法图。

图23是摄像头与打印喷头空间关系的标定方法图。

图24是接触式图像传感器与打印喷头空间关系的标定方法图。

图25是打印喷头与线性导轨移动方向安装夹角的标定方法图。

图中标号说明如下：

1-状态指示灯，2-操纵按钮，3-触摸屏，4-主控计算机电路，5-摄像头及照明装置，6-打印头，7-打印头驱动电路，8-惯性测量单元，9-光电鼠标传感器，10-电源，11-接触式图像传感器，12-压力传感器，13-滚轮及滚轮式光电编码器动子，14-滚轮式光电编码器定子，15-线性导轨滑块及光栅头，16-线性导轨及光栅带，17-打印机上盖，18-打印机壳体

具体实施方式

打印复印机结构设计例

图1a和图1b给出了按照本发明中设计方法设计的一种带线性导轨的打印复印机实例。其中，状态指示灯(1)、操纵按钮(2)、触摸屏(3)安装在打印机壳体(18)的外部，便于用户交互使用。主控计算机电路(4)、打印头驱动电路(7)、惯性测量单元(8)、电源(10)安装在打印机壳体(18)内部，并打印机壳体固定连接。摄像头及照明装置(5)固定安装在打印机壳体(18)外部靠上的位置，便于采集打印复印机周围介质上的图像数据。打印头(6)、光电鼠标传感器(9)、接触式图像传感器(11)固定安装在打印机壳体(18)的底部，并与介质近距离接触。打印头驱动电路(7)与打印头(6)连接，用于控制打印头完成具体的打印工作。滚轮式光电编码器定子(14)固定安装在打印机壳体(18)的底部，用于固定滚轮及滚轮式光电编码器动子(13)；其中滚轮部分直接与介质接触，在移动打印、扫描过程中，滚轮随打印复印机滚动。压力传感器(12)固定安装在滚轮式光电编码器定子(14)和打印机壳体(18)之间，便于测量滚轮式光电编码器定子(14)上所承受的压力。线性导轨滑块及光栅头(15)固定安装在打印机壳体(18)上，并在打印扫描过程中沿线性导轨及光栅带(16)滑动。线性导轨及光栅带(16)安装在打印机壳体(18)的底部，在执行打印或者扫描时打线性导轨固定不动，打印复印机沿着线性导轨移动；采用这种结构，既可以实现高精度的位移测量，也可以保证机体运动的稳定性。状态指示灯(1)、操纵按钮(2)、触摸屏(3)、摄像头及照明装置(5)、打印头驱动电路(7)、惯性测量单元(8)、光电鼠标传感器(9)、电源(10)、接触式图像传感器(11)、压力传感器(12)、滚轮式光电编码器定子(14)、线性导轨滑块及光栅头(15)与主控计算机电路(4)通过线缆连接。打印机上盖(17)安装在打印机壳体(18)的上部，对内部结构起到保护作用。

图2a和图2b给出了按照本发明中设计方法设计的一种不带线性导轨的打印复印机实例。不带线性导轨的系统整体构成与带线性导轨的区别是没有线性导轨滑块及光栅头(15)和线性导轨及光栅带(16)；其余部件连接关系与带线性导轨的系统类似。在不带线性导轨的情况下，打印复印机运动的稳定性由滚轮来约束，使打印复印机只能沿着滚轮滚动的方向移动，避免产生横向扰动。不带线性导轨的打印复印机携带和使用更为便利。无论是带线性导轨还是不带线性导轨的结构，都利用摄像头和接触式图像传感器来采集图像数据，并实现高精度的视觉定位。

软件结构设计

图3给出了打印复印机软件系统的结构设计。打印复印机的软件工作在硬件结构基础之上，与硬件结构配合可以实现打印、复印等功能。

复印、缩印、扩印流程实现

在进行复印、缩印或者扩印之前需要先进行图像扫描拼接。由于图像扫描拼接流程支持多次扫描结果的配准、拼接，因此适用于任意尺寸图像的扫描。在进行图像扫描时需要把打印复印机放置于图像所在介质的表面进行扫描移动，相较于传统扫描仪需要把介质放入机器的操作，这种方式更为简便，且除纸介质外还适用于非纸质的具有平面的物体。经过图像扫描拼接后可以得到要复印图像的数据及其物理尺寸信息，并将其作为打印流程的输入。可以把扫描图像按指定尺寸比例打印到预定位置，从而方便的实现复印、缩印、扩印功能。

打印工作整体流程设计

图4给出了打印工作整体流程的设计。通过该流程可以实现对多种数据源的、任意尺寸的、多种初始行定位方式的打印功能。不同打印行通过视觉定位结果进行拼接对齐，保证良好的打印效果。对于定位特征稀疏的场景，通过增加辅助定位特征可以保证定位准确。在单行打印过程中通过位置校正步骤减小定位误差，进一步提高了行间对齐效果。

打印任务发起

发起打印任务时需要指定要打印的数据、初始行定位方法、打印尺寸、打印配置参数等信息，并对打印效果进行预览、调整等。发起一次打印任务后可以在介质的表面打印预设尺寸的图像。打印数据根据不同来源可以分为：

来源一：来自主控计算机本身存储的图像数据或者文档；

来源二：由打印复印机本身扫描拼接后得到的原尺寸图像数据，实现类似复制粘贴式打印或者复印功能；

来源三：从外部设备获取的图像数据，外部设备可以是手机、台式计算机、平板电脑等；

来源四：从网络服务端获取到的远程存储的数据。

在打印任务发起中的初始行定位方法是指定整体打印位置的方式，可以选择的方式包括：

方法一：人工指定打印开始位置(通过特殊动作触发，比如加大按下力度、按动触发按钮等)；

方法二：根据打印介质的物理边界进行配准打印，即可以指定打印图像与打印介质物理边界的位置关系；

方法三：与打印介质表面现有图像进行配准打印，即指定打印图像与打印介质表面现有图像的位置关系。现有图像或者是之前打印任务已经打印的部分，或者是对打印介质之前已经存在的图像进行扫描拼接的结果。

基于摄像头的粗定位流程设计

图5给出了一种基于摄像头的粗定位流程设计。粗定位利用摄像头拍摄的图像估计出摄像头的位姿，为继续进行精定位做准备。粗定位可以发挥摄像头拍摄图像视野比较大的优势，从而在较大的空间范围内确定摄像头当前位姿。根据摄像头位姿结果，并结合提前标定好的摄像头与介质平面的外参关系可以判断出打印复印机是否平置在介质上，以判断是否具备打印会话开始条件。

基于接触式图像传感器的精定位流程设计

图6给出了一种基于接触式图像传感器的精定位流程设计。精定位是在粗定位的结果上继续进行的。在使用接触式图像传感器数据进行精定位前需要先对其进行预处理，以消除接触式图像传感器与线性导轨移动方向不完全垂直所产生的横向畸变，这对提高定位精度是有益的。通过精定位可以计算出接触式图像传感器在介质平面的2D位姿，进而根据接触式图像传感器与打印喷头的位置关系计算出打印喷头在介质平面的位置，为拼接式打印做好准备。由于接触式图像传感器成像分辨率高、与打印喷头距离更近，因此很适合对定位结果的进行局部微调，以提高定位精度。

使用线特征进行摄像头位姿估计

在进行打印定位时可以使用打印介质表面存在的比较显著的线特征，比如打印介质的物理边界或者打印平面上特定的线段标识。通过将摄像头图像中提取的线特征与打印介质表面的线特征进行配准，完成对摄像头位姿的估计。

在该方法中，假设打印介质平面是绝对平面，建立打印平面坐标系与全局坐标系的关系如下图7a所示。在该图中，打印介质平面在全局坐标系的法式方程为n^Tg+d＝[0 01]g一1＝0，其中g＝[x y 1]^T是打印介质平面上点的三维坐标(z坐标值恒为1)，n是打印介质平面的法向量值为n＝[0 0 1]^T，d＝-1，

是全局坐标原点到打印介质平面的距离。

由于在执行打印时打印复印机是平置在打印介质平面上的，因此摄像头坐标系相对打印平面坐标系的pitch角、roll角和z偏移是不变的。假设摄像头相对打印平面坐标系的pitch角、roll角和z偏移已知(可以通过参数标定的方法提前获得)，则只需要两个不平行的平面线特征即可完成对摄像头位姿的估计，即估计出摄像头相对打印平面坐标系的x偏移、y偏移、yaw角。根据打印介质平面上坐标已知的线特征求打印机摄像头位姿的步骤包括：

步骤一：提取摄像头图像中的线特征，并计算其坐标，提取线特征的方法包括LSD(Line Segment Detector，直线段检测算法)等；

步骤二：将提取到的摄像头图像中线特征与打印介质平面上的线特征进行匹配，并根据匹配关系求摄像头位姿。

下面给出根据匹配线特征计算摄像头位姿具体方法及推导过程。

首先，根据打印介质平面上点与摄像头图像对应点坐标的单应矩阵关系推导出线特征及其像的坐标的关系。

设摄像头相对打印平面坐标系的位姿：平移为t＝(t_x t_y t_z)^T，欧拉角(按ZYX轴顺序旋转)为(ψφθ)^T(对应旋转矩阵为R)。其中t_z，φ，θ是摄像头与介质平面的外参关系在打印过程中基本不变且已知，因此只有t_x，t_y，ψ需要去估计。

设p＝[u v 1]^T为打印介质平面点g的像点的齐次坐标，根据摄像头的成像模型，有

其中λ是比例因子，K是提前标定好的摄像头内参其值已知，I是单位矩阵，摄像头位姿的旋转矩阵

其中

θ为已知量；

φ为已知量；

ψ为未知量；

因此打印介质平面上的点g(将其看作二维点)与其像点之间p存在单应矩阵关系λp＝Hg，其中为H单应矩阵，

与具体点的坐标无关。把R，t，n，d带入到H中，由于K，n，d，t_z，φ，θ已知，因此容易推算出H中只有未知变量t_x，t_y，cosψ，sinψ。

然后，根据点的单应矩阵关系，可以得到这两个平面上对应直线的齐次坐标满足单应关系λm′＝H^-Tm，或者λm^T＝m′^TH，其中m为打印介质平面上的直线的齐次坐标，m′为其像的齐次坐标。

最后，根据线的匹配关系构造关于H的约束。H中的未知变量有t_x，t_v，cosψ，sinψ，每组匹配线特征可以构造2个约束(考虑到比例因子的存在)，因此只需通过2组匹配直线即可估计出H，进而得到摄像头的位姿参数t_x，t_v，ψ。线特征在选取时可以考虑打印介质的物理边界或者特定的标识线，特征匹配方法的示意图如图7b所示。

该方法适用于点特征比较少的情况下，用打印介质的物理边界或者打印平面上特定的线段标识来得到打印机位姿状态的估计。

使用点特征进行摄像头位姿估计

很多情况下，打印介质表面存在具有纹理丰富的图像。基于该图像可以提取到特征点信息。打印介质平面上点特征与摄像头图像中点特征的匹配示意图8所示。根据打印介质平面上全局坐标已知的特征点求打印机摄像头位姿的步骤：

步骤一：提取摄像头图像及打印介质表面图像上的视觉特征点，并计算特征点的坐标和描述子，其中特征点提取方法包括FAST、Harris算法等，计算描述子的方法包括BRIEF、ORB、SIFT、SuperPoint算法等(上述算法在计算机视觉领域都是知名方法，另外采用有替代性的方法也是可行的)；

步骤二：用词袋法、基于位姿初值(初值可以通过线特征来估计，或者通过打印操作位置的先验信息估计)的临近搜索法或者深度神经网络(比如Superglue)的方法等进行特征匹配；

步骤三：根据匹配特征对的坐标并基于摄像头的成像模型，采用Pnp Ransac(该方法在计算机视觉领域已经比较成熟，P_np是Perspective-n-Point的缩写、意指n点透视算法，Ransac是RANdom SAmple Consensus的缩写、意指随机抽样一致算法)方法查找匹配内点，并计算出摄像头位姿估计。

此处的Pnp问题与普通场景唯一的差别是打印介质表面的3D点位于相同的平面上。通过Pnp Ransac算法来求解得到摄像头位姿，以避免误匹配对计算结果的干扰。使用特征点的好处是图像中的特征点往往非常丰富，且匹配相对容易、成功率较高。

除了可以使用点特征来进行配准外，还可以提取图像表面的文本特征进行配准，且整体流程基本与基于点特征的配准类似。使用文本特征的好处是可以根据文本内容及上下文信息进行特征匹配，且更为容易。文本特征的坐标可以使用其中心点坐标。

当点特征非常稀疏时，或者要综合使用点特征和线特征时，也可以采用单应矩阵求解的方法，过程基本与使用线特征进行摄像头位姿估计的方法一致。

使用光度误差优化方法进行摄像头位姿估计

采用光度误差优化的方法可以进一步提高摄像头位姿估计的精度和稳定性。对于光度误差优化的方法，问题构建和求解如下。

假设Q_i＝[X_i Y_i Z_i 1]^T是打印介质表面3D点的齐次坐标，其在摄像头图像中匹配的2D点的齐次坐标为p_i＝[u_i v_i 1]^T。根据摄像头的成像模型(针孔模型)，

有

其中R|t是摄像头在全局坐标系中的位姿、用全局坐标系到摄像头坐标系的转换关系表示，ξ是其李代数形式，K是摄像头内参且已知，z_i是介质表面3D点在摄像头坐标系中的深度。

假设I₁是打印介质表面图像数据，I₂是摄像头采集到的图像数据。如果摄像头的位姿准确，则Q_i和p_i的匹配也比较准确，则在两幅图像中这两个点的外观也会比较接近。定义光度误差

对N对匹配点，建立光度误差优化的目标函数为：

通过优化摄像头位姿ξ使上述目标函数达到最小值，即得到对摄像头位姿的估计。该最小二乘优化问题可以使用Levenberg-Marquardt方法来求解。实际中使用该方法时，可以选择像素梯度比较大的点或者特征明显的角点，以提高计算效率。对于ξ的初始值可以使用根据线特征或者点特征方法计算出来的结果，以保证结果的正确性。

使用光度误差的好处是可以充分利用图像中的丰富信息，而不仅仅是所提取到的特征点的信息。因此通过光度误差优化可以得到更稳定、精度更高的结果。在使用该方法之前，需要对摄像头采到的图像和打印介质表面图像的灰度值进行归一化处理，以排除光照条件对灰度值影响。

利用摄像头位姿计算接触式图像传感器位置

通过粗定位可以估计出摄像头位姿。为了利用接触式图像传感器数据继续进行精定位，需要根据摄像头位姿计算出接触式图像传感器的位置。这是通过由摄像头位姿计算接触式图像传感器采集图像与打印平面图像的2D刚体变换来完成的。具体方法如图9所示，主要步骤包括：

步骤一：根据摄像头位姿和摄像头与接触式图像传感器的空间关系，计算出接触式图像传感器两个端点在打印介质平面坐标系中的2D齐次坐标g₁和g₂；

步骤二：设接触式图像传感器两个端点在扫描图像中的齐次坐标为p₁和p₂，接触式图像传感器图像点的坐标与打印介质平面对应点坐标的2D刚体变换为

则有g₁＝Tp₁，g₂＝Tp₂。通过这两对匹配点的约束，联立方程即可求出T。

在初步计算出接触式传感器图像与打印平面图像2D刚体变换之后，可以继续通过将接触式传感器图像与打印平面图像进行配准，来完成精定位。

接触式图像传感器数据的预处理方法

因为接触式图像传感器安装方向与线性导轨移动方向不完全垂直，因此在根据采集到的每一列图像拼出用于定位的图像之前，需要对每一列的数据按一定角度进行倾斜处理，否则接触式图像传感器采集到的图像会有横向的畸变。

在图10中接触式图像传感器安装方向与线性导轨移动方向的夹角θ可以通过提前标定的方法获取。在进行接触式图像传感器数据的预处理时会使用该参数。

考虑到实际中θ是很接近

的，因此去畸变前的像点坐标p＝[x y]^T与去畸变后的像点坐标p′＝[x′y′]^T的近似关系为

利用接触式图像传感器图像的点特征进行精定位

基于接触式图像传感器和位置跟踪装置可以获取到打印介质表面的原比例尺寸图像。利用该采集图像并结合已知的打印介质表面图像可以对打印机相对打印平面坐标系的x偏移、y偏移、yaw角进行估计或优化，从而完成精定位。在此情形下，打印机状态也可以看成是平面上的2D刚体变换。

求打印机2D刚体变换的方法有三种：第一种是基于匹配特征点对的方法，第二种是基于匹配线特征的方法，第三种是对光度误差进行优化的直接方法。

在基于匹配特征点对的方法流程中，需要对打印介质表面图像和接触式图像传感器采集的图像提取并匹配特征点，该部分方法与摄像头数据的处理方法是一致的。特征点的匹配关系如图11所示。根据匹配特征点对，采用SVD方法(矩阵奇异值分解方法)求采集图像到打印介质表面图像的2D刚体变换，计算过程如下：

设打印介质表面特征点坐标为p_i＝[u_i v_i]^T，接触式图像传感器采集图像对应特征点坐标为p′_i＝[u′_iv′_i]^T，它们之间的2D刚体变换

满足p_i＝Rp′_i+t。为了估计T，定义误差项

e_i＝p_i-(Rp′_i+t)

对所有n个特征点对构建最小二乘问题，求使误差平方和达到极小的R，t：

该问题的求解过程如下。首先，定义两组点的质心：

进而可以对优化目标函数做如下处理：

注意到交叉项部分中(p_i-p-R(p′_i-p′))在求和之后为零，因此优化目标函数可以简化为

对于上式中的左右两项，左边只和旋转矩阵R有关，右边既有R也有t，但和质心相关。因此根据左边获取R之后，令第二项为零就能得到t。于是优化函数可以分以下三个步骤求解：

步骤一：计算两组点的质心位置p，p′，然后计算每个点的去质心坐标：

q_i＝p_i-p，q′_i＝p′_i-p′

步骤二：根据以下优化问题计算旋转矩阵：

为了求解上式，对优化函数进行展开：

注意到第一项和R无关，第二项由于R^TR＝I，也与R无关。因此，优化目标函数变为：

为了解R，先定义矩阵：

W是一个2×2的矩阵，对其进行SVD分解，得：

W＝U∑V^T

其中，∑为奇异值组成的对角阵，对角线元素从大到小排列，而U和V为正交矩阵。当W满秩时，R为

R^*＝UV^T

步骤三：根据步骤二计算出来的R^*计算t：

t^*＝p-R^*p′

SVD方法是根据匹配的2D特征点对求2D刚体变换的方法。但其没有考虑误匹配存在的情况。现实中会经常存在匹配有误的特征点对，如果将其当作正确的匹配结果则会影响估计出来的2D刚体变换的精度。为此设计了SVD Ransac方法，具体流程如下：

步骤一：从所有匹配的特征点对中随机选择3个点对；

步骤二：通过选中的点对，利用SVD方法得到对2D刚体变换的估计；

步骤三：根据估计出的2D刚体变换对所有匹配点对计算投影误差，并找到小于误差阈值的点对作为内点；

步骤四：重复步骤一到步骤三，直到达到一定迭代次数后，选出内点数最多的一组结果，并根据所有内点重新利用SVD方法计算得到最终的结果。

利用接触式图像传感器图像的线特征进行精定位

在基于匹配特征线对进行定位的流程中，需要对打印介质表面图像和接触式图像传感器采集图像提取并匹配特征线，该部分方法与摄像头数据的处理方法是一致的。基于匹配特征线求2D刚体变换的方法适用于特征点稀疏但打印介质物理边界可见或者有特征标记线的场景。

利用线特征求2D刚体变换方法如图12所示。设打印介质表面点的齐次坐标为p，接触式图像传感器采集图像上对应点的齐次坐标为p′，它们之间的2D刚体变换

满足p＝Tp′。进而可以得到这两个平面上匹配直线的坐标满足m′＝T^Tm，其中m为打印介质平面上的直线的齐次坐标，m′为其像的齐次坐标。采用两组匹配线特征提供的约束可以直接联立方程求解出t_x，t_y，sinψ，cosψ，进而求解出T。

对接触式图像传感器数据利用光度误差优化方法进行精定位

基于接触式图像传感器数据进行2D刚体变换估计的光度误差优化方法与通过摄像头图像进行3D位姿估计的光度误差优化方法从思想上是类似的。但此处更着重使用局部图像数据来进行光度误差优化。

具体来讲，假设p_1i是打印介质表面上的点坐标，p_2i是接触式图像传感器采集图像上对应点的坐标。它们满足p_1i＝Rp_2i+t。I₁是打印介质表面图像数据，I₂是接触式图像传感器采集图像数据。定义光度误差e_i＝1₁(p_1i)-1₂(p_i2)＝1₁(Rp_2i+t)-I₂(p_2i)，进而有光度误差目标函数J：

其中，δ是2D刚体变换

的李代数形式。

该优化问题可以使用Levenberg-Marquardt方法来求解。为了保证不同光度条件对成像的影响，在计算前可以先对I₁，I₂进行归一化处理。另外T的初值使用粗定位或者其它精定位方法的结果。

利用接触式图像传感器数据计算打印喷头位置

根据接触式图像传感器采集到的原比例图像计算打印喷头位置的流程如下：

步骤一：通过将接触式图像传感器采集到的原比例图像与打印介质表面图像进行配准，得到2D刚体变换

步骤二：根据提前标定好的打印头喷头与接触式图像传感器的相对位置关系以及接触式图像传感器当前位置，计算出打印喷头当前在接触式图像传感器采集图像中的位置坐标，如图13所示；

步骤三：根据步骤一计算出的2D刚体变换和步骤二计算出的打印头喷头在采集图像中的位置，得到打印头喷头在打印介质表面的位置。

基于合成虚拟图像的多摄像头融合定位方法

在上面基于摄像头定位的方法中只使用了一个摄像头的数据。有时候单摄像头视野范围相对局限、可能无法捕捉到足够的特征来完成定位，此时需要使用多摄像头数据融合定位的方法以扩大视野方位。

多摄像头数据融合定位方法有两种：基于合成虚拟图像的多摄像头融合定位方法，基于重投影误差优化的多摄像头融合定位方法。对于第一种方法的计算过程如下。

首先利用摄像头坐标系到打印平面坐标系的z偏移、roll角、pitch角参数和特征点在摄像头图像中的像素坐标求特征点在摄像头坐标系中的深度信息。进而利用摄像头间的外参可以得到特征点在其他摄像头坐标系中坐标，以及在其它摄像头图像中的虚拟像素坐标。这样就相当于把多个摄像头的数据组合在一起，获得了一个视野更广的虚拟摄像头。虚拟摄像头的模型与主摄像头一致，基于该模型可以更好地完成定位。如图14所示可以把两个摄像头的图像合并成一个虚拟图像。

对于这种方法，关键是如何根据摄像头坐标系相对打印平面坐标系中的z偏移、roll角、pitch角参数和特征点像素坐标求特征点在摄像头坐标系中的深度信息。具体过程如下：

由前面，打印介质平面上的点g与其像点之间p存在单应矩阵关系λp＝Hg。假设摄像头相对打印介质平面的x偏移、y偏移、yaw角都为0，这样单应矩阵H可以被唯一地计算出来。在像点坐标p已知的情况下，可以根据单应矩阵唯一地计算出打印介质平面上对应点的坐标g。进而可以得到该点在摄像头坐标系中的坐标。

也可以从另外一个角度考虑上述方法。摄像头0坐标系、摄像头1坐标系相对于打印平面坐标系的z偏移、roll角、pitch角参数都是已知的(可以提前通过标定的方法得到)。假设摄像头0坐标系相对打印平面坐标系的x偏移、y偏移、yaw角都为0，这样摄像头0坐标系与打印平面坐标系的外参是确定的。进而根据摄像头1与摄像头0之间的外参关系，摄像头1坐标系与打印平面坐标系的外参也可以确定。进而可以计算出摄像头0图像中像点p₀与打印介质平面上对应点g的单应关系λp₀＝H₀g，及摄像头1图像中像点p₁与打印介质平面上对应点g的单应关系λp₁＝H₁g。由上，摄像头0图像中像点p₀与摄像头1图像中的同名像点p₁也存在单应关系

利用上述关系可以将来自两个不同摄像头的图像合成在一起。

得到合成的虚拟摄像头图像后，可以采用前面讲述的摄像头位姿估计方法来估计主摄像头位姿。该方法适用于两个及以上摄像头数据的融合定位。

基于重投影误差优化的多摄像头融合定位方法

基于重投影误差优化的方法中，根据摄像头间的外参，将优化变量简化成一个摄像头的位姿，并可以在优化问题中综合利用多个摄像头的数据。

采用重投影误差优化的方法，优化变量为主摄像头的位姿，其它摄像头的位姿通过主摄像头的位姿与摄像头间的外参来计算。通过多摄像头联合的重投影误差优化，来计算主摄像头的位姿。

在图15中，Q_i＝[X_i Y_i Z_i 1]^T(i＝0，1，2)为打印介质表面特征点的全局齐次坐标；

是摄像头0图像中的匹配特征点，

是根据摄像头0位姿和内参计算出来的打印介质表面特征重投影点；

是摄像头1图像中的匹配特征点，

是根据摄像头1位姿和内参计算出来的打印介质表面特征重投影点。

定义重投影误差项

其中，i表示特征点，c表示摄像头，

是特征点在摄像头c坐标系中的深度，K_c是摄像头内参，Q_i是特征点在全局坐标系中的坐标，ξ_c是摄像头在全局表坐标系中位姿的李代数形式，根据摄像头间的外参关系有

T₁₀是摄像头0到摄像头1的外参关系。

定义重投影误差优化目标函数J

其中S_c是摄像头c图像中提取并匹配到的特征点集合。把

代入上式，优化目标函数只有变量ξ₀，变为J(ξ₀)。求解该优化目标函数，可以得到ξ₀。

综上，基于重投影误差优化的多摄像头融合定位的流程如下：

步骤一：从打印介质表面图像、摄像头0图像、摄像头1图像中提取特征点，并分别对打印介质表面图像和摄像头0图像的特征点、打印介质表面图像和摄像头1图像的特征点进行匹配；

步骤二：根据步骤一中得到的匹配的特征点建立重投影误差优化目标函数J(ξ₀)；

步骤三：通过Levenberg-Marquardt方法求解步骤二中建立的目标优化函数得到对主摄像头位姿的估计。

该方法适用于两个及以上摄像头数据的融合定位。

打印内容生成

通过定位初始化过程确定打印喷头位置后，需要根据线性导轨移动方向切割打印图像生成本次要打印的内容。主控计算机将不同喷头的单行打印内容发送给打印驱动程序，完成具体的打印工作。该方法也是保证多行打印内容良好拼接的关键。

打印内容生成的具体方法如下图16所示。在实践中，打印喷头安装方向与线性导轨移动方向的夹角可以通过标定的方法提前获得。

使用线性导轨和光栅式/容栅式位移传感器进行定位跟踪

使用光栅式/容栅式位移传感器可以快速、准确地得到当前位移量。线性导轨除了用于安装光栅尺/容栅尺外，还能够限定打印复印机只沿着线性导轨运动，避免产生横向运动和旋转，从而稳定打印过程，提高运动测量的精度。

使用光电式编码器进行定位跟踪

使用安装在滚轮上的光电式编码器可以测得位移量。但在打印复印机移动过程中，由于滚轮产生滑动或者与打印复印机运动不一致则会导致测量误差。另外如果打印复印机产生横向移动或者转动，也无法通过光电编码器测量这些自由度的运动。为了消除上述误差需要重新进行位置校正。

使用IMU进行定位跟踪

使用IMU进行运动估计是相对比较成熟的方法。具体来讲定位初始化过程中需要对静态的IMU进行初始化，估计得到重力加速度和IMU传感器的零偏以及IMU传感器的初始位姿

在打印复印机移动过程中，通过对IMU传感器测量到的加速度和角速度进行积分可以得到IMU传感器的位姿T_wi。进而根据IMU传感器与摄像头的外参关系T_ic、摄像头与接触式图像传感器的位置关系或者摄像头与打印喷头的位置关系得到接触式图像传感器或者打印喷头当前的位置。计算方法如下

端点全局坐标＝T_wi*T_ic*端点在摄像头坐标系中的坐标

其中，端点指的是接触式图像传感器或者打印喷头的两个端点。端点在摄像头坐标系中的坐标可以通过标定的方法得到。

使用光电鼠标传感器进行定位跟踪

如图17所示，使用单光电鼠标传感器可以测得打印复印机运动过程中光电鼠标传感器两个自由度方向的位移量，即平面位移量。假设打印复印机没有旋转运动，则根据光电鼠标传感器的测量值(Δx，Δy)、光电鼠标传感器x轴方向与线性导轨移动方向之间的夹角γ计算得到打印喷头或者接触式图像传感器端点沿线性导轨移动方向的位移量Δx*cosγ+Δy*sinγ，沿垂直线性导轨移动方向的位移量Δx*sinγ+Δy*cosγ。

其中，光电鼠标传感器x轴方向与线性导轨移动方向之间的夹角γ可以通过提前标定的方法得到。

使用直线特征消除定位跟踪中的误差

为了消除打印复印过程中的定位跟踪误差，除了使用定位初始化的方法重新估计所有自由度的运动之外，还可以只使用单个线特征和接触式图像传感器数据消除旋转和横向的运动估计误差。

如图18a、图18b所示，假设打印介质表面直线的齐次坐标为m，接触式图像传感器采集图像上对应的直线像的齐次坐标为m′，它们之间的2D刚体变换

满足m′＝TTm。实际在定位跟踪过程中，根据相对运动测量计算得到的T是有一定误差的，因此这个式子不会严格成立。设线性导轨移动方向有夹角误差Δψ，打印扫描坐标系的原点在线性导轨移动的法向有位移误差Δt，因此有

由此根据m和m′可以求解出Δψ和Δt，进而得到消除误差后的2D刚体变换T_adjust。

该方法适用于沿打印扫描介质直线物理边界打印扫描的场景，且除该边界外没有其它明显的特征可以用于消除定位误差。

使用接触式图像传感器和位置跟踪装置进行图像扫描

使用接触式图像传感器和位置跟踪装置进行图像扫描拼接的效果见图19。方法如下：

步骤一：采用接触式图像传感器和位置跟踪装置一次可以扫描得到一行原比例图像；

步骤二：对多次扫描到的多行图像进行配准，得到不同图像间的2D刚体变换；

步骤三：根据不同图像间的2D刚体变换，拼接得到一副更完整的图像。

使用摄像头和位置跟踪装置进行图像扫描

假设使用摄像头进行一次图像扫描过程，线性导轨稳定不动、打印复印机没有旋转且只有可以测量的平移。建立扫描平面坐标系与全局坐标系的关系如图20所示。使用摄像头和位置跟踪装置进行扫描建图的过程如下：

步骤一：根据标定好的摄像头坐标系与扫描平面坐标系的外参关系(即摄像头坐标系与扫描平面坐标系的z偏移、roll角、pitch角)，并假设摄像头坐标系与扫描平面坐标系的x偏移、y偏移、yaw角初始值为0，进而可以计算出摄像头坐标系与扫描平面坐标系初始转换关系

步骤二：根据测量到的平移量Δt_i和提前标定好的线性导轨移动方向与摄像头坐标系的参数a，可以计算出后续帧i中摄像头坐标系与扫描平面坐标系的转换关系

步骤三：根据各帧摄像头坐标系与扫描平面坐标系间的转换关系

得到扫描平面图像与每帧图像间的单应矩阵

步骤四：根据单应变换

将每帧图像转换成扫描平面上对应的图像分片；

步骤五：对转换后的图像分片进行特征提取、匹配，拼接得到完整的扫描平面上的原尺寸图像；

步骤六：对于比较大的图像可以先通过多次图像采集过程得到的扫描平面上的图像分片，再进行拼接得到更大范围的原尺寸图像，具体方法与对通过接触式图像传感器和位置跟踪装置采集图像进行拼接的方法相同。

打印复印机参数标定

要使便携式打印复印机整体正常工作，需要对不同传感器、打印喷头、线性导轨之间的空间结构参数进行标定，也需要对传感器内部的参数进行标定。

摄像头内参，即摄像头本身成像模型的参数，标定方法是业界成熟方法。

摄像头之间的外参，即不同摄像头坐标系的转换关系，标定方法是业界成熟方法。

IMU与摄像头之间的外参T_ic，标定方法是业界成熟方法。

摄像头与介质平面的外参关系

将打印复印机平置在打印复印介质平面后，摄像头坐标系对打印复印平面坐标系的roll角、pitch角、z偏移量参数是固定不变的。其标定过程如下：

步骤一：往平整的纸上按照指定尺寸打印标定专用的图像(图像特征丰富、便于进行定位使用即可)；

步骤二：将打印复印机平置在打印好图像的纸上，根据摄像头拍摄到的图像，并使用上面的打印图像及尺寸数据对摄像头进行定位，求得摄像头坐标系相对图纸平面坐标系的x偏移、y偏移、z偏移、roll角、pitch角、yaw角；

步骤三：取步骤二摄像头定位结果中的roll角、pitch角、z偏移量作为估计值，或者更换不同位置得到多个结果后求取平均值作为最终估计结果。

接触式图像传感器与线性导轨移动方向的夹角

接触式图像传感器与线性导轨移动方向的夹角参数θ的标定原理图21所示。标定过程如下：

步骤一：往平整的纸上按照指定尺寸打印一个正方形色块，并假设正方形色块四个顶点的坐标为p₀＝[0 0]^T，p₁＝[w 0]^T，p₂＝[w w]^T，p₃＝[0 w]^T，其中w为正方形的边长；

步骤二：将打印复印机平置在打印好色块的纸上，用接触式图像传感器沿线性导轨移动扫描色块，并得到带有畸变的图像；

步骤三：计算扫描图像中对应四个顶点的像点坐标p′₀＝[x′₀ y′₀]^T，p′₁＝[x′₁y′₁]^T，p′₂＝[x′₂ y′₂]^T，p′₃＝[x′₃ y′₃]^T；

步骤四：根据接触式图像传感器的成像模型，有

其中θ是要标定的参数，ψ、t_x、t_y是与扫描方向和起始位置相关的未知参数；

步骤五：分别把p_i，p′_i(i＝0，1，2，3)的坐标代入上式的右边和左边，联立方程求解可得θ。

摄像头与线性导轨移动方向的空间关系

摄像头与线性导轨移动方向的空间关系用3D向量a表示，其值为沿线性导轨移动方向的单位矢量在摄像头坐标系中的坐标。标定过程如下：

步骤一：往平整的纸上按照指定尺寸打印标定专用的图像(图像特征丰富、便于进行定位使用即可)；

步骤二：将打印复印机平置在打印好图像的纸上，根据摄像头拍摄到的图像，并使用上面的打印图像及尺寸数据对摄像头进行定位，求得摄像头坐标系与扫描平面坐标系初始转换关系

步骤三：将打印复印机沿线性导轨移动距离Δt(可以通过位置跟踪装置测量)后，再次根据摄像头拍摄到的图像求摄像头坐标系与扫描平面坐标系转换关系

步骤四：根据摄像头的运动模型，有

进而可以求得

摄像头与接触式图像传感器的位置关系

如图22所示，摄像头与接触式图像传感器的位置关系可以用接触式图像传感器的两个成像端点在摄像头坐标系中的坐标e₀＝[x₀ y₀ z₀]^T，e₁＝[x₁ y₁ z₁]^T来表示。具体标定方法如下：

步骤一：往平整的纸上按照指定尺寸打印标定专用的图像(图像特征丰富、便于进行定位使用即可)；

步骤二：将打印复印机平置在打印好图像的纸上，移动生成去畸变的接触式图像传感器图像，然后保持不动；

步骤三：将扫描生成的去畸变的接触式图像传感器图像和原尺寸的打印图像进行配准，从而求得当前接触式图像传感器两个成像端点在扫描平面坐标系中的坐标e′₀＝[x′₀y′₀ z′₀]^T，e′₁＝[x′₁ y′₁ z′₁]^T；

步骤四：根据当前摄像头拍摄到的图像，并使用原尺寸打印图像对摄像头进行定位，求得扫描平面坐标系与摄像头坐标系转换关系

进而求得e0＝Te′₀，e₁＝Te′₁。

摄像头与打印喷头的位置关系

如图23所示，摄像头与打印喷头的位置关系可以用打印喷头的两个端点在摄像头坐标系中的坐标e₀＝[x₀ y₀ z₀]^T，e₁＝[x₁ y₁ z₁]^T来表示。具体标定方法如下：

步骤一：往平整的纸上按照指定尺寸打印标定专用的图像(图像特征丰富、便于进行定位使用即可)；

步骤二：将打印复印机平置在打印好图像的纸上，根据当前摄像头拍摄到的图像，并使用原尺寸打印图像对摄像头进行定位，求得打印平面坐标系与摄像头坐标系转换关系

步骤三：保持打印复印机不动，触发喷头的喷墨动作，移开打印复印机后测量得到墨线两个端点在打印平面坐标系中的坐标e′₀＝[x′₀ y′₀ z′₀]^T，e′₁＝[x′₁ y′₁ z′₁]^T；

步骤四：计算得到打印喷头两个端点在摄像头坐标系中的坐标e₀＝Te′₀，e₁＝Te′₁。

接触式图像传感器与打印喷头的位置关系

如图24所示，接触式图像传感器与打印喷头的位置关系可以用打印喷头的两个端点在接触式图像传感器扫描坐标系中的坐标e₀＝[x₀ y₀]^T，e₁＝[x₁ y₁]^T来表示。具体标定过程如下：

步骤一：往平整的纸上按照指定尺寸打印标定专用的图像(图像特征丰富、便于进行定位使用即可)；

步骤二：将打印复印机平置在打印好图像的纸上，保持打印复印机不动，触发喷头的喷墨动作，打印出一条墨线，然后停止打印；

步骤三：移动打印复印机生成去畸变的接触式图像传感器图像；

步骤四：将扫描生成的去畸变的接触式图像传感器图像和原尺寸的打印图像进行配准，从而求得接触式图像传感器图像坐标与打印图像坐标之间的2D刚体转换关系T；

步骤五：移开打印复印机后测量得到墨线两个端点在打印平面坐标系中的2D坐标e′₀＝[x′₀ y′₀]^T，e′₁＝[x′₁ y′₁]^T；

步骤六：计算得到打印喷头两个端点在接触式图像传感器扫描坐标系中的坐标e₀＝T^-1e′₀，e₁＝T^-1e′₁。

打印喷头安装方向与线性导轨移动方向夹角

如图25所示，打印喷头安装方向与线性导轨移动方向的夹角参数η。标定过程如下：

步骤一：将打印复印机平置在平整的纸上，移动打印机并利用打印喷头打印出色块；

步骤二：直接求得η＝π-色块两个边的角。

光电鼠标传感器x方向与线性导轨移动方向的夹角

光电鼠标传感器x方向与线性导轨移动方向的夹角γ的标定过程如下：

步骤一：将打印复印机静置，并将光电鼠标传感器的读数清零；

步骤二：将打印复印机沿线性导轨移动方向移动一段距离后，读到光电鼠标传感器的读数(x，y)。则夹角

Claims (40)

1.一种基于高精度视觉定位的便携式打印复印机，其特征在于：便携式打印复印机的硬件系统包括主控计算机电路、打印头、打印头驱动电路、摄像头、接触式图像传感器、位置跟踪装置及打印机壳体；

主控计算机电路安装在打印机壳体内，是核心的计算、数据存储和通信单元；主控计算机电路与打印头驱动电路、摄像头、接触式图像传感器、位置跟踪装置通过线缆连接；

打印头是任何一种已知的打印组件，设有一个或多个；打印头固定安装在打印机壳体内的下部，打印头的喷头部分直接与打印介质近距离接触，距离在0.5mm～5mm；

打印头驱动电路安装在打印机壳体内并与打印头相连，用于接收主控计算机发送来的具体打印数据和通过位置跟踪装置得到的运动数据，控制打印头完成打印动作；

摄像头设有一个或多个，用于获取打印扫描介质表面的图像信息；摄像头固定安装在打印机壳体外侧靠上的位置，以便于拍摄打印复印机周围介质上的图像，并获得较广的视野；通过对摄像头拍摄的图像提取视觉特征并与预先存储的图像数据或者介质物理边界进行配准，完成粗定位功能；另外，通过摄像头和位置跟踪装置对介质表面的图像进行扫描拼接，并得到完整平面图像数据及其物理尺寸信息；

接触式图像传感器用于获取打印复印机附近介质表面的图像信息，设有一个或多个；接触式图像传感器固定安装在打印机壳的底部并与介质近距离接触，距离在0.5mm～5mm；通过对接触式图像传感器采集图像提取视觉特征并与预先存储的图像数据或者介质物理边界进行配准完成精定位功能；除此之外，通过接触式图像传感器和位置跟踪装置对介质表面的图像进行扫描拼接，并得到完整的图像数据及其物理尺寸信息；

位置跟踪装置在移动打印复印过程中对打印复印机进行单自由度或者多自由度的位移、运动或相对姿态测量；

打印机壳体是打印复印机的结构框架，并对内部构件起到保护作用。

2.根据权利要求1所述的一种基于高精度视觉定位的便携式打印复印机，其特征在于：便携式打印复印机硬件系统根据功能选择增设照明装置、压力传感器、滚轮、用户接口装置或电源；

照明装置、压力传感器、用户接口装置、电源与主控计算机电路通过线缆连接；

照明装置用于为摄像头提供统一、稳定的照明条件，提高采集图像信息的质量，避免因光照条件变化对系统定位精度或者扫描图像质量的影响；照明装置安装在打印机壳体的外侧，方便为摄像头视野范围内的介质表面提供统一照明条件，且应避免产生明显阴影；

压力传感器安装到线性导轨或者滚轮支撑件上，用于检测线性导轨是否固定，以及用户是否有按压的特殊指令动作；

滚轮安装在打印机壳体的底部并直接与介质接触，对打印机壳体起到支撑、稳定作用；

用户接口装置包括触摸屏、操纵按钮、状态指示灯或指示灯带，都安装在打印机壳体表面，便于用户交互使用打印复印机；

电源安装在打印机壳体内，为整个系统提供能源；电源有充放电功能，便于在不同场景的使用。

3.根据权利要求1所述的一种基于高精度视觉定位的便携式打印复印机，其特征在于：接触式图像传感器可替换为CCD线性图像传感器。

4.根据权利要求1所述的一种基于高精度视觉定位的便携式打印复印机，其特征在于：采用如下位置跟踪装置方案中的一种或多种：

线性导轨及光栅尺的方案，光栅带沿线性导轨的长度方向固定安装在线性导轨上，光栅头固定安装在打印机壳体上并沿光栅带移动从而测得打印复印机的位移；在打印复印过程中线性导轨是固定不动的，打印复印机体沿着线性导轨移动完成打印或图像扫描；线性导轨有两种功能，一是用于安装光栅尺进行位移测量，二是可证打印复印机的移动稳定性；光栅尺可替换成容栅尺或者磁栅尺；

惯性测量单元IMU与打印机壳体固定连接，对位置没有特殊要求；

滚轮式光电编码器安装在滚轮上，滚轮安装在打印机壳体下方与介质直接接触，打印复印机移动过程中滚轮滚动且不发生滑动；

光电鼠标传感器水平固定在打印机体下方，感光部件与介质近距离接触；使用光电鼠标测量运动的方法是：设光电鼠标传感器的测量值为(Δx，Δy)、光电鼠标传感器x轴方向与线性导轨移动方向之间的夹角为γ，则打印喷头或者接触式图像传感器端点沿线性导轨移动方向的位移量Δx*cosγ+Δy*sinγ，沿垂直线性导轨移动方向的位移量Δx*sinγ+Δy*cosγ；γ通过提前标定的方法得到。

5.根据权利要求4所述的一种基于高精度视觉定位的便携式打印复印机的设计方法，其特征在于：光电鼠标传感器x方向与线性导轨移动方向的夹角γ的标定过程如下：

步骤一：将打印复印机静置，并将光电鼠标传感器的读数清零；

步骤二：将打印复印机沿线性导轨移动方向移动一段距离后，读到光电鼠标传感器的读数(x，y)；则夹角

6.根据权利要求1或4所述的一种基于高精度视觉定位的便携式打印复印机，其特征在于：如果位置跟踪装置中没有采用线性导轨，而采用滚轮来稳定打印扫描过程中打印复印机的稳定性，则在线性导轨移动方向的地方，替换成滚轮移动方向也是可行的。

7.根据权利要求1所述的一种基于高精度视觉定位的便携式打印复印机，其特征在于：便携式打印复印机的软件系统包括视觉定位算法、图像扫描拼接算法、打印复印流程驱动、设备标定程序、打印头驱动软件；

视觉定位算法对摄像头或接触式图像传感器获取到的图像数据提取视觉特征，并与预先存储的图像数据或者介质物理边界进行配准，计算出打印机复印机图像传感器的位姿，进而根据系统参数得到打印喷头当前喷印位置；视觉定位功能是实现高精度拼接式打印的重要保障；

图像扫描拼接算法处理多次扫描过程中摄像头或接触式图像传感器获取到的图像数据及位置跟踪装置采集的运动数据，拼接生成单幅扫描图像并得到其物理尺寸信息；扫描得到的图像用于保存、复印或者用作视觉定位的配准图像；

打印复印流程驱动通过执行各个环节完成完整的打印复印任务；

设备标定程序用于标定不同传感器本身的测量模型参数及它们之间、它们与打印执行构件之间的空间关系；设备标定是实现高精度定位、进行准确拼接式打印扫描的前提；

打印头驱动软件工作在打印喷头专门的驱动电路板上，接收主控制软件发送的打印数据并结合位置跟踪装置数据驱动打印喷头完成具体的打印动作。

8.根据权利要求7所述的一种基于高精度视觉定位的便携式打印复印机，其特征在于：便携式打印复印机的软件系统根据功能选择增设操作系统、设备驱动、打印图像渲染程序及用户接口软件；

操作系统采用Linux或Windows的发布版本，具备丰富的外部通信功能、底层库、工具软件和图形软件，并支持多种存储设备、触摸屏；

设备驱动用于获取各种硬件传感器数据，包括采集图像数据、运动测量数据、压力传感器数据；

打印图像渲染程序负责将不同类型的数据文件在一定的配置下渲染成能进行打印的图像数据；该程序支持不同类型的数据文件，包括pdf、word、ppt、html、矢量图形数据；

用户接口软件负责实现用户界面交互、打印复印任务管理、打印参数设置、系统状态显示、数据管理及设备管理功能。

9.一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，打印流程包括发起打印任务和执行多次打印会话；其特征在于：

发起打印任务具体步骤为：

步骤1.1：选择要打印的数据，打印数据的来源和格式有不同的方式；

步骤1.2：对打印数据进行渲染，将非图像格式的打印数据渲染成图像格式，或者将图像数据进行上采样或者降采样以改变其分辨率；

步骤1.3：在打印介质表面特征稀疏的场景设置辅助定位特征；

步骤1.4：选择初始行打印定位方法，进而确定整体的打印位置；

步骤1.5：打印参数配置、效果预览及调整，设置打印尺寸、分辨率参数，或者对具体的打印位置进行设置；

打印会话就是一行打印内容完成的过程；将多次打印会话打印的内容拼接在一起即完成一个完整的打印任务；一个完整的打印会话的具体步骤包括：

步骤2.1：定位初始化过程；除人工触发指定打印位置的初始行之外，每行打印前都需要进行定位初始化；对打印复印机的摄像头或接触式图像传感器进行位姿估计，进而根据提前标定好的设备参数计算出打印喷头的位置及线性导轨移动方向，以完成高精度拼接式打印；

步骤2.2：根据定位结果计算打印喷头位置；定位初始化完成后，根据计算出来的摄像头或者接触式图像传感器位姿，并利用提前标定好的摄像头或接触式图像传感器与打印喷头的空间关系，计算出打印喷头当前位置；

步骤2.3：单行打印内容生成；确定打印喷头位置后，需要根据线性导轨移动方向切割打印图像未打印部分生成本次要打印的内容；进而主控计算机将不同打印头的单行打印内容发送给打印驱动电路，完成具体的打印工作；

步骤2.4：打印过程中的定位跟踪；在打印过程中需要通过位置跟踪装置对打印机的运动进行高速测量，以确定打印喷头即时位置，并触发相应位置图像内容的打印动作；

步骤2.5：打印过程中的位置校正；为了消除打印过程中的定位跟踪误差，需要在打印过程中重新进行位置校正；进行位置校正后需要及时调整打印内容，方法与单行打印内容生成类似；在单行打印中进行多次位置校正。

10.根据权利要求9所述的一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，其特征在于：使用摄像头、接触式图像传感器获取到的图像数据来完成定位初始化；这两种类型的传感器具有不同的观测模型和定位精度；其中，前者数据视野范围大、定位精度相对低，后者数据视野范围小、定位精度更高；通过将两种视觉定位手段结合，得到同时兼具大视野范围和高定位精度的方法。

11.根据权利要求9所述的一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，其特征在于：将摄像头数据与打印介质上已打印内容的图像数据、打印介质的物理边界或者打印介质上的物理尺寸已知的图像数据进行配准来进行粗定位；粗定位的具体方法包括：通过提取、匹配平面线特征解算摄像头位姿，通过提取、匹配平面点特征并结合Pnp Ransac算法计算摄像头位姿，通过提取、匹配图像中的文本特征计算摄像头位姿，通过光度误差优化的方法进一步调整摄像头位姿。

12.根据权利要求9或10所述的一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，其特征在于：使用多摄像头数据融合定位的方法能扩大视野范围；具体的方法包括：利用摄像头与介质平面的外参关系和摄像头的内外参将多个摄像头拍摄到的图像合成单个虚拟图像进行定位；采用基于重投影误差优化的多摄像头融合定位方法进行定位。

13.根据权利要求9或10所述的一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，其特征在于：通过粗定位能估计出摄像头位姿；为了进一步利用接触式图像传感器数据进行精定位，需要先根据摄像头位姿计算出接触式图像传感器的位置；这是根据摄像头与接触式图像传感器的空间关系计算出来的；该参数通过标定的方法提前获得；利用摄像头位姿计算接触式图像传感器位置的具体计算过程为：

步骤一：根据摄像头位姿和摄像头与接触式图像传感器的空间关系，计算出接触式图像传感器两个端点在打印介质平面坐标系中的2D齐次坐标g₁和g₂；

步骤二：设接触式图像传感器两个端点在扫描图像中的齐次坐标为p₁和p₂，接触式图像传感器图像点的坐标与打印介质平面对应点坐标的2D刚体变换为

则有g₁＝Tp₁，g₂＝Tp₂；通过这两对匹配点的约束，联立方程即可求出T。

14.根据权利要求9或10所述的一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，其特征在于：由于接触式图像传感器安装方向与线性导轨移动方向不完全垂直，直接对接触式图像传感器采集的每列数据进行拼接得到的图像会有横向的畸变；因此在将采集到的每一列图像拼出用于精定位的图像之前，需要对每一列的数据按照接触式图像传感器与线性导轨移动方向的夹角倾斜对应角度；具体计算方法方法是：

接触式图像传感器安装方向与线性导轨移动方向的夹角θ通过提前标定的方法获取；考虑到实际中θ是很接近

的，因此去畸变前的像点坐标p＝[x y]^T与去畸变后的像点坐标p′＝[x′ y′]^T近似关系为

15.根据权利要求9或10所述的一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，其特征在于：将接触式图像传感器图像数据与打印介质上已打印内容的图像数据、打印介质的物理边界或者打印介质上的物理尺寸已知的图像数据进行配准完成精定位；精定位的具体方法包括：通过提取、匹配点特征并结合SVD方法和Ransac算法估计接触式图像传感器在介质平面的2D位置和朝向，通过提取、匹配线特征直接计算接触式图像传感器在介质平面的2D位置和朝向，采用光度误差优化的方法对接触式图像传感器在介质平面的2D位置和朝向进行精调。

16.根据权利要求9所述的一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，其特征在于：打印过程中的位置校正方法包括：采用定位初始化的方法重新估计所有自由度的运动，其中对于使用接触式图像传感器数据进行位置校正的方法，只需要使用最近局部范围内采集到的图像数据；使用单个线特征和接触式图像传感器数据征消除旋转和横向的运动估计误差，实现一种沿直线边稳定打印复印的功能。

17.根据权利要求9所述的一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，其特征在于：打印数据根据不同来源分为：

来源一：来自主控计算机本身存储的图像数据或者文档；

来源二：由打印复印机本身扫描拼接后得到的原尺寸图像数据，实现类似复制粘贴式打印或者复印功能；

来源三：从外部设备获取的图像数据，外部设备是手机、台式计算机或平板电脑；

来源四：从网络服务端获取到的远程存储的数据。

18.根据权利要求9所述的一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，其特征在于：发起打印任务时的初始行打印定位方式包括：

方法一：人工指定打印开始位置，包括加大按下力度或按动触发按钮；

方法二：根据打印介质的物理边界进行配准打印，即指定打印图像与打印介质物理边界的位置关系；

方法三：与打印介质表面现有图像进行配准打印，即指定打印图像与打印介质表面现有图像的位置关系；现有图像或者是之前打印任务已经打印的部分，或者是对打印介质之前已经存在的图像进行扫描拼接的结果。

19.根据权利要求11所述的一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，其特征在于：通过将摄像头图像中提取的线特征与打印介质表面的线特征进行配准，完成对摄像头位姿的估计；计算过程为：

设打印介质平面是绝对平面，建立打印平面坐标系与全局坐标系的关系；其中打印介质平面在全局坐标系的法式方程为n^Tg+d＝[0 0 1]g-1＝0，其中g＝[x y 1]^T是打印介质平面上点的三维坐标，n是打印介质平面的法向量值为n＝[0 0 1]^T，

是全局坐标原点到打印介质平面的距离；

由于在执行打印时打印复印机是平置在打印介质平面上的，因此摄像头坐标系相对打印平面坐标系的pitch角、roll角和z偏移是不变的；设摄像头相对打印平面坐标系的pitch角、roll角和z偏移已知，则只需要两个不平行的平面线特征即可完成对摄像头位姿的估计，即估计出摄像头相对打印平面坐标系的x偏移、y偏移、yaw角；根据打印介质平面上坐标已知的线特征求打印机摄像头位姿的步骤包括：

步骤一：提取摄像头图像中的线特征，并计算其坐标，提取线特征的方法包括直线段检测算法LSD；

步骤二：将提取到的摄像头图像中线特征与打印介质平面上的线特征进行匹配，并根据匹配关系求摄像头位姿；

根据匹配线特征计算摄像头位姿具体方法：

首先，根据打印介质平面上点与摄像头图像对应点坐标的单应矩阵关系推导出线特征及其像的坐标的关系；

设摄像头相对打印平面坐标系的位姿：平移为t＝(t_x t_y t_z)^T，欧拉角按ZYX轴顺序旋转为(ψ φ θ)^T、对应旋转矩阵为R；其中t_z，φ，θ是摄像头与介质平面的外参关系在打印过程中基本不变且已知，因此只有t_x，t_y，ψ需要去估计；

设p＝[u v 1]^T为打印介质平面点g的像点的齐次坐标，根据摄像头的成像模型，有

其中λ是比例因子，K是提前标定好的摄像头内参其值已知，I是单位矩阵，摄像头位姿的旋转矩阵

其中

θ为已知量；

φ为已知量；

ψ为未知量；

因此打印介质平面上的点g与其像点之间p存在单应关系λp＝Hg，其中为H单应矩阵，

与具体点的坐标无关；把R，t，n，d带入到H中，由于k，n，d，t_z，φ，θ已知，因此容易推算出H中只有未知变量t_x，t_y，cosψ，sinψ；

然后，根据点的单应矩阵关系得到这两个平面上对应直线的齐次坐标满足单应关系λm′＝H^-Tm，或者λm^T＝m′^TH，其中m为打印介质平面上的直线的齐次坐标，m′为其像的齐次坐标；

最后，根据线的匹配关系构造关于H的约束；H中的未知变量有t_x，t_y，cosψ，sinψ，利用每组匹配线特征构造2个约束，因此只需通过2组匹配直线即可估计出H，进而得到摄像头的位姿参数t_x，t_y，ψ。

20.根据权利要求11所述的一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，其特征在于：使用点特征进行摄像头位姿估计为：

步骤一：提取摄像头图像及打印介质表面图像上的视觉特征点，并计算特征点的坐标和描述子，其中特征点提取方法包括FAST、Harris算法，计算描述子的方法包括BRIEF、ORB、SIFT、SuperPoint算法；

步骤二：用词袋法、基于位姿初值的临近搜索法或者深度神经网络的方法进行特征匹配；

步骤三：根据匹配特征对的坐标并基于摄像头的成像模型，采用Pnp Ransac方法查找匹配内点，并计算出摄像头位姿估计；

此处的Pnp问题与普通场景唯一的差别是打印介质表面的3D点位于相同的平面上；通过Pnp Ransac算法来求解得到摄像头位姿，以避免误匹配对计算结果的干扰。

21.根据权利要求11所述的一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，其特征在于：使用光度误差优化方法进行摄像头位姿估计为：

设Q_i＝[X_i Y_i Z_i 1]^T是打印介质表面3D点的齐次坐标，其在摄像头图像中匹配的2D点的齐次坐标为p_i＝[u_i v_i 1]^T；根据摄像头的成像模型，有

其中R|t是摄像头在全局坐标系中的位姿、用全局坐标系到摄像头坐标系的转换关系表示，ξ是其李代数形式，K是摄像头内参且已知，z_i是介质表面3D点在摄像头坐标系中的深度；

设I₁是打印介质表面图像数据，I₂是摄像头采集到的图像数据；如果摄像头的位姿准确，则Q_i和p_i的匹配也比较准确，则在两幅图像中这两个点的外观也会比较接近；定义光度误差

对N对匹配点，建立光度误差优化的目标函数为：

通过优化摄像头位姿ξ使上述目标函数达到最小值，即得到对摄像头位姿的估计；该最小二乘优化问题使用Levenberg—Marquardt方法来求解；实际中使用该方法时，选择像素梯度比较大的点或者特征明显的角点，以提高计算效率；对于ξ的初始值使用根据线特征或者点特征方法计算出来的结果，以保证结果的正确性；在使用该方法之前，需要对摄像头采到的图像和打印介质表面图像的灰度值进行归一化处理，排除光照条件对灰度值影响。

22.根据权利要求15所述的一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，其特征在于：利用接触式图像传感器图像的点特征进行精定位是：

对打印介质表面图像和接触式图像传感器采集的图像提取特征点，并根据粗定位结果进行特征点匹配；根据匹配特征点对，采用矩阵奇异值分解SVD方法求采集图像到打印介质表面图像的2D刚体变换，计算过程如下：

设打印介质表面特征点坐标为p_i＝[u_i v_i]^T，接触式图像传感器采集图像对应特征点坐标为p′_i＝[u′_i v′_i]^T，它们之间的2D刚体变换

满足p_i＝Rp′_i+t；为了估计T，定义误差项

e_i＝p_i-(Rp′_i+t)

对所有n个特征点对构建最小二乘问题，求使误差平方和达到极小的R，t：

该问题的求解过程如下；首先，定义两组点的质心：

进而对优化目标函数做如下处理：

注意到交叉项部分中(p_i—p—R(p′_i-p′))在求和之后为零，因此优化目标函数简化为

对于上式中的左右两项，左边只和旋转矩阵R有关，右边既有R也有t，但和质心相关；因此根据左边获取R之后，令第二项为零就能得到t；于是优化函数分以下三个步骤求解：

步骤一：计算两组点的质心位置p，p′，然后计算每个点的去质心坐标：

q_i＝p_i—p，q′_i＝p′_i-p′

步骤二：根据以下优化问题计算旋转矩阵：

为了求解上式，对优化函数进行展开：

注意到第一项和R无关，第二项由于R^TR＝I，也与R无关；因此，优化目标函数变为：

为了解R，先定义矩阵：

W是一个2×2的矩阵，对其进行SVD分解，得：

W＝U∑V^T

其中，∑为奇异值组成的对角阵，对角线元素从大到小排列，而U和V为正交矩阵；当W满秩时，R为

R^*＝UV^T

步骤三：根据步骤二计算出来的R^*计算t：

t^*＝p—R*p′。

23.根据权利要求22所述的一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，其特征在于：利用接触式图像传感器图像的点特征进行精定位的方法中，使用SVD Ransac方法提高存在点特征误匹配特征时的鲁棒性，具体流程如下：

步骤一：从所有匹配的特征点对中随机选择3个点对；

步骤二：通过选中的点对，利用SVD方法得到对2D刚体变换的估计；

步骤三：根据估计出的2D刚体变换对所有匹配点对计算投影误差，并找到小于误差阈值的点对作为内点；

步骤四：重复步骤一到步骤三，直到达到一定迭代次数后，选出内点数最多的一组结果，并根据所有内点重新利用SVD方法计算得到最终的结果。

24.根据权利要求15所述的一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，其特征在于：利用接触式图像传感器图像的线特征进行精定位为：

对打印介质表面图像和接触式图像传感器采集图像提取并匹配特征线；设打印介质表面点的齐次坐标为p，接触式图像传感器采集图像上对应点的齐次坐标为p′，它们之间的2D刚体变换

满足p＝Tp′；进而得到这两个平面上匹配直线的坐标满足m′＝T^Tm，其中m为打印介质平面上的直线的齐次坐标，m′为其像的齐次坐标；采用两组匹配线特征提供的约束直接联立方程求解出t_x，t_y，sinψ，cosψ，进而求解出T。

25.根据权利要求15所述的一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，其特征在于：对接触式图像传感器数据利用光度误差优化方法进行精定位为：

设p_1i是打印介质表面上的点坐标，p_2i是接触式图像传感器采集图像上对应点的坐标，它们满足p_1i＝Rp_2i+t；I₁是打印介质表面图像数据，I₂是接触式图像传感器采集图像数据；定义光度误差e_i＝I₁(p_1i)-I₂(p_i2)＝I₁(Rp_2i+t)-I₂(p_2i)，进而有光度误差目标函数J：

其中，δ是2D刚体变换

的李代数形式；

该优化问题使用Levenberg—Marquardt方法来求解；为了保证不同光度条件对成像的影响，在计算前先对I₁，I₂进行归一化处理；另外T的初值使用粗定位或者其它精定位方法的结果。

26.根据权利要求9所述的一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，其特征在于：利用接触式图像传感器数据计算打印喷头位置，流程如下：

步骤一：通过将接触式图像传感器采集到的原比例图像与打印介质表面图像进行配准，得到2D刚体变换

步骤二：根据提前标定好的打印头喷头与接触式图像传感器的相对位置关系以及接触式图像传感器当前位置，计算出打印喷头当前在接触式图像传感器采集图像中的位置坐标；

步骤三：根据步骤一计算出的2D刚体变换和步骤二计算出的打印头喷头在采集图像中的位置，得到打印头喷头在打印介质表面的位置。

27.根据权利要求12所述的一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，其特征在于：基于合成虚拟图像的多摄像头融合定位方法的具体过程为：

通过提前通过标定的方法，摄像头0坐标系、摄像头1坐标系相对于打印平面坐标系的z偏移、roll角、pitch角参数都是已知的；设摄像头0坐标系相对打印平面坐标系的x偏移、y偏移、yaw角都为0，这样摄像头0坐标系与打印平面坐标系的外参是确定的；根据摄像头1与摄像头0之间的外参关系，摄像头1坐标系与打印平面坐标系的外参也确定；进而计算出摄像头0图像中像点p₀与打印介质平面上对应点g的单应关系λp₀＝H₀g，及摄像头1图像中像点p₁与打印介质平面上对应点g的单应关系λp₁＝H₁g；由上，摄像头0图像中像点p₀与摄像头1图像中的同名像点p₁也存在单应关系

利用上述关系将来自两个不同摄像头的图像合成在一起，获得了一个视野更广的虚拟摄像头；虚拟摄像头的模型与主摄像头一致，基于该模型更好地完成定位；

得到合成的虚拟摄像头图像后，采用摄像头位姿估计方法来估计主摄像头位姿；该方法适用于两个及以上摄像头数据的融合定位。

28.根据权利要求12所述的一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，其特征在于：基于重投影误差优化的多摄像头融合定位方法是：建立多摄像头联合的重投影误差优化问题，根据摄像头间的外参，将优化变量简化成一个摄像头的位姿，求解优化问题来计算主摄像头的位姿；具体过程为：

步骤一：从打印介质表面图像、摄像头0图像、摄像头1图像中提取特征点，并分别对打印介质表面图像和摄像头0图像的特征点、打印介质表面图像和摄像头1图像的特征点进行匹配；

步骤二：根据步骤一中得到的匹配的特征点建立重投影误差优化目标函数J(ξ₀)；

步骤三：通过Levenberg-Marquardt方法求解步骤二中建立的目标优化函数得到对主摄像头位姿ξ₀的估计；

重投影误差优化目标函数J(ξ₀)的建立过程为：

设Q_i＝[X_i Y_i Z_i 1]^T(i＝0，1，2)为打印介质表面特征点的全局齐次坐标；

是摄像头0图像中的匹配特征点，

是根据摄像头0位姿和内参计算出来的打印介质表面特征重投影点；

是摄像头1图像中的匹配特征点，

是根据摄像头1位姿和内参计算出来的打印介质表面特征重投影点；

定义重投影误差项

其中，i表示特征点，c表示摄像头，

是特征点在摄像头c坐标系中的深度，K_c是摄像头内参，Q_i是特征点在全局坐标系中的坐标，ξ_c是摄像头在全局表坐标系中位姿的李代数形式，根据摄像头间的外参关系有

T₁₀是摄像头0到摄像头1的外参关系；

定义重投影误差优化目标函数J

其中S_c是摄像头c图像中提取并匹配到的特征点集合；把

代入上式，优化目标函数只有变量ξ₀，变为J(ξ₀)；

该方法适用于两个及以上摄像头数据的融合定位。

29.根据权利要求9所述的一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，其特征在于：在打印介质表面特征稀疏的场景设置辅助定位特征的方法包括：往打印介质平面上预设特征丰富的图像信息，提前固定放置或者打印用于定位的图像；往要打印的图像中添加专门用于定位的隐形特征图层，该图层通过特殊的墨水来打印，直接肉眼不可见，但通过特殊的成像条件显像。

30.根据权利要求16所述的一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，其特征在于使用直线特征和接触式图像传感器数据消除打印复印机旋转和横向的运动估计误差的方法是：

设打印介质表面直线的齐次坐标为m，接触式图像传感器采集图像上对应的直线像的齐次坐标为m′，它们之间的2D刚体变换

满足m′＝T^Tm；实际在定位跟踪过程中，根据相对运动测量计算得到的T是有一定误差的，因此这个式子不会严格成立；设线性导轨移动方向有夹角误差Δψ，打印扫描坐标系的原点在线性导轨移动的法向有位移误差Δt，因此有

由此根据m和m′求解出Δψ和Δt，进而得到消除误差后的2D刚体变换T_adjust。

31.根据权利要求19所述的一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，其特征在于：将打印复印机平置在打印复印介质平面后，摄像头坐标系对打印复印平面坐标系的roll角、pitch角、z偏移量参数是固定不变的，称为摄像头与介质平面的外参关系，其标定过程如下：

步骤一：往平整的纸上按照指定尺寸打印标定专用的图像；

步骤二：将打印复印机平置在打印好图像的纸上，根据摄像头拍摄到的图像，并使用上面的打印图像及尺寸数据对摄像头进行定位，求得摄像头坐标系相对图纸平面坐标系的x偏移、y偏移、z偏移、roll角、pitch角、yaw角；

步骤三：取步骤二摄像头定位结果中的roll角、pitch角、z偏移量作为估计值，或者更换不同位置得到多个结果后求取平均值作为最终估计结果。

32.根据权利要求14所述的一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，其特征在于：接触式图像传感器与线性导轨移动方向的夹角参数θ的标定过程如下：

步骤一：往平整的纸上按照指定尺寸打印一个正方形色块，并设正方形色块四个顶点的坐标为p₀＝[0 0]^T，p₁＝[w 0]^T，p₂＝[w w]^T，p₃＝[0 w]^T，其中w为正方形的边长；

步骤二：将打印复印机平置在打印好色块的纸上，用接触式图像传感器沿线性导轨移动扫描色块，并得到带有畸变的图像；

步骤三：计算扫描图像中对应四个顶点的像点坐标p′₀＝[x′₀ y′₀]^T，p′₁＝[x′₁ y′₁]^T，p′₂＝[x′₂ y′₂]^T，p′₃＝[x′₃ y′₃]^T；

步骤四：根据接触式图像传感器的成像模型，有

其中θ是要标定的参数，ψ、t_x、t_y是与扫描方向和起始位置相关的未知参数；

步骤五：分别把p_i，p′_i(i＝0，1，2，3)的坐标代入上式的右边和左边，联立方程求解得θ。

33.根据权利要求13所述的一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，其特征在于：摄像头与接触式图像传感器的位置关系用接触式图像传感器的两个成像端点在摄像头坐标系中的坐标e₀＝[x₀ y₀ z₀]^T，e₁＝[x₁ y₁ z₁]^T来表示；具体标定方法如下：

步骤一：往平整的纸上按照指定尺寸打印标定专用的图像；

步骤二：将打印复印机平置在打印好图像的纸上，移动生成去畸变的接触式图像传感器图像，然后保持不动；

步骤三：将扫描生成的去畸变的接触式图像传感器图像和原尺寸的打印图像进行配准，从而求得当前接触式图像传感器两个成像端点在扫描平面坐标系中的坐标e′₀＝[x′₀y′₀ z′₀]^T，e′₁＝[x′₁ y′₁ z′₁]^T；

步骤四：根据当前摄像头拍摄到的图像，并使用原尺寸打印图像对摄像头进行定位，求得扫描平面坐标系与摄像头坐标系转换关系

进而求得e₀＝Te′₀，e₁＝Te′₁。

34.根据权利要求9所述的一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，其特征在于：摄像头与打印喷头的位置关系用打印喷头的两个端点在摄像头坐标系中的坐标e₀＝[x₀ y₀ z₀]^T，e₁＝[x₁ y₁ z₁]^T来表示；具体标定方法如下：

步骤一：往平整的纸上按照指定尺寸打印标定专用的图像；

步骤二：将打印复印机平置在打印好图像的纸上，根据当前摄像头拍摄到的图像，并使用原尺寸打印图像对摄像头进行定位，求得打印平面坐标系与摄像头坐标系转换关系

步骤三：保持打印复印机不动，触发喷头的喷墨动作，移开打印复印机后测量得到墨线两个端点在打印平面坐标系中的坐标e′₀＝[x′₀ y′₀ z′₀]^T，e′₁＝[x′₁ y′₁ z′₁]^T；

步骤四：计算得到打印喷头两个端点在摄像头坐标系中的坐标e₀＝Te′₀，e₁＝Te′₁。

35.根据权利要求26所述的一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，其特征在于：接触式图像传感器与打印喷头的位置关系用打印喷头的两个端点在接触式图像传感器扫描坐标系中的坐标e₀＝[x₀ y₀]^T，e₁＝[x₁ y₁]^T来表示；具体标定过程如下：

步骤一：往平整的纸上按照指定尺寸打印标定专用的图像；

步骤二：将打印复印机平置在打印好图像的纸上，保持打印复印机不动，触发喷头的喷墨动作，打印出一条墨线，然后停止打印；

步骤三：移动打印复印机生成去畸变的接触式图像传感器图像；

步骤四：将扫描生成的去畸变的接触式图像传感器图像和原尺寸的打印图像进行配准，从而求得接触式图像传感器图像坐标与打印图像坐标之间的2D刚体转换关系T；

步骤五：移开打印复印机后测量得到墨线两个端点在打印平面坐标系中的2D坐标e′₀＝[x′₀ y′₀]^T，e′₁＝[x′₁ y′₁]^T；

步骤六：计算得到打印喷头两个端点在接触式图像传感器扫描坐标系中的坐标e₀＝T^{- 1}e′₀，e₁＝T^-1e′₁。

36.根据权利要求9所述的一种基于高精度视觉定位的便携式打印复印机的打印流程设计方法，其特征在于：打印喷头安装方向与线性导轨移动方向的夹角参数η的标定过程如下：

步骤一：将打印复印机平置在平整的纸上，移动打印机并利用打印喷头打印出色块；

步骤二：直接求得η＝π-色块两个边的角。

37.一种基于高精度视觉定位的便携式打印复印机的扫描流程设计方法，其特征在于图像扫描拼接的流程包括：

步骤一：选择扫描使用的图像传感器；即摄像头或者接触式图像传感器；

步骤二：进行多次图像扫描；对于使用摄像头的方案，通过摄像头和位置跟踪装置采集到的数据，并结合摄像头与介质平面的外参关系、摄像头内参、摄像头与线性导轨移动方向的空间关系计算出平面扫描图像；对于使用接触式图像传感器的方案，通过接触式图像传感器和位置跟踪装置，并结合接触式图像传感器与线性导轨移动方向的夹角关系，直接得到平面扫描图像；

步骤三：通过将多次扫描之后得到的图像进行特征提取、配准和拼接，得到一副完整的、具有原始物理尺寸信息的图像。

38.根据权利要求37所述的一种基于高精度视觉定位的便携式打印复印机的扫描流程设计方法，其特征在于：使用摄像头和位置跟踪装置进行图像扫描是：

设使用摄像头进行一次图像扫描过程中，线性导轨稳定不动、打印复印机没有旋转且只有可以测量的平移；使用摄像头和位置跟踪装置进行扫描建图的过程如下：

步骤一：根据标定好的摄像头坐标系与扫描平面坐标系的外参关系，并设摄像头坐标系与扫描平面坐标系的x偏移、y偏移、yaw角初始值为0，进而计算出摄像头坐标系与扫描平面坐标系初始转换关系

步骤二：根据测量到的平移量Δt_i和提前标定好的线性导轨移动方向与摄像头坐标系的参数a，计算出后续帧i中摄像头坐标系与扫描平面坐标系的转换关系

步骤三：根据各帧摄像头坐标系与扫描平面坐标系间的转换关系

得到扫描平面图像与每帧图像间的单应矩阵

步骤四：根据单应变换

将每帧图像转换成扫描平面上对应的图像分片；

步骤五：对转换后的图像分片进行特征提取、匹配，拼接得到完整的扫描平面上的原尺寸图像；

步骤六：对于比较大的图像先通过多次图像采集过程得到的扫描平面上的图像分片，再进行拼接得到更大范围的原尺寸图像。

39.根据权利要求37所述的一种基于高精度视觉定位的便携式打印复印机的扫描流程设计方法，其特征在于：使用接触式图像传感器和位置跟踪装置进行图像扫描的过程为：

步骤一：采用接触式图像传感器和位置跟踪装置一次扫描得到一行原比例图像；

步骤二：对多次扫描到的多行图像进行特征提取及配准，得到不同图像间的2D刚体变换；

步骤三：根据不同图像间的2D刚体变换，拼接得到一副更完整的图像。

40.根据权利要求38所述的一种基于高精度视觉定位的便携式打印复印机的扫描流程设计方法，其特征在于：摄像头与线性导轨移动方向的空间关系用3D向量a表示，其值为沿线性导轨移动方向的单位矢量在摄像头坐标系中的坐标，标定过程如下：

步骤一：往平整的纸上按照指定尺寸打印标定专用的图像；

步骤二：将打印复印机平置在打印好图像的纸上，根据摄像头拍摄到的图像，并使用上面的打印图像及尺寸数据对摄像头进行定位，求得摄像头坐标系与扫描平面坐标系初始转换关系

步骤三：将打印复印机沿线性导轨移动距离Δt后，再次根据摄像头拍摄到的图像求摄像头坐标系与扫描平面坐标系转换关系

并通过位置跟踪装置测量Δt的值；

步骤四：根据摄像头的运动模型，有

进而求得

Images