CN114422653A - 一种书籍展平线激光快速标定方法及激光扫描仪 - Google Patents

Abstract

本发明提供一种书籍展平线激光快速标定方法及激光扫描仪。方法包括：向待扫描件上发射若干束平行激光获取标定实体图像；基于所述标定实体图像抽取激光线数据并构建激光线集合；基于所述标定实体图像抽取展平目标数据构建展平目标集合；构建一级映射模型描述激光线集合中的各激光点坐标与高度数据之间的映射关系；构建二级映射模型描述激光线集合中的各激光点坐标的高度数据与展平目标集合中各点坐标之间的映射关系；对一级映射模型和二级映射模型进行联立求解，从而获取激光标定参数。本发明建立了线激光成像图像与展平映射的直接关系，根据展平误差端到端优化内部参数，具有标定速度快的特点。

Description

一种书籍展平线激光快速标定方法及激光扫描仪

技术领域

本发明涉及一种书籍展平技术，具体而言，尤其涉及一种书籍展平线激光快速标定方法及激光扫描仪。

背景技术

随着视频采集和处理技术的发展，现有扫描仪已经能够通过位于扫描物上方的摄像头采集书页照片即可完成扫描，免去了人工将待扫描的印刷品按压在扫描面的传统扫描方式带来的繁重工作量，具有扫描速度快的巨大优势。

现有基于线激光的籍展平方法中，通常利用激光偏移信息来获取扫描高度信息，进一步构造高度曲面，再利用高度曲面投影至水平面来完成展平。建立激光偏移与高度的关系是展平系统里至关重要的环节，现有方法中通常有以下几种做法：

1、将摄像头和激光线均垂直于放置书本的水平面，此时成像后的激光线图像与书本横行文字和上下边缘呈现统一弯曲度，既可不显式建立高度曲面，直接拉伸激光线完成展平，也可利用多激光线的距离，线性映射到高度空间完成展平，而不需要额外的标定系统。但该方法由于需要严格建立垂直对应关系，对生产、安装等要求较高，而实际良品率较低。

2、激光线不垂直于水平面，而以与水平面交角alpha斜向发射，中国专利CN105979117，通过H＝d*tan(alpha)其中d为激光线打至不同高度平面与初始激光线的视差。其中alpha通过测量得到，该方法虽然简单，，但是没用考虑镜头安装位置和内部畸变带来的影响，导致使用效果不佳。

3、扫描多个高度曲面下的图像层，从而得到不同高度下激光线的视差，每一个图像层的高度是预设已知的，从而利用视差与高度数据，采用函数拟合(例如多项式拟合)的方式建立映射关系，但该方法需要建立复杂的标定系统来达成，且由于镜头安装位置和畸变，通常需要拟合激光线上密集的点来达到较好的效果。

综上所述，在现有方法中，缺乏一种既能保证展平效果又能兼顾运算效率的图像展平方法。

发明内容

鉴于现有技术的不足，本发明提供一种书籍展平线激光快速标定方法及激光扫描仪，建立了线激光成像图像与展平映射的直接关系，同时根据展平误差端到端优化展平系统内部参数。

本发明采用的技术手段如下：

一种书籍展平线激光快速标定方法，包括：

向待扫描件上发射若干束平行激光，对待扫描件进行扫描从而获取带有激光光线图的标定实体图像，其中待扫描件为对称型扫描模具，所述对称型扫描模为轴对称实体，且相对于水平面的高度连续变化；

基于所述标定实体图像抽取激光线数据并构建激光线集合，所述激光线集合包括标定实体图像上的激光线数据，所述激光线数据包括所有位于激光线区域上的激光点坐标；

基于所述标定实体图像抽取展平目标数据构建展平目标集合，所述展平目标数据包括所有位于展平目标区域上的点坐标；

构建一级映射模型，所述一级映射模型用于描述激光线集合中的各激光点坐标与高度数据之间的映射关系，所述高度数据为当前激光点坐标位置对应待扫描件实际位置的高度数据；

构建二级映射模型，所述二级映射模型用于描述激光线集合中的各激光点坐标数据与展平目标集合中各点坐标之间的映射关系；

对一级映射模型和二级映射模型进行联立求解，从而获取激光标定参数。

进一步地，构建一级映射模型，包括：

在激光线数据中选择且仅选择一个点坐标数据，通过多层次线性映射对点坐标数据进行运算处理后获取激光线外参映射高度。

进一步地，构建一级映射模型，还包括：

在激光线数据中选择且仅选择一个点坐标数据，通过多层次线性映射对点坐标数据进行运算处理后获取激光线由镜头畸变引起的增量高度。

进一步地，构建二级映射模型，包括：

在每条激光线数据中选择且仅选择一个点坐标数据，通过所述二维映射模型对每一个点坐标数据进行映射后，根据每个映射结果的加和获取展平目标数据中的点坐标数据。

进一步地，在每条激光线数据中的选取的点坐标数据与求取的展平目标数据中的点坐标数据之间构成线性约束。

进一步地，所述二级映射模型由神经网络或者经验化模型构建。

进一步地，以标定实体图像左上顶点为原心构建初始坐标系。

本发明还公开了一种激光扫描仪，包括：

激光线发射单元，用于向待扫描件上发射平行激光光束；

扫描单元，对待扫描件进行扫描，包括获取没有激光线的第一扫描图像以及带有激光线的第二扫描图像；

处理单元，基于第二扫描件进行激光标定，并获取激光标定参数，标定方法如上述任意一项所述；

输出单元，基于所述激光标定参数对第一扫描图像进行展平处理，从而获取展平书籍图像。

进一步地，还包括：

设备检测单元，根据所述激光标定参数进行设备异常检测。

较现有技术相比，本发明具有以下优点：

1、本发明公开的激光标定方法建立了线激光成像图像与展平映射的直接关系，根据展平误差端到端优化内部参数。同时，由于采用了对展平目标的直接优化，方法的精度更高。

2、本发明公开的激光标定方法利用一个简单的具有高度连续变化的模具，采集其单帧图像来完成标定，无需额外的规律变换模具。通过方法可以揭露高度信息和线激光图像坐标的多层次映射关系，这为融入比如深度神经网络等方法提供了可能。

3、本发明公开的激光标定法同时兼容了利用2D展平目标进行拉伸的后处理方法和基于3D曲面投影到平面完成展平的后处理方法，展平效果更佳。

4、本发明公开的扫描仪装置，可以根据上述标定方法提供的标定参数对系统的安装品质和相机畸变程度进行定量分析。

基于上述理由本发明可在扫描设备领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种书籍展平线激光快速标定方法流程图。

图2为实施例中扫描原图。

图3为实施例中带激光的扫描图像。

图4为实施例中展平目标提取示意图。

图5为实施例中激光线上点数据与展平目标点数据的线性约束示意图。

图6为实施例中扫描实体高度为h时对应的位置坐标示意图。

图7为本发明激光扫描仪功能框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

如图1所示，本发明提供了一种书籍展平线激光快速标定方法，包括：

S1、向待扫描件上发射若干束平行激光，对待扫描件进行扫描从而获取带有激光光线图的标定实体图像，其中待扫描件为对称型扫描模具，所述对称型扫描模为轴对称实体，且相对于水平面的高度连续变化。

在实际应用中，标定实体指的是待扫描件，例如书籍如图2所示，为了方便展平操作，优选进行两次扫描：一次扫描将会获取原图即不发射激光线，二次扫描获取激光图，即图像包括激光线。前者是为了最后展平时获取不带激光的目标图像。本申请利用扫描实体来进行扫描系统的标定，因而称之为标定实体图像。

本发明方法用于在实际使用之前进行的激光线标定，从而计算出标定参数在展平过程中使用。因此，这里采用对称型扫描模具作为待扫描件。对称型扫描模具为轴对称实体，且相对于水平面的高度连续变化，主要用于确定成像体统参数的标定实体结构，与标定领域常用的标定板区别在于对称型扫描模具具有高度特征，这样标定后的系统能够更好的进行三维图像展平。本实施例中，对称型扫描模具为图3所示的类似书籍的结构，其侧视呈现一个类似圆顶的“M”形状，除此之外，也可以选择侧视呈现类似“V”型、“W”型或者其他一切具有高度连续变化特征的形状。

S2、基于所述标定实体图像抽取激光线数据并构建激光线集合，所述激光线集合包括标定实体图像上的激光线数据，所述激光线数据包括所有位于激光线区域上的激光点坐标。

具体来说，该步骤主要用于抽取激光图中的激光线，每一条激光线抽取后用点集合P_l表示，利用原图和激光图的差分线性运算提取激光线，总结而言，一张激光图进行抽取后可以得到激光线集合：

L_Info＝{L₀,L₁,L₂....L_n}

对于L_i中的每一个点p(x,y)为激光上某点在图像坐标系中的位置， i＝0,1,...,n。

S3、基于所述标定实体图像抽取展平目标数据构建展平目标集合，所述展平目标数据包括所有位于展平目标区域上的点坐标。

具体来说，衡量展平效果的好坏主要是测定展平后横向文本、直线、边缘等的平整度，在未展平之前它们是呈现弯曲状态，本发明定义这类实体为展平目标，比如图4中的“圆点”文本和边缘。本质上，书本的3D曲面也是属于展平目标，在本发明另一个实施方式中，可以通过高精度3D扫描仪器进行扫描后，可以得到扫描模具的3D点云坐标构成的集合作为展平目标。

实际上当展平目标已知时，进行展平后处理即可完成展平，但通常实际使用场景中，展平目标不易准确获取。例如提取文本面临版面复杂，某些书籍提取边缘不可靠，如破损等。因而常常需要借助外部光，比如利用线激光来获取3D曲面。

展平目标D，我们记为：

D_dewarp＝{D₀,D₁,D₂....D_n}

D_i表示某一展平目标实体所构成的点集，通常二维目标比如文本行或者图像边缘等，本实施例优选采用书籍边缘作为展平目标。D_i由多个二维点 p(x,y)构成，相应地三维目标即为p(x,y,z)构成，i＝0,1,...,n。

S4、构建一级映射模型，所述一级映射模型用于描述激光线集合中的各激光点坐标与高度数据之间的映射关系，所述高度数据为当前激光点坐标位置对应待扫描件实际位置的高度数据。优选地，该步骤优选包括在激光线数据中选择且仅选择一个点坐标数据，通过多层次线性映射模型对点坐标数据进行映射后获取激光线外参映射高度。进一步优选地，该步骤还包括在激光线数据中选择且仅选择一个点坐标数据，通过所述多层次线性映射模型对点坐标数据进行映射后获取激光线由镜头畸变引起的增量高度。

具体来说，本步骤提出的第一映射模型是具有隐含高度的映射模型。一般来说，展平后处理通常可以利用2维展平目标，例如文本行，边缘等直接做拉伸操作，完成展平。3维曲面信息则向水平面进行投影来完成展平。

作为本发明较佳的实施方式，给出一个第一映射模型的具体实例：

cx＝img_w/2 (2.1)

cy＝img_h/2 (2.2)

x_norm＝(x_m-cx)/cx (2.3)

y_norm＝(y_m-cy)/cy (2.4)

h0＝[(a1*x_norm+a2)*y_norm+a3*x_norm+a4](a5*y_0k+a6) (2.5)

h＝h0+g_b(x_norm,y_norm) (2.6)

y_k＝cy-[(cy-y_0k)*H]/(H-h) (2.7)

其中，cx,cy为标定实体图像中心，H为镜头距扫描平面的高度，式子(2.7)是通过小孔成像可以推导得到的，即在已知扫描实体某点高度h时可通过(2.7)计算得到其在扫描实体图像上的y_k坐标，其中y_0k为参考初始位置的y坐标，(x_m，y_m)为激光线上的一个点坐标。本实施例提供了一个参考零平面下对应的y坐标，以标定实体图像左上顶点为原心构建初始坐标系如图6所示。

本实施例中的第一映射模型考虑h和线激光的位置间具有的映射关系。因此构建出如式子(2.6)所示的模型，将高度分解为了由摄像头内参外参，激光线外参映射的高度h₀和由镜头畸变引起的增量高度部分g,后者在稍后给出一个实例。实际上仅仅考量非畸变部分，该模型的实验精度已经较高。 h₀的核心表达式见(2.5)，其揭露了高度可由激光线上点的位置(x,y)进行多重线性嵌套映射得到。

在本发明更进一步优选的实施方式中，考虑扫描实体的高度跨越很大，通常地，h/H>0.2时镜头内部畸变带来的高度上的映射影响变得不可忽略，因此采用以下映射实例来增强模型的能力。

g_b＝b1*x_norm ³+b2*x_norm ²+b3*y_norm ³+b4*y_norm ²

参数A(a1,a2,...a6)和B(b1,...b4)构成了第一映射模型的待标定求解参数。

S5、构建二级映射模型，所述二级映射模型用于描述激光线集合中的各激光点坐标与展平目标集合中各点坐标之间的映射关系。

具体来说，本发明中通过步骤S4和步骤S5联合构建了对高度进行中间层次表达模型体系，以兼容基于高度曲面展平的后处理。构建二级映射模型主要包括：在每条激光线数据中选择且仅选择一个点坐标数据，通过所述二维映射模型对每一个点坐标数据进行映射后，根据每个映射结果的加和获取取展平目标数据中的点坐标数据。进一步优选地，在每条激光线数据中的选取的点坐标数据与求取的展平目标数据中的点坐标数据之间构成线性约束线性约束。

具体来说，本申请中定义由上述L映射到D的模型为第二映射模型，该第二映射模型的内部参数可微分，本实施例中记为可微分映射模型F，即：

D_dewarp＝F(L_info)

F is paramlized by P

优选地，本发明实施例以二维标定图像为例，建立了如下映射模型F：

对于D_i中的某坐标点p_k(x_k,y_k)，其坐标是L集合中N个坐标点p_m(x_m,y_m) 的f映射值的总和，其中N是线激光的条数。

f_nis paramlizdby P_n

x_m＝c1*x_k+c2

其中x_m和x_k构成线性约束，具体地由展平目标行垂直线构成该约束，如图5所示，本实施例中优选标定实体为无旋转状态，即模型满足c1＝1,c2＝0。图中最上面一点即为Di中的某点pk，其余点均为L中的元素。需要说明的是，c1和c2不是模型本身参数，利用标定实体摆放位置即可确定，为简化处理，本实施例中采用c1＝1,c2＝0的情形。

该二维映射模型的发明动机在于当激光线和摄像头的位置确定，部件确定，那么线激光的变化规律与展平目标具有规律的映射关系，建模并求解这种规律映射，即可完成对扫描系统的标定过程。根据实验可知，f_n可由参数化的模型，比如神经网络，经验化模型近似建模，本发明优选采用前述一级映射模型。

需要说明的是，通过S4和S5构建的二级映射体系对高度进行了中间层次的表达，以兼容基于高度曲面展平的后处理，其中镜头距扫描平面的高度 H实际上不需要为真实物理高度，为一近似常数即可，因为在后处理阶段通常我们将会把3D曲面映射到一平面，不同的高度H，仅仅会带来平面的远近不同，呈现展平后图像大小不同，而不影响其平整度。另外该模型揭露了，高度可由非畸变量映射值和畸变量映射值组成，且非畸变映射值和像激光上的点的位置，呈现了多层次线性映射关系，即任何多层次线性或者非线性模型均可以应用至该模型，值得一提的是，当我们利用多层神经网络嵌入该模型时，可以获得更高的像素精度。

S6、对一级映射模型和二级映射模型进行联立求解，从而获取激光标定参数。

该步骤执行端到端的数值优化，即利用展平目标信息D与激光信息L, 来求解映射模型中的参数量A,B。由于我们的模型是可微分的，因而可以利用常见的比如，梯度下降等方法进行参数求解。损失函数采用MSE误差。

本发明还公开了一种激光扫描仪，如图7所示，包括：

激光线发射单元，用于向待扫描件上发射平行激光光束；

扫描单元，对待扫描件进行扫描，包括获取没有激光线的第一扫描图像以及带有激光线的第二扫描图像；

处理单元，基于第二扫描件进行激光标定，并获取激光标定参数，标定方法上述任意一项所述；

输出单元，基于所述激光标定参数对第一扫描图像进行展平处理，从而获取展平书籍图像。

进一步地，还包括：

设备检测单元，根据所述激光标定参数进行设备异常检测。

通常在产线中，激光线发射单元和镜头安装位置的相对关系以及不同器件个体带来的差异是有限的，而监控异常情况是重要的，即标定系统通常应该具备检测异常情况的能力。在本申请建立的可微分映射模型中，A,B参数具有强解释性。其中a1含义为x轴变化量对y轴向高度变化的影响系数，a2为y轴变化量对高度的影响系数，a3为x轴变化量对高度的影响系数，a5,a6 为扫描模具摆放位置参数。例如当安装的扫描成像平面与成像中心线接近垂直时，a1,a3非常小，反之则系数较大，b1,b2分别表示x轴的三次和二次因子对高度的影响，b3,b4分别表示y轴的三次和二次因子对高度的影响，它们表示了镜头的非线性畸变程度，通常统一批次的镜头具有相对集中程度的畸变程度。因而这些参数可用于自动检验产品批次的合格程度，当发现异常时能够回朔背后的影响来源。

例如采取一批人工检验良好的设备，求取ai(mean)和ai(std)利用3*std方法，即新设备的参数ai’在ai(mean)-3*ai(std)<ai’<ai(mean)+3*ai(std)才算正常，其中ai(mean)表示多个人工检验良好的设备参数量ai的平均值i＝1,2,…,6。对于参数B也做上述处理，利用3*std方法，即新设备的参数bj’在bj(mean) -3*bj(std)<bj’<bj(mean)+3*bj(std)才算正常，其中bj(mean)表示多个人工检验良好的设备参数量bj的平均值j＝1,2,3,4。通过上述处理，即可检测出异常的设备，然后检测单元针对A、B中的参数提供建议性的检测结果。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种书籍展平线激光快速标定方法，其特征在于，包括：

向待扫描件上发射若干束平行激光，对待扫描件进行扫描从而获取带有激光光线图的标定实体图像，其中待扫描件为对称型扫描模具，所述对称型扫描模为轴对称实体，且相对于水平面的高度连续变化；

基于所述标定实体图像抽取激光线数据并构建激光线集合，所述激光线集合包括标定实体图像上的激光线数据，所述激光线数据包括所有位于激光线区域上的激光点坐标；

基于所述标定实体图像抽取展平目标数据构建展平目标集合，所述展平目标数据包括所有位于展平目标区域上的点坐标；

构建一级映射模型，所述一级映射模型用于描述激光线集合中的各激光点坐标与高度数据之间的映射关系，所述高度数据为当前激光点坐标位置对应待扫描件实际位置的高度数据；

构建二级映射模型，所述二级映射模型用于描述激光线集合中的各激光点坐标与展平目标集合中各点坐标之间的映射关系；

对一级映射模型和二级映射模型进行联立求解，从而获取激光标定参数。

2.根据权利要求1所述的一种书籍展平线激光快速标定方法，其特征在于，构建一级映射模型，包括：

在激光线数据中选择且仅选择一个点坐标数据，通过多层次线性映射对点坐标数据进行运算处理后获取激光线外参映射高度。

3.根据权利要求2所述的一种书籍展平线激光快速标定方法，其特征在于，构建一级映射模型，还包括：

在激光线数据中选择且仅选择一个点坐标数据，通过多层次线性映射对点坐标数据进行运算处理后获取激光线由镜头畸变引起的增量高度。

4.根据权利要求1所述的一种书籍展平线激光快速标定方法，其特征在于，构建二级映射模型，包括：

在每条激光线数据中选择且仅选择一个点坐标数据，通过所述二维映射模型对每一个点坐标数据进行映射后，根据每个映射结果的加和获取展平目标数据中的点坐标数据。

5.根据权利要求4所述的一种书籍展平线激光快速标定方法，其特征在于，在每条激光线数据中的选取的点坐标数据与求取的展平目标数据中的点坐标数据之间构成线性约束。

6.根据权利要求1所述的一种书籍展平线激光快速标定方法，其特征在于，所述二级映射模型由神经网络或者经验化模型构建。

7.根据权利要求1所述的一种书籍展平线激光快速标定方法，其特征在于，以标定实体图像左上顶点为原心构建初始坐标系。

8.一种激光扫描仪，其特征在于，包括：

激光线发射单元，用于向待扫描件上发射平行激光光束；

扫描单元，对待扫描件进行扫描，包括获取没有激光线的第一扫描图像以及带有激光线的第二扫描图像；

处理单元，基于第二扫描件进行激光标定，并获取激光标定参数，标定方法如权利要求1-7中任意一项所述；

输出单元，基于所述激光标定参数对第一扫描图像进行展平处理，从而获取展平书籍图像。

9.根据权利要求8所述的一种激光扫描仪，其特征在于，还包括：

设备检测单元，根据所述激光标定参数进行设备异常检测。

Images