发明内容
本发明的目的旨在至少解决所述技术缺陷之一。
为此,本发明的一个目的在于提出一种触摸屏的校准方法,该方法可以有效修正触摸屏运输损伤和使用环境差异带来的精度恶化,适应能力强,并且可以有效去除人工操作误差,获得更高的精度。本发明的另一个目的在于提出一种触摸屏的校准系统。
为了实现上述目的,本发明第一方面的实施例提供一种触摸屏的校准方法,包括如下步骤:
将触摸屏的工作状态从正常触摸转换至校准模式;
根据所述触摸屏的触摸精度变化对触点采用以下方式之一进行校准:
(1)对所述触点的优化坐标进行普通校准,包括如下步骤:
设置触点位置分布;
触摸获取对应的触点世界坐标;
计算从触摸物理坐标到屏幕坐标的转换模型,采用最小二乘法进行优化处理,其中,所述计算从触摸物理坐标到屏幕坐标的转换模型为:
原理公式为:
计算公式为:
其中,Xs和Ys为普通校准后的屏幕坐标,XW和YW为世界坐标,nx和ny为缩放系数,U为旋转矩阵,V为平移矩阵,A~F为简化系数;
(2)对所述触点的优化坐标进行深度校准,包括如下步骤:
设置触点位置分布;
触摸获取对应的触点的成像位置;
计算从畸变成像位到屏幕坐标的转换模型,采用最小二乘法进行优化处理;
在完成普通校准或深度校准后,将所述触摸屏的工作状态从校准模式转换到正常触摸。
在本发明的一个实施例中,在普通校准中,触摸获取对应的触点世界坐标的统计值为:
其中,pk(k)为采集到的所述触点的位置,P为所述触点的世界坐标的统计值,T1和T2为预设阈值,k采集所述触点的时间帧。
在本发明的再一个实施例中,所述计算从畸变成像位到屏幕坐标的转换模型为:
带畸变的成像公式为:
其中,X、Y、Z分别为三维坐标,参数的下标C和W分别为摄像机坐标系和世界坐标系,Xd和Yd为小孔成像计算的成像坐标,Xp和Yp为平移后的中心原点成像坐标,Xn和Yn为畸变计算后的成像坐标,其中k1、k2、q1和q2为畸变参数,r为当前未畸变坐标和光学中心的距离,
为旋转矩阵为平移矩阵,α、β和γ分别为坐标系的各向旋转角度,mx、my和mz分别为坐标系的各向平移距离,fc(1)表示水平方向镜头焦距,fc(2)表示垂直方向镜头焦距,cc(1)表示水平中心,cc(2)表示垂直中心;
成像转换计算公式为:
该成像转换计算公式为限定触摸点位于板面附近,即z轴高度ZW为0时的成像计算公式,M为旋转矩阵的简写形式,Xp为平移后的中心原点成像坐标的水平分量。
在本发明的又一个实施例中,将所述成像转换计算公式结合普通校准的投影公式得到深度校准后,得到从成像到精确屏幕坐标的转换公式并进行简化得到下式:
(fc(1)K0+XpK2-cc(1)K2)XS+(fc(1)K1+XpK3-cc(1)K3)YS=Xp-cc(1)-K4,
其中,K0至K4为合并的系数项的简化表达;
成像对应的直线用点斜式方程来表达,需要直线上1点和斜率k,由上式可得,
令L0=K2、L1=fc(1)K0-cc(1)K2、L2=K3、L3=fc(1)K1-cc(1)K3,成像位置的对应斜率计算式为:
镜头的光学中心计算式为:
由此得到模型参数,包括镜头中心坐标和转换参数L0至L3,对于任意成像,使用以上模型,计算斜率k,然后与镜头中心Xc和Yc结合获得世界坐标系上成像对应的射线,Xp为平移后的中心原点成像坐标的水平分量。
根据本发明实施例的触摸屏的校准方法,可以有效修正触摸屏运输损伤和使用环境差异带来的精度恶化,适应能力强,并且可以有效去除人工操作误差,获得更高的精度。此外,本发明具有纠错能力,即使部分采集点的位置存在误差,算法也可以通过其他精确的采集点补偿降低误差,简单易用。
本发明第二方面的实施例提供一种触摸屏的校准系统,包括:转换装置,用于将触摸屏的工作状态从正常触摸转换至校准模式,以及在完成普通校准或深度校准后,将所述触摸屏的工作状态从校准模式转换到正常触摸;校准装置,所述校准装置与所述转换装置相连,用于根据所述触摸屏的触摸精度变化对触点采用以下方式之一进行校准:(1)所述校准装置对所述触点的优化坐标进行普通校准,包括:所述校准装置设置触点位置分布;所述校准装置触摸获取对应的触点世界坐标;所述校准装置计算从触摸物理坐标到屏幕坐标的转换模型,采用最小二乘法进行优化处理;(2)所述校准装置对所述触点的优化坐标进行深度校准,包括:所述校准装置设置触点位置分布;所述校准装置触摸获取对应的触点的成像位置;所述校准装置计算从畸变成像位到屏幕坐标的转换模型,采用最小二乘法进行优化处理,其中,所述校准装置计算从触摸物理坐标到屏幕坐标的转换模型为:
原理公式为:
计算公式为:
其中,Xs和Ys为普通校准后的屏幕坐标,XW和YW为世界坐标,nx和ny为缩放系数,U为旋转矩阵,V为平移矩阵,A~F为简化系数。
在本发明的一个实施例中,在普通校准中,所述校准装置触摸获取对应的触点世界坐标的统计值为:
其中,pk(k)为采集到的所述触点的位置,P为所述触点的世界坐标的统计值,T1和T2为预设阈值,k采集所述触点的时间帧。
在本发明的再一个实施例中,所述校准装置计算从畸变成像位到屏幕坐标的转换模型为:
带畸变的成像公式为:
其中,X、Y、Z分别为三维坐标,参数的下标C和W分别为摄像机坐标系和世界坐标系,Xd和Yd为小孔成像计算的成像坐标,Xp和Yp为平移后的中心原点成像坐标,Xn和Yn为畸变计算后的成像坐标,其中k1、k2、q1和q2为畸变参数,r为当前未畸变坐标和光学中心的距离,为旋转矩阵为平移矩阵,α、β和γ分别为坐标系的各向旋转角度,mx、my和mz分别为坐标系的各向平移距离,fc(1)表示水平方向镜头焦距,fc(2)表示垂直方向镜头焦距,cc(1)表示水平中心,cc(2)表示垂直中心;
成像转换计算公式为:
该成像转换计算公式为限定触摸点位于板面附近,即z轴高度ZW为0时的成像计算公式,M为旋转矩阵的简写形式,Xp为平移后的中心原点成像坐标的水平分量。
在本发明的再一个实施例中,所述校准装置将所述成像转换计算公式结合普通校准的投影公式得到深度校准后,得到从成像到精确屏幕坐标的转换公式并进行简化得到下式:
(fc(1)K0+XpK2-cc(1)K2)XS+(fc(1)K1+XpK3-cc(1)K3)YS=Xp-cc(1)-K4,
其中,K0至K4为合并的系数项的简化表达;
成像对应的直线用点斜式方程来表达,需要直线上1点和斜率k,由上式可得,
令L0=K2、L1=fc(1)K0-cc(1)K2、L2=K3、L3=fc(1)K1-cc(1)K3,成像位置的对应斜率计算式为:
镜头的光学中心计算式为:
由此得到模型参数,包括镜头中心坐标和转换参数L0至L3,对于任意成像,使用以上模型,计算斜率k,然后与镜头中心Xc和Yc结合获得世界坐标系上成像对应的射线,Xp为平移后的中心原点成像坐标的水平分量。
根据本发明实施例的光学触摸校准系统,可以有效修正触摸屏运输损伤和使用环境差异带来的精度恶化,适应能力强,并且可以有效去除人工操作误差,获得更高的精度。此外,本发明具有纠错能力,即使部分采集点的位置存在误差,算法也可以通过其他精确的采集点补偿降低误差,简单易用。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考图1至图3对本发明实施例的触摸屏的校准方法进行描述。其中,触摸屏可以为光学触摸屏,可以通过光电的方式将部件的位置或位移转换成为代码形式,是用于用户和计算机之间交互的输入装置或输入和输出组合装置。本发明的触摸屏的校准方法可以用于校准触摸屏,需要触摸屏和显示设备配合实现该方法。
如图1所示,本发明实施例的触摸屏的校准方法,包括如下步骤:
步骤S1,将触摸屏的工作状态从正常触摸转换至校准模式。
然后,根据触摸屏的触摸精度变化对触点采用以下方式之一进行校准:普通校准或者深度校准。其中,普通校准和深度校准的关系如下:校准需要将全屏95%以上区域精度校回±3mm以内。打开校准界面使用普通校准,采点数量少,单点需要的采集时间短,简易快捷。如无法达到标准或由于精度变化较大导致采集点无法计算出坐标,则统计模块会自动弹出深度校准,同时也可以人工主动采用深度校准,从而保证精度不会随时间逐渐恶化。(1)普通校准
在一般情况下,触摸屏使用时只是改变显示的位置,例如投影仪变化、分辨率改变等。此种状态下,触摸屏的精度不会变化,因此只需要改变触摸坐标和显示坐标的关系即可,即采用普通校准。
考虑到校准时,操作人员触摸目标位置时很难一次触到最佳位置,可能会存在触下之后移动到最优位置的过程,因此添加点序列的选择机制,排除移动过程中非最佳点带来的误差。多个校准点依次触摸的过程中,由于屏幕较大,较远的角落往往触摸不准,因此使用最优化的算法计算参数,最大程度减小单个触摸不准点带来的误差。基于以上处理,可以有效提高整体的触摸校准精度。
步骤S21,设置触点位置分布。
如图2所示,四个触点上下对称分布在触摸屏上。
步骤S22,触摸获取对应的触点世界坐标。
触点采集过程中,采用优化选点机制生成触点的世界坐标的统计值为:
其中,pk为采集到的触点的位置,P为触点的世界坐标的统计值,T1和T2为预设阈值。其设置可以根据多人的操作习惯进行统计。多帧检测点叠加,选点去掉触摸物刚接触时的T1帧向触摸点移动位置的不稳定点,累计T2帧计算。
在本发明的实施例中,触点采集的传送方式和协议采用如下方式:对原始触点的整数坐标传输放大多倍,从而既可以保证精度,又降低了数据量。
步骤S23,计算从触摸物理坐标到屏幕坐标的转换模型,采用最小二乘法进行优化处理。
普通校准中,从触摸物理坐标到屏幕坐标的转换计算方法的原理公式为:
将原始公式(2)的反向公式简化为下述公式(3),即得到转换模型:
其中,Xs和Ys为普通校准后的屏幕坐标,XW和YW为世界坐标,nx和ny为缩放系数,U为旋转矩阵,V为平移矩阵,A~F为简化系数。因为标定时触摸固定点的精准屏幕坐标是已知的,计算的世界坐标是成像计算的结果,上式的参数是需要计算的校准参数的简化系数。
普通校准中,对普通校准后的坐标采用最小二乘法进行优化处理。
本发明改变显示区域条件下的普通校准加入点的分析,自动分析去除触上、离开以及接近最佳触点过程中产生的不精确点,使用最优的触点计算转换参数,提高触摸精度。
(2)深度校准
在搬运或者长期使用过程中,出现的冲击、震动、老化、热膨胀等因素都会影响光学传感器的安装位置,而普通校准无法补偿上述这类变化,导致精度会随着使用逐渐下降。为了解决这类问题,执行深度校准,即使用分离的光学光学传感器光学参数和结构参数,分别计算镜头参数和安装参数。在精度下降时,使用深度校准测量当前的传感器参数,可以解决以上问题。同样采用点序列选择机制和优化计算机制,保证高精度。
步骤S31,设置触点位置分布。
如图3所示,六个触点分布在触摸屏上,其中每三个触点上下对称分布。
步骤S32,触摸获取对应的触点的成像位置。
步骤S33,计算从畸变成像位到屏幕坐标的转换模型,采用最小二乘法进行优化处理。
深度校准中,计算从畸变成像位到屏幕坐标的转换模型为:
带畸变的成像公式为:
其中,X、Y、Z分别为三维坐标,参数的下标C和W分别为摄像机坐标系和世界坐标系,Xd和Yd为小孔成像计算的成像坐标,Xp和Yp为平移后的中心原点成像坐标,Xn和Yn为畸变计算后的成像坐标,其中k1、k2、q1和q2为畸变参数,r为当前未畸变坐标和光学中心的距离,为旋转矩阵,为平移矩阵,α、β和γ分别为坐标系的各向旋转角度,mx、my和mz分别为坐标系的各向平移距离,fc(1)表示水平方向镜头焦距,fc(2)表示垂直方向镜头焦距,cc(1)表示水平中心,cc(2)表示垂直中心。
成像转换计算公式为:
该成像转换计算公式为限定触摸点位于板面附近,即z轴高度ZW为0时的成像计算公式,M为旋转矩阵的简写形式,Xp为平移后的中心原点成像坐标的水平分量。
将成像转换计算公式结合普通校准的投影公式得到深度校准后,得到从成像到精确屏幕坐标的转换公式:
(Xp-cc(1))((M31C+M32F+mz)=[fc(1)(M11A+M12D)+cc(1)(M31A+M32D)]XS+[fc(1)(M11B+M12E)+
cc(1)(M31B+M32E)]YS-(M31A+
M32D)XpXS-(M31B+M32E)XpYS+
fc(1)(M11C+M12F+mx)(10)
简化得到
(fc(1)K0+XpK2-cc(1)K2)XS+(fc(1)K1+XpK3-cc(1)K3)YS=Xp-cc(1)-K4, (11)
其中,K0至K4为合并的系数项的简化表达。
成像对应的直线用点斜式方程来表达,需要直线上1点和斜率k,由上式可得,
令L0=K2、L1=fc(1)K0-cc(1)K2、L2=K3、L3=fc(1)K1-cc(1)K3,成像位置的对应斜率计算式为:
镜头的光学中心计算式为:
由此得到模型参数,包括镜头中心坐标和转换参数L0至L3,对于任意成像,使用以上模型,计算斜率k,然后与镜头中心Xc和Yc结合获得世界坐标系上成像对应的射线。
深度校准将光学传感器自身的光学参数和转换参数彻底分离,模组安装后可快速校准,出现模组结构变化甚至是镜头模组更换需要的情况,也不需要返厂,使用深度校准即可恢复设计精度。
步骤S4,在完成普通校准或深度校准后,将触摸屏的工作状态从校准模式转换到正常触摸。
本发明实施例的触摸屏的校准方法,可以有效修正触摸屏运输损伤和使用环境差异带来的精度恶化,适应能力强,并且可以有效去除人工操作误差,获得更高的精度。此外,本发明具有纠错能力,即使部分采集点的位置存在误差,算法也可以通过其他精确的采集点补偿降低误差,简单易用。
下面参考图4对本发明实施例的触摸屏的校准系统进行描述。其中,触摸屏可以为光学触摸屏。
如图4所示,本发明实施例提供的触摸屏的校准系统包括:转换装置1和校准装置2,其中,转换装置1和校准装置2相连。
具体地,转换装置1用于将触摸屏的工作状态从正常触摸转换至校准模式。
校准装置2用于根据触摸屏的触摸精度变化对触点采用以下方式之一进行校准:普通校准或者深度校准。其中,普通校准和深度校准的关系如下:校准需要将全屏95%以上区域精度校回±3mm以内。打开校准界面使用普通校准,采点数量少,单点需要的采集时间短,简易快捷。如无法达到标准或由于精度变化较大导致采集点无法计算出坐标,则统计模块会自动弹出深度校准,同时也可以人工主动采用深度校准,从而保证精度不会随时间逐渐恶化。
(1)普通校准
在一般情况下,触摸屏使用时只是改变显示的位置,例如投影仪变化、分辨率改变等。此种状态下,触摸屏的精度不会变化,因此只需要改变触摸坐标和显示坐标的关系即可,即采用普通校准。
考虑到校准时,操作人员触摸目标位置时很难一次触到最佳位置,可能会存在触下之后移动到最优位置的过程,因此添加点序列的选择机制,排除移动过程中非最佳点带来的误差。多个校准点依次触摸的过程中,由于屏幕较大,较远的角落往往触摸不准,因此使用最优化的算法计算参数,最大程度减小单个触摸不准点带来的误差。基于以上处理,可以有效提高整体的触摸校准精度。
首先,校准装置2设置触点位置分布。如图2所示,四个触点上下对称分布在触摸屏上。然后,校准装置2触摸获取对应的触点世界坐标。其中,触点采集过程中,采用优化选点机制生成触点的世界坐标的统计值为:
其中,pk为采集到的触点的位置,P为触点的世界坐标的统计值,T1和T2为预设阈值。其设置可以根据多人的操作习惯进行统计。多帧检测点叠加,选点去掉触摸物刚接触时的T1帧向触摸点移动位置的不稳定点,累计T2帧计算。
在本发明的实施例中,触点采集的传送方式和协议采用如下方式:对原始触点的整数坐标传输放大多倍,从而既可以保证精度,又降低了数据量。
最后,校准装置2计算从触摸物理坐标到屏幕坐标的转换模型,采用最小二乘法进行优化处理。
普通校准中,从触摸物理坐标到屏幕坐标的转换计算方法的原理公式为:
将原始公式(2)的反向公式简化为下述公式(3),即得到转换模型:
其中,Xs和Ys为普通校准后的屏幕坐标,XW和YW为世界坐标,nx和ny为缩放系数,U为旋转矩阵,V为平移矩阵,A~F为简化系数。因为标定时触摸固定点的精准屏幕坐标是已知的,计算的世界坐标是成像计算的结果,上式的参数是需要计算的校准参数的简化系数。
普通校准中,校准装置2进一步对普通校准后的坐标采用最小二乘法进行优化处理。
本发明改变显示区域条件下的普通校准加入点的分析,自动分析去除触上、离开以及接近最佳触点过程中产生的不精确点,使用最优的触点计算转换参数,提高触摸精度。
(2)深度校准
在搬运或者长期使用过程中,出现的冲击、震动、老化、热膨胀等因素都会影响光学传感器的安装位置,而普通校准无法补偿上述这类变化,导致精度会随着使用逐渐下降。为了解决这类问题,执行深度校准,即使用分离的光学光学传感器光学参数和结构参数,分别计算镜头参数和安装参数。在精度下降时,使用深度校准测量当前的传感器参数,可以解决以上问题。同样采用点序列选择机制和优化计算机制,保证高精度。
校准装置2首先设置触点位置分布。如图3所示,六个触点分布在触摸屏上,其中每三个触点上下对称分布。然后,校准装置2触摸获取对应的触点的成像位置。最后,校准装置2计算从畸变成像位到屏幕坐标的转换模型,采用最小二乘法进行优化处理。
深度校准中,校准装置2计算从畸变成像位到屏幕坐标的转换模型为:
带畸变的成像公式为:
其中,X、Y、Z分别为三维坐标,参数的下标C和W分别为摄像机坐标系和世界坐标系,Xd和Yd为小孔成像计算的成像坐标,Xp和Yp为平移后的中心原点成像坐标,Xn和Yn为畸变计算后的成像坐标,其中k1、k2、q1和q2为畸变参数,r为当前未畸变坐标和光学中心的距离,为旋转矩阵,为平移矩阵,α、β和γ分别为坐标系的各向旋转角度,mx、my和mz分别为坐标系的各向平移距离,fc(1)表示水平方向镜头焦距,fc(2)表示垂直方向镜头焦距,cc(1)表示水平中心,cc(2)表示垂直中心。
成像转换计算公式为:
该成像转换计算公式为限定触摸点位于板面附近,即z轴高度ZW为0时的成像计算公式,M为旋转矩阵的简写形式,Xp为平移后的中心原点成像坐标的水平分量。
校准装置2将成像转换计算公式结合普通校准的投影公式得到深度校准后,得到从成像到精确屏幕坐标的转换公式:
(Xp-cc(1))((M31C+M32F+mz)=[fc(1)(M11A+M12D)+cc(1)(M31A+M32D)]XS+[fc(1)(M11B+M12E)+
cc(1)(M31B+M32E)]YS-(M31A+
M32D)XpXS-(M31B+M32E)XpYS+
fc(1)(M11C+M12F+mx)(10)
简化得到
(fc(1)K0+XpK2-cc(1)K2)XS+(fc(1)K1+XpK3-cc(1)K3)YS=Xp-cc(1)-K4, (11)
其中,K0至K4为合并的系数项的简化表达。
成像对应的直线用点斜式方程来表达,需要直线上1点和斜率k,由上式可得,
令L0=K2、L1=fc(1)K0-cc(1)K2、L2=K3、L3=fc(1)K1-cc(1)K3,成像位置的对应斜率计算式为:
镜头的光学中心计算式为:
由此得到模型参数,包括镜头中心坐标和转换参数L0至L3,对于任意成像,使用以上模型,计算斜率k,然后与镜头中心Xc和Yc结合获得世界坐标系上成像对应的射线。
深度校准将光学传感器自身的光学参数和转换参数彻底分离,模组安装后可快速校准,出现模组结构变化甚至是镜头模组更换需要的情况,也不需要返厂,使用深度校准即可恢复设计精度。
校准装置1还用于在完成普通校准或深度校准后,将触摸屏的工作状态从校准模式转换到正常触摸。
根据本发明实施例的触摸屏的校准系统,可以有效修正触摸屏运输损伤和使用环境差异带来的精度恶化,适应能力强,并且可以有效去除人工操作误差,获得更高的精度。此外,本发明具有纠错能力,即使部分采集点的位置存在误差,算法也可以通过其他精确的采集点补偿降低误差,简单易用。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求极其等同限定。