CN113392828B - 一种基于高分辨率点阵的编码与解码方法 - Google Patents

Abstract

本发明涉及一种基于高分辨率点阵的编码与解码方法，该方法对任意大小的矩形区域，使用编码算法计算得出点码的密集编排信息，并将点码信息均匀铺设到矩形区域内；通过带有微型摄像头的智能笔在矩形区域内书写时，对包含笔尖在内的周围区域进行拍摄，并对拍摄的单帧图像进行解码计算，实现了笔尖书写位置的坐标信息还原，且经过对连续多帧图像的计算最终还原出笔尖的完整书写轨迹。该编码方法实现了对绝对坐标信息的高密度存储，抗干扰性强，定位精度的最小单位为单个点码，解码方法利用笔迹书写区域的码点排布信息，高效、精确地还原出笔迹的绝对坐标信息。

Description

一种基于高分辨率点阵的编码与解码方法

技术领域

本发明涉及编码与解码技术领域，尤其涉及一种基于高分辨率点 阵的编码与解码方法。

背景技术

目前使用笔尖带有微型摄像头的智能笔对书写轨迹进行实时图 像采集时，需要书写区域上预先铺设了点码，通过摄像头采集笔尖周 围区域的点码图像，再进行解码计算，得到笔尖的坐标信息，从而实 现对智能笔的完整书写轨迹的还原。因此如何合理高效地对坐标信息 进行编码和解码，成为获取笔尖坐标信息的难点。上述缺陷是本领域 技术人员期望克服的。

发明内容

1.要解决的技术问题

本发明解决了现有技术中存在的问题，提供了一种编码与解码方 法，用于解决对坐标信息进行高效编码和解码的问题。

2.技术方案

本发明所采用的主要技术方案是，一种基于高分辨率点阵的编码 与解码方法。

步骤S0，定义矩形铺码区域Zone，并将Zone区域均匀切分为多 个13x13大小的网格；

步骤S1，对步骤S0中第i个网格单元，经过一定规则计算，得 出新的13x13的方阵M_i；

步骤S2，将步骤S1中的所有方阵M_i，经过一定规则计算，生成 元素只有0和1、大小为N_row×N_col的铺码矩阵，再将铺码矩阵印刷到 书写介质表面(比如纸张)，矩阵元素为0代表对应的位置为白色码 点(不印刷)，矩阵元素为1代表对应的位置为黑色码点(印刷一个黑点)；

步骤S3，用带有微型摄像头的智能笔在书写介质上的Zone范围 内书写，摄像头采集包含笔尖在内的周围区域的单帧图像，对其进行 一系列预处理，再进行透视变换，得到新的图像I₁；

步骤S4，从I₁中提取包含完整网格的图像信息；

步骤S5，经过一定规则计算，从S4中得到的网格图像信息中提 取笔尖所在网格单元的横坐标和纵坐标；

步骤S6，由步骤S5得到的横、纵坐标，经过一定规则的计算， 还原出笔尖书写位置的真实坐标，至此完成该帧图像中笔迹书写位置 的解码过程。

上述所述步骤S0包括：

步骤S01，定义矩形铺码区域Zone，按N_row×N_col个码点均匀铺满 Zone，每个Zone都有一个唯一id，id用长度为2个字节的字符串表示；

步骤S02，将Zone区域按照13×13大小的网格进行均匀切分：

步骤S03，以网格单元左上角码点的坐标作为网格单元坐标。

上述所述步骤S1包括：

步骤S11，对步骤S02得到的网格的每个网格单元，对应创建出 一个方阵，并初始化为零矩阵；

步骤S12，将步骤S11得到的方阵，置第一行、最后一行、第一 列、最后一列的元素为1，置主对角线除了第二行和第二列外的所有 元素为1；

步骤S13，将步骤S02得到的每个网格单元，按其所在被切分行 的行号，与步骤S12得到的与该网格单元相对应的方阵经过一定规则 的计算，得到一个新方阵；

步骤S14，对步骤S02得到的每个网格单元，按其所在被切分列 的列号，与步骤S13得到的与该网格单元相对应的方阵进行一定规则 的计算，得到一个新方阵；

步骤S15，将步骤S01的id与步骤S14得到的与该网格单元相对 应的方阵经过一定规则的计算，得到一个新方阵。

上述所述步骤S2包括：

步骤S21，根据Zone生成铺码矩阵M_zone，按步骤S02的切分方式 将M_zone划分为多个分块子阵；则分块子阵和网格单元一一对应；

步骤S22，依次将步骤S15中网格单元对应的新方阵元素复制到 步骤S21中对应的分块子阵中去。

上述所述步骤S3包括：

步骤S31，用带有微型摄像头的智能笔在书写介质上的Zone范围 内书写，摄像头采集包含笔尖在内的周围区域的单帧图像，对其做预 处理，去除噪声，并灰度化，得到预处理后的图像I₀；

步骤S32，在I₀中，运用图像检测方法通过一定规则找出图像中 的多个特殊点码图形；

步骤S33，根据步骤S32得到的多个特殊点码图形，计算出I₀的 透视变换矩阵；

步骤S34，根据步骤S33中的透视变换矩阵，计算出图像I₀矫正 后的正投影图像I₁。

上述所述步骤S4包括：

步骤S41，在步骤S34得到的图像I₁中，运用图像检测方法找出 最靠近笔尖的对角线铺满码点的正方形区域Z_quad，Z_quad区域大小为 13×13；

步骤S42，建立大小为12×12的方阵M_quad，M_quad所有元素值与Z_quad去除边界后的内部区域的所有点码灰度值一一对应，再将M_quad所有元 素值按照一定规则进行二值化计算，得到新方阵M_quadbin。

上述所述步骤S5包括：

步骤S51，从步骤S42得到的矩阵M_quadbin里，经过一定规则计算， 得出Z_quad左上角点码横坐标值；

步骤S52，从步骤S42得到的矩阵M_quadbin里，经过一定规则计算， 得出Z_quad左上角点码纵坐标值。

上述所述步骤S6包括：

步骤S61，在步骤S34得到的图像I₁中，按照一定规则计算出笔 尖书写位置真实坐标与Z_quad左上角点码坐标差；

步骤S62，根据步骤S51和S52得到的Z_quad左上角点码坐标和步 骤S61得到的点码坐标差，经过一定规则计算，得到笔尖书写位置真 实坐标。

3.有益结果

本发明的有益结果是，编码过程中对矩形铺码区域划分网格，对 每个网格经过一定规则计算出新的方阵，存放网格的坐标信息、矩形 铺码区域的id和方向信息，并将这些方阵按照一定规则生成铺码矩 阵进行铺码；解码过程中利用带有微型摄像头的智能笔在书写介质上 的矩阵铺码区域内书写，并通过摄像头采集包含笔尖周围区域的单帧 图像，经过预处理和透视变换后，从中提取笔尖所在网格单元的坐标， 再经过一定规则计算，还原出笔尖书写位置的真实坐标。其先进性主 要体现在以下几个方面：

(1)高分辨率，通过合理的编码设计，实现了以单个码点为最 小单位的定位精度。

(2)抗干扰性，在编码中记录矩形铺码区域的方向信息，可以 当输入设备(摄像头)出现抖动、旋转时，对包含笔尖周围区域的单 帧图像做透视变换，还原出矫正后的正投影图像，从而保证解码正确。

附图说明

图1为编码和解码过程流程图；

图2为点码印刷示意图；

图3为预处理后的采集图像示意图；

图4为预处理后的采集图像进行图像检测的示意图；

图5为校正后图像上的正方形区域示意图。

具体实施方式

本发明是基于高分辨率点阵的编码与解码方法，该方法的总体流 程如图1所示，下面对本发明的具体实施方式做详细描述。

本发明步骤S0具体包括如下步骤：

在步骤S01中，定义矩形铺码区域Zone，以单个码点的直径为1 个最小单位，若需要N_row×N_col个码点均匀铺满Zone,则Zone的长为 N_row，宽为N_col；

其中，Zone的左上角码点坐标为(1，1)，右下角码点坐标为(N_row,N_col)， N_row和N_col的取值需满足条件：

N_row≤425984

N_col≤425984

其中表示非负整数集；

每个Zone都有一个id，id用长度为2个字节的字符串表示，因此 id共有65536个，注意字符串包括不可见字符；

在步骤S02中，将Zone区域均匀切分为多个13×13大小的网格； 对于长为N_row，宽为N_col的Zone，切分出的网格数为：

在步骤S03中，定义网格单元坐标为网格单元左上角码点坐标， 对于第i行第j列的网格单元，其坐标为：

(13(i-1)+1,13(j-1)+1)

其中本发明步骤S1具体包括如下步骤：

在步骤S11中，对于第i行第j列的网格单元，创建大小为13×13、 值为0的方阵M_ij，其中

在步骤S12中，对步骤S11中的M_ij，令M_ij(m,n)＝1，其中(m,n)满 足下列条件：

令M_ij主对角线上除了下标为(2，2)的所有元素为1；用这条主对角 线表征Zone的方向信息，无论Zone所在平面发生旋转或倾斜，经过投 影变换后均可恢复Zone所在平面的初始状态；

在步骤S13中，对步骤S12中的M_ij，将整数i写成二进制表示， 并在高位补零，变成15位二进制数，前8个二进制位依次记录在 M_ij(3,4)至M_ij(3,11)中；后7个二进制位依次记录在M_ij(4,5)至M_ij(4,11)中；

在步骤S14中，对步骤S13中的M_ij，将整数j写成二进制表示， 并在高位补零，变成15位二进制数，前8个二进制位依次记录在 M_ij(4,3)至M_ij(11,3)中；后7个二进制位依次记录在M_ij(5,4)至M_ij(11,4)中；

在步骤S15中，将步骤S01的id每一个字符都转为8位Ascii码， 第一个字符的Ascii码高四位从高到低依次记录在M_ij(6,8)至M_ij(6,11)里， 低四位从高到低依次记录在M_ij(7，8)至M_ij(7，11)里；第二个字符的Ascii 码高四位从高到低依次记录在M_ij(8,6)至M_ij(11,6)里，低四位从高到低 依次记录在M_ij(8,7)至M_ij(11,7)里；例如Zone id为字符串“WY”时，M₂₃值为：

本发明步骤S2具体包括如下步骤：

在步骤S21中，根据Zone生成铺码矩阵M_zone，其大小为N_row×N_col， 初始元素值均为0；

在步骤S22中，按照(1)式，将步骤S15中的矩阵M_ij的元素值依 次复制到子阵M_zoneij中；

M_zone(13(i-1)+m,13(j-1)+n)＝M_ij(m,n) (1)

其中1≤m≤13,1≤n≤13；

在步骤S23中，铺码印刷的码点为圆形，图2为点码印刷示意图， 注意，图中用白色圆圈表示白色点码(不用印刷)，图中黑框部分为 M_zone23印刷的码点；

本发明步骤S3具体包括如下步骤：

在步骤S31中，智能笔在书写介质上的Zone范围内书写，摄像头 采集包含笔尖周围区域的单帧图像，该原始采集图像需要进行以下预 处理：

(1)灰度化，将三通道图像变为一通道图像，像素取值范围为 [0，255]且为整数；

(2)去除噪声，用自适应阈值二值化的方法消除光照的影响， 用傅立叶变换的方法去除高频噪声；

预处理后得到图像I₀，图3为预处理后的图像示意图，设图中右 下角为笔尖；

在步骤S32中，首先采用边缘检测方法检测椭圆，并找出n组由 9个椭圆点按井字排列的图形，记为E_i(i≤n)，如图4灰圈所示，注意， 必须满足n≥4的条件，这需要智能笔的摄像头有足够的视角；

获得所有E_i的中心点坐标(x₁,y₁)，(x₂,y₂),(x₃,y₃),...,(x_n,y_n)；

该坐标为E_i居中椭圆的中心点坐标；

以离笔尖最近的E₁中心点为起点，找出与其最近的m个E_i，其中 m≤8，并找出一个四边形使其中一个顶点为E₁中心点，另外三个点为3个与E₀最近的E_i中心点；将这个四边形四个顶点坐标按逆时针方向 记为(x_q1,y_q1)，(x_q2,y_q2),(x_q3,y_q3),(x_q4,y_q4)，其中(x_q1,y_q1)是E₀的中心；

图4为图3进行上述操作的示意图，其中灰圈部分为检测到的E_i图形，共找出了6个这样的图形；黑框部分为找到的四边形，该四边 形距离笔尖(图片右下角)最近；

在步骤S33中，通过步骤S32求得的坐标 (x_q1,y_q1)，(x_q2,y_q2),(x_q3,y_q3),(x_q4,y_q4)可以通过透视变换求出图像I₀矫正后的 正投影图像I₁；

透视变换的公式为：

其中x_q和y_q为输入图像I₀的坐标，且w＝1，a₃₃＝1，通过透视变 换后在输出图像I₁坐标为x,y；

设I₀上坐标为(x_q1,y_q1)，(x_q2,y_q2),(x_q3,y_q3),(x_q4,y_q4)的点通过投影变换得 到了图像I₁上坐标为(14,14)，(14,0),(0,0),(0,14)的四点，将这两组坐标代入 方程(2)，可求出透视变换矩阵

在步骤S34中，把I₀中所有点的坐标(x_q,y_q)代入(2)式，可得坐标 (x,y)，创建图像I₁，使I₁中(x,y)的值与I₀中(x_q,y_q)的值一一对应。

本发明步骤S4具体包括如下步骤：

在步骤S41中，用步骤S32里的方法，可在图像I₁上找到最靠近 笔尖的对角线铺满码点的正方形区域Z_quad；这个正方形区域大小为 13×13，图5为示意图，图中黑框为Z_quad；

在步骤S42中，将建立大小为12×12的方阵M_quad，M_quad所有元素 值与Z_quad去除边界后的内部区域的所有点码灰度值一一对应；

用下列式子对方阵M_quad元素二值化并对新方阵M_quadbin赋值：

本发明步骤S5具体包括如下步骤：

在步骤S51中，对步骤S42中的M_quadbin做如下处理：

读取M_ij(3,4)至M_ij(3,11)中8个数字作为二进制编码高8位，读取 M_ij(4,5)至M_ij(4,11)中7个数字作为低7位，将这15位二进制编码转为 10进制数i，可求出Z_quad左上角点码在Zone里横坐标为：13(i-1)；

在步骤S52中，对步骤S42中的M_quadbin做如下处理：

读取M_ij(4，3)至M_ij(11，3)中8个数字作为二进制编码高8位，读取M_ij(5，4) 至M_ij(11，4)中7个数字作为低7位，将这15位二进制编码转为10进 制数j，可求出Z_quad左上角点码在Zone里纵坐标为：13(j-1)。

本发明步骤S6具体包括如下步骤：

在步骤S61中，设笔尖在步骤S34得到的图像I₁上坐标为(x,y)， 由步骤S33知Z_quad左上角点码在I₁上坐标为(0，0)，则求出笔尖书写位 置真实坐标与Z_quad左上角点码坐标差为(x,y)；

在步骤S62中，由步骤S51、S52得出的Z_quad左上角点码坐标为 (13(i-1),13(j-1))，可求出笔尖书写位置在Zone里真实坐标为：

(13(i-1)+x,13(j-1)+y)。

Claims (5)

1.一种基于高分辨率点阵的编码与解码方法，其特征在于，包括以下步骤：

步骤S0，定义矩形铺码区域Zone，并将Zone区域均匀切分为多个13×13大小的网格；

步骤S1，对步骤S0中第i个网格单元，经过一定规则计算，得出新的13x13的方阵M_i；

步骤S2，将步骤S1中的所有方阵M_i，经过一定规则计算，生成元素只有0和1、大小为N_row×N_col的铺码矩阵，再将铺码矩阵印刷到书写介质表面，矩阵元素为0代表对应的位置为空白码点，矩阵元素为1代表对应的位置为黑色码点；

步骤S3，用带有微型摄像头的智能笔在书写介质上的Zone范围内书写，摄像头采集包含笔尖在内的周围区域的单帧图像，对其进行一系列预处理，再进行透视变换，得到新的图像I₁；

步骤S4，从I₁中提取包含完整网格的图像信息；

步骤S5，经过一定规则计算，从S4中得到的网格图像信息中提取笔尖所在网格单元的横坐标和纵坐标；

步骤S6，由步骤S5得到的横、纵坐标，经过一定规则计算，还原出笔尖书写位置的真实坐标，至此完成该帧图像中笔迹书写位置的解码过程；

上述所述步骤S0包括以下步骤：

步骤S01，定义矩形铺码区域Zone，按N_row×N_col个点码均匀铺满Zone，每个Zone都有一个唯一id，id用长度为2个字节的字符串表示；

步骤S02，将Zone区域按照13×13大小的网格进行均匀切分：

步骤S03，每个网格单元左上角点码的坐标作为该网格单元的坐标；

上述所述步骤S1包括以下步骤：

步骤S11，对步骤S02得到的每个网格单元，对应创建出一个方阵，并初始化为零矩阵；

步骤S12，将步骤S11得到的方阵，置第一行、最后一行、第一列、最后一列的元素为1，置主对角线除了第二行和第二列外的所有元素为1；

步骤S13，将步骤S02得到的每个网格单元，按其所在被切分行的行号，与步骤S12得到的与该网格单元相对应的方阵经过一定规则的计算，得到一个新方阵；

步骤S14，对步骤S02得到的每个网格单元，按其所在被切分列的列号，与步骤S13得到的与该网格单元相对应的方阵进行一定规则的计算，得到一个新方阵；

步骤S15，将步骤S01的id与步骤S14得到的与该网格单元相对应的方阵经过一定规则的计算，得到一个新方阵；

上述所述步骤S3包括以下步骤：

步骤S31，用带有微型摄像头的智能笔在书写介质上的Zone范围内书写，摄像头采集包含笔尖在内的周围区域的单帧图像，对其做预处理，去除噪声，并灰度化，得到预处理后的图像I₀；

步骤S32，在I₀中，运用图像检测方法通过一定规则找出图像中的多个特殊点码图形；

步骤S33，根据步骤S32得到的多个特殊点码图形，计算出I₀的透视变换矩阵；

步骤S34，根据步骤S33中的透视变换矩阵，计算出图像I₀矫正后的正投影图像I₁。

2.根据权利要求1所述的一种基于高分辨率点阵的编码与解码方法，其特征在于，所述步骤S2包括以下步骤：

步骤S21，根据Zone生成铺码矩阵M_zone，按步骤S02的切分方式将M_zone划分为多个分块子阵；则分块子阵和网格单元一一对应；

步骤S22，依次将步骤S15中网格单元对应的新方阵元素复制到步骤S21中对应的分块子阵中去。

3.根据权利要求1所述的一种基于高分辨率点阵的编码与解码方法，其特征在于，所述步骤S4包括以下步骤：

步骤S41，在步骤S34得到的图像I₁中，运用图像检测方法找出最靠近笔尖的对角线铺满码点的正方形区域Z_quad，Z_quad区域大小为13×13；

步骤S42，建立大小为12×12的方阵M_quad，M_quad所有元素值与Z_quad去除边界后的内部区域的所有点码灰度值一一对应，再将M_quad所有元素值按照一定规则进行二值化计算，得到新方阵M_quadbin。

4.根据权利要求3所述的一种基于高分辨率点阵的编码与解码方法，其特征在于，所述步骤S5包括以下步骤：

步骤S51，从步骤S42得到的矩阵M_quadbin里，经过一定规则计算，得出Z_quad左上角点码横坐标值；

步骤S52，从步骤S42得到的矩阵M_quadbin里，经过一定规则计算，得出Z_quad左上角点码纵坐标值。

5.根据权利要求4所述的一种基于高分辨率点阵的编码与解码方法，其特征在于，所述步骤S6包括以下步骤：

步骤S61，在步骤S34得到的图像I₁中，按照一定规则计算出笔尖书写位置真实坐标与Z_quad左上角点码坐标差；

步骤S62，根据步骤S51和S52得到的Z_quad左上角点码坐标和步骤S61得到的点码坐标差，经过一定规则计算，得到笔尖书写位置真实坐标。