CN114648768B - 基于图像帧的手写轨迹提取方法、装置、存储介质及设备 - Google Patents

基于图像帧的手写轨迹提取方法、装置、存储介质及设备 Download PDF

Info

Publication number
CN114648768B
CN114648768B CN202210566385.2A CN202210566385A CN114648768B CN 114648768 B CN114648768 B CN 114648768B CN 202210566385 A CN202210566385 A CN 202210566385A CN 114648768 B CN114648768 B CN 114648768B
Authority
CN
China
Prior art keywords
image
handwriting
track
image data
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210566385.2A
Other languages
English (en)
Other versions
CN114648768A (zh
Inventor
胡楚煊
万强
张乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Sanyouguo Technology Co ltd
Original Assignee
Jiangxi Sanyouguo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Sanyouguo Technology Co ltd filed Critical Jiangxi Sanyouguo Technology Co ltd
Priority to CN202210566385.2A priority Critical patent/CN114648768B/zh
Publication of CN114648768A publication Critical patent/CN114648768A/zh
Application granted granted Critical
Publication of CN114648768B publication Critical patent/CN114648768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0025—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement consisting of a wireless interrogation device in combination with a device for optically marking the record carrier

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Circuits (AREA)

Abstract

本发明公开了一种基于图像帧的手写轨迹提取方法、装置、存储介质及设备，该方法包括：获取设于智能笔中的图像采集装置基于手写运动时采集到的连续帧的图像数据；根据所述图像数据确定任意相邻两帧图像之间的相对位移，以得到多个相邻帧位移；根据所述多个相邻帧位移得到相邻帧位移序列，并根据所述相邻帧位移序列得到所述图像采集装置的在所述手写运动时的移动轨迹；对所述移动轨迹依次进行旋转、缩放后得到目标移动轨迹，根据所述图像数据中解码出的在手写平面上的任一坐标值对所述目标移动轨迹进行平移得到手写轨迹。本发明解决了现有技术中在进行手写轨迹提取时成功率低的问题。

Description

基于图像帧的手写轨迹提取方法、装置、存储介质及设备
技术领域
本发明涉及图像识别技术领域，特别涉及一种基于图像帧的手写轨迹提取方法、装置、存储介质及设备。
背景技术
点阵智能笔是近年来新兴的一种手写轨迹采集装置。常见于儿童有声读物或学生教辅书籍中等印刷有点阵二维码的出版物当中，其原理主要基于点阵二维码实现手写轨迹的采集，因此，点阵智能笔的轨迹采集还原度，极大的依赖于点阵二维码的印刷质量以及对点阵二维码的图像采集和解码。
这就要求点阵智能笔拍摄到的每一帧图像都包含完整的点阵二维码码点信息，亦即要求对应的印刷物或打印物铺设在纸张上的码点必须百分百完整，不能缺失码点。另外由于点阵二维码是基于含碳原理进行成像后解码，如果点阵成像被含碳普通笔芯的轨迹干扰，或被含碳的文字图片内容部分干扰，则也会造成码点信息丢失，而造成解码不出绝对坐标，而提取不到手写轨迹。
目前，大部分点阵智能笔的设计方案，均基于点阵二维码解码出来的绝对的纸面坐标而得到手写轨迹。特别的，要求点阵智能笔拍摄到的图像帧有尽可能高的解码率，才能提取出真实轨迹，如果解码率低，比如一个手写笔画总共采集10帧图像，只有1帧能够点阵解码成功，将会导致不能成功提取出真实手写轨迹，提取成功率低。
发明内容
有鉴于此，本发明的目的在于提供一种基于图像帧的手写轨迹提取方法、装置、存储介质及设备，旨在解决现有技术中在进行手写轨迹提取时成功率低的问题。
本发明是这样实现的：
一种基于图像帧的手写轨迹提取方法，所述方法包括：
获取设于智能笔中的图像采集装置基于手写运动时采集到的连续帧的图像数据；
根据所述图像数据确定任意相邻两帧图像之间的相对位移，以得到多个相邻帧位移；
根据所述多个相邻帧位移得到相邻帧位移序列，并根据所述相邻帧位移序列得到所述图像采集装置的在所述手写运动时的移动轨迹；
对所述移动轨迹依次进行旋转、缩放后得到目标移动轨迹，根据所述图像数据中解码出的在手写平面上的任一坐标值对所述目标移动轨迹进行平移得到手写轨迹。
进一步的，上述基于图像帧的手写轨迹提取方法，其中，所述根据所述图像数据确定任意相邻两帧图像之间的相对位移，以得到多个相邻帧位移的步骤包括：
对前一帧图像进行预设增量的平移，以获取任意相邻两帧图像之间的重叠区域；
在所述前一帧图像的平移过程中，获取平移后的前一帧图像与后一帧图像之间的重合区域；
判断所述重叠区域与所述重合区域的重合率是否满足重合率阈值；
若是，则将所述前一帧图像的当前平移量作为任意相邻两帧图像之间的相对位移；
若否，遍历所述前一帧图像的所有预设增量，并将根据所述所有预设增量计算得到的最大平移量确定为所述前一帧图像的图像大小；
其中，所述重叠区域位于所述前一帧图像中，所述重合区域位于所述后一帧图像中。进一步的，上述基于图像帧的手写轨迹提取方法，其中，所述判断所述重叠区域与所述重合区域的重合率是否满足重合率阈值的步骤包括：
判断所述重叠区域内的像素值与所述重合区域的像素值的差值是否在预设像素值误差范围内。
进一步的，上述基于图像帧的手写轨迹提取方法，其中，所述对所述移动轨迹依次进行旋转、缩放后得到目标移动轨迹，根据所述图像数据中解码出的在手写平面上的任一坐标值对所述目标移动轨迹进行平移得到手写轨迹的步骤包括：
获取所述图像采集装置基于手写运动时与手写平面竖直方向的夹角角度，根据所述夹角角度对所述移动轨迹进行旋转。
进一步的，上述基于图像帧的手写轨迹提取方法，其中，所述对所述移动轨迹依次进行旋转、缩放后得到目标移动轨迹，根据所述图像数据中解码出的在手写平面上的任一坐标值对所述目标移动轨迹进行平移得到手写轨迹的步骤还包括：
获取所述图像数据中的像素尺寸与所述手写平面中的物理尺寸的比例关系，根据所述比例关系对所述移动轨迹进行缩放。
进一步的，上述基于图像帧的手写轨迹提取方法，其中，所述获取所述图像数据中的像素尺寸与所述手写平面中的物理尺寸的比例关系，根据所述比例关系对所述移动轨迹进行缩放的步骤之前还包括：
获取所述图像采集装置在所述手写平面采集到的预设尺寸的矩形，并获取矩形范围内的手写平面成像后的像素大小；
根据所述预设尺寸与所述像素大小确定所述图像数据中的像素尺寸与所述手写平面中的物理尺寸的比例关系。
本发明的另一个目的在于提供一种基于图像帧的手写轨迹提取装置，所述装置包括：
图像数据获取模块，用于获取设于智能笔中的图像采集装置基于手写运动时采集到的连续帧的图像数据；
相邻帧位移获取模块，用于根据所述图像数据确定任意相邻两帧图像之间的相对位移，以得到多个相邻帧位移；
移动轨迹获取模块，用于根据所述多个相邻帧位移得到相邻帧位移序列，并根据所述相邻帧位移序列得到所述图像采集装置的在所述手写运动时的移动轨迹；
手写轨迹获取模块，用于对所述移动轨迹依次进行旋转、缩放后得到目标移动轨迹，根据所述图像数据中解码出的在手写平面上的任一坐标值对所述目标移动轨迹进行平移得到手写轨迹。
进一步的，上述基于图像帧的手写轨迹提取装置，其中，所述相邻帧位移获取模块包括：
平移单元，用于对前一帧图像进行预设增量的平移，以获取任意相邻两帧图像之间的重叠区域；
重合区域获取单元，用于在所述前一帧图像的平移过程中，获取平移后的前一帧图像与后一帧图像之间的重合区域；
判断单元，用于判断所述重叠区域与所述重合区域的重合率是否满足重合率阈值；
位移确定单元，用于当判断到所述重叠区域与所述重合区域的重合率满足重合率阈值时，则将所述前一帧图像的当前平移量作为任意相邻两帧图像之间的相对位移；
图像确定单元，用于当判断到所述重叠区域与所述重合区域的重合率不满足重合率阈值时，遍历所述前一帧图像的所有预设增量，并将根据所述所有预设增量计算得到的最大平移量确定为所述前一帧图像的图像大小；
其中，所述重叠区域位于所述前一帧图像中，所述重合区域位于所述后一帧图像中。
本发明的另一个目的是提供一种可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的方法的步骤。
本发明的另一个目的是提供一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法的步骤。
本发明通过在智能笔手写过程中采集到的连续帧的图像数据获取图像数据中的相邻帧位移，并根据每个相邻帧位移得到相邻帧位移序列，以此得到智能笔在进行手写时，设于智能笔中图像采集装置的移动轨迹，后对移动轨迹进行旋转、缩放以及利用解码出的任一平面坐标进行平移以得到真实的手写轨迹，在获取手写轨迹的过程中，不需要全部依赖于的点阵二维码解码出的纸面坐标进行提取，只需要基于连续拍摄的图像中的某一个成功解码出的点阵二维码纸面坐标，根据图像采集装置的移动轨迹即可提取出对应的手写轨迹。此方式可以在极低的点阵解码率下提取出手写轨迹。避免了在码点印刷质量差或码点被含碳干扰下，手写轨迹容易提取不成功的问题，提升了手写轨迹的提取成功率。
附图说明
图1为本发明第一实施例中提出的基于图像帧的手写轨迹提取方法的流程图；
图2为本发明一实施例中提供的基于图像帧的手写轨迹提取方法中的图像采集装置采集到的连续帧的图像示意图；
图3为本发明一实施例中提供的基于图像帧的手写轨迹提取方法中的相邻帧图像的示意图；
图4为本发明一实施例中提供的基于图像帧的手写轨迹提取方法中的相邻帧位移序列示意图；
图5为本发明第二实施例中提供的基于图像帧的手写轨迹提取装置的结构框图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
点阵智能笔是近年来新兴的一种手写轨迹采集装置。常见于儿童有声读物或学生教辅书籍中等印刷有点阵二维码的出版物当中，其原理主要基于点阵二维码实现手写轨迹的采集，因此，点阵智能笔的轨迹采集还原度，极大的依赖于点阵二维码的印刷质量以及对点阵二维码的图像采集和解码。
这就要求点阵智能笔拍摄到的每一帧图像都包含完整的点阵二维码码点信息，亦即要求对应的印刷物或打印物铺设在纸张上的码点必须百分百完整，不能缺失码点。另外由于点阵二维码是基于含碳原理进行成像后解码，如果点阵成像被含炭普通笔芯的轨迹干扰，或含碳的文字图片内容部分，则也会造成码点信息丢失，而造成解码不出绝对坐标，而提取不到手写轨迹。
目前，大部分点阵智能笔的设计方案，均基于点阵二维码解码出来的绝对的纸面坐标而得到手写轨迹。特别的，要求点阵智能笔拍摄到的图像帧有尽可能高的解码率，才能提取出真实轨迹，如果解码率低，比如一个手写笔画总共采集10帧图像，只有1帧能够点阵解码成功，将会导致不能成功提取出真实手写轨迹，提取成功率低。
以下将结合具体实施例和附图来详细说明如何提高手写轨迹提取的成功率。
实施例一
请参阅图1，所示为本发明第一实施例中的基于图像帧的手写轨迹提取方法，所述方法包括步骤S10~S13。
步骤S10，获取设于智能笔中的图像采集装置基于手写运动时采集到的连续帧的图像数据。
其中，在本实施例当中，图像采集装置为摄像机，在每个智能笔中均设置有摄像机，用于智能笔在进行手写运动时对手写平面（例如铺设有点阵二维码的纸张）进行图像采集，具体的，采集到的连续帧的图像数据，是指在一次手写运动过程中，摄像机开始拍摄到停止拍摄，形成的若干帧的连续的图像数据，示例性的，如图2所示，在一次手写运动时，图像采集装置采集到了多个连续帧的图像。
需要说明的是，智能笔采集的手写平面上一般都设有点阵码图，智能笔采集的图像数据也是基于点阵码图的连续帧的图像数据，然而，在根据图像数据仅仅进行求解出摄像机的移动轨迹时，并不局限于具体的点阵编码规则的点阵码图获取到的图像数据，即使是没有点阵码的连续帧的图像数据亦可得到摄像机在手写平面的移动轨迹。
步骤S11，根据所述图像数据确定任意相邻两帧图像之间的相对位移，以得到多个相邻帧位移。
其中，通过相邻两帧图像之间的相对位移可以获取摄像机在拍摄两帧图像时的相对位移，即摄像机在智能笔一次手写运动时，从开始拍摄到结束拍摄过程中，每拍摄一帧图像时，摄像机与前一拍摄位置的相对位移。
具体的，相邻帧是连续帧的图像中的任意两两相邻的图像帧，同时，两个相邻帧的图像之间会存在着图像重叠区域。如图3所示，由于当摄像机沿某个方向移动时，例如，图示的摄像机移动方向为从左上往右下移动。在摄像机的拍摄过程中，前一帧图像与后一帧图像会有重叠的图像区域，而由于重叠区域的存在，可以根据重叠区域获取相邻帧位移，特别指出的，重叠的位置位于相邻两帧的交合处，此交合处依据摄像机运动的方向而出现在不同的图像区域上，比如，摄像机水平向右运动，则交合处出现在前一帧图像的右侧区域，后一帧图像的左侧区域。重叠区域的大小依据摄像机运动速度的大小不同而不同，摄像机速度越快，重叠区域越小，摄像机运动速度越慢，重叠区域越大。而摄像机速度为零，则表示摄像机静止不动，则前后两帧图像完全一样，亦即重叠区域为整张图像。
更具体的，在本发明一些可选的实施例当中，所述根据所述图像数据确定任意相邻两帧图像之间的相对位移，以得到多个相邻帧位移的步骤包括：
对前一帧图像进行预设增量的平移，以获取任意相邻两帧图像之间的重叠区域；
在所述前一帧图像的平移过程中，获取平移后的前一帧图像与后一帧图像之间的重合区域；
判断所述重叠区域与所述重合区域的重合率是否满足重合率阈值；
若是，则将所述前一帧图像的当前平移量作为任意相邻两帧图像之间的相对位移；
若否，遍历所述前一帧图像的所有预设增量，并将根据所述所有预设增量计算得到的最大平移量确定为所述前一帧图像的图像大小；
其中，所述重叠区域位于所述前一帧图像中，所述重合区域位于所述后一帧图像中。具体的，通过对前一帧的图像进行平移，在进行平移后，前一帧图像会有部分图像数据移出图像边界，另一部分图像数据会在图像边界内，具体的，图像边界为摄像机拍摄的图像大小形成的矩形区域，例如，图像边界为前一帧图像的大小形成的矩形区域，比如，在本实施例当中，图像大小为192*192，而192*192围合成的矩形区域即为图像边界，在进行平移时，对于移出的图像边界的图像数据进行丢弃，存在图像边界内的图像数据进行保存，根据平移后的图像边界内存在在图像数据可以获取假定的重叠区域，而在平移过程中，前一帧图像与后一帧图像之间也会存在重合区域，通过对后一帧图像与前一帧图像之间重合的图像数据进行提取可以获取对应的重合区域，进一步的，重叠区域位于前一帧图像中，重合区域位于后一帧图像中，即重叠图像区域通过前一帧的图像数据进行获取，而重合区域通过后一帧的图像数据进行提取得到，以保证通过有效的数据对重叠或重合区域进行获取，并当重合区域与重叠区域接近等同时，前一帧的图像的当前平移量即为当前相邻帧中前一帧图像与后一帧图像之间的相对位移。
进一步的，在前一帧图像的合理平移范围内，当重叠区域与重合区域的重合率都没有出现满足重合率阈值时的情况时，表示当前的前一帧图像与后一帧图像之间未存在重叠区域，遍历该前一帧图像的所有预设增量，并且通过计算所有的预设增量会得到一个平移量也即此次的最大平移量，例如，每次的平移量为（1，1），并且经过了五次平移，则最大平移量为（5，5），而根据最大的平移量即可确定前一帧图像的图像大小也即图像边界。
为了便于理解相邻帧位移的具体求解过程，如图3、图4所示，假定选定某一坐标系，X轴水平向右，Y轴竖直向下。对相邻帧中的前一帧图像进行预设增量的平移时，在具体实施时，对前一帧图像分别进行X轴和Y轴方向上的移动，例如，在图示中，前一帧图像在X轴方向移动Vx，在Y轴方向移动Vy后，平移后的前一帧图像的图像数据与后一帧的图像数据出现完全或接近完全的图像重叠，那么位移量(Vx，Vy)则为图示中相邻帧的位移量。它反映出摄像机在拍摄前一帧的时刻到拍摄后一帧的时刻间，摄像机移动了多少距离，并且此距离单位为图像数据中的像素。而一个连续帧的图像中，从第二帧图像开始，每帧图像都能根据上述规则求解得出相邻帧位移，即在一个连续帧的图像中能得到多个相邻帧位移，为了便于理解，具体如图4所示，示出的相邻帧位移为六个，分别为（Vx1，Vy1）、（Vx2，Vy2）、（Vx3，Vy3）、（Vx4，Vy4）、（Vx5，Vy5）、（Vx6，Vy6），通过六个连续的相邻帧位移可以得到一个相邻帧位移序列，即可以得到摄像机的移动轨迹。
另外，在本发明一些可选的实施例当中，所述判断所述重叠区域与所述重合区域的重合率是否满足重合率阈值的步骤包括：
判断所述重叠区域内的像素值与所述重合区域的像素值的差值是否在预设像素值误差范围内。
其中，判断重叠区域与重合区域的重合率是否在重合率范围内，可以依据重叠区域内与重合区域内的像素级数据基本相同来判定。具体的，当重合区域与重叠区域的像素值百分百接近或接近百分百接近，则认定重叠区域与重合区域一致。
步骤S12，根据所述多个相邻帧位移得到相邻帧位移序列，并根据所述相邻帧位移序列得到所述图像采集装置的在所述手写运动时的移动轨迹。
其中，一组连续帧的图像数据中，从第二帧图像开始，每帧图像都能根据上述的方法得到与前一帧之间的位移从而得到智能笔在进行一次手写运动时的每个相邻帧位移，求解出的所有相邻帧位移可以组成一个相邻帧位移序列，此位移序列反映出摄像机在像素空间内从起始拍摄至结束拍摄时整个移动轨迹。
步骤S13，对所述移动轨迹依次进行旋转、缩放后得到目标移动轨迹，根据所述图像数据中解码出的在手写平面上的任一坐标值对所述目标移动轨迹进行平移得到手写轨迹。
可以理解的，通过相邻帧位移序列得到的摄像机的移动轨迹并不是智能笔在进行手写时的实际手写轨迹，需要根据目前得到的移动轨迹进行一系列的变换操作以得到真实的手写轨迹。
具体的，对移动轨迹进行旋转、缩放操作以使移动轨迹与真实的手写轨迹的方向以及尺寸上一致。后根据图像数据中解码出的在手写平面上的任一坐标值对所述目标移动轨迹进行平移得到手写轨迹。其中，手写平面的任一坐标值指的是，点阵智能笔手写一段轨迹过程中，会对所有采集到的连续图像帧数据按既定的点阵编码规则进行点阵解码，而得到一系列的与图像帧数据一一对应的点阵坐标，此坐标值是手写平面内一个坐标值，能够反映出拍摄对应图像帧数据时，在纸面内摄像机所处的位置，通过任一个对应的坐标值便可将目标移动轨迹平移至手写平面以得到真实的手写轨迹。
进一步的，在本发明一些实施例当中，所述对所述移动轨迹依次进行旋转、缩放后得到目标移动轨迹，根据所述图像数据中解码出的在手写平面上的任一坐标值对所述目标移动轨迹进行平移得到手写轨迹的步骤包括：
获取所述图像采集装置基于手写运动时与手写平面竖直方向的夹角角度，根据所述夹角角度对所述移动轨迹进行旋转；
具体的，实际使用智能笔手写过程中，从纸张手写平面，从上往下看，摄像机与纸张手写平面的位置关系并非固定角度，示例性的，为了便于理解，假定垂直于纸张手写平面时，从上往下看，摄像机的感光矩阵平面平行于纸张手写平面，定义摄像机的感光矩阵水平向右为X轴方向，竖直向下为Y轴方向，此XY两轴方向代表的是图像像素值的位置方向。同时定义手写纸张平放摆正后，水平向右为X轴方向，竖直向下为 Y轴方向。感光矩阵平面的Y轴方向与手写纸面的Y轴方向会构成一夹角，此夹角能反映出摄像机与纸张平面的位置关系，并且，当此夹角为零时，摄像机像素空间内的移动轨迹方向与实际的手写轨迹方向等同。当此夹角为非零时，摄像机像素空间内的移动轨迹方向与实际的手写轨迹方向刚好相差此夹角值。因此，对移动轨迹进行旋转，保证移动轨迹方向与手写轨迹方向等同，更具体的，夹角角度可以通过如下方式进行获取，例如，手写平面上都布设有点阵码，在拍摄到图像数据后，可以获取图像数据中的左上顶点以及左下顶点的码对应的坐标，根据该坐标值确定对应的夹角角度，亦或者获取所有码点以及对应的坐标，并将所有码点的位置坐标组合成一个码点坐标集，将该码点坐标集在预设角度范围内进行旋转，在每一旋转角度计算该码点坐标集在手写平面的 X 轴方向的投影，投影结果会落在X轴范围上的某一个数值上，从而可以得到一组一维数据。计算每个角度投影数据方差，将获得的所有的一维数据的方差进行排序，将方差最大的一维数据对应的旋转角度确定为夹角角度。
获取所述图像数据中的像素尺寸与所述手写平面中的物理尺寸的比例关系，根据所述比例关系对所述移动轨迹进行缩放；
由于获取到的相邻帧位移序列通过像素尺寸进行衡量，而实际的手写轨迹是通过物理尺寸进行衡量，而实际拍摄的图像的像素尺寸与纸张表面实际的物理尺寸存在某种关联，亦即像素尺寸与物理尺寸存在比例关系。此比例关系可以用于将像素空间内的相邻帧位移序列缩放到与真实手写轨迹相同的物理尺寸尺度上，保证移动轨迹与手写轨迹的尺寸相同。
进一步的，在本发明一些可选的实施例当中，所述获取所述图像数据中的像素尺寸与所述手写平面中的物理尺寸的比例关系，根据所述比例关系对所述移动轨迹进行缩放的步骤之前还包括：
获取所述图像采集装置在所述手写平面采集到的预设尺寸的矩形，并获取矩形范围内的手写平面成像后的像素大小；
根据所述预设尺寸与所述像素大小确定所述图像数据中的像素尺寸与所述手写平面中的物理尺寸的比例关系。
示例性的，定义摄像机垂直于纸面拍摄一个长度为2mm x 2mm的矩形，此矩形成像后在图像数据上的像素区域为90x90像素，则图像数据中的像素尺寸与手写平面的物理尺寸的比例关系为90：2。
综上，本发明上述实施例中的基于图像帧的手写轨迹提取方法，通过在智能笔手写过程中采集到的连续帧的图像数据获取图像数据中的相邻帧位移，并根据每个相邻帧位移得到相邻帧位移序列，以此得到智能笔在进行手写时，设于智能笔中图像采集装置的移动轨迹，后对移动轨迹进行旋转、缩放以及利用解码出的任一平面坐标进行平移以得到真实的手写轨迹，在获取手写轨迹的过程中，不需要全部依赖于的点阵二维码解码出的纸面坐标进行提取，只需要基于连续拍摄的图像中的某一个成功解码出的点阵二维码纸面坐标，根据图像采集装置的移动轨迹即可提取出对应的手写轨迹。此方式可以在极低的点阵解码率下提取出手写轨迹。避免了在码点印刷质量差或码点被含碳干扰下，手写轨迹容易提取不成功的问题，提升了手写轨迹的提取成功率。
实施例二
请参阅图5，所示为本发明第二实施例当中提出的基于图像帧的手写轨迹提取装置，所述装置包括：
图像数据获取模块100，用于获取设于智能笔中的图像采集装置基于手写运动时采集到的连续帧的图像数据；
相邻帧位移获取模块200，用于根据所述图像数据确定任意相邻两帧图像之间的相对位移，以得到多个相邻帧位移；
移动轨迹获取模块300，用于根据所述多个相邻帧位移得到相邻帧位移序列，并根据所述相邻帧位移序列得到所述图像采集装置的在所述手写运动时的移动轨迹；
手写轨迹获取模块400，用于对所述移动轨迹依次进行旋转、缩放后得到目标移动轨迹，根据所述图像数据中解码出的在手写平面上的任一坐标值对所述目标移动轨迹进行平移得到手写轨迹。
进一步的，上述基于图像帧的手写轨迹提取装置，其中，所述相邻帧位移获取模块包括：
平移单元，用于对前一帧图像进行预设增量的平移，以获取任意相邻两帧图像之间的重叠区域；
重合区域获取单元，用于在所述前一帧图像的平移过程中，获取平移后的前一帧图像与后一帧图像之间的重合区域；
判断单元，用于判断所述重叠区域与所述重合区域的重合率是否满足重合率阈值；
位移确定单元，用于当判断到所述重叠区域与所述重合区域的重合率满足重合率阈值时，则将所述前一帧图像的当前平移量作为任意相邻两帧图像之间的相对位移；
图像确定单元，用于当判断到所述重叠区域与所述重合区域的重合率不满足重合率阈值时，遍历所述前一帧图像的所有预设增量，并将根据所述所有预设增量计算得到的最大平移量确定为所述前一帧图像的图像大小；
其中，所述重叠区域位于所述前一帧图像中，所述重合区域位于所述后一帧图像中。
进一步的，上述基于图像帧手写轨迹提取装置，其中，所述判断单元具体用于：
判断所述重叠区域内的像素值与所述重合区域的像素值的差值是否在预设像素值误差范围内。
进一步的，上述基于图像帧的手写轨迹提取装置，其中，所述手写轨迹获取模块包括：
旋转单元，用于获取所述图像采集装置基于手写运动时的与手写平面竖直方向的夹角角度，根据所述夹角角度对所述移动轨迹进行旋转。
进一步的，上述基于图像帧的手写轨迹提取装置，其中，所述手写轨迹获取模块还包括：
获取所述图像数据中的像素尺寸与所述手写平面中的物理尺寸的比例关系，根据所述比例关系对所述移动轨迹进行缩放。
进一步的，上述基于图像帧手写轨迹提取装置，其中，所述装置还包括：
比例关系确定模块，用于获取所述图像采集装置在所述手写平面采集到的预设尺寸的矩形，并获取矩形范围内的手写平面成像后的像素大小；
根据所述预设尺寸与所述像素大小确定所述图像数据中的像素尺寸与所述手写平面中的物理尺寸的比例关系。
上述各模块被执行时所实现的功能或操作步骤与上述方法实施例大体相同，在此不再赘述。
实施例三
本发明另一方面还提供一种可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述实施例一中所述的方法的步骤。
实施例四
本发明另一方面还提供一种电子设备，所述电子设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例一中所述的方法的步骤。
以上各个实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读存储介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读存储介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种基于图像帧的手写轨迹提取方法，其特征在于，所述方法包括：
获取设于智能笔中的图像采集装置基于手写运动时采集到的连续帧的图像数据；
根据所述图像数据确定任意相邻两帧图像之间的相对位移，以得到多个相邻帧位移；
所述根据所述图像数据确定任意相邻两帧图像之间的相对位移，以得到多个相邻帧位移的步骤包括：
对前一帧图像进行预设增量的平移，以获取任意相邻两帧图像之间的重叠区域；
在所述前一帧图像的平移过程中，获取平移后的前一帧图像与后一帧图像之间的重合区域；
判断所述重叠区域与所述重合区域的重合率是否满足重合率阈值；
若是，则将所述前一帧图像的当前平移量作为任意相邻两帧图像之间的相对位移；
若否，遍历所述前一帧图像的所有预设增量，并将根据所述所有预设增量计算得到的最大平移量确定为所述前一帧图像的图像大小；
其中，所述重叠区域位于所述前一帧图像中，所述重合区域位于所述后一帧图像中；
根据所述多个相邻帧位移得到相邻帧位移序列，并根据所述相邻帧位移序列得到所述图像采集装置的在所述手写运动时的移动轨迹；
对所述移动轨迹依次进行旋转、缩放后得到目标移动轨迹，根据所述图像数据中解码出的在手写平面上的任一坐标值对所述目标移动轨迹进行平移得到手写轨迹；
所述对所述移动轨迹依次进行旋转、缩放后得到目标移动轨迹，根据所述图像数据中解码出的在手写平面上的任一坐标值对所述目标移动轨迹进行平移得到手写轨迹的步骤包括：
获取所述图像采集装置基于手写运动时与手写平面竖直方向的夹角角度，根据所述夹角角度对所述移动轨迹进行旋转；
获取所述图像数据中的像素尺寸与所述手写平面中的物理尺寸的比例关系，根据所述比例关系对所述移动轨迹进行缩放。
2.根据权利要求1所述的基于图像帧的手写轨迹提取方法，其特征在于，所述判断所述重叠区域与所述重合区域的重合率是否满足重合率阈值的步骤包括：
判断所述重叠区域内的像素值与所述重合区域的像素值的差值是否在预设像素值误差范围内。
3.根据权利要求1所述的基于图像帧的手写轨迹提取方法，其特征在于，所述获取所述图像数据中的像素尺寸与所述手写平面中的物理尺寸的比例关系，根据所述比例关系对所述移动轨迹进行缩放的步骤之前还包括：
获取所述图像采集装置在所述手写平面采集到的预设尺寸的矩形，并获取矩形范围内的手写平面成像后的像素大小；
根据所述预设尺寸与所述像素大小确定所述图像数据中的像素尺寸与所述手写平面中的物理尺寸的比例关系。
4.一种基于图像帧的手写轨迹提取装置，其特征在于，所述装置包括：
图像数据获取模块，用于获取设于智能笔中的图像采集装置基于手写运动时采集到的连续帧的图像数据；
相邻帧位移获取模块，用于根据所述图像数据确定任意相邻两帧图像之间的相对位移，以得到多个相邻帧位移；
所述相邻帧位移获取模块包括：
平移单元，对前一帧图像进行预设增量的平移，以用于获取任意相邻两帧图像之间的重叠区域；
重合区域获取单元，用于在所述前一帧图像的平移过程中，获取平移后的前一帧图像与后一帧图像之间的重合区域；
判断单元，用于判断所述重叠区域与所述重合区域的重合率是否满足重合率阈值；
位移确定单元，用于当判断到所述重叠区域与所述重合区域的重合率满足重合率阈值时，则将所述前一帧图像的当前平移量作为任意相邻两帧图像之间的相对位移；
图像确定单元，用于当判断到所述重叠区域与所述重合区域的重合率不满足重合率阈值时，遍历所述前一帧图像的所有预设增量，并将根据所述所有预设增量计算得到的最大平移量确定为所述前一帧图像的图像大小；
其中，所述重叠区域位于所述前一帧图像中，所述重合区域位于所述后一帧图像中；
移动轨迹获取模块，用于根据所述多个相邻帧位移得到相邻帧位移序列，并根据所述相邻帧位移序列得到所述图像采集装置的在所述手写运动时的移动轨迹；
手写轨迹获取模块，用于对所述移动轨迹依次进行旋转、缩放后得到目标移动轨迹，根据所述图像数据中解码出的在手写平面上的任一坐标值对所述目标移动轨迹进行平移得到手写轨迹；
所述手写轨迹获取模块包括：
旋转单元，用于获取所述图像采集装置基于手写运动时的与手写平面竖直方向的夹角角度，根据所述夹角角度对所述移动轨迹进行旋转；
缩放单元，用于获取所述图像数据中的像素尺寸与所述手写平面中的物理尺寸的比例关系，根据所述比例关系对所述移动轨迹进行缩放。
5.一种可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至3中任意一项所述的方法的步骤。
6.一种电子设备，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至3任一所述的方法的步骤。
CN202210566385.2A 2022-05-24 2022-05-24 基于图像帧的手写轨迹提取方法、装置、存储介质及设备 Active CN114648768B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210566385.2A CN114648768B (zh) 2022-05-24 2022-05-24 基于图像帧的手写轨迹提取方法、装置、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210566385.2A CN114648768B (zh) 2022-05-24 2022-05-24 基于图像帧的手写轨迹提取方法、装置、存储介质及设备

Publications (2)

Publication Number Publication Date
CN114648768A CN114648768A (zh) 2022-06-21
CN114648768B true CN114648768B (zh) 2022-08-23

Family

ID=81997477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210566385.2A Active CN114648768B (zh) 2022-05-24 2022-05-24 基于图像帧的手写轨迹提取方法、装置、存储介质及设备

Country Status (1)

Country Link
CN (1) CN114648768B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117275014B (zh) * 2023-11-16 2024-03-22 江西三有果科技有限公司 一种手写数据采集系统及采集方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110928478A (zh) * 2019-11-21 2020-03-27 广州摩翼信息科技有限公司 应用于教学的手写笔迹重现系统、方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1881994A (zh) * 2006-05-18 2006-12-20 北京中星微电子有限公司 一种用于移动设备的手写输入及手势识别的方法和装置
US8948482B2 (en) * 2012-11-01 2015-02-03 Align Technology, Inc. Motion compensation in a three dimensional scan
TW201423497A (zh) * 2012-12-12 2014-06-16 Hon Hai Prec Ind Co Ltd 數位筆及數位書寫模組
CN112132080A (zh) * 2020-09-29 2020-12-25 深圳棒棒帮科技有限公司 智能笔笔尖图像坐标的求解方法、装置、介质及智能笔

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110928478A (zh) * 2019-11-21 2020-03-27 广州摩翼信息科技有限公司 应用于教学的手写笔迹重现系统、方法和装置

Also Published As

Publication number Publication date
CN114648768A (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
Baek et al. Character region awareness for text detection
KR101298024B1 (ko) 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치
CN100576234C (zh) 使用快速图像匹配的局部定位方法
CN105989317B (zh) 一种二维码的识别方法及装置
JP5905642B2 (ja) マトリックス型２次元コードの復号化方法
US20110248995A1 (en) System and methods for creating interactive virtual content based on machine analysis of freeform physical markup
CN114648768B (zh) 基于图像帧的手写轨迹提取方法、装置、存储介质及设备
CN104537705B (zh) 基于增强现实的移动平台三维生物分子展示系统和方法
US8406467B2 (en) Method and system for actively detecting and recognizing placards
CN112348958A (zh) 关键帧图像的采集方法、装置、系统和三维重建方法
KR101326230B1 (ko) 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치
CN106529531A (zh) 一种基于图像处理的中国象棋识别系统及方法
JP4427052B2 (ja) 画像処理装置および領域追跡プログラム
CN211506523U (zh) 一种基于深度学习的目标检测开发平台
CN106919883A (zh) 一种快速反应qr码的定位方法及装置
CN113627397B (zh) 一种手部姿态识别方法、系统、设备和存储介质
CN110722903A (zh) 一种轨迹记录装置及轨迹记录方法
CN109190437A (zh) 一种读取二维码的方法及读取装置
CN104349197A (zh) 一种数据处理方法及装置
CN115147588A (zh) 数据处理方法及装置、追踪标记、电子设备及存储介质
CN115376132A (zh) 扫描笔的数据处理方法及装置、存储介质、扫描笔
CN111401365B (zh) Ocr图像自动生成方法及装置
CN114998262A (zh) 一种基于八分教学法的课堂脱机书法教学与评价系统
Chen et al. Screen image segmentation and correction for a computer display
CN114766039A (zh) 对象检测方法、对象检测设备、终端设备、以及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant