CN110785729B - 用于产生模拟笔画且用于模拟笔画的数字存储的电子装置和用于使模拟记录数字化的输入系统及方法 - Google Patents

Abstract

本发明涉及一种电子装置，特别是，涉及一种用于产生模拟笔画、特别是笔迹且用于数字存储模拟笔画的电子触控笔，其中，所述装置包括用于在记录介质、特别是纸上创建模拟记录的书写、绘图和/或绘画装置的组件，其中，所述装置包括用于将所述装置扩展为数字书写和/或输入装置的电子组件和软件，其特征在于，所述装置包括至少一个定位单元、特别是相机，通过所述定位单元，生成所述装置与记录介质之间的定位；所述装置具有至少一个运动检测单元；通过所述运动检测单元，数字地检测在记录介质上所述装置的运动以及随之产生的模拟记录；运动检测单元被设计为激光追踪器(“激光光斑运动追踪器”)。

Description

用于产生模拟笔画且用于模拟笔画的数字存储的电子装置和 用于使模拟记录数字化的输入系统及方法

技术领域

本发明涉及一种用于产生模拟笔画且用于模拟笔画的数字存储的电子装置。

此外，本发明涉及一种用于处理模拟记录的输入系统及方法。

背景技术

一般而言，已知用于产生模拟笔画的装置、系统和方法以及用于将其数字化的系统及方法。

因此，在纸质文件上创建模拟记录，并且利用集成的红外相机检测并记录用户的用户笔画运动。然后，记录的数据可被传输到计算机。

然而，在这种情况下，不利的是，纸基体是设置有以某种形式设置的点图案的所谓的掺杂纸。

不管记录基体是怎样的特定纸，点图案都是可识别的并且损害记录的整体效果，这被认为是不利的。

此外，已知用于将模拟记录转换为数字数据的系统，在所述系统中，接收器单元安装在记录文件的边缘上，发送器单元设置在记录装置上。记录装置的尖部可以经由发送器和接收器的这种组合通过XY坐标随时被描述或定位。

尽管在上述实施例中不需要配量的特定纸，但是(需要)多部分的发送器和接收器单元，其中，至少接收器单元在每次记录之前必须与纸张保持恒定距离。

此外，已知用于同时存储模拟和数字数据的系统，该系统包括所谓的传感器板，在所述传感器板之上布置有纸张。使用模拟书写装置在纸张上创建模拟记录，该记录能够经由传感器板同时检测并数字地存储。

在这种情况下，被认为是不利的是，必须存在专用的传感器板并且纸也必须始终被固定，这是因为：否则的话，例如，数字记录不与叠置的模拟模板对应。

作为一些已知方案的另外的缺点，还被认为是不利的是，当使用时间偏移时，有时不能正确地将较旧的模拟记录的扩展或增加与所记录的数字数据相关联。

发明内容

因此，本发明的目的是提供一种电子装置和输入系统，所述电子装置和输入系统不具有上面提到的缺点，并且利用所述电子装置和输入系统，能够将使用常规书写装置在任意记录介质上产生的模拟记录数字化。

本发明的另一目的是提供一种输入系统，利用所述输入系统，将模拟记录转换成数字形式，以便后续经由搜索功能以可检索的方式对其进行处理、排序、分类、分配和/或存储。

此外，本发明的目的是提供一种方法，所述方法使得可以尽可能简单地将在任意记录介质上使用电子装置产生的模拟记录或手写笔记或草图数字化。

该目的通过根据本发明的技术方案的特征实现。

以下将电子装置理解为书写和/或输入装置，在一方面，其包括用于创建模拟记录的常规书写、绘图和/或绘画装置的组件。常规书写装置通常具有包括书写或记录尖部的至少一个笔墨水室和/或其他着墨应用介质。

另一方面，电子装置还具有检测模拟记录并将其作为数字数据进行检测、编辑、存储和传输所需的电子组件和软件模块。

根据本发明的装置涉及一种用于产生模拟笔画并用于模拟笔画的数字存储的电子装置，其中，所述装置具有用于在记录介质上创建模拟记录的书写、绘图和/或绘画装置的组件，其中，所述装置具有用于将所述装置扩展为数字书写和/或输入装置的电子组件和软件，其中，所述装置具有至少一个定位单元，所述定位单元能够在所述装置与记录介质之间进行定位。此外，所述装置包括至少一个运动检测单元，其中，运动检测单元数字地检测所述装置的运动以及由此在记录介质上产生的模拟记录，其中，运动检测单元被设计为激光追踪器、也称为“激光光斑运动追踪器”。

电子组件和软件包括至少一个IMU、相机参考系统、微控制器、激光追踪器和分析评估软件，其中，电子组件和软件经由电路板和/或其他导电连接结构彼此连接或接触。

激光追踪器被设计为XY追踪器，其中，XY追踪器是2D检测单元，其用于检测笛卡尔坐标系(X、Y)中的随时间(t)的数据(X、Y)。

激光追踪器也可以以XYZ追踪器的形式存在，其中，XYZ追踪器被设计为3D检测单元，其用于检测正交坐标系(X、Y、Z)中的随时间(t)的数据(X、Y、Z)。

定位单元包括至少一个IMU、相机参考系统、微控制器和分析评估软件，其用于相对于记录介质对所述装置进行绝对定位。定位实施为针对用于模拟记录的记录介质的至少三个边缘线的定位。

分析评估软件是/形成传感器/数据融合单元，其中，定位单元和运动检测单元的数据通过传感器/数据融合单元融合。

所述装置还包括作为电子组件的测距仪，其用于检测所述装置距记录介质的距离(h)，其中，距离(h)呈现为时间(t)的函数。测距仪以基于激光的测距仪的形式存在。

根据本发明的装置具有作为另外的电子组件和/或软件的至少一个处理器、传感器、数据存储单元、能量源、充电控制器、镜元件、通/断开关、信号发生器、麦克风和/或数据传输单元。至少一个传感器以接触传感器的形式存在，接触传感器被设计为压力传感器和/或应变仪，其用于激活与记录介质接触的所述装置。

数据传输单元是用于将检测到并处理的数据传输到数字终端的通信模块。这样的单元可以是蓝牙单元、WLAN耦合或电缆连接结构。

可选地集成在所述装置中的信号发生器可以被设计为声学和/或光学信号发生器。

使用根据本发明的电子装置，可以自动数字化在记录介质上的模拟记录。已发现有利的是，当使用输入系统时，记录介质不必是诸如掺杂纸的特定介质。作为记录介质，纸可以是作为螺旋笔记本或作为记事本的散装或装订的形式。膜或其他材料也可以用作记录介质。在这种情况下，当记录介质具有矩形形状并以直线界定时，被认为是有利的。

上述指定的输入系统至少包括电子装置、记录介质和数字终端。

以下描述上面提到的一些组件。

激光追踪器还根据以下术语已知：鼠标追踪器、XY追踪器、XYZ追踪器和/或“激光光斑运动追踪器”。

XY追踪器或XYZ追踪器以高的时间分辨率检测书写尖部在记录介质上相对于先前位置的运动。这种情况下的测量基于在反射表面上运动期间激光光斑图案的变化。

激光追踪器的记录运动的功能原理对应于如从现有技术中已知的光学计算机鼠标。例如，当与计算机交互时，在此记录动作/微动。2D和/或3D运动被检测。除了运动之外，激光追踪器还可以检测在记录介质的特定位置处的点击和/或停留时间。意想不到地发现，激光追踪器对解决该问题贡献重大。

IMU(惯性测量单元)被理解为是指诸如加速度传感器和陀螺仪/偏航率传感器的多个惯性传感器的空间组合。IMU构成惯性导航系统的感测测量单元，并用于在平面中和空间中进行运动和位置检测。通常，IMU因此用于测量装置在空间中的方位。

在本申请中，压力传感器用于检测所述装置的书写尖部是否位于记录介质上。此外，例如，可以使用压力传感器来确定书写尖部在记录介质上的按压力，以根据压力检测不同的线强度并将其整合到检测到的数据中。

为了实现模拟或手写记录的自动数字化的方法，模拟书写或绘图装置至少配备有上述附加组件。

为了实现将模拟记录数字化的方法，电子装置包括检测和处理传感器和/或电子组件的数据的软件组件。微处理器中的所谓的嵌入式软件负责数据的处理。

数据处理的范围根据嵌入式软件的设计/功能范围来调节，即，其由数据是在电子装置本身上处理或直接处理、还是在数字终端上处理来确定。

由电子装置提供的数据可以借助于以下软件应用进一步处理：所述软件应用安装在用户的任意数字终端上，并用作数字输出和处理介质。

如果电子装置具有显示单元，则软件应用也可以直接容纳在所述装置中，以处理已经在电子装置中检测到的数据，到这时才将其传输到数字终端。

根据本发明的方法在下面的基本8个处理步骤中阐述。

处理步骤1：激活电子装置；

这可以例如经由通/断开关以向电子组件供应电能来实现。

处理步骤2：校准IMU传感器；

将IMU传感器校准到相机参考系统。

这经由相对于相机/相机参考系统的绝对定位来完成。为此，相机必须能够识别出待设置模拟记录的记录介质的至少两个角部以及由此的至少三个边缘或至少边缘部分。通过相机参考系统检测并存储这两个角部(以及由此的三个边缘)。该定位/位置确定用于确定纸张随时间(t)的旋转。

需要至少一个相机、IMU、微控制器和分析评估软件来执行此处理步骤。

处理步骤3：触控笔在纸上；

电子装置识别状态“触控笔在纸上”。

状态“触控笔在纸上”可以通过压力传感器、应变仪和/或微控制器产生。

处理步骤4：检测装置的运动；

使用XY追踪器记录所述装置或其书写尖部的微动。一旦绝对地定位了记录介质，则书写尖部相对于记录介质的动作/微动就可以在模拟书写/绘图过程中经由XY追踪器来追踪，并被融合、处理并以定时的时间间隔(t)数字地存储为数据(x、y)。

然后，激活IMU、XY追踪器、微控制器和分析评估软件。

处理步骤5：对在记录介质的坐标系上/中的触控笔尖部位置进行绝对定位；

由于必须知道电子装置在记录介质的坐标系中的位置(X、Y)，因此必须对触控笔尖部在应用介质上进行绝对定位。

为此，记录介质的至少一个角部以及由此的两个相邻的边缘必须对于相机系统可见，以便检测装置/触控笔的位置(X、Y)。

例如，还必须在记录介质的左上角处检测相邻的左页边和相邻的上页边。

一方面，当校准了IMU传感器并且检测到状态“触控笔在纸上”时，系统是可操作的。

为此，需要相机、微控制器、IMU和分析评估软件。

处理步骤6：融合传感器数据

在进一步的方法步骤中融合传感器数据，这使得可以借助在处理步骤5中计算出的数据将在模拟书写或绘图过程期间记录的触控笔尖部的微动在记录介质上进行定位。对于该方法步骤，需要借助于XY追踪器正确地追踪和记录触控笔尖部在记录介质上的微动，并且还需要执行了触控笔尖部在记录介质上的绝对定位。

处理步骤7：存储图像数据

通过分析评估软件几乎同时将在“触控笔在纸上”状态下记录并数字化的微动的融合后的传感器数据存储为时间相关的光学表示的数据记录。

处理步骤8：将数据记录传输到任意终端，用于进行重建、进一步处理、渲染和重新保存。

在具有各个处理步骤的上述发明方法中，已发现也是有益的是，如果：

-在处理步骤2中，使用第二相机来实现对所述装置相对于记录介质的位置的可靠连续(时间相关)确定。已发现有利的是，当使用两个照相机时，相机应以使得相机可以分别检测至少一个纸张边缘这样的方式而一个相机定位在另一个相机下方。

-在处理步骤2中，可以通过使用第二相机来区分电子装置和记录介质的运动。

-在处理步骤2中，由于IMU的磁场传感器会受到强烈的外部影响、诸如地磁场、移动电话或屏幕的影响，因此在IMU中，仅包括传感器数据融合中的加速度传感器的数据和陀螺仪传感器的数据。因此，可以在传感器融合中确保更精确地确定相对于记录介质的方位。

-在处理步骤4中，当XY追踪器和激光器尽可能靠近所述装置的纵轴线定位时，这使得激光器和XY追踪器与触控笔轴线/触控笔尖部之间的角度减小，由此，当从记录介质上提起书写尖部时，可以实现具有高清晰度和低数据位置偏差的无故障操作。因此，当由激光器和XY追踪器在触控笔尖部处所成的角度为0时是有利的。

-在处理步骤4中，由于追踪器数据是距离(h)的函数，因此用于检测记录介质与触控笔尖部之间的距离(h)的基于激光的测距仪被设计为用于精确计算或推断与高度相关的变形/误差。用于距离测量的检测器的轴线相对于XY追踪器和激光器的光轴稍微偏移，以通过三角测量法计算距离。

-在处理步骤5中，增大设计相机的视场。为此，至少一个相机配备有广角镜头。此外，当将相机布置在所述装置的后方区域中，或者将触控笔尖部到相机的距离选择为尽可能大时，已发现这是有利的。

接着，数据在软件应用(APP)中/通过软件应用(APP)被传输到用户的任意数字终端，被重建和显示或示出。数据可以可选地通过终端上的/终端具有的另外的软件被进一步处理，并且可以被再次保存为处理后的数据并可以被修改。

作为示例，可以提及借助于光学字符识别(OCR)和/或电子文本识别(ICR)的手写记录的转换。

通过上述方法已经实现了将在数字书写和输入装置上和/或在数字终端/输出介质上的通用记录介质上的数字记录数字可视化的目标。例如，数字化的数据可以经由应用软件存储在PC/笔记本计算机/平板计算机/智能电话上。可以通过电子终端形式的输出介质将记录在电子装置中的传感器数据再现为数字重建。此外，可以通过输出装置/终端上的应用软件对模拟输入的这些数字重建进行数字更改和/或进一步处理。

意想不到地发现，所提出的方法能够使用户有效地存储、分类、使用和处理信息并使搜索功能可用。

本发明的方法将这些模拟输入同时转换为数字形式或输出形式，而无需用户进一步的帮助和处理步骤。

此外，根据本发明的方法自动记录、处理和显示用户的书写、绘图或绘画过程的元数据，并将其显示在输出介质中。例如，元数据可以是模拟记录的位置和时间点以及书写、绘图和/或绘画的个体、个人和独特的运动动量。元数据的示例可以是在书写、绘图和/或绘画时书写尖部在书写板上的压力、书写尖部在特定情况下的停留时间、记录创建的速度以及书写尖部的方向。

附图说明

下面将参考图1和图2进一步解释本发明。

图1：根据本发明的输入装置的剖面；

图2：根据本发明的输入系统。

具体实施方式

图1示出了根据本发明的电子装置10，利用电子装置10可以产生模拟或手写记录202。为了实现将模拟或手写记录202自动数字化的方法，模拟书写或绘图装置配备有传感器以及其他电子组件，使得其还用作数字书写和/或输入装置10。为此，装置10具有组件或电子组件，例如，至少一个IMU 102、XY追踪器103、相机108、压力传感器113、微处理器/控制器110、存储单元114、能量源107、数据传输单元109、声信号装置115、麦克风116、充电控制器106以及可能的其他组件，以将模拟记录202数字化。还集成有基于激光的距离测量单元105，以校正追踪器数据，基于激光的距离测量单元105还具有呈现距记录介质的距离的功能；在书写尖部111与记录介质202失去接触的情况下，通过压力传感器自动激活每时间单位(t)的距离测量。

本发明所必需的单元形成电子装置10的光学单元，其包括XY追踪器103、基于激光的距离测量单元105和镜元件104。

已发现，当XY追踪器103被设计或固定为靠近尖部时对于检测运动(X、Y坐标)是特别有利的，这是因为通过这种方式，在书写期间书写装置纵轴线相对于记录介质的角度的不精确性接近零/收敛。

还示出了距离测量单元105和XY追踪器103可以使用共同的激光器105。

小的镜元件104以固定角度定位在XY追踪器103的CCD(电荷耦合器件)传感器的场上。激光束可以经由在镜元件104中的小开口照亮XY追踪器的“视场”/CCD传感器的场。在此，激光器的光轴与XY追踪器重合。用于距离测量的检测器具有稍微偏移的轴线，以能够通过三角测量和/或另一方面通过相位来测量距离。未示出并描述替代方案，在替代方案中，距离测量单元和XY追踪器各自使用它们的关联激光器。电池或可充电电池可被设置为能量源，电池或可充电电池的充电状态可以经由充电指示灯而可视化。上述组件与保持在外壳118中的基板/电路板117导电地安装/接触，或者至少经由诸如电缆的其他导电连接件而连接。集成有通/断开关，以在静止状态下关闭装置。

同样地，书写介质112保持在装置10的外壳118中，作为示例，书写介质112在这里被设计为圆珠笔墨水室，以使用书写尖部111在记录介质20上产生模拟记录202。

图2示出了输入系统1，输入系统1至少由一个电子装置10、一个记录介质20和一个数字终端30组成。

这里，电子装置10根据图1来构造。作为示例，数字终端30可以被构造为平板计算机301或替代地被构造为具有屏幕303的计算机。数字记录304也位于终端30的显示器303或屏幕303上，该记录已经首先借助于电子装置10在记录介质20的记录表面21上产生为模拟记录202。

在所示的形式中，电子装置与终端之间的数据传输以无线的形式、例如经由蓝牙实现。

原则上，也可以经由USB电缆连接结构进行数据传输。记录介质20由边缘203和角部204界定或唯一地限定。

位置列表

1输入系统

10电子装置

101通/断开关

102IMU

103XY追踪器

104镜元件

105基于激光的距离测量单元

106充电控制器

107能量源

108相机

109数据传输单元

110微处理器、控制器

111书写尖部

112书写介质

113压力传感器

114存储单元

115信号发生器

116麦克风

117基板/电路板

118外壳/杆

20记录介质

21记录表面

202模拟记录

203侧边缘

204角部

30数字终端

301平板计算机

303显示器

304数字录入记录

Claims (9)

1.一种用于产生模拟笔画且数字存储模拟笔画的电子装置(10)，

所述电子装置具有用于在记录介质上产生模拟记录(202)的书写、绘图和/或绘画装置的组件，

所述电子装置具有用于将所述电子装置扩展为数字书写和/或输入装置的电子组件和软件，

所述电子装置具有至少一个定位单元，

通过所述定位单元构建所述电子装置与记录介质(20)之间的定位，

其特征在于，

定位单元具有至少一个惯性测量单元IMU、相机参考系统、微控制器和分析评估软件，用于相对于记录介质/从记录介质对所述电子装置进行绝对定位，定位被形成为针对用于模拟记录(202)的记录介质(20)的至少三个边缘线的定位，

所述电子装置具有至少一个运动检测单元，通过运动检测单元数字地检测所述电子装置的运动以及由此在记录介质上的坐标系中产生的模拟记录，

运动检测单元被设计为作为激光光斑运动追踪器的激光追踪器，

激光追踪器被设计为XY追踪器(103)，

XY追踪器被设计为2D检测单元，其用于检测笛卡尔坐标系(X、Y)中的随时间(t)的数据(X、Y)，

所述电子装置具有被设计为作为电子组件的用于检测记录介质(20)与笔尖部之间的距离(h)的测距仪(105)，用于精确计算或推断与高度相关的变形/误差，以及

所述距离(h)根据时间(t)被呈现，

测距仪(105)被设计为基于激光的距离测量装置。

2.根据权利要求1所述的电子装置，

其特征在于，

所述电子组件和软件包括至少一个IMU、相机参考系统、微控制器、激光追踪器和分析评估软件，

所述电子组件和软件经由电路板和/或其他导电连接结构相互连接。

3.根据前述权利要求中的任一项所述的电子装置，

其特征在于，

所述分析评估软件被设计为传感器/数据融合单元，

定位单元和运动检测单元的数据通过传感器/数据融合单元合并。

4.根据权利要求1所述的电子装置，

其特征在于，

所述电子装置具有作为另外的电子组件和软件的至少一个处理器、传感器、数据存储单元、电源、充电控制器、镜元件、通/断开关、信号发生器、麦克风和/或数据传输单元。

5.根据权利要求4所述的电子装置，

其特征在于，

至少一个传感器被设计为接触传感器，所述接触传感器被设计为压力传感器和/或应变仪，其用于激活与记录介质接触的所述电子装置。

6.根据权利要求4所述的电子装置，

其特征在于，

所述数据传输单元形成为通信模块，其用于将检测并处理的数据传输到数字终端，

所述数据传输单元被构造为蓝牙单元、WLAN耦合或电缆连接结构。

7.根据权利要求4所述的电子装置，

其特征在于，

所述信号发生器被设计为声学和/或光学信号发生器。

8.一种输入系统，至少包括根据权利要求1所述的电子装置、记录介质和数字终端。

9.一种用于将利用根据权利要求1所述的电子装置记录的模拟记录数据数字化以同时检测模拟和数字数据的方法，所述方法包括以下步骤：

步骤1：激活所述电子装置；

步骤2：将IMU传感器校准到已校准的相机参考系统，这是通过检测和存储记录介质的至少三个边缘线而对相机/相机参考系统进行定位来完成的；

步骤3：所述电子装置经由接触传感器识别状态“装置在记录介质上”；

步骤4：借助于激光追踪器检测在被定位的记录介质中以所述电子装置或其书写尖部的模拟记录的形式的动作/微动，并将所述动作/微动存储、处理和/或数字化为数据；

步骤5：经由所述记录介质的对于用于检测所述电子装置的位置(X、Y)相机系统的至少一个可见/可检测的角部和两个可见/可检测的边缘，来对处于“装置在记录介质上”状态的所述电子装置的书写尖部在记录介质的坐标系中的位置进行绝对定位；

步骤6：通过激光测距仪(105)进行电子距离测量，用于检测记录介质(20)和笔尖部之间的距离(h)，以精确计算或推断与高度有关的变形/误差，所述距离(h)根据时间(t)被呈现；

步骤7：如果使用激光追踪器正确追踪并记录了在记录介质上所述书写尖部的微动，并且还执行了书写尖部在记录介质上的绝对定位，则融合传感器数据，借助在步骤5中计算的数据，将对记录的在模拟书写或绘图过程中书写尖部的微动在所述记录介质上进行定位；

步骤8：存储图像数据，在这种情况下，通过分析评估软件几乎同时地将在“装置在记录介质上”状态下记录并被数字化的所述微动的所融合的传感器数据存储为时间相关的光学表示的数据记录；

步骤9：将数据记录传输到任意终端，用于进行重建、进一步处理、渲染和重新保存。