CN112183521A - 一种智能输入方法、系统、设备及可读存储介质 - Google Patents

一种智能输入方法、系统、设备及可读存储介质 Download PDF

Info

Publication number
CN112183521A
CN112183521A CN202011066010.7A CN202011066010A CN112183521A CN 112183521 A CN112183521 A CN 112183521A CN 202011066010 A CN202011066010 A CN 202011066010A CN 112183521 A CN112183521 A CN 112183521A
Authority
CN
China
Prior art keywords
distance
pixel
preset
image
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011066010.7A
Other languages
English (en)
Other versions
CN112183521B (zh
Inventor
申亚坤
黄文强
胡传杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202011066010.7A priority Critical patent/CN112183521B/zh
Publication of CN112183521A publication Critical patent/CN112183521A/zh
Application granted granted Critical
Publication of CN112183521B publication Critical patent/CN112183521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/22Character recognition characterised by the type of writing
    • G06V30/228Character recognition characterised by the type of writing of three-dimensional handwriting, e.g. writing in the air

Abstract

本申请实施例提供了一种智能输入方法、系统、设备及可读存储介质,获取书写设备的姿态参数,所述书写设备为用于书写字符的设备,获取字符的图像,字符的图像在姿态参数满足预设的对应条件下采集到的包括书写的字符的像素的图像。计算第一距离、第二距离和角度,将第一距离、第二距离和角度输入定位模型,得到定位模型输出的字符上的各个像素的位置。依据位置,获取字符的数字图像。第一距离、第二距离、和角度可以指示书写的字符中像素与预设的原点的位置关系,所以,以第一距离、第二距离、和角度作为定位模型的输入,可以得到像素的位置,可见本方法在书写过程中,依据像素的位置实时得到的数字图像,实现了书写的字符与数字图像的一致性。

Description

一种智能输入方法、系统、设备及可读存储介质
技术领域
本申请涉及智能输入技术领域,尤其涉及一种智能输入方法、系统、设备及可读存储介质。
背景技术
目前在办理业务时,客户需要分别通过纸质签字或者触摸屏签字生成纸质签名或电子签名。由于纸质签字和触摸屏签字的字符载体(纸质签字的字符载体为纸张,触摸屏签字的字符载体为电子屏幕)不一样,以及客户在纸质签字和触摸屏签字的书写习惯不同,所以,在现有技术中,无法保证纸质签字和触摸屏签字的一致性。
发明内容
本申请提供了一种智能输入方法、系统、设备及可读存储介质,用于提高纸质签字和触摸屏签字的一致性,如下:
一种智能输入系统,包括:
书写设备、姿态参数采集部件、图像采集部件和处理器;
所述书写设备用于书写字符;
所述姿态参数采集部件用于,采集所述书写设备的姿态参数;
所述图像采集部件包括双目摄像头,用于采集所述书写设备书写的所述字符;
所述处理器用于,在所述姿态参数满足预设的对应条件的情况下,控制所述图像采集部件采集所述书写设备书写的所述字符的图像,计算第一距离、第二距离和角度,将所述第一距离、所述第二距离和所述角度输入定位模型,得到所述定位模型输出的所述字符上的各个像素的位置,并依据所述位置,获取所述字符的数字图像;其中,所述第一距离为依据所述姿态参数得到的所述像素与预设的原点的距离,所述第二距离为依据所述双目摄像头采集的图像定位得到的所述像素与预设的原点的距离,所述角度为依据所述姿态参数确定的所述像素与所述原点之间的夹角。
可选地,姿态参数采集部件包括:惯性测量单元IMU;所述IMU包括陀螺仪和加速度传感器;
所述姿态参数包括:加速度、角速度变化速率、以及重心变化速率。
可选地,姿态参数满足预设的对应条件,包括:
所述加速度在预设的第一范围内,且所述角速度变化速率在预设的第二范围内,且所述重心变化速率在预设的第三范围内;或者,
所述加速度在预设的第四范围内;
所述第一范围、所述第二范围、以及所述第三范围依据所述书写设备在书写过程中,从接触字符载体变更为离开所述字符载体的姿态参数变化确定;所述第四范围依据所述书写设备在书写过程中,书写字符上的拐点像素的姿态参数变化确定。
可选地,处理器中包括计时器;
所述处理器还用于:在检测到所述原点的情况下,控制所述计时器开始计时;
所述处理器确定所述第一距离的过程,包括:
对所述书写设备的加速度基于计时得到的时长积分,得到所述第一距离。
可选地,处理器还用于,依据所述姿态参数采集部件采集的所述加速度、所述角速度变化速率、以及所述重心变化速率满足预设的初始化条件,确定检测到所述原点,所述初始化条件依据书写设备从放置状态变更为被拿起、并接触所述字符的载体的过程中,所述加速度、所述角速度变化速率、以及所述重心变化速率的变化确定。
可选地,定位模型的训练过程包括:
获取样本输入数据以及目标位置,所述样本输入数据包括第一样本距离、第二样本距离、以及样本角度;
所述目标位置为,当依据所述姿态参数得到的所述像素与预设的原点的距离为所述第一样本距离,且依据所述双目摄像头采集的图像定位得到的所述像素与预设的原点的距离为所述第二样本距离,依据所述姿态参数确定的所述像素与所述原点之间的夹角为样本角度的情况下,所述书写设备书写的所述字符上的各个像素的实际位置;
将所述第一样本距离、所述第二样本距离、以及所述样本角度输入至所述定位模型,以所述目标位置为目标输出,训练所述定位模型的模型参数;
当满足预设的停止条件,得到训练好的所述定位模型,所述停止条件包括定位模型的输出与所述目标位置的误差小于预设的阈值。
可选地,图像包括第一图像和第二图像;
所述处理器还用于:至少依据所述第一图像、所述第二图像、以及所述双目摄像头的预设间距,计算所述第二距离。
一种智能输入方法,包括:
获取书写设备的姿态参数,所述书写设备为用于书写字符的设备,
获取字符的图像,所述字符的图像在所述姿态参数满足预设的对应条件下采集到的包括书写的字符的像素的图像;
计算第一距离、第二距离和角度;所述第一距离为依据姿态参数得到的所述像素与预设的原点的距离,所述第二距离为依据所述图像定位得到的所述像素与预设的原点的距离,所述角度为依据所述姿态参数确定的所述像素与所述原点之间的夹角;
将所述第一距离、所述第二距离和所述角度输入预先训练好的定位模型,得到所述定位模型输出的所述字符上的各个像素的位置;
依据所述位置,获取所述字符的数字图像。
一种智能输入设备,包括:存储器和处理器;
所述存储器,用于存储程序;
所述处理器,用于执行所述程序,实现智能输入方法的各个步骤。
一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现智能输入方法的各个步骤。
由上述技术方案可以看出,本申请实施例提供的智能输入方法、系统、设备及可读存储介质,获取书写设备的姿态参数,所述书写设备为用于书写字符的设备,获取字符的图像,字符的图像在姿态参数满足预设的对应条件下采集到的包括书写的字符的像素的图像。计算第一距离、第二距离和角度,将第一距离、第二距离和角度输入定位模型,得到定位模型输出的字符上的各个像素的位置。依据位置,获取字符的数字图像。由于,第一距离为依据姿态参数得到的像素与预设的原点的距离,第二距离为依据图像定位得到的像素与预设的原点的距离,角度为依据姿态参数确定的像素与原点之间的夹角,所以第一距离、第二距离、和角度可以指示书写的字符中像素与预设的原点的位置关系,所以,以第一距离、第二距离、和角度作为定位模型的输入,可以得到像素的位置,可见本方法在书写过程中,依据像素的位置实时得到的数字图像,由此实现了书写的字符与字符的数字图像的一致性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种智能输入系统的具体结构示意图;
图2为本申请实施例提供的一种智能输入方法的具体实现方式的流程示意图;
图3为本申请实施例提供的一种智能输入方法的流程示意图;
图4为本申请实施例提供的一种智能输入系统的结构示意图。
图5为本申请实施例提供的一种智能输入设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供的智能输入方法应用但不限于在使用书写设备在字符载体书写字符的同时,生成字符的电子档的场景,需要说明的是,本申请实施例提供的智能输入方法应用于智能输入系统,图1示例了一种可选的智能输入系统的具体结构示意图,智能输入系统包括:签字笔101、惯性测量单元102(Inertial measurement unit,IMU)、双目摄像头103和处理器104,其中,IMU、双目摄像头和处理器设置于签字笔的笔杆上,处理器分别与IMU和双目摄像头相连,IMU包括陀螺仪和加速度传感器,双目摄像头包括第一摄像头以及第二摄像头。
基于图1所示的智能输入系统,本方法可选地的一种具体应用场景为:客户使用签字笔,在纸质载体上书写签名,本方法通过安装在签字笔上的IMU、双目摄像头和处理器,识别签名并生成电子签名。图2示例了本申请实施例提供的一种可选的智能输入方法的具体实现方式。如图2所示,本方法具体可以包括:S201~S212
S201、IMU采集签字笔的姿态参数。
本实施例中,客户使用签字笔在纸质载体(下述简称为纸)上书写字符,IMU设置于签字笔的笔杆上,实时采集签字笔的姿态参数。需要说明的是,本实施例对IMU的具体设置位置不做限定,并且,IMU预先依据IMU的具体设置位置进行校正,具体可以参见现有技术。
本实施例中,姿态参数包括加速度、角速度变化速率、以及重心变化速率,需要说明的是,IMU采集姿态参数的方法可以参见现有技术,本实施例不做赘述。
需要说明的是,姿态参数指示签字笔的实时姿态,可以理解的是,当签字笔书写字符,签字笔的实时姿态能够体现字符的轨迹。
S202、IMU将姿态参数发送至处理器。
需要说明的是,IMU和处理器之间的数据传输的具体实现方式可以参见现有技术。
S203、处理器判断加速度、角速度变化速率、以及重心变化速率是否满足预设的初始化条件,若是,则确定检测到原点。
本实施例中,初始化条件依据签字笔从放置状态变更为被拿起、并接触纸的过程中,加速度、角速度变化速率、以及重心变化速率的变化确定。需要说明的是,将检测的原点作为坐标原点(0,0),将预设的第一方向(一般为水平方向)以x轴,预设的第二方向(一般为垂直方向)以y轴,预设的第三方向(一般为垂直于纸面的方向)为z轴,建立空间直角坐标系。
需要说明的是,初始化条件预先设置并存储至处理器中,当姿态参数满足初始化条件,指示签字笔从放置状态变更为被拿起、并接触纸,也即,签字笔开始书写,将签字笔开始书写时的姿态参数指示的点作为原点。
S204、处理器在检测到原点的情况下,控制计时器开始计时。
本实施例中,处理器包括计时器,计时的实现方式参见现有技术。
S205、处理器判断姿态参数是否满足预设的第一对应条件。
本实施例中,第一对应条件为:加速度在预设的第一范围内,且角速度变化速率在预设的第二范围内,且重心变化速率在预设的第三范围内。其中,所述第一范围、所述第二范围、以及所述第三范围依据所述签字笔在书写过程中,从接触纸变更为离开纸的姿态参数变化确定。
需要说明的是,第一范围、第二范围、以及第三范围预先设置并存储至处理器中,当姿态参数满足第一对应条件,指示签字笔从书写状态变更为抬起状态,可以理解的是,当签字笔被抬起时,书写中断。
S206、处理器判断姿态参数是否满足预设的第二对应条件。
本实施例中,第二对应条件为:加速度在预设的第四范围内,所述第四范围依据所述书写设备在书写过程中,书写字符上的拐点像素的姿态参数变化确定。
需要说明的是,第四范围预先设置并存储至处理器中,当姿态参数满足第二对应条件,指示签字笔书写字符时,改变书写方向,从而产生拐点。
S207、当姿态参数满足对应条件或姿态参数满足预设的第二对应条件,处理器发送拍摄指令至双目摄像头。
S208、双目摄像头响应于拍摄指令,拍摄第一图像以及第二图像,并将第一图像和第二图像发送至处理器。
本实施例中,双目摄像头设置于签字笔的笔杆上,用于拍摄签字笔书写在纸上的字符的图像。需要说明的是,本实施例对双目摄像头的具体设置位置不做限定,并且,双目摄像头预先依据双目摄像头的具体设置位置进行校正,具体可以参见现有技术。
本实施例中,第一图像为第一摄像头拍摄的签字笔书写在纸上的字符的图像,第二图像为第二摄像头拍摄的签字笔书写在纸上的字符的图像。
S209、处理器依据姿态参数,计算第一距离和角度。
本实施例中,第一距离为像素与原点的距离,角度像素与原点之间的夹角。
本实施例中,处理器依据姿态参数,计算第一距离的过程包括:处理器对书写设备的加速度基于计时得到的时长积分,得到第一距离。
需要说明的是,处理器依据姿态参数计算第一距离和角度的具体实现方法可以参见现有技术,本实施例不做赘述。
S210、处理器依据第一图像、第二图像、以及预设间距计算第二距离。
本实施例中,第二距离为通过双目摄像头采集的图像定位得到的像素与预设的原点的距离。
需要说明的是,处理器计算第二距离的具体实现方法可以参见现有技术,本实施例不做赘述。
S211、处理器将第一距离、第二距离、以及角度输入定位模型,得到定位模型输出的字符上的各个像素的位置。
本实施例中,定位模型为训练好的坐标预测模型,通过输入的第一距离、第二距离、以及角度,预测像素在空间直角坐标系中的坐标,作为像素的位置。
本实施例中,定位模型的训练过程包括:
A1、获取样本输入数据以及目标位置,样本输入数据包括第一样本距离、第二样本距离、以及样本角度。
本实施例中,目标位置为,当依据姿态参数得到的像素与预设的原点的距离为第一样本距离,且依据双目摄像头采集的图像定位得到的像素与预设的原点的距离为第二样本距离,依据姿态参数确定的像素与原点之间的夹角为样本角度的情况下,书写设备书写的字符上的各个像素的实际位置。
需要说明的是,通过上述S209和S210计算得到训练场景下的第一距离、角度和第二距离,作为第一样本距离、样本角度、以及第二样本距离。其中,训练场景为:多人在不同的纸面上使用签字笔书写字符,IUM实时获取姿态参数并发送至处理器,并在在姿态参数满足对应条件的情况下,双目摄像头拍摄第一图像和第二图像发送至处理器。
需要说明的是,为了保证训练数据的多样化和强覆盖性,在训练场景中每次使用签字笔书写的人可以为多个人,纸面可以为不同材质的纸面。或者,在训练场景中每次使用签字笔书写的人为特定的人,纸面可以特定的纸面,用于得到针对于特定的人和纸面的定位模型。
A2、将第一样本距离、第二样本距离、以及样本角度输入至定位模型,以目标位置为目标输出,训练定位模型的模型参数。
需要说明的是,训练定位模型的模型参数的具体方法可以参见现有技术。
A3、当满足预设的停止条件,得到训练好的定位模型。
本实施例中,停止条件预先设置,例如,停止条件包括定位模型的输出与目标位置的误差小于预设的阈值。或迭代次数到达预设的次数阈值。
需要说明的是,由于目标输出为当处理器计算得到第一样本距离、第二样本距离、以及样本角度时,像素的实际位置,所以训练好的定位模型可以用于以第一距离、第二距离、以及角度为输入,预测像素的位置。
进一步地,由于训练数据在人使用签字笔在纸上书写字符的过程中得到,所以,定位模型输出的像素的位置指示的字符,符合人的书写习惯的同时,准确性高。
S212、依据各个像素的位置,获取字符的数字图像。
本实施例中,字符的数字图像为电子签名,需要说明的是,各个像素的位置以像素在直角坐标系中的坐标值表示,将坐标值转换为数字图像的方法可以参见现有技术。
由上述技术方案可以看出,本申请实施例提供的智能输入方法、系统、设备及可读存储介质,通过IMU实时获取签字笔书写的字符时,签字笔的姿态参数,以及通过双目摄像头在姿态参数满足预设的对应条件下,采集字符的图像,依据姿态参数计算第一距离和角度,依据字符的图像计算第二距离,并将第一距离、角度、以及第二距离输入至定位模型,得到字符中的像素的位置,由于,第一距离为依据姿态参数得到的像素与预设的原点的距离,第二距离为依据图像定位得到的像素与预设的原点的距离,角度为依据姿态参数确定的像素与原点之间的夹角,所以第一距离、第二距离、和角度可以指示书写的字符中像素与预设的原点的位置关系,又由于,定位模型为预先训练好的用于预测像素的位置的模型,所以,将定位模型输出的坐标值作为像素的位置,进一步,依据字符中各个像素的位置,得到字符的数字图像(也即电子签名)。
可见,本方法在书写过程中,一方面依据像素的位置实时得到的数字图像,实现了书写的字符与字符的数字图像的一致性,另一方面,由于训练数据在人使用签字笔在纸上书写字符的过程中得到,所以,定位模型输出的像素的位置指示的字符,符合人的书写习惯的同时,准确性高。
可见本方法相对于现有技术,纸质签字需要扫描才能形成电子档,用于电子设备中的签名,而且通过电子设备上的触摸屏书写的签字无法直接打印在纸上,可以在纸上书写字符的同时,自动生成电子签名。
需要说明的是,图1仅为本申请实施例提供的一种智能输入方法的具体实现方式,本方法还可以包括其他的具体实现方式,例如,本申请实施例不限于在书写设备为签字笔的场景下,将纸质签名识别为电子签名,还可以应用于将其他书写设备书写的任意字符,识别成电子档。综上,本实施例将智能输入方法总结概括为图3所示的流程,需要说明的是,本方法应用于处理器,具体可以包括S301~S305。
S301、获取书写设备的姿态参数。
本实施例中,书写设备为用于书写字符的设备,例如,图1所示的签字笔。书写设备的姿态参数能够指示书写设备在书写字符时的实时姿态,进一步指示书写字符的轨迹。
本实施例中,姿态参数包括但不限于加速度、角速度变化速率、以及重心变化速率,获取姿态参数的方法可以参见现有技术。
S302、获取字符的图像。
本实施例中,字符的图像在姿态参数满足预设的对应条件下采集到的包括书写的字符的像素的图像。
本实施例中,当姿态参数满足预设的对应条件时,指示书写设备在书写过程中,从接触字符载体变更为离开字符载体,也即,指示书写设备被抬起。
或者,当姿态参数满足预设的对应条件时,指示书写设备在书写字符时,改变书写字符的方向,从而产生拐点。
需要说明的是,具体的对应条件以及判断姿态参数是否满足对应条件的方法可以参见S206~S207,本实施例不做赘述,进一步需要说明的是,判断姿态参数是否满足对应条件的方法不限于S206~S207,还可以包括其他的具体实现方式。
S303、计算第一距离、第二距离和角度。
本实施例中,第一距离为依据姿态参数得到的像素与预设的原点的距离,第二距离为依据图像定位得到的像素与预设的原点的距离,角度为依据姿态参数确定的像素与原点之间的夹角。
本实施例中,原点为依据姿态参数确定的电子设备书写字符的起始位置,确定原点的方法可以参见S203。
本实施例中,依据姿态参数,计算第一距离和角度,具体可以参见S209,依据第一图像、第二图像、以及预设间距计算第二距离,具体可以参见S210。
S304、将第一距离、第二距离和角度输入定位模型,得到定位模型输出的字符上的各个像素的位置。
本实施例中,定位模型为训练好的坐标预测模型,第一距离为依据姿态参数得到的像素与预设的原点的距离,第二距离为依据图像定位得到的像素与预设的原点的距离,角度为依据姿态参数确定的像素与原点之间的夹角,所以第一距离、第二距离、和角度可以指示书写的字符中像素与预设的原点的位置关系,通过输入的第一距离、第二距离、以及角度,预测像素在空间直角坐标系中的坐标,作为像素的位置。
本实施例中,可选的一种定位模型的训练方法参见上述A1~A3,需要说明的是,本实施例还可以包括其他的训练定位模型的方法。
S305、依据位置,获取字符的数字图像。
本实施例中,各个像素的位置以像素在直角坐标系中的坐标值表示,将坐标值转换为数字图像的方法可以参见现有技术。
由上述技术方案可以看出,本申请实施例提供的智能输入方法、系统、设备及可读存储介质,获取书写设备的姿态参数,所述书写设备为用于书写字符的设备,获取字符的图像,字符的图像在姿态参数满足预设的对应条件下采集到的包括书写的字符的像素的图像。计算第一距离、第二距离和角度,将第一距离、第二距离和角度输入定位模型,得到定位模型输出的字符上的各个像素的位置。依据位置,获取字符的数字图像。由于,第一距离为依据姿态参数得到的像素与预设的原点的距离,第二距离为依据图像定位得到的像素与预设的原点的距离,角度为依据姿态参数确定的像素与原点之间的夹角,所以第一距离、第二距离、和角度可以指示书写的字符中像素与预设的原点的位置关系,所以,以第一距离、第二距离、和角度作为定位模型的输入,可以得到像素的位置,可见本方法在书写过程中,依据像素的位置实时得到的数字图像,由此实现了书写的字符与字符的数字图像的一致性。
进一步需要说明的是,图2为本申请实施例提供的一种智能输入系统的具体结构,本申请实施例提供的智能输入系统不限于图2所示的结构,例如,书写设备不限于签字笔,还可以包括其他的书写设备,图4示例了本申请实施例提供的一种智能输入系统的结构示意图。本系统具体可以包括:书写设备401、姿态参数采集部件402、图像采集部件403和处理器404。
本实施例中,书写设备用于书写字符。
本实施例中,姿态参数采集部件用于,采集书写设备的姿态参数。
本实施例中,图像采集部件包括双目摄像头,用于采集书写设备书写的字符。
本实施例中,处理器用于,在姿态参数满足预设的对应条件的情况下,控制图像采集部件采集书写设备书写的字符的图像,计算第一距离、第二距离和角度,将第一距离、第二距离和角度输入定位模型,得到定位模型输出的字符上的各个像素的位置,并依据位置,获取字符的数字图像。其中,第一距离为依据姿态参数得到的像素与预设的原点的距离,第二距离为依据双目摄像头采集的图像定位得到的像素与预设的原点的距离,角度为依据姿态参数确定的像素与原点之间的夹角。
图5示出了该智能输入设备的结构示意图,该设备可以包括:至少一个处理器501,至少一个通信接口502,至少一个存储器503和至少一个通信总线504;
在本申请实施例中,处理器501、通信接口502、存储器503、通信总线504的数量为至少一个,且处理器501、通信接口502、存储器503通过通信总线504完成相互间的通信;
处理器501可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路等;
存储器503可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory)等,例如至少一个磁盘存储器;
其中,存储器存储有程序,处理器可执行存储器存储的程序,实现本申请实施例提供的一种智能输入方法的各个步骤,如下:
获取书写设备的姿态参数,所述书写设备为用于书写字符的设备,
获取字符的图像,所述字符的图像在所述姿态参数满足预设的对应条件下采集到的包括书写的字符的像素的图像;
计算第一距离、第二距离和角度;所述第一距离为依据姿态参数得到的所述像素与预设的原点的距离,所述第二距离为依据所述图像定位得到的所述像素与预设的原点的距离,所述角度为依据所述姿态参数确定的所述像素与所述原点之间的夹角;
将所述第一距离、所述第二距离和所述角度输入预先训练好的定位模型,得到所述定位模型输出的所述字符上的各个像素的位置;
依据所述位置,获取所述字符的数字图像。
本申请实施例还提供一种可读存储介质,该可读存储介质可存储有适于处理器执行的计算机程序,计算机程序被处理器执行时,实现本申请实施例提供的一种智能输入方法的各个步骤,如下:
获取书写设备的姿态参数,所述书写设备为用于书写字符的设备,
获取字符的图像,所述字符的图像在所述姿态参数满足预设的对应条件下采集到的包括书写的字符的像素的图像;
计算第一距离、第二距离和角度;所述第一距离为依据姿态参数得到的所述像素与预设的原点的距离,所述第二距离为依据所述图像定位得到的所述像素与预设的原点的距离,所述角度为依据所述姿态参数确定的所述像素与所述原点之间的夹角;
将所述第一距离、所述第二距离和所述角度输入预先训练好的定位模型,得到所述定位模型输出的所述字符上的各个像素的位置;
依据所述位置,获取所述字符的数字图像。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种智能输入系统,其特征在于,包括:
书写设备、姿态参数采集部件、图像采集部件和处理器;
所述书写设备用于书写字符;
所述姿态参数采集部件用于,采集所述书写设备的姿态参数;
所述图像采集部件包括双目摄像头,用于采集所述书写设备书写的所述字符;
所述处理器用于,在所述姿态参数满足预设的对应条件的情况下,控制所述图像采集部件采集所述书写设备书写的所述字符的图像,计算第一距离、第二距离和角度,将所述第一距离、所述第二距离和所述角度输入定位模型,得到所述定位模型输出的所述字符上的各个像素的位置,并依据所述位置,获取所述字符的数字图像;其中,所述第一距离为依据所述姿态参数得到的所述像素与预设的原点的距离,所述第二距离为依据所述双目摄像头采集的图像定位得到的所述像素与预设的原点的距离,所述角度为依据所述姿态参数确定的所述像素与所述原点之间的夹角。
2.根据权利要求1所述的智能输入系统,其特征在于,所述姿态参数采集部件包括:惯性测量单元IMU;所述IMU包括陀螺仪和加速度传感器;
所述姿态参数包括:加速度、角速度变化速率、以及重心变化速率。
3.根据权利要求2所述的智能输入系统,其特征在于,所述姿态参数满足预设的对应条件,包括:
所述加速度在预设的第一范围内,且所述角速度变化速率在预设的第二范围内,且所述重心变化速率在预设的第三范围内;或者,
所述加速度在预设的第四范围内;
所述第一范围、所述第二范围、以及所述第三范围依据所述书写设备在书写过程中,从接触字符载体变更为离开所述字符载体的姿态参数变化确定;所述第四范围依据所述书写设备在书写过程中,书写字符上的拐点像素的姿态参数变化确定。
4.根据权利要求3所述的智能输入系统,其特征在于,所述处理器中包括计时器;
所述处理器还用于:在检测到所述原点的情况下,控制所述计时器开始计时;
所述处理器确定所述第一距离的过程,包括:
对所述书写设备的加速度基于计时得到的时长积分,得到所述第一距离。
5.根据权利要求4所述的智能输入系统,其特征在于,所述处理器还用于,依据所述姿态参数采集部件采集的所述加速度、所述角速度变化速率、以及所述重心变化速率满足预设的初始化条件,确定检测到所述原点,所述初始化条件依据书写设备从放置状态变更为被拿起、并接触所述字符的载体的过程中,所述加速度、所述角速度变化速率、以及所述重心变化速率的变化确定。
6.根据权利要求5所述的智能输入系统,其特征在于,所述定位模型的训练过程包括:
获取样本输入数据以及目标位置,所述样本输入数据包括第一样本距离、第二样本距离、以及样本角度;
所述目标位置为,当依据所述姿态参数得到的所述像素与预设的原点的距离为所述第一样本距离,且依据所述双目摄像头采集的图像定位得到的所述像素与预设的原点的距离为所述第二样本距离,依据所述姿态参数确定的所述像素与所述原点之间的夹角为样本角度的情况下,所述书写设备书写的所述字符上的各个像素的实际位置;
将所述第一样本距离、所述第二样本距离、以及所述样本角度输入至所述定位模型,以所述目标位置为目标输出,训练所述定位模型的模型参数;
当满足预设的停止条件,得到训练好的所述定位模型,所述停止条件包括定位模型的输出与所述目标位置的误差小于预设的阈值。
7.根据权利要求6所述的智能输入系统,其特征在于,所述图像包括第一图像和第二图像;
所述处理器还用于:至少依据所述第一图像、所述第二图像、以及所述双目摄像头的预设间距,计算所述第二距离。
8.一种智能输入方法,其特征在于,包括:
获取书写设备的姿态参数,所述书写设备为用于书写字符的设备,
获取字符的图像,所述字符的图像在所述姿态参数满足预设的对应条件下采集到的包括书写的字符的像素的图像;
计算第一距离、第二距离和角度;所述第一距离为依据姿态参数得到的所述像素与预设的原点的距离,所述第二距离为依据所述图像定位得到的所述像素与预设的原点的距离,所述角度为依据所述姿态参数确定的所述像素与所述原点之间的夹角;
将所述第一距离、所述第二距离和所述角度输入预先训练好的定位模型,得到所述定位模型输出的所述字符上的各个像素的位置;
依据所述位置,获取所述字符的数字图像。
9.一种智能输入设备,其特征在于,包括:存储器和处理器;
所述存储器,用于存储程序;
所述处理器,用于执行所述程序,实现如权利要求8中所述的智能输入方法的各个步骤。
10.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求8中所述的智能输入方法的各个步骤。
CN202011066010.7A 2020-09-30 2020-09-30 一种智能输入方法、系统、设备及可读存储介质 Active CN112183521B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011066010.7A CN112183521B (zh) 2020-09-30 2020-09-30 一种智能输入方法、系统、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011066010.7A CN112183521B (zh) 2020-09-30 2020-09-30 一种智能输入方法、系统、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN112183521A true CN112183521A (zh) 2021-01-05
CN112183521B CN112183521B (zh) 2023-09-12

Family

ID=73947551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011066010.7A Active CN112183521B (zh) 2020-09-30 2020-09-30 一种智能输入方法、系统、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112183521B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044165A (en) * 1995-06-15 2000-03-28 California Institute Of Technology Apparatus and method for tracking handwriting from visual input
CN101576954A (zh) * 2009-06-10 2009-11-11 中兴通讯股份有限公司 书写笔画识别装置、移动终端及实现空间书写的方法
US20120258796A1 (en) * 2011-04-07 2012-10-11 Nintendo Co., Ltd. Input system, information processing device, storage medium storing information processing program, and three-dimensional position calculation method
CN103538395A (zh) * 2013-09-23 2014-01-29 步步高教育电子有限公司 一种轨迹记录装置
CN104123551A (zh) * 2013-04-26 2014-10-29 联想(北京)有限公司 一种信息处理方法、处理器及信息输入装置
CN104714650A (zh) * 2015-04-02 2015-06-17 三星电子(中国)研发中心 一种信息输入方法和装置
CN105988567A (zh) * 2015-02-12 2016-10-05 北京三星通信技术研究有限公司 手写信息的识别方法和装置
KR101687757B1 (ko) * 2016-04-14 2016-12-20 (주)이케이네트웍스 전자 필기 인식 방법 및 이를 실행하는 프로그램이 기록된 기록 매체
CN109445599A (zh) * 2018-11-13 2019-03-08 宁波视睿迪光电有限公司 交互笔检测方法及3d交互系统
CN111352506A (zh) * 2020-02-07 2020-06-30 联想(北京)有限公司 图像处理方法、装置、设备及计算机可读存储介质
US20200233506A1 (en) * 2018-07-18 2020-07-23 John J. King, JR. Smart pen device and method of implementing a smart pen device

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044165A (en) * 1995-06-15 2000-03-28 California Institute Of Technology Apparatus and method for tracking handwriting from visual input
CN101576954A (zh) * 2009-06-10 2009-11-11 中兴通讯股份有限公司 书写笔画识别装置、移动终端及实现空间书写的方法
US20120258796A1 (en) * 2011-04-07 2012-10-11 Nintendo Co., Ltd. Input system, information processing device, storage medium storing information processing program, and three-dimensional position calculation method
CN104123551A (zh) * 2013-04-26 2014-10-29 联想(北京)有限公司 一种信息处理方法、处理器及信息输入装置
CN103538395A (zh) * 2013-09-23 2014-01-29 步步高教育电子有限公司 一种轨迹记录装置
CN105988567A (zh) * 2015-02-12 2016-10-05 北京三星通信技术研究有限公司 手写信息的识别方法和装置
CN104714650A (zh) * 2015-04-02 2015-06-17 三星电子(中国)研发中心 一种信息输入方法和装置
KR101687757B1 (ko) * 2016-04-14 2016-12-20 (주)이케이네트웍스 전자 필기 인식 방법 및 이를 실행하는 프로그램이 기록된 기록 매체
US20200233506A1 (en) * 2018-07-18 2020-07-23 John J. King, JR. Smart pen device and method of implementing a smart pen device
CN109445599A (zh) * 2018-11-13 2019-03-08 宁波视睿迪光电有限公司 交互笔检测方法及3d交互系统
CN111352506A (zh) * 2020-02-07 2020-06-30 联想(北京)有限公司 图像处理方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN112183521B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
KR101624215B1 (ko) 입력 장치, 입력 방법, 및 기억 매체
US8373654B2 (en) Image based motion gesture recognition method and system thereof
CN112926423B (zh) 捏合手势检测识别方法、装置及系统
JP6141079B2 (ja) 画像処理システム、画像処理装置、それらの制御方法、及びプログラム
WO2019041519A1 (zh) 目标跟踪装置、方法及计算机可读存储介质
CN109325456B (zh) 目标识别方法、装置、目标识别设备及存储介质
EP2846308A2 (en) Pointing direction detecting device and its method, program and computer readable-medium
US9880634B2 (en) Gesture input apparatus, gesture input method, and program for wearable terminal
US20170017303A1 (en) Operation recognition device and operation recognition method
CN104914995A (zh) 一种拍照方法及终端
CN104571521A (zh) 手写记录装置和手写记录方法
CN112083801A (zh) 基于vr虚拟办公的手势识别系统及方法
US10901496B2 (en) Image processing apparatus, image processing method, and program
CN104112112A (zh) 识别动作的方法及其装置
CN106569716B (zh) 单手操控方法及操控系统
WO2021004413A1 (zh) 一种手持输入设备及其指示图标的消隐控制方法和装置
CN112183521B (zh) 一种智能输入方法、系统、设备及可读存储介质
CN114360047A (zh) 举手手势识别方法、装置、电子设备及存储介质
CN114170620A (zh) 手掌位置确定方法、装置、电子设备及存储介质
CN113867562B (zh) 触摸屏报点的校正方法、装置和电子设备
CN115291786A (zh) 一种基于机器学习的误触判断方法、装置和存储介质
EP3568745B1 (en) Hover interaction using orientation sensing
CN108259670A (zh) 电子装置、跌落处理方法及相关产品
JP5080409B2 (ja) 情報端末装置
CN104243807B (zh) 图像处理装置及图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant