CN114217699A - 一种检测手写笔笔尖方向的方法、电子设备及手写笔 - Google Patents

一种检测手写笔笔尖方向的方法、电子设备及手写笔 Download PDF

Info

Publication number
CN114217699A
CN114217699A CN202111297664.5A CN202111297664A CN114217699A CN 114217699 A CN114217699 A CN 114217699A CN 202111297664 A CN202111297664 A CN 202111297664A CN 114217699 A CN114217699 A CN 114217699A
Authority
CN
China
Prior art keywords
stylus
pen
stylus pen
acceleration
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111297664.5A
Other languages
English (en)
Other versions
CN114217699B (zh
Inventor
刘开罩
李铁良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202311243500.3A priority Critical patent/CN117707349A/zh
Priority to CN202111297664.5A priority patent/CN114217699B/zh
Publication of CN114217699A publication Critical patent/CN114217699A/zh
Application granted granted Critical
Publication of CN114217699B publication Critical patent/CN114217699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供了一种检测手写笔笔尖方向的方法、电子设备及手写笔,该电子设备可以是手机、平板设备等包含显示屏的设备,该方法能够由电子设备根据手写笔上报的加速度数值与自身的加速度数值之间的相对值,判断手写笔笔尖的实际朝向,从而使得电子设备能够根据手写笔笔尖的实际朝向为当前的手写笔匹配和笔尖朝向一致的目标图片;此外,还可以根据电子设备获取的霍尔传感器的工作状态,判断手写笔笔尖的实际朝向,从而使得电子设备能够根据手写笔笔尖的实际朝向为当前手写笔匹配目标图片。该方法可以准确判断手写笔笔尖的实际朝向,避免了手写笔吸附时,电子设备无法进行方向识别的问题,丰富了电子设备上提示窗口中的弹窗图片,提升了用户体验。

Description

一种检测手写笔笔尖方向的方法、电子设备及手写笔
技术领域
本申请涉及电子技术领域,尤其涉及一种检测手写笔笔尖方向的方法、电子设备及手写笔。
背景技术
随着电子设备的发展,电子设备的功能也越来越丰富,几乎满足了用户在不同场景的使用需求,例如用户在日常会议、视频学习等场景下,可以通过电子设备记录笔记,从而满足用户的记录需求。
用户通过电子设备记录笔记的过程中,很多人可能仍然热衷于使用传统的纸和笔,为了带给用户传统的纸和笔的书写体验,目前多种电子设备都配置了对应的“手写笔”,例如华为公司的手写笔(HUAWEI M-pencil)等。示例性的,以平板设备为例,用户不需要使用手写笔时,可以将手写笔吸附在平板设备上;用户使用手写笔时,可以打开平板设备的蓝牙,搜索可用的设备,建立平板设备和手写笔之间的配对、连接等。
一种可能的实现方式中,在手写笔和平板设备的吸附、配对过程中,平板设备的显示屏上可以自动弹出提示窗口,该提示窗口中可以包括手写笔的图片和/或提示信息等。该提示窗口可以提醒用户:检测到手写笔处于吸附状态,或者,手写笔请求和平板设备建立蓝牙连接等。上述实现方式中,平板设备无法检测并识别手写笔笔尖的朝向,仅仅在该提示窗口中显示预设的手写笔的图片,该手写笔的图片固定且单一,无法结合用户的具体使用情况、使用习惯等,无法获取并匹配手写笔笔尖的实际朝向,为用户展示合适的图片,影响了用户的使用体验。
另一种可能的实现方式中,当平板设备和手写笔完成初次配对时,平板设备可以保存手写笔的设备信息、蓝牙连接信息等,后续使用过程中,如果平板设备和手写笔再次配对,平板设备上不再弹出提示窗口,以及不再显示手写笔的图片。该实现方式无法及时为用户显示手写笔的吸附状态、配对状态等,也会影响用户的使用体验。
发明内容
本申请提供一种检测手写笔笔尖方向的方法、电子设备及手写笔,该方法可以准确判断手写笔笔尖的实际朝向,避免了手写笔吸附电子设备时,电子设备无法进行方向识别的问题,可以在提示窗口中显示和手写笔笔尖实际方向一致的手写笔图片,丰富了电子设备上提示窗口中的弹窗图片,提升了用户体验。
第一方面提供了一种检测手写笔笔尖方向的方法,应用于包括显示屏的电子设备,所述电子设备能够支持手写笔作为所述电子设备的输入设备,所述方法包括:当所述手写笔吸附到所述电子设备的目标边框的预设位置时,接收所述手写笔发送的包括所述手写笔在第一轴线方向上的加速度、第二轴线方向上的加速度和第三轴线方向上的加速度的信息,其中,所述第一轴线平行于所述目标边框,所述第二轴线平行于所述目标边框的相邻边框,所述第三轴线垂直于所述第一轴线和所述第二轴线确定的平面;获取所述电子设备在所述第一轴线方向上的加速度、所述第二轴线方向上的加速度和所述第三轴线方向上的加速度;分别在所述第一轴线方向、所述第二轴线方向、所述第三轴线方向上,计算所述手写笔的加速度和所述电子设备的加速度的相对值,并确定所述手写笔笔尖的实际方向;根据所述手写笔笔尖的实际方向,确定所述手写笔的目标图片,所述手写笔的目标图片中显示的手写笔笔尖的方向和所述手写笔笔尖的实际方向相同;在所述显示屏上显示提示窗口,所述提示窗口中显示所述手写笔的目标图片。应理解:本文中,“所述手写笔的目标图片中显示的手写笔笔尖的方向和所述手写笔笔尖的实际方向相同”,既包括所述手写笔的目标图片中显示的手写笔笔尖的方向和所述手写笔笔尖的实际方向是完全相同,也包括所述手写笔的目标图片中显示的手写笔笔尖的方向和所述手写笔笔尖的实际方向不完全相同的情况,例如存在一些偏差的情况。作为一种实现方式,只要大方向保持一致即可。
可选地,加速度可以由加速度传感器、陀螺仪、磁力计(magnetometer sensor,M-sensor)、惯性检测单元(inertial measurement unit,IMU)等任意一种可能的传感器测量,本申请实施例对此不作限定。
通过上述方法,当手写笔吸附在电子设备的边框时,电子设备能够接收手写笔发送的每一个坐标轴的方向上笔端加速度传感器的加速度数值,电子设备根据每一个坐标轴的方向上手写笔的加速度数值与电子设备自身的加速度传感器输出的加速度数值之间的相对值,判断手写笔笔尖的实际朝向,从而使得电子设备能够根据手写笔笔尖的实际朝向为当前手写笔匹配目标图片。
上述实现过程,当手写笔吸附在电子设备的边框并和电子设备配对时,电子设备可以准确判断手写笔笔尖的实际朝向,避免了手写笔吸附时,电子设备无法识别手写笔笔尖的方向的问题;此外,电子设备在弹窗显示手写笔图片时,可以选择和手写笔笔尖的实际方向相匹配的图片,而不会单一显示笔尖方向唯一的预设图片,丰富了弹窗图片的内容和种类,大幅提升了使用手写笔过程中的用户体验。
结合第一方面,在第一方面的某些实现方式中,所述分别在所述第一轴线方向、所述第二轴线方向、所述第三轴线方向上,计算所述手写笔的加速度和所述电子设备的加速度的相对值,并确定所述手写笔笔尖的实际方向,包括:分别在所述第一轴线方向、所述第二轴线方向、所述第三轴线方向上,将所述手写笔的加速度和所述电子设备的加速度的差值,确定为所述手写笔的加速度和所述电子设备的加速度的相对值;当所述第一轴线方向、所述第二轴线方向、所述第三轴线方向上,所述手写笔的加速度和所述电子设备的加速度的相对值都为0时,确定所述手写笔笔尖的实际方向为所述第一轴线方向;当所述第一轴线方向和所述第三轴线方向上,所述手写笔的加速度和所述电子设备的加速度的相对值不为0时,确定所述手写笔笔尖的实际方向为所述第一轴线方向的相反方向。
示例性的,以平板设备为例,手写笔吸附在平板设备的长边框时,第一轴线可以平行于平板设备的长边框,第二轴线可以平行于平板设备的短边框,第三轴线可以垂直于平板设备的显示屏所在平面,即“所述第三轴线垂直于所述第一轴线和所述第二轴线确定的平面”。
应理解,平板设备的加速度传感器和手写笔的加速度传感器可以都是三轴传感器,可以分别称为“平板设备的三轴传感器”、“手写笔的笔端三轴传感器”,本申请实施例对加速度传感器的类型不作限定。
还应理解,对于平板设备和手写笔来说,加速度传感器的安装位置是固定的,即加速度传感器在工作过程中获取的加速度值所对应的坐标系也是固定的。那么,在实际使用平板设备的过程中,不论平板设备如何放置,例如横向放置、倾斜放置、倒立放置等,当手写笔吸附到平板设备的长边框之后,平板设备和手写笔的位置是相对固定的,即平板设备的加速度传感器和手写笔的加速度传感器的位置也是相对固定的。换言之,在坐标轴的每一个方向上的加速度的大小也是固定的,即第一轴线方向、第二轴线方向、第三轴线方向都是固定的。因此,可以通过每一个方向上的加速度的相对值判断手写笔笔尖的实际朝向。
示例性的,在本申请实施例中,“每一个方向上的加速度的相对值”可以理解为:在该方向上,平板设备的加速度数值减去手写笔的加速度数值所得到的差值。可选地,该差值(即该方向上加速度的“相对值”)可能为正数,也可能为负数,也可能为0,平板设备可以根据每一个方向上的加速度的相对值判断手写笔笔尖的实际朝向。
示例性的,如果每一个轴线方向上的加速度的相对值仅有一个方向上为0,两个方向上的加速度的相对值不为0且相对值的数值大小为加速度数值的2倍,那么平板设备可以确定两个方向上的加速度的方向相反,那么,手写笔笔尖的实际方向平行于长边框且变化为原第一轴线方向的相反方向。
通过上述过程,根据每一个坐标轴的方向上,手写笔笔端加速度传感器的加速度数值与电子设备自身的加速度传感器输出的加速度数值之间的相对值,电子设备能够判断手写笔笔尖的实际朝向,从而能够进一步根据手写笔笔尖的实际朝向为当前手写笔匹配目标图片。
一种可能的实现方式中,电子设备本地可以存储有手写笔图片库,该手写笔图片库可以包括多张不同厂家、不同型号、不同样式、不同类型、不同笔尖朝向的手写笔图片。或者说,不同厂家、不同型号的手写笔,都配置多张不同的图片,组成了手写笔图片库,电子设备可以选择相匹配的目标图片。
可选地,在本申请实施例中,首先,电子设备可以根据第一阶段获取的手写笔的设备信息,从手写笔图片库中包括的不同厂家、不同型号的多张手写笔图片中,选择和当前的手写笔的生产厂家、产品型号一致的多张图片。其次,电子设备可以根据步骤407中确定的笔尖实际朝向,继续从多张手写笔图片中选择与笔尖的实际朝向相匹配的手写笔图片作为“目标图片”。
应理解,电子设备最终确定的“目标图片”是跟当前的手写笔的生产厂家、产品型号、手写笔笔尖的实际朝向都一致的图片,该目标图片可以包括生产厂家、产品型号等相关的信息,本申请实施例对此不作限定。
另一种可能的实现方式中,电子设备确定了手写笔的笔尖实际朝向之后,可以向服务器发送请求消息,该请求消息用于请求获取手写笔图片,并在该请求消息中携带指示信息,用于指示手写笔的笔尖实际朝向。服务器可以根据电子设备发送的请求消息,从存储的手写笔图片资源的多张手写笔图片中选择与笔尖的实际朝向相匹配的手写笔图片作为“目标图片”,再将该“目标图片”返回给电子设备。该本申请实施例对电子设备获取手写笔的目标图片的方式不作限定。
可选地,该服务器可以是电子设备对应的服务器,也可以是手写笔对应的服务器,或者是某应用程序(例如第三方应用)对应的服务器,本申请实施例对此不作限定。
通过上述方法,电子设备在弹窗显示手写笔图片时,可以选择和手写笔笔尖的实际方向相匹配的图片,而不会单一显示笔尖方向唯一的预设图片;且手写笔图片的来源广泛,可以丰富了弹窗图片的内容和种类,大幅提升了使用手写笔过程中的用户体验。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,所述电子设备还包括一个或多个磁吸模块、多个霍尔传感器,所述磁吸模块用于将所述手写笔吸附到所述目标边框的预设位置,且所述每一个磁吸模块的两侧分别设置有至少一个霍尔传感器,所述方法还包括:获取所述多个霍尔传感器中每一个霍尔传感器的工作状态信息;根据所述多个霍尔传感器中每一个霍尔传感器的工作状态信息,确定所述手写笔笔尖的实际方向。
应理解,在本申请实施例中,电子设备和手写笔上都安装有霍尔传感器,霍尔传感器可以由霍尔元件和附属电路等组成。一方面,电子设备和手写笔上的霍尔传感器能够监测磁场的变化,另一方面,电子设备和手写笔上的霍尔传感器还可以作为开关,能够自动控制电子设备和手写笔之间的信息交互(开始发送握手数据等)流程。
通过上述方法,另一种可能的场景中,如果手写笔的笔端加速度传感器的加速度数值并没有传输到电子设备侧,或者手写笔的笔端加速度传感器的加速度数值传输失败时,本申请实施例中,电子设备还能够实现通过霍尔传感器的工作状态来判断手写笔笔尖的实际朝向,从而使得电子设备能够根据手写笔笔尖的实际朝向为当前手写笔匹配目标图片。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,所述提示窗口中还用于显示所述手写笔的设备名称、产品型号、生产厂家、当前手写笔的剩余电量、电池标识、充电进度条、取消控件、连接控件中的一种或多种。
可选地,该提示窗口中还可以显示当前手写笔的产品型号、生产厂家等内容,以及当前手写笔的剩余电量、电池标识、充电进度条等内容中的至少一种,本申请实施例对电子设备弹出的提示窗口中显示的内容不作限定。其中,剩余电量可以以百分数的形式显示,用于提示用户当前手写笔的电量占据充满电状态的电量的百分比,为了简便,此处不再赘述。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,所述在所述显示屏上显示提示窗口,包括:根据所述手写笔笔尖的实际方向,和/或所述手写笔在所述第一轴线方向上的加速度,和/或所述手写笔在所述第二轴线方向上的加速度,和/或所述手写笔在所述第三轴线方向上的加速度,和/或所述手写笔的目标图片包含的图片数量,和/或预设的多种弹窗效果,确定目标显示效果;按照所述目标显示效果,在所述显示屏上显示所述提示窗口。
可选地,电子设备自动弹出提示窗口时,该提示窗口可以具有不同的样式、不同的尺寸,以及该提示窗口可以具有不同的弹窗动画,本申请实施例对此不作限定。
示例性的,该提示窗口的显示位置可以根据手写笔吸附的目标边框的预设位置来确定,例如,紧靠手写笔吸附的显示屏下方的长边框等。
可选地,电子设备还可以自动调整提示窗口的尺寸大小。例如,提示窗口可以紧靠显示屏的短边框且为尺寸较小的纵向窗口;电子设备还可以调整提示窗口内的布局,例如调整手写笔的预设图片的尺寸、取消控件、连接控件的尺寸,本申请实施例对此不作限定。
一种可能的实现方式中,电子设备在弹出提示窗口的过程中,可以在弹出该提示窗口的过程也增加相应的显示效果。
可选地,该提示窗口的显示可以具有静态显示效果,或者具有动态显示效果,即弹窗过程也具有动态播放效果。
示例性的,例如该提示窗口可以在显示屏由上到下、由下到上、按照一定的轨迹等移动,或者该提示窗口可以以百叶窗、菱形格等方式出现在显示屏上,本申请实施例对该提示窗口可能具有的动态播放效果不作限定。
可选地,该动画效果可以匹配手写笔任意一个坐标轴方向上的笔尖加速度,例如,该提示窗口可以以一定的速率在电子设备的显示屏上移动。或者,该动画效果可以匹配用户的使用习惯,例如,该提示窗口被用户设定为闪烁式出现、弹跳式出现等。又或者,电子设备的弹窗过程以默认的多种可能的动画效果来呈现,本申请实施例对此不作限定。
可选地,该弹窗过程可以伴随着提示窗口内手写笔的目标图片的尺寸大小、透明度等动态变化过程,例如,手写笔的目标图片的尺寸大小可以随着播放窗口的增大而放大显示,或者随着播放窗口的缩小而缩小显示,该弹窗过程的动画效果可以进一步为用户提供一种连贯的沉浸式体验,提高了用户的视觉体验。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,当所述手写笔的目标图片包括多张手写笔图片时,所述提示窗口中显示所述手写笔的目标图片,包括:按照预设时长,所述提示窗口中依次显示所述多张手写笔图片中的每一张手写笔图片。
另一种可能的实现方式中,本申请实施例的“手写笔的目标图片”可以是一张图片,或者多张图片。示例性的,当“手写笔的目标图片”是多张图片时,可以在弹出提示窗口的过程中轮流更换多张手写笔的目标图片,例如多张图片中每一张图片显示固定时长,从而使得提示窗口内部也具有动态播放的显示效果,本申请实施例对此不作限定。
通过上述实现方式,本申请实施例可以为用户提供多种可能的提示窗口的显示效果,例如弹窗的动画、提示窗口在显示屏上的变化过程、提示窗口内部的图片显示效果等,丰富了窗口内容,提高了用户的视觉体验。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,所述电子设备存储有手写笔数据集,所述手写笔数据集包括能够和所述电子设备适配的一种或多种预设类型的手写笔的设备信息和蓝牙信息,所述方法还包括:接收所述手写笔发送的设备信息,根据所述手写笔数据集和所述设备信息对所述手写笔进行设备校验;和/或接收所述手写笔发送的蓝牙信息,根据所述手写笔数据集和所述蓝牙信息对所述手写笔进行蓝牙校验。
可选地,所述设备信息包括所述手写笔的设备名称、产品序列号、软件系统信息、产品硬件信息中的一种或多种,本申请实施例对此不作限定。
可选地,所述蓝牙信息包括所述手写笔的蓝牙协议信息、无线信息、蓝牙连接时的媒体访问控制地址信息、互联网协议地址信息中的一种或多种,本申请实施例对此不作限定。
综上所述,通过本申请实施例介绍的检测手写笔笔尖方向的方法,手写笔能够向电子设备发送每一个坐标轴的方向上笔端加速度传感器的加速度数值,由电子设备根据手写笔上报的加速度数值与电子设备自身的加速度传感器输出的加速度数值之间的相对值,判断手写笔笔尖的实际朝向,从而使得电子设备能够根据手写笔笔尖的实际朝向为当前手写笔匹配目标图片。
或者,如果手写笔的笔端加速度传感器的加速度数值并没有传输到电子设备侧,或者手写笔的笔端加速度传感器的加速度数值传输失败时,本申请实施例中,电子设备还能够实现通过霍尔传感器的工作状态来判断手写笔笔尖的实际朝向,从而使得电子设备能够根据手写笔笔尖的实际朝向为当前手写笔匹配目标图片。
上述实现过程,当手写笔吸附在电子设备的边框并和电子设备配对时,电子设备可以准确判断手写笔笔尖的实际朝向,避免了手写笔吸附时,电子设备无法识别手写笔笔尖的方向的问题;此外,电子设备在弹窗显示手写笔图片时,可以选择和手写笔笔尖的实际方向相匹配的图片,而不会单一显示笔尖方向唯一的预设图片,丰富了弹窗图片的内容和种类,大幅提升了使用手写笔过程中的用户体验。
第二方面提供了一种检测手写笔笔尖方向的方法,应用于手写笔,所述手写笔能够作为包括显示屏的电子设备的输入设备,所述方法包括:当所述手写笔和所述电子设备之间的距离小于或等于预设距离时,向所述电子设备发送设备信息,所述设备信息包括所述手写笔的设备名称、产品序列号、软件系统信息、产品硬件信息中的一种或多种;接收所述电子设备发送的设备校验信息,当所述设备校验信息指示所述手写笔能够适配所述电子设备时,确定所述手写笔吸附到所述电子设备的目标边框的预设位置时,所述手写笔在第一轴线方向上的加速度、第二轴线方向上的加速度和第三轴线方向上的加速度的信息,其中,所述第一轴线平行于所述目标边框,所述第二轴线平行于所述目标边框的相邻边框,所述第三轴线垂直于所述第一轴线和所述第二轴线确定的平面;向所述电子设备发送蓝牙信息、所述手写笔在第一轴线方向上的加速度、第二轴线方向上的加速度和第三轴线方向上的加速度的信息,其中,所述蓝牙信息包括所述手写笔的蓝牙协议信息、无线信息、蓝牙连接时的媒体访问控制MAC地址信息、互联网协议IP地址信息中的一种或多种;接收所述电子设备发送的蓝牙校验信息,确定所述手写笔是否能够和所述电子设备建立蓝牙连接。
结合第二方面,在第二方面的某些实现方式中,所述手写笔包括至少一个磁吸模块、至少一个霍尔传感器,所述磁吸模块用于将所述手写笔吸附到所述目标边框的预设位置。
应理解,在本申请实施例中,电子设备和手写笔可以都具有无线芯片,该无线芯片可以支持预设距离内的无线通信,即实现手写笔可以基于“无线透传的方式”向电子设备发送握手数据。在本申请实施例中,手写笔向电子设备发送的信息除了包括手写笔的设备信息、蓝牙信息之外,还可以将笔端加速度传感器的数值信息也发送给电子设备,该笔端加速度传感器的数值信息可以用于电子设备判断手写笔笔尖的实际朝向。
应理解,该手写笔的笔端加速度传感器的数值信息的数据量也是极小的,可以和手写笔的蓝牙信息组合生成新的信息,较小的数据量能够通过现有的无线透传的方式传输到电子设备,且不会增加无线透传的数据量。
第三方面提供了一种电子设备,包括:显示屏;加速度传感器、惯性检测单元IMU、陀螺仪中的一种或多种传感器;一个或多个处理器;一个或多个存储器;安装有多个应用程序的模块;所述存储器存储有一个或多个程序,当所述一个或者多个程序被所述处理器执行时,使得所述电子设备执行如第一方面和第一方面中任一项所述的方法。
第四方面提供了一种手写笔,所述手写笔能够作为包括显示屏的电子设备的输入设备,所述手写笔包括:笔头;加速度传感器、惯性检测单元IMU、陀螺仪中的一种或多种传感器;一个或多个处理器;一个或多个存储器;所述存储器存储有一个或多个程序,当所述一个或者多个程序被所述处理器执行时,使得所述手写笔执行如第二方面和第二方面中任一项所述的方法。
第五方面提供了一种系统,所述系统包括能够相互通信的电子设备和手写笔,所述手写笔能够作为包括显示屏的电子设备的输入设备,所述电子设备能够执行如第一方面和第一方面的实现方式中任一项所述的方法,所述手写笔能够执行如第二方面和第二方面的实现方式中任一项所述的方法。
第六方面提供了一种电子设备上的图形用户界面系统,所述电子设备具有触摸屏、一个或多个存储器、以及一个或多个处理器,所述一个或多个处理器用于执行存储在所述一个或多个存储器中的一个或多个计算机程序,所述图形用户界面系统包括所述电子设备执行如第一方面和第一方面中任一项所述的方法时,电子设备显示的图形用户界面。
第七方面提供了一种装置,该装置包含在电子设备中,该装置具有实现上述第一方面及上述第一方面的任意一种可能实现方式中所述电子设备行为的功能。或者,该装置包含在手写笔中,该装置具有实现上述第二方面及上述第二方面的任意一种可能实现方式中所述手写笔行为的功能。
可选地,该装置具有的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如,显示模块或单元、检测模块或单元、处理模块或单元等。
第八方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行上述第一方面或者第一方面的任意一种可能的方法,或者执行如第二方面和第二方面的任意一种所述手写笔可能执行的方法。
第九方面提供了一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行上述第一方面或者第一方面的任意一种可能的方法,或者使得所述电子设备执行如第二方面和第二方面的任意一种所述手写笔可能执行的方法。
附图说明
图1是一例用户将手写笔吸附在平板设备侧边框的图形用户界面示意图。
图2是本申请实施例提供的一例电子设备的结构示意图。
图3是本申请实施例的一例电子设备的软件结构框图。
图4是本申请实施例提供的一例检测手写笔笔尖方向的方法的示意性流程图。
图5是本申请实施例提供的手写笔和平板设备的加速度传感器的工作原理示意图。
图6是一例手写笔吸附在平板设备的侧边框时霍尔传感器的工作示意图。
图7是本申请实施例提供的一例手写笔吸附在平板设备侧边框时的弹窗示意图。
具体实施方式
在本申请实施例中,要实现平板设备、手机等电子设备和手写笔的配对、蓝牙连接过程,以及进一步实现用户使用手写笔在电子设备的显示屏上记录笔记等操作过程,首先,用户可以按照【设置应用—“辅助功能”选项—“手写笔”选项—“手写笔”控制开关】的操作路径,将“手写笔”控制开关设置为开启(或“ON”)状态,使得电子设备可以接收并检测到用户使用手写笔在电子设备的显示屏上执行的一种或多种操作,本申请实施例后续不再赘述。
此外,不同类型、或者具有不同软件系统版本的电子设备,可能适配一种或多种固定型号的手写笔,本申请实施例对电子设备的类型、软件系统版本和手写笔的型号不作限定,并假设电子设备的类型、软件系统版本和手写笔的型号相互适配,后续实施例对此不作赘述。
为了便于理解,下面将以相互适配的平板设备(例如华为公司的Mate Pad Pro)和手写笔(例如HUAWEI M-pencil)为例,结合附图,对平板设备和手写笔之间的吸附、配对以及蓝牙连接过程进行具体阐述。
图1是一例用户将手写笔吸附在平板设备侧边框的图形用户界面(graphicaluser interface,GUI)示意图。
示例性的,图1中的(a)图示出了平板设备10在解锁模式下显示的界面101,该界面101可以显示多款应用程序(application,App)等。其中,多款应用程序可以包括时钟、日历、图库、备忘录、微信、音乐和设置等。应理解,该界面101还可以包括其他更多的内容和更多的应用程序,例如该界面101还可以显示当前的时间和日期、天气组件等更多内容,本申请实施例对此不作限定。
一种可能的实现方式中,用户如果直接将手写笔20吸附在平板设备10的侧边框上,就可以触发手写笔20和平板设备10的配对过程。
可选地,当用户不需要使用手写笔20,或者手写笔20不在配对状态,或者手写笔20的剩余电量不足时,用户可以直接将手写笔20靠近平板设备10,并依靠“强力磁吸”将手写笔20吸附到平板设备10的边框上,例如手写笔20可以吸附在平板设备10的长边框上。
应理解,“强力磁吸”可以保证手写笔20的收纳安全,一方面,“强力磁吸”能够触发手写笔20和平板设备10的配对,另一方面,还能够完成手写笔20的磁吸式充电过程,本申请实施例对此不作赘述。
示例性的,当平板设备10显示如图1中的(a)图所示的界面101时,如果用户直接将手写笔20吸附到平板设备10的长边框的目标位置,可以触发手写笔20和平板设备10进行配对并进行磁吸式充电。相应地,响应于手写笔20的吸附过程以及配对流程,平板设备10的界面101上可以自动弹出提示窗口101-1,该提示窗口101-1中可以显示:手写笔20的预设图片、手写笔20的设备名称、“取消”控件、“连接”控件等。用户可以根据自己的需求,在该提示窗口101-1中,点击“连接”控件,以进一步触发手写笔20和平板设备10建立蓝牙连接;或者,在该提示窗口101-1中,点击“取消”控件,中断手写笔20和平板设备10建立蓝牙连接的流程,为了简便,此处不再一一赘述。
这里需要说明的是,不论平板设备10的显示屏上显示何种界面,例如图1中的(a)图所示的主界面,或者任意一款应用程序的运行界面等,当手写笔20吸附到平板设备10的长边框的目标位置,可以触发手写笔20和平板设备10进行配对并自动弹出该提示窗口101-1,本申请实施例对平板设备10显示的界面不作限定。
示例性的,以平板设备10上安装的设置应用为例,当平板设备10显示如图1中的(b)图所示的设置应用的运行界面102时,如果用户直接将手写笔20吸附到平板设备10的长边框的目标位置,可以触发手写笔20和平板设备10进行配对并进行磁吸式充电。相应地,响应于手写笔20的吸附过程以及配对流程,平板设备10的界面102上可以自动弹出提示窗口102-1,该提示窗口102-1中可以显示和该提示窗口101-1相同的内容,为了简便,此处不再一一赘述。
还需要说明的是,平板设备10至少包括4个边框,例如2个长边框和2个短边框,手写笔20可以吸附在平板设备10的任意一个边框的目标位置,这里将以手写笔20吸附到平板设备10的长边框的目标位置为例进行介绍。应理解,本申请实施例对手写笔20能够吸附的边框不作限定。
可选地,用户将手写笔20吸附到平板设备10的长边框的目标位置时,手写笔20的笔尖可能面对不同的方向,或者说,手写笔20的笔尖可能具有不同的“朝向”。
示例性的,在图1中的(a)图中,当平板设备10如图放置时,手写笔20笔尖的实际朝向可以如黑色箭头所示,平行于平板设备10的长边框,且指向左侧;在图1中的(b)图中,手写笔20笔尖的实际朝向可以如黑色箭头所示,平行于平板设备10的长边框,且指向右侧。
对于上述列举的手写笔20笔尖可能具有的两种不同朝向,当手写笔20开始和平板设备10配对时,平板设备10的显示屏上可以自动弹出提示窗口,例如图1中的(a)图所示的提示窗口101-1,如图1中的(b)图所示的提示窗口102-1。其中,该提示窗口101-1和提示窗口102-1可以显示相同的内容,即提示窗口101-1和提示窗口102-1显示相同的手写笔20的预设图片、手写笔20的设备名称、“取消”控件、“连接”控件,其中,同一张手写笔20的预设图片中笔尖的朝向保持一致。
应理解,该提示窗口101-1(或提示窗口102-1)是平板设备10和手写笔20在建立蓝牙连接之前,在平板设备10的显示屏上自动弹出来的,换言之,平板设备10上弹出提示窗口101-1(或提示窗口102-1)时,平板设备10和手写笔20并没有建立蓝牙连接。具体地,平板设备10和手写笔20在建立蓝牙连接之前,当手写笔20无限靠近于平板设备10(即手写笔20和平板设备10之间的距离小于或等于预设距离时),直到吸附在平板设备10的边框过程中,手写笔20可以基于“无线透传的方式”向平板设备10发送握手数据,平板设备10接收到该握手数据之后,基于接收的握手数据包括的内容,显示该提示窗口101-1(或提示窗口102-1)。
具体地,平板设备10和手写笔20可以都安装有无线芯片,该无线芯片可以支持预设距离内的无线通信。“无线透传的方式”可以基于平板设备10和手写笔20的无线芯片,可以理解为数据的透明传输,或者称为“串口透传”,该无线透传的方式不需要对数据做任何协议封装和处理,只要平板设备10和手写笔20之间的距离满足串口传输的范围要求,手写笔20就可以将握手数据发送到平板设备10,即上述介绍的手写笔20可以基于“无线透传的方式”向平板设备10发送握手数据,本申请实施例对无线透传的实现过程不作赘述。
还应理解,在本申请实施例中,平板设备10上自动弹出提示窗口101-1(或提示窗口102-1)时,平板设备10和/或手写笔20的蓝牙开关可以为关闭状态,或者为开启状态,本申请实施例对此不作限定。换言之,平板设备10和/或手写笔20的蓝牙开关的开启或关闭状态并不影响平板设备10和手写笔20之间的无线透传、以及平板设备10的自动弹窗过程。
可选地,该握手数据可以包括手写笔20的设备名称、产品序列号(serial number,SN)、软件系统的版本信息、产品硬件信息等与手写笔20的设备信息相关的内容,且无线透传的该握手数据包括的数据量很小,本申请实施例对握手数据的具体内容不作限定。
上述实现过程并不关注手写笔20笔尖的实际朝向等手写笔20的实际状态,例如,平板设备10可能无法检测并识别手写笔20吸附到边框时笔尖的实际朝向,或者,平板设备10就算能够检测并识别手写笔20吸附时笔尖的实际朝向,在平板设备10和手写笔20在建立蓝牙连接之前,并没有相关的通道可以将手写笔20笔尖的实际朝向等相关的信息发送到平板设备10,而握手数据主要依靠平板设备10和手写笔20在蓝牙连接之前的无线透传,该无线透传的方式是无法实现将包含笔尖的实际朝向等信息的大量数据传递到平板设备10端的。
因此,平板设备10在显示该提示窗口101-1(或提示窗口102-1)时,无法获取并确定手写笔20笔尖的实际朝向,仅能够获取该手写笔20的设备名称、设备型号等与设备信息相关的内容,在该提示窗口101-1(或提示窗口102-1)中显示该手写笔20的预设图片,该预设图片往往是固定的,且该预设图片中的笔尖朝向单一,无法匹配手写笔20笔尖的实际朝向,即无法结合用户的具体使用情况、使用习惯等,显示满足用户需求的手写笔图片,降低了用户的视觉体验、使用体验。
针对上述问题,本申请实施例将提供一种检测手写笔笔尖方向的方法,该方法可以检测并识别不同场景下,手写笔笔尖的实际朝向,且能够根据手写笔笔尖的实际朝向匹配不同的手写笔图片,从而兼顾不同用户的使用习惯,为用户显示满足用户实际需求的手写笔图片和弹窗内容,以提高用户的使用体验。
下面将结合本申请实施例中的附图,对本申请实施例中检测手写笔笔尖方向的技术方案进行描述。
本申请实施例提供的检测手写笔笔尖方向的方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)等任意一种可以和手写笔配对,并能够将手写笔作为输入设备的电子设备上,例如该电子设备可以是图1中介绍的平板设备10等,本申请实施例对电子设备的具体类型不作任何限制。
针对图1示出的应用场景,从用户交互层面介绍了平板设备10和手写笔20建立蓝牙连接之前,平板设备10显示屏的弹窗显示过程和可能的实现方式,下面将从底层实现策略层面,介绍本申请实施例提供的检测手写笔笔尖方向的方法对应的底层实现过程。
应理解,本申请实施例提供的检测手写笔笔尖方向的方法,可以发生在手写笔20和平板设备10、手机等电子设备之间,其中,本申请实施例的平板设备、手机等电子设备,以及手写笔20等,可以具有一定的硬件结构、软件结构。
图2是本申请实施例提供的一例电子设备100的结构示意图。
应理解,本申请实施例的手机、平板设备等电子设备可以包括图2示出的电子设备100部分结构或全部结构,或者还可以包括更多的其他未示出的结构,本申请实施例对此不作限定。
同样地,本申请实施例的手写笔20也可以包括图2示出的电子设备100的部分结构或全部结构,或者还可以包括更多的其他未示出的结构,本申请实施例对此不作限定。
示例性的,手写笔20可以包括笔尖部分、笔身部分、霍尔传感器、加速度传感器、无线芯片、蓝牙模块、磁吸模块等,为了简便,此处不再一一赘述。
示例性的,如图2所示,电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identificationmodule,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在本申请实施例中,电子设备100如果表示的是图1中的平板设备10,那么电子设备100的处理器110中存储有能够适配的一种或多种手写笔的设备信息、蓝牙信息等。示例性的,假设电子设备100的处理器110中存储有手写笔20的设备名称、设备型号、软件系统的版本信息、产品硬件信息等设备信息。当电子设备100接收到手写笔20发送的握手数据之后,就可以根据握手数据中包括的手写笔20的设备信息和自身存储的能够适配的手写笔的设备信息进行校验,校验当前的手写笔20是否为能够适配的手写笔,即校验该手写笔20能否作为电子设备100的输入设备。
同样地,假设电子设备100的处理器110中存储有手写笔20的蓝牙信息,例如该手写笔20的蓝牙协议信息、无线信息、蓝牙连接时的媒体访问控制(media access control,MAC)地址信息、互联网协议地址(Internet protocol address,IP address)等与蓝牙连接相关的信息。电子设备100同样也可以对当前手写笔20的蓝牙信息进行校验,判断是否能够和手写笔20建立蓝牙连接,此处不再赘述。
此外,在本申请实施例中,电子设备100的处理器110存储有执行本申请实施例的程序代码,该程序代码能够使得电子设备100实现:接收手写笔20发送的加速度数值信息,根据手写笔20上报的加速度数值与自身的加速度数值之间的相对值,判断手写笔笔尖的实际朝向,再根据手写笔20笔尖的实际朝向为当前的手写笔20匹配和笔尖朝向一致的目标图片。此外,还可以获取自身的霍尔传感器的工作状态,根据霍尔传感器的工作状态判断手写笔20笔尖的实际朝向,从而使得电子设备100能够根据手写笔20笔尖的实际朝向为当前手写笔匹配目标图片。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。在本申请实施例中,处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现电子设备100的蓝牙功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G/6G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在本申请实施例中,电子设备100和手写笔作为两个不同的电子设备,可以都包括无线通信模块160。
示例性的,电子设备100和手写笔可以都具有无线芯片,该无线芯片可以支持预设距离内的无线通信,即实现手写笔可以基于“无线透传的方式”向电子设备100发送握手数据。
在本申请实施例中,手写笔向电子设备100发送的信息除了包括手写笔的蓝牙信息之外,还可以将笔端加速度传感器的数值信息也发送给电子设备100,该笔端加速度传感器的数值信息可以用于电子设备100判断手写笔笔尖的实际朝向。
应理解,该手写笔的笔端加速度传感器的数值信息的数据量也是极小的,可以和手写笔的蓝牙信息组合生成新的信息,较小的数据量能够通过现有的无线透传的方式传输到电子设备100,且不会增加无线透传的数据量。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
在本申请实施例中,以图1所示的平板设备10和手写笔20之间的连接为例,手机的显示屏194可以在接收到手写笔20发送的握手数据之后,进一步在显示屏194上显示图1中的(a)图所示的提示窗口101-1或(b)图所示的提示窗口102-1,并检测用户在不同提示窗口内容执行的操作,根据用户的操作做出响应,此处不再赘述。
此外,如果用户在日常会议、视频学习等场景下,可以通过手写笔在电子设备上记录笔记,那么显示屏194还可以接收用户通过手写笔执行的操作,根据用户的操作做出响应,此处不再赘述。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。
耳机接口170D用于连接有线耳机。压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,陀螺仪传感器180B也可以称为“三轴传感器”,通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。示例性的,在本申请实施例中,手写笔20主要依靠磁吸模块的强力吸附功能,吸附在电子设备100的侧边框的固定位置处。可选地,手写笔和电子设备100之间的磁吸模块可以是一组磁铁,本申请实施例对此不作限定。
此外,在本申请实施例中,手写笔和电子设备100都安装有霍尔传感器,霍尔传感器可以由霍尔元件和附属电路等组成。一方面,电子设备100和手写笔上的霍尔传感器能够监测磁场的变化,起到一定的吸附作用;另一方面,电子设备100和手写笔上的霍尔传感器还可以作为开关,能够自动控制电子设备100和手写笔之间的信息交互(开始发送握手数据等)等流程,此处不再一一赘述。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
示例性的,在本申请实施例中,手写笔和电子设备100都安装有加速度传感器180E,加速度传感器180E可以用于确定手写笔在每一个轴上的加速度,以及电子设备100在每一个轴上的加速度,便于电子设备100可以根据每一个轴上的加速度之间的相对值,判断手写笔笔尖的实际朝向,此处不再一一赘述。
应理解,在本申请实施例中,陀螺仪传感器180B和加速度传感器180E可以相互合作,以使得平板设备10和手写笔20能够准确地获取每一个坐标轴上的加速度值的信息等。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。
环境光传感器180L用于感知环境光亮度。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。
触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
可选地,在本申请实施例中,该触摸传感器180K可以检测用户的触摸、点击等操作,生成操作事件,并将该操作事件传递给处理器110,由处理器110确定该操作事件包括触摸点的坐标、触摸状态等相关参数,根据该操作事件做出响应。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的
Figure BDA0003334746230000161
系统为例,示例性说明电子设备100的软件结构。
图3是本申请实施例的一例电子设备的软件结构框图。
可选地,本申请实施例的电子设备100可以具有
Figure BDA0003334746230000162
系统,即具有图3所示的分层架构,该分层架构可以包括若干个层,每一层都有清晰的角色和分工,且层与层之间通过软件接口通信。
示例性的,在一些实施例中,如图3所示,可以将
Figure BDA0003334746230000163
系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(
Figure BDA0003334746230000164
runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。示例性的,如图3所示,应用程序层可以包括相机、蓝牙、设置等应用程序对应的应用程序包,本申请实施例对此不作限定。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
示例性的,如图3所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断屏幕是否有状态栏,或者参与执行锁定屏幕,截取屏幕等操作。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。存放的数据可以包括视频数据、图像数据、音频数据等,还可以包括拨打和接听的通话记录数据,用户的浏览历史和书签等数据,此处不再赘述。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括电话的接通、挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串、图标、图片、布局文件、视频文件等等。
通知管理器使应用程序可以在屏幕的状态栏中显示通知信息,可以用于向用户传达消息,该通知信息可以在状态栏短暂停留后自动消失,无需用户执行关闭操作等交互过程。比如通知管理器可以告知用户下载完成等消息。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知;或者,通知管理器还可以是以对话窗口形式出现在屏幕上的通知,例如在状态栏提示文本信息等;又或者,通知管理器还可以控制电子设备发出提示音,电子设备的振动,电子设备的指示灯闪烁等,此处不再赘述。
Figure BDA0003334746230000171
runtime包括核心库和虚拟机。
Figure BDA0003334746230000172
runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象的生命周期管理、堆栈管理、线程管理、安全和异常的管理、以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(media libraries),三维(three dimensional,3D)图形处理库(例如:OpenGL ES),二维(two dimensional,2D)图形引擎、图像处理库等。
表面管理器用于对电子设备的显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
二维图形引擎是二维绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
应理解,本申请实施例对电子设备100的软件结构不作严格要求,只要电子设备100能够根据接收的信息判断手写笔笔尖的实际朝向,根据手写笔笔尖的实际朝向匹配了手写笔的目标图片之后,可以在电子设备100的显示屏上弹窗显示,为用户显示和手写笔笔尖的实际朝向相匹配的手写笔图片;或者,弹窗显示时,可以为提示窗口附加动画效果;又或者在提示窗口内部,为一张或多张手写笔图片附加动态播放的效果等,此处不再一一赘述。
为了便于理解,本申请以下实施例将以具有图2和图3所示结构的平板设备10为例,结合附图和应用场景,对本申请实施例提供的检测手写笔笔尖方向的方法进行具体阐述。
图4是本申请实施例提供的一例检测手写笔笔尖方向的方法的示意性流程图。
示例性的,以前述图1所示的平板设备10和手写笔20之间的配对过程为例,本申请实施例提供的检测手写笔笔尖方向的实现过程可以包括三个不同的阶段,每个阶段包括不同的步骤。如图4所示,该方法400可以包括以下不同的阶段:
第一阶段:配对阶段
401,当手写笔20和平板设备10的距离小于或等于预设距离时,手写笔20向平板设备10发送握手数据。
402,平板设备10根据接收的握手数据,进行设备校验。
403,平板设备10向手写笔20返回设备校验的结果。
可选地,平板设备10和手写笔20可以都具有无线芯片,该无线芯片可以支持预设距离内的无线通信。具体地,在第一阶段的步骤401中,手写笔20可以基于无线透传的方式向平板设备10发送握手数据。
应理解,“预设距离”可以是与手写笔20和平板设备10的无线芯片之间通信的最大传输距离,例如10毫米之内等。此外,关于无线透传的实现过程请参考前述实施例的相关描述,为了简便,此处不再赘述。
可选地,该握手数据可以包括手写笔20的设备名称、产品序列号(serial number,SN)、软件系统信息、产品硬件信息等与手写笔20的设备信息相关的内容,本申请实施例对此不作限定。
一种可能的实现方式中,平板设备10出厂时就存储有能够与之适配的手写笔的设备信息,从而平板设备10可以准确知道能够适配的手写笔的设备名称、设备型号、软件系统的版本信息、产品硬件信息等设备信息。应理解,平板设备10能够适配的手写笔可以为一种或多种类型,平板设备10可以存储能够适配的每一种类型的手写笔的设备信息,本申请实施例对此不作限定。
示例性的,以华为公司的Mate Pad Pro为例,Mate Pad Pro可以支持第一代M-pencil和第二代M-pencil,用户使用这两种手写笔在Mate Pad Pro的显示屏上执行的操作可以被检测和接收。因此,Mate Pad Pro从出厂就存储有第一代M-pencil和第二代M-pencil的设备名称、设备型号、软件系统的版本信息、产品硬件信息等设备信息。
在本申请实施例的第一阶段,当平板设备10接收到手写笔20发送的握手数据之后,可以获取该握手数据包括的当前该手写笔20的设备名称、设备型号、软件系统的版本信息、产品硬件信息等设备信息,进而平板设备10将手写笔20的设备信息和自身存储的能够适配的手写笔的设备信息进行对比,即步骤402的“设备校验”过程。
一种可能的情况中,在步骤402中,当平板设备10检测到当前的手写笔20是能够适配的手写笔时,校验通过,即步骤403中,平板设备10可以向手写笔20返回的校验结果指示:该手写笔20的设备信息校验通过。
另一种可能的情况中,在步骤402中,当平板设备10检测到当前的手写笔20是不能够适配的手写笔时,校验不通过,即步骤403中,平板设备10可以向手写笔20返回的校验结果指示:该手写笔20的设备信息校验不通过。此时,当前的配对流程就可以终止,不会执行后续的其他步骤,或进入后续的蓝牙连接等其他阶段,此处不再赘述。
第二阶段:蓝牙信息传输阶段
404,当平板设备10向手写笔20返回的设备校验的结果指示校验通过时,手写笔20向平板设备10发送手写笔20的蓝牙信息和笔端加速度传感器的数值信息。
405,平板设备10根据接收的蓝牙信息,进行蓝牙信息校验。
406,平板设备10向手写笔20返回蓝牙信息校验的结果。
应理解,在本申请实施例中,平板设备10和手写笔20都包括集成了具有蓝牙功能的蓝牙模块,用于通过蓝牙传输的方式进行通信。可选地,该蓝牙模块可以包括芯片、电路集合和其他外围器件等,此处不再赘述。
可选地,该蓝牙模块可以包括经典蓝牙(bluetooth,BT)模块,或者低功耗蓝牙模块(bluetooth low energy module,BLE),本申请实施例对蓝牙模块的实现形式不作限定。
还应理解,在本申请实施例中,“手写笔20的蓝牙信息”可以包括该手写笔20的蓝牙协议信息、无线信息、蓝牙连接时的媒体访问控制(media access control,MAC)地址信息、互联网协议地址(Internet protocol address,IP address)等与蓝牙连接相关的信息,本申请实施例称为“蓝牙信息”,该“蓝牙信息”可以用于支持平板设备10和手写笔20建立蓝牙通道,本申请实施例对“蓝牙信息”的具体内容不作限定。
示例性的,当该蓝牙模块为BLE模块时,步骤404中,手写笔20向平板设备10发送手写笔20的“蓝牙信息”可以包括BLE-MAC地址信息、BLE-model信息等,本申请实施例对此不作限定。
在本申请实施例的第二阶段,当平板设备10接收到手写笔20发送的蓝牙信息之后,可以获取该手写笔20的BLE-MAC地址信息、BLE-model信息等蓝牙信息,进而平板设备10将BLE-MAC地址信息、BLE-model信息等蓝牙信息和自身存储的能够适配的手写笔20对应的蓝牙信息进行对比,即步骤405的“蓝牙信息校验”过程。
一种可能的情况中,第二阶段的步骤405中,平板设备10确定手写笔20的BLE-MAC地址信息、BLE-model信息等蓝牙信息校验通过后,可以在步骤406中向手写笔20返回蓝牙信息校验的结果,该蓝牙信息校验的结果用于指示:该手写笔20的蓝牙信息校验通过。
另一种可能的情况中,第二阶段的步骤405中,平板设备10确定手写笔20的BLE-MAC地址信息、BLE-model信息等蓝牙信息校验不通过时,可以在步骤406中向手写笔20返回蓝牙信息校验的结果,该蓝牙信息校验的结果用于指示:该手写笔20的蓝牙信息校验不通过。此时,当前的蓝牙信息传输阶段就可以终止,不会进入后续的蓝牙连接等其他阶段,或执行后续的其他步骤,此处不再赘述。
一种可能的实现方式中,在本申请实施例的第二阶段的步骤404中,手写笔20向平板设备10发送的信息除了包括手写笔20的蓝牙信息之外,还可以将笔端加速度传感器的数值信息也发送给平板设备10,该笔端加速度传感器的数值信息可以用于平板设备10判断手写笔20笔尖的实际朝向。
应理解,同时将手写笔20的蓝牙信息和笔端加速度传感器的数值信息发送给平板设备10,该手写笔20的笔端加速度传感器的数值信息的数据量也是极小的,可以和手写笔20的蓝牙信息组合生成新的信息,较小的数据量能够通过现有的无线透传的方式传输到平板设备10,且不会增加无线透传的数据量。此外,平板设备10如何根据笔端加速度传感器的数值信息判断手写笔20笔尖的实际朝向,将在后续的第三阶段(步骤407等)进行详细的介绍。
通过上述两个阶段的校验过程,可以确保通过设备校验和蓝牙信息校验的手写笔20即为能够匹配平板设备10且能够与平板设备10进行蓝牙连接的设备,当设备校验和蓝牙信息校验都通过时,可以继续进行以下第三阶段的流程。
第三阶段:弹窗阶段
407,当蓝牙信息校验的结果指示校验通过时,平板设备10根据笔端加速度传感器的数值判断手写笔笔尖的实际朝向。
可选地,平板设备10的加速度传感器和手写笔20的加速度传感器可以都是三轴传感器,可以分别称为“平板设备10的三轴传感器”、“手写笔20的笔端三轴传感器”,本申请实施例对加速度传感器的类型不作限定。
应理解,对于平板设备10和手写笔20来说,加速度传感器的安装位置是固定的,即加速度传感器在工作过程中获取的加速度值所对应的坐标系也是固定的。那么,在实际使用平板设备10的过程中,不论平板设备10如何放置,例如横向放置、倾斜放置、倒立放置等,当手写笔20吸附到平板设备10的长边框之后,平板设备10和手写笔20的位置是相对固定的,即平板设备10的加速度传感器和手写笔20的加速度传感器的位置也是相对固定的,换言之,在坐标轴的每一个方向上的加速度的大小也是固定的。因此,可以通过每一个方向上的加速度的相对值判断手写笔20笔尖的实际朝向。
示例性的,在本申请实施例中,“每一个方向上的加速度的相对值”可以理解为:在该方向上,平板设备10的加速度数值减去手写笔20的加速度数值所得到的差值。可选地,该差值(即该方向上加速度的“相对值”)可能为正数,也可能为负数,也可能为0,平板设备10可以根据每一个方向上的加速度的相对值判断手写笔20笔尖的实际朝向。
图5是本申请实施例提供的手写笔和平板设备的加速度传感器的工作原理示意图,下面结合图5介绍加速度传感器的工作过程。
示例性的,如图5中的(a)图所示,假设平板设备10的加速度传感器的安装位置在O1处,即加速度传感器的重心(几何中心)的位置为O1,且平板设备10的加速度传感器位置固定后,确定如图5中的(a)图所示的坐标系O1-X1Y1Z1。假设手写笔20的加速度传感器的安装位置在O2处,即加速度传感器的重心(几何中心)的位置为O2,且手写笔20的加速度传感器位置固定后,确定如图所示的坐标系O2-X2Y2Z2
其中,将“平板设备10的显示屏面向用户,以长边框所在直线为水平参考线,短边框所在直线为竖直参考线,且平板设备10的摄像头位于显示屏的左上角时”的摆放位置为基准位置,可以称为“正向位置”,如图5中的(a)图或(b)图所示的平板设备10处于正向位置。
假设平板设备10为正向位置时,在平板设备10的加速度传感器确定的坐标系O1-X1Y1Z1中,如图5中的(a)图所示,X1轴为平行于平板设备10的长边框且指向长边框的右侧,Z1轴为平行于平板设备10的短边框且指向平板设备显示屏的上方,Y1轴为垂直于平板设备10的显示屏所在的平面且指向显示屏的外侧。其中,X1轴和Z1轴形成的平面为平板设备10的显示屏所在的平面,Y1轴所在直线垂直于平板设备10的显示屏所在的平面。
相应地,将“平板设备10为正向位置时,手写笔20吸附在平板设备10的长边框,且手写笔20笔尖朝向摄像头的位置”的摆放位置称为手写笔20的“正向位置”,如图5中的(a)图所示的手写笔20的当前位置即为正向位置。
假设手写笔20为正向位置且吸附在平板设备10上,在手写笔20的加速度传感器确定的坐标系O2-X2Y2Z2中,如图5中的(a)图所示,X2轴为平行于手写笔20的中轴线且指向手写笔20远离笔尖的一端(笔尖的对端),Z2轴为平行于手写笔20吸附的平板设备10的短边框且指向平板设备10长边框的外侧,Y2轴为垂直于平板设备10的显示屏所在的平面且指向显示屏的外侧(或者说指向显示屏的正上方)。其中,X2轴和Z2轴形成的平面和平板设备10的显示屏所在的平面为同一个平面,或者显示屏所在平面的平行平面,Y2轴所在直线垂直于平板设备10的显示屏所在的平面。
由上述介绍的坐标系O1-X1Y1Z1和坐标系O2-X2Y2Z2可知,在图5中的(a)图所示的场景中,X1轴和X2轴的方向一致,Z1轴和Z2轴的方向一致,Y1轴和Y2轴的方向一致。
示例性的,当用户将手写笔20无限靠近于平板设备10,并按照图5中的(a)图所示的方向,将手写笔20吸附在平板设备10的长边框。假设通过第一阶段的步骤403,平板设备10已经向手写笔20返回了设备校验通过的结果,在第二阶段的步骤404中,手写笔20向平板设备10发送手写笔20的蓝牙信息的同时,可以将手写笔20当前的笔端加速度传感器的加速度数值也发送给平板设备10,平板设备10可以根据手写笔20的笔端加速度和自身的加速度传感器的数值计算每一个方向上的加速度的相对值,进而根据三个方向上的加速度的相对值判断手写笔20笔尖的实际朝向。
表1是本申请实施例列举的一例手写笔20和平板设备10的加速度传感器输出的加速度数值。
示例性的,当手写笔20以图5中的(a)图所示的位置关系吸附在平板设备10的长边框时,如表1所示,假设平板设备10的加速度传感器输出的加速度数值为ax、ay和az,且平板设备10根据步骤404中获取的手写笔20的加速度数值为ax、ay和az,计算得到X轴方向上加速度的相对值为0,Y轴方向上加速度的相对值为0,Z轴方向上加速度的相对值为0,可以确定图5中的(a)图所示的位置关系中,手写笔20笔尖的实际朝向为沿着平板设备10的长边框且指向左侧方向。
应理解,如果每一个方向上的加速度的相对值如表1列举的都为0,可以确定每一个方向上的加速度的方向相同,即X1轴和X2轴的方向一致,Z1轴和Z2轴的方向一致,Y1轴和Y2轴的方向一致。那么,手写笔20和平板设备10都为前述假设的“正向位置”,平板设备10可以确定图5中的(a)图所示的场景中,手写笔20笔尖的实际朝向平行于长边框且指向左侧。
表1
Figure BDA0003334746230000211
表2是本申请实施例列举的另一例手写笔20和平板设备10的加速度传感器输出的加速度数值。
示例性的,当手写笔20以图5中的(b)图所示的位置关系吸附在平板设备10的长边框时,如表2所示,假设平板设备10的加速度传感器输出的加速度数值为ax、ay和az,且平板设备10根据步骤404中获取的手写笔20的加速度数值为-ax、-ay和az,计算得到X轴方向上加速度的相对值为2ax,Y轴方向上加速度的相对值为2ay,Z轴方向上加速度的相对值为0,可以确定图5中的(b)图所示的位置关系中,手写笔20笔尖的实际朝向为沿着平板设备10的长边框且指向右侧方向。
应理解,如果每一个方向上的加速度的相对值如表2列举的仅有一个方向上为0,两个方向上的加速度的相对值不为0且相对值的数值大小为加速度数值的2倍,那么平板设备10可以确定两个方向上的加速度的方向相反,即X1轴和X2轴的方向相反,Y1轴和Y2轴的方向相反,Z1轴和Z2轴的方向一致。那么,手写笔20从“正向位置”开始,在X2轴和Y2轴确定的平面上旋转了180°,平板设备10可以确定图5中的(b)图所示的场景中,手写笔20笔尖的实际朝向平行于长边框且指向右侧。
表2
Figure BDA0003334746230000221
通过上述过程,根据每一个坐标轴的方向上,手写笔20的笔端加速度传感器的加速度数值与平板设备10自身的加速度传感器输出的加速度数值之间的相对值,平板设备10能够判断手写笔20笔尖的实际朝向,从而能够进一步执行步骤408的过程,根据手写笔20笔尖的实际朝向为当前手写笔20匹配目标图片。
另一种可能的场景中,如果手写笔20的笔端加速度传感器的加速度数值并没有传输到平板设备10侧,或者手写笔20的笔端加速度传感器的加速度数值传输失败时,本申请实施例还提供另一种可能的方法,平板设备10可以通过霍尔传感器的工作状态来判断手写笔20笔尖的实际朝向。
应理解,在本申请实施例中,平板设备10和手写笔20上都安装有霍尔传感器,霍尔传感器可以由霍尔元件和附属电路等组成。一方面,平板设备10和手写笔20上的霍尔传感器能够监测磁场的变化,另一方面,平板设备10和手写笔20上的霍尔传感器还可以作为开关,能够自动控制平板设备10和手写笔20之间的信息交互(开始发送握手数据等)流程。
示例性的,平板设备10和手写笔20上都包括一个或多个霍尔传感器,当平板设备10和手写笔20之间的距离小于或等于预设距离时,平板设备10的霍尔传感器和手写笔20的霍尔传感器开始工作,接通相关电路并触发手写笔20开始通过无线透传的方式向平板设备10发送握手数据。由此可知,平板设备10和手写笔20的霍尔传感器可以理解为能够自动控制平板设备10和手写笔20之间信息交互的开关。
还应理解,手写笔20主要依靠磁吸模块的强力吸附功能,吸附在平板设备10的侧边框的固定位置处。可选地,平板设备10和手写笔20之间的磁吸模块可以是一组磁铁,本申请实施例对此不作限定。
图6是一例手写笔吸附在平板设备的侧边框时霍尔传感器的工作示意图。
示例性的,如图6中的(a)图所示,平板设备10和手写笔20之间包括磁吸模块30,该磁吸模块30至少包括安装在手写笔20固定位置的第一部分,和安装在平板设备10的固定位置的第二部分。其中,该第一部分和第二部分可以靠近并吸附在一起,从而确保手写笔20可以吸附在平板设备10的边框的固定位置,而不会发生错位的情况。
一种可能的场景中,当手写笔20以图6中的(a)图所示的位置关系吸附在平板设备10的长边框时,该磁吸模块30的第一部分和第二部分吸附在一起,手写笔20的霍尔传感器1和平板设备10的霍尔传感器2之间的距离小于或等于预设距离,从而触发霍尔传感器1和霍尔传感器2进入工作状态,即霍尔传感器1和霍尔传感器2接通相关的控制电路,自动控制手写笔20开始向平板设备10发送握手数据,且平板设备10的霍尔传感器3处于非工作状态(空闲态),或者,平板设备10的霍尔传感器3不作为开关器件参与到该过程中。
另一种可能的场景中,当手写笔20以图6中的(b)图所示的位置关系吸附在平板设备10的长边框时,该磁吸模块30的第一部分和第二部分吸附在一起,手写笔20的霍尔传感器1和平板设备10的霍尔传感器3之间的距离小于或等于预设距离,从而触发霍尔传感器1和霍尔传感器3进入工作状态,即霍尔传感器1和霍尔传感器3接通相关的控制电路,自动控制手写笔20开始向平板设备10发送握手数据,且平板设备10的霍尔传感器2处于非工作状态(空闲态),或者,平板设备10的霍尔传感器2不作为开关器件参与到该过程中。
应理解,对于上述可能的场景,不论哪一个霍尔传感器处于工作状态,平板设备10都可以准确获取每一个霍尔传感器的工作状态,再根据每一个霍尔传感器的工作状态来判断手写笔20笔尖的实际朝向。
示例性的,表3是本申请实施例列举的一例手写笔20和平板设备10的霍尔传感器的工作状态示意。示例性的,如表3所示,当任意一个霍尔传感器处于工作状态时,记作“1”,当某个霍尔传感器处于空闲状态时,记作“0”。平板设备10可以根据自身的霍尔传感器的工作状态判断手写笔20笔尖的实际朝向。
表3
Figure BDA0003334746230000231
通过上述方案,平板设备10能够根据手写笔20发送的笔端加速度传感器的加速度数值与平板设备10自身的加速度传感器输出的加速度数值之间的相对值,判断手写笔20笔尖的实际朝向;或者,当平板设备10无法获取手写笔20的笔端加速度传感器的加速度数值或者没有接收到手写笔20的笔端加速度传感器的加速度数值时,还能够根据霍尔传感器的吸附状态以及工作状态等,实时判断手写笔20笔尖的实际朝向,从而能够进一步执行步骤408的过程,根据手写笔20笔尖的实际朝向为当前手写笔20匹配目标图片。
408,平板设备10根据手写笔笔尖的实际朝向,确定匹配笔尖的实际朝向的手写笔的目标图片。
409,平板设备10获取手写笔的目标图片,并弹窗显示该手写笔的目标图片。
一种可能的实现方式中,平板设备10本地可以存储有手写笔图片库,该手写笔图片库可以包括多张不同厂家、不同型号、不同样式、不同类型、不同笔尖朝向的手写笔图片。或者说,不同厂家、不同型号的手写笔,都配置多张不同的图片,组成了手写笔图片库,平板设备10可以选择相匹配的目标图片。
可选地,在本申请实施例中,首先,平板设备10可以根据第一阶段获取的手写笔20的设备信息,从手写笔图片库中包括的不同厂家、不同型号的多张手写笔图片中,选择和当前的手写笔20的生产厂家、产品型号一致的多张图片。其次,平板设备10可以根据步骤407中确定的笔尖实际朝向,继续从多张手写笔图片中选择与笔尖的实际朝向相匹配的手写笔图片作为“目标图片”。
应理解,平板设备10最终确定的“目标图片”是跟当前的手写笔20的生产厂家、产品型号、手写笔笔尖的实际朝向都一致的图片,该目标图片可以包括生产厂家、产品型号等相关的信息,本申请实施例对此不作限定。另一种可能的实现方式中,平板设备10确定了手写笔20的笔尖实际朝向之后,可以向服务器发送请求消息,该请求消息用于请求获取手写笔图片,并在该请求消息中携带指示信息,用于指示手写笔20的笔尖实际朝向。服务器可以根据平板设备10发送的请求消息,从存储的手写笔图片资源的多张手写笔图片中选择与笔尖的实际朝向相匹配的手写笔图片作为“目标图片”,再将该“目标图片”返回给平板设备10。该本申请实施例对平板设备10获取手写笔的目标图片的方式不作限定。
可选地,该服务器可以是平板设备10对应的服务器,也可以是手写笔20对应的服务器,或者是某应用程序(例如第三方应用)对应的服务器,本申请实施例对此不作限定。
通过上述方法,电子设备在弹窗显示手写笔图片时,可以选择和手写笔笔尖的实际方向相匹配的图片,而不会单一显示笔尖方向唯一的预设图片;且手写笔图片的来源广泛,可以丰富了弹窗图片的内容和种类,大幅提升了使用手写笔过程中的用户体验。
可选地,当平板设备10获取了与该手写笔20笔尖的实际朝向相匹配的目标图片之后,可以在显示屏上自动弹出提示窗口,并在该提示窗口中显示该手写笔20的设备名称、目标图片、取消控件、连接控件中的一种或多种内容。
可选地,该提示窗口中还可以显示当前手写笔20的产品型号、生产厂家等内容,以及当前手写笔20的剩余电量、电池标识、充电进度条等内容中的至少一种,本申请实施例对该平板设备10弹出的提示窗口中显示的内容不作限定。其中,剩余电量可以以百分数的形式显示,用于提示用户当前手写笔的电量占据充满电状态的电量的百分比,为了简便,此处不再赘述。
可选地,平板设备10自动弹出提示窗口时,该提示窗口可以具有不同的样式、不同的尺寸,以及该提示窗口可以具有不同的弹窗动画,本申请实施例对此不作限定。
图7是本申请实施例提供的一例手写笔吸附在平板设备侧边框时的弹窗示意图。
一种可能的场景中,当平板设备10显示如图7中的(a)图所示的界面701时,如果用户直接将手写笔20吸附到平板设备10的上方长边框的目标位置,可以触发手写笔20和平板设备10进行配对,并执行了前述介绍的手写笔20的吸附过程以及配对流程,平板设备10的界面701上可以自动弹出提示窗口701-1。
示例性的,该提示窗口701-1的显示位置可以根据手写笔20吸附的目标位置来确定,例如,紧靠手写笔20吸附的显示屏下方的长边框,显示如图7中的(a)图所示。此外,该提示窗口701-1可以显示手写笔20的目标图片、手写笔20的设备名称(HUAWEI M-Pencil)、“取消”控件、“连接”控件。
另一种可能的场景中,如果用户直接将手写笔20吸附到平板设备10的下方长边框的目标位置,可以触发手写笔20和平板设备10进行配对,并执行了前述介绍的手写笔20的吸附过程以及配对流程,平板设备10的界面702上可以自动弹出提示窗口702-1。
示例性的,该提示窗口702-1的显示位置可以根据手写笔20吸附的目标位置来确定,例如,紧靠手写笔20吸附的显示屏下方的长边框,显示如图7中的(b)图所示。
此外,由于该提示窗口702-1紧靠在显示屏下方的长边框,可能容易遮挡应用程序的图标,相应地,平板设备10还可以自动调节该提示窗口702-1的颜色、透明度、图片风格等,以更适应显示屏上不同的显示风格,此处不再一一赘述。
对比与图1中的(b)图,通过本申请实施例介绍的检测手写笔笔尖方向的方法,在图7中的(b)图中,显示的手写笔20的预设图片可以和手写笔20笔尖的实际朝向保持一致,提高了用户的视觉体验。
又一种可能的场景中,如果用户将手写笔20吸附到平板设备10的左侧短边框的目标位置,可以触发手写笔20和平板设备10进行配对,平板设备10的界面703上可以自动弹出提示窗口703-1。
示例性的,该提示窗口703-1的显示位置可以根据手写笔400吸附的目标位置来确定,例如,紧靠手写笔400吸附的显示屏左侧的短边框,显示如图7中的(c)图所示。此外,该提示窗口703-1可以显示手写笔20的目标图片、手写笔20的设备名称(HUAWEI M-Pencil)、“取消”控件、“连接”控件。
此外,平板设备10还可以自动调整提示窗口703-1的大小。例如,图7中的(c)图的提示窗口703-1可以紧靠显示屏的短边框且为尺寸较小的纵向窗口。平板设备10还可以调整提示窗口703-1内的布局,例如调整手写笔20的预设图片的尺寸、取消控件、连接控件的尺寸,本申请实施例对此不作限定。
再一种可能的场景中,如果用户将手写笔20吸附到平板设备10的右侧短边框的目标位置,可以触发手写笔20和平板设备10进行配对,平板设备10的界面704上可以自动弹出提示窗口704-1。
示例性的,该提示窗口704-1的显示位置还可以默认为如图7中的(d)图所示的居中显示,便于用户查看该提示窗口,以及对该提示窗口执行操作。此外,该提示窗口704-1可以显示手写笔20的目标图片、手写笔20的设备名称(HUAWEI M-Pencil)、“取消”控件、“连接”控件,平板设备10可以对该提示窗口704-1的内容布局做适当的修改,本申请实施例对此不作赘述。
一种可能的实现方式中,平板设备10在弹出提示窗口(例如提示窗口701-1、提示窗口702-1、提示窗口703-1和提示窗口704-1)的过程中,可以在弹出该提示窗口的过程也增加相应的显示效果。可选地,该提示窗口的显示可以具有静态显示效果,或者具有动态显示效果,即弹窗过程也具有动态播放效果。
示例性的,例如该提示窗口可以在显示屏由上到下、由下到上、按照一定的轨迹等移动,或者该提示窗口可以以百叶窗、菱形格等方式出现在显示屏上,本申请实施例对该提示窗口可能具有的动态播放效果不作限定。
可选地,该动画效果可以匹配手写笔20的笔尖加速度,例如,该提示窗口可以以一定的速率在平板设备10的显示屏上移动。或者,该动画效果可以匹配用户的使用习惯,例如,该提示窗口被用户设定为闪烁式出现、弹跳式出现等。又或者,平板设备10的弹窗过程以默认的多种可能的动画效果来呈现,本申请实施例对此不作限定。
可选地,该弹窗过程可以伴随着提示窗口内手写笔的目标图片的尺寸大小、透明度等动态变化过程,例如,手写笔的目标图片的尺寸大小可以随着播放窗口的增大而放大显示,或者随着播放窗口的缩小而缩小显示,该弹窗过程的动画效果可以进一步为用户提供一种连贯的沉浸式体验,提高了用户的视觉体验。
另一种可能的实现方式中,本申请实施例的“手写笔的目标图片”可以是一张图片,或者多张图片。示例性的,当“手写笔的目标图片”是多张图片时,可以在弹出提示窗口的过程中轮流更换多张手写笔的目标图片,例如多张图片中每一张图片显示固定时长,从而使得提示窗口内部也具有动态播放的显示效果,本申请实施例对此不作限定。
通过上述实现方式,本申请实施例可以为用户提供多种可能的提示窗口的显示效果,例如弹窗的动画、提示窗口在显示屏上的变化过程、提示窗口内部的图片显示效果等,丰富了窗口内容,提高了用户的视觉体验。
410,根据用户的操作,确定是否建立蓝牙连接。
可选地,对于平板设备10的显示屏上弹出的提示窗口,该提示窗口包括手写笔20的预设图片、手写笔20的设备名称、“取消”控件、“连接”控件等。用户可以根据自己的需求,在该提示窗口中,点击“连接”控件,以进一步触发手写笔20和平板设备10建立蓝牙连接;或者,在该提示窗口中,点击“取消”控件,中断手写笔20和平板设备10建立蓝牙连接的流程,为了简便,此处不再一一赘述。
综上所述,通过本申请实施例介绍的检测手写笔20笔尖方向的方法,手写笔20能够向平板设备10发送每一个坐标轴的方向上笔端加速度传感器的加速度数值,由平板设备10根据手写笔20上报的加速度数值与平板设备10自身的加速度传感器输出的加速度数值之间的相对值,判断手写笔20笔尖的实际朝向,从而使得平板设备10能够根据手写笔20笔尖的实际朝向为当前手写笔20匹配目标图片。
或者,如果手写笔20的笔端加速度传感器的加速度数值并没有传输到平板设备10侧,或者手写笔20的笔端加速度传感器的加速度数值传输失败时,本申请实施例中,平板设备10还能够实现通过霍尔传感器的工作状态来判断手写笔20笔尖的实际朝向,从而使得平板设备10能够根据手写笔20笔尖的实际朝向为当前手写笔20匹配目标图片。
上述实现过程,当手写笔吸附在平板设备的边框并和电子设备配对时,平板设备可以准确判断手写笔笔尖的实际朝向,避免了手写笔吸附时,平板设备无法识别手写笔笔尖的方向的问题;此外,平板设备在弹窗显示手写笔图片时,可以选择和手写笔笔尖的实际方向相匹配的图片,而不会单一显示笔尖方向唯一的预设图片,丰富了弹窗图片的内容和种类,大幅提升了使用手写笔过程中的用户体验。
需要说明的是,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
应理解,本申请实施例中的方式、情况、类别以及实施例的划分仅是为了描述的方便,不应构成特别的限定,各种方式、类别、情况以及实施例中的特征在不矛盾的情况下可以相结合。
还应理解,本申请实施例中的术语“第一”、“第二”以及“第三”仅为了区分,不应对本申请构成任何限定。例如,“第一操作”、“第二操作”等,表示用户在电子设备的触摸屏上执行的不同操作。
还应理解,在本申请的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
还需要说明的是,本申请实施例中,“预设”、“固定值”等可以通过在电子设备(例如发送端设备和接收端设备等)中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现,本申请对于其具体的实现方式不做限定。例如,本申请实施例中“预设距离”、“预设时长”等。
可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本实施例可以根据上述方法示例对电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是,本实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下,上述实施例中涉及的电子设备的一种可能的组成示意图,该电子设备可以包括:显示单元、检测单元和处理单元。其中,显示单元、检测单元和处理单元相互配合,可以用于支持电子设备执行上述步骤等,和/或用于本文所描述的技术的其他过程。
需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
本实施例提供的电子设备,用于执行上述视频播放的方法,因此可以达到与上述实现方法相同的效果。
在采用集成的单元的情况下,电子设备可以包括处理模块、存储模块和通信模块。其中,处理模块可以用于对电子设备的动作进行控制管理,例如,可以用于支持电子设备执行上述显示单元、检测单元和处理单元执行的步骤。存储模块可以用于支持电子设备执行存储程序代码和数据等。通信模块,可以用于支持电子设备与其他设备的通信。
其中,处理模块可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,数字信号处理(digital signal processing,DSP)和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、Wi-Fi芯片等与其他电子设备交互的设备。
在一个实施例中,当处理模块为处理器,存储模块为存储器时,本实施例所涉及的电子设备可以为具有图2所示结构的设备。
本实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的检测手写笔笔尖方向的方法。
本实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中的检测手写笔笔尖方向的方法。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的检测手写笔笔尖方向的方法。
其中,本实施例提供的电子设备、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种检测手写笔笔尖方向的方法,其特征在于,应用于包括显示屏的电子设备,所述电子设备能够支持手写笔作为所述电子设备的输入设备,所述方法包括:
当所述手写笔吸附到所述电子设备的目标边框的预设位置时,接收所述手写笔发送的包括所述手写笔在第一轴线方向上的加速度、第二轴线方向上的加速度和第三轴线方向上的加速度的信息,其中,所述第一轴线平行于所述目标边框,所述第二轴线平行于所述目标边框的相邻边框,所述第三轴线垂直于所述第一轴线和所述第二轴线确定的平面;
获取所述电子设备在所述第一轴线方向上的加速度、所述第二轴线方向上的加速度和所述第三轴线方向上的加速度;
分别在所述第一轴线方向、所述第二轴线方向、所述第三轴线方向上,计算所述手写笔的加速度和所述电子设备的加速度的相对值,并确定所述手写笔笔尖的实际方向;
根据所述手写笔笔尖的实际方向,确定所述手写笔的目标图片,所述手写笔的目标图片中显示的手写笔笔尖的方向和所述手写笔笔尖的实际方向相同;
在所述显示屏上显示提示窗口,所述提示窗口中显示所述手写笔的目标图片。
2.根据权利要求1所述的方法,其特征在于,所述分别在所述第一轴线方向、所述第二轴线方向、所述第三轴线方向上,计算所述手写笔的加速度和所述电子设备的加速度的相对值,并确定所述手写笔笔尖的实际方向,包括:
分别在所述第一轴线方向、所述第二轴线方向、所述第三轴线方向上,将所述手写笔的加速度和所述电子设备的加速度的差值,确定为所述手写笔的加速度和所述电子设备的加速度的相对值;
当所述第一轴线方向、所述第二轴线方向、所述第三轴线方向上,所述手写笔的加速度和所述电子设备的加速度的相对值都为0时,确定所述手写笔笔尖的实际方向为所述第一轴线方向;
当所述第一轴线方向和所述第三轴线方向上,所述手写笔的加速度和所述电子设备的加速度的相对值不为0时,确定所述手写笔笔尖的实际方向为所述第一轴线方向的相反方向。
3.根据权利要求1或2所述的方法,其特征在于,所述电子设备还包括一个或多个磁吸模块、多个霍尔传感器,所述磁吸模块用于将所述手写笔吸附到所述目标边框的预设位置,且每一个磁吸模块的两侧分别设置有至少一个霍尔传感器,所述方法还包括:
获取所述多个霍尔传感器中每一个霍尔传感器的工作状态信息;
根据所述多个霍尔传感器中每一个霍尔传感器的工作状态信息,确定所述手写笔笔尖的实际方向。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述提示窗口中还用于显示所述手写笔的设备名称、产品型号、生产厂家、当前手写笔的剩余电量、电池标识、充电进度条、取消控件、连接控件中的一种或多种。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述在所述显示屏上显示提示窗口,包括:
根据所述手写笔笔尖的实际方向,和/或所述手写笔在所述第一轴线方向上的加速度,和/或所述手写笔在所述第二轴线方向上的加速度,和/或所述手写笔在所述第三轴线方向上的加速度,和/或所述手写笔的目标图片包含的图片数量,和/或预设的多种弹窗效果,确定目标显示效果;
按照所述目标显示效果,在所述显示屏上显示所述提示窗口。
6.根据权利要求1至5中任一项所述的方法,其特征在于,当所述手写笔的目标图片包括多张手写笔图片时,所述提示窗口中显示所述手写笔的目标图片,包括:
按照预设时长,所述提示窗口中依次显示所述多张手写笔图片中的每一张手写笔图片。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述电子设备存储有手写笔数据集,所述手写笔数据集包括能够和所述电子设备适配的一种或多种预设类型的手写笔的设备信息和蓝牙信息,所述方法还包括:
接收所述手写笔发送的设备信息,根据所述手写笔数据集和所述设备信息对所述手写笔进行设备校验;和/或
接收所述手写笔发送的蓝牙信息,根据所述手写笔数据集和所述蓝牙信息对所述手写笔进行蓝牙校验。
8.一种电子设备,其特征在于,包括:
显示屏;
加速度传感器、惯性检测单元IMU、陀螺仪中的一种或多种传感器;
一个或多个处理器;
一个或多个存储器;
安装有多个应用程序的模块;
所述存储器存储有一个或多个程序,当所述一个或者多个程序被所述处理器执行时,使得所述电子设备执行如权利要求1至7中任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1至7中任一项所述的方法。
10.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1至7中任一项所述的方法。
CN202111297664.5A 2021-11-02 2021-11-02 一种检测手写笔笔尖方向的方法、电子设备及手写笔 Active CN114217699B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202311243500.3A CN117707349A (zh) 2021-11-02 2021-11-02 一种检测手写笔笔尖方向的方法、电子设备及手写笔
CN202111297664.5A CN114217699B (zh) 2021-11-02 2021-11-02 一种检测手写笔笔尖方向的方法、电子设备及手写笔

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111297664.5A CN114217699B (zh) 2021-11-02 2021-11-02 一种检测手写笔笔尖方向的方法、电子设备及手写笔

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311243500.3A Division CN117707349A (zh) 2021-11-02 2021-11-02 一种检测手写笔笔尖方向的方法、电子设备及手写笔

Publications (2)

Publication Number Publication Date
CN114217699A true CN114217699A (zh) 2022-03-22
CN114217699B CN114217699B (zh) 2023-10-20

Family

ID=80696510

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111297664.5A Active CN114217699B (zh) 2021-11-02 2021-11-02 一种检测手写笔笔尖方向的方法、电子设备及手写笔
CN202311243500.3A Pending CN117707349A (zh) 2021-11-02 2021-11-02 一种检测手写笔笔尖方向的方法、电子设备及手写笔

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311243500.3A Pending CN117707349A (zh) 2021-11-02 2021-11-02 一种检测手写笔笔尖方向的方法、电子设备及手写笔

Country Status (1)

Country Link
CN (2) CN114217699B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115431660A (zh) * 2022-09-06 2022-12-06 福州笔姿科技有限公司 一种握笔朝向识别的方法
CN115543106A (zh) * 2022-04-06 2022-12-30 荣耀终端有限公司 一种手写笔的吸附检测系统
CN116247837A (zh) * 2023-05-08 2023-06-09 荣耀终端有限公司 无线充电系统、方法和相关设备
CN116679243A (zh) * 2022-12-12 2023-09-01 荣耀终端有限公司 检测方法、可读存储介质、程序产品和电子设备
WO2023193496A1 (zh) * 2022-04-06 2023-10-12 荣耀终端有限公司 配件在位检测系统
WO2023193494A1 (zh) * 2022-04-06 2023-10-12 荣耀终端有限公司 配件检测系统
CN117130496A (zh) * 2023-04-24 2023-11-28 荣耀终端有限公司 手写笔偏移检测方法及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140210744A1 (en) * 2013-01-29 2014-07-31 Yoomee SONG Mobile terminal and controlling method thereof
US20160054821A1 (en) * 2014-08-21 2016-02-25 Samsung Electronics Co., Ltd. Electronic device and method for operating electronic device by electronic pen
WO2020090317A1 (ja) * 2018-10-29 2020-05-07 京セラ株式会社 情報表示装置、電子機器、電子ペン、システム、方法、及びプログラム
CN113115294A (zh) * 2021-04-22 2021-07-13 荣耀终端有限公司 一种手写笔连接方法及蓝牙系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140210744A1 (en) * 2013-01-29 2014-07-31 Yoomee SONG Mobile terminal and controlling method thereof
US20160054821A1 (en) * 2014-08-21 2016-02-25 Samsung Electronics Co., Ltd. Electronic device and method for operating electronic device by electronic pen
WO2020090317A1 (ja) * 2018-10-29 2020-05-07 京セラ株式会社 情報表示装置、電子機器、電子ペン、システム、方法、及びプログラム
CN113115294A (zh) * 2021-04-22 2021-07-13 荣耀终端有限公司 一种手写笔连接方法及蓝牙系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115543106A (zh) * 2022-04-06 2022-12-30 荣耀终端有限公司 一种手写笔的吸附检测系统
WO2023193496A1 (zh) * 2022-04-06 2023-10-12 荣耀终端有限公司 配件在位检测系统
WO2023193494A1 (zh) * 2022-04-06 2023-10-12 荣耀终端有限公司 配件检测系统
CN116931746A (zh) * 2022-04-06 2023-10-24 荣耀终端有限公司 配件检测系统
CN117687522A (zh) * 2022-04-06 2024-03-12 荣耀终端有限公司 配件检测系统
CN115543106B (zh) * 2022-04-06 2024-04-19 荣耀终端有限公司 一种手写笔的吸附检测系统
CN115431660A (zh) * 2022-09-06 2022-12-06 福州笔姿科技有限公司 一种握笔朝向识别的方法
CN115431660B (zh) * 2022-09-06 2024-04-26 福州笔姿科技有限公司 一种握笔朝向识别的方法
CN116679243A (zh) * 2022-12-12 2023-09-01 荣耀终端有限公司 检测方法、可读存储介质、程序产品和电子设备
CN117130496A (zh) * 2023-04-24 2023-11-28 荣耀终端有限公司 手写笔偏移检测方法及电子设备
CN116247837A (zh) * 2023-05-08 2023-06-09 荣耀终端有限公司 无线充电系统、方法和相关设备
CN116247837B (zh) * 2023-05-08 2023-10-20 荣耀终端有限公司 无线充电系统、方法和相关设备

Also Published As

Publication number Publication date
CN114217699B (zh) 2023-10-20
CN117707349A (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN114217699B (zh) 一种检测手写笔笔尖方向的方法、电子设备及手写笔
CN112130742B (zh) 一种移动终端的全屏显示方法及设备
WO2020119493A1 (zh) 一种触摸屏的响应方法及电子设备
CN110543289B (zh) 控制音量的方法和电子设备
WO2021213164A1 (zh) 应用界面交互方法、电子设备和计算机可读存储介质
WO2021036770A1 (zh) 一种分屏处理方法及终端设备
CN112231025A (zh) Ui组件显示的方法及电子设备
WO2021008589A1 (zh) 一种应用的运行方法及电子设备
CN108717365B (zh) 在应用程序中执行功能的方法和装置
WO2022095744A1 (zh) Vr显示控制方法、电子设备及计算机可读存储介质
WO2022052712A1 (zh) 处理交互事件的方法和装置
CN113867848A (zh) 图形接口的调用方法、装置、设备及可读存储介质
WO2022105702A1 (zh) 保存图像的方法及电子设备
WO2022170856A1 (zh) 建立连接的方法与电子设备
CN110058729B (zh) 调节触摸检测的灵敏度的方法和电子设备
WO2022127130A1 (zh) 一种添加操作序列的方法、电子设备和系统
WO2021238740A1 (zh) 一种截屏方法及电子设备
CN115016697A (zh) 投屏方法、计算机设备、可读存储介质和程序产品
CN114090140A (zh) 基于指向操作的设备之间的交互方法及电子设备
CN115032640B (zh) 手势识别方法和终端设备
CN113380240B (zh) 语音交互方法和电子设备
WO2020233581A1 (zh) 一种测量高度的方法和电子设备
CN115543276A (zh) 一种用于实现软件开发的方法、系统以及电子设备
CN113741911A (zh) 功能包的加载方法、装置、服务器和电子设备
CN116048236B (zh) 通信方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant