CN112074799B - 书写工具侧装置 - Google Patents

书写工具侧装置 Download PDF

Info

Publication number
CN112074799B
CN112074799B CN201980029945.7A CN201980029945A CN112074799B CN 112074799 B CN112074799 B CN 112074799B CN 201980029945 A CN201980029945 A CN 201980029945A CN 112074799 B CN112074799 B CN 112074799B
Authority
CN
China
Prior art keywords
writing
writing instrument
value
behavior
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980029945.7A
Other languages
English (en)
Other versions
CN112074799A (zh
Inventor
中井信彦
山形润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kokuyo Co Ltd
Original Assignee
Kokuyo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kokuyo Co Ltd filed Critical Kokuyo Co Ltd
Publication of CN112074799A publication Critical patent/CN112074799A/zh
Application granted granted Critical
Publication of CN112074799B publication Critical patent/CN112074799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B43WRITING OR DRAWING IMPLEMENTS; BUREAU ACCESSORIES
    • B43KIMPLEMENTS FOR WRITING OR DRAWING
    • B43K29/00Combinations of writing implements with other articles
    • B43K29/08Combinations of writing implements with other articles with measuring, computing or indicating devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在附带于书写工具并取得与书写行为有关的数据的书写工具侧装置中,为了根据书写行为简便地对书写行为以外行为进行区别,构成了一种书写工具侧装置(1),其附带于书写工具,具备取得对书写工具的运动的加速度、速度或者位移进行计测的传感器的输出值或者基于该输出值运算得到的算出值来作为与书写行为有关的数据的检测部(101),所述检测部101在所述传感器的输出值或者基于该输出值运算得到的算出值为预定的上限值以上或者超过该上限值时,不将该上限值以上或者超过了该上限值的输出值或者算出值作为与书写行为有关的数据来取得。

Description

书写工具侧装置
技术领域
本发明涉及附带于书写工具并取得与使用了该书写工具的书写行为有关的数据的书写工具侧装置。
背景技术
对正在进行书写行为期间中的书写工具的笔尖的移动轨迹即笔迹进行计测的系统是公知的(参照下述专利文献1~3)。这种系统被用于如下用途:主要在办公室等对所书写的文字、所描绘的图形等进行数字数据化,并放入到智能手机、个人计算机等信息处理终端中。
另外,也已经存在能够安装于书写工具、对孩子等使用该书写工具来进行书写、学习的时间进行计测的计时装置(秒表)(参照下述专利文献4)。
考虑对书写工具附设能够对该书写工具的运动的加速度、速度或者位移进行计测的传感器、典型地为加速度传感器,经由该传感器收集与使用了书写工具的书写行为有关的数据、例如书写量、书写速度。在该情况下,传感器所检测的书写工具的运动不只是由书写行为引起的运动。特别是,孩子等偶尔会摇晃旋转书写工具、滚动书写工具来玩。由那样的行动引起的书写工具的运动也会被传感器捕捉,因此,只要不实施某种对策,就会在与书写行为有关的数据中混入错误。
为了将书写行为和书写以外的行为分开,在书写工具侧安装对在书写时施加于书写工具的笔尖的笔压进行感知的传感器、或者通过笔压进行切换的开关(参照下述专利文献4)也是一个方案。但是,会在用于取得与书写行为有关的数据的传感器之外追加新的传感器或者开关,会产生导致成本增大以及构造复杂化的不利。并且,也担心由于在书写时书写工具的轴筒或者握柄在轴线方向上位移,会给进行书写的用户带来违和感。
现有技术文献
专利文献1:日本特开2016-024504号公报
专利文献2:日本特开2004-274518号公报
专利文献3:日本特开2004-029915号公报
专利文献4:日本特许第5176046号公报
发明内容
发明要解决的技术问题
本发明的所期望的目的在于在附带于书写工具并取得与书写行为有关的数据的书写工具侧装置中根据书写行为简便地对书写行为以外的行为进行区别。
用于解决问题的技术方案
在本发明中构成了一种书写工具侧装置,附带于书写工具,具备检测部,所述检测部取得对书写工具的运动的加速度、速度或者位移进行计测的传感器的输出值或者基于该输出值运算得到的算出值来作为与书写行为有关的数据,所述检测部在所述传感器的输出值或者基于该输出值运算得到的算出值为预定的上限值以上或者超过该上限值时,不将该上限值以上或者超过了该上限值的输出值或者算出值作为与书写行为有关的数据来取得。此外,书写工具的运动有时包括绕轴的旋转,加速度有时是旋转的角加速度,速度有时是旋转的角速度,位移有时是旋转角度。
所述传感器例如对沿着相对于书写工具不动地设定且相互正交的三轴中的至少一个轴的方向的书写工具的运动的加速度、速度或者位移进行计测。并且,所述检测部在所述传感器的输出值或者基于该输出值运算得到的算出值为预定的上限值以上或者超过该上限值时,不将该上限值以上或者超过了该上限值的输出值或者算出值作为与书写行为有关的数据来取得。
或者,所述传感器对以相对于书写工具不动地设定且相互正交的三轴中的至少一个轴为中心的书写工具的旋转运动的加速度、速度或者位移进行计测。并且,所述检测部在所述传感器的输出值或者基于该输出值运算得到的算出值为预定的上限值以上或者超过该上限值时,不将该上限值以上或者超过了该上限值的输出值或者算出值作为与书写行为有关的数据来取得。
所述传感器有时具有三轴加速度传感器和三轴陀螺仪传感器的功能。
所述检测部例如取得书写行为的书写量和该书写行为中的书写速度来作为与书写行为有关的数据。
发明的效果
根据本发明,能够在附带于书写工具并取得与书写行为有关的数据的书写工具侧装置中根据书写行为简便地对书写行为以外的行为进行区别。
附图说明
图1是表示作为本发明的一实施方式的书写行为评价系统的要素的书写工具侧装置和信息处理终端的立体图。
图2是表示该实施方式的书写工具侧装置所具备的硬件资源的图。
图3是该实施方式的书写行为评价系统的功能框图。
图4是表示该实施方式的信息处理终端所具备的硬件资源的图。
图5是表示该实施方式的书写工具侧装置为了取得与书写行为有关的数据而执行的处理的步骤例的流程图。
图6是表示作为该实施方式的从书写工具侧装置向信息处理终端的与书写行为有关的数据的收发的执行开始条件而用户所进行的操作的图。
图7是该实施方式的书写工具侧装置和信息处理终端为了收发与书写行为有关的数据而执行的处理的步骤例的流程图。
图8是表示该实施方式的信息处理终端输出根据书写量和书写速度而不同的信息的例子的图。
图9是表示该实施方式的信息处理终端输出根据书写速度而不同的信息的例子的图。
标号说明
0 书写工具
1 书写工具侧装置
1d 加速度传感器
101 检测部
102 发送部
2 信息处理终端
201 接收部
202 信息输出部
21 根据书写行为中的书写量而不同的信息(树木)
22 根据书写行为中的书写速度而不同的信息(果实)
具体实施方式
参照附图对本发明的一实施方式进行说明。如图1所示,本实施方式中的书写行为评价系统将使用于书写行为的书写工具0所附带的书写工具侧装置1和能够与该书写工具侧装置1进行通信的信息处理终端2作为主要的构成要素。书写工具侧装置1承担取得与使用了书写工具0的书写行为有关的被定量化了的数据、例如书写行为中的书写量、书写速度的任务。信息处理终端2从书写工具侧装置1接收书写工具侧装置1所取得的与书写行为有关的数据,并且,以诉诸于用户的视觉或者听觉的方式输出与该数据相应的信息。
书写工具侧装置1能够后装于铅笔、自动铅笔、圆珠笔等这样的现成品的书写工具0。因此,在书写工具侧装置1的壳体设置有保持书写工具0的保持部11。保持部11例如为能够插通并保持书写工具0的插通孔,但也可以是如加入并夹持书写工具0、或者与书写工具0的外周嵌合的夹具、压板那样的部件。书写工具侧装置1的壳体有时具有被使用书写工具0来进行书写行为的用户的手指所把持的把持部12。在本实施方式中,使书写工具侧装置1为能够相对于书写工具0进行拆装,能够相对于几个书写工具0共同地使用该书写工具侧装置1。但是,并不妨碍书写工具侧装置1与书写工具0一体化而不能从书写工具0脱离、或者内置于书写工具0的方式。
如图2所示,书写工具侧装置1是具备处理器1a、主存储器1b、辅助存储设备1c、加速度传感器1d、通信接口1e、电池1f等硬件资源的微型计算机系统。辅助存储设备1c例如为闪速存储器。加速度传感器1d、例如是兼具三轴加速度传感器的功能和三轴旋转角速度传感器(陀螺仪传感器)的功能的所谓的六轴加速度传感器或者九轴加速度传感器,所述三轴加速度传感器是对沿着相互正交的X轴、Y轴以及Z轴这三个轴各自的方向的加速度进行计测,所述三轴旋转角速度传感器(陀螺仪传感器)对沿着绕X轴的θ方向、绕Y轴的方向以及绕Z轴的Ψ方向的各个旋转方向的角速度进行计测。通过加速度传感器1d能够检测书写工具0(的笔尖)的运动的加速度,能够通过加速度的时间积分或者反复地计测到的加速度的时间序列的累计来算出书写工具0的运动的速度,能够通过速度的时间积分或者反复地运算出的速度的时间序列的累计来算出书写工具0的运动的位移量。此外,九轴加速度传感器也具有用于获知东西南北的方位的三轴地磁传感器(电子罗盘)的功能,但该地磁传感器的功能不一定是必需的。
通信接口1e是用于在该书写工具侧装置1与外部的信息处理终端2之间进行数据通信的设备,例如包括用于实施经由了Bluetooth(注册商标)、无线LAN(Local AreaNetwork,本地局域网)、移动电话网、WiMAX(Worldwide Interoperability for MicrowaveAccess,全球互通微波访问)网等的无线通信的无线电收发机或者RFID(Radio FrequencyIdentification,射频标识)卡或芯片。电池1f提供上述硬件资源所需要的电力。此外,也可考虑代替电池1f或者与电池1f一起将发电装置安装于书写工具侧装置1,该发电装置是利用施加于书写工具侧装置1的运动(振动)或者对把持部12进行把持的用户的体温等来发电并进行电力供给或者充电的装置。
在书写工具侧装置1中,应该由处理器1a执行的程序保存于辅助存储设备1c,在执行程序时,被从辅助存储设备1c读入到主存储器1b,并由处理器1a进行解读。书写工具侧装置1按照程序来使上述硬件资源工作,发挥作为图3所示的检测部101和发送部102的功能。
信息处理终端2例如是通用的移动电话终端、特别是智能手机、个人计算机、电子游戏机等。如图4所示,信息处理终端2具备处理器2a、主存储器2b、辅助存储设备2c、视频编码器2d、音频编码器2e、通信接口2f、输入设备2g、显示器2h、语音输出设备2i、电池2j等硬件资源,这些硬件资源由控制器(系统控制器、I/O控制器等)2k控制来协同动作。辅助存储设备2c是闪速存储器、硬盘驱动器、光盘驱动器等。视频编码器2d将GPU(GraphicsProcessing Unit,图形处理单元)和视频存储器等作为要素,所述GPU生成应该根据通过处理器2a接受到的描绘指示来显示的画面,并向显示器2h送出该该画面信号,所述视频存储器暂时性地保存画面、图像的数据。音频编码器2e对被编码化的语音数据进行解码,使得从语音输出设备2i输出语音。视频编码器2d和音频编码器2e也可以不是作为硬件而分别作为软件来安装。
通信接口2f是用于供该信息处理终端2与包括书写工具侧装置1的外部的装置或者计算机之间进行数据通信的设备,例如包括用于实施经由了Bluetooth(注册商标)、无线LAN、便携电话网、WiMAX网等的无线通信的无线电收发机或者RFID卡读取器。输入设备2g是用户用手指进行操作的触摸面板(有时是与显示器2h重叠的部件)、按下按钮、鼠标、键盘等、或者用户通过嗓音输入指令的语音输入设备等。电池2j提供上述硬件资源所需要的电力。
在信息处理终端2中,应该由处理器2a执行的程序保存于辅助存储设备2c,在执行程序时,被从辅助存储设备2c读入到主存储器2b,由处理器2a进行解读。信息处理终端2按照程序来使上述硬件资源进行工作,发挥作为图3所示的接收部201和信息输出部202的功能。
以后对本系统的各部的功能进行详细的描述。书写工具侧装置1的检测部101利用加速度传感器1d,取得与用户使用了书写工具0的书写行为有关的被定量化后的数据。并且,将该数据存储并保持在主存储器1b或者辅助存储设备1c的所需要的存储区域。
在本实施方式中,与书写行为有关的数据包括用户的书写行为中的书写量以及该书写行为中的书写速度。书写量表示用户进行了书写行为的量。更具体而言,是进行了书写行为的时间的累计值、作为在书写行为中书写工具0的笔尖移动了的距离的位移量的累计值、书写了的笔画数或者书写了的文字数。可以说书写量越增加,则用户越熟练书写、或者学习训练的完成度越高。书写速度表示书写行为中的运笔的速度、在一定的时间内用户所书写的笔画数、文字数。更具体而言是书写行为中的书写工具0的笔尖的移动的角速度或者速度。可以说书写越快、也即是能越快地书写,则用户的动笔能力越高,越能够集中于学习等伴随着书写的作业。
对于通过书写工具侧装置1进行的与书写行为有关的数据的收集其自身,信息处理终端2不参与,不需要信息处理终端2的存在以及书写工具侧装置1与信息处理终端2的通信。
在图5中表示用于书写工具侧装置1的检测部101中的与书写行为有关的数据的取得处理的步骤。书写工具侧装置1的检测部101按每预定时间、例如每一帧(一帧为1/30秒或者1/60秒),经由加速度传感器1d得知三轴的加速度[X,Y,Z]以及绕三轴的旋转的角速度(步骤S1)。书写工具侧装置1固定于用户使用的书写工具0,加速度传感器1d所计测的加速度和角速度启示着该书写工具0(的笔尖)的运动的加速度和角速度。此时,加速度传感器1d的预定轴、例如Z轴被预先设定为与书写工具0的轴线方向、换言之书写工具0伸长的方向平行或者大致平行。
在步骤S1中取得的加速度和角速度既可以是加速度传感器1d输出的直接的值,也可以是基于加速度传感器1d的输出值运算而得到的算出值、即将加速度传感器1d输出的直接的值代入预定的函数式等而算出的值。例如设想为:在使加速度传感器1d的Z轴与书写工具0的轴伸长的方向一致的情况下,Z轴相对于在使用了该书写工具0的书写行为中被进行书写的书写面(被书写的纸等的面)大致正交,该书写工具0的笔尖在书写中在X轴方向和Y轴方向上位移。然而,无法保证Z轴与书写面总是正交,Z轴当然有可能相对于书写面倾斜。因此,为了精确地得知书写面上的笔尖移动的加速度、速度或者位移量,需要在基于作用于加速度传感器1d的重力来检测了Z轴相对于书写面即水平面的倾斜之后,将加速度传感器1d的直接的输出值[X,Y,Z]变换为修正倾斜后的加速度值[X’,Y’,Z’]。若在书写中作为书写工具0的轴的Z轴相对于书写面的角度为一定,则该修正倾斜后的加速度值[X’,Y’]成为书写面上的笔尖移动的加速度、也即是沿着与书写面平行且相互正交的两个轴的方向的加速度。并且,只要笔尖接近书写面接近或者不离开书写面,沿着Z’轴方向的加速度值就为0(Z’轴方向为与书写面正交的方向。当然,只要不一笔写成,笔尖有时会在Z’方向上位移)。
当然,在正在进行书写行为的期间中,书写工具0的轴的角度可能变化,因此,通过利用加速度传感器1d的作为角速度传感器的功能来对其角度变化即旋转进行检测,对修正倾斜后的加速度值[X’,Y’,Z’]进一步应用使得消除书写工具0的旋转的旋转矩阵,能够精度更好地算出书写面上的笔尖移动的加速度。
可是,对于与书写行为有关的数据的精度的要求不一定非常高。并且,现实的书写面不限于总是水平的,也有可能如大学的讲授室的桌子那样桌面稍稍倾斜,或者如在白板上书写的情况那样书写面为铅锤面。由此,不是必须对加速度传感器1d的输出值实施上述的修正。
在步骤S1中取得的加速度和角速度有时为对加速度传感器1d输出的直接的值实施了某种滤波处理后的加速度和角速度。在加速度传感器1d的输出值频繁地变动或者脉动的情况下,通过算出加速度传感器1d的输出值的移动平均,或者对加速度传感器1d的输出值进行低通滤波处理,能够得到抑制了变动或者脉动后的适当的加速度和角速度。
接着,检测部101将连续的预定数量的帧、例如十帧作为一个时期(period),按其各时期来算出该时期所包含的各帧的加速度的绝对值(例如√(X2+Y2)或者√(X’2+Y’2))的合计(十个加速度的绝对值的总和)。并且,以该合计值超过判定阈值(步骤S2)为条件,将该时期计数到用户进行着书写行为的“进行着书写的时间”(步骤S4)。否则,将该时期计数到用户未进行书写行为的“未进行书写的时间”(步骤S5)。
但是,即使为在某时期中的各帧的加速度的绝对值的合计超过了判定阈值,也无法立刻断定为该时期为“进行着书写的时间”。这因为:由于书写行为以外的原因,加速度传感器1d检测的书写工具0的运动的加速度有可能变大。在用户为孩子等的情况下,不难想象会摇晃书写工具0、转动书写工具0、滚动书写工具0来玩书写工具0。因此,检测部101即使为步骤S2的判定结果为真,在该时期或者该时期所包含的帧中经由加速度传感器1d检测到的书写工具0的运动的加速度或者角速度的绝对值为预定的上限值以上或者超过该上限值(步骤S3)时,也认为该大的运动不是由书写行为引起的动作,将该时期计数到用户未进行书写行为的“未进行书写的时间”(步骤S5)。
在步骤S3中参照(与上限值进行比较)的加速度或者角速度的值既可以是加速度传感器1d的直接的输出值,也可以是基于加速度传感器1d的输出值来运算而得到的算出值、特别是实施了上述的修正、滤波处理等后的值。另外,对于参照X轴、Y轴、Z轴中的哪个方向的加速度、参照θ方向、方向、Ψ方向中的哪个旋转方向的角速度,也是任意的。预想为:在使加速度传感器1d的Z轴与书写工具0的轴伸长的方向一致的情况下,当用户上下摇晃书写工具0时,Z轴方向的加速度的绝对值会过大化,当左右摇晃书写工具0时,X轴或者Y轴方向的加速度的绝对值会过大化。并且预想为:当用户转动书写工具0时,θ方向或者/>方向的角速度的绝对值会过大化,当绕轴滚动书写工具0时,Ψ方向的角速度的绝对值会过大化。检测部101将在对象的时期中的各帧计测到的X轴方向加速度、Y轴方向加速度、Z轴方向加速度、θ方向角速度、/>方向角速度、Ψ方向角速度的绝对值分别与所对应的上限值进行比较,若某一个为上限值以上或者超过该上限值,则将该时期计数到“未进行书写的时间”。或者也可以设为:将该时期所包含的各帧的X轴方向加速度的绝对值的合计值(十个绝对值的总和)、Y轴方向加速度的绝对值的合计值、Z轴方向加速度的绝对值的合计值、θ方向角速度的绝对值的合计值、/>方向角速度的绝对值的合计值、Ψ方向角速度的绝对值的合计值分别与所对应的上限值进行比较,若某一个为上限值以上或者超过该上限值,则将该时期计数到“未进行书写的时间”。上限值既可以按轴方向、旋转方向来个别地进行设定,也可以在三轴方向上为相同的值,还可以为在全部旋转方向为相同的值。
或者也可以设为:在步骤S3中,将对象的时期中的书写工具0的运动的速度(的绝对值)或者位移量(的绝对值)的平均值、中央值或者最大值等与预定的上限值进行比较,在前者为后者以上或者超过后者时,将该时期计数到用户未进行书写行为的“未进行书写的时间”。时期中的书写工具0的运动的速度或者位移量能够基于在该时期中经由加速度传感器1d检测到的加速度以及/或者角速度来算出。
通过步骤S1~S5计数到的“进行着书写的时间”的时期数相当于用户使用书写工具0进行的书写行为的书写量。并且,所计数到的“进行着书写的时间”的时期数和“未进行书写的时间”的时期数的合计值相当于包含了书写行为以外的时间的、用户将书写工具0放在手上的时间的总体长度。书写工具侧装置1的检测部101至少将相当于书写量的“进行着书写的时间”的时期数存储到主存储器1b或者辅助存储设备1c。并且,将“未进行书写的时间”的时期数以及/或者“进行着书写的时间”的时期数和“未进行书写的时间”的时期数的合计值存储到主存储器1b或者辅助存储设备1c。
而且,检测部101关于判定为了“进行着书写的时间”的各时期,对该时期所包含的各帧的加速度的绝对值(例如√(x2+y2)或者√(X’2+Y’2))的合计(十个加速度的绝对值的总和)的大小进行阶段评价、例如以五阶段的方式进行评价(步骤S6)。即,判断步骤S3中的超过判定阈值的加速度的绝对值的合计位于五阶段的等级(rank)区分中的哪个范围内。这意味着对该时期中的运笔的速度进行五阶段评价。进一步,对该五阶段评价的产生频度进行计数(步骤S7)。例如,若某时期的加速度的绝对值的合计位于C等级的范围内,则将C等级的产生频度的值增加1。
通过步骤S6和S7计数到的各等级的产生频度启示用户使用书写工具0进行的书写行为中的书写速度。书写工具侧装置1的检测部101将各等级的产生频度的直方图、即A等级的产生频度、B等级的产生频度、……、E等级的产生频度各自的值存储到主存储器1b或者辅助存储设备1c。若计数到“进行着书写的时间”的时期数为500,则A等级的产生频度、B等级的产生频度、……、E等级的产生频度的合计值成为500。在对用户的书写速度进行评价时,能够将产生频度最多的等级、或者关于全部等级对各等级的产生频度与等级的得分值(例如A等级为5、B等级为4、……、E等级为1)之积进行合计而得到的值的平均值或者中央值等用作用于该评价的指标。
检测部101通过反复地执行上述步骤S1~S7,取得与用户使用了书写工具0的书写行为有关的数据、即书写行为中的书写量和书写速度,并将其存储保持于主存储器1b或者辅助存储设备1c。对于在步骤S2或者S3中判定为“未进行书写的时间”的时期中得到的加速度传感器1d的输出值、以及基于该输出值算出的书写量、书写速度,不作为与书写行为有关的数据来取得(即不计数到“进行着书写的时间”,也不设为书写速度的五阶段评价的对象。“未进行书写的时间”的计数不是书写量,不属于与书写行为有关的数据),不对其进行存储保持。
此外,检测部101也可以为算出并存储保持判定为了“进行着书写的时间”的时期中的书写工具0的笔尖的位移量的累计值来作为书写行为中的书写量。并且,作为该书写行为中的书写速度,检测部101也可以算出并存储保持对判定为了“进行着书写的时间”的时期中的书写工具0的笔尖运动的速度的平均值或者中央值、将判定为了“进行着书写的时间”的时期中的书写工具0的笔尖的位移量的累计值除以“进行着书写的时间”的时期数而得到的值(结果为每单位时间的笔尖的位移量)或者那些中的任一个进行了阶段评价时的各等级的产生频度。
书写工具侧装置1的发送部102利用通信接口1e,向信息处理终端2发送检测部101检测并存储保持于主存储器1b或者辅助存储设备1c的、与用户使用了书写工具0的书写行为有关的数据。信息处理终端2的接收部201利用通信接口2f,接收从书写工具侧装置1发送的与书写行为有关的数据,将其存储并保持于主存储器2b或者辅助存储设备2c的所需要的存储区域。
在本实施方式中,如图6所示,以用户进行了将附带书写工具侧装置1的书写工具0的端部(具有笔尖的前端部、或者位于与笔尖相反侧的后端部。哪个都可以)朝向所放置的信息处理终端2从上方向下方倾斜的操作(从使书写工具0躺着的(更接近水平)姿势变化为将书写工具0立起的(更接近铅锤)姿势的操作)、犹如将蓄积于书写工具0内的水从书写工具0的端部注入到信息处理终端2那样的操作为契机,开始书写工具侧装置1与信息处理终端2之间的数据的授受。该操作模仿如下行动:将用户使用书写工具0进行了的书写行为的书写量当作某种能量或者能力(power),使用户通过书写行为积攒于书写工具0的该能量或者能力流入到信息处理终端2。
在图7中表示通过书写工具侧装置1的发送部102和信息处理终端2的接收部201进行的用于与书写行为有关的数据的收发处理的步骤。书写工具侧装置1的发送部102在数据收发的前阶段的准备完成以后(步骤S8),按每预定时间、即每一帧来经由加速度传感器1d获得书写工具0的绕三轴的旋转的角速度(步骤S9)。
步骤S8的分支判断例如在用户对安装于书写工具侧装置1自身的预定的按钮或者开关等进行了操作时成为真。或者,用户经由信息处理终端2的输入设备2g进行特定操作,表示进行了该操作之意的信号或者信息被从该信息处理终端2发送给书写工具侧装置1,在书写工具侧装置1接收到该信号或者信息时成为真。当然,在书写中也进行使书写工具0的端部朝向下方的操作。因此,步骤S8的目的在于防止尽管用户没有打算、但却在书写中开始执行从书写工具侧装置1向信息处理终端2的数据的发送。
在步骤S9中取得的角速度既可以是加速度传感器1d输出的直接的值,也可以是对加速度传感器1d输出的直接的值实施了某种滤波处理后的值。
于是,书写工具侧装置1的发送部102按每预定时间而以欧拉角或者四元数(quaternion)等的任意的数值形式向信息处理终端2发送经由加速度传感器1d检测到的书写工具0的旋转的角速度的时间序列(步骤S10)。
信息处理终端2的接收部201接收从书写工具侧装置1得来的每预定时间的书写工具0的旋转的角速度的时间序列(步骤S11)。并且,基于此来判定用户是否进行了使书写工具0的端部朝向信息处理终端2来倾斜的操作(步骤S12)。在判定为了用户进行了使书写工具0的端部朝向信息处理终端2来倾斜的操作的情况下,向书写工具侧装置1发送表示该之意的信号或者信息(步骤S13)。
书写工具侧装置1的发送部102以接收到从信息处理终端2得来的上述的信号或者信息为条件(步骤S14),开始执行存储保持于主存储器1b或者辅助存储设备1c的数据向信息处理终端2的发送(步骤S15)。
上述的步骤S10~S14是在信息处理终端2侧判断并确认由用户的手进行了使书写工具0的端部朝向信息处理终端2来倾斜的操作这一情况的步骤。但是,也可以设为在书写工具侧装置1中,基于每预定时间的书写工具0的旋转的角速度的时间序列,判断是否进行了那样的操作,以进行了该操作为条件,执行数据向信息处理终端2的发送(步骤S15)。若是在书写工具侧装置1中对该操作的有无进行判断,则能够省略步骤S10~S14的步骤。
在步骤S15中书写工具侧装置1向信息处理终端2发送的数据包括作为与用户的书写行为有关的数据的、表示书写量的“进行着书写的时间”的时期数和表示书写速度的五阶段评价的各等级的产生频度、及“未进行书写的时间”的时期数、以及/或者“进行着书写的时间”的时期数和“未进行书写的时间”的时期数的合计值。
信息处理终端2的接收部201接收从书写工具侧装置1得来的数据(步骤S16),将其存储于主存储器2b或者辅助存储设备2c。此时,在信息处理终端2中,有时对过去接收并存储保持于主存储器2b或者辅助存储设备2c的“进行着书写的时间”的时期数加上本次新接收到的“进行着书写的时间”的时期数。另外,有时对过去接收并存储保持的书写速度的五阶段评价的各等级的产生频度的直方图加上本次新接收到的各等级的产生频度的直方图。并且,有时对过去接收并存储保持的“未进行书写的时间”的时期数或者“进行着书写的时间”的时期数和“未进行书写的时间”的时期数的合计值加上本次新接收到的“未进行书写的时间”的时期数或者“进行着书写的时间”的时期数和“未进行书写的时间”的时期数的合计值。
步骤S15和S16的数据的收发也可以尽可能快速地完成,但也能够实施如在书写工具侧装置1存储保持的数据的值越大或者数据的量越多、则到完成数据的收发为止所需要的时间越长的那样的安排。更详细而言,设为书写工具侧装置1的发送部102和信息处理终端2的接收部201以用户保持着使书写工具0的端部向所述信息处理终端2倾斜的状态的时间的长度超过了阈值为条件来完成数据的收发,书写工具侧装置1存储保持的“进行着书写的时间”的时期数越多,则将该阈值设定为越大(长),或者书写工具侧装置1存储保持的书写速度的五阶段评价的各等级的产生频度越多,则将该阈值设定为越大。也即是,用户通过书写行为积攒于书写工具0的能量或者能力越多,则使该能量或者能力全部流入到信息处理终端2会需要越长的时间。
也优选,在到数据的收发完成为止的期间、即用户保持着使书写工具0的端部向信息处理终端2倾斜的状态的期间(保持着该状态的时间的长度未达到阈值的时间点),作为信息处理终端2的接收部201的功能,以诉诸于用户的视觉或者听觉的方式输出用于使用户意识到处于收发处理的中途、换言之用于使用户认认识到应该依然维持该状态的信息。例如,在正在收发的期间中,既可以使如注水那样的动态图像显示于显示器2h的画面,也可以从语音输出设备2i输出如注水的声音那样的效果音。
另外,这样在未立即完成数据的收发的情况下,也可以在正在进行该收发的期间中进行处理,使得:在使存储于书写工具侧装置1的主存储器1b或者辅助存储设备1c的数据值、特别是“进行着书写的时间”的时期数、书写速度的五阶段评价的各等级的产生频度的值慢慢变化(逐渐减少)的同时,使存储于信息处理终端2的主存储器2b或者辅助存储设备2c的数据值、特别是“进行着书写的时间”的时期数、书写速度的五阶段评价的各等级的产生频度的值慢慢变化(逐渐增加)。
也可以设为:在用户保持着使书写工具0的端部向信息处理终端2倾斜的状态的时间的长度超过阈值之前,用户停止了维持该状态时,取消数据的收发本身、即将书写工具侧装置1和信息处理终端2各自存储的数据设为收发开始前的数据(或者使之恢复为收发前的数据)。或者也可以设为:若是在正在收发的期间中实施着使书写工具侧装置1和信息处理终端2各自存储的数据值慢慢变化的处理,则使用户停止了维持上述状态的时间点的数据值存储保持于书写工具侧装置1和信息处理终端2。对于在正在收发的期间中用户是否保持着使书写工具0的端部向信息处理终端2倾斜的状态的判断,既可以通过与判断用户是否进行了使书写工具0的端部向信息处理终端2倾斜的操作来作为收发的开始条件同样的步骤,在信息处理终端2侧执行之后,从信息处理终端2向书写工具侧装置1通知(发送)该判断结果,也可以在书写工具侧装置1自身进行判断。
在书写工具侧装置1与信息处理终端2之间的数据的收发(步骤S15和S16)完成之后,在书写工具侧装置1中,从主存储器1b或者辅助存储设备1c删除到此为止存储保持于主存储器1b或者辅助存储设备1c的已发送的数据,换言之将“进行着书写的时间”的时期数、“未进行书写的时间”的时期数以及书写速度的五阶段评价的各等级的产生频度分别复位为0(步骤S17)。
书写工具侧装置1的发送部102和信息处理终端2的接收部201在进行上述的步骤S8~S17的数据的收发时以外的期间中,切断两者间的通信、即停止相互进行的无线信号的送出,进而抑制功耗。
信息处理终端2的信息输出部202以诉诸于用户的视觉或者听觉的方式输出从书写工具侧装置1接收并存储于主存储器2b或者辅助存储设备2c的同与用户使用书写工具0进行了的书写行为有关的数据相应的信息。
例如如图8所示,基于用户到目前为止进行了的书写行为中的书写量(的累积值),作为以视觉方式表示该书写量的信息,生成或者选择如书写量越多则伸长越大的树木21那样的图像,并使之显示于显示器2h的画面。此时,也可以根据用户到目前为止进行了的书写量来生成或者选择音色、旋律、声音的大小等不同的语音的信息,并从语音输出设备2i进行输出。
书写量可以说是用户到目前为止的学习或者训练等的成果,通过适时地将其提示给用户,使使用了书写工具0的书写行为具有游戏性,特别是调动孩子等用户对自发学习的意欲。
另外,如图8和图9所示,信息处理终端2的信息输出部202基于用户到目前为止进行了的书写行为中的书写速度(的五阶段评价的各等级的产生频度的直方图),作为以视觉方式表示该书写速度的信息,生成或者选择如树木21结出种类根据书写速度而不同的果实22那样的图像,并使之显示于显示器2h的画面。例如为如下那样的方式:在书写速度比某低位的等级或者某低位值低的情况下,如图9的(a)所示,结出樱桃22,在书写速度比某高位的等级或者某高位值高的情况下,如图9的(c)所示,结出香蕉22,在书写速度处于它们的中间的情况下,如图9的(b)所示,结出苹果22。此时,也可以根据用户到目前为止进行了的书写行为的书写速度来生成或者选择音色、旋律、声音的大小等不同的语音的信息,并从语音输出设备2i进行输出。如已经描述的那样,对于用户过去的书写行为中的书写速度,能够根据五阶段评价的各等级的产生频度中的产生频度最多的等级、关于全部等级对各等级的产生频度与该等级的得分值之积进行合计而得到的值的平均值或者中央值等进行评价。若是D等级的产生频度最多,则能够评价为用户的书写速度比中等程度稍慢而具有成长或者改善的余地,若是A等级的产生频度最多,则能够评价为用户的书写相当快而动笔能力高。若是参照等级的产生频度与等级的得分值之积的平均值或者中央值等,则该值越高,能够评价为用户的书写越快。
信息处理终端2不仅提示用户到目前为止的书写量,也提示书写行为中的书写速度,特别是关系到使孩子等用户意识到书写速度,期待有助于动笔能力的培养。若是小学低学年,则一分钟期间能够写十五个字~二十个字的速度会成为目标的一个标准,若中学年,则一分钟期间能够写二十个字~二十五个字的速度会成为目标的一个标准,若是高学年,则一分钟期间能够写二十五个字~三十个字的速度会成为目标的一个标准。若具有能够总是用规规矩矩的文字在每一分钟期间写三十个字的能力,则那是书写不可缺少的普通大人的笔力,在想要写笔记、记录、日记、明信片、书信等时能立刻动笔。
在本实施方式中,构成了具备检测部101和信息输出部202的书写行为评价系统,该检测部101对使用了书写工具0的书写行为中的书写量以及该书写行为中的书写速度进行检测,该信息输出部202以诉诸于用户的视觉或者听觉的方式输出与经由所述检测部101检测到的书写行为中的书写量相应的信息,并且,以诉诸于用户的视觉或者听觉的方式输出根据该书写行为中的书写速度而不同的信息。根据本实施方式,能够分别输出用户的书写行为中的书写量和书写速度这两方来对用户进行提示。进而,能够确切地将用户的动笔能力的提高程度与用户通过书写行为的学习的达成度一起进行可视化来提供于评价。
所述信息输出部202以经过所述检测部101检测到的书写行为的书写量达到了预定阈值为条件,输出根据在该书写行为中经由检测部101检测到的书写速度而不同的信息。结合图8所示的例子进行描述,对于表示书写速度的果实22,当根据书写量伸长的树木21未生长到某大小时、也即是存储于信息处理终端2的书写量未增加到树木21生长到该大小所需要的量即阈值时,不结出该果实22。与书写速度相应的语音信息的输出也是同样。
本实施方式的书写行为评价系统将具备附带于书写工具0的所述检测部101的书写工具侧装置1和能够与该书写工具侧装置1之间授受数据并具有所述信息输出部202的信息处理终端2作为要素,所述书写工具侧装置1存储通过所述检测部101取得的书写行为的书写量和该书写行为中的书写速度,在能够与所述信息处理终端2进行通信的状况下向该信息处理终端2发送该存储的书写量和书写速度,接收到该书写量和书写速度的信息处理终端2在所述信息输出部202中基于该书写量和书写速度来输出所述信息。在本实施方式中,在书写工具侧装置1中预先算出并存储保持启示书写速度的值、即五阶段评价的产生频度的直方图,在书写工具侧装置1和信息处理终端2能够互相通信时,对其进行收发。因此,在正在进行书写行为的期间中,不需要总是且长时间地持续性地从书写工具侧装置1向信息处理终端2持续发送书写工具0的笔尖的加速度、速度、位移量、位置坐标等。也即是,能够适当地限制书写工具侧装置1与信息处理终端2之间的通信的机会来实现省电。进一步,不需要使信息处理终端2进行与书写行为有关的数据的收集(即使信息处理终端2不在身边),也能够执行数据的收集,信息处理终端2的存在不成为书写行为的障碍。
所述检测部101具有对书写工具0的笔尖的移动的加速度进行计测的加速度传感器1d,能够利用该加速度传感器1d来简便地估算并取得书写行为的书写量和该书写行为中的书写速度。
另外,在本实施方式中构成了如下的收发系统:将附带于在书写行为中所使用的书写工具0的书写工具侧装置1和能够与该书写工具侧装置1之间授受数据的信息处理终端2作为要素,所述书写工具侧装置1具备检测部101和发送部102,所述检测部101取得并存储对使用了书写工具0的书写行为进行了定量化而得到的数据,所述发送部102以进行了使书写工具0的端部向所述信息处理终端2倾斜的操作为条件,向信息处理终端2发送通过所述检测部101取得并存储的数据,所述信息处理终端2具备接收从所述书写工具侧装置1发送的数据的接收部201。根据本实施方式,能够在书写工具侧装置1与信息处理终端2之间的数据授受时,提供书写工具0这一物体与信息处理终端2上的应用程序的联动体验,增进趣味性、游戏性。
所述信息处理终端2具备信息输出部202,所述信息输出部202根据通过所述接收部201接收到的数据以诉诸于用户的视觉或者听觉的方式输出信息。
所述发送部102和所述接收部201以保持着使书写工具0的端部向所述信息处理终端2倾斜的状态的时间的长度超过了阈值为条件而完成收发,所述阈值根据通过所述检测部101取得并存储的数据的值的大小或者数据的量而变动。由此,能够向用户提供如下的虚拟现实的体验:根据储存于书写工具0的书写量的数据,用户进行使书写工具0向信息处理终端2倾斜的操作的时间发生变化,积攒于书写工具0的能量或者能力越多,则使该能量或者能力全部流入到信息处理终端2越需要时间。
所述发送部102和所述接收部201在进行所述数据的收发时以外的期间中切断两者间的通信来谋求功耗的降低。
进一步,在本实施方式中构成了附带于书写工具0的书写工具侧装置1,所述书写工具侧装置1具备检测部101,所述检测部101取得对书写工具0的运动的加速度、速度或者位移进行计测的传感器1d的输出值或者基于该输出值运算得到的算出值来作为与书写行为有关的数据,所述检测部101在所述传感器1d的输出值或者基于该输出值运算得到的算出值为预定的上限值以上或者超过了该上限值时,不将该上限值以上或者超过了该上限值的输出值或者算出值作为与书写行为有关的数据来取得。根据本实施方式,即使不另外安装所述传感器1d以外的传感器、开关类,也能够将由书写行为引起的书写工具0的运动和由书写行为以外的行为引起的书写工具0的运动等进行区分确定。并且,能够有效地抑制在经由传感器1d取得的与书写行为有关的数据中混入误差。
所述传感器1d对沿着相对于书写工具0不动地设定且相互正交的三轴中的至少一个轴的方向的书写工具0的运动的加速度、速度或者位移进行计测,所述检测部101在所述传感器1d的输出值或者基于该输出值运算得到的算出值为预定的上限值以上或者超过了该上限值时,不将该上限值以上或者超过了该上限值时的输出值或者算出值作为与书写行为有关的数据来取得。
所述传感器1d对以相对于书写工具0不动地设定且相互正交的三轴中的至少一个轴为中心的书写工具0的旋转运动的加速度、速度或者位移进行计测,所述检测部101在所述传感器1d的输出值或者基于该输出值运算得到的算出值为预定的上限值以上或者超过了该上限值时,不将该上限值以上或者超过了该上限值的输出值或者算出值作为与书写行为有关的数据来取得。
所述传感器1d具有三轴加速度传感器和三轴陀螺仪传感器的功能。
所述检测部101将书写行为的书写量和该书写行为中的书写速度都作为与书写行为有关的数据来进行取得。
此外,本发明并不限于以上详细描述的实施方式。各部的具体构成、处理的步骤等能够在不脱离本发明的宗旨的范围内进行各种变形。

Claims (5)

1.一种书写工具侧装置,附带于书写工具,具备检测部,所述检测部取得对书写工具的运动的加速度、速度或者位移进行计测的传感器的输出值或者基于该输出值运算得到的算出值来作为与书写行为有关的数据,至少对用户使用着该书写工具的时间的长度进行计数且存储并保持于主存储器或者辅助存储设备,
所述检测部,
按各时期,将该时期中经由所述传感器检测到的书写工具的运动的加速度与判定阈值进行比较,在书写工具的运动的加速度超过了判定阈值时,将该时期计数到使用着所述书写工具的时间,
即使为书写工具的运动的加速度超过了判定阈值的时期,在作为该时期中的所述传感器的输出值或者基于该输出值运算得到的算出值的书写工具的运动的加速度、速度或者位移为预定的上限值以上或者超过该上限值时,也认为不是由书写行为引起的书写工具的运动,不将该上限值以上或者超过了该上限值的输出值或者算出值作为与书写行为有关的数据来取得,不将该时期计数到使用着所述书写工具的时间。
2.根据权利要求1所述的书写工具侧装置,
所述传感器对沿着相对于书写工具不动地设定且相互正交的三轴中的至少一个轴的方向的书写工具的运动的加速度、速度或者位移进行计测,
所述检测部在所述传感器的输出值或者基于该输出值运算得到的算出值为预定的上限值以上或者超过该上限值时,不将该上限值以上或者超过了该上限值的输出值或者算出值作为与书写行为有关的数据来取得。
3.根据权利要求1所述的书写工具侧装置,
所述传感器对以相对于书写工具不动地设定且相互正交的三轴中的至少一个轴为中心的书写工具的旋转运动的加速度、速度或者位移进行计测,所述检测部在所述传感器的输出值或者基于该输出值运算得到的算出值为预定的上限值以上或者超过该上限值时,不将该上限值以上或者超过了该上限值的输出值或者算出值作为与书写行为有关的数据来取得。
4.根据权利要求1所述的书写工具侧装置,
所述传感器具有三轴加速度传感器和三轴陀螺仪传感器的功能。
5.根据权利要求1所述的书写工具侧装置,
所述检测部取得书写行为的书写量和该书写行为中的书写速度、或者使用书写工具进行着书写的时间的长度来作为与书写行为有关的数据。
CN201980029945.7A 2018-06-04 2019-03-05 书写工具侧装置 Active CN112074799B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-106810 2018-06-04
JP2018106810A JP7234512B2 (ja) 2018-06-04 2018-06-04 筆記具側装置
PCT/JP2019/008610 WO2019235009A1 (ja) 2018-06-04 2019-03-05 筆記具側装置

Publications (2)

Publication Number Publication Date
CN112074799A CN112074799A (zh) 2020-12-11
CN112074799B true CN112074799B (zh) 2024-05-03

Family

ID=68770390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980029945.7A Active CN112074799B (zh) 2018-06-04 2019-03-05 书写工具侧装置

Country Status (3)

Country Link
JP (1) JP7234512B2 (zh)
CN (1) CN112074799B (zh)
WO (1) WO2019235009A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09274535A (ja) * 1996-04-04 1997-10-21 Ricoh Co Ltd ペン型入力装置
CN1613663A (zh) * 2003-11-06 2005-05-11 国誉株式会社
JP2011164695A (ja) * 2010-02-04 2011-08-25 Sharp Corp 情報処理装置、入力装置、情報処理方法及び会議システム
CN103744541A (zh) * 2014-01-26 2014-04-23 上海鼎为电子科技(集团)有限公司 书写笔、电子终端及书写系统
CN107053902A (zh) * 2017-06-06 2017-08-18 欧昱晨 一种辅助书写笔
CN107765890A (zh) * 2017-09-04 2018-03-06 浙江大学 一种基于加速度传感器的写字内容检测系统和方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101821113B (zh) 2008-12-05 2011-11-30 仁科驎太郎 带计时装置的书写用具
KR20160084838A (ko) * 2013-12-05 2016-07-14 주식회사 와이드벤티지 제한된 수의 자기장 센서를 이용한 사용자 입력 처리 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09274535A (ja) * 1996-04-04 1997-10-21 Ricoh Co Ltd ペン型入力装置
CN1613663A (zh) * 2003-11-06 2005-05-11 国誉株式会社
JP2011164695A (ja) * 2010-02-04 2011-08-25 Sharp Corp 情報処理装置、入力装置、情報処理方法及び会議システム
CN103744541A (zh) * 2014-01-26 2014-04-23 上海鼎为电子科技(集团)有限公司 书写笔、电子终端及书写系统
CN107053902A (zh) * 2017-06-06 2017-08-18 欧昱晨 一种辅助书写笔
CN107765890A (zh) * 2017-09-04 2018-03-06 浙江大学 一种基于加速度传感器的写字内容检测系统和方法

Also Published As

Publication number Publication date
WO2019235009A1 (ja) 2019-12-12
CN112074799A (zh) 2020-12-11
JP7234512B2 (ja) 2023-03-08
JP2019211948A (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
CN100377043C (zh) 三维手写识别的方法及其系统
EP2901246B1 (en) Remote control with 3d pointing and gesture recognition capabilities
US7952561B2 (en) Method and apparatus for controlling application using motion of image pickup unit
US10817072B2 (en) Method and apparatus for performing motion recognition using motion sensor fusion, and associated computer program product
EP2816450B1 (en) Information processing apparatus, and information processing method
WO2006026021B1 (en) Device orientation based input signal generation
US10877577B2 (en) Input device for electronic device and input system
EP2282253B1 (en) Coordinate calculation method
CN111610869B (zh) 触控笔、电子设备和控制方法
CN116449980A (zh) 信息处理装置以及控制方法
CN112074799B (zh) 书写工具侧装置
CN114546151A (zh) 信息处理装置以及信息处理方法
JP6409918B2 (ja) 端末装置、モーション認識方法及びプログラム
EP2765477A2 (en) Method and apparatus for performing motion recognition using motion sensor fusion, and associated computer program product
CN112074419B (zh) 收发系统
JP4675718B2 (ja) 動作判別装置、動作判別プログラムおよびコンピュータ読取り可能な記録媒体
JP7567972B2 (ja) 評価システム
CN109085937B (zh) 智能鼠标笔及其控制方法
JP2022179538A (ja) 行為嘉賞システム
CN116246335A (zh) 追踪扩展现实的输入手势的方法和使用其的系统
CN116974375A (zh) 控制方法、电子设备、输入设备及控制系统
CN111241472A (zh) 移动终端以及数据识别运算方法和存储介质
JP2013093007A (ja) 文字入力装置および文字入力方法
JPH11184969A (ja) 筆記データ入力装置及び記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant