CN113867574A - 基于触控显示屏的智能交互显示方法及装置 - Google Patents
基于触控显示屏的智能交互显示方法及装置 Download PDFInfo
- Publication number
- CN113867574A CN113867574A CN202111191415.8A CN202111191415A CN113867574A CN 113867574 A CN113867574 A CN 113867574A CN 202111191415 A CN202111191415 A CN 202111191415A CN 113867574 A CN113867574 A CN 113867574A
- Authority
- CN
- China
- Prior art keywords
- gesture
- target
- project
- window
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0412—Digitisers structurally integrated in a display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明是关于一种基于触控显示屏的智能交互显示方法和装置,方法包括:接收在用户个人账户下输入的项目空间名称,建立项目空间;接收输入的工作空间信息,以在项目空间中建立工作空间;接收上传的项目文件,并将项目文件存储至对应的工作空间,其中,每个工作空间包括至少一种类型的项目文件;接收对工作空间中至少一个目标项目文件的选定命令,根据选定命令打开至少一个目标项目文件,并在触摸显示屏上以多窗口的方式显示至少一个目标项目文件,其中,每个目标项目文件对应一个窗口,且多个目标项目文件的类型可不同。触控显示屏的方案通过结合激光笔和手势的信息捕捉,完成准确的交互信息识别,实现利用触控屏幕的高效准确的交互显示。
Description
技术领域
本发明涉及信息交互技术领域,尤其涉及一种基于触控显示屏的智能交互显示方法和装置。
背景技术
随着教学、会议、演示、演讲等活动对资料的展现和受众群体的互动要求变得越来越高,一套能达到使用者要求的智能显示系统就变得越来越有必要。
传统的展示方式单一且可操作性差,并且缺少相关的工具进行辅助,通常使用投影机、显示器或手写黑板进行展示,在效率性、便利性、多样化、参与度、操作性上,都存在明显的缺陷。
一般来说,目前的展示方案具有如下缺点:
(1)素材无法根据交互信息进行有效反应,例如激光笔、手写板等,常常使得机器无法有效的获知交互信息;
(2)展示素材单一,使用者无法方便的通过多素材的对比和辅助进行讲解,使得讲解变得单一和乏味,难以保证受众群体正确、全面的理解讲解要点。
(3)无互动性,单一的展示方法很难有效的组织起受众群体之间、使用者与受众群体间的互动模式,使受众者没有参与感,无法保证受众者的关注度和专注度。
(4)无针对性,没有数据的记录与积累,无法对数据进行统计与分析,无法有针对性的帮助使用者进行改进。
(5)操作性差,很难对展示素材进行实时的操作。
(6)工具匮乏,几乎没有便利的工具对使用者的讲解进行有效的辅助。
发明内容
为克服相关技术中存在的问题,本发明提供一种基于触控显示屏的智能交互显示方法和装置。
根据本发明实施例的第一方面,提供一种基于触控显示屏的智能交互显示方法,方法包括:
接收在用户个人账户下输入的项目空间名称,建立项目空间;
接收输入的工作空间信息,以在所述项目空间中建立工作空间,其中,所述工作空间信息包括以下至少一项:工作空间名称、排序序号、是否缺省、样式、工作空间背景图,其中,每个项目空间中包括至少一个工作空间;
接收上传的项目文件,并将所述项目文件存储至对应的工作空间,其中,每个工作空间包括至少一种类型的项目文件;
接收对所述工作空间中至少一个目标项目文件的选定命令,根据所述选定命令打开所述至少一个目标项目文件,并在触摸显示屏上以多窗口的方式显示所述至少一个目标项目文件,其中,每个目标项目文件对应一个窗口,且多个目标项目文件的类型可不同;
其中,在所述触摸显示屏上以多窗口的方式显示所述至少一个目标项目文件过程中,动态捕捉激光笔的动作,并通过所述激光笔的指示位置进行优化显示,具体流程包括:
获取激光笔指示的区域,在所述触摸显示屏上进行坐标提取;
根据所述坐标提取,生成1秒内的全部激光笔坐标点;
以100ms为周期,提取激光笔的坐标点坐标,生成10个横坐标的实际值和10个纵坐标的实际值;
根据所述10个横坐标的实际值利用第一计算公式获取计算10个纵坐标的理论值;
利用第二计算公式求取所述10个纵坐标的理论值与所述10个纵坐标的实际值的标准偏差;
自动将预设的全部参数系数带入所述第三计算公式,获取所述10个纵坐标的理论值与所述10个纵坐标的实际值的标准偏差的最小值;
提取所述标准偏差的最小值对应的参数系数,存储为目标系数;
将所述目标系数带入所述第一计算公式在所述触摸显示屏上展示所有的激光笔轨迹;
所述第一计算公式为:
A(h)=r0+r1h1+r2h2+……+rnhn
其中,h为横坐标的实际值,A(h)为横坐标的实际值h对应的纵坐标的理论值,r0、r1、……rn分别为第0、1、……、n个参数系数,n为纵坐标预测维度,n取10-20之间的整数;举例说明,当纵坐标预测维度n取10时,第一计算公式为A(h)=r0+r1h1+r2h2+……+r10h10;
所述第二计算公式为:
L=Σ(lj 2-A(qj)2)
其中,L为所述10个纵坐标的理论值与所述10个纵坐标的实际值的标准偏差,Σ为从1到10将所有的j对应的qj和lj输入后的加和,lj为第j个横坐标的实际值,qj为第j个纵坐标的实际值,A(qj)为横坐标的实际值qj对应的纵坐标的理论值,j为所述激光笔坐标点的编号;
所述第三计算公式为:
(r1,r2,……,rn)=min L
其中,min L为L取最小时对应的目标系数,具体原因是,由第一计算公式可知r1,r2,……,rn不同时,对应的L不同,通过数据挖掘自动将预设的全部参数系数带入第一计算公式,获得全部的r1,r2,……,rn组合可以取得L取最小时,为L取最小时对应的目标系数。
在一个实施例中,优选地,所述方法还包括:
在每个窗口的指定位置,显示窗口编辑按钮,其中,所述窗口编辑按钮包括以下至少一项:锁定、批注、剪裁、二维码分享、全屏和关闭;
接收对目标窗口的任一目标窗口编辑按钮的选定命令,以对所述目标窗口执行所述任一目标窗口编辑按钮对应的操作。
在一个实施例中,优选地,所述方法还包括:
接收用户在所述触摸显示屏上对目标窗口的手势操作,根据所述手势操作,执行对应的处理操作,并对所述目标窗口的展示内容进行实时渲染,其中,所述手势操作包括窗口放大手势操作、窗口缩小手势操作和窗口移动手势操作;
在所述手势操作过程中,通过去除抖动和相似度对比确定具体的手势类型,具体包括:
获取是否获得手势信号,若获得手势信号将其存储为第四计算公式形式的手势向量;
获取全部的手势向量,判断是否有满足第五计算公式的手势向量,若存储满足第五计算公式的手势向量,则发出关闭手势滤波指令;
判断是否收到关闭手势滤波指令,若未收到所述关闭手势滤波指令则将全部的所述手势向量利用第六计算公式进行数据滤波,生成目标手势数据;
若收到所述关闭手势滤波指令,则直接将所述手势向量保存为目标手势数据;
对所述目标手势数据通过多项式拟合保存为手势函数,利用第七计算公式与当前的手势库中的函数进行对比,获得最接近的目标手势函数;
所述第四计算公式为:
Ai=(xi,yi,zi)
其中,xi为第i个所述手势向量横坐标,yi为第i个所述手势向量纵坐标,zi为第i个所述手势向量时间坐标;
所述第五计算公式为:
其中,10s为十秒,k1、k2分别为在关闭手势滤波指令时所述手势向量横坐标的上、下限,k3、k4分别为在关闭手势滤波指令时所述手势向量纵坐标的上、下限;
所述第六计算公式为:
其中,a1、a2分别为所述手势向量横坐标、所述手势向量纵坐标的二阶滤波系数,b1、b2分别为所述手势向量横坐标、所述手势向量纵坐标的一阶滤波系数,c1、c2分别为所述手势向量横坐标、所述手势向量纵坐标的常数,X为录波后的所述手势向量横坐标,x为录波前的所述手势向量横坐标,Y为录波后的所述手势向量纵坐标,y为录波前的所述手势向量纵坐标;
所述第七计算公式为:
其中,k为手势库最解决近目标手势函数的的手势编号,gk(zl)为手势库中的手势编号k的手势函数中第l个所述手势向量时间坐标对应的所述手势向量横坐标、纵坐标的绝对值和,f(zl)为多项式拟合获得的第l个所述手势向量时间坐标对应的所述手势向量横坐标、纵坐标的绝对值和,gk(z0)为手势库中的的手势编号k的手势函数中初始的所述手势向量时间坐标对应的所述手势向量横坐标、纵坐标的绝对值和,f(z0)为多项式拟合获得的初始的所述手势向量时间坐标对应的所述手势向量横坐标、纵坐标的绝对值和,M为对比的时间坐标总数。
在一个实施例中,优选地,所述方法还包括:
根据接收到的文件查看指令,在所述触摸显示屏上分类显示目标工作空间内的所有项目文件。
在一个实施例中,优选地,所述方法还包括:
当检测到任一目标窗口被拖动至所述触摸显示屏的边缘时,将所述任一目标窗口显示在目标区域,其中,目标区域的面积为触摸显示屏面积的一半,并将其他窗口以缩略图方式显示在剩余区域内;
接收对所述缩略图中任一其他窗口的选中命令,将所述任一其他窗口显示在所述剩余区域内,以实现分屏对比功能。
在一个实施例中,优选地,所述方法还包括:
根据接收到的原生打开指令,将选中的目标项目文件以原始格式进行打开。
在一个实施例中,优选地,所述方法还包括:
当接收到对所述触摸显示屏的长按指令时,打开主菜单,所述主菜单显示包含的辅助工具,其中,所述辅助工具包括以下至少一项:全屏书写、浏览器、文本框、画板、视频采集、远程互动、无线投屏、视频文件、录屏、随堂测试和云课堂。
在一个实施例中,优选地,所述云课堂的功能菜单包括:邀请、状态、举手、互动、设置、静音/取消静音、关闭摄像头/打开摄像头、音量、共享、上课者、布局、开始录制、开始直播和显示项目文件;
邀请的方式包括:链接快速入课、浏览器入课、硬终端入课和电话入课;
共享的内容包括:共享桌面、共享文档和共享白板;
上课者的显示包括已上课人员列表和等待入课人员列表。
在一个实施例中,优选地,所述方法还包括:
将用户个人账户下的所有内容同步至云端服务器。
根据本发明实施例的第二方面,提供一种基于触控显示屏的智能交互显示系统,系统包括:
第一建立模块,用于接收在用户个人账户下输入的项目空间名称,建立项目空间;
第二建立模块,用于接收输入的工作空间信息,以在所述项目空间中建立工作空间,其中,所述工作空间信息包括以下至少一项:工作空间名称、排序序号、是否缺省、样式、工作空间背景图,其中,每个项目空间中包括至少一个工作空间;
存储模块,用于接收上传的项目文件,并将所述项目文件存储至对应的工作空间,其中,每个工作空间包括至少一种类型的项目文件;
显示模块,用于接收对所述工作空间中至少一个目标项目文件的选定命令,根据所述选定命令打开所述至少一个目标项目文件,并在触摸显示屏上以多窗口的方式显示所述至少一个目标项目文件,其中,每个目标项目文件对应一个窗口,且多个目标项目文件的类型可不同。
根据本发明实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现第一方面中任一项方法的步骤。
本发明的实施例提供的技术方案可以包括以下有益效果:
本发明实施例中,引导用户针对侧重点不同的显示内容进行项目空间及工作空间的划分,在相应的工作空间中上传展示资料,在展示过程中通过系统提供的文件管理器进行文件展示,并结合了对于激光笔和手势的捕捉,完成准确的交互信息识别,实现利用辅助工具准确满足使用者的不同需求。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种基于触控显示屏的智能交互显示方法的流程图。
图2是根据一示例性实施例示出的项目空间示意图。
图3是根据一示例性实施例示出的工作空间示意图。
图4是根据一示例性实施例示出的工作空间信息的示意图。
图5是根据一示例性实施例示出的多窗口显示的示意图。
图6是根据一示例性实施例示出的另一种基于触控显示屏的智能交互显示方法的流程图。
图7是根据一示例性实施例示出的窗口编辑按钮的示意图。
图8是根据一示例性实施例示出的另一种基于触控显示屏的智能交互显示方法的流程图。
图9是根据一示例性实施例示出的另一种基于触控显示屏的智能交互显示方法的流程图。
图10是根据一示例性实施例示出的另一种基于触控显示屏的智能交互显示方法的流程图。
图11是根据一示例性实施例示出的另一种基于触控显示屏的智能交互显示方法的流程图。
图12是根据一示例性实施例示出的一种基于触控显示屏的智能交互显示系统的框图。
图13为根据一示例性实施例示出的通过所述激光笔的指示位置进行优化显示的流程图。
图14为根据一示例性实施例示出的通过去除抖动和相似度对比确定手势类型的流程图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种基于触控显示屏的智能交互显示方法的流程图,如图1所示,该方法包括:
步骤S101,接收在用户个人账户下输入的项目空间名称,建立项目空间;如图2所示,用户可以创建、编辑和删除项目空间。项目空间中可创建工作空间并上传对应资料,在存储容介质的容量范围内,可无限制上传(存储容量按需配置),资料类型无限制,包括文档、图片、音频、视频等。
步骤S102,接收输入的工作空间信息,以在所述项目空间中建立工作空间,其中,所述工作空间信息包括以下至少一项:工作空间名称、排序序号、是否缺省、样式、工作空间背景图,其中,每个项目空间中包括至少一个工作空间;如图3所示,用户可以通过添加工作空间按钮添加工作空间,如图4所示,在触摸显示屏的界面上,可以显示添加或编辑页面,从而使用户输入工作空间名称、排序序号、是否缺省、样式、工作空间背景图等。
步骤S103,接收上传的项目文件,并将所述项目文件存储至对应的工作空间,其中,每个工作空间包括至少一种类型的项目文件;
步骤S104,接收对所述工作空间中至少一个目标项目文件的选定命令,根据所述选定命令打开所述至少一个目标项目文件,并在触摸显示屏上以多窗口的方式显示所述至少一个目标项目文件,其中,每个目标项目文件对应一个窗口,且多个目标项目文件的类型可不同。
如图5所示,可以在触摸显示屏上,以多窗口的方式显示不同类型的项目文件。
在该实施例中,引导用户针对侧重点不同的显示内容进行项目空间及工作空间的划分,在相应的工作空间中上传展示资料,在展示过程中通过系统提供的文件管理器进行文件展示,并利用辅助工具满足使用者的不同需求。
图6是根据一示例性实施例示出的另一种基于触控显示屏的智能交互显示方法的流程图。
如图6所示,在一个实施例中,优选地,所述方法还包括:
步骤S601,在每个窗口的指定位置,显示窗口编辑按钮,如图7所示,其中,所述窗口编辑按钮包括以下至少一项:锁定、批注、剪裁、二维码分享、全屏和关闭;对于多页文件,可进行分页操作和页面跳转操作。
步骤S602,接收对目标窗口的任一目标窗口编辑按钮的选定命令,以对所述目标窗口执行所述任一目标窗口编辑按钮对应的操作。
图8是根据一示例性实施例示出的另一种基于触控显示屏的智能交互显示方法的流程图。
如图8所示,在一个实施例中,优选地,所述方法还包括:
步骤S801,接收用户在所述触摸显示屏上对目标窗口的手势操作,根据所述手势操作,执行对应的处理操作,并对所述目标窗口的展示内容进行实时渲染,其中,所述手势操作包括窗口放大手势操作、窗口缩小手势操作和窗口移动手势操作。其中,可以通过双出点向不同方向滑动,可将窗口对象进行放大或缩小,根据窗口对象的边缘坐标点计算窗口对象大小并记录,等待下一个指令。通过触点快速划动窗口对象,可使窗口对象进行脱离触点的远距离移动,根据窗口对象的停靠位置记录坐标,等待下一个指令。
图9是根据一示例性实施例示出的另一种基于触控显示屏的智能交互显示方法的流程图。
如图9所示,在一个实施例中,优选地,所述方法还包括:
步骤S901,根据接收到的文件查看指令,在所述触摸显示屏上分类显示目标工作空间内的所有项目文件。
在该实施例中,将所有项目文件分类进行显示,如视频文件为一类,文档文件为一类,这样,方便用户根据文件类型进行查找和检索。
图10是根据一示例性实施例示出的另一种基于触控显示屏的智能交互显示方法的流程图。
如图10所示,在一个实施例中,优选地,所述方法还包括:
步骤S1001,当检测到任一目标窗口被拖动至所述触摸显示屏的边缘时,将所述任一目标窗口显示在目标区域,其中,目标区域的面积为触摸显示屏面积的一半,并将其他窗口以缩略图方式显示在剩余区域内;
步骤S1002,接收对所述缩略图中任一其他窗口的选中命令,将所述任一其他窗口显示在所述剩余区域内,以实现分屏对比功能。
在该实施例中,通过分屏对比功能,方便用户进行文件对比。
图11是根据一示例性实施例示出的另一种基于触控显示屏的智能交互显示方法的流程图。
如图11所示,在一个实施例中,优选地,所述方法还包括:
步骤S1101,根据接收到的原生打开指令,将选中的目标项目文件以原始格式进行打开。
在一个实施例中,优选地,所述方法还包括:
当接收到对所述触摸显示屏的长按指令时,打开主菜单,所述主菜单显示包含的辅助工具,其中,所述辅助工具包括以下至少一项:全屏书写、浏览器、文本框、画板、视频采集、远程互动、无线投屏、视频文件、录屏、随堂测试和云课堂。
其中,随堂测试功能通过点击图标的方式对系统中录入的人员进行随机选取,根据最终选取人员的性别显示对应性别的图标或系统中录入的代表该人员的图像,在本功能实施中,可进行多次随机选取,并可对某项或全部选取结果进行重新选取及删除等操作。入数据,根据随机算法进行选取并将选取结果输出至显示介质中。
在一个实施例中,优选地,所述云课堂的功能菜单包括:邀请、状态、举手、互动、设置、静音/取消静音、关闭摄像头/打开摄像头、音量、共享、上课者、布局、开始录制、开始直播和显示项目文件;
邀请的方式包括:链接快速入课、浏览器入课、硬终端入课和电话入课;
共享的内容包括:共享桌面、共享文档和共享白板;
上课者的显示包括已上课人员列表和等待入课人员列表。
其中,布局包括:一个主屏、4分屏、1主屏+7分屏、1主屏+21分屏、2主屏+21分屏共5种布局。
云课堂上,还可以进行分组互动。分组互动包括:教师端屏幕分享、学生端屏幕分享、组内讨论。
教师端屏幕分享:可将教师主屏幕上的显示内容实时分享到任意或所有小组屏幕,方便学生观看教师教学内容,并进行互动讨论。
学生端屏幕分享:将任意小组画面在教师主屏幕上展示,教师可对当前小组画面进行批注或修改,并及时反馈在小组屏幕上。各个小组之间可进行屏幕内容的切换分享,小组成员可对分享内容进行批注或修改。
组内讨论:小组内的所有成员都可轻松投射个人电子设备到小组大屏幕,进行资源分享。同时可对投射内容进行批注,也可使用“画板”、“截图”等辅助功能,展开组内讨论。
远程互动:提供全面的远程访问、远程控制及远程支持解决方案,适用于所有桌面和移动平台,包括Windows、macOS、Android及iOS。实现能够远程访问位于各地的显示终端并实时互动。
在一个实施例中,优选地,所述方法还包括:
将用户个人账户下的所有内容同步至云端服务器。
在该实施例中,将所有内容同步至云端服务器,可以方便用户随时进行内容获取。
在该实施例中,浏览器可以实时浏览网页内容,画板,提供了书写(可选择笔触及颜色)、橡皮(可选择点、线、清除全部等擦除方式)特定图形选择,键盘输入、背景颜色选择等功能。可使用文本框功能进行键盘输入,提供一键录屏功能,可对屏幕操作、声音及外部讲解进行录制,无线投屏,可将移动端设备(android、ios、Windows、MacOS)的显示画面投放到触摸显示屏中。视频文件实时调取,随时发起问卷调查及抢答互动。还可以进行屏幕复制,可将显示内容复制到其他显示屏,方便观看,并且可将显示内容扩展至其他屏幕,方便更多内容的展示。
图12是根据一示例性实施例示出的一种基于触控显示屏的智能交互显示系统的框图。
如图12所示,根据本发明实施例的第二方面,提供一种基于触控显示屏的智能交互显示系统,系统包括:
第一建立模块1201,用于接收在用户个人账户下输入的项目空间名称,建立项目空间;
第二建立模块1202,用于接收输入的工作空间信息,以在所述项目空间中建立工作空间,其中,所述工作空间信息包括以下至少一项:工作空间名称、排序序号、是否缺省、样式、工作空间背景图,其中,每个项目空间中包括至少一个工作空间;
存储模块1203,用于接收上传的项目文件,并将所述项目文件存储至对应的工作空间,其中,每个工作空间包括至少一种类型的项目文件;
显示模块1204,用于接收对所述工作空间中至少一个目标项目文件的选定命令,根据所述选定命令打开所述至少一个目标项目文件,并在触摸显示屏上以多窗口的方式显示所述至少一个目标项目文件,其中,每个目标项目文件对应一个窗口,且多个目标项目文件的类型可不同。
图13为根据一示例性实施例示出的通过所述激光笔的指示位置进行优化显示的流程图。
如图13所述,在所述触摸显示屏上以多窗口的方式显示所述至少一个目标项目文件过程中,动态捕捉激光笔的动作,并通过所述激光笔的指示位置进行优化显示,具体流程包括:
步骤S1301,获取激光笔指示的区域,在所述触摸显示屏上进行坐标提取;
步骤S1302,根据所述坐标提取,生成1秒内的全部激光笔坐标点;
步骤S1303,以100ms为周期,提取激光笔的坐标点坐标,生成10个横坐标的实际值和10个纵坐标的实际值;
步骤S1304,根据所述10个横坐标的实际值利用第一计算公式获取计算10个纵坐标的理论值;
步骤S1305,利用第二计算公式求取所述10个纵坐标的理论值与所述10个纵坐标的实际值的标准偏差;
步骤S1306,自动将预设的全部参数系数带入所述第三计算公式,获取所述10个纵坐标的理论值与所述10个纵坐标的实际值的标准偏差的最小值;
步骤S1307,提取所述标准偏差的最小值对应的参数系数,存储为目标系数;
步骤S1308,将所述目标系数带入所述第一计算公式在所述触摸显示屏上展示所有的激光笔轨迹;
所述第一计算公式为:
A(h)=r0+r1h1+r2h2+……+rnhn
其中,h为横坐标的实际值,A(h)为横坐标的实际值h对应的纵坐标的理论值,r0、r1、……rn分别为第0、1、……、n个参数系数,n为纵坐标预测维度,n取10-20之间的整数;
所述第二计算公式为:
L=Σ(lj 2-A(qj)2)
其中,L为所述10个纵坐标的理论值与所述10个纵坐标的实际值的标准偏差,Σ为从1到10将所有的j对应的qj和lj输入后的加和,lj为第j个横坐标的实际值,qj为第j个纵坐标的实际值,A(qj)为横坐标的实际值qj对应的纵坐标的理论值,j为所述激光笔坐标点的编号;
所述第三计算公式为:
(r1,r2,……,rn)=min L
其中,min L为L取最小时对应的目标系数。
在本发明实施例中,通过对于触摸显示屏上以多窗口的方式显示所述至少一个目标项目文件过程中的激光笔的动作进行捕捉,获得了一个拟合的激光笔动作曲线,进而利用激光笔动作曲线实现在当前触摸屏幕上显示出激光笔的轨迹效果,完成利用激光笔的互动。不会出现断点、抖动等情况,且能够保证显示清晰,能够完成触控显示屏的激光笔展示。
图14为根据一示例性实施例示出的通过去除抖动和相似度对比确定手势类型的流程图。
如图14所示,通过去除抖动和相似度对比确定具体的手势类型,具体包括:
步骤S1401,获取是否获得手势信号,若获得手势信号将其存储为第四计算公式形式的手势向量;
步骤S1402,获取全部的手势向量,判断是否有满足第五计算公式的手势向量,若存储满足第五计算公式的手势向量,则发出关闭手势滤波指令;
步骤S1403,判断是否收到关闭手势滤波指令,若未收到所述关闭手势滤波指令则将全部的所述手势向量利用第六计算公式进行数据滤波,生成目标手势数据;
步骤S1404,若收到所述关闭手势滤波指令,则直接将所述手势向量保存为目标手势数据;
步骤S1405,对所述目标手势数据通过多项式拟合保存为手势函数,利用第七计算公式与当前的手势库中的函数进行对比,获得最接近的目标手势函数的手势编号;
所述第四计算公式为:
Ai=(xi,yi,zi)
其中,xi为第i个所述手势向量横坐标,yi为第i个所述手势向量纵坐标,zi为第i个所述手势向量时间坐标;
所述第五计算公式为:
其中,10s为十秒,k1、k2分别为在关闭手势滤波指令时所述手势向量横坐标的上、下限,k3、k4分别为在关闭手势滤波指令时所述手势向量纵坐标的上、下限;
所述第六计算公式为:
其中,a1、a2分别为所述手势向量横坐标、所述手势向量纵坐标的二阶滤波系数,b1、b2分别为所述手势向量横坐标、所述手势向量纵坐标的一阶滤波系数,c1、c2分别为所述手势向量横坐标、所述手势向量纵坐标的常数,X为录波后的所述手势向量横坐标,x为录波前的所述手势向量横坐标,Y为录波后的所述手势向量纵坐标,y为录波前的所述手势向量纵坐标;
所述第七计算公式为:
其中,k为手势库最解决近目标手势函数的的手势编号,gk(zl)为手势库中的手势编号k的手势函数中第l个所述手势向量时间坐标对应的所述手势向量横坐标、纵坐标的绝对值和,f(zl)为多项式拟合获得的第l个所述手势向量时间坐标对应的所述手势向量横坐标、纵坐标的绝对值和,gk(z0)为手势库中的的手势编号k的手势函数中初始的所述手势向量时间坐标对应的所述手势向量横坐标、纵坐标的绝对值和,f(z0)为多项式拟合获得的初始的所述手势向量时间坐标对应的所述手势向量横坐标、纵坐标的绝对值和,M为对比的时间坐标总数。
在本发明实施例中,考虑了手势操作时的因为手部抖动而引起的交互数据错误的情况,在提取手势操作函数的基础上,对数据进行低通滤波,将高频的手势抖动信号滤除后获得的状态数据作为触摸屏幕显示时实际获得的数据,但考虑到有特殊情况下,手势的抖动为用户使用时的特殊需要,因此在进行手势抖动滤除之前,判断用户是否点击对应的节点区域。
在一个实施例中,优选地,所述方法还包括:
在每个窗口的指定位置,显示窗口编辑按钮,其中,所述窗口编辑按钮包括以下至少一项:锁定、批注、剪裁、二维码分享、全屏和关闭;
接收对目标窗口的任一目标窗口编辑按钮的选定命令,以对所述目标窗口执行所述任一目标窗口编辑按钮对应的操作
根据本发明实施例的第三方面,提供一种基于触控显示屏的智能交互显示系统,系统包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,处理器被配置为:
接收在用户个人账户下输入的项目空间名称,建立项目空间;
接收输入的工作空间信息,以在所述项目空间中建立工作空间,其中,所述工作空间信息包括以下至少一项:工作空间名称、排序序号、是否缺省、样式、工作空间背景图,其中,每个项目空间中包括至少一个工作空间;
接收上传的项目文件,并将所述项目文件存储至对应的工作空间,其中,每个工作空间包括至少一种类型的项目文件;
接收对所述工作空间中至少一个目标项目文件的选定命令,根据所述选定命令打开所述至少一个目标项目文件,并在触摸显示屏上以多窗口的方式显示所述至少一个目标项目文件,其中,每个目标项目文件对应一个窗口,且多个目标项目文件的类型可不同。
根据本发明实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现第一方面中任一项方法的步骤。
进一步可以理解的是,本发明中“多个”是指两个或两个以上,其它量词与之类似。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。单数形式的“一种”、“”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
进一步可以理解的是,术语“第一”、“第二”等用于描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开,并不表示特定的顺序或者重要程度。实际上,“第一”、“第二”等表述完全可以互换使用。例如,在不脱离本发明范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。
进一步可以理解的是,本发明实施例中尽管在附图中以特定的顺序描述操作,但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作,或是要求执行全部所示的操作以得到期望的结果。在特定环境中,多任务和并行处理可能是有利的。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (10)
1.一种基于触控显示屏的智能交互显示方法,其特征在于,所述方法包括:
接收在用户个人账户下输入的项目空间名称,建立项目空间;
接收输入的工作空间信息,以在所述项目空间中建立工作空间,其中,所述工作空间信息包括以下至少一项:工作空间名称、排序序号、是否缺省、样式、工作空间背景图,其中,每个项目空间中包括至少一个工作空间;
接收上传的项目文件,并将所述项目文件存储至对应的工作空间,其中,每个工作空间包括至少一种类型的项目文件;
接收对所述工作空间中至少一个目标项目文件的选定命令,根据所述选定命令打开所述至少一个目标项目文件,并在触摸显示屏上以多窗口的方式显示所述至少一个目标项目文件,其中,每个目标项目文件对应一个窗口,且多个目标项目文件的类型可不同;
其中,在所述触摸显示屏上以多窗口的方式显示所述至少一个目标项目文件过程中,动态捕捉激光笔的动作,并通过所述激光笔的指示位置进行优化显示,具体流程包括:
获取激光笔指示的区域,在所述触摸显示屏上进行坐标提取;
根据所述坐标提取,生成1秒内的全部激光笔坐标点;
以100ms为周期,提取激光笔的坐标点坐标,生成10个横坐标的实际值和10个纵坐标的实际值;
根据所述10个横坐标的实际值利用第一计算公式获取计算10个纵坐标的理论值;
利用第二计算公式求取所述10个纵坐标的理论值与所述10个纵坐标的实际值的标准偏差;
自动将预设的全部参数系数带入第三计算公式,获取所述10个纵坐标的理论值与所述10个纵坐标的实际值的标准偏差的最小值;
提取所述标准偏差的最小值对应的参数系数,存储为目标系数;
将所述目标系数带入所述第一计算公式在所述触摸显示屏上展示所有的激光笔轨迹;
所述第一计算公式为:
A(h)=r0+r1h1+r2h2+……+rnhn
其中,h为横坐标的实际值,A(h)为横坐标的实际值h对应的纵坐标的理论值,r0、r1、……rn分别为第0、1、……、n个参数系数,n为纵坐标预测维度,n取10-20之间的整数;
所述第二计算公式为:
L=Σ(lj 2-A(qj)2)
其中,L为所述10个纵坐标的理论值与所述10个纵坐标的实际值的标准偏差,Σ为从1到10将所有的j对应的qj和lj输入后的加和,lj为第j个横坐标的实际值,qj为第j个纵坐标的实际值,A(qj)为横坐标的实际值qj对应的纵坐标的理论值,j为所述激光笔坐标点的编号;
所述第三计算公式为:
(r1,r2,……,rn)=min L
其中,min L为L取最小时对应的目标系数。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在每个窗口的指定位置,显示窗口编辑按钮,其中,所述窗口编辑按钮包括以下至少一项:锁定、批注、剪裁、二维码分享、全屏和关闭;
接收对目标窗口的任一目标窗口编辑按钮的选定命令,以对所述目标窗口执行所述任一目标窗口编辑按钮对应的操作。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收用户在所述触摸显示屏上对目标窗口的手势操作,根据所述手势操作,执行对应的处理操作,并对所述目标窗口的展示内容进行实时渲染,其中,所述手势操作包括窗口放大手势操作、窗口缩小手势操作和窗口移动手势操作;
在所述手势操作过程中,通过去除抖动和相似度对比确定具体的手势类型,具体包括:
获取是否获得手势信号,若获得手势信号将其存储为第四计算公式形式的手势向量;
获取全部的手势向量,判断是否有满足第五计算公式的手势向量,若存储满足第五计算公式的手势向量,则发出关闭手势滤波指令;
判断是否收到关闭手势滤波指令,若未收到所述关闭手势滤波指令则将全部的所述手势向量利用第六计算公式进行数据滤波,生成目标手势数据;
若收到所述关闭手势滤波指令,则直接将所述手势向量保存为目标手势数据;
对所述目标手势数据通过多项式拟合保存为手势函数,利用第七计算公式与当前的手势库中的函数进行对比,获得最接近的目标手势函数;
所述第四计算公式为:
Ai=(xi,yi,zi)
其中,xi为第i个所述手势向量横坐标,yi为第i个所述手势向量纵坐标,zi为第i个所述手势向量时间坐标;
所述第五计算公式为:
其中,10s为十秒,k1、k2分别为在关闭手势滤波指令时所述手势向量横坐标的上、下限,k3、k4分别为在关闭手势滤波指令时所述手势向量纵坐标的上、下限;
所述第六计算公式为:
其中,a1、a2分别为所述手势向量横坐标、所述手势向量纵坐标的二阶滤波系数,b1、b2分别为所述手势向量横坐标、所述手势向量纵坐标的一阶滤波系数,c1、c2分别为所述手势向量横坐标、所述手势向量纵坐标的常数,X为录波后的所述手势向量横坐标,x为录波前的所述手势向量横坐标,Y为录波后的所述手势向量纵坐标,y为录波前的所述手势向量纵坐标;
所述第七计算公式为:
其中,k为手势库最解决近目标手势函数的的手势编号,gk(zl)为手势库中的手势编号k的手势函数中第l个所述手势向量时间坐标对应的所述手势向量横坐标、纵坐标的绝对值和,f(zl)为多项式拟合获得的第l个所述手势向量时间坐标对应的所述手势向量横坐标、纵坐标的绝对值和,gk(z0)为手势库中的的手势编号k的手势函数中初始的所述手势向量时间坐标对应的所述手势向量横坐标、纵坐标的绝对值和,f(z0)为多项式拟合获得的初始的所述手势向量时间坐标对应的所述手势向量横坐标、纵坐标的绝对值和,M为对比的时间坐标总数。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据接收到的文件查看指令,在所述触摸显示屏上分类显示目标工作空间内的所有项目文件。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当检测到任一目标窗口被拖动至所述触摸显示屏的边缘时,将所述任一目标窗口显示在目标区域,其中,目标区域的面积为触摸显示屏面积的一半,并将其他窗口以缩略图方式显示在剩余区域内;
接收对所述缩略图中任一其他窗口的选中命令,将所述任一其他窗口显示在所述剩余区域内,以实现分屏对比功能。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据接收到的原生打开指令,将选中的目标项目文件以原始格式进行打开。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当接收到对所述触摸显示屏的长按指令时,打开主菜单,所述主菜单显示包含的辅助工具,其中,所述辅助工具包括以下至少一项:全屏书写、浏览器、文本框、画板、视频采集、远程互动、无线投屏、视频文件、录屏、随堂测试和云课堂。
8.根据权利要求7所述的方法,其特征在于,所述云课堂的功能菜单包括:邀请、状态、举手、互动、设置、静音/取消静音、关闭摄像头/打开摄像头、音量、共享、上课者、布局、开始录制、开始直播和显示项目文件;
邀请的方式包括:链接快速入课、浏览器入课、硬终端入课和电话入课;
共享的内容包括:共享桌面、共享文档和共享白板;
上课者的显示包括已上课人员列表和等待入课人员列表。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将用户个人账户下的所有内容同步至云端服务器。
10.一种基于触控显示屏的智能交互显示系统,其特征在于,所述系统包括:
第一建立模块,用于接收在用户个人账户下输入的项目空间名称,建立项目空间;
第二建立模块,用于接收输入的工作空间信息,以在所述项目空间中建立工作空间,其中,所述工作空间信息包括以下至少一项:工作空间名称、排序序号、是否缺省、样式、工作空间背景图,其中,每个项目空间中包括至少一个工作空间;
存储模块,用于接收上传的项目文件,并将所述项目文件存储至对应的工作空间,其中,每个工作空间包括至少一种类型的项目文件;
显示模块,用于接收对所述工作空间中至少一个目标项目文件的选定命令,根据所述选定命令打开所述至少一个目标项目文件,并在触摸显示屏上以多窗口的方式显示所述至少一个目标项目文件,其中,每个目标项目文件对应一个窗口,且多个目标项目文件的类型可不同。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111191415.8A CN113867574B (zh) | 2021-10-13 | 2021-10-13 | 基于触控显示屏的智能交互显示方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111191415.8A CN113867574B (zh) | 2021-10-13 | 2021-10-13 | 基于触控显示屏的智能交互显示方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113867574A true CN113867574A (zh) | 2021-12-31 |
CN113867574B CN113867574B (zh) | 2022-06-24 |
Family
ID=78998884
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111191415.8A Active CN113867574B (zh) | 2021-10-13 | 2021-10-13 | 基于触控显示屏的智能交互显示方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113867574B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090184943A1 (en) * | 2006-05-17 | 2009-07-23 | Eidgenossische Technische Hochschule | Displaying Information Interactively |
US20100214214A1 (en) * | 2005-05-27 | 2010-08-26 | Sony Computer Entertainment Inc | Remote input device |
US20160034038A1 (en) * | 2013-12-25 | 2016-02-04 | Boe Technology Group Co., Ltd. | Interactive recognition system and display device |
US20160077674A1 (en) * | 2014-09-17 | 2016-03-17 | Microsoft Corporation | Task completion across devices using a shared work space |
CN106095141A (zh) * | 2016-06-12 | 2016-11-09 | 福建天泉教育科技有限公司 | 手机端模拟激光笔的方法及系统 |
CN107756408A (zh) * | 2017-11-22 | 2018-03-06 | 浙江优迈德智能装备有限公司 | 一种基于主动红外双目视觉的机器人轨迹示教装置及方法 |
US20180077092A1 (en) * | 2016-09-09 | 2018-03-15 | Tariq JALIL | Method and system for facilitating user collaboration |
CN112180614A (zh) * | 2020-10-29 | 2021-01-05 | Tcl华星光电技术有限公司 | 圆偏光激光笔及激光远程交互装置 |
US20210076002A1 (en) * | 2017-09-11 | 2021-03-11 | Michael H Peters | Enhanced video conference management |
CN113031841A (zh) * | 2021-03-08 | 2021-06-25 | 中国航空工业集团公司北京长城航空测控技术研究所 | 一种激光笔交互控制系统和激光笔交互控制方法 |
-
2021
- 2021-10-13 CN CN202111191415.8A patent/CN113867574B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100214214A1 (en) * | 2005-05-27 | 2010-08-26 | Sony Computer Entertainment Inc | Remote input device |
US20090184943A1 (en) * | 2006-05-17 | 2009-07-23 | Eidgenossische Technische Hochschule | Displaying Information Interactively |
US20160034038A1 (en) * | 2013-12-25 | 2016-02-04 | Boe Technology Group Co., Ltd. | Interactive recognition system and display device |
US20160077674A1 (en) * | 2014-09-17 | 2016-03-17 | Microsoft Corporation | Task completion across devices using a shared work space |
CN106095141A (zh) * | 2016-06-12 | 2016-11-09 | 福建天泉教育科技有限公司 | 手机端模拟激光笔的方法及系统 |
US20180077092A1 (en) * | 2016-09-09 | 2018-03-15 | Tariq JALIL | Method and system for facilitating user collaboration |
US20210076002A1 (en) * | 2017-09-11 | 2021-03-11 | Michael H Peters | Enhanced video conference management |
CN107756408A (zh) * | 2017-11-22 | 2018-03-06 | 浙江优迈德智能装备有限公司 | 一种基于主动红外双目视觉的机器人轨迹示教装置及方法 |
CN112180614A (zh) * | 2020-10-29 | 2021-01-05 | Tcl华星光电技术有限公司 | 圆偏光激光笔及激光远程交互装置 |
CN113031841A (zh) * | 2021-03-08 | 2021-06-25 | 中国航空工业集团公司北京长城航空测控技术研究所 | 一种激光笔交互控制系统和激光笔交互控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113867574B (zh) | 2022-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11301200B2 (en) | Method of providing annotation track on the content displayed on an interactive whiteboard, computing device and non-transitory readable storage medium | |
CN106776514B (zh) | 一种批注方法及装置 | |
CN108881429B (zh) | 用于共享演示数据和注释的方法和设备 | |
US9049482B2 (en) | System and method for combining computer-based educational content recording and video-based educational content recording | |
JP6794711B2 (ja) | ドキュメントのウェブベースコピーを生成する方法、プログラム及び装置 | |
EP3982237A1 (en) | Method and apparatus for operating intelligent interaction tablet, terminal device, and storage medium | |
US20140033040A1 (en) | Portable device with capability for note taking while outputting content | |
US20150121189A1 (en) | Systems and Methods for Creating and Displaying Multi-Slide Presentations | |
CA2963850A1 (en) | Systems and methods for creating and displaying multi-slide presentations | |
JP2024521613A (ja) | ビデオコンテンツとのインタラクションを容易にするユーザインターフェースおよびツール | |
CN112839190B (zh) | 虚拟图像与现实场景同步视频录制或直播的方法 | |
WO2021258917A1 (zh) | 智能交互方法及设备、存储介质 | |
US10990344B2 (en) | Information processing apparatus, information processing system, and information processing method | |
US11743417B2 (en) | Composite video with live annotation | |
JP2017194944A (ja) | ドキュメントを共有する方法、プログラム及び装置 | |
JP2008250700A (ja) | 情報処理装置、ウインドウ再生方法及びプログラム | |
CN113867574B (zh) | 基于触控显示屏的智能交互显示方法及装置 | |
Xiao et al. | Live Video System-A Lecturer Mobile Assistant | |
Liao et al. | Shared interactive video for teleconferencing | |
US11557065B2 (en) | Automatic segmentation for screen-based tutorials using AR image anchors | |
CN112286502A (zh) | 一种基于触控操作的多窗口内容混排和高效协作的ui架构 | |
CN114969580A (zh) | 会议内容记录方法、装置、会议系统和存储介质 | |
KR20130130396A (ko) | 교육매체 제작방법 및 교육매체 시스템 | |
TW201322102A (zh) | 操作電腦物件之方法及其程式產品 | |
EP4340380A1 (en) | Video generation method and apparatus, device and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |