CN110716642B - 一种调节显示界面的方法与设备 - Google Patents
一种调节显示界面的方法与设备 Download PDFInfo
- Publication number
- CN110716642B CN110716642B CN201910935058.8A CN201910935058A CN110716642B CN 110716642 B CN110716642 B CN 110716642B CN 201910935058 A CN201910935058 A CN 201910935058A CN 110716642 B CN110716642 B CN 110716642B
- Authority
- CN
- China
- Prior art keywords
- information
- reading
- user
- display interface
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000015654 memory Effects 0.000 claims description 37
- 238000001514 detection method Methods 0.000 claims description 29
- 238000012790 confirmation Methods 0.000 claims description 5
- 210000001508 eye Anatomy 0.000 description 31
- 230000003287 optical effect Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 9
- 210000004087 cornea Anatomy 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 230000005291 magnetic effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请的目的是提供一种调节显示界面的方法与设备,具体包括:本申请通过摄像装置拍摄对应阅读应用处于书籍阅读状态时关于用户的图像信息;获取所述阅读应用处于书籍阅读状态的阅读时长信息;根据所述图像信息确定所述用户与所述用户设备间的视距信息;根据所述视距信息和所述阅读时长信息调节所述阅读应用的显示界面。本方法通过结合视距信息和阅读时长信息对阅读应用的显示界面进行调节,该调节功能可以实现实时智能调节,为用户提供良好的阅读体验。
Description
技术领域
本申请涉及通信领域,尤其涉及一种调节显示界面的技术。
背景技术
随着网络的普及,越来越多的人通过移动设备或者PC设备进行阅读,不同于传统的书籍阅读,电子书阅读是在移动设备或者PC设备上通过多样化的阅读形式向用户提供各类电子书内容。电子书阅读为用户提供各类题材内容的阅读需求,各种电子书阅读应用为用户提供各类电子书内容,包括图书、杂志、漫画等;用户可以在前端上选择感兴趣的内容在线阅读,也可请求下载之后离线阅读。电子书阅读应用中进行阅读时,仅能通过手动调节显示界面中字体格式、字体大小等。
发明内容
本申请的一个目的是提供一种调节显示界面的方法与设备。
根据本申请的一个方面,提供了一种调节显示界面的方法,该方法包括:
通过摄像装置拍摄对应阅读应用处于书籍阅读状态时关于用户的图像信息;
获取所述阅读应用处于书籍阅读状态的阅读时长信息;
根据所述图像信息确定所述用户与所述用户设备间的视距信息;
根据所述视距信息和所述阅读时长信息调节所述阅读应用的显示界面。
根据本申请的另一个方面,提供了一种调节显示界面的设备,该方法包括:
一一模块,用于通过摄像装置拍摄对应阅读应用处于书籍阅读状态时关于用户的图像信息;
一二模块,用于获取所述阅读应用处于书籍阅读状态的阅读时长信息;
一三模块,用于根据所述图像信息确定所述用户与所述用户设备间的视距信息;
一四模块,用于根据所述视距信息和所述阅读时长信息调节所述阅读应用的显示界面。
根据本申请的一个方面,提供了一种调节显示界面的设备,该设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如上所述任一方法的操作。
根据本申请的另一个方面,提供了一种存储指令的计算机可读介质,所述指令在被执行时使得系统进行如上所述任一方法的操作。
与现有技术相比,本申请通过摄像装置拍摄对应阅读应用处于书籍阅读状态时关于用户的图像信息;获取所述阅读应用处于书籍阅读状态的阅读时长信息;根据所述图像信息确定所述用户与所述用户设备间的视距信息;根据所述视距信息和所述阅读时长信息调节所述阅读应用的显示界面。本方法通过结合视距信息和阅读时长信息对阅读应用的显示界面进行调节,该调节功能可以实现实时智能调节,为用户提供良好的阅读体验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出根据本申请一个实施例的一种调节显示界面的方法流程图;
图2示出根据本申请另一个实施例一种确定视距信息的算法流程图;
图3示出根据本申请一个实施例的视线跟踪装置光路图;
图4示出根据本申请一个实施例的眼睛光轴方向的坐标系图;
图5示出根据本申请一个实施例的屏幕坐标系中计算眼睛与屏幕距离的示例图;
图6示出根据本申请一个实施例的一种用户设备的功能模块;
图7可被用于实施本申请中所述的各个实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中,终端、服务网络的设备和可信方均包括一个或多个处理器(例如,中央处理器(Central Processing Unit,CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RandomAccess Memory,RAM)和/或非易失性内存等形式,如只读存储器(Read Only Memory,ROM)或闪存(Flash Memory)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(Phase-Change Memory,PCM)、可编程随机存取存储器(Programmable Random Access Memory,PRAM)、静态随机存取存储器(Static Random-Access Memory,SRAM)、动态随机存取存储器(Dynamic Random AccessMemory,DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、数字多功能光盘(Digital Versatile Disc,DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品,例如智能手机、平板电脑等,所述移动电子产品可以采用任意操作系统,如Android操作系统、iOS操作系统等。其中,所述网络设备包括一种能够按照事先设定或存储的指令,自动进行数值计算和信息处理的电子设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit,ASIC)、可编程逻辑器件(Programmable Logic Device,PLD)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、数字信号处理器(Digital Signal Processor,DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云;在此,云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地,所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然,本领域技术人员应能理解上述设备仅为举例,其他现有的或今后可能出现的设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
在本申请的描述中,“多个”的含义是两个或者更多,除非另有明确具体的限定。
图1示出了根据本申请一个方面的一种调节显示界面的方法,其中,该方法包括步骤S101、步骤S102、步骤S103以及步骤S104。在步骤S101中,用户设备通过摄像装置拍摄对应阅读应用处于书籍阅读状态时关于用户的图像信息;在步骤S102中,用户设备获取所述阅读应用处于书籍阅读状态的阅读时长信息;在步骤S103中,用户设备根据所述图像信息确定所述用户与所述用户设备间的视距信息;在步骤S104中,用户设备根据所述视距信息和所述阅读时长信息调节所述阅读应用的显示界面。在此,本方案主要通过用户设备进行执行,所述用户设备包括但不限于包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的计算设备,例如智能手机、平板电脑、PC端、电子书阅读器等;本申请所指的阅读应用于用于呈现对应的电子书,电子书包括但不限于电子图书、杂志、期刊、漫画、连载小说等。
在步骤S101中,用户设备通过摄像装置拍摄对应阅读应用处于书籍阅读状态时关于用户的图像信息。例如,用户持有用户设备,所述用户设备安装有对应的阅读应用或者阅读插件等,在对应阅读应用通过显示装置中呈现电子书籍等供用户进行阅读。用户设备还包括摄像装置,用于在对应阅读应用处于书籍阅读状态时拍摄关于用户的图像信息,如当用户设备检测到阅读应用处于书籍阅读状态时,通过摄像装置实时拍摄关于用户的图像信息或者间隔一定时间拍摄一次关于用户的图像信息等。
在步骤S102中,用户设备获取所述阅读应用处于书籍阅读状态的阅读时长信息。例如,所述用户设备统计所述显示装置呈现电子书籍的时间,通过当前时间和开始呈现电子书籍的起始时间计算阅读时长信息,当然,该市场还包括阅读应用中关于电子书籍的切换等操作,若阅读应用处于书籍阅读状态的结束时间至下一次开始书籍阅读状态的时间差小于一定时间阈值(如30秒等),将这两次书籍阅读状态作为一次书籍阅读状态进行时间计算等,即以第一次书籍阅读状态的起始时间作为起始点,计算当前阅读时长等。
在步骤S103中,用户设备根据所述图像信息确定所述用户与所述用户设备间的视距信息。例如,用户设备根据获取到的图像信息,通过图像信息建立对应坐标系,在对应坐标系中计算用户与用户设备间的视距信息,即计算屏幕与眼睛的距离等,在一些实施方式中,用户设备对该图像信息进行预处理,如去噪,平滑等,随后,基于预处理后的图像信息确定对应的视距信息。在一些实施方式中,步骤S103中包括子步骤S1031(未示出)、子步骤S1032(未示出)以及子步骤S1033(未示出)。在步骤S1031中,用户设备根据所述图像信息进行人脸检测,检测所述图像信息中所述用户的人脸信息;在步骤S1032中,用户设备根据所述用户的人脸信息进行人眼检测,确定所述图像信息中所述用户的人眼信息;在步骤S1033中,用户设备根据所述人眼信息确定所述用户与所述用户设备间的视距信息。例如,如图2所述的流程图,用户设备获取到图像信息后,先根据对应的图像信息进行人脸检测,确定该图像信息中是否存在人脸,若检测到人脸则根据检测到的人脸进行人眼检测,根据确定的人眼信息确定对应的视距信息等。其中,所述人脸信息包括图像信息中人脸在图像信息的图像坐标等,对应人眼信息包括图像信息中人眼在空间坐标系中的空间坐标等。在一些实施方式中,在步骤S1031中,用户设备根据所述图像信息进行人脸检测,若检测到多个人脸信息,将所述多个人脸信息与所述用户设备对应的模板人脸信息进行匹配,确定所述图像信息中所述用户的人脸信息。例如,所述人脸检测算法包括但不限于单个CNN(Convolutioanal Neural Network)人脸检测方法、级联CNN人脸检测方法、OpenCV人脸检测方法、Dlib人脸检测方法、libfacedetect人脸检测方法、Seetaface人脸检测方法等。当然,本领域技术人员应能理解上述人脸检测算法仅为举例,其他现有的或今后可能出现的人脸检测算法如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。用户设备通过人脸检测算法在图像信息中检测是否存在人脸,若检测到图像信息中存在多个人脸信息,进一步检测是否存在用户设备对应的主人的人脸信息,如用户设备存储有主人对应的模板人脸信息,基于该模板人脸信息对应的特征点信息与检测到的多个人脸信息的特征点进行匹配,若存在某人脸信息的特征点信息与模板人脸信息的特征点信息的相似度达到相似度阈值,则确定该人脸信息为对应主人的人脸信息,将该人脸信息作为所述用户的人脸信息,进行后续的人眼检测等。在另一些实施方式中,步骤S1031还包括:若未检测到人脸信息,通过所述摄像装置继续拍摄关于所述用户的图像信息,并根据继续拍摄的图像信息进行人脸检测,拍摄的图像信息中检测到至少一个人脸信息。例如,用户设备对获取到的图像信息进行人脸检测,若基于该图像信息并未检测到人脸,则用户设备通过对应摄像装置继续获取图像信息,并基于继续获取的图像信息进行人脸检测,直至检测到存在人脸信息,或者直至检测到存在用户设备对应用户的人脸信息为止。在一些实施方式中,所述方法还包括步骤S105(未示出),在步骤S105中,若未检测到人脸信息的时长大于或等于时长阈值,将所述阅读应用切换至休眠模式。例如,若用户设备一直未检测到拍摄的图像信息中存在人脸信息,当未检测到人脸信息的时长大于或等于时长阈值,用户设备将该阅读应用切换至休眠模式,其中,未检测到人脸信息的时长以第一张未检测到人脸信息的图像信息的拍摄时间为起始点计算,对应休眠模式用于使得用户设备进入省电模式或者暂时休眠等,如屏幕变暗或者变黑等。在另一些实施方式中,在步骤S1033中,所述用户设备根据所述人眼信息确定对应的角膜中心坐标和瞳孔中心坐标,其中,所述角膜中心坐标和所述瞳孔中心坐标包含于所述人眼信息对应的眼睛三维空间坐标系,所述眼睛三维空间坐标系是以所述用户设备的屏幕中心为原点利用右手法则建立的世界坐标系;根据所述角膜中心坐标和所述瞳孔中心坐标确定对应的视点坐标;根据所述视点坐标确定所述用户与所述用户设备的视距信息。例如,如图3所示,1为角膜曲面中心C,2为眼球中心,3为透镜,4为虹膜,5为眼球的水状体,6为瞳孔中心P,7为角膜面,8为发射点rj,9为发射点qij,10为虚光斑,11为用户设备显示装置的光源li,12为法线1,13为摄像装置的光学中心oj,14为图像瞳孔中心vj,15为图像光斑中心uij,16为用户设备前置摄像装置,17为视轴,18为法线2,19为光轴,20为眼球。计算用户与屏幕的距离,采用精确的计算用户与目标屏幕距离的方法,具体为:瞳孔角膜反射算法,建立眼睛三维空间模型,得到用户眼睛三维空间坐标,精确计算用户眼睛与目标屏幕距离。
计算用户与所述目标屏幕距离的方法,更具体步骤为:
1.计算用户角膜中心C和瞳孔中心P
参照图3,以屏幕中心为原点,用右手原则建立世界坐标系,其中X轴为水平轴;所有点都是用右手世界坐标系表示的三维坐标点。
光源lj的入射光线与角膜形成的交点qij,在角膜形成的反射光线通过摄像机的光学中心oj与相机平面交点uij,从而形成表达式(1)。假设角膜半径为R和角膜中心为C,可以形成公式(2)。基于反射过程的两个条件:1)入射光线,反射光线和反射点是共面的,2)入射角和反射角是相等的;从而可以得到公式(3)和(4),其中,公式(1)至(4)如下:
||qij-c‖=R (2)
(li-oj)×(qij-oj)*(c-oj)=0 (3)
(li-qij)*(qij-c)*||oj-qij||=(oj-qij)*(qij-c)*||li-qij|| (4)
其中,所述为校准参数。再结合瞳孔中心P形成的光线交角膜反射点为rj,通过摄像机光学中心oj,交摄像机平面vj,从而形成公式(5),同时由于反射点在角膜平面上,可以表示为(6),在满足①入射光线,反射光线和反射点共面和②入射角和反射角相等的条件下,可以得到公式(7)和(8):
||rj-c||=R (6)
(rj-oj)*(c-oj)*(p-oj)=0 (7)
n1*||(rj-c)×(p-rj)||*||oj-rj||=n2*||(rj-c)×(oj-rj)||*||p-rj|| (8)
最后,获取瞳孔中心p与角膜中心c距离为K,形成公式:
||p-c||=K (9)
假设已经标定出眼睛参数R,K和n1,对于计算角膜中心C和瞳孔中心P,由于光源l1,图像光斑u1,摄像机光学中心o组成的平面m1与光源l2,图像光斑u2,摄像机光学中心O组成的平面m2形成的交线经过c(角膜中心),o(摄像机光学中心)两点。由此得到公式(10),(11),计算出co直线方程方向为co(w,e,r)。由于已知co直线方程和pc直线方程,从而可以计算出眼球角膜中心c的坐标(cx,cy,cz),同时计算出瞳孔中心P的坐标(px,py,pz)。公式如下:
(l1-o)×(u1-0)(c-0)=0 (10)
(l2-o)×(u2-0)(c-0)=0 (11)
2.计算用户眼睛视点g的坐标
标定出眼球视角(β,α),如图5,建立眼睛光轴方向的坐标系图;再根据图4,可以用公式(12),从而可以计算出简化公式(13,14),视轴可以用参数方程表达成公式(15),其中g为表示的视点,由于显示屏被认为Z=0。可知gz=0,从而可以计算出kg,公式(16),从而可以实时计算出眼睛视点坐标。公式(12)至(16)如下:
3.计算用户眼睛与目标屏幕的距离
由于本实例以目标屏幕中心为世界坐标系,从而目标屏幕中心为S(0,0,0),而角膜中心C(cx,cy,cz)。所以用户与所述目标屏幕距离Dist,公式(17)如下:
基于前述过程可以得到用户与用户设备之间的视距信息。
在步骤S104中,用户设备根据所述视距信息和所述阅读时长信息调节所述阅读应用的显示界面。例如,用户设备获取对应的视距信息以及阅读时长信息后,根据该视距信息和阅读时长信息调节阅读应用的显示界面,如调整该显示界面中呈现的字体大小、字体格式信息、字体颜色信息、阅读背景样式信息、阅读背景颜色信息等。如在一些实施方式中,所述步骤S104包括子步骤S1041(未示出)和子步骤S1042(未示出)。在步骤S1041中,用户设备根据所述视距信息调节所述阅读应用的显示界面中字体大小;在步骤S1042中,若所述阅读时长信息满足阅读时长阈值,调节所述阅读应用的显示界面的阅读环境信息,其中,所述阅读环境信息包括但不限于:字体格式信息;字体颜色信息;阅读背景样式信息;阅读背景颜色信息。例如,用户设备根据用户与用户设备的视距信息调整对应的字体大小,当视距较大时,呈现较大字体,当视距较小时,呈现较小字体等;当阅读时长较长时,用户设备调整显示界面中的阅读环境信息,如调整对应的保护色(如绿色等)作为对应的背景颜色,或者调整对应的字体格式(如将字体从宋体调整为楷体等),或者呈现动态的阅读背景样式,还如在改变背景颜色的同时调整字体颜色等,达到放松用户眼睛的效果等。如在一些实施方式中,在步骤S1041中,若所述视距信息满足正常视距阈值,根据所述视距信息调节所述阅读应用的显示界面中字体大小。用户设备根据正常的视距信息(如30cm-60cm视为正常视距等),当当前用户与用户设备的视距信息处于正常视距内,随着距离的增加调大字体,随着距离的减少缩小字体等。在另一些实施方式中,所述方法还包括步骤S106(未示出),若所述视距信息不满足正常视距阈值,生成并呈现对应的视距提醒信息,其中,所述视距提醒信息与所述视距信息相对应。例如,对应的正常视距阈值为默认设置或者用户设置的视距区间,如30cm-60cm等,当用户与用户设备的视距信息处于该正常视距区间之外,用户设备生成对应的视距提醒信息,并呈现该视距提醒信息,其中,视距提醒信息与用户当前的视距信息相关,如当前用户的视距信息(如25cm)若小于该正常视距区间的最小值,对应视距提醒信息包括提醒用户适当拉远视距信息的提示信息,若当前用户的视距信息(如70cm)若大于该正常视距区间的最大值,对应视距提醒信息包括提醒用户适当拉近视距信息的提示信息等。在一些实施方式中,所述若所述阅读时长信息满足阅读时长阈值,调节所述阅读应用的显示界面的阅读环境信息,包括:若所述阅读时长信息满足阅读时长阈值,生成并呈现对应的阅读时长提醒信息,其中,所述阅读时长提醒信息包括所述阅读应用的阅读环境信息的调节提示信息;若获取到所述用户关于所述调节提示信息的确认操作,调节所述阅读应用的显示界面的阅读环境信息。例如,阅读应用内设置有对应的阅读时长阈值(如40min等),该阅读时长阈值可以是应用内默认的,也可以是用户设置的,当用户的阅读时长信息满足该阅读时长阈值,即用户的阅读时长信息满足40min,用户设备生成对应的阅读时长提醒信息,该阅读时常提醒信息包括对应的阅读环境的调节信息,如调整对应的保护色(如绿色等)作为对应的背景颜色,或者调整对应的字体格式(如将字体从宋体调整为楷体等),或者呈现动态的阅读背景样式,还如在改变背景颜色的同时调整字体颜色等。随后,用户设备呈现该阅读时长提醒信息,并获取用户关于该阅读时长提醒信息的确认或取消操作,若获取到对应确认操作,用户设备调节显示界面的阅读环境信息等,使用户的眼睛能够处于较轻松的阅读环境,为用户提供叫良好的阅读环境。
图6示出了根据本申请一个方面的一种调节显示界面的用户设备,其中,该设备包括一一模块101、一二模块102、一三模块103以及一四模块104。一一模块101,用于通过摄像装置拍摄对应阅读应用处于书籍阅读状态时关于用户的图像信息;一二模块102,用于获取所述阅读应用处于书籍阅读状态的阅读时长信息;一三模块103,用于根据所述图像信息确定所述用户与所述用户设备间的视距信息;一四模块104,用于根据所述视距信息和所述阅读时长信息调节所述阅读应用的显示界面。在此,本方案主要通过用户设备进行执行,所述用户设备包括但不限于包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的计算设备,例如智能手机、平板电脑、PC端、电子书阅读器等;本申请所指的阅读应用于用于呈现对应的电子书,电子书包括但不限于电子图书、杂志、期刊、漫画、连载小说等。在此,所述图6示出的一一模块101、一二模块102、一三模块103以及一四模块104的具体实施方式与前述图1示出的步骤S101、步骤S102、步骤S103以及步骤S104的实施例相同或相似,不再赘述,以引用的方式包含于此。
在一些实施方式中,一三模块103中包括一三一单元1031(未示出)、一三二单元1032(未示出)以及一三三单元1033(未示出)。一三一单元1031,用于根据所述图像信息进行人脸检测,检测所述图像信息中所述用户的人脸信息;一三二单元1032,用于根据所述用户的人脸信息进行人眼检测,确定所述图像信息中所述用户的人眼信息;一三三单元1033,用于根据所述人眼信息确定所述用户与所述用户设备间的视距信息。在一些实施方式中,一三一单元1031,用于根据所述图像信息进行人脸检测,若检测到多个人脸信息,将所述多个人脸信息与所述用户设备对应的模板人脸信息进行匹配,确定所述图像信息中所述用户的人脸信息。在另一些实施方式中,,一三一单元1031还用于:若未检测到人脸信息,通过所述摄像装置继续拍摄关于所述用户的图像信息,并根据继续拍摄的图像信息进行人脸检测,拍摄的图像信息中检测到至少一个人脸信息。例如,用户设备对获取到的图像信息进行人脸检测,若基于该图像信息并未检测到人脸,则用户设备通过对应摄像装置继续获取图像信息,并基于继续获取的图像信息进行人脸检测,直至检测到存在人脸信息,或者直至检测到存在用户设备对应用户的人脸信息为止。在一些实施方式中,所述设备还包括一五模块105(未示出),若未检测到人脸信息的时长大于或等于时长阈值,用于将所述阅读应用切换至休眠模式。例如,若用户设备一直未检测到拍摄的图像信息中存在人脸信息,当未检测到人脸信息的时长大于或等于时长阈值,用户设备将该阅读应用切换至休眠模式,其中,未检测到人脸信息的时长以第一张未检测到人脸信息的图像信息的拍摄时间为起始点计算,对应休眠模式用于使得用户设备进入省电模式或者暂时休眠等,如屏幕变暗或者变黑等。在另一些实施方式中,一三三单元1033,用于根据所述人眼信息确定对应的角膜中心坐标和瞳孔中心坐标,其中,所述角膜中心坐标和所述瞳孔中心坐标包含于所述人眼信息对应的眼睛三维空间坐标系,所述眼睛三维空间坐标系是以所述用户设备的屏幕中心为原点利用右手法则建立的世界坐标系;根据所述角膜中心坐标和所述瞳孔中心坐标确定对应的视点坐标;根据所述视点坐标确定所述用户与所述用户设备的视距信息。在此,所述一三一单元1031、一三二单元1032、一三三单元1033以及一五模块105的具体实施方式与前述步骤S1031、步骤S1032、步骤S1033以及步骤S105的实施例相同或相似,不再赘述,以引用的方式包含于此。
如在一些实施方式中,一四模块104包括一四一单元1041(未示出)和一四二单元1042(未示出)。一四一单元1041,用于根据所述视距信息调节所述阅读应用的显示界面中字体大小;一四二单元1042,若所述阅读时长信息满足阅读时长阈值,调节所述阅读应用的显示界面的阅读环境信息,其中,所述阅读环境信息包括但不限于:字体格式信息;字体颜色信息;阅读背景样式信息;阅读背景颜色信息。如在一些实施方式中,一四一单元1041,若所述视距信息满足正常视距阈值,根据所述视距信息调节所述阅读应用的显示界面中字体大小。在此,所述一四一单元1041和一四二单元1042的具体实施方式与前述步骤S1041、步骤S1042的实施例相同或相似,不再赘述,以引用的方式包含于此。
在另一些实施方式中,所述设备还包括一六模块106(未示出),若所述视距信息不满足正常视距阈值,用于生成并呈现对应的视距提醒信息,其中,所述视距提醒信息与所述视距信息相对应。例如,在一些实施方式中,所述若所述阅读时长信息满足阅读时长阈值,调节所述阅读应用的显示界面的阅读环境信息,包括:若所述阅读时长信息满足阅读时长阈值,生成并呈现对应的阅读时长提醒信息,其中,所述阅读时长提醒信息包括所述阅读应用的阅读环境信息的调节提示信息;若获取到所述用户关于所述调节提示信息的确认操作,调节所述阅读应用的显示界面的阅读环境信息。在此,所述一六模块106的具体实施方式与前述步骤S106的实施例相同或相似,不再赘述,以引用的方式包含于此。
除上述各实施例介绍的方法和设备外,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机代码,当所述计算机代码被执行时,如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品,当所述计算机程序产品被计算机设备执行时,如前任一项所述的方法被执行。
本申请还提供了一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个计算机程序;
当所述一个或多个计算机程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如前任一项所述的方法。
图7示出了可被用于实施本申请中所述的各个实施例的示例性系统;
如图7所示在一些实施例中,系统300能够作为各所述实施例中的任意一个上述设备。在一些实施例中,系统300可包括具有指令的一个或多个计算机可读介质(例如,系统存储器或NVM/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如,(一个或多个)处理器305)。
对于一个实施例,系统控制模块310可包括任意适当的接口控制器,以向(一个或多个)处理器305中的至少一个和/或与系统控制模块310通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块310可包括存储器控制器模块330,以向系统存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。
系统存储器315可被用于例如为系统300加载和存储数据和/或指令。对于一个实施例,系统存储器315可包括任意适当的易失性存储器,例如,适当的DRAM。在一些实施例中,系统存储器315可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例,系统控制模块310可包括一个或多个输入/输出(I/O)控制器,以向NVM/存储设备320及(一个或多个)通信接口325提供接口。
例如,NVM/存储设备320可被用于存储数据和/或指令。NVM/存储设备320可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备320可包括在物理上作为系统300被安装在其上的设备的一部分的存储资源,或者其可被该设备访问而不必作为该设备的一部分。例如,NVM/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。
(一个或多个)通信接口325可为系统300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器(例如,存储器控制器模块330)的逻辑封装在一起。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中,系统300可以但不限于是:服务器、工作站、台式计算设备或移动计算设备(例如,膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中,系统300可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,系统300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是,本申请可在软件和/或软件与硬件的组合体中被实施,例如,可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中,本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本申请的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
另外,本申请的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解,计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等,相应地,计算机程序指令被计算机执行的方式包括但不限于:该计算机直接执行该指令,或者该计算机编译该指令后再执行对应的编译后程序,或者该计算机读取并执行该指令,或者该计算机读取并安装该指令后再执行对应的安装后程序。在此,计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如,光纤、同轴等))和能传播能量波的无线(未有导的传输)介质,诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制,计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如,计算机可读存储介质包括,但不限于,易失性存储器,诸如随机存储器(RAM,DRAM,SRAM);以及非易失性存储器,诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM);以及磁性和光学存储设备(硬盘、磁带、CD、DVD);或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此,根据本申请的一个实施例包括一个装置,该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
Claims (7)
1.一种调节显示界面的方法,其中,该方法包括:
通过摄像装置拍摄对应阅读应用处于书籍阅读状态时关于用户的图像信息;
获取所述阅读应用处于书籍阅读状态的阅读时长信息,其中,若所述阅读应用处于书籍阅读状态的结束时间至下一次开始书籍阅读状态的时间差小于一定时间阈值,将这两次书籍阅读状态作为一次书籍阅读状态进行对应阅读时长信息的计算;
根据所述图像信息确定所述用户与所述用户设备间的视距信息;
根据所述视距信息和所述阅读时长信息调节所述阅读应用的显示界面;
其中,所述根据所述视距信息和所述阅读时长信息调节所述阅读应用的显示界面,包括:
若所述视距信息满足正常视距阈值,根据所述视距信息调节所述阅读应用的显示界面中字体大小;若所述视距信息不满足正常视距阈值,生成并呈现对应的视距提醒信息,其中,所述视距提醒信息与所述视距信息相对应,所述视距提醒信息包括提醒用户拉远或拉近视距信息的提示信息;若所述阅读时长信息满足阅读时长阈值,调节所述阅读应用的显示界面的阅读环境信息,其中,所述阅读环境信息包括以下至少一项:
字体格式信息;
字体颜色信息;
阅读背景样式信息;
阅读背景颜色信息。
2.根据权利要求1所述的方法,其中,所述根据所述图像信息进行人脸检测,检测所述图像信息中所述用户的人脸信息,包括:
根据所述图像信息进行人脸检测,若检测到多个人脸信息,将所述多个人脸信息与所述用户设备对应的模板人脸信息进行匹配,确定所述图像信息中所述用户的人脸信息。
3.根据权利要求2所述的方法,其中,所述根据所述图像信息进行人脸检测,检测所述图像信息中所述用户的人脸信息,还包括:
若未检测到人脸信息,通过所述摄像装置继续拍摄关于所述用户的图像信息,并根据继续拍摄的图像信息进行人脸检测,拍摄的图像信息中检测到至少一个人脸信息。
4.根据权利要求3所述的方法,其中,所述方法还包括:
若未检测到人脸信息的时长大于或等于时长阈值,将所述阅读应用切换至休眠模式。
5.根据权利要求1所述的方法,其中,所述若所述阅读时长信息满足阅读时长阈值,调节所述阅读应用的显示界面的阅读环境信息,包括:
若所述阅读时长信息满足阅读时长阈值,生成并呈现对应的阅读时长提醒信息,其中,所述阅读时长提醒信息包括所述阅读应用的阅读环境信息的调节提示信息;
若获取到所述用户关于所述调节提示信息的确认操作,调节所述阅读应用的显示界面的阅读环境信息。
6.一种调节显示界面的设备,其中,该设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如权利要求1至5中任一项所述方法的操作。
7.一种存储指令的计算机可读介质,所述指令在被执行时使得系统进行如权利要求1至5中任一项所述方法的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910935058.8A CN110716642B (zh) | 2019-09-29 | 2019-09-29 | 一种调节显示界面的方法与设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910935058.8A CN110716642B (zh) | 2019-09-29 | 2019-09-29 | 一种调节显示界面的方法与设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110716642A CN110716642A (zh) | 2020-01-21 |
CN110716642B true CN110716642B (zh) | 2024-04-09 |
Family
ID=69211181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910935058.8A Active CN110716642B (zh) | 2019-09-29 | 2019-09-29 | 一种调节显示界面的方法与设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110716642B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111831372A (zh) * | 2020-06-08 | 2020-10-27 | 上海连尚网络科技有限公司 | 一种在漫画应用中呈现动态漫画信息的方法与设备 |
CN112069118A (zh) * | 2020-06-22 | 2020-12-11 | 上海连尚网络科技有限公司 | 一种用于呈现阅读内容的方法与设备 |
CN113268422B (zh) * | 2021-05-24 | 2024-05-03 | 康键信息技术(深圳)有限公司 | 基于分级量化的卡顿检测方法、装置、设备及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN202210263U (zh) * | 2011-06-30 | 2012-05-02 | 汉王科技股份有限公司 | 人脸识别设备 |
CN103856614A (zh) * | 2012-12-04 | 2014-06-11 | 腾讯科技(深圳)有限公司 | 一种避免移动终端误休眠方法及装置 |
CN104866082A (zh) * | 2014-02-25 | 2015-08-26 | 北京三星通信技术研究有限公司 | 基于用户行为进行阅览的方法和装置 |
CN105205438A (zh) * | 2014-09-05 | 2015-12-30 | 北京七鑫易维信息技术有限公司 | 一种利用红外眼球追踪控制眼睛与屏幕距离的方法及系统 |
CN105353937A (zh) * | 2015-09-28 | 2016-02-24 | 深圳市金立通信设备有限公司 | 一种显示界面的控制方法及终端 |
CN105975447A (zh) * | 2016-04-27 | 2016-09-28 | 乐视控股(北京)有限公司 | 一种字体调整方法及装置 |
CN106339086A (zh) * | 2016-08-26 | 2017-01-18 | 珠海格力电器股份有限公司 | 一种调节屏幕字体方法、装置以及电子设备 |
CN106503645A (zh) * | 2016-10-19 | 2017-03-15 | 深圳大学 | 基于Android的单目测距方法和系统 |
CN107528972A (zh) * | 2017-08-11 | 2017-12-29 | 维沃移动通信有限公司 | 一种显示方法及移动终端 |
CN107547749A (zh) * | 2017-09-08 | 2018-01-05 | 深圳天珑无线科技有限公司 | 文字大小调节方法及装置、终端和计算机可读存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180211556A1 (en) * | 2017-01-23 | 2018-07-26 | Rovi Guides, Inc. | Systems and methods for adjusting display lengths of subtitles based on a user's reading speed |
-
2019
- 2019-09-29 CN CN201910935058.8A patent/CN110716642B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN202210263U (zh) * | 2011-06-30 | 2012-05-02 | 汉王科技股份有限公司 | 人脸识别设备 |
CN103856614A (zh) * | 2012-12-04 | 2014-06-11 | 腾讯科技(深圳)有限公司 | 一种避免移动终端误休眠方法及装置 |
CN104866082A (zh) * | 2014-02-25 | 2015-08-26 | 北京三星通信技术研究有限公司 | 基于用户行为进行阅览的方法和装置 |
CN105205438A (zh) * | 2014-09-05 | 2015-12-30 | 北京七鑫易维信息技术有限公司 | 一种利用红外眼球追踪控制眼睛与屏幕距离的方法及系统 |
CN105353937A (zh) * | 2015-09-28 | 2016-02-24 | 深圳市金立通信设备有限公司 | 一种显示界面的控制方法及终端 |
CN105975447A (zh) * | 2016-04-27 | 2016-09-28 | 乐视控股(北京)有限公司 | 一种字体调整方法及装置 |
CN106339086A (zh) * | 2016-08-26 | 2017-01-18 | 珠海格力电器股份有限公司 | 一种调节屏幕字体方法、装置以及电子设备 |
CN106503645A (zh) * | 2016-10-19 | 2017-03-15 | 深圳大学 | 基于Android的单目测距方法和系统 |
CN107528972A (zh) * | 2017-08-11 | 2017-12-29 | 维沃移动通信有限公司 | 一种显示方法及移动终端 |
CN107547749A (zh) * | 2017-09-08 | 2018-01-05 | 深圳天珑无线科技有限公司 | 文字大小调节方法及装置、终端和计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110716642A (zh) | 2020-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11551377B2 (en) | Eye gaze tracking using neural networks | |
CN110716642B (zh) | 一种调节显示界面的方法与设备 | |
CN109887003B (zh) | 一种用于进行三维跟踪初始化的方法与设备 | |
US11093773B2 (en) | Liveness detection method, apparatus and computer-readable storage medium | |
CN108304075B (zh) | 一种在增强现实设备进行人机交互的方法与设备 | |
CN104994281B (zh) | 一种人脸畸变校正的方法及终端 | |
US20140267413A1 (en) | Adaptive facial expression calibration | |
CN111161347B (zh) | 一种进行slam初始化的方法与设备 | |
US11683583B2 (en) | Picture focusing method, apparatus, terminal, and corresponding storage medium | |
US10848746B2 (en) | Apparatus including multiple cameras and image processing method | |
CN108628442B (zh) | 一种信息提示方法、装置以及电子设备 | |
CN112291473B (zh) | 对焦方法、装置及电子设备 | |
JP7227385B2 (ja) | ニューラルネットワークのトレーニング及び目開閉状態の検出方法、装置並び機器 | |
US20230139994A1 (en) | Method for recognizing dynamic gesture, device, and storage medium | |
CN110889955B (zh) | 用于在用户阅读时提醒用户休息的方法与设备 | |
CN111476151A (zh) | 眼球检测方法、装置、设备及存储介质 | |
WO2024140354A1 (zh) | 一种显示方法及其装置 | |
CN112057057B (zh) | 调整脉搏测量装置、测量脉搏信号的方法与设备 | |
CN111654688B (zh) | 一种获取目标控制参数的方法与设备 | |
CN117582661A (zh) | 虚拟模型渲染方法、装置、介质及设备 | |
CN112153300A (zh) | 多目摄像头曝光方法、装置、设备及介质 | |
US11810336B2 (en) | Object display method and apparatus, electronic device, and computer readable storage medium | |
CN113657245B (zh) | 一种用于人脸活体检测的方法、设备、介质及程序产品 | |
CN108256477B (zh) | 一种用于检测人脸的方法和装置 | |
CN107403146A (zh) | 检测方法及相关产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |