CN117406856A - 信息显示方法、装置、设备和存储介质 - Google Patents
信息显示方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN117406856A CN117406856A CN202311338119.5A CN202311338119A CN117406856A CN 117406856 A CN117406856 A CN 117406856A CN 202311338119 A CN202311338119 A CN 202311338119A CN 117406856 A CN117406856 A CN 117406856A
- Authority
- CN
- China
- Prior art keywords
- text information
- information
- scene
- user
- displaying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 230000003190 augmentative effect Effects 0.000 claims abstract description 62
- 230000000694 effects Effects 0.000 claims description 41
- 230000002452 interceptive effect Effects 0.000 claims description 18
- 238000012163 sequencing technique Methods 0.000 claims description 13
- 238000012634 optical imaging Methods 0.000 claims description 12
- 210000005252 bulbus oculi Anatomy 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 239000000463 material Substances 0.000 description 6
- 238000011161 development Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241001422033 Thestylus Species 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种信息显示方法、装置、设备和存储介质,属于通信技术领域。该方法应用于扩展现实设备,该方法包括:获取第一文本信息;对所述第一文本信息进行识别,生成与所述第一文本信息对应的场景画面;显示所述场景画面和所述第一文本信息。
Description
技术领域
本申请属于通信技术领域,具体涉及一种信息显示方法、装置、设备和存储介质。
背景技术
文字作为传统的信息载体,在人们的日常工作和生活中发挥着重要的作用。
随着人们生活水平的提高,人们对生活质量的要求也越来越高,人们在阅读文字的时候,如何提升文字信息的单一的阅读体验目前还没有较好的解决方案。
发明内容
本申请实施例的目的是提供一种信息显示方法、装置、设备和存储介质。将文字信息自动生成模拟场景,提升用户阅读文字体验。
第一方面,本申请实施例提供了一种信息显示方法,该方法应用于扩展现实设备,该方法包括:
获取第一文本信息;
对所述第一文本信息进行识别,生成与所述第一文本信息对应的场景画面;
显示所述场景画面和所述第一文本信息。
第二方面,本申请实施例提供了一种信息显示装置,该装置应用于扩展现实设备,该装置包括:
获取模块,用于获取第一文本信息;
生成模块,用于对所述第一文本信息进行识别,生成与所述第一文本信息对应的场景画面;
显示模块,用于显示所述场景画面和所述第一文本信息。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
第六方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中,通过扩展现实设备对获取的第一文本信息进行识别,可生成与第一文本信息对应的场景画面,然后可基于扩展现实设备显示该场景画面和第一文本信息,如此用户可直接基于扩展现实设备看到该场景画面和第一文本信息,通过本申请实施例的方法可将无法具象化的文本信息具象化,提升了用户对文本信息的阅读体验。
附图说明
图1是本申请的一些实施例提供的信息显示方法的流程示意图;
图2是本申请的一些实施例提供的扩展现实设备的示意图;
图3是本申请的一些实施例提供的第一文本信息的获取方式的示意图;
图4是本申请的一些实施例提供的第一文本信息对应的场景画面的生成提示信息的示意图;
图5是本申请的一些实施例提供的第一文本信息对应的场景画面的生成提示信息的示意图;
图6是本申请的一些实施例提供的显示场景画面的操作示意图;
图7是本申请的一些实施例提供的显示场景画面的操作示意图;
图8是本申请的一些实施例提供的显示场景画面和第一文本信息的显示示意图;
图9是本申请的一些实施例提供的扩展现实设备实现信息显示方法的流程示意图;
图10是本申请的一些实施例示出的信息显示装置的结构示意图;
图11是本申请的一些实施例示出的电子设备的结构示意图;
图12是本申请的一些实施例示出的电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
在介绍本申请实施例的技术方案之前,首先介绍本申请实施例的背景技术:
人们在阅读文字的时候,由于文字无法进行具象化,人们看到文本信息只能自我想象文本信息所描述的场景,如此人们对文本信息阅读体验较低。
为了解决上述问题,本申请实施例提供了一种信息显示方法、装置、设备和存储介质,通过扩展现实设备对获取的第一文本信息进行识别,可生成与第一文本信息对应的场景画面,然后可基于扩展现实设备显示该场景画面和第一文本信息,如此用户可直接基于扩展现实设备看到该场景画面和第一文本信息,通过本申请实施例的方法可将无法具象化的文本信息具象化,提升了用户对文本信息的阅读体验。
本申请实施例的技术方案可以应用于阅读无法具象化的文本信息的场景中。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的信息显示方法进行详细地说明。
图1是本申请实施例所提供的一种信息显示方法的流程示意图,该信息显示方法可以应用于扩展现实(ExtendedReality,XR)设备,该XR设备可以但不限于是虚拟现实(Virtual Reality,VR)设备、增强现实(Augmented Reality,AR)设备等。
在一个示例中,以XR设备为VR眼镜为例,参考图2,图2为VR眼镜的示意图,该VR眼镜包括佩戴带21、显示模块22、传感器模块(图2中未示出)、摄像头模块(图2中未示出)、处理器(图2中未示出)、耳机/麦克风23。
如图1所示,本申请实施例提供的信息显示方法可以包括步骤110-步骤130。
步骤110、获取第一文本信息。
其中,第一文本信息可以是用户正在阅读的文本信息。具体的第一文本信息可以是纸质版的文本信息,也可以是电子设备版的文本信息,比如可以是语音播报的文本信息,例如语音播报的电子小说的文本信息。
在本申请的一些实施例中,针对不同形式的第一文本信息,其获取的方式不同,下面详细介绍不同形式的第一文本信息的获取方式:
步骤110具体可以包括:
在第一文本信息为电子版文本信息的情况下,接收电子设备发送的第一文本信息;
在第一文本信息为纸质文本信息的情况下,从光学成像设备处获取第一文本信息对应的数字信号。
其中,第一文本信息对应的数字信号可以为光学成像设备将采集的第一文本信息的图像信息转换为电信号后,再对电信号进行转换后所得到的。
在本申请的一些实施例中,若第一文本信息为电子版文本信息,则扩展现实设备可直接接收电子设备发送的第一文本信息,具体的可以是扩展现实设备直接接收电子设备的播放器所播报的第一文本信息的语音信息。
若第一文本信息为纸质文本信息,则可通过光学成像设备获取第一文本信息的图像信息,然后光学成像设备将该图像信息转换为电信号后,对该电信号进行处理后得到第一文本信息对应的数字信号,并将该数字信号发送给扩展现实设备。
在一个示例中,参考图2和图3,图3为第一文本信息的获取方式示意图,对于电子版文本信息,图2中的扩展现实设备中的耳机/麦克风23可直接从电子设备中获取第一文本信息,对于纸质文本信息,通过光学成像设备可获取第一文本信息对应的数字信号,并将该数字信号发送至扩展现实设备,扩展现实设备中的处理器可将接收到的第一文本信息的语音信息或第一文本信息对应的数字信号进行存储。
需要说明的是,扩展现实设备在接收到第一文本信息的语音信息后可基于XR设备中的处理器将该语音信息进行语音转换,得到第一文本信息,然后将第一文本信息以及第一文本信息对应的语音信息均进行存储,以便于后续对第一文本信息进行识别。同样的,扩展现实设备在接收到第一文本信息对应的数字信号后,可基于XR设备中的处理器对该数字信号进行解析,得到第一文本信息,对第一文本信息进行存储,以便于后续对第一文本信息进行识别。
在本申请的实施例中,针对不同形式的第一文本信息采用不同的方式获取,如此提升了第一文本信息的获取效率和获取精确性。
步骤120、对第一文本信息进行识别,生成与第一文本信息对应的场景画面。
在本申请的一些实施例中,可以基于XR设备的处理器对第一文本信息进行识别,生成与第一文本信息对应的场景画面。
在一些示例中,若第一文本信息是一个小说的一部分内容,该部分内容描述了场景的关键词与形容词,则可生成与之对应的环境和人物,以及环境变化如天气变化,并根据情节发展模拟构建出人物角色间的互动。
在另一些示例中,若第一文本信息是新闻资讯,则可以根据新闻资讯中描述的相关事件或人物等,结合现实记录,例如录像和/或照片等,展示新闻资讯中的物品或事件场景。
在另一些示例中,若第一文本信息是教材中的一部分文字描述信息,比如是物理教材中的一段文字描述,则可根据第一文本信息生成动态的物理模型,以帮助用户理解。再比如第一文本信息是历史教材中的一段历史节点场景的文字描述,则根据第一文本信息生成该历史节点的场景画面,在该场景画面中可包括该历史节点所包含的历史人物等。再比如第一文本信息是地理教材中的一段地质结构的描述,则根据第一文本信息生成该地质的结构。
在另一些示例中,若第一文本信息是一款产品的一段广告词,则可根据该广告词,生成该款产品,以对该产品进行演示。
步骤130、显示场景画面。
在本申请的一些实施例中,在生成与第一文本信息对应的场景画面后,可基于显示模块22显示该场景画面,以给用户身临其境的感觉。
在本申请的一些实施例中,为了精确生成与第一文本信息对应的场景画面,步骤120具体可以包括:
对第一文本信息进行语义识别,得到至少一个目标词语,其中,每个目标词语按照其在第一文本信息中的位置进行排序,得到第一排序;
根据至少一个目标词语对应的编码信息,确定预先存储的至少一个编码信息中与每个目标词语对应的编码信息相匹配的目标编码信息;
调取与目标编码信息对应的画面;
将调取的与目标编码信息对应的画面按照第一排序进行排序,得到与第一文本信息对应的场景画面。
其中,目标词语可以是第一文本信息中与场景画面有关的可以具象化的文本信息,比如,若第一文本信息是描述一个情节发展的,则目标词语可以是类似于描述人物的外形、天气、建筑的样式等信息,若第一文本信息是描述一个产品,则该目标词语可以是该产品的外观、产品的结构等信息。这里的第一文本信息中的目标词语可以按照其在第一文本信息中的先后顺序进行排序,得到第一排序。
目标编码信息可以是XR设备中预先存储的至少一个编码信息中与每个目标词语对应的编码信息相匹配的编码信息。
在本申请的一些实施例中,在得到第一文本信息的至少一个目标词语后,可根据预先设置的编码方式对每个目标词语进行编码,例如可以是采用目标词语的首字母加数字的方式对目标词语进行编码,还可以是采用其他的编码方式对目标词语进行编码,在本申请实施例中不做限定。
在本申请的一些实施例中,在XR设备中预先存储了不同词语的编码信息,这些词语例如可以是从词语库中获取的,还可以是从其他渠道获取,在本申请实施例中不做限定。在XR设备中还预先存储了与每个编码信息对应的画面。
在本申请的一些实施例中,在得到第一文本信息的至少一个目标词语后,可根据各目标词语对应的编码信息,确定预先存储的至少一个编码信息中与各目标词语对应的编码信息匹配的目标编码信息,然后从XR设备中调取与目标编码信息对应的画面,将这些画面按照第一排序进行排序,即可得到第一文本信息对应的场景画面。
在本申请的实施例中,通过对第一文本信息进行语义识别,得到至少一个目标词语,然后根据至少一个目标词语对应的编码信息,确定预先存储的至少一个编码信息中与每个目标词语对应的编码信息相匹配的目标编码信息,调取与目标编码信息对应的画面,并将调取的与目标编码信息对应的画面按照第一排序进行排序,即可精确得到与第一文本信息对应的场景画面。
在本申请的一些实施例中,在第一文本信息为电子版文本信息的情况下,XR设备还可以存储第一文本信息的音频信息,为了进一步提升用户对场景画面的观赏性,在所述接收电子设备发送的第一文本信息之后,上述所涉及的方法还可以包括:
接收电子设备发送的与第一文本信息对应的第一音频信息;
所述将调取的与目标编码信息对应的画面按照第一排序进行排序,得到与第一文本信息对应的场景画面,具体可以包括:
将调取的与目标编码信息对应的画面按照第一排序进行排序,基于排序后的与目标编码信息对应的画面与第一音频信息,得到与第一文本信息对应的场景画面。
其中,第一音频信息可以是第一文本信息对应的音频信息。
在本申请的一些实施例中,在第一文本信息为电子版文本信息的情况下,还可以接收第一文本信息对应的第一音频信息,后续在生成场景画面时,还可以基于该第一文本信息的第一音频信息一起生成场景画面,如此得到的场景画面中不仅具有场景画面,还具有第一音频信息。
在本申请的实施例中,在第一文本信息为电子版文本信息的情况下,在生成场景画面时,基于接收的第一文本信息对应的第一音频信息一起生成场景画面,如此得到的场景画面中不仅具有场景画面,还具有第一音频信息,如此可使用户置于身临其境的感觉,提升用户对场景画面的观赏性。
在本申请的一些实施例中,为了进一步提升用户对场景画面的观赏性,所述基于排序后的与目标编码信息对应的画面与第一音频信息,得到与第一文本信息对应的场景画面,具体可以包括:
在场景画面中需要特效音频的情况下,基于排序后的与目标编码信息对应的画面、第一音频信息和预先模拟的目标特效音频,得到与第一文本信息对应的场景画面;
步骤130具体可以包括:
显示场景画面,并将目标特效音频以第一音量播放,将第一音频信息以第二音量进行播放,其中,第一音量大于第二音量。
其中,目标特效音效可以是与目标编码信息对应的画面相对应的特效音效。
第一音量可以是目标特效音效的播放音量,第二音量可以是第一音频信息的播放音量。
在本申请的一些实施例中,若用户想要在场景画面中增加特效音效,则可从XR设备中选取预先模拟的与目标编码信息对应的目标特效音效,然后基于排序后的与目标编码信息对应的画面、第一音频信息和预先模拟的目标特效音频,得到与第一文本信息对应的场景画面,然后在播放场景画面时,将目标特效音效以较大的音量进行播放,将第一音频信息以较小的音量进行播放,这是因为用户想要在场景画面中增加特效音效,则说明相较于第一音频信息,用户更想要听到目标特效音效,故可将目标特效音效以相较于第一音频信息的音量较大的音量进行播放,例如,可以是将第一音频信息关闭,以某一音量播放目标特效音效。
在本申请的实施例中,在场景画面中需要特效音频的情况下,可基于排序后的与目标编码信息对应的画面、第一音频信息和预先模拟的目标特效音频,得到与第一文本信息对应的场景画面,在显示场景画面时,可将目标特效音频以相较于第一音频信息的音量较大的音量进行播放,如此可使用户听到目标特效音效,提升了用户对场景画面的观赏性。
在本申请的一些实施例中,为了进一步提升用户体验,上述所涉及的方法还可以包括:
以预设提示样式显示场景画面的提示信息。
其中,提示信息可以是用于提示用户第一文本信息对应的场景画面已生成的信息。该提示信息可以预设提示样式进行显示。该预设提示样式具体可以包括:将场景画面虚化显示于第一文本信息的背景图层,或者,将第一文本信息中与场景画面有关的目标文本信息以预设显示样式进行显示。
这里的目标文本信息可以是第一文本信息中与场景画面有关的文本信息,例如可以是第一文本信息中可以具象化的文本信息,即上述的目标词语。比如,若第一文本信息是描述一个情节发展的,则目标文本信息可以是类似于描述人物的外形、天气、建筑的样式等信息,若第一文本信息是描述一个产品,则该目标文本信息可以是该产品的外观、产品的结构等信息。
预设显示样式可以是预先设置的目标文本信息的显示样式,例如可以是将目标文本信息高亮显示,或者是将目标文本信息闪烁显示,还可以是将目标文本信息加粗加黑显示等,具体的可以根据用户需求自行设置,在本申请实施例中不做限定。
在本申请的一些实施例中,在生成与第一文本信息对应的场景画面后,可以预设提示样式显示场景画面的提示信息,以使用户看到该提示信息便可直观的知道与第一文本信息对应的场景画面已经生成,若用户想要查看该场景画面,可将该场景画面进行显示。
在一个示例中,参考图4,段落1和段落2为一段文本,此时用户正在阅读段落2,则该段落2即为第一文本信息,用户在阅读该段落2时,可利用XR设备生成与该段落2对应的场景画面,然后可将该场景画面虚化显示于段落2的背景图层中,这种显示方式中,场景画面是虚化显示的,并不影响段落2的文本信息的清晰度,即并不影响用户对段落2的文本信息的阅读。
在另一个示例中,参考图5,段落1和段落2为一段文本,此时用户正在阅读段落2,则该段落2即为第一文本信息,若段落2中是描述一段情节发展的,具体的有描述环境的文本信息,例如可以是“夜色美丽”,则该“夜色美丽”即为目标文本信息,则用户在阅读该段落2时,可利用XR设备生成与该段落2对应的场景画面,然后可将段落2中与场景画面有关的目标文本信息“夜色美丽”以加黑加粗的方式进行显示。
在本申请的实施例中,通过以预设提示样式显示场景画面的提示信息,如此可用户直观的查看到与第一文本信息对应的场景画面已经生成,以便于后续若用户进入到场景画面中。
在本申请的一些实施例中,为了进一步提升用户体验,步骤130具体可以包括:
在满足以下至少一个条件的情况下,显示场景画面和第一文本信息:
确定用户的输入手势与预设手势一致;
确定用户注视提示信息的时长大于第一预设时长;
确定用户注视提示信息的注视方式与预设注视方式一致;
确定用户对预设控件执行第一输入;
确定用户输入的语音指令与预设语音指令一致。
其中,预设手势可以是预先设置的可直接显示出场景画面的手势。第一预设时长可以是预先设置的用户注视提示信息的时长的阈值,在用户注视该提示信息超过该第一预设时长,则可直接显示出场景画面。预设注视方式可以是预先设置的用户注视提示信息的方式,例如可以是用户顺时针或逆时针围着提示信息移动一周。预设控件可以是预先设置的可通过触控该控件可直接显示出场景画面的控件,该预设控件可以是XR设备的控件,例如可以是XR设备的操作手柄等。预设语音指令可以是预先设置的可直接显示出场景画面的语音指令,例如可以是“进入场景画面”。
在本申请的一些实施例中,用户可以通过预先设置的接入方式进行操作,XR设备在检测到用户的操作与之前设置的接入方式一致的情况下,则可执行步骤130的过程,即可直接显示场景画面和第一文本信息,如此用户可有身临其境的感觉。
在一些实施例中,用户可以输入与预设手势一致的手势,比如,用户可以是对着虚化显示于第一文本信息的背景图层的场景画面或者是对着以预设显示样式显示的目标文本信息进行抓握,则显示场景画面。
在一些实施例中,用户可以注视虚化显示于第一文本信息的背景图层的场景画面或者是注视以预设显示样式显示的目标文本信息一定时长后,比如可以是用户注视虚化显示于第一文本信息的背景图层的场景画面或者是注视以预设显示样式显示的目标文本信息超过5秒,则显示场景画面。
在一些实施例中,用户可以顺时针或逆时针围着虚化显示于第一文本信息的背景图层的场景画面移动一周,或者是用户可以顺时针或逆时针围着以预设显示样式显示的目标文本信息移动一周,则显示场景画面。如图6所示,以提示信息为场景画面虚化显示于第一文本信息的背景图层,用户可沿着顺时针围着虚化显示于第一文本信息的背景图层的场景画面移动一周,则可直接显示场景画面。
在一些实施例中,用户可以对XR设备中与显示场景画面相关的控件进行操作,例如用户可以对XR设备的手柄中的功能控件进行按压操作,进而显示场景画面。
在一些实施例中,用户可以利用XR设备的语音输入模块输入预设的语音指令,例如,用户可以使用图2中的耳机/麦克风23输入“进入场景画面”的语音指令,则显示场景画面。
在本申请的一些实施例中,还可以采用上述几种方式中的至少两种方式的组合,然后显示场景画面,具体的采用何种方式显示场景画面,可根据用户需求自行设置,在本申请实施例中不做限定。
在本申请的实施例中,通过设置多种不同的条件显示场景画面,如此可根据用户的操作来显示场景画面,避免在用户不需要查看场景画面的时候显示场景画面。
在本申请的一些实施例中,在显示场景画面的方式是用户注视提示信息的时长大于预设时长的情况下,上述所涉及的方法还可以包括:
显示用户注视提示信息的时长进度条。
在本申请的一些实施例中,在用户注视虚化显示于第一文本信息的背景图层的场景画面或者是注视以预设显示样式显示的目标文本信息时,还可以是显示出注视的时长进度条。
在一个示例中,参考图7,以提示信息为虚化显示于第一文本信息的背景图层的场景画面为例,当用户注视虚化显示的场景画面上的注视点61时,可以显示出注视的时长进度条62,当时长进度条62满格后,可显示场景画面。
在本申请的实施例中,在显示场景画面的方式是用户注视提示信息的时长大于预设时长的情况下,还可以显示用户注视提示信息的时长进度条,如此可以使用户直观的查看到还需要注视提示信息的时长,提升用户体验。
在本申请的一些实施例中,为了进一步提升用户体验,步骤130具体可以包括:
将场景画面以第一清晰度进行显示,并将第一文本信息虚化显示在场景画面的背景图层,或者,在扩展现实设备视野的第一显示区域显示场景画面,在扩展现实设备视野的第二显示区域显示第一文本信息;
在步骤130之后,上述所涉及的方法还可以包括:
接收用户的第一输入;
响应于第一输入,将场景画面虚化显示在第一文本信息的背景图层,并将第一文本信息以第一清晰度平铺显示于扩展现实设备视野中。
其中,第一显示区域和第二显示区域可以分别是扩展现实设备的两个显示区域。
第一清晰度可以为清晰度大于预设清晰度阈值的清晰度,这里的预设清晰度阈值可以是使用户清晰看到画面的清晰度,具体的预设清晰度阈值可以根据用户需求自行设置,在本申请实施例中不做限定。
上述的第一输入是对XR设备进行的输入,上述第一输入用于将场景画面虚化显示在第一文本信息的背景图层,并将第一文本信息以第一清晰度进行显示。示例性地,上述第一输入包括但不限于:用户通过手指或者手写笔等触控装置对XR设备的功能控件的触控输入,或者为用户输入的语音指令,或者为用户输入的特定手势,或者为其他可行性输入,可以根据实际使用需求确定,本发明实施例不作限定。本申请实施例中的特定手势可以为单击手势、滑动手势、拖动手势、压力识别手势、长按手势、面积变化手势、双按手势、双击手势中的任意一种;本申请实施例中的点击输入可以为单击输入、双击输入或任意次数的点击输入等,还可以为长按输入或短按输入。例如,上述的第一输入可以为:用户对XR设备的功能控件的按压输入。
在本申请的一些实施例中,在生成场景画面,显示场景画面之前,场景画面是虚化显示于第一文本信息的背景图层的,或者是以预设显示样式显示的目标文本信息来提示用户场景画面已经生成,在用户执行了上述的至少一个条件,显示场景画面时,是将场景画面以第一清晰度进行显示,并将第一文本信息虚化显示在场景画面的背景图层,即将原先虚化显示的场景画面或未显示的场景画面逐渐清晰显示,然后将与该场景画面对应的第一文本信息虚化显示在场景画面的背景图层中。
除了上述将场景画面以第一清晰度进行显示,并将第一文本信息虚化显示在场景画面的背景图层外,在显示场景画面和第一文本信息时,还可以是分别在XR设备的两个显示区域分别显示场景画面和第一文本信息,如此用户可以同时看到场景画面和第一文本信息。
在一个示例中,参考图8,图8为XR设备的视野示意图,在该XR设备的视野中,可以在第一显示区域81中显示场景画面,在第二显示区域82中显示第一文本信息。
在用户执行第一输入后,则退出显示场景画面和第一文本信息,具体的是将以第一清晰度显示的场景画面再虚化显示在第一文本信息的背景图层,并将第一文本信息以第一清晰度平铺显示于扩展现实设备视野中或者是将目标文本信息以预设显示样式进行显示,即在用户选择退出显示场景画面和第一文本信息时,场景画面逐渐模糊虚化显示或者将目标文本信息以预设显示样式进行显示,原本的第一文本信息从虚化中逐渐清晰回到正常阅读状态,即恢复到图4和图5所示的情况。
在本申请的实施例中,在显示场景画面时是将场景画面以第一清晰度进行显示,并将第一文本信息虚化显示在场景画面的背景图层,或者,在扩展现实设备视野的第一显示区域显示场景画面,在扩展现实设备视野的第二显示区域显示第一文本信息,如此可使用户同时查看到第一文本信息和场景画面,然后在退出显示场景画面时,可通过响应于用户的第一输入,将场景画面虚化显示在第一文本信息的背景图层,并将第一文本信息以第一清晰度进行显示,如此不影响用户的对第一文本信息阅读,且增加了场景画面的显示和退出显示的特效,提升了用户的使用体验,且在用户需要再次想要显示场景画面的情况下,还可以对虚化显示在第一文本信息的背景图层的场景画面或者目标文本信息执行显示场景画面的操作,以再次显示场景画面。
在本申请的一些实施例中,为了进一步提升用户体验,上述所涉及的方法还可以包括:
接收用户在场景画面中的交互操作;
响应于交互操作,显示与交互操作对应的操作结果。
在本申请的一些实施例中,在显示了场景画面后,用户可以在场景画面中进行交互操作,如此响应于该交互操作,可显示与交互操作对应的操作结果。
在一些示例中,若第一文本信息是历史教材中的某一历史节点的场景,则生成该历史节点的场景画面,在该场景画面中可包括该历史节点所包含的历史人物等,则用户可代入某一历史人物,跟其他历史人脸进行交互,体验沉浸式的真实故事情节。
在另一些示例中,若第一文本信息是物理教材中的一段文字描述,则可根据第一文本信息生成动态的物理模型,用户可利用该虚拟的物理模型进行实验,并进行实验观察。
在另一些示例中,若第一文本信息是一款产品的一段广告词,则可根据该广告词,生成该款产品,显示出该款产品,然后用户可体验该款虚拟产品。
在本申请的实施例中,通过响应于用户在场景画面中的交互操作,可显示出与交互操作对应的操作结果,如此可给用户身临其境的感觉,提升了用户体验。
在本申请的一些实施例中,为了节省扩展现实设备的算力,在步骤130之后,上述所涉及的方法还可以包括:
获取用户注视场景画面的时长;
在时长大于第二预设时长的情况下,将场景画面进行保存。
其中,第二预设时长可以是预先设置的用户注视场景画面的时长的阈值,在用户注视场景画面的时长大于该阈值的情况下,可将场景画面进行自动保存。
在本申请的实施例中,在用户注视场景画面的时长大于第二预设时长的情况下,可直接将场景画面进行保存,如此后续在用户需要重新查看该场景画面时,可以直接调取保存的场景画面,无需重新生成场景画面,节省了扩展现实设备的算力。
在本申请的一些实施例中,为了进一步提升用户体验,在步骤130之后,上述所涉及的方法还可以包括:
跟踪用户在阅读第一文本信息时眼球的运动速度和运动方向;
根据运动速度和运动方向,确定用户阅读第一文本信息的阅读速度;
根据阅读速度,控制场景画面的显示速度。
在本申请的一些实施例中,场景画面在显示时,一帧一帧的进行显示的,为了提升用户对场景画面的观赏性,可以跟踪用户阅读第一文本信息时眼球的运动速度和运动方向,然后根据用户阅读第一文本信息时眼球的运动速度和运动方向,可确定用户阅读第一文本信息的阅读速度,根据该阅读速度,可控制场景画面的显示速度。
在一个示例中,继续参考8,用户在阅读第二显示区域82中显示的第一文本信息时,可以跟踪用户阅读第一文本信息时眼球的运动速度和运动方向,根据用户阅读第一文本信息时眼球的运动速度和运动方向,可确定用户阅读第一文本信息的阅读速度,根据该阅读速度,可控制在第一显示区域81上述显示场景画面的显示速度。
在本申请的实施例中,通过跟踪用户在阅读第一文本信息时眼球的运动速度和运动方向,根据运动速度和运动方向,确定用户阅读第一文本信息的阅读速度,根据阅读速度,控制场景画面的显示速度,如此可使显示的场景画面的每一帧画面都与用户当前阅读的第一文本信息的阅读位置相匹配,提升用户对场景画面的观赏性。
在本申请的一些实施例中,为了更加清晰的理解本申请实施例的信息显示方法的具体实现过程,本申请实施例还提供了一种实现信息显示方法的扩展现实设备,如图9所示,该扩展现实设备的工作流程如下:
流程1、第一文本信息的获取过程:
在第一文本信息为电子版文本信息的情况下,扩展现实设备可直接从电子设备中获取第一文本信息,在第一文本信息为纸质文本信息的情况下,通过光学成像设备可获取第一文本信息对应的数字信号,并将该数字信号发送至扩展现实设备,扩展现实设备中的处理器可将接收到的第一文本信息的语音信息或第一文本信息对应的数字信号进行存储。
流程2、与第一文本信息对应的场景画面的生成过程:
在扩展现实设备的存储器中预先存储有各词语对应的编码信息,以及各编码信息对应的画面。针对电子版文本信息,在扩展现实设备的存储器中还可以存储有第一文本信息对应的第一音频信息,以及预先设置的至少一种特效音频。
在扩展现实设备的处理器对第一文本信息进行语义识别,得到至少一个目标词语后,可根据至少一个目标词语对应的编码信息,确定扩展现实设备中预先存储的至少一个编码信息中与每个目标词语对应的编码信息相匹配的目标编码信息,然后调取与目标编码信息对应的画面,将调取的与目标编码信息对应的画面按照第一排序进行排序,可得到不具有音频信息的与第一文本信息对应的场景画面。
若用户想要获取具有音频信息的与第一文本信息对应的场景画面,则可基于排序后的与目标编码信息对应的画面、第一音频信息和预先模拟的与第一文本信息对应的编码信息对应的目标特效音频,得到具有音频信息的与第一文本信息对应的场景画面。
流程3、场景画面的显示过程:
通过跟踪用户在阅读第一文本信息时眼球的运动速度和运动方向,可确定用户阅读第一文本信息的阅读速度,然后根据阅读速度,可将每个场景对应的每帧画面进行叠加还原,得到虚拟的场景画面,同时可控制场景画面的显示速度。
在显示场景画面后,还可以对场景画面进行保存。
本申请实施例提供的信息显示方法,执行主体可以为信息显示装置。本申请实施例中以信息显示装置执行信息显示方法为例,说明本申请实施例提供的信息显示装置。
图10是根据一示例性实施例示出的一种信息显示装置的结构示意图。该信息显示装置可以应用于扩展现实设备。如图10所示,该信息显示装置1000可以包括:
获取模块1010,用于获取第一文本信息;
生成模块1020,用于对所述第一文本信息进行识别,生成与所述第一文本信息对应的场景画面;
显示模块1030,用于显示所述场景画面和第一文本信息。
在本申请的实施例中,通过扩展现实设备对获取的第一文本信息进行识别,可生成与第一文本信息对应的场景画面,然后可基于扩展现实设备显示该场景画面和第一文本信息,如此用户可直接基于扩展现实设备看到该场景画面和第一文本信息,通过本申请实施例的方法可将无法具象化的文本信息具象化,提升了用户对文本信息的阅读体验。
在本申请的一些实施例中,显示模块1030还可以用于:
以预设提示样式显示所述场景画面的提示信息,其中,所述提示信息用于提示用户所述场景画面已生成,所述预设提示样式包括:将所述场景画面虚化显示于所述第一文本信息的背景图层,或者,将所述第一文本信息中与所述场景画面有关的目标文本信息以预设显示样式进行显示。
在本申请的一些实施例中,显示模块1030具体可以用于:
在满足以下至少一个条件的情况下,显示所述场景画面和所述第一文本信息:
确定用户的输入手势与预设手势一致;
确定用户注视所述提示信息的时长大于第一预设时长;
确定用户注视所述提示信息的注视方式与预设注视方式一致;
确定用户对预设控件执行第一输入;
确定用户输入的语音指令与预设语音指令一致。
在本申请的一些实施例中,显示模块1030具体可以用于:
将所述场景画面以第一清晰度进行显示,并将所述第一文本信息虚化显示在所述场景画面的背景图层,或者,在所述扩展现实设备视野的第一显示区域显示所述场景画面,在所述扩展现实设备视野的第二显示区域显示所述第一文本信息,其中,所述第一清晰度为清晰度大于预设清晰度阈值的清晰度;
上述所涉及的装置还可以包括:
第一接收模块,用于接收用户的第一输入;
显示模块1030,还用于响应于所述第一输入,将所述场景画面虚化显示在所述第一文本信息的背景图层,并将所述第一文本信息以所述第一清晰度平铺显示于所述扩展现实设备视野中。
在本申请的一些实施例中,上述所涉及的装置还可以包括:
第二接收模块,用于接收用户在所述场景画面中的交互操作;
显示模块1030,还用于响应于所述交互操作,显示与所述交互操作对应的操作结果。
在本申请的一些实施例中,获取模块1010具体用于:
在所述第一文本信息为电子版文本信息的情况下,接收电子设备发送的所述第一文本信息;
在所述第一文本信息为纸质文本信息的情况下,从光学成像设备处获取所述第一文本信息对应的数字信号,其中,所述数字信号为所述光学成像设备将采集的所述第一文本信息的图像信息转换为电信号后,并对所述电信号进行转换后所得到的。
在本申请的一些实施例中,生成模块1020可以包括:
语义识别单元,用于对所述第一文本信息进行语义识别,得到至少一个目标词语,其中,每个目标词语按照其在所述第一文本信息中的位置进行排序,得到第一排序;
确定单元,用于根据所述至少一个目标词语对应的编码信息,确定预先存储的至少一个编码信息中与每个目标词语对应的编码信息相匹配的目标编码信息;
调取单元,用于调取与所述目标编码信息对应的画面;
排序单元,用于将调取的与所述目标编码信息对应的画面按照所述第一排序进行排序,得到与所述第一文本信息对应的场景画面。
在本申请的一些实施例中,在所述第一文本信息为电子版文本信息的情况下,上述所涉及的装置还可以包括:
第三接收模块,用于接收所述电子设备发送的与所述第一文本信息对应的第一音频信息;
所述排序单元包括:
排序子单元,用于将调取的与所述目标编码信息对应的画面按照所述第一排序进行排序,基于排序后的与所述目标编码信息对应的画面与所述第一音频信息,得到与所述第一文本信息对应的场景画面。
在本申请的一些实施例中,所述排序子单元具体用于:
在所述场景画面中需要特效音频的情况下,基于排序后的与所述目标编码信息对应的画面、所述第一音频信息和预先模拟的目标特效音频,得到与所述第一文本信息对应的场景画面,其中,所述目标特效音效与所述目标编码信息对应的画面相对应;
显示模块1030具体用于:显示所述场景画面,并将所述目标特效音频以第一音量播放,将所述第一音频信息以第二音量进行播放,其中,所述第一音量大于所述第二音量。
在本申请的一些实施例中,获取模块1010还用于:获取用户注视所述场景画面的时长;
上述所涉及的装置还可以包括:
信息保存模块,用于在所述时长大于第二预设时长的情况下,将所述场景画面进行保存。
在本申请的一些实施例中,上述所涉及的装置还可以包括:
跟踪模块,用于跟踪用户在阅读所述第一文本信息时眼球的运动速度和运动方向;
确定模块,用于根据所述运动速度和所述运动方向,确定用户阅读所述第一文本信息的阅读速度;
控制模块,用于根据所述阅读速度,控制所述场景画面的显示速度。
本申请实施例中的信息显示装置可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device,MID)、增强现实(augmentedreality,AR)/虚拟现实(virtualreality,VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,还可以为服务器、网络附属存储器(NetworkAttached Storage,NAS)、个人计算机(personalcomputer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的信息显示装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为iOS操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的信息显示装置能够实现图1和图9的方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选地,如图11所示,本申请实施例还提供一种电子设备1100,包括处理器1101和存储器1102,存储器1102上存储有可在所述处理器1101上运行的程序或指令,该程序或指令被处理器1101执行时实现上述信息显示方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图12为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备1200包括但不限于:射频单元1201、网络模块1202、音频输出单元1203、输入单元1204、传感器1205、显示单元1206、用户输入单元1207、接口单元1208、存储器1209、以及处理器1210等部件。
本领域技术人员可以理解,电子设备1200还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器1210逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图12中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,处理器1201,用于获取第一文本信息;对所述第一文本信息进行识别,生成与所述第一文本信息对应的场景画面;
显示单元1206,用于显示所述场景画面和所述第一文本信息。
如此,通过扩展现实设备对获取的第一文本信息进行识别,可生成与第一文本信息对应的场景画面,然后可基于扩展现实设备显示该场景画面和第一文本信息,如此用户可直接基于扩展现实设备看到该场景画面和第一文本信息,通过本申请实施例的方法可将无法具象化的文本信息具象化,提升了用户对文本信息的阅读体验。
可选地,显示单元1206,还用于以预设提示样式显示所述场景画面的提示信息,其中,所述提示信息用于提示用户所述场景画面已生成,所述预设提示样式包括:将所述场景画面虚化显示于所述第一文本信息的背景图层,或者,将所述第一文本信息中与所述场景画面有关的目标文本信息以预设显示样式进行显示。
如此,通过以预设提示样式显示场景画面的提示信息,如此可用户直观的查看到与第一文本信息对应的场景画面已经生成,以便于后续若用户进入到场景画面中。
可选地,显示单元1206,还用于在满足以下至少一个条件的情况下,显示所述场景画面和所述第一文本信息:
确定用户的输入手势与预设手势一致;
确定用户注视所述提示信息的时长大于第一预设时长;
确定用户注视所述提示信息的注视方式与预设注视方式一致;
确定用户对预设控件执行第一输入;
确定用户输入的语音指令与预设语音指令一致。
如此,通过设置多种不同的条件显示场景画面,如此可根据用户的操作来显示场景画面,避免在用户不需要查看场景画面的时候显示场景画面。
可选地,显示单元1206,还用于将所述场景画面以第一清晰度进行显示,并将所述第一文本信息虚化显示在所述场景画面的背景图层,或者,在所述扩展现实设备视野的第一显示区域显示所述场景画面,在所述扩展现实设备视野的第二显示区域显示所述第一文本信息,其中,所述第一清晰度为清晰度大于预设清晰度阈值的清晰度;
用户输入单元1207,用于接收用户的第一输入;
显示单元1206,还用于响应于所述第一输入,将所述场景画面虚化显示在所述第一文本信息的背景图层,并将所述第一文本信息以所述第一清晰度平铺显示于所述扩展现实设备视野中。
如此,在显示场景画面时是将场景画面以第一清晰度进行显示,并将第一文本信息虚化显示在场景画面的背景图层,或者,在扩展现实设备视野的第一显示区域显示场景画面,在扩展现实设备视野的第二显示区域显示第一文本信息,如此可使用户同时查看到第一文本信息和场景画面,然后在退出显示场景画面时,可通过响应于用户的第一输入,将场景画面虚化显示在第一文本信息的背景图层,并将第一文本信息以第一清晰度进行显示,如此不影响用户的对第一文本信息阅读,且增加了场景画面的显示和退出显示的特效,提升了用户的使用体验,且在用户需要再次想要显示场景画面的情况下,还可以对虚化显示在第一文本信息的背景图层的场景画面或者目标文本信息执行显示场景画面的操作,以再次显示场景画面。
可选地,用户输入单元1207,还用于接收用户在所述场景画面中的交互操作;
显示单元1206,还用于响应于所述交互操作,显示与所述交互操作对应的操作结果。
如此,通过响应于用户在场景画面中的交互操作,可显示出与交互操作对应的操作结果,如此可给用户身临其境的感觉,提升了用户体验。
可选地,处理器1201,还用于在所述第一文本信息为电子版文本信息的情况下,接收电子设备发送的所述第一文本信息;在所述第一文本信息为纸质文本信息的情况下,从光学成像设备处获取所述第一文本信息对应的数字信号,其中,所述数字信号为所述光学成像设备将采集的所述第一文本信息的图像信息转换为电信号后,并对所述电信号进行转换后所得到的。
如此,针对不同形式的第一文本信息采用不同的方式获取,如此提升了第一文本信息的获取效率和获取精确性。
可选地,处理器1201,还用于对所述第一文本信息进行语义识别,得到至少一个目标词语,其中,每个目标词语按照其在所述第一文本信息中的位置进行排序,得到第一排序;根据所述至少一个目标词语对应的编码信息,确定预先存储的至少一个编码信息中与每个目标词语对应的编码信息相匹配的目标编码信息;调取与所述目标编码信息对应的画面;将调取的与所述目标编码信息对应的画面按照所述第一排序进行排序,得到与所述第一文本信息对应的场景画面。
如此,通过对第一文本信息进行语义识别,得到至少一个目标词语,然后根据至少一个目标词语对应的编码信息,确定预先存储的至少一个编码信息中与每个目标词语对应的编码信息相匹配的目标编码信息,调取与目标编码信息对应的画面,并将调取的与目标编码信息对应的画面按照第一排序进行排序,即可精确得到与第一文本信息对应的场景画面。
可选地,在所述第一文本信息为电子版文本信息的情况下,处理器1201,还用于接收所述电子设备发送的与所述第一文本信息对应的第一音频信息;将调取的与所述目标编码信息对应的画面按照所述第一排序进行排序,基于排序后的与所述目标编码信息对应的画面与所述第一音频信息,得到与所述第一文本信息对应的场景画面。
如此,在第一文本信息为电子版文本信息的情况下,在生成场景画面时,基于接收的第一文本信息对应的第一音频信息一起生成场景画面,如此得到的场景画面中不仅具有场景画面,还具有第一音频信息,如此可使用户置于身临其境的感觉,提升用户对场景画面的观赏性。
可选地,处理器1201,还用于在所述场景画面中需要特效音频的情况下,基于排序后的与所述目标编码信息对应的画面、所述第一音频信息和预先模拟的目标特效音频,得到与所述第一文本信息对应的场景画面,其中,所述目标特效音效与所述目标编码信息对应的画面相对应;
显示单元1206,还用于显示所述场景画面,并将所述目标特效音频以第一音量播放,将所述第一音频信息以第二音量进行播放,其中,所述第一音量大于所述第二音量。
如此,在场景画面中需要特效音频的情况下,可基于排序后的与目标编码信息对应的画面、第一音频信息和预先模拟的目标特效音频,得到与第一文本信息对应的场景画面,在显示场景画面时,可将目标特效音频以相较于第一音频信息的音量较大的音量进行播放,如此可使用户听到目标特效音效,提升了用户对场景画面的观赏性。
可选地,处理器1201,还用于获取用户注视所述场景画面的时长;在所述时长大于第二预设时长的情况下,将所述场景画面进行保存。
如此,在用户注视场景画面的时长大于第二预设时长的情况下,可直接将场景画面进行保存,如此后续在用户需要重新查看该场景画面时,可以直接调取保存的场景画面,无需重新生成场景画面,节省了扩展现实设备的算力。
可选地,处理器1201,还用于跟踪用户在阅读所述第一文本信息时眼球的运动速度和运动方向;根据所述运动速度和所述运动方向,确定用户阅读所述第一文本信息的阅读速度;根据所述阅读速度,控制所述场景画面的显示速度。
如此,通过跟踪用户在阅读第一文本信息时眼球的运动速度和运动方向,根据运动速度和运动方向,确定用户阅读第一文本信息的阅读速度,根据阅读速度,控制场景画面的显示速度,如此可使显示的场景画面的每一帧画面都与用户当前阅读的第一文本信息的阅读位置相匹配,提升用户对场景画面的观赏性。
应理解的是,本申请实施例中,输入单元1204可以包括图形处理器(GraphicsProcessing Unit,GPU)12041和麦克风12042,图形处理器12041对在视频捕获模式或图像捕获模式中由图像捕获装置(如彩色摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1206可包括显示面板12061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板12061。用户输入单元1207包括触控面板12071以及其他输入设备12072中的至少一种。触控面板12071,也称为触摸屏。触控面板12071可包括触摸检测装置和触摸控制器两个部分。其他输入设备12072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
存储器1209可用于存储软件程序以及各种数据。存储器1209可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器1209可以包括易失性存储器或非易失性存储器,或者,存储器1209可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-OnlyMemory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccess Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请实施例中的存储器1209包括但不限于这些和任意其它适合类型的存储器。
处理器1210可包括一个或多个处理单元;可选的,处理器1210集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器1210中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述信息显示方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述信息显示方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述信息显示方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (14)
1.一种信息显示方法,其特征在于,所述方法应用于扩展现实设备,所述方法包括:
获取第一文本信息;
对所述第一文本信息进行识别,生成与所述第一文本信息对应的场景画面;
显示所述场景画面和所述第一文本信息。
2.根据权利要求1所述的方法,其特征在于,在所述显示所述场景画面和所述第一文本信息之前,所述方法还包括:
以预设提示样式显示所述场景画面的提示信息,其中,所述提示信息用于提示用户所述场景画面已生成,所述预设提示样式包括:将所述场景画面虚化显示于所述第一文本信息的背景图层,或者,将所述第一文本信息中与所述场景画面有关的目标文本信息以预设显示样式进行显示。
3.根据权利要求2所述的方法,其特征在于,所述显示所述场景画面和所述第一文本信息,包括:
在满足以下至少一个条件的情况下,显示所述场景画面和所述第一文本信息:
确定用户的输入手势与预设手势一致;
确定用户注视所述提示信息的时长大于第一预设时长;
确定用户注视所述提示信息的注视方式与预设注视方式一致;
确定用户对预设控件执行第一输入;
确定用户输入的语音指令与预设语音指令一致。
4.根据权利要求1所述的方法,其特征在于,所述显示所述场景画面和所述第一文本信息,包括:
将所述场景画面以第一清晰度进行显示,并将所述第一文本信息虚化显示在所述场景画面的背景图层,在所述扩展现实设备视野的第一显示区域显示所述场景画面,在所述扩展现实设备视野的第二显示区域显示所述第一文本信息,其中,所述第一清晰度为清晰度大于预设清晰度阈值的清晰度;
在所述显示所述场景画面和所述第一文本信息之后,所述方法还包括:
接收用户的第一输入;
响应于所述第一输入,将所述场景画面虚化显示在所述第一文本信息的背景图层,并将所述第一文本信息以所述第一清晰度平铺显示于所述扩展现实设备视野中。
5.根据权利要求1所述的方法,其特征在于,在所述显示所述场景画面和所述第一文本信息之后,所述方法还包括:
接收用户在所述场景画面中的交互操作;
响应于所述交互操作,显示与所述交互操作对应的操作结果。
6.根据权利要求1所述的方法,其特征在于,所述获取第一文本信息,包括:
在所述第一文本信息为电子版文本信息的情况下,接收电子设备发送的所述第一文本信息;
在所述第一文本信息为纸质文本信息的情况下,从光学成像设备处获取所述第一文本信息对应的数字信号,其中,所述数字信号为所述光学成像设备将采集的所述第一文本信息的图像信息转换为电信号后,并对所述电信号进行转换后所得到的。
7.根据权利要求6所述的方法,其特征在于,所述对所述第一文本信息进行识别,生成与所述第一文本信息对应的场景画面,包括:
对所述第一文本信息进行语义识别,得到至少一个目标词语,其中,每个目标词语按照其在所述第一文本信息中的位置进行排序,得到第一排序;
根据所述至少一个目标词语对应的编码信息,确定预先存储的至少一个编码信息中与每个目标词语对应的编码信息相匹配的目标编码信息;
调取与所述目标编码信息对应的画面;
将调取的与所述目标编码信息对应的画面按照所述第一排序进行排序,得到与所述第一文本信息对应的场景画面。
8.根据权利要求7所述的方法,其特征在于,在所述第一文本信息为电子版文本信息的情况下,在所述接收电子设备发送的所述第一文本信息之后,所述方法还包括:
接收所述电子设备发送的与所述第一文本信息对应的第一音频信息;
所述将调取的与所述目标编码信息对应的画面按照所述第一排序进行排序,得到与所述第一文本信息对应的场景画面包括:
将调取的与所述目标编码信息对应的画面按照所述第一排序进行排序,基于排序后的与所述目标编码信息对应的画面与所述第一音频信息,得到与所述第一文本信息对应的场景画面。
9.根据权利要求8所述的方法,其特征在于,所述基于排序后的与所述目标编码信息对应的画面与所述第一音频信息,得到与所述第一文本信息对应的场景画面,包括:
在所述场景画面中需要特效音频的情况下,基于排序后的与所述目标编码信息对应的画面、所述第一音频信息和预先模拟的目标特效音频,得到与所述第一文本信息对应的场景画面,其中,所述目标特效音效与所述目标编码信息对应的画面相对应;
所述显示所述场景画面,包括:
显示所述场景画面,并将所述目标特效音频以第一音量播放,将所述第一音频信息以第二音量进行播放,其中,所述第一音量大于所述第二音量。
10.根据权利要求1所述的方法,其特征在于,在所述显示所述场景画面和所述第一文本信息之后,所述方法还包括:
获取用户注视所述场景画面的时长;
在所述时长大于第二预设时长的情况下,将所述场景画面进行保存。
11.根据权利要求1所述的方法,其特征在于,在所述显示所述场景画面和所述第一文本信息之后,所述方法还包括:
跟踪用户在阅读所述第一文本信息时眼球的运动速度和运动方向;
根据所述运动速度和所述运动方向,确定用户阅读所述第一文本信息的阅读速度;
根据所述阅读速度,控制所述场景画面的显示速度。
12.一种信息显示装置,其特征在于,所述装置应用于扩展现实设备,所述装置包括:
获取模块,用于获取第一文本信息;
生成模块,用于对所述第一文本信息进行识别,生成与所述第一文本信息对应的场景画面;
显示模块,用于显示所述场景画面和所述第一文本信息。
13.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-11任一项所述的信息显示方法的步骤。
14.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-11任一项所述的信息显示方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311338119.5A CN117406856A (zh) | 2023-10-16 | 2023-10-16 | 信息显示方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311338119.5A CN117406856A (zh) | 2023-10-16 | 2023-10-16 | 信息显示方法、装置、设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117406856A true CN117406856A (zh) | 2024-01-16 |
Family
ID=89493593
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311338119.5A Pending CN117406856A (zh) | 2023-10-16 | 2023-10-16 | 信息显示方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117406856A (zh) |
-
2023
- 2023-10-16 CN CN202311338119.5A patent/CN117406856A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107632706B (zh) | 多模态虚拟人的应用数据处理方法和系统 | |
CN110868635B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
CN112437353B (zh) | 视频处理方法、视频处理装置、电子设备和可读存储介质 | |
CN112364799A (zh) | 一种手势识别方法及装置 | |
CN113596555B (zh) | 视频播放方法、装置及电子设备 | |
CN111862280A (zh) | 虚拟角色控制方法、系统、介质及电子设备 | |
CN113806570A (zh) | 图像生成方法和生成装置、电子设备和存储介质 | |
CN114374663B (zh) | 消息处理方法和消息处理装置 | |
CN111741321A (zh) | 一种直播控制方法、装置、设备及计算机存储介质 | |
CN112286617B (zh) | 操作指导方法、装置及电子设备 | |
CN112711368A (zh) | 操作指导方法、装置及电子设备 | |
CN117406856A (zh) | 信息显示方法、装置、设备和存储介质 | |
CN115543137A (zh) | 视频播放方法和装置 | |
CN114125149A (zh) | 视频播放方法、装置、系统、电子设备及存储介质 | |
CN113778596A (zh) | 远程协助方法、装置和电子设备 | |
CN114786062A (zh) | 信息推荐方法、装置和电子设备 | |
CN112887780A (zh) | 视频名称的显示方法及装置 | |
CN115103054B (zh) | 信息处理方法、装置、电子设备及介质 | |
CN113873165B (zh) | 拍照方法、装置和电子设备 | |
CN117676256A (zh) | 视频播放方法、装置、电子设备及可读存储介质 | |
CN117608459A (zh) | 截图方法、装置、设备及介质 | |
CN117055997A (zh) | 信息处理方法和装置 | |
CN118250419A (zh) | 会话窗口显示方法和电子设备 | |
CN117354595A (zh) | 视频播放控制方法、终端、电子设备和可读存储介质 | |
CN117010326A (zh) | 文本处理方法及装置、文本处理模型的训练方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |