CN107533360A - 一种显示、处理的方法及相关装置 - Google Patents

一种显示、处理的方法及相关装置 Download PDF

Info

Publication number
CN107533360A
CN107533360A CN201580079473.8A CN201580079473A CN107533360A CN 107533360 A CN107533360 A CN 107533360A CN 201580079473 A CN201580079473 A CN 201580079473A CN 107533360 A CN107533360 A CN 107533360A
Authority
CN
China
Prior art keywords
portable electronic
electronic device
related content
coordinate
wear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580079473.8A
Other languages
English (en)
Other versions
CN107533360B (zh
Inventor
郜文美
范姝男
王雅辉
付滇
孔伟光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN107533360A publication Critical patent/CN107533360A/zh
Application granted granted Critical
Publication of CN107533360B publication Critical patent/CN107533360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information

Abstract

一种显示方法，包括：头戴式可视设备获取触发指令，确定用户视线焦点在便携式电子设备的屏幕上的坐标，触发指令用于指示头戴式可视设备进行显示操作；将坐标发送给便携式电子设备，坐标触发便携式电子设备确定坐标对应的对象为便携式电子设备可处理时，使得便携式电子设备获取对象的相关内容；获取便携式电子设备的对象的相关内容；在虚拟屏幕上显示对象的相关内容。这样，用户通过头戴式可视设备与便携式电子设备的信息交互来实现对便携式电子设备信息的浏览，针对便携式电子设备为屏幕较小的终端设备，通过该方法，用户则能够通过头戴式可视设备更方便地阅读终端设备上的内容，提高了用户体验。

Description

一种显示、处理的方法及相关装置 技术领域
本发明涉及便携式电子设备领域，特别是一种显示、处理的方法及相关装置。
背景技术
目前，业界一些主流便携式电子设备具备悬浮预览功能，具体为在相册、视频、日历、以及网页这些界面上，将手指悬停在指定的地方即可有预览效果。例如在相册文件夹上悬停，即可预览文件夹内的照片；在网页文字上悬停，即可放大字体；在视频进度条上悬停，即可预览相应进度的画面。
增强现实(英文全称：Augmented Reality，英文缩写：AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术。增强现实效果可以在便携式电子设备屏幕上呈现，也可以在智能眼镜的屏幕上呈现，相比较来说，后者体验更好。当人的眼睛看向不同方向时，眼部会有细微的变化，这些变化会产生可以提取的特征，设备可以通过图像捕捉或扫描提取这些特征，从而实时追踪眼睛的变化，实现眼球跟踪。目前基于悬浮触控技术的悬浮预览功能用户体验不佳；目前在便携式电子设备上对目标图像进行识别,查询或者对文字进行翻译的操作过程比较繁琐、不够便捷，尤其对于屏幕较小的便携式电子设备，例如智能手表，智能手表的显示屏很小，可以显示的内容很少，要查看详细的信息，还需要到相连接的手机上查看，非常不方便。
发明内容
有鉴于此，第一方面提供一种显示方法，应用于头戴式可视设备，所述头戴式可视设备与便携式电子设备保持无线连接，包括：
检测到一个指令，确定用户的注视点在所述便携式电子设备的屏幕上的坐标；
发送所述坐标和指示至所述便携式电子设备，所述指示用于标识所述指令；
接收所述便携式电子设备发送的所述坐标对应的对象的相关内容，所述相关内容是由所述便携式电子设备根据所述坐标和所述指示获得的；
在所述便携式电子设备对应的虚拟屏幕上显示所述相关内容。
用户通过头戴式可视设备与便携式电子设备的信息交互来实现对便携式电子设备信息的浏览，使得预览方式更自然、更便捷，提高了用户体验。并且，针对便携式电子设备为屏幕较小的终端设备，比如智能手表，通过本申请所提供的方法，用户则能够通过头戴式可视设备更方便地阅读智能手表上的内容，提高了用户体验。
一种可能的实现方式中，所述坐标对应的对象的相关内容包括所述便携式电子设备的屏幕上的预设范围的截图；
所述方法还包括：
确定用户的注视点在虚拟屏幕显示的所述截图上的另一个坐标；
将所述另一个坐标变换为适用于所述便携式电子设备的屏幕的坐标；
发送变换后的所述另一个坐标至所述便携式电子设备；
接收所述便携式电子设备发送的变换后的所述另一个坐标对应的对象的另一个相关内容，在所述便携式电子设备对应的虚拟屏幕上显示所述另一个相关内容。
由于目前头戴式可视设备中的眼球跟踪技术并非十分得准确，头戴式可视设备第一次所确定的用户的注视点的坐标，便携式电子设备并不能确定所述坐标对应的具体对象，尤其是当便携式电子设备的屏幕上为一篇文章或一段文字时，用户的注视点的坐标可能位于两个字之间，导致便携式电子设备不能确定用户需要翻译或查询哪个字。有鉴于此，本实现方式中，提供一种二次选择的方法，即当便携式电子设备无法确定用户需要选择哪个对象时，将第一次接收到的坐标进行预设范围的截图，将截图发送给头戴式可视设备，使得头戴式可视设备显示所述截图并提供用户进行第二次坐标选择，头戴式可视设备在虚拟屏幕上显示所述截图时，可以对截图进行放大显示，以方便用户进行第二次坐标选择，得到另一个坐标。这样，提高了产品的实用性，并提高了用户的体验。
另一种可能的实现方式中，在所述便携式电子设备对应的虚拟屏幕上显示所述相关内容之前，所述方法还包括：
按照预设倍数放大所述相关内容；
在所述便携式电子设备对应的虚拟屏幕上显示所述相关内容包括：
在所述便携式电子设备对应的虚拟屏幕上显示放大后的所述相关内容。
便携式电子设备可以为智能手表类的屏幕较小的终端设备，而对于屏幕较小的终端设备，显示的画面比较小，也可能不清晰，比如一张图片，用户浏览器来比较费劲。通过本实现方式，头戴式可视设备在虚拟屏幕上显示相关内容之前，先对相关内容进行放大处理，然后显示放大后的相关内容，用户通过头戴式可视设备，则能够看到较大以及清晰的图片，从而提高了用户的体验。
另一种可能的实现方式中，在所述便携式电子设备对应的虚拟屏幕上显示所述相关内容包括：
在所述便携式电子设备对应的进行预设缩放后的虚拟屏幕上显示所述相关内容的全部内容。
便携式电子设备可以为智能手表类的屏幕较小的终端设备，而对于屏幕较小的终端设备，显示的画面比较小，屏幕上可能无法完整的显示出一条信息的全部内容，比如一条短信。而由于虚拟屏幕是通过头戴式可视设备投射的，那么虚拟屏幕的大小可以有头戴式可视设备调整大小，那么用户则可以将虚拟屏幕调大，从而所显示相关内容的全部内容，比如一条短信。
另一种可能的实现方式中，所述方法还包括：在所述便携式电子设备的屏幕和所述虚拟屏幕中的至少一个屏幕上显示用户的注视点的标记。
另一种可能的实现方式中，所述方法还包括：
检测到另一个指令，停止在所述虚拟屏幕上显示所述相关内容；或者，关闭所述虚拟屏幕；所述另一个指令用于指示所述头戴式可视设备以及所述便携式电子设备进行关闭显示所述相关内容的操作。
第一方面还提供一种显示方法，应用于便携式电子设备，所述便携式电子设备与头戴式可视设备保持无线连接，包括：
接收所述头戴式可视设备发送的坐标和指示，所述坐标为用户的注视点在所述便携式电子设备的屏幕上的坐标，所述指示用于标识所述指令；
所述便携式电子设备根据所述坐标和所述指示获取所述坐标对应的对象的相关内容；
发送所述相关内容到所述头戴式可视设备。
第二方面提供一种显示方法，应用于头戴式可视设备，所述头戴式可视设 备与便携式电子设备保持无线连接，包括：
检测到指令，确定用户的注视点在所述便携式电子设备的屏幕上的坐标；
发送所述坐标至所述便携式电子设备；
接收所述便携式电子设备发送的所述坐标对应的对象的相关内容，所述相关内容是由所述便携式电子设备根据所述坐标获得的；
在所述便携式电子设备对应的虚拟屏幕上显示所述相关内容。
一种可能的实现方式中，在所述便携式电子设备对应的虚拟屏幕上显示所述相关内容之前，所述方法还包括：
按照预设倍数放大所述相关内容；
在所述便携式电子设备对应的虚拟屏幕上显示所述相关内容包括：
在所述便携式电子设备对应的虚拟屏幕上显示放大后的所述相关内容。
另一种可能的实现方式中，在所述便携式电子设备对应的虚拟屏幕上显示所述相关内容包括：
在所述便携式电子设备对应的进行预设缩放后的虚拟屏幕上显示所述相关内容的全部内容。
第三方面提供一种显示方法，应用于便携式电子设备，包括：
检测到语音输入，确定用户的注视点的坐标；
当所述注视点的坐标对应的对象为一个应用，将根据所述语音输入识别出的文字作为所述对象的输入；
显示所述对象根据所述文字输出的界面。
便携式电子设备通过获取用户的注视点的坐标，则确定用户的语音输入针对的对象为哪一个应用，比如，用户盯着一个用于搜索的应用，语音输入“颐和园”，则便携式电子设备确定用户的注视点的坐标所对应的对象为该用于搜索的应用，将语音输入“颐和园”识别出对应的文字，打开该应用，以“颐和园”为输入在所述打开的应用中，对“颐和园”进行搜索，并将搜索后的界面呈现给用户。这样，用户无需先手动选择应用，再在应用里输入需要搜索的内容，才能浏览到需要的信息，通过本显示方法，用户在盯着某应用语音输入需要查找的信息时，便携式电子设备就自动对应用进行定位，并运行该应用进行相关操作，使得用户进行搜索和浏览更加便捷，从而提高了用户的体验。
一种可能的实现方式中，在检测到语音输入后，所述方法还包括：根据所述语音输入识别出所述文字。
另一种可能的实现方式中，所述根据所述语音输入识别出所述文字，包括：
确定所述语音输入的声纹与预先存储的声纹相匹配，根据所述语音输入识别出所述文字。
第四方面提供一种显示方法，应用于便携式电子设备，所述便携式电子设备与头戴式可视设备保持无线连接，包括：
接收所述头戴式可视设备发送的坐标，所述坐标为所述头戴式可视设备确定用户的注视点在所述便携式电子设备的屏幕上的坐标；
当所述坐标对应的对象为可操控的，确定所述对象的类型；
根据所述对象的类型确定所述对象的相关内容；
向所述头戴式可视设备发送所述相关内容。
一种可能的实现方式中，所述根据所述对象的类型确定所述对象的相关内容包括：
若所述对象的类型为图片缩略图，则对所述对象执行打开操作，将执行打开操作后得到的内容作为所述对象的相关内容；或者，
若所述对象的类型为视频缩略图，则对所述对象执行打开操作或播放操作，将执行打开操作或播放操作后得到的内容作为所述对象的相关内容；或者，
若所述对象的类型为文件夹或目录，则对所述对象执行打开操作，将执行打开操作后得到的内容进行截图，并将所述截图作为所述对象的相关内容；或者，
若所述对象的类型为超链接，则对所述对象执行打开操作或加载操作，将执行打开操作或加载操作后得到的内容进行截图，并将所述截图作为所述对象的相关内容；或者，
若所述对象的类型为应用程序图标，则对所述对象执行打开操作，将执行打开操作后得到的内容作为所述对象的相关内容；或者，
若所述对象的类型为文字或文本，则对所述对象执行搜索和翻译中的至少一种操作，将执行所述至少一种操作得到的内容作为所述对象的相关内容；或者，
若所述对象的类型为图片或图像，则对所述对象执行图像识别，对识别出的人脸或物品执行搜索操作，将执行搜索操作得到的内容作为所述对象的相关内容。
第五方面提供一种显示方法，应用于便携式电子设备，所述便携式电子设备与头戴式可视设备保持无线连接，包括：
检测到指令；
接收所述头戴式可视设备发送的坐标，所述坐标为所述头戴式可视设备确定用户的注视点在所述便携式电子设备的屏幕上的坐标；
根据所述指令获取所述坐标对应的对象的相关内容；
将所述相关内容发送给所述头戴式可视设备。
第六方面提供一种头戴式可视设备，所述头戴式可视设备与便携式电子设备保持无线连接，包括用于执行第一方面或第一方面的任一种可能实现方式所提供的方法的单元。
第七方面提供一种头戴式可视设备，所述头戴式可视设备与便携式电子设备保持无线连接，包括用于执行第二方面或第二方面的任一种可能实现方式所提供的方法的单元。
第八方面提供一种便携式电子设备，包括用于执行第三方面或第三方面的任一种可能实现方式所提供的方法的单元。
第九方面提供一种便携式电子设备，所述便携式电子设备与头戴式可视设备保持无线连接，包括用于执行第四方面或第四方面的任一种可能实现方式所提供的方法的单元。
第十方面提供一种便携式电子设备，所述便携式电子设备与头戴式可视设备保持无线连接，包括用于执行第五方面或第五方面的任一种可能实现方式所提供的方法的单元。
本申请第十一方面提供一种头戴式可视设备，包括：
一个或多个处理器、存储器、总线系统以及接口电路，所述一个或多个处理器、所述存储器和所述接口电路通过所述总线系统相连；
所述存储器中存储有计算机指令，当所述一个或多个处理器执行所述计算机指令时，所述头戴式可视设备执行如第一方面，或第二方面中任意一种实现 方式。
第十二方面一种便携式电子设备，包括：
一个或多个处理器、存储器、总线系统以及接口电路，所述一个或多个处理器、所述存储器和所述接口电路通过所述总线系统相连；
所述存储器中存储有计算机指令，当所述一个或多个处理器执行所述计算机指令时，所述便携式电子设备执行如权第三方面，或第四方面，或第五方面中任意一种实现方式。
第十三方面提供一种存储一个或者多个程序的可读存储介质，所述一个或多个程序包括指令，所述指令当被头戴式可视设备执行时所述头戴式可视设备执行如第一方面或第二方面中任意一种实现方式。
第十四方面提供一种存储一个或者多个程序的可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当被便携式电子设备执行时所述便携式电子设备执行如第三方面，或第四方面，或第五方面中任意一种实现方式。
本申请提供的一种显示方法中，包括：头戴式可视设备获取触发指令，确定用户视线焦点在所述便携式电子设备的屏幕上的坐标，所述触发指令用于指示所述头戴式可视设备进行显示操作；将所述坐标发送给所述便携式电子设备，所述坐标触发所述便携式电子设备确定所述坐标对应的对象为所述便携式电子设备可处理时，使得所述便携式电子设备获取所述对象的相关内容；获取所述便携式电子设备的所述对象的相关内容；在虚拟屏幕上显示所述对象的相关内容。这样，用户通过头戴式可视设备与便携式电子设备的信息交互来实现对便携式电子设备信息的浏览，使得预览方式更自然、更便捷，提高了用户体验。并且，针对便携式电子设备为屏幕较小的终端设备，比如智能手表，通过本申请所提供的方法，用户则能够通过头戴式可视设备更方便地阅读智能手表上的内容，提高了用户体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅 仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请所提供的一种显示方法的一个应用场景示意图；
图2A为本申请所提供的示例性设备的一个示意图；
图2B为本申请所提供的示例性设备的另一示意图；
图3为本申请所提供的示例性设备的另一示意图；
图4为本申请所提供的一种显示方法的一个流程示意图；
图5为本申请所提供的一种显示方法的另一流程示意图；
图6为本申请所提供的一种显示方法的另一流程示意图；
图7为本申请所提供的一种显示方法的另一流程示意图；
图8为本申请所提供的一种显示方法的另一流程示意图；
图9为本申请所提供的一种显示方法的另一流程示意图；
图10为本申请所提供的一种显示方法的另一应用场景示意图；
图11为本申请所提供的一种头戴式可视设备的一个示意图；
图12为本申请所提供的一种头戴式可视设备的另一示意图；
图13为本申请所提供的一种便携式电子设备的一个示意图；
图14为本申请所提供的一种便携式电子设备的另一示意图；
图15为本申请所提供的一种便携式电子设备的另一示意图；
图16为本申请所提供的一种头戴式可视设备的另一示意图；
图17为本申请所提供的一种便携式电子设备的另一示意图。
具体实施方式
头戴式可视设备(英文全称：Head Mounted Display，英文缩写：HMD)，包括智能眼镜、智能头盔；头戴式可视设备具备增强现实和眼球跟踪功能。
便携式电子设备包括：手机、平板电脑、个人计算机(英文全称：personal computer，英文缩写：PC)、电视机(英文全称：television，英文缩写：TV)、公共广告牌、智能手表、车载便携式电子设备等各类屏类便携式电子设备。
图1为头戴式可视设备与便携式电子设备进行信息交互的示意图，头戴式可视设备与便携式电子设备进行无线连接，包括蓝牙连接、无线保真(英文全 称：Wireless-Fidelity，英文缩写：Wi-Fi)连接等。用户戴上头戴式可视设备时，可以通过头戴式可视设备的增强现实功能，在预设位置看到头戴式可视设备所呈现的画面，所述画面为头戴式可视设备获取到便携式电子设备的屏幕信息或应用信息的呈现，头戴式可视设备所显示的画面可以是在头戴式可视设备的镜片上呈现，也可以是头戴式可视设备直接将画面投影到用户的视网膜上呈现。
示例性设备
现在将详细地参考实施例，这些实施例的示例在附图中被示出。在下面的详细描述中给出了许多具体细节，以便提供对本发明的充分理解。但是，对本领域技术人员将显而易见的是本发明可以在没有这些具体细节的情况下被实践。在其他情况下，没有详细地描述众所周知的方法、过程、部件、电路、和网络，从而不会不必要地使实施例的方面晦涩难懂。
在本文中对本发明的描述中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本发明的限制。如本在发明的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联地列出的项目中一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”和/或“包含”当在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元素和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元素、部件和/或其分组。
如本文中所用，根据上下文，术语“如果”可以被解释为意思是“当...时”或“在...后”或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定...”或“如果检测到[所陈述的条件或事件]”可以被解释为意思是“在确定...时”或“响应于确定...”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
介绍了电子设备、用于这样的设备的用户界面、和用于使用这样的设备的相关联过程的实施例。在一些实施例中，设备是还包含其它功能诸如个人数字助理和/或音乐播放器功能的便携式通信设备，诸如移动电话。便携式电子设 备的示例性实施例包括但不限于搭载或者其它操作系统的便携式电子设备。也可以使用其它便携式电子设备，诸如具有触敏表面(例如，触摸屏显示器和/或触控板)的膝上型计算机或平板电脑。还应当理解的是，在一些实施例中，设备不是便携式通信设备，而是具有触敏表面(例如，触摸屏显示器和/或触控板)的台式计算机。
在下面的讨论中，介绍了一种包括显示器和触敏表面的电子设备。然而应当理解，电子设备可以包括一个或多个其他物理用户接口设备，诸如物理键盘、鼠标和/或操作杆。
设备通常支持多种应用程序，诸如以下中的一种或多种：画图应用程序、呈现应用程序、文字处理应用程序、网页创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、锻炼支持应用程序、相片管理应用程序、数字相机应用程序、数字视频摄像机应用程序、网络浏览应用程序、数字音乐播放器应用程序、和/或数字视频播放器应用程序。
可在设备上执行的各种应用程序可使用至少一个共用的物理用户接口设备，诸如触敏表面。触敏表面的一种或多种功能以及显示在设备上的相应信息可从一种应用程序调整和/或变化至下一种应用程序和/或在相应应用程序内被调整和/或变化。这样，设备的共用物理架构(诸如触敏表面)可利用对于用户而言直观清楚的用户界面来支持各种应用程序。
现在关注具有触敏显示器的便携式设备的实施例。图2A是示出根据一些实施例的具有触敏显示器112的便携式电子设备100的框图。触敏显示器112有时为了方便被称为“触摸屏”，并且也可被称为是或者被叫做触敏显示器系统，也可以被称为具有触敏表面(touch-sensitive surface)和显示屏(display)的显示器系统。设备100可包括存储器102(其可包括一个或多个计算机可读存储介质)、存储器控制器122、一个或多个处理单元(CPU)120、外围设备接口118、RF电路系统108、音频电路系统110、扬声器111、麦克风113、输入/输出(I/O)子系统106、其他输入控制设备116、和外部端口124。设备100可包括一个或多个光学传感器164。这些部件可通过一根或多根通信总线或信号线103进行通信。
应当理解，设备100只是一种便携式电子设备的一个示例，并且设备100可具有比所示出的更多或更少的部件，可组合两个或更多个部件，或者可具有这些部件的不同配置或布置。图2A中所示的各种部件可以硬件、软件方式或软硬件组合来实现，包括一个或多个信号处理和/或专用集成电路。
存储器102可以包括高速随机存取存储器，并且还可包括非易失性存储器，诸如一个或多个磁盘存储设备、闪存存储器设备、或其他非易失性固态存储器设备。设备100的其他部件(诸如CPU 120和外围设备接口118)对存储器102的访问可由存储器控制器122来控制。
外围设备接口118可以被用来将设备的输入和输出外围设备耦接到CPU 120和存储器102。该一个或多个处理器120运行或执行存储在存储器102中的各种软件程序和/或指令集，以执行设备100的各种功能以及处理数据。在一些实施例中，该一个或多个处理器120包括图像信号处理器和双核或多核处理器。
在一些实施例中，外围设备接口118、CPU 120、和存储器控制器122可以被实现在单个芯片诸如芯片104上。在一些其他实施例中，它们可以被实现在独立的芯片上。
RF(射频)电路系统108接收和发送RF信号，也被叫做电磁信号。RF电路系统108将电信号转换为电磁信号/将电磁信号转换为电信号，并且经由电磁信号与通信网络及其他通信设备通信。RF电路系统108可包括用于执行这些功能的众所周知的电路系统，包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路系统108可通过无线通信与网络以及其他设备通信，网络诸如是互联网(也被称为万维网(WWW))、内联网和/或无线网络(诸如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。无线通信可使用多种通信标准、协议和技术中的任何类型，包括但不限于全球移动通信系统(GSM)、增强数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(WI-Fi)(例如，IEEE 802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE 802.11n)、因特网语音协议(VoIP)、 Wi-MAX、电子邮件协议(例如，因特网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如，可扩展消息处理现场协议(XMPP)、用于即时消息和现场利用扩展的会话发起协议(SIMPLE)、即时消息和到场服务(IMPS))、和/或短消息服务(SMS)、或者其他任何适当的通信协议，包括在本文献提交日还未开发出的通信协议。
音频电路系统110、扬声器111、和麦克风113提供用户与设备100之间的音频接口。音频电路系统110从外围设备接口118接收音频数据，将音频数据转换为电信号，并将电信号传输到扬声器111。扬声器111将电信号转换为人类可听的声波。音频电路系统110还接收由麦克风113根据声波转换来的电信号。音频电路系统110将电信号转换为音频数据，并将音频数据传输到外围设备接口118以进行处理。音频数据可由外围设备接口118检索自和/或传输至存储器102和/或RF电路系统108。在一些实施例中，音频电路系统110还包括耳麦插孔(例如，图2中的212)。耳麦插孔提供音频电路系统110与可移除的音频输入/输出外围设备之间的接口，该外围设备诸如仅输出的耳机或者具有输出(例如，单耳或双耳耳机)和输入(例如，麦克风)二者的耳麦。
I/O子系统106将设备100上的输入/输出外围设备，诸如触摸屏112和其他输入控制设备116，耦接到外围设备接口118。I/O子系统106可以包括显示控制器156和用于其他输入控制设备的一个或多个输入控制器160。该一个或多个输入控制器160从其他输入控制设备116接收电信号/发送电信号到其他输入控制设备116。所述其他输入控制设备116可包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击式转盘等等。在一些另选实施例中，输入控制器160可耦接到(或不耦接到)以下任一个：键盘、红外线端口、USB端口、和指针设备诸如鼠标。该一个或多个按钮(例如，图2中的208)可包括用于扬声器111和/或麦克风113的音量控制的上/下按钮。该一个或多个按钮可包括下压按钮(例如，图2中的206)。
触敏显示器112提供设备与用户之间的输入接口和输出接口。显示控制器156从触摸屏112接收电信号和/或向触摸屏112发送电信号。触摸屏112向用户显示视觉输出。视觉输出可包括图形、文本、图标、视频及它们的任何组合(统称为“图形”)。在一些实施例中，一些视觉输出或全部的视觉输出可对应 于用户界面对象。
触摸屏112具有基于触觉和/或触觉接触从用户接受输入的触敏表面、传感器或传感器组。触摸屏112和显示控制器156(与存储器102中的任何相关联模块和/或指令集一起)检测触摸屏112上的接触(和该接触的任何移动或中断)，并且将所检测到的接触转换为与显示在触摸屏112上的用户界面对象(例如，一个或多个软按键、图标、网页或图像)的交互。在示例性实施例中，触摸屏112与用户之间的接触点对应于用户的手指。
触摸屏112可使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术、或LED(发光二极管)技术，但是在其他实施例中可使用其他显示技术。触摸屏112和显示控制器156可以利用现在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与触摸屏112接触的一个或多个点的其他元件来检测接触及其任何移动或中断，该多种触摸感测技术包括但不限于电容性的、电阻性的、红外线的、和表面声波技术。在一示例性实施例中，使用投射式互电容感测技术。
触摸屏112可以具有超过100dpi的视频分辨率。在一些实施例中，触摸屏具有大约160dpi的视频分辨率。用户可以利用任何合适的物体或附加物诸如触笔、手指等等，与触摸屏112接触。在一些实施例中，用户界面被设计为主要与基于手指的接触和手势一起工作，这与基于触笔的输入相比由于手指在触摸屏上接触面积更大而可能精确度更低。在一些实施例中，设备将基于手指的粗略输入翻译为精确的指针/光标位置或命令，以执行用户所期望的动作。
在一些实施例中，除了触摸屏之外，设备100可包括用于激活或解除激活特定功能的触控板(未示出)。在一些实施例中，触控板是设备的触敏区域，该触敏区域与触摸屏不同，其不显示视觉输出。触控板可以是与触摸屏112分开的触敏表面，或者是由触摸屏形成的触敏表面的延伸部分。
设备100还包括用于为各种部件供电的电力系统162。电力系统162可包括电力管理系统、一个或多个电源(例如，电池、交流电(AC))、再充电系统、电力故障检测电路、功率变换器或逆变器、电力状态指示器(例如，发光二极管(LED))和任何其他与便携式设备中电力的生成、管理和分配相关联的部件。
设备100还可包括一个或多个光学传感器164。图2A示出了耦接到I/O 子系统106中光学传感器控制器158的光学传感器。光学传感器164可包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管。光学传感器164从环境接收通过一个或多个透镜投射的光，并且将光转换为表示图像的数据。结合成像模块143(也称为相机模块)，光学传感器164可以捕获静态图像或视频。在一些实施例中，一个或者多个光学传感器位于设备100的后部，与设备前部上的触摸屏显示器112相对，使得触摸屏显示器可用作用于静态图像和/或视频图像采集的取景器。在一些实施例中，另一个或者多个光学传感器位于设备的前部上，使得用户在触摸屏显示器上观看其它视频会议参与者的同时可以获得该用户的图像以用于视频会议。
设备100还可以包括一个或多个接近传感器166。图2A示出了耦接到外围设备接口118的接近传感器166。作为另外一种选择，接近传感器166可耦接到I/O子系统106中的输入控制器160。在一些实施例中，当电子设备被置于用户耳朵附近时(例如，当用户正在进行电话呼叫时)，接近传感器关闭并禁用触摸屏112。
设备100还可包括一个或多个加速度计168。图2A示出了耦接到外围设备接口118的加速度计168。作为另外一种选择，加速度计168可耦接到I/O子系统106中的输入控制器160。在一些实施例中，信息基于对从该一个或多个加速度计所接收的数据的分析而在触摸屏显示器上以纵向视图或横向视图被显示。设备100可选地除了加速度计168之外还包括磁力仪(未示出)和GPS(或GLONASS或北斗或其它全球导航系统)接收器(未示出)，用于获得关于设备100的位置和取向(例如，纵向或横向)的信息。
在一些实施例中，存储在存储器102中的软件部件包括操作系统126、通信模块(或指令集)128、接触/移动模块(或指令集)130、图形模块(或指令集)132、文本输入模块(或指令集)134、全球定位系统(GPS)模块(或指令集)135、以及应用程序(或指令集)136。此外，在一些实施例中，存储器102存储设备/全局内部状态157，如图2A和3中所示。设备/全局内部状态157包括以下中一者或多者：活动应用程序状态，用于指示哪些应用程序(如果有的话)当前是活动的；显示状态，用于指示什么应用程序、视图或其它信息占据触摸屏显示器112的各个区域；传感器状态，包括从设备的各个传感器和输入控制设备116获得的 信息；和关于设备的位置和姿态的位置信息。
操作系统126(例如，Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS、ANDROID或嵌入式操作系统(诸如Vx Works))包括用于控制和管理一般系统任务(例如，存储器管理、存储设备控制、电力管理等)的各种软件部件和/或驱动器，并且有利于各个硬件和软件部件之间的通信。此外，在一些实施例中，存储器102存储数字相机胶卷159和数字图像流水线161。
通信模块128有利于通过一个或多个外部端口124与其它设备通信，并且还包括用于处理由RF电路系统108和/或外部端口124所接收的数据的各种软件部件。外部端口124(例如，通用串行总线(USB)、火线等)适于直接耦接到其他设备或者间接地通过网络(例如，因特网、无线LAN等)耦接。在一些实施例中，外部端口是与iPod(Apple Inc.的商标)设备上所使用的30针连接器相同的或类似的以及/或者与其兼容的多针(例如，30针)连接器。
接触/移动模块130可检测与触摸屏112(结合显示控制器156)和其他触敏设备(例如，触控板或物理点击式转盘)的接触。接触/移动模块130包括多个软件部件用于执行与接触检测相关的各种操作，诸如确定是否已经发生了接触(例如，检测手指按下事件)、确定是否存在接触的移动并在整个触敏表面上跟踪该移动(例如，检测一个或多个手指拖动事件)、以及确定接触是否已经终止(例如，检测手指抬起事件或者接触中断)。接触/移动模块130从触敏表面接收接触数据。确定接触点的移动可以包括确定接触点的速率(量值)、速度(量值和方向)、和/或加速度(量值和/或方向的改变)，接触点的移动由一系列接触数据来表示。这些操作可被应用于单点接触(例如，一个手指接触)或者多点同时接触(例如，“多点触摸”/多个手指接触)。在一些实施例中，接触/移动模块130和显示控制器156检测触控板上的接触。
接触/移动模块130可检测用户的手势输入。触敏表面上不同的手势具有不同的接触图案。因此，可通过检测具体接触图案来检测手势。例如，检测到单指轻击手势包括检测到手指按下事件、然后在与手指按下事件相同的位置(或基本上相同的位置)处(例如，在图标位置处)检测到手指抬起(抬离)事件。又如，在触敏表面上检测到手指轻扫手势包括检测到手指按下事件、然后检测到一个或多个手指拖动事件、并且随后检测到手指抬起(抬离)事件。
图形模块132包括用于在触摸屏112或其他显示器上渲染和显示图形的多个已知软件部件，包括用于改变被显示图形的强度的部件。如本文所用，术语“图形”包括可以被显示给用户的任何对象，非限制性地包括文本、网页、图标(诸如包括软按键的用户界面对象)、数字图像、视频、动画等等。
在一些实施例中，图形模块132存储要使用的数据表示图形。每个图形可以被分配有相应的代码。图形模块132从应用程序等接收指定要显示的图形的一个或多个代码，在必要的情况下还一起接收坐标数据和其他图形属性数据，并且然后生成屏幕图像数据来输出给显示控制器156。
可作为图形模块132的部件的文本输入模块134提供用于在多种应用程序(例如，联系人137、电子邮件140、即时消息141、浏览器147、和需要文本输入的任何其他应用程序)中输入文本的软键盘。
GPS模块135确定设备的位置，并且提供该信息以在各种应用程序中使用(例如，提供给电话138来用于基于位置的拨号、提供给相机143作为图片/视频元数据、以及提供给提供基于位置的服务的应用程序，诸如天气桌面小程序、本地黄页桌面小程序、和地图/导航桌面小程序)。
应用程序136可包括以下模块(或指令集)或者其子组或超集：
联系人模块137(有时也称为通讯录或联系人列表)；
电话模块138；
视频会议模块139；
电子邮件客户端模块140；
即时消息(IM)模块141；
锻炼支持模块142；
用于静态图像和/或视频图像的相机模块143；
图像管理模块144；
浏览器模块147；
日历模块148；
桌面小程序模块149，其可以包括以下中一者或多者：天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4、字典桌面小程序149-5、和用户获得的其他桌面小程序、以及用户创建 的桌面小程序149-6；
用于生成用户创建的桌面小程序149-6的桌面小程序创建器模块150；
搜索模块151；
视频和音乐播放器模块152，其可以由视频播放器模块和音乐播放器模块构成；
便签模块153；
地图模块154；
在线视频模块155；
声音/音频录制器模块163；和/或
通知模块165。
可被存储在存储器102中的其他应用程序136的示例包括其他文字处理应用程序、其他图像编辑应用程序、画图应用程序、呈现应用程序、JAVA启用的应用程序、加密、数字权益管理、声音识别、和声音复制。
结合触摸屏112、显示控制器156、接触模块130、图形模块132、和文本输入模块134，联系人模块137可被用于管理通讯录或联系人列表(例如，存储在存储器102或存储器370中联系人模块137的应用程序内部状态192中)，包括：添加姓名到通讯录；从通讯录删除姓名；将电话号码、电子邮件地址、实际地址或其他信息与姓名关联；将图像与姓名关联；对姓名进行分类和归类；提供电话号码或电子邮件地址来发起和/或促进通过电话138、视频会议139、电子邮件140或IM 141的通信；等等。
结合RF电路系统108、音频电路系统110、扬声器111、麦克风113、触摸屏112、显示控制器156、接触模块130、图形模块132、和文本输入模块134，电话模块138可以被用于输入对应于电话号码的字符序列、访问通讯录137中的一个或多个电话号码、修改已经输入的电话号码、拨打相应的电话号码、进行通话以及当通话完成时断开或挂断。如上所述，无线通信可以使用多个通信标准、协议和技术中的任一个。
结合RF电路系统108、音频电路系统110、扬声器111、麦克风113、触摸屏112、显示控制器156、光学传感器164、光学传感器控制器158、接触模块130、图形模块132、文本输入模块134、联系人列表137、和电话模块138， 视频会议模块139包括用于根据用户指令发起、进行、和结束用户与一个或多个其他参与方之间的视频会议的可执行指令。
结合RF电路系统108、触摸屏112、显示控制器156、接触模块130、图形模块132、和文本输入模块134，电子邮件客户端模块140包括用于响应于用户指令来创建、发送、接收、和管理电子邮件的可执行指令。结合图像管理模块144，电子邮件客户端模块140使得非常容易创建和发送具有由相机模块143拍摄的静态图像或视频图像的电子邮件。
结合RF电路系统108、触摸屏112、显示控制器156、接触模块130、图形模块132、和文本输入模块134，即时消息模块141包括用于输入对应于即时消息的字符序列、修改先前输入的字符、传输相应即时消息(例如，使用短消息服务(SMS)或多媒体消息服务(MMS)协议用于基于电话的即时消息或者使用XMPP、SIMPLE、或IMPS用于基于因特网的即时消息)、接收即时消息以及查看所接收的即时消息的可执行指令。在一些实施例中，所传输和/或接收的即时消息可包括图形、相片、音频文件、视频文件以及/或者MMS和/或增强消息服务(EMS)中所支持的其他附接件。如本文所用，“即时消息”是指基于电话的消息(例如，利用SMS或MMS发送的消息)和基于因特网的消息(例如，利用XMPP、SIMPLE、或IMPS发送的消息)二者。
结合RF电路系统108、触摸屏112、显示控制器156、接触模块130、图形模块132、文本输入模块134、GPS模块135、地图模块154、和音乐播放器模块146，锻炼支持模块142包括可执行指令，用于创建锻炼(例如，具有时间、距离、和/或卡路里消耗目标)；与锻炼传感器(体育设备)通信；接收锻炼传感器数据；校准用于监视锻炼的传感器；为锻炼选择和播放音乐；以及显示、存储和传输锻炼数据。
结合触摸屏112、显示控制器156、光学传感器164、光学传感器控制器158、接触模块130、图形模块132、数字图像流水线161(其将来自光学传感器的原始数据转换为最终图像或视频)、和图像管理模块144，相机模块143包括用于捕获静态图像或视频(包括视频流)并将其存储到存储器102中(例如，在数字相机胶卷159中)、修改静态图像或视频的特性、或从存储器102(例如，从数字相机胶卷159)删除静态图像或视频的可执行指令。
结合触摸屏112、显示控制器156、接触模块130、图形模块132、文本输入模块134、和相机模块143，图像管理模块144包括用于排列、修改(例如，编辑)、或以其他方式操控、加标签、删除、呈现(例如在数字幻灯片或相册中)、以及存储静态图像和/或视频图像(包括存储在相机胶卷159中的静态图像和/或视频图像)的可执行指令。
结合RF电路系统108、触摸屏112、显示系统控制器156、接触模块130、图形模块132、和文本输入模块134，浏览器模块147包括用于根据用户指令浏览因特网(包括搜索、链接到、接收、和显示网页或其部分、以及链接到网页的附件和其他文件)的可执行指令。
结合RF电路系统108、触摸屏112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、电子邮件客户端模块140、和浏览器模块147，日历模块148包括用于根据用户指令创建、显示、修改、和存储日历和与日历相关联的数据(例如，日历条目、待办任务列表等)的可执行指令。
结合RF电路系统108、触摸屏112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、和浏览器模块147，桌面小程序模块149是可以由用户下载并使用的微型应用程序(例如，天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4、和字典桌面小程序149-5)或由用户创建的微型应用程序(例如，用户创建的桌面小程序149-6)。在一些实施例中，桌面小程序包括HTML(超文本标记语言)文件、CSS(层叠样式表)文件、和JavaScript文件。在一些实施例中，桌面小程序包括XML(可扩展标记语言)文件和JavaScript文件(例如，Yahoo！桌面小程序)。
结合RF电路系统108、触摸屏112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、和浏览器模块147，桌面小程序创建器模块150可以被用户用来创建桌面小程序(例如，将网页的用户指定部分转到桌面小程序中)。
结合触摸屏112、显示系统控制器156、接触模块130、图形模块132、和文本输入模块134，搜索模块151包括用于根据用户指令在存储器102中搜索与一个或多个搜索标准(例如，用户指定的一个或多个搜索词)匹配的文本、音乐、声音、图像、视频、和/或其他文件的可执行指令。
结合触摸屏112、显示系统控制器156、接触模块130、图形模块132、音频电路系统110、扬声器111、RF电路系统108、和浏览器模块147，视频和音乐播放器模块152包括允许用户下载和回放以一种或多种文件格式(诸如MP3或AAC文件)存储的所记录的音乐和其他声音文件的可执行指令，以及用于显示、呈现或以其他方式回放视频(例如，在触摸屏112上或在经由外部端口124连接的外部显示器上)的可执行指令。在一些实施例中，设备100可以包括MP3播放器的功能性。
结合触摸屏112、显示控制器156、接触模块130、图形模块132、和文本输入模块134，便签模块153包括用于根据用户指令创建和管理便签、待办任务清单等的可执行指令。
结合RF电路系统108、触摸屏112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、GPS模块135、和浏览器模块147，地图模块154可以被用于根据用户指令接收、显示、修改、和存储地图及与地图相关联的数据(例如，驾车路线；特定位置处或附近的商店和其他兴趣点的数据；和其他基于位置的数据)。
结合触摸屏112、显示系统控制器156、接触模块130、图形模块132、音频电路系统110、扬声器111、RF电路系统108、文本输入模块134、电子邮件客户端模块140、和浏览器模块147，在线视频模块155包括允许用户访问、浏览、接收(例如，流式接收和/或下载)、回放(例如，在触摸屏上或在经由外部端口124连接的外部显示器上)、发送具有到特定在线视频的链接的电子邮件、以及以其他方式管理一种或多种文件格式(诸如H.264)的在线视频的指令。在一些实施例中，使用即时消息模块141、而不是电子邮件客户端模块140来发送到特定在线视频的链接。
结合触摸屏112、显示系统控制器156、接触模块130、图形模块132、音频电路系统110、扬声器111、和麦克风113，声音/音频录制器模块163包括允许用户以一种或多种文件格式(诸如MP3或AAC文件)记录音频(例如，声音)的可执行指令、以及用于呈现或以其他方式回放所记录的音频文件的可执行指令。
结合触摸屏112、显示系统控制器156、接触模块130、和图形模块132， 通知模块165包括在触摸屏112上显示通知或警告(诸如传入消息或来电呼叫、日历事件提醒、应用程序事件等等)的可执行指令。
上述每个模块和应用程序对应于用于执行上述一种或多种功能以及在本申请中所介绍的方法(例如，本文中所描述的计算机实现的方法和其他信息处理方法)的一组可执行指令。这些模块(即指令集)不必被实现为分开的软件程序、过程或模块，因此这些模块的各种子组可以在各种实施例中被组合或以其他方式重新布置。在一些实施例中，存储器102可存储上述模块和数据结构的一个子组。此外，存储器102可以存储上面没有描述的另外的模块和数据结构。
在一些实施例中，设备100是这样一种设备，即在该设备上预定义的一组功能的操作唯一地通过触摸屏和/或触控板来执行。通过使用触摸屏和/或触控板作为用于设备100的操作的主要输入控制设备，可以减少设备100上物理输入控制设备(诸如下压按钮、拨号盘等等)的数量。
唯一地可通过触摸屏和/或触控板执行的该预定义的一组功能包括在用户界面之间的导航。在一些实施例中，当触控板被用户触摸时将设备100从可显示在设备100上的任何用户界面导航到主要菜单、主菜单或根菜单。在这样的实施例中，触控板可被称为“菜单按钮”。在一些其他实施例中，菜单按钮可以是物理下压按钮或者其他物理输入控制设备，而不是触控板。
图2B是示出根据一些实施例的用于事件处理的示例性部件的框图。在一些实施例中，存储器102(图2A中)或存储器370(图3中)包括事件分类器170(例如，在操作系统126中)以及相应的应用程序136-1(例如，前述应用程序137-151、155、380-390中的任何应用程序)。
事件分类器170接收事件信息并确定要将事件信息传递到的应用程序136-1和应用程序136-1的应用程序视图191。事件分类器170包括事件监视器171和事件调度器模块174。在一些实施例中，应用程序136-1包括应用程序内部状态192，应用程序内部状态192指示当应用程序是活动的或正在执行时显示在触敏显示器112上的当前应用程序视图。在一些实施例中，设备/全局内部状态157被事件分类器170用来确定哪个(哪些)应用程序当前是活动的，并且应用程序内部状态192被事件分类器170用来确定要将事件信息传递到的应用程序视图191。
在一些实施例中，应用程序内部状态192包括另外的信息，诸如以下中一者或多者：当应用程序136-1恢复执行时将被使用的恢复信息、指示正被应用程序136-1显示的信息或准备好用于被应用程序136-1显示的信息的用户界面状态信息、用于使得用户能够返回到应用程序136-1的前一状态或视图的状态队列、以及用户采取的先前动作的重复/撤销队列。
事件监视器171从外围设备接口118接收事件信息。事件信息包括关于子事件(例如，触敏显示器112上的用户触摸，作为多点触摸手势的一部分)的信息。外围设备接口118传输其从I/O子系统106或传感器(诸如是接近传感器166)、加速度计168、和/或麦克风113(通过音频电路系统110)所接收的信息。外围设备接口118从I/O子系统106接收的信息包括来自触敏显示器112或触敏表面的信息。
在一些实施例中，事件监视器171以预先确定的间隔发送请求给外围设备接口118。作为响应，外围设备接口118传输事件信息。在其他实施例中，外围设备接口118仅当存在显著事件(例如，接收到高于预先确定的噪声阈值的输入和/或接收到超过预先确定的持续时间的输入)时传输事件信息。
在一些实施例中，事件分类器170还包括命中视图确定模块172和/或活动事件识别器确定模块173。
当触敏显示器112显示多于一个视图时，命中视图确定模块172提供用于确定子事件已经在一个或多个视图内什么地方发生了的软件过程。视图由用户在显示器上可以看到的控件和其他元件构成。
与应用程序相关联的用户界面的另一方面是一组视图，本文中有时也称为应用程序视图或用户界面窗口，在其中显示信息以及发生基于触摸的手势。在其中检测到触摸的(相应应用程序的)应用程序视图可对应于在应用程序的程序化或视图分级结构内的程序化水平。例如，在其中检测到触摸的最低水平视图可被称为命中视图，并且被识别为正确输入的事件集可至少部分地基于始于基于触摸的手势的初始触摸的命中视图来确定。
命中视图确定模块172接收与基于触摸的手势的子事件相关的信息。当应用程序具有被组织在分级结构中的多个视图时，命中视图确定模块172将命中视图识别为该分级结构中应该处理该子事件的最低视图。在大多数情形中，命 中视图是发起子事件(即形成事件或潜在事件的子事件序列中的第一个子事件)在其中发生的最低水平视图。一旦命中视图被命中视图确定模块识别，命中视图通常接收与其被识别为命中视图所针对的同一触摸或输入源相关的所有子事件。
活动事件识别器确定模块173确定视图分级结构内的哪个或哪些视图应该接收特定的子事件序列。在一些实施例中，活动事件识别器确定模块173确定仅命中视图应该接收特定的子事件序列。在其他实施例中，活动事件识别器确定模块173确定包括子事件物理位置的所有视图是活跃涉及的视图，并因此确定所有活跃涉及的视图应该接收特定子事件序列。在其他实施例中，即使触摸子事件完全被局限到与一特定视图相关联的区域，分级结构中更高的视图将仍然保持为活跃涉及的视图。
事件调度器模块174将事件信息调度到事件识别器(例如，事件识别器180)。在包括活动事件识别器确定模块173的实施例中，事件调度器模块174将事件信息传递到由活动事件识别器确定模块173确定的事件识别器。在一些实施例中，事件调度器模块174在事件队列中存储事件信息，事件信息由相应事件接收器模块182检索。
在一些实施例中，操作系统126包括事件分类器170。或者，应用程序136-1包括事件分类器170。在另一实施例中，事件分类器170是独立的模块，或者是存储在存储器102中的另一模块(诸如接触/移动模块130)的一部分。
在一些实施例中，应用程序136-1包括多个事件处理程序190和一个或多个应用程序视图191，其中每一个都包括用于处理发生在应用程序的用户界面的相应视图内的触摸事件的指令。应用程序136-1的每个应用程序视图191包括一个或多个事件识别器180。通常，相应应用程序视图191包括多个事件识别器180。在其他实施例中，事件识别器180中的一个或多个是独立模块的一部份，独立模块诸如是用户界面工具包(未示出)或应用程序136-1从中继承方法和其他特性的更高水平对象。在一些实施例中，相应事件处理程序190包括以下中的一者或多者：数据更新器176、对象更新器177、GUI更新器178、和/或从事件分类器170接收的事件数据179。事件处理程序190可利用或调用数据更新器176、对象更新器177或GUI更新器178来更新应用程序内部状态 192。或者，应用程序视图191中的一个或多个包括一个或多个相应事件处理程序190。另外，在一些实施例中，数据更新器176、对象更新器177、和GUI更新器178中的一个或多个被包括在相应应用程序视图191中。
相应的事件识别器180从事件分类器170接收事件信息(例如，事件数据179)，并且从事件信息来标识事件。事件识别器180包括事件接收器182和事件比较器184。在一些实施例中，事件识别器180还至少包括以下的一个子组：元数据183、和事件传递指令188(其可以包括子事件传递指令)。
事件接收器182从事件分类器170接收事件信息。事件信息包括关于子事件的信息，例如触摸或触摸移动。根据子事件，事件信息还包括另外的信息，诸如子事件的位置。当子事件涉及触摸的移动时，事件信息可还包括子事件的速率和方向。在一些实施例中，事件包括设备从一个取向旋转到另一取向(例如，从纵向取向旋转到横向趋向，反之亦然)，并且事件信息包括关于设备的当前取向(也被称为设备姿态)的相应信息。
事件比较器184将事件信息与预定义的事件或子事件定义进行比较，并且基于该比较来确定事件或子事件、或者确定或更新事件或子事件的状态。在一些实施例中，事件比较器184包括事件定义186。事件定义186包含事件的定义(例如，预定义的子事件序列)，例如事件1(187-1)、事件2(187-2)以及其他。在一些实施例中，事件187中的子事件例如包括触摸开始、触摸结束、触摸移动、触摸取消、和多点触摸。在一个实例中，事件1(187-1)的定义是在被显示对象上的双击。例如，该双击包括在被显示的对象上的预定时长的第一次触摸(触摸开始)、预定时长的第一次抬起(触摸结束)、在该被显示的对象上的预定时长的第二次触摸(触摸开始)、以及预定时长的第二次抬起(触摸结束)。在另一实例中，事件2(187-2)的定义是在被显示对象上的拖动。例如，该拖动包括在该被显示对象上的预定时长的触摸(或接触)、该触摸在触敏显示器112上的移动、以及该触摸的抬起(触摸结束)。在一些实施例中，事件还包括用于一个或多个相关联事件处理程序190的信息。
在一些实施例中，事件定义187包括用于相应用户界面对象的事件的定义。在一些实施例中，事件比较器184执行命中测试，以确定哪个用户界面对象与子事件相关联。例如，在其中在触摸显示器112上显示三个用户界面对象 的应用程序视图中，当在触敏显示器112上检测到触摸时，事件比较器184执行命中测试，以确定这三个用户界面对象中哪一个与该触摸(子事件)相关联。如果每个所显示的对象与相应的事件处理程序190相关联，则事件比较器使用该命中测试的结果来确定哪个事件处理程序190应该被激活。例如，事件比较器184选择与触发该命中测试的对象和子事件相关联的事件处理程序。
在一些实施例中，相应事件187的定义还包括延迟动作，延迟动作延迟事件信息的传递直到已经确定子事件序列确实对应于或确实不对应于事件识别器的事件类型之后。
当相应事件识别器180确定子事件串不与事件定义186中的任何事件匹配，则该相应事件识别器180进入事件不可能、事件失败、或事件结束状态，然后其不理会该基于触摸的手势的后续子事件。在这种情况下，对于命中视图保持活动的其他事件识别器(如果有的话)继续跟踪和处理正在进行的基于触摸的手势的子事件。
在一些实施例中，相应事件识别器180包括具有指示事件传递系统应该如何执行对活跃涉及的事件识别器的子事件传递的能配置的属性、标志和/或列表的元数据183。在一些实施例中，元数据183包括指示事件识别器彼此可如何交互的能配置的属性、标志和/或列表。在一些实施例中，元数据183包括指示子事件是否被传递到视图或程序化分级结构中变化的水平的能配置的属性、标记和/或列表。
在一些实施例中，当事件的一个或多个特定子事件被识别时，相应事件识别器180激活与事件相关联的事件处理程序190。在一些实施例中，相应事件识别器180将与该事件相关联的事件信息传递到事件处理程序190。激活事件处理程序190不同于发送(和延期发送)子事件到相应的命中视图。在一些实施例中，事件识别器180抛出与所识别的事件相关联的标志，并且与该标志相关联的事件处理程序190接到该标志并执行预定义的过程。
在一些实施例中，事件传递指令188包括传递关于子事件的事件信息而不激活事件处理程序的子事件传递指令。相反，子事件传递指令将事件信息传递到与子事件串相关联的事件处理程序或者传递到活跃涉及的视图。与子事件串或与活跃涉及的视图相关联的事件处理程序接收事件信息，并执行预先确定的 过程。
在一些实施例中，数据更新器176创建并更新在应用程序136-1中使用的数据。例如，数据更新器176更新在联系人模块137中使用的电话号码，或者存储在视频播放器模块145中使用的视频文件。在一些实施例中，对象更新器176创建并更新在应用程序136-1中使用的对象。例如，对象更新器177创建新的用户界面对象，或者更新用户界面对象的位置。GUI更新器178更新GUI。例如，GUI更新器178准备显示信息，并将其发送到图形模块132用以显示在触敏显示器上。
在一些实施例中，事件处理程序190包括或者具有对数据更新器176、对象更新器177、和GUI更新器178的访问权限。在一些实施例中，数据更新器176、对象更新器177、和GUI更新器178被包括在相应应用程序136-1或应用程序视图191的单个模块中。在其他实施例中，它们被包括在两个或更多个软件模块中。
应当理解的是，前面关于触敏显示器上用户触摸的事件处理的讨论也适用于其他形式的利用输入设备来操作电子设备100的用户输入(并非它们所有都是在触摸屏上发起的)，例如协调鼠标移动和鼠标按钮按压(具有或没有单个或多个键盘按压或保持)、触控板上的用户移动轻击、拖动、滚动等、触控笔输入、设备的移动、口头指令、检测到的眼睛移动、生物特征输入、和/或其任意组合，它们可以被用作为对应于定义要识别的事件的子事件的输入。
图3是根据一些实施例的具有显示器和触敏表面的一种示例性电子设备的框图。设备300不必是便携式的。在一些实施例中，设备300是膝上型计算机、台式计算机、平板电脑、多媒体播放器设备、导航设备、教育设备(诸如儿童学习玩具)、游戏系统或控制设备(例如，家用或工业用控制器)。设备300通常包括一个或多个处理单元(CPU)310、一个或多个网络或其他通信接口360、存储器370和用于将这些部件互联的一根或多根通信总线320。在一些实施例中，处理单元310包括图像信号处理器和双核或多核处理器。通信总线320可包括将系统部件互联及控制系统部件之间通信的电路系统(有时称为芯片组)。设备300包括具有显示器340的输入/输出(I/O)接口330，显示器340通常是触摸屏显示器。I/O接口330还可以包括键盘和/或鼠标(或其他指向设 备)350和触控板355。设备300还包括光学传感器164和光学传感器控制器158。存储器370包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备；并可包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备、或其他非易失性固态存储设备。任选地，存储器370可包括从CPU 310远程定位的一个或多个存储设备。在一些实施例中，存储器370存储与便携式电子设备100的存储器102中所存储的程序、模块和数据结构类似的程序、模块、和数据结构，或它们的子组。此外，存储器370可存储在便携式电子设备100的存储器102中不存在的另外的程序、模块、和数据结构。例如，设备300的存储器370可存储画图模块380、呈现模块382、文字处理模块384、网页创建模块386、盘编辑模块388、和/或电子表格模块390，而便携式电子设备100的存储器102可不存储这些模块。
图3中上述所识别的元件的每一个可被存储在一个或多个前面提到的存储器设备中。上述所识别的模块的每一个对应于用于执行上述功能的一组指令。上述所识别的模块或程序(即，指令集)不必被实现为单独的软件程序、过程或模块，并且因此这些模块的各种子组可以在各种实施例中被组合或以其它方式重新布置。在一些实施例中，存储器370可存储上述模块和数据结构的子组。此外，存储器370可存储上面没有描述的另外的模块和数据结构。
参照图4所示，本申请公开了一种显示方法，其中，头戴式可视设备与便携式电子设备保持无线连接，包括：
401、所述头戴式可视设备检测到一个指令，确定用户的注视点在所述便携式电子设备的屏幕上的坐标；
当用户需要通过头戴式可视设备对便携式电子设备的屏幕上的某个应用进行预览或者查看某个对象的信息时，则需要将视线聚焦在便携式电子设备的屏幕上的目标位置，用户的视线焦点即所述的用户的注视点，头戴式可视设备具备眼球跟踪的功能，则能根据用户视线焦点确定所述便携式电子设备的屏幕上的坐标。当用户需要对某一目标进行需要的操作时，需要输入操作指令，比如语音指令或者手势指令，使得触发头戴式可视设备以及便携式电子设备根据操作指令执行相应的操作。需要说明的是，手势指令中的手势可以为空间三维手势，例如用手在头戴式可视设备前画一个圈、或者画一个“Z”等，头戴式 可视设备内设置有手势与相应指令的映射表，头戴式可视设备接收到手势形式后，则会通过所述映射表获取对应的手势指令。
402、所述头戴式可视设备发送所述坐标和指示至所述便携式电子设备，所述指示用于标识所述指令；
头戴式可视设备确定坐标后，则需要将所述坐标发送给所述便携式电子设备，使得所述便携式电子设备根据所述触发指令以及所述坐标进行相关操作。所述指示可以为数字或符号，也可以是识别用户的语音指令转化的文字，例如，预览，搜索等。若所述指示为数字或符号，那么便携式电子设备内存储有与所述指示对应的功能映射表，比如，若指示为“1”在映射表中对应“预览”命令。
在另一种可能的实现方式中，头戴式可视设备只发送所述坐标给所述便携式电子设备，便携式电子设备预先对每个对象的类型约定了相关执行方式，当便携式电子设备接收到坐标后，确定所述坐标对应的对象的类型，则执行预先约定的相关操作。
403、所述便携式电子设备接收所述头戴式可视设备发送的坐标或坐标及指示，所述坐标为用户的注视点在所述便携式电子设备的屏幕上的坐标；
404、当所述坐标对应的对象为可操控的，所述便携式电子设备确定所述对象的类型；
比如该对象为一个应用程序(英文全称：Application，英文缩写：App)，便携式电子设备则可以对所述App进行运行处理；或者该对象为一个文件夹，便携式电子设备则可以对该文件夹进行打开处理；或者该对象为图片或者视频上的人或物，便携式电子设备则可以对所述人或物进行识别并查询处理。若该对象为便携式电子设备设置的单色背景图，或者是一些应用里的留白位置，这些则不属于便携式电子设备可操控的对象。
405、所述便携式电子设备根据所述对象的类型确定所述对象的相关内容；
相关内容为便携式电子设备对可操控的所述对象执行相关操作后，所得到的相关结果信息，比如，对图片类型的对象进行打开后，得到图片的图像信息，所述图像信息则为所述对象的相关内容。
一种可能的实现方式中，便携式电子设备确定所述对象的类型后，根据接 收到的所述头戴式可视设备发送的指示消息，对所述对象进行相关操作。比如，所述坐标对应的对象为文件夹，指示消息所指示的操作为预览，则所述便携式电子设备对所述文件夹进行预览操作，并将预览的图像作为相关内容。
另一种可能的实现方式中，便携式电子设备确定所述对象的类型后，根据预先约定的操作方式对所述对象执行相关操作。比如，便携式电子设备预先约定坐标对应的对象为文件夹类型，则对该文件夹执行预览操作，并将预览的图像作为相关内容。
另一种可能的实现方式中，便携式电子设备包括有语音识别模块，当用户发出语音指令时，便携式电子设备则能通过所述语音识别模块检测所述语音指令，当便携式电子设备确定所述语音指令为指示所述头戴式可视设备以及所述便携式电子设备进行显示操作时，例如，语音指令为“预览”，便携式电子设备可以对所述语音指令转换为文字作为所述对象的输入。
406、所述便携式电子设备向所述头戴式可视设备发送所述相关内容；
当便携式电子设备获取了坐标对应的对象的相关内容后，则会将所述对象的相关内容发送给头戴式可视设备。
407、所述头戴式可视设备接收所述便携式电子设备发送的所述坐标对应的对象的相关内容，所述相关内容是由所述便携式电子设备根据所述坐标和所述指示获得的；
408、所述头戴式可视设备在在所述便携式电子设备对应的虚拟屏幕上显示所述相关内容；
用户所戴的头戴式可视设备时，能够看到所述头戴式可视设备所投射的虚拟屏幕，头戴式可视设备将获取到的所述对象的相关内容显示在所述虚拟屏幕上，以供用户进行浏览。
便携式电子设备对应的虚拟屏幕为头戴式可视设备获取有便携式电子设备设备在三维空间坐标系中的三维坐标，并持续跟踪便携式电子设备的三维坐标，从而根据所述三维坐标投射出的屏幕，所述虚拟屏幕可以为用户能够通过头戴式可视设备观看到的屏幕，也可以为头戴式可视设备所划分设置的一个显示区域，该显示区域可以不被用户观看到，用户通过头戴式可视设备所观看到的是头戴式可视设备所投射的在所述虚拟屏幕上获取到的对象的相关内容。
基于目前悬浮触控技术的悬浮预览功能并不能给用户更好的体验，本申请提供了一种显示方法，包括：头戴式可视设备获取触发指令，确定用户视线焦点在所述便携式电子设备的屏幕上的坐标，所述触发指令用于指示所述头戴式可视设备进行显示操作；将所述坐标发送给所述便携式电子设备，所述坐标触发所述便携式电子设备确定所述坐标对应的对象为所述便携式电子设备可处理时，使得所述便携式电子设备获取所述对象的相关内容；获取所述便携式电子设备的所述对象的相关内容；在虚拟屏幕上显示所述对象的相关内容。这样，用户通过头戴式可视设备与便携式电子设备的信息交互来实现对便携式电子设备信息的浏览，使得预览方式更自然、更便捷，提高了用户体验。并且，针对便携式电子设备为屏幕较小的终端设备，比如智能手表，通过本申请所提供的方法，用户则能够通过头戴式可视设备更方便地阅读智能手表上的内容，提高了用户体验。
关于确定用户的注视点在所述便携式电子设备的屏幕上的坐标的过程，需要说明的是：在用户第一次使用之前，需要进行预先校准，例如：佩戴头戴式可视设备，将便携式电子设备放置于视线前特定距离，用户按提示信息注视便携式电子设备的屏幕四个角(对于圆形或其他形状的屏幕，需要注视屏幕边缘特定的几个点)，以便后续头戴式可视设备能够精准定位视线焦点在便携式电子设备上的坐标。
结合图4实施例，可选地，参照图5所示，所述坐标对应的对象的相关内容包括所述便携式电子设备的屏幕上的预设范围的截图；
在一种可能的实现方式中，包括：
501、所述头戴式可视设备确定用户的注视点在虚拟屏幕显示的所述截图上的另一个坐标；
502、所述头戴式可视设备将所述另一个坐标变换为适用于所述便携式电子设备的屏幕的坐标；
503、所述头戴式可视设备发送变换后的所述另一个坐标至所述便携式电子设备；
504、所述便携式电子设备确定所述变换后的所述另一个坐标所对应的对象的另一个相关内容；
505、所述便携式电子设备发送所述另一个坐标所对应的对象的另一个相关内容；
506、所述头戴式可视设备接收所述便携式电子设备发送的变换后的所述另一个坐标对应的对象的另一个相关内容，在所述便携式电子设备对应的虚拟屏幕上显示所述另一个相关内容；
用户可以根据需求发出不同的语音指令，例如“翻译”语音指令，头戴式可视设备或便携式电子设备判断坐标对应的界面元素的类型，如果为文字信息，则对焦点位置所对应的文字进行翻译(例如将外文单词翻译为中文、或将中文翻译为预设的外文)，得到翻译后的文字信息。
参照图10所示的应用场景中，便携式电子设备为手机，头戴式可视设备所投射的增强实现虚拟屏幕位于手机屏幕的左侧，图中所示的虚拟屏幕为用户通过头戴式可视设备无法观看到的屏幕，而是由头戴式可视设备所划分的屏幕区域。用户发出“翻译”语音，头戴式可视设备检测到用户的视线焦点在手机屏幕上英文单词“Indie”上，则头戴式可视设备将用户的视线焦点坐标发送给手机，手机则根据所述坐标确定对象为英文单词“Indie”，手机则对英文单词“Indie”进行翻译处理，并将翻译的结果信息发送给头戴式可视设备，头戴式可视设备则将翻译的结果信息显示在虚拟屏幕上。
但是，由于眼球跟踪的精度是有限的，对于较小的文字，可能无法直接准确定位到哪个字或单词，因此本申请提供了一种二次选择的方案，即便携式电子设备将第一焦点位置对应的区域截图发给头戴式可视设备，由用户在虚拟屏幕上对此区域放大的截图进行二次视线焦点定位后，再将第二焦点位置的坐标变换为适用于手机的坐标，再将变换后的坐标发送给手机，从而实现精准选择，再执行相应的翻译。
需要说明的是，头戴式可视设备所投射的所述手机对应的虚拟屏幕，可以在获取到需要显示的对象的相关内容之前便已经投射出，也可以在收到需要显示的对象的相关内容之后，再投射出所述虚拟屏幕，并在所述虚拟屏幕上显示所述对象的相关内容。
结合图4实施例，可选地，参照图6所示，在所述便携式电子设备对应的虚拟屏幕上显示所述相关内容之前，所述方法还包括：
601、按照预设倍数放大所述相关内容；
步骤408中在所述便携式电子设备对应的虚拟屏幕上显示所述相关内容包括：
602、在所述便携式电子设备对应的虚拟屏幕上显示放大后的所述相关内容。
由于便携式电子设备的屏幕可能比较小，比如智能手表，用户无法通过智能手表的屏幕浏览清晰的信息，比如一张图片，而虚拟屏幕是由头戴式可视设备投射的，虚拟屏幕的大小可以通过头戴式可视设备来调整，所以在本申请所提供的方法中，通过头戴式可视设备对接收到的相关内容进行显示上的放大，从而在虚拟屏幕上显示放大后的相关内容，使的用户可以更清晰地浏览，提高了用户体验。
在另一种可能的实现方式中，头戴式可视设备还可以在所述便携式电子设备对应的进行预设缩放后的虚拟屏幕上显示所述相关内容的全部内容。
由于便携式电子设备的屏幕可能比较小，比如智能手表，用户无法通过智能手表的屏幕浏览完整的信息，比如一条短信，由于智能手表的屏幕的显示界面比较小，一条短信的全部内容可能无法在一个显示界面上完整显示，影响了用户体验。因此，在本申请所提供的方法中，还可以对虚拟屏幕的进行预设缩放，使得虚拟屏幕的显示界面变大，从而能够在虚拟屏幕上显示相关内容的全部内容，提高了用户体验。
结合图4实施例，可选地，参照图7所示，所述方法还包括：
701、在所述便携式电子设备的屏幕和所述虚拟屏幕中的至少一个屏幕上显示用户的注视点的标记。
头戴式可视设备所投射的虚拟屏幕的画面为便携式电子设备所显示的屏幕画面或者便携式电子设备的显示缓冲区中的画面所映射的放大或缩小或等同的画面，头戴式可视设备获取有便携式电子设备设备在三维空间坐标系中的三维坐标，并持续跟踪便携式电子设备的三维坐标，从而确保所显示的虚拟屏幕能够始终跟随便携式电子设备设备并在便携式电子设备设备的旁边显示，进一步的，虚拟屏幕的成像平面和便携式电子设备屏幕所在平面始终保持重合。头戴式可视设备包括有眼球跟踪模块，当眼球跟踪模块检测到用户的注视点在 某个区域或某个点停留时间超过预设阈值(例如2s)时，则将当前注视点的位置坐标发送给便携式电子设备。为了方便用户确定用户的注视点的位置，在所述便携式电子设备的屏幕和所述虚拟屏幕中的至少一个屏幕上显示用户的注视点的标记，所述标记可以为一个红点，当眼球跟踪模块检测到用户的注视点在某个区域或某个点停留时间超过预设阈值(例如2s)时，此时还可以将注视点的标记，即红点闪烁一下，以便用户知道已经选择中此目标物。
由于目前眼球跟踪技术不是非常的精准，当用户的眼球发生微小移动时，头戴式可视设备的眼球跟踪模块可能无法检测出，导致头戴式可视设备所确定的用户视线焦点不准确，所以在本申请中，头戴式可视设备可以投射一个跟踪点在虚拟屏幕上，虚拟屏幕上的跟踪点的位置即为头戴式可视设备中眼球跟踪模块所检测到的用户视线焦点，用户则可以通过虚拟屏幕上的跟踪点，确定头戴式可视设备所确定的焦点是否为自己想要的位置，用户也可以以虚拟屏幕上的跟踪点为依据，转动眼球来调整跟踪点的位置。
结合图4实施例，可选地，参照图7所示，所述方法还包括：
801、头戴式可视设备检测到另一个指令，停止在所述虚拟屏幕上显示所述相关内容；或者，关闭所述虚拟屏幕；所述另一个指令用于指示所述头戴式可视设备以及所述便携式电子设备进行关闭显示所述相关内容的操作；
头戴式可视设备在检测到指示所述头戴式可视设备以及所述便携式电子设备进行关闭显示所述对象的相关内容的操作的语音指令后，例如“结束预览”指令，则停止在虚拟屏幕上的内容呈现或者直接将虚拟屏幕关闭。
头戴式可视设备检测到另一个指令后，还可以向所述便携式电子设备发送停止指令，用于指示所述便携式电子设备停止获取所述对象的相关内容。
头戴式可视设备在停止在虚拟屏幕上的内容呈现或者直接将虚拟屏幕关闭的同时，所述头戴式可视设备还可以向所述便携式电子设备发送特定的模式停止指令，例如PREVIEW_MODE_END指令。便携式电子设备在接收到上述指令后，停止相应的模式或进程，并返回成功响应消息。
所述便携式电子设备接收所述头戴式可视设备发送的停止指令，用于指示所述便携式电子设备停止获取所述对象的相关内容。
便携式电子设备接收到头戴式可视设备发送的停止指令时，则不再发送对 象的相关内容给头戴式可视设备，并所述相关内容。
以上所描述的是头戴式可视设备检测到另一个指令，从而发送停止指令给便携式电子设备，在另一种可能的实现方式中，也可以由便携式电子设备检测到另一个指令，并发送停止指令给头戴式可视设备，使得头戴式可视设备停止在虚拟屏幕上的内容呈现或者直接将虚拟屏幕关闭。在另一种可能的实现方式中，也可以由头戴式可视设备以及便携式电子设备同时检测到另一个指令，则头戴式可视设备和便携式电子设备互相不用发送停止指令，只需各自停止相应的操作即可。
结合图4实施例，可选地，所述便携式电子设备根据所述对象的类型确定所述对象的相关内容包括：
一种可能的实现方式中，若所述对象的类型为图片缩略图，则对所述对象执行打开操作，将执行打开操作后得到的内容作为所述对象的相关内容；
便携式电子设备可以对所述对象进行后台打开，所述对象的界面并不在便携式电子设备前台呈现，即不在便携式电子设备屏幕上呈现，而是在便携式电子设备的显示缓冲区中呈现，所进行的截图也是在显示缓冲区中进行的截图。
另一种可能的实现方式中，若所述对象的类型为视频缩略图，则对所述对象执行打开操作或播放操作，将执行打开操作或播放操作后得到的内容作为所述对象的相关内容；
所述便携式电子设备确定所述对象的类型为视频缩略图，则可以与所述头戴式可视设备建立媒体流通道，通过所述媒体流通道上传所述对象的相关内容给所述头戴式可视设备。
便携式电子设备获取到坐标对应的对象时，当判断所述对象类型为视频文件的缩略图，则获取(或定位到)对应的视频文件；便携式电子设备发起和头戴式可视设备之间的媒体通道协商过程，建立一个可以实时播放视频媒体流的通道，例如通过会话初始协议(英文全称：Session Initiation Protocol，英文缩写：SIP)、或实时流传输协议(英文全称：Real Time Streaming Protocol，英文缩写：RTSP)协商一个实时传输协议(英文全称：Real-time Transport Protocol，英文缩写：RTP)媒体流通道；或者便携式电子设备将视频文件的本地超文本传输协议统一资源定位符(英文全称：HyperText Transfer Protocol Uniform  Resource Locator，英文缩写：HTTP URL)发送给头戴式可视设备，由头戴式可视设备通过HTTP方式实时下载并播放视频媒体流，还可以通过渐进式的HTTP下载方式，可以边下载边播放，播完的内容把之前下载的内存覆盖。头戴式可视设备在便携式电子设备屏幕旁边显示增强现实的虚拟屏幕，并将所述视频流在虚拟屏幕上进行呈现。在播放视频期间，用户可以通过语音指令控制视频的播放速度，实现快进、快退、暂停等操作。相应的语音控制指令由头戴式可视设备监听到之后实时发送给屏类便携式电子设备，使屏类便携式电子设备对当前视频媒体流进行相应的控制。
另一种可能的实现方式中，若所述对象的类型为文件夹或目录，则对所述对象执行打开操作，将执行打开操作后得到的内容进行截图，并将所述截图作为所述对象的相关内容；
另一种可能的实现方式中，若所述对象的类型为超链接，则对所述对象执行打开操作或加载操作，将执行打开操作或加载操作后得到的内容进行截图，并将所述截图作为所述对象的相关内容；
另一种可能的实现方式中，若所述对象的类型为应用程序图标，则对所述对象执行打开操作，将执行打开操作后得到的内容作为所述对象的相关内容；
便携式电子设备在获取对象的相关内容之前，会先判断对象对应的界面元素的类型，如果为App图标，则在后台打开该App，并对打开后的界面进行截图。截图可以为整个界面截图，也可以进行局部截图(例如识别未读消息，则将未读消息的界面进行截图)；如果对象对应的界面元素的类型为超链接或者具有超链接属性的元素，则可以获取所链接的页面并截图。便携式电子设备将截图内容发送给头戴式可视设备，头戴式可视设备在虚拟屏幕上显示所述截图内容。
另一种可能的实现方式中，若所述对象的类型为文字或文本，则对所述对象执行搜索和翻译中的至少一种操作，将执行所述至少一种操作得到的内容作为所述对象的相关内容；
另一种可能的实现方式中，若所述对象的类型为图片或图像，则对所述对象执行图像识别，对识别出的人脸或物品执行搜索操作，将执行搜索操作得到的内容作为所述对象的相关内容；
如果对象为图片或图像中的人或物，则对目标人脸或目标物通过图像边缘检测技术进行提取，然后进行图像识别(例如人脸识别或物品识别)和相关内容查询(例如人物简介信息查询、相似人脸查询、物品简介信息查询等)，获得识别和查询结果(查询结果可以是纯文字的、或文字+图像、或图像格式的)，便携式电子设备发送给头戴式可视设备的对象的相关内容可以是所检测到人或物，也可以是查询到的人或物的相关属性信息。
例如，便携式可视设备为智能手表，头戴式可视设备为智能眼镜，用户佩戴着智能眼镜，注视着智能手表上的“运动信息”区域，说出“详情”，智能手表就会自动将运动信息的详情传递至智能眼镜，由智能眼镜通过增强现实的方式将其现实出来。
又如，当用户的智能手表上收到一个通知消息时，用户抬起手腕查看通知消息，此时，用户通过佩戴的智能眼镜只需注视着通知消息界面，然后说出“详情”，即可触发手表将消息的详细内容传递至智能眼镜，由头智能眼镜通过增强现实的方式将其现实出来。
参照图8所示，本申请提供了一种处理方法，包括：
901、便携式电子设备检测到语音输入，确定用户的注视点的坐标；
头戴式可视设备上的眼球跟踪模块实时获取用户视线焦点在便携式电子设备的屏幕上的相对位置，即坐标，便携式电子设备屏幕的坐标系原点一般为左上角，横向向右延伸为x轴正方向，纵向向下延伸为y轴正方向。头戴式可视设备可以周期性地或者实时性地向便携式电子设备发送视线焦点的实时坐标(x、y)，发送周期可以根据实际产品需要进行定制，例如可以设置为每秒钟发送1次。
另一种可能的实现方式中，便携式电子设备可以通过摄影模块实时检测用户的眼球移动，进而获取用户的视线焦点在屏幕上的坐标。
902、当所述注视点的坐标对应的对象为一个应用，将根据所述语音输入识别出的文字作为所述对象的输入；
用户发出的语音可以包括“预览”、“打开”、“翻译”、以及“查找”等用于显示浏览的语音指令，使得便携式电子设备可以根据用户的语音对应的文字作为对象的输入。
903、所述便携式电子设备显示所述对象根据所述文字输出的界面；
由于视线焦点所对应的目标对象为APP对象，便携式电子设备则获取所述App本身的属性或能力信息，并将所述语音对应的文字作为该App的输入信息，执行与该App本身的属性或能力信息相匹配的特定处理。如，在地图App中将所述文字作为输入信息进行位置或路线的搜索、在电商App中将所述文字作为输入信息进行商品的搜索、在浏览器中将所述文字作为输入信息进行网页的搜索、在天气App中将所述文字作为输入信息进行天气的查询、在相册中将所述文字作为图像特征关键词进行图像搜索获得匹配的图片/照片、在音乐播放器中将所述文字作为输入信息进行歌手或歌曲的搜索、在收音机App中将所述文字作为对应频道关键词进行相应电台的搜索和播放，诸如此类。
结合图8实施例所示，参照图9所示，可选地，在检测到语音输入后，所述方法还包括：
1001、所述便携式电子设备根据所述语音输入识别出所述文字。
便携式电子设备上的语音监听模块可以持续监听用于的语音输入，将用户所输入的任何语音内容都进行语音识别、转换为文字后作为候选处理信息(但这种方式会造成额外的功耗增加)；
另一种可能的实现方式是通过“低功耗语音监听模块”对语音唤醒词(例如预设的“嗨，小e”)进行监听，当监听到语音唤醒词时，启动语音识别模块，对语音唤醒词之后的语音内容进行监听和识别，转换为文字，作为候选处理信息。这种方式最节省功耗。
结合图9实施例所示，可选地，所述根据所述语音输入识别出所述文字包括：
根据所述语音的声纹确定所述用户为预设用户，则将所述语音转换为文本信息；
一种可能的实现方式中，对用户的语音进行声纹识别，如果基于声纹特征确定是预设的用户，则对该用户所说的语音进行识别、转换为文字后作为候选处理信息，这种方式可以滤除预设用户以外的其他用户的语音，提高了产品的使用安全性。
参照图11所示，本申请提供了一种头戴式可视设备，所述头戴式可视设备与便携式电子设备保持无线连接，包括：处理单元1101、发送单元1102以及接收单元1103，作为一种可能的实现方式，处理单元1101可被处理器替换，发送单元1102可被发送器替换，接收单元1103可被接收器替换。
处理单元1101，用于检测到一个指令，确定用户的注视点在所述便携式电子设备的屏幕上的坐标；
发送单元1102，用于发送所述坐标和指示至所述便携式电子设备，所述指示用于标识所述指令；
接收单元1103，用于接收所述便携式电子设备发送的所述坐标对应的对象的相关内容，所述相关内容是由所述便携式电子设备根据所述坐标和所述指示获得的；
所述处理单元1101还用于，在所述便携式电子设备对应的虚拟屏幕上显示所述相关内容。
一种可能的实现方式中，所述坐标对应的对象的相关内容包括所述便携式电子设备的屏幕上的预设范围的截图；
所述处理单元1101还用于，确定用户的注视点在虚拟屏幕显示的所述截图上的另一个坐标，将所述另一个坐标变换为适用于所述便携式电子设备的屏幕的坐标；
所述发送单元1102还用于，发送变换后的所述另一个坐标至所述便携式电子设备；
所述接收单元1103还用于，接收所述便携式电子设备发送的变换后的所述另一个坐标对应的对象的另一个相关内容；
所述处理单元1101还用于，在所述便携式电子设备对应的虚拟屏幕上显示所述另一个相关内容。
另一种可能的实现方式中，所述处理单元1101在所述便携式电子设备对应的虚拟屏幕上显示所述相关内容之前，所述处理单元1101还用于：
按照预设倍数放大所述相关内容；
所述处理单元1101还用于：在所述便携式电子设备对应的虚拟屏幕上显 示放大后的所述相关内容。
另一种可能的实现方式中，所述处理单元1101具体用于：
在所述便携式电子设备对应的进行预设缩放后的虚拟屏幕上显示所述相关内容的全部内容。
另一种可能的实现方式中，所述处理单元1101还用于：在所述便携式电子设备的屏幕和所述虚拟屏幕中的至少一个屏幕上显示用户的注视点的标记。
另一种可能的实现方式中，所述处理单元1101还用于：
检测到另一个指令，停止在所述虚拟屏幕上显示所述相关内容或所述另一个相关内容；或者，关闭所述虚拟屏幕；所述另一个语音指令用于指示所述头戴式可视设备以及所述便携式电子设备进行关闭显示所述相关内容的操作。
参照图12所示，本申请还提供的头戴式可视设备的另一种实现方式中包括：处理单元1201、发送单元1202以及接收单元1203，作为一种可能的实现方式，处理单元1201可被处理器替换，发送单元1202可被发送器替换，接收单元1203可被接收器替换。
处理单元1201，用于检测到指令，确定用户的注视点在所述便携式电子设备的屏幕上的坐标；
发送单元1202，用于发送所述坐标至所述便携式电子设备；
接收单元1203，用于接收所述便携式电子设备发送的所述坐标对应的对象的相关内容，所述相关内容是由所述便携式电子设备根据所述坐标获得的；
所述处理单元1201还用于，在所述便携式电子设备对应的虚拟屏幕上显示所述相关内容。
一种可能的实现方式中，所述处理单元1201在所述便携式电子设备对应的虚拟屏幕上显示所述相关内容之前，所述处理单元1202还用于：
按照预设倍数放大所述相关内容；
所述处理单元具体用于：
在所述便携式电子设备对应的虚拟屏幕上显示放大后的所述相关内容。
另一种可能的实现方式中，所述处理单元1201具体还用于：
在所述便携式电子设备对应的进行预设缩放后的虚拟屏幕上显示所述相关内容的全部内容。
参照图13所示，本申请还提供了一种便携式电子设备，包括：检测单元1301以及处理单元1302，作为一种可能的实现方式，检测单元1301可被检测器替换，处理单元1302可被处理器替换。
检测单元1301，用于检测到语音输入；
处理单元1302，用于确定用户的注视点的坐标，当所述注视点的坐标对应的对象为一个应用，将根据所述语音输入识别出的文字作为所述对象的输入，显示所述对象根据所述文字输出的界面。
一种可能的实现方式中，在所述检测单元1301检测到语音输入后，所述处理单元1302还用于：根据所述语音输入识别出所述文字。
另一种可能的实现方式中，所述处理单元1302还用于：确定所述语音输入的声纹与预先存储的声纹相匹配，根据所述语音输入识别出所述文字。
参照图14所示，本申请提供的便携式电子设备的另一种可能的实现方式中，包括：接收单元1401、处理单元1402以及发送单元1403，作为一种可能的实现方式，接收单元1401可被接收器替换，处理单元1402可被处理器替换，发送单元1403可被发送器替换。
接收单元1401，用于接收所述头戴式可视设备发送的坐标，所述坐标为所述头戴式可视设备确定用户的注视点在所述便携式电子设备的屏幕上的坐标；
处理单元1402，用于当所述坐标对应的对象为可操控的，确定所述对象的类型，根据所述对象的类型确定所述对象的相关内容；
发送单元1403，用于向所述头戴式可视设备发送所述相关内容。
一种可能的实现方式中，所述处理单元1402具体用于：
若所述对象的类型为图片缩略图，则对所述对象执行打开操作，将执行打开操作后得到的内容作为所述对象的相关内容；或者，
若所述对象的类型为视频缩略图，则对所述对象执行打开操作或播放操作，将执行打开操作或播放操作后得到的内容作为所述对象的相关内容；或者，
若所述对象的类型为文件夹或目录，则对所述对象执行打开操作，将执行打开操作后得到的内容进行截图，并将所述截图作为所述对象的相关内容；或者，
若所述对象的类型为超链接，则对所述对象执行打开操作或加载操作，将执行打开操作或加载操作后得到的内容进行截图，并将所述截图作为所述对象的相关内容；或者，
若所述对象的类型为应用程序图标，则对所述对象执行打开操作，将执行打开操作后得到的内容作为所述对象的相关内容；或者，
若所述对象的类型为文字或文本，则对所述对象执行搜索和翻译中的至少一种操作，将执行所述至少一种操作得到的内容作为所述对象的相关内容；或者，
若所述对象的类型为图片或图像，则对所述对象执行图像识别，对识别出的人脸或物品执行搜索操作，将执行搜索操作得到的内容作为所述对象的相关内容。
参照图15所示，本申请所提供的便携式电子设备的另一种可能的实现方式中，包括：处理单元1501、接收单元1502以及发送单元1503，作为一种可能的实现方式，处理单元1501可被处理器替换，接收单元1502可被接收器替换，发送单元1503可被发送器替换。
处理单元1501，用于检测到指令；
接收单元1502，用于接收所述头戴式可视设备发送的坐标，所述坐标为所述头戴式可视设备确定用户的注视点在所述便携式电子设备的屏幕上的坐标；
所述处理单元1501还用于，根据所述指令获取所述坐标对应的对象的相关内容；
发送单元1503，用于将所述相关内容发送给所述头戴式可视设备。
参照图16所示，本申请所提供的头戴式可视设备的另一种可能的实现方式中，包括：
一个或多个处理器1601、存储器1602、总线系统1603以及接口电路1604，所述一个或多个处理器1601、所述存储器1602和所述接口电路1604通过所述总线系统1603相连；
所述存储器1602中存储有计算机指令，当所述一个或多个处理器1601执行所述计算机指令时，所述头戴式可视设备执行如图4至图7中任意一个实 施例中头戴式可视设备需要执行的步骤。
参照图17所示，本申请提供的便携式电子设备的另一种可能的实现方式中，包括：
一个或多个处理器1701、存储器1702、总线系统1703以及接口电路1704，所述一个或多个处理器1701、所述存储器1702和所述接口电路1704通过所述总线系统1703相连；
所述存储器1702中存储有计算机指令，当所述一个或多个处理器1701执行所述计算机指令时，所述便携式电子设备执行如4至7中任意一个实施例中便携式电子设备需要执行的步骤，或图8至9中任意一个实施例中的步骤。
本申请还提供了一种存储一个或者多个程序的可读存储介质，所述一个或多个程序包括指令，所述指令当被头戴式可视设备执行时所述头戴式可视设备执行如图4至7中任意一个实施例中头戴式可视设备需要执行的步骤。
本申请还提供了另一种存储一个或者多个程序的可读存储介质，所述一个或多个程序包括指令，所述指令当被便携式电子设备执行时所述便携式电子设备执行如图4至7中任意一个实施例中便携式电子设备需要执行的步骤，或，图8至9中任意一个实施例中的步骤。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (36)

  1. 一种显示方法，应用于头戴式可视设备，所述头戴式可视设备与便携式电子设备保持无线连接，其特征在于，包括：
    检测到一个指令，确定用户的注视点在所述便携式电子设备的屏幕上的坐标；
    发送所述坐标和指示至所述便携式电子设备，所述指示用于标识所述指令；
    接收所述便携式电子设备发送的所述坐标对应的对象的相关内容，所述相关内容是由所述便携式电子设备根据所述坐标和所述指示获得的；
    在所述便携式电子设备对应的虚拟屏幕上显示所述相关内容。
  2. 根据权利要求1所述的方法，其特征在于，所述坐标对应的对象的相关内容包括所述便携式电子设备的屏幕上的预设范围的截图；
    所述方法还包括：
    确定用户的注视点在虚拟屏幕显示的所述截图上的另一个坐标；
    将所述另一个坐标变换为适用于所述便携式电子设备的屏幕的坐标；
    发送变换后的所述另一个坐标至所述便携式电子设备；
    接收所述便携式电子设备发送的变换后的所述另一个坐标对应的对象的另一个相关内容，在所述便携式电子设备对应的虚拟屏幕上显示所述另一个相关内容。
  3. 根据权利要求1所述的方法，其特征在于，在所述便携式电子设备对应的虚拟屏幕上显示所述相关内容之前，所述方法还包括：
    按照预设倍数放大所述相关内容；
    在所述便携式电子设备对应的虚拟屏幕上显示所述相关内容包括：
    在所述便携式电子设备对应的虚拟屏幕上显示放大后的所述相关内容。
  4. 根据权利要求1所述的方法，其特征在于，在所述便携式电子设备对应的虚拟屏幕上显示所述相关内容包括：
    在所述便携式电子设备对应的进行预设缩放后的虚拟屏幕上显示所述相关内容的全部内容。
  5. 根据权利要求1至4其中任意一项所述的方法，其特征在于，所述方 法还包括：在所述便携式电子设备的屏幕和所述虚拟屏幕中的至少一个屏幕上显示用户的注视点的标记。
  6. 根据权利要求1至5其中任意一项所述的方法，其特征在于，所述方法还包括：
    检测到另一个指令，停止在所述虚拟屏幕上显示所述相关内容；或者，关闭所述虚拟屏幕；所述另一个指令用于指示所述头戴式可视设备以及所述便携式电子设备进行关闭显示所述相关内容的操作。
  7. 一种显示方法，应用于头戴式可视设备，所述头戴式可视设备与便携式电子设备保持无线连接，其特征在于，包括：
    检测到指令，确定用户的注视点在所述便携式电子设备的屏幕上的坐标；
    发送所述坐标至所述便携式电子设备；
    接收所述便携式电子设备发送的所述坐标对应的对象的相关内容，所述相关内容是由所述便携式电子设备根据所述坐标获得的；
    在所述便携式电子设备对应的虚拟屏幕上显示所述相关内容。
  8. 根据权利要求7所述的方法，其特征在于，在所述便携式电子设备对应的虚拟屏幕上显示所述相关内容之前，所述方法还包括：
    按照预设倍数放大所述相关内容；
    在所述便携式电子设备对应的虚拟屏幕上显示所述相关内容包括：
    在所述便携式电子设备对应的虚拟屏幕上显示放大后的所述相关内容。
  9. 根据权利要求7所述的方法，其特征在于，在所述便携式电子设备对应的虚拟屏幕上显示所述相关内容包括：
    在所述便携式电子设备对应的进行预设缩放后的虚拟屏幕上显示所述相关内容的全部内容。
  10. 一种显示方法，应用于便携式电子设备，其特征在于，包括：
    检测到语音输入，确定用户的注视点的坐标；
    当所述注视点的坐标对应的对象为一个应用，将根据所述语音输入识别出的文字作为所述对象的输入；
    显示所述对象根据所述文字输出的界面。
  11. 根据权利要求10所述的方法，其特征在于，在检测到语音输入后， 所述方法还包括：根据所述语音输入识别出所述文字。
  12. 根据权利要求11所述的方法，其特征在于，所述根据所述语音输入识别出所述文字，包括：
    确定所述语音输入的声纹与预先存储的声纹相匹配，根据所述语音输入识别出所述文字。
  13. 一种显示方法，应用于便携式电子设备，所述便携式电子设备与头戴式可视设备保持无线连接，其特征在于，包括：
    接收所述头戴式可视设备发送的坐标，所述坐标为所述头戴式可视设备确定用户的注视点在所述便携式电子设备的屏幕上的坐标；
    当所述坐标对应的对象为可操控的，确定所述对象的类型；
    根据所述对象的类型确定所述对象的相关内容；
    向所述头戴式可视设备发送所述相关内容。
  14. 根据权利要求13所述的方法，其特征在于，所述根据所述对象的类型确定所述对象的相关内容包括：
    若所述对象的类型为图片缩略图，则对所述对象执行打开操作，将执行打开操作后得到的内容作为所述对象的相关内容；或者，
    若所述对象的类型为视频缩略图，则对所述对象执行打开操作或播放操作，将执行打开操作或播放操作后得到的内容作为所述对象的相关内容；或者，
    若所述对象的类型为文件夹或目录，则对所述对象执行打开操作，将执行打开操作后得到的内容进行截图，并将所述截图作为所述对象的相关内容；或者，
    若所述对象的类型为超链接，则对所述对象执行打开操作或加载操作，将执行打开操作或加载操作后得到的内容进行截图，并将所述截图作为所述对象的相关内容；或者，
    若所述对象的类型为应用程序图标，则对所述对象执行打开操作，将执行打开操作后得到的内容作为所述对象的相关内容；或者，
    若所述对象的类型为文字或文本，则对所述对象执行搜索和翻译中的至少一种操作，将执行所述至少一种操作得到的内容作为所述对象的相关内容；或者，
    若所述对象的类型为图片或图像，则对所述对象执行图像识别，对识别出的人脸或物品执行搜索操作，将执行搜索操作得到的内容作为所述对象的相关内容。
  15. 一种显示方法，应用于便携式电子设备，所述便携式电子设备与头戴式可视设备保持无线连接，其特征在于，包括：
    检测到指令；
    接收所述头戴式可视设备发送的坐标，所述坐标为所述头戴式可视设备确定用户的注视点在所述便携式电子设备的屏幕上的坐标；
    根据所述指令获取所述坐标对应的对象的相关内容；
    将所述相关内容发送给所述头戴式可视设备。
  16. 一种显示方法，应用于便携式电子设备，所述便携式电子设备与头戴式可视设备保持无线连接，其特征在于，包括：
    接收所述头戴式可视设备发送的坐标和指示，所述坐标为用户的注视点在所述便携式电子设备的屏幕上的坐标，所述指示用于标识所述指令；
    所述便携式电子设备根据所述坐标和所述指示获取所述坐标对应的对象的相关内容；
    发送所述相关内容到所述头戴式可视设备。
  17. 一种头戴式可视设备，所述头戴式可视设备与便携式电子设备保持无线连接，其特征在于，包括：
    处理单元，用于检测到一个指令，确定用户的注视点在所述便携式电子设备的屏幕上的坐标；
    发送单元，用于发送所述坐标和指示至所述便携式电子设备，所述指示用于标识所述指令；
    接收单元，用于接收所述便携式电子设备发送的所述坐标对应的对象的相关内容，所述相关内容是由所述便携式电子设备根据所述坐标和所述指示获得的；
    所述处理单元还用于，在所述便携式电子设备对应的虚拟屏幕上显示所述相关内容。
  18. 根据权利要求17所述的头戴式可视设备，其特征在于，所述坐标对 应的对象的相关内容包括所述便携式电子设备的屏幕上的预设范围的截图；
    所述处理单元还用于，确定用户的注视点在虚拟屏幕显示的所述截图上的另一个坐标，将所述另一个坐标变换为适用于所述便携式电子设备的屏幕的坐标；
    所述发送单元还用于，发送变换后的所述另一个坐标至所述便携式电子设备；
    所述接收单元还用于，接收所述便携式电子设备发送的变换后的所述另一个坐标对应的对象的另一个相关内容；
    所述处理单元还用于，在所述便携式电子设备对应的虚拟屏幕上显示所述另一个相关内容。
  19. 根据权利要求17所述的头戴式可视设备，其特征在于，在所述便携式电子设备对应的虚拟屏幕上显示所述相关内容之前，所述处理单元还用于：
    按照预设倍数放大所述相关内容；
    所述处理单元还用于：在所述便携式电子设备对应的虚拟屏幕上显示放大后的所述相关内容。
  20. 根据权利要求17所述的头戴式可视设备，其特征在于，所述处理单元具体用于：
    在所述便携式电子设备对应的进行预设缩放后的虚拟屏幕上显示所述相关内容的全部内容。
  21. 根据权利要求17至20其中任意一项所述的头戴式可视设备，其特征在于，所述处理单元还用于：在所述便携式电子设备的屏幕和所述虚拟屏幕中的至少一个屏幕上显示用户的注视点的标记。
  22. 根据权利要求17至21其中任意一项所述的头戴式可视设备，其特征在于，所述处理单元还用于：
    检测到另一个指令，停止在所述虚拟屏幕上显示所述相关内容或所述另一个相关内容；或者，关闭所述虚拟屏幕；所述另一个语音指令用于指示所述头戴式可视设备以及所述便携式电子设备进行关闭显示所述相关内容的操作。
  23. 一种头戴式可视设备，所述头戴式可视设备与便携式电子设备保持无线连接，其特征在于，包括：
    处理单元，用于检测到指令，确定用户的注视点在所述便携式电子设备的屏幕上的坐标；
    发送单元，用于发送所述坐标至所述便携式电子设备；
    接收单元，用于接收所述便携式电子设备发送的所述坐标对应的对象的相关内容，所述相关内容是由所述便携式电子设备根据所述坐标获得的；
    所述处理单元还用于，在所述便携式电子设备对应的虚拟屏幕上显示所述相关内容。
  24. 根据权利要求23所述的头戴式可视设备，其特征在于，在所述便携式电子设备对应的虚拟屏幕上显示所述相关内容之前，所述处理单元还用于：
    按照预设倍数放大所述相关内容；
    所述处理单元具体用于：
    在所述便携式电子设备对应的虚拟屏幕上显示放大后的所述相关内容。
  25. 根据权利要求23所述的头戴式可视设备，其特征在于，所述处理单元具体还用于：
    在所述便携式电子设备对应的进行预设缩放后的虚拟屏幕上显示所述相关内容的全部内容。
  26. 一种便携式电子设备，其特征在于，包括：
    检测单元，用于检测到语音输入；
    处理单元，用于确定用户的注视点的坐标，当所述注视点的坐标对应的对象为一个应用，将根据所述语音输入识别出的文字作为所述对象的输入，显示所述对象根据所述文字输出的界面。
  27. 根据权利要求26所述的便携式电子设备，其特征在于，在所述检测单元检测到语音输入后，所述处理单元还用于：根据所述语音输入识别出所述文字。
  28. 根据权利要求27所述的便携式电子设备，其特征在于，所述处理单元还用于：确定所述语音输入的声纹与预先存储的声纹相匹配，根据所述语音输入识别出所述文字。
  29. 一种便携式电子设备，所述便携式电子设备与头戴式可视设备保持无线连接，其特征在于，包括：
    接收单元，用于接收所述头戴式可视设备发送的坐标，所述坐标为所述头戴式可视设备确定用户的注视点在所述便携式电子设备的屏幕上的坐标；
    处理单元，用于当所述坐标对应的对象为可操控的，确定所述对象的类型，根据所述对象的类型确定所述对象的相关内容；
    发送单元，用于向所述头戴式可视设备发送所述相关内容。
  30. 根据权利要求29所述的头戴式可视设备，其特征在于，所述处理单元具体用于：
    若所述对象的类型为图片缩略图，则对所述对象执行打开操作，将执行打开操作后得到的内容作为所述对象的相关内容；或者，
    若所述对象的类型为视频缩略图，则对所述对象执行打开操作或播放操作，将执行打开操作或播放操作后得到的内容作为所述对象的相关内容；或者，
    若所述对象的类型为文件夹或目录，则对所述对象执行打开操作，将执行打开操作后得到的内容进行截图，并将所述截图作为所述对象的相关内容；或者，
    若所述对象的类型为超链接，则对所述对象执行打开操作或加载操作，将执行打开操作或加载操作后得到的内容进行截图，并将所述截图作为所述对象的相关内容；或者，
    若所述对象的类型为应用程序图标，则对所述对象执行打开操作，将执行打开操作后得到的内容作为所述对象的相关内容；或者，
    若所述对象的类型为文字或文本，则对所述对象执行搜索和翻译中的至少一种操作，将执行所述至少一种操作得到的内容作为所述对象的相关内容；或者，
    若所述对象的类型为图片或图像，则对所述对象执行图像识别，对识别出的人脸或物品执行搜索操作，将执行搜索操作得到的内容作为所述对象的相关内容。
  31. 一种便携式电子设备，所述便携式电子设备与头戴式可视设备保持无线连接，其特征在于，包括：
    处理单元，用于检测到指令；
    接收单元，用于接收所述头戴式可视设备发送的坐标，所述坐标为所述头 戴式可视设备确定用户的注视点在所述便携式电子设备的屏幕上的坐标；
    所述处理单元还用于，根据所述指令获取所述坐标对应的对象的相关内容；
    发送单元，用于将所述相关内容发送给所述头戴式可视设备。
  32. 一种便携式电子设备，所述便携式电子设备与头戴式可视设备保持无线连接，其特征在于，包括：
    接收单元，接收所述头戴式可视设备发送的坐标和指示，所述坐标为用户的注视点在所述便携式电子设备的屏幕上的坐标，所述指示用于标识所述指令；
    处理单元，用于根据所述坐标和所述指示获取所述坐标对应的对象的相关内容；
    发送单元，用于发送所述相关内容到所述头戴式可视设备。
  33. 一种头戴式可视设备，其特征在于，包括：
    一个或多个处理器、存储器、总线系统以及接口电路，所述一个或多个处理器、所述存储器和所述接口电路通过所述总线系统相连；
    所述存储器中存储有计算机指令，当所述一个或多个处理器执行所述计算机指令时，所述头戴式可视设备执行如权利要求1至6，或，7至9中任意一项所述的方法。
  34. 一种便携式电子设备，其特征在于，包括：
    一个或多个处理器、存储器、总线系统以及接口电路，所述一个或多个处理器、所述存储器和所述接口电路通过所述总线系统相连；
    所述存储器中存储有计算机指令，当所述一个或多个处理器执行所述计算机指令时，所述便携式电子设备执行如权利要求10至12，或，13至14，或，15，或，16中任意一项所述的方法。
  35. 一种存储一个或者多个程序的可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当被头戴式可视设备执行时所述头戴式可视设备执行如权利要求1至6，或，7至9中任意一项所述方法。
  36. 一种存储一个或者多个程序的可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当被便携式电子设备执行时所述便携式电子设 备执行如权利要求10至12，或，13至14，或，15，或，16中任意一项所述方法。
CN201580079473.8A 2015-12-07 2015-12-07 一种显示、处理的方法及相关装置 Active CN107533360B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/096558 WO2017096509A1 (zh) 2015-12-07 2015-12-07 一种显示、处理的方法及相关装置

Publications (2)

Publication Number Publication Date
CN107533360A true CN107533360A (zh) 2018-01-02
CN107533360B CN107533360B (zh) 2021-06-15

Family

ID=59012508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580079473.8A Active CN107533360B (zh) 2015-12-07 2015-12-07 一种显示、处理的方法及相关装置

Country Status (3)

Country Link
US (1) US10921979B2 (zh)
CN (1) CN107533360B (zh)
WO (1) WO2017096509A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517683A (zh) * 2019-09-04 2019-11-29 上海六感科技有限公司 头戴式vr/ar设备及其控制方法
CN110597387A (zh) * 2019-09-05 2019-12-20 腾讯科技（深圳）有限公司 基于人工智能的画面显示方法和装置、计算设备、存储介质
CN110825226A (zh) * 2019-10-30 2020-02-21 维沃移动通信有限公司 消息查看方法及终端
CN111766936A (zh) * 2019-04-02 2020-10-13 广东虚拟现实科技有限公司 虚拟内容的控制方法、装置、终端设备及存储介质
CN112269553A (zh) * 2019-11-04 2021-01-26 青岛海信激光显示股份有限公司 显示系统、显示方法及计算设备
CN112579940A (zh) * 2020-12-17 2021-03-30 北京航天云路有限公司 一种可视化大屏接入视频会议界面的方法
CN113407084A (zh) * 2021-06-24 2021-09-17 杭州灵伴科技有限公司 展示内容更新方法、头戴式显示设备和计算机可读介质
CN113485616A (zh) * 2021-07-02 2021-10-08 南京点明软件科技有限公司 一种适用于盲人操作手机编辑的编辑系统
CN113614742A (zh) * 2019-03-26 2021-11-05 京瓷株式会社 Rfid标签
CN114935977A (zh) * 2022-06-27 2022-08-23 北京五八信息技术有限公司 空间锚点处理方法、装置、电子设备及存储介质
WO2024067513A1 (zh) * 2022-09-28 2024-04-04 维沃移动通信有限公司 信息显示方法、装置、设备及存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10692492B2 (en) * 2017-09-29 2020-06-23 Intel IP Corporation Techniques for client-side speech domain detection using gyroscopic data and a system using the same
KR102441407B1 (ko) * 2017-12-14 2022-09-07 한국전자통신연구원 스마트 글라스를 이용한 발화자 선택 장치 및 방법
US10768605B2 (en) * 2018-07-23 2020-09-08 Accenture Global Solutions Limited Augmented reality (AR) based fault detection and maintenance
US20200125671A1 (en) * 2018-10-17 2020-04-23 International Business Machines Corporation Altering content based on machine-learned topics of interest
CN109976610B (zh) * 2019-03-19 2021-05-14 维沃移动通信有限公司 一种应用程序标识的归类方法及终端设备
WO2020213088A1 (ja) * 2019-04-17 2020-10-22 楽天株式会社 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
CN111870938A (zh) * 2020-07-09 2020-11-03 天津津航计算技术研究所 vxworks系统下基于windml的操纵杆串口驱动设计方法
CN112738627B (zh) * 2020-12-23 2022-05-20 上海哔哩哔哩科技有限公司 播放控制方法及装置
CN114691006B (zh) * 2020-12-31 2024-01-23 博泰车联网科技(上海)股份有限公司 一种基于投屏的信息处理方法及相关装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103645806A (zh) * 2013-12-24 2014-03-19 惠州Tcl移动通信有限公司 一种基于眼球追踪的商品浏览方法及系统
CN103699210A (zh) * 2012-09-27 2014-04-02 北京三星通信技术研究有限公司 移动终端及其操控方法
CN104238726A (zh) * 2013-06-17 2014-12-24 腾讯科技（深圳）有限公司 智能眼镜控制方法、装置及一种智能眼镜
US20150103003A1 (en) * 2013-10-11 2015-04-16 Bernard James Kerr User interface programmatic scaling
CN104571525A (zh) * 2015-01-26 2015-04-29 联想(北京)有限公司 数据交互方法、终端电子设备和可穿戴电子设备
CN104751152A (zh) * 2013-12-30 2015-07-01 腾讯科技（深圳）有限公司 一种翻译方法及装置
CN104850317A (zh) * 2014-12-31 2015-08-19 华为终端（东莞）有限公司 可穿戴设备的屏幕的显示方法及可穿戴设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US20120086645A1 (en) * 2010-10-11 2012-04-12 Siemens Corporation Eye typing system using a three-layer user interface
KR101874895B1 (ko) 2012-01-12 2018-07-06 삼성전자 주식회사 증강 현실 제공 방법 및 이를 지원하는 단말기
US9695215B2 (en) 2012-06-26 2017-07-04 Al.Pre.Tec. Srl Allergy Prevention Technology Italia Method for producing fibroin powder from silk products or filaments
CN102981616B (zh) 2012-11-06 2017-09-22 中兴通讯股份有限公司 增强现实中对象的识别方法及系统和计算机
US20140152558A1 (en) * 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
US9977492B2 (en) * 2012-12-06 2018-05-22 Microsoft Technology Licensing, Llc Mixed reality presentation
CN103294194B (zh) 2013-04-28 2016-12-28 小米科技有限责任公司 一种基于眼球跟踪的翻译方法及系统
US9552060B2 (en) * 2014-01-28 2017-01-24 Microsoft Technology Licensing, Llc Radial selection by vestibulo-ocular reflex fixation
CN107077211B (zh) * 2014-10-23 2021-02-02 皇家飞利浦有限公司 视线跟踪驱动的感兴趣区域分割

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103699210A (zh) * 2012-09-27 2014-04-02 北京三星通信技术研究有限公司 移动终端及其操控方法
CN104238726A (zh) * 2013-06-17 2014-12-24 腾讯科技（深圳）有限公司 智能眼镜控制方法、装置及一种智能眼镜
US20150103003A1 (en) * 2013-10-11 2015-04-16 Bernard James Kerr User interface programmatic scaling
CN103645806A (zh) * 2013-12-24 2014-03-19 惠州Tcl移动通信有限公司 一种基于眼球追踪的商品浏览方法及系统
CN104751152A (zh) * 2013-12-30 2015-07-01 腾讯科技（深圳）有限公司 一种翻译方法及装置
CN104850317A (zh) * 2014-12-31 2015-08-19 华为终端（东莞）有限公司 可穿戴设备的屏幕的显示方法及可穿戴设备
CN104571525A (zh) * 2015-01-26 2015-04-29 联想(北京)有限公司 数据交互方法、终端电子设备和可穿戴电子设备

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113614742A (zh) * 2019-03-26 2021-11-05 京瓷株式会社 Rfid标签
CN111766936A (zh) * 2019-04-02 2020-10-13 广东虚拟现实科技有限公司 虚拟内容的控制方法、装置、终端设备及存储介质
CN110517683A (zh) * 2019-09-04 2019-11-29 上海六感科技有限公司 头戴式vr/ar设备及其控制方法
CN110597387B (zh) * 2019-09-05 2021-11-30 腾讯科技（深圳）有限公司 基于人工智能的画面显示方法和装置、计算设备、存储介质
CN110597387A (zh) * 2019-09-05 2019-12-20 腾讯科技（深圳）有限公司 基于人工智能的画面显示方法和装置、计算设备、存储介质
CN110825226A (zh) * 2019-10-30 2020-02-21 维沃移动通信有限公司 消息查看方法及终端
CN112269553A (zh) * 2019-11-04 2021-01-26 青岛海信激光显示股份有限公司 显示系统、显示方法及计算设备
CN112269553B (zh) * 2019-11-04 2023-11-07 青岛海信激光显示股份有限公司 显示系统、显示方法及计算设备
CN112579940A (zh) * 2020-12-17 2021-03-30 北京航天云路有限公司 一种可视化大屏接入视频会议界面的方法
CN113407084A (zh) * 2021-06-24 2021-09-17 杭州灵伴科技有限公司 展示内容更新方法、头戴式显示设备和计算机可读介质
US11506904B1 (en) 2021-06-24 2022-11-22 Hangzhou Lingban Technology Co. Ltd. Presentation content update method, head-mounted display, and computer-readable medium
CN113485616A (zh) * 2021-07-02 2021-10-08 南京点明软件科技有限公司 一种适用于盲人操作手机编辑的编辑系统
CN114935977A (zh) * 2022-06-27 2022-08-23 北京五八信息技术有限公司 空间锚点处理方法、装置、电子设备及存储介质
CN114935977B (zh) * 2022-06-27 2023-04-07 北京五八信息技术有限公司 空间锚点处理方法、装置、电子设备及存储介质
WO2024067513A1 (zh) * 2022-09-28 2024-04-04 维沃移动通信有限公司 信息显示方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US10921979B2 (en) 2021-02-16
US20190324634A1 (en) 2019-10-24
CN107533360B (zh) 2021-06-15
WO2017096509A1 (zh) 2017-06-15

Similar Documents

Publication Publication Date Title
CN107533360A (zh) 一种显示、处理的方法及相关装置
US11893992B2 (en) Multi-modal inputs for voice commands
KR102214972B1 (ko) 가변 레이턴시 디바이스 조정
US10841265B2 (en) Apparatus and method for providing information
US11638059B2 (en) Content playback on multiple devices
AU2018271099B2 (en) Far-field extension for digital assistant services
CN106249909B (zh) 语言输入校正
US20220229985A1 (en) Adversarial discriminative neural language model adaptation
DK201870504A1 (en) FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
CN116312526A (zh) 自然助理交互
KR20190002586A (ko) 디지털 어시스턴트와의 애플리케이션 통합
CN109219796A (zh) 实时视频上的数字触摸
CN110083411A (zh) 用于从模板生成用户界面的设备和方法
CN106233237B (zh) 一种处理与应用关联的新消息的方法和装置
TWI554900B (zh) 提供資訊的裝置與方法
CN107111415B (zh) 用于移动应用接口元素的设备、方法和图形用户界面
JP2023162224A (ja) 健康イベントのログ記録及びコーチング用ユーザインタフェース
CN110100154A (zh) 用于启动应用的设备、方法和图形用户界面
US10915778B2 (en) User interface framework for multi-selection and operation of non-consecutive segmented information
US20230394248A1 (en) Injection of user feedback into language model adaptation
CN113377271A (zh) 文本获取方法、装置、计算机设备及介质
CN110276007B (zh) 用于提供信息的装置和方法
US20230306968A1 (en) Digital assistant for providing real-time social intelligence
CN117501236A (zh) 用于听觉特征的方法和用户界面
CN117762549A (zh) 用于团体训练的用户界面

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant