CN110794966B - Ar显示系统及方法 - Google Patents

Ar显示系统及方法 Download PDF

Info

Publication number
CN110794966B
CN110794966B CN201911028259.6A CN201911028259A CN110794966B CN 110794966 B CN110794966 B CN 110794966B CN 201911028259 A CN201911028259 A CN 201911028259A CN 110794966 B CN110794966 B CN 110794966B
Authority
CN
China
Prior art keywords
display
wearing
equipment
image data
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911028259.6A
Other languages
English (en)
Other versions
CN110794966A (zh
Inventor
范清文
苗京花
王雪丰
郝帅
张硕
何惠东
张�浩
陈丽莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201911028259.6A priority Critical patent/CN110794966B/zh
Publication of CN110794966A publication Critical patent/CN110794966A/zh
Priority to US17/036,792 priority patent/US11500606B2/en
Application granted granted Critical
Publication of CN110794966B publication Critical patent/CN110794966B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/10—Use of a protocol of communication by packets in interfaces along the display data pipeline
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开一种AR显示系统及方法。该系统的一具体实施方式包括终端设备和AR穿戴设备；所述终端设备将所述AR穿戴设备配置为所述终端设备的扩展显示设备以使所述AR穿戴设备与所述终端设备的显示屏处于双屏异显模式，将图像数据发送至所述AR穿戴设备以使得所述AR穿戴设备显示所述图像数据。该实施方式适用于多种AR显示场景，且可避免终端设备被误触而造成AR穿戴设备的显示错误。

Description

AR显示系统及方法
技术领域
本发明涉及显示领域。更具体地，涉及一种AR显示系统及方法。
背景技术
AR(Augmented Reality，增强现实)是一种实时地计算摄像头采集的影像的位置及角度并加上相应图像的技术，这种技术的目的是在屏幕上把虚拟世界嵌套在现实世界并进行互动，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉、声音、味道、触觉等信息)通过计算机等科学技术，模拟仿真后进行叠加，将虚拟的信息应用到真实世界，以使其被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间而同时存在。
AR不仅展现了真实世界的信息，而且将虚拟的信息同时展现出来，两种信息相互补充。在视觉化的增强现实技术中，用户利用AR穿戴设备，把真实世界与电脑图形多重合成在一起。随着AR的不断发展，其在越来越多的领域得到应用，但还有很多领域的应用是空白，例如在演讲者借助投影PPT进行演讲的场景中，演讲者在演讲过程中经常需要背向听众去查看投影屏的PPT页面，使得演讲效果和其与听众的互动性受到影响。
因此，需要提供一种新的AR显示系统及方法。
发明内容
本发明的目的在于提供一种AR显示系统及方法，以解决现有技术存在的问题中的至少一个。
为达到上述目的，本发明采用下述技术方案：
本发明第一方面提供了一种AR显示系统，包括终端设备和AR穿戴设备；所述终端设备将所述AR穿戴设备配置为所述终端设备的扩展显示设备以使所述AR穿戴设备与所述终端设备的显示屏处于双屏异显模式，将图像数据发送至所述AR穿戴设备以使得所述AR穿戴设备显示所述图像数据。
本发明第一方面提供的AR显示系统适用于多种AR显示场景，例如，应用于借助投影PPT进行演讲的场景，演讲者在演讲过程中可不必背向听众去查看投影屏的PPT页面，而是可借助AR穿戴设备在面向听众时查看到PPT页面，且基于双屏异显模式可避免终端设备被例如演讲者等角色的用户误触而造成AR穿戴设备的显示错误，可在终端设备被例如演讲者等角色的用户误触时不影响AR穿戴设备的显示内容。
可选地，所述终端设备将获取的流媒体数据处理为所述图像数据。
可选地，所述AR显示系统还包括计算机设备，所述计算机设备响应于所述终端设备发送的请求，将所述流媒体数据发送至所述终端设备。
采用上述可选方式，AR穿戴设备可实时地显示由终端设备处理来自计算机设备的流媒体数据后得到的图像数据，适用于上述应用于借助投影PPT进行演讲的场景。
可选地，所述流媒体数据为RTSP流媒体数据。基于RTSP(Real Time StreamingProtocol，实时流传输协议)的流媒体数据可有效地通过IP网络进行传输。
可选地，所述计算机设备响应于所述终端设备发送的请求，将所述流媒体数据发送至所述终端设备进一步包括：所述计算机设备响应于所述终端设备发送的包含URL地址的请求，将与所述请求中包含的URL地址对应的RTSP流媒体数据发送至所述终端设备。
可选地，所述终端设备将所述AR穿戴设备配置为所述终端设备的扩展显示设备以使所述AR穿戴设备与所述终端设备的显示屏处于双屏异显模式，将图像数据发送至所述AR穿戴设备以使得所述AR穿戴设备显示所述图像数据进一步包括：
所述终端设备实例化Presentation类；
所述终端设备通过Presentation类下的DisplayManager服务获取所述AR穿戴设备的显示Buffer；
所述终端设备创建对应的布局文件，在所述布局文件中加入TextureView组件并在所述TextureView组件中显示所述图像数据；
所述终端设备将TextureView显示的图像数据输送至所述AR穿戴设备的显示Buffer，以使得所述AR穿戴设备显示所述图像数据。
可选地，所述终端设备将所述AR穿戴设备配置为所述终端设备的扩展显示设备以使所述AR穿戴设备与所述终端设备的显示屏处于双屏异显模式，将图像数据发送至所述AR穿戴设备以使得所述AR穿戴设备显示所述图像数据进一步包括：
所述终端设备实例化Presentation类；
所述终端设备通过Presentation类下的DisplayManager服务获取所述AR穿戴设备的显示Buffer；
所述终端设备创建对应的布局文件，在所述布局文件中加入TextureView组件，并在将接收的来自所述计算机设备的流媒体数据处理为图像数据后在所述TextureView组件中显示所述图像数据；
所述终端设备将TextureView显示的图像数据输送至所述AR穿戴设备的显示Buffer，以使得所述AR穿戴设备显示所述图像数据。
采用上述可选方式，终端设备可高效便捷地将AR穿戴设备配置为该终端设备的扩展显示设备以使AR穿戴设备与该终端设备的显示屏处于双屏异显模式。
可选地，所述流媒体数据为所述计算机设备的显示屏的实时录屏的流媒体数据。
此可选方式适用于上述应用于借助投影PPT进行演讲的场景。
本发明第二方面提供了一种AR显示方法，包括：
终端设备将AR穿戴设备配置为所述终端设备的扩展显示设备以使所述AR穿戴设备与所述终端设备的显示屏处于双屏异显模式，并将图像数据发送至所述AR穿戴设备以使得所述AR穿戴设备显示所述图像数据。
本发明第二方面提供的AR显示方法适用于多种AR显示场景，例如，应用于借助投影PPT进行演讲的场景，演讲者在演讲过程中可不必背向听众去查看投影屏的PPT页面，而是可借助AR穿戴设备在面向听众时查看到PPT页面，且基于双屏异显模式可避免终端设备被例如演讲者等角色的用户误触而造成AR穿戴设备的显示错误，可在终端设备被例如演讲者等角色的用户误触时不影响AR穿戴设备的显示内容。
可选地，该方法还包括：所述终端设备将获取的流媒体数据处理为所述图像数据。
可选地，该方法还包括：计算机设备响应于所述终端设备发送的请求，将所述流媒体数据发送至所述终端设备。
采用上述可选方式，AR穿戴设备可实时地显示由终端设备处理来自计算机设备的流媒体数据后得到的图像数据，适用于上述应用于借助投影PPT进行演讲的场景。
可选地，所述流媒体数据为RTSP流媒体数据。基于RTSP的流媒体数据可有效地通过IP网络进行传输。
可选地，所述计算机设备响应于所述终端设备发送的请求，将所述流媒体数据发送至所述终端设备进一步包括：所述计算机设备响应于所述终端设备发送的包含URL地址的请求，将与所述请求中包含的URL地址对应的RTSP流媒体数据发送至所述终端设备。
可选地，所述终端设备将AR穿戴设备配置为所述终端设备的扩展显示设备以使所述AR穿戴设备与所述终端设备的显示屏处于双屏异显模式，并将图像数据发送至所述AR穿戴设备以使得所述AR穿戴设备显示所述图像数据进一步包括：
所述终端设备实例化Presentation类；
所述终端设备通过Presentation类下的DisplayManager服务获取所述AR穿戴设备的显示Buffer；
所述终端设备创建对应的布局文件，在所述布局文件中加入TextureView组件并在所述TextureView组件中显示所述图像数据；
所述终端设备将TextureView显示的图像数据输送至所述AR穿戴设备的显示Buffer，以使得所述AR穿戴设备显示所述图像数据。
可选地，所述终端设备将AR穿戴设备配置为所述终端设备的扩展显示设备以使所述AR穿戴设备与所述终端设备的显示屏处于双屏异显模式，并将图像数据发送至所述AR穿戴设备以使得所述AR穿戴设备显示所述图像数据进一步包括：
所述终端设备实例化Presentation类；
所述终端设备通过Presentation类下的DisplayManager服务获取所述AR穿戴设备的显示Buffer；
所述终端设备创建对应的布局文件，在所述布局文件中加入TextureView组件，并在将接收的来自所述计算机设备的流媒体数据处理为图像数据后在所述TextureView组件中显示所述图像数据；
所述终端设备将TextureView显示的图像数据输送至所述AR穿戴设备的显示Buffer，以使得所述AR穿戴设备显示所述图像数据。
采用上述可选方式，终端设备可高效便捷地将AR穿戴设备配置为该终端设备的扩展显示设备以使AR穿戴设备与该终端设备的显示屏处于双屏异显模式。
可选地，所述流媒体数据为所述计算机设备的显示屏的实时录屏的流媒体数据。
此可选方式适用于上述应用于借助投影PPT进行演讲的场景。
本发明的有益效果如下：
本发明所述技术方案适用于多种AR显示场景，例如，应用于借助投影PPT进行演讲的场景，演讲者在演讲过程中可不必背向听众去查看投影屏的PPT页面，而是可借助AR穿戴设备在面向听众时查看到PPT页面，且基于双屏异显模式可避免终端设备被例如演讲者等角色的用户误触而造成AR穿戴设备的显示错误，可在终端设备被例如演讲者等角色的用户误触时不影响AR穿戴设备的显示内容。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明；
图1示出本发明实施例提供的AR显示系统的示意图。
图2示出本发明实施例提供的AR显示方法的流程图。
具体实施方式
为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
如图1所示，本发明的一个实施例提供了一种AR显示系统，包括终端设备100和AR穿戴设备200；终端设备100将AR穿戴设备200配置为终端设备100的扩展显示设备以使AR穿戴设备200与终端设备100的显示屏处于双屏异显模式，将图像数据发送至AR穿戴设备200以使得AR穿戴设备200显示所述图像数据。
本实施例提供的AR显示系统适用于多种AR显示场景，例如，应用于借助投影PPT进行演讲的场景，演讲者在演讲过程中可不必背向听众去查看投影屏的PPT页面，而是可借助AR穿戴设备200在面向听众时查看到PPT页面，且基于双屏异显模式可避免终端设备100被例如演讲者等角色的用户误触而造成AR穿戴设备200的显示错误，可在终端设备100被例如演讲者等角色的用户误触时不影响AR穿戴设备200的显示内容，其中，终端设备100的例如POWER键(开关键)、HOME键等系统按键为高权限按键而无法在应用层进行重写与屏蔽，因此基于双屏异显模式可避免终端设备100被例如演讲者等角色的用户误触例如POWER键、返回键、HOME键或音量调节键而造成AR穿戴设备200的显示错误。
在本实施例的一些可选的实现方式中，终端设备100将获取的流媒体数据处理为所述图像数据。
在本实施例的一些可选的实现方式中，所述AR显示系统还包括计算机设备300，计算机设备300响应于终端设备100发送的请求，将所述流媒体数据发送至所述终端设备100。
采用上述实现方式，AR穿戴设备200可实时地显示由终端设备100处理来自计算机设备300的流媒体数据后得到的图像数据，适用于上述应用于借助投影PPT进行演讲的场景，其中，投影仪投影的PPT页面为计算机设备300的屏幕显示的PPT页面，即投影仪投影画面为计算机设备300的显示屏界面，投影仪与计算机设备300可理解为双屏同显，计算机设备300的显示屏界面同步至投影仪进行投影。
其中，终端设备100可以是各种电子设备，包括但不限于智能手机、智能手表、个人数字助理等等。计算机设备300可以对接收到的数据进行存储、分析等处理，并将处理结果反馈给终端设备100。终端设备100与计算机设备300之间、终端设备100与AR穿戴设备200之间分别通过网络进行通信，该网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。在一个具体示例中，AR穿戴设备200为AR头戴设备，进一步，为AR眼镜。在AR显示系统应用于借助投影PPT进行演讲的场景中，终端设备100与AR穿戴设备200之间采用数据线进行有线连接，这是由于演讲者可随身携带终端设备100，因此采用终端设备100与AR穿戴设备200之间采用数据线进行有线连接可使得AR穿戴设备200不必设置无线传输模块，另外，有线传输速度快且稳定；终端设备100与计算机设备300之间采用无线连接，终端设备100与计算机设备300之间采用无线连接便于演讲者自由移动位置，进一步，终端设备100与计算机设备300接入同一Wifi网络以保证终端设备100与计算机设备300之间的数据传输的速度和稳定性。
在本实施例的一些可选的实现方式中，所述流媒体数据为RTSP流媒体数据。基于RTSP(Real Time Streaming Protocol，实时流传输协议)的流媒体数据可有效地通过IP网络进行传输。
在本实施例的一些可选的实现方式中，计算机设备300响应于终端设备100发送的请求，将所述流媒体数据发送至终端设备100进一步包括：计算机设备300响应于终端设备100发送的包含URL地址的请求，将与请求中包含的URL地址对应的RTSP流媒体数据发送至终端设备100。进一步，计算机设备300将RTSP流媒体数据打包为UDP数据包后发送至终端设备100。
在本实施例的一些可选的实现方式中，终端设备100将AR穿戴设备200配置为终端设备100的扩展显示设备以使AR穿戴设备200与终端设备100的显示屏处于双屏异显模式，将图像数据发送至AR穿戴设备200以使得AR穿戴设备200显示所述图像数据进一步包括：
终端设备100实例化Presentation类；
终端设备100通过Presentation类下的DisplayManager服务获取AR穿戴设备200的显示Buffer；
终端设备100创建对应的布局文件，在所述布局文件中加入TextureView组件并在所述TextureView组件中显示所述图像数据；
终端设备100将TextureView显示的图像数据输送至AR穿戴设备200的显示Buffer，以使得AR穿戴设备200显示所述图像数据。
在本实施例的一些可选的实现方式中，在采用前述的AR显示系统还包括计算机设备300的实现方式的情况下，终端设备100将AR穿戴设备200配置为终端设备100的扩展显示设备以使AR穿戴设备200与终端设备100的显示屏处于双屏异显模式，将图像数据发送至AR穿戴设备200以使得AR穿戴设备200显示所述图像数据进一步包括：
终端设备100实例化Presentation类；
终端设备100通过Presentation类下的DisplayManager服务获取AR穿戴设备200的显示Buffer；
终端设备100创建对应的布局文件，在所述布局文件中加入TextureView组件，并在将接收的来自计算机设备300的流媒体数据处理为图像数据后在所述TextureView组件中显示所述图像数据；
终端设备100将TextureView显示的图像数据输送至AR穿戴设备200的显示Buffer，以使得AR穿戴设备200显示所述图像数据。
采用上述实现方式，终端设备100可高效便捷地将AR穿戴设备200配置为该终端设备100的扩展显示设备以使AR穿戴设备200与该终端设备100的显示屏处于双屏异显模式。
在一个具体示例中，本实施例提供的AR显示系统的整体工作流程如下：
一方面，在计算机设备300(PC端，系统中的角色为服务器端)搭建流媒体服务器，输出URL地址至终端设备100(AP端，系统中的角色为客户端)以便于终端设备100进行流媒体数据的获取，其中，该URL地址的生成表明计算机设备300的用于推送流媒体数据的流媒体服务器配置成功，配置成功后计算机设备300的流媒体服务器等待应答；另外，流媒体服务器也可直接在终端设备100搭建，用户可根据需要同步的数据而选择。
另一方面，终端设备100响应于用户操作而通过软件设置将AR穿戴设备200设置为双屏异显模式，包括：
终端设备100实例化Android的Presentation类，其中，Presentation类可提供一个区域，应用可以在辅助显示屏上显示不同的UI(用户界面)；
终端设备100通过Presentation类下的DisplayManager服务获取AR穿戴设备200的显示Buffer，其中，可通过管理类设置显示Buffer大小，即调节显示画面大小、分辨率等显示参数；
终端设备100创建对应的布局文件，在布局文件中加入TextureView组件，并在将接收的来自计算机设备300的流媒体数据处理为图像数据后在TextureView组件中显示图像数据；
终端设备100将TextureView显示的图像数据输送至AR穿戴设备200的显示Buffer，以使得AR穿戴设备200显示所述图像数据。
其中，终端设备100部署完成后，提示用户输入想要在流媒体数据的URL地址，响应于用户输入的计算机设备300提供的URL地址后，提示用户成功连接至计算机设备300；之后，终端设备100通过URL解析出IP及端口号并发送PLAY请求，同时，启动RTSP客户端在指定的端口上，准备接收UDP数据；计算机设备300接收到终端设备100发送的PLAY请求后开始UDP数据包(RTSP流数据)；终端设备100接收到UDP数据包后，进行组包、重传控制，处理为图像数据后，在TextureView组件中显示(播放)图像数据以使得AR穿戴设备200显示所述图像数据，在显示过程中，终端设备100响应于用户的中断操作而结束上述显示流程(运行)，如用户未进行中断操作则持续显示。
在本实施例的一些可选的实现方式中，所述流媒体数据为计算机设备300的显示屏的实时录屏的流媒体数据。此实现方式适用于上述的AR显示系统应用于借助投影PPT进行演讲的场景。
在本实施例的一些可选的实现方式中，本实施例提供的AR显示系统中的计算机设备300还对AR穿戴设备200通过终端设备100回传的图像数据进行图像处理，并将处理后的图像数据通过终端设备100发送至AR穿戴设备200以使得AR穿戴设备200显示所述处理后的图像数据。该实现方式可利用计算机设备300的较为强大的数据处理能力实现图像识别等应用，使得AR技术的应用领域更为广阔，在AR显示系统应用于借助投影PPT进行演讲的场景中，该实现方式可实现对于AR穿戴设备200通过其摄像头采集的现场图像的标注。另外，在仅需简单的图像处理、对计算性能要求不高时，也可由终端设备100执行图像处理。
如图2所示，本发明的另一个实施例提供了一种AR显示方法，包括：
终端设备将AR穿戴设备配置为所述终端设备的扩展显示设备以使所述AR穿戴设备与所述终端设备的显示屏处于双屏异显模式，并将图像数据发送至所述AR穿戴设备以使得所述AR穿戴设备显示所述图像数据。
在本实施例的一些可选的实现方式中，该方法还包括：所述终端设备将获取的流媒体数据处理为所述图像数据。
在本实施例的一些可选的实现方式中，该方法还包括：计算机设备响应于所述终端设备发送的请求，将所述流媒体数据发送至所述终端设备。
在本实施例的一些可选的实现方式中，所述流媒体数据为RTSP流媒体数据。基于RTSP的流媒体数据可有效地通过IP网络进行传输。
在本实施例的一些可选的实现方式中，所述计算机设备响应于所述终端设备发送的请求，将所述流媒体数据发送至所述终端设备进一步包括：所述计算机设备响应于所述终端设备发送的包含URL地址的请求，将与所述请求中包含的URL地址对应的RTSP流媒体数据发送至所述终端设备。
在本实施例的一些可选的实现方式中，所述终端设备将AR穿戴设备配置为所述终端设备的扩展显示设备以使所述AR穿戴设备与所述终端设备的显示屏处于双屏异显模式，并将图像数据发送至所述AR穿戴设备以使得所述AR穿戴设备显示所述图像数据进一步包括：
所述终端设备实例化Presentation类；
所述终端设备通过Presentation类下的DisplayManager服务获取所述AR穿戴设备的显示Buffer；
所述终端设备创建对应的布局文件，在所述布局文件中加入TextureView组件并在所述TextureView组件中显示所述图像数据；
所述终端设备将TextureView显示的图像数据输送至所述AR穿戴设备的显示Buffer，以使得所述AR穿戴设备显示所述图像数据。
在本实施例的一些可选的实现方式中，所述终端设备将AR穿戴设备配置为所述终端设备的扩展显示设备以使所述AR穿戴设备与所述终端设备的显示屏处于双屏异显模式，并将图像数据发送至所述AR穿戴设备以使得所述AR穿戴设备显示所述图像数据进一步包括：
所述终端设备实例化Presentation类；
所述终端设备通过Presentation类下的DisplayManager服务获取所述AR穿戴设备的显示Buffer；
所述终端设备创建对应的布局文件，在所述布局文件中加入TextureView组件，并在将接收的来自所述计算机设备的流媒体数据处理为图像数据后在所述TextureView组件中显示所述图像数据；
所述终端设备将TextureView显示的图像数据发送至所述AR穿戴设备的显示Buffer，以使得所述AR穿戴设备显示所述图像数据。
在本实施例的一些可选的实现方式中，所述流媒体数据为所述计算机设备的显示屏的实时录屏的流媒体数据。
需要说明的是，本实施例提供的AR显示方法与上述AR显示系统的原理及工作流程相似，相关之处可以参照上述说明，在此不再赘述。
在本发明的描述中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于本领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (14)

1.一种AR显示系统，其特征在于，包括终端设备和AR穿戴设备；所述终端设备将所述AR穿戴设备配置为所述终端设备的扩展显示设备以使所述AR穿戴设备与所述终端设备的显示屏处于双屏异显模式，将图像数据发送至所述AR穿戴设备以使得所述AR穿戴设备显示所述图像数据；
所述终端设备将所述AR穿戴设备配置为所述终端设备的扩展显示设备以使所述AR穿戴设备与所述终端设备的显示屏处于双屏异显模式，将图像数据发送至所述AR穿戴设备以使得所述AR穿戴设备显示所述图像数据进一步包括：
所述终端设备实例化Presentation类；
所述终端设备通过Presentation类下的DisplayManager服务获取所述AR穿戴设备的显示Buffer；
所述终端设备创建对应的布局文件，在所述布局文件中加入TextureView组件并在所述TextureView组件中显示所述图像数据；
所述终端设备将TextureView显示的图像数据输送至所述AR穿戴设备的显示Buffer，以使得所述AR穿戴设备显示所述图像数据。
2.根据权利要求1所述的AR显示系统，其特征在于，所述终端设备将获取的流媒体数据处理为所述图像数据。
3.根据权利要求2所述的AR显示系统，其特征在于，所述AR显示系统还包括计算机设备，所述计算机设备响应于所述终端设备发送的请求，将所述流媒体数据发送至所述终端设备。
4.根据权利要求3所述的AR显示系统，其特征在于，所述流媒体数据为RTSP流媒体数据。
5.根据权利要求4所述的AR显示系统，其特征在于，所述计算机设备响应于所述终端设备发送的请求，将所述流媒体数据发送至所述终端设备进一步包括：所述计算机设备响应于所述终端设备发送的包含URL地址的请求，将与所述请求中包含的URL地址对应的RTSP流媒体数据发送至所述终端设备。
6.根据权利要求3所述的AR显示系统，其特征在于，所述在所述TextureView组件中显示所述图像数据进一步包括：
在将接收的来自所述计算机设备的流媒体数据处理为图像数据后在所述TextureView组件中显示所述图像数据。
7.根据权利要求3所述的AR显示系统，其特征在于，所述流媒体数据为所述计算机设备的显示屏的实时录屏的流媒体数据。
8.一种AR显示方法，其特征在于，包括：
终端设备将AR穿戴设备配置为所述终端设备的扩展显示设备以使所述AR穿戴设备与所述终端设备的显示屏处于双屏异显模式，并将图像数据发送至所述AR穿戴设备以使得所述AR穿戴设备显示所述图像数据；
所述终端设备将AR穿戴设备配置为所述终端设备的扩展显示设备以使所述AR穿戴设备与所述终端设备的显示屏处于双屏异显模式，并将图像数据发送至所述AR穿戴设备以使得所述AR穿戴设备显示所述图像数据进一步包括：
所述终端设备实例化Presentation类；
所述终端设备通过Presentation类下的DisplayManager服务获取所述AR穿戴设备的显示Buffer；
所述终端设备创建对应的布局文件，在所述布局文件中加入TextureView组件并在所述TextureView组件中显示所述图像数据；
所述终端设备将TextureView显示的图像数据输送至所述AR穿戴设备的显示Buffer，以使得所述AR穿戴设备显示所述图像数据。
9.根据权利要求8所述的AR显示方法，其特征在于，该方法还包括：所述终端设备将获取的流媒体数据处理为所述图像数据。
10.根据权利要求9所述的AR显示方法，其特征在于，该方法还包括：计算机设备响应于所述终端设备发送的请求，将所述流媒体数据发送至所述终端设备。
11.根据权利要求10所述的AR显示方法，其特征在于，所述流媒体数据为RTSP流媒体数据。
12.根据权利要求11所述的AR显示方法，其特征在于，所述计算机设备响应于所述终端设备发送的请求，将所述流媒体数据发送至所述终端设备进一步包括：所述计算机设备响应于所述终端设备发送的包含URL地址的请求，将与所述请求中包含的URL地址对应的RTSP流媒体数据发送至所述终端设备。
13.根据权利要求10所述的AR显示方法，其特征在于，所述在所述TextureView组件中显示所述图像数据进一步包括：
在将接收的来自所述计算机设备的流媒体数据处理为图像数据后在所述TextureView组件中显示所述图像数据。
14.根据权利要求10所述的AR显示方法，其特征在于，所述流媒体数据为所述计算机设备的显示屏的实时录屏的流媒体数据。
CN201911028259.6A 2019-10-28 2019-10-28 Ar显示系统及方法 Active CN110794966B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911028259.6A CN110794966B (zh) 2019-10-28 2019-10-28 Ar显示系统及方法
US17/036,792 US11500606B2 (en) 2019-10-28 2020-09-29 AR display device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911028259.6A CN110794966B (zh) 2019-10-28 2019-10-28 Ar显示系统及方法

Publications (2)

Publication Number Publication Date
CN110794966A CN110794966A (zh) 2020-02-14
CN110794966B true CN110794966B (zh) 2024-04-12

Family

ID=69441433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911028259.6A Active CN110794966B (zh) 2019-10-28 2019-10-28 Ar显示系统及方法

Country Status (2)

Country Link
US (1) US11500606B2 (zh)
CN (1) CN110794966B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112306353B (zh) * 2020-10-27 2022-06-24 北京京东方光电科技有限公司 扩展现实设备及其交互方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110060349A (zh) * 2019-02-25 2019-07-26 叠境数字科技（上海）有限公司 一种扩展增强现实头戴式显示设备视场角的方法
CN110069230A (zh) * 2019-04-24 2019-07-30 北京小米移动软件有限公司 扩展内容显示方法、装置及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8965460B1 (en) * 2004-01-30 2015-02-24 Ip Holdings, Inc. Image and augmented reality based networks using mobile devices and intelligent electronic glasses
US20140160055A1 (en) * 2012-12-12 2014-06-12 Jeffrey Margolis Wearable multi-modal input device for augmented reality
KR20150026336A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 웨어러블 디바이스 및 그 컨텐트 출력 방법
WO2017127571A1 (en) * 2016-01-19 2017-07-27 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US20170287215A1 (en) * 2016-03-29 2017-10-05 Google Inc. Pass-through camera user interface elements for virtual reality
AU2018207068A1 (en) * 2017-01-11 2019-07-25 Magic Leap, Inc. Medical assistant
US10969583B2 (en) * 2017-02-24 2021-04-06 Zoll Medical Corporation Augmented reality information system for use with a medical device
US11176669B2 (en) * 2019-04-14 2021-11-16 Holovisions LLC System for remote medical imaging using two conventional smart mobile devices and/or augmented reality (AR)
US11373742B2 (en) * 2019-08-23 2022-06-28 Change Healthcare Holdings Llc Augmented reality pharmacy system and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110060349A (zh) * 2019-02-25 2019-07-26 叠境数字科技（上海）有限公司 一种扩展增强现实头戴式显示设备视场角的方法
CN110069230A (zh) * 2019-04-24 2019-07-30 北京小米移动软件有限公司 扩展内容显示方法、装置及存储介质

Also Published As

Publication number Publication date
US20210124547A1 (en) 2021-04-29
US11500606B2 (en) 2022-11-15
CN110794966A (zh) 2020-02-14

Similar Documents

Publication Publication Date Title
WO2017148294A1 (zh) 基于移动终端的设备控制方法、装置和移动终端
US9569159B2 (en) Apparatus, systems and methods for presenting displayed image information of a mobile media device on a large display and control of the mobile media device therefrom
CN104918105B (zh) 媒体文件的多屏播放方法、设备及系统
US10359988B2 (en) Shared experience of virtual environments
CN112073754B (zh) 一种云游戏投屏方法、装置、计算机设备、计算机可读存储介质及云游戏投屏交互系统
CN105637472B (zh) 具有广义屏幕描述的屏幕内容共享系统的框架
CN103369411A (zh) 动态产生缩放影片的多屏影片播放系统和相关装置
EP3024223B1 (en) Videoconference terminal, secondary-stream data accessing method, and computer storage medium
CN107870754A (zh) 一种控制设备上展示的内容的方法及装置
EP3342158A1 (en) System and method for interactive video conferencing
CN110752999B (zh) 屏幕广播方法、装置、系统、电子设备以及存储介质
CN112770159A (zh) 多屏互动系统、方法、装置、设备及存储介质
CN110794966B (zh) Ar显示系统及方法
CN204706020U (zh) 一种电子白板投影交互装置
US11295511B1 (en) Multi-user data presentation in AR/VR
CN112422667A (zh) 多屏幕显示的数据传输方法、装置、设备及存储介质
US10084849B1 (en) System and method for providing and interacting with coordinated presentations
CN107771387A (zh) 用于在不访问网络时间协议的情况下设定设备中的时间和日期的系统和方法
CN111356009B (zh) 音频数据的处理方法、装置、存储介质以及终端
WO2021078182A1 (zh) 一种播放方法以及播放系统
CN103336649A (zh) 一种多终端间反馈窗图像共享的方法及装置
JP6396342B2 (ja) オーディオ−ビデオ用のワイヤレスドッキングシステム
CN116743827B (zh) 批量操控云手机的方法、服务器、触屏终端及存储介质
US20220417449A1 (en) Multimedia system and multimedia operation method
JP6606251B2 (ja) 送信側コンピュータ、受信側コンピュータ、及びそれらにより実行される方法、並びにコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant