CN112181340A - 一种ar图像的共享方法及电子设备 - Google Patents

一种ar图像的共享方法及电子设备 Download PDF

Info

Publication number
CN112181340A
CN112181340A CN202011049478.5A CN202011049478A CN112181340A CN 112181340 A CN112181340 A CN 112181340A CN 202011049478 A CN202011049478 A CN 202011049478A CN 112181340 A CN112181340 A CN 112181340A
Authority
CN
China
Prior art keywords
information
image
current frame
local window
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011049478.5A
Other languages
English (en)
Other versions
CN112181340B (zh
Inventor
李萌
卢春鹏
林森
陈金发
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202011049478.5A priority Critical patent/CN112181340B/zh
Publication of CN112181340A publication Critical patent/CN112181340A/zh
Application granted granted Critical
Publication of CN112181340B publication Critical patent/CN112181340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Abstract

一种AR图像的共享方法,包括:通过终端的第一程序采集AR图像数据;向本地窗口缓冲区服务器发送AR图像数据的第一信息、第二信息和第三信息,其中,第一信息表征AR图像数据中每一帧数据对应的本地窗口缓冲区内存标识符,第二信息表征AR图像数据中每一帧数据的分辨率,第三信息表征图像格式;通过所述终端的第二程序向本地窗口缓冲区服务器发送服务获取请求,以获取当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式;根据当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式,获取第一程序采集到的当前帧图像;通过第二程序输出当前帧图像,使得当前帧图像显示在除所述终端以外的显示介质体上。本申请还提供一种电子设备。

Description

一种AR图像的共享方法及电子设备
技术领域
本申请涉及数据共享技术,尤其涉及一种AR图像的共享方法及电子设备。
背景技术
当用户使用增强现实(AR,Augmented Reality)设备的图像采集单元(如摄像头)进行图像采集时,只有当前佩戴AR设备的用户能够看到AR图像数据,而其他用户是无法看到该AR图像数据的,因此,当前的AR设备不能满足AR图像数据共享的需求。
发明内容
为达到上述AR图像数据共享的目的,本申请的技术方案是这样实现的:
根据本申请的一方面,提供一种AR图像的共享方法,包括:
通过终端的第一程序采集AR图像数据;
至少向本地窗口缓冲区服务器发送所述AR图像数据的第一信息、第二信息和第三信息,其中,所述第一信息表征所述AR图像数据中每一帧数据对应的本地窗口缓冲区内存标识符,所述第二信息表征所述AR图像数据中每一帧数据的分辨率,所述第三信息表征所述AR图像数据的图像格式;
通过所述终端的第二程序向所述本地窗口缓冲区服务器发送服务获取请求,以获取当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式;
根据当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式,获取所述第一程序采集到的当前帧图像;
通过所述第二程序输出所述当前帧图像,使得所述当前帧图像显示在除所述终端以外的显示介质体上。
上述方案中,在至少向所述向本地窗口缓冲区服务器发送所述AR图像数据的第一信息、第二信息和第三信息之前,还包括:
在所述AR图像数据中提取所述第一信息、第二信息和第三信息;
至少向所述向本地窗口缓冲区服务器发送所述AR图像数据的第一信息、第二信息和第三信息,包括:
将所述第一信息、所述第二信息和所述第三信息,更新到所述本地窗口缓冲区服务器。
上述方案中,还包括:
通过所述本地窗口缓冲区服务器实时监听所述第一程序发送的第一信息、第二信息和第三信息;以使得所述本地窗口缓冲区服务器将监听到的所述第一信息、所述第二信息和所述第三信息,更新到所述本地窗口缓冲区服务器中。
上述方案中,所述第二程序获取到的所述本地窗口缓冲区内存标识符、分辨率和图像格式是由所述本地窗口缓冲区服务器基于所述服务获取请求,对当前帧数据对应的本地窗口缓冲区的第一信息、第二信息和第三信息进行反序列化解析后得到的信息。
上述方案中,在所述根据当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式,获取所述第一程序采集到的当前帧图像之前,还包括:
建立每一帧数据对应的本地窗口缓冲区内存标识符与内存缓冲区之间的映射关系;
所述根据当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式,获取所述第一程序采集到的当前帧图像,包括:
基于所述映射关系,获取当前帧数据对应的本地窗口缓冲区内存标识符对应的目标内存缓冲区;
基于所述分辨率和所述图像格式,从所述目标内存缓冲区中获取所述第一程序采集到的当前帧图像。
上述方案中,在通过所述第二程序输出所述当前帧图像之前,还包括:
根据预设颜色空间格式对获取到的所述当前帧数据进行渲染处理;
所述通过所述第二程序输出所述当前帧图像,包括:
通过所述第二程序输出经所述渲染处理后的所述当前帧图像,以使得所述当前帧图像显示在除所述终端以外的显示介质体上。
上述方案中,基于所述分辨率和所述图像格式,从所述目标内存缓冲区中获取所述第一程序采集到的当前帧图像,包括:
基于当前帧数据对应的分辨率和图像格式从所述目标内存缓冲区中解析出有效的YUV数据,以根据该YUV数据得到对应的当前帧图像;其中,Y表示颜色的明亮度,U表示颜色的色度,V表示颜色的浓度。
根据本申请的另一方面,提供一种电子设备,包括:
第一视角单元,用于采集AR图像数据;以及用于至少向本地窗口缓冲区服务器发送所述AR图像数据的第一信息、第二信息和第三信息,其中,所述第一信息表征所述AR图像数据中每一帧数据对应的本地窗口缓冲区内存标识符,所述第二信息表征所述AR图像数据中每一帧数据的分辨率,所述第三信息表征所述AR图像数据的图像格式;
本地窗口缓冲区服务器,用于基于所述AR设备的第二视角单元发送的服务获取请求,获取当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式;以及根据当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式,获取所述第一视角单元采集到的当前帧图像;
第二视角单元,用于向所述本地窗口缓冲区服务器发送服务获取请求;以及输出所述当前帧图像,使得所述当前帧图像显示在除所述电子设备以外的显示介质体上。
上述方案中,所述第一视觉单元,还用于在所述AR图像数据中提取所述第一信息、第二信息和第三信息,以将所述第一信息、所述第二信息和所述第三信息,更新到所述本地窗口缓冲区服务器中。
根据本申请的第三方面,提供一种电子设备,包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器,
其中,所述处理器用于运行所述计算机程序时,执行上述AR图像共享方法中的任一项所述方法的步骤。
本申请提供的一种AR图像的共享方法和电子设备,通过在终端上创建本地窗口缓冲区服务以及两个程序,其中,一个程序负责采集AR图像并将采集的AR图像的帧数据信息同步到本地窗口缓冲区服务器,另一个程序负责从本地窗口缓冲区服务器中获取当前帧数据,并将当前帧数据输出到除所述终端以外的显示介质体上;不仅不用增加硬件成本,而且还可以实现AR图像数据在不同终端上进行图像共享。
附图说明
图1为为本申请中AR图像的共享方法流程实现示意图;
图2为本申请中电子设备的结构组成示意图一;
图3为本申请中电子设备的结构组成示意图二。
具体实施方式
以下结合说明书附图及具体实施例对本申请的技术方案做进一步的详细阐述。
图1为本申请中AR图像的共享方法流程实现示意图,如图1所示,包括:
步骤101,通过终端的第一程序采集AR图像数据;
这里,该终端具体是指互联网设备,包括但不限于手机、平板电脑、AR设备等等具有AR功能的设备,当然该终端也可以是不具有AR功能的所有安卓设备,并且在该终端内安装有第一程序,当该第一程序具有采集图像数据的功能时,该第一程序能够触发该终端上的摄像头采集AR图像数据。
这里,以AR眼镜为例,当第一用户佩戴该AR眼镜的情况下,第一用户能够通过该AR眼镜上的第一程序能够开启AR眼镜上的摄像头,以采集当前环境中的图像,此时,第一用户就能通过AR眼镜看到AR图像。
步骤102,至少向本地窗口缓冲区服务器发送所述AR图像数据的第一信息、第二信息和第三信息,其中,所述第一信息表征所述AR图像数据中每一帧数据对应的本地窗口缓冲区内存标识符,所述第二信息表征所述AR图像数据中每一帧数据的分辨率,所述第三信息表征所述AR图像数据的图像格式;
本申请中,在该终端内还建立有一个本地窗口缓冲区服务器(ANB SERVER),通过该本地窗口缓冲区服务器能够提供一种轻量级的Binder服务,提供实时监听并反序列化解析服务。其中,Binder是一种基于C/S架构的进程间通信机制。
这里,该本地窗口缓冲区服务器可以是实体硬件,也可以是通过软件程序实现的虚拟模块,这里并不限定本地窗口缓冲区服务器的具体呈现。
具体地,当第一程序采集到AR图像数据时,第一程序会在所述AR图像数据中提取第一信息、第二信息和第三信息;其中,第一信息表征所述AR图像数据中每一帧数据对应的本地窗口缓冲区内存标识符,第二信息表征所述AR图像数据中每一帧数据的分辨率,第三信息表征所述AR图像数据的图像格式;然后,第一程序会连接本地窗口缓冲区服务器,以获取本地窗口缓冲区服务器的接口,第一程序将提取的该第一信息、该第二信息和第三信息作为跨进程传输对象通过该本地窗口缓冲区服务器提供的接口填入本地窗口缓冲区服务器的服务中。
同时,本地窗口缓冲区服务器也会实时监听该第一程序发送的第一信息、第二信息和第三信息,并在监控到该第一信息、第二信息和第三信息后,基于Binder服务的进程间同步调用机制,将该第一信息、第二信息和第三信息同步更新在该本地窗口缓冲区服务器的进程中。如此,能够实现第一程序采集的AR图像数据和本地窗口缓冲区服务器中的AR图像数据的信息同步。
这里,该本地窗口缓冲区服务器会随着该终端的系统自动启动。
本申请中,本地窗口缓冲区服务器提供轻量级的Binder服务是一种私有服务,会随着该终端的系统自动启动。无需改变现有的系统级芯片(SOC)厂商的硬件抽象层(HAL)架构,通过本地窗口缓冲区服务器提供轻量级的Binder服务,可以与任何第三方的应用程序(APP)共享AR图像,以使不同终端可以实时获取当前AR终端的摄像头采集的AR实像。
步骤103,通过所述终端的第二程序向所述本地窗口缓冲区服务器发送服务获取请求,以获取当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式;
本申请中,在该终端内还具有第二程序,通过该第二程序可以从本地窗口缓冲区服务器中获取当前帧数据,以便供其他用户从其他视角观看到该终端采集到的AR图像。
这里,第二程序在获取当前帧图像时,具体可以通过该终端的第二程序向该本地窗口缓冲区服务器发送服务获取请求,以获取当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式;本地窗口缓冲区服务器监听到该服务获取请求时,该本地窗口缓冲区服务器可以根据该服务获取请求,对当前帧数据对应的本地窗口缓冲区的第一信息、第二信息和第三信息进行反序列化解析,以获取当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式,以响应第二程序发送的服务获取请求。然后第二程序根据当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式,使得当前帧图像对应的本地窗口缓冲区内存标识符、分辨率和图像格式信息的实例对象在第二程序中重建,从而可以获取第一程序采集的当前帧图像。
步骤104,根据当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式,获取所述第一程序采集到的当前帧图像;
本申请中,在该终端中还可以建立每一帧数据对应的本地窗口缓冲区内存标识符与内存缓冲区之间的映射关系;当本地窗口缓冲区服务器根据第二程序发送的服务获取请求获取当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式时,还可以基于该映射关系,获取当前帧数据对应的本地窗口缓冲区内存标识符对应的目标内存缓冲区;然后,基于当前帧数据对应的该分辨率和该图像格式,从目标内存缓冲区中获取所述第一程序采集到的当前帧图像。
具体地,可以根据当前帧数据对应的分辨率和图像格式信息从该目标内存缓冲区中解析出有效的YUV数据,以根据该YUV数据得到对应的当前帧图像。
这里,YUV是一种颜色编码方法。其中,“Y”表示明亮度,“U”和“V”则是色度、浓度。
步骤105,通过所述第二程序输出所述当前帧图像,使得所述当前帧图像显示在除所述终端以外的显示介质体上。
本申请中,第二程序得到第一程序采集的当前帧图像后,可以通过投影方式、蓝牙方式、移动通信方式等等方式将当前帧图像输出到除电子设备以外的显示介质体上。这样当非佩戴AR设备的用户想要观看到该AR设备采集的AR图像时,可以通过该显示介质体看到AR设备端采集到的AR图像。
这里,还以AR眼镜为例,第一用户为佩戴该AR眼镜的用户,第二用户为未佩戴该AR眼镜的用户,其中,第一用户能够通过该AR眼镜上的第一程序看到采集的AR图像,而第二用户如果想要看到该AR图像,则可以通过该AR眼镜上的第二程序利用该AR眼镜上的本地窗口缓冲区服务器获取第一程序采集的AR图像,并由第二程序将该AR图像输出到其他外界显示介质体上进行显示。
这里,该第二程序可以具有投影功能,当第二程序具有投影功能,且第二用户与第一用户处于同一现场(比如现场协助)时,可以通过投影方式将当前帧图像投影到投影布、墙壁、桌子等能够接收投影数据的介质体上进行图像显示。这样,佩戴AR眼镜的第一用户和未佩戴AR眼镜的第二用户都能够看到AR图像,从而实现了AR图像共享的效果。
这里,如果第二用户与第一用户处于不同一现场(比如远程协助)时,第二程序还可以具有通信功能,用于与除该AR眼镜以外的其他终端进行图像传输。当第二程序具有通信功能时,可以通过移动网络、局域网、蓝牙等通信网络将当前帧图像数据发送给第二用户的终端,这样,第二用户就可以通过第二用户的终端看到第一用户的AR眼镜采集到的AR图像,从而实现了AR图像共享。
本申请中,该终端在通过第二程序输出当前帧图像之前,还可以根据预设颜色空间格式对获取到的当前帧数据进行渲染处理;然后,通过第二程序输出经渲染处理后的当前帧图像,以使得当前帧图像显示在除该终端以外的显示介质体上。
本申请通过在AR终端建立ANB轻量级的Binder服务,提供实时监听并完成反序列化解析服务,能够实现AR图像数据在不同终端侧进行实时共享,以满足AR端和非AR端同步呈现AR图像的场景需求。
另外,由于本申请中本地窗口缓冲区服务器提供的轻量级的Binder服务是一种私有服务,不需要改变原生系统通用的API(应用程序接口)和状态机,所以可以兼容所有符合本申请中第一程序和第二程序标准的第三方应用程序。还不需要修改SOC(系统级芯片)厂商HAL(硬件抽象层)架构,从而也可以兼容Android和不同SOC平台厂商的各个版本。
图2为本申请中电子设备的结构组成示意图一,如图2所示,该电子设备包括:第一视角单元201、本地窗口缓冲区服务器202和第二视角单元203;
其中,第一视角单元201用于采集AR图像数据;以及用于至少向本地窗口缓冲区服务器202发送所述AR图像数据的第一信息、第二信息和第三信息,其中,所述第一信息表征所述AR图像数据中每一帧数据对应的本地窗口缓冲区内存标识符,所述第二信息表征所述AR图像数据中每一帧数据的分辨率,所述第三信息表征所述AR图像数据的图像格式;
本地窗口缓冲区服务器202;用于基于所述AR设备的第二视角单元203发送的服务获取请求,获取当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式;以及根据当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式,获取所述第一视角单元201采集到的当前帧图像;
第二视角单元203,用于向所述本地窗口缓冲区服务器202发送服务获取请求;以及输出所述当前帧图像,使得所述当前帧图像显示在除所述电子设备以外的显示介质体上。
本申请中,第一视角单元201中还设置有摄像头开启模块2011,用于在第一程序启用时,开启AR设备上的摄像头功能。
本申请中,第一视角单元201中还设置有本地窗口缓冲区信息更新模块2012,用于在所述AR图像数据中提取所述第一信息、第二信息和第三信息,并且在向本地窗口缓冲区服务器202发送所述AR图像数据的第一信息、第二信息和第三信息时,基于Binder服务的进程间同步调用机制,将第一信息、第二信息和第三信息同步更新本地窗口缓冲区服务器202的进程中。如此,能够实现第一程序采集的AR图像数据和本地窗口缓冲区服务器中的AR图像数据的信息同步。
本申请中,本地窗口缓冲区服务器202中设置有监听同步模块2021和信息反馈模块2022。
其中,监听同步模块2021,用于实时监听第一视角单元201发送的第一信息、第二信息和第三信息;以基于Binder的进程间同步调用机制,将监听到的所述第一信息、所述第二信息和第三信息,同步更新到所述本地窗口缓冲区服务器202的进程中。
信息反馈模块2022,用于在本地窗口缓冲区服务器202接收到第二视角单元203发送的服务获取请求时,基于所述服务获取请求对当前帧数据对应的本地窗口缓冲区的第一信息、第二信息和第三信息进行反序列化处理,并将处理结果反馈给第二视角单元203。
本申请中,第二视角单元203包括:对象重建模块2031、内存映射模块2032、YUV数据解析模块2033、渲染模块2034和输出模块2035;
其中,对象重建模块2031,用于向本地窗口缓冲区服务器202发送服务获请求,以获取信息反馈模块2022的反馈结果,从而使得当前帧图像对应的本地窗口缓冲区内存标识符、分辨率和图像格式信息的实例对象在第二程序中重建。
内存映射模块2032,用于基于当前帧数据对应的本地窗口缓冲区内存标识符与内存缓冲区之间的映射关系;获取当前帧数据对应的本地窗口缓冲区内存标识符对应的目标内存缓冲区。
YUV数据解析模块2033,用于根据当前帧数据对应的分辨率和图像格式信息从该目标内存缓冲区中解析出有效的YUV数据,该YUV数据用于得到对应的当前帧图像。
渲染模块2034,用于根据预设颜色空间格式对获取到的当前帧数据进行渲染处理。
输出模块2035,用于输出经渲染处理后的当前帧图像,以使得当前帧图像显示在除该电子设备以外的显示介质体上。
需要说明的是:上述实施例提供的电子设备在进行AR图像共享时,仅以上述各程序模块的划分进行举例说明,实际应用中,可以根据需要而将上述处理分配由不同的程序模块完成,即将装置的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分处理。另外,上述实施例提供的电子设备与AR图像共享方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请实施例还提供了另一种电子设备,该电子设备包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器,
其中,所述处理器用于运行所述计算机程序时,执行:通过终端的第一程序采集AR图像数据;至少向本地窗口缓冲区服务器发送所述AR图像数据的第一信息、第二信息和第三信息,其中,所述第一信息表征所述AR图像数据中每一帧数据对应的本地窗口缓冲区内存标识符,所述第二信息表征所述AR图像数据中每一帧数据的分辨率,所述第三信息表征所述AR图像数据的图像格式;通过所述终端的第二程序向所述本地窗口缓冲区服务器发送服务获取请求,以获取当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式;根据当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式,获取所述第一程序采集到的当前帧图像;通过所述第二程序输出所述当前帧图像,使得所述当前帧图像显示在除所述电子设备以外的显示介质体上。
在至少向所述向本地窗口缓冲区服务器发送所述AR图像数据的第一信息和第二信息之前,所述处理器还用于运行所述计算机程序时,执行:在所述AR图像数据中提取所述第一信息、第二信息和第三信息;
在至少向所述向本地窗口缓冲区服务器发送所述AR图像数据的第一信息、第二信息和第三信息之后,所述处理器还用于运行所述计算机程序时,执行:根据所述第一信息、所述第二信息和第三信息,将所述第一信息、所述第二信息和第三信息更新到所述本地窗口缓冲区服务器中。
所述处理器还用于运行所述计算机程序时,执行:通过所述本地窗口缓冲区服务器实时监听所述第一程序发送的第一信息、第二信息和第三信息;以使得所述本地窗口缓冲区服务器将监听到的所述第一信息、所述第二信息和所述第三信息,更新到所述本地窗口缓冲区服务器中。
所述第二程序获取到的所述本地窗口缓冲区内存标识符、分辨率和图像格式是由所述本地窗口缓冲区服务器基于所述服务获取请求,对当前帧数据对应的本地窗口缓冲区的第一信息、第二信息和第三信息进行反序列化解析后得到的信息。
在所述根据当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式,获取所述第一程序采集到的当前帧图像之前,所述处理器还用于运行所述计算机程序时,执行:建立每一帧数据对应的本地窗口缓冲区内存标识符与内存缓冲区之间的映射关系;基于所述映射关系,获取当前帧数据对应的本地窗口缓冲区内存标识符对应的目标内存缓冲区;基于当前帧数据对应的分辨率和图像格式,从所述目标内存缓冲区中获取所述第一程序采集到的当前帧图像。
在通过所述第二程序输出所述当前帧图像之前,所述处理器还用于运行所述计算机程序时,执行:根据预设颜色空间格式对获取到的所述当前帧数据进行渲染处理;通过所述第二程序输出经所述渲染处理后的所述当前帧图像,以使得所述当前帧图像显示在除所述终端以外的显示介质体上。
所述处理器还用于运行所述计算机程序时,执行:根据当前帧数据对应的分辨率和图像格式,从目标内存缓冲区解析出有效的YUV数据,以根据该YUV数据得到对应的当前帧图像;其中,Y表示颜色的明亮度,U表示颜色的色度,V表示颜色的浓度。
图3是本申请中电子设备的结构示意图二,电子设备300可以是移动电话、计算机、数字广播终端、信息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理、AR设备等。图3所示的电子设备300包括:至少一个处理器301、存储器302、至少一个网络接口304和用户接口303。电子设备300中的各个组件通过总线系统305耦合在一起。可理解,总线系统305用于实现这些组件之间的连接通信。总线系统305除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图3中将各种总线都标为总线系统305。
其中,用户接口303可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解,存储器302可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM,Read Only Memory)、可编程只读存储器(PROM,Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM,Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM,Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM,ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM,Compact Disc Read-Only Memory);磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM,Random AccessMemory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM,Static Random Access Memory)、同步静态随机存取存储器(SSRAM,Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM,Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM,SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM,Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM,Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM,SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM,Direct Rambus Random Access Memory)。本申请实施例描述的存储器302旨在包括但不限于这些和任意其它适合类型的存储器。
本申请实施例中的存储器302用于存储各种类型的数据以支持电子设备300的操作。这些数据的示例包括:用于在电子设备300上操作的任何计算机程序,如操作系统3021和应用程序3022;联系人数据;电话簿数据;消息;图片;视频等。其中,操作系统3021包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序3022可以包含各种应用程序,例如媒体播放器(Media Player)、浏览器(Browser)等,用于实现各种应用业务。实现本申请实施例方法的程序可以包含在应用程序3022中。
上述本申请实施例揭示的方法可以应用于处理器301中,或者由处理器301实现。处理器301可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器301中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器301可以是通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器301可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤,可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中,该存储介质位于存储器302,处理器301读取存储器302中的信息,结合其硬件完成前述方法的步骤。
在示例性实施例中,电子设备300可以被一个或多个应用专用集成电路(ASIC,Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD,ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU,Micro Controller Unit)、微处理器(Microprocessor)、或其他电子元件实现,用于执行前述方法。
在示例性实施例中,本申请实施例还提供了一种计算机可读存储介质,例如包括计算机程序的存储器302,上述计算机程序可由电子设备300的处理器301执行,以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备,如移动电话、计算机、平板设备、个人数字助理、AR设备等。
一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器运行时,执行:通过终端的第一程序采集AR图像数据;至少向本地窗口缓冲区服务器发送所述AR图像数据的第一信息、第二信息和第三信息,其中,所述第一信息表征所述AR图像数据中每一帧数据对应的本地窗口缓冲区内存标识符,所述第二信息表征所述AR图像数据中每一帧数据的分辨率,所述第三信息表征所述AR图像数据的图像格式;通过所述终端的第二程序向所述本地窗口缓冲区服务器发送服务获取请求,以获取当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式;根据当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式,获取所述第一程序采集到的当前帧图像;通过所述第二程序输出所述当前帧图像,使得所述当前帧图像显示在除所述终端以外的显示介质体上。
在至少向所述向本地窗口缓冲区服务器发送所述AR图像数据的第一信息、第二信息和第三信息之前,所述计算机程序被处理器运行时,还执行:在所述AR图像数据中提取所述第一信息、第二信息和第三信息;
在至少向所述向本地窗口缓冲区服务器发送所述AR图像数据的第一信息、第二信息和第三信息之后,所述计算机程序被处理器运行时,还执行:将所述第一信息、所述第二信息和第三信息,更新到所述本地窗口缓冲区服务器中。
所述计算机程序被处理器运行时,还执行:通过所述本地窗口缓冲区服务器实时监听所述第一程序发送的第一信息、第二信息和第三信息;以使得所述本地窗口缓冲区服务器将监听到的所述第一信息、所述第二信息和第三信息,更新对所述本地窗口缓冲区服务器中。
所述第二程序获取到的所述本地窗口缓冲区内存标识符、分辨率和图像格式是由所述本地窗口缓冲区服务器基于所述服务获取请求,对当前帧数据对应的本地窗口缓冲区的第一信息、第二信息和第三信息进行反序列化解析后得到的信息。
在所述根据当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式,获取所述第一程序采集到的当前帧图像之前,所述计算机程序被处理器运行时,还执行:建立每一帧数据对应的本地窗口缓冲区内存标识符与内存缓冲区之间的映射关系;基于所述映射关系,获取当前帧数据对应的本地窗口缓冲区内存标识符对应的目标内存缓冲区;基于当前帧数据对应的分辨率和图像格式,从所述目标内存缓冲区中获取所述第一程序采集到的当前帧图像。
在通过所述第二程序输出所述当前帧图像之前,所述计算机程序被处理器运行时,还执行:根据预设颜色空间格式对获取到的所述当前帧数据进行渲染处理;通过所述第二程序输出经所述渲染处理后的所述当前帧图像,以使得所述当前帧图像显示在除所述终端以外的显示介质体上。
所述计算机程序被处理器运行时,还执行:根据当前帧数据对应的分辨率和所述图像格式信息,从所述目标内存缓冲区中解析中有效的YUV数据,以根据该YUV数据得到对应的当前帧图像;其中,Y表示颜色的明亮度,U表示颜色的色度,V表示颜色的浓度。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种AR图像的共享方法,包括:
通过终端的第一程序采集AR图像数据;
向本地窗口缓冲区服务器发送所述AR图像数据的第一信息、第二信息和第三信息,其中,所述第一信息表征所述AR图像数据中每一帧数据对应的本地窗口缓冲区内存标识符,所述第二信息表征所述AR图像数据中每一帧数据的分辨率,所述第三信息表征所述AR图像数据的图像格式;
通过所述终端的第二程序向所述本地窗口缓冲区服务器发送服务获取请求,以获取当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式;
根据当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式,获取所述第一程序采集到的当前帧图像;
通过所述第二程序输出所述当前帧图像,使得所述当前帧图像显示在除所述终端以外的显示介质体上。
2.根据权利要求1所述的方法,在至少向所述向本地窗口缓冲区服务器发送所述AR图像数据的第一信息、第二信息和第三信息之前,还包括:
在所述AR图像数据中提取所述第一信息、第二信息和第三信息;
至少向所述向本地窗口缓冲区服务器发送所述AR图像数据的第一信息、第二信息和第三信息,包括:
将所述第一信息、所述第二信息和所述第三信息,更新到所述本地窗口缓冲区服务器中。
3.根据权利要求1所述的方法,还包括:
通过所述本地窗口缓冲区服务器实时监听所述第一程序发送的第一信息、第二信息和第三信息;以使得所述本地窗口缓冲区服务器将监听到的所述第一信息、所述第二信息和所述第三信息,更新到所述本地窗口缓冲区服务器中。
4.根据权利要求1所述的方法,所述第二程序获取到的所述本地窗口缓冲区内存标识符、分辨率和图像格式是由所述本地窗口缓冲区服务器基于所述服务获取请求,对当前帧数据进行反序列化解析后得到的信息。
5.根据权利要求1所述的方法,在所述根据当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式,获取所述第一程序采集到的当前帧图像之前,还包括:
建立每一帧数据对应的本地窗口内存缓冲区标识符与内存缓冲区之间的映射关系;
所述根据当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式,获取所述第一程序采集到的当前帧图像,包括:
基于所述映射关系,获取当前帧数据对应的本地窗口缓冲区内存标识符对应的目标内存缓冲区;
基于所述分辨率和所述图像格式,从所述目标内存缓冲区中获取所述第一程序采集到的当前帧图像。
6.根据权利要求5所述的方法,在通过所述第二程序输出所述当前帧图像之前,还包括:
根据预设颜色空间格式对获取到的所述当前帧数据进行渲染处理;
所述通过所述第二程序输出所述当前帧图像,包括:
通过所述第二程序输出经所述渲染处理后的所述当前帧图像,以使得所述当前帧图像显示在除所述终端以外的显示介质体上。
7.根据权利要求5所述的方法,基于所述分辨率和所述图像格式,从所述目标内存缓冲区中获取所述第一程序采集到的当前帧图像,包括:
基于当前帧数据对应的分辨率和图像格式从所述目标内存缓冲区中解析出有效的YUV数据,以根据该YUV数据得到对应的当前帧图像;其中,Y表示颜色的明亮度,U表示颜色的色度,V表示颜色的浓度。
8.一种电子设备,包括:
第一视角单元,用于采集AR图像数据;以及用于至少向本地窗口缓冲区服务器发送所述AR图像数据的第一信息、第二信息和第三信息,其中,所述第一信息表征所述AR图像数据中每一帧数据对应的本地窗口缓冲区内存标识符,所述第二信息表征所述AR图像数据中每一帧数据的分辨率,所述第三信息表征所述AR图像数据的图像格式;
本地窗口缓冲区服务器,用于基于所述AR设备的第二视角单元发送的服务获取请求,获取当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式;以及根据当前帧数据对应的本地窗口缓冲区内存标识符、分辨率和图像格式,获取所述第一视角单元采集到的当前帧图像;
第二视角单元,用于向所述本地窗口缓冲区服务器发送服务获取请求;以及输出所述当前帧图像,使得所述当前帧图像显示在除所述电子设备以外的显示介质体上。
9.根据权利要求8所述的电子设备,所述第一视觉单元,还用于在所述AR图像数据中提取所述第一信息、第二信息和第三信息,以将所述第一信息、所述第二信息和所述第三信息,更新到所述本地窗口缓冲区服务器中。
10.一种电子设备,包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器,
其中,所述处理器用于运行所述计算机程序时,执行权利要求1至7任一项所述方法的步骤。
CN202011049478.5A 2020-09-29 2020-09-29 一种ar图像的共享方法及电子设备 Active CN112181340B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011049478.5A CN112181340B (zh) 2020-09-29 2020-09-29 一种ar图像的共享方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011049478.5A CN112181340B (zh) 2020-09-29 2020-09-29 一种ar图像的共享方法及电子设备

Publications (2)

Publication Number Publication Date
CN112181340A true CN112181340A (zh) 2021-01-05
CN112181340B CN112181340B (zh) 2022-05-31

Family

ID=73945773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011049478.5A Active CN112181340B (zh) 2020-09-29 2020-09-29 一种ar图像的共享方法及电子设备

Country Status (1)

Country Link
CN (1) CN112181340B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113641325A (zh) * 2021-10-19 2021-11-12 深圳市联志光电科技有限公司 一种用于ar显示的图像采集方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1349199A (zh) * 2000-09-07 2002-05-15 索尼公司 图像传输设备和方法、文件传输设备和方法及程序存储媒体
CN103053174A (zh) * 2010-06-17 2013-04-17 Lg电子株式会社 图像显示设备和操作图像显示设备的方法
US20150067819A1 (en) * 2013-08-28 2015-03-05 Hola Networks Ltd. System and Method for Improving Internet Communication by Using Intermediate Nodes
US20180253900A1 (en) * 2017-03-02 2018-09-06 Daqri, Llc System and method for authoring and sharing content in augmented reality
CN108897596A (zh) * 2018-07-05 2018-11-27 北京景行锐创软件有限公司 一种图形界面传输方法及装置
CN109213613A (zh) * 2018-08-27 2019-01-15 Oppo广东移动通信有限公司 图像信息的传输方法、装置、存储介质及电子设备
CN109391734A (zh) * 2018-09-26 2019-02-26 Oppo广东移动通信有限公司 数据发送方法、装置、终端及存储介质
US20190205147A1 (en) * 2016-10-25 2019-07-04 Tencent Technology (Shenzhen) Company Limited Application running method and device
CN110503959A (zh) * 2019-09-03 2019-11-26 腾讯科技(深圳)有限公司 语音识别数据分发方法、装置、计算机设备及存储介质
CN110569130A (zh) * 2019-07-29 2019-12-13 华为技术有限公司 一种跨进程通信方法、装置及设备
US20200220746A1 (en) * 2017-08-28 2020-07-09 Luminati Networks Ltd. System and Method for Improving Content Fetching by Selecting Tunnel Devices
CN111414225A (zh) * 2020-04-10 2020-07-14 北京城市网邻信息技术有限公司 三维模型远程展示方法、第一终端、电子设备及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1349199A (zh) * 2000-09-07 2002-05-15 索尼公司 图像传输设备和方法、文件传输设备和方法及程序存储媒体
CN103053174A (zh) * 2010-06-17 2013-04-17 Lg电子株式会社 图像显示设备和操作图像显示设备的方法
US20150067819A1 (en) * 2013-08-28 2015-03-05 Hola Networks Ltd. System and Method for Improving Internet Communication by Using Intermediate Nodes
US20190205147A1 (en) * 2016-10-25 2019-07-04 Tencent Technology (Shenzhen) Company Limited Application running method and device
US20180253900A1 (en) * 2017-03-02 2018-09-06 Daqri, Llc System and method for authoring and sharing content in augmented reality
US20200220746A1 (en) * 2017-08-28 2020-07-09 Luminati Networks Ltd. System and Method for Improving Content Fetching by Selecting Tunnel Devices
CN108897596A (zh) * 2018-07-05 2018-11-27 北京景行锐创软件有限公司 一种图形界面传输方法及装置
CN109213613A (zh) * 2018-08-27 2019-01-15 Oppo广东移动通信有限公司 图像信息的传输方法、装置、存储介质及电子设备
CN109391734A (zh) * 2018-09-26 2019-02-26 Oppo广东移动通信有限公司 数据发送方法、装置、终端及存储介质
CN110569130A (zh) * 2019-07-29 2019-12-13 华为技术有限公司 一种跨进程通信方法、装置及设备
CN110503959A (zh) * 2019-09-03 2019-11-26 腾讯科技(深圳)有限公司 语音识别数据分发方法、装置、计算机设备及存储介质
CN111414225A (zh) * 2020-04-10 2020-07-14 北京城市网邻信息技术有限公司 三维模型远程展示方法、第一终端、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113641325A (zh) * 2021-10-19 2021-11-12 深圳市联志光电科技有限公司 一种用于ar显示的图像采集方法及系统
CN113641325B (zh) * 2021-10-19 2022-02-08 深圳市联志光电科技有限公司 一种用于ar显示的图像采集方法及系统

Also Published As

Publication number Publication date
CN112181340B (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
US10873769B2 (en) Live broadcasting method, method for presenting live broadcasting data stream, and terminal
US20230291980A1 (en) Method and apparatus for video generation and displaying, device, and medium
CN111414225B (zh) 三维模型远程展示方法、第一终端、电子设备及存储介质
CN109831662B (zh) Ar眼镜屏幕的实时画面投射方法、装置及控制器和介质
CN113032080B (zh) 页面实现方法、应用程序、电子设备及存储介质
CN113225483B (zh) 图像融合方法、装置、电子设备和存储介质
KR20230133970A (ko) 사진촬영 방법, 장치 및 전자기기
CN105847672A (zh) 虚拟现实头盔抓拍方法及系统
KR20220144857A (ko) 멀티미디어 데이터 퍼블리싱 방법 및 장치, 및 디바이스와 기록 매체
CN112181340B (zh) 一种ar图像的共享方法及电子设备
CN109302636B (zh) 提供数据对象全景图信息的方法及装置
JP2004179881A5 (zh)
CN111352560B (zh) 分屏方法、装置、电子设备和计算机可读存储介质
CN114598823A (zh) 特效视频生成方法、装置、电子设备及存储介质
CN113784180A (zh) 视频显示方法、视频推送方法、装置、设备及存储介质
US20170109113A1 (en) Remote Image Projection Method, Sever And Client Device
CN115665342B (zh) 图像处理方法、图像处理电路、电子设备和可读存储介质
CN115396716B (zh) 一种直播视频处理方法、装置、设备及介质
US9699123B2 (en) Methods, systems, and non-transitory machine-readable medium for incorporating a series of images resident on a user device into an existing web browser session
CN114779936A (zh) 信息显示方法、装置、电子设备及存储介质
CN111367598B (zh) 动作指令的处理方法、装置、电子设备及计算机可读存储介质
CN113721874A (zh) 虚拟现实画面显示方法及电子设备
CN114125358A (zh) 云会议字幕显示方法、系统、装置、电子设备和存储介质
CN111475240A (zh) 数据处理方法及系统
CN112911329B (zh) 窗口直播方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant