CN109274953A - 一种数据处理方法、终端、服务器和存储介质 - Google Patents
一种数据处理方法、终端、服务器和存储介质 Download PDFInfo
- Publication number
- CN109274953A CN109274953A CN201811162631.8A CN201811162631A CN109274953A CN 109274953 A CN109274953 A CN 109274953A CN 201811162631 A CN201811162631 A CN 201811162631A CN 109274953 A CN109274953 A CN 109274953A
- Authority
- CN
- China
- Prior art keywords
- depth image
- depth
- terminal
- image
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本申请一示例性实施例公开了一种数据处理方法，所述方法应用于一终端中，包括：发射N个不同的编码光；其中，N为大于1的正整数；基于所述N个不同的编码光，获得一帧三维视频数据的N个深度图像；将N个所述深度图像发送给移动边缘计算MEC服务器，其中，所述N个所述深度图像，用于供所述MEC服务器从N个所述深度图像确定与所述三维视频数据中二维2D图像匹配的深度图像。本申请一示例性实施例还同时提供了一种服务器和存储介质。
Description
技术领域
本申请涉及图像处理技术领域，涉及但不限于一种数据处理方法、终端、服务器和存储介质。
背景技术
随着移动通信网络的不断发展，移动通信网络的传输速率飞速提高，从而给三维视频业务的产生和发展提供了有力的技术支持。三维视频数据包括二维图像数据(例如RGB数据)和深度数据(Depth数据)，而三维视频数据的传输是分别传输二维视频数据和深度数据。目前，利用散斑图像信噪比和深度精度与散斑密度之间的关系，设计编码多密码结构光图案，最后利用投射结构光图案与拍摄调制后的图像得到对应匹配点，并根据该匹配点在投射前后的偏移量计算匹配点的深度值,实现待测物体的深度数据获取，如此，使得到的深度信息的精度不够。
发明内容
本申请实施例提供了一种数据处理方法、终端、服务器和存储介质。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种数据处理方法，所述方法包括：
发射N个不同的编码光；其中，N为大于1的正整数；
基于所述N个不同的编码光，获得一帧三维视频数据的N个深度图像；
将N个所述深度图像发送给移动边缘计算(Mobile Edge Computing，MEC)服务器，其中，所述N个所述深度图像，用于供所述MEC服务器从N个所述深度图像确定与所述三维视频数据中二维(Second Dimension，2D)图像匹配的深度图像。
在上述方案中，所述方法还包括：
获得N个不同的编码光序列；
对应地，所述发射N个不同的编码光，包括：
根据N个不同的所述编码光序列，发射N个不同形状和/或纹理的编码光。
在上述方案中，所述获得N个编码光序列，包括：
基于不同的编码方式生成N个不同的所述编码光序列。
在上述方案中，所述将N个所述深度图像发送给移动边缘计算MEC服务器，包括：
通过时分复用将N个所述深度图像发送给所述MEC服务器。
本申请实施例还提供了一种数据处理方法，其特征在于，应用与MEC服务器，所述方法包括：
接收终端发送的三维视频数据，其中，一帧所述三维视频数据包含有二维2D图像及N个深度图像；N为大于1的正整数；
根据N个所述深度图像确定与所述2D图像匹配的深度图像；
基于所述2D图像及确定的所述深度图像，建立三维视频。
在上述方案中，所述根据N个所述深度图像确定与所述2D图像匹配的深度信息，包括以下至少之一：
从所述N个深度图像中选择出与所述2D图像匹配的一个所述深度图像；
根据所述N个深度图像，生成一个与所述2D图像匹配的一个所述深度图像。
本申请实施例还提供了一种终端，所述终端包括：发射模块、第一获取模块和第一发送模块；其中，
所述发射模块，用于发射N个不同的编码光；其中，N为大于1的正整数；
所述第一获取模块，用于基于所述N个不同的编码光，获得一帧三维视频数据的N个深度图像；
所述第一发送模块，用于将N个所述深度图像发送给移动边缘计算MEC服务器，其中，所述N个所述深度图像，用于供所述MEC服务器从N个所述深度图像确定与所述三维视频数据中二维2D图像匹配的深度图像。
在上述方案中，所述终端还包括：
第二获取模块，用于获得N个不同的编码光序列；
所述发射模块，包括：
第一发射单元，用于根据N个不同的所述编码光序列，发射N个不同形状和/或纹理的编码光。
在上述方案中，所述第二获取模块，包括：
第一生成单元，用于基于不同的编码方式生成N个不同的所述编码光序列。
在上述方案中，所述第一发送模块，包括：
第一发送单元，用于通过时分复用将N个所述深度图像发送给所述MEC服务器。
本申请实施例还提供了一种MEC服务器，所述服务器包括：第一接收模块、第一确定模块和第一建立模块；其中，
所述第一接收模块，用于接收终端发送的三维视频数据，其中，一帧所述三维视频数据包含有二维2D图像及N个深度图像；N为大于1的正整数；
所述第一确定模块，用于根据N个所述深度图像确定与所述2D图像匹配的深度图像；
所述第一建立模块，用于基于所述2D图像及确定的所述深度图像，建立三维视频。
在上述方案中，所述第一确定模块，包括以下至少之一：
第一选择单元，用于从所述N个深度图像中选择出与所述2D图像匹配的一个所述深度图像；
第二生成单元，用于根据所述N个深度图像，生成一个与所述2D图像匹配的一个所述深度图像。
本申请实施例还提供了一种计算机存储介质，其上存储有计算机指令，该指令被处理器执行时实现本申请实施例所述的应用于终端的数据处理方法的步骤；或者，该指令被处理器执行时实现本申请实施例所述的应用于MEC服务器的数据处理方法的步骤。
本申请实施例还提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例所述的应用于终端的数据处理方法的步骤。
本申请实施例还提供了一种MEC服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例所述的应用于MEC服务器的数据处理方法的步骤。
本申请实施例提供一种数据处理方法、终端、服务器和存储介质，其中，首先，发射N个不同的编码光；其中，N为大于1的正整数；然后，基于所述N个不同的编码光，获得一帧三维视频数据的N个深度图像；最后，将N个所述深度图像发送给移动边缘计算MEC服务器，其中，所述N个所述深度图像，用于供所述MEC服务器从N个所述深度图像确定与所述三维视频数据中二维2D图像匹配的深度图像；如此，通过多个不同的编码光采集深度图像，从而确定这一帧三维视频的深度值时，服务器通过结合多个深度图像中的深度值，从而使得到的深度值更加精确。
附图说明
图1为本申请实施例的数据处理方法应用的系统架构示意图；
图2为本申请实施例的数据处理方法的实现流程示意图；
图3为本申请实施例的数据处理方法的实现交互图；
图4A为本申请实施例的终端的一种组成结构示意图；
图4B为本申请实施例的终端的另一种组成结构示意图；
图4C为本申请实施例的终端的又一种组成结构示意图；
图4D为本申请实施例的终端的再一种组成结构示意图；
图5A为本申请实施例的服务器的组成结构示意图；
图5B为本申请实施例的服务器的又一组成结构示意图；
图6为本申请实施例的数据处理设备的硬件组成结构示意图。
具体实施方式
在对本申请实施例的技术方案进行详细说明之前，首先对本申请实施例的数据处理方法应用的系统架构进行简单说明。本申请实施例的数据处理方法应用于三维视频数据的相关业务，该业务例如是三维视频数据分享的业务，或者基于三维视频数据的直播业务等等。在这种情况下，由于三维视频数据的数据量较大，分别传输的深度值和二维视频数据在数据处理过程中需要较高的技术支持，因此需要移动通信网络具有较快的数据处理速率，以及较稳定的数据处理环境。
图1为本申请实施例的数据处理方法应用的系统架构示意图；如图1所示，系统可包括终端、基站、MEC服务器、业务处理服务器、核心网和互联网(Internet)等；MEC服务器与业务处理服务器之间通过核心网建立高速通道以实现数据同步。
以图1所示的两个终端交互的应用场景为例，MEC服务器A为部署于靠近终端A(发送端)的MEC服务器，核心网A为终端A所在区域的核心网；相应的，MEC服务器B为部署于靠近终端B(接收端)的MEC服务器，核心网B为终端B所在区域的核心网；MEC服务器A和MEC服务器B可与业务处理服务器之间分别通过核心网A和核心网B建立高速通道以实现数据同步。
其中，终端A发送的三维视频数据处理到MEC服务器A后，由MEC服务器A通过核心网A将数据同步至业务处理服务器；再由MEC服务器B从业务处理服务器获取终端A发送的三维视频数据，并发送至终端B进行呈现。
这里，如果终端B与终端A通过同一个MEC服务器来实现传输，此时终端B和终端A直接通过一个MEC服务器实现三维视频数据的传输，不需要业务处理服务器的参与，这种方式称为本地回传方式。具体地，假设终端B与终端A通过MEC服务器A实现三维视频数据的传输，终端A发送的三维视频数据处理到MEC服务器A后，由MEC服务器A发送三维视频数据至终端B进行呈现。
这里，终端可基于网络情况、或者终端自身的配置情况、或者自身配置的算法选择接入4G网络的演进型基站(eNB)，或者接入5G网络的下一代演进型基站(gNB)，从而使得eNB通过长期演进(Long Term Evolution，LTE)接入网与MEC服务器连接，使得gNB通过下一代接入网(NG-RAN)与MEC服务器连接。
这里，MEC服务器部署于靠近终端或数据源头的网络边缘侧，所谓靠近终端或者靠近数据源头，不仅是逻辑位置上，还在地理位置上靠近终端或者靠近数据源头。区别于现有的移动通信网络中主要的业务处理服务器部署于几个大城市中，MEC服务器可在一个城市中部署多个。例如在某写字楼中，用户较多，则可在该写字楼附近部署一个MEC服务器。
其中，MEC服务器作为具有融合网络、计算、存储、应用核心能力的边缘计算网关，为边缘计算提供包括设备域、网络域、数据域和应用域的平台支撑。其联接各类智能设备和传感器，就近提供智能联接和数据处理业务，让不同类型的应用和数据在MEC服务器中进行处理，实现业务实时、业务智能、数据聚合与互操作、安全与隐私保护等关键智能服务，有效提升业务的智能决策效率。
下面结合附图及具体实施例对本申请作进一步详细的说明。
本申请实施例提供了一种数据处理方法，应用于终端中，终端可以是例如手机、平板电脑等移动终端，也可以是电脑等类型的终端。图2为本申请实施例的数据处理方法的实现流程示意图；如图2所示，所述方法包括以下步骤：
步骤S201，发射N个不同的编码光。
这里，N为大于1的正整数。所述步骤S201可以理解为是，根据N个不同的所述编码光序列，发射N个不同形状和/或纹理的编码光。还可以是，基于不同的编码方式生成N个不同的所述编码光序列，比如，采用M进制编码、二灰度级编码、移相法编码等方式进行编码，生成N个连续序列的不同的编码光；M大于等于2。不同的编码光可以是：深度摄像头向采集对象投射的不同形状和/或纹理的结构光，该结构光可为非可见光，从而不干扰基于可见光成像的二维图像的采集。在本实施例中，所述不同编码光可为：不同波长的编码光，则此时，与二维图像对应的至少两个深度图像可以同时采集，也可以不同时采集。
步骤S202，基于所述N个不同的编码光，获得一帧三维视频数据的N个深度图像。
这里，终端采用N个不同的编码光，即采用不同形状和/或纹理的结构光，投射到采集对象之后，由于采集对象表面的凹凸及距离深度摄像头的远近不同，使得深度摄像头基于结构光采集的深度图像是不同的结合投射的结构光的形状和/或纹理，与采集到结构光的图像中所呈现的形状和/或纹理的比对，可以确定出每一个结构光投射点的深度值，基于所述深度值构建深度图像。由于利用不同结构光采集了至少两个深度图像，终端可以根据结合至少两个深度图像得到采集目标同一个位置的至少两个深度值，从而提高了深度值的精确度。
步骤S203，将N个所述深度图像发送给MEC服务器。
这里，所述N个所述深度图像，用于供所述MEC服务器从N个所述深度图像确定与所述三维视频数据中二维2D图像匹配的深度图像。当终端将深度图像发送给MEC服务器之后，MEC服务器可以从终端获得与二维图像对应的至少两个深度图像，可以结合这两个深度图像中深度值得到更加精准的深度值，或者，减少二维图像中部分对象在一帧所述三维视频数据中深度值缺失的现象。
在本实施例中，通过采用N个不同编码光，采集到一帧三维视频数据的N个深度图像，从而使一帧待采集画面对应多个深度图像，如此，根据多个深度图像，能够更加精确的确定该帧三维视频数据的深度值。
本实施例中，作为一种实施方式，所述获得一帧三维视频数据的N个深度图像，包括：所述终端从至少能够采集深度数据的采集组件获得N个深度图像，所述采集组件能够与至少一个终端建立通信链路以使对应终端获得所述三维视频数据。
本实施方式中，由于能够采集深度数据的采集组件相对比较昂贵，终端并不具备三维视频数据的采集功能，而是通过独立于终端的采集组件采集三维视频数据，再通过采集组件和终端中的通信组件建立通信链路，使得终端获得采集组件采集的三维视频数据。其中，所述采集组件具体可通过以下至少之一实现：深度摄像头、双目摄像头、3D结构光摄像模组、飞行时间(TOF，Time Of Flight)摄像模组。
这里，采集组件能够与至少一个终端建立通信链路以将采集得到的三维视频数据处理至所述至少一个终端，以使对应终端获得三维视频数据，这样能够实现一个采集组件采集的三维视频数据共享给至少一个终端，从而实现采集组件的共享。
作为另一种实施方式，终端自身具备三维视频数据的采集功能，可以理解，终端设置有至少能够采集深度数据的采集组件，例如设置有以下组件至少之一：深度摄像头、双目摄像头、3D结构光摄像模组、TOF摄像模组，以采集三维视频数据。
其中，获得的三维视频数据包括二维视频数据和深度数据；所述二维视频数据用于表征平面图像，例如可以是RGB数据；深度数据表征采集组件所针对的采集对象的表面与采集组件之间的距离。
本申请实施例又提供一种数据处理方法，图3为本申请实施例的数据处理方法的实现交互图，如图3所示，所述方法包括以下步骤：
步骤S301，终端根据N个不同的所述编码光序列，发射N个不同形状和/或纹理的编码光。
在一些实施例中，N个不同的编码光序列可包括：基于同一种编码方式生成的N个不同的编码光序列。
在另一些实施例中，所述步骤S301，还可以是，终端基于不同的编码方式生成N个不同的所述编码光序列。
步骤S302，终端基于所述N个不同的编码光，获得一帧三维视频数据的N个深度图像。
这里，所述步骤S302，还可以理解为，将所述N个连续序列的不同编码光投影到所述待采集的三维视频数据中的同一采集目标，得到用于描述所述同一采集目标的N个连续的深度图像。即，该同一采集目标对应着一张二维图像和N个深度图像。这样，由于利用不同结构光采集了至少两个深度图像，终端可以根据结合至少两个深度图像得到采集目标同一个位置的至少两个深度值，从而提高了深度值的精确度。所述N个深度图像包含的深度信息有所不同，所以，终端根据N个深度图像能够得到更加精确的深度信息。
步骤S303，终端通过时分复用将N个所述深度图像发送给所述MEC服务器。
这里，所述步骤S303可以理解为是，将N个所述深度图像在不同的时间点发送给MEC服务器，以避免网络拥堵等情况。
步骤S304，服务器接收终端发送的三维视频数据。
这里，一帧所述三维视频数据包含有二维图像及N个深度图像；N为大于1的正整数。
步骤S305，服务器根据N个所述深度图像确定与所述2D图像匹配的深度图像。
这里，所述步骤S305可以通过以下两种方式，方式一：
服务器从所述N个深度图像中选择出与所述2D图像匹配的一个所述深度图像。即是，服务器从所述N个深度图像中选择出一个包含的深度信息最为全面或精准的一个或者多个深度图像作为与2D图像匹配的一个所述深度图像。在本实施例中，服务器从所述N个深度图像中选择出一个包含的深度信息最为全面或精准的深度图像，可以通过以下两种方法实现：
方法一是：服务器通过逐个判断N个深度图像各自对应的深度值是否有缺失，或者说深度值是否包含足够的用于与2D图像匹配的特征点，如果有一个深度图像所包含的深度值是完整的，那么可以将该深度图像作为与2D图像匹配的一个所述深度图像；比如，一共有10个深度图像，假如这10个深度图像中第4个深度图像包含的深度值不存在缺失，那么将第4个深度图像作为与所述2D图像匹配的深度图像。
方法二是：服务器通过逐个判断N个深度图像各自对应的深度值是否有异常值，比如过大、过小或者是与预先设定的深度值相差甚远等，那么将存在异常值的深度图像排除，仅保留不存在异常值的深度图像，从这些深度图像中选择一个深度值包含足够的用于与2D图像匹配的特征点的深度图像作为与2D图像匹配的一个所述深度图像。
方式二：根据所述N个深度图像，生成一个与所述2D图像匹配的一个所述深度图像根据所述N个深度图像。即是，服务器件所述N个深度图像进行结合，得到一个包含N个深度图像对应的深度值的一个深度图像，作为与所述2D图像匹配的深度图像。比如，将上述10个深度图像结合为一个深度图像，这样这个结合得到的深度图像包含的深度信息便是非常丰富的，那么也就提升了深度信息的精确度。
步骤S306，服务器基于所述2D图像及确定的所述深度图像，建立三维视频。
这里，MEC服务器可以从终端获得与二维图像对应的至少两个深度图像，可以结合这两个深度图像中深度值得到更加精准的深度值，或者，减少二维图像中部分对象在一帧所述三维视频数据中深度值缺失的现象。
在本实施例中，终端将一帧三维视频数据的多个深度图像发送给MEC服务器，从而MEC服务器可以结合这多个深度图像中深度值得到更加精准的深度值。
本申请实施例提供一种数据处理方法，采用N个连续序列的不同编码光进行投影到待采集的三维视频数据上，得到该三维视频数据对应的N个连续的深度图像。然后接收端根据接收到N个连续的深度图像来识别每个编码点。然后，根据这些编码点确定N个连续的深度图像对应的深度值。其中，投射的N个连续序列的不同编码光的编码方式可以是二进制码(最常用)、N进制码(N＝5、8)、二灰度级编码和移相法编码等方案。
在还有一些实施例中，所述不同编码光可为：相同波长的编码光；则此时，与二维图像对应的至少两个深度图像可以通过时分复用的方式，在同一帧三维视频数据采集过程中的不同时刻采集；从而实现深度图像的时分复用。
在其他实施例中，利用不同发射不同的编码光，编码光遇到采集目标之后被反射形成反射光，可以基于发射光的发射时间及反射光的反射时间、及光传播速度，可以求解出深度值。此时，不同形状和/或纹理的编码光，会使得光传输路径不一致，如此在某一个编码光被遮挡了，另一个编码光发射之后可能会形成反射光返回，从而采集到深度值；或者，两个编码光都反射形成了反射光并达到了深度摄像头的接收器，也可以分别生成两个深度图像。
若采用不同波长的编码光，则可以同步采集两个深度图像；若利用相同波长的编码光，则可采用时分复用进行处理。
在本实施例中，通过时分复用将利用不同的编码光下，获得的深度信息，分时传输到MEC，供MEC获得精确的深度信息。
为实现本申请实施例终端侧的方法，本申请实施例还提供了一种终端。图4A为本申请实施例的终端的一种组成结构示意图；如图4A所示，所述终端40包括：发射模块41、第一获取模块42和第一发送模块43；其中，
所述发射模块41，用于发射N个不同的编码光；其中，N为大于1的正整数；
所述第一获取模块42，用于基于所述N个不同的编码光，获得一帧三维视频数据的N个深度图像；
所述第一发送模块43，用于将N个所述深度图像发送给移动边缘计算MEC服务器，其中，所述N个所述深度图像，用于供所述MEC服务器从N个所述深度图像确定与所述三维视频数据中二维2D图像匹配的深度图像。
在上述方案中，如图4B所示，所述终端40还包括：
第二获取模块44，用于获得N个不同的编码光序列；
所述发射模块41，包括：
第一发射单元401，用于根据N个不同的所述编码光序列，发射N个不同形状和/或纹理的编码光。
在上述方案中，如图4C所示，所述第二获取模块44，包括：
第一生成单元402，用于基于不同的编码方式生成N个不同的所述编码光序列。
在上述方案中，如图4D所示，所述第一发送模块43，包括：
第一发送单元403，用于通过时分复用将N个所述深度图像发送给所述MEC服务器。
本申请实施例中，所述终端中的第一发送模块43，在实际应用中可由所述终端中的处理器，比如中央处理器(CPU，Central Processing Unit)、数字信号处理器(DSP，Digital Signal Processor)、微控制单元(MCU，Microcontroller Unit)或可编程门阵列(FPGA，Field－Programmable Gate Array)等实现；所述终端中的第一发送模块43，在实际应用中可通过通信模组(包含：基础通信套件、操作系统、通信模块、标准化接口和协议等)及收发天线实现；所述终端中的发射模块41，在实际应用中可通过立体摄像头、双目摄像头或结构光摄像头实现，或者可通过通信模组(包含：基础通信套件、操作系统、通信模块、标准化接口和协议等)及收发天线实现；所述终端中的第一获取模块42，在实际应用中可由处理器比如CPU、DSP、MCU或FPGA等结合通信模组实现。
需要说明的是：上述实施例提供的终端在进行数据处理时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将终端的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的终端与数据处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
相应地，为实现本申请实施例服务器侧的方法，本申请实施例还提供了一种服务器，具体为MEC服务器。图5A为本申请实施例的服务器的组成结构示意图；如图5A所示，所述服务器50包括第一接收模块51、第一确定模块52和第一建立模块53；其中，
所述第一接收模块51，用于接收终端发送的三维视频数据，其中，一帧所述三维视频数据包含有二维2D图像及N个深度图像；N为大于1的正整数；
所述第一确定模块52，用于根据N个所述深度图像确定与所述2D图像匹配的深度图像；
所述第一建立模块53，用于基于所述2D图像及确定的所述深度图像，建立三维视频。
在上述方案中，如图5B所示，所述第一确定模块52，包括以下至少之一：
第一选择单元501，用于从所述N个深度图像中选择出与所述2D图像匹配的一个所述深度图像；
第二生成单元502，用于根据所述N个深度图像，生成一个与所述2D图像匹配的一个所述深度图像。
本申请实施例中，所述服务器中的第二数据处理单元52，在实际应用中可由所述服务器中的处理器，比如CPU、DSP、MCU或FPGA等实现；所述服务器中的第二通信单元51，在实际应用中可通过通信模组(包含：基础通信套件、操作系统、通信模块、标准化接口和协议等)及收发天线实现。
需要说明的是：上述实施例提供的服务器在进行数据处理时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述传输分配由不同的程序模块完成，即将服务器的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的服务器与数据处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
基于上述设备的硬件实现，本申请实施例还提供了一种数据处理设备，图6为本申请实施例的数据处理设备的硬件组成结构示意图，如图6所示，数据处理装置60，包括存储器61、处理器62及存储在存储器上并可在处理器上运行的计算机程序。作为第一种实施方式，数据处理设备为终端时，位于终端的处理器执行所述程序时实现：发射N个不同的编码光；其中，N为大于1的正整数；基于所述N个不同的编码光，获得一帧三维视频数据的N个深度图像；将N个所述深度图像发送给移动边缘计算MEC服务器，其中，所述N个所述深度图像，用于供所述MEC服务器从N个所述深度图像确定与所述三维视频数据中二维2D图像匹配的深度图像。
在一实施例中，位于终端的处理器执行所述程序时实现：获得N个不同的编码光序列；根据N个不同的所述编码光序列，发射N个不同形状和/或纹理的编码光。
在一实施例中，位于终端的处理器执行所述程序时实现：基于不同的编码方式生成N个不同的所述编码光序列。
在一实施例中，位于终端的处理器执行所述程序时实现：通过时分复用将N个所述深度图像发送给所述MEC服务器。
作为第二种实施方式，数据处理设备为服务器时，位于服务器的处理器执行所述程序时实现：接收终端发送的三维视频数据，其中，一帧所述三维视频数据包含有二维2D图像及N个深度图像；N为大于1的正整数；根据N个所述深度图像确定与所述2D图像匹配的深度图像；基于所述2D图像及确定的所述深度图像，建立三维视频。
在一实施例中，位于服务器的处理器执行所述程序时实现：从所述N个深度图像中选择出与所述2D图像匹配的一个所述深度图像；根据所述N个深度图像，生成一个与所述2D图像匹配的一个所述深度图像。
可以理解，数据处理设备(终端或服务器)还包括通信接口63；数据处理设备(终端或服务器)中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
本申请实施例还提供了一种计算机存储介质，其上存储有计算机指令，该指令被处理器执行时实现本申请实施例所述的应用于终端的数据处理方法的步骤；或者，该指令被处理器执行时实现本申请实施例所述的应用于MEC服务器的数据处理方法的步骤。
本申请实施例还提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例所述的应用于终端的数据处理方法的步骤。
本申请实施例还提供了一种MEC服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例所述的应用于MEC服务器的数据处理方法的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个第二处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者手机等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是：本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
Claims (15)
1.一种数据处理方法，其特征在于，应用于终端，所述方法包括：
发射N个不同的编码光；其中，N为大于1的正整数；
基于所述N个不同的编码光，获得一帧三维视频数据的N个深度图像；
将N个所述深度图像发送给移动边缘计算MEC服务器，其中，所述N个所述深度图像，用于供所述MEC服务器从N个所述深度图像确定与所述三维视频数据中二维2D图像匹配的深度图像。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获得N个不同的编码光序列；
对应地，所述发射N个不同的编码光，包括：
根据N个不同的所述编码光序列，发射N个不同形状和/或纹理的编码光。
3.根据权利要求2所述的方法，其特征在于，所述获得N个编码光序列，包括：
基于不同的编码方式生成N个不同的所述编码光序列。
4.根据权利要求1所述的方法，其特征在于，所述将N个所述深度图像发送给移动边缘计算MEC服务器，包括：
通过时分复用将N个所述深度图像发送给所述MEC服务器。
5.一种数据处理方法，其特征在于，应用于MEC服务器，所述方法包括：
接收终端发送的三维视频数据，其中，一帧所述三维视频数据包含有二维2D图像及N个深度图像；N为大于1的正整数；
根据N个所述深度图像确定与所述2D图像匹配的深度图像；
基于所述2D图像及确定的所述深度图像，建立三维视频。
6.根据权利要求5所述的方法，其特征在于，所述根据N个所述深度图像确定与所述2D图像匹配的深度信息，包括以下至少之一：
从所述N个深度图像中选择出与所述2D图像匹配的一个所述深度图像；
根据所述N个深度图像，生成一个与所述2D图像匹配的一个所述深度图像。
7.一种终端，其特征在于，所述终端包括：发射模块、第一获取模块和第一发送模块；其中，
所述发射模块，用于发射N个不同的编码光；其中，N为大于1的正整数；
所述第一获取模块，用于基于所述N个不同的编码光，获得一帧三维视频数据的N个深度图像；
所述第一发送模块，用于将N个所述深度图像发送给移动边缘计算MEC服务器，其中，所述N个所述深度图像，用于供所述MEC服务器从N个所述深度图像确定与所述三维视频数据中二维2D图像匹配的深度图像。
8.根据权利要求7所述的终端，其特征在于，所述终端还包括：
第二获取模块，用于获得N个不同的编码光序列；
所述发射模块，包括：
第一发射单元，用于根据N个不同的所述编码光序列，发射N个不同形状和/或纹理的编码光。
9.根据权利要求8所述的终端，其特征在于，所述第二获取模块，包括：
第一生成单元，用于基于不同的编码方式生成N个不同的所述编码光序列。
10.根据权利要求7所述的终端，其特征在于，所述第一发送模块，包括：
第一发送单元，用于通过时分复用将N个所述深度图像发送给所述MEC服务器。
11.一种MEC服务器，其特征在于，所述服务器包括：第一接收模块、第一确定模块和第一建立模块；其中，
所述第一接收模块，用于接收终端发送的三维视频数据，其中，一帧所述三维视频数据包含有二维2D图像及N个深度图像；N为大于1的正整数；
所述第一确定模块，用于根据N个所述深度图像确定与所述2D图像匹配的深度图像；
所述第一建立模块，用于基于所述2D图像及确定的所述深度图像，建立三维视频。
12.根据权利要求11所述的服务器，其特征在于，所述第一确定模块，包括以下至少之一：
第一选择单元，用于从所述N个深度图像中选择出与所述2D图像匹配的一个所述深度图像；
第二生成单元，用于根据所述N个深度图像，生成一个与所述2D图像匹配的一个所述深度图像。
13.一种计算机存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1至4任一项所述数据处理方法的步骤；或者，该指令被处理器执行时实现权利要求5或6所述数据处理方法的步骤。
14.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至4任一项所述数据处理方法的步骤。
15.一种MEC服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求5或6所述数据处理方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811162631.8A CN109274953A (zh) | 2018-09-30 | 2018-09-30 | 一种数据处理方法、终端、服务器和存储介质 |
| PCT/CN2019/100650 WO2020063172A1 (zh) | 2018-09-30 | 2019-08-14 | 数据处理方法、终端、服务器和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811162631.8A CN109274953A (zh) | 2018-09-30 | 2018-09-30 | 一种数据处理方法、终端、服务器和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109274953A true CN109274953A (zh) | 2019-01-25 |
Family
ID=65195043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811162631.8A Pending CN109274953A (zh) | 2018-09-30 | 2018-09-30 | 一种数据处理方法、终端、服务器和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109274953A (zh) |
| WO (1) | WO2020063172A1 (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103776392A (zh) * | 2006-11-21 | 2014-05-07 | 曼蒂斯影像有限公司 | 三维几何建模和三维视频内容创建 |
| JP2014202502A (ja) * | 2013-04-01 | 2014-10-27 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
| CN106580506A (zh) * | 2016-10-25 | 2017-04-26 | 成都频泰医疗设备有限公司 | 分时三维扫描系统和方法 |
| WO2018033917A1 (en) * | 2016-08-18 | 2018-02-22 | Ramot At Tel-Aviv University Ltd. | Structured light projector |
| CN108318706A (zh) * | 2017-12-29 | 2018-07-24 | 维沃移动通信有限公司 | 移动物体的测速方法和装置 |
| CN108521436A (zh) * | 2018-02-01 | 2018-09-11 | 上海交通大学 | 基于终端计算存储的移动虚拟现实传输方法及系统 |
| CN108564614A (zh) * | 2018-04-03 | 2018-09-21 | Oppo广东移动通信有限公司 | 深度获取方法和装置、计算机可读存储介质和计算机设备 |
| CN108594453A (zh) * | 2018-03-23 | 2018-09-28 | 深圳奥比中光科技有限公司 | 一种结构光投影模组和深度相机 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108600728A (zh) * | 2018-05-10 | 2018-09-28 | Oppo广东移动通信有限公司 | 一种数据传输方法及终端、计算机存储介质 |
-
2018
- 2018-09-30 CN CN201811162631.8A patent/CN109274953A/zh active Pending
-
2019
- 2019-08-14 WO PCT/CN2019/100650 patent/WO2020063172A1/zh active Application Filing
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103776392A (zh) * | 2006-11-21 | 2014-05-07 | 曼蒂斯影像有限公司 | 三维几何建模和三维视频内容创建 |
| JP2014202502A (ja) * | 2013-04-01 | 2014-10-27 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
| WO2018033917A1 (en) * | 2016-08-18 | 2018-02-22 | Ramot At Tel-Aviv University Ltd. | Structured light projector |
| CN106580506A (zh) * | 2016-10-25 | 2017-04-26 | 成都频泰医疗设备有限公司 | 分时三维扫描系统和方法 |
| CN108318706A (zh) * | 2017-12-29 | 2018-07-24 | 维沃移动通信有限公司 | 移动物体的测速方法和装置 |
| CN108521436A (zh) * | 2018-02-01 | 2018-09-11 | 上海交通大学 | 基于终端计算存储的移动虚拟现实传输方法及系统 |
| CN108594453A (zh) * | 2018-03-23 | 2018-09-28 | 深圳奥比中光科技有限公司 | 一种结构光投影模组和深度相机 |
| CN108564614A (zh) * | 2018-04-03 | 2018-09-21 | Oppo广东移动通信有限公司 | 深度获取方法和装置、计算机可读存储介质和计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020063172A1 (zh) | 2020-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dai et al. | A view synthesis-based 360° VR caching system over MEC-enabled C-RAN | |
| US11373319B2 (en) | System and method for optimizing dynamic point clouds based on prioritized transformations | |
| US11616981B2 (en) | Hybrid cubemap projection for 360-degree video coding | |
| CN108495112B (zh) | 数据传输方法及终端、计算机存储介质 | |
| GB2509202A (en) | Forming an image using plural pixel devices and determining the position of a plurality of mobile devices | |
| CN111316650A (zh) | 三维模型编码装置、三维模型解码装置、三维模型编码方法、以及三维模型解码方法 | |
| WO2018200337A1 (en) | System and method for simulating light transport between virtual and real objects in mixed reality | |
| CN108566514A (zh) | 图像合成方法和装置、设备、计算机可读存储介质 | |
| CN109274976A (zh) | 数据处理方法及装置、电子设备及存储介质 | |
| CN109272576A (zh) | 一种数据处理方法、mec服务器、终端设备及装置 | |
| WO2020063171A1 (zh) | 数据传输方法、终端、服务器和存储介质 | |
| CN109274953A (zh) | 一种数据处理方法、终端、服务器和存储介质 | |
| KR101868017B1 (ko) | 스테레오 매칭 방법 및 그 장치 | |
| CN109246408A (zh) | 一种数据处理方法、终端、服务器和计算机存储介质 | |
| CN109151430A (zh) | 一种数据处理方法、终端、服务器和计算机存储介质 | |
| KR101233399B1 (ko) | 다시점 깊이 영상 생성 방법 및 장치 | |
| CN109389674B (zh) | 数据处理方法及装置、mec服务器及存储介质 | |
| Makiyah et al. | Emulation of point cloud streaming over 5G network | |
| WO2020062919A1 (zh) | 一种数据处理方法、mec服务器、终端设备 | |
| CN109147043B (zh) | 一种数据处理方法、服务器及计算机存储介质 | |
| JP2021097362A (ja) | 通信品質の推定装置及びプログラム | |
| CN109389675A (zh) | 数据处理方法及装置、终端及存储介质 | |
| KR20130066121A (ko) | 단말들간의 영상 공유 요청에 대응하여 단말들로 3ｄ 영상 데이터를 제공하는 서버 및 방법, 그리고 단말 | |
| CN108737807B (zh) | 一种数据处理方法、终端、服务器和计算机存储介质 | |
| Sharma et al. | UAV Immersive Video Streaming: A Comprehensive Survey, Benchmarking, and Open Challenges |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190125 |