CN112351287A - 一种多媒体数据处理方法及其相关产品 - Google Patents
一种多媒体数据处理方法及其相关产品 Download PDFInfo
- Publication number
- CN112351287A CN112351287A CN202011069911.1A CN202011069911A CN112351287A CN 112351287 A CN112351287 A CN 112351287A CN 202011069911 A CN202011069911 A CN 202011069911A CN 112351287 A CN112351287 A CN 112351287A
- Authority
- CN
- China
- Prior art keywords
- image
- frames
- determining
- panoramic images
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000009877 rendering Methods 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000010892 electric spark Methods 0.000 claims description 57
- 238000003466 welding Methods 0.000 claims description 42
- 238000012545 processing Methods 0.000 claims description 34
- 239000000779 smoke Substances 0.000 claims description 26
- 229910052751 metal Inorganic materials 0.000 claims description 22
- 239000002184 metal Substances 0.000 claims description 22
- 238000007711 solidification Methods 0.000 claims description 19
- 230000008023 solidification Effects 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 239000007769 metal material Substances 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 8
- 238000003780 insertion Methods 0.000 abstract 1
- 230000037431 insertion Effects 0.000 abstract 1
- 238000001914 filtration Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种多媒体数据处理方法及其相关产品，应用于虚拟设备，所述虚拟设备包括：多个虚拟技术摄像头和虚拟显示器；所述方法包括：获取N帧第一全景图像，所述第一全景图像是根据所述多个虚拟技术摄像头在同一时刻采集到的多张图像合成的；确定所述N帧第一全景图像中每帧第一全景图像的第一区域；对所述第一区域进行渲染，得到N帧第二全景图像；对所述N帧第二全景图像进行插帧，得到目标图像集；通过所述虚拟显示器播放所述目标图像集中的图像。本申请实施例通过对每帧第一全景图像中的第一区域的渲染，得到N帧第二全景图像，并对N帧全景图像进行插帧，以提高VR直播视频的画质。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种多媒体数据处理方法及其相关产品。
背景技术
VR的英文全称为Virtual Reality，中文全称为虚拟现实，是一种可以创建和体验虚拟世界的计算机仿真系统。它利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，使用户沉浸到所创建的环境中，为用户带来仿真度极高的使用体验。
目前，由于虚拟设备采集图像时的清晰度不高，且在VR直播时视频容易出现卡顿的现象，画质存在清晰度不高、画质差的问题，使得观察者的看到的图像失真，加重眼睛的疲劳感，容易眩晕，影响观看的舒适程度。
发明内容
本申请实施例的主要目的在于提供一种多媒体数据处理方法及其相关产品，能够提高VR直播时播放视频的画质。
第一方面，本申请实施例提供了一种多媒体数据处理方法，应用于虚拟设备，所述虚拟设备包括：多个虚拟技术摄像头和虚拟显示器；所述方法包括：
获取N帧第一全景图像，所述第一全景图像是根据所述多个虚拟技术摄像头在同一时刻采集到的多张图像合成的；
确定所述N帧第一全景图像中每帧第一全景图像的第一区域；
对所述第一区域进行渲染，得到N帧第二全景图像；
对所述N帧第二全景图像进行插帧，得到目标图像集；
通过所述虚拟显示器播放所述目标图像集中的图像。
第二方面，本申请实施例提供了一种多媒体数据处理装置，应用于虚拟设备，所述虚拟设备包括：多个虚拟技术摄像头和虚拟显示器；所述装置包括：处理单元和通信单元，其中，
所述处理单元用于获取N帧第一全景图像，所述第一全景图像是根据所述多个虚拟技术摄像头在同一时刻采集到的多张图像合成的；以及用于确定所述N帧第一全景图像中每帧第一全景图像的第一区域；以及用于对所述第一区域进行渲染，得到N帧第二全景图像；以及用于对所述N帧第二全景图像进行插帧，得到目标图像集；以及用于通过所述虚拟显示器播放所述目标图像集中的图像。
第三方面，本申请实施例提供了一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，本申请实施例中通过确定所述N帧第一全景图像中每帧第一全景图像的第一区域，对所述第一区域进行渲染，得到N帧第二全景图像，对所述N帧第二全景图像进行插帧，得到目标图像集，提高了VR直播时视频的画质。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种多媒体数据处理过程的示意图；
图2为本申请实施例提供的一种多媒体数据处理方法的流程示意图；
图3为本申请实施例提供的一种多媒体数据处理方法的流程示意图；
图4是本申请实施例提供的一种电子设备的结构示意图；
图5是本申请实施例提供的一种多媒体数据处理装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
下面对本申请实施例进行详细介绍。
请参阅图1，图1是本申请实施例提供的一种多媒体数据处理过程的示意图，第一全景图像经过渲染得到第二全景图像，第二全景图像经过插帧处理得到目标图像集。
为解决在VR直播时视频容易出现卡顿的现象，画质存在清晰度不高、画质差的问题，本申请提供了一种多媒体数据处理方法，具体如图2所示，该方法可以包括但不限于如下步骤：
S201、电子设备获取N帧第一全景图像，所述第一全景图像是根据所述多个虚拟技术摄像头在同一时刻采集到的多张图像合成的。
其中，本申请实施例中的电子设备为虚拟设备。
具体实现中，所述多个虚拟技术摄像头中的每个虚拟摄像头根据预设的频率采集图像
S202、电子设备确定所述N帧第一全景图像中每帧第一全景图像的第一区域。
其中，第一区域包括以下至少一项：所述N帧第一全景图像中每帧图像中的人像、焊接设备图像、金属材料图像、电火花图像、烟雾图像、焊缝图像，所述焊接设备图像包括电焊面具图像、电焊机图像、焊接操作台图像。
具体实现中，本端设备通过预先训练好的神经网络识别第一区域。
S203、电子设备对所述第一区域进行渲染，得到N帧第二全景图像。
具体实现中，所述对所述第一区域进行渲染，得到N帧第二全景图像，还包括：确定N帧第一全景图像中的每帧第一全景图像的除第一区域外的第二区域；计算所述每帧第一全景图像中第二区域与预设背景区域的匹配度，判断所述匹配度是否大于或者等于第一阈值，若是则得到背景区域集；若所述背景区域集中的第二区域的数量为1时，则所述目标背景区域为所述背景区域集中的第二区域；若否，则判断所述背景区域集中的第二区域的对应的匹配度是否大于或者等于第二阈值，若是则所述目标背景区域为所述匹配度对应的第二区域。将所述目标背景区域与N帧第一全景图像中的渲染后的第一区域合成，得到N帧第二全景图像。
S204、电子设备对所述N帧第二全景图像进行插帧，得到目标图像集。
具体实现中，所述对所述N帧第二全景图像进行插帧可以包括以下具体步骤：根据预设的帧率对所述N帧第一全景图像进行插帧。
S205、电子设备通过所述虚拟显示器播放所述目标图像集中的图像。
其中，所述虚拟显示器可以是虚拟头显设备，可以是虚拟现实技术VR眼镜
可以看出，本申请实施例中通过确定所述N帧第一全景图像中每帧第一全景图像的第一区域，对所述第一区域进行渲染，得到N帧第二全景图像，对所述N帧第二全景图像进行插帧，得到目标图像集，提高了VR直播时视频的画质。
在一个可能的示例中，所述对所述第一区域进行渲染，得到N帧第二全景图像，包括：根据所述N帧第一全景图像确定第一参数组；根据所述第一参数组确定所述第一区域的不同部位的颜色取值；根据所述颜色取值对所述第一区域进行渲染和纹理填充，得到所述N帧第二全景图像。
其中，所述第一参数组包括：图像亮度、图像颜色、光源角度、电火花弧度和风向角度。
具体实现中，根据所述N帧第一全景图像确定第一参数组中的图像亮度、图像颜色、光源角度、电火花弧度和风向角度；根据所述图像亮度、所述图像颜色、所述光源角度、所述电火花弧度和所述风向角度确定所述第一区域的不同部位的颜色取值；根据所述颜色取值对所述第一区域进行渲染和纹理填充，得到所述N帧第二全景图像。
其中，需要进一步解释的是，根据所述颜色取值对所述第一区域进行渲染和纹理填充的具体步骤为：根据所述颜色取值与纹理填充动作的映射关系，对所述第一区域进行纹理填充，根据所述颜色取值对所述第一区域进行渲染。
可以看出，本申请实施例中通过确定根据所述N帧第一全景图像确定第一参数组；根据所述第一参数组确定所述第一区域的不同部位的颜色取值；根据所述颜色取值对所述第一区域进行渲染和纹理填充，得到N帧第二全景图像，对所述N帧第二全景图像进行插帧，得到目标图像集，提高了VR直播时视频的画质。
在一个可能的示例中，所述对所述第一区域进行渲染，得到N帧第二全景图像，包括：获取预设渲染参数中的第一参数组；根据所述第一参数组确定所述第一区域的不同部位的颜色取值；根据所述颜色取值对所述第一区域进行渲染和纹理填充，得到所述N帧第二全景图像。
其中，所述第一参数组包括：图像亮度、图像颜色、光源角度、电火花弧度和风向角度。
具体实现中，获取预设渲染参数中的第一参数组中的图像亮度、图像颜色、光源角度、电火花弧度和风向角度；根据所述图像亮度、所述图像颜色、所述光源角度、所述电火花弧度和所述风向角度确定所述第一区域的不同部位的颜色取值；根据所述颜色取值对所述第一区域进行渲染和纹理填充，得到所述N帧第二全景图像。
其中，需要进一步解释的是，根据所述颜色取值对所述第一区域进行渲染和纹理填充的具体步骤为：根据所述颜色取值与纹理填充动作的映射关系，对所述第一区域进行纹理填充，根据所述颜色取值对所述第一区域进行渲染。
可以看出，本申请实施例中通过获取预设渲染参数中的第一参数组；根据所述第一参数组确定所述第一区域的不同部位的颜色取值；根据所述颜色取值对所述第一区域进行渲染和纹理填充，得到N帧第二全景图像，对所述N帧第二全景图像进行插帧，得到目标图像集，提高了VR直播时视频的画质。
在一个可能的示例中，所述第一参数组包括图像亮度、图像颜色、光源角度、电火花弧度和风向角度，所述根据所述第一参数组确定所述第一区域的不同部位的颜色取值，包括：根据所述图像亮度、所述图像颜色、所述光源角度、所述电火花弧度和所述风向角度，确定所述第一区域的不同部位的颜色取值。
在一个可能的示例中，所述第一区域包括：所述N帧第一全景图像中每帧图像中的人像、焊接设备图像、金属材料图像、电火花图像、烟雾图像、焊缝图像，所述焊接设备图像包括电焊面具图像、电焊机图像、焊接操作台图像；所述根据所述图像亮度、所述图像颜色、所述光源角度、所述电火花弧度和所述风向角度，确定所述第一区域的不同部位的颜色取值，包括：根据所述图像亮度、所述图像颜色、所述光源角度确定所述第一区域中的人像、焊接设备图像和金属材料图像中的不同部位的颜色取值；根据所述电火花弧度确定第一区域中的电火花图像的电火花亮度、电火花亮度渐变方向；根据所述电火花亮度、电火花亮度渐变方向确定所述电火花图像的电火花不同部位的颜色取值；确定所述焊缝图像中的金属熔化物的流动方向、所述金属熔化物的凝固方向和焊缝的凝固速度；根据所述金属熔化物的流动方向、所述金属熔化物的凝固方向和所述焊缝的凝固速度，确定所述焊缝图像不同部位的颜色取值；根据所述风向角度确定所述第一区域中的烟雾图像中烟雾的浓密程度；根据所述烟雾的浓密程度和所述光源角度，确定所述烟雾图像烟雾的不同部位的颜色取值。
具体实现中，根据所述图像亮度、所述图像颜色、所述光源角度确定所述第一区域中的人像、焊接设备图像和金属材料图像中的不同部位的颜色取值的具体步骤可以是：将所述人像、焊接设备图像和金属材料图像，并分别经过低通滤波、高通滤波、中值滤波进行图像处理，得到第一处理图像，根据所述图像亮度、所述图像颜色确定所述第一处理图像中的第一颜色区域和所述第一颜色区域临近的第二颜色区域，确定所述第一颜色区域的中心位置和所述第二颜色区域的中心位置，计算所述第一颜色区域的第一颜色取值和所述第二颜色区域的第二颜色取值的颜色取值差值，根据所述第一颜色区域的中心位置和所述第二颜色区域的中心位置、所述颜色取值差值，对所述第一处理图像中的第一颜色区域和第二颜色区域进行渐变的渲染，得到第二处理图像；随着所述光源角度，对第一颜色区域和第二颜色区域进行渐变的颜色渲染。
举例说明，第二处理图像格式为RBG三基色组成的道彩色图像，若其像素深度是8位，则不同亮度等级的数目为：2^8＝256；RGB中的三个分量中的像素位数分别为4,4,4，则该图像的像素深度为12，不同颜色的数目为：答2^(4+4+4)＝2^12＝4096，在第一颜色区域的颜色取值A为2000，第一颜色区域的中心位置(a1，b1)为(20,50)，第二颜色区域的颜色取值B为2500，第二颜色区域的中心位置(a2,b2)为(30,40)，根据第一颜色区域的中心位置和第二颜色区域的中心位置确定第一颜色区域和第二颜色区域中待渲染区域的渲染颜色取值的调整参数Q，第一颜色区域和第二颜色区域中待渲染区域的渲染颜色取值C的计算公式为：
C＝min(A，B)+Q，
其中，A为第一颜色区域的颜色取值，B为第二颜色区域的颜色取值，Q为第一颜色区域和第二颜色区域的渲染颜色取值的调整参数；
上述第一颜色区域和第二颜色区域的渲染颜色取值的调整参数Q的计算公式如下所示：
其中，待渲染区域的中心位置为(a3，b3)。
其中，第一颜色区域为同一颜色取值的区域，第二颜色区域为同一颜色取值的区域，第一颜色取值与第二颜色取值区域不同。
具体实现中，根据所述图像亮度、所述图像颜色、所述光源角度确定所述第一区域中的人像、焊接设备图像和金属材料图像中的不同部位的颜色取值的具体步骤可以是：将所述人像进一步细分成人脸图像区域和肢体图像区域、将焊接设备图像进一步细分成电焊面具图像区域、电焊机图像区域、焊接操作台图像区域，将金属材料图像细分成铁、铝、铜等金属图像区域，此处不做限制；根据所述图像亮度和所述图像颜色对上述细分后的图像区域进行渲染，根据光源角度将上述细分后的图像区域中的第一颜色区域进一步细分成M个待渲染区域，确定第一颜色区域的渲染颜色取值的调整参数Q，根据所述调整参数计算待渲染区域的颜色取值C，其中，所述待渲染区域的颜色取值C，的计算公式为：
其中，A为第一颜色区域的颜色取值，Q为第一颜色区域和第二颜色区域的渲染颜色取值的调整参数，第一颜色区域的中心位置为(a1,b1)，第二颜色区域的中心位置为(a2,b2)，其中，第二颜色区域为第一颜色区域邻近的颜色区域，待渲染区域的中心位置为(a3,b3)。
其中，Q的计算公式可以是：
其中，M可以是2、3、4、5、6、7、8、9、10、11、12、14、15、17、18、20，此处不作限制。
具体实现中，根据所述电火花弧度确定第一区域中的电火花图像的电火花亮度、电火花亮度渐变方向；根据所述电火花亮度、电火花亮度渐变方向确定所述电火花图像的电火花不同部位的颜色取值的具体步骤可以是：
将上述电火花图像经过低通滤波、高通滤波、中值滤波进行图像处理，得到第一处理图像将所述第一处理图像细分成M个待处理区域；确定M个待处理区域中的每个待处理区域的中心位置以及待处理区域的中心位置的颜色取值；根据电火花亮度渐变方向将上述待处理区域中的第一颜色区域进一步细分成P个待渲染区域，确定第一颜色区域的渲染颜色取值的调整参数Q，根据所述调整参数Q计算每个待渲染区域的颜色取值C，其中，M可以是2、3、4、5、6、7、8、9、10、11、12、14、15、17、18、20，此处不做过多的限制。
其中，所述待渲染区域的颜色取值C，的计算公式为：
其中，A为第一颜色区域的颜色取值，Q为第一颜色区域和第二颜色区域的渲染颜色取值的调整参数，第一待处理区域的中心位置为(a1,b1)，第一颜色区域的中心位置为(a2,b2)，待渲染区域的中心位置为(a3,b3)。
其中，Q的计算公式可以是：
其中，P为待渲染区域的个数，P可以是2、3、4、5、6、7、8、9、10、11、12、14、15、17、18、20，此处不做过多的限制。
具体实现中，根据所述金属熔化物的流动方向、所述金属熔化物的凝固方向和所述焊缝的凝固速度，确定所述焊缝图像不同部位的颜色取值的具体步骤可以是：
将上述焊缝图像经过低通滤波、高通滤波、中值滤波进行图像处理，得到第一处理图像将所述第一处理图像细分成M个待处理区域；确定M个待处理区域中的每个待处理区域的中心位置以及待处理区域的中心位置的颜色取值；根据金属熔化物的凝固方向和金属熔化物的流动方向将上述待处理区域中的第一颜色区域进一步细分成P个待渲染区域，确定第一颜色区域的渲染颜色取值的调整参数Q，根据所述调整参数Q计算每个待渲染区域的颜色取值C，其中，M可以是2、3、4、5、6、7、8、9、10、11、12、14、15、17、18、20，此处不做过多的限制。
其中，所述待渲染区域的颜色取值C，的计算公式为：
其中，A为第一颜色区域的颜色取值，Q为第一颜色区域和第二颜色区域的渲染颜色取值的调整参数，第一颜色区域的中心位置为(a1,b1)，第二颜色区域的中心位置为(a2,b2)，其中，第二颜色区域为第一颜色区域邻近的颜色区域，待渲染区域的中心位置为(a3,b3)。
其中，Q的计算公式可以是：
其中，P为待渲染区域的个数，P为待渲染区域的个数，P可以是2、3、4、5、6、7、8、9、10、11、12、14、15、17、18、20，此处不做过多的限制。
具体实现中，根据所述烟雾的浓密程度和所述光源角度，确定所述烟雾图像烟雾的不同部位的颜色取值的具体步骤可以是：
将上述烟雾图像经过低通滤波、高通滤波、中值滤波进行图像处理，得到第一处理图像根据所述烟雾的浓密程度将所述第一处理图像细分成M个待处理区域；确定M个待处理区域中的每个待处理区域的中心位置以及待处理区域的中心位置的颜色取值；根据光源角度将上述待处理区域中的第一颜色区域进一步细分成P个待渲染区域，确定第一颜色区域的渲染颜色取值的调整参数Q，根据所述调整参数Q计算每个待渲染区域的颜色取值C，其中，M可以是2、3、4、5、6、7、8、9、10、11、12、14、15、17、18、20，此处不做过多的限制。
其中，所述待渲染区域的颜色取值C，的计算公式为：
其中，A为第一颜色区域的颜色取值，Q为第一颜色区域和第二颜色区域的渲染颜色取值的调整参数，第一颜色区域的中心位置为(a1,b1)，第二颜色区域的中心位置为(a2,b2)，其中，第二颜色区域为第一颜色区域邻近的颜色区域，待渲染区域的中心位置为(a3,b3)。
其中，Q的计算公式可以是：
其中，P为待渲染区域的个数，P可以是2、3、4、5、6、7、8、9、10、11、12、14、15、17、18、20，此处不做过多的限制。
可以看出，本申请实施例中通过确定所述N帧第一全景图像中每帧第一全景图像的第一区域，对所述第一区域进行渲染，得到N帧第二全景图像，对所述N帧第二全景图像进行插帧，得到目标图像集，提高了VR直播时视频的画质。
在一个可能的示例中，所述对所述N帧第二全景图像进行插帧，得到目标图像集，包括：确定所述虚拟显示器的屏幕刷新率；确定所述N帧第二全景图像中的第一帧率；根据所述第一帧率和所述屏幕刷新率对所述N帧第二全景图像进行插帧，得到所述目标图像集。
可选的，根据所述第一帧率和所述屏幕刷新率对所述N帧第二全景图像进行插帧的具体步骤可以是：所述第一帧率小于预设帧率，则确定目标帧率为第二帧率；若所述第一帧率小于所述屏幕刷新率，且所述第一帧率大于预设帧率，则确定目标帧率为第三帧率；根据所述目标帧率确定每组待插帧的相邻图像中待插入的图像的帧数；根据所述每组待插帧的相邻图像确定待插入的图像；根据所述帧数和所述待插入的图像对所述N帧第二全景图像进行插帧。
在一个可能的示例中，所述根据所述第一帧率和所述屏幕刷新率对所述N帧第二全景图像进行插帧，得到所述目标图像集，包括：若所述第一帧率小于预设帧率，则确定目标帧率为第二帧率；若所述第一帧率小于所述屏幕刷新率，且所述第一帧率大于预设帧率，则确定目标帧率为第三帧率；根据所述目标帧率确定每组待插帧的相邻图像中待插入的图像的帧数；根据所述每组待插帧的相邻图像确定待插入的图像；根据所述帧数和所述待插入的图像对所述N帧第二全景图像进行插帧，得到所述目标图像集。
其中，预设帧率可以是30fps、60fps、80fps、90fps、100fps、120fps，此处不作过多的限定。所述第二帧率可以是40fps、60fps、80fps、90fps、100fps、120fps，此处不作过多的限定。所述第三帧率可以是40fps、60fps、80fps、90fps、100fps、120fps，此处不作过多的限定。
其中，需要进一步解释的是，根据所述目标帧率确定每组待插帧的相邻图像中待插入的图像的帧数的具体步骤可以是：计算所述第一帧率与所述目标帧率的差值，根据所述差值计算出待插入图像的总帧数，并计算出每组待插入的相邻图像需要插入的图像的帧数。
其中，所述待插入的图像可以是通过以下步骤得到的：根据运动补偿运动估计计算N帧第二全景图像中的每组待插帧的相邻图像中的待插入图像中的运动图像，所述待插入的图像也可以是通过以下步骤得到的：确定上述待插入的图像为每组待插帧的相邻图像中的两帧图像中的任一帧图像。
需要进一步解释的是，根据所述帧数和所述待插入的图像对所述N帧第二全景图像进行插帧，得到所述目标图像集的具体步骤可以是：在所述每组待插帧的相邻图像中插入所述帧数的待插入图像，得到所述目标图像集。
可以看出，本申请实施例中通过确定所述虚拟显示器的屏幕刷新率；确定所述N帧第二全景图像中的第一帧率；根据所述第一帧率和所述屏幕刷新率对所述N帧第二全景图像进行插帧，得到目标图像集，提高了VR直播时视频的画质。
下面通过一个具体的例子对本申请实施例进行详细介绍。
与上述图2所示的实施例一致，请参阅图3，图3是本申请实施例提供的一种多媒体数据处理方法的流程示意图，所述方法包括：
S301、电子设备获取N帧第一全景图像，所述第一全景图像是根据所述多个虚拟技术摄像头在同一时刻采集到的多张图像合成的；
S302、电子设备确定所述N帧第一全景图像中每帧第一全景图像的第一区域；
S303、电子设备根据所述N帧第一全景图像确定第一参数组；
S304、电子设备根据所述第一参数组确定所述第一区域的不同部位的颜色取值；
S305、电子设备根据所述颜色取值对所述第一区域进行渲染和纹理填充，得到所述N帧第二全景图像。
S306、电子设备确定所述虚拟显示器的屏幕刷新率；
S307、电子设备确定所述N帧第二全景图像中的第一帧率；
S308、电子设备根据所述第一帧率和所述屏幕刷新率对所述N帧第二全景图像进行插帧，得到所述目标图像集；
S309、电子设备通过所述虚拟显示器播放所述目标图像集中的图像。
可以看出，本申请实施例中通过确定所述N帧第一全景图像中每帧第一全景图像的第一区域，对所述第一区域进行渲染，得到N帧第二全景图像，对所述N帧第二全景图像进行插帧，得到目标图像集，提高了VR直播时视频的画质。
请参阅图4，图4是本申请实施例提供的一种电子设备400的结构示意图，如图所示，所述电子设备400包括应用处理器410、存储器420、通信接口430以及一个或多个程序421，其中，所述一个或多个程序421被存储在上述存储器420中，并且被配置由上述应用处理器410执行，所述一个或多个程序421包括用于执行以下步骤：
获取N帧第一全景图像，所述第一全景图像是根据所述多个虚拟技术摄像头在同一时刻采集到的多张图像合成的；
确定所述N帧第一全景图像中每帧第一全景图像的第一区域；
对所述第一区域进行渲染，得到N帧第二全景图像；
对所述N帧第二全景图像进行插帧，得到目标图像集；
通过所述虚拟显示器播放所述目标图像集中的图像。
可以看出，本申请实施例中通过确定所述N帧第一全景图像中每帧第一全景图像的第一区域，对所述第一区域进行渲染，得到N帧第二全景图像，对所述N帧第二全景图像进行插帧，得到目标图像集，提高了VR直播时视频的画质。
在一个可能的示例中，在所述对所述第一区域进行渲染，得到N帧第二全景图像方面，所述一个或多个程序421具体用于执行以下步骤：根据所述N帧第一全景图像确定第一参数组；根据所述第一参数组确定所述第一区域的不同部位的颜色取值；根据所述颜色取值对所述第一区域进行渲染和纹理填充，得到所述N帧第二全景图像。
在一个可能的示例中，在所述对所述第一区域进行渲染，得到N帧第二全景图像方面，所述一个或多个程序421具体用于执行以下步骤：获取预设渲染参数中的第一参数组；根据所述第一参数组确定所述第一区域的不同部位的颜色取值；根据所述颜色取值对所述第一区域进行渲染和纹理填充，得到所述N帧第二全景图像。
在一个可能的示例中，所述第一参数组包括图像亮度、图像颜色、光源角度、电火花弧度和风向角度，在所述根据所述第一参数组确定所述第一区域的不同部位的颜色取值方面，所述一个或多个程序421具体用于执行以下步骤：根据所述图像亮度、所述图像颜色、所述光源角度、所述电火花弧度和所述风向角度，确定所述第一区域的不同部位的颜色取值。
在一个可能的示例中，所述第一区域包括：所述N帧第一全景图像中每帧图像中的人像、焊接设备图像、金属材料图像、电火花图像、烟雾图像、焊缝图像，所述焊接设备图像包括电焊面具图像、电焊机图像、焊接操作台图像；在所述根据所述图像亮度、所述图像颜色、所述光源角度、所述电火花弧度和所述风向角度，确定所述第一区域的不同部位的颜色取值方面，所述一个或多个程序421具体用于执行以下步骤：根据所述图像亮度、图像颜色、所述光源角度确定所述第一区域中的人像、焊接设备图像和金属材料图像中的不同部位的颜色取值；根据所述电火花弧度确定第一区域中的电火花图像的电火花亮度、电火花亮度渐变方向；根据所述电火花亮度、电火花亮度渐变方向确定所述电火花图像的电火花不同部位的颜色取值；确定所述焊缝图像中的金属熔化物的流动方向、所述金属熔化物的凝固方向和焊缝的凝固速度；根据所述金属熔化物的流动方向、所述金属熔化物的凝固方向和所述焊缝的凝固速度，确定所述焊缝图像不同部位的颜色取值；根据所述风向角度确定所述第一区域中的烟雾图像中烟雾的浓密程度；根据所述烟雾的浓密程度和所述光源角度，确定所述烟雾图像烟雾的不同部位的颜色取值。
在一个可能的示例中，在所述对所述N帧第二全景图像进行插帧，得到目标图像集方面，所述一个或多个程序421具体用于执行以下步骤：确定所述虚拟显示器的屏幕刷新率；确定所述N帧第二全景图像中的第一帧率；根据所述第一帧率和所述屏幕刷新率对所述N帧第二全景图像进行插帧，得到所述目标图像集。
在一个可能的示例中，在所述根据所述第一帧率和所述屏幕刷新率对所述N帧第二全景图像进行插帧，得到所述目标图像集方面，所述一个或多个程序421具体用于执行以下步骤：若所述第一帧率小于预设帧率，则确定目标帧率为第二帧率；若所述第一帧率小于所述屏幕刷新率，且所述第一帧率大于预设帧率，则确定目标帧率为第三帧率；根据所述目标帧率确定每组待插帧的相邻图像中待插入的图像的帧数；根据所述每组待插帧的相邻图像确定待插入的图像；根据所述帧数和所述待插入的图像对所述N帧第二全景图像进行插帧，得到所述目标图像集。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图5是本申请实施例提供的一种多媒体数据处理装置500的功能单元组成框图。该多媒体数据处理装置500，所述装置包括：处理单元501、通信单元502，其中，
所述处理单元501用于获取N帧第一全景图像，所述第一全景图像是根据所述多个虚拟技术摄像头在同一时刻采集到的多张图像合成的；以及用于确定所述N帧第一全景图像中每帧第一全景图像的第一区域；以及用于对所述第一区域进行渲染，得到N帧第二全景图像；以及用于对所述N帧第二全景图像进行插帧，得到目标图像集；以及用于通过所述虚拟显示器播放所述目标图像集中的图像。
其中，所述多媒体数据处理装置500还可以包括存储单元503，用于存储电子设备的程序代码和数据。所述处理单元501可以是处理器，所述存储单元503可以是存储器。
可以看出，本申请实施例中通过确定所述N帧第一全景图像中每帧第一全景图像的第一区域，对所述第一区域进行渲染，得到N帧第二全景图像，对所述N帧第二全景图像进行插帧，得到目标图像集，提高了VR直播时视频的画质。
在一个可能的示例中，在所述对所述第一区域进行渲染，得到N帧第二全景图像方面，所述处理单元501具体用于：根据所述N帧第一全景图像确定第一参数组；根据所述第一参数组确定所述第一区域的不同部位的颜色取值；根据所述颜色取值对所述第一区域进行渲染和纹理填充，得到所述N帧第二全景图像。
在一个可能的示例中，在所述对所述第一区域进行渲染，得到N帧第二全景图像方面，所述处理单元501具体用于：获取预设渲染参数中的第一参数组；根据所述第一参数组确定所述第一区域的不同部位的颜色取值；根据所述颜色取值对所述第一区域进行渲染和纹理填充，得到所述N帧第二全景图像。
在一个可能的示例中，所述第一参数组包括图像亮度、图像颜色、光源角度、电火花弧度和风向角度，在所述根据所述第一参数组确定所述第一区域的不同部位的颜色取值方面，所述处理单元501：根据所述图像亮度、所述图像颜色、所述光源角度、所述电火花弧度和所述风向角度，确定所述第一区域的不同部位的颜色取值。
在一个可能的示例中，所述第一区域包括：所述N帧第一全景图像中每帧图像中的人像、焊接设备图像、金属材料图像、电火花图像、烟雾图像、焊缝图像，所述焊接设备图像包括电焊面具图像、电焊机图像、焊接操作台图像；在所述根据所述图像亮度、所述图像颜色、所述光源角度、所述电火花弧度和所述风向角度，确定所述第一区域的不同部位的颜色取值方面，所述处理单元501具体用于：根据所述图像亮度、图像颜色、所述光源角度确定所述第一区域中的人像、焊接设备图像和金属材料图像中的不同部位的颜色取值；根据所述电火花弧度确定第一区域中的电火花图像的电火花亮度、电火花亮度渐变方向；根据所述电火花亮度、电火花亮度渐变方向确定所述电火花图像的电火花不同部位的颜色取值；确定所述焊缝图像中的金属熔化物的流动方向、所述金属熔化物的凝固方向和焊缝的凝固速度；根据所述金属熔化物的流动方向、所述金属熔化物的凝固方向和所述焊缝的凝固速度，确定所述焊缝图像不同部位的颜色取值；根据所述风向角度确定所述第一区域中的烟雾图像中烟雾的浓密程度；根据所述烟雾的浓密程度和所述光源角度，确定所述烟雾图像烟雾的不同部位的颜色取值。
在一个可能的示例中，在所述对所述N帧第二全景图像进行插帧，得到目标图像集方面，所述处理单元501具体用于：确定所述虚拟显示器的屏幕刷新率；确定所述N帧第二全景图像中的第一帧率；根据所述第一帧率和所述屏幕刷新率对所述N帧第二全景图像进行插帧，得到所述目标图像集。
在一个可能的示例中，在所述根据所述第一帧率和所述屏幕刷新率对所述N帧第二全景图像进行插帧，得到所述目标图像集方面，所述处理单元501具体用于：若所述第一帧率小于预设帧率，则确定目标帧率为第二帧率；若所述第一帧率小于所述屏幕刷新率，且所述第一帧率大于预设帧率，则确定目标帧率为第三帧率；根据所述目标帧率确定每组待插帧的相邻图像中待插入的图像的帧数；根据所述每组待插帧的相邻图像确定待插入的图像；根据所述帧数和所述待插入的图像对所述N帧第二全景图像进行插帧，得到所述目标图像集。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种多媒体数据处理方法，其特征在于，应用于虚拟设备，所述虚拟设备包括：多个虚拟技术摄像头和虚拟显示器；所述方法包括：
获取N帧第一全景图像，所述第一全景图像是根据所述多个虚拟技术摄像头在同一时刻采集到的多张图像合成的；
确定所述N帧第一全景图像中每帧第一全景图像的第一区域；
对所述第一区域进行渲染，得到N帧第二全景图像；
对所述N帧第二全景图像进行插帧，得到目标图像集；
通过所述虚拟显示器播放所述目标图像集中的图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一区域进行渲染，得到N帧第二全景图像，包括：
根据所述N帧第一全景图像确定第一参数组；
根据所述第一参数组确定所述第一区域的不同部位的颜色取值；
根据所述颜色取值对所述第一区域进行渲染和纹理填充，得到所述N帧第二全景图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述第一区域进行渲染，得到N帧第二全景图像，包括：
获取预设渲染参数中的第一参数组；
根据所述第一参数组确定所述第一区域的不同部位的颜色取值；
根据所述颜色取值对所述第一区域进行渲染和纹理填充，得到所述N帧第二全景图像。
4.根据权利要求2或3中任一项所述的方法，其特征在于，所述第一参数组包括图像亮度、图像颜色、光源角度、电火花弧度和风向角度，所述根据所述第一参数组确定所述第一区域的不同部位的颜色取值，包括：
根据所述图像亮度、所述图像颜色、所述光源角度、所述电火花弧度和所述风向角度，确定所述第一区域的不同部位的颜色取值。
5.根据权利要求4所述的方法，其特征在于，所述第一区域包括：所述N帧第一全景图像中每帧图像中的人像、焊接设备图像、金属材料图像、电火花图像、烟雾图像、焊缝图像，所述焊接设备图像包括电焊面具图像、电焊机图像、焊接操作台图像；
所述根据所述图像亮度、所述图像颜色、所述光源角度、所述电火花弧度和所述风向角度，确定所述第一区域的不同部位的颜色取值，包括：
根据所述图像亮度、图像颜色、所述光源角度确定所述第一区域中的人像、焊接设备图像和金属材料图像中的不同部位的颜色取值；
根据所述电火花弧度确定第一区域中的电火花图像的电火花亮度、电火花亮度渐变方向；
根据所述电火花亮度、电火花亮度渐变方向确定所述电火花图像的电火花不同部位的颜色取值；
确定所述焊缝图像中的金属熔化物的流动方向、所述金属熔化物的凝固方向和焊缝的凝固速度；
根据所述金属熔化物的流动方向、所述金属熔化物的凝固方向和所述焊缝的凝固速度，确定所述焊缝图像不同部位的颜色取值；
根据所述风向角度确定所述第一区域中的烟雾图像中烟雾的浓密程度；
根据所述烟雾的浓密程度和所述光源角度，确定所述烟雾图像烟雾的不同部位的颜色取值。
6.根据权利要求1所述的方法，其特征在于，所述对所述N帧第二全景图像进行插帧，得到目标图像集，包括：
确定所述虚拟显示器的屏幕刷新率；
确定所述N帧第二全景图像中的第一帧率；
根据所述第一帧率和所述屏幕刷新率对所述N帧第二全景图像进行插帧，得到所述目标图像集。
7.根据权利要求6所述的方法，其特征在于，所述根据所述第一帧率和所述屏幕刷新率对所述N帧第二全景图像进行插帧，得到所述目标图像集，包括：
若所述第一帧率小于预设帧率，则确定目标帧率为第二帧率；
若所述第一帧率小于所述屏幕刷新率，且所述第一帧率大于预设帧率，则确定目标帧率为第三帧率；
根据所述目标帧率确定每组待插帧的相邻图像中待插入的图像的帧数；
根据所述每组待插帧的相邻图像确定待插入的图像；
根据所述帧数和所述待插入的图像对所述N帧第二全景图像进行插帧，得到所述目标图像集。
8.一种多媒体数据处理装置，其特征在于，应用于虚拟设备，所述虚拟设备包括：多个虚拟技术摄像头和虚拟显示器；所述装置包括：处理单元和通信单元，其中，
所述处理单元用于获取N帧第一全景图像，所述第一全景图像是根据所述多个虚拟技术摄像头在同一时刻采集到的多张图像合成的；以及用于确定所述N帧第一全景图像中每帧第一全景图像的第一区域；以及用于对所述第一区域进行渲染，得到N帧第二全景图像；以及用于对所述N帧第二全景图像进行插帧，得到目标图像集；以及用于通过所述虚拟显示器播放所述目标图像集中的图像。
9.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质，其特征在于，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011069911.1A CN112351287B (zh) | 2020-09-30 | 2020-09-30 | 一种多媒体数据处理方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011069911.1A CN112351287B (zh) | 2020-09-30 | 2020-09-30 | 一种多媒体数据处理方法、装置、电子设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112351287A true CN112351287A (zh) | 2021-02-09 |
| CN112351287B CN112351287B (zh) | 2022-10-14 |
Family
ID=74361532
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011069911.1A Active CN112351287B (zh) | 2020-09-30 | 2020-09-30 | 一种多媒体数据处理方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112351287B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023040932A1 (zh) * | 2021-09-17 | 2023-03-23 | 影石创新科技股份有限公司 | 全景视频插帧方法、装置及计算机可读存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105844256A (zh) * | 2016-04-07 | 2016-08-10 | 广州盈可视电子科技有限公司 | 一种全景视频帧图像处理方法和装置 |
| CN106803966A (zh) * | 2016-12-31 | 2017-06-06 | 北京星辰美豆文化传播有限公司 | 一种多人网络直播方法、装置及其电子设备 |
| CN107018336A (zh) * | 2017-04-11 | 2017-08-04 | 腾讯科技（深圳）有限公司 | 图像处理的方法和装置及视频处理的方法和装置 |
| US20170287200A1 (en) * | 2016-04-05 | 2017-10-05 | Qualcomm Incorporated | Dual fisheye image stitching for spherical image content |
| CN108876700A (zh) * | 2018-06-01 | 2018-11-23 | 福州瑞芯微电子股份有限公司 | 一种提升vr显示效果的方法和电路 |
| CN109246477A (zh) * | 2018-08-17 | 2019-01-18 | 南京泓众电子科技有限公司 | 一种全景视频插帧方法及装置 |
| CN109311433A (zh) * | 2016-04-14 | 2019-02-05 | 比凯特有限责任公司 | 用于在移动对象上制造、安装和使用外部安装的数字显示器的系统和装置 |
| CN110310356A (zh) * | 2019-06-26 | 2019-10-08 | 北京奇艺世纪科技有限公司 | 一种场景渲染方法和装置 |
| CN111225231A (zh) * | 2020-02-25 | 2020-06-02 | 广州华多网络科技有限公司 | 虚拟礼物的显示方法、装置、设备及存储介质 |
| CN111327908A (zh) * | 2020-03-05 | 2020-06-23 | Oppo广东移动通信有限公司 | 一种视频处理方法及相关装置 |
-
2020
- 2020-09-30 CN CN202011069911.1A patent/CN112351287B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170287200A1 (en) * | 2016-04-05 | 2017-10-05 | Qualcomm Incorporated | Dual fisheye image stitching for spherical image content |
| CN105844256A (zh) * | 2016-04-07 | 2016-08-10 | 广州盈可视电子科技有限公司 | 一种全景视频帧图像处理方法和装置 |
| CN109311433A (zh) * | 2016-04-14 | 2019-02-05 | 比凯特有限责任公司 | 用于在移动对象上制造、安装和使用外部安装的数字显示器的系统和装置 |
| CN106803966A (zh) * | 2016-12-31 | 2017-06-06 | 北京星辰美豆文化传播有限公司 | 一种多人网络直播方法、装置及其电子设备 |
| CN107018336A (zh) * | 2017-04-11 | 2017-08-04 | 腾讯科技（深圳）有限公司 | 图像处理的方法和装置及视频处理的方法和装置 |
| CN108876700A (zh) * | 2018-06-01 | 2018-11-23 | 福州瑞芯微电子股份有限公司 | 一种提升vr显示效果的方法和电路 |
| CN109246477A (zh) * | 2018-08-17 | 2019-01-18 | 南京泓众电子科技有限公司 | 一种全景视频插帧方法及装置 |
| CN110310356A (zh) * | 2019-06-26 | 2019-10-08 | 北京奇艺世纪科技有限公司 | 一种场景渲染方法和装置 |
| CN111225231A (zh) * | 2020-02-25 | 2020-06-02 | 广州华多网络科技有限公司 | 虚拟礼物的显示方法、装置、设备及存储介质 |
| CN111327908A (zh) * | 2020-03-05 | 2020-06-23 | Oppo广东移动通信有限公司 | 一种视频处理方法及相关装置 |
Non-Patent Citations (1)
| Title |
|---|
| 龚自成: "基于虚拟现实的焊接仿真应用与研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅰ辑)》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023040932A1 (zh) * | 2021-09-17 | 2023-03-23 | 影石创新科技股份有限公司 | 全景视频插帧方法、装置及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112351287B (zh) | 2022-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11076142B2 (en) | Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene | |
| US11575876B2 (en) | Stereo viewing | |
| JP4508878B2 (ja) | 立体画像のためのビデオフィルタ処理 | |
| CN100565589C (zh) | 用于深度感知的装置和方法 | |
| CN110267098B (zh) | 一种视频处理方法及终端 | |
| WO2010084724A1 (ja) | 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体 | |
| CN104469179A (zh) | 一种将动态图片结合到手机视频中的方法 | |
| WO2009111150A2 (en) | Non-linear depth rendering of stereoscopic animated images | |
| CN112446939A (zh) | 三维模型动态渲染方法、装置、电子设备及存储介质 | |
| JP2020526125A (ja) | ユーザー固有コンテンツを映像制作に融合させる方法及びシステム | |
| JP2020005202A (ja) | 映像処理装置 | |
| CN104539868B (zh) | 一种信息处理方法及电子设备 | |
| GB2548860A (en) | Multi-camera image coding | |
| JP5396877B2 (ja) | 画像処理装置、プログラム、画像処理方法、および記録方法 | |
| CN112351287B (zh) | 一种多媒体数据处理方法、装置、电子设备及计算机可读存储介质 | |
| CN106507086A (zh) | 一种漫游实景vr的3d呈现方法 | |
| JP4214527B2 (ja) | 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム | |
| KR20050078737A (ko) | 2차원 영상신호를 3차원 영상신호로 변환하는 장치 | |
| CN112738625B (zh) | 基于机顶盒的视频图像增强方法及装置 | |
| JP2010226391A (ja) | 画像処理装置、プログラムおよび画像処理方法 | |
| WO2018109266A1 (en) | A method and technical equipment for rendering media content | |
| CN110941413B (zh) | 显示画面的生成方法及相关装置 | |
| US20240338801A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| WO2017141139A1 (en) | A method for image transformation | |
| EP4030752A1 (en) | Image generation system and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |