CN108235055A - Ar场景中透明视频实现方法及设备 - Google Patents

Ar场景中透明视频实现方法及设备 Download PDF

Info

Publication number
CN108235055A
CN108235055A CN201711351545.7A CN201711351545A CN108235055A CN 108235055 A CN108235055 A CN 108235055A CN 201711351545 A CN201711351545 A CN 201711351545A CN 108235055 A CN108235055 A CN 108235055A
Authority
CN
China
Prior art keywords
sub
image frame
frame
video
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711351545.7A
Other languages
English (en)
Other versions
CN108235055B (zh
Inventor
李丽娜
冀怀远
张小小
刘澍
夏建清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suning Commerce Group Co Ltd
Original Assignee
Suning Commerce Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suning Commerce Group Co Ltd filed Critical Suning Commerce Group Co Ltd
Priority to CN201711351545.7A priority Critical patent/CN108235055B/zh
Publication of CN108235055A publication Critical patent/CN108235055A/zh
Application granted granted Critical
Publication of CN108235055B publication Critical patent/CN108235055B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种AR场景中透明视频实现方法及设备，涉及AR技术领域，能够避免传统的实现部分透明的效果的方案中，抠图边沿处理不好的问题。本发明包括：对原图像帧进行通道分离，得到至少2个子图像帧；根据设定的图像参数，更新至少2个子图像帧，图像参数至少包括了颜色值和灰度值；合并至少2个子图像帧，并压制视频文件。在视频的展示方面：从视频文件中提取图像帧，其中，图像帧由至少2个子图像帧合并得到，至少2个子图像帧包括了：颜色通道的子图像帧和灰度通道的子图像帧；通过至少2个子图像帧，合成待播放的视频帧；在拍摄到的实景中展示待播放的视频帧。本发明适用于AR场景中的视频播放。

Description

AR场景中透明视频实现方法及设备
技术领域
本发明涉及增强现实(AR)技术领域，尤其涉及一种AR场景中透明视频实现方法及设备。
背景技术
目前AR技术在移动终端的应用实现上，主要是采用终端的相机取实景来展示现实的部分，然后在实景的基础上加上一些虚拟展示，达到增强现实的效果。这些虚拟的展示可以是2D、3D的模型、图像或视频。
视频展示在实景中时，会完全挡住相机拍摄的实景，很难达到增强现实的目的。为了克服这个缺陷，现在大部分移动终端上的AR应用，会采用视频绿幕抠图的方式来处理图像序列帧，从而实现部分透明的效果。
但是，抠图处理后的图像边沿比较突兀粗糙,展示效果不佳。
发明内容
本发明的实施例提供一种AR场景中透明视频实现方法及设备，能够避免传统的实现部分透明的效果的方案中，抠图边沿处理不好的问题。
为达到上述目的，本发明的实施例采用如下技术方案：
其中主要包含透明视频的制作和展示两个方面，在视频的制作方面：
对原图像帧进行通道分离，得到所述至少2个子图像帧；
根据设定的图像参数，更新所述至少2个子图像帧，所述图像参数至少包括了颜色值和灰度值；
合并所述至少2个子图像帧，并压制视频文件。
在视频的展示方面：
从视频文件中提取图像帧，其中，所述图像帧由至少2个子图像帧合并得到，所述至少2个子图像帧包括了：颜色通道的子图像帧和灰度通道的子图像帧；
通过所述至少2个子图像帧，合成待播放的视频帧；
在拍摄到的实景中展示所述待播放的视频帧。
在视频制作过程中，在正常的视频格式里加入透明通道的信息。视频解码时对图像帧进行处理，合成具有R、G、B、A四个通道的新视频帧，比普通视频多了一个透明通道，再进行渲染。
通过本实施例中把常规格式的视频处理变成透明视频的方法。避免了绿幕抠图边沿处理不好的缺陷，也缓减了采用图像序列来形成视频数据量大的问题，在实际的应用中能用更少的数据量实现更好的视频效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的系统架构示意图；
图2为本发明实施例提供的一种方法流程示意图；
图3为本发明实施例提供的另一种方法流程示意图；
图4a、图4b为本发明实施例提供的具体实例的示意图；
图5为本发明实施例提供的再一种方法流程示意图。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本发明实施例具体可以实现在一种如图1所示的系统中，其中：
用户终端，具体可以实做成单独一台系统，或整合于各种不同的媒体数据播放系统中，诸如智能手机、平板电脑(Tablet Personal Computer)、膝上型电脑(LaptopComputer)或者个人数字助理(personal digital assistant，简称PDA)等。用户终端上可以通过安装的应用程序或者APP，显示AR(Augmented Reality，增强现实技术)界面，在AR界面中具体显示了用户终端向服务器设备发送的聊天消息、短消息、语音消息等信息，并显示服务器设备返回的应答消息，从而形成用户终端与服务器设备之间的“用户会话”，并展示给用户终端的操作用户。
服务器设备具体可以是单独作成的服务器设备，比如：机架式、刀片、塔式或者机柜式的服务器设备，也可以采用工作站、大型计算机等具备较强计算能力硬件设备；也可以是由多个服务器设备组成的服务器集群。
本发明实施例提供一种AR场景中透明视频实现方法，主要目的在于在所显示的AR场景中呈现出具有透明效果的视频。本实施例中主要包含透明视频的制作和展示两个方面，其中视频的解析展示具体可以通过用户终端实现，也可以通过任意运行了AR程序的终端设备实现。如图2所示的，该方法包括：
S1、从视频文件中提取图像帧。
其中，所述图像帧由至少2个子图像帧合并得到，所述至少2个子图像帧包括了：颜色通道的子图像帧和灰度通道的子图像帧。其中，颜色通道可以理解为RGB通道，具有R、G、B(即色彩模式中红、绿、蓝三色)三种颜色参数共24bit，在一些方案中，也可以将R、G、B各自划分一个通道，即颜色通道包括了R、G、B这3个具体的通道；灰度通道可以理解为alpha通道，具有灰度参数A，本实施例中，alpha通道中的灰度显示为AAA，即3个相同的灰度值，使之符合标准比特数即24bit。
本实施例中所述的“透明视频”指的是具有透明效果的视频，此处的视频指的是业内通常认为的通过视频流播放的多媒体文件，动态图、3D动态模型等虽然都能够在AR场景中呈现出“动态的效果”，但是这些文件本身并非视频流文件，且实现“动态的效果”的方式也并非通过视频播放的方式，并不能称为“视频”。并且，动态图、3D动态模型等文件，往往需要技术人员实现根据AR场景进行制作再导入呈现AR场景的APP中，而视频文件则可以直接从互联网上下载，再通过本实施例所述的AR场景中透明视频实现方法，在所显示的AR场景中呈现出具有透明效果的视频。
S2、通过所述至少2个子图像帧，合成待播放的视频帧。
S3、在拍摄到的实景中展示所述待播放的视频帧。
例如：用户终端可以利用视频解码工具对视频进行解码，得到视频文件的每一帧数据，即提取为图像帧。再对图像帧，按照透明视频的制作是采用的编码方式进行反向处理，分离成两部分图像：1、颜色通道的子图像帧，用于提取其中的RGB信息(可以称为颜色值，具体为RGB色彩模式中红、绿、蓝三色的值)；2、灰度通道的子图像帧，用于提取alpha信息(alpha通道也称为灰度通道，是一个8位的灰度通道，该通道用256级灰度来记录图像中的透明度信息，定义透明、不透明和半透明区域，其中白表示不透明，黑表示透明，灰表示半透明)，再把两部分合成具有RGBA四个通道的新视频帧。
之后对得到的视频帧进行渲染，得到透明视频，并在用户终端所展示的AR场景中播放。
现有方案中，由于抠图处理后的图像边沿比较突兀粗糙,导致展示效果不佳。且这种视频绿幕抠图的方式，需要处理的数据量庞大，抠图处理后的图像序列帧也无法采用传统视频中针对连续帧压缩的手段，严重占用了移动终端运行负载，导致移动终端卡顿、发烫等问题。
通过本实施例中把常规格式的视频处理变成透明视频的方法。既避免了绿幕抠图边沿处理不好的缺陷，也缓减了采用图像序列来形成视频数据量大的问题，在实际的应用中能用更少的数据量实现更好的视频效果，由于AR场景的展示本身就需要占用用户终端很多的很多计算资源，通过减少透明视频的数据量，能够节约用户终端的负载并令用户得到更好的AR体验。
本实施例中主要包含透明视频的制作和展示两个方面，其中视频的解析制作具体可以通过用户终端实现，也可以通过服务器设备实现。如图3所示的，以通过用户终端实现为例，该方法包括：
S21、对原图像帧进行通道分离，得到所述至少2个子图像帧。
S22、根据设定的图像参数，更新所述至少2个子图像帧。
其中，所述图像参数至少包括了颜色值和灰度值。具体的，可以确定用户的设定操作所指向的透明度等级，并根据所述透明度等级，设定所述灰度值。颜色值和灰度值可以由用户操作用户终端进行设定，通过更改透明度等级，来设定具体的灰度值。
S23、合并所述至少2个子图像帧，并压制视频文件。
举例来说：
步骤2-1、制作具有透明通道的图像帧序列P，序列中每帧图像按顺序为Pi(i＝1,2,……,n)；
步骤2-2、把步骤2-1得到的图像帧序列P逐帧进行通道分离，每一帧分别得到一组两张新图像：一个RGB通道的图像帧Pi1和一个包含alpha通道的图像帧Pi2(i＝1,2,……,n)；
步骤2-3、把步骤2-2得到的图像组每两张按照固定的格式进行合并得到一张新的图像，得到一个新的图像序列S；
步骤2-4、把图像序列S利用视频合成工具压制成视频。
具体的，在所述至少2个子图像帧中，可以选择同一时刻的子图像帧进行合并，从而优先保证透明视频的播放效果。也可以选择不同时刻的子图像帧进行合并，从而提高透明视频的压缩率。
例如：根据权利要求2或3所述的方法，其特征在于，所述颜色通道的子图像帧和所述灰度通道的子图像帧显示同一时刻的内容。比如：
制作具有透明通道的图像帧序列P，序列中每帧图像按顺序为Pi(i＝1,2,……,n)；
把图像序列P逐帧进行通道分离，每一帧分别得到一组两张新图像：一个RGB通道的图像帧Pi1和一个包含alpha通道的图像帧Pi2(i＝1,2,……,n)。
得到的图像组为：P11+P12、P21+P22、P31+P32、…、Pn1+Pn2，每两张按照固定的格式进行合并得到一张新的图像，得到一个新的图像序列S。
再例如：所述颜色通道的子图像帧显示第一时刻的内容，所述灰度通道的子图像帧显示第二时刻的内容，所述第一时刻与所述第二时刻相邻。比如：
制作具有透明通道的图像帧序列P，序列中每帧图像按顺序为Pi(i＝1,2,……,n)；
把图像序列P逐帧进行通道分离，每一帧分别得到一组两张新图像：一个RGB通道的图像帧Pi1(i＝1,2,……,n)和一个包含alpha通道的图像帧Pj2(j＝i+1)。
得到的图像组为：P11+P22、P21+P32、P31+P42、…、Pn1+Pn+12，即图像组中的RGB通道的图像帧显示的是与alpha通道的图像帧相邻的前一帧的内容。
每两张按照固定的格式进行合并得到一张新的图像，得到一个新的图像序列S。
再比如：制作具有透明通道的图像帧序列P，序列中每帧图像按顺序为Pi(i＝1,2,……,n)；
把图像序列P逐帧进行通道分离，每一帧分别得到一组两张新图像：一个RGB通道的图像帧Pi1(i＝2,3,……,n+1)和一个包含alpha通道的图像帧Pj2(j＝i-1)。
得到的图像组为：P21+P12、P31+P22、P41+P32、…、Pn+11+Pn2，即图像组中的RGB通道的图像帧显示的是与alpha通道的图像帧相邻的后一帧的内容。
每两张按照固定的格式进行合并得到一张新的图像，得到一个新的图像序列S。
具体的，所述合并所述至少2个子图像帧，包括：
提取第一像素点，并读取第一像素点的颜色值，所述第一像素点为所述颜色通道的子图像帧中的像素点；同时，提取第二像素点，并读取第二像素点的灰度值。根据所述第一像素点的颜色值和所述第二像素点的灰度值，合成第三像素点，并将所述第三像素点填充在空白帧中。
其中，所述第二像素点为所述灰度通道的子图像帧中的像素点，所述第一像素点和所述第二像素点在各自的子图像帧中的位置相同。所述第三像素点在所述空白帧中的位置，与所述第一像素点和所述第二像素点在各自的子图像帧中的位置相同；
重复上述过程，直至处理完子图像帧中的所有像素点，将填充完像素点的空白帧作为所述视频帧。例如：
如图4a或者图4b所示的，颜色通道(RGB通道)的子图像帧和灰度通道(alpha通道)的子图像帧，安置在坐标系中(坐标系的X轴为宽度值，Y轴为高度值)，所有的子图像帧都是宽度为a、高度为b的矩形。从RGB通道的子图像帧的中的提取像素点(xi,yi)，从alpha通道的子图像帧提取像素点(xi+a，yi)，其中i＝1,2,……,n，n为子图像帧中的像素点总数。根据像素点(xi,yi)的颜色值RGB和像素点(xi+b，yi)的灰度值A，合成具有RGBA四个参数值的第三像素点，并将所述第三像素点填充在空白帧中。
重复上述过程，直至处理完子图像帧中的所有像素点，将填充完像素点的空白帧作为所述视频帧。
本实施例在视频制作过程中，在正常的视频格式里加入透明通道的信息。视频解码时对图像帧进行处理，合成具有R、G、B、A四个通道的新视频帧，比普通视频多了一个透明通道，再进行渲染。
本实施例中主要包含透明视频的制作和展示两个方面，其中视频的制作也可以通过服务器设备实现，如图5所示的。具体包括：
S31、对原图像帧进行通道分离，得到至少2个子图像帧。
其中，所述至少2个子图像帧包括了：颜色通道的子图像帧和灰度通道的子图像帧。
S32、根据设定的图像参数，更新所述至少2个子图像帧。
其中，所述图像参数至少包括了颜色值和灰度值。
S33、合并所述至少2个子图像帧，并压制视频文件。
S34、将所压制的视频文件向用户终端发送。
进一步的，服务器设备还可以根据接收到的设定消息确定透明度等级，并根据所述透明度等级，设定所述灰度值。
通过本实施例中把常规格式的视频处理变成透明视频的方法。既避免了绿幕抠图边沿处理不好的缺陷，也缓减了采用图像序列来形成视频数据量大的问题，在实际的应用中能用更少的数据量实现更好的视频效果，由于AR场景的展示本身就需要占用用户终端很多的很多计算资源，通过减少透明视频的数据量，能够节约用户终端的负载并令用户得到更好的AR体验。
本发明实施例还提供一种AR场景中透明视频实现终端，至少包括：
处理器、网络接口、存储器、通信总线，所述通信总线用于各组件之间的连接通信。
所述存储器中存储用于所述处理器执行的计算机程序，所述处理器所执行的计算机程序包括：
解析模块，用于从视频文件中提取图像帧，其中，所述图像帧由至少2个子图像帧合并得到，所述至少2个子图像帧包括了：颜色通道的子图像帧和灰度通道的子图像帧。
预处理模块，用于通过所述至少2个子图像帧，合成待播放的视频帧。
播放模块，用于在拍摄到的实景中展示所述待播放的视频帧。
通过本实施例中把常规格式的视频处理变成透明视频的方法。既避免了绿幕抠图边沿处理不好的缺陷，也缓减了采用图像序列来形成视频数据量大的问题，在实际的应用中能用更少的数据量实现更好的视频效果，由于AR场景的展示本身就需要占用用户终端很多的很多计算资源，通过减少透明视频的数据量，能够节约用户终端的负载并令用户得到更好的AR体验。
本发明实施例还一种用于在增强现实中实现透明视频的服务器，包括：
处理器、网络接口、存储器、通信总线，所述通信总线用于各组件之间的连接通信。
所述存储器中存储用于所述处理器执行的计算机程序，所述处理器所执行的计算机程序包括：
视频帧处理模块，用于对原图像帧进行通道分离，得到至少2个子图像帧，所述至少2个子图像帧包括了：颜色通道的子图像帧和灰度通道的子图像帧。并根据设定的图像参数，更新所述至少2个子图像帧，所述图像参数至少包括了颜色值和灰度值。
视频帧合并模块，用于合并所述至少2个子图像帧，并压制视频文件。
传输模块，用于将所压制的视频文件向用户终端发送。
通过本实施例中把常规格式的视频处理变成透明视频的方法。既避免了绿幕抠图边沿处理不好的缺陷，也缓减了采用图像序列来形成视频数据量大的问题，在实际的应用中能用更少的数据量实现更好的视频效果，由于AR场景的展示本身就需要占用用户终端很多的很多计算资源，通过减少透明视频的数据量，能够节约用户终端的负载并令用户得到更好的AR体验。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种AR场景中透明视频实现方法，其特征在于，包括：
从视频文件中提取图像帧，其中，所述图像帧由至少2个子图像帧合并得到，所述至少2个子图像帧包括了：颜色通道的子图像帧和灰度通道的子图像帧；
通过所述至少2个子图像帧，合成待播放的视频帧；
在拍摄到的实景中展示所述待播放的视频帧。
2.根据权利要求1所述的方法，其特征在于，还包括：
对原图像帧进行通道分离，得到所述至少2个子图像帧；
根据设定的图像参数，更新所述至少2个子图像帧，所述图像参数至少包括了颜色值和灰度值；
合并所述至少2个子图像帧，并压制视频文件。
3.根据权利要求2所述的方法，其特征在于，包括：
确定用户的设定操作所指向的透明度等级，并根据所述透明度等级，设定所述灰度值。
4.根据权利要求2所述的方法，其特征在于，所述颜色通道的子图像帧和所述灰度通道的子图像帧显示同一时刻的内容。
5.根据权利要求2所述的方法，其特征在于，所述颜色通道的子图像帧显示第一时刻的内容，所述灰度通道的子图像帧显示第二时刻的内容，所述第一时刻与所述第二时刻相邻。
6.根据权利要求4或5所述的方法，其特征在于，所述合并所述至少2个子图像帧，包括：
提取第一像素点，并读取第一像素点的颜色值，所述第一像素点为所述颜色通道的子图像帧中的像素点；
同时，提取第二像素点，并读取第二像素点的灰度值，所述第二像素点为所述灰度通道的子图像帧中的像素点，所述第一像素点和所述第二像素点在各自的子图像帧中的位置相同；
根据所述第一像素点的颜色值和所述第二像素点的灰度值，合成第三像素点，并将所述第三像素点填充在空白帧中，其中，所述第三像素点在所述空白帧中的位置，与所述第一像素点和所述第二像素点在各自的子图像帧中的位置相同；
重复上述过程，直至处理完子图像帧中的所有像素点，将填充完像素点的空白帧作为所述视频帧。
7.一种AR场景中透明视频实现方法，其特征在于，包括：
对原图像帧进行通道分离，得到至少2个子图像帧，所述至少2个子图像帧包括了：颜色通道的子图像帧和灰度通道的子图像帧；
根据设定的图像参数，更新所述至少2个子图像帧，所述图像参数至少包括了颜色值和灰度值；
合并所述至少2个子图像帧，并压制视频文件；
将所压制的视频文件向用户终端发送。
8.根据权利要求7所述的方法，其特征在于，还包括：
根据接收到的设定消息确定透明度等级，并根据所述透明度等级，设定所述灰度值。
9.一种AR场景中透明视频实现设备，作为用户终端，其特征在于，至少包括：
处理器、网络接口、存储器、通信总线，所述通信总线用于各组件之间的连接通信；
所述存储器中存储用于所述处理器执行的计算机程序，所述处理器所执行的计算机程序包括：
解析模块，用于从视频文件中提取图像帧，其中，所述图像帧由至少2个子图像帧合并得到，所述至少2个子图像帧包括了：颜色通道的子图像帧和灰度通道的子图像帧；
预处理模块，用于通过所述至少2个子图像帧，合成待播放的视频帧；
播放模块，用于在拍摄到的实景中展示所述待播放的视频帧。
10.一种AR场景中透明视频实现设备，作为服务器，其特征在于，包括：
处理器、网络接口、存储器、通信总线，所述通信总线用于各组件之间的连接通信；
所述存储器中存储用于所述处理器执行的计算机程序，所述处理器所执行的计算机程序包括：
视频帧处理模块，用于对原图像帧进行通道分离，得到至少2个子图像帧，所述至少2个子图像帧包括了：颜色通道的子图像帧和灰度通道的子图像帧；并根据设定的图像参数，更新所述至少2个子图像帧，所述图像参数至少包括了颜色值和灰度值；
视频帧合并模块，用于合并所述至少2个子图像帧，并压制视频文件；
传输模块，用于将所压制的视频文件向用户终端发送。
CN201711351545.7A 2017-12-15 2017-12-15 Ar场景中透明视频实现方法及设备 Active CN108235055B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711351545.7A CN108235055B (zh) 2017-12-15 2017-12-15 Ar场景中透明视频实现方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711351545.7A CN108235055B (zh) 2017-12-15 2017-12-15 Ar场景中透明视频实现方法及设备

Publications (2)

Publication Number Publication Date
CN108235055A true CN108235055A (zh) 2018-06-29
CN108235055B CN108235055B (zh) 2021-07-06

Family

ID=62652312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711351545.7A Active CN108235055B (zh) 2017-12-15 2017-12-15 Ar场景中透明视频实现方法及设备

Country Status (1)

Country Link
CN (1) CN108235055B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110161701A (zh) * 2019-06-17 2019-08-23 杭州光粒科技有限公司 一种偏振光敏感ar眼镜波导的多深度成像方法
CN111669646A (zh) * 2019-03-07 2020-09-15 北京陌陌信息技术有限公司 透明视频的播放方法、装置、设备及介质
CN113115097A (zh) * 2021-03-30 2021-07-13 北京达佳互联信息技术有限公司 视频播放方法、装置、电子设备和存储介质
CN113691866A (zh) * 2021-08-24 2021-11-23 北京百度网讯科技有限公司 视频处理方法、装置、电子设备和介质
CN114205648A (zh) * 2021-12-07 2022-03-18 网易（杭州）网络有限公司 插帧方法及装置
CN114374867A (zh) * 2022-01-19 2022-04-19 平安国际智慧城市科技股份有限公司 多媒体数据的处理方法、装置及介质
CN114760525A (zh) * 2021-01-08 2022-07-15 北京字节跳动网络技术有限公司 视频生成及播放方法、装置、设备、介质
CN115396730A (zh) * 2022-07-21 2022-11-25 广州方硅信息技术有限公司 视频图像的处理方法、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100182354A1 (en) * 2009-01-16 2010-07-22 Denso Corporation Display system
CN104899844A (zh) * 2015-06-30 2015-09-09 北京奇艺世纪科技有限公司 一种图像去雾方法及装置
CN105791636A (zh) * 2016-04-07 2016-07-20 潍坊科技学院 一种视频处理系统
CN107016718A (zh) * 2017-02-20 2017-08-04 北京奇艺世纪科技有限公司 一种场景渲染方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100182354A1 (en) * 2009-01-16 2010-07-22 Denso Corporation Display system
CN104899844A (zh) * 2015-06-30 2015-09-09 北京奇艺世纪科技有限公司 一种图像去雾方法及装置
CN105791636A (zh) * 2016-04-07 2016-07-20 潍坊科技学院 一种视频处理系统
CN107016718A (zh) * 2017-02-20 2017-08-04 北京奇艺世纪科技有限公司 一种场景渲染方法和装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111669646A (zh) * 2019-03-07 2020-09-15 北京陌陌信息技术有限公司 透明视频的播放方法、装置、设备及介质
CN110161701A (zh) * 2019-06-17 2019-08-23 杭州光粒科技有限公司 一种偏振光敏感ar眼镜波导的多深度成像方法
CN114760525A (zh) * 2021-01-08 2022-07-15 北京字节跳动网络技术有限公司 视频生成及播放方法、装置、设备、介质
CN113115097A (zh) * 2021-03-30 2021-07-13 北京达佳互联信息技术有限公司 视频播放方法、装置、电子设备和存储介质
CN113115097B (zh) * 2021-03-30 2023-05-09 北京达佳互联信息技术有限公司 视频播放方法、装置、电子设备和存储介质
CN113691866A (zh) * 2021-08-24 2021-11-23 北京百度网讯科技有限公司 视频处理方法、装置、电子设备和介质
CN113691866B (zh) * 2021-08-24 2024-05-31 北京百度网讯科技有限公司 视频处理方法、装置、电子设备和介质
CN114205648A (zh) * 2021-12-07 2022-03-18 网易（杭州）网络有限公司 插帧方法及装置
CN114205648B (zh) * 2021-12-07 2024-06-04 网易（杭州）网络有限公司 插帧方法及装置
CN114374867A (zh) * 2022-01-19 2022-04-19 平安国际智慧城市科技股份有限公司 多媒体数据的处理方法、装置及介质
CN114374867B (zh) * 2022-01-19 2024-03-15 平安国际智慧城市科技股份有限公司 多媒体数据的处理方法、装置及介质
CN115396730A (zh) * 2022-07-21 2022-11-25 广州方硅信息技术有限公司 视频图像的处理方法、计算机设备及存储介质

Also Published As

Publication number Publication date
CN108235055B (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN108235055A (zh) Ar场景中透明视频实现方法及设备
US10368108B2 (en) Downstream video composition
KR101651442B1 (ko) 이미지 기반 ３ｄ 비디오 포맷
CN112543317B (zh) 高分辨率单目2d视频到双目3d视频的转制方法
US9083959B2 (en) Real-time automatic conversion of 2-dimensional images or video to 3-dimensional stereo images or video
CN109640167B (zh) 视频处理方法、装置、电子设备及存储介质
EP2559270B1 (en) Method and apparatus for generating and playing animation message
CN109729405B (zh) 视频处理方法、装置、电子设备及存储介质
CN102342103B (zh) 显示画面序列的方法及设备
CN101072333A (zh) 胶片颗粒的产生和添加
CN104811677B (zh) 移动终端的显示控制方法及装置
CN103081476A (zh) 利用深度图信息转换三维图像的方法和设备
CN108307163B (zh) 图像数据处理方法及装置、计算机装置及可读存储介质
CN112714357B (zh) 视频播放方法、视频播放装置、电子设备和存储介质
WO2021237569A1 (zh) 编码方法、解码方法、装置及系统
CN110213640B (zh) 虚拟物品的生成方法、装置及设备
CN114040246A (zh) 图形处理器的图像格式转换方法、装置、设备及存储介质
US20050196056A1 (en) Image coding and decoding method
US8655063B2 (en) Decoding system and method operable on encoded texture element blocks
JP2012522285A (ja) データ及び三次元レンダリングを符号化するためのシステム及びフォーマット
CN110049347A (zh) 在直播界面配置图像的方法、系统、终端和装置
CN106412718A (zh) 一种字幕在3d空间中的渲染方法及其装置
CN102474579B (zh) 影像终端和显示图像形成方法
US20200413094A1 (en) Method and apparatus for encoding/decoding image and recording medium for storing bitstream
CN110597577A (zh) 一种头戴可视设备及其分屏显示方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 210000, 1-5 story, Jinshan building, 8 Shanxi Road, Nanjing, Jiangsu.

Applicant after: SUNING GROUP Co.,Ltd.

Address before: 210042 Suning Headquarters, No. 1 Suning Avenue, Xuanwu District, Nanjing City, Jiangsu Province

Applicant before: SUNING COMMERCE GROUP Co.,Ltd.

GR01 Patent grant
GR01 Patent grant