CN113206971B - 一种图像处理方法及显示设备 - Google Patents
一种图像处理方法及显示设备 Download PDFInfo
- Publication number
- CN113206971B CN113206971B CN202110392359.8A CN202110392359A CN113206971B CN 113206971 B CN113206971 B CN 113206971B CN 202110392359 A CN202110392359 A CN 202110392359A CN 113206971 B CN113206971 B CN 113206971B
- Authority
- CN
- China
- Prior art keywords
- image
- character model
- user
- character
- video stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 18
- 238000005286 illumination Methods 0.000 claims abstract description 78
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000001914 filtration Methods 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims abstract description 34
- 239000011159 matrix material Substances 0.000 claims description 32
- 238000009877 rendering Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 14
- 239000003086 colorant Substances 0.000 claims description 5
- 230000003993 interaction Effects 0.000 abstract description 18
- 230000004927 fusion Effects 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 239000007787 solid Substances 0.000 description 4
- 239000012634 fragment Substances 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000000153 supplemental effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请涉及交互技术领域，涉及一种图像处理方法及显示设备，该方法从视频流中选取视频帧并解码，得到时间戳相同的第一图像和第二图像，所述第二图像与所述第一图像的分辨率相同，所述视频帧携带用户所在环境的光照类型；根据所述光照类型，对所述第一图像进行滤光处理；根据所述第一图像和所述第二图像，确定所述待渲染像素点的目标颜色值；根据所述待渲染像素点的目标颜色值，渲染所述用户在虚拟空间对应的人物模型，并显示渲染后的图像，通过第一图像和第二图像融合渲染人物模型，可以减少人物与背景边界处像素点的颜色值的影响，并且滤光处理后，显示的人物模型与虚拟空间更加协调，从而提高虚拟交互过程中图像的显示质量。
Description
技术领域
本申请涉及交互技术领域，尤其涉及一种图像处理方法及显示设备。
背景技术
一般视频会议或者视频通话场景中，大多是显示设备通过显示对方的视频图像与本方的视频图像的方法进行多人通信，此交互过程中，双方通过显示屏幕上显示的多个视频图像了解视频状态。
为了提高视频过程中的沉浸感，衍生出一种新式的视频通信方法一虚拟通信，交互双方的发射端设备通过对摄像头采集的用户图像进行人物抠图处理，并为抠出的人物区域添加纯色背景，编码后发送给接收端设备；接收端设备对各个发送端设备发送的图像解码后，对纯色背景进行颜色值的替换，从各个图像中得到的人物模型，并将各个人物模型摆放到虚拟空间中的不同的位置处，使交互双方感觉像在同一个场景下中进行对话。
由于图像编码过程中，对人与背景边界处的像素点的颜色值进行了插值计算，导致边界处的像素点的颜色值存在失真，这样，接收端设备进行颜色替换时，会产生纯色背景的遗留，导致最后显示的图像中人物的周围就像增加了一个带有色彩的光圈一样，模糊不清，显示质量较差。
发明内容
本申请提供了一种图像处理方法及显示设备，用以提高虚拟交互过程中图像的显示质量。
第一方面，本申请提供一种对图像进行处理的显示设备，包括：
所述显示器，与所述图形处理器连接，被配置为显示渲染后的图像；
所述存储器，与所述图形处理器连接，被配置为存储计算机程序指令；
所述图形处理器，被配置为根据所述计算机程序指令，执行以下操作：
从视频流中选取视频帧并解码，得到时间戳相同的第一图像和第二图像，所述第二图像与所述第一图像的分辨率相同，所述视频帧携带用户所在环境的光照类型；
根据所述光照类型，对所述第一图像进行滤光处理；
根据所述第一图像和所述第二图像，确定所述待渲染像素点的目标颜色值；
根据所述待渲染像素点的目标颜色值，渲染所述用户在虚拟空间对应的人物模型，并显示渲染后的图像。
第二方面，本申请提供一种对图像进行处理的显示设备，包括摄像头、存储器、图形处理器：
所述摄像头，与所述图形处理器连接，被配置为采集图像；
所述存储器，与所述图形处理器连接，被配置为存储计算机程序指令；
所述图形处理器，被配置为根据所述计算机程序指令，执行以下操作：
采集视频交互过程中用户的第一图像；
根据所述第一图像，识别所述用户所在环境的光照类型；
对所述第一图像进行人物抠图处理，根据抠出的人物区域生成所述用户的第二图像，所述第二图像与所述第一图像的分辨率相同；
对所述第一图像和所述第二图像进行编码，得到编码后的视频帧并发送给接收端，编码后的视频帧携带所述用户所在环境的光照类型。
第三方面，本申请提供一种图像处理方法，包括：
从视频流中选取视频帧并解码，得到时间戳相同的第一图像和第二图像，所述第二图像与所述第一图像的分辨率相同，所述视频帧携带用户所在环境的光照类型；
根据所述光照类型，对所述第一图像进行滤光处理；
根据所述第一图像和所述第二图像，确定所述待渲染像素点的目标颜色值；
根据所述待渲染像素点的目标颜色值，渲染所述用户在虚拟空间对应的人物模型，并显示渲染后的图像。
第四方面，本申请提供一种图像处理方法，包括：
采集视频交互过程中用户的第一图像；
根据所述第一图像，识别所述用户所在环境的光照类型；
对所述第一图像进行人物抠图处理，根据抠出的人物区域生成所述用户的第二图像，所述第二图像与所述第一图像的分辨率相同；
对所述第一图像和所述第二图像进行编码，得到编码后的视频帧并发送给接收端，编码后的视频帧携带所述用户所在环境的光照类型。
第五方面，本申请实施提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行本申请实施例中的图像处理方法。
本申请的上述实施例中，从视频流中选取视频帧并解码，得到时间戳相同的第一图像和第二图像，并根据视频帧携带的用户所在环境的光照类型，对第一图像进行滤光处理，由于视频交互过程中不同用户所在的环境不同，滤光处理可以减少环境光对第一图像的影响；再根据第一图像和第二图像，确定待渲染像素点的目标颜色值，根据待渲染像素点的目标颜色值，渲染用户在虚拟空间对应的人物模型，并显示渲染后的图像，由于是根据第一图像和第二图像确定的待渲染像素点的目标颜色值，相对于直接对解码后的第二图像进行颜色值的替换，可以减少人物与背景边界处像素点的颜色值的影响，从而提高虚拟交互过程中图像的显示质量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1a示例性示出了相关技术中图像处理方法示意图；
图1b示例性示出了本申请实施例提供的图像处理方法示意图；
图2示例性示出了本申请实施例提供的应用场景示意图；
图3示例性示出了本申请实施例提供的一种图像处理方法的流程图；
图4示例性示出了本申请实施例提供的确定人物位置信息示意图；
图5示例性示出了本申请实施例提供的一种图像处理方法的流程图；
图6a示例性示出了本申请实施例提供的渲染显示过程示意图；
图6b示例性示出了本申请实施例提供的人物模型调整示意图；
图7示例性输出了本申请实施例提供的完整的图像处理过程示意图；
图8示例性示出了本申请实施例提供的完整的图像处理方法的流程图；
图9示例性示出了本申请实施例提供的一种显示设备的结构功能图；
图10示例性示出了本申请实施例提供的一种显示设备的结构功能图；
图11示例性示出了本申请实施例提供的一种显示设备的硬件结构图。
具体实施方式
为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
本申请中说明书和权利要求书及上述附图中的术语〞第一″、〞第二″等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
此外，术语〞包括″和〞具有″以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语〞模块″，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
基于虚拟空间的交互方式，需要对视频交互过程中采集的图像进行抠图处理，由于抠图处理是一个相对比较耗时的处理过程，同时，对每一视频帧都需要进行抠图处理，如果由接收端设备进行抠图处理，当视频通话中接入的人员较多时，需要同时对多个视频源进行抠图处理，对接收端中央处理器(Central Processing Unit，CPU)的性能要求较高。然而，视频交互过程中使用的终端大多为手机或者电视等，芯片处理能力有限，无法做到同时对多路视频流进行实时抠图处理。
因此，通常由发送端设备进行抠图处理后通过视频流传输，由接收端从视频流接收的视频帧进行渲染并显示。具体的，如图1a所示，发送端设备通过对摄像头采集的每一视频帧(原始图像)进行抠图处理，然后为抠出的人物添加纯色背景后进行编码传输，接收端设备通过对添加的纯色背景进行颜色替换，得到用于渲染采样的人物图像。由于接收端设备在渲染采样时，无法去掉由编码过程造成的人物四周失真的颜色值，导致显示后的人物四周存在彩色边框，显示效果较差，影响用户体验。并且，由于需要将视频交互过程的多个人物模型放置于同一场景的虚拟环境空间，由于视频通话的用户所在的环境各不相同，导致采集的图像中人物的光照类型不统一，融合在同一个场景中后，看起来不协调。
同时，由于用户距离发送端设备的远近不同，导致采集的人物大小不一，无法与虚拟空间中的物体(如椅子)大小所匹配，影响用户体验。
需要说明的是，发送端设备和接收端设备统称为显示设备，显示设备包括但不限于智能手机、笔记本电脑、平板、智能电视、可穿戴设备。发送端设备和接收端设备是相对而言的。例如，用户A和用户B进行视频通话，用户A使用显示设备1，用户B使用显示设备2，对于用户A来讲，显示设备2作为发送端设备，显示设备1作为接收端设备，对于用户B来讲，显示设备1作为发送端设备，显示设备2作为接收端设备。
基于上述分析，本申请实施例提供一种图像处理方法及显示设备。发送端设备根据摄像头采集的视频交互过程中用户的原始图像，识别用户所在环境的光照类型，以及对原始图像进行抠图处理，根据抠出的人物区域生成分辨率相同的掩码图像，并确定该用户在掩码图像中的位置信息，并将识别的光照类型和位置信息编码到视频帧中，并通过视频流发送视频帧，接收端设备从视频流中选取视频帧并解码，得到时间戳相同的原始图像和掩码图像，根据视频帧携带的用户所在环境的光照类型，对原始图像进行滤光处理，减少环境光对原始图像的影响；进一步地，接收端设备根据解码后得到的原始图像和掩码图像，进行虚拟空间中人物模型的渲染及显示，由于是从原始图像和掩码图像中获取待渲染像素点的颜色值，从而可以去掉掩码图像中添加的纯色背景，提高虚拟交互过程中图像的显示质量。
同时接收端设备根据视频帧携带的用户在掩码图像中的位置信息，调整渲染后图像中该用户对应的人物模型的位置及大小，使之与虚拟空间中的物体适配，使得渲染的画面更加协调，提高用户体验。
图1b示例性示出了本申请实施例提供的整体方案示意图。如图1b所示，针对发送端设备采集的每一视频帧(原始图像)，都生成对应的掩码图像，对原始图像和掩码图像进行编码后发送给接收端设备；接收端设备解码后得到时间戳相同的原始图像和掩码图像，根据原始图像和掩码图像融合渲染虚拟空间中对应的人物模型。
需要说明的是，本申请实施例中的原始图像也称为第一图像，掩码图像也称为第二图像。
下面结合附图详细描述本申请的实施例。
图2示例性示出了本申请实施例提供的应用场景示意图。以图2所示的场景为例，用户A、用户B、用户C正在进行一场视频会议，其中，用户A正在高铁上使用显示设备(平板)100_1参与视频会议，用户B正在施工现场使用显示设备(手机)100_2参与视频会议，用户C正在办公室使用显示设备(笔记本电脑)100_3参与视频会议，显示设备100_1～100_3通过互联网进行通信。由于三者所处的环境不同，采集第一图像的光照类型不同，但同为一个视频会议的参与者，可为其创建一个会议场景中的虚拟空间，该虚拟空间中配有会议桌和会议椅，将用户A、用户B、用户B放置在相应的会议椅上，由各自使用的显示设备进行渲染显示，从而提高三者在同一会议场景进行交谈的沉浸感。
图3示例性示出了本申请实施例提供的一种图像处理方法的流程图。如图3所示，该流程由发送端设备执行，主要包括以下几步：
S301：采集视频交互过程中用户的第一图像。
该步骤中，发送端设备响应视频通话请求，开启摄像头，采集视频过程中用户的第一图像。
以图2所示的场景为例，平板100_1开启其摄像头，采集用户A的第一图像，平板100_2开启其摄像头，采集用户B的第一图像，笔记本电脑100_3，采集用户C的第一图像。
S302：根据第一图像，识别用户所在环境的光照类型。
该步骤中，采用机器学习算法识别第一图像，确定用户所在环境的光照类型，深度学习算法包括但不限于支持向量机(Support Vector Machine，SVM)算法、最近邻结点(K-Nearest Neighbor，KNN)算法、聚类算法(k-means)。
其中，光照类型包括自然光、白炽光、LED灯光等。可选的，每一光照类型可以键值对(类型：值)的形式进行记录。
比如，LightType：0表示识别到的第一图像的光照类型为自然光。
S303：对第一图像进行人物抠图处理，根据抠出的人物区域生成用户的第二图像。
该步骤中，可使用人像抠图算法(比如边缘检测算法)对第一进行人物抠图处理，在进行抠图处理后，可以很容易得到人物的轮廓，该人物轮廓的外接矩形围成的区域标记为人物区域，也可使用其他不规则图形标记人物区域，根据抠出的人物区域，生成与第一图像的分辨率相同的第二图像。其中，第二图像由黑白灰三色组成，当像素点的颜色值中透明度分量取值为不透明取值(不透明取值等于1)时，显示为黑色，当像素点的颜色值中透明度分量取值为透明取值(透明取值等于0)时，显示为白色，当像素点的颜色值中透明度分量取值为半透明取值(半透明取值大于0小于1)时，显示为灰色。为了减少编码传输时的损失，本申请实施例中将第二图像中的人物区域设置为白色，其他区域设置为黑色。
在另一些实施例中，也可使用已有的抠图工具对第一图像进行抠图处理。
可选的，得到第二图像后，确定用户在第二图像中的位置信息，位置信息包括人物区域的参考点坐标以及人物区域的宽度和/或高度。
如图4所示，以第二图像的左上角顶点为UV坐标原点，以U轴正向为右，以V轴正向为下，确定人物区域的参考点P的坐标(U，V)为(10，20)像素，人物区域的宽度W为50像素，人物区域的高度H为100像素。
S304：对第一图像和第二图像进行编码，得到编码后的视频帧并发送给接收端设备。
该步骤中，可采用H264或H265协议对第一图像和第二图像进行编码。H264或H265协议分为视频编码层(Video Coding Layer，VCL)和网络抽象层(Network AbstractionLayer，NAL)，其中，VCL主要负责传递视频载荷，NAL主要负责格式化图像数据，并在网络上传输。NAL由多个NAL单元(NAL Unit)组成，NALU主要是为视频提供补充增强信息(Supplemental Enhancement Information，SEI)，补充内容以字符串形式组成。
在一些实施例中，可采用H264或H265协议，分别对第一图像和第二图像进行编码，得到第一视频帧和第二视频帧，将第一视频帧和第二视频帧通过视频流发送给接收端设备。具体实施时，可将第一视频帧通过第一视频流发送给接收端设备，将第二视频帧通过第二视频流发送给接收端设备，或者，将第一视频帧通过第三视频流的第一个通道发送给接收端设备，将第二视频帧通过第三视频流的第二个通道发送给接收端设备。
例如，第一图像编码为H264格式，第二图像也编码为H264格式，采用网页即时通信(Web Real-Time Communication，WebRTC)进行视频传输时，将第一视频帧和第二视频帧通过两路视频流传输给接收端，与其他接收端进行WebRTC。
在S304中，编码后的视频帧携带用户所在环境的光照类型。例如，将S302识别的第一图像的光照类型编码到第一视频帧的SEI中，使得第一视频帧携带用户所在环境的光照类型。
可选的，编码后的视频帧携带用户在第二图像中的位置信息。例如，将该用户在第二图像中的位置信息编码到第二视频帧的SEI中，使得第二视频帧携带用户在第二图像中的位置信息。
需要说明的是，本申请实施例对光照类型和位置信息的写入位置不做限制性要求，比如，还可以将用户所在环境的光照类型以及用户在第二图像中的位置信息都写入第二视频帧中。
在另一些实施例中，还可先对第一图像和第二图像进行拼接，得到拼接图像，然后对拼接图像进行编码，得到第三视频帧，并将第三视频帧通过第四视频流发送给接收端设备。
此时，可将用户所在环境的光照类型以及用户在第二图像中的位置信息都写入第三视频帧中，使得所述第三视频帧携带用户所在环境的光照类型以及用户在第二图像中的位置信息。
图5示例性示出了本申请实施例提供的一种图像处理方法的流程图。如图5所示，该流程由接收端设备执行，主要包括以下几步：
S501：从视频流中选取视频帧并解码，得到时间戳相同的第一图像和第二图像。
该步骤中，接收端设备根据发送端设备发送视频帧的方式选取视频帧。具体的，当发送端通过第一视频流发送第一视频帧，通过第二视频流发送第二视频帧时(即发送端设备通过两路视频流发送视频帧)，接收端设备根据时间戳信息，从两路视频流中选取时间戳相同的第一视频帧和第二视频帧，利用发送端设备对第一图像和第二图像编码的协议(比如H264或H265)，分别对第一视频帧和第二视频帧进行解码，得到时间戳信息相同的第一图像和第二图像。当发送端设备通过第三视频流的第一通道发送第一视频帧，通过第二通道发送第二视频帧(即发送端设备通过一路视频流的两个通道发送视频帧)时，接收端设备从第一通道和第二通道中选取时间戳相同的第一视频帧和第二视频帧，利用发送端设备对第一图像和第二图像编码的协议(比如H264或H265)，分别对第一视频帧和第二视频帧进行解码，得到时间戳信息相同的第一图像和第二图像。当发送端设备通过一路视频流发送第一图像和第二图像的拼接后的第三视频帧时，直接对选取第三视频帧进行解码，利用发送端设备对第一图像和第二图像拼接后的图像的编码协议(比如H264或H265)，对第三视频帧进行解码，得到时间戳信息相同的第一图像和第二图像。
由图3的流程可知，第二图像与第一图像的分辨率相同，视频帧携带用户所在环境的光照类型。比如，发送端设备对采集的第一图像进行编码时，将识别的用户所在环境的光照类型编码到了第一视频帧的SEI中，这样，第一视频帧携带用户所在环境的光照类型，因此，接收端设备对第一视频帧进行解码后，得到的第一图像中用户所在环境的光照类型。光照类型的描述参见前述实施例，在此不再重复。
在另一些实施例中，发送端设备第一图像和第二图像进行拼接后进行编码，将识别的用户所在环境的光照类型编码到了第三视频帧的SEI中，这样，第三视频帧携带用户所在环境的光照类型，因此，接收端设备对第三视频帧进行解码后，得到的第一图像中用户所在环境的光照类型。
S502：根据光照类型，对第一图像进行滤光处理。
该步骤中，在多人通话过程中，由于每个用户所在的环境不同，导致发送端设备采集的第一图像的光照类型不同，若直接根据采集的第一图像进行颜色值采样，渲染后的各个人物模型看起来很不协调，影响用户体验。因此，可根据光照类型对第一图像进行环境光过滤。具体的，根据视频帧携带的光照类型，确定颜色值中各个颜色分量的权重系数，生成过滤矩阵，将过滤矩阵与第一图像中像素点的颜色值矩阵相乘，得到滤光处理后的第一图像。一般的，通常采用颜色饱和度矩阵对图像的颜色值进行过滤处理，颜色饱和度矩阵如下：
其中，各个对角线上的元素值分别对应颜色值中红色(R)、绿色(G)、蓝色(B)、透明度(A)分量的权重系数，最后一列为亚元列，用于对某个分量进行调整。其中权重系数越小，过滤掉该权重系数对应的颜色分量越多，即越能消除该颜色分量对图像中人物颜色的影响。
例如，颜色饱和度矩阵表示颜色值中R分量变为原来的2倍，G分量的值增加50。
以第一视频帧携带用户所在环境的光照类型为例，发送端设备100_2识别到用户B的第一图像的光照类型为白炽光，也就是说，第一视频帧的SEI中LightType的值为1，则接收端设备对白炽光进行过滤，去掉白炽灯的照明效果。而白炽光下采集的第一图像偏黄，因此，可使用减少黄色的过滤矩阵与第一图像相乘，得到滤光处理后的第一图像。由于黄色为红色和绿色混合而成，因此，使用的过滤矩阵如下：
该过滤矩阵可以将原始的颜色值中的R分量和G分量的值变为原来的0.5倍。
在一些实施例中，也可根据虚拟空间中的场景对第一图像进行二次过滤。
再例如，虚拟空间中的会议场景为自然光，滤掉用户B对应的第一图像中黄色光后，再将第一图像与自然光的过滤矩阵相乘，得到与虚拟空间中会议场景的颜色度相匹配的第一图像。
S503：根据第一图像和第二图像，确定待渲染像素点的目标颜色值。
该步骤中，针对每一视频帧中的每个待渲染像素点，首先，根据预先创建的待渲染网格中各个网格的UV坐标确定待渲染像素点的UV坐标，根据待渲染像素点的UV坐标，从第一图像中获取待渲染像素点的第一颜色值，以及从第二图像中获取待渲染像素点的第二颜色值，进一步地，判断第一颜色值与设定的颜色阈值的大小，若第二颜色值小于等于设定的颜色阈值，则将第一颜色值中的透明度分量设置为透明取值(比如设置为0，1表示不透明取值)，得到目标颜色值，否则，将第一颜色值确定为目标颜色值。
例如，如图6a所示，根据待渲染像素点Q3的∪V坐标，从第一图像中获取到Q1的第一颜色值，从第二图像中获取到Q2的第二颜色值，经判断，第二颜色值小于设定的颜色阈值，则将第一颜色值中的透明度分量的取值设置为0，得到第一目标颜色值；根据待渲染像素点Q5的UV坐标，从第一图像中获取到Q3的第一颜色值，从第二图像中获取到Q4的第二颜色值，经判断，第二颜色值大于设定的颜色阈值，则将第一颜色值设置为第二目标颜色值。
S504：根据待渲染像素点的目标颜色值，渲染用户在虚拟空间对应的人物模型，并显示渲染后的图像。
该步骤中，针对每一视频帧，根据该视频帧中各个待渲染像素点的目标颜色值，渲染各个用户在虚拟空间中对应的人物模型，并显示渲染后的图像。
例如，用户A使用的显示设备100_1，根据接收的显示设备100_2发送的第一视频帧和第二视频帧，解码后得到用户B的第一图像和第二图像，根据用户B的第一图像和第二图像确定待渲染像素点的目标颜色值，根据各个待渲染像素点的目标颜色值渲染用户B在虚拟空间中的人物模型，显示设备100_1根据接收的显示设备100_3发送的第一视频帧和第二视频帧，解码后得到用户C的第一图像和第二图像，根据用户C的第一图像和第二图像确定待渲染像素点的目标颜色值，根据各个待渲染像素点的目标颜色值渲染用户C在虚拟空间中的人物模型，显示设备100_1根据其自身采集的用户A的第一图像以及生成的第二图像，确定待渲染像素点的目标颜色值，根据各个待渲染像素点的目标颜色值渲染用户A在虚拟空间中的人物模型。
需要说明的是，本申请实施例还可以先根据第一图像和第二图像，渲染用户在虚拟空间对应的人物模型，得到渲染后的图像，然后根据光照类型，对渲染后的图像进行滤光处理。
本申请的上述实施例中，根据视频帧携带的用户所在环境的光照类型，对第一图像进行滤光处理，减少环境光对原始图像的影响，使得根据第一图像对人物图像进行渲染采样时，各个人物模型与虚拟空间中的场景更加协调；根据待渲染像素点的UV坐标从第一图像和第二图像中获取颜色值，实现第一图像和第二图像的融合渲染显示，消除了第二图像中人物轮廓与背景区域交界处，由于图像编码造成的颜色值残留对渲染图像的影响，提高虚拟交互过程中图像的显示质量。
由于用户距离发送端设备的远近不同，导致采集的人物大小不一，无法与虚拟空间中的物体(如椅子)大小所匹配。
可选的，编码后的视频帧携带用户在第二图像中的位置信息，位置信息包括用户在第二图像中的人物区域的参考点坐标、人物区域的宽度或高度，接收端设备根据位置信息，对渲染后的图像中用户的人物模型进行调整。调整内容如下：
(1)调整人物模型的位置
以发送端设备发送的第二视频帧携带用户在第二图像中的位置信息，接收端设备根据位置信息，确定人物模型的中心点坐标，并根据中心点坐标以及预设的人物模型的头部大小，确定人物模型在相应方向的移动距离。其中，人物模型的头部大小可根据虚拟空间中参照物体的大小预先设置。
具体的，根据参考点P的U坐标以及人物区域的宽度W，确定人物模型中心点的U坐标(公式为：W/2+U)；或者，根据参考点P的V坐标以及人物区域的高度H，确定人物模型中心点的V坐标(公式为：H/2+V)。
以图4所示的数据为例，假设虚拟场景中会议椅的宽度为80像素，高度为80像素，预设人物模型的头部大小为40/2＝20像素，其中，参考点P的UV坐标为(10，20)，W＝40，H＝60，则计算得到的中心点的U坐标为：40/2+10＝30；或者，中心点的V坐标为：60/2+20＝50。
进一步地，根据渲染后的图像的横向分辨率确定人物模型的理论U坐标，以及，根据渲染后的图像的纵向分辨率确定人物模型的头部理论V坐标，并根据中心点坐标中的U坐标与人物模型的理论U坐标的大小，确定人物模型的横向移动距离，以及根据人物模型的头部理论V坐标与预设的头部大小，确定人物模型的纵向移动距离。
例如，仍以图4为例，假设渲染显示后的图像的横纵分辨率为640＊480(像素)，则人物模型的理论U坐标为640/2＝320，人物模型的横向移动距离为人物模型的理论U坐标减去中心点坐标中的U坐标，即320-(40/2+10)＝290，由于差值大于0，即向右移动290个像素单位，人物模型的头部理论V坐标为480/2-(40/2)＝220，人物模型的纵向移动距离为人物模型的头部理论V坐标减去预设的头部大小，即220-20＝200，由于差值大于0，即向下移动200个像素单位。
在另一些实施例中，还可根据渲染后的图像的纵向分辨率确定人物模型的理论V坐标，根据渲染后的图像的横向分辨率确定人物模型的头部理论U坐标，并根据中心点坐标中的V坐标与人物模型的理论V坐标的大小，确定人物模型的纵向移动距离，以及根据人物模型的头部理论U坐标与预设的头部大小，确定人物模型的横向移动距离。
例如，仍以图4为例，假设渲染显示后的图像的横纵分辨率为640＊480(像素)，则人物模型的理论V坐标为480/2＝240，人物模型的纵向移动距离为240-(60/2+20)＝190，由于差值大于0，即向下移动190个像素单位，人物模型的头部理论U坐标为640/2-(40/2)＝300，人物模型的横向移动距离为300-20＝280，由于差值大于0，即向右移动280个像素单位。
(2)调整人物模型的大小
以发送端设备发送的第二视频帧携带的位置信息为例，根据位置信息中人物区域的宽度或高度，对虚拟空间中的人物模型的大小进行缩放。
具体的，根据位置信息中人物区域的宽度，与虚拟空间中参考物的预设宽度的比例，调整人物模型的大小。
例如，仍以图4为例，虚拟空间中会议椅的宽度为80，是人物区域的宽度的2倍，因此，将渲染后的人物模型放大2倍，以使其与虚拟空间中的物体大小相匹配。
在另一些实施例中，根据位置信息中人物区域的高度，与虚拟空间中参考物的预设高度的比例，调整人物模型的大小。
例如，仍以图4为例，虚拟空间中会议椅的高度为80，是人物区域的高度的1.3倍，因此，将渲染后的人物模型放大1.3倍，以使其与虚拟空间中的物体大小相匹配。
图6b示例性示出了本申请实施例提供的人物模型的调整过程示意图。调整前，人物模型在图6b中的位置用虚线表示，未能正确放置在虚拟空间的会议椅上，且相对于会议椅的大小，人物模型偏小，因此，需要进行移动和放大的调整。调整后，人物模型在图6b中的位置用实线表示，其正确的放置于会议椅上，且大小与会议椅相匹配。
需要说明的是，上述实施例仅以第二视频帧携带用户在第二图像中的位置信息为例进行的描述，对于第一视频帧或第三视频帧携带的用户在第二图像中的位置信息的情况，同样适用上述调整方式。
本申请的上述实施例中，通过视频帧中携带的位置信息，对人物模型进行水平方向或垂直方向的运动，使其能够准确放置于虚拟空间中，并且，还对人物模型的大小进行了调整，使其与虚拟空间中的物体大小相匹配，使整个视频画面看起来更加协调，提升用户体验。
需要说明的是，在渲染显示时，接收端设备的摄像头可以采集本用户的原始图像，抠图后生成本用户的掩码图像，根据本用户的原始图像和掩码图像，渲染本用户在虚拟空间中的人物模型。
本申请的实施例中，以对一个视频帧的处理为例，图7示例性输出了本申请实施例提供的完整的图像处理过程示意图。如图7所示，由发送端设备采集视频通话过程中用户的第一图像(原始图像)，并进行人物抠图，根据抠出的人物区域生成第二图像(掩码图像)，经过编码器编码后，得到第一视频帧和第二视频帧，通过视频流发送给接收端设备；接收端设备的解码器对从视频流中接收的第一视频帧和第二视频帧进行解码，得到第一图像和第二图像，像素着色器从第一图像和第二图像中获取待渲染像素点的颜色值，并根据确定的待渲染像素点的目标颜色值对虚拟空间中的人物模型进行渲染。详细流程参见图8。
图8示例性示出了本申请实施例提供的图像处理方法的完整流程图。如图8所示，该流程主要包括以下几步：
S801：发送端设备采集视频交互过程中第一用户的第一图像。
该步骤中，响应视频通话请求，发送端设备开启摄像头，采集第一用户的第一图像。
S802：发送端设备根据第一用户的第一图像，识别第一用户所在环境的光照类型。
该步骤的详细描述参加S302，在此不再重复。
S803：发送端设备对第一图像进行人物抠图处理，根据抠出的人物区域生成第一用户的第二图像，并确定第一用户在第二图像中的位置信息。
该步骤中，在不影响本申请实施例实质内容的基础上，本申请实施例对抠图处理的方法不做限制性要求，可以使用抠图算法进行人物抠图，也可使用现有的抠图工具进行人物抠图，具体描述参见S303，在此不再重复。
S804：发送端设备对第一用户的第一图像和第二图像进行编码，得到第一视频帧和第二视频帧，第一视频帧携带第一用户所在环境的光照类型，第二视频帧携带第一用户在第二图像中的位置信息。
该步骤中，第二图像的分辨率与第一图像相同，编码器可采用H264或H265协议对第一图像和第二图像进行编码，将第一用户所在环境的光照类型写入第一视频帧的SEI中，将第一用户在第二图像中的位置信息写入第二视频帧的SEI中。具体参见前述参见S304，在此不再重复。
S805：发送端设备通过视频流将第一用户的第一视频帧和第二视频帧发送给接收端设备。
该步骤中，第一视频帧和第一视频帧可以以两路视频流分别传输，也可以由一路视频流的两个通道进行传输，具体可根据实际的传输协议进行设置。具体描述参见S304，在此不再重复。
S806：接收端设备从视频流中选取时间戳相同的第一视频帧和第二视频帧并分别解码，得到第一用户的第一图像和第二图像。
该步骤中，为了第一图像中的人物和第二图像中的人物相对应，应从视频流中选取时间戳相同的第一视频帧和第二视频帧，解码器解码后得到第一图像和第二图像。由编码过程可知，第一视频帧携带第一用户所在环境的光照类型，第二视频帧携带第一用户在第二图像中的位置信息。具体描述参见S501，在此不再重复。
S807：接收端设备根据第一视频帧携带的光照类型，对第一用户的第一图像进行滤光处理。
该步骤中，可使用颜色饱和度矩阵对第一图像的颜色值进行过滤处理。具体的，根据第一视频帧携带的光照类型，确定颜色值中各个颜色分量的权重系数，生成过滤矩阵，将过滤矩阵与第一图像中像素点的颜色值矩阵相乘，得到滤光处理后的第一图像，从而减少环境光对第一图像色彩的影响，以使渲染后的人物色彩更加协调。具体描述参见S502，在此不再重复。
S808：接收端设备根据待渲染像素点的UV坐标，从第一用户的第一图像中获取待渲染像素点的第一颜色值，以及从第一用户的第二图像中获取待渲染像素点的第二颜色值。
该步骤中，渲染引擎预先创建待渲染网格，经光栅化生成各个片元，并根据网格顶点的UV坐标插值得到各片元的UV坐标，每个片元对应一个待渲染的像素点，根据待渲染像素点的UV坐标，从第一图像中获取第一颜色值，以及从第二图像中获取第二颜色值。
S809：接收端设备判断第二颜色值是否不大于设定的颜色阈值，若是，执行S810，否则，执行S811。
该步骤中，接收端设备根据第二颜色值与设定的颜色阈值的大小，确定待渲染像素点的目标颜色值。具体描述参见S503，在此不再重复。
S810：接收端设备将第一颜色值中的透明度分量设置为透明取值，得到目标颜色值。
该步骤中，第二颜色值不大于设定的颜色阈值，表明待渲染像素点位于背景区域，因此，可将第一颜色值中的透明度分量设置为透明取值，实现透明效果。
S811：接收端设备将第一颜色值确定为目标颜色值。
该步骤中，第二颜色值大于设定的颜色阈值，表明待渲染像素点位于人物区域，因此，将第一颜色值确定为目标颜色值。
S812：接收端设备根据待渲染像素点的目标颜色值，渲染第一用户在虚拟空间对应的人物模型。
S813：接收端设备根据第二视频帧携带的用户在第二图像中的位置信息，调整第一用户的人物模型的位置和大小。
该步骤中，位置信息包括人物区域的参考点坐标以及人物区域的宽度和/或高度，根据位置信息可以确定人物模型中心点的UV坐标结合渲染图像的横纵分辨率以及预设的人物模型的头部大小，确定人物模型的移动距离，以及结合虚拟空间中物体的大小，对人物模型进行缩放调整。具体调整方式参见前述实施例，在此不再重复。
S814：接收端设备采集第二用户的第一图像，识别第二用户所在环境的光照类型，经抠图处理后，根据抠出的人物区域生成第二用户的第二图像，并确定第二用户在第二图像中的位置信息。
该步骤中，由于接收端设备同样具有摄像头，可以采集第二用户的图像，并对采集的第二用户的第一图像进行抠图处理。具体描述参见S302～S303，在此不再重复。
S815：接收端设备根据第二用户所在环境的光照类型，对第二用户的第一图像进行滤光处理。
该步骤中滤光处理方式参见S502，在此不再重复。
S816：接收端设备根据第二用户的第一图像和第二图像，渲染虚拟空间中第二用户的人物模型并显示渲染后的图像。
该步骤中，接收端根据待渲染像素点的UV坐标，从第二用户的第一图像中获取第三颜色值以及从第二图像中获取第四颜色值，将第四颜色值与设定颜色阈值进行比较，若第四颜色值小于等于设定颜色阈值，表明待渲染像素点位于背景区域，因此，可将第三颜色值中的透明度分量设置为透明取值，实现透明效果；若第四颜色值大于设定颜色阈值，表明待渲染像素点位于人物区域，因此，将第三颜色值确定为目标颜色值，进一步地，根据待渲染像素点的目标颜色值，渲染虚拟空间中第二用户的人物模型，并根据第二用户在第二图像中的位置信息，调整第二用户对应的人物模型的位置和大小。具体调整方式参见前述实施例，在此不再重复。
在一些实施例中，执行S804时，发送端设备可先对第一用户的第一图像和第二图像进行拼接，得到拼接图像，在对拼接图像进行编码，得到第三视频帧，第三视频帧携带第一用户所在环境的光照类型以及第一用户在第二图像中的位置信息。此时，在S806中，接收端设备从视频流接收第三视频帧并解码，得到时间戳相同的第一图像和第二图像。
基于相同的技术构思，本申请实施例提供一种显示设备，该显示设备可以实现前述实施例图3中的图像显示方法，且能达到相同的技术效果，在此不再赘述。
参见图9，该显示设备包括采集模块901、识别模块902、处理模块903、编码模块904、发送模块905；
采集模块901，用于采集视频交互过程中用户的第一图像；
识别模块902，用于根据第一图像，识别用户所在环境的光照类型；
处理模块903，用于对第一图像进行人物抠图处理，根据抠出的人物区域生成用户的第二图像，第二图像与第一图像的分辨率相同；
编码模块904，用于对第一图像和第二图像进行编码，得到编码后的视频帧，编码后的视频帧携带用户所在环境的光照类型；
发送模块905，用于通过视频流将编码后的视频帧发送给接收端。
可选的，编码模块904具体用于：
分别对第一图像和第二图像进行编码，得到第一视频帧和第二视频帧；
发送模块905具体用于：
将第一视频帧通过第一视频流发送给接收端，以及将第二视频帧通过第二视频流发送给接收端；或者
分别对第一图像和第二图像进行编码，得到第一视频帧和第二视频帧，将第一视频帧通过第三视频流的第一通道发送给接收端，以及将第二视频帧通过第三视频流的第二通道发送给接收端；
处理模块903，还用于对第一图像和第二图像进行拼接，得到拼接图像；
编码模块904具体用于：对拼接图像进行编码，得到第三视频帧；
发送模块905具体用于：将第三视频帧通过第四视频流发送给接收端。
可选的，处理模块903还用于确定用户在第二图像中的位置信息，并将位置信息写入编码后的视频帧，位置信息包括人物区域的参考点坐标以及人物区域的宽度或高度。
基于相同的技术构思，本申请实施例提供一种显示设备，该显示设备可以实现前述实施例图5中的图像显示方法，且能达到相同的技术效果，在此不再赘述。
参见图10，该显示设备包括接收模块1001、解码模块1002、处理模块1003、渲染显示模块1004；
接收模块1001，用于从视频流中选取视频帧；
解码模块1002，用于对选取的视频帧进行解码，得到时间戳相同的第一图像和第二图像，第二图像与第一图像的分辨率相同，视频帧携带用户所在环境的光照类型；
处理模块1003，用于根据光照类型，对第一图像进行滤光处理；根据第一图像和第二图像，确定待渲染像素点的目标颜色值；
渲染显示模块1004，用于根据待渲染像素点的目标颜色值，渲染用户在虚拟空间对应的人物模型，并显示渲染后的图像。
可选的，处理模块1003，具体用于：
根据待渲染像素点的UV坐标，从第一图像中获取待渲染像素点的第一颜色值，以及从第二图像中获取待渲染像素点的第二颜色值；
若第二颜色值小于等于设定的颜色阈值，则将第一颜色值中的透明度分量设置为透明取值，得到目标颜色值；或者
若第二颜色值大于设定的颜色阈值，则将第一颜色值确定为目标颜色值。
可选的，处理模块1003，具体用于：
根据光照类型，确定颜色值中各个颜色分量的权重系数，生成过滤矩阵；
将过滤矩阵与第一图像中像素点的颜色值矩阵相乘，得到滤光处理后的第一图像。
可选的，视频帧携带所述用户在所述第二图像中的位置信息；
处理模块1003，还用于根据位置信息，对渲染后的图像中用户的人物模型进行调整。
可选的，处理模块1003，具体用于：
根据位置信息，确定人物模型的中心点坐标；
根据中心点坐标以及预设的人物模型的头部大小，确定人物模型在相应方向的移动距离。
可选的，处理模块1003，具体用于：
根据参考点的U坐标以及人物区域的宽度，确定人物模型中心点的U坐标；或者
根据参考点的V坐标以及人物区域的高度，确定人物模型中心点的V坐标；以及
根据中心点坐标中的U坐标与人物模型的理论U坐标的大小，确定人物模型的横向移动距离，以及根据人物模型的头部理论V坐标与预设的头部大小，确定人物模型的纵向移动距离，人物模型的理论U坐标是根据渲染后的图像的横向分辨率确定的，人物模型的头部理论V坐标是根据渲染后的图像的纵向分辨率确定的；或者
根据中心点坐标中的V坐标与人物模型的理论V坐标的大小，确定人物模型的纵向移动距离，以及根据人物模型的头部理论U坐标与预设的头部大小，确定人物模型的横向移动距离，人物模型的理论V坐标是根据渲染后的图像的纵向分辨率确定的，人物模型的头部理论U坐标是根据渲染后的图像的横向分辨率确定的。
可选的，处理模块1003，具体用于：
根据位置信息中人物区域的宽度，与虚拟空间中参考物的预设宽度的比例，调整人物模型的大小；或者
根据位置信息中人物区域的高度，与虚拟空间中参考物的预设高度的比例，调整人物模型的大小。
需要说明的是，显示设备既可以作为发送端设备执行图3所示的流程，也可以作为接收端设备执行图5所示的流程，发送设备和接收端设备时相对交互用户描述的。
基于相同的技术构思，本申请实施例提供一种显示设备，该显示设备可以实现前述实施例图3、图5中的图像显示方法，且能达到相同的技术效果，在此不再赘述。
参见图11，该显示设备包括摄像头1101、通信接口1102、显示器1103、存储器1104、图形处理器1105，摄像头1101、通信接口1102、显示器1103、存储器1104与图形处理器1105总线连接，摄像头1101被配置为采集用户图像，通信接口1102被配置为收发图像数据，显示器1103被配置为显示渲染后的图像，存储器1104被配置为存储计算机程序指令，图形处理器1105被配置为根据存储器1104存储的计算机程序指令，执行图3、图5所示的图像处理流程。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行本申请实施例中的图像处理方法。
以上参照示出根据本申请实施例的方法、装置(系统)和/或计算机程序产品的框图和/或流程图描述本申请。应理解，可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程数据处理装置，以产生机器，使得经由计算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。
相应地，还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本申请。更进一步地，本申请可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式，其具有在介质中实现的计算机可使用或计算机可读程序代码，以由指令执行系统来使用或结合指令执行系统而使用。在本申请上下文中，计算机可使用或计算机可读介质可以是任意介质，其可以包含、存储、通信、传输、或传送程序，以由指令执行系统、装置或设备使用，或结合指令执行系统、装置或设备使用。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (7)
1.一种对图像进行处理的显示设备，其特征在于，包括显示器、存储器、图形处理器：
所述显示器，与所述图形处理器连接，被配置为显示渲染后的图像；
所述存储器，与所述图形处理器连接，被配置为存储计算机程序指令；
所述图形处理器，被配置为根据所述计算机程序指令，执行以下操作：
接收视频会议过程中多个发送端各自发送的第一视频流和第二视频流；其中，所述多个发送端和显示设备分别处于不同的光照环境，所述第一视频流是基于不同时刻采集的原始图像编码生成的，所述第二视频流是基于不同时刻的掩码图像生成的，每个掩码图像是基于同一时刻的原始图像中抠出的人物区域生成的，所述原始图像和所述掩码图像的分辨率相同，每个掩码图像包括黑、白、灰三种颜色或者黑、白两种颜色，每个第一视频流中携带相应发送端对应用户所在真实环境的光照类型，每个第二视频流携带相应发送端对应用户在所述掩码图像中的位置信息，所述位置信息包括用户在所述掩码图像中的人物区域的参考点坐标以及所述人物区域的宽度或高度；
针对每个发送端，对其发送的第一视频流和第二视频流解码，并根据时间戳选取时间戳相同的原始图像和掩码图像；
针对所述多个发送端中的第一发送端和第二发送端，执行以下操作：
根据所述第一发送端发送的所述第一视频流中第一光照类型，采用所述第一光照类型对应的第一饱和度矩阵在RGB颜色空间对所述第一发送端发送的第一视频流中解码出的第一原始图像进行第一滤光处理，以及，根据所述第二发送端发送的第二视频流中的第二光照类型，采用所述第二光照类型对应的第二饱和度矩阵在RGB颜色空间对所述第二发送端发送的第二视频流解码出的第二原始图像进行第二滤光处理；其中，所述第一发送端和所述第二发送端分别是所述多个发送端中的任意两个发送端，所述第一发送端和所述第二发送端处于不同的环境光下时所述第一饱和度矩阵和所述第二饱和度矩阵不同，光照类型用于确定饱和度矩阵中各个颜色分量的权重系数；
获取虚拟会议空间的第三光照类型；根据所述第三光照类型对应的第三饱和度矩阵，在RGB颜色空间对所述第一滤光处理后的第一原始图像进行二次滤光处理，以及，根据所述第三光照类型对应的第三饱和度矩阵，在RGB颜色空间对所述第二滤光处理后的第二原始图像进行二次滤光处理；其中，所述虚拟会议空间被所述第一发送端对应用户的第一人物模型和第二发送端对应用户的第二人物模型所共用；
根据所述第一发送端对应的二次滤光处理后的第一原始图像和所述第一发送端发送的所述第二视频流中解码出的与所述第一原始图像具有相同时间戳的第一掩码图像，在所述虚拟会议空间中渲染所述第一人物模型，并根据所述第一掩码图像中的位置信息显示所述第一人物模型，以及，根据所述第二发送端对应的二次滤光处理后的第二原始图像和所述第二发送端发送的所述第二视频流中解码出的与所述第二原始图像具有相同时间戳的第二掩码图像，在所述虚拟会议空间中渲染所述第二人物模型，并根据所述第二掩码图像中的位置信息显示所述第二人物模型。
2.如权利要求1所述的显示设备，其特征在于，针对所述第一发送端和所述第二发送端中的任一个发送端，根据所述发送端对应的二次滤光处理后的原始图像和所述发送端发送的所述第二视频流中解码出的与所述原始图像具有相同时间戳的掩码图像，在所述虚拟会议空间中渲染人物模型，并根据所述掩码图像中的位置信息显示所述人物模型，包括：
根据待渲染像素点的UV坐标，从二次滤光处理后的原始图像中获取所述待渲染像素点的第一颜色值，以及从具有相同时间戳的掩码图像中获取所述待渲染像素点的第二颜色值；
若所述第二颜色值小于等于设定的颜色阈值，则将所述第一颜色值中的透明度分量设置为透明取值，得到目标颜色值，否则将所述第一颜色值确定为所述目标颜色值；
根据所述待渲染像素点的目标颜色值，渲染所述发送单对应用户在所述虚拟会议空间中的人物模型；
根据所述位置信息中人物区域的参考点坐标以及所述人物区域的宽度或高度，在相应方向上调整所述人物模型的位置；
显示调整后的人物模型。
3.如权利要求1所述的显示设备，其特征在于，所述图形处理器根据所述位置信息中人物区域的参考点坐标以及所述人物区域的宽度或高度，在相应方向上调整所述人物模型的位置，具体被配置为：
根据所述参考点坐标和所述人物区域的宽度或高度，确定所述人物模型的中心点坐标；
根据所述中心点坐标以及预设的人物模型的头部大小，确定所述人物模型在相应方向的移动距离。
4.如权利要求3所述的显示设备，其特征在于，所述图形处理器根据所述位置信息，确定所述人物模型的中心点坐标，具体被配置为：
根据所述参考点的U坐标以及所述人物区域的宽度，确定所述人物模型中心点的U坐标；或者
根据所述参考点的V坐标以及所述人物区域的高度，确定所述人物模型中心点的V坐标；
所述图形处理器根据所述中心点坐标以及预设的人物模型的头部大小，确定所述人物模型在相应方向的移动距离，具体被配置为：
根据所述中心点坐标中的U坐标与所述人物模型的理论U坐标的大小，确定所述人物模型的横向移动距离，以及根据所述人物模型的头部理论V坐标与预设的头部大小，确定所述人物模型的纵向移动距离，所述人物模型的理论U坐标是根据所述渲染后的图像的横向分辨率确定的，所述人物模型的头部理论V坐标是根据所述渲染后的图像的纵向分辨率确定的；或者
根据所述中心点坐标中的V坐标与所述人物模型的理论V坐标的大小，确定所述人物模型的纵向移动距离，以及根据所述人物模型的头部理论U坐标与预设的头部大小，确定所述人物模型的横向移动距离，所述人物模型的理论V坐标是根据所述渲染后的图像的纵向分辨率确定的，所述人物模型的头部理论U坐标是根据所述渲染后的图像的横向分辨率确定的。
5.如权利要求1所述的显示设备，其特征在于，所述图像处理器还被配置为：
根据所述位置信息中所述人物区域的宽度，与虚拟空间中参考物的预设宽度的比例，调整所述人物模型的大小；或者
根据所述位置信息中所述人物区域的高度，与虚拟空间中参考物的预设高度的比例，调整所述人物模型的大小。
6.如权利要求1-5中任一项所述的显示设备，其特征在于，所述图形处理器针对所述第一发送端和所述第二发送端中的任意一个发送端，根据所述发送端发送的所述第一视频流中光照类型，采用所述光照类型对应的饱和度矩阵在RGB颜色空间对所述发送端发送的第一视频流中解码出的原始图像进行一次滤光处理，具体被配置为：
根据所述发送端发送的第一视频流携带的光照类型，确定颜色值中各个颜色分量的权重系数，生成过滤矩阵；
将所述过滤矩阵与所述发送端发送的第一视频流中解码出的原始图像中像素点的颜色值矩阵相乘，得到一次滤光处理后的原始图像。
7.一种对图像进行处理的显示设备，其特征在于，包括摄像头、存储器、图形处理器：
所述摄像头，与所述图形处理器连接，被配置为采集图像；
所述存储器，与所述图形处理器连接，被配置为存储计算机程序指令；
所述图形处理器，被配置为根据所述计算机程序指令，执行以下操作：
采集视频会议过程中用户的原始图像；
根据所述原始图像，识别所述用户所在环境的光照类型；
对所述原始图像进行人物抠图处理，根据抠出的人物区域生成所述用户的掩码图像，所述掩码图像与所述原始图像的分辨率相同，所述掩码图像包括黑、白、灰三种颜色或者黑、白两种颜色；
对不同时刻采集的原始图像进行编码，获得第一视频流，以及，对不同时刻的掩码图像进行编码，获得第二视频流；其中，所述第一视频流携带所述用户所在环境的光照类型，以及所述第二视频流携带所述用户在所述掩码图像中的位置信息，所述位置信息包括所述用户在所述掩码图像中的人物区域的参考点坐标，以及所述人物区域的宽度或高度，所述光照类型用于确定接收端在RGB颜色空间对所述第一视频流中的原始图像进行一次滤光处理时采用的饱和度矩阵中各个颜色分量的权重系数，且一次滤光处理后的原始图像又被所述接收端在RGB颜色空间根据虚拟会议空间的光照类型对应的饱和度矩阵进行了二次滤光处理；
将所述第一视频流和所述第二视频流分别发送给所述接收端，以使所述接收端在RGB颜色空间根据所述用户所在环境的光照类型对应的饱和度矩阵以及所述虚拟会议空间的光照类型对应的饱和度矩阵，分别对所述第一视频流中解码出的每张原始图像进行滤光处理，并根据滤光处理后的原始图像和所述第二视频流中解码出的具有相同时间戳的掩码图像，在所述虚拟会议空间中渲染所述用户的人物模型，并按所述掩码图中的位置信息显示所述人物模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110392359.8A CN113206971B (zh) | 2021-04-13 | 2021-04-13 | 一种图像处理方法及显示设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110392359.8A CN113206971B (zh) | 2021-04-13 | 2021-04-13 | 一种图像处理方法及显示设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113206971A CN113206971A (zh) | 2021-08-03 |
| CN113206971B true CN113206971B (zh) | 2023-10-24 |
Family
ID=77026574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110392359.8A Active CN113206971B (zh) | 2021-04-13 | 2021-04-13 | 一种图像处理方法及显示设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113206971B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114222187B (zh) * | 2021-08-12 | 2023-08-29 | 荣耀终端有限公司 | 视频编辑方法和电子设备 |
| JP7250101B1 (ja) | 2021-12-03 | 2023-03-31 | レノボ・シンガポール・プライベート・リミテッド | 画像処理装置、情報処理装置、ビデオ会議サーバ、及びビデオ会議システム |
| CN114708377B (zh) * | 2022-06-02 | 2022-09-30 | 杭州华鲤智能科技有限公司 | 一种虚拟空间中的3d图像渲染方法 |
| CN114820906B (zh) * | 2022-06-24 | 2022-11-22 | 北京百度网讯科技有限公司 | 图像渲染方法、装置、电子设备及存储介质 |
| CN115866254A (zh) * | 2022-11-24 | 2023-03-28 | 亮风台（上海）信息科技有限公司 | 一种传输视频帧及摄像参数信息的方法与设备 |
| CN116630583A (zh) * | 2023-07-24 | 2023-08-22 | 北京亮亮视野科技有限公司 | 虚拟信息的生成方法、装置、电子设备及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103606182A (zh) * | 2013-11-19 | 2014-02-26 | 华为技术有限公司 | 图像渲染方法及装置 |
| CN106097429A (zh) * | 2016-06-23 | 2016-11-09 | 腾讯科技（深圳）有限公司 | 一种图像处理方法和装置 |
| CN106331850A (zh) * | 2016-09-18 | 2017-01-11 | 上海幻电信息科技有限公司 | 浏览器直播客户端、浏览器直播系统及浏览器直播方法 |
| CN107134005A (zh) * | 2017-05-04 | 2017-09-05 | 网易（杭州）网络有限公司 | 光照适配方法、装置、存储介质、处理器及终端 |
| CN107707834A (zh) * | 2017-09-11 | 2018-02-16 | 广东欧珀移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
| CN108449569A (zh) * | 2018-03-13 | 2018-08-24 | 重庆虚拟实境科技有限公司 | 虚拟会议方法、系统、装置、计算机装置及存储介质 |
| CN108573470A (zh) * | 2017-03-08 | 2018-09-25 | 北京大学 | 图像拼接方法及装置 |
| CN108986199A (zh) * | 2018-06-14 | 2018-12-11 | 北京小米移动软件有限公司 | 虚拟模型处理方法、装置、电子设备及存储介质 |
| CN110047034A (zh) * | 2019-03-27 | 2019-07-23 | 北京大生在线科技有限公司 | 在线教育场景下的抠图换背景方法、客户端及系统 |
| CN110351592A (zh) * | 2019-07-17 | 2019-10-18 | 深圳市蓝鲸数据科技有限公司 | 动画呈现方法、装置、计算机设备和存储介质 |
| CN112446939A (zh) * | 2020-11-19 | 2021-03-05 | 深圳市中视典数字科技有限公司 | 三维模型动态渲染方法、装置、电子设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9940858B2 (en) * | 2016-05-16 | 2018-04-10 | Unity IPR ApS | System and method for assymetric rendering to eyes in augmented reality and virtual reality devices |
-
2021
- 2021-04-13 CN CN202110392359.8A patent/CN113206971B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103606182A (zh) * | 2013-11-19 | 2014-02-26 | 华为技术有限公司 | 图像渲染方法及装置 |
| CN106097429A (zh) * | 2016-06-23 | 2016-11-09 | 腾讯科技（深圳）有限公司 | 一种图像处理方法和装置 |
| CN106331850A (zh) * | 2016-09-18 | 2017-01-11 | 上海幻电信息科技有限公司 | 浏览器直播客户端、浏览器直播系统及浏览器直播方法 |
| CN108573470A (zh) * | 2017-03-08 | 2018-09-25 | 北京大学 | 图像拼接方法及装置 |
| CN107134005A (zh) * | 2017-05-04 | 2017-09-05 | 网易（杭州）网络有限公司 | 光照适配方法、装置、存储介质、处理器及终端 |
| CN107707834A (zh) * | 2017-09-11 | 2018-02-16 | 广东欧珀移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
| CN108449569A (zh) * | 2018-03-13 | 2018-08-24 | 重庆虚拟实境科技有限公司 | 虚拟会议方法、系统、装置、计算机装置及存储介质 |
| CN108986199A (zh) * | 2018-06-14 | 2018-12-11 | 北京小米移动软件有限公司 | 虚拟模型处理方法、装置、电子设备及存储介质 |
| CN110047034A (zh) * | 2019-03-27 | 2019-07-23 | 北京大生在线科技有限公司 | 在线教育场景下的抠图换背景方法、客户端及系统 |
| CN110351592A (zh) * | 2019-07-17 | 2019-10-18 | 深圳市蓝鲸数据科技有限公司 | 动画呈现方法、装置、计算机设备和存储介质 |
| CN112446939A (zh) * | 2020-11-19 | 2021-03-05 | 深圳市中视典数字科技有限公司 | 三维模型动态渲染方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113206971A (zh) | 2021-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113206971B (zh) | 一种图像处理方法及显示设备 | |
| EP2299726B1 (en) | Video communication method, apparatus and system | |
| EP3457697A1 (en) | Method and apparatus for encoding and decoding video image | |
| CN101689292A (zh) | Banana多媒体数字信号编解码器 | |
| CA2333036A1 (en) | Method and apparatus for processing, displaying and communicating images | |
| CN110401810B (zh) | 虚拟画面的处理方法、装置、系统、电子设备及存储介质 | |
| WO2016110188A1 (zh) | 一种即时视频中的人脸美化方法和电子设备 | |
| EP3434021B1 (en) | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices | |
| US9992450B1 (en) | Systems and methods for background concealment in video conferencing session | |
| CN110505471B (zh) | 一种头戴显示设备及其屏幕采集方法、装置 | |
| CN112446939A (zh) | 三维模型动态渲染方法、装置、电子设备及存储介质 | |
| CN110012336A (zh) | 直播界面的图片配置方法、终端及装置 | |
| JP4188224B2 (ja) | 画像処理方法 | |
| US20180338160A1 (en) | Method and Apparatus for Reduction of Artifacts in Coded Virtual-Reality Images | |
| TW201414307A (zh) | 會議終端及該會議終端的視頻處理方法 | |
| CN107087153B (zh) | 3d图像生成方法、装置及vr设备 | |
| CN116962743A (zh) | 视频图像编码、抠图方法和装置及直播系统 | |
| JP2020115299A (ja) | 仮想空間情報処理装置、方法、プログラム | |
| KR102357262B1 (ko) | 통신 장치 및 그 영상통화 방법 | |
| JP7102844B2 (ja) | フレーム補間装置、フレーム補間方法およびフレーム補間プログラム | |
| US20210297649A1 (en) | Image data output device, content creation device, content reproduction device, image data output method, content creation method, and content reproduction method | |
| CN107241199B (zh) | 一种会议终端的图像处理方法及装置 | |
| CN112929703A (zh) | 码流数据的处理方法和装置 | |
| CN112541858A (zh) | 视频图像的增强方法、装置、设备、芯片及存储介质 | |
| JP2008054331A (ja) | 画像処理方法及びその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |