CN107864343B - 基于显卡的电脑直播图像渲染方法及系统 - Google Patents

基于显卡的电脑直播图像渲染方法及系统 Download PDF

Info

Publication number
CN107864343B
CN107864343B CN201710927634.5A CN201710927634A CN107864343B CN 107864343 B CN107864343 B CN 107864343B CN 201710927634 A CN201710927634 A CN 201710927634A CN 107864343 B CN107864343 B CN 107864343B
Authority
CN
China
Prior art keywords
image
rendering
pixel
camera lens
video card
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710927634.5A
Other languages
English (en)
Other versions
CN107864343A (zh
Inventor
姜军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Huandian Information Technology Co Ltd
Original Assignee
Shanghai Huandian Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Huandian Information Technology Co Ltd filed Critical Shanghai Huandian Information Technology Co Ltd
Priority to CN201710927634.5A priority Critical patent/CN107864343B/zh
Publication of CN107864343A publication Critical patent/CN107864343A/zh
Application granted granted Critical
Publication of CN107864343B publication Critical patent/CN107864343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于显卡的电脑直播图像渲染方法和系统，属于计算机技术领域。该发明的方法和系统利用显卡获取镜头画面及滤镜色彩映射表，并基于左边转化关系和滤镜色彩映射表将镜头画面渲染为渲染图像；从而具有高速处理能力，保持1920x1080分辨率、30帧每秒的实时处理速度执行色彩优化滤镜，满足高端摄像头的滤镜需求，确保画面清晰度及视频流畅度，进而提高了用户使用体验，且本发明的基于显卡的电脑直播图像渲染方法及系统，其应用方式简便，应用成本低廉，应用范围也较为广泛。

Description

基于显卡的电脑直播图像渲染方法及系统
技术领域
本发明涉及计算机技术领域，特别视频处理涉及技术领域，具体是指一种基于显卡的电脑直播图像渲染方法及系统。
背景技术
随着互联网技术的进步，自媒体的兴起，直播成为目前流行的自媒体形式。各种直播软件通常具有滤镜功能，以达到美化图像的目的。但直播软件的滤镜功能与图像处理软件的不同，其需要更高的图像处理能力才能在实现滤镜功能的同时保证视频清晰度及传输效果。
目前，大量手机软件提供了摄像头画面的滤镜功能。但因为手机运算芯片的局限性，其仅使用了手机的图形处理器进行画面色彩调节，如较为著名的手机软件GPUImage等。
而在电脑直播平台上，现存有大量为播摄像头助手类软件，提供了摄像头画面的滤镜功能。这类软件通常使用CPU进行色彩调节，无法提供的高速处理能力。
因此，如何提供一种具有高速处理能力，保证画面清晰度及视频流畅度，提高用户使用体验的基于电脑的直播图像渲染方法成为本领域亟待解决的问题。
发明内容
本发明的目的是克服了上述现有技术中的缺点，提供一种具有高速处理能力，保证画面清晰度及视频流畅度，进而可提高用户使用体验的，且应用方式简便，应用范围广泛的基于显卡的电脑直播图像渲染方法及系统。
电脑包括中央处理器以及连接该中央处理器的内存、摄像头及所述显卡，所述显卡包括相互连接的图像处理器和显存。
为了实现上述的目的，本发明的基于显卡的电脑直播图像渲染方法以下步骤：
(1)所述的中央处理器控制所述的摄像头获取镜头画面并存储至所述的内存；
(2)所述的显存获取所述的镜头画面及滤镜色彩映射表；
(3)所述的图像处理器获取预览图像显示坐标，并将所述的预览图像显示坐标转换为最终图像显示坐标；
(4)基于所述的最终图像显示坐标将所述的镜头画面中的所有像素根据所述的滤镜色彩映射表进行渲染，获得渲染图像；
(5)将所述的渲染图像存储至所述内存。
该基于显卡的电脑直播图像渲染方法中，所述的步骤(1)具体为，通过调用所述电脑的操作系统中的接口指令，从所述的摄像头获取镜头画面，并存入所述内存中。
该基于显卡的电脑直播图像渲染方法中，所述的步骤(2)具体包括以下步骤：
(21)所述的显卡建立渲染管线，该渲染管线包括用于通过参考纹理实现图像色彩美化的代码，所述的代码包括所述的滤镜色彩映射表；
(22)所述的显卡从内存获取所述的镜头画面并保存至所述显存。
该基于显卡的电脑直播图像渲染方法中，所述的显卡建立渲染管线具体包括：
所述的显卡运行一像素着色器；
在所述的像素着色器存储所述的通过参考纹理实现图像色彩美化的代码；
将所述的滤镜色彩映射表作为所述的代码的参数。
该基于显卡的电脑直播图像渲染方法中，所述的步骤(3)具体为：所述的显卡运行一顶点着色器，该顶点着色器根据镜头画面在预览画面中显示的位置获取预览图像显示坐标，并建立所述的预览图像显示坐标与所述的最终图像显示坐标之间的坐标转换关系。
该基于显卡的电脑直播图像渲染方法中，所述的步骤(4)具体为：所述的显卡执行所述的渲染管线，并基于所述的坐标转换关系，生成经过渲染的所述的渲染图像。
该基于显卡的电脑直播图像渲染方法中，所述的步骤(4)具体包括以下步骤：
(41)所述的显卡运行一片段着色器；
(42)该片段着色器基于所述的坐标转换关系对所述的镜头画面中的各个像素根据所述的滤镜色彩映射表建立所述的镜头画面与所述的最终图像间的像素映射关系；
(43)该片段着色器根据所述的像素映射关系对各个像素中的三原色进行线性插值，获得所述的渲染图像。
该基于显卡的电脑直播图像渲染方法中，所述的步骤(42)具体包括以下步骤：
(42a)该片段着色器选择所述的镜头画面中的一个像素；
(42b)区分该像素在所述镜头画面中的不同区域；
(42c)根据步骤(42b)的结果确定渲染方案；
(42d)该片段着色器基于所述的坐标转换关系，并根据所述的渲染方案及所述的滤镜色彩映射表建立该像素在所述的镜头画面与所述的最终图像间的像素映射关系；
(42e)若未处理完所述的镜头画面中的全部像素则返回步骤(42a)，若处理完则进入步骤(43)。
该基于显卡的电脑直播图像渲染方法中，所述的步骤(42b)具体为：所述的片段着色器通过YUV椭圆模型区分该像素是否为皮肤区域；所述的步骤(42c)具体为：若为皮肤区域，则对该像素进行磨皮、强美白渲染处理；若为非皮肤区域，则对该像素进行弱美白渲染处理。
该基于显卡的电脑直播图像渲染方法中该方法还包括以下步骤：
(6)所述的中央处理器对所述的渲染图像进行编码，输出H.264视频流。
本发明还提供一种基于显卡的电脑直播图像渲染系统，包括中央处理器以及连接该中央处理器的内存、摄像头及显卡，所述的摄像头用以获取镜头画面并存储至所述的内存，其中所述显卡包括：显存和图像处理器。显存用以获取所述的镜头画面及滤镜色彩映射表；图像处理器连接所述的显存，用以获取预览图像显示坐标，并将所述的预览图像显示坐标转换为最终图像显示坐标；而后基于所述的最终图像显示坐标将所述的镜头画面中的所有像素根据所述的滤镜色彩映射表进行渲染，获得渲染图像，并将该渲染图像存储至所述内存。
该基于显卡的电脑直播图像渲染系统中，所述的中央处理器通过调用所述电脑的操作系统中的接口指令，从所述的摄像头获取镜头画面，并存入所述内存中。
该基于显卡的电脑直播图像渲染系统中，所述的显卡还用以建立渲染管线，该渲染管线包括用于通过参考纹理实现图像色彩美化的代码，所述的代码包括所述的滤镜色彩映射表；并从所述的内存获取所述的镜头画面并保存至所述显存。
该基于显卡的电脑直播图像渲染系统中，所述的渲染管线包括一像素着色器，所述的像素着色器用以存储所述的通过参考纹理实现图像色彩美化的代码，并将所述的滤镜色彩映射表作为所述的代码的参数。
该基于显卡的电脑直播图像渲染系统中，所述的显卡还具有一顶点着色器，该顶点着色器用以根据镜头画面在预览画面中显示的位置获取预览图像显示坐标，并建立所述的预览图像显示坐标与所述的最终图像显示坐标之间的坐标转换关系。
该基于显卡的电脑直播图像渲染系统中，所述的显卡还用以执行所述的渲染管线，并基于所述的坐标转换关系，生成经过渲染的所述的渲染图像。
该基于显卡的电脑直播图像渲染系统中，所述的显卡运行一片段着色器；该片段着色器用以基于所述的坐标转换关系对所述的镜头画面中的各个像素根据所述的滤镜色彩映射表建立所述的镜头画面与所述的最终图像间的像素映射关系；并根据所述的像素映射关系对各个像素中的三原色进行线性插值，获得所述的渲染图像。
该基于显卡的电脑直播图像渲染系统中，所述的片段着色器用以基于所述的坐标转换关系对所述的镜头画面中的各个像素根据所述的滤镜色彩映射表建立所述的镜头画面与所述的最终图像间的像素映射关系具体是指：该片段着色器用以选择所述的镜头画面中的一个像素；区分该像素在所述镜头画面中的不同区域；根据步骤区分的结果确定渲染方案；基于所述的坐标转换关系，并根据所述的渲染方案及所述的滤镜色彩映射表建立该像素在所述的镜头画面与所述的最终图像间的像素映射关系；并判断是否处理完所述的镜头画面中的全部像素。
该基于显卡的电脑直播图像渲染系统中，所述的区分该像素在所述镜头画面中的不同区域具体是指：所述的片段着色器用以通过YUV椭圆模型区分该像素是否为皮肤区域；所述的根据步骤区分的结果确定渲染方案具体是指：若为皮肤区域，则所述的片段着色器对该像素进行磨皮、强美白渲染处理；若为非皮肤区域，则所述的片段着色器对该像素进行弱美白渲染处理。
该基于显卡的电脑直播图像渲染系统中，所述的中央处理器还用以对所述的渲染图像进行编码，输出H.264视频流。
采用了该发明的基于显卡的电脑直播图像渲染方法和系统，由于其利用显卡获取镜头画面及滤镜色彩映射表，并基于左边转化关系和滤镜色彩映射表将镜头画面渲染为渲染图像；从而具有高速处理能力，保持1920x1080分辨率、30帧每秒的实时处理速度执行色彩优化滤镜，满足高端摄像头的滤镜需求，确保画面清晰度及视频流畅度，进而提高了用户使用体验，且本发明的基于显卡的电脑直播图像渲染方法及系统，其应用方式简便，应用成本低廉，应用范围也较为广泛。
附图说明
图1为本发明的基于显卡的电脑直播图像渲染方法的步骤流程图。
图2为本发明的基于显卡的电脑直播图像渲染系统的结构示意图。
图3为本发明的基于显卡的电脑直播图像渲染方法中显存获取镜头画面及滤镜色彩映射表步骤的步骤流程图。
图4为本发明的基于显卡的电脑直播图像渲染方法中进行渲染步骤的步骤流程图。
图5为本发明的基于显卡的电脑直播图像渲染方法中对像素分区域实现不同渲染方案步骤的步骤流程图。
图6为本发明的基于显卡的电脑直播图像渲染方法在实际应用中的流程示意图。
图7为利用本发明的基于显卡的电脑直播图像渲染方法及系统实现的图像渲染的效果对比图。
具体实施方式
为了能够更清楚地理解本发明的技术内容，特举以下实施例详细说明。
请参阅图1所示，为本发明的基于显卡的电脑直播图像渲染方法的步骤流程图。
在一种实施方式中，所述电脑包括中央处理器以及连接该中央处理器的内存、摄像头及所述显卡，所述显卡包括相互连接的图像处理器和显存。所述的基于显卡的电脑直播图像渲染方法包括以下步骤：
(1)所述的中央处理器控制所述的摄像头获取镜头画面并存储至所述的内存；
(2)所述的显存获取所述的镜头画面及滤镜色彩映射表；
(3)所述的图像处理器获取预览图像显示坐标，并将所述的预览图像显示坐标转换为最终图像显示坐标；
(4)基于所述的最终图像显示坐标将所述的镜头画面中的所有像素根据所述的滤镜色彩映射表进行渲染，获得渲染图像；
(5)将所述的渲染图像存储至所述内存。
进而还可以包括步骤：
(6)所述的中央处理器对所述的渲染图像进行编码，输出H.264视频流。
在实现该实施方式所述方法的基于显卡的电脑直播图像渲染系统中，如图2所示，包括中央处理器以及连接该中央处理器的内存、摄像头及显卡，所述的摄像头用以获取镜头画面并存储至所述的内存。
所述显卡包括：显存和图像处理器。显存用以获取所述的镜头画面及滤镜色彩映射表；
图像处理器连接所述的显存，用以获取预览图像显示坐标，并将所述的预览图像显示坐标转换为最终图像显示坐标；而后基于所述的最终图像显示坐标将所述的镜头画面中的所有像素根据所述的滤镜色彩映射表进行渲染，获得渲染图像，并将该渲染图像存储至所述内存。
进而所述的中央处理器还用以对所述的渲染图像进行编码，输出H.264视频流。
在一种较优选的实施方式中，所述的步骤(1)具体为，通过调用所述电脑的操作系统中的接口指令，从所述的摄像头获取镜头画面，并存入所述内存中。
在实现该实施方式所述方法的基于显卡的电脑直播图像渲染系统中，所述的中央处理器通过调用所述电脑的操作系统中的接口指令，从所述的摄像头获取镜头画面，并存入所述内存中。
在另一种较优选的实施方式中，所述的步骤(2)，如图3所示，具体包括以下步骤：
(21)所述的显卡建立渲染管线，该渲染管线包括用于通过参考纹理实现图像色彩美化的代码，所述的代码包括所述的滤镜色彩映射表；
(22)所述的显卡从内存获取所述的镜头画面并保存至所述显存。
在实现该实施方式所述方法的基于显卡的电脑直播图像渲染系统中，所述的显卡还用以建立渲染管线，该渲染管线包括用于通过参考纹理实现图像色彩美化的代码，所述的代码包括所述的滤镜色彩映射表；并从所述的内存获取所述的镜头画面并保存至所述显存。
在一种进一步优选的实施方式中，所述的显卡建立渲染管线具体包括：所述的显卡运行一像素着色器；在所述的像素着色器存储所述的通过参考纹理实现图像色彩美化的代码；将所述的滤镜色彩映射表作为所述的代码的参数。
在实现该实施方式所述方法的基于显卡的电脑直播图像渲染系统中，所述的渲染管线包括一像素着色器，所述的像素着色器用以存储所述的通过参考纹理实现图像色彩美化的代码，并将所述的滤镜色彩映射表作为所述的代码的参数。
在一种更进一步优选的实施方式中，所述的步骤(3)具体为：
所述的显卡运行一顶点着色器，该顶点着色器根据镜头画面在预览画面中显示的位置获取预览图像显示坐标，并建立所述的预览图像显示坐标与所述的最终图像显示坐标之间的坐标转换关系。
在实现该实施方式所述方法的基于显卡的电脑直播图像渲染系统中，所述的显卡还具有一顶点着色器，该顶点着色器用以根据镜头画面在预览画面中显示的位置获取预览图像显示坐标，并建立所述的预览图像显示坐标与所述的最终图像显示坐标之间的坐标转换关系。
在另一种更进一步优选的实施方式中，所述的步骤(4)具体为：所述的显卡执行所述的渲染管线，并基于所述的坐标转换关系，生成经过渲染的所述的渲染图像。
其中所述的步骤(4)，如图4所示，具体包括以下步骤：
(41)所述的显卡运行一片段着色器；
(42)该片段着色器基于所述的坐标转换关系对所述的镜头画面中的各个像素根据所述的滤镜色彩映射表建立所述的镜头画面与所述的最终图像间的像素映射关系；
(43)该片段着色器根据所述的像素映射关系对各个像素中的三原色进行线性插值，获得所述的渲染图像。
在实现该实施方式所述方法的基于显卡的电脑直播图像渲染系统中，所述的显卡还用以执行所述的渲染管线，并基于所述的坐标转换关系，生成经过渲染的所述的渲染图像。具体是指，所述的显卡运行一片段着色器；该片段着色器用以基于所述的坐标转换关系对所述的镜头画面中的各个像素根据所述的滤镜色彩映射表建立所述的镜头画面与所述的最终图像间的像素映射关系；并根据所述的像素映射关系对各个像素中的三原色进行线性插值，获得所述的渲染图像。
在更优选的实施方式中，所述的步骤(42)，如图5所示，具体包括以下步骤：
(42a)该片段着色器选择所述的镜头画面中的一个像素；
(42b)区分该像素在所述镜头画面中的不同区域；
(42c)根据步骤(42b)的结果确定渲染方案；
(42d)该片段着色器基于所述的坐标转换关系，并根据所述的渲染方案及所述的滤镜色彩映射表建立该像素在所述的镜头画面与所述的最终图像间的像素映射关系；
(42e)若未处理完所述的镜头画面中的全部像素则返回步骤(42a)，若处理完则进入步骤(43)。
其中，所述的步骤(42b)具体为：所述的片段着色器通过YUV椭圆模型区分该像素是否为皮肤区域；所述的步骤(42c)具体为：若为皮肤区域，则对该像素进行磨皮、强美白渲染处理；若为非皮肤区域，则对该像素进行弱美白渲染处理。
在实现该实施方式所述方法的基于显卡的电脑直播图像渲染系统中，所述的片段着色器用以基于所述的坐标转换关系对所述的镜头画面中的各个像素根据所述的滤镜色彩映射表建立所述的镜头画面与所述的最终图像间的像素映射关系具体是指：
该片段着色器用以选择所述的镜头画面中的一个像素；区分该像素在所述镜头画面中的不同区域；根据步骤区分的结果确定渲染方案；基于所述的坐标转换关系，并根据所述的渲染方案及所述的滤镜色彩映射表建立该像素在所述的镜头画面与所述的最终图像间的像素映射关系；并判断是否处理完所述的镜头画面中的全部像素。
具体而言，所述的区分该像素在所述镜头画面中的不同区域具体是指：所述的片段着色器用以通过YUV椭圆模型区分该像素是否为皮肤区域；所述的根据步骤区分的结果确定渲染方案具体是指：若为皮肤区域，则所述的片段着色器对该像素进行磨皮、强美白渲染处理；若为非皮肤区域，则所述的片段着色器对该像素进行弱美白渲染处理。
在实际应用中，本发明的基于显卡的电脑直播图像渲染方法和系统可以采用下列若干种实施例实现。
实施例1
1、创建Direct3D渲染管线，在PixelShader(像素着色器)里写好通过参考纹理来实现色彩美化的代码，具体是画面的红绿蓝三原色数据作为纹理的坐标、在纹理中提取对应的颜色。
2、载入与GPUImage的LookupTable滤镜相兼容的色彩映射表纹理，并上传至显存，作为上述PixelShader代码的参数传入。
3、通过编写DirectShow滤镜并组件媒体流图的方式，抓去摄像头画面并上传至显存。
4、执行Direct3D渲染管线，让PixelShader的代码对摄像头画面进行处理，生成目标画面。
5、将目标画面从显存下载到内存，供后续的编码、推流到直播服务器备用。
实施例2
以Windows系统为例，实现的基本步骤如图6所示，包括：
1、通过调用Windows系统的DirectShow接口，从摄像头设备捕捉到镜头画面，存入内存中。
2、在显存中创建两个纹理，将摄像头画面和色彩滤镜的色彩映射表传输到显存中。
3、软件给出镜头画面在预览画面中显示的位置，将位置坐标传输到显存中，通过顶点着色器进行坐标系转换，得到最终显示坐标。
4、通过所给坐标在镜头画面纹理中采样，得到一个像素。
5、根据色彩映射表对映射后的两个颜色进行线性插值，得到精确的最终输出。
6、将处理后的纹理从显存传输到内存中。
7、将内存中的画面进行编码，输出H.264视频流；将麦克风采集的声音进行编码，输出AAC音频流。
8、将编码后的视频流与音频流传输至直播服务器。
实施例3
在实施例2的基础上，在步骤4与5之间，可以对所过的的像素通过YUV椭圆模型区分画面内容的区分。以区分皮肤为例。若像素为皮肤颜色，则进行磨皮、强美白处理。若非皮肤颜色，不进行磨皮、弱美白处理。对于美白后颜色的像素点，分解为红绿蓝三原色，通过蓝色得到映射后颜色所在映射表中64个小块的具体哪两个小块之间，通过红色和绿色得到映射后颜色在当前小块的什么位置。
本发明借助Direct3D在电脑上使用显卡进行高性能色彩美化，借助LUT(Look UpTable)定义色彩映射表，实现基于OBS提供的图形处理抽象层直接接入直播软件。
其与现有技术区别在于，其应用于电脑软件OBS直播时的色彩美化滤镜中，拥有远超CPU处理的性能，能在仅有核芯显卡的电脑上、在已经开启肤色检测、磨皮、美白高光的基础上，保持1920x1080分辨率、30帧每秒的实时处理速度来执行色彩优化滤镜，满足高端摄像头的滤镜需求。其最终效果如图7所示，图像左半为渲染前的效果，后半为渲染后的效果。
采用了该发明的基于显卡的电脑直播图像渲染方法和系统，由于其利用显卡获取镜头画面及滤镜色彩映射表，并基于左边转化关系和滤镜色彩映射表将镜头画面渲染为渲染图像；从而具有高速处理能力，保持1920x1080分辨率、30帧每秒的实时处理速度执行色彩优化滤镜，满足高端摄像头的滤镜需求，确保画面清晰度及视频流畅度，进而提高了用户使用体验，且本发明的基于显卡的电脑直播图像渲染方法及系统，其应用方式简便，应用成本低廉，应用范围也较为广泛。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (14)

1.一种基于显卡的电脑直播图像渲染方法，所述电脑包括中央处理器以及连接该中央处理器的内存、摄像头及所述显卡，所述显卡包括相互连接的图像处理器和显存，其特征在于，所述的方法包括以下步骤：
(1)所述的中央处理器控制所述的摄像头获取镜头画面并存储至所述的内存；
(2)所述的显存获取所述的镜头画面及滤镜色彩映射表；
(3)所述的图像处理器获取预览图像显示坐标，并将所述的预览图像显示坐标转换为最终图像显示坐标；
(4)基于所述的最终图像显示坐标将所述的镜头画面中的所有像素根据所述的滤镜色彩映射表进行渲染，获得渲染图像；
(5)将所述的渲染图像存储至所述内存，
其中，所述的步骤(4)具体包括以下步骤：
(41)所述的显卡运行一片段着色器；
(42)该片段着色器基于坐标转换关系对所述的镜头画面中的各个像素根据所述的滤镜色彩映射表建立所述的镜头画面与所述的最终图像间的像素映射关系；
(43)该片段着色器根据所述的像素映射关系对各个像素中的三原色进行线性插值，获得所述的渲染图像，
所述的步骤(42)具体包括以下步骤：
(42a)该片段着色器选择所述的镜头画面中的一个像素；
(42b)区分该像素在所述镜头画面中的不同区域；
(42c)根据步骤(42b)的结果确定渲染方案；
(42d)该片段着色器基于所述的坐标转换关系，并根据所述的渲染方案及所述的滤镜色彩映射表建立该像素在所述的镜头画面与所述的最终图像间的像素映射关系；
(42e)若未处理完所述的镜头画面中的全部像素则返回步骤(42a)，若处理完则进入步骤(43)，
所述的步骤(42b)具体为：
所述的片段着色器通过YUV椭圆模型区分该像素是否为皮肤区域；
所述的步骤(42c)具体为：
若为皮肤区域，则对该像素进行磨皮、强美白渲染处理；若为非皮肤区域，则对该像素进行弱美白渲染处理。
2.根据权利要求1所述的基于显卡的电脑直播图像渲染方法，其特征在于，所述的步骤(1)具体为，
通过调用所述电脑的操作系统中的接口指令，从所述的摄像头获取镜头画面，并存入所述内存中。
3.根据权利要求1所述的基于显卡的电脑直播图像渲染方法，其特征在于，所述的步骤(2)具体包括以下步骤：
(21)所述的显卡建立渲染管线，该渲染管线包括用于通过参考纹理实现图像色彩美化的代码，所述的代码包括所述的滤镜色彩映射表；
(22)所述的显卡从内存获取所述的镜头画面并保存至所述显存。
4.根据权利要求3所述的基于显卡的电脑直播图像渲染方法，其特征在于，所述的显卡建立渲染管线具体包括：
所述的显卡运行一像素着色器；
在所述的像素着色器存储所述的通过参考纹理实现图像色彩美化的代码；
将所述的滤镜色彩映射表作为所述的代码的参数。
5.根据权利要求4所述的基于显卡的电脑直播图像渲染方法，其特征在于，所述的步骤(3)具体为：
所述的显卡运行一顶点着色器，该顶点着色器根据镜头画面在预览画面中显示的位置获取预览图像显示坐标，并建立所述的预览图像显示坐标与所述的最终图像显示坐标之间的坐标转换关系。
6.根据权利要求5所述的基于显卡的电脑直播图像渲染方法，其特征在于，所述的步骤(4)具体为：
所述的显卡执行所述的渲染管线，并基于所述的坐标转换关系，生成经过渲染的所述的渲染图像。
7.根据权利要求1所述的基于显卡的电脑直播图像渲染方法，其特征在于，该方法还包括以下步骤：
(6)所述的中央处理器对所述的渲染图像进行编码，输出视频流。
8.一种基于显卡的电脑直播图像渲染系统，包括中央处理器以及连接该中央处理器的内存、摄像头及显卡，所述的摄像头用以获取镜头画面并存储至所述的内存，其特征在于：
所述显卡包括：
显存，用以获取所述的镜头画面及滤镜色彩映射表；
图像处理器，连接所述的显存，用以获取预览图像显示坐标，并将所述的预览图像显示坐标转换为最终图像显示坐标；而后基于所述的最终图像显示坐标将所述的镜头画面中的所有像素根据所述的滤镜色彩映射表进行渲染，获得渲染图像，并将该渲染图像存储至所述内存，
所述的显卡运行一片段着色器；该片段着色器用以基于坐标转换关系对所述的镜头画面中的各个像素根据所述的滤镜色彩映射表建立所述的镜头画面与所述的最终图像间的像素映射关系；并根据所述的像素映射关系对各个像素中的三原色进行线性插值，获得所述的渲染图像，
所述的片段着色器用以基于所述的坐标转换关系对所述的镜头画面中的各个像素根据所述的滤镜色彩映射表建立所述的镜头画面与所述的最终图像间的像素映射关系具体是指：
该片段着色器用以选择所述的镜头画面中的一个像素；区分该像素在所述镜头画面中的不同区域；根据步骤区分的结果确定渲染方案；基于所述的坐标转换关系，并根据所述的渲染方案及所述的滤镜色彩映射表建立该像素在所述的镜头画面与所述的最终图像间的像素映射关系；并判断是否处理完所述的镜头画面中的全部像素，
所述的区分该像素在所述镜头画面中的不同区域具体是指：所述的片段着色器用以通过YUV椭圆模型区分该像素是否为皮肤区域；
所述的根据步骤区分的结果确定渲染方案具体是指：若为皮肤区域，则所述的片段着色器对该像素进行磨皮、强美白渲染处理；若为非皮肤区域，则所述的片段着色器对该像素进行弱美白渲染处理。
9.根据权利要求8所述的基于显卡的电脑直播图像渲染系统，其特征在于，所述的中央处理器通过调用所述电脑的操作系统中的接口指令，从所述的摄像头获取镜头画面，并存入所述内存中。
10.根据权利要求8所述的基于显卡的电脑直播图像渲染系统，其特征在于，所述的显卡还用以建立渲染管线，该渲染管线包括用于通过参考纹理实现图像色彩美化的代码，所述的代码包括所述的滤镜色彩映射表；并从所述的内存获取所述的镜头画面并保存至所述显存。
11.根据权利要求10所述的基于显卡的电脑直播图像渲染系统，其特征在于，所述的渲染管线包括一像素着色器，所述的像素着色器用以存储所述的通过参考纹理实现图像色彩美化的代码，并将所述的滤镜色彩映射表作为所述的代码的参数。
12.根据权利要求11所述的基于显卡的电脑直播图像渲染系统，其特征在于，所述的显卡还具有一顶点着色器，该顶点着色器用以根据镜头画面在预览画面中显示的位置获取预览图像显示坐标，并建立所述的预览图像显示坐标与所述的最终图像显示坐标之间的坐标转换关系。
13.根据权利要求12所述的基于显卡的电脑直播图像渲染系统，其特征在于，所述的显卡还用以执行所述的渲染管线，并基于所述的坐标转换关系，生成经过渲染的所述的渲染图像。
14.根据权利要求8所述的基于显卡的电脑直播图像渲染系统，其特征在于，所述的中央处理器还用以对所述的渲染图像进行编码，输出视频流。
CN201710927634.5A 2017-10-09 2017-10-09 基于显卡的电脑直播图像渲染方法及系统 Active CN107864343B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710927634.5A CN107864343B (zh) 2017-10-09 2017-10-09 基于显卡的电脑直播图像渲染方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710927634.5A CN107864343B (zh) 2017-10-09 2017-10-09 基于显卡的电脑直播图像渲染方法及系统

Publications (2)

Publication Number Publication Date
CN107864343A CN107864343A (zh) 2018-03-30
CN107864343B true CN107864343B (zh) 2019-01-29

Family

ID=61698343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710927634.5A Active CN107864343B (zh) 2017-10-09 2017-10-09 基于显卡的电脑直播图像渲染方法及系统

Country Status (1)

Country Link
CN (1) CN107864343B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435285A (zh) * 2020-07-24 2021-03-02 上海幻电信息科技有限公司 法线贴图的生成方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9282364B2 (en) * 2013-09-13 2016-03-08 Ortiz And Associates Consulting, Llc Systems and methods for enabling simultaneous second screen video segment replay during ongoing primary screen programming
CN105916023B (zh) * 2016-05-16 2019-04-23 武汉斗鱼网络科技有限公司 一种基于gpu的视频渲染方法和系统
CN105871916B (zh) * 2016-06-08 2019-04-12 浙江宇视科技有限公司 视频流送显处理方法、装置及系统
CN106331850B (zh) * 2016-09-18 2020-01-24 上海幻电信息科技有限公司 浏览器直播客户端、浏览器直播系统及浏览器直播方法
CN106713988A (zh) * 2016-12-09 2017-05-24 福建星网视易信息系统有限公司 一种对虚拟场景直播进行美颜处理的方法及系统
CN106713937A (zh) * 2016-12-30 2017-05-24 广州虎牙信息科技有限公司 视频播放控制方法、装置及终端设备

Also Published As

Publication number Publication date
CN107864343A (zh) 2018-03-30

Similar Documents

Publication Publication Date Title
CN108702522A (zh) 用于基于gpu的虚拟现实视频流式传输服务器的方法及系统
CN104424624B (zh) 一种图像合成的优化方法及装置
JP2014519640A (ja) グラフィックスハードウェアにおけるテクスチャリング
CN110012279A (zh) 基于3d点云数据的分视角压缩和传输方法及系统
CN103440674B (zh) 一种数字图像蜡笔特效的快速生成方法
WO2014065950A1 (en) Video chat encoding pipeline
CN104067311A (zh) 数字化妆
CN107465939B (zh) 视频图像数据流的处理方法及装置
CN106534880A (zh) 视频合成方法及装置
CN109358852B (zh) 一种使用shader实现车载GUI换肤的方法
CN109640167A (zh) 视频处理方法、装置、电子设备及存储介质
US10868969B1 (en) Method and apparatus for accelerated tonemapping and display
WO2023160234A1 (zh) 转场动效生成方法、电子设备和存储介质
WO2023241459A1 (zh) 数据通信方法、系统、电子设备和存储介质
CN113132696A (zh) 图像色调映射方法、装置、电子设备和存储介质
WO2022132032A1 (zh) 人像图像处理方法及装置
CN116248955A (zh) 一种基于ai抽帧补帧的vr云渲染图像增强方法
CN107864343B (zh) 基于显卡的电脑直播图像渲染方法及系统
CN105491398B (zh) 图片处理方法、图片处理装置以及图片处理平台
CN109658488B (zh) 一种虚实融合系统中通过可编程gpu加速解码摄像头视频流的方法
CN108289185B (zh) 一种视频通信方法、装置及终端设备
CN107534763B (zh) 自适应色彩等级插值方法和设备
WO2011003315A1 (zh) 一种基于移动终端的图像处理方法及移动终端
CN111402354B (zh) 适用于光学穿透式头戴显示器的颜色对比增强绘制方法、装置以及系统
WO2023202447A1 (zh) 画质提升模型的训练方法和视频会议系统画质的提升方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant