CN115629698A - 视频通信系统中的动态弱光调节的方法 - Google Patents

视频通信系统中的动态弱光调节的方法 Download PDF

Info

Publication number
CN115629698A
CN115629698A CN202110747466.8A CN202110747466A CN115629698A CN 115629698 A CN115629698 A CN 115629698A CN 202110747466 A CN202110747466 A CN 202110747466A CN 115629698 A CN115629698 A CN 115629698A
Authority
CN
China
Prior art keywords
adjustment
video
user
video content
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110747466.8A
Other languages
English (en)
Inventor
A·巴拉吉
B·凌
缪敏
J·朴
N·瓦利亚
王建鹏
王睿缜
朱兴国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zuma Video Communications
Original Assignee
Zuma Video Communications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zuma Video Communications filed Critical Zuma Video Communications
Priority to CN202110747466.8A priority Critical patent/CN115629698A/zh
Priority to US17/390,917 priority patent/US20230421721A9/en
Publication of CN115629698A publication Critical patent/CN115629698A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种通信系统，包括一个或多个处理器，配置为执行以下操作：从音频采集设备接收输入音频信号；处理输入音频信号以提供具有基于数字信号处理(DSP)技术的噪声抑制的音频信号的第二版本；将第二版本的音频信号传送至通讯平台以进行实时串流；通过机器学习算法对音频信号的第二版本是否包含超过噪声阈值噪声进行分类；基于分类为第二版本的音频信号包含超过噪声阈值的噪声，处理第二版本的音频信号以提供基于人工智能(AI)技术的噪声抑制的第三版本的音频信号；和将第三版本的音频信号传输至通讯平台。

Description

视频通信系统中的动态弱光调节的方法
技术领域
本发明总体上涉及数字媒体，更具体地，涉及用于在视频通信会话内提供视频外观调整的系统和方法。
背景技术
数字通信工具和平台对于为个人和组织提供远程通信和协作的能力至关重要，例如通过互联网。特别是，已经大量采用视频通信平台，允许多个参与者之间进行远程视频会话。视频通信以及用于休闲友好对话(“聊天”)、网络研讨会、大型团体会议、工作会议或聚会、异步工作或个人对话等的应用程序已经大受欢迎。
这种通过视频通信会话进行的虚拟远程会议的副作用之一是，并非所有参与者都愿意在小组会议甚至一对一会议中播放自己的视频。一些用户可能觉得他们没有时间让自己在会议上表现得足够好，或者可能出于某种原因而自我意识。其他人可能只是希望让自己以某种增强的方式出现。在某些情况下，用户的视频设置可能会以不讨人喜欢的方式呈现给用户，并且用户希望抵消这种情况。
对于某些用户来说，照明也可能是一个问题。例如，当用户在户外时，视频可能会因为明亮的阳光而显得对比强烈。相反的问题是当用户处于光线不足的环境中时，用户和背景都显得暗淡无光。简单地增加或减少视频的亮度以适应这种情况可能会导致用户的肤色显得不自然且不再准确。因此，用户希望调整视频的照明，就好像光线照射在他们的自然肤色上一样，而不是修改他们的肤色。
一些情况下，他用户可能想要这样的配置工具来调整视频的外观呈现。但是，他们可能更喜欢只对自己的外观进行少量修饰，或者只对照明进行少量调整。不仅需要调整或不调整的二元状态，而且需要对外观进行粒度级别的控制。
因此，数字媒体领域需要创建一种新的有用的系统和方法，用于在视频通信会话中提供视频外观调整。问题的根源，由发明者发现的，是缺乏能力的参与者，以精细地调整自己和/或照明的视频内实时的外观，同时保持其自然的肤色。
发明内容
本发明通过向用户提供在视频内调整他们的外观的能力来克服现有问题。用户可以选择一个或多个视频设置选项来修饰用户的外观和/或针对弱光条件调整视频。这些设置包括粒度控制元素，例如滑块，允许用户选择外观调整深度和/或照明调整深度的精确量。系统然后在用户选择调整选项时实时或基本实时地执行用户外观的修改或针对低光照的调整。当用户调整深度时 (例如，通过向左或向右拖动深度滑块)，预览窗口实时或基本实时地反映对视频的改变。这些调整也以保留用户自然肤色的方式进行。
在一些实施例中，系统接收包括照明调整深度的照明调整请求，然后检测视频内容中的照明量。系统然后修改视频内容以调整照明量，其中照明量调整对应于调整深度，并且其中在接收到照明调整请求时实时或基本实时地执行调整照明量。
附图说明
本发明总体上涉及数字通信，更具体地，涉及在通信或消息传递平台内提供敏感数据的包含的系统和方法。
从详细描述和附图中可以更好地理解本公开，其中：
图1是图示可以在一些实施例中执行的用于提供视频外观调整的示例性方法的流程图；
图2是图示可以在一些实施例中执行的用于提供视频照明调整的示例性方法的流程图。
具体实施方式
在本说明书中，详细参考了本发明的具体实施例。在附图中示出了一些实施例或其方面。
图1是说明可在一些实施例中执行的用于提供视频照明调整的可选示例性方法的流程图。
在可选步骤310，系统接收照明调整请求，包括照明调整深度。在一些实施例中，从与用户相关联的客户端设备接收照明调整请求和照明调整深度。在一些实施例中，用户可能已经在他们的客户端设备上的用户界面内导航到视频设置UI窗口，然后选中“调整低光”复选框或操纵另一个这样的UI元素。在一些实施例中，参与者可以通过例如点击或按住鼠标按钮或输入设备的其他组件、用手指、触控笔或笔轻敲或按住UI元素、悬停来选择UI元素。用鼠标或其他输入设备或任何其他合适的方式选择UI 元素。在一些实施例中，在选择UI元素后，会出现滑块元素、子窗口或其他次要UI元素，其为参与者提供精细调整要对参与者的视频执行的照明调整的深度的能力.在选择所需的照明调整深度后，或者仅允许默认调整深度而不选择一个(默认深度可以是，例如，100％或50％照明调整深度)，UI元素的选择被发送到待处理的系统(例如，处理引擎 102)。
在一些实施例中，系统不是从客户端设备接收照明调整请求，而是基于一个或多个照明调整检测因素来检测应该请求照明调整，然后自动生成包括照明调整的照明调整请求深度。在这些实施例中，用户例如不选择视频设置UI窗口内的UI元素以启用照明调节。相反，用户可以启用设置以开启自动照明调整。然后，系统会根据一个或多个因素检测何时可能需要进行照明调整。在一些实施例中，这样的照明调整检测因素可以包括例如在用户面部、背景中或整个视频中检测到的超过预定阈值的低光。在一些实施例中，因素还可以包括检测到的视频内容的视频质量，以及与视频背景相比对象上的相对照明的检测。在一些实施例中，用户可以指定系统何时应该检测到需要照明外观调整的参数。例如，用户可以在视频设置中指定系统仅在房间内的光线低于特定水平时才自动调整照明。在一些实施例中，用户可能能够选择应用于他们的一系列肤色，然后照明调整可以基于那些预选的肤色检测何时存在低照明。照明调整技术还可以基于选定的肤色范围保留用户的肤色。
在可选步骤312，系统检测视频内容中的照明量。在一些实施例中，系统可以采用一种或多种AI引擎或AI技术来检测视频内容中的照明量。在一些实施例中，使用一种或多种图像处理或图像分析技术或方法来分析视频。在一些实施例中，可以从二维图像或视频内容解释场景，并且可以基于解释的场景发生几何重建。在一些实施例中，可以在图像或视频内容内检测到一个或多个光源。在一些实施例中，可以确定或估计一个或多个光源的一个或多个位置、方向和/或相对强度。
在可选步骤314，系统修改视频内容以基于照明调节深度实时或基本实时地调节照明量。在一些实施例中，基于一个或多个AI引擎或AI技术(例如深度学习技术)来调整照明。在一些实施例中，可以使用卷积神经网络来执行这种调整。在各种实施例中，系统可以使用诸如例如基于去雾的方法、自然度保持增强算法(NPE)、基于照明图估计的算法(LIME)、基于相机响应的算法之粪的过程或技术来执行照明调整，多分支低光增强网络(MBBLEN)和/或仿生多曝光融合算法。在一些实施例中，系统从步骤312 接收一个或多个检测到的光源并且增强图像或视频内容中的照明，使得它看起来来自检测到的光源。在一些实施例中，照明调整的深度或强度对应于系统接收到的照明调整深度。在一些实施例中，系统在保留图像或视频内容的自然元素的同时调整照明。在一些实施例中，系统已经检测到出现在视频中的参与者的肤色或肤色范围，并且执行照明的调整以使得肤色范围被保留。例如，图像或视频中的照明可能会增加，而用户的肤色仍会在图像或视频中准确呈现。因此，在某些情况下，用户的自然肤色可能会随着光线的变化而显得更亮，但不会显得更亮(即，肤色本身不会变亮)。因此效果可能就像一盏灯或多盏灯照射在用户的自然皮肤上，而不是用户的皮肤表现为一组不同的色调。在一些实施例中，这通过修改对应于亮度的图像或视频内的Y’量的YUV颜色空间而不改变皮肤的色调，并且修改对应的图像或视频的UV量来执行。填色。在一些实施例中，系统可以将皮肤区域与视频的背景分开。在一些实施例中，系统将用户的图像与视频内容的背景分离，然后修改视频内容以与用户的图像相比不同地调整背景的照明量。
在一些实施例中，可以根据可以由用户配置的一个或多个主题来执行低光调节。例如，用户可能希望视频中的灯光看起来就像聚光灯对准用户一样，聚光灯外的所有其他东西都显得暗淡。在另一示例中，用户可能希望在表演期间看起来好像他们在剧院舞台上。可以设想许多这样的可能性。
图2是图示了视频通信会话内的选定照明调整UI元素的一个示例实施例的图。
用户已经导航到其可以被称为UI元素，例如“视频设置搜索GS”或用于视频设置窗口的任何其他合适的标记。该系统DISPLA YS视频设置UI 窗口。UI窗口包括用于视频通信会话的配置视频设置多个可选元素的“调整为低光”视频设置为与未选中的复选框沿可见的。在该元素旁边，显示了一个额外的滑块元素，允许用户根据需要选择调整深度。用户可以选择向左或向右拖动滑块，以对所需的精确调整深度量进行精细控制。
用户已选择选中该复选框，并且系统通过呈现用于调整视频的低光照的选中复选框422以及用于以粒度方式调整光照调整深度的滑块UI元素来响应。

Claims (10)

1.一种用于在视频通信会话内提供视频外观调整的方法，包括：
在视频通信平台的视频通信会话内接收视频内容，该视频内容具有多个视频帧；
接收包含调整深度的外观调整请求；
检测视频内容中的用户图像；
裁剪视频内容以仅包含用户的头部区域；
在裁剪后的视频内容中检测人脸区域；
将面部区域分割成多个皮肤区域；和
对于多个皮肤区域中的每一个：
将皮肤区域分类为平滑纹理区域或粗糙纹理区域，其中分类基于调整深度，并且如果皮肤区域被分类为平滑纹理区域，则通过对皮肤区域应用平滑处理来修改用户的图像，其中应用的平滑量对应于调整深度，并且其中对皮肤区域进行分类并修改图像在接收到外观调整请求时，实时或基本实时地执行用户的外观调整请求。
2.根据权利要求1所述的方法，还包括：
接收包含调光深度的调光请求；
检测视频内容中的照明量；和
修改视频内容以调整光量，其中光量调整对应于调整深度，并且其中在接收到光量调整请求时实时或基本实时地执行光量调整。
3.根据权利要求2所述的方法，其中修改视频内容以调整照明量包括修改视频中用于照明的一个或多个Y'和/或UV值而不修改多个皮肤区域的色调。
4.根据权利要求2所述的方法，其特征在于，接收所述调光请求包括：
基于一个或多个照明调整检测因素自动检测应请求照明调整；和
自动生成包括照明调整深度的照明调整请求。
5.根据权利要求2所述的方法，还包括：
将用户的图像与视频内容的背景分开，其中，修改视频内容以调整照明量对于用户的背景和图像是不同的。
6.根据权利要求1所述的方法，其特征在于，接收所述外观调整请求包括：
提供用于在与用户相关联的客户端设备上显示的视频设置用户界面(UI)，其包括可选择的照明调整UI元素和照明调整深度UI元素。
7.根据权利要求6所述的方法，其中，所述照明调整深度UI元素是在所述客户端设备处可控的滑块。
8.一种通信系统，包括一个或多个处理器，配置为执行以下操作：
在视频通信平台的视频通信会话内接收视频内容，该视频内容具有多个视频帧；
接收包含调整深度的外观调整请求；
检测视频内容中的用户图像；
裁剪视频内容以仅包含用户的头部区域；
在裁剪后的视频内容中检测人脸区域；
将面部区域分割成多个皮肤区域；和
对于多个皮肤区域中的每一个：
将皮肤区域分类为平滑纹理区域或粗糙纹理区域，其中分类基于调整深度，并且如果皮肤区域被分类为平滑纹理区域，则通过对皮肤区域应用平滑处理来修改用户的图像，其中应用的平滑量对应于调整深度，并且其中对皮肤区域进行分类并修改图像在接收到外观调整请求时，实时或基本实时地执行用户的外观调整请求。
9.根据权利要求8所述的通信系统，其中，所述一个或多个处理器还被配置为执行以下操作：
接收包含调光深度的调光请求；
检测视频内容中的照明量；和
修改视频内容以调整光量，其中光量调整对应于调整深度，并且其中在接收到光量调整请求时实时或基本实时地执行光量调整。
10.根据权利要求9所述的通信系统，其中，所述一个或多个处理器还被配置为执行以下操作：
基于一个或多个照明调整检测因素自动检测应请求照明调整；和
自动生成包括照明调整深度的照明调整请求。
CN202110747466.8A 2021-07-02 2021-07-02 视频通信系统中的动态弱光调节的方法 Pending CN115629698A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110747466.8A CN115629698A (zh) 2021-07-02 2021-07-02 视频通信系统中的动态弱光调节的方法
US17/390,917 US20230421721A9 (en) 2021-07-02 2021-07-31 Dynamic low lighting adjustment within a video communication system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110747466.8A CN115629698A (zh) 2021-07-02 2021-07-02 视频通信系统中的动态弱光调节的方法

Publications (1)

Publication Number Publication Date
CN115629698A true CN115629698A (zh) 2023-01-20

Family

ID=84902228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110747466.8A Pending CN115629698A (zh) 2021-07-02 2021-07-02 视频通信系统中的动态弱光调节的方法

Country Status (2)

Country Link
US (1) US20230421721A9 (zh)
CN (1) CN115629698A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11776227B1 (en) * 2022-09-13 2023-10-03 Katmai Tech Inc. Avatar background alteration

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6571003B1 (en) * 1999-06-14 2003-05-27 The Procter & Gamble Company Skin imaging and analysis systems and methods
US10114532B2 (en) * 2013-12-06 2018-10-30 Google Llc Editing options for image regions
US9390478B2 (en) * 2014-09-19 2016-07-12 Intel Corporation Real time skin smoothing image enhancement filter
US10453270B2 (en) * 2015-09-11 2019-10-22 Intel Corporation Scalable real-time face beautification of video images
US11176641B2 (en) * 2016-03-24 2021-11-16 Intel Corporation Skin map-aided skin smoothing of images using a bilateral filter

Also Published As

Publication number Publication date
US20230421721A9 (en) 2023-12-28
US20230031897A1 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
EP3077898B1 (en) Editing options for image regions
US9118876B2 (en) Automatic skin tone calibration for camera images
US9508190B2 (en) Method and system for color correction using three-dimensional information
CN105404846B (zh) 一种图像处理方法及装置
DE102006032484A1 (de) Auf Gesichtsmerkmale örtlich begrenztes und umfassendes Echtzeit-Video-Morphing
KR20150019985A (ko) 이미지의 동적 범위 향상을 위한 방법 및 장치
US20210150676A1 (en) Systems and Methods for Content-Aware Enhancement of Images
US20220230323A1 (en) Automatically Segmenting and Adjusting Images
JP2006523343A (ja) ディジタル画像の選択的エンハンスメント
US9928582B2 (en) Method and system for processing image content for enabling high dynamic range (UHD) output thereof and computer-readable medium comprising UHD content created using same
CN112913330B (zh) 选择一种从视频内容中提取颜色以产生光效果的方法
US20230281767A1 (en) Systems and methods for selective enhancement of objects in images
CN115629698A (zh) 视频通信系统中的动态弱光调节的方法
US11510300B2 (en) Determinning light effects based on video and audio information in dependence on video and audio weights
US9990702B2 (en) Method and system for processing image content for enabling high dynamic range (UHD) output thereof and computer-readable medium comprising UHD content created using same
CN105210360B (zh) 影像显示装置
US11943564B2 (en) Providing video appearance adjustments within a video communication system
US20240195941A1 (en) Illumination Adjustment In Video Communications
CN110402455A (zh) 影像显示装置
JPWO2016190062A1 (ja) 画像処理装置および方法
WO2022271161A1 (en) Light compensations for virtual backgrounds
Hendin et al. Automatic Control of Lighting During Video Capture
Van Hurkman Adobe SpeedGrade: Getting Started
AU2014277652A1 (en) Method of image enhancement based on perception of balance of image features
JP2014207514A (ja) 画像再生システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication