CN119316669A - 调整视频画面的方法和装置 - Google Patents

调整视频画面的方法和装置 Download PDF

Info

Publication number
CN119316669A
CN119316669A CN202310870424.2A CN202310870424A CN119316669A CN 119316669 A CN119316669 A CN 119316669A CN 202310870424 A CN202310870424 A CN 202310870424A CN 119316669 A CN119316669 A CN 119316669A
Authority
CN
China
Prior art keywords
target
image
white balance
exposure value
balance value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310870424.2A
Other languages
English (en)
Inventor
徐海
黄胜森
李钦星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202310870424.2A priority Critical patent/CN119316669A/zh
Publication of CN119316669A publication Critical patent/CN119316669A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及视频会议领域，提供了一种调整视频画面的方法和装置，包括：确定目标图像对应的目标曝光值和/或目标图像对应的目标白平衡值，其中，目标图像是图像输入装置输入的图像或图像输入装置输入的图像中的部分图像，目标图像是图像输出装置在当前帧之后的第k帧待输出的图像；在当前帧之后的第k帧时，根据目标曝光值和/或目标白平衡值，输出目标图像。上述方法通过在视频画面切换前提前确定切换后目标图像的曝光值和/或白平衡值等参数值，能够在视频画面发生切换的同一时刻根据预先计确定好的参数值将相应的调整应用于视频画面，使得视频画面的切换与相应参数的调整同时发生，从而在视频会议的画面切换时保持画面视觉效果的统一。

Description

调整视频画面的方法和装置
技术领域
本申请涉及视频会议领域，更加具体地，涉及一种调整视频画面的方法和装置。
背景技术
随着视频会议技术的发展，视频会议终端设备的功能越来越丰富。目前的视频会议终端设备能够提供多种视图模式，例如导播特写模式，能够自动展示当前发言人的特写画面并且随着发言人变化而切换；再例如导播跟踪模式，能够将镜头锁定某个特定对象并且随对象运动而追踪；又例如导播均分模式，能够将会议室中多个参会人的特写画面拼接为一幅画面并呈现等。
但是，上述任何视图模式中，都存在由于切换前后画面中光线等环境因素存在差异导致的画面明暗或颜色发生变化问题。如果不对切换前后画面的曝光和白平衡等参数进行调整或调整不及时，就会导致切换前后画面给人的视觉感受不统一，使画面看起来不协调。因此，如何在视频会议的画面切换时保持画面视觉效果的统一成为亟需解决的技术问题。
发明内容
本申请实施例提供一种调整视频画面的方法和装置，通过在视频画面切换前提前确定切换后目标图像的曝光值和/或白平衡值等参数值，能够在视频画面发生切换的同一时刻根据预先计确定好的参数值将相应的调整应用于视频画面，使得视频画面的切换与相应参数的调整同时发生，从而在视频会议的画面切换时保持画面视觉效果的统一。
第一方面，提供一种调整视频画面的方法，该方法应用于视频会议终端设备，视频会议终端设备包括图像输入装置和图像输出装置，该方法包括：确定目标图像对应的目标曝光值和/或目标图像对应的目标白平衡值，其中，目标图像是图像输入装置输入的图像或图像输入装置输入的图像中的部分图像，目标图像是图像输出装置在当前帧之后的第k帧待输出的图像，k为大于或等于1的正整数；在当前帧之后的第k帧时，根据目标曝光值和/或目标白平衡值，输出目标图像。
可选地，图像输入装置可以是例如摄像机、照相机、智能手机等图像采集设备，也可以是用于对图像采集设备输入的图像信号进行处理的例如图像信号处理(image signalprocessing，ISP)等处理器。
可选地，图像输出装置可以是例如显示器、电视、智能手机等图像显示设备，也可以是用于对输出至图像显示设备的图像信号进行处理的例如图像处理器(graphicsprocessing unit，GPU)、数字信号处理(digital signal processing，DSP)等处理器。
根据本申请提供的技术方案，通过在视频画面切换前提前确定切换后目标图像的曝光值和/或白平衡值等参数值，能够在视频画面发生切换的同一时刻根据预先计确定好的参数值将相应的调整应用于视频画面，使得视频画面的切换与相应参数的调整同时发生，从而在视频会议的画面切换时保持画面视觉效果的统一。
结合第一方面，在第一方面的某些实现方式中，在当前帧之后的第k帧时，根据目标曝光值和/或目标白平衡值，输出目标图像，包括：在当前帧之后的第k帧时，将目标曝光值和/或目标白平衡值应用于图像输入装置。
根据上述技术方案，通过将确定好的曝光值和/或白平衡值直接应用于图像输入装置，由于曝光值和白平衡值等图像采集参数是根据被采集画面的环境变化直接确定的，因此能够在输入端方便准确地调整图像的明暗和颜色，降低计算复杂度，从而提高视频画面调整的准确性和效率。
结合第一方面，在第一方面的某些实现方式中，当k大于1时，在当前帧之后的第k帧时，根据目标曝光值和/或目标白平衡值，输出目标图像，还包括：对当前帧时图像输入装置的曝光值和/或白平衡值以及目标曝光值和/或目标白平衡值进行拟合，以确定当前帧之后第i帧对应的曝光值和/或白平衡值，i为大于等于1且小于k的正整数；在当前帧之后的第i帧时，将当前帧之后第i帧对应的曝光值和/或白平衡值应用于图像输入装置。
根据上述技术方案，通过插值的方式计算切换前和切换后两帧之间至少一个过渡帧的曝光值和/或白平衡值等图像采集参数，使得在保持前后画面视觉效果的统一的基础上，切换过程中的中间画面的明暗和颜色也均匀变化，从而提高镜头平滑切换时视频画面视觉效果的一致性。
结合第一方面，在第一方面的某些实现方式中，在当前帧之后的第k帧时，根据目标曝光值和/或目标白平衡值，输出目标图像，包括：根据目标曝光值和/或目标白平衡值，确定目标图像的亮度补偿和/或图像的颜色补偿，其中，亮度补偿与目标曝光值相对应，颜色补偿与目标白平衡值相对应；在当前帧之后的第k帧时，通过图像输出装置将亮度补偿和/或颜色补偿应用于目标图像。
根据上述技术方案，在不改变图像输入装置的曝光值或白平衡值等图像采集相关参数或相关参数无法改变的情况下，通过将图像采集的相关参数转变为图像输出装置对图像进行后处理时的亮度补偿和颜色补偿，能够在输出端对图像的明暗和颜色进行如输入端效果相近的调整，从而提高视频画面调整方法的灵活性和适用范围。
结合第一方面，在第一方面的某些实现方式中，根据目标曝光值和/或目标白平衡值，确定目标图像的亮度补偿和/或图像的颜色补偿，包括：根据目标曝光值，确定目标图像的YUV色彩空间中Y通道的变化量。
根据上述技术方案，通过将图像采集时的曝光值转换为图像处理时Y通道表示的明亮度，能够通过改变Y通道的值补偿曝光值所需的变化量，从而在后处理过程中实现图像明暗的调整，达到与采集图像时改变曝光值近似的效果。
结合第一方面，在第一方面的某些实现方式中，根据目标曝光值和/或目标白平衡值，确定目标图像的亮度补偿和/或图像的颜色补偿，包括：根据目标白平衡值，确定目标图像的RGB色彩空间中R通道、G通道和B通道中至少一个的变化量。
根据上述技术方案，通过将图像采集时的白平衡值转换为图像处理时R通道、G通道和B通道表示的红绿蓝颜色值，能够通过改变R通道、G通道和B通道中至少一个的值补偿白平衡值所需的变化量，从而在后处理过程中实现图像颜色的调整，达到与采集图像时改变白平衡值近似的效果。
结合第一方面，在第一方面的某些实现方式中，目标图像包括第一部分和第二部分，第一部分和第二部分是图像输入装置输入的图像中两个不同部分的图像，确定目标图像对应的目标曝光值和/或目标图像对应的目标白平衡值，包括：确定第一目标曝光值和第二目标曝光值，和/或，第一目标白平衡值和第二目标白平衡值，其中，第一目标曝光值是第一部分对应的目标曝光值，第二目标曝光值是第二部分对应的目标曝光值，第一目标白平衡值是第一部分对应的目标白平衡值，第二目标白平衡值是第二部分对应的目标白平衡值；在当前帧之后的第k帧时，通过图像输出装置将亮度补偿和/或颜色补偿应用于目标图像，包括：在当前帧之后的第k帧时，通过图像输出装置将第一目标曝光值对应的亮度补偿应用于第一部分，将第二目标曝光值对应的亮度补偿应用于第二部分；和/或在当前帧之后的第k帧时，通过图像输出装置将第一目标白平衡值对应的颜色补偿应用于第一部分，将第二目标白平衡值对应的颜色补偿应用于第二部分。
根据上述技术方案，在切换后目标图像是由图像输入装置输入的一幅图像的多个局部组合而成的情况下，由于各局部只能使用相同的曝光值和白平衡值等图像采集相关参数，通过独立确定每个局部适合的图像采集参数并转换为图像后处理相关时的亮度补偿和/或颜色补偿，能够实现对同一幅输入图像的不同部分进行不同程度的明暗和颜色调整，使得不同部分拼接在一起后也具有统一的视觉效果，从而提高拼接视图下视频画面视觉效果的一致性。
结合第一方面，在第一方面的某些实现方式中，在确定目标图像对应的目标曝光值和/或目标图像对应的目标白平衡值之前，该方法还包括：根据目标检测、声源定位、声像匹配中的至少一种方法，从图像输入装置输入的图像中确定目标图像。
根据上述技术方案，通过图像识别技术、语音识别技术或二者的结合，能够准确迅速地从输入图像中提前定位需要输出的图像内容，从而为准确迅速地确定目标图像的曝光值和/或白平衡值等参数值提供前提，提高视频画面调整的准确性和效率。
第二方面，提供一种调整视频画面的装置，该装置应用于视频会议终端设备，视频会议终端设备还包括图像输入装置和图像输出装置，该装置包括：预计算模块，用于确定目标图像对应的目标曝光值和/或目标图像对应的目标白平衡值，其中，目标图像是图像输入装置输入的图像或图像输入装置输入的图像中的部分图像，目标图像是图像输出装置在当前帧之后的第k帧待输出的图像，k为大于或等于1的正整数；处理模块，用于在当前帧之后的第k帧时，根据目标曝光值和/或目标白平衡值，输出目标图像。
结合第二方面，在第二方面的某些实现方式中，处理模块，用于：在当前帧之后的第k帧时，将目标曝光值和/或目标白平衡值应用于图像输入装置。
结合第二方面，在第二方面的某些实现方式中，当k大于1时，处理模块，用于：对当前帧时图像输入装置的曝光值和/或白平衡值以及目标曝光值和/或目标白平衡值进行拟合，以确定当前帧之后第i帧对应的曝光值和/或白平衡值，i为大于等于1且小于k的正整数；在当前帧之后的第i帧时，将当前帧之后第i帧对应的曝光值和/或白平衡值应用于图像输入装置。
结合第二方面，在第二方面的某些实现方式中，处理模块，用于：根据目标曝光值和/或目标白平衡值，确定目标图像的亮度补偿和/或图像的颜色补偿，其中，亮度补偿与目标曝光值相对应，颜色补偿与目标白平衡值相对应；在当前帧之后的第k帧时，通过图像输出装置将亮度补偿和/或颜色补偿应用于目标图像。
结合第二方面，在第二方面的某些实现方式中，处理模块，用于：根据目标曝光值，确定目标图像的YUV色彩空间中Y通道的变化量。
结合第二方面，在第二方面的某些实现方式中，处理模块，用于：根据目标白平衡值，确定目标图像的RGB色彩空间中R通道、G通道和B通道中至少一个的变化量。
结合第二方面，在第二方面的某些实现方式中，目标图像包括第一部分和第二部分，第一部分和第二部分是图像输入装置输入的图像中两个不同部分的图像，预计算模块，用于：确定第一目标曝光值和第二目标曝光值，和/或，第一目标白平衡值和第二目标白平衡值，其中，第一目标曝光值是第一部分对应的目标曝光值，第二目标曝光值是第二部分对应的目标曝光值，第一目标白平衡值是第一部分对应的目标白平衡值，第二目标白平衡值是第二部分对应的目标白平衡值；处理模块，用于：在当前帧之后的第k帧时，通过图像输出装置将第一目标曝光值对应的亮度补偿应用于第一部分，将第二目标曝光值对应的亮度补偿应用于第二部分；和/或在当前帧之后的第k帧时，通过图像输出装置将第一目标白平衡值对应的颜色补偿应用于第一部分，将第二目标白平衡值对应的颜色补偿应用于第二部分。
结合第二方面，在第二方面的某些实现方式中，该装置还包括确定模块，在确定目标图像对应的目标曝光值和/或目标图像对应的目标白平衡值之前，用于：根据目标检测、声源定位、声像匹配中的至少一种方法，从图像输入装置输入的图像中确定目标图像。
第三方面，提供一种计算设备，包括处理器和存储器，其中，存储器用于存储指令，处理器用于从存储器中调用并运行该指令，使得该计算设备执行第一方面或第一方面任意一种可能的实现方式中的方法。
可选地，该处理器可以是通用处理器，可以通过硬件来实现也可以通过软件来实现。当通过硬件来实现时，该处理器可以是逻辑电路、集成电路等；当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现，该存储器可以集成在处理器中，可以位于该处理器之外独立存在。
第四方面，提供了一种芯片，该芯片获取指令并执行该指令来实现上述第一方面或第一方面任意一种可能的实现方式中的方法。
可选地，作为一种实现方式，该芯片包括处理器与数据接口，该处理器通过该数据接口读取存储器上存储的指令，执行上述第一方面或第一方面任意一种可能的实现方式中的方法。
可选地，作为一种实现方式，该芯片还可以包括存储器，该存储器中存储有指令，该处理器用于执行该存储器上存储的指令，当该指令被执行时，该处理器用于执行上述第一方面或第一方面任意一种可能的实现方式中的方法。
第五方面，提供了一种包含指令的计算机程序产品，当该指令被计算设备运行时，使得计算设备执行上述第一方面或第一方面任意一种可能的实现方式中的方法。
第六方面，提供了一种计算机可读存储介质，包括计算机程序指令，当该计算机程序指令由计算设备执行时，使得计算设备执行上述第一方面或第一方面任意一种可能的实现方式中的方法。
作为示例，这些计算机可读存储介质包括但不限于如下的一个或者多个：只读存储器(read-only memory，ROM)、可编程ROM(programmable ROM，PROM)、可擦除的PROM(erasable PROM，EPROM)、Flash存储器、电EPROM(electrically EPROM，EEPROM)以及硬盘驱动器(hard drive)。
可选地，作为一种实现方式，上述存储介质具体可以是非易失性存储介质。
附图说明
图1是本申请实施例提供的调整视频画面的方法所应用的视频会议终端设备的示意图。
图2是本申请实施例提供的一种调整视频画面的方法的示意性流程框图。
图3是本申请实施例提供的调整视频画面的方法在导播特写和导播平滑场景下的示意性流程图。
图4是本申请实施例提供的调整视频画面的方法在导播对话场景下的示意性流程图。
图5是本申请实施例提供的一种调整视频画面的装置的示意性结构框图。
图6是本申请实施例提供的一种计算设备的示意性结构框图。
具体实施方式
下面将结合附图，对本申请实施例中的技术方案进行描述。
本申请将围绕包括多个设备、组件、模块等的系统来呈现各个方面、实施例或特征。应当理解和明白的是，各个系统可以包括另外的设备、组件、模块等，并且/或者可以并不包括结合附图讨论的所有设备、组件、模块等。此外，还可以使用这些方案的组合。
另外，在本申请实施例中，“示例的”、“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用示例的一词旨在以具体方式呈现概念。
本申请实施例中，“相应的(corresponding，relevant)”和“对应的(corresponding)”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。
本申请实施例描述的网络架构以及业务场景是为了更加清楚地说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着网络架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：包括单独存在A，同时存在A和B，以及单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。
为了便于理解，下面先对本申请实施例可能涉及的相关术语和概念进行介绍。
1、3A算法：3A算法是自动白平衡(auto white balance，AWB)、自动曝光(autoexposure，AE)和自动对焦(autofocus，AF)算法的总称。也即根据图像采集设备拍摄的画面中主体的位置以及光线的强弱和颜色等环境因素，自动确定白平衡值、曝光值、焦距以及焦点位置等图像采集相关的参数值。
2、目标检测(object detection)：找出图像中所有感兴趣的目标，确定它们的类别和位置，从而在图像中找到特定目标的方法。
3、声源定位(sound source localization，SSL)：利用多个麦克风在环境不同位置点对声信号进行测量，由于声信号到达各麦克风的时间有不同程度的延迟，利用算法对测量到的声信号进行处理，由此获得声源点相对于麦克风的到达方向(包括方位角，俯仰角)和距离等，从而确定声源在空间中位置的方法。
4、声像匹配：以当前画面中所有目标人像的框和声源空间坐标为输入，将声源空间坐标对应到图像中对应的像素位置，就可以找到当前画面中发出声音的人，该过程称为声像匹配。
5、导播特写：视频会议终端设备能够提供的视图模式之一。当图像输入装置输入的全景画面中某个人开始发言后，将图像输出设备输出的画面调整为当前发言人的特写画面。当发言人发生改变后，将输出画面调整为新发言人的特写画面。当无人发言时，输出图像输入装置输入的全景画面。该模式在其他技术方案中，也可能被称为发言人定位。
6、导播平滑：视频会议终端设备能够提供的视图模式之一。在导播特写的基础上，画面由全景切换至特写、或由一个特写切换至另一个特写、或由特写切换至全景时，画面不是在两帧之间直接切换，而是平滑的转变过程。也即在切换前和切换完成后的两帧之间存在过渡帧，过渡帧输出的是切换前画面和切换后画面之间的中间画面。
7、导播跟踪：视频会议终端设备能够提供的视图模式之一。在导播特写的基础上，特写画面会随着当前发言人的移动而实时跟踪移动。
8、导播均分：视频会议终端设备能够提供的视图模式之一。当图像输入装置输入的全景画面中存在多个人像时，可以将多个人像的特写拼接而成的图像作为图像输出设备输出的画面。类似地，也可以将当前多个发言人的特写拼接，这种情况下该模式也可以被称为导播对话。
随着视频会议技术的发展，视频会议终端设备的功能越来越丰富。目前的视频会议终端设备能够提供多种视图模式，例如导播特写模式，能够自动展示当前发言人的特写画面并且随着发言人变化而切换；再例如导播跟踪模式，能够将镜头锁定某个特定对象并且随对象运动而追踪；又例如导播均分模式，能够将会议室中多个参会人的特写画面拼接为一幅画面并呈现等。
在任何视图模式下，图像输出装置最终输出的画面都是根据图像输入装置输入的全景画面确定的。一幅全景画面的图像具有统一的图像采集参数，例如统一的曝光值和统一的白平衡值。但由于光线等环境因素存在差异，全景画面的不同局部单独看时可能会具有明暗和/或颜色的差别，导致在视图模式下画面发生切换时切换前后画面给人的视觉感受不统一。例如，全景画面中存在两个人物，面朝光源的人会比背对光源的人脸部亮度更高，如果不做调整地将面朝光源的人物特写切换至背对光源的人物特写，会导致切换后画面相对于切换前画面整体变暗，使画面看起来不协调。即使根据3A算法，在画面切换后重新进行白平衡、曝光和对焦的调整，也会导致调整进行中画面的明暗和颜色反复变化，不能连续地保持画面视觉效果的一致性。此外，3A算法对于更复杂的试图模式的支持效果也更差，例如导播平滑时每个中间画面的参数值都不可控，也无法解决导播均分模式下来自同一输入图像的两部分间明暗或颜色不一致的问题。
鉴于此，本申请实施例提供一种调整视频画面的方法，通过在视频画面切换前提前确定切换后目标图像的曝光值和/或白平衡值等参数值，能够在视频画面发生切换的同一时刻根据预先计确定好的参数值将相应的调整应用于视频画面，使得视频画面的切换与相应参数的调整同时发生，从而在视频会议的画面切换时保持画面视觉效果的统一。
图1示出了本申请实施例提供的调整视频画面的方法所应用的视频会议终端设备的示意图。
如图1所示，本申请实施例中的视频会议终端设备包括至少一个图像输入装置和至少一个图像输出装置。图像输入装置用于输入采集到的图像信号，图像输入装置可以是例如摄像机、照相机、智能手机等图像采集设备，也可以是用于对图像采集设备输入的图像信号进行处理的例如图像信号处理(image signal processing，ISP)等处理器。其中，例如摄像机、照相机、智能手机等图像采集设备可以是视频会议终端设备自带的，也可以是通过视频会议终端设备提供的输入接口外部连接的，本申请对此不做具体限定。
本申请实施例中能够作为图像采集设备的摄像机包括但不限于平移-倾斜-变焦(pan/tilt/zoom，PTZ)摄像机和数字平移-倾斜-变焦(electronicPTZ，EPTZ)摄像机。PTZ摄像机通过电机或云台等物理方式调整摄像机的拍摄角度和变焦，从而调整摄像机实际拍摄到的视野范围。EPTZ摄像机不进行物理移动和变焦，因此摄像机实际拍摄到的视野范围保持不变，通过软件选取摄像机实际视野范围的全景图像中局部区域并进行放大的方式，实现输出图像可视区域的平移与变焦。在图像输入装置中包括EPTZ摄像机的情况下，本申请下文实施例中所说的图像输入装置输入的图像指的均是EPTZ摄像机实际视野范围的全景图像，而不是通过数字方式平移变焦后的图像。
图像输出装置用于输出待显示的图像信号，图像输出装置可以是例如显示器、电视、智能手机等图像显示设备，也可以是用于对输出至图像显示设备的图像信号进行处理的例如图像处理器(graphics processing unit，GPU)、数字信号处理(digital signalprocessing，DSP)等处理器。其中，例如显示器、电视、智能手机等图像显示设备可以是视频会议终端设备自带的，也可以是通过视频会议终端设备提供的输出接口外部连接的，本申请对此不做具体限定。
本申请实施例中的视频会议终端设备还包括控制模块，用于对图像输入装置和/或图像输出装置进行控制。控制模块的功能包括但不限于控制图像采集设备的平移、倾斜和变焦，调整图像输入装置的例如曝光值和白平衡值等图像采集相关的参数，调整图像输出装置例如亮度和颜色等图像显示相关的参数。
本申请实施例中的视频会议终端设备还包括视频模块，用于对视频会议终端设备中的图像信号进行处理。作为示例，视频模块中可以包括编解码器，用于对图像信号进行编解码；还可以包括目标检测子模块和/或声像匹配子模块，用于从图像中识别出目标对象；以及导播均分/对话模式子模块、导播特写子模块、自动构图(autoframing)子模块等用于实现各种试图模式的子模块。
为了实现本申请实施例下文中的调整视频画面的方法，视频模块中还可以包括曝光预计算，白平衡预计算，曝光插值，白平衡插值，曝光后处理，白平衡后处理等子模块，用于确定各种智能化场景下视频图像视觉效果的调整方式。其中，曝光预计算和白平衡预计算用于提前计算待输出的目标图像适合的曝光值和白平衡值等参数；曝光插值和白平衡差值用于提前计算导播平滑过程中过渡帧的曝光值和白平衡等参数；曝光后处理和白平衡后处理用于根据曝光值和白平衡值等参数计算对应的亮度补偿和颜色补偿等后处理相关的参数。
本申请实施例中的视频会议终端设备还可以包括至少一个音频输入装置和/或至少一个音频输出装置。类似地，音频输入装置可以是例如麦克风等设备，或者用于控制上述设备的芯片；音频输出装置可以是例如扬声器、耳机等设备，或者用于控制上述设备的芯片。上述扬声器、耳机、麦克风等设备也均可以是视频会议终端设备自带的，或是通过视频会议终端设备提供的输入/输出接口外部连接的。
与音频输入/输出装置相关的还包括音频模块。音频模块中可以包括编解码器，用于对音频信号进行编解码。音频模块中还可以包括音频定位子模块，用于根据多个音频输入设备输入的音频信号执行语音检测以及声源定位等功能。
本申请实施例中的视频会议终端设备还可以包括网络模块，用于通过网络与其他终端设备远程连接。例如，将视频模块和音频模块处理的图像信号和音频信号通过互联网发送给其他视频会议终端设备，从而在其他视频会议终端设备上输出图像和音频，或是接收其他终端设备采集的图像信号和音频信号并通过本地的图像输出装置和音频输出装置装置输出。又例如，控制模块通过互联网收发相应信号可以实现远程控制其他终端设备的摄像机，或接收来自其他终端设备的远程控制指令。
下面结合图2至图5，详细描述本申请的调整视频画面的方法。
图2示出了本申请实施例提供的一种调整视频画面的方法的示意性流程图。图2所示方法应用于视频会议终端设备，可选地，视频会议终端设备可以是如图1所示的视频会议终端设备。如图2所示，该方法包括如下步骤。
S210：确定目标图像对应的目标曝光值和/或目标图像对应的目标白平衡值。
例如，在步骤S210中，视频会议终端设备可以确定输出画面即将切换至的目标图像的合适的曝光值和白平衡值。具体地，目标图像是视频会议终端设备的图像输出装置在当前帧之后的第k帧待输出的图像，k为大于或等于1的正整数。即目标图像是准备输出但尚未输出的视频画面，因此目标图像的曝光值和/或白平衡值是在输出的视频画面切换至目标图像之前提前确定的。同时，目标图像也是视频会议终端设备的图像输入装置输入的图像或输入图像中的一部分。这里所说的图像输入装置输入的图像具体指的是图像输入装置实际视野范围的全景图像。即本申请提供的调整视频画面的方法应用的场景是，无论实际输出画面是什么，视频会议终端设备始终能够获取到全景图像，且任何实际输出画面都是该全景图像本身或该全景图像中局部的聚焦。
举例说明，本申请实施例应用的场景可以是EPTZ摄像机独立采集图像，由于前文所述EPTZ摄像机不会改变实际采集图像的视野范围的特点，EPTZ摄像机实际视野范围的全景图像可以作为本申请实施例中所说的图像输入装置输入的图像，图像输出装置输出的图像均是在该全景图像上通过局部抠图以及缩放的方式确定的。对于EPTZ摄像机与其他类型摄像机共同采集图像的场景，同样可以将EPTZ摄像机实际视野范围的全景图像可以作为本申请实施例中所说的图像输入装置输入的图像，此时输出图像可以是EPTZ摄像机实际视野范围的全景图像的局部抠图，也可以是其他摄像机通过物理移动变焦等其他方式实际拍摄的局部图像，但都不超出EPTZ摄像机实际的视野范围。本申请实施例应用的场景也可以是多个任意摄像机共同采集图像，例如多个PTZ摄像机，此时可以将多个PTZ摄像机当前视野范围的总和称为全景图像也即图像输入装置输入的图像。以两台PTZ摄像机的情况为例，当前输出的视频画面是PTZ摄像机1采集的发言人1的特写画面，同时摄像机2采集即将输出的发言人2和发言人3共同的特写画面，在此情况下输入图像指的是PTZ摄像机1和PTZ摄像机2采集画面之和，也即同时包括发言人1、发言人2和发言人3的全景画面，目标图像可以是全景图像、也可以是PTZ摄像机2当前采集的图像、还可以是PTZ摄像机2当前采集的图像中发言人2的特写画面。
应理解，由于本申请实施例应用于视频会议系统，因此图像的输入和输出都是实时的。换言之，图像输入装置输入的图像也是在实时发生变化的，而图像输出装置输出的图像也是图像输入装置在同一时刻输入的图像的全部或部分图像。例如，图像输出装置在当前帧后的第k帧时输出的图像是图像输入设备在当前帧后的第k帧时输入的图像或部分图像，而不是图像输入设备在当前帧输入的图像或部分图像。
目标图像合适的目标曝光值和目标白平衡值，指的是目标图像将图像采集参数设置为该目标曝光值和/或目标白平衡值后能够达到某种特定的视觉效果，例如本申请实施例中目标曝光值和目标白平衡值可以使得目标图像在亮度和颜色上带给人和当前输出画面一致的视觉感受。在能够获取到目标图像的基础上，目标曝光值和目标白平衡值的计算可以通过现有的3A算法实现，包括但不限于灰度世界法、完美反射波法、动态阈值法等，本申请对此不做具体限定。
可选地，在确定目标图像对应的目标曝光值和/或所述目标图像对应的目标白平衡值之前，视频会议终端设备还可以先从图像输入装置输入的图像中确定所述目标图像。根据视图模式以及切换场景的不同，确定目标图像的方式可以不同。例如，在导播特写或导播平滑模式下，当视频画面需要由特写切换至全景时，视频会议终端设备可以通过音频输入装置监测环境中的声音，当一定时间内没有人声输入时，可以直接将图像输入装置输入的全景图像确定为目标图像。而当视频画面需要由全景切换至特写或由一个特写切换至另一个特写时，视频会议终端设备可以根据目标检测、声源定位、声像匹配中的至少一种方法，从图像输入装置输入的图像中确定目标图像。具体地，可以通过目标检测的方法进行图像识别，例如识别全景图像人物轮廓以及各人物的面部动作确定发言人；也可以通过声源定位的方法进行语音识别，确定声源的空间坐标并根据全景图像中坐标系与空间坐标系的对应关系确定发言人位置；或通过图像识别技术和语音识别技术二者的结合进行声像匹配，结合图像中识别出的人物轮廓以及定位的发言人空间坐标确定发言人位置，从而将发明人所在位置的局部图像确定为目标图像。类似地，对于导播均分模式，可以先根据上述方式确定多个发言人位置，并将每个发言人所在位置的局部图像进行抠图，将抠图后拼接而成的画面确定为目标图像。
通过上述方案，能够准确迅速地从输入图像中提前定位需要输出的图像内容，从而为准确迅速地确定目标图像的曝光值和/或白平衡值等参数值提供前提，提高视频画面调整的准确性和效率
S220：在当前帧之后的第k帧时，根据目标曝光值和/或目标白平衡值，输出目标图像。
例如，在步骤S220中，视频会议终端设备可以根据S210中提前确定好的目标图像合适的目标曝光值和/或目标白平衡值，在输出的视频画面在第k帧切换至目标图像的同时，将对应的效果应用于目标图像，使目标图像呈现出预期的视觉效果。应理解，如前文所述，这里所说的输出的目标图像指的是目标图像区域在第k帧时由图像输入装置输入的实时画面。
通过本申请实施例的技术方案，通过在视频画面切换前提前确定切换后目标图像的曝光值和/或白平衡值等参数值，能够在视频画面发生切换的同一时刻根据预先计确定好的参数值将相应的调整应用于视频画面，使得视频画面的切换与相应参数的调整同时发生，从而在视频会议的画面切换时保持画面视觉效果的统一。
对于上述步骤S220，将目标曝光值和/或目标白平衡值对应的视觉效果呈现在目标图像上，既可以在图像的输入端实现，也可以在图像的输出端实现，下面对两种情况分别作具体介绍。
在一些可能的实施方式中，视频会议终端设备在当前帧之后的第k帧时，可以将目标曝光值和/或目标白平衡值应用于图像输入装置。由于曝光值和白平衡值均是图像采集相关的参数，因此能够直接将图像输入装置的曝光值和/或白平衡值设置为目标曝光值和/或目标白平衡值。具体地，对于图像采集相关的参数能够通过物理方式调整的图像采集设备，例如单反照相机，可以直接将目标曝光值和/或目标白平衡值设置到图像采集设备，图像采集设备通过透镜组的调整实现目标曝光值和/或目标白平衡值；对于图像采集相关的参数能够通过数字方式调整的图像采集设备，例如EPTZ摄像机，可以将目标曝光值和/或目标白平衡值配置到与图像采集设备连接的ISP，由处理器控制图像采集设备的曝光值和/或白平衡值的调整。
通过本申请实施例的技术方案，通过将确定好的曝光值和/或白平衡值直接应用于图像输入装置，由于曝光值和白平衡值等图像采集参数是根据被采集画面的环境变化直接确定的，因此能够在输入端方便准确地调整图像的明暗和颜色，无需其他中间量的转换过程，降低计算复杂度，从而提高视频画面调整的准确性和效率。
在另一些可能的实施方式中，视频会议终端设备可以根据目标曝光值和/或目标白平衡值，确定目标图像的亮度补偿和/或图像的颜色补偿，并且在当前帧之后的第k帧时，通过图像输出装置将亮度补偿和/或颜色补偿应用于目标图像。在有些情况下，曝光值和白平衡值可能无法直接设置到图像输入装置中，例如目标曝光值和/或目标白平衡值超出了图像输入装置可设置的范围，又例如导播均分模式中需要在一幅输入图像中应用两种不同的曝光值和白平衡值组合。因此，也可以通过将曝光值和白平衡值这类图像采集相关的参数通过算法转换为图像后处理过程中的亮度补偿和颜色补偿，从而通过在输出端的图像后处理实现与调整曝光值和白平衡值相近的效果。具体地，上述亮度补偿与目标曝光值相对应，颜色补偿与目标白平衡值相对应。
图像采集时曝光时间影响通过图像采集设备的光的总量，因此曝光值的变化可以反映为图像后处理时亮度相关参数的变化。举例说明，可以根据曝光值确定目标图像的YUV色彩空间中Y通道的变化量。YUV色彩空间中Y通量是独立与另外两个色度通量的反映图像明亮度的通量，因此Y通量的变化可以在不影响图像颜色的情况下调整图像的亮度。例如，目标曝光值相比于当前输入图像的曝光值更大，则视频会议终端设备可以在不实际改变曝光值的情况下(目标图像的曝光值仍然使用当前输入图像的曝光值)，将目标图像中每个像素的Y通道整体提高一定数值的，从而达到与增大曝光值相近的效果。通过上述方案，将图像采集时的曝光值转换为图像处理时Y通道表示的明亮度，能够通过改变Y通道的值补偿曝光值所需的变化量，从而在后处理过程中实现图像明暗的调整，达到与采集图像时改变曝光值近似的效果。
图像采集时白平衡值通过影响采集图像的色温影响图像的整体颜色，因此白平衡值的变化可以反映为图像后处理时颜色相关参数的变化。举例说明，可以根据目标白平衡值确定目标图像的RGB色彩空间中R通道、G通道和B通道中至少一个的变化量。例如，可以先根据白平衡值查表或计算出其对应的色温。由于色温越高画面整体颜色越偏蓝，而色温越低画面整体颜色越偏红，因此可以将G通道归一化，从而将色温转换为R/G和B/G两个通道的颜色增益系数。将R通道的值乘R/G通道的颜色增益系数，将B通道的值乘B/G通道的颜色增益系数，重新计算目标图像中每个像素的RGB颜色值：
R’＝R×δR/G，
B’＝B×δR/G，
G’＝G
其中，R’、B’和G’分别表示目标图像中像素在R通道、B通道和G通道的颜色值，R、B和G分别表示输入图像中对应位置像素在R通道、B通道和G通道的颜色值，δR/G表示R/G通道的颜色增益系数，δR/G表示B/G通道的颜色增益系数。上述公式能够在不实际改变白平衡值的情况下，达到与调整白平衡值相近的效果。通过上述方案，将图像采集时的白平衡值转换为图像处理时R通道、G通道和B通道表示的红绿蓝颜色值，能够通过改变R通道、G通道和B通道中至少一个的值补偿白平衡值所需的变化量，从而在后处理过程中实现图像颜色的调整，达到与采集图像时改变白平衡值近似的效果。
通过本申请实施例的技术方案，在不改变图像输入装置的曝光值或白平衡值等图像采集相关参数或相关参数无法改变的情况下，通过将图像采集的相关参数转变为图像输出装置对图像进行后处理时的亮度补偿和颜色补偿，能够在输出端对图像的明暗和颜色进行如输入端效果相近的调整，从而提高视频画面调整方法的灵活性和适用范围。
下面结合图3和图4，对本申请实施例提供的调整视频画面的方法在具体视图模式中的应用进行说明。
图3示出了本申请实施例提供的调整视频画面的方法在导播特写和导播平滑应用场景下的示意性流程图。如图3所示，在全景模式下启动导播特写视图模式后，视频会议终端设备首先确定发言人所在位置的局部图像，也即前文所述的目标图像。确定目标图像的方法如前文步骤S210中所述，包括但不限于目标检测、声源定位、声像匹配中的一种或多种方法。预计算目标图像合适的目标曝光值和/或目标白平衡值后，根据是否启用导播平滑模式，采用不同的方式将目标曝光值和/或目标白平衡值应用于目标图像。
在不启用导播平滑模式的情况下，视频会议终端设备在确定目标曝光值和/或目标白平衡值后，直接在当前帧的下一帧切换至目标图像。也即步骤S220在k＝1时的情况。在该情况下，由于视频画面的切换为直切模式，因此直接在切换帧也即当前帧之后的第一帧，将预计算的目标曝光值和/或目标白平衡值应用于目标图像。
应理解，此处所说的将预计算的目标曝光值和/或目标白平衡值应用于目标图像，与前文S220中所说的根据目标曝光值和/或目标白平衡值输出目标图像意思相同。也即目标曝光值和/或目标白平衡值既可以通过在图像输入端直接调整图像采集相关参数应用于目标图像，例如将预计算的值应用到ISP中，也可以通过将目标曝光值和/或目标白平衡值转换为对应的后处理相关参数从而在图像输出端应用于目标图像，例如用GPU对目标图像进行后处理。
在不启用导播平滑模式的情况下，也即步骤S220在k>1时，视频会议终端设备先通过插值计算当前帧与当前帧之后第k帧之间k-1个过渡帧中每一个过渡帧对应的曝光值和/或白平衡值，之后在视频画面切换过程中每个过渡帧的位置应用对应的曝光值和/或白平衡值。类似地，将对应的曝光值和/或白平衡值应用于过渡帧的方式，也是既可以在图像输入端直接调整图像采集相关参数实现，也可以在图像输出端通过调整对应的后处理相关参数实现，此处不再赘述。
具体地，通过插值方法实现导播平滑的方法为对当前帧时图像输入装置的曝光值和/或白平衡值以及目标曝光值和/或目标白平衡值进行拟合，以确定当前帧之后第i帧对应的曝光值和/或白平衡值，其中，i为大于等于1且小于k的正整数。以曝光值的插值计算过程为例，假设当前帧(原始发言人)的曝光值是EVs，预计算的目标帧(目标发言人)的曝光值是EVe，平滑的总帧数/步数是k，那么当前帧之后的第i帧的曝光值EVi采用一次线性拟合结果为：
EVi＝EVe+i×(EVs-EVe)/k
其中，EVi表示当前帧之后的第i帧对应的曝光值，EVe表示目标图像的目标曝光值，EVs表示当前帧时图像输入装置的曝光值，k表示目标图像在当前帧之后的帧数，i表示该过渡帧在当前帧之后的第几帧。应理解，上述例子仅是以曝光值的一次线性拟合为例对插值方法进行举例说明，也可以采用例如二次曲线等其他拟合方式对曝光值和/或白平衡值进行拟合，本申请对此不做具体限定。
通过本申请实施例的技术方案，采用插值的方式计算切换前和切换后两帧之间至少一个过渡帧的曝光值和/或白平衡值等图像采集参数，使得在保持前后画面视觉效果的统一的基础上，切换过程中的中间画面的明暗和颜色也均匀变化，从而提高镜头平滑切换时视频画面视觉效果的一致性。
图4示出了本申请实施例提供的调整视频画面的方法在导播对话应用场景下的示意性流程图。如图4所示，在全景模式下启动导播对话视图模式后，视频会议终端设备首先确定多个目标人物中每个目标人物各自所在位置的局部图像，也即用于拼接成目标图像的各个组成部分。预计算每个局部图像合适的曝光值和/或白平衡值后，将预计算得到的曝光值和/或白平衡值转换为对应的亮度补偿和颜色补偿，并通过GPU或DSP等图像输出装置对目标图像的每个组成部分进行后处理，最终将处理后的各组成部分拼接显示为目标图像。
举例说明，以目标图像由两部分拼接而成为例，分别称为第一部分和第二部分。视频会议终端设备首先确定第一目标曝光值和第二目标曝光值，和/或，第一目标白平衡值和第二目标白平衡值，其中，第一目标曝光值是第一部分对应的目标曝光值，第二目标曝光值是第二部分对应的目标曝光值，第一目标白平衡值是第一部分对应的目标白平衡值，第二目标白平衡值是第二部分对应的目标白平衡值。然后在在当前帧之后的第k帧时，通过图像输出装置将第一目标曝光值对应的亮度补偿应用于第一部分，将第二目标曝光值对应的亮度补偿应用于第二部分，和/或，在当前帧之后的第k帧时，通过图像输出装置将第一目标白平衡值对应的颜色补偿应用于第一部分，将第二目标白平衡值对应的颜色补偿应用于第二部分。
通过本申请实施例的技术方案，在切换后目标图像是由图像输入装置输入的一幅图像的多个局部组合而成的情况下，由于各局部只能使用相同的曝光值和白平衡值等图像采集相关参数，通过独立确定每个局部适合的图像采集参数并转换为图像后处理相关时的亮度补偿和/或颜色补偿，能够实现对同一幅输入图像的不同部分进行不同程度的明暗和颜色调整，使得不同部分拼接在一起后也具有统一的视觉效果，从而提高拼接视图下视频画面视觉效果的一致性。
上文结合图2至图4说明了本申请提供的调整视频画面的方法实施例，下面结合图5至图6，对本申请提供的调整视频画面的装置实施例进行说明。
图5示出了本申请实施例提供的一种调整视频画面的装置500的示意性结构框图。
如图5所示，该装置500包括：预计算模块520，处理模块530。
具体地，该预计算模块520用于确定目标图像对应的目标曝光值和/或目标图像对应的目标白平衡值，其中，目标图像是图像输入装置输入的图像或图像输入装置输入的图像中的部分图像，目标图像是图像输出装置在当前帧之后的第k帧待输出的图像，k为大于或等于1的正整数。
具体地，该处理模块530用于在当前帧之后的第k帧时，根据目标曝光值和/或目标白平衡值，输出目标图像。
可选地，处理模块530具体用于在当前帧之后的第k帧时，将目标曝光值和/或目标白平衡值应用于图像输入装置。
可选地，处理模块530具体用于在当前帧之后的第k帧时，当k大于1时，对当前帧时图像输入装置的曝光值和/或白平衡值以及目标曝光值和/或目标白平衡值进行拟合，以确定当前帧之后第i帧对应的曝光值和/或白平衡值，i为大于等于1且小于k的正整数；在当前帧之后的第i帧时，将当前帧之后第i帧对应的曝光值和/或白平衡值应用于图像输入装置。
可选地，处理模块530具体用于根据目标曝光值和/或目标白平衡值，确定目标图像的亮度补偿和/或图像的颜色补偿，其中，亮度补偿与目标曝光值相对应，颜色补偿与目标白平衡值相对应；在当前帧之后的第k帧时，通过图像输出装置将亮度补偿和/或颜色补偿应用于目标图像。
可选地，处理模块530具体用于根据目标曝光值，确定目标图像的YUV色彩空间中Y通道的变化量。
可选地，处理模块530具体用于根据目标白平衡值，确定目标图像的RGB色彩空间中R通道、G通道和B通道中至少一个的变化量。
可选地，目标图像包括第一部分和第二部分，第一部分和第二部分是图像输入装置输入的图像中两个不同部分的图像，预计算模块具体用于确定第一目标曝光值和第二目标曝光值，和/或，第一目标白平衡值和第二目标白平衡值，其中，第一目标曝光值是第一部分对应的目标曝光值，第二目标曝光值是第二部分对应的目标曝光值，第一目标白平衡值是第一部分对应的目标白平衡值，第二目标白平衡值是第二部分对应的目标白平衡值；处理模块具体用于用于在当前帧之后的第k帧时，通过图像输出装置将第一目标曝光值对应的亮度补偿应用于第一部分，将第二目标曝光值对应的亮度补偿应用于第二部分，和/或，在当前帧之后的第k帧时，通过图像输出装置将第一目标白平衡值对应的颜色补偿应用于第一部分，将第二目标白平衡值对应的颜色补偿应用于第二部分。
可选地，装置500还可以包括确定模块510，用于在确定目标图像对应的目标曝光值和/或目标图像对应的目标白平衡值之前，根据目标检测、声源定位、声像匹配中的至少一种方法，从图像输入装置输入的图像中确定目标图像。
其中，上述模块均可以通过软件实现，或者可以通过硬件实现。示例性的，接下来以处理模块530为例，介绍处理模块530的实现方式。类似的，确定模块510和预计算模块520的实现方式可以参考处理模块530的实现方式。
模块作为软件功能单元的一种举例，处理模块530可以包括运行在计算实例上的代码。其中，计算实例可以包括物理主机(计算设备)、虚拟机、容器中的至少一种。进一步地，上述计算实例可以是一台或者多台。例如，处理模块530可以包括运行在多个主机/虚拟机/容器上的代码。需要说明的是，用于运行该代码的多个主机/虚拟机/容器可以分布在相同的区域(region)中，也可以分布在不同的region中。进一步地，用于运行该代码的多个主机/虚拟机/容器可以分布在相同的可用区(availability zone，AZ)中，也可以分布在不同的AZ中，每个AZ包括一个数据中心或多个地理位置相近的数据中心。其中，通常一个region可以包括多个AZ。
同样，用于运行该代码的多个主机/虚拟机/容器可以分布在同一个虚拟私有云(virtual private cloud，VPC)中，也可以分布在多个VPC中。其中，通常一个VPC设置在一个region内，同一region内两个VPC之间，以及不同region的VPC之间跨区通信需在每个VPC内设置通信网关，经通信网关实现VPC之间的互连。
模块作为硬件功能单元的一种举例，处理模块530可以包括至少一个计算设备，如服务器等。或者，处理模块530也可以是利用专用集成电路(application-specificintegrated circuit，ASIC)实现、或可编程逻辑器件(programmable logic device，PLD)实现的设备等。其中，上述PLD可以是复杂程序逻辑器件(complex programmable logicaldevice，CPLD)、现场可编程门阵列(field-programmable gate array，FPGA)、通用阵列逻辑(generic array logic，GAL)或其任意组合实现。
处理模块530包括的多个计算设备可以分布在相同的region中，也可以分布在不同的region中。处理模块530包括的多个计算设备可以分布在相同的AZ中，也可以分布在不同的AZ中。同样，处理模块530包括的多个计算设备可以分布在同一个VPC中，也可以分布在多个VPC中。其中，所述多个计算设备可以是服务器、ASIC、PLD、CPLD、FPGA和GAL等计算设备的任意组合。
需要说明的是，在其他实施例中，确定模块510、预计算模块520和处理模块530可以分别用于执行上述调整视频画面的方法中的任意步骤，确定模块510、预计算模块520和处理模块530负责实现的步骤可根据需要指定，通过确定模块510、预计算模块520和处理模块530分别实现上述调整视频画面的方法中不同的步骤来实现运维通道管理集群的全部功能。
本申请还提供一种计算设备100。如图6所示，计算设备100包括：总线102、处理器104、存储器106和通信接口108。处理器104、存储器106和通信接口108之间通过总线102通信。计算设备100可以是服务器或终端设备。应理解，本申请不限定计算设备100中的处理器、存储器的个数。
总线102可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。总线102可包括在计算设备100各个部件(例如，存储器106、处理器104、通信接口108)之间传送信息的通路。
处理器104可以包括中央处理器(central processing unit，CPU)、图形处理器(graphics processing unit，GPU)、微处理器(micro processor，MP)或者数字信号处理器(digital signal processor，DSP)等处理器中的任意一种或多种。
存储器106可以包括易失性存储器(volatile memory)，例如随机存取存储器(random access memory，RAM)。处理器104还可以包括非易失性存储器(non-volatilememory)，例如只读存储器(read-only memory，ROM)，快闪存储器，机械硬盘(hard diskdrive，HDD)或固态硬盘(solid state drive，SSD)。
存储器106中存储有可执行的程序代码，处理器104执行该可执行的程序代码以分别实现前述确定模块、预计算模块和处理模块的功能，从而实现上述调整视频画面的方法。也即，存储器106上存有用于执行上述调整视频画面的方法的指令。
通信接口108使用例如但不限于网络接口卡、收发器一类的命令分发模块，来实现计算设备100与其他设备或通信网络之间的通信。
本申请实施例还提供一种芯片，该芯片包括处理器与数据接口，该处理器通过该数据接口读取存储器上存储的指令，以执行上述调整视频画面的方法。
本申请实施例还提供了一种包含指令的计算机程序产品。所述计算机程序产品可以是包含指令的，能够运行在计算设备上或被储存在任何可用介质中的软件或程序产品。当所述计算机程序产品在至少一个计算设备上运行时，使得至少一个计算设备执行上述调整视频画面的方法。
本申请实施例还提供了一种计算机可读存储介质。所述计算机可读存储介质可以是计算设备能够存储的任何可用介质或者是包含一个或多个可用介质的数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘)等。该计算机可读存储介质包括指令，所述指令指示计算设备执行上述管理的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的保护范围。

Claims (18)

1.一种调整视频画面的方法，其特征在于，所述方法应用于视频会议终端设备，所述视频会议终端设备包括图像输入装置和图像输出装置，所述方法包括：
确定目标图像对应的目标曝光值和/或所述目标图像对应的目标白平衡值，其中，所述目标图像是所述图像输入装置输入的图像或所述图像输入装置输入的图像中的部分图像，所述目标图像是所述图像输出装置在当前帧之后的第k帧待输出的图像，k为大于或等于1的正整数；
在所述当前帧之后的第k帧时，根据所述目标曝光值和/或所述目标白平衡值，输出所述目标图像。
2.根据权利要求1所述的方法，其特征在于，所述在所述当前帧之后的第k帧时，根据所述目标曝光值和/或所述目标白平衡值，输出所述目标图像，包括：
在所述当前帧之后的第k帧时，将所述目标曝光值和/或所述目标白平衡值应用于所述图像输入装置。
3.根据权利要求2所述的方法，其特征在于，当k大于1时，所述在所述当前帧之后的第k帧时，根据所述目标曝光值和/或所述目标白平衡值，输出所述目标图像，还包括：
对所述当前帧时所述图像输入装置的曝光值和/或白平衡值以及所述目标曝光值和/或所述目标白平衡值进行拟合，以确定所述当前帧之后第i帧对应的曝光值和/或白平衡值，i为大于等于1且小于k的正整数；
在所述当前帧之后的第i帧时，将所述当前帧之后第i帧对应的曝光值和/或白平衡值应用于所述图像输入装置。
4.根据权利要求1所述的方法，其特征在于，所述在所述当前帧之后的第k帧时，根据所述目标曝光值和/或所述目标白平衡值，输出所述目标图像，包括：
根据所述目标曝光值和/或所述目标白平衡值，确定所述目标图像的亮度补偿和/或所述图像的颜色补偿，其中，所述亮度补偿与所述目标曝光值相对应，所述颜色补偿与所述目标白平衡值相对应；
在所述当前帧之后的第k帧时，通过所述图像输出装置将所述亮度补偿和/或所述颜色补偿应用于所述目标图像。
5.根据权利要求4所述的方法，其特征在于，所述根据所述目标曝光值和/或所述目标白平衡值，确定所述目标图像的亮度补偿和/或所述图像的颜色补偿，包括：
根据所述目标曝光值，确定所述目标图像的YUV色彩空间中Y通道的变化量。
6.根据权利要求4或5所述的方法，其特征在于，所述根据所述目标曝光值和/或所述目标白平衡值，确定所述目标图像的亮度补偿和/或所述图像的颜色补偿，包括：
根据所述目标白平衡值，确定所述目标图像的RGB色彩空间中R通道、G通道和B通道中至少一个的变化量。
7.根据权利要求4至6中任意一项所述的方法，其特征在于，所述目标图像包括第一部分和第二部分，所述第一部分和所述第二部分是所述图像输入装置输入的图像中两个不同部分的图像，
所述确定目标图像对应的目标曝光值和/或所述目标图像对应的目标白平衡值，包括：
确定第一目标曝光值和第二目标曝光值，和/或，第一目标白平衡值和第二目标白平衡值，其中，所述第一目标曝光值是所述第一部分对应的目标曝光值，所述第二目标曝光值是所述第二部分对应的目标曝光值，所述第一目标白平衡值是所述第一部分对应的目标白平衡值，所述第二目标白平衡值是所述第二部分对应的目标白平衡值；
所述在所述当前帧之后的第k帧时，通过所述图像输出装置将所述亮度补偿和/或所述颜色补偿应用于所述目标图像，包括：
在所述当前帧之后的第k帧时，通过所述图像输出装置将所述第一目标曝光值对应的亮度补偿应用于所述第一部分，将所述第二目标曝光值对应的亮度补偿应用于所述第二部分；和/或
在所述当前帧之后的第k帧时，通过所述图像输出装置将所述第一目标白平衡值对应的颜色补偿应用于所述第一部分，将所述第二目标白平衡值对应的颜色补偿应用于所述第二部分。
8.根据权利要求1至7中任意一项所述的方法，其特征在于，在确定目标图像对应的目标曝光值和/或所述目标图像对应的目标白平衡值之前，所述方法还包括：
根据目标检测、声源定位、声像匹配中的至少一种方法，从所述图像输入装置输入的图像中确定所述目标图像。
9.一种调整视频画面的装置，其特征在于，所述装置设置于视频会议终端设备，所述视频会议终端设备还包括图像输入装置和图像输出装置，所述装置包括：
预计算模块，用于确定目标图像对应的目标曝光值和/或所述目标图像对应的目标白平衡值，其中，所述目标图像是所述图像输入装置输入的图像或所述图像输入装置输入的图像中的部分图像，所述目标图像是所述图像输出装置在当前帧之后的第k帧待输出的图像，k为大于或等于1的正整数；
处理模块，用于在所述当前帧之后的第k帧时，根据所述目标曝光值和/或所述目标白平衡值，输出所述目标图像。
10.根据权利要求9所述的装置，其特征在于，所述处理模块，用于：
在所述当前帧之后的第k帧时，将所述目标曝光值和/或所述目标白平衡值应用于所述图像输入装置。
11.根据权利要求10所述的装置，其特征在于，当k大于1时，所述处理模块，用于：
对所述当前帧时所述图像输入装置的曝光值和/或白平衡值以及所述目标曝光值和/或所述目标白平衡值进行拟合，以确定所述当前帧之后第i帧对应的曝光值和/或白平衡值，i为大于等于1且小于k的正整数；
在所述当前帧之后的第i帧时，将所述当前帧之后第i帧对应的曝光值和/或白平衡值应用于所述图像输入装置。
12.根据权利要求9所述的装置，其特征在于，所述处理模块，用于：
根据所述目标曝光值和/或所述目标白平衡值，确定所述目标图像的亮度补偿和/或所述图像的颜色补偿，其中，所述亮度补偿与所述目标曝光值相对应，所述颜色补偿与所述目标白平衡值相对应；
在所述当前帧之后的第k帧时，通过所述图像输出装置将所述亮度补偿和/或所述颜色补偿应用于所述目标图像。
13.根据权利要求12所述的装置，其特征在于，所述处理模块，用于：
根据所述目标曝光值，确定所述目标图像的YUV色彩空间中Y通道的变化量。
14.根据权利要求12或13所述的装置，其特征在于，所述处理模块，用于：
根据所述目标白平衡值，确定所述目标图像的RGB色彩空间中R通道、G通道和B通道中至少一个的变化量。
15.根据权利要求12值14中任意一项所述的装置，其特征在于，所述目标图像包括第一部分和第二部分，所述第一部分和所述第二部分是所述图像输入装置输入的图像中两个不同部分的图像，
所述预计算模块，用于：
确定第一目标曝光值和第二目标曝光值，和/或，第一目标白平衡值和第二目标白平衡值，其中，所述第一目标曝光值是所述第一部分对应的目标曝光值，所述第二目标曝光值是所述第二部分对应的目标曝光值，所述第一目标白平衡值是所述第一部分对应的目标白平衡值，所述第二目标白平衡值是所述第二部分对应的目标白平衡值；
所述处理模块，用于：
在所述当前帧之后的第k帧时，通过所述图像输出装置将所述第一目标曝光值对应的亮度补偿应用于所述第一部分，将所述第二目标曝光值对应的亮度补偿应用于所述第二部分；和/或
在所述当前帧之后的第k帧时，通过所述图像输出装置将所述第一目标白平衡值对应的颜色补偿应用于所述第一部分，将所述第二目标白平衡值对应的颜色补偿应用于所述第二部分。
16.根据权利要求9值15中任意一项所述的装置，其特征在于，所述装置还包括确定模块，在确定目标图像对应的目标曝光值和/或所述目标图像对应的目标白平衡值之前，用于：
根据目标检测、声源定位、声像匹配中的至少一种方法，从所述图像输入装置输入的图像中确定所述目标图像。
17.一种计算设备，其特征在于，包括处理器和存储器，所述处理器用于执行所述存储器中存储的指令，以使得所述计算设备执行如权利要求1至8中任一项所述的方法。
18.一种计算机可读存储介质，其特征在于，包括计算机程序指令，当所述计算机程序指令由计算设备执行时，使得所述计算设备执行如权利要求1至8中任一项所述的方法。
CN202310870424.2A 2023-07-14 2023-07-14 调整视频画面的方法和装置 Pending CN119316669A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310870424.2A CN119316669A (zh) 2023-07-14 2023-07-14 调整视频画面的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310870424.2A CN119316669A (zh) 2023-07-14 2023-07-14 调整视频画面的方法和装置

Publications (1)

Publication Number Publication Date
CN119316669A true CN119316669A (zh) 2025-01-14

Family

ID=94185233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310870424.2A Pending CN119316669A (zh) 2023-07-14 2023-07-14 调整视频画面的方法和装置

Country Status (1)

Country Link
CN (1) CN119316669A (zh)

Similar Documents

Publication Publication Date Title
US7277118B2 (en) Method and system for compensating for parallax in multiple camera systems
CN106251334B (zh) 一种摄像机参数调整方法、导播摄像机及系统
US11803984B2 (en) Optimal view selection in a teleconferencing system with cascaded cameras
US10778941B1 (en) System and method of dynamic, natural camera transitions in an electronic camera
US10264193B2 (en) System and method for providing images and video having high dynamic range
WO2021073331A1 (zh) 基于终端设备的变焦虚化图像获取方法和装置
US11496675B2 (en) Region of interest based adjustment of camera parameters in a teleconferencing environment
CN112261387B (zh) 用于多摄像头模组的图像融合方法及装置、存储介质、移动终端
US11076127B1 (en) System and method for automatically framing conversations in a meeting or a video conference
US20130194375A1 (en) Scene Background Blurring Including Range Measurement
US9843761B2 (en) System and method for brightening video image regions to compensate for backlighting
CN116324882A (zh) 多相机系统中的图像信号处理
US12081906B2 (en) Parallel processing of digital images
US12333854B2 (en) Systems and methods for correlating individuals across outputs of a multi-camera system and framing interactions between meeting participants
WO2021243631A1 (en) Head pose estimation in a multi-camera teleconferencing system
CN106803920B (zh) 一种图像处理的方法、装置及智能会议终端
US10447969B2 (en) Image processing device, image processing method, and picture transmission and reception system
WO2025108228A1 (zh) 视频处理方法、视频处理装置、电子设备及介质
CN112738425A (zh) 一种多摄像头采集的视频实时拼接系统
CN119316669A (zh) 调整视频画面的方法和装置
CN108600771B (zh) 录播工作站系统及操作方法
EP3884461B1 (en) Selective distortion or deformation correction in images from a camera with a wide angle lens
CN114125408A (zh) 图像处理方法及装置、终端和可读存储介质
WO2023189079A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2021232272A1 (en) Exposure adjustment during view changing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication