CN103636188B - 用于摄影机的编码器监督成像 - Google Patents

用于摄影机的编码器监督成像 Download PDF

Info

Publication number
CN103636188B
CN103636188B CN201280032244.7A CN201280032244A CN103636188B CN 103636188 B CN103636188 B CN 103636188B CN 201280032244 A CN201280032244 A CN 201280032244A CN 103636188 B CN103636188 B CN 103636188B
Authority
CN
China
Prior art keywords
image
video camera
imaging parameters
adjustment
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280032244.7A
Other languages
English (en)
Other versions
CN103636188A (zh
Inventor
田第鸿
钟温权
陈清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cisco Technology Inc
Original Assignee
Cisco Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cisco Technology Inc filed Critical Cisco Technology Inc
Publication of CN103636188A publication Critical patent/CN103636188A/zh
Application granted granted Critical
Publication of CN103636188B publication Critical patent/CN103636188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/40—Circuit details for pick-up tubes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

控制器控制摄像机，该摄像机产生图像序列并且具有耦合到视频编码器的输出。摄像机具有操作条件，该操作条件包括视场、光照、以及一个或多个成像参数。视频编码器将来自摄像机的图像编码成代码字。控制器接收来自视频编码器的一项或多项编码属性，并且基于至少一项所接收的编码属性引起对一个或多个成像参数的调整，以使得摄像机使用经调整的一个或多个成像参数产生用于视频编码器的图像序列的附加图像。

Description

用于摄影机的编码器监督成像
相关申请
本发明要求发明人Tian等于2011年6月30日提交的美国专利申请No.13／174,432的优先权，其内容通过引用并入本文中。
技术领域
本公开一般涉及视频处理，并具体地涉及使用视频编码器的属性控制摄像机的成像，该视频编码器对摄像机所产生的图像序列进行编码。
背景技术
数码摄影机(digital video camera)，下文简称作摄像机(camera)，其进行成像以产生图像的时间序列形式的视频信号，每幅图像由被称作像素的二维图像元素的组合表示。摄像机包括例如图像传感器的光敏介质、使光学图像聚焦到光敏介质上的光学器件(optics)、以及将光学图像转换成与图像的时间序列相对应的数字信号的电路。摄像机接受控制成像的一个或多个成像参数。两个常用的成像参数是曝光和色彩平衡；后者有时被称为白平衡。控制曝光的一种方式是控制能够到达摄像机的光敏介质的光的总量。色彩平衡允许对例如红、绿、和蓝、或RGB的原色的相对强度的调整，以使得特定的色彩——特别是中性色(例如，白色)在产生的图像中正确地呈现。
摄像机可以具有一个或多个被如下配置的元件：(i)测量摄像机的视场内的光照的一项或多项特性并且(ii)根据测得的特性进行调整，例如自动地调整成像参数。例如，摄像机可以具有自动曝光控制，根据曝光来调整诸如摄像机的一个或多个图像传感器的信号积分时间(signalintegration time)之类的参数以确保信号在动态范围内。一些彩色摄像机，例如，具有用于产生多个信号通道(每种色彩一个通道)的多个传感器(例如，红绿蓝(“RGB”)传感器)的彩色摄像机，包括自动白平衡控制以根据对光照的色度(例如，由摄像机中所包括的一个或多个传感器测得的光照的色彩温度)的测量来调整用于每个色彩通道的相对增益。用于执行自动曝光和自动白平衡功能的许多方法是已知的。自动曝光控制、自动白平衡控制和自动聚焦有时被称作3A。
在许多应用(例如，视频会议和视频监控)中，摄像机的输出可以被耦合到视频编码器，视频编码器在恒定比特率(constant-bit-rate，“CBR”)的限制下压缩图像，以便通过网络连接传输视频数据。例如，以每秒30幅图像的速率产生空间分辨率为1920x1080像素的图像的摄像机可以被连接到视频编码器，该视频编码器在4兆比特每秒或4Mbps的恒定比特率下编码图像序列。
视频编码器对图像的压缩通常是基于预测的。参考一幅或多幅先前处理的图像或其部分来预测当前要被编码的图像或其部分的数据。然后将被称作残差的、实际数据和预测数据的差值进行编码。一般而言，当前要被编码的图像和参考(reference)图像之间的差别越大，对图像进行编码就越可能消耗较多数目的比特。在恒定比特率以下，这也意味着当编码的图像被解码和显示时，视频编码器更可能生成较低质量的图像。
诸如自动曝光和自动白平衡功能之类的现有的调整摄像机成像参数的方法是基于对光照的变化的检测。然而，这些方法都没有考虑当摄像机的输出被耦合到编码器时，这种调整对视频编码器的影响。更具体地，调整成像参数可能导致由摄像机产生的后续图像中的像素值的剧烈变化，从而在所约束的比特率下导致到编码器的图像质量的劣化。由于压缩的预测性质，这种一幅图像的劣化可能被扩展到后续的更多图像。
本节中描述的方法是能够实行的方法，但未必是先前已被构思或实行的方法。因此，除非另有指示，否则不应仅仅因为本节中描述的任何方法被列入本节中，就将它们假定为现有技术。类似地，相对于一种或多种方法标识的结论不应基于本节而被假定已经在任何现有技术中被认知，除非另有指示。
附图说明
图1示出了编码器监督成像装置的一个实施例的框图。
图2示出了编码器监督成像方法的一个实施例的流程图。
图3A示出了用在控制对摄像机的一个或多个成像参数的调整的方法的一个实施例中的一个示例编码属性。
图3B示出了使用图3A中所示的示例属性来控制对摄像机的一个或多个成像参数的调整的方法的一个实施例的简化流程图。
图4A示出了用在控制对摄像机的一个或多个成像参数的调整的方法的另一实施例中的另一示例编码属性。
图4B示出了使用图4A中所示的示例属性来控制对摄像机的一个或多个成像参数的调整的方法的另一方法实施例的简化流程图。
图5A示出了获得在控制对摄像机的一个或多个成像参数的调整的方法的另一实施例中使用的另一示例编码属性的简化框图。
图5B示出了使用图5A中所示的示例属性来控制对摄像机的一个或多个成像参数的调整的方法的另一实施例的简化流程图。
图6示出了将图4B和图5B中所示的实施例的特征相组合的方法的实施例的伪代码。
图7示出了被配置来执行编码器监督成像并且包含计算机可读介质的装置的实施例的简化框图，其中计算机可读介质包含当被执行时使得本文所公开的方法被执行的指令。
示例实施例说明
概览
本文描述了一种方法、一种装置以及在一种或多种计算机可读硬件存储介质上编码以执行方法的逻辑。该方法包含以考虑到视频编码器的编码属性的方式引起对摄像机的一个或多个成像参数的时空调整，摄像机的输出耦合到视频编码器，从而使得由带有经调整的一个或多个成像参数的摄像机产生的图像在被视频编码器编码之后保持较高的质量。
具体的实施例包含一种方法，该方法包括：控制器接收来自视频编码器的一项或多项编码属性；以及控制器引起对产生图像序列的摄像机的至少一个成像参数的调整，以使得摄像机使用经调整的至少一个成像参数产生用于视频编码器的图像序列的附加图像。引起所述调整是基于所接收的编码属性中的至少一项。在该方法的具体实施例中，控制器在摄像机中，或者耦合到摄像机的输出。摄像机具有操作条件，包含视场、光照、以及一个或多个成像参数，包含经调整的至少一个成像参数。视频编码器通过执行基于预测的压缩将由摄像机产生的图像序列编码成代码字(codeword)。
在一些实施例中，该方法还包含控制器接收摄像机的操作条件的指示，以使得对一个或多个成像参数的调整还基于对操作条件的指示。
在一个特定的示例中，摄像机的操作条件的指示可以是对摄像机的视场内的光照变化的指示。这种变化例如可以是光照强度的变化或光照色度的变化。控制器可以自己检测光照变化，或者它可以例如从摄像机接收变化的指示。
在另一示例中，摄像机的操作条件的指示可以是一个或多个成像参数变化的指示。当检测到光照变化时，摄像机可以启动一个或多个成像参数变化。
在上面的两个示例中，要调整的成像参数可以是对应于光照强度变化的曝光参数和对应于光照色度变化的色彩平衡参数中的一个或多个。
具体的实施例还包含一种装置，该装置包括耦合到视频编码器的控制器，该控制器被配置来控制产生图像序列的摄像机的一个或多个成像参数。该控制器被配置来接收来自视频编码器的一项或多项编码属性，以及引起对至少一个成像参数的调整，以使得摄像机使用经调整的一个或多个成像参数产生用于视频编码器的附加图像。引起所述调整是基于所接收的编码属性中的至少一项。摄像机具有操作条件，包含视场、光照、以及包含所述经调整的至少一个成像参数在内的一个或多个成像参数。视频编码器被配置为通过执行基于预测的压缩将来自摄像机的图像编码成代码字。
具体的实施例还包含一种装置，该装置包括产生图像序列并且具有输出的摄像机。摄像机具有操作条件，包含一个或多个成像参数、视场及光照。该装置还包含控制器。该控制器在摄像机中或者被耦合到摄像机，并且被配置来控制一个或多个成像参数。该装置还包含视频编码器，该视频编码器耦合到摄像机的输出并且可操作来通过执行基于预测的压缩将来白生相机的图像编码成代码字。该控制器被配置来接收来自视频编码器的一项或多项编码属性以及基于所接收的编码属性中的至少一项引起对一个或多个成像参数的调整，以使得摄像机使用经调整的一个或多个成像参数产生用于视频编码器的附加图像。
在装置的一些实施例中，控制器还被配置来接收摄像机的操作条件的指示，并且基于该操作条件的指示引起对一个或多个成像参数的调整。
具体的实施例包含存储可执行指令的计算机可读硬件存储介质，当可执行指令被处理系统的一个或多个处理器执行时实现一种方法，所述方法包括操作控制器来控制摄像机的一个或多个成像参数。摄像机被配置来产生图像序列并且具有耦合到视频编码器的输出。摄像机可以在控制器中或者被耦合到控制器。设备相机具有操作条件，包含视场、光照、以及一个或多个成像参数。视频编码器被配置来通过执行基于预测的压缩将来自摄像机的图像编码成代码字。该方法包含：控制器接收来自视频编码器的一项或多项编码属性，控制器基于所接收的编码属性中的至少一项引起对一个或多个成像参数的调整，以使得摄像机使用经调整的一个或多个成像参数来产生用于视频编码器的附加视频图像。
在方法、装置和存储介质的一些特定示例中，摄像机的操作条件的指示可以是摄像机的视场中的光照变化的指示。这种变化例如可以是光照强度的变化或者光照色度的变化。控制器可以自己检测光照变化，或者它可以例如从摄像机接收变化的指示。
在方法、装置和存储介质的其它示例中，摄像机的操作条件的指示可以是一个或多个成像参数变化的指示。当检测到光照变化时，摄像机可以启动一个或多个成像参数变化。
在上面的示例中，要被调整的成像参数可以是对应于光照强度变化的曝光参数和对应于光照色度变化的色彩平衡参数中的一个或多个。
具体的实施例可能提供这些方面、特征或优点中的全部、一些或者没有这些方面、特征或优点。具体的实施例可能提供一项或多项其它的方面、特征或优点，本领域技术人员可以从本文的附图、说明书和权利要求中轻易地明白这些方面、特征或优点中的一项或多项。
示例实施例
本文所述的装置实施例和方法实施例是用于以使得连续视频编码功能相比没有执行这样的调整能够保持恒定的、更高质量的输出的有利方式来引起对诸如曝光参数和色彩平衡参数之类的摄像机成像参数的时空调整。方法实施例和装置实施例以及计算机可读介质实施例可以例如在视频编码是CBR编码的布置中有用处。
图1示出了根据来自编码器的编码属性控制的成像装置的一个实施例，这种装置在本文中称作编码器监督装置。该装置包含摄像机103、摄像机成像参数控制器105以及视频编码器107，这些元件的耦合如图所示。在一些实施例中，可以包含另外的元件，例如，可以在摄像机103的输出和到编码器107的输入之间包含图像分析元件。需要注意的是控制器或其部分可以在摄像机中、在编码器中或者是分立的单元，并且整个装置可以被包含在所谓的网络摄像机中，网络摄像机用网络接口将摄像机和编码器组合在一起。摄像机103具有操作条件，包含一个或多个成像参数、视场和光照。成像参数控制成像。摄像机103产生图像序列并且具有耦合到视频编码器107的输出。编码器107通过执行基于预测的压缩将来自摄像机103的图像编码成一系列代码字。在一个示例中(例如，视频会议)，代码字可以被形成比特流并通过网络——即，通过包含网络链接的信道——传输到视频解码器，视频解码器将代码字解码来重构类似原始图像序列的图像序列。
在一个实施例中，编码器根据ITU-T H.264标准(也称作“H.264／AVC”)进行编码，根据该标准将图像序列中的每幅图像划分成一个或多个尺寸的组块。图像可能是帧内编码(intra-coded)图像(有时称作“I-图片”、“I-帧”、“I-图像”)或帧间编码(inter-coded)图像，其中帧内编码图像相对其它图像独立地进行编码并且能够用作用于预测其它图像的参考图像。帧间编码图像是一种编码的图像，其中该图像的至少一部分是从一幅或多幅先前处理的图像或其部分中预测的。帧间编码图像也称作P-帧和B-帧(取决于预测的类型)。作为示例，帧间编码图像是这样一种图像，该图像的块是从一幅或多幅图像(例如，用作用于预测的参考图像的帧内编码图像)的块中预测的。预测包含运动补偿。替代的实施例采用使用预测的、其它基于块的补偿方法(例如，运动补偿预测)，并且这些其它方法可能符合标准，或者可能不符合(例如，专有的方法)。
控制器105控制摄像机的一个或多个成像参数中的至少一个。控制器105接收来自编码器107的编码属性。编码属性是由编码器107生成的、以表示由编码器107执行的编码操作的一项或多项特性和状态的参数。控制器105从编码器107接收的编码属性包含(以H.264编码器为例)：编码器进行的一种或多种视频编码的类型(帧间、基于块等)、编码器使用的块传输(4x4、8x8等)、图片组(“GOP”)的尺寸和帧索引、如何将图像分成片、速率控制的状态以及H.264编码器中包含的长期参考缓冲区中的图像的亮度／色彩统计。一般而言，编码属性是使得摄像机能够执行调整的编码属性，例如，以编码器友好方式并朝向编码器的更高速率失真性能的像素。下面，将在本说明书中更详细地描述编码属性的数个示例。
控制器105也可以接收摄像机103的操作条件的指示，从而控制摄像机103的一个或多个成像参数中的至少一个。在一个具体的示例中，操作条件的指示包含摄像机103的视场中的光照变化，该变化可以是光照强度变化或白平衡变化，例如，(例如，如通过对光照的色彩温度的测量所指示的)光照的色度变化。控制器105可以从摄像机103接收光照变化的指示。可替换地，控制器105可以使用相同的光计量设备或者在典型的摄影机中使用的设备自己检测光照变化。这样的设备是本领域技术人员所公知的。
在另一示例中，摄像机103的操作条件的指示可以包含对一个或多个成像参数的变化的指示。当检测到光照变化时，摄像机103可以启动一个或多个成像参数的变化。
在上面的两个示例中，要被调整的一个或多个成像参数可以包含：响应于检测到光照强度变化而调整的曝光参数和响应于检测到光照色度变化而调整的色彩平衡参数(例如，光照的色彩温度)中的一个或多个。其它的一个或多个成像参数也可以被调整。
控制器105直接输出到摄像机103来引起对摄像机103的一个或多个成像参数的调整，以使得摄像机103用调整的成像参数产生(附加)图像序列，以使得附加图像序列随后被编码器107编码。继续调整以使得对编码是对使用包含至少一个根据控制器的输出调整的成像参数的一个或多个成像参数获得的图像进行的。控制器的输出在一个实施例中包含要被调整的一个或多个成像参数的实际值；在另一实施例中包含要如何调整这些一个或多个成像参数的指令；在另一实施例中包含一个或多个成像参数的一个或多个实际值以及针对一个或多个成像参数的指令。
图2示出了在本文称作编码器监督成像方法的方法的一个实施例的流程图。该方法包含操作控制器来执行一组由控制器实现的步骤。在203中，控制器接收来自视频编码107的编码属性。在205中，控制器接收对摄像机的操作条件的指示。在207中，控制器确定输出并且引起对摄像机的一个或多个成像参数中的至少一个的调整。后续的图像是用新的一个或多个成像参数生成的。方法继续重复这些步骤，以使得被编码的图像是用根据至少一项编码属性确定的一个或多个成像参数获得的。
使用以下分别在图3A和图3B、图4A和图4B、以及图5A和图5B中示出的示例实现方式可以更好地理解图2中所示的方法，每组图关于一个示例编码属性。
首先参照图3A和图3B中示出的实现方式，称作“帧内”实施例，如图3A中所示，编码器将来自摄像机的图像序列压缩成帧内编码图像303和帧间编码图像305。该示例中的编码属性包含序列中的哪幅图像要被压缩成下一幅帧内编码图像的指示，当这个指示被发送到控制器时，这幅要被压缩成下一幅帧内编码图像的图像被表示为nI。图3B示出了实现方式的流程图。在307中，控制器接收检测摄像机的视场中的光照变化的指示。在309中，控制器确定直到摄像机产生下一幅帧内编码图像nI的时间，该时间被表示为tI。控制器将tI与预定义的时间阈值T相比较以决定以下两个动作中的一个：
(a)如果tI＜T，则在311中控制器对时钟单元进行计数，直到nI是摄像机要产生的下一幅图像。在313中，控制器引起对成像参数的调整，以使得在调整之后由摄像机产生的第一幅附加图像是要被压缩成帧内编码图像的下一幅图像。
(b)如果tI≥T，则在313中控制器引起对成像参数的调整，以使得在调整之后由摄像机产生的第一幅附加图像是要被压缩成帧内编码图像的下一幅图像。
确定阈值T以使得从光照变化发生时到摄像机用经调整的一个或多个成像参数产生第一幅附加图像时的等待时间是不可察觉的。这可以通过主观实验来实现。可以针对视频会议使用大约1秒的阈值。其它实施例针对视频会议使用更低的阈值，例如，0.8秒。然而，应该注意：例如依据应用和使用的场景能够使用不同的阈值。因此，方法实施例、装置实施例和计算机可读的实施例不限于这些特定的时间阈值。当然，正如本领域技术人员所了解的，阈值也能够以除时间外的其它单位表示。
帧内编码实施例的一个具体的示例适用于为H.264或类似的编码器的编码器107。在这种编码器中，帧内编码图像可以是瞬时解码器刷新(“IDR”)图像和渐进解码刷新(“GDR”)图像。IDR图像是没有来自任何其它图像的预测而编码的单幅图像，并且向解码器信令新的独立的图像组的开始。IDR图像后面的图像不能往回参考IDR图像以前的任何一幅或多幅图像(即，从IDR图像以前的任何一幅或多幅图像中预测)。换而言之，解码处理能够在IDR图像处重启而不管发生在IDR图像之前的错误。这称作帧内刷新。与IDR类似，GDR也为编码图像序列提供帧内刷新。与是单幅图像的IDR图像不同，渐进解码刷新将帧内刷新处理分布在由特定数目的连续图像组成的时期内，称作GDR时期。GDR时期内的第一幅图像指示GDR事件的开始。帧内实施例的特定示例包含：控制器105接收关于编码器107是否以周期性的方式产生IDR图像或GDR图像的信息，并且按照图3B中所示的逻辑流程，使得摄像机103延迟成像参数调整事件以与即将到来的IDR／GDR事件相匹配。
图4A和图4B示出了在本文被称作“分区(partitioning)”实施例的另一实施例，根据此实施例将图像划分成一组区域。编码属性包含如何划分图像的指示。图4A示出了示例图像，该图像被划分成两个示例区域，区域A405和区域B407。403指定了如何划分图像的指示。在摄像机的输出和下一个元件(例如，执行分区的编码器)之间可以包含图像分析器元件。在一些版本中，图像分析器元件被包含为编码器的一部分。图像分析器元件被配置来将每幅图像划分成一组区域。在一个版本中分区是基于块的，而在另一版本中分区是基于对象的。在这样一个特别适用于视频会议的示例中，图像分析器元件本配置来将每幅图像分割成背景和一个或多个前景对象，在视频会议中这些对象可以是人脸。如何使用分割技术分割图像是本领域技术人员所公知的。
在一个分区实施例中，控制器105对于基于如何划分图像的指示的一个或多个分区(例如，一个或多个前景对象和背景)确定至少一个成像参数。控制器105可以在不同的时刻而不是在同一时刻引起对一个或多个区域的至少一个成像参数的调整。例如，对控制器105的控制方法可以首先在一幅图像中进行前景对象的曝光调整和色彩平衡调整，并且分离地在后续图像中进行背景的曝光调整和色彩平衡调整。基于有目的的图像分区在不同时刻执行对一个或多个成像参数的调整使得每幅图像(至少图像的一部分，例如表示静止背景的部分)能够用相对较少数目的比特来编码。这可以避免用于编码一幅图像的比特数的剧烈增加，或者图像质量的剧烈劣化。
图4B示出了分区实施例的一种方法实现的流程图，其中控制器接收图4A的示例403中示出的两个区域的分区的指示。在409中，控制器接收摄像机的视场内的光照变化的指示。在411中，控制器105使用分区403的指示引起对区域A405的一个或多个成像参数的调整。在413中，控制器105等待直到摄像机在对区域A405进行调整之后产生预定义数目(表示为K)的附加图像，其中K≥i。在415中，控制器引起对区域B407的一个和多个成像参数的调整。
可能发生多个区域部分或完全重叠的情况。当两个区域完全重叠时，这两个区域都可以指整个图像。在这种情况下，鉴于图4B的流程图的方法，控制器第一次引起对整个图像的一个或多个成像参数的调整，等到摄像机产生K个附加图像，就第二次引起对整个图像的一个或多个成像参数的调整。
在一个具体的示例实施例中，其中包含编码器107执行基于块的变换(如，采用常用的离散余弦变换(DCT)或类似的诸如在H.264标准中用于压缩的那些变换之类的变换)，分区也可以包含如何将图像的一个或多个区域分成变换块的指示。在一个这样的实施例中，控制器105使得摄像机103调整例如曝光和白平衡，以使得每个块(例如，8x8块)中的像素变化在各帧之间是恒定的。对每块的恒定调整导致在块变换之后要被编码的高频系数变少。能够逐像素曝光调整的摄影机是市场上已知的，并且可能变得更加通用。
图5A和图5B示出了另一方法实施例，本文中称作“参考图像”实施例，其中，如图5A所示，视频编码器107执行基于预测的压缩503并维护参考缓冲器505来存储先前处理的图像。编码器还执行对于存储在参考缓冲器505中的每幅先前处理的图像的代表像素值(representative pixelvalue)507的计算，这种代表像素值在一个实施例中是平均像素值，而在其它实施例中，是其它统计度量或代表像素值的其它度量，例如，中值。图5B示出了一个版本的参考图像实施例的流程图，其中控制器接收先前处理的图像的平均像素值作为编码属性。在509中，控制器从摄像机接收一个或多个成像参数变化的指示。在511中，控制器估算代表像素值，例如，要被摄像机产生的下一幅图像的平均像素值，就像应用了一个或多个成像参数的变化一样。这可以例如通过应用最近图像中的像素变化并且计算所得到的图像的代表像素值(例如，平均像素值)来实现。在513中，控制器在接收的先前处理的图像的代表像素值(例如，平均像素值)中找到最接近所估算的下一幅图像的代表像素值(例如，平均像素值，表示为V)的一幅图像。在515中，控制器引起对摄像机的一个或多个成像参数的调整，以使得要被摄像机产生的下一幅图像具有估算的平均像素值V。
因此，在一个实施例中，视频编码器包含用于存储一幅或多幅先前处理的图像的参考缓冲器，并且来自视频编码器的一项或多项编码属性包含一个或多个代表像素值，例如，一幅或多幅先前处理的图像的平均值或中值。调整一个或多个成像参数包含选择一幅或多幅先前处理的图像中的一幅并且减小所选择的先前处理的图像和由摄像机在调整之后产生的附加图像之间的一个或多个代表像素值的差值。在一个版本中，该方法使所选择的先前处理的图像和由摄像机在调整之后产生的下一幅附加图像之间的一个或多个代表像素值的差值最小化。
一个参考图像实施例适用于使用H.264或类似的编码器，在其中保持长期参考图片(LTRP)缓冲器。在H.264编码中，LTRP指的是使所选择的先前处理的图像，相对于最近处理的图像在时间序列中是旧的，这些最近处理的图像被认为是“短期”参考图片。使用来自编码器的长期参考存储器中的数据在其中光照来回变化的动态环境中是特别有用的。在一个这样的实施例中，由编码器107发送并且由控制器105接收的编码属性包含缓存的长期参考图片的像素值的典型度量，例如，每个LTRP的亮度电平和色度电平的平均值。
一些不具有本发明的方法和装置的现代摄像机在摄像机中包含曝光和／或白平衡控制逻辑。这种控制逻辑基于变化的光照确定平均亮度和／或色度值的“最佳”电平并且准备向该电平的方向调整一个或多个成像参数。
在一个参考图像实施例中，其中摄像机包含自动曝光和／或白平衡控制逻辑，控制器105被配置通过控制方法来在光照变化时引起调整，并且该控制方法在参考图片中选择最接近期望值的电平，这种期望值在一个实施例中是由摄像机103中的自动控制逻辑确定的曝光和／或白平衡。在另一实施例中，控制方法找到期望值和参考之间的最佳折衷(trade-off)。更详细地，控制器105估算照惯例确定的电平(例如，从摄像机103接收的自动曝光和／或白平衡控制逻辑的确定值)和由编码器107提供的缓存的长期参考图片的电平之间的差值。控制器105在参考图片中选择最接近最佳电平的电平，或者，在另一可替换实施例中确定照惯例确定的曝光或白平衡和参考图片的曝光或白平衡之间的最佳折衷。一种这样的折衷方法包含计算照惯例确定的最佳值和最接近的参考电平的平均值。在一个实施例中，控制器105决定使用照惯例确定的每个成像参数的最佳值作为调整的目标电平，但是使得摄像机103将调整分布到不止一幅的图像上(例如，两幅图像上)。对于第一图像，基于最接近照惯例确定的最佳电平的参考电平来执行调整，而对于第二图像，调整到照惯例确定的最佳电平。
在另一可替换实施例中，在图像被处理后，解码器107将用新的一个或多个成像参数生成的图像存储在它的LTRP缓冲器中，并且更新提供给控制器105的信息。当做出下一个决定时，控制方法参照新的参考图像的典型度量。
所示的示例实施例的逻辑可以被修改或组合以形成另外的方法实施例、装置实施例和计算机可读介质实施例。作为示例，在一个修改的参考图像实施例中，控制器估算找到的先前处理的图像的最接近的代表像素值和估算的下一幅图像的代表像素值之间的差值，并且将其与预定义的可设定的阈值相比较，在实验的基础上易于确定该阈值的数值。在一种实现方式中，如果差值大于阈值，则控制器决定采用来自摄像机的变化，并且使用分区方法实施例来渐进地引起两次调整。在特定的实现方式中，第一次调整是使得只对图像的一部分执行一个或多个成像参数，或者只执行对整幅图像上的一个或多个成像参数的较小程度的变化。在第一次调整之后产生一幅或多幅图像后执行第二次调整，并且使得一个或多个成像参数的变化被应用于整幅图像。图6示出了包含图4B和图5B的实施例的特征的组合实施例的伪代码。
本领域技术人员将理解对实施方式的其它修改和组合可以类似地流程图化或伪代码化，然后被执行。本领域技术人员还将理解本文所述的实施例仅用于说明，并且在不背离本发明的精神的情况下可以有包含其它编码属性以及由控制器执行来引起对摄像机的一个或多个成像参数进行调整的方法的其它实施例。
例如，对于CBR视频编码器，编码属性可以包含比特率预算，即，能够在接下来的一幅或多幅图像的编码中花费的最大比特数。依据接收的比特率预算，当比特率预算紧张时，控制器可以将对一个或多个成像参数的调整限制到较小的程度，而只有当比特率预算允许时才引起较大程度的调整。
本文所述的一些实施例的一个方面是控制摄像机的输出图像序列变化的总量(amount)的能力，例如，由于场景中的变化(例如，突然的光照变化或其它场景变化)，如果没有一些方法实施例、装置实施例和计算机可读(存储介质)实施例的控制，这些变化可能引起摄像机的自动曝光／白平衡响应于场景动态而调整继而造成编码器107的编码中的不良影响。例如，在家庭视频会议中，光照和／或场景变化可能触发自动的摄像机输出调整而给编码器造成困难。如果没有本发明的一项或多项特征中的控制器105根据编码器107的视频编码属性引起一个或多个摄像机参数的一项或多项调整，具有自动曝光逻辑和／或自动白平衡逻辑的现代摄像机能够响应于场景和／或光照变化产生与以前的一幅或多幅图像殊异的图像以至于该图像与用于基于预测的编码(“预测编码”)的一幅或多幅参考图像迥然不同。在受限的比特率预算的情况下，编码这样大的一个或多个差异是昂贵的。这种编码可能造成例如用于编码帧的比特数的尖峰(spike)，或者可能导致图像质量较大的劣化。因为编码器是预测编码器，图像质量恶化可能进一步持续到后面的图像。通过使控制器105考虑摄像机和编码属性二者并且使得摄像机的曝光和／或白平衡逻辑以“编码器友好”的方式进行变化，上述情形可以得到改善。
图7示出了装置实施例703的简化框图。装置703可操作来执行编码器监督成像，例如，通过执行本文所述的方法实施例中的任何一个(例如，图2中所述的方法)的方法步骤。装置703包含一个或多个处理器705和存储子系统，如存储器707。图7中示出了单个处理器，但本领域技术人员将理解这能够代表多个处理器。类似地，单个存储子系统被示作单个存储器707，本领域技术人员将理解存储子系统能够包含不同的元件，如，RAM、ROM等等。另外，存储子系统可以包含一个或多个非易失性存储元件，比如磁或光存储组件。计算机程序709被包含于并存储在存储子系统中，例如，加载到存储器707中。应该注意，正如本领域技术人员所理解的，在任何时刻程序中的一些可以在存储器子系统的不同部分中。程序709包含在不同版本中指示处理器实现不同控制方法的指令，例如，如图3A和图3B、图4A和图4B以及图5A和图5B中所述的控制方法。在示出的实施例中，存储器子系统707还包含用于缓冲数据和存储例如预定义的阈值的块711。
除非如从以下描述中清楚具体地声明的那样，否则可以理解在整个说明书的讨论中使用的诸如“处理”、“计算”、“运算”、“确定”等等术语可以但不限于指代以下各项的动作和／或处理：装置、或计算机、或计算系统、或类似的电子计算设备或将表示为诸如电子的之类的物理量的数据操控和／或变换成类似以物理量表示的其它数据的其它硬件。
以类似的方式，术语“处理器”可以指以如下方式处理电子数据的任何设备或设备的一部分：处理例如来自寄存器和／或存储器的电子数据以将该电子数据转换成其它电子数据(例如可以存储在寄存器和／或存储器中)。“计算机”或“计算机器”或“计算平台”可以包含一个或多个处理器。
应该注意，除非特别说明，当描述的方法包含多个要素时(例如，多个步骤)，这些要素(例如，步骤)的次序不是必要的。
在一些实施例中，计算机可读存储介质被配置有(例如，被编码有)指令，当该指令被处理系统的一个或多个处理器执行时，使得本文所述的方法被执行，这种处理系统比如是包含至少一个处理器元件和存储子系统的数字信号处理设备或子系统。
在一些实施例中，本文所述的方法是可以被一个或多个接受编码在一种或多种计算机可读介质上的逻辑(例如，指令)的处理器执行的。当这些指令被一个或多个处理器执行时，使得至少一种本文所述的方法被执行。任何能够(顺序地或以其它方式)执行规定了将要采取的动作的一组指令的处理器都被包含在内。因此，一个示例是包含一个或多个处理器的典型处理系统。每个处理器可以包含下述元件中的一个或多个：CPU或类似元件；图形处理单元(GPU)；现场可编程门阵列；专用集成电路；以及可编程数字信号处理器(DSP)单元。处理系统还包含具有至少一种存储介质的存储子系统或分立的存储器子系统，存储子系统可以包含嵌入半导体设备中的存储器，分立的存储器子系统包含下述存储器中的一个或多个：主随机存取存储器(RAM)、静态RAM、只读存储器(ROM)以及缓存存储器。存储子系统还可以包含一个或多个其它存储设备，比如，磁和／或光和／或其他固态存储设备。总线子系统也可以被包含在内以用于组件之间的通信。处理系统还可以是具有通过网络(例如，经由网络接口设备或无线网络接口设备)耦合的存储器的分布式处理系统。如果处理系统需要一个或多个显示器，可以包含这样的一个或多个显示器，例如下述显示器中的一个或多个：液晶显示器(LCD)、有机发光显示器(OLED)以及阴极射线管(CRT)显示器。如果需要手动数据入口，那么处理器系统还包含输入设备，比如诸如键盘之类的字母数字输入单元、诸如鼠标之类的指向控制设备等等中的一项或多项。本文所用的术语存储设备、存储子系统或存储器单元，如果在上下文中是确定的并且除非明确说明，否则还包含诸如盘驱动单元之类的存储系统。在一些配置中，处理系统可以包含视频输出设备和网络接口设备。
因此，存储子系统包含非暂态计算机可读介质，该计算机可读介质被配置有(例如被编码有)指令(例如逻辑和软件)，当该指令被一个或多个处理器执行时，使得本文所述的方法步骤被执行。非暂态计算机可读介质包含任何有形计算机可读存储介质。软件可以驻留在硬盘中，或者在其被计算机系统执行期间，也可以完全或至少部分地驻留在RAM或处理器的一者或两者中。因此，存储器和处理器也构成其上编有指令的非暂态计算机可读介质。
此外，非暂态计算机可读介质可以形成计算机程序产品，或被包含在计算机程序产品中。
在可替代的实施例中，一个或多个处理器作为独立的设备运作或者可以在网络化(networked)部署中被连接(例如，网络化)到其它(一个或多个)处理器，并且所述一个或多个处理器在服务器客户端网络环境中可以在服务器或客户端机器的能力内运作，或者在对等或分布式网络环境中作为对等机运作。除非在本文中明确排除在外，术语处理系统包含所有这样的可能性。一个或多个处理器可以形成个人计算机(PC)、媒体回放设备、平板PC、机顶盒(STB)、个人数字助理(PDA)、游戏机、蜂窝电话、Web应用、网络路由器、交换机或桥接器或任何能够(顺序地或其它方式)执行规定了机器要采取的动作的一组指令的机器。
需要注意的是，虽然附图的一幅或多幅中只示出了单个处理器和单个存储子系统(例如，存储包含指令的逻辑的单个存储器)，本领域技术人员将理解许多上述组件都被包含在内，但是为了不混淆发明的方面而没有被明确地示出或描述。例如，虽然只示出了单个机器，术语“机器”也应该被理解为包含单独地或联合地执行一组(或多组)指令以行使本文所述的任何一种或多种方法的机器的任何集合。
因此，与本文所述的方法中的每一种相关的一个实施例是被配置有一组指令的非暂态计算机可读介质的形式，这些指令例如是当在一个或多个处理器(例如，是视频会议装置或方法的一部分的一个或多个处理器)上执行时使得方法步骤实行的计算机程序。因此，如本领域技术人员将理解的本文所述的特征的组合可以被实施为一种方法、诸如专用装置的装置、诸如数据处理系统的装置、逻辑(例如，在计算机可读存储介质中实现的逻辑)、编码有指令的非暂态计算机可读介质(例如，被配置为计算机程序产品的计算机可读存储介质)。非暂态计算机可读介质被配置有一组指令，当指令被一个或多个处理器执行时使得方法步骤被实行。相应地，本发明的多个方面可以采用方法、完全的硬件实施例、完全的软件实施例或将硬件方面和软件方面组合的实施例的形式。此外，本发明可以采用例如在计算机可读介质中的程序逻辑(例如，计算机可读存储介质上的计算机程序)的形式，或者采用配置有计算机可读程序代码(例如，计算机程序产品)的非暂态计算机可读介质的形式。
虽然在示例实施例中计算机可读介质被示为单个介质，术语“介质”应该被理解为包含存储一组或多组指令的一个介质或多个介质(例如，若干存储器、集中式或分布式数据库和／或相关联的缓存或服务器)。非暂态计算机可读介质可以采用多种形式，包含但不限于：非易失性介质和易失性介质。非易失性介质包含，例如，光盘、磁盘和磁光盘。易失性介质包含动态存储器，比如，主存储器。
还要理解这些实施例不限于任何特定的实现方式或编程技术并且本发明可以使用任何适于实现本文所述的功能的技术来实现。另外，这些实施例不限于任何特定的编程语言或操作系统。
整个说明书中提及的“一个实施例”或“实施例”意思是结合该实施例描述的特定的特征、结构或特性被包含在本发明的至少一个实施例中。因此，在整个说明书的各处出现短语“在一个实施例中”或“在实施例中”不一定都指的是同一个实施例，但可以是同一个实施例。此外，在一个或多个实施例中，特定的特征、结构或特性可以本领域的一个普通技术人员将从本公开中明白的任何合适的方式进行组合。
类似地，应该理解的是在对本发明的示例实施例的上述描述中，为了简化本公开和帮助对各种发明性方面中的一个或多个方面的理解，本发明的各种特征有时被组合在单个实施例、附图或其描述中。然而，本公开的方法不应被解释为反映了一种意图，即所要求的发明需要比每项权利要求所明确陈述的更多特征。而是如所附权利要求反映的，发明性方面在于少于上述公开的单个实施例中的所有特征。因此，在“示例实施例说明”章节后面的权利要求这里被明确地并入“示例实施例说明”章节中，每个权利要求自身作为本发明的一个单独的实施例。
此外，正如本领域技术人员所理解的，虽然本文所述的一些实施例包含一些特征但不包含其它包含在其它实施例中的特征，但是不同实施例的特征的组合意在在本发明的范围之内并且形成不同的实施例。例如，在所附权利要求中，能够以任何组合使用要求保护的实施例中的任何一个。
此外，在本文中一些实施例被描述为方法或方法的要素的组合，该方法或方法的要素的组合能够被计算机系统的处理器或实行该功能的其它装置实现。因此，具有实行这样的方法或方法的要素所必要的指令的处理器形成了用于实行该方法或方法的要素的装置。此外，本文的装置实施例中所述的元件是用于实行为了实施本发明而由元件执行的功能的装置的示例。
在本文所提供的描述中，阐述了许多具体的细节。然而，可以理解的是实施例可以在没有这些具体细节的情况下实施。在其它实例中，公知的方法、结构和技术没有被示出以免模糊对本说明的理解。
如本文中所使用的，除非另外规定，使用序数形容词“第一”、“第二”、“第三”等来描述通用对象仅表示所涉及的类似对象的不同实例，而不意在暗示这样描述的对象必须按给定的顺序(无论是时间上还是空间上)、排名或以其它任何方式来实施。
还应该理解：尽管已经在诸如包含在H.264编码标准中之类的基于变换的、基于块的帧间编码方法的上下文中对本发明作出描述，但是本发明不限于这样的上下文并且可以用于与无论是否基于标准的各种基于块的编码器和编码方法(例如，在使用Adobe系统公司的FLASH、MPEG1、MPEG2、H.261、H.263、MPEG4的布置中)以及其它编码器和编码方法一起使用。此外，本发明不限于任何一种类型的摄像机架构和获取视频的方法，并且因此可以与其它架构和／或协议之一或其组合结合使用。
本文所引用的所有的美国专利、美国专利申请和指定美国的国际专利申请(PCT)都通过引用合并于此。在专利实施细则和专利法规不允许通过对本身通过引用包含信息的资料的引用的合并的情况下，本文中通过对资料的引用的合并不包含通过引用并入这样的通过引用合并的资料中的任何信息，除非这样的信息明确地通过引用并入本文中。
本说明书中对现有技术的任何讨论绝不应该被认为是承认这样的现有技术是众所周知的、是公知的或者构成本领域常识的一部分。
在所附的权利要求和本文的描述中，术语“包括(comprise)”、“包括有”或“其包括”中的任何一个都是开放的术语，其意思是包含后面的至少一个元件／特征但不排除其它。因此，当术语“包括”被用在权利要求中时，不应该被解释为限于其后所列的装置或元件或步骤。例如，表述“一种设备包括A和B”的范围不应该被限定为设备仅有元件A和元件B组成。如本文中所使用的术语“包含(include)”或“其包含”或“这包括”中的任何一个也是开放的术语，其意思也是包含该术语后面的至少一个元件／特征但不排除其它。因此，包含与包括同义并且意指包括。
类似地，应该注意的是当术语“耦合”被用在权利要求中时，不应该被解释为仅限于直接连接。可以使用术语“耦合”和“连接”以及它们的派生词。应该理解的是这些术语并不意在作为彼此的同义词。因此，表述“一种设备A耦合到B”的范围不应该被限定为其中设备A的输出直接连接到设备B的输入的设备或系统。它意味着在A的输出和B的输入之间存在路径，所述路径可以是包含其它设备或装置的路径。“耦合”可以意味着两个或多个元件直接物理接触或电气接触，或者两个或多个元件彼此不直接接触但仍然协作或彼此交互。
因此，虽然已经描述了被认为是示例发明性实施例的实施例，本领域技术人员将认识到还可以对其作出其它以及进一步的修改而不背离本发明的精神，并且意在要求保护落在本发明范围内的所有这样的变化和修改。例如，上面给出的任何公示仅代表可以使用的过程。可以从框图中添加或删除功能，并且可以在功能块之间交换操作。在本发明所述的范围内，可以将步骤添加到所述方法中或从该方法中删除。

Claims (22)

1.一种用于编码器监督成像的方法，包括：
控制器接收来自视频编码器的一项或多项编码属性；以及
控制器引起对产生图像序列的摄像机的至少一个成像参数的调整，以使得所述摄像机使用经调整的至少一个成像参数产生图像序列的附加图像以用于所述视频编码器，其中引起所述调整是基于至少一项所接收的编码属性的，
其中所述视频编码器被配置来将图像划分为一组区域，其中来自所述视频编码器的所述一项或多项编码属性包括对如何划分所述图像的指示，并且其中引起所述调整包括使用对如何划分所述图像的指示来确定一个或多个区域的成像参数。
2.如权利要求1所述的方法，
其中所述控制器在所述摄像机中或者耦合到所述摄像机的输出，
其中所述摄像机具有包括以下条件的操作条件：视场、光照、以及一个或多个成像参数，所述一个或多个成像参数包括所述经调整的至少一个成像参数，并且
其中所述视频编码器通过执行基于预测的压缩将由所述摄像机产生的所述图像序列编码成代码字。
3.如权利要求2所述的方法，还包括：
所述控制器接收对所述摄像机的操作条件的指示，以使得控制器引起所述调整还基于对所述操作条件的指示。
4.如权利要求3所述的方法，其中接收对所述操作条件的指示包括下述的一项或多项：
检测或接收对所述视场中的光照的变化的指示，以及
接收对来自所述摄像机的一个或多个成像参数的变化的指示。
5.如权利要求1到4中的任何一项所述的方法，其中所述调整包括以下至少一项：调整曝光参数和调整色彩平衡参数。
6.如权利要求1所述的方法，其中所述视频编码器被配置来将所述图像序列压缩成帧内编码图像和帧间编码图像，其中来自所述视频编码器的一项或多项编码属性包括对序列中要被压缩成下一幅帧内编码图像的图像的指示，并且其中引起所述调整包括确定所述调整的时间，以使得由所述摄像机在所述调整后产生的第一幅附加图像是要被压缩成帧内编码图像的下一幅图像。
7.如权利要求1所述的方法，其中所述调整包含：
(a)针对所述图像的第一区域调整一个或多个成像参数；以及
(b)在紧接着针对所述图像的第一区域的调整产生了第一数目的附加图像之后，针对所述图像的第二区域调整一个或多个成像参数，所述第二区域可能与所述第一区域相同。
8.如权利要求1所述的方法，其中所述视频编码器包括用于存储一幅或多幅先前处理的图像的参考缓冲器，其中来自所述视频编码器的所述一项或多项编码属性包括所述一幅或多幅先前处理的图像的一个或多个代表像素值，并且其中引起所述调整包括选择所述一幅或多幅先前处理的图像中的一幅，并且使所选择的先前处理的图像和由所述摄像机在所述调整之后产生的附加图像的一个或多个代表像素值的差值减小。
9.一种用于编码器监督成像的装置，包括：
控制器，所述控制器耦合到视频编码器，并且被配置来控制产生图像序列的摄像机的一个或多个成像参数，
其中所述控制器被配置来接收来自所述视频编码器的一项或多项编码属性，并且引起对至少一个成像参数的调整，以使得所述摄像机使用经调整的一个或多个成像参数产生用于所述视频编码器的附加图像，其中引起所述调整是基于至少一项所接收的编码属性的，
其中所述视频编码器被配置来将图像划分为一组区域，其中来自所述视频编码器的所述一项或多项编码属性包括对如何划分所述图像的指示，并且其中引起所述对一个或多个成像参数的调整包括使用对如何划分所述图像的指示来确定一个或多个区域的成像参数。
10.如权利要求9所述的装置，
其中所述摄像机包括所述视频编码器或者具有耦合到所述视频编码器的输出，
其中所述摄像机具有包括以下条件的操作条件：视场、光照、以及一个或多个成像参数，所述一个或多个成像参数包括经调整的至少一个成像参数，并且
其中所述视频编码器通过执行基于预测的压缩将由所述摄像机产生的所述图像序列编码成代码字。
11.如权利要求10所述的装置，
其中所述控制器还被配置来接收对所述摄像机的操作条件的指示，并且
其中，引起所述调整还基于对所述操作条件的指示。
12.如权利要求10所述的装置，其中接收对所述操作条件的指示包括下述的一项或多项：
检测或接收对所述视场中的光照的变化的指示，以及
接收对来自所述摄像机的一个或多个成像参数的变化的指示。
13.如权利要求9到12中的任何一项所述的装置，其中所述调整包括调整曝光参数和调整色彩平衡参数之一或者二者。
14.如权利要求9所述的装置，其中所述视频编码器将图像压缩成帧内编码图像和帧间编码图像，其中来自所述视频编码器的一项或多项编码属性包括对要被压缩成下一幅帧内编码图像的下一幅图像在序列中的位置的指示，并且其中控制器引起所述调整包括确定所述调整的时间，以使得由所述摄像机在所述调整后产生的第一幅附加图像是要被压缩成帧内编码图像的所述下一幅图像。
15.如权利要求9所述的装置，其中所述视频编码器包括用于存储一幅或多幅先前处理的图像的参考缓冲器，并且其中来自所述视频编码器的所述一项或多项编码属性包括所述一幅或多幅先前处理的图像的一个或多个代表像素值，并且其中所述控制器引起所述调整包括选择所述一幅或多幅先前处理的图像中的一幅，并且使所选择的先前处理的图像和由所述摄像机在所述调整之后产生的附加图像的一个或多个代表像素值的差值减小。
16.一种用于编码器监督成像的装置，包括：
用于控制器接收来自视频编码器的一项或多项编码属性的装置；
用于所述控制器引起对产生图像序列的摄像机的至少一个成像参数的调整以使得所述摄像机使用经调整的至少一个成像参数产生用于所述视频编码器的附加图像的装置，其中引起所述调整是基于至少一项所接收的编码属性的，
其中所述视频编码器被配置来将图像划分为一组区域，其中来自所述视频编码器的所述一项或多项编码属性包括对如何划分所述图像的指示，并且其中引起所述对一个或多个成像参数的调整包括使用对如何划分所述图像的指示来确定一个或多个区域的成像参数。
17.如权利要求16所述的装置，
其中所述控制器被耦合到所述摄像机的输出，其中所述摄像机具有包括以下条件的操作条件：视场、光照、以及一个或多个成像参数，所述一个或多个成像参数包括经调整的所述至少一个成像参数，并且
其中所述视频编码器通过执行基于预测的压缩将由所述摄像机产生的所述图像序列编码成代码字。
18.如权利要求17所述的装置，还包括：
用于接收对所述摄像机的操作条件的指示以使得引起所述调整还基于对所述操作条件的指示的装置。
19.如权利要求16到18中的任何一项所述的装置，其中所述视频编码器将所述图像压缩成帧内编码图像和帧间编码图像，其中来自所述视频编码器的一项或多项编码属性包括对要被压缩成下一幅帧内编码图像的下一幅图像在序列中的位置的指示，并且其中引起所述调整包括确定所述调整的时间，以使得由所述摄像机在所述调整后产生的第一幅附加图像是要被压缩成帧内编码图像的所述下一幅图像。
20.如权利要求16所述的装置，其中所述视频编码器包括用于存储一幅或多幅先前处理的图像的参考缓冲器，并且其中来自所述视频编码器的所述一项或多项编码属性包括所述一幅或多幅先前处理的图像的一个或多个代表像素值，并且其中引起所述调整包括选择所述一幅或多幅先前处理的图像中的一幅，并且使所选择的先前处理的图像和由所述摄像机在所述调整之后产生的附加图像的一个或多个代表像素值的差值减小。
21.一种用于编码器监督成像的装置，包括：
摄像机，所述摄像机产生图像序列并且具有输出，所述摄像机具有包括以下条件的操作条件：一个或多个成像参数、视场、以及光照；
控制器，所述控制器在所述摄像机中或者耦合到所述摄像机，并且被配置来控制所述一个或多个成像参数；以及
视频编码器，所述视频编码器耦合到所述摄像机的输出，并且操作来通过执行基于预测的压缩将来自所述摄像机的图像编码成代码字，
其中所述控制器被配置来接收来自所述视频编码器的一项或多项编码属性，并且基于所接收的编码属性中的至少一项引起对所述一个或多个成像参数的调整，以使得所述摄像机使用经调整的一个或多个成像参数来产生用于所述视频编码器的附加图像，
其中所述视频编码器被配置来将图像划分为一组区域，其中来自所述视频编码器的所述一项或多项编码属性包括对如何划分所述图像的指示，并且其中引起所述对一个或多个成像参数的调整包括使用对如何划分所述图像的指示来确定一个或多个区域的成像参数。
22.如权利要求21所述的装置，其中所述视频编码器和所述控制器包括在所述摄像机中。
CN201280032244.7A 2011-06-30 2012-06-15 用于摄影机的编码器监督成像 Active CN103636188B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/174,432 2011-06-30
US13/174,432 US8964056B2 (en) 2011-06-30 2011-06-30 Encoder-supervised imaging for video cameras
PCT/US2012/042765 WO2013003076A1 (en) 2011-06-30 2012-06-15 Encoder-supervised imaging for video cameras

Publications (2)

Publication Number Publication Date
CN103636188A CN103636188A (zh) 2014-03-12
CN103636188B true CN103636188B (zh) 2016-12-07

Family

ID=46331740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280032244.7A Active CN103636188B (zh) 2011-06-30 2012-06-15 用于摄影机的编码器监督成像

Country Status (4)

Country Link
US (2) US8964056B2 (zh)
EP (1) EP2727330B1 (zh)
CN (1) CN103636188B (zh)
WO (1) WO2013003076A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5054063B2 (ja) * 2009-05-07 2012-10-24 パナソニック株式会社 電子カメラ、画像処理装置及び画像処理方法
US10298854B2 (en) * 2014-05-30 2019-05-21 Apple Inc. High dynamic range video capture control for video transmission
JP2016019161A (ja) * 2014-07-08 2016-02-01 キヤノン株式会社 撮像装置
JPWO2016157873A1 (ja) * 2015-03-27 2017-08-24 京セラ株式会社 撮像装置、撮像システム、および車両
US10349057B2 (en) * 2015-04-01 2019-07-09 Cox Communications, Inc. Systems and methods for optimizing video coding efficiency based on characteristics of video content
CN105141855B (zh) * 2015-08-31 2018-11-09 联想(北京)有限公司 一种图像处理方法及电子设备
EP3328051B1 (en) * 2016-11-29 2019-01-02 Axis AB Method for controlling an infrared cut filter of a video camera
EP3379820B1 (en) * 2017-03-24 2020-01-15 Axis AB Controller, video camera, and method for controlling a video camera
EP3379830B1 (en) 2017-03-24 2020-05-13 Axis AB A method, a video encoder, and a video camera for encoding a video stream
CN108259996A (zh) * 2018-02-26 2018-07-06 郑州航空工业管理学院 一种视频数据处理方法以及装置
EP3672228A1 (en) * 2018-12-20 2020-06-24 Axis AB Method and system for adjusting an image pipeline setting

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6680745B2 (en) * 2000-11-10 2004-01-20 Perceptive Network Technologies, Inc. Videoconferencing method with tracking of face and dynamic bandwidth allocation
KR100754419B1 (ko) 2002-07-16 2007-08-31 노키아 코포레이션 비디오 코딩시 랜덤 액세스 및 점진적 화상 리프레시를위한 방법
US20040260827A1 (en) 2003-06-19 2004-12-23 Nokia Corporation Stream switching based on gradual decoder refresh
US7733380B1 (en) * 2005-07-19 2010-06-08 Maxim Integrated Products, Inc. Method and/or architecture for controlling encoding parameters using integrated information from camera ISP
AU2010271405B2 (en) * 2009-07-09 2014-07-10 Enphase Energy, Inc. Method and apparatus for single-path control and monitoring of an H-bridge
US20110075724A1 (en) 2009-09-29 2011-03-31 Qualcomm Incorporated Encoding parameters with unit sum
US10178406B2 (en) * 2009-11-06 2019-01-08 Qualcomm Incorporated Control of video encoding based on one or more video capture parameters
US8837576B2 (en) * 2009-11-06 2014-09-16 Qualcomm Incorporated Camera parameter-assisted video encoding

Also Published As

Publication number Publication date
CN103636188A (zh) 2014-03-12
US20150124117A1 (en) 2015-05-07
US9674550B2 (en) 2017-06-06
US8964056B2 (en) 2015-02-24
US20130002898A1 (en) 2013-01-03
EP2727330A1 (en) 2014-05-07
WO2013003076A1 (en) 2013-01-03
EP2727330B1 (en) 2018-05-23

Similar Documents

Publication Publication Date Title
CN103636188B (zh) 用于摄影机的编码器监督成像
CN103826121B (zh) 低延迟视频编码基于场景切换检测的码率控制方法
CN108574843B (zh) 确定用于视频编码的gop长度的方法和编码器系统
KR20190132696A (ko) 비디오 인코딩 방법, 컴퓨터 디바이스 및 저장 매체
KR101960006B1 (ko) 비디오 인코딩 방법 및 비디오 인코더 시스템
US20140362918A1 (en) Tuning video compression for high frame rate and variable frame rate capture
CN104885455A (zh) 用于高效下一代视频编码的通过使用帧层次敏感的量化的内容自适应比特率和质量控制
CN107710758A (zh) 针对视频译码处理高动态范围及广色域视频数据
CN113438501B (zh) 视频压缩方法、装置、计算机设备和存储介质
US9888240B2 (en) Video processors for preserving detail in low-light scenes
WO2018161868A1 (zh) 帧内编码帧码率分配方法、计算机设备和存储介质
CN102833532B (zh) 用于对数字视频数据进行编码的方法和数字视频编码器系统
JP2005191706A (ja) 動画像符号化方法及びその装置
CN103702119B (zh) 低延迟视频编码基于可变帧率的码率控制方法
CN102037730A (zh) 内容自适应视频编码器和编码方法
CN101371571A (zh) 处理多视图视频
US11330263B1 (en) Machine learning based coded size estimation in rate control of video encoding
KR102424258B1 (ko) 비디오를 인코딩하기 위한 방법 및 인코더 시스템
US20230396787A1 (en) Video compression method and apparatus, computer device, and storage medium
WO2021238546A1 (zh) 视频编码方法、视频播放方法、相关设备及介质
CN116708934B (zh) 一种视频编码处理方法及装置
WO2023051156A1 (zh) 视频图像的处理方法及装置
CN114793282A (zh) 带有比特分配的基于神经网络的视频压缩
WO2016050991A1 (es) Método de mejora de la calidad de una imagen sometida a recodificación
JP2007251996A (ja) 動画像符号化方法及びその装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant