CN105519109B - 对在低光照中捕获的视频进行编码 - Google Patents

对在低光照中捕获的视频进行编码 Download PDF

Info

Publication number
CN105519109B
CN105519109B CN201480044554.XA CN201480044554A CN105519109B CN 105519109 B CN105519109 B CN 105519109B CN 201480044554 A CN201480044554 A CN 201480044554A CN 105519109 B CN105519109 B CN 105519109B
Authority
CN
China
Prior art keywords
illumination
noise
channel
classification
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480044554.XA
Other languages
English (en)
Other versions
CN105519109A (zh
Inventor
M·尼尔森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105519109A publication Critical patent/CN105519109A/zh
Application granted granted Critical
Publication of CN105519109B publication Critical patent/CN105519109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H04N1/6005—Corrections within particular colour systems with luminance or chrominance signals, e.g. LC1C2, HSL or YUV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

一种装置包括：编码器，被配置为对从摄像机捕获的视频信号进行编码，以及低光照增强模块，被配置为向视频信号应用低光照增强。低光照增强是在颜色空间中执行的，颜色空间包括表示颜色的两个颜色通道和表示光照等级的非彩色通道。增强包括：至少检测第一分类，第一分类指示视频信号中的干扰是由于在低光照中捕获引起的；以及响应于检测到该分类，将低光照处理操作应用至颜色通道中的至少一个，以降低在编码中由颜色产生的比特数，使得当由编码器进行编码时，增加的比特数花费在非彩色通道上。

Description

对在低光照中捕获的视频进行编码
背景技术
在现代通信系统中，可以将视频信号从一个终端经过例如有线和/或无线网络的介质(常常是基于分组的网络，例如互联网)发送至另一个终端。在许多情况下，期望实时地编码并发送视频信号，即，某个事件或内容流的视频在该相同事件或内容流的之前的早先被编码的视频数据被发送的同时继续以不间断的方式被编码(与一下子对整个视频文件进行编码并且随后发送截然相反)。因此，视频的一个帧可以在紧挨着的在前的已编码帧中的一个被发送(或被缓冲用于发送)的同时被编码，以此类推。换句话说，视频是“随着并且当”其被编码时进行发送的。如在本文中所使用的“实时”不必限于零延时。尽管如此，用户确实期望至少像正被捕获的事件实际发生那样快速地以及至少像视频打算播出那样快速地(取几帧的平均)对视频进行编码、发送和解码。实时视频通信的示例将是实况视频通话或者其它实况传输，其中视频也是在其被编码和发送时被实时捕获的。
视频的帧发送终端处的编码器进行编码，以对它们进行压缩以便通过网络或其它介质来传输。对于实时视频通信而言，压缩是特别有重大意义的，尽管压缩视频信号的其它原因还包括减小视频文件的大小以便上传、下载或存储在存储介质上。
编码通常包括帧内预测编码、帧间预测编码或者更加经常的是两者的组合(例如几个帧内编码的“关键”帧交错在帧间编码的帧的序列之间)的形式的预测编码。根据帧内编码，块是相对于相同帧内的其它块而被编码的。在该情况下，目标块是根据该块和相同帧内的另一个块(例如相邻的块)之间的差(残差)而被编码的。残差小于一绝对值，并且因此需要较少的用于编码的比特，并且残差越小，在编码中引起的比特就越少。根据帧间编码，目标帧中的块是相对于之前的帧中的对应部分被编码的，通常基于运动预测。在该情况下，目标块是根据运动向量和该块与该块将被从中预测的对应部分之间的差(残差)而被编码的，运动向量标识了该块与该块将被从中预测的对应部分之间的位移。帧间编码通常得出比帧内编码甚至还要小的残差，并且因此引起甚至更少的比特。
在接收机处的对应的解码器基于合适的类型的预测对接收到的视频信号的帧进行解码，以对它们进行解压以便输出至屏幕。可以被用于指代编码器和/或解码器的通用术语是编码解码器。
编码侧上的摄像机可以在基于例如RGB(红、绿、蓝)的三色模型的颜色空间中捕获帧。这意味着每个像素都是用红色(R)通道的强度、绿色(G)通道的强度和蓝色(B)通道的强度来表示的。然而，仅仅根据两个颜色通道(其可以被称为色度或浓度通道)以及一个非彩色通道(其例如用明度或照度来表示像素的整体光照水平)非彩色来考虑像素也是可能的。例如，两个色度通道可以是红色和蓝色通道。非彩色通道可以被称为亮度(luminance)或照度(luma)通道。在一些上下文中，术语亮度专门用于指非伽马校正等级，而照度用于表示伽马校正等级。然而，在该公开中，亮度可以用作针对伽马校正或非校正等级的通用术语。浓度和色度也可以彼此可交换地使用。这样的颜色空间的示例是YUV，其中Y指的是亮度通道，U指的是蓝色色度通道，并且V指的是红色色度通道。本领域技术人员将熟悉其它相似的颜色空间模型。例如，在HSV中，颜色通道是色相(H)和饱和度(S)，并且非彩色亮度等级通道是亮度(brightness)值(V)。在HSL中，颜色通道是色相(H)和饱和度(S)，并且非彩色光照等级通道是照度(L)。
在编码之前，帧常常明确地被变换成亮度-色度类型的颜色空间表示(以及从根据像素坐标的空间域表示被变换成根据一组频率系数的空间频域表示，并且被量化)。可替换地，并不排除视频可以在YUV空间中被捕获，或者如果已经在不同于RGB的某其它颜色空间中被捕获则被转换到YUV等。即使没有明确地在YUV类型的空间中被捕获或编码，仍然可能在可替换的颜色空间(例如，YUV)中描述或考虑图像。
发明内容
存在可以被认为与视频编码解码器的性能有关的各种因素。例如，一个因素是在已编码的信号中产生的比特的数量，而另一个因素是已编码的视频的质量。可能影响这样的因素的一个事情是摄像机的周围环境的光照等级(即，捕获视频的环境中的光照等级)和因此从正被捕获的场景反射的光量以及进而当捕获视频的每一帧时将摄像机的图像捕获元件照亮的光量。例如，一个可能的影响是低光照等级可能会增加所捕获的视频图像中的噪声的量和/或引入其它非自然的伪影，特别是在颜色通道中的一个或两个中更是如此。例如，在许多低光照情况下，观察到伪影以色斑或“斑点”和/或面部特征周围的非自然色调的形式出现。这样的噪声和/或其它伪影不仅降低质量，有时也会引入帧上和/或帧间的较大的差，这意味着更大的残差以及因此在编码中产生更多的比特。
根据在本文中所公开的一个方面，提供了一种装置，其包括：编码器，被配置为对从摄像机捕获的视频信号进行编码；以及低光照增强模块，被配置为将低光照增强应用至所捕获的视频信号。低光照增强是在包括非彩色通道和两个颜色通道的颜色空间中执行的(即使是在例如RGB之类的不同的颜色空间中被捕获和/或被编码)。在实施例中，低光照增强模块可以在视频信号的捕获和编码器之间的预处理阶段中被实现，使得编码器在低光照增强之后对视频进行编码。
低光照增强包括：至少检测第一分类，所述第一分类表示由于在低光照中进行捕获而在视频信号中出现干扰，例如噪声和/或其它伪影。在实施例中，这可以是关于确定是否存在噪声(考虑该噪声实质上是否是或者可能是在低光照条件下捕获视频的结果)的任何适合的分类。例如在一个实施例中，第一分类是表示视频信号包含由于低光照捕获而产生的噪声的概率的软分类。
响应于检测到该分类，低光照增强模块将低光照处理操作应用至颜色通道中的至少一个颜色通道(例如，蓝色通道)以降低在编码器对视频信号进行编码时由颜色产生的比特的数量。在实施例中，这包括：例如通过盒式滤波对所述至少一个颜色通道执行降噪滤波操作。例如，可以在所述概率超过阈值的条件下应用降噪，或者可以根据所述概率逐渐地改变降噪。降噪产生帧内或帧间的更小的差，因此在颜色通道上给出了更小的残差，并且因此在编码中占用更少的比特。这使得更多的比特可用于花费在对非彩色通道进行编码上。例如，如果编码器包括针对已编码的流设置一定的比特预算的比特率控制器，那么当颜色通道上产生的比特的数量降低时，这释放了预算中的一些比特以花费在其它地方。比特率控制器接着将自动地将这些比特中的至少一些分配至非彩色通道(例如，通过增加非彩色通道上的量化粒度)。
在实施例中，低光照增强可以可选地进一步包括：检测表示视频信号正在低光照中被捕获的第二分类。这可以基于关于以下的任何合适的分类：低光照的周围环境实质上正在或者可能正在影响摄像机捕获图像和/或编码器对图像进行编码的能力是否达到了其实质上是引起干扰和伪影的原因的程度。例如在一个实施例中，对低光照分类的检测包括：确定视频信号是在被不利地认为低光照的环境中捕获的概率。
响应于检测到第二低光照分类，低光照增强模块可以接着应用进一步的低光照处理操作以提升亮度通道。例如，可以在概率超过阈值的条件下应用亮度提升，或者可以根据概率逐渐地改变所述提升。可替换地或额外地，低光照增强模块可以响应于检测到第二低光照分类而应用色度调整。例如，当在低光照环境中进行视频通话时，从发送者自己的屏幕发出的光常常占据照亮发送者面部的光的显著比例。来自屏幕的光常常比在更明亮的环境中受到的光具有更冷的色温，因此该效果可能给所捕获的视频增添不自然的蓝色色调。为了补偿这种或其它这样的效果，色度调整可以包括扩大红色通道和/或缩小蓝色通道，例如，向红色通道加入小的偏移并且/或从蓝色通道中减去小的偏移。类似于亮度提升，可以例如在概率超过阈值的条件下应用色度调整，或者可以根据概率逐渐地改变亮度调整。
提供了概要以便以简化的形式介绍构思的精华，在下文中在具体实施方式中进一步描述了所述构思。该概要不旨在标识所要求保护的主题的关键特征和必要特征，也不旨在用于限制所要求保护的主题的范围。所要求保护的主题也不限于解决在本文中所提到的缺点中的任何一个或全部的实现。
附图说明
为了帮助理解本公开并且示出可以如何执行实施例，通过示例的方式参考附图，其中：
图1是所捕获的视频信号的示意性表示；
图2是通信系统的示意性方框图；
图3是编码器的示意性方框图；
图4是低光照增强模块的示意性方框图；
图5是光照-噪声特征空间的示意性草图；以及
图6是亮度提升函数的示意性草图。
具体实施方式
在低光照中捕获的视频的典型属性包括噪声、暗影和/或非自然的色调。例如，由于低光照而产生的噪声可以将自身显现为视频中的色度斑点。除了是视觉上令人不愉快的伪影之外，斑点进行编码可能也是昂贵的(在比特率方面)，从而给视频的想要部分的编码留下太少的比特。
此外，在视频通话中，当进行通信时眼神交流和面部表情可以提供重要的信息。因此，在面部区域中包含阴影的黑暗视频对通信质量具有负面的影响。面部在低光照中的非自然色调常常是由于从发送侧的位于用户前面的显示器发出的光的冷色温而产生的。调整色调将减少在通信时人坐在计算机后面的感觉。
可以使用以下的实施例来通过应用亮度提升、色度调整和/或降噪来减轻一个或多个这样的问题。可以基于低光照和噪声分类器来控制何时应用这些处理算法以及将这些处理算法应用到什么程度，马上将举例说明其细节。
此外，在实现低光照增强器的实施例中的一个挑战是保持低的复杂度，以便促进实时处理。与本领域中的需要大量的处理的现有解决方案相比，以下的实施例被设计得在效率相对于计算复杂度方面达到了较好的折中。
图1给出了从摄像机捕获的并且被分割成多个部分从而由视频编码器进行编码以便生成编码的比特流的输入视频信号的示意性示图。该信号包括按照时间被分割成多个帧(F)的运动视频图像，每个帧表示在时间上处于不同的响应时刻(…t-1,t,t+1…)的图像。在每一帧内，帧按照空间被分割成多个部分，每个部分表示多个像素。这些部分例如可以被称为块。在某些方案中，帧被分割并且被再分割成不同等级的部分或块。例如，每个帧可以被分割成宏块(MB)，并且每个宏块可以被分割成块(b)，例如每个块表示帧内的8×8像素区域，并且每个宏块表示2×2块(16×16像素)的区域。在某些方案中，每个块也可以被分割成称为片(S)的部分，每个片包括多个宏块。
图2是用于传送编码(压缩)形式的视频信号的通信系统的方框图。在发送侧，通信系统包括：视频摄像机2；预处理模块，其包括具有耦合至摄像机的输出的输入的低光照增强器4；编码器6，其具有耦合到低光照增强器4的输出的输入；以及发射机8，其具有耦合至编码器6的输出的输入。摄像机2被配置为从其环境捕获视频信号，即，从其环境中的移动场景捕获光，并且生成表示该场景的视频信号。所生成的信号(例如，通过初始的预处理阶段，未示出)被分割成诸如块、宏块和/或片之类的部分，如图1中所示的，并且以这样的形式被输出至低光照增强器4的输入。
低光照增强器4被配置为对视频信号的帧进行预处理以执行在低光照条件下的增强，其实施例很快将被讨论。将已增强的帧从低光照增强器4输出至编码器6的输入，其中，在低光照增强器4预处理之后，对它们进行编码。应当注意，其中提到在低光照增强器4预处理之后编码器6对数据进行编码，这未必意味着整个视频是在编码之前进行预处理的。相反，随着每个帧或帧的一部分由低光照增强器预处理，该帧或部分接着在另一随后的帧或该帧的随后部分被预处理的同时被编码，以此类推。
编码器6将已编码的视频输出至发射机8的输入。发射机8具有耦合至或可以操作以耦合至通信介质的输出，所述通信介质例如包括一个或多个网络10(例如互联网和/或其它基于分组的网络)。发射机可以包括到网络10的有线和/或无线接口，并且可以经由有线和/或无线接口发送视频。在实时传输的情况下，随着每个帧或帧的一部分被编码器6编码，发射机8接着发送该帧或部分，同时编码器6继续对另一随后的帧或帧的随后部分进行编码，以次类推。
在实施例中，发射机8、编码器6和/或包括低光照增强器4的预处理模块可以实现在相同的终端中，例如用户终端；例如，智能电话、平板、膝上型计算机等形式的移动用户终端；或像台式计算机一样的另一类型的用户终端。摄像机2可以在终端的内部或外部。编码器6、低光照增强器4和/或任何其它的预处理或后处理阶段可以用代码的形式来实现，所述代码存储在计算机可读存储介质(例如，磁和/或电子存储介质)上，并且被设置为在包括一个或多个处理单元的处理器上执行；例如，作为通信客户端应用(例如，具有视频通话的VoIP客户端)的一部分。可替代地，并不排除编码器6、低光照增强器4和/或任何其它阶段的功能中的一些或全部是用专用硬件电路、或者可配置或可重新配置的硬件电路(例如，可编程门阵列(PGA)或现场可编程门阵列(FPGA))的形式实现的。在当前的意义中，“预处理”或“处理”未必暗示软件在处理器上的执行，尽管这当然是一种实现。
在接收侧，通信系统包括：接收机12；解码器14，其具有耦合至接收机12的输出的输入端；以及屏幕16，其具有耦合至解码器14的输出的输入。接收机12耦合至或可操作以耦合至通信介质，例如，所述一个或多个网络10，并且由此接收从编码器6经由发射机8和该网络10或其它通信介质发送的已编码视频。接收机12将接收到的已编码的视频信号传递至解码器14，所述解码器14对该信号进行解码并且输出该信号的解码的版本以通过屏幕16播出。
在实施例中，接收机12和解码器14可以实现在相同的终端，例如用户终端，例如，智能电话、平板、膝上型计算机等的形式的移动用户终端；或像台式计算机一样的另一类型的用户终端。屏幕16可以在终端的内部或外部。解码器14可以用代码的形式来实现，所述代码存储在计算机可读存储介质(例如，磁和/或电子存储介质)中，并且被设置为在包括一个或多个处理单元的处理器上执行。可替代地，并不排除解码器14的功能中的一些或全部是用专用硬件电路、或者可配置或可重新配置的硬件电路(例如，PGA或FPGA)的形式实现的。
当然，应当理解的是，“接收侧”终端也可以被配置为对要被“发送侧”终端接收、解码和播放的视频进行预处理、编码和发送，但是出于解释说明的目的，根据如在图2中示意性地示出的发送侧和接收侧描述了本公开。
图3提供了编码器6的示意性方框图。编码器6包括：预测编码模块18，其被设置为接收预处理的视频信号作为输入；以及耦合至预测编码器18的输出的熵编码器20。预测编码器18利用帧内和/或帧间编码对输入的视频信号的每一帧进行编码。帧内编码是通过相对于帧内的其它块或宏块来预测相同帧的诸如块或宏块之类的部分来执行的，而帧间编码是通过相对于一个或多个其它帧内的对应部分预测帧内的诸如块或宏块之类的部分来执行的。其它编码模式也可以为本领域技术人员所熟知。
无论如何，该编码阶段的结果是生成信号的一个本本，在该版本中，用残差样本(表示不同的块或图像部分之间的样本间差)而不是绝对样本值来表示每个块或宏块根据残差采样。残差值整体上在大小上比绝对值倾向于更小，其中残差值是根据绝对值产生的。残差样本从预测编码器18输出至熵编码器20的输入，用于进一步编码。熵编码器20的动作是利用比特长度较小的码对频繁(常常)出现的样本值进行编码，并且利用比特长度较长的码对不频繁(罕见)出现的样本值进行编码(而不是利用统一数量的比特来表示所有可能的样本值)。在编码器目的是生成小量值的残差样本的情况下，效果是零值和小量值的样本将最频繁地出现。因此，编码器6运行使得较小量值的残差样本在已编码比特流中占用较少的比特来编码，并且因此，与具有较大的差的帧相比，具有较小的帧内差和/或帧间差的帧在被编码时将产生更低的比特率。
如本领域技术人员所熟知的，预测编码可以可选地也包含变换和/或量化。变换阶段将每帧的每个块或宏块的残差样本从空间域表示(每个颜色空间通道是根据像素的空间坐标进行表示的)变换到变换域表示，例如空间频域表示(每个颜色空间通道是用频域系数根据空间频率进行表示的)。例如，变换可以包括离散余弦变换(DCT)或Karhunen-Loeve变换(KLT)。在块或宏块的变换之后，量化器接着对块或宏块的所变换的样本进行量化。量化是指挑选在相对大的尺度上表示的或来自相对大的集合的值当中的样本，并且将它们转换成在相对小的尺度上表示的或来自相对小的集合的样本(其可以被称为量化等级)的过程。例如，量化可以指的是将有效连续的变量(例如，连续变量的数字近似)转换成限制于大体上离散的等级的集合的变量的过程。变换和量化使空间冗余能够被利用，如在变换域中，许多样本量化为零或至少量化为比其本在空间域中更小的值，因此增加了表示样本的零或小量值的值的数量，并且因此进一步降低了比特率。
编码器6也可以包括耦合至预测编码模块18的比特率控制器21。比特率控制器21被配置为针对已编码的比特流设置一定的目标比特率或“比特预算”，例如，将被花费在对给定的帧或帧的部分进行编码上的目标比特数。可以基于网络10上的可用带宽、或发射机8的上行链路带宽、或其上运行有编码器6的处理器的处理资源、或这些因素的任何组合来设置这种预算。编码器6因此在每单位时间内具有可用于对视频信号的给定部分(例如，给定的帧或帧的部分)进行编码的一定数量的比特。比特率控制器21被配置为调整编码的一个或多个参数以尝试尽可能接近地满足比特率目标(可能允许某些误差幅度)。例如，比特率控制器可以调整量化粒度和/或预测编码循环的编码模式。目标是花费比特率约束所允许的那么多的比特来最大化质量，但是不超过该约束(否则，例如其可能导致其它问题，如网络10上的传输中的延时或分组丢失)。
在实施例中，编码器6可以是传统编码器，例如根据H.264标准的编码器，其中在被设置在摄像机2的输出和编码器6的输入之间的预处理模块4中实现本公开的教导。
如所讨论的，在低光照等级下捕获的视频可能倾向于受到增加的失真，并且相对于亮度通道在色度通道中的一个或两个上不成比例地这样。例如，视频可能受到在帧内显现为色度斑点的增加的噪声，其在外表上可以例如是蓝色、紫色、黄色或红色的。在许多情况下，蓝色通道已经被观察出具有最多的噪声。这样的噪声不仅影响视频的客观的和/或感官的(主观的)质量，还可能意味着在给定的帧的区域上和/或在帧之间存在更大的差，从而导致在有噪声的色度通道上产生不必要的比特。可替代地或额外地，在低光照中捕获的视频可能引起其它的伪影，例如，由于从发送者的显示器发出的光的冷色所引起的在面部图像中的非自然的蓝色色调。
下文提供了根据本公开的实施例的用于增强在低光照条件中捕获的视频的非常低复杂度的预处理模块4的示例。亮度提升、色度调整以及降噪的子模块是基于(软)分类器设计被控制的，如下文公开的。所公开的分类器包括：根据所捕获的视频确定的光照和噪声特征、定义低光照条件的低光照分类以及定义噪声条件的噪声分类。例如，噪声特征可以由在(例如，蓝色)色度通道中测量的噪声和在亮度通道中测量的(加权的)对比度的组合组成。光照等级特征可以由在(例如，蓝色)色度通道中测量的噪声和在亮度通道中测量的(加权的)对比度的组合组成。这些分类器被设计成一维的，以获得低复杂度。接着，使用它们来定义用于对亮度提升和色度调整进行控制的软低光照分类和/或用于对降噪进行控制的软噪声分类。
图4提供的方框图示出了根据本公开实施例的用于低光照视频增强器模块4的处理链。在下文中更加详细地描述了不同的分析和处理方框，开始于低光照和噪声分类器。
如在图4中示意性地示出的，低光照增强器包括：低光照分类模块22，其被设置为从摄像机接收所捕获的视频信号；亮度提升和色度调整模块24，其具有耦合至低光照分类模块22的输出的输入；噪声分类模块26，其具有耦合至亮度提升和色度调整模块24的输出的输入端；以及降噪模块28，其具有耦合至噪声分类模块26的输出的输入。降噪模块28的输出被设置为在这些阶段中的每一个阶段之后向编码器6提供视频信号的预处理版本以进行编码。
低光照分类模块22被配置为从所捕获的视频信号本身的数据检测低光照条件，而不是必须依赖于单独的光照等级传感器。低光照条件可以包括关于当前正在被预处理的帧(或多个帧或帧的部分)是否被认为是在低光照环境中捕获的分类，例如，低于其光照的缺少将变成噪声和/或其它伪影的本质原因的等级，和/或低于其摄像机的图像传感器就不能够正常地工作或被设计为不工作的等级。考虑到预处理可能永远都不会确切地“知道”表面上捕获的数据实际上是否是由于低光照失真而引起的或者其实际上是否是正被捕获的外部场景的真实部分，那么在实施例中，低光照条件的检测包括确定视频信号在低光照中被捕获的概率，即，“软”决策。
为了检测这样的低光照条件，低光照分类模块22可以被配置为不仅根据所捕获的视频信号确定光照特征的测量，也根据所捕获的视频信号确定的噪声特征的测量。其接着基于光照和噪声特征的组合来检测低光照条件。
在实施例中，光照特征可以包括正考虑的当前帧上的、或者该帧的一部分上的或者甚至几个帧上的对比度的测量。对比度的测量可以包括亮度通道中的标准偏差的测量。可以基于相邻或附近的样本之间的差来测量噪声特征。“相邻的”样本可以属于下采样集合。
光照和噪声特征定义了二维的光照-噪声空间。在实施例中，为了降低计算的复杂度，光照和噪声特征的组合可以包括在光照-噪声空间中的旋转，以生成考虑了光照和噪声两者的一维的光照等级度量，并且低光照条件可以基于一维的光照等级度量的测量来确定。
旋转可以通过光照特征和噪声特征的线性组合来执行：qlight＝k1·vnoise+k2·vlight，其中，qlight是一维光照等级度量，vnoise是噪声特征，vlight是光照特征，并且k1和k2是常数。在一个实现中，k1＝-0.4并且k2＝+0.9(精确到一位有效数字)。
相似地，可以响应于与低光照条件是不同的条件的噪声条件而执行降噪，但是，也可以基于光照和噪声特征的组合。该组合也可以包括在光照-噪声空间执行旋转以生成考虑了光照和噪声两者的一维的噪声度量，例如线性组合qnoise＝k1·vnoise+k2·vlight，其中，qnoise是一维的噪声度量，并且k1和k2是常数。在一个实现中，k1＝-0.9并且k2＝+0.3(精确到一位有效数字)。此外，基于该度量，噪声条件也可以根据基于这样的噪声特征的“软”确定的概率(类似于低光照条件的检测)来确定。
在下文中陈述了由模块22和26执行的光照和噪声分类的更加详细的示例性实现。
从每个所捕获的视频帧提取两个特征，从蓝色色度通道中提取的一个噪声特征以及从亮度通道提取的一个光照特征。噪声特征可以从任何通道中提取，但是这里对蓝色通道的选择是由对于在低光照中被评估的摄像机已经发现在该通道中出现的更大数量的噪声或失真所驱动的。令U(x,y)表示蓝色色度通道(例如，在YUV420p颜色空间中)。噪声特征可以被定义为水平相邻的蓝色色度像素之间的平均的阈值化的绝对差，其可以被确定为：
其中，｜Ωy｜和｜Ωx｜定义了在平均化中使用的垂直和水平像素的集合的势(cardinality)，并且其中：
其中，K是取决于正在被编码的视频图像的分辨率的常数。例如，如果视频图像的空间宽度小于200像素(假设横向视图)，那么K可以等于5或者4。
为了降低计算复杂度，｜U(x,y)-U(x+1,y)｜可以是下采样的，例如，在水平上和垂直上针对每五个像素计算一次。即，“相邻的”采样可以属于下采样集合。引入阈值函数来在噪声与纹理之间进行区分。稍微偏小的阈值可以应用于低分辨率的帧以使得特征更加独立于分辨率。
第二特征(光照特征)可以被定义为亮度的标准偏差和均值的乘积，其可以被定义为：
亮度强度的标准偏差是图像的整体对比度的测量。低对比度的图像常常是差的照明度的结果。引入与平均亮度强度的加权来捕获全黑对全白的情况。类似于噪声特征，标准偏差和均值是基于下采样的数据进行计算的，例如在水平上和垂直上仅仅利用每个第五个像素(即，通过因数25进行下采样)。
通过分析从大范围的视频中提取的一组特征，已经发现低光照和噪声区域可以近似地由特征空间中的对角线来定义。这在图5中被示出。在被标记为A的直线下方的区域被定义为低光照区域，而在被标记为B的直线下方的区域被定义为有噪声区域。采用对角决策区域通过旋转特征空间使得对角线与新的特征空间中的水平轴一致来促进维度的降低。之后只有沿着垂直轴的经变换的值必须被考虑。在示例性实现中，针对低光照分类器的经变换的特征被定义为：
qlight＝-0.3939vnoise+0.9191vlight,
并且针对噪声的经变换的特征被定义为：
qnoise＝-0.9487vnoise+0.3163vlight。
经变换的特征集合被标记或分割成低光照对正常光照以及有噪声对无噪声。发现手工标记有时是相当复杂的，并且因此取而代之的是，利用针对该示例性实现在图5中所示出的概念，至少部分自动化地标记经变换的特征集合。
利用针对每个所标记的特征集合具有单个的单变量的高斯函数(例如，正常光照的特征空间由具有均值mnormlight和方差的单个高斯函数定义)的 Bayes分类器，在给定了经变换的光照特征的情况下低光照的条件概率可以被表示为：
其中，Pr(normlight)＝1–Pr(lowlight),Pr(normlight)表示正常光照的先验概率，并且Pr(lowlight)表示低光照的先验概率。用类似的方式，在给定了经变换的噪声特征的情况下视频帧有噪声的概率可以被定义为：
其中，Pr(clean)＝1–Pr(noisy),Pr(noisy)表示由于低光照而产生的噪声的概率，而Pr(clean)表示由于低光照而没有遭受噪声的概率。接着在与分类阈值比较之前，可以使用指数移动平均来平滑每个帧的计算的低光照/噪声概率。
转到由模块24执行的亮度提升和色度调整，响应于检测到低光照条件而应用亮度提升。例如，可以将概率与阈值进行对比，以做出关于帧是否提升其亮度通道的“是/否”决策(如果概率足够高，则应用提升)。可替代地，可以使提升成为基于概率等级(例如基于查找表)的程度问题，或者根据低光照的概率来计算提升。在实施例中，可以响应于检测到所述相同的低光照条件(基于其提升色度)来执行色度调整。例如，为了降低蓝色伪影的影响，色度调整可以包括使视频信号的色温暖化。例如，在色度通道包括红色通道和蓝色通道的情况中(如在YUV空间中)，可以通过扩大红色通道并且缩小蓝色通道来执行色温的暖化。可以通过向红色通道增加偏移并且从蓝色通道减去偏移来执行色温的暖化。可替代地，可以应用其它功能(例如乘法调整)，或者可以使用查找。可以在依赖于概率是否超过用于检测低光照的阈值的“是/否”的基础上应用色度调整(如果概率足够高则应用)，或者可以使得色度调整成为基于概率的程度的问题(例如，所计算的概率函数或所确定的查找，从而高概率意味着更多的调整)。
在下文中陈述了由模块24执行的亮度提升和色度调整的更详细的示例性实现。
在低光照中捕获的视频的常见问题是场景黑暗并且常常在面部区域包含阴影。不能够清楚地看到眼睛和面部表情潜在地降低了通信的质量。以下算法中的亮度提升块是在图6中所示出的形式的强度变换。该变换是类似伽马函数并且可以例如由以下确定：
其中，p控制亮度提升的积极性，其中Yin(x,y)、Yout(x,y)分别表示输入和输出亮度像素强度，并且c1、c2和c3是常数。“Round”表示凑整至亮度通道Y可以采用的离散等级中的最近的一个等级(例如，针对8比特的Y通道而言256个可能的Y等级(0-255)中的一个)的凑整操作。参数p的建议的范围在0.6到1之间(其中，0.6对应于最积极的亮度提升)。c1、c2和c3的示例性值是c1＝102、c2＝255和c3＝3/5。变换的效果是在低强度区域中的细节变得更加可见。这在图6中示出。
例如，p可以被设置成固定值，并且依赖于低光照概率是否超过阈值来应用或者不应用提升(如果概率足够高，则应用提升)。可替代地，p可以作为基于所确定的概率的程度问题而变化(较高的概率被设置为引起较高的p值)。
针对色度调整，可以将小的负偏移应用至蓝色色度像素值U(x,y)，并且可以将小的正偏移应用至红色色度像素值V(x,y)，目的是增加色温(远离蓝色色调)。可以在取决于低光照的概率是否超过阈值的是/否基础上应用偏移(如果概率足够高，则应用调整)，或者可以利用亮度提升的力度来调整偏移的大小(较高的概率被设置为引起更高的偏移)。
关于由模块28执行的降噪，这可以具有多个相关的效果。如所提及的，在色度或颜色通道上受到的噪声引入了帧内或帧间的更大的差，其反过来增加了在色度通道上花费的比特数。应用降噪来减少由噪声引起的可见的伪影，也减少由该噪声产生的比特数。此外，这具有使更多比特可用于对亮度通道进行编码的效果。如所提及的，比特率控制器21分配一定的比特预算用于编码，并且调整编码以尝试在不超过该预算约束的情况下花费尽可能多的预算比特。因此，如果在色度通道中一个或两个上产生更少的比特，那么比特率控制器21将自动地把比特预算中“释放的”比特重新分配至剩余的通道——至少包括亮度通道。
在实施例中，也希望将降噪的复杂度保持在可控制的水平。在下文中陈述了具有降低的复杂度的降噪操作的详细示例。
给定坚定的复杂度目标，以前的用于降噪的方法(例如基于补丁/块的BM3D(块匹配和3D滤波)的降噪方法)可能未必是最想要的实现。相反，降噪器28可以依靠更基本的滤波技术。所发现的用于在计算复杂度和降噪性能之间提供折衷的方法是应用至色度通道的递归实现的盒式模糊。
当实现盒式滤波时，可能希望利用滤波器内核是均匀的(即，在进行平均时盒子内的所有像素被相等地加权)这一事实。所发现的最快速的算法是基于滤波器内核的递归更新。算法如下：令C(x-w,y)是例如在水平位置x-w(内核宽度是2w+1)和垂直位置y(内核的中心位置是(x,y))处在滤波器内核内的列中蓝色色度像素(即，U-通道)的和，即：
在初始化阶段中，针对第一水平行计算阵列C(这里忽略边界处理)。通过对从C(x-w,y)到C(x+w,y)的所有列求和并且利用盒式区域归一化而获得位置(x,y)处的经滤波的像素。令S(x,y)表示该总和，即：
为了对下一个像素进行滤波，未必必须计算求和的列C上的完整的总和。相反，可以仅仅减去最左边的求和的列，并且加上新的列，即：
S(x+1，y)＝S(x，y)+C((x+1)+w，y)-C(x-w，y).
当处理行时，可以执行经求和的列的递归的更新以获得下一行的经求和的列，即：
C(x，y+1)＝C(x，y)+U(x，y+w+1)-U(x，y-w).
该方法本质上每像素仅仅必须产生两个加法和两个减法以执行滤波。在实施例中，可以在两个色度通道中或仅在一个通道(例如蓝色通道)上执行相同的处理。
在实施例中，可以在取决于是否检测到噪声条件(例如，取决于噪声概率是否超过阈值)的是/否基础上应用降噪(如果概率足够高，则应用降噪)。可替代地，降噪滤波器的一个或多个参数可以作为依赖于概率的程度问题而变化。
应当理解的是，仅仅通过示例的方式描述了以上的实施例。
例如，虽然已经就用于减少由具有噪声的颜色通道产生的比特数的降噪操作对上文进行了描述，但是，替代形式将是在颜色通道中增加量化步长(与非彩色通道对比)。也就是说，降噪模块28可以由颜色通道上的噪声依赖的量化步长所替代(或补充)，其通过应用比帧没有被分类为包含由于低光照产生的干扰时粗的量化粒度(并且比非彩色通道粗)来降低颜色通道上的比特数。这将具有与降噪类似的效果(尽管其可能没有达到相同的平滑效果，并且可能没有将斑点减轻到相同的程度，这就是为什么在以上的实施例中使用盒式滤波的原因)。另一个替换形式将是在颜色通道上的数据不太有用或质量较低的基础上，仅抑制颜色通道中的一个或两个而不改变量化步长(例如，将样本的大小减小某个因子或减去一定的偏移)。也就是说，为了更高的主观质量的图像(更灰色或更单色)我们可以牺牲颜色。
也应当注意，低光照增强不是必须要在预处理阶段中实现的，并且相反，低光照增强操作中的一个或多个可以被实现为编码器6的组成部分。例如，在应用至颜色通道的操作包括量化步长的增加(粒度的减少)的情况下，其可以实现在编码器6中而不是预处理阶段。
此外，虽然已经就比特率控制器重新分配释放的比特描述了上文，但是其它效果导致这样的比特花费在亮度或非彩色通道上也是可能的。例如，一般而言，上文所描述的亮度提升不是必须在亮度通道上产生更多的比特，这是因为通常是运动预测残差被变换、量化和编码。然而(假设残差是负差)如果提升给出的Yout对Yin曲线刚好比梯度1的直线陡(即，刚好比Yout＝Yin+固定的偏移更陡)，那么这可能倾向于导致低亮度样本的更大的残差。即，与较小的值相比，较大的值被增加更大的偏移，从而导致更大的负差。在图6的Yout对Yin曲线中，该虚线在底端较陡而在顶端较浅，因此总而言之，残差可能更大或更小。然而，在非常低的光照的捕获中，样本倾向于朝着该曲线的底端下落，并且因此由于提升而产生更大的残差。因此，当在编码之前应用提升时，将以最低的强度范围增加预测残差的能量，尽管对于整个强度范围这不是有效的。由这样的提升引起的亮度比特的任何增加(如果有的话)可以由色度通道上的降噪来补偿，和/或可以由比特率控制器重新分配预算中的仍然留下来的任意比特。也可以应用其它亮度提升，例如，可以实现明确地被设计为增加在亮度通道上花费的比特数的亮度提升操作。
此外，在上文中所公开的各种增强阶段的教导未必必须一起被应用。例如，上文公开了以某种方式都基于光照的两个不同的色度：响应于与亮度提升相同的低光照条件而执行的色度调整，以及响应于单独的噪声条件(但是所述噪声条件考虑了帧上的亮度)而执行的色度通道上的降噪操作。在可替代的实施例中，通过仅仅应用色度调整而没有降噪，或者仅仅应用降噪而没有色度调整来达成增强效果中的一些将是可能的，和/或这些中的任何一个可以在具有或者不具有亮度提升的情况下被应用。此外，可以使用不同的条件来触发或改变这样的操作和/或亮度提升的程度。此外，可以独立于色度调整和降噪中的一个或两个来应用亮度提升。
因此，根据本发明的另一个方面，可以提供一种装置，其包括：编码器，其被设置为对从摄像机所捕获的视频信号进行编码；以及低光照争抢模块，其被配置为在包括表示颜色的两个颜色通道和表示光照等级的非彩色通道的颜色空间中对视频信号执行低光照增强，低光照增强包括：根据所捕获的视频信号确定光照特征的测量，以及根据所捕获的视频信号确定噪声特征的测量，其中光照特征和噪声特征定义了二维光照-噪声空间；在光照-噪声空间中执行旋转以生成考虑了光照和噪声两者的一维的度量；以及基于一维的度量将低光照处理应用至所述通道的一个或多个中。
例如，低光照增强可以包括：基于一维度量确定软分类器，表示视频在低光照中被捕获或者包含由于低光照而产生的干扰的概率，并且可以基于软分类器来应用低光照处理。低光照处理可以包括：提升非彩色通道，对颜色通道中的一个或两个进行降噪，或者将色度调整应用至颜色通道中的一个或两个。在实施例中，可以在亮度-噪声空间中执行两个不同的旋转以生成两个不同的一维度量。在实施例中，这些可以分别用于确定两个不同的软分类器，一个表示在低光照中捕获的概率，一个表示由于低光照而产生的噪声的概率。对非彩色通道的提升和色度调整可以基于前者，和/或降噪可以基于后者。
在进一步的实施例中，可以响应于检测到低光照和/或噪声的其它分类而应用低光照处理。例如，尽管已经就直接从所捕获的数据检测低光照条描述了上文，但是另一个可能将是使用单独的光传感器来测量摄像机的环境中的实际的光照等级。在另一个实施例中，条件可以基于所捕获的数据和单独的光传感器的组合。
此外，应当注意，在本文中关于亮度进行的任何教导可以扩展至伽马校正或非校正的亮度通道或表示整体非彩色光照等级的其它通道；并且在本文中对色度或浓度的任何提及可以扩展至结合这样的非彩色光照通道而使用的颜色通道的任何系统。本文中的教导并不是特定于任何一个具体的颜色空间。例如，可以在HSV或HSL空间中应用所述预处理。
此外，尽管应经就捕获、低光照增强编码和传输全部都是在单个用户终端处执行的描述了上文，但在可替代的场景中，这些中的一个或多个可以实现在另一类型的终端(例如，服务器)中，并且这些阶段未必是在相同的终端中执行的。例如，一个用户终端可以向服务器或其它存储设备提交原始的捕获视频，并且另一个用户终端可以获取该视频并且接着对其进行预处理和编码，用于传输至别处。另一个示例将是在中间网络元件(例如，服务器)上应用的转码操作：一个用户终端可以经由服务器发送根据一个编码解码器编码的视频，并且服务器可以解码、应用低光照增强并且根据相同或不同的编码解码器重新编码，用于传输至另一个用户终端。此外，教导不限于发送通过网络或通信介质发送到另一接收用户终端：相反，可以执行编码以将视频存储在存储介质上用于以后在相同的用户终端上回播。
通常而言，在本文中所描述的任何功能都可以利用软件、固件、硬件(例如，固定的逻辑电路)或这些实现的组合来实现。如在本文中所使用的术语“模块”、“功能”、“组件”、和“逻辑”通常表示软件、固件、硬件或其组合。在软件实现的情况下，模块、功能或逻辑表示当在处理器(例如，CPU或多个CPU)上被执行时执行指定的任务的程序代码。程序代码可以被存储在一个或多个计算机可读存储设备上。在下文中所描述的技术的特征与平台无关，这意味着所述技术可以在具有多种处理器的多种商业计算平台上实现。
例如，终端也可以包括使得终端的硬件执行操作的实体(例如，软件)，例如处理器功能块等。例如，终端可以包括计算机可读介质，其可以被配置为保存使得终端并且更具体地是该终端的操作系统和相关联的硬件执行操作的指令。因此，指令的功能是配置操作系统和相关联的硬件以执行操作，并且通过这种方式引起操作系统和相关联的硬件变换为执行功能。指令可以由计算机可读介质通过多种不同的配置向终端提供。
计算机可读介质的一个这样的配置是信号承载介质，并且因此被配置为例如经由网络将指令(例如，作为载波)发送至计算设备。计算机可读介质也可以被配置为计算机可读存储介质，并且因此不是信号承载介质。计算机可读存储介质的示例包括随机存取存储器(RAM)、只读存储器(ROM)、诸如CD或DVD的光盘、闪速存储器、硬盘存储器以及可以使用磁、光和其它技来存储指令和其它数据的其它存储器设备。
尽管已经用特定于结构特征和/或方法动作的语言描述了主题，但是应当理解的是，在所附权利要求中所限定的主题不必限于上文中所描述的具体的特征或动作。相反，公开上文中所描述的具体的特征和动作以作为实现权利要求的示例性形式。

Claims (10)

1.一种用于低光照增强的装置，包括：
编码器，其被配置为对从摄像机捕获的视频信号进行编码；以及
低光照增强模块，其被配置为在包括表示颜色的两个颜色通道和表示光照等级的非彩色通道的颜色空间中对所述视频信号执行低光照增强，所述低光照增强包括：
根据所捕获的视频信号来确定光照特征的测量和噪声特征的测量；
至少检测第一分类，所述第一分类指示所述视频信号中的干扰是由于在低光照中捕获引起的，所述第一分类是基于所述光照特征的测量和所述噪声特征的测量的第一组合的噪声分类，所述光照特征的测量和所述噪声特征的测量定义了二维的光照-噪声空间，并且所述第一组合包括在所述光照-噪声空间中执行旋转以生成考虑了光照和噪声两者的一维的噪声度量；以及
响应于检测到所述第一分类，将第一低光照处理应用于所述颜色通道中的至少一个颜色通道以减少在被所述编码器编码时由颜色产生的比特数，使得在被所述编码器编码时增加的比特数花费在所述非彩色通道上。
2.根据权利要求1所述的装置，其中，所述第一低光照处理包括：对所述至少一个颜色通道进行降噪，和/或增加所述至少一个颜色通道上的量化粗糙度。
3.根据权利要求1所述的装置，其中，所述第一低光照处理包括：对所述颜色通道中的单个颜色通道进行降噪，而不对任何其他颜色通道进行降噪。
4.根据权利要求3所述的装置，其中，所述噪声分类是基于所述一维的噪声度量的。
5.根据权利要求1所述的装置，其中，所述低光照增强还包括：检测第二分类，所述第二分类指示所述视频信号是在低光照中被捕获的，所述第二分类是基于所述光照特征和所述噪声特征的第二组合的低光照分类，所述第二组合与所述第一组合不同；以及响应于检测到所述第二分类来执行进一步的低光照处理。
6.根据权利要求5所述的装置，其中，包括以下中的一个或两个：
所述进一步的低光照处理包括对所述非彩色通道的提升；和/或
所述颜色通道包括红色通道和蓝色通道，并且所述进一步的低光照处理包括色度调整，所述色度调整包括扩大所述红色通道和/或缩小所述蓝色通道。
7.根据权利要求5所述的装置，其中，所述光照特征和所述噪声特征定义了二维的光照-噪声空间，并且所述第二组合包括在所述光照-噪声空间中执行旋转以生成考虑了光照和噪声两者的一维的光照等级度量，所述低光照分类是基于所述一维的光照等级度量的测量的。
8.根据权利要求5所述的装置，其中，包括以下中的一个或两个：
所述噪声分类是表示所述至少一个颜色通道上的噪声是由于在低光照中捕获引起的概率的软分类；和/或
所述低光照分类是表示所述视频信号在低光照中被捕获的概率的软分类。
9.根据权利要求1所述的装置，其中，包括以下中的一个或两个：
所述噪声特征被确定为所述颜色通道中的所述一个颜色通道上的相邻像素之间的平均的阈值化的绝对差，其中，所述像素能够是下采样的；和/或
所述光照特征包括根据所述非彩色通道确定的对比度的测量。
10.一种其上包括有指令的计算机可读存储介质，所述指令在被处理器执行时执行以下的操作：
接收从摄像机捕获的视频信号；
在包括表示颜色的两个颜色通道和表示光照等级的非彩色通道的颜色空间中对所述视频信号执行低光照增强；以及
对所述视频信号进行编码；
其中，所述低光照增强包括：
根据所捕获的视频信号来确定光照特征的测量和噪声特征的测量；
检测第一分类，所述第一分类指示所述视频信号中的干扰是由于在低光照中捕获引起的，所述第一分类是基于所述光照特征的测量和所述噪声特征的测量的组合的噪声分类，所述光照特征的测量和所述噪声特征的测量定义了二维的光照-噪声空间，并且所述组合包括在所述光照-噪声空间中执行旋转以生成考虑了光照和噪声两者的一维的噪声度量；以及
响应于检测到所述第一分类，将第一低光照处理应用于所述颜色通道中的至少一个颜色通道以减少在被编码时由颜色产生的比特数，使得在被编码时增加的比特数花费在对所述非彩色通道进行编码上。
CN201480044554.XA 2013-08-06 2014-08-04 对在低光照中捕获的视频进行编码 Active CN105519109B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
GB1314068.6 2013-08-06
GBGB1314068.6A GB201314068D0 (en) 2013-08-06 2013-08-06 Encoding Video Captured in low light
US14/092,426 2013-11-27
US14/092,426 US9661327B2 (en) 2013-08-06 2013-11-27 Encoding video captured in low light
PCT/US2014/049517 WO2015020919A2 (en) 2013-08-06 2014-08-04 Encoding video captured in low light

Publications (2)

Publication Number Publication Date
CN105519109A CN105519109A (zh) 2016-04-20
CN105519109B true CN105519109B (zh) 2019-11-08

Family

ID=49224242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480044554.XA Active CN105519109B (zh) 2013-08-06 2014-08-04 对在低光照中捕获的视频进行编码

Country Status (5)

Country Link
US (1) US9661327B2 (zh)
EP (1) EP3014880B1 (zh)
CN (1) CN105519109B (zh)
GB (1) GB201314068D0 (zh)
WO (1) WO2015020919A2 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
CN104202604B (zh) * 2014-08-14 2017-09-22 深圳市腾讯计算机系统有限公司 视频增强的方法和装置
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
GB2544476B (en) * 2015-11-16 2018-08-08 Displaylink Uk Ltd Data compression method and apparatus
US10163030B2 (en) * 2016-05-20 2018-12-25 Gopro, Inc. On-camera image processing based on image activity data
CN109792478B (zh) 2016-09-01 2021-11-12 迪尤莱特公司 基于焦点目标信息调整焦点的装置和方法
CN109690433B (zh) * 2016-09-13 2022-05-17 杭州零零科技有限公司 具有环境感知的无人驾驶空中车辆系统和方法
US10841458B2 (en) * 2018-03-02 2020-11-17 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US10715774B2 (en) * 2018-07-23 2020-07-14 Microsoft Technology Licensing, Llc Color conversion for ambient-adaptive digital content
CN109242788A (zh) * 2018-08-21 2019-01-18 福州大学 一种基于编码-解码卷积神经网络低照度图像优化方法
CN110858389B (zh) * 2018-08-23 2021-09-24 网宿科技股份有限公司 一种增强视频画质的方法、装置、终端及转码设备
CN110278425A (zh) * 2019-07-04 2019-09-24 潍坊学院 图像增强方法、装置、设备和存储介质
US11330196B2 (en) * 2020-10-12 2022-05-10 Microsoft Technology Licensing, Llc Estimating illumination in an environment based on an image of a reference object
CN114018819B (zh) * 2021-03-22 2022-11-11 北京航空航天大学 基于空间频域成像的光学特性测量方法、装置及系统
US11960576B2 (en) * 2021-07-20 2024-04-16 Inception Institute of Artificial Intelligence Ltd Activity recognition in dark video based on both audio and video content
CN115082357B (zh) * 2022-07-20 2022-11-25 深圳思谋信息科技有限公司 视频去噪数据集生成方法、装置、计算机设备和存储介质
US20240031431A1 (en) * 2022-07-21 2024-01-25 Kbr Wyle Services Llc System and methods for transmitting information using an electronic media

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090056223A (ko) * 2007-11-30 2009-06-03 엘지이노텍 주식회사 저조도 촬영시 노이즈 감소 방법
CN101916431A (zh) * 2010-07-23 2010-12-15 北京工业大学 一种低照度图像数据处理方法及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4573070A (en) * 1977-01-31 1986-02-25 Cooper J Carl Noise reduction system for video signals
US5909249A (en) * 1995-12-15 1999-06-01 General Instrument Corporation Reduction of noise visibility in a digital video system
US20020118883A1 (en) 2001-02-24 2002-08-29 Neema Bhatt Classifier-based enhancement of digital images
CN1650622B (zh) 2002-03-13 2012-09-05 图象公司 用于数字重新灌录或修改电影或其他图像序列数据的系统和方法
US7822281B2 (en) * 2003-10-31 2010-10-26 Canon Kabushiki Kaisha Digital video compression
US7471845B2 (en) 2004-01-06 2008-12-30 Sharp Laboratories Of America, Inc. De-ringing filter
KR100721543B1 (ko) 2005-10-11 2007-05-23 (주) 넥스트칩 통계적 정보를 이용하여 노이즈를 제거하는 영상 처리 방법및 시스템
JP2009004920A (ja) * 2007-06-19 2009-01-08 Panasonic Corp 画像符号化装置および画像符号化方法
KR101537295B1 (ko) 2010-11-19 2015-07-16 아날로그 디바이시스, 인코포레이티드 저조도 잡음 감소를 위한 성분 필터링
US8699813B2 (en) * 2010-11-19 2014-04-15 Analog Devices, Inc Adaptive filter for low-light noise reduction
CN103210418B (zh) * 2010-11-23 2016-08-17 杜比实验室特许公司 高动态范围图像的内容元数据增强
JP5701640B2 (ja) 2011-02-18 2015-04-15 株式会社東芝 画像処理装置
US9251439B2 (en) 2011-08-18 2016-02-02 Nikon Corporation Image sharpness classification system
ITVI20110243A1 (it) 2011-09-09 2013-03-10 Stmicroelectronics Grenoble 2 Riduzione di rumore croma di una immagine
US9031319B2 (en) * 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090056223A (ko) * 2007-11-30 2009-06-03 엘지이노텍 주식회사 저조도 촬영시 노이즈 감소 방법
CN101916431A (zh) * 2010-07-23 2010-12-15 北京工业大学 一种低照度图像数据处理方法及系统

Also Published As

Publication number Publication date
WO2015020919A2 (en) 2015-02-12
EP3014880A2 (en) 2016-05-04
GB201314068D0 (en) 2013-09-18
EP3014880B1 (en) 2021-11-10
WO2015020919A3 (en) 2015-04-09
US9661327B2 (en) 2017-05-23
US20150043655A1 (en) 2015-02-12
CN105519109A (zh) 2016-04-20

Similar Documents

Publication Publication Date Title
CN105519109B (zh) 对在低光照中捕获的视频进行编码
CN111066326B (zh) 机器学习视频处理系统和方法
CN105308960B (zh) 用于解码视频数据的方法、介质和系统
JP5509390B2 (ja) ビデオ符号化および処理のための照明補償および遷移のための方法およびシステム
KR101528895B1 (ko) 관심 특성 색 모델 변수의 적응성 추정을 위한 방법 및 장치
JP6822121B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR102185803B1 (ko) 손실된 비디오 데이터의 조건부 은닉
RU2461977C2 (ru) Сжатие и снятие сжатия изображения
KR100997060B1 (ko) 영상 센서-기반 자동 관심영역 검출
KR101437195B1 (ko) 코딩된 화상 및 영상에서 블록 아티팩트 검출
US10728546B2 (en) Sample adaptive offset systems and methods
TW201030677A (en) Content adaptive histogram enhancement
US11310514B2 (en) Encoding method and apparatus using non-encoding region, block-based encoding region, and pixel-based encoding region
US10735724B2 (en) Method and device for compressing image on basis of photography information
CN101341494B (zh) 基于视频帧运动的自动关注区检测
CN117640942A (zh) 一种用于视频图像的编码方法和装置
US20190320206A1 (en) Morphological Anti-Ringing Filter for Lossy Image Compression
CN105631812B (zh) 一种对显示图像进行色彩增强的控制方法及控制装置
WO2021206674A1 (en) No-reference banding artefact predictor
Samuelsson et al. Image compression with xvc
Saeedi et al. Content adaptive pre-filtering for video compression
Luo et al. Subjective Quality Based Optimization for JPEG XR Encoding Algorithm

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant