CN106888355A - 比特率控制器和用于限制输出比特率的方法 - Google Patents

比特率控制器和用于限制输出比特率的方法 Download PDF

Info

Publication number
CN106888355A
CN106888355A CN201611128910.3A CN201611128910A CN106888355A CN 106888355 A CN106888355 A CN 106888355A CN 201611128910 A CN201611128910 A CN 201611128910A CN 106888355 A CN106888355 A CN 106888355A
Authority
CN
China
Prior art keywords
bit rate
maximum bit
illumination
illumination level
rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611128910.3A
Other languages
English (en)
Other versions
CN106888355B (zh
Inventor
斯蒂芬·伦德贝里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN106888355A publication Critical patent/CN106888355A/zh
Application granted granted Critical
Publication of CN106888355B publication Critical patent/CN106888355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]

Abstract

本发明涉及一种比特率控制器(120)和用于限制输出比特率的方法，所述比特率控制器包括：被布置为用于确定被捕获场景的图像中的光照水平的光照确定块(202)；以及最大比特率设置块(204)。最大比特率设置块被布置为用于：当光照水平被确定为低光照水平时，设置低光照最大比特；当光照水平被确定为中等光照水平时，设置中等光照最大比特率；或当光照水平被确定为高光照水平时，设置高光照最大比特率。低光照最大比特率低于中等光照最大比特率。高光照最大比特率低于中等光照最大比特率。

Description

比特率控制器和用于限制输出比特率的方法
技术领域
本发明涉及限制输出比特率。
背景技术
当发送数字视频数据时，使用数字视频数据的压缩来减小数字视频数据的比特率。
可以通过设置预定的恒定比特率来控制比特率。这会导致数字视频数据中被捕获的场景中的细节和/或运动程度相对较低的部分以不必要小的程度进行压缩的风险，导致压缩后的数字视频数据不必要地占据大量带宽和/或存储空间。此外，这也将导致数字视频数据中被捕获的场景中的细节和/或运动程度相对较高的部分以太大程度压缩的风险，导致压缩后的数字视频数据的图像质量被破坏。
可替代地，可以通过设置用于将比特率保持为接近或低于预定最大值的最大比特率来控制比特率。预定的最大值实施为比特率控制器中的固定参数。相对较高的预定最大比特率可能需要用于数字视频数据的大的带宽和/或存储空间，而当在被捕获的场景中存在许多细节或运动时，相对较低的预定最大比特率会有损害数字视频数据的图像质量的风险。
另外可替代地，比特率控制器可以采用可变比特率，该可变比特率还可以称作恒定质量，其中允许比特率改变以便维持一特定图像质量。当在场景中存在大量细节或运动时，这可能导致带宽使用过高。此外，这可能导致在低光照条件下捕获数字视频数据时非常高的比特率。在低光照条件下捕获数字视频数据需要对来自图像传感器的信号的高增益。这会导致数字视频数据中的大量噪声，这需要大量比特以用于编码。
发明内容
本发明的目的在于解决上述问题的至少一个。
根据第一方面，提供一种用于设置比特率的方法。该方法包括：确定被捕获的场景的图像中的光照水平，其中光照水平等级被离散为包括至少低光照水平、中等光照水平、和高光照水平的多个不同光照水平，并且其中最大比特率与每个相应的不同光照水平相关联；当光照水平被确定为低光照水平时，设置低光照最大比特率；当光照水平被确定为中等光照水平时，设置中等光照最大比特率；或当光照水平被确定为高光照水平时，设置高光照最大比特率；其中低光照最大比特率低于中等光照最大比特率，并且其中高光照最大比特率低于中等光照最大比特率。
根据本发明，使用可变最大比特率，其依赖于需编码的数字视频数据的图像中的光照水平。以该方式，可以设置最大比特率以使得在中等光照水平下，例如黄昏或黎明，允许恒定质量比特率的较小部分，以及在“完全黑暗”中允许恒定质量比特率的较大部分，并且尤其是在高光照条件下可以设置该最大比特率。在中等光照情形下，将存在许多噪声，如果使用恒定质量比特率则导致高比特率。如果在该情形下最大比特率设置太低，则图像的质量将低下并且场景中真实的移动可能具有被解释为噪声的风险。然而，如果最大比特率设置的较高以便允许噪声图像的较高质量，则对于基本上“完全黑暗”的场景而言限值可能没有必要这么高。对于基本上“完全黑暗”的场景而言，许多像素将被剪辑为黑色，意味着存在很少的变化和噪声。该场景的图像因此可能不需要严格的压缩以迎合比特率限值。再者，基本上“完全黑暗”的图像中的高质量对于观看者很少有用，因此如此花费比特并不明智。对于存储器而言，这本身就是重要的。对于传输而言，例如如果在被布置为用于发送数字视频数据的单元的系统中还存在发送数字视频数据的其他单元，例如视频相机，这可能是重要的，这可以同时从较高比特率限值更多地受益。
光照水平等级可以被离散为多个不同光照水平，其中最大比特率与每个相应的不同光照水平相关联。两个相邻的不同光照水平之间的光照水平差可以最多是光照水平的双倍。
可以通过使用捕获图像的图像传感器的图像传感器数据或专用光照水平传感器来至少部分地确定图像中的光照水平。词语“光照水平”应被理解为在平面、特别是捕获图像的图像传感器的平面中测量的光的量。用于光照水平的另一词语是照度。光照水平可以使用专用传感器直接地测量，或者使用图像传感器数据间接地测量。后者可以通过使用将用于捕获图像的图像传感器的增益设置转换为光照水平的查找表来实施。
当光照水平被确定为低光照水平时，可以针对被标识为前景的图像部分设置第一低光照最大比特率，并且可以针对被标识为背景的图像部分设置第二低光照最大比特率；当光照水平被确定为中等光照水平时，可以针对被标识为前景的图像部分设置第一中等光照最大比特率，并且可以针对被标识为背景的图像部分设置第二中等光照最大比特率；或当光照水平被确定为高光照水平时，可以针对被标识为前景的图像的部分设置第一高光照最大比特率，并且可以针对被标识为背景的图像的部分设置第二高光照最大比特率；其中第一低光照最大比特率低于第一中等光照最大比特率，以及其中第一高光照最大比特率低于第一中等光照最大比特率。以该方式，可以针对图像的前景和背景设置不同的最大比特率。例如，可以在对于观看者可以是较不重要的背景上花费较少的比特，并且可以在前景上花费较多的比特，以使得移动的物体或人可以被更清晰地描绘。
第二低光照最大比特率可以低于第二中等光照最大比特率，并且第二高光照最大比特率可以低于第二中等光照最大比特率。可替代地，第二低光照最大比特率、第二中等光照最大比特率以及第二高光照最大比特率可以设置为相同的最大比特率。
根据第二方面提供了一种非暂时性计算机可读记录介质，在该介质上记录有用于当在具有处理能力的装置上执行时，执行以上方法中的任意方法的程序。
根据第三方面提供了一种比特率控制器。比特率控制器包括：被配置为确定被捕获的场景的图像中的光照水平的光照确定块；以及最大比特率设置块。将光照确定块配置为基于捕获图像期间的光照水平来确定被捕获的场景的图像中的光照水平，其中光照水平等级被离散为包括至少低光照水平、中等光照水平、和高光照水平的多个不同光照水平，并且其中最大比特率与每个相应的不同光照水平相关联。最大比特率设置块被配置为：当光照水平被确定为低光照水平时，设置低光照最大比特率；当光照水平被确定为中等光照水平时，设置中等光照最大比特率；或当光照水平被确定为高光照水平时，设置高光照最大比特率。其中低光照最大比特率低于中等光照最大比特率，并且其中高光照最大比特率低于中等光照最大比特率。
比特率控制器还可以包括包含查找表的存储器，该查找表包括各个不同的光照水平以及与光照水平相关联的预定最大比特率。可以通过在查找表中执行查找来执行各个最大比特率的设置。
比特率控制器可以布置在数字视频相机中。
比特率控制器可以被配置为服务多个数字网络相机，每个数字网络相机被配置为捕获描绘相机特定场景的图像，其中噪声确定块被配置为针对相机确定每个相机特定场景的图像中的光照水平，并且其中最大比特率设置块被配置为设置相机特定的低光照最大比特率、中等光照最大比特率以及高光照最大比特率。
比特率控制器还可以被配置为基于所确定的相机特定场景中的活动来随时间改变相机特定的低光照最大比特率、中等光照最大比特率和高光照最大比特率。改变可以基于所确定的相机特定场景中的活动。可替代地或者组合地，在多相机系统中，改变可以基于由不同相机输出的已编码流的比特率。因此，相机系统中的比特率分配可以适应于不同相机的随时间变化的需求。
当可适用时，上述方法也适用于该第三方面。为了避免不适当的重复，对以上做出参考。
从以下给出的详细说明将使得本发明的可适用性的其他范围变得明显。然而，应该理解的是尽管示出了本发明的优选实施例，仅借由示意说明的方式给出了详细说明书和具体示例，因为从该详细说明书使得在本发明范围内的各种改变和修改对于本领域技术人员变得明显。
因此，应该理解的是本发明不限于所述装置的特定组成部件或者所述方法的步骤，因为该装置和方法可以改变。也应该理解的是在此使用的术语仅是为了描述特定实施例的目的，并且并非意在是限定性的。必需注意的是，如在说明书和所附权利要求中所使用的，冠词“一”、“该”和“所述”意在意味着存在一个或多个元件，除非上下文明确给出相反指示。因此，例如，对于“一单元”或“该单元”的参考可以包括数个装置，以及类似的。此外，词语“包括”、“包含”、“含有”和类似词语并未排除其他元件或步骤。
附图说明
参考示出了本发明实施例的附图，现在将更详细描述本发明的以上和其他方面。附图不应视作将本发明限定于具体实施例；替代地，它们用于解释和理解本发明。
如图中所图示的，为了图示的目的可以夸大层和区域的大小，并且因此提供用于图示本发明的实施例的一般结构。全文中的相同附图标记涉及相同元件。
图1示意性地图示了被布置为用于捕获描绘场景的数字视频数据的数字网络相机。
图2示意性地图示了被布置为用于限制输出比特率的比特率控制器。
图3图示了连接至比特率控制器的多个数字网络相机的系统。
图4是用于限制输出比特率的方法的框图。
具体实施方式
现将参照出了本发明当前优选实施例的附图在下文中更全面地描述本发明。然而，本发明可以以许多不同形式实施，并且本发明不应被解释为对本文阐述的实施例的限定；相反，为了彻底和完整的目的以及向本领域技术人员完全传达本发明的范围的目的而提供这些实施例。
图1图示了被布置为捕获描绘场景的数字视频数据的数字网络相机100。数字网络相机100被布置为捕获并处理(可能还存储)数字视频数据。数字网络相机100包括外壳112、镜头114、图像传感器116、图像处理单元118、比特率控制器120、编码单元122、存储器124、中央处理单元(CPU)126以及网络接口128。图像处理单元118、比特率控制器120和/或编码单元122中的任意一个可以实施为硬件和/或软件。
数字网络相机100被布置为经由网络接口128连接至诸如互联网或局域网(LAN)之类的数字网络。至数字网络的连接可以是有线的或无线的。因此，网络接口128可以是适用于10/100/1000Mps数据通信的诸如以太网端口之类的网络端口，网络接口128可以是被布置为接收模块化连接器(例如RJ45连接器)的模块化端口。通常，该RJ45连接器端口被布置为接收网络线缆，诸如双绞线线缆(例如五类(cat 5)、超五类(cat 5e)或六类(cat 6)线缆)。可替代地，网络端口的I/O装置可以是使用移动互联网通信标准(例如1G、2G、2.5G、2.75G、3G、3.5G、3.75G、3.9G、4G、5G)或使用无线局域网(WiFi)的无线I/O装置。
相机部件，即镜头114和图像传感器116，可以被布置为捕获原始图像，其中每个原始图像可以被描述为不同波长并且源自不同物体或者物体的不同部分的光。这些原始图像随后从模拟格式转换至数字格式并且传输至图像处理单元118中。根据此实施例，数字网络相机110是被布置为捕获照片图像的相机。
可替代地或者组合地，数字网络相机110的图像传感器116可被布置为捕获热图像。
因此，由数字网络相机110捕获的数字视频数据可以是照片图像的表示、热图像的表示或者其组合。
编码单元122被布置为使用视频编码技术对数字视频数据进行编码。视频编码技术的非限定性示例是ISO(国际标准化组织)/MPEG或ITU-H.26X系列的视频编码标准。编码单元122被布置为将捕获的数字视频数据的图像编码为捕获的数字视频数据的已编码版本的图像，此后称作编码后数字视频数据。
编码后数字视频数据可以经由网络接口128直接在数字网络上传输。可替代地，编码后数字视频数据可以存储在存储器124中以经由网络接口128稍后在数字网络上传输。存储器124可以是任意种类的易失性或非易失性存储器。此外，存储器124可以包括多个存储器构件。多个存储器构件中的至少一个可以用作缓冲存储器。
为了限制编码后数字视频数据的数据量，借助于比特率控制器120控制编码后数字视频数据的比特率。比特率控制方法的示例是使用恒定比特率、最大比特率或可变(恒定质量)比特率。在使用最大比特率的情况下，使用预定义的限值将比特率保持为接近或低于特定预定阈值。限值实施为比特率控制器120的固定参数。高限值会要求大带宽和/或存储空间，而低限值会有当在被捕获的场景中存在大量细节或运动时损害图像质量的风险。在使用可变比特率(有时称作恒定质量比特率)的情况下，比特率控制器120被布置为改变比特率以维持一特定的图像质量。当场景中存在大量细节或运动时，这可能导致带宽使用过高。此外，在中等光照条件(其中，中等光照条件例如：与黄昏或黎明相对应的条件)下、或者在热成像的情形下的中等热辐射条件下，这可能导致非常高的比特率。在中等光照条件下、或者在中等热量条件下捕获数字视频数据需要对来自图像传感器116的信号的高增益。这导致与数字视频数据中的真实信号相比的大量噪声，即，导致低的信噪比(SNR)，这需要大量的比特用于编码。例如，在使用可变比特率的情况下，在中等光照条件期间将产生最高比特率。在真正昏暗、低光照条件时，许多图像内容会被剪辑为黑色，但在光照水平稍微较高(中等光照水平)时，噪声和细节会将输出比特率显著提高。
因此，当在场景中存在中等光照水平或中等热辐射时，数字视频数据中的相对噪声水平提高；这是因为捕获场景需要图像传感器116上的高增益，并且在较低光照水平或热辐射下已经被剪辑为黑色的细节开始出现。
根据本发明，使用可变最大比特率，该可变最大比特率依赖于需编码的数字视频数据的图像中的光照水平。对于照片图像，噪声在低光照水平下较低，并且噪声随着光照水平的增大而增大。在光照水平此后继续升高时，对于增益的需求减小，并且因此噪声也减小。因此，待编码的数据量不直接正比于光照水平，这是因为如果信号低于特定阈值则一些细节可以被剪辑为黑色。类似地，对于低热辐射水平的热图像，噪声量因为剪辑而较低，并且噪声随着热辐射水平的增大而增大。当热辐射水平此后继续升高时，对于增益的需求减小，并且因此噪声也减小。
比特率控制器120被布置为控制编码后数字视频数据的比特率。比特率控制器120可以由硬件实施、软件实施、或者以硬件和软件的组合实施。在图2中图示了比特率控制器120的实施例。比特率控制器120包括光照确定块202和最大比特率设置块204。
光照确定块202被布置为确定由数字网络相机110捕获的图像中的光照水平。噪声确定块202可以被布置为通过使用图像传感器数据或数字网络相机110的专用光照水平传感器130来确定光照水平。前者可以通过使用查找表来实施，查找表由根据图像传感器116的像素测量的强度(例如在转换至YCbCr颜色空间之后的亮度数据)转换为光照水平。由于光照水平可以与距离最大增益的增益步长的数目相关，也可以间接地确定光照水平。中等光照距离最大增益可以小于4个增益步长。高光照增益距离无增益可以小于8个增益步长。应该注意的是，增益步长由硬件放大器定义并且可以较少或较多。像图像传感器116一样，专用光照水平传感器130被布置为测量入射的光子，但是通常专用光照水平传感器130具有更宽的特别设计的镜头。更宽的特别设计的镜头可以例如被布置为捕获整个房间中的光的量。来自专用光照水平传感器130的读出数据可以随后使用查找表而转换为光照水平。通常，该查找表是非线性的。专用光照水平传感器130通常被布置为指示合适的ISO数值。查找表随后可以用于确定哪个增益数值与用于特定图像传感器的所指示ISO数值相对应。可替代地或组合地，光照确定块202可以被布置为通过测量或估算由图像传感器116提供的信号中的噪声而确定图像中的光照水平。由图像传感器116提供的信号中的噪声在被数字化之后包括固定噪声和动态噪声。固定噪声可以借助噪声滤波器滤除。然而，在噪声滤波之前测量噪声可能是有益的。如果噪声较高，进入场景的物体可能被误认为是噪声。如果在滤波之前测量噪声，则减小了将物体误认为是噪声的风险。
类似地，在热成像的情形中，光照确定块202可以被布置为通过使用图像传感器数据或专用热辐射传感器，和/或通过测量或估算由图像传感器116提供的信号中的噪声，来确定图像中的热辐射水平。
最大比特率设置块204被配置为根据由光照确定块202所确定的光照水平设置不同的最大比特率。光照水平等级被离散为多个不同光照水平。预定的最大比特率与每个相应的不同光照水平相关联。不同光照水平至少被分类为低光照水平、中等光照水平、和高光照水平。当光照水平被确定为低光照水平时，将最大比特率设置为低光照最大比特率。当光照水平被确定为中等光照水平时，将最大比特率设置为中等光照最大比特率。当光照水平被确定为高光照水平时，将最大比特率设置为高光照最大比特率。低光照最大比特率低于中等光照最大比特率。高光照最大比特率低于中等光照最大比特率。
类似地，在热成像的情形中，最大比特率设置块204被配置为根据热辐射水平设置不同的最大比特率。热辐射水平等级被离散为多个不同的热辐射水平。预定的最大比特率与每个相应的不同热辐射水平相关联。不同的热辐射水平至少被分类为低热辐射水平、中等热辐射水平和高热辐射水平。当热辐射水平被确定为低热辐射水平时，将最大比特率设置为低热辐射最大比特率。当热辐射水平被确定为中等热辐射水平时，将最大比特率设置为中等热辐射最大比特率。当热辐射水平被确定为高热辐射水平时，将最大比特率设置为高热辐射最大比特率。低热辐射最大比特率低于中等热辐射最大比特率。高热辐射最大比特率低于中等热辐射最大比特率。
数字网络相机110还可以包括感兴趣区域确定单元132。感兴趣区域确定单元132被布置为将数字视频数据的图像中的前景部分标识为包含相关信息，并将数字视频数据的图像中的背景部分标识为包含非相关信息。前景部分的非限定性示例是包括运动的部分或者包括特定感兴趣的对象的部分，例如脸、汽车、牌照。例如，诸如AXIS Zipstream之类的智能压缩方案可以用于标识前景部分和背景部分。
因此，当光照水平被确定为低光照水平时，可以针对被标识为前景的图像部分设置第一低光照最大比特率，并且可以针对被标识为背景的图像部分设置第二低光照最大比特率。当光照水平被确定为中等光照水平时，可以针对被标识为前景的图像部分设置第一中等光照最大比特率，并且可以针对被标识为背景的图像部分设置第二中等光照最大比特率。当光照水平被确定为高光照水平时，可以针对被标识为前景的图像部分设置第一高光照最大比特率，并且可以针对被标识为背景的图像部分设置第二高光照最大比特率。第一低光照最大比特率低于第一中等光照最大比特率。第一高光照最大比特率低于第一中等光照最大比特率。第二低光照最大比特率可以低于第二中等光照最大比特率。第二高光照最大比特率可以低于第二中等光照最大比特率。可替代地，第二低光照最大比特率、第二中等光照最大比特率和第二高光照最大比特率设置为相同的最大比特率，即，不论光照水平如何针对背景设置相同的最大比特率。
相应地，可以针对被标识为背景以及被标识为前景的部分设置不同的比特率。比如，可以针对背景使用恒定的最大比特率，并且可以针对前景使用作为光照水平的函数的变化最大比特率。可替代地，可以针对背景以及针对前景使用作为光照水平的函数的变化最大比特率，然而，与前景相比，用于背景的作为光照水平的函数的最大比特率是不同的。
将场景划分为前景和背景还可以以更多的步骤进行。此外，可以针对前景设置一个最大比特率而针对背景设置另一最大比特率，并且可以在两者之间的边界处使用平滑函数以便于避免图像中的尖锐质量转变。
针对照片图像中场景的前景和背景所述的以上内容还可以结合热成像实施。对于热成像，使用热辐射水平并且将热辐射水平离散为低热辐射水平、中热辐射水平和高热辐射水平来替代光照水平。
比特率控制器120还可以包括存储器206。存储器206可以是用于比特率控制器120的专用存储器。可替代地或组合地，存储器可以是数字网络相机110的存储器124。存储器206可以包括包括预定的最大比特率以及与其相关联的相应不同的光照或热辐射水平的查找表。因此，可以通过在查找表中执行查找而执行相应最大比特率的设置。两个相邻的不同光照或热辐射水平之间的光照或热辐射水平差可以至多为对光照或热辐射水平进行加倍。在所确定的光照或热辐射水平不对应于查找表中的多个不同光照或热辐射水平中的不同光照或热辐射水平的情况下，可以使用最接近所确定的光照或热辐射水平的不同光照或热辐射水平来获得预定的最大比特率。可替代地，可以使用查找表数值的插值操作来获得最大比特率。
数字网络相机110还可以包括温度确定单元134。温度确定单元134被布置为用于确定捕获图像的图像传感器116的温度。温度确定单元134可以包括被配置为在图像传感器116上或紧挨着图像传感器116来测量图像传感器116的温度的温度传感器。因此，温度确定单元134可以被布置为直接地测量图像传感器116的温度。可替代地，温度确定单元134可以包括被布置在数字网络相机110的外壳112处的温度传感器。在数字网络相机110的外壳112处的温度传感器可以被布置为测量数字网络相机110的内部温度和/或数字网络相机110外部的环境温度。内部温度和/或环境温度可以随后由温度确定单元134使用以估算图像传感器116的温度。所确定的图像传感器116的温度指示了图像传感器116处的热感应噪声。图像传感器116的温度可以用于确定被捕获场景的图像中的噪声水平。在此情况中的噪声水平可以由图像传感器116的温度与场景之内的光照水平或热辐射水平的组合引起。因此，相应的最大比特率的设置还可以基于捕获图像时图像传感器的温度。
图3图示了连接至比特率控制器120的多个数字网络相机350的系统300。每个数字网络相机350被配置为捕获描绘相机特定场景的图像。多个数字网络相机350和比特率控制器120以计算机网络相互连接。比特率控制器120可以被布置为如图3中图示的特定装置。可替代地，比特率控制器120可以被布置在多个数字网络相机350中的一个数字网络相机中。比特率控制器120被配置为服务多个数字视频相机350。噪声确定块202被配置为针对相机确定每个相机特定场景的图像中的光照水平。针对每个特定相机来设置相机特定光照水平等级。每个相机特定光照水平等级被离散化为多个不同的相机特定光照水平。相机特定预定最大比特率与每个相应的相机特定不同光照水平相关联。相机特定不同光照水平至少被分类为低光照水平、中等光照水平、和高光照水平。因此，最大比特率设置块204被配置为基于每个相机特定场景的图像中的针对相机确定的光照水平，设置相机特定低光照最大比特率、相机特定中等光照最大比特率以及相机特定高光照最大比特率。
可替代地，系统可以实施为每个相机中均具有一个相机特定比特率控制器，并且再分立地布置一个系统比特率控制器或者在其中一个相机中布置一个系统比特率控制器。
比特率控制器还可以被配置为随时间来改变相机特定的低光照最大比特率、相机特定中等光照最大比特率、以及相机特定高光照最大比特率。改变可以基于确定的相机特定场景中的活动。可替代地或者组合地，在多相机系统中，改变可以基于由不同相机输出的编码流的比特率。即，即便在每个相机处设置最大比特率，但输出的视频流的比特率可以变化从而低于该最大比特率。如果一个相机经常低于其最大比特率而另一相机经常高于最大比特率，则可以在相机系统的相机之间差异地分布比特分配。
每个相机特定场景中的活动可以例如由运动检测算法确定。运动检测算法可以在运动检测软件和/或硬件中执行。运动检测软件和/或硬件可以实施在多个数字网络相机350中的一个或多个中。可替代地或组合地，运动检测软件和/或硬件可以实施在比特率控制器120中。视频运动检测算法优选地基于时空视频分析。可能使用的视频运动检测算法的一些示例是：
基于“改变检测”的算法。根据该算法，将图像与之前的图像进行逐个像素地比较以便获得图像与之前的图像之间的改变的像素。
基于“运动检测”的算法。根据该算法，将图像与将“真实”运动从例如照度改变滤出的之前的图像进行比较。这可以例如通过应用时空视频分析而执行；Almbladh例如在US8,121,424中描述了用于时空视频分析的方法。
基于“物体运动检测”和“物体分类”的算法。根据该算法，分析检测到的运动以检测被追踪的移动物体，使得已经在运动但是临时停止静止的物体仍被检测到。因此，根据该算法，可以对物体进行例如分析并且分类为例如“人”、“车辆”、“汽车”、“动物”、“脸”等。为了分类物体，可以使用Viola和Jones在US7,099,510中描述的方法。
以上所述不同算法通常建立在彼此之上以逐步实现复杂性和可靠性的更高程度。
因此，上述系统300可以例如用于较长时间地(例如24小时或一周)测量不同相机特定场景中的活动并且根据活动设置不同的相机特定最大比特率。比如，如果通常仅在一个或少数相机特定场景中存在活动，则可以针对对应的数字网络相机305来相较于系统300中的其他数字网络相机350提高对应的数字网络相机350的最大比特率。
结合相机特定光照水平和光照水平等级所述的以上内容也适用于相机特定热辐射水平和热辐射等级。
图4图示了用于限制视频编码器的输出比特率的方法。该方法包括以下行为。S402，确定被捕获场景的图像中的光照水平。当光照水平被确定为低光照水平时，S404a，设置低光照最大比特率。当光照水平被确定为中等光照水平时，S404b，设置中等光照最大比特率。当光照水平被确定为高光照水平时，S404c，设置高光照最大比特率。低光照最大比特率低于中等光照最大比特率。高光照最大比特率低于中等光照最大比特率。
该方法还可以包括S400，捕获形成了描绘场景的图像的数字视频数据。捕获可以优选地由数字视频相机110的图像传感器116执行。可替代地，形成了描绘场景的图像的数字视频数据的捕获可以由将模拟信号转换为数字视频数据的模数转换器执行。
图像中的光照水平可以至少部分地通过使用图像传感器116的图像传感器数据或者专用光照水平传感器130来确定。图像中的噪声水平可以至少部分地通过使用图像传感器116的温度来确定。因此，图像中的噪声水平可以是图像传感器的温度的函数。上面讨论了用于确定图像传感器116的温度的方法。
本领域技术人员认识到，本发明决非限定于以上所述优选实施例。相反地，在所附权利要求的范围内可以进行许多修改和变形。
例如，在大多数上述示例性实施例中，比特率控制器120被布置在数字视频相机110中。然而，应该认识到，比特率控制器120也可以布置在其他装置中。作为非限定性示例，比特率控制器120可以布置在被布置为用于将模拟视频转换为数字视频数据的模数转换器中。
此外，因为不同的白昼/夜晚表现，不同的数字视频相机可以在同一光照水平下给出不同噪声。一些数字视频相机比其他数字视频相机更早切换至夜晚模式(红外截止滤光器关闭)。在夜晚模式中，场景的图像通常设置为黑白色。在白昼模式中，场景的图像通常设置为彩色，这在低光照水平下导致更多噪声。因此，在0.95勒克斯的情况下，在例如10勒克斯下切换至黑白色的数字视频相机将比直到0.90勒克斯才切换至黑白色的相机给出更少噪声。在实施例中，比特率控制器可以被布置为通过使白昼和夜晚模式之间的切换稍微偏移来影响数字视频相机的白昼/夜晚表现。应该小心以便不获得不稳定的表现——快速地在白昼和夜晚模式之间来回切换。在白昼和夜晚模式之间的这种切换对于观看视频的操作者可能是烦人的，并且当红外截止滤光器被移动时也可以导致敲击噪声。
额外地，通过研习附图、本公开和所附权利要求，可以由实施所请求保护发明的本领域技术人员理解并实现对所公开实施例的改变。

Claims (12)

1.一种用于设置比特率的方法，所述方法包括：
确定(S302)被捕获的场景的图像中的光照水平，其中光照水平等级被离散化为至少包括低光照水平、中等光照水平、和高光照水平的多个不同光照水平，并且其中最大比特率与每个相应的不同光照水平相关联；
当所述光照水平被确定为：
所述低光照水平时，设置(S304a)低光照最大比特率；
所述中等噪声水平时，设置(S304b)中等光照最大比特率；或
所述高噪声水平时，设置(S304c)高光照最大比特率；
其中所述低光照最大比特率低于所述中等光照最大比特率，并且其中所述高光照最大比特率低于所述中等光照最大比特率。
2.根据权利要求1所述的方法，其中，在两个相邻的不同光照水平之间的光照水平差至多是所述光照水平的双倍。
3.根据权利要求1所述的方法，其中，所述图像中的所述光照水平通过使用捕获所述图像的图像传感器(116)的图像传感器数据或者专用光照水平传感器(130)来确定。
4.根据权利要求1所述的方法，其中，当所述光照水平被确定为：
所述低光照水平时，针对被标识为前景的图像部分设置第一低光照最大比特率，并针对被标识为背景的图像部分设置第二低光照最大比特率；
所述中等光照水平时，针对被标识为前景的图像部分设置第一中等光照最大比特率，并针对被标识为背景的图像部分设置第二中等光照最大比特率；或
所述高光照水平时，针对被标识为前景的图像部分设置第一高光照最大比特率，并针对被标识为背景的图像部分设置第二高光照最大比特率；
其中所述第一低光照最大比特率低于所述第一中等光照最大比特率，并且其中所述第一高光照最大比特率低于所述第一中等光照最大比特率。
5.根据权利要求4所述的方法，其中，所述第二低光照最大比特率低于所述第二中等光照最大比特率，并且其中所述第二高光照最大比特率低于所述第二中等光照最大比特率。
6.根据权利要求4所述的方法，其中，所述第二低光照最大比特率、第二中等光照最大比特率以及第二高光照最大比特率被设置为相同的最大比特率。
7.一种比特率控制器，包括：
噪声确定块(202)，被配置为基于捕获图像期间的光照水平来确定被捕获的场景的图像中的光照水平，其中光照水平等级被离散化为至少包括低光照水平、中等光照水平、和高光照水平的多个不同光照水平，并且其中最大比特率与每个相应的不同光照水平相关联；以及
最大比特率设置块(204)，被配置为当所述光照水平被确定为：
所述低光照水平时，设置低光照最大比特率；
所述中等光照水平时，设置中等光照最大比特率；或
所述高光照水平时，设置高光照最大比特率；
其中所述低光照最大比特率低于所述中等光照最大比特率，并且其中所述高光照最大比特率低于所述中等光照最大比特率。
8.根据权利要求7所述的比特率控制器，
其中所述比特率控制器还包括包括查找表的存储器(206)，所述查找表包括不同光照水平以及与所述不同光照水平相关联的相应的预定的最大比特率；
其中各个最大比特率的设置通过在所述查找表中执行查找来执行。
9.根据权利要求8所述的比特率控制器，其中，两个相邻的不同光照水平之间的光照水平差至多是所述光照水平的双倍。
10.根据权利要求7所述的比特率控制器，其中，所述比特率控制器布置在数字网络相机(110)中。
11.根据权利要求7所述的比特率控制器，其中，所述比特率控制器被配置为服务多个数字网络相机(350)，每个数字网络相机被配置为捕获描绘相机特定场景的图像，其中所述噪声确定块(202)被配置为针对相机确定每个相机特定场景的图像中的光照水平，并且其中所述最大比特率设置块(204)被配置为设置相机特定的低光照最大比特率、中等光照最大比特率和高光照最大比特率。
12.根据权利要求11所述的比特率控制器，其中，所述比特率控制器还被配置为随时间来改变所述相机特定的低光照最大比特率、中等光照最大比特率和高光照最大比特率。
CN201611128910.3A 2015-12-15 2016-12-09 比特率控制器和用于限制输出比特率的方法 Active CN106888355B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15200115.2 2015-12-15
EP15200115.2A EP3182704B1 (en) 2015-12-15 2015-12-15 A bit rate controller and a method for limiting output bit rate

Publications (2)

Publication Number Publication Date
CN106888355A true CN106888355A (zh) 2017-06-23
CN106888355B CN106888355B (zh) 2018-10-26

Family

ID=55024798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611128910.3A Active CN106888355B (zh) 2015-12-15 2016-12-09 比特率控制器和用于限制输出比特率的方法

Country Status (6)

Country Link
US (2) US10121453B2 (zh)
EP (2) EP3182704B1 (zh)
JP (1) JP6396397B2 (zh)
KR (1) KR101900889B1 (zh)
CN (1) CN106888355B (zh)
TW (1) TWI651942B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3182704B1 (en) * 2015-12-15 2018-01-31 Axis AB A bit rate controller and a method for limiting output bit rate
US10531052B2 (en) * 2017-01-27 2020-01-07 Live Earth Imaging Enterprises, L.L.C. Real-time satellite imaging system
US10016900B1 (en) 2017-10-10 2018-07-10 Auris Health, Inc. Surgical robotic arm admittance control
US10739838B2 (en) * 2017-12-28 2020-08-11 Omnivision Technologies, Inc. Quality-driven dynamic frequency scaling for energy optimization of smart camera systems
US20200084467A1 (en) * 2018-09-07 2020-03-12 Apple Inc. Low light compression
IT202000002593A1 (it) * 2020-02-10 2021-08-10 Erd Impianti Di Radici Diego Sistema e metodo antiabbandono in un veicolo

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1460231A (zh) * 2000-09-12 2003-12-03 皇家菲利浦电子有限公司 视频编码方法
CN1465192A (zh) * 2001-06-07 2003-12-31 索尼公司 和摄像机组合的视频记录/再现装置及其记录控制方法
CN101106695A (zh) * 2007-03-29 2008-01-16 上海大学 基于h.264实时精细粒度可伸缩编码方法
CN101305617A (zh) * 2005-11-09 2008-11-12 佳能株式会社 图像信号处理设备
US20150350483A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Dynamic Compression Ratio Selection

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1309166C (en) * 1988-05-20 1992-10-20 Toshinobu Haruki Image sensing apparatus having automatic iris function of automatically adjusting exposure in response to video signal
DE69034198T2 (de) * 1989-11-06 2006-04-20 Canon K.K. Elektronische Standbildkamera
JP4081219B2 (ja) * 2000-04-17 2008-04-23 富士フイルム株式会社 画像処理方法及び画像処理装置
US7099510B2 (en) 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
KR100770927B1 (ko) 2005-11-14 2007-10-26 삼성전자주식회사 휴대용 단말기에서 영상을 촬영하는 방법
US8260019B2 (en) * 2007-08-17 2012-09-04 General Electric Company Methods and apparatus for data communication across a slip ring
US8121424B2 (en) 2008-09-26 2012-02-21 Axis Ab System, computer program product and associated methodology for video motion detection using spatio-temporal slice processing
JP4924746B2 (ja) * 2010-08-13 2012-04-25 カシオ計算機株式会社 符号量制御装置、符号量制御方法、符号量制御プログラム、動画記録装置
JPWO2012132624A1 (ja) * 2011-03-29 2014-07-24 ルネサスエレクトロニクス株式会社 表示装置及び表示装置制御回路
KR101415619B1 (ko) * 2012-04-02 2014-07-07 서울대학교산학협력단 가시적 무손실 압축을 이용한 의료 영상 압축 시스템 및 방법
EP2748792B1 (en) * 2012-08-08 2016-12-21 Dolby Laboratories Licensing Corporation Image processing for hdr images
EP3182704B1 (en) * 2015-12-15 2018-01-31 Axis AB A bit rate controller and a method for limiting output bit rate

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1460231A (zh) * 2000-09-12 2003-12-03 皇家菲利浦电子有限公司 视频编码方法
CN1465192A (zh) * 2001-06-07 2003-12-31 索尼公司 和摄像机组合的视频记录/再现装置及其记录控制方法
CN101305617A (zh) * 2005-11-09 2008-11-12 佳能株式会社 图像信号处理设备
CN101106695A (zh) * 2007-03-29 2008-01-16 上海大学 基于h.264实时精细粒度可伸缩编码方法
US20150350483A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Dynamic Compression Ratio Selection

Also Published As

Publication number Publication date
TWI651942B (zh) 2019-02-21
US10235972B2 (en) 2019-03-19
EP3300363A1 (en) 2018-03-28
EP3182704A1 (en) 2017-06-21
CN106888355B (zh) 2018-10-26
US20190043445A1 (en) 2019-02-07
KR101900889B1 (ko) 2018-09-21
TW201725875A (zh) 2017-07-16
JP2017163527A (ja) 2017-09-14
US10121453B2 (en) 2018-11-06
KR20170071427A (ko) 2017-06-23
JP6396397B2 (ja) 2018-09-26
US20170169797A1 (en) 2017-06-15
EP3300363B1 (en) 2018-08-29
EP3182704B1 (en) 2018-01-31

Similar Documents

Publication Publication Date Title
CN106888355B (zh) 比特率控制器和用于限制输出比特率的方法
JP7077395B2 (ja) 多重化高ダイナミックレンジ画像
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
US8605185B2 (en) Capture of video with motion-speed determination and variable capture rate
CN108712608B (zh) 终端设备拍摄方法和装置
US7920172B2 (en) Method of controlling an action, such as a sharpness modification, using a colour digital image
CN101953153B (zh) 摄像装置和摄像方法
CN111698434A (zh) 图像处理设备及其控制方法和计算机可读存储介质
CN105282548A (zh) 动态压缩比选择
CN108900785A (zh) 曝光控制方法、装置和电子设备
CN108053438A (zh) 景深获取方法、装置及设备
JP2008005365A (ja) 撮像装置
US11153546B2 (en) Low-light imaging system
CN107464225B (zh) 图像处理方法、装置、计算机可读存储介质和移动终端
CN112750087A (zh) 图像处理方法和装置
CN111783563A (zh) 基于双光谱的人脸抓拍和监控方法及系统、设备
KR102445008B1 (ko) 이벤트 기반 영상 센싱 장치 및 방법
EP3139341A1 (en) Methods, systems and apparatus for specular highlight reconstruction
CN106101530A (zh) 一种高速适应性夜视图像增强的方法
CN114450934B (zh) 获取图像的方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant