CN105608461A - 识别数字图像中相关区域的方法、对数字图像编码的方法及编码器系统 - Google Patents

识别数字图像中相关区域的方法、对数字图像编码的方法及编码器系统 Download PDF

Info

Publication number
CN105608461A
CN105608461A CN201510754043.3A CN201510754043A CN105608461A CN 105608461 A CN105608461 A CN 105608461A CN 201510754043 A CN201510754043 A CN 201510754043A CN 105608461 A CN105608461 A CN 105608461A
Authority
CN
China
Prior art keywords
value
image
pixel groups
compressed
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510754043.3A
Other languages
English (en)
Other versions
CN105608461B (zh
Inventor
维克托·埃德帕尔姆
拉尔斯·佩尔松
X·D·范
伏莱德瑞克·皮尔
亚历山大·马丁斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN105608461A publication Critical patent/CN105608461A/zh
Application granted granted Critical
Publication of CN105608461B publication Critical patent/CN105608461B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Abstract

提供一种识别数字图像中相关区域的方法、对数字图像编码的方法及编码器系统。该方法包括：接收第一数字图像中的表示像素的信息(S02)，以及计算所述第一图像中的邻近像素组的所述信息的空间统计度量以形成每个像素组的组值(S03)。进一步，该方法包括计算组值之间的差(S04)，以及将所述差与预定的阈值进行比较(S05)。如果所述差等于或大于所述阈值，则所述组被识别为相关的(S06)，并且如果所述差小于所述阈值，则所述组被识别为不相关的(S07)。还提供一种基于对相关区域和非相关区域的所述识别来对数字图像进行编码的方法，以及数字编码器系统。

Description

识别数字图像中相关区域的方法、对数字图像编码的方法及编码器系统
技术领域
本发明涉及数字图像处理的领域，并且尤其涉及识别数字图像中的相关区域的方法、对数字图像进行编码的方法以及编码器系统。
背景技术
在诸如网络摄像机监控系统的数字视频系统中，使用各种视频编码方法在传输之前压缩视频序列。在许多数字视频编码系统中两个主要模式，用于压缩一系列视频帧中的视频帧：帧内模式和帧间模式。在帧内模式中，通过利用单个帧的给定通道中的像素的空间冗余，经由预测、变换和熵编码来对亮度和色度通道进行编码。编码的帧被称作帧内帧，且也可被称为I-帧。相反，帧间模式利用独立的帧之间的时间冗余，并依赖运动补偿预测技术，该技术通过对像素的选中块的从一个帧到另一个帧的像素中的运动进行编码，从一个或多个先前帧预测帧的各部分。编码的帧被称作帧间帧，且也可被称为P-帧(向前预测的帧)或B-帧(双向预测的帧)，P-帧可指按解码顺序的先前帧，B-帧可指两个或多个先前解码的帧，并可具有用于预测的帧的任何随意的显示顺序关系。进一步，编码的帧被排布在图像组或GOP中，其中每个图像组开始于I-帧，并且随后的帧是P-帧或B-帧。图像组中的帧的数量通常被称为GOP长度。GOP长度可从1到例如255变化，1意味着图像组中仅存在帧内帧，并且不存在帧间帧，255意味着图像组中存在1个帧内帧，随后是254个帧间帧。
在编码的视频序列接收的位置，对编码的帧进行解码。网络摄像机监控系统所关注的是用于编码的视频的传输的可用带宽。这在使用大量摄像机的系统中尤其如此。进一步，这种关注在可用带宽低的情况(诸如，当视频序列传输到移动设备(诸如，移动电话、PDA、平板电脑)时)特别重要。就图像的存储而言(例如，在将图像存储到摄像机中的内建SD卡时)，会发生类似的问题。在可用的带宽或存储与高质量图像的利益之间做出权衡的情况下，不得不做出折衷。为了减小从摄像机传输的比特率，许多方法和系统已用于控制编码。这些已知的方法和系统通常应用比特率限制，并且控制编码使得来自摄像机的输出的比特率总是低于比特率限制。以这种方式，可确保可用带宽是足够的，使得系统中的所有摄像机可将它们的视频序列传输到接收的位置(例如，控制中心)，在该位置操作人员可从系统的摄像机监控视频，并且在该位置视频可被记录以供以后使用。然而，无论被监控的场景发生什么，由于比特率限制可能要求包含许多细节的图像的严格的压缩，因此将比特率限制应用到所有摄像机可偶尔导致不理想的低的图像质量。一些细节可能对在接收的位置处的观察者来说是令人感兴趣的，然而其他细节可能不是令人感兴趣的。但是，在应用比特率限制时，为了不超过该限制，具有许多细节的图像可能需要被高度压缩，从而导致低的图像质量。
发明内容
本发明的一个目的是提供一种识别图像中相关区域的方法。另一个目的是使数字图像能够有效压缩，允许令人感兴趣的对象的高质量图像。
根据第一方面，这些目的和其他目的全部或至少部分地通过一种识别数字图像中的相关区域的方法实现，所述方法包括：接收第一数字图像中的表示像素的信息，计算第一图像中的邻近像素组的所述信息的和、平均值或中间值以形成每个像素组的组值，计算组值之间的差，将所述差与预定的阈值进行比较。如果所述差等于或大于所述阈值，则所述方法包括将所述组识别为在相关区域中，并且如果所述差小于所述阈值，则所述方法包括将所述组识别为在不相关区域中。利用这种方法，可以区分图像中的相关区域和不相关区域。该区分或图像的子分割可用于不同方面，诸如用于控制对图像的编码。
所述相关区域是包含相关对象的区域，相关对象是诸如人、面部、动物、车辆、号牌、窗户、门、大门或人携带的物品之类的对象。
在所述方法的变形中，所述像素组包括适合于产生组值之间的小于所述阈值的差的若干像素，所述组值在不包含相关对象的第一数字图像的区域中。
所述像素组中的每一个可包括至少256个像素。这可以是16×16像素组，并且像素组的大小可对应于图像中面部的大小。
所述第一图像中的表示像素的信息可以是来自于由以下数据组成的组中的至少一个：关于亮度的数据、关于光亮度的数据和关于颜色值的数据以及任何这些数据的方差。所述方差可例如表示为标准偏差。
在变形中，所述方法进一步包括：接收第二数字图像中的表示像素的信息，计算所述第二图像中的邻近像素组的所述信息的和、平均值或中间值以形成每个像素组的组值，以及从所述第一图像和所述第二图像累积对应组的所述组值，其中所述计算组值之间的差是使用所累积的组值执行的。
根据第二方面，这些目的和其他目的全部或至少部分地通过一种对数字图像进行编码的方法实现，包括：使用第一方面所述的方法识别相关区域，基于对所述相关区域的识别来设定每个像素组的压缩值，其中相关区域中的块被给定第一压缩值，并且所述相关区域外部的块被给定第二压缩值，所述第二压缩值表示比所述第一压缩值产生更低图像质量的压缩，以及使用针对所述像素组设定的压缩值来对所述第一图像进行编码。利用这种方法，可以控制用于表示图像的不相关区域的若干比特，而允许图像的相关区域的高质量的表示。被压缩值分配的块可以或不可以与用于识别相关区域的像素组相同。块可以是像素组的子组。
根据所述方法的变形，具有第二压缩值的像素组被编码为跳块。以这种方式，可减小输出的比特率。
所述方法进一步包括：在对所述第一图像进行编码之前，在变换模块中处理所述第一图像，以及在对所述第一图像进行编码之前，在所述变换模块中处理对应于所述图像的所述组值或压缩值。所述变换模块可以是硬件加速传输模块，且有时可被称为定标器。变换模块或定标器可执行例如调整大小、剪切、旋转、隐私遮色的添加或电子图像稳定的操作。
根据第三方面，上面涉及的目的全部或至少部分地通过一种用于对对应于输入图像的图像数据进行编码的数字图像编码器系统实现，包括：编码器模块，被设置成使用压缩值处理输入图像；接收模块，被设置成接收第一数字图像中的表示像素的信息；组值模块，被设置成计算所述第一图像中的邻近像素组的所述信息的和、平均值或中间值以形成每个像素组的组值；差计算模块，被设置成计算组值之间的差；比较模块，被设置成将所述差与预定的阈值进行比较；识别模块，被设置成如果所述差等于或大于所述阈值，则将像素组识别为在相关区域中，并且如果所述差小于所述阈值，则将所述像素组识别为在不相关区域中；以及压缩值设定模块，被设置成基于对相关区域的所述识别来设定每个像素组的压缩值，使得相关区域中的像素组被给定第一压缩值，并且在不相关区域中的像素组被给定第二压缩值，所述第二压缩值表示比所述第一压缩值产生更低图像质量的压缩。利用这种编码器系统，可以减小输出的比特率，同时还允许监控的场景中的令人感兴趣的对象的高质量图像。
通常，可以以与第二方面的方法相同的方式伴随所附优势而体现第三方面的编码器系统。
根据第四方面，上面涉及的目的全部或至少部分地通过一种包括根据第三方面的数字编码器系统的摄像机来实现。
根据第五方面，上面涉及的目的全部或至少部分地通过一种包括具有如下指令的计算机可读存储介质的计算机程序产品来实现，所述指令适于在由处理器执行时执行根据第一发面和第二方面的方法。所述处理器可以是任何种类的处理器，例如中央处理器单元(CPU)、图形处理单元(GPU)、集成电路中实现的定制的处理器件、ASIC、FPGA或包括分立元件的逻辑电路。
根据下面给出的详细描述，本发明的适用性的进一步的范围将变得明显。然而，应理解，当指示发明的优选的实施例时，仅通过图示的方式给出详细描述和具体示例，因为根据该详细描述，本发明范围内的各种改变和修改对本领域技术人员将是显而易见的。
因此，应理解，本发明不限于描述的设备的特定的部件部分或描述的方法的步骤，因为这种设备和方法可以改变。还应理解，本文使用的术语仅为了描述特定的实施例，并且目的不在于限制。必须注意到，如在说明书和所附权利要求中使用的，冠词“一”、“一个”、“该”和“所述”旨在表示存在一个或多个元素，除非文中明确规定。因此，例如“一个对象”或“该对象”可包括若干对象，等等。此外，词“包括”不排除其他元素或步骤。
附图说明
现在将通过示例和参照随附的示意图更详细地描述本发明，其中：
图1是描绘监控的场景的数字图像的视图，
图2是图1中的图像的主体结构的图示，
图3是图2中示出的图像的部分的详细视图，
图4是图2中示出的图像的像素组的图示，
图5是示出本发明方法的变形的流程图，
图6是根据像素组排布的图2中的像素组的组值的图示，
图7是根据像素组排布的压缩值的图示，
图8是根据实施例的编码器系统的表示；以及
图9示出具有集成的编码器系统的摄像机。
具体实施方式
图1图示了描绘监控的场景的数字图像1。该图像1是由数字监控摄像机采集的视频序列中的一系列图像中的一个。在图2中，如由许多像素2组成的，图示了图像的主体结构。图像1可例如是1280像素宽且960像素高，因此具有大约1.3MP。此数字图像1以YCbCr颜色空间表示，意味着每个像素2具有亮度值Y，色度蓝色值Cb和色度红色值Cr。在图2中，图示了由方框3示意性地指示的图像1的一小部分。图像1的这个小部分是四个像素宽且四个像素高。针对图3中的每个像素2，在左上角处的数字表示针对该像素的Cb值，在右上角处的数字表示针对该像素的Cr值，并且在底部处的数字表示针对该像素的Y值。
在图像1被传输到例如操作员或警卫可观察被监控的场景的显示图像的控制中心时，必须对该图像进行编码。在该示例中，使用根据H.264压缩格式工作的编码器。在对图像1进行编码时，为了控制传输编码的图像所需的数据量，即为了控制输出的比特率，可控制诸如GOP长度和压缩值的参数。在H.264压缩格式中，压缩值将会是量化参数QP。要被编码的图像被分成被称为宏块或像素块的独立的块，这些块被分别编码。因此，在一个图像或在相同图像中的不同的宏块可以被分配不同的压缩值。图像被编码的帧速率也可被控制以控制输出的比特率。用于传输的可用带宽会通常限制允许的比特率。在使用多个摄像机的系统中，并且在具有小的带宽的系统中，诸如在将图像传输到用户的移动电话时，从各个摄像机输出的允许的比特率输出可能相当受限制。如已经在上面的背景技术部分指示的，应用比特率限制可能要求严格压缩和/或长的GOP长度，导致低的质量图像，其可能具有令人厌烦的编码伪影量。
根据本发明，通过识别图像1中的相关区域解决这些问题。相关区域是其中存在相关对象的区域。什么对象被判断是相关对象因监控情况的不同而不同。例如，如果针对入侵者监控建筑物周边，则人将成为相关对象。如另一个示例，在收费亭，轿车的号牌将成为相关对象。一般而言，相关对象可以是诸如人、面部、动物、车辆、号牌、窗户、门、大门、人携带的物品、贵重物品(诸如油画)和必要设备(诸如除颤器或用于紧急出口的钥匙)。
一旦相关区域已经被识别，就可根据特定的宏块在相关区域中还是在非相关区域中而使用不同的压缩值来对图像中的不同宏块进行编码。通过将高压缩值应用到非相关区域，在编码的过程中将丢失细节。然而，由于非相关区域的细节对于当前监控的目的是不重要的，因此这种细节丢失对传输的图像的观察者来说通常会是可接受的。例如，再次返回到针对入侵者监控建筑物周边的示例，在建筑物周围的栅栏处的树中移动的叶子不是重要的，因此没有必要以高度细节示出树。然而，接近栅栏移动的人可能是入侵者，因此以高度细节示出他们是有用的，使得他们可被认为是人且甚至可能被识别。为了获得相关区域中的期望的图像质量，更低的压缩值被用于相关区域中的宏块。
再一次参照图1，监控的场景包括天空10、草坪11、小路12和房屋13。房屋13具有墙壁14、屋顶15、窗户16和门17。除了房屋13之外，还有两棵树18，以及站在门17前面的人19。图像的不同部分包含不同量的细节。例如，蓝色的天空包含很少的细节，且多云的天空相对于蓝色或灰色的背景通常包含大量的白色或灰色。另一方面，如树18具有其叶子，具有草的草坪11包含许多小细节。在采集监控图像1中的场景时，天空10、草坪11和树18通常会是不令人感兴趣的。相反，人19以及会出现其他令人感兴趣的对象的窗户16和门17可能是令人感兴趣的。
本发明基于如下实现：图像的令人感兴趣的或相关的部分(诸如图1中示出的图像1)包含如下细节，这些细节是关于与不令人感兴趣的或非相关的部分相比的另外的规模的，且这些细节是关于如何区分令人感兴趣的部分与令人不敢兴趣的部分的。例如，如果监控的目的在于识别房屋周围区域中的人，则关于人的细节(诸如，面部、衣服等)的顺序的具有规模或大小的的细节是令人感兴趣的，然而蓝色的天空太大，并且树叶和草太小。细节的这些规模级别的差异基于使图像的适合的子部分上的细节均衡。再次以用于识别人的监控作为示例，如果选择图像的子部分具有大约20×20像素的大小，则这可对应于识别所需的面部的大小。在天空10的20×20像素子部分中，将很可能几乎仅是蓝色像素或几乎仅是白色像素，并且描述天空的邻近子部分亦将如此。在草坪11的20×20像素子部分中，将很可能是变化的绿色调的像素，但是这样一个子部分的平均绿色或所有像素值之和将与草坪的邻近子部分的平均绿色或所有像素值之和基本上相同。人19的面部将占用20×20像素子部分的大部分且人19的皮肤色调将与邻近子部分的平均颜色不同，该邻近子部分描述该人后面的门17的部分。因此，通过选择在其上对颜色进行平均或求和的图像的子部分的适当的大小并且将子部分与它们的邻近部分进行比较，图像的相关区域可被识别为那些包含颜色均值或颜色总和值不同于相邻部分的颜色均值或颜色总和值的部分。
在下面，将参照图2-图7更详细地描述本发明的方法的变形。如已经论述的，图像1由若干像素2组成，在该示例中为1280×960像素。图像1被分割成像素组(图5中的步骤S01)，如图4a中图示的，该示例中的每个组30由16×16像素组成，即256个像素。针对组30中的每个像素20，接收表示像素2的信息(图5中的步骤S02)。在该示例中，表示的信息是亮度Y。计算组30中的所有像素2的亮度值之和以形成组值V(图5中的步骤S03)。
V = Σ n = 1 N Y n
此处，Yn是第n个像素的亮度值并且N是组30中的像素的总数。因此，在该示例中N＝256。亮度值之和仅是可用于计算该组值V的许多可能的统计度量之一。计算该组值V的其他方式是计算诸如该组的像素的亮度值的平均值或中间值的统计度量。通过使用更复杂的计算且处理大量计算，计算的统计度量可选择地可以是该组的像素的亮度值的四分位差、标准偏差、方差、偏度或峰度。
以相同的方式，针对图像1中的像素的每个组计算组值。在图像1的示例中，存在80×60个组，即4800个组。
随后，将针对组30计算的组值V与像素的邻近组的组值进行比较。如图4b中示出的，像素组30被8个其他像素组31-38所围绕，针对这8个像素组也已计算组值。计算组30的组值V与组30的邻近组31-38的差ΔV(步骤S04)，并且将该差与预定的阈值进行比较(步骤S05)。阈值可例如基于在组30与组30的邻近组31-38之间应有多少平均像素不同而设定。例如，针对16×16像素组，即256像素组，阈值可以设定到256，这意味着组中的每个像素的亮度的平均差1将会被认为足够不同以超出阈值。如果组30的组值V与组30的相邻组31-38的差等于或大于阈值，则像素组30被识别为在图像1的相关区域中(步骤S06)。相反，如果像素组30的组值V与组30的相邻组的差小于阈值，则素组30被识别为在不相关的区域中(步骤S07)。可使用任何边缘检测器过滤器(诸如，拉普拉斯(Laplace)、索贝尔(Sobel)、坎尼(Canny)、高斯-拉普拉斯(LaplaceofGaussian)或高斯函数差分(DifferenceofGaussian))来执行组值的这种比较。
整个图像1的所有像素组以这种方式与它们的相邻组进行比较，并且由此图像1被分割成相关区域和不相关区域。
可通过累计视频序列中的数个图像帧的组值来执行时域滤波。组值可被存储在与第一图像的像素组的位置对应的位置。图6示出组值V的这种映射的部分的示例。在该图示中，VR,C表示针对映射的R行C列中的像素组的组值。针对每个象素组，通过将针对新图像帧计算的加权组值与针对先前帧的组值的加权和进行相加(即，使用无限脉冲响应滤波器)，形成累计的组值的映射。因此，针对每个像素组，可根据下面的公式计算累计的组值：
Vaccm＝(1-α)·Vaccm-1+α·Vm
此处，m是视频序列中的当前图像帧的数量，Vaccm-1是针对先前图像的累计的组值，并且α是加权因子。加权因子α根据图像中的噪声水平来选择。例如，可被设定为0.25。如果图像中存在高噪声水平，则加权因子α可以被设定得更低。如果图像中不存在噪声，则没有必要对组值差进行时域滤波，即加权因子α可以被设定为1。
一旦已经识别图像1的相关区域和不相关区域，图像的这种分割可被用作对图像1进行编码的基础。此处，在对宏块进行编码时将使用的量化参数根据该宏块在图像1的相关区域中还是图像1的不相关区域中而设定。应当注意，用于编码的宏块可对应于像素组，使得如果像素组具有16×16像素，则用于编码的宏块具有同一16×16像素。可选择地，像素组可大于宏块，例如一个32×32像素组对应于四个16×16像素宏块。针对图像1的相关区域中的宏块，设定第一压缩值(例如，QP＝25)，并且针对图像1的非相关区域中的宏块，设定第二压缩值(例如，QP＝38)。如可容易地看到的，第一压缩值小于第二压缩值，从而在编码、传输并解码的图像中，相关区域的图像质量将高于非相关区域的图像质量。替代设定压缩值QP，可设定压缩值中的变化ΔQP。例如，可针对所有宏块设定初始压缩值，例如QP＝28。基于对相关区域和非相关区域的识别，可使用如上面描述的相同的原理针对每个宏块设定从这种初始压缩值或默认压缩值的改变。诸如图7中所指示的，针对每个宏块设定的QP值或改变ΔQP可存储在与图像中的宏块的位置对应的位置中，形成对应于图1的映射。在压缩值的这种映射中，QPR,C表示针对映射的R行、C列中的像素组的压缩值。
代替如上面描述的时域滤波组值，通过相同种类的累计，可对组值差进行时域滤波。因此，组值差可以存储在与图像中的像素组对应的位置中，每个组值差是各个像素组的组值与邻近像素组的组值之差。然后，组值差随着时间累计。进一步，使用如针对组值描述的加权的相同原理，可反而对基于组值差的压缩值进行时域滤波。
本发明的方法对帧内编码以及帧间编码有效。如果将被编码的图像要被编码为帧间帧，例如编码为P-帧，则一些宏块可被编码为所谓的跳块(skipblock)。在对跳块进行编码时，在之前图像中的对应位置处的宏块的内容被拷贝到当前图像帧。跳块可被用在不存在运动或变化的图像的区域中，例如光照条件不改变的场景中的静态背景。因此，需要用于表示当前图像帧的较少数据。对图像的相关区域和不相关区域的识别可用于确定将哪个宏块编码为跳块。例如，图像的不相关区域中的宏块可被设定为编码为跳块。
在编码之前，可在诸如旋转、剪切、隐私遮挡的添加或电子图像稳定的操作可被执行的硬件加速传输模块或定标器中处理图像1。压缩值应在相同的定标器中被处理，使得设定的压缩值实际上对应于缩放之后的图像中的正确的像素组或宏块。可选择地，在设定压缩值之前，可在定标器中处理组值差。
综上，通过使用本发明的方法，在传输数字图像时减小比特率是可行的，同时还能使监控的场景中的感兴趣的细节能够呈现出高质量。像素组的大小根据图像的目的来选择。因此，每个组中的像素的数量适于产生组值之间的小于阈值的差，该组值在不包含相关对象的第一数字图像的区域中。像素组可以是从8×8像素到16×16像素的范围并且根据相关对象中的细节的规模而升高。
在图8中，示意性地示出了根据上面的方法使用的编码器系统50。编码器系统50包括编码器模块51，被设置成使用压缩值处理输入图像。编码器系统50进一步包括接收模块52和组值模块53，接收模块52被设置成接收表示图像(诸如第一图像1)中的像素的信息，组值模块53被设置成计算针对每个图像中的邻近像素组的信息之和。又进一步，差计算模块54被设置成计算像素的邻近组的组值之间的差。比较模块55被设置成将该差与阈值进行比较。识别模块56被设置成：如果该差等于或大于该阈值，则将像素组识别为在相关区域中，如果该差小于该阈值，则将像素组识别为在不相关区域中。压缩值设定模块57被设置成基于对相关区域的识别而针对每个像素组设定压缩值。进行该设定使得相关区域中的像素组被分配第一压缩值，并且在不相关区域中的像素组被分配第二压缩值，第二压缩值表示比第一压缩值产生更低图像质量的压缩。可如上面结合图2-图7描述的那样操作编码器系统50。编码器系统50可表现为硬件、固件、或软件、或其组合。编码器系统50可集成在摄像机60中(诸如图9中指示的)，或可以可操作地连接到摄像机60。摄像机可以是数字摄像机。另外，编码器系统也可经由将模拟信号转换成数字信号的视频数字化单元连接到模拟摄像机。
应理解本领域技术人员可以以多种方式修改上面描述的实施例并且利用如上面实施例中示出的本发明的优势。作为示例，在上面的描述中，数字图像已经被变换到YCbCr颜色空间中，并且亮度值用于计算组值。然而，可使用色度值Cb和Cr之一替代。
进一步，数字图像可被转换到另一个颜色空间，诸如RGB，其中颜色通道R(ed)、G(reen)或B(lue)之一可用于计算组值。
又进一步，在拜尔(Bayer)过滤之前，可使用直接来自于图像传感器的图像数据。此处，图像被表示为每像素一个灰色级，并且这可用于计算组值。灰度级还可被视为光强度值。
因此，应理解，可从图像管道或视频管道的任何级接收像素信息，并且特定类型的信息将依赖于管道中的信息从哪里取得。
替代使用颜色值、光强度值或亮度值计算组值，可使用任何这些值的方差。
在上面的描述中，可通过形成表示像素的信息之和来计算组值，并且此处更具体地，是像素的亮度值。然而，如已经指示的，组值可通过计算信息的均值或中间值替代计算。而且，可利用导致信息的四分位差、标准偏差、方差、偏度、峰度或更高次的统计度量的更复杂和计算密集型计算来产生组值。
本领域技术人员将实现通过使用针对组值之间的差的更多的阈值，使图像分割成相关区域和不相关区域的操作可被进一步细化。因此，如果组值之间的差等于或大于第一阈值，则区域可被识别为第一级相关，如果组值之间的差等于或大于第二阈值，但小于第一阈值，则区域可被识别为第二级相关，并且如果组值之间的差小于第二阈值，则区域可被识别为不相关。因此，不同的压缩值可被用于使相关性不同的这些区域。例如，可针对第一相关级的区域中的宏块设定第一压缩值，可针对第二相关级的区域中的宏块设定第二压缩值，并且可针对不相关的区域中的宏块设定第三压缩值。在这种情况下，第三压缩值可表示比第二压缩值产生更低图像质量的压缩，第二压缩值可反过来表示比第一压缩值产生更低图像质量的压缩。在另一个变形中，可针对相关的第一级的区域中的宏块设定第一压缩值，可针对相关的第二级的区域中的宏块设定表示更低图像质量的第二压缩值，并且不相关区域中的宏块被编码为跳块。
在上面描述的实施例中，编解码器使用的压缩格式是H.264。应理解，也可使用基于混合编解码器(例如H.264、MPEG-4第二部分(Part2)或VP9编解码器)的其他块，只要它们允许压缩的空间控制。
也许，可设定用于比较组值中的差的阈值使得低阈值表示大的差并且高阈值表示小的差。尽管相关区域反而将是那些包括具有小于阈值的差的像素组，但应意识到的是，以这种阈值，本发明的原理仍然有效。类似地，可使用其他种类的压缩值，对于该值，高的值表示高图像质量并且低的值表示低图像质量。即便如此，本发明的如下原理仍然适用：压缩相关区域较小，产生高的图像质量，并且压缩不相关区域较大，产生低的图像质量。
上面已经在运动视频序列(诸如，来自监控摄像机的视频序列)的背景下描述了本发明。但是，也可使用本发明的方法以有助于静止图像。
摄像机可以是任何类型的摄像机，例如采用可见光的摄像机、IR摄像机或热成像摄像机。
进一步，尽管已经结合数字摄像机论述了本发明，但其还可与模拟摄像机一起使用。在这种情况下，可使用数字化单元将来自模拟摄像机的图像转换成数字格式。
数字图像还可通过可见光传感器、热传感器、飞行时间传感器或能够使用基于编码技术的块而生成表示将被编码的像素的信息的其他类型的图像生成传感器来生成。
为了便于描述，像素信息、组值差和压缩值已经以矩阵的形式描述。然而，所有这些数据可以以其他形式存储。
在上面的描述中，对图像中相关区域的识别用于在对图像进行编码时针对图像中的不同的区域设定不同的压缩值。然而，对相关区域的识别还可被用于其他方面。例如，识别可用于自动标识显示的图像中令人感兴趣的区域或用于触发事件。其还可用作标记或描述具有元数据的对象或区域的基础。进一步，其还可用于向降噪滤波器提供反馈。
因此，本发明不应限于示出的实施例，而仅应由所附权利要求限定。

Claims (11)

1.一种识别数字图像中的相关区域的方法，所述方法包括：
接收第一数字图像(1)中的表示像素(2)的信息，
计算所述第一图像(1)中的邻近像素组的所述信息的和、平均值或中间值以形成每个像素组(30-38)的组值(V)，
计算组值(V)之间的差，
将所述差与预定的阈值进行比较，
如果所述差等于或大于所述阈值，则将所述组识别为在相关区域中，以及
如果所述差小于所述阈值，则将所述组识别为在不相关区域中。
2.根据权利要求1所述的方法，其中所述相关区域是包含相关对象的区域，相关对象是诸如人、面部、动物、车辆、号牌、窗户、门、大门或人携带的物品之类的对象。
3.根据权利要求2所述的方法，其中所述像素组(30-38)包括适于产生组值(V)之间的小于所述阈值的差的若干像素(2)，所述组值(V)在不包含相关对象的第一数字图像(1)的区域中。
4.根据权利要求1所述的方法，其中所述像素组(30-38)中的每一个包括至少256个像素。
5.根据权利要求1所述的方法，其中所述信息是来自于由以下数据组成的组中的至少一个：关于亮度的数据、关于光亮度的数据和关于颜色值的数据。
6.根据权利要求1所述的方法，进一步包括：
接收第二数字图像中的表示像素的信息，
计算所述第二图像中的邻近像素组的所述信息的和、平均值或中间值以形成每个像素组的组值，
累计来自所述第一图像和所述第二图像的对应组的所述组值，
并且其中所述计算组值之间的差是使用所累积的组值来执行的。
7.一种对数字图像进行编码的方法，包括：
根据权利要求1识别相关区域，
基于对相关区域的识别来设定每个像素组(30-38)的压缩值(QP)，其中相关区域中的宏块被给定第一压缩值，并且所述相关区域外部的宏块被给定第二压缩值，所述第二压缩值表示比所述第一压缩值产生更低图像质量的压缩，
使用针对所述像素组(30-38)设定的压缩值来对所述第一图像(1)进行编码。
8.根据权利要求9所述的方法，其中具有第二压缩值的像素组被编码为跳块。
9.根据权利要求7或8所述的方法，进一步包括：
在对所述第一图像(1)进行编码之前，在变换模块中处理所述第一图像(1)，以及
在对所述第一图像(1)进行编码之前，在所述变换模块中处理对应于所述图像(1)的所述组值(V)或压缩值(QP)。
10.一种用于对对应于输入图像的图像数据进行编码的数字图像编码器系统，包括：
编码器模块(51)，被设置成使用压缩值处理输入图像，
接收模块(52)，被设置成接收第一数字图像(1)中的表示像素(2)的信息，
组值模块(53)，被设置成计算所述第一图像(1)中的邻近像素组的所述信息的和、平均值或中间值以形成每个像素组(30-38)的组值(V)，
差计算模块(54)，被设置成计算组值(V)之间的差，
比较模块(55)，被设置成将所述差与预定的阈值进行比较，
识别模块(56)，被设置成如果所述差等于或大于所述阈值，则将像素组(30-38)识别为在相关区域中，并且如果所述差小于所述阈值，则将所述像素组(30-38)识别为在不相关区域中，以及
压缩值设定模块(57)，被设置成基于对相关区域的所述识别来设定每个像素组(30-38)的压缩值，使得相关区域中的像素组(30-38)被给定第一压缩值，并且在不相关区域中的像素组(30-38)被给定第二压缩值，所述第二压缩值表示比所述第一压缩值产生更低图像质量的压缩。
11.一种包括根据权利要求10的数字编码器系统(50)的摄像机。
CN201510754043.3A 2014-11-14 2015-11-09 识别数字图像中相关区域的方法、对数字图像编码的方法及编码器系统 Active CN105608461B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14193288.9 2014-11-14
EP14193288.9A EP3021583B1 (en) 2014-11-14 2014-11-14 Method of identifying relevant areas in digital images, method of encoding digital images, and encoder system

Publications (2)

Publication Number Publication Date
CN105608461A true CN105608461A (zh) 2016-05-25
CN105608461B CN105608461B (zh) 2018-11-13

Family

ID=51900275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510754043.3A Active CN105608461B (zh) 2014-11-14 2015-11-09 识别数字图像中相关区域的方法、对数字图像编码的方法及编码器系统

Country Status (6)

Country Link
US (1) US9805287B2 (zh)
EP (1) EP3021583B1 (zh)
JP (1) JP6391549B2 (zh)
KR (1) KR101823537B1 (zh)
CN (1) CN105608461B (zh)
TW (1) TWI619376B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106488241A (zh) * 2016-10-13 2017-03-08 千目聚云数码科技（上海）有限公司 一种感兴趣区域设置方法
CN109087362A (zh) * 2017-06-14 2018-12-25 贝洱工艺公司 确定图像中主色的系统和方法及非暂态计算机可读介质
CN109995964A (zh) * 2019-02-21 2019-07-09 西安万像电子科技有限公司 图像数据处理方法及装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017188792A (ja) * 2016-04-06 2017-10-12 株式会社Ｊｖｃケンウッド 撮影装置、撮影方法及び撮影プログラム
EP3306528B1 (en) 2016-10-04 2019-12-25 Axis AB Using image analysis algorithms for providing traning data to neural networks
EP3340623B1 (en) 2016-12-20 2023-04-12 Axis AB Method of encoding an image including a privacy mask
EP3340624B1 (en) 2016-12-20 2019-07-03 Axis AB Encoding a privacy masked image
US10123020B2 (en) * 2016-12-30 2018-11-06 Axis Ab Block level update rate control based on gaze sensing
US11113800B2 (en) * 2017-01-18 2021-09-07 Nvidia Corporation Filtering image data using a neural network
JP7121470B2 (ja) * 2017-05-12 2022-08-18 キヤノン株式会社 画像処理システム、制御方法、及び、プログラム
EP3503548B1 (en) * 2017-12-19 2019-10-23 Axis AB Video encoding method and system
IT201800003188A1 (it) * 2018-05-25 2019-11-25 Dispositivo contateste e metodo di processamento di immagini digitali
EP3618442B1 (en) 2018-08-27 2020-09-30 Axis AB An image capturing device, a method and computer program product for forming an encoded image
EP3739880A1 (en) * 2019-05-14 2020-11-18 Axis AB Method, device and computer program product for encoding a distorted image frame
EP3742728B1 (en) 2019-05-24 2022-09-21 Axis AB A method and bitrate controller for controlling output bitrate of a video encoder
EP3796655B1 (en) 2019-09-20 2021-11-03 Axis AB Video privacy mask in forward predicted video frame
EP3829169B1 (en) 2019-11-29 2021-10-13 Axis AB Method for intra refresh encoding of a plurality of image frames using convex and concave distribution functions
KR20210125271A (ko) 2020-04-08 2021-10-18 정하진 비음압공간을 음압공간으로 전환하기 위한 음압공간 구축 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0741496A2 (en) * 1995-04-25 1996-11-06 AT&T IPM Corp. System and method for focused-based image segmentation for video signals
US6101276A (en) * 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9819648D0 (en) * 1998-09-10 1998-11-04 Nds Ltd Determining visually noticeable differences between two images
US8416847B2 (en) 1998-12-21 2013-04-09 Zin Stai Pte. In, Llc Separate plane compression using plurality of compression methods including ZLN and ZLD methods
US7430330B2 (en) 2001-01-16 2008-09-30 Hamilton Chris H Method and apparatus for optimizing a JPEG image using regionally variable compression levels
US6832006B2 (en) 2001-07-23 2004-12-14 Eastman Kodak Company System and method for controlling image compression based on image emphasis
KR100643454B1 (ko) * 2001-11-17 2006-11-10 엘지전자 주식회사 영상 데이터 전송 제어방법
US7321623B2 (en) * 2002-10-01 2008-01-22 Avocent Corporation Video compression system
US20070024701A1 (en) * 2005-04-07 2007-02-01 Prechtl Eric F Stereoscopic wide field of view imaging system
US8351513B2 (en) * 2006-12-19 2013-01-08 Allot Communications Ltd. Intelligent video signal encoding utilizing regions of interest information
KR101529992B1 (ko) * 2010-04-05 2015-06-18 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
US8588309B2 (en) 2010-04-07 2013-11-19 Apple Inc. Skin tone and feature detection for video conferencing compression
US9363522B2 (en) 2011-04-28 2016-06-07 Warner Bros. Entertainment, Inc. Region-of-interest encoding enhancements for variable-bitrate mezzanine compression
US9414086B2 (en) * 2011-06-04 2016-08-09 Apple Inc. Partial frame utilization in video codecs
US9262670B2 (en) * 2012-02-10 2016-02-16 Google Inc. Adaptive region of interest

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0741496A2 (en) * 1995-04-25 1996-11-06 AT&T IPM Corp. System and method for focused-based image segmentation for video signals
US6101276A (en) * 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106488241A (zh) * 2016-10-13 2017-03-08 千目聚云数码科技（上海）有限公司 一种感兴趣区域设置方法
CN109087362A (zh) * 2017-06-14 2018-12-25 贝洱工艺公司 确定图像中主色的系统和方法及非暂态计算机可读介质
CN109087362B (zh) * 2017-06-14 2023-06-30 贝洱工艺公司 确定图像中主色的系统和方法及非暂态计算机可读介质
CN109995964A (zh) * 2019-02-21 2019-07-09 西安万像电子科技有限公司 图像数据处理方法及装置

Also Published As

Publication number Publication date
TW201630424A (zh) 2016-08-16
EP3021583A1 (en) 2016-05-18
TWI619376B (zh) 2018-03-21
CN105608461B (zh) 2018-11-13
JP6391549B2 (ja) 2018-09-19
EP3021583B1 (en) 2019-10-23
JP2016111695A (ja) 2016-06-20
US9805287B2 (en) 2017-10-31
US20160140421A1 (en) 2016-05-19
KR20160058020A (ko) 2016-05-24
KR101823537B1 (ko) 2018-01-30

Similar Documents

Publication Publication Date Title
CN105608461A (zh) 识别数字图像中相关区域的方法、对数字图像编码的方法及编码器系统
CN105611306B (zh) 用于编码视频的方法和编码器系统
CN105264888B (zh) 用于对色彩空间、色彩采样率和/或比特深度自适应切换的编码策略
JP6871149B2 (ja) プライバシーマスクを含む画像を符号化する方法
CN105900425B (zh) 表示经编码的比特流中的运动向量
JP5308391B2 (ja) 画像符号化装置および方法並びにプログラム
CN101352046B (zh) 图像编码/解码方法与装置
Li et al. A convolutional neural network-based approach to rate control in HEVC intra coding
US20120275524A1 (en) Systems and methods for processing shadows in compressed video images
CN105554498A (zh) 视频编码方法和视频编码器系统
CN105960802A (zh) 切换色彩空间时对编码和解码的调整
CN110087083B (zh) 帧内色度预测模式的选择方法、图像处理设备及存储设备
CN106031177A (zh) 用于硬件加速的视频编码的主编码器
CN103299632A (zh) 去块效应滤波
EP4207766A1 (en) Entropy encoding/decoding method and device
EP2894857A1 (en) Method and apparatus for encoding image data and method and apparatus for decoding image data
CN102892007A (zh) 促进多个摄像机间颜色平衡同步和获得跟踪的方法和系统
WO2023020320A1 (zh) 熵编解码方法和装置
WO2023011420A1 (zh) 编解码方法和装置
Topiwala et al. Deep learning techniques in video coding and quality analysis
US20230108722A1 (en) Allocating bit rate between video streams using machine learning
Maekawa et al. Examination of a tracking and detection method using compressed domain information
CN111050175A (zh) 视频编码的方法和装置
CN109951707A (zh) 一种目标运动矢量选择方法、装置、电子设备及介质
Kong Modeling of Video Quality for Automatic Video Analysis and Its Applications in Wireless Camera Networks

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant