CN110418133A - 用于为图像数据编码的方法和装置 - Google Patents
用于为图像数据编码的方法和装置 Download PDFInfo
- Publication number
- CN110418133A CN110418133A CN201910333863.3A CN201910333863A CN110418133A CN 110418133 A CN110418133 A CN 110418133A CN 201910333863 A CN201910333863 A CN 201910333863A CN 110418133 A CN110418133 A CN 110418133A
- Authority
- CN
- China
- Prior art keywords
- quantizer
- pixel
- image
- coding
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000005540 biological transmission Effects 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims description 15
- 238000013139 quantization Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 238000009826 distribution Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 238000007906 compression Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000004321 preservation Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/005—Statistical coding, e.g. Huffman, run length coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
公开了一种为包括多个像素的图像(B1)编码的方法。由此，对于所述多个像素中的至少一个像素，由所述像素的值(p)和在图像中邻近所述像素出现的至少一个周围像素值(N)计算差值(d)；另外，从多个量化器(Q、Q0、Q1、QN)(M)选择量化器(Q、Q1)，借助于所选择的量化器将差值(d)分配给量化器值(w)。借助于编码(H)将量化器值分配给比特序列(b)。由此，编码以所述多个量化器中的各量化器(Q、 Q0、Q1、QN)对于像素值差相应地可采取的值的发生率的平均为基础。此外，公开了一种用于将包括多个像素的图像传输到接收器的方法、一种用于为包括多个像素的图像(B1)编码的装置(V)和一种用于传输图像数据的系统。
Description
技术领域
本发明涉及一种相应地用于为包括多个像素的图像编码的方法和装置。本发明还涉及一种用于传输这种图像的方法和一种用于传输图像数据的系统。
背景技术
对于图像捕捉，数码摄像装置可与光学系统以及多个图像传感器一起使用，所述多个图像传感器相应地设置为能够从入射光产生电荷。相关信号通常被转换为位字(例如，8位字节)(或配属于位字)，并且可以根据摄像装置类型或预期目的保存在摄像装置中和/或(以无线或有线方式)传输到接收器。
由于通常只有有限的存储空间和有限的传输带宽可用，因此在某些应用中，数据借助于适当的算法被压缩，然后再次解压缩。相应的算法可以包括量化，这可能导致数据量的不可逆减少。
已知的图像压缩方法包括例如JPEG、PNG和GIF。然而，在JPEG的情况下，出现不利的损失，使得解压缩的图像相对强烈地偏离原始图像，使用PNG和GIF方法常常仅实现低水平的带宽减小。
在公开EP 2501133 A2中，公开了用于图像数据的带宽减小的方法和装置。由此，像素的值与从相邻或时间上在前的像素确定的值之间的差被编码为位字。位字的长度对应于要编码的差值的相邻差分布函数的舍入负双对数。
从Joachim Keinert、Jean-Baptiste Lorent、Antonin Descampe、Gael Rouvroy和Siegfried 发表于https://www.ibc.org/content-management/introductionto-jpeg-xs/2452.article的公开“用于专业视频制作的新低复杂度编码标准”已知一种编码，它包括整数不可逆小波变换和得到的小波系数的熵编码。因此，图像数据应该以低质量损失和短等待时间传输，从而例如在360°的电影中使得更高的分辨率成为可能。
从US 2016/0227223 A1中已知一种方法和装置，所述方法和装置可减小传输图像所需的带宽，其中，可在很大程度上保持图像的视觉质量。另外，考虑了在各颜色变化的情况下出现的相关性。
由Fritz Lebowsky和Mariano Bona提出的公开“以结构张量分析为灵感的低成本、实时彩色图像压缩中的出色的感知颜色稳定性”(发表于：电子图像(ElectronicImaging2017)(2017)，no.18，pp.156-167.-ISSN 2470-1173)公开了一种用于图像压缩的算法，其中，针对像素计算两个相邻像素的梯度。基于梯度，在三个类别——即极值、轮廓和水平——之间进行区分。根据类别，考虑到误差密度和局部亮度，梯度被量化。传输量化的梯度中的产生最小误差的梯度。
从公开US 2015/0334268 A1已知一种方法，其中，像素的颜色分量的幅度通过以像素的位置作为变量的单调函数成组地近似。由此，可减少所呈现的传输的图像与原始图像相比的可见劣化的发生。
在公开US 2009/0262247 A1中，公开了一种图像处理系统，其对图像数据进行滤波和插值。由此，能够很好地避免图像显示中的模糊的和/或锯齿状边缘。
然而，从最近的背景技术中已知的方法表示摄像装置的可执行计算的集成电路中(例如，在所谓的“现场可编程门阵列”、简称为“FPGA”中)和/或在解码接收器中的部分高资源消耗。另外，在传输期间，它们部分地需要相对长的延迟时间(时延)，这在实时应用的情况下是不利的。
发明内容
本发明的目的在于提供一种用于为图像数据编码的替代性技术，使得数据压缩能够以各种强度进行，并具有特别低的复杂度，这意味着资源消耗水平特别低。
该任务根据本发明的方法、借助于根据本发明的装置以及借助于根据本发明的系统来实现。在说明书和附图中公开了有利的实施例。
根据本发明的第一方法用于为包括多个像素的图像编码。对于所述多个像素中的一个或多于一个(特别是所有)像素，由所述像素的值和至少一个周围像素值、也就是说在图像内邻近所述像素的另一像素(例如，在指定工作方向上的相邻像素)的值，计算差值。借助于量化器将以这种方式确定的差值分配给量化器值；其中，从多个量化器中选择所述量化器。所述多个量化器可保存在例如共同的或不同的电子存储单元中。
借助于编码将量化器值和/或包括量化器值的序列分配给比特序列；其中，对于术语“序列”，应理解为多个量化器值组成的序列。
由此，编码以所述多个量化器中的各量化器(相应地对于像素值的差)能够采取的值的发生率的平均为基础。
如果序列被分配给比特序列，则除了该(所述)量化器值之外，该序列还可包括由于所选择的量化器或所述多个量化器中的其它量化器在所述多个像素中的其它像素与相应的周围像素值的差上的应用而产生的至少一个值。
根据本发明的第二方法用于将包括多个像素的图像传输到接收器。这需要在使用本公开中披露的本发明的第一方法的一实施例的情况下的对图像的编码。由此产生的至少一个比特序列然后例如通过数码摄像装置被传输到接收器(无线地或有线地或借助于例如特别是SO卡的存储介质)。接收器将所述至少一个比特序列转换成相应的接收的像素值(意味着它根据属于编码的解码系统对所述至少一个比特序列进行解码)。最后，将相应的接收的像素值整合到接收的图像中。
此外，依据根据本发明的第二方法的一有利变型，接收的图像显示在显示器(例如，屏幕)上和/或经受自动图像分析。
假设对多个像素或比特序列执行所描述的步骤，则相对应地计算相应的差值(在根据本发明的第一方法的情况下)并且将所述差值分配给相应的量化器值，所述量化器值本身借助于编码被分配给相应的比特序列。因此，可对于多个像素一起(特别是，例如，对于整个图像)选择量化器，或者也可对于(单独的)像素分别选择量化器。在根据本发明的第二方法的情况下，在所提到的情况下，相应的比特序列被类似地转换成相应的接收的像素值，所述接收的像素值在此整合到接收的图像中。为了更好的可读性，在下文中大多数情况下未指示出“相应的”。
对图像的编码产生于由根据前述方法获得的所述至少一个比特序列，可能加上可以以对应的方式或以其它方式为所述多个像素中的其它像素确定的值(特别是比特序列)。
特别地，借助于平均的根据本发明的编码以多个量化器中的不同量化器的组合为基础，使得对于所述多个量化器中的量化器通用地进行编码。因此，编码被设计为将对应的比特序列与可由所述量化器中的一个或多个量化器采取的每个可能的量化器值(优选地以单射方式)相关联的映射。因此，与先前使用的是量化器中的哪一个、即哪一个提供了相应的量化器值无关地，将在特定情况下对于一像素由差值产生的量化器值分配给比特序列。
虽然所述多个量化器中的至少两个或全部量化器使得对于相应地被编码的图像或者至少对于包括所述至少一个像素的一个区域可产生优选地不相同的压缩程度，但是通用的编码使得能够对于编码本身以及(之后的)解码实现低复杂度和进而的低资源消耗。因此，在解码的情况下，必须不知道哪个量化器提供了相应的比特序列所基于的相应的量化器值；在比特序列的传输或保存的情况下，因此可有利地无需附加地识别相应的量化器。特别是，借助于此，可减少要传输的信息，从而节省带宽。
编码所基于的平均优选为定义在所述多个量化器中的量化器的合并的值集上的映射，其定义集是或包括所提到的合并的集。因此，特别地，它可由发生率将平均值(特别是加权的或通常的算术或几何平均值)分配给合并的集的任何点(值)，借助于该发生率(所述多个量化器中的)各量化器采取相应的点。
量化器值或者在适用的情况下的包括量化器值的序列与比特序列的(根据本发明的)分配优选地基于提到的在(差值被分配给的)量化器值处的平均(即，映射)来进行。
根据一有利实施例，编码(附加地)以至少一个参考图像、即参考图像集中的至少一个数字图像为基础。这种参考图像集可包括预定的库中的一个或多个(数字)图像(特别是与这种库一致)和/或例如在应用时创建或者已经创建的至少一个数字图像；例如，数字参考图像可以是在要编码的图像之前或已在要编码的图像之前的图像，或者甚至可以是要编码的图像本身。
值的发生率在此优选地相应地表示出现频率，相应的量化器对于至少一个数字参考图像中的像素值差以所述出现频率采取相应的值。在此，作为编码的基础的平均优选为对所述多个量化器中的单独的量化器可相应地对于至少一个数字参考图像内出现的像素值采取的值的发生率进行平均。
对于所提及的(作为映射的)平均的定义集中的值，发生率在此优选地作为(对于各量化器中的每一个)所述至少一个数字参考图像中的与相邻像素形成通过相应的量化器分配给相应的值的像素差的像素的数量除以所述至少一个数字参考图像内考虑到的像素的总数而产生的相对出现频率。然后可对于所述值中的每一个计算平均以作为与各量化器相关的这些发生率的(例如，加权或未加权的算术或几何)平均值。
依据根据本发明的方法的有利实施例，图像的所述多个像素相应地包括值p，其中0≤P≤2n-1适用，其中n是自然正数。在此，该方法可包括通过形成模2n的剩余类来修正差值d：
对于修正的差值适用使得(重新)定义至修正的差的集合的所述多个量化器中的量化器以相应小的值操作。以这种方式，可以减少编码的计算工作量。
要根据该方法编码的图像可以是彩色图像(其像素例如可以位于RGB色谱中)或灰度图像(具有灰色阴影或作为无细微差别的纯黑白图像)。根据特定示例性实施例，0≤p≤255(从而在上式中，n＝8适用)适用于图像的值p。
根据本发明的有利实施例，编码包括基于平均的熵编码。熵编码可以是例如霍夫曼编码、算术编码和/或ANS编码(其中“ANS”代表术语“非对称数字系统”)。特别地，比特序列的长度可根据基础量化器值或基础序列的发生率来选择，这使得可优化用于图像的与进一步的处理(例如，传输和/或保存)相关联的资源消耗。
编码(即相应的分配规则)可优选地从存储器中以数据结构的形式被调用。将相应的量化器值分配给相应的比特序列在此优选地需要调用所述数据结构。作为替代，根据本发明的方法可需要确定编码。
根据一有利实施例，所述多个量化器构造成在所述多个量化器中的每两个量化器中，第一量化器和第二量化器使得第一量化器的值集的元素少于第二量化器的值集的元素。特别是，量化器可优选地按其级别数量以及进而的其值集的功率来排序。随着级别数量的增加，(至少在图像的包括所述至少一个像素的区域内)平均平方量化误差减小。
第二量化器的值集可优选地包括在第一量化器的值集内。
优选地，所述多个量化器包括理想的量化器，其级别数量对应于(图像中的)可能的差的数量，所述对应尤其是单射的；这使得无损保存或传输成为可能。理想的量化器例如可以是恒等映射或实现恒等映射。
根据一有利实施例，根据本发明的方法需要确定量化器中的至少一个、特别是所选择的量化器。
所述多个量化器中的至少一个量化器、特别是所选择的量化器优选地包括量化器级别的非线性分级。
特别优选一实施例，其中，所述量化器中的至少一个、优选地所选择的量化器特别是以一图像集中的至少一个数字图像中的像素差的发生率为基础。以这种方式，可对于图像集中的一个或多个图像优化量化器，特别是与以较低频率出现的差值相比，经常出现在图像集的图像中的差值通过量化器以较少的误差被量化。
这种量化器也可被视为有利于任何图像(不包括在图像集中)。已经表明，在捕捉的图像映射现实的情况下像素差的发生率彼此非常相似地分布。
如上述参考图像集那样，图像集可包括属于预定库的数字图像和/或先前捕捉的或者先前已被捕捉的至少一个数字图像(特别是实时图像)。特别地，图像集的数字图像可与要编码的图像一致。在编码以如上所述的至少一个参考图像、即参考图像集中的图像为基础的情况下，图像集可与参考图像集一致或者(在至少一个数字图像中)与之不同。
根据一有利的实施例，所述多个量化器中的至少一个量化器、特别是所选择的量化器以概率密度(函数)为基础。
概率密度本身可形成为多个概率密度函数的未加权或加权的(例如，算术或几何)平均值，其近似计算预定图像集中的相应相关的数字图像中出现的差值。根据一有利的实施例，根据本发明的方法需要确定这种量化器。
特别地，所述多个概率密度函数可分别是对于正态分布、柯西分布或拉普拉斯分布的概率密度，并且包括相关的尺度参数。因此，尺度参数可确定为使得(在相应的密度函数族中，例如柯西分布的密度族中)如上所述的相应的概率密度对于图像集中的相关图像在像素差的发生率方面是优化的。
由此可根据图像集内的频率分布来选择用于形成加权平均值的(标量(scalar))权重。
所述多个量化器的这种形成使得编码(和相关的解码)的特别低资源实现方式以及传输和/或保存所需的数据量的特别好的可实现性和由编码产生的压缩因数成为可能。
附加地或替代地，可基于至少一个其它量化器确定所述多个量化器中的至少一个量化器、特别是所选择的量化器，所述其它量化器具有比待确定的量化器更低的级别数量。特别地，以这种方式，从具有较少级别的第一量化器开始，可以递归地(recursively)确定所述多个量化器。例如对于如上所述形成或可形成为多个概率密度函数的加权或未加权的平均值的概率密度可例如借助于已知的Lloyd-Max法确定第一量化器。
选择量化器可以在根据本发明的方法的情况下考虑到可例如通过用户和/或自动地配置的一变量来进行。例如，所述变量可指示要选择的量化器的级别数量和/或标识。这使得量化器误差和/或数据量的估计成为可能，这对于由该选择(其被分配给根据本发明的差值)产生的比特序列的传输是必需的。
依据根据本发明的方法的一有利实施例，相关的比特序列与所述至少一个像素类似地但借助于另外的量化器被分配给图像的至少一个另外的像素。该实施例的方法需要从所述另外的像素的值和至少一个相关的周围像素值计算对于所述至少一个另外的像素的相关差值，以及从所述多个量化器中选择另外的量化器。属于所述另外的像素的差值借助于另外的量化器被分配给相关的量化器值，所述量化器值借助于编码被分配给一比特序列。可考虑到一变量来进行其它量化器的选择(类似于上文所述)。
特别地，以这种方式，可以在使用不同的量化器的情况下例如以调制的形式对图像的不同像素进行编码，这意味着在不同的量化器之间存在替代。特别地，这使得可根据图像的相应特性和/或相应地可用的资源来控制对像素的编码。
根据一有利的实施例，根据本发明的方法包括：确定用于所述至少一个像素的对于传输和/或保存比特序列而言必需的数据量，以及将所述数据量与目标数据量相比较；根据所述至少一个像素，目标数据量由此可以或已经由图像特征和/或执行的装置的技术条件确定。基于该比较，例如，可决定是否传输或保存比特序列。
在如上所述的在使用另外的量化器的情况下与至少一个像素类似地将比特序列附加地分配给另外的像素的一实施例中，可基于所提到的比较(或其结果)来选择所述另外的量化器。特别地，以这种方式，可以对之后处理的像素进行对编码的调节。
附加地或替代地，基于所提及的比较(即，其结果)，可选择所述多个量化器中的另外的量化器，然后使用该量化器相应地重复处理，使得差值借助于所述另外的量化器被分配给另外的量化器值，所述另外的量化器值借助于编码被分配给另外的比特序列。
以这种方式，可控制传输和/或保存比特序列所需的数据量。特别地，比特序列因此可在遵循给定目标数据量(带宽)并具有较低水平的等待时间的情况下被传输，并且以低水平的计算工作量在接收器中被解码。
根据一有利的实施例，根据本发明的方法需要基于像素的邻近区域对所述至少一个像素进行分类；周围区域可包括像素的附近(其中出现周围像素值)。量化器的选择和/或上述目标数据量的确定(如上所述，可将传输和/或保存比特序列相应地所需的数据量与所述目标数据量相比较)可基于分类来进行。
分类通过能够检测可能导致这种干扰的相应情况来避免和/或减少可能的保存或传输错误和/或可见伪像。分类可优选地包括由在第一方向上在附近相邻的像素的像素值确定至少一个第一差和/或至少一个这种第一差的平方。此外，分类可需要由在与第一方向不同的第二方向上在附近相邻的像素的像素值确定至少一个第二差和/或至少一个这种第二差的平方，以及将所述至少一个第一差或平方与所述至少一个第二差或平方相比较。
根据一优选实施例，在数码摄像装置中执行根据本发明的(依据相应实施例的)(第一)方法。该方法可附加地需要用数码摄像装置(优选地用执行该方法的数码摄像装置)捕捉图像。
根据本发明的装置用于为包括多个像素的图像编码，并且被设置为能够依据本公开中披露的实施例执行根据本发明的第一方法。特别地，所述装置可包括数码摄像装置。
根据本发明的系统用于传输图像数据，并且包括依据本公开中披露的实施例之一的根据本发明的装置以及接收器单元。所包括的装置由此设置成能够对于依据根据本发明的第一方法的实施例编码的图像的至少一个像素将相应的比特序列传输到接收器。接收器设置为能够接收由此传输的至少一个比特序列，(根据属于编码的解码规则)，将其转换为相应的接收的像素值并将所述接收的像素值整合到接收的图像中。特别地，系统设置为能够执行根据本发明的被称为“第二”方法的用于传输图像的方法。
系统可附加地包括用于显示接收的图像的显示器(例如，屏幕)。
附图说明
下面将基于附图详细描述本发明的优选示例性实施例。应理解，各元件和构件也可以以与所示方式不同的方式组合。在所有附图中使用用于元件的彼此对应的附图标记，并且在适用的情况下不对每个附图重新进行描述。
附图示意性地示出：
图1：依据根据本发明的第二方法的一示例性实施例的方法；
图2：依据一示例性实施例的根据本发明的系统；
图3a、b：在模运算的情况下的概率密度和由此产生的函数；
图4：示例性的量化器的图；以及
图5：表示两个示例性量化器的由编码产生的平均发生率或代码长度的两个图。
具体实施方式
在图1中，示意性地示出了依据根据本发明的第二方法的一实施例的用于传输包括多个像素的图像B1的方法：借助于差运算符“-”，对于所述多个像素中的至少一个像素p计算与周围像素值、在图示中为相邻像素N的像素值相比的差值；因此，所示示例中的工作方向是水平向左，意味着相邻像素水平向左地紧邻所述至少一个像素p。应该理解，作为替代方案，其它工作方向是可能的。
差值的计算借助于赋值箭头在图中示出；在这个意义上，其差值d被分配给像素p、N，例如，d＝p-N。
借助于剩余类考虑，进而模数计算mod，如上所述，将差值d分配给非负修正的差值这位于多个的量化器M中的量化器Q、的相应定义范围内。取模运算在图1中作为明确的步骤示出。作为替代，也可通过以指定数量位的二进制方式显示差值来隐式执行它。
从所述多个量化器M中选择量化器Q，所述量化器Q将修正的差值映射到量化器值
借助于以所述多个量化器M中的各个量化器Q、可对于像素值差相应地采取的值的发生率的平均为基础的编码H，量化器值w被分配给比特序列b。因此，与量化器中的哪一个在各个特定情况下实际提供了量化器值w无关地进行分配。根据一替代性设计变体，包括量化器值的序列(其可例如附加地包括至少一个其它量化器值，所述其它量化器值可由其它像素差和/或至少一个其它量化器值产生)被分配给比特序列(未示出)。
借助于合适的联接T，比特序列b从装置V传输到接收器E，在所述接收器E中，比特序列通过与编码H匹配的解码变换为接收的像素值e。这使用累加器和/或积分器I整合到接收的图像B2中。对于解码，也不必知道在确定比特序列时涉及哪个量化器。因此，解码可以以低资源方式实现，此外，编码的确切功能不需要传递给接收器。编码以及由此所需的算术运算的低复杂度使得该方法尤其可在实时应用中使用。
编码的可能的规则未在图1中示出。因此，可确定比特序列b的传输所需的数据量(其例如可能需要确定比特序列的长度)。可将所需的数据量与目标数据量进行比较，该目标数据量可以或已经根据至少一个像素、图像特征、根据执行的装置的技术条件和/或根据像素的周围区域的分类来确定。
根据比较结果，可进行传输，或可选择另外的量化器例如为所述多个量化器M中的量化器，借助于所述量化器可将修正的差值分配给另外的量化器值因此，可适用然后可将所述另外的量化器值分配给另外的比特序列，所述另外的比特序列所需的数据量进而被确定并且可将与目标数据量相比较。因此，可进行编码的调节并进而优选地可进行要实现的压缩率的配置。
附加地或替代地，在考虑所述多个像素中的另外的像素(或者属于所述另外的像素的相对于邻近另外的像素的像素值的差值)的情况下，可根据比较结果选择相应的量化器。因此，也可进行编码的调节。
在图2中，示意性地示出了根据本发明的用于传输图像数据的系统S的相应结构。系统S包括装置V和接收器E，所述装置V被设置为能够执行根据本发明的(第一)方法。
进而，装置V借助于差运算符“-”对于像素值p计算相对于周围像素值计算的差值。此外，进行从包括量化器Q0、Q1、…、QN(N为自然数)的多个量化器M中选择量化器。优选地，量化器必须以各自的值集彼此包含的方式排列。
在所示的情况下，选择量化器Q1。借助于该量化器，将量化器值分配给差值，其借助于编码H分配给比特序列b，所述编码H对于多个量化器M的所有量化器通用地定义。
在装置V的控制单元R中，确定比特序列的传输所需的数据量，并与例如如上所述的目标数据量相比较。如果比较结果表示数据量不满足要求，则可选择所述多个量化器M中的另外的量化器(用于所考虑的像素的差值和/或所述多个像素中的之后处理的像素的差值)。
在图3a、3b中，示出了用于所述多个量化器中的量化器、特别是所选择的量化器的有利构造的原理。因此，在所示的示例中，以可能的像素值p为基础，其中0≤P≤255适用。
因此，图3a是柯西分布的概率密度f，并且具有尺度参数s＝20。利用该尺度参数，概率密度(优选为优化的，使得在所有柯西分布下产生最小水平的误差)近似于一函数，该函数将相对发生频率分配给两个像素值的可想到的差，所述差相应地以所述频率出现在预定图像集的相关数字图像中。
如上所述，另外的尺度参数可相应地对于图像集的不同数字图像在所描述的意义上提供优化的近似，并且例如借助于形成加权或未加权的平均值可优选地确定属于图像的概率密度。
利用该函数的图形，图3b示出了模运算符mod256在(修正的差)的发生率上的效果：{-255，...，255}->{0，...，255}，其中mod256(d)：＝d mod 256。
因此，可生成并使用具有相应减小的定义集{0，...，255}的量化器，其点(与原始可能的差相比)可分别仅用8位呈现。在图4中，具有这样的定义范围(在连续间隔处继续)的量化器的图表作为示例示出。因此，量化器具有7个级别。在区间的外围区域中，其点的发生可能性高于中心区域中的点的发生可能性(参见图3b)，级别相应地较小，因此，在此，由于量化器在中心区域出现点的精确的区分。
借助于Lloyd-Max法由上述概率密度可以或已经对于特定数量的级别(此处为7)生成量化器。
进而，从作为可能的像素空间的集合{0，...，255}开始，图5中显示了两个函数图。所述两个函数图基于具有七个级别的量化器和具有256个级别的理想量化器(对于当前像素空间而言是理想的)。
函数f1(其图形在中间区域中位于较下方)相应地将属于量化器的量化级别的相对发生率的平均分配给修正的差。
函数f2(其图形在中间区域中位于较上方)基于所提到的平均为修正的差中的每一个分配比特序列的代码长度，修正的差根据相应的编码分配至所述比特序列。
本发明涉及一种用于为包括多个像素的图像B1编码的方法。由此，对于所述多个像素中的至少一个像素，由像素的值p和至少一个周围像素值N计算差值d，所述周围像素在图像中邻近所述像素出现；此外，从多个M量化器Q、Q0、Q1、QN中选择量化器Q、Q1，借助于所选择的量化器将差值(d)分配给一量化器值w。量化器值借助于编码H被分配给比特序列b。由此，编码以所述多个量化器中的各量化器Q、Q0、Q1、QN可相应地对于像素值差采取的值的发生率的平均为基础。
此外，本发明还涉及一种用于将包括多个像素的图像传输到接收器的方法、一种用于为包括多个像素的图像B1编码的装置V以及一种用于传输图像数据的系统。
附图标记列表
b 比特序列
d 差值
修正的差值
Bl 图像
B2 接收的图像
d 差值
E 接收器
f 概率密度函数
I 积分器
M 多个量化器
N 周围像素值
p 像素的值
Q、Q0、Q1、QN 量化器
R 控制单元
s 目标数据量
S 系统
V 装置
w 量化器值
H 编码
解码
Claims (16)
1.一种为包括多个像素的图像(B1)编码的方法，其中，对于所述多个像素中的至少一个像素：
-由所述像素的值(p)和在图像中邻近所述像素的至少一个周围像素值(N)计算差值(d)；
-从多个量化器(M)选择量化器(Q、Q1)；
-借助于所选择的量化器将差值(d)分配给量化器值(w)；以及
-借助于编码(H)将量化器值和/或包括量化器值的具有至少一个附加的量化器值的序列分配给比特序列(b)，
其中，编码以所述多个量化器中的各量化器 对于相应的像素值差能够采取的值的发生率的平均为基础。
2.根据权利要求1所述的方法，其中，所述编码还以至少一个数字参考图像为基础，其中，值的发生率优选地相应地表示发生频率，相应的量化器对于所述至少一个数字参考图像中的像素值差以所述发生频率采取相应的值。
3.根据权利要求1或2所述的方法，其中，编码(H)包括熵编码，特别是霍夫曼编码和/或其它算术编码和/或ANS编码。
4.根据前述权利要求中任一项所述的方法，其中，在所述多个量化器中的每两个量化器中，第一量化器和第二量化器设置成使得第一量化器的值集与第二量化器的值集相比具有更少的元素，
其中，第一量化器的值集优选地包括在第二量化器的值集内。
5.根据前述权利要求中任一项所述的方法，所述方法还需要利用下述内容确定所述多个量化器中的至少一个量化器：
-指定数量的级别，所述指定数量的级别考虑到所述多个量化器中的具有低数量的级别的另外的量化器，和/或
-多个概率密度函数(f)，所述概率密度函数近似计算图像集的相应地相关的数字图像中出现的差值(d)的相对出现频率。
6.根据前述权利要求中任一项所述的方法，其中，对于所述至少一个像素，确定传输和/或保存比特序列所需的数据量，将所需的数据量与目标数据量相比较。
7.根据权利要求6所述的方法，其特征在于，所述方法需要对于所述至少一个像素基于所述比较选择所述多个量化器中的另外的量化器，其中，借助于所述另外的量化器将差值(d)分配给另外的量化器值，所述另外的量化器值借助于编码分配给另外的比特序列。
8.根据前述权利要求中任一项所述的方法，其中，附加地对于所述多个像素中的至少一个另外的像素选择另外的量化器；另外，由所述另外的像素的值和在图像中邻近所述另外的像素出现的至少一个周围像素值计算属于所述另外的像素的差值，其中，另外，选择所述多个量化器中的另外的量化器，其中，借助于所述多个量化器中的所述另外的量化器将量化器值分配给属于所述另外的像素的差值，所述量化器值借助于编码被分配给比特序列。
9.根据权利要求8的具有权利要求6的附加特征的方法，其中，基于所述比较选择所述另外的量化器。
10.根据前述权利要求中任一项所述的方法，其中，至少对于所述至少一个像素基于所述像素的周围区域执行分类，基于所述分类为所述像素确定相应的目标数据量和/或选择相应的量化器。
11.根据权利要求10所述的方法，其中，所述分类需要：
-由在第一方向上相邻的像素的像素值确定至少一个第一差和/或所述第一差的至少一个平方，
-由在与第一方向不同的第二方向上相邻的像素的像素值确定至少一个第二差和/或所述第二差的至少一个平方，
-将所述至少一个第一差或第一差的平方与所述至少一个第二差或第二差的平方相比较。
12.根据前述权利要求中任一项所述的方法，所述方法还包括利用数码摄像装置捕捉图像。
13.一种用于将由多个像素组成的现有图像传输到接收器(E)和/或存储器单元的方法，其中，所述方法需要
-利用根据前述权利要求中任一项所述的方法为图像编码，
-将通过该应用获得的至少一个比特序列传输到接收器或存储器单元；
-将比特序列(b)重新转换为接收的像素值(e)；以及
-将接收的像素值整合到接收的图像中。
14.一种用于为包括多个像素的图像(B1)编码的装置(V)，其中，所述装置设置为能够执行根据权利要求1-12中任一项所述的方法。
15.根据权利要求14所述的装置，所述装置包括用于捕捉图像的数码摄像装置。
16.一种用于传输图像数据的系统(S)，其中，所述系统包括根据权利要求13或14所述的装置(V)以及接收器，其中，所述装置设置为能够对于用于依据根据权利要求1-11中任一项所述方法编码的图像(B1)中的至少一个像素将相应的比特序列(b)传输到接收器(E)，其中，接收器设置为能够接收传输的比特序列，并将所述比特序列转换为相应的接收的像素值(e)并且将接收的像素值整合到接收的图像(B2)中。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102018110383.2A DE102018110383A1 (de) | 2018-04-30 | 2018-04-30 | Verfahren und Vorrichtung zum Kodieren von Bilddaten |
| DE102018110383.2 | 2018-04-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110418133A true CN110418133A (zh) | 2019-11-05 |
| CN110418133B CN110418133B (zh) | 2022-05-17 |
Family
ID=68205454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910333863.3A Active CN110418133B (zh) | 2018-04-30 | 2019-04-24 | 用于为图像数据编码的方法和装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11094086B2 (zh) |
| CN (1) | CN110418133B (zh) |
| DE (1) | DE102018110383A1 (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030147463A1 (en) * | 2001-11-30 | 2003-08-07 | Sony Corporation | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
| CN1694537A (zh) * | 2004-04-29 | 2005-11-09 | 联发科技股份有限公司 | 活动图像专家组视讯译码器可适性去区块滤波装置及方法 |
| CN101233765A (zh) * | 2005-07-26 | 2008-07-30 | 松下电器产业株式会社 | 数字信号编码和解码装置及方法 |
| WO2009035143A1 (ja) * | 2007-09-12 | 2009-03-19 | Sony Corporation | 画像処理装置及び方法 |
| CN101926175A (zh) * | 2008-03-07 | 2010-12-22 | 株式会社东芝 | 运动图像编码/解码方法以及装置 |
| CN102938840A (zh) * | 2012-11-26 | 2013-02-20 | 南京邮电大学 | 应用于多视点视频编码系统的关键帧量化参数选择方法 |
| US20130044808A1 (en) * | 2010-02-12 | 2013-02-21 | Fujitsu Limited | Image encoding device and image decoding device |
| CN102986217A (zh) * | 2010-05-10 | 2013-03-20 | 三星电子株式会社 | 通过使用像素值之间的差来处理视频帧的方法和设备 |
| CN104135629A (zh) * | 2013-05-03 | 2014-11-05 | 想象技术有限公司 | 对图像进行编码 |
| US20150146776A1 (en) * | 2013-11-25 | 2015-05-28 | Fujitsu Limited | Video image encoding device, video image encoding method |
| US20160198163A1 (en) * | 2006-03-16 | 2016-07-07 | Huawei Technologies Co.,Ltd. | Quantization method and apparatus in encoding/decoding |
| US20170353724A1 (en) * | 2016-06-01 | 2017-12-07 | Canon Kabushiki Kaisha | Image encoding apparatus and control method therefor |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4725885A (en) * | 1986-12-22 | 1988-02-16 | International Business Machines Corporation | Adaptive graylevel image compression system |
| US4897855A (en) * | 1987-12-01 | 1990-01-30 | General Electric Company | DPCM system with adaptive quantizer having unchanging bin number ensemble |
| US5440344A (en) * | 1992-04-28 | 1995-08-08 | Mitsubishi Denki Kabushiki Kaisha | Video encoder using adjacent pixel difference for quantizer control |
| WO2007132539A1 (ja) * | 2006-05-17 | 2007-11-22 | Fujitsu Limited | 画像圧縮装置、圧縮方法及びプログラム並びに画像復元装置、復元方法及びプログラム |
| JP4503053B2 (ja) * | 2007-07-24 | 2010-07-14 | 新光電気工業株式会社 | 導電性ボールの搭載装置および搭載方法 |
| SG155797A1 (en) | 2008-03-20 | 2009-10-29 | St Microelectronics Asia | System and process for image rescaling with edge adaptive phase control in interpolation process |
| EP2501133A3 (de) * | 2011-03-16 | 2013-07-31 | Basler AG | Verfahren und Vorrichtung zur Bandbreitenreduktion für Bilddaten |
| FR3001600B1 (fr) * | 2013-01-29 | 2016-05-06 | Stmicroelectronics (Grenoble 2) Sas | Procede et dispositif de compression d'un signal d'image et procede et dispositif correspondant de decompression |
| FR3032297A1 (fr) * | 2015-02-04 | 2016-08-05 | Stmicroelectronics (Grenoble 2) Sas | Procede et dispositif de compression d'une image numerique couleur |
| EP3310058B1 (en) * | 2015-06-12 | 2023-02-22 | Panasonic Intellectual Property Management Co., Ltd. | Image coding method, image decoding method, image coding device and image decoding device |
-
2018
- 2018-04-30 DE DE102018110383.2A patent/DE102018110383A1/de active Pending
-
2019
- 2019-04-24 US US16/393,010 patent/US11094086B2/en active Active
- 2019-04-24 CN CN201910333863.3A patent/CN110418133B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030147463A1 (en) * | 2001-11-30 | 2003-08-07 | Sony Corporation | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
| CN1694537A (zh) * | 2004-04-29 | 2005-11-09 | 联发科技股份有限公司 | 活动图像专家组视讯译码器可适性去区块滤波装置及方法 |
| CN101233765A (zh) * | 2005-07-26 | 2008-07-30 | 松下电器产业株式会社 | 数字信号编码和解码装置及方法 |
| US20160198163A1 (en) * | 2006-03-16 | 2016-07-07 | Huawei Technologies Co.,Ltd. | Quantization method and apparatus in encoding/decoding |
| WO2009035143A1 (ja) * | 2007-09-12 | 2009-03-19 | Sony Corporation | 画像処理装置及び方法 |
| CN101926175A (zh) * | 2008-03-07 | 2010-12-22 | 株式会社东芝 | 运动图像编码/解码方法以及装置 |
| US20130044808A1 (en) * | 2010-02-12 | 2013-02-21 | Fujitsu Limited | Image encoding device and image decoding device |
| CN102986217A (zh) * | 2010-05-10 | 2013-03-20 | 三星电子株式会社 | 通过使用像素值之间的差来处理视频帧的方法和设备 |
| CN102938840A (zh) * | 2012-11-26 | 2013-02-20 | 南京邮电大学 | 应用于多视点视频编码系统的关键帧量化参数选择方法 |
| CN104135629A (zh) * | 2013-05-03 | 2014-11-05 | 想象技术有限公司 | 对图像进行编码 |
| US20150146776A1 (en) * | 2013-11-25 | 2015-05-28 | Fujitsu Limited | Video image encoding device, video image encoding method |
| US20170353724A1 (en) * | 2016-06-01 | 2017-12-07 | Canon Kabushiki Kaisha | Image encoding apparatus and control method therefor |
Also Published As
| Publication number | Publication date |
|---|---|
| US11094086B2 (en) | 2021-08-17 |
| DE102018110383A1 (de) | 2019-10-31 |
| US20190333251A1 (en) | 2019-10-31 |
| CN110418133B (zh) | 2022-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7668382B2 (en) | Block-based fast image compression | |
| CN1650622B (zh) | 用于数字重新灌录或修改电影或其他图像序列数据的系统和方法 | |
| RU2461977C2 (ru) | Сжатие и снятие сжатия изображения | |
| US5991458A (en) | Image quality prediction apparatus and method, and image quality control apparatus and method | |
| US20180115774A1 (en) | Real-time content-adaptive perceptual quantizer for high dynamic range images | |
| CN101933327A (zh) | 数据压缩装置、数据压缩程序及摄像装置 | |
| CN104065887A (zh) | 针对多次曝光的增强动态范围图像和视频的方法和系统 | |
| JPH06237180A (ja) | データ圧縮方法及び装置並びにデータ伸長方法及び装置 | |
| CN101317185B (zh) | 基于视频传感器的自动关注区检测 | |
| CA2216435A1 (en) | Method and apparatus for pixel level luminance adjustment | |
| US11928843B2 (en) | Signal processing apparatus and signal processing method | |
| US20170094281A1 (en) | Compressing high dynamic range images | |
| EP4254964A1 (en) | Image processing method and apparatus, device, and storage medium | |
| Lee et al. | DPICT: Deep progressive image compression using trit-planes | |
| US8331695B1 (en) | Integrated circuit having a circuit for and method of updating parameters associated with a background estimation portion of a video frame | |
| Mantiuk et al. | High dynamic range image and video compression-fidelity matching human visual performance | |
| Santos et al. | Lossless coding of light fields based on 4D minimum rate predictors | |
| US20210125318A1 (en) | Image processing method and apparatus | |
| CN117441186A (zh) | 图像解码及处理方法、装置及设备 | |
| Froehlich et al. | Content aware quantization: Requantization of high dynamic range baseband signals based on visual masking by noise and texture | |
| CN110418136A (zh) | 确定量化器的方法、计算机可读介质和实现量化器的装置 | |
| CN110418133A (zh) | 用于为图像数据编码的方法和装置 | |
| Hofmann et al. | Making progressive transmission adaptive | |
| Abebe | High Dynamic Range Imaging | |
| CN117999784A (zh) | 用于基于学习的图像/视频编解码的整形器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |