CN115918081A - 用于彩色滤波器阵列模式影像的去相关变换 - Google Patents
用于彩色滤波器阵列模式影像的去相关变换 Download PDFInfo
- Publication number
- CN115918081A CN115918081A CN202080102158.3A CN202080102158A CN115918081A CN 115918081 A CN115918081 A CN 115918081A CN 202080102158 A CN202080102158 A CN 202080102158A CN 115918081 A CN115918081 A CN 115918081A
- Authority
- CN
- China
- Prior art keywords
- sample
- sample position
- weighted sum
- color coordinates
- adjacent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
提供一种用于编码CFA模式影像的概念,其中对于包含第一至第四样本位置的CFA模式影像的样本集群中的每个,计算第一至第四色彩坐标以便提供CFA模式影像的影像表示。
Description
技术领域
本公开的实施例关于一种用于将CFA模式影像编码成影像表示的装置及一种用于将影像表示解码成CFA模式影像的装置。本公开的实施例还关于一种用于CFA模式影像的变换,且特别地,关于一种用于CFA模式影像的色彩去相关或组合色彩及空间去相关。
背景技术
典型的数字摄影机配备有所谓的CFA模式传感器(例如,拜耳传感器),其由传感器组件的规则栅格组成,传感器组件覆迭有彩色滤波器的规则模式(或阵列)以产生三个色彩通道(参见图1)。通常,滤波器对应于红光、绿光及蓝光,但其他滤波器配置也为可能的,例如,红光、透明(无滤波器)、蓝光。以此方式,可捕获三个独立的色彩通道,但它们彼此不对准且需要额外后处理以从所捕获影像产生全色影像。
为了节省传感器附近的带宽及处理功率,希望将CFA传感器数据按原样压缩,即,不重建(或后处理)为全分辨率RGB(真彩色)影像,传输经压缩CFA影像信号且在接收器侧处重建所述数据。接着在解码器侧处对经重建CFA影像数据执行全分辨率真彩色影像的产生,即,后处理步骤。由于此需要每传感器仅传输1个分量而非3个,因此带宽已减少。
有效传输及带宽减少通常进一步包括CFA数据的有损压缩,其由多个步骤组成:首先,跨组件的去相关,其表示为「色彩去相关」,空间信号去相关-例如通过小波或离散余弦变换(DCT);其后接着量化(精确度的不可逆降低);其后接着数据的熵编码。
色彩去相关程序及空间去相关程序二者旨在促进及高效编码程序及与经解码影像的高质量组合的高压缩速率。
发明内容
因此,本公开的目标为提供一种用于编码CFA模式影像的更高效技术。此目标通过在此所附的独立权利要求的主题来达成。
根据本发明的第一方面的本公开的实施例基于如下发现:若将CFA模式影像的两个通道的能量压紧成或主要构成输出影像表示的一个输出坐标,则可更高效地编码CFA模式影像。相比于旨在将CFA模式影像的三个通道的能量压紧成一个坐标的常见变换,例如就所恢复CFA模式影像的改善信噪比而言,所揭露技术实现更高的编码效率。
另外,根据本发明的可与第一方面组合的第二方面的本公开的实施例基于可通过以下操作改善编码CFA模式影像的质量的发现:对于诸如超像素的样本集群的编码,诸如为空间去相关起见,考虑位于与包括至少一列的CFA模式影像的行及列交叉的CFA模式影像的一部分中的CFA模式影像的样本以及与当前待编码的样本集群的样本的至少一个行偏移。通过考虑CFA模式影像的较大部分,可改善去相关且因此可更高效地压紧能量,从而允较高压缩速率及较低信噪比。
根据本公开的第一方面,此发现用于编码CFA模式影像,所述影像分割成各自具有CFA模式影像的第一通道的一个第一样本、第二通道的一个第二样本及第三通道的两个第三样本的样本集群。CFA模式影像的编码包含:对于每个样本集群的第一及第二样本位置,通过分别形成相应样本集群的第一样本或第二样本与第一或第二经滤波第三样本值的差来分别计算第一及第二色彩坐标。CFA模式影像的编码的另一步骤包含:对于每个样本集群的第三及第四样本位置,通过分别形成相应样本集群的第三样本或第四样本与第一或第二经滤波色彩坐标的总和来分别计算第三及第四色彩坐标。通过形成与相应第三及第四样本位置相邻的第一及第二色彩坐标的第三及第四加权和,得出第一及第二经滤波色彩坐标,其中第三及第四加权和中的每个的权重的总和大于二分之一。其可等于或大于一。在一示例中,对于与第一色彩坐标相关的权重,所述总和大于四分之一,且对于与第二色彩坐标相关的权重,所述总和大于四分之一。其可等于或大于0.5。由于用于计算第三及第四色彩坐标的第三及第四加权和的权重的此选择,第一及第二通道(特定而言,低频分量)相对于第一通道在第三及第四色彩坐标中过重,或换言之,第三及第四色彩坐标的能量主要由CFA模式影像的第一及第二通道的能量判定,最终结果为较佳去相关且藉此导致后继量化及熵编码程序中的较高压缩速率或较低量化损失。在第三通道为绿色且对于第一及第二样本具有相等权重的RGB模式的状况下,第三及第四色彩坐标主要对应于CFA影像的低通滤波版本的洋红色或蓝色与红色的混合物,其中在较小能量下无绿色或仅具有绿色的一部分。
根据实施例,第三及第四加权和的权重由用于对第一色彩坐标及第二色彩坐标进行加权的个别权重组成,使得所述权重可分别适应于相应通道的敏感度。通过选择第一及第二色彩坐标的权重使得第一及第二通道在第三及第四色彩坐标中被相等地加权,提高编码效率。
根据实施例,第三及第四加权和中用于对第一及第二色彩坐标进行加权的权重各自实施为2的幂,其中2的幂中的每个的指数为整数。因此,第一及第二色彩坐标与其相应权重的乘法可作为在计算上高效的位移位运算来执行。
根据实施例,一组操作模式可用于编码CFA模式影像,所述影像的第一至第三样本以列及行配置。在列及行的内容背景下,水平方向指CFA模式影像的行内的方向且竖直方向指沿着CFA模式影像的列的方向。另外,列及行的定义可通过将CFA模式影像旋转90°互换,使得列及行的属性应理解为非限制性的。对于一些实例,CFA模式影像的编码可逐行执行,且被称作位于第二行上方的第一行应理解为待在第二行之前编码。因此,第二行位于第一行下方。所述一组操作模式包括各向同性操作模式、竖直因果操作模式及条带操作模式中的一个或多个,其不同之处在于考虑用于计算选定样本集群的选定样本位置的色彩坐标的CFA模式影像的一部分。在所有命名操作模式下,在计算色彩坐标时包括位于选定样本集群所位于的行中的若干样本。在各向同性操作模式下,在计算选定样本位置的相应类型的色彩坐标时包括位于选定样本集群所位于的行(命名为当前行)上方及下方的行中的样本。通过在计算时包括CFA模式影像的当前行的额外行,可分开CFA模式影像在竖直方向上的低频分量及高频分量,使得能够将CFA模式影像的能量较佳地压紧成一个或多个色彩坐标。相比之下,仅使用当前行内的样本可执行能量的压紧,主要在水平方向上。因此,包括当前行上方及/或下方的额外行可提供更高效数据压缩及更低信噪比。在竖直因果操作模式下,在计算选定样本位置的相应类型的色彩坐标时包括位于当前行上方但不位于当前行下方的行中的样本。由于不考虑位于当前行下方的行中的样本,因此可紧接在接收到发信号通知当前行的样本的数据之后执行编码,而无需等待发信号通知后续行的样本的数据。又,通过考虑位于当前行上方的行中的样本,在计算色彩坐标时考虑CFA模式影像的大部分,此提高质量。因此,此操作模式可提供高编码量与快速编码的组合。在条带操作模式下,在计算色彩坐标时排他性地包括位于当前行内的样本。因此,相较于竖直因果及各向同性操作模式,在计算特定样本位置的色彩坐标时覆写或丢弃特定样本位置的样本,且需要储存的参考当前行上方的行的数据较少。因此,条带操作模式组合快速竖直因果操作模式与低内存要求的优点。
根据实施例,CFA模式影像的编码包括计算差分色彩坐标、第三及第四色彩坐标及基于第四及差分色彩坐标计算组合色彩坐标的其他步骤。提供这些步骤以用于将CFA模式影像的能量尤其高度地压紧成一个色彩坐标,亦即,组合色彩坐标,因此允许通过熵编码程序对影像表示进行高度压缩。
根据本公开的第二方面,上文所介绍的技术用于编码CFA模式影像,所述模式影像具有CFA模式影像的第一通道的第一样本、第二通道的第二样本及第三通道的第三样本,第一至第三样本以具有列及行的阵列配置。编码CFA模式影像包含:对于第一样本所位于的第一样本位置中的每个,通过形成在相应第一样本位置处的第一样本与第一经滤波第三样本值的差来计算第一色彩坐标,所述第一经滤波第三样本值通过形成与第一样本位置相邻的第三样本的第一加权和来得出。用于第三加权和的第三样本包含位于与相应第一样本位置的样本集群所位于的一或多个行(在下文中命名为当前行)相邻的行中的第三样本。举例而言,相邻行可为当前行上方的行,且可能先前已经编码,使得所述行已可用于编码程序。通过在计算第三加权和时包括与当前行相邻的行的第三样本,需要一个额外行,但增强了编码质量,如上文关于竖直因果及各向同性操作模式所解释。
根据实施例,一组操作模式可用于编码CFA模式影像,所述操作模式中的第三个包含第一操作模式,例如上文所介绍的竖直因果及各向同性操作模式以及条带操作模式中的一个。在条带操作模式下,具有第一加权和的第三样本由位于当前行内的样本组成。因此,操作模式之间的选择是可能的,条带操作模式提供快速编码及低内存要求,且第一操作模式提供更高质量以达成更高编码效率。
根据如上文所描述的第一及第二方面的本公开的实施例可用于将CFA模式影像编码成影像表示,所述影像表示可如此提供或可以以影像表示的经编码表示提供,且用于通过解码影像表示而分别从影像表示或经编码表示获得CFA模式影像。因此,关于CFA模式影像的编码所描述的特征、功能性及优点同样适用于编码及解码程序。
附图说明
本公开的有利实施方案为附属权利要求的主题,且下文关于诸图更详细地描述优选实施例,在所述图中:
图1示出根据实施例的用于编码CFA模式影像的装置,
图2示出根据另一实施例的用于编码CFA模式影像的装置,
图3示出CFA模式影像的示例,
图4示出根据另一实施例的用于编码CFA模式影像的装置,
图5示出根据实施例的用于将影像表示解码成CFA模式影像的装置,
图6示出根据另一实施例的用于将影像表示解码成CFA模式影像的装置,
图7示出根据另一实施例的用于将影像表示解码成CFA模式影像的装置,
图8示出CFA模式影像的示例,
图9示出用于在条带操作模式下编码CFA模式影像的当前行的示例。
具体实施方式
在下文中,详细地论述实施例,然而,应了解,实施例提供可体现于广泛多种影像及视频处理及编码中的许多可适用技术。所论述的特定实施例仅说明实施及使用本发明技术的特定方式,且并不限制实施例的范围。在以下描述中,阐述多个细节以提供对本公开的实施例的更透彻解释。然而,本领域技术人员将显而易见,可在无这些特定细节的情况下实践其他实施例。在其他情况下,以框图形式而非详细地展示熟知结构及装置以便避免混淆本文中所描述的实例。此外,除非另外特定地指出,否则可将本文中所描述的不同实施例的特征彼此组合。
在实施例的以下描述中,相同或类似组件或具有相同功能性的组件具备相同附图标记或以相同名称来识别,且通常省略具备相同附图标记或以相同名称识别的组件的重复描述。因此,为具有相同或类似附图标记或以相同名称识别的组件提供的描述可在不同实施例中相互交换或可应用于彼此。
可将多种色彩变换应用于色彩去相关以编码CFA模式影像。这些变换亦可包括空间去相关。
一个示例为RCTD变换,其为出于有损或无损压缩的目的而应用于真彩色影像的RCT变换的四分量变体。其将如图8中所见的CFA模式分成2×2「超像素」,每个超像素由一个红色值、一个蓝色值及两个绿色值组成,且从这些值,因而在每个超像素内形成四个分量:
Cb:=B-t
Cr:=R-t
Δ∶=G1-G2
表示舍入至整数,例如至下一较低整数的向下取整或向下舍入运算,或至下一较高整数的向上取整或向上舍入运算。此表示适用于整个申请中的公式。接着将四元组(Y,Cb,Cr,Δ)输入至其他压缩步骤。易于看出,此变换完全可逆而无损失。
最近,比利时公司intoPix提议以上变换的变体,包括空间去相关步骤连同色彩变换。为此目的,其将CFA影像分成水平条带,水平条带中的每个为两个像素或一个超像素-高,且与整个CFA影像一样宽。在每个条带内,在四个提升步骤中执行色彩变换,所述步骤中的每个自身为可逆的。
第一步骤从红色及蓝色样本以及相邻绿色样本产生两个色度坐标,如图9中所示出。
为定义变换,通过子索引l指示当前位置左方的样本值且通过子索引r指示当前位置右方的样本值。类似地,子索引t指示当前位置至顶部,且子索引b指示当前样本下方的样本位置。接着,第一提升步骤从红色及蓝色值减去绿色样本值的加权和,且因此类似于以上情况但从绿色值的加权邻域形成Cb及Cr通道:
在左边缘及右边缘处,非现有左方绿色通道由右方绿色通道替换,且在右方影像边缘处,非现有右方绿色通道由左方样本值替换。
在第二提升步骤中,两个明度通道Y1及Y2如下由Cb、Cr及绿色通道形成:
其中Y1样本位于二行像素配置的顶部行上,且Y2样本位于底部行上,如图2中所指示。
第三提升步骤现从Y1及Y2计算顶部行上的明度差通道Δ。类似于以上情况,子索引rt指示对角线右上方的样本值,lt指示左上方的样本值,rb指示右下方的样本值且lb指示左下方的样本值。因此:
最终,最后提升步骤经由使用差信号Δ从Y1及Y2产生输出明度信号作为平均值:
接着将四元组(Y,Cb,Cr,Δ)输入至其他压缩步骤,其中可选地从任何空间去相关排除Δ,这是因为其已由高通滤波差信号组成。
类似变换(亦即,组合空间去相关与色彩去相关的变换)已在先前文献中论述,例如在2018年的国际图像处理会议会刊(ICIP)中由T.Suzuki:「Lossless compression ofCFA-sampled images using YDgCoCg transforms with CDF wavelets」论述。然而,彼处所论述的变换基于首先由H.S.Malvar及G.J.Sullivan在2012年4月(Snowbird,UT)DCC'12会刊第3至12页的「Progressive-to-lossless compression of color-filter-arrayimages using macropixel spectralspatial transformatio」中提议的YCgCo变换。Suzuki变换也基于提升,类似于由intoPix所描述的提升,但不限于二行。
上文所描述的intoPix变换旨在将三个通道的能量压紧成一个明度通道,亦即,Y,且进一步限于水平条带。如先前所介绍,根据本公开的第一方面的想法为压紧三个通道中的二个的能量。根据本公开的第二方面,变换包括超出当前经编码样本集群的行的样本的至少一行。
详细描述的第一部分介绍通过根据本公开的两个方面的实施例实施的一般技术。随后,参考一般技术指定根据第一及第二方面的不同实施例。
图1示出用于将CFA模式影像10编码成影像表示70的装置100的示例的示意性表示。CFA模式影像10包含第一通道的第一样本12、第二通道的第二样本14及第三通道的第三样本16,第三样本包括第三样本16A、16B。举例而言,第一至第三通道由红色、蓝色及绿色通道或红色、白色及蓝色通道组成。
举例而言,CFA影像模式10从多个传感器组件获得,传感器组件中的每个与第一通道、第二通道及第三通道中的一个相关联,其中与共同通道相关联的传感器组件被配置为检测特定于通道的共同波长范围内的光。举例而言,CFA模式影像可具有拜耳模式,例如,如图8中所示出。
CFA模式影像10被分割成样本集群20,其各自分别包含位于第一样本位置22处的第一样本12中的一个、位于第二样本位置24处的第二样本14中的一个、位于第三样本位置26处的第三样本16A及位于第四样本位置28处的另一第三样本16B。
装置100被配置为通过针对样本集群20中的每个的第一至第四样本位置22、24、26、28而计算第一至第四色彩坐标110、120、130、140来将CFA模式影像编码成影像表示70。在可被称作第一提升步骤的步骤1中,对于样本集群20中的每个,装置100针对相应样本集群20'的第一样本位置22'而计算第一色彩坐标110',例如第一色度差通道坐标,使得人们将第一色彩坐标理解为呈现相应样本集群20'的第一样本及第一样本位置22'与第一经滤波第三样本值112'的差。通过形成与第一样本位置22'相邻的第三样本16的第一加权和114'来得出第一经滤波第三样本值12'。应注意,与特定样本位置相邻的样本可为与特定样本位置相同的样本集群的部分,但亦可为另一样本集群的部分。另外,装置100被配置为针对相应样本集群20'的第二样本位置24'而计算第二色彩坐标120',例如第二色度差通道坐标,使得第二色彩坐标120'表示相应样本集群20'的第二样本14'及第二样本位置14'与第二经滤波第三样本值122'的差。通过形成与第二样本位置24'相邻的第三样本16的第二加权和124'来得出第二经滤波第三样本值122'。
在可被称作第二提升步骤的后续步骤2中,对于样本集群20中的每个,装置100被配置为针对相应样本集群20'的第三样本位置26'而通过形成在相应样本集群20'的第三样本位置26'处的第三样本16A'与第一经滤波色彩坐标132'的总和(例如,相等加权和)来计算第三色彩坐标130',所述第一经滤波色彩坐标通过形成针对与第三样本位置26'相邻的第一样本位置22及第二样本位置24而计算的第一色彩坐标110及第二色彩坐标120的第三加权和134'来得出。装置100被配置为针对每个样本集群20'的第四样本位置28'而通过形成在相应样本集群20'的第四样本位置28'处的第三样本16B'与第二经滤波色彩坐标142'的总和(例如,相等加权和)来计算第四色彩坐标140',所述第二经滤波色彩坐标通过针对与第四样本位置28'相邻的第一样本位置22及第二样本位置24而计算的第一色彩坐标110及第二色彩坐标120的第四加权和144'来得出。
举例而言,对于样本集群20中的每个,装置100可在影像表示70中提供相应第一至第四色彩坐标110、120、130、140。基于第一至第四色彩坐标110、120、130、140的影像表示70的表示可被称作经变换表示149。
替代地,装置100可被配置为使用第三色彩坐标130及第四色彩坐标140作为中间值,以用于针对样本集群20中的每个而计算差分色彩坐标250及组合色彩坐标260。图2示出装置100的另一示例的示意性表示,除了计算第一至第四色彩坐标110、120、130、140以外,所述装置还包含用于基于第三色彩坐标130及第四色彩坐标140而计算差分色彩坐标250及组合色彩坐标260的两个额外步骤。在此情况下,装置100可针对样本集群20中的每个而在影像表示70中提供相应的第一色彩坐标110、第二色彩坐标120、差分色彩坐标250及组合色彩坐标260。基于第一色彩坐标110、第二色彩坐标120、差分色彩坐标250及组合色彩坐标260的影像表示70的表示可被称作压紧的经变换表示249。
因此,在可被称作第三提升步骤的第三步骤3中,对于样本集群20中的每个,装置100可针对相应样本集群20'的第三样本位置26'而通过形成在相应样本集群20'的第三样本位置26'处的第三色彩坐标130'与经滤波第四色彩坐标252'的差来计算差分色彩坐标250'。通过形成针对与第三样本位置26'相邻的第四样本位置28而计算的第四色彩坐标140的第五加权和254'(例如,相等加权和)来得出经滤波第四色彩坐标252'。
在可被称作第四提升步骤的第四步骤4中,对于样本集群20中的每个,装置100可针对相应样本集群20'的第四样本位置28'而通过形成在相应样本集群20'的第四样本位置28'处的第四色彩坐标140'与经滤波差分色彩坐标262'的总和来计算组合色彩坐标260。通过形成针对与第四样本位置28'相邻的第三样本位置26而计算的差分色彩坐标250的第六加权和264'(例如,相等加权和)来得出经滤波差分色彩坐标262'。
根据例如如关于图1中的CFA影像模式所说明的实施例,第一至第四样本位置以具有第一类型的行52及第二类型的行54的阵列布置。第一类型的行52包含交替地布置的第一样本位置22及第三样本位置26,且第二类型的行54包含交替地布置的第二样本位置24及第四样本位置28。第一类型的行52及第二类型的行沿着阵列的列交替地布置。第一类型的行52的第一样本位置22及第二类型的行54的第二样本位置24位于阵列的不同列62、64中。
因此,在所描述的阵列布置中,第一样本位置22中的每个与四个第三样本16相邻,所述第三样本中的两个第三样本16A位于在水平方向上与第一样本位置22相邻的第三样本位置26处,且两个第三样本16B位于在竖直方向上与第一样本位置22相邻的第四样本位置28处。在此上下文中,水平方向指顶部及底部,且竖直方向指左方及右方。同样,第二样本位置24中的每个与四个第三样本16相邻,所述第三样本中的两个第三样本16位于在竖直方向上与第二样本位置24相邻的第三样本位置26处,且两个第三样本16位于在水平方向上与第二样本位置24相邻的第四样本位置28处。根据样本位置的布置的所描述示例,样本集群20中的每个位于包含第一类型的一行52及第二类型的一行54的一对两个相邻样本行内。应指出,如图1中所示出的关于第一类型的行52及第二类型的行54以及关于第一类型的列62及第二类型的列64的样本集群20的视图布置为例示性的,亦即,可分别交换行及列的上部及下部位置以及左方及右方位置,此可导致样本集群20内的第一至第四样本位置的四个不同布置。
举例而言,装置100可以逐行方式(亦即,一行接着一行)执行计算色彩坐标,亦即,第一至第四色彩坐标110、120、130、140且可选地,差分色彩坐标250及组合色彩坐标260。不同的处理方案或操作模式可为可能的,不同之处在于充当第一至第六加权和114'、124'、134'、144'、254'、264'的相应输入值的源的CFA模式影像的一部分的大小。
举例而言,装置100可将在相应第一至第四提升步骤期间计算的第一至第四色彩坐标和/或差分及组合色彩坐标储存于相应数据缓冲器中,使得后续提升步骤可利用所储存的色彩坐标。当对于计算其他样本集群的色彩坐标不需要时,可释放或覆写所缓冲的色彩坐标110、120、130、140、250、260或样本12、14、16。因此,需要储存于相应数据缓冲器中的数据的量因此可取决于在利用相应数据缓冲器的提升步骤中考虑的相邻样本位置的数目。
图3说明包含供计算色彩坐标的样本集群20'的CFA模式影像10的一部分的示例。样本集群20'位于第一类型的行52'及第二类型的行54'中,所述行被称作当前行56。
举例而言,装置100可在条带操作模式或行内操作模式下操作,其中仅位于当前行56内的样本位置处的样本可有助于第一至第六加权和114'、124'、134'、144'、254'、264'。替代地,装置100可在竖直因果操作模式下操作,其中位于当前行56上方的一个或多个行中的样本另外可有助于第一至第六加权和114'、124'、134'、144'、254'、264'中的一个或多个。在又一试验中,装置100可操作各向同性操作模式,其中除竖直因果操作模式以外,位于当前行56下方的一个或多个行中的样本亦可有助于第一至第六加权和114'、124'、134'、144'、254'、264'中的一个或多个。
应指出,对于并非在CFA模式影像的边缘处的位置的样本位置,对有助于第一至第六加权和114'、124'、134'、144'、254'、264'的样本进行详细描述。对于边缘样本位置,缺失样本位置可由鉴于供计算相应加权和的样本位置而言与缺失样本位置相对的样本位置替换。
在条带操作模式下,仅位于当前行56内的样本被视为第一至第六加权和114'、124'、134'、144'、254'、264'的输入值。举例而言,用于第一加权和114'的第三样本16可由位于在水平方向上与相应样本集群20'的第一样本位置22'相邻的第三样本位置26-1、26'处的第三样本16以及位于第四样本位置28'处的第三样本16组成。相应地,用于第二加权和124'的第三样本16可由位于在水平方向上与相应样本集群20'的第二样本位置24'相邻的第四样本位置28-1、28'处的第三样本16以及位于第三样本位置26'处的第三样本16组成。用于计算第四加权和144'的第一色彩坐标110及第二色彩坐标120可由位于在水平方向上与相应样本集群20'的第四样本位置28'相邻的第二样本位置24'、24-1处的第二色彩坐标120及位于在第一竖直方向(例如,顶部方向)上与第三样本位置26'相邻的第一样本位置22'处的第一色彩坐标110组成。另外,用于计算第三加权和134'的第一色彩坐标110及第二色彩坐标120可由位于在水平方向上与相应样本集群20'的第三样本位置26'相邻的第一样本位置22'、22-1处的第一色彩坐标110及位于在第二竖直方向(例如,底部方向)上与第三样本位置26'相邻的第二样本位置24'处的第二色彩坐标120组成。
用于计算第五加权和254'及第六加权和264'的第四色彩坐标140及差分色彩坐标250在阵列的对角线方向上分别与相应的第三样本位置26'及第四样本位置28'相邻。第一及第二对角线方向指具有指向第一竖直方向或顶部方向的竖直分量的对角线方向。第三及第四对角线方向指具有指向第二竖直方向或底部方向的竖直分量的对角线方向。
在条带操作模式下,用于计算第五加权和254'的第四色彩坐标140可由针对在阵列的第三及第四对角线方向(例如,左下及右下对角线方向)上与相应样本集群20的第三样本位置26'相邻的第四样本位置28'、28-1而计算的第四色彩坐标140组成。因此,第六加权和264'的差分色彩坐标250可由针对与相应样本集群20'以及第一及第二对角线方向(例如,右上对角线方向上的左上方)的第四样本位置28'相邻的第三样本位置26'、26-1而计算的差分色彩坐标250组成。
因为在条带操作模式下,样本可明确地仅用于计算当前行56的色彩坐标,所以特定样本位置可由针对特定样本位置而计算的色彩坐标替换。因此,此操作模式具有尤其低的内存要求。又,由于将第一通道及第二通道的能量压紧成影像表示的一个色彩坐标,相对于目前先进技术变换,其可在低比特率下将性能改善约0.3dB。
对于第一、第二及第三通道为红色、蓝色及绿色通道的情况下,用于计算相应色彩坐标的当前行56的另一示例描绘于图9中。
另一可能的操作模式为参看图3所解释的竖直因果操作模式。在竖直因果操作模式下,可在计算第一至第六加权和114'、124'、134'、144'、254'、264'中的一个或多个时包括在第一竖直方向上与当前行56相邻的一个或多个行内的样本位置。优选地,第一竖直方向指向阵列的由装置100接收到的在时间上处于当前行56之前的行。因此,可编码CFA模式影像10而相对于条带操作模式无额外时间延迟。
举例而言,在竖直因果操作模式下,可计算第二加权和124'、第四加权和144'及第六加权和264',如关于条带操作模式所描述。用于第一加权和114'的第三样本16可由位于在水平方向上与相应样本集群20'的第一样本位置22'相邻的第三样本位置26-1、26'处的第三样本16及位于在竖直方向上与第一样本位置22'相邻的第四样本位置28'、28-2处的第三样本16组成。另外,用于计算第三加权和134'的第一色彩坐标110及第二色彩坐标120可由位于在水平方向上与相应样本集群20'的第三样本位置26'相邻的第一样本位置22'、22-1处的第一色彩坐标110及位于在竖直方向上与第三样本位置26'相邻的第二样本位置24'、24-2处的第二色彩坐标120组成。用于计算第五加权和254'的第四色彩坐标140可由针对在阵列的四个对角线方向上与相应样本集群20的第三样本位置26'相邻的第四样本位置28'、28-1、28-3、28-4而计算的第四色彩坐标140组成。换言之,在竖直因果模式的示例中,仅存取顶部相邻者,且因此不产生额外延时,但每个提升步骤皆必须缓冲一个额外行。亦即,编码器(例如,装置100),输入缓冲器要求可增加四行,且解码器(例如,图5的装置500),输出缓冲器要求可增加四行。
在条带操作模式及竖直因果操作模式下,第一至第六加权和114'、124'、134'、144'可被加权使得来自在水平方向上与供计算相应色彩坐标的样本位置相邻的样本位置的贡献的总权重等于来自在竖直方向上与供计算相应色彩坐标的样本位置相邻的样本位置的贡献的总权重。亦即,在仅考虑一个竖直相邻样本位置的状况下,相应值可被双倍加权。
另一可能的操作模式为各向同性操作模式,其中在计算色彩坐标110、120、130、140、250、260中的一个或多个或全部时考虑位于在两个竖直方向上与当前行56相邻的行中的样本。可计算第一加权和114'、第三加权和134'及第五加权和254',如关于竖直因果操作模式所描述。用于第二加权和124'的第三样本16可包含位于在水平方向上与相应样本集群20'的第二样本位置24'相邻的第四样本位置28-1、28'处的第三样本16及位于在竖直方向上与第二样本位置24'相邻的第三样本位置26'、26-2处的第三样本16。在此情况下,对于计算第二色彩坐标120,需要关于先前所描述的操作模式的当前行56下方的一个额外行。另外但可选地,例如取决于通过考虑位于当前行56下方的额外行而引入的最大可接受时间延迟,用于计算第四加权和144'的第一色彩坐标110及第二色彩坐标120可包含位于在水平方向上与相应样本集群20'的第四样本位置28'相邻的第二样本位置24'、24-1处的第二色彩坐标120及位于在竖直方向上与第三样本位置26'相邻的第一样本位置22'、22-2处的第一色彩坐标110。在此情况下,需要关于先前所描述的操作模式的当前行56下方的两个额外行。另外但可选地,第六加权和264'的差分色彩坐标250可由针对在四个对角线方向上与相应样本集群20'的第四样本位置28'相邻的第三样本位置26'、26-1、26-2、26-3而计算的差分色彩坐标250组成。在此情况下,需要关于先前所描述的操作模式的当前行56下方的四个额外行。换言之,编码器变换将其输出70延迟4行或排,且解码器包括额外延迟4行或排,因此端对端延时可增加8行或排。
根据实施例,装置100包含一组操作模式,其包含各向同性操作模式、竖直因果操作模式及条带操作模式中的一个或多个。因此,可取决于可用内存且取决于编码及解码CFA模式影像10可接受的最大时间延迟而选择所述一组操作模式中的一个。
根据实施例,装置100可选择所述一组操作模式中的一个以用于编码CFA模式影像10且使得在数据流中发信号通知选定的操作模式,影像表示70在数据流中被发信号通知。
根据实施例,通过舍入运算分别从第一加权和114'、第二加权和124'、第三加权和134'、第四加权和144'、第五加权和254'及第六加权和264'获得第一经滤波第三样本值112'、第二经滤波第三样本值122'、第一经滤波色彩坐标132'、第二经滤波色彩坐标142'、经滤波第四色彩坐标252'及经滤波差分色彩坐标262',此可允许相应色彩坐标的高效计算及储存。举例而言,舍入运算可为向下取整或向上取整运算,其可分别将数字舍入至下一较低或较高整数。
根据实施例,第一加权和114'及第二加权和124'各自表示其相应第三样本的平均值。因此,第一色彩值110'及第二色彩值120'可分别表示第一样本12'及第二样本14'与相邻于第一位置22'及第二样本位置24'的相应第三样本的经空间滤波平均值之间的差。
根据实施例,第三加权和134'及第四加权和144'的权重由用于对第一色彩坐标进行加权的第一权重及用于对第二色彩坐标进行加权的第二权重组成。举例而言,第一权重可实施为2的第一幂,且第二权重可实施为2的第二幂,2的第一幂及第二幂的指数为整数,例如负整数、零或正整数。
在下文中,更详细地描述计算色彩坐标110、120、130、140、250、260的示例。出于说明的目的且根据一些实例,假定第一通道为红色通道,第二通道为蓝色通道且第三通道为绿色通道。然而,所描述变换对于不同配置亦为有利的。举例而言,在其他实施例中,第一通道及第二通道可交换和/或第三通道可为白色通道。在以下公式中,R表示第一样本12,B表示第二样本22,且G表示第三样本24或更精确而言,表示其样本值。亦出于说明性目的而非限制性的,将第一竖直方向选择为顶部方向,将第二竖直方向选择为底部方向,且将水平方向选择为左方及右方。用l为待供计算相应色彩坐标的样本位置的左方相邻样本编索引,用r为右方相邻样本编索引,用t为顶部相邻样本编索引且用b为底部相邻样本编索引,且用lt、lb、rt、rb为对应对角线方向编索引。因此,第一色彩坐标110可被称作第一色度差通道Cr,第二色彩坐标120可被称作第二色度差通道Cb,第三色彩坐标130可被称作第一洋红色通道M1,第四色彩坐标140可被称作第二洋红色通道M2,差分色彩坐标250可被称作洋红色差分通道Δ,且组合色彩坐标260可被称作平均洋红色通道M。
根据实施例,在第三加权和134'及第四中加权和144'中的每个中,用于第一色彩坐标110的总权重等于用于第二色彩坐标120的总权重,且相应加权和的权重的总和等于一。对于此特定状况且结合第一加权和114'及第二加权和124'为相等加权和,此可形成第三通道(例如,绿色通道)的空间高通,且所得组合色彩坐标的高频率分量或DC分量主要或甚至仅含有第一及第二通道的分量,例如红色及蓝色分量,但不含有第三通道的分量,例如绿色分量。因此,在第一及第二通道表示其余通道及蓝色通道的状况下,组合色彩坐标可被称作洋红色通道(M)。换言之,M的DC分量可为红色及蓝色通道的平均值,从而获得其名称「洋红色」。然而,例如第三及第四列举步骤的提升步骤可确保可从Cb、Cr及M重建绿色DC分量,将CFA模式影像的能量压紧成洋红色通道可导致更高效编码,从而将信噪比减小例如0.3dB。
举例而言,在第一列举步骤中,可根据以下公式计算第一色彩坐标110及第二色彩坐标120,所述公式对于各向同性操作模式被极佳地示出:
在「竖直因果」模式下,Cb的计算中的Gb由Gt替换。在「条带操作模式」下,进行先前替代,且Cr的计算中的Gt亦由Gb替换。
在第二提升步骤中,可在各向同性操作模式下根据下式计算第三色彩坐标130及第四色彩坐标140:
举例而言,M1样本位于顶部行处,且M2通道位于底部行上。在竖直因果操作模式下,M2的计算中的Cr,b可由Cr,t替换,在条带操作模式下,另外,Cb,t可由Cb,b替换。替代规则类似于第一提升步骤的规则,亦即,通过从上方或下方反射类似样本来建立不可用样本。
在以上关于M1及M2的公式中,用于第一色彩坐标110(Cr)的权重实施为2的第一幂,且用于第二色彩坐标120(Cb)的权重实施为2的第二幂。对于r=b=1的状况,2的第一幂的指数及2的第二幂的指数二者均等于-2,从而导致用于第一及第二色彩坐标中的每个的权重为1/4,使得第三加权和134'及第四加权和144'的权重的总和在此状况下为1,因此提供用于在第一通道及第二通道分别为红色及蓝色通道的状况下将CFA模式影像的能量压紧成洋红色通道的例示性实施方案。
根据实施例,第五加权和254'为第五加权和254'的第四色彩坐标140的相等加权平均值。举例而言,在此状况下,差分色彩坐标250可主要表示前两个第三通道的差分分量,使得差分色彩坐标250可尤其小,此允许高效编码。
举例而言,在各向同性及竖直因果操作模式下,可根据下式计算差分色彩坐标250:
在条带操作模式下,Mlt可由Mlb替换且Mrt由Mrb替换。
根据实施例,第六加权和264'为第六加权和264'的第四色彩坐标的相等加权平均值,且第六加权和264'的权重的总和等于二分之一。
举例而言,可根据下式计算组合色彩坐标260:
因此,所描述变换可在组合色彩坐标216中接触第一及第二通道的能量。在竖直因果模式及条带操作模式下,Δlb可由Δlt替换且Δrb可由Δrt替换。
举例而言,变换的最终输出(例如,压紧的经变换表示249)可为(M,Cb,Cr,Δ)样本的阵列。这些样本可为进一步空间去相关的输入。可选地,仅Δ可能不需要额外空间去相关。
图4说明用于编码CFA模式影像10的装置100的另一示例。如所示出,装置100可另外包含量化器480及熵编码器490。量化器480可通过量化经变换表示149(亦即,样本集群20的第一至第四色彩坐标110、120、130、140)或替代地量化压紧的经变换表示249(亦即,样本集群20的第一色彩坐标110及第二色彩坐标120以及差分色彩坐标250及组合色彩坐标260)来得出经量化表示482。熵编码器490可编码经量化表示482,以便获得可提供为影像表示70的经编码表示495。
可选地,装置100可进一步包含空间去相关级475,其可使用空间去相关变换(例如,离散余弦变换或离散小波变换)以进一步空间去相关经变换表示149或压紧的经变换表示249。在一个示例中,空间去相关级475将空间去相关变换应用于第一至第四色彩坐标110、120、130、140或第一色彩坐标110、第二色彩坐标120、差分色彩坐标250及组合色彩坐标260,以便获得空间去相关表示478,基于所述表示,量化器480可得出经量化表示482。在另一示例中,空间去相关级475将空间去相关变换应用于第一色彩坐标110、第二色彩坐标120及组合色彩坐标2060以便获得空间去相关表示478,且量化器480可从空间去相关表示478及样本集群20的差分色彩坐标250得出经量化表示482。
图5示出用于解码影像表示70以便获得CFA模式影像10的装置500的示意性表示。装置500被配置为针对样本集群20的每个样本集群20'而从第一至第四色彩坐标110、120、130、140计算第一样本12'、第二样本14'及两个第三样本16A'、16B'。
装置500可针对相应样本集群20'的第三样本位置26'而通过形成在相应样本集群20'的第三样本位置26'处的第三色彩坐标130'与第一经滤波色彩坐标132'的差来计算相应第三样本位置26'处的第三样本16A'。另外,装置500可针对每个样本集群20'的第四样本位置28'而通过形成在相应样本集群20'的第四样本位置28'处的第四色彩坐标140'与第二经滤波色彩坐标142'的差来计算相应第四样本位置28'处的第三样本16B'。可从第一及第二色彩坐标获得第一经滤波色彩坐标132及第二经滤波色彩坐标142,如关于装置100所描述。
在后续步骤中,装置500可针对每个样本集群20'的第一样本位置22'而通过形成在相应样本集群20'的第一样本位置22'处的第一色彩坐标110'与第一经滤波第三样本值112'的总和来计算相应第一样本位置22'处的第一样本12'。另外,装置500可针对每个样本集群20'的第二样本位置24'而通过形成在相应样本集群20'的第二样本位置24'处的第二色彩坐标120'与第二经滤波第三样本值122'的总和来计算相应第二样本位置14'处的第二样本14'。可根据如关于装置100所描述的前一步骤,从针对第三样本位置26及第四样本位置28而计算的第三样本16获得第一经滤波第三样本值112及第二经滤波第三样本值122。
与装置100等效地,装置500可包含用于计算第一至第六加权和的一组操作模式。根据实施例,装置500可从发信号通知影像表示的数据流得出待用于解码影像表示的操作模式,且可相应地选择一组操作模式中的一个。
图6说明装置500的另一示例,装置被配置为从可在影像表示70内发信号通知的第一色彩坐标110及第二色彩坐标120以及差分色彩坐标250及组合色彩坐标260获得第一至第四样本12、14、16A、16B。图6中所示出的实施例包含关于图5中所示出的实施例的用于从差分色彩坐标250及组合色彩坐标260计算第三色彩坐标130及第四色彩坐标140的两个额外步骤。出于彼目的,装置500可针对相应样本集群20'的第四样本位置28'而通过形成在相应样本集群20'的第四样本位置28'处的组合色彩坐标260'与经滤波差分色彩坐标262'的差来计算相应第四样本位置28'处的第四色彩坐标140'。可从差分色彩坐标250获得经滤波差分色彩坐标262,如关于装置100所描述。
在后续步骤中,装置500可针对相应样本集群20'的第三样本位置26'而通过形成在相应样本集群20'的第三样本位置26'处的差分色彩坐标250'与经滤波第四色彩坐标252'的总和来计算相应第三样本位置26'处的第三色彩坐标130'。可从第四色彩坐标140获得经滤波第四色彩坐标252,如关于装置100所描述。
图7示出进一步包含熵解码器590及反量化器580的装置500的另一示例的示意性表示。熵解码器590可解码可表示影像表示70的经编码表示495,以便获得经量化表示482。反量化器580可使用反量化程序以便从经量化表示482获得可指示为经变换表示149的第一至第四色彩坐标110、120、130、140,或替代地获得可指示为压紧的经变换表示249的第一色彩坐标110、第二色彩坐标120、差分色彩坐标250及组合色彩坐标260。
可选地,反量化器580提供如关于装置100(参见图4)所介绍的空间去相关表示478,且装置500进一步包含反空间去相关级575,所述反空间去相关级可使用反空间去相关变换(例如,反离散余弦变换或反离散小波变换)以得出第一至第四色彩坐标110、120、130、140或第一色彩坐标110、第二色彩坐标120、差分色彩坐标250及组合色彩坐标260。
根据另一选项,反量化器580提供空间去相关表示478及差分色彩坐标250,且装置500进一步包含可使用反空间去相关变换以得出第一色彩坐标110、第二色彩坐标120及组合色彩坐标260的反空间去相关级575。
对于用于将影像表示70解码成CFA模式影像10的装置500的其他细节,参考装置100的描述。尽管用相同附图标记指示的信号例如由于量化损失而可能不同,但用如关于装置100的相同附图标记指示的装置500的特征具有等效功能性且可等效地实施,如在相应描述中所介绍。
在下文中,描述根据第一及第二方面的本公开的实施例。示出基于装置100的实施例,如关于图1所描述。
在根据本公开的第一方面的实施例中,以使得第三加权和134'的权重的总和大于二分之一的方式计算第三加权和134',且以使得第四加权和144'的权重的总和大于二分之一的方式得出第四加权和144'。
在根据本公开的第二方面的实施例中,第一加权和114'的第三样本16的第三样本位置26超出相应样本集群20'所位于的阵列的当前行56。举例而言,可计算第一加权和114',如关于各向同性操作模式或竖直因果操作模式所描述。可选地,亦可根据竖直因果操作模式或各向同性操作模式中的一个执行第二至第六加权和124'、134'、144'、254'、264'的计算。换言之,根据本公开的第二方面,装置100、500可包含各向同性操作模式及竖直因果操作模式中的一个。上文描述了这些操作模式的不同的可能实施方案。
根据第二方面的其他实施例可另外包含条带操作模式。举例而言,装置100、500可在条带操作模式与第一操作模式之间进行选择,所述第一操作模式可例如对应于各向同性或竖直因果操作模式。根据实施例,装置100可被配置为在数据流中发信号通知用于计算影像表示70的操作模式,在数据流中发信号通知影像表示70。因此,装置500可被配置为从数据流得出待用于解码影像表示70以便获得CFA模式影像的操作模式。
尽管已在装置的内容背景下将一些方面描述为特征,但显然,此描述亦可被视为方法的对应特征的描述。尽管已在方法的内容背景下将一些方面描述为特征,但显然,此描述亦可被视为关于装置的功能性的对应特征的描述。
可由(或使用)比如微处理器、可编程计算机或电子电路的硬件装置执行方法步骤中的一些或全部。在一些实施例中,可由此装置执行最重要方法步骤中的一个或多个。
本发明的经编码影像信号可储存于数字储存介质上,或可在诸如无线传输介质或诸如因特网的有线传输介质的传输介质上传输。
取决于某些实施方案要求,本发明的实施例可以硬件或软件或至少部分地以硬件或至少部分地以软件实施。可使用例如软盘、DVD、蓝光(Blu-Ray)、CD、ROM、PROM、EPROM、EEPROM或闪存的数字储存介质来执行实施方案,所述数字储存介质具有储存于其上的电子可读控制信号,所述电子可读控制信号与可编程计算机系统协作(或能够协作)使得执行相应方法。因此,数字储存介质可为计算机可读的。
根据本发明的一些实施例包含具有电子可读控制信号的数据载体,所述控制信号能够与可编程计算机系统协作,使得执行本文中所描述的方法中的一个。
一般而言,本发明的实施例可实施为具有程序代码的计算机程序产品,当计算机程序产品在计算机上运行时,程序代码操作性地用于执行所述方法中的一个。程序代码可例如储存于机器可读载体上。
其他实施例包含储存于机器可读载体上的用于执行本文中所描述的方法中的一个的计算机程序。
换言之,本发明方法的实施例因此为计算机程序,其具有用于在计算机程序运行于计算机上时执行本文中所描述的方法中的一个的程序代码。
因此,本发明方法的另一实施例为数据载体(或数字储存介质,或计算机可读介质),其包含记录于其上的用于执行本文中所描述的方法中的一个的计算机程序。数据载体、数字储存介质或记录介质通常为有形的及/或非暂时性的。
因此,本发明方法的另一实施例为表示用于执行本文中所描述的方法中的一个的计算机程序的数据流或信号序列。数据流或信号序列可例如被配置为经由数据通信连接(例如,经由因特网)而传送。
另一实施例包含处理构件,例如经配置或经调适以执行本文中所描述的方法中的一个的计算机或可编程逻辑设备。
另一实施例包含计算机,其上安装有用于执行本文中所描述的方法中的一个的计算机程序。
根据本发明的另一实施例包含被配置为(例如,电子地或光学地)将用于执行本文中所描述的方法中的一个的计算机程序传送至接收器的装置或系统。接收器可例如为计算机、移动设备、内存设备等。装置或系统可例如包含用于将计算机程序传送至接收器的文件服务器。
在一些实施例中,可编程逻辑设备(例如,现场可编程门阵列)可用以执行本文中所描述的方法的功能性中的一些或全部。在一些实施例中,现场可编程门阵列可与微处理器合作,以便执行本文中所描述的方法中的一个。一般而言,所述方法优选地由任何硬件装置执行。
本文中所描述的装置可使用硬件装置或使用计算机或使用硬件装置与计算机的组合来实施。
本文中所描述的方法可使用硬件装置或使用计算机或使用硬件装置与计算机的组合来执行。
在前述实施方式中,可见各种特征出于精简本公开的目的而在示例中分组在一起。不应将本公开的方法解译为反映以下意图:所主张示例要求比各技术方案中明确叙述更多的特征。相反,如以下权利要求所反映,主题可在于少于单个所揭露示例的全部的特征。因此,以下权利要求特此并入实施方式中,其中各权利要求就其自身而言可作为分开示例。虽然各权利要求就其自身而言可作为分开实例,但应注意,尽管从属权利要求可能在权利要求书中提及与一或多个其他权利要求的特定组合,但其他示例亦可包括从属权利要求与各其他从属权利要求的主题的组合或各特征与其他从属或独立权利要求的组合。除非陈述并不希望特定组合,否则在本文中提议此等组合。此外,希望亦包括权利要求对于任何其他独立权利要求的特征,即使并不直接使此权利要求附属于独立权利要求亦如此。
上文所描述的实施例仅说明本公开的原理。应理解,本文中所描述的配置及细节的修改及变化对于本领域技术人员恩怨将为显而易见的。因此,其仅希望由接下来的权利要求的范围限制,而非由藉助于本文中实施例的描述及解释所呈现的特定细节限制。
Claims (78)
1.一种用于将影像表示(70)解码成CFA模式影像(10)的装置(500),
其中所述CFA模式影像(10)包含第一通道的第一样本(12)、第二通道的第二样本(14)及第三通道的第三样本(16),
其中所述CFA模式影像被分割成样本集群(20),所述样本集群中的每个包含第一至第四样本位置,其中所述第一样本(12)中的一个位于第一样本位置(22)处,所述第二样本(14)中的一个位于第二样本位置(24)处,且两个第三样本(16A;16B)分别位于第三样本位置及第四样本位置(26;28)处,
其中所述装置被配置为针对每个样本集群(20)而得出相应样本集群(20’)的第一样本位置(22’)的第一色彩坐标(110’)、所述相应样本集群(20’)的第二样本位置(24’)的第二色彩坐标(120’)、所述相应样本集群(20’)的第三样本位置(26’)的第三色彩坐标(130')及所述相应样本集群(20’)的第四样本位置(28’)的第四色彩坐标(140’),
其中所述装置被配置为通过以下操作将所述影像表示解码成所述CFA影像:
对于每个样本集群的所述第三样本位置(26’),通过形成在所述第三样本位置处的所述第三色彩坐标(130')与第一经滤波色彩坐标(132')的差而计算相应第三样本位置(26’)处的第三样本(16A’),所述第一经滤波色彩坐标(132’)通过以使得位于与所述第三样本位置(26’)相邻的第一及第二样本位置(22;24)处的第一及第二色彩坐标(110;120)的第三加权和(134’)的权重的总和大于二分之一的方式形成所述第三加权和(134’)来得出,
对于每个样本集群的所述第四样本位置,通过形成在所述第四样本位置(28’)处的所述第四色彩坐标(140’)与第二经滤波色彩坐标(142’)的差而计算相应第四样本位置处的第三样本,所述第二经滤波色彩坐标(142’)通过以使得位于与所述第四样本位置(28’)相邻的第一及第二样本位置(22;24)处的第一及第二色彩坐标(110;120)的第四加权和(144’)的权重的总和大于二分之一的方式形成所述第四加权和(144’)来得出,
对于每个样本集群(20’)的所述第一样本位置(22’),通过形成在所述第一样本位置(22’)处的所述第一色彩坐标(110’)与第一经滤波第三样本值(112’)的总和而计算相应第一样本位置(22’)处的所述第一样本(12’),所述第一经滤波第三样本值(112’)通过形成针对与所述第一样本位置(22’)相邻的第三样本位置及第四样本位置(26;28)而计算的第三样本(16)的第一加权和(114’)来得出,
对于每个样本集群(20’)的所述第二样本位置(24’),通过形成在所述第二样本位置(24’)处的所述第二色彩坐标(120’)与第二经滤波第三样本值(122’)的总和而计算相应第二样本位置(24’)处的第二样本(14’),所述第二经滤波第三样本值(122’)通过形成针对与所述第二样本位置(24’)相邻的第三样本位置及第四样本位置(26;28)而计算的第三样本(16)的第二加权和(124’)来得出。
2.如权利要求1所述的装置(500),其中所述第三加权和及所述第四加权和(134’;144’)的所述权重由用于对第一色彩坐标(110)进行加权的第一权重及用于对第二色彩坐标(120)进行加权的第二权重组成。
3.如权利要求2所述的装置(500),其中所述第一权重实施为2的第一幂,且其中所述第二权重实施为2的第二幂,2的所述第一幂及所述第二幂的指数为整数。
4.如权利要求1至3中任一项所述的装置(500),其中所述第一至第四样本位置以具有第一类型(52)的行及第二类型(54)的行的阵列布置,第一类型的行各自包含交替地布置的第一样本位置(22)及第三样本位置(26),第二类型的行包含交替地布置的第二样本位置(24)及第三样本位置(28),其中所述第一类型的行及所述第二类型的行沿着所述阵列的列(62;64)交替地布置,且其中一方面所述第一类型的行内的所述第三样本位置及另一方面所述第二类型的行内的所述第三样本位置位于不同列(62;64)中。
5.如权利要求4的装置(500),其中所述装置包含一组操作模式,其包含各向同性操作模式、竖直因果操作模式及条带操作模式中的至少一个,其中除了位于所述CFA模式影像的边缘处的样本集群以外,所述装置被配置为排他地包括以下各者以针对所述相应样本集群的样本位置中的一个而计算色彩坐标中的一个或多个,
在所述各向同性操作模式下,位于所述相应样本集群所位于的一或多个当前行(56)内的样本位置处的样本及位于所述当前行(56)上方及下方的行中的样本,
在所述竖直因果操作模式下,位于所述当前行内的样本位置处的样本及位于所述当前行(56)上方的一或多个行中的样本,以及
在所述条带操作模式下,位于所述当前行(56)内的样本位置处的样本。
6.如权利要求5所述的装置(500),其中所述装置被配置为选择所述一组操作模式中的一个且其中所述装置被配置为从用信号通知所述影像表示的数据流得出待用于解码所述影像表示的操作模式。
7.如权利要求1至6中任一项所述的装置(500),其中所述第三加权和及所述第四加权和(134’;144’)为相应第一及第二色彩坐标(110;120)的相等加权平均值。
8.如权利要求1至7中任一项所述的装置(500),其中所述装置被配置为使用舍入运算从所述第一加权和(114’)得出所述第一经滤波第三样本值(112’),从所述第二加权和(124')得出所述第二经滤波第三样本值(122’),从所述第三加权和(134’)得出所述第一经滤波色彩坐标(132’),且从所述第四加权和(144’)得出所述第二经滤波色彩坐标(142’)。
9.如权利要求1至8中任一项所述的装置(500),其中所述装置被配置为通过以下操作来得出所述第三及第四色彩坐标(130;140):
对于每个样本集群的所述第四样本位置(28’),通过形成在所述第四样本位置(28’)处的组合色彩坐标(260)与经滤波差分色彩坐标(262’)的差而计算所述相应第四样本位置(28’)处的所述第四色彩坐标(140),所述经滤波差分色彩坐标(262’)通过形成位于与所述第四样本位置(28’)相邻的第三样本位置(26)处的差分色彩坐标(250)的第五加权和(254’)来得出,
对于每个样本集群的所述第三样本位置(26’),通过形成在所述第三样本位置(26’)处的所述差分色彩坐标(250)与经滤波第四色彩坐标(252’)的总和而计算所述相应第三样本位置(26’)处的所述第三色彩坐标(130),所述经滤波第四色彩坐标(252’)通过形成针对与所述第三样本位置(26’)相邻的第四样本位置(28)而计算的第四色彩坐标(140)的第六加权和(264’)来得出。
10.如权利要求8所述的装置(500),其中所述装置被配置为使用舍入运算从所述第五加权和(254’)得出所述经滤波差分色彩坐标(262’)且从所述第六加权和(264’)得出所述经滤波第四色彩坐标(252’)。
11.如权利要求9或10所述的装置(500),其中所述等第一至第四样本位置以具有第一类型(52)的行及第二类型(54)的行的阵列布置,第一类型的行各自包含交替地布置的第一样本位置(22)及第三样本位置(26),第二类型的行包含交替地布置的第二样本位置(24)及第三样本位置(28),其中所述第一类型的行及所述第二类型的行沿着所述阵列的列(62;64)交替地布置,且其中一方面所述第一类型的行内的所述第三样本位置及另一方面所述第二类型的行内的所述第三样本位置位于不同列中,且其中所述装置具有各向同性操作模式,其中,
所述第一加权和(114’)的所述第三样本(16)包含在所述阵列的竖直及水平方向上与所述第一样本位置(22’)相邻的所述第三样本,
所述第二加权和(124’)的所述第三样本(16)包含在所述阵列的竖直及水平方向上与所述第二样本位置(24’)相邻的所述第三样本,
所述第三加权和(134’)的所述第一及第二色彩坐标(110;120)包含针对在所述阵列的竖直及水平方向上与所述第三样本位置(26’)相邻的第一及第二样本位置而计算的所述第一及第二色彩坐标,
所述第四加权和(144’)的所述第一及第二色彩坐标(110;120)包含针对在所述阵列的竖直及水平方向上与所述四样本位置(28’)相邻的第一及第二样本位置而计算的所述第一及第二色彩坐标,
所述第五加权和(254’)的所述第四色彩坐标(140)包含针对在所述阵列的对角线方向上与所述第三样本位置(26’)相邻的第四样本位置而计算的所述第四色彩坐标,
所述第六加权和(264’)的所述差分色彩坐标(250)包含针对在所述阵列的对角线方向上与所述第四样本位置(28’)相邻的第三样本位置而计算的所述差分色彩坐标。
12.如权利要求9至11中任一项所述的装置(500),其中所述第一至第四样本位置以具有第一类型(52)的行及第二类型(54)的列的阵列布置,第一类型的行各自包含交替地布置的第一样本位置(22)及第三样本位置(26),第二类型的行包含交替地布置的第二样本位置(24)及第三样本位置(28),其中所述第一类型的行及所述第二类型的行沿着所述阵列的列(62;64)交替地布置,且其中一方面所述第一类型的行内的所述第三样本位置及另一方面所述第二类型的行内的所述第三样本位置位于不同列中,且其中所述装置具有竖直因果操作模式,其中,
所述第一加权和(114’)的所述第三样本(16)由在所述阵列的竖直及水平方向上与所述第一样本位置(22’)相邻的所述第三样本组成,
所述第二加权和(124’)的所述第三样本(16)由在所述阵列的水平方向及第一竖直方向上与所述第二样本位置(24’)相邻的所述第三样本组成,其中在水平方向上与所述第二样本位置(22’)相邻的所述第三样本的所述第二加权和的权重的总和等于在所述第一竖直方向上与所述第二样本位置(22’)相邻的所述第三样本的所述第二加权和的权重,
所述第三加权和(134’)的所述第一及第二色彩坐标(110;120)由针对在所述阵列的竖直及水平方向上与所述第三样本位置(26’)相邻的第一及第二样本位置而计算的所述第一及第二色彩坐标组成,
所述第四加权和(144’)的所述第一及第二色彩坐标(110;120)由针对在所述阵列的水平方向及所述第一竖直方向上与所述第四样本位置(28’)相邻的第一及第二样本位置而计算的所述第一及第二色彩坐标组成,
所述第五加权和(254’)的所述第四色彩坐标(140)由针对在所述阵列的对角线方向上与所述第三样本位置相邻的第四样本位置而计算的所述第四色彩坐标组成,
所述第六加权和(264’)的所述差分色彩坐标(250)由针对在所述阵列的第一对角线方向及第二对角线方向上与所述第四样本位置(28’)相邻的第三样本位置而计算的所述差分色彩坐标组成,其中所述第一对角线方向及所述第二对角线方向的竖直分量指向与所述第一竖直方向相同的方向。
13.如权利要求9至12中任一项所述的装置(500),其中所述第一至第四样本位置以具有第一类型(52)的行及第二类型(54)的行的阵列布置,第一类型的行各自包含交替地布置的第一样本位置(22)及第三样本位置(26),第二类型的行包含交替地布置的第二样本位置(24)及第三样本位置(28),其中所述第一类型的行及所述第二类型的行沿着所述阵列的列(62;64)交替地布置,且其中一方面所述第一类型的行内的所述第三样本位置及另一方面所述第二类型的行内的所述第三样本位置位于不同列中,且其中所述装置具有条带操作模式,其中,
所述第一加权和(114’)的所述第三样本(16)由在所述阵列的水平方向及第二竖直方向上与所述第一样本位置相邻的所述第三样本组成,其中在水平方向上与所述第二样本位置相邻的所述第三样本的所述加权和的权重的总和等于在所述第二竖直方向上与所述第二样本位置相邻的所述第三样本的所述加权和的权重,
所述第二加权和(124’)的所述第三样本(16)由在所述阵列的水平方向及第一竖直方向上与所述第二样本位置相邻的所述第三样本组成,其中在水平方向上与所述第二样本位置相邻的所述第三样本的所述加权和的权重的总和等于在所述第一竖直方向上与所述第一样本位置相邻的所述三样本的所述加权和的权重,
所述第三加权和(134’)的所述第一及第二色彩坐标(110;120)由针对在所述阵列的水平方向及所述第二竖直方向上与所述第三样本位置相邻的第一及第二样本位置而计算的所述第一及第二色彩坐标组成,
所述第四加权和(144’)的所述第一及第二色彩坐标(110;120)由针对在所述阵列的水平方向及所述第一竖直方向上与所述第四样本位置(28’)相邻的第一及第二样本位置而计算的所述第一及第二色彩坐标组成,
所述第五加权和(254’)的所述第四色彩坐标(140)由针对在所述阵列的第三对角线方向及第四对角线方向上与所述第三样本位置(26’)相邻的第四样本位置而计算的所述第四色彩坐标(140)组成,其中所述第三对角线方向及所述第四对角线方向的竖直分量指向与所述第二竖直方向相同的方向,
所述第六加权和(264’)的所述差分色彩坐标(250)由针对在所述阵列的第一对角线方向及第二对角线方向上与所述第四样本位置(28’)相邻的第三样本位置而计算的所述差分色彩坐标组成,其中所述第一对角线方向及所述第二对角线方向的竖直分量指向与所述第一竖直方向相同的方向。
14.如权利要求9至13中任一项所述的装置(500),其中所述第六加权和(264’)为相等加权和,其中所述第六加权和(264’)的权重的总和等于二分之一。
15.如权利要求9至14中任一项所述的装置(500),其中所述第五加权和(254’)为所述第四色彩坐标(250)的相等加权平均值。
16.如权利要求1至15中任一项所述的装置(500),其中所述装置被配置为接收经编码表示(495)作为所述影像表示(70),且其中所述装置进一步包含
熵解码器(590),被配置为解码所述经编码表示(495)以便得出所述影像表示的经量化表示(482),以及
反量化器(580),被配置为通过反量化程序得出所述第一至第四色彩坐标(110;120;130;140)或所述第一色彩坐标、所述第二色彩坐标、所述差分色彩坐标及所述组合色彩坐标(110;120;250;260)。
17.如权利要求1至15中任一项的装置(500),其中所述装置被配置为接收经编码表示(495)作为所述影像表示(70),且其中所述装置进一步包含
熵解码器(590),被配置为解码所述经编码表示(495)以便得出所述影像表示的经量化表示(482),
反量化器(580),被配置为通过反量化程序基于所述经量化表示(482)而得出空间去相关表示(478),以及
反空间去相关级(575),被配置为通过使用反空间去相关变换从所述空间去相关表示(478)得出所述第一至第四色彩坐标(110;120;130;140)或所述第一色彩坐标、所述第二色彩坐标、所述差分色彩坐标及所述组合色彩坐标(110;120;250;260)。
18.如权利要求9至15中任一项所述的装置(500),其中所述装置被配置为接收经编码表示(495)作为所述影像表示(70),且其中所述装置进一步包含
熵解码器(590),被配置为解码所述经编码表示(495)以便得出所述影像表示的经量化表示(482),
反量化器(580),被配置为通过反量化程序基于所述经量化表示(482)而得出空间去相关表示(478)及所述差分色彩坐标(250),以及
反空间去相关级(575),被配置为通过使用反空间去相关变换从所述空间去相关表示(478)得出所述第一色彩坐标、所述第二色彩坐标及所述组合色彩坐标(110;120;260)。
19.一种用于将CFA模式影像(10)编码成影像表示(70)的装置(100),
其中所述CFA模式影像(10)包含第一通道的第一样本(12)、第二通道的第二样本(14)及第三通道的第三样本(16),
其中所述CFA模式影像被分割成样本集群(20),所述样本集群中的每个包含第一至第四样本位置,其中所述第一样本(12)中的一个位于第一样本位置(22)处,所述第二样本(14)中的一个位于第二样本位置(24)处,且两个第三样本(16A;16B)分别位于第三样本位置及第四样本位置(26;28)处,其中所述装置被配置为通过以下操作将所述CFA模式影像编码成所述影像表示:
对于每个样本集群的所述第一样本位置(22’),计算第一色彩坐标(110’)使得所述第一色彩坐标(110’)表示在所述第一样本位置(22’)处的所述第一样本(12’)与第一经滤波第三样本值(112’)的差,所述第一经滤波第三样本值(112’)通过形成与所述第一样本位置(22’)相邻的第三样本(16)的第一加权和(114’)来得出,对于每个样本集群的所述第二样本位置(24’),计算第二色彩坐标(120’)使得所述第二色彩坐标(120’)表示在所述第二样本位置(14’)处的所述第二样本(14’)与第二经滤波第三样本值(122’)的差,所述第二经滤波第三样本值(122’)通过形成与所述第二样本位置(24’)相邻的第三样本(16)的第二加权和(124’)来得出,对于每个样本集群的所述第三样本位置(26’),通过形成在所述第三样本位置(26’)处的所述第三样本(16A’)与第一经滤波色彩坐标(132’)的总和而计算第三色彩坐标(130’),所述第一经滤波色彩坐标(132’)通过以使得针对与所述第三样本位置(26’)相邻的第一及第二样本位置(22;24)而计算的第一及第二色彩坐标(110;120)的第三加权和(134’)的权重的总和大于二分之一的方式形成所述第三加权和(134’)来得出,
对于每个样本集群的所述第四样本位置(28’),通过形成在所述第四样本位置(28’)处的所述第三样本(16B’)与第二经滤波色彩坐标(142’)的总和而计算第四色彩坐标(140’),所述第二经滤波色彩坐标(142’)以使得针对与所述第四样本位置(28’)相邻的第一及第二样本位置(22;24)而计算的第一及第二色彩坐标(110;
120)的第四加权和(144’)的权重的总和大于二分之一的方式形成所述第四加权和来得出。
20.如权利要求19所述的装置(100),其中所述第三加权和及所述第四加权和(134’;144’)的所述权重由用于对第一色彩坐标(1110)进行加权的第一权重及用于对第二色彩坐标(120)进行加权的第二权重组成。
21.如权利要求20所述的装置(100),其中所述第一权重实施为2的第一幂,且其中所述第二权重实施为2的第二幂,2的所述第一幂及所述第二幂的指数为整数。
22.如权利要求19至21中任一项所述的装置(100),其中所述第一至第四样本位置以具有第一类型(52)的行及第二类型(54)的行的阵列布置,第一类型的行各自包含交替地布置的第一样本位置(22)及第三样本位置(26),第二类型的行包含交替地布置的第二样本位置(24)及第三样本位置(28),其中所述第一类型的行及所述第二类型的行沿着所述阵列的行(62;64)交替地布置,且其中一方面所述第一类型的行内的所述第三样本位置及另一方面所述第二类型的行内的所述第三样本位置位于不同列(62;64)中。
23.如权利要求22所述的装置(100),其中所述装置包含一组操作模式,其包含各向同性操作模式、竖直因果操作模式及条带操作模式下的至少一个,其中除了位于所述CFA模式影像的边缘处的样本集群以外,所述装置被配置为排他地包括以下各者以针对相应样本集群的样本位置中的一个而计算色彩坐标中的一个或多个,
在所述各向同性操作模式下,位于所述相应样本集群所位于的一或多个当前行(56)内的样本位置处的样本及位于所述当前行上方及下方的行中的样本,
在所述竖直因果操作模式下,位于所述当前行内的样本位置处的样本及位于所述当前行(56)上方的一个或多个行中的样本,以及
在所述条带操作模式下,位于所述当前行(56)内的样本位置处的样本。
24.如权利要求23所述的装置(100),其中所述装置被配置为选择所述一组操作模式中的一个且其中所述装置被配置为在数据流中发信号通知用于获得所述影像表示的操作模式,在所述数据流中发信号通知所述影像表示。
25.如权利要求19至24中任一项所述的装置(100),其中所述第三加权和及所述第四加权和(134’;144’)为相应第一及第二色彩坐标(110;120)的相等加权平均值
26.如权利要求19至25中任一项所述的装置(100),其中所述装置被配置为使用舍入运算从所述第一加权和(114’)得出所述第一经滤波第三样本值(112’),从所述第二加权和(124’)得出所述第二经滤波第三样本值(122’),从所述第三加权和(134’)得出所述第一经滤波色彩坐标(132’),且从所述第四加权和(144’)得出所述第二经滤波色彩坐标(142’)。
27.如权利要求19至26中任一项的装置(100),其中所述装置(100)被配置为将所述第三及第四色彩坐标(130;140)用作中间值以
对于每个样本集群的所述第三样本位置(26’),通过形成在所述第三样本位置(26’)处的所述第三色彩坐标(130’)与经滤波第四色彩坐标(252’)的差而计算差分色彩坐标(250’),所述经滤波第四色彩坐标(252’)通过形成针对与所述第三样本位置(26’)相邻的第四样本位置(28)而计算的第四色彩坐标(140)的第五加权和(254’)来得出,
对于每个样本集群的所述第四样本位置(28’),通过形成在所述第四样本位置(28’)处的所述第四色彩坐标(140’)与经滤波差分色彩坐标(262’)的总和而计算组合色彩坐标(260),所述经滤波差分色彩坐标(262’)通过形成针对与所述第四样本位置(28’)相邻的第三样本位置(26)而计算的差分色彩坐标(250)的第六加权和(264’)来得出。
28.如权利要求27所述的装置(100),其中所述装置被配置为使用舍入运算从所述第五加权和(254’)得出所述经滤波差分色彩坐标(262’)且从所述第六加权和(264’)得出所述经滤波第四色彩坐标(252’)。
29.如权利要求27或28所述的装置(100),其中所述第一至第四样本位置以具有第一类型(52)的行及第二类型(54)的行的阵列布置,第一类型的行各自包含交替地布置的第一样本位置(22)及第三样本位置(26),第二类型的行包含交替地布置的第二样本位置(24)及第三样本位置(28),其中所述第一类型的行及所述第二类型的行沿着所述阵列的列(62;64)交替地布置,且其中一方面所述第一类型的行内的所述第三样本位置及另一方面所述第二类型的行内的所述第三样本位置位于不同列中,且其中所述装置具有各向同性操作模式,其中,
所述第一加权和(114’)的所述第三样本(16)包含在所述阵列的竖直及水平方向上与所述第一样本位置(22’)相邻的所述第三样本,
所述第二加权和(124’)的所述第三样本(16)包含在所述阵列的竖直及水平方向上与所述第二样本位置(24’)相邻的所述第三样本,
所述第三加权和(134’)的所述第一及第二色彩坐标(110;120)包含针对在所述阵列的竖直及水平方向上与所述第三样本位置(26’)相邻的第一及第二样本位置而计算的所述第一及第二色彩坐标,
所述第四加权和(144’)的所述第一及第二色彩坐标(110;120)包含针对在所述阵列的竖直及水平方向上与所述第四样本位置(28’)相邻的第一及第二样本位置而计算的所述第一及第二色彩坐标,
所述第五加权和(254’)的所述第四色彩坐标(140)包含针对在所述阵列的对角线方向上与所述第三样本位置(26’)相邻的第四样本位置而计算的所述第四色彩坐标,
所述第六加权和(264’)的所述差分色彩坐标(250)包含针对在所述阵列的对角线方向上与所述第四样本位置(28’)相邻的第三样本位置而计算的所述差分色彩坐标。
30.如权利要求27至29中任一项所述的装置(100),其中所述第一至第四样本位置以具有第一类型(52)的行及第二类型(54)的行的阵列布置,第一类型的行各自包含交替地布置的第一样本位置(22)及第三样本位置(26),第二类型的行包含交替地布置的第二样本位置(24)及第三样本位置(28),其中所述第一类型的行及所述第二类型的行沿着所述阵列的列(62;64)交替地布置,且其中一方面所述第一类型的行内的所述第三样本位置及另一方面所述第二类型的行内的所述第三样本位置位于不同列中,且其中所述装置具有竖直因果操作模式,其中,
所述第一加权和(114’)的所述第三样本(16)由在所述阵列的竖直及水平方向上与所述第一样本位置(22’)相邻的所述第三样本组成,
所述第二加权和(124’)的所述第三样本(16)由在所述阵列的水平方向及第一竖直方向上与所述第二样本位置(24’)相邻的所述第三样本组成,其中在水平方向上与所述第二样本位置(22’)相邻的所述第三样本的所述第二加权和的权重的总和等于在所述第一竖直方向上与所述第二样本位置(22’)相邻的所述第三样本的所述第二加权和的权重,
所述第三加权和(134’)的所述第一及第二色彩坐标(110;120)由针对在所述阵列的竖直及水平方向上与所述第三样本位置(26’)相邻的第一及第二样本位置而计算的所述第一及第二色彩坐标组成,
所述第四加权和(144’)的所述第一及第二色彩坐标(110;120)由针对在所述阵列的水平方向及所述第一竖直方向上与所述第四样本位置(28’)相邻的第一及第二样本位置而计算的所述第一及第二色彩坐标组成,
所述第五加权和(254’)的所述第四色彩坐标(140)由针对在所述阵列的对角线方向上与所述第三样本位置相邻的第四样本位置而计算的所述第四色彩坐标组成,
所述第六加权和(264’)的所述差分色彩坐标(250)由针对在所述阵列的第一对角线方向及第二对角线方向上与所述第四样本位置(28’)相邻的第三样本位置而计算的所述差分色彩坐标组成,其中所述第一对角线方向及所述第二对角线方向的竖直分量指向与所述第一竖直方向相同的方向。
31.如权利要求27至30中任一项所述的装置(100),其中所述第一至第四样本位置以具有第一类型(52)的行及第二类型(54)的行的阵列布置,第一类型的行各自包含交替地布置的第一样本位置(22)及第三样本位置(26),第二类型的行包含交替地布置的第二样本位置(24)及第三样本位置(28),其中所述第一类型的行及所述第二类型的行沿着所述阵列的列(62;64)交替地布置,且其中一方面所述第一类型的行内的所述第三样本位置及另一方面所述第二类型的行内的所述第三样本位置位于不同列中,且其中所述设备具有条带操作模式,其中,
所述第一加权和(114’)的所述第三样本(16)由在所述阵列的水平方向及第二竖直方向上与所述第一样本位置相邻的所述第三样本组成,其中在水平方向上与所述第二样本位置相邻的所述第三样本的所述加权和的权重的总和等于在所述第二竖直方向上与所述第二样本位置相邻的所述第三样本的所述加权和的权重,
所述第二加权和(124’)的所述第三样本(16)由在所述阵列的水平方向及第一竖直方向上与所述第二样本位置相邻的所述第三样本组成,其中在水平方向上与所述第二样本位置相邻的所述第三样本的所述加权和的权重的总和等于在所述第一竖直方向上与所述第一样本位置相邻的所述第三样本的所述加权和的权重,
所述第三加权和(134’)的所述第一及第二色彩坐标(110;120)由针对在所述阵列的水平方向及所述第二竖直方向上与所述第三样本位置相邻的第一及第二样本位置而计算的所述第一及第二色彩坐标组成,
所述第四加权和(144’)的所述第一及第二色彩坐标(110;120)由针对在所述阵列的水平方向及所述第一竖直方向上与所述第四样本位置(28’)相邻的第一及第二样本位置而计算的所述第一及第二色彩坐标组成,
所述第五加权和(254’)的所述第四色彩坐标(140)由针对在所述阵列的第三对角线方向及第四对角线方向上与所述第三样本位置(26’)相邻的第四样本位置而计算的所述第四色彩坐标(140)组成,其中所述第三对角线方向及所述第四对角线方向的竖直分量指向与所述第二竖直方向相同的方向,
所述第六加权和(264’)的所述差分色彩坐标(250)由针对在所述阵列的第一对角线方向及第二对角线方向上与所述第四样本位置(28’)相邻的第三样本位置而计算的所述差分色彩坐标组成,其中所述第一对角线方向及所述第二对角线方向的竖直分量指向与所述第一竖直方向相同的方向。
32.如权利要求27至31中任一项所述的装置(100),其中所述第六加权和(264’)为相等加权和,其中所述第六加权和(264’)的权重的总和等于二分之一。
33.如权利要求27至32中任一项所述的装置(100),其中所述第五加权和(254’)为所述第四色彩坐标(250)的相等加权平均值。
34.如权利要求19至33中任一项所述的装置(100),其中所述CFA影像模式(10)从多个传感器组件获得,所述传感器组件中的每个与所述第一通道、所述第二通道及所述第三通道中的一个相关联,其中与共同通道相关联的传感器组件被配置为检测特定于所述通道的共同波长范围内的光。
35.如权利要求19至34中任一项所述的装置(100),进一步包含:
量化器(480),被配置为基于所述第一至第四色彩坐标(110;120;130;140)或基于所述第一色彩坐标、所述第二色彩坐标、所述差分色彩坐标及所述组合色彩坐标(110;120;250;260)而得出经量化表示(482),以及
熵编码器(490),被配置为编码所述经量化表示(482)以便得出经编码表示(495)。
36.如权利要求35所述的装置(100),其中所述装置进一步包含空间去相关级(475),所述空间去相关级被配置为通过使用空间去相关变换基于所述第一至第四色彩坐标(110;120;130;140)或基于所述第一色彩坐标、所述第二色彩坐标、所述差分色彩坐标及所述组合色彩坐标(110;120;250;260)而得出空间去相关表示(478),且其中所述量化器(480)被配置为从所述空间去相关表示(478)得出所述经量化表示(482)。
37.如权利要求27至34中任一项所述的装置(100),进一步包含:
空间去相关级(475),被配置为通过使用空间去相关变换基于所述第一色彩坐标、所述第二色彩坐标及所述组合色彩坐标(110;120;260)而得出空间去相关表示(478),
量化器(480),被配置为从所述空间去相关表示(478)及所述差分色彩坐标(250)得出经量化表示(482),以及
熵编码器(490),被配置为编码所述经量化表示(482)以便得出经编码表示(495)
38.一种用于将影像表示(70)解码成CFA模式影像(10)的装置(500),
其中所述CFA模式影像(10)包含第一通道的第一样本(12)、第二通道的第二样本(14)及第三通道的第三样本(16),
其中所述CFA模式影像被分割成样本集群(20),所述样本集群中的每个包含第一至第四样本位置,其中所述第一样本(12)中的一个位于第一样本位置(22)处,所述第二样本(14)中的一个位于所述第二样本位置(24)处,且两个第三样本(16A;16B)分别位于第三样本位置及第四样本位置(26;28)处,
其中所述装置被配置为针对每个样本集群(20)而得出相应样本集群(20’)的第一样本位置(22’)的第一色彩坐标(110’)、所述相应样本集群(20’)的第二样本位置(24’)的第二色彩坐标(120’)、所述相应样本集群(20’)的第三样本位置(26’)的第三色彩坐标(130’)及所述相应样本集群(20’)的第四样本位置(28’)的第四色彩坐标(140),
其中所述第一至第四样本位置以具有第一类型(52)的行及第二类型(54)的行的阵列布置,第一类型的行各自包含交替地布置的第一样本位置(22)及第三样本位置(26),第二类型的行包含交替地布置的第二样本位置(24)及第三样本位置(28),其中所述第一类型的行及所述第二类型的行沿着所述阵列的列(62;64)交替地布置,且其中一方面所述第一类型的行内的所述第三样本位置及另一方面所述第二类型的行内的所述第三样本位置位于不同列(62;64)中,
其中所述装置被配置为通过以下操作将所述影像表示解码成所述CFA影像:
对于每个样本集群(20’)的所述第三样本位置(26’),通过形成在所述第三样本位置处的所述第三色彩坐标(130’)与第一经滤波色彩坐标(132’)的差而计算相应第三样本位置(26’)处的所述第三样本(16A’),所述第一经滤波色彩坐标通过形成位于与所述第三样本位置(26’)相邻的第一及第二样本位置(22;24)处的第一及第二色彩坐标(110;120)的第三加权和(134’)来得出,
对于每个样本集群的所述第四样本位置,通过形成在所述第四样本位置(28’)处的所述第四色彩坐标(140’)与第二经滤波差分色彩坐标(142’)的差而计算相应第四样本位置处的所述第三样本,所述第二经滤波色彩坐标(142’)通过形成位于与所述第四样本位置(28’)相邻的第一及第二样本位置(22;24)处的第一及第二色彩坐标(110;120)的第四加权和(144’)来得出,
对于每个样本集群(20’)的所述第一样本位置(22’),通过形成在所述第一样本位置(22’)处的所述第一色彩坐标(110’)与第一经滤波第三样本值(112’)的总和而计算相应第一样本位置(22’)处的所述第一样本(12’),所述第一经滤波第三样本值(112’)通过形成针对与所述第一样本位置(22’)相邻的第三样本位置及第四样本位置(26;28)而计算的第三样本(16)的第一加权和(114’)来得出,其中
所述第一加权和(114’)的所述第三样本(16)的所述第三样本位置(26)超出所述相应样本集群(20’)所位于的所述阵列的行(56),
对于每个样本集群(20’)的所述第二样本位置(24’),通过形成在所述第二样本位置(24’)处的所述第二色彩坐标(120’)与第二经滤波第三样本值(122’)的总和而计算相应第二样本位置(24’)处的第二样本(14’),所述第二经滤波第三样本值(122’)通过形成针对与所述第二样本位置(24’)相邻的第三样本位置及第四样本位置(26;28)而计算的第三样本(16)的第二加权和(124’)来得出。
39.如权利要求38所述的装置(500),其中所述第三加权和及所述第四加权和(134’;144’)的所述权重由用于对第一色彩坐标(110)进行加权的第一权重及用于对第二色彩坐标(120)进行加权的第二权重组成。
40.如权利要求39所述的装置(500),其中所述第一权重实施为2的第一幂,且其中所述第二权重实施为2的第二幂,2的所述第一幂及所述第二幂的指数为整数。
41.如权利要求38至40中任一项所述的装置(500),其中所述第三加权和及所述第四加权和为相应第一及第二色彩坐标的相等加权平均值。
42.如权利要求38至41中任一项所述的装置(500),其中所述装置包含一组操作模式,其中在第一操作模式下,所述第一加权和的所述第三样本(16)的所述第三样本位置(26)超出所述相应样本集群(20’)所位于的所述阵列的当前行(56),且其中所述装置包含条带操作模式,其中所述第一加权和(114’)的所述第三样本(16)由位于所述当前行(56)内的样本组成。
43.如权利要求42所述的装置(500),其中所述装置被配置为选择所述一组操作模式中的一个且其中所述装置被配置为从发信号通知所述影像表示的数据流得出待用于解码所述影像表示的操作模式。
44.如权利要求38至43中任一项所述的装置(500),其中所述装置被配置为使用舍入运算从所述第一加权和(114’)得出所述第一经滤波第三样本值(112’),从所述第二加权和(124’)得出所述第二经滤波第三样本值(122’),从所述第三加权和(134’)得出所述第一经滤波色彩坐标(132’),且从所述第四加权和(144’)得出所述第二经滤波色彩坐标(142’)。
45.如权利要求38至44中任一项所述的装置(500),其中所述装置被配置为通过以下操作来得出所述第三及第四色彩坐标(130;140):
对于每个样本集群的所述第四样本位置(28’),通过形成在所述第四样本位置(28’)处的组合色彩坐标(260)与经滤波差分色彩坐标(262’)的差而计算所述相应第四样本位置(28’)处的所述第四色彩坐标(140),所述经滤波差分色彩坐标(262’)通过形成位于与所述第四样本位置(28’)相邻的第三样本位置(26)处的差分色彩坐标(250)的第五加权和(254’)来得出,
对于每个样本集群的所述第三样本位置(26’),通过形成在所述第三样本位置(26’)处的所述差分色彩坐标(250)与经滤波第四色彩坐标(252’)的总和而计算所述相应第三样本位置(26’)处的所述第三色彩坐标(130),所述经滤波第四色彩坐标(252’)通过形成针对与所述第三样本位置(26’)相邻的第四样本位置(28)而计算的第四色彩坐标(140)的第六加权和(264’)来得出。
46.如权利要求45所述的装置(500),其中所述装置被配置为使用舍入运算从所述第五加权和(254’)得出所述经滤波差分色彩坐标(262’)且从所述第六加权和(264’)得出所述经滤波第四色彩坐标(252’)。
47.如权利要求45或46所述的装置(500),其中所述装置具有各向同性操作模式,其中,
所述第一加权和(114’)的所述第三样本(16)包含在所述阵列的竖直及水平方向上与所述第一样本位置(22’)相邻的所述第三样本,
所述第二加权和(124’)的所述第三样本(16)包含在所述阵列的竖直及水平方向上与所述第二样本位置(24’)相邻的所述第三样本,
所述第三加权和(134’)的所述第一及第二色彩坐标(110;120)包含针对在所述阵列的竖直及水平方向上与所述第三样本位置(26’)相邻的第一及第二样本位置而计算的所述第一及第二色彩坐标,
所述第四加权和(144’)的所述第一及第二色彩坐标(110;120)包含针对在所述阵列的竖直及水平方向上与所述第四样本位置(28’)相邻的第一及第二样本位置而计算的所述第一及第二色彩坐标,
所述第五加权和(254’)的所述第四色彩坐标(140)包含针对在所述阵列的对角线方向上与所述第三样本位置(26’)相邻的第四样本位置而计算的所述第四色彩坐标,
所述第六加权和(264’)的所述差分色彩坐标(250)包含针对在所述阵列的对角线方向上与所述第四样本位置(28’)相邻的第三样本位置而计算的所述差分色彩坐标。
48.如权利要求45至47中任一项所述的装置(500),其中所述装置具有竖直因果操作模式,其中,
所述第一加权和(114’)的所述第三样本(16)由在所述阵列的竖直及水平方向上与所述第一样本位置(22’)相邻的所述第三样本组成,
所述第二加权和(124’)的所述第三样本(16)由在所述阵列的水平方向及第一竖直方向上与所述第二样本位置(24’)相邻的所述第三样本组成,其中在水平方向上与所述第二样本位置(22’)相邻的所述第三样本的所述第二加权和的权重的总和等于在所述第一竖直方向上与所述第二样本位置(22’)相邻的所述第三样本的所述第二加权和的权重,
所述第三加权和(134’)的所述第一及第二色彩坐标(110;120)由针对在所述阵列的竖直及水平方向上与所述第三样本位置(26’)相邻的第一及第二样本位置而计算的所述第一及第二色彩坐标组成,
所述第四加权和(144’)的所述第一及第二色彩坐标(110;120)由针对在所述阵列的水平方向及所述第一竖直方向上与所述第四样本位置(28’)相邻的第一及第二样本位置而计算的所述第一及第二色彩坐标组成,
所述第五加权和(254’)的所述第四色彩坐标(140)由针对在所述阵列的对角线方向上与所述第三样本位置相邻的第四样本位置而计算的所述第四色彩坐标组成,
所述第六加权和(264’)的所述差分色彩坐标(250)由针对在所述阵列的第一对角线方向及第二对角线方向上与所述第四样本位置(28’)相邻的第三样本位置而计算的所述差分色彩坐标组成,其中所述第一对角线方向及所述第二对角线方向的竖直分量指向与所述第一竖直方向相同的方向。
49.如权利要求45至48中任一项所述的装置(500),其中所述装置具有条带操作模式,其中,
所述第一加权和(114’)的所述第三样本(16)由在所述阵列的水平方向及第二竖直方向上与所述第一样本位置相邻的所述第三样本组成,其中在水平方向上与所述第二样本位置相邻的所述第三样本的所述加权和的权重的总和等于在所述第二竖直方向上与所述第二样本位置相邻的所述第三样本的所述加权和的权重,
所述第二加权和(124’)的所述第三样本(16)由在所述阵列的水平方向及第一竖直方向上与所述第二样本位置相邻的所述第三样本组成,其中在水平方向上与所述第二样本位置相邻的所述第三样本的所述加权和的权重的总和等于在所述第一竖直方向上与所述第一样本位置相邻的所述第三样本的所述加权和的权重,
所述第三加权和(134’)的所述第一及第二色彩坐标(110;120)由针对在所述阵列的水平方向及所述第二竖直方向上与所述第三样本位置相邻的第一及第二样本位置而计算的所述第一及第二色彩坐标组成,
所述第四加权和(144’)的所述第一及第二色彩坐标(110;120)由针对在所述阵列的水平方向及所述第一竖直方向上与所述第四样本位置(28’)相邻的第一及第二样本位置而计算的所述第一及第二色彩坐标组成,
所述第五加权和(254’)的所述第四色彩坐标(140)由针对在所述阵列的第三对角线方向及第四对角线方向上与所述第三样本位置(26’)相邻的第四样本位置而计算的所述第四色彩坐标组成,其中所述第三对角线方向及所述第四对角线方向的竖直分量指向与所述第二竖直方向相同的方向,
所述第六加权和(264’)的所述差分色彩坐标(250)由针对在所述阵列的第一对角线方向及第二对角线方向上与所述第四样本位置(28’)相邻的第三样本位置而计算的所述差分色彩坐标组成,其中所述第一对角线方向及所述第二对角线方向的竖直分量指向与所述第一竖直方向相同的方向。
50.如权利要求45至49中任一项所述的装置(500),其中所述第六加权和(264’)为相等加权和,其中所述第六加权和(264’)的权重的总和等于二分之一。
51.如权利要求45至50中任一项所述的装置(500),其中所述第五加权和(254’)为所述第四色彩坐标(250)的相等加权平均值。
52.如权利要求38至51中任一项所述的装置(500),其中所述装置被配置为接收经编码表示(495)作为所述影像表示(70),且其中所述装置进一步包含:
熵解码器(5900),被配置为解码所述经编码表示(495)以便得出所述影像表示的经量化表示(482),以及
反量化器(580),被配置为通过反量化程序得出所述第一至第四色彩坐标(110;120;130;140)或所述第一色彩坐标、所述第二色彩坐标、所述差分色彩坐标及所述组合色彩坐标(110;120;250;260)。
53.如权利要求38至51中任一项所述的装置(500),其中所述装置被配置为接收经编码表示(495)作为所述影像表示(70),且其中所述装置进一步包含:
熵解码器(590),被配置为解码所述经编码表示(495)以便得出所述影像表示的经量化表示(482),
反量化器(580),被配置为通过反量化程序基于所述经量化表示(482)而得出空间去相关表示(478),以及
反空间去相关级(575),被配置为通过使用反空间去相关变换从所述空间去相关表示(478)得出所述等第一至第四色彩坐标(110;120;130;140)或所述第一色彩坐标、所述第二色彩坐标、所述差分色彩坐标及所述组合色彩坐标(110;120;250;260)。
54.如权利要求45至51中任一项所述的装置(500),其中所述装置被配置为接收经编码表示(495)作为所述影像表示(70),且其中所述装置进一步包含:
熵解码器(590),被配置为解码所述经编码表示(495)以便得出所述影像表示的经量化表示(482),
反量化器(580),被配置为通过反量化程序基于所述经量化表示(482)而得出空间去相关表示(478)及所述差分色彩坐标(250),以及
反空间去相关级(575),被配置为通过使用反空间去相关变换从所述空间去相关表示(478)得出所述第一色彩坐标、所述第二色彩坐标及所述组合色彩坐标(110;120;260)。
55.一种用于将CFA模式影像(10)编码成影像表示(70)的装置(100),
其中所述CFA模式影像(10)包含第一通道的第一样本(12)、第二通道的第二样本(14)及第三通道的第三样本(16),
其中所述CFA模式影像被分割成样本集群(20),所述样本集群中的每个包含第一至第四样本位置,其中所述第一样本(12)中的一个位于第一样本位置(22)处,所述第二样本(14)中的一个位于第二样本位置(24)处,且两个第三样本(16A;16B)分别位于第三样本位置及第四样本位置(26;28)处,
其中所述第一至第四样本位置以具有第一类型(52)的行及第二类型(54)的行的阵列布置,第一类型的行各自包含交替地布置的第一样本位置(22)及第三样本位置(26),第二类型的行包含交替地布置的第二样本位置(24)及第三样本位置(28),其中所述第一类型的行及所述第二类型的行沿着所述阵列的列(62;64)交替地布置,且其中一方面所述第一类型的行内的所述第三样本位置及另一方面所述第二类型的行内的所述第三样本位置位于不同列(62;64)中,
其中所述装置被配置为通过以下操作将所述CFA模式影像编码成所述影像表示:
对于每个样本集群的所述第一样本位置(22’),计算第一色彩坐标(110’)使得所述第一色彩坐标(110’)表示在所述第一样本位置(22’)处的所述第一样本(12’)
与第一经滤波第三样本值(112’)的差,所述第一经滤波第三样本值(112’)通过形成与所述第一样本位置(22’)相邻的第三样本(16)的第一加权和(114’)来得出,其中所述第一加权和(114’)的所述第三样本(16)的所述第三样本位置(26)超出相应样本集群(20’)所位于的所述阵列的行(56),
对于每个样本集群的所述第二样本位置(24’),计算第二色彩坐标(120’)使得所述第二色彩坐标(120’)表示在所述第二样本位置(14’)处的所述第二样本(14’)
与第二经滤波第三样本值(122’)的差,所述第二经滤波第三样本值(122’)通过形成与所述第二样本位置(24’)相邻的第三样本(16)的第二加权和(124’)来得出,对于每个样本集群的所述第三样本位置(26’),通过形成在所述第三样本位置(26’)处的所述第三样本(16A’)与第一经滤波色彩坐标(132’)的总和而计算第三色彩坐标(130’),所述第一经滤波色彩坐标(132’)通过形成针对与所述第三样本位置(26’)相邻的第一及第二样本位置(22;24)而计算的第一及第二色彩坐标(110;
120)的第三加权和(134’)来得出,
对于每个样本集群的所述第四样本位置(28’),通过形成在所述第四样本位置(28’)处的所述第三样本(16B’)与第二经滤波色彩坐标(142’)的总和而计算第四色彩坐标(140’),所述第二经滤波色彩坐标(142’)通过针对位于与所述第四样本位置(28’)相邻的第一及第二样本位置(22;24)而计算的第一及第二色彩坐标(110;
120)的第四加权和(144’)来得出。
56.如权利要求55所述的装置(100),其中所述第三加权和及所述第四加权和(134’;144’)的所述权重由用于对第一色彩坐标(110)进行加权的第一权重及用于对第二色彩坐标(120)进行加权的第二权重组成。
57.如权利要求56所述的装置(100),其中所述第一权重实施为2的第一幂,且其中所述第二权重实施为2的第二幂,2的所述第一幂及所述第二幂的指数为整数。
58.如权利要求55至57中任一项所述的装置(100),其中所述第三加权和及所述第四加权和(134’;144’)为相应第一及第二色彩坐标(110;120)的相等加权平均值。
59.如权利要求55至58中任一项所述的装置(100),其中所述装置包含一组操作模式,其中在第一操作模式下,所述第一加权和的所述第三样本(16)的所述第三样本位置(26)超出所述相应样本集群(20’)所位于的所述阵列的当前行(56),且其中所述装置包含条带操作模式,其中所述第一加权和(114’)的所述第三样本(16)由位于所述当前行(56)内的样本组成。
60.如权利要求59所述的装置(100),其中所述装置被配置为选择所述一组操作模式中的一个且其中所述设备被配置为在数据流中发信号通知用于获得所述影像表示的操作模式,在所述数据流中发信号通知所述影像表示。
61.如权利要求55至60中任一项所述的装置(100),其中所述装置被配置为使用舍入运算从所述第一加权和(114’)得出所述第一经滤波第三样本值(112’),从所述第二加权和(124’)得出所述第二经滤波第三样本值(122’),从所述第三加权和(134’)得出所述第一经滤波色彩坐标(132’),且从所述第四加权和(144’)得出所述第二经滤波色彩坐标(142’)。
62.如权利要求55至61中任一项所述的装置(100),其中所述装置(100)被配置为将所述第三及第四色彩坐标(130;140)用作中间值以
对于每个样本集群的所述第三样本位置(26’),通过形成在所述第三样本位置(26’)处的所述第三色彩坐标(130’)与经滤波第四色彩坐标(252’)的差而计算差分色彩坐标(250’),所述经滤波第四色彩坐标(252’)通过形成针对与所述第三样本位置(26’)相邻的第四样本位置(28)而计算的第四色彩坐标(140)的第五加权和(254’)来得出,
对于每个样本集群的所述第四样本位置(28’),通过形成在所述第四样本位置(28’)处的所述第四色彩坐标(140’)与经滤波差分色彩坐标(262’)的总和而计算组合色彩坐标(260),所述经滤波差分色彩坐标(262’)通过形成针对与所述第四样本位置(28’)相邻的第三样本位置(26)而计算的差分色彩坐标(250)的第六加权和(264’)来得出。
63.如权利要求62所述的装置(100),其中所述装置被配置为使用舍入运算从所述第五加权和(254’)得出所述经滤波差分色彩坐标(262’)且从所述第六加权和(264’)得出所述经滤波第四色彩坐标(252’)。
64.如权利要求62或63所述的装置(100),其中多个操作模式包含各向同性操作模式,其中,
所述第一加权和(114’)的所述第三样本(16)包含在所述阵列的竖直及水平方向上与所述第一样本位置(22’)相邻的所述第三样本,
所述第二加权和(124’)的所述第三样本(16)包含在所述阵列的竖直及水平方向上与所述第二样本位置(24’)相邻的所述第三样本,
所述第三加权和(134’)的所述第一及第二色彩坐标(110;120)包含针对在所述阵列的竖直及水平方向上与所述第三样本位置(26’)相邻的第一及第二样本位置而计算的所述第一及第二色彩坐标,
所述第四加权和(144’)的所述第一及第二色彩坐标(110;120)包含针对在所述阵列的竖直及水平方向上与所述第四样本位置(28’)相邻的第一及第二样本位置而计算的所述第一及第二色彩坐标,
所述第五加权和(254’)的所述第四色彩坐标(140)包含针对在所述阵列的对角线方向上与所述第三样本位置(26’)相邻的第四样本位置而计算的所述第四色彩坐标,
所述第六加权和(264’)的所述差分色彩坐标(250)包含针对在所述阵列的对角线方向上与所述第四样本位置(28’)相邻的第三样本位置而计算的所述差分色彩坐标。
65.如权利要求62至64中任一项所述的装置(100),其中所述多个操作模式包含竖直因果操作模式,其中,
所述第一加权和(114’)的所述第三样本(16)由在所述阵列的竖直及水平方向上与所述第一样本位置(22’)相邻的所述第三样本组成,
所述第二加权和(124’)的所述第三样本(16)由在所述阵列的水平方向及第一竖直方向上与所述第二样本位置(24’)相邻的所述第三样本组成,其中在水平方向上与所述第二样本位置(22’)相邻的所述第三样本的所述第二加权和的权重的总和等于在所述第一竖直方向上与所述第二样本位置(22’)相邻的所述第三样本的所述第二加权和的权重,
所述第三加权和(134’)的所述第一及第二色彩坐标(110;120)由针对在所述阵列的竖直及水平方向上与所述第三样本位置(26’)相邻的第一及第二样本位置而计算的所述第一及第二色彩坐标组成,
所述第四加权和(144’)的所述第一及第二色彩坐标(110;120)由针对在所述阵列的水平方向及所述第一竖直方向上与所述第四样本位置(28’)相邻的第一及第二样本位置而计算的所述第一及第二色彩坐标组成,
所述第五加权和(254’)的所述第四色彩坐标(140)由针对在所述阵列的对角线方向上与所述第三样本位置相邻的第四样本位置而计算的所述第四色彩坐标组成,
所述第六加权和(264’)的所述差分色彩坐标(250)由针对在所述阵列的第一对角线方向及第二对角线方向上与所述第四样本位置(28’)相邻的第三样本位置而计算的所述差分色彩坐标组成,其中所述第一对角线方向及所述第二对角线方向的竖直分量指向与所述第一竖直方向相同的方向。
66.如权利要求62至65中任一项所述的装置(100),其中在所述条带操作模式下,
所述第一加权和(114’)的所述第三样本(16)由在所述阵列的水平方向及第二竖直方向上与所述第一样本位置相邻的所述第三样本组成,其中在水平方向上与所述第二样本位置相邻的所述第三样本的所述加权和的权重的总和等于在所述第二竖直方向上与所述第二样本位置相邻的所述第三样本的所述加权和的权重,
所述第二加权和(124’)的所述第三样本(16)由在所述阵列的水平方向及第一竖直方向上与所述第二样本位置相邻的所述第三样本组成,其中在水平方向上与所述第二样本位置相邻的所述第三样本的所述加权和的权重的总和等于在所述第一竖直方向上与所述第一样本位置相邻的所述第三样本的所述加权和的权重,
所述第三加权和(134’)的所述第一及第二色彩坐标(110;120)由针对在所述阵列的水平方向及所述第二竖直方向上与所述第三样本位置相邻的第一及第二样本位置而计算的所述第一及第二色彩坐标组成,
所述第四加权和(144’)的所述第一及第二色彩坐标(110;120)由针对在所述阵列的水平方向及所述第一竖直方向上与所述第四样本位置(28’)相邻的第一及第二样本位置而计算的所述第一及第二色彩坐标组成,
所述第五加权和(254’)的所述第四色彩坐标(140)由针对在所述阵列的第三对角线方向及第四对角线方向上与所述第三样本位置(26’)相邻的第四样本位置而计算的所述第四色彩坐标(140)组成,其中所述第三对角线方向及所述第四对角线方向的竖直分量指向与所述第二竖直方向相同的方向,
所述第六加权和(264’)的所述差分色彩坐标(250)由针对在所述阵列的第一对角线方向及第二对角线方向上与所述第四样本位置(28’)相邻的第三样本位置而计算的所述差分色彩坐标组成,其中所述第一对角线方向及所述第二对角线方向的竖直分量指向与所述第一竖直方向相同的方向。
67.如权利要求62至66中任一项所述的装置(100),其中所述第六加权和(264’)为相等加权和,其中所述第六加权和(264’)的权重的总和等于二分之一。
68.如权利要求62至67中任一项所述的装置(100),其中所述第五加权和(254’)为所述第四色彩坐标(250)的相等加权平均值。
69.如权利要求55至68中任一项所述的装置(100),其中所述CFA影像模式从多个传感器组件获得,所述传感器组件中的每个与所述第一通道、所述第二通道及所述第三通道中的一个相关联,其中与共同通道相关联的传感器组件被配置为检测特定于所述通道的共同波长范围内的光。
70.如权利要求55至69中任一项所述的装置(100),进一步包含:
量化器(480),被配置为基于所述第一至第四色彩坐标(110;120;130;140)或基于所述第一色彩坐标、所述第二色彩坐标、所述差分色彩坐标及所述组合色彩坐标(110;120;250;260)而得出经量化表示(482),以及
熵编码器(490),被配置为编码所述经量化表示(482)以便得出经编码表示(495)。
71.如权利要求70所述的装置(100),其中所装置进一步包含空间去相关级(475),所述空间去相关级(475)被配置为通过使用空间去相关变换基于所述第一至第四色彩坐标(110;120;130;140)或基于所述第一色彩坐标、所述第二色彩坐标、所述差分色彩坐标及所述组合色彩坐标(110;120;250;260)而得出空间去相关表示(478),且其中所述量化器(480)被配置为从所述空间去相关表示(478)得出所述经量化表示(482)。
72.如权利要求62至69中任一项所述的装置(100),进一步包含:
空间去相关级(475),被配置为通过使用空间去相关变换基于所述第一色彩坐标、所述第二色彩坐标及所述组合色彩坐标(110;120;260)而得出空间去相关表示(478),
量化器(480),被配置为从所述空间去相关表示(478)及所述差分色彩坐标(250)得出经量化表示(482),以及
熵编码器(490),被配置为编码所述经量化表示(482)以便得出经编码表示(495)。
73.一种用于将影像表示(70)解码成CFA模式影像(10)的方法,
其中所述CFA模式影像(10)包含第一通道的第一样本(12)、第二通道的第二样本(14)及第三通道的第三样本(16),
其中所述CFA模式影像被分割成样本集群(20),所述样本集群中的每个包含第一至第四样本位置,其中所述第一样本(12)中的一个位于第一样本位置(22)处,所述第二样本(14)中的一个位于第二样本位置(24)处,且两个第三样本(16A;16B)分别位于第三样本位置及第四样本位置(26;28)处,
其中所述方法包含针对每个样本集群(20)而得出相应样本集群(20’)的所述第一样本位置(22’)的第一色彩坐标(110’)、所述相应样本集群(20’)的所述第二样本位置(24’)的第二色彩坐标(120’)、所述相应样本集群(20’)的所述第三样本位置(26’)的第三色彩坐标(130’)及所述相应样本集群(20’)的所述第四样本位置(28’)的第四色彩坐标(140),
其中所述方法包含通过以下操作将所述影像表示解码成所述CFA影像:
对于每个样本集群的所述第三样本位置(26’),通过形成在所述第三样本位置处的所述第三色彩坐标(130’)与第一经滤波色彩坐标(132’)的差而计算相应第三样本位置(26’)处的所述第三样本(16A’),所述第一经滤波色彩坐标(132’)通过以使得位于与所述第三样本位置(26’)相邻的第一及第二样本位置(22;24)处的第一及第二色彩坐标(110;120)的一第三加权和(134’)的权重的总和大于二分之一的方式形成所述第三加权和(134’)来得出,
对于每个样本集群的所述第四样本位置,通过形成在所述第四样本位置(28’)处的所述第四色彩坐标(140’)与第二经滤波色彩坐标(142’)的差而计算相应第四样本位置处的所述第三样本,所述第二经滤波色彩坐标(142’)通过以使得位于与所述第四样本位置(28’)相邻的第一及第二样本位置(22;24)处的第一及第二色彩坐标(110;120)的第四加权和(144’)的权重的总和大于二分之一的方式形成所述第四加权和(144’)来得出,
对于每个样本集群(20’)的所述第一样本位置(22’),通过形成在所述第一样本位置(22’)处的所述第一色彩坐标(110’)与第一经滤波第三样本值(112’)的总和而计算相应第一样本位置(22’)处的所述第一样本(12’),所述第一经滤波第三样本值(112’)通过形成针对与所述第一样本位置(22’)相邻的第三样本位置及第四样本位置(26;28)而计算的第三样本(16)的第一加权和(114’)来得出,
对于每个样本集群(20’)的所述第二样本位置(24’),通过形成在所述第二样本位置(24’)处的所述第二色彩坐标(120’)与第二经滤波第三样本值(122’)的总和而计算相应第二样本位置(24’)处的第二样本(14’),所述第二经滤波第三样本值(122’)通过形成针对与所述第二样本位置(24’)相邻的第三样本位置及第四样本位置(26;28)而计算的第三样本(16)的第二加权和(124’)来得出。
74.一种用于将CFA模式影像(10)编码成影像表示(70)的方法,
其中所述CFA模式影像(10)包含第一通道的第一样本(12)、第二通道的第二样本(14)及第三通道的第三样本(16),
其中所述CFA模式影像被分割成样本集群(20),所述样本集群中的每个包含第一至第四样本位置,其中所述第一样本(12)中的一个位于第一样本位置(22)处,所述第二样本(14)中的一个位于第二样本位置(24)处,且两个第三样本(16A;16B)分别位于第三样本位置及第四样本位置(26;28)处,其中所述方法包含通过以下操作将所述CFA模式影像编码成所述影像表示:
对于每个样本集群的第一样本位置(22’),计算第一色彩坐标(110’)使得所述第一色彩坐标(110’)表示在所述第一样本位置(22’)处的所述第一样本(12’)与第一经滤波第三样本值(112’)的差,所述第一经滤波第三样本值(112’)通过形成与所述第一样本位置(22’)相邻的第三样本(16)的第一加权和(114’)来得出,
对于每个样本集群的所述第二样本位置(24’),计算第二色彩坐标(120’)使得所述第二色彩坐标(120’)表示在所述第二样本位置(14’)处的所述第二样本(14’)与第二经滤波第三样本值(122’)的差,所述第二经滤波第三样本值(122’)通过形成与所述第二样本位置(24’)相邻的第三样本(16)的第二加权和(124’)来得出,对于每个样本集群的所述第三样本位置(26’),通过形成在所述第三样本位置(26’)处的所述第三样本(16A’)与第一经滤波色彩坐标(132’)的总和而计算第三色彩坐标(130’),所述第一经滤波色彩坐标(132’)通过以使得针对与所述第三样本位置(26’)相邻的第一及第二样本位置(22;24)而计算的第一及第二色彩坐标(110;120)的第三加权和(134’)的权重的总和大于二分之一的方式形成所述第三加权和(134’)来得出,
对于每个样本集群的所述第四样本位置(28’),通过形成在所述第四样本位置(28’)处的所述第三样本(16B’)与第二经滤波色彩坐标(142’)的总和而计算第四色彩坐标(140’),所述第二经滤波色彩坐标(142’)以使得针对与所述第四样本位置(28’)相邻的第一及第二样本位置(22;24)而计算的第一及第二色彩坐标(110;
120)的第四加权和(144’)的权重的总和大于二分之一的方式通过所述第四加权和来得出。
75.一种用于将影像表示(70)解码成CFA模式影像(10)的方法,
其中所述CFA模式影像(10)包含第一通道的第一样本(12)、第二通道的第二样本(14)及第三通道的第三样本(16),
其中所述CFA模式影像被分割成样本集群(20),所述样本集群中的每个包含第一至第四样本位置,其中所述第一样本(12)中的一个位于第一样本位置(22)处,所述第二样本(14)中的一个位于第二样本位置(24)处,且两个第三样本(16A;16B)分别位于第三样本位置及第四样本位置(26;28)处,
其中所述方法包含针对每个样本集群(20)而得出相应样本集群(20’)的所述第一样本位置(22’)的第一色彩坐标(110’)、所述相应样本集群(20’)的所述第二样本位置(24’)的第二色彩坐标(120’)、所述相应样本集群(20’)的所述第三样本位置(26’)的第三色彩坐标(130’)及所述相应样本集群(20’)的所述第四样本位置(28’)的第四色彩坐标(140),
其中所述第一至第四样本位置以具有第一类型(52)的行及第二类型(54)的行的阵列布置,第一类型的行各自包含交替地布置的第一样本位置(22)及第三样本位置(26),第二类型的列包含交替地布置的第二样本位置(24)及第三样本位置(28),其中所述第一类型的行及所述第二类型的行沿着所述阵列的列(62;64)交替地布置,且其中一方面所述第一类型的行内的所述第三样本位置及另一方面所述第二类型的行内的所述第三样本位置位于不同列(62;64)中,
其中所述方法包含通过以下操作将所述影像表示解码成所述CFA影像:
对于每个样本集群(20’)的所述第三样本位置(26’),通过形成在所述第三样本位置处的所述第三色彩坐标(130’)与第一经滤波色彩坐标(132’)的差而计算相应第三样本位置(26’)处的所述第三样本(16A’),所述第一经滤波色彩坐标(132’)通过形成位于与所述第三样本位置(26’)相邻的第一及第二样本位置(22;24)处的第一及第二色彩坐标(110;120)的第三加权和(134’)来得出,
对于每个样本集群的所述第四样本位置,通过形成在所述第四样本位置(28’)处的所述第四色彩坐标(140’)与第二经滤波色彩坐标(142’)的差而计算相应第四样本位置处的所述第三样本,所述第二经滤波色彩坐标(142’)通过形成位于与所述第四样本位置(28’)相邻的第一及第二样本位置(22;24)处的第一及第二色彩坐标(110;120)的第四加权和(144’)来得出,
对于每个样本集群(20’)的所述第一样本位置(22’),通过形成在所述第一样本位置(22’)处的所述第一色彩坐标(110’)与第一经滤波第三样本值(112’)的总和而计算相应第一样本位置(22’)处的所述第一样本(12’),所述第一经滤波第三样本值(112’)通过形成针对与所述第一样本位置(22’)相邻的第三样本位置及第四样本位置(26;28)而计算的第三样本(16)的第一加权和(114’)来得出,其中
所述第一加权和的所述第三样本的所述第三样本位置超出所述相应样本集群所位于的所述阵列的行,
对于每个样本集群(20’)的所述第二样本位置(24’),通过形成在所述第二样本位置(24’)处的所述第二色彩坐标(120’)与第二经滤波第三样本值(122’)的总和而计算相应第二样本位置(24’)处的第二样本(14’),所述第二经滤波第三样本值(122’)通过形成针对与所述第二样本位置(24’)相邻的第三样本位置及第四样本位置(26;28)而计算的第三样本(16)的第二加权和(124’)来得出。
76.一种用于将CFA模式影像(10)编码成影像表示(70)的方法,
其中所述CFA模式影像(10)包含第一通道的第一样本(12)、第二通道的第二样本(14)及第三通道的第三样本(16),
其中所述CFA模式影像被分割成样本集群(20),所述样本集群中的每个包含第一至第四样本位置,其中所述第一样本(12)中的一个位于第一样本位置(22)处,所述第二样本(14)中的一个位于第二样本位置(24)处,且两个第三样本(16A;16B)分别位于第三样本位置及第四样本位置(26;28)处,
其中所述第一至第四样本位置以具有第一类型(52)的行及第二类型(54)的行的阵列布置,第一类型的行各自包含交替地布置的第一样本位置(22)及第三样本位置(26),第二类型的行包含交替地布置的第二样本位置(24)及第三样本位置(28),其中所述第一类型的行及所述第二类型的行沿着所述阵列的列(62;64)交替地布置,且其中一方面所述第一类型的行内的所述第三样本位置及另一方面所述第二类型的行内的所述第三样本位置位于不同列(62;64)中,
其中所述方法包含通过以下操作将所述CFA模式影像编码成所述影像表示:
对于每个样本集群的所述第一样本位置(22’),计算第一色彩坐标(110’)使得所述第一色彩坐标(110’)表示在所述第一样本位置(22’)处的所述第一样本(12’)
与第一经滤波第三样本值(112’)的差,所述第一经滤波第三样本值(112’)通过形成与所述第一样本位置(22’)相邻的第三样本(16)的第一加权和(114’)来得出,其中所述第一加权和的所述第三样本的所述第三样本位置超出相应样本集群所位于的所述阵列的行,
对于每个样本集群的所述第二样本位置(24’),计算第二色彩坐标(120’)使得所述第二色彩坐标(120’)表示在所述第二样本位置(14’)处的所述第二样本(14’)
与第二经滤波第三样本值(122’)的差,所述第二经滤波第三样本值(122’)通过形成与所述第二样本位置(24’)相邻的第三样本(16)的第二加权和(124’)来得出,对于每个样本集群的所述第三样本位置(26’),通过形成在所述第三样本位置(26’)处的所述第三样本(16A’)与第一经滤波色彩坐标(132’)的总和而计算第三色彩坐标(130’),所述第一经滤波色彩坐标(132’)通过形成针对与所述第三样本位置(26’)相邻的第一及第二样本位置(22;24)而计算的第一及第二色彩坐标(110;
120)的第三加权和(134’)来得出,
对于每个样本集群的所述第四样本位置(28’),通过形成在所述第四样本位置(28’)处的所述第三样本(16B’)与第二经滤波色彩坐标(142’)的总和而计算第四色彩坐标(140’),所述第二经滤波色彩坐标(142’)通过针对位于与所述第四样本位置(28’)相邻的第一及第二样本位置(22;24)而计算的第一及第二色彩坐标(110;
120)的第四加权和(144’)来得出。
77.一种计算机程序,用于在执行于计算机或信号处理器上时实施如权利要求65至68中任一项所述的方法。
78.一种数据流,包含通过如权利要求19至37或55至72中任一项所述的装置产生的所述影像表示(70)。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/EP2020/060790 WO2021209143A1 (en) | 2020-04-16 | 2020-04-16 | Decorrelation transform for a color filter array pattern image |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115918081A true CN115918081A (zh) | 2023-04-04 |
Family
ID=70295145
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080102158.3A Pending CN115918081A (zh) | 2020-04-16 | 2020-04-16 | 用于彩色滤波器阵列模式影像的去相关变换 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20230055561A1 (zh) |
EP (1) | EP4136849A1 (zh) |
JP (1) | JP2023521471A (zh) |
KR (1) | KR20230004678A (zh) |
CN (1) | CN115918081A (zh) |
TW (1) | TWI792265B (zh) |
WO (1) | WO2021209143A1 (zh) |
-
2020
- 2020-04-16 KR KR1020227040188A patent/KR20230004678A/ko not_active Application Discontinuation
- 2020-04-16 CN CN202080102158.3A patent/CN115918081A/zh active Pending
- 2020-04-16 WO PCT/EP2020/060790 patent/WO2021209143A1/en unknown
- 2020-04-16 JP JP2022562823A patent/JP2023521471A/ja active Pending
- 2020-04-16 EP EP20720022.1A patent/EP4136849A1/en active Pending
-
2021
- 2021-04-13 TW TW110113262A patent/TWI792265B/zh active
-
2022
- 2022-10-12 US US18/045,859 patent/US20230055561A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4136849A1 (en) | 2023-02-22 |
TWI792265B (zh) | 2023-02-11 |
US20230055561A1 (en) | 2023-02-23 |
WO2021209143A1 (en) | 2021-10-21 |
KR20230004678A (ko) | 2023-01-06 |
JP2023521471A (ja) | 2023-05-24 |
TW202143719A (zh) | 2021-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102419112B1 (ko) | 변환 도메인에서 잔차 부호 예측 방법 및 장치 | |
KR102492116B1 (ko) | 다중 부호 비트 숨기기 및 잔차 부호 예측을 조화시키기 위한 방법 및 장치 | |
KR20010025085A (ko) | 2-차원 이산 웨이브렛 변환을 바탕으로 지각적 무손실이미지를 산출하는 컬러 이미지의 압축 | |
US11533480B2 (en) | Method and apparatus for image filtering with adaptive multiplier coefficients | |
US20130188883A1 (en) | Method and device for processing components of an image for encoding or decoding | |
US20200404339A1 (en) | Loop filter apparatus and method for video coding | |
US7903306B2 (en) | Sensor image encoding and/or decoding system, medium, and method | |
US11765351B2 (en) | Method and apparatus for image filtering with adaptive multiplier coefficients | |
CN104144279B (zh) | 处理图像/视频数据的方法及装置 | |
CN115918081A (zh) | 用于彩色滤波器阵列模式影像的去相关变换 | |
Bazhyna et al. | Lossless and near lossless compression of real color filter array data | |
RU2772313C2 (ru) | Способ и устройство для фильтрации изображений с адаптивными коэффициентами множителя | |
김세윤 | A Study on Lossless Compression of Color Image and Color Filter Array Image | |
Rodrigues | Codificação de Vídeo com um Único Plano de Informação |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |