CN104702926A

CN104702926A - 摄像机

Info

Publication number: CN104702926A
Application number: CN201510041027.XA
Authority: CN
Inventors: 詹姆斯·杰纳德; 托马斯·格雷姆·纳特瑞斯
Original assignee: Red com LLC
Current assignee: Red com LLC
Priority date: 2007-04-11
Filing date: 2008-04-11
Publication date: 2015-06-10
Anticipated expiration: 2028-04-11
Also published as: US8872933B2; US20150002695A1; KR20140109479A; KR20100016214A; US8174560B2; CA2831698A1; US20180124290A1; HK1141893A1; EP2145330A1; CN101689357B; US9230299B2; CA2831698C; TWI451755B; JP5231529B2; EP2145330B1; US8358357B2; MX2009010926A; WO2008128112A1; EP2793219A1; US20170034400A1

Abstract

一种摄像机可配置为以视觉上无损的方式高度压缩视频数据。该摄像机可配置为以提高数据可压缩性的方式对蓝色和红色图像数据进行变换。然后，压缩数据并以这种形式存储。在去马赛克时，对于视觉上无损的原始数据的修改版本，这允许使用者重构红色和蓝色数据以获得原始数据。另外，可按这样的方式处理数据：其中，首先对绿色图像单元进行去马赛克，然后基于去马赛克的绿色图像单元的值来重构红色和蓝色单元。

Description

摄像机

本申请为题为“摄像机”的中国专利申请的分案申请，该中国专利申请的申请号为200880018570.6，申请日为2008年4月11日。

技术领域

本发明涉及数码相机，例如，用于捕获静止或者活动图像的数码相机，更具体地，涉及压缩图像数据的数码相机。

背景技术

尽管有数码摄像机可用，但是大多数活动图像和一些电视广播媒体的制作者仍旧依赖胶片摄像机。这里所用的胶片提供给视频编辑者可通过传统方法编辑的很高分辨率的图像。然而，最近，这种胶片常被扫描、数字化和数码编辑。

发明内容

尽管一些目前可用的数码摄像机包括高分辨率图像传感器，从而输出高分辨率视频；但是，广泛应用在这些摄像机上的图像处理和压缩技术损耗太大，从而消除了太多原始图像数据而无法被上述高端市场接受。这里公开的至少一个实施方式的一个方面包括实现：可被上述高端市场(例如，大多数活动图像市场)接受的视频质量可由这样的相机满足，其可捕获和存储具有至少约2k分辨率和至少约23帧每秒帧频的原始的或者基本上原始的视频数据。

这样，根据一个实施方式，一种摄像机可包含便携壳体、和通过该壳体支撑并配置为聚光的透镜组件。光敏器件可配置为以至少约23帧每秒的帧频将聚焦的光转换为具有至少2k分辨率的原始图像数据。该摄像机还可包括存储器件和图像处理系统，图像处理系统配置为以至少约23帧每秒的帧频和至少6:1的压缩率且基本上保持视觉上无损地压缩和存储原始图像数据到存储器件。

根据另一个实施方式，用相机记录活动视频的方法可包含将光导向光敏器件。该方法还可包括将由光敏器件接收的光转换为具有至少大于23帧每秒帧频的原始数字图像数据、压缩该原始数字图像数据、和将该具有至少约23帧每秒帧频的原始图像数据记录到存储器件。

根据又一个实施方式，一种摄像机可包含通过壳体支撑并配置为聚光的透镜组件和配置为将聚焦的光转换为代表该聚焦的光的原始图像数据的信号的光敏器件。该摄像机还可包括存储器件和用于压缩和记录该具有至少约23帧每秒帧频的原始图像数据的装置。

根据再一个实施方式，一种摄像机可包含具有至少一个把手的便携壳体，其配置为允许使用者在该摄像机的视频记录操作期间，操作关于该壳体至少一个活动自由度的取向。透镜组件可包含通过该壳体支撑并配置为聚光至在该壳体内布置的平面上的至少一个透镜。光敏器件可配置为将聚焦的光转换为具有至少2k水平分辨率和至少约23帧每秒帧频的原始图像数据。存储器件还可配置为存储视频图像数据。图像处理系统可配置为以至少约23帧每秒的帧频和至少6:1的压缩率压缩和存储原始图像数据至该存储器件，而且基本上保持视觉上无损。

这里公开的至少一个实施方式的另一方面包括实现：因人眼对绿色波长比其他任何颜色都更敏感，因此对图像传感器输出的图像数据的基于绿色图像数据的修改可用于提高数据的可压缩性，还提供更高质量的视频图像。这种技术之一可包括在压缩数据之前从探测到的红色和/或蓝色光的量值中减去探测到的绿色光的量值。这可将红色和/或蓝色图像数据转换为更具压缩性的格式。例如，在将伽马校正过的RGB数据转换为Y^’C_bC_r的已知方法中，将图像“去相关”，余下大多数图像数据在Y^’(又名“亮度”)，这样，剩余的色度分量更具压缩性。然而，用于转换为Y^’C_bC_r的已知技术无法直接应用于Bayer模式数据，因为各颜色数据空间不相关，Bayer模式数据包括两倍于蓝色或者红色图像数据的绿色图像数据。根据这里公开的一些实施方式，减去绿色图像数据的方法，可类似于上述Y^’C_bC_r转换，因为大多数图像数据留在绿色图像数据，使剩余的数据成为更具压缩性的格式。

进一步，可将减去绿色图像数据的过程逆反，以保留所有的原始数据。因此，结合了这一技术所产生的系统和方法可提供无损或者视觉上无损以及提高的视频图像数据的可压缩性。

因此，根据一个实施方式，一种摄像机可包含通过壳体支撑并配置为聚光的透镜组件和配置为将聚焦的光转换为代表该聚焦的光的至少第一、第二和第三颜色的图像数据的原始信号的光敏器件。图像处理模块可配置为基于第三颜色的图像数据来修改第一和第二颜色中至少一个的图像数据。另外，该摄像机可包括存储器件和配置为压缩第一、第二和第三颜色的图像数据并将压缩的图像数据存储到存储器件的压缩器件。

根据另一个实施方式，可提供一种处理图像的方法。该方法可包括：将图像转换为代表第一颜色的第一图像数据、代表第二颜色的第二图像数据和代表第三颜色的第三图像数据；基于第三图像数据来修改至少第一图像数据和第二图像数据；压缩第三图像数据和修改的第一和第二图像数据；以及存储压缩的数据。

根据又一个实施方式，一种摄像机可包含通过壳体支撑并配置为聚光的透镜组件。光敏器件可配置为将聚焦的光转换为代表该聚焦的光的至少第一、第二和第三颜色的图像数据的原始信号。该摄像机还可包括：基于第三颜色的图像数据来修改第一和第二颜色中至少一个的图像数据的装置；存储器件；和配置为压缩第一、第二和第三颜色的图像数据并存储压缩的图像数据到存储器件的压缩器件。

附图说明

图1是示出了根据一个实施方式的可包括硬件和/或可配置为执行用于处理视频图像数据的方法的一种系统的方框图；

图2是图1中示意性示出的摄像机的壳体的一个可选实施方式；

图3是可用于图1中所示系统的具有Bayer模式滤波器的图像传感器的示意性分布；

图4是可用于图1中所示系统的图像处理模块的示意性方框图；

图5是来自图3中图像传感器的绿色传感单元的绿色图像数据的示意性分布；

图6是经过删除一些原始绿色图像数据的可选过程以后图5中剩余绿色图像数据的示意性分布；

图7是组织为在图1的图像处理模块中处理的图5中红色、蓝色和绿色图像数据的示意性分布；

图8是示出了可用于图1中所示系统的图像数据转换技术的流程图；

图8A是示出了也可用于图1中所示系统的图像数据转换技术的修改的流程图；

图9是产生于图8中图像转换流程的蓝色图像数据的示意性分布；

图10是产生于图8中图像转换流程的红色图像数据的示意性分布；

图11示出了可应用于图像数据进行伽马校正的示例性可选变换；

图12是可用于图1中系统以对图像数据进行解压缩和去马赛克的控制程序的流程图；

图12A是示出了也可用于图1中所示系统的、图12中控制程序的修改的流程图；

图13是已根据图12中流程图解压缩和去马赛克的绿色图像数据的示意性分布；

图14是已根据图12中流程图解压缩和去马赛克的图13中原始绿色图像数据的一半的示意性分布；

图15是已根据图12中流程图解压缩的蓝色图像数据的示意性分布；以及

图16是已根据图12中流程图去马赛克的图15中蓝色图像数据的示意性分布。

具体实施方式

图1是具有图像传感、处理和压缩模块的相机的示意图，描述为用于活动图像的摄像机的情形。这里公开的实施方式描述为这种情形：具有带Bayer模式滤波器的单个传感器件的摄像机，因为这些实施方式在这种情形下特别有益。然而，这里的实施方式和发明也可应用于具有其他类型的图像传感器(例如，CMY Bayer以及其他非Bayer模式)的相机、具有其他数目的图像传感器的相机、以不同图像格式类型操作的相机、和配置为用于静止和/或活动图像的相机。因此，应该理解，这里公开的实施方式是示例性的、而不是限制性的实施方式，因此，这里公开的发明不限于所公开的示例性实施方式。

继续参照图1，相机10可包括机身或者壳体12，其配置为支撑被配置为探测、处理、和可选择地存储和/或播放视频图像数据的系统14。例如，系统14可包括光学硬件16、图像传感器18、图像处理模块20、压缩模块22、和存储器件24。可选择地，相机10还可包括监视器模块26、播放模块28、和显示器30。

图2示出了相机10的一个非限制性的示例性实施方式。如图2中所示，光学硬件16可通过壳体12以使其外表面露出的方式来支撑。在一些实施方式中，系统14支撑在壳体12中。例如，图像传感器18、图像处理模块20、和压缩模块22可容置在壳体12中。存储器件24可安装在壳体12中。另外，在一些实施方式中，存储器件24可安装在壳体12的外部并通过任何类型的已知连接器或者电缆连接至系统14的剩余部分。另外，存储器件24可用柔性电缆连接至壳体12，从而允许存储器件24在一定程度上独立于壳体12移动。例如，通过这种柔性电缆连接，存储器件24可戴在使用者的腰带上，允许壳体12的总重量减少。进一步，在一些实施方式中，壳体可包括位于其内部和安装到其外部的一个或者多个存储器件24。另外，壳体12也可支撑监视器模块26、和播放模块28。另外，在一些实施方式中，显示器30可配置为安装在壳体12的外部。

光学硬件16可以是配置为将进入的图像聚焦至图像传感器18的、具有至少一个透镜的透镜系统的形式。光学硬件16，可选择地，可以是提供有变焦、孔径和聚焦的多透镜系统的形式。另外，光学硬件16可以是通过壳体12支撑并配置为容纳很多不同类型的透镜系统的透镜座的形式，例如，但不限于，光学硬件16包括配置为容纳各种尺寸的透镜系统的座，上述透镜系统包括50-100毫米(F2.8)变焦镜头、18-50毫米(F2.8)变焦镜头、300毫米(F2.8)透镜、15毫米(F2.8)透镜、24毫米(F1.9)透镜、35毫米(F1.9)透镜、50毫米(F1.9)透镜、85毫米(F1.9)透镜、和/或任何其他透镜。如上所述，光学硬件16可配置使得不管附装哪种透镜，图像都可聚焦至图像传感器18的光敏面。

图像传感器18可以是任何类型的视频传感器件，包括：例如，但不限于，CCD、CMOS、如传感器的垂直堆叠的CMOS器件、或者用棱镜在传感器之间分光的多传感器阵列。在一些实施方式中，图像传感器18可包括具有约1200万感光单元的CMOS器件。然而，还可使用其他尺寸的传感器。在一些结构中，相机10可配置为以“2k”(例如，2048×1152像素)、“4k”(例如，2096×2540像素)、“4.5k”水平分辨率或者更大分辨率输出视频。这里所用，以xk(例如，上述2k和4k)格式表达的术语中，数量x指大致的水平分辨率。照此，“4k”分辨率相当于大约4000或者更多水平像素，“2k”相当于大约2000或者更多像素。使用现有的商业可用硬件，传感器可以小至约0.5英寸(8mm)，但是，它也可以是约1.0英寸，或者更大。另外，图像传感器18可配置为通过选择性输出传感器18的仅预定部分来提供变化的分辨率。例如，传感器18和/或图像处理模块可配置为允许使用者识别图像数据输出的分辨率。

相机10也可配置为下采样并接着处理传感器18的输出以产生2K、1080p、720p、或者任何其他分辨率的视频输出。例如，来自传感器18的图像数据可被“窗采样”，从而减小输出图像的尺寸并允许更高的读出速度。但是，也可使用其他尺寸的传感器。另外，相机10可配置为对传感器18的输出上采样以产生更高分辨率的视频输出。

参照图1至3，在一些实施方式中，传感器18可包括Bayer模式滤波器。照此，传感器18，通过它的芯片组(未示出)输出代表了图像传感器18的各感光单元探测到的红色、绿色或者蓝色光的幅值的数据。图3示意性示出了传感器18的Bayer模式输出。在一些实施方式中，例如，如图3所示，Bayer模式滤波器具有两倍于红色单元数目和蓝色单元数目的绿色单元。图像传感器18的芯片组可用于读取图像传感器的各单元上的电荷，从而以已知的RGB格式输出数值流。

接着参照图4，图像处理模块20可选性地配置为以任何已知的方式形成来自图像传感器18的数据流的格式。在一些实施方式中，图像处理模块20可配置为将绿色、红色和蓝色图像数据分成三个或者四个单独的数据集。例如，图像处理模块20可配置为将红色数据分至一个数据单元，将蓝色数据分至一个蓝色数据单元，以及将绿色数据分至一个绿色数据单元。例如，参照图4，图像处理模块20可包括红色数据处理模块32、蓝色数据图像处理模块34和第一绿色图像数据处理模块36.

然而，如上所述，图3所示Bayer模式数据，具有两倍于另外两种颜色的绿色像素。图5示出了其中移除了蓝色和红色数据而仅余下原始绿色图像数据的数据单元。

在一些实施方式中，相机10可配置为删除或者忽略一些绿色图像数据。例如，在一些实施方式中，图像处理模块20可配置为删除1/2的绿色图像数据以便绿色图像数据的总数与蓝色和红色图像数据的数量一样。例如，图6示出了图像处理模块20删除1/2的绿色图像数据以后的剩余数据。在图6示出的实施方式中，已经删除了行n-3、n-1、n+1和n+3。这仅是可被删除的绿色图像数据的格式的一个示例。也可删除其他格式和其他数量的绿色图像数据。

在一些替换方式中，相机10可配置为在基于绿色图像数据变换红色和蓝色图像数据以后删除1/2的绿色图像数据。这一可选的技术将在描述了从其他颜色图像数据减去绿色图像数据值之后进行描述。

可选地，图像处理模块20可配置为选择性地删除绿色图像数据。例如，图像处理模块20可包括配置为选择性地确定哪些绿色图像数据被删除的删除分析模块(未示出)。例如，这样的删除模块可配置为确定从绿色图像数据中删除一定格式的行是否会导致混叠假象(例如，莫尔条纹)或者其他视觉上可察觉的假象。删除模块可进一步配置为选择一定格式的绿色图像数据进行删除，使得产生这种假象的风险较小。例如，删除模块可配置为，如果其确定图像传感器18捕获的图像包括表现为多个平行水平行的图像特征，则选择交替垂直列的绿色图像数据删除格式。该删除格式可减少或者消除删除平行于图像中探测到的水平行的图像数据的交替行的删除格式可产生的假象，例如，莫尔条纹。

但是，这仅是可被删除模块使用的图像特征和删除格式的类型的一个示例性的、非限制性的例子。删除模块也可配置为探测其他图像特征和使用其他图像数据删除格式，例如，但不限于，交替行、交替对角线、或者其他格式的删除。另外，删除模块可配置为删除其他图像数据(例如，红色和蓝色图像数据)的部分，或者由使用的传感器的类型决定的其他图像数据。

另外，相机10可配置为在图像数据中插入数据字段来指示删除了什么图像数据。例如，但不限于，相机10可配置为在存储器件24中所存储的任何视频剪辑的开头中插入数据字段，来指示在该视频剪辑的每一“帧”删除了什么数据。在一些实施方式中，相机可配置为在通过传感器18捕获的每一帧中插入数据字段，来指示删除了什么图像数据。例如，在图像处理模块20配置为按一个删除格式来删除1/2的绿色图像数据的一些实施方式中，数据字段可以小至一个位的数据字段，来指示是否删除了图像数据。因为图像处理模块20配置为仅按一个格式来删除数据，因此一个位足以指示删除了什么数据。

在一些实施方式中，如上所述，图像处理模块20可配置为按多于一个的格式来选择性地删除图像数据。这样，图像数据删除字段可以大一些，包括足够数目的值以提供指示是使用了这些不同图像数据删除格式中的哪一个。该数据字段可通过下游组件和或处理来使用以确定剩余图像数据相应于哪些空间位置。

在一些实施方式中，图像处理模块可配置为保留所有的原始绿色图像数据，例如，图5所示数据。在这些实施方式中，图像处理模块可包括一个或者多个绿色图像数据处理模块。

如上所述，在已知的Bayer模式滤波器中，具有两倍于红色单元数目和蓝色单元数目的绿色单元。换句话说，红色单元包含总Bayer模式阵列的25％，蓝色单元为Bayer模式阵列的25％，绿色单元包含Bayer模式阵列单元的50％。这样，在保留了所有的绿色图像数据的一些实施方式中，图像处理模块20可包括第二绿色数据图像处理模块38。照此，第一绿色数据图像处理模块36可处理一半的绿色单元，第二绿色图像数据处理模块38可处理剩余的绿色单元。但是，本发明可与其他类型的模式一起使用，例如，但不限于，CMY和RGBW。

图7包括由模块32、34、36和38(图4)处理的红色、蓝色和两个绿色数据分量的示意性示出。这可提供进一步的优点，因为这些模块的每一个的尺寸和配置大致相同，因为他们处理大致相同数目的数据。另外，图像处理模块20可选择性地切换于其中处理所有的绿色图像数据(通过使用模块36和38)的模式和其中删除了1/2的绿色图像数据的模式(其中仅利用模块36和38中的一个)之间。但是，也可使用其他配置。

另外，在一些实施方式中，图像处理模块20可包括其他模块和/或可配置为执行其他处理，例如，但不限于，伽马校正处理、噪声过滤处理等等。

另外，在一些实施方式中，图像处理模块20可配置为从蓝色单元和/或红色单元的值中减去绿色单元的值。照此，在一些实施方式中，当通过图像传感器18探测到某些颜色时，相应的红色或者蓝色单元可减少至零。例如，在很多摄影中，存在大面积的黑色、白色、或者灰色、或者从灰色过渡到红色或者蓝色的颜色。这样，如果图像传感器18的相应像素感测到一块灰色，绿色、红色和蓝色的幅值将大致相等。这样，如果从红色和蓝色值中减去绿色值，红色和蓝色值将降至零或者接近零。这样，在随后的压缩处理中，感测黑色、白色或者灰色块的像素中将产生更多的零，从而产生的数据将具有更大的可压缩性。另外，由于其他原因，从其他颜色中的一个或者两者中减去绿色可使产生的图像数据更具可压缩性。

这种技术，由于其与原始图像数据的熵之间的关系，有助于实现更高效率的压缩率且仍保持视觉上无损。例如，图像的熵跟图像中随机的量有关。例如，从其他颜色的图像数据中减去一种颜色的图像数据可减少随机，从而减少这些颜色的图像数据的熵，因而允许数据以更高的压缩率和更少损失被压缩。典型地，图像不是随机颜色值的集合。所以，这种减去技术可使用单元的相关性来实现更好的压缩。压缩量将至少部分地取决于图像中原始信息的熵。

在一些实施方式中，从红色或者蓝色像素中减去的量值可以是从与被减红色或者蓝色像素相邻的绿色像素输出的值的量值。进一步，在一些实施方式中，从红色或者蓝色单元中减去的绿色量值可以从周围绿色单元的平均值中得出。这种技术更详细地描述如下。但是，也可使用其他技术。

可选地，图像处理模块20也可配置为从其他颜色中选择性地减去绿色图像数据。例如，图像处理模块20可配置为确定从其他颜色中任一个的图像数据的一部分中减去绿色图像数据是否会提供更好的压缩性。在这种模式中，图像处理模块20可配置为在图像数据中插入标记来指示修改了图像数据的什么部分(例如通过减去绿色图像数据修改)和没有修改哪部分。通过这些标记，下游去马赛克/重构组件可基于这些数据标记的状态将绿色图像值选择性地加回其他颜色的图像数据中。

可选地，图像处理模块20还可包括配置为对红色和蓝色数据舍入(rounding)的另外的数据缩减模块(未示出)。例如，如果在减去绿色幅值以后红色或者蓝色数据接近零(例如，对范围为0-255的8位数值范围来说在1或者2以内，或者，对更高分辨率系统来说更高的幅值)。例如，传感器18可以为以数值范围0-4095来输出红色、蓝色和绿色数据的12位传感器。舍入模块对数据执行的任何舍入或者滤波可以调整以达成期望的效果。例如，如果期望无损输出，则以较小程度执行舍入；而如果可接受一些损失或者损失性输出，则以较大的程度执行。可以执行一些舍入且仍产生视觉上无损的输出。例如，按8-位的数值范围，具有上至2或者3的绝对值的红色或者蓝色数据可舍入为0且仍提供视觉上无损的输出。另外，按12-位的数值范围，具有上至10至20的绝对值的红色或者蓝色数据可舍入为0且仍提供视觉上无损的输出。

另外，可舍入为零或舍入为其他值、且仍提供视觉上无损的输出的值的量值取决于系统的配置，包括光学硬件16、图像传感器18、图像传感器的分辨率、图像传感器18的颜色分辨率(位)、滤波器的类型、图像处理模块20执行的抗混叠技术或者其他技术、压缩模块22执行的压缩技术、和/或相机10的其他参数或者特征。

如上所述，在一些实施方式中，相机10可配置为在基于绿色图像数据变换红色和蓝色图像数据以后，删除1/2的绿色图像数据。例如，但不限于，处理模块20可配置为在从红色和蓝色数据值中减去周围绿色数据值的量值的平均值以后，删除1/2的绿色图像数据。绿色数据中的这种缩减可减少对相关硬件的吞吐量需求。另外，剩余的绿色图像数据可用于重构红色和蓝色图像数据，下面将参照图14和16更详细地说明。

如上所述，相机10还可包括压缩模块22。压缩模块22可以是单个芯片的形式或者可通过软件和另外的处理器实现。例如，压缩模块22可以是商业上可用的压缩芯片的形式，其根据JPEG 2000标准执行压缩技术，或者其他压缩技术。

压缩模块可配置为对来自图像处理模块20的数据执行任何类型的压缩处理。在一些实施方式中，压缩模块22执行利用图像处理模块20执行的技术的压缩技术。例如，如上所述，图像处理模块20可配置为通过减去绿色图像数据的量值来减小红色和蓝色数据的值的量值，从而产生更多的零值，以及其他效果。另外，图像处理模块20可执行使用图像数据的熵的对原始数据的操作。这样，压缩模块22执行的压缩技术可为这样的类型：其受益于更大串的零的出现来减小所输出的压缩数据的大小。

进一步，压缩模块22可配置为压缩来自图像处理模块20的图像数据以产生视觉上无损的输出。例如，首先，压缩模块可配置为应用任何已知的压缩技术，例如，但不限于，JPEG 2000、活动JPEG(MotionJPEG)、任何基于DCT的编解码器、任何设计用于压缩RGB图像数据的编解码器、H.264、MPEG4、霍夫曼或者其他技术。

根据使用的压缩技术的类型，压缩技术的各种参数可设定为提供视觉上无损的输出。例如，上述很多压缩技术可调整为不同的压缩率，其中当解压时，产生的图像对低压缩率来说质量较好，而对高压缩率来说质量较低。这样，压缩模块可配置为以提供视觉上无损的输出的方式压缩图像数据，或者可配置为允许使用者调整各种参数以获得视觉上无损的输出。例如，压缩模块22可配置为以大约6:1、7:1、8:1或者更大的压缩率来压缩图像数据。在一些实施方式中，压缩模块22可配置为将图像数据压缩为12:1的比率或者更高。

另外，压缩模块22可配置为允许使用者调整通过压缩模块22实现的压缩率。例如，相机10可包括用户界面，其允许使用者输入使压缩模块22改变压缩率的命令。这样，在一些实施方式中，相机10可提供可变的压缩。

这里所用的术语“视觉上无损”意图包括这样的输出：当在同样的显示器件上与原始(从未压缩过)图像数据并排比较时，仅仅基于对图像的目测，本领域普通技术人员会无法确定哪幅图像是具有合理精确度的原始图像。

继续参照图1，相机10还可包括存储器件24。存储器件可以是任何类型的数字存储的形式，例如，但不限于，硬盘、闪存或者任何其他类型的存储器件。在一些实施方式中，存储器件24的尺寸足够大以存储来自压缩模块22的图像数据，对应于12兆像素分辨率、12-位颜色分辨率和60帧每秒的至少大约30分钟视频。但是，存储器件24可以具有任何尺寸。

在一些实施方式中，存储器件24可安装在壳体12的外部。进一步，在一些实施方式中，存储器件24可通过标准通信端口连接至系统14的其他部件，上述端口包括，例如，但不限于，IEEE 1394、USB 2.0、IDE、SATA等等。进一步，在一些实施方式中，存储器件24可包含根据RAID协议操作的多个硬驱动。但是，可使用任何类型的存储器件。

继续参照图1，如上所述，在一些实施方式中，系统可包括监视器模块26和显示器件30，配置为允许使用者在操作期间观看通过图像传感器18捕获的视频图像。在一些实施方式中，图像处理模块20可包括配置为将缩减分辨率的图像数据输出至监视器模块26的二次抽样系统。例如，这种二次抽样系统可配置为输出视频图像数据以支持2K、1080p、720p或者任何其他分辨率。在一些实施方式中，用于去马赛克的滤波器还可适于执行下采样滤波，以便下采样和滤波可以同时执行。监视器模块26可配置为对来自图像处理模块20的数据执行任何类型的去马赛克处理。其后，监视器模块26可输出去马赛克的图像数据至显示器30。

显示器30可以是任何类型的监视器件。例如，但不限于，显示器30可以是通过壳体12支撑的4英寸LCD面板。例如，在一些实施方式中，显示器30可以连接于无限量调整，其配置为允许显示器30相对于壳体12调整为任何位置，以便使用者可相对于壳体12以任何角度观看显示器30。在一些实施方式中，显示器30可通过任何类型的视频电缆，例如，RGB或者YCC格式视频电缆，连接至监视器模块。

可选地，播放模块28可配置为接收来自存储器件24的数据，对图像数据进行解压和去马赛克，然后输出图像数据至显示器30。在一些实施方式中，监视器模块26和播放模块28可通过中间显示控制器(未示出)连接至显示器。照此，显示器30可通过单个连接器连接至显示控制器。显示控制器可配置为从监视器模块26或者播放模块28传输数据至显示器30。

图8包括示出了相机10对图像数据的处理的流程图50。在一些实施方式中，流程图50可表示存储在存储器件(例如，存储器件24或者相机10中另外的存储器件(未示出))中的控制流程。另外，中央处理器(CPU)(未示出)可配置为执行该控制流程。下面对相应于在处理视频图像数据的单个帧的情况下描述的流程图50的方法进行介绍。这样，这种技术可应用于对单个静止图像的处理。这些流程还可应用于对连续视频的处理，例如，大于12的帧频，以及20、23.976、24、30、60和120的帧频，或者介于这些帧频之间或者更大的其他帧频。

继续参照图8，控制流程可开始于操作块52。在操作块52中，相机10可获得传感器数据。例如，参照图1，可包括Bayer传感器和芯片组的图像传感器18可输出图像数据。

例如，但不限于，参照图3，图像传感器可包含在其光接收面具有Bayer模式滤波器的CMOS器件。这样，来自光学硬件16的聚焦图像聚焦至图像传感器18的CMOS器件上的Bayer模式滤波器。图3示出了通过在CMOS器件上布置Bayer模式滤波器所产生的Bayer模式的一个例子。

在图3中，列m是从Bayer模式的左边缘起第四列，而行n是从该格式的上边缘起第四行。其余的行和列相对于列m和行n来标记。但是，这种布局仅是为了示意性目的随机选出，并不限制这里公开的任何实施方式和发明。

如上所述，已知的Bayer模式滤波器通常包括两倍于蓝色和红色单元的绿色单元。在图5的模式中，蓝色单元仅出现在行n-3、n-1、n+1和n+3中。红色单元仅出现在行n-2、n、n+2和n+4中。但是，绿色单元出现在所有的行和列中，其间散布着红色和蓝色单元。

因此，在操作块52中，从图像传感器18输出的红色、蓝色和绿色图像数据可由图像处理模块20接收，并组织为分离的颜色的数据分量中，例如，那些图7中示出的。如图7所示，如上参照图4所述，图像处理模块20可将红色、蓝色和绿色图像数据分成四个分离的分量。图7示出了两个绿色分量(绿色1和绿色2)、一个蓝色分量和一个红色分量。但是，这仅是处理来自图像传感器18的图像数据的一个示例性方法。另外，如上所述，可选地，图像处理模块20可随机或者选择性地删除1/2的绿色图像数据。

在操作块52之后，流程图50可前进至操作块54。在操作块56中，可进一步处理图像数据。例如，可选地，可进一步处理所产生数据中的任一个或者全部(例如，绿色1、绿色2、来自图9的蓝色图像数据和来自图10的红色图像数据)。

例如，可以其他方式预加重或者处理图像数据。在一些实施方式中，图像数据可被处理得更加(数学上)非线性。一些压缩算法受益于执行这种压缩前对单元的线性化。但是，还可使用其他技术。例如，图像数据可用线性曲线处理，其基本不提供加重。

在一些实施方式中，操作块54可使用由函数y＝x^∧0.5定义的曲线来处理图像数据。在一些实施方式中，该曲线可在图像数据为，例如但不限于，标准化为0-1范围的浮点数据时使用。在其他实施方式中，例如，当图像数据为12-位数据时，可使用曲线y＝(x/4095)^∧0.5来处理图像。另外，可使用其他曲线来处理图像数据，例如y＝(x+c)^∧g，其中0.01<g<1且c为偏移量，c在一些实施方式中可以为0。另外，还可使用对数曲线。例如，形式为y＝A*log(B*x+C)的曲线，其中，A、B和C是为提供期望的结果所选择的常量。另外，可修改上述曲线和方法以在黑色附近提供更加线性的区域，类似于在众所周知的Rec709伽马校正中使用的那些技术。在将这些处理应用于图像数据时，可将同样的处理应用于所有的图像数据，或者，可将不同的处理应用于不同颜色的图像数据。但是，这些仅是可用于处理图像数据的示例性曲线，还可使用其它曲线或者变换。另外，可使用例如上述那些的数学函数、或者查找表(LUTs)来应用这些处理技术。另外，不同的处理、技术或者变换可用于不同类型的图像数据、记录图像数据中使用的不同ISO设定、温度(其可影响噪声水平)等等。

在操作块54之后，流程图50可前进至操作块56。在操作块56中，可变换红色和蓝色单元。例如，如上所述，可从蓝色和红色图像数据分量中的每一个中减去绿色图像数据。在一些实施方式中，红色或者蓝色图像数据值可通过减去邻近红色或者蓝色单元的至少一个绿色单元的绿色图像数据值来变换。在一些实施方式中，可从红色或者蓝色图像数据值中减去多个相邻绿色单元的数据值的平均值。例如，但不限于，可计算2、3、4或者更多个绿色图像数据值的平均值，并将其从绿色单元附近的红色或者蓝色单元中减去。

例如，但不限于，参照图3，红色单元R_m-2,n-2的原始输出被四个绿色单元G_m-2,n-3、G_m-1,n-2、G_m-3,n-2和G_m-2,n-1围绕。这样，红色单元R_m-2,n-2可如下通过减去周围绿色单元的值的平均值来变换：

(1)R_m,n＝R_m,n ^-(G_m,n-1+G_m+1,n+G_m,n+1+G_{m_1,n})/4

类似地，蓝色单元可如下通过减去周围绿色单元的平均值的类似方式来变换：

(2)B_m+1,n+1＝B_m+1,n+1-(G_m+1,n+G_m+2,n+1+G_m+1,n+2+G_m,n+1)/4

图9示出了其中原始蓝色原始数据B_m-1,n-1变换后所产生的蓝色数据分量，新值标记为B′_m-1,n-1(仅填充该分量中的一个值，且同样的技术可用于所有的蓝色单元)。类似地，图10示出了已经变换的红色数据分量，其中，变换了的红色单元R_m-2,n-2标记为R′_m-2,n-2。在这种状态下，图像数据仍被认为是“原始”数据。例如，对数据实施的数学处理完全可逆，以便可通过逆反那些流程来获得所有的原始值。

继续参照图8，操作块56之后，流程图50可前进至操作块58。在操作块58中，产生的数据(其是原始的或者基本上原始)可使用任何已知的压缩算法来进一步压缩。例如，压缩模块22(图1)可配置为执行这样的压缩算法。压缩之后，压缩的原始数据可存储在存储器件24(图1)中。

图8A示出了流程图50的一个修改，以参考数值50′来标记。上述参照流程图50的一些步骤，可与流程图50′的一些相应步骤类似或者相同，因而以相同的参考数值来标记。

如图8A所示，在一些实施方式中，流程图50′可选地忽略操作块54。在一些实施方式中，流程图50′还可包括操作块57，其中可对图像数据应用查找表。例如，可选的查找表，如图11的曲线所表示的，可用于提高进一步的压缩。在一些实施方式中，图11的查找表仅仅用于绿色单元。在其他实施方式中，查找表还可用于红色和蓝色单元。相同的查找表可用于这三个不同的颜色，或者每个颜色可具有自己的查找表。另外，还可应用除了图11的曲线所体现的之外的。

通过以上述参照图8和8A所述的方式来处理图像数据，已发现，来自图像传感器18的图像数据可按6:1或者更大的压缩率来压缩且仍保持视觉上无损。另外，尽管对图像数据进行了变换(例如，绿色图像数据的减去)，但所有的原始图像数据对于终端使用者仍然可得。例如，通过逆反某些过程，可提取所有的或者基本上所有的原始数据，并使用使用者期望的任何方法进一步处理、滤波和/或去马赛克。

例如，参照图12，可对存储在存储器件24中的数据进行解压和去马赛克。可选地，相机10可配置为执行流程图60示出的方法。例如，但不限于，播放模块28可配置为执行流程图60示出的方法。但是，使用者还可将数据从存储器件24传输至分离的工作站，并应用流程图60中的任何或者全部步骤和/或操作。

继续参照图12，流程图60可开始于操作块62，其中对来自存储器件24的数据进行解压。例如，操作块62中对数据的解压可以是操作块58(图8)中执行的压缩算法的逆向。操作块62之后，流程图60可前进至操作块64。

在操作块64中，可逆反操作块56(图8)中执行的方法。例如，可将图11的曲线的逆向或者上述参照图8和8A中的操作块56所述的任何其他函数的逆应用于图像数据。操作块64之后，流程图60可前进至步骤66。

在操作块66中，可对绿色单元进行去马赛克。例如，如上所述，来自数据分量绿色1和/或绿色2(图7)的所有值可存储在存储器件24中。例如，参照图5，来自数据分量绿色1、绿色2的绿色图像数据可按照图像传感器18中应用的原始Bayer模式来布置。然后，绿色数据可通过任何已知的技术进一步去马赛克，例如，线性插值、双线性等等。

图13示出了对所有的原始绿色图像数据去马赛克后的绿色图像数据的示例性布局。以字母G_x标记的绿色图像单元代表了原始(解压的)图像数据，而标记为DG_x的单元代表了通过去马赛克处理从原始数据得出的单元。该术语用于下述对其它颜色的去马赛克过程。图14示出了对1/2的原始绿色图像数据去马赛克后的绿色图像数据的示例性图像数据布局。

继续参照图12，流程图60可在操作块66之后前进至操作块68。在操作块68中，可进一步处理去马赛克后的绿色图像数据。例如，但不限于，噪声去除技术可应用于绿色图像数据。但是，任何其他图像处理技术，例如，抗混叠技术，也可应用于绿色图像数据。操作块68之后，流程图60可前进至操作块70。

在操作块70中，可对红色和蓝色图像数据进行去马赛克。例如，首先，图9的蓝色图像数据可根据原始Bayer模式(图15)重新布置。周围单元，如图16所示，可使用任何已知的去马赛克技术，包括线性插值、双线性等等，来从现有的蓝色图像数据进行去马赛克。作为去马赛克步骤的结果，对于每个像素将有蓝色图像数据，如图16所示。但是，基于图9的修改的蓝色图像数据，即，从其中减去了绿色图像数据值的蓝色图像数据值，对该蓝色图像数据进行去马赛克。

操作块70还可包括对红色图像数据的去马赛克过程。例如，来自图10的红色图像数据可按照原始Bayer模式重新布置，并通过任何已知的去马赛克方法，例如线性插值、双线性等等，进一步去马赛克。

操作块70之后，流程图可前进至操作块72。在操作块72中，可根据去马赛克的绿色图像数据重构去马赛克的红色和蓝色图像数据。

在一些实施方式中，红色和蓝色图像数据单元的每一个都可通过加上来自同位置处的绿色图像单元(与列“m”和行“n”相同位置的绿色图像单元)的绿色值来重构。例如，去马赛克以后，蓝色图像数据包括蓝色单元值DB_m-2,n-2。因为图3的原始Bayer模式在该位置并不包括蓝色单元，因此该蓝色值DB_m-2,n-2是基于例如来自单元B_m-3,n-3、B_m-1,n-3、B_m-3,n-1和B_m-1,n-1或者任何其他技术或者其他蓝色图像单元中的蓝色值、通过上述去马赛克过程导出的。如上所示，这些值在操作块(图8)中被修改，因而并不相应于图像传感器18探测到的原始蓝色图像数据。更确切地，从这些值中的每一个中已减去平均绿色值。这样，产生的蓝色图像数据DB_m-2,n-2还代表了已减去了绿色图像数据的蓝色数据。这样，在一个实施方式中，单元DG_m-2,n-2的去马赛克的绿色图像数据可加到蓝色图像值DB_m-2,n-2中，从而产生重构的蓝色图像数据值。

在一些实施方式中，可选地，蓝色和/或红色图像数据可在去马赛克之前首先重构。例如，变换的蓝色图像数据B′_m-1,n-1可首先通过加上周围绿色单元的平均值来重构。这将导致获得或者重新计算原始蓝色图像数据B_m-1,n-1。该过程可对所有的蓝色图像数据执行。接着，蓝色图像数据可通过任何已知的去马赛克技术进一步去马赛克。红色图像数据也可按相同的或者类似的方式处理。

图12A示出了流程图60的修改，以参考数值60′来标记。上述参照流程图60的一些步骤，与流程图60′的一些相应步骤类似或者相同，因而以相同的参考数值来标记。

如图12A所示，流程图60′可包括操作块62之后的操作块68′。在操作块68′中，可对图像数据执行噪声去除技术。例如，但不限于，噪声去除技术可应用于绿色图像数据。但是，任何其他图像处理技术，例如抗混叠技术，也可应用于绿色图像数据。操作块68′之后，流程图可前进至操作块70′。

在操作块70′中，可对图像数据进行去马赛克。如上参照操作块66和70所述，绿色、红色和蓝色图像数据可按两步进行去马赛克。但是，在当前流程图60′中，所有三个颜色的图像数据的去马赛克体现在单个步骤中，尽管上述相同的去马赛克技术可应用于此去马赛克过程。操作块70′之后，流程图可前进至操作块72和操作快64，操作块72中可重构红色和蓝色图像数据，操作块64中可应用逆向查找表。

在根据流程图70或者70′中的任一个或者任何其他合适的方法对图像数据解压和处理以后，图像数据可进一步处理为去马赛克的图像数据。

通过在重构红色和蓝色图像数据之前对绿色图像数据进行去马赛克，可实现某些进一步的优点。例如，如上所述，人眼对绿色光更加敏感。对绿色图像数据的去马赛克和处理优化了人眼更加敏感的绿色图像值。这样，随后对红色和蓝色图像数据的重构将受到对绿色图像数据的处理的影响。

另外，Bayer模式具有两倍于红色和蓝色单元的绿色单元。这样，在保留了所有绿色数据的实施方式中，与红色或者蓝色图像数据分量相比，绿色单元拥有两倍的图像数据。这样，去马赛克技术、滤波器和其他图像处理技术将产生更好的去马赛克、锐化或者另外的滤波的图像。使用这些去马赛克的值来对红色和蓝色图像数据进行重建和去马赛克将与更高分辨率的原始绿色数据相关的益处传至红色和蓝色单元的处理、重建和去马赛克。照此，产生的图像进一步得到增强。

Claims

1.一种装置，包括：

便携的壳体；

透镜组件，通过所述壳体支撑并且配置为接收光；

光敏器件，其配置为以至少约23帧每秒的帧频将所述光转换为至少2k分辨率的数字原始图像数据；

存储器件，通过所述壳体支撑；以及

图像处理系统，配置为对所述数字原始图像数据执行预加重处理，在执行所述预加重处理之后压缩所述数字原始图像数据使得所述数字原始图像数据在解压缩之后基本保持视觉上无损，并且以至少约23帧每秒的帧频将经压缩的数字原始图像数据存储在所述存储器件中，其中，所述预加重处理包括由函数y＝(x+c)^g定义的曲线，其中，0.01≤g≤1，并且c为偏移量。

2.如权利要求1所述的装置，其中，所述预加重处理包括由函数y＝(x)^0.5定义的曲线。

3.如权利要求1所述的装置，其中，所述图像处理系统配置为通过所述预加重处理对所述数字原始图像数据进行处理以在黑色附近提供增加的线性区域。

4.如权利要求1所述的装置，其中，所述图像处理系统配置为使用查找表执行所述预加重。

5.如权利要求1所述的装置，其中，所述数字原始图像数据代表第一颜色、第二颜色和第三颜色，并且所述图像处理系统配置为在压缩之前基于所述第三颜色的所选图像数据的平均值来修改代表所述第一颜色和所述第二颜色中的至少之一的图像数据。

6.如权利要求1所述的装置，其中，所述数字原始图像数据代表第一颜色、第二颜色和第三颜色，并且所述图像处理系统配置为在压缩之前基于代表所述第三颜色的图像数据并使用周围单元之间的相关性来修改代表所述第一颜色和所述第二颜色中的至少之一的图像数据。

7.如权利要求6所述的装置，其中，所述图像处理系统配置为通过围绕所述第一颜色的传感单元的至少两个传感单元计算所述第三颜色的图像数据的平均值，并且从来自所述第一颜色的传感单元的图像数据的值中减去所述平均值。

8.如权利要求6所述的装置，其中，所述图像处理系统配置为在修改所述图像数据之前对所述图像数据进行预加重。

9.如权利要求6所述的装置，其中，所述图像处理系统配置为在修改所述图像数据之后对所述图像数据进行预加重。

10.如权利要求1所述的装置，其中，所述压缩以至少约6:1的压缩率进行。

11.如权利要求1所述的装置，其中，所述图像处理系统包括压缩芯片，所述压缩芯片在所述便携的壳体内执行所述数字原始图像数据的压缩。

12.一种装置，包括：

便携的壳体；

透镜组件，通过所述壳体支撑并且配置为接收光；

光敏器件，配置为以至少约23帧每秒的帧频将所述光转换为至少2k分辨率的数字原始图像数据；

存储器件，通过所述壳体支撑；以及

图像处理系统，配置为对所述数字原始图像数据执行预加重处理，在执行所述预加重处理之后压缩所述数字原始图像数据使得所述数字原始图像数据在解压缩之后基本保持视觉上无损，并且以至少约23帧每秒的帧频将经压缩的数字原始图像数据存储在所述存储器件中，其中，所述预加重处理包括对数曲线，并且其中，所述对数曲线为y＝A*log(B*x+C)的形式，其中，A、B和C为常数。

13.如权利要求12所述的装置，其中，所述图像处理系统配置为通过所述预加重处理对所述数字原始图像数据进行处理以在黑色附近提供增加的线性区域。

14.如权利要求12所述的装置，其中，所述图像处理系统配置为使用查找表执行所述预加重。

15.如权利要求12所述的装置，其中，所述数字原始图像数据代表第一颜色、第二颜色和第三颜色，并且所述图像处理系统配置为在压缩之前基于所述第三颜色的所选图像数据的平均值来修改代表所述第一颜色和所述第二颜色中的至少之一的图像数据。

16.如权利要求12所述的装置，其中，所述数字原始图像数据代表第一颜色、第二颜色和第三颜色，并且所述图像处理系统配置为在压缩之前基于代表所述第三颜色的图像数据并使用周围单元之间的相关性来修改代表所述第一颜色和所述第二颜色中的至少之一的图像数据。

17.如权利要求16所述的装置，其中，所述数字原始图像数据配置为通过围绕所述第一颜色的传感单元的至少两个传感单元计算所述第三颜色的图像数据的平均值，并且从来自所述第一颜色的传感单元的图像数据的值中减去所述平均值。

18.如权利要求16所述的装置，其中，所述图像处理系统配置为在修改所述图像数据之前对所述图像数据进行预加重。

19.如权利要求16所述的装置，其中，所述图像处理系统配置为在修改所述图像数据之后对所述图像数据进行预加重。

20.如权利要求12所述的装置，其中，所述压缩以至少约6:1的压缩率进行。

21.如权利要求12所述的装置，其中，所述图像处理系统包括压缩芯片，所述压缩芯片在所述便携的壳体内执行所述数字原始图像数据的压缩。