CN110999298B - 电子装置中的视频图像数据处理 - Google Patents

Abstract

在一些实施方式中，用于压缩视频图像数据的电子装置包括外壳、图像传感器、内存装置及一个或多个处理器。图像传感器可从入射在图像传感器上的光产生图像数据。一个或多个处理器可转换图像数据以获得转换系数、量化转换系数、对经量化转换系数进行编码，及将经量化转换系数储存至内存装置。一个或多个处理器可至少通过确定其中包括一个转换系数的多个范围中的范围来编码经量化转换系数、确定一个转换系数所对应的范围内的值、使用第一算法将范围编码为范围代码，并使用第二算法将值编码为值代码。

Description

电子装置中的视频图像数据处理

技术领域

在本申请的申请数据表中所识别出的国内优先权所要求的任何及所有申请都根据37 CFR 1.57通过引用的方式结合于本文中。

背景技术

高端视频捕捉能力不断提升。专业摄影师及越来越多的消费者不仅在传统的数字摄像机中要求高质量的视频录制功能，在其它配备有摄像机的电子装置(包括蜂窝式便携无线电话/智能型电话及平板计算机等)中也要求高质量的视频录制功能。

发明内容

本文描述的各种实施方式涉及能捕捉及板载储存经压缩的原始的(例如，根据拜尔图案滤色镜数组或根据另一种类型的滤色镜数组进行马赛克的)、高分辨率(例如，至少2k、4k、6k、8k及10k或这些分辨率级别中的任何级别之间的值范围)的视频图像数据的图像捕捉装置。在视频数据未“开发”的意义上，经压缩的原始图像数据可为“原始的”，使得在压缩及储存之前不对图像数据执行某些图像处理图像开发步骤。这些步骤可包括插值(例如，去拜尔(de-Bayering)或其它去马赛克(de-mosaicing)的步骤)、颜色处理、色调处理、白平衡及伽马校正中的一者或多者。例如，经压缩的原始图像数据可为经马赛克的(例如，不内插颜色及不去马赛克的)、不进行颜色处理、不进行色调处理、不进行白平衡及不进行伽马校正中的一者或多者。替代地，可在储存之后延迟这些步骤(如用于离板的后处理)，从而保持创造灵活性而不是在摄像机中的特定处理决策中“烘焙(baking)”。

可用各种形状因子实施本文描述的图像处理及压缩技术。例如，可在相对较小的形状因子装置中实施本文所描述的用于压缩及经压缩的原始图像数据的板载储存的技术，该相对较小的形状因子装置如具有集成摄像机(或包括前置摄像机及后置摄像机的多个摄像机)的智能型电话或小型摄像机。例如，根据某些实施方式的处理技术被定制成用于在具有相对有限的功率预算、处理能力及物理不动产的小形状因子装置中实施，以便结合到电子组件等中。在另一个范例中，可在相对较大的形状因子摄像机(包括数字电影摄像机)中实施本文所描述的压缩技术。

根据某些方面，图像捕捉设备可配置成捕捉原始的马赛克图像数据、压缩原始图像数据，及将图像数据储存在图像捕捉装置的板载内存中。

驻留在图像捕捉装置中的电子装置可配置成作为压缩的一部分来使用离散余弦转换(DCT)或另一转换(如以在不同频率下振荡的函数的和来定义有限数据点序列的转换)来转换原始马赛克图像数据，以获得转换系数，及压缩转换系数。根据一些实施方式，电子装置可配置成在没有使用储存用于处理目的的完整图像帧的图像帧内存(例如，动态随机存取内存[DRAM])的情况下来执行压缩。例如，电子装置可使用与图像处理芯片(例如为专用集成电路[ASIC]或现场可程序化门阵列[FPGA])集成的晶载第一内存(例如，静态随机存取内存[SRAM])来压缩转换系数，且不使用任何第二DRAM或位于芯片外的其它内存。

在某些实施方式中，电子装置可包括DRAM或芯片外的其它第二内存。然而，这些实施方式中的芯片外的内存可用于除了压缩原始视频图像数据之外的目的，如用于像素缺陷校正、寻址像素图案噪声或诸如此类。这与现有的使用芯片外的DRAM来执行图像压缩的图像捕捉装置(如智能电话)不同。例如，一些现有的图像捕捉装置使用芯片外的DRAM来计算用于H.264压缩的运动向量。本文描述的某些实施方式使用DCT技术，从而有助于内存有效压缩，而无需计算运动向量或使用芯片外的内存。

在不使用完整图像帧内存(例如，芯片外的DRAM)的情况下执行压缩提高了功率效率(如在一些实施中大约0.5瓦特(W))，这在小形状因子装置(如智能型电话)中特别有用。根据某些方面，图像捕捉装置的电子组件在操作期间消耗小于15W或小于约20W。

在某些实施方式中，本文所公开的特征可提供用于实时解码尽可能多的帧的方法，且可用比每秒24帧(fps)更快的速率实现解压缩。此外，在一些实施中，方法可扩大使用电子装置的图形处理单元(GPU)且允许操作的显著平行化，同时能保持高的图像质量。

根据一些方面，图像捕捉装置包括频率，该频率配置成控制由电子电路处理(例如，压缩)原始马赛克图像数据的时序，及电子电路配置成尽管频率停止了一段时间仍可正确地处理原始马赛克图像数据。这可能至少是因为电子电路可使用可不需要更新(refresh)的内存来处理原始马赛克图像数据。

根据某些方面，图像捕捉装置配置成转换原始马赛克图像数据以获得转换系数。装置量化转换系数以获得经量化系数，及通过执行以下步骤中的一者或多者来对至少一些经量化系数进行编码：将每个经量化系数划分成多个范围及多个范围内的值；根据其中包括每个经量化系数的个别范围来确定每个经量化系数的霍夫曼码；根据其中包含每个经量化系数的个别范围内的个别值来确定每个经量化系数的哥伦布码。

在一些实施方式中，公开了一种电子装置。电子装置包括外壳、图像传感器、内存装置及一个或多个处理器。图像传感器可从入射在图像传感器上的光产生图像数据。一个或多个处理器可执行以下步骤：转换图像数据以获得转换系数、量化经转换系数以获得包括第一经量化转换系数及不同于该第一经量化转换系数的第二经量化转换系数的经量化转换系数、对经量化转换系数进行编码来获得经编码的系数，并将经编码的系数储存至内存装置。经量化的转换系数可至少通过以下步骤来编码：确定包括第一经量化转换系数的多个范围中的第一范围、确定包括第二经量化转换系数的多个范围中的第二范围、确定第一经量化转换系数对应的第一范围内的第一值、确定第二经量化转换系数对应的第二范围内的第二值、使用第一算法将第一范围编码成第一范围代码及将第二范围编码成第二范围代码，及使用与第一算法不同的第二算法来将第一值编码成第一值代码及将第二值编码成第二值代码。经编码的系数可包括第一范围代码、第二范围代码、第一值代码及第二值代码。

前述段落的电子装置可包括以下特征中的一者或多者：第一算法是霍夫曼码，或第二算法是哥伦布码。一个或多个处理器可在处理图像数据期间改变第一算法。一个或多个处理器可将第一算法从处理图像数据的第一帧变成处理图像数据的第二帧。第二算法可在由一个或多个处理器处理图像数据期间保持恒定。经量化的转换系数可包括与第一经量化转换系数及第二经量化的转换系数不同的第三经量化转换系数，及一个或多个处理器可至少通过以下步骤来对经量化转换系数进行编码：确定多个范围中的第三范围其中包括第三经量化转换系数、不确定第三经量化转换系数对应的第三范围内的第三值，并使用第一算法将第三范围编码为第三范围代码，经编码的系数包括第三范围代码。一个或多个处理器可使用离散余弦转换来转换图像数据。离散余弦转换可为16×16的离散余弦转换。一个或多个处理器可至少通过对经量化转换系数的DC系数进行编码来对经量化转换系数进行编码，该编码方式与经量化转换系数的AC系数的编码方式不同。一个或多个处理器可将用于第一算法的参数储存在用于经编码系数的帧头中。一个或多个处理器可通过至少使用用于图像数据的绿色像素的第一量化表及用于图像数据的红色像素及蓝色像素的第二量化表来量化转换系数；第一量化表不同于第二量化表。图像数据可为马赛克图像数据。图像数据可为原始的马赛克图像数据。外壳可为移动电话外壳，且移动电话外壳可支持图像传感器、内存装置及一个或多个处理器。外壳可包围图像传感器、内存装置及一个或多个处理器，及外壳可以可拆卸地连接至移动电话。电子装置可进一步包括显示器，该显示器配置成呈现由一个或多个处理器自图像数据产生的全息图像。

在一些实施方式中，公开了一种使用电子装置来对图像数据进行编码的方法。方法可包括以下步骤：由图像传感器产生来自入射在图像传感器上的光的图像数据；由一个或多个处理器转换图像数据以获得转换系数；由一个或多个处理器量化转换系数，以获得包括第一经量化转换系数及不同于第一经量化转换系数的第二经量化转换系数的经量化转换系数；由一个或多个处理器确定包括第一经量化转换系数的多个范围中的第一范围及包括该第二经量化转换系数的多个范围中的第二范围；一个或多个处理器确定第一范围内对应于第一经量化转换系数的第一值及第二范围内对应于第二经量化转换系数的第二值；由一个或多个处理器将第一范围编码成第一范围代码及将第二范围编码成第二范围代码、一个或多个处理器将第一值编码成第一值代码及将该第二值编码成第二值代码，及将第一范围代码、第二范围代码、第一值代码及第二值代码储存至内存装置中。

前述段落的方法可包括以下特征中的一者或多者：可使用无损压缩来执行对第一范围及第二范围的编码与对第一值及第二值的编码。可使用可变长度编码来执行对第一范围及第二范围的编码及对第一值及第二值的编码。方法可进一步包括以下步骤：从内存装置中检索第一范围代码、第二范围代码、第一值代码及第二值代码，及由一个或多个处理器对第一范围代码、第二范围代码、第一值代码及第二值代码进行解码，以获得第一范围、第二范围、第一值及第二值。可使用霍夫曼码将第一范围及第二范围编码成第一范围代码及第二范围代码，或可使用哥伦布码将第一值及第二值编码成第一值代码及第二值代码。可使用16×16的离散余弦转换来执行转换图像数据。

虽然关于特定分辨率(例如，至少2k或至少4k)或帧速率(例如，每秒至少23帧)来描述某些实施方式，但这些实施方式并不限于这些帧速率或分辨率级别。例如，取决于实施方式(例如，取决于传感器尺寸)，用于本文所描述的经压缩原始图像数据的板载储存的技术可能够实现至少2k、3k、4k、4.5k、5k、6k、8k、10k、12k、15k、20k或更高分辨率级别的分辨率级别或在任何前述分辨率级别之间且包括任何分辨率(例如，在4k及12k之间且包括4k及12k)的分辨率级别。类似地，取决于实施方式，用于本文所描述的经压缩原始图像数据的板载储存的技术可能够以至少23、24、25、120、150或240或更大的fps或在任何前述帧速率级别之间且包括任何帧速率(例如，在23fps及120fps之间且包括23fps及120fps)的帧速率来捕捉或储存图像数据。

附图说明

图1A示出了示例性电话的顶部、前部及左侧立体图。

图1B示出了图1A的电话的底部、后部及右侧立体图。

图1C示出了经定位以附接至示例性摄像机模块的图1A的电话的侧视图。

图1D示出了附接时的图1A的电话及图1C的摄像机模块的立体图。

图2示出了示例性摄像机的立体图。

图3A及图3B示出了示例性图像捕捉装置的组件，该示例性图像捕捉装置如图1A的电话、图1C的摄像机模块或图2的摄像机。

图4示出了用于可由图像捕捉装置(如图3A的图像捕捉装置)所执行的处理图像数据的示例性处理。

图5为示出示例性的预加强功能的曲线图。

图6示出了用于压缩视频图像数据的示例性处理，该视频图像数据可由图像捕捉装置(如图3A的图像捕捉装置)执行。

图7示出了与示例性电话(如图1A的电话)通信的图3A的图像捕捉装置。

图8示出了图1A的电话或图1C的摄像机模块的示例性组件。

图9A示出了经定位以附接至扩展器模块及图1C的摄像机模块的图1A的电话的立体图。

图9B示出了图1A的电话、图9A的扩展器模块及图1C的摄像机模块在附接时的立体图。

具体实施方式

一、简介

除了其它特征之外，本申请还描述了用于压缩如原始拜尔数据的视频图像数据的方法。在某些实施方式中，这些方法可使用几行的晶载内存且不使用像DRAM这样的帧内存来实施视频图像数据的压缩。可设置视频图像数据的压缩大小且该视频图像数据的压缩大小可针对各个帧并可逐帧调整。此外，方法可提供硬件友好的实施，该实施能够减小压缩视频图像数据的装置的尺寸及功耗。结果，对于相对较小或低功率的手持装置(如智能电话)来说，本申请的某些特征可能是特别期望的，其中可能期望在限制功耗及系统尺寸的同时节省高质量视频。在一些实施方式中，这种技术可用于压缩完全处理的YUV数据(而不是原始数据)。

尽管可主要在智能电话的背景中描述本文描述的电子装置，但本申请适用于具有或不具有蜂窝型电话功能的各种电子装置中的任何一者，该等各种电子装置包括数字静止及运动摄像机、个人导航装置、移动式网络装置、手持游戏控制台或具有任何功能、或功能组合或其它功能的装置。

二、电子装置系统概述

图1A示出了可实施本文所述的压缩技术或其它特征中的一个或多个的电话10的顶部、前部及左侧立体图。电话10可为智能电话。电话10的前部包括显示器11、摄像机12(例如，如图所示的四个摄像机)、第一扬声器格栅13A及第二扬声器格栅13B，及一个或多个麦克风(未示出)。电话10的左侧包括第一输入14。

图1B示出了电话10的底部、后部及右侧立体图。电话的底部包括电源输入埠15。电话10的左侧包括第二输入16。电话10的背面包括第二摄像机17(例如，如图所示的两个摄像机)、闪光灯18、雷射焦点19及模块连接器20。

显示器11可显示各种应用、功能及信息，且也可包含触摸屏控制特征。

第一摄像机12及第二摄像机17中的每一者包括用于捕捉具有如本文所述的各种或可调节分辨率及纵横比的视频图像数据帧的能力。第一摄像机12每者通常可面向彼此相同的方向，且第二摄像机17通常可面向彼此相同的方向。

第一输入14及第二输入16可为按钮且从电话10的使用者接收使用者输入。第一输入14可例如作为电话10的电源按钮且让使用者能控制电话10是打开或关闭。此外，第一输入14可作为如指纹传感器的使用者辨识传感器，该使用者辨识传感器使得电话10能确定使用者是否被授权存取电话10、或电话10中储存的一个或多个特征或文件或经耦接至电话10的装置。第一输入14可作为装置锁定/解锁按钮、用于启动拍摄图像的按钮、用于启动拍摄视频的按钮或用于电话10的选择按钮。第二输入16可做为电话10的音量增大按钮及音量减小按钮。可由使用者配置及改变第一输入14及第二输入16的功能。此外，电话10的侧面可包括如图1A所示且如美国专利号9,917,935中所述的扇形或锯齿形边缘；美国专利号9,917,935中的全部公开内容通过引用方式并入本文中。值得注意的是，第一输入14所在的扇形可不包括锯齿，而其它扇形可包括锯齿，这可帮助使用者区分电话10的两个边缘及区分第一输入14与第二输入16。

在一些实施方式中，除了经由显示器11之外，电话10可不接收至电话10的正面的使用者输入。因此，电话10的正面可不包括按钮，且任何按钮可位于电话10的一侧或多侧。有利地，在某些实施方式中，此种配置可改善电话10的人体工学(如通过让使用者不必伸手碰到前按钮)并增加可用于电话10上的显示器11的空间量。

模块连接器20可与模块可互换地耦接且从模块或耦接到模块的一个或多个其它装置接收电力或数据或将电力或数据传输至模块或耦接到模块的一个或多个其它装置。模块可包括摄像机、显示器、视频游戏控制器、扬声器、电池、输入/输出扩展器、灯、镜头，投影机及上述组合等。此外，模块可堆栈到一个或多个其它模块以形成如在美国专利申请公开号2017/0171371中所描述的耦接到电话10的一系列连接模块；美国专利申请公开号2017/0171371中的全部公开内容通过引用方式并入本文中。

模块连接器20可包括多个触点(例如，三列中的44个触点或一列中的13个触点，及其它可能性)，该多个触点与模块的对应连接器上的触点接合以电子地传送数据。多个触点可与弹簧加载的连接器或模块的触点接合。在一些实施方式中，电话10可磁性地附接至或支撑模块，且电话10及模块可各自包括使得电话10被附接且牢固地耦接的磁铁。电话10及模块可进一步部分地通过摩擦配合、互锁结构、紧固件、机械卡扣表面结构、机械闩锁表面结构、机械干涉配合表面结构等在电话10的一个或多个部分及模块的一个或多个部分之间耦接。

关于在装置及一个或多个模块之间耦接及传送数据的附加信息可在美国专利申请公开号2017/0171371及2016/0044148及美国专利号9,568,808中找到；该等美国专利申请公开及专利所公开内容通过引用其全文方式而并入本文中。

电话10的尺寸可根据特定实施方式而变化。例如，电话10可为大约100mm高、50mm宽及15mm厚。在另一范例中，电话10可为约150mm高、70mm宽及10mm厚。在又一个范例中，电话10可为约130mm高、70mm宽及10mm厚。在又一个范例中，电话10可为约120mm高、60mm宽及10mm厚。例如，显示器11可为是4”、4.5”、5”、5.5”、5.7”、6”、6.5”、7”或7.5”显示器。

图1C示出了经定位以附接至摄像机模块30的电话10的侧视图，及图1D示出了电话10及摄像机模块30在附接时的立体图。摄像机模块30(单独或与电话10组合)可实施本文所述的一种或多种压缩技术或其它特征。摄像机模块30可包括支撑磁铁34A及34B的外壳及输入36。磁铁34A及34C可便于将外壳耦接至电话10。输入36可用于接收对摄像机模块30的使用者输入，以控制摄像机模块30的活动，如改变模式或启动视频捕捉。尽管未在图1C及图1D中示出，但摄像机模块30也可包括在摄像机模块30之外壳的与图1C中所示的侧面相对的一侧上的磁铁，以将相对侧耦接至电话10的外壳。

摄像机模块30可进一步耦接到光学模块38，该光学模块38可与一个或多个其它光学模块互换。光学模块38可例如包括一个或多个光学组件，如镜头、快门、棱镜、镜子及光圈等，以在目标位置处形成物体的图像。在美国专利申请公开号2017/0171371中进一步描述了摄像机模块、光学模块及用于耦接摄像机模块及光学模块的方法的实施方式；美国专利申请公开号2017/0171371中全部公开内容通过引用方式并入本文中。

光学模块38可包括可移除式镜头39及镜头安装座41，其中镜头39可插入至镜头安装座41的开口(未示出)中，接着旋转以将镜头固定在适当位置。在实施方式中，镜头安装座41可包括按钮或其它类型的控制，从而允许移除镜头39。例如，使用者可推动或用其它方式来与接口组件交互作用，该接口组件允许使用者以相反方向旋转镜头39及从镜头安装座41的开口移除镜头39。在一些实施方式中，镜头安装座41本身是可移除的且可例如通过插入安装螺钉通过每个孔来通过孔45A、45B、45C及45D重新连接。镜头安装座41或镜头39可为例如美国专利号9,568,808中描述的那些镜头安装座或镜头中之一者，该专利的全部内容通过引用方式结合于本文中。

摄像机模块30可包括与模块连接器20类似或相同的模块连接器31，该模块连接器31可与附加模块可互换地耦接(例如，与附加模块的相应连接器上的触点接合)及从模块或耦接至模块的一个或多个其它装置接收电力或数据或将电力或数据传输至模块或耦接至模块的一个或多个其它装置。附加模块可包括摄像机、显示器、视频游戏控制器、扬声器、电池、输入/输出扩展器、灯、镜头、投影机或上述组合等。在范例中，连接至模块连接器31的附加模块可为输入/输出扩展器且包括一个或多个附加输入，其使得使用者能够控制摄像机模块30的操作。此外，附加模块可具有形状因子，该形状因子允许将附加模块的相应连接器耦接至模块连接器31，而不需要妨碍镜头安装座41的放置或使用或阻碍来自摄像机模块30中的图像传感器的镜头39的视野(例如，附加模块可不覆盖包括模块连接器31的摄像机模块30的整个表面)的附加模块。在一些实施方式中，附加模块可磁性附接至摄像机模块或由摄像机模块支撑，且附加模块及摄像机模块30均可包括使得两者被附接且牢固地耦接的磁铁。附加地或替代地，可至少通过摩擦配合，互锁结构、紧固件、机械卡扣表面结构、机械闩锁表面结构、机械干涉配合表面结构等来实现耦接。

图2示出了摄像机40的立体图。摄像机40可包括脑模块42、镜头安装模块接口44及镜头46。摄像机40可实施本文所描述的一种或多种压缩技术或其它特征。在美国专利申请公开号2016/0295096及2017/0171371中更详细地描述了摄像机40及其组件的实施方式；其全部公开内容通过引用方式并入本文中。

图3A示出了可实施本文描述的压缩技术或其它特征中的一个或多个的图像捕捉装置50。在一些实施方式中，图像捕捉装置50可为电话10、摄像机模块30或摄像机40或结合成电话10、摄像机模块30或摄像机40的一部分。图像捕捉装置50可包括配置成支撑光学组件51、图像传感器52(或多个图像传感器)、图像处理系统53、压缩系统54及内存装置55的外壳。在一些实施方式中，图像捕捉装置50可进一步包括多媒体系统56。图像传感器52、图像处理系统53、压缩系统54及多媒体系统56可在图像捕捉装置50的操作期间包含在外壳内。内存装置55也可包含或安装在外壳内、安装在外壳外部或由图像捕捉装置50外部的有线或无线通信连接。

光学组件51可为具有至少一个镜头的镜头系统形式，该至少一个镜头配置成将输入图像聚焦在图像传感器52上。在一些实施方式中，光学组件51可为提供可变焦距、光圈及焦距的多镜头系统形式。光学组件51可为由外壳支撑的镜头接口形式且(例如但不限制)接收多种不同类型的镜头系统，光学组件51可包括配置成接收各种尺寸的镜头系统的接口，该等各种尺寸的镜头系统包括50至100毫米(F2.8)的变焦镜头、18至50毫米(F2.8)的变焦镜头、300毫米(F2.8)的镜头、15毫米(F2.8)的镜头、25毫米(F1.9)的镜头、35毫米(F1.9)的镜头、50毫米(F1.9)的镜头、85毫米(F1.9)的镜头或任何其它镜头。如上所述，光学组件51可配置成使得图像可聚焦在图像传感器52的光敏表面上(尽管镜头附着在其上)。关于此种镜头系统的附加信息可在美国专利号9,568,808中找到，其全部公开内容通过引用方式结合于本文中。

图像传感器52可为任何类型的视频感测装置，包括但不限于CCD、CMOS、如传感器的垂直堆栈的CMOS装置或使用棱镜来分传感器之间的光的多传感器数组。图像传感器52可进一步包括滤色镜数组(如拜尔图案滤色镜)，该滤色镜数组输出表示由图像传感器52的各个光电池所侦测到的红光、绿光或蓝光的大小的数据。在一些实施方式中，图像传感器52可包括具有大约1200万个光电池的CMOS装置。然而，也可使用其它尺寸的传感器。在一些配置中，摄像机10可配置成以“2k”(例如，2048×1152像素)、“4k”(例如，4096×2540像素)、“4.5k”、“5k”、“6k”、“8k”、或“16k”或更高的分辨率来输出视频。如本文所使用的，在以“xk”的格式(如上文所提到的“2k”及“4k”)所表示的术语中，“x”量是指近似的水平分辨率。因此，“4k”分辨率对应于约4000或更多的水平像素，及“2k”对应于约2000或更多像素。使用当前市售的硬件，图像传感器52可小到约0.5英寸(8mm)，但图像传感器52可为约1.0英寸或更大。另外，图像传感器52可通过选择性地仅输出图像传感器52的预定部分来提供可变的分辨率。例如，图像传感器52或图像处理系统53可配置成允许使用者辨识、配置、选择或定义视频数据输出的分辨率。关于传感器及来自传感器的输出的附加信息可在美国专利号8,174,560中找到，其全部公开内容通过引用方式结合在本文中。

图像处理系统53可格式化来自图像传感器52的数据流。例如，图像处理系统53可将绿色、红色及蓝色图像数据分成三个或四个单独的数据编译。例如，图像处理系统53可配置成将红色数据分成一个红色信道或数据结构、将蓝色数据分成一个蓝色信道或数据结构，及将绿色数据分成一个绿色信道或数据结构。图像处理系统53也可将绿色分成两个单独的绿色数据结构，以便保持2×2拜尔图案中对角相邻的绿色像素之间的像差。图像处理系统53可处理图像元素值以对图像元素进行加法、减法、乘法、除法或以其它方式修改以产生图像数据的数字表示。

图像处理系统53可进一步包括子取样系统，该子取样系统配置成将减少的或未减少的分辨率图像数据输出至多媒体系统56。例如，此类子取样系统可配置成输出图像数据以支持6K、4K、2K、1080p及720p，或任何其它分辨率。另外，图像处理系统53可包括其它模块或执行其它处理，如伽马校正处理及噪声滤波处理等。由图像处理系统53所提供的功能的范例在美国专利申请公开号2014/0226036中描述，其全部内容通过引用方式并入本文中。

压缩系统54可使用压缩技术(如以图7描述的压缩方法)或另一技术来压缩来自图像处理系统53的图像数据。压缩系统54可为单独芯片或多个芯片(例如，FPGA及ASIC等)的形式。可用软件及另一个处理器来实施压缩系统54，或可用处理器、软件或专用芯片的组合来实施压缩系统54。例如，压缩系统54可包括一个或多个压缩芯片，该一个或多个压缩芯片根据基于DCT的编解码器来执行压缩技术。

压缩系统54可使用具有速率控制的基于DCT的编解码器来压缩来自图像处理系统53的图像数据。在一些实施方式中，压缩系统54执行压缩技术，该压缩技术在视频数据的压缩期间修改或更新压缩参数。经修改或经更新的压缩参数可配置成实现目标或期望的档案大小、视频质量、视频位率或上述的任何组合。在一些实施方式中，压缩系统54可以配置成允许使用者或其它系统调整压缩参数以修改压缩系统54输出的经压缩视频的质量或大小。例如，图像捕捉装置50可包括允许使用者输入使压缩系统54改变压缩参数的命令的使用者接口(未示出)。

压缩系统54可实时压缩来自图像处理系统53的图像数据。压缩系统54可使用单次来执行压缩以压缩视频帧。这可用于消除在一些压缩系统中使用的中间帧内存(该中间帧内存执行多个压缩传递或基于来自储存在中间帧内存中的一个或多个先前视频帧的内容来压缩当前视频帧)的使用。这可降低具有板载视频压缩的摄像机的成本或复杂性。当图像数据的帧速率为每秒至少23帧(fps)、至少约24fps(例如，23.976fps)、至少约25fps、至少约30fps(例如，29.97fps)、至少约48fps、至少约50fps、至少约60fps(例如，59.94fps)、至少约120fps、至少约240fps，或小于或等于约240fps，压缩系统54可实时压缩来自图像处理系统53的图像数据。接着可将经压缩视频发送到内存装置55。

内存装置55可为任何类型的数字储存器的形式，如(但不限于)硬盘、闪存或任何其它类型的内存。在一些实施方式中，内存装置55的尺寸可足够大以储存来自压缩系统54的图像数据，该图像数据对应于1200万像素分辨率、12位颜色分辨率及60fps的至少约30分钟的视频。然而，内存装置55可为任何尺寸。

在包括多媒体系统56的实施方式中，多媒体系统56可允许使用者观看由图像传感器52在操作期间捕捉的视频图像或从压缩系统54或内存装置55接收的视频图像。在一些实施方式中，图像处理系统53可包括子取样系统，该子取样系统配置成将降低分辨率的图像数据输出至屏幕系统56。例如，此类子取样系统可配置成输出视频图像数据以支持“2k”、1080p、720p，或任何其它分辨率。用于去马赛克的滤波器也可适用于执行向下取样滤波，使得可同时执行向下取样及滤波。多媒体系统56可对来自图像处理系统53的数据执行任何类型的解压缩或去马赛克处理。例如，多媒体系统56可解压缩已如本文所述来压缩的数据。此后，多媒体系统56可将去马赛克或解压缩的图像数据输出至多媒体系统56的显示器或另一显示器。

图3B示出了根据一些实施方式的图像捕捉装置50的附加组件。特别地，相较于图3A而言，图3B描绘了图像捕捉装置50的实施方式的更多实施细节。如图所示，图像捕捉装置50进一步与帧内存63通信。帧内存63可为DRAM(如图4的RAM 113)。

图像捕捉装置50进一步包括图像处理单元60。如图所示，图像处理单元60可包括图像处理系统53、压缩系统54及晶载内存62。晶载内存可例如为SRAM。图像处理单元60的一些或所有组件可专用于处理及储存由图像捕捉装置50捕捉的图像数据(例如，经压缩的原始视频图像数据)，且该一些或所有组件可不用于其它目的(如用于实现与图像捕捉装置50相关联的电话功能)。

图像处理单元60可取决于实施方式而包括一个或多个集成电路、芯片或芯片组；图像处理单元60可包括专用集成电路(ASIC)、现场可编程门阵列(FPGA)及上述组合等。根据某些实施方式，晶载内存62可位于与图像处理单元60的其它组件(如图像处理系统23及压缩系统54)相同的装置(例如，ASIC、FPGA或其它芯片)内。例如，图像处理单元60可包括实现图像处理系统53、压缩系统54及晶载内存62的ASIC或FPGA。晶载内存62因此可称为根据某些实施方式的“晶载”内存，而帧内存63可称为“芯片外”内存。

如图所示，帧内存63可与图像处理单元60分开实现且可为DRAM。例如，在实施方式中，帧内存63及图像处理单元60分别为在单独的封装中实施且安装于共享印刷电路板上的ASIC和FPGA。帧内存63可用于同时储存整个图像帧(例如，一个图像帧的所有的或基本上所有的像素数据)以用于处理目的。例如，图像处理系统53可使用帧内存63以在某些图像处理步骤(作为一些范例，如像素缺陷校正或像素图案噪声校正)期间储存整个图像帧。虽然帧内存63可用于一些此类步骤，但根据某些实施方式，图像捕捉装置50实施图像处理管线，其中在不使用用于压缩目的的帧内存63的情况下处理经压缩的原始视频图像数据。例如，在一些实施方式中，压缩系统54实现基于DCT的压缩方案，该基于DCT的压缩方案可为本文所述的任何压缩方案(如关于图6所述的压缩方案)。这种基于DCT的压缩方案在内存要求方面可为相对轻的，使得压缩系统61可在压缩期间执行利用晶载内存62(而不是帧内存63或任何其它帧内存)的压缩。

在压缩期间避免使用帧内存可显著降低功耗，且与涉及使用帧内存进行运动向量计算的某些其它压缩技术形成对比。例如，根据本文所描述的某些基于DCT的压缩技术，压缩系统54在任何给定时间对视频图像帧的离散部分(例如，小于完整图像帧的部分)上进行操作及在处理后立即丢弃视频图像帧的离散部分。例如，在一个实施方式中，压缩系统54一次对32个水平行像素的数据进行操作，且仅利用晶载内存62中对应于64行像素数据的存储量以压缩(从而保持当前正被压缩的32行像素数据的图像数据并保持接下来要压缩的32行的图像数据)。可取决于实施方式来降低功耗，使得根据各种实施方式，图像捕捉装置50在操作期间消耗小于约15或20W，且在一些实施方式中消耗约10W至20W之间、约10W至25W之间或约5W至25W之间。例如，根据一些实施方式，图像处理装置50的成像部件(例如，图像处理装置50的摄像机相关部件)消耗少于约10W或15W(例如，在约4W至10W之间或在约6W 10W之间)，而剩余的非成像部件(例如，电话部件及显示器部件等)消耗小于约10W(例如，在约3W至10W之间或约5W 10W之间)。

本文描述的压缩技术可允许增强的解码/解压缩速度。例如，因DCT算法允许在解压缩期间使用高度平行化的数学运算从而有效地使用图形处理单元，故基于DCT的原始压缩技术可允许增强的解压缩。根据实施方式，本文描述的原始压缩技术可允许在小于或等于大约1/23、1/24、1/25或1/120秒的情况下对视频图像帧进行解压缩，这可允许实时解压缩(取决于帧速率)。

三、图像数据处理

图4为流程图400，该流程图400示出了用于处理由图像捕捉装置(如电话10、摄像机模块30、视频摄像机40或图像捕捉装置50)所执行的视频图像数据的示例性过程。流程图400可表示储存在内存装置(如内存装置55、ROM 112、RAM 113或内存175)中的控制例程。另外，如控制器110的处理器可配置成执行控制例程。为方便起见，在图像捕捉装置50的上下文中描述了流程图400，但可替代地由本文描述的其它系统或未示出的其它适当的计算系统来实施流程图400。在某些实施方式中，流程图400有利地描绘了一种示例性方法，通过该示例性方法，如蜂窝电话的相对小或低功率的手持装置可压缩视频图像数据。

在方框402处，图像传感器52可响应于入射在图像传感器52上的光而产生视频图像数据。例如，图像传感器52可产生视频图像数据作为每秒至少约23帧及分辨率至少为2K的原始马赛克图像数据。此外，在一些实施方式中，来自一个或一个以上图像传感器202的输出可各自为至少16位宽、具有15位的输出及用于黑日效应的1位设定。在一些范例下，图像传感器52可用于产生3D视频图像数据以用于处理并最终呈现为3D视频图像。

在方框404处，图像处理系统53可预加强由图像传感器52产生的视频图像数据。可通过对经产生的视频图像数据的原始像素执行有损转换来预加强经产生的视频图像数据。在某些实施方式中，预加强可理想地减少在方框406处所处理的视频图像数据的量，同时仍保持视频图像数据质量。

图像处理系统53可例如执行分段线性函数，以将原始像素从15位或16位数据转换成12位数据。分段线性函数的斜率可遵循调和级数1、1/2、1/3、……1/15、1/16且每256个计数改变一次。分段线性函数的形状可根据传感器表征数据来适应图像传感器52，因此分段线性函数的形状可依据不同传感器或不同传感器制造商而不同。在一些范例下，分段线性函数的输入范围可高于允许考虑可应用的黑色平移的最大值。

图5为曲线图500，该曲线图500以图形方式示出了用于将原始像素从15位数据转换为12位数据的一个示例分段线性函数。下文的表1提供了曲线图500的示例点。

表1

假设并非所有在位范围(如包括0至32767的15位范围)中的视频图像数据值携带相同的信息，则可由图像处理系统53执行预加强。每个像素的入射光可由泊松过程(poisson process)控制，该泊松过程在每个光级别产生不同的光子散粒噪声(PSN)。泊松随机分布可具有其中分布的变异数等于分布的平均值的独特特征。因此，标准差等于平均值的平方根。根据这种理解，对应于特定像素的入射光的与每个经测量的数字数字输出(DN)相关联的(如由标准差所指示的)不确定性可与成比例。为了预加强，输入域中的一个或多个数字值可集中成输出域中的单个数字值。若将Q个相邻DN值集中在一起(例如，量化)为1，则产生的噪声可与/>成比例。通过选择Q使得/>(例如，/>)而可最小化量化噪声。可通过从函数构造分段线性函数来减少此函数的复杂性。使用此技术，可减少由预加强所增加的额外噪声，如降低小百分比(如在示例性的最坏情况下的光子散粒噪声的1％)。

转换函数可用于在解码之后转换预加强值。例如，以虚拟码表示的下列函数可用于在解码后将12位数据转换回15位数据。

int索引＝图像数据[i][j]>>8；

int平移＝图像数据[i][j]&0xff；

int值＝(索引+1)*平移+((索引+1)*索引*128)+((索引+1)>>1)；

在一些情况中，使用具有相对简单的反函数的转换函数(有时称为预加强函数)可有助于使用平行处理在硬件中解码压缩图像。例如，当示例性转换函数具有相对简单的反函数时，可使用图形处理单元(GPU)在解压缩之后相对快速地将12位数据转换回其原始的15位数据形式。

关于预加强技术的附加信息可在美国专利号8,174,560中找到，其全部公开内容通过引用方式结合于本文中。

在方框406处，压缩系统54可压缩由图像处理系统53预加强的视频图像数据。例如，压缩系统54可如关于图6所描述地或使用另一种压缩算法来压缩预加强的视频图像数据。在一些实施方式中，压缩系统54可执行以下步骤中的一个或多个：(i)在不使用储存完整图像帧的帧内存的情况下来压缩视频图像数据、(ii)使用内存装置且不使用任何相对于该内存装置而位于芯片外的内存来压缩视频图像数据、(iii)使用可能不会定期刷新的静态内存(而不是必须定期刷新的动态内存)来压缩视频图像数据，及(iv)根据频率的时间操作，且尽管频率停止一段时间(如5、10、20或30秒或1、2、3、5或10分钟)仍可正确压缩视频图像数据。此外，压缩系统54可用于压缩可呈现为3D视频图像的视频图像数据。

图6为流程图600，该流程图600示出了用于压缩由图像捕捉装置(如电话10、摄像机模块30、视频摄像机40或图像捕捉装置50)所执行的视频图像数据的示例性处理。流程图600可表示储存在内存装置(如内存装置55、ROM 112、RAM 113或内存175)中的控制例程。另外，如控制器110的处理器可配置成执行控制例程。为方便起见，在图像捕捉装置50的上下文中描述了流程图600，但可替代地由本文描述的其它系统或未示出的其它适当的计算系统来实施流程图600。在某些实施方式中，流程图600有利地描绘了一种示例性方法，通过该示例性方法，如蜂窝电话的相对小或低功率的手持装置可压缩视频图像数据。

在方框602处，压缩系统54可移位及分割视频图像数据。可使视频图像数据的值平移某一量，该量等于取决于数据的位数目的视频图像数据的中心值(例如，中心值可为用于N位数据的0.5·2ⁿ，这意味着在12位数据的情况下是2048)。平移可将值平移至约值0以用于进一步处理。这些值也可分割成切片(slice)及宏区块(macroblock)。在实施方式中，切片的最大尺寸是256×32像素，且最大尺寸的切片从左到右包装(packed)。若某些像素仍留在每行的末尾，则可通过包装在末端值0的像素来制作大小为256x32像素、128x32像素、64x32像素、32x32像素或其它大小的切片。在像素遵循拜尔图案的情况下，每个切片可具有128×16的绿1像素、绿2像素、红色像素及蓝色像素，且像素可进一步经划分成绿1像素、绿2像素、红色像素及蓝色像素的8个宏区块(16×16像素)。

在方框604处，压缩系统54可如使用离散余弦转换(DCT)或另一种转换来转换经平移及经分割的视频图像数据。在范例中，压缩系统54可使用16×16的DCT来转换经平移及经分割的视频图像数据的每个宏区块。在某些情况下，16x16的DCT显著地可提供比8x8的DCT更高的压缩效率。此外，二维的16×16的DCT可分成32个维的1×16的DCT计算。在某些实施方式中，这种可分离性有利地在执行压缩时助于使用容量小于帧内存的内存(例如，晶载内存62的多行)。来自转换的输出可为用于视频图像数据的转换系数。

在方框606处，压缩系统54可量化转换系数。量化可包括两个分量。第一分量可为来自一个或多个量化表的量化表值。例如，一个量化表可用于绿1信道及绿2信道，另一个量化表可用于蓝色信道及红色信道。可在帧标头中定义一个或多个量化表。第二分量可为量化比例因子。量化比例因子对于切片内的每个值可为相同、可从最小值(例如，1)变化到最大值(例如，255)、可在切片标头中定义，及用于实现目标切片大小。可至少基于目标帧尺寸或如美国专利号9,800,875中描述的技术来确定量化比例因子，该专利的全部内容通过引用方式而结合于本文中。在某些情况下，可将量化比例因子设置为常数，以产生具有特定质量的压缩视频，而不管压缩图像大小如何。在一个实施方式中，可使用下文所述的等式1来确定转换系数的量化值。

在方框608处，压缩系统54可逐片地排列量化的转换系数以用于编码，且使得可在切片内单独编码绿色分量、红色分量及蓝色分量。可从左到右排列切片的宏区块的DC系数。可排列切片的宏区块的AC系数，使得(i)来自切片中的不同宏区块的16×16的DCT表中的所有特定位置AC系数被一个接一个地排列，且(ii)由下文表2所示的Z字形扫描顺序来排列不同的AC系数，其中表2中的索引表示量化的转换系数的序列中的位置。

0	1	5	6	14	15	27	28	44	45	65	66	90	91	119	120
																2	4	7	13	16	26	29	43	46	64	67	89	92	118	121	150
3	8	12	17	25	30	42	47	63	68	88	93	117	122	149	151
																9	11	18	24	31	41	48	62	69	87	94	116	123	148	152	177
10	19	23	32	40	49	61	70	86	95	115	124	147	153	176	178
																20	22	33	39	50	60	71	85	96	114	125	146	154	175	179	200
21	34	38	51	59	72	84	97	113	126	145	155	174	180	199	201
																35	37	52	58	73	83	98	112	127	144	156	173	181	198	202	219
36	53	57	74	82	99	111	128	143	157	172	182	197	203	218	220
																54	56	75	81	100	110	129	142	158	171	183	196	204	217	221	234
55	76	80	101	109	130	141	159	170	184	195	205	216	222	233	235
																77	79	102	108	131	140	160	169	185	194	206	215	223	232	236	245
78	103	107	132	139	161	168	186	193	207	214	224	231	237	244	246
																104	106	133	138	162	167	187	192	208	213	225	230	238	243	247	252
105	134	137	163	166	188	191	209	212	226	229	239	242	248	251	253
																135	136	164	165	189	190	210	211	227	228	240	241	249	250	254	255

表2

在方框610处，压缩系统54可将经排列的转换系数分割成为范围内的范围及值。DC系数的范围可为DC系数的可能值的范围，及AC系数的范围可为AC系数的可能值的范围及0值组的计数。

在方框612处，压缩系统54可将经排列的系数的范围编码为霍夫曼码，且将经排列的系数的范围内的至少一些值编码为哥伦布码。若范围具有不超过一个唯一值，则可使用霍夫曼码(而不是哥伦布码)来对该一个唯一值进行编码。若范围具有超过一个唯一值，则可通过用于范围的霍夫曼码及用于范围内的唯一值的哥伦布码的组合来编码值。范围及用于范围的哥伦布码可为固定的或预定义的(如在制造时设置)。然而，用于范围的霍夫曼码可在帧与帧之间变化，其中在帧标头中定义一个或多个霍夫曼表。编码器可使用霍夫曼编码的自适应性，且可在每个帧的末尾计算一个或多个霍夫曼表以用于下一帧，从而最佳化特定视频图像数据的压缩效率。在实施方式中，霍夫曼码中的最大位数可为12。

可将切片中的特定分量的DC系数的值编码为与DC系数的先前值的差值。此差值可称为差异系数。可将切片中的特定分量的DC系数的初始值设为0。为了对各个DC系数的值进行编码，压缩系统54例如可(i)计算单独的DC系数的差异系数的绝对值、(ii)将对应于各个DC系数的范围的霍夫曼码附加到位流、(iii)将对应于各个DC系数的范围内的值的哥伦布码附加到位流，及(iv)若差分系数非零，则在位流上附加符号位(例如，0表示正数而1表示负数)。

下文所述的表3提供了示例性的DC编码表。当压缩统计可能未知时，表的霍夫曼码部分可做为开始压缩时的预设表。

表3

例如，从表3可看出，若差异系数可为20，则霍夫曼码可为11、霍夫曼位可为2、哥伦布码可为Golomb-Rice(4,2)及符号位可为0。另一个例子，若差异系数可为-75，则霍夫曼码可为是011、霍夫曼位可为3、哥伦布码可为Golomb-Rice(11,4)及符号位可为1。另一个例子，若差异系数可为300，则霍夫曼码可为1010、霍夫曼位可为4、哥伦布码可为Golomb-Rice(44,6)及符号位可为0。

AC系数的值可由非零值在其后的连串零来表示。不同的霍夫曼码可表示由连串零在前的AC系数的值及不由连串的零在前的AC系数的值。为了对非零的各个AC系数的值进行编码，压缩系统54例如可(i)计算EACV＝|AC值|-1以表示单个AC系数、(ii)确定各个AC系数是否在一个或多个零之后、(iii)将对应于单个DC系数的EACV的霍夫曼码附加到位流、(iv)若EACV超过3，则将对应于EACV的哥伦布码附加到位流，及(v)将符号位(例如，0表示正，1表示负)附加到位流。此外，为了对具有零值的各个AC系数的值进行编码，压缩系统54例如可(i)计算EACR＝AC零的个数(Run)-1、(ii)将对应于EACR的霍夫曼码附加至位流，及(iii)若EACR超过3，则将对应于EACR的哥伦布码附加到位流。

下文所述的表4提供了示例性的AC编码表。当压缩统计可能未知时，表的霍夫曼码部分可做为开始压缩时的预设表。

表4

为了说明表4可如何用于编码，将描述编码0、2、0、0、-10、50、0、0、0、0及0的11个系数序列的范例。从表4可看出，对于一个零来说，“AC Run-1”可为0、霍夫曼码可为1、霍夫曼位可为1且可没有哥伦布码。接着，对于之前有至少一个零的值“2”来说，“|AC值|-1”可为1、霍夫曼码可为1111、霍夫曼位可为4且可没有哥伦布码，及符号位可为0。随后，对于两个零来说，“AC Run-1”可为1、霍夫曼码可为001、霍夫曼位可为3，且可没有哥伦布码。然后，对于之前有至少一个零的值“-10”来说，“|AC值|-1”可为9、霍夫曼码可为0011001、霍夫曼位可为7、且哥伦布码可为Golomb-Rice(2,1)及符号位可为1。然后，对于之前没有至少一个零的值“50”来说，“|AC值|-1”可为49、霍夫曼码可为0000100、霍夫曼位可为7、哥伦布码可为Golomb-Rice(18,3)且符号位可为0。最后，对于剩余的五个零来说，“AC Run-1”可为4、霍夫曼码可为011、霍夫曼位可为3且哥伦布码可为Golomb-Rice(1,0)。

作为流程图600的处理的另一部分，可在某些实施方式中执行自适应压缩。例如，可(如)使用美国专利号9,800,875中描述的技术(该专利之前已通过引用其整体方式而并入本文中)来将压缩帧的大小设定为接近目标字节数。此外，可(如)使用美国专利号9,800,875中描述的技术(该专利先前已通过引用其整体的方式而并入本文中)来计算每个切片的熵指数(index)。熵指数连同熵乘数可用于计算量化比例因子。对于相同的12位输入来说，DCT 16x16的范围可能明显高于DCT 8x8的范围。

在一些情况下，因可一次处理32行原始图像数据，故可将图像垂直(或以其它方式)分割成8个或更多个部分。在处理各个部分之后，到目前为止可因而获得压缩图像的大小。接着可使用压缩图像的大小来更新熵乘数。在帧压缩结束时，可将压缩图像的大小与目标大小进行比较，以进一步更新熵乘数。

尽管本文的一些范例使用霍夫曼码(或算法)及哥伦布码(或算法)来描述范围内的编码范围或值，但仍可使用其它码(或算法)。例如，可使用无损代码、有损代码、可变长度代码或前缀代码。

在一些实施方式中，第一算法可用于编码范围及第二算法可用于编码范围内的值。在一些情况下，第一算法可与第二算法不同，使得范围内的范围及值可被不同地编码。在其它情况下，第一算法可与第二算法相同。

四、视频流规范

可根据视频流规范来组织可使用本文所公开的一种或多种方法压缩的视频图像数据。在一些实施方式中，视频流规范可包括以下特征中的一个或多个。

可将压缩文件中的帧结构分成标头及数据部分。标头可设计为硬件友好。在某些情况下，在压缩开始前，可知道标头中除压缩帧大小之外的所有值。若对档案格式进行了修改，则可使用标头版本来解码压缩文件(如)以在摄像机上或在摄像机外播放。例如，标头可例如包含600个位。标头可接着从左到右、从上到下排序的切片。每个切片可包含整数个字符组。一个示例性的标头结构如下表5所示。

表5

霍夫曼表中的各个项次可为2字符组(16位)宽。如下文的表6所示，霍夫曼表结构的最高有效位(例如，前4位)可表示霍夫曼码的大小，及霍夫曼表的最低有效位(例如，最后12位)可表示可左右对齐及用零填充的霍夫曼码本身。

码大小(4位)

霍夫曼码(12位)

表6

每个切片可具有一个标头(例如，9个字节)，其后有绿色1分量、绿色2分量、红色分量及蓝色分量。每个分量都可从字符组边界开始。若分量可能具有部分字符组，则可用零填充分量以形成完整的字符组。下文所述的表7示出了示例性切片结构。

表7

下文的表8示出了示例性切片标头结构。可指定切片标头结构的位数目以避免将填充位与值为零的霍夫曼码混淆。若分量中的位数可能不是8的倍数，则下一个分量可在字符组边界上开始。

表8

五、3D图像显示

在一些实施方式中，本文描述的图像捕捉装置的显示器或连接到图像捕捉装置的显示器(例如，图1A的装置10的显示器11)可为或包括3D显示器。3D显示器可配置成产生光，使得使用者观察到3D图像(有时称为“多维内容”)。例如，立体显示器可在以适当角度观看时或使用专门设计的眼睛穿戴式装置时形成使用者看起来是3D的图像。至少一些实施方式涉及一种显示器，该显示器配置成产生看起来在3D空间中的图像，使得使用者能够在不移动显示器的情况下从多个方向观看3D图像。显示器可不需要定位在使用者的视野内。在一些实施方式中，3D图像可能看起来悬挂或漂浮在显示器上方。因此，使用者可能能够“四处走动”3D图像以观察图像的不同视图，就好像图像中的内容是物理物体样。

3D显示器的一些实施方式可包括衍射光场背光系统。衍射光场背光系统可包括多视图或3D显示器及配置成用于3D显示器的后照射的光源。多视图显示器可包括多个衍射组件，每个衍射组件包括多个衍射光栅，该多个衍射光栅配置成将在其上照射的光引导至多个方向。光被引导的方向可基于衍射组件的衍射特性。在一些实施方式中，多个方向可对应于3D图像的不同视图。指向相同或基本相似方向的多个光线可形成对应于3D内容的特定视图的图像。因此，可基于多个衍射组件来在多个方向上显示3D内容的多个视图。在例如题为“基于多光束衍射光栅的背光”的美国专利号9,128,226及题为“定向背光”的美国专利号9,459,461(其内容各自以其整体并入本文中)中更详细地描述本文中的实施方式的一些实施方式。3D显示器可从2维(2D)显示器分开单独操作。例如，3D显示器可布置在2D显示器的后面或前面。这样的话可打开及关闭3D显示器或2D显示器而不影响另一者的使用。

3D显示器的其它实施方式可能用于产生3D图像。例如，3D显示器可配置成基于与全息图相关联的全息干涉图案的重建来显示3D图像。可基于储存在条纹图案中的特征来重建干涉图案，且显示器可包括被驱动以在屏幕上复制干涉条纹图案的像素。可通过光源来照射像素，其可通过像素的干涉图案被变换(例如，相位或透射率变化)以产生3D全息图像。一些实施方式可在例如美国专利号9,304,491且题为“具有动态图像控制的透明全息显示器”及美国专利号6,760,135且题为“全息显示器”(其内容各自以其整体并入本文中)中找到。在另一个实施方式中，例如，如美国专利号7,190,496且题为“使用全息立体图来增强环境可视化”(其内容以其整体并入本文中)中所描述地，显示器可包括使用空间光调变器进行照明调变的多个全息像素。

有利地，在某些实施方式中，3D显示器可不需要利用双凸透镜或眼睛追踪技术。在没有同意特定科学理论的情况下，与使用双凸透镜的显示器相比，本文的实施方式可提供更高的分辨率，3D显示器可与标准2D显示器分开操作，且3D显示器提供具有多个视图的多方向内容。

此外，在一些实施方案中，本文中所描述的图像捕捉装置可捕捉3D图像以供3D显示器再现。例如，第一摄像机12、第二摄像机17、摄像机模块30的图像传感器或摄像机的图像传感器可用于捕捉3D图像。在范例中，第一摄像机12、第二摄像机17或摄像机模块30的图像传感器可用于捕捉3D图像，且电话10可依次储存3D图像并使用显示器11播放3D图像。此种设计可促进3D图像的实时或同时捕捉及显示。

可根据本文描述的任何技术(例如(如)根据用于压缩关于图3A至图6所描述的原始图像数据的技术)来压缩3D显示器上显示的3D内容、全息内容或其它内容。例如，电话10可使用第一摄像机12中的两者或更多者、使用第二摄像机17或摄像机模块30的一个或多个图像传感器(或使用附接至电话10的不同摄像机模块)来捕捉压缩的原始图像数据。电话10接着可将压缩的图像数据记录在电话10的内存装置上的一个或多个档案中或记录在附接至电话10的模块中的内存装置中。电话10可接着存取图像数据、对图像数据解压缩且适当地准备图像数据以在显示器11上播放成3D、全息内容或诸如此类。根据一些实施方式，电话10可额外实时播放3D、全息或其它内容，而无需在电话10正在录制时先压缩及储存内容。

六、附加实施方式及术语

图7示出了与电话100通信的图像捕捉装置50。图像捕捉装置50可例如为摄像机模块30的实施方式，且可例如为电话10的实施方式。电话100可为模块化的且耦接到如本文所述的一个或多个模块。例如，电话可机械地或电气地连接到电源60、内存装置62或输入/输出(I/O)装置64，及图像捕捉装置50或一个或多个其它模块66。另外，电话100可分别通过电源60、内存装置62、输入/输出(I/O)装置64及图像捕捉装置50与一个或多个其它模块61、63、65及67电通信，及一个或多个其它模块61、63、65及67可分别耦接到电源60、内存装置62、输入/输出(I/O)装置64及图像捕捉装置50。在美国专利申请公开号2017/0171371中进一步描述了模块化电话及摄像机机模块的实施方式及特征，该美国专利申请公开号2017/0171371的全部公开内容通过引用方式而并入本文中。

图8示出了电话100的组件。电话100可通过使用外部连接装置(如子通信模块130、连接器165及耳机连接插孔167)连接至外部装置。“外部装置”可包括各种装置，如耳机、外部扬声器、通用序列总线(USB)内存、充电器、支架/底座、数字多媒体广播(DMB)天线、电子支付相关装置、医疗保健装置(例如，血糖测试器)、游戏控制台、车辆导航器、cellphone、智能电话、平板计算机、桌上型计算机及服务器等，该等上述装置可从电子装置移除并通过电缆连接至电子装置。

电话100包括触摸屏显示器190及触摸屏控制器195。电话100还包括控制器110、移动通信模块120、子通信模块130、多媒体模块140、摄像机模块150、全球定位系统(GPS)模块155、输入/输出模块160、传感器模块170、内存175及电源180。子通信模块130包括无线局域网络(WLAN)131及短程通信模块132中的至少一者，及多媒体模块140包括广播通信模块141、音频播放模块142及视频播放模块143中的至少一者。输入/输出模块160包括按钮161、麦克风162、扬声器163、振动马达164、连接器165及键盘166中的至少一者。另外，电子装置100可包括一个或多个灯，该一个或多个灯包括面向方向的第一灯153及面向另一方向的第二灯154。

控制器110可包括中央处理单元(CPU)111、用于储存控制电话100的控制程序(如操作系统(OS))的只读存储器(ROM)112及用于储存来自外部来源的信号或数据输入或作为用于电话100中的工作结果的内存空间的随机存取内存(RAM)113。CPU 111可包括单核、双核、三核或四核。CPU 111、ROM 112及RAM 113可经由内部总线彼此连接。

控制器110可控制移动通信模块120、子通信模块130、多媒体模块140、摄像机模块150、GPS模块155、输入/输出模块160、传感器模块170、内存175、电源180、触摸屏显示器190及触摸屏控制器195。

移动通信模块120在控制器110的控制下通过使用至少一对一天线或一对多天线的移动通信来将电子装置100连接到外部装置。移动通信模块120向/从蜂窝式便携无线电话、智能电话、平板计算机或其它装置及具有键入电话100的电话号码的电话发送/接收用于语音呼叫、视频会议呼叫、短信息服务(SMS)信息或多媒体信息服务(MMS)信息的无线信号。

子通信模块130可包括WLAN模块131及短程通信模块132中的至少一者。例如，子通信模块130可包括WLAN模块131或短程通信模块132中的一者或两者。

WLAN模块131可在控制器110的控制下，于存在无线存取点(AP)的地方连接到因特网。WLAN模块131支持电气和电子工程师协会(IEEE)802.11x标准的WLAN。短距离通信模块132可在控制器110的控制下在电话100及图像呈现装置之间进行短距离通信。短距离通信可包括与蓝牙TM兼容的通信、2.4GHz频带的短距离无线通信技术、可从蓝牙技术联盟、红外数据协会(IrDA)及WI-FITM直连购得的通信技术、用于通过计算机网络进行数据交换的无线技术及可从WI-FI联盟及NFC等等购得的通信技术。

电话100可包括基于电话100的效能要求的移动通信模块120、WLAN模块131及短距离通信模块132中的至少一者。例如，电话100可包括基于电话100的效能要求的移动通信模块120、WLAN模块131及短距离通信模块132的组合。

多媒体模块140可包括广播通信模块141、音频播放模块142或视频播放模块143。在控制器110的控制下，广播通信模块141可接收广播信号(例如，电视广播信号、无线电广播信号或数据广播信号)及从广播站通过广播通信天线发送的附加的广播信息(例如，电子节目指南(EPG)或电子服务指南(ESG))。在控制器110的控制下，音频播放模块142可播放被储存或接收的数字音频档案(例如，具有如mp3、wma、ogg或way的扩展名的档案)。在控制器110的控制下，视频播放模块143可播放被储存或接收的数字视频档案(例如，具有如mpeg、mpg、mp4、avi、move或mkv的扩展名的档案)。视频播放模块143也可播放数字音频档案。

除了广播通信模块141之外，多媒体模块140可包括音频播放模块142及视频播放模块143。多媒体模块140的音频播放模块142或视频播放模块143可包括在控制器110中。

摄像机模块150可包括用于在控制器110的控制下捕捉静止图像或视频图像的一个或多个摄像机。此外，一个或多个摄像机可包括提供用于捕捉图像的光量的辅助光源(例如，闪光灯)。在一个范例中，一个或多个摄像机可放置在电话100的前面，且一个或多个其它摄像机可放置在电话100的背面。在一些实施方式中，可布置两个或更多个摄像机，每个摄像机彼此相邻(例如，两个或更多个摄像机之间的距离可分别在1cm至8cm的范围内)，来捕捉3维(3D)静止图像或3D视频图像。

GPS模块155从围绕地球轨道的多个GPS卫星接收无线电信号，且可通过使用从GPS卫星到达电话100的到达时间来计算电话100的位置。

输入/输出模块160可包括多个按钮161、麦克风162、扬声器163、振动马达164、连接器165及键盘166中的至少一者。

按钮161中的至少一者可布置在电话100的壳体的前面、侧面或后面，且可包括电源/锁定按钮、音量按钮、菜单按钮、主页按钮、后退按钮及搜寻按钮。

在控制器110的控制下，麦克风162通过接收语音或声音来产生电信号。

在控制器110的控制下，扬声器163可从移动通信模块120、子通信模块130、多媒体模块140或摄像机模块150输出与各种信号(例如，无线电信号、广播信号、数字音频档案、数字视频文件或摄影信号)对应的外部声音。扬声器163可输出与电子装置100执行的功能相对应的声音(例如，按钮按下的声音或回铃音)。可有一个或多个布置在电话100的壳体上或壳体中的至少一个位置中的扬声器163。

在控制器110的控制下，振动马达164可将电信号转换为机械振动。例如，处于振动模式的电话100在从另一装置接收语音呼叫时操作振动马达164。在电话100的壳体内可有至少一个振动马达164。振动马达164可响应于触摸活动或使用者在触摸屏显示器190上的连续触摸而操作。

连接器165可做为用于将电话100连接至外部装置或电源的接口。在控制器110的控制下，电话100可经由连接到连接器165的电缆将储存在电子装置100的内存175中的数据发送到外部装置或从外部装置接收数据。此外，可由电源通过连接到连接器165的电缆来对电话100供电，或电话100可使用电源来对电池充电。

键盘166可从使用者接收键输入以控制电话100。键盘166包括形成在电话100中的机械键盘，或在触摸屏显示器190上显示的虚拟键盘。根据电话100的效能要求或结构，可以可选地从电话100的实施方式中省略电话100。

耳机可插入耳机连接插孔167中，因此耳机可连接到电话100。

触摸笔168可插入并可移除地保持在电话100中，且触摸笔168可从电话100中拉出及分离。

回应于触摸笔168的附接及分离而操作的笔可移除识别开关169经配备在电话100内部可移除地保持触摸笔168的区域中，且笔可移除识别开关169发送对应于触摸笔168的附接及分离的信号至控制器110。当触摸笔168插入区域时，笔可移除识别开关169可与触摸笔168直接或间接接触。笔可移除识别开关169基于直接或间接接触产生对应于触摸笔168的附接或分离的信号，且将信号提供给控制器110。

传感器模块170包括用于侦测电话100的状态的至少一个传感器。例如，传感器模块170可包括用于侦测使用者与电话100的接近度的接近传感器、用于侦测电子装置100的环境光量的照度传感器、用于侦测电话100的运动(例如，电话100的旋转及施加到电话100的加速度或振动)的运动传感器、使用地磁场来侦测罗盘点的地磁传感器、用于侦测重力方向的重力传感器，及通过测量大气压来侦测高度的高度计。至少一个传感器可侦测状态并产生相应信号以发送至控制器110。可根据电话100的效能要求来添加或移除传感器模块170的传感器。

在控制器110的控制下，内存175可根据移动通信模块120、子通信模块130、多媒体模块140、摄像机模块150、GPS模块、输入/输出模块160、传感器模块170及触摸屏显示器190的操作来储存信号或数据输入/输出。内存175可储存用于控制电话100或控制器110的控制程序及应用程序。

术语“储存”可指内存175、也可指ROM 112、控制器110中的RAM113、或安装在电话100中的记忆卡(例如，安全数字(SD)卡及记忆棒等)。内存可进一步包括非瞬时内存、瞬时内存、硬盘驱动器(HDD)及固态驱动器(SSD)等。

在控制器110的控制下，电源180可自放置在电话100的壳体内的至少一个电池供电。因此，至少一个电池可为电话100供电。电源180可通过连接到连接器165的电缆以用从外部电源输入的电力来向电话100供电。电源180也可使用无线充电技术来从外部电源向电话100提供无线电力。

触摸屏控制器195接收由控制器110处理的信息(例如，用于进行呼叫、数据传输、广播或摄影所产生的信息)、将信息转换为要在触摸屏显示器190上显示的数据及提供数据给触摸屏显示器190。触摸屏显示器190显示从触摸屏控制器195接收的数据。例如，在呼叫模式中，触摸屏显示器190可显示使用者接口(UI)或关于呼叫的图形使用者接口(GUI)。触摸屏显示器190可包括液晶显示器、薄膜晶体管液晶显示器、有机发光二极管、可挠性显示器、(例如，用于呈现如本文所述的3D图像)的3D显示器、多视图显示器、电泳显示器或上述组合及诸如此类中的至少一者。此外，触摸屏显示器190可用于呈现如本文所述的视频图像，如包括2D视频图像、3D视频图像及2D/3D虚拟现实(VR)、增强现实(AR)及混合现实(MR)。在一些实施方式中，电话100进一步包括全息模块，该全息模块处理及输出全息视频图像以用于呈现(如)在触摸屏显示器190或电话100的另一显示器上。

触摸屏显示器190可作为输出设备且也可作为输入设备，且对于后一种情况，触摸屏显示器190可具有触摸屏面板以用作触摸屏。触摸屏显示器190可向触摸屏控制器195发送对应于对UI或GUI的至少一个触摸的模拟信号。触摸屏显示器190可侦测至少一个通过使用者的物理接触(例如，通过包括拇指的手指)或通过可触摸的输入装置(例如，触摸笔)的触摸。触摸屏显示器190还可在至少一个触摸之间接收触摸的拖动运动，且将与拖动运动相对应的模拟信号发送至触摸屏控制器195。可将触摸屏显示器190例如以电阻方法、电容方法、红外方法及声波方法等实施成侦测至少一个触摸。

术语“触摸”不限于通过使用者的物理接触或与可触摸式输入装置的接触的物理触摸，而是还可包括非触摸式的接近(例如，触摸屏显示器190及使用者的身体或可触摸的输入装置之间保持在小于1mm的可侦测距离)。与触摸屏显示器190相距地的可侦测距离可根据电话100的效能要求或电话100的结构而变化；更具体来说，触摸屏显示器190可输出用于触摸侦测及悬停侦测的不同值(例如，当前值)，以通过与使用者身体或可触摸输入设备的接触及非接触输入(例如，悬停事件)可区别地侦测到触摸事件发生。此外，触摸屏显示器190可输出用于在距悬停事件发生的距离上的悬停侦测的不同的值(例如，当前值)。

触摸屏控制器195将从触摸屏显示器190(例如，在触摸面板或显示屏幕上的XY坐标中)接收的模拟信号转换为数字信号，并将数字信号发送到控制器110。控制器110可通过使用从触摸屏控制器195接收的数字信号来控制触摸屏显示器190。例如，响应于触摸事件或悬停事件，控制器110可使在触摸屏显示器190上显示的快捷方式图标被选中或被执行。触摸屏控制器195也可并入控制器110中。

此外，触摸屏控制器195可通过侦测通过触摸屏显示器190输出的值(例如，当前值)来确定悬停事件发生的位置与触摸屏显示器190之间的距离、转换所确定的距离为数字信号(例如，具有Z坐标)，并将数字信号提供给控制器110。

电话100的一个或多个组件或模块可以可拆卸地耦接到电话100的壳体。为了帮助说明此种耦接，电话100的壳体可被理解为电话10，而一个或多个组件或模块可通过模块连接器20而可拆卸地耦接到电话10，以增加或移除电话10的功能。作为一个范例，摄像机模块30的一部分或全部可以可拆卸地耦接到电话10以提供电话10摄像机模块30的部分或全部功能。

虽然本文示出及描述的某些电子装置是蜂窝式便携无线电话，但其它手持式电子装置实施方式不是蜂窝式便携无线电话、且不包括电话能力。例如，一些实施方式具有与本文所描述的电子装置相同或相似的外观，但并不包括电话能力(如在平板计算装置或数字摄像机的情况下)。此些实施方式仍可包括本文所述的非电话组件及功能的任何组合，如下文中的一个或多个或其部分：控制器110、触摸屏显示器190及触摸屏控制器195、摄像机模块150、多媒体模块140、子通信模块130、第一灯153、第二灯154、GPS模块155及I/O模块160及内存176。

图9A示出了经定位以附接至扩展器模块900及摄像机模块30的电话10的立体图，及图9B示出了附接时的电话10、扩展器模块900及摄像机模块30的立体图。扩展器模块900可包括内存装置、电池或用于增强电话10的容量的其它组件。扩展器模块900可包括支撑磁铁的壳体，其可在结构及功能上与图1C及图1D中的摄像机模块30中所述的类似。磁铁可助于将壳体耦接至一侧上的电话10及另一侧上的摄像机模块30。附加地或替代地，可至少通过摩擦配合、互锁结构、紧固件、机械卡扣表面结构、机械闩锁表面结构、机械干涉配合表面结构等来完成耦接。

扩展器模块900也可包括模块连接器(例如，两个模块连接器，其中一个扩展器模块连接器910用于耦接至摄像机模块30上的相应连接器(未示出)及另一个扩展器模块连接器(未示出)用于耦接到模块连接器20)，该等模块连接器与模块连接器20类似或相同，该模块连接器20可与模块互换地耦接且从模块或耦接到模块的一个或多个其它装置接收电力或数据或将电力或数据传送至模块或耦接到模块的一个或多个其它装置。

尽管在本文所述的一些范例下可将绿色1及绿色2描述为单独地或不同地处理，但绿色1及绿色2可或可以单独地或不同地处理。例如，可将绿色1像素及绿色2像素分成单独的DCT宏区块或可不分成单独的DCT宏区块。作为另一个范例，可将绿色1像素及绿色2像素分成单独的扫描或可不分成单独的扫描。在又一个范例中，切片结构可具有用于绿色1及绿色2的单独部分，或可不具有用于绿色1及绿色2的单独部分。在另一范例中，绿色1及绿色2可在切片标头结构中具有单独的大小，或可在切片标头结构中不具有单独的大小。

各种图像捕捉装置(或装置的某些组件)在本文中可被描述为“被配置成”执行一个或多个功能。如本文所使用地，这意味着装置能够被设置于至少一种模式(例如，使用者可选模式)中，其中装置执行特定功能。例如，装置可能不一定在所有操作模式中执行特定功能。为此，使用词组“被配置成”并不意味着装置实际上必须当前处于操作模式中以“被配置成”执行功能，而仅是装置能够(例如被程序化成)被选择性地设置模式。

如本文所使用地，提到项目列表中的“至少一者”的词组指那些项目(包括单个成员)的任何组合。例如，“a、b或c中的至少一者”旨在涵盖：“a、b、c、a-b、a-c、b-c及a-b-c”。

结合本文中所述的实施方式而描述的各种说明性逻辑、逻辑块、模块、电路及算法步骤可实施为电子硬件、计算机软件或两者的结合。已在功能方面对硬件及软件的可互换性进行了一般性描述，且已在上述各种说明性组件、块、模块、电路及步骤中示出了硬件及软件的可互换性。这些功能取决于特定应用及强加于整个系统的设计限制而以硬件或是软件实施。

可用单芯片或多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可程序化门阵列(FPGA)或其它可程序化逻辑装置、离散闸或晶体管逻辑、分离的硬件组件或上述的任何组合(其被设计成执行本文所述的功能)来实施或执行用于实施结合本文所公开的方面所描述的各种说明性逻辑、逻辑块、模块及电路的硬件及数据处理设备。处理器可为微处理器、或任何处理器、控制器、微控制器或状态机。处理器也可实现为电子装置的组合，如DSP及微处理器的组合、多个微处理器、一个或多个结合DSP核心的微处理器或任何其它此种配置。在一些实施方式中，可由专门针对给定功能的电路来执行特定步骤及方法。

在一个或多个方面中，可用包含本说明书中所公开的结构及其结构等同物的硬件、数字电子电路、计算机软件、韧体或上述任何组合来实施所描述的功能。本说明书中所描述的标的的实施方式也可实施成一个或多个计算机程序；例如，计算机程序指令的一个或多个模块，该一个或多个模块经编码在计算机储存媒体上以由数据处理设备执行或控制数据处理设备的操作。

若以软件实施，则可将功能作为一个或多个指令或代码来储存在计算机可读取媒体上或在计算机可读取媒体上传输。本文所公开的方法或算法的步骤可在处理器可执行软件模块中实施，该处理器可执行软件模块可驻留在计算机可读取媒体上。计算机可读取媒体包括计算机储存媒体及包括能够将计算机程序从一个地方传送到另一个地方的任何媒体的通信媒体。储存媒体可为任何可由计算机存取的可用媒体。作为范例而非限制，此种计算机可读取媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘储存器、磁盘储存器或其它磁性储存装置，或任何其它可用于储存可由计算机所存取的指令或数据结构形式的所欲程序代码的媒体。以上的组合也可包括在计算机可读取媒体的范围内。另外，方法或算法的操作可作为一者或任何组合或一组代码及指令驻留在机器可读取媒体及计算机可读取媒体上，该机器可读取媒体及该计算机可读取媒体可合并至计算机程序产品中。

对所属技术领域中具有通常知识者来说，对本申请中描述的实施方式的各种修改可为显而易见的，且在不脱离本申请的精神或范畴的情况下，本文中定义的一般原理可应用于其它实施方式。因此，申请专利范围不旨在限于本文所示的实施方式，而是与符合本申请、本申请公开的原理及新颖特征的最宽范围相一致。

在单独实施方式的上下文中于本说明书中描述的某些特征也可在单个实施方式中组合实施。相反地，在单个实施方式的上下文中所描述的各种特征也可单独地或以任何合适的子组合来在多个实施方式中实施。此外，尽管上文所述的特征可描述为以某些组合起作用(且甚至最初如此声称)，但在一些情况下可从所要求保护的组合中切除来自该组合的一个或多个特征，且所要求保护的组合可针对子组合或子组合的变化。

除非上下文明确要求，否则在整个说明书及申请专利范围中，术语“包括/包含”等诸如此类应以包含性的含义来解释，而不是排他性或穷举性的含义；也就是说，是“包括但不限于”的意义。如本文通常使用的“耦接”一词指的是可直接连接或通过一个或多个中间元素连接的两个或更多个组件。同样地，如本文通常使用的“连接”一词指的是可直接连接或通过一个或多个中间组件连接的两个或更多个组件。另外，术语“本文”、“上文”、“下文”及类似含义的术语在本申请中使用时应当指代本申请的整体，而不是本申请的任何特定部分。在上下文允许的情况下，在实施方式上文中的使用单数或复数的术语也可分别包括复数或单数。术语“或”指的是两个或多个项目的列表，该术语“或”涵盖了该术语“或”的所有下述解释：列表中的任何项目、列表中的所有项目及列表中的项目的任意组合。

此外，除非另有明确说明，或在所使用的上下文内以其它方式理解，不然本文所使用的除其它事项外如“可(can/could/might)”、“例如(for example)”及“如(such as)”等诸如此类的条件语言通常意欲表达某些实施方式包括(而其它实施方式不包括)某些特征、组件或状态。因此，此种条件语言通常不意欲暗示特征、元素或状态由一个或多个实施方式以任何方式所需要的，或不意欲暗示一个或多个实施方式必须包括用于在有或没有作者输入或提示的情况下来确定这些特征、组件或状态是否包含在任何特定实施方式中或要在任何特定实施方式中执行的逻辑。

上文对实施方式的详细描述并非旨在穷举或限制于上文所公开的精确形式。虽然上文出于说明性目的而描述了特定实施方式及范例，但如所属技术领域中具有通常知识者将认识到地，在本文描述的发明范畴内可进行各种等同修改。例如，虽然以给定顺序呈现处理或方块，但替代实施方式可用不同的顺序执行具有步骤的例程或使用具有方块的系统，且可删除、移动、添加、细分、组合或修改一些处理或方块。可用各种不同的方式实施此些处理或方块中的每一者。而且，虽然有时将处理或方块示出为串行执行，但替代地，可平行执行或可在不同时间执行这些处理或方块。

本文提供的教示可应用于其它系统，而不仅是上述系统。可组合上述各种实施方式的组件及动作以提供进一步的实施方式。

虽然已描述了本发明的某些实施方式，但这些实施方式仅作为范例呈现，并不意欲限制本申请的范畴。实际上，可用各种其它形式来体现本文所描述的新颖方法及系统；此外，在不脱离本申请的精神的情况下，可对本文描述的方法及系统的形式进行各种省略、替换及改变。所附申请专利范围及其等同物意欲包含落入本申请的范畴及精神内的这些形式或修改。

Claims (17)

1.一种电子装置，包括：

外壳；

图像传感器，所述图像传感器配置成从入射在所述图像传感器上的光产生图像数据；

内存装置；以及

一个或多个处理器，所述一个或多个处理器配置成：

使用离散余弦转换来转换所述图像数据以获得转换系数，

量化所述转换系数以获得包括第一经量化转换系数及不同于所述第一经量化转换系数的第二经量化转换系数的经量化转换系数，

对所述经量化转换系数进行编码以获得经编码的系数，所述经量化转换系数至少由以下步骤来编码：

确定其中包括所述第一经量化转换系数的多个范围中的第一范围，

确定其中包括所述第二经量化转换系数的所述多个范围中的第二范围，

确定所述第一范围内对应于所述第一经量化转换系数的第一值，

确定所述第二范围内对应于所述第二经量化转换系数的第二值，

使用第一算法将所述第一范围编码成第一范围代码及将所述第二范围编码成第二范围代码，以及

使用与所述第一算法不同的第二算法将所述第一值编码成第一值代码，及将所述第二值编码成第二值代码，

其中，所述一个或多个处理器配置成：在处理所述图像数据期间，将所述第一算法从处理所述图像数据的第一帧变成处理所述图像数据的第二帧，以及

其中，所述第二算法在由所述一个或多个处理器处理所述图像数据期间保持恒定，以及

将所述经编码的系数储存到所述内存装置，所述经编码的系数包括所述第一范围代码、所述第二范围代码、所述第一值代码及所述第二值代码。

2.如权利要求1所述的电子装置，其中所述第一算法为霍夫曼码，及所述第二算法为哥伦布码。

3.如权利要求1所述的电子装置，其中所述经量化转换系数包括与所述第一经量化转换系数及所述第二经量化转换系数不同的第三经量化转换系数，及所述一个或多个处理器配置成至少由以下步骤来对所述经量化转换系数进行编码：

确定其中包括所述第三经量化转换系数的多个范围中的第三范围，

不确定所述第三经量化转换系数所对应的所述第三范围内的第三值，以及

使用所述第一算法来将所述第三范围编码成第三范围代码，所述经编码的系数包括所述第三范围代码。

4.如权利要求1所述的电子装置，其中所述离散余弦转换是16×16的离散余弦转换。

5.如权利要求1所述的电子装置，其中所述一个或多个处理器配置成至少通过对所述经量化转换系数的DC系数进行编码来对所述经量化转换系数进行编码，所述编码方式与所述经量化转换系数的AC系数的编码方式不同。

6.如权利要求1所述的电子装置，其中所述一个或多个处理器配置成将用于所述第一算法的参数储存在用于所述经编码的系数的帧头中。

7.如权利要求1所述的电子装置，其中所述一个或多个处理器配置成通过至少使用用于所述图像数据的绿色像素的第一量化表及用于所述图像数据的红色像素及蓝色像素的第二量化表来量化所述转换系数，所述第一量化表与所述第二量化表不同。

8.如权利要求1所述的电子装置，其中所述图像数据为原始马赛克图像数据。

9.如权利要求1所述的电子装置，其中所述外壳配置成包围所述图像传感器、所述内存装置及所述一个或多个处理器，及所述外壳配置成可移除地连接至移动电话。

10.如权利要求1所述的电子装置，还包括显示器，所述显示器配置成呈现由所述一个或多个处理器自所述图像数据产生的全息图像。

11.一种使用电子装置对图像数据进行编码的方法，所述方法包括以下步骤：

由图像传感器自入射在图像传感器上的光来产生图像数据；

由一个或多个处理器使用离散余弦转换来转换所述图像数据以获得转换系数；

由所述一个或多个处理器量化所述转换系数，以获得包括第一经量化转换系数及不同于所述第一经量化转换系数的第二经量化转换系数的经量化转换系数；

由所述一个或多个处理器确定包括所述第一经量化转换系数的多个范围的第一范围及包括所述第二经量化转换系数的所述多个范围的第二范围；

由所述一个或多个处理器确定所述第一范围内对应于所述第一经量化转换系数的第一值及所述第二范围内对应于所述第二经量化转换系数的第二值；

由所述一个或多个处理器使用第一算法将所述第一范围编码成第一范围代码及将所述第二范围编码成第二范围代码；

由所述一个或多个处理器使用不同于所述第一算法的第二算法将所述第一值编码成第一值代码及将所述第二值编码成第二值代码，所述第二算法在所述图像数据的处理期间保持恒定；

在所述图像数据的处理期间，将所述第一算法从处理所述图像数据的第一帧变成处理所述图像数据的第二帧；以及

将所述第一范围代码、所述第二范围代码、所述第一值代码及所述第二值代码储存至内存装置。

12.如权利要求11所述的方法，其中对所述第一范围及所述第二范围进行的所述编码及对所述第一值及所述第二值进行的所述编码是使用无损压缩来执行的。

13.如权利要求11所述的方法，其中对所述第一范围及所述第二范围进行的所述编码及对所述第一值及所述第二值进行的所述编码是使用可变长度编码来执行的。

14.如权利要求11所述的方法，还包括以下步骤：

从所述内存装置中检索所述第一范围代码、所述第二范围代码、所述第一值代码及所述第二值代码；以及

由所述一个或多个处理器解码所述第一范围代码、所述第二范围代码、所述第一值代码及所述第二值代码，以获得所述第一范围、所述第二范围、所述第一值及所述第二值。

15.如权利要求14所述的方法，还包括以下步骤：使用所述经解码的第一范围、第二范围、第一值及第二值来产生全息内容，以在所述电子装置的显示器上显示。

16.如权利要求11所述的方法，其中使用霍夫曼码将所述第一范围及所述第二范围编码成所述第一范围代码及所述第二范围代码，及使用哥伦布码将所述第一值及所述第二值编码成所述第一值代码及所述第二值代码。

17.如权利要求11所述的方法，其中对所述图像数据进行的所述转换是使用16×16的离散余弦转换来执行的。