CN105339953A - 用于数字图像捕获的方法和装置 - Google Patents

Abstract

公开了一种方法、装置和计算机程序以用于：从图像传感器接收图像数据；从所述图像数据获得源图像和用户图像，使得所述用户图像与所述源图像的用户设定部分相对应；其中，所述源图像和所述用户图像在从所述图像传感器接收到所述图像数据时被获得。

Description

用于数字图像捕获的方法和装置

技术领域

本申请总体上涉及数字图像捕获。

背景技术

数字相机利用图像传感器捕获图像。之后数字图像能够在相机中或通过使用外部计算机和适当的图像编辑软件来进行数字处理。

一些胶卷相机已经使得用户能够选择诸如肖像或全景的形式因子。也已经能够进行光学缩放很长时间。另一方面，已经存在能够在获取图像时产生的一些数字效果，例如数字缩放、裁剪和数字图像稳定。数字相机也使得能够存储压缩的jpeg图像和未被压缩但是代替地包括由图像传感器产生的图像帧的所有图像信息的所谓的原图像。该设置不仅对产生容易共享的无所不在地可用的jpeg图像有用而且对存储最适合于由计算机和图像处理软件后处理的原图像有用。例如，较高比特深度通常帮助改善图像的暗部，因为不同深浅的颜色能够是可辨别的。

现代数字相机以及尤其是现代装备有相机的移动电话也日益频繁地被提供有相机内图像处理软件，利用相机内图像处理软件用户能够改变色调、裁剪、添加模糊或甚至产生诸如电影图片效果的高级效果。当图像被编辑时，新图像代替原始图像或在原始图像之外被保存作为单独的图像文件。

本发明的目的是增强数字图像捕获中的用户体验和/或提供新技术备选方案。

发明内容

在权利要求书中阐述了本发明的示例的各个方面。

根据本公开的第一示例方面，提供了一种方法，包括：

从图像传感器接收图像数据；

从所述图像数据获得源图像和用户图像，使得所述用户图像与所述源图像的用户设定部分相对应；其中，所述源图像和所述用户图像在从所述图像传感器接收到所述图像数据时被获得。

所述方法还可以包括维护所述源图像。所述源图像可以通过将所述源图像存储在源图像文件中来维护。

所述方法还可以包括维护所述用户图像。对所述用户图像的所述维护可以包括存储所述用户图像。所述用户图像可以被存储在用户图像文件中。备选地，对所述用户图像的所述维护可以包括或包含存储指示所述用户图像如何能够从所述源图像被获得的衍生信息。所述衍生信息可以被存储在衍生信息文件中。备选地，所述衍生信息可以被存储在衍生信息数据库中。所述衍生信息可以包括指示所述用户设定部分的对齐信息。所述衍生信息可以包括指示所述用户图像中的像素如何从所述源图像中的可能较大数目的像素被形成的缩放信息。所述衍生信息可以包括指示所述源图像如何被处理的处理信息。所述处理信息可以指示以下的一项或多项是否已经进行并且可选地还有以下的一项或多项已经进行多少：增加亮度；减少亮度；增加对比度；减少对比度；增加模糊；减少模糊；执行背景区域中的选择性模糊；调节白平衡；应用图像压缩；改变色调；改变几何结构例如以用于模仿倾斜和/镜头偏移；以及它们的任何组合。

对所述源图像的所述存储可以在从所述图像传感器接收到所述图像数据时被执行。

对所述用户图像的所述维护可以在从所述图像传感器接收到所述图像数据时被执行。

对来自所述图像传感器的所述图像数据的所述接收以及对所述源图像和所述用户图像的所述获得可以在利用所述传感器获取图像时被自动执行。对所述源图像的所述存储可以在利用所述图像传感器获取图像时被自动执行。对所述用户图像的所述维护可以在利用所述图像传感器获取图像时被自动执行。

所述方法还可以包括存储所述源图像与所述用户图像之间的链接。对所述链接的所述存储可以将所述源图像和所述用户图像关联在一起。所述链接可以被存储在以下的任一种中：含有所述源图像的源图像文件；含有所述用户图像的用户图像文件；链接数据库；以及它们的任何组合。

所述方法还可以包括将所述用户图像而非所述源图像添加到图像图库。所述方法还可以包括在访问所述用户图像时使所述源图像对用户可见。

所述图像数据可以包含所述源图像。备选地，所述源图像可以是定义多个图像帧的从图像数据获得的多帧图像。

所述源图像可以是全尺寸图像。所述源图像可以是全分辨率图像。

所述用户图像可以被缩小。

所述图像数据可以直接从所述图像传感器被接收。备选地，所述图像数据可以经由一个或多个中介元件；数据总线和/或电路被接收。

所述源图像可以表示一个曝光时间段。备选地，所述源图像可以通过将具有各自不同的曝光时间段的两幅或更多幅图像进行组合来被获得，例如以用于高动态范围成像、用于多帧噪声滤波和/或对在使用闪光和不使用闪光的图像进行组合。所述不同的曝光时间段可以具有不同的曝光时间。在又一备选方案中，所述源图像可以表示多帧图像的一帧。在这种情况下，所述曝光时间可以是普照光中的正常的并且关于使用的光圈和敏感度(例如ISO值)的分数。所述方法可以包括从所述源图像或从所述图像数据形成一幅或多幅另外的图像，使得所述另外的图像包括所述源图像的不同用户设定部分或者与所述源图像的不同用户设定部分相对应。所述用户图像以及所述另外的图像可以与所述源图像的不同用户设定部分相对应而且具有不同的分辨率(例如以下的缩小)。所述另外的图像可以在从所述图像传感器接收到所述图像数据之后响应于从用户接收到的一个或多个用户命令来形成。

所述方法还可以包括维护所述另外的图像。对所述另外的图像的所述维护可以包括存储所述另外的图像。所述另外的图像可以被存储在另外的图像文件中。备选地，对所述另外的图像的所述维护可以包括或包含存储指示所述另外的图像能够如何从所述源图像被获得的衍生信息。

所述方法可以包括由另外的图像替换所述用户图像。

所述用户图像的所述形成可以基于用户控制。所述用户控制可以包括以下的任一项：预设图像纵横比；在接收到所述图像数据之前预设裁剪区域；在接收到所述图像数据之前预设数字缩放；通过对在接收到图像数据之前限定的像素进行组合来预设下采样；以及它们的任何组合。

所述方法还可以包括在与所述源图像相关联的所有用户图像已经被删除时删除所述源图像。

所述方法还可以包括当给定数目的源图像已经被存储时或者当给定数据量已经由存储的源图像占据时删除所述源图像。

所述源图像可以被存储以保留图像信息。备选地，所述源图像可以使用有损压缩来存储。所述用户图像可以在对所述源图像进行压缩之前从所述源图像来形成。

所述方法还可以包括从相机单元接收所述图像数据。所述图像数据可以通过相机接口从所述相机单元来被接收。所述相机接口可以包括被配置为传输以数字形式的图像信息的数字总线。

所述方法还可以包括向用户显示源图像帧，所述源图像帧图示所述源图像和所述源图像的已经从其形成一幅或多幅用户图像的任何区域。

所述图像可以形成视频序列的帧。

根据本公开的第二示例方面，提供了一种装置，包括：

输入，所述输入被配置为从图像传感器接收图像数据；以及

处理器，所述处理器被配置为使得：

从所述图像数据获得源图像和用户图像，使得所述用户图像与所述源图像的用户设定部分相对应；其中，所述源图像和所述用户图像在从所述图像传感器接收到所述图像数据时被获得。

所述处理器还可以被配置为使得维护所述源图像。所述处理器还可以被配置为使得通过将所述源图像存储在源图像文件中来维护所述源图像。

所述处理器还可以被配置为使得维护所述用户图像。所述处理器还可以被配置为使得通过将所述用户图像存储在用户图像文件中来维护所述用户图像。

所述处理器还可以被配置为使得存储所述源图像与所述用户图像之间的链接。

所述处理器还可以被配置为使得将所述用户图像而非所述源图像添加到图像图库。

所述处理器还可以被配置为使得在访问所述用户图像时使所述源图像对用户可见。

所述图像数据可以包含所述源图像。备选地，所述源图像可以是定义多个图像帧的从图像数据获得的多帧图像。

所述源图像可以是全尺寸图像。所述源图像可以是全分辨率图像。

所述用户图像可以被缩减。

所述源图像可以表示一个曝光时间段。备选地，所述源图像可以通过将具有各自不同的曝光时间段的两幅或更多幅图像进行组合来形成，例如以用于高动态范围成像。

所述处理器还可以被配置为使得从所述图像数据或从所述源图像获得一幅或多幅另外的图像，使得所述另外的图像与所述源图像的不同用户设定部分相对应。所述处理器还可以被配置为使得在从所述图像传感器接收到所述图像数据之后响应于从用户接收到的用户命令来获得所述另外的图像。

所述处理器还可以被配置为使得维护所述另外的图像。所述处理器还可以被配置为使得通过存储所述另外的图像来执行对所述另外的图像的维护。所述另外的图像可以被存储在另外的图像文件中。备选地，所述处理器还可以被配置为使得通过存储指示所述另外的图像如何能够从所述源图像被获得的衍生信息来执行对所述另外的图像的所述维护。

所述处理器还可以被配置为通过使用表示多帧成像中的不同帧的不同源图像的部分来形成所述用户图像和所述一幅或多幅另外的图像中的至少一幅图像。

所述处理器还可以被配置为使得由另外的图像替换所述用户图像。

对所述用户图像的所述获得可以基于用户控制。所述用户控制可以包括以下的任一项：预设图像纵横比；在接收到所述图像数据之前预设裁剪区域；在接收到所述图像数据之前预设数字缩放；通过对在接收到图像数据之前限定的像素进行组合来预设下采样；以及它们的任何组合。

所述处理器还可以被配置为使得在与所述源图像相关联的所有用户图像已经被删除时删除所述源图像。

所述处理器还可以被配置为使得当给定数目的源图像已经被存储时或者当给定数据量已经由存储的源图像占据时删除所述源图像。

所述处理器还可以被配置为使得对保留所有图像信息的所述源图像进行存储。备选地，所述处理器还可以被配置为使得使用有损压缩来存储所述源图像。所述处理器还可以被配置为使得在对所述源图像进行压缩之前从所述图像数据获得所述用户图像。

所述处理器还可以被配置为使得从相机单元接收所述图像数据。所述处理器还可以被配置为使得通过相机接口从所述相机单元接收所述图像数据。所述相机接口可以包括被配置为传输以数字形式的图像信息的数字总线。

所述处理器还可以被配置为使得向用户显示源图像帧，所述源图像帧图示所述源图像和所述源图像的一幅或多幅用户图像与其相对应的任何区域。

根据本发明的第三示例方面，提供了一种包括计算机可读介质的计算机程序产品，所述计算机可读介质承载体现在其中的用于与计算机一起使用的计算机程序代码，所述计算机程序代码包括：

用于从图像传感器接收图像数据的代码；以及

用于从所述图像数据获得源图像和用户图像使得所述用户图像与所述源图像的用户设定部分相对应的代码；其中，源图像和所述用户图像在从所述图像传感器接收到所述图像数据时被获得。

所述计算机程序产品还可以包括用于存储所述源图像的代码。

所述计算机程序产品还可以包括用于存储所述用户图像的代码。

根据本发明的第四示例方面，提供了一种编码有指令的计算机可读非瞬态介质，所述指令当由计算机运行时执行：

从图像传感器接收图像数据；以及

从所述图像数据获得源图像和用户图像，使得所述用户图像与所述源图像的用户设定部分相对应；其中，所述源图像和所述用户图像在从所述图像传感器接收到所述图像数据时被获得。

所述计算机可读非瞬态介质还可以被编码有指令，所述指令当由计算机运行时执行存储所述源图像。

所述计算机可读非瞬态介质还可以被编码有指令，所述指令当由计算机运行时执行存储所述用户图像。

任何前述存储器介质可以包括诸如数据盘或磁盘的数字数据存储设备、光学存储设备、磁性存储设备、全息存储设备、光磁存储设备、相变存储器、电阻式随机存取存储器、磁性随机存取存储器、固体电解质存储器、铁电随机存取存储器、有机存储器或聚合物存储器。存储器介质可以被形成为除了对存储器进行存储之外没有其他实质功能的设备或者其可以被形成为具有其他功能的设备的部分，包括但不限于计算机的存储器、芯片组和电子设备的子组件。

已经在前文中说明了本发明的不同无约束力的示例方面和实施例。前文中的实施例仅仅用于解释在本发明的实施方式中利用的选定方面或步骤。一些实施例可以仅仅参考本发明的某些示例方面来呈现。应当认识到，对应的实施例也可以适用于其他示例方面。

附图说明

为了更完整地理解本发明的示例实施例，结合附图对下面的描述进行参考，在附图中：

图1示出了用作能够利用其解释本发明的一些示例实施例的参考的示意性系统。

图2示出了本发明的示例实施例的装置的方框图；

图3示出了本发明的示例实施例的相机单元的方框图；

图4示出了并存的四个成像区域的示例；

图5示出了根据示例实施例的图示了各种处理状态之间的转变的状态图；

图6示出了根据示例实施例的第一图像捕获过程；

图7示出了根据本发明的示例实施例的第二图像捕获过程；并且

图8示出了根据本发明的示例实施例的第三图像捕获过程。

具体实施方式

通过参考附图中的图1到图8来理解本发明的示例实施例以及其潜在优点。

接下来将描述各种示例以说明本发明的不同示例实施例。这些实施例的结构可以以许多方式来改变。旨在对图1中呈现的示意性系统进行参考以便呈现其中描述示例实施例的基本系统，并且以便之后根据不同示例实施例来讨论各种操作。该具体实施方式仅仅呈现本发明的一些实施例。

图1示出了用作能够利用其解释本发明的一些示例实施例的参考的示意性系统100。系统100包括设备110，诸如相机手机、游戏设备、安全相机设备、个人数字助理、平板电脑或者具有含有视场130的相机单元120的数字相机。设备110还包括显示器140。图1还示出了用户105和由相机单元120成像的图像对象150以及诸如在图像对象后面的帘的背景160。

在图1中，图像对象105与在图像对象105处的视场相比是相对小的。挨着图像对象105，存在连续背景160和次级对象155。尽管该设置决不是必要的，但是其用于简化图1和本发明的一些示例实施例的描述。

图2示出了本发明的示例实施例的装置200的方框图。装置200适合于用作设备110。装置200包括通信接口220、耦合到通信接口模块220的主机处理器210以及耦合到主机处理器210的存储器240。

存储器240包括工作存储器和非易失性存储器，诸如只读存储器、闪速存储器、光学或磁性存储器。在存储器240中，通常首先至少在非易失性存储器中，存储有可操作为被下载到主机处理器210中并由主机处理器210运行的软件250。软件250可以包括一个或多个软件模块并且可以具有计算机程序产品的形式，所述计算机程序产品是被存储在存储介质中的软件。装置200还包括相机单元260和取景器270，各自被耦合到主机处理器210。取景器270通过使用被配置为显示实况相机视图的显示器而被实施在示例实施例中。相机单元260和处理器210经由相机接口280连接。

术语主机处理器是指装置200中的区别于相机单元260中的一个或多个处理器(在图3中被称为相机处理器330)的处理器。取决于实施方式，本发明的不同示例实施例在相机单元与在相机单元外部的一个或多个处理器之间以不同方式共享对图像信息的处理和对相机单元260的控制。此外，所述处理在一个示例实施例中被联机地执行并且在另一示例实施例中利用离线处理来执行。还可能的是，给定数目的图像或图像信息能够联机地被处理，并且如在一个示例实施例中在那之后离线操作模式被使用。联机操作例如是指随着获取图像而发生的并且通常也在下一图像能够被获取之前完成的这样的实时或接近实时的操作。

将会理解，在该文档中的任何耦合是指功能耦合或操作耦合；在耦合的元件之间中可以存在中介部件或电路。

通信接口模块220被配置为通过一个或多个局部链接来提供局部通信。链接可以是有线链接或无线链接。通信接口220还可以或备选地可以实施适合于建立与其他用户的链接或建立用于(例如，使用互联网的)数据传输的链接的电信链接。这样的电信链接可以使用以下的任一种：无线局域网链接、蓝牙、超宽带、蜂窝或卫星通信链接。通信接口220可以被集成到装置200中或被集成到可以被插入到装置200的适当的槽或端口中的适配器、卡等中。尽管图2示出了一个通信接口220，但是装置可以包括多个通信接口220。

主机处理器210例如为中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、图形处理单元、专用集成电路(ASIC)、现场可编程门阵列、微控制器或这样的元件的组合。图2示出了一个主机处理器210，但是装置200可以包括多个主机处理器。

如在前文中提到的，存储器240可以包括易失性存储器和非易失性存储器，诸如只读存储器(ROM)、可编程只读存储器(PROM)、可擦可编程只读存储器(EPROM)、随机存取存储器(RAM)、闪速存储器、数据盘、光学存储设备、磁性存储设备、智能卡等等。在一些示例实施例中，仅仅易失性存储器或非易失性存储器被呈现在装置200中。此外，在一些示例实施例中，装置包括多个存储器。在一些示例实施例中，各种元件被集成。例如，存储器240能够被构建为装置200的部分或者被插入到槽、端口等中。而且，存储器240可以用于存储数据的唯一目的，或者其可以被构建为用于诸如处理数据的其他目的的装置的一部分。也能想到针对各种其他元件的类似的选项。

技术人员认识到，除了图2中示出的元件之外，装置200可以包括诸如麦克风、显示器的其他元件以及附加的电路，诸如另一输入/输出(I/O)电路、存储器芯片、专用集成电路(ASIC)、用于特定目的的处理电路，例如源编码/解码电路、通道编码/解码电路、加密/解密电路等等。附加地，装置200可以包括用于在外部电源不可用时对装置进行供电的一次性或可充电电池(未示出)。

意识到术语装置以不同范围的情况下被使用在本文档中也是有用的。在较宽泛的权利要求和示例中的一些中，装置可以是指仅仅在图2中呈现的特征的子集或者甚至在没有图2的特征中的任何特征的情况下被实施。在一个示例实施例中，术语装置是指处理器210、被配置为从相机单元接收信息的处理器210的输入以及被配置为将信息提供给取景器的处理器210的输出。例如，图像处理器可以包括处理器210并且讨论中的设备可以包括图3中示出的相机处理器330和相机接口280。

图3示出了本发明的示例实施例的相机单元260的方框图。相机单元260包括物镜310、图像传感器320、相机处理器330、包括数据344和软件342的存储器340，利用软件342相机处理器330能够管理对相机单元260的操作。相机处理器330用作示例实施例的图像处理电路。还提供输入/输出或相机接口280以使得能够在相机单元260与主机处理器210之间交换信息。图像传感器320例如为CCD或CMOS单元。在CMOS单元的情况下，图像传感器320还能够含有被实施在具有图像传感器320的常见硅片上的内置模数转换。在备选示例实施例中，在图像传感器320与相机处理器330之间提供单独的A/D转换。

在具体示例实施例中相机处理器330负责以下功能中的一个或多个功能：

●像素颜色插值；

●白平衡校正；

●边缘增强；

●通过选择要在产生子图像中使用的像素探测器的纵横比控制；

●通过裁剪或拉伸获取的子图像的纵横比控制；

●对图像的抗锯齿；

●虚光校正；

●对后续图像进行组合以用于高动态范围成像；

●拜耳(Bayer)重构滤波；

●色差校正；

●灰尘效应补偿；以及

●缩减图像。

在示例实施例中，相机处理器330执行很少处理或根本不执行处理。在其中相机单元260仅仅形成用于例如通过主机处理器210的后续处理的数字化图像的示例实施例中，相机处理器330被完全省略。

在示例实施例中，由相机单元260产生的信息被称为图像数据。在另一示例实施例中，由图像传感器320产生的信息被称为图像数据。在又一示例实施例中，相机单元在可能的数模转换之外不执行进一步处理并且由图像传感器320产生的图像数据也是相机单元260的图像数据。

数据344包括例如定义期望要被捕获的每幅用户图像或另一图像的角落的裁剪数据。根据示例实施例，裁剪数据通过接口280从主机处理器210被接收。在示例实施例中，裁剪数据还包括指示例如讨论中的图像的分辨率在X方向和/或Y方向上被缩减多少的缩减信息。裁剪数据可以被包含在随后更详细描述的对应关系数据中。应理解，存在根据针对装置200以及针对相机单元260的不同的示例实施例的各种不同的实施方式。例如，装置200可以被提供有图像加速器，所述图像加速器被配置为处理从接口280接收到的信息，否则其将由主机处理器210或由相机处理器330执行。此外，主机处理器210和相机处理器330中的任一个或两者能够使用一个或多个处理器来实施。而且，在前文中描述的数据344能够被使用在其中相机单元260产生源图像和一幅或多幅子图像(例如，用户图像以及可选地还有另外的图像)的示例实施例中。在其中相机单元仅仅产生源图像或图像信息以用于随后产生源图像的另一示例实施例中(例如，如果数字图像稳定是从相机单元260的下游被执行)，根本无需提供数据344。在又一示例实施例中，相机单元260将源图像存储在其存储器340中并通过接口280将子图像传输到主机设备(例如，传输到主机处理器210)。在该示例实施例中，相机单元260还可以被配置为基于从主机设备接收到的指令在稍后的时间发布来自较早存储的源图像的另一子图像。通过将源图像存储在相机单元的存储器340中，可以减少通过接口280的流量。在一些实施方式中，这可以导致更高的连续拍摄帧率。

图4相对于图像传感器320的成像区域示出了四个不同的子图像410到440和一个全分辨率图像或源图像450的示例。在示例实施例中，图像数据定义源图像450。子图像之一被称为用户图像410。在示例实施例中，用户图像410包括源图像450的用户设定部分。在示例实施例中，该部分在源图像的100％以下就可以。在另一示例实施例中，该部分高达100％，即子图像可以与源图像450的整个图像区域相对应(尽管可能具有较低的分辨率和/或较高的图像压缩)。两幅另外的图像420、430具有交叠区域425。一幅另外的图像440覆盖所有其他子图像。在图4中，作为其中图像的一部分被放大的常用用例的示例，用户图像410被绘制在源图像450的中心并且以与源图像450相同的纵横比来绘制。在显示时，用户图像410能够被扩展以填充被分配用于显示用户图像410的整个空间。然而，如果用户图像410被形成例如以包围诸如人或人群的给定图像对象，则用户图像410不需要与源图像450同中心。此外，数字图像稳定也能够在用户图像410还能够从源图像450的中心偏移的情况中被采用。注意在示例实施例中，源图像表示一个曝光时间段或者源图像通过将具有各自不同的曝光时间段的两幅或更多幅图像进行组合来被获得，例如以用于高动态范围成像、用于多帧噪声滤波和/或对在使用闪光和不使用闪光的情况下的图像进行组合。另外，不同的曝光时间段可以具有不同的曝光时间。

在示例实施例中，不同的子图像不同，使得一些成像区域由装置200记录为静止图像而一些其他成像区域被记录为视频图像或具有不同空间分辨率的静止图像。在示例实施例中，空间分辨率被调节以产生视频图像或在水平像素和垂直像素方面具有期望尺寸的静止图像。

对空间分辨率的调节可以由装置200通过使用诸如跳过像素、对像素求平均、对像素进行插值、双线性缩减、双三次缩减、兰托斯(lanczos)缩减、复制像素以及边缘增强的已知技术中的任何已知技术来对呈现区域进行缩减或放大来执行。

在示例实施例中，针对全分辨率或源图像450的图像数据由装置200通过在相机接口280上针对每个随后图像帧时间段进行传输而从图像传感器320获得，然而子图像由主机处理器210或来自相机接口280的下游的其他装备形成。在示例实施例中，这些随后图像帧时间段至少有时为多帧成像曝光时间段，使得一幅或多幅子图像能够通过对给定多帧构成图像的部分进行组合来获得。在示例实施例中，源图像450容易从多帧形成并且子图像从源图像被获得。在另一示例实施例中，源图像450仅仅表示一个多帧成像曝光时间段，使得子图像从两幅或更多幅源图像450被获得。

还能够以不同方式来执行对用户图像的维护或存储。在示例实施例中，对用户图像或者任何子图像的存储包括或包含存储指示所述用户图像能够如何从所述源图像被获得的衍生信息。在示例实施例中，所述衍生信息包括以下的任一项：指示所述用户设定部分的对齐信息；指示所述用户图像中的像素如何从所述源图像中的可能较大数目的像素形成的缩放信息；指示所述源图像如何被处理的处理信息；以及它们的任何组合。所述处理信息可以指示例如进行的处理的类型和进行具有给定的一个或多个类型的处理的量中的任一项，其中所述处理例如为已经进行的以下的一项或多项：增加亮度；减少亮度；增加对比度；减少对比度；增加模糊；减少模糊；执行背景区域中的选择性模糊；调节白平衡；应用图像压缩；改变色调；改变几何结构例如以用于模仿倾斜和/镜头偏移；以及它们的任何组合。通过仅仅存储衍生信息，存储空间可以大量被节省，并且/或者另外的修改可以在不损失信息的情况下来执行，即使例如最终子图像作为图像文件被输出到外部设备或在某种基于互联网的服务中被共享。

接下来进一步详细参考图5到图8来描述对图像数据的处理或对源图像450的处理以及对子图像410到440的处理。

图5示出了根据示例实施例的图示在各个处理状态之间的转变的状态图。首先，接收505图像数据并且基于图像数据例如以第一文件名512(例如，image_001.tzjpg)来存储源图像450。在示例实施例中，接收到的图像数据之后被删除或让被重写。

在图5的示例实施例中，第一文件名具有通常不与图像查看程序相关联的扩展名。用户图像410以第二文件名514例如以文件名image_001.jpg被存储。

在示例实施例中，从图像传感器(可能通过中介装备)接收505图像数据并且响应于由相机单元260获取图像来自动获得用户图像410。

在示例实施例中，源图像450是具有由相机单元260产生的全部像素的全尺寸或全分辨率图像。另一方面，用户图像410可以是经缩减的图像，例如，使得用户图像410的每个像素从源像素450的两个或更多个像素(例如，从源图像450的2个、4个、8个或16个像素)形成。注意为简单起见，用户图像410可以被描述为如同从源图像形成，尽管用户图像410和源图像两者都可以从图像数据被获得。

在图5中，第二文件名514与第一文件名512共享共同主体。该文件命名存储在源图像与根据共同图像数据导出的子图像之间的链接。还要注意，能够在源图像和诸如用户图像410的子图像中的任一个或两者中使用有损压缩或无损压缩。此外，有损压缩和无损压缩能够备选地例如基于用户选择来使用。适当的有损压缩的示例包含：

-将颜色空间减少为图像中最常见的颜色；

-色度子采样；

-诸如离散余弦变换(DCT)的变换编码；以及

-分形压缩。

JPEG是有损压缩图像格式的示例。

无损压缩方法的示例包含：

-行程编码；

-DPCM和预测性编码；

-熵编码；

-自适应字典算法(例如，LZW)；

-紧缩(例如，PNG、MNG和TIFF)；以及

-链码。

DNG是无损图像格式的示例。

源图像和用户图像现在被存储在例如装置200的存储器中。第二图像514之后由用户105使用520。例如，用户可以通过图像图库访问第二图像514的缩略图，或者装置仅仅在用户105已经获得图像之后自动显示第二图像514，参见状态520。例如，用户可以查看522第二图像并且共享524第二图像。另一方面，在示例实施例中，用户被提供有另外的选项缩放526和/或重构528。在缩放和重构两者的情况下，第一图像512(源图像)被用作基础。这样，缩放和重构可以采用原始图像的在第二图像514外部的部分。用户还可以被提供有平移选项(为了简化附图而没有示出)，其中第二图像的位置可以在第一图像内被改变。此外在平移中，第一图像512被用作基础。

在示例实施例中，任何子图像(例如，用户图像410或这里的第二图像514)被提供有对应关系数据，其包括例如用于指示第一图像512的与第二图像514相对应的部分的坐标和可选的缩放因子。对应关系数据能够在对子图像的处理期间被维持并且在缩放、重构和平移时被调整。在示例实施例中，对应关系数据作为各自的图像文件的元数据入口被维持。

在示例实施例中，在缩放526之后，用户105被允许以将经缩放的图像存储为新子图像或代替用户105正在缩放的子图像。注意，术语子图像被用作缩放526的主题，如同对用户而言看起来的一样，即使实际上是第一图像512的对应部分而非第二图像514被缩放。

在图5中，第一新子图像531通过缩放526和重构528来形成并且之后被存储并被添加在图像图库中。

注意在示例实施例中，用户105可以对向其显示的图像进行平移和缩放，但是新图像仅仅在用户105指示装置200存储经编辑的图像之后被存储。

图5还示出了用户选择以使用第一新图像531的情况，参见状态530。这里，用户可以查看522、共享524、缩放526、重构528和/或平移，如同在其中第二图像正要被使用使得新子图像551被产生或者当前编辑的子图像被替换的状态520中一样。此外，示出了另一选项编辑529。该选项还能够被提供在其中第二图像514被处理的状态520中，尽管为简化附图起见而没有绘制。编辑529是其中用户被允许执行诸如红眼去除、调节亮度、对比度、饱和度、伽马曲线、柔和、锐化、色调调节、白平衡调节、通过对周边进行外推来绘制并移除图像对象的任何图像编辑的功能。图像编辑包含手动处理和/或自动处理。在编辑之后，用户能够被允许以替换经编辑的子图像或者将经编辑的子图像存储为新子图像541。在示例实施例中，在源图像与第二图像514或者根据其导出的任何另外的子图像之间的关联或链接在讨论中的子图像被编辑时被断开连接，使得源图像可能不再适合于使用源图像来扩大子图像。在示例实施例中，该断开连接包括删除源图像与用户图像或从与源图像的共同图像数据导出的另一子图像或子图像之间的链接。在该连接中，源图像可以被删除或者仍然被维持，只要其任何子图像被维持或者直到源图像要在正常整理的部分中被删除。

在图5的底部，绘制有又一选项，打开原始图像542。根据示例实施例，利用该选项，用户105能够打开未在图像图库中示出的第一图像512。在示例实施例中，用户被允许编辑第一图像512。在这种情况下，第一图像512与子图像(例如，第二图像514)的关联可以被断开连接，如果第一图像被如此编辑，其将不必适合于修改子图像。如在前面提到的，对关联的断开连接还可以在讨论中的图像被编辑时发生，使得不存在维持该关联的益处。

第一图像还可以通过将子图像的组帧扩大为包括整个第一图像512而通过重构528来有效地被访问。在访问第一图像512时，还可以使用户105删除第一图像512，例如以节省存储，尽管在示例实施例中，第一图像512被隐藏而不显现在图像图库中并且例如基于以下条件中的任何一个或多个条件而被自动删除：在给定时间之后或者当空闲存储器缩小到给定阈值以下时或者当使用的存储器超过给定阈值时。

在示例实施例中，在用户对子图像进行重构以覆盖具有其全分辨率的整个第一图像512时，代替第一图像512的新副本，快捷方式文件被生成。在这种情况下，装置能够被配置为在图像被显示在图像图库中或者被传输到诸如存储卡或个人计算机的外部设备时访问第一图像而非快捷方式文件。否则，根据示例实施例，第一图像文件不被传输到外部设备而是仅仅子图像在将图像复制或移动到外部设备时被传输。

在示例实施例中，当与第一图像512相关联的最后一幅子图像被删除时删除第一图像512。

谈及图像图库，存在用于增强用户体验的各种示例实施例。在示例实施例中，即使存在与一幅第一图像512相对应的形成的两幅或更多幅子图像，仅仅子图像之一被(首先)示出在图像图库中。对另外的子图像的呈现可以例如利用诸如紧挨着示出的子图像或其缩略图像出现的其他图像的加号或十字的适当符号来指示。之后，其他子图像或它们的缩略图能够在例如响应于用户在示出的子图像或其缩略图处轻叩或滑动触摸屏时被示出一幅或多幅。

在重构528中，可以向用户示出第一图像512或第一图像512的粗略版本，连同现有的子图像的标记以指示出现在子图像中的第一图像的部分。例如，标记可以被实施为诸如图4中示出的那些框的框。备选地或附加地，标记可以通过使第一图像512显现由子图像占据的较暗或较亮外部部分来形成。在示例实施例中，子图像名(例如，图像文件名或数目)结合第一图像512上的每个图像区域被示出。

在其中在第一图像和第二图像中使用无损压缩的示例实施例中，还可以布置缩放、重构和平移使得所需要的附加部分从第一图像512被添加到第二图像514，同时维持第二图像中不改变的那些部分。在该实施例中，缩减可以在附加部分被添加到第二图像514之前被执行。

接下来参考图6到图8来描述不同示例实施例的各种处理选项。

图6示出了根据本发明的示例实施例的第一图像捕获过程600。第一图像捕获过程600包括(从相机单元260)接收610图像；执行针对整幅图像或第一图像512的拜耳处理620；以及在第一分支中针对第一图像执行拜耳到YUV转换630，并行地在第二分支中针对用户图像(第二图像514)执行拜耳到YUV转换630。第一分支中的处理通过后处理640和诸如jpeg编码的图像编码645来继续。图6示出了第二分支中的处理与对第一分支的处理并行地由后处理640和诸如jpeg编码的图像编码645来继续。

注意在示例实施例中，并行分支被并行地处理，即至少部分同时地被处理，然而在另一示例实施例中，分支一个接着一个地被处理。

第一分支和第二分支产生的图像编码文件之后被链接660并被保存670。在示例实施例中，对文件的链接660包括通过将适当的记录存储在关联数据库中来将文件彼此关联。在示例实施例中，对文件的链接660包括通过使用如在前文中解释的指示关联的适当文件名称来将文件彼此关联。

图7示出了根据本发明的示例实施例的第二图像捕获过程700。第二图像捕获过程700包括与第一图像捕获过程相同的步骤，除了这里拜耳到YUV转换对于第一分支和第二分支是共同的。

图8示出了根据本发明的示例实施例的第三图像捕获过程800，其否则与第二图像捕获过程相对应，除了第二分支的后处理645是基于第一图像的后处理640来被执行。

在前文中，已经总体上假设图像基于用户的发起而被捕获，例如在用户105按压触发按钮时被捕获。备选地或附加地，图像捕获可以由分析器软件来触发。例如，面部跟踪器和/或对象跟踪器可以被配置为决定在给定一个或多个对象对于图像传感器出现时捕获图像。在示例实施例中，用户105至少偶尔为自动化实体，诸如经编程的控制器、装置200的处理器或甚至使用装置200以获取图像例如用于图像和/或视频监控目的的外部设备。

在示例实施例中，当用户105发起对图像的获取时，全分辨率图像被生成并且多幅子图像被生成。例如，全分辨率图像或第一图像可以具有40M像素的分辨率，并且子图像可以具有例如2M、5M、8M或12M像素。子图像可以以不同方式被裁剪、缩放和/或缩减。子图像中的一些子图像还可以与一幅或多幅其他子图像交叠。

在该文档中，术语像素一般是指图片元素，该图片元素表示图像在该图片元素处的具有在单色上或两个或更多个颜色上的给定位深度的颜色。每个像素可以能划分成两个或更多个子像素，尤其是在彩色图像的情况下。

全分辨率图像可以是指在图像帧中含有由相机单元产生的所有像素的图像。例如在数字图像稳定被使用的情况下，图像传感器可以能够在其一个或多个边缘处产生一些另外的像素，使得图像传感器的图像的变化部分被用于积累给定视场的图像而同时一些握手存在。此外，一些像素检测元素可以被分配用于其他目的，诸如白平衡测量、焦点测量和/或仅仅保持未使用，因为相同的图像传感器还被制造用于较高分辨率相机单元。

在不以任何方式限制下面出现的权利要求的范围、解释或应用的情况下，本文中公开的示例实施例中的一个或多个示例实施例的技术效果在于全分辨率图像能够保持可用并且自动用于对表示整个成像区域的仅仅部分的用户图像的重构和改变缩放(例如，缩小)。本文中公开的示例实施例中的一个或多个示例实施例的另一技术效果在于基于对用户图像的重复修改的对第一图像的利用可以减少否则可能由重复的有损编码操作引起的质量下降。本文中公开的示例实施例中的一个或多个示例实施例的另一技术效果在于子图像能够与第一图像链接，使得基于常见曝光时间或时刻的不同图像能够在逻辑上被关联并且随后向用户标识。本文中公开的示例实施例中的一个或多个示例实施例的又一技术效果在于数字图像能够以紧密组帧或以数字缩放来获取同时整个第一图像被维持以用于使得在几乎没有或没有质量下降的情况下能够进行后续修改。本文中公开的示例实施例中的一个或多个示例实施例的又一技术效果在于数字图像能够使用多帧技术来形成，使得组帧和多帧组合中的任一种或两者能够稍后由用户改变。

本发明的实施例可以被实施在软件、硬件、应用逻辑或软件、硬件和应用逻辑的组合中。在示例实施例中，应用逻辑、软件或指令集被维持在各种常规计算机可读介质中的任何一个上。在该文档的上下文中，“计算机可读介质”可以是能够包含、存储、通信、传播或传输用于由指令执行系统、装置或诸如计算机的设备使用或结合指令执行系统、装置或诸如计算机的设备使用的任何非瞬态介质或装置，其中计算机的一个示例被描述并被描绘在图2中。计算机可读介质可以包括计算机可读存储介质，其可以是能够包含或存储用于由指令执行系统、装置或诸如计算机的设备使用或结合指令执行系统、装置或诸如计算机的设备使用的任何介质或装置。

如果期望，本文中讨论的不同功能可以以不同的顺序和/或彼此并发地来执行。另外，如果期望，前面描述的功能中的一个或多个功能可以是可选的或者可以被组合。

尽管在独立权利要求中阐述了本发明的各个方面，但是本发明的其他方面包括来自所描述的实施例和/或具有独立权利要求的特征的从属权利要求的特征的其他组合，并且不仅仅是在权利要求书中明确阐述的组合。

还在本文中指出，尽管前文描述了本发明的示例实施例，但是这些描述不应当在限制的意义上被查看。相反，存在可以在不脱离如权利要求中限定的本发明的范围的情况下进行的若干变型和修改。

Claims (20)

1.一种方法，包括：

从图像传感器接收图像数据；

从所述图像数据获得源图像和用户图像，使得所述用户图像与所述源图像的用户设定部分相对应；其中，所述源图像和所述用户图像在从所述图像传感器接收到所述图像数据时被获得。

2.根据权利要求1所述的方法，还包括将所述用户图像而非所述源图像添加到图像图库。

3.根据前述权利要求中的任一项所述的方法，还包括维护所述源图像和所述用户图像。

4.根据前述权利要求中的任一项所述的方法，还包括从所述源图像获得一幅或多幅另外的图像，使得所述另外的图像与所述源图像的不同用户设定部分相对应。

5.根据前述权利要求中的任一项所述的方法，其中还包括存储所述源图像与所述用户图像之间的链接。

6.根据权利要求1-5中的任一项所述的方法，还包括当从所述源图像导出的所有用户图像已经被删除时或者当给定数目的源图像已经被存储时或者当给定数据量已经由存储的源图像占据时删除所述源图像。

7.根据前述权利要求中的任一项所述的方法，还包括从相机单元接收所述源图像。

8.根据前述权利要求中的任一项所述的方法，还包括在访问所述用户图像时使所述源图像对用户可见。

9.一种装置，包括：

输入，所述输入被配置为从图像传感器接收图像数据；以及

处理器，所述处理器被配置为使得：

从所述图像数据获得源图像和用户图像，使得所述用户图像与所述源图像的用户设定部分相对应；其中，所述源图像和所述用户图像在从所述图像传感器接收到所述图像数据时被获得。

10.根据权利要求9所述的装置，其中所述处理器还被配置为使得将所述用户图像而非所述源图像添加到图像图库。

11.根据权利要求9-10中的任一项所述的装置，其中所述源图像表示一个曝光时间段或者所述源图像通过将具有各自不同的曝光时间段的两幅或更多幅图像进行组合来被获得。

12.根据权利要求9-11中的任一项所述的装置，其中所述处理器还被配置为使得从所述源图像获得一幅或多幅另外的图像，使得所述另外的图像与所述源图像的不同用户设定部分相对应。

13.根据权利要求12所述的装置，其中所述处理器还被配置为使得在从所述图像传感器接收到所述源图像之后响应于从用户接收到的用户命令来获得所述另外的图像。

14.根据权利要求9-12中的任一项所述的装置，其中所述处理器还被配置为使得存储所述源图像与所述用户图像之间的链接。

15.根据权利要求9-12中的任一项所述的装置，其中所述处理器还被配置为使得维护所述源图像和所述用户图像。

16.根据权利要求9-12中的任一项所述的方法，其中所述处理器还被配置为使得在访问所述用户图像时使所述源图像对用户可见。

17.根据权利要求9-12中的任一项所述的装置，其中所述处理器还被配置为使得从相机单元接收所述源图像。

18.根据权利要求9-12中的任一项所述的装置，其中所述处理器还被配置为使得向用户显示源图像帧，所述源图像帧图示所述源图像和所述源图像的已经从其获得一幅或多幅用户图像的任何区域。

19.一种包括计算机可读介质的计算机程序产品，所述计算机可读介质承载体现在其中的用于与计算机一起使用的计算机程序代码，所述计算机程序代码包括：

用于从图像传感器接收图像数据的代码；以及

用于从所述图像数据获得源图像和用户图像使得所述用户图像与所述源图像的用户设定部分相对应的代码；其中，所述源图像和所述用户图像在从所述图像传感器接收到所述图像数据时被获得。

20.一种利用指令编码的计算机可读非瞬态介质，所述指令当由计算机运行时执行：

从图像传感器接收图像数据；以及

从所述图像数据获得源图像和用户图像，使得所述用户图像与所述源图像的用户设定部分相对应；其中，所述源图像和所述用户图像在从所述图像传感器接收到所述图像数据时被获得。