CN102577353A - 装置 - Google Patents

装置 Download PDF

Info

Publication number
CN102577353A
CN102577353A CN2009801618831A CN200980161883A CN102577353A CN 102577353 A CN102577353 A CN 102577353A CN 2009801618831 A CN2009801618831 A CN 2009801618831A CN 200980161883 A CN200980161883 A CN 200980161883A CN 102577353 A CN102577353 A CN 102577353A
Authority
CN
China
Prior art keywords
image
coded
file
coded image
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801618831A
Other languages
English (en)
Inventor
R·C·比尔屈
M·汉努克塞拉
S·阿莱纽斯
M·维威莱南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN102577353A publication Critical patent/CN102577353A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种装置，其包括：照相机模块，被配置为利用第一图像捕捉参数捕捉主体的第一图像以及利用至少一个相关联的其他图像捕捉参数捕捉基本相同主体的至少一个其他图像；参考图像编码器，被配置为将所述第一图像编码为第一编码图像；其他图像编码器，被配置为将所述至少一个其他图像编码为至少一个其他编码图像；以及文件编译器，被配置为将所述第一编码图像和所述至少一个其他编码图像组合为第一文件。

Description

装置
技术领域
本申请涉及方法和装置。在一些实施例中，该方法和装置涉及图像处理，并且具体地但不排他地限于涉及多帧图像处理的一些进一步的实施例。
背景技术
成像捕捉设备和照相机一般地已知并且已经在许多电设备上实施。多帧成像是一种可以由照相机和图像捕捉设备采用的技术。这样的多帧成像应用例如是高或宽动态范围成像，其中利用不同的曝光时间捕捉相同场景的若干图像，然后这些图像可以被组合为具有更好的视觉质量的单个图像。高动态范围/宽动态范围应用的使用允许照相机然后过滤主体周围和主体上的强烈背光并且增强区分主体上的特征和形状的能力。从而，例如在光从多个角度进入房间的情况下，放置在房间内部的照相机将能够透过进入房间的强烈的阳光或人工光而看到房间内的主体。传统单帧图像不提供可接受水平的性能，因为它们将产生太暗以至于无法示出主体的图像，或背景被进入房间的光过曝(wash out)。
另一多帧应用是多帧扩展的焦深度或场深度应用，其中利用不同的对焦设置捕捉相同场景的若干图像。在这些应用中，多帧可以被组合以获得各处都清晰的输出图像。
进一步的多帧应用是多变焦多帧应用，其中利用不同的光学变焦水平捕捉相同场景的若干图像。在这些应用中，多帧可以被组合以允许浏览器变焦到图像中而不遭受单帧数字变焦操作中产生的细节缺失。
已经对尝试寻找用于将多个图像组合为单个输出图像的高效方法付出了很多努力。然而，当前方法妨碍了可能产生更好质量的输出的后期处理。
以原始raw数据格式存储多个图像虽然允许了后期处理/浏览，但在存储全部图像所需的存储器量方面有问题。此外，当然可能将全部所捕捉的图像独立编码为分离编码文件，从而减少每个图像的“尺寸”并且保存全部文件。一个已知的这样的编码系统是联合图像专家组JPEG编码格式。图1示出了压缩文件JPEG格式的结构，其中结构表1示出了被称为“压缩数据”4的文件结构元素，该“压缩数据”4包含根据所使用的压缩算法和参数的压缩图像数据。该文件结构还示出了应用标记符分段1，该应用标记符分段1在其中包含第一图像文件目录(IFD)数据字段3，该IFD数据字段3可以包含对应于压缩的全分辨率图像数据的可选缩略图像(thumbnail image)。
通过即使在使用像JPEG这样的压缩时仍分离地编码和分离地存储来自多帧图像的每个图像，存储器的使用通常是低效的，此外相同场景的多个图像的存储可能被用户确定为错误，因为第一眼看来这些多个图像将对于用户显得类似，并且可能导致用户错误地删除这些图像中的一些。
发明内容
因此本申请从以下考虑出发：改进的多帧图像处理结构或装置可以被配置为更高效地编码和存储多帧图像，但也可以允许现存的解码器至少部分地解码使用该装置编码的图像文件。
根据本发明的第一方面，提供了一种方法，其包括：利用第一图像捕捉参数捕捉主体的第一图像以及利用至少一个对应的其他图像捕捉参数捕捉基本相同主体的至少一个其他图像；将所述第一图像编码为第一编码图像；将所述至少一个其他图像编码为至少一个其他编码图像；以及将所述第一编码图像和所述至少一个其他编码图像组合为第一文件。
编码所述至少一个其他图像可以包括：将所述第一编码图像解码为第一解码图像；确定所述至少一个其他图像之一的至少部分与所述第一解码图像的至少部分之间的差别；以及编码所述至少一个其他图像之一的至少部分与所述第一解码图像的至少部分之间的差别。
将所述第一编码图像和所述至少一个其他编码图像组合为第一文件可以包括：将所述第一文件配置为可根据第一算法和第二算法解码；所述第一编码图像可根据所述第一算法和所述第二算法解码为表示所述第一图像的第一解码图像；以及所述至少一个其他编码图像仅可根据所述第二算法解码为表示所述至少一个其他图像的至少一个其他编码图像。
将所述第一编码图像和所述至少一个其他编码图像组合为第一文件可以包括：将所述第一编码图像与所述至少一个其他编码图像在所述第一文件中逻辑地链接。
捕捉所述第一图像和所述至少一个其他图像优选地是响应于用户动作而进行的。
捕捉所述第一图像和所述至少一个其他图像可以包括在时段内捕捉所述第一图像和所述至少一个其他图像，所述时段被视作单个事件。
所述第一编码图像和所述至少一个其他编码图像优选地被配置为共享相同的编码数据结构。
该方法可以进一步包括：确定要捕捉的至少一个其他图像的数目。
该方法可以进一步包括：对于每个要捕捉的图像选择图像捕捉参数值。
每个图像捕捉参数可以包括以下中的至少一个：曝光时间；对焦设置；变焦因子；背景闪光灯模式；模拟增益；以及曝光值。
该方法可以进一步包括：在所述第一文件中插入指示所述第一图像捕捉参数和所述至少一个其他图像捕捉参数类型中的至少一个的第一指示符。
该方法可以进一步包括：在所述第一文件中插入指示所述第一图像捕捉参数中的至少一个的值和所述至少一个其他图像捕捉参数中的至少一个的值的至少一个指示符。
捕捉第一图像和所述至少一个其他图像可以包括以下中的至少一个：捕捉所述第一图像并且随后捕捉所述至少一个其他图像中的每个；以及基本上与捕捉所述至少一个其他图像中的每个同时捕捉所述第一图像。
根据本发明的第二方面，提供了一种方法，其包括：解码包括第一编码图像和至少一个其他编码图像的第一文件，所述第一图像利用第一图像捕捉参数捕捉了主体而所述至少一个其他图像利用至少一个其他图像捕捉参数捕捉了基本相同的主体，其中解码所述第一文件包括：确定要解码的所述第一编码图像和所述至少一个其他编码图像中的至少一个；解码所述第一编码图像和所述至少一个其他编码图像中的所述至少一个。
该方法可以进一步包括：通过第一解码算法解码所述第一编码图像以形成第一解码图像；解码所述至少一个其他编码图像以生成至少一个其他图像预测数据；以及通过组合所述第一解码图像和所述至少一个其他图像预测数据来生成至少一个其他解码图像。
所述第一文件优选地包括：指示所述第一图像捕捉参数类型和所述至少一个其他图像捕捉参数类型中的至少一个的至少一个第一指示符，以及指示所述第一图像捕捉参数值和所述至少一个其他图像捕捉参数中值中的至少一个的至少一个第二指示符；其中确定要解码的所述第一编码图像和所述至少一个其他编码图像中的至少一个包括解释至少一个所述第一指示符和至少一个所述第二指示符。
该方法可以进一步包括：确定要解码的来自所述第一编码文件的解码图像的数目，其中要解码的解码图像的数目由用户选择。
优选地解码来自所述第一编码文件的全部编码图像。
该方法可以进一步包括选择要解码的来自所述第一编码文件的编码图像，其中所述要解码的编码图像由用户选择。
根据本发明的第三方面，提供了一种装置，其包括：照相机模块，被配置为利用第一图像捕捉参数捕捉主体的第一图像以及利用至少一个相关联的其他图像捕捉参数捕捉基本相同主体的至少一个其他图像；参考图像编码器，被配置为将所述第一图像编码为第一编码图像；其他图像编码器，被配置为将所述至少一个其他图像编码为至少一个其他编码图像；以及文件编译器，被配置为将所述第一编码图像和所述至少一个其他编码图像组合为第一文件。
所述其他图像编码器可以包括：图像解码器，被配置为将所述第一编码图像解码为第一解码图像；比较器，被配置为确定所述至少一个其他图像之一的至少部分与所述第一解码图像的至少部分之间的差别；以及预测编码器，被配置为编码所述至少一个其他图像之一的至少部分与所述第一解码图像的至少部分之间的差别。
所述文件编译器可以包括：图像链接器，被配置为将所述第一编码图像与所述至少一个其他编码图像在所述第一文件中逻辑地链接。
该装置可以进一步包括用于使能照相机模块的图像捕捉接口。
所述照相机模块优选地进一步被配置为在时段内捕捉所述第一图像和所述至少一个其他图像，所述时段被视作单个事件。
所述参考图像编码器和所述其他图像编码器优选地被配置为利用相同的编码数据结构输出所述第一编码图像和所述至少一个其他编码图像。
该装置可以进一步包括多图像帧确定器，被配置为确定要捕捉的至少一个其他图像的数目。
该装置可以进一步包括图像捕捉参数选择器，被配置为对于每个要捕捉的图像选择图像捕捉参数值。
每个图像捕捉参数可以包括以下中的至少一个：曝光时间；对焦设置；变焦因子；背景闪光灯模式；模拟增益；以及曝光值。
该装置可以进一步包括参数类型指示符插入器，被配置为在所述第一文件中插入指示所述第一图像捕捉参数和所述至少一个其他图像捕捉参数类型中的至少一个的第一指示符。
该装置可以进一步包括参数值指示符插入器，被配置为在所述第一文件中插入指示所述第一图像捕捉参数中的至少一个的值和所述至少一个其他图像捕捉参数中的至少一个的值的至少一个参数值指示符。
所述照相机模块优选地被配置为至少：捕捉所述第一图像并且随后捕捉一个或多个其他图像；以及基本上与捕捉所述其他图像中的每个同时捕捉所述第一图像。
根据本发明的第四方面，提供了一种装置，其被配置为解码包括第一编码图像和至少一个其他编码图像的第一文件，所述第一编码图像利用第一图像捕捉参数捕捉了主体而所述至少一个其他编码图像利用至少一个其他图像捕捉参数捕捉了基本相同的主体，该装置包括：处理器，被配置为确定要解码的所述第一编码图像和所述至少一个其他编码图像中的至少一个；以及解码器，被配置为解码所述第一编码图像和所述至少一个其他编码图像中的所述至少一个。
所述解码器优选地包括：第一解码器，被配置为通过第一解码算法解码所述第一编码图像以形成第一解码图像；至少一个其他解码器，被配置为解码所述至少一个其他编码图像以生成至少一个图像预测数据；以及图像生成器，被配置为通过组合所述第一解码图像和所述至少一个图像预测数据来生成至少一个其他解码图像。
所述第一文件可以包括：指示所述第一图像捕捉参数类型和所述至少一个其他图像捕捉参数类型中的至少一个的至少一个第一指示符，以及指示所述第一图像捕捉参数值和所述至少一个其他图像捕捉参数中值中的至少一个的至少一个第二指示符；其中所述处理器被配置为取决于解释至少一个所述第一指示符和至少一个所述第二指示符，而确定要解码的所述第一编码图像和所述至少一个其他编码图像中的至少一个。
所述处理器优选地进一步被配置为确定要解码的来自所述第一编码文件的解码图像的数目，其中要解码的解码图像的数目由用户选择。
优选地解码来自所述第一编码文件的全部编码图像。
所述处理器优选地进一步被配置为选择要解码的来自所述第一编码文件的编码图像，其中所述要解码的编码图像由用户选择。
所述至少一个其他解码器中的每个优选地被配置为解码所述至少一个其他编码图像中的相关联的一个以生成一个或多个图像预测数据。
一种电子设备，其可以包括如上所述的装置。
一种芯片组，其可以包括如上所述的装置。
一种计算机可读介质，其包括其上的计算机程序，所述计算机程序可以执行上述方法。
根据本发明的第五方面，提供了一种装置，其包括：图像捕捉部件，用于利用第一图像捕捉参数捕捉主体的第一图像以及利用对应的图像捕捉参数捕捉基本相同主体的一个或多个其他图像；编码部件，用于将所述第一图像编码为第一编码图像；第二编码部件，用于将所述其他图像中的每个编码为对应的编码图像；以及处理部件，用于将所述第一编码图像和所述其他编码图像中的至少一个组合为第一文件。
根据本发明的第六方面，提供了一种装置，其包括：接收部件，用于接收包括第一编码图像和一个或多个其他编码图像的第一文件，其中解码所述第一文件包括：第一解码部件，用于通过第一解码算法解码所述第一编码图像以形成第一解码图像；其他解码部件，用于解码所述至少一个其他编码图像以生成对应的图像预测数据；以及图像生成部件，用于通过组合所述第一解码图像和所述对应的图像预测数据中的至少一个来生成一个或多个解码图像。
根据本发明的第七方面，提供了一种装置，其包括至少一个处理器和包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一同使得该装置至少执行：利用第一图像捕捉参数捕捉主体的第一图像以及利用至少一个对应的其他图像捕捉参数捕捉基本相同主体的至少一个其他图像；将所述第一图像编码为第一编码图像；将所述至少一个其他图像编码为至少一个其他编码图像；以及将所述第一编码图像和所述至少一个其他编码图像组合为第一文件。
根据本发明的第八方面，提供了一种装置，其包括至少一个处理器和包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一同使得该装置至少执行：解码包括第一编码图像和至少一个其他编码图像的第一文件，所述第一图像利用第一图像捕捉参数捕捉了主体而所述至少一个其他图像利用至少一个其他图像捕捉参数捕捉了基本相同的主体，其中解码所述第一文件包括：确定要解码的所述第一编码图像和所述至少一个其他编码图像中的至少一个；解码所述第一编码图像和所述至少一个其他编码图像中的所述至少一个。
附图说明
为了更好地理解本申请以及如何可以实现本申请，将以示例的方式参考以下附图：
图1示意地示出了根据JPEG文件格式的压缩图像文件的结构；
图2示出了适合于实施本申请的一些实施例的装置的示意表示；
图3示出了根据本申请的实施例的装置的示意表示；
图4示出了根据一些实施例的所执行的过程的流程图；
图5示出了根据本申请的实施例的装置的示意表示；
图6示出了根据一些实施例的所执行的过程的流程图；
图7示意地示出了根据本申请的一些实施例的压缩图像文件的结构。
具体实施方式
本申请描述了捕捉相同场景的若干静态图像并且将它们高效地编码到一个文件中的装置和方法。下文描述的实施例可以用于其中捕捉和存储相同场景的若干图像的多种应用和场景中。例如，这样的应用和场景可以包括捕捉其中一个具有闪光灯而另一个没有的两个相继的图像、拍摄具有不同的曝光时间的若干相继的图像、拍摄具有不同的对焦的若干相继的图像、拍摄具有不同的变焦因子的若干相继的图像、拍摄具有不同的模拟增益的若干相继的图像、拍摄具有不同的曝光值的相继的图像。如下文描述的实施例在文件中存储图像，从而现存的图像浏览器可以显示参考图像并且省略附加的图像。从而本申请的主要实施例是在照相机应用框架内如所描述的那样存储多个图像的概念。
下面描述用于提供改进的多帧成像技术的装置和方法。对此，首先参考图2，其公开了示例电子设备10或装置的示意框图。电子设备被配置为执行根据本申请的一些实施例的多帧成像技术。
在一些实施例中，电子设备10是用于无线通信系统中的操作的移动终端、移动电话或用户设施。在其他实施例中，电子设备是数字照相机。
电子设备10包括集成照相机模块11，其链接到处理器15。处理器15进一步链接到显示器12。处理器15进一步链接到收发器(TX/RX)13、到用户接口(UI)14以及到存储器16。在一些实施例中，照相机模块11和/或显示器12与电子设备分离，并且处理器经由收发器13或其他合适的接口从照相机模块11接收信号。
处理器15可以被配置为执行多种程序代码17。在一些实施例中，所实施的程序代码17包括图像捕捉数字处理或配置代码。在一些实施例中，所实施的程序代码17进一步包括用于进一步处理图像的附加的代码。在一些实施例中，所实施的程序代码17可以例如存储在存储器16中以供处理器在需要时获取。在一些实施例中，存储器15可以进一步提供用于存储数据(例如已经根据本申请处理的数据)的部分18。
照相机模块11包括照相机19，其具有用于将图像对焦到诸如电荷耦合器件(CCD)之类的数字图像捕捉部件上的镜头。在另一实施例中，数字图像捕捉部件可以是任何合适的图像捕捉器件，诸如互补金属氧化物半导体(CMOS)图像传感器。照相机模块11进一步包括用于在捕捉物体的图像之前照亮该物体的闪光灯20。闪光灯20链接到照相机处理器21。照相机19也链接到照相机处理器21以处理从照相机接收的信号。照相机处理器21链接到照相机存储器22，其可以存储照相机处理器21在捕捉图像时执行的程序代码。在一些实施例中，所实施的程序代码(未示出)可以例如存储在照相机存储器22中以供照相机处理器21在需要时获取。在一些实施例中，照相机处理器21和照相机存储器22分别在装置10的处理器15和存储器16内实施。
在实施例中，装置10可能能够至少部分地在硬件中而无需软件或固件来实施多帧成像技术。
在一些实施例中，用户接口14使得用户能够例如经由键盘、用户操作的按钮或开关、或通过显示器12上的触摸接口来向电子设备10输入命令。一个这样的输入命令可以是例如通过按压装置上的“快门”按钮而启动多帧图像捕捉过程。此外，在一些实施例中，用户可以例如经由显示器12从电子设备10获得装置10的操作的信息。例如，用户可以通过显示器上的恰当的指示而被装置通知多帧图像捕捉过程在操作中。在一些其他实施例中，用户可以经由扬声器(未示出)通过声音或音频采样而被通知操作，例如，可以通过机械镜头快门的模拟声音来向用户指示相同的多帧图像捕捉操作。
收发器13实现与其他电子设备的通信，在一些实施例中例如经由无线通信网络。
再一次应当理解，电子设备10的结构可以以许多方式补充和变化。
电子设备10的用户可以使用照相机模块11以捕捉要发送到一些其他电子设备或要存储在存储器16的数据部分18中的图像。在一些实施例中，可以由用户经由用户接口14为此激活对应的应用。在一些实施例中可以由处理器15运行的该应用使得处理器15执行存储器16中所存储的代码。
然后处理器15可以以与参考图4描述的方式相同的方式处理数字图像。
在一些实施例中，所得的图像可以被提供给收发器13以发送到另一电子设备。可替代地，处理后的数字图像可以存储在存储器16的数据部分18中，例如以供后期发送或供后期由相同的电子设备10在显示器10上呈现。
在一些实施例中，电子设备10还经由其收发器13从另一电子设备接收数字图像。在这些实施例中，处理器15执行存储在存储器16中的处理程序代码。在这些实施例中，然后处理器15可以以与参考图4描述的方式相同的方式处理所接收的数字图像。在一些实施例中，执行处理程序代码以处理所接收的数字图像也可以由已经被用户经由用户接口14调用的应用来触发。
将理解，图3中所描述的示意结构和图4中的方法步骤仅表示包括如所示实施在图2中所示的电子设备中的本申请的一些实施例的完整系统的操作的一部分。
图3示出了根据至少一个实施例的多帧数字图像处理装置的示意配置。多帧数字图像处理装置可以包括照相机模块11、数字图像处理器300、参考图像选择器302、参考图像编码器304、残留图像编码器306和文件编译器308。
在本申请的一些实施例中，多帧数字图像处理装置可以包括一些但不是全部以上部件。例如，在一些实施例中，该装置可以仅包括数字图像处理器300、参考图像选择器302、参考图像编码器304和残留图像编码器306。在这些实施例中，数字图像处理器300可以执行文件编译器308的动作并且向发送器/存储介质/显示器输出处理后的图像。
在其他实施例中，数字图像处理器300可以是多帧数字图像处理装置的“核心”元件，并且其他部件或模块可以取决于当前应用而添加或移除。在其他实施例中，部件和模块表示位于相同的或不同的芯片组中的被配置为执行下面描述的过程的多个处理器或单个处理器的多个部分。可替代地，数字图像处理器300被配置为执行全部过程，并且图3例示了多帧图像的处理和编码。
将参考图4更详细地描述根据至少一个实施例的多帧数字图像处理装置部件的操作。在以下例子中，多帧图像应用是宽曝光图像，换言之利用一系列不同曝光水平或时间捕捉图像的情况。将理解，如前所述的任何其他多帧数字图像也可以使用类似的过程执行。在描述与图2中所示的那些元件类似的元件时，使用相同的参考标号。
照相机模块11可以在启动照相机应用时由数字图像处理器300初始化。如前所述，照相机应用初始化可以通过用户例如经由按钮或开关或经由用户接口14向电子设备10输入命令而启动。
当照相机应用被启动时，装置10可以开始收集关于场景和环境的信息。在此阶段，如果照相机在自动操作模式，则可以自动地设置照相机模块11的不同的设置。对于宽曝光多帧数字图像的例子，照相机模块11和数字图像处理器300可以基于图像主体的确定而确定所捕捉的图像的曝光时间。在多帧模式中，可以由照相机模块11和数字图像处理器300自动检测不同的模拟增益或不同的曝光值。这里曝光值是曝光时间和模拟增益的组合。
在宽对焦多帧例子中，可以由照相机模块11和数字图像处理器300类似地自动确定镜头的对焦设置。在一些实施例中，照相机模块11可以具有半自动或手动操作模式，其中用户可以经由用户接口14完全地或部分地选择照相机设置以及多帧图像将在其上操作的范围。可以由用户修改的这样的设置的例子包括手动对焦、变焦、选择用于操作闪光灯20的闪光灯模式设置、选择曝光水平、选择模拟增益、选择曝光值、选择自动白平衡、或上面描述的设置中的任何设置。
此外，当照相机应用被启动时，装置10(例如照相机模块11和数字图像处理器300)可以进一步自动确定将捕捉的图像或帧的数目以及用于每个图像的设置。在一些实施例中，该确定可以基于已经在场景和环境上收集的信息。在其他实施例中，该确定可以基于来自诸如成像传感器或能够定位装置的位置的定位传感器之类的其他传感器的信息。这样的定位传感器的例子是全球定位系统(GPS)位置估计器和蜂窝通信系统位置估计器以及加速度计。
从而，在一些实施例中，照相机模块11和数字图像处理器300可以确定多帧数字图像应用的曝光水平的范围和/或可以关于其取曝光水平范围的曝光水平位点(locus)(例如“起始曝光水平”、“结束曝光水平”或“中点曝光水平”)。在一些实施例中，照相机模块11和数字图像处理器300可以确定多帧数字图像应用的模拟增益的范围和/或可以关于其设置模拟增益的模拟增益位点(例如“起始模拟增益”、“结束模拟增益”或“中点模拟增益”)。在一些实施例中，照相机模块11和数字图像处理器300可以确定多帧数字图像应用的曝光值的范围和/或可以关于其设置曝光值的曝光值位点(例如“起始曝光值”、“结束曝光值”或“中点曝光值”)。类似地，在一些实施例中，在宽对焦多帧例子中，照相机模块11和数字图像处理器300可以确定多帧数字图像应用的对焦设置的范围和/或可以关于其设置对焦设置的对焦设置位点(例如“起始对焦设置”、“结束对焦设置”或“中点对焦设置”)。
在一些实施例中，用户可以进一步修改或选择这些设置，并且从而可以手动地定义要捕捉的图像的数目以及这些图像中的每个的设置或定义这些图像的范围。
在图4中由步骤401示出照相机模块11内的照相机应用的初始化或启动。
在一些实施例中，然后数字图像处理器300可以执行轮询或等待操作，其中处理器等待接收开始捕捉图像的指示。在本发明的一些实施例中，数字图像处理器300等待可以从“捕捉”按钮接收的指示信号。捕捉按钮可以是物理按钮或安装在装置10上的开关，或可以是前述用户接口14的一部分。
在数字图像处理器300等待指示信号的同时，操作停留在轮询步骤。当数字图像处理器300接收指示信号(在按压捕捉按钮之后)时，数字图像处理器可以与照相机模块11通信以开始取决于如照相机应用操作的开始时所确定的照相机模块的设置来捕捉若干图像。在一些实施例中，处理器可以执行图像捕捉操作的附加延迟，其中在一些实施例中选择定时器功能并且处理器可以与照相机模块通信以在定时器时段结束时开始捕捉图像。
在图4中由步骤403示出等待捕捉按钮被按压的轮询步骤。
在从数字图像处理器300接收开始捕捉图像的信号后，照相机模块11然后如先前的设置值所确定的那样捕捉若干图像。在采用宽曝光多帧图像处理的实施例中，照相机模块可以拍摄相同或基本相同视点的若干相继图像，每个帧具有由曝光时间或水平设置确定的不同的曝光时间或水平。例如，设置可以确定要利用从第一曝光时间开始并以第五曝光时间结束的线性间隔的曝光时间来拍摄5个图像。将理解，实施例可以具有图像组中的任何合适数目的图像或帧。此外，将理解，所捕捉图像差别可能不是线性的，例如可以存在图像之间的对数或其他非线性差别。
在其中照相机闪光灯是图像捕捉帧之间的决定因素的进一步的例子中，照相机模块11可以捕捉两个相继的图像，一个具有闪光灯而另一个不具有。在进一步的例子中，照相机模块11可以捕捉任何合适数目的图像，其中每一个采用不同的闪光灯参数——诸如闪光灯幅度、颜色、色温、闪光长度、闪光之间的脉冲间时段。
在其中对焦设置是图像捕捉帧之间的决定因素的其他实施例中，照相机模块11可以拍摄具有不同对焦设置的若干相继图像。在其中变焦因子是决定因素的进一步的实施例中，照相机模块11可以拍摄具有不同变焦因子(或焦距)的若干相继图像。在进一步的实施例中，照相机模块11可以拍摄具有不同模拟增益或不同曝光值的若干相继图像。此外，在一些实施例中，所捕捉的相继图像可以使用一个或多个以上因素而不同。
在一些实施例中，照相机模块11并不拍摄相继图像(换言之一个接一个地序列地捕捉图像)，而是使用第一图像捕捉布置利用第一设置曝光时间捕捉第一图像，而使用第二捕捉布置利用不同的曝光时间捕捉基本相同的图像，而基本上同时捕捉多个图像。在一些实施例中，可以使用多于两个捕捉布置，其中由每个捕捉布置捕捉具有不同的曝光时间的图像。每个捕捉布置可以是分离的照相机模块11，或在一些实施例中可以是相同照相机模块11中的分离的传感器。
在其他实施例中，不同的捕捉布置可以使用相同的物理照相机模块11，但可以从处理来自捕捉设备的输出而生成。在这些实施例中，诸如CCD或CMOS之类的光学传感器可以被采样，并且结果被处理以建立一系列“图像帧”。例如，来自传感器的所采样的输出可以被组合，以比通过利用不同决定因素拍摄顺序图像的情况下所可能的更快地产生一系列值。例如，在宽曝光多帧处理中，可以通过在第一时段后取得第一图像采样输出以获得第一曝光时间后的第一图像、在第一时段后取得第二图像采样输出以获得具有第二曝光时间的第二图像，并且将第一图像采样输出与第二图像采样输出相加以生成具有近似等于第一和第二曝光时间之和的第三曝光时间的第三图像采样输出。
然后照相机模块11可以对于全部所捕捉的图像帧数据将所捕捉的图像数据传递到数字图像处理器300。
在图4中由步骤405示出捕捉多帧图像的操作。
然后数字图像处理器300可以将所捕捉的图像数据传递到参考图像选择器302，其中参考图像选择器302被配置为从多个所捕捉的图像选择参考图像。
在一些实施例中，参考图像选择器302确定每个图像的图像视觉质量的估计，并且具有最佳视觉质量的图像被选择为参考。在一些实施例中，参考图像选择器可以将图像视觉质量确定为基于中央部分合焦的图像。在其他实施例中，参考图像选择器302将参考图像选择为根据与图像相关联的任何合适的度量或参数的图像。在一些实施例中，参考图像选择器302取决于经由用户接口14接收用户输入而选择图像之一。在其他实施例中，参考图像选择器302基于图像的一些度量或参数执行图像的第一过滤，然后用户将剩余图像之一选择为参考图像。
在一些实施例中，执行这些手动或半自动参考图像选择，其中数字图像处理器300经由显示器12向用户显示一系列所捕捉的图像并且用户通过任何合适的选择手段选择图像之一。选择手段的例子可以是触摸屏、键盘、按钮或开关方面的用户接口14的形式。
在图4中由步骤407示出参考图像选择。
然后数字图像处理器300向参考图像编码器304发送所选择的参考图像，其中参考图像编码器可以在参考图像上执行任何合适的编码算法以生成编码参考图像。在一些实施例中，参考图像编码器利用自动地、半自动地或由用户手动地确定的JPEG编码参数而在所参考的图像上执行标准JPEG编码。在一些实施例中，编码的参考图像可以被传递回到数字图像处理器300。
在图4中由步骤409示出参考图像的编码。
在一些实施例中，数字图像处理器300向残留图像编码器306发送非参考图像，残留图像编码器306然后编码非参考图像。在一些实施例中，数字图像处理器300还可以向残留图像编码器306发送参考图像的副本，从而残留图像编码器306可以使用所参考的图像作为预测参考图像来预测地编码剩余的图像。
从而，在一些实施例中，由残留图像编码器306计算参考图像和每个其他所捕捉的图像之间的逐像素的差别。例如，在彩色图像中，在一些实施例中可以对每个颜色分量计算差别。在一些实施例中，残留图像编码器306然后可以执行空间到频率域变换。因为所捕捉的图像属于相同场景，所以图像将类似并且因此所计算和所变换的图像将很可能只包含一些高频(细节)差别，并且这些差别的编码将是非常高效的。在这些实施例中，残留图像编码器306将使用JPEG编码技术来编码差别。
在非参考图像不与参考图像类似的一些实施例中，例如在利用不同的曝光时间或利用不同的模拟增益捕捉图像的实施例中，残留图像编码器306可以预编码这些非类似图像以变得与所参考的图像更类似。例如，残留图像编码器306可以应用照相机响应函数的反函数来将全部所捕捉的图像变换到辐射映射域中。在其他实施例中，残留图像编码器306可以应用任何合适的变换作为预编码的一部分以将其他图像帧渲染为与参考帧类似。残留图像编码器306可以将预编码过程的类型和参数值存储到文件中。所存储的类型和参数值可以使得编码器能够执行逆预编码过程从而重构与原始图像预编码和编码之前的所捕捉的图像类似的解码后图像。
在一些实施例中，残留图像编码器可以向其他非参考图像应用运动补偿变换编码。该运动补偿变换编码可以使用参考图像作为单个参考图像源。可替代地或附加地，运动补偿变换编码可以选择先前编码的图像之一作为对于正在被编码的图像的特定部分的参考图像源，而运动补偿变换编码可以选择先前编码的图像中的另一个作为对于正在被编码的图像的另一部分的参考图像源。可替代地或附加地，运动补偿变换编码可以使用多于一个先前编码的图像作为对于正在被编码的图像的特定部分的运动补偿变换参考帧(次要参考图像)。典型地，可以执行两个参考图像源的逐像素平均以形成双预测运动补偿编码系统。可替代地，在一些实施例中，可以在双预测运动补偿编码中使用逐像素加权平均，其中加权例如可以从捕捉参数中隐式地导出或显式地选择，以形成对于正在被编码的图像的良好的预测信号。当显式地选择加权时，也可以在存储图像的相同的文件中指示加权。
由残留图像编码器应用的运动补偿变换的类型可以基于图像或图像分段而变化。在一些实施例中，运动补偿变换的类型可以不限于平移运动，而可以使用任何较高自由度的运动模型。参考图像编码器可以对于文件中的全部非参考图像、分别对于每个非参考图像、对于共享相同类型的运动补偿变换的图像分段的编组、或对于每个图像分段，而在文件中生成运动补偿变换的类型的指示。在一些实施例中，残留图像编码器也可以在文件中存储运动补偿变换的其他参数值，诸如运动矢量。
在其他实施例中，残留图像编码器306可以首先如上所述预编码至少一个非参考图像以变得与参考图像更类似，然后使用预编码后的非参考图像作为用于双预测或帧间预测(inter-prediction)编码的次要参考图像。
在进一步的实施例中，残留图像编码器306可以向正在被编码的图像的部分应用运动补偿和差别编码两者。
在进一步的实施例中，残留图像编码器306可以在应用诸如前述的预测编码之前重新采样预测参考图像。参考图像的该重新采样在不同的图像和帧具有不同的变焦因子的实施例中尤其有用。由ITU-T建议H.263的附件P提供参考画面重新采样的例子。
然后残留图像编码器306向数字图像处理器300输出编码残留图像。
在图4中由步骤411示出从其他较早编码的图像预测地编码其他所捕捉的图像。
然后数字图像处理器300可以将编码图像文件传递到文件编译器308。文件编译器308在接收到编码参考图像和编码非参考图像数据后将数据编译为单个文件，从而现存文件浏览器仍然可以解码和渲染所参考的图像。
从而，在一些实施例中，文件编译器308可以编译文件，从而参考图像被编码为标准JPEG图像，并且预测编码的非参考图像被添加为相同文件中的可交换图像文件格式(EXIF)数据或额外数据。
在一些实施例中，文件编译器可以编译文件，其中预测编码的非参考图像定位为文件的EXIF信息部分的第二或进一步的图像文件目录(IFD)字段，该EXIF信息部分如图1中所示可以是JPEG文件结构的第一应用数据字段(APP1)的一部分。在其他实施例中，文件编译器308可以编译单个文件，从而编码非参考图像作为例如用APP3表示的应用分段的附加应用分段而存储在文件中。在其他实施例中，文件编译器308可以编译根据照相机和图像产品协会(CIPA)制定的CIPA DC-007-2009标准而格式化的多画面(MP)文件。MP文件包括多个图像(第一单独图像)651、(单独图像#2)653、(单独图像#3)655、(单独图像#4)657，每个根据JPEG和EXIF标准格式化并且被级联到相同文件中。文件中的第一图像651的应用数据字段APP2 601包含可以用于访问图7中所指示的相同文件中的其他图像的多画面索引字段(MP索引IFD)603。在一些实施例中，文件编译器308可以将多画面索引字段中的代表图像标记对于参考图像设置为1而对于非参考图像设置为0。在一些实施例中，文件编译器308进一步可以将MP类型码值设置为指示多帧图像，并且设置相应的子类型以指示表征存储在相同文件中的图像的差别的照相机设置，即子类型可以是曝光时间、对焦设置、变焦因子、闪光灯模式、模拟增益和曝光值之一。
在一些实施例中，文件编译器308可以编译两个文件。第一文件可以根据JPEG和EXIF标准而格式化并且包括多个所捕捉的图像之一，其可以是参考图像或具有所估计的最佳视觉质量的图像。第一文件可以利用传统JPEG和EXIF兼容解码器解码。第二文件可以根据JPEG和/或EXIF标准的扩展而格式化并且包括所捕捉的多个图像。第二文件可以被格式化为使得文件能够不利用传统JPEG和EXIF兼容解码器解码。在其他实施例中，文件编译器308可以对于多个所捕捉的图像中的每个编译一个文件。这些文件可以根据JPEG和EXIF标准格式化。
在文件编译器308从所捕捉的多个图像编译至少两个文件的这些实施例中，它可以进一步将文件逻辑地链接和/或将它们封装到相同的容器文件中。在一些实施例中，文件编译器308可以命名所述至少两个文件以使得文件名只在扩展名方面不同，一个文件具有.jpg扩展名并且因此能够被传统JPEG和EXIF兼容解码器处理。文件因此可以形成根据由日本电子和信息技术行业协会(JEITA)制定的“照相机文件系统设计规则”的DCF对象。
在多种实施例中，文件编译器308可以对于非参考预测编码图像生成或指定压缩标签的新值。压缩标签是JPEG文件的应用标记符分段1(APP1)中所包括的信息头字段之一。压缩标签典型地指示应当用于从文件中存储的压缩图像重构解码后图像的解压算法。在一些实施例中，参考图像的压缩标签可以被设置为指示JPEG压缩/解压算法。然而，由于JPEG解码可能对于一个或多个非参考图像的正确重构不足够，所以可以对于非参考图像使用压缩标签的不同或单独的值。
在这些实施例中，从而标准JPEG解码器仅可以检测或“看见”已经根据传统JPEG标准编码的一个图像，即参考图像。支持这些实施例的任何解码器将“看见”并且能够解码非参考图像以及参考图像。
在一些其他实施例中，文件编译器308可以接收参考图像数据和来自非参考图像的差别数据，并且将参考图像数据与所计算的差别数据级联以形成较大的图像。然后所得的图像可以被传递到参考图像编码器304并且被JPEG编码。在这样的实施例中，参考图像存在于JPEG编码图像的左上角，并且可以通过插入到图像文件格式中的像素x维度和像素y维度来指示。在这些实施例中，传统JPEG解码器可以解码完整JPEG编码图像但将图像裁剪为像素x维度和像素y维度EXIF标签所指示的图像。换言之，传统JPEG解码器将输出所参考的图像。
然而，在其他解码器中，JPEG编码的图像可以首先被传统地解码，然后解码后图像可以被分割为一个或多个解码后参考图像以及剩余的差别图像。可以通过对解码后参考图像和解码后差别图像数据分别相加而获得原始非参考图像。
在图4中由步骤413示出将参考图像和非参考图像编译为单个文件的操作。
然后数字图像处理器300可以确定是否要例如通过检测照相机应用的用户界面上的退出按钮的按压而退出照相机应用。如果处理器300检测到退出按钮已经被按压，则处理器停止照相机应用，然而如果退出按钮未被检测为按压，则处理器回到对图像捕捉信号轮询的操作。
在图4中由步骤415示出对退出照相机应用指示的轮询。
在图4中由操作417示出照相机应用的停止。
在图5中示意地描绘根据本发明的用于解码文件的装置。装置包括处理器451、参考图像解码器453和残留图像解码器455。在一些实施例中，部件和模块表示位于相同的或不同的芯片组中的被配置为执行下面描述的过程的多个处理器或单个处理器的多个部分。可替代地，处理器451被配置为执行全部过程，并且图5例示了多帧图像的处理和解码。
处理器451可以从接收器或记录介质接收编码文件。在一些实施例中，可以从另一设备接收编码文件，而在其他实施例中，例如当编码文件存储在包含处理器451的设备中时，可以由处理器451从相同的装置或设备接收编码文件。在一些实施例中，处理器451将编码文件传递到参考图像解码器453。参考图像解码器453从编码文件解码参考图像。在本发明的一些其他实施例中，处理器451向残留图像解码器453发送编码文件，残留图像解码器453从编码文件提取并且解码至少一个残留图像。在一些其他实施例中，至少部分地在处理器451中执行参考图像和残留图像的解码。
参考图6示意性地描述了根据本申请的一些实施例的解码多帧编码文件的操作。例如当用户在图像浏览器或相册应用中切换到多帧编码文件时，可以由处理器451开始该文件的解码过程。在图6中由步骤501示出开始解码的操作。
例如通过按压“退出”按钮或通过退出图像浏览器或相册应用，可以由处理器451停止解码过程。在图6中由步骤503示出轮询“退出”按钮以确定它是否已被按压。如果“退出”按钮已被按压，则解码操作转移到如图6中由步骤505示出的停止解码操作。
根据该图，当解码过程开始并且如果“退出”按钮未被按压(或如果解码过程不通过任何其他手段停止)，则第一操作是选择解码模式。根据一些实施例，解码模式的选择是单帧模式或多帧模式中的解码的选择。在一些实施例中，模式选择可以基于编码文件中所存储的图像的数目而自动完成，即如果文件包括多个图像，则使用多帧解码模式。在一些其他实施例中，可以检查文件中存储的多个图像的捕捉参数，并且具有被估计为适合用户偏好(例如通过用户接口(UI)可调节)、浏览设备或应用的能力、和/或浏览条件(诸如环境光亮)的捕捉参数值的图像被选择以进行解码。例如，如果文件被指示为包含两个图像并且还包含这两个图像意图用于立体显示设备上的显示的指示，但浏览设备只是传统的平面(二维)显示，则处理器451可以确定使用单帧解码模式。在另一例子中，包括两个不同的图像的文件可以具有指示图像不同在于其曝光时间的指示符。当存在由浏览设备检测到的大量环境光时，具有较长曝光时间的图像，并且因此是与具有较短曝光时间的图像相比的明亮的画面，可以被处理器451选择以供浏览。在这样的例子中，如果被选择为进行解码的图像是参考图像，则处理器可以选择单帧解码模式；否则，处理器可以选择使用多帧解码模式。在其他实施例中，模式的选择由用户例如通过用户接口(UI)来完成。在图6中由步骤507示出解码模式的选择。
如果所选择的模式是单帧，则仅有参考图像被解码并且被示出在显示器上。在图6中由步骤509示出解码是单帧还是多帧的确定。在图6中由步骤511示出仅参考图像的解码。在图6中由步骤513示出仅参考图像的示出或显示。
如果所选择的模式是多帧，则解码参考图像和至少一个残留图像。在图6中由步骤515示出作为对于多帧解码操作要第一个解码的图像的参考图像的解码。在一些实施例中，从编码文件提取的残留图像的数目可以由残留图像解码器455自动选择，而在一些其他实施例中，该数目可以由用户通过恰当的UI来选择。在一些其他实施例中，要与参考图像一同解码的残留图像可以由用户通过UI手动选择。在图6中由步骤517示出要解码的图像的数目以及图像中的哪些的选择。
在一些实施例中，残留图像的解码包括识别用于生成残留图像的压缩类型的操作。识别用于残留图像的压缩类型的操作可以包括解释存储在文件中的相应的指示符。如果压缩类型指示符指示在压缩中未使用来自其他图像的预测(诸如在JPEG压缩的情况下)，则残留图像的解码可以包括在残留图像解码器455中执行用于图像解码的处理步骤，诸如量化变换系数的重新缩放和从变换域到像素域的逆变换。
在压缩类型指示符指示来自其他图像的预测被用于生成文件时，残留图像的解码可以包括在残留图像解码器455中执行以下处理步骤：解码差别或预测误差图像、从文件解码预测编码的类型和参数(诸如运动矢量)，以及基于预测编码的类型和参数自适应地组合差别图像以及先前解码的一个或多个图像。解码残留图像的步骤可以在逐块的基础上完成。差别图像的解码可以包括在残留图像解码器455中执行如上所述的用于单个非参考图像的图像解码的处理步骤。
差别图像和先前解码的图像的自适应组合的操作可以包括在残留图像解码器455中执行以下处理步骤：基于运动矢量确定先前解码的图像内的预测块，以及将预测块和差别块的相应的颜色分量值逐像素相加。如果在文件中指示了预编码类型和参数，则残留图像的解码可以进一步包括在残留图像解码器455中执行预编码的逆过程。注意到预编码的逆过程也可能是近似的，即在预编码和逆预编码的串联过程中，原始像素值可能近似地而不一定精确地重构。在图6中由步骤519示出在多帧解码模式中解码图像的操作。
从而，在本申请的一些实施例中，存在一种方法，其包括以下操作：利用第一图像捕捉参数捕捉主体的第一图像以及利用至少一个对应的其他图像捕捉参数捕捉基本相同主体的至少一个其他图像；将所述第一图像编码为第一编码图像；将所述至少一个其他图像编码为至少一个其他编码图像；以及将所述第一编码图像和所述至少一个其他编码图像组合为第一文件。
在本申请的一些其他实施例中，存在一种方法，其包括以下操作：解码包括第一编码图像和至少一个其他编码图像的第一文件，所述第一图像利用第一图像捕捉参数捕捉了主体而所述至少一个其他图像利用至少一个其他图像捕捉参数捕捉了基本相同的主体。在这样的实施例中，解码所述第一文件的操作包括：确定要解码的所述第一编码图像和所述至少一个其他编码图像中的至少一个；以及解码所述第一编码图像和所述至少一个其他编码图像中的所述至少一个。
此外，在一些实施例中，可以存在一种装置，其包括至少一个处理器和包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一同使得该装置至少执行上述操作。
例如，在一些实施例中，可以存在一种装置，其包括：照相机模块，被配置为利用第一图像捕捉参数捕捉主体的第一图像以及利用至少一个相关联的其他图像捕捉参数捕捉基本相同主体的至少一个其他图像；参考图像编码器，被配置为将所述第一图像编码为第一编码图像中；其他图像编码器，被配置为将所述至少一个其他图像编码为至少一个其他编码图像；以及文件编译器，被配置为将所述第一编码图像和所述至少一个其他编码图像组合为第一文件。
并且，在一些实施例中，可以存在一种装置，其被配置为解码包括第一编码图像和至少一个其他编码图像的第一文件，所述第一编码图像利用第一图像捕捉参数捕捉了主体而所述至少一个其他编码图像利用至少一个其他图像捕捉参数捕捉了基本相同的主体，该装置包括：处理器，被配置为确定要解码的所述第一编码图像和所述至少一个其他编码图像中的至少一个；以及解码器，被配置为解码所述第一编码图像和所述至少一个其他编码图像中的所述至少一个。
在一些实施例中，在参考图像和所选择的残留图像被解码之后，它们中的至少一个被示出在显示器上，并且对于下一编码文件重新开始解码过程。在图6中由步骤521示出示出或显示解码后图像中的一些或全部的操作。
在其他实施例中，参考图像和所选择的残留图像不示出在显示器上，而是可以通过多种手段处理。例如，参考图像和所选择的残留图像可以被组合为一个图像，该图像可以例如通过JPEG编码器再次编码，并且它可以存储在位于存储介质中的文件中或被发送到进一步的装置。
应理解，术语用户设施旨在涵盖任何适当类型的无线用户设施，诸如移动电话、便携式数据处理设备或便携式web浏览器。此外，用户设施、通用串行总线(USB)棒和调制解调器数据卡可以包括诸如以上实施例中所描述的装置之类的装置。
一般地，本发明的各种实施例可实施于硬件或专用电路、软件、逻辑或其任意组合中。例如，一些方面可实施于硬件中，而其它方面可实施于能够通过控制器、微处理器或其它计算设备来执行的固件或软件中，尽管本发明并非局限于此。尽管本发明的各个方面可被图示和描述为框图、流程图或使用一些其它图形表示进行图示和描述，但是应理解，作为非限制性示例，在此所描述的这些块、装置、系统、技术或方法可实施于硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其它计算设备或其组合中。
可通过可由移动设备的数据处理器(诸如在处理器实体中)执行的计算机软件，或通过硬件，或通过软件和硬件的组合来实施本发明的实施例。此外，在此方面，应注意，如附图中的逻辑流的任意块可表示程序步骤、或互连的逻辑电路、块和功能，或程序步骤与逻辑电路、块和功能的组合。所述软件可存储在诸如存储器芯片之类的物理介质，或在处理器内实施的存储器块，诸如硬盘或软盘之类的磁性介质，以及诸如例如DVD及其数据变体CD之类的光学介质中。
存储器可以是适用于本地技术环境的任何类型，并且可使用任何适当的数据存储技术来实施，诸如基于半导体的存储器设备、磁性存储器设备和系统、光学存储器设备和系统、固定存储器和可移除存储器。数据处理器可以是适用于本地技术环境的任何类型，并且作为非限制性示例，可包括下列类型中的一个或多个：通用计算机、专用计算机、微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、门级电路和基于多核处理器架构的处理器。
可在诸如集成电路模块之类的各种组件中实施本发明的实施例。集成电路的设计大体上是高度自动化的过程。可利用复杂且强大的软件工具将逻辑级设计转换成准备好在半导体衬底上蚀刻并形成的半导体电路设计。
诸如由加利福尼亚Mountain View的Synopsys公司和加利福尼亚San Jose的Cadence Design公司提供的程序可自动布线导体并使用完善的设计规则以及预存储设计模块库在半导体芯片上定位元件。一旦完成半导体电路的设计，就能够将标准化电子格式(例如，Opus、GDSII等)的所得设计传输到半导体制造工厂或“fab”以供制造。
以上描述已通过示例性且非限制性示例的方式提供了对本发明的示例性实施例的全面且有教益的描述。然而，鉴于上述描述，相关领域的技术人员在结合附图和所附权利要求进行阅读时易于做出各种修改和适应。然而，对本发明的教导的所有这些和类似的修改仍将落入所附权利要求中所定义的本发明的范围。
如本申请中所使用的，术语“电路”可以表示所有下列各项：a)仅硬件电路实现方式(诸如仅在模拟和/或数字电路中的实现方式)；以及b)电路和软件(和/或固件)的组合，诸如且适用于：(i)处理器的组合，或(ii)处理器/软件的部分(包括数字信号处理器，软件，以及存储器，其一起工作以使诸如移动电话或服务器之类的装置执行各种功能)；以及c)电路，诸如微处理器或微处理器的一部分，其操作需要软件或固件，即使软件或固件并非物理存在的。
“电路”的定义适用于本申请中所有的对此术语的使用，包括任何权利要求。作为另一个示例，如本申请中所使用的，术语“电路”还将涵盖仅一个处理器(或多个处理器)或处理器的部分及其伴随的软件和/或固件的实现方式。术语“电路”还将涵盖，例如且若适用于特定的权利要求元素，用于移动电话的基带集成电路或应用处理器集成电路，或服务器、蜂窝网络设备或其它网络设备中的类似集成电路。
在本申请中，术语处理器和存储器可以包括但不限于：(1)一个或多个微处理器，(2)具有伴随的数字信号处理器的一个或多个处理器，(3)没有伴随的数字信号处理器的一个或多个处理器，(3)一个或多个专用计算机芯片，(4)一个或多个现场可编程门阵列(FPGA)，(5)一个或多个控制器，(6)一个或多个专用集成电路(ASIC)、或检测器、处理器(包括双核和多核处理器)、数字信号处理器、控制器、接收器、发射器、编码器、解码器、存储器、软件、固件、RAM、ROM、显示器、用户接口、显示电路、用户接口电路、用户接口软件、显示软件、电路、天线、天线电路、和电路。

Claims (45)

1.一种方法，其包括：
利用第一图像捕捉参数捕捉主体的第一图像以及利用至少一个对应的其他图像捕捉参数捕捉基本相同主体的至少一个其他图像；
将所述第一图像编码为第一编码图像；
将所述至少一个其他图像编码为至少一个其他编码图像；以及
将所述第一编码图像和所述至少一个其他编码图像组合为第一文件。
2.如权利要求1所述的方法，其中编码所述至少一个其他图像包括：
将所述第一编码图像解码为第一解码图像；
确定所述至少一个其他图像之一的至少部分与所述第一解码图像的至少部分之间的差别；以及
编码所述至少一个其他图像之一的至少部分与所述第一解码图像的至少部分之间的差别。
3.如权利要求1和2所述的方法，其中将所述第一编码图像和所述至少一个其他编码图像组合为第一文件包括：
将所述第一文件配置为可根据第一算法和第二算法解码；
所述第一编码图像可根据所述第一算法和所述第二算法解码为表示所述第一图像的第一解码图像；以及
所述至少一个其他编码图像仅可根据所述第二算法解码为表示所述至少一个其他图像的至少一个其他编码图像。
4.如权利要求1至3所述的方法，其中将所述第一编码图像和所述至少一个其他编码图像组合为第一文件包括：
将所述第一编码图像与所述至少一个其他编码图像在所述第一文件中逻辑地链接。
5.如权利要求1至4所述的方法，其中捕捉所述第一图像和所述至少一个其他图像是响应于用户动作而进行的。
6.如权利要求1至5所述的方法，其中捕捉所述第一图像和所述至少一个其他图像包括在时段内捕捉所述第一图像和所述至少一个其他图像，所述时段被视作单个事件。
7.如权利要求1至6所述的方法，其中所述第一编码图像和所述至少一个其他编码图像被配置为共享相同的编码数据结构。
8.如权利要求1至7所述的方法，其进一步包括：
确定要捕捉的至少一个其他图像的数目。
9.如权利要求1至8所述的方法，其进一步包括：
对于每个要捕捉的图像选择图像捕捉参数值。
10.如权利要求1至9所述的方法，其中每个图像捕捉参数包括以下中的至少一个：
曝光时间；
对焦设置；
变焦因子；
背景闪光灯模式；
模拟增益；以及
曝光值。
11.如权利要求1至10所述的方法，其进一步包括：
在所述第一文件中插入指示所述第一图像捕捉参数和所述至少一个其他图像捕捉参数类型中的至少一个的第一指示符。
12.如权利要求1至11所述的方法，其进一步包括：
在所述第一文件中插入指示所述第一图像捕捉参数中的至少一个的值和所述至少一个其他图像捕捉参数中的至少一个的值的至少一个指示符。
13.如权利要求1至12所述的方法，其中捕捉第一图像和所述至少一个其他图像包括以下中的至少一个：
捕捉所述第一图像并且随后捕捉所述至少一个其他图像中的每个；以及
基本上与捕捉所述至少一个其他图像中的每个同时捕捉所述第一图像。
14.一种方法，其包括：
解码包括第一编码图像和至少一个其他编码图像的第一文件，所述第一图像利用第一图像捕捉参数捕捉了主体而所述至少一个其他图像利用至少一个其他图像捕捉参数捕捉了基本相同的主体，其中解码所述第一文件包括：
确定要解码的所述第一编码图像和所述至少一个其他编码图像中的至少一个；
解码所述第一编码图像和所述至少一个其他编码图像中的所述至少一个。
15.如权利要求14所述的方法，其包括：
通过第一解码算法解码所述第一编码图像以形成第一解码图像；
解码所述至少一个其他编码图像以生成至少一个其他图像预测数据；以及
通过组合所述第一解码图像和所述至少一个其他图像预测数据来生成至少一个其他解码图像。
16.如权利要求14和15所述的方法，其中：
所述第一文件包括：
指示所述第一图像捕捉参数类型和所述至少一个其他图像捕捉参数类型中的至少一个的至少一个第一指示符，以及
指示所述第一图像捕捉参数值和所述至少一个其他图像捕捉参数值中的至少一个的至少一个第二指示符；
其中确定要解码的所述第一编码图像和所述至少一个其他编码图像中的至少一个包括解释至少一个所述第一指示符和至少一个所述第二指示符。
17.如权利要求14至16所述的方法，其进一步包括：
确定要解码的来自所述第一编码文件的解码图像的数目，其中要解码的解码图像的数目由用户选择。
18.如权利要求14至17所述的方法，其中
解码来自所述第一编码文件的全部编码图像。
19.如权利要求14至17所述的方法，其进一步包括选择要解码的来自所述第一编码文件的编码图像，其中所述要解码的编码图像由用户选择。
20.一种装置，其包括：
照相机模块，被配置为利用第一图像捕捉参数捕捉主体的第一图像以及利用至少一个相关联的其他图像捕捉参数捕捉基本相同主体的至少一个其他图像；
参考图像编码器，被配置为将所述第一图像编码为第一编码图像；
其他图像编码器，被配置为将所述至少一个其他图像编码为至少一个其他编码图像；以及
文件编译器，被配置为将所述第一编码图像和所述至少一个其他编码图像组合为第一文件。
21.如权利要求20所述的装置，其中所述其他图像编码器包括：
图像解码器，被配置为将所述第一编码图像解码为第一解码图像；
比较器，被配置为确定所述至少一个其他图像之一的至少部分与所述第一解码图像的至少部分之间的差别；以及
预测编码器，被配置为编码所述至少一个其他图像之一的至少部分与所述第一解码图像的至少部分之间的差别。
22.如权利要求20和21所述的装置，其中所述文件编译器包括：
图像链接器，被配置为将所述第一编码图像与所述至少一个其他编码图像在所述第一文件中逻辑地链接。
23.如权利要求20至22所述的装置，其进一步包括用于使能所述照相机模块的图像捕捉接口。
24.如权利要求20至23所述的装置，其中所述照相机模块进一步被配置为在时段内捕捉所述第一图像和所述至少一个其他图像，所述时段被视作单个事件。
25.如权利要求20至24所述的装置，其中所述参考图像编码器和所述其他图像编码器被配置为利用相同的编码数据结构输出所述第一编码图像和所述至少一个其他编码图像。
26.如权利要求20至25所述的装置，其进一步包括多图像帧确定器，被配置为确定要捕捉的至少一个其他图像的数目。
27.如权利要求20至26所述的装置，其进一步包括图像捕捉参数选择器，被配置为对于每个要捕捉的图像选择图像捕捉参数值。
28.如权利要求20至27所述的装置，其中每个图像捕捉参数包括以下中的至少一个：
曝光时间；
对焦设置；
变焦因子；
背景闪光灯模式；
模拟增益；以及
曝光值。
29.如权利要求20至28所述的装置，其进一步包括参数类型指示符插入器，被配置为在所述第一文件中插入指示所述第一图像捕捉参数和所述至少一个其他图像捕捉参数类型中的至少一个的第一指示符。
30.如权利要求20至29所述的装置，其进一步包括参数值指示符插入器，被配置为在所述第一文件中插入指示所述第一图像捕捉参数中的至少一个的值和所述至少一个其他图像捕捉参数中的至少一个的值的至少一个参数值指示符。
31.如权利要求20至30所述的装置，其中所述照相机模块被配置为至少：
捕捉所述第一图像并且随后捕捉一个或多个其他图像；以及
基本上与捕捉所述其他图像中的每个同时捕捉所述第一图像。
32.一种装置，其被配置为解码包括第一编码图像和至少一个其他编码图像的第一文件，所述第一编码图像利用第一图像捕捉参数捕捉了主体而所述至少一个其他编码图像利用至少一个其他图像捕捉参数捕捉了基本相同的主体，该装置包括：
处理器，被配置为确定要解码的所述第一编码图像和所述至少一个其他编码图像中的至少一个；以及
解码器，被配置为解码所述第一编码图像和所述至少一个其他编码图像中的所述至少一个。
33.如权利要求32所述的装置，其中所述解码器包括：
第一解码器，被配置为通过第一解码算法解码所述第一编码图像以形成第一解码图像；
至少一个其他解码器，被配置为解码所述至少一个其他编码图像以生成至少一个图像预测数据；以及
图像生成器，被配置为通过组合所述第一解码图像和所述至少一个图像预测数据来生成至少一个其他解码图像。
34.如权利要求32和33所述的装置，其中所述第一文件包括：
指示所述第一图像捕捉参数类型和所述至少一个其他图像捕捉参数类型中的至少一个的至少一个第一指示符，以及
指示所述第一图像捕捉参数值和所述至少一个其他图像捕捉参数值中的至少一个的至少一个第二指示符；
其中所述处理器被配置为取决于解释至少一个所述第一指示符和至少一个所述第二指示符，而确定要解码的所述第一编码图像和所述至少一个其他编码图像中的至少一个。
35.如权利要求32至34所述的装置，其中所述处理器进一步被配置为确定要解码的来自所述第一编码文件的解码图像的数目，其中要解码的解码图像的数目由用户选择。
36.如权利要求32至35所述的装置，其中解码来自所述第一编码文件的全部编码图像。
37.如权利要求32至36所述的装置，其中所述处理器进一步被配置为选择要解码的来自所述第一编码文件的编码图像，其中所述要解码的编码图像由用户选择。
38.如权利要求33所述的装置，其中所述至少一个其他解码器中的每个被配置为解码所述至少一个其他编码图像中的相关联的一个以生成一个或多个图像预测数据。
39.一种电子设备，其包括如权利要求20至38所述的装置。
40.一种芯片组，其包括如权利要求20至38所述的装置。
41.一种计算机可读介质，其包括其上的计算机程序，所述计算机程序执行权利要求1至19中的任一项所述的方法。
42.一种装置，其包括：
图像捕捉部件，用于利用第一图像捕捉参数捕捉主体的第一图像以及利用对应的图像捕捉参数捕捉基本相同主体的一个或多个其他图像；
编码部件，用于将所述第一图像编码为第一编码图像；
第二编码部件，用于将所述其他图像中的每个编码为对应的编码图像；以及
处理部件，用于将所述第一编码图像和所述其他编码图像中的至少一个组合为第一文件。
43.一种装置，其包括：
接收部件，用于接收包括第一编码图像和一个或多个其他编码图像的第一文件，其中解码所述第一文件包括：
第一解码部件，用于通过第一解码算法解码所述第一编码图像以形成第一解码图像；
其他解码部件，用于解码所述其他编码图像中的至少一个以生成对应的图像预测数据；以及
图像生成部件，用于通过组合所述第一解码图像和所述对应的图像预测数据中的至少一个来生成一个或多个解码图像。
44.一种装置，其包括至少一个处理器和包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一同使得该装置至少执行：
利用第一图像捕捉参数捕捉主体的第一图像以及利用至少一个对应的其他图像捕捉参数捕捉基本相同主体的至少一个其他图像；
将所述第一图像编码为第一编码图像；
将所述至少一个其他图像编码为至少一个其他编码图像；以及
将所述第一编码图像和所述至少一个其他编码图像组合为第一文件。
45.一种装置，其包括至少一个处理器和包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一同使得该装置至少执行：
解码包括第一编码图像和至少一个其他编码图像的第一文件，所述第一图像利用第一图像捕捉参数捕捉了主体而所述至少一个其他图像利用至少一个其他图像捕捉参数捕捉了基本相同的主体，其中解码所述第一文件包括：
确定要解码的所述第一编码图像和所述至少一个其他编码图像中的至少一个；
解码所述第一编码图像和所述至少一个其他编码图像中的所述至少一个。
CN2009801618831A 2009-09-07 2009-09-07 装置 Pending CN102577353A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2009/061551 WO2011026527A1 (en) 2009-09-07 2009-09-07 An apparatus

Publications (1)

Publication Number Publication Date
CN102577353A true CN102577353A (zh) 2012-07-11

Family

ID=41138712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801618831A Pending CN102577353A (zh) 2009-09-07 2009-09-07 装置

Country Status (7)

Country Link
US (1) US20120194703A1 (zh)
EP (1) EP2476248A1 (zh)
KR (1) KR20120068024A (zh)
CN (1) CN102577353A (zh)
CA (1) CA2773156A1 (zh)
RU (1) RU2012113252A (zh)
WO (1) WO2011026527A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103826060A (zh) * 2014-01-24 2014-05-28 宇龙计算机通信科技(深圳)有限公司 一种拍照方法及终端
CN105611268A (zh) * 2015-12-15 2016-05-25 联想(北京)有限公司 信息处理方法及电子设备

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP5743696B2 (ja) * 2011-05-06 2015-07-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2013049699A1 (en) 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
US9563966B2 (en) 2011-12-23 2017-02-07 Nokia Technologies Oy Image control method for defining images for waypoints along a trajectory
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CN104662589B (zh) 2012-08-21 2017-08-04 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
CN104685513B (zh) 2012-08-23 2018-04-27 派力肯影像公司 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
US20140092281A1 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
KR102031284B1 (ko) * 2013-03-14 2019-11-08 삼성전자주식회사 연속 촬영된 이미지를 합성하는 전자 장치 및 방법
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
EP3201877B1 (en) 2014-09-29 2018-12-19 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
WO2021055585A1 (en) 2019-09-17 2021-03-25 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
CN114766003B (zh) 2019-10-07 2024-03-26 波士顿偏振测定公司 用于利用偏振增强传感器系统和成像系统的系统和方法
EP4066001A4 (en) 2019-11-30 2024-01-24 Boston Polarimetrics Inc SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES
KR20220132620A (ko) 2020-01-29 2022-09-30 인트린식 이노베이션 엘엘씨 물체 포즈 검출 및 측정 시스템들을 특성화하기 위한 시스템들 및 방법들
JP2023511747A (ja) 2020-01-30 2023-03-22 イントリンジック イノベーション エルエルシー 偏光画像を含む異なる撮像モダリティで統計モデルを訓練するためのデータを合成するためのシステムおよび方法
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060140489A1 (en) * 2004-12-24 2006-06-29 Frank Liebenow Motion encoding of still images
CN1806447A (zh) * 2003-07-24 2006-07-19 日本电信电话株式会社 图像编码装置、图像解码装置、图像编码方法、图像解码方法、图像编码程序、图像解码程序、记录图像编码程序的记录媒体、记录图像解码程序的记录媒体
JP2008300953A (ja) * 2007-05-29 2008-12-11 Sanyo Electric Co Ltd 画像処理装置およびそれを搭載した撮像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6292512B1 (en) * 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
US7787026B1 (en) * 2004-04-28 2010-08-31 Media Tek Singapore Pte Ltd. Continuous burst mode digital camera
US7680349B2 (en) * 2004-08-18 2010-03-16 Cisco Technology, Inc. Variable length coding for clustered transform coefficients in video compression
KR100703749B1 (ko) * 2005-01-27 2007-04-05 삼성전자주식회사 잔차 재 추정을 이용한 다 계층 비디오 코딩 및 디코딩방법, 이를 위한 장치
KR100667830B1 (ko) * 2005-11-05 2007-01-11 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1806447A (zh) * 2003-07-24 2006-07-19 日本电信电话株式会社 图像编码装置、图像解码装置、图像编码方法、图像解码方法、图像编码程序、图像解码程序、记录图像编码程序的记录媒体、记录图像解码程序的记录媒体
US20060140489A1 (en) * 2004-12-24 2006-06-29 Frank Liebenow Motion encoding of still images
JP2008300953A (ja) * 2007-05-29 2008-12-11 Sanyo Electric Co Ltd 画像処理装置およびそれを搭載した撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103826060A (zh) * 2014-01-24 2014-05-28 宇龙计算机通信科技(深圳)有限公司 一种拍照方法及终端
CN105611268A (zh) * 2015-12-15 2016-05-25 联想(北京)有限公司 信息处理方法及电子设备

Also Published As

Publication number Publication date
KR20120068024A (ko) 2012-06-26
EP2476248A1 (en) 2012-07-18
US20120194703A1 (en) 2012-08-02
RU2012113252A (ru) 2013-10-20
CA2773156A1 (en) 2011-03-10
WO2011026527A1 (en) 2011-03-10

Similar Documents

Publication Publication Date Title
CN102577353A (zh) 装置
TWI772453B (zh) 對影像資料進行編碼的電子裝置及使用此電子裝置對影像資料進行編碼的方法
CN107613235B (zh) 视频录制方法和装置
US20130222645A1 (en) Multi frame image processing apparatus
JP5502988B2 (ja) 画像を回転させる装置および方法
US8615140B2 (en) Compression of image data in accordance with depth information of pixels
EP2613532A1 (en) Method of and device for encoding an HDR video together with an LDR video, method of and device for reconstructing one of an HDR video and an LDR video coded together and non-transitory storage medium
CN102521235A (zh) 连拍模式图像压缩和解压
CN103260037A (zh) 用于发送相机的帧图像的设备和方法
EP3022899A1 (en) Feature-based image set compression
CN104092934A (zh) 一种设置拍摄参数的方法、装置及终端
CN105763855B (zh) 图像传输系统和图像传输方法
US8687076B2 (en) Moving image photographing method and moving image photographing apparatus
CN101924876B (zh) 摄像设备及其控制方法和图像处理设备及其控制方法
US8482633B2 (en) Apparatus and method for image processing using security function
WO2006049413A1 (en) Mobile terminal and operating method thereof
US20140193083A1 (en) Method and apparatus for determining the relationship of an image to a set of images
KR100792247B1 (ko) 이미지 데이터 처리 시스템 및 그 방법
JP4164268B2 (ja) 符号化装置、符号化方法、プログラム、記憶媒体
JP2010226491A (ja) 撮像装置、記録制御方法及びプログラム
CN105323477A (zh) 一种拍照方法及装置
CN102630025A (zh) 一种处理信号的方法及系统
JP2006333299A (ja) 符号化装置および符号化方法並びに画像形成装置
JP2011023928A (ja) 撮像装置、画像処理装置および画像処理方法
CN104243851B (zh) 图像生成方法和电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120711