CN101326807A - 提供未加工的图像文件和处理数据 - Google Patents

提供未加工的图像文件和处理数据 Download PDF

Info

Publication number
CN101326807A
CN101326807A CNA2006800463454A CN200680046345A CN101326807A CN 101326807 A CN101326807 A CN 101326807A CN A2006800463454 A CNA2006800463454 A CN A2006800463454A CN 200680046345 A CN200680046345 A CN 200680046345A CN 101326807 A CN101326807 A CN 101326807A
Authority
CN
China
Prior art keywords
image
cfa
file
view data
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006800463454A
Other languages
English (en)
Inventor
Y·希罗施
K·A·帕鲁斯基
W·E·普伦蒂塞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gaozhi 83 Foundation Co.,Ltd.
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Priority to CN201410162001.6A priority Critical patent/CN103955882B/zh
Publication of CN101326807A publication Critical patent/CN101326807A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/32—Image data format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3242—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of processing required or performed, e.g. for reproduction or before recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/325—Modified version of the image, e.g. part of the image, image reduced in size or resolution, thumbnail or screennail
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3252—Image capture parameters, e.g. resolution, illumination conditions, orientation of the image capture device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3274—Storage or retrieval of prestored additional information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

一种用于捕获彩色图像的电子图像捕获设备，包括图像传感器，其包括用彩色滤波器阵列(CFA)图案覆盖的离散光感图像单元来产生对应于CFA图案的传感器彩色图像数据；A/D转换器用于从传感器彩色图像数据中产生非插值数字CFA图像数据；处理器用于处理非插值数字CFA图像数据来产生插值图像数据并形成包含非插值CFA图像数据和插值图像数据的TIFF图像；以及存储器用于存储TIFF图像文件。

Description

提供未加工的图像文件和处理数据
技术领域
本发明大体上涉及电子摄像领域，以及特别地涉及产生标准格式文件的一种电子成像系统。
背景技术
典型的数码相机使用单色图像传感器来捕获场景表现(representation)，其包括场景中颜色的表现。颜色由覆盖在传感器上的彩色滤波器阵列(CFA)分离并且根据CFA的特定彩色图案将每个图像像素与特定颜色相关联。例如，拜耳CFA(在US 3,971,065中描述)提供具有绿色像素位置的棋盘(checkerboard)配置的RGB图案。因此，对于每个像素主CFA图像信号仅涉及一种颜色，即红色、绿色或蓝色(对于拜耳CFA)。在捕获了CFA图像之后，对于每个像素位置的剩余(遗漏)颜色对每个像素从例如周围像素插值，从而为每幅图像产生全分辨率插值的记录。因此在插值记录中的每个像素具有一组RGB值。
多年以来，一些类型的数码相机(比如柯达在1995年出产的DC 50相机)，将CFA图像数据作为“未加工”TIFF图像文件存储在可移动存储卡上。这种文件被称为“未加工”文件，因为在该图像被显示或打印之前需要进行大量的图像处理，包括CFA插值。公知的TIFF(标签图像文件格式)允许不同类型的图像数据(包括CFA图像数据)使用标准图像文件包装(wrapper)来存储。ISO 12234-2：2001，电子静态图像成像-可移动存储器-第二部分：TIFF/EP图像数据格式将CFA图像数据以及指定CFA的颜色配置的元数据标签存储在TIFF文件中的方式进行了标准化。然而，在这种“未加工”文件可被显示或打印之前，其必须被插值并转换为标准彩色图像数据，比如RGB彩色图像数据。这种标准彩色图像数据可被显示或打印，或者可使用标准文件格式比如JPEG文件格式、JPEG 2000文件格式或FlashPix文件格式来压缩和存储。
用于将图像转换为标准文件格式并且打印和编辑标准格式的过程在图1中示出。CFA图像在捕获步骤10中由相机捕获。当相机或存储器在连接步骤12连接到主计算机时，在下载步骤14中图像从相机或存储卡中下载，在处理步骤16中被处理并在文件格式化步骤18中被存储为标准文件格式。在处理步骤16中，CFA图像在它们被输入时，使用已知的CFA插值、颜色校正和锐化技术进行CFA插值，从而建立具有标准尺寸的“最终”RGB图像文件。因而最终RGB图像文件包含CFA插值图像，其与原始图像总的像素数量相同。然而，不像原始图像，CFA插值图像对于每个像素具有完整的RGB数据。
使用标准文件格式的优点在于其允许图像被很多不同公司提供的很多不同的图像软件程序、照片打印机、零售照片亭以及基于因特网的打印服务使用。为了这个原因，大多数当前的数码相机包括产生并存储标准图像文件(比如JPEG图像文件)的模式。在图像被捕获时在数码相机中产生这些图像文件。
在本发明中很多不同的标准图像文件格式是已知和有用的。这种标准图像文件的一个例子是FlashPix文件。图2是示出存储在FlashPix文件中的关键信息的简化图。FlashPix图像格式(在FlashPix格式说明书，版本1.1(数字成像组，1997年7月10日)中定义)已经被开发来作为设备(例如相机)和应用程序(例如计算机图像编辑包)之间的“交换”格式，以及用于图像编辑的“天然”(native)格式，该图像编辑允许图像被轻松和快速编辑。这使用“结构化存储”文件的分级、平铺图像表示实现。参考图2，FlashPix文件包含完整图像数据24加上该文件中多个较低分辨率的拷贝的分级(在图2中示出了一组较低分辨率图像数据25)。
每个分辨率的图像也可被划分为矩形块(例如正方形)，其使得应用程序最小化处理的图像数据量来访问、显示或打印场景内容的一部分。FlashPix允许缩略图像数据23和任选的“辅助”属性设置数据21和22与图像数据共同存储在同一个结构化存储文件中。该辅助数据可包括数字音频记录和参数，比如拍照的时间和日期、相机缩放位置和焦距、场景照明等级、相机校准数据、图像版权拥有者等。对于关于FlashPix图像格式的其它信息可参见前述的FlashPix格式说明书，版本1.1(数字成像组，1997年7月10日)，其在万维网上的http://www.i3a.org上可获得，并且其作为参考在此结合。
以FlashPix文件存储最终数据之前，用于“最终”图像的图像处理包括比如CFA插值、颜色校正以及图像锐化的操作。输出图像通常以标准颜色空间存储，比如FlashPix图像格式支持的RGB空间。作为产生图像文件的结果，原始相机数据被丢弃(步骤26)。如果在应用步骤28中图像将被打印或传输，标准文件格式首先在编辑步骤27中被编辑。
为了建立最终打印图像，最终图像文件可由用户通过图像处理程序来调整以建立理想尺寸的最终输出图像，其可仅包括相机捕获图像的“裁剪的”、颜色调整部分，或者例如包括“蒙太奇”(montage)的多个图像。更特别的，为了提供适当尺寸的输出图像，图像处理程序首先裁剪750×500 RGB CFA插值图像数据，并且随后在编辑步骤27中使用另一种插值算法来将“最终”RGB图像文件的裁剪版本转换为最终理想的输出图像。
注意这种现有技术的方式使用了两个插值步骤，一个(步骤16)插值从图像传感器“遗漏”的RGB数据而保持750×500的像素数据阵列，以及第二个(步骤27)从所选择的裁剪中插值到像素数据阵列，该像素数据阵列提供理想的输出尺寸。因此用户选择最终打印尺寸(例如8″×10″)，并且图像被插值来为打印机产生适当尺寸的图像数据记录。例如，如果输出设备以每英寸200个像素打印，图像数据可被计算机或打印机插值为1600×2000的像素(并且任选地被锐化)来产生理想图像尺寸。此外，该已知方式通常使用两个独立的锐化操作，一个在跟随CFA插值步骤16之后对750×500像素CFA插值图像数据，以及第二个仅在打印之前对插值的1600×2000像素图像数据。
现有技术具有多个问题。首先，通过减小色域(color gamut)和捕获图像的动态范围，将图像从CFA图像数据(其可以是例如每个颜色数据产生12比特)转换为每个颜色8比特(每个像素24比特)sRGB颜色空间的处理会限制某些图像的质量。其次，两个插值步骤(产生标准尺寸图像的CFA插值以及在产生理想打印尺寸的计算机或打印机中的插值)比使用从传感器CFA数据直接向发送到打印机的输出数据插值的单个插值步骤会产生更多的插值假像。最终，使用两个单独的锐化步骤也会产生假像。
所需要的是一种数码相机和数字成像系统，其能够保持这样的优点：使用标准、“最终”图像文件格式从而图像可由很多应用程序使用，并且使某些类型的设备(包括图像编辑软件)能够来访问未加工的相机数据从而当编辑和打印图像时提供改善的图像质量。
发明内容
本发明目的在于克服上述一个或多个问题。简单概括，根据本发明的一个方面，用于捕获彩色图像的电子相机包括图像传感器，其包括用彩色滤波器阵列(CFA)图案覆盖的离散光敏图像单元来产生对应于CFA图案的传感器彩色图像数据；A/D转换器用于从传感器彩色图像数据中产生未插值数字CFA图像数据；处理器用于处理未插值数字CFA图像数据来产生插值图像数据并形成包含未插值CFA图像数据和插值图像数据的TIFF图像；以及存储器用于存储TIFF图像文件。
根据本发明的另一个方面，提供了一种用于存储从彩色图像捕获设备获取图像的单个图像文件，该设备具有用彩色滤波器阵列(CFA)图案覆盖的图像传感器来产生对应于CFA图案的未插值CFA图像数据；CFA图像数据经过进一步的处理来形成插值和压缩图像数据，所述单个图像文件包括：用于存储未插值CFA图像数据的第一文件区域；用于在单个图像文件中以JPEG图像数据存储插值和压缩图像数据的第二文件区域；以及用于存储用于产生插值和压缩图像数据的第一图像处理参数的第三文件区域。
根据本发明的还另一方面，提供了一种用于捕获和处理彩色图像的方法，所述方法包括：
(a)在数字图像捕获设备中，通过彩色滤波器阵列(CFA)捕获图像单元的阵列并且产生CFA图像数据；彩色图像数据对应于CFA图案；
(b)使用存储在数字图像捕获设备中的图像处理参数处理CFA图像数据来产生插值图像数据；
(c)将单个图像文件存储在数字图像捕获设备的存储器中，单个图像文件包括CFA图像数据、插值图像数据以及图像处理参数；
(d)传送单个图像文件到第二设备；
(e)确定第二设备是否能处理CFA图像数据；以及
(f)如果第二设备能够处理CFA图像数据，就访问单个图像文件中的CFA图像数据和图像处理参数。
本发明的一个优点在于未加工TIFF图像文件，其可被未加工图像编辑实现应用程序软件像处理其它未加工文件那样使用/编辑，其还包含标准最终文件图像，其可被从TIFF文件中提取并且用于与任意标准图像文件那样进行立即显示。
本发明的这些和其它方面、目标、特征和优点将从以下具体实施方式和权利要求的详细描述中被更加清楚地理解并且从回顾中认识，以下描述参考附图进行。
附图说明
图1是用于捕获和处理图像数据的已知技术的流程图；
图2是已知FlashPix文件格式的说明；
图3是根据本发明能够存储和选择性传输处理和未处理图像数据的电子成像系统；
图4是示出根据本发明能够存储和选择性传输处理和未处理图像数据的流程图；
图5是根据本发明结合扩展数据的FlashPix文件格式的说明；
图6是根据本发明结合扩展数据的JPEG交换文件格式的说明；
图7是示出本发明另一个实施例的电子成像系统的框图；
图8是描述可被执行用于产生提供未加工和压缩图像数据的图像文件的图像处理操作的例子的框图；
图9A和9B的结合是包含未加工图像数据、JPEG压缩图像数据以及图像处理参数元数据的TIFF图像文件的说明；
图10是示出实施使用图7的系统的本发明方法的流程图。
具体实施方式
因为应用电子传感器的数码相机以及得到的图像数据的电子处理和存储是公知的，以下描述将特别针对组成根据本发明的装置一部分的单元或者针对更直接地与本发明的装置协作的单元。没有在此说明和描述的单元可以从现有技术中选择。被描述的实施例的某些方面可以软件来提供。给出在以下材料中描述的系统，需要实现本发明的所有这些软件实施方式是传统的并且在本领域中是常用手段。
从图3开始，其是示出相机30和主计算机32的框图。相机30包括用于将图像光引导到图像传感器36(其典型地是单个图像传感器，比如电荷耦合装置(CCD))的光学部分34。图像传感器36包括离散光敏图像单元阵列，例如具有750×500像素，用彩色滤波器阵列(CFA)图案覆盖来产生对应于CFA图案的彩色图像数据。光学部分包括镜头38和快门开口设备40，其用于调节图像传感器36上图像光的曝光。时钟发生器和驱动电路42提供需要用于从图像传感器36中产生彩色图像数据的波形，并且输出数据被应用到模拟信号处理(ASP)和12比特模拟/数字(A/D)转换部分44，其从彩色图像数据中产生数字CFA数据。
得到的数字图像被应用到数字信号处理器46，其可使用应用例如DPCM编码的例如数字无损或可视无损压缩技术来压缩图像数据，或者处理图像数据用于存储。处理的数字CFA数据通过输出接口48被应用到可移动存储器50。在操作中，CFA图像数据表示固定尺寸的图像，通常是实际上对应于图像传感器36的实际尺寸的图像。因此，存储器50存储来自对应于该固定图像尺寸的固定数量的图像单元的数字CFA图像数据。而且，存储在存储器50中的数字CFA图像数据，以及捕获图像的低分辨率缩略图版本可被包含在也描述用于图像传感器上的彩色滤波器阵列图案类型的图像文件中。
输出接口48是适用于传统卡接口标准(比如在1997年3月加州的Sunnyvale举办的个人计算机存储卡国际会议上发表的在PC卡标准中描述的PCMCIA卡接口标准)的存储卡接口48a。因此可移动存储器50是包含固态存储器(比如Flash EPROM存储器)或者小的硬驱动器(被分类为在PCMCIA卡接口标准之下的PCMCIA-ATA型III硬驱动器)的非易失性PCMCIA存储卡。另一种卡接口标准是具有DOS文件格式的CompactFlash ATA。可替换的，可使用其它非易失性存储设备，比如软盘磁介质或者光学存储器(在这种情况下，可在相机30中提供适当接口和传统读/写装置，例如磁或光读/写头)。
此外，相机包括主计算机接口驱动器52用于直接连接相机30到主计算机32，例如来下载对应于捕获图像的数字CFA数据。(在该过程中，可移动存储器50可作为缓冲存储器或者可提供独立缓冲存储器(未示出))。相机30还包括控制处理器54用于控制(a)时钟发生器和驱动电路42，(b)包括ASP和A/D部分44、数字信号处理器46和输出接口48的数字信号处理链，以及(c)接口驱动器52。接口驱动器52提供传统计算机接口比如SCSI、IEEE-1394、USB、Firewire或RS-232接口。因此，来自相机30的数字CFA数据，通过接口驱动器52或者通过接收可移动存储器50的卡读取器56与主计算机32接口。
为了产生输出图像，主计算机32包括用于处理捕获图像和在显示器58上产生软拷贝或者在打印机上产生硬拷贝(或者例如胶片写入器等)的应用程序。例如，应用程序(未示出)包括算法部分，其与CFA插值同时应用直接像素映射/裁剪。计算机还包括用户界面(未示出)，其提供用于裁剪成输出图像尺寸的用户操作装置，它使用相机提供的固定图像尺寸的像素子集。随后应用程序为输出图像的每个图像单元从裁剪图像单元中插值全部颜色数据并且产生具有选择输出图像尺寸的插值输出图像。主计算机32还可通过传输链路70(例如因特网)连接到远程计算机72和远程输出设备74，比如硬拷贝打印机。
根据本发明的成像系统的操作在图4的流程图中示出，并且使用本发明的图像格式的表示在图5中示出。参考图1所述，用户操作相机来在捕获步骤10中拍摄图片，并且随后在步骤12中将相机或卡连接到主计算机。在下载步骤14中用户选择要处理的图像并且转换为最终文件格式，比如FlashPix格式。为了建立最终图像数据，在参考图1所示的处理步骤中将来自相机的750×500拜耳图案CFA图像数据被解压缩并且插值，来产生CFA插值、颜色校正、RGB图像数据，其随后在文件格式化步骤18中在完整图像域24以及在较低分辨率图像域25中以平铺、分级FlashPix文件被存储。
根据本发明，提供了文件格式扩展步骤80，其中原始12比特压缩CFA数据也被存储在与平铺图像数据相同的FlashPix文件中，但是是在扩展属性设置22中的CFA图像数据域94中。更特别的(参考图5)，扩展属性设置包括CFA图案和压缩方法数据92、CFA图像数据94、相机ICC简档96、缩略图图像数据98以及高级编辑列表100。因此，扩展数据可包括元数据，该元数据提供用在图像传感器36上的CFA图案和数字信号处理器46使用的压缩方法，其被存储在CFA图案和压缩方法数据92。相机MTF(调制传送功能)值可被存储为MTF数据95中的表。特征化存储在扩展属性设置22中CFA颜色的ICC(国际颜色联盟)简档，可被存储在ICC简档96中。注意这是与在FlashPix图像文件中用来描述sRGB颜色数据的任选简档不同的ICC简档。在FlashPix格式的标准使用中，如果标准文件格式应当在编辑步骤82中被编辑，简单修改(比如旋转、裁剪和锐化)并不修改图像数据24、25。而是修改列表被记录在观看参数设置20中，并且标准缩略图数据23也被修改。更加复杂的修改(比如去除红眼)要求图像数据的部分被修改。为了记录这些修改从而它们可在随后被应用到CFA图像数据94，元数据在高级编辑列表100中列出了这些编辑数据来描述应用程序执行的除了修改标准FlashPix观看参数之外的编辑。此外，元数据还可包括缩略图图像数据98中未修改的缩略图图像拷贝，其可与修改的缩略图图像数据23比较来确定是否需要通过随后的图像编辑应用程序对原始图像数据进行任何改变。
如上所解释，如果图像文件被应用程序例如通过裁剪或调整图像的颜色或亮度而修改，那么CFA图像数据94将不再适当地表示编辑图像。在FlashPix图像格式中，指定了实现确定在FlashPix文件中的扩展属性设置中存储的辅助数据的有效性(比如CFA图像数据94)的应用程序。该扩展设置还在1999年11月9日公开的US5,983,229中描述，其与本申请是同一申请人。根据该专利，扩展包含用于指示扩展持久属性的字段。扩展持久属性将扩展数据的有效性指示为文件的核心单元是否被修改的函数。对于扩展持久属性的值以及它们对应的含义如下所示：
值                               含义
0×0    扩展有效并且保持在独立于文件的核心单元的修改中
0×1    根据对文件的核心单元的任意修改，扩展无效，并且
        当核心单元被编辑时其必须从文件中去除
0×2    根据对文件的核心单元的修改，扩展可能无效，并且
        必须保持在文件中直到理解扩展的应用程序可确定扩
        展是有效(保持在文件中)或无效(从文件中去除)
根据本发明的扩展属性设置22的扩展持久值被设置为0×2来指示扩展数据(比如CFA图像数据94)根据对文件的核心单元的修改可能无效。因此扩展属性设置22保持在FlashPix文件中直到理解扩展的应用程序可确定扩展是有效还是无效。
包含该扩展数据的FlashPix文件现在可被任何实现FlashPix的应用程序使用，该应用程序包括不理解在扩展属性设置22中数据的含义的应用程序。更特别的，参考图4，包含扩展数据的文件可通过本地链路86或通过远程链路88被传输到打印阶段(步骤84)，其中扩展数据可被从文件(步骤90)中分离并且发送到打印阶段(步骤84)。图像可通过多种方式改变，例如裁剪、加亮并且用于去除红眼的处理。在一些情况下(例如裁剪、加亮)，这些改变可通过调整FlashPix文件中的观看参数20来完成，而不是修改图像数据24、25。然而在所有情况下，应用程序修改标准FlashPix缩略图图像数据23来精确地反映图像修改。
当图像数据由不理解扩展属性设置22含义的“老”打印机打印时，标准FlashPix图像数据被与现有技术同样来打印。然而如果打印应用程序理解扩展数据组22，其通常处理存储在扩展中的CFA图像数据来提供将要被打印的数据。这如在2003年11月18日公开的US 6,650,366中描述。在该应用程序中，“原始”图像数据(其任选的使用数字无损或可视无损技术来压缩)被存储在数字存储器上的数字图像文件中并被传送到主计算机。该图像文件被保留直到建立了最终呈现图像。图像的“软拷贝”质量版本可向用户显示，用户可决定裁剪图像并且建立要结合到其它文档中、要被打印的等等任意尺寸的输出图像。优点是这样的：为了建立最终高质量图像，原始像素数据的裁剪部分在单个阶段被直接插值(并且任选的被锐化)来建立适当的输出图像尺寸。通过在包括CFA插值的单个阶段将输入像素直接映射到理想输出像素，插值假像被最小化。此外，如果图像在该阶段中被锐化，输出图像的锐度得到改善而不会由于多个锐化阶段产生的假像而恶化。
因此，来自相机的750×500拜耳图案数字CFA图像数据根据用户指定而被解压缩和裁剪。例如可使用图像的256×256正方形部分。如在US 6,650,366中更加详细的示出，随后CFA插值和空间处理在单个处理步骤中组合，来产生最终输出图像数据，其可以是更大的正方形图像，例如1024×1024像素图像。CFA插值步骤可实现任意数量的已知插值技术。例如在以下专利中的插值技术可被使用：US 5,373,32 2；US5,382,976；US 5,506,619；以及US 5,629,734。这些专利中的每一个都在此通过参考结合。
在最终尺寸图像记录被插值之后，图像在单个锐化步骤中被锐化。这种锐化可使用在US 5,696,850中所述的技术，其在此结合作为参考。此专利使用来自相机的调制传送函数(MTF)校准数据95以及打印机MTF数据(未示出)来确定用于最佳锐化电子相机拍摄的任意尺寸的数字再现的合适锐化滤波器。图像数据最终在硬拷贝打印机60或在远程打印机74(图3)中以硬拷贝形式被打印。
为了保证文件中的图像数据没有被图像处理应用程序改变(其例如可由“红眼”减弱等来实施)，在扩展属性设置22中的原始缩略图图像数据98通过应用包含在FlashPix文件中的任意观看参数20(或包含在扩展属性设置22中的任意高级编辑100)来处理并且将结果与相同文件中的标准缩略图图像23进行比较。如果两幅图像不同，则指示原始图像数据已经以未知方式修改并且CFA图像数据94不应当被使用来形成输出打印图像。在这种情况下，输出打印就使用标准FlashPix图像数据24来进行，在这种情况下“较老”的打印机不知道扩展数据。
很多应用程序能够打开以“JPEG交换格式”(JEF)文件存储的图像，其由ISO/IEC 10918-1的基线DCT(JPEG)版本定义，该文件在此结合作为参考。该标准允许“应用程序片断”被包括在JIF比特流中。应用程序片断中的数据被不熟悉应用程序片断中数据含义的应用程序忽略。已经被开发了使用单个应用程序片断来存储辅助数据和减小分辨率“缩略图”图像的多个图像文件格式。这些图像格式包括JFIF，其在“JPEG文件交换格式，版本1.02，1992年9月1日，C-Cube微系统”中定义，Exif(可交换图像格式)JPEG压缩版本，在“数字静态相机图像文件格式提议(Exif)版本1.0，1995年3月24日，JEIDA/电子静态相机工作组”中描述以及SPIFF，在“ITU-T Rec.T.84，Annex F-静态图片交换文件格式，1995”中定义，其都在此结合作为参考。
在图6所示的第二实施例中，使用了JPEG交换格式文件。该文件包含根据ISO JPEG标准(ISO/IEC 10918-1)是有效的完整JPEG数据流。在图6中引用的字段如下来识别：
SOI＝图像开始
APP＝应用程序片断
DQT＝定义量化表
DHT＝定义霍夫曼表
SOF＝帧的开始
SOS＝扫描开始
EOI＝图像结束
更特别的，JPEG数据流还包括应用程序片断102(在该例子中是应用程序片断7(APP7))，其包括存储在FlashPix扩展属性设置22中的相同类型的信息，如结合图5所述的那些。
图7到图10涉及本发明的另一个实施例。在该实施例中，来自图像传感器36的非插值图像数据被使用T IFF图像格式存储为所谓“未加工”相机数据。该TI FF图像文件完全与在IS0 12234-2：2001中定义的TIFF-RP标准兼容，其从瑞士日内瓦的国际标准组织可获得。
使用常规TIFF-EP未加工文件的一个问题是在显示或打印之前，所有应用程序必须执行需要将未加工数据转换为插值数据的处理。不同数码相机使用不同类型插值处理，很难在图像显示应用程序、图像编辑应用程序或数字打印机中为所有这些相机提供处理。
因为TIFF文件可支持单个文件中的多个图像，本发明的发明人认识到“最终”处理和压缩JPEG图像可在TIFF-EP文件中提供，而仍然保持与TIFF-EP标准的兼容性。TIFF文件中的JPEG图像数据可被用于实现与不能处理“未加工”相机文件的设备(比如计算机软件程序或家用照片打印机)的兼容。仅需要由图像访问的未加工图像数据可由图像编辑器修改。
图7是根据本发明的电子成像系统的附加实施例的框图。电子成像系统包括相机30A，其捕获和在可移动存储卡50A上存储图像。如在先前参考图3所述的，数码相机30A包括光学部分34，其用于将图像光引导到图像传感器36上，其优选的是单个彩色图像传感器，比如电感耦合装置(CCD)或CMOS图像传感器。图像传感器36包括用彩色滤波器阵列(CFA)图案覆盖的离散光敏图像单元阵列来产生对应于CFA图案的彩色图像数据。图像传感器36可具有例如4∶3图像宽高比以及总的3.1个有效的兆像素(百万像素)，其具有2048有效像素列×1536有效像素行。图像传感器36可使用1/2″型的光学格式，从而每个像素大约是3.1微米高乘以3.1微米宽。
光学部分34包括缩放镜头38A和快门开口设备40，其用于调节图像传感器36上的图像光的曝光。时钟发生器和驱动器电路42提供波形，该波形需要用来从图像传感器36产生并传送彩色图象数据以提供传感器输出数据，并且该传感器输出数据被应用到模拟信号处理(ASP)和12比特模拟/数字(A/D)转换部分44，其从彩色图像数据中产生数字CFA数据。时钟发生器和驱动器电路42还控制闪光单元用于当环境照明很暗时照亮场景(未示出)。如果图像传感器36是CMOS图像传感器，ASP和A/D44以及时钟发生器和驱动器42可与图像传感器36包括在相同的集成电路中。
来自ASP和A/D 44的所得到的数字数据被临时存储在DRAM缓冲存储器45中，并且随后被应用到数字信号处理器46。数字信号处理器46执行的处理由存储在固件存储器128(其可以是闪存EPROM存储器)中的固件控制。应当注意数字信号处理器46-其典型的是可编程的图像处理器-可选择是硬线(hard wire)定制集成电路(IC)处理器、通用微处理器或者硬线定制IC和可编程处理器的组合。
数字信号处理器46还接口到用户控制器134并且向彩色显示器132提供彩色信号。显示在彩色显示器132上的图形用户界面由用户控制器134来控制。在图像被捕获之后，它们可在彩色显示器132上通过使用存储在DRAM 122中的缩略图或微缩图(screennail)图像数据来浏览。用户控制器134还允许用户设置各种相机参数，比如白平衡设置、颜色设置、锐度级设置以及压缩质量设置。
用户控制器134可包括缩放控制器(未示出)来控制缩放镜头38A的焦距设置。一旦达到了最大长焦(telephoto)缩放设置，数字信号处理器46可裁剪和再取样图像传感器36提供的图像数据来提供“数字缩放”，其将在以下参考图8描述。
相机30A还包括重力定位传感器140。重力定位传感器140被用于确定在数字图像被捕获的时刻相机是否在正常水平“风景方向”、第一(顺时针旋转90度)垂直“影像”(portrait)方向或者第二(逆时针旋转90度)垂直“影像”方向。来自重力定位传感器140的信号可被用于决定数字信号处理器46是否应当自动旋转捕获的图像到适当的“直立”方向，如在共同申请人的US 5,900,909中所述，其公开内容在此结合作为参考。
在一些实施例中，相机30A还可包括“全景”模式，其通过仅使用来自图像传感器36的像素中间行来提供宽的宽高比图像，而丢弃顶部和底部行。这可通过Labaziewicz等在2005年2月18日提交共同申请人的USSN 11/062,174中所述那样完成，其公开内容在此结合作为参考。
数字信号处理器处理捕获的CFA图像数据并且产生数字图像文件450(在图8中示出)，其将在以下参考图8描述。数字图像文件450被提供给存储卡接口48A，其将数字图像文件450存储在可移动存储卡50A上。可移动存储卡50A是一种可移动数字图像存储介质，并且以多种不同的物理形式来获得。例如，可移动存储卡50A可包括(不限制)适合于已知格式的存储卡，比如紧凑型闪存(Compact Flash)、SM(SmartMedia)、记忆棒(Memory Stick)、MMC、SD或XD存储卡格式。其它类型的可移动数字图像存储介质，比如磁的硬驱动器、磁带或光盘可选择用于存储静态和运动数字图像。可选择的，数码相机30A可使用内部非易失性存储器(未示出)，比如内部闪存EPROM存储器来存储处理的数字图像文件。在该实施例中，不需要存储卡接口48A和可移动存储卡50A。
相机30A包括对接器(dock)接口162用于连接相机30A到对接器/充电器364，其再连接到计算机32A。对接器/充电器(recharger)364可对用于为相机30A供电的电池(未示出)充电。对接器接口162和对接器/充电器364使用传统计算机接口通信，比如USB或IEEE-1394接口。因此，数码相机30A提供的数字图像文件450可通过对接器/充电器364或通过存储卡读取器56A使用可移动存储卡50A传送到计算机32A。
为了产生输出图像，主计算机32A包括应用程序，该应用程序用于处理传送的图像文件并产生显示在显示器58A上的软拷贝，或者在打印机60A上打印的硬拷贝。应用程序(未示出)处理来自图像文件的未加工图像数据，使用户能够调整各个图像处理参数，其将在随后参考图8描述。例如，显示在显示器58A上的图形用户界面可包括用户控制器，该用户控制器提供用户操作装置用于裁剪到输出图像尺寸，该用户操作装置使用相机提供的固定图像尺寸的像素子集。随后应用程序为来自裁剪图像单元的输出图像的每个图像单元插值全部颜色数据并且产生具有选择的输出图像尺寸的插值输出图像。图形用户界面还可使得用户能够调整色调再现、颜色再现、白平衡、噪声清除设置以及图像的锐度。
计算机32A还可通过传输链路70(例如因特网)连接到远程计算机72和远程输出设备74，比如参考图3描述的硬拷贝打印机。可移动存储卡50A还可被插入家用照片打印机358和零售照片打印机360的存储卡槽(未示出)。
图8是描述了图像处理操作的例子，该图像处理操作可由数码相机30A中的数字信号处理器46执行，来产生提供未加工和压缩图像数据的图像文件450。图9A和9B的结合示出了数字图像文件450的结构的例子。
在图8的块402中，存储在DRAM缓冲存储器45中的传感器CFA数据400(参见图7)被处理来校正传感器缺陷。这通过使用存储在固件存储器128(其可在相机30A制造时被编程)中的列表来识别缺陷像素完成，并且对于缺陷像素值替换校正像素值，该校正像素值等于具有相同颜色的最近的非缺陷像素的平均值。
在模块404中，缺陷校正CFA传感器数据被再取样来产生具有例如640列×480行拜耳图案像素数据的“小尺寸”未加工CFA数据。调整大小可通过将相同颜色的相邻像素进行平均来完成。
在模块406中，缺陷校正全尺寸CFA传感器数据和小尺寸CFA传感器数据被格式化来存储在图9所示的数字图像文件450中，其在优选实施例中是TIFF/EP文件。该TIFF/EP文件符合ISO 12234-2：2001，电子静态图片成像-可移动存储-第二部分：TIFF/EP图像数据格式，其在此结合作为参考。
参考图9A和9B，数字图像文件450包括TIFF报头502和图像文件目录0(IFD0)504，图像文件目录0(IFD0)504包括JPEG交换格式标签506，JPEG交换格式标签506指向用于存储主Exif/JPEG数据510的数字图像文件450的部分。主Exif/JPEG数据510包括主JPEG压缩图像512、JPEG压缩微缩图图像514以及JPEG压缩缩略图图像516。用于产生这些JPEG压缩图像的过程将随后参考模块408-424来描述。
IFD0 504还包括Exif IFD指针520，其指向存储在ExifIFD 522中的标准Exif元数据。IFD0 504还包括图像处理参数IFD指针524，其指向IP Param IFD 526，IP Param IFD 526存储用于产生主Exif/JPEG数据510的图像处理参数。
IFD0 504还包括SubIFD指针528，其包括指向子(Child)0th SubIFD530的指针，而子0th SubIFD 530又包含指向主CFA数据536的条偏移(StripOffset)指针532。该主CFA数据536是来自图8的模块402的传感器缺陷校正CFA数据。
SubIFD指针528还包括指向子1th SubIFD 540的指针，而子1thSubIFD 540又包含指向小尺寸CFA数据的条偏移指针542。小尺寸CFA544数据是来自图8的模块404的CFA图像再取样数据。当数字图像文件450随后被计算机32A处理时，该小尺寸未加工CFA数据544可被用于使得计算机32A更加快速的在显示器58A上产生显示尺寸(display-sized)处理图像，因为其比如果计算机32A必须处理全尺寸CFA图像数据所要处理的像素少的多。
一旦数字图像文件450在计算机32上被修改(这将在随后参考图10描述)，IFD0504还可包括指向附加修改的JPEG图像570的指针，当该附加修改JPEG图像570被存储为修改的图像文件时，其被添加到数字图像文件450。例如，在图像被修改的第一次，NextIFD指针550指向IFD1(主图像修改JPEG)552，其包含主Exif/JPEG数据558(其是修改的图像)，以及指向IPParamIFD 554的指针，IPParamIFD 554包含用于产生修改的主Exif/JPEG数据558的图像处理设置。
下一次图像文件被修改和保存时，IFD2(主图像修改JPEG)562被用于存储第二次修改的主Exif/JPEG数据568，以及IPParamIFD564被添加到数字图像文件450上，IPParamIFD564包含用于产生第二次修改主Exif/JPEG数据568的图像处理设置。此外，LastIFD指针560被添加到IFD0 504，以及NextIFG 556指针被添加到IFD1 552，其都直接指向IFD2 562。
每次数字图像文件450被随后修改并保存时，附加IFD(例如IFD3、IFD4等)可被添加到数字图像文件450，并且LastIFD指针560可被更新来指向新的IFD。
返回图8，在模块408中，如果用户使用用户控制器134执行数字缩放功能或全景功能，那么图像数据被裁剪。该裁剪使用数字缩放/摇拍(pan)设置428。
在模块410中，旋转/裁剪CFA数据被清除噪声。该噪声清除使用提供为图像处理参数444一部分的清除设置430。该处理可使用在共同申请人Adam等的US 6,625,325中描述的噪声清除方法，其公开内容在此结合作为参考。
在彩色传感器去马赛克(demosaicing)块412中，噪声过滤CFA数据被颜色插值来提供全分辨率RGB图像数据。该处理使用旋转/再取样设置432。如果重力定位传感器140指示数码相机30A以图像被捕获的影像方向把持，如果需要，CFA图像数据被旋转。而且，如果CFA图像数据在模块408中被裁剪来提供数字缩放，图像在块412中被再取样来产生全尺寸图像文件。这可通过使用在共同申请人Parulski等的US6,650,366中描述的方法来完成，其公开内容在此结合作为参考。
在块414中，全分辨率RGB数据是使用白平衡设置434被调整为白平衡的。白平衡设置434可指示特定照明体(例如日光、钨丝)或自动白平衡模式。
在块416中，白平衡RGB数据经色调缩放和彩色处理。该处理使用色调和彩色设置436，其可识别多个彩色矩阵和色调修正曲线中之一。该处理可使用在佛罗里达州Boca Raton的CRC出版LLC在2003年公开的数字彩色成像手册的“色调缩放/颜色处理”中的章节12.6中描述，其在此结合作为参考。特别的，彩色处理可使用例如在图3中描述的Parulski等共同申请人的US 5,189,511中的3×3线性空间颜色校正矩阵20，其公开内容在此结合作为参考。
在块418中，经处理的RGB图像数据使用锐化设置438被锐化。图像锐化处理可利用在Hibbard等共同申请人的US 4,962,419中描述的方法，其公开内容在此结合作为参考。例如，锐化设置可识别多个去心(coring)查找表之一，其提供用于锐化图像的“细节”信号的不同数量的放大。
在块420中，锐化的图像数据使用压缩设置440来JPEG压缩，压缩设置440包括压缩质量设置。图像压缩可使用在Daly等共同申请人US 4,774,574中描述的方法，其公开内容在此结合作为参考。压缩质量设置可识别多个量化表之一，例如’574专利的图1中用于量化模块26的三个不同的表。这些表提供不同的质量等级并且为JPEG压缩图像文件平均文件尺寸。
在块424中，锐化的图像数据被再取样来产生两个较小尺寸的图像。该再取样可如在Kuchta等共同申请人的US 5,164,831中描述，其公开内容在此结合作为参考。这包括具有例如160行×120列的缩略图尺寸图像，以及具有例如640行×480列的微缩尺寸图像。在块426中，缩略图和微缩图像被JPEG压缩。
在块422中，JPEG压缩全分辨略“主”图像、JPEF压缩缩略图图像以及JPEG压缩微缩图象被共同格式化在Exif/JPEG图像文件中，如由日本动静的日本电子工业发展协会(JEIDA)在1998年7月发表的“数字静态相机图像文件格式(Exif)”版本2.1中定义。该格式包括Exif应用程序片断，其存储特定图像元数据，包括图像被捕获的日期/时间以及镜头f/数目和其它相机设置。结果是图9中的主Exif/JPEG数据510。
数字缩放/摇拍设置428、噪声清除设置430、白平衡设置434、色调和颜色设置436、锐化设置438以及压缩设置440都包括在图像处理参数444中。在块448中，这些参数被格式化为存储在图9的图像处理参数IFD 526中的TIFF标签。
图10是示出使用图7的系统实施本发明的的方法的流程图。
在图7的块200中，用户为相机30A选择相机捕获和图像处理参数444(在图8中示出)。这使用用户控制器134来完成，如先前参考图7所述那样。一些或所有这些设置可以是存储在相机30A的固件存储器128中的默认设置。
在块202中，用户使用彩色显示器132或者数码相机30A上的光学取景器(未示出)来形成图像。
在块204中，传感器CFA图像数据被捕获并临时存储在DRAM缓冲存储器45上。
在块206中，CFA图像传感器数据被数字信号处理器46使用图像处理参数444处理来产生处理的RGB图像数据，如先前参考图8的块408到418所述。
在块208中，数字信号处理器46建立微缩图和缩略图尺寸处理图像，如先前参考图8的模块424所述。
在块210中，主、微缩图和缩略图图像如先前参考图8的块420到424所述那样进行JPEG压缩。
在块212中，存储在图9中IPParamIFD 526中的TIFF标签用图像处理参数444来生成(populate)，如先前参考图8的块448所述。
在块214中，图9中的包含主CFA图像数据536、小尺寸CFA图像数据544、主图像数据512、微缩图图像数据514、缩略图图像数据516以及图像处理参数444(存储在IPParamIFD 526中)的数字图像文件450由数字信号处理器46产生。
在块216中，数字图像文件450被存储在可移动存储卡50A或其它存储设备上。
在块220中，数字图像文件450从相机30A被传送到另一个设备，比如计算机32A、零售照片打印机360或者家用照片打印机358，如先前参考图7所述。
在块222中，接收传送的数字图像文件450的设备确定是否能够处理CFA图像数据。
在块224中，如果设备不能够处理CFA图像数据(块222是否)，设备访问数字图像文件450中的JPEG/Exif格式图像数据510。这允许设备使用图像，就像其是标准JPEG/Exif图像文件。该JPEG/Exif图像数据随后可被设备显示、打印、记录或传输。
在块226中，如果设备能够处理CFA图像数据(块222是是)，设备访问数字图像文件450中的主CFA图像数据536。设备还可访问小尺寸CFA图像数据544，从而快速产生可由用户交互地修改的可观看图像。
在块228中，如果想要，设备的用户可修改图像处理参数444。因此，用户可修改数字缩放/摇拍设置来提供更多(或更少)的裁剪。例如，如果全景设置在图8的块408中通过裁剪去顶部和底部行而提供宽的宽高比图像，一些或全部这些行可被包括在修改的图像中。作为另一个例子，噪声清除阈值430以及锐化设置438可被修改来更好的平衡噪声抑制和图像锐化。作为另一个例子，如果用选择的钨丝作为照明体来捕获图像，但是光源实际上是日光，那么CFA图像被再处理，尽管在第一位置选择了日光。曝光和闪光也可通过修改色调&颜色设置436来调整。
在一些实施例中，还可为用户提供不包括在数码相机中的其它控制。例如，该控制可允许用户独立调节阴影中的场景照明、中色调和捕获图像的高光。这些调整可使用小尺寸CFA数据544来预览，从而减小使得用户交互性决定他们想要的图像处理设置所需要的计算时间。
在块230中，主CFA图像数据536使用用户修改设置被再处理。这类似于使用不同的图像处理参数444来重复图8的块408到418。
在块232中，修改的设置和附加处理JPEG文件被存储在数字图像文件450中。为了提供这些JPEG文件，来自模块230的再处理图像数据被再取样来产生修改图像的缩略图和微缩图图像，并且主、缩略和微缩图图像被JPEG压缩并包括在IFD1(主图像修改JPEG)522中，如先前参考图9A和9B所述。此外，用于产生修改图像的图像处理参数被存储在IPParamIFD 564中。
在一个可替换的实施例中，当修改图像时，不将IFD1 552和IPParamIFD 554加到数字图像文件450中，而是主Exif/JPEG数据510可被修改的JPEG图像数据替换，并且IPParamIFD 526参数可被修改的参数替换。
在块234中，修改、处理的CFA图像数据被显示，例如使用显示器58A，或者打印机，例如使用打印机60A。
部件列表
10  捕获步骤
12  连接步骤
13  下载步骤
16  处理步骤
18  文件格式化步骤
19  报头
20  观看参数
21  属性设置数据
22  扩展属性设置数据
23  缩略图图像数据
24  完整图像数据
25  较低分辨率图像数据
26  丢弃步骤
27  编辑步骤
28  应用步骤
30  相机
30A 相机
32  主计算机
32A 主计算机
34  光学部分
36  图像传感器
38  镜头
38A 缩放镜头
40  快门开口设备
42  时钟发生器和驱动电路
44  ASP和A/D部分
45  DRAM缓冲存储器
46  数字信号处理器
48  输出接口
48a 存储卡接口
50  可移动存储器
52  可移动存储器
54  控制处理器
56  卡读取器
56A 存储卡读取器
58  显示器
58A 显示器
60  硬拷贝打印机
60A 打印机
70  传输链路
72  远程计算机
74  远程输出设备
80  文件格式扩展步骤
82  编辑步骤
84  打印步骤
86  本地链路
88  远程链路
90  分离步骤
92  CFA图案和压缩方法数据
94  CFA图像数据
95  相机MTF校准数据
96  相机ICC简档
98  缩略图图像数据
100 高级编辑列表
102 应用程序片断
122 DRAM缓冲存储器
128 固件存储器
130 闪光灯
132 彩色显示器
134 用户控制器
140 重力定位传感器
162 对接器接口
200 块
202 块
204 块
206 块
208 块
210 块
212 块
214 块
216 块
220 块
222 块
224 块
226 块
228 块
230 块
232 块
234 块
358 家用照片打印机
360 零售照片打印机
364 对接器/充电器
400 传感器CFA数据
402 传感器缺陷校正
404 CFA图像再取样
406 TIFF未加工文件格式化
408 CFA数据裁剪
410 传感器噪声清除
412 彩色传感器去马赛克
414 白平衡
416 色调缩放/颜色处理
418 锐化
420 JPEG压缩
422 Exif文件格式化
424 缩略图&微缩图再取样
426 JPEG压缩
428 数字缩放/摇拍设置
430 噪声清除阈值
432 旋转/再取样设置
434 白平衡设置
436 色调&颜色设置
438 锐化设置
440 压缩设置
444 图像处理参数
448 TIFF标签格式化
450 数字图像文件
502 TIFF报头
504 IFD0
506 JPEG交换格式指针
510 主Exif/JPEG数据
512 主图像
514 微缩图图像
516 缩略图图像
520 ExifIFD指针
522 ExifIFD
524 IPParamIFD指针
526 IPParamIFD
528 SubIFD指针
530 子0thSubIFD
532 条偏移
536 主CFA数据
540 子1thSubIFD
542 条偏移
544 小尺寸CFA数据
550 NextIFD
552 IFD1
554 IPParamIFD
556 NextIFD
558 主Exif/JPEG数据
560 最后IFD指针
562 IFD2
564 IPParamIFD
568 主Exif/JPEG数据
570 附加修改JPEG图像

Claims (20)

1.一种用于捕获彩色图像的电子图像捕获设备，包括：
图像传感器，其包括用彩色滤波器阵列(CFA)图案覆盖的离散光敏图像单元从而产生对应于CFA图案的传感器彩色图像数据；
A/D转换器，用于从传感器彩色图像数据中产生未插值的数字CFA图像数据；
处理器，用于处理未插值的数字CFA图像数据以产生插值的图像数据并形成包含未插值的CFA图像数据和插值的图像数据的TIFF图像文件；以及
存储器，用于存储TIFF图像文件。
2.如权利要求1所述的图像捕获设备，其中插值的图像数据以JPEG压缩比特流存储在TIFF图像文件中。
3.如权利要求1所述的图像捕获设备，其中处理器使用至少一个参数来执行用于产生插值的图像数据的图像处理操作，并且TIFF图像文件还存储至少一个参数。
4.如权利要求3所述的图像捕获设备，其中处理器锐化插值的图像数据，并且TIFF图像文件存储指定锐化量的参数。
5.如权利要求3所述的图像捕获设备，其中处理器调整插值的图像数据的白平衡，并且TIFF图像文件存储指定白平衡调整的参数。
6.如权利要求1所述的图像捕获设备，其中TIFF图像文件还存储定义用于图像传感器上的彩色滤波器阵列图案类型的数据。
7.如权利要求1所述的图像捕获设备，其中处理器还产生减小尺寸、未插值的CFA图像数据，并且TIFF文件还包含该减小尺寸未插值的CFA图像数据。
8.一种用于存储从彩色图像捕获设备获取的图像的单个图像文件，该设备具有用彩色滤波器阵列(CFA)图案覆盖的图像传感器从而产生对应于CFA图案的未插值的CFA图像数据，CFA图像数据经过进一步的处理以形成插值和压缩的图像数据，所述单个图像文件包括：用于存储未插值的CFA图像数据的第一文件区域；用于在单个图像文件中以JPEG图像数据存储插值和压缩的图像数据的第二文件区域；以及用于存储用于产生插值和压缩的图像数据的第一图像处理参数的第三文件区域。
9.如权利要求8所述的单个图像文件，其中单个图像文件还包括第四文件区域，其用于存储修改的插值和压缩图像数据，以及第五文件区域，其用于存储用于产生修改的插值和压缩图像数据的第二图像处理参数。
10.如权利要求8所述的单个图像文件，其中单个图像文件是TI FF文件。
11.如权利要求10所述的单个图像文件，其中单个图像文件是TIFF/EP文件。
12.如权利要求10所述的单个图像文件，其中第一文件区域是TIFFSubIFD区域。
13.一种用于捕获和处理彩色图像的方法，所述方法包括：
(a)在数字图像捕获设备中，通过彩色滤波器阵列(CFA)捕获图像单元的阵列并且产生CFA图像数据；彩色图像数据对应于CFA图案；
(b)使用存储在数字图像捕获设备中的图像处理参数处理CFA图像数据来产生插值的图像数据；
(c)将单个图像文件存储在数字图像捕获设备的存储器中，单个图像文件包括CFA图像数据、插值的图像数据以及图像处理参数；
(d)传送单个图像文件到第二设备；
(e)确定第二设备是否能处理CFA图像数据；以及
(f)如果第二设备能够处理CFA图像数据，就访问单个图像文件中的CFA图像数据和图像处理参数。
14.如权利要求13所述的方法，还包括
(g)如果第二设备不能处理CFA图像数据，访问单个图像文件中插值的图像数据。
15.如权利要求13所述的方法，还包括
(h)修改图像处理参数并且使用修改的图像处理参数处理CFA图像数据来产生修改的插值图像数据。
16.如权利要求13所述的方法，还包括
(i)将修改的图像处理参数和修改的插值图像数据存储在单个图像文件中。
17.如权利要求15所述的方法，还包括：
(j)打印修改的插值图像数据。
18.如权利要求13所述的方法，其中单个图像文件是符合TIFF的文件。
19.如权利要求18所述的方法，其中插值的图像数据被存储为JPEG压缩图像数据。
20.如权利要求18所述的方法，其中数字图像捕获设备还产生减小尺寸的CFA图像，并且将减小尺寸的CFA图像数据存储在单个图像文件中。
CNA2006800463454A 2005-12-08 2006-11-27 提供未加工的图像文件和处理数据 Pending CN101326807A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410162001.6A CN103955882B (zh) 2005-12-08 2006-11-27 电子图像捕获设备及用于捕获和处理彩色图像的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/296,915 US7453498B2 (en) 1998-03-26 2005-12-08 Electronic image capture device and image file format providing raw and processed image data
US11/296,915 2005-12-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201410162001.6A Division CN103955882B (zh) 2005-12-08 2006-11-27 电子图像捕获设备及用于捕获和处理彩色图像的方法

Publications (1)

Publication Number Publication Date
CN101326807A true CN101326807A (zh) 2008-12-17

Family

ID=37907442

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410162001.6A Expired - Fee Related CN103955882B (zh) 2005-12-08 2006-11-27 电子图像捕获设备及用于捕获和处理彩色图像的方法
CNA2006800463454A Pending CN101326807A (zh) 2005-12-08 2006-11-27 提供未加工的图像文件和处理数据

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201410162001.6A Expired - Fee Related CN103955882B (zh) 2005-12-08 2006-11-27 电子图像捕获设备及用于捕获和处理彩色图像的方法

Country Status (6)

Country Link
US (1) US7453498B2 (zh)
EP (1) EP1958432A1 (zh)
JP (1) JP5087554B2 (zh)
KR (1) KR101293834B1 (zh)
CN (2) CN103955882B (zh)
WO (1) WO2007067369A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102087660A (zh) * 2009-12-02 2011-06-08 精工爱普生株式会社 文件管理装置
CN104159020A (zh) * 2013-04-26 2014-11-19 全视技术有限公司 采用用于灵活图像方位的正方形图像传感器的取像系统及方法

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040125211A1 (en) * 2002-09-03 2004-07-01 Yoshirhiro Ishida Image processing apparatus and image processing method
JP4845382B2 (ja) * 2004-02-06 2011-12-28 キヤノン株式会社 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
JP4720387B2 (ja) * 2005-09-07 2011-07-13 ソニー株式会社 撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラム
US7724287B2 (en) * 2006-07-31 2010-05-25 Hewlett-Packard Development Company, L.P. Sketch effect for digital photographs
KR100781360B1 (ko) * 2006-09-08 2007-11-30 삼성전자주식회사 영상 편집방법 및 그 영상 편집장치
US8111941B2 (en) 2006-11-22 2012-02-07 Nik Software, Inc. Method for dynamic range editing
US8819556B1 (en) * 2007-02-02 2014-08-26 Adobe Systems Incorporated Methods and systems for displaying format properties of crop areas
US7903871B2 (en) * 2007-04-05 2011-03-08 Arecont Vision, Llc. System and method for image processing of multi-sensor network cameras
JP4924274B2 (ja) * 2007-08-01 2012-04-25 セイコーエプソン株式会社 画像処理装置、画像処理方法及びそのプログラム
JP5014241B2 (ja) * 2007-08-10 2012-08-29 キヤノン株式会社 撮像装置、およびその制御方法
JP2009086955A (ja) * 2007-09-28 2009-04-23 Toshiba Corp カメラ装置およびその制御方法
JP2009159224A (ja) * 2007-12-26 2009-07-16 Nikon Corp 画像データ記録装置、画像処理装置、およびカメラ
US8948523B2 (en) * 2008-05-29 2015-02-03 Nagato Oya Data processing method in tree form and data processing device
TW200952491A (en) * 2008-06-04 2009-12-16 Altek Corp Recording media for digital photo file and method for creating digital photo file
JP5341615B2 (ja) * 2008-06-27 2013-11-13 キヤノン株式会社 情報処理装置及びその制御方法
US20110169987A1 (en) * 2008-09-15 2011-07-14 Gann Robert G Minimally Processing Displayed Images Captured From A Burst
JP5371489B2 (ja) * 2009-03-05 2013-12-18 キヤノン株式会社 画像管理装置およびその制御方法、ならびに、プログラムおよび記憶媒体
EP2267654A1 (en) * 2009-06-23 2010-12-29 Research in Motion Limited Adjustment of sharpness during digital zoom in digital photography
US9137503B2 (en) * 2010-11-03 2015-09-15 Sony Corporation Lens and color filter arrangement, super-resolution camera system and method
US20140227977A1 (en) * 2013-02-12 2014-08-14 Zary Segall Method, node, device, and computer program for interaction
US10868682B2 (en) 2013-06-13 2020-12-15 Pushfor, Ltd. System and method for monitoring usage of an electronic document
US9660821B2 (en) * 2013-06-13 2017-05-23 Pushfor, Ltd. Method and system for sharing content files using a computer system and data network
US9954689B2 (en) 2013-06-13 2018-04-24 Pushfor Ltd. Method and system for sharing content files using a computer system and data network
JP6335563B2 (ja) * 2014-03-18 2018-05-30 キヤノン株式会社 撮像装置及びその制御方法
US10593019B2 (en) * 2014-10-17 2020-03-17 Samsung Electronics Co., Ltd. Method and apparatus for storing, processing and reconstructing full resolution image out of sub band encoded images
WO2019109061A1 (en) * 2017-12-02 2019-06-06 Mine One Gmbh Temporal de-noising
US10853625B2 (en) 2015-03-21 2020-12-01 Mine One Gmbh Facial signature methods, systems and software
EP3274986A4 (en) 2015-03-21 2019-04-17 Mine One GmbH METHODS, SYSTEMS, AND SOFTWARE FOR VIRTUAL 3D
US9967408B2 (en) * 2015-03-26 2018-05-08 Canon Kabushiki Kaisha Information setting apparatus, information management apparatus, information generation apparatus, and method and program for controlling the same
JP6723709B2 (ja) * 2015-09-11 2020-07-15 キヤノン株式会社 撮像装置、画像処理装置及びそれらの制御方法
JP7037346B2 (ja) * 2017-03-10 2022-03-16 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2023174104A (ja) * 2022-05-27 2023-12-07 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、及びプログラム

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US4774574A (en) 1987-06-02 1988-09-27 Eastman Kodak Company Adaptive block transform image coding method and apparatus
US4962419A (en) 1989-02-13 1990-10-09 Eastman Kodak Company Detail processing method and apparatus providing uniform processing of horizontal and vertical detail components
US5065229A (en) * 1989-07-24 1991-11-12 Eastman Kodak Company Compression method and apparatus for single-sensor color imaging systems
US5164831A (en) 1990-03-15 1992-11-17 Eastman Kodak Company Electronic still camera providing multi-format storage of full and reduced resolution images
US5189511A (en) 1990-03-19 1993-02-23 Eastman Kodak Company Method and apparatus for improving the color rendition of hardcopy images from electronic cameras
US5172227A (en) 1990-12-10 1992-12-15 Eastman Kodak Company Image compression with color interpolation for a single sensor image system
US5442718A (en) * 1992-09-07 1995-08-15 Sony Corporation Apparatus and method for storing and reproducing digital image data yielding high resolution and high quality video image data
EP1519561A1 (en) 1992-09-09 2005-03-30 Canon Kabushiki Kaisha Information signal processing apparatus
US5382976A (en) 1993-06-30 1995-01-17 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients
US5373322A (en) 1993-06-30 1994-12-13 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients
US5418565A (en) 1994-02-15 1995-05-23 Eastman Kodak Company CFA compatible resolution reduction in a single sensor electronic camera
JP3203290B2 (ja) * 1994-03-31 2001-08-27 富士写真フイルム株式会社 ディジタル電子スチル・カメラおよびメモリ・カードへの記録方法
EP0770246A4 (en) 1994-07-14 1998-01-14 Johnson Grace Company METHOD AND APPARATUS FOR COMPRESSING IMAGES
US5646997A (en) 1994-12-14 1997-07-08 Barton; James M. Method and apparatus for embedding authentication information within digital data
US5506619A (en) 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5629734A (en) 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5606365A (en) 1995-03-28 1997-02-25 Eastman Kodak Company Interactive camera for network processing of captured images
JPH08336069A (ja) 1995-04-13 1996-12-17 Eastman Kodak Co 電子スチルカメラ
US5682441A (en) 1995-11-08 1997-10-28 Storm Technology, Inc. Method and format for storing and selectively retrieving image data
US5696850A (en) * 1995-12-21 1997-12-09 Eastman Kodak Company Automatic image sharpening in an electronic imaging system
US6222646B1 (en) 1996-01-11 2001-04-24 Eastman Kodak Company Electronic photography system
US5668596A (en) 1996-02-29 1997-09-16 Eastman Kodak Company Digital imaging device optimized for color performance
JPH09307857A (ja) * 1996-05-17 1997-11-28 Sony Corp 画像信号処理装置及び画像信号処理方法
US5821999A (en) 1996-06-14 1998-10-13 Iterated Systems, Inc. Method and system for fractally interpolating intensity values for a single color component array obtained from a single color sensor
US5915038A (en) 1996-08-26 1999-06-22 Philips Electronics North America Corporation Using index keys extracted from JPEG-compressed images for image retrieval
US6065015A (en) 1996-10-23 2000-05-16 Nikon Corporation Method and apparatus for editing an image file in an electronic camera
JP3503372B2 (ja) 1996-11-26 2004-03-02 ミノルタ株式会社 画素補間装置及びその画素補間方法
US6269357B1 (en) 1997-02-06 2001-07-31 Nikon Corporation Information processing system, apparatus, method and recording medium for controlling same
US6037950A (en) * 1997-04-18 2000-03-14 Polaroid Corporation Configurable, extensible, integrated profile generation and maintenance environment for facilitating image transfer between transform spaces
US5983229A (en) * 1997-06-05 1999-11-09 Eastman Kodak Company Extension persistence mechanism for a digital image format
US5973734A (en) 1997-07-09 1999-10-26 Flashpoint Technology, Inc. Method and apparatus for correcting aspect ratio in a camera graphical user interface
US6151074A (en) 1997-09-30 2000-11-21 Texas Instruments Incorporated Integrated MPEG decoder and image resizer for SLM-based digital display system
US6288743B1 (en) * 1997-10-20 2001-09-11 Eastman Kodak Company Electronic camera for processing image segments
US6151069A (en) 1997-11-03 2000-11-21 Intel Corporation Dual mode digital camera for video and still operation
US6160554A (en) 1998-03-19 2000-12-12 Hewlett Packard Company Computer file content preview window
US6650366B2 (en) 1998-03-26 2003-11-18 Eastman Kodak Company Digital photography system using direct input to output pixel mapping and resizing
US6567119B1 (en) * 1998-03-26 2003-05-20 Eastman Kodak Company Digital imaging system and file format for storage and selective transmission of processed and unprocessed image data
US6625325B2 (en) 1998-12-16 2003-09-23 Eastman Kodak Company Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning kernel
CN1377191A (zh) * 2002-05-09 2002-10-30 北京长信嘉信息技术有限公司 数码相机中色彩滤镜阵列的色彩重建方法
JP4460447B2 (ja) * 2002-06-28 2010-05-12 ノキア コーポレイション 情報端末
JP2004289450A (ja) * 2003-03-20 2004-10-14 Canon Inc 情報処理方法及び装置及びプログラム、及びプログラムを格納する記憶媒体
JP2005175975A (ja) * 2003-12-12 2005-06-30 Canon Inc 画像処理装置
JP4440120B2 (ja) 2004-02-06 2010-03-24 キヤノン株式会社 画像処理装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP4347724B2 (ja) * 2004-03-05 2009-10-21 富士フイルム株式会社 画像ファイル生成装置および方法ならびに画像ファイル再生装置および方法
JP2006345319A (ja) * 2005-06-09 2006-12-21 Canon Inc 撮像装置及びその制御方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102087660A (zh) * 2009-12-02 2011-06-08 精工爱普生株式会社 文件管理装置
CN102087660B (zh) * 2009-12-02 2015-09-09 精工爱普生株式会社 文件管理装置
CN104159020A (zh) * 2013-04-26 2014-11-19 全视技术有限公司 采用用于灵活图像方位的正方形图像传感器的取像系统及方法
CN104159020B (zh) * 2013-04-26 2017-12-26 豪威科技股份有限公司 采用用于灵活图像方位的正方形图像传感器的取像系统及方法

Also Published As

Publication number Publication date
CN103955882B (zh) 2017-05-31
WO2007067369A1 (en) 2007-06-14
US20060152609A1 (en) 2006-07-13
JP2009521139A (ja) 2009-05-28
KR101293834B1 (ko) 2013-08-07
JP5087554B2 (ja) 2012-12-05
EP1958432A1 (en) 2008-08-20
KR20080081309A (ko) 2008-09-09
US7453498B2 (en) 2008-11-18
CN103955882A (zh) 2014-07-30

Similar Documents

Publication Publication Date Title
CN101326807A (zh) 提供未加工的图像文件和处理数据
US6567119B1 (en) Digital imaging system and file format for storage and selective transmission of processed and unprocessed image data
US20030058354A1 (en) Digital photography system using direct input to output pixel mapping and resizing
JP4298253B2 (ja) 画像処理方法及び装置、及び撮像装置
EP1763215B1 (en) Imaging apparatus, image processing apparatus, image processing method, and computer program
US20070041030A1 (en) Photographing apparatus
JP4369585B2 (ja) 画像処理装置
US20030007078A1 (en) Image tagging for post processing
US20040247175A1 (en) Image processing method, image capturing apparatus, image processing apparatus and image recording apparatus
EP1339216A1 (en) Digital still camera having image feature analyzing function
JP2004048802A (ja) 着脱式ソフトウェア改良型記憶装置を用いる電子撮像装置
JP2005252754A (ja) 画像ファイル生成装置および方法ならびに画像ファイル再生装置および方法
US20040189807A1 (en) System and method of capturing and providing supplemental data associated with a digital image
US6748106B1 (en) Method for representing an extended color gamut digital image on a hard-copy output medium
EP1398950A2 (en) Image forming method, image processing apparatus, and image recording apparatus for forming an optimum viewing image from a captured image
JP2004096500A (ja) 撮像装置、画像処理装置及び画像記録装置
US20030184650A1 (en) Transferring and proccessing a plurality of digital images captured by a digital camera using a computer
CN110557532B (zh) 摄像装置、客户端装置和控制方法
JP3720546B2 (ja) 画像処理装置及び方法及び記憶媒体
JP2006222612A (ja) Ｒａｗデータ出力装置、ｒａｗデータ構造及びｒａｗデータ出力方法
JP2003032618A (ja) 処理制御データ付き画像ファイルの生成装置
JP4809451B2 (ja) 画像ファイル生成装置および方法ならびに画像ファイル再生装置および方法
JP2003264735A (ja) 画像処理システム、画像処理方法、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体
KR20070021084A (ko) 촬상장치
JP2004242232A (ja) 記録媒体及び画像記録装置並びに画像記録方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: GAOZHI 83 FOUNDATION LLC

Free format text: FORMER OWNER: EASTMAN KODAK COMPANY (US) 343 STATE STREET, ROCHESTER, NEW YORK

Effective date: 20130402

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20130402

Address after: Nevada, USA

Applicant after: Gaozhi 83 Foundation Co.,Ltd.

Address before: American New York

Applicant before: Eastman Kodak Co.

C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20081217