CN1522054A - 图像处理装置，方法以及程序 - Google Patents

图像处理装置，方法以及程序 Download PDF

Info

Publication number
CN1522054A
CN1522054A CNA200410039471XA CN200410039471A CN1522054A CN 1522054 A CN1522054 A CN 1522054A CN A200410039471X A CNA200410039471X A CN A200410039471XA CN 200410039471 A CN200410039471 A CN 200410039471A CN 1522054 A CN1522054 A CN 1522054A
Authority
CN
China
Prior art keywords
photosensitive pixel
image information
image
camera
dynamic range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200410039471XA
Other languages
English (en)
Other versions
CN1260953C (zh
Inventor
竹村和彦
石原淳彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN1522054A publication Critical patent/CN1522054A/zh
Application granted granted Critical
Publication of CN1260953C publication Critical patent/CN1260953C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/73—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using interline transfer [IT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/155—Control of the image-sensor operation, e.g. image processing within the image-sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/21—Intermediate information storage
    • H04N2201/212—Selecting different recording or reproducing modes, e.g. high or low resolution, field or frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/325—Modified version of the image, e.g. part of the image, image reduced in size or resolution, thumbnail or screennail

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Television Signal Processing For Recording (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供既可进行sRGB等标准的图像输出，又可根据打印用途等，通过图像处理从更宽动态范围的图像信息制作最适合图像的图像处理装置、方法及程序。其中，使用了设有主感光像素和副感光像素的CCD，所述主感光像素动态范围具有相对狭窄的动态范围，所述副感光像素具有相对较宽阔的动态范围，经过一次曝光获得由主感光像素获得的第1图像信息以及从副感光像素获得的第2图像信息，并将它们作为文件名相关的二个文件保存。通过规定的用户界面可以选择是否保存第2图像信息以及选择第2图像信息的动态范围。将第2图像信息的动态范围信息保存在第1图像信息文件及/或第2图像信息文件的标题等中。

Description

图像处理装置，方法以及程序
技术领域
本发明涉及图像处理装置及方法，特别涉及数字输入装置中与图像的保存、再现相关的装置、方法以及实现该方法的电脑程序。
背景技术
日本专利特开平8-256303号公报(专利文献1)中所揭示的图像处理装置的特征在于：用以不同的曝光量对同一被拍摄体进行多次拍摄所获得的多个图像数据制作标准图像及非标准图像，从非标准图像辨别动态范围扩大所必需的区域，将该部分压缩保存。
在美国专利第6282311号(专利文献2)、美国专利第6282312号(专利文献2)、美国专利第6282313号(专利文献4)中，为了在色再现域比sRGB所表示的标准色空间更宽的色空间中实现图像的再现，提出了保存扩展色再现域的信息的方法。即，将具有色空间(其具有被限制的色域)的色值的限制色域数字图像数据与具备该限制色域外侧的色值的扩展色域数字图像之间的差值信息同限制色域数字图像数据形成对应关系并保存。
一般的静态数字照相机是以CCIR Rec709所定的光电变换特性为基础进行灰度等级设计的。因此，图像设计是以当在个人电脑(PC)用显示器的实际上的标准色空间sRGB色空间进行图像再现时，以可提供良好的图像为目标进行设计的。
另一方面，在实际场景中，例如晴天、阴天、夜晚等，辉度域有1∶100的，也有超过1∶10000的。以往使用的通常的CCD摄影元件从如此广的辉度范围不可能一次获得信息，因此，通过自动曝光(AE)控制，确定最合适辉度的切出范围，变换为与预定的光电变换特性相应的电信号，以便在如CRT这样的显示器中进行图像再现。或者如专利文献1所披露的那样，通过改变曝光量进行多次拍摄以确保较宽的辉度范围。但是，这种多次曝光技术只适用于静态物体的拍摄。
但是，在新娘礼服(白婚纱)的拍摄、汽车等具有金属光泽的被拍摄物体的拍摄、使用近距闪光灯拍摄以及逆光拍摄等特殊的被拍摄体或拍摄的情况下，难以使曝光量适当地配合主要被拍摄体，从而不能获得可覆盖宽辉度范围的优质图像。对这样的场景，通常要使用在后期(在打印工序)对拍摄的图像进行补正的系统，以更宽动态范围保存图像，并根据所述该信息在打印时制作出最合适的图像。
但是，仍存在这样的问题，即，既使这样，也无法从目前有限的动态范围的图像信息获得理想的图像。
发明内容
鉴于以上问题，本发明的目的在于提供在通常的PC输出等情况下以规定的动态范围的图像进行显示，对于桌面出版的打印用途等特殊用途，根据需要、由以更宽动态范围拍摄获得的信息通过图像处理制作最精美图像的图像处理装置、方法及程序。
为了实现上述目的，本发明所述的图像处理装置的特征在于：设有摄影装置，其能够根据规定的排列形式配置了多个动态范围相对狭窄的高感光度主感光像素和动态范围相对较宽的低感光度副感光像素，经过一次曝光从所述主感光像素及所述副感光像素获得图像信号；分别保存从所述主感光像素获得的第1图像信息及从所述副感光像素获得的第2图像信息的信息存储器；选择是否保存所述第2图像信息的选择装置；根据所述选择装置的选择对所述第1图像信息和所述第2图像信息的存储处理进行控制的存储控制器。
本发明中使用的摄影装置具有组合主感光像素与副感光像素而成的复合像素的结构。主感光像素与副感光像素能够获取光学上同相位的信息，通过一次拍摄可以获得动态范围不同的二个图像信息。用户判断具有宽动态范围的第2图像信息有无必要保存，通过规定的用户界面选择是否保存。例如，在用户选择不保存的情况下，形成仅保存第1图像信息的保存方式，不进行第2图像信息的保存处理。另一方面，在用户选择了保存第2图像信息的情况下，形成记录第1图像信息及第2图像信息的模式，并分别保存第1及第2图像信息。因此，能够根据拍摄场景或拍摄目的获得良好的图像。
本发明的一种实施方式的特征在于：将所述第1图像信息及第2图像信息作为相关的二个文件分别保存。
再现时，通过根据需要可利用相关文件的第2图像信息，可以通过扩展的再现域进行图像再现。
本发明另一种实施方式的特征在于：将所述第2图像信息与所述第1图像信息的差值数据保存在与所述第1图像信息文件不同的文件中。通过保存差值信息可以减小文件容量。
另外，也可以通过以与所述第1图像信息不同的压缩方式压缩所述第2图像信息，以此减小文件容量。
本发明的其它实施方式的特征在于：在上述构造的基础上，配备了D范围信息存储器，其用于同时保存所述第2图像信息的动态范围信息与所述第1图像信息及所述第2图像信息中的至少一个图像信息。
最好采用的实施方式为：在第1图像信息文件内或第2图像信息文件内或这二个文件内，将第2图像信息的动态范围信息(例如，所谓记录为第1图像信息动态范围几倍的动态范围的信息)作为附加信息保存。由此，能够顺利地减小图像再现时的信息合成。
此外，另一种实施方式的特征在于：在图像处理装置中，具有指定所述第2图像信息的动态范围的D范围设定操作器，根据所述D范围设定操作器的设定改变所述第2图像信息的再现域的D范围可变控制器。
较理想的实施方式为：采用用户自身根据拍摄场景或拍摄意图，决定保存时的动态范围的结构。
本发明的另一种实施方式的图像处理装置的特征在于：设有摄影装置，其能够根据规定的排列形式配置了多个动态范围相对狭窄的高感光度主感光像素和动态范围相对较宽的低感光度副感光像素，经过一次曝光从所述主感光像素及所述副感光像素获得图像信号；第1图像信号处理器，其用于根据从所述主感光像素获得的信号，以由第1输出装置产生的图像输出作为目标，生成第1图像信息；第2图像信号处理器，其用于根据从所述副感光像素获得的信号，以与所述第1输出装置不同的第2输出装置产生的图像输出为目标，生成第2图像信息。
例如，可采用这样的实施方式，即，以将所述第1图像信息输出到sRGB规格的显示器为目标，设定伽玛特性及编码特性，并设定伽玛特性及编码特性，以便使所述第2图像信息具有适于比sRGB更宽的再现域的打印输出的特性。
在保存以标准图像输出为目标的所述第1图像信息以及以被扩展的再现域的图像输出为目标的所述第2图像信息的情况下，为了使第2图像信息比第1图像信息在微妙上更丰富，最好以比第1图像信息更高的比特值保存第2图像信息。
本发明的另一种实施方式的特征在于，在上述结构的基础上，设有指定所述第2图像信息再现域的再现域设定操作器；根据所述再现域设定操作器的设定改变所述第2图像信息再现域的再现域可变控制器。由此，用户自身能够自由决定存储图像的再现域(辉度再现域或色再现域等)。
本发明中其它实施方式的图像处理装置的特征在于，设有摄影装置，其能够根据规定的排列形式配置了多个动态范围相对狭窄的高感光度主感光像素和动态范围相对较宽的低感光度副感光像素，经过一次曝光从所述主感光像素及所述副感光像素获得图像信号；保存控制器，其控制从所述主感光像素获得的第1图像信息和从所述副感光像素获得的第2图像信息的保存处理；指定所述第2图像信息的动态范围的D范围设定操作器；根据所述D范围设定操作器的设定改变所述第2图像信息的再现辉度域的D范围可变控制器。
此外，本发明所述的图像处理装置的特征在于，设有显示输出通过摄影装置获得的图像的图像显示装置，其中所述摄影装置的结构为能够根据规定的排列形式配置了多个动态范围相对狭窄的高感光度主感光像素和动态范围相对较宽的低感光度副感光像素，经过一次曝光从所述主感光像素及所述副感光像素获得图像信号；显示控制器，其用于转换并由所述图像显示器显示从所述主感光像素获得的第1图像信息和从所述副感光像素获得的第2图像信息。
通过根据需要转换由第1图像信息制作的第1图像(例如标准再现域图像)和利用第2图像信息制成的第2图像(例如扩展再现域图像)并将它们输出至显示器上，以此能够在显示画面上确认第1图像和第2图像的差异。
这时，最好以使主要被摄物的亮度基本相同的方式改变伽玛值来制作显示图像。
本发明另一实施方式的图像处理装置的特征在于：设有用于显示输出通过摄影装置获得的图像的图像显示装置，其中所述摄影装置的结构为能够根据规定的排列形式配置了多个动态范围相对狭窄的高感光度主感光像素和动态范围相对较宽的低感光度副感光像素，经过一次曝光从所述主感光像素及所述副感光像素获得图像信号；显示控制器，其用于在所述图像显示装置上显示由所述主感光像素获得的第1图像信息，同时，相对于所述第1图像信息，通过所述第2图像信息在该第1图像信息显示画面上强调显示使再现域扩展的图像部分。
在图像显示器上显示第1图像信息，判断第2图像信息与第1图像信息是否存在差值，在存在差异的情况下，则显示时，对于该部分，在进行由闪烁、框线包围的显示，以及亮度(浓淡)变化、色调变化等的强调显示。
最好，在本发明所述的图像处理装置中，所述摄影装置具有将各接收光元件分割为至少含有所述主感光像素及所述副感光像素的多个接收光区域的结构，在各接收光元件的上方，配备与同一接收光元件中的所述主感光像素及所述副感光像素颜色成分相同的滤色器，同时，每个接收光元件均分别设有一个显微镜头。
具有这种构造的摄影装置，可以将同一接收光元件(像素元件)内的主感光像素及副感光像素的像素位置当作基本相同的位置来处理。因此，通过一次拍摄就可获得在时间上是同相位、在空间上处于基本相同位置的两个图像信息。
本发明所述的图像处理装置，可以安装在数字相机或摄像机等电子摄影机上，也可以通过电脑来实现。将通过计算机实现构成上述图像处理装置的各种装置的程序存储在CD-ROM或磁盘等存储媒体中，该程序可以通过存储媒体提供给第三者，也可以通过互联网等通信线路提供该程序的下载服务。
采用以上技术方案的本发明，由于可以分别保存由具有相对狭小的动态范围的主感光像素获得的第1图像信息，由具有相对较宽的动态范围的副感光像素获得的第2图像信息，使用者自己能够选择是否记录第2图像信息，因此，对应于拍摄场景或拍摄目的，能够获得良好的图像。
另外，采用本发明，由于设有用于指定所述第2图像信息的动态范围的D范围设定操作装置，采用根据所述D范围设定操作装置的设定改变获得所述第2图像信息的再现域的结构，因此，对应于拍摄场景或拍摄目的，使用者自己能够确定保存时的动态范围。
另外，通过将第2图像信息的动态范围信息保存在第1图像信息的文件内和/或第2图像信息的文件内，由此能够顺利地进行图像再现时的信息合成。
附图说明
图1为平面图，其显示了在采用了本发明的电子照相机中使用的CCD摄影元件的受光面结构的例子；
图2为沿图1中2-2线所示的剖面图；
图3为沿图1中3-3线所示的剖面图；
图4为显示图1中所示的CCD整体结构的平面模式图；
图5为显示CCD其它结构例子的平面图；
图6为沿图5中6-6线的剖面图；
图7为显示CCD其它结构例子的平面图；
图8为显示主感光像素与副感光像素的光电变换特性的示意图；
图9是显示本发明实施例的电子照相机结构的框图；
图10为显示图9所示的信号处理部的详细结构的框图；
图11为显示以sRGB颜色空间为对象的光电转换特性的示意图；
图12为显示sRGB颜色空间与扩展色空间的例子的视图；
图13为显示关于sRGB颜色再现域的编码形式及关于扩展再现域的编码形式的图表；
图14为显示存储媒体的目录(文档)结构的一个例子的视图；
图15为流程图，其显示了将低感光度图像数据作为差值图像存储的实施例；
图16为显示再生系结构的流程图；
图17为示意图，其显示了合成高感光度图像数据与低感光度图像数据所获得的最终图像(合成图像数据)的水平与相对被拍摄体辉度之间的关系；
图18为显示动态范围选择操作时用户界面的例子的视图；
图19为显示动态范围选择操作时用户界面的例子的视图；
图20为显示本实施例的照相机的控制顺序的流程图；
图21为显示本实施例的照相机的控制顺序的流程图；
图22为显示本实施例的照相机的控制顺序的流程图；
图23为显示由宽动态范围拍摄获得的图像的显示例的视图。
具体实施方式
下面根据附图对本发明的最佳实施例进行详细说明。
[摄影元件的结构]
首先，对适用本发明的电子照相器材中使用的宽动态范围拍摄用的摄影元件的结构进行说明。图1为平面图，其显示了CCD20的接收光表面的结构例子。在图1中显然显示了2个接收光元件(像素PIX)横向排列的情况，但实际上，多个像素PIX在水平方向(行方向)及垂直方向(列方向)是按一定排列周期排列的。
各像素PIX含有感光度不同的2个光电二极管区域21、22。第1光电二极管区域21具有相对较宽的面积，并构成主要的感光部(下面称为主感光像素)，第2光电二极管区域22具有相对较狭小的面积，构成副感光部(下面称为副感光像素)。在像素PIX的右侧形成垂直输送路径(VCCD)23。
图1所示的结构是蜂窝结构的像素排列，在图示的2个像素PIX上侧及下侧，将图中未示出的像素沿横向设置在偏移半个节距的位置处。在图1所示的各像素PIX左侧所示的垂直输送路径23用于从配置于这些像素PIX上侧及下侧的未示出的像素读取并传输电荷。
如图1中虚线所示，将四相驱动(φ1，φ2，φ3，φ4)所必需的输送电极24、25、26、27(用EL概括表示)设置在垂直输送路径23的上方。例如，在以2层多晶硅形成输送电极的情况下，施加了φ1脉冲电压的第1输送电极24与施加了φ3脉冲电压的第3输送电极26形成于第1层多晶硅层，施加了φ2脉冲电压的第2输送电极25与施加了φ4脉冲电压的第4输送电极27形成于第2层多晶硅层。此外，输送电极24还控制从副感光像素22向垂直输送路径23的电荷读取，输送电极25还控制从主感光像素21向垂直输送路径23的电荷读取。
图2为沿图1中2-2线所示的剖面图，图3为沿图1中3-3线的剖面图。如图2所示，在n型半导体基板30的一个表面形成p型凹部31，在p型凹部31的表面区域形成2个n型区域33、34，构成光电二极管。由符号33所示的n型区域的光电二极管相当于主感光像素21，由符号34所示的n型区域的光电二极管相当于副感光像素22。P+型区域36是进行像素PIX、垂直输送路径23等电分离的信道中止区域。
如图3所示，在构成光电二极管的n型区域33附近，设有构成垂直输送路径23的n型区域37。n型区域33、37之间的p型凹部31构成了读取晶体管。
在半导体基板表面上形成氧化硅膜等绝缘层，在其上形成由多晶硅形成的输送电极EL。输送电极EL覆盖垂直输送路径23的上方。在输送电极EL上，还形成有氧化硅等绝缘层，其上通过钨形成遮光膜38，所述遮光膜覆盖了垂直输送路径23的组成元素且在光电二极管上方具有开孔。
形成由磷硅酸盐玻璃等形成的层间绝缘膜39以覆盖遮光膜38，其表面是平坦的。在层间绝缘膜39上形成滤色层(单片滤色层)40。滤色器层40包括例如红色区域、绿色区域及蓝色区域等3色以上的颜色区域，对于各像素PIX而言，分配有一种颜色的颜色区域。
在滤色器层40上通过抗腐蚀材料形成与各像素PIX对应的显微镜头(单片显微镜头)41。在每个像素PIX上形成1个显微镜头41，并具有使从上方射入的光集中在遮光膜38划定的孔内的作用。
通过显微镜头41入射的光由滤色器层40进行色分解，并分别入射至主感光像素21及副感光像素22的各个光电二极管区域。入射到各个光电二极管区域的光根据其光量变换为电荷信号，分别被读取至垂直输送路径23中。
这样，可以从1个像素PIX分别取出感光度不同的2种图像信号(高感光度图像信号与低感光度图像信号)，从而获得光学上同相位的图像信号。
图4显示了CCD20中接收光区域PS内的像素PIX以及垂直输送路径23的配置。像素PIX采用了蜂窝结构，该结构为使元件的几何形状中心点沿行方向及列方向每隔1个偏移像素节距的一半(1/2节距)排列。即，在相邻的像素PIX的各行(或各列)中采用的结构为：一行(或列)的元件排列相对于另一行(或列)的元件排列，仅相对偏离行方向(或列方向)的排列间隔的大约1/2。
在图4中，在排列有像素PIX的接收光区域PS的右侧，设有向输送电极EL施加脉冲电压的VCCD驱动电路44。各像素PIX如上所述，包括主感光像素21及副感光像素22。垂直输送路径23与各列邻接，且呈蛇形排列。
另外，在接收光区域PS的下侧(垂直输送路径23的下端侧)设有沿水平方向输送从垂直输送路径23传送的信号电荷的水平输送路径(HCCD)45。
水平输送路径45由2相驱动的输送CCD构成，水平输送路径45的最末段(图4上的最左段)与输出部46相连。输出部46包括输出放大器，对输入的信号电荷进行电荷检测，作为电压信号输出到输出端。这样，在各像素PIX进行了光电变换的信号作为点顺信号列输出。
图5显示了CCD20的另一种结构。图5为平面图，图6为沿图5中6-6的剖面图。在这些附图中，与图1及图2所示的例子相同或相似的部件使用了相同的符号，故省略了对它们的说明。
如图5及图6所示，在主感光像素21及副感光像素22之间形成p+型分离区域48。该分离区域48能够起到作为信道中止区域(信道中止器)的功能，进行光电二极管区域的电分离。此外，在分离区域48的上方，在与分离区域48对应的位置形成遮光膜49。
通过使用遮光膜49和分离区域48，可以有效地分离入射光，同时，可防止之后在主感光像素21及副感光像素22中存储的电荷混合。其它结构与图1及图2中所示的例子相同。
像素PIX的元件形状或开孔形状并不限于图1或图5所示的例子，可以采取多边形、圆形等多种形式。而且，各接收光元件的分离形状(分割形式)也不局限于图1或图5所示的形状。
图7显示了CCD20的其它结构。图7中与图1及图5所示的例子相同或相似的部件使用了相同的符号，故省略了对它们的说明。图7显示了使两个感光部(21、22)斜向分离的结构。
这样，可以将各个分割感光区域中存储的电荷分别读到垂直输送路径，并对分割形状或分割数量、面积的大小关系等进行适当设计。但是，副感光像素的面积值小于主感光像素的面积值。此外，最好能够抑制主感光部面积的减小，将感光度下降控制在最小限度。
图8为显示主感光像素21与副感光像素22的光电变换特性的示意图。横坐标为入射光量，纵坐标为A/D变换后的图像数据值(QL值)。在本例中，虽然显示了12比特(二进制数位数)的数据，但比特数不应局限于此。
如该图所示，主感光像素21与副感光像素22的感光度比为1∶1/a(但是，a＞1、本例中a＝16)。主感光像素2 1的输出与入射光量成比例顺序增加，当入射光量为「c」时，输出达到饱和值(QL值＝4095)。之后，入射光量既使再增加，主感光像素21的输出也保持一定。将所述「c」称为主感光像素21的饱和光量。
另一方面，副感光像素22的感光度为主感光像素21的感光度的1/a，当入射光量为α×c时，QL值＝4095/b达到饱和(但是，b＞1，α＝a/b，在本例中b＝4，α＝4)。将此时的「α×c」称为副感光像素22的饱和光量。
这样，通过组合具有不同感光度及饱和值的主感光像素21与副感光像素22，与仅有主感光像素的结构相比，能够使CCD20的动态范围扩大α倍。在本例中，感光度比为1/16，饱和比为1/4，动态范围扩大大约4倍。假设仅使用主感光像素时的最大动态范围为100％，那么在本例中，通过发挥副感光像素的作用，可以使动态范围最大扩大到400％。
如上所述，在CCD等摄影元件中，通过RGB或C(氰)、M(品红)、Y(黄)等滤色器将由光电二极管接收的光变换为上述信号。其中，能够将多少光的信息转变为信号，依赖于含有镜头的光学系统、CCD感光度及饱和值。感光度相对较高但存储电荷量较少的元件与感光度相对较低但积蓄电荷量较多的元件相比，后者既使在入射光的强度较强的情况下，也可提供适当的信号，因此动态范围更宽。
作为对光强弱不同设定如何应答的设定手段，有口调整射入光电二极管中的光量、口接收光改变变换为电压的信号源输出器的放大增益等形式。在口的情况下，可以通过在上层部的显微镜头的透光特性或相对位置关系对光电二极管进行调整。另一方面，作为可存储的电荷量由光电二极管的大小等决定。如图1至图7所说明的那样，通过并联大小不同的二根光电二极管(21、22)，能够获得可对不同光的对比度进行应答的信号，再通过调整这二根光电二极管(21、22)的感光度，最终能够实现具有宽动态范围的摄影装置(CCD20)。
[宽动态范围拍摄可能的照相机的例子]
下面，对带有上述宽动态范围拍摄用的CCD的电子照相机进行说明。
图9是显示本发明实施例的电子照相机结构的框图。该照相机50是将通过CCD20拍摄的被拍摄体的光学图像变换为数字图像数据并保存在存储媒体52中的数字照相机。照相机50设有显示部54，并能够在显示部54上显示拍摄中的影像或存储的图像数据的再现图像。
照相机50整体的动作由照相机内置的中央处理装置(CPU)56进行统一控制。CPU56具有起到作为根据规定程序控制本拍摄系统的控制器的功能，同时具有作为实施自动曝光量(AE)计算、自动焦距调节(AF)计算及自动白平衡(AWB)控制等各种计算的计算装置的功能。
通过未图示的总线，使CPU56与ROM60及存储器(RAM)62相连。ROM60中存储了CPU56执行的程序及进行控制所必需的各种数据等。在将存储器62用作程序的展开区域及CPU56的计算操作用区域的同时，可用作图像数据的暂存区域。
作为图像数据的暂存区域，存储器62设有主要保存从主感光像素21获得的图像数据的第1区域(以下，称为第1图像存储器)62A和主要保存从副感光像素22获得的图像数据的第2区域(以下，称为第2图像存储器)62B。
此外，CPU56中还连接有EEPROM64。EEPROM64为用于存储CCD20的缺陷像素信息，AE、AF及AWB等控制时所必需的数据或用户设定的用户信息等的非易失性存储器，且可根据需要进行数据的重写，同时即使在电源关闭时也能保存信息内容。CPU56可根据需要参照EEPROM64的数据进行计算等。
在照相机50中设有用户用来输入各种指令的操作部66。操作部66包括快门按钮、变焦开关、模式转换开关等各种操作部件。快门按钮是输入摄影开始指示的操作器，其由具有半按压时打开的S1开关和全按压时打开的S2开关的二段行程式开关构成。通过S1打开，进行AE及AF处理；通过S2打开，进行用于存储的曝光。变焦开关为用于改变摄影倍率或再现倍率的操作器。模式转换开关为用于转换摄影模式与再现模式的操作装置。
另外，在操作部66中，除上述装置以外，还具有：根据摄影目的设定最适宜操作模式(连拍模式、自动摄影模式、手动摄影模式、人物模式、风景模式、夜景模式等)的摄影方式设定器；在显示器54上显示菜单画面的菜单按钮；由菜单画面选择所需项目的十字按钮(光标移动操作装置)；用于指示选择项目的确定或处理的执行的OK按钮；用于输入选择项目等所希望对象的消除或指示内容的取消或返回上一操作状态的指令的清除按钮；用于进行显示部54的ON/OFF或显示方法的转换或屏幕显示(OSD)的显示/不显示转换等的显示按钮；选择是否实施动态范围扩大处理(图像合成)的D范围扩大模式开关等操作装置。
此外，在操作部66中，不应局限于按压式开关部件、旋钮部件、杠杆开关等结构，还包括由从用户画面选择所需项目的用户界面实现的结构。
将操作部66的信号输入CPU56。CPU56根据操作部66的输入信号控制照相机50的各个电路，例如，进行镜头驱动控制、摄影操作控制、由CCD20的电荷读取控制、图像处理控制、图像数据的保存/再现控制、存储媒体52中的文件管理、显示部54的显示控制等。
显示部54例如可以使用彩色液晶显示器。代替液晶显示器，也可以使用有机EL等其它形式的显示装置(显示手段)。显示部54在摄影时可以用作用于取景角确定的电子取景器，同时也可以用作再现显示已存储的图像的装置。此外，显示部54也可以用作用于用户界面的显示画面，也可根据需要显示用户信息或选择项目、设定内容等信息。
下面对照相机50的摄影功能进行说明。
照相机50设有光学系统单元68和CCD20。代替CCD20，也可以使用MOS型固体摄影元件等其它形式的摄影元件。光学系统单元68具有未示出的摄影镜头、兼作光圈的机械快门装置。摄影镜头由电动式变焦镜头构成，虽然详细的光学结构未在图中示出，但是主要包含起倍率改变(可变焦距)作用的变倍镜头组以及补偿镜头组，和有利于聚焦调整的聚焦镜头。
若通过拍摄者操纵操作部66的变焦开关，则根据所述开关操作，由CPU56向马达驱动电路70输出光学系统控制信号。马达驱动电路70根据由CPU56发出的控制信号生成镜头驱动信号，提供给镜头马达(未示出)。这样，通过由马达驱动电路70输出的马达驱动电压使变焦马达工作，摄影镜头中的变倍镜头组及补偿镜头组沿光轴前后移动，以此改变摄影镜头的焦距(光学镜头倍率)。
通过光学系统单元68的光入射至CCD20的接收光面。在CCD20的接收光面上以平面状排列了多个光传感器(接收光元件)，对应各个光传感器，以规定的排列结构设置红(R)、绿(G)、蓝(B)的原色滤色镜。另外，代替RGB滤色镜，也可以使用CMY等滤色镜。
通过各个光传感器，将在CCD20的接收光面上成像的被拍摄体图像变换为量值对应入射光量的电荷信号。CCD20具有通过快门选通脉冲的计时控制各个光传感器的电荷积蓄时间(快门速度)的电子快门功能。
在CCD20的各个光传感器中存储的信号电荷，根据来自CCD驱动器72的脉冲(水平驱动脉冲φh，垂直驱动脉冲φV，溢出消耗脉冲)作为与信号电荷对应的电压信号(图像信号)被顺次读出。从CCD20输出的图像信号输送至模拟处理部74。模拟处理部74为包括CDS(相关二重取样)电路及GCA(增益控制放大器)电路的处理部，在该模拟处理部74中，进行取样处理以及分为R、G、B各种颜色信号的色分离处理，并进行各种颜色信号的信号能级的调整。
从模拟处理部74输出的图像信号通过A/D变换器76转变为数字信号后，通过处理部80保存到存储器62中。计时器(TG)82根据CPU56的指令向CCD驱动器72、模拟处理部74及A/D变换器76发送计时信号，通过该计时信号可实现各电路的同步工作。
信号处理部80是兼作控制存储器62读写的存储控制器的数字信号处理部件。信号处理部80为图像处理器，其包括进行AE/AF/AWB处理的自动计算部、白平衡电路、伽玛变换电路、同时化电路(对伴随单板CCD滤色镜排列的色信号的空间偏移进行补插以对各点的颜色进行计算的处理电路)、辉度·色差信号辉度·色差信号生成电路、轮廓补正电路、对比度补正电路、压缩解压缩电路、显示用信号生成电路等，并且根据CPU56的指令一边利用存储器62一边进行图像信号处理。
存储在存储器60中的数据(CCDRAW数据)通过总线输送到信号处理部80。后面将对信号处理部80作详细说明，对送入信号处理部80的图像数据实施白平衡调整处理、伽玛变换处理、变为辉度信号(Y信号)及色差信号(Cr.Cb信号)的变换处理(YC处理)等规定信号处理后，将其保存在存储器62中。
在将摄影图像监控输出至显示部54时，由存储器62读出图像数据，并传送到信号处理部80的显示变换电路。在将传送到显示变换电路的图像数据变换为用于显示的规定方式的信号(例如，NTSC方式的彩色复合影像信号)之后，输出至显示部54。通过从CCD20输出的图像信号，定期更新存储器62内的图像数据，通过将所述图像数据生成的影像信号提供给显示部54，从而在显示部54实时显示拍摄中的影像(过程画面)。拍摄者可通过由显示部54映出的过程画面的影像确认视场角(构图)。
若拍摄者确定了视场角并按下快门按钮，则CPU56对其进行检测，响应快门按钮的半按下(S1＝ON)进行AE处理及AF处理等拍摄准备工作，响应快门按钮的全按下(S2＝ON)开始进行用于获取记录用的图像的CCD曝光及读取控制。
即，CPU56根据响应S1＝ON获取的图像数据进行焦点评定计算或AE计算等各种计算，根据其计算结果将控制信号发送至马达驱动电路70控制未示出的AF马达，使光学系统单元68中的聚焦镜头移动到聚焦位置。
此外，自动计算部的AE计算部将摄影图像的1个画面分割成多个区域(例如8×8)，每个分割区域都包含累计RGB信号的电路，并将所述累计值提供给CPU56。可以求出RGB的各种颜色信号的累计值，也可以仅求出其中一种颜色(例如G信号)的累计值。
CPU56根据由AE计算部获得的累计值进行重复相加，检测被拍摄体的亮度(被拍摄体辉度)，算出合适拍摄的曝光值(摄影EV值)。
为了以良好的精度对宽辉度范围进行测光，照相机50的AE进行多次测光，以便正确测定被拍摄体的辉度。例如，为了对5～17EV的范围进行测光，若以1次测光可测定3EV的范围，则可以通过一边改变曝光条件一边进行最多4次测光。
以某一曝光条件进行测光，对各分割区域的累计值进行监视。如果图像中存在饱和的区域，则改变曝光条件进行测光。另一方面，如果图像中不存在饱和的区域，则可以通过所述曝光条件进行正确测光，不必再改变曝光条件。
这样，通过多次分割实施测光来对宽辉度范围(5～17EV)进行测光，从而确定最合适的曝光条件。此外，对于以1次测光可测定的范围或必须进行测光的范围，每种照相机都可进行适当设计。
CPU56根据上述AE计算结果控制光圈和快门速度，并响应S2＝ON获取记录用的图像。在本例中的照相机50中，过程画面仅从主感光像素21读取数据，由主感光像素21的图像信号制作过程画面的图像。此外，伴随快门按钮的S1＝ON的AE处理及AF处理根据从主感光像素21获得的图像信号进行。因此，在选择进行宽动态范围拍摄的摄影模式的情况下，或者在根据AE结果(ISO感光度或测光值)或白平衡值等自动选择了宽动态范围摄影模式的情况下，响应快门按钮的S2＝ON进行CCD20曝光，在曝光后关闭机械快门以遮断光线进入的状态下，与垂直驱动信号(VD)同步，首先读取主感光像素21的电荷，之后读取副感光像素22的电荷。
此外，该照相机50带有闪光装置84。闪光装置84为包括作为发光部的放电管(例如氙管)、触发电路、存储放电用能量的主电容器及充电电路等的部件。CPU56根据需要向闪光装置84发送指令，并控制闪光装置84的发光。
这样，响应快门按钮的全按(S2＝ON)获得的图像数据，在信号处理部80中经过YC处理等其它规定的信号处理之后，按规定的压缩格式(例如JPEG方式)被压缩，通过媒体接口部(图9中未示出)保存到存储媒体52中。压缩形式不限于JPEG，也可采用MPEG等其它方式。
保存图像数据的手段可以使用以SmartMedia(商标名)、CompactFlash(商标名)等为代表的半导体存储卡、磁盘、光盘、光磁盘等各种媒体。此外，不应局限于可移动媒体，也可以采用内置于照相机50的存储媒体(内部存储器)。
若通过操作部66的模式选择开关选择了再现模式，则读出存储在存储媒体52中的最终的图像文件(最后存储的文件)。通过信号处理部80的压缩解压缩电路对由存储媒体52读出的图像文件的数据进行解压缩处理后，变换为显示用的信号并输出到显示部54。
在再现模式的画面再现时，可以通过操作十字按钮正向或逆向输送画面，从存储媒体52读出被输送的下一文件，从而更新显示图像。
图10为显示图9所示的信号处理部80中信号处理流程的框图。
如图10所示，在补偿电路91中对通过A/D变换器76变换为数字信号的主感光像素数据(称为高感光度图像数据)进行补偿处理。补偿处理电路91是对CCD输出的暗电流成分进行补正的处理部，由像素值减去从CCD20上的遮光像素获得的光黑(OB)信号的值。由补偿处理电路91输出的数据(高感光度RAW数据)传送到线性矩阵变换电路92。
线性矩阵变换电路92是对CCD20的分光特性进行补正的色调补正处理部。将在线性矩阵变换电路92中补正的数据传送到白平衡(WB)增益调整电路93。WB增益调整电路93具有用于增减R、G、B色信号能级的可变增益放大器，根据CPU56的指令进行各色信号的增益调整。将在WB增益调整电路93中经过白平衡调整处理的信号发送到伽玛补偿电路94。
伽玛补偿电路94根据CPU56的指令改变输入输出特性以便形成所需的伽玛特性。将在伽玛补偿电路94中被补正的伽玛补偿的图像数据发送到同时化处理电路95。
同时化处理电路95包括：处理部，其用于对伴随单板CCD20的滤色镜排列结构的色信号的空间偏移进行补插以计算各点的颜色(RGB)；由RGB信号生成辉度(Y)信号及色差信号(Cr.Cb信号)的YC变换处理部。将由同时化处理电路95生成的辉度·色差信号(Y Cr.Cb信号)传送到各种补偿电路96。
在各种补偿电路96中，具有例如，轮廓强调(光圈补正)电路或由色差矩阵形成的颜色补正电路等。将在各种补偿电路96中被实施所需补正处理的图像数据发送至JPEG压缩电路97。在JPEG压缩电路97中被压缩的图像数据作为图像文件被保存至存储媒体52。
同样，在补偿处理电路101中对通过A/D变换器76转变为数字信号的副感光像素数据(称为低感光度图像数据)进行补正处理。将从补偿处理电路101输出的数据(低感光度RAW数据)传送到线性矩阵变换电路102。
将从线性矩阵变换电路102输出的数据传送到白平衡(WB)增益调整电路103，进行白平衡调整。将经过白平衡调整处理的信号发送到伽玛补偿电路104。
此外，还将从低感光度图像数据用的线性矩阵变换电路102输出的低感光度图像数据提供给累计电路105。累计电路105将摄影画面分割成多个区域(例如16×16)，按颜色分别对每个区域的R、G、B像素值进行累计处理，并计算出颜色差别的平均值。
在累计电路105算出的平均值中，检测出G成分的最大值(Gmax)，将表示所检测出的Gmax的数据传送至D范围计算电路106。D范围计算电路106根据图中说明的副感光像素的光电变换特性，从最大值Gmax的信息计算出被拍摄体的最大辉度水平，并计算出该被拍摄体存储所必需的最大动态范围。
此外，在本例中，可以通过规定的用户界面(后面所述)输入设定再现动态范围达到百分之几的设定信息。用户指定的D范围选择信息107从CPU56送到D范围计算电路106。D范围计算电路106根据分析摄影数据求出的动态范围和用户指定的D范围选择信息，确定存储时的动态范围。
在从摄影数据求得的最大动态范围在D范围选择信息107的D范围以下的情况下，采用从摄影数据得出的动态范围。在从摄影数据求得的最大动态范围超过D范围选择信息的D范围的情况下，采用D范围选择信息所示的D范围。
根据由D范围计算电路106确定的D范围，控制低感光度图像数据用的伽玛补偿电路104的伽玛补偿系数。
从伽玛补偿电路104输出的图像数据在同时化处理电路108中进行同时化处理及YC变换处理。由同时化处理电路108生成的辉度·色差信号(YCr.Cb)传送到各种补偿电路109，进行轮廓强调、色差矩阵变换处理等补正处理。在各种补偿电路109中实施了所需的补正处理的低感光度图像数据在JPEG压缩电路110中被压缩处理，作为与高感光度图像数据不同的图像文件保存到存储媒体52中。
对于高感光度图像数据是针对作为民用显示器的代表特性的sRGB颜色规格进行图像设计的。以该sRGB颜色空间为对象的光电变换特性如图11所示。由于摄影系统具有图11所示的变换特性，因此在使用通常的显示器进行图像再现时，可以再现出辉度理想的图像。
另一方面，最近，在印刷等用途中，进行了以具有比sRGB宽的颜色空间的扩展颜色空间为对象的颜色再现设计。
在图12中显示了sRGB颜色空间与扩展色空间的例子。在该图中，符号120所示的马蹄形的内侧表示人能够察觉的颜色区域。符号121所示的三角形的内侧表示能够在sRGB颜色空间再现的颜色再现域，符号122所示的三角形的内侧表示能够在扩展色空间再现的颜色再现域。通过改变线性矩阵变换的值(图10中说明的线性矩阵变换电路92、102中的矩阵变换的值)可以改变能够再现的颜色的区域。
在本实施例中，在以sRGB以外的色空间为对象的用途，例如打印用途中，不仅可以通过图像加工利用高感光度图像数据，而且还可以通过图像加工利用同时曝光所获得的低感光度图像数据，以此扩展色再现域或辉度再现域，制作更精美的图像。通过具有与再现域相应的不同的伽玛，可以制作与不同动态范围对应的各种图像。
图13显示了关于sRGB颜色再现域的编码形式及关于扩展再现域的编码形式。例如，如该图的下段(Case2)所示，通过使编码条件对应于负值或1以上的值，可以制作对应于能再现的辉度域的文件。对于低感光度图像数据，根据与扩展的再现域对应的编码条件进行信号处理，生成文件。
此外，由于高光信息带有更微妙的信息，以此，所用的比特深度较为重要。因此，对应于sRGB的数据例如以8比特存储，与扩展的再现域对应的数据最好用比其大的比特数(例如16比特)来存储。
图14为显示存储媒体52的目录(文档)结构的一个例子的视图。照相机50具有按照DCF(Design rule for Camera File system：社团法人日本电子工业振兴协会[JEIDA]规定的数字相机统一存储格式)规格存储图像文件的功能。
如图14所示，在根目录之下形成具有目录名[DCIM]的DCF图像根目录，在DCF图像根目录之下至少存在1个DCF目录。DCF目录是用于存储作为DCF目标的图像文件的目录。根据DCF规格、通过3个字符的目录编号与其后续的5个字符的自由文字(合计8个字符)定义DCF目录名。DCF目录名可以由照相机50自动生成，也可以采用用户能指定或改变的结构。
由照相机50生成的图像文件被赋与根据DCF命名规则等自动生成的文件名，存入指定的或自动选择的DCF目录中。通过4个字符的自由文字及其后续的4个字符的文件编号对取决于DCF命名规则的DCF文件名进行定义。
使由通过宽动态范围存储模式获得的高感光度图像数据与低感光度图像数据分别制成的二个图像文件相互之间关联并对它们进行存储。例如，根据DCF命名规则，将由高感光度图像数据制成的一个文件(与通常标准的再现域对应的文件，以下称为标准图像文件)命名为[ABCD****.JPG]([****]为文件编号)，对由与其同时拍摄获得的低感光度图像数据制成的另一个文件(与扩展再现域对应的文件，以下称为扩展图像文件)，在标准图像文件文件名(除去[.JPG]的8个字符串)的末尾附加上[b]以命名为[ABCD****b.JPG]。这样，通过使其名字联系起来保存，就可以选择适合输出时特性的文件来使用。
此外，作为与文件名相关的另一个例子，也可以在标准图像文件文件名的末尾附加上[a]等字符。通过改变文件编号之后附加的字符串可以区分标准图像文件与扩展图像文件。此外，还存在改变文件编号之前的自由文字部分的形式。其它，还有通过标准图像文件与扩展图像文件改变扩展符的形式。至少要保持部分文件编号一致，以确保二个文件的关联性。
扩展图像文件的存储形式不应局限于JPEG形式。如图12所示，在sRGB颜色空间与扩展色空间中大部分的颜色是相同的。因此，对拍摄的图像分别以sRGB颜色空间用与扩展色空间用进行编码，如果取其差，则图像的大部分像素均为0值。因此，对该差值进行例如霍夫曼(ハフマン，Huffman)压缩，一方为标准装置的sRGB图像文件，另一方的文件作为差值图像，以此即能够对应扩展色空间，同时又可节省存储空间。
图15为显示如上所述、将低感光度图像数据作为差值图像存储的流程图。图15中与图10相同或类似的结构使用了相同的符号，故省略了对它们的说明。
将由高感光度图像数据生成的图像和由低感光度图像数据生成的图像发送到差值处理电路132，生成它们的差值图像。将由差值处理电路132生成的差值图像发送到压缩电路133，此处，通过与JPEG不同的压缩方法进行压缩处理。将由压缩电路133生成的压缩图像数据的文件保存到存储媒体52中。
图6是显示再现系统的结构的流程图。通过媒体接口部140读取存储在存储媒体52中的信息。媒体接口部140通过总线与CPU56相连，并进行所需的信号变换以便进行根据CPU的指令进行存储媒体52读写时必要的信号交换。
从存储媒体52读出的标准图像文件的压缩数据在解压缩处理部142中进行解压缩处理，在存储器62上的高感光度图像数据恢复区域62C中被展开。将解压缩后的高感光度图像数据发送到显示变换电路146。显示变换电路146包括配合显示部54的解像度变换图像大小的缩小处理部，和将由缩小处理部生成的显示图像变换为显示用的规定信号形式的显示信号生成部。
将在显示变换电路146中变换为显示用规定信号形式的信号输出到显示部54中。这样，在显示部中显示再现图像。通常，仅再现标准图像文件并使其显示在显示部。
在使用与标准图像文件相关的扩展图像文件制作再现域较宽的图像时，从对标准图像文件解压缩所获得的数据恢复RGBG高感光度图像数据，并将其存储到存储器62上的高感光度图像数据恢复区域62D中。
此外，从存储媒体52中读出扩展图像文件，在解压缩处理部148中进行解压缩处理后，复原为RGB的低感光度图像数据，保存在存储器62上的低感光度图像数据恢复区域62E中。这样，由存储器62保存的高感光度图像数据与低感光度图像数据被读出，并发送到合成处理部(图像相加部)150。
合成处理部150为这样的处理部，其含有将高感光度图像数据与系数相乘的相乘部，将低感光度图像数据与系数相乘的相乘部以及将乘以系数后的高感光度图像数据与低感光度图像数据相加(合成)的相加部。通过CPU56可变化地设定高感光度图像数据与低感光度图像数据相乘的各系数(表示相加比率的系数)。
将由合成处理部150生成的信号发送到伽玛变换部152。伽玛变换部152根据CPU56的控制参照ROM60中的数据变换输入输出特性以产生所希望的伽玛特性。CPU60根据图像输出时的再现域进行转换伽玛特性的控制。将伽玛补正处理后的图像信号发送到YC变换部153，由RGB信号变换为辉度(Y)信号及色差信号(Cr，Cb)。
将由YC变换部153生成的辉度·色差信号(Y Cr.Cb)传送到各种补正电路154。在各种补正电路154中，进行轮廓强化(光圈补正)、通过色差矩阵变换进行的颜色补正等所需的补正处理，并生成最终图像。这样，将所生成的最终图像数据传送到显示变换电路146，变换为显示用的信号后，输出到显示部54中。
虽然图16中举出了在装配在照相机50中的显示部54再现显示图像的例子，但是可以在外部的图像显示设备中再现显示图像。此外，还可以使用装载了图像浏览应用程序的个人电脑或专用的图像再现装置或者打印机等，实现与图16同样的处理流程，以此可以实现标准图像的再现及对应于被扩展的再现域的图像的再现。
图17为示意图，其显示了合成高感光度图像数据与低感光度图像数据所获得的最终图像(合成图像数据)的水平与相对被拍摄体辉度之间的关系。
相对的被拍摄体辉度是将赋予高感光度图像数据饱和时的水平的被拍摄体辉度作为100％，以此为基准表示被拍摄体辉度。在图17中，虽然以8比特(0～225)表现图像数据，但比特数不限于此。
合成图像的动态范围通过用户界面设定。在本例中，动态范围可以设定为从D0至D5的6个阶段。由于人的感觉大体在log等级是有效的，因此，将再现动态范围设计成例如相对被拍摄体辉度可以在100％-130％-170％-220％-300％-400％的状况下进行阶段转换，以便在形成log(对数)关系时大约呈线性关系。
当然，动态范围的设定段数不应局限于本例中，可以以任意的阶段数量来设定，也可以设定为连续的(无中间阶段)。
对应于动态范围的设定，应控制伽玛电路的伽玛系数或相加时的合成参数、色差信号矩阵变换电路的增益系数等。在照相机50中的非易失性存储器(ROM60或EEPROM64)中，保存有确定与设定的动态范围对应的各种参数、系数等的数据表。
在图18及图19中，显示了动态范围选择操作时用户界面的例子。在图18的例子中，在从菜单画面进入的动态范围设定画面中显示了指定动态范围的输入框160。若通过使用十字按钮等规定的操作手段选择输入框160旁边的下拉菜单按钮162，将显示出如图所示的可选择的动态范围值(相对被拍摄体辉度)的下拉菜单164。
通过十字按钮从该下拉菜单164中选择所希望的动态范围，按下OK按钮以设定动态范围。
在图19所示的例子中，动态范围设定画面上显示了输入框170和D范围参数轴172。通过使用十字按钮等操作设定，沿D范围参数轴172移动游标174，可以在从100％到最大400％范围内任意指定动态范围。对应于游标174位置，改变在输入框170中显示的动态范围的设定值。当得到所希望的设定值时，根据照画面下部的操作导引按下OK按钮，确定设定处理。此外，如果按下清除按钮，则取消设定处理，返回到原来的设定状态。
虽然在图18及图19中描述了在显示部54画面上进行动态范围选择操作的例子，但是也可以采用通过旋钮式开关、滑动式开关或者按压式开关等操作部件来选择动态范围的形式。
此外，由于拍摄场景所需的动态范围不同，因此也可以采用通过对拍摄的图像进行分析以自动设定动态范围的形式。而且，也可以采用根据肖像模式、夜景模式等摄影模式自动转换动态范围的设定的形式。
将存储了达到几％的信息的动态范围信息与图像数据一起保存在文件的头文件中。动态范围信息可以保存在标准图像文件及扩展图像文件两者之中，也可以只保存在任一文件中。
通过在图像文件内附加动态范围信息，可以将该信息读入打印机等图像输出设备中，并可以改变合成处理、伽玛变换、色补正等处理内容来制作最适宜的图像。
即使在打印用途中，由于用于肖像时再现色调柔和，理想肤色的画像是理想的，因此应根据照片的用途，例如，商业广告用的照片与人物肖像或室内摄影用与室外摄影用来制作扩展图像是有用的。为了实现这一点，正如图18及图19中的说明，在照相机50中设置可指定获得扩展图像的辉度再现域的用户界面，根据使用用途或拍摄状况让用户进行选择。
下面，对具有上述结构的照相机50的操作进行说明。
图20至图22为显示照相机50控制顺序的流程图。在选择了摄影模式的状态下使照相机电源0N时，或者从再现方式转换至摄影模式时，开始图20的控制流程。
若开始摄影模式的处理(步骤S200)，则CPU56首先判断是否选择了在显示部54显示过程画面的模式(步骤S202)。如果在建立画面等中选择了摄影模式启动时显示部54为ON的模式(过程画面ON模式)，则进入步骤S204，向具有CCD20的摄影系统提供电源，形成可拍摄的状态。这时，为了进行用于过程画面显示的连续拍摄，按一定的拍摄周期驱动CCD20。
在本例的照相机50显示部54中使用了NTSC方式的视频信号，以30帧/秒设定帧频(因为以2个半帧构成一帧，1个半帧＝1/60秒)。由于该照相机50采用了同样的图像通过2个半帧显示的方式，因此，每1/30秒进行图像内容的更新。为了在该周期更新一个画面的图像数据，因此，将过程画面中CCD20的垂直驱动(VD)脉冲的周期设定为1/30秒。CPU56向计时器82发出CCD驱动模式的控制信号，通过计时器82生成CCD驱动用的信号。这样，开始由CCD20进行进行的连续摄影，在显示部54中显示出过程画面(步骤S206)。
在过程画面的显示中，CPU56监视来自快门按钮的信号输入，判断S1开关是否为ON(步骤S208)。如果S1的开关为OFF的状态，则循环进行步骤S208的处理，并维持过程画面显示状态。
在步骤S202中将过程画面设定为OFF(不显示)的情况下，省略步骤S204～步骤S206以进入步骤S208。
之后，若拍摄者按下快门按钮，输入摄影准备指示(若CPU56检测出S1＝ON)，则进入步骤S201，进行AE及AF处理。这时，CPU56每1/60秒变化CCD驱动模式。从CCD20的图像获取的周期变短，从而能高速进行AE·AF处理。此处设定的CCD驱动周期不限于1/60，也可以设定为1/120秒等适当值。通过AE处理决定拍摄条件，通过AF处理进行调焦。
之后，CPU56判断来自快门按钮的S2开关的信号输入(步骤S212)。在步骤S212中，在S2开关不为ON的情况下，判断S1是否解除(步骤S214)。在步骤S214中如果S1解除，则返回步骤S208，形成摄影指示的输入等待状态。
另一方面，如果在步骤S214中未解除S1，则返回步骤S212，等待S2＝ON输入。如果在步骤S212中检测出S2＝ON的输入，则进入到图21所示的步骤S216，进行获取存储用图像的拍摄操作(CCD曝光)。
接下来，判断是不是进行宽动态范围存储的模式，根据设定模式进行控制处理。在通过D范围扩大模式开关等规定操作手段选择了宽动态范围存储模式的情况下，首先从主感光像素21进行信号读出(步骤S220)，将该图像数据(主感光部数据)写入第1图像存储器62A中(步骤S222)。
然后，从副感光像素22进行信号读出(步骤S224)，将该图像数据(副感光部数据)写入第2图像存储器62B(步骤S226)。
之后，正如在图10、图15中分别对主感光部数据与副感光部数据所作的说明那样，实施所需的信号处理(步骤S228、S230)。从主感光部数据生成的标准再现用的图像文件与从副感光部数据生成的扩展再现用的图像文件互相关联并保存到存储媒体52中(步骤S232、S234)。
另一方面，在步骤S218中，在不进行宽动态范围存储的通常存储模式的情况下，仅从主感光像素21读取信号(步骤S240)。将主感光部数据写入第1图像存储器62A(步骤S242)，之后，进行主感光部数据的处理(步骤S248)。此处，经过图10中所说明的所需信号处理，进行仅从主感光部数据制作图像的通常处理。根据规定的文件格式将在步骤S248生成的图像数据保存至存储媒体52中(步骤S252)。
在步骤S234或步骤S252中结束图像的存储处理之后，进入步骤S256，判断是否进行摄影模式的解除操作。在进行了摄影模式的解除操作的情况下，结束摄影模式(步骤S260)。另外，如果未进行摄影模式的解除操作，则维持摄影模式的状态，返回图20的步骤S202。
图22是图21中步骤S230所示的副感光像素数据处理顺序的相关子程序的流程图。如图22所示，若开始副感光像素数据的处理(步骤S300)，则首先，进行将画面分割成多个累计区域的设定处理(步骤S302)，对各区域计算出G(绿)成分的平均值，求出G成分的最大值(Gmax)(步骤S304)。
从获得的区域累加信息检测出被拍摄体的辉度范围(步骤S306)。另一方面，读取由规定的用户界面设定的动态范围设定信息(动态范围扩展到几％的设定信息)(步骤S308)。根据步骤S306中检测出的被拍摄体的辉度范围和在步骤S308中读取的动态范围设定信息，确定最终的动态范围(步骤S310)。例如，将表示动态范围设定信息的D范围作为上限，根据被拍摄体的辉度范围自动确定动态范围。
之后，通过白平衡处理对各个色道的信号水平进行调整(步骤S312)。此外，与确定了的动态范围相对应，根据表数据确定伽玛补偿系数、色补偿系数等各种参数(步骤S314)。
根据被确定的参数进行伽玛变换及其它处理(步骤S316)，生成扩展再现用的图像数据(步骤S318)。步骤S318之后返回图21的流程图。
这样，当再现保存在存储媒体52中的图像时，可以转换再现范围，根据需要交替输出标准再现用图像与扩展图像。这时，在扩展图像的再现时，调整伽玛以使主要被拍摄体的亮度与标准再现用的图像的亮度大体相同，从而使高辉度部具有层次。这样，不必改变主要被拍摄体部分的影像，就可对高辉度部分确认标准再现用图像与扩展图像之间的差异。
此外，在显示部54显示标准再现用图像时，判断是否存储了扩展再现用的信息。在存储了扩展信息(存在关联的文件)的情况下，如图23所示，对与两者差值相当的部分进行强调显示180。
例如，取高感光度图像数据与低感光度图像数据之间的差值，对差值的正值部分(包括扩展再现域的扩展信息的部分)而言，仅对这部分进行特殊显示(强调显示)。强调显示的形式可以是将该部分的闪烁、包围显示，亮度改变、色调改变或它们的组合等对象区域与其它区域区分开来，具体的显示形式不受限制。
这样，通过使用相关的扩展信息，使可以看到实现更详细再现的区域部分，从而使用户能够掌握图像再现的扩展性。
在上述实施例中，虽然以数字照相机为例进行了说明，但是本发明的适用范围不限于此，在摄像机、DVD摄像机、带照相机的手机、带照相机的PDA、带照相机的电脑等设有电子摄影功能的其它摄影装置中也可以使用本发明。
此外，图16中说明的图像再现的方法，可以应用于打印机或图像浏览装置等输出装置。即，代替图16中的显示变换电路146及显示部54，可以通设置打印用图像生成部及打印部等生成输出用图像的图像生成部及将由此生成的图像最终输出的输出部，与此能够获得充分利用了扩展信息的优质图像。

Claims (25)

1.一种图像处理装置，其特征在于，该装置设有：
摄影装置，其能够根据规定的排列形式配置了多个动态范围相对狭窄的高感光度主感光像素和动态范围相对较宽的低感光度副感光像素，经过一次曝光从所述主感光像素及所述副感光像素获得图像信号；
分别存储从所述主感光像素获得的第1图像信息及从所述副感光像素获得的第2图像信息的信息存储器；
选择是否保存所述第2图像信息的选择装置；
根据所述选择装置的选择对所述第1图像信息和所述第2图像信息的存储处理进行控制的存储控制器。
2.如权利要求1所述的图像处理装置，其特征在于：将所述第1图像信息以及第2图像信息作为相互关联的两个文件分别存储。
3.如权利要求1或2所述的图像处理装置，其特征在于：将所述第2图像信息与所述第1图像信息的差值数据保存在与所述第1图像信息文件不同的文件中。
4.如权利要求1，2或3所述的图像处理装置，其特征在于：通过以与所述第1图像信息不同的压缩方式压缩并保存所述第2图像信息。
5.如权利要求1～4中任意一项所述的图像处理装置，其特征在于：设有D范围信息存储器，其用于同时保存所述第2图像信息的动态范围信息与所述第1图像信息及所述第2图像信息中的至少一个图像信息。
6.如权利要求1～5中任意一项所述的图像处理装置，其特征在于：设有指定所述第2图像信息的动态范围的D范围设定操作器；根据所述D范围设定操作器的设定改变所述第2图像信息的再现域的D范围可变控制器。
7.一种图像处理装置，其特征在于，该装置设有：
摄影装置，其能够根据规定的排列形式配置了多个动态范围相对狭窄的高感光度主感光像素和动态范围相对较宽的低感光度副感光像素，经过一次曝光从所述主感光像素及所述副感光像素获得图像信号；
第1图像信号处理器，其用于根据从所述主感光像素获得的信号，以由第1输出装置产生的图像输出作为目标，生成第1图像信息；
第2图像信号处理器，其用于根据从所述副感光像素获得的信号，以与所述第1输出装置不同的第2输出装置产生的图像输出为目标，生成第2图像信息。
8.如权利要求7所述的图像处理装置，其特征在于：以将所述第1图像信息输出到sRGB规格的显示器为目标，设计图像。
9.如权利要求7或8所述的图像处理装置，其特征在于：进行图像设计，以使所述第2图像信息具有适于打印输出的特性。
10.如权利要求7，8或9所述的图像处理装置，其特征在于：以分别不同的比特深度保存所述第1图像信息以及所述第2图像信息。
11.如权利要求7～10中任意一项所述的图像处理装置，其特征在于：设有指定所述第2图像信息再现域的再现域设定操作器；根据所述再现域设定操作器的设定改变所述第2图像信息再现域的再现域可变控制器。
12.一种图像处理装置，其特征在于，该装置设有：
摄影装置，其能够根据规定的排列形式配置了多个动态范围相对狭窄的高感光度主感光像素和动态范围相对较宽的低感光度副感光像素，经过一次曝光从所述主感光像素及所述副感光像素获得图像信号；
保存控制器，其控制从所述主感光像素获得的第1图像信息和从所述副感光像素获得的第2图像信息的保存处理；
指定所述第2图像信息的动态范围的D范围设定操作器；
根据所述D范围设定操作器的设定改变所述第2图像信息的再现辉度域的D范围可变控制器。
13.一种图像处理装置，其特征在于，该装置设有：
显示输出通过摄影装置获得的图像的图像显示装置，其中所述摄影装置的结构为能够根据规定的排列形式配置了多个动态范围相对狭窄的高感光度主感光像素和动态范围相对较宽的低感光度副感光像素，经过一次曝光从所述主感光像素及所述副感光像素获得图像信号；
显示控制器，其用于转换并由所述图像显示器显示从所述主感光像素获得的第1图像信息和从所述副感光像素获得的第2图像信息。
14.一种图像处理装置，其特征在于，该装置设有：
用于显示输出通过摄影装置获得的图像的图像显示装置，其中所述摄影装置的结构为能够根据规定的排列形式配置了多个动态范围相对狭窄的高感光度主感光像素和动态范围相对较宽的低感光度副感光像素，经过一次曝光从所述主感光像素及所述副感光像素获得图像信号；
显示控制器，其用于在所述图像显示装置上显示由所述主感光像素获得的第1图像信息，同时，相对于所述第1图像信息，通过所述第2图像信息在该第1图像信息显示画面上强调显示使再现域扩展的图像部分。
15.如权利要求1～14中任意一项所述的图像处理装置，其特征在于：所述摄影装置具有将各接收光元件分割为至少含有所述主感光像素及所述副感光像素的多个接收光区域的结构，在各接收光元件的上方，配备与同一接收光元件中的所述主感光像素及所述副感光像素颜色成分相同的滤色器，同时，每个接收光元件均分别设有一个显微镜头。
16.一种图像处理方法，其特征在于，该方法包括：
通过摄影装置拍摄被拍摄体的摄影工序，所述摄影装置能够根据规定的排列形式配置了多个动态范围相对狭窄的高感光度主感光像素和动态范围相对较宽的低感光度副感光像素，经过一次曝光从所述主感光像素及所述副感光像素获得图像信号；
分别存储从所述主感光像素获得的第1图像信息及从所述副感光像素获得的第2图像信息的信息存储工序；
选择是否存储所述第2图像信息的选择工序；
根据所述的选择对所述第1图像信息和所述第2图像信息的存储处理进行控制的存储控制工序。
17.一种图像处理方法，其特征在于，该方法包括：
通过摄影装置拍摄被拍摄体的摄影工序，所述摄影装置能够根据规定的排列形式配置了多个动态范围相对狭窄的高感光度主感光像素和动态范围相对较宽的低感光度副感光像素，经过一次曝光从所述主感光像素及所述副感光像素获得图像信号；
第1图像信号处理工序，其用于根据从所述主感光像素获得的信号，以由第1输出装置产生的图像输出作为目标，生成第1图像信息；
第2图像信号处理工序，其用于根据从所述副感光像素获得的信号，以与所述第1输出装置不同的第2输出装置产生的图像输出为目标，生成第2图像信息。
18.一种图像处理方法，其特征在于，该方法包括：
通过摄影装置拍摄被拍摄体的摄影工序，所述摄影装置能够根据规定的排列形式配置了多个动态范围相对狭窄的高感光度主感光像素和动态范围相对较宽的低感光度副感光像素，经过一次曝光从所述主感光像素及所述副感光像素获得图像信号；
保存控制工序，其用于控制从所述主感光像素获得的第1图像信息和从所述副感光像素获得的第2图像信息的保存处理；
指定所述第2图像信息的动态范围的D范围设定操作工序；
根据所述D范围设定操作器的设定改变所述第2图像信息的再现辉度域的D范围可变控制工序。
19.一种图像处理方法，其特征在于，该方法包括：
输出通过摄影装置获得的图像的图像显示工序，其中所述摄影装置的结构为能够根据规定的排列形式配置了多个动态范围相对狭窄的高感光度主感光像素和动态范围相对较宽的低感光度副感光像素，经过一次曝光从所述主感光像素及所述副感光像素获得图像信号；
显示控制工序，其用于转换并由所述图像显示器显示从所述主感光像素获得的第1图像信息和从所述副感光像素获得的第2图像信息。
20.一种图像处理方法，其特征在于，该方法包括：
用于输出通过摄影装置获得的图像的图像显示工序，其中所述摄影装置的结构为能够根据规定的排列形式配置了多个动态范围相对狭窄的高感光度主感光像素和动态范围相对较宽的低感光度副感光像素，经过一次曝光从所述主感光像素及所述副感光像素获得图像信号；
显示控制工序，其用于在所述图像显示装置上显示由所述主感光像素获得的第1图像信息，同时，相对于所述第1图像信息，通过所述第2图像信息在该第1图像信息显示画面上强调显示使再现域扩展的图像部分。
21.一种图像处理程序，其特征在于，它用于通过计算机实现以下功能：
利用摄影装置进行摄影的摄影控制功能，所述摄影装置能够根据规定的排列形式配置了多个动态范围相对狭窄的高感光度主感光像素和动态范围相对较宽的低感光度副感光像素，经过一次曝光从所述主感光像素及所述副感光像素获得图像信号；
分别存储从所述主感光像素获得的第1图像信息及从所述副感光像素获得的第2图像信息的信息存储功能；
选择是否存储所述第2图像信息的选择功能；
根据所述的选择对所述第1图像信息和所述第2图像信息的存储处理进行控制的存储控制功能。
22.一种图像处理程序，其特征在于，它用于通过计算机实现以下功能：
利用摄影装置进行摄影的摄影控制功能，所述摄影装置能够根据规定的排列形式配置了多个动态范围相对狭窄的高感光度主感光像素和动态范围相对较宽的低感光度副感光像素，经过一次曝光从所述主感光像素及所述副感光像素获得图像信号；
第1图像信号处理功能，其用于根据从所述主感光像素获得的信号，以由第1输出装置产生的图像输出作为目标，生成第1图像信息；
第2图像信号处理功能，其用于根据从所述副感光像素获得的信号，以与所述第1输出装置不同的第2输出装置产生的图像输出为目标，生成第2图像信息。
23.一种图像处理程序，其特征在于，它用于通过计算机实现以下功能：
利用摄影装置进行摄影的摄影控制功能，所述摄影装置能够根据规定的排列形式配置了多个动态范围相对狭窄的高感光度主感光像素和动态范围相对较宽的低感光度副感光像素，经过一次曝光从所述主感光像素及所述副感光像素获得图像信号；
保存控制功能，其用于控制从所述主感光像素获得的第1图像信息和从所述副感光像素获得的第2图像信息的保存处理；
指定所述第2图像信息的动态范围的D范围设定操作功能；
根据所述D范围设定操作器的设定改变所述第2图像信息的再现辉度域的D范围可变控制功能。
24.一种图像处理程序，其特征在于，它用于通过计算机实现以下功能：
输出通过摄影装置获得的图像的图像显示功能，其中所述摄影装置的结构为能够根据规定的排列形式配置了多个动态范围相对狭窄的高感光度主感光像素和动态范围相对较宽的低感光度副感光像素，经过一次曝光从所述主感光像素及所述副感光像素获得图像信号；
显示控制功能，其用于转换并由所述图像显示器显示从所述主感光像素获得的第1图像信息和从所述副感光像素获得的第2图像信息。
25.一种图像处理程序，其特征在于，它用于通过计算机实现以下功能：
用于输出通过摄影装置获得的图像的图像显示功能，其中所述摄影装置的结构为能够根据规定的排列形式配置了多个动态范围相对狭窄的高感光度主感光像素和动态范围相对较宽的低感光度副感光像素，经过一次曝光从所述主感光像素及所述副感光像素获得图像信号；
显示控制功能，其用于在所述图像显示装置上显示由所述主感光像素获得的第1图像信息，同时，相对于所述第1图像信息，通过所述第2图像信息在该第1图像信息显示画面上强调显示使再现域扩展的图像部分。
CNB200410039471XA 2003-02-14 2004-02-13 图像处理装置，方法以及程序 Expired - Fee Related CN1260953C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP036959/2003 2003-02-14
JP2003036959A JP2004248061A (ja) 2003-02-14 2003-02-14 画像処理装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
CN1522054A true CN1522054A (zh) 2004-08-18
CN1260953C CN1260953C (zh) 2006-06-21

Family

ID=32905093

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200410039471XA Expired - Fee Related CN1260953C (zh) 2003-02-14 2004-02-13 图像处理装置，方法以及程序

Country Status (5)

Country Link
US (2) US20040169751A1 (zh)
JP (1) JP2004248061A (zh)
KR (2) KR100611607B1 (zh)
CN (1) CN1260953C (zh)
TW (1) TWI243611B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101766032B (zh) * 2007-09-14 2012-06-13 株式会社理光 成像装置和成像方法
CN106108586A (zh) * 2016-08-13 2016-11-16 林智勇 陈皮剥皮刀的使用方法
CN108432236A (zh) * 2016-01-05 2018-08-21 索尼公司 图像拍摄系统、图像拍摄方法和程序

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4720130B2 (ja) * 2003-09-09 2011-07-13 コニカミノルタホールディングス株式会社 撮像装置
JP2006238410A (ja) * 2005-01-31 2006-09-07 Fuji Photo Film Co Ltd 撮像装置
JP4678218B2 (ja) * 2005-03-24 2011-04-27 コニカミノルタホールディングス株式会社 撮像装置及び画像処理方法
JP4733419B2 (ja) * 2005-04-26 2011-07-27 富士フイルム株式会社 合成画像データ生成装置およびその制御方法ならびにその制御プログラム
US7683913B2 (en) * 2005-08-22 2010-03-23 Semiconductor Energy Laboratory Co., Ltd. Display device and driving method thereof
JP4940639B2 (ja) 2005-09-30 2012-05-30 セイコーエプソン株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP4517301B2 (ja) * 2006-01-06 2010-08-04 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8013871B2 (en) * 2006-09-11 2011-09-06 Electronics For Imaging, Inc. Apparatus and methods for selective color editing of color profiles
US8243326B2 (en) * 2006-09-11 2012-08-14 Electronics For Imaging, Inc. Methods and apparatus for color profile editing
US8035628B2 (en) 2006-10-04 2011-10-11 Mediatek Inc. Portable multimedia playback apparatus
KR100849783B1 (ko) * 2006-11-22 2008-07-31 삼성전기주식회사 컬러 영상의 선명도 향상 방법
US8242426B2 (en) * 2006-12-12 2012-08-14 Dolby Laboratories Licensing Corporation Electronic camera having multiple sensors for capturing high dynamic range images and related methods
JP5054981B2 (ja) 2007-01-12 2012-10-24 キヤノン株式会社 撮像装置及び撮像処理方法
US8237830B2 (en) 2007-04-11 2012-08-07 Red.Com, Inc. Video camera
CN104702926B (zh) 2007-04-11 2017-05-17 Red.Com 公司 摄像机
KR100892078B1 (ko) * 2007-05-03 2009-04-06 엠텍비젼 주식회사 영상 밝기 조절 장치 및 그 방법
WO2008136629A1 (en) * 2007-05-03 2008-11-13 Mtekvision Co., Ltd. Image brightness controlling apparatus and method thereof
JP5163031B2 (ja) 2007-09-26 2013-03-13 株式会社ニコン 電子カメラ
JP2009081617A (ja) * 2007-09-26 2009-04-16 Mitsubishi Electric Corp 画像データ処理装置および画像データ処理方法
JP5090302B2 (ja) * 2008-09-19 2012-12-05 富士フイルム株式会社 撮影装置および方法
JP5109962B2 (ja) * 2008-12-22 2012-12-26 ソニー株式会社 固体撮像装置および電子機器
US8391601B2 (en) * 2009-04-30 2013-03-05 Tandent Vision Science, Inc. Method for image modification
JP4788809B2 (ja) * 2009-08-17 2011-10-05 セイコーエプソン株式会社 流体噴射方法
JP5643555B2 (ja) * 2010-07-07 2014-12-17 キヤノン株式会社 固体撮像装置及び撮像システム
JP5885401B2 (ja) 2010-07-07 2016-03-15 キヤノン株式会社 固体撮像装置および撮像システム
JP5697371B2 (ja) 2010-07-07 2015-04-08 キヤノン株式会社 固体撮像装置および撮像システム
JP5751766B2 (ja) 2010-07-07 2015-07-22 キヤノン株式会社 固体撮像装置および撮像システム
JP5947507B2 (ja) * 2011-09-01 2016-07-06 キヤノン株式会社 撮像装置及びその制御方法
JP5924943B2 (ja) * 2012-01-06 2016-05-25 キヤノン株式会社 撮像装置および撮像装置の制御方法
US9167169B1 (en) * 2014-11-05 2015-10-20 Duelight Llc Image sensor apparatus and method for simultaneously capturing multiple images
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
WO2014127153A1 (en) 2013-02-14 2014-08-21 Red. Com, Inc. Video camera
JP6467190B2 (ja) * 2014-10-20 2019-02-06 キヤノン株式会社 露出制御装置及びその制御方法、撮像装置、プログラム、記憶媒体
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
CN106454285B (zh) * 2015-08-11 2019-04-19 比亚迪股份有限公司 白平衡的调整系统及调整方法
WO2017039038A1 (ko) * 2015-09-04 2017-03-09 재단법인 다차원 스마트 아이티 융합시스템 연구단 다중 필팩터가 적용된 이미지 센서
JP6786273B2 (ja) * 2016-06-24 2020-11-18 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN109792478B (zh) 2016-09-01 2021-11-12 迪尤莱特公司 基于焦点目标信息调整焦点的装置和方法
WO2019010233A1 (en) 2017-07-05 2019-01-10 Red. Com, Llc PROCESSING VIDEO IMAGE DATA IN ELECTRONIC DEVICES
KR20220159829A (ko) * 2021-05-26 2022-12-05 삼성전자주식회사 넓은 색역의 영상을 제공하는 영상 획득 장치 및 이를 포함하는 전자 장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5929908A (en) * 1995-02-03 1999-07-27 Canon Kabushiki Kaisha Image sensing apparatus which performs dynamic range expansion and image sensing method for dynamic range expansion
JP4245699B2 (ja) * 1998-09-16 2009-03-25 オリンパス株式会社 撮像装置
US6282312B1 (en) * 1998-09-28 2001-08-28 Eastman Kodak Company System using one or more residual image(s) to represent an extended color gamut digital image
US6282311B1 (en) * 1998-09-28 2001-08-28 Eastman Kodak Company Using a residual image to represent an extended color gamut digital image
US6282313B1 (en) * 1998-09-28 2001-08-28 Eastman Kodak Company Using a set of residual images to represent an extended color gamut digital image
JP4018820B2 (ja) * 1998-10-12 2007-12-05 富士フイルム株式会社 固体撮像装置および信号読出し方法
JP3819631B2 (ja) * 1999-03-18 2006-09-13 三洋電機株式会社 固体撮像装置
US7064861B2 (en) * 2000-12-05 2006-06-20 Eastman Kodak Company Method for recording a digital image and information pertaining to such image on an oriented polymer medium
JP4511066B2 (ja) * 2001-03-12 2010-07-28 オリンパス株式会社 撮像装置
US7489352B2 (en) * 2002-11-15 2009-02-10 Micron Technology, Inc. Wide dynamic range pinned photodiode active pixel sensor (APS)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101766032B (zh) * 2007-09-14 2012-06-13 株式会社理光 成像装置和成像方法
CN108432236A (zh) * 2016-01-05 2018-08-21 索尼公司 图像拍摄系统、图像拍摄方法和程序
CN108432236B (zh) * 2016-01-05 2020-11-20 索尼公司 图像拍摄系统和图像拍摄方法
CN106108586A (zh) * 2016-08-13 2016-11-16 林智勇 陈皮剥皮刀的使用方法

Also Published As

Publication number Publication date
JP2004248061A (ja) 2004-09-02
KR20040073989A (ko) 2004-08-21
US20090051781A1 (en) 2009-02-26
KR100611607B1 (ko) 2006-08-11
TWI243611B (en) 2005-11-11
US20040169751A1 (en) 2004-09-02
KR20060070496A (ko) 2006-06-23
CN1260953C (zh) 2006-06-21
TW200427324A (en) 2004-12-01

Similar Documents

Publication Publication Date Title
CN1260953C (zh) 图像处理装置，方法以及程序
JP4298253B2 (ja) 画像処理方法及び装置、及び撮像装置
CN1217533C (zh) 信号处理设备及方法,与图象感测设备
US20080013787A1 (en) Imaging apparatus, image processor, image filing method, image processing method and image processing program
US20040212691A1 (en) Automatic white balance adjusting method
CN1662038A (zh) 成像设备及成像设备的图像产生方法
CN1643936A (zh) 图像处理设备和方法、以及图像处理设备的制造方法
CN1941917A (zh) 成像装置及图像处理器
CN1929535A (zh) 成像装置、图像处理装置、图像处理方法及计算机程序
US8164648B2 (en) Image processing apparatus and image processing apparatus control method
CN1753458A (zh) 摄影装置及摄影方法
JP2004173010A (ja) 撮像装置、画像処理装置、画像記録装置、画像処理方法、プログラム及び記録媒体
CN1306722A (zh) 摄影装置及其方法
CN1689340A (zh) 数字静像照相机与图像校正方法
CN1798244A (zh) 图像处理装置、图像处理方法及图像处理程序
JP2006115475A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN1925559A (zh) 图像处理装置和图像处理方法
CN1685739A (zh) 图象数据的输出图象调整
JP4544319B2 (ja) 画像処理装置、方法及びプログラム
CN1663251A (zh) 图象数据的输出图象调整
CN1306806C (zh) 图像重放装置及摄像装置
JP2008236396A (ja) カメラシステム、撮像装置及びサービスサーバ
CN1484447A (zh) 摄影设备及图像处理方法
JP4944639B2 (ja) 画像処理装置、画像処理方法及び撮影装置
JP2008193714A (ja) 画像処理装置、方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: FUJI PHOTO FILM CO., LTD.

Free format text: FORMER OWNER: FUJIFILM HOLDINGS CORP.

Effective date: 20070629

C41 Transfer of patent application or patent right or utility model
C56 Change in the name or address of the patentee

Owner name: FUJIFILM HOLDINGS CORP.

Free format text: FORMER NAME OR ADDRESS: FUJI PHOTO FILM CO., LTD.

CP03 Change of name, title or address

Address after: Kanagawa, Japan, south foot city

Patentee after: Fujifilm Corp.

Address before: Kanagawa, Japan, south foot city

Patentee before: FUJIFILM Corp.

TR01 Transfer of patent right

Effective date of registration: 20070629

Address after: Tokyo, Japan

Patentee after: FUJIFILM Corp.

Address before: Kanagawa, Japan, south foot city

Patentee before: Fujifilm Corp.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20060621

Termination date: 20170213

CF01 Termination of patent right due to non-payment of annual fee