CN111953901A - 摄像装置 - Google Patents

摄像装置 Download PDF

Info

Publication number
CN111953901A
CN111953901A CN202010795797.4A CN202010795797A CN111953901A CN 111953901 A CN111953901 A CN 111953901A CN 202010795797 A CN202010795797 A CN 202010795797A CN 111953901 A CN111953901 A CN 111953901A
Authority
CN
China
Prior art keywords
imaging
region
unit
image
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010795797.4A
Other languages
English (en)
Other versions
CN111953901B (zh
Inventor
盐野谷孝
神原敏之
关口直树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN111953901A publication Critical patent/CN111953901A/zh
Application granted granted Critical
Publication of CN111953901B publication Critical patent/CN111953901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Image Processing (AREA)

Abstract

摄像装置具备具有拍摄被摄体的摄像区域的摄像元件、设定所述摄像区域的摄像条件的设定部、从所述摄像区域中包含的像素中选择用于插补的像素的选择部、以及使用根据从由所述选择部选择的像素输出的信号而进行了插补的信号，生成在所述摄像区域拍摄到的被摄体的图像的生成部，所述选择部根据通过所述设定部设定的摄像条件而使所述选择的像素的至少一部分像素不同。

Description

摄像装置
本发明申请是国际申请日为2016年9月26日、国际申请号为 PCT/JP2016/078313、进入中国国家阶段的国家申请号为 201680057213.5、发明名称为“摄像装置”的发明申请的分案申请。
技术领域
本发明涉及摄像装置。
背景技术
已知有搭载有能够针对画面的每一个区域设定不同的摄像条件的摄像元件的摄像装置(参照专利文献1)。但是，在使用在摄像条件不同的区域分别生成的图像数据的情况下，存在无法与使用在摄像条件相同的区域生成的图像数据的情况相同的问题。
现有技术文献
专利文献
专利文献1：日本特开2006－197192号公报
发明内容
本发明第一方面的摄像装置，其具备：摄像元件，其具有拍摄被摄体的摄像区域；设定部，其设定所述摄像区域的摄像条件；选择部，其从所述摄像区域中包含的像素中选择用于插补的像素；生成部，其使用根据从由所述选择部选择的像素输出的信号而进行了插补的信号，生成在所述摄像区域拍摄到的被摄体的图像，所述选择部根据通过所述设定部设定的摄像条件而使所述选择的像素的至少一部分像素不同。
本发明第十五方面的摄像装置，其具备：摄像元件，其具有被设定为以第一摄像条件拍摄被摄体的第一摄像区域、被设定为以与所述第一摄像条件不同的第二摄像条件拍摄被摄体的第二摄像区域、和被设定为以与所述第二摄像条件不同的第三摄像条件拍摄被摄体的第三摄像区域；选择部，其从所述第二摄像区域中包含的像素和所述第三摄像区域中包含的像素中选择用于所述第一摄像区域中包含的像素的插补的像素；以及生成部，其使用根据从由所述选择部选择的像素输出的信号而进行了插补的信号，生成在所述第一摄像区域拍摄到的被摄体的图像。
本发明第十六方面的摄像装置，其具备：摄像元件，其具有被设定为以第一摄像条件拍摄被摄体的第一摄像区域、和被设定为以与所述第一摄像条件不同的第二摄像条件拍摄被摄体的第二摄像区域；选择部，其从所述第一摄像区域中包含的像素和所述第二摄像区域中包含的像素中选择用于所述第一摄像区域中包含的像素的插补的像素；以及生成部，其使用根据从由所述选择部选择的像素输出的信号而进行了插补的信号，生成在所述第一摄像区域拍摄到的被摄体的图像。
本发明第十七方面的摄像装置，其具备：摄像元件，其具有拍摄被摄体的第一摄像区域、拍摄被摄体的第二摄像区域、拍摄被摄体的第三摄像区域；设定部，其将所述第一摄像区域的摄像条件设定为第一摄像条件，将所述第二摄像区域的摄像条件设定为与所述第一摄像条件不同的第二摄像条件，将所述第三摄像区域的摄像条件设定为与所述第一摄像条件之差比所述第一摄像条件与所述第二摄像条件之差小的第三摄像条件；选择部，其从所述第一摄像区域中包含的像素、所述第二摄像区域中包含的像素、和所述第三摄像区域中包含的像素中选择用于所述第一摄像区域中包含的像素的插补的像素；以及生成部，其使用根据从由所述选择部选择的像素输出的信号而进行了插补的信号，生成在所述第一摄像区域拍摄到的被摄体的图像。
本发明第十八方面的摄像装置，其具备：摄像元件，其具有拍摄被摄体的第一摄像区域、拍摄被摄体的第二摄像区域、和与所述第一摄像区域之间的距离比所述第一摄像区域与所述第二摄像区域之间的距离更长的、拍摄被摄体的第三摄像区域；设定部，其将所述第二摄像区域的摄像条件设定为与所述第一摄像区域的摄像条件不同的摄像条件；选择部，其从所述第一摄像区域中包含的像素、所述第二摄像区域中包含的像素、和所述第三摄像区域中包含的像素中选择用于所述第一摄像区域中包含的像素的插补的像素；以及生成部，其使用根据从由所述选择部选择的像素输出的信号而进行了插补的信号，生成在所述第一摄像区域拍摄到的被摄体的图像。
本发明第十九方面的摄像装置，其具备：摄像元件，其具有拍摄被摄体的摄像区域；设定部，其设定所述摄像区域的摄像条件；生成部，其使用根据从被选为用于插补的像素的、所述摄像区域中包含的像素输出的信号而进行了插补的信号，生成在所述摄像区域拍摄到的被摄体的图像，根据通过所述设定部设定的摄像条件，使所述选择的像素的至少一部分像素不同。
本发明第二十方面的摄像装置，其具备：摄像元件，其具有被设定为以第一摄像条件拍摄被摄体的第一摄像区域、和被设定为以与所述第一摄像条件不同的第二摄像条件拍摄被摄体的第二摄像区域；以及生成部，其使用根据从特定像素输出的信号而进行了插补的信号，生成在所述第一摄像区域拍摄到的被摄体的图像，所述特定像素是指，从所述第一摄像区域中包含的像素和所述第二摄像区域中包含的像素中选择作为用于所述第一摄像区域中包含的像素的插补的像素。
本发明第二十一方面的摄像装置，其具备：摄像元件，其具有拍摄被摄体的摄像区域；设定部，其设定所述摄像区域的摄像条件；以及生成部，其使用根据从特定像素输出的信号而降低了噪声的信号，生成在所述摄像区域拍摄到的被摄体的图像，所述特定像素是指，从所述摄像区域中包含的像素选择的、输出用于降低噪声的信号的像素，根据通过所述设定部设定的摄像条件，使所述选择的像素的至少一部分像素不同。
本发明第二十二方面的摄像装置，其具备：摄像元件，其具有被设定为以第一摄像条件拍摄被摄体的第一摄像区域、被设定为以与所述第一摄像条件不同的第二摄像条件拍摄被摄体的第二摄像区域、和被设定为以与所述第二摄像条件不同的第三摄像条件拍摄被摄体的第三摄像区域；选择部，其从所述第二摄像区域中包含的像素和所述第三摄像区域中包含的像素中，选择所述第一摄像区域中包含的像素来用于降低噪声；以及生成部，其使用根据从特定像素输出的信号而降低了噪声的信号，生成在所述第一摄像区域拍摄到的被摄体的图像，所述特定像素是指，作为输出用于所述第一摄像区域中包含的像素的信号的噪声的降低的信号的像素而从所述第二摄像区域中包含的像素和所述第三摄像区域中包含的像素中选择的像素。
本发明第二十三方面的摄像装置，其具备：摄像元件，其具有被设定为以第一摄像条件拍摄被摄体的第一摄像区域、和被设定为以与所述第一摄像条件不同的第二摄像条件拍摄被摄体的第二摄像区域；生成部，其使用根据从特定像素输出的信号而进行了插补的信号，生成在所述第一摄像区域拍摄到的被摄体的图像，所述特定像素是指，作为输出用于降低所述第一摄像区域中包含的像素的噪声的信号的像素而从所述第一摄像区域中包含的像素和所述第二摄像区域中包含的像素中选择的像素。
本发明第二十四方面的摄像装置，其具备：摄像元件，其具有拍摄被摄体的摄像区域；设定部，其设定所述摄像区域的摄像条件；以及生成部，其使用根据从作为用于进行图像处理的像素而选择的像素输出的信号进行了图像处理的信号，生成在所述摄像区域拍摄的被摄体的图像，根据通过所述设定部设定的摄像条件，使所述选择的像素的至少一部分像素不同。
本发明第二十五方面提供一种图像处理装置，其具备：选择部，其从自摄像元件的摄像区域中包含的像素输出的信号中选择用于插补的信号；以及生成部，其使用通过由所述选择部选择的信号而进行了插补的信号，生成在所述摄像区域拍摄到的被摄体的图像，所述选择部根据对所述摄像区域设定的摄像条件，使所述选择的像素的至少一部分像素不同。
本发明第二十六方面提供一种图像处理装置，其具备：选择部，其从自摄像元件的摄像区域中包含的像素输出的信号中选择用于降低噪声的信号；生成部，其使用通过由所述选择部选择的信号而降低了噪声的信号，生成在所述摄像区域拍摄到的被摄体的图像，所述选择部根据对所述摄像区域设定的摄像条件，使所述选择的像素的至少一部分像素不同。
本发明第二十七方面提供一种图像处理装置，其具备：选择部，其从自摄像元件的摄像区域中包含的像素输出的信号中选择用于插补的信号；显示部，其显示使用根据由所述选择部选择的信号进行了插补的信号而生成的、在所述摄像区域拍摄到的被摄体的图像，所述选择部根据对所述摄像区域设定的摄像条件，使所述选择的像素的至少一部分像素不同。
本发明第二十八方面提供一种图像处理装置，其具备：选择部，其从自摄像元件的摄像区域中包含的像素输出的信号中选择用于降低噪声的信号；显示部，其显示使用根据由所述选择部选择的信号降低了噪声的信号而生成的、在所述摄像区域拍摄到的被摄体的图像，所述选择部根据对所述摄像区域设定的摄像条件，使所述选择的像素的至少一部分像素不同。
附图说明
图1是示例第一实施方式的相机的结构的框图。
图2是层叠型的摄像元件的剖视图。
图3是说明摄像芯片的像素排列和单位区域的图。
图4是说明单位区域的电路的图。
图5是示意性示出在相机的摄像元件上成像的被摄体的像的图。
图6是示例摄像条件的设定画面的图。
图7的(a)是示例实时取景图像的第一区域的边界附近的图，图7的(b)是放大了边界附近的图，图7的(c)是关注像素及参照像素的放大图，图7的(d)是第二实施方式的关注像素及参照像素的放大图。
图8的(a)是示例从像素输出的光电转换信号的排列的图，图8 的(b)是说明G色成分的图像数据的插补的图，图8的(c)是示例插补后的G色成分的图像数据的图。
图9的(a)从图8的(a)提取了R色成分的图像数据的图，图 9的(b)是说明色差成分Cr的插补的图，图9的(c)是说明色差成分Cr的图像数据的插补的图。
图10的(a)是从图8的(a)提取了B色成分的图像数据的图，图10的(b)是说明色差成分Cb的插补的图，图10的(c)是说明色差成分Cb的图像数据的插补的图。
图11是示例摄像面的焦点检测用像素的位置的图。
图12是放大了焦点检测像素线的一部分区域的图。
图13是放大了焦点检测位置的图。
图14的(a)是示例表示要检测的对象物的模板图像的图，图14 的(b)是示例实时取景图像及搜索范围的图。
图15是说明对每一个区域设定摄像条件而拍摄的处理的流程的流程图。
图16的(a)～图16的(c)是示例摄像元件的摄像面的第一区域及第二区域的配置的图。
图17是示例变形例8的摄像系统的结构的框图。
图18是说明向移动设备供给程序的图。
图19是示例第三实施方式的相机的结构的框图。
图20是示意性示出第三实施方式的各区块和多个选择部的对应关系的图。
图21是层叠型的摄像元件的剖视图。
图22是示意性示出图像处理中的、第一图像数据和第二图像数据的处理的图。
图23是示意性示出焦点检测处理中的、第一图像数据和第二图像数据的处理的图。
图24是示意性示出被摄体检测处理中的、第一图像数据和第二图像数据的处理的图。
图25是示意性示出曝光运算处理等的摄像条件的设定中的、第一图像数据和第二图像数据的处理的图。
图26是示意性示出变形例10的第一图像数据和第二图像数据的处理的图。
图27是示意性示出变形例10的第一图像数据和第二图像数据的处理的图。
图28是示意性示出变形例10的第一图像数据和第二图像数据的处理的图。
图29是示意性示出变形例10的第一图像数据和第二图像数据的处理的图。
附图标记说明
1、1C…相机
1B…摄像系统
32…摄像部
32a、100…摄像元件
33…图像处理部
33a、321…输入部
33b、322…选择部
33c、323…生成部
34…控制部
34a…物体检测部
34b…区域划分部
34d…摄像控制部
35…显示部
90…规定范围
1001…摄像装置
1002…显示装置
P…关注像素
具体实施方式
作为搭载本实施方式的图像处理装置的电子设备的一例，以数码相机为例进行说明。相机1(图1)构成为能够针对摄像元件32a的摄像面的每一个区域以不同的条件进行拍摄。图像处理部33在摄像条件不同的区域分别进行适宜的处理。参照附图说明这种相机1的详情。
＜相机的说明＞
(第一实施方式)
图1是表示第一实施方式的相机1的结构的框图。图1中，相机 1具有摄像光学系统31、摄像部32、图像处理部33、控制部34、显示部35、操作部件36、记录部37。
摄像光学系统31将来自被摄体的光束导向摄像部32。摄像部32 包含摄像元件32a及驱动部32b，将通过摄像光学系统31成像的被摄体的像进行光电转换。摄像部32能够在摄像元件32a的摄像面的整个区域以相同的条件进行拍摄，或者在摄像元件32a的摄像面的每一个区域以不同的条件进行拍摄。后述摄像部32的详情。驱动部32b 生成为了使摄像元件32a进行蓄积控制所需的驱动信号。针对摄像部 32的电荷蓄积时间等的拍摄指示被从控制部34发送到驱动部32b。
图像处理部33包含输入部33a、选择部33b、生成部33c。向输入部33a输入由摄像部32取得的图像数据。选择部33b对上述所输入的图像数据进行前处理。后述前处理的详情。生成部33c生成基于上述所输入的图像数据和前处理后的图像数据的图像。另外，生成部33c进行针对图像数据的图像处理。图像处理包含例如颜色插补处理、像素缺陷修正处理、轮廓强调处理、噪声降低(Noise reduction)处理、白平衡调整处理、伽玛修正处理、显示亮度调整处理、彩度调整处理等。进而，生成部33c生成由显示部35显示的图像。
控制部34例如由CPU构成，控制基于相机1的整体的动作。例如，控制部34基于由摄像部32取得的光电转换信号进行规定的曝光运算，决定适当曝光所需的摄像元件32a的电荷蓄积时间(曝光时间)、摄像光学系统31的光圈值、ISO感光度等曝光条件并向驱动部32b指示。另外，根据对相机1设定的拍摄场景模式、检测到的被摄体要素的种类，决定对彩度、对比度、锐度等进行调整的图像处理条件并向图像处理部33指示。后述被摄体要素的检测。
控制部34包含物体检测部34a、设定部34b、摄像控制部34c、 AF运算部34d。它们通过控制部34执行存储于未图示的非易失性存储器中的程序而通过软件实现，但也可以利用ASIC等构成它们。
物体检测部34a通过进行公知的物体识别处理，从由摄像部32 取得的图像检测人物(人物的面部)、狗、猫等动物(动物的面部)、植物、自行车、汽车、电车等交通工具、建筑物、静止物、山、云等风景、预先决定的特定的物体等被摄体要素。设定部34b将摄像部32 的摄像画面划分成如上述检测到的包含被摄体要素在内的多个区域。
设定部34b还对多个区域设定摄像条件。摄像条件包含上述曝光条件(电荷蓄积时间、增益、ISO感光度、帧频等)、上述图像处理条件(例如白平衡调整用参数、伽玛修正曲线、显示亮度调整参数、彩度调整参数等)。此外，摄像条件可以对全部多个区域设定相同的摄像条件，也可以在多个区域之间设定不同的摄像条件。
摄像控制部34c应用由设定部34b按每个区域设定的摄像条件，来控制摄像部32(摄像元件32a)、图像处理部33。由此，能够使摄像部32针对多个区域以不同的曝光条件进行拍摄，能够使图像处理部33进行针对多个区域以不同的图像处理条件进行图像处理。构成区域的像素的数量可以是任意的，例如可以为1000像素，也可以为1 个像素。另外，在区域间，像素的数量也可以不同。
AF运算部34d在摄像画面的规定的位置(称为焦点检测位置焦点检测位置)控制对于对应的被摄体对准焦点的自动焦点调节(自动对焦：AF)动作。AF运算部35f基于AF运算结果，向驱动部32b 发送用于使摄像光学系统31的聚焦透镜向对焦位置移动的驱动信号。AF运算部34d为了进行自动焦点调节而进行的处理也被称作焦点检测处理。后述焦点检测处理的详情。
显示部35再生显示由图像处理部33生成的图像或经图像处理的图像、由记录部37读出的图像等。显示部35也进行操作菜单画面、用于设定摄像条件的设定画面等的显示。
操作部件36由释放按钮或菜单按钮等各种操作部件构成。操作部件36向控制部34送出与各操作对应的操作信号。操作部件36也包含设置于显示部35的显示面的触摸操作部件。
记录部37根据来自控制部34的指示，在由未图示的存储卡等构成的记录介质中记录图像数据等。另外，记录部37根据来自控制部 34的指示，读出记录于记录介质的图像数据。
＜层叠型摄像元件的说明＞
作为上述的摄像元件32a的一例，对层叠型的摄像元件100进行说明。图2是摄像元件100的剖视图。摄像元件100具备摄像芯片111、信号处理芯片112、存储芯片113。摄像芯片111层叠于信号处理芯片112。信号处理芯片112层叠于存储芯片113。摄像芯片111及信号处理芯片112、信号处理芯片112及存储芯片113分别通过连接部 109电连接。连接部109例如是凸块或电极。摄像芯片111拍摄来自被摄体的光像而生成图像数据。摄像芯片111将图像数据从摄像芯片 111输出到信号处理芯片112。信号处理芯片112对从摄像芯片111 输出的图像数据实施信号处理。存储芯片113具有多个存储器，存储图像数据。此外，摄像元件100也可以由摄像芯片及信号处理芯片构成。在摄像元件100由摄像芯片及信号处理芯片构成的情况下，用于存储图像数据的存储部可以设置于信号处理芯片，也可以与摄像元件 100分开设置。
如图2所示，入射光主要朝向以空心箭头表示的Z轴正方向入射。另外，如坐标轴所示，将与Z轴正交的纸面左方向设为X轴正方向，将与Z轴及X轴正交的纸面跟前方向设为Y轴正方向。在以后的几个图中，以图2的坐标轴为基准显示坐标轴，以便于理解各图的方向。
摄像芯片111例如是CMOS图像传感器。具体而言，摄像芯片 111是背面照射型的CMOS图像传感器。摄像芯片111具有微型透镜层101、彩色滤光片层102、钝化膜层103、半导体层106、及布线层 108。摄像芯片111朝向Z轴正方向按顺序配置有微型透镜层101、彩色滤光片层102、钝化膜层103、半导体层106、及布线层108。
微型透镜层101具有多个微型透镜L。微型透镜L将入射的光聚光于后述的光电转换部104。彩色滤光片层102具有多个彩色滤光片 F。彩色滤光片层102具有分光特性不同的多种彩色滤光片F。具体而言，彩色滤光片层102具有主要使红色成分的光透过的分光特性的第一滤光片(R)、主要使绿色成分的光透过的分光特性的第二滤光片(Gb、Gr)、主要使蓝色成分的光透过的分光特性的第三滤光片(B)。彩色滤光片层102例如通过拜耳排列而配置有第一滤光片、第二滤光片及第三滤光片。钝化膜层103由氮化膜或氧化膜构成，保护半导体层106。
半导体层106具有光电转换部104及读出电路105。半导体层106 在作为光的入射面的第一面106a和第一面106a的相反侧的第二面 106b之间具有多个光电转换部104。半导体层106在X轴方向及Y 轴方向上排列有多个光电转换部104。光电转换部104具有将光转换成电荷的光电转换功能。另外，光电转换部104蓄积基于光电转换信号的电荷。光电转换部104例如是光电二极管。半导体层106在比光电转换部104更靠第二面106b侧具有读出电路105。半导体层106 在X轴方向及Y轴方向排列有多个读出电路105。读出电路105由多个晶体管构成，读出通过由光电转换部104进行了光电转换的电荷而生成的图像数据并向布线层108输出。
布线层108具有多个金属层。金属层例如是Al布线、Cu布线等。布线层108输出由读出电路105读出的图像数据。图像数据经由连接部109从布线层108输出到信号处理芯片112。
此外，连接部109也可以针对每个光电转换部104而设置。另外，连接部109也可以针对每个多个光电转换部104而设置。在连接部109 针对多个光电转换部104的每一个而设置的情况下，连接部109的间距也可以比光电转换部104的间距大。另外，连接部109也可以设置于配置有光电转换部104的区域的周边区域。
信号处理芯片112具有多个信号处理电路。信号处理电路对从摄像芯片111输出的图像数据进行信号处理。信号处理电路例如是将图像数据的信号值放大的放大电路、进行图像数据的噪声的降低处理的相关双采样电路及将模拟信号转换成数字信号的模拟/数字(A/D)转换电路等。信号处理电路也可以针对每个光电转换部104而设置。
另外，信号处理电路也可以针对多个光电转换部104的每一个而设置。信号处理芯片112具有多个贯穿电极110。贯穿电极110例如是硅贯穿电极。贯穿电极110将设置于信号处理芯片112的电路相互连接。贯穿电极110也可以设置于摄像芯片111的周边区域、存储芯片113。此外，也可以在摄像芯片111上设置构成信号处理电路的一部分元件。例如，在模拟/数字转换电路的情况下，也可以在摄像芯片 111上设置进行输入电压和基准电压的比较的比较器，且在信号处理芯片112上设置计数器电路或锁存电路等电路。
存储芯片113具有多个存储部。存储部存储由信号处理芯片112 实施了信号处理的图像数据。存储部例如是DRAM等易失性存储器。存储部也可以针对每个光电转换部104而设置。另外，存储部也可以针对多个光电转换部104的每一个而设置。存储于存储部的图像数据被输出到后级的图像处理部。
图3是说明摄像芯片111的像素排列和单位区域131的图。特别是表示从背面(摄像面)侧观察摄像芯片111的情况。在像素区域中呈矩阵状地排列有例如2000万个以上的像素。在图3的例子中，相邻的2个像素×2个像素这4个像素形成一个单位区域131。图中的格子线表示相邻的像素被分组而形成单位区域131的概念。形成单位区域131的像素的数量不限于此，可以是1000个左右，例如32个像素×32个像素，也可以是该数量以上或以下，也可以是1个像素。
如像素区域的局部放大图所示，图3的单位区域131内包由绿色像素Gb、Gr、蓝色像素B及红色像素R这4像素构成的所谓拜耳排列。绿色像素Gb、Gr为具有绿色滤光片作为彩色滤光片F的像素，接收入射光中绿色波长段的光。同样地，蓝色像素B为具有蓝色滤光片作为彩色滤光片F的像素，接收蓝色波长段的光，红色像素R为具有红色滤光片作为彩色滤光片F的像素，接收红色波长段的光。
在本实施方式中，以在每一个区块中包含至少一个单位区域131 的方式定义多个区块。即，一个区块的最小单位为一个单位区域131。如上所述，作为形成一个单位区域131的像素的数量而取得的值中、最小的像素的数量为1个像素。因此，在以像素单位定义一个区块的情况下，可定义一个区块的像素的数量中最小的像素的数量为1像素。各区块能够分别以不同的控制参数控制各区块中包含的像素。就各区块而言，该区块内所有的单位区域131、即该区块内所有的像素被以同一摄像条件控制。即，在某个区块中包含的像素组和另一个区块中包含的像素组，能够取得摄像条件不同的光电转换信号。控制参数的例子为帧频、增益、间除率、将光电转换信号相加的相加行数或相加列数、电荷的蓄积时间或蓄积次数、数字化的位数(字长)等。摄像元件100不仅能自如地进行行方向(摄像芯片111的X轴方向)的间除，还能够自如地进行列方向(摄像芯片111的Y轴方向)的间除。进而，控制参数也可以是图像处理中的参数。
图4是说明单位区域131的电路的图。在图4的例子中，利用相邻的2个像素×2个像素这4像素形成一个单位区域131。此外，如上所述，单位区域131所含的像素的数量不限于此，可以为1000像素以上，也可以为最小1个像素。单位区域131的二维的位置由符号 A～D表示。
单位区域131中包含的像素的复位晶体管(RST)构成为能够针对每个像素独立地通断。图4中，设置有使像素A的复位晶体管通断的复位布线300，与上述复位布线300独立地设置有使像素B的复位晶体管通断的复位布线310。同样地，与上述复位布线300、310独立地设置有使像素C的复位晶体管通断的复位布线320。相对于其它像素D也可以设置有用于使复位晶体管通断的专用的复位布线330。
关于单位区域131中所包含的像素的传送晶体管(TX)也构成为能够按每个像素独立地通断。在图4中，独立地设置有使像素A的传送晶体管通断的传送布线302、使像素B的传送晶体管通断的传送布线312、使像素C的传送晶体管通断的传送布线322。对于其它像素D，也可以设置有用于使传送晶体管通断的专用的传送布线332。
进而，单位区域131中包含的像素的选择晶体管(SEL)也构成为能够按每个像素独立地通断。图4中，独立地设置有使像素A的选择晶体管通断的选择布线306、使像素B的选择晶体管通断的选择布线316、使像素C的选择晶体管通断的选择布线326。对于其它像素 D，也设置有用于使选择晶体管通断的专用的选择布线336。
此外，电源布线304由单位区域131中包含的像素A至像素D 共用地连接。同样地，输出布线308由单位区域131中包含的像素A 至像素D共用地连接。另外，电源布线304由多个单位区域间共用地连接，但输出布线308按每个单位区域131独立地设置。负载电流源309向输出布线308供给电流。负载电流源309可以设置于摄像芯片 111侧，也可以设置于信号处理芯片112侧。
通过使单位区域131的复位晶体管及传送晶体管独立地通断，能够对单位区域131中包含的像素A至像素D控制包含电荷的蓄积开始时间、蓄积结束时间、传送定时在内的电荷蓄积。另外，通过使单位区域131的选择晶体管独立地通断，由此能够经由共用的输出布线 308输出各像素A至像素D的光电转换信号。
在此，针对单位区域131中包含的像素A至像素D，对行及列以规定的顺序控制电荷蓄积的所谓卷帘快门方式是公知的。当利用卷帘快门方式按每行选择像素后指定列时，在图4的例子中，以“ABCD”的顺序输出光电转换信号。
通过按这种方式以单位区域131为基准构成电路，能够按每个单位区域131控制电荷蓄积时间。换句话说，能够在单位区域131间使基于不同帧频的像素信号分别输出。另外，通过在摄像芯片111中使一部分区块中包含的单位区域131进行电荷蓄积(拍摄)的期间使其它区块中包含的单位区域131休息，能够仅在摄像芯片111的规定的区块进行拍摄，并使其光电转换信号输出。并且，也能够在帧间切换进行电荷蓄积(拍摄)的区块(蓄积控制的对象区块)，在摄像芯片 111的不同的区块逐次进行拍摄并使光电转换信号输出。
如上所述，与单位区域131分别对应地设置有输出布线308。摄像元件100因为将摄像芯片111、信号处理芯片112及存储芯片113 层叠，所以通过使这些输出布线308使用利用了连接部109的芯片间的电连接，能够不使各芯片在面方向增大地缠绕布线。
＜摄像元件的区块控制＞
在本实施方式中，构成为能够按摄像元件32a中的多个区块的每一个区块设定摄像条件。控制部34(摄像控制部34c)使上述多个区域与上述区块对应，以按每个区域设定的摄像条件进行拍摄。
图5是示意性示出在相机1的摄像元件32a上成像的被摄体的像的图。相机1在进行拍摄指示之前，对被摄体像进行光电转换而取得实时取景图像。实时取景图像是指以规定的帧频(例如60fps)重复拍摄的监视器用图像。
控制部34在通过设定部34b划分区域之前，对摄像芯片111的整个区域(即摄像画面的整体)设定同一摄像条件。同一摄像条件是指对摄像画面的整体设定共用的摄像条件，例如，即使存在顶点值不足0.3级左右的偏差也可看作是相同。在摄像芯片111的整个区域设定为相同的摄像条件基于与被摄体亮度的测光值对应的曝光条件、或由用户手动设定的曝光条件来决定。
在图5中，在摄像芯片111的摄像面上成像有包含人物61a、汽车62a、包63a、山64a、云65a、66a在内的像。人物61a用双手抱住包63a。在人物61a的右后方停着汽车62a。
＜区域的划分＞
控制部34基于实时取景图像，按以下方式将实时取景图像的画面划分为多个区域。首先，由物体检测部34a从实时取景图像检测被摄体要素。被摄体要素的检测使用公知的被摄体识别技术。在图5的例子中，物体检测部34a将人物61a、汽车62a、包63a、山64a、云65a以及云66a检测作为被摄体要素。
接着，利用设定部34b将实时取景图像的画面划分成包含上述被摄体要素的区域。在本实施方式中，将包含人物61a的区域设为区域 61，将包含汽车62a的区域设为区域62，将包含包63a的区域设为区域63，将包含山64a的区域设为区域64，将包含云65a的区域设为区域65，将包含云66a的区域设为区域66进行说明。
＜每一区块的摄像条件的设定＞
在利用设定部34b将画面划分成多个区域时，控制部34使图6 中示例的设定画面显示于显示部35。在图6中，显示实时取景图像 60a，且在实时取景图像60a的右侧显示摄像条件的设定画面70。
在设定画面70上，作为摄像条件的设定项目的一例，从上起依次举出帧频、快门速度(TV)、增益(ISO)。帧频是在1秒间取得的实时取景图像或由相机1录制的动态图像的帧数。增益为ISO感光度。摄像条件的设定项目除图6所示例的之外，也可以适当添加。在所有的设定项目超出设定画面70的情况下，也可以通过使设定项目上下滚动，来显示其它设定项目。
在本实施方式中，控制部34以由设定部34b划分的区域中、由用户选择的区域作为摄像条件的设定(变更)的对象。例如，在可进行触摸操作的相机1中，用户在显示实时取景图像60a的显示部35 的显示面上单击操作要设定(变更)摄像条件的主要被摄体的显示位置。控制部34例如在单击操作了人物61a的显示位置的情况下，将在实时取景图像60a中包含人物61a的区域61作为摄像条件的设定 (变更)对象区域，同时强调显示区域61的轮廓。
图6中，强调显示(加粗显示、高亮显示、改变颜色显示、用虚线显示、闪烁显示等)轮廓的区域61示出成为摄像条件的设定(变更)的对象的区域。在图6的例子中，显示强调了区域61的轮廓的实时取景图像60a。该情况下，区域61为摄像条件的设定(变更)的对象。例如，在可进行触摸操作的相机1中，当由用户单击操作快门速度(TV)的显示71时，控制部34在画面内显示针对强调显示的区域(区域61)的快门速度的现设定值(附图标记68)。
在以后的说明中，以触摸操作为前提进行相机1的说明，但也可以通过构成操作部件36的按钮等的操作而进行摄像条件的设定(变更)。
当快门速度(TV)的上图标71a或下图标71b被用户单击操作时，设定部34b使快门速度的显示68从当前设定值起根据上述单击操作进行增减，同时，以根据上述单击操作变更与强调显示的区域(区域 61)对应的摄像元件32a的单位区域131(图3)的摄像条件的方式向摄像部32(图1)发送指示。决定图标72是用于确定所设定的摄像条件的操作图标。设定部34b与快门速度(TV)的设定(变更) 的情况同样地也进行帧频或增益(ISO)的设定(变更)。
此外，以设定部34b基于用户的操作设定摄像条件的方式进行了说明，但不限于此。设定部34b也可以不基于用户的操作而通过控制部34的判断来设定摄像条件。例如，在图像的最大亮度或最小亮度即包含被摄体要素在内的区域中，在产生高光溢出或暗部缺失的情况下，设定部34b也可以通过控制部34的判断，以消除高光溢出或暗部缺失的方式设定摄像条件。
对于未强调显示的区域(区域61以外的其它区域)维持所设定的摄像条件。
控制部34也可以代替强调显示成为摄像条件的设定(变更)的对象的区域的轮廓而高亮显示对象区域整体、或提高对象区域整体的对比度显示、或者使对象区域整体闪烁显示。另外，也可以用框包围对象区域。包围对象区域的框的显示可以为双层框或一层框，包围的框的线种、颜色或亮度等的显示形态也可以适宜变更。另外，控制部 34也可以进行在对象区域的附近指示成为箭头等的摄像条件的设定的对象的区域的显示。控制部34也可以使成为摄像条件的设定(变更)的对象的对象区域以外较暗地显示、或降低对象区域以外的对比度地来显示。
如以上所说明的那样，在设定了每一个区域的摄像条件后，操作构成操作部件36的未图示的释放按钮、或指示拍摄开始的显示(释放图标)时，通过控制部34控制摄像部32，以相对于上述划分的区域分别设定的摄像条件进行拍摄。而且，图像处理部33对通过摄像部32取得的图像数据进行图像处理。如上所述，图像处理以针对每一个区域不同的图像处理条件进行。
在上述图像处理部33进行的图像处理之后，从控制部34接收到指示的记录部37将图像处理后的图像数据记录于由未图示的存储卡等构成的记录介质。由此，结束一连串的拍摄处理。
＜数据选择处理＞
如上所述，在本实施方式中，构成为在由设定部34b划分了摄像画面的区域之后，能够相对于由用户选择的区域、或控制部34判断出的区域设定(变更)摄像条件。在划分的区域设定了不同的摄像条件的情况下，控制部34根据需要进行以下的数据选择处理。
1.进行图像处理的情况
图像处理部33(选择部33b)在对在经划分后的区域间应用不同的摄像条件而取得的图像数据的图像处理为规定的图像处理的情况下，对位于区域的边界附近的图像数据进行作为图像处理的前处理的数据选择处理。规定的图像处理是参照关注位置的周围的多个参照位置的图像数据而算出在图像中成为处理对象的关注位置的图像数据的处理，例如有像素缺陷修正处理、颜色插补处理、轮廓强调处理、噪声降低处理等。
数据选择处理是因为在划分的区域间摄像条件不同，所以为了缓和图像处理后的图像上出现的不适感而进行的。有时在关注位置位于划分后的区域的边界附近的情况下，在关注位置的周围的多个参照位置混合存在应用了与关注位置的图像数据相同的摄像条件的图像数据、和应用了与关注位置的图像数据不同的摄像条件的图像数据。在本实施方式中，相较于直接参照应用了不同的摄像条件的参照位置的图像数据来算出关注位置的图像数据，优选参照应用了与关注位置相同的摄像条件的参照位置的图像数据来算出关注位置的图像数据，基于这种优选的考虑方法，如下选择用于图像处理的数据。
图7的(a)是示例实时取景图像60a中的区域61和区域64的边界附近的区域80的图。在本例中，对至少包含人物的区域61设定第一摄像条件，对包含山的区域64设定第二摄像条件。图7的(b) 是将图7的(a)的边界附近的区域80进行了放大的图。白色表示来自与设定了第一摄像条件的区域61对应的摄像元件32a上的像素的图像数据，网格表示来自与设定了第二摄像条件的区域64对应的摄像元件32a上的像素的图像数据。图7的(b)中，来自关注像素P 的图像数据位于区域61上，且区域61和区域64的边界81的附近部分即边界部。将以关注像素P为中心的规定范围90(例如3×3个像素)中所含的关注像素P的周围的像素(本例中为8个像素)作为参照像素。图7的(c)是关注像素P及参照像素的放大图。关注像素P 的位置为关注位置，包围关注像素P的参照像素的位置为参照位置。
图像处理部33(生成部33c)也可以不进行数据选择处理而直接参照参照像素的图像数据来进行图像处理。但是，在关注像素P中应用的摄像条件(设为第一摄像条件)和关注像素P的周围的参照像素中应用的摄像条件(设为第二摄像条件)不同的情况下，选择部33b如以下的(例1)～(例3)那样从参照像素的图像数据中选择用于图像处理的第一摄像条件的图像数据。而且，生成部33c进行如下的图像处理：参照图像数据选择后的参照像素的图像数据而算出关注像素P的图像数据。图7的(c)中，从用白色表示的像素输出的数据为第一摄像条件的图像数据，从用斜线表示的像素输出的数据为第二摄像条件的图像数据。在本实施方式中，由于未选择第二摄像条件的图像数据，从而图像处理不使用从用斜线表示的像素输出的图像数据。
(例1)
图像处理部33(选择部33b)例如在第一摄像条件和第二摄像条件之间仅使ISO感光度不同，第一摄像条件的ISO感光度为100且第二摄像条件的ISO感光度为800的情况下，从参照像素的图像数据选择用于图像处理的第一摄像条件的图像数据。即，图像处理不使用参照像素的图像数据中的、与第一摄像条件不同的第二摄像条件的图像数据。
(例2)
图像处理部33(选择部33b)例如在第一摄像条件和第二摄像条件之间仅使快门速度不同，第一摄像条件的快门速度为1/1000秒且第二摄像条件的快门速度为1/100秒的情况下，从参照像素的图像数据选择用于图像处理的第一摄像条件的图像数据。即，图像处理不使用参照像素的图像数据中的、与第一摄像条件不同的第二摄像条件的图像数据。
(例3)
图像处理部33(选择部33b)例如在第一摄像条件和第二摄像条件之间仅使帧频不同(电荷蓄积时间相同)，第一摄像条件的帧频为 30fps且第二摄像条件的帧频为60fps的情况下，对于参照像素的图像数据中的第二摄像条件(60fps)的图像数据，选择以第一摄像条件 (30fps)取得的帧图像和取得定时接近的帧图像的图像数据。即，图像处理不使用参照像素的图像数据中的、第一摄像条件(30fps)的帧图像和取得定时不同的帧图像的图像数据。
另一方面，图像处理部33(选择部33b)在关注像素P中应用的摄像条件和关注像素P的周围的所有参照像素中应用的摄像条件相同的情况下，选择所有的图像数据。例如，在所有的参照像素中，在判断为应用了与应用于关注像素P的摄像条件相同的摄像条件的情况下，进行直接参照所有的参照像素的图像数据来算出关注像素P的图像数据的图像处理。
此外，如上所述，即使摄像条件中存在稍微的差异(例如顶点值计为0.3级以下)，也能够看作是同一摄像条件。
＜图像处理的例示＞
示例伴随数据选择处理的图像处理。
(1)像素缺陷修正处理
在本实施方式中，像素缺陷修正处理是拍摄时进行的一个图像处理。通常，作为固体摄像元件的摄像元件100有时在制造过程中或制造后产生像素缺陷，输出异常的电平的图像数据。因此，图像处理部 33(生成部33c)通过修正从产生了像素缺陷的像素输出的图像数据，使产生了像素缺陷的像素位置的图像数据不显著。
说明像素缺陷修正处理的一例。图像处理部33(生成部33c)例如将1帧的图像中预先记录于未图示的非易失性存储器的像素缺陷的位置的像素作为关注像素P(处理对象像素)，将以关注像素P为中心的规定范围90(例如3×3个像素)(图7的(c))中包含的关注像素P的周围的像素(本例中为8个像素)作为参照像素。
图像处理部33(生成部33c)算出参照像素中的图像数据的最大值、最小值，在从关注像素P输出的图像数据超过这些最大值或最小值时，进行将从关注像素P输出的图像数据用上述最大值或最小值进行置换的Max(最大)、Min(最小)滤波处理。对非易失性存储器中记录有位置信息的所有的像素缺陷进行这种处理。
在本实施方式中，图像处理部33(选择部33b)在应用了与应用于关注像素P的第一摄像条件不同的第二摄像条件的像素包含于上述参照像素的情况下，从参照像素中的图像数据选择应用了第一摄像条件的图像数据。之后，参照所选择的图像数据，图像处理部33(生成部33c)进行上述的Max、Min滤波处理。此外，也可以采用所选择的图像数据的平均来进行像素缺陷修正处理。
(2)颜色插补处理
在本实施方式中，颜色插补处理是拍摄时进行的一个图像处理。如图3所示例，摄像元件100的摄像芯片111拜耳排列有绿色像素 Gb、Gr、蓝色像素B及红色像素R。因为与在各像素位置配置的彩色滤光片F的颜色成分不同的颜色成分的图像数据不足，所以图像处理部33(生成部33c)进行参照周边的像素位置的图像数据而生成缺少的颜色成分的图像数据的颜色插补处理。
说明颜色插补处理的一例。图8的(a)是示例从摄像元件100 输出的图像数据的排列的图。与各像素位置对应地，按照拜耳排列的规则，具有R、G、B的某一种颜色成分。
＜G颜色插补＞
首先，说明一般的G颜色插补。进行G颜色插补的图像处理部 33(生成部33c)将R色成分及B色成分的位置依次作为关注位置，参照关注位置的周围的参照位置的四个G色成分的图像数据而生成关注位置的G色成分的图像数据。例如，在图8的(b)的粗框(从左上位置数第2行第2列。以后也相同，从左上位置数并作为表示关注位置的位置)所示的关注位置生成G色成分的图像数据的情况下，参照位于关注位置(第2行第2列)的附近的四个G色成分的图像数据G1～G4。图像处理部33(生成部33c)例如将(aG1+bG2+cG3 +dG4)/4作为关注位置(第2行第2列)的G色成分的图像数据。此外，a～d是根据参照位置和关注位置之间的距离及图像构造设置的加权系数。
接着，对本实施方式的G颜色插补进行说明。图8的(a)～图 8的(c)中，相对于粗线，在左及上的区域应用第一摄像条件，相对于粗线，在右及下的区域应用第二摄像条件。此外，图8的(a)～图8的(c)中，第一摄像条件和第二摄像条件不同。另外，图8的 (b)中的G色成分的图像数据G1～G4是用于对关注位置(第2行第2列)的像素进行图像处理的参照位置。图8的(b)中，在关注位置(第2行第2列)应用第一摄像条件。对参照位置中的图像数据G1～G3应用第一摄像条件。另外，对参照位置中的图像数据G4应用第二摄像条件。因此，图像处理部33(选择部33b)从G色成分的图像数据G1～G4中选择应用了第一摄像条件的图像数据G1～G3。这样，图像处理部33(生成部33c)参照所选择的图像数据而算出关注位置(第2行第2列)的G色成分的图像数据。图像处理部33(生成部33c)例如将(a1G1+b1G2+c1G3)/3作为关注位置(第2行第2列)的G色成分的图像数据。此外，a1～c1是根据参照位置和关注位置之间的距离及图像构造设置的加权系数。
图像处理部33(生成部33c)通过在图8的(a)的B色成分的位置及R色成分的位置分别生成G色成分的图像数据，如图8的(c) 所示，在各像素位置能够得到G色成分的图像数据。
＜R颜色插补＞
图9的(a)是从图8的(a)中提取了R色成分的图像数据的图。图像处理部33(生成部33c)基于图8的(c)所示的G色成分的图像数据和图9的(a)所示的R色成分的图像数据而算出图9的(b) 所示的色差成分Cr的图像数据。
首先，对一般的色差成分Cr的插补进行说明。图像处理部33(生成部33c)例如在图9的(b)的粗框(第2行第2列)所示的关注位置生成色差成分Cr的图像数据的情况下，参照位于关注位置(第2 行第2列)的附近的四个色差成分的图像数据Cr1～Cr4。图像处理部 33(生成部33c)例如将(eCr1+fCr2+gCr3+hCr4)/4作为关注位置(第2行第2列)的色差成分Cr的图像数据。此外，e～h是根据参照位置和关注位置之间的距离及图像构造而设置的加权系数。
同样地，图像处理部33(生成部33c)例如在图9的(c)的粗框(第2行第3列)所示的关注位置生成色差成分Cr的图像数据的情况下，参照位于关注位置(第2行第3列)的附近的四个色差成分的图像数据Cr2、Cr4～Cr6。图像处理部33(生成部33c)例如将(qCr2 +rCr4+sCr5+tCr6)/4作为关注位置(第2行第3列)的色差成分 Cr的图像数据。此外，q～t为根据参照位置和关注位置之间的距离及图像构造设置的加权系数。这样，关于各像素位置生成色差成分Cr 的图像数据。
接着，对本实施方式的色差成分Cr的插补进行说明。在图9的 (a)～图9的(c)中，例如，相对于粗线，在左及上的区域应用第一摄像条件，相对于粗线，在右及下的区域应用第二摄像条件。此外，在图9的(a)～图9的(c)中，第一摄像条件和第二摄像条件不同。图9的(b)中，粗框(第2行第2列)所示的位置为色差成分Cr的关注位置。另外，图9的(b)中的色差成分的图像数据Cr1～Cr4为用于对关注位置(第2行第2列)的像素进行图像处理的参照位置。图9的(b)中，在关注位置(第2行第2列)应用第一摄像条件。对参照位置中的图像数据Cr1、Cr3、Cr4应用第一摄像条件。另外，对参照位置中的图像数据Cr2应用第二摄像条件。因此，图像处理部 33(选择部33b)从色差成分Cr的图像数据Cr1～Cr4中选择应用了第一摄像条件的图像数据Cr1、Cr3及Cr4。之后，图像处理部33(生成部33c)参照所选择的图像数据而算出关注位置(第2行第2列) 的色差成分的图像数据Cr。图像处理部33(生成部33c)例如将(e1Cr1 +g1Cr3+h1Cr4)/3作为关注位置(第2行第2列)的色差成分Cr 的图像数据。此外，e1、g1、h1为根据参照位置和关注位置之间的距离及图像构造设置的加权系数。
另外，图9的(c)中，粗框(第2行第3列)所示的位置为色差成分Cr的关注位置。另外，图9的(c)中的色差成分的图像数据 Cr2、Cr4、Cr5、Cr6为用于对关注位置(第2行第3列)的像素进行图像处理的参照位置。图9的(c)中，对关注位置(第2行第3列) 应用第二摄像条件。对参照位置中的图像数据Cr4、Cr5应用第一摄像条件。另外，对参照位置中的图像数据Cr2、Cr6应用第二摄像条件。因此，图像处理部33(选择部33b)与上述的图9的(b)的例子相同，从色差成分Cr的图像数据Cr2、Cr4～Cr6中选择应用了第二摄像条件的图像数据Cr2及Cr6。之后，图像处理部33(生成部33c) 参照所选择的图像数据而算出关注位置(第2行第3列)的色差成分的图像数据Cr。图像处理部33(生成部33c)例如将(g2Cr2+h2Cr6) /2作为关注位置(第2行第3列)的色差成分Cr的图像数据。此外， g2、h2为根据参照位置和关注位置之间的距离及图像构造设置的加权系数。
图像处理部33(生成部33c)通过在各像素位置得到色差成分Cr 的图像数据后，与各像素位置相对应地加上图8的(c)所示的G色成分的图像数据，由此能够在各像素位置得到R色成分的图像数据。
＜B颜色插补＞
图10的(a)是从图8的(a)提取了B色成分的图像数据的图。图像处理部33(生成部33c)基于图8的(c)所示的G色成分的图像数据和图10的(a)所示的B色成分的图像数据，算出图10的(b) 所示的色差成分Cb的图像数据。
首先，对一般的色差成分Cb的插补进行说明。图像处理部33(生成部33c)例如在图10的(b)的粗框(第3行第3列)所示的关注位置生成色差成分Cb的图像数据的情况下，参照位于关注位置(第 3行第3列)的附近的四个色差成分的图像数据Cb1～Cb4。图像处理部33(生成部33c)例如将(uCb1+vCb2+wCb3+xCb4)/4作为关注位置(第3行第3列)的色差成分Cb的图像数据。此外，u～x 为根据参照位置和关注位置之间的距离及图像构造设置的加权系数。
同样地，图像处理部33(生成部33c)例如在图10的(c)的粗框(第3行第4列)所示的关注位置生成色差成分Cb的图像数据的情况下，参照位于关注位置(第3行第4列)的附近的四个色差成分的图像数据Cb2、Cb4～Cb6。图像处理部33(生成部33c)例如将(yCb2 +zCb4+αCb5+βCb6)/4作为关注位置(第3行第4列)的色差成分Cb的图像数据。此外，y、z、α、β为根据参照位置和关注位置之间的距离及图像构造设置的加权系数。这样，关于各像素位置，生成色差成分Cb的图像数据。
接着，对本实施方式的色差成分Cb的插补进行说明。图10的 (a)～图10的(c)中，例如，相对于粗线，在左及上的区域应用第一摄像条件，相对于粗线，在右及下的区域应用第二摄像条件。此外，图10的(a)～图10的(c)中，第一摄像条件和第二摄像条件不同。图10的(b)中，粗框(第3行第3列)所示的位置为色差成分Cb的关注位置。另外，图10的(b)中的色差成分的图像数据Cb1～ Cb4为用于对关注位置(第3行第3列)的像素进行图像处理的参照位置。图10的(b)中，在关注位置(第3行第3列)应用第二摄像条件。对参照位置中的图像数据Cb1、Cb3应用第一摄像条件。另外，对参照位置中的图像数据Cb2、Cb4应用第二摄像条件。因此，图像处理部33(选择部33b)从色差成分Cb的图像数据Cb1～Cb4中选择应用了第二摄像条件的图像数据Cb2及Cb4。之后，图像处理部 33(生成部33c)参照所选择的图像数据而算出关注位置(第3行第 3列)的色差成分的图像数据Cb。图像处理部33(生成部33c)例如将(v1Cb2+x1Cb4)/2作为关注位置(第3行第3列)的色差成分 Cb的图像数据。此外，v1、x1为根据参照位置和关注位置之间的距离及图像构造设置的加权系数。
关于图10的(c)中粗框所示的关注位置(第3行第4列)，生成色差成分的图像数据Cb的情况也相同。
图10的(c)中，粗框(第3行第4列)所示的位置为色差成分 Cb的关注位置。另外，图10的(c)中的色差成分的图像数据Cb2、 Cb4～Cb6为用于对关注位置(第3行第4列)的像素进行图像处理的参照位置。图10的(c)中，在关注位置(第3行第4列)使用第二摄像条件。另外，在所有的参照位置的图像数据Cb2、Cb4～Cb6 应用第二摄像条件。因此，图像处理部33(生成部33c)参照位于关注位置(第3行第4列)的附近的色差成分的图像数据Cb2、Cb4～Cb6而算出关注位置(第3行第4列)的色差成分Cb的图像数据。
图像处理部33(生成部33c)通过在各像素位置得到色差成分Cb 的图像数据后，与各像素位置相对应地加上图8的(c)所示的G色成分的图像数据，由此能够在各像素位置得到B色成分的图像数据。
(3)轮廓强调处理
说明轮廓强调处理的一例。图像处理部33(生成部33c)例如在 1帧的图像中进行使用了以关注像素P(处理对象像素)为中心的规定尺寸的内核的公知的线性滤波器(Linear filter)运算。在作为线性滤波器的一例的锐化滤波器的内核尺寸为N×N像素的情况下，关注像素P的位置为关注位置，包围关注像素P的(N2－1)个参照像素的位置为参照位置。
此外，内核尺寸也可以为N×M像素。
图像处理部33(生成部33c)一边例如从帧图像的上部的水平线向下部的水平线在各水平线上使关注像素从左向右移位一边进行由线性滤波器运算结果置换关注像素P的图像数据的滤波处理。
在本实施方式中，图像处理部33(选择部33b)在应用了与应用于关注像素P的第一摄像条件不同的第二摄像条件的像素包含于上述参照像素的情况下，从参照像素的图像数据中选择应用了第一摄像条件的图像数据。之后，图像处理部33(生成部33c)参照所选择的图像数据进行上述的线型滤波处理。
(4)噪声降低处理
说明噪声降低处理的一例。图像处理部33(生成部33c)例如在1帧的图像中进行使用了以关注像素P(处理对象像素)为中心的规定尺寸的内核的公知的线性滤波器(Linearfilter)运算。在作为线性滤波器的一例的平滑滤波器的内核尺寸为N×N像素的情况下，关注像素P的位置为关注位置，包围关注像素P的(N2－1)个参照像素的位置为参照位置。
此外，内核尺寸也可以为N×M像素。
图像处理部33(生成部33c)一边例如从帧图像的上部的水平线朝向下部的水平线在各水平线上使关注像素从左向右移位一边进行由线性滤波器运算结果置换关注像素P的图像数据的滤波处理。
在本实施方式中，图像处理部33(选择部33b)在应用了与应用于关注像素P的第一摄像条件不同的第二摄像条件的像素包含于上述参照像素的情况下，从参照像素的图像数据中选择应用了第一摄像条件的图像数据。之后，图像处理部33(生成部33c)参照所选择的图像数据进行上述的线型滤波处理。
如上所述，图像处理部33(选择部33b)在应用了与应用于关注像素P的第一摄像条件不同的第二摄像条件的像素包含于上述参照像素的情况下，从参照像素的图像数据中选择应用了第一摄像条件的图像数据。而且，之后，图像处理部33(生成部33c)参照所选择的图像数据进行像素缺陷修正处理、颜色插补处理、轮廓强调处理、噪声降低处理等图像处理。图像处理部33(选择部33b)对来自从摄像元件输出的其它像素的图像数据(也包含应用了第二摄像条件的图像数据)也进行同样的处理而生成图像。所生成的图像显示于显示装置等显示部。
2.进行焦点检测处理的情况
控制部34(AF运算部34d)使用与摄像画面的规定的位置(焦点检测位置)对应的图像数据进行焦点检测处理。控制部34(AF运算部34d)在划分后的区域间设定不同的摄像条件，在AF动作的焦点检测位置位于被划分的区域的边界部分的情况下，对位于区域的边界附近的焦点检测用的图像数据进行作为焦点检测处理的前处理的数据选择处理。
数据选择处理是为了抑制因在设定部34b划分的摄像画面的区域间摄像条件不同而使得焦点检测处理的精度降低的情况而进行的。例如，在图像中检测像偏移量(相位差)的焦点检测位置的焦点检测用的图像数据位于划分后的区域的边界附近的情况下，有时在焦点检测用的图像数据中混合存在应用了不同的摄像条件的图像数据。在本实施方式中，相较于直接参照应用了不同的摄像条件的参照位置的图像数据来进行像偏移量(相位差)的检测，优选使用应用了相同的摄像条件的图像数据来进行像偏移量(相位差)的检测，基于这种优选的考虑方法，如下进行数据选择处理。
＜焦点检测处理的示例＞
示例伴随数据选择处理的焦点检测处理。就本实施方式的AF动作而言，例如向与用户从多个焦点检测位置中选择的焦点检测位置对应的被摄体对焦。控制部34(AF运算部34d)通过检测基于从摄像光学系统31的不同的光瞳区域通过的光束的多个被摄体像的像偏移量(相位差)，算出摄像光学系统31的散焦量。控制部34(AF运算部34d)使摄像光学系统31的聚焦透镜向将散焦量设为零(容许值以下)的位置、即对焦位置移动。
图11是示例摄像元件32a的摄像面上的焦点检测用像素的位置的图。在本实施方式中，沿着摄像芯片111的X轴方向(水平方向) 离散地并排设置有焦点检测用像素。在图11的例子中，以规定的间隔设置15个焦点检测像素线160。构成焦点检测像素线160的焦点检测用像素输出焦点检测用的光电转换信号。在摄像芯片111上，在焦点检测像素线160以外的像素位置设置有通常的拍摄用像素。拍摄用像素输出实时取景图像及记录用的光电转换信号。
图12是将与图11所示的焦点检测位置80A对应的上述焦点检测像素线160的一部分区域放大了的图。图12中，示例红色像素R、绿色像素G(Gb、Gr)、及蓝色像素B、和焦点检测用像素S1、及焦点检测用像素S2。红色像素R、绿色像素G(Gb、Gr)、及蓝色像素B按照上述的拜耳排列的规则来配置。
针对红色像素R、绿色像素G(Gb、Gr)、及蓝色像素B示例出的正方形状的区域表示拍摄用像素的受光区域。各拍摄用像素接收穿过摄像光学系统31(图1)的射出光瞳的光束。即，红色像素R、绿色像素G(Gb、Gr)、及蓝色像素B分别具有正方形状的掩模开口部，穿过了这些掩模开口部的光到达拍摄用像素的受光部。
此外，红色像素R、绿色像素G(Gb、Gr)、及蓝色像素B的受光区域(掩模开口部)的形状不限于四边形，例如也可以为圆形。
针对焦点检测用像素S1、及焦点检测用像素S2示例出的半圆形状的区域表示焦点检测用像素的受光区域。即，焦点检测用像素S1 在图12中，在像素位置的左侧具有半圆形状的掩模开口部，从该掩模开口部通过的光到达焦点检测用像素S1的受光部。另一方面，焦点检测用像素S2在图12中，在像素位置的右侧具有半圆形状的掩模开口部，从该掩模开口部通过的光到达焦点检测用像素S2的受光部。这样，焦点检测用像素S1及焦点检测用像素S2分别接受从摄像光学系统31(图1)的射出光瞳的不同的区域通过的一对光束。
此外，摄像芯片111上的焦点检测像素线160的位置不限于图11 所示例的位置。另外，关于焦点检测像素线160的数量，也不限于图11的例子。进而，焦点检测用像素S1及焦点检测用像素S2的掩模开口部的形状不限于半圆形，例如也可以为对拍摄用像素R、拍摄用像素G、拍摄用像素B的四边形状受光区域(掩模开口部)沿横向进行划分后的长方形状。
另外，摄像芯片111的焦点检测像素线160也可以为沿着摄像芯片111的Y轴方向(垂直方向)并排设置有焦点检测用像素的像素线。如图12，将拍摄用像素和焦点检测用像素二维状排列的摄像元件是众所周知的，这些像素的详细图示及说明省略。
此外，在图12的例子中，说明了焦点检测用像素S1、S2分别接受焦点检测用的一对光束的一方的结构。取而代之的是也可以为焦点检测用像素分别接受焦点检测用的一对光束双方的结构。通过设为焦点检测用像素分别接受焦点检测用的一对光束双方的结构，能够将通过焦点检测用像素得到的光电转换信号用作记录用的光电转换信号。
控制部34(AF运算部34d)基于从焦点检测用像素S1及焦点检测用像素S2输出的焦点检测用的光电转换信号(信号数据)，检测基于从摄像光学系统31(图1)的不同的区域通过的一对光束的一对像的像偏移量(相位差)。然后，基于像偏移量(相位差)运算散焦量。这种基于光瞳分割相位差方式的散焦量运算在相机领域是众所周知的，因此省略详细的说明。
焦点检测位置80A(图11)在图7的(a)所示例的实时取景图像60a中，在与区域61的边界附近的区域80对应的位置由用户进行选择。图13是放大了焦点检测位置80A的图。空白的像素表示设定了第一摄像条件，网格的像素表示设定了第二摄像条件。图13中，由框170包围的位置与焦点检测像素线160(图11)对应。
控制部34(AF运算部34d)通常不使用数据选择处理而直接使用框170表示的焦点检测用像素的焦点检测用的信号数据进行焦点检测处理。但是，在由框170包围的焦点检测用的信号数据中混合存在应用了第一摄像条件的焦点检测用的信号数据和应用了第二摄像条件的焦点检测用的信号数据的情况下，控制部34(AF运算部34d) 如以下的(例1)～(例3)那样从由框170包围的焦点检测用的信号数据中选择用于焦点检测处理的第一摄像条件的焦点检测用的信号数据。而且，控制部34(AF运算部34d)使用数据选择处理后的焦点检测用的信号数据进行焦点检测处理。图13中，从用空白表示的像素输出的数据为第一摄像条件的焦点检测用的信号数据，从由斜线表示的像素输出的数据为第二摄像条件的焦点检测用的信号数据。在本实施方式中，由于未选择第二摄像条件的焦点检测用的信号数据，从而焦点检测处理未使用从由斜线表示的像素输出的焦点检测用的信号数据。
(例1)
控制部34(AF运算部34d)例如在第一摄像条件和第二摄像条件之间仅使ISO感光度不同，第一摄像条件的ISO感光度为100且第二摄像条件的ISO感光度为800的情况下，从由框170包围的图像数据中选择用于焦点检测处理的第一摄像条件的焦点检测用的信号数据。即，焦点检测处理未使用由框170包围的焦点检测用的信号数据中的、与第一摄像条件不同的第二摄像条件的焦点检测用的信号数据。
(例2)
控制部34(AF运算部34d)例如在第一摄像条件和第二摄像条件之间仅使快门速度不同，第一摄像条件的快门速度为1/1000秒且第二摄像条件的快门速度为1/100秒的情况下，从由框170包围的焦点检测用的信号数据中选择用于焦点检测处理的第一摄像条件的焦点检测用的信号数据。即，焦点检测处理未使用由框170包围的焦点检测用的信号数据中的、与第一摄像条件不同的第二摄像条件的焦点检测用的信号数据。
(例3)
控制部34(AF运算部34d)例如在第一摄像条件和第二摄像条件之间仅帧频不同电荷蓄积时间相同)，第一摄像条件的帧频为30fps 且第二摄像条件的帧频为60fps的情况下，从由框170包围的焦点检测用的信号数据中选择用于焦点检测处理的第一摄像条件的焦点检测用的信号数据。即，焦点检测处理未使用由框170包围的焦点检测用的信号数据中的、在与第一摄像条件的图像数据不同的定时取得的第二摄像条件的焦点检测用的信号数据。
另一方面，控制部34(AF运算部34d)在由框170包围的焦点检测用的信号数据中应用的摄像条件相同的情况下，不进行上述数据选择处理。即，控制部34(AF运算部34d)直接使用由框170表示的焦点检测用像素的焦点检测用的信号数据进行焦点检测处理。
此外，如上所述，即使摄像条件存在稍微的差异也能够看作是相同的摄像条件。
另外，在上述的例子中，对从由框170包围的焦点检测用的信号数据中选择第一摄像条件的焦点检测用的信号数据的例子进行说明，但也可以选择由框170包围的焦点检测用的信号数据中的第二摄像条件的焦点检测用的信号数据。
在上述的例子中，因为是指定设定了第一摄像条件的区域进行焦点检测的例子，所以对选择第一摄像条件的焦点检测用的光电转换信号的例子进行说明。对应对焦的被摄体遍及设定了第一摄像条件的区域和设定了第二摄像条件的区域存在的情况的一例进行说明。在应对焦的被摄体遍及设定了第一摄像条件的区域和设定了第二摄像条件的区域存在的情况下，控制部34(AF运算部34d)从由框170包围的焦点检测用的光电转换信号中选择用于焦点检测处理的第一摄像条件的焦点检测用的光电转换信号。然后，控制部34(AF运算部34d) 根据所选择的焦点检测用的光电转换信号算出第一散焦量。进而，控制部34(AF运算部34d)从由框170包围的焦点检测用的光电转换信号中选择用于焦点检测处理的第二摄像条件的焦点检测用的光电转换信号。然后，控制部34(AF运算部34d)根据所选择的焦点检测用的光电转换信号算出第二散焦量。然后，控制部34(AF运算部 34d)使用第一散焦量和第二散焦量进行焦点检测处理。具体而言，例如，控制部34(AF运算部34d)算出第一散焦量和第二散焦量的平均值，且算出透镜的移动距离。另外，控制部34(AF运算部34d) 也可以选择第一散焦量和第二散焦量中、透镜的移动距离更小的一方的值。另外，控制部34(AF运算部34d)也可以从第一散焦量和第二散焦量中选择表示被摄体更为极近侧的值。
另外，在应对焦的被摄体跨过设定了第一摄像条件的区域和设定了第二摄像条件的区域存在的情况下，控制部34(AF运算部34d) 也可以选择被摄体区域的面积大的一方的区域，且选择焦点检测用的光电转换信号。例如，对焦的被摄体的面部的面积在设定了第一摄像条件的区域占70％、且在第二区域占30％的情况下，控制部34(AF 运算部34d)选择第一摄像条件的焦点检测用的光电转换信号。此外，在上述的面积上，关于比率(百分率)进行了示例，但不限于此。
在以上的说明中，示例了使用光瞳分割相位差方式的焦点检测处理，但基于被摄体像的对比度的大小使摄像光学系统31的聚焦透镜向对焦位置移动的对比度检测方式的情况也同样进行。
在使用对比度检测方式的情况下，控制部34一边使摄像光学系统31的聚焦透镜移动，一边在聚焦透镜各自的位置基于从与焦点检测位置对应的摄像元件32a的拍摄用像素输出的图像数据进行公知的焦点评价值运算。然后，求出将焦点评价值设为最大的聚焦透镜的位置作为对焦位置。
控制部34通常不进行数据选择处理而直接使用从与焦点检测位置对应的拍摄用像素输出的图像数据进行焦点评价值运算。但是，在与焦点检测位置对应的图像数据中混合存在应用了第一摄像条件的图像数据和应用了第二摄像条件的图像数据的情况下，控制部34选择与焦点检测位置对应的图像数据中的第一摄像条件的图像数据、或第二摄像条件的图像数据。然后，控制部34使用数据选择处理后的图像数据进行焦点评价值运算。此外，如上所述，在应对焦的被摄体跨过设定了第一摄像条件的区域和设定了第二摄像条件的区域存在的情况下，控制部34(AF运算部34d)也可以选择被摄体区域的面积大的一方的区域，且选择焦点检测用的信号数据。
3.进行被摄体检测处理的情况
图14的(a)是示例表示要检测的对象物的模板图像180的图，图14的(b)是示例实时取景图像60(a)及搜索范围190的图。控制部34(物体检测部34a)从实时取景图像中检测对象物(例如图5 的作为被摄体要素之一的包63a)。控制部34(物体检测部34a)可以将实时取景图像60a的整个范围作为检测对象物的范围，但为了减轻检测处理，也可以将实时取景图像60a的一部分作为搜索范围190。
控制部34(物体检测部34a)在划分后的区域间设定不同的摄像条件，在搜索范围190包含划分后的区域的边界的情况下，对位于区域的边界附近的图像数据进行作为被摄体检测处理的前处理的数据选择处理。
数据选择处理是为了抑制因在设定部34b划分的摄像画面的区域间摄像条件不同而使被摄体要素的检测处理的精度降低而进行的。通常，在用于被摄体要素的检测的搜索范围190包含划分后的区域的边界的情况下，有时在搜索范围190的图像数据中混合存在应用了不同的摄像条件的图像数据。在本实施方式中，相较于直接使用应用了不同的摄像条件的图像数据来进行被摄体要素的检测，优选使用应用了相同的摄像条件的图像数据来进行被摄体要素的检测，基于这种优选的考虑方法，如下进行数据选择处理。
在图5所示例的实时取景图像60a中，对检测作为人物61a的所有物即包63a的情况进行说明。控制部34(物体检测部34a)在包含人物61a的区域的附近设定搜索范围190。此外，也可以在搜索范围设定包含人物61a的区域61。
控制部34(物体检测部34a)在搜索范围190未被摄像条件不同的两个区域分割的情况下，不进行数据选择处理而直接使用构成搜索范围190的图像数据来进行被摄体检测处理。但是，假如在搜索范围 190的图像数据中混合存在应用了第一摄像条件的图像数据和应用了第二摄像条件的图像数据的情况下，控制部34(物体检测部34a)与进行上述的焦点检测处理的情况下的(例1)～(例3)同样地从搜索范围190的图像数据中选择用于被摄体检测处理的第一摄像条件的图像数据。然后，控制部34(物体检测部34a)使用数据选择处理后的图像数据对设定了第一摄像条件的区域进行被摄体检测处理。在此，被摄体检测处理例如是求模板图像180和所选择的第一摄像条件的图像数据的类似度而进行检测的处理(所谓的模板匹配)。进而，控制部34(物体检测部34a)从搜索范围190的图像数据中选择用于被摄体检测处理的第二摄像条件的图像数据。然后，控制部34(物体检测部34a)使用数据选择处理后的图像数据对设定了第二摄像条件的区域进行与上述相同的被摄体检测处理。这样，控制部34(物体检测部34a)进行搜索范围190内的被摄体检测。然后，通过使使用第一摄像条件的图像数据检测到的被摄体区域和使用第二摄像条件的图像数据检测到的被摄体区域的边界对齐，能够检测搜索范围190内的被摄体检测。此外，在上述的例子中，对控制部34(物体检测部 34a)使用第一摄像条件的图像数据及第二摄像条件的图像数据的情况进行了说明，但也可以使用仅任意一方的图像数据来进行被摄体的检测。例如，在搜索范围190内设定有设定了第一摄像条件的区域和设定了第二摄像条件的区域，但在设定了第一摄像条件的区域占大多数的情况等下，也可以仅使用第一摄像条件的图像数据进行被摄体的检测。在此，设定了第一摄像条件的区域占大多数例如是指设定了第一摄像条件的区域的面积为7成以上。另外，不限于7成以上，设定了第一摄像条件的区域的面积也可以为8成以上、或9成以上。当然，设定了第一摄像条件的区域的面积的比例不限于此，可以适宜变更。
上述的对搜索范围190的图像数据的数据选择处理也可以对用于检测人物的面部那种特定被摄体的搜索范围、或用于拍摄场景的判定的区域应用。例如，控制部34(物体检测部34a)在从搜索范围190 内检测到人物的面部的情况下，从搜索范围190的图像数据中选择用于被摄体检测处理的第一摄像条件的图像数据。然后，控制部34(物体检测部34a)对设定了第一摄像条件的区域进行公知的面部检测处理。进而，控制部34(物体检测部34a)从搜索范围190的图像数据中选择用于被摄体检测处理的第二摄像条件的图像数据。然后，控制部34(物体检测部34a)对设定了第二摄像条件的区域进行公知的面部检测处理。而且，控制部34(物体检测部34a)通过使在设定了第一摄像条件的区域内检测到的面部区域和在设定了第二摄像条件的区域内检测到的面部区域的边界对齐，根据搜索范围190的图像数据进行面部检测。
另外，上述的对搜索范围190的图像数据的数据选择处理不限于用于使用了模板图像的图案匹配法的搜索范围，在检测基于图像的颜色或边缘等的特征量时的搜索范围也能够同样地应用。
另外，通过使用取得时刻不同的多个帧的图像数据实施公知的模板匹配处理，也可以将与先取得的帧图像中的跟踪对象物类似的区域适用于自后取得的帧图像搜索的移动体的跟踪处理。该情况下，控制部34在设定于后取得的帧图像的搜索范围内，在应用了第一摄像条件的图像数据和应用了第二摄像条件的图像数据混合存在的情况下，从搜索范围的图像数据中选择用于跟踪处理的第一摄像条件的图像数据。而且，控制部34使用数据选择处理后的图像数据对设定了第一摄像条件的区域进行跟踪处理。之后，也可以与上述同样地从搜索范围的图像数据中选择用于跟踪处理的第二摄像条件的图像数据，控制部34使用数据选择处理后的图像数据对设定了第二摄像条件的区域进行跟踪处理。
进而，使用取得时刻不同的多个帧的图像数据检测公知的运动矢量的情况也相同。控制部34在用于运动矢量的检测的检测区域，在应用了第一摄像条件的图像数据和应用了第二摄像条件的图像数据混合存在的情况下，从用于运动矢量的检测的检测区域的图像数据中选择用于检测处理的第一摄像条件的图像数据。而且，控制部34使用数据选择处理后的图像数据对设定了第一摄像条件的区域检测运动矢量。之后，也可以与上述同样地从搜索范围的图像数据中选择用于运动矢量检测处理的第二摄像条件的图像数据，控制部34使用数据选择处理后的图像数据对设定了第二摄像条件的区域进行运动矢量检测处理。控制部34也可以根据从设定了第一摄像条件的区域检测到的运动矢量和从设定了第二摄像条件的区域检测到的运动矢量求出图像整体的运动矢量，也可以设为针对每一个区域的运动矢量。
4.设定摄像条件的情况
控制部34(设定部34b)划分摄像画面的区域，在划分后的区域间设定了不同的摄像条件的状态下重新进行测光而决定曝光条件的情况下，对于位于区域的边界附近的图像数据，进行作为设定曝光条件的前处理的数据选择处理。
数据选择处理是为了抑制因在设定部34b划分的摄像画面的区域间摄像条件不同而使得决定曝光条件的处理的精度降低而进行的。例如，有时在设定于摄像画面的中央部的测光范围包含划分后的区域的边界的情况下，在测光范围的图像数据中混合存在应用了不同的摄像条件的图像数据。在本实施方式中，相较于直接使用应用了不同的摄像条件的图像数据来进行曝光运算处理，优选使用应用了相同的摄像条件的图像数据来进行曝光运算处理，基于这种优选的考虑方法，如下进行数据选择处理。
控制部34(设定部34b)在测光范围未被摄像条件不同的多个区域分割的情况下，不进行数据选择处理而直接使用构成测光范围的图像数据进行曝光运算处理。但是，假如在测光范围的图像数据中混合存在应用了第一摄像条件的图像数据和应用了第二摄像条件的图像数据的情况下，控制部34(设定部34b)与进行上述的焦点检测处理或被摄体检测处理的情况的(例1)～(例3)同样地从测光范围的图像数据中选择用于曝光运算处理的第一摄像条件的图像数据。然后，控制部34(设定部34b)使用数据选择处理后的图像数据进行对设定了第一摄像条件的区域的曝光运算处理。然后，控制部34(设定部34b)从测光范围的图像数据中选择用于曝光运算处理的第二摄像条件的图像数据。然后，控制部34(设定部34b)使用数据选择处理后的图像数据进行对设定了第二摄像条件的区域的曝光运算处理。这样，控制部34(设定部34b)在测光范围存在摄像条件不同的多个区域的情况下，进行用于对各区域进行测光的数据选择处理，并使用数据选择处理的图像数据进行曝光运算处理。
另外，在测光范围跨过设定了第一摄像条件的区域和设定了第二摄像条件的区域存在的情况下，控制部34(设定部34b)也可以与上述的焦点检测或被摄体检测的情况同样地选择面积大的一方的区域。
不限于上述的进行曝光运算处理时的测光范围，在决定白平衡调整值时进行的测光(测色)范围、在决定是否需要使基于发出拍摄辅助光的光源的拍摄辅助光发光时进行的测光范围、以及在决定上述光源的拍摄辅助光的发光量时进行的测光范围也是相同的。
另外，在划分了摄像画面的区域间使光电转换信号的读出分辨率不同的情况下，对于决定每一个区域的读出分辨率时进行的拍摄场景的判定中使用的区域也能够同样地进行处理。
＜流程的说明＞
图15是说明对每一个区域设定摄像条件进行拍摄的处理的流程的流程图。当对相机1的主开关进行接通操作时，控制部34使执行图15所示的处理的程序启动。在步骤S10中，控制部34使显示部 35开始实时取景显示，进入步骤S20。
具体而言，控制部34将对从摄像部32逐次输出的图像数据实施了规定的图像处理的图像作为实时取景图像逐次显示于显示部35。如上所述，在该时间点，在摄像芯片111的整个范围、即画面的整体上设定有同一摄像条件。
此外，在实时取景显示中进行了进行AF动作的设定的情况下，控制部34(AF运算部34d)通过进行焦点检测处理，控制使与规定的焦点检测位置对应的被摄体要素对准焦点的AF动作。AF运算部 34d根据需要在进行上述数据选择处理后进行焦点检测处理。
另外，在实时取景显示中未进行进行AF动作的设定的情况下，控制部34(AF运算部34d)在之后指示了AF动作的时间点进行AF 动作。
在步骤S20中，控制部34(物体检测部34a)从实时取景图像检测被摄体要素并进入步骤S30。物体检测部34a根据需要在进行了上述数据选择处理后进行被摄体检测处理。在步骤S30中，控制部34 (设定部34b)将实时取景图像的画面划分成包含被摄体要素的区域，进入步骤S40。
在步骤S40中，控制部34在显示部35进行区域的显示。如图6 所示例，控制部34使划分后的区域中的成为摄像条件的设定(变更) 的对象的区域强调显示。另外，控制部34使显示部35显示摄像条件的设定画面70，进入步骤S50。
此外，控制部34在用户的手指单击操作了显示画面上的其它主要被摄体的显示位置的情况下，将包含该主要被摄体的区域变更为成为摄像条件的设定(变更)的对象的区域强调显示。
在步骤S50中，控制部34判定是否需要AF动作。控制部34例如在因被摄体移动而使焦点调节状态变化的情况、通过用户操作而变更了焦点检测位置的位置的情况、或通过用户操作指示了AF动作的执行的情况下，在步骤S50中判定为肯定，进入步骤S70。控制部34在不使焦点调节状态变化，通过用户操作不变更焦点检测位置的位置，通过用户操作也不指示AF动作的执行的情况下，在步骤S50判定为否定，进入步骤60。
在步骤S70中，控制部34进行AF动作，返回步骤S40。AF运算部34d根据需要在进行了上述数据选择处理后进行作为AF动作的焦点检测处理。返回到步骤S40的控制部34基于AF动作后取得的实时取景图像，重复与上述的处理相同的处理。
在步骤S60中，控制部34(设定部34b)根据用户操作设定相对于强调显示的区域的摄像条件，进入步骤S80。此外，与步骤S60中的用户操作对应的显示部35的显示迁移或摄像条件的设定如上所述。控制部34(设定部34b)根据需要在进行上述数据选择处理后进行曝光运算处理。
在步骤S80中，控制部34判定有无拍摄指示。控制部34在操作构成操作部件36的未图示的释放按钮、或指示拍摄的显示图标的情况下，在步骤S80中判定为肯定，进入步骤S90。控制部34在未进行拍摄指示的情况下，在步骤S80中判定为否定，返回步骤S60。
在步骤S90中，控制部34进行规定的拍摄处理。即，摄像控制部34c以利用对上述每一个区域设定的摄像条件进行拍摄的方式控制摄像元件32a，进入步骤S100。
在步骤S100中，控制部34(摄像控制部34c)向图像处理部33 发送指示，对于通过上述拍摄得到的图像数据进行规定的图像处理，进入步骤S110。图像处理包含上述像素缺陷修正处理、颜色插补处理、轮廓强调处理、噪声降低处理。
此外，图像处理部33(选择部33b)根据需要在对位于区域的边界附近的图像数据进行了数据选择处理后，进行图像处理。
在步骤S110中，控制部34向记录部37发送指示，将图像处理后的图像数据记录于未图示的记录介质，进入步骤S120。
在步骤S120中，控制部34判定是否进行了结束操作。在进行了结束操作的情况下，控制部34在步骤S120中判定为肯定，结束图 15的处理。在未进行结束操作的情况下，控制部34在步骤S120中判定为否定，返回步骤S20。在返回了步骤S20的情况下，控制部34 重复上述的处理。
在以上的说明中，作为摄像元件32a，示例了层叠型的摄像元件 100，但只要能够对摄像元件(摄像芯片111)的多个区块各自设定摄像条件即可，不需要构成为层叠型的摄像元件。
根据上述的实施方式，得到如下作用效果。
(1)具备图像处理装置的相机1具备：图像处理部33(输入部 33a)，其输入根据以第一摄像条件拍摄入射到摄像部32的第一区域的被摄体像而生成的第一图像数据、和根据以与第一摄像条件不同的第二摄像条件拍摄入射到摄像部32的第二区域的被摄体像而生成的第二图像数据；选择部33b，其选择被输入至输入部33a的第一图像数据及第二图像数据中的一方的图像数据；图像处理部(生成部33)，其使显示部35显示根据所选择的选择图像数据而生成的图像。由此，能够在摄像条件不同的区域分别适宜地进行处理。即，能够适宜生成在各区域分别生成的基于图像数据的图像。例如，能够抑制因每一个区域的摄像条件的不同而在生成的图像中出现的不适感。
(2)相机1的生成部33c在包含第一图像数据及第二图像数据的图像的各像素的位置，使用上述各像素的周边的规定的参照像素的图像数据生成图像，选择部33b在上述各像素的位置，选择第一图像数据及第二图像数据中的一图像数据作为上述参照像素的图像数据。由此，能够在摄像条件不同的区域分别适宜地进行处理。
(3)相机1的选择部33b选择第一图像数据及第二图像数据中、根据以与上述各像素共用的摄像条件进行拍摄而生成的图像数据。由此，能够在摄像条件不同的区域分别适宜地进行处理。
(4)相机1的选择部33b还在上述参照像素以外的其它像素中，选择根据以与上述各像素共用的摄像条件进行拍摄而生成的图像数据。由此，能够在摄像条件不同的区域分别适宜地进行处理。
(5)相机1的选择部33b在所有的图像数据为第一图像数据的情况下，选择所有的图像数据，在所有的图像数据为第二图像数据的情况下，选择所有的图像数据，在图像数据包含第一图像数据和第二图像数据的情况下，选择第一图像数据或第二图像数据。由此，能够在摄像条件不同的区域分别适宜地进行处理。
(6)相机1的第一摄像条件及第二摄像条件至少包含蓄积时间或ISO感光度，因此，能够在电荷蓄积时间、拍摄感光度不同的区域分别适宜地进行处理。
(7)相机1的生成部33c至少作为像素缺陷修正处理、颜色插补处理、轮廓强调处理、或噪声降低处理，生成第三图像数据。由此，能够在摄像条件不同的区域分别适宜地生成实施了像素缺陷修正处理、颜色插补处理、轮廓强调处理、或噪声降低处理的图像数据。
(第二实施方式)
第一实施方式的进行图像处理的情况下的图像数据选择处理在于关注像素P中应用的摄像条件(设为第一摄像条件)和在关注像素P的周围的参照像素中应用的摄像条件(设为第二摄像条件)不同的情况下，图像处理部33(选择部33b)从位于规定范围90的内侧的像素的图像数据中选择应用了与关注像素共同的第一摄像条件的图像数据，图像处理部33(生成部33c)参照所选择的图像数据。
在第二实施方式中，图像处理部33(选择部33b)也从位于规定范围90的外侧的像素的图像数据中选择应用了与关注像素共同的第一摄像条件的图像数据，增加通过图像处理部33(生成部33c)参照的数据数。即，图像处理部33(选择部33b)变更选择的位置，选择应用了第一摄像条件的图像数据。
图7的(d)是第二实施方式的关注像素P及参照像素的放大图。图7的(d)中，以关注像素P为中心的规定范围90中，从用空白表示的像素输出的数据为第一摄像条件的图像数据，从用斜线表示的像素输出的数据为第二摄像条件的图像数据。即使是位于规定范围90的内侧的像素的图像数据，但应用了第二摄像条件的像素(斜线)的图像数据则图像处理部33(选择部33b)就不选择，在这一点上与第一实施方式相同。
在第二实施方式中，如图7的(d)所示例的那样，图像处理部 33(选择部33b)除选择位于规定范围90的内侧并应用了第一摄像条件的空白的像素的图像数据之外，还选择位于规定范围90的外侧并应用了第一摄像条件的空白的像素的图像数据。图像处理部33(生成部33c)参照这样选择的图像数据，进行图像处理。在上述的例子中，从关注像素P的位置至规定范围90的内侧的第二摄像条件的图像数据的位置为止的距离比从关注像素P的位置至位于规定范围90的外侧并应用了第一摄像条件的空白的像素的图像数据的位置为止的距离长。这样，图像处理部33(生成部33c)也可以不选择距关注像素 P的位置的距离短的第二摄像条件的图像数据而选择距关注像素P的位置的距离长的第一摄像条件的图像数据。
此外，相较于远离规定范围90的位置的像素的图像数据，图像处理部33(选择部33b)优先选择更接近规定范围90的位置的像素的图像数据。其理由是因为，接近规定范围90的位置的像素相较于远离规定范围90的位置的像素，具有与关注像素P共用的图像信息的可能性高。
另外，图像处理部33(选择部33b)例如在将规定范围90的一边的长度设为L的情况下，选择距上述用斜线表示的像素的距离为L 以下的空白的像素(即应用第一摄像条件)的图像数据。其理由是因为，如果与规定范围90相距过大，则具有与关注像素P共用的图像信息的可能性低，因此，优选在参照数据中不含有这种像素的数据。
＜图像处理的示例＞
示例第二实施方式的图像处理。
(1)像素缺陷修正处理
图像处理部33(选择部33b)在对关注像素P和以关注像素P为中心的规定范围90所包含的像素的全部像素中应用了相同的摄像条件的情况下，将位于规定范围90的内侧的像素的图像数据全部选择。之后，参照所选择的图像数据，图像处理部33(生成部33c)进行Max、Min滤波处理。此外，也可以取得所选择的图像数据的平均，进行像素缺陷修正处理。
如图7的(d)所示，图像处理部33(选择部33b)在拍摄时对关注像素P应用了与所应用的第一摄像条件不同的第二摄像条件的像素包含于以关注像素P为中心的规定范围90的情况下，选择位于规定范围90的内侧并应用了第一摄像条件的像素的图像数据。进而，选择位于规定范围90的外侧并应用了第一摄像条件的空白的像素的图像数据。图像处理部33(生成部33c)参照这样选择的图像数据进行上述的Max、Min滤波处理。此外，也可以取得所选择的图像数据的平均，进行像素缺陷修正处理。
图像处理部33针对非易失性存储器中记录有位置信息的所有像素缺陷进行这种处理。
(2)颜色插补处理
＜G颜色插补＞
说明第二实施方式的G颜色插补。与第一实施方式的情况相同，在图8的(a)～图8的(c)中，例如，相对于粗线，在左及上的区域应用第一摄像条件，相对于粗线，在右及下的区域应用第二摄像条件。
在图8的(b)的例子中，在与用斜线表示的G色成分的图像数据G4对应的参照位置应用与应用于关注位置(第2行第2列)的第一摄像条件不同的第二摄像条件。图像处理部33(选择部33b)从G 色成分的图像数据G1～G4中选择应用了第一摄像条件的图像数据 G1～G3。进而，图像处理部33(选择部33b)选择位于与数据G4对应的参照位置的附近并应用了第一摄像条件的G色成分的图像数据 G6。即，相对于第一实施方式，图像处理部33(选择部33b)变更选择图像数据的位置，选择应用了第一摄像条件的图像数据。
此外，在数据G6的位置也应用了第二摄像条件的情况下，也可以从数据G6的附近位置的图像数据中选择应用了第一摄像条件的数据。
图像处理部33(生成部33c)参照这样选择的图像数据，算出关注位置(第2行第2列)的G色成分的图像数据。图像处理部33(生成部33c)例如将(a2G1+b2G2+c2G3+d2G6)/4作为关注位置(第 2行第2列)的G色成分的图像数据。此外，a2、b2、c2、及d2为根据参照位置和关注位置之间的距离及图像构造设置的加权系数。
图像处理部33(生成部33c)通过在图8的(a)的B色成分的位置及R色成分的位置分别生成G色成分的图像数据，如图8的(c) 所示，在各像素位置得到G色成分的图像数据。
＜R颜色插补＞
说明第二实施方式的R颜色插补。与第一实施方式的情况同样地，在图9的(a)～图9的(c)中，例如，相对于粗线，在左及上的区域应用第一摄像条件，相对于粗线，在右及下的区域应用第二摄像条件。
图像处理部33(选择部33b)在图9的(b)的例子中，在与用斜线表示的色差成分Cr的图像数据Cr2对应的参照位置应用了与应用于用粗框(第2行第2列)表示的关注位置的第一摄像条件不同的第二摄像条件。因此，图像处理部33(选择部33b)从色差成分的图像数据Cr1～Cr4中选择应用了第一摄像条件的图像数据Cr1、Cr3～ Cr4。进而，图像处理部33(选择部33b)选择位于与数据Cr2对应的参照位置的附近并应用了第一摄像条件的色差成分Cr的图像数据 Cr15(或Cr16)。即，相对于第一实施方式，图像处理部33(选择部33b)变更选择图像数据的位置，选择应用了第一摄像条件的图像数据。
此外，在数据Cr15或Cr16的位置也应用了第二摄像条件的情况下，也可以从数据Cr15或Cr16的附近位置的图像数据中选择应用了第一摄像条件的数据。
图像处理部33(生成部33c)参照这样选择的图像数据，算出关注位置(第2行第2列)的色差成分的图像数据。图像处理部33(生成部33c)例如将(e3Cr1+f3Cr15+g3Cr3+h3Cr4)/4作为关注位置 (第2行第2列)的色差成分Cr的图像数据。此外，e3、f3、g3及 h3为根据参照位置和关注位置之间的距离及图像构造设置的加权系数。
图9的(c)中，关于用粗框(第2行第3列)表示的关注位置生成色差成分Cr的图像数据的情况也是相同的。图9的(c)的例子中，在与用斜线表示的色差成分Cr的图像数据Cr4及Cr5对应的参照位置应用与应用于关注位置(第2行第3列)的第二摄像条件不同的第一摄像条件。因此，图像处理部33(选择部33b)从色差成分的图像数据Cr2、Cr4～Cr6中选择应用了第二摄像条件的图像数据Cr2 及Cr6。进而，图像处理部33(选择部33b)选择位于与数据Cr4及 Cr5对应的参照位置的附近并应用了第二摄像条件的色差成分Cr的图像数据Cr8及Cr7。即，相对于第一实施方式，图像处理部33(选择部33b)变更选择图像数据的位置，选择应用了第二摄像条件的图像数据。
此外，假如在数据Cr8、Cr7的位置也应用了第一摄像条件的情况下，也可以从数据Cr8及Cr7的附近位置的图像数据中选择应用了第二摄像条件的数据。
图像处理部33(生成部33c)参照这样选择的图像数据，算出关注位置(第2行第3列)的色差成分Cr的图像数据。图像处理部33 (生成部33c)例如将(q3Cr2+r3Cr8+s3Cr7+t3r6)/4作为关注位置的色差成分Cr的图像数据。此外，q3、r3、s3及t3为根据参照位置和关注位置之间的距离及图像构造而设置的加权系数。
图像处理部33(生成部33c)通过在各像素位置得到色差成分Cr 的图像数据后，与各像素位置相对应地加上图8的(c)所示的G色成分的图像数据，由此能够在各像素位置得到R色成分的图像数据。
＜B颜色插补＞
说明第二实施方式的B颜色插补。与第一实施方式的情况相同，在图10的(a)～图10的(c)中，例如，相对于粗线，在左及上的区域应用第一摄像条件，相对于粗线，在右及下的区域应用第二摄像条件。
在图10的(b)的例子中，在与用斜线表示的色差成分Cb的图像数据Cb1及Cb3对应的参照位置应用了与应用于粗框(第3行第3 列)所示的关注位置的第二摄像条件不同的第一摄像条件。因此，图像处理部33(选择部33b)从色差成分的图像数据Cb1～Cb4中选择应用了第二摄像条件的图像数据Cb2及Cb4。进而，图像处理部33 (选择部33b)选择位于与数据Cb1及Cb3对应的参照位置的附近并应用了第二摄像条件的色差成分Cb的图像数据Cb16及Cb17。即，相对于第一实施方式，图像处理部33(选择部33b)变更选择图像数据的位置，选择应用了第二摄像条件的图像数据。
图像处理部33(生成部33c)参照这样选择的图像数据，算出关注位置(第3行第3列)的色差成分的图像数据Cb。图像处理部33 (生成部33c)例如将(u3Cb16+v3Cb2+w3Cb4+x3Cb17)/4作为关注位置(第3行第3列)的色差成分Cb的图像数据。此外，u3、v3、w3、x3为根据参照位置和关注位置之间的距离及图像构造设置的加权系数。
图10的(c)中，关于用粗框表示的关注位置(第3行第4列) 生成色差成分的图像数据Cb的情况也是相同的。
此外，在图10的(c)的例子中，在与位于关注位置(第3行第 4列)的附近的四个色差成分的图像数据Cb2、Cb4～Cb6对应的参照位置应用与关注位置(第3行第4列)相同的第二摄像条件。图像处理部33(生成部33c)参照位于关注位置的附近的四个色差成分的图像数据Cb2、Cb4～Cb6，算出关注位置的色差成分Cb的图像数据。
图像处理部33(生成部33c)通过在各像素位置得到色差成分Cr 的图像数据后，与各像素位置相对应地加上图8的(c)所示的G色成分的图像数据，由此能够在各像素位置得到B色成分的图像数据。
根据以上说明的第二实施方式，除与第一实施方式相同的作用效果外，得到以下的作用效果。即，选择部33b选择参照像素以外的像素、且设定了与像素位置(关注像素的位置)共用的摄像条件的区域的像素的图像数据。由此，例如，能够增加为了生成部33c进行的第三图像数据的生成而参照的数据，适当地进行图像处理。
(第一及第二实施方式的变形例)
如下的变形也在本发明的范围内，也可以将一个或多个变形例与上述的实施方式组合。
(变形例1)
图16的(a)～图16的(c)是示例摄像元件32a的摄像面的第一区域及第二区域的配置的图。根据图16的(a)的例子，第一区域由偶数列构成，第二区域由奇数列构成。即，摄像面被划分成偶数列和奇数列。
根据图16的(b)的例子，第一区域由奇数行构成，第二区域由偶数行构成。即，摄像面被划分成奇数行和偶数行。
根据图16的(c)的例子，第一区域由奇数列的偶数行的区块和偶数列的奇数行的区块构成。另外，第二区域由偶数列的偶数行的区块和奇数列的奇数行的区块构成。即，摄像面被划分成方格图案状。
在图16的(a)～图16的(c)的任一情况下，利用从进行了1 帧的拍摄的摄像元件32a读出的光电转换信号，分别生成基于从第一区域读出的光电转换信号的第一图像及基于从第二区域读出的光电转换信号的第二图像。根据变形例1，第一图像及第二图像被以相同的视角拍摄，包含共用的被摄体像。
变形例1中，控制部34将第一图像用作显示用，同时将第二图像用作检测用。具体而言，控制部34将第一图像作为实时取景图像显示于显示部35。另外，控制部34通过物体检测部34a，使用第二图像进行被摄体检测处理，通过AF运算部34，使用第二图像进行焦点检测处理，通过设定部34b，使用第二图像进行曝光运算处理。
在变形例1中，将在拍摄第一图像的第一区域设定的摄像条件称作第一摄像条件，将在拍摄第二图像的第二区域设定的摄像条件称作第二摄像条件。控制部34也可以使第一摄像条件和第二摄像条件不同。
1.作为一例，控制部34将第一摄像条件设定为适于显示部35进行的显示的条件。第一摄像条件在摄像画面的第一区域整体设为相同。另一方面，控制部34将第二摄像条件设定为适于焦点检测处理、被摄体检测处理、及曝光运算处理的条件。第二摄像条件在摄像画面的第二区域整体也设为相同。
此外，在适于焦点检测处理、被摄体检测处理、及曝光运算处理的条件分别不同的情况下，控制部34也可以使设定于第二区域的第二摄像条件按每一帧而不同。例如，将第1帧的第二摄像条件设为适于焦点检测处理的条件，将第2帧的第二摄像条件设为适于被摄体检测处理的条件，将第3帧的第二摄像条件设为适于曝光运算处理的条件。在这些情况下，各帧中的第二摄像条件在摄像画面的第二区域整体设为相同。
2.作为另外一例，控制部34也可以使设定于第一区域的第一摄像条件不同。就控制部34(设定部34b)而言，设定部34b对被划分的包含被摄体要素在内的每一个区域设定不同的第一摄像条件。另一方面，控制部34将第二摄像条件在摄像画面的第二区域整体设为相同。控制部34将第二摄像条件设定为适于焦点检测处理、被摄体检测处理、及曝光运算处理的条件，但在适于焦点检测处理、被摄体检测处理、及曝光运算处理的条件分别不同的情况下，也可以使设定于第二区域的摄像条件按每一帧而不同。
3.另外，作为另外一例，控制部34将第一摄像条件在摄像画面的第一区域整体设为相同，另一方面，也可以使设定于第二区域的第二摄像条件在摄像画面上不同。例如，设定部34b对被划分的包含被摄体要素在内的每一个区域设定不同的第二摄像条件。在该情况下，在适于焦点检测处理、被摄体检测处理、及曝光运算处理的条件分别不同的情况下，也可以使设定于第二区域的摄像条件按每一帧而不同。
4.进而，作为另外一例，控制部34使设定于第一区域的第一摄像条件在摄像画面上不同，并且使设定于第二区域的第二摄像条件在摄像画面上不同。例如，设定部34b对被划分的包含被摄体要素在内的每一个区域设定不同的第一摄像条件，同时，设定部34b对被划分的包含被摄体要素在内的每一个区域设定不同的第二摄像条件。
图16的(a)～图16的(c)中，也可以使第一区域和第二区域的面积比不同。控制部34例如基于用户进行的操作或控制部34的判断，将第一区域的比率设定为比第二区域高、或将第一区域和第二区域的比率如图16的(a)～图16的(c)所示例设定为同等、或者将第一区域的比率设定为比第二区域低。通过使面积比在第一区域和第二区域不同，能够将第一图像设为比第二图像高精细、或将第一图像及第二图像的分辨率设为同等、或者将第二图像设为比第一图像高精精细。
(变形例2)
在上述实施方式中，对控制部34(设定部34b)基于实时取景图像检测被摄体要素，将实时取景图像的画面划分成包含被摄体要素的区域的例子进行了说明。在变形例2中，控制部34在摄像元件32a 之外额外具备测光用传感器的情况下，也可以基于来自测光用传感器的输出信号来划分区域。
控制部34基于来自测光用传感器的输出信号，划分成前景和背景。具体而言，将通过摄像元件32b取得的实时取景图像划分成与根据来自测光用传感器的输出信号判断为前景的区域对应的前景区域、和与根据来自测光用传感器的输出信号判断为背景的区域对应的背景区域。
如图16的(a)～图16的(c)所示例的那样，控制部34还对于与摄像元件32a的摄像面的前景区域对应的位置配置第一区域及第二区域。另一方面，控制部34相对于与摄像元件32a的摄像面的背景区域对应的位置仅在摄像元件32a的摄像面上配置第一区域。控制部34将第一图像用作显示用，并且将第二图像用作检测用。
根据变形例2，通过使用来自测光用传感器的输出信号，能够进行通过摄像元件32b取得的实时取景图像的区域划分。另外，相对于前景区域，能够得到显示用的第一图像和检测用的第二图像，相对于背景区域，也能够仅得到显示用的第一图像。
(变形例3)
变形例3中，图像处理部33(生成部33c)以缓和基于第一摄像条件和第二摄像条件的差异的图像的不连续性的方式进行对比度调整处理。即，生成部33c通过使灰度曲线(伽玛曲线)不同，来缓和基于第一摄像条件和第二摄像条件之间的差异的图像的不连续性。
例如，假定在第一摄像条件和第二摄像条件之间仅使ISO感光度不同，第一摄像条件的ISO感光度为100且第二摄像条件的ISO感光度为800的情况。生成部33c通过使灰度曲线变平，将参照位置的图像数据中的第二摄像条件的图像数据的值压缩至1/8。
或者，生成部33c通过使灰度曲线立起，也可以将关注位置的图像数据、及参照位置的图像数据中的第一摄像条件的图像数据的值扩张至8倍。
根据变形例3，与上述的实施方式同样地，能够对在摄像条件不同的区域分别生成的图像数据适宜地进行图像处理。例如，能够通过区域的边界的摄像条件的不同，抑制在图像处理后的图像中出现的不连续性或不适感。
(变形例4)
变形例4中，图像处理部33(生成部33c)在上述的图像处理(例如噪声降低处理)中不破坏被摄体要素的轮廓。通常，在进行噪声降低的情况下，采用平滑滤波器处理。在使用平滑滤波器的情况下，有时实现噪声降低效果的同时，被摄体要素的边界变模糊。
因此，图像处理部33(生成部33c)例如除进行噪声降低处理外，或者与噪声降低处理一并进行对比度调整处理，由此弥补上述被摄体要素的边界的模糊。在变形例4中，图像处理部33(生成部33c)设定描绘S字的曲线作为浓度变换(灰度变换)曲线(所谓S字变换)。图像处理部33(生成部33c)通过进行使用了S字变换的对比度调整，分别拉长亮的数据和暗的数据的灰度部分而分别增加亮的数据(及暗的数据)的灰度级数，并且，压缩中间灰度的图像数据而减少灰度级数。由此，图像的亮度为中等程度的图像数据的数量减少，被分类成亮/暗中某一种的数据增加，结果为能够弥补被摄体要素的边界的模糊。
根据变形例4，通过使图像的明暗鲜明，能够弥补被摄体要素的边界的模糊。
(变形例5)
在变形例5中，图像处理部33(生成部33c)以缓和基于第一摄像条件和第二摄像条件的差异的图像的不连续性的方式变更白平衡调整增益。
例如，在关注位置进行拍摄时应用的摄像条件(设为第一摄像条件)和在关注位置的周围的参照位置进行拍摄时应用的摄像条件(设为第二摄像条件)不同的情况下，图像处理部33(生成部33c)以使参照位置的图像数据中的第二摄像条件的图像数据的白平衡接近以第一摄像条件取得的图像数据的白平衡的方式变更白平衡调整增益。
此外，图像处理部33(生成部33c)也可以以使参照位置的图像数据中的第一摄像条件的图像数据和关注位置的图像数据的白平衡接近以第二摄像条件取得的图像数据的白平衡的方式变更白平衡调整增益。
根据变形例5，对于在摄像条件不同的区域分别生成的图像数据，使白平衡调整增益与摄像条件不同的区域的某一个调整增益一致，由此，能够缓和基于第一摄像条件和第二摄像条件的差异的图像的不连续性。
(变形例6)
也可以具备多个图像处理部33且并行进行图像处理。例如，一边对在摄像部32的区域A拍摄的图像数据进行图像处理，一边对在摄像部32的区域B拍摄的图像数据进行图像处理。多个图像处理部 33可以进行相同的图像处理，也可以进行不同的图像处理。即，相对于区域A及区域B的图像数据应用相同的参数等进行同样的图像处理、或者相对于区域A及区域B的图像数据应用不同的参数等进行不同的图像处理。
在具备多个图像处理部33的数量的情况下，也可以利用一个图像处理部对应用了第一摄像条件的图像数据进行图像处理，且利用其它图像处理部对应用了第二摄像条件的图像数据进行图像处理。图像处理部的数量不限于上述两个，例如也可以设置与可设定的摄像条件的数量相同。即，针对应用了不同的摄像条件的每一个区域，各图像处理部承担图像处理。根据变形例6，能够一并进行每一个区域的不同的摄像条件下的拍摄、和对于在上述每一个区域得到的图像的图像数据的图像处理。
(变形例7)
在上述的说明中，以相机1为例进行了说明，但也可以由如智能手机那种具有相机功能的高功能手机250(图14)或平板终端等移动设备构成。
(变形例8)
在上述的实施方式中，以将摄像部32和控制部34作为单一的电子设备构成的相机1为例进行了说明。取而代之的是例如也可以构成将摄像部32和控制部34分开设置，从控制部34经由通信控制摄像部32的摄像系统1B。
以下，参照图17说明由具备控制部34的控制装置1002控制具备摄像部32的摄像装置1001的例子。
图17是示例变形例8的摄像系统1B的结构的框图。图17中，摄像系统1B由摄像装置1001和显示装置1002构成。摄像装置1001 除具备上述实施方式中说明的摄像光学系统31和摄像部32之外，还具备第一通信部1003。另外，显示装置1002除具备上述实施方式中说明的图像处理部33、控制部34、显示部35、操作部件36、及记录部37之外，还具备第二通信部1004。
第一通信部1003及第二通信部1004能够利用例如众所周知的无线通信技术及光通信技术等进行双向的图像数据通信。
此外，也可以设为将摄像装置1001和显示装置1002利用有线线缆有线连接，第一通信部1003及第二通信部1004进行双向的图像数据通信的结构。
摄像系统1B通过使控制部34进行经由第二通信部1004及第一通信部1003的数据通信，进行对摄像部32的控制。例如，通过在摄像装置1001和显示装置1002之间收发规定的控制数据，显示装置 1002如上所述，基于图像将画面划分成多个区域、或对划分后的每一个区域设定不同的摄像条件、或者在各区域读出进行了光电转换的光电转换信号。
根据变形例8，因为将在摄像装置1001侧取得且发送到显示装置 1002的实时取景图像在显示装置1002的显示部35显示，所以用户能够从处于远离摄像装置1001的位置的显示装置1002进行远距离操作。
显示装置1002能够由例如智能手机那种高功能手机250构成。另外，摄像装置1001能够利用具备上述层叠型的摄像元件100的电子设备构成。
此外，说明了在显示装置1002的控制部34设置物体检测部34a、设定部34b、摄像控制部34c、AF运算部34d的例子，但物体检测部 34a、设定部34b、摄像控制部34c、及AF运算部34d的一部分也可以设置于摄像装置1001。
(变形例9)
向上述的相机1、高功能手机250、或平板终端等移动设备的程序供给，例如如图18所示，能够从存储有程序的个人计算机205通过红外线通信或近距离无线通信向移动设备发送。
对个人计算机205的程序供给可以通过将存储有程序的CD－ ROM等记录介质204置于个人计算机205而进行，也可以通过经由网络等通信线路201的方法安装于个人计算机205。在经由通信线路 201的情况下，在与该通信线路连接的服务器202的存储装置203等中存储有程序。
另外，也可以经由与通信线路201连接的无线LAN的接入点(未图示)向移动设备直接发送程序。进而，也可以将存储有程序的存储卡等记录介质204B置于移动设备。这样，程序能够经由记录介质或通信线路提供等作为各种形式的计算机程序制品来供给。
(第三实施方式)
参照图19～25，作为搭载第三实施方式的图像处理装置的电子设备的一例，以数码相机为例进行说明。在以下的说明中，对于与第一或第二实施方式相同的构成要素标注相同的附图标记，主要说明不同点。关于没有特别说明的点与第一或第二实施方式相同。在本实施方式中，主要是在代替设置第一实施方式的图像处理部33而使摄像部 32A进一步包含具有与第一实施方式的图像处理部33相同的功能的图像处理部32c这一点上与第一实施方式不同。
图19是示例第三实施方式的相机1C的结构的框图。图19中，相机1C具有摄像光学系统31、摄像部32A、控制部34、显示部35、操作部件36、记录部37。摄像部32A还包含具有与第一实施方式的图像处理部33相同的功能的图像处理部32c。
图像处理部32c包含输入部321、选择部322、生成部323。向输入部321输入来自摄像元件32a的图像数据。选择部322对上述输入的图像数据进行前处理。选择部322进行的前处理与第一实施方式中的选择部33b进行的前处理相同。生成部323对上述输入的图像数据和前处理后的图像数据进行图像处理，生成图像。生成部323进行的图像处理与第一实施方式中的生成部33c进行的图像处理相同。
图20是示意性示出本实施方式的各区块和多个选择部322的对应关系的图。图20中，用矩形表示的摄像芯片111的一个群组(mass) 表示一个区块111a。同样地，矩形表示的后述的图像处理芯片114 的一个划分表示一个选择部322。
在本实施方式中，选择部322与每一区块111a对应地设置。换言之，选择部322针对摄像面的可变更摄像条件的区域的最小单位即针对每个区块分别设置。例如，图20中标注了阴影的区块111a和标注了阴影的选择部322处于对应关系。图20中标注了阴影的选择部322对来自标注了阴影的区块111a中包含的像素的图像数据进行前处理。各选择部322分别对来自对应的区块111a中包含的像素的图像数据进行前处理。
由此，因为能够利用多个选择部322并行进行图像数据的前处理，所以能够减轻选择部322的处理负担，能够在短时间内根据在摄像条件不同的区域分别生成的图像数据来生成适宜的图像。
此外，在以下的说明中，在对某一区块111a和该区块111a中包含的像素的关系进行说明时，有时将该区块111a称作该像素所属的区块111a。另外，有时将区块111a称作单位区分，有时将集合多个区块111a的部分即集合多个单位区分的部分，称作复合区分。
图21是层叠型摄像元件100A的剖视图。层叠型摄像元件100A 除具备背面照射型摄像芯片111、信号处理芯片112、存储芯片113 外，还具备进行上述的前处理及图像处理的图像处理芯片114。即，上述的图像处理部32c设置于图像处理芯片114上。
这些摄像芯片111、信号处理芯片112、存储芯片113及图像处理芯片114被层叠，利用Cu等具有导电性的凸块109相互电连接。
在存储芯片113及图像处理芯片114的相互对置的面上配置有多个凸块109。这些凸块109被相互对位，通过对存储芯片113和图像处理芯片114进行加压等，将被对位的凸块109彼此接合而实现电连接。
＜数据选择处理＞
与第一实施方式同样地，在第二实施方式中，可构成为在利用设定部34b划分了摄像画面的区域后，对由用户选择的区域、或控制部 34判断的区域设定(变更)摄像条件。在划分后的区域设定了不同的摄像条件的情况下，控制部34根据需要对选择部322进行以下的数据选择处理。
1.进行图像处理的情况
1－1.关注像素P的摄像条件和关注像素P的周围的多个参照像素的摄像条件相同的情况
该情况下，选择部322将多个参照像素的图像数据全部选择并输出到生成部323。生成部323利用多个参照像素的图像数据进行图像处理。
1－2.关注像素P的摄像条件和关注像素P的周围的多个参照像素中的至少一个参照像素的摄像条件不同的情况
将在关注像素P中应用的摄像条件设为第一摄像条件，对多个参照像素的一部分应用的摄像条件为第一摄像条件，对剩余的参照像素应用的摄像条件为第二摄像条件。
该情况下，与应用了第一摄像条件的参照像素所属的区块111a 对应的选择部322、及与应用了第二摄像条件的参照像素所属的区块 111a对应的选择部322对于参照像素的图像数据如下(例1)～(例 3)那样进行数据选择处理。然后，生成部323参照数据选择处理后的参照像素的图像数据，进行算出关注像素P的图像数据的图像处理。
(例1)
例如，在第一摄像条件和第二摄像条件之间仅使ISO感光度不同，第一摄像条件的ISO感光度为100且第二摄像条件的ISO感光度为 800。该情况下，与应用了第一摄像条件的参照像素所属的区块111a 对应的选择部322选择第一摄像条件的图像数据。但是，与应用了第二摄像条件的参照像素所属的区块111a对应的选择部322不选择第二摄像条件的图像数据。即，图像处理不使用与第一摄像条件不同的第二摄像条件的图像数据。
(例2)
例如，在第一摄像条件和第二摄像条件之间仅使快门速度不同，第一摄像条件的快门速度为1/1000秒且第二摄像条件的快门速度为 1/100秒。该情况下，与应用了第一摄像条件的参照像素所属的区块 111a对应的选择部322选择第一摄像条件的图像数据。但是，与应用了第二摄像条件的参照像素所属的区块111a对应的选择部322未选择第二摄像条件的图像数据。即，图像处理不使用与第一摄像条件不同的第二摄像条件的图像数据。
(例3)
例如，在第一摄像条件和第二摄像条件之间仅使帧频不同(电荷蓄积时间相同)，第一摄像条件的帧频为30fps且第二摄像条件的帧频为60fps。该情况下，与应用了第一摄像条件的参照像素所属的区块111a对应的选择部322选择第一摄像条件的像素的图像数据。另外，与应用了第二摄像条件的参照像素所属的区块111a对应的选择部322针对参照像素的图像数据中的第二摄像条件(60fps)的图像数据选择取得定时与以第一摄像条件(30fps)取得的帧图像接近的帧图像的图像数据。也就是，将参照像素的图像数据中的、取得定时与第一摄像条件(30fps)的帧图像接近的帧图像的图像数据用于图像处理，将取得定时与第一摄像条件(30fps)的帧图像不同的帧图像的图像数据不用于图像处理。
此外，将在关注像素P中应用的摄像条件作为第二摄像条件，将在关注像素P的周围的参照像素中应用的摄像条件作为第一摄像条件的情况也相同。即，该情况下，与应用了第一摄像条件的参照像素所属的区块111a对应的选择部322、及与应用了第二摄像条件的参照像素所属的区块111a对应的选择部322对于参照像素的图像数据如上述的(例1)～(例3)那样进行数据选择处理。
此外，如上所述，即使摄像条件存在稍微的差异，也能够看作是同一摄像条件。
生成部323基于由选择部322选择的参照像素的图像数据，与第一实施方式中的图像处理部33(生成部33c)同样地进行像素缺陷修正处理、颜色插补处理、轮廓强调处理、及噪声降低处理等图像处理。
图22是示意性示出来自应用了第一摄像条件的摄像面的一部分区域(以下称作第一区域141)中包含的各像素的图像数据(以下称作第一图像数据)、和来自应用了第二摄像条件的摄像面的一部分区域(以下称作第二区域142)中包含的各像素的图像数据(以下称作第二图像数据)的处理的图。此外，图22是说明在上述(例1)及(例 2)中，在关注像素P中应用的摄像条件为第一摄像条件的情况的图。
从第一区域141中包含的各像素分别输出以第一摄像条件拍摄的第一图像数据，从第二区域142中包含的各像素分别输出以第二摄像条件拍摄的第二图像数据。第一图像数据被输出到设置于处理芯片 114的多个选择部322中的、与生成第一图像数据的像素所属的区块 111a对应的选择部322。在以下的说明中，将与生成各第一图像数据的像素所属的多个区块111a分别对应的多个选择部322称作第一选择部151。
同样地，第二图像数据被输出到设置于处理芯片114的多个选择部322中、与生成第二图像数据的各像素所属的区块111a对应的选择部322。在以下的说明中，将与生成各第二图像数据的像素所属的多个区块111a分别对应的多个选择部322称作第二选择部152。
例如，在关注像素P包含于第一区域141的情况下，第一选择部 151选择关注像素P的图像数据及以第一摄像条件拍摄的参照像素的图像数据并将其输出到生成部323。在此，选择部322从相同的区块中选择图像数据，但也可以使用以第一摄像条件拍摄到的其它区块的图像数据。此时，只要在输入了关注像素P的选择部322和以第一摄像条件拍摄到的其它区块的选择部322收发有关数据选择处理所需的第一摄像条件的信息181即可。另一方面，第二选择部152选择以第二摄像条件拍摄到的参照像素的图像数据，不向生成部323输出以第二摄像条件拍摄到的参照像素的图像数据。此外，第二选择部152例如从第一选择部151接收有关数据选择处理所需的第一摄像条件的信息181。
同样地，例如，在关注像素P包含于第二区域的情况下，第二选择部152选择关注像素P的图像数据及以第二摄像条件拍摄到的参照像素的图像数据并将其输出到生成部323。另一方面，第一选择部151 不选择以第一摄像条件拍摄到的参照像素的图像数据，不向生成部 323输出以第一摄像条件拍摄到的参照像素的图像数据。此外，第一选择部151例如从第二选择部152接收有关数据选择处理所需的第二摄像条件的信息。
在上述前处理之后，生成部323基于来自第一选择部151及第二选择部152的图像数据进行像素缺陷修正处理、颜色插补处理、轮廓强调处理、及噪声降低处理等图像处理，输出图像处理后的图像数据。
2.进行焦点检测处理的情况
与第一实施方式同样地，控制部34(AF运算部34d)使用与摄像画面的规定的位置(焦点检测位置)对应的图像数据进行焦点检测处理。此外，在划分的区域间设定不同的摄像条件，在AF动作的焦点检测位置位于划分后的区域的边界部分的情况下，即焦点检测位置被二等分为第一区域和第二区域的情况下，在本实施方式中，如以下的2－2.中所说明的那样，控制部34(AF运算部34d)使选择部322 进行数据选择处理。
2－1.在图13中的来自框170内的像素的图像数据中未混合存在应用了第一摄像条件的焦点检测用的信号数据和应用了第二摄像条件的焦点检测用的信号数据的情况
该情况下，选择部322将来自框170内的像素的焦点检测用的信号数据全部选择并输出到生成部323。控制部34(AF运算部34d)利用框170表示的基于焦点检测用像素的焦点检测用的信号数据进行焦点检测处理。
2－2.在图13中的来自框170内的像素的焦点检测用的信号数据中混合存在应用了第一摄像条件的焦点检测用的信号数据和应用了第二摄像条件的焦点检测用的信号数据的情况
该情况下，控制部34(AF运算部34d)使与框170内的像素所属的区块111a对应的选择部322如以下的(例1)～(例3)那样进行数据选择处理。然后，控制部34(AF运算部34d)使用数据选择处理后的焦点检测用的信号数据进行焦点检测处理。
(例1)
例如，在第一摄像条件和第二摄像条件之间仅使ISO感光度不同，第一摄像条件的ISO感光度为100且第二摄像条件的ISO感光度为 800。该情况下，与应用了第一摄像条件的像素所属的区块111a对应的选择部322选择第一摄像条件的焦点检测用的信号数据。而且，与应用了第二摄像条件的像素所属的区块111a对应的选择部322不选择第二摄像条件的焦点检测用的信号数据。即，将来自框170内的像素的焦点检测用的信号数据中、第一摄像条件的焦点检测用的信号数据用于焦点检测处理，不将与第一摄像条件不同的第二摄像条件的图像数据用于焦点检测处理。
(例2)
例如，在第一摄像条件和第二摄像条件之间仅使快门速度不同，第一摄像条件的快门速度为1/1000秒且第二摄像条件的快门速度为 1/100秒。该情况下，与应用了第一摄像条件的像素所属的区块111a 对应的选择部322选择第一摄像条件的焦点检测用的信号数据。而且，与应用了第二摄像条件的像素所属的区块111a对应的选择部322未选择第二摄像条件的焦点检测用的信号数据。即，将来自框170内的像素的焦点检测用的信号数据中、第一摄像条件的焦点检测用的信号数据用于焦点检测处理，不将与第一摄像条件不同的第二摄像条件的焦点检测用的信号数据用于焦点检测处理。
(例3)
例如，在第一摄像条件和第二摄像条件之间仅使帧频不同(电荷蓄积时间相同)，第一摄像条件的帧频为30fps且第二摄像条件的帧频为60fps。该情况下，与应用了第一摄像条件的像素所属的区块111a 对应的选择部322选择第一摄像条件的像素的的焦点检测用的信号数据。另外，与应用了第二摄像条件的像素所属的区块111a对应的选择部322针对第二摄像条件(60fps)的图像数据，选择取得定时与以第一摄像条件(30fps)取得的帧图像接近的帧图像的焦点检测用的信号数据。即，将第二摄像条件(60fps)的焦点检测用的信号数据中的、取得定时与第一摄像条件(30fps)的帧图像接近的帧图像的焦点检测用的信号数据用于焦点检测处理，不将取得定时与第一摄像条件 (30fps)的帧图像不同的帧图像的焦点检测用的信号数据用于焦点检测处理。
此外，如上所述，即使摄像条件存在稍微的差异，也能够看作是同一摄像条件。
另外，在上述的(例1)及(例2)中，对从框170包围的焦点检测用的信号数据中选择第一摄像条件的焦点检测用的信号数据的例子进行了说明，但也可以选择框170包围的焦点检测用的信号数据中的第二摄像条件的焦点检测用的信号数据。
此外，焦点检测位置被分为第一及第二区域，在第一区域的面积比第二区域的面积大的情况下，优选选择第一摄像条件的图像数据，相反，在第二区域的面积比第一区域的面积大的情况下，优选选择第二摄像条件的图像数据。
图23是示意性示出焦点检测处理的、第一信号数据和第二信号数据的处理的图。此外，图23是对在上述(例3)中从由框170包围的区域生成的信号数据中选择第一摄像条件的焦点检测用的信号数据，且选择第二摄像条件的焦点检测用的信号数据的情况进行说明的图。
从第一区域141中包含的各像素输出以第一摄像条件拍摄的焦点检测用的第一信号数据，从第二区域142中包含的各像素输出以第二摄像条件拍摄的焦点检测用的第二信号数据。来自第一区域141的第一信号数据被输出到第一选择部151。同样地，来自第二区域142的第二信号数据被输出到第二选择部152。
第一处理部151选择第一摄像条件的第一信号数据并将其输出到 AF运算部34d。第二处理部152选择第二摄像条件的第二信号数据并将其输出到AF运算部34d。
在上述的前处理之后，AF运算部34d根据来自第一处理部151 的第一信号数据算出第一散焦量。进而，AF运算部34d根据来自第一处理部151的第二信号数据算出第二散焦量。而且，AF运算部34d 使用第一散焦量和第二散焦量，输出用于使摄像光学系统31的聚焦透镜向对焦位置移动的驱动信号。
此外，如上述(例1)及(例2)，在从由框170包围的区域的信号数据中选择第一摄像条件的焦点检测用的信号数据，且未选择第二摄像条件的焦点检测用的信号数据的情况下，对于第一信号数据和第二信号数据如下进行处理。
例如，在以第一摄像条件的第一信号数据进行焦点检测处理的情况下，第一处理部151选择第一摄像条件的第一信号数据并将其输出到生成部323。第二处理部152不选择第二摄像条件的第二信号数据，不将以第二摄像条件拍摄的参照像素的第二信号数据输出到生成部 323。此外，第二处理部152例如从第一处理部151接收有关数据选择处理所需的第一摄像条件的信息181。
在上述的前处理之后，AF运算部34d基于来自第一处理部151 的第一信号数据进行焦点检测处理，且基于该运算结果输出用于使摄像光学系统31的聚焦透镜向对焦位置移动的驱动信号。
在此，对应对焦的被摄体遍及设定了第一摄像条件的区域和设定了第二摄像条件的区域存在的情况的一例进行说明。在应对焦的被摄体跨过设定了第一摄像条件的区域和设定了第二摄像条件的区域存在的情况下，与应用了第一摄像条件的像素所属的区块111a对应的选择部322选择第一摄像条件的焦点检测用的第一信号数据。进而，与应用了第二摄像条件的像素所属的区块111a对应的选择部322选择第二摄像条件的焦点检测用的第二信号数据。而且，控制部34(AF 运算部34d)根据所选择的焦点检测用的第一信号数据算出第一散焦量。进而，控制部34(AF运算部34d)根据所选择的焦点检测用的第二信号数据算出第二散焦量。而且，控制部34(AF运算部34d) 使用第一散焦量和第二散焦量进行焦点检测处理。具体而言，例如，控制部34(AF运算部34d)算出第一散焦量和第二散焦量的平均，算出透镜的移动距离。另外，控制部34(AF运算部34d)也可以选择第一散焦量和第二散焦量中的、透镜的移动距离更小的值。另外，控制部34(AF运算部34d)也可以从第一散焦量和第二散焦量中选择表示被摄体更为极近侧的值。
另外，在应对焦的被摄体跨过设定了第一摄像条件的区域和设定了第二摄像条件的区域存在的情况下，控制部34(AF运算部34d) 也可以选择被摄体区域的面积大的一方的区域，且选择焦点检测用的光电转换信号。例如，在对焦的被摄体的面部的面积在设定了第一摄像条件的区域占70％、在第二区域占30％的情况下，控制部34(AF 运算部34d)选择第一摄像条件的焦点检测用的光电转换信号。此外，在上述的面积上，关于比率(百分率)进行了示例，但不限于此。
3.进行被摄体检测处理的情况
对在划分后的区域间设定不同的摄像条件、搜索范围190包含划分后的区域的边界的情况进行说明。
3－1.在图14的搜索范围190的图像数据中未混合存在应用了第一摄像条件的图像数据和应用了第二摄像条件的图像数据的情况
该情况下，选择部322将来自搜索范围190的像素的图像数据全部选择并输出到生成部323。控制部34(AF运算部34d)利用来自搜索范围190的像素的图像数据进行被摄体检测处理。
3－2.在图14中的搜索范围190的图像数据中混合存在应用了第一摄像条件的图像数据和应用了第二摄像条件的图像数据的情况
(a)与进行上述的焦点检测处理的情况的(例1)、(例2)同样地在第一摄像条件和第二摄像条件之间仅使ISO感光度不同的情况、及在第一摄像条件和第二摄像条件之间仅使快门速度不同的情况
该情况下，如图24所示，控制部34(物体检测部34a)使与应用了第一摄像条件的像素所属的区块111a对应的选择部322(第一选择部151)从搜索范围190的图像数据中选择用于被摄体检测处理的第一摄像条件的图像数据。此外，图24是示意性示出被摄体检测处理的、第一图像数据和第二图像数据的处理的图。
然后，控制部34(物体检测部34a)使用数据选择处理后的图像数据进行被摄体检测处理。
另外，控制部34(物体检测部34a)使与应用了第二摄像条件的像素所属的区块111a对应的选择部322(第二选择部152)从搜索范围190的图像数据中选择用于被摄体检测处理的第二摄像条件的图像数据。然后，控制部34(物体检测部34a)使用数据选择处理后的图像数据进行被摄体检测处理。然后，控制部34(物体检测部34a)能够使从第一摄像条件的图像数据检测到的被摄体区域和从第二摄像条件的图像数据检测到的被摄体区域的边界对准，从而进行搜索范围 190内的被摄体检测。
(b)与进行上述的焦点检测处理的情况的(例3)同样地在第一摄像条件和第二摄像条件之间仅使帧频不同的情况
该情况下，控制部34(物体检测部34a)使与应用了第一摄像条件的像素所属的区块111a对应的选择部322(第一选择部151)从搜索范围190的图像数据中选择用于被摄体检测处理的第一摄像条件的图像数据。然后，控制部34(物体检测部34a)使用数据选择处理后的图像数据进行被摄体检测处理。另外，控制部34(物体检测部34a) 使与应用了第二摄像条件的像素所属的区块111a对应的选择部322 (第二选择部152)从搜索范围190的图像数据中仅选择取得定时与以第一摄像条件(30fps)取得的帧图像接近的帧图像的图像数据，来作为用于被摄体检测处理的第二摄像条件(60fps)的图像数据。然后，控制部34(物体检测部34a)使用数据选择处理后的图像数据进行被摄体检测处理。然后，控制部34通过使从第一摄像条件的图像数据检测到的被摄体区域和从第二摄像条件的图像数据检测到的被摄体区域的边界对准，能够进行搜索范围190内的被摄体检测。
此外，也可以是，将搜索范围190二等分为第一区域及第二区域，在第一区域的面积比第二区域的面积大的情况下，选择第一摄像条件的图像数据，且不选择第二摄像条件的图像数据。另外，也可以是，在第二区域的面积比第一区域的面积大的情况下，选择第二摄像条件的图像数据，且不选择第一摄像条件的图像数据。
4.设定摄像条件的情况
对将摄像画面的区域划分，并在划分后的区域间设定了不同的摄像条件的状态下重新进行测光而决定曝光条件的情况进行说明。
4－1.在测光范围的图像数据中未混合存在应用了第一摄像条件的图像数据和应用了第二摄像条件的图像数据的情况
该情况下，选择部322将来自测光范围的像素的图像数据全部选择并输出到生成部323。控制部34(设定部34b)利用来自构成测光范围的像素的图像数据进行曝光运算处理。
4－2.在测光范围的图像数据中混合存在应用了第一摄像条件的图像数据和应用了第二摄像条件的图像数据的情况
(a)与进行上述的焦点检测处理的情况的(例1)、(例2)同样地在第一摄像条件和第二摄像条件之间仅使ISO感光度不同的情况、及在第一摄像条件和第二摄像条件之间仅使快门速度不同的情况
该情况下，如图25所示，控制部34(物体检测部34a)与进行上述的被摄体检测处理的情况下的(a)同样地使与应用了第一摄像条件的像素所属的区块111a对应的选择部322从测光范围的图像数据中选择用于曝光运算处理的第一摄像条件的图像数据。另外，控制部34(物体检测部34a)使与应用了第二摄像条件的像素所属的区块 111a对应的选择部322从测光范围的图像数据中选择用于曝光运算处理的第二摄像条件的图像数据。此外，图25是示意性示出曝光运算处理等的摄像条件的设定的、第一图像数据和第二图像数据的处理的图。
然后，控制部34(设定部34b)使用数据选择处理后的图像数据对设定了第一摄像条件的区域及设定了第二摄像条件的区域分别进行曝光运算处理。这样，控制部34(设定部34b)在测光范围存在摄像条件不同的多个区域的情况下，进行用于对各区域进行测光的数据选择处理，使用数据选择处理的图像数据进行曝光运算处理。
(b)与进行上述的焦点检测处理的情况的(例3)同样地在第一摄像条件和第二摄像条件之间仅使帧频不同的情况
该情况下，控制部34(物体检测部34a)与进行被摄体检测处理的情况的(b)同样地使与应用了第一摄像条件的像素所属的区块111a 对应的选择部322从测光范围的图像数据中选择用于曝光运算处理的第一摄像条件的图像数据。另外，控制部34(物体检测部34a)与进行上述的焦点检测处理的情况的(例3)同样地使与应用了第二摄像条件的像素所属的区块111a对应的选择部322从测光范围的图像数据中仅选择取得定时与以第一摄像条件(30fps)取得的帧图像接近的帧图像的图像数据，将其作为用于曝光运算处理的第二摄像条件 (60fps)的图像数据。
然后，控制部34(设定部34b)与上述的(a)的情况同样地使用数据选择处理后的图像数据进行曝光运算处理。
此外，也可以是，将测光范围二等分为第一及第二区域，在第一区域的面积比第二区域的面积大的情况下，选择第一摄像条件的图像数据，且不选择第二摄像条件的图像数据。另外，也可以是，在第二区域的面积比第一区域的面积大的情况下，选择第二摄像条件的图像数据，且不选择第一摄像条件的图像数据。
根据以上说明的第三实施方式，得到以下的作用效果。
(1)相机1C能够针对摄像面的每一单位区分变更摄像条件进行拍摄，具备摄像元件32a，该摄像元件32a生成以第一摄像条件拍摄到的来自由至少一个单位区分构成的第一区域的第一图像数据、和以与第一摄像条件不同的第二摄像条件拍摄到的来自由至少一个单位区分构成的第二区域的第二图像数据。相机1C具备多个选择部322，该多选择部322与每个单位区分或具有多个单位区分的每个复合区分对应地设置，选择或不选择来自对应的单位区分或对应的复合区分内的单位区分的图像数据。摄像元件32a设置于背面照射型摄像芯片 111。多个选择部322设置于图像处理芯片114。
由此，因为能够将图像数据的数据选择处理用多个选择部322并行处理，所以能够减轻选择部322的处理负担。
(2)将背面照射型摄像芯片111和图像处理芯片114层叠。由此，能够容易地连接摄像元件32a和图像处理部32c。
(3)相机1C具备通过由选择部322选择的选择图像数据生成图像的生成部323。由此，因为通过并行处理在短时间内进行基于多个选择部322的前处理，所以能够缩短直至生成图像为止的时间。
(4)相机1C可以针对摄像面的每一单位区分变更摄像条件进行拍摄，具备摄像元件32a，该摄像元件32a生成以第一摄像条件拍摄经由摄像光学系统入射的光像的来自由至少一个单位区分构成的第一区域的第一图像数据、和以与第一摄像条件不同的第二摄像条件拍摄经由摄像光学系统入射的光像的来自由至少一个单位区分构成的第二区域的第二图像数据。相机1C具备多个选择部322，该多个选择部322对应每个单位区分或具有多个单位区分的每个复合区分而设置，选择或不选择来自对应的单位区分或对应的复合区分内的单位区分的图像数据。相机1C具备基于所选择的选择图像数据来检测用于使摄像光学系统动作的信息的AF运算部34d。摄像元件32a设于背面照射型摄像芯片111。多个修正部322设于图像处理芯片114。
由此，因为能够利用多个选择部322并行进行图像数据的数据选择处理，所以能够减轻选择部322的处理负担，并且，因为能够通过并行处理在短时间内进行基于多个选择部322的前处理，所以能够缩短到AF运算部34d开始焦点检测处理为止的时间，有助于焦点检测处理的高速化。
(5)相机1C能够针对摄像面的每一单位区分变更摄像条件进行拍摄，具备摄像元件32a，该摄像元件32a生成以第一摄像条件拍摄经由摄像光学系统入射的被摄体像的来自由至少一个单位区分构成的第一区域的第一图像数据、和以与第一摄像条件不同的第二摄像条件拍摄入射的被摄体像的来自由至少一个单位区分构成的第二区域的第二图像数据。相机1C具备多个选择部322，该多个选择部322 对应每个单位区分或具有多个单位区分的每个复合区分而设置，选择或不选择来自对应的单位区分或对应的复合区分内的单位区分的图像数据。相机1C具备基于所选择的选择图像数据来从被摄体像中检测对象物的物体检测部34a。摄像元件32a设置于背面照射型摄像芯片111。多个修正部322设置于图像处理芯片114。
由此，因为能够利用多个选择部322并行进行图像数据的数据选择处理，所以能够减轻选择部322的处理负担，并且，因为能够通过并行处理在短时间内进行基于多个选择部322的前处理，所以能够缩短到物体检测部34a开始被摄体检测处理为止的时间，有助于被摄体检测处理的高速化。
(6)相机1C能够针对摄像面的每一单位区分变更摄像条件进行拍摄，具备摄像元件32a，该摄像元件32a生成以第一摄像条件拍摄经由摄像光学系统入射的光像的来自由至少一个单位区分构成的第一区域的第一图像数据、和以与第一摄像条件不同的第二摄像条件拍摄入射的光像的来自由至少一个单位区分构成的第二区域的第二图像数据。相机1C具备多个选择部322，该多个选择部322对应每个单位区分或具有多个单位区分的每个复合区分设置，选择或不选择来自对应的单位区分或对应的复合区分内的单位区分的图像数据。相机 1C具备基于所选择的选择图像数据来设定撮影条件的设定部34b。摄像元件32a设置于背面照射型摄像芯片111。多个修正部322设置于图像处理芯片114。
由此，因为能够利用多个选择部322并行进行图像数据的数据选择处理，所以能够减轻选择部322的处理负担，并且，因为能够通过并行处理在短时间内进行基于多个选择部322的前处理，所以能够缩短到物体设定部34a开始摄像条件的设定处理为止的时间，有助于摄像条件的设定处理的高速化。
(第三实施方式的变形例)
如下的变形也在本发明的范围内，还能够将一个或多个变形例与上述的实施方式组合。
(变形例10)
如第一实施方式及第二实施方式的变形例1的图16的(a)～图 16的(c)所示，对在摄像元件32a的摄像面上配置了第一区域及第二区域时的第一图像数据和第二图像数据的处理进行说明。
在本变形例中，也与变形例1同样地，在图16的(a)～图16 的(c)的任一情况下，均通过从进行了1帧的拍摄的摄像元件32a 读出的像素信号分别生成基于从第一区域读出的图像信号的第一图像及基于从第二区域读出的图像信号的第二图像。在本变形例中，也与变形例1同样地，控制部34将第一图像用作显示用，并且将第二图像用作检测用。
在拍摄第一图像的第一区域设定第一摄像条件，在拍摄第二图像的第二区域设定与第一摄像条件不同的第二摄像条件。
1.作为一例，参照图26说明第一摄像条件在摄像画面的第一区域的整体上相同，且第二摄像条件也在摄像画面的第二区域的整体上相同的情况。图26是示意性示出第一图像数据和第二图像数据的处理的图。
从第一区域141中包含的各像素输出以第一摄像条件拍摄的第一图像数据，从第二区域142中包含的各像素输出以第二摄像条件拍摄的第二图像数据及第二信号数据。来自第一区域141的第一图像数据被输出到第一选择部151。同样地，来自第二区域142的第二图像数据及第二信号数据被输出到第二选择部152。
在本例中，因为第一摄像条件在摄像画面的第一区域的整体上相同，所以第一选择部151选择来自第一区域的各像素的所有第一图像数据。另外，因为第二摄像条件在摄像画面的第二区域的整体上相同，所以第二选择部152选择来自第二区域的各像素的所有第二图像数据。此外，因为第一摄像条件和第二摄像条件不同，所以第二选择部 152不选择第二图像数据作为用于第一区域的图像数据的图像处理的数据。
另外，第二选择部152例如从第一选择部151接收有关第一摄像条件的信息181。
生成部323基于来自第一选择部151的第一图像数据进行像素缺陷修正处理、颜色插补处理、轮廓强调处理、及噪声降低处理等的图像处理，并输出图像处理后的图像数据。
物体检测部34a基于来自第二选择部152的第二图像数据进行检测被摄体要素的处理，并输出检测结果。
设定部34b基于来自第二选择部152的第二图像数据，进行曝光运算处理等的摄像条件的算出处理，且基于该运算结果，将摄像部32 的摄像画面划分成包含检测到的被摄体要素的多个区域，同时对多个区域再设定摄像条件。
AF运算部34d基于来自第二选择部152的第二信号数据，进行焦点检测处理，且基于该运算结果，输出用于使摄像光学系统31的聚焦透镜向对焦位置移动的驱动信号。
2.作为另外一例，参照图27说明第一摄像条件根据摄像画面的区域而不同，即，第一摄像条件根据第一区域内的部分区域而不同，第二摄像条件在摄像画面的第二区域的整体上相同的情况。图27是示意性示出第一图像数据和第二图像数据及第二信号数据的处理的图。
从第一区域141中所包含的各像素中输出以第一摄像条件拍摄到的第一图像数据，从第二区域142中所包含的各像素输出以第二摄像条件拍摄到的第二图像数据及第二信号数据。来自第一区域141的第一图像数据被输出到第一选择部151。同样地，来自第二区域142的第二图像数据被输出到第二选择部152。
如上所述，在本例中，第一摄像条件根据摄像画面的区域而不同。即，第一摄像条件根据第一区域内的部分区域而不同。第一选择部151 仅选择来自第一区域的各像素的第一图像数据中的、某一摄像条件的第一图像数据，而不选择其它摄像条件的第一图像数据。另外，因为第二摄像条件在摄像画面的第二区域的整体上相同，所以第二选择部 152选择来自第二区域的各像素的所有第二图像数据。此外，因为第一摄像条件和第二摄像条件不同，所以第二选择部152不选择第二图像数据作为用于进行第一区域的图像数据的图像处理的数据。
另外，第二选择部152从第一选择部151接收有关第一摄像条件的信息181。
生成部323基于由第一选择部151选择的一部分第一图像数据进行像素缺陷修正处理、颜色插补处理、轮廓强调处理、及噪声降低处理等的图像处理，且输出图像处理后的图像数据。
物体检测部34a基于来自第二选择部152的第二图像数据进行检测被摄体要素的处理，且输出检测结果。
设定部34b基于来自第二选择部152的第二图像数据进行曝光运算处理等的摄像条件的算出处理，且基于该运算结果，将摄像部32 的摄像画面划分成包含所检测的被摄体要素的多个区域，并且相对于多个区域再设定摄像条件。
AF运算部34d基于来自第二选择部152的第二信号数据进行焦点检测处理，且基于该运算结果输出用于使摄像光学系统31的聚焦透镜向对焦位置移动的驱动信号。
3.另外，作为另外一例，参照图28说明第一摄像条件在摄像画面的第一区域的整体上相同，第二摄像条件根据摄像画面的区域而不同的情况。图28是示意性示出第一图像数据和第二图像数据的处理的图。
从第一区域141中所包含的各像素输出以在摄像画面的第一区域的整体上相同的第一摄像条件拍摄的第一图像数据，从第二区域142 中所包含的各像素输出以根据摄像画面的区域而不同的第二摄像条件拍摄的第二图像数据。来自第一区域141的第一图像数据被输出到第一选择部151。同样地，来自第二区域142的第二图像数据及第二信号数据被输出到第二选择部152。
在本例中，因为第一摄像条件在摄像画面的第一区域的整体上相同，所以第一选择部151选择来自第一区域的各像素的所有第一图像数据。另外，第二摄像条件根据摄像画面的区域而不同。即，第二摄像条件根据第二区域内的部分区域而不同。第二选择部152仅选择来自第二区域的各像素的第二图像数据中的、某一摄像条件的第二图像数据，而不选择其它摄像条件的第二图像数据。此外，因为第一摄像条件和第二摄像条件不同，所以第二选择部152不选择第二图像数据作为用于进行第一区域的图像数据的图像处理的数据。
另外，第二选择部152例如从第一选择部151接收有关第一摄像条件的信息181。
生成部323基于来自第一选择部151的第一图像数据，进行像素缺陷修正处理、颜色插补处理、轮廓强调处理、及噪声降低处理等的图像处理，且输出图像处理后的图像数据。
物体检测部34a基于由第二选择部152选择的一部分第二图像数据，进行检测被摄体要素的处理，且输出检测结果。
设定部34b基于由第二选择部152选择的一部分第二图像数据进行曝光运算处理等的摄像条件的算出处理，且基于该运算结果将摄像部32的摄像画面划分成包含所检测的被摄体要素的多个区域，同时相对于多个区域再设定摄像条件。
AF运算部34d基于由第二选择部152选择的一部分第二信号数据进行焦点检测处理，且基于该运算结果输出用于使摄像光学系统31 的聚焦透镜向对焦位置移动的驱动信号。
4.再另外，作为另外一例，参照图29说明第一摄像条件根据摄像画面的区域而不同，第二摄像条件根据摄像画面的区域而不同的情况。图29是示意性示出第一图像数据和第二图像数据及第二信号数据的处理的图。
从第一区域141中所包含的各像素输出以根据摄像画面的区域而不同的第一摄像条件拍摄的第一图像数据，从第二区域142中所包含的各像素输出以根据摄像画面的区域而不同的第二摄像条件拍摄的第二图像数据及第二信号数据。来自第一区域141的第一图像数据被输出到第一选择部151。同样地，来自第二区域142的第二图像数据及第二信号数据被输出到第二选择部152。
如上所述，在本例中，第一摄像条件根据摄像画面的区域而不同。即，第一摄像条件根据第一区域内的部分区域而不同。第一选择部151 仅选择来自第一区域的各像素的第一图像数据中的、某一摄像条件的第一图像数据，而不选择其它摄像条件的第一图像数据。另外，第二摄像条件根据摄像画面的区域而不同。即，第二摄像条件根据第二区域内的部分区域而不同。第二选择部152仅选择来自第二区域的各像素的第二图像数据中的、某一摄像条件的第二图像数据，而不选择其它摄像条件的第二图像数据。此外，因为第一摄像条件和第二摄像条件不同，所以第二选择部152不选择第二图像数据作为用于进行第一区域的图像数据的图像处理的数据。
另外，第二选择部152例如从第一选择部151接收有关第一摄像条件的信息181。
生成部323基于由第一选择部151选择的一部分第一图像数据，进行像素缺陷修正处理、颜色插补处理、轮廓强调处理、及噪声降低处理等的图像处理，且输出图像处理后的图像数据。
物体检测部34a基于由第二选择部152选择的一部分第二图像数据，进行检测被摄体要素的处理，且输出检测结果。
设定部34b基于由第二选择部152选择的一部分第二图像数据，进行曝光运算处理等的摄像条件的算出处理，且基于该运算结果将摄像部32的摄像画面划分成包含所检测的被摄体要素的多个区域，同时相对于多个区域再设定摄像条件。
AF运算部34d基于由第二选择部152选择的一部分第二信号数据进行焦点检测处理，且基于该运算结果输出用于使摄像光学系统31 的聚焦透镜向对焦位置移动的驱动信号。
(变形例11)
在上述的第三实施方式中，一个选择部322与一个区块111a(单位区分)对应。但是，也可以是一个选择部322和一个具有多个区块 111a(单位区分)复合区块(复合区分)对应。该情况下，选择部322 对来自属于该复合区块中包含的多个区块111a的像素的图像数据依次进行数据选择处理。多个选择部322即使与具有多个区块111a的每一复合区块相对应地设置，也能够由多个选择部322并行进行图像处理的数据选择处理，因此，能够减轻选择部322的处理负担，能够在短时间内从在摄像条件不同的区域分别生成的图像数据生成适宜的图像。
(变形例12)
在上述的第三实施方式中，生成部323设置于摄像部32A的内部。但是，也可以将生成部323设置于摄像部32A的外部。即使将生成部 323设置于摄像部32A的外部，也能够实现与上述的作用效果相同的作用效果。
(变形例13)
在上述的第三实施方式中，层叠型摄像元件100A除具备背面照射型摄像芯片111、信号处理芯片112、存储芯片113之外，还具备进行上述的前处理及图像处理的图像处理芯片114。但是，也可以不在层叠型摄像元件100A设置图像处理芯片114，且不在信号处理芯片112设置图像处理部32c。
此外，上述的各实施方式及变形例也可以分别组合。
上述中，说明了各种实施方式及变形例，但本发明不限于这些内容。在本发明的技术思想的范围内考虑到的其它方式也包含在本发明的范围内。
上述的实施方式及变形例也包含如下的装置。
(1)一种摄像装置，其具备：摄像元件，其具有拍摄被摄体的摄像区域；设定部，其设定上述摄像区域的摄像条件；选择部，其从上述摄像区域中所包含的像素中选择用于插补的像素；生成部，其使用通过从由上述选择部选择的像素输出的信号进行了插补的信号，生成在上述摄像区域拍摄的被摄体的图像，上述选择部根据通过上述设定部设定的摄像条件而使上述选择的像素的至少一部分像素不同。
(2)在(1)所述的摄像装置中，上述摄像元件具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域，上述设定部设定上述第一摄像区域的摄像条件和上述第二摄像区域的摄像条件，上述选择部根据通过上述设定部设定的上述第二摄像区域的摄像条件，使从上述第一摄像区域中包含的像素和上述第二摄像区域中包含的像素中、为了用于上述第一摄像区域中包含的像素的插补而选择的像素的至少一部分像素不同，上述生成部使用通过从由上述选择部选择的像素输出的信号进行了插补的信号，生成在上述第一摄像区域拍摄的被摄体的图像。
(3)在(2)所述的摄像装置中，上述选择部根据通过上述设定部设定的上述第一摄像区域的摄像条件和上述第二摄像区域的摄像条件，使为了用于上述第一摄像区域中所包含的像素的插补而选择的像素的至少一部分像素不同。
(4)在(2)或(3)所述的摄像装置中，上述选择部从上述第一摄像区域和上述第二摄像区域的至少一摄像区域选择用于上述插补的像素。
(5)在(4)所述的摄像装置中，上述选择部根据通过上述设定部设定的上述第二摄像区域的摄像条件，选择上述第二摄像区域的像素来作为用于上述插补的像素。
(6)在(2)～(5)所述的摄像装置中，在通过上述设定部对上述第一摄像区域和上述第二摄像区域设定第一摄像条件时，上述选择部选择上述第二摄像区域中所包含的像素。
(7)在(6)所述的摄像装置中，上述选择部基于与通过上述设定部设定的上述第二摄像区域的摄像条件下的曝光有关的值，选择上述第二摄像区域的像素来作为用于上述插补的像素。
(8)在(7)所述的摄像装置中，上述选择部基于与通过上述设定部设定的第一摄像区域的摄像条件下的曝光有关的值和与上述第二摄像区域的摄像条件下的曝光有关的值，选择上述第二摄像区域的像素来作为用于上述插补的像素。
(9)在(8)所述的摄像装置中，上述选择部在通过上述设定部设定的第一摄像区域的摄像条件下的曝光的级数和上述第二摄像区域的摄像条件下的曝光的级数之差为0.3级以下的情况下，选择上述第二摄像区域的像素来作为用于上述插补的像素。
(10)在(2)～(9)所述的摄像装置中，在通过上述设定部对上述第一摄像区域设定第一摄像条件，对上述第二摄像区域设定第二摄像条件时，上述选择部选择上述第一摄像区域中包含的像素。
(11)在(10)所述的摄像装置中，在通过上述设定部对上述第一摄像区域设定第一摄像条件，对上述第二摄像区域设定第二摄像条件时，上述选择部不选择上述第二摄像区域的像素而选择上述第一摄像区域中所包含的像素。
(12)在(2)～(11)所述的摄像装置中，上述选择部选择与上述第一像素之间的距离比上述第一像素与上述第二摄像区域的第二像素之间的距离长的上述第一摄像区域的第三像素，来作为用于插补上述第一摄像区域的第一像素的像素。
(13)在(2)～(12)所述的摄像装置中，上述选择部根据通过上述设定部对上述第二摄像区域设定的摄像条件而所选择的像素的数量不同。
(14)在(13)所述的摄像装置中，在通过上述设定部对上述第一摄像区域设定第一摄像条件，并且对上述第二摄像区域设定第二摄像条件时，上述选择部选择相较于对上述第一摄像区域和上述第二摄像区域设定了上述第一摄像条件时更少的像素。
(15)一种摄像装置，其具备：摄像元件，其具有被设定为以第一摄像条件拍摄被摄体的第一摄像区域、被设定为以与上述第一摄像条件不同的第二摄像条件拍摄被摄体的第二摄像区域、被设定为以与上述第二摄像条件不同的第三摄像条件拍摄被摄体的第三摄像区域；选择部，其从上述第二摄像区域中包含的像素和上述第三摄像区域中包含的像素中选择用于上述第一摄像区域中包含的像素的插补的像素；生成部，其使用通过从由上述选择部选择的像素输出的信号进行了插补的信号，生成在上述第一摄像区域拍摄的被摄体的图像。
(16)一种摄像装置，其具备：摄像元件，其具有被设定为以第一摄像条件拍摄被摄体的第一摄像区域、和被设定为以与上述第一摄像条件不同的第二摄像条件拍摄被摄体的第二摄像区域；选择部，其从上述第一摄像区域中包含的像素和上述第二摄像区域中包含的像素中选择用于上述第一摄像区域中包含的像素的插补的像素；生成部，其使用通过从由上述选择部选择的像素输出的信号进行了插补的信号，生成在上述第一摄像区域拍摄的被摄体的图像。
(17)一种摄像装置，其具备：摄像元件，其具有拍摄被摄体的第一摄像区域、拍摄被摄体的第二摄像区域、拍摄被摄体的第三摄像区域；设定部，其将上述第一摄像区域的摄像条件设定为第一摄像条件，将上述第二摄像区域的摄像条件设定为与上述第一摄像条件不同的第二摄像条件，将上述第三摄像区域的摄像条件设定为与上述第一摄像条件之差比上述第一摄像条件和上述第二摄像条件之差小的第三摄像条件；选择部，其从上述第一摄像区域中包含的像素、上述第二摄像区域中包含的像素、上述第三摄像区域中包含的像素中选择用于上述第一摄像区域中包含的像素的插补的像素；生成部，其使用通过从由上述选择部选择的像素输出的信号进行了插补的信号，生成在上述第一摄像区域拍摄的被摄体的图像。
(18)一种摄像装置，其具备：摄像元件，其具有拍摄被摄体的第一摄像区域、拍摄被摄体的第二摄像区域、与上述第一摄像区域之间的距离比上述第一摄像区域与上述第二摄像区域之间的距离更长的拍摄被摄体的第三摄像区域；设定部，其将上述第二摄像区域的摄像条件设定为与上述第一摄像区域的摄像条件不同的摄像条件；选择部，其从上述第一摄像区域中包含的像素、上述第二摄像区域中包含的像素、上述第三摄像区域中包含的像素中选择用于上述第一摄像区域中包含的像素的插补的像素；生成部，其使用通过从由上述选择部选择的像素输出的信号进行了插补的信号，生成在上述第一摄像区域拍摄的被摄体的图像。
(19)一种摄像装置，其具备：摄像元件，其具有拍摄被摄体的摄像区域；设定部，其设定上述摄像区域的摄像条件；生成部，其使用通过从作为用于插补的像素选择的、上述摄像区域中包含的像素输出的信号进行了插补的信号，生成在上述摄像区域拍摄的被摄体的图像，根据通过上述设定部设定的摄像条件而使上述选择的像素的至少一部分像素不同。
(20)一种摄像装置，其具备：摄像元件，其具有设定为以第一摄像条件拍摄被摄体的第一摄像区域、和设定为以与上述第一摄像条件不同的第二摄像条件拍摄被摄体的第二摄像区域；生成部，其使用通过从特定像素输出的信号而进行了插补的信号，生成在上述第一摄像区域拍摄的被摄体的图像，上述特定像素是指，从上述第一摄像区域中包含的像素和上述第二摄像区域中包含的像素中，选择的作为用于上述第一摄像区域中包含的像素的插补的像素。
(21)一种摄像装置，其具备：摄像元件，其具有拍摄被摄体的摄像区域；设定部，其设定上述摄像区域的摄像条件；生成部，其利用根据从特定像素输出的信号降低了噪声的信号，生成在上述摄像区域拍摄的被摄体的图像，特定像素是指，从上述摄像区域中包含的像素选出的、输出用于降低噪声的信号的像素，根据通过上述设定部设定的摄像条件而使上述选择的像素的至少一部分像素不同。
(22)一种摄像装置，其具备：摄像元件，其具有被设定为以第一摄像条件拍摄被摄体的第一摄像区域、被设定为以与上述第一摄像条件不同的第二摄像条件拍摄被摄体的第二摄像区域、被设定为以与上述第二摄像条件不同的第三摄像条件拍摄被摄体的第三摄像区域；选择部，其从上述第二摄像区域中包含的像素和上述第三摄像区域中包含的像素中选择上述第一摄像区域中包含的像素来用于降低噪声；生成部，其利用根据从特定像素输出的信号降低了噪声的信号，生成在上述第一摄像区域拍摄的被摄体的图像，特定像素是指，从作为输出用于上述第一摄像区域中包含的像素的信号的噪声的降低的信号的像素而从上述第二摄像区域中包含的像素和上述第三摄像区域中包含的像素中选出的像素。
(23)一种摄像装置，其具备：摄像元件，其具有被设定为以第一摄像条件拍摄被摄体的第一摄像区域、和被设定为以与上述第一摄像条件不同的第二摄像条件拍摄被摄体的第二摄像区域；生成部，其利用根据从特定像素输出的信号进行了插补的信号，生成在上述第一摄像区域拍摄的被摄体的图像，特定像素是指，从作为输出用于降低上述第一摄像区域中包含的像素的噪声的信号的像素而从上述第一摄像区域中包含的像素和上述第二摄像区域中包含的像素中选出的像素。
(24)一种摄像装置，其具备：摄像元件，其具有拍摄被摄体的摄像区域；设定部，其设定上述摄像区域的摄像条件；生成部，其使用根据从作为用于进行图像处理的像素而选出的像素输出的信号进行了图像处理的信号，生成在上述摄像区域拍摄的被摄体的图像，根据通过上述设定部设定的摄像条件而使上述选择的像素的至少一部分像素不同。
(25)一种图像处理装置，其具备：选择部，其从自摄像元件的摄像区域中包含的像素输出的信号中选择用于插补的信号；生成部，其使用根据由上述选择部选择的信号进行了插补的信号，生成在上述摄像区域拍摄的被摄体的图像，上述选择部根据对上述摄像区域设定的摄像条件而使上述选择的像素的至少一部分像素不同。
(26)一种图像处理装置，其具备：选择部，其从自摄像元件的摄像区域中包含的像素输出的信号中选择用于降低噪声的信号；生成部，其使用根据由上述选择部选择的信号降低了噪声的信号，生成在上述摄像区域拍摄的被摄体的图像，上述选择部根据对上述摄像区域设定的摄像条件而使上述选择的像素的至少一部分像素不同。
(27)一种图像处理装置，其具备：选择部，其从自摄像元件的摄像区域中包含的像素输出的信号中选择用于插补的信号；显示部，其显示使用根据由上述选择部选择的信号进行了插补的信号而生成的在上述摄像区域拍摄的被摄体的图像，上述选择部根据对上述摄像区域设定的摄像条件而使上述选择的像素的至少一部分像素不同。
(28)一种图像处理装置，其具备：选择部，其从自摄像元件的摄像区域中包含的像素输出的信号中选择用于降低噪声的信号；显示部，其显示使用根据由上述选择部选择的信号降低了噪声的信号而生成的在上述摄像区域拍摄的被摄体的图像，上述选择部根据对上述摄像区域设定的摄像条件而使上述选择的像素的至少一部分像素不同。
另外，上述的实施方式及变形例还包含以下这种装置。
(1)一种摄像装置，其具备：摄像元件，其具有以第一摄像条件拍摄入射的光而输出第一图像数据的第一区域、以与上述第一摄像条件不同的第二摄像条件拍摄入射的光而输出第二图像数据的第二区域、以上述第一摄像条件拍摄入射的光而输出第三图像数据的第三区域；图像处理部，其基于使用上述第一图像数据和上述第三图像数据的至少一方进行了图像处理的第一图像数据和上述第二图像数据而生成图像。
(2)在(1)所述的摄像装置中，上述图像处理部不使用上述第二图像数据而使用上述第三图像数据对第一图像数据进行图像处理。
(3)在(2)所述的摄像装置中，上述第一图像数据从上述第一区域的第一位置的像素输出，上述第二图像数据从上述第二区域的第二位置的像素输出，上述第三图像数据从上述第一区域的第三位置的像素输出，上述第一位置至第三位置为止的距离比上述第一位置至上述第二位置为止的距离长。
(4)在(1)～(3)所述的摄像装置中，上述摄像元件具有以上述第二摄像条件拍摄入射的光而输出第四图像数据的第四区域，上述图像处理部通过使用上述第二图像数据和上述第四图像数据的至少一方进行了图像处理的第二图像数据和上述经图像处理的第一图像数据而生成图像。
(5)一种摄像装置，其具备：摄像元件，其具有以第一摄像条件拍摄入射的光而输出第一图像数据的第一区域、以与上述第一摄像条件不同的第二摄像条件拍摄入射的光而输出第二图像数据的第二区域；图像处理部，其基于使用上述第一图像数据进行了图像处理的上述第一图像数据和上述第二图像数据而生成图像。
(6)在(5)所述的摄像装置中，上述图像处理部不使用上述第二图像数据而使用上述第一图像数据对第一图像数据进行图像处理。
(7)在(6)所述的摄像装置中，上述图像处理部通过使用上述第二图像数据进行了图像处理而得到的第二图像数据和上述经图像处理的第一图像数据而生成图像。
(8)在(1)～(7)所述的摄像装置中，上述第一区域输出多个上述第一图像数据，上述图像处理部使用上述多个第一图像数据中的其它第一图像数据对上述多个第一图像数据中的成为处理对象的第一图像数据进行图像处理。
(9)在(8)所述的摄像装置中，上述第一图像数据从上述第一区域的第一位置的像素输出，上述第二图像数据从上述第二区域的第二位置的像素输出，上述其它第一图像数据从上述第一区域的第三位置的像素输出，上述第一位置至第三位置的距离比上述第一位置至上述第二位置的距离长。
(10)在(1)～(9)所述的摄像装置中，上述第一摄像条件及上述第二摄像条件至少包含蓄积时间或ISO感光度。
(11)在(1)～(10)所述的摄像装置中，上述图像处理部至少实施像素缺陷修正处理、颜色插补处理、轮廓强调处理、或噪声降低处理，对上述第一图像数据进行处理。
(12)在(1)～(11)所述的摄像装置中，上述图像处理部具备选择对上述第一图像数据进行图像处理的图像数据的选择部。
(13)在(12)所述的摄像装置中，上述摄像元件可针对摄像面的每一单位区域变更摄像条件地进行拍摄，上述选择部与上述每一单位区域或具有多个上述单位区域的每一复合区域相对应地设置，选择来自对应的上述单位区域或对应的上述复合区域内的上述单位区域的图像数据。
(14)在(13)所述的摄像装置中，上述摄像元件设置于第一半导体基板，上述选择部设置于第二半导体基板。
(15)在(14)所述的摄像装置中，上述第一半导体基板和上述第二半导体基板层叠。
(16)一种显示装置，其具有显示部，所述显示部显示基于以第一摄像条件拍摄入射到摄像部的第一区域的光并输出的第一图像数据、以与上述第一摄像条件不同的第二摄像条件拍摄入射到上述摄像部的第二区域的光并输出的第二图像数据、以第一摄像条件拍摄入射到上述摄像部的第三区域的光并输出的第三图像数据而生成的图像，其中，具备基于使用上述第一图像数据和上述第三图像数据的至少一方进行了图像处理的第一图像数据和上述第二图像数据而生成图像的图像处理部，上述显示部显示通过上述图像处理部生成的图像。
(17)一种显示装置，其具备：图像处理部，其基于使用以第一摄像条件拍摄入射到摄像部的第一区域的光并输出的第一图像数据进行了图像处理的上述第一图像数据、和以与上述第一摄像条件不同的第二摄像条件拍摄入射到上述摄像部的第二区域的光并输出的第二图像数据而生成图像；显示部，其显示通过上述图像处理部生成的图像。
(18)一种图像处理装置，其具备图像处理部，所述图像处理部基于以第一摄像条件拍摄入射到摄像部的第一区域的光并输出的第一图像数据、以与上述第一摄像条件不同的第二摄像条件拍摄入射到上述摄像部的第二区域的光并输出的第二图像数据、以第一摄像条件拍摄入射到上述摄像部的第三区域的光并输出的第三图像数据而生成的图像，其中，上述图像处理部基于使用上述第一图像数据和上述第三图像数据的至少一方进行了图像处理的第一图像数据和上述第二图像数据而生成图像。
(19)一种图像处理装置，其具备图像处理部，所述图像处理部基于使用以第一摄像条件拍摄入射到摄像部的第一区域的光并输出的第一图像数据进行了图像处理的上述第一图像数据、和以与上述第一摄像条件不同的第二摄像条件拍摄入射到上述摄像部的第二区域的光并输出的第二图像数据而生成图像。
以下优先权基础申请的公开内容援引至此作为参考。
日本专利申请2015年第195288号(2015年9月30日申请)。

Claims (16)

1.一种摄像装置，其特征在于，具备：
摄像元件，其具有拍摄被摄体的第一摄像区域和拍摄被摄体的第二摄像区域；
设定部，其对所述第一摄像区域设定第一摄像条件，对所述第二摄像区域设定第二摄像条件；以及
选择部，其基于由所述设定部设定的所述第二摄像区域的摄像条件，从所述第一摄像区域所包含的像素和所述第二摄像区域所包含的像素中，选择用于所述第一摄像区域所包含的像素的插补的像素。
2.根据权利要求1所述的摄像装置，其特征在于，
所述选择部根据由所述设定部设定的所述第一摄像区域的摄像条件和所述第二摄像区域的摄像条件，使为了用于所述第一摄像区域所包含的像素的插补而选择的像素的至少一部分像素不同。
3.根据权利要求1或者2所述的摄像装置，其特征在于，
所述选择部从所述第一摄像区域和所述第二摄像区域的至少一方的摄像区域，选择用于所述插补的像素。
4.根据权利要求3所述的摄像装置，其特征在于，
所述选择部根据由所述设定部设定的所述第二摄像区域的摄像条件，选择所述第二摄像区域的像素来作为用于所述插补的像素。
5.根据权利要求1或者2所述的摄像装置，其特征在于，
当通过所述设定部对所述第一摄像区域和所述第二摄像区域设定第一摄像条件时，所述选择部选择所述第二摄像区域所包含的像素。
6.根据权利要求5所述的摄像装置，其特征在于，
所述选择部基于与由所述设定部设定的所述第二摄像区域的摄像条件下的曝光有关的值，选择所述第二摄像区域的像素来作为用于所述插补的像素。
7.根据权利要求6所述的摄像装置，其特征在于，
所述选择部基于与由所述设定部设定的第一摄像区域的摄像条件下的曝光有关的值、和与所述第二摄像区域的摄像条件下的曝光有关的值，选择所述第二摄像区域的像素来作为用于所述插补的像素。
8.根据权利要求1或者2所述的摄像装置，其特征在于，
当通过所述设定部对所述第一摄像区域设定第一摄像条件、且对所述第二摄像区域设定第二摄像条件时，所述选择部选择所述第一摄像区域所包含的像素。
9.根据权利要求8所述的摄像装置，其特征在于，
当通过所述设定部对所述第一摄像区域设定第一摄像条件、且对所述第二摄像区域设定第二摄像条件时，所述选择部不选择所述第二摄像区域的像素而选择所述第一摄像区域所包含的像素。
10.根据权利要求1或者2所述的摄像装置，其特征在于，
所述选择部选择与所述第一像素之间的距离比所述第一像素与所述第二摄像区域的第二像素之间的距离更长的、所述第一摄像区域的第三像素，来作为用于插补所述第一摄像区域的第一像素的像素。
11.根据权利要求1或者2所述的摄像装置，其特征在于，
所述选择部根据由所述设定部对所述第二摄像区域设定的摄像条件，使所选择的像素的数量不同。
12.根据权利要求11所述的摄像装置，其特征在于，
当通过所述设定部对所述第一摄像区域设定第一摄像条件并且对所述第二摄像区域设定第二摄像条件时，所述选择部选择比对所述第一摄像区域和所述第二摄像区域设定了所述第一摄像条件时更少的像素。
13.根据权利要求1～12中任一项所述的摄像装置，其特征在于，
具有生成部，该生成部使用根据从由所述选择部选择的像素输出的信号进行插补而得到的信号，生成在所述第一摄像区域拍摄到的被摄体的图像。
14.根据权利要求1～12中任一项所述的摄像装置，其特征在于，
具有检测部，该检测部使用根据从由所述选择部选择的像素输出的信号进行插补而得到的信号，检测在所述第一摄像区域拍摄到的被摄体。
15.根据权利要求1～12中任一项所述的摄像装置，其特征在于，
具有对摄像条件的设定进行控制的控制部，该控制部使用根据从由所述选择部选择的像素输出的信号进行插补而得到的信号，控制对所述第一摄像区域设定的摄像条件的设定。
16.根据权利要求1～12中任一项所述的摄像装置，其特征在于，
所述第一摄像区域以及所述第二摄像区域经由调整光学系统的对焦位置的透镜来拍摄被摄体，
所述摄像装置具有控制部，该控制部使用根据从由所述选择部选择的像素输出的信号进行插补而得到的信号，根据检测出的所述光学系统的对焦点状态，来控制所述透镜的驱动。
CN202010795797.4A 2015-09-30 2016-09-26 摄像装置 Active CN111953901B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015195288 2015-09-30
JP2015-195288 2015-09-30
PCT/JP2016/078313 WO2017057292A1 (ja) 2015-09-30 2016-09-26 撮像装置および画像処理装置
CN201680057213.5A CN108141532B (zh) 2015-09-30 2016-09-26 摄像装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680057213.5A Division CN108141532B (zh) 2015-09-30 2016-09-26 摄像装置

Publications (2)

Publication Number Publication Date
CN111953901A true CN111953901A (zh) 2020-11-17
CN111953901B CN111953901B (zh) 2022-06-17

Family

ID=58423443

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010795797.4A Active CN111953901B (zh) 2015-09-30 2016-09-26 摄像装置
CN201680057213.5A Active CN108141532B (zh) 2015-09-30 2016-09-26 摄像装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201680057213.5A Active CN108141532B (zh) 2015-09-30 2016-09-26 摄像装置

Country Status (5)

Country Link
US (4) US10638037B2 (zh)
EP (1) EP3358821B1 (zh)
JP (5) JP6604384B2 (zh)
CN (2) CN111953901B (zh)
WO (1) WO2017057292A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10908478B2 (en) * 2017-02-20 2021-02-02 Sony Corporation Photometric device, photometric method, program, and capturing device
JP2018157371A (ja) * 2017-03-17 2018-10-04 キヤノン株式会社 撮像装置及び欠陥画素の補正方法
WO2018225360A1 (ja) * 2017-06-08 2018-12-13 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
US11282168B2 (en) * 2017-10-23 2022-03-22 Sony Interactive Entertainment Inc. Image processing apparatus, image processing method, and program
KR102499033B1 (ko) * 2018-01-31 2023-02-13 삼성전자주식회사 스택형 이미지 센서 및 스택형 이미지 센서를 포함하는 전자 장치
JP7175712B2 (ja) * 2018-10-25 2022-11-21 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
KR102640871B1 (ko) * 2018-10-30 2024-02-27 삼성전자주식회사 증강 현실을 이용한 영상 데이터를 제공하는 전자 장치 및 그 제어 방법
KR102662032B1 (ko) * 2019-06-19 2024-05-03 삼성전자주식회사 이미지 센서 및 이미지 센서를 포함하는 전자 장치
CN111835971B (zh) * 2020-07-20 2021-09-24 Oppo广东移动通信有限公司 图像处理方法、图像处理系统、电子设备及可读存储介质
CN115474007A (zh) * 2022-08-12 2022-12-13 北京城市网邻信息技术有限公司 一种拍摄方法、装置、终端设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050151866A1 (en) * 2004-01-13 2005-07-14 Haruhisa Ando Wide dynamic range operations for imaging
CN1909601A (zh) * 2005-08-01 2007-02-07 奥林巴斯映像株式会社 摄像装置和摄像方法
CN101018299A (zh) * 2006-02-07 2007-08-15 日本胜利株式会社 摄像方法以及摄像装置
CN101149795A (zh) * 2004-05-14 2008-03-26 欧姆龙株式会社 特定被摄体检测装置
JP2013084247A (ja) * 2011-09-26 2013-05-09 Canon Inc 画像処理装置及び方法
CN103190145A (zh) * 2010-11-12 2013-07-03 索尼公司 图像处理装置、成像装置、图像处理方法和程序
JP2015056710A (ja) * 2013-09-11 2015-03-23 キヤノン株式会社 撮像装置、およびその制御方法、プログラム、記憶媒体

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08172640A (ja) * 1994-12-19 1996-07-02 Matsushita Electric Ind Co Ltd 色補正装置
JP2001238126A (ja) 2000-02-22 2001-08-31 Minolta Co Ltd 撮像装置及び画像処理方法
JP3965555B2 (ja) * 2002-02-01 2007-08-29 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP4349232B2 (ja) 2004-07-30 2009-10-21 ソニー株式会社 半導体モジュール及びｍｏｓ型固体撮像装置
JP4277216B2 (ja) 2005-01-13 2009-06-10 ソニー株式会社 撮像装置及び撮像結果の処理方法
JP5111023B2 (ja) * 2007-08-31 2012-12-26 キヤノン株式会社 撮像装置及びその制御方法
US7940311B2 (en) * 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
JP5272551B2 (ja) * 2008-07-15 2013-08-28 株式会社リコー 撮像装置及び方法
US8274583B2 (en) * 2009-06-05 2012-09-25 Apple Inc. Radially-based chroma noise reduction for cameras
JP2012003576A (ja) * 2010-06-18 2012-01-05 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP5655626B2 (ja) * 2011-02-24 2015-01-21 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2012256964A (ja) * 2011-06-07 2012-12-27 Nikon Corp 撮像装置
JP5898466B2 (ja) * 2011-11-11 2016-04-06 キヤノン株式会社 撮像装置、その制御方法、及びプログラム
CN103999458A (zh) * 2011-12-16 2014-08-20 索尼公司 图像捕获设备
JP5978949B2 (ja) 2012-03-16 2016-08-24 富士通株式会社 画像合成装置及び画像合成用コンピュータプログラム
JP2014179911A (ja) * 2013-03-15 2014-09-25 Nikon Corp 撮像装置
US11290652B2 (en) 2013-05-31 2022-03-29 Nikon Corporation Electronic apparatus and control program
JP6248468B2 (ja) * 2013-08-23 2017-12-20 株式会社ニコン 撮像装置および電子機器
JP2015133633A (ja) 2014-01-14 2015-07-23 株式会社東芝 固体撮像装置
JP6320053B2 (ja) * 2014-01-22 2018-05-09 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム
JP6446790B2 (ja) * 2014-02-21 2019-01-09 株式会社リコー 画像処理装置、撮像装置、画像補正方法およびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050151866A1 (en) * 2004-01-13 2005-07-14 Haruhisa Ando Wide dynamic range operations for imaging
CN101149795A (zh) * 2004-05-14 2008-03-26 欧姆龙株式会社 特定被摄体检测装置
CN1909601A (zh) * 2005-08-01 2007-02-07 奥林巴斯映像株式会社 摄像装置和摄像方法
CN101018299A (zh) * 2006-02-07 2007-08-15 日本胜利株式会社 摄像方法以及摄像装置
CN103190145A (zh) * 2010-11-12 2013-07-03 索尼公司 图像处理装置、成像装置、图像处理方法和程序
US20130242152A1 (en) * 2010-11-12 2013-09-19 Sony Corporation Image processing device, imaging device, image processing method, and program
JP2013084247A (ja) * 2011-09-26 2013-05-09 Canon Inc 画像処理装置及び方法
JP2015056710A (ja) * 2013-09-11 2015-03-23 キヤノン株式会社 撮像装置、およびその制御方法、プログラム、記憶媒体

Also Published As

Publication number Publication date
CN111953901B (zh) 2022-06-17
JP6791336B2 (ja) 2020-11-25
JP2020039130A (ja) 2020-03-12
EP3358821A4 (en) 2019-04-24
JP2022093341A (ja) 2022-06-23
US10638037B2 (en) 2020-04-28
JP7363953B2 (ja) 2023-10-18
US20230283910A1 (en) 2023-09-07
WO2017057292A1 (ja) 2017-04-06
US20200228705A1 (en) 2020-07-16
JPWO2017057292A1 (ja) 2018-07-12
US20210321031A1 (en) 2021-10-14
EP3358821A1 (en) 2018-08-08
EP3358821B1 (en) 2021-06-30
JP2021016191A (ja) 2021-02-12
US20180288316A1 (en) 2018-10-04
JP6604384B2 (ja) 2019-11-13
JP2023181213A (ja) 2023-12-21
JP7052850B2 (ja) 2022-04-12
US11641522B2 (en) 2023-05-02
US11095830B2 (en) 2021-08-17
CN108141532B (zh) 2020-09-08
CN108141532A (zh) 2018-06-08

Similar Documents

Publication Publication Date Title
CN111953901B (zh) 摄像装置
CN112714252B (zh) 摄像装置
JP7372034B2 (ja) 撮像装置、および画像処理装置
WO2017170716A1 (ja) 撮像装置、画像処理装置、および電子機器
JP7439856B2 (ja) 撮像装置
WO2017170717A1 (ja) 撮像装置、焦点調節装置、および電子機器
JP6604385B2 (ja) 撮像装置
JP6589989B2 (ja) 撮像装置
JP6589988B2 (ja) 撮像装置
JP6521085B2 (ja) 撮像装置、および制御装置
WO2017057267A1 (ja) 撮像装置、および焦点検出装置
WO2017057280A1 (ja) 撮像装置、および被写体検出装置
WO2017170719A1 (ja) 撮像装置、および電子機器
WO2017170718A1 (ja) 撮像装置、被写体検出装置、および電子機器
WO2017170724A1 (ja) 撮像装置、レンズ調節装置、および電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant