CN109743514A - 电子设备 - Google Patents

电子设备 Download PDF

Info

Publication number
CN109743514A
CN109743514A CN201811271609.7A CN201811271609A CN109743514A CN 109743514 A CN109743514 A CN 109743514A CN 201811271609 A CN201811271609 A CN 201811271609A CN 109743514 A CN109743514 A CN 109743514A
Authority
CN
China
Prior art keywords
image
area
shooting
addition
division
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811271609.7A
Other languages
English (en)
Other versions
CN109743514B (zh
Inventor
盐野谷孝
神原敏之
关口政一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to CN201811271609.7A priority Critical patent/CN109743514B/zh
Publication of CN109743514A publication Critical patent/CN109743514A/zh
Application granted granted Critical
Publication of CN109743514B publication Critical patent/CN109743514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14634Assemblies, i.e. Hybrid structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/533Control of the integration time by using differing integration times for different sensor regions
    • H04N25/535Control of the integration time by using differing integration times for different sensor regions by dynamic region selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767Horizontal readout lines, multiplexers or registers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/79Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本发明提供一种电子设备及电子设备的控制方法。针对同一被摄体生成多种图像。电子设备具有:驱动控制部(72),其对摄像元件(100)进行驱动控制;划分部(71),其将摄像元件(100)的摄像区域(113A)至少划分成第一区域和第二区域;和图像生成部(31),其针对同一被摄体分别生成基于第一区域的拍摄得到的第一图像和基于第二区域的拍摄得到的第二图像。

Description

电子设备
本发明申请是国际申请日为2013年7月4日、国际申请号为PCT/JP2013/068381、进入中国国家阶段的国家申请号为201380077710.8、发明名称为“电子设备、电子设备的控制方法及控制程序”的发明申请的分案申请。
技术领域
本发明涉及电子设备。
背景技术
提出有如下电子设备,其包括层叠了背面照射型摄像芯片和信号处理芯片而成的摄像元件(以下将该摄像元件称为层叠型摄像元件。)(例如参照专利文献1)。层叠型摄像元件以如下方式层叠:按汇集了多个像素而成的区块单位,经由微凸块连接背面照射型摄像芯片和信号处理芯片。
在先技术文献
专利文献
专利文献1:日本特开2006-49361号公报
发明内容
但是,在以往的包括层叠型摄像元件的电子设备中,按多个区块单位进行拍摄而取得图像的提案不多,包括层叠型摄像元件的电子设备的使用便利性还不够。
在本发明的方式中,其目的在于,针对同一被摄体生成多种图像。
根据本发明的第一方式,提供一种电子设备,其具有:驱动控制部,其对摄像元件进行驱动控制;划分部,其将摄像元件的摄像区域至少划分成第一区域和第二区域;图像生成部,其针对同一被摄体分别生成基于第一区域的拍摄得到的第一图像和基于第二区域的拍摄得到的第二图像。
根据本发明的第二方式,提供一种电子设备的控制方法,其中,电子设备具有摄像部,该电子设备的控制方法包括以下的步骤:将摄像部的摄像元件的摄像区域至少划分成第一区域和第二区域;和针对同一被摄体分别生成基于第一区域的拍摄得到的第一图像和基于第二区域的拍摄得到的第二图像。
根据本发明的第三方式,提供一种控制程序,其使具有摄像元件的电子设备的控制装置执行以下的处理:分割处理,将摄像部的摄像元件的摄像区域至少划分成第一区域和第二区域;图像生成处理,对同一被摄体分别生成基于第一区域的拍摄得到的第一图像和基于第二区域的拍摄得到的第二图像。
发明效果
根据本发明的方式,能够针对同一被摄体生成多种图像。
附图说明
图1是层叠型摄像元件的剖视图。
图2是说明摄像芯片的像素排列和单位组的图。
图3是与摄像芯片的单位组对应的电路图。
图4是表示摄像元件的功能性结构的框图。
图5是表示第一实施方式的电子设备的结构的框图。
图6是表示作为电子设备的一例的数码相机的外观的图。
图7是图像处理部及系统控制部的功能框图。
图8是表示各区块中的排列图案的图。
图9是用于说明由系统控制部执行的拍摄动作的流程图。
图10是用于说明排列图案设定处理的流程图。
图11是表示在执行第二静态图像模式时的第二排列图案的设定例的图。
图12是表示第一静态图像模式和第二静态图像模式下的电荷蓄积的定时的时序图。
图13是表示在将静态图像显示在第一显示部及第二显示部的情况下的显示例的图。
图14是表示在执行第二动态图像模式时的第二排列图案的设定例的图。
图15是表示第二动态图像模式下的电荷蓄积的定时的时序图。
图16是表示在将动态图像显示在第一显示部并将静态图像显示在第二显示部的情况下的显示例的图。
图17是表示各区块中的第五排列图案的图。
图18是表示各区块中的第六排列图案的图。
图19是表示第二实施方式的电荷蓄积的定时的时序图。
图20是表示第二实施方式的在将静态图像显示在第一显示部及第二显示部的情况下的显示例的图。
图21是表示第三实施方式的拍摄装置及电子设备的结构的框图。
具体实施方式
以下,参照附图说明本发明的实施方式。但是,本发明不限定于此。另外,在图中,为了说明实施方式,放大或强调一部分地进行记载等、适当变更比例尺来表现。
<第一实施方式>
图1是层叠型摄像元件的剖视图。此外,该层叠型摄像元件100记载于本申请的申请人在先申请的日本特愿2012-139026号中。摄像元件100具有:摄像芯片113,其输出与入射光对应的像素信号;信号处理芯片111,其处理像素信号;和存储芯片112,其存储像素信号。这些摄像芯片113、信号处理芯片111及存储芯片112被层叠,通过Cu(铜)等的具有导电性的凸块109相互电连接。
此外,如图所示,入射光主要朝向用空心箭头表示的Z轴正方向入射。在本实施方式中,在摄像芯片113中,将入射光入射这一侧的面称为背面。另外,如坐标轴所示,将与Z轴正交的纸面左方向作为X轴正方向,将与Z轴及X轴正交的纸面近前方向作为Y轴正方向。在以后的若干幅图中,将图1的坐标轴作为基准显示坐标轴,以便于理解各图的方向。
摄像芯片113的一例是背面照射型的MOS(Metal OxideSemiconductor:金属氧化物半导体)图像传感器。PD层106配置在布线层108的背面侧。PD层106具有以二维方式配置并对与入射光相应的电荷进行蓄积的多个光电二极管(Photodiode;以下称为PD)104和与PD104对应地设置的晶体管105。
在PD层106中的入射光的入射侧,隔着钝化膜103设置有彩色滤光片102。彩色滤光片102是使可见光中的特定波长区域通过的滤光片。该彩色滤光片102具有使互不相同的波长区域透射的多个种类,与PD104的每一个对应地具有特定的排列。关于彩色滤光片102的排列在后面说明。彩色滤光片102、PD104及晶体管105的组形成一个像素。
在彩色滤光片102中的入射光的入射侧,与各个像素对应地设置有微型透镜101。微型透镜101朝向对应的PD104对入射光进行聚光。
布线层108具有将来自PD层106的像素信号传送到信号处理芯片111的布线107。布线107也可以是多层的,另外,也可以设置无源元件及有源元件。在布线层108的表面上配置有多个凸块109。这些多个凸块109与在信号处理芯片111的相对的面上设置的多个凸块109对位。而且,通过对摄像芯片113和信号处理芯片111加压等,将对位的凸块109彼此接合而电连接。
同样地,在信号处理芯片111及存储芯片112的相互相对的面上,配置有多个凸块109。这些凸块109相互对位。而且,通过对信号处理芯片111和存储芯片112加压等,将对位的凸块109彼此接合而电连接。
此外,凸块109间的接合不限于基于固相扩散实现的Cu凸块接合,也可以采用基于焊锡熔融实现的微凸块结合。另外,凸块109只要相对于例如后述的一个单位组设置一个即可。因此,凸块109的大小也可以比PD104的间距大。另外,也可以在排列有像素的像素区域(图2所示的像素区域113A)以外的周边区域中,一并设置比与像素区域对应的凸块109大的凸块。
信号处理芯片111具有将分别设置在表面及背面上的电路相互连接的TSV(Through-Silicon Via;硅贯通电极)110。TSV110设置在周边区域。另外,TSV110也可以设置在摄像芯片113的周边区域或存储芯片112。
图2是用于说明摄像芯片的像素排列和单位组的图。在图2中,尤其示出了从背面侧观察到的摄像芯片113的情况。在摄像芯片113中,将排列有像素的区域称为像素区域113A。在像素区域113A中,2000万个以上的像素排列成矩阵状。在图2所示的例子中,相邻的4像素×4像素的16像素形成一个单位组131。图2的格子线表示相邻的像素被分组而形成单位组131的概念。形成单位组131的像素的数量不限于此,也可以是1000个左右,例如32像素×64像素,也可以是其以上或以下。
如像素区域113A的局部放大图所示,单位组131是在上下左右内含4个由绿色像素Gb、Gr、蓝色像素B及红色像素R这4个像素构成的所谓拜耳排列。绿色像素是作为彩色滤光片102而具有绿色滤光片的像素,接受入射光中的绿色波段的光。同样地,蓝色像素是作为彩色滤光片102而具有蓝色滤光片的像素,接受蓝色波段的光。红色像素是作为彩色滤光片102而具有红色滤光片的像素,接受红色波段的光。
图3是与摄像芯片的单位组对应的电路图。在图3中,代表性地用虚线包围的矩形表示与一个像素对应的电路。此外,以下说明的各晶体管的至少一部分与图1的晶体管105对应。
如上所述,单位组131由16个像素形成。与各个像素对应的16个PD104分别与传送晶体管302连接。被供给传送脉冲的TX布线307与各传送晶体管302的栅极连接。在本实施方式中,TX布线307相对于16个传送晶体管302共用连接。
各传送晶体管302的漏极与对应的各复位晶体管303的源极连接,并且传送晶体管302的漏极和各复位晶体管303的源极间的所谓浮动扩散FD(电荷检测部)与放大晶体管304的栅极连接。各复位晶体管303的漏极与被供给电源电压的Vdd布线310连接。各复位晶体管303的栅极与被供给复位脉冲的复位布线306连接。在本实施方式中,复位布线306相对于16个复位晶体管303共用连接。
各个放大晶体管304的漏极与被供给电源电压的Vdd布线310连接。另外,各个放大晶体管304的源极与对应的各个选择晶体管305的漏极连接。被供给选择脉冲的解码器布线308与各个选择晶体管305的栅极连接。在本实施方式中,解码器布线308相对于16个选择晶体管305分别独立地设置。而且,各个选择晶体管305的源极与共用的输出布线309连接。负荷电流源311将电流供给到输出布线309。即,对于选择晶体管305的输出布线309由源极跟随器形成。此外,负荷电流源311可以设置在摄像芯片113侧,也可以设置在信号处理芯片111侧。
这里,对从电荷的蓄积开始到蓄积结束后的像素输出为止的流程进行说明。通过复位布线306将复位脉冲施加于复位晶体管303。与此同时,通过TX布线307将传送脉冲施加于传送晶体管302。由此,PD104及浮动扩散FD的电位被复位。
在传送脉冲的施加被解除时,PD104将接受的入射光转换成电荷并蓄积。然后,在未施加复位脉冲的状态下,再次施加传送脉冲时,在PD104中蓄积的电荷被传送到浮动扩散FD。由此,浮动扩散FD的电位从复位电位成为电荷蓄积后的信号电位。而且,在通过解码器布线308将选择脉冲施加于选择晶体管305时,浮动扩散FD的信号电位的变动经由放大晶体管304及选择晶体管305传递到输出布线309。根据这样的电路的动作,与复位电位和信号电位对应的像素信号被从单位像素输出至输出布线309。
如图3所示,在本实施方式中,对于形成单位组131的16像素,复位布线306和TX布线307是共用的。即,分别对全部16个像素同时施加复位脉冲和传送脉冲。因此,形成单位组131的全部像素在同一定时开始电荷蓄积,在同一定时结束电荷蓄积。但是,与被蓄积的电荷对应的像素信号通过对各自的选择晶体管305依次施加选择脉冲,而被选择性地输出至输出布线309。另外,复位布线306、TX布线307、输出布线309按每个单位组131独立设置。
像这样将单位组131作为基准构成电路,由此能够按每个单位组131控制电荷蓄积时间。换言之,能够在单位组131间分别输出基于不同的电荷蓄积时间的像素信号。再换言之,在使一个单位组131进行1次电荷蓄积期间,使另一个单位组131反复进行多次电荷蓄积而每次输出像素信号,由此,还能够在这些单位组131间以不同的帧频输出动态图像用的各帧。
图4是表示摄像元件的功能性结构的框图。模拟的多路复用器(multiplexer)411按顺序选择形成单位组131的16个PD104。而且,多路复用器411使16个PD104各自的像素信号向与该单位组131对应地设置的输出布线309输出。多路复用器411与PD104一起形成在摄像芯片113上。
经由多路复用器411输出的模拟信号的像素信号由形成在信号处理芯片111中的放大器412放大。而且,被放大器412放大的像素信号通过形成在信号处理芯片111上的、进行相关双采样(CDS:Correlated Double Sampling)、模拟/数字(Analog/Digital)转换的信号处理电路413,来进行相关双采样的信号处理,并且进行A/D转换(从模拟信号向数字信号的转换)。像素信号在信号处理电路413中被实施相关双采样的信号处理,由此,降低了像素信号的噪声。被A/D转换的像素信号被传递至多路分配器(demultiplexer)414,并存储在与各个像素对应的像素存储器415中。多路分配器414及像素存储器415形成在存储芯片112中。
运算电路416对保存在像素存储器415中的像素信号进行处理并传递给后级的图像处理部。运算电路416可以设置在信号处理芯片111,也可以设置在存储芯片112。此外,在图4中,示出了一个单位组131的量的连接,但实际上它们按每个单位组131存在,且并行地动作。但是,运算电路416也可以不按每个单位组131存在。例如,一个运算电路416也可以一边按顺序参考与各个单位组131对应的像素存储器415的值一边按序处理。
如上所述,与各个单位组131对应地设置有输出布线309。摄像元件100层叠有摄像芯片113、信号处理芯片111及存储芯片112。由此,通过使这些输出布线309采用使用了凸块109的芯片间的电连接,能够无需在面方向上增大各芯片地布置布线。
接着,针对设定在摄像元件100的像素区域113A(参照图2)中的区块进行说明。在本实施方式中,摄像元件100的像素区域113A被划分成多个区块。多个区块定义为每一个区块至少含有一个单位组131。各区块分别以不同的控制参数控制各区块所含有的像素。也就是说,在某区块所含有的像素组和另一个区块所含有的像素组中,能够取得控制参数不同的像素信号。作为控制参数,可以列举例如电荷的蓄积时间或蓄积次数、帧频、增益、间除率、将像素信号相加的相加行数或相加列数、数字化的位(bit)数等。而且,控制参数也可以是在获取来自像素的图像信号后的图像处理中的参数。
这里,电荷的蓄积时间是指PD104开始电荷蓄积到结束为止的时间。另外,电荷的蓄积次数是指单位时间内PD104蓄积电荷的次数。另外,帧频是指表示在动态图像中单位时间内处理(显示或记录)的帧数的值。帧频的单位用fps(Frames Per Second:帧每秒)表示。帧频越高,动态图像中的被摄体(即被拍摄的对象物)的动作变得越流畅。
另外,增益是指放大器412的增益率(放大率)。通过变更该增益,能够变更ISO感光度。该ISO感光度是由ISO决定的胶片的规格,表示胶片能够以何种程度的弱光进行记录。但是,一般来说,在表现摄像元件100的感光度的情况下,也使用ISO感光度。该情况下,ISO感光度是表示摄像元件100捕捉光的能力的值。当提高增益时,ISO感光度也提高。例如,当将增益加倍时,电信号(像素信号)也加倍,即使入射光的光量为一半也能够得到适当的亮度。但是,当提高增益时,电信号所含有的噪声也被放大,从而噪声变多。
另外,间除率是指在规定区域中不进行像素信号的读出的像素数相对于全部像素数的比例。例如,在规定区域的间除率为0的情况下,意味着从该规定区域内的全部像素读取像素信号。另外,在规定区域的间除率为0.5的情况下,意味着从该规定区域内的一半的像素来读出像素信号。具体来说,在单位组131为拜耳排列的情况下,在垂直方向上隔开一个拜耳排列的单位,即,按照像素单位的每2像素(每2行)交替地设定读出像素信号的像素和不读出像素信号的像素。此外,当进行像素信号读出的间除时,图像的分辨率降低。但是,由于在摄像元件100中配置有2000万以上的像素,所以例如即使以间除率0.5进行间除,也能够以1000万以上的像素显示图像。由此,认为使用者(摄影者)不会注意到分辨率的降低。
另外,相加行数是指,在将垂直方向上相邻的像素的像素信号相加的情况下该相加的垂直方向上的像素的数量(行数)。另外,相加列数是指,在将水平方向上相邻的像素的像素信号相加的情况下该相加的水平方向上的像素的数量(列数)。这种相加处理例如在运算电路416中实施。通过运算电路416实施将垂直方向或水平方向上相邻的规定数的像素的像素信号相加的处理,能够发挥与以规定的间除率进行间除而读出像素信号的处理相同的效果。此外,在上述相加处理中,运算电路416也可以用相加得到的行数或列数除相加值来算出平均值。
另外,数字化的位数是指信号处理电路413在A/D转换中将模拟信号转换成数字信号时的位数。数字信号的位数越多,越详细地表现亮度或色彩变化等。
在本实施方式中,蓄积条件是指与摄像元件100中的电荷蓄积相关的条件。具体来说,蓄积条件是指上述控制参数中的电荷的蓄积时间或蓄积次数、帧频及增益。由于帧频与电荷的蓄积时间或蓄积次数相应地变化,所以帧频属于蓄积条件。另外,合理曝光的光量与增益相应地变化,电荷的蓄积时间或蓄积次数也与合理曝光的光量相应地变化。由此,增益属于蓄积条件。
另外,摄像条件是指与被摄体的拍摄相关的条件。具体来说,摄像条件是指包含上述蓄积条件的控制参数。摄像条件除了用于控制摄像元件100的控制参数(例如,电荷的蓄积时间或蓄积次数、帧频、增益)以外,还包括用于控制从摄像元件100读出信号的控制参数(例如,间除率)、用于对来自摄像元件100的信号进行处理的控制参数(例如,将像素信号相加的相加行数或相加列数、数字化的位数、用于使后述的图像处理部30执行图像处理的控制参数)。
图5是表示第一实施方式的电子设备的结构的框图。图5所示的电子设备1由例如具有拍摄功能的数码相机、智能手机、便携式电话、个人计算机等设备构成。如图5所示,电子设备1具有透镜部10、摄像部20、图像处理部30、工作存储器40、显示部50、操作部55、记录部60及系统控制部70。透镜部10是由多个透镜组构成的摄像光学系统。该透镜部10将来自被摄体的光束导向摄像部20。该透镜部10可以与电子设备1一体地构成,也可以采用相对于电子设备1能够拆装的更换式透镜。另外,该透镜部10可以内置聚焦透镜,也可以内置变焦透镜。
摄像部20具有摄像元件100及驱动部21。驱动部21是根据来自系统控制部70的指示来控制摄像元件100的驱动的控制电路。这里,驱动部21通过控制将复位脉冲及传送脉冲分别施加到复位晶体管303及传送晶体管302的定时(或定时的周期),来对作为控制参数的电荷的蓄积时间或蓄积次数进行控制。另外,驱动部21通过控制将复位脉冲、传送脉冲及选择脉冲分别施加到复位晶体管303、传送晶体管302及选择晶体管305的定时(或定时的周期),来控制帧频。另外,驱动部21通过对施加复位脉冲、传送脉冲及选择脉冲的像素进行设定,来控制间除率。
另外,驱动部21通过控制放大器412的增益(也称为增益率、放大率),来控制摄像元件100的ISO感光度。另外,驱动部21通过向运算电路416发送指示,来设定将像素信号相加的相加行数或相加列数。另外,驱动部21通过向信号处理电路413发送指示,来设定数字化的位数。而且,驱动部21进行摄像元件100的像素区域(摄像区域)113A中的区块的设定。像这样,驱动部21发挥使摄像元件100以按多个区块的每一个都不同的摄像条件进行拍摄并输出像素信号的摄像元件控制部的功能。系统控制部70对驱动部21指示区块的位置、形状、范围等。
摄像元件100将来自摄像元件100的像素信号传送到图像处理部30。图像处理部30将工作存储器40作为工作空间,对由各像素的像素信号构成的RAW(原始)数据实施各种图像处理,生成图像数据。该图像处理部30设置有第一图像处理部30A和第二图像处理部30B。在图像处理的负荷高的情况下,对第一图像处理部30A及第二图像处理部30B分别分配处理。而且,第一图像处理部30A及第二图像处理部30B分别并行地执行被分配的处理。
在本实施方式中,如下所述,系统控制部70(具体来说,图7所示的划分部71)将摄像元件100的像素区域(摄像区域)113A至少划分成第一区域和第二区域。另外,系统控制部70(具体来说,图7所示的驱动控制部72)以在第一区域和第二区域中利用不同的摄像条件进行拍摄的方式驱动控制摄像元件100。在该情况下,例如第一图像处理部30A执行来自第一区域的信号的图像处理。另外,第二图像处理部30B执行来自第二区域的信号的图像处理。此外,摄像元件100的像素区域(摄像区域)113A不限于划分成第一区域和第二区域两个区域的情况,能够划分成第一区域、第二区域、第三区域……这样的多个区域。而且,将关于多个区域的图像处理适当地分配给第一图像处理部30A和第二图像处理部30B。图像处理的分配可以根据划分出的区域的数量或范围等而预先决定,另外,也可以通过系统控制部70基于划分出的区域的数量或范围等来决定。
图像处理部30执行各种图像处理。例如,图像处理部30通过对基于拜耳排列得到的信号进行色彩信号处理(色调修正)而生成RGB图像信号。另外,图像处理部30对于RGB图像信号进行白平衡调整、锐度调整、伽马修正、灰度调整等的图像处理。另外,图像处理部30根据需要进行以规定的压缩格式(JPEG格式、MPEG格式等)压缩的处理。图像处理部30将生成的图像数据输出至记录部60。另外,图像处理部30将生成的图像数据输出至显示部50。
在本实施方式中,图像处理部30除了上述处理以外,还进行根据图像数据检测主要被摄体的处理。这里,“主要被摄体”是指,作为被拍摄的对象物的被摄体中的被使用者(摄影者)关注的被摄体或推测为被使用者关注的被摄体。主要被摄体不限于在图像数据中仅存在一个的情况,还有存在多个的情况(参照例如图14)。
图像处理部30在进行图像处理时参考的参数也包含于控制参数(摄像条件)。例如,色彩信号处理(色调修正)、白平衡调整、灰度调整、压缩率等的参数包含于控制参数。从摄像元件100读出的信号与电荷的蓄积时间等相应地变化,在进行图像处理时参考的参数也与该信号的变化相应地变化。图像处理部30按每个区块单位设定不同的控制参数,基于这些控制参数执行色彩信号处理等的图像处理。
图像处理部30提取从摄像部20以时间序列得到的多个帧中的每个规定定时的帧。或者,图像处理部30废弃从摄像部20以时间序列得到的多个帧中的每个规定定时的帧。由此,由于能够减少数据量,所以能够减轻后级处理的负荷。另外,图像处理部30基于从摄像部20以时间序列得到的多个帧,算出向各帧间插补的1个或多个帧。而且,图像处理部30将算出的1个或多个帧追加到各帧间。由此,在播放动态图像时,能够播放更流畅的动作的动态图像。另外,驱动部21构成为控制间除率,但不限于这样的结构。例如,也可以设为驱动部21从全部的像素读出像素信号,但图像处理部30或运算电路416废弃所读出的像素信号中的规定的像素信号,从而控制间除率。
工作存储器40在进行基于图像处理部30的图像处理时暂时存储图像数据等。显示部50由例如液晶显示面板构成。该显示部50如图5所示地具有第一显示部51、第一触摸面板52、第二显示部53及第二触摸面板54。
第一显示部51显示由摄像部20拍摄到的图像(静态图像、动态图像、实时取景图像)、各种信息。第一触摸面板52形成在第一显示部51的显示画面上。该第一触摸面板52在使用者进行图像(后述的缩略图像:参照图13)的选择等时,将表示使用者触摸的位置的信号输出至系统控制部70。第二显示部53显示由摄像部20拍摄到的图像(静态图像、动态图像、实时取景图像)、各种信息。第二触摸面板54形成在第二显示部53的显示画面上。该第二触摸面板54在使用者进行图像的选择等时,将表示使用者触摸的位置的信号输出至系统控制部70。
操作部55是由使用者操作的释放开关、动态图像开关、各种操作开关等。该操作部55将与使用者的操作相应的信号输出至系统控制部70。记录部60具有能够安装存储卡等的两个存储介质(第一记录介质61及第二记录介质62)的两个卡槽。记录部60将图像处理部30中生成的图像数据和各种数据存储在安装在卡槽中的记录介质(第一记录介质61及第二记录介质62)。在本实施方式中,如上所述,第一图像处理部30A和第二图像处理部30B分别并行地执行基于来自第一区域的信号的图像处理和基于来自第二区域的信号的图像处理。在该情况下,第一记录介质61根据释放开关或动态图像开关的操作,存储基于来自第一区域的信号的图像数据。另外,第二记录介质62根据释放开关或动态图像开关的操作,存储基于来自第二区域的信号的图像数据。另外,记录部60具有内部存储器。记录部60还能够将在图像处理部30中生成的图像数据和各种数据存储于内部存储器。
系统控制部70控制电子设备1整体的处理及动作。该系统控制部70具有CPU(Central Processing Unit:中央处理器)70A。在本实施方式中,系统控制部70将摄像元件100(摄像芯片113)的摄像面(像素区域113A)分成多个区块,在区块间以不同的电荷蓄积时间(或电荷蓄积次数)、帧频、增益取得图像。由此,系统控制部70将区块的位置、形状、范围及各区块用的蓄积条件向驱动部21指示。另外,系统控制部70在区块间以不同的间除率、将像素信号相加的相加行数或相加列数及数字化的位数取得图像。由此,系统控制部70将各区块用的摄像条件(间除率、将像素信号相加的相加行数或相加列数及数字化的位数)向驱动部21指示。另外,图像处理部30在区块间以不同的摄像条件(色彩信号处理、白平衡调整、灰度调整、压缩率等的控制参数)执行图像处理。由此,系统控制部70将各区块用的摄像条件(色彩信号处理、白平衡调整、灰度调整、压缩率等的控制参数)指示给图像处理部30。
另外,系统控制部70将图像处理部30中生成的图像数据记录于记录部60。另外,系统控制部70将图像处理部30中生成的图像数据输出至显示部50,由此,使显示部50(第一显示部51及触摸面板52的某一方或双方)显示图像。或者,系统控制部70读出记录部60中记录的图像数据并输出至显示部50,由此,使显示部50(第一显示部51及触摸面板52的某一方或双方)显示图像。作为显示部50显示的图像,包含静态图像、动态图像、实时取景图像。这里,实时取景图像是将图像处理部30中生成的图像数据依次输出至显示部50并在显示部50显示的图像。实时取景图像用于供使用者确认由摄像部20拍摄的被摄体的图像。实时取景图像也被称为实时显示(through)图或预览图像。
图6是表示作为电子设备的一例的数码相机的外观的图。此外,在图6中,示出了从背面观察电子设备(数码相机)1的情况下的外观。如图6所示,第一显示部51是具有方形的显示画面的显示面板。该第一显示部51设置在电子设备1的背面。第一触摸面板52形成在第一显示部51的显示画面上。
另外,第二显示部53是具有方形的显示画面的显示面板。该第二显示部53的端部通过设置在电子设备1的背面且设置在第一显示部51下方的铰链(未图示)能够旋转地连结。第二显示部53以铰链为支点旋转,由此,第一显示部51通过第二显示部53而被开闭。
在电子设备1的上表面设置有释放开关55a、模式转盘55b及动态图像开关55c。释放开关55a是在拍摄静态图像时供使用者按压的开关。此外,通过进行释放开关55a的半按操作,来进行AF(AutomaticFocusing:自动对焦)或AE(Automatic Exposure:自动曝光)等的拍摄准备。模式转盘55b是在设定人像、风景、夜景等的各种场景模式时供使用者旋转的转盘。动态图像开关55c是在拍摄动态图像时供使用者按压的开关。另外,在电子设备1的背面且在第一显示部51的侧方,设置有多重选择器(multiselector)55d。多重选择器55d是供使用者利用上下左右的箭头键和OK开关来选择第一显示部51或第二显示部53上显示的菜单(用于设定拍摄模式的菜单)的键及开关。此外,操作部55具有释放开关55a、模式转盘55b、动态图像开关55c及多重选择器55d。此外,操作部55也可以具有这些以外的开关等。
图7是图5所示的图像处理部及系统控制部的功能框图。如图7所示,第一图像处理部30A包含图像生成部31A及检测部32A。图像生成部31A对于从摄像部20输出的由第一区域的各像素的像素信号构成的RAW数据实施各种图像处理,由此生成图像数据。另外,检测部32A根据由图像生成部31A生成的图像数据来检测主要被摄体。在本实施方式中,检测部32A对根据由图像生成部31A生成的实时取景图像以时间序列得到的多个图像数据进行比较,将移动的被摄体(移动被摄体)作为主要被摄体进行检测。另外,检测部32A使用例如日本特开2010-16621号公报(US2010/0002940号)记载的面部检测功能来进行主要被摄体的检测。另外,检测部32A在面部检测的基础上,还如例如日本特开2010-16621号公报(US2010/0002940号)记载的那样地,将图像数据所含有的人体作为主要被摄体进行检测。
另外,第二图像处理部30B包含图像生成部31B。图像生成部31B对于从摄像部20输出的由第二区域的各像素的像素信号构成的RAW数据实施各种图像处理,而生成图像数据。此外,第二图像处理部30B可以不包含检测部,也可以包含检测部。另外,也可以采用第一图像处理部30A不包含检测部32A而第二图像处理部30B包含检测部的结构。在本实施方式中,将图像生成部31A和图像生成部31B总称为图像生成部31。
另外,系统控制部70包含划分部71、驱动控制部72及显示控制部73。划分部71以区块单位将摄像元件100的像素区域(摄像区域)113A划分成多个区域。该划分部71基于像素区域113A的各区块中的规定的排列图案,将像素区域113A划分成多个区域(参照图8的(A)~(D))。驱动控制部72设定关于多个区域的摄像条件。另外,驱动控制部72根据使用者对释放开关55a或动态图像开关55c的操作来执行摄像元件100的驱动控制。另外,驱动控制部在拍摄实时取景图像时(即在电源接入后的拍摄动作开始之后),也执行摄像元件100的驱动控制。显示控制部73进行如下控制:将由图像生成部31生成的图像数据输出至显示部50,使第一显示部51及第二显示部53的某一方或双方显示图像(静态图像、动态图像、实时取景图像)。
此外,在系统控制部70中,划分部71、驱动控制部72及显示控制部73是通过CPU70A基于控制程序执行处理而实现的。
以下,对通过划分部71设定的各区块中的排列图案进行说明。图8是表示各区块中的排列图案的图。这里,图8的(A)表示各区块中的第一排列图案。另外,图8的(B)表示各区块中的第二排列图案。另外,图8的(C)表示各区块中的第三排列图案。另外,图8的(D)表示各区块中的第四排列图案。
图8的(A)所示的第一排列图案是将像素区域113A划分成第一区域和第二区域两种区域的排列图案。在该第一排列图案中,在像素区域113A中,第一区域由奇数列(2m-1)的区块构成,第二区域由偶数列(2m)的区块构成。即,像素区域113A中的各区块被划分成奇数列和偶数列。m是正整数(m=1、2、3、……)。
图8的(B)所示的第二排列图案也是将像素区域113A划分成第一区域和第二区域两种区域的排列图案。在该第二排列图案中,在像素区域113A中,第一区域由奇数行(2n-1)的区块构成,第二区域由偶数行(2n)的区块构成。即,像素区域113A中的各区块被划分成奇数行和偶数行。n是正整数(n=1、2、3、……)。
图8的(C)所示的第三排列图案也是将像素区域113A划分成第一区域和第二区域两种区域的排列图案。在该第三排列图案中,在像素区域113A中,由奇数列(2m-1)中的奇数行(2n-1)的区块和偶数列(2m)中的偶数行(2n)的区块构成了第一区域。另外,由偶数列(2m)中的奇数行(2n-1)的区块和奇数列(2m-1)中的偶数行(2n)的区块构成了第二区域。即,像素区域113A中的各区块被划分成方格图案。m及n是正整数(m=1、2、3、……,n=1、2、3、……)。如图8的(A)~(C)所示,在本实施方式中,第一区域及第二区域不必仅由连续的区块构成,也可以由离散的区块构成。
图8的(D)所示的第四排列图案是将像素区域113A划分成第一区域、第二区域和第三区域三种区域的排列图案。在该第四排列图案中,在像素区域113A中,第一区域由在3的倍数列的前2列的列(3m-2)的区块构成,第二区域由在3的倍数列的前1列的列(3m-1)的区块构成,第三区域由3的倍数列(3m)的区块构成。m是正整数(m=1、2、3、……)。
此外,在图8中,为了易于观察每个区域的区块的配置,在像素区域113A中设定了少量的区块,也可以设定比图8所示的区块的数量多的区块。
接着,对第一实施方式的拍摄动作进行说明。图9是用于说明系统控制部所执行的拍摄动作的流程图。另外,图10是用于说明排列图案设定处理的流程图。在图9所示的处理中,当向电子设备1接入电源时,系统控制部70开始拍摄动作。另外,虽然在图9中未图示,但当开始拍摄时,显示控制部73将由摄像部20拍摄到的实时取景图像显示在第一显示部51,并且将用于设定拍摄模式的菜单显示在第二显示部53。此时,由于实时取景图像不需要是被摄体的移动流畅的图像,所以驱动控制部72以用低的帧频进行拍摄的方式驱动控制摄像元件100。此外,显示控制部73也可以将实时取景图像显示在第二显示部53上,并将菜单显示在第一显示部51上。另外,显示控制部73也可以将实时取景图像及菜单显示在同一显示部(第一显示部51或第二显示部53)。
使用者通过操作多重选择器55d选择第二显示部53中显示的菜单,来选择拍摄模式。划分部71确认基于使用者对多重选择器55d的操作而被选择的拍摄模式(步骤S1)。
这里,作为拍摄模式,设置有拍摄静态图像的静态图像模式和拍摄动态图像的动态图像模式。另外,作为静态图像模式,设置有第一静态图像模式和第二静态图像模式。另外,作为动态图像模式,设置有第一动态图像模式和第二动态图像模式。
第一静态图像模式是指,划分部71不划分摄像元件100的像素区域(摄像区域)113A,而是摄像元件100将像素区域113A作为一个区域拍摄被摄体的静态图像的拍摄模式。该第一静态图像模式是一般进行的通常的静态图像拍摄模式。第二静态图像模式是指,划分部71将像素区域113A划分成多个区域,摄像元件100在多个区域的每一个中对同一被摄体的静态图像进行拍摄的拍摄模式。在该第二静态图像模式下,能够并行地执行在多个区域的每一个中对同一被摄体的静态图像进行连续拍摄的处理。因此,与在第一静态图像模式下进行连拍的情况相比,在第二静态图像模式下进行静态图像的连拍的情况下,单位时间内能够拍摄到更多的静态图像。即,与第一静态图像模式相比第二静态图像模式能够进行更高速的连拍。也将第二静态图像模式称为高速连拍模式或静态图像-静态图像混合模式。
第一动态图像模式是指,划分部71不划分摄像元件100的像素区域(摄像区域)113A,而是摄像元件100将像素区域113A作为一个区域拍摄被摄体的动态图像的拍摄模式。该第一动态图像模式是一般进行的通常的动态图像拍摄模式。第二动态图像模式是指,划分部71将像素区域113A划分成多个区域,摄像元件100在多个区域中的一个区域中对被摄体的静态图像进行拍摄,在多个区域中的其他区域中对同一被摄体的动态图像进行拍摄的拍摄模式。也将第二动态图像模式称为静态图像-动态图像同时拍摄模式或静态图像-动态图像混合模式。
此外,在使用者选择拍摄模式的情况下,也可以触摸第二触摸面板54中的与菜单对应的位置,来代替多重选择器55d的操作。
划分部71判定由使用者选择的拍摄模式是否是静态图像模式(步骤S2)。在划分部71判定为拍摄模式是静态图像模式的情况下,判定静态图像模式是否是第一静态图像模式(步骤S3)。在划分部71判定为静态图像模式是第一静态图像模式的情况下,进行将拍摄模式设定成第一静态图像模式的处理(步骤S4)。另一方面,在划分部71判定为静态图像模式不是第一静态图像模式的情况下,即,在判定为是第二静态图像模式的情况下,进行将拍摄模式设定成第二静态图像模式的处理(步骤S5)。
在步骤S4或步骤S5的处理中,划分部71执行图10所示的排列图案设定处理。在图10所示的处理中,划分部71向图像处理部30(第一图像处理部30A)指示进行主要被摄体的检测(步骤S21)。检测部32A对于根据实时取景图像以时间序列得到的多个图像数据进行比较,检测移动被摄体和非移动被摄体(不移动的被摄体)。然后,检测部32A将检测结果与图像数据一并输出至系统控制部70。划分部71基于检测部32A的检测结果来确认主要被摄体的有无。然后,划分部71在像素区域113A中设定与主要被摄体及拍摄模式相应的区域(步骤S22)。
具体来说,在拍摄模式为第一静态图像模式时,划分部71不将像素区域113A划分成多个区域。即,划分部71将全部像素区域113A设定为一个区域。此时,划分部71向驱动部21输出将全部像素区域113A设定为一个区域的指示信号。
另一方面,在拍摄模式为第二静态图像模式时,划分部71选择图8的(A)~(D)所示的排列图案中的某一个。然后,划分部71基于检测部32A的检测结果,确认主要被摄体是否是移动被摄体。在主要被摄体不是移动被摄体而是非移动被摄体的情况下,划分部71根据图8的(C)所示的第三排列图案,设定第一区域和第二区域。在主要被摄体是移动被摄体的情况下,划分部71确认移动被摄体的移动方向。在移动被摄体的移动方向主要是上下方向的情况下,例如在主要被摄体是滑滑梯的儿童、瀑布等的情况下,划分部71根据图8的(A)所示的第一排列图案,设定第一区域和第二区域。在移动被摄体的移动方向主要是左右方向的情况下,例如在主要被摄体是跑步的人物等的情况或进行移摄的情况下,划分部71根据图8的(B)所示的第二排列图案,设定第一区域和第二区域。而且,在移动被摄体在上下方向上的移动速度快的情况下,划分部71根据图8的(D)所示的第四排列图案,设定第一区域、第二区域和第三区域。此外,在步骤S22中,划分部71向驱动部21输出对各区域(第一区域及第二区域、第一区域~第三区域)的区块的位置等进行指示的指示信号。
图11是表示在执行第二静态图像模式时的第二排列图案的设定例的图。此外,在图11中,为了易于观察区块的配置,放大显示各区块。但是,实际上在像素区域113A设定有比图11所示的区块的大小更小的区块。在图11所示的例子中,作为主要被摄体(移动被摄体),检测部32A检测到踢足球的人物O1、O2和足球O3。划分部71基于检测部32A的检测结果,判断为主要被摄体O1~O3是移动被摄体,且移动被摄体的移动方向主要是左右方向。其结果为,划分部71根据图8的(B)所示的第二排列图案,设定第一区域和第二区域。此时,划分部以使第一区域和第二区域包含主要被摄体O1~O3的方式对像素区域113A进行划分。
返回至图10的说明,驱动控制部72基于检测部32A的检测结果,设定步骤S22中设定的区域(在图11所示的例子中,第一区域及第二区域)的摄像条件(步骤S23)。具体来说,驱动控制部72将对与主要被摄体相应的摄像条件(电荷蓄积时间、增益等)进行指示的指示信号输出至驱动部21。另外,驱动控制部72将对与主要被摄体相应的摄像条件(色彩信号处理、白平衡调整、灰度调整、压缩率等的参数)进行指示的指示信号输出至图像处理部30。例如,在通过检测部32A检测到移动被摄体的情况下,驱动控制部72提高增益(ISO感光度),并且缩短电荷蓄积时间(即,曝光时间、快门速度)。另外,在没有通过检测部32A检测到移动被摄体的情况下,驱动控制部72降低增益,并且增加电荷蓄积时间。
返回至图9的说明,驱动控制部72判定是否通过使用者进行了释放开关55a的操作(接着半按操作的全按操作)(步骤S6)。在判定为进行了释放开关55a的操作的情况下,驱动控制部72使摄像部20执行基于静态图像模式(第一静态图像模式或第二静态图像模式)的拍摄(步骤S7)。
图12是表示第一静态图像模式和第二静态图像模式中的电荷蓄积的定时的时序图。在图12的(A)所示的第一静态图像模式(通常的连拍模式)中,如上所述,将全部像素区域113A设定为一个区域。在第一静态图像模式下,在进行释放开关55a的操作(全按操作)的期间,驱动控制部72向驱动部21输出指示信号,以对全部像素区域113A重复执行静态图像的拍摄。在图12的(A)中,驱动部21在时刻t1使对像素区域113A的电荷蓄积开始,在时刻t3使对像素区域113A的电荷蓄积结束。驱动部21从像素区域113A的各像素读出像素信号,使蓄积在各像素的电荷复位。然后,驱动部21在时刻t4使对像素区域113A的电荷蓄积开始,在时刻t7使对像素区域113A的电荷蓄积结束。在进行释放开关55a的操作的期间,重复执行这种摄像元件100的驱动控制。
在图12的(A)所示的例子中,驱动部21在时刻t1至t15的期间内,连续执行4次拍摄。时刻t1至t3的时间、时刻t4至t7的时间、时刻t8至t11的时间及时刻t12至t15的时间是电荷蓄积时间(曝光时间)。该电荷蓄积时间(曝光时间)是在步骤S23的摄像条件的设定处理中设定的。另外,从摄像元件100读出的各像素的像素信号在放大器412中以由划分部71指示的增益放大后,被输出至图像处理部30。图像生成部31(例如图像生成部31A)基于从划分部71输出的对摄像条件进行指示的指示信号,确认色彩信号处理等的图像处理中使用的参数。然后,图像生成部31对于由各像素的像素信号构成的RAW数据,基于参数进行各种图像处理,而生成图像数据。
在图12的(B)所示的第二静态图像模式(高速连拍模式)下,划分部21设定例如第一区域和第二区域。在第二静态图像模式下,在进行释放开关55a的操作(全按操作)的期间,驱动控制部72向驱动部21输出指示信号,以对于第一区域重复执行静态图像的拍摄,并且对于第二区域重复执行静态图像的拍摄。在图12的(B)中,驱动部21在时刻t1使对第一区域的电荷蓄积开始,在时刻t3使对第一区域的电荷蓄积结束。驱动部21从第一区域的各像素读出像素信号,使蓄积在各像素的电荷复位。然后,驱动部21在时刻t4使对第一区域的电荷蓄积开始,在时刻t7使对第一区域的电荷蓄积结束。驱动部21在进行释放开关55a的操作的期间,重复执行这种摄像元件100的驱动控制。
另外,在图12的(B)中,驱动部21在时刻t2使对第二区域的电荷蓄积开始,在时刻t5使对第二区域的电荷蓄积结束。驱动部21从第二区域的各像素读出像素信号,使蓄积在各像素的电荷复位。然后,驱动部21在时刻t6使对第二区域的电荷蓄积开始,在时刻t9使对第二区域的电荷蓄积结束。驱动部21在进行释放开关55a的操作的期间,重复执行这种摄像元件100的驱动控制。
在图12的(B)所示的例子中,驱动部21在第一区域中在时刻t1至t15的期间内,连续执行4次拍摄。另外,与第一区域中的4次拍摄并行地,驱动部21在第二区域中在时刻t2至t16的期间内,连续执行4次拍摄。因此,驱动部21在第一区域及第二区域中在时刻t1至t16的期间内,连续执行8次拍摄。
时刻t1至t3的时间、时刻t4至t7的时间、时刻t8至t11的时间及时刻t12至t15的时间是第一区域中的电荷蓄积时间(曝光时间)。该电荷蓄积时间(曝光时间)是在步骤S23的摄像条件的设定处理中设定的。另外,时刻t2至t5的时间、时刻t6至t9的时间、时刻t10至t13的时间及时刻t14至t16的时间是第二区域中的电荷蓄积时间(曝光时间)。该电荷蓄积时间(曝光时间)也是在步骤S23的摄像条件的设定处理中设定的。
另外,从摄像元件100的第一区域读出的各像素的像素信号在放大器412中以由划分部71指示的增益放大后,被输出至图像处理部30。图像生成部31A基于从划分部71输出的对第一区域的摄像条件进行指示的指示信号,确认色彩信号处理等的图像处理中使用的参数。然后,图像生成部31A针对第一区域的由各像素的像素信号构成的RAW数据,基于参数进行各种图像处理,而生成第一区域的图像数据。
另外,从摄像元件100的第二区域读出的各像素的像素信号在放大器412中以由划分部71指示的增益放大后,被输出至图像处理部30。图像生成部31B基于从划分部71输出的对第二区域的摄像条件进行指示的指示信号,确认色彩信号处理等的图像处理中使用的参数。然后,图像生成部31B针对第二区域的由各像素的像素信号构成的RAW数据,基于参数进行各种图像处理,而生成第二区域的图像数据。然后,图像生成部31(图像合成部31A或31B)合成第一区域的图像数据和第二区域的图像数据。
在图12的(B)所示的第二静态图像模式下,驱动控制部72使第一区域的拍摄开始的定时和第二区域的拍摄开始的定时不同(错开)来使驱动部21驱动控制摄像元件100。因此,若在图12的(A)所示的第一静态图像模式下,例如在1秒内能够进行30帧的静态图像的拍摄,则在图12的(B)所示的第二静态图像模式下,能够进行在第一静态图像模式下的大致一倍的拍摄,即1秒内能够进行接近60帧的拍摄。在该情况下,由于像素区域113A被分成第一区域和第二区域,所以静态图像的像素数成为一半。但是,即使是2000万像素的一半,也能够拍摄1000万像素的静态图像。因此,认为对于使用者来说,能够确保充分的画质。
此外,在第二静态图像模式下,划分部71根据图8的(D)所示的第四排列图案,在像素区域113A中设定第一区域~第三区域的情况下,与在像素区域113A中设定第一区域及第二区域的情况相比,能够实现更高速的连拍。例如,若在第一静态图像模式下,1秒内能够进行30帧的静态图像的拍摄,则在第二静态图像模式下,在像素区域113A中设定3个区域的情况下,能够进行在第一静态图像模式下的大致3倍的拍摄,即1秒内能够进行接近90帧的拍摄。预计摄像元件100今后也能够高像素化。由此,即使将像素区域113A划分成3个,使得1张静态图像的像素数成为1/3,对于使用者来说,比起画质降低,仍更重视连拍的高速性。
返回至图9的说明,显示控制部73将图像处理部30所生成的图像数据输出至显示部50,由此使静态图像显示在第一显示部51或第二显示部53(步骤S8)。在驱动控制部72利用第一静态图像模式拍摄了静态图像的情况下,显示控制部73使静态图像显示在第一显示部51。另一方面,在驱动控制部72利用第二静态图像模式拍摄了静态图像的情况下,显示控制部73使高速地多次连续拍摄到的多个静态图像作为缩略图像显示在第一显示部51上。另外,显示控制部73将由使用者选择的缩略图像放大显示在第二显示部53上。
图13是表示在第一显示部及第二显示部显示静态图像的情况下的显示例的图。如图13所示,显示控制部73将8个缩略图像(静态图像)511~518排列显示在第一显示部51上。例如,缩略图像511是图12的(B)的第1次拍摄的静态图像。同样地,缩略图像512~518分别是图12的(B)的第2次~第8次拍摄的静态图像。
另外,如图13所示,在第一触摸面板52中,8个触摸区域511a~518a分别与8个缩略图像511~518重叠地形成。当各触摸区域511a~518a检测到被使用者按压(触摸)时,将表示被按压的位置(任意的触摸区域)的检测信号输出至系统控制部70。
显示控制部73将与被使用者按压的触摸区域对应的缩略图像放大显示在第二显示部53上。在图13所示的例子中,使用者按压触摸区域513a,由此,与触摸区域513a对应的缩略图像513被放大显示在第二显示部53上。
返回至图9的说明,划分部71在步骤S2中判定为拍摄模式不是静态图像模式的情况下,即,在判定为拍摄模式是动态图像模式的情况下,判定动态图像模式是否是第一动态图像模式(步骤S10)。划分部71在判定为动态图像模式是第一动态图像模式的情况下,进行将拍摄模式设定成第一动态图像模式的处理(步骤S11)。另一方面,划分部71在判定为动态图像模式不是第一动态图像模式的情况下,即,在判定为是第二动态图像模式的情况下,进行将拍摄模式设定成第二动态图像模式的处理(步骤S12)。
在步骤S11或步骤S12的处理中,划分部71执行图10所示的排列图案设定处理。在图10所示的处理中,划分部71向图像处理部30(第一图像处理部30A)指示进行主要被摄体的检测(步骤S21)。检测部32A对从实时取景图像以时间序列得到的多个图像数据进行比较,来检测移动被摄体和非移动被摄体。另外,在本实施方式中,检测部32A从图像数据中根据眼睛、嘴、皮肤颜色等识别面部,将面部作为主要被摄体进行检测。而且,在本实施方式中,检测部32A除了面部检测以外,还将图像数据所包含的人体(人物)作为主要被摄体进行检测。然后,检测部32A将检测结果与图像数据一并输出至系统控制部70。划分部71基于检测部32A的检测结果确认主要被摄体的有无。然后,划分部71在像素区域113A中设定与主要被摄体及拍摄模式相应的区域(步骤S22)。
具体来说,在拍摄模式是第一动态图像模式时,划分部71不将像素区域113A划分成多个区域。即,划分部71将全部像素区域113A设定为一个区域。此时,划分部71向驱动部21输出指示将全部像素区域113A设定为一个区域的指示信号。
另一方面,在拍摄模式是第二动态图像模式时,划分部71选择图8的(A)~(D)中的某一个所示的排列图案。然后,划分部71基于检测部32A的检测结果,确认主要被摄体是否是移动被摄体。在主要被摄体不是移动被摄体而是非移动被摄体的情况下,划分部71根据图8的(C)所示的第三排列图案,设定第一区域和第二区域。在主要被摄体是移动被摄体的情况下,划分部71确认移动被摄体的移动方向。在移动被摄体的移动方向主要是上下方向的情况下,划分部71根据图8的(A)所示的第一排列图案,设定第一区域和第二区域。在移动被摄体的移动方向主要是左右方向的情况下,划分部71根据图8的(B)所示的第二排列图案,设定第一区域和第二区域。而且,在移动被摄体的上下方向的移动速度快的情况下,划分部71根据图8的(D)所示的第四排列图案,设定第一区域、第二区域和第三区域。此外,划分部71在步骤S22中,向驱动部21输出对各区域(第一区域及第二区域、第一区域~第三区域)的区块的位置等进行指示的指示信号。
图14是表示在执行第二动态图像模式时的第二排列图案的设定例的图。此外,在图14中,为了易于观察区块的配置,放大显示各区块。但是,实际上在像素区域113A中设定有比图14所示的区块的大小更小的区块。在图14所示的例子中,作为主要被摄体(移动被摄体),检测部32A检测踢足球的人物O1、O2和足球O3。另外,检测部32A将图像数据所包含的人物O1、O2作为主要被摄体进行检测。划分部71基于检测部32A的检测结果,判定为主要被摄体O1~O3是移动被摄体,移动被摄体的移动方向主要是左右方向。其结果为,划分部71根据图8的(B)所示的第二排列图案,设定第一区域和第二区域。另外,划分部71判定为主要被摄体O1、O2是人物。其结果为,划分部71将第二区域中的包围主要被摄体O1、O2的区域200、201作为第二区域A,将包围主要被摄体O1、O2的区域200、201以外的区域作为第二区域B来进行设定。
返回至图10的说明,驱动控制部72基于检测部32A的检测结果,对在步骤S22中设定的区域(在图14所示的例子中,第一区域、第二区域A及第二区域B)的摄像条件进行设定(步骤S23)。具体来说,驱动控制部72将对与主要被摄体相应的摄像条件(帧频、增益等)进行指示的指示信号输出至驱动部21。另外,驱动控制部72将对与主要被摄体相应的摄像条件(色彩信号处理、白平衡调整、灰度调整、压缩率等的参数)进行指示的指示信号输出至图像处理部30。
例如,驱动控制部72在通过检测部32A检测到移动被摄体的情况下,提高第一区域的增益(ISO感光度),并且缩短第一区域的电荷蓄积时间。另外,驱动控制部72在没有通过检测部32A检测到移动被摄体的情况下,降低第一区域的增益,并且增加第一区域的电荷蓄积时间。另外,驱动控制部72在通过检测部32A检测到移动被摄体的情况下,提高移动被摄体的区域(包围主要被摄体O1、O2的区域200、201,也就是说第二区域A)的帧频。另外,将非移动被摄体的区域(包围主要被摄体O1、O2的区域200、201以外的区域,也就是说第二区域B)的帧频降至比第二区域A低。
返回至图9的说明,驱动控制部72判定是否通过使用者进行了动态图像开关55c的操作(步骤S13)。在判定为进行了动态图像开关55c的操作的情况下,驱动控制部72使摄像部20执行动态图像模式(第一动态图像模式或第二动态图像模式)的拍摄(步骤S14)。此外,关于第一动态图像模式的拍摄,由于与通常的动态图像拍摄相同,所以省略详细的说明。
图15是表示第二动态图像模式中的电荷蓄积的定时的时序图。在图15所示的第二动态图像模式(静态图像-动态图像混合模式)下,设定例如第一区域、第二区域A和第二区域B。在第二动态图像模式下,在进行动态图像开关55c的操作的期间,驱动控制部72向驱动部21输出指示信号,以对第一区域重复执行静态图像的拍摄,并且对第二区域A及第二区域B执行动态图像的拍摄。在图15中,在进行动态图像开关55c的操作的期间,驱动部21针对第一区域中的各像素,以电荷蓄积时间T1拍摄静态图像。另外,在进行动态图像开关55c的操作的期间,驱动部21针对第二区域A中的各像素,以电荷蓄积时间T2A拍摄动态图像。另外,在进行动态图像开关55c的操作的期间,驱动部21针对第二区域B的各像素,以比电荷蓄积时间T2A长的电荷蓄积时间T2B拍摄动态图像。帧频与电荷的蓄积时间相应地变化。由此,在以电荷蓄积时间T2A执行拍摄的情况和以电荷蓄积时间T2B执行拍摄的情况下,动态图像的帧频分别不同。例如,与第二区域A的电荷蓄积时间T2A对应的帧频是60fps,与第二区域B的电荷蓄积时间T2B对应的帧频是30fps。电荷蓄积时间、帧频是在步骤S23的摄像条件的设定处理中设定的。
另外,从摄像元件100的第一区域读出的各像素的像素信号在放大器412中以从划分部71指示的增益放大后,被输出至图像处理部30。图像生成部31A基于从划分部71输出的对第一区域的摄像条件进行指示的指示信号,确认色彩信号处理等的图像处理中使用的参数。然后,图像生成部31A对第一区域的由各像素的像素信号构成的RAW数据,基于参数进行各种图像处理,而生成第一区域的图像数据。
另外,从摄像元件100的第二区域A读出的各像素的像素信号在放大器412中以从划分部71指示的增益放大后,被输出至图像处理部30。图像生成部31B基于从划分部71输出的对第二区域A的摄像条件进行指示的指示信号,确认色彩信号处理等的图像处理中使用的参数。然后,图像生成部31B对于第二区域A的由各像素的像素信号构成的RAW数据,基于参数进行各种图像处理,而生成第二区域A的图像数据。
而且,从摄像元件100的第二区域B读出的各像素的像素信号在放大器412中以从划分部71指示的增益放大后,被输出至图像处理部30。图像生成部31B基于从划分部71输出的对第二区域B的摄像条件进行指示的指示信号,确认色彩信号处理等的图像处理中使用的参数。然后,图像生成部31B对于第二区域B的由各像素的像素信号构成的RAW数据,基于参数进行各种图像处理,而生成第二区域B的图像数据。另外,图像生成部31(图像生成部31A或31B)合成第二区域A的图像数据和第二区域B的图像数据。而且,图像生成部31(图像生成部31A或31B)合成第一区域的图像数据、第二区域A的图像数据和第二区域B的图像数据。
像这样,由于第二区域A的帧频比第二区域B的帧频高,所以动态图像中的人物的主要被摄体O1、O2的动作变得流畅。
返回至图9的说明,显示控制部73通过将由图像处理部30生成的动态图像的图像数据输出至显示部50,使动态图像显示在第一显示部51上(步骤S8)。另外,显示控制部73通过将由图像处理部30生成的静态图像的图像数据输出至显示部50,使静态图像显示在第二显示部53上(步骤S8)。
图16是表示在第一显示部显示动态图像并在第二显示部显示静态图像的情况下的显示例的图。如图16所示,显示控制部73将由图像生成部31生成的将第二区域A和第二区域B合成的动态图像(2个人物踢足球的动态图像)显示在第一显示部51上。另外,显示控制部73显示由图像生成部31生成的第一区域的静态图像。
如上所述,在第一实施方式中,构成为具有:驱动控制部72,其驱动控制摄像元件100;划分部71,其将摄像元件100的摄像区域113A至少划分成第一区域和第二区域;图像生成部31,其针对同一被摄体分别生成基于第一区域的拍摄得到的第一图像和基于第二区域的拍摄得到的第二图像。根据这种结构,能够针对同一被摄体生成多种图像(多个静态图像、静态图像与动态图像等)。因此,能够生成与被摄体或拍摄状况相应的多种图像,提高了具有摄像元件100的电子设备1的使用便利性。
另外,驱动控制部72使第一区域的拍摄开始的定时和第二区域的拍摄开始的定时不同来驱动控制摄像元件100。根据这种结构,能够在不同定时对同一被摄体生成多种图像。另外,在单位时间内能够生成大量的图像。因此,使用者能够不错过极佳的拍摄时机地进行拍摄。
另外,驱动控制部72在第一区域的拍摄过程中进行第二区域的拍摄,所以能够并行地执行第一区域的拍摄和第二区域的拍摄,能够对同一被摄体拍摄出曝光时间有部分重叠的图像。因此,能够在至今不能拍摄的时机拍摄同一被摄体。另外,驱动控制部72使摄像元件100的第一区域和第二区域的作为摄像条件的帧频、增益、曝光时间中的至少一个不同。根据这样的结构,使用者能够取得以不同的摄像条件拍摄到的多种图像。
另外,图像生成部31基于第一区域的拍摄和第二区域的拍摄中的至少一方生成静态图像,因此,能够对同一被摄体生成多种静态图像。另外,图像生成部31基于第一区域的拍摄和第二区域的拍摄中的某一方生成动态图像,因此,能够对同一被摄体生成静态图像和动态图像。另外,图像生成部31针对第一图像和第二图像,进行使白平衡、灰度、色调修正中的至少一个不同的修正,因此,使用者能够取得基于不同的参数进行了图像处理的多种图像。
另外,划分部71利用多个离散的区域(多个离散的区块)形成第一区域,因此,在图像中不会出现分辨率局部降低的情况。另外,划分部71可变地划分第一区域和第二区域,因此,能够划分成与拍摄模式或被摄体的种类等的各种状况相应的区域。
另外,具有根据图像生成部31生成的图像来检测主要被摄体的检测部32A,划分部71以使第一区域和第二区域包含主要被摄体的方式进行划分,因此,能够对主要被摄体生成第一区域的图像和第二区域的图像。另外,具有使图像生成部31生成的图像显示在显示部50的显示控制部73,因此使用者能够确认显示部50显示的图像。另外,摄像元件100是背面照射型摄像芯片和信号处理芯片层叠而成的构造,因此能够减小用于收容摄像元件100的容积。另外,能够基于来自系统控制部70的指示,进行摄像元件100的驱动控制,从而能够减轻系统控制部70的负担,并且使摄像元件100向电子设备1的搭载变得容易。
此外,在图5所示的第一实施方式的电子设备1中,也可以采用显示部50设置在电子设备外部的结构。在该情况下,在系统控制部70及显示部50分别设置有通过有线或无线方式收发信号(图像数据或控制信号等)的通信部。另外,图像处理部30和系统控制部70也可以一体地构成。在该情况下,具有一个或多个CPU的系统控制部基于控制程序执行处理,由此发挥图像处理部30的功能和系统控制部70的功能。另外,图像处理部30具有两个图像处理部30A、30B,但也可以采用仅具有一个图像处理部的结构。
以下,对第一实施方式的变形例进行说明。在图8的(A)~(C)中,以第一区域的面积和第二区域的面积为相同面积的方式设定了各区块的排列图案。即,以第一区域的像素数和第二区域的像素数为相同像素数的方式设定了各区块的排列图案。另外,在图8的(D)中,以第一区域的面积、第二区域的面积和第三区域的面积为相同面积的方式设定了各区块的排列图案。即,以第一区域的像素数、第二区域的像素数和第三区域的像素数为相同像素数的方式设定了各区块的排列图案。但是,也可以以各区域的面积(像素数)不同的方式设定各区块的排列图案。
图17是表示各区块的第五排列图案的图。图17所示的第五排列图案是像素区域113A被划分成第一区域和第二区域的排列图案。在该第五排列图案中,在像素区域113A中,第二区域由3的倍数列(3m)的区块构成,第一区域由第二区域以外的区块,即,3的倍数列以外的列(3m-2、3m-1)的区块构成。m是正整数(m=1、2、3、……)。在这种排列图案的情况下,第一区域的面积和第二区域的面积之比成为2:1。
图18是表示各区块的第六排列图案的图。图18所示的第六排列图案也是像素区域113A被划分成第一区域和第二区域的排列图案。在该第六排列图案中,在像素区域113A中,由奇数列(2m-1)中的4的倍数行的前1行的行(4n-1)的区块和偶数列(2m)中的4的倍数行的前3行的行(4n-3)的区块构成第二区域,第一区域由第二区域以外的区块构成。m及n是正整数(m=1、2、3、……,n=1、2、3、……)。在这种排列图案的情况下,第一区域的面积和第二区域的面积之比成为3:1。
在图10的步骤S22中,划分部71在判定为使用者选择的拍摄模式是第二动态图像模式的情况下,根据图17所示的第五排列图案或图18所示的第六排列图案,设定第一区域和第二区域。另外,划分部71基于检测部32A的检测结果,判定为主要被摄体是非移动被摄体的情况下,根据图18所示的第六排列图案,设定第一区域和第二区域。另外,划分部71基于检测部32A的检测结果,判定为主要被摄体是移动被摄体、且该移动被摄体的移动方向主要是上下方向的情况下,根据图17所示的第五排列图案,设定第一区域和第二区域。
然后,在步骤S14中,驱动控制部72通过向驱动部21输出指示信号,使驱动部21在第一区域中拍摄静态图像,在第二区域中拍摄动态图像。在第一区域和第二区域根据第五排列图案来设定的情况下,静态图像的像素数成为动态图像的2倍。即,静态图像的分辨率成为动态图像的2倍。另外,在第一区域和第二区域根据第六排列图案来设定的情况下,静态图像的像素数成为动态图像的3倍。即,静态图像的分辨率成为动态图像的3倍。这是因为,静态图像与动态图像相比,要求更细致的画质。另外,在为动态图像的情况下,被摄体运动的情况较多,因此画质降低没有在静态图像的情况下那样明显。从这样的理由出发,与动态图像相比,对于静态图像分配更多的区域。此外,在像素区域113A的像素数为2000万像素的情况下,即使动态图像的像素数(第二区域的像素数)降低到1/3或1/4,也能够确保666万像素或500万像素。这样的像素数也是不比市场销售的摄像机的像素数差的像素数。
<第二实施方式>
在上述第一实施方式中,如图12的(B)所示,在第二静态图像模式下,使第一区域的拍摄开始的定时和第二区域的拍摄开始的定时不同。而在第二实施方式中,在第二静态图像模式下,使第一区域的拍摄开始的定时和第二区域的拍摄开始的定时相同,使第一区域的曝光时间(即电荷蓄积时间)和第二区域的曝光时间不同。
图19是表示第二实施方式中的电荷蓄积的定时的时序图。在图19所示的第二静态图像模式中,设定第一区域和第二区域。如图19所示,在进行释放开关55a的操作的期间,驱动部21以电荷蓄积时间(曝光时间)T11针对第一区域中的各像素反复拍摄静态图像。另外,在进行释放开关55a的操作的期间,驱动部21以电荷蓄积时间(曝光时间)T12针对第二区域中的各像素反复拍摄静态图像。这里,第一区域的拍摄开始的定时和第二区域的拍摄开始的定时相同。另一方面,第一区域的电荷蓄积时间T11和第二区域的电荷蓄积时间T12不同。即,将电荷蓄积时间T12设定得比电荷蓄积时间T11长。电荷蓄积时间是在步骤S23的摄像条件的设定处理中设定的。
从摄像元件100的第一区域读出的各像素的像素信号在放大器412中以从划分部71指示的增益放大后,被输出至图像处理部30。图像生成部31A基于从划分部71输出的对第一区域的摄像条件进行指示的指示信号,确认色彩信号处理等的图像处理中使用的参数。然后,图像生成部31A对于第一区域的由各像素的像素信号构成的RAW数据,基于参数进行各种图像处理,而生成第一区域的图像数据。
另外,从摄像元件100的第二区域读出的各像素的像素信号在放大器412中以从划分部71指示的增益放大后,被输出至图像处理部30。图像生成部31B基于从划分部71输出的对第二区域的摄像条件进行指示的指示信号,确认色彩信号处理等的图像处理中使用的参数。然后,图像生成部31B对于第二区域的由各像素的像素信号构成的RAW数据,基于参数进行各种图像处理,而生成第二区域的图像数据。另外,图像生成部31(图像合成部31A或31B)合成第一区域的图像数据和第二区域的图像数据。
图20是表示第二实施方式中的在第一显示部及第二显示部显示静态图像的情况下的显示例的图。在图20中,显示控制部73在第二显示部53的显示画面的左侧区域53L,显示第一区域的静态图像(夜间拍摄到的人物的图像)。另外,显示控制部73在第二显示部53的显示画面的右侧区域53R,显示第二区域的静态图像。另外,显示控制部73在第一显示部51的中央区域51G,显示将第一区域的静态图像和第二区域的静态图像合成的静态图像。
一般来说,作为用于记录并显示宽幅的动态范围的图像的图像合成技术,已知有HDR(High Dynamic Range:高动态范围)拍摄。在HDR拍摄中,一边使摄像条件(例如曝光)变化一边拍摄多张图像,通过合成它们,来生成泛白或发黑少的图像。但是,在以往的HDR中,例如由于拍摄摄像条件不同的2张图像的拍摄时间不同,所以存在被摄体移动、使用者(摄影者)移动电子设备1的情况。在该情况下,由于多张图像不是同一被摄体的图像,所以图像合成是困难的。与之相对,在第二实施方式中,能够将摄像条件不同的2张图像的拍摄时间设为同一时刻(或大致同一时刻)。因此,根据第二实施方式的结构,能够解决以往的HDR拍摄的问题。此外,能够根据使用者对多重选择器55d的操作等来选择HDR模式。
<第三实施方式>
在第三实施方式中,采用将上述第一实施方式中的电子设备1分离成拍摄装置1A和电子设备1B的结构。
图21是表示第三实施方式的拍摄装置及电子设备的结构的框图。在图21所示的结构中,拍摄装置1A是拍摄被摄体的装置。该拍摄装置1A具有透镜部10、摄像部20、图像处理部30、工作存储器40、操作部55、记录部60及第一系统控制部75。此外,拍摄装置1A中的透镜部10、摄像部20、图像处理部30、工作存储器40、操作部55及记录部60的结构与图5所示的结构相同。因此,对同一结构标注同一附图标记,并省略重复的说明。
另外,电子设备1B是进行图像(静态图像、动态图像、实时取景图像)的显示的装置。该电子设备1B具有显示部50及第二系统控制部(控制部)70B。此外,电子设备1B中的显示部50的结构与图5所示的结构相同。因此,对同一结构标注同一附图标记,并省略重复的说明。
第一系统控制部75具有第一通信部75A。另外,第二系统控制部76具有第二通信部76B。第一通信部75A和第二通信部76B相互通过有线或无线方式收发信号。另外,第一系统控制部75具有与图7所示的结构中的例如划分部71及驱动控制部72相当的结构。另外,第二系统控制部76仅具有与图7所示的结构中的例如显示控制部73相当的结构。
图7所示的结构(划分部71、驱动控制部72及显示控制部73)可以设置于第一系统控制部75和第二系统控制部76中的某一方。也可以是图7所示的全部结构设置于第一系统控制部75或第二系统控制部76,另外,也可以是图7所示的结构的一部分设置于第一系统控制部75,图7所示的结构的一部分以外的结构设置于第二系统控制部76。
此外,拍摄装置1A由例如具有拍摄功能和通信功能的数码相机、智能手机、便携电话、个人计算机等构成,电子设备1B由例如具有通信功能的智能手机、便携式电话、便携型个人计算机等的便携终端构成。
图21所示的第一系统控制部75是通过CPU(未图示)基于控制程序执行处理而实现的。另外,图21所示的第二系统控制部76是通过CPU(未图示)基于控制程序执行处理而实现的。
此外,在图21所示的结构中,图像处理部30和第一系统控制部75也可以一体构成。在该情况下,具有一个或多个CPU的系统控制部基于控制程序进行处理,由此发挥图像处理部30的功能和第一系统控制部75的功能。
以上,使用实施方式说明了本发明,但本发明的技术范围不限于上述实施方式记载的范围。在不脱离本发明的主旨的范围内,在上述实施方式中,还能够加入各种变更或改良。另外,有时省略了上述实施方式中说明的一个以上要件。这样的变更、改良或省略后的实施方式也包含于本发明的技术范围。另外,还能够适当组合上述实施方式或变形例的结构。
例如,在上述第一实施方式及第二实施方式中,电子设备1只要具有摄像部20、包含图像生成部31的图像处理部30、和包含划分部71及驱动控制部72的系统控制部70即可,可以不具有透镜部10或记录部60等。即,这些结构也可以是与电子设备1独立的结构。另外,在上述第三实施方式中,关于拍摄装置1A,透镜部10或记录部60等也可以是独立的结构。
另外,在上述各实施方式中,彩色滤光片102的排列采用了拜耳排列,但也可以采用该排列以外的排列。另外,形成单位组131的像素数包含至少一个像素即可。另外,区块也包含至少一个像素即可。因此,还能够针对每一个像素以不同的摄像条件执行拍摄。
另外,在上述各实施方式中,可以是驱动部21的一部分或全部的结构搭载在摄像芯片113上,也可以是一部分或全部的结构搭载在信号处理芯片111上。另外,图像处理部30的一部分结构也可以搭载在摄像芯片113或信号处理芯片111上。另外,系统控制部70的一部分结构也可以搭载在摄像芯片113或信号处理芯片111上。
另外,在上述各实施方式中构成为,作为摄像条件,增益、电荷蓄积时间(曝光时间、快门速度)、帧频的全部均能够变更,但只要能够变更这些中的至少一个即可。另外,仅针对自动设定摄像条件的情况进行了说明,但也可以设为根据使用者对操作部55等的操作来设定。
另外,在上述各实施方式中,作为区块的排列图案,在图8的(A)~(D)、图17、及图18中进行了例示,但不限于这些排列图案。另外,使用者也可以通过对操作部55等进行操作来选择区块的排列图案。另外,显示由摄像部20拍摄到的静态图像或动态图像的位置可以是第一显示部51也可以是第二显示部53。另外,在上述各实施方式中,对预先设定了区块的区域的大小的情况进行了说明,但也可以构成为由使用者来设定区块的区域的大小。
另外,在上述第一实施方式中,划分部71基于实时取景图像来识别被摄体,并进行区域的设定。划分部71也可以在进行了释放开关55a或动态图像开关55c的半按操作时,基于此时的图像来识别被摄体,并进行区域的设定。
另外,在上述第一实施方式中,也可以设置用于进行移摄的拍摄模式。移摄是指通过使移动被摄体不模糊而背景(非移动被摄体)模糊来表现移动被摄体的速度感的拍摄方法。在移摄的拍摄模式中,在第一区域中,对电荷蓄积时间(曝光时间)长且背景移动的移摄图像进行拍摄,在第二区域中,对电荷蓄积时间比第一区域的电荷蓄积时间短的通常的移摄图像进行拍摄。然后,图像生成部31(或使用者)适当合成第一区域的移摄图像和第二区域的移摄图像。
附图标记说明
1、1B…电子设备,1A…拍摄装置,20…摄像部,30…图像处理部,31、31A、31B…图像生成部,32A…检测部,50…显示部,51…第一显示部,52…第一触摸面板,53…第二显示部,54…第二触摸面板,70…系统控制部,70A…第一系统控制部,70B…第二系统控制部(控制部),71…划分部,72…驱动控制部,73…显示控制部,100…摄像元件。

Claims (10)

1.一种电子设备,其特征在于,具有:
驱动控制部,其对摄像元件进行驱动控制;
划分部,其将所述摄像元件的摄像区域至少划分成第一区域和第二区域;和
图像生成部,其针对同一被摄体分别生成基于所述第一区域的拍摄得到的第一图像和基于所述第二区域的拍摄得到的第二图像。
2.如权利要求1所述的电子设备,其特征在于,
所述驱动控制部使所述第一区域的拍摄开始的定时与所述第二区域的拍摄开始的定时不同来对所述摄像元件进行驱动控制。
3.如权利要求1或2所述的电子设备,其特征在于,
所述驱动控制部在所述第一区域的拍摄过程中进行所述第二区域的拍摄。
4.如权利要求1~3中任一项所述的电子设备,其特征在于,
所述驱动控制部使所述摄像元件的作为所述第一区域和所述第二区域的摄像条件的帧频、增益、曝光时间中的至少一个不同。
5.如权利要求1~4中任一项所述的电子设备,其特征在于,
所述图像生成部基于所述第一区域的拍摄和所述第二区域的拍摄中的至少一方,来生成静态图像。
6.如权利要求1~5中任一项所述的电子设备,其特征在于,
所述图像生成部基于所述第一区域的拍摄和所述第二区域的拍摄中的某一方,来生成动态图像。
7.如权利要求1~6中任一项所述的电子设备,其特征在于,
所述图像生成部合成所述第一图像和所述第二图像。
8.如权利要求1~7中任一项所述的电子设备,其特征在于,
所述图像生成部针对所述第一图像和所述第二图像,进行使白平衡、灰度、色调修正中的至少一个不同的修正。
9.如权利要求1~8中任一项所述的电子设备,其特征在于,
所述划分部使所述第一区域的像素数与所述第二区域的像素数不同。
10.如权利要求1~9中任一项所述的电子设备,其特征在于,
所述划分部利用多个离散的区域形成所述第一区域。
CN201811271609.7A 2013-07-04 2013-07-04 摄像元件以及摄像装置 Active CN109743514B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811271609.7A CN109743514B (zh) 2013-07-04 2013-07-04 摄像元件以及摄像装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201380077710.8A CN105324985B (zh) 2013-07-04 2013-07-04 电子设备及摄像元件
PCT/JP2013/068381 WO2015001646A1 (ja) 2013-07-04 2013-07-04 電子機器、電子機器の制御方法、及び制御プログラム
CN201811271609.7A CN109743514B (zh) 2013-07-04 2013-07-04 摄像元件以及摄像装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380077710.8A Division CN105324985B (zh) 2013-07-04 2013-07-04 电子设备及摄像元件

Publications (2)

Publication Number Publication Date
CN109743514A true CN109743514A (zh) 2019-05-10
CN109743514B CN109743514B (zh) 2022-01-28

Family

ID=52143265

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201811274381.7A Active CN109256404B (zh) 2013-07-04 2013-07-04 摄像元件以及电子设备
CN201380077710.8A Active CN105324985B (zh) 2013-07-04 2013-07-04 电子设备及摄像元件
CN201811271635.XA Active CN109742094B (zh) 2013-07-04 2013-07-04 摄像元件以及电子设备
CN201811271609.7A Active CN109743514B (zh) 2013-07-04 2013-07-04 摄像元件以及摄像装置

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN201811274381.7A Active CN109256404B (zh) 2013-07-04 2013-07-04 摄像元件以及电子设备
CN201380077710.8A Active CN105324985B (zh) 2013-07-04 2013-07-04 电子设备及摄像元件
CN201811271635.XA Active CN109742094B (zh) 2013-07-04 2013-07-04 摄像元件以及电子设备

Country Status (5)

Country Link
US (4) US10142563B2 (zh)
EP (2) EP3588940B1 (zh)
JP (1) JP6372488B2 (zh)
CN (4) CN109256404B (zh)
WO (1) WO2015001646A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109256404B (zh) 2013-07-04 2023-08-15 株式会社尼康 摄像元件以及电子设备
CN105474627B (zh) * 2013-08-12 2019-06-04 株式会社尼康 电子设备
JP6261430B2 (ja) * 2014-04-01 2018-01-17 キヤノン株式会社 撮像装置及び画像処理システム
JP6583268B2 (ja) * 2014-06-10 2019-10-02 ソニー株式会社 撮像制御装置、撮像装置、撮像システムおよび撮像制御方法
JP5866674B1 (ja) * 2014-07-29 2016-02-17 パナソニックIpマネジメント株式会社 撮像装置
JP6617428B2 (ja) * 2015-03-30 2019-12-11 株式会社ニコン 電子機器
AU2016264606B2 (en) * 2015-05-19 2020-09-03 Magic Leap, Inc. Semi-global shutter imager
JP6642991B2 (ja) * 2015-07-14 2020-02-12 キヤノン株式会社 画像処理装置、撮像装置および撮像制御プログラム
US9571741B1 (en) * 2015-10-08 2017-02-14 Gopro, Inc. Smart shutter in low light
WO2017149932A1 (ja) * 2016-03-03 2017-09-08 ソニー株式会社 医療用画像処理装置、システム、方法及びプログラム
JP2017169021A (ja) * 2016-03-16 2017-09-21 ソニー株式会社 撮像装置、撮像方法および撮像プログラム
JP6596736B2 (ja) * 2016-03-29 2019-10-30 本田技研工業株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN109196855A (zh) * 2016-03-31 2019-01-11 株式会社尼康 摄像装置、图像处理装置及电子设备
CN109196854B (zh) 2016-03-31 2022-05-17 株式会社尼康 摄像装置、图像处理装置及电子设备
US20190141263A1 (en) * 2016-06-09 2019-05-09 Sony Corporation Control device and control method
CN107633795B (zh) * 2016-08-19 2019-11-08 京东方科技集团股份有限公司 显示装置和显示面板的驱动方法
CN107091800A (zh) * 2017-06-06 2017-08-25 深圳小孚医疗科技有限公司 用于显微成像粒子分析的聚焦系统和聚焦方法
US11302439B2 (en) * 2017-06-27 2022-04-12 Sony Corporation Medical image processing apparatus, medical image processing method, and computing device
DE112018003456T5 (de) 2017-07-07 2020-03-19 Semiconductor Energy Laboratory Co., Ltd. Anzeigesystem und Betriebsverfahren des Anzeigesystems
JP6859910B2 (ja) * 2017-09-22 2021-04-14 株式会社デンソーウェーブ 撮像装置
US10462361B2 (en) * 2017-09-26 2019-10-29 Rosemount Aerospace Inc. Seeker with dynamic resolution imaging
TW201915818A (zh) * 2017-10-05 2019-04-16 香港商印芯科技股份有限公司 光學識別模組
US11317038B2 (en) 2017-12-19 2022-04-26 SmartSens Technology (HK) Co., Ltd. Pixel unit with a design for half row reading, an imaging apparatus including the same, and an imaging method thereof
KR102648747B1 (ko) 2019-01-18 2024-03-20 삼성전자주식회사 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법
JP7309451B2 (ja) * 2019-05-24 2023-07-18 キヤノン株式会社 撮像装置および制御方法
KR20210053377A (ko) * 2019-11-01 2021-05-12 삼성전자주식회사 이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355650A (ja) * 1998-06-09 1999-12-24 Nikon Corp 画像取り込み装置
JP2000092378A (ja) * 1998-09-16 2000-03-31 Olympus Optical Co Ltd 撮像装置
JP2000228747A (ja) * 1998-12-03 2000-08-15 Olympus Optical Co Ltd 画像処理装置
US20060023109A1 (en) * 2004-07-30 2006-02-02 Sony Corporation Semiconductor module, MOS type solid-state image pickup device, camera and manufacturing method of camera
JP2006197192A (ja) * 2005-01-13 2006-07-27 Sony Corp 撮像装置及び撮像結果の処理方法
WO2007134473A1 (de) * 2006-05-22 2007-11-29 Waeny Martin Bildaufnehmer mit lokaler adaptiver belichtungsregelung
WO2008078227A1 (en) * 2006-12-21 2008-07-03 Koninklijke Philips Electronics N.V. A device for and a method of processing audio data
CN101442617A (zh) * 2008-12-23 2009-05-27 北京中星微电子有限公司 一种分块曝光的方法及其装置
US20100007780A1 (en) * 2008-07-09 2010-01-14 Sony Corporation Imaging device, camera, control method for imaging device, and computer program
US7663144B2 (en) * 2005-02-07 2010-02-16 Fujifilm Corporation Solid-state imaging device including a plurality of pixel parts with a photoelectric conversion layer
US20100231738A1 (en) * 2009-03-11 2010-09-16 Border John N Capture of video with motion
JP2010239277A (ja) * 2009-03-30 2010-10-21 Fujifilm Corp 撮像装置および撮像方法
CN102098444A (zh) * 2009-12-10 2011-06-15 三星电子株式会社 使用电子快门的多步曝光方法及使用该方法的照相装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529640B1 (en) 1998-06-09 2003-03-04 Nikon Corporation Image processing apparatus
US6825884B1 (en) 1998-12-03 2004-11-30 Olympus Corporation Imaging processing apparatus for generating a wide dynamic range image
JP3993541B2 (ja) 2003-07-30 2007-10-17 真人 佐々木 2次元マクロセル制御イメージセンサ、撮像素子、及び撮像方法
US7446812B2 (en) * 2004-01-13 2008-11-04 Micron Technology, Inc. Wide dynamic range operations for imaging
JP4449565B2 (ja) * 2004-05-12 2010-04-14 ソニー株式会社 物理量分布検知の半導体装置
TW201101476A (en) 2005-06-02 2011-01-01 Sony Corp Semiconductor image sensor module and method of manufacturing the same
JP2008118378A (ja) * 2006-11-02 2008-05-22 Canon Inc 撮影装置及びその駆動方法
JP5141559B2 (ja) 2006-12-18 2013-02-13 ソニー株式会社 撮像装置及び方法、記録装置及び方法、再生装置及び方法
JP5260979B2 (ja) * 2007-05-02 2013-08-14 キヤノン株式会社 撮像システム、信号処理回路、及び信号処理方法
US8542315B2 (en) 2007-11-27 2013-09-24 Broadcom Corporation Method and apparatus for expanded dynamic range imaging
US8390710B2 (en) * 2007-12-19 2013-03-05 Canon Kabushiki Kaisha Image pickup system, method for driving image pickup elements, and recording medium
JP2010016621A (ja) 2008-07-03 2010-01-21 Sony Corp 画像データ処理装置と画像データ処理方法およびプログラムと記録媒体
JP5219778B2 (ja) * 2008-12-18 2013-06-26 キヤノン株式会社 撮像装置及びその制御方法
JP2010178197A (ja) * 2009-01-30 2010-08-12 Panasonic Corp 固体撮像装置の駆動方法、固体撮像装置およびカメラ
KR100989126B1 (ko) * 2009-02-05 2010-10-20 삼성모바일디스플레이주식회사 전자 영상 기기 및 그 구동 방법
JP5651976B2 (ja) * 2010-03-26 2015-01-14 ソニー株式会社 固体撮像素子およびその製造方法、並びに電子機器
JP2012060394A (ja) * 2010-09-08 2012-03-22 Canon Inc 画像取得装置
US20140192238A1 (en) * 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
JP5653207B2 (ja) 2010-12-27 2015-01-14 アルパイン株式会社 消費電力制御システム
WO2012127772A1 (ja) * 2011-03-24 2012-09-27 パナソニック株式会社 固体撮像素子および当該素子を備える撮像装置
JP5947507B2 (ja) 2011-09-01 2016-07-06 キヤノン株式会社 撮像装置及びその制御方法
RU2018130065A (ru) 2012-03-30 2019-03-15 Никон Корпорейшн Модуль формирования изображений, устройство формирования изображений и управляющая программа для формирования изображений
JPWO2013164915A1 (ja) 2012-05-02 2015-12-24 株式会社ニコン 撮像装置
WO2014141663A1 (ja) 2013-03-14 2014-09-18 株式会社ニコン 撮像ユニット、撮像装置および撮像制御プログラム
CN109256404B (zh) * 2013-07-04 2023-08-15 株式会社尼康 摄像元件以及电子设备

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355650A (ja) * 1998-06-09 1999-12-24 Nikon Corp 画像取り込み装置
JP2000092378A (ja) * 1998-09-16 2000-03-31 Olympus Optical Co Ltd 撮像装置
JP2000228747A (ja) * 1998-12-03 2000-08-15 Olympus Optical Co Ltd 画像処理装置
US20060023109A1 (en) * 2004-07-30 2006-02-02 Sony Corporation Semiconductor module, MOS type solid-state image pickup device, camera and manufacturing method of camera
JP2006197192A (ja) * 2005-01-13 2006-07-27 Sony Corp 撮像装置及び撮像結果の処理方法
US20130088608A1 (en) * 2005-01-13 2013-04-11 Sony Corporation Image pickup apparatus and processing method for result of image pickup
US7663144B2 (en) * 2005-02-07 2010-02-16 Fujifilm Corporation Solid-state imaging device including a plurality of pixel parts with a photoelectric conversion layer
WO2007134473A1 (de) * 2006-05-22 2007-11-29 Waeny Martin Bildaufnehmer mit lokaler adaptiver belichtungsregelung
WO2008078227A1 (en) * 2006-12-21 2008-07-03 Koninklijke Philips Electronics N.V. A device for and a method of processing audio data
JP2010021697A (ja) * 2008-07-09 2010-01-28 Sony Corp 撮像素子、カメラ、撮像素子の制御方法、並びにプログラム
US20100007780A1 (en) * 2008-07-09 2010-01-14 Sony Corporation Imaging device, camera, control method for imaging device, and computer program
CN101442617A (zh) * 2008-12-23 2009-05-27 北京中星微电子有限公司 一种分块曝光的方法及其装置
US20100231738A1 (en) * 2009-03-11 2010-09-16 Border John N Capture of video with motion
JP2010239277A (ja) * 2009-03-30 2010-10-21 Fujifilm Corp 撮像装置および撮像方法
CN102098444A (zh) * 2009-12-10 2011-06-15 三星电子株式会社 使用电子快门的多步曝光方法及使用该方法的照相装置

Also Published As

Publication number Publication date
EP3588940A1 (en) 2020-01-01
CN109742094B (zh) 2024-05-31
EP3588940B1 (en) 2023-03-22
US20190089909A1 (en) 2019-03-21
US10841512B2 (en) 2020-11-17
US10142563B2 (en) 2018-11-27
CN105324985B (zh) 2018-11-23
US11637970B2 (en) 2023-04-25
WO2015001646A1 (ja) 2015-01-08
CN109743514B (zh) 2022-01-28
JP6372488B2 (ja) 2018-08-15
CN109256404B (zh) 2023-08-15
CN109742094A (zh) 2019-05-10
EP3018893A1 (en) 2016-05-11
US20230231966A1 (en) 2023-07-20
JPWO2015001646A1 (ja) 2017-02-23
EP3018893A4 (en) 2016-11-30
US20200412978A1 (en) 2020-12-31
CN105324985A (zh) 2016-02-10
US20160142645A1 (en) 2016-05-19
CN109256404A (zh) 2019-01-22

Similar Documents

Publication Publication Date Title
CN105324985B (zh) 电子设备及摄像元件
CN105474627B (zh) 电子设备
US11206353B2 (en) Electronic apparatus, method for controlling electronic apparatus, and control program for setting image-capture conditions of image sensor
CN105637856B (zh) 电子设备、电子设备的控制方法以及记录介质
CN104937924B (zh) 电子设备及控制方法
CN105934944A (zh) 电子设备、摄像装置及摄像元件
CN107005636A (zh) 电子设备
JP2014165855A (ja) 電子機器
CN107005634A (zh) 电子设备、再现装置、再现方法、记录介质及记录方法
JP6409883B2 (ja) 電子機器及び制御プログラム
JP7176591B2 (ja) 電子機器
CN107005635A (zh) 电子设备、再现装置、再现方法、记录介质及记录方法
JP2023054229A (ja) 電子機器
JP2018148590A (ja) 電子機器、及び撮像素子

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant