CN110086980B - 电子设备 - Google Patents
电子设备 Download PDFInfo
- Publication number
- CN110086980B CN110086980B CN201811501809.7A CN201811501809A CN110086980B CN 110086980 B CN110086980 B CN 110086980B CN 201811501809 A CN201811501809 A CN 201811501809A CN 110086980 B CN110086980 B CN 110086980B
- Authority
- CN
- China
- Prior art keywords
- signal
- pixel
- unit
- image
- image pickup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 194
- 238000009825 accumulation Methods 0.000 claims abstract description 68
- 238000006243 chemical reaction Methods 0.000 claims description 44
- 238000012546 transfer Methods 0.000 claims description 17
- 239000004065 semiconductor Substances 0.000 claims 18
- 230000008859 change Effects 0.000 abstract description 33
- 238000012545 processing Methods 0.000 description 135
- 230000035945 sensitivity Effects 0.000 description 62
- 230000000875 corresponding effect Effects 0.000 description 43
- 238000001514 detection method Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 29
- 238000000034 method Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 25
- 230000015654 memory Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000003321 amplification Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000009792 diffusion process Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 238000003199 nucleic acid amplification method Methods 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000001276 controlling effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002161 passivation Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
- 239000007790 solid phase Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/533—Control of the integration time by using differing integration times for different sensor regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/533—Control of the integration time by using differing integration times for different sensor regions
- H04N25/535—Control of the integration time by using differing integration times for different sensor regions by dynamic region selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
通过使实时取景图像的第1区域的积蓄条件和第2区域的积蓄条件不同,从而在实时取景图像中确认与按每个区域的积蓄条件的变更对应的图像变化。电子设备(1)具有摄像部(20)和系统控制部(70)。摄像部(20)具有摄像元件(100),并对第1区域和第2区域进行拍摄。系统控制部(70)使显示部(50)显示由摄像部(20)拍摄到的与第1区域和第2区域对应的实时取景图像。另外,系统控制部(70)进行使实时取景图像的第1区域的积蓄条件和第2区域的积蓄条件不同的控制。
Description
本发明申请是国际申请日为2013年05月31日、国际申请号为PCT/JP2013/065264、进入中国国家阶段的国家申请号为201380070839.6、发明名称为“电子设备及控制程序”的发明申请的分案申请。
技术领域
本发明涉及电子设备及控制程序。
背景技术
提出有一种具有层叠背面照射型摄像芯片及信号处理芯片的摄像元件(以下将该摄像元件称为层叠型摄像元件)的电子设备(例如参照专利文件1)。层叠型摄像元件中,背面照射型摄像芯片和信号处理芯片以按汇集多个像素而得到的块单位经由微凸块连接的方式进行层叠。
专利文件1:日本特开2006-49361号公报
但是,在现有的具有层叠型摄像元件的电子设备中,按多个块单位的每一个进行拍摄而获得图像的提案并不多,具有层叠型摄像元件的电子设备的使用便利性并不够好。
发明内容
在本发明的方式中,其目的在于,通过使实时取景图像的第1区域的积蓄条件和第2区域的积蓄条件不同,从而能够在实时取景图像中,确认与按每个区域的积蓄条件的变更对应的图像变化。
根据本发明的第1方式,提供一种电子设备,其包括:摄像部,其具有摄像元件,并能够对第1区域和第2区域进行拍摄;控制部,其使显示部显示由摄像部拍摄的与第1区域和第2区域对应的实时取景图像;以及变更部,其使实时取景图像的第1区域的积蓄条件和第2区域的积蓄条件不同。
根据本发明的第2方式,提供一种电子设备,其包括:显示部,其能够显示摄像部拍摄到的实时取景图像,其中,该拍摄部具有摄像元件并对第1区域和第2区域进行拍摄;以及控制部,其在显示部显示由摄像部拍摄的与第1区域和第2区域对应的实时取景图像时,使显示部显示设定实时取景图像的摄像条件的菜单。
根据本发明的第3方式,提供一种控制程序,其使含有摄像部的电子设备的控制装置执行显示处理和变更处理,其中,该摄像部具有摄像元件并能够对第1区域和第2区域进行拍摄在显示处理中,使显示部显示由摄像部拍摄的与第1区域和第2区域对应的实时取景图像,在变更处理中,使实时取景图像的第1区域的积蓄条件和第2区域的积蓄条件不同。
根据本发明的第4方式,提供一种控制程序,使含有显示部的电子设备的控制装置执行第1显示处理和第2显示处理,其中,该显示部能够显示摄像部拍摄到的实时取景图像,摄像部具有摄像元件并对第1区域和第2区域进行拍摄,在第1显示处理中,使显示部显示由摄像部拍摄的与第1区域和第2区域对应的实时取景图像,在第2显示处理中,在正在进行第1显示处理时,使显示部显示设定实时取景图像的摄像条件的菜单。
发明的效果
根据本发明的方式,通过使实时取景图像的第1区域的积蓄条件和第2区域的积蓄条件不同,从而能够在实时取景图像中确认与按每个区域的积蓄条件的变更对应的图像变化。
附图说明
图1是层叠型摄像元件的剖视图。
图2是说明摄像芯片的像素排列和单元组的图。
图3是与摄像芯片的单元组对应的电路图。
图4是表示摄像元件的功能性结构的框图。
图5是表示第1实施方式所涉及的电子设备的结构的框图。
图6是表示显示部中的显示画面的一个例子的图。
图7是第1实施方式中的图像处理部及系统控制部的功能框图。
图8是用于说明第1实施方式所涉及的系统控制部执行的摄影动作的流程图。
图9是表示在图像显示区域中设定少量块的情况下的显示画面的显示例的图。
图10是表示在图像显示区域中设定少量块的情况下的显示画面的显示例的图。
图11是表示在图像显示区域中设定少量块的情况下的显示画面的显示例的图。
图12是表示在图像显示区域中设定少量块的情况下的显示画面的显示例的图。
图13是表示第1实施方式所涉及的摄像处理的一个例子的流程图。
图14是表示在图像显示区域中设定大量块的情况下的显示画面的显示例的图。
图15是表示在图像显示区域中设定大量块的情况下的显示画面的显示例的图。
图16是表示在图像显示区域中设定大量块的情况下的显示画面的显示例的图。
图17是第2实施方式中的图像处理部及系统控制部的功能框图。
图18是用于说明第2实施方式所涉及的系统控制部执行的摄影动作的流程图。
图19是表示区域及摄像条件的自动设定处理的一个例子的流程图。
图20是表示第2实施方式所涉及的摄像处理的一个例子的流程图。
图21是表示仅对被选择的区域进行拍摄的情况下的显示画面的显示例的图。
图22是表示第3实施方式所涉及的摄像装置及电子设备的结构的框图。
图23是表示第4实施方式中的显示画面的显示例的图。
具体实施方式
以下参照附图,说明本发明的实施方式。但本发明并不限定于此。另外,在附图中,为了说明实施方式而将一部分放大或进行强调地记载等,适当变更比例尺而进行了表现。
<第1实施方式>
图1是层叠型摄像元件的剖视图。此外,该层叠型摄像元件100是本申请的申请人此前申请的日本特愿2012-139026号中记载的部件。摄像元件100具有:摄像芯片113,其输出与入射光对应的像素信号;信号处理芯片111,其处理像素信号;以及存储芯片112,其存储像素信号。这些摄像芯片113、信号处理芯片111及存储芯片112层叠并通过Cu等具有导电性的凸块109而彼此电连接。
此外,如图所示,入射光主要朝向以空心箭头所示的Z轴正向入射。在本实施方式中,将摄像芯片113中入射光入射侧的面称为背面。另外,如坐标轴所示,将与Z轴正交的纸面左方设为X轴正向,将与Z轴及X轴正交的纸面近前方向设为Y轴正向。在其后的一些图中,以图1的坐标轴为基准,为了理解各个图的朝向而显示坐标轴。
摄像芯片113的一个例子为背面照射型的MOS图像传感器。PD层106配置在布线层108的背面侧。PD层106二维地配置,具有积蓄与入射光对应的电荷的多个光电二极管(Photodiode,以下称为PD)104、以及与PD 104对应地设置的晶体管105。
在PD层106中的入射光的入射侧,隔着钝化膜103设置彩色滤光片102。彩色滤光片102是使可见光中的特定波段通过的滤光片。该彩色滤光片102具有使彼此不同的波段透射的多个种类,与PD 104分别对应而具有特定排列。彩色滤光片102的排列将在后面记述。彩色滤光片102、PD 104及晶体管105的组构成一个像素。
在彩色滤光片102中的入射光的入射侧,与各个像素对应而设置微透镜101。微透镜101朝向对应的PD 104而将入射光聚光。
布线层108具有将来自PD层106的像素信号向信号处理芯片111传输的布线107。布线107可以是多层,另外也可以设置无源元件及有源元件。在布线层108的表面配置多个凸块109。这些多个凸块109与在信号处理芯片111的相对的面上设置的多个凸块109位置对合。并且,通过对摄像芯片113和信号处理芯片111加压等,使位置对合了的凸块109彼此接合而电连接。
相同地,在信号处理芯片111及存储芯片112的彼此相对的面上配置多个凸块109。这些多个凸块109彼此位置对合。并且,通过对信号处理芯片111和存储芯片112加压等,使位置对合了的凸块109彼此接合而电连接。
此外,凸块109间的接合并不限于通过固相扩散进行的Cu凸块接合,也可以采用通过焊锡熔融进行的微凸块结合。另外,凸块109可以例如对后述的一个单元组设置一个左右。由此,凸块109的尺寸可以大于PD 104的间距。另外,也可以在像素所排列的像素区域(图2所示的像素区域113A)以外的周边区域同时设置比与像素区域对应的凸块109更大的凸块。
信号处理芯片111具有使分别设置在表面及背面的电路彼此连接的TSV(Through-Silicon Via,硅贯通电极)110。TSV 110设置在周边区域。另外,TSV 110也可以设置在摄像芯片113的周边区域或存储芯片112中。
图2是说明摄像芯片的像素排列和单元组的图。在图2中,特别示出从背面侧观察摄像芯片113的状态。在摄像芯片113中,将排列有像素的区域称为像素区域113A。在像素区域113A中以矩阵状排列有2000万个以上的像素。在图2所示的例子中,相邻的4像素×4像素的16像素形成一个单元组131。图2的方格线表示将相邻的像素成组化而形成单元组131的概念。形成单元组131的像素的数量并不限定于此,也可以是1000个左右,例如为32像素×64像素,还可以1000以上或1000以下。
如像素区域113A的局部放大图所示,单元组131在上下左右内含由绿色像素Gb、Gr、蓝色像素B及红色像素R这4个像素构成的所谓拜耳阵列。绿色像素是作为彩色滤光片102而具有绿色滤光片的像素,接收入射光中的绿色波段的光。相同地,蓝色像素是作为彩色滤光片102而具有蓝色滤光片的像素,接收蓝色波段的光。红色像素是作为彩色滤光片102而具有红色滤光片的像素,接收红色波段的光。
图3是与摄像芯片的单元组对应的电路图。在图3中,作为代表的以虚线包围的矩形表示与1个像素对应的电路。此外,以下说明的各晶体管的至少一部分与图1的晶体管105对应。
如上述所示,单元组131由16个像素形成。与各个像素对应的16个PD 104分别与传输晶体管302连接。在各传输晶体管302的栅极上连接供给传输脉冲的TX布线307。在本实施方式中,TX布线307相对于16个传输晶体管302共用地连接。
各传输晶体管302的漏极与对应的各复位晶体管303的源极连接,并且传输晶体管302的漏极和各复位晶体管303的源极之间的所谓的浮置扩散FD(电荷检测部)与放大晶体管304的栅极连接。各复位晶体管303的漏极与供给电源电压的Vdd布线310连接。各复位晶体管303的栅极与供给复位脉冲的复位布线306连接。在本实施方式中,复位布线306相对于16个复位晶体管303共用地连接。
各个放大晶体管304的漏极与供给电源电压的Vdd布线310连接。另外,各个放大晶体管304的源极与对应的各个选择晶体管305的漏极连接。在各个选择晶体管305栅极上连接供给选择脉冲的译码器布线308。在本实施方式中,译码器布线308相对于16个选择晶体管305分别独立地设置。并且,各个选择晶体管305的源极与共用的输出布线309连接。负载电流源311向输出布线309供给电流。即,相对于选择晶体管305的输出布线309由源极跟随器形成。此外,负载电流源311可以设置在摄像芯片113侧,也可以设置在信号处理芯片111侧。
在这里,说明从积蓄电荷开始至积蓄结束后的像素输出为止的流程。通过复位布线306而在复位晶体管303上施加复位脉冲。与此同时,通过TX布线307而在传输晶体管302上施加传输脉冲。由此,PD 104及浮置扩散FD的电位被复位。
PD 104在解除传输脉冲施加后,将接收的入射光转换为电荷并积蓄。然后,如果在没有施加复位脉冲的状态下再次施加传输脉冲,则PD 104中积蓄的电荷被传输至浮置扩散FD。由此,浮置扩散FD的电位从复位电位变为电荷积蓄后的信号电位。并且,如果通过译码器布线308而向选择晶体管305施加选择脉冲,则浮置扩散FD的信号电位的变化经由放大晶体管304及选择晶体管305传输至输出布线309。通过上述电路的动作,与复位电位和信号电位对应的像素信号从单位像素输出至输出布线309。
如图3所示,在本实施方式中,相对于形成单元组131的16个像素,复位布线306和TX布线307是共用的。即,复位脉冲和传输脉冲都是对16像素全部同时施加的。由此,形成单元组131的所有像素在同一定时开始电荷积蓄,在同一定时结束电荷积蓄。但是,与所积蓄的电荷对应的像素信号通过在各自的选择晶体管305中顺序施加选择脉冲而有选择地输出至输出布线309。另外,复位布线306、TX布线307、输出布线309是按每一个单元组131单独设置的。
通过上述以单元组131为基准构成电路,能够按每一个单元组131控制电荷积蓄时间。换言之,能够在单元组131之间分别输出由于不同电荷积蓄时间而产生的像素信号。进一步说,对一个单元组131进行1次电荷积蓄的期间,对另一个单元组131重复多次电荷积蓄并每次输出像素信号,从而也能够在这些单元组131之间以不同帧频(frame rate)输出动态影像用的各帧。
图4是表示摄像元件的功能性结构的框图。模拟的多路复用器411顺序选择形成单元组131的16个PD 104。并且,多路复用器411将16个PD 104各自的像素信号向与该单元组131对应地设置的输出布线309输出。多路复用器411与PD 104一起形成于摄像芯片113中。
经由多路复用器411输出的模拟信号的像素信号由形成于信号处理芯片111中的放大器412放大。并且,由放大器412放大后的像素信号经由形成于信号处理芯片111中的、进行相关双采样(CDS:Correlated Double Sampling)·模拟/数字(Analog/Digital)转换的信号处理电路413,进行相关双采样的信号处理并且进行A/D转换(从模拟信号转换为数字信号)。通过对像素信号在信号处理电路413中进行相关双采样的信号处理,降低了像素信号的噪声。A/D转换后的像素信号被传递至多路分配器(demultiplexer)414,并存储在与各个像素对应的像素存储器415中。多路分配器414及像素存储器415形成在存储芯片112中。
运算电路416将存储在像素存储器415中的像素信号进行处理并传递至后级的图像处理部。运算电路416可以设置在信号处理芯片111中也可以设置在存储芯片112中。此外,在图4中示出1个单元组131的量的连接,实际上他们按每一个单元组131而存在、且并行地动作。但是,运算电路416也可以不按每一个单元组131而存在。例如,可以是一个运算电路416一边顺序参照与各个单元组131对应的像素存储器415的值一边进行序列处理。
如上述所示,与各个单元组131对应而设置有输出布线309。摄像元件100层叠有摄像芯片113、信号处理芯片111及存储芯片112。因此,通过使用对这些输出布线309使用了凸块109的芯片间的电连接,能够无需在面方向上增大各芯片地布置布线。
下面,说明在摄像元件100的像素区域113A(参照图2)中设定的块。在本实施方式中,摄像元件100的像素区域113A被分割为多个块。多个块定义为1个块中至少包含1个单元组131。各个块通过彼此不同的控制参数而控制各个块中包含的像素。即,在某个块中包含的像素组和其他块中包含的像素组中得到控制参数不同的像素信号。作为控制参数,例如可以举出电荷的积蓄时间或积蓄次数、帧频、增益、间除率、将像素信号相加的相加行数或相加列数、数字化的位数等。此外,控制参数也可以是从像素获取图像信号后的图像处理中的参数。
在这里,电荷的积蓄时间是指从PD 104开始积蓄电荷至结束为止的时间。另外,电荷的积蓄次数是指每单位时间中PD 104积蓄电荷的次数。另外,帧频是指在动态影像中表示每单位时间处理(显示或记录)的帧数的值。帧频的单位以fps(Frames Per Second)表示。帧频越高,动态影像中的被摄体的动作越顺畅。
另外,增益是指放大器412的增益率(放大率)。通过变更该增益,能够变更ISO感光度。该ISO感光度是基于ISO制定的胶片的标准,表示胶片能够以何种程度的弱光进行记录。但是,通常在表现摄像元件100的感光度的情况下,也使用ISO感光度。在此情况下,ISO感光度是表示摄像元件100获得光的能力的值。如果提高增益,则ISO感光度也提高。例如,如果使增益加倍,则电信号(像素信号)也加倍,入射光的光量为一半时也能够取得适当的明亮度。但是,如果提高增益则电信号中含有的噪声也被放大,导致噪声变多。
另外,间除率是指在规定区域中不读取像素信号的像素数相对于全部像素数的比例。例如,在规定区域的间除率为0的情况下,表示从该规定区域内的所有像素读取像素信号。另外,在规定区域的间除率为0.5的情况下,表示从该规定区域内的一半像素读取像素信号。具体地说,在单元组131为拜耳阵列的情况下,设定为在垂直方向上每隔一个拜耳阵列单位、即、像素单位的每2个像素(每2行)交替地设定为读取像素信号的像素和不读取像素信号的像素。此外,如果进行像素信号的读取的间除,则图像的分辨率降低。但是,由于摄像元件100中配置有2000万以上的像素,所以例如即使以间除率0.5进行间除,也能够以1000万以上的像素显示图像。因此,认为使用者不会察觉分辨率降低。
另外,相加行数是指在将垂直方向上相邻的像素的像素信号相加的情况下,该相加的垂直方向的像素的数量(行数)。另外,相加列数是指在将水平方向上相邻的像素的像素信号相加的情况下,该相加的水平方向的像素的数量(列数)。上述相加处理例如在运算电路416中进行。通过运算电路416进行将垂直方向或水平方向上相邻的规定数量的像素的像素信号相加的处理,从而实现与以规定的间除率进行间除来读取像素信号的处理相同的效果。此外,在上述相加处理中,运算电路416也可以将相加值除以相加的行数或列数而计算出平均值。
另外,数字化的位数是指信号处理电路413在A/D转换中将模拟信号变换为数字信号时的位数。数字信号的位数越多,亮度及色彩变化等就更详细地表现出来。
在本实施方式中,积蓄条件是指与摄像元件100中的电荷积蓄相关的条件。具体地说,积蓄条件是指上述控制参数中的电荷的积蓄时间或积蓄次数、帧频及增益。由于帧频根据电荷的积蓄时间或积蓄次数而变化,所以帧频包含在积蓄条件中。另外,适当曝光的光量与增益相应地变化,与适当曝光的光量相应地电荷的积蓄时间或积蓄次数也能够变化。因此,增益包含在积蓄条件中。
另外,摄像条件是指与被摄体的摄像相关的条件。具体地说,摄像条件是指包括上述积蓄条件的控制参数。摄像条件除了用于控制摄像元件100的控制参数(例如电荷的积蓄时间或积蓄次数、帧频、增益)之外,还包括用于控制从摄像元件100读取信号的控制参数(例如间除率)、用于处理来自摄像元件100的信号的控制参数(例如,对像素信号相加的相加行数或相加列数、数字化的位数、后述的图像处理部30用于执行图像处理的控制参数)。
图5是表示第1实施方式所涉及的电子设备的结构的框图。如图5所示,电子设备1具有透镜部10、摄像部20、图像处理部30、工作存储器40、显示部50、操作部55、记录部60及系统控制部70。透镜部10是由多个透镜组构成的摄像光学系统。该透镜部10将来自被摄体的光束向摄像部20引导。该透镜部10可以与电子设备1一体构成,也可以是相对于电子设备1能够装卸的更换式透镜。另外,该透镜部10可以内置聚焦透镜,也可以内置变焦透镜。
摄像部20具有摄像元件100及驱动部21。驱动部21是根据来自系统控制部70的指示控制摄像元件100的驱动的控制电路。在这里,驱动部21通过控制将复位脉冲及传输脉冲分别施加在复位晶体管303及传输晶体管302上的定时(或定时的周期),从而控制作为控制参数的电荷积蓄时间或积蓄次数。另外,驱动部21通过控制将复位脉冲、传输脉冲及选择脉冲分别施加在复位晶体管303、传输晶体管302及选择晶体管305上的定时(或定时的周期),从而控制帧频。另外,驱动部21通过设定施加复位脉冲、传输脉冲及选择脉冲的像素,从而控制间除率。
另外,驱动部21通过控制放大器412的增益(增益率,也称为放大率),从而控制摄像元件100的ISO感光度。另外,驱动部21通过向运算电路416发送指示,从而设定将像素信号相加的相加行数或相加列数。另外,驱动部21通过向信号处理电路413发送指示,从而设定数字化的位数。此外,驱动部21进行摄像元件100的像素区域(摄像区域)113A中的块的设定。如上所示,驱动部21承担使摄像元件100以按多个块的每块而不同的摄像条件进行拍摄并输出像素信号的摄像元件控制部的功能。系统控制部70对驱动部21指示块的位置、形状、范围等。
摄像元件100将来自摄像元件100的像素信号传送至图像处理部30。图像处理部30将工作存储器40作为工作空间而对由各像素的像素信号构成的原始图像数据实施各种图像处理,生成图像数据。该图像处理部30具有CPU,CPU执行各种图像处理。例如,图像处理部30通过对基于拜耳阵列得到的信号进行色彩信号处理而生成RGB图像信号。另外,图像处理部30对RGB图像信号进行白平衡调整、锐度调整、伽玛校正、灰阶调整等图像处理。另外,图像处理部30根据需要进行以规定的压缩格式(JPEG格式、MPEG格式等)进行压缩的处理。图像处理部30中生成的图像数据经由系统控制部70记录在记录部60中。另外,图像处理部30中生成的图像数据经由系统控制部70向显示部50输出,在显示部50中显示。
在本实施方式中,图像处理部30除了上述处理之外,还进行将基于多次连续拍摄到的图像的图像数据合成的处理。通过该处理而去除噪声。
图像处理部30在进行图像处理时所参照的参数也包括在控制参数(摄像条件)中。例如,色彩信号处理、白平衡调整、灰阶调整、压缩率等参数包括在控制参数中。与电荷积蓄时间等相应地,从摄像元件100读取的信号变化,与该信号变化相应地,在进行图像处理时参照的参数也变化。图像处理部30设定按块单位不同的控制参数,基于这些控制参数执行色彩信号处理等图像处理。
图像处理部30提取从摄像部20以时间序列得到的多个帧中每规定定时的帧。或者,图像处理部30废弃从摄像部20以时间序列得到的多个帧中每规定定时的帧。由此,能够减少数据量,从而能够减少后级处理的负荷。另外,图像处理部30基于从摄像部20以时间序列得到的多个帧,计算在各帧间进行插补的1个或多个帧。并且,图像处理部30将计算出的1个或多个帧追加到各帧间。由此,在再现动态影像时能够再现动作更加流畅的动态影像。另外,驱动部21构成为控制间除率,但并不限定于该构成。例如,也可以是驱动部21从所有像素中读取像素信号,图像处理部30或运算电路416废弃所读取的像素信号中的规定的像素信号,从而控制间除率。
在进行基于图像处理部30的图像处理时,工作存储器40暂时存储图像数据等。显示部50例如由液晶显示面板构成。该显示部50如图5所示,显示部50具有第1显示部51、第1触摸面板(选择部、第1操作部)52、第2显示部53及第2触摸面板(第2操作部)54。
第1显示部51显示由摄像部20拍摄到的图像(静止图像,动态影像,实时取景图像)及各种信息。第1触摸面板52形成在第1显示部51的显示画面上。该第1触摸面板52在使用者对区域进行指定时,将表示使用者碰触的位置的信号向系统控制部70输出。第2显示部53显示用于供使用者设定摄像条件(控制参数)的菜单。第2触摸面板54形成在第2显示部53的显示画面上。该第2触摸面板54用于在使用者设定摄像条件时将表示使用者碰触的位置的信号向系统控制部70输出。
操作部55为由使用者操作的快门按钮、录像开始按钮、各种操作开关等。该操作部55将与使用者进行的操作对应的信号向系统控制部70输出。记录部60具有能够安装存储卡等存储介质的卡槽。记录部60在安装于卡槽中的记录介质中存储图像处理部30所生成的图像数据及各种数据。另外,记录部60具有内部存储器。记录部60也可以构成为,在内部存储器中记录图像处理部30所生成的图像数据和各种数据。
系统控制部70控制电子设备1整体的处理及动作。该系统控制部70具有CPU(Central Processing Unit)。在本实施方式中,系统控制部70将摄像元件100(摄像芯片113)的摄像面(像素区域113A)划分为多个块,在块之间以不同的电荷积蓄时间(或电荷积蓄次数)、帧频、增益获得图像。因此,系统控制部70将块的位置、形状、范围及各块用的积蓄条件向驱动部21指示。另外,系统控制部70在块之间以不同的间除率、将像素信号相加的相加行数或相加列数及数字化的位数,获取图像。因此,系统控制部70将各块用的摄像条件(间除率、将像素信号相加的相加行数或相加列数及数字化的位数)向驱动部21指示。另外,图像处理部30在块之间以不同的摄像条件(色彩信号处理、白平衡调整、灰阶调整、压缩率等控制参数)执行图像处理。因此,系统控制部70将各块用的摄像条件(色彩信号处理、白平衡调整、灰阶调整、压缩率等控制参数)向图像处理部30指示。
另外,系统控制部70将图像处理部30中生成的图像数据记录在记录部60中。另外,系统控制部70通过将图像处理部30中生成的图像数据向显示部50输出,从而使显示部50的第1显示部51显示图像。或者,系统控制部70通过读取记录在记录部60中的图像数据并向显示部50输出,从而使显示部50的第1显示部51显示图像。作为在第1显示部51中显示的图像,包括静止图像、动态影像、实时取景图像。在这里,实时取景图像是将由图像处理部30所生成的图像数据顺次输出到显示部50并在第1显示部51中显示的图像。实时取景图像用于供使用者确认由摄像部20拍摄的被摄体的图像。实时取景图像也称为直通图或预览图像。
此外,图像处理部30通过CPU基于控制程序执行处理而实现。另外,系统控制部70通过CPU基于控制程序执行处理而实现。
图6是表示显示部中的显示画面的一个例子的图。如图6所示,显示部50的显示画面500设置有图像显示区域510和操作按钮显示区域520。图像显示区域510是显示由摄像部20拍摄到的图像、即静止图像、动态影像及实时取景图像的区域。另外,操作按钮显示区域520是显示用于供使用者设定摄像条件等的菜单的区域。在本实施方式中,图像显示区域510及操作按钮显示区域520设置在1个显示画面500内。此外,图像显示区域510相当于第1显示部51,操作按钮显示区域520相当于第2显示部53。
在图像显示区域510内设定有多个块B(i,j)。在图6所示的例子中,块B(i,j)在图像显示区域510中沿水平方向(图6的横向)设定有8个块(i=1~8),沿垂直方向(图6的纵向)设定有6个块(j=1~6)。即,图像显示区域510被分割为8×6个(=48个)块。另外,第1触摸面板52设置在图像显示区域510上。在第1触摸面板52中,多个触控区域P(i,j)分别与多个块B(i,j)重合地形成。各触控区域P(i,j)如果检测到使用者的按压(触控),则将表示被按压的位置(是哪个触控区域)的检测信号向系统控制部70输出。
操作按钮显示区域520设置在图像显示区域510附近。在操作按钮显示区域520内,显示用于供使用者设定区域、摄像条件及摄影模式的菜单(菜单图像)。用于供使用者设定区域的菜单为设定的按钮521。用于供使用者设定摄像条件的菜单为ISO感光度的按钮522(这也称为与增益相关的菜单)、快门速度的按钮523(这也称为与电荷积蓄时间相关的菜单)、以及帧频的按钮524(这也称为与帧频相关的菜单)。用于供使用者设定摄影模式的菜单为摄影模式的按钮525。以下将设定的按钮521、ISO感光度的按钮522、快门速度的按钮523、帧频的按钮524及摄影模式的按钮525分别简称为“设定521”、“ISO感光度522”、“快门523”、“帧频524”及“摄影模式525”。
设定521是使用者以块为单位设定(选择)图像显示区域510内的区域时按压的按钮。ISO感光度522是使用者设定ISO感光度(即增益)时按压的按钮。快门523是使用者设定快门速度(即曝光时间)时按压的按钮。此外,快门速度与电荷的积蓄时间对应。帧频524是使用者设定动态影像或实时取景图像的帧频时按压的按钮。摄影模式525是使用者选择手动(manual)设定摄像条件或自动设定摄像条件时按压的按钮。
另外,第2触摸面板54设置在操作按钮显示区域520上。在第2触摸面板54中,触控区域521a形成为叠加在设定521上。另外,触控区域522a形成为叠加在ISO感光度522上。另外,触控区域523a形成为叠加在快门523上。另外,触控区域524a形成为叠加在帧频524上。另外,触控区域525a形成为叠加在摄影模式525上。如果检测到各触控区域521a~525a被使用者按压(触控),则将表示被按压的位置(是哪一个触控区域)的检测信号向系统控制部70输出。此外,在本实施方式中,第1触摸面板52及第2触摸面板54可以由不同的触摸面板构成,也可以由1个触摸面板构成。在由1个触摸面板构成的情况下,该触摸面板的触控区域P(i,j)相当于第1触摸面板52,触控区域521a~525a相当于第2触摸面板54。
图7是第1实施方式中的图像处理部及系统控制部的功能框图。如图7所示,图像处理部30包括合成处理部31。该合成处理部31进行对高速多次拍摄到的图像进行合成的处理。通过该处理,降低图像中含有的噪声。即,该处理实现降噪的功能。
另外,系统控制部70包括显示控制部(控制部)71、变更部72、选择部73及摄像控制部(图像合成部)74。显示控制部71通过将图像数据向显示部50输出而进行使第1显示部51显示图像(静止图像、动态影像、实时取景图像)的控制。另外,显示控制部71进行使第2显示部53显示预先设定的菜单图像的控制。变更部72或根据使用者对第2触摸面板54的触控操作、或自动地进行变更摄像条件(包括积蓄条件)的控制。另外,选择部73与使用者对第1触摸面板52的触控操作对应地,进行以块为单位选择图像显示区域510内的区域的控制。另外,摄像控制部(图像合成部)74与使用者对快门按钮(操作部55)的操作对应地,执行摄像控制。
在实施方式(第1实施方式、后述的第2及第3实施方式)中,“第1区域”是指在显示画面500的图像显示区域510中与选择部73或根据使用者的操作、或自动地选择的区域对应的摄像元件100的像素区域113A内的区域。另外,“第2区域”是指在显示画面500的图像显示区域510中与选择部73或根据使用者的操作、或自动地选择的区域对应的摄像元件100的像素区域113A内的区域。第1区域和第2区域可以是被分割为两部分的区域的一个及另一个,也可以是分割为3部分以上的区域中的某一个和另一个。
下面说明第1实施方式所涉及的摄影动作。图8是用于说明第1实施方式所涉及的系统控制部执行的摄影动作的流程图。另外,图9~图12是表示在图像显示区域中设定了少量块的情况下的显示画面的显示例的图。
在图8所示的处理中,在电子设备1接通电源后,在使用者为了开始摄影而进行操作部55等的操作后,系统控制部70开始摄影动作(步骤S1)。此外,使用者预先进行选择是拍摄静止图像还是拍摄动态影像的操作。
开始摄影后,显示控制部71将由摄像部20拍摄到的实时取景图像在第1显示部51(图像显示区域510)中显示(步骤S2)。在图9所示的例子中,图像显示区域510显示了瀑布的实时取景图像。使用者在要选择图像显示区域510内的区域的情况下,用手指触控设定521(即触控区域521a)。由此,图像显示区域510内的区域变为可选择的状态、即变为第1触摸面板52能够检测触控操作的状态。然后,使用者通过用手指触控设定在图像显示区域510中的块B(i,j)(或用手指描绘),从而以块为单位选择图像显示区域510内的区域。第1触摸面板52将与由使用者触控的触控区域P(i,j)对应的检测信号向系统控制部70输出。
选择部73基于来自第1触摸面板52的检测信号,识别由使用者选择的区域。在图10所示的例子中,使用者选择了区域511。该区域511是瀑布后方的背景区域(图10中画白线的区域)。具体地说,区域511是由块B(3,1)~B(8,1)、B(4,2)~B(8,2)、B(5,3)~B(8,3)、B(6,4)~B(8,4)构成的区域。
选择部73判定是否由使用者选择了区域(步骤S3)。在判定为由使用者选择了区域的情况下,选择部73设定由使用者选择的区域511(步骤S4)。具体地说,选择部73向驱动部21输出指示由使用者选择的块的位置等的指示信号。
变更部72判定由使用者选择的摄影模式是否为自动模式(auto mode)(步骤S5)。在这里,使用者在设定摄影模式时,触控摄影模式525(即触控区域525a)。并且,使用者选择摄影模式中的手动模式(manual mode)或自动模式(auto mode)。变更部72在判定为作为摄影模式没有选择自动模式的情况下,即,判定为作为摄影模式选择了手动模式的情况下,与使用者对第2触摸面板54的操作对应地设定摄像条件(包括积蓄条件)(步骤S6)。
例如,使用者在作为摄像条件要设定ISO感光度的情况下,触控ISO感光度522(即触控区域522a)。第2触摸面板54将与由使用者触控的触控区域522a对应的检测信号向系统控制部70输出。显示控制部71如图11所示,在ISO感光度522的旁边显示多个ISO感光度的值。在图11所示的例子中,作为ISO感光度显示了“100”、“200”、“400”、“800”、“1600”。变更部71在第2触摸面板54中以与ISO感光度的各个值的区域重合的方式重新设定触控区域。使用者触控ISO感光度的值的某一个。第2触摸面板54将与由使用者触控的触控区域对应的检测信号向系统控制部70输出。变更部72设定使用者所触控的ISO感光度的值。具体地说,变更部72将指示与由使用者选择的ISO感光度对应的增益的指示信号向驱动部21输出。
在使用者设定快门速度(电荷积蓄时间)及帧频的情况下也进行与ISO感光度的设定相同的操作。即,使用者在作为摄像条件要设定快门速度或帧频的情况下,触控快门523(即触控区域523a)或帧频524(即触控区域524a)。第2触摸面板54将与由使用者触控的触控区域523a或524a对应的检测信号向系统控制部70输出。显示控制部71在快门523或帧频524的旁边显示多个快门速度或帧频的值。使用者触控快门速度或帧频的值的某一个。变更部72设定由使用者触控的快门速度或帧频的值。具体地说,变更部72将指示由使用者选择的快门速度或帧频的指示信号向驱动部21输出。
驱动部21接收以块为单位指示与由使用者选择的区域511对应的像素区域113A的区域的指示信号。另外,驱动部21接收指示由使用者选择的摄像条件的指示信号。与此对应,驱动部21在与区域511对应的像素区域113A的区域中,驱动摄像部20,来以被指示的摄像条件(快门速度、ISO感光度、帧频)进行拍摄。此外,通常在拍摄静止图像的情况下设定快门速度,在拍摄动态影像的情况下设定帧频。
若像这样驱动部21变更了与区域511对应的像素区域113A的区域的摄像条件,则图像显示区域510内的区域511中显示的图像(区域511中的实时取景图像)变化。例如,如果提高ISO感光度,则被摄体在较少光量下也能够拍摄得较亮。另外,实时取景图像的较暗部分变亮。另外,如果提高快门速度,则正在动作的被摄体的虚影减少。另外,如果提高帧频,则动态影像中的被摄体的动作变得顺畅。
如上所示,通过使用者选择区域,并设定所选择的区域中的摄像条件,从而能够在实时取景图像中确认与摄像条件的变更对应而变化的所选择区域的图像。在此情况下,也存在如下情况:使用者选择的摄像条件并不符合适当曝光的条件。但是,使用者还能够识别由于摄像条件变更而产生的曝光过度或曝光不足。另外,使用者能够识别变更为哪种摄像条件后图像发生哪种变化。由此,使用者能够在进行拍摄前,通过变更摄像条件而在生成图像的基础上进行拍摄。
上述步骤S1~S6的处理在使用者半按操作部55的快门(拍摄动态影像的情况下为录像开始按钮)的操作(步骤S8)进行之前被重复执行。在图12所示的例子中,选择了图像显示区域510中的区域511之外的区域512。并且,与使用者对ISO感光度522、快门523、帧频524的值的选择对应地,在图像显示区域510内的区域512中显示的实时取景图像变化。
图12所示的区域512是瀑布的区域(图12中画白线的区域)。具体地说,区域512是由块B(1,1)~B(2,1)、B(1,2)~B(3,2)、B(1,3)~B(4,3)、B(1,4)~B(5,4)、B(1,5)~B(8,5)、B(1,6)~B(8,6)构成的区域。
变更部72在判定为作为摄影模式而选择了自动模式的情况下(步骤S5为是),自动地设定由使用者选择的区域511的摄像条件(步骤S7)。此时,变更部72基于实时取景图像中的区域511内的图像的对比度及色彩变化的至少一者,变更摄像条件。例如,变更部72以使得区域511内的图像的明部和暗部的对比度最大的方式,变更摄像条件(ISO感光度、快门速度、帧频)。另外,变更部72以使得区域511的图像的色彩变化最鲜明的方式,变更摄像条件(ISO感光度、快门速度、帧频)。另外,变更部72以使得区域511内的图像的对比度最大、区域511内的图像的色彩变化最鲜明的方式,变更摄像条件。
作为摄影模式而选择了自动模式的情况下的处理(步骤S1~S5、S7),在使用者半按操作部55的快门的操作(步骤S8)进行之前被重复执行。例如,在区域512中,变更部72也基于区域512内的图像的对比度和色彩变化的至少一者,自动设定摄像条件(步骤S7)。与变更部72实施变更后的ISO感光度、快门速度或帧频的值对应地,图像显示区域510内的区域511、512中显示的实时取景图像变化。
此外,在图9~图12中虽然未图示,但作为使用者能够设定的各个区域的摄像条件,并不限定于ISO感光度、快门速度及帧频。例如,也可以构成为,能够将上述间除率、将像素信号相加的相加行数或相加列数、数字化的位数等作为各个区域的摄像条件进行设定。另外,也可以构成为,能够将色彩信号处理、白平衡调整、灰阶调整、压缩率等参数作为各个区域的摄像条件进行设定。
系统控制部70判定是否对快门或录像开始按钮进行了半按操作(SW1的操作)(步骤S8)。半按操作用作为开始准备摄影的指示。此外,在图8中虽然未图示,但系统控制部70执行自动进行焦点调节的自动对焦(AF)的控制等。
然后,系统控制部70判定是否对快门或录像开始按钮进行了全按操作(SW2的操作)(步骤S9)。在判定为进行了全按操作的情况下,摄像控制部74进行使摄像元件100执行拍摄的摄像处理(步骤S10)。图13是表示第1实施方式所涉及的摄像处理的一个例子的流程图。摄像控制部74首先判定ISO感光度是否由使用者或自动地设定为规定值以上(步骤S11)。摄像控制部74在判定为ISO感光度没有被设定为在规定值以上的情况下,使摄像部20执行通常的拍摄(步骤S12)。即,如通常那样通过1次拍摄而取得静止图像。此时,基于如上所示地选择的按每个区域的摄像条件而进行拍摄。
另一方面,摄像控制部74在判定为ISO感光度被设定为规定值以上的情况下,使摄像部20执行多次的连续拍摄(步骤S13)。例如,摄像控制部74通过向驱动部21输出指示信号,而使摄像部20高速执行5次拍摄。在此情况下也根据如上述所示地选择的按每个区的摄像条件而进行拍摄。例如,在已经设定好的快门速度的时间内执行多次拍摄。
另外,摄像控制部74对图像处理部30指示对多次连续拍摄的多张图像进行合成(步骤S14)。在图像处理部30中,合成处理部31基于来自摄像控制部74的指示,将多张图像进行合成而生成静止图像。如果提高ISO感光度则容易产生噪声,但如上述所示,通过将高速拍摄到的多张图像进行合成,能够降低噪声。
此外,在步骤S10的摄像处理中,在拍摄动态影像的情况下,摄像控制部74不进行图13的步骤S11所示的处理而执行通常的拍摄(步骤S12)。即,在拍摄动态影像的情况下,不进行步骤S13所示的多次连续拍摄及对多张图像的合成。
在图9~图12所示的显示画面500的显示例中,设定在图像显示区域510中的各块为较大区域的块。但是,也可以将与图9~图12所示的块相比较小区域的块设定在图像显示区域510中。图14~图16是表示在图像显示区域中设定了大量块的情况下的显示画面的显示例的图。在图14~图16所示的例子中,块为与单元组相同的区域或包括几个单元组的区域。
使用者在要选择区域的情况下,在触控设定521后,如图14所示,手指沿要选择的区域的边界进行描绘。通过该选择方法,能够更精细地选择区域。变更摄像条件的操作与图10~图12所说明的情况相同。即,如图14所示,使用者选择区域513。该区域513是瀑布后方的背景区域(图14中画白线的区域)。并且,使用者如果触控ISO感光度522,则如图15所示,在ISO感光度522的旁边出现多个ISO感光度的值。使用者触控ISO感光度的值的某一个而设定ISO感光度。另外,使用者通过触控快门523、帧频524而设定快门速度或帧频。
另外,使用者在触控设定521后,如图16所示,通过手指沿要选择的区域的边界进行描绘,从而选择区域514。并且,与上述相同地,使用者对ISO感光度522、快门523及帧频524进行触控操作,设定区域514中的ISO感光度、快门速度及帧频。另外,与基于图9~图12所说明的情况相同地,也能够触控摄影模式525来变更摄影模式,从而设定为自动进行按每个区域的摄像条件的变更。
如以上说明所示,在第1实施方式中,包括:摄像部20,其具有摄像元件100,并能够对第1区域和第2区域进行拍摄;控制部71,其使显示部50显示由摄像部20拍摄的与第1区域和第2区域对应的实时取景图像;以及变更部72,其使实时取景图像的第1区域的积蓄条件和第2区域的积蓄条件不同。根据上述结构,能够在实时取景图像中确认与按每个区域的积蓄条件的变更对应的图像变化。由此,使用者在开始拍摄静止图像或动态影像前,能够变更按每个区域的摄像条件而生成图像。这样的处理也称为进行图像的拍摄前编辑。
另外,变更部72构成为使第1区域的积蓄时间和第2区域的积蓄时间不同。由此,使用者能够按每个区域使积蓄时间(快门速度)不同地编辑图像,并在确认所编辑的图像的基础上进行拍摄。另外,变更部72构成为使第1区域的帧频和第2区域的帧频不同。由此,使用者能够按每个区域使帧频不同地编辑图像,并在确认所编辑的图像的基础上进行拍摄。另外,变更部72构成为使第1区域的增益和第2区域的增益不同。由此,使用者能够按每个区域使增益(ISO感光度)不同地进行编辑,并在确认所编辑的图像的基础上进行拍摄。
另外,变更部72构成为,基于实时取景图像的对比度和色彩变化的至少一者,使第1区域的积蓄条件和第2区域的积蓄条件不同。由此,能够基于对比度和色彩变化的至少一者,按每个区域自动地设定最适合的积蓄条件。
另外,具有能够选择实时取景图像的第1区域和第2区域的选择部73。由此,使用者能够选择任意区域。另外,选择部73能够自动选择与实时取景图像的被摄体对应的区域,并将所选择的区域提供给使用者。另外,由于具有图像合成部74,其将由选择部73选择的区域的至少一部分进行多次拍摄并进行合成,由此,能够降低噪声。该结构特别是在提高了增益的情况下有效地发挥作用。
另外,由于选择部73具有选择实时取景图像的一部分的第1操作部52,所以使用者能够在视觉确认实时取景图像的同时选择区域。另外,由于第1操作部52具有形成于显示部50上的触摸面板,所以使用者能够通过触摸面板的触控操作而选择区域。因此,能够通过简单的操作而容易地选择区域。
另外,由于具有选择菜单(操作按钮显示区域520中的设定521、ISO感光度522、快门523、帧频524、摄影模式525)的第2操作部54,所以使用者能够通过触摸面板的触控操作选择摄像条件等。因此,能够通过简单的操作容易地选择摄像条件等。另外,由于控制部71显示与增益相关的菜单(ISO感光度522)、与积蓄时间相关的菜单(快门523)及与帧频相关的菜单(帧频524)中的至少1个,所以能够通过触摸面板的触控操作选择增益、积蓄时间及帧频的至少1个。另外,由于控制部71将菜单显示在实时取景图像附近,所以能够在确认与摄像条件的变更对应的实时取景图像变化的同时变更摄像条件。由此,提高使用者的操作性。
此外,图5所示的第1实施方式所涉及的电子设备1例如由具有摄像功能的数码相机、智能手机、移动电话、个人电脑等设备构成。另外,在图5所示的第1实施方式所涉及的电子设备1中,显示部50也可以构成为设置在电子设备的外部。在此情况下,在系统控制部70及显示部50上分别设置有通过有线或无线收发信号(图像数据及控制信号等)的通信部。另外,图像处理部30和系统控制部70也可以一体地构成。在此情况下,通过具有1个CPU的系统控制部基于控制程序执行处理,从而承担图像处理部30的功能和系统控制部70的功能。
<第2实施方式>
在上述第1实施方式中,图像显示区域510内的区域选择构成为手动进行,但在第2实施方式中,区域的选择也可以自动(auto)进行。另外,在该第2实施方式中,与移动的被摄体的动作对应而设定区域及摄像条件(包括积蓄条件)。另外,在该第2实施方式中,还具有仅对由使用者选择的区域或自动选择的区域进行拍摄的功能。
图17是第2实施方式中的图像处理部及系统控制部的功能框图。如图17所示,图像处理部30A含有合成处理部31及检测部32。由于该合成处理部31与图7所说明的结构相同,所以省略说明。检测部32进行对移动的被摄体(例如图9等所示的瀑布)进行检测的处理。另外,系统控制部70的结构由于与图7所说明的结构相同,所以省略说明。此外,图像处理部30及系统控制部70之外的结构(透镜部10、摄像部20、工作存储器40、显示部50、记录部60)与图5所示的结构相同。
下面,说明第2实施方式所涉及的摄影动作。图18是用于说明第2实施方式所涉及的系统控制部执行的摄影动作的流程图。在图18所示的处理中,在电子设备1接通电源后,在使用者为了开始摄影而进行操作部55等的操作后,系统控制部70开始摄影动作(步骤S1)。
开始摄影后,显示控制部71将由摄像部20拍摄到的实时取景图像显示在第1显示部51(图像显示区域510)(步骤S2)。使用者设定摄影模式。在该情况下,触控摄影模式525(即触控区域525a)。并且,选择摄影模式中的手动模式(manual mode)或自动模式(automode)。
系统控制部70判断作为摄影模式525是否选择了自动模式(步骤S21)。在判定为作为摄影模式而没有选择自动模式的情况下,即,在判定为作为摄影模式选择了手动模式的情况下,选择部73进行与图8所示的步骤S3及S4相同的处理。然后,变更部72进行与图8所示的步骤S6相同的处理。
另一方面,在判定为作为摄影模式而选择了自动模式的情况下,选择部73基于在图像显示区域510中显示的实时取景图像,自动设定区域及摄像条件(步骤S22)。
图19是表示区域及摄像条件的自动设定处理(步骤S22)的一个例子的流程图。如图19所示,系统控制部70向图像处理部30发出检测移动被摄体的指示(步骤S22a)。检测部32将从实时取景图像以时间序列得到的多个图像数据进行比较,检测移动被摄体和非移动被摄体(不移动的被摄体)。并且,检测部32将检测结果与图像数据一起向系统控制部70输出。选择部73基于检测部32的检测结果,设定移动被摄体的区域和非移动被摄体的区域(步骤S22b)。
另外,变更部72基于检测部32的检测结果,设定移动被摄体的区域和非移动被摄体的区域的摄像条件(步骤S22c)。例如,对于移动被摄体的区域,提高ISO感光度并加快快门速度。另外,在拍摄动态影像的情况下,对于移动被摄体的区域,使帧频高于非移动被摄体的区域的帧频。另外,对于非移动被摄体的区域,使ISO感光度低于移动被摄体的区域的ISO感光度,并且使快门速度与移动被摄体的区域的快门速度相比更慢。另外,在拍摄动态影像的情况下,对于非移动被摄体的区域,使帧频低于移动被摄体的区域的帧频。
此外,图19所示的区域及摄像条件的自动设定处理为一个例子,也可以通过其它方法设定区域及摄像条件。例如,在检测部32没有检测到移动被摄体的情况下,选择部73也可以基于实时取景图像中的明部和暗部的对比度及色彩变化,确定区域的边界而设定区域。另外,如第1实施方式中的说明所示,变更部72也可以基于实时取景图像中的区域511内的图像的对比度和色彩变化的至少一者,变更摄像条件。也可以将这样的设定区域及摄像条件的处理和图19所示的处理组合应用。
与第1实施方式相同地,系统控制部70判定是否对快门或录像开始按钮进行了半按操作(SW1的操作)(步骤S8)。在进行了半按操作的情况下,系统控制部70判定是否对快门或录像开始按钮进行了全按操作(SW2的操作)(步骤S9)。在判定为进行了全按操作的情况下,摄像控制部74进行使摄像元件100执行拍摄的摄像处理(步骤S23)。
图20是表示第2实施方式所涉及的摄像处理的一个例子的流程图。摄像控制部74首先判定是否由使用者设定了区域摄像模式(步骤S31)。在这里,区域摄像模式是仅对由使用者选择的区域或自动设定的区域进行拍摄的模式。使用者在执行摄像处理前,对操作部55或第2触摸面板54(例如对摄影模式525的触控操作)等进行操作而设定区域摄像模式。
摄像控制部74在判定为没有设定区域摄像模式的情况下,对图像显示区域510的所有区域执行拍摄(步骤S32)。在该情况下,例如进行与图13的步骤S11~S14相同的处理。另一方面,摄像控制部74在判定为设定了区域摄像模式的情况下,仅对图像显示区域510中被选择的区域执行拍摄(步骤S33)。此时,对被选择的区域以所设定的摄像条件进行拍摄。
图21是表示仅对被选择的区域进行拍摄的情况下的显示画面的显示例的图。如图21所示,在选择了瀑布的区域513的情况下,仅对该区域513进行拍摄,对其它区域不进行拍摄。
如以上说明所示,在第2实施方式中,构成为具有检测移动被摄体的检测部32,变更部72与检测部32的检测结果对应地,使第1区域的积蓄条件和第2区域的积蓄条件不同。由此,能够设定与移动被摄体的动作相适合的摄像条件。另外,选择部73构成为与检测部32的检测结果对应地设定第1区域和第2区域。由此,能够可靠地提取移动被摄体的区域。另外,即使在第2实施方式中也能够实现与第1实施方式所说明的效果相同的效果。
另外,在该第2实施方式中,具有仅对由使用者选择的区域或自动选择的区域进行拍摄的功能。由此,能够仅对使用者想要拍摄的区域进行拍摄。根据上述结构,使用者能够取得例如利用价值较高的各种素材图像。
此外,在第2实施方式中,作为使用者能够设定的按每个区域的摄像条件,并不限于ISO感光度、快门速度及帧频。例如也可以构成为能够将上述间除率、将像素信号相加的相加行数或相加列数、数字化的位数等作为按每个区域的摄像条件进行设定。另外,也可以构成为,能够将色彩信号处理、白平衡调整、灰阶调整、压缩率等参数作为按每个区域的摄像条件进行设定。
另外,在第2实施方式中,图像处理部30A通过CPU基于控制程序执行处理而实现。
<第3实施方式>
在第3实施方式中,将上述第1实施方式中的电子设备1分离为摄像装置1A和电子设备1B而构成。
图22是表示第3实施方式所涉及的摄像装置及电子设备的结构的框图。在图22所示的结构中,摄像装置1A是对被摄体进行拍摄的装置。该摄像装置1A具有透镜部10、摄像部20、图像处理部30、工作存储器40、操作部55、记录部60及第1系统控制部70A。此外,在摄像装置1A中,透镜部10、摄像部20、图像处理部30、工作存储器40、操作部55及记录部60的结构与图5所示的结构相同。由此,对相同结构标注相同的附图标记,省略重复的说明。
另外,电子设备1B是进行图像(静止图像、动态影像、实时取景图像)显示的装置。该电子设备1B具有显示部50及第2系统控制部(控制部)70B。此外,电子设备1B中的显示部50的结构与图5所示的结构相同。由此,对相同结构标注相同附图标记,省略重复的说明。
第1系统控制部70A具有第1通信部75A。另外,第2系统控制部70B具有第2通信部75B。第1通信部75A和第2通信部75B彼此通过有线或无线收发信号。另外,第1系统控制部70A仅具有图7所示的结构中的例如相当于摄像控制部74的结构。另外,第2系统控制部70B具有图7所示的结构中的例如相当于显示控制部71、变更部72及选择部73的结构。
在上述结构中,第1系统控制部70A经由第1通信部75A将图像数据(图像处理部30进行了图像处理的图像数据,记录在记录部60中的图像数据)向第2通信部75B发送。第2系统控制部70B使第2通信部75B接收到的图像数据在显示部50中显示。另外,第2系统控制部70B使预先设定的菜单图像在第2显示部53中显示。
另外,第2系统控制部70B或与使用者进行的第2触摸面板54的触控操作对应或自动地进行变更摄像条件(包括积蓄条件)的控制。另外,第2系统控制部70B或与使用者对第1触摸面板52的触控操作对应或自动地,进行以块为单位选择图像显示区域510内的区域的控制。另外,第1系统控制部70A与使用者对快门按钮(设置在电子设备1B侧的指示开始拍摄静止图像或动态影像的操作部)的操作对应地执行摄像控制。
图7所示的结构(显示控制部71、变更部72、选择部73及摄像控制部74)可以设置在第1系统控制部70A和第2系统控制部70B的任一个中。图7所示的全部结构可以设置在第1系统控制部70A或第2系统控制部70B中,也可以是,图7所示的一部分结构设置在第1系统控制部70A中,图7所示的除了一部分结构之外的结构设置在第2系统控制部70B中。
此外,摄像装置1A例如由具有摄像功能和通信功能的数码相机、智能手机、移动电话、个人电脑等构成,电子设备1B例如由具有通信功能的智能手机、移动电话、便携型个人电脑等移动终端构成。
图22所示的图像处理部30通过CPU基于控制程序执行处理而实现。另外,图22所示的第1系统控制部70A通过CPU基于控制程序执行处理而实现。另外,图22所示的第2系统控制部70B通过CPU基于控制程序执行处理而实现。
如以上说明所示,在第3实施方式中包括:显示部50,其能够显示摄像部20拍摄到的实时取景图像,其中,该摄像部20具有摄像元件100并对第1区域和第2区域进行拍摄;以及控制部75B,其在由摄像部20拍摄到的与第1区域和第2区域对应的实时取景图像显示在显示部50中时,使显示部50显示对实时取景图像的摄像条件进行设定的菜单。根据上述结构,在第1实施方式所说明的效果的基础上,还能够使用智能手机等移动终端对摄像装置1A拍摄到的实时取景图像进行编辑,并在确认所编辑的实时取景图像的基础上进行拍摄。
此外,在图22所示的结构中,也可以使图像处理部30和第1系统控制部70A一体构成。在此情况下,具有1个CPU的系统控制部基于控制程序进行处理,从而实现图像处理部30的功能和第1系统控制部70A的功能。
<第4实施方式>
在图6、图9~图12、图14~图16及图21所示的操作按钮显示区域520中,各按钮521~525分别以预先决定的顺序配置。即,设定521配置在最上方,ISO感光度522配置在上方开始第2位(即设定521的下方),快门523配置在上方开始第3位(即ISO感光度522的下方),帧频524配置在上方开始第4位(即快门523的下方),摄影模式525配置在最下方。另一方面,在第4实施方式中,显示控制部71与区域内的被摄体对应而变更各按钮521~525的配置进行显示。另外,在第4实施方式中,显示控制部71使优先级较高的按钮以与其它按钮的显示方式不同的显示方式进行显示。
图23是表示第4实施方式中的显示画面的显示例的图。在图23所示的例子中,设定521配置在最上方,快门523配置在上方开始第2位(即设定521的下方),帧频524配置在上方开始第3位(即快门523的下方),ISO感光度522配置在上方开始第4位(即帧频524的下方),摄影模式525配置在最下方。另外,如图23所示,快门523成为区域比其它按钮(设定521、ISO感光度522、帧频524、摄影模式525)大的按钮。
另外,在第2触摸面板54中,触控区域521a形成为叠加在设定521上。另外,触控区域523a形成为叠加在快门523上。另外,触控区域524a形成为叠加在帧频524上。另外,触控区域522a形成为叠加在ISO感光度522上。另外,触控区域525a形成为叠加在摄影模式525上。此外,触控区域523a与快门523的区域尺寸对应而成为比其它按钮的区域更大的区域。
下面说明图像处理部30及系统控制部70进行的各按钮512~525的配置的变更处理。在执行图8及图18的步骤S6时,系统控制部70向图像处理部30发出检测移动被摄体的指示。检测部32将从实时取景图像以时间序列得到的多个图像数据进行比较,检测移动被摄体和非移动被摄体。并且,检测部32将检测结果与图像数据一起向系统控制部70输出。
显示控制部71基于检测部32的检测结果,判定在由选择部73选择的区域内是否包含移动被摄体。显示控制部71在判定为由选择部73选择的区域内包含移动被摄体的情况下,如图23所示,将用于设定快门速度的按钮即快门523显示在上方开始第2位置处。另外,显示控制部71使快门523与其它按钮相比更大地显示。
通过变更快门速度,移动被摄体的拍摄方式变化。例如,在移动被摄体为瀑布的情况下,通过提高(加快)快门速度,形成瀑布的水流流动瞬间静止的图像。另一方面,通过降低(变慢)快门速度,形成瀑布的水流流动如线的图像。这样,对于移动被摄体,快门速度与其它摄像条件相比对被摄体的拍摄方式影响更大。由此,显示控制部71在区域内含有移动被摄体的情况下,判断为快门速度的优先级高于其它摄像条件。并且,显示控制部71在使快门523的位置向上移动的同时,使快门523作为区域较大的按钮显示。由此,优先级较高的按钮配置在对于使用者而言容易操作的位置,提高使用者的操作性。另外,优先级较高的按钮(即摄像条件)与其它按钮(即摄像条件)相比更醒目,能够促使使用者操作优先级较高的按钮。
此外,在动态影像的情况下,帧频对移动被摄体的动作的顺畅性影响较大。由此,显示控制部71在对移动被摄体的动态影像进行拍摄的情况下,判断为帧频的优先级高于其它摄像条件。并且,显示控制部71在使帧频524的位置向上移动的同时,使帧频524作为区域较大的按钮显示。
在上述的例子中,显示控制部71基于区域内的被摄体是否为移动被摄体而变更按钮的配置及显示方式(尺寸),但并不限定于该结构。例如,在执行图8及图18的步骤S6时,系统控制部70向图像处理部30发出检测图像的明度的指示。图像处理部30基于实时取景图像检测区域内的图像的明度。并且,图像处理部30将检测结果与图像数据一起向系统控制部70输出。
显示控制部71基于由图像处理部30进行的明度的检测结果,判定由选择部73选择的区域内的图像的明度是否为规定范围内的值。显示控制部71在判定为区域内的图像的明度并非规定范围内的值的情况下,使用于设定ISO感光度的按钮即ISO感光度522显示在上方开始第2位置处。另外,显示控制部71使ISO感光度522与其它按钮相比更大地显示。
通过变更ISO感光度,使实时取景图像的较暗的部分变亮,较亮的部分变暗。在区域内的明度不为规定范围内的值的情况下,即,区域内的图像过亮或过暗的情况下,能够通过变更ISO感光度而接近最佳曝光。由此,显示控制部71在区域内的图像并非规定范围内的值的情况下,判断为ISO感光度的优先级高于其它摄像条件。并且,显示控制部71在使ISO感光度522的位置向上移动的同时,使ISO感光度522作为区域较大的按钮显示。由此,优先级较高的按钮配置在对于使用者而言容易操作的位置,提高使用者的操作性。另外,优先级较高的按钮(即摄像条件)与其它按钮(即摄像条件)相比更醒目,能够促使使用者操作优先级较高的按钮。
此外,作为使优先级较高的按钮醒目的显示方式,除了增大按钮之外,也可以是变更按钮的颜色、使按钮闪烁显示那样的显示方式等。另外,也可以在由使用者按压优先级较高的按钮之前,在该按钮旁边显示多个摄像条件的值,从而使优先级较高的按钮变得醒目。另外,也可以是仅变更按钮的配置的结构,另外,还可以是仅变更按钮的显示方式的结构。
另外,也可以与使用者操作按钮的顺序对应地变更按钮的配置,并变更按钮的显示方式。例如,使用者在按压设定521后选择区域。然后,使用者按压摄影模式525而作为摄影模式选择手动模式。然后,使用者按每个区域变更摄像条件。在上述情况下,显示控制部71将设定521配置在最上方并使设定521变大。然后,显示控制部71将摄影模式525配置在最上方并使摄影模式525变大。然后,显示控制部71与按每个区域的被摄体(图像)对应地将ISO感光度522、快门523及帧频524的某一个配置在最上方,并使位于最上方的按钮变大。这样,通过沿着使用者的操作步骤的顺序变更按钮的配置及显示方式,提高使用者的操作的便利性。
以上,使用实施方式说明了本发明,但本发明的技术范围并不限定于上述实施方式所记载的范围。能够在不脱离本发明的主旨的范围内对上述实施方式施加各种变更或改进。另外,上述实施方式中说明的一个以上的要件有时也可省略。上述变更、改进或省略的方式也包含在本发明的技术范围内。另外,也能够将上述实施方式及变形例的结构适当地组合进行应用。
例如,在上述第1实施方式及第2实施方式中,电子设备1只要具有摄像部20、包括控制部71及变更部72的系统控制部70即可,也可以不具有透镜部10和记录部60等。即,这些结构可以为与电子设备1相独立的结构。另外,在上述第3实施方式中,对于摄像装置1A,透镜部10和记录部60等也可以为相独立的结构。
另外,在上述各实施方式中,彩色滤光片102的排列为拜耳阵列,但也可以是该排列之外的排列。另外,形成单元组131的像素数量只要含有至少1个像素即可。另外,块也只要含有至少1个像素即可。由此,还能够实现以按每1个像素而不同的摄像条件执行拍摄。
另外,在上述各实施方式中,驱动部21的一部分或全部结构可以搭载在摄像芯片113中,一部分或全部结构也可以搭载在信号处理芯片111中。另外,图像处理部30的一部分结构也可以搭载在摄像芯片113或信号处理芯片111中。另外,系统控制部70的一部分结构也可以搭载在摄像芯片113或信号处理芯片111中。
另外,在上述各实施方式中,构成为作为摄像条件的ISO感光度、快门速度、帧频全部能够变更,但只要上述条件的至少1个能够变更即可。另外,在自动设定摄像条件的情况下,可以向使用者提示成为最佳曝光那样的最佳模式的摄像条件,另外也可以向使用者提示摄像条件分阶段变更的实时取景图像。
另外,在上述各实施方式中,操作按钮显示区域520设置在图像显示区域510附近,但也可以设置在不是图像显示区域510附近的位置处。另外,操作按钮显示区域520也可以配置在与图像显示区域510重叠的位置处。另外,使用者也可以操作操作部55,来代替对第2触摸面板54进行触控操作。
另外,在上述各实施方式中,构成为使用者操作第1触摸面板52而选择区域,操作第2触摸面板54而设定摄像条件等。但并不限定于这样的结构,也可以构成为使用者操作操作部55而选择区域、设定摄像条件等。
另外,在上述第1实施方式中,使用者手动设定区域,通过设定摄影模式而选择是手动设定摄像条件还是自动设定摄像条件。另外,在上述第2实施方式中,使用者通过设定摄影模式而选择是手动设定区域及摄像条件还是自动设定区域及摄像条件。但是,使用者也可以仅通过手动来设定全部区域及摄像条件。另外,也可以自动设定区域,通过设定摄影模式而选择是手动设定摄像条件还是自动设定摄像条件。
另外,在上述各实施方式中,说明了块的区域尺寸是预先设定的情况,但也可以构成为使用者设定块的区域尺寸。另外,在上述第1实施方式中,例示了在图像显示区域510内设定的块的数量较少的情况(图9~图12)、和在图像显示区域510内设定的块的数量较多的情况(图14~图16)。但是,也可以由系统控制部70(选择部73)自动设定较大区域的块和较小区域的块。例如,系统控制部70(选择部73)自动识别区域的边界。然后,系统控制部70(选择部73)在区域的边界横跨较大区域的块的情况下,在较大区域的块内设定较小区域的块。并且,系统控制部70以较小区域的块为单位,沿区域的边界设定区域。
另外,在上述各实施方式中,假定第1显示部51显示的实时取景图像的摄像条件、和与快门操作对应而进行拍摄时的摄像条件为相同的条件。这是由于能够在实时取景图像中确认实际拍摄的图像。但是,实时取景图像的摄像条件与实际拍摄的图像的摄像条件也可以不同。在此情况下,成为对使用者基于实时取景图像能够识别实际拍摄的图像的程度的摄像条件的变更。
附图标记的说明
1、1B…电子设备,1A…摄像装置,20…摄像部,30、30A…图像处理部,31…合成处理部,32…检测部,50…显示部,51…第1显示部,52…第1触摸面板(选择部、第1操作部),53…第2显示部,54…第2触摸面板(第2操作部),70…系统控制部,70A…第1系统控制部,70B…第2系统控制部(控制部),71…显示控制部(控制部),72…变更部,73…选择部,74…摄像控制部(图像合成部),100…摄像元件。
Claims (23)
1.一种摄像元件,其特征在于,包括:
第1半导体芯片,其具有多个单元组,每一个单元组配置有至少一个像素,其中包含在一个单元组中的所述像素包括:传输晶体管、复位晶体管和选择晶体管,包含在所述一个单元组中的所述像素的所述传输晶体管连接至供给控制信号的共用的控制线,包含在所述一个单元组中的所述像素的所述复位晶体管连接至供给复位脉冲的共用的复位线,包含在所述一个单元组中的所述像素的所述选择晶体管连接至供给选择脉冲的独立的选择线,其中包含在所述一个单元组中的所述像素连接至共用的输出线,包含在所述一个单元组中的所述像素的信号经由所述共用的输出线而输出;和
第2半导体芯片,其具有驱动部,所述驱动部用不同的摄像条件驱动配置于从所述多个单元组中选择的第1单元组的第1像素、和配置于所述多个单元组中的不同于所述第1单元组的第2单元组的第2像素,
所述第2像素在所述第1半导体芯片中相对于所述第1像素配置于行方向侧的位置。
2.根据权利要求1所述的摄像元件,其中,
具有与所述第1像素连接的第1控制线和与所述第2像素连接的第2控制线,所述第1控制线输出用于控制所述第1像素的第1控制信号,所述第2控制线输出用于控制所述第2像素的第2控制信号,
使用显示于显示部的图像从所述多个单元组中选择所述第1单元组,
所述驱动部将所述第1控制信号输出到所述第1控制线,将所述第2控制信号输出到所述第2控制线。
3.根据权利要求1所述的摄像元件,其中,
具有与所述第1像素连接的第1控制线和与所述第2像素连接的第2控制线,所述第1控制线输出用于控制所述第1像素的第1控制信号,所述第2控制线输出用于控制所述第2像素的第2控制信号,
使用受理操作指示的操作部从所述多个单元组中选择所述第1单元组,
所述驱动部将所述第1控制信号输出到所述第1控制线,将所述第2控制信号输出到所述第2控制线。
4.根据权利要求3所述的摄像元件,其中,
使用作为所述操作部的触摸面板从所述多个单元组中选择所述第1单元组。
5.根据权利要求1至4中任一项所述的摄像元件,其中,
所述第2半导体芯片具有第1转换部和第2转换部,所述第1转换部将从所述第1像素输出的第1信号转换为数字信号,所述第2转换部将从所述第2像素输出的第2信号转换为数字信号。
6.根据权利要求5所述的摄像元件,其中,
包括第3半导体芯片,所述第3半导体芯片具有存储部,所述存储部存储由所述第1转换部转换为数字信号的所述第1信号、和由所述第2转换部转换为数字信号的所述第2信号。
7.根据权利要求6所述的摄像元件,其中,
所述存储部具有第1存储电路和第2存储电路,所述第1存储电路存储由所述第1转换部转换为数字信号的所述第1信号,所述第2存储电路存储由所述第2转换部转换为数字信号的所述第2信号。
8.根据权利要求1至4中任一项所述的摄像元件,其中,
所述第1像素具有将光转换为电荷的第1光电转换部,
所述第2像素具有将光转换为电荷的第2光电转换部,
所述驱动部进行控制,以使得蓄积由所述第1光电转换部转换得到的电荷的作为所述摄像条件的蓄积时间和蓄积由所述第2光电转换部转换得到的电荷的作为所述摄像条件的蓄积时间成为不同的蓄积时间。
9.根据权利要求8所述的摄像元件,其中,
所述第2半导体芯片具有第1转换部和第2转换部,所述第1转换部将从所述第1像素输出的第1信号转换为数字信号,所述第2转换部将从所述第2像素输出的第2信号转换为数字信号。
10.根据权利要求9所述的摄像元件,其中,
包括第3半导体芯片,所述第3半导体芯片具有存储部,所述存储部存储由所述第1转换部转换为数字信号的所述第1信号、和由所述第2转换部转换为数字信号的所述第2信号。
11.根据权利要求10所述的摄像元件,其中,
所述存储部具有第1存储电路和第2存储电路,所述第1存储电路存储由所述第1转换部转换为数字信号的所述第1信号,所述第2存储电路存储由所述第2转换部转换为数字信号的所述第2信号。
12.根据权利要求1至4中任一项所述的摄像元件,其中,
所述第1像素具有将光转换为电荷的第1光电转换部和用于传输光电转换得到的电荷的第1传输晶体管,
所述第2像素具有将光转换为电荷的第2光电转换部和用于传输光电转换得到的电荷的第2传输晶体管,
所述驱动部进行控制,以使得传输由所述第1光电转换部转换得到的电荷的作为所述摄像条件的定时和传输由所述第2光电转换部转换得到的电荷的作为所述摄像条件的定时成为不同的定时。
13.如权利要求12所述的摄像元件,其中,
所述第2半导体芯片具有第1转换部和第2转换部,所述第1转换部将从所述第1像素输出的第1信号转换为数字信号,所述第2转换部将从所述第2像素输出的第2信号转换为数字信号。
14.根据权利要求13所述的摄像元件,其中,
包括第3半导体芯片,所述第3半导体芯片具有存储部,所述存储部存储由所述第1转换部转换为数字信号的所述第1信号、和由所述第2转换部转换为数字信号的所述第2信号。
15.根据权利要求14所述的摄像元件,其中,
所述存储部具有第1存储电路和第2存储电路,所述第1存储电路存储由所述第1转换部转换为数字信号的所述第1信号,所述第2存储电路存储由所述第2转换部转换为数字信号的所述第2信号。
16.根据权利要求1至4中任一项所述的摄像元件,其中,
具有与所述第1像素连接的第1输出线和与所述第2像素连接的第2输出线,从所述第1像素读取的第1信号输出到所述第1输出线,从所述第2像素读取的第2信号输出到所述第2输出线,
所述驱动部进行控制,以使得从所述第1像素读取所述第1信号到所述第1输出线的作为所述摄像条件的帧频和从所述第2像素读取所述第2信号到所述第2输出线的作为所述摄像条件的帧频成为不同的帧频。
17.如权利要求16所述的摄像元件,其中,
所述第2半导体芯片具有第1转换部和第2转换部,所述第1转换部将从所述第1像素输出的第1信号转换为数字信号,所述第2转换部将从所述第2像素输出的第2信号转换为数字信号。
18.根据权利要求17所述的摄像元件,其中,
包括第3半导体芯片,所述第3半导体芯片具有存储部,所述存储部存储由所述第1转换部转换为数字信号的所述第1信号、和由所述第2转换部转换为数字信号的所述第2信号。
19.根据权利要求18所述的摄像元件,其中,
所述存储部具有第1存储电路和第2存储电路,所述第1存储电路存储由所述第1转换部转换为数字信号的所述第1信号,所述第2存储电路存储由所述第2转换部转换为数字信号的所述第2信号。
20.一种电子设备,其具有权利要求1至4中任一项所述的摄像元件。
21.根据权利要求20所述的电子设备,其中,
所述第2半导体芯片具有第1转换部和第2转换部,所述第1转换部将从所述第1像素输出的第1信号转换为数字信号,所述第2转换部将从所述第2像素输出的第2信号转换为数字信号。
22.根据权利要求21所述的电子设备,其中,
包括第3半导体芯片,所述第3半导体芯片具有存储部,所述存储部存储由所述第1转换部转换为数字信号的所述第1信号、和由所述第2转换部转换为数字信号的所述第2信号。
23.根据权利要求22所述的电子设备,其中,
所述存储部具有第1存储电路和第2存储电路,所述第1存储电路存储由所述第1转换部转换为数字信号的所述第1信号,所述第2存储电路存储由所述第2转换部转换为数字信号的所述第2信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811501809.7A CN110086980B (zh) | 2013-05-31 | 2013-05-31 | 电子设备 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201380070839.6A CN104937924B (zh) | 2013-05-31 | 2013-05-31 | 电子设备及控制方法 |
CN201811501809.7A CN110086980B (zh) | 2013-05-31 | 2013-05-31 | 电子设备 |
PCT/JP2013/065264 WO2014192152A1 (ja) | 2013-05-31 | 2013-05-31 | 電子機器及び制御プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380070839.6A Division CN104937924B (zh) | 2013-05-31 | 2013-05-31 | 电子设备及控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110086980A CN110086980A (zh) | 2019-08-02 |
CN110086980B true CN110086980B (zh) | 2022-06-24 |
Family
ID=51988220
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380070839.6A Active CN104937924B (zh) | 2013-05-31 | 2013-05-31 | 电子设备及控制方法 |
CN201811501809.7A Active CN110086980B (zh) | 2013-05-31 | 2013-05-31 | 电子设备 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380070839.6A Active CN104937924B (zh) | 2013-05-31 | 2013-05-31 | 电子设备及控制方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11290652B2 (zh) |
EP (1) | EP3007434B1 (zh) |
JP (1) | JP6075393B2 (zh) |
CN (2) | CN104937924B (zh) |
WO (1) | WO2014192152A1 (zh) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6155871B2 (ja) | 2013-06-11 | 2017-07-05 | 株式会社リコー | 情報処理システム、装置、方法、及びプログラム |
CN111787246B (zh) * | 2013-11-26 | 2023-07-14 | 株式会社尼康 | 摄像元件及摄像装置 |
WO2016067386A1 (ja) * | 2014-10-29 | 2016-05-06 | オリンパス株式会社 | 固体撮像装置 |
JP6380986B2 (ja) | 2015-03-12 | 2018-08-29 | 富士フイルム株式会社 | 撮影装置および方法 |
JP6617428B2 (ja) * | 2015-03-30 | 2019-12-11 | 株式会社ニコン | 電子機器 |
JP6590539B2 (ja) * | 2015-06-09 | 2019-10-16 | キヤノン株式会社 | 撮像装置 |
CN105141853B (zh) * | 2015-08-18 | 2019-02-05 | 联想(北京)有限公司 | 图像处理方法以及电子设备 |
WO2017057279A1 (ja) | 2015-09-30 | 2017-04-06 | 株式会社ニコン | 撮像装置、画像処理装置、および表示装置 |
EP3358821B1 (en) * | 2015-09-30 | 2021-06-30 | Nikon Corporation | Imaging device and image processing device |
DE102015219771A1 (de) * | 2015-10-13 | 2017-04-13 | Continental Automotive Gmbh | Fördereinrichtung für ein Kraftfahrzeug |
WO2017212722A1 (ja) * | 2016-06-09 | 2017-12-14 | ソニー株式会社 | 制御装置及び制御方法 |
KR102619666B1 (ko) * | 2016-11-23 | 2023-12-29 | 삼성전자주식회사 | 이미지 센서 패키지 |
CN110771142B (zh) * | 2017-06-21 | 2021-11-19 | 富士胶片株式会社 | 摄像装置、摄像装置的控制方法及摄像装置的控制程序 |
US11184559B2 (en) | 2017-08-02 | 2021-11-23 | Sony Corporation | Image processing device, image processing method, and imaging device |
US20190052803A1 (en) * | 2017-08-09 | 2019-02-14 | Canon Kabushiki Kaisha | Image processing system, imaging apparatus, image processing apparatus, control method, and storage medium |
US11178406B2 (en) | 2017-09-29 | 2021-11-16 | Nikon Corporation | Video compression apparatus, electronic apparatus, and video compression program |
JP7297406B2 (ja) * | 2017-12-18 | 2023-06-26 | キヤノン株式会社 | 制御装置、撮像装置、制御方法およびプログラム |
JP7200493B2 (ja) * | 2018-03-29 | 2023-01-10 | 京セラドキュメントソリューションズ株式会社 | 監視システム |
JP2019175228A (ja) * | 2018-03-29 | 2019-10-10 | 京セラドキュメントソリューションズ株式会社 | 表示装置 |
JP7075272B2 (ja) | 2018-04-20 | 2022-05-25 | キヤノン株式会社 | 画像処理装置、情報表示装置、制御方法、及びプログラム |
JP7075271B2 (ja) * | 2018-04-20 | 2022-05-25 | キヤノン株式会社 | 画像処理装置、情報表示装置、制御方法、及びプログラム |
JP7299680B2 (ja) * | 2018-08-23 | 2023-06-28 | キヤノン株式会社 | 撮像装置及び撮像システム |
JP7442989B2 (ja) * | 2018-09-19 | 2024-03-05 | キヤノン株式会社 | 撮像装置、該撮像装置の制御方法、及びプログラム |
JP6683280B1 (ja) | 2018-10-19 | 2020-04-15 | ソニー株式会社 | センサ装置、信号処理方法 |
US10917563B2 (en) * | 2018-12-07 | 2021-02-09 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium |
JP7257783B2 (ja) * | 2018-12-07 | 2023-04-14 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP7348756B2 (ja) * | 2019-06-21 | 2023-09-21 | キヤノン株式会社 | 撮像装置、制御方法及びプログラム |
JP6973599B2 (ja) * | 2019-11-14 | 2021-12-01 | 株式会社ニコン | 電子機器 |
JP6780762B2 (ja) * | 2019-11-14 | 2020-11-04 | 株式会社ニコン | 電子機器 |
JP7566507B2 (ja) * | 2020-06-29 | 2024-10-15 | キヤノン株式会社 | 電子機器およびその制御方法およびプログラム |
JP2022151987A (ja) | 2021-03-29 | 2022-10-12 | キヤノン株式会社 | 撮像装置 |
JP2023014831A (ja) * | 2021-07-19 | 2023-01-31 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
JP2023044339A (ja) | 2021-09-17 | 2023-03-30 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、プログラムおよび記憶媒体 |
US11849209B2 (en) * | 2021-12-01 | 2023-12-19 | Comoto Holdings, Inc. | Dynamically operating a camera based on a location of the camera |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102104738A (zh) * | 2009-12-18 | 2011-06-22 | 三星电子株式会社 | 利用电子快门的多级曝光图像获取方法及拍摄装置 |
Family Cites Families (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003259211A (ja) | 2002-03-04 | 2003-09-12 | Nissan Motor Co Ltd | 画像処理装置及び画像処理方法 |
JP2004340991A (ja) * | 2003-05-13 | 2004-12-02 | Fuji Photo Film Co Ltd | カメラ |
JP4830270B2 (ja) * | 2004-06-14 | 2011-12-07 | ソニー株式会社 | 固体撮像装置および固体撮像装置の信号処理方法 |
JP4349232B2 (ja) | 2004-07-30 | 2009-10-21 | ソニー株式会社 | 半導体モジュール及びmos型固体撮像装置 |
JP4277216B2 (ja) | 2005-01-13 | 2009-06-10 | ソニー株式会社 | 撮像装置及び撮像結果の処理方法 |
US8049293B2 (en) | 2005-03-07 | 2011-11-01 | Sony Corporation | Solid-state image pickup device, electronic apparatus using such solid-state image pickup device and method of manufacturing solid-state image pickup device |
JP2007081629A (ja) * | 2005-09-13 | 2007-03-29 | Konica Minolta Photo Imaging Inc | 撮像装置 |
JP4680753B2 (ja) * | 2005-11-15 | 2011-05-11 | ルネサスエレクトロニクス株式会社 | 画像処理方法、画像処理装置及び撮像装置 |
JP2007228019A (ja) * | 2006-02-21 | 2007-09-06 | Olympus Corp | 撮像装置 |
US7653299B2 (en) * | 2006-04-28 | 2010-01-26 | Eastman Kodak Company | Imaging apparatus |
TWI311438B (en) * | 2006-08-28 | 2009-06-21 | Advanced Semiconductor Eng | Image sensor module |
JP4899803B2 (ja) * | 2006-11-06 | 2012-03-21 | ソニー株式会社 | 画像処理装置、カメラ装置、画像処理方法、およびプログラム |
JP5029195B2 (ja) * | 2007-07-31 | 2012-09-19 | 株式会社ニコン | 露出制御装置および撮像装置 |
JP2009182832A (ja) | 2008-01-31 | 2009-08-13 | Fujifilm Corp | 撮影装置およびスルー画表示方法 |
WO2009102616A2 (en) * | 2008-02-12 | 2009-08-20 | Datalogic Scanning, Inc. | Systems and methods for forming a composite image of multiple portions of an object from multiple perspectives |
JP5262247B2 (ja) | 2008-03-31 | 2013-08-14 | カシオ計算機株式会社 | 撮像装置、撮像方法及びプログラム |
US20090290052A1 (en) * | 2008-05-23 | 2009-11-26 | Panavision Imaging, Llc | Color Pixel Pattern Scheme for High Dynamic Range Optical Sensor |
JP5224942B2 (ja) * | 2008-06-30 | 2013-07-03 | キヤノン株式会社 | 固体撮像装置 |
JP5266916B2 (ja) * | 2008-07-09 | 2013-08-21 | ソニー株式会社 | 撮像素子、カメラ、撮像素子の制御方法、並びにプログラム |
JP5543098B2 (ja) * | 2008-11-14 | 2014-07-09 | キヤノン株式会社 | 撮像装置 |
JP5655291B2 (ja) | 2009-11-05 | 2015-01-21 | 株式会社ニコン | 電子カメラ |
US8625021B2 (en) * | 2010-08-30 | 2014-01-07 | Canon Kabushiki Kaisha | Image capture with region-based adjustment of imaging properties |
US8823829B2 (en) * | 2010-09-16 | 2014-09-02 | Canon Kabushiki Kaisha | Image capture with adjustment of imaging properties at transitions between regions |
JP5574423B2 (ja) * | 2010-09-24 | 2014-08-20 | カシオ計算機株式会社 | 撮像装置、表示制御方法及びプログラム |
JP5653207B2 (ja) | 2010-12-27 | 2015-01-14 | アルパイン株式会社 | 消費電力制御システム |
US8780241B2 (en) | 2011-01-25 | 2014-07-15 | Aptina Imaging Corporation | Digitally graded neutral density filter |
JP2012175234A (ja) | 2011-02-18 | 2012-09-10 | Sony Corp | 撮像装置、撮像素子、および撮像制御方法、並びにプログラム |
TWI429282B (zh) * | 2011-02-23 | 2014-03-01 | Pixart Imaging Inc | 影像感測器 |
JP2012182657A (ja) * | 2011-03-01 | 2012-09-20 | Sony Corp | 撮像装置、および撮像装置制御方法、並びにプログラム |
KR101786049B1 (ko) * | 2011-04-29 | 2017-10-16 | 삼성전자 주식회사 | 디지털 촬영 장치, 디지털 촬영 장치 제어 방법, 및 컴퓨터 판독가능 저장매체 |
JP2013005017A (ja) * | 2011-06-13 | 2013-01-07 | Sony Corp | 撮像装置、および撮像装置制御方法、並びにプログラム |
WO2013044149A1 (en) * | 2011-09-21 | 2013-03-28 | Aptina Imaging Corporation | Image sensors with multiple lenses of varying polarizations |
JP2013088579A (ja) | 2011-10-17 | 2013-05-13 | Olympus Imaging Corp | 撮像装置 |
JP5536010B2 (ja) * | 2011-11-02 | 2014-07-02 | カシオ計算機株式会社 | 電子カメラ、撮像制御プログラム及び撮像制御方法 |
JP2013143730A (ja) * | 2012-01-12 | 2013-07-22 | Sony Corp | 撮像素子、撮像装置、電子機器および撮像方法 |
CN102903090B (zh) * | 2012-01-20 | 2015-11-25 | 李文松 | 全景立体图像合成方法、装置、系统和浏览装置 |
JP6046966B2 (ja) * | 2012-04-19 | 2016-12-21 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 |
CN110572586A (zh) | 2012-05-02 | 2019-12-13 | 株式会社尼康 | 拍摄元件及电子设备 |
EP2665257B1 (en) * | 2012-05-16 | 2014-09-10 | Harvest Imaging bvba | Image sensor and method for power efficient readout of sub-picture |
JP6156787B2 (ja) * | 2012-07-25 | 2017-07-05 | パナソニックIpマネジメント株式会社 | 撮影観察装置 |
JP2014120844A (ja) * | 2012-12-14 | 2014-06-30 | Ricoh Co Ltd | 画像処理装置および撮像装置 |
US9661243B2 (en) * | 2013-03-15 | 2017-05-23 | Forza Silicon Corporation | CMOS image sensor with column-wise selective charge-domain binning |
-
2013
- 2013-05-31 CN CN201380070839.6A patent/CN104937924B/zh active Active
- 2013-05-31 WO PCT/JP2013/065264 patent/WO2014192152A1/ja active Application Filing
- 2013-05-31 US US14/760,953 patent/US11290652B2/en active Active
- 2013-05-31 CN CN201811501809.7A patent/CN110086980B/zh active Active
- 2013-05-31 JP JP2014557907A patent/JP6075393B2/ja active Active
- 2013-05-31 EP EP13885640.6A patent/EP3007434B1/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102104738A (zh) * | 2009-12-18 | 2011-06-22 | 三星电子株式会社 | 利用电子快门的多级曝光图像获取方法及拍摄装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2014192152A1 (ja) | 2014-12-04 |
JPWO2014192152A1 (ja) | 2017-02-23 |
CN110086980A (zh) | 2019-08-02 |
EP3007434A1 (en) | 2016-04-13 |
US11290652B2 (en) | 2022-03-29 |
US20160112644A1 (en) | 2016-04-21 |
JP6075393B2 (ja) | 2017-02-08 |
CN104937924A (zh) | 2015-09-23 |
CN104937924B (zh) | 2019-01-04 |
EP3007434A4 (en) | 2017-02-08 |
EP3007434B1 (en) | 2021-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110086980B (zh) | 电子设备 | |
US11206353B2 (en) | Electronic apparatus, method for controlling electronic apparatus, and control program for setting image-capture conditions of image sensor | |
JP7192843B2 (ja) | 撮像素子及び電子機器 | |
JP6780745B2 (ja) | 電子機器 | |
CN109743514B (zh) | 摄像元件以及摄像装置 | |
CN110365909B (zh) | 电子设备 | |
CN105934944B (zh) | 摄像元件及摄像装置 | |
JP2014179778A (ja) | 信号処理装置、撮像素子、撮像装置および電子機器 | |
JP7176591B2 (ja) | 電子機器 | |
JP6409883B2 (ja) | 電子機器及び制御プログラム | |
JP2018117375A (ja) | 電子機器、電子機器の制御方法、及び制御プログラム | |
JP7283488B2 (ja) | 撮像素子及び電子機器 | |
JP6822507B2 (ja) | 電子機器 | |
JP2016158294A (ja) | 電子機器、電子機器の制御方法、及び制御プログラム | |
JP2023054229A (ja) | 電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |