CN110024373B - 摄像装置、摄像方法及存储介质 - Google Patents

摄像装置、摄像方法及存储介质 Download PDF

Info

Publication number
CN110024373B
CN110024373B CN201780070271.6A CN201780070271A CN110024373B CN 110024373 B CN110024373 B CN 110024373B CN 201780070271 A CN201780070271 A CN 201780070271A CN 110024373 B CN110024373 B CN 110024373B
Authority
CN
China
Prior art keywords
image pickup
output
image
imaging
output terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780070271.6A
Other languages
English (en)
Other versions
CN110024373A (zh
Inventor
田中康一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN110024373A publication Critical patent/CN110024373A/zh
Application granted granted Critical
Publication of CN110024373B publication Critical patent/CN110024373B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明提供一种能够缩短从进行存储用摄像至存储用摄像图像数据生成为止的时间,而且能够在摄像后迅速地进行该存储用摄像图像数据确认的摄像装置、摄像方法、摄像程序。数码相机通过成像元件(5)进行拍摄,该成像元件(5)具有:传感器部(51),包括排列有多个像素行(62)的受光面(60);及存储部(52),存储从传感器部(51)输出的信号。存储在存储部(52)的摄像图像信号中的从场(F1)读取的摄像信号从第一输出端子(CH0)输出。该摄像图像信号中的从水平分割了受光面(60)的各分割区读取的摄像信号组从第二输出端子(CH1)依次输出。

Description

摄像装置、摄像方法及存储介质
技术领域
本发明涉及一种摄像装置、摄像方法及摄像程序。
背景技术
近年来,伴随CCD(Charge Coupled Device:电荷耦合元件)图像传感器、或CMOS(Complementary Metal Oxide Semiconductor:互补型金属氧化物半导体)图像传感器等成像元件的高分辨率化,电子内窥镜、数码照相机、数码摄像机、平板终端、个人计算机或以智能手机为代表的带相机的移动电话等具有摄像功能的信息设备的需求急剧增加。另外,将具有如以上摄像功能的信息设备称作摄像装置。
这些摄像装置若设定为摄像模式,则在显示部中显示即时预览图像。即时预览图像的显示的速度优先于分辨率。因此,当即时预览图像显示用摄像时,进行从成像元件的所有像素中的一部分读取信号的间隔读取。
另一方面,当存储用静态图像摄像时,在从成像元件的所有像素读取信号之后,处理所读取的信号以生成摄像图像数据(参考专利文献1、2)。
在专利文献1中记载有一种摄像装置,其搭载能够从两个输出端子输出所有像素的信号的成像元件。
专利文献1中所记载的摄像装置中,所有像素被场分割,从第一输出端子依次输出各场的信号,根据该所输出的全场的信号生成摄像图像数据。
并且,从第二输出端子输出任意场的信号,根据该任意场的信号生成即时预览图像显示用图像数据,并根据该图像数据显示即时预览图像。
在专利文献2中记载有一种摄像装置,其将通过静态图像摄像从成像元件输出的摄像图像信号临时存储于存储器,并在水平方向上分割该摄像图像信号,对每个被分割的摄像图像信号进行信号处理以生成摄像图像数据。
并且,专利文献2中所记载的摄像装置重新调整存储在存储器的摄像图像信号的大小以生成即时预览图像显示用图像数据,并根据该图像数据显示即时预览图像。
以往技术文献
专利文献
专利文献1:日本特开2012-151596号公报
专利文献2:日本特开2006-005596号公报
发明内容
发明要解决的技术课题
根据专利文献1中所记载的摄像装置,在生成摄像图像数据期间,能够进行该摄像图像数据的确认用后浏览图像的显示和通过成像元件而被拍摄的即时预览图像的显示。
然而,专利文献1中所记载的摄像装置为了生成摄像图像数据,需要等待从成像元件输出所有像素的信号,从进行摄像到完成摄像图像数据生成为止的时间变长。
同样地,专利文献2中所记载的摄像装置为了生成摄像图像数据,需要等待从成像元件输出所有像素的信号,从进行摄像到完成摄像图像数据生成为止的时间变长。
并且,专利文献2中所记载的摄像装置在生成摄像图像数据过程中,无法显示后浏览图像或即时预览图像。
本发明是鉴于上述情况而完成的,其目的在于提供一种能够缩短从进行存储用摄像到完成存储用摄像图像数据生成为止的时间,而且在摄像之后能够迅速地进行该存储用摄像图像数据确认的摄像装置、摄像方法及摄像程序。
用于解决技术课题的手段
本发明的摄像装置具备:
成像元件,其具有:传感器部,包括由在行方向上排列的多个像素构成的多个像素行在与所述行方向正交的列方向上排列的受光面;存储部,存储从所述多个像素行中所包含的所有所述像素读取的摄像信号;第一输出端子,输出存储在所述存储部的摄像信号;及第二输出端子,输出存储在所述存储部的摄像信号;
摄像控制部,其进行将多个所述像素进行曝光且从该像素读取摄像信号并将其存储于所述存储部的第一摄像控制;
输出控制部,其进行如下输出控制:
第一输出控制,在由通过所述第一摄像控制而存储在所述存储部的从所述多个所述像素读取的所述摄像信号构成的摄像图像信号中,使在将N设为2以上的自然数并将所述多个像素行在所述列方向上每N个选择1个的情况下从被选择的所述像素行所包含的所述像素读取的摄像信号从所述第一输出端子输出;及
第二输出控制,将所述摄像图像信号分为将M设为2以上的M个组,并依次选择所述M个组,以使所选择的所述组的所述摄像信号从所述第二输出端子输出,所述M个组由在所述行方向或所述列方向中的至少一个方向上分割了所述受光面的情况下,从位于各分割区的所述像素读取的摄像信号构成;
第一图像处理部,处理从所述第一输出端子输出的所述摄像信号以生成显示用摄像图像数据;以及
第二图像处理部,处理从所述第二输出端子输出的所述组的所述摄像信号以依次生成与该组对应的分割图像数据,并合成与所述M个组的各组对应的所述分割图像数据以生成存储用摄像图像数据。
本发明的摄像方法为使用成像元件拍摄被摄体的摄像方法,
所述成像元件具有:传感器部,包括由在行方向上排列的多个像素构成的多个像素行在与所述行方向正交的列方向上排列的受光面;存储部,存储从所述多个像素行中所包含的所有所述像素读取的摄像信号;第一输出端子,输出存储在所述存储部的摄像信号;及第二输出端子,输出存储在所述存储部的摄像信号,
所述摄像方法具备:
摄像控制步骤,其进行将多个所述像素进行曝光,从该像素读取摄像信号并存储于所述存储部的第一摄像控制;
输出控制步骤,其进行如下输出控制:
第一输出控制,在由通过所述第一摄像控制而存储在所述存储部的从所述多个所述像素读取的所述摄像信号构成的摄像图像信号中,使在将N设为2以上的自然数并将所述多个像素行在所述列方向上每N个选择1个的情况下从被选择的所述像素行所包含的所述像素读取的摄像信号从所述第一输出端子输出;及
第二输出控制,将所述摄像图像信号分为将M设为2以上的M个组,并依次选择所述M个组,以使所选择的所述组的所述摄像信号从所述第二输出端子输出,所述M个组由在所述行方向或所述列方向中的至少一个方向上分割了所述受光面的情况下,从位于各分割区的所述像素读取的摄像信号构成;
第一图像处理步骤,处理从所述第一输出端子输出的所述摄像信号以生成显示用摄像图像数据;以及
第二图像处理步骤,处理从所述第二输出端子输出的所述组的所述摄像信号以依次生成与该组对应的分割图像数据,并合成与所述M个组的各组对应的所述分割图像数据以生成存储用摄像图像数据。
本发明的摄像程序为使用成像元件拍摄被摄体的摄像程序,所述成像元件具有:传感器部,包括由在行方向上排列的多个像素构成的多个像素行在与所述行方向正交的列方向上排列的受光面;存储部,存储从所述多个像素行中所包含的所有所述像素读取的摄像信号;第一输出端子,输出存储在所述存储部的摄像信号;及第二输出端子,输出存储在所述存储部的摄像信号,
所述摄像程序使计算机执行如下步骤:
摄像控制步骤,其进行将多个所述像素进行曝光,从该像素读取摄像信号并存储于所述存储部的第一摄像控制;
输出控制步骤,其进行如下输出控制:
第一输出控制,在由通过所述第一摄像控制而存储在所述存储部的从所述多个所述像素读取的所述摄像信号构成的摄像图像信号中,使在将N设为2以上的自然数并将所述多个像素行在所述列方向上每N个选择1个的情况下从被选择的所述像素行所包含的所述像素读取的摄像信号从所述第一输出端子输出;及
第二输出控制,将所述摄像图像信号分为将M设为2以上的M个组,并依次选择所述M个组,以使所选择的所述组的所述摄像信号从所述第二输出端子输出,所述M个组由在所述行方向或所述列方向中的至少一个方向上分割了所述受光面的情况下,从位于各分割区的所述像素读取的摄像信号构成;
第一图像处理步骤,处理从所述第一输出端子输出的所述摄像信号以生成显示用摄像图像数据;以及
第二图像处理步骤,依次处理从所述第二输出端子输出的所述组的所述摄像信号以生成与该组对应的分割图像数据,并合成与所述M个组的各组对应的所述分割图像数据以生成存储用摄像图像数据。
发明效果
根据本发明,能够提供一种能够缩短从进行存储用摄像到完成存储用摄像图像数据生成为止的时间,而且在摄像之后能够迅速地进行该存储用摄像图像数据确认的摄像装置、摄像方法及摄像程序。
附图说明
图1是表示作为本发明的一实施方式的摄像装置的数码相机100的概略结构的图。
图2是表示搭载于图1所示的数码相机100的成像元件5的概略结构的示意图。
图3是表示图2所示的成像元件5的传感器部51的结构的俯视示意图。
图4是表示图1所示的系统控制部11的功能模块的图。
图5是表示将传感器部51的受光面60在行方向X上均等地分割为4个的结构的示意图。
图6是表示图1的数码相机100的数字信号处理部17的功能模块的图。
图7是示意性地表示图1所示的数码相机100的连拍模式时的动作的时序图。
图8是表示图1所示的数码相机100的系统控制部11的功能模块的变形例的图。
图9是表示关注区域的配置的一例的图。
图10是用于说明图1所示的数码相机100的连拍模式时的变形例的动作的流程图。
图11是示意性地表示图1所示的数码相机100的连拍模式时的变形例的动作的时序图。
图12是表示图1所示的数码相机100的变形例即数码相机100A的概略结构的图。
图13是用于说明图12所示的数码相机100A的传送模式的设定动作的流程图。
图14是示意性地表示设定为图12所示的数码相机100A的连拍模式且场传送模式的情况下的动作的时序图。
图15是用于说明图12所示的数码相机100A的动作的变形例的流程图。
图16是表示传感器部51的受光面60的分割例的示意图。
图17是表示传感器部51的受光面60的另一分割例的示意图。
图18是表示本发明的摄影装置的一实施方式即智能手机200的外观的图。
图19是表示图18所示的智能手机200的结构的框图。
具体实施方式
以下,参考附图对本发明的实施方式进行说明。
图1是表示作为本发明的一实施方式的摄像装置的数码相机100的概略结构的图。
图1所示的数码相机100具备透镜装置40,该透镜装置40具有摄像透镜 1、光圈2、透镜控制部4、透镜驱动部8及光圈驱动部9。
在本实施方式中,透镜装置40说明为能够装卸于数码相机100的主体的透镜装置,但也可以是与数码相机100的主体成为一体的透镜装置。
摄像透镜1和光圈2构成摄像光学系统,摄像光学系统包括聚焦透镜。
该聚焦透镜是用于调节摄像光学系统的焦点的透镜,由单一透镜或多个透镜构成。通过聚焦透镜在摄像光学系统的光轴方向上移动而进行调焦。
另外,作为聚焦透镜,可以使用将透镜的曲面进行可变控制以能够改变焦点位置的液体透镜。
透镜装置40的透镜控制部4构成为通过有线或无线的方式能够与数码相机100主体的系统控制部11进行通信。
透镜控制部4按照来自系统控制部11的指令并经由透镜驱动部8而驱动包括在摄像透镜1中的聚焦透镜,或者经由光圈驱动部9而驱动光圈2。
数码相机100主体具备:CMOS图像传感器等MOS型成像元件5,通过摄像光学系统拍摄被摄体;传感器驱动部10,驱动成像元件5;系统控制部11,总括控制数码相机100的电气控制系统整体;操作部14;数字信号处理部17;外部存储器控制部20,连接有装卸自如的存储介质21;有机EL(Electro Lum inescence:电致发光)显示器或LCD(Liquid CrystalDisplay:液晶显示器)等显示部23;及显示驱动器22,驱动显示部23。
系统控制部11包括各种处理器和RAM(Random Access Memory:随机存取存储器)和ROM(Read Only Memory:只读存储器)而构成,并总括控制数码相机100的整体。
系统控制部11通过处理器执行包括存储在内置的ROM中的摄像程序的程序而实现后述各功能。
数字信号处理部17包含各种处理器、RAM及ROM,通过该处理器执行包括存储在该ROM中的摄像程序的程序而进行各种处理。
作为各种处理器,执行程序而进行各种处理的通用的处理器即CPU (CentralProcessing Unit:中央处理单元)、FPGA(Field Programmable Gate Array:现场可编程门阵列)等在制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable LogicDevice:PLD)、或者ASIC (Application Specific Integrated Circuit:专用集成电路)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。
更具体而言,这些各种处理器的构造为组合了半导体元件等电路元件的电路。
系统控制部11的处理器和数字信号处理部17的处理器分别可以由各种处理器中的一个构成,也可以通过相同种类或不同种类的两个以上的处理器的组合(例如多个FPGA的组合或CPU和FPGA的组合)而构成。
数字信号处理部17、外部存储器控制部20及显示驱动器22通过控制总线 24及数据总线25而彼此连接,并根据来自系统控制部11的指令进行动作。
图2是表示搭载于图1所示的数码相机100的成像元件5的概略结构的示意图。
成像元件5具备传感器部51和存储部52。
传感器部51通过多个像素而拍摄被摄体,并输出通过该拍摄而从各像素读取的摄像信号。传感器部51通过传感器驱动部10而被驱动。
存储部52存储从传感器部51输出的摄像信号,并包括用于存储数据的电容器或触发器等大量的存储元件,和控制存储及读取该大量的存储元件的数据的省略图示的控制电路。该控制电路通过系统控制部11而被控制。
存储部52若包括可改写的存储元件,则可以是任意的存储部,能够使用半导体存储器或强电介质存储器等。
在存储部52中,例如能够使用SRAM(Static Random Access Memory:静态随机存取存储器)、DRAM(Dynamic Random Access Memory:动态随机存取存储器)、FRAM(Ferroelectric Random Access Memory:铁电随机存取存储器)(注册商标)或闪存等。
在存储部52中设置有将所存储的摄像信号输出到数据总线25的第一输出端子CH0及第二输出端子CH1。
成像元件5包括依据省略图示的SLVS(Scalable Low Voltage Signaling:可扩展低电压信号)等标准的接口。存储在存储部52的摄像信号通过该接口从第一输出端子CH0或第二输出端子CH1输出到数据总线25。
图3是表示图2所示的成像元件5的传感器部51的结构的俯视示意图。
传感器部51具备:受光面60,在与行方向X正交的列方向Y上排列有多个由在单方向即行方向X上排列的多个像素61构成的像素行62;驱动电路 63,驱动在受光面60上排列的像素61;及信号处理电路64,处理从在受光面 60上排列的像素行62的各像素61读取的摄像信号。
以下,在图3中将受光面60的列方向Y的上方向的端部称作上端,将受光面60的列方向Y的下方向的端部称作下端。
像素61包括:光电转换部,接收穿过透镜装置40的摄像光学系统的光,生成与受光量对应的电荷并进行积蓄;及读取电路,将积蓄在该光电转换部中的电荷转换成电压信号并读取到信号线。读取电路能够采用公知的结构。
读取电路例如包括:传送晶体管,用于将积蓄在光电转换部中的电荷传送到浮动扩散区;复位晶体管,用于使浮动扩散区的电位复位;输出晶体管,输出与浮动扩散区的电位对应的电压信号;及选择晶体管,将从输出晶体管输出的电压信号选择性地读取到信号线。另外,读取电路也有时在多个光电转换部中通用。
在受光面60上排列的所有像素行62中,将n设为0以上的整数,从受光面60的上端侧开始数,将位于第(4n+1)个像素行62被配置的受光面60的区域称作场F1。
在排列于受光面60的所有像素行62中,从受光面60的上端侧开始数,将第(4n+2)个像素行62被配置的受光面60的区域称作场F2。
在排列于受光面60的所有像素行62中,从受光面60的上端侧开始数,将第(4n+3)个像素行62被配置的受光面60的区域称作场F3。
在排列于受光面60的所有像素行62中,从受光面60的上端侧开始数,将第(4n+4)个像素行62被配置的受光面60的区域成为场F4。
在构成位于场F1~场F4中的任一个场(以下,设为场F1)的像素行62 的像素61中包括相位差检测用像素。
相位差检测用像素是用于检测基于一对光束的两个图像的相位差的像素,所述一对光束在透镜装置40的摄像光学系统的光瞳区域的行方向X上排列的不同的两个部分中穿过。
相位差检测用像素中具有:第一像素,包括接收上述一对光束中的一方并积蓄与受光量对应的电荷的第一光电转换部;及第二像素,包括接收上述一对光束中的另一方并积蓄与受光量对应的电荷的第二光电转换部。
场F1中配置有多个该第一像素与第二像素的配对,能够根据从该配对读取的信号计算相位差。
另外,相位差检测用像素也有时由包括第一光电转换部和第二光电转换部两者的像素构成。
驱动电路63以像素行62的单位驱动与各像素61的光电转换部连接的读取电路,以对每个像素行62进行该像素行62中所包含的各光电转换部的复位、将与积蓄在该各光电转换部中的电荷对应的电压信号读取到信号线等。
信号处理电路64对从像素行62的各像素61读取到信号线的电压信号进行相关双采样处理,并将相关双采样处理后的电压信号转换成数字信号并输出到存储部52。
从任意的像素61读取到信号线并在信号处理电路64中被处理而得到的数字信号成为从该任意的像素61读取的摄像信号。
图4是表示图1所示的系统控制部11的功能模块的图。
系统控制部11处理器执行包括上述摄像程序的程序,由此作为摄像控制部11A及输出控制部11B而发挥功能。
摄像控制部11A进行静态图像存储用摄像控制(第一摄像控制)和即时预览用摄像控制(第二摄像控制)。
静态图像存储用摄像控制和即时预览用摄像控制分别为如下控制:将形成于受光面60的所有像素61进行曝光,并读取与通过该曝光而积蓄在各像素61 的光电转换部中的电荷对应的摄像信号并存储于存储部52。
输出控制部11B进行第一输出控制、第二输出控制及第三输出控制。
第一输出控制为如下控制:在由通过静态图像存储用摄像控制而存储在存储部52的从所有像素61读取的摄像信号构成的摄像图像信号中,使在传感器部51的受光面60上在列方向Y上每N个(N为2以上的自然数)选择1个所有像素行62的情况下从被选择的像素行62所包含的像素61读取的摄像信号从第一输出端子CH0输出。
以下,设为N=4进行说明,若进行第一输出控制,则从位于场F1的像素 61读取并存储在存储部52的摄像信号从第一输出端子CH0输出。
第二输出控制为如下控制:将通过静态图像存储用摄像控制而存储在存储部52的摄像图像信号分为M个(M为2以上的自然数)的组,并依次选择该M 个组,使所选择的组的摄像信号从第二输出端子CH1输出,所述M个组由在行方向X上分割了传感器部51的受光面60的情况下的,从位于各分割区的像素 61读取的摄像信号构成。
以下,设为M=4进行说明,若进行第二输出控制,则4个组的摄像信号从第二输出端子CH1依次输出。
摄像控制部11A在进行了静态图像存储用摄像控制之后,至少进行1次即时预览用摄像控制。第三输出控制为如下控制:在完成了基于第一输出控制的摄像信号输出之后,使通过即时预览用摄像控制而存储在存储部52的摄像信号中的从位于场F1的像素61读取的摄像信号从第一输出端子CH0输出。
图5是表示将传感器部51的受光面60在行方向X上均等地分割成4个的结构的示意图。
以下,从图5中的左端开始数,由从位于第1个分割区的像素61读取的摄像信号构成的组被设为组A。
以下,从图5中的左端开始数,由从位于第2个分割区的像素61读取的摄像信号构成的组被设为组B。
以下,从图5中的左端开始数,由从位于第3个分割区的像素61读取的摄像信号构成的组设为组C。
以下,从图5中的左端开始数,由从位于第4个分割区的像素61读取的摄像信号构成的组被设为组D。
图6是表示图1的数码相机100的数字信号处理部17的功能模块的图。
数字信号处理部17处理器执行包括上述摄像程序的程序,由此作为第一图像处理部17A及第二图像处理部17B而发挥功能。
第一图像处理部17A通过第一输出控制及第三输出控制而处理从第一输出端子CH0输出的摄像信号(以下,也称作场数据)以生成显示用摄像图像数据。
第二图像处理部17B通过第二输出控制而处理从第二输出端子CH1输出的各组的摄像信号以生成与该组对应的分割图像数据,并合成与M个组的各组对应的分割图像数据以生成存储用摄像图像数据。
图7是示意性地表示图1所示的数码相机100的连拍模式时的动作的时序图。
连拍模式是指连续进行多次用于生成存储于存储介质21的摄像图像数据的静态图像摄像的摄像模式。
具体而言,在连拍模式中,按照用户的摄像指示,由系统控制部11进行多次静态图像存储用摄像控制,在该多个静态图像存储用摄像控制彼此之间,进行多次即时预览用摄像控制。
图7中横轴表示时间。在图7的第1级中示出垂直同步信号VD。
在图7的第2级中示出位于成像元件5的受光面60上的各像素行62的驱动时刻。在图7的第2级中,纵轴表示像素行62的列方向Y的位置。
直线RS表示在像素行62中所包含的各像素行62中进行像素61的光电转换部的复位的时刻。直线RO表示在各像素行62中进行从像素61的光电转换部读取摄像信号并存储于存储部52的时刻。
通过直线RS和直线RO而被夹持的期间P表示进行静态图像存储用摄像控制的期间。并且,通过直线RS和直线RO而被夹持的期间L表示进行即时预览用摄像控制的期间。
在图7的第3级中,在“成像元件输出CH0”的旁边示出来自存储部52 的第一输出端子CH0的摄像信号的输出状态。
直线Pf1表示通过期间P的静态图像存储用摄像控制而存储在存储部52 的摄像图像信号中的、从场F1读取的摄像信号(场数据)从第一输出端子CH0 输出到数据总线25的状态。
直线Lf1表示通过期间L的即时预览用摄像控制而存储在存储部52的从场F1读取的摄像信号(场数据)从第一输出端子CH0输出到数据总线25的状态。
在图7的第4级中,在“显示图像处理”的旁边示出显示部23的绘制状态。在图7的第4级中,纵轴表示显示部23的显示像素行的位置,各直线表示根据场数据在显示部23的显示像素行上进行绘制的时刻。
在图7的第5级中,在“AF运算处理”的旁边示出通过系统控制部11进行的AF(AutoFocus:自动对焦)用运算处理的时刻。
具体而言,AF用运算处理包括:根据从场数据中所包含的相位差检测用像素读取的摄像信号计算相位差的处理;及根据该相位差计算散焦量的处理。
在图7的第6级中,在“聚焦驱动”的旁边示出进行聚焦透镜的驱动的期间。
在图7的第7级中,在“成像元件输出CH1”的旁边示出来自成像元件5 的存储部52的第二输出端子CH1的摄像信号的输出状态。
直线GA表示通过期间P的静态图像存储用摄像控制而存储在存储部52的摄像图像信号中的组A的摄像信号从第二输出端子CH1输出到数据总线25的状态。
直线GB表示通过期间P的静态图像存储用摄像控制而存储在存储部52的摄像图像信号中的组B的摄像信号从第二输出端子CH1输出到数据总线25的状态。
直线GC表示通过期间P的静态图像存储用摄像控制而存储在存储部52的摄像图像信号中的组C的摄像信号从第二输出端子CH1输出到数据总线25的状态。
直线GD表示通过期间P的静态图像存储用摄像控制而存储在存储部52的摄像图像信号中的组D的摄像信号从第二输出端子CH1输出到数据总线25的状态。
在图7的第8级中,在“存储图像处理”的旁边示出在数字信号处理部17 中进行摄像图像数据的生成状况。
若发出摄像指示,则系统控制部11进行静态图像存储用摄像控制。若通过该摄像控制而开始将从像素61读取的摄像信号存储于存储部52并经过一些时间,则系统控制部11进行第一输出控制,即,使通过静态图像存储用摄像控制而存储在存储部52的从位于场F1的像素61读取的摄像信号从第一输出端子CH0依次输出到数据总线25(图7的直线Pf1)。
数字信号处理部17处理在直线Pf1中依次输出到数据总线25的摄像信号以生成显示用图像数据,并将其发送到显示驱动器22。显示驱动器22使基于接收到的显示用图像数据的后浏览图像显示于显示部23。
若根据直线Pf1完成场数据的输出,则系统控制部11根据从该场数据中所包含的相位差检测用像素读取的摄像信号计算相位差(图中的“AF运算”)。
若静态图像存储用摄像控制结束,则系统控制部11进行第二输出控制,即,在通过该静态图像存储用摄像控制而存储在存储部52的摄像图像信号中,使组A的摄像信号从第二输出端子CH1输出到数据总线25(图7的直线 GA)。
数字信号处理部17处理在直线GA中输出到数据总线25的摄像信号以生成分割图像数据ga。
若完成基于直线GA的来自第二输出端子CH1的摄像信号的输出,则系统控制部11进行第二输出控制,即,在通过静态图像存储用摄像控制而存储在存储部52的摄像图像信号中,使组B的摄像信号从第二输出端子CH1输出到数据总线25(图7的直线GB)。
数字信号处理部17处理在直线GB中输出到数据总线25的摄像信号以生成分割图像数据gb。
若完成基于直线GB的来自第二输出端子CH1的摄像信号的输出,则系统控制部11进行第二输出控制,即,在通过静态图像存储用摄像控制而存储在存储部52的摄像图像信号中,使组C的摄像信号从第二输出端子CH1输出到数据总线25(图7的直线GC)。
数字信号处理部17处理在直线GC中输出到数据总线25的摄像信号以生成分割图像数据gc。
若完成基于直线GC的来自第二输出端子CH1的摄像信号的输出,则系统控制部11进行第二输出控制,即,在通过静态图像存储用摄像控制而存储在存储部52的摄像图像信号中,使组D的摄像信号从第二输出端子CH1输出到数据总线25(图7的直线GD)。
数字信号处理部17处理在直线GD中输出到数据总线25的摄像信号以生成分割图像数据gd。
然后,数字信号处理部17合成与组A~D的各组对应的分割图像数据ga~ gd以生成存储用摄像图像数据,并经由外部存储器控制部20存储于存储介质 21。
另外,若考虑到对分割图像数据ga与分割图像数据gb、分割图像数据gb 与分割图像数据gc、分割图像数据gc与分割图像数据gd的边界附近进行信号处理的情况,则优选数字信号处理部17将比输出到数据总线25的组A~D的行方向X的宽度窄的宽度设为信号处理范围,并对组A~D进行信号处理以生成分割图像数据ga~gd。通过进行这种处理而能够提高处理效率。
系统控制部11在进行了静态图像存储用摄像控制之后,在图7的例子中,持续进行3次即时预览用摄像控制。
通过该3次各摄像控制而从传感器部51读取的摄像信号覆盖并存储到存储部52。而且,系统控制部11进行第三输出控制,即,使通过即时预览用摄像控制而存储在存储部52的从位于场F1的像素61读取的摄像信号从第一输出端子CH0输出到数据总线25(图7的直线Lf1)。
数字信号处理部17处理在直线Lf1中输出到数据总线25的摄像信号以生成显示用图像数据,并将其发送到显示驱动器22。显示驱动器22使基于接收到的显示用图像数据的即时预览图像显示于显示部23。
若完成基于直线Lf1的场数据的输出,则系统控制部11进行AF运算处理,即,根据从该场数据中所包含的相位差检测用像素读取的摄像信号计算相位差。
系统控制部11例如根据由图7的垂直同步信号VD的第二个下降时刻、图 7的垂直同步信号VD的第三个下降时刻、图7的垂直同步信号VD的第四个下降时刻算出的相位差计算散焦量,根据该散焦量驱动聚焦透镜以进行对焦控制。系统控制部11每次计算相位差时,可以根据该相位差驱动聚焦透镜以进行对焦控制。
在进行第三次即时预览用摄像控制之后,系统控制部11为了第二张静态图像摄像而进行静态图像存储用摄像控制。以上处理与连拍张数对应地反复进行。
如上所述,根据图1的数码相机100,在通过静态图像存储用摄像控制而存储在存储部52的摄像图像信号中,从位于场F1的像素读取的摄像信号从第一输出端子CH0传送到数字信号处理部17,因此能够高速进行后浏览图像的显示。
并且,从第一输出端子CH0输出的摄像信号包含从相位差检测用像素读取的摄像信号,因此能够根据该摄像信号进行对焦控制,并能够进行跟随被摄体的对焦控制。
并且,通过静态图像存储用摄像控制而存储在存储部52的摄像图像信号以组单位从第二输出端子CH1传送到数字信号处理部17。
因此,在数字信号处理部17中,无需等待摄像图像信号全部聚齐便能够开始生成图像数据。从而能够缩短从开始静态图像存储用摄像控制至完成摄像图像数据生成为止的时间。
在数码相机100中,在静态图像存储用摄像控制和接下来进行的静态图像存储用摄像控制之间进行即时预览用摄像控制,但该即时预览用摄像控制不是必须的。通过进行即时预览用摄像控制,能够详细地确认摄像中的被摄体的状态。
在省略即时预览用摄像控制的情况下,能够减少存储部52的存储容量,并能够降低数码相机100的制造成本。
并且,根据数码相机100,将设定于受光面60上的场数“N”和通过输出控制部11B而设定的组数“M”设为相同的值,由此在1垂直同步期间能够使从第一输出端子CH0输出的摄像信号的数量和从第二输出端子CH1输出的摄像信号的数量相同。
根据该结构,能够使从成像元件5向数据总线25的摄像信号的传送率是共同的,并能够简化驱动及信号处理。
图8是表示图1所示的数码相机100的系统控制部11的功能模块的变形例的图。
图8所示的系统控制部11除了追加了关注区域确定部11C及优先度设定部11D这一点以外,与图6的结构相同。
关注区域确定部11C根据通过第一输出控制从第一输出端子CH0输出的场数据,确定摄像中的被摄体的关注区域。
关注区域确定部11C例如进行从场数据使用公知的脸部检测技术检测脸部区域的处理,并将检测出的脸部区域确定为关注区域(ROI:Region of Interest:感兴趣的区域)。
优先度设定部11D对通过静态图像存储用摄像控制而存储在存储部52的摄像图像信号分为M个组的情况的各组设定优先度。
具体而言,优先度设定部11D在M个组中的包含摄像信号的组中设定优先阈值以上的优先度,在其他组中设定小于优先阈值的优先度,所述摄像信号从与关注区域确定部11C确定的关注区域对应的分割区的像素61读取。
基于场数据的图像与受光面60对应,若知道该图像中的关注区域的位置,则也知道与该关注区域对应的受光面60上的位置。
例如,在受光面60上,与关注区域对应的区域ROI位于如图9所示的位置的情况下,4个分割区中的中间两个分割区成为与关注区域对应的分割区。
图10是用于说明图1所示的数码相机100的连拍模式时的变形例的动作的流程图。图11是示意性地表示图1所示的数码相机100的连拍模式时的变形例的动作的时序图。图11中对与图7相同的结构标注相同符号并省略说明。
若设定为连拍模式并发出摄像指示,则系统控制部11进行静态图像存储用摄像控制。若通过该摄像控制而开始将从像素61读取的摄像信号存储于存储部52并经过一些时间,则系统控制部11使通过静态图像存储用摄像控制而存储在存储部52的从位于场F1的像素61读取的摄像信号从第一输出端子CH0 输出到数据总线25(图11的直线Pf1)。
若在图11的直线Pf1中完成场数据的输出,则系统控制部11根据该场数据并根据公知的脸部检测技术进行脸部检测(步骤S1)。
接着,系统控制部11根据步骤S1的脸部检测结果,将包括脸部的区域设定为被摄体的关注区域,并确定与关注区域对应的分割区(步骤S2)。
接着,系统控制部11将通过静态图像存储用摄像控制而存储在存储部52 的摄像图像信号分为4个组,在包含摄像信号的组中设定优先阈值以上的优先度,在其他组中设定小于优先阈值的优先度,所述摄像信号从位于在步骤S2 中已确定的分割区的像素61读取(步骤S3)。
在图11的例子中,组B和组C的优先度设定为优先阈值以上,组A和组D 的优先度设定为小于优先阈值。
步骤S3之后,系统控制部11按照在步骤S3中已设定的优先度而开始第二输出控制(步骤S4)。
具体而言,如图11所示,系统控制部11使通过静态图像存储用摄像控制而存储在存储部52的摄像图像信号的组B的摄像信号从第二输出端子CH1输出到数据总线25(直线GB)。数字信号处理部17根据在直线GB中所输出的摄像信号生成分割图像数据gb。
若完成基于直线GB的来自第二输出端子CH1的摄像信号的输出,则系统控制部11使通过静态图像存储用摄像控制而存储在存储部52的摄像图像信号中的组C的摄像信号从第二输出端子CH1输出到数据总线25(直线GC)。
数字信号处理部17处理在直线GC中输出到数据总线25的摄像信号以生成分割图像数据gc。
数字信号处理部17若生成分割图像数据gb和分割图像数据gc,则进行这些分割图像数据中所包含的脸部区域的分析。这里的分析结果例如使用于摄像图像数据的加工(例如使脸部变亮的校正等)或摄像图像数据的分类(根据脸部判别的人物的分类)等。
若完成基于直线GC的来自第二输出端子CH1的摄像信号的输出,则系统控制部11使通过静态图像存储用摄像控制而存储在存储部52的摄像图像信号中的组A的摄像信号从第二输出端子CH1输出到数据总线25(直线GA)。
数字信号处理部17处理在直线GA中输出到数据总线25的摄像信号以生成分割图像数据ga。
若完成基于直线GA的来自第二输出端子CH1的摄像信号的输出,则系统控制部11使通过静态图像存储用摄像控制而存储在存储部52的摄像图像信号中的组D的摄像信号从第二输出端子CH1输出到数据总线25(直线GD)。
数字信号处理部17处理在直线GD中输出到数据总线25的摄像信号以生成分割图像数据gd。
而且,数字信号处理部17合成与组A~D的各组对应的分割图像数据ga~ gd以生成存储用摄像图像数据,并经由外部存储器控制部20而存储于存储介质21。
如上所述,根据具有图8所示的系统控制部11的数码相机100,能够根据通过第一输出控制从第一输出端子CH0输出的场数据,使通过静态图像存储用摄像控制而存储在存储部52的摄像图像信号中的包含关注区域的组优先从第二输出端子CH1输出。
因此,能够在早期阶段结束关注区域的详细的分析,并能够有效地进行利用了分析结果的后期阶段的处理。
以上,关注区域确定部11C进行根据场数据检测脸部区域的处理,将脸部区域确定为关注区域,但并不限定于此。
例如,可以根据通过第一输出控制和第三输出控制从第一输出端子CH0连续输出的多个场数据,进行检测摄像中的被摄体中所包含的运动物体区域的处理,并将该运动物体区域确定为关注区域。
根据该结构,能够使包括运动物体的组从第二输出端子CH1优先输出,因此能够迅速地开始运动物体的详细的分析,并能够有效地进行利用了分析结果的后期阶段中的处理。
优先度设定部11D可以在M个组中的从位于与多个对焦区中的由用户选择的对焦区重叠的分割区的像素61读取的摄像信号的组中设定优先阈值以上的优先度,在其他组中设定小于优先阈值的优先度,所述多个对焦区是设定于受光面60上的对焦对象。
根据这种结构,能够迅速地开始对焦区内的被摄体的详细分析,并能够有效地进行利用了分析结果的后期阶段中的处理。
图12是表示图1所示的数码相机100的变形例即数码相机100A的概略结构的图。
图12所示的数码相机100A除了追加了温度传感器70和电池容量传感器 71这一点以外,与图1所示的数码相机100的结构相同。
温度传感器70检测数码相机100A内部的温度。所检测出的温度信息输入到系统控制部11。
电池容量传感器71检测搭载于数码相机100A的电池的容量。所检测出的电池信息输入到系统控制部11。
在基于从温度传感器70获取的温度信息的数码相机100A内部的温度成为温度阈值以上的情况下,或者在基于从电池容量传感器71获取的电池信息的电池残容量成为剩余量阈值以下的情况下,系统控制部11的摄像控制部11A 将从第二输出端子CH1向数据总线25传送摄像信号时的传送模式设定为场传送模式。
在数码相机100A内部的温度成为小于温度阈值的情况下,或者在电池残容量超过剩余量阈值的情况下,摄像控制部11A将从第二输出端子CH1向数据总线25传送摄像信号时的传送模式设定为组传送模式。
场传送模式是停止第二输出控制,并使通过静态图像存储用摄像控制而存储在存储部52的摄像图像信号中的除通过第一输出控制从第一输出端子CH0 输出的摄像信号以外的摄像信号从第二输出端子CH1以场单位输出的模式。
组传送模式是进行上述第二输出控制以使通过静态图像存储用摄像控制而存储在存储部52的摄像图像信号以组单位从第二输出端子CH1输出的模式。
图13是用于说明图12所示的数码相机100A的传送模式的设定动作的流程图。
系统控制部11在开始静态图像存储用摄像控制之前,根据从温度传感器 70获取的温度信息,判定数码相机100A内部的温度是否为温度阈值以上(步骤S11)。
系统控制部11在判定为温度小于温度阈值的情况下(步骤S11:否),根据从电池容量传感器71获取的电池信息,判定电池残容量是否为剩余量阈值以下(步骤S12)。
系统控制部11在判定为电池残容量超过剩余量阈值的情况下(步骤S12:否),将传送模式设定为组传送模式(步骤S13)。使用图7的时序图对组传送模式时的动作进行了说明,因此在此省略。
系统控制部11在判定为数码相机100A内部的温度为温度阈值以上的情况下(步骤S11:是),或者在判定为电池残容量为剩余量阈值以下的情况下 (步骤S12:是),将传送模式设定为场传送模式(步骤S14)。
图14是示意性地表示设定为图12所示的数码相机100A的连拍模式且场传送模式的情况的动作的时序图。
图14所示的时序图除了“成像元件输出CH1”和“存储图像处理”的状态不同这一点以外,与图7所示的时序图相同。
若进行摄像指示,则系统控制部11进行静态图像存储用摄像控制。若通过该摄像控制而开始将从像素61读取的摄像信号存储于存储部52并经过一些时间,则系统控制部11进行第一输出控制,即,使通过静态图像存储用摄像控制而存储在存储部52的从位于场F1的像素61读取的摄像信号从第一输出端子CH0输出到数据总线25(图14的直线Pf1)。
若开始输出基于直线Pf1的场数据之后经过一些时间,则系统控制部11 使通过静态图像存储用摄像控制而存储在存储部52的从位于场F2的像素61 读取的摄像信号从第二输出端子CH1输出到数据总线25(图14的直线 Pf2)。
若基于直线Pf2的摄像信号的输出结束,则系统控制部11使通过静态图像存储用摄像控制而存储在存储部52的从位于场F3的像素61读取的摄像信号从第二输出端子CH1输出到数据总线25(图14的直线Pf3)。
若基于直线Pf3的摄像信号的输出结束,则系统控制部11使通过静态图像存储用摄像控制而存储在存储部52的从位于场F4的像素61读取的摄像信号从第二输出端子CH1输出到数据总线25(图14的直线Pf4)。
而且,数字信号处理部17处理在直线Pf1、直线Pf2、直线Pf3及直线 Pf4各直线中所输出的摄像信号以生成存储用摄像图像数据,并经由外部存储器控制部20而存储在存储介质21。
如上所述,根据数码相机100A,连拍模式时,能够根据内部的温度和电池剩余量切换图7所示的动作和图14所示的动作。
在图14所示的动作中,与图7所示的动作相比,能够减少从成像元件5 输出的摄像信号数量。因此能够减少来自成像元件5的信号传送中所需要的耗电量,并能够延长发热抑制或启动时间。
另外,系统控制部11优选在场传送模式中使来自第二输出端子CH1的摄像信号的输出速度比基于第一输出控制的来自第一输出端子CH0的摄像信号的输出低。
根据该结构,来自第二输出端子CH1的摄像信号的输出速度成为低速,由此能够进一步减少摄像信号的传送中所需要的耗电量。
在数码相机100A中,系统控制部11设为根据内部的温度和电池剩余量切换组传送模式和场传送模式,但无论内部的温度和电池剩余量如何,传送模式可以固定为组传送模式,并根据内部的温度和电池剩余量来变更进行第二输出控制时的来自第二输出端子CH1的摄像信号的输出速度。
图15是用于说明图12所示的数码相机100A的动作的变形例的流程图。图15中对与图13所示的处理相同的处理标注相同符号并省略说明。
系统控制部11在判定为电池残容量超过剩余量阈值的情况下(步骤S12:否),将进行第二输出控制时的来自第二输出端子CH1的摄像信号的输出速度设定为第一值(高速)(步骤S21)。
系统控制部11在判定为数码相机100A内部的温度为温度阈值以上的情况下(步骤S11:否),或者判定为电池残容量为剩余量阈值以下的情况下(步骤S12:否),将进行第二输出控制时的来自第二输出端子CH1的摄像信号的输出速度设定为小于第一值的第二值(低速)(步骤S22)。
如上所述,根据图15所示的动作,在数码相机100A内部的温度高的情况下,或者在电池残容量少的情况下,来自第二输出端子CH1的摄像信号的输出速度成为低速,因此能够减少发热和耗电量。
另外,在图13及图15的流程图中,可以省略步骤S11和步骤S12中的任一个步骤。该情况下,能够获得减少发热和耗电量的效果。
至此,系统控制部11设为在行方向X上分割并分组存储在存储部52的摄像图像信号,但摄像图像信号的分割方法并不限定于此。
图16及图17是表示将传感器部51的受光面60分割为多个例子的示意图。
图16是将传感器部51的受光面60在列方向Y上均等地分割为4个的情况的结构。
在图16的分割例中,例如,从上端开始数,由从位于第一个分割区的像素61读取的摄像信号构成的组设为上述组A,从上端开始数,由从位于第2个分割区的像素61读取的摄像信号构成的组设为上述组B。
并且,从上端开始数,由从位于第3个分割区的像素61读取的摄像信号构成的组设为上述组C,从上端开始数,将由从位于第4个分割区的像素61读取的摄像信号构成的组设为上述组D。
图17表示将传感器部51的受光面60在行方向X上均等地分割为两个,进而,在列方向Y上均等地分割为两个的情况的结构。
在图17的分割例中,例如,由从位于左上方分割区的像素61读取的摄像信号构成的组设为上述组A,由从位于右上方分割区的像素61读取的摄像信号构成的组设为上述组B。
并且,由从位于左下方分割区的像素61读取的摄像信号构成的组设为上述组C,由从位于右下方分割区的像素61读取的摄像信号构成的组设为上述组 D。
根据图17所示的分割例和图5所示的分割例,能够减小各组的行方向X 的宽度。因此能够减少数字信号处理部17在生成图像数据中使用的行存储器容量,并能够降低数码相机的制造成本。
至此,作为摄像装置,以数码相机为例,以下,作为摄像装置,对相机的智能手机的实施方式进行说明。
图11是表示本发明的摄影装置的一实施方式即智能手机200的外观的图。
图18所示的智能手机200具有平板状框体201,在框体201的一面具备作为显示部的显示面板202和作为输入部的操作面板203成为一体的显示输入部 204。
并且,这种框体201具备扬声器205、麦克风206、操作部207及相机部 208。
另外,框体201的结构并不限定于此,例如能够采用显示部和输入部独立的结构,或者也能够采用折叠结构或具有滑动机构的结构。
图19是表示图18所示的智能手机200的结构的框图。
如图19所示,作为智能手机的主要构成要件,具备无线通信部210、显示输入部204、通话部211、操作部207、相机部208、存储部212、外部输入输出部213、GPS(GlobalPositioning System:全球智能系统)接收部214、动作传感器部215、电源部216及主控制部220。
并且,作为智能手机200的主要功能,具备进行经由省略图示的基地局装置BS和省略图示的移动通信网络NW的移动无线通信的无线通信功能。
无线通信部210按照主控制部220的指示对容纳于移动通信网络NW的基地局装置BS进行无线通信。使用该无线通信进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发,或者进行Web数据或流数据等的接收。
显示输入部204是所谓的触摸面板,其通过主控制部220的控制而显示图像(静态图像及动态图像)或字符信息等,从而以视觉的方式向用户传递信息,并且检测对所显示的信息的用户操作,并具备显示面板202和操作面板 203。
显示面板202将LCD(Liquid Crystal Display:液晶显示器)、OELD (OrganicElectro-Luminescence Display:有机发光二极管)等用作显示器件。
操作面板203是以视觉辨认的方式载置显示于显示面板202的显示面上的图像,并检测通过用户的手指或触控笔操作的一个或多个坐标的器件。若通过用户的手指或触控笔而操作该器件,则将因操作而产生的检测信号输出到主控制部220。接着,主控制部220根据接收到的检测信号检测显示面板202上的操作位置(坐标)。
如图18所示,作为本发明的摄影装置的一实施方式而例示的智能手机200 的显示面板202与操作面板203成为一体而构成显示输入部204,成为操作面板203完全覆盖显示面板202的配置。
在采用了这种配置的情况下,操作面板203可以具备对除了显示面板202 以外的区域也检测用户操作的功能。换言之,操作面板203可以具备关于重叠于显示面板202的重叠部分的检测区域(以下,称作显示区域)和关于除此以外的不重叠于显示面板202的外缘部分的检测区域(以下,称作非显示区域)。
另外,可以使显示区域的大小与显示面板202的大小完全一致,但无需一定使两者一致。并且,操作面板203可以具备外缘部分和除此以外的内侧部分两个感应区域。另外,外缘部分的宽度可以根据框体201的大小等适当地设计。
而且,作为在操作面板203中采用的位置检测方式,可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式或静电电容方式等,也能够采用任一种方式。
通话部211具备扬声器205或麦克风206,将通过麦克风206输入的用户的语音转换成通过主控制部220能够处理的语音数据并输入到主控制部220,或者将由无线通信部210或外部输入输出部213接收到的语音数据进行解密并从扬声器205输出。
并且,如图18所示,例如将扬声器205搭载于与设置有显示输入部204 的面相同的面上,能够将麦克风206搭载于框体201的侧面。
操作部207为使用了键开关等的硬件键,其接受来自用户的指示。例如如图18所示,操作部207为按钮式开关,其搭载于智能手机200的框体201的侧面,若用手指等按下则开启,若手指离开则通过弹簧等恢复力而成为关闭状态。
存储部212存储主控制部220的控制程序或控制数据、应用软件、将通信对方的名称或电话号码等建立对应关联的地址数据、收发电子邮件的数据、通过网页浏览而下载的Web数据、所下载的内容数据,并且临时存储流数据等。并且,存储部212由智能手机内置的内部存储部217和具有装卸自如的外部存储器插槽的外部存储部218构成。
另外,构成存储部212的各个内部存储部217和外部存储部218使用闪存类型(flash memory type)、硬盘类型(hard disk type)、微型多媒体卡类型(multimedia cardmicro type)、卡类型存储器(例如MicroSD(注册商标)存储器等)、RAM(Random AccessMemory:随机存取存储器)、ROM (Read Only Memory:只读存储器)等存储介质而实现。
外部输入输出部213发挥与连接于智能手机200的所有外部设备的接口的作用,用于通过通信等(例如通用串行总线(USB)、IEEE1394等)或网络 (例如因特网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification:射频识别)、红外线通信(Infrared Data Association:IrDA)(注册商标)、UWB(Ultra Wideband:超宽带)(注册商标)、紫蜂(ZigBee)(注册商标)等)而直接或间接地连接于其他外部设备。
作为连接于智能手机200上的外部设备,例如有:有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插槽而连接的存储卡 (Memory Card)或SIM(Subscriber Identity Module Card:用户识别模块卡)/UIM(User Identity ModuleCard:用户身份模块卡)卡、经由音频/视频I/O(Input/Output:输入/输出)端子而连接的外部音频/视频设备、无线连接的外部音频/视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA、有线/无线连接的个人计算机、耳机等。
外部输入输出部213能够将从这种外部设备接受到传送的数据传递至智能手机200内部的各构成要件,或者能够使智能手机200内部的数据传送到外部设备。
GPS接收部214按照主控制部220的指示而接收从GPS卫星ST1~STn发送的GPS信号,根据接收到的多个GPS信号执行测位运算处理,并检测由智能手机200的纬度、经度、高度构成的位置。
GPS接收部214在能够从无线通信部210或外部输入输出部213(例如无线LAN)获取位置信息时,也能够使用该位置信息检测位置。
运动传感器部215例如具备3轴加速度传感器等,按照主控制部220的指示而检测智能手机200的物理移动。通过检测智能手机200的物理移动而检测智能手机200的移动方向或加速度。该检测结果被输出到主控制部220。
电源部216按照主控制部220的指示,向智能手机200的各部供应蓄存在电池(未图示)中的电力。
主控制部220具备微处理器,按照存储部212存储的控制程序或控制数据进行工作,对智能手机200的各部进行总括控制。
并且,主控制部220通过无线通信部210而进行语音通信或数据通信,因此具备控制通信系统的各部的移动通信控制功能和应用处理功能。
应用处理功能通过主控制部220按照存储部212存储的应用软件进行工作而实现。
作为应用处理功能,例如有控制外部输入输出部213而与对置设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能或浏览网页的网页浏览功能等。
并且,主控制部220具备根据接收数据或所下载的流数据等图像数据(静态图像或动态图像的数据)将影像显示于显示输入部204等的图像处理功能。
图像处理功能是指如下功能:主控制部220将上述图像数据进行解密,并对该解密结果实施图像处理,从而将图像显示于显示输入部204。
而且,主控制部220执行对显示面板202的显示控制和检测通过操作部 207及操作面板203进行的用户操作的操作检测控制。通过执行显示控制,主控制部220显示用于启动应用软件的图标或滚动条等软件键,或者显示用于制作电子邮件的窗口。
另外,滚动条是指软件键,其关于无法完全收进显示面板202的显示区域中的大的图像等,用于接受移动图像的显示部分的指示。
并且,通过操作检测控制的执行,主控制部220检测通过操作部207进行的用户操作,通过操作面板203而接受对上述图标的操作或对上述窗口的输入栏的字符串的输入,或者接受通过滚动条进行的显示图像的滚动请求。
而且,通过操作检测控制的执行,主控制部220判定对操作面板203的操作位置是与显示面板202重叠的重叠部分(显示区域),还是除此以外的不与显示面板202重叠的外缘部分(非显示区域),具备对操作面板203的感应区域或软件键的显示位置进行控制的触摸面板控制功能。
并且,主控制部220也能够检测对操作面板203的手势操作,并根据检测到的手势操作执行预先设定的功能。手势操作不是以往的简单的触摸操作,而是通过手指等绘制轨迹,或者同时指定多个位置,或者组合这些从多个位置中至少对1个位置绘制轨迹的操作。
相机部208包括除了图1及图12所示的数码相机中的外部存储器控制部 20、存储介质21及操作部14以外的结构。相机部208的显示驱动器22驱动显示面板202来代替显示部23。
通过相机部208而生成的摄像图像数据能够存储在存储部212,或者通过外部输入输出部213或无线通信部210而输出。
在图18所示的智能手机200中,相机部208搭载于与显示输入部204相同的面上,但相机部208的搭载位置并不限定于此,也可以搭载于显示输入部 204的背面。
并且,相机部208能够利用于智能手机200的各种功能中。例如在显示面板202上能够显示在相机部208中获取的图像。作为操作面板203的操作输入之一,能够利用相机部208的图像。
并且,在GPS接收部214在检测位置时,也能够参考来自相机部208的图像而检测位置。进而,也能够参考来自相机部208的图像,不使用3轴加速度传感器,或者并用3轴加速度传感器而判断智能手机200的相机部208的光轴方向,或者判断当前的使用环境。当然,也能够将来自相机部208的图像利用于应用软件内。
此外,也能够在静态图像或动画的图像数据中附加由GPS接收部214获取的位置信息、由麦克风206获取的语音信息(也可以由主控制部等进行语音文本转换而成为文本信息)、由运动传感器部215获取的姿势信息等记录在存储部212,或者通过外部输入输出部213或无线通信部210而输出。
在以上说明中,成像元件5设为MOS型,但成像元件5即使是CCD型也能够获得相同的效果。
如上所述,本说明书中公开有以下内容。
(1)一种摄像装置,其具备:
成像元件,其具有:传感器部,包括由在行方向上排列的多个像素构成的多个像素行在与所述行方向正交的列方向上排列的受光面;存储部,存储从所述多个像素行中所包含的所有所述像素读取的摄像信号;第一输出端子,输出存储在所述存储部的摄像信号;及第二输出端子,输出存储在所述存储部的摄像信号;
摄像控制部,其进行将多个所述像素进行曝光且从该像素读取摄像信号并将其存储于所述存储部的第一摄像控制;
输出控制部,其进行如下输出控制:
第一输出控制,在由通过所述第一摄像控制而存储在所述存储部的从所述多个所述像素读取的所述摄像信号构成的摄像图像信号中,使在将N设为2以上的自然数并将所述多个像素行在所述列方向上每N个选择1个的情况下从被选择的所述像素行所包含的所述像素读取的摄像信号从所述第一输出端子输出;及
第二输出控制,将所述摄像图像信号分为将M设为2以上的M个组,并依次选择所述M个组,以使所选择的所述组的所述摄像信号从所述第二输出端子输出,所述M个组由在所述行方向或所述列方向中的至少一个方向上分割了所述受光面的情况下,从位于各分割区的所述像素读取的摄像信号构成;
第一图像处理部,处理从所述第一输出端子输出的所述摄像信号以生成显示用摄像图像数据;以及
第二图像处理部,处理从所述第二输出端子输出的所述组的所述摄像信号以依次生成与该组对应的分割图像数据,并合成与所述M个组的各组对应的所述分割图像数据以生成存储用摄像图像数据。
(2)根据(1)所述的摄像装置,其还具备:
优先度设定部,在所述M个组的各组中设定优先度,
所述输出控制部使所述优先度是优先阈值以上的所述组比所述优先度小于所述优先阈值的所述组提前从所述第二输出端子输出。
(3)根据(2)所述的摄像装置,其还具备:
关注区域确定部,根据从所述第一输出端子输出的所述摄像信号,确定摄像中的被摄体的关注区域,
所述优先度设定部在所述M个组中的从与所述关注区域对应的所述分割区的所述像素读取的所述组中设定所述优先阈值以上的所述优先度,在其他所述组中设定小于所述优先阈值的所述优先度。
(4)根据(3)所述的摄像装置,其中,
所述关注区域确定部进行根据从所述第一输出端子输出的所述摄像信号检测脸部区域的处理,并将所述脸部区域确定为所述关注区域。
(5)根据(3)所述的摄像装置,其中,
所述摄像控制部在所述第一摄像控制之后,至少进行1次将多个所述像素进行曝光、从该像素读取摄像信号并将其存储于所述存储部的第二摄像控制,
所述输出控制部在基于所述第一输出控制的所述摄像信号的输出完成之后,还进行使通过所述第二摄像控制而存储于所述存储部的所述摄像信号从所述第一输出端子输出的第三输出控制,
所述关注区域确定部根据从所述第一输出端子连续输出的多个所述摄像信号,进行检测所述被摄体中所包含的运动物体区域的处理,并将所述运动物体区域确定为所述关注区域。
(6)根据(2)所述的摄像装置,其中,
所述优先度设定部在所述M个组中的、从与多个对焦区中的选择出的对焦区重叠的所述分割区的所述像素读取的所述组中设定所述优先阈值以上的所述优先度,在其他所述组中设定小于所述优先阈值的所述优先度,所述多个对焦区是设定在所述受光面上的对焦对象。
(7)根据(1)~(6)中任一项所述的摄像装置,其中,
所述N和所述M为相同的值。
(8)根据(1)~(7)中任一项所述的摄像装置,其中,
所述输出控制部在所述摄像装置的内部温度成为温度阈值以上的情况下,或者在所述摄像装置的电池剩余量成为剩余量阈值以下的情况下,停止所述第二输出控制,并使在所述摄像图像信号中除了通过所述第一输出控制从所述第一输出端子输出的摄像信号以外的摄像信号从所述第二输出端子输出。
(9)根据(8)所述的摄像装置,其中,
所述输出控制部在停止了所述第二输出控制的情况下,使除了通过所述第一输出控制从所述第一输出端子输出的摄像信号以外的所述摄像信号分为多次从所述第二输出端子输出,并使来自所述第二输出端子的该摄像信号的输出速度比基于所述第一输出控制的来自所述第一输出端子的摄像信号的输出速度低。
(10)根据(1)~(7)中任一项所述的摄像装置,其中,
所述输出控制部在所述摄像装置的内部温度为温度阈值以上的情况下,或者在所述摄像装置的电池剩余量为剩余量阈值以下的情况下,使在所述第二输出控制中从所述第二输出端子输出的所述组的输出速度比所述内部温度低于所述温度阈值的情况或所述电池剩余量超过所述剩余量阈值的情况下的输出速度低。
(11)根据(1)~(10)中任一项所述的摄像装置,其中,
在被选择的所述像素行中包含相位差检测用像素。
(12)根据(1)~(11)中任一项所述的摄像装置,其中,
所述分割区是在所述行方向上分割了所述受光面的情况的分割区。
(13)根据(1)~(11)中任一项所述的摄像装置,其中,
所述分割区是在所述列方向上分割了所述受光面的情况的分割区。
(14)一种摄像方法,其为使用成像元件拍摄被摄体的摄像方法,
所述成像元件具有:传感器部,包括由在行方向上排列的多个像素构成的多个像素行在与所述行方向正交的列方向上排列的受光面;存储部,存储从所述多个像素行中所包含的所有所述像素读取的摄像信号;第一输出端子,输出存储在所述存储部的摄像信号;及第二输出端子,输出存储在所述存储部的摄像信号,
所述摄像方法具备:
摄像控制步骤,其进行将多个所述像素进行曝光,从该像素读取摄像信号并存储于所述存储部的第一摄像控制;
输出控制步骤,其进行如下输出控制:
第一输出控制,在由通过所述第一摄像控制而存储在所述存储部的从所述多个所述像素读取的所述摄像信号构成的摄像图像信号中,使在将N设为2以上的自然数并将所述多个像素行在所述列方向上每N个选择1个的情况下从被选择的所述像素行所包含的所述像素读取的摄像信号从所述第一输出端子输出;及
第二输出控制,将所述摄像图像信号分为将M设为2以上的M个组,并依次选择所述M个组,以使所选择的所述组的所述摄像信号从所述第二输出端子输出,所述M个组由在所述行方向或所述列方向中的至少一个方向上分割了所述受光面的情况下,从位于各分割区的所述像素读取的摄像信号构成;
第一图像处理步骤,处理从所述第一输出端子输出的所述摄像信号以生成显示用摄像图像数据;以及
第二图像处理步骤,处理从所述第二输出端子输出的所述组的所述摄像信号以依次生成与该组对应的分割图像数据,并合成与所述M个组的各组对应的所述分割图像数据以生成存储用摄像图像数据。
(15)根据(14)所述的摄像方法,其还具备:
优先度设定步骤,在所述M个组的各组中设定优先度,
所述输出控制步骤使所述优先度是优先阈值以上的所述组比所述优先度小于所述优先阈值的所述组提前从所述第二输出端子输出。
(16)根据(15)所述的摄像方法,其还具备:
关注区域确定步骤,根据从所述第一输出端子输出的所述摄像信号,确定摄像中的被摄体的关注区域,
所述优先度设定步骤在所述M个组中的、从与所述关注区域对应的所述分割区的所述像素读取的所述组中设定所述优先阈值以上的所述优先度,在其他所述组中设定小于所述优先阈值的所述优先度。
(17)根据(16)所述的摄像方法,其中,
所述关注区域确定步骤进行根据从所述第一输出端子输出的所述摄像信号检测脸部区域的处理,并将所述脸部区域确定为所述关注区域。
(18)根据(16)所述的摄像方法,其中,
所述摄像控制步骤在所述第一摄像控制之后至少进行1次将多个所述像素进行曝光、从该像素读取摄像信号并将其存储于所述存储部的第二摄像控制,
所述输出控制步骤在基于所述第一输出控制的所述摄像信号的输出完成之后,还进行使通过所述第二摄像控制而存储于所述存储部的所述摄像信号从所述第一输出端子输出的第三输出控制,
所述关注区域确定步骤根据从所述第一输出端子连续输出的多个所述摄像信号,进行检测所述被摄体中所包含的运动物体区域的处理,并将所述运动物体区域确定为所述关注区域。
(19)根据(15)所述的摄像方法,其中,
所述优先度设定步骤在所述M个组中的、从与多个对焦区中的选择出的对焦区重叠的所述分割区的所述像素读取的所述组中设定所述优先阈值以上的所述优先度,在其他所述组中设定小于所述优先阈值的所述优先度,所述多个对焦区是设定在所述受光面上的对焦对象。
(20)根据(14)~(19)中任一项所述的摄像方法,其中,
所述N和所述M为相同的值。
(21)根据(14)~(20)中任一项所述的摄像方法,其中,
所述输出控制步骤在搭载所述成像元件的摄像装置的内部温度成为温度阈值以上的情况下,或者在所述摄像装置的电池剩余量成为剩余量阈值以下的情况下,停止所述第二输出控制,并使在所述摄像图像信号中除了通过所述第一输出控制从所述第一输出端子输出的摄像信号以外的摄像信号从所述第二输出端子输出。
(22)根据(21)所述的摄像方法,其中,
所述输出控制步骤在停止了所述第二输出控制的情况下,使除了通过所述第一输出控制从所述第一输出端子输出的摄像信号以外的所述摄像信号分为多次从所述第二输出端子输出,并使来自所述第二输出端子的该摄像信号的输出速度比基于所述第一输出控制的来自所述第一输出端子的摄像信号的输出速度低。
(23)根据(14)~(20)中任一项所述的摄像方法,其中,
所述输出控制步骤在搭载所述成像元件的摄像装置的内部温度为温度阈值以上的情况下,或者在所述摄像装置的电池剩余量为剩余量阈值以下的情况下,使在所述第二输出控制中从所述第二输出端子输出的所述组的输出速度比所述内部温度为小于所述温度阈值的情况或所述电池剩余量超过所述剩余量阈值的情况低。
(24)根据(14)~(23)中任一项所述的摄像方法,其中,
被选择的所述像素行中包含相位差检测用像素。
(25)根据(14)~(24)中任一项所述的摄像方法,其中,
所述分割区为在所述行方向上分割了所述受光面的情况的分割区。
(26)根据(14)~(24)中任一项所述的摄像方法,其中,
所述分割区是在所述列方向上分割了所述受光面的情况的分割区。
(27)一种摄像程序,其为使用成像元件拍摄被摄体的摄像程序,所述成像元件具有:传感器部,包括由在行方向上排列的多个像素构成的多个像素行在与所述行方向正交的列方向上排列的受光面;存储部,存储从所述多个像素行中所包含的所有所述像素读取的摄像信号;第一输出端子,输出存储在所述存储部的摄像信号;及第二输出端子,输出存储在所述存储部的摄像信号,
所述摄像程序使计算机执行如下步骤:
摄像控制步骤,其进行将多个所述像素进行曝光,从该像素读取摄像信号并存储于所述存储部的第一摄像控制;
输出控制步骤,其进行如下输出控制:
第一输出控制,在由通过所述第一摄像控制而存储在所述存储部的从所述多个所述像素读取的所述摄像信号构成的摄像图像信号中,使在将N设为2以上的自然数并将所述多个像素行在所述列方向上每N个选择1个的情况下从被选择的所述像素行所包含的所述像素读取的摄像信号从所述第一输出端子输出;及
第二输出控制,将所述摄像图像信号分为将M设为2以上的M个组,并依次选择所述M个组,以使所选择的所述组的所述摄像信号从所述第二输出端子输出,所述M个组由在所述行方向或所述列方向中的至少一个方向上分割了所述受光面的情况下,从位于各分割区的所述像素读取的摄像信号构成;
第一图像处理步骤,处理从所述第一输出端子输出的所述摄像信号以生成显示用摄像图像数据;以及
第二图像处理步骤,依次处理从所述第二输出端子输出的所述组的所述摄像信号以生成与该组对应的分割图像数据,并合成与所述M个组的各组对应的所述分割图像数据以生成存储用摄像图像数据。
产业上的可利用性
根据本发明,能够缩短从进行存储用摄像至完成存储用摄像图像数据生成为止的时间,而且,在摄像之后能够迅速地进行该存储用摄像图像数据的确认。
以上,通过特定的实施方式对本发明进行了说明,但本发明并不限定于该实施方式,在不脱离所公开的发明的技术思想的范围内能够进行各种变形。本申请主张基于2016年11月14日申请的日本专利申请(特愿2016-221762),在此引用其内容。
符号说明
100、100A-数码相机,1-摄像透镜,2-光圈,4-透镜控制部,5-成像元件,8-透镜驱动部,9-光圈驱动部,10-传感器驱动部,11-系统控制部,11A- 摄像控制部,11B-输出控制部,11C-关注区域确定部,11D-优先度设定部, 14-操作部,17-数字信号处理部,17A-第一图像处理部,17B-第二图像处理部,20-外部存储器控制部,21-存储介质,22-显示驱动器,23-显示部,24- 控制总线,25-数据总线,40-透镜装置,51-传感器部,52-存储部,60-受光面,61-像素,62-像素行,63-驱动电路,64-信号处理电路,70-温度传感器,71-电池容量传感器,X-行方向,Y-列方向,F1~F4-场,P-进行静态图像存储用摄像控制的期间,L-进行即时预览用摄像控制的期间,RS-表示复位时刻的直线,RO-表示摄像信号的读取时刻的直线,Pf1~Pf4、Lf1-表示来自第一输出端子CH0的信号输出时刻的直线,GA、GB、GC、GD-表示来自第二输出端子CH1的信号输出时刻的直线,R-表示读取时刻的直线,200-智能手机, 201-框体,202-显示面板,203-操作面板,204-显示输入部,205-扬声器, 206-麦克风,207-操作部,208-相机部,210-无线通信部,211-通话部,212- 存储部,213-外部输入输出部,214-GPS接收部,215-动作传感器部,216-电源部,217-内部存储部,218-外部存储部,220-主控制部,ST1~STn-GPS卫星。

Claims (27)

1.一种摄像装置,其具备:
成像元件,其具有:传感器部,包括由在行方向上排列的多个像素构成的多个像素行在与所述行方向正交的列方向上排列的受光面;存储部,存储从所述多个像素行中所包含的所有所述像素读取的摄像信号;第一输出端子,输出存储在所述存储部的摄像信号;及第二输出端子,输出存储在所述存储部的摄像信号;
摄像控制部,其进行将多个所述像素进行曝光且从该像素读取摄像信号并将其存储于所述存储部的第一摄像控制;
输出控制部,其进行如下输出控制:
第一输出控制,在由通过所述第一摄像控制而存储在所述存储部的从所述多个所述像素读取的所述摄像信号构成的摄像图像信号中,使在将N设为2以上的自然数并将所述多个像素行在所述列方向上每N个选择1个的情况下从被选择的所述像素行所包含的所述像素读取的摄像信号从所述第一输出端子输出;及
第二输出控制,将所述摄像图像信号分为将M设为2以上的M个组,并依次选择所述M个组,以使所选择的所述组的所述摄像信号从所述第二输出端子输出,所述M个组由在所述行方向或所述列方向中的至少一个方向上分割了所述受光面的情况下,从位于各分割区的所述像素读取的摄像信号构成;
第一图像处理部,处理从所述第一输出端子输出的所述摄像信号以生成显示用摄像图像数据;以及
第二图像处理部,处理从所述第二输出端子输出的所述组的所述摄像信号以依次生成与该组对应的分割图像数据,并合成与所述M个组的各组对应的所述分割图像数据以生成存储用摄像图像数据。
2.根据权利要求1所述的摄像装置,其还具备:
优先度设定部,在所述M个组的各组中设定优先度,
所述输出控制部使所述优先度是优先阈值以上的所述组比所述优先度小于所述优先阈值的所述组提前从所述第二输出端子输出。
3.根据权利要求2所述的摄像装置,其还具备:
关注区域确定部,根据从所述第一输出端子输出的所述摄像信号,确定摄像中的被摄体的关注区域,
所述优先度设定部在所述M个组中的从与所述关注区域对应的所述分割区的所述像素读取的所述组中设定所述优先阈值以上的所述优先度,在其他所述组中设定小于所述优先阈值的所述优先度。
4.根据权利要求3所述的摄像装置,其中,
所述关注区域确定部进行根据从所述第一输出端子输出的所述摄像信号检测脸部区域的处理,并将所述脸部区域确定为所述关注区域。
5.根据权利要求3所述的摄像装置,其中,
所述摄像控制部在所述第一摄像控制之后,至少进行1次将多个所述像素进行曝光、从该像素读取摄像信号并将其存储于所述存储部的第二摄像控制,
所述输出控制部在基于所述第一输出控制的所述摄像信号的输出完成之后,还进行使通过所述第二摄像控制而存储于所述存储部的所述摄像信号从所述第一输出端子输出的第三输出控制,
所述关注区域确定部根据从所述第一输出端子连续输出的多个所述摄像信号,进行检测所述被摄体中所包含的运动物体区域的处理,并将所述运动物体区域确定为所述关注区域。
6.根据权利要求2所述的摄像装置,其中,
所述优先度设定部在所述M个组中的、从与多个对焦区中的选择出的对焦区重叠的所述分割区的所述像素读取的所述组中设定所述优先阈值以上的所述优先度,在其他所述组中设定小于所述优先阈值的所述优先度,所述多个对焦区是设定在所述受光面上的对焦对象。
7.根据权利要求1至6中任一项所述的摄像装置,其中,
所述N和所述M为相同的值。
8.根据权利要求1至6中任一项所述的摄像装置,其中,
所述输出控制部在所述摄像装置的内部温度成为温度阈值以上的情况下,或者在所述摄像装置的电池剩余量成为剩余量阈值以下的情况下,停止所述第二输出控制,并使在所述摄像图像信号中除了通过所述第一输出控制从所述第一输出端子输出的摄像信号以外的摄像信号从所述第二输出端子输出。
9.根据权利要求8所述的摄像装置,其中,
所述输出控制部在停止了所述第二输出控制的情况下,使除了通过所述第一输出控制从所述第一输出端子输出的摄像信号以外的所述摄像信号分为多次从所述第二输出端子输出,并使来自所述第二输出端子的该摄像信号的输出速度比基于所述第一输出控制的来自所述第一输出端子的摄像信号的输出速度低。
10.根据权利要求1至6中任一项所述的摄像装置,其中,
所述输出控制部在所述摄像装置的内部温度为温度阈值以上的情况下,或者在所述摄像装置的电池剩余量为剩余量阈值以下的情况下,使在所述第二输出控制中从所述第二输出端子输出的所述组的输出速度比所述内部温度低于所述温度阈值的情况或所述电池剩余量超过所述剩余量阈值的情况下的输出速度低。
11.根据权利要求1至6中任一项所述的摄像装置,其中,
在被选择的所述像素行中包含相位差检测用像素。
12.根据权利要求1至6中任一项所述的摄像装置,其中,
所述分割区是在所述行方向上分割了所述受光面的情况的分割区。
13.根据权利要求1至6中任一项所述的摄像装置,其中,
所述分割区是在所述列方向上分割了所述受光面的情况的分割区。
14.一种摄像方法,其为使用成像元件拍摄被摄体的摄像方法,
所述成像元件具有:传感器部,包括由在行方向上排列的多个像素构成的多个像素行在与所述行方向正交的列方向上排列的受光面;存储部,存储从所述多个像素行中所包含的所有所述像素读取的摄像信号;第一输出端子,输出存储在所述存储部的摄像信号;及第二输出端子,输出存储在所述存储部的摄像信号,
所述摄像方法具备:
摄像控制步骤,其进行将多个所述像素进行曝光,从该像素读取摄像信号并存储于所述存储部的第一摄像控制;
输出控制步骤,其进行如下输出控制:
第一输出控制,在由通过所述第一摄像控制而存储在所述存储部的从所述多个所述像素读取的所述摄像信号构成的摄像图像信号中,使在将N设为2以上的自然数并将所述多个像素行在所述列方向上每N个选择1个的情况下从被选择的所述像素行所包含的所述像素读取的摄像信号从所述第一输出端子输出;及
第二输出控制,将所述摄像图像信号分为将M设为2以上的M个组,并依次选择所述M个组,以使所选择的所述组的所述摄像信号从所述第二输出端子输出,所述M个组由在所述行方向或所述列方向中的至少一个方向上分割了所述受光面的情况下,从位于各分割区的所述像素读取的摄像信号构成;
第一图像处理步骤,处理从所述第一输出端子输出的所述摄像信号以生成显示用摄像图像数据;以及
第二图像处理步骤,处理从所述第二输出端子输出的所述组的所述摄像信号以依次生成与该组对应的分割图像数据,并合成与所述M个组的各组对应的所述分割图像数据以生成存储用摄像图像数据。
15.根据权利要求14所述的摄像方法,其还具备:
优先度设定步骤,在所述M个组的各组中设定优先度,
所述输出控制步骤使所述优先度是优先阈值以上的所述组比所述优先度小于所述优先阈值的所述组提前从所述第二输出端子输出。
16.根据权利要求15所述的摄像方法,其还具备:
关注区域确定步骤,根据从所述第一输出端子输出的所述摄像信号,确定摄像中的被摄体的关注区域,
所述优先度设定步骤在所述M个组中的、从与所述关注区域对应的所述分割区的所述像素读取的所述组中设定所述优先阈值以上的所述优先度,在其他所述组中设定小于所述优先阈值的所述优先度。
17.根据权利要求16所述的摄像方法,其中,
所述关注区域确定步骤进行根据从所述第一输出端子输出的所述摄像信号检测脸部区域的处理,并将所述脸部区域确定为所述关注区域。
18.根据权利要求16所述的摄像方法,其中,
所述摄像控制步骤在所述第一摄像控制之后至少进行1次将多个所述像素进行曝光、从该像素读取摄像信号并将其存储于所述存储部的第二摄像控制,
所述输出控制步骤在基于所述第一输出控制的所述摄像信号的输出完成之后,还进行使通过所述第二摄像控制而存储于所述存储部的所述摄像信号从所述第一输出端子输出的第三输出控制,
所述关注区域确定步骤根据从所述第一输出端子连续输出的多个所述摄像信号,进行检测所述被摄体中所包含的运动物体区域的处理,并将所述运动物体区域确定为所述关注区域。
19.根据权利要求15所述的摄像方法,其中,
所述优先度设定步骤在所述M个组中的、从与多个对焦区中的选择出的对焦区重叠的所述分割区的所述像素读取的所述组中设定所述优先阈值以上的所述优先度,在其他所述组中设定小于所述优先阈值的所述优先度,所述多个对焦区是设定在所述受光面上的对焦对象。
20.根据权利要求14至19中任一项所述的摄像方法,其中,
所述N和所述M为相同的值。
21.根据权利要求14至19中任一项所述的摄像方法,其中,
所述输出控制步骤在搭载所述成像元件的摄像装置的内部温度成为温度阈值以上的情况下,或者在所述摄像装置的电池剩余量成为剩余量阈值以下的情况下,停止所述第二输出控制,并使在所述摄像图像信号中除了通过所述第一输出控制从所述第一输出端子输出的摄像信号以外的摄像信号从所述第二输出端子输出。
22.根据权利要求21所述的摄像方法,其中,
所述输出控制步骤在停止了所述第二输出控制的情况下,使除了通过所述第一输出控制从所述第一输出端子输出的摄像信号以外的所述摄像信号分为多次从所述第二输出端子输出,并使来自所述第二输出端子的该摄像信号的输出速度比基于所述第一输出控制的来自所述第一输出端子的摄像信号的输出速度低。
23.根据权利要求14至19中任一项所述的摄像方法,其中,
所述输出控制步骤在搭载所述成像元件的摄像装置的内部温度为温度阈值以上的情况下,或者在所述摄像装置的电池剩余量为剩余量阈值以下的情况下,使在所述第二输出控制中从所述第二输出端子输出的所述组的输出速度比所述内部温度为小于所述温度阈值的情况或所述电池剩余量超过所述剩余量阈值的情况低。
24.根据权利要求14至19中任一项所述的摄像方法,其中,
被选择的所述像素行中包含相位差检测用像素。
25.根据权利要求14至19中任一项所述的摄像方法,其中,
所述分割区为在所述行方向上分割了所述受光面的情况的分割区。
26.根据权利要求14至19中任一项所述的摄像方法,其中,
所述分割区是在所述列方向上分割了所述受光面的情况的分割区。
27.一种存储介质,存储有摄像程序,其为使用成像元件拍摄被摄体的摄像程序,所述成像元件具有:传感器部,包括由在行方向上排列的多个像素构成的多个像素行在与所述行方向正交的列方向上排列的受光面;存储部,存储从所述多个像素行中所包含的所有所述像素读取的摄像信号;第一输出端子,输出存储在所述存储部的摄像信号;及第二输出端子,输出存储在所述存储部的摄像信号,
所述摄像程序使计算机执行如下步骤:
摄像控制步骤,其进行将多个所述像素进行曝光,从该像素读取摄像信号并存储于所述存储部的第一摄像控制;
输出控制步骤,其进行如下输出控制:
第一输出控制,在由通过所述第一摄像控制而存储在所述存储部的从所述多个所述像素读取的所述摄像信号构成的摄像图像信号中,使在将N设为2以上的自然数并将所述多个像素行在所述列方向上每N个选择1个的情况下从被选择的所述像素行所包含的所述像素读取的摄像信号从所述第一输出端子输出;及
第二输出控制,将所述摄像图像信号分为将M设为2以上的M个组,并依次选择所述M个组,以使所选择的所述组的所述摄像信号从所述第二输出端子输出,所述M个组由在所述行方向或所述列方向中的至少一个方向上分割了所述受光面的情况下,从位于各分割区的所述像素读取的摄像信号构成;
第一图像处理步骤,处理从所述第一输出端子输出的所述摄像信号以生成显示用摄像图像数据;以及
第二图像处理步骤,依次处理从所述第二输出端子输出的所述组的所述摄像信号以生成与该组对应的分割图像数据,并合成与所述M个组的各组对应的所述分割图像数据以生成存储用摄像图像数据。
CN201780070271.6A 2016-11-14 2017-10-13 摄像装置、摄像方法及存储介质 Active CN110024373B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-221762 2016-11-14
JP2016221762 2016-11-14
PCT/JP2017/037247 WO2018088121A1 (ja) 2016-11-14 2017-10-13 撮像装置、撮像方法、及び、撮像プログラム

Publications (2)

Publication Number Publication Date
CN110024373A CN110024373A (zh) 2019-07-16
CN110024373B true CN110024373B (zh) 2021-05-28

Family

ID=62109232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780070271.6A Active CN110024373B (zh) 2016-11-14 2017-10-13 摄像装置、摄像方法及存储介质

Country Status (4)

Country Link
US (1) US10742876B2 (zh)
JP (1) JP6569015B2 (zh)
CN (1) CN110024373B (zh)
WO (1) WO2018088121A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11765450B2 (en) * 2020-11-24 2023-09-19 Motorola Mobility Llc System and method to manage multi-mode camera previews on an image-originating device
US12035036B2 (en) 2020-11-24 2024-07-09 Motorola Mobility Llc System and method to manage multi-mode camera previews on an image-receiving device

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010206769A (ja) * 2009-02-03 2010-09-16 Olympus Imaging Corp 撮像装置
JP2012023663A (ja) * 2010-07-16 2012-02-02 Olympus Corp 読出し制御装置、読出し制御方法、プログラム、固体撮像装置、および撮像装置
CN102547054A (zh) * 2010-12-13 2012-07-04 富士施乐株式会社 图像处理装置和图像处理方法
CN103501405A (zh) * 2009-03-17 2014-01-08 佳能株式会社 摄像设备
JP2014178603A (ja) * 2013-03-15 2014-09-25 Nikon Corp 撮像装置
JP2014207503A (ja) * 2013-04-10 2014-10-30 キヤノン株式会社 撮像装置及びその制御方法
JP2015076713A (ja) * 2013-10-08 2015-04-20 キヤノン株式会社 撮像装置
CN104956663A (zh) * 2013-02-21 2015-09-30 索尼公司 固态成像元件和成像装置
CN105359506A (zh) * 2013-05-02 2016-02-24 韩国睿恩斯有限公司 图像传感器及驱动其的方法
JP2016136660A (ja) * 2015-01-23 2016-07-28 株式会社ソシオネクスト 集積回路および集積回路による画像処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006005596A (ja) 2004-06-17 2006-01-05 Renesas Technology Corp 半導体集積回路装置及び撮像装置
JP4478599B2 (ja) * 2005-03-22 2010-06-09 キヤノン株式会社 撮像装置
US7969490B2 (en) * 2006-08-25 2011-06-28 Micron Technology, Inc. Method, apparatus, and system providing an imager with pixels having extended dynamic range
JP2008187615A (ja) * 2007-01-31 2008-08-14 Canon Inc 撮像素子、撮像装置、制御方法、及びプログラム
JP2009177472A (ja) * 2008-01-24 2009-08-06 Panasonic Corp 画像処理方法、画像処理装置及び撮像装置
JP5718069B2 (ja) * 2011-01-18 2015-05-13 オリンパス株式会社 固体撮像装置および撮像装置
CN106331540B (zh) * 2016-09-13 2019-09-13 首都师范大学 一种多模式cmos图像传感器及其控制方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010206769A (ja) * 2009-02-03 2010-09-16 Olympus Imaging Corp 撮像装置
CN103501405A (zh) * 2009-03-17 2014-01-08 佳能株式会社 摄像设备
JP2012023663A (ja) * 2010-07-16 2012-02-02 Olympus Corp 読出し制御装置、読出し制御方法、プログラム、固体撮像装置、および撮像装置
CN102547054A (zh) * 2010-12-13 2012-07-04 富士施乐株式会社 图像处理装置和图像处理方法
CN104956663A (zh) * 2013-02-21 2015-09-30 索尼公司 固态成像元件和成像装置
JP2014178603A (ja) * 2013-03-15 2014-09-25 Nikon Corp 撮像装置
JP2014207503A (ja) * 2013-04-10 2014-10-30 キヤノン株式会社 撮像装置及びその制御方法
CN105359506A (zh) * 2013-05-02 2016-02-24 韩国睿恩斯有限公司 图像传感器及驱动其的方法
JP2015076713A (ja) * 2013-10-08 2015-04-20 キヤノン株式会社 撮像装置
JP2016136660A (ja) * 2015-01-23 2016-07-28 株式会社ソシオネクスト 集積回路および集積回路による画像処理方法

Also Published As

Publication number Publication date
JP6569015B2 (ja) 2019-08-28
WO2018088121A1 (ja) 2018-05-17
CN110024373A (zh) 2019-07-16
US20190273861A1 (en) 2019-09-05
US10742876B2 (en) 2020-08-11
JPWO2018088121A1 (ja) 2019-08-08

Similar Documents

Publication Publication Date Title
US9380204B2 (en) Imaging device and focus control method
CN110463185B (zh) 摄像装置、摄像方法及存储介质
US9432569B2 (en) Imaging device and focus control method
JPWO2018088120A1 (ja) 撮像装置、撮像方法、及び、撮像プログラム
CN111095911B (zh) 摄像控制装置、摄像装置、摄像控制方法及记录介质
US10848692B2 (en) Global shutter and rolling shutter drive start timings for imaging apparatus, imaging method, and imaging program
CN110024373B (zh) 摄像装置、摄像方法及存储介质
CN110419210B (zh) 摄像装置、摄像方法及记录介质
US10939056B2 (en) Imaging apparatus, imaging method, imaging program
US10750105B2 (en) Imaging apparatus, operation method of imaging apparatus, and operation program of imaging apparatus
CN111108743B (zh) 摄像控制装置、摄像装置、摄像控制方法及记录介质
CN110463186B (zh) 摄像装置、摄像方法及存储介质
US10778880B2 (en) Imaging device, imaging method, and imaging program
CN111095910B (zh) 摄像控制装置、摄像装置、摄像控制方法及记录介质
JP6236580B2 (ja) 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置
CN114365477A (zh) 摄像装置、摄像方法及摄像程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant