CN109906604B - 摄像装置、摄像方法及记录介质 - Google Patents

摄像装置、摄像方法及记录介质 Download PDF

Info

Publication number
CN109906604B
CN109906604B CN201780068376.8A CN201780068376A CN109906604B CN 109906604 B CN109906604 B CN 109906604B CN 201780068376 A CN201780068376 A CN 201780068376A CN 109906604 B CN109906604 B CN 109906604B
Authority
CN
China
Prior art keywords
photoelectric conversion
image pickup
pickup signal
imaging
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780068376.8A
Other languages
English (en)
Other versions
CN109906604A (zh
Inventor
河合智行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN109906604A publication Critical patent/CN109906604A/zh
Application granted granted Critical
Publication of CN109906604B publication Critical patent/CN109906604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明提供一种能够存储高分辨率的摄像图像数据,并能够在显示部立即确认该摄像图像数据的摄像装置、摄像方法及记录介质。若有摄像指示,则系统控制部(11)对成像元件(5)的受光面(60)进行曝光,在该曝光结束之后,分成5个场期间从成像元件(5)读取摄像信号。系统控制部(11)在最初的场期间从包含相位差检测用像素(61R、61L)的场读取摄像信号,在下一个场期间从仅包含摄像用像素的场读取摄像信号。数字信号处理部(17)根据在最初的场期间读取的摄像信号显示后浏览图像,并根据在下一个场期间读取的摄像信号更新后浏览图像。

Description

摄像装置、摄像方法及记录介质
技术领域
本发明涉及一种摄像装置、摄像方法及摄像程序。
背景技术
近年来,伴随CCD(Charge Coupled Device:电荷耦合元件)图像传感器、或CMOS(Complementary Metal Oxide Semiconductor:互补型金属氧化物半导体)图像传感器等成像元件的高分辨率化,电子内窥镜、数码照相机、数码摄像机或带相机的移动电话等具有摄像功能的信息设备的需求急剧增加。另外,将具有如以上摄像功能的信息设备称作摄像装置。
这些摄像装置中搭载有包含相位差检测用像素的成像元件,根据相位差检测用像素的输出信号进行摄像光学系统的调焦(参考专利文献1、2)。
专利文献1中所记载的摄像装置在进行动画存储的动画摄像模式中,当从成像元件读取1帧量的摄像图像信号时,首先,实施从包含相位差检测用像素的像素组读取信号的驱动,接着实施从剩余的像素组读取信号的驱动。根据该摄像装置,能够根据通过最初的驱动而读取的信号实施摄像光学系统的调焦,因此能够一边使焦点跟踪被摄,一边进行用于各帧的摄像。
以往技术文献
专利文献
专利文献1:日本特开2014-241577号公报
专利文献2:日本特开2016-005189号公报
发明内容
发明要解决的技术课题
摄像装置中搭载有如下后浏览功能:若进行静态图像摄像,则在显示部显示用于确认通过该静态图像摄像而得到的摄像图像数据的确认用图像(后浏览图像)。
在搭载后浏览功能的摄像装置中,若欲存储高分辨率的静态图像,则直至显示确认用图像为止需要时间,在显示部中产生长时间的遮光。尤其,在连续进行静态图像存储的连拍模式中,若产生该遮光的时间变长,则后浏览图像的可见性降低。
专利文献1中所记载的摄像装置在动画摄像模式中,不利用通过最初的驱动从包含相位差检测用像素的像素组读取的信号以用于存储和显示,而利用通过下一次驱动从不包含相位差检测用像素的像素组读取的信号以用于存储和显示。
因此,被存储的动画的各帧的分辨率降低包含相位差检测用像素的像素组的量。并且,在首先进行从包含相位差检测用像素的像素组读取信号的驱动的情况下,该信号不会为了显示而被利用,因此在1帧动画的摄像结束之后,直至显示该1帧的确认用图像为止需要时间。
专利文献2中所记载的摄像装置不利用从包含相位差检测用像素的像素组读取的信号以用于存储。因此无法进行高分辨率的静态图像或动画的存储。
本发明是鉴于上述情况而完成的,其目的在于提供一种能够存储高分辨率的摄像图像数据,并能够在显示部中立即确认该摄像图像数据的摄像装置、摄像方法及摄像程序。
用于解决技术课题的手段
本发明的摄像装置具备:成像元件,由在单方向上排列的多个光电转换部构成的多个像素行具有在与上述单方向正交的方向上排列的受光面,上述多个像素行中包括:多个第一光电转换部,接收一对光束中的一方,该一对光束穿过在包括聚焦透镜的摄像光学系统的光瞳区域的单方向上排列的不同的部分;多个第二光电转换部,接收上述一对光束中的另一方;及多个第三光电转换部,接收上述一对光束双方;
驱动控制部,对包括上述多个第一光电转换部、上述多个第二光电转换部及上述多个第三光电转换部的光电转换部组进行曝光,并根据摄像指示进行从上述成像元件分成多个场期间读取摄像信号组的驱动控制,该摄像信号组包括通过上述曝光在上述多个第一光电转换部的各第一光电转换部中被光电转换的摄像信号、通过上述曝光在上述多个第二光电转换部的各第二光电转换部中被光电转换的摄像信号、及通过上述曝光在上述多个第三光电转换部的各第三光电转换部中被光电转换的摄像信号;
图像处理部,处理从上述成像元件读取的上述摄像信号组而生成摄像图像数据,并将上述摄像图像数据存储于存储介质;
显示用图像数据生成部,在上述多个场期间中的最初的场期间,处理从上述成像元件读取的第一摄像信号组而生成第一显示用图像数据,在上述最初的场期间的下一个场期间,处理从上述成像元件读取的第二摄像信号组而生成第二显示用图像数据;
显示控制部,在显示部显示基于上述第一显示用图像数据的第一图像之后,将上述第一图像切换为基于上述第二显示用图像数据的第二图像,
上述驱动控制部在上述最初的场期间,从上述第一光电转换部和上述第二光电转换部的多个配对和多个上述第三光电转换部读取摄像信号,在上述下一个场期间,从多个上述第三光电转换部读取摄像信号。
本发明的摄像方法为使用成像元件拍摄被摄体的摄像方法,所述成像元件由在单方向上排列的多个光电转换部构成的多个像素行具有在与上述单方向正交的方向上排列的受光面,上述多个像素行中包括:多个第一光电转换部,接收一对光束中的一方,该一对光束穿过在包括聚焦透镜的摄像光学系统的光瞳区域的单方向上排列的不同的部分;多个第二光电转换部,接收上述一对光束中的另一方;及多个第三光电转换部,接收上述一对光束双方;
所述摄像方法具备:
驱动控制步骤,对包括上述多个第一光电转换部、上述多个第二光电转换部及上述多个第三光电转换部的光电转换部组进行曝光,并根据摄像指示进行从上述成像元件分成多个场期间读取摄像信号组的驱动控制,该摄像信号组包括通过上述曝光在上述多个第一光电转换部的各第一光电转换部中被光电转换的摄像信号、通过上述曝光在上述多个第二光电转换部的各第二光电转换部中被光电转换的摄像信号、及通过上述曝光在上述多个第三光电转换部的各第三光电转换部中被光电转换的摄像信号;
图像处理步骤,处理从上述成像元件读取的上述摄像信号组而生成摄像图像数据,并将上述摄像图像数据存储于存储介质;
显示用图像数据生成步骤,在上述多个场期间中的最初的场期间,处理从上述成像元件读取的第一摄像信号组而生成第一显示用图像数据,在上述最初的场期间的下一个场期间,处理从上述成像元件读取的第二摄像信号组而生成第二显示用图像数据;
显示控制步骤,在显示部显示基于上述第一显示用图像数据的第一图像之后,将上述第一图像切换为基于上述第二显示用图像数据的第二图像,
上述驱动控制步骤在上述最初的场期间,从上述第一光电转换部和上述第二光电转换部的多个配对和多个上述第三光电转换部读取摄像信号,在上述下一个场期间,从多个上述第三光电转换部读取摄像信号。
本发明的摄像程序为使用成像元件拍摄被摄体的摄像程序,所述成像元件由在单方向上排列的多个光电转换部构成的多个像素行具有在与上述单方向正交的方向上排列的受光面,上述多个像素行中包括:多个第一光电转换部,接收一对光束中的一方,该一对光束穿过在包括聚焦透镜的摄像光学系统的光瞳区域的单方向上排列的不同的部分;多个第二光电转换部,接收上述一对光束中的另一方;及多个第三光电转换部,接收上述一对光束双方;
摄像程序具备:
驱动控制步骤,对包括上述多个第一光电转换部、上述多个第二光电转换部及上述多个第三光电转换部的光电转换部组进行曝光,并根据摄像指示进行从上述成像元件分成多个场期间读取摄像信号组的驱动控制,该摄像信号组包括通过上述曝光在上述多个第一光电转换部的各第一光电转换部中被光电转换的摄像信号、通过上述曝光在上述多个第二光电转换部的各第二光电转换部中被光电转换的摄像信号、及通过上述曝光在上述多个第三光电转换部的各第三光电转换部中被光电转换的摄像信号;
图像处理步骤,处理从上述成像元件读取的上述摄像信号组而生成摄像图像数据,并将上述摄像图像数据存储于存储介质;
显示用图像数据生成步骤,在上述多个场期间中的最初的场期间,处理从上述成像元件读取的第一摄像信号组而生成第一显示用图像数据,在上述最初的场期间的下一个场期间,处理从上述成像元件读取的第二摄像信号组而生成第二显示用图像数据;
显示控制步骤,在显示部显示基于上述第一显示用图像数据的第一图像之后,将上述第一图像切换为基于上述第二显示用图像数据的第二图像,
上述驱动控制步骤在上述最初的场期间,从上述第一光电转换部和上述第二光电转换部的多个配对和多个上述第三光电转换部读取摄像信号,在上述下一个场期间,从多个上述第三光电转换部读取摄像信号。
发明效果
根据本发明,能够提供一种能够存储高分辨率的摄像图像数据,并能够在显示部中立即确认该摄像图像数据的摄像装置、摄像方法及摄像程序。
附图说明
图1是表示作为本发明的摄像装置的一实施方式的数码相机100的概略结构的图。
图2是表示图1所示的成像元件5的结构的平面示意图。
图3是局部表示图2所示的成像元件5的像素组f1的像素排列的图。
图4是表示图2所示的成像元件5的像素组f2的像素排列的图。
图5是图1所示的系统控制部11的功能框图。
图6是图1所示的数字信号处理部17的功能框图。
图7是用于说明图1所示的数码相机100的单拍模式时的动作的时序图。
图8是用于说明图1所示的数码相机100的连拍模式时的动作的时序图。
图9是用于说明图1所示的数码相机100的连拍模式时的动作的变形例的时序图。
图10是用于说明图1所示的数码相机100的连拍模式时的动作的其他变形例的时序图。
图11是表示配置于成像元件5的受光面60的像素的排列的变形例的图。
图12是局部表示位于图11所示的成像元件5的场F1的像素组的像素排列的图。
图13是表示作为本发明的摄像装置的一实施方式的智能手机200的外观的图。
图14是表示图13所示的智能手机200的结构的框图。
具体实施方式
以下,参考附图对本发明的实施方式进行说明。
图1是表示作为本发明的摄像装置的一实施方式的数码相机100的概略结构的图。
数码相机100具备透镜装置40,该透镜装置40具有摄像透镜1、光圈2、机械快门3、透镜控制部4、快门驱动部6、透镜驱动部8及光圈驱动部9。
在本实施方式中,透镜装置40作为能够装卸于数码相机100主体的透镜装置而进行,但也可以是固定于数码相机100主体的透镜装置。
摄像透镜1和光圈2构成摄像光学系统,摄像光学系统例如包括聚焦透镜等。
聚焦透镜是用于调节摄像光学系统的焦点的透镜,由单一的透镜或多个透镜构成。通过聚焦透镜在摄像光学系统的光轴方向上移动而进行摄像光学系统的调焦。
另外,作为聚焦透镜,可以使用能够对透镜的曲面进行可变控制以改变焦点位置的液体透镜。
机械快门3是机械地切换光入射于成像元件5的状态和不使光入射于成像元件5的状态的快门机构,在图1的例子中,比摄像光学系统更靠被摄体侧而配置。
机械快门3只要配置在成像元件5的前方(被摄体侧)即可,例如可以配置在成像元件5与摄像光学系统之间。以下,设为机械快门3为由前幕帘和后幕帘构成的焦平面快门进行说明。
透镜装置40的透镜控制部4构成为通过有线或无线的方式能够与数码相机100主体的系统控制部11通信。
透镜控制部4按照来自系统控制部11的指令并经由快门驱动部6而开闭机械快门3,或者经由透镜驱动部8而驱动包含在摄像透镜1中的聚焦透镜,或者经由光圈驱动部9而驱动光圈2。
数码相机100主体具备:CMOS图像传感器等MOS型成像元件5,通过摄像光学系统而拍摄被摄体;成像元件驱动部10,驱动成像元件5;系统控制部11,总括控制数码相机100的电气控制系统整体;及操作部14。
系统控制部11包括各种处理器和RAM(Random Access Memory:随机存取存储器)和ROM(Read Only Memory:只读存储器)而构成,并总括控制数码相机100整体。该ROM中存储有包含摄像程序的程序。
作为各种处理器,执行程序而进行各种处理的通用的处理器即CPU(CentralProsessing Unit:中央处理单元)、FPGA(Field Programmable Gate Array:现场可编程门阵列)等在制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable LogicDevice:PLD)、或者ASIC(Application Specific Integrated Circuit:专用集成电路)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。
更具体而言,这些各种处理器的构造为组合了半导体元件等电路元件的电路。
系统控制部11的处理器可以由各种处理器中的一个来构成,也可以通过相同种类或不同种类的两个以上的处理器的组合(例如多个FPGA的组合或CPU和FPGA的组合)而构成。
而且,该数码相机100的电气控制系统具备:数字信号处理部17,对从成像元件5输出到数据总线25的摄像信号组进行插值运算、伽马校正运算及RGB/YC转换处理等而生成记录用摄像图像数据和显示用图像数据;外部存储器控制部20,连接有装卸自如的存储介质21;及显示驱动器22,驱动搭载于数码相机100的背面或电子取景器内等的有机EL(ElectroLuminescence:电致发光)显示器或LCD(Liquid Crystal Display:液晶显示器)等显示部23。
数字信号处理部17包括上述各种处理器、RAM及ROM,通过该处理器执行存储在该ROM的程序而进行各种处理。该程序包括摄像程序。
数字信号处理部17的处理器可以由各种处理器中的一个来构成,也可以通过相同种类或不同种类的两个以上的处理器的组合(例如多个FPGA的组合或CPU和FPGA的组合)来构成。
数字信号处理部17、外部存储器控制部20及显示驱动器22通过控制总线24及数据总线25而彼此连接,并根据来自系统控制部11的指令进行动作。
图2是表示图1所示的成像元件5的结构的平面示意图。
成像元件5具备:受光面60,在与行方向X正交的列方向Y上排列有多个由在单方向即行方向X上排列的多个像素61构成的像素行62;驱动电路63,驱动在受光面60上排列的像素;及信号处理电路64,处理从在受光面60上排列的像素行62的各像素61读取的摄像信号。
以下,在图2中将受光面60的列方向Y的上方向的端部称作上端,将受光面60的列方向Y的下方向的端部称作下端。
像素61包括:光电转换部,接收穿过透镜装置40的摄像光学系统的光,生成与受光量对应的电荷并进行积蓄;滤色器,形成于该光电转换部的上方;及读取电路,将积蓄在该光电转换部中的电荷转换成电压信号并作为摄像信号读取到信号线。读取电路能够采用公知的结构。
读取电路例如包括:传送晶体管,用于将积蓄在光电转换部中的电荷传送到浮动扩散区;复位晶体管,用于使浮动扩散区的电位复位;输出晶体管,输出与浮动扩散区的电位对应的电压信号;及选择晶体管,将从输出晶体管输出的电压信号选择性地读取到信号线。另外,读取电路也有时在多个光电转换部中通用。
在形成于受光面60的多个像素61上搭载的滤色器按照拜耳排列而排列。在成像元件5中设为通过滤色器进行分光,但也可以是不使用滤色器而通过光电转换部本身进行分光的结构。
在受光面60上设定有5个场F1~场F5。
将M设为0以上的整数,将设定于受光面60的场数设为n(在此,n=5),k=1~n,排列在受光面60的所有像素行62中的从受光面60的上端侧数位于第(n×M+k)的像素行62被配置的区域设为场Fk。以下,将由位于场Fk的像素61构成的组称作像素组fk。即,在受光面60上形成有像素组f1、像素组f2、像素组f3、像素组f4及像素组f5。
驱动电路63以像素行62单位来驱动与各像素61的光电转换部连接的读取电路,以对每个像素行62进行该像素行62中所包含的各光电转换部的复位、将与积蓄在该各光电转换部中的电荷对应的电压信号读取到信号线等。驱动电路63通过成像元件驱动部10而被控制。
信号处理电路64对从像素行62的各像素61读取到信号线的摄像信号进行相关双采样处理,将相关双采样处理后的摄像信号转换成数字信号并输出。
在成像元件5的受光面60上形成的多个像素61中包括摄像用像素和相位差检测用像素。
在成像元件5中,像素组f1中的一部分像素61成为相位差检测用像素,排除该一部分的剩余的像素61成为摄像用像素。并且,像素组f2~f5中所包含的像素61全部成为摄像用像素。
图3是局部表示图2所示的成像元件5的像素组f1的像素排列的图。
像素组f1通过摄像用像素61r、摄像用像素61g、摄像用像素61b、相位差检测用像素61R及相位差检测用像素61L而构成。
相位差检测用像素61R是包括第一光电转换部的像素,该第一光电转换部接收一对光束中的一方,并产生与受光量对应的电荷以进行积蓄,所述一对光束穿过在透镜装置40的摄像光学系统的光瞳区域的行方向X上排列的不同的部分。相位差检测用像素61R中所包含的第一光电转换部在图3的例子中接收绿色光,产生与受光量对应的电荷以进行积蓄。
相位差检测用像素61L是包括第二光电转换部的像素,该第二光电转换部接收上述一对光束中的另一方,并产生与受光量对应的电荷以进行积蓄。相位差检测用像素61L中所包含的第二光电转换部在图3的例子中接收绿色光,并产生与受光量对应的电荷以进行积蓄。另外,第一光电转换部和第二光电转换部可以是接收蓝色光或红色光的光电转换部。
摄像用像素61r、摄像用像素61g及摄像用像素61b分别是包含第三光电转换部的像素,该第三光电转换部接收上述一对光束双方,并产生与受光量对应的电荷以进行积蓄。
摄像用像素61r中所包含的第三光电转换部接收红色光,产生与受光量对应的电荷以进行积蓄。
摄像用像素61g中所包含的第三光电转换部接收绿色光,产生与受光量对应的电荷以进行积蓄。
摄像用像素61b中所包含的第三光电转换部接收蓝色光,产生与受光量对应的电荷以进行积蓄。
像素组f1中所包含的所有像素按照拜耳排列而配置,摄像用像素61g和摄像用像素61b在行方向X上交替排列的GB像素行中的一部分像素行被设为用于检测相位差的相位差检测像素行PL。
相位差检测像素行PL由以下部分构成:相位差检测用像素61L,在拜耳排列中配置在摄像用像素61g应配置的位置;及相位差检测用像素61R,在拜耳排列中配置在摄像用像素61b应配置的位置。
在相位差检测像素行PL中,相位差检测用像素61L和该右侧相邻的相位差检测用像素61R构成配对P,相位差检测像素行PL构成为具有多个该配对P。
通过进行从相位差检测像素行PL中所包含的多个相位差检测用像素61L读取的摄像信号组和从多个相位差检测用像素61R读取的摄像信号组的相关运算,能够检测通过相位差检测像素行PL而拍摄的一对被摄体像的相位差。
另外,可以是如下结构:不是GB像素行中的一部分像素行被设为相位差检测像素行PL,而是摄像用像素61r和摄像用像素61g在行方向X上交替排列的RG像素行中的一部分像素行被设为相位差检测像素行PL。
并且,在图3的例子中,相位差检测像素行PL仅由多个配对P构成,但相位差检测像素行PL可以包含摄像用像素。例如可以是如下结构:在相位差检测像素行PL中,在多个配对P之间配置摄像用像素。
图4是局部表示图2所示的成像元件5的像素组f2的像素排列的图。
像素组f2为如下结构:通过摄像用像素61r、摄像用像素61g及摄像用像素61b而构成,这些摄像用像素按照拜耳排列而配置。
另外,关于像素组f3~像素组f5各像素组的像素排列,虽然有如下差异,即,受光面60的上端侧像素行是成为摄像用像素61r和摄像用像素61g在行方向X上交替排列的RG像素行,还是成为摄像用像素61g和摄像用像素61b在行方向X行交替排列的GB像素行,但是与像素组f2基本上相同。
如此,像素组f1~像素组f5分别通过按照拜耳排列而配置的多个像素构成。为了使形成于受光面60的各像素组由按照拜耳排列而配置的多个像素构成,需要将设定于受光面60的场的数量(上述n值)设为3以上的奇数。
图5是图1所示的系统控制部11的功能框图。
系统控制部11的处理器通过执行包括存储在内置ROM的摄像程序的程序,作为驱动控制部11A和对焦控制部11B而发挥功能。
驱动控制部11A控制成像元件驱动部10和透镜控制部4,使成像元件5进行即时预览显示用摄像和记录用摄像。
驱动控制部11A在存在静态图像的摄像指示的情况下,通过控制成像元件驱动部10和透镜控制部4而将成像元件5的各像素61曝光规定时间,并根据该摄像指示进行如下驱动控制:分成与设定于成像元件5的受光面60的场的数量相同的n次的场期间读取摄像信号组(以下,称作静态图像摄像信号组),该摄像信号组由通过该规定时间的曝光而在成像元件5的各像素61的光电转换部经光电转换所得到的摄像信号构成。场期间相当于垂直同步信号的一个周期。
具体而言,驱动控制部11A在n次的场期间中的最初的场期间即第一场期间进行从位于场F1的像素组f1读取摄像信号的驱动,在第一场期间的下一个第二场期间进行从位于场F2的像素组f2读取摄像信号的驱动,在第二场期间的下一个第三场期间进行从位于场F3的像素组f3读取摄像信号的驱动,在第三场期间的下一个第四场期间进行从位于场F4的像素组f4读取摄像信号的驱动,在第四场期间的下一个第五场期间进行从位于场F5的像素组f5读取摄像信号的驱动,由此从成像元件5读取上述静态图像摄像信号组。
对焦控制部11B根据从成像元件5的相位差检测用像素61R、61L读取的摄像信号控制聚焦透镜,从而进行透镜装置40的摄像光学系统的对焦控制。
图1的数码相机搭载有:单拍模式,根据摄像指示进行一次上述驱动控制,从而将一个摄像图像数据存储于存储介质21;及连拍模式,根据摄像指示连续进行多次上述驱动控制,从而将多个摄像图像数据存储于存储介质21。
在设定有该连拍模式的状态下,对焦控制部11B在通过基于驱动控制部11A的各驱动控制而完成读取上述静态图像摄像信号组之前,根据从像素组f1读取的摄像信号中的从相位差检测用像素61R读取的第一摄像信号及从相位差检测用像素61L读取的第二摄像信号控制聚焦透镜,从而进行透镜装置40的摄像光学系统的对焦控制。
具体而言,对焦控制部11B通过进行第一摄像信号和第二摄像信号的相关运算而计算相位差,根据该相位差求出散焦量。而且,将该散焦量发送到透镜控制部4,发出控制聚焦透镜的焦点位置的指令。
按照该指令,透镜控制部4经由透镜驱动部8控制聚焦透镜的焦点位置。由此进行对焦控制。
图6是图1所示的数字信号处理部17的功能框图。
数字信号处理部17的处理器通过执行包括存储在内置ROM的摄像程序的程序,作为图像处理部17A、显示用图像数据生成部17B及显示控制部17C而发挥功能。
图像处理部17A处理从成像元件5通过上述驱动控制读取的静态图像摄像信号组而生成摄像图像数据,并将所生成的摄像图像数据存储于存储介质21。
显示用图像数据生成部17B处理从成像元件5读取的摄像信号组,从而生成用于显示即时预览图像或后浏览图像的显示用图像数据。
显示用图像数据生成部17B在进行上述驱动控制的情况下,处理在上述n次的场期间中的最初的第一场期间从成像元件5的像素组f1读取的第一摄像信号组而生成第一显示用图像数据,并处理在第一场期间的下一个第二场期间从成像元件5的像素组f2读取的第二摄像信号组而生成第二显示用图像数据。
显示用图像数据生成部17B对从像素组f1读取的第一摄像信号组进行信号处理,该信号处理用于将第一摄像信号组中的从相位差检测用像素61R读取的第一摄像信号及从相位差检测用像素61L读取的第二摄像信号的各摄像信号作为从摄像用像素读取的摄像信号进行处理,根据该信号处理后的第一摄像信号组生成第一显示用图像数据。
在显示用图像数据生成部17B进行的上述信号处理中,例如可举出以下两种。
(第一信号处理)
显示用图像数据生成部17B将从像素组f1的相位差检测用像素61R读取的第一摄像信号取代为从位于像素组f1中的该相位差检测用像素61R周围的摄像用像素(检测与按照拜耳排列应配置于该相位差检测用像素61R的位置的摄像用像素相同颜色的光的摄像用像素)读取的摄像信号或根据该摄像信号生成的摄像信号。
并且,显示用图像数据生成部17B将从像素组f1的相位差检测用像素61L读取的第二摄像信号取代为从位于该相位差检测用像素61L周围的摄像用像素(检测与按照拜耳排列应配置于该相位差检测用像素61L的位置的摄像用像素相同颜色的光的摄像用像素)读取的摄像信号或根据该摄像信号生成的信号。
例如,显示用图像数据生成部17B将从图3中的任意的相位差检测用像素61L读取的第二摄像信号取代为从该任意的相位差检测用像素61L的最靠近的4个摄像用像素61g读取的4个摄像信号的平均值或该4个摄像信号中的任一个。
并且,显示用图像数据生成部17B将从图3中的任意的相位差检测用像素61R读取的第一摄像信号取代为该任意的相位差检测用像素61R的最靠近的上下两个摄像用像素61b读取的两个摄像信号的平均值或该两个摄像信号中的任一个。
(第二信号处理)
显示用图像数据生成部17B对从像素组f1的相位差检测用像素61R读取的第一摄像信号相乘第一增益,对从像素组f1的相位差检测用像素61L读取的第二摄像信号相乘第二增益。
第一增益是从相位差检测用像素61R读取的摄像信号与从摄像用像素61b读取的摄像信号之比,制造时被计算并存储在数字信号处理部17的ROM。
通过将该第一增益相乘于第一摄像信号,能够将该第一摄像信号的电平设为从摄像用像素61b读取的摄像信号进行处理。
第二增益是从相位差检测用像素61L读取的摄像信号与从摄像用像素61g读取的摄像信号之比,制造时被计算并存储于数字信号处理部17的ROM。
通过将该第二增益相乘于第二摄像信号,能够将该第二摄像信号的电平设为从摄像用像素61g读取的摄像信号进行处理。
另外,图像处理部17A对从成像元件5读取的静态图像摄像信号组进行上述信号处理,该信号处理用于将从相位差检测用像素61R读取的第一摄像信号及从相位差检测用像素61L读取的第二摄像信号的各摄像信号作为从摄像用像素读取的摄像信号进行处理,并处理该信号处理后的静态图像摄像信号组而生成摄像图像数据。
为了通过上述信号处理而生成高品质的第一显示用图像数据,需要满足如下条件:在图3所示的像素组f1的像素排列中,在列方向Y上相邻的两个相位差检测像素行PL之间存在至少一个仅由摄像用像素构成的像素行。
满足该条件构成为如下:将m设为2以上的自然数,图3所示的相位差检测像素行PL在受光面60上每隔{(n×m)-1}个而配置。
在图1的数码相机100中,n=5且m=4,在受光面60上相位差检测像素行PL每隔19个而配置。即,在配置于受光面60的最靠近的两个相位差检测像素行PL之间存在19个仅包括摄像用像素的像素行62。
显示控制部17C将通过显示用图像数据生成部17B生成的显示用图像数据传送到显示驱动器22,使基于该显示用图像数据的图像显示于显示部23。
显示用图像数据通过大量的像素数据构成。显示用图像数据构成为由在与行方向X相同的方向上排列的多个像素数据构成的像素数据行在与该方向正交的方向上排列有多个。
显示控制部17C将显示用图像数据针对每个像素数据行依次传送到显示驱动器22,使基于该显示用图像数据的图像通过显示驱动器22显示于显示部23。
显示部23具有显示面,该显示面上由在与行方向X相同的方向上排列的多个显示像素构成的显示像素行在与该方向正交的方向上排列有多个。
显示驱动器22将基于从显示控制部17C输入的像素数据行的图像的一行绘制于显示部23的一个显示像素行。显示驱动器22在每次输入像素数据行时,通过将基于该像素数据行的图像的一行绘制目的地逐个错开而进行图像的所有行的绘制。
接着,对如上所述构成的数码相机100的动作进行说明。
图7是用于说明图1所示的数码相机100的单拍模式时的动作的时序图。
图7中在“VD”的旁边示出垂直同步信号的状态。
图7中在“成像元件”的旁边示出位于成像元件5的受光面60的各像素行62的驱动时刻,纵轴表示像素行62的列方向Y的位置。
图7中在“机械快门”的旁边示出机械快门3的开闭状态。
图7中在“显示部”的旁边示出显示部23的绘制状态,纵轴表示显示部23的显示像素行的位置。图中的标注斜线的范围表示未进行显示像素行的显示的遮光的状态。
图7中在“图像处理”的旁边示出数字信号处理部17的图像处理部17A的动作状态。
图7所示的直线R1和直线R2表示进行像素行62中所包含的各光电转换部的复位(排出积蓄在光电转换部的电荷的处理)的时刻。
图7所示的直线f1a表示从位于场F1的像素组f1读取摄像信号时的驱动时刻。图7所示的直线f2a表示从位于场F2的像素组f2读取摄像信号时的驱动时刻。
图7所示的直线f3a表示从位于场F3的像素组f3读取摄像信号时的驱动时刻。图7所示的直线f4a表示从位于场F4的像素组f4读取摄像信号时的驱动时刻。图7所示的直线f5a表示从位于场F5的像素组f5读取摄像信号时的驱动时刻。
图7所示的直线DR、直线DR1及直线DR2表示在显示部23的显示面的显示像素行上进行绘制的时刻。
图7所示的直线BO表示使对显示部23的各显示像素行的绘制停止的时刻。
若数码相机100设定为单拍模式,则开始即时预览序列LV。进行即时预览序列LV的期间构成非存储期间。
在即时预览序列LV中,如用直线f1a来表示,驱动控制部11A从受光面60的上端侧向下端侧依次选择像素组f1的像素行62,进行从所选择的像素行62的各像素读取摄像信号的即时预览用驱动控制。
之后,如用直线R1来表示,驱动控制部11A从受光面60的上端侧向下端侧依次选择像素行62,关于所选择的像素行62进行光电转换部的复位。由此,对每个像素行62在不同的时刻开始曝光。
若经过规定的曝光时间,则如用直线f1a来表示,驱动控制部11A从受光面60的上端侧向下端侧依次选择像素组f1的像素行62,从所选择的像素行62的各像素读取摄像信号。
根据直线f1a开始从像素组f1读取摄像信号,若该摄像信号输出到数据总线25,则该摄像信号通过数字信号处理部17被依次处理而生成显示用图像数据。
而且,该显示用图像数据传送到显示驱动器22,如用直线DR来表示,基于该显示用图像数据的即时预览图像从显示面的上端侧依次按一行被绘制。
直至发出摄像指示为止,与垂直同步信号VD同步而反复进行以上处理。
若在即时预览序列LV期间发出摄像指示,则在刚发出该摄像指示之后的垂直同步信号VD下降的时刻(时刻t1)开始静态图像曝光序列EX。
在静态图像曝光序列EX中,驱动控制部11A关闭机械快门3,在机械快门3关闭的期间,如用直线R2来表示,在所有像素行62中同时进行光电转换部的复位,之后,开启机械快门3。由此,在所有像素行62中在相同的时刻开始用于静态图像摄像的曝光。
并且,显示控制部17C在机械快门3开启的时刻,如用直线BO来表示,停止对显示部23的绘制,将显示部23控制成遮光(无显示)的状态。
在机械快门3开启之后,若经过规定的曝光时间,则驱动控制部11A关闭机械快门3而结束用于静态图像摄像的曝光,由此,结束静态图像曝光序列EX。之后,在时刻t2开始静态图像读取序列RE。
在静态图像读取序列RE中,如用直线f1a来表示,驱动控制部11A首先从受光面60的上端侧向下端侧依次选择像素组f1的像素行62,从所选择的像素行62读取摄像信号。
在时刻t2开始从像素组f1读取摄像信号,若该摄像信号输出到数据总线25,则显示用图像数据生成部17B依次处理该摄像信号而生成第一显示用图像数据。
而且,显示用图像数据生成部17B将该第一显示用图像数据传送到显示驱动器22。由此,如用直线DR1来表示,基于该第一显示用图像数据的后浏览图像从显示面的上端侧依次按一行被绘制。
若驱动控制部11A在时刻t3完成从像素组f1读取摄像信号,则如用直线f2a来表示,从受光面60的上端侧向下端侧依次选择像素组f2的像素行62,从所选择的像素行62读取摄像信号。
在时刻t3开始从像素组f2读取摄像信号,若该摄像信号输出到数据总线25,则显示用图像数据生成部17B依次处理该摄像信号而生成第二显示用图像数据。
而且,显示用图像数据生成部17B将该第二显示用图像数据传送到显示驱动器22。由此,如用直线DR2来表示,基于该第二显示用图像数据的后浏览图像从显示面的上端侧依次按一行被绘制。
若驱动控制部11A在时刻t4完成从像素组f2读取摄像信号,则如用直线f3a来表示,从受光面60的上端侧向下端侧依次选择像素组f3的像素行62,从所选择的像素行62读取摄像信号。在此,在显示用图像数据的生成中不利用所读取的摄像信号,不更新显示部23的显示。
若驱动控制部11A在时刻t5完成从像素组f3读取摄像信号,则如用直线f4a来表示,从受光面60的上端侧向下端侧依次选择像素组f4的像素行62,从所选择的像素行62读取摄像信号。在此,在显示用图像数据的生成中不利用所读取的摄像信号,不更新显示部23的显示。
若驱动控制部11A在时刻t6完成从像素组f4读取摄像信号,则如用直线f5a来表示,从受光面60的上端侧向下端侧依次选择像素组f5的像素行62,从所选择的像素行62读取摄像信号。在此,在显示用图像数据的生成中不利用所读取的摄像信号,不更新显示部23的显示。
若在时刻t7完成从像素组f5读取摄像信号,则图像处理部17A处理在直线f1a~f5a中读取的静态图像摄像信号组而生成摄像图像数据,并存储于存储介质21(图中的“摄像图像数据生成”)。并且,重新开始即时预览序列LV。
图7中,从时刻t2至时刻t3期间、从时刻t3至时刻t4期间、从时刻t4至时刻t5的期间、从时刻t5至时刻t6的期间及从时刻t6至时刻t7的期间分别构成场期间。并且,进行静态图像曝光序列EX和此后的静态图像读取序列RE的期间成为驱动控制部11A进行驱动控制的期间。
图8是用于说明图1所示的数码相机100的连拍模式时的动作的时序图。图8中在“对焦控制”的旁边示出对焦控制部11B的动作状态。
若数码相机100设定为连拍模式,则开始即时预览序列LV。关于即时预览序列LV的动作,由于与图7中已说明的相同,因此省略说明。
若在该即时预览序列LV的期间发出摄像指示,则在刚发出该摄像指示后的垂直同步信号VD下降的时刻(时刻t1)开始静态图像曝光序列EX。关于静态图像曝光序列EX的动作,由于与图7中已说明的相同,因此省略说明。
若静态图像曝光序列EX结束,则在时刻t2开始静态图像读取序列RE。从静态图像读取序列RE中的成像元件5读取摄像信号的动作和显示部23中的显示动作与图7中已说明的相同。
连拍模式中的静态图像读取序列RE与单拍模式的静态图像读取序列RE不同点在于对焦控制部11B的动作,关于该动作进行说明。
在时刻t2开始从像素组f1读取摄像信号,若该摄像信号输出到数据总线25,则对焦控制部11B使用该摄像信号中的从相位差检测用像素61R及相位差检测用像素61L读取的摄像信号计算相位差,根据该相位差开始求出散焦量的处理(图中的“AF(Auto Focus:自动调焦)运算”)。
而且,若对焦控制部11B在从像素组f2读取摄像信号的期间中完成散焦量的计算,则在直至完成从成像元件5读取静态图像摄像信号组的时刻t7为止之间的任意的时刻,根据该散焦量控制聚焦透镜的焦点位置(图中的“对焦控制”)。
若在时刻t7结束静态图像读取序列RE,则进行静态图像曝光序列EX,之后,进行静态图像读取序列RE。在连拍模式中,根据摄像指示连续进行多次静态图像曝光序列EX及静态图像读取序列RE的设置。
如上所述,根据图1所示的数码相机100,在静态图像读取序列RE中的最初的场期间从成像元件5读取的摄像信号组中包含相位差检测中所需要的摄像信号。
因此,在连拍模式时,能够利用该摄像信号在静态图像读取序列RE的期间进行对焦控制,并能够实现对被摄体的追随性高的对焦控制。
并且,根据图1所示的数码相机100,在静态图像读取序列RE的最初的场期间,能够从所有相位差检测用像素读取摄像信号。因此能够增加使用于相位差检测的信息量,并能够提高对焦精度。
并且,根据图1所示的数码相机100,基于在静态图像读取序列RE的最初的场期间读取的摄像信号组,在静态图像读取序列RE的期间显示后浏览图像。因此,能够高速进行后浏览显示。
并且,对于在静态图像读取序列RE的最初的场期间被读取的摄像信号组,实施将从相位差检测用像素读取的摄像信号作为从摄像用像素读取的摄像信号进行处理的信号处理。因此能够生成高分辨率的第一显示用图像数据,并能够提高后浏览显示品质。
而且,该后浏览图像此后根据从摄像用像素读取的摄像信号切换为基于不进行上述信号处理而生成的第二显示用图像数据的图像。如此,由于能够根据不进行上述信号处理而生成的显示用图像数据更新后浏览图像,因此能够提高后浏览图像的品质。
并且,根据图1所示的数码相机100,在静态图像读取序列RE的最初的场期间,从位于场F1的像素组f1读取摄像信号,在下一个场期间,从位于场F2的像素组f2读取摄像信号。
由于场F1和场F2为相邻的区域,因此能够将基于在最初的场期间读取的摄像信号组的后浏览图像与基于在下一个场期间读取的摄像信号组的后浏览图像之差设为最小。
从而,能够使后浏览图像的切换自然,能够进一步提高后浏览图像的品质。
并且,根据图1所示的数码相机100,当连拍模式时,在多次静态图像曝光序列EX中的各静态图像曝光序列中的从开始曝光至开始显示基于该曝光的后浏览图像为止之间显示部23被遮光。如此,针对每个静态图像曝光序列EX,显示部23被遮光,由此能够赋予用户以连拍的感觉。
并且,根据图1所示的数码相机100,在即时预览序列LV中,从成像元件5向5个像素行62以1个比率进行摄像信号的读取,在各场期间,同样地,从成像元件5向5个像素行62以1个比率进行摄像信号的读取。
因此能够同时进行用于即时预览显示的信号处理和用于后浏览的信号处理,能够简化处理。
接着,对图1所示的数码相机100的变形例进行说明。
(第一变形例)
图9是用于说明图1所示的数码相机100的连拍模式时的动作的变形例的时序图。
图9所示的时序图是在图8所示的时序图中省略了在第2次以后的各静态图像曝光序列EX中进行的使显示部23遮光的控制的时序图。
如此,当连拍模式时,从最初的曝光开始至后浏览图像的显示开始为止之间使显示部23遮光,从第2次以后的各曝光开始至后浏览图像的显示开始为止之间,继续显示在显示部23显示中的后浏览图像,由此能够消除因显示部23反复遮光而引起的闪烁。其结果,能够提高后浏览图像的视觉效果。
另外,可以通过用户设定而任意地切换图8所示的动作和图9所示的动作。由此,能够进行根据用户嗜好的处理,能够提高使用性。
(第二变形例)
也可以是如下结构:在成像元件5的场F1~F5中,在静态图像读取序列RE的第3个以后的帧期间,在摄像信号组被读取的场(场F3~场F5中的至少一个场)中包括相位差检测像素行PL,该相位差检测像素行PL包含相位差检测用像素61R和相位差检测用像素61L的多个配对P。
例如可以考虑如下结构:位于场F1和场F3各场的像素组的像素排列设为图3所示的像素排列,位于场F2、场F4和场F5各场的像素组的像素排列设为图4所示的像素排列。
将表示该变形例的数码相机的连拍模式时的动作的时序图示于图10中。图10所示的时序图只有对焦控制部11B的动作与图8不同。
该变形例中,对焦控制部11B基于根据直线f1a从像素组f1的相位差检测用像素读取的摄像信号和根据直线f3a从像素组f3的相位差检测用像素读取的摄像信号进行散焦量的计算,之后,根据该散焦量在直至时刻t7为止之间控制聚焦透镜的焦点位置。
根据该变形例,能够增加使用于相位差计算的摄像信号的数量,因此能够提高相位差的计算精度而高精度进行对焦控制。并且,能够增加设置于受光面60的配对P的数量,能够灵活地设定能够对焦的被摄体的范围。
(第三变形例)
成像元件5构成为像素61按照拜耳排列而配置在受光面60,但像素61可以按照除了拜耳排列以外的图11中例示的特定的排列而配置在受光面60。
图11是表示配置在成像元件5的受光面60的像素的排列的变形例的图。
图11所示的成像元件5的像素按照将红色光进行光电转换的像素的数量、将蓝色光进行光电转换的像素的数量、将绿色光进行光电转换的像素的数量之比为1:1:2.5的排列模式而配置。
该排列模式为如下模式:包括:单元U1,摄像用像素61g、摄像用像素61b及摄像用像素61g在行方向X上排列的第一行、摄像用像素61r、摄像用像素61g及摄像用像素61r在行方向X上排列的第二行、上述第一行在列方向上排列;及单元U2,摄像用像素61g、摄像用像素61r及摄像用像素61g在行方向X上的第三行、摄像用像素61b、摄像用像素61g及摄像用像素61b在行方向X上排列的第四行、上述第三行在列方向上排列,单元U1和单元U2在行方向X及列方向Y上呈相间方格状配置。
摄像用像素61g中所包含的光电转换部构成第四光电转换部。摄像用像素61b中所包含的光电转换部构成第五光电转换部。摄像用像素61r中所包含的光电转换部构成第六光电转换部。
搭载图11所示的成像元件5的数码相机的数字信号处理部17对从成像元件5中所包含的所有像素的各像素读取的摄像信号的集合即静态图像摄像信号组进行马赛克处理,对应于成像元件5的各像素的位置而生成红色信号、绿色信号及蓝色信号,通过将该红色信号、绿色信号及蓝色信号进行加权相加而生成与各像素的位置对应的亮度信号。
例如数字信号处理部17通过以3:6:1的比率加权相加红色信号、绿色信号及蓝色信号而得到亮度信号。
数字信号处理部17利用该亮度信号和红色信号、绿色信号及蓝色信号而生成色差信号。通过这种处理,对应于成像元件5的各像素的位置而生成由亮度信号及色差信号构成的像素信号,通过该像素信号的集合而构成摄像图像数据。
从而,在图11所示的像素排列的成像元件5中,在摄像用像素61r、摄像用像素61g及摄像用像素61b中摄像用像素61g成为接收作为最有助于获得亮度信号的第一色的绿色的光的像素。摄像用像素61b成为接收与第一色不同的第二色的光的像素,摄像用像素61r成为接收与第一色及第二色不同的第三色的光的像素。
在图11所示的成像元件5的受光面60设定有4个场F1~场F4。该变形例中,设定于受光面60的场的数量为2以上的偶数。
在图11所示的成像元件5中,将M设为0以上的整数,将设定于受光面60的场数设为n(在此,n=4),k=1~n,排列在受光面60的所有像素行62中的从受光面60的上端侧开始数位于第(n×M+k)的像素行62被配置的区域设为场Fk。
该场F1~场F4中,构成位于场F1的像素组的像素行的一部分被设为相位差检测像素行PL。
图12是局部表示位于图11所示的成像元件5的场F1的像素组的像素排列的图。
如图12所示,构成位于场F1的像素组的像素行的一部分被设为相位差检测像素行PL,在相位差检测像素行PL彼此之间,仅由摄像用像素构成的像素行在图例中配置有5个。
根据显示用图像数据生成部17B进行的上述信号处理,为了通过从图12所示的像素组读取的摄像信号组而生成高品质的第一显示用图像数据,需要满足如下条件:在图12所示的像素排列中,在列方向Y上相邻的两个相位差检测像素行PL之间,至少存在1个仅由摄像用像素构成的像素行。
满足该条件的结构如下:将m设为2以上的自然数,在受光面60上每隔{(n×m)-1}个配置有相位差检测像素行PL。
在搭载图11所示的成像元件5的数码相机中,n=4且m=6,在受光面60上每隔23个配置有相位差检测像素行PL。即,在配置于受光面60的最靠近的两个相位差检测像素行PL之间,存在24个仅包含摄像用像素的像素行62。
如上所述,即使使用图11所示的像素排列的成像元件5,也能够获得与上述图1所示的数码相机100相同的效果。
以下,对作为摄像装置的智能手机的结构进行说明。
图13是表示本发明的摄像装置的一实施方式即智能手机200的外观的图。
图13所示的智能手机200具有平板状框体201,在框体201的一面具备作为显示部的显示面板202和作为输入部的操作面板203成为一体的显示输入部204。
并且,这种框体201具备扬声器205、麦克风206、操作部207及相机部208。
另外,框体201的结构并不限定于此,例如能够采用显示部和输入部独立的结构,也能够采用折叠结构或具有滑动机构的结构。
图14是表示图13所示的智能手机200的结构的框图。
如图14所示,作为智能手机的主要构成要件,具备无线通信部210、显示输入部204、通话部211、操作部207、相机部208、存储部212、外部输入输出部213、GPS(GlobalPositioning System:全球智能系统)接收部214、动作传感器部215、电源部216及主控制部220。
并且,作为智能手机200的主要功能,具备进行经由省略图示的基地局装置BS和省略图示的移动通信网络NW的移动无线通信的无线通信功能。
无线通信部210按照主控制部220的指示对容纳于移动通信网络NW的基地局装置BS进行无线通信。使用该无线通信进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发,或者进行Web数据或流数据等的接收。
显示输入部204为所谓的触摸面板,其通过主控制部220的控制而显示图像(静态图像及动态图像)或字符信息等,从而以视觉的方式向用户传递信息,并且检测对所显示信息的用户操作,并具备显示面板202和操作面板203。
显示面板202将LCD(Liquid Crystal Display:液晶显示器)、OELD(OrganicElectro-Luminescence Display:有机发光二极管)等用作显示器件。
操作面板203是以视觉辨认的方式载置显示于显示面板202的显示面上的图像,并检测通过用户的手指或触控笔操作的一个或多个坐标的器件。若通过用户的手指或触控笔而操作该器件,则将因操作而产生的检测信号输出到主控制部220。接着,主控制部220根据接收到的检测信号检测显示面板202上的操作位置(坐标)。
如图13所示,作为本发明的摄像装置的一实施方式而例示的智能手机200的显示面板202与操作面板203成为一体而构成显示输入部204,成为操作面板203完全覆盖显示面板202的配置。
在采用了这种配置的情况下,操作面板203可以具备对除了显示面板202以外的区域也检测用户操作的功能。换言之,操作面板203可以具备关于重叠于显示面板202的重叠部分的检测区域(以下,称作显示区域)和关于除此以外的不重叠于显示面板202的外缘部分的检测区域(以下,称作非显示区域)。
另外,可以使显示区域的大小与显示面板202的大小完全一致,但无需一定使两者一致。并且,操作面板203可以具备外缘部分和除此以外的内侧部分两个感应区域。
另外,外缘部分的宽度可以根据框体201的大小等适当地设计。而且,作为在操作面板203中采用的位置检测方式,可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式或静电电容方式等,也能够采用任一种方式。
通话部211具备扬声器205或麦克风206,将通过麦克风206输入的用户的语音转换成通过主控制部220能够处理的语音数据并输入到主控制部220,或者将由无线通信部210或外部输入输出部213接收到的语音数据进行解密并从扬声器205输出。
并且,如图13所示,例如,能够将扬声器205搭载于与设置有显示输入部204的面相同的面上,并能够将麦克风206搭载于框体201的侧面。
操作部207为使用了键开关等的硬件键,其接收来自用户的指示。例如,如图13所示,操作部207为按钮式开关,其搭载于智能手机200的框体201的侧面,若用手指等按下则开启,若手指离开则通过弹簧等恢复力而成为关闭状态。
存储部212存储主控制部220的控制程序或控制数据、应用软件、将通信对方的名称或电话号码等建立对应关联的地址数据、收发的电子邮件的数据、通过网页浏览而下载的Web数据、所下载的内容数据,并且临时存储流数据等。
并且,存储部212由智能手机内置的内部存储部217和具有装卸自如的外部存储器用的插槽的外部存储部218构成。另外,构成存储部212的各个内部存储部217和外部存储部218使用闪存类型(flash memory type)、硬盘类型(hard disk type)、微型多媒体卡类型(multimedia card micro type)、卡类型存储器(例如MicroSD(注册商标)存储器等)、RAM(Random Access Memory:随机存取存储器)、ROM(Read Only Memory:只读存储器)等存储介质而实现。
外部输入输出部213发挥与连接于智能手机200的所有外部设备的接口的作用,用于通过通信等(例如通用串行总线(USB)、IEEE1394等)或网络(例如因特网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification:射频识别)、红外线通信(Infrared Data Association:IrDA)(注册商标)、UWB(Ultra Wideband:超宽带)(注册商标)、紫蜂(ZigBee)(注册商标)等)而直接或间接地连接于其他外部设备。
作为连接于智能手机200上的外部设备,例如有:有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插槽而连接的存储卡(Memory Card)或SIM(Subscriber Identity Module Card:用户识别模块卡)/UIM(User Identity ModuleCard:用户身份模块卡)卡、经由音频/视频I/O(Input/Output:输入/输出)端子而连接的外部音频/视频设备、无线连接的外部音频/视频设备、有线/无线连接的智能手机、有/无线连接的个人计算机、有线/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部213能够将从这种外部设备接收到传送的数据传递至智能手机200内部的各构成要件,或者能够使智能手机200内部的数据传送到外部设备。
GPS接收部214按照主控制部220的指示而接收从GPS卫星ST1~STn发送的GPS信号,根据接收到的多个GPS信号执行测位运算处理,并检测由智能手机200的纬度、经度、高度构成的位置。GPS接收部214在能够从无线通信部210或外部输入输出部213(例如无线LAN)获取位置信息时,也能够使用该位置信息检测位置。
运动传感器部215例如具备3轴加速度传感器等,按照主控制部220的指示而检测智能手机200的物理移动。通过检测智能手机200的物理移动而检测智能手机200的移动方向或加速度。该检测结果被输出到主控制部220。
电源部216按照主控制部220的指示,向智能手机200的各部供应蓄存在电池(未图示)中的电力。
主控制部220具备微处理器,按照存储部212存储的控制程序或控制数据进行工作,对智能手机200的各部进行总括控制。并且,主控制部220通过无线通信部210而进行语音通信或数据通信,因此具备控制通信系统的各部的移动通信控制功能和应用处理功能。
应用处理功能是通过主控制部220按照存储部212存储的应用软件进行工作而实现的。作为应用处理功能,例如有控制外部输入输出部213而与对置设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能或浏览网页的网页浏览功能等。
并且,主控制部220具备根据接收数据或所下载的流数据等图像数据(静态图像或动态图像的数据)将影像显示于显示输入部204等的图像处理功能。图像处理功能是指如下功能:主控制部220将上述图像数据进行解密,并对该解密结果实施图像处理,从而将图像显示于显示输入部204。
而且,主控制部220执行对显示面板202的显示控制和检测通过操作部207及操作面板203进行的用户操作的操作检测控制。通过执行显示控制,主控制部220显示用于启动应用软件的图标或滚动条等软件键,或者显示用于制作电子邮件的窗口。
另外,滚动条是指软件键,其关于无法完全收进显示面板202的显示区域中的大的图像等,用于接收移动态图像的显示部分的指示。
并且,通过执行操作检测控制,主控制部220检测通过操作部207进行的用户操作,通过操作面板203而接收对上述图标的操作或对上述窗口的输入栏的字符串的输入,或者接收通过滚动条进行的显示图像的滚动请求。
而且,通过操作检测控制的执行,主控制部220判定对操作面板203的操作位置是与显示面板202重叠的重叠部分(显示区域),还是除此以外的不与显示面板202重叠的外缘部分(非显示区域),具备对操作面板203的感应区域或软件键的显示位置进行控制的触摸面板控制功能。
并且,主控制部220也能够检测对操作面板203的手势操作,并根据检测到的手势操作执行预先设定的功能。手势操作不是以往的简单的触摸操作,而是通过手指等绘制轨迹,或者同时指定多个位置,或者组合这些从多个位置中至少对1个位置绘制轨迹的操作。
相机部208包括除了图1所示的数码相机中的外部存储器控制部20、存储介质21、显示驱动器22、显示部23及操作部14以外的结构。通过相机部208而生成的摄像图像数据能够记录在存储部212,或者通过外部输入输出部213或无线通信部210而输出。
在图13所示的智能手机200中,相机部208搭载于与显示输入部204相同的面上,但相机部208的搭载位置并不限定于此,也可以搭载于显示输入部204的背面。
并且,相机部208能够利用于智能手机200的各种功能中。例如在显示面板202上能够显示在相机部208中获取的图像,或者作为操作面板203的操作输入之一而能够利用相机部208的图像。
并且,在GPS接收部214在检测位置时,也能够参考来自相机部208的图像而检测位置。进而,也能够参考来自相机部208的图像,不使用3轴加速度传感器,或者并用3轴加速度传感器而判断智能手机200的相机部208的光轴方向,或者判断当前的使用环境。当然,也能够将来自相机部208的图像利用于应用软件内。
此外,也能够在静态图像或动画的图像数据中附加由GPS接收部214获取的位置信息、由麦克风206获取的语音信息(也可以由主控制部等进行语音文本转换而成为文本信息)、由运动传感器部215获取的姿势信息等记录在存储部212,或者通过外部输入输出部213或无线通信部210而输出。
在如上所述结构的智能手机200中,通过图7~图10所示的动作,能够高速显示高品质的后浏览图像,进而,当连拍模式时,能够进行高速的对焦控制。
在上述实施方式及各变形例中,例举了在行方向X上检测相位差的情况,但在列方向Y上检测相位差的情况下,同样地能够适用本发明。
在上述实施方式及各变形例中,作为成像元件5而使用MOS型成像元件,但即使使用CCD型成像元件也能够获得相同的效果。
并且,也能够使用如下类型的成像元件5,即,其具有保持各像素积蓄在光电转换部中的电荷的电荷保持部,将保持在该电荷保持部中的电荷传送到浮动扩散区并读取摄像信号。在使用该类型的成像元件的情况下不需要机械快门3。
如上说明,本说明书中公开有以下内容。
(1)一种摄像装置,其具备:
成像元件,由在单方向上排列的多个光电转换部构成的多个像素行具有在与上述单方向正交的方向上排列的受光面,上述多个像素行中包括:多个第一光电转换部,接收一对光束中的一方,该一对光束穿过在包括聚焦透镜的摄像光学系统的光瞳区域的单方向上排列的不同的部分;多个第二光电转换部,接收上述一对光束中的另一方;及多个第三光电转换部,接收上述一对光束双方;
驱动控制部,对包括上述多个第一光电转换部、上述多个第二光电转换部及上述多个第三光电转换部的光电转换部组进行曝光,并根据摄像指示进行从上述成像元件分成多个场期间读取摄像信号组的驱动控制,该摄像信号组包括通过上述曝光在上述多个第一光电转换部的各第一光电转换部中被光电转换的摄像信号、通过上述曝光在上述多个第二光电转换部的各第二光电转换部中被光电转换的摄像信号、及通过上述曝光在上述多个第三光电转换部的各第三光电转换部中被光电转换的摄像信号;
图像处理部,处理从上述成像元件读取的上述摄像信号组而生成摄像图像数据,并将上述摄像图像数据存储于存储介质;
显示用图像数据生成部,在上述多个场期间中的最初的场期间,处理从上述成像元件读取的第一摄像信号组而生成第一显示用图像数据,在上述最初的场期间的下一个场期间,处理从上述成像元件读取的第二摄像信号组而生成第二显示用图像数据;
显示控制部,在显示部显示基于上述第一显示用图像数据的第一图像之后,将上述第一图像切换为基于上述第二显示用图像数据的第二图像,
上述驱动控制部在上述最初的场期间,从上述第一光电转换部和上述第二光电转换部的多个配对和多个上述第三光电转换部读取摄像信号,在上述下一个场期间,从多个上述第三光电转换部读取摄像信号。
(2)根据(1)所述的摄像装置,其中,上述显示用图像数据生成部对上述第一摄像信号组进行信号处理,该信号处理用于将上述第一摄像信号组中的从上述第一光电转换部读取的第一摄像信号及从上述第二光电转换部读取的第二摄像信号的各摄像信号作为从上述第三光电转换部读取的摄像信号进行处理,并根据上述信号处理后的上述第一摄像信号组生成上述第一显示用图像数据。
(3)根据(2)所述的摄像装置,其中,上述信号处理为如下处理:将上述第一摄像信号取代为从位于作为上述第一摄像信号的读取来源的上述第一光电转换部的周围的上述第三光电转换部读取的摄像信号或根据该摄像信号生成的摄像信号,将上述第二摄像信号取代为从位于作为上述第二摄像信号的读取来源的上述第二光电转换部的周围的上述第三光电转换部读取的摄像信号或根据该摄像信号生成的信号。
(4)根据(2)所述的摄像装置,其中,上述信号处理为如下处理:对上述第一摄像信号相乘增益,对上述第二摄像信号相乘增益。
(5)根据(1)~(4)中任一项所述的摄像装置,其中,上述驱动控制部在上述最初的场期间,从上述第一光电转换部和上述第二光电转换部的所有配对和多个上述第三光电转换部读取摄像信号。
(6)根据(1)~(4)中任一项所述的摄像装置,其中,上述驱动控制部将上述摄像信号组分成3个以上的场期间进行读取,在上述3个以上的场期间的最初的场期间,从上述第一光电转换部和上述第二光电转换部的所有配对中的一部分配对和多个上述第三光电转换部读取摄像信号,在上述3个以上的场期间的第2个场期间,从多个上述第三光电转换部读取摄像信号,在上述3个以上的场期间的第3个以后的场期间,从上述所有配对中的剩余的上述配对和剩余的上述第三光电转换部读取摄像信号。
(7)根据(1)~(6)中任一项所述的摄像装置,其还具备对焦控制部,该对焦控制部在完成从上述成像元件读取上述摄像信号组之前,根据上述第一摄像信号组中的从上述第一光电转换部读取的第一摄像信号及从上述第二光电转换部读取的第二摄像信号控制上述聚焦透镜,从而进行上述摄像光学系统的对焦控制。
(8)根据(1)~(7)中任一项所述的摄像装置,其中,具有根据上述摄像指示连续进行多次上述驱动控制的连拍模式,上述显示控制部在上述连拍模式时,在从基于上述多次上述驱动控制的各驱动控制的上述曝光开始至上述第一图像的显示开始为止之间使上述显示部遮光。
(9)根据(1)~(7)中任一项所述的摄像装置,其中,具有根据上述摄像指示连续进行多次上述驱动控制的连拍模式,上述显示控制部在上述连拍模式时,在从基于上述多次的上述驱动控制中的最初的驱动控制的上述曝光开始至上述第一图像的显示开始为止之间使上述显示部遮光,在从基于上述多次的上述驱动控制中的第2次以后的驱动控制的上述曝光开始至上述第一图像的显示开始为止之间,继续显示在上述显示部显示中的上述第二图像。
(10)根据(1)~(9)中的任一项所述的摄像装置,其中,上述驱动控制部在上述多个场期间的各个场期间,从多个上述像素行中所包含的光电转换部读取摄像信号,在上述最初的场期间中从上述成像元件读取摄像信号的上述像素行和在上述下一个场期间从上述成像元件读取摄像信号的上述像素行相邻。
(11)根据(1)~(10)中任一项所述的摄像装置,其中,上述驱动控制部在进行除了上述驱动控制的期间以外的非存储期间,对上述光电转换部组进行曝光,并进行从上述成像元件读取摄像信号的即时预览用驱动控制,该摄像信号通过将上述光电转换部组中所包含的所有上述光电转换部的N设为自然数的1/N的上述光电转换部在所述曝光中被光电转换,根据上述摄像指示进行的上述驱动控制中的上述多个场期间的数量与上述N相同。
(12)根据(1)~(11)中任一项所述的摄像装置,其中,上述成像元件中所包含的所有上述光电转换部按照拜耳排列而配置,根据上述摄像指示进行的上述驱动控制中的上述多个场期间的数量为3以上的奇数。
(13)根据(12)所述的摄像装置,其中,上述多个像素行包括:包含上述第一光电转换部和上述第二光电转换部的配对的像素行;及仅包含上述第三光电转换部的像素行,在将上述多个场期间的数量设为n、且将m设为2以上的自然数的情况下,包含上述配对的上述像素行每隔{(n×m)-1}个而配置。
(14)根据(1)~(11)中任一项所述的摄像装置,其中,上述成像元件中所包含的所有上述光电转换部按照特定的排列而配置,上述特定的排列为如下:分别包含接收最有助于亮度成分的第一色的光的5个第四光电转换部、接收与上述第一色不同的第二色的光的两个第五光电转换部、接收与上述第一色及上述第二色不同的第三色的光的两个第六光电转换部的第一单元及第二单元在上述单方向和与其正交的方向上呈相间方格状配置,上述第一单元构成为如下:上述第四光电转换部和上述第五光电转换部和上述第四光电转换部在上述单方向上排列的第一行、上述第六光电转换部和上述第四光电转换部和上述第六光电转换部在上述单方向上排列的第二行、及上述第一行在与上述单方向正交的方向上排列,上述第二单元构成为如下:上述第四光电转换部和上述第六光电转换部和上述第四光电转换部在上述单方向上排列的第三行、上述第五光电转换部和上述第四光电转换部和上述第五光电转换部在上述单方向上排列的第四行、上述第三行在与上述单方向正交的方向上排列,根据上述摄像指示进行的上述驱动控制中的上述多个场期间的数量为偶数。
(15)根据(14)所述的摄像装置,其中,上述多个像素行包括:包含上述第一光电转换部和上述第二光电转换部的配对的像素行;及仅包含上述第三光电转换部的像素行,在将上述多个场期间的数量设为n、且将m设为2以上的自然数的情况下,包含上述配对的上述像素行每隔{(n×m)-1}个而配置。
(16)一种摄像方法,其为使用成像元件拍摄被摄体的摄像方法,所述成像元件由在单方向上排列的多个光电转换部构成的多个像素行具有在与上述单方向正交的方向上排列的受光面,上述多个像素行中包括:多个第一光电转换部,接收一对光束中的一方,该一对光束穿过在包括聚焦透镜的摄像光学系统的光瞳区域的单方向上排列的不同的部分;多个第二光电转换部,接收上述一对光束中的另一方;及多个第三光电转换部,接收上述一对光束双方;
所述摄像方法具备:
驱动控制步骤,对包括上述多个第一光电转换部、上述多个第二光电转换部及上述多个第三光电转换部的光电转换部组进行曝光,并根据摄像指示进行从上述成像元件分成多个场期间读取摄像信号组的驱动控制,该摄像信号组包括通过上述曝光在上述多个第一光电转换部的各第一光电转换部中被光电转换的摄像信号、通过上述曝光在上述多个第二光电转换部的各第二光电转换部中被光电转换的摄像信号、及通过上述曝光在上述多个第三光电转换部的各第三光电转换部中被光电转换的摄像信号;
图像处理步骤,处理从上述成像元件读取的上述摄像信号组而生成摄像图像数据,并将上述摄像图像数据存储于存储介质;
显示用图像数据生成步骤,在上述多个场期间中的最初的场期间,处理从上述成像元件读取的第一摄像信号组而生成第一显示用图像数据,在上述最初的场期间的下一个场期间,处理从上述成像元件读取的第二摄像信号组而生成第二显示用图像数据;
显示控制步骤,在显示部显示基于上述第一显示用图像数据的第一图像之后,将上述第一图像切换为基于上述第二显示用图像数据的第二图像,
上述驱动控制步骤在上述最初的场期间,从上述第一光电转换部和上述第二光电转换部的多个配对和多个上述第三光电转换部读取摄像信号,在上述下一个场期间,从多个上述第三光电转换部读取摄像信号。
(17)根据(16)所述的摄像方法,其中,在上述显示用图像数据生成步骤中,对上述第一摄像信号组进行信号处理,该信号处理用于将上述第一摄像信号组中的从上述第一光电转换部读取的第一摄像信号及从上述第二光电转换部读取的第二摄像信号的各摄像信号作为从上述第三光电转换部读取的摄像信号进行处理,根据上述信号处理后的上述第一摄像信号组生成上述第一显示用图像数据。
(18)根据(17)所述的摄像方法,其中,
上述信号处理为如下处理:将上述第一摄像信号取代为从位于上述第一摄像信号的读取来源的上述第一光电转换部的周围的上述第三光电转换部读取的摄像信号或根据该摄像信号生成的摄像信号,将上述第二摄像信号取代为从位于上述第二摄像信号的读取来源的上述第二光电转换部的周围的上述第三光电转换部读取的摄像信号或根据该摄像信号生成的信号。
(19)根据(17)所述的摄像方法,其中,上述信号处理为如下处理:对上述第一摄像信号相乘增益,对上述第二摄像信号相乘增益。
(20)根据(16)~(19)中任一项所述的摄像方法,其中,在上述驱动控制步骤中,在上述最初的场期间,从上述第一光电转换部和上述第二光电转换部的所有配对和多个上述第三光电转换部读取摄像信号。
(21)根据(16)~(19)中任一项所述的摄像方法,其中,在上述驱动控制步骤中,将上述摄像信号组分成3个以上的场期间进行读取,在上述3个以上的场期间的最初的场期间,从上述第一光电转换部和上述第二光电转换部的所有配对中的一部分配对和多个上述第三光电转换部读取摄像信号,在上述3个以上的场期间的第2个场期间,从多个上述第三光电转换部读取摄像信号,在上述3个以上的场期间的第3个以后的场期间,从上述所有配对中的剩余的配对和剩余的上述第三光电转换部读取摄像信号。
(22)根据(16)~(21)中任一项所述的摄像方法,其具备对焦控制步骤,即,在完成从上述成像元件读取上述摄像信号组之前,根据上述第一摄像信号组中的从上述第一光电转换部读取的第一摄像信号及从上述第二光电转换部读取的第二摄像信号控制上述聚焦透镜,从而进行上述摄像光学系统的对焦控制。
(23)根据(16)~(22)中任一项所述的摄像方法,在根据上述摄像指示连续进行多次的上述驱动控制的连拍模式中,在上述显示控制步骤中,从基于上述多次的上述驱动控制中的各驱动控制的上述曝光开始至上述第一图像的显示开始为止之间使上述显示部遮光。
(24)根据(16)~(22)中任一项所述的摄像方法,其中,在根据上述摄像指示连续进行多次的上述驱动控制的连拍模式中,在上述显示控制步骤中,从基于上述多次的上述驱动控制中的最初的驱动控制的上述曝光开始至上述第一图像的显示开始为止之间使上述显示部遮光,从基于上述多次的上述驱动控制中的第2次以后的驱动控制的上述曝光开始至上述第一图像的显示开始为止之间,继续显示在上述显示部显示中的上述第二图像。
(25)根据(16)~(24)中任一项所述的摄像方法,其中,在上述驱动控制步骤中,在上述多个场期间的各个场期间从多个上述像素行中所包含的光电转换部读取摄像信号,在上述最初的场期间从上述成像元件读取摄像信号的上述像素行和在上述下一个期间从上述成像元件读取摄像信号的上述像素行相邻。
(26)根据(16)~(25)中任一项所述的摄像方法,其中,在上述驱动控制步骤中,在进行除了上述驱动控制的期间以外的非存储期间,对上述光电转换部组进行曝光,并进行从上述成像元件读取摄像信号的即时预览用驱动控制,该摄像信号通过将在上述光电转换部组中所包含的所有上述光电转换部的N设为自然数的1/N的上述光电转换部在所述曝光中被光电转换,根据上述摄像指示进行的上述驱动控制中的上述多个场期间的数量与上述N相同。
(27)根据(16)~(26)中任一项所述的摄像方法,其中,上述成像元件中所包含的所有上述光电转换部按照拜耳排列而配置,根据上述摄像指示进行的上述驱动控制中的上述多个场期间的数量为3以上的奇数。
(28)根据(27)所述的摄像方法,其中,上述多个像素行包括:包含上述第一光电转换部和上述第二光电转换部的配对的像素行;及仅包含上述第三光电转换部的像素行,在将上述多个场期间的数量设为n、且将m设为2以上的自然数的情况下,包含上述配对的上述像素行每隔{(n×m)-1}个而配置。
(29)根据(16)~(26)中任一项所述的摄像方法,其中,上述成像元件中所包含的所有上述光电转换部按照特定的排列而配置,上述特定的排列为如下:分别包含接收最有助于亮度成分的第一色的光的5个第四光电转换部、接收与上述第一色不同的第二色的光的两个第五光电转换部、接收与上述第一色及上述第二色不同的第三色的光的两个第六光电转换部的第一单元及第二单元在上述单方向和与其正交的方向上呈相间方格状配置,上述第一单元构成为如下:上述第四光电转换部和上述第五光电转换部和上述第四光电转换部在上述单方向上排列的第一行、上述第六光电转换部和上述第四光电转换部和上述第六光电转换部在上述单方向上排列的第二行、上述第一行在与上述单方向正交的方向上排列,上述第二单元构成为如下:上述第四光电转换部和上述第六光电转换部和上述第四光电转换部在上述单方向上排列的第三行、上述第五光电转换部和上述第四光电转换部和上述第五光电转换部在上述单方向上排列的第四行、上述第三行在与上述单方向正交的方向上排列,根据上述摄像指示进行的上述驱动控制中的上述多个场期间的数量为偶数。
(30)根据(29)所述的摄像方法,其中,上述多个像素行包括:包含上述第一光电转换部和上述第二光电转换部的配对的像素行;及仅包含上述第三光电转换部的像素行,在将上述多个场期间的数量设为n、且将m设为2以上的自然数的情况下,包含上述配对的上述像素行每隔{(n×m)-1}个而配置。
(31)一种摄像程序,其为使用成像元件拍摄被摄体的摄像程序,所述成像元件由在单方向上排列的多个光电转换部构成的多个像素行具有在与上述单方向正交的方向上排列的受光面,上述多个像素行中包括:多个第一光电转换部,接收一对光束中的一方,该一对光束穿过在包括聚焦透镜的摄像光学系统的光瞳区域的单方向上排列的不同的部分;多个第二光电转换部,接收上述一对光束中的另一方;及多个第三光电转换部,接收上述一对光束双方;
所述摄像程序具备:
驱动控制步骤,对包括上述多个第一光电转换部、上述多个第二光电转换部及上述多个第三光电转换部的光电转换部组进行曝光,并根据摄像指示进行从上述成像元件分成多个场期间读取摄像信号组的驱动控制,该摄像信号组包括通过上述曝光在上述多个第一光电转换部的各第一光电转换部中被光电转换的摄像信号、通过上述曝光在上述多个第二光电转换部的各第二光电转换部中被光电转换的摄像信号、及通过上述曝光在上述多个第三光电转换部的各第三光电转换部中被光电转换的摄像信号;
图像处理步骤,处理从上述成像元件读取的上述摄像信号组而生成摄像图像数据,并将上述摄像图像数据存储于存储介质;
显示用图像数据生成步骤,在上述多个场期间中的最初的场期间,处理从上述成像元件读取的第一摄像信号组而生成第一显示用图像数据,在上述最初的场期间的下一个场期间,处理从上述成像元件读取的第二摄像信号组而生成第二显示用图像数据;
显示控制步骤,在显示部显示基于上述第一显示用图像数据的第一图像之后,将上述第一图像切换为基于上述第二显示用图像数据的第二图像,
上述驱动控制步骤在上述最初的场期间,从上述第一光电转换部和上述第二光电转换部的多个配对和多个上述第三光电转换部读取摄像信号,在上述下一个场期间,从多个上述第三光电转换部读取摄像信号。
产业上的可利用性
根据本发明,能够提供一种能够存储高分辨率的摄像图像数据,并能够在显示部立即确认该摄像图像数据的摄像装置、摄像方法及摄像程序。
以上,通过特定的实施方式对本发明进行了说明,但本发明并不限定于该实施方式,在不脱离所公开的发明的技术思想的范围内能够进行各种变形。
本申请主张基于2016年11月9日申请的日本专利申请(特愿2016-219037),在此引用其内容。
符号说明
100-数码相机,1-摄像透镜,2-光圈,3-机械快门,4-透镜控制部,5-成像元件,6-快门驱动部,8-透镜驱动部,9-光圈驱动部,40-透镜装置,10-成像元件驱动部,11-系统控制部,11A-驱动控制部,11B-对焦控制部,14-操作部,17-数字信号处理部,17A-图像处理部,17B-显示用图像数据生成部,17C-显示控制部,20-外部存储器控制部,21-存储介质,22-显示驱动器,23-显示部,24-控制总线,25-数据总线,60-受光面,61-像素,62-像素行,63-驱动电路,64-信号处理电路,X-行方向,Y-列方向,F1~F5-场,f1、f2-像素组,61r、61g、61b-摄像用像素,61R、61L相位差检测用像素,P-配对,PL-相位差检测像素行,R1、R2-表示复位时刻的直线,f1a-表示从场F1读取摄像信号的时刻的直线,f2a-表示从场F2读取摄像信号的时刻的直线,f3a-表示从场F3读取摄像信号的时刻的直线,f4a-表示从场F4读取摄像信号的时刻的直线,f5a-表示从场F5读取摄像信号的时刻的直线,BO-表示显示停止时刻的直线,DR、DR1、DR2-表示绘制时刻的直线,LV-即时预览序列,EX-静态图像曝光序列,RE-静态图像读取序列,U1、U2-单元,200-智能手机,201-框体,202-显示面板,203-操作面板,204-显示输入部,205-扬声器,206-麦克风,207-操作部,208-相机部,210-无线通信部,211-通话部,212-存储部,213-外部输入输出部,214-GPS接收部,215-动作传感器部,216-电源部,217-内部存储部,218-外部存储部,220-主控制部,ST1~STn-GPS卫星。

Claims (31)

1.一种摄像装置,其具备:
成像元件,具有由在单方向上排列的多个光电转换部构成的多个像素行在与所述单方向正交的方向上排列的受光面,所述多个像素行中包括:多个第一光电转换部,接收一对光束中的一方,该一对光束穿过在包括聚焦透镜的摄像光学系统的光瞳区域的单方向上排列的不同的部分;多个第二光电转换部,接收所述一对光束中的另一方;及多个第三光电转换部,接收所述一对光束双方;
驱动控制部,对包括所述多个第一光电转换部、所述多个第二光电转换部及所述多个第三光电转换部的光电转换部组进行曝光,并根据摄像指示进行将所述成像元件分成多个场期间读取摄像信号组的驱动控制,在将所述多个场期间的数量设为n的情况下,在所述多个场期间的各个场期间中包含以(n-1)行的间隔被配置的多个像素行,该摄像信号组包括通过所述曝光而在所述多个第一光电转换部的各第一光电转换部中被光电转换的摄像信号、通过所述曝光而在所述多个第二光电转换部的各第二光电转换部中被光电转换的摄像信号、及通过所述曝光而在所述多个第三光电转换部的各第三光电转换部中被光电转换的摄像信号;
图像处理部,处理从所述成像元件读取的所述摄像信号组而生成摄像图像数据,并将所述摄像图像数据存储于存储介质;
显示用图像数据生成部,在所述多个场期间中的最初的场期间,处理从所述成像元件读取的第一摄像信号组而生成第一显示用图像数据,在所述最初的场期间的下一个场期间,处理从所述成像元件读取的第二摄像信号组而生成第二显示用图像数据;
显示控制部,在显示部显示基于所述第一显示用图像数据的第一图像之后,将所述第一图像切换为基于所述第二显示用图像数据的第二图像,
所述驱动控制部在所述最初的场期间,从所述第一光电转换部和所述第二光电转换部的多个配对和多个所述第三光电转换部读取摄像信号,在所述下一个场期间,从多个所述第三光电转换部读取摄像信号。
2.根据权利要求1所述的摄像装置,其中,
所述显示用图像数据生成部对所述第一摄像信号组进行信号处理,该信号处理用于将所述第一摄像信号组中的从所述第一光电转换部读取的第一摄像信号及从所述第二光电转换部读取的第二摄像信号的各摄像信号作为从所述第三光电转换部读取的摄像信号进行处理,并根据所述信号处理后的所述第一摄像信号组生成所述第一显示用图像数据。
3.根据权利要求2所述的摄像装置,其中,
所述信号处理为如下处理:将所述第一摄像信号取代为从位于作为所述第一摄像信号的读取来源的所述第一光电转换部的周围的所述第三光电转换部读取的摄像信号或根据该摄像信号生成的摄像信号,将所述第二摄像信号取代为从位于作为所述第二摄像信号的读取来源的所述第二光电转换部的周围的所述第三光电转换部读取的摄像信号或根据该摄像信号生成的信号。
4.根据权利要求2所述的摄像装置,其中,
所述信号处理为如下处理:对所述第一摄像信号相乘增益,对所述第二摄像信号相乘增益。
5.根据权利要求1至4中任一项所述的摄像装置,其中,
所述驱动控制部在所述最初的场期间,从所述第一光电转换部和所述第二光电转换部的所有配对和多个所述第三光电转换部读取摄像信号。
6.根据权利要求1至4中任一项所述的摄像装置,其中,
所述驱动控制部将所述摄像信号组分成3个以上的场期间进行读取,在所述3个以上的场期间的最初的场期间,从所述第一光电转换部和所述第二光电转换部的所有配对中的一部分配对和多个所述第三光电转换部读取摄像信号,在所述3个以上的场期间的第2个场期间,从多个所述第三光电转换部读取摄像信号,在所述3个以上的场期间的第3个以后的场期间,从所述所有配对中的剩余的所述配对和剩余的所述第三光电转换部读取摄像信号。
7.根据权利要求1至4中任一项所述的摄像装置,其还具备:
对焦控制部,在完成从所述成像元件读取所述摄像信号组之前,根据所述第一摄像信号组中的从所述第一光电转换部读取的第一摄像信号及从所述第二光电转换部读取的第二摄像信号控制所述聚焦透镜,从而进行所述摄像光学系统的对焦控制。
8.根据权利要求1至4中任一项所述的摄像装置,其中,
具有根据所述摄像指示连续进行多次所述驱动控制的连拍模式,
所述显示控制部在所述连拍模式时,在从基于所述多次所述驱动控制的各驱动控制的所述曝光开始至所述第一图像的显示开始为止之间使所述显示部遮光。
9.根据权利要求1至4中任一项所述的摄像装置,其中,
具有根据所述摄像指示连续进行多次所述驱动控制的连拍模式,
所述显示控制部在所述连拍模式时,在从基于所述多次的所述驱动控制中的最初的驱动控制的所述曝光开始至所述第一图像的显示开始为止之间使所述显示部遮光,在从基于所述多次的所述驱动控制中的第2次以后的驱动控制的所述曝光开始至第2次以后的驱动控制中的所述第一图像的显示开始为止之间,继续显示在所述显示部显示中的上一次的驱动控制中的所述第二图像。
10.根据权利要求1至4中任一项所述的摄像装置,其中,
所述驱动控制部在所述多个场期间的各个场期间,从多个所述像素行中所包含的光电转换部读取摄像信号,
在所述最初的场期间从所述成像元件读取摄像信号的所述像素行与在所述下一个场期间从所述成像元件读取摄像信号的所述像素行相邻。
11.根据权利要求1至4中任一项所述的摄像装置,其中,
所述驱动控制部在除了进行所述驱动控制的期间以外的非存储期间,对所述光电转换部组进行曝光,并进行从所述成像元件读取摄像信号的即时预览用驱动控制,该摄像信号通过所述光电转换部组中所包含的所有所述光电转换部的将N设为自然数的1/N的所述光电转换部在该曝光中被光电转换,
根据所述摄像指示进行的所述驱动控制中的所述多个场期间的数量与所述N相同。
12.根据权利要求1至4中任一项所述的摄像装置,其中,
所述成像元件中所包含的所有所述光电转换部按照拜耳排列而配置,
根据所述摄像指示进行的所述驱动控制中的所述多个场期间的数量为3以上的奇数。
13.根据权利要求12所述的摄像装置,其中,
所述多个像素行包括:包含所述第一光电转换部和所述第二光电转换部的配对的像素行;及仅包含所述第三光电转换部的像素行,
在将m设为2以上的自然数的情况下,包含所述配对的所述像素行每隔{(n×m)-1}个而配置。
14.根据权利要求1至4中任一项所述的摄像装置,其中,
所述成像元件中所包含的所有所述光电转换部按照特定的排列而配置,
所述特定的排列为如下:分别包含接收最有助于亮度成分的第一色的光的5个第四光电转换部、接收与所述第一色不同的第二色的光的两个第五光电转换部、接收与所述第一色及所述第二色不同的第三色的光的两个第六光电转换部的第一单元及第二单元在所述单方向和与其正交的方向上呈相间方格状配置,
所述第一单元构成为如下:所述第四光电转换部和所述第五光电转换部及所述第四光电转换部在所述单方向上排列的第一行、所述第六光电转换部和所述第四光电转换部及所述第六光电转换部在所述单方向上排列的第二行、及所述第一行在与所述单方向正交的方向上排列,
所述第二单元构成为如下:所述第四光电转换部和所述第六光电转换部及所述第四光电转换部在所述单方向上排列的第三行、所述第五光电转换部和所述第四光电转换部及所述第五光电转换部在所述单方向上排列的第四行、及所述第三行在与所述单方向正交的方向上排列,
根据所述摄像指示进行的所述驱动控制中的所述多个场期间的数量为2以上的偶数。
15.根据权利要求14所述的摄像装置,其中,
所述多个像素行包括:包含所述第一光电转换部和所述第二光电转换部的配对的像素行;及仅包含所述第三光电转换部的像素行,
在将m设为2以上的自然数的情况下,包含所述配对的所述像素行每隔{(n×m)-1}个而配置。
16.一种摄像方法,其为使用成像元件拍摄被摄体的摄像方法,所述成像元件具有由在单方向上排列的多个光电转换部构成的多个像素行在与所述单方向正交的方向上排列的受光面,所述多个像素行中包括:多个第一光电转换部,接收一对光束中的一方,该一对光束穿过在包括聚焦透镜的摄像光学系统的光瞳区域的单方向上排列的不同的部分;多个第二光电转换部,接收所述一对光束中的另一方;及多个第三光电转换部,接收所述一对光束双方;
所述摄像方法具备:
驱动控制步骤,对包括所述多个第一光电转换部、所述多个第二光电转换部及所述多个第三光电转换部的光电转换部组进行曝光,并根据摄像指示进行将所述成像元件分成多个场期间读取摄像信号组的驱动控制,在将所述多个场期间的数量设为n的情况下,在所述多个场期间的各个场期间中包含以(n-1)行的间隔被配置的多个像素行,该摄像信号组包括通过所述曝光而在所述多个第一光电转换部的各第一光电转换部中被光电转换的摄像信号、通过所述曝光而在所述多个第二光电转换部的各第二光电转换部中被光电转换的摄像信号、及通过所述曝光而在所述多个第三光电转换部的各第三光电转换部中被光电转换的摄像信号;
图像处理步骤,处理从所述成像元件读取的所述摄像信号组而生成摄像图像数据,并将所述摄像图像数据存储于存储介质;
显示用图像数据生成步骤,在所述多个场期间中的最初的场期间,处理从所述成像元件读取的第一摄像信号组而生成第一显示用图像数据,在所述最初的场期间的下一个场期间,处理从所述成像元件读取的第二摄像信号组而生成第二显示用图像数据;
显示控制步骤,在显示部显示基于所述第一显示用图像数据的第一图像之后,将所述第一图像切换为基于所述第二显示用图像数据的第二图像,
所述驱动控制步骤在所述最初的场期间,从所述第一光电转换部和所述第二光电转换部的多个配对和多个所述第三光电转换部读取摄像信号,在所述下一个场期间,从多个所述第三光电转换部读取摄像信号。
17.根据权利要求16所述的摄像方法,其中,
在所述显示用图像数据生成步骤中,对所述第一摄像信号组进行信号处理,该信号处理用于将所述第一摄像信号组中的从所述第一光电转换部读取的第一摄像信号及从所述第二光电转换部读取的第二摄像信号的各摄像信号作为从所述第三光电转换部读取的摄像信号进行处理,并根据所述信号处理后的所述第一摄像信号组生成所述第一显示用图像数据。
18.根据权利要求17所述的摄像方法,其中,
所述信号处理为如下处理:将所述第一摄像信号取代为从位于所述第一摄像信号的读取来源的所述第一光电转换部的周围的所述第三光电转换部读取的摄像信号或根据该摄像信号生成的摄像信号,将所述第二摄像信号取代为从位于所述第二摄像信号的读取来源的所述第二光电转换部的周围的所述第三光电转换部读取的摄像信号或根据该摄像信号生成的信号。
19.根据权利要求17所述的摄像方法,其中,
所述信号处理为如下处理:对所述第一摄像信号相乘增益,对所述第二摄像信号相乘增益。
20.根据权利要求16至19中任一项所述的摄像方法,其中,
在所述驱动控制步骤中,在所述最初的场期间,从所述第一光电转换部和所述第二光电转换部的所有配对和多个所述第三光电转换部读取摄像信号。
21.根据权利要求16至19中任一项所述的摄像方法,其中,
在所述驱动控制步骤中,将所述摄像信号组分成3个以上的场期间进行读取,在所述3个以上的场期间的最初的场期间,从所述第一光电转换部和所述第二光电转换部的所有配对中的一部分配对和多个所述第三光电转换部读取摄像信号,在所述3个以上的场期间的第2个场期间,从多个所述第三光电转换部读取摄像信号,在所述3个以上的场期间的第3个以后的场期间,从所述所有配对中的剩余的配对和剩余的所述第三光电转换部读取摄像信号。
22.根据权利要求16至19中任一项所述的摄像方法,其还具备:
对焦控制步骤,在完成从所述成像元件读取所述摄像信号组之前,根据所述第一摄像信号组中的从所述第一光电转换部读取的第一摄像信号及从所述第二光电转换部读取的第二摄像信号控制所述聚焦透镜,从而进行所述摄像光学系统的对焦控制。
23.根据权利要求16至19中任一项所述的摄像方法,其中,
在根据所述摄像指示连续进行多次的所述驱动控制的连拍模式中,在所述显示控制步骤中,从基于所述多次的所述驱动控制中的各驱动控制的所述曝光开始至所述第一图像的显示开始为止之间使所述显示部遮光。
24.根据权利要求16至19中任一项所述的摄像方法,其中,
在根据所述摄像指示连续进行多次的所述驱动控制的连拍模式中,在所述显示控制步骤中,从基于所述多次的所述驱动控制中的最初的驱动控制的所述曝光开始至所述第一图像的显示开始为止之间使所述显示部遮光,从基于所述多次的所述驱动控制中的第2次以后的驱动控制的所述曝光开始至第2次以后的驱动控制中的所述第一图像的显示开始为止之间,继续显示在所述显示部显示中的上一次的驱动控制中的所述第二图像。
25.根据权利要求16至19中任一项所述的摄像方法,其中,
在所述驱动控制步骤中,在所述多个场期间的各个场期间从多个所述像素行中所包含的光电转换部读取摄像信号,
在所述最初的场期间从所述成像元件读取摄像信号的所述像素行与在所述下一个场期间从所述成像元件读取摄像信号的所述像素行相邻。
26.根据权利要求16至19中任一项所述的摄像方法,其中,
在所述驱动控制步骤中,在除了进行所述驱动控制的期间以外的非存储期间,对所述光电转换部组进行曝光,并进行从所述成像元件读取摄像信号的即时预览用驱动控制,该摄像信号通过在所述光电转换部组中所包含的所有所述光电转换部的将N设为自然数的1/N的所述光电转换部在所述曝光中被光电转换,
根据所述摄像指示进行的所述驱动控制中的所述多个场期间的数量与所述N相同。
27.根据权利要求16至19中任一项所述的摄像方法,其中,
所述成像元件中所包含的所有所述光电转换部按照拜耳排列而配置,
根据所述摄像指示进行的所述驱动控制中的所述多个场期间的数量为3以上的奇数。
28.根据权利要求27所述的摄像方法,其中,
所述多个像素行包括:包含所述第一光电转换部和所述第二光电转换部的配对的像素行;及仅包含所述第三光电转换部的像素行,
在将m设为2以上的自然数的情况下,包含所述配对的所述像素行每隔{(n×m)-1}个而配置。
29.根据权利要求16至19中任一项所述的摄像方法,其中,
所述成像元件中所包含的所有所述光电转换部按照特定的排列而配置,
所述特定的排列为如下:分别包含接收最有助于亮度成分的第一色的光的5个第四光电转换部、接收与所述第一色不同的第二色的光的两个第五光电转换部、接收与所述第一色及所述第二色不同的第三色的光的两个第六光电转换部的第一单元及第二单元在所述单方向和与其正交的方向上呈相间方格状配置,
所述第一单元构成为如下:所述第四光电转换部和所述第五光电转换部及所述第四光电转换部在所述单方向上排列的第一行、所述第六光电转换部和所述第四光电转换部及所述第六光电转换部在所述单方向上排列的第二行、及所述第一行在与所述单方向正交的方向上排列,
所述第二单元构成为如下:所述第四光电转换部和所述第六光电转换部及所述第四光电转换部在所述单方向上排列的第三行、所述第五光电转换部和所述第四光电转换部及所述第五光电转换部在所述单方向上排列的第四行、及所述第三行在与所述单方向正交的方向上排列,
根据所述摄像指示进行的所述驱动控制中的所述多个场期间的数量为2以上的偶数。
30.根据权利要求29所述的摄像方法,其中,
所述多个像素行包括:包含所述第一光电转换部和所述第二光电转换部的配对的像素行;及仅包含所述第三光电转换部的像素行,
在将m设为2以上的自然数的情况下,包含所述配对的所述像素行每隔{(n×m)-1}个而配置。
31.一种记录介质,存储摄像程序,该摄像程序为使用成像元件拍摄被摄体的摄像程序,所述成像元件具有由在单方向上排列的多个光电转换部构成的多个像素行在与所述单方向正交的方向上排列的受光面,所述多个像素行中包括:多个第一光电转换部,接收一对光束中的一方,该一对光束穿过在包括聚焦透镜的摄像光学系统的光瞳区域的单方向上排列的不同的部分;多个第二光电转换部,接收所述一对光束中的另一方;及多个第三光电转换部,接收所述一对光束双方;
所述摄像程序用于使计算机执行:
驱动控制步骤,对包括所述多个第一光电转换部、所述多个第二光电转换部及所述多个第三光电转换部的光电转换部组进行曝光,并根据摄像指示进行将所述成像元件分成多个场期间读取摄像信号组的驱动控制,在将所述多个场期间的数量设为n的情况下,在所述多个场期间的各个场期间中包含以(n-1)行的间隔被配置的多个像素行,该摄像信号组包括通过所述曝光而在所述多个第一光电转换部的各第一光电转换部中被光电转换的摄像信号、通过所述曝光而在所述多个第二光电转换部的各第二光电转换部中被光电转换的摄像信号、及通过所述曝光而在所述多个第三光电转换部的各第三光电转换部中被光电转换的摄像信号;
图像处理步骤,处理从所述成像元件读取的所述摄像信号组而生成摄像图像数据,并将所述摄像图像数据存储于存储介质;
显示用图像数据生成步骤,在所述多个场期间中的最初的场期间,处理从所述成像元件读取的第一摄像信号组而生成第一显示用图像数据,在所述最初的场期间的下一个场期间,处理从所述成像元件读取的第二摄像信号组而生成第二显示用图像数据;
显示控制步骤,在显示部显示基于所述第一显示用图像数据的第一图像之后,将所述第一图像切换为基于所述第二显示用图像数据的第二图像,
所述驱动控制步骤在所述最初的场期间,从所述第一光电转换部和所述第二光电转换部的多个配对和多个所述第三光电转换部读取摄像信号,在所述下一个场期间,从多个所述第三光电转换部读取摄像信号。
CN201780068376.8A 2016-11-09 2017-10-13 摄像装置、摄像方法及记录介质 Active CN109906604B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-219037 2016-11-09
JP2016219037 2016-11-09
PCT/JP2017/037240 WO2018088119A1 (ja) 2016-11-09 2017-10-13 撮像装置、撮像方法、及び、撮像プログラム

Publications (2)

Publication Number Publication Date
CN109906604A CN109906604A (zh) 2019-06-18
CN109906604B true CN109906604B (zh) 2021-04-20

Family

ID=62110184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780068376.8A Active CN109906604B (zh) 2016-11-09 2017-10-13 摄像装置、摄像方法及记录介质

Country Status (4)

Country Link
US (1) US10778880B2 (zh)
JP (1) JP6573730B2 (zh)
CN (1) CN109906604B (zh)
WO (1) WO2018088119A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7459279B2 (ja) 2020-09-29 2024-04-01 富士フイルム株式会社 撮像装置、撮像装置の駆動方法、及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101706319A (zh) * 2009-12-18 2010-05-12 中国科学院西安光学精密机械研究所 高分辨率三维干涉型成像光谱图像空间二维快速显示方法
JP2010206769A (ja) * 2009-02-03 2010-09-16 Olympus Imaging Corp 撮像装置
CN102025903A (zh) * 2009-09-09 2011-04-20 富士胶片株式会社 图像采集设备
CN102595050A (zh) * 2011-01-11 2012-07-18 奥林巴斯映像株式会社 摄像装置
CN103081456A (zh) * 2010-09-10 2013-05-01 奥林巴斯医疗株式会社 摄像装置
JP2013255188A (ja) * 2012-06-08 2013-12-19 Sony Corp 撮像素子、撮像装置、撮像方法およびプログラム
JP2015114544A (ja) * 2013-12-12 2015-06-22 キヤノン株式会社 撮像装置、その制御方法および制御プログラム
CN105359506A (zh) * 2013-05-02 2016-02-24 韩国睿恩斯有限公司 图像传感器及驱动其的方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5180795B2 (ja) * 2007-12-10 2013-04-10 キヤノン株式会社 撮像装置及びその制御方法
JP5183565B2 (ja) * 2009-05-11 2013-04-17 キヤノン株式会社 撮像装置
JP5638849B2 (ja) * 2010-06-22 2014-12-10 オリンパス株式会社 撮像装置
CN103098457B (zh) * 2010-09-10 2016-04-13 富士胶片株式会社 立体成像装置和立体成像方法
WO2012039346A1 (ja) * 2010-09-22 2012-03-29 富士フイルム株式会社 立体撮像装置およびシェーディング補正方法
JP6263035B2 (ja) 2013-05-17 2018-01-17 キヤノン株式会社 撮像装置
JP6257245B2 (ja) * 2013-09-27 2018-01-10 キヤノン株式会社 撮像装置及びその制御方法
JP6158340B2 (ja) * 2013-09-30 2017-07-05 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP6532213B2 (ja) * 2013-12-02 2019-06-19 キヤノン株式会社 撮像素子、撮像装置及び携帯電話機
JP6341675B2 (ja) * 2014-01-29 2018-06-13 キヤノン株式会社 固体撮像装置及びその駆動方法並びにそれを用いた撮像システム
JP6380974B2 (ja) 2014-06-18 2018-08-29 オリンパス株式会社 撮像素子、撮像装置
JP6530593B2 (ja) * 2014-08-11 2019-06-12 キヤノン株式会社 撮像装置及びその制御方法、記憶媒体
JP6571939B2 (ja) * 2015-01-26 2019-09-04 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010206769A (ja) * 2009-02-03 2010-09-16 Olympus Imaging Corp 撮像装置
CN102025903A (zh) * 2009-09-09 2011-04-20 富士胶片株式会社 图像采集设备
CN101706319A (zh) * 2009-12-18 2010-05-12 中国科学院西安光学精密机械研究所 高分辨率三维干涉型成像光谱图像空间二维快速显示方法
CN103081456A (zh) * 2010-09-10 2013-05-01 奥林巴斯医疗株式会社 摄像装置
CN102595050A (zh) * 2011-01-11 2012-07-18 奥林巴斯映像株式会社 摄像装置
JP2012147187A (ja) * 2011-01-11 2012-08-02 Olympus Imaging Corp 撮像装置
JP2013255188A (ja) * 2012-06-08 2013-12-19 Sony Corp 撮像素子、撮像装置、撮像方法およびプログラム
CN105359506A (zh) * 2013-05-02 2016-02-24 韩国睿恩斯有限公司 图像传感器及驱动其的方法
JP2015114544A (ja) * 2013-12-12 2015-06-22 キヤノン株式会社 撮像装置、その制御方法および制御プログラム

Also Published As

Publication number Publication date
CN109906604A (zh) 2019-06-18
US10778880B2 (en) 2020-09-15
JP6573730B2 (ja) 2019-09-11
WO2018088119A1 (ja) 2018-05-17
JPWO2018088119A1 (ja) 2019-08-08
US20190268530A1 (en) 2019-08-29

Similar Documents

Publication Publication Date Title
JP5937767B2 (ja) 撮像装置及び撮像方法
CN109923857B (zh) 摄像装置、摄像方法及记录介质
JP5948492B2 (ja) 撮像装置及び合焦制御方法
JP5799178B2 (ja) 撮像装置及び合焦制御方法
JP5750550B2 (ja) 撮像装置及び合焦制御方法
JP5872122B2 (ja) 撮像装置及び合焦制御方法
CN110463185B (zh) 摄像装置、摄像方法及存储介质
WO2015141081A1 (ja) 撮像装置及び合焦制御方法
JP5990665B2 (ja) 撮像装置及び合焦制御方法
CN110463187B (zh) 摄像装置、摄像方法及存储介质
US10750105B2 (en) Imaging apparatus, operation method of imaging apparatus, and operation program of imaging apparatus
CN109906604B (zh) 摄像装置、摄像方法及记录介质
CN111108743B (zh) 摄像控制装置、摄像装置、摄像控制方法及记录介质
CN110463186B (zh) 摄像装置、摄像方法及存储介质
WO2015146228A1 (ja) 撮像装置及び合焦制御方法
CN110024373B (zh) 摄像装置、摄像方法及存储介质
CN109792494B (zh) 摄像装置、静态图像摄像方法及记录介质
CN111095910B (zh) 摄像控制装置、摄像装置、摄像控制方法及记录介质
JP6236580B2 (ja) 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置
CN117319814A (zh) 摄像控制装置、摄像装置、摄像控制方法及存储介质
CN117156302A (zh) 摄像控制装置、摄像装置、摄像控制方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant