CN111108743B - 摄像控制装置、摄像装置、摄像控制方法及记录介质 - Google Patents

摄像控制装置、摄像装置、摄像控制方法及记录介质 Download PDF

Info

Publication number
CN111108743B
CN111108743B CN201880061098.8A CN201880061098A CN111108743B CN 111108743 B CN111108743 B CN 111108743B CN 201880061098 A CN201880061098 A CN 201880061098A CN 111108743 B CN111108743 B CN 111108743B
Authority
CN
China
Prior art keywords
region
pixel
moving object
imaging
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880061098.8A
Other languages
English (en)
Other versions
CN111108743A (zh
Inventor
樱武仁史
小林诚
长谷川亮
增田智纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN111108743A publication Critical patent/CN111108743A/zh
Application granted granted Critical
Publication of CN111108743B publication Critical patent/CN111108743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/38—Releasing-devices separate from shutter
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Exposure Control For Cameras (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Abstract

本发明提供一种在通过全局快门方式驱动成像元件来对被摄体进行拍摄的情况下，能够在被摄体处于所期望的位置的状态下开始用于记录的拍摄的摄像控制装置、摄像装置、摄像控制方法及记录介质。系统控制部(11)通过全局快门方式的驱动来连续对被摄体进行拍摄，并将通过该拍摄而获得的摄像图像数据分割为多个区域，且每当生成各区域时，根据将所生成的区域和与摄像图像数据中的该区域相同的区域进行比较的结果，从该区域检测运动物体，所述摄像图像数据通过在该拍摄之前进行的拍摄而生成。系统控制部(11)根据如此检测出的运动物体的位置的变化来预测在摄像图像数据中设定的触发范围(TR)与运动物体重叠的时刻，并在包含该时刻的帧期间实施自动拍摄。

Description

摄像控制装置、摄像装置、摄像控制方法及记录介质
技术领域
本发明涉及一种摄像控制装置、摄像装置、摄像控制方法及摄像控制程序。
背景技术
近年来，随着CCD(电荷耦合器件，Charge Coupled Device)图像传感器或CMOS(互补型金属氧化物半导体，Complementary Metal Oxide Semiconductor)图像传感器等成像元件的高分辨率化，数码照相机、数码摄像机或带相机的移动电话(例如智能手机)等具有摄像功能的电子设备的需求急剧增加。另外，将具有如上所述的摄像功能的电子设备称为摄像装置。
有时使用这种摄像装置在鸟起飞的瞬间或水滴落在水面的瞬间等一瞬的时刻对被摄体进行拍摄。然而，摄像装置的使用者难以准确地判断这种时刻，并在该时刻手动发出拍摄命令。
因此，专利文献1-3中，提出了一种在将用于判定摄像开始时刻的区域设定于拍摄图像上，被摄体侵入该区域的情况或预测被摄体侵入该区域的情况下，通过自动开始用于记录的拍摄，能够在准确的时刻对被摄体进行拍摄的摄像装置。
以往技术文献
专利文献
专利文献1：日本特开2014-011578号公报
专利文献2：日本特开2017-059974号公报
专利文献3：日本特开2014-155173号公报
发明内容
发明要解决的技术课题
作为搭载于摄像装置的成像元件，有MOS型成像元件。作为该MOS型驱动方法，有全局快门方式的驱动及滚动快门方式的驱动。
全局快门方式的驱动为通过同时复位成像元件的所有的像素的光电转换元件在所有的像素中同时开始曝光，然后通过将积蓄在各像素的光电转换元件的电荷同时转移到各像素的电荷保持部在所有的像素中同时结束曝光，然后对每一个像素行依次将积蓄在电荷保持部的电荷转换为像素信号而读出到信号线的驱动。
滚动快门方式的驱动为一边改变像素行一边依次进行通过复位成像元件的像素行的各光电转换元件来开始该像素行的曝光，然后将与积蓄在该像素行的各光电转换元件的电荷对应的像素信号读出到信号线的驱动的方式。
若将滚动快门方式的驱动与专利文献1-3中记载的自动拍摄的技术进行组合，则产生如下课题。
例如，考虑在成像元件的摄像面上像素行的曝光从上侧朝向下侧依次开始，并对在成像元件的摄像面上从上侧朝向下侧以高速移动的被摄体进行拍摄的情况。此时，根据该被摄体的移动速度，可能无法检测到该被摄体，从而无法进行在准确的时刻的拍摄。
另一方面，在将全局快门方式的驱动和专利文献1-3中记载的自动拍摄的技术组合的情况下，在摄像面上同时开始所有的像素行的曝光。因此，不会产生依赖于被摄体的移动方向的被摄体的非检测的课题。
然而，在全局快门方式的驱动中，对每一个像素行依次进行像素信号的读出。因此，若在从所有的像素行输出像素信号，并等待该像素信号变为可用之后对被摄体进行检测，则检测被摄体花费时间，从而可能错过快门时机。
本发明是鉴于上述情况而完成的，其目的在于提供一种在通过全局快门方式驱动成像元件来对被摄体进行拍摄的情况下，能够在被摄体处于所期望的位置的状态下开始用于记录的拍摄的摄像控制装置、摄像装置、摄像控制方法及摄像控制程序。
用于解决技术课题的手段
本发明的摄像控制装置具备：驱动控制部，其连续进行如下驱动，即，通过控制成像元件的驱动部来同时复位多个像素各自的光电转换元件而开始上述多个像素的曝光，并将通过上述曝光积蓄在上述多个像素各自的上述光电转换元件的电荷同时转移至电荷保持部来结束上述曝光之后，从摄像面的第二方向的一端侧朝向另一端侧依次选择像素行，并读出与保持在所选择的上述像素行的上述电荷保持部的上述电荷对应的像素信号，所述成像元件具有上述多个像素且具有由沿第一方向排列的多个上述像素构成的上述像素行沿与上述第一方向正交的上述第二方向排列有多个的上述摄像面，所述像素包含：上述光电转换元件；及上述电荷保持部，保持从上述光电转换元件转移的电荷且通过读出电路读出与上述电荷对应的信号；运动物体检测部，其进行如下处理，即，将根据通过上述驱动读出的上述像素信号而生成的摄像图像数据朝向上述第二方向分割为多个区域，且每当生成上述区域时，根据将所生成的上述区域和与摄像图像数据中的该区域相同的区域进行比较的结果，从该区域检测运动物体，根据通过在上述驱动之前进行的上述驱动读出的上述像素信号生成；及记录控制部，根据由上述运动物体检测部检测出的上述运动物体的位置的变化，预测在上述摄像图像数据中设定的范围与上述运动物体重叠的时刻，并将通过在包含上述时刻的期间执行的上述驱动读出的上述像素信号作为用于向记录介质进行记录的信号进行处理。
本发明的摄像装置具备上述摄像控制装置、上述成像元件及上述驱动部。
本发明的摄像控制方法具备：驱动控制步骤，其连续进行如下驱动，即，通过控制成像元件的驱动部来同时复位多个像素各自的光电转换元件而开始上述多个像素的曝光，并将通过上述曝光积蓄在上述多个像素各自的上述光电转换元件的电荷同时转移至电荷保持部来结束上述曝光之后，从摄像面的第二方向的一端侧朝向另一端侧依次选择像素行，并读出与保持在所选择的上述像素行的上述电荷保持部的上述电荷对应的像素信号，所述成像元件具有上述多个像素且具有由沿第一方向排列的多个上述像素构成的上述像素行沿与上述第一方向正交的上述第二方向排列有多个的上述摄像面，所述像素包含：上述光电转换元件；及上述电荷保持部，保持从上述光电转换元件转移的电荷且通过读出电路读出与上述电荷对应的信号；运动物体检测步骤，其进行如下处理，即，将根据通过上述驱动读出的上述像素信号而生成的摄像图像数据朝向上述第二方向分割为多个区域，且每当生成上述区域时，根据将所生成的上述区域和与摄像图像数据中的该区域相同的区域进行比较的结果，从该区域检测运动物体，根据通过在上述驱动之前进行的上述驱动读出的上述像素信号生成；及记录控制步骤，根据通过上述运动物体检测步骤检测出的上述运动物体的位置的变化，预测在上述摄像图像数据中设定的范围与上述运动物体重叠的时刻，并将通过在包含上述时刻的期间执行的上述驱动读出的上述像素信号作为用于向记录介质进行记录的信号进行处理。
本发明的摄像控制程序使计算机执行如下步骤：驱动控制步骤，其连续进行如下驱动，即，通过控制成像元件的驱动部来同时复位多个像素各自的光电转换元件而开始上述多个像素的曝光，并将通过上述曝光积蓄在上述多个像素各自的上述光电转换元件的电荷同时转移至电荷保持部来结束上述曝光之后，从摄像面的第二方向的一端侧朝向另一端侧依次选择像素行，并读出与保持在所选择的上述像素行的上述电荷保持部的上述电荷对应的像素信号，所述成像元件具有上述多个像素且具有由沿第一方向排列的多个上述像素构成的上述像素行沿与上述第一方向正交的上述第二方向排列有多个的上述摄像面，所述像素包含：上述光电转换元件；及上述电荷保持部，保持从上述光电转换元件转移的电荷且通过读出电路读出与上述电荷对应的信号；运动物体检测步骤，其进行如下处理，即，将根据通过上述驱动读出的上述像素信号而生成的摄像图像数据朝向上述第二方向分割为多个区域，且每当生成上述区域时，根据将所生成的上述区域和与摄像图像数据中的该区域相同的区域进行比较的结果，从该区域检测运动物体，根据通过在上述驱动之前进行的上述驱动读出的上述像素信号生成；及记录控制步骤，根据通过上述运动物体检测步骤检测出的上述运动物体的位置的变化，预测在上述摄像图像数据中设定的范围与上述运动物体重叠的时刻，并将通过在包含上述时刻的期间执行的上述驱动读出的上述像素信号作为用于向记录介质进行记录的信号进行处理。
发明效果
根据本发明，能够提供一种在通过全局快门方式驱动成像元件来对被摄体进行拍摄的情况下，能够在被摄体处于所期望的位置的状态下开始用于记录的拍摄的摄像控制装置、摄像装置、摄像控制方法及摄像控制程序。
附图说明
图1是表示本发明的摄像装置的一实施方式的数码相机100的概略结构的图。
图2是表示图1所示的成像元件5的概略结构的平面示意图。
图3是表示图2所示的成像元件5的像素61的概略结构的平面示意图。
图4是图3所示的像素61的A-A线的截面示意图。
图5是图1所示的数码相机100中的系统控制部11的功能框图。
图6是表示由数字信号处理部17生成的摄像图像数据的分割例的图。
图7是表示图1所示的数码相机100的自动快门模式时的动作的时序图。
图8是表示图1所示的数码相机100的自动快门模式时的动作的另一例子的时序图。
图9是表示图6所示的摄像图像数据IG的分割例的变形例的图。
图10是表示图6所示的摄像图像数据IG的分割例的另一变形例的图。
图11是表示图1所示的数码相机100的自动快门模式时的动作的另一例子的时序图。
图12是表示图1所示的数码相机100的自动快门模式时的动作的另一例子的时序图。
图13是表示图6所示的摄像图像数据IG的分割例的另一变形例的图。
图14是表示图1所示的数码相机100中的系统控制部11的功能框的变形例的图。
图15是表示本发明的摄像装置的一实施方式的智能手机200的外观的图。
图16是表示图15所示的智能手机200的结构的框图。
具体实施方式
以下，参考附图对本发明的实施方式进行说明。
图1是表示本发明的摄像装置的一实施方式的数码相机100的概略结构的图。
图1所示的数码相机100具备具有成像透镜1、光圈2、透镜控制部4、透镜驱动部8及光圈驱动部9的透镜装置40。
透镜装置40可以是能够装卸于数码相机100主体的装置，也可以是与数码相机100主体一体化的装置。
由成像透镜1及光圈2构成摄像光学系统。成像透镜1包括能够沿光轴方向移动的聚焦透镜或变焦透镜等。
聚焦透镜为用于调节摄像光学系统的焦点位置的透镜，由单一透镜或多个透镜构成。通过聚焦透镜沿光轴方向移动，聚焦透镜的主点的位置沿光轴方向发生变化，改变被摄体侧的焦点位置。
另外，作为聚焦透镜，可用使用能够通过电控制改变光轴方向的主点的位置的液体透镜。
变焦透镜为用于调节摄像光学系统的焦距的透镜，由单一透镜或多个透镜构成。通过变焦透镜沿光轴方向移动，改变摄像光学系统的焦距。
透镜装置40的透镜控制部4构成为能够通过有线或无线与数码相机100的系统控制部11通信。
透镜控制部4按照来自系统控制部11的指令，经由透镜驱动部8控制成像透镜1中所包含的聚焦透镜来改变聚焦透镜的主点的位置，或经由透镜驱动部8控制成像透镜1中所包含的变焦透镜来改变变焦透镜的位置(焦距)，或经由光圈驱动部9控制光圈2的开口量。
数码相机100还具备通过摄像光学系统对被摄体进行拍摄的MOS型成像元件5。
成像元件5具有二维状地排列有多个像素的摄像面，将通过摄像光学系统成像于该摄像面的被摄体像通过该多个像素转换为像素信号并输出。以下，将从成像元件5的各像素输出的像素信号的集合称为摄像图像信号。
总括控制数码相机100的电气控制系统整体的系统控制部11经由成像元件驱动部10驱动成像元件5，将通过透镜装置40的摄像光学系统拍摄的被摄体像作为拍摄图像信号来输出。
成像元件驱动部10通过根据来自系统控制部11的指令生成驱动信号并将该驱动信号供给至成像元件5，从而驱动成像元件5。成像元件驱动部10的硬件结构为组合半导体元件等电路元件而构成的电路。成像元件驱动部10构成成像元件5的驱动部。
来自利用者的命令信号通过操作部14输入到系统控制部11。操作部14包括后述的与显示面23一体化的触摸面板和各种按钮等。
系统控制部11总括控制数码相机100整体，其硬件结构为执行包含摄像控制程序的程序而进行处理的各种处理器。
作为各种处理器，包括作为执行程序而进行各种处理的通用的处理器的CPU(中央处理器，Central Prosessing Unit)、作为在FPGA(现场可编程门阵列，FieldProgrammable Gate Array)等的制造后能够改变电路结构的处理器的可编程逻辑器件(Programmable Logic Device：PLD)或作为具有为了执行ASIC(专用集成电路，Application Specific Integrated Circuit)等特定处理而专门设计的电路结构的处理器的专用电路等。
更具体而言，这些各种处理器的结构为组合半导体元件等电路元件而成的电路。
系统控制部11可以由各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如，多个FPGA的组合或CPU与FPGA的组合)构成。
而且，该数码相机100的电气控制系统具备：存储器16，包括RAM(随机存取存储器，Random Access Memory)及ROM(只读存储器，Read only memory)；存储器控制部15，进行向存储器16的数据记录及来自存储器16的数据读出的控制；数字信号处理部17，对从成像元件5输出的摄像图像信号进行数字信号处理；外部存储器控制部20，进行向记录介质21的数据记录及来自记录介质21的数据读出的控制；显示面23，由有机EL(电致发光，electroluminescence)面板或液晶面板等构成；及显示控制器22，控制显示面23的显示。
存储器16中所包含的ROM中记录有由系统控制部11执行的包含摄像控制程序的程序。
记录介质21为内置于数码相机100的闪存等半导体存储器或能够装卸于数码相机100的便携式半导体存储器等。
存储器控制部15、数字信号处理部17、外部存储器控制部20及显示控制器22通过控制总线24及数据总线25彼此连接，并由来自系统控制部11的指令控制。
数字信号处理部17的硬件结构包括执行程序而进行处理的上述中例示的各种处理器及用于进行摄像图像信号的数字信号处理的行存储器等。
显示控制器22包括执行程序而进行处理的上述中例示的各种处理器及用于保持应显示的图像的数据的显示存储器。
图2是表示图1所示的成像元件5的概略结构的平面示意图。
成像元件5具备：摄像面60，由沿第一方向的行方向X排列的多个像素61构成的像素行62沿与行方向X正交的第二方向的列方向Y排列有多个；驱动电路63，驱动排列在摄像面60的像素61；及信号处理电路64，对从排列在摄像面60的像素行62的各像素61读出到信号线的像素信号进行处理。
以下，在图2中将摄像面60的列方向Y的一端侧(图中的上侧)的端部称为上端，将摄像面60的列方向Y的另一端侧(图中的下侧)的端部称为下端。
图3是表示图2所示的成像元件5的像素61的概略结构的平面示意图。
如图3所示，像素61具备光电转换元件61A、电荷保持部61B、电荷转移部61C、浮动扩散61D、读出电路61E及电荷排出区域61F。
光电转换元件61A接收通过了透镜装置40的摄像光学系统的光，产生并积蓄与受光量对应的电荷。光电转换元件61A例如由形成于半导体基板内的硅光电二极管构成。
电荷转移部61C将积蓄在光电转换元件61A的电荷转移至电荷保持部61B。电荷转移部61C由半导体基板内的杂质区域及形成于该杂质区域的上方的电极构成。
通过施加到构成电荷转移部61C的电极的电压由驱动电路63(参考图2)控制，进行从光电转换元件61A向电荷保持部61B的电荷的转移。
电荷保持部61B保持由电荷转移部61C从光电转换元件61A转移过来的电荷。电荷保持部61B由半导体基板内的杂质区域构成。
浮动扩散61D用于将电荷转换为电压信号，且保持在电荷保持部61B的电荷转移过来。
读出电路61E为将与浮动扩散61D的电位对应的电压信号作为像素信号读出到信号线65的电路。读出电路61E被图2所示的驱动电路63驱动。
电荷排出区域61F是为了从光电转换元件61A排出积蓄在光电转换元件61A的电荷而设置的。
图4是图3所示的像素61的A-A线的截面示意图。
如图4所示，在N型基板70表面形成有P阱层71，在P阱层71的表面部形成有光电转换元件61A。
光电转换元件61A由N型杂质层73及形成于其上的P型杂质层74构成。由N型基板70及P阱层71构成半导体基板。
在P阱层71的表面部，与光电转换元件61A稍微分开而形成有由N型杂质层构成的电荷保持部61B。
在电荷保持部61B与光电转换元件61A之间的P阱层71的区域75的上方，隔着省略图示的氧化膜，形成有转移电极76。
由区域75及转移电极76构成图3的电荷转移部61C。图4的例子中，转移电极76形成在电荷保持部61B的上方为止，但转移电极76只要至少形成于区域75上方即可。
通过控制转移电极76的电位在区域75形成信道，能够将积蓄在光电转换元件61A的电荷转移至电荷保持部61B。转移电极76的电位由图2的驱动电路63控制。
在P阱层71的表面部，从光电转换元件61A向左侧稍微分开而形成有由N型杂质层构成的电荷排出区域61F。
在电荷排出区域61F与光电转换元件61A之间的P阱层71的上方，隔着省略图示的氧化膜，形成有复位用电极RG。
通过控制复位用电极RG的电位在该复位用电极RG的下方形成信道，能够将积蓄在光电转换元件61A的电荷排出至电荷排出区域61F，复位光电转换元件61A。复位用电极RG的电位由图2的驱动电路63控制。
在P阱层71的表面部，与电荷保持部61B稍微分开而形成有由N型杂质层构成的浮动扩散61D。
在电荷保持部61B与浮动扩散61D之间的P阱层71的上方，隔着省略图示的氧化膜，形成有读出电极72。
通过控制读出电极72的电位并在电荷保持部61B与浮动扩散61D之间的区域形成信道，能够将保持在电荷保持部61B的电荷转移至浮动扩散61D。读出电极72的电位由图2的驱动电路63控制。
图4所示的例子中，读出电路61E由用于复位浮动扩散61D的电位的复位晶体管77、将浮动扩散61D的电位转换为像素信号而输出的输出晶体管78及用于将从输出晶体管78输出的像素信号选择性地读出到信号线65的选择晶体管79构成。读出电路的结构仅为一例，并不限定于此。
另外，读出电路61E有时在多个像素61中共用。
光电转换元件61A虽然由硅光电二极管构成，但也可以由形成于半导体基板上方的有机或无机的光电转换材料的膜及形成于用于积蓄在该膜中产生的电荷的半导体基板内部的杂质区域构成。在该情况下，积蓄在该杂质区域中的电荷转移至图4的电荷保持部61B。
排列在图2所示的摄像面60的所有的像素61中包括例如，检测红色光的像素、检测绿色光的像素及检测蓝色光的像素。在摄像面60上，例如以拜耳状排列有该等3种像素。
图2所示的驱动电路63将各像素61的转移电极76、读出电极72及读出电路61E按每一个像素行62独立地驱动而进行与积蓄在像素行62中所包含的各光电转换元件61A的电荷对应的像素信号的向信号线65的读出等。
并且，驱动电路63同时驱动所有的像素61的电荷转移部61C，将电荷同时从各像素61的光电转换元件61A转移至电荷保持部61B。驱动电路63由成像元件驱动部10控制。
图2所示的信号处理电路64对从像素行62的各像素61读出到信号线65的像素信号进行相关双采样处理，并将相关双采样处理后的像素信号转换为数字信号而输出至数据总线25。信号处理电路64由成像元件驱动部10控制。
数字信号处理部17对从成像元件5输出至数据总线25的摄像图像信号实施去马赛克处理及γ补正处理等数字信号处理而生成摄像图像数据。
该摄像图像数据为在与读出了生成源的像素信号的各像素61对应的坐标位置具有由3个颜色成分的像素信号构成的像素数据的数据。该摄像图像数据为能够进行后述的运动物体检测处理的格式的数据。
去马赛克处理是指，对无法从与构成摄像图像数据的各像素数据的坐标位置对应的像素61获得的颜色成分的像素信号使用从靠近该像素61的其他像素61读出的其颜色成分的像素信号来进行插值的处理。
数字信号处理部17根据该摄像图像数据生成用于在显示面23显示的实时取景图像数据，并通过显示控制器22将基于该实时取景图像数据的实时取景图像描绘在显示面23。
关于用于生成摄像图像数据的信号处理，数字信号处理部17并不是在结束从摄像面60上的所有的像素61的像素信号的读取之后进行，而是每当从像素行62的各像素61输出像素信号，信号处理所需的行的量的像素信号备齐时实施。即，每当从像素行62读出像素信号时依次进行摄像图像数据的生成。
构成由数字信号处理部17生成的摄像图像数据的各像素数据与摄像面60上的任一像素61对应。因此，在该摄像图像数据中，与一个像素行62的各像素61对应的像素数据的排列方向的含义与图2的行方向X的含义相同，在该摄像图像数据中的与行方向X正交的方向的含义与图2的列方向Y的含义相同。
图5是图1所示的数码相机100中的系统控制部11的功能框图。
图1所示的数码相机100搭载有自动快门模式。在该自动快门模式中，对于由成像元件5对被摄体进行拍摄而获得的摄像图像数据，当用户指定规定的范围(以下，称为触发范围)时，判定该触发范围与拍摄中的被摄体中的移动的物体即运动物体重叠的时刻。
然后，在该时刻由成像元件5拍摄而获得的像素信号作为用于向记录介质21进行记录的信号被处理。图5所示的功能框表示在设置有该自动快门模式的情况下的系统控制部11的功能框。
如图5所示，系统控制部11通过执行记录于存储器16的ROM的包含摄像控制程序的程序，作为具备驱动控制部11A、运动物体检测部11B及记录控制部11C的摄像控制装置发挥功能。
驱动控制部11A控制成像元件驱动部10使成像元件驱动部10连续进行包括全局复位驱动、全局快门驱动及滚动读出驱动的组的驱动(以下，称为摄像驱动)。
全局复位驱动为同时复位摄像面60上的多个像素61(所有的像素61或所有的像素61中的一部分像素61)各自的光电转换元件61A并同时开始该多个像素61的曝光的驱动。
全局快门驱动为通过由上述全局复位驱动在各像素61中开始的曝光将积蓄在该各像素61的光电转换元件61A的电荷转移至该各像素61的电荷保持部61B，并在该各像素61中同时结束曝光的驱动。
滚动读出驱动为从摄像面60的上端侧朝向下端侧依次选择包含通过上述全局快门驱动在驱动电荷保持部61B保持有电荷的像素61的像素行62，并将与保持在所选择的像素行62的电荷保持部61B的电荷对应的像素信号读出到信号线65的驱动。
以下，将连续进行的摄像驱动中的全局复位驱动的开始时刻彼此的间隔定义为帧期间。
运动物体检测部11B从根据通过连续进行的上述摄像驱动从成像元件5读出的像素信号而生成的上述摄像图像数据检测移动的物体即运动物体。
具体而言，运动物体检测部11B将由数字信号处理部17生成的摄像图像数据在列方向Y上分割为多个区域。
然后，运动物体检测部11B进行如下处理：每当由数字信号处理部17生成一个区域时，将所生成的区域和与根据通过在用于获得该区域的生成源的像素信号的摄像驱动之前进行的摄像驱动所读出的像素信号而生成的摄像图像数据中的该区域相同的区域进行比较，并根据其比较结果从上述所生成的区域检测运动物体。
图6是表示由数字信号处理部17生成的摄像图像数据的分割例的图。
图6所示的例子中，摄像图像数据IG在列方向Y上被均等地分割为区域a1～区域a9的9个区域。
图6中，示出在摄像图像数据IG中的列方向Y的中心部分设定有触发范围TR的例子。
在设定自动快门模式，并在显示面23显示有实时取景图像的状态下，通过用户操作触摸面板，并指定实时取景图像上的任意的范围等来设定该触发范围TR。
构成显示面23的各显示像素与摄像图像数据中的任一像素数据对应。因此，当通过触摸面板选择规定的范围内的显示像素时，由与该所选择的显示像素对应的像素数据包围的范围被设定为触发范围TR。
图6所示的例子中，由通过驱动控制部11A的控制进行的各摄像驱动生成的摄像图像数据IG被分割为包含触发范围TR的第一区域即区域a5、根据从比读出区域a5的生成源的像素信号的像素行62更靠摄像面60的上端侧的像素行62读出的像素信号而生成的第二区域即区域a1、区域a2、区域a3及区域a4、根据从比读出区域a5的生成源的像素信号的像素行62更靠摄像面60的下端侧的像素行62读出的像素信号而生成的第三区域即区域a6、区域a7、区域a8及区域a9。
然后，当进行最新的摄像驱动而生成摄像图像数据IG的区域a1时，运动物体检测部11B将该区域a1和通过比该最新的摄像驱动之前的摄像驱动(例如，该最新的摄像驱动之前的摄像驱动)而获得的摄像图像数据IG的区域a1进行比较，判定区域a1中是否包含运动物体，在包含运动物体的情况下判定该运动物体在区域a1内的位置。
每当生成各区域时，运动物体检测部11B也对摄像图像数据IG的区域a2～区域a9进行同样的运动物体检测处理，并判定运动物体的有无和运动物体的位置。
返回到图5，记录控制部11C根据由运动物体检测部11B检测出的运动物体的位置的变化预测在摄像图像数据IG中设定的触发范围TR与该运动物体重叠的时刻。
然后，记录控制部11C将通过在包含该时刻的帧期间执行的摄像驱动读出的像素信号作为用于向记录介质21进行记录的信号进行处理。以下，将该处理称为自动拍摄。
将通过摄像驱动读出的像素信号作为用于向记录介质21进行记录的信号进行处理是指，将该像素信号作为RAW格式的摄像图像数据直接记录于记录介质21，或将根据该像素信号而生成的摄像图像数据转换为JPEG等规定的文件格式的摄像图像数据之后记录于记录介质21。
记录于记录介质21的数据与工作存储器上的数据的临时记录不同，只要用户没有发出删除命令，则保持于记录介质。
图7是表示图1所示的数码相机100的自动快门模式时的动作的时序图。
图7示出在通过数码相机100拍摄中的被摄体(成像于摄像面60的被摄体像)中包含从摄像面60的上端侧朝向下端侧移动的运动物体M的情况下的动作例。
在图7中，横轴表示时刻。在图7的最上段示意性地示出在各帧期间成像于摄像面60的运动物体M的位置。
为了便于说明，图7的最上段所示的摄像面60被分割为受光区域A1～受光区域A9。并且，由粗框示出与在摄像图像数据IG中设定的触发范围对应的摄像面60上的范围。
受光区域A1为配置有读出摄像图像数据IG的区域a1的生成源的像素信号的像素61的区域。
受光区域A2为配置有读出摄像图像数据IG的区域a2的生成源的像素信号的像素61的区域。
受光区域A3为配置有读出摄像图像数据IG的区域a3的生成源的像素信号的像素61的区域。
受光区域A4为配置有读出摄像图像数据IG的区域a4的生成源的像素信号的像素61的区域。
受光区域A5为配置有读出摄像图像数据IG的区域a5的生成源的像素信号的像素61的区域。
受光区域A6为配置有读出摄像图像数据IG的区域a6的生成源的像素信号的像素61的区域。
受光区域A7为配置有读出摄像图像数据IG的区域a7的生成源的像素信号的像素61的区域。
受光区域A8为配置有读出摄像图像数据IG的区域a8的生成源的像素信号的像素61的区域。
受光区域A9为配置有读出摄像图像数据IG的区域a9的生成源的像素信号的像素61的区域。
如图7所示，通过数码相机100拍摄中的被摄体中所包含的运动物体M在最初的帧期间成像于受光区域A1，在第二个帧期间成像于受光区域A2。
并且，运动物体M在第三个帧期间成像于受光区域A3及受光区域A4，在第四个帧期间成像于受光区域A5，在第五个帧期间成像于受光区域A6及受光区域A7。
如此，运动物体M在摄像面60上从上端侧移动到下端侧。
在图7的中段示出成像元件5的各像素行62的光电转换元件61A及电荷保持部61B的驱动时刻。在图7的中段中，纵轴表示像素行62在列方向Y上的位置。
图7的中段所示的直线GR表示进行像素行62中所包含的各光电转换元件61A的复位的时刻(进行全局复位驱动的时刻)。
图7的中段所示的直线GS表示电荷从像素行62中所包含的各光电转换元件61A转移至电荷保持部61B的时刻。由直线GR与该右侧相邻的直线GS包围的期间表示成像元件5的曝光期间。
图7的中段所示的直线ST表示电荷保持在电荷保持部61B的时刻。
图7的中段所示的直线RO表示从成像元件5输出与保持在电荷保持部61B的电荷对应的像素信号的时刻。
在图7的下段示出根据通过由直线RO表示的驱动从成像元件5输出的像素信号而生成的摄像图像数据IG的区域a1～a9各自的生成时刻。
图7的下段所示的直线IGt与用“a1”表示的带状区域的下端重叠的时刻为完成摄像图像数据IG的区域a1的生成的时刻。
直线IGt与用“a2”表示的带状区域的下端重叠的时刻为完成摄像图像数据IG的区域a2的生成的时刻。
直线IGt与用“a3”表示的带状区域的下端重叠的时刻为完成摄像图像数据IG的区域a3的生成的时刻。
直线IGt与用“a4”表示的带状区域的下端重叠的时刻为完成摄像图像数据IG的区域a4的生成的时刻。
直线IGt与用“a5”表示的带状区域的下端重叠的时刻为完成摄像图像数据IG的区域a5的生成的时刻。
直线IGt与用“a6”表示的带状区域的下端重叠的时刻为完成摄像图像数据IG的区域a6的生成的时刻。
直线IGt与用“a7”表示的带状区域的下端重叠的时刻为完成摄像图像数据IG的区域a7的生成的时刻。
直线IGt与用“a8”表示的带状区域的下端重叠的时刻为完成摄像图像数据IG的区域a8的生成的时刻。
直线IGt与用“a9”表示的带状区域的下端重叠的时刻为完成摄像图像数据IG的区域a9的生成的时刻。
当开始自动快门模式时，由用户设定触发范围TR，然后通过操作部14的操作，执行转移到等待自动快门状态的命令。
当执行该命令时，通过驱动控制部11A的控制，进行用直线GR表示的全局复位驱动，在所有的像素行62中同时进行光电转换元件61A的复位。由此，在所有的像素行62中以相同的时刻开始曝光。
然后，当经过规定的曝光时间时，通过驱动控制部11A的控制，进行用直线GS及直线ST表示的全局快门驱动。由此，在所有的像素行62中同时进行从光电转换元件61A向电荷保持部61B的电荷的转移，电荷保持在电荷保持部61B，并在所有的像素行62中以相同的时刻结束曝光。
在进行用直线GS及直线ST表示的全局快门驱动之后，在下一帧期间，通过驱动控制部11A的控制，进行用直线RO表示的滚动读出驱动。
在滚动读出驱动中，如用直线RO所示，驱动控制部11A从摄像面60的上端朝向下端依次选择像素行62，并从所选择的像素行62读出像素信号。
与该下一帧期间的开始同时，通过驱动控制部11A的控制，开始用直线GR表示的全局快门驱动、用直线GS及直线ST表示的全局复位驱动及用直线RO表示的滚动读出驱动的组即摄像驱动。当进行上述命令时，如此连续进行摄像驱动。
如用直线IGt所示，当开始基于直线RO的像素信号的读出并经过少许时间时，根据从成像元件5读出的像素信号进行摄像图像数据IG的各区域的生成。
另外，该摄像图像数据IG中，完成区域a6以后的区域的生成是在用于获得该摄像图像数据IG的生成源的像素信号的摄像驱动的2次后的摄像驱动开始的帧期间中。
当如此依次生成摄像图像数据IG的区域时，从所生成的区域依次进行检测运动物体的处理。
图7的例子中，设为在最初的帧期间之前的帧期间，在摄像面60未成像有运动物体M。因此，由图7的左端的直线IGt生成的摄像图像数据中不包含运动物体M。
在最初的帧期间，在受光区域A1成像有运动物体M。因此，当开始通过在该最初的帧期间开始的摄像驱动从成像元件5读出的像素信号的处理，并到达完成基于该像素信号的摄像图像数据的区域a1的生成的时刻t1时，通过将由最初的帧期间之前的帧期间的摄像驱动获得的摄像图像数据的区域a1和在时刻t1完成生成的区域a1进行比较，由运动物体检测部11B检测出在时刻t1完成生成的区域a1中存在运动物体M。
在第二个帧期间，在受光区域A2成像有运动物体M。因此，当开始通过在该第二个帧期间开始的摄像驱动从成像元件5读出的像素信号的处理，并到达完成基于该像素信号的摄像图像数据的区域a2的生成的时刻t2时，通过将基于通过最初的帧期间的摄像驱动读出的像素信号的摄像图像数据的区域a2和在时刻t2完成生成的区域a2进行比较，由运动物体检测部11B检测出在时刻t2完成生成的区域a2中存在运动物体M。
记录控制部11C根据在时刻t1和时刻t2检测出的摄像图像数据上的运动物体M的位置的变化及该变化所需的时间即帧期间的长度，判定运动物体M的移动速度和移动方向。
在所判定的移动方向与触发范围TR相交的情况下，记录控制部11C预测运动物体M与触发范围TR重叠的时刻。该时刻的预测处理在极短的时间内进行。因此，图7的例子中，预测处理在第四个帧期间开始之前充分结束。
在所判定的移动方向与触发范围TR不相交的情况下，每当新检测出运动物体M时，记录控制部11C进行运动物体M的移动速度和移动方向的判定。
图7的例子中，预测在时刻t2检测出的运动物体M被拍摄的第二个帧期间的2次后的帧期间中，触发范围TR与运动物体M重叠。因此，记录控制部11C将通过在该第四个帧期间开始的摄像驱动获得的像素信号作为用于向记录介质21进行记录的信号进行处理。
由此，能够在运动物体M进入触发范围TR的时刻对被摄体进行拍摄来记录，能够不错过快门时机而获得所期望的摄像图像。
图8是表示图1所示的数码相机100的自动快门模式时的动作的另一例子的时序图。
图8示出通过数码相机100拍摄中的被摄体中包含从摄像面60的下端侧朝向上端侧移动的运动物体M的情况的动作例。图8所示的各标记与图7相同。
在图8所示的时序图中的各摄像驱动进行的时刻和各摄像图像数据生成的时刻分别与图7相同。
图8所示的例子中，设为在最初的帧期间之前的帧期间，在摄像面60未成像有运动物体M。即，由图8的左端的直线IGt生成的摄像图像数据中，运动物体M不包含在任何区域中。
在图8所示的最初的帧期间，在受光区域A9成像有运动物体M。因此，当开始通过在该最初的帧期间开始的摄像驱动从成像元件5读出的像素信号的处理，并到达完成基于该像素信号的摄像图像数据IG的区域a9的生成的时刻t3时，通过将基于通过最初的帧期间之前的帧期间的摄像驱动读出的像素信号的摄像图像数据IG的区域a9和在时刻t3完成生成的区域a9进行比较，由运动物体检测部11B检测出在时刻t3完成生成的区域a9中存在运动物体M。
在图8所示的第二个帧期间，在受光区域A8成像有运动物体M。因此，当开始通过在该第二个帧期间开始的摄像驱动从成像元件5读出的像素信号的处理，并到达完成基于该像素信号的摄像图像数据IG的区域a8的生成的时刻t4时，通过将基于通过第二个帧期间的摄像驱动读出的像素信号的摄像图像数据IG的区域a8和在时刻t4完成生成的区域a8进行比较，由运动物体检测部11B检测出在时刻t4完成生成的区域a8中存在运动物体M。
记录控制部11C根据在时刻t3和时刻t4检测出的摄像图像数据IG上的运动物体M的位置的变化及该变化所需的时间即帧期间的长度，判定运动物体M的移动速度和移动方向。
在所判定的移动方向与触发范围TR相交的情况下，记录控制部11C预测运动物体M与触发范围TR重叠的时刻。该时刻的预测处理在极短的时间内进行。因此，图8的例子中，预测处理在第五个帧期间开始之前充分结束。
在所判定的移动方向与触发范围TR不相交的情况下，每当新检测出运动物体M时，记录控制部11C进行运动物体M的移动速度和移动方向的判定。
图8的例子中，预测在时刻t4检测出的运动物体M被拍摄的第二个帧期间的3次后的帧期间中，触发范围TR与运动物体M重叠。
因此，记录控制部11C将通过在该第五个帧期间开始的摄像驱动获得的像素信号作为用于向记录介质21进行记录的信号进行处理。由此，能够在运动物体M进入触发范围TR的时刻对被摄体进行拍摄来记录，能够不错过快门时机而获得所期望的摄像图像。
如上所述，根据数码相机100，对根据通过摄像驱动读出的像素信号生成的摄像图像数据IG进行区域分割，且每当生成各区域时，进行该区域中所包含的运动物体的检测，并预测运动物体进入触发范围TR的时刻。因此，能够缩短完成该预测的时间，并能够减少错过快门时机的可能性。
另外，为了预测运动物体M的移动位置，至少需要2帧份的摄像图像数据IG。并且，若在该预测完成的时点，运动物体M没有在远离触发范围TR的位置，则无法在运动物体M与触发范围TR重叠的时刻进行自动拍摄。
图7及图8所示的例子中，通过曝光获得的摄像图像数据IG中，比触发范围TR更靠上侧的区域a1～a4的生成的完成时刻处于进行该曝光的帧期间的一个后的帧期间。即，在比触发范围TR更靠上侧的区域中，从进行曝光之后直到能够检测运动物体为止发生1帧期间的延迟。
由此，关于摄像图像数据IG的区域中，比包含触发范围TR的区域a5更靠上侧的区域，只要至少分割为3个区域，则能够获得上述效果。
并且，图7及图8所示的例子中，通过曝光获得的摄像图像数据IG中，比触发范围TR更靠下侧的区域a6～a9的生成的完成时刻处于进行该曝光的帧期间的两个后的帧期间。即，在比触发范围TR更靠下侧的区域中，从进行曝光之后直到能够检测运动物体为止发生2帧期间的延迟。
因此，关于摄像图像数据的区域中，比包含触发范围TR的区域a5更靠下侧的区域，只要至少分割为4个区域，则能够获得上述效果。
越增加摄像图像数据的分割数，则越能够提高运动物体的检测精度。然而，为了减少检测运动物体所需的时间和电力，优选减少摄像图像数据的分割数。
图9是表示图6所示的摄像图像数据IG的分割例的变形例的图。
图9所示的例子中，摄像图像数据IG被分割为包含触发范围TR的第一区域即区域a4、比该第一区域更靠上侧的3个第二区域(区域a1、区域a2、区域a3)、比该第一区域更靠下侧的4个第三区域(区域a5、区域a6、区域a7、区域a8)这合计8个区域。如此，通过将分割数减少到少于图6的例子，能够减少检测运动物体所需的时间及耗电量。
另外，摄像图像数据IG的区域中，在比包含触发范围TR的区域更靠上侧的区域与比包含触发范围TR的区域更靠下侧的区域在列方向Y上的宽度可以不同。
图10是表示图6所示的摄像图像数据IG的分割例的另一变形例的图。
图10所示的例子中，区域a4为包含触发范围TR的区域，比区域a4更靠上侧的区域a1～a3的宽度小于比区域a4更靠下侧的区域a5～a9的宽度。
根据图10所示的例子，即使在触发范围TR相对于摄像图像数据IG未设定于中央的情况下，也能够将比包含触发范围TR的区域更靠上侧的部分均等地分割，且将比包含触发范围TR的区域更靠下侧的部分均等地分割。
由此，能够在比包含触发范围TR的区域更靠上侧的区域与比包含触发范围TR的区域更靠下侧的区域中，分别使各区域中的运动物体检测精度均匀化，并能够提高运动物体检测精度。
另外，如图6或图9所例示，若在比包含触发范围TR的区域更靠上侧的区域与比包含触发范围TR的区域更靠下侧的区域中宽度相同，则能够使所有的区域中的运动物体检测精度均匀化。因此，能够更准确的预测运动物体位置。
图7及图8所示的驱动例为通过曝光获得的摄像图像数据IG中，比触发范围TR更靠上侧的区域a1～a4的生成的完成时刻处于进行该曝光的帧期间的一个后的帧期间的情况的例子。以下，对通过曝光获得的摄像图像数据IG的所有的区域的生成完成时刻处于进行该曝光的帧期间的一个后的帧期间的情况的驱动例进行说明。
图11是表示图1所示的数码相机100的自动快门模式时的另一动作的时序图。
图11示出通过数码相机100拍摄中的被摄体中包含从摄像面60的上端侧朝向下端侧移动的运动物体M的情况的动作例。在图11中与图7不同的点为直线RO和直线IGt各自的倾斜度及位置。
图11所示的例子中，基于通过在一个帧期间开始的摄像驱动获得的图像信号的摄像图像数据的生成在该帧期间的下一帧期间中完成。
图11所示的例子中，在时刻t1和时刻t2中分别检测出运动物体M，并在时刻t2之后，预测运动物体M与触发范围TR的重叠时刻。然后，在时刻t2之后开始的第四个帧期间进行自动拍摄。
图12是表示图1所示的数码相机100的自动快门模式时的另一动作的时序图。
图12示出通过数码相机100拍摄中的被摄体中包含从摄像面60的下端侧朝向上端侧移动的运动物体M的情况的动作例。在图12中与图8不同的点为直线RO和直线IGt各自的倾斜度及位置。
图12所示的例子中，基于通过在一个帧期间开始的摄像驱动获得的图像信号的摄像图像数据IG的生成在该帧期间的下一帧期间中完成。
图12所示的例子中，在时刻t3和时刻t4中分别检测出运动物体M，并在时刻t4之后，预测运动物体M与触发范围TR的重叠时刻。然后，在时刻t4之后开始的第四个帧期间进行自动拍摄。
图11及图12所示的例子中，通过曝光获得的摄像图像数据IG中，比触发范围TR更靠上侧的区域a1～a4的生成的完成时刻处于进行该曝光的帧期间的一个后的帧期间。即，在比触发范围TR更靠上侧的区域中，从进行曝光之后直到能够检测运动物体为止发生1帧期间的延迟。
因此，关于摄像图像数据IG的区域中，比包含触发范围TR的区域a5更靠上侧的区域，只要至少分割为3个区域，则能够在从上到下移动的运动物体与触发范围重叠的时刻进行自动拍摄。
并且，图11及图12所示的例子中，通过曝光获得的摄像图像数据IG中，比触发范围TR更靠下侧的区域a6～a9的生成的完成时刻处于进行该曝光的帧期间的一个后的帧期间。即，关于比触发范围TR更靠下侧的区域，从进行曝光之后直到能够检测运动物体为止发生1帧期间的延迟。
因此，关于摄像图像数据IG的区域中，比包含触发范围TR的区域a5更靠下侧的区域，只要至少分割为3个区域，则能够在从下到上移动的运动物体与触发范围重叠的时刻进行自动拍摄。
如此，如图13所示，在来自摄像面60的像素信号的读出速度快的情况下，通过至少将摄像图像数据IG分割为包含触发范围TR的第一区域即区域a4、比该第一区域更靠上侧的3个第二区域(区域a1、区域a2、区域a3)、比该第一区域更靠下侧的3个第三区域(区域a5、区域a6、区域a7)这合计7个区域，能够对以高速移动的运动物体在准确的时刻进行自动拍摄。
另外，运动物体检测部11B可以根据摄像光学系统的焦距(变焦透镜的位置)控制在摄像图像数据IG中的包含触发范围TR的第一区域、比该第一区域更靠上侧的至少3个第二区域、比该第一区域更靠下侧的至少3个第三区域中的、第二区域和第三区域的合计数。
在焦距短的情况下，视场角变宽，因此与应检测的运动物体不同的被摄体进入视场角内的可能性变高。并且，基于数码相机100的振动等的对摄像图像数据的影响增加，因此错误地将不移动的被摄体作为运动物体而进行检测的可能性变高。
因此，在焦距为预先确定的阈值以下的情况下，运动物体检测部11B将上述合计数增加到大于焦距超过该阈值时的合计数。通过增加该合计数，运动物体的检测精度变高，因此能够防止错误地检测运动物体，进行在准确的时刻的自动拍摄。
图14是表示图1所示的数码相机100中的系统控制部11的功能框的变形例的图。除了追加了焦点控制部11D以外，图14所示的系统控制部11的结构与图5相同。
图14所示的系统控制部11通过执行记录于存储器16的ROM的包含摄像控制程序的程序，作为具备驱动控制部11A、运动物体检测部11B、记录控制部11C及焦点控制部11D的摄像控制装置发挥功能。
在检测出运动物体时，图14所示的系统控制部11的运动物体检测部11B还计算从摄像面60到该运动物体为止的距离并将计算出的距离记录于RAM。
例如，能够在摄像面60的各区域A1-A9配置相位差检测用像素，根据摄像图像数据IG的区域中所包含的从相位差检测用像素输出的像素信号求出相位差，并根据该相位差计算到运动物体为止的距离。
焦点控制部11D在根据由运动物体检测部11B检测出的运动物体(设为M1)的位置变化，由记录控制部11C预测运动物体M1进入触发范围TR的时刻的情况下，根据最近检测出运动物体M1的时刻与在包含该预测的时刻的帧期间执行的摄像驱动的开始时刻之差及运动物体M1的距摄像面60的距离的变化，预测包含该预测的时刻的帧期间中的从摄像面60到运动物体M1为止的距离。
然后，焦点控制部11D根据该预测的距离，控制在该帧期间中的配置于成像元件5的前方的摄像光学系统的焦点位置(聚焦透镜的主点的位置)。具体而言，控制聚焦透镜的主点的位置，使得焦点位置在该距离处。
例如，图7的例子中，当在时刻t2检测出运动物体M，且确定包含该运动物体M进入触发范围TR的时刻的帧期间(图中的第四个帧期间)时，由焦点控制部11D计算时刻t2与该第四个帧期间的开始时刻之差Δt。
焦点控制部11D根据在时刻t1检测出的到运动物体M为止的距离及在时刻t2检测出的到运动物体M为止的距离，计算运动物体M在摄像光学系统的光轴方向上的移动速度。
焦点控制部11D根据该移动速度及上述差Δt，预测在包含运动物体M进入触发范围TR的时刻的帧期间中的运动物体M的距摄像面60的距离。即，预测在从时刻t2经过Δt之后的时刻的运动物体M的距摄像面60的距离。
然后，在即将开始该帧期间之前，进行使焦点位置对准该预测的距离的控制。因此，在该帧期间，能够在焦点对准运动物体M的状态下进行自动拍摄。
图8所示的例子中也同样地，当在时刻t4检测出运动物体M，且确定包含该运动物体M进入触发范围TR的时刻的帧期间(图中的第五个帧期间)时，由焦点控制部11D计算时刻t4与该第五个帧期间的开始时刻之差Δt。
焦点控制部11D根据在时刻t3检测出的到运动物体M为止的距离及在时刻t4检测出的到运动物体M为止的距离，计算运动物体M在摄像光学系统的光轴方向上的移动速度。
焦点控制部11D根据该移动速度及上述差Δt，预测在包含运动物体M进入触发范围TR的时刻的帧期间中的运动物体M的距摄像面60的距离。即，预测在从时刻t4经过Δt之后的时刻的运动物体M的距摄像面60的距离。
然后，在即将开始该帧期间之前，焦点位置控制在该预测的距离。因此，能够在对焦到运动物体M的状态下，进行自动拍摄。
接着，作为本发明的摄像装置的实施方式对智能手机的结构进行说明。
图15是表示本发明的摄像装置的一实施方式的智能手机200的外观的图。
图15所示的智能手机200具有平板状的框体201，且在框体201的一个面具备显示输入部204，该显示输入部204由作为显示面的显示面板202和作为输入部的操作面板203成为一体。
并且，这种框体201具备扬声器205、麦克风206、操作部207及相机部208。另外，框体201的结构并不限定于此，例如能够采用显示面与输入部独立的结构，或采用具有折叠结构或滑动机构的结构。
图16是表示图15所示的智能手机200的结构的框图。
如图16所示，作为智能手机的主要构成要件，具备无线通信部210、显示输入部204、通话部211、操作部207、相机部208、记录部212、外部输入输出部213、GPS(全球定位系统，Global Positioning System)接收部214、动作传感器部215、电源部216及主控制部220。
并且，作为智能手机200的主要功能，具备经由省略图示的基站装置BS与省略图示的移动通信网NW进行移动无线通信的无线通信功能。
无线通信部210按照主控制部220的命令对容纳于移动通信网NW的基站装置BS进行无线通信。使用该无线通信，进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发、网络数据或流数据等的接收。
显示输入部204为通过主控制部220的控制，显示图像(静止图像及动态图像)或文字信息等而向利用者视觉传递信息，并且检测对所显示的信息的利用者操作的、即所谓的触摸面板，且具备显示面板202及操作面板203。
关于显示面板202，将LCD(液晶显示器，Liquid Crystal Display)、OELD(有机发光二极管，Organic Electro-Luminescence Display)等用作显示装置。
操作面板203为以能够视觉辨认显示于显示面板202的显示面上的图像的方式载置，且通过利用者的手指或触控笔来检测被操作的一或多个坐标的装置。若通过利用者的手指或触控笔操作该装置，则向主控制部220输出因操作而产生的检测信号。接着，主控制部220根据所接收的检测信号检测显示面板202上的操作位置(坐标)。
如图16所示，作为本发明的摄影装置的一实施方式而例示的智能手机200的显示面板202与操作面板203成为一体而构成显示输入部204，但成为如操作面板203完全覆盖显示面板202的配置。
在采用该配置的情况下，操作面板203可以在显示面板202以外的区域也具备检测利用者操作的功能。换言之，操作面板203可以具备针对与显示面板202重叠的重叠部分的检测区域(以下，称为显示区域)及针对其以外的不与显示面板202重叠的外缘部分的检测区域(以下，称为非显示区域)。
另外，可以使显示区域的大小与显示面板202的大小完全一致，但无需一定要使两者一致。并且，操作面板203可以具备外缘部分和其以外的内侧部分这两个感应区域。而且，外缘部分的宽度根据框体201的大小等来适当设计。
此外，作为在操作面板203所采用的位置检测方式，可列举矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，且能够采用任意方式。
通话部211具备扬声器205或麦克风206，将通过麦克风206输入的利用者的语音转换为能够通过主控制部220进行处理的语音数据而向主控制部220输出，或将通过无线通信部210或者外部输入输出部213接收的语音数据解码而从扬声器205输出。
并且，如图15所示，例如能够将扬声器205搭载于与设置有显示输入部204的面相同的面，且将麦克风206搭载于框体201的侧面。
操作部207为使用了按键开关等的硬件键，且接收来自利用者的命令。例如，如图15所示，操作部207搭载于智能手机200的框体201的侧面，且为通过手指等按压时成为开启状态，将手指移开则通过弹簧等的复原力而成为关闭状态的按钮式开关。
记录部212记录主控制部220的控制程序及控制数据、应用软件、将通信对象的名称或电话号码等建立对应关联的地址数据、所收发的电子邮件的数据、通过Web浏览器下载的Web数据、已下载的内容数据，并且临时记录流数据等。并且，记录部212由内置于智能手机的内部存储部217和具有装卸自如的外部存储器用的插槽的外部存储部218构成。
另外，构成记录部212的各自的内部存储部217与外部存储部218使用闪存类型(flash memory type)、硬盘类型(hard disk type)、微型多媒体卡类型(multimedia cardmicro type)、卡类型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(随机存取存储器，Random Access Memory)及ROM(只读存储器，Read Only Memory)等存储介质而实现。
外部输入输出部213起到与连结于智能手机200的所有的外部设备的接口的作用，且用于通过通信等(例如，通用串行总线(USB：Universal Serial Bus)、IEEE1394等)或网络(例如，因特网、无线LAN(Local Area Network)、蓝牙(Bluetooth)(注册商标)、RFID(射频识别，Radio Frequency Identification)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(超宽带，Ultra Wideband)(注册商标)、紫峰(ZigBee)(注册商标)等)与其他外部设备直接或间接连接。
作为与智能手机200连结的外部设备，例如有有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插槽连接的存储卡(Memory card)或SIM(订户识别模块，Subscriber Identity Module)/UIM(用户识别模块，User Identity Module)卡、经由音频/视频I/O(输入/输出，Input/Output)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、耳机等。
外部输入输出部213能够设为将接收的从这种外部设备传送的数据传递至智能手机200的内部各构成要件，或使智能手机200的内部数据被传送到外部设备。
GPS接收部214按照主控制部220的命令，接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的定位运算处理，并检测包括智能手机200的纬度、经度、高度的位置。GPS接收部214在能够从无线通信部210或外部输入输出部213(例如，无线LAN)获取位置信息时，还能够利用该位置信息来检测位置。
动作传感器部215例如具备3轴的加速度传感器等，按照主控制部220的命令，检测智能手机200的物理动向。通过检测智能手机200的物理动向，检测出智能手机200的移动方向或加速度。将该检测结果输出至主控制部220。
电源部216按照主控制部220的命令向智能手机200的各部供给积蓄在电池(未图示)的电力。
主控制部220具备微处理器，按照记录部212所记录的控制程序及控制数据进行动作，从而总括控制智能手机200的各部。并且，主控制部220具备为了通过无线通信部210进行语音通信或数据通信而控制通信系统的各部的移动通信控制功能及应用程序处理功能。
应用程序处理功能通过主控制部220按照记录部212所记录的应用软件进行动作而实现。作为应用程序处理功能，例如有控制外部输入输出部213来与相向设备进行数据通信的红外线通信功能及进行电子邮件的收发的电子邮件功能或浏览网页的网络浏览器功能等。
并且，主控制部220具备根据接收数据或已下载的流数据等图像数据(静止图像或动态图像的数据)而将影像显示于显示输入部204等的图像处理功能。
图像处理功能是指，主控制部220对上述图像数据进行解码，并对该解码结果实施图像处理，从而将图像显示于显示输入部204的功能。
而且，主控制部220执行对显示面板202的显示控制和检测通过操作部207、操作面板203的利用者操作的操作检测控制。
通过显示控制的执行，主控制部220显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。
另外，滚动条是指，关于无法收敛于显示面板202的显示区域的大图像等，用于接收移动图像的显示部分的命令的软件键。
并且，通过执行操作检测控制，主控制部220检测通过操作部207的利用者操作，或通过操作面板203接收对上述图标的操作或对上述窗口的输入栏的字符串的输入，或者接收通过滚动条的显示图像的滚动要求。
而且，通过操作检测控制的执行而主控制部220具备判定对操作面板203的操作位置是否为与显示面板202重叠的重叠部分(显示区域)，或者是否为其以外的不与显示面板202重叠的外缘部分(非显示区域)，且控制操作面板203的感应区域或软件键的显示位置的触摸面板控制功能。
并且，主控制部220也能够检测对操作面板203的手势操作，并根据所检测的手势操作，执行预先设定的功能。
手势操作并不是以往单纯的触摸操作，而是指用手指等描绘轨迹，或同时指定多个位置，或者将这些组合而从多个位置至少对一个描绘轨迹的操作。
相机部208包括除了图1所示的数码相机100中的外部存储器控制部20、记录介质21、显示控制器22、显示面23及操作部14以外的结构。
由相机部208生成的RAW格式或JPEG格式的摄像图像数据能够代替记录介质21记录于记录部212，或通过外部输入输出部213或无线通信部210输出。
在图15所示的智能手机200中，相机部208搭载于与显示输入部204相同的面，但相机部208的搭载位置并不限于此，也可以搭载于显示输入部204的背面。
并且，相机部208能够利用于智能手机200的各种功能。例如，能够在显示面板202显示通过相机部208获取的图像，或作为操作面板203的操作输入之一，利用相机部208的图像。
并且，在GPS接收部214检测位置时，还能够参考来自相机部208的图像来检测位置。而且，还能够参考来自相机部208的图像，不使用3轴加速度传感器，或者与3轴加速度传感器同时使用来判断智能手机200的相机部208的光轴方向，或判断当前的使用环境。当然，还能够在应用软件内利用来自相机部208的图像。
除此以外，能够将通过GPS接收部214获取的位置信息、通过麦克风206获取的语音信息(通过主控制部等，可以进行语音文本转换而成为文本信息等)、通过动作传感器部215获取的姿势信息等附加于静止图像数据或动态图像数据而记录于记录部212，或者通过外部输入输出部213或无线通信部210进行输出。
在如上所述结构的智能手机200中，也能够在准确的时刻拍摄以高速移动的运动物体，并作为摄像图像数据记录。
如以上说明，本说明书中公开有以下事项。
(1)一种摄像控制装置，其具备：驱动控制部，其连续进行如下驱动，即，通过控制成像元件的驱动部来同时复位多个像素各自的光电转换元件而开始上述多个像素的曝光，并将通过上述曝光积蓄在上述多个像素各自的上述光电转换元件的电荷同时转移至电荷保持部来结束上述曝光之后，从摄像面的第二方向的一端侧朝向另一端侧依次选择像素行，并读出与保持在所选择的上述像素行的上述电荷保持部的上述电荷对应的像素信号，所述成像元件具有上述多个像素且具有由沿第一方向排列的多个上述像素构成的上述像素行沿与上述第一方向正交的上述第二方向排列有多个的上述摄像面，所述像素包含：上述光电转换元件；及上述电荷保持部，保持从上述光电转换元件转移的电荷且通过读出电路读出与上述电荷对应的信号；运动物体检测部，其进行如下处理，即，将根据通过上述驱动读出的上述像素信号而生成的摄像图像数据朝向上述第二方向分割为多个区域，且每当生成上述区域时，根据将所生成的上述区域和与摄像图像数据中的该区域相同的区域进行比较的结果，从该区域检测运动物体，根据通过在上述驱动之前进行的上述驱动读出的上述像素信号生成；及记录控制部，根据由上述运动物体检测部检测出的上述运动物体的位置的变化，预测在上述摄像图像数据中设定的范围与上述运动物体重叠的时刻，并将通过在包含上述时刻的期间执行的上述驱动读出的上述像素信号作为用于向记录介质进行记录的信号进行处理。
(2)根据(1)所述的摄像控制装置，其中，根据通过上述驱动读出的上述像素信号而生成的上述摄像图像数据中的、根据从位于比读出包含上述范围的第一区域的生成源的上述像素信号的上述像素行更靠上述摄像面的上述另一端侧的上述像素行读出的上述像素信号而生成的区域的生成完成时刻处于进行该驱动的2次后的上述驱动的期间，上述多个区域由包含上述范围的第一区域、至少3个第二区域及至少4个第三区域构成，所述至少3个第二区域根据从位于比读出上述第一区域的生成源的上述像素信号的上述像素行更靠上述摄像面的上述一端侧的上述像素行读出的上述像素信号而生成，所述至少4个第三区域根据从位于比读出上述第一区域的生成源的上述像素信号的上述像素行更靠上述摄像面的上述另一端侧的上述像素行读出的上述像素信号而生成。
(3)根据(2)所述的摄像控制装置，其中，上述第二区域的数量与上述第三区域的数量不同。
(4)根据(1)所述的摄像控制装置，其中，根据通过上述驱动读出的上述像素信号而生成的上述摄像图像数据的生成完成时刻处于进行该驱动的下一上述驱动的期间，上述多个区域由包含上述范围的第一区域、至少3个第二区域及至少3个第三区域构成，所述至少3个第二区域根据从位于比读出上述第一区域的生成源的上述像素信号的上述像素行更靠上述摄像面的上述一端侧的上述像素行读出的上述像素信号而生成，所述至少3个第三区域根据从位于比读出上述第一区域的生成源的上述像素信号的上述像素行更靠上述摄像面的上述另一端侧的上述像素行读出的上述像素信号而生成。
(5)根据(2)或(4)所述的摄像控制装置，其中，上述第二区域的数量与上述第三区域的数量相同。
(6)根据(2)至(5)中任一项所述的摄像控制装置，其中，上述第二区域的上述第二方向的宽度与上述第三区域的上述第二方向的宽度不同。
(7)根据(2)至(6)中任一项所述的摄像控制装置，其中，上述运动物体检测部根据配置于上述成像元件的前方的摄像光学系统的焦距来控制上述第二区域和上述第三区域的合计数。
(8)根据(7)所述的摄像控制装置，其中，在上述焦距为阈值以下的情况下，上述运动物体检测部将上述合计数增加到大于上述焦距超过上述阈值时的合计数。
(9)根据(1)至(8)中任一项所述的摄像控制装置，其还具备：焦点控制部，在由上述运动物体检测部检测出运动物体，且根据该运动物体预测到上述时刻的情况下，根据该运动物体被检测出的时刻与在包含该预测的时刻的期间执行的上述驱动的开始时刻之差及由上述运动物体检测部检测出的运动物体的距上述摄像面的距离的变化来预测在该期间的到上述运动物体为止的距离，并根据上述预测的距离来控制配置于上述成像元件的前方的摄像光学系统的在该期间的焦点位置。
(10)一种摄像装置，其具备(1)至(9)中任一项所述的摄像控制装置、上述成像元件及上述驱动部。
(11)一种摄像控制方法，其具备：驱动控制步骤，其连续进行如下驱动，即，通过控制成像元件的驱动部来同时复位多个像素各自的光电转换元件而开始上述多个像素的曝光，并将通过上述曝光积蓄在上述多个像素各自的上述光电转换元件的电荷同时转移至电荷保持部来结束上述曝光之后，从摄像面的第二方向的一端侧朝向另一端侧依次选择像素行，并读出与保持在所选择的上述像素行的上述电荷保持部的上述电荷对应的像素信号，所述成像元件具有上述多个像素且具有由沿第一方向排列的多个上述像素构成的上述像素行沿与上述第一方向正交的上述第二方向排列有多个的上述摄像面，所述像素包含：上述光电转换元件；及上述电荷保持部，保持从上述光电转换元件转移的电荷且通过读出电路读出与上述电荷对应的信号；运动物体检测步骤，其进行如下处理，即，将根据通过上述驱动读出的上述像素信号而生成的摄像图像数据朝向上述第二方向分割为多个区域，且每当生成上述区域时，根据将所生成的上述区域和与摄像图像数据中的该区域相同的区域进行比较的结果，从该区域检测运动物体，根据通过在上述驱动之前进行的上述驱动读出的上述像素信号生成；及记录控制步骤，根据通过上述运动物体检测步骤检测出的上述运动物体的位置的变化，预测在上述摄像图像数据中设定的范围与上述运动物体重叠的时刻，并将通过在包含上述时刻的期间执行的上述驱动读出的上述像素信号作为用于向记录介质进行记录的信号进行处理。
(12)根据(11)所述的摄像控制方法，其中，根据通过上述驱动读出的上述像素信号而生成的上述摄像图像数据中的、根据从位于比读出包含上述范围的第一区域的生成源的上述像素信号的上述像素行更靠上述摄像面的上述另一端侧的上述像素行读出的上述像素信号而生成的区域的生成完成时刻处于进行该驱动的2次后的上述驱动的期间，上述多个区域由上述第一区域、根据从位于比读出上述第一区域的生成源的上述像素信号的上述像素行更靠上述摄像面的上述一端侧的上述像素行读出的上述像素信号生成的至少3个第二区域及根据从位于比读出上述第一区域的生成源的上述像素信号的上述像素行更靠上述摄像面的上述另一端侧的上述像素行读出的上述像素信号生成的至少4个第三区域构成。
(13)根据(12)所述的摄像控制方法，其中，上述第二区域的数量与上述第三区域的数量不同。
(14)根据(11)所述的摄像控制方法，其中，根据通过上述驱动读出的上述像素信号而生成的上述摄像图像数据的生成完成时刻处于进行该驱动的下一上述驱动的期间，上述多个区域由包含上述范围的第一区域、至少3个第二区域及至少3个第三区域构成，所述至少3个第二区域根据从位于比读出上述第一区域的生成源的上述像素信号的上述像素行更靠上述摄像面的上述一端侧的上述像素行读出的上述像素信号而生成，所述至少3个第三区域根据从位于比读出上述第一区域的生成源的上述像素信号的上述像素行更靠上述摄像面的上述另一端侧的上述像素行读出的上述像素信号而生成。
(15)根据(12)或(14)所述的摄像控制方法，其中，上述第二区域的数量与上述第三区域的数量相同。
(16)根据(12)至(15)中任一项所述的摄像控制方法，其中，上述第二区域的上述第二方向的宽度与上述第三区域的上述第二方向的宽度不同。
(17)根据(12)至(16)中任一项所述的摄像控制方法，其中，上述运动物体检测步骤中，根据配置于上述成像元件的前方的摄像光学系统的焦距来控制上述第二区域和上述第三区域的合计数。
(18)根据(17)所述的摄像控制方法，其中，上述运动物体检测步骤中，在上述焦距为阈值以下的情况下，将上述合计数增加到大于上述焦距超过上述阈值时的合计数。
(19)根据(11)至(18)中任一项所述的摄像控制方法，其还具备：
焦点控制步骤，在通过上述运动物体检测步骤检测出运动物体，且根据该运动物体预测到上述时刻的情况下，根据该运动物体被检测出的时刻与在包含该预测的时刻的期间执行的上述驱动的开始时刻之差及通过上述运动物体检测步骤检测出的运动物体的距上述摄像面的距离的变化来预测在该期间的到上述运动物体为止的距离，并根据上述预测的距离来控制配置于上述成像元件的前方的摄像光学系统的在该期间的焦点位置。
(20)一种摄像控制程序，其使计算机执行如下步骤：驱动控制步骤，其连续进行如下驱动，即，通过控制成像元件的驱动部来同时复位多个像素各自的光电转换元件而开始上述多个像素的曝光，并将通过上述曝光积蓄在上述多个像素各自的上述光电转换元件的电荷同时转移至电荷保持部来结束上述曝光之后，从摄像面的第二方向的一端侧朝向另一端侧依次选择像素行，并读出与保持在所选择的上述像素行的上述电荷保持部的上述电荷对应的像素信号，所述成像元件具有上述多个像素且具有由沿第一方向排列的多个上述像素构成的上述像素行沿与上述第一方向正交的上述第二方向排列有多个的上述摄像面，所述像素包含：上述光电转换元件；及上述电荷保持部，保持从上述光电转换元件转移的电荷且通过读出电路读出与上述电荷对应的信号；运动物体检测步骤，其进行如下处理，即，将根据通过上述驱动读出的上述像素信号而生成的摄像图像数据朝向上述第二方向分割为多个区域，且每当生成上述区域时，根据将所生成的上述区域和与摄像图像数据中的该区域相同的区域进行比较的结果，从该区域检测运动物体，根据通过在上述驱动之前进行的上述驱动读出的上述像素信号生成；及记录控制步骤，根据通过上述运动物体检测步骤检测出的上述运动物体的位置的变化，预测在上述摄像图像数据中设定的范围与上述运动物体重叠的时刻，并将通过在包含上述时刻的期间执行的上述驱动读出的上述像素信号作为用于向记录介质进行记录的信号进行处理。
产业上的可利用性
根据本发明，能够提供一种在通过全局快门方式驱动成像元件来对被摄体进行拍摄的情况下，能够在被摄体处于所期望的位置的状态下开始用于记录的拍摄的摄像控制装置、摄像装置、摄像控制方法及摄像控制程序。
符号说明
100-数码相机，1-成像透镜，2-光圈，4-透镜控制部，5-成像元件，60-摄像面，61-像素，61A-光电转换元件，61B-电荷保持部，61C-电荷转移部，61D-浮动扩散，61E-读出电路，61F-电荷排出区域，62-像素行，63-驱动电路，64-信号处理电路，65-信号线，70-N型基板，71-P阱层，72-读出电极，73-N型杂质层，74-P型杂质层，75-区域，76-转移电极，77-复位晶体管，78-输出晶体管，79-选择晶体管，RG-复位用电极，8-透镜驱动部，9-光圈驱动部，10-成像元件驱动部，11-系统控制部，11A-驱动控制部，11B-运动物体检测部，11C-记录控制部，11D-焦点控制部，IG-摄像图像数据，14-操作部，15-存储器控制部，16-存储器，17-数字信号处理部，20-外部存储器控制部，21-记录介质，22-显示控制器，23-显示面，24-控制总线，25-数据总线，40-透镜装置，TR-触发范围，GR、GS、RO、ST、IGt-直线，M-运动物体，200-智能手机，201-框体，202-显示面板，203-操作面板，204-显示输入部，205-扬声器，206-麦克风，207-操作部，208-相机部，210-无线通信部，211-通话部，212-记录部，213-外部输入输出部，214-GPS接收部，215-动作传感器部，216-电源部，217-内部存储部，218-外部存储部，220-主控制部，ST1～STn-GPS卫星。

Claims (18)

1.一种摄像控制装置，其具备：
驱动控制部，其连续进行如下驱动，即，通过控制成像元件的驱动部来同时复位多个像素各自的光电转换元件而开始所述多个像素的曝光，并将通过所述曝光积蓄在所述多个像素各自的所述光电转换元件的电荷同时转移至电荷保持部来结束所述曝光之后，从摄像面的第二方向的一端侧朝向另一端侧依次选择像素行，并读出与保持在所选择的所述像素行的所述电荷保持部的所述电荷对应的像素信号，所述成像元件具有所述多个像素且具有所述摄像面，所述像素包含所述光电转换元件及所述电荷保持部，所述电荷保持部保持从所述光电转换元件转移的电荷且通过读出电路读出与所述电荷对应的信号，所述像素行由沿第一方向排列的多个所述像素构成，所述摄像面由沿与所述第一方向正交的所述第二方向排列的多个所述像素行构成；
运动物体检测部，其进行如下处理，即，将根据通过所述驱动读出的所述像素信号而生成的摄像图像数据朝向所述第二方向分割为多个区域，且每当生成所述区域时，根据将所生成的所述区域和根据通过在所述驱动之前进行的所述驱动读出的所述像素信号而生成的摄像图像数据中的与该区域相同的区域进行比较的结果，从该区域检测运动物体；及
记录控制部，根据由所述运动物体检测部检测出的所述运动物体的位置的变化，预测在所述摄像图像数据中设定的范围与所述运动物体重叠的时刻，并将通过在包含所述时刻的期间执行的所述驱动读出的所述像素信号作为用于向记录介质进行记录的信号进行处理，
根据通过所述驱动读出的所述像素信号而生成的所述摄像图像数据中的基于从部分像素行读出的所述像素信号而生成的区域的生成完成时刻处于进行该驱动2次后的所述驱动开始的帧期间，所述部分像素行是比读出包含所述范围的第一区域的生成源的所述像素信号的所述像素行更靠所述摄像面的所述另一端侧的所述像素行，
所述多个区域由所述第一区域、至少3个第二区域及至少4个第三区域构成，所述至少3个第二区域根据从位于比读出所述第一区域的生成源的所述像素信号的所述像素行更靠所述摄像面的所述一端侧的所述像素行读出的所述像素信号而生成，所述至少4个第三区域根据从位于比读出所述第一区域的生成源的所述像素信号的所述像素行更靠所述摄像面的所述另一端侧的所述像素行读出的所述像素信号而生成。
2.根据权利要求1所述的摄像控制装置，其中，
所述第二区域的数量与所述第三区域的数量不同。
3.根据权利要求1所述的摄像控制装置，其中，
根据通过所述驱动读出的所述像素信号而生成的所述摄像图像数据的生成完成时刻处于进行该驱动的下一所述驱动的期间，
所述多个区域由包含所述范围的第一区域、至少3个第二区域及至少3个第三区域构成，所述至少3个第二区域根据从位于比读出所述第一区域的生成源的所述像素信号的所述像素行更靠所述摄像面的所述一端侧的所述像素行读出的所述像素信号而生成，所述至少3个第三区域根据从位于比读出所述第一区域的生成源的所述像素信号的所述像素行更靠所述摄像面的所述另一端侧的所述像素行读出的所述像素信号而生成。
4.根据权利要求1或3所述的摄像控制装置，其中，
所述第二区域的数量与所述第三区域的数量相同。
5.根据权利要求1至3中任一项所述的摄像控制装置，其中，
所述第二区域的所述第二方向的宽度与所述第三区域的所述第二方向的宽度不同。
6.根据权利要求1至3中任一项所述的摄像控制装置，其中，
所述运动物体检测部根据配置于所述成像元件的前方的摄像光学系统的焦距来控制所述第二区域和所述第三区域的合计数。
7.根据权利要求6所述的摄像控制装置，其中，
在所述焦距为阈值以下的情况下，所述运动物体检测部将所述合计数增加到大于所述焦距超过所述阈值时的合计数。
8.根据权利要求1至3中任一项所述的摄像控制装置，其还具备：
焦点控制部，在由所述运动物体检测部检测出运动物体，且根据该运动物体预测到所述时刻的情况下，根据该运动物体被检测出的时刻与在包含该预测的时刻的期间执行的所述驱动的开始时刻之差、及由所述运动物体检测部检测出的运动物体的距所述摄像面的距离的变化来预测在该期间的到所述运动物体为止的距离，并根据所述预测的距离来控制配置于所述成像元件的前方的摄像光学系统的在该期间的焦点位置。
9.一种摄像装置，其具备：
权利要求1至3中任一项所述的摄像控制装置；
所述成像元件；及
所述驱动部。
10.一种摄像控制方法，其具备：
驱动控制步骤，其连续进行如下驱动，即，通过控制成像元件的驱动部来同时复位多个像素各自的光电转换元件而开始所述多个像素的曝光，并将通过所述曝光积蓄在所述多个像素各自的所述光电转换元件的电荷同时转移至电荷保持部来结束所述曝光之后，从摄像面的第二方向的一端侧朝向另一端侧依次选择像素行，并读出与保持在所选择的所述像素行的所述电荷保持部的所述电荷对应的像素信号，所述成像元件具有所述多个像素且具有所述摄像面，所述像素包含所述光电转换元件及所述电荷保持部，所述电荷保持部保持从所述光电转换元件转移的电荷且通过读出电路读出与所述电荷对应的信号，所述像素行由沿第一方向排列的多个所述像素构成，所述摄像面由沿与所述第一方向正交的所述第二方向排列的多个所述像素行构成；
运动物体检测步骤，其进行如下处理，即，将根据通过所述驱动读出的所述像素信号而生成的摄像图像数据朝向所述第二方向分割为多个区域，且每当生成所述区域时，根据将所生成的所述区域和根据通过在所述驱动之前进行的所述驱动读出的所述像素信号而生成的摄像图像数据中的与该区域相同的区域进行比较的结果，从该区域检测运动物体；及
记录控制步骤，根据通过所述运动物体检测步骤检测出的所述运动物体的位置的变化，预测在所述摄像图像数据中设定的范围与所述运动物体重叠的时刻，并将通过在包含所述时刻的期间执行的所述驱动读出的所述像素信号作为用于向记录介质进行记录的信号进行处理，
根据通过所述驱动读出的所述像素信号而生成的所述摄像图像数据中的基于从部分像素行读出的所述像素信号而生成的区域的生成完成时刻处于进行该驱动2次后的所述驱动开始的帧期间，所述部分像素行是比读出包含所述范围的第一区域的生成源的所述像素信号的所述像素行更靠所述摄像面的所述另一端侧的所述像素行，
所述多个区域由所述第一区域、至少3个第二区域及至少4个第三区域构成，所述至少3个第二区域根据从位于比读出所述第一区域的生成源的所述像素信号的所述像素行更靠所述摄像面的所述一端侧的所述像素行读出的所述像素信号而生成，所述至少4个第三区域根据从位于比读出所述第一区域的生成源的所述像素信号的所述像素行更靠所述摄像面的所述另一端侧的所述像素行读出的所述像素信号而生成。
11.根据权利要求10所述的摄像控制方法，其中，
所述第二区域的数量与所述第三区域的数量不同。
12.根据权利要求10所述的摄像控制方法，其中，
根据通过所述驱动读出的所述像素信号而生成的所述摄像图像数据的生成完成时刻处于进行该驱动的下一所述驱动的期间，
所述多个区域由包含所述范围的第一区域、至少3个第二区域及至少3个第三区域构成，所述至少3个第二区域根据从位于比读出所述第一区域的生成源的所述像素信号的所述像素行更靠所述摄像面的所述一端侧的所述像素行读出的所述像素信号而生成，所述至少3个第三区域根据从位于比读出所述第一区域的生成源的所述像素信号的所述像素行更靠所述摄像面的所述另一端侧的所述像素行读出的所述像素信号而生成。
13.根据权利要求10或12所述的摄像控制方法，其中，
所述第二区域的数量与所述第三区域的数量相同。
14.根据权利要求10至12中任一项所述的摄像控制方法，其中，
所述第二区域的所述第二方向的宽度与所述第三区域的所述第二方向的宽度不同。
15.根据权利要求10至12中任一项所述的摄像控制方法，其中，
所述运动物体检测步骤中，根据配置于所述成像元件的前方的摄像光学系统的焦距来控制所述第二区域和所述第三区域的合计数。
16.根据权利要求15所述的摄像控制方法，其中，
所述运动物体检测步骤中，在所述焦距为阈值以下的情况下，将所述合计数增加到大于所述焦距超过所述阈值时的合计数。
17.根据权利要求10至12中任一项所述的摄像控制方法，其还具备：
焦点控制步骤，在通过所述运动物体检测步骤检测出运动物体，且根据该运动物体预测到所述时刻的情况下，根据该运动物体被检测出的时刻与在包含该预测的时刻的期间执行的所述驱动的开始时刻之差、及通过所述运动物体检测步骤检测出的运动物体的距所述摄像面的距离的变化来预测在该期间的到所述运动物体为止的距离，并根据所述预测的距离来控制配置于所述成像元件的前方的摄像光学系统的在该期间的焦点位置。
18.一种记录介质，存储摄像控制程序，该摄像控制程序使计算机执行如下步骤：
驱动控制步骤，其连续进行如下驱动，即，通过控制成像元件的驱动部来同时复位多个像素各自的光电转换元件而开始所述多个像素的曝光，并将通过所述曝光积蓄在所述多个像素各自的所述光电转换元件的电荷同时转移至电荷保持部来结束所述曝光之后，从摄像面的第二方向的一端侧朝向另一端侧依次选择像素行，并读出与保持在所选择的所述像素行的所述电荷保持部的所述电荷对应的像素信号，所述成像元件具有所述多个像素且具有所述摄像面，所述像素包含所述光电转换元件及所述电荷保持部，所述电荷保持部保持从所述光电转换元件转移的电荷且通过读出电路读出与所述电荷对应的信号，所述像素行由沿第一方向排列的多个所述像素构成，所述摄像面由沿与所述第一方向正交的所述第二方向排列的多个所述像素行构成；
运动物体检测步骤，其进行如下处理，即，将根据通过所述驱动读出的所述像素信号而生成的摄像图像数据朝向所述第二方向分割为多个区域，且每当生成所述区域时，根据将所生成的所述区域和根据通过在所述驱动之前进行的所述驱动读出的所述像素信号而生成的摄像图像数据中的与该区域相同的区域进行比较的结果，从该区域检测运动物体；及
记录控制步骤，根据通过所述运动物体检测步骤检测出的所述运动物体的位置的变化，预测在所述摄像图像数据中设定的范围与所述运动物体重叠的时刻，并将通过在包含所述时刻的期间执行的所述驱动读出的所述像素信号作为用于向记录介质进行记录的信号进行处理，
根据通过所述驱动读出的所述像素信号而生成的所述摄像图像数据中的基于从部分像素行读出的所述像素信号而生成的区域的生成完成时刻处于进行该驱动2次后的所述驱动开始的帧期间，所述部分像素行是比读出包含所述范围的第一区域的生成源的所述像素信号的所述像素行更靠所述摄像面的所述另一端侧的所述像素行，
所述多个区域由所述第一区域、至少3个第二区域及至少4个第三区域构成，所述至少3个第二区域根据从位于比读出所述第一区域的生成源的所述像素信号的所述像素行更靠所述摄像面的所述一端侧的所述像素行读出的所述像素信号而生成，所述至少4个第三区域根据从位于比读出所述第一区域的生成源的所述像素信号的所述像素行更靠所述摄像面的所述另一端侧的所述像素行读出的所述像素信号而生成。
CN201880061098.8A 2017-09-20 2018-06-28 摄像控制装置、摄像装置、摄像控制方法及记录介质 Active CN111108743B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-180451 2017-09-20
JP2017180451 2017-09-20
PCT/JP2018/024545 WO2019058691A1 (ja) 2017-09-20 2018-06-28 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム

Publications (2)

Publication Number Publication Date
CN111108743A CN111108743A (zh) 2020-05-05
CN111108743B true CN111108743B (zh) 2021-07-20

Family

ID=65810790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880061098.8A Active CN111108743B (zh) 2017-09-20 2018-06-28 摄像控制装置、摄像装置、摄像控制方法及记录介质

Country Status (4)

Country Link
US (1) US11095845B2 (zh)
JP (1) JP6928663B2 (zh)
CN (1) CN111108743B (zh)
WO (1) WO2019058691A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111551948B (zh) * 2020-05-20 2022-08-16 炬佑智能科技(苏州)有限公司 一种tof设备的控制方法、计算机存储介质
CN112399076B (zh) * 2020-10-27 2022-08-02 维沃移动通信有限公司 视频拍摄方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1429016A (zh) * 2001-12-28 2003-07-09 富士胶片株式会社 固体电子图像感应装置及其控制方法
CN1801901A (zh) * 2005-01-04 2006-07-12 索尼株式会社 摄像装置以及摄像方法
JP2008252195A (ja) * 2007-03-29 2008-10-16 Yamaha Corp Ｃｍｏｓ固体撮像装置
CN105592261A (zh) * 2014-11-04 2016-05-18 深圳富泰宏精密工业有限公司 辅助拍照系统及方法
CN105681690A (zh) * 2016-03-10 2016-06-15 长春长光辰芯光电技术有限公司 双转移栅高动态范围图像传感器像素的全局快门控制方法
CN105791715A (zh) * 2016-03-10 2016-07-20 长春长光辰芯光电技术有限公司 高动态范围图像传感器像素的全局快门控制方法
CN106605236A (zh) * 2014-09-15 2017-04-26 三星电子株式会社 用于捕捉图像的方法和图像捕捉装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3757008B2 (ja) * 1996-10-14 2006-03-22 シャープ株式会社 画像合成装置
US20080284900A1 (en) 2007-04-04 2008-11-20 Nikon Corporation Digital camera
JP5251215B2 (ja) * 2007-04-04 2013-07-31 株式会社ニコン デジタルカメラ
JP4730402B2 (ja) * 2008-06-30 2011-07-20 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム
TW201023633A (en) * 2008-12-05 2010-06-16 Altek Corp An image capturing device for automatically position indicating and the automatic position indicating method thereof
EP2494498B1 (en) * 2009-10-30 2018-05-23 QUALCOMM Incorporated Method and apparatus for image detection with undesired object removal
CN102792677B (zh) * 2010-03-08 2015-08-05 株式会社半导体能源研究所 半导体器件及其制造方法
EP2503852A1 (en) 2011-03-22 2012-09-26 Koninklijke Philips Electronics N.V. Light detection system and method
TW201251445A (en) * 2011-06-10 2012-12-16 Altek Corp System and method of driving shutter by an object moving tendency
JP6045223B2 (ja) * 2012-06-28 2016-12-14 オリンパス株式会社 撮影機器
JP5955170B2 (ja) * 2012-09-06 2016-07-20 キヤノン株式会社 表示制御装置、表示制御方法、及びプログラム
TWI488126B (zh) * 2012-10-03 2015-06-11 Pixart Imaging Inc 光學導航方法及光學導航裝置
JP6061715B2 (ja) 2013-02-13 2017-01-18 キヤノン株式会社 撮像装置、その制御方法及びプログラム
US8879858B1 (en) * 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
JP2015216482A (ja) * 2014-05-09 2015-12-03 キヤノン株式会社 撮像制御方法、および撮像装置
KR102403065B1 (ko) * 2015-07-14 2022-05-27 삼성전자주식회사 영상 촬영 장치 및 그 동작 방법
JP2017059974A (ja) 2015-09-16 2017-03-23 キヤノン株式会社 撮像装置、制御方法、及びプログラム
KR102462644B1 (ko) * 2016-04-01 2022-11-03 삼성전자주식회사 전자 장치 및 그의 동작 방법
US10452926B2 (en) * 2016-12-29 2019-10-22 Uber Technologies, Inc. Image capture device with customizable regions of interest
US20200005468A1 (en) * 2019-09-09 2020-01-02 Intel Corporation Method and system of event-driven object segmentation for image processing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1429016A (zh) * 2001-12-28 2003-07-09 富士胶片株式会社 固体电子图像感应装置及其控制方法
CN1801901A (zh) * 2005-01-04 2006-07-12 索尼株式会社 摄像装置以及摄像方法
JP2008252195A (ja) * 2007-03-29 2008-10-16 Yamaha Corp Ｃｍｏｓ固体撮像装置
CN106605236A (zh) * 2014-09-15 2017-04-26 三星电子株式会社 用于捕捉图像的方法和图像捕捉装置
CN105592261A (zh) * 2014-11-04 2016-05-18 深圳富泰宏精密工业有限公司 辅助拍照系统及方法
CN105681690A (zh) * 2016-03-10 2016-06-15 长春长光辰芯光电技术有限公司 双转移栅高动态范围图像传感器像素的全局快门控制方法
CN105791715A (zh) * 2016-03-10 2016-07-20 长春长光辰芯光电技术有限公司 高动态范围图像传感器像素的全局快门控制方法

Also Published As

Publication number Publication date
JPWO2019058691A1 (ja) 2020-10-08
CN111108743A (zh) 2020-05-05
US20200221050A1 (en) 2020-07-09
JP6928663B2 (ja) 2021-09-01
WO2019058691A1 (ja) 2019-03-28
US11095845B2 (en) 2021-08-17

Similar Documents

Publication Publication Date Title
US10623673B2 (en) Imaging device, imaging method, and imaging program
US9380204B2 (en) Imaging device and focus control method
CN110463185B (zh) 摄像装置、摄像方法及存储介质
US10735662B2 (en) Imaging control device, imaging apparatus, imaging control method, and imaging control program
US10848692B2 (en) Global shutter and rolling shutter drive start timings for imaging apparatus, imaging method, and imaging program
CN111108743B (zh) 摄像控制装置、摄像装置、摄像控制方法及记录介质
US10750105B2 (en) Imaging apparatus, operation method of imaging apparatus, and operation program of imaging apparatus
US10944925B2 (en) Global shuttering, first rolling readout and second rolling readout employed with an imaging apparatus, imaging method, and imaging program
CN111095910B (zh) 摄像控制装置、摄像装置、摄像控制方法及记录介质
CN110024373B (zh) 摄像装置、摄像方法及存储介质
CN109792494B (zh) 摄像装置、静态图像摄像方法及记录介质
CN109716752B (zh) 摄像装置、摄像方法、存储介质
CN109906604B (zh) 摄像装置、摄像方法及记录介质
US20240007767A1 (en) Imaging control device, imaging apparatus, imaging control method, and imaging control program
CN114365477A (zh) 摄像装置、摄像方法及摄像程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant