CN104717424A - 图像处理设备、摄像设备及其控制方法 - Google Patents

图像处理设备、摄像设备及其控制方法 Download PDF

Info

Publication number
CN104717424A
CN104717424A CN201410779801.2A CN201410779801A CN104717424A CN 104717424 A CN104717424 A CN 104717424A CN 201410779801 A CN201410779801 A CN 201410779801A CN 104717424 A CN104717424 A CN 104717424A
Authority
CN
China
Prior art keywords
view data
camera head
subject
reading
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410779801.2A
Other languages
English (en)
Other versions
CN104717424B (zh
Inventor
古用博之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN104717424A publication Critical patent/CN104717424A/zh
Application granted granted Critical
Publication of CN104717424B publication Critical patent/CN104717424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Abstract

本发明提供一种图像处理设备、摄像设备及其控制方法。图像处理设备在以固定帧频进行运动图像记录时正确获取评价值。第一读出单元减少摄像装置的读出行，并且从减少后的读出行获取和输出用于运动图像记录的图像数据。第二读出单元以比第一读出单元更高的速率，从与第一读出单元所读出的读出行不重叠的读出行获取图像数据，并且与第一读出单元同时输出所获取的图像数据。针对通过第一读出单元和第二读出单元所获取的图像数据两者，判断被摄体状态是否改变。如果判断为第二读出单元所获取的图像数据中的被摄体状态变化，则在第一读出单元保持固定速度的情况下，改变第二读出单元获取图像数据的速度。

Description

图像处理设备、摄像设备及其控制方法
技术领域
本发明涉及一种诸如能够进行运动图像记录的数字静态照相机和数字摄像机等的图像处理设备及其控制方法和存储介质。
背景技术
对于诸如能够进行运动图像记录的数字静态照相机等的图像处理设备，已知用于根据亮度的变化来切换帧频的技术。例如，已知这样一种摄像装置：该摄像装置检测从CMOS或者CCD摄像装置所获取的图像的亮度水平，将该亮度水平与预先设置的阈值进行比较，并且如果判断为需要切换帧频，则增大或者减小帧频(日本特开2003-87630)。
另外，已知这样的一些技术：这些技术根据运动图像记录时被摄体的状态调整摄像条件以持续保持适于被摄体的状态的AE(自动曝光)和AWB(自动白平衡)(日本特开2012-151706)。
这些技术能够在改变帧频的情况下进行运动图像记录，从而使得可以在持续保持适于被摄体的状态的AE和AWB的条件的情况下进行运动图像记录。
然而，在上述日本特开2003-87630和日本特开2012-151706中，不得不根据被摄体的各种条件改变运动图像记录时的帧频，因此难以应付以固定帧频进行运动图像记录的这一条件。另外，当以固定帧频进行运动图像记录时，具有低亮度的被摄体发生下面的问题：由于用于被摄体的曝光时间的固定上限，不能准确地获取AF(自动调焦)、AE和AWB等的评价值。
发明内容
本发明提供一种在以固定帧频进行运动图像记录的情况下也准确地获取AF、AE和AWB的评价值的图像处理设备、该图像处理设备的控制方法和存储介质。
因此，本发明的第一方面，提供一种图像处理设备，其控制摄像装置的驱动来记录运动图像，所述图像处理设备的特征在于包括：第一读出单元，用于减少所述摄像装置的读出行，并且从减少后的读出行获取和输出用于运动图像记录的图像数据；第二读出单元，用于在所述摄像装置中，以比所述第一读出单元更高的速率，从与所述第一读出单元所读出的读出行不重叠的读出行获取图像数据，并且与所述第一读出单元同时输出所获取的图像数据；判断单元，用于针对所述第一读出单元所获取的图像数据和所述第二读出单元所获取的图像数据两者，判断被摄体的状态是否变化；以及改变单元，用于在所述判断单元判断为所述第二读出单元所获取的图像数据中的所述被摄体的状态变化的情况下，根据所述被摄体的状态的变化，改变所述第二读出单元获取图像数据的速度，而所述第一读出单元以固定速度获取图像数据。
因此，本发明的第二方面，提供一种摄像设备，其包括摄像装置，该摄像装置被配置为具有以二维阵列所配置的多个像素，所述摄像设备的特征在于还包括：控制单元，用于针对所述摄像装置的各个区域而分别控制读出速率，其中，在从所述摄像装置的第一区域重复读出图像信号以用于运动图像记录的情况下，所述控制单元在保持针对所述第一区域的读出速率的情况下，根据被摄体的亮度来改变针对与所述第一区域不同的第二区域的读出速率。
因此，本发明的第三方面，提供一种图像处理设备的控制方法，其中，所述图像处理设备控制摄像装置的驱动以记录运动图像，所述控制方法的特征在于包括以下步骤：第一读出步骤，用于减少所述摄像装置的读出行，并且从减少后的读出行获取和输出用于运动图像记录的图像数据；第二读出步骤，用于在所述摄像装置中，以比所述第一读出步骤更高的速率，从与在所述第一读出步骤中所读出的读出行不重叠的读出行获取图像数据，并且与所述第一读出步骤同时输出所获取的图像数据；判断步骤，用于针对在所述第一读出步骤中所获取的图像数据和在所述第二读出步骤中所获取的图像数据两者，判断被摄体的状态是否变化；以及改变步骤，用于在所述判断步骤中判断为在所述第二读出步骤中所获取的图像数据中的所述被摄体的状态变化的情况下，根据所述被摄体的状态的变化，改变在所述第二读出步骤中获取图像数据的速度，而在所述第一读出步骤中以固定速度获取图像数据。
因此，本发明的第四方面，提供一种摄像设备的控制方法，其中，所述摄像设备包括摄像装置，所述摄像装置具有以二维阵列所配置的多个像素，所述控制方法的特征在于包括以下步骤：控制步骤，用于针对所述摄像装置的各个区域而分别控制读出速率，其中，在所述控制步骤中，在从所述摄像装置的第一区域重复读出图像信号以用于运动图像记录的情况下，在保持针对所述第一区域的读出速率的情况下，根据被摄体的亮度来改变针对与所述第一区域不同的第二区域的读出速率。
因此，本发明的第五方面，提供一种非暂时性计算机可读存储介质，其存储用于使得计算机执行图像处理设备的控制方法的程序，其中，所述图像处理设备控制摄像装置的驱动以记录运动图像，所述控制方法包括以下步骤：第一读出步骤，用于减少所述摄像装置的读出行，并且从减少后的读出行获取和输出用于运动图像记录的图像数据；第二读出步骤，用于在所述摄像装置中，以比所述第一读出步骤更高的速率，从与在所述第一读出步骤中所读出的读出行不重叠的读出行获取图像数据，并且与所述第一读出步骤同时输出所获取的图像数据；判断步骤，用于针对在所述第一读出步骤中所获取的图像数据和在所述第二读出步骤中所获取的图像数据两者，判断被摄体的状态是否变化；以及改变步骤，用于在所述判断步骤中判断为在所述第二读出步骤中所获取的图像数据中的所述被摄体的状态变化的情况下，根据所述被摄体的状态的变化，改变在所述第二读出步骤中获取图像数据的速度，而在所述第一读出步骤中以固定速度获取图像数据。
因此，本发明的第六方面，提供一种非暂时性计算机可读存储介质，其存储用于使得计算机执行摄像设备的控制方法的程序，其中，所述摄像设备包括摄像装置，所述摄像装置具有以二维阵列所配置的多个像素，所述控制方法包括以下步骤：控制步骤，用于针对所述摄像装置的各个区域而分别控制读出速率，其中，在所述控制步骤中，在从所述摄像装置的第一区域重复读出图像信号以用于运动图像记录的情况下，在保持针对所述第一区域的读出速率的情况下，根据被摄体的亮度来改变针对与所述第一区域不同的第二区域的读出速率。
根据本发明，使用主流和子流，并且在主流中以固定帧频记录运动图像的情况下，将子流中的帧频改变成适于被摄体的状态的帧频，因此在以固定帧频进行运动图像记录的情况下，也可以正确地获取AF、AE和AWB的评价值。
通过以下(参考附图)对典型实施例的说明，本发明的其它特征将显而易见。
附图说明
图1是作为本发明的图像处理设备的实施例的例子的数字静态照相机的示意性框图。
图2是示出数字静态照相机的操作例子的流程图。
图3是示出在子流中的电子快门对于读出域是共同的情况下，运动图像记录操作中的摄像装置的驱动例子的时序图。
图4是示出在子流中的电子快门对于读出域是共同的情况下，在判断为在子流中所获取的AE评价值表示低亮度时的摄像装置的驱动例子的时序图。
图5是示出在子流中的电子快门对于读出域是共同的情况下，通过与图4不同的方法的改变子流中的读出方法的情况的时序图。
图6是示出在子流中的电子快门对于读出域是共同的情况下，当判断为在主流中所获取的AE评价值表示低亮度时的摄像装置的驱动例子的时序图。
图7是示出在对于各个读出域可以分别设置子流中的电子快门的情况下，运动图像记录操作中的摄像装置的驱动例子的时序图。
图8是示出在对于各个读出域可以分别设置子流中的电子快门的情况下，当判断为在子流中所获取的AE评价值表示低亮度时的摄像装置的驱动例子的时序图。
图9是示出在对于各个读出域分别设置子流中的电子快门的情况下，通过与图8不同的方法改变子流中的读出方法的情况的时序图。
具体实施方式
下面参考附图说明本发明的实施例的例子。
图1是作为本发明的图像处理设备的实施例的例子的数字静态照相机的示意性框图。应该注意，以下还将这里所述的数字静态照相机称为摄像设备。
如图1所示，本实施例的数字静态照相机100包括摄像镜头10、具有光圈功能的机械快门12、将光学图像转换成电信号的摄像装置14、以及将从摄像装置14输出的模拟信号转换成数字信号的A/D转换器16等。时序生成电路18受存储器控制电路22和系统控制电路50控制，并且向摄像装置14和A/D转换器16提供时钟信号或者控制信号。摄像装置14是具有以二维阵列所配置的多个像素的CMOS或者CCD摄像装置。如稍后所述，系统控制电路50控制时序生成电路18以分别控制针对摄像装置14的各个区域的读出帧频(读出速率)。具体地，在从摄像装置14的第一区域重复读出图像信号以用于运动图像记录的情况下，系统控制电路50在保持针对第一区域的读出速率的情况下，根据被摄体的亮度改变针对与第一区域不同的第二区域的读出速率。
应该注意，除快门12以外，摄像装置14可以用作为用于控制复位定时以控制电荷的积累时间的电子快门，并且电子快门可以应用于运动图像拍摄等。
图像处理电路20对来自A/D转换器16的数据或者来自存储器控制电路22的数据进行预定像素插值处理或者颜色转换处理。另外，图像处理电路20对图像进行剪切或者缩放处理，这样实现电子变焦功能。此外，图像处理电路20对图像数据进行图像识别，或者检测相对于前一帧图像的变化量。
另外，图像处理电路20使用拍摄图像数据进行预定计算处理，并且系统控制电路50基于所获取的计算结果，对曝光控制单元40和焦点控制单元42进行控制(TTL系统的AF处理、AE处理和EF处理)。图像处理电路20基于从摄像装置14的第一区域所读出的第一摄像信号和从摄像装置14的第二区域所读出的第二摄像信号中的至少一个，计算被摄体的亮度作为AE评价值。此外，图像处理电路20使用拍摄图像数据进行预定计算处理，并且还基于所获取的计算结果进行TTL系统的AWB(自动白平衡)处理。
存储器控制电路22控制A/D转换器16、时序生成电路18、图像处理电路20、存储器30和压缩/解压缩电路32。通过图像处理电路20和存储器控制电路22、或者直接通过存储器控制电路22，将来自A/D转换器16的数据写入存储器30中。存储器30存储拍摄的静止图像数据或者运动图像数据。另外，存储器30可用作为系统控制电路50的工作区。
图像显示单元28由TFT显示器或者LCD等构成。通过存储器控制电路22，利用图像显示单元28显示被写入存储器30中的要显示的图像数据。图像显示单元28连续显示所拍摄的图像数据，这样使得能够实现电子取景器功能。
系统控制电路50整体控制整个数字静态照相机100。由系统控制电路50所执行的程序代码被写入诸如闪速ROM等的非易失性存储器31中，并且顺序被加载。另外，非易失性存储器31具有用于存储系统信息的区域和用于存储用户设置信息的区域，并且在下一启动时从这些区域加载各种信息和设置。
压缩/解压缩电路32是使用自适应离散余弦变换(ADCT)等来压缩/解压缩图像数据的电路，其读取存储在存储器30中的图像，对读取图像进行压缩处理或者解压缩处理，并且将处理后的数据写入存储器30中。
曝光控制单元40控制快门12，并且还具有用于与电子闪光灯48连动来控制电子闪光的功能。焦点控制单元42控制摄像镜头10的调焦，并且变焦控制单元44控制摄像镜头10的变焦。电子闪光灯48具有闪光控制功能、以及AF辅助光的发光功能。
模式拨盘60在诸如关闭电源、自动拍摄模式、拍摄模式、全景拍摄模式、运动图像拍摄模式、再现模式和PC连接模式等的功能模式之间进行切换、并进行设置。
快门开关(SW1)62在快门按钮的操作的中途被接通，并且做出开始诸如AF(自动调焦)处理、AE(自动曝光)处理和AWB(自动白平衡)处理等的操作的指示。
快门开关(SW2)64在完成快门按钮的操作时被接通。在闪光拍摄的情况下，系统控制电路50使得在进行EF(闪光控制)处理之后将摄像装置14曝光在AE处理时所确定的曝光时间。系统控制电路50然后使得电子闪光灯48在该曝光时间期间发射光，并且使得曝光控制单元40在与曝光时间的结束相同的时间对摄像装置14遮光，从而终止摄像装置14的曝光。
另外，当接通快门开关(SW2)时，系统控制电路50进行读出处理，在该处理中，通过A/D转换器16和存储器控制电路22，将从摄像装置14读出的信号写入存储器30中作为图像数据。
另外，当接通快门开关(SW2)64时，系统控制电路50进行通过使用图像处理电路20或者存储器控制电路22的计算的显影处理、或者从存储器30读出图像数据并且通过压缩/解压缩电路32压缩该图像数据的处理。此外，当接通快门开关(SW2)64时，系统控制电路50进行将图像数据写入记录介质200中的记录处理。
显示切换开关66切换图像显示单元28的显示。该功能通过切断向图像显示单元28的供电，使得在使用光学取景器104的拍摄时能够省电。
操作单元70由各种按钮、触摸面板和便携式拨盘等构成，例如，菜单按钮、设置按钮、微距按钮、多画面再现换页按钮、电子闪光灯设置按钮、运动图像记录开关、以及单拍/连拍/自拍开关按钮等。另外，操作单元70包括电源开关、子菜单移动+(加号)按钮、菜单移动－(减号)按钮、再现图像移动+(加号)按钮、再现图像移动－(减号)按钮、摄像质量选择按钮、曝光补偿按钮、以及日期/时间设置按钮等。
变焦开关72是用户对拍摄图像进行倍率的改变指示所使用的开关。变焦开关72包括用于向远摄侧改变拍摄视角所使用的远摄开关、以及用于向广角侧改变拍摄视角所使用的广角开关。此外，变焦开关72用作为用于指示变焦控制单元44改变摄像镜头10的拍摄视角以进行光学变焦操作的触发器。另外，变焦开关72还用作为用于通过图像处理电路20剪切图像的触发器、或者用于通过像素插值处理等使得电子变焦改变成拍摄视角的触发器。
电源单元86由诸如碱性电池等的一次电池、诸如镍镉电池、镍氢电池和锂离子电池等的二次电池、以及AC适配器构成。I/F 90是与记录介质200的接口，并且记录介质200被连接至连接器92。记录介质200由存储卡或者硬盘等构成，并且包括诸如半导体存储器和磁盘等的记录单元202、与数字静态照相机100的I/F(接口)204、以及要与连接器92连接的连接器206。
光学取景器104使得能够在无需使用利用图像显示单元28的电子取景器功能的情况下进行拍摄。通信单元110具有诸如USB、IEEE 1394、LAN和无线通信等的各种通信功能。连接器/天线112是在通过通信单元110将数字静态照相机100连接至其它装置时要使用的连接器、或者在无线通信时要使用的天线。
图2是示出数字静态照相机100的操作例子的流程图。通过在存储器30上展开存储在非易失性存储器31中的程序、并且通过系统控制电路50的CPU等执行展开的程序来实现图2所示的处理。
在步骤S101，系统控制电路50响应于更换电池等之后的接通，初始化标志和控制变量等，并且进入步骤S102。
在步骤S102，系统控制电路50判断模式拨盘开关60的设置位置。然后，如果模式拨盘开关60被设置成拍摄模式，则系统控制电路50进入步骤S104，或者如果模式拨盘开关60被设置成其它模式(例如，再现)，则进入步骤S103。
在步骤S103，系统控制电路50根据设置模式进行处理，并且在完成该处理之后返回至步骤S102。
在步骤S104，系统控制电路50启动摄像装置14，并且进入步骤S105。当启动摄像装置14时，系统控制电路50使得摄像装置14在多个帧频(获取速度)的读出模式下工作。在这种情况下，例如，将对于图像显示单元28所使用的读出帧频设置成30fps，并且将对于AF处理、AE处理和AWB处理所使用的读出帧频设置成240fps。
这里，在下面的说明中，将30fps的帧读出称为主流，并且将以高于主流的240fps的帧读出称为子流。另外，在主流和子流两者中，对于一个VD(一个垂直同步期)上的9个域进行帧读出，主流中的读出包括1/9域读出，并且子流中的帧读出包括2/9～9/9域读出。主流中的读出速率对应于用于摄像装置14的第一区域的读出帧频，并且子流中的读出速率对应于用于摄像装置14的第二区域的读出帧频。
另外，存在对于各个读出域可以分别设置子流中的电子快门的情况和对于读出域、电子快门是共同的情况。在对于各个读出域可以分别设置电子快门的情况下，可以对于各个读出域专门生成电子快门，并且因此不易使得其它读出域受到电子快门的影响。因此，各读出域的曝光时间是从生成用于各读出域的专用电子快门开始，直到开始读出域的读出为止。在对于读出域、电子快门是共同的情况下，对于各读出域没有专用电子快门，并且曝光时间是从生成电子快门开始，直到开始读出域的读出为止。
在步骤S105，系统控制电路50设置EVF显示状态，在EVF显示状态中，将在主流中所读出的图像数据连续显示在图像显示单元28上，并且进入步骤S106。
在步骤S106，系统控制电路50判断是否通过操作单元70的运动图像记录开关进行运动图像记录的开始操作，并且如果判断为要进行该开始操作，则进入步骤S107，或者如果判断为不进行该开始操作，则进入步骤S109。
在步骤S109，系统控制电路50判断是否进行操作单元70的电源开关的关闭电源操作，并且如果判断为要进行电源开关的关闭电源操作，则进入步骤S110，或者如果判断为不进行关闭电源操作，则返回至步骤S105以继续EVF显示状态。
在步骤S110，系统控制电路50在步骤S105终止照相机操作以终止EVF显示状态，并且结束该处理。
在步骤S107，系统控制电路50响应于通过运动图像记录开关所进行的运动图像记录的开始操作，开始运动图像记录，并且进入步骤S108。
在步骤S108，系统控制电路50判断是否通过运动图像记录开关进行运动图像记录的结束操作，并且如果判断为要进行结束操作，则结束运动图像记录、并且返回至步骤S105。
接着参考图3～图9，说明图2中的步骤S107的运动图像记录操作中的摄像装置14的控制例子。
图3是示出在子流中所使用的电子快门对于读出域是共同的情况下，运动图像记录操作时的摄像装置14的驱动例子的时序图。如图3所示，在运动图像记录操作时，使得摄像装置14在多个帧频的读出模式下工作。在本实施例中，将主流用于运动图像记录，并且将子流用于获取AF、AE和AWB的评价值。应该注意，图3中的术语“EXP”表示曝光时间，并且在子流中，尽管未以“EXP”表示的、与主流中的曝光时间相对应的部分是曝光时间。
这里，主流相当于第一读出单元的例子。另外，子流相当于第二读出单元的例子。
在图3中，由于子流中所使用的电子快门对于读出域是共同的，因而子流中的最大曝光时间约为4ms(240fps＝约4ms)。
另外，除子流以外，还在主流中获取评价值。在本实施例中，运动图像记录时的帧频被固定成30fps。通常，基于以高速率在子流中所获取的评价值和在主流中所获取的评价值来进行AF处理、AE处理和AWB处理，并且在适当被摄体状态下进行运动图像记录。这里，适当被摄体状态是指将聚焦于被摄体、并且在计算出被摄体的适当曝光的状态下正确判断出被摄体的颜色的状态。
图4是示出在子流中的电子快门对于读出域是共同的情况下，判断为在子流中所获取的AE评价值表示低亮度时的摄像装置14的驱动例子的时序图。这里，判断为AE评价值表示低亮度的情况是指下面的情况：系统控制电路50通过图像处理电路20判断为由于在主流和子流中所获取的图像数据中的被摄体的状态的变化，被摄体的亮度低于预定阈值(预定值)。
在图4中，当判断为在子流中所获取的AE评价值表示低亮度时，在用于运动图像记录的主流中的帧频保持30fps的情况下，改变子流中的读出方法。也就是说，当从摄像装置14的第一区域重复读出图像信号以用于运动图像记录时，系统控制电路50在保持针对第一区域的读出速率的情况下，根据基于从第二区域所读出的第二摄像信号所计算出的被摄体的亮度，改变针对与第一区域不同的第二区域的读出速率。
具体地，通过禁止一个VD的子流中的读出，将子流中的曝光时间增大至4ms以上。另外，通过禁止一个VD以上的子流中的读出，调整曝光时间以使得在子流中进行适当曝光。
图5是示出在子流中的电子快门对于读出域是共同的情况下，通过与图4不同的方法改变子流中的读出方法的情况的时序图。
在图5中，通过每隔一个域禁止用于生成电子快门的定时和用于开始读出的定时，降低帧频以延长各域的曝光时间。具体地，通过禁止对2/9域、4/9域、6/9域和8/9域的读出，延长3/9域、5/9域、7/9域和9/9域的曝光时间。
另外，通过对一个以上的域禁止用于生成电子快门的定时和用于开始读出的定时，调整曝光时间以使得在子流中进行适当曝光。
图6是示出在子流中的电子快门对于读出域是共同的情况下，当判断为在主流中所获取的AE评价值表示低亮度时的摄像装置14的驱动例子的时序图。也就是说，当从摄像装置14的第一区域重复读出图像信号以用于运动图像记录时，系统控制电路50在保持针对第一区域的读出速率的情况下，根据基于从第一区域所读出的第一摄像信号所计算出的被摄体的亮度，改变针对与第一区域不同的第二区域的读出速率。
当判断为主流中的AE评价值表示低亮度时，如图4一样，通过禁止一个VD以上的子流中的读出，调整曝光时间以使得在子流中进行适当曝光。随后，通过将在子流中使得曝光时间适当的评价值反映至主流的输出，可以适当设置主流中的AE处理和AWB处理。
这是因为来自主流的输出值小，这妨碍了正确获取评价值，并且使用该评价值来进行AF处理、AE处理和AWB处理，可能使得不能正确进行处理。
图7是示出在对于各个读出域可以分别设置子流中的电子快门的情况下，运动图像记录操作中的摄像装置14的驱动例子的时序图。
如图7所示，在运动图像记录操作中，使摄像装置14在多个帧频的读出模式下工作。在图7的驱动例子中，如上所述，将主流用于运动图像记录，并且将子流用于获取AF、AE和AWB的评价值。
在图7中，由于对于各个读出域可以分别设置子流中的电子快门，因而子流中的最大曝光时间约为33ms(30fps＝约33ms)。
另外，除子流以外，还在主流中获取评价值。这里，运动图像记录时的帧频被固定成30fps。
图8是示出在对于各个读出域分别设置子流中的电子快门的情况下，当判断为在子流中所获取的AE评价值表示低亮度时的摄像装置14的驱动例子的时序图。
在图8中，在用于运动图像记录的主流中的帧频保持30fps的情况下，改变子流中的读出方法。具体地，通过禁止一个VD的子流中的读出，将子流中的曝光时间增大至33ms以上。另外，通过禁止一个VD以上的子流中的读出，调整曝光时间以使得在子流中进行适当曝光。
图9是示出在对于各个读出域分别设置子流中的电子快门的情况下，通过与图8不同的方法改变子流中的读出方法的情况的时序图。
在图9中，如图8一样，通过禁止一个VD的子流中的读出，使得子流中的曝光时间为33ms以上，并且将偶数域和奇数域交替设置为在一个VD期间禁止读出的读出域。具体地，在VD期间A中，读出2/9、4/9、6/9和8/9域，并且禁止对3/9、5/9、7/9和9/9域的读出。相反地，在VD期间B中，读出3/9、5/9、7/9和9/9域，并且禁止对2/9、4/9、6/9和8/9域的读出。
应该注意，各期间中的读出禁止读出域的设置不局限于偶数域或者奇数域，并且，例如，可以设置成在VD期间A中读出2/9、3/9、4/9和5/9域、并且在VD期间B中读出6/9、7/9、8/9和9/9域。
如上所述，在本实施例中，即使具有低亮度，也可以在保持运动图像记录时的帧频的情况下正确获取AF、AE和AWB的评价值，这样能够使得正确进行AF、AE和AWB处理。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
本申请要求2013年12月16日提交的日本申请2013-259305的优先权，其全部内容通过引用包含于此。

Claims (11)

1.一种图像处理设备，其控制摄像装置的驱动来记录运动图像，所述图像处理设备的特征在于包括：
第一读出单元，用于减少所述摄像装置的读出行，并且从减少后的读出行获取和输出用于运动图像记录的图像数据；
第二读出单元，用于在所述摄像装置中，以比所述第一读出单元更高的速率，从与所述第一读出单元所读出的读出行不重叠的读出行获取图像数据，并且与所述第一读出单元同时输出所获取的图像数据；
判断单元，用于针对所述第一读出单元所获取的图像数据和所述第二读出单元所获取的图像数据两者，判断被摄体的状态是否变化；以及
改变单元，用于在所述判断单元判断为所述第二读出单元所获取的图像数据中的所述被摄体的状态变化的情况下，根据所述被摄体的状态的变化，改变所述第二读出单元获取图像数据的速度，而所述第一读出单元以固定速度获取图像数据。
2.根据权利要求1所述的图像处理设备，其中，在所述判断单元判断为所述第二读出单元所获取的图像数据中的所述被摄体的状态变化为低亮度的情况下，所述改变单元改变所述第二读出单元获取图像数据的速度，以延长所述摄像装置的曝光时间。
3.根据权利要求1所述的图像处理设备，其中，在所述判断单元判断为所述第一读出单元所获取的图像数据中的所述被摄体的状态变化为低亮度的情况下，所述改变单元改变所述第二读出单元获取图像数据的速度，以延长所述摄像装置的曝光时间，以及
在延长所述曝光时间之后，将基于所述第二读出单元所获取的图像数据的所述被摄体的状态的评价值反映至所述第一读出单元的输出。
4.根据权利要求2所述的图像处理设备，其中，所述改变单元降低所述第二读出单元获取图像数据的速度。
5.一种摄像设备，其包括摄像装置，该摄像装置被配置为具有以二维阵列所配置的多个像素，所述摄像设备的特征在于还包括：
控制单元，用于针对所述摄像装置的各个区域而分别控制读出速率，
其中，在从所述摄像装置的第一区域重复读出图像信号以用于运动图像记录的情况下，所述控制单元在保持针对所述第一区域的读出速率的情况下，根据被摄体的亮度来改变针对与所述第一区域不同的第二区域的读出速率。
6.根据权利要求5所述的摄像设备，其中，还包括计算单元，所述计算单元用于基于从所述第一区域所读出的第一摄像信号和从所述第二区域所读出的第二摄像信号中的至少一个，计算所述被摄体的亮度，
其中，所述控制单元根据所述计算单元所计算出的被摄体的亮度，改变针对所述第二区域的读出速率。
7.根据权利要求5所述的摄像设备，其中，与所述被摄体的亮度等于或者高于预定值的情况相比，在所述被摄体的亮度低于所述预定值的情况下，所述控制单元将针对所述第二区域的读出速率设置得更长。
8.根据权利要求5所述的摄像设备，其中，所述控制单元根据所述被摄体的亮度而改变针对所述第一区域的曝光时间。
9.根据权利要求5所述的摄像设备，其中，所述控制单元根据所述被摄体的亮度而改变针对所述第二区域的曝光时间。
10.一种图像处理设备的控制方法，其中，所述图像处理设备控制摄像装置的驱动以记录运动图像，所述控制方法的特征在于包括以下步骤：
第一读出步骤，用于减少所述摄像装置的读出行，并且从减少后的读出行获取和输出用于运动图像记录的图像数据；
第二读出步骤，用于在所述摄像装置中，以比所述第一读出步骤更高的速率，从与在所述第一读出步骤中所读出的读出行不重叠的读出行获取图像数据，并且与所述第一读出步骤同时输出所获取的图像数据；
判断步骤，用于针对在所述第一读出步骤中所获取的图像数据和在所述第二读出步骤中所获取的图像数据两者，判断被摄体的状态是否变化；以及
改变步骤，用于在所述判断步骤中判断为在所述第二读出步骤中所获取的图像数据中的所述被摄体的状态变化的情况下，根据所述被摄体的状态的变化，改变在所述第二读出步骤中获取图像数据的速度，而在所述第一读出步骤中以固定速度获取图像数据。
11.一种摄像设备的控制方法，其中，所述摄像设备包括摄像装置，所述摄像装置具有以二维阵列所配置的多个像素，所述控制方法的特征在于包括以下步骤：
控制步骤，用于针对所述摄像装置的各个区域而分别控制读出速率，
其中，在所述控制步骤中，在从所述摄像装置的第一区域重复读出图像信号以用于运动图像记录的情况下，在保持针对所述第一区域的读出速率的情况下，根据被摄体的亮度来改变针对与所述第一区域不同的第二区域的读出速率。
CN201410779801.2A 2013-12-16 2014-12-16 图像处理设备、摄像设备及其控制方法 Active CN104717424B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013259305A JP6198600B2 (ja) 2013-12-16 2013-12-16 画像処理装置、撮像装置、その制御方法及びプログラム
JP2013-259305 2013-12-16

Publications (2)

Publication Number Publication Date
CN104717424A true CN104717424A (zh) 2015-06-17
CN104717424B CN104717424B (zh) 2018-01-26

Family

ID=53370045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410779801.2A Active CN104717424B (zh) 2013-12-16 2014-12-16 图像处理设备、摄像设备及其控制方法

Country Status (3)

Country Link
US (1) US9838632B2 (zh)
JP (1) JP6198600B2 (zh)
CN (1) CN104717424B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102553553B1 (ko) * 2015-06-12 2023-07-10 가부시키가이샤 한도오따이 에네루기 켄큐쇼 촬상 장치, 및 그 동작 방법 및 전자 기기
KR102558488B1 (ko) * 2017-12-06 2023-07-20 소니 세미컨덕터 솔루션즈 가부시키가이샤 고체 촬상 장치, 고체 촬상 장치의 제어 방법 및 컴퓨터 프로그램
US11032507B2 (en) * 2018-12-06 2021-06-08 Flir Commercial Systems, Inc. Frame rate and associated device manufacturing techniques for imaging systems and methods
US10931874B2 (en) 2018-12-06 2021-02-23 Flir Commercial Systems, Inc. Burst mode calibration sensing and image mode sensing for imaging systems and methods
JP6964806B2 (ja) * 2018-12-27 2021-11-10 富士フイルム株式会社 撮像素子、撮像装置、画像データ処理方法、及びプログラム
WO2023218980A1 (ja) * 2022-05-13 2023-11-16 ソニーセミコンダクタソリューションズ株式会社 撮像装置、センサチップ、および処理回路

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087630A (ja) * 2001-09-07 2003-03-20 Hitachi Kokusai Electric Inc 動画像撮像装置
US20090225189A1 (en) * 2008-03-05 2009-09-10 Omnivision Technologies, Inc. System and Method For Independent Image Sensor Parameter Control in Regions of Interest
US20120182455A1 (en) * 2011-01-18 2012-07-19 Olympus Corporation Solid-state image pickup device and image pickup device

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7106374B1 (en) * 1999-04-05 2006-09-12 Amherst Systems, Inc. Dynamically reconfigurable vision system
US6839452B1 (en) * 1999-11-23 2005-01-04 California Institute Of Technology Dynamically re-configurable CMOS imagers for an active vision system
JP2007228019A (ja) * 2006-02-21 2007-09-06 Olympus Corp 撮像装置
JP2007300463A (ja) * 2006-05-01 2007-11-15 Opt Kk カメラ装置および画像処理方法
JP2008016961A (ja) * 2006-07-03 2008-01-24 Matsushita Electric Ind Co Ltd 撮像装置および読出制御方法
JP2009139840A (ja) * 2007-12-10 2009-06-25 Sony Corp 撮像装置
JP5234119B2 (ja) 2011-01-20 2013-07-10 カシオ計算機株式会社 撮像装置、撮像処理方法及びプログラム
WO2014133076A1 (ja) * 2013-02-27 2014-09-04 株式会社ニコン 撮像素子および電子機器
JP6190184B2 (ja) * 2013-06-28 2017-08-30 キヤノン株式会社 撮像素子、撮像装置、その制御方法、および制御プログラム
KR102121531B1 (ko) * 2013-12-10 2020-06-10 삼성전자주식회사 초점검출 가능한 이미지 센서 제어장치 및 방법.
US9854216B2 (en) * 2013-12-10 2017-12-26 Canon Kabushiki Kaisha Image pickup apparatus that displays image based on signal output from image pickup device, method of controlling the same, and storage medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087630A (ja) * 2001-09-07 2003-03-20 Hitachi Kokusai Electric Inc 動画像撮像装置
US20090225189A1 (en) * 2008-03-05 2009-09-10 Omnivision Technologies, Inc. System and Method For Independent Image Sensor Parameter Control in Regions of Interest
US20120182455A1 (en) * 2011-01-18 2012-07-19 Olympus Corporation Solid-state image pickup device and image pickup device

Also Published As

Publication number Publication date
US20150172595A1 (en) 2015-06-18
JP2015119206A (ja) 2015-06-25
US9838632B2 (en) 2017-12-05
CN104717424B (zh) 2018-01-26
JP6198600B2 (ja) 2017-09-20

Similar Documents

Publication Publication Date Title
US6812967B1 (en) Digital camera having multiple displays
JP5276308B2 (ja) 撮像装置およびその制御方法
US7940320B2 (en) Image sensing apparatus and control method therefor having a field based varying horizontal cycle
US8319856B2 (en) Imaging apparatus for calculating a histogram to adjust color balance
CN1933606B (zh) 摄像装置及摄像方法
CN104717424A (zh) 图像处理设备、摄像设备及其控制方法
CN104702826A (zh) 摄像设备及其控制方法
KR100739585B1 (ko) 촬상장치 및 그 제어방법
CN102739961A (zh) 能够生成广角图像的图像处理装置
US7342610B2 (en) Color balance adjustment of image sensed upon emitting flash light
US8531586B2 (en) Image pickup apparatus and storage medium including focus lens control
JP5063372B2 (ja) 画像処理装置、制御方法、及びプログラム
US20160012562A1 (en) Image processing apparatus and image processing method
US20090040334A1 (en) Image pickup apparatus, white balance control method thereof, and storage medium
JP5094665B2 (ja) 撮像装置及びその制御方法及びプログラム
JP2014131328A (ja) 通信制御装置、その制御方法、プログラム
US20130038763A1 (en) Image processing apparatus and image processing method
JP5213602B2 (ja) 撮像装置、その制御方法、プログラム
JP2014131190A (ja) 撮像装置、その制御方法、および制御プログラム
US8493462B2 (en) Image processing apparatus, photographing apparatus and control method for compressing images
JP2014053777A (ja) 撮像装置
JP4993683B2 (ja) 撮像装置及びその制御方法
US20110267498A1 (en) Image pickup apparatus and control method therefor
JP2020088600A (ja) 撮像素子、撮像装置、制御方法、並びにプログラム
JP5686869B2 (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant