CN116325776A - 摄像装置、摄像装置的驱动方法及程序 - Google Patents

摄像装置、摄像装置的驱动方法及程序 Download PDF

Info

Publication number
CN116325776A
CN116325776A CN202180065534.0A CN202180065534A CN116325776A CN 116325776 A CN116325776 A CN 116325776A CN 202180065534 A CN202180065534 A CN 202180065534A CN 116325776 A CN116325776 A CN 116325776A
Authority
CN
China
Prior art keywords
pixel group
exposure time
image pickup
signal
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180065534.0A
Other languages
English (en)
Inventor
西尾祐也
河合智行
田中康一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN116325776A publication Critical patent/CN116325776A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明提供一种能够适当地确定将包含相位差像素的像素组设为短时间曝光及长时间曝光中的哪一种的摄像装置、驱动方法及程序。摄像装置具备：处理器；及摄像元件，读出信号的列信号线在第1方向上延伸，在第1方向上排列有第1像素组及第2像素组，所述第1像素组包括在与第1方向交叉的第2方向上排列的多个相位差像素及多个摄像像素，所述第2像素组包括在第2方向上排列的多个摄像像素，处理器构成为执行曝光时间的设定处理，所述曝光时间的设定处理使第1像素组被曝光的第1曝光时间及第2像素组被曝光的第2曝光时间中的一方比另一方短，在设定处理中，构成为基于由摄像元件拍摄的被摄体的信息，确定使第1曝光时间及第2曝光时间中的哪一方比另一方短。

Description

摄像装置、摄像装置的驱动方法及程序
技术领域
本发明的技术涉及一种摄像装置、摄像装置的驱动方法及程序。
背景技术
专利文献1中所记载的图像处理装置具备合成处理部，该合成处理部将第1图像数据与第2图像数据进行合成，所述第1图像数据基于从在第1曝光期间曝光的固体摄像元件的第1行上的单位像素读出的第1信号电荷，第2图像数据基于从在包含在第1曝光期间内且比第1曝光期间短的第2曝光期间曝光的、与第1行不同的固体摄像元件的第2行上的单位像素读出的第2信号电荷。
专利文献2中所记载的图像传感器中，从将多个摄像元件排列成矩阵状的区域传感器，读出积聚在摄像元件中的信号电荷的图像传感器的读出方法如下。首先，设定彼此时间长度不同的多个曝光时间，然后将这些曝光时间分别分配到所述区域传感器的每行。接着，以区域传感器的行为单位，读出在所分配的曝光时间内积聚在摄像元件中的信号电荷。然后，以区域传感器的画面为单位合成所读出的信号电荷。
以往技术文献
专利文献
专利文献1：日本特开2013-121130号公报
专利文献2：国际公开第2006/049098号
发明内容
发明要解决的技术课题
本发明的技术所涉及的一实施方式提供一种能够适当地确定将包含相位差像素的像素组设为短时间曝光及长时间曝光中的哪一种的摄像装置、驱动方法及程序。
用于解决技术课题的手段
为了实现上述目的，本发明的摄像装置具备：处理器；及摄像元件，读出信号的列信号线在第1方向上延伸，在第1方向上排列有第1像素组及第2像素组，所述第1像素组包括在与第1方向交叉的第2方向上排列的多个相位差像素及多个摄像像素，所述第2像素组包括在第2方向上排列的多个摄像像素，处理器构成为执行曝光时间的设定处理，所述曝光时间的设定处理使第1像素组被曝光的第1曝光时间及第2像素组被曝光的第2曝光时间中的一方比另一方短，在设定处理中，构成为基于由摄像元件拍摄的被摄体的信息，确定使第1曝光时间及第2曝光时间中的哪一方比另一方短。
处理器优选构成为执行如下处理：作为信息，通过摄像元件检测摄像区域内的感兴趣区域(ROI：Region Of Interest)的明度，并基于所检测的明度，确定第1曝光时间及第2曝光时间。
处理器优选构成为执行如下处理：在明度为第1阈值以上的情况下，使第1曝光时间比第2曝光时间短，在明度小于第1阈值的情况下，使第2曝光时间比第1曝光时间短。
处理器优选构成为执行如下处理：作为信息，检测被摄体的移动速度，并基于所检测的移动速度，确定第1曝光时间及第2曝光时间。
处理器优选构成为执行如下处理：在移动速度为第2阈值以上的情况下，使第1曝光时间比第2曝光时间短，在移动速度小于第2阈值的情况下，使第2曝光时间比第1曝光时间短。
处理器优选构成为执行如下处理，在帧期间内，在进行第1像素组及第2像素组中的一方的信号读出之后，进行第1像素组及第2像素组中的另一方的信号读出。
本发明的摄像装置中，处理器构成为执行如下处理：检测摄像元件的摄像区域内的被摄体的与第1方向相关的位置，在所检测的位置为第1方向上的一方向侧的情况下，从所述另一方向侧对第1像素组及第2像素组中的一方进行信号读出之后，从所述一方向侧对第1像素组及第2像素组中的另一方进行信号读出，在所检测的位置为另一方向侧的情况下，从所述一方向侧对第1像素组及第2像素组中的一方进行信号读出之后，从所述另一方向侧对第1像素组及第2像素组中的另一方进行信号读出。
处理器优选构成为执行合成处理，所述合成处理通过将从第1像素组读出的信号和从第2像素组读出的信号进行合成来生成视频信号。
处理器优选构成为在进行减小从第1像素组读出的信号与从第2像素组读出的信号的相位偏差的相位处理之后，执行合成处理。
处理器优选构成为对从第2像素组读出的信号进行相位处理。
处理器优选构成为对通过合成处理生成的视频信号进行电子防振处理。
本发明的摄像装置具备：处理器；及摄像元件，读出信号的列信号线在第1方向上延伸，在第1方向上排列有第1像素组及第2像素组，所述第1像素组包括在与第1方向交叉的第2方向上排列的多个相位差像素及多个摄像像素，所述第2像素组包括在第2方向上排列的多个摄像像素，处理器构成为能够选择性地执行第1模式及第2模式，其中，
所述第1模式包括：
第1设定处理，使第1像素组被曝光的第1曝光时间及第2像素组被曝光的第2曝光时间中的一方比另一方短；及第1合成处理，通过将从第1像素组读出的信号和从第2像素组读出的信号进行合成来生成第1视频信号，
所述第2模式包括：
第2设定处理，使第1帧期间的第1曝光时间及第2曝光时间和第1帧期间之后的第2帧期间的第1曝光时间及第2曝光时间中的一方比另一方短；及第2合成处理，通过将在第1帧期间从第1像素组及第2像素组读出的信号和在第2帧期间从第1像素组及第2像素组读出的信号进行合成来生成第2视频信号，使第1模式中的帧速率的设定上限值比第2模式中的帧速率的设定上限值高。
本发明的摄像装置具备：处理器；及摄像元件，读出信号的列信号线在第1方向上延伸，在第1方向上排列有包括在与第1方向交叉的第2方向上排列的多个摄像像素的第1像素组及第2像素组，第1像素组包括具有第1开口面积的多个第1相位差像素，第2像素组包括具有小于第1开口面积的第2开口面积的多个第2相位差像素，处理器构成为执行曝光时间的设定处理，所述曝光时间的设定处理使第1像素组被曝光的第1曝光时间比第2像素组被曝光的第2曝光时间短。
权利要求13所述的摄像装置，处理器构成为执行合成处理，所述合成处理通过将从第1像素组读出的信号和从第2像素组读出的信号进行合成来生成视频信号。
本发明的摄像装置的驱动方法中，所述摄像装置具备摄像元件，其中，读出信号的列信号线在第1方向上延伸，在第1方向上排列有第1像素组及第2像素组，所述第1像素组包括在与第1方向交叉的第2方向上排列的多个相位差像素及多个摄像像素，所述第2像素组包括在第2方向上排列的多个摄像像素，所述摄像装置的驱动方法包括：曝光时间的设定处理，使第1像素组被曝光的第1曝光时间及第2像素组被曝光的第2曝光时间中的一方比另一方短，在设定处理中，基于由摄像元件拍摄的被摄体的信息，确定使第1曝光时间及第2曝光时间中的哪一方比另一方短。
本发明的程序使摄像装置工作，所述摄像装置具备摄像元件，其中，读出信号的列信号线在第1方向上延伸，在第1方向上排列有第1像素组及第2像素组，所述第1像素组包括在与第1方向交叉的第2方向上排列的多个相位差像素及多个摄像像素，所述第2像素组包括在第2方向上排列的多个摄像像素，所述程序使摄像装置执行曝光时间的设定处理，所述曝光时间的设定处理使第1像素组被曝光的第1曝光时间及第2像素组被曝光的第2曝光时间中的一方比另一方短，在设定处理中，基于由摄像元件拍摄的被摄体的信息，确定使第1曝光时间及第2曝光时间中的哪一方比另一方短。
附图说明
图1是表示摄像装置的前表面侧的一例的概略立体图。
图2是表示摄像装置的背面侧的一例的概略立体图。
图3是表示摄像装置的内部结构的一例的图。
图4是表示处理器的功能结构的一例的框图。
图5是表示摄像传感器的结构的一例的图。
图6是表示摄像像素的结构的一例的图。
图7是表示相位差像素的结构的一例的图。
图8是表示摄像传感器的像素排列的一例的图。
图9是说明焦点控制及曝光控制的图。
图10是表示AF区域的明度为第1阈值以上时的摄像定时的一例的图。
图11是表示AF区域的明度小于第1阈值时的摄像定时的一例的图。
图12是说明曝光控制的流程的一例的流程图。
图13是示意性地表示HDR合成处理的图。
图14是表示系数α与像素亮度的关系式的一例的图标。
图15是示意性地表示相对于入射光量的PG1信号及PG2信号的信号电平的图。
图16是说明第2实施方式所涉及的曝光控制的一例的流程图。
图17是表示第3实施方式所涉及的摄像定时的一例的图。
图18是说明根据被摄体的位置而变更第1像素组与第2像素组的信号读出的方向的例的图。
图19是示意性地表示包括第4实施方式所涉及的相位处理的HDR合成处理的图。
图20是表示第5实施方式所涉及的第2模式中的摄像定时的一例的图。
图21是表示第6实施方式所涉及的摄像传感器的像素排列的一例的图。
图22是表示第1相位差像素的结构的一例的图。
图23是表示第2相位差像素的结构的一例的图。
具体实施方式
根据附图，对本发明的技术所涉及的实施方式的一例进行说明。
首先，对以下说明中所使用的词语进行说明。
在以下的说明中，“IC”是“Integrated Circuit：集成电路”的缩写。“CPU”是“Central Processing Unit：中央处理单元”的缩写。“ROM”是“Read Only Memory：只读存储器”的缩写。“RAM”是“Random Access Memory：随机存取存储器”的缩写。“CMOS”是“Complementary Metal Oxide Semiconductor：互补型金属氧化物半导体”的缩写。“HDR”是“High Dynamic Range：高动态范围”的缩写。“AF”是“Auto Focus：自动对焦”的缩写。EEPROM是“Electrically Erasable Programmable Read-Only Memory：电可擦可编程只读存储器”的缩写。
“FPGA”是“Field-Programmable Gate Array：现场可编程门阵列”的缩写。“PLD”是“Programmable Logic Device：可编程逻辑器件”的缩写。“ASIC”是“ApplicationSpecific Integrated Circuit：专用集成电路”的缩写。“JPEG”是“Joint PhotographicExperts Group：联合图像专家组”的缩写。
在本发明中，所谓“相等”，除了完全相等的情况之外，还包括以包含在本发明的技术所属的技术领域内通常被容许的误差的含义而实质性相等的情况。
[第1实施方式]
作为摄像装置的第1实施方式，例举镜头可换式数码相机，对本发明的技术进行说明。另外，本发明的技术不限于镜头可换式，也能够适用镜头一体型的数码相机。
(摄像装置的结构)
图1表示摄像装置10的前表面侧的一例。如图1所示，摄像装置10为镜头可换式数码相机。摄像装置10由主体11及在主体11上可替换地安装的摄像透镜12构成。摄像透镜12经由相机侧卡口11A及透镜侧卡口12A(参考图3)而安装在主体11的前表面11C侧。摄像透镜12为本发明的技术所涉及的透镜的一例。
在主体11的上表面设置有转盘13及释放按钮14。在设定动作模式等时，操作转盘13。作为摄像装置10的动作模式，例如，包括静止图像摄像模式、运动图像摄像模式及图像显示模式。在开始执行静止图像摄像或运动图像摄像时，由用户操作释放按钮14。
图2表示摄像装置10的背面侧的一例。如图2所示，在主体11的背面11D上设置有显示器15、指示键16及未图示的取景器的取景器目镜部18。取景器能够采用光学取景器或电子取景器。在显示器15上显示基于拍摄而得的视频信号的图像及各种菜单画面等。指示键16接受各种指示。
图3表示摄像装置10的内部结构的一例。主体11与摄像透镜12通过设置在相机侧卡口11A上的电触点11B与设置在透镜侧卡口12A上的电触点12B接触而电连接。
摄像透镜12包括物镜30、聚焦透镜31、后端透镜32及光圈33。各部件沿摄像透镜12的光轴LA，从物镜侧依次排列成物镜30、光圈33、聚焦透镜31、后端透镜32。物镜30、聚焦透镜31及后端透镜32构成摄像光学系统。构成摄像光学系统的透镜的种类、数量及排列顺序不限定于图3所示的例。
并且，摄像透镜12具有透镜驱动控制部34。透镜驱动控制部34例如由CPU、RAM及ROM等构成。并且，ROM包括还可擦写的EEPROM、闪存等。透镜驱动控制部34经由电触点12B及电触点11B而与主体11内的处理器40电连接。
透镜驱动控制部34基于从处理器40发送的控制信号来驱动聚焦透镜31及光圈33。为了进行摄像透镜12的调焦，透镜驱动控制部34基于从处理器40发送的调焦用的控制信号来进行聚焦透镜31的驱动控制。处理器40进行相位差方式的调焦。
在主体11上设置有摄像传感器20、处理器40、操作部42、存储器45、显示器15及抖动检测传感器47。由处理器40控制摄像传感器20、存储器45及显示器15的动作。处理器40例如由CPU、RAM及ROM等构成。在这种情况下，处理器40基于存储在存储器45中的程序45A执行各种处理。另外，处理器40可以由多个IC芯片的集合体构成。摄像传感器20例如为CMOS型图像传感器。摄像传感器20为本发明的技术所涉及的“摄像元件”的一例。
显示器15基于图像处理部52(参考图4)所生成的视频信号，显示图像。图像中包括静止图像、运动图像及实时取景图像。实时取景图像是通过将由图像处理部52生成的图像数据依次输出至显示器15，而实时显示在显示器15上的图像。
图像处理部52所生成的视频信号能够作为图像数据而保存在内置于主体11的内部存储器上(未图示)或可装卸于主体11的存储介质(例如，存储器卡)上。
操作部42包括前述的转盘13、释放按钮14及指示键16(参考图1及图2)。处理器40根据操作部42的操作，控制主体11内的各部、以及摄像透镜12内的透镜驱动控制部34。
抖动检测传感器47检测施加到摄像装置10的抖动量。抖动检测传感器47例如是分别检测横滚方向、偏航方向、俯仰方向、X方向及Y方向的抖动的5轴抖动检测传感器。X方向及Y方向是与光轴LA正交的方向。
抖动检测传感器47例如由检测旋转抖动及角度抖动的陀螺仪传感器(未图示)和检测平移抖动的加速度传感器(未图示)构成。抖动检测传感器47将检测到的抖动的检测信号输出到处理器40。另外，抖动检测传感器47可以设置在摄像透镜12内。在这种情况下，处理器40经由电触点12B及电触点11B从摄像透镜12内的抖动检测传感器47获取抖动量的检测值即可。
(处理器的结构)
图4表示处理器40的功能结构的一例。处理器40通过根据存储在存储器45中的程序45A而执行处理，实现各种功能部。如图4所示，例如，处理器40实现主控制部50、摄像控制部51、图像处理部52、焦点检测部53、明度检测部54及校正量计算部55。
主控制部50基于从操作部42输入的指示信号，总体控制摄像装置10的动作。摄像控制部51通过控制摄像传感器20，执行使摄像传感器20进行摄像动作的摄像处理。摄像控制部51以静止图像摄像模式或运动图像摄像模式驱动摄像传感器20。并且，摄像控制部51在静止图像摄像模式或运动图像摄像模式中，实现HDR功能，所述功能生成扩大动态范围的HDR(High Dynamic Range：高动态范围)图像。
用户能够通过操作部42进行静止图像摄像模式及运动图像摄像模式的选择。并且，用户能够通过操作操作部42，进行包含快门速度及光圈值的曝光值的设定。此外，用户能够通过操作操作部42来选择HDR功能的开启/关闭。
并且，用户能够通过操作操作部42，来选择自动对焦检测(以下，称为AF。)模式。在选择AF模式的情况下，主控制部50基于由焦点检测部53检测的焦点检测结果，对聚焦透镜31的位置进行控制。
焦点检测部53基于从摄像传感器20输出的视频信号中从相位差像素ZL、ZR(参考图7及图8)输出的信号，进行焦点检测。另外，焦点检测是指，检测与被摄体对焦的聚焦透镜31的位置。
并且，焦点检测部53基于从设定在摄像传感器20的摄像区域21内的AF区域21A(参考图9)内所包含的相位差像素ZL、ZR(参考图7)输出的信号，进行焦点检测。例如，摄像区域21内的AF区域21A的位置及大小能够由用户操作操作部42而进行设定。另外，AF区域21A的位置及大小也可以基于主控制部50使用视频信号进行的被摄体检测(例如，面部检测)的结果而进行设定。另外，AF区域21A为本发明的技术所涉及的“感兴趣区域”的一例。另外，在固定焦点进行拍摄的情况下，也可以为与焦点区域不同的、由用户或摄像装置确定的其他被摄体区域。
明度检测部54基于从摄像传感器20输出的视频信号，检测AF区域21A(感兴趣区域的一例)的明度。主控制部50基于由明度检测部54检测的AF区域21A的明度，进行曝光时间的设定处理。
校正量计算部55基于从抖动检测传感器47输出的抖动量的检测值，计算用于进行电子抖动校正(即，电子防振处理)的校正量。校正量计算部55将所计算的校正量输出到图像处理部52。
图像处理部52通过对视频信号实施各种图像处理，生成既定的文件形式(例如，JPEG形式等)的图像数据。从图像处理部52输出的图像数据例如记录在存储器45中。并且，构成图像数据的视频信号从图像处理部52被输出至显示器15，并在显示器15上显示图像。
并且，图像处理部52中包括HDR合成部56及抖动校正部57。HDR合成部56在HDR功能开启的情况下工作。抖动校正部57在选择运动图像摄像模式的情况下工作。
在HDR功能开启的情况下，HDR合成部56通过对从摄像传感器20输出的曝光时间不同的一对视频信号进行合成来生成HDR图像。
在运动图像摄像模式时，抖动校正部57基于从校正量计算部55输入的校正量，对视频信号进行电子防振处理。例如，电子防振处理通过针对视频信号的每个帧，基于校正量变更剪切区域来进行。在HDR功能开启的情况下，抖动校正部57对由HDR合成部56生成的视频信号(即，HDR图像)进行电子防振处理。由此，能够简化电子防振处理，并使处理器40中的电子防振处理高速化。并且，抖动校正部57优选对实施了去马赛克处理的HDR图像进行电子防振处理。
(摄像传感器的结构)
图5表示摄像传感器20的结构的一例。图5所示的摄像传感器20为CMOS型图像传感器。摄像传感器20具有摄像区域21、垂直扫描电路22、线路存储器(line memory)23、水平扫描电路24及输出放大器25。
在摄像区域21中，多个像素26沿X方向及Y方向排列成二维矩阵状。并且，在摄像区域21中，沿X方向配线有多个行选择线L1及多个行复位线L2，并且，沿Y方向配线有多个列信号线L3。
列信号线L3在Y方向上延伸。行选择线L1及行复位线L2在与Y方向交叉的X方向上延伸。Y方向为本发明的技术所涉及的“第1方向”的一例。X方向为本发明的技术所涉及的“第2方向”的一例。
像素26与行选择线L1、行复位线L2及列信号线L3连接。以下，有时将沿X方向排列的多个像素26简称为“行”。详细内容将进行后述，但多个像素26中的一部分为用于进行调焦的相位差像素。
像素26具有光电二极管D1、放大器晶体管M1、像素选择晶体管M2及复位晶体管M3。光电二极管D1通过对入射光进行光电转换，生成对应于入射光量的信号电荷，并累积所生成的信号电荷。放大器晶体管M1生成与累积在光电二极管D1中的信号电荷的电荷量对应的电压(以下，称为像素信号S。)。
像素选择晶体管M2经由行选择线L1由垂直扫描电路22控制，将由放大器晶体管M1生成的像素信号S输出到列信号线L3。复位晶体管M3经由行复位线L2由垂直扫描电路22控制，将累积在光电二极管D1中的信号电荷丢弃在电源线。以下，从光电二极管D1丢弃信号电荷称为将像素26进行复位。
垂直扫描电路22基于从摄像控制部51输入的垂直同步信号，产生行选择信号SEL及复位信号RST。在信号读出动作时，垂直扫描电路22通过对行选择线L1赋予行选择信号SEL，从而从与该行选择线L1连接的像素26中将像素信号S输出到列信号线L3。
并且，在复位动作时，垂直扫描电路22通过对行复位线L2赋予复位信号RST，从而将与该行复位线L2连接的像素26进行复位。
线路存储器23存储从一行量的像素26输出的像素信号S。线路存储器23由电容器等构成。线路存储器23经由作为开关的晶体管29与水平输出线24A连接。输出放大器25与水平输出线24A的端部连接。水平扫描电路24通过进行依次选择晶体管29的水平扫描，从而将存储在线路存储器23中一行量的像素信号S依次输出到水平输出线24A。输出到水平输出线24A的像素信号S经由输出放大器25，作为视频信号而输出到外部的图像处理部52。
垂直扫描电路22、线路存储器23及水平扫描电路24的动作由摄像控制部51(参考图4)控制。摄像控制部51通过控制垂直扫描电路22，逐行依次选择行选择线L1，同时输出像素信号S。并且，摄像控制部51通过控制垂直扫描电路22而使像素26复位。
在运动图像摄像模式中，摄像控制部51以规定的帧周期T(参考图10及图11)驱动摄像传感器20。摄像控制部51以帧周期T，使摄像传感器20反复执行视频信号的读出及复位的动作。
另外，摄像传感器20的结构不限于图5所示的结构。例如，也可以在摄像传感器20设置A/D转换器。
(像素的结构)
在摄像区域21上排列的多个像素26中，包括摄像用的摄像像素N和相位差像素ZL、ZR。图6表示摄像像素N的结构的一例。图7表示相位差像素ZL、ZR的结构的一例。相位差像素ZL、ZR分别接收以主光线为中心在X方向上被分割的光束的一方。
如图6所示，摄像像素N构成为包括作为光电转换元件的光电二极管D1、滤色器CF及微透镜ML。滤色器CF配置在光电二极管D1与微透镜ML之间。
滤色器CF是使R(红色)、G(绿色)、B(蓝色)中的任一种颜色的光透过的滤光器。微透镜ML将从摄像透镜12的射出光瞳EP入射的光束LF，经由滤色器CF汇聚在光电二极管D1的大致中央。
如图7所示，相位差像素ZL、ZR分别构成为包括光电二极管D1、遮光层SF及微透镜ML。微透镜ML与摄像像素N同样地，将从摄像透镜12的射出光瞳EP入射的光束LF汇聚在光电二极管D1的大致中央。
遮光层SF由金属膜等形成，配置在光电二极管D1与微透镜ML之间。遮光层SF对经由微透镜ML入射到光电二极管D1的光束LF的一部分进行遮光。
在相位差像素ZL中，遮光层SF以光电二极管D1的中心为基准，对X方向上的负侧(第1侧)进行遮光。即，在相位差像素ZL中，遮光层SF使来自第1侧的射出光瞳EP1的光束LF入射于光电二极管D1，且对X方向上的来自正侧(第2侧)的射出光瞳EP2的光束LF进行遮光。
在相位差像素ZR中，遮光层SF以光电二极管D1的中心为基准，在X方向上对正侧(第2侧)进行遮光。即，在相位差像素ZR中，遮光层SF使来自第2侧的射出光瞳EP2的光束LF入射于光电二极管D1，且对X方向上的来自负侧(第1侧)的射出光瞳EP1的光束LF进行遮光。
(像素排列)
图8表示摄像传感器20的像素排列的一例。图8所示的滤色器CF的颜色排列是所谓的拜耳法排列。拜耳法排列是在2×2的4个像素中，在对角的2个像素配置G的滤色器CF、在其他2个像素配置R与B的滤色器CF的颜色排列。图8中的“R”表示设置有R的滤色器CF的摄像像素N。“G”表示设置有G的滤色器CF的摄像像素N。“B”表示设置有B的滤色器CF的摄像像素N。另外，滤色器CF的颜色排列不限于拜耳法排列，也可以为其他颜色排列。
相位差像素ZL、ZR通过替换拜耳法排列的一部分的摄像像素N而配置在摄像区域21内。在本实施方式中，相位差像素ZL、ZR配置成可替换设置有B的滤色器CF的摄像像素N的一部分。相位差像素ZL、ZR配列在X方向上。在本实施方式中，相位差像素ZL、ZR在X方向上每2个像素(即，每隔1个像素)配置有任一个。即，在相位差像素ZL与相位差像素ZR之间配置有1个摄像像素N。
相位差像素ZL、ZR在Y方向上按每16个像素排列。在Y方向上排列的相位差像素ZL之间排列有多个摄像像素N(G及B)。在Y方向上排列的相位差像素ZR之间排列有多个摄像像素N(G及B)。
另外，相位差像素ZL、ZR的排列图案不限定于图8所示的例。例如，相位差像素ZL、ZR在X方向上相邻配置。
摄像区域21中所包含的多个像素26(参考图5)分为第1像素组PG1和第2像素组PG2。第1像素组PG1包括在X方向上排列的多个相位差像素ZL、ZR及多个摄像像素N。第2像素组PG2包括在X方向上排列的多个摄像像素N。第1像素组PG1和第2像素组PG2在Y方向上交替排列。
在本实施方式中，在将行地址设为n(在此，n为包括0的自然数)的情况下，第1像素组PG1中包括行地址为“4n”的行和行地址为“4n+1”的行。并且，第2像素组PG2中包括行地址为“4n+2”的行和行地址为“4n+3”的行。相位差像素ZL、ZR存在于行地址为“16n”的行。即，相位差像素ZL、ZR仅包含在第1像素组PG1中。
图9说明基于主控制部50的焦点控制及曝光控制。如图9所示，焦点检测部53基于从设定在摄像区域21内的AF区域21A内所包含的相位差像素ZL、ZR输出的信号(以下，称为相位差像素信号。)进行焦点检测，由此生成焦点信息。焦点信息是表示与被摄体对焦的聚焦透镜31的位置的信息。具体而言，焦点检测部53基于从相位差像素ZL输出的相位差像素信号与从相位差像素ZR输出的相位差像素信号的相位差生成焦点信息，并将所生成的焦点信息输出到主控制部50。
明度检测部54基于从AF区域21A内所包含的摄像像素N输出的信号(以下，称为摄像像素信号。)，生成表示AF区域21A的明度的明度信息。明度检测部54例如根据摄像像素信号针对每个像素计算亮度值，并计算AF区域21A中的平均亮度值。明度检测部54将所计算出的平均亮度值作为明度信息而输出到主控制部50。另外，明度信息为本发明的技术所涉及的“被摄体的信息”的一例。
主控制部50基于从焦点检测部53输入的焦点信息，经由透镜驱动控制部34控制聚焦透镜31的位置。并且，主控制部50基于从明度检测部54输入的明度信息，经由摄像控制部51，控制第1像素组PG1及第2像素组PG2的曝光时间。具体而言，主控制部50基于明度信息，使第1像素组PG1被曝光的第1曝光时间E1及第2像素组PG2被曝光的第2曝光时间E2中的一方比另一方短。
(摄像定时)
图10及图11示出在运动图像摄像模式下且HDR功能开启时的摄像传感器20的摄像定时的一例。
运动图像摄像的帧周期T由从摄像控制部51供给至垂直扫描电路22的垂直同步信号VD来规定。垂直扫描电路22基于垂直同步信号VD，向第1像素组PG1及第2像素组PG2供给行选择信号SEL及复位信号RST。
具体而言，垂直扫描电路22与垂直同步信号VD同步地向第1像素组PG1及第2像素组PG2供给行选择信号SEL。在本实施方式中，垂直扫描电路22以0、1、2…的顺序变更行地址的同时选择行选择线L1(参考图5)，并向所选择的行选择线L1供给行选择信号SEL。
垂直扫描电路22根据各自的曝光时间向第1像素组PG1及第2像素组PG2供给复位信号RST。第1曝光时间E1是在第1像素组PG1中从输入复位信号RST开始到输入行选择信号SEL为止的时间(即电荷累积时间)。第2曝光时间E2是在第2像素组PG2中从输入复位信号RST开始到输入行选择信号SEL为止的时间。曝光期间按行错开。即，摄像传感器20通过焦平面(focal plane)方式的电子快门进行曝光。
另外，在图10及图11中，实施了阴影线的期间是遮光期间。在遮光期间内，向第1像素组PG1及第2像素组PG2周期性地供给复位信号RST。并且，在遮光期间内，向第1像素组PG1及第2像素组PG2稳定地供给复位信号RST。
图10示出AF区域21A的明度为任意的第1阈值以上时的摄像定时的一例。在这种情况下，主控制部50控制复位定时，以使E1＜E2。图11示出AF区域21A的明度小于第1阈值时的摄像定时的一例。在这种情况下，主控制部50控制复位定时，以使E2＜E1。
(曝光控制)
接着，参考图12所示的流程图，对在运动图像摄像模式下且HDR功能开启时的曝光控制的流程的一例进行说明。首先，主控制部50判定是否存在基于操作部42的操作的运动图像摄像的开始指示(步骤S10)。
主控制部50在判定为存在运动图像摄像的开始指示的情况下(步骤S10：是)，通过控制摄像控制部51而使摄像传感器20以规定的帧周期T进行摄像动作，并且从明度检测部54获取AF区域21A的明度信息(步骤S11)。另外，主控制部50按每个帧周期T，从明度检测部54获取明度信息。
主控制部50基于所获取的明度信息，判定AF区域21A的明度是否为第1阈值以上(步骤S12)。主控制部50在判定为AF区域21A的明度为第1阈值以上的情况下(步骤S12：是)，控制复位定时，以在下一个帧周期T使E1＜E2(步骤S13)。另一方面，主控制部50在判定为AF区域21A的明度小于第1阈值的情况下(步骤S12：否)，控制复位定时，以在下一个帧周期T使E2＜E1(步骤S14)。
接着，主控制部50判定是否存在基于操作部42的操作的运动图像摄像的结束指示(步骤S15)。主控制部50在判定为没有运动图像摄像的结束指示的情况下(步骤S15：否)，将处理转移到步骤S11，重新获取明度信息。从步骤S11至步骤S15的处理中，直到在步骤S15中判定为存在运动图像摄像的结束指示为止的期间，按每个帧周期T重复执行。然后，主控制部50在判定为存在运动图像摄像的结束指示的情况下(步骤S15：是)，结束处理。
如上所述，在AF区域21A的明度为第1阈值以上的情况下，主控制部50使包括相位差像素ZL、ZR的第1像素组PG1被曝光的第1曝光时间E1比不包括相位差像素ZL、ZR的第2像素组PG2被曝光的第2曝光时间E2短。如此，在AF区域21A的明度为第1阈值以上的情况下，主控制部50使第1曝光时间E1比第2曝光时间E2短，以使不会发生因相位差像素ZL、ZR的信号饱和而引起的过曝光，因此可以获得精度进一步良好的相位差信息。
另一方面，在AF区域21A的明度小于第1阈值的情况下，主控制部50使不包括相位差像素ZL、ZR的第2像素组PG2被曝光的第2曝光时间E2比包括相位差像素ZL、ZR的第1像素组PG1被曝光的第1曝光时间E1短。如此，在AF区域21A的明度小于第1阈值的情况下，主控制部50使第1曝光时间E1比第2曝光时间E2长，以使不会发生因相位差像素ZL、ZR的信号小而引起的变黑，可以获得精度进一步良好的相位差信息。
因此，为了扩大动态范围而使第1曝光时间E1与第2曝光时间E2不同的情况下，通过执行上述的曝光控制，能够与AF区域21A的明度无关地获得精度良好的相位差信息。由此，即使在扩大扩动态范围的情况下，也能够精度良好地进行相位差方式的调焦。
(HDR合成处理)
图13示意性示出基于HDR合成部56的HDR合成处理。HDR合成部56通过将从与Y方向相邻的第1像素组PG1和第2像素组PG2输出的信号相加来生成HDR图像。
具体而言，HDR合成部56将从第1像素组PG1输出的信号(以下，称为PG1信号。)和从第2像素组PG2输出的信号(以下，称为PG2信号。)按对应的每一对像素相加。另外，对应的一对像素是指，在X方向上位于相同的地址且在Y方向上仅2个像素位于不同的地址的一对像素。
例如，在HDR合成中，不使用相位差像素信号而仅使用摄像像素信号。因此，对于相位差像素ZL、ZR，在第1像素组PG1中，使用存在于相位差像素ZL、ZR周围的摄像像素N的摄像像素信号进行像素补充而获得的信号被用于HDR合成。
另外，除了摄像像素信号之外，也可以使用相位差像素信号进行HDR合成。由于相位差像素ZL、ZR与摄像像素N相比受光量小，因此HDR合成部56对相位差像素信号进行增益校正并用于HDR合成即可。
HDR合成部56可以以模拟信号的状态合成PG1信号和PG2信号，也可以通过A/D转换为数字信号之后进行合成。并且，HDR合成部56可以以RAW数据的状态合成PG1信号和PG2信号，也可以在实施去马赛克处理之后进行合成。
并且，在本实施方式中，HDR合成部56将PG1信号乘以系数α的值与PG2信号乘以系数1-α的值相加。在此，系数α是满足0≤α≤1的值。
图14是表示系数α与像素亮度的关系式的一例的图标。HDR合成部56基于图14所示的关系，针对相加的每一对像素求出系数α，并进行PG1信号与PG2信号的相加。
E1＜E2的情况下，HDR合成部56使用系数α随着亮度的增加而增加的关系式F1确定系数α。另一方面，E2＜E1的情况下，HDR合成部56使用系数α随着亮度的增加而减少的关系式F2确定系数α。在任一情况下，亮度越高，短时间曝光侧的信号的相加比例越增加。像素的亮度例如以曝光时间短的一方的像素的亮度信息(R、G、B信号值)为基准。
图15示意性地示出相对于入射光量的PG1信号及PG2信号的信号电平。E1＜E2的情况下，PG1信号对入射光量多的区域发挥提高灵敏度的效果，PG2信号对入射光量少的区域发挥提高灵敏度的效果。另一方面，E2＜E1的情况下，PG1信号对入射光量少的区域发挥提高灵敏度的效果，PG2信号对入射光量多的区域发挥提高灵敏度的效果。其结果，通过将PG1信号和PG2信号相加而生成的HDR图像的动态范围扩大。
如上所述，根据本发明的技术，能够适当地确定将包括相位差像素的像素组(在本实施方式中为第1像素组PG1)设为短时间曝光及长时间曝光中的哪一种。
[第2实施方式]
接着，对第2实施方式进行说明。在第1实施方式中，在运动图像摄像模式下且HDR功能开启的情况下，主控制部50基于作为被摄体的信息的“AF区域21A的明度”进行曝光控制。相对于此，在第2实施方式中，主控制部50基于作为被摄体的信息的“被摄体的移动速度”进行曝光控制。
在本实施方式中，主控制部50例如基于按每个帧周期T从摄像传感器20的摄像区域21输出的视频信号，求出帧之间的被摄体的移动矢量，由此检测被摄体的移动速度。另外，主控制部50也可以基于从AF区域21A输出的视频信号检测被摄体的移动速度。
图16示出第2实施方式所涉及的曝光控制的一例。首先，主控制部50判定是否存在基于操作部42的操作的运动图像摄像的开始指示(步骤S20)。
主控制部50在判定为存在运动图像摄像的开始指示的情况下(步骤S20：是)，通过控制摄像控制部51而使摄像传感器20以规定的帧周期T进行摄像动作，并且基于从摄像传感器20输出的视频信号检测被摄体的移动速度(步骤S21)。
主控制部50基于所检测的被摄体的移动速度，判定移动速度是否为任意的第2阈值以上(步骤S22)。主控制部50在判定为移动速度为第2阈值以上的情况下(步骤S22：是)，控制复位定时，以在下一个帧周期T使E1＜E2(步骤S23)。另一方面，主控制部50在判定为移动速度小于第2阈值的情况下(步骤S22：否)，控制复位定时，以在下一个帧周期T使E2＜E1(步骤S24)。
接着，主控制部50判定是否存在基于操作部42的操作的运动图像摄像的结束指示(步骤S25)。主控制部50在判定为没有运动图像摄像的结束指示的情况下(步骤S25：否)，将处理转移到步骤S21，重新检测被摄体的移动速度。从步骤S21至步骤S25的处理中，直到在步骤S25中判定为存在运动图像摄像的结束指示为止的期间，按每个帧周期T重复执行。然后，主控制部50在判定为存在运动图像摄像的结束指示的情况下(步骤S25：是)，结束处理。
如上所述，在被摄体的移动速度为第2阈值以上的情况下，主控制部50使包括相位差像素ZL、ZR的第1像素组PG1被曝光的第1曝光时间E1比不包括相位差像素ZL、ZR的第2像素组PG2被曝光的第2曝光时间E2短。另一方面，在被摄体的移动速度小于第2阈值的情况下，主控制部50使不包括相位差像素ZL、ZR的第2像素组PG2被曝光的第2曝光时间E2比包括相位差像素ZL、ZR的第1像素组PG1被曝光的第1曝光时间E1短。
如此，在本实施方式中，在被摄体的移动速度快的情况下，缩短曝光时间来获得相位差信息。另一方面，在被摄体的移动速度慢的情况下，延长曝光时间并在充分曝光的状态下获取相位差信息。
[第3实施方式]
接着，对第3实施方式进行说明。在第1实施方式中，如图10及图11所示，主控制部50在从摄像传感器20读出视频信号时，以0、1、2、…的顺序选择行地址并进行读出。即，在第1实施方式中，主控制部50从第1像素组PG1和第2像素组PG2交替地进行信号读出。相对于此，在第3实施方式中，主控制部50在进行第1像素组PG1和第2像素组PG2中的一方的信号读出之后，进行第1像素组PG1和第2像素组PG2中的一方的信号读出。
图17示出第3实施方式所涉及的摄像定时的一例。如图17所示，在本实施方式中，首先，通过对行地址为“4n”及“4n+1”的第1像素组PG1供给行选择信号SEL来进行信号读出。之后，通过对行地址为“4n+2”及“4n+3”的第2像素组PG2供给行选择信号SEL来进行信号读出。另外，来自第1像素组PG1的信号读出和来自第2像素组PG2的信号读出在相同的帧周期T内连续进行。
在本实施方式中，对于复位也与信号读出同样地，在复位第1像素组PG1之后复位第2像素组PG2。
另外，与图17所示的例相反地，主控制部50可以在从第2像素组PG2进行信号读出之后，从第1像素组PG1进行信号读出。但是，由于相位差像素ZL、ZR仅包括在第1像素组PG1中，因此优选在第2像素组PG2之前进行第1像素组PG1的信号读出。通过先对第1像素组PG1进行信号读出，能够在帧期间的开始后尽早地获取相位差信息。
并且，在图17所示的例中，主控制部50对第1像素组PG1及第2像素组PG2都在Y方向上沿相同方向进行信号读出。具体而言，将行地址增加的方向设为正方向、行地址减少的方向设为负方向的情况下，在图17所示的例中，主控制部50对第1像素组PG1及第2像素组PG2都在正方向上进行信号读出。另外，Y方向上的正方向为本发明的技术所涉及的“第1方向上的一方向”的一例。并且，Y方向上的负方向为本发明的技术所涉及的“第1方向上的另一方向”的一例。
在第1像素组PG1与第2像素组PG2中，也可以使信号读出的方向相反。并且，也可以根据摄像区域21内的被摄体的位置变更信号读出的方向。
图18说明根据被摄体的位置而变更第1像素组PG1与第2像素组PG2的信号读出的方向的例。在本例中，主控制部50基于从摄像传感器20输出的视频信号，进行被摄体检测(例如，面部检测)，并检测摄像区域21内的被摄体的位置。然后，主控制部50判定相对于位于摄像区域21的Y方向的中央的虚拟线C，被摄体位于Y方向上的正方向侧和负方向侧的哪一区域。
在被摄体的位置比虚拟线C更向正方向侧的情况下，主控制部50从Y方向的负方向侧向正方向信号读出第1像素组PG1之后，从Y方向的正方向侧向负方向信号读出第2像素组PG2。另一方面，在被摄体的位置比虚拟线C更向负方向侧的情况下，主控制部50从Y方向的正方向侧向负方向信号读出第1像素组PG1之后，从Y方向的负方向侧向正方向信号读出第2像素组PG2。
如此，通过根据被摄体的位置来变更第1像素组PG1及第2像素组PG2的信号读出的方向，降低了从被摄体附近读出的PG1信号与PG2信号之间的时间偏差。由此，提高了HDR图像中的被摄体的画质。
另外，在图18所示的例中，在第2像素组PG2之前先信号读出第1像素组PG1，但是也可以在第1像素组PG1之前先信号读出第2像素组PG2。并且，在被摄体与虚拟线C相交的情况下，可以基于被摄体的重心相对于虚拟线C位于正方向侧和负方向侧的哪一区域，判定被摄体的位置。并且，在被摄体与虚拟线C相交的情况下，也可以基于相对于虚拟线C，正方向侧和负方向侧的哪一侧的被摄体的面积更大，判定被摄体的位置。
[第4实施方式]
接着，对第4实施方式进行说明。在第1实施方式中，第1像素组PG1和第2像素组PG2的重心位置在Y方向上偏移2个像素量。即，从第1像素组PG1读出的PG1信号和从第2像素组PG2读出的PG2信号在Y方向上相位偏移。在第4实施方式中，在图像处理部52中，进行用于减小PG1信号与PG2信号的相位偏差的相位处理之后，将PG1信号与PG2信号进行合成。
图19示意性示出包括相位处理的HDR合成处理。在本实施方式中，图像处理部52具有低通滤波器处理部58。低通滤波器处理部58对由PG1信号生成的图像(以下，称为PG1图像。)和由PG2信号生成的图像(以下，称为PG2图像。)中的PG2图像实施低通滤波器处理。PG1图像及PG2图像例如是实施了去马赛克处理的图像。
在本实施方式中，HDR合成部56通过将PG1图像和实施了低通滤波器处理的PG2图像进行合成来生成HDR图像。由于PG2图像是通过低通滤波器处理而产生模糊的图像，因此减小了相对于PG1图像的相位偏差。
在本实施方式中，对PG2图像进行低通滤波器处理。这是因为，在被摄体明亮的情况和暗淡的情况中的任一情况下，PG2图像都不是“主要图像”。例如，如图12所示，在AF区域21A的明度为第1阈值以上的情况下，E1＜E2，因此第2像素组PG2成为过曝光。相反地，在AF区域21A的明度小于第1阈值的情况下，E2＜E1，因此第2像素组PG2成为曝光不足。如此，第2像素组PG2在被摄体明亮的情况下成为过曝光，在被摄体暗淡的情况下成为曝光不足，因此在任一情况下，从第2像素组PG2读出的PG2图像都不是主要图像，而PG1图像成为主要图像。
如此，在本实施方式中，对PG1图像和PG2图像中不是主要图像的一方的图像实施低通滤波器处理的基础上进行合成处理，因此能够在抑制画质的劣化的同时减小相位偏差。
另外，也能够通过对PG2图像代替低通滤波器处理而实施像素补充处理，来减小PG1信号与PG2信号的相位偏差。通过对PG2图像实施像素补充处理，来计算与PG1图像对应的像素位置的像素信号即可。如此，相位处理是包括低通滤波器处理及像素补充处理的概念。
[第5实施方式]
接着，对第5实施方式进行说明。如上所述，在第1实施方式中，主控制部50执行第1模式，该第1模式包括：使第1曝光时间E1和第2曝光时间E2中的一方比另一方短的第1设定处理；及通过将PG1信号和PG2信号进行合成来生成HDR图像(第1视频信号)的第1合成处理。
在第5实施方式中，主控制部50除了第1模式之外，还能够执行针对每个帧期间变更曝光时间的第2模式。第2模式包括第2设定处理及第2合成处理。主控制部50在第2设定处理中，使第1帧期间的第1曝光时间E1及第2曝光时间E2和第1帧期间之后的第2帧期间的第1曝光时间及第2曝光时间中的一方比另一方短。主控制部50子啊第2合成处理中，通过将在第1帧期间从第1像素组PG1及第2像素组PG2读出的信号和在第2帧期间从第1像素组PG1及第2像素组PG2读出的信号进行合成来生成HDR图像(第2视频信号)。
图20示出第2模式中的摄像定时的一例。在第2模式中，在第1帧期间与第2帧期间的每一个中，第1曝光时间E1与第2曝光时间E2相等。即，在第2模式中，主控制部50不进行基于AF区域21A的明度信息的曝光时间的设定处理。
并且，第1曝光时间E1及第2曝光时间E2在第1帧期间与第2帧期间中不同。在本实施方式中，第1帧期间的第1曝光时间E1及第2曝光时间E2比第2帧期间的第1曝光时间E1及第2曝光时间E2短。第1帧期间及第2帧期间在每个帧周期T交替重复执行。
在第2模式中，由于通过将2帧分的PG1信号及PG2信号进行合成来生成HDR图像，因此虽然HDR图像的分辨率高但帧速率低。相对于此，在第1模式中，由于通过针对每1帧合成PG1信号及PG2信号来生成HDR图像，因此虽然帧速率高但HDR图像的分辨率低。因此，主控制部50优选使第1模式中的帧速率的设定上限值比第2模式中的帧速率的设定上限值高。
并且，优选主控制部50能够通过用户操作操作部42来选择第1模式和第2模式。由此，用户能够根据更重视分辨率和帧速率中的哪一个来选择适当的模式。
[第6实施方式]
接着，对第6实施方式进行说明。在第1实施方式中，如图8所示，第1像素组PG1和第2像素组PG2中，仅第1像素组PG1包括相位差像素ZL、ZR。在第6实施方式中，第1像素组PG1包括第1相位差像素Z1L、Z1R，第2像素组PG2包括第2相位差像素Z2L、Z2R。
图21示出第6实施方式所涉及的摄像传感器20的像素排列的一例。第1相位差像素Z1L、Z1R和第2相位差像素Z2L、Z2R在Y方向上按每18个像素交替排列。即，第1相位差像素Z1L、Z1R包括在第1像素组PG1中，第2相位差像素Z2L、Z2R包括在第2像素组PG2中。
图22示出第1相位差像素Z1L、Z1R的结构的一例。第1相位差像素Z1L、Z1R与第1实施方式的相位差像素ZL、ZR的结构(参考图7)相同。第1相位差像素Z1L、Z1R分别由于光电二极管D1的受光面的约50％被遮光层SF遮挡，因此具有光电二极管D1的受光面积的约50％的开口面积(以下，称为第1开口面积。)。
图23示出第2相位差像素Z2L、Z2R的结构的一例。第2相位差像素Z2L、Z2R中，例如，光电二极管D1的受光面的50％以上的面积被遮光层SF遮挡。即，第2相位差像素Z2L、Z2R具有比第1相位差像素Z1L、Z1R所具有的第1开口面积小的第2开口面积。
在本实施方式中，主控制部50与AF区域21A的明度无关地，使第1像素组PG1被曝光的第1曝光时间E1比第2像素组PG2被曝光的第2曝光时间E2短。即，使第1相位差像素Z1L、Z1R的曝光时间比第2相位差像素Z2L、Z2R的曝光时间短。
如此，在本实施方式中，在长时间曝光的第2像素组PG2中，通过开口面积小的第2相位差像素Z2L、Z2R获取相位差像素信号，因此相位差像素信号难以过曝光。并且，在短时间曝光的第1像素组PG1中，通过开口面积大的第1相位差像素Z1L、Z1R获取相位差像素信号，因此相位差像素信号难以变黑。因此，在本实施方式中，能够获得不会发生过曝光及变黑的适当的相位差信息。
并且，在本实施方式中，相位差像素信号难以成为发生过曝光程度的高电平或发生变黑程度的低电平，因此在除了摄像像素信号之外还使用相位差像素信号来生成HDR图像的情况下，画质得到提高。
[变形例]
在上述各实施方式中，在摄像装置10的内部进行合成PG1信号和PG2信号的HDR合成处理，但也可以构成为将PG1信号和PG2信号以RAW数据的方式输出到摄像装置10的外部。并且，也能够将从摄像装置10输出的PG1信号及PG2信号读入到个人电脑等外部装置，并使用安装在外部装置中的软件进行HDR合成处理。
并且，在上述各实施方式中，摄像传感器20可以由摄像区域21、垂直扫描电路22、线路存储器23、水平扫描电路24及输出放大器25构成，但摄像传感器20也可以仅由摄像区域21构成。垂直扫描电路22、线路存储器23、水平扫描电路24及输出放大器25可以设置在处理器40内。
并且，上述各实施方式中，只要不产生矛盾，则可以相互组合。
在上述各实施方式中，作为以处理器40为一例的控制部的硬件结构，能够使用以下所示的各种处理器。在上述各种处理器中，除了作为执行软件(程序)而发挥功能的常用的处理器的CPU之外，还包括FPGA等能够在制造后变更电路结构的处理器。FPGA中包括专用电路等，该专用电路是具有为了执行PLD或ASIC等特定的处理而专门设计的电路结构的处理器。
控制部可以由这些各种处理器中的1个构成，也可以由相同种类或不同种类的2个以上的处理器的组合(例如，多个FPGA的组合或CPU与FPGA的组合)构成。并且，多个控制部可以由1个处理器构成。
关于由1个处理器构成多个控制部的例可以考虑多个。第1例中，如以客户端及服务器等计算机为代表，存在由1个以上的CPU与软件的组合构成1个处理器，并且该处理器作为多个控制部而发挥功能的方式。第2例中，如以片上系统(System On Chip：SOC)等为代表，存在使用由1个IC芯片实现包括多个控制部在内的系统整体的功能的处理器的方式。如此，控制部能够使用上述各种处理器中的1个以上来构成硬件结构。
此外，作为这些各种处理器的硬件结构，更具体而言，能够使用将半导体元件等电路元件组合而成的电路。
以上所示的记载内容及图示内容是对于本发明的技术所涉及的部分的详细说明，仅为本发明的技术的一例。例如，与上述结构、功能、作用及效果相关的说明是与本发明的技术所涉及的部分的结构、功能、作用及效果的一例相关的说明。因此，在不脱离本发明的技术主旨的范围内，能够对以上所示的记载内容及图示内容删除不需要的部分，或者追加或替换新的要素。并且，为了避免错综复杂且容易理解本发明的技术所涉及的部分，在以上所示的记载内容及图示内容中，省略了与在能够实施本发明的技术的方面不需要特别说明的技术常识等相关的说明。
关于本说明书中所记载的所有文献、专利申请及技术标准，与具体且分别地记载通过参考而并入的各个文献、专利申请及技术标准的情况相同程度地，通过参考并入本说明书中。
符号说明
10-摄像装置，11-主体，11A-相机侧卡口，11B-电触点，11C-前表面，11D-背面，12-摄像透镜，12A-透镜侧卡口，12B-电触点，13-转盘，14-释放按钮，15-AF显示器，16-指示键，18-取景器目镜部，20-摄像传感器，21-摄像区域，21A-AF区域，22-垂直扫描电路，23-线路存储器，24-水平扫描电路，24A-水平输出线，25-输出放大器，26-像素，29-晶体管，30-物镜，31-聚焦透镜，32-后端透镜，33-光圈，34-透镜驱动控制部，40-处理器，42-操作部，45-存储器，45A-程序，47-抖动检测传感器，50-主控制部，51-摄像控制部，52-图像处理部，53-焦点检测部，54-明度检测部，55-校正量计算部，56-HDR合成部，57-抖动校正部，58-低通滤波器处理部，C-虚拟线，CF-滤色器，D1-光电二极管，E1-第1曝光时间，E2-第2曝光时间，EP-射出光瞳，L1-行选择线，L2-行复位线，L3-列信号线，LA-光轴，LF-光束，M1-放大器晶体管，M2-像素选择晶体管，M3-复位晶体管，ML-微透镜，N-摄像像素，PG1-第1像素组，PG2-第2像素组，RST-复位信号，S-像素信号，SEL-行选择信号，SF-遮光层，T-帧周期，VD-垂直同步信号，ZL、ZR-相位差像素，Z1L、Z1R-第1相位差像素，Z2L、Z2R-第2相位差像素。

Claims (16)

1.一种摄像装置，其具备：
处理器；及
摄像元件，读出信号的列信号线在第1方向上延伸，在所述第1方向上排列有第1像素组及第2像素组，所述第1像素组包括在与所述第1方向交叉的第2方向上排列的多个相位差像素及多个摄像像素，所述第2像素组包括在所述第2方向上排列的多个摄像像素，
所述处理器构成为执行曝光时间的设定处理，所述曝光时间的设定处理使所述第1像素组被曝光的第1曝光时间及所述第2像素组被曝光的第2曝光时间中的一方比另一方短，
在所述设定处理中，构成为基于由所述摄像元件拍摄的被摄体的信息，确定使所述第1曝光时间及所述第2曝光时间中的哪一方比另一方短。
2.根据权利要求1所述的摄像装置，其中，
所述处理器构成为执行如下处理：作为所述信息，通过所述摄像元件检测摄像区域内的感兴趣区域的明度，并基于所检测的明度，确定所述第1曝光时间及所述第2曝光时间。
3.根据权利要求2所述的摄像装置，其中，
所述处理器构成为执行如下处理：
在所述明度为第1阈值以上的情况下，使所述第1曝光时间比所述第2曝光时间短，
在所述明度小于所述第1阈值的情况下，使所述第2曝光时间比所述第1曝光时间短。
4.根据权利要求1所述的摄像装置，其中，
所述处理器构成为执行如下处理：
作为所述信息，检测被摄体的移动速度，并基于所检测的移动速度，确定所述第1曝光时间及所述第2曝光时间。
5.根据权利要求4所述的摄像装置，其中，
所述处理器构成为执行如下处理：
在所述移动速度为第2阈值以上的情况下，使所述第1曝光时间比所述第2曝光时间短，
在所述移动速度小于所述第2阈值的情况下，使所述第2曝光时间比所述第1曝光时间短。
6.根据权利要求1至5中任一项所述的摄像装置，其中，
所述处理器构成为执行如下处理：
在帧期间内，在进行所述第1像素组及所述第2像素组中的一方的信号读出之后，进行所述第1像素组及所述第2像素组中的另一方的信号读出。
7.根据权利要求6所述的摄像装置，其中，
所述处理器构成为执行如下处理：
检测所述摄像元件的摄像区域内的被摄体的与第1方向相关的位置，
在所检测的所述位置为所述第1方向上的一方向侧的情况下，从另一方向侧对所述第1像素组及所述第2像素组中的一方进行信号读出之后，从所述一方向侧对所述第1像素组及所述第2像素组中的另一方进行信号读出，
在所检测的所述位置为所述另一方向侧的情况下，从所述一方向侧对所述第1像素组及所述第2像素组中的一方进行信号读出之后，从所述另一方向侧对所述第1像素组及所述第2像素组中的另一方进行信号读出。
8.根据权利要求1至7中任一项所述的摄像装置，其中，
所述处理器构成为执行合成处理，所述合成处理通过将从所述第1像素组读出的信号和从所述第2像素组读出的信号进行合成来生成视频信号。
9.根据权利要求8所述的摄像装置，其中，
所述处理器构成为在进行减小从所述第1像素组读出的信号与从所述第2像素组读出的信号的相位偏差的相位处理之后，执行所述合成处理。
10.根据权利要求9所述的摄像装置，其中，
所述处理器构成为对从所述第2像素组读出的信号进行所述相位处理。
11.根据权利要求8至10中任一项所述的摄像装置，其中，
所述处理器构成为对通过所述合成处理生成的所述视频信号进行电子防振处理。
12.一种摄像装置，其具备：
处理器；及
摄像元件，读出信号的列信号线在第1方向上延伸，在所述第1方向上排列有第1像素组及第2像素组，所述第1像素组包括在与所述第1方向交叉的第2方向上排列的多个相位差像素及多个摄像像素，所述第2像素组包括在所述第2方向上排列的多个摄像像素，
所述处理器构成为能够选择性地执行第1模式及第2模式，其中，
所述第1模式包括：
第1设定处理，使所述第1像素组被曝光的第1曝光时间及所述第2像素组被曝光的第2曝光时间中的一方比另一方短；及
第1合成处理，通过将从所述第1像素组读出的信号和从所述第2像素组读出的信号进行合成来生成第1视频信号，
所述第2模式包括：
第2设定处理，使第1帧期间的所述第1曝光时间及所述第2曝光时间以及所述第1帧期间之后的第2帧期间的所述第1曝光时间及所述第2曝光时间中的一方比另一方短；及
第2合成处理，通过将在所述第1帧期间从所述第1像素组及所述第2像素组读出的信号和在所述第2帧期间从所述第1像素组及所述第2像素组读出的信号进行合成来生成第2视频信号，
使所述第1模式中的帧速率的设定上限值比所述第2模式中的帧速率的设定上限值高。
13.一种摄像装置，其具备：
处理器；及
摄像元件，读出信号的列信号线在第1方向上延伸，在所述第1方向上排列有包括在与所述第1方向交叉的第2方向上排列的多个摄像像素的第1像素组及第2像素组，
所述第1像素组包括具有第1开口面积的多个第1相位差像素，
所述第2像素组包括具有小于所述第1开口面积的第2开口面积的多个第2相位差像素，
所述处理器构成为执行曝光时间的设定处理，所述曝光时间的设定处理使所述第1像素组被曝光的第1曝光时间比所述第2像素组被曝光的第2曝光时间短。
14.根据权利要求13所述的摄像装置，其中，
所述处理器构成为执行合成处理，所述合成处理通过将从所述第1像素组读出的信号和从所述第2像素组读出的信号进行合成来生成视频信号。
15.一种摄像装置的驱动方法，所述摄像装置具备摄像元件，其中，读出信号的列信号线在第1方向上延伸，在所述第1方向上排列有第1像素组及第2像素组，所述第1像素组包括在与所述第1方向交叉的第2方向上排列的多个相位差像素及多个摄像像素，所述第2像素组包括在所述第2方向上排列的多个摄像像素，所述摄像装置的驱动方法包括：
曝光时间的设定处理，使所述第1像素组被曝光的第1曝光时间及所述第2像素组被曝光的第2曝光时间中的一方比另一方短，
在所述设定处理中，基于由所述摄像元件拍摄的被摄体的信息，确定使所述第1曝光时间及所述第2曝光时间中的哪一方比另一方短。
16.一种程序，其使摄像装置工作，所述摄像装置具备摄像元件，其中，读出信号的列信号线在第1方向上延伸，在所述第1方向上排列有第1像素组及第2像素组，所述第1像素组包括在与所述第1方向交叉的第2方向上排列的多个相位差像素及多个摄像像素，所述第2像素组包括在所述第2方向上排列的多个摄像像素，
所述程序使摄像装置执行曝光时间的设定处理，所述曝光时间的设定处理使所述第1像素组被曝光的第1曝光时间及所述第2像素组被曝光的第2曝光时间中的一方比另一方短，
在所述设定处理中，基于由所述摄像元件拍摄的被摄体的信息，确定使所述第1曝光时间及所述第2曝光时间中的哪一方比另一方短。
CN202180065534.0A 2020-09-29 2021-08-25 摄像装置、摄像装置的驱动方法及程序 Pending CN116325776A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020163983 2020-09-29
JP2020-163983 2020-09-29
PCT/JP2021/031097 WO2022070688A1 (ja) 2020-09-29 2021-08-25 撮像装置、撮像装置の駆動方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN116325776A true CN116325776A (zh) 2023-06-23

Family

ID=80951303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180065534.0A Pending CN116325776A (zh) 2020-09-29 2021-08-25 摄像装置、摄像装置的驱动方法及程序

Country Status (4)

Country Link
US (1) US20230232112A1 (zh)
JP (2) JP7458495B2 (zh)
CN (1) CN116325776A (zh)
WO (1) WO2022070688A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4689620B2 (ja) 2004-11-02 2011-05-25 パナソニック株式会社 イメージセンサ
JP6765860B2 (ja) * 2016-06-01 2020-10-07 キヤノン株式会社 撮像素子、撮像装置、および撮像信号処理方法
JP6976480B2 (ja) * 2019-03-13 2021-12-08 富士フイルム株式会社 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム

Also Published As

Publication number Publication date
WO2022070688A1 (ja) 2022-04-07
JPWO2022070688A1 (zh) 2022-04-07
JP2024069556A (ja) 2024-05-21
US20230232112A1 (en) 2023-07-20
JP7458495B2 (ja) 2024-03-29

Similar Documents

Publication Publication Date Title
JP5086357B2 (ja) 信号センサからの多重ビデオ信号の供給
JP4972724B2 (ja) インタリーブ画像を捕捉する方法及び装置
JP4530961B2 (ja) 電子的ぶれ補正装置
US9979874B2 (en) Image capturing apparatus and pixel scanning method for image generation
JP6082274B2 (ja) 撮像装置、及びその制御方法
JP2013515442A (ja) 静止画像及びプレビュー画像を用いた高ダイナミックレンジ画像の生成
KR20070054183A (ko) 촬상 장치, 촬상 방법 및 촬상 제어 프로그램
JP5132125B2 (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2011087050A (ja) デジタルカメラ
US8081229B2 (en) Imaging apparatus
CN116325776A (zh) 摄像装置、摄像装置的驱动方法及程序
CN113228609B (zh) 成像元件、摄像装置、摄像方法及计算机可读存储介质
JPH11258491A (ja) 焦点検出装置、方法及びコンピュータ読み取り可能な記憶媒体
JP2012063664A (ja) 測光装置及び電子カメラ
JP7459279B2 (ja) 撮像装置、撮像装置の駆動方法、及びプログラム
CN113316928A (zh) 成像元件、摄像装置、图像数据处理方法及程序
US11122196B2 (en) Image processing apparatus
WO2022264691A1 (ja) 撮像方法及び撮像装置
JPH11258489A (ja) 焦点検出装置、方法及びコンピュータ読み取り可能な記憶媒体
JP5509937B2 (ja) 撮像装置
JP2009212603A (ja) 撮像装置、及び撮像装置の制御方法
CN116018816A (zh) 摄像装置、驱动方法及摄像程序
JP2004056407A (ja) 固体電子撮像素子および固体電子撮像装置
JP2020048135A (ja) 撮像装置及びその制御方法
JP2008028757A (ja) 固体撮像装置、及びカメラ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination