CN106210463A - 摄像装置和摄像设备 - Google Patents

摄像装置和摄像设备 Download PDF

Info

Publication number
CN106210463A
CN106210463A CN201610343865.7A CN201610343865A CN106210463A CN 106210463 A CN106210463 A CN 106210463A CN 201610343865 A CN201610343865 A CN 201610343865A CN 106210463 A CN106210463 A CN 106210463A
Authority
CN
China
Prior art keywords
unit
image
camera head
data
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610343865.7A
Other languages
English (en)
Other versions
CN106210463B (zh
Inventor
根岸典央
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2016086546A external-priority patent/JP6239026B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN201910520127.9A priority Critical patent/CN110266908A/zh
Publication of CN106210463A publication Critical patent/CN106210463A/zh
Application granted granted Critical
Publication of CN106210463B publication Critical patent/CN106210463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/212—Motion video recording combined with still video recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767—Horizontal readout lines, multiplexers or registers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明涉及一种摄像装置和摄像设备。在内部包括存储器单元和计算处理单元的摄像装置中，根据静止图像的图像信号来对运动图像的图像信号调整大小、并由此生成运动图像的图像信号；将静止图像的图像信号存储在存储器单元中；并且在将运动图像的图像信号全部传送至摄像装置的外部之后，传送静止图像的图像信号。

Description

摄像装置和摄像设备
技术领域
本发明涉及一种摄像装置和摄像设备。
背景技术
近年来，如日本特开2013-26675所公开的，例如用在诸如数字照相机等的摄像设备中的CMOS摄像装置由于像素的小型化因而可以包括数量增加的像素，并且能够拍摄高清晰度图像。消费者最近所用的摄像设备通常可以包括1000万个像素以上。
图14是这种一般的摄像设备的结构框图。参考图14，摄像装置1500包括像素部1501、AD(模数)转换单元1502和P/S转换单元1503。像素部1501将被摄体图像转换成电气信号并且将该电气信号输出至AD转换单元1502。
AD转换单元1502将从像素部1501读取的图像信号转换成数字信号。P/S转换单元1503对AD转换单元1502进行转换得到的数字信号进行并行-串行转换。图像信号处理电路1600对来自摄像装置1500的图像信号进行信号处理。
摄像设备具有用于从摄像装置1500向图像信号处理电路1600传送图像信号的、传送容量恒定的传送路径。因而，摄像装置中的像素数增加相对可能会导致被摄体的所有图像信号的传送时间延长。
换句话说，从摄像装置1500向图像信号处理电路1600读取信号所用的速度可能成为读出图像信号所用的速度的瓶颈。此外，这种高速传送可能会引起传送电路和处理电路所消耗的电力量以及所产生的热量均增大，这可能导致数据传送的精度降低。
发明内容
本发明提供如下一种摄像装置，其中在该摄像装置具有大量像素以在正进行视频记录时进行静止图像记录的情况下，该摄像装置可以提供无缝的运动图像和高质量的静止图像这两者。
根据本发明的方面的一种摄像装置，包括：摄像单元，用于接收入射光，并且对所述入射光进行光电转换；模数转换单元，用于将从所述摄像单元输出的模拟图像信号转换成数字图像数据；存储单元，用于存储所述模数转换单元要进行转换的至少一帧的数字图像数据；以及生成单元，用于根据静止图像的数字图像数据来生成运动图像的数字图像数据，其中，在通过使用所述摄像装置正拍摄运动图像期间拍摄静止图像的情况下，将所述静止图像的数字图像数据存储在所述存储单元中，并且在输出所述静止图像的数字图像数据之前输出所述运动图像的数字图像数据。
根据本发明的另一方面的一种摄像装置，包括：摄像单元，用于接收入射光，并且对所述入射光进行光电转换；存储单元，用于存储从所述摄像单元输出的图像数据；以及计算单元，用于对所述图像数据进行计算处理，其中，在正输出第一大小的图像数据期间输出与所述第一大小不同的第二大小的图像数据的情况下，将所述第一大小的图像数据和所述第二大小的图像数据中的一个图像数据存储在所述存储单元中。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1示出根据第一实施例的摄像装置的示意结构。
图2示出根据第一实施例的数据总线结构的示例。
图3A和3B示出根据第一实施例的像素和列ADC块的结构。
图4A和4B示出根据第一实施例的摄像装置的堆叠结构。
图5是示出根据第一实施例的摄像装置的截面图。
图6是根据第一实施例的摄像系统的系统示意图。
图7是示出根据第一实施例的拍摄序列的流程图。
图8A1～8A3以及图8B1和8B2示出根据实施例的针对图像所要进行的调整大小处理。
图9示出根据第一实施例的图像数据大小改变处理的概述。
图10示出根据第一实施例的图像数据大小改变处理的概述。
图11是示出根据第二实施例和第三实施例的拍摄序列的流程图。
图12示出根据第二实施例的图像数据大小改变处理的概述。
图13示出根据第三实施例的图像数据大小改变处理的概述。
图14示出一般的摄像设备的结构。
具体实施方式
以下将参考附图来详细说明本发明的实施例。
第一实施例
根据第一实施例，将说明具有使得能够在正进行视频记录时拍摄静止图像的拍摄模式的摄像系统。根据本实施例，摄像装置始终以全像素读出模式进行拍摄操作，并且根据以全像素读出模式驱动并输出的图像信号来生成运动图像和静止图像这两者。
图1是示意性示出根据本发明的第一实施例的摄像装置的框图。
摄像装置506具有第一芯片(第一半导体基板)10和第二芯片(第二半导体基板)11，并且第二芯片11和第一芯片10相互堆叠。第一芯片10具有包括呈矩阵形式排列的多个像素101的像素部，并且相对于第二芯片11设置于光入射侧(或光学图像的受光侧)。
在第一芯片10的像素部中，呈矩阵形式排列的多个像素101按行连接至传送信号线103、复位信号线104和行选择信号线105，并且按列连接至多个列输出线102。位于同一列的不同读出行中的像素连接至各自是针对一列所设置的多个列输出线102中的相应列输出线102。
第二芯片11具有各自是针对一列所设置的多个AD转换器(以下各自称为ADC)111、行扫描电路112、列扫描电路113和时序控制电路114。第二芯片11具有切换开关116、帧存储器117、处理单元118和并行-串行转换单元(以下称为P/S转换单元)119等。时序控制电路114由整体控制计算单元509进行驱动控制。
由于第一芯片10具有像素部、并且第二芯片11具有针对各像素部的驱动电路、存储器和计算单元等，因此可以将制造处理分成摄像装置506的摄像层和电路层。这样，电路层中的线的细线化和高密度化可以提高速度、缩小大小并且提高功能。
切换开关116将从针对各通道所设置的水平信号线115-a和水平信号线115-b输出的各通道的数字图像数据选择性地输入至处理单元118。处理单元118排列各通道的图像数据，生成每一个帧的图像数据，并且将该图像数据顺次输出至帧存储器117。帧存储器117临时存储至少一个输出帧的数字图像数据。
处理单元118对帧存储器117中所存储的一帧的数字图像数据进行诸如切出处理和间隔剔除处理等的计算处理。后面将说明这些计算处理的详情。处理单元118进行处理后的一帧的数字图像数据在P/S转换单元119中经过并行-串行转换，并且被输出至摄像装置506的外部所设置的摄像信号处理电路507。
这里，水平信号线115-a、水平信号线115-b、切换开关116、处理单元118和帧存储器117之间的信号传送路径是同一芯片内所设置的数字信号线。这样可以提供在水平读出时间段内完成所有水平数据的传送所需的数据总线宽度，以实现更高的速度。
图2示出第二芯片11中的从ADC 111到P/S转换单元119的数据总线结构的示例。如图2所示，在第二芯片11中，在ADC 111和处理单元118之间设置有列存储器111a，并且列存储器111a被配置为临时保持ADC 111所进行的数字转换的输出。应当注意，在图2中没有示出切换开关116。
根据来自水平扫描电路113的控制信号，将针对各列所设置的列存储器111a中所保持的图像数据分配到水平信号线115-a和115-b并且是并列输出的。在这种情况下，在列传送电路115内设置有16个通道的水平信号线115-a和115-b。将输出至水平信号线115-a和115-b的图像数据经由处理单元118内的存储器I/F电路输入至帧存储器117。
例如，将说明从ADC 111输出8K4K(水平8000个像素和垂直4000个像素)的32M像素的图像数据的情况。按60fps的帧频读出32M像素的图像数据可能需要1920M像素/秒的数据总线带宽。
在列传送电路115内所设置的16个通道的水平信号线115-a和115-b各自具有12位的传送容量的情况下，可能需要减少传送容量，直至达到120MHz的可传送频率。根据来自水平扫描电路113的控制信号来顺次选择列存储器，并且经由这16个通道并列读出列传送电路115中的针对各通道的120M像素/秒的图像数据。
在从列传送电路115经由处理单元118向帧存储器117输入的图像数据中，从帧存储器部分读出预定区域的数据，并且这些数据再次被输入至处理单元118。例如，从帧存储器117输出的图像数据的大小由处理单元118内的缩小变倍电路缩小为1/16倍的图像大小。在这种情况下所需的数据总线带宽缩小为120M像素/秒。这是用于按60fps读出全HD大小(2M像素)的数据传送容量。
从处理单元118输出的数据总线带宽有所减小的图像数据由P/S转换单元119转换成采用720Mbps的双通道结构的串行信号，使得不会超过1Gbps的最大串行传送容量，并且进行输出。
在第二芯片11内设置ADC 111、处理单元118和帧存储器117，这样可以提供在第二芯片11内处理图像数据所需的宽的数据总线带宽，因而可以增加从ADC 111到帧存储器117的传送速度，同时可以以使得能够向摄像装置的外部进行传送的串行传送容量输出高质量的运动图像。
图3A和3B示出根据本实施例的摄像装置506中的像素部内的各像素101以及ADC111的详细结构。将参考图1以及图3A和3B来示意性说明根据第一实施例的摄像装置所要进行的操作。
光电二极管(以下称为PD)201将所接收到的入射光光电转换成与所接收到的入射光的光量相对应的电荷量的光电荷(这里为电子)。PD 201的阴极经由传送晶体管202电气连接至放大晶体管204的栅极。电气连接至放大晶体管204的栅极的节点构成浮动扩散(以下称为FD)单元206。
传送晶体管202设置在PD 201的阴极与FD单元206之间，并且响应于经由图1的传送信号线103向该传送晶体管202的栅极供给传送脉冲而接通。将PD 201进行光电转换得到的光电荷传送至FD单元206。
重置晶体管203的漏极连接至像素电源Vdd且其源极连接至FD单元206，并且响应于经由图1的复位信号线104向该重置晶体管203的栅极供给复位脉冲而接通。在从PD 201向FD单元206传送信号电荷之前，使FD单元206中的电荷释放到像素电源Vdd，使得可以对FD单元206进行重置。
放大晶体管204的栅极连接至FD单元206并且其漏极连接至像素电源Vdd，并且以复位电平输出利用重置晶体管203进行复位之后的FD单元206的电位。放大晶体管204以信号电平输出在利用传送晶体管202传送PD 201中的信号电荷之后的FD单元206的电位。
选择晶体管205的漏极可以连接至放大晶体管204的源极，并且其源极可以连接至列输出线102。选择晶体管205响应于经由图1的行选择信号线105向该选择晶体管205的栅极供给选择脉冲而接通，并且通过将像素101改变为选择状态来将放大晶体管204进行放大后的信号输出至列输出线102。
应当注意，选择晶体管205可以连接在像素电源Vdd与放大晶体管204的漏极之间。晶体管202～205例如可以是N沟道MOS晶体管。各个像素101不限于包括四个晶体管的像素，而且可以包括放大晶体管204和选择晶体管205由一个晶体管来实现的三个晶体管。
将从像素101经由列输出线102输出的模拟图像信号发送至ADC 111。ADC 111具有比较器211、上下计数器212、存储器213和DA(数模)转换器(以下称为DAC)214。
比较器211具有一对输入端子，其中该一对输入端子中的一个输入端子连接至列输出线102，并且另一输入端子连接至DAC 214。比较器211的输出端子连接至上下计数器212。图1的时序控制电路114基于来自整体控制计算单元509的指示来向DAC 214输出基准信号。
DAC 214基于从图1的时序控制电路114输入的基准信号来输出电平随时间的经过而改变的斜坡信号。然后，比较器211将从DAC 214输入的斜坡信号的电平和从列输出线102输入的图像信号的电平进行比较。
例如，比较器211在图像信号的电平低于斜坡信号的电平的情况下，输出电平较高的比较信号，并且在图像信号的电平高于斜坡信号的电平的情况下，输出电平较低的比较信号。上下计数器212对比较信号改变为高电平的时间段或比较信号改变为低电平的时间段进行计数。该计数处理将来自像素101的输出信号转换成数字值。
可选地，可以在比较器211和上下计数器212之间设置与(AND)电路。可以向该与电路输入脉冲信号，并且可以利用上下计数器212对脉冲信号的数量进行计数。
ADC 111可以基于像素101的复位解除时的复位信号来对与复位电平相对应的计数值进行计数，并且可以基于经过了预定摄像时间段之后的光信号来对计数值进行计数。可以将与光信号相关联的计数值和与复位信号相关联的计数值之间的差值存储在存储器213中。
存储器213连接至上下计数器212，并且存储上下计数器212进行计数得到的计数值。响应于来自图1的列扫描电路113的驱动控制，将存储器213中所存储的计数值作为数字图像数据发送至图1的水平信号线115-a和水平信号线115-b。
图4A和4B示出参考图1所述的根据第一实施例的摄像装置506的外形的结构。图4A示出摄像装置506的从光入射侧的立体图，并且图4B示出摄像装置506的截面图。
摄像装置506包括第一芯片(摄像层)10和第二芯片(电路层)11。第一芯片10和第二芯片11各自具有多个微垫302，并且第一芯片10和第二芯片11通过使第一芯片10和第二芯片11中所设置的微垫302经由多个微凸块301电气连接而一体化。换句话说，第一芯片10和第二芯片11经由多个微凸块301和多个微垫302直接电气连接。第一芯片10和第二芯片11可以利用无需使用宏垫和微垫的方法直接电气连接。
图5示出图1～图4A和4B所示的根据第一实施例的摄像装置506的截面结构的详情。参考图5，摄像层401与第一芯片10相对应，并且电路层402与第二芯片11相对应。
在摄像层401中，在硅(以下称为Si)基板403上设置布线层404。Si基板403具有作为PD 201的n型扩散区域407，并且在表面部(与布线层404的边界部)中具有p+扩散区域408。
Si基板403在其表面部中具有作为FD单元206的多个n+扩散区域409和切换晶体管的多个n+扩散区域410。布线层404例如在SiO2的绝缘层内具有晶体管的栅极线411以及信号传输线412，并且在其表面部中具有Cu制成的微垫302a。
n+扩散区域409、n+扩散区域410、以及晶体管的栅极线411构成传送晶体管202、重置晶体管203、放大晶体管204和选择晶体管205。布线层404具有用于使n+扩散区域410连接至微垫302a的通路414。
在电路层402中，在Si基板405上具有布线层406。Si基板405在其表面部中具有多个晶体管扩散区域416。布线层406具有例如SiO2的绝缘层，其中该绝缘层包括晶体管所用的多个栅极线417、多个信号传输线418、以及表面部中的例如Cu制成的微垫302b。
电路层402中所设置的晶体管扩散区域416、晶体管所用的栅极线417以及信号传输线418构成电路。将省略针对电路截面的详情的说明。布线层406具有用于使扩散区域416等连接至微垫302b的通路420。
摄像层401的布线层404中所设置的微垫302a和电路层402的布线层406中所设置的微垫302b经由微凸块301彼此电气连接。尽管图5示出摄像层401和电路层402通过使用微凸块301作为连接端子而连接的结构示例，但这两者可以无需使用微凸块而直接连接。
图6示出使用参考图1～5所述的摄像装置的摄像设备的系统示意图。穿过了镜头单元501的被摄体图像由光圈504调整成适当光量，并且聚焦于具有图1～图5所示的结构的摄像装置506上的摄像面。
聚焦于摄像装置506上的摄像面的被摄体图像由摄像装置506中的PD201进行光电转换，并且经过像素内的放大器以及像素101与ADC 111之间所设置的列放大器所进行的增益调整。然后，ADC 111用于进行从模拟信号向数字信号的A/D转换处理，其中这些数字信号随后作为R、G和B的各颜色的数字图像信号被供给至摄像信号处理电路507。
在摄像信号处理电路507中，进行诸如噪声降低所用的低通滤波和遮光校正等的校正处理、诸如白平衡调整处理等的图像信号处理和针对图像数据的压缩处理。应当注意，在具有堆叠结构的摄像装置506中，可以内置有被配置为进行这些处理的摄像信号处理电路507。
镜头单元501例如由镜头驱动单元502进行驱动，以控制变焦和调焦。机械快门503和光圈504由快门/光圈驱动单元505进行驱动控制。
整体控制计算单元509通常控制摄像设备并且进行计算处理。第一存储器单元508临时存储图像数据。诸如半导体存储器等的可移除的记录介质512记录图像数据。记录介质控制接口单元510将图像数据记录在记录介质512中、或者读出记录介质512中所记录的图像数据。应当注意，整体控制计算单元509可以内置在具有堆叠结构的摄像装置506中。
显示单元511例如被配置为显示图像数据。外部接口单元513例如可用于与外部计算机进行通信。第二存储器单元514临时存储来自整体控制计算单元509的计算结果以及参数。将与用户经由操作单元515所设置的摄像设备的驱动条件有关的信息发送至整体控制计算单元509，以使得可以基于该信息来控制摄像设备整体。
接着，将参考图1、图3A和3B以及图7来说明根据本实施例的摄像系统中的操作过程。
图7是示出根据第一实施例的摄像系统中的拍摄模式下的拍摄序列的流程图，其中在该拍摄模式中，可以在正进行视频记录时拍摄并记录静止图像。图9示出如下方法，其中该方法用于在正记录多个帧的运动图像时记录一帧的静止图像的情况下，根据通过以全像素读出模式驱动摄像装置506所获取到的图像数据来生成运动图像和静止图像。
在步骤S601中，在整体控制计算单元509中，基于用户经由操作单元515所输入的设置来对参数进行初始化。将初始化后的参数记录在第二存储器单元514中。
在步骤S602中，以监视器模式驱动摄像系统，其中在该监视器模式中，将所拍摄到的被摄体图像实时地显示在显示单元511上。更具体地，以混合/间隔剔除模式驱动摄像装置506，其中在该混合/间隔剔除模式中，组合多个像素或者间隔剔除部分像素以读出图像信号。所读取的图像信号在摄像信号处理电路507中经过信号处理并且由显示单元511进行显示。
在以监视器模式进行驱动的情况下，可以基于从摄像装置506读出的图像信号来根据需要进行自动曝光调整(AE)控制所用的测光操作和自动焦点调节(AF)控制所用的测距操作。然后，摄像信号处理电路507基于测光结果来测量被摄体的明度，并且计算光圈值Av和快门速度Tv，使得所拍摄到的图像可以具有适当的明度。还基于测距结果来计算被摄体图像的焦距。
尽管这里基于根据从摄像装置506读取的图像信号所获得的对比度信息来进行AF控制，但摄像装置506可以具有与摄像所用的像素分开的焦点检测像素。然后，可以基于使用从焦点检测像素所获得的相位差信息(散焦量)的摄像面相位差检测来进行AF控制。例如，可以根据拍摄条件和被摄体来根据需要组合对比度AF控制和摄像面相位差AF控制以供使用，或者可以进行该控制以改变AF方式。
整体控制计算单元509向快门/光圈驱动单元505给出用以获取所计算出的光圈值Av和快门速度Tv的指示。整体控制计算单元509向镜头驱动单元502给出用以获取所计算出的镜头位置L的指示。快门/光圈驱动单元505根据所接收到的指示来驱动机械快门503和光圈504。镜头驱动单元502基于所给出的指示来驱动镜头单元501。将所计算出的光圈值Av、快门速度Tv和镜头位置L记录在第二存储器单元514中。
可以通过使累积时间段(曝光时间段)在摄像装置506的行或像素之间不同、或者通过使用于对图像信号进行放大的增益不同以使得可以针对各行或各像素获取一帧内的曝光不同的图像，来进行AE控制。在该控制下，可以生成具有宽动态范围的HDR图像。
在步骤S603中，整体控制计算单元509判断操作单元515中的视频记录触发开关SW_1的ON/OFF(接通/断开)状态。如果开关SW_1具有ON状态，则处理进入步骤S604。如果开关SW_1具有OFF状态，则处理再次返回至步骤S602。
在步骤S604中，将拍摄参数i重置为0。
在步骤S605中，从第二存储器单元514读出光圈值Av、快门速度Tv和镜头位置L。基于从摄像装置506所读取的图像数据以及从第二存储器单元514所读出的光圈值Av和快门速度Tv来计算用于获取适当明度的光圈值Av和快门速度Tv。
还根据从摄像装置506所读取的图像数据以及从第二存储器单元514所读出的镜头位置L来计算用于获取适当焦距的镜头位置L。将所计算出的光圈值Av、快门速度Tv和镜头位置L记录在第二存储器单元514中。
如果拍摄参数i＝0，则考虑到步骤S606中的驱动模式和步骤S602中的驱动模式的感光度差，基于从第二存储器单元514所读出的光圈值Av和快门速度Tv来重新计算光圈值Av和快门速度Tv。要使用从第二存储器单元514读出的镜头位置L的值。
如果拍摄参数i≠0，则要原样使用从第二存储器单元514读出的光圈值Av、快门速度Tv和镜头位置L。然后，整体控制计算单元509向镜头驱动单元502、快门/光圈驱动单元505给出用以获取光圈值Avi、快门速度Tvi和镜头位置Li的指示，并且驱动镜头单元501、机械快门503和光圈504。
在步骤S606中，不同于步骤S602，以全像素读出模式驱动摄像装置506以进行拍摄操作，其中在该全像素读出模式中，从摄像装置506上的所有像素读出图像信号。将通过拍摄操作所获取到的具有第一数据大小的一帧的图像数据发送至处理单元118。
在步骤S607中，整体控制计算单元509判断操作单元515中的静止图像记录触发开关SW_2的ON/OFF状态。如果开关SW_2具有ON状态，则处理进入步骤S608。如果开关SW_2具有OFF状态，则处理进入步骤S609。
在步骤S608中，处理单元118复制步骤S606中所拍摄到的具有第一数据大小的一帧的图像数据，并且将这些图像数据作为静止图像的图像数据存储在帧存储器117中。
在步骤S609中，处理单元118对原本具有第一数据大小的一帧的图像数据进行调整大小，以转换成具有比第一数据大小小的第二数据大小的一帧的运动图像的图像数据。
调整大小处理可以是用于通过进行混合/间隔剔除处理或区域切出处理来缩小图像大小的处理，其中该混合/间隔剔除处理对水平方向(行方向)或垂直方向(列方向)上的每数行或列的图像数据进行混合或间隔剔除，以及该区域切出处理仅使用图像数据的部分区域。可选地，可以进行将图像数据的各像素的位数据量改变为较小大小(诸如从16位改变为10位等)的处理。
图8A1～8B2示出混合/间隔剔除处理和区域切出处理的示例。图8A1～8A3示出用于进行水平3像素混合和垂直1/3像素间隔剔除的处理作为混合/间隔剔除处理的示例，并且图8B1和8B2示出示例的区域切出处理。
混合/间隔剔除处理针对图8A1所示的具有第一数据大小的图像数据，仅使用图8A2所示的像素数据来计算表达式(1)～(4)。通过计算混合/间隔剔除处理之后的数据R′、Gr′、Gb′和B′，来生成具有第二数据大小的图像数据。
R′＝(R+R+R)/3 (1)
Gr′＝(Gr+Gr+Gr)/3 (2)
Gb′＝(Gb+Gb+Gb)/3 (3)
B′＝(B+B+B)/3 (4)
区域切出处理针对图8B1中的具有第一数据大小的图像数据，通过仅使用图8B2中的虚线所包围的、除垂直方向和水平方向上的上下左右的数个～数百个像素以外的区域中的像素数据，来生成具有第二数据大小的图像数据。
在步骤S610中，在步骤S609中调整大小成第二数据大小的图像数据在并行/串行转换单元119中经过并行/串行转换处理，然后被传送至摄像信号处理电路507。这里，从P/S转换单元119输出的图像数据的数据大小和帧频例如被设置为等于或低于摄像装置506的输出传送容量。
这里，假定具有第一数据大小的图像数据的像素数等于2400万个像素、并且各像素的数据量等于12位。还假定：要从摄像装置506中的P/S转换单元119经由八个端口向摄像信号处理电路507发送数据，并且从摄像装置506到摄像信号处理电路507的输出传送容量等于1Gbps。
还假定：通过进行包括图8A1～8B2所示的水平3像素相加和垂直1/3像素间隔剔除的调整大小处理来获取具有第二数据大小的图像数据，并且像素数等于200万个像素且各像素的数据量等于12位。这里，在运动图像的帧频等于120fps、并且从摄像装置506中的P/S转换单元119经由八个端口向摄像信号处理电路507发送数据的情况下，需要360Mbps。由于从摄像装置506到摄像信号处理电路507的输出传送容量等于1Gbps，因此可以在余量充足的状态下传送运动图像的图像数据。
在步骤S611中，摄像信号处理电路507响应于来自整体控制计算单元509的指示，来对在步骤S609中进行调整大小后的并且在步骤S610中进行传送的图像数据进行处理。在摄像信号处理电路507中要进行的处理例如可以包括诸如用于降低噪声的低通滤波处理、缺陷像素校正处理、遮光校正处理和白平衡处理等的图像信号处理、显像处理、图像数据压缩处理。将经过了这些处理的图像数据作为运动图像记录在记录介质512中。
在步骤S612中，向拍摄参数i加上1。在步骤S613中，整体控制计算单元509判断开关SW_1的ON/OFF状态。如果开关SW_1具有ON状态，则判断为给出了用以记录静止图像的指示，然后处理移动至步骤S614。如果开关SW_1具有OFF状态，则处理返回至步骤S605。
在步骤S614中，在步骤S608中帧存储器117中所存储的具有第一数据大小的静止图像的图像数据在P/S转换单元119中经过并行/串行转换处理，并且被传送至摄像信号处理电路507。
应当注意，从P/S转换单元119输出的静止图像的图像数据的数据大小和帧频例如被设置为等于或低于摄像装置506的输出传送容量。
这里，假定具有第一数据大小的图像数据的像素数等于2400万个像素、并且各像素的数据量等于12位。在帧频被设置为等于24fps并且从P/S转换单元119经由八个端口向摄像信号处理电路507发送数据的情况下，需要864Mbps。由于从摄像装置506到摄像信号处理电路507的输出传送容量等于1Gbps，因此可以在具有余量的状态下传送静止图像的图像数据。
在步骤S615中，摄像信号处理电路507响应于来自整体控制计算单元509的指示来对步骤S614中所传送的具有第一数据大小的图像数据进行处理。
在摄像信号处理电路507中要进行的处理例如可以包括诸如用于降低噪声的低通滤波处理、缺陷像素校正处理、遮光校正处理和白平衡处理等的图像信号处理、显像处理、图像数据压缩处理。将经过了这些处理的图像数据作为静止图像记录在记录介质512中。步骤S611中在记录介质512中所记录的运动图像经过后处理，然后以预定的运动图像格式进行存储。
如上所述，运动图像的图像数据的数据大小在摄像装置内从第一数据大小缩小为第二数据大小，并且将如此得到的图像数据传送至摄像装置的后级。将具有较大的第一数据大小的静止图像的图像数据临时存储在摄像装置内的帧存储器中，并且在将运动图像的图像数据传送至摄像装置的后级之后，将该静止图像的图像数据传送至摄像装置的后级。
因而，在包括像素数较大的摄像装置的摄像系统中，即使在正进行视频记录时进行静止图像记录的情况下，也可以获取到帧频高的无缝运动图像。在该记录期间，可以以高的快门速度拍摄到静止图像。因而，可以获得无CMOS图像传感器固有的明显卷帘快门失真的高质量图像。
已经说明了根据本实施例的如下方法：如图7所示，根据通过始终以全像素读出模式驱动摄像装置506所得到的图像信号来生成运动图像和静止图像。然而，如图10所示，通常可以以水平3像素混合和垂直1/3像素间隔剔除模式来驱动摄像装置506，以拍摄运动图像。然后，可以仅响应于针对静止图像记录的指示来以全像素读出模式驱动摄像装置506。在这种情况下，对以全像素读出模式所获得的具有第一数据大小的图像数据进行调整大小，以生成具有第二数据大小的运动图像的图像数据，并且可以使用具有第一数据大小的图像数据作为静止图像的图像数据。
第二实施例
将参考图11和12来说明本发明的第二实施例。根据第二实施例，将说明具有如下拍摄模式的摄像系统，其中在该拍摄模式中，可以在正进行正常视频记录时拍摄高清晰度运动图像。
由于摄像系统中的摄像装置的结构与根据第一实施例的参考图1～5所述的结构相同，因此将省略说明。由于摄像系统的概述也与根据第一实施例的参考图6所述的概述相同，因此将省略说明。由于在图像数据中要进行的调整大小处理与根据第一实施例的参考图8A1～8B2所述的调整大小处理相同，因此将省略说明。
图11是示出根据第二实施例的摄像系统中的拍摄序列的流程图。图12示出根据本实施例的如下方法，其中该方法用于在正进行正常视频记录时，响应于针对高清晰度视频记录的指示，通过以全像素读出模式驱动摄像装置506来生成高清晰度运动图像。
由于步骤S1001～步骤S1005的处理与根据第一实施例的图7所示的步骤S601～步骤S605的处理相同，因此将省略说明。
在步骤S1006中，使用操作单元515中的开关SW_2作为高清晰度视频记录所用的触发开关。换句话说，整体控制计算单元509判断开关SW_2的ON/OFF状态。如果开关SW_2具有ON状态，则处理进入步骤S1008。如果开关SW_2具有OFF状态，则处理进入步骤S1007。
在步骤S1007中，为了以第一视频记录模式拍摄正常运动图像，以水平3像素混合和垂直1/3像素间隔剔除模式驱动摄像装置506，以进行拍摄操作。将通过拍摄操作所获取到的具有第二数据大小的一帧的图像数据经由处理单元118发送至P/S转换单元109。
在步骤S1008中，为了以第二视频记录模式拍摄高清晰度运动图像，摄像装置506以全像素读出模式进行驱动以进行拍摄操作。将通过拍摄操作所获取到的具有第一数据大小的一帧的图像数据发送至处理单元118。
在步骤S1009中，处理单元118复制步骤S1008中所拍摄到的具有第一数据大小的一帧的图像数据，并且将这些图像数据作为高清晰度运动图像的图像数据存储在帧存储器117中。处理单元118对原本具有第一数据大小的一帧的图像数据进行调整大小，以转换成具有比第一数据大小小的第二数据大小的一帧的正常运动图像的图像数据。
在步骤S1010中，P/S转换单元119对步骤S1007中所拍摄到的具有第二数据大小的图像数据、或者作为在步骤S1009中进行向第二数据大小的调整大小处理的结果的具有第二数据大小的图像数据进行并行/串行转换处理。然后，将如此得到的数据传送至摄像信号处理电路507。
假定在步骤S1010中要从P/S转换单元119向摄像信号处理电路507传送的具有第二数据大小的图像数据的像素数是200万个像素、并且各像素的数据量等于12位。还假定：运动图像的帧频等于120fps、并且从摄像装置506中的P/S转换单元119经由八个端口向摄像信号处理电路507传送数据，并且从摄像装置506到摄像信号处理电路507的输出传送容量等于1Gbps。在这种情况下，由于数据大小与在第一实施例的步骤S610中要传送的数据的数据大小相等，因此可以在余量充足的状态下传送正常运动图像的图像数据。
由于步骤S1011～步骤S1013的处理与根据第一实施例的图7所示的步骤S611～步骤S613的处理相同，因此将省略说明。
在步骤S1014中，P/S转换单元119对步骤S1009中在帧存储器117中所存储的具有第一数据大小的高清晰度运动图像的图像数据进行并行/串行转换处理，并且将如此得到的数据传送至摄像信号处理电路507。
应当注意，从P/S转换单元119输出的高清晰度运动图像的图像数据的数据大小和帧频被设置为等于或低于摄像装置506的输出传送容量。
这里，假定具有第一数据大小的图像数据的像素数等于2400万个像素、并且各像素的数据量等于12位。在帧频被设置为等于24fps并且从P/S转换单元119经由八个端口向摄像信号处理电路507发送数据的情况下，需要864Mbps。由于从摄像装置506到摄像信号处理电路507的输出传送容量等于1Gbps，因此可以在具有余量的状态下传送高清晰度运动图像的图像数据。
在步骤S1015中，摄像信号处理电路507响应于来自整体控制计算单元509的指示，来对步骤S1014中所传送的具有第一数据大小的图像数据进行处理。
在摄像信号处理电路507中要进行的处理例如可以包括诸如用于降低噪声的低通滤波处理、缺陷像素校正处理、遮光校正处理和白平衡处理等的图像信号处理、显像处理、图像数据压缩处理和后处理。将经过了这些处理的图像数据记录在记录介质512中。这里要记录的运动图像是采用高达120fps的帧频的、与摄像装置的整个有效摄像区域(整个画面)相对应的高清晰度运动图像。
在步骤S1011中，记录介质512中所记录的运动图像经过后处理，并且被存储作为图像大小小于整个画面的图像大小的与预定运动图像格式相对应的120fps的运动图像。
如上所述，根据本实施例，如图12所示，以水平3像素混合和垂直1/3像素间隔剔除模式驱动摄像装置506，并且仅响应于针对高清晰度视频记录的指示，来以全像素读出模式驱动摄像装置506。然后，可以根据通过以水平3像素混合和垂直1/3像素间隔剔除模式驱动摄像装置506所获取到的具有第二数据大小的图像数据、以及通过对以全像素读出模式驱动摄像装置506获取到的具有第一数据大小的图像数据进行调整大小所获取到的具有第二数据大小的图像数据，来生成正常运动图像。可以根据以全像素读出模式获取到的具有第一数据大小的图像数据来生成高清晰度运动图像。
利用如上所述的结构，在包括像素数较大的摄像装置的摄像系统中，即使在正进行正常视频记录时拍摄高清晰度运动图像的情况下，也能够获取到具有高帧频的无缝的正常运动图像和高清晰度运动图像。
第三实施例
以下将参考图11和13来说明本发明的第三实施例。尽管根据第二实施例说明了用于在正进行正常视频记录时拍摄高清晰度运动图像的方法，以下将说明根据第三实施例的、用于在正进行正常视频记录时拍摄帧频比正常帧频高(约8倍)的高速运动图像的方法。
由于摄像装置的结构、摄像系统的概述和要对图像数据进行的调整大小处理与第一实施例和第二实施例相同，因此将省略说明。将参考在第二实施例的说明中也参考的图11来说明根据本实施例的拍摄序列的流程图。图13示出根据本实施例的、用于在正进行正常视频记录时生成具有高帧频的高速运动图像的方法。
由于步骤S1001～步骤S1005以及步骤S1007的处理与根据第二实施例的、用于在正进行视频记录时拍摄高清晰度运动图像的处理相同，因此将省略说明。
在步骤S1006中，使用操作单元515中的开关SW_2作为高速视频记录所用的触发开关。换句话说，整体控制计算单元509判断开关SW_2的ON/OFF状态。如果开关SW_2具有ON状态，则处理进入步骤S1008。如果开关SW_2具有OFF状态，则处理进入步骤S1007。
在步骤S1008中，为了以第二动画模式拍摄具有高帧频的运动图像，以水平3像素混合和垂直1/3像素间隔剔除模式并且以比正常帧频高8倍的帧频驱动摄像装置506，以进行拍摄操作。如果正常帧频为120fps，则以960fps驱动摄像装置506。将通过拍摄操作所获取到的具有第二数据大小的一帧的图像数据发送至处理单元118。
在步骤S1009中，处理单元118复制步骤S1008中所拍摄到的具有第二数据大小的图像数据，并且将这些图像数据作为高帧频运动图像的图像数据存储在帧存储器117中。处理单元118还进行以下处理，其中该处理包括：在具有第二数据大小的原始图像数据中从每八个帧中间隔剔除七个帧，以转换成具有帧频从960fps下降为1/8或120fps的第二数据大小的图像数据。
在步骤S1010中，将步骤S1007中所拍摄到的具有第二数据大小的图像数据(帧频为120fps)在P/S转换单元119中经过并行/串行转换处理。可选地，在步骤S1009中具有帧频从960fps改变为120fps的第二数据大小的图像数据在P/S转换单元119中经过并行/串行转换处理。将如此得到的数据传送至摄像信号处理电路507。
由于步骤S1011～步骤S1013中的处理与根据第二实施例的处理相同，因此将省略说明。
在步骤S1014中，步骤S1009中在帧存储器117中所存储的具有第二数据大小的高帧频运动图像的图像数据在P/S转换单元119中经过并行/串行转换处理，并且传送至摄像信号处理电路507。
这里，具有第二数据大小的图像数据的像素数是200万个像素、并且各像素的数据量是12位。然而，由于以960fps拍摄到图像数据，因此在从P/S转换单元119经由八个端口向摄像信号处理电路507发送数据的情况下，需要2.88Gbps。这意味着从摄像装置506到摄像信号处理电路507的1Gbps的输出传送容量不够。
然而，在帧频从960fps下降为1/8或120fps以从摄像装置506向摄像信号处理电路507传送数据的情况下，360Mbps的传送容量可能足够了。这里，由于从摄像装置506到摄像信号处理电路507的输出传送容量等于或低于1Gbps，因此可以在余量充足的状态下传送高帧频运动图像的图像数据。
在步骤S1015中，摄像信号处理电路507响应于来自整体控制计算单元509的指示，来对步骤S1014中所传送的具有第二数据大小的图像数据进行处理。
摄像信号处理电路507中所要进行的处理例如可以包括诸如用于降低噪声的低通滤波处理、缺陷像素校正处理、遮光校正处理和白平衡处理等的图像信号处理、显像处理、图像数据压缩处理和后处理。将经过了这些处理的图像数据记录在记录介质512中。这里所要记录的运动图像是与预定运动图像格式相对应的、播放帧频为960fps的高帧频运动图像。
在步骤S1011中，记录介质512中所记录的运动图像经过后处理，并且被存储作为与预定运动图像格式相对应的、播放帧频为120fps的运动图像。
如上所述，根据本实施例，如图13所示，以水平3像素混合和垂直1/3像素间隔剔除模式并且以120fps驱动摄像装置506。仅响应于针对高速视频记录的指示，以水平3像素混合和垂直1/3像素间隔剔除模式并且以960fps的帧频驱动摄像装置506。
然后，根据通过以水平3像素混合和垂直1/3像素间隔剔除模式并且以120fps进行摄像所获取到的具有第二数据大小的图像数据、以及采用通过从以960fps进行拍摄获取到的图像数据中间隔剔除多个帧所得到的120fps的具有第二数据大小的图像数据，来生成正常的120fps的运动图像。可以根据通过以960fps进行拍摄操作所获取到的具有第二数据大小的图像数据来生成具有960fps的高速运动图像。
利用如上所述的结构，在包括像素数较大的摄像装置的摄像系统中，即使在正进行正常视频记录时拍摄高速运动图像的情况下，也可以获取到具有高帧频的无缝的正常运动图像和高速运动图像。
尽管说明了本发明的实施例，但本发明不限于这些实施例，并且可以在没有背离精神和范围的情况下以各种形式进行修改和改变。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (11)

1.一种摄像装置，包括：
摄像单元，用于接收入射光，并且对所述入射光进行光电转换；
模数转换单元，用于将从所述摄像单元输出的模拟图像信号转换成数字图像数据；
存储单元，用于存储所述模数转换单元要进行转换的至少一帧的数字图像数据；以及
生成单元，用于根据静止图像的数字图像数据来生成运动图像的数字图像数据，
其中，在通过使用所述摄像装置正拍摄运动图像期间拍摄静止图像的情况下，将所述静止图像的数字图像数据存储在所述存储单元中，并且在输出所述静止图像的数字图像数据之前输出所述运动图像的数字图像数据。
2.根据权利要求1所述的摄像装置，其中，所述生成单元根据所述静止图像的数字图像数据来对所述运动图像的数字图像数据调整大小，并且生成所述运动图像的数字图像数据。
3.根据权利要求1所述的摄像装置，其中，在全部输出所述运动图像的数字图像数据之后，输出所述静止图像的数字图像数据。
4.根据权利要求1所述的摄像装置，其中，还包括：
第一半导体基板以及与所述第一半导体基板相互层压的第二半导体基板，
其中，所述第一半导体基板设置有所述摄像单元，并且所述第二半导体基板设置有所述存储单元、所述模数转换单元和所述生成单元。
5.一种摄像装置，包括：
摄像单元，用于接收入射光，并且对所述入射光进行光电转换；
存储单元，用于存储从所述摄像单元输出的图像数据；以及
计算单元，用于对所述图像数据进行计算处理，
其中，在正输出第一大小的图像数据期间输出与所述第一大小不同的第二大小的图像数据的情况下，将所述第一大小的图像数据和所述第二大小的图像数据中的一个图像数据存储在所述存储单元中。
6.根据权利要求5所述的摄像装置，其中，还包括：
第一半导体基板以及与所述第一半导体基板相互层压的第二半导体基板，
其中，在所述第一半导体基板上具有所述摄像单元，并且在所述第二半导体基板上具有所述存储单元和所述计算单元。
7.根据权利要求5所述的摄像装置，其中，所述计算单元将图像数据的所述第一大小和所述第二大小中的至少一个大小改变为另一大小。
8.根据权利要求5所述的摄像装置，其中，所述第一大小或所述第二大小被设置为等于或低于所述摄像装置的输出传送容量。
9.根据权利要求5所述的摄像装置，其中，图像数据的帧频被设置成使得所述第一大小和所述第二大小能够等于或低于所述摄像装置的输出传送容量。
10.一种摄像设备，包括：
摄像装置，其具有：摄像单元，用于接收入射光，并且对所述入射光进行光电转换；模数转换单元，用于将从所述摄像单元输出的模拟图像信号转换成数字图像数据；存储单元，用于存储所述模数转换单元要进行转换的至少一帧的数字图像数据；以及生成单元，用于根据静止图像的数字图像数据来生成运动图像的数字图像数据；
信号处理单元，用于对从所述摄像装置输出的图像数据进行预定的信号处理；
显示单元，用于显示图像；以及
控制单元，用于控制所述摄像装置、所述信号处理单元和所述显示单元，
其中，在通过使用所述摄像装置正拍摄运动图像期间拍摄静止图像的情况下，将所述静止图像的数字图像数据存储在所述存储单元中，并且在输出所述静止图像的数字图像数据之前输出所述运动图像的数字图像数据。
11.一种摄像设备，包括：
摄像装置，其具有：摄像单元，用于接收入射光，并且对所述入射光进行光电转换；存储单元，用于存储从所述摄像单元输出的图像数据；以及计算单元，用于对所述图像数据进行计算处理；
信号处理单元，用于对从所述摄像装置输出的图像数据进行预定的信号处理；
显示单元，用于显示图像；以及
控制单元，用于控制所述摄像装置、所述信号处理单元和所述显示单元，
其中，在正输出第一大小的图像数据期间输出与所述第一大小不同的第二大小的图像数据的情况下，将所述第一大小的图像数据和所述第二大小的图像数据中的一个图像数据存储在所述存储单元中。
CN201610343865.7A 2015-05-29 2016-05-23 摄像装置和摄像设备 Active CN106210463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910520127.9A CN110266908A (zh) 2015-05-29 2016-05-23 图像传感器和摄像装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP2015-109428 2015-05-29
JP2015109428 2015-05-29
JPJP2016-086546 2016-04-22
JP2016086546A JP6239026B2 (ja) 2015-05-29 2016-04-22 撮像素子および撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910520127.9A Division CN110266908A (zh) 2015-05-29 2016-05-23 图像传感器和摄像装置

Publications (2)

Publication Number Publication Date
CN106210463A true CN106210463A (zh) 2016-12-07
CN106210463B CN106210463B (zh) 2019-06-28

Family

ID=56410641

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610343865.7A Active CN106210463B (zh) 2015-05-29 2016-05-23 摄像装置和摄像设备
CN201910520127.9A Pending CN110266908A (zh) 2015-05-29 2016-05-23 图像传感器和摄像装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910520127.9A Pending CN110266908A (zh) 2015-05-29 2016-05-23 图像传感器和摄像装置

Country Status (4)

Country Link
US (2) US9894237B2 (zh)
CN (2) CN106210463B (zh)
DE (1) DE102016109179B4 (zh)
GB (1) GB2540258B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111970440A (zh) * 2020-08-11 2020-11-20 Oppo（重庆）智能科技有限公司 图像获取方法、电子装置和存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6272387B2 (ja) * 2015-05-29 2018-01-31 キヤノン株式会社 撮像素子および撮像装置
JP6748454B2 (ja) * 2016-03-10 2020-09-02 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US10769095B2 (en) * 2016-07-20 2020-09-08 Canon Kabushiki Kaisha Image processing apparatus
JP2019220790A (ja) 2018-06-18 2019-12-26 キヤノン株式会社 撮像装置およびその制御方法
CN112640430B (zh) * 2018-08-31 2024-07-16 富士胶片株式会社 成像元件、摄像装置、图像数据处理方法及存储介质
JP6924908B2 (ja) * 2018-09-27 2021-08-25 富士フイルム株式会社 撮像素子、撮像装置、画像データ出力方法、及びプログラム
JP2020068289A (ja) * 2018-10-24 2020-04-30 キヤノン株式会社 光電変換装置、撮像システム、移動体、および積層用の半導体チップ

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006311347A (ja) * 2005-04-28 2006-11-09 Canon Inc 撮像装置、撮像方法、記憶媒体及びコンピュータプログラム
CN101299801A (zh) * 2007-05-02 2008-11-05 佳能株式会社 摄像设备及其控制方法
CN101540867A (zh) * 2008-03-18 2009-09-23 佳能株式会社 摄像设备
US20090273684A1 (en) * 2008-05-02 2009-11-05 Canon Kabushiki Kaisha Image shooting apparatus and control method and program thereof
US20090295931A1 (en) * 2008-05-29 2009-12-03 Samsung Digital Imaging Co., Ltd. Digital photography apparatus and method for storing consecutive images according to a motion of an object
CN101860682A (zh) * 2009-04-07 2010-10-13 佳能株式会社 摄像设备
CN102006405A (zh) * 2009-08-27 2011-04-06 三洋电机株式会社 摄像装置
US20110102616A1 (en) * 2009-08-28 2011-05-05 Nikon Corporation Data structure for still image file, image file generation device, image reproduction device, and electronic camera
US20130188921A1 (en) * 2010-05-25 2013-07-25 Nikon Corporation Imaging device

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7110025B1 (en) * 1997-05-28 2006-09-19 Eastman Kodak Company Digital camera for capturing a sequence of full and reduced resolution digital images and storing motion and still digital image data
EP1315371B1 (en) 1998-03-16 2006-06-14 SANYO ELECTRIC Co., Ltd. Digital camera capable of image processing
JP3877474B2 (ja) 1999-08-03 2007-02-07 三洋電機株式会社 電子カメラ
JP2001111934A (ja) 1999-10-04 2001-04-20 Olympus Optical Co Ltd 電子カメラ装置
JP4191869B2 (ja) 1999-12-20 2008-12-03 富士フイルム株式会社 ディジタルカメラを用いたコンピュータシステム
JP4680166B2 (ja) * 2006-10-30 2011-05-11 ソニー株式会社 撮像装置および撮像方法
JP5806511B2 (ja) * 2011-05-31 2015-11-10 オリンパス株式会社 撮像装置、撮像方法
JP5853166B2 (ja) * 2011-06-08 2016-02-09 パナソニックＩｐマネジメント株式会社 画像処理装置及び画像処理方法並びにデジタルカメラ
JP5734121B2 (ja) 2011-07-15 2015-06-10 ルネサスエレクトロニクス株式会社 固体撮像装置
JP5791571B2 (ja) 2011-08-02 2015-10-07 キヤノン株式会社 撮像素子及び撮像装置
JP2013106230A (ja) 2011-11-15 2013-05-30 Canon Inc 撮像装置及び撮像装置の制御方法
JP6190184B2 (ja) * 2013-06-28 2017-08-30 キヤノン株式会社 撮像素子、撮像装置、その制御方法、および制御プログラム
TWI496109B (zh) * 2013-07-12 2015-08-11 Vivotek Inc 影像處理器及其影像合成方法
JP2015041792A (ja) 2013-08-20 2015-03-02 株式会社ニコン 画像処理装置および撮像装置
JP6726060B2 (ja) * 2016-08-16 2020-07-22 キヤノン株式会社 画像処理装置およびその制御方法ならびにプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006311347A (ja) * 2005-04-28 2006-11-09 Canon Inc 撮像装置、撮像方法、記憶媒体及びコンピュータプログラム
CN101299801A (zh) * 2007-05-02 2008-11-05 佳能株式会社 摄像设备及其控制方法
CN101540867A (zh) * 2008-03-18 2009-09-23 佳能株式会社 摄像设备
US20090273684A1 (en) * 2008-05-02 2009-11-05 Canon Kabushiki Kaisha Image shooting apparatus and control method and program thereof
US20090295931A1 (en) * 2008-05-29 2009-12-03 Samsung Digital Imaging Co., Ltd. Digital photography apparatus and method for storing consecutive images according to a motion of an object
CN101860682A (zh) * 2009-04-07 2010-10-13 佳能株式会社 摄像设备
CN102006405A (zh) * 2009-08-27 2011-04-06 三洋电机株式会社 摄像装置
US20110102616A1 (en) * 2009-08-28 2011-05-05 Nikon Corporation Data structure for still image file, image file generation device, image reproduction device, and electronic camera
US20130188921A1 (en) * 2010-05-25 2013-07-25 Nikon Corporation Imaging device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111970440A (zh) * 2020-08-11 2020-11-20 Oppo（重庆）智能科技有限公司 图像获取方法、电子装置和存储介质

Also Published As

Publication number Publication date
CN106210463B (zh) 2019-06-28
GB2540258A (en) 2017-01-11
DE102016109179A1 (de) 2016-12-01
US20180103175A1 (en) 2018-04-12
US10003715B2 (en) 2018-06-19
CN110266908A (zh) 2019-09-20
US9894237B2 (en) 2018-02-13
US20160352959A1 (en) 2016-12-01
DE102016109179B4 (de) 2023-08-03
GB2540258B (en) 2019-12-04
GB201609353D0 (en) 2016-07-13

Similar Documents

Publication Publication Date Title
CN106210463B (zh) 摄像装置和摄像设备
JP7232291B2 (ja) 撮像素子及び撮像装置
EP3304888B1 (en) Image pickup device and imaging apparatus
CN108028898A (zh) 图像传感器和摄像设备
KR101986128B1 (ko) 촬상 소자 및 촬상장치
JP6802642B2 (ja) 撮像装置およびその制御方法、プログラム、並びに記憶媒体
JP6513164B2 (ja) 撮像素子および撮像装置
US20240089402A1 (en) Electronic apparatus, reproduction device, reproduction method, recording medium, and recording method
JP2015162735A (ja) 撮像装置
JP6955543B2 (ja) 撮像素子及び撮像装置
US10686987B2 (en) Electronic apparatus with image capturing unit having first and second imaging regions that capture an image of a subject under differing imaging conditions
JP2021013117A (ja) 集積回路チップ及び撮像装置
US20170318256A1 (en) Electronic apparatus, reproduction device, reproduction method, recording medium, and recording method
US11089217B2 (en) Image-pickup apparatus and control method thereof
US20170324911A1 (en) Electronic apparatus, reproduction device, reproduction method, recording medium, and recording method
JP2018207536A (ja) 撮像装置
JP7566065B2 (ja) 撮像素子及び撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant