CN105580345A - 成像器件、成像装置和电子装置 - Google Patents

成像器件、成像装置和电子装置 Download PDF

Info

Publication number
CN105580345A
CN105580345A CN201480052353.4A CN201480052353A CN105580345A CN 105580345 A CN105580345 A CN 105580345A CN 201480052353 A CN201480052353 A CN 201480052353A CN 105580345 A CN105580345 A CN 105580345A
Authority
CN
China
Prior art keywords
view data
frame memory
unit
image device
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480052353.4A
Other languages
English (en)
Other versions
CN105580345B (zh
Inventor
中岛务
桥爪淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105580345A publication Critical patent/CN105580345A/zh
Application granted granted Critical
Publication of CN105580345B publication Critical patent/CN105580345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/915—Television signal processing therefor for field- or frame-skip recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明提供了包括像素生成单元和帧存储器的成像器件，所述像素生成单元生成由与入射光相一致的多个像素信号形成的图像信号，且所述帧存储器存储多个帧的所述图像信号。

Description

成像器件、成像装置和电子装置
技术领域
本发明涉及成像器件、成像装置和电子装置，并具体地涉及能够以相对低的功率消耗获得以超高速拍摄的运动图像(超慢运动图像)的成像器件、成像装置和电子装置。
<相关申请的交叉引用>
本申请要求于2013年12月20日提交的日本在先专利申请JP2013-263378和于2014年9月18日提交的日本在先专利申请JP2014-190163的权益，将这些日本在先专利申请的全部内容以引用的方式并入本文。
背景技术
通常，由成像器件拍摄的运动图像的帧速率大约为30fps，且在试图实现比上述此帧速率快的高速帧速率的情况下，实际使用中的成像器件的上限在很多情况下受I/F的带宽和功率消耗限制。例如，在以1000fps的帧速率输出每像素数据量为10比特且分辨率为1920×1080的全高清运动图像的情况下，传递图像数据的I/F须具有等于或大于20Gbps的带宽。
另一方面，诸如移动电话等移动设备的I/F的带宽即使具有高的速度，也仅约为4至6Gbps。因此，在安装在移动设备或消费类相机上的小型成像器件中，上述情形非常突出。
此外，在未来，期望传播具有4K(其4倍于全高清)或8K(其8倍于全高清)的分辨率的运动图像，且对高速帧速率的需求增加。因此，可以预期的是，仅通过使I/F的带宽变宽可能难以克服上述限制。
此外，在分辨率或帧速率增加的情况下，成像器件或设置在下一阶段中的图像信号处理电路的功率消耗增加，这导致发热增大，而这种发热的增大是移动设备或消费类相机必须避免的问题。
在相关技术中，针对此问题，提出了如下方法：通过对像素进行稀疏(thinningout)或裁去图像的部分区域实现高帧速率，且通过降低处理后的像素的数量可以抑制功率消耗和发热的增加(例如，参考专利文献1)。
引用文献列表
专利文献
专利文献1
日本未审查专利申请公开号9-247543
发明内容
技术问题
在上述相关技术中的方法中，可以实现高的帧速率，但是运动图像的分辨率显著恶化。
期望通过抑制功率消耗和热量产生来获得分辨率更小地恶化的超高速拍摄的运动图像。
问题的解决方案
根据本发明的第一实施例，提供了一种成像器件，其包括：像素生成单元，其生成由与入射光相一致的多个像素信号形成的图像信号；以及帧存储器，其存储多个帧的所述图像信号。
根据本发明的第一实施例的成像器件还可包括：写入单元，其将生成的所述图像数据写入所述帧存储器中；以及读取单元，其读取被写入所述帧存储器中的所述图像数据。
所述写入单元可将生成的所述图像数据重写到所述帧存储器的第一区域中；且所述读取单元可以以帧为单元稀疏并读取被重写到所述帧存储器的所述第一区域中的所述图像数据。
所述写入单元可以将以第一帧速率生成的所述图像数据重写到所述帧存储器的第一区域中，且所述读取单元可以稀疏并以低于所述第一帧速率的第二帧速率读取以所述第一帧速率被重写到所述帧存储器的所述第一区域中的所述图像数据。
根据本发明的第一实施例的成像器件还可包括：编码单元，其对被写入所述帧存储器中的所述图像数据进行编码；以及解码单元，其对从所述帧存储器读取的经编码的所述图像数据进行解码。
根据本发明的第一实施例的成像器件可还包括：控制单元，其根据触发条件控制所述写入单元并停止将生成的所述图像数据重写到所述帧存储器的所述第一区域中。
所述控制单元可根据所述触发条件立即或在延迟预定帧数之后控制所述写入单元并停止将生成的所述图像数据重写到所述帧存储器的所述第一区域中。
通过作为所述触发条件的来自外部的指令，所述控制单元可控制所述写入单元并停止将生成的所述图像数据重写到所述帧存储器的所述第一区域中。
根据本发明的第一实施例的成像器件可还包括：检测单元，其检测被重写到所述帧存储器的所述第一区域中的所述图像数据中的高速转变场景。通过作为所述触发条件的对所述高速转变场景的所述检测，所述控制单元可控制所述写入单元并停止将生成的所述图像数据重写到所述帧存储器的所述第一区域中。
由于停止在所述帧存储器的所述第一区域中的所述重写，所述读取单元可读取所述帧存储器的所述第一区域中保持的图像数据。
在停止在所述第一区域中重写所述帧存储器的所述图像数据之后，所述写入单元可将生成的所述图像数据写入不同于所述第一区域的第二区域中，且所述读取单元可读取被写入所述帧存储器的所述第二区域中的所述图像数据，并可由于所述重写的停止还读取所述帧存储器的所述第一区域中保持的所述图像数据。
在停止在所述第一区域中以所述第一帧速率重写所述帧存储器的所述图像数据之后，所述写入单元可将以低于所述第一帧速率的所述第二帧速率生成的图像数据写入所述帧存储器的不同于所述第一区域的所述第二区域中，且所述读取单元可以以所述第二帧速率读取被写入所述帧存储器的所述第二区域中的所述图像数据，并可由于所述重写的停止还读取所述帧存储器的所述第一区域中保持的所述图像数据。
所述像素生成单元可执行以下操作中的至少一者：改变生成的所述图像数据的视角，以及添加所述像素信号。
根据本发明的第一实施例的成像器件可布置在一个或多个基板上，并可形成在单个芯片中。
根据本发明的第二实施例，提供了一种安装有成像器件的成像装置。所述成像器件包括：像素生成单元，其生成由与入射光相一致的多个像素信号形成的图像信号；以及帧存储器，其存储多个帧的所述图像信号。
根据本发明的第三实施例，提供了一种安装有成像器件的电子装置。所述成像器件包括：像素生成单元，其生成由与入射光相一致的多个像素信号形成的图像信号；以及帧存储器，其存储多个帧的所述图像信号。
在本发明的第一至第三实施例中，生成由与入射光相一致的多个像素信号形成的所述图像信号，并将其写入存储多个帧的所述图像信号的所述帧存储器中。
根据本发明的第四实施例，提供了一种包括成像器件和ISP处理单元的成像装置。所述成像器件包括以第一帧速率生成由与入射光相一致的多个像素信号形成的图像信号的像素生成单元、对所述图像信号进行编码的编码器以及以第一帧速率将经编码的所述图像信号输出至所述ISP处理单元的输出单元。所述ISP处理单元包括存储多个帧的经编码的所述图像信号的帧存储器、以所述第一帧速率将从所述成像器件输入的经编码的所述图像信号写入所述帧存储器中的写入单元以及以低于所述第一帧速率的第二帧速率读取被写入所述帧存储器中的经编码的所述图像信号的ISP单元，并执行解码和ISP处理。
所述ISP处理单元还可包括控制单元，所述控制单元根据触发条件控制所述写入单元并停止将经编码的所述图像数据重写到所述帧存储器中。
所述成像器件还可包括用于检测生成的所述图像数据中的高速转变场景的检测单元，且所述控制单元可将对所述高速转变场景的检测用作所述触发条件。
ISP处理单元可还包括：解码器，其对从所述成像器件输入的经编码的所述图像信号进行解码；以及检测单元，其检测经编码的所述图像数据中的高速转变场景。所述控制单元可将对所述高速转变场景的检测用作所述触发条件。
在根据本发明的第四实施例的成像器件中，以所述第一帧速率将生成和编码的所述图像数据输出至ISP处理单元。在ISP处理单元中，以所述第一帧速率将经编码的所述图像信号写入所述帧存储器中，且以低于所述第一帧速率的所述第二帧速率读取被写入所述帧存储器中的经编码的所述图像信号，且对经编码的所述图像信号执行所述解码和所述ISP处理。
根据本发明的第五实施例，提供了一种包括成像器件和ISP处理单元的成像装置。所述成像器件包括以第一帧速率生成由与入射光相一致的多个像素信号形成的图像信号的像素生成单元、对所述图像信号进行编码的编码器以及以所述第一帧速率将编码的图像信号输出至所述ISP处理单元的输出单元。所述ISP处理单元包括存储多个帧的经编码的所述图像信号的帧存储器以及以低于所述第一帧速率的第二帧速率读取被写入所述帧存储器中的经编码的所述图像信号的ISP单元，并执行解码和ISP处理。
在根据本发明的第五实施例的成像器件中，以所述第一帧速率将所生成和编码的图像数据写入所述ISP处理单元的所述帧存储器中。在所述ISP处理单元中，以低于所述第一帧速率的所述第二帧速率读取被写入所述帧存储器中的经编码的所述图像信号，且对经编码的所述图像信号执行所述解码和所述ISP处理。
本发明的有利效果
根据本发明的第一至第五实施例，可以通过抑制功率消耗和热生成来获得分辨率更小地恶化的超高速拍摄的运动图像。
附图说明
图1是图示本发明的成像器件的构造示例的框图。
图2是图示从像素生成单元输出并写入帧存储器中的图像的总览的示图。
图3是图示本发明的成像器件的修改构造示例的框图。
图4是图示在单个芯片中形成成像器件的情况下的构造示例的示图。
图5是说明图像输出处理的流程图。
图6是用于说明图像输出处理的示图。
图7是用于说明图像输出处理的示图。
图8是用于说明图像输出处理的示图。
图9是用于说明图像输出处理的示图。
图10是用于说明输出被保护在帧存储器中的图像数据的方法的示图。
图11是用于说明输出被保护在帧存储器中的图像数据的方法的示图。
图12是用于说明图像输出处理的应用示例的示图。
图13是用于说明以交错驱动的方式驱动帧存储器的情况的示图。
图14是图示本发明的成像器件的另一构造示例的框图。
图15是图示本发明的成像器件的又一构造示例的框图。
图16是图示本发明的成像器件的又一构造示例的框图。
图17是图示本发明的成像器件的又一构造示例的框图。
具体实施方式
在下文中，将参考附图对用于实施本发明的最佳实施方式(在下文中，被称为实施例)进行详细说明。
<作为本发明的第一实施例的成像器件的构造示例>
图1图示根据本发明的第一实施例的成像器件的构造示例。
成像器件10根据来自HOSTISP(主机图像信号处理系统)30的请求拍摄运动图像，并以帧为单元输出图像数据。
成像器件10包括输入I/F11、像素输出控制单元12、V解码器13、存储器控制单元14、像素生成单元16、AD转换单元(ADC)17、第一信号处理单元18、帧存储器20、第二信号处理单元21和输出I/F22。
输入I/F11连接到HOSTISP30，并将来自HOSTISP30的各种控制信号输出至像素输出控制单元12或输出至存储器控制单元14。像素输出控制单元12基于从HOSTISP30经由输入I/F11输入的控制信号来控制V解码器13，以使其驱动像素生成单元16。此外，像素输出控制单元12还控制AD转换单元17。基于像素输出控制单元12的控制，V解码器13驱动像素生成单元16。
基于经由输入I/F11从HOSTISP30输入的控制信号，存储器控制单元14控制第一信号处理单元18在帧存储器20中写入图像数据以及控制第二信号处理单元21从帧存储器20读取图像数据。此外，在存储器控制单元14中包含有帧计数器15，且帧计数器15对写入帧存储器20中的图像数据的帧数进行计数。此外，来自HOSTISP30的控制或来自第一信号处理单元18的(下述)高速转变场景的检测通知触发存储器控制单元14，以停止将图像数据写入帧存储器20中。
像素生成单元16包括与多个像素相对应的用于针对每个像素生成与入射光相一致的电荷的光电转换元件，并将基于生成的电荷的多个像素信号作为图像数据D1输出至AD转换单元17。
图2A至2C图示从像素生成单元16输出并写入帧存储器中的图像的概述。
如图2A所图示，假定像素生成单元16例如具有如下规格：生成每像素的数据量为10比特、视角为4:3且像素数为1200万像素的图像数据，并以200fps的帧速率输出图像数据。此外，假定像素生成单元16具有针对每(2×2)4个像素添加生成的图像数据的功能以及通过去除图像的顶部和底部将视角从4:3转换成16:9的功能。如图2B所示，通过使用这些功能，像素生成单元16可以将视角为4:3、像素数为1200万像素且帧速率为200fps的图像数据转换成视角为16:9且像素数为200万像素(其对应于1920×1080的全高清)的图像数据D1，并能够以960fps的帧速率传输图像数据D1。此时，图像数据D1的传输速率是20Gbps(200万×960×10比特)。
AD转换单元17将从像素生成单元16传输的图像数据D1(10比特/像素，视角为16:9，像素数为200万像素，以及960fps)数字地转换成经编码的11比特/像素的图像数据D2(11比特/像素，视角为16:9，像素数为200万像素，以及960fps)，并将该图像数据D2传输至第一信号处理单元18。此时，图像数据D2的传输速率是22Gbps。
第一信号处理单元18对图像数据D2执行诸如黑电平补偿处理或数字转换处理等信号处理(在下文中，被称为第一信号处理)，该信号处理轻于第二信号处理单元21在下一阶段中执行的的信号处理。此外，基于存储器控制单元14的控制，第一信号处理单元18以960fps的帧速率将由第一信号处理获得的图像数据D3(10比特/像素，视角为16:9，且像素数为200万像素)写入帧存储器20中。此时，图像数据D3的传输速率是20Gbps。
此外，在第一信号处理单元18中包含场景检测单元19，且在通过场景检测单元19检测到图像中的对象进行高速转变(在下文中，被称为高速转变场景)的场景的情况下，第一信号处理单元18向存储器控制单元14通知检测结果。
帧存储器20例如由诸如DRAM或Spin-RAM等能够允许以高的密度进行高速存取的存储器形成，并具有能够保持如从第一信号处理单元18输入的图像数据D3那样多的至少多个帧的容量。
然而，由于帧存储器20安装在成像器件10上，所以帧存储器的尺寸存在限制，且它的容量也受到限制。在下文中，假定帧存储器20的容量是512Mbit。在此情况下，如图2C所示，帧存储器20的容量能够保持25帧的图像数据D3。在下文中，这25帧的每个容量被称为区域1至区域25。在第一信号处理单元18写入图像数据D3的情况下，图像数据D3被依次写入区域1至区域24中，且在区域24之后，写入操作返回到区域1以将图像数据D3重写到区域1中。因此，通常没有使用帧存储器20的区域25(使用区域25的情况将在下面进行说明)。
基于存储器控制单元14的控制，第二信号处理单元21针对通过第一信号处理单元18写入帧存储器20中的每35帧的图像数据D3仅读取一帧的图像数据D3，且接着将这一帧读取为图像数据D4。此时，图像数据D4的帧速率是30fps且传输速率是600Mbps。第二信号处理单元21对所读取的图像数据D4执行缺陷校正处理、去噪处理和缩放处理等，并将由这些信号处理任务(在下文中，被称为第二信号处理)获得的图像数据D5传输至输出I/F22。此时，图像数据D5的传输速率是600Mbps。
假定第一信号处理单元18与帧存储器20以及帧存储器20与第二信号处理单元21不是通过诸如DDR或基板等I/F而是通过诸如硅通孔(TSV)或宽输入/输出接口(WideIO)等通孔彼此物理地连接。以此方式，在第一信号处理单元18与帧存储器20之间以及帧存储器20与第二信号处理单元21之间的数据通信中，与普通高速I/F相比，可以通过增大并行度(degreeofparallelism)来使带宽变宽，且因此可以使通信以低的功率消耗进行操作。
输出I/F22由MIPI或SubLVDS形成，并将来自第二信号处理单元21的图像数据D5作为图像数据D6输出至HOSTISP30。
<成像器件10的另一构造示例>
接下来，图3图示成像器件10的修改构造示例。在修改示例中，将用于对写入帧存储器20中的图像数据D3进行编码的编码器41添加至第一信号处理单元18，且将用于对从帧存储器20读取的经编码的图像数据D4(图像数据D3)进行解码的解码器42添加至第二信号处理单元21。
通过添加编码器41和解码器42，可以减小写入帧存储器20中的图像数据D3(图像数据D4)的数据量，且因此可以在不增加帧存储器20的容量的情况下增大能够保持在帧存储器20中的图像数据D3的帧数。下面将参考图13来说明使能够保持在帧存储器20中的图像数据D3的帧数增大的情况。
图4A至4D图示通过使用上述构造元件在单个芯片中形成成像器件10的情况的构造示例。
图4A图示通过将成像器件10的构造元件集成在单个基板上来形成单个芯片的构造示例。图4B图示通过将成像器件10的构造元件布置在层叠的两个基板上来形成单个芯片的构造示例。图4C图示通过将成像器件10的构造元件布置在层叠的两个以上的基板上来形成单个芯片的构造示例。图4D图示通过将成像器件10的构造元件布置在两个基板上并通过TSV宽输入输出接口(TSVwideIO)使这两个基板彼此连接来形成单个芯片的构造示例。
<操作说明>
接下来，将参考图5至图12对成像器件10的操作进行说明。
图5是说明成像器件10的图像输出处理的流程图。图6至图9是用于说明图像输出处理的示图。
这里，如图6所示，图像输出处理表示以960fps的帧速率将图像数据D3重写到帧存储器20的区域1至区域24中并以每35帧仅稀疏出一帧的方式读取帧的操作，并表示在外部指令指示停止写入或检测到高速转变场景的情况下停止将图像数据重写到帧存储器20中以保护存储在区域1至区域24中的960fps的图像数据D3的操作。
例如，根据来自外部的HOSTISP30的控制开始图像输出处理。在步骤S1中，像素生成单元16以960fps的帧速率将与入射光相一致的图像数据D1(10比特/像素，视角为16:9，且像素数为200万像素)输出至AD转换单元17。在步骤S2中，AD转换单元17将从像素生成单元16传输的图像数据D1数字地转换成经编码的图像数据D2(11比特/像素，视角为16:9，且像素数为200万像素)，并以960fps的帧速率将图像数据D2传输至第一信号处理单元18。
在步骤S3中，第一信号处理单元18对图像数据D2执行第一信号处理，且同时，场景检测单元19检测高速转变场景。此外，基于存储器控制单元14的控制，第一信号处理单元18以960fps的帧速率将由第一信号处理获得的图像数据D3(10比特/像素，视角为16:9，且像素数为200万像素)传输至帧存储器20，以使其被顺序地重写到区域1至区域24中。
在步骤S4中，基于存储器控制单元14的控制，第二信号处理单元21针对被重写到帧存储器20的区域1至区域24中的图像数据D3的每35帧仅读取图像数据D4的一帧。即，图像数据D4是将图像数据D3的帧稀疏至它的1/35且此时的帧速率为30fps的图像数据。此外，第二信号处理单元21对读取的图像数据D4执行第二信号处理并将由第二信号处理获得的图像数据D5输出至输出I/F22。输出I/F22将从第二信号处理单元21传输的图像数据D5作为图像数据D6传输至HOSTISP30。
以此方式，在帧存储器20中的后一阶段中，以30fps的帧速率执行操作。因此，与960fps的帧速率下的操作的情况相比，可以将功率消耗降低至它的1/35。
在步骤S5中，存储器控制单元14确定是否存在来自HOSTISP30的停止写入的指令或存在来自第一信号处理单元18的告知检测到高速转变场景的通知，且除非存在上述指令或通知中的任一者，该过程返回至步骤S1且此后重复这些处理任务。以此方式，继续以960fps的帧速率将图像数据D3重写到帧存储器20的区域1至区域24中，并以30fps的帧速率从帧存储器20的区域1至区域24读取图像数据D4。
在步骤S5中，在确定存在停止写入的指令或检测到高速转变场景的通知中的任一者的情况下，过程行进至步骤S6。在步骤S6中，存储器控制单元14立即或在延迟预定帧数(例如，帧存储器20的重写有图像数据D3的区域的一半数量，在本发明的情况下为12)之后停止将图像数据D3重写到帧存储器20的区域1至区域24中。以此方式，将24帧(0.025秒的成像时间)的960fps的图像数据D3保持在帧存储器20的区域1至区域24中。
可以根据成像对象提前设定立即或在延迟预定帧数之后停止重写，以保持960fps的图像数据D3中的保留部分。
例如，在成像对象是诸如喷泉等持续事件的情况下，可以将重写设定为立即停止。以此方式，如图7所示，在该时间之前重写的24帧的图像数据D3受到保护。
此外，例如，在成像对象是诸如高尔夫挥杆动作等瞬间的场景或水球破裂的场景的情况下，可将重写设定为在从检测到高速转变场景开始延迟预定帧数之后停止，使得该瞬间之前和之后的图像数据D3可以受到保护。以此方式，如图8所示，在该时间之前写入的12帧的图像数据D3以及在检测到高速转变场景之后写入的12帧的图像数据D3受到保护。停止重写之前的延迟量不限于帧存储器20的重写有图像数据D3的区域的一半数量，并可设定为等于或小于帧存储器20的重写有图像数据D3的区域的数量的任意值。
以此方式，在停止将图像数据D3重写到帧存储器20的区域1至区域24中之后，过程行进至步骤S7。
在步骤S7中，像素生成单元16以30fps的帧速率将与入射光相一致的图像数据D1(10比特/像素，视角为16:9，且像素数为200万像素)传输至AD转换单元17。在步骤S8中，AD转换单元17将从像素生成单元16传输的图像数据D1数字地转换成经编码的图像数据D2(11比特/像素，视角为16:9，且像素数为200万像素)并以30fps的帧速率将图像数据D2传输至第一信号处理单元18。
在步骤S9中，基于存储器控制单元14的控制，第一信号处理单元18对图像数据D2执行第一信号处理，以30fps的帧速率在帧存储器20上传输由该处理获得的图像数据D3(10比特/像素，视角为16:9，且像素数为200万像素)并将图像数据D3重写到帧存储器20的区域25中。
在步骤S10中，基于存储器控制单元14的控制，第二信号处理单元21以30fps的帧速率读取被写入帧存储器20中的区域25中的图像数据D3的一帧，对读取的图像数据D4执行第二信号处理，并将由该处理获得的图像数据D5传输至输出I/F22。输出I/F22将从第二信号处理单元21传输的图像数据D5作为图像数据D6输出至HOSTISP30。此时的传输速率约为600Mbps，且通常，I/F22具有约4Gbps的传输速率。因此，带宽足够用于传输。
即，如图9所示，在步骤7至10中，帧存储器20的第一阶段和后一阶段中的每者均以30fps的帧速率进行操作。因此，与960fps的帧速率下的操作的情况相比，可以将功率消耗降低至1/35。如上，图像输出处理完成。
<读取超慢运动图像>
接下来，将对被保护在帧存储器20的区域1至区域24中的960fps的24帧的图像数据D3进行说明。
图10图示在帧存储器20的第一阶段停止的状态下仅读取被保护在帧存储器20的区域1至区域24中的960fps的24帧的图像数据D3的情况的示例。
在此情况下，可以以等于或小于使帧存储器20的后一阶段能够操作的帧速率的任意帧速率来读取24帧的图像数据D3。在图10的示例中，图示了以240fps的帧速率读取图像数据D3的示例。
图11图示在上述图像输出处理的步骤S10之后读取被保护在帧存储器20的区域1至区域24中的960fps的24帧的图像数据D3的情况的示例。
在此情况下，可以在以30fps的帧速率从帧存储器20的区域25读取图像数据D4的同时读取24帧的图像数据D3。图11图示以240fps的帧速率读取包括区域25中的数据的图像数据的示例。
如果例如以30fps的帧速率重放被保护在帧存储器20的区域1至区域24中的960fps的24帧的图像数据D3，则可以将这些图像数据显示为捕捉到决定性瞬间的0.025秒的成像时间的超慢运动图像。
<本实施例中所述的成像器件的应用>
根据本实施例的成像器件可例如应用于诸如穿戴式相机或具有成像功能的电子装置等便携式小型成像装置。
当穿戴式相机进入正常的视频录制待机模式(相对于帧存储器20的区域1至区域24重写图像数据D3)时，即使在用户想要开始成像之后触发录制的情况下，也可以以如下方式使用穿戴式相机：可以记录触发之前的几秒钟的图像数据。
具体地，例如，如图12所示，通过使帧存储器20的第一阶段以30fps的帧速率进行操作并通过显著地增加从帧存储器20读取数据的稀疏率，帧存储器20的后一阶段以极低的帧速率进行操作。此时的稀疏率的水平可以足够允许基于输出的图像数据D6的AE、AF和AWB的反馈。具体地，它可大约是在几秒钟内输出一帧的0.9375fps。
以此方式，在帧存储器20的后一阶段以极低的帧速率进行操作的情况下，与正常的30fps的帧速率下的操作的情况相比，可以显著地降低功率消耗。
<帧存储器20的交错驱动>
如上面参考图3所述，在将编码器41添加至成像器件10的第一信号处理单元18且将解码器42添加至第二信号处理单元21的情况下，可以减小写入帧存储器20中的图像数据D3(图像数据D4)的数据量，且因此，可以在不增大帧存储器20的容量的情况下增加能够保持在帧存储器20中的图像数据D3的帧数。
例如，在图像数据D3被压缩编码使得图像数据D3的数据量在编码器41中变为一半的情况下，可以使能够保持在帧存储器20中的帧数翻倍。即，与图2A至2C中的情况相比，可以保持多达50帧(两倍之多)。
在能够将50帧的图像数据D3保持在帧存储器20中的情况下，如果执行上述图像输出处理，则可以将49帧的960fps的图像数据D3保持在帧存储器20中。
或者，在能够将50帧的图像数据D3保持在帧存储器20中的情况下，可以将帧存储器20分割成两个存储库，且可以以交错驱动的方式驱动这两个存储库。
图13图示将帧存储器20分割成具有区域1至区域25的第一存储库20A和具有区域26至区域50的第二存储库20B的情况。
在上面操作的说明中，在读取所有保持在帧存储器20中的960fps的图像数据D3之前，难以开始新的图像输出处理。然而，通过以交错驱动的方式驱动帧存储器20的第一存储库20A和第二存储库20B，不需要等待读取所有保持在帧存储器20中的960fps的图像数据D3就可以开始新的图像输出处理。换句话说，可以在没有中断的情况下连续地拍摄超慢运动图像。
即使在写入帧存储器20中的图像数据D3未被压缩编码的情况下，如果增大帧存储器20的容量并以交错驱动的方式驱动帧存储器20，也可以获得上述效果。
<本发明的第二实施例中的成像器件的构造示例>
图14图示根据本发明的第二实施例的成像器件的构造示例。此成像器件安装在诸如数码相机等包括成像功能的电子装置上，并由成像器件50和HOSTISP60形成。
图14所示的第二实施例与图1或图3所示的第一实施例的不同之处在于，帧存储器和第二信号处理单元不是设置在成像器件上而是设置在HOSTISP上。图14所示的第二实施例中的与图1或图3中所示的第一实施例中的构造元件相同的构造元件使用相同的附图标记表示，且将不对这些构造元件进行重复说明。
成像器件50根据来自HOSTISP60的请求以高的帧速率拍摄运动图像并对运动图像的图像数据进行压缩编码，然后以帧为单位将经编码的数据输出至HOSTISP60。HOSTISP60对从成像器件50输入的运动图像的图像数据执行ISP处理，并执行预定图像处理，并接着将由此获得的图像数据输出至下一阶段。
成像器件50包括输入I/F11、像素输出控制单元12、V解码器13、像素生成单元16、AD转换单元(ADC)17、第一信号处理单元18和输出I/F22。第一信号处理单元18包含场景检测单元19和编码器41。
在成像器件50中，以960fps的帧速率将图像数据D1从像素生成单元16输出至AD转换单元17，并在AD转换单元17中将图像数据D1转换成作为数字信号的图像数据D2，并接着将图像数据D2传输至第一信号处理单元18。在第一信号处理单元18的第一信号处理之后，通过编码器41对传输的图像数据D2执行压缩编码，且将由此获得的数据量减小的图像数据D3传输至输出I/F22。将传输的960fps的图像数据D3作为图像数据D11从输出I/F22输出至HOSTISP60。经由输入I/F11将由第一信号处理单元18的场景检测单元19执行的高速转变场景检测的结果通知给HOSTISP60的控制单元68。
HOSTISP60包括输入I/F61、存储器I/F62、帧存储器63、ISP单元64、GPU67和控制单元68。ISP单元64包括解码器65和第二信号处理单元66。
输入I/F61经由存储器I/F62将从成像器件50输入的经压缩编码的图像数据D11传输至帧存储器63。帧存储器63例如由诸如DRAM或spin-RAM等高度集成和高速存取存储器形成，并其容量能够至少保持多个帧(例如，如同第一实施例的情况下的由区域1至区域25形成的25个帧)的经压缩编码的图像数据D11。
基于控制单元68的控制，ISP单元64经由存储器I/F62从帧存储器63读取经压缩编码的图像数据D11，在解码之后执行第二信号处理和ISP处理，并经由存储器I/F62将由此获得的图像数据D12输出至GPU67。基于控制单元68的控制，GPU67对来自ISP单元64的图像数据D12执行预定图像处理。
在HOSTISP60中，经由存储器I/F62将从成像器件50输入的经压缩编码的960fps的图像数据D11从输入I/F61传输至帧存储器63，并接着将此经压缩编码的图像数据D11顺序地重写到区域1至区域24中。然后，通过由ISP单元64以每35帧仅稀疏出一帧的方式读出重写到帧存储器63中的图像数据D11直到存在停止写入的指令或检测到高速转变场景的通知为止，对读出的图像数据D11执行解码处理、第二信号处理和ISP处理，且通过GPU67执行预定图像处理。
在存在停止写入的指令或检测到高速转变场景的通知情况下，停止将图像数据D11重写到帧存储器63中。因此，与第一实施例中的情况类似，可以将960fps的图像数据D11保持在帧存储器63中。保持在帧存储器63中的960fps的图像数据D11的读出时序可以与第一实施例中的读出时序相同。或者如参考图13所述，通过将帧存储器63分割成多个存储库并通过以交错驱动的方式驱动帧存储器，可以在没有中断的情况下连续地执行超慢运动图像的成像。
根据图14所示的第二实施例，与不执行压缩编码的情况相比，可以减小以960fps的帧速率从成像器件50输出至HOSTISP60的图像数据D11的数据量。因此，与不执行压缩编码的情况相比，可以减小成像器件50与HOSTISP60之间的带宽。
此外，可以将处理负载相对大且功率消耗相对高的第二信号处理单元66移至成像器件50的外部。
<本发明的第三实施例中的成像器件的构造示例>
接下来，图15图示根据本发明的第三实施例的成像器件的构造示例。此成像器件安装在诸如数码相机等包括成像功能的电子装置上，并由成像器件70和HOSTISP80形成。
图15所示的第三实施例与图14中所示的第二实施例的不同之处在于，场景检测单元不是设置在成像器件上而是设置在HOSTISP上。图15所示的第三实施例中的与图14中所示的第二实施例中的构造元件共有的构造元件使用相同的附图标记表示，且将不对这些构造元件进行重复说明。
成像器件70根据来自HOSTISP80的请求以高的帧速率拍摄运动图像并对运动图像的图像数据进行压缩编码，并接着以帧为单元将经编码的数据输出至HOSTISP80。HOSTISP80对从成像器件70输入的运动图像的图像数据执行ISP处理，并执行预定图像处理，并接着将由此获得的图像数据输出至下一阶段。
成像器件70包括输入I/F11、像素输出控制单元12、V解码器13、像素生成单元16、AD转换单元(ADC)17、第一信号处理单元18和输出I/F22。第一信号处理单元18包含编码器41。
在成像器件70中，以960fps的帧速率将图像数据D1从像素生成单元16输出至AD转换单元17，并在AD转换单元17中将图像数据D1转换成作为数字信号的图像数据D2，并接着将图像数据D2传输至第一信号处理单元18。在第一信号处理单元18的第一信号处理之后，通过编码器41对传输的图像数据D2执行压缩编码，且将由此获得的数据量减小的图像数据D3传输至输出I/F22。将传输的960fps的图像数据D3作为图像数据D11从输出I/F22输出至HOSTISP80。
HOSTISP80包括输入I/F81、存储器I/F62、帧存储器63、ISP单元64、GPU67、控制单元68、解码器82和场景检测单元83。ISP单元64包括解码器65和第二信号处理单元66。
输入I/F81经由存储器I/F62将从成像器件70输入的经压缩编码的图像数据D11传输至帧存储器63。此外，输入I/F81将从成像器件70输入的经压缩编码的图像数据D11传输至解码器82。
解码器82对经压缩编码的图像数据D11进行解码并将经压缩编码的图像数据D11提供至场景检测单元83。在从经解码的图像数据检测到高速转变场景的情况下，场景检测单元83将此事实通知给控制单元68。
在HOSTISP80中，经由存储器I/F62将从成像器件70输入的经压缩编码的960fps的图像数据D11从输入I/F81传输至帧存储器63。并接着将此经压缩编码的图像数据D11顺序地重写到区域1至区域24中。此外，将图像数据D11从输入I/F81传输至解码器82，且在解码之后通过场景检测单元83执行高速转变场景的检测。
然后，通过由ISP单元64以每35帧仅稀疏出一帧的方式来读出重写在帧存储器63中的图像数据D11直到存在停止写入的指令或检测到高速转变场景的通知为止，对读出的图像数据D11执行解码处理、第二信号处理和ISP处理，且通过GPU67执行预定图像处理。
在存在停止写入的指令或检测到高速转变场景的通知的情况下，停止将图像数据D11重写在帧存储器63中。因此，与第二实施例中的情况类似，可以将960fps的图像数据D11保持在帧存储器63中。保持在帧存储器63中的960fps的图像数据D11的读出时序可以与第二实施例中的读出时序相同。或者如参考图13所述，通过将帧存储器63分割成多个存储库并通过以交错驱动的方式驱动帧存储器，可以在没有中断的情况下连续地执行超慢运动图像的成像。
根据图15所示的第三实施例，与不执行压缩编码的情况相比，可以减小以960fps的帧速率从成像器件70输出至HOSTISP80的图像数据D11的数据量。因此，与不执行压缩编码的情况相比，可以减小成像器件70与HOSTISP80之间的带宽。
此外，可以将处理负载相对大且功率消耗相对高的第二信号处理单元66移至成像器件70的外部。
<本发明的第四实施例中的成像器件的构造示例>
接下来，图16图示根据本发明的第四实施例的成像器件的构造示例。此成像器件安装在诸如数码相机等包括成像功能的电子装置上，并由成像器件70和HOSTISP90形成。
在图16所示的第四实施例中，与图15所示的第三实施例相比，成像器件70是相同的，且HOSTISP80被HOSTISP90取代。图16所示的第四实施例中的与图15中所示的第三实施例中的构造元件共有的构造元件使用相同的附图标记表示，且将不对这些构造元件进行重复说明。
HOSTISP90包括输入I/F91、存储器I/F62、帧存储器63、ISP单元64、GPU67、控制单元68、解码器92和场景检测单元83。ISP单元64包括解码器65和第二信号处理单元66。
输入I/F91将从成像器件70输入的经压缩编码的图像数据D11传输至解码器92。解码器92对经压缩编码的图像数据D11进行解码并经由存储器I/F62将由此获得的图像数据21传输至帧存储器63，并将此结果提供至场景检测单元83。
在从解码完成的图像数据D21检测到高速转变场景的情况下，场景检测单元83将此事实通知给控制单元68。
在HOSTISP90中，将通过对从成像器件70输入的经压缩编码的960fps的图像数据D11进行解码获得的图像数据D21传输至帧存储器63，并接着将图像数据D21顺序地重写到区域1至区域24中。此外，从图像数据D21执行高速转变场景的检测。
然后，通过由ISP单元64以每35帧仅稀疏出一帧的方式来读出写入在帧存储器63中的图像数据D21直到存在停止写入的指令或检测到高速转变场景的通知为止，对读出的图像数据D21执行第二信号处理和ISP处理，且通过GPU67执行预定图像处理。
在存在停止写入的指令或检测到高速转变场景的通知的情况下，停止将图像数据D21重写到帧存储器63中。因此，与第二实施例中的情况类似，可以将960fps的图像数据D21保持在帧存储器63中。保持在帧存储器63中的960fps的图像数据D21的读出时序可以与第三实施例中的读出时序相同。
根据图16所示的第四实施例，与不执行压缩编码的情况相比，可以减小以960fps的帧速率从成像器件70输出至HOSTISP90的图像数据D11的数据量。因此，与不执行压缩编码的情况相比，可以减小成像器件70与HOSTISP90之间的带宽。
此外，可以将处理负载相对大且功率消耗相对高的第二信号处理单元66移至成像器件70的外部。
然而，由于写入帧存储器63中的图像数据D21是从压缩编码的状态解码的，所以与第二和第三实施例的情况相比，减小了能够保持在帧存储器63中的帧数。
<本发明的第五实施例中的成像器件的构造示例>
接下来，图17图示根据本发明的第五实施例的成像器件的构造示例。此成像器件安装在诸如数码相机等包括成像功能的电子装置上，并由成像器件100和HOSTISP110形成。
在图17所示的第五实施例中，与图14所示的第二实施例相比，成像器件的输出I/F22被存储器I/F101取代且从HOSTISP中移除了输入I/F61。图17所示的第五实施例中的与图14中所示的第二实施例中的构造元件共有的构造元件使用相同的附图标记表示，且将不对这些构造元件进行重复说明。
即，成像器件100包括输入I/F11、像素输出控制单元12、V解码器13、像素生成单元16、AD转换单元(ADC)17、第一信号处理单元18和输出I/F101。第一信号处理单元18包含场景检测单元19和编码器41。
在成像器件100中，以960fps的帧速率将图像数据D1从像素生成单元16输出至AD转换单元17，并在AD转换单元17中将图像数据D1转换成作为数字信号的图像数据D2，并接着将图像数据D2传输至第一信号处理单元18。在第一信号处理单元18的第一信号处理之后，通过编码器41对传输的图像数据D2执行压缩编码，将数据量减小的图像数据D3传输至存储器I/F101，将图像数据D3作为图像数据D11传输至以HOSTISP110的帧存储器63并将图像数据D3重写到区域1至区域24中。
HOSTISP110包括存储器I/F62、帧存储器63、ISP单元64、GPU67和控制单元68。ISP单元64包括解码器65和第二信号处理单元66。
在HOSTISP110中，从成像器件100的存储器I/F101将960fps的图像数据D11直接地和顺序地重写到帧存储器63的区域1至区域24中。然后，通过由ISP单元64以每35帧仅稀疏出一帧的方式来读出写入在帧存储器63中的图像数据D11直到存在停止写入的指令或检测到高速转变场景的通知为止，对读出的图像数据D11执行解码处理、第二信号处理和ISP处理，且通过GPU67执行预定图像处理。
在存在停止写入的指令或检测到高速转变场景的通知的情况下，停止将图像数据D11重写到帧存储器63中。因此，与第一实施例中的情况类似，可以将960fps的图像数据D11保持在帧存储器63中。保持在帧存储器63中的960fps的图像数据D11的读出时序可以与第一实施例中的读出时序相同。或者如参考图13所述，通过将帧存储器63分割成多个存储库并通过以交错驱动的方式驱动帧存储器，可以在没有中断的情况下连续地执行超慢运动图像的成像。
根据图17所示的第五实施例，与不执行压缩编码的情况相比，可以减小以960fps的帧速率从成像器件100输出至HOSTISP110的图像数据D11的数据量。因此，与不执行压缩编码的情况相比，可以减小成像器件100与HOSTISP110之间的带宽。
此外，可以将处理负载相对大且功率消耗相对高的第二信号处理单元66移至成像器件50的外部。
如上所述，如果应用了根据本发明的成像器件，甚至商品化廉价相机系统也可通过使用更低的功率消耗来拍摄具有低的分辨率劣化的超慢运动图像，或通过使用极低的功率消耗拍摄时移图像。
根据本发明的实施例不限于上述实施例，且可以在本发明的范围内进行各种修改。
本发明可具有下述的构造。
(A1)一种成像器件，其包括：像素生成单元，其生成由与入射光相一致的多个像素信号形成的图像信号；以及帧存储器，其存储多个帧的所述图像信号。
(A2)如上面的(A1)所述的成像器件，其还包括：写入单元，其将生成的所述图像数据写入所述帧存储器中；以及读取单元，其读取被写入所述帧存储器中的所述图像数据。
(A3)如上面的(A2)所述的成像器件，其中，所述写入单元将生成的所述图像数据重写到所述帧存储器的第一区域中；且所述读取单元以帧为单位稀疏并读取被重写到所述帧存储器的所述第一区域中的所述图像数据。
(A4)如上面的(A1)至(A3)中任一项所述的成像器件，其还包括：编码单元，其对被写入所述帧存储器中的所述图像数据进行编码；以及解码单元，其对从所述帧存储器读取的经编码的所述图像数据进行解码。
(A5)如上面的(A3)所述的成像器件，其还包括：控制单元，其根据触发条件来控制所述写入单元并停止将生成的所述图像数据重写到所述存储器的所述第一区域中。
(A6)如上面的(A3)所述的成像器件，其中，所述控制单元根据所述触发条件立即或在延迟预定帧数之后控制所述写入单元并停止将生成的所述图像数据重写到所述帧存储器的所述第一区域中。
(A7)如上面的(A5)所述的成像器件，其中，通过作为所述触发条件的来自外部的指令，所述控制单元控制所述写入单元并停止将生成的所述图像数据重写到所述帧存储器的所述第一区域中。
(A8)如上面的(A5)至(A7)中任一项所述的成像器件，其还包括：检测单元，其检测被重写到所述帧存储器的所述第一区域中的所述图像数据中的高速转变场景，且其中，通过作为所述触发条件的对所述高速转变场景的所述检测，所述控制单元控制所述写入单元并停止将生成的所述图像数据重写到所述帧存储器的所述第一区域中。
(A9)如上面的(A3)至(A8)中任一项所述的成像器件，其中，由于所述重写的停止，所述读取单元读取所述帧存储器的所述第一区域中保持的所述图像数据。
(A10)如上面的(A7)所述的成像器件，其中，在停止所述重写之后，所述写入单元将生成的所述图像数据写入所述帧存储器的第二区域中，且所述读取单元读取被写入所述帧存储器的所述第二区域中的所述图像数据，并由于所述重写的停止还读取所述帧存储器的所述第一区域中保持的所述图像数据。
(A11)如上面的(A1)至(A10)中任一项所述的成像器件，所述像素生成单元执行以下操作中的至少一者：改变生成的所述图像数据的视角，以及添加所述像素信号。
(A12)如上面的(A1)至(A11)中任一项所述的成像器件，其中，所述成像器件布置在一个或多个基板上并形成在单个芯片中。
(A13)一种安装有成像器件的成像装置，所述成像器件包括：像素生成单元，其生成由与入射光相一致的多个像素信号形成的图像信号；以及帧存储器，其存储多个帧的所述图像信号。
(A14)一种安装有成像器件的电子装置。所述成像器件包括：像素生成单元，其生成由与入射光相一致的多个像素信号形成的图像信号；以及帧存储器，其存储多个帧的所述图像信号。
(B1)一种成像器件，其包括：像素生成单元，其生成由与入射光相一致的多个像素信号形成的图像信号；以及帧存储器，其存储多个帧的所述图像信号。
(B2)如上面的(B1)所述的成像器件，其还包括：写入单元，其中，所述写入单元以第一帧速率将所述图像信号写入所述帧存储器；以及读取单元，其中，所述读取单元读取被写入所述帧存储器中的所述图像数据。
(B3)如上面的(B2)所述的成像器件，其中，所述写入单元将所生成的所述图像数据的被先前写入的帧重写到所述帧存储器中的至少第一区域中，其中，在第一操作模式中，所述读取单元以第二帧速率从所述帧存储器读取所述图像数据，且其中，在所述第一操作模式中，所述读取单元读取存储在所述帧存储器中的少于所有帧的所述图像数据。
(B4)如上面的(B2)所述的成像器件，其还包括：编码单元，其对被写入所述帧存储器中的所述图像数据进行编码；以及解码单元，其对从所述帧存储器读取的经编码的所述图像数据进行解码。
(B5)如上面的(B3)所述的成像器件，其还包括：控制单元，其中，响应于所述控制单元接收到触发信号，所述控制单元控制所述写入单元并停止将所生成的所述图像数据重写到所述帧存储器的所述至少第一区域中。
(B6)如上面的(B5)所述的成像器件，其中，在从所述控制单元接收到信号之后，所述写入单元立即停止将所生成的所述图像数据重写到所述帧存储器的所述至少第一区域中，或者从所述控制单元接收到信号之后延迟预定帧数之后，所述写入单元停止将所生成的所述图像数据重写到所述帧存储器的所述至少第一区域中。
(B7)如上面的(B5)所述的成像器件，其中，所述触发信号是已检测到高速转变场景的指示，且其中，所述触发信号是从所述成像器件的外部的信源提供的。
(B8)如上面的(B5)所述的成像器件，其还包括：检测单元，其在被重写到所述帧存储器的所述至少第一区域中的所述图像数据中检测高速转变场景，其中，通过作为所述触发信号的对所述高速转变场景的所述检测，所述控制单元控制所述写入单元并停止将所生成的所述图像数据重写到所述帧存储器的所述第一区域中。
(B9)如上面的(B5)所述的成像器件，其中，在已经停止将所述图像数据重写到所述帧存储器的所述至少第一区域中之后，所述读取单元读取所述帧存储器的所述至少第一区域中保持的所述图像数据。
(B10)如上面的(B5)所述的成像器件，其中，在已经停止将所述图像数据重写到所述帧存储器的所述至少第一区域中之后，所述写入单元将所述图像数据写入所述帧存储器的保留区域。
(B11)如上面的(B10)所述的成像器件，其中，在已经停止将所述图像数据重写到所述帧存储器的所述至少第一区域中之后，所述读取单元从所述帧存储器的所述保留区域读取所述图像数据。
(B12)如上面的(B10)所述的成像器件，其中，在已经停止将所述图像数据重写到所述帧存储器的所述至少第一区域中之后，所述读取单元从所述帧存储器的所述第一区域和所述帧存储器的所述保留区域读取所述图像数据。
(B13)如上面的(B10)所述的成像器件，其中，所述读取单元以小于所述第一帧速率并大于所述第二帧速率的速率从所述帧存储器的所述第一区域和所述帧存储器的所述保留区域读取所述图像数据。
(B14)如上面的(B7)所述的成像器件，其中，所述写入单元在所述重写停止之后将所生成的所述图像数据写入所述帧存储器的第二区域中，且其中，所述读取单元读取被写入所述帧存储器的所述第二区域中的所述图像数据，并在所述重写停止之后还读取所述帧存储器的所述第一区域中保持的所述图像数据。
(B15)如上面的(B2)所述的成像器件，其中，所述像素生成单元执行以下操作中的至少一者：改变所生成的所述图像数据的视角；以及添加所述像素信号。
(B16)如上面的(B2)所述的成像器件，其中，所述像素生成单元、所述帧存储器、所述写入单元和所述读取单元布置在一个基板上并形成在单个芯片中。
(B17)如上面的(B2)所述的成像器件，其中，所述像素生成单元、所述帧存储器、所述写入单元和所述读取单元布置在多个基板上并形成在单个芯片中。
(B18)如上面的(B2)所述的成像器件，其中，其中，所述像素生成单元、所述帧存储器、所述写入单元和所述读取单元布置在多个基板上并形成在单个芯片中，且其中，所述多个基板通过硅通孔宽输入/输出接口彼此连接。
(B19)一种包括成像器件的成像装置，所述成像器件包括：像素生成单元，其生成由与入射光相一致的多个像素信号形成的图像信号；以及帧存储器，其存储多个帧的所述图像信号。
(B20)一种包括成像器件的电子装置，所述成像器件包括：像素生成单元，其生成由与入射光相一致的多个像素信号形成的图像信号；以及帧存储器，其存储多个帧的所述图像信号。
本领域技术人员应当理解，依据设计要求和其他因素，可以在本发明所附的权利要求或其等同物的范围内，进行不同的修改，合成，次合成及改变。
附图标记列表
10成像器件11输入I/F
12像素输出控制单元13V解码器
14存储器控制单元15帧计数器
16像素生成单元17AD转换单元
18第一信号处理单元19场景检测单元
20帧存储器21第二信号处理单元
22输出I/F30HOSTISP
41编码器42解码器

Claims (20)

1.一种成像器件，其包括：
像素生成单元，其生成由与入射光相一致的多个像素信号形成的图像信号；以及
帧存储器，其存储多个帧的所述图像信号。
2.如权利要求1所述的成像器件，其还包括：
写入单元，其中，所述写入单元以第一帧速率将所述图像信号写入所述帧存储器中；以及
读取单元，其中，所述读取单元读取被写入所述帧存储器中的所述图像数据。
3.如权利要求2所述的成像器件，
其中，所述写入单元将生成的所述图像数据的被先前写入的帧重写到所述帧存储器中的至少第一区域中，
其中，在第一操作模式中，所述读取单元以第二帧速率从所述帧存储器读取所述图像数据，且
其中，在所述第一操作模式中，所述读取单元读取存储在所述帧存储器中的少于所有帧的所述图像数据。
4.如权利要求2所述的成像器件，其还包括：
编码单元，其对被写入所述帧存储器中的所述图像数据进行编码；以及
解码单元，其对从所述帧存储器读取的经编码的所述图像数据进行解码。
5.如权利要求3所述的成像器件，其还包括：
控制单元，其中，响应于所述控制单元接收到触发信号，所述控制单元控制所述写入单元并停止将生成的所述图像数据重写到所述帧存储器的所述至少第一区域中。
6.如权利要求5所述的成像器件，其中，在从所述控制单元接收信号之后，所述写入单元立即停止将生成的所述图像数据重写到存储器的所述至少第一区域中，或者从所述控制单元接收信号之后延迟预定帧数之后，所述写入单元停止将生成的所述图像数据重写到存储器的所述至少第一区域中。
7.如权利要求5所述的成像器件，其中，所述触发信号是已检测到高速转变场景的指示，且其中，所述触发信号是从所述成像器件的外部的信源提供的。
8.如权利要求5所述的成像器件，其还包括：
检测单元，其在被重写到所述帧存储器的所述至少第一区域中的所述图像数据中检测高速转变场景，
其中，通过作为所述触发信号的对所述高速转变场景的所述检测，所述控制单元控制所述写入单元并停止将生成的所述图像数据重写到所述帧存储器的所述第一区域中。
9.如权利要求5所述的成像器件，其中，在已经停止将所述图像数据重写到所述帧存储器的所述至少第一区域中之后，所述读取单元读取所述帧存储器的所述至少第一区域中保持的所述图像数据。
10.如权利要求5所述的成像器件，其中，在已经停止将所述图像数据重写到所述帧存储器的所述至少第一区域中之后，所述写入单元将图像数据写入所述帧存储器的保留区域。
11.如权利要求10所述的成像器件，其中，在已经停止将所述图像数据重写到所述帧存储器的所述至少第一区域中之后，所述读取单元从所述帧存储器的所述保留区域读取图像数据。
12.如权利要求10所述的成像器件，其中，在已经停止将所述图像数据重写到所述帧存储器的所述至少第一区域中之后，所述读取单元从所述帧存储器的所述第一区域和所述帧存储器的所述保留区域读取图像数据。
13.如权利要求12所述的成像器件，其中，所述读取单元以小于所述第一帧速率并大于所述第二帧速率的速率从所述帧存储器的所述第一区域和所述帧存储器的所述保留区域读取图像数据。
14.如权利要求7所述的成像器件，
其中，所述写入单元在所述重写停止之后将生成的所述图像数据写入所述帧存储器的第二区域中，且
其中，所述读取单元读取被写入所述帧存储器的所述第二区域中的所述图像数据，并在所述重写停止之后还读取所述帧存储器的所述第一区域中保持的所述图像数据。
15.如权利要求2所述的成像器件，其中，所述像素生成单元执行以下操作中的至少一者：改变生成的所述图像数据的视角；或者添加所述像素信号。
16.如权利要求2所述的成像器件，其中，所述像素生成单元、所述帧存储器、所述写入单元和所述读取单元布置在一个基板上并形成在单个芯片中。
17.如权利要求2所述的成像器件，其中，所述像素生成单元、所述帧存储器、所述写入单元和所述读取单元布置在多个基板上并形成在单个芯片中。
18.如权利要求2所述的成像器件，
其中，所述像素生成单元、所述帧存储器、所述写入单元和所述读取单元布置在多个基板上并形成在单个芯片中，且
其中，所述多个基板通过硅通孔宽输入/输出接口彼此连接。
19.一种包括成像器件的成像装置，所述成像器件包括：
像素生成单元，其生成由与入射光相一致的多个像素信号形成的图像信号；以及
帧存储器，其存储多个帧的所述图像信号。
20.一种包括成像器件的电子装置，所述成像器件包括：
像素生成单元，其生成由与入射光相一致的多个像素信号形成的图像信号；以及
帧存储器，其存储多个帧的所述图像信号。
CN201480052353.4A 2013-12-20 2014-12-12 成像器件和电子装置 Active CN105580345B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013-263378 2013-12-20
JP2013263378 2013-12-20
JP2014190163A JP6350863B2 (ja) 2013-12-20 2014-09-18 撮像素子、撮像装置、および電子装置
JP2014-190163 2014-09-18
PCT/JP2014/006212 WO2015093022A1 (en) 2013-12-20 2014-12-12 Imaging device, imaging apparatus, and electronic apparatus

Publications (2)

Publication Number Publication Date
CN105580345A true CN105580345A (zh) 2016-05-11
CN105580345B CN105580345B (zh) 2019-05-10

Family

ID=52293103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480052353.4A Active CN105580345B (zh) 2013-12-20 2014-12-12 成像器件和电子装置

Country Status (6)

Country Link
US (1) US9906753B2 (zh)
JP (1) JP6350863B2 (zh)
KR (1) KR102248378B1 (zh)
CN (1) CN105580345B (zh)
TW (1) TWI653890B (zh)
WO (1) WO2015093022A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10129477B2 (en) 2015-08-19 2018-11-13 Google Llc Smart image sensor having integrated memory and processor
JP6319340B2 (ja) 2016-02-16 2018-05-09 Smk株式会社 動画撮像装置
JP6808350B2 (ja) 2016-05-12 2021-01-06 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP6802642B2 (ja) * 2016-05-12 2020-12-16 キヤノン株式会社 撮像装置およびその制御方法、プログラム、並びに記憶媒体
JP6649212B2 (ja) * 2016-09-06 2020-02-19 株式会社東芝 符号化装置、復号装置、および画像処理システム
KR102450580B1 (ko) 2017-12-22 2022-10-07 삼성전자주식회사 금속 배선 하부의 절연층 구조를 갖는 반도체 장치
US11914859B2 (en) * 2018-03-20 2024-02-27 Ohana Corp. Advertising-subsidized smartphones and advertising, smartphone, and mobile communications systems and methods
JP7321685B2 (ja) * 2018-08-22 2023-08-07 キヤノン株式会社 撮像装置
TWI820194B (zh) 2018-08-31 2023-11-01 日商索尼半導體解決方案公司 電子機器及固體攝像裝置
JP6635221B1 (ja) 2018-08-31 2020-01-22 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
JP6913830B2 (ja) 2018-08-31 2021-08-04 富士フイルム株式会社 撮像素子、撮像装置、画像データ処理方法、及びプログラム
JP6915166B2 (ja) * 2018-08-31 2021-08-04 富士フイルム株式会社 撮像素子、撮像装置、画像データ処理方法、及びプログラム
JP6896181B2 (ja) * 2018-08-31 2021-06-30 富士フイルム株式会社 撮像素子、撮像装置、画像データ処理方法、及びプログラム
JP6956894B2 (ja) * 2018-09-27 2021-11-02 富士フイルム株式会社 撮像素子、撮像装置、画像データ処理方法、及びプログラム
WO2020137217A1 (ja) * 2018-12-27 2020-07-02 富士フイルム株式会社 撮像素子、撮像装置、画像データ処理方法、及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060114334A1 (en) * 2004-09-21 2006-06-01 Yoshinori Watanabe Image pickup apparatus with function of rate conversion processing and control method therefor
CN1984304A (zh) * 2005-10-20 2007-06-20 索尼株式会社 图像转换装置,图像信号处理装置,摄像机系统以及图像信号处理方法
CN101385334A (zh) * 2006-12-18 2009-03-11 索尼株式会社 图像捕捉设备和方法、记录设备和方法及再现设备和方法
CN101848344A (zh) * 2009-03-24 2010-09-29 索尼公司 固态成像装置及其驱动方法、以及电子设备
US20110221931A1 (en) * 2010-03-09 2011-09-15 Sony Corporation Temperature information output apparatus, imaging apparatus, method of outputting temperature information
CN102905101A (zh) * 2011-07-27 2013-01-30 株式会社日立制作所 映像记录装置、映像记录系统以及映像记录方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3985275B2 (ja) 1996-03-11 2007-10-03 ソニー株式会社 撮像装置および撮像方法
WO2002039737A1 (fr) * 2000-11-07 2002-05-16 Matsushita Electric Industrial Co., Ltd. Systeme de production d'un signal video avec dispositif d'enregistrement/reproduction de signal video integre
JP2004140687A (ja) * 2002-10-18 2004-05-13 Matsushita Electric Ind Co Ltd 撮像装置
JP2004304418A (ja) * 2003-03-31 2004-10-28 Minolta Co Ltd カメラ
JP4420101B2 (ja) * 2007-10-30 2010-02-24 ソニー株式会社 固体撮像装置およびその駆動方法、並びにカメラシステム
JP2009118332A (ja) * 2007-11-08 2009-05-28 Nippon Hoso Kyokai <Nhk> トリガ信号発生装置
JP2010087778A (ja) * 2008-09-30 2010-04-15 Casio Computer Co Ltd 撮像装置、変速撮像方法、及びプログラム
JP2013183425A (ja) * 2012-03-05 2013-09-12 Toshiba Corp カメラモジュール

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060114334A1 (en) * 2004-09-21 2006-06-01 Yoshinori Watanabe Image pickup apparatus with function of rate conversion processing and control method therefor
CN1984304A (zh) * 2005-10-20 2007-06-20 索尼株式会社 图像转换装置,图像信号处理装置,摄像机系统以及图像信号处理方法
CN101385334A (zh) * 2006-12-18 2009-03-11 索尼株式会社 图像捕捉设备和方法、记录设备和方法及再现设备和方法
CN101848344A (zh) * 2009-03-24 2010-09-29 索尼公司 固态成像装置及其驱动方法、以及电子设备
US20110221931A1 (en) * 2010-03-09 2011-09-15 Sony Corporation Temperature information output apparatus, imaging apparatus, method of outputting temperature information
CN102905101A (zh) * 2011-07-27 2013-01-30 株式会社日立制作所 映像记录装置、映像记录系统以及映像记录方法

Also Published As

Publication number Publication date
US9906753B2 (en) 2018-02-27
WO2015093022A1 (en) 2015-06-25
KR102248378B1 (ko) 2021-05-06
TWI653890B (zh) 2019-03-11
JP6350863B2 (ja) 2018-07-04
CN105580345B (zh) 2019-05-10
KR20160099528A (ko) 2016-08-22
JP2015136093A (ja) 2015-07-27
TW201526644A (zh) 2015-07-01
US20160381319A1 (en) 2016-12-29

Similar Documents

Publication Publication Date Title
CN105580345A (zh) 成像器件、成像装置和电子装置
US20090135256A1 (en) Sata camera system
CN101998041B (zh) 成像设备和控制该成像设备的方法
CN108881751B (zh) 具有测试电路的图像传感器
US10277807B2 (en) Image device and method for memory-to-memory image processing
KR102611722B1 (ko) 이미지 처리 장치 및 이미지 처리 방법
JP2013219621A (ja) 撮像装置及び画像処理方法
TWI423682B (zh) 影像處理方法
US20150365597A1 (en) Moving-image recording/reproduction apparatus
US20090041436A1 (en) Image Recording Device and Image Recording Method
KR101068829B1 (ko) 촬상 장치 및 이미지 회전 처리 방법
TWI512675B (zh) 影像處理裝置與方法
CN113225493A (zh) 图像传感器模块、其图像压缩方法及电子装置
US20190043155A1 (en) Systems for processing image signals
US8031245B2 (en) Imaging apparatus and methods, and storing medium having computer program to perform the methods
JP5556082B2 (ja) メモリコントローラ、画像処理システムおよびメモリアクセスの制御方法
US20140125821A1 (en) Signal processing circuit, imaging apparatus and program
JP2017208674A (ja) 映像処理装置及び映像処理方法
JP7094828B2 (ja) 集積回路装置
JP2008160335A (ja) 動き補償装置および動き補償方法
JP2022019647A (ja) カメラモジュール並びにイメージ処理システム及びイメージ圧縮方法
JP2013211608A (ja) 映像受信装置
JP4706364B2 (ja) 画像変換装置及び画像変換方法
JP2010004308A (ja) 撮像装置
JP2014099751A (ja) 記録再生装置及び記録再生方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant