CN110268707A - 用于捕捉图像的传感器及其控制方法 - Google Patents

用于捕捉图像的传感器及其控制方法 Download PDF

Info

Publication number
CN110268707A
CN110268707A CN201880010274.5A CN201880010274A CN110268707A CN 110268707 A CN110268707 A CN 110268707A CN 201880010274 A CN201880010274 A CN 201880010274A CN 110268707 A CN110268707 A CN 110268707A
Authority
CN
China
Prior art keywords
frame
multiple images
processors
picture frame
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880010274.5A
Other languages
English (en)
Other versions
CN110268707B (zh
Inventor
金东秀
下川修一
姜和映
尹泳权
金汶洙
元钟勋
李基赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110268707A publication Critical patent/CN110268707A/zh
Application granted granted Critical
Publication of CN110268707B publication Critical patent/CN110268707B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/1961—Movement detection not involving frame subtraction, e.g. motion detection on the basis of luminance changes in the image
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19604—Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19667—Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19676—Temporary storage, e.g. cyclic memory, buffer storage on pre-alarm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/013—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the incoming video signal comprising different parts having originally different frame rate, e.g. video and graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

根据本公开的实施例，一种电子设备可以包括图像传感器和一个或多个处理器，该一个或多个处理器被配置为按照第一帧速率来获取外部对象的第一多个图像帧，检测与外部对象相关联的变化，当变化满足指定的条件时，按照第一帧速率或第二帧速率来获取外部对象的第二多个图像帧，使用第一多个图像帧中的至少一些来生成视频的第一部分，使用第二多个图像帧中的至少一些来生成视频的第二部分，以及使用按照第一帧速率或第三帧速率获取的外部对象的第三多个图像帧中的至少一些来生成视频的第三部分。

Description

用于捕捉图像的传感器及其控制方法
技术领域
本公开涉及用于捕捉图像的传感器及其控制方法。
背景技术
最近，电子设备提供更多样化的服务以及附加功能。正在开发可在电子设备上运行的各种应用以满足各种用户的需求并且提高电子设备的实用性。
照相机应用处于它们当中，并且用户可以使用她的电子设备的照相机来获取自拍照或背景。电子设备可以包括用于捕捉图像的照相机模块。照相机模块一般可以包括用于收集光的镜头、用于将收集的光转换为电信号的光电二极管，以及用于将电信号(其是模拟信号)转换为数字电信号的模数转换器(ADC)。将来自多个光电二极管的电信号转换为数字电信号并且输出数字电信号的照相机模块的处理可以被叫作‘读出’。
发明内容
技术问题
为了解决以上讨论的不足，主要目的是提供用于检测图像帧的变化的方法和装置。有高速照相(photography)能力的电子设备依赖足够的存储容量和电力供应来实现高速照相，并且体积大、使用受限——它们应当在固定的位置中被使用。
最近，对于能够进行高速照相的便携式电子设备的大力研究正在进行。高速照相使用能够存储在短时间获取的许多图像帧的存储器，这对可能没有配备足够容量的存储器的便携式电子设备施加相当多的限制。解决这样的限制的一种可选方法可以是检测外部对象——用于高速照相的目标的运动(motion)，并且从外部对象实际上开始移动的时刻起开始捕捉。
由于受限的存储和功率消耗问题，便携式电子设备可能仍然在高速照相或利用紧接事件发生前所拍的并且先前存储的图像来产生慢动作(slow motion)视频的使用方面受到限制。
已经构思了在本文公开的各种实施例来解决这样的问题。根据本公开的实施例，能够使用包括图像传感器的便携式电子设备来连续多次地实现高速照相。根据本公开的实施例，可以使用紧接事件发生前所拍的图像来生成慢动作视频。
技术方案
根据本公开的实施例，一种电子设备可以包括图像传感器和一个或多个处理器，其中，一个或多个处理器可以被配置为接收用于照相的信号，响应于信号通过图像传感器按照第一帧速率来获取外部对象的第一多个图像帧，基于第一多个图像帧来检测与外部对象相关联的变化，当变化满足指定的条件时，按照第一帧速率或第二帧速率来获取外部对象的第二多个图像帧并且停止检测变化，使用第一多个图像帧中的至少一些来生成视频的第一部分，使用第二多个图像帧中的至少一些来生成视频的第二部分，以及在停止检测变化之后，基于用户输入，使用按照第一帧速率或第三帧速率获取的外部对象的第三多个图像帧中的至少一些来生成视频的第三部分。
根据本公开的实施例，一种电子设备可以包括具有存储器的图像传感器和第一处理器和在图像传感器外部提供的第二处理器，其中，第一处理器可以被配置为从第二处理器接收用于视频照相的信号，响应于信号按照第一帧速率来获取外部对象的第一多个图像帧，在存储器中存储第一多个图像帧当中的指定的数量的第一图像帧，基于第一多个图像帧中的至少一些来检测与外部对象相关联的变化，以及当变化满足指定的条件时，按照第一帧速率或第二帧速率来获取外部对象的第二多个图像帧并且将第二多个图像帧存储在存储器中，并且第二处理器可以被配置为使用第一多个图像帧当中的第二图像帧来生成视频的第一部分，以及至少使用第一图像帧中的至少一些和第二多个图像帧中的至少一些来生成视频的第二部分。
根据本公开的实施例，一种电子设备可以包括包括存储器的图像传感器和一个或多个处理器，其中，一个或多个处理器可以被配置为接收用于照相的信号，响应于信号通过图像传感器按照第一帧速率来获取外部对象的第一多个图像帧，使用第一多个图像帧中的至少一些来生成视频的第一部分，基于第一多个图像帧来检测与外部对象相关联的变化，当变化满足指定的条件时，停止生成第一部分，通过图像传感器按照所述第一帧速率或第二帧速率来获取外部对象的第二多个图像帧，识别与变化满足指定的条件时的时间相对应的第一信息，将第二多个图像帧存储在存储器中并且识别与获取第二多个图像帧中的每一个时的时间相对应的第二信息，当预设事件发生时，按照第一帧速率来获取外部对象的第三多个图像帧并且识别与获取第三多个图像帧中的每一个时的时间相对应的第三信息，以及至少基于识别的第一信息、第二信息，以及第三信息来生成视频的第二部分和第三部分。
根据结合附图的用于公开本公开的示例性实施例的以下详细描述，本公开的其他方面、优点和显著的特征将对于本领域技术人员变得明显。
技术效果
根据本公开的实施例，能够使用便携式电子设备连续多次地执行高速照相。
根据本公开的实施例，可以使用便携式电子设备基于紧接事件发生前所拍的图像来生成慢动作视频。
附图说明
为了本公开和其优点的更完全的理解，现在对结合附图所采取的以下描述进行参考，其中，同样的附图标记表示相同部分：
图1图示出包括根据本公开的实施例的电子设备的网络环境的视图；
图2图示出根据本公开的实施例的电子设备的块配置；
图3图示出根据本公开的实施例的图像传感器的结构的框图；
图4图示出根据本公开的实施例的、用于通过图像传感器来获取图像帧的处理的框图；
图5图示出根据本公开的实施例的电子设备的组件的框图；
图6图示出根据本公开的实施例的、使用电子设备来执行高速照相的方法的视图；
图7图示出根据本公开的实施例的、使用电子设备来执行自动高速照相的方法的流程图；
图8图示出根据本公开的实施例的、使用电子设备来执行高速照相的方法的流程图；
图9图示出根据本公开的实施例的、使用电子设备来执行高速照相的方法的随着时间推移的视图；
图10图示出根据本公开的实施例的、用于利用缓冲存储器的方法的流程图；
图11图示出根据本公开的实施例的、用于利用缓冲存储器的方法的随着时间推移的视图；
图12图示出根据本公开的实施例的、用于利用缓冲存储器的方法的随着时间推移的视图；
图13和14图示出根据本公开的实施例的、使用电子设备来多次执行高速照相的方法的视图；
图15A和15B图示出根据本公开的实施例的、用于在使用电子设备所获取的图像帧中设置感兴趣区域的方法的视图；
图16图示出根据本公开的实施例的、用于在从图像传感器输出的多个图像帧之间进行区分的方法的视图；
图17A以及17B图示出根据本公开的实施例的、用于在从图像传感器输出的多个图像帧之间进行区分的方法的随着时间推移的视图；
图18和19图示出根据本公开的实施例的、在使用电子设备来执行高速照相时屏蔽失真部分的方法的视图；
图20图示出根据本公开的实施例的、使用电子设备来多次执行高速照相的方法的流程图；
图21图示出根据本公开的实施例的、使用缓冲存储器来执行高速照相的方法的流程图；以及
图22图示出根据本公开的实施例的程序模块的框图。
贯穿附图，相同附图标记将被理解为指的是相同部分、组件和结构。
具体实施方式
在进行以下的具体实施方式之前，可以有利的是，阐述遍及该专利文献所使用的某些语词的定义：术语“包括”和“包含”以及其派生意指不进行限制的包括；术语“或”是可兼的，意指和/或；字句“与...相关联的”和“与此相关联的”以及其派生可以意指包括包括、被包括在内、与...互连、包含、被包含在内、连接到或与...连接、耦合到或与...耦合、可与...通信、与...协作、交织、并置、接近于、绑定到或与...绑定、具有、具有...的属性等等；并且术语“控制器”意指控制至少一个操作的任何设备、系统或其部分，这样的设备可以被实施在硬件、固件或软件或者其至少两个的某组合中。应当注意到，与任何特定控制器相关联的功能不管是本地的还是远程的都可以是集中的或分布的。
而且，能够通过一个或多个计算机程序来实施或支持如下所述的各种功能，一个或多个计算机程序中的每一个是由计算机可读的程序代码形成的并且被具体化在计算机可读媒介中。术语“应用”和“程序”指的是适合于在合适的计算机可读的程序代码中实施的一个或多个计算机程序、软件组件、指令集合、规程、函数、对象、类别、实例、相关的数据、或其部分。短语“计算机可读的程序代码”包括任何类型的计算机编码，包括源代码、目标代码，和可执行代码。短语“计算机可读媒介”包括能够由计算机访问的任何类型的媒介，诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视盘(DVD)，或任何其他类型的存储器。“非暂时性”计算机可读媒介把输送瞬时电信号或其他信号的有线、无线、光学，或其他通信链路排除在外。非暂时性计算机可读媒介包括其中数据能够被永久地存储的介质和诸如可重写光盘或可擦除存储器设备之类的其中数据能够被存储并且稍后被改写的介质。
贯穿该专利文献来提供对于某些语词的定义，那些本领域普通技术人员应该理解，在许多、即使不是大多数情况中，这样的定义适用于这样的定义的语词的在先的以及将来的使用。
以下讨论的图1至22以及用于在该专利文献中描述本公开的原理的各种实施例是仅仅作为说明并且不管怎样不应当被理解为限制本公开的范围。那些本领域技术人员将理解，本公开的原理可以被实施在任何适当地布置的系统或设备中。
在下文，参考附图来描述本公开的实施例。然而，但应当理解，本公开不局限于在本文使用的实施例和术语，并且其所有变化和/或等同物或更换也属于本公开的范围。遍及说明书和附图，相同的或相似的附图标记可以用于指的是相同的或相似的要素。应当理解，单数形式“一”和“该”包括复数指示物，除非上下文清楚地另外指示其他。
如在本文所使用的，术语“A或B”或“A和/或B中的至少一个”可以包括A和B的所有可能的组合。如在本文所使用的，术语“第一”和“第二”可以修改各个组件而不管重要性和/或顺序如何并且用于将组件与另一个进行区分而不对组件进行限制。将理解的是，当元件(例如，第一元件)被称为(操作地或通信地)“与另一个元件(例如，第二元件)耦合/耦合到其”或“与另一个元件(例如，第二元件)连接/连接到其”时，其能够直接地或经由第三元件与另一个元件耦合或连接。
如在本文所使用的，在上下文背景中在硬件或软件中，可以与诸如“适合于”、“能够”、“修改为”、“使得能”、“适于”、“能够”或“被设计为”之类的其他术语可交换地使用术语“被配置为”。确切的讲，术语“被配置为”可以意指设备能够与另一个设备或部分一起执行操作。例如，术语“被配置(或设置)为执行A、B，和C的处理器”可以意指可以通过执行存储在存储器设备中的一个或多个软件程序来执行操作的通用处理器(例如，CPU或应用处理器)或专用处理器。
例如，根据本公开的实施例的电子设备的示例可以包括智能电话、平板机个人计算机(PC)、移动式电话、视频电话、电子书阅读器、台式机PC、膝上型计算机、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放机(PMP)、MP3播放机、医疗设备、照相机，或者可穿戴设备中的至少一个。可穿戴设备可以包括附件类型设备(例如，手表、戒指、手镯、脚镯、项链、眼镜、隐形眼镜，或者头戴设备(HMD))、一体式织物或服装设备(例如，电子衣)、身体附接类型设备(例如，护腿或纹身)，或者可植入身体的设备中的至少一个。
在一些实施例中，智能家用电器的示例可以包括电视、数字视频磁盘(DVD)播放机、音频播放机、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、干燥机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、TV盒(例如，三星HomeSyncTM、苹果TVTM，或GoogleTVTM)、游戏控制台(XboxTM、PlayStationTM)、电子词典、电子钥匙、录像摄像机，或电子图片相框中的至少一个。
根据本公开的实施例，电子设备可以包括以下中的至少一个：各种医疗设备(例如，各种便携式医疗测量设备(血糖测量设备、心跳测量设备，或者体温测量设备)、磁共振血管造影(MRA)设备、磁共振成像(MRI)设备、计算机断层显象(CT)设备、成像设备，或超声波设备)、导航设备、全球导航卫星系统(GNSS)接收器、行车记录器(EDR)、飞行数据记录器(FDR)、汽车娱乐信息设备、航行电子设备(例如，航行导航设备或陀螺罗盘)、航空电子、安全设备、车辆头部单元、工业或家用机器人、无人航空载具、自动柜员机(ATM)、销售点(POS)设备，或物联网(IoT)设备(例如，灯泡、各种传感器、洒水车、火警、恒温器、街灯、烤箱、健身器械、热水箱、加热器，或者煮器)。
根据本公开的各个实施例，电子设备的示例可以是家具、建筑物/结构或车辆、电子板、电子签名接收设备、投影仪，或各种测量设备(例如，用于测量水、电、气，或电磁波的设备)的一部分中的至少一个。
根据本公开的实施例，电子设备可以是灵活的或可以是以上列举的电子设备的组合。根据本公开的实施例，电子设备不局限于以上列出的实施例。如在本文所使用的，术语“用户”可以表示使用电子设备的人类或另一个设备(例如，人工智能电子设备)。
参考图1，根据本公开的实施例，将电子设备101包括在网络环境100中。电子设备101可以包括总线110、处理器120、存储器130、输入/输出接口150、显示器160、通信接口170，以及照相机模块180。在一些实施例中，电子设备101可以排除组件中的至少一个或可以添加另一个组件。
总线110可以包括用于将组件110至180彼此连接并且在组件之间传递通信(例如，控制消息或数据)的电路。
处理器120可以包括中央处理单元(CPU)、应用处理器(AP)，和通信处理器(CP)中的一个或多个。处理器120可以执行对电子设备101的其他组件中的至少一个的控制，和/或执行涉及通信的操作或数据处理。
存储器130可以包括易失性和/或非易失性存储器。例如，存储器130可以存储与电子设备101的至少一个其他组件有关的命令或数据。根据本公开的实施例，存储器130可以存储软件和/或程序140。
程序140例如可以包括内核141、中间件143、应用编程接口(API)145，和/或应用程序(或“应用”)147。内核141、中间件143，或API 145的至少一部分可以被表示为操作系统(OS)。例如，内核141可以对系统资源(例如，总线110、处理器120，或者存储器130)进行控制或管理，该系统资源用于执行在其他程序(例如，中间件143、API 145，或应用程序147)中实施的操作或功能。内核141可以提供接口，该接口允许中间件143、API 145，或应用147访问电子设备101的独立组件以对系统资源进行控制或管理。中间件143可以起中续站的作用以例如允许API 145或应用147与内核141传送数据。此外，中间件143可以以优先级的顺序来处理从应用程序147接收到的一个或多个任务请求。例如，中间件143可以向应用程序147中的至少一个指配使用电子设备101的系统资源(例如，总线110、处理器120，或存储器130)的优先级并且处理一个或多个任务请求。API 145是允许应用147控制从内核141或中间件143提供的功能的接口。例如，API 133可以包括用于文件控制、窗口控制、图像处理或文本控制的至少一个接口或功能(例如，命令)。
例如，输入/输出接口150可以向电子设备101的其他组件(多个)传递从用户或其他外部设备输入的命令或数据或者可以向用户或者其他外部设备输出从电子设备101的其他组件(多个)接收到的命令或数据。
显示器160可以例如包括液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器，或者微型机电系统(MEMS)显示器，或电子纸显示器。显示器160可以例如向用户显示各种内容(例如，文本、图像、视频、图标，或符号)。显示器160可以包括触摸屏并且可以接收使用电子笔或用户的身体部分的例如触摸、手势、接近或者悬停输入。
例如，通信接口170可以设立电子设备101与外部电子设备(例如，第一电子设备102、第二电子设备104，或者服务器106)之间的通信。例如，通信接口170可以通过无线或有线通信与网络162相连接以与外部电子设备(例如，第二外部电子设备104或服务器106)进行通信。无线通信可以包括蜂窝式通信，其使用例如，长期演进(LTE)、高级长期演进(LTE-A)、码分多址(CDMA)、宽带码分多址(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)，或全球移动通信系统(GSM)中的至少一个。根据本公开的实施例，无线通信可以包括例如，无线保真(Wi-Fi)、光线保真(Li-Fi)、蓝牙、低功率蓝牙(BLE)、紫蜂、近场通信(NFC)、磁安全传输(MST)、射频(RF)，或体域网(BAN)中的至少一个，如其中图1的表示164所表示的。根据本公开的实施例，无线通信可以包括全球导航卫星系统(GNSS)。GNSS例如可以是全球定位系统(GPS)、全球导航卫星系统(Glonass)、北斗导航卫星系统(在下文、“北斗”)或伽利略，或者欧洲全局星载导航系统。在下文中，在本文可以可交换地使用术语“GPS”和“GNSS”。有线连接可以包括例如通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐标准(RS)-232、电力线通信(PLC)，或简单老式电话服务(POTS)中的至少一个。网络162可以包括例如计算机网络(例如，局域网(LAN)或广域网(WAN))、因特网，或者电话网络的电信网络中的至少一个。
照相机模块180可以包括至少一个图像传感器。例如，照相机模块180中的图像传感器可以将从外部接收到的光转换为电信号并且输出电信号。可以通过总线110向处理器120输出电信号并且由处理器120处理电信号并且将其存储在存储器130中。照相机模块180可以包括由多个像素构成的像素阵列，并且像素阵列可以包括将来自外部的光转换为模拟电信号的光电二极管。同时，照相机模块180中的图像传感器可以包括模数转换器(ADC)，其将模拟电信号转换为数字电信号并且输出数字电信号。照相机模块180中的图像传感器可以包括用于扫描由多个像素构成的像素阵列的电路。照相机模块180中的图像传感器可以包括内部存储器。图像传感器可以将数字电信号(即，从像素输出的数据)暂时地存储在内部存储器中并且向外部电路(例如，总线110、处理器120，或存储器130)输出数字电信号。照相机模块180中的图像传感器可以包括用于数据输入/输出的接口并且根据接口的输出速度来向外部电路输出数据。
第一和第二外部电子设备102和104每个可以是与电子设备101相同的或者不同类型的设备。根据本公开的实施例，可以在另一个或多个其他电子设备(例如，电子设备102和104或服务器106)上执行在电子设备101上执行的所有或一些操作。根据本公开的实施例，当电子设备101应当自动地或根据请求执行一些功能或服务时，并非在其自身或另外地执行功能或服务，电子设备101可以请求另一个设备(例如，电子设备102和104或服务器106)执行与其相关联的至少一些功能。另一个电子设备(例如，电子设备102和104或服务器106)可以执行所请求的功能或附加功能并且向电子设备101传递执行的结果。电子设备101可以通过照原样或另外地处理所接收的结果来提供请求的功能或服务。为此目的，可以例如使用云计算、分布式计算，或者客户端服务器计算技术。
图2图示出根据本公开的实施例的电子设备201的框图。电子设备201可以包括例如图1的电子设备101的整体或一部分。电子设备201可以包括一个或多个处理器(例如应用处理器(AP))210、通信模块220、订户识别模块(SIM)224、存储器230、传感器模块240、输入设备250、显示器260、接口270、音频模块280、照相机模块291、功率管理模块295、电池296、指示器297，以及马达298。
处理器210可以通过运行例如操作系统或应用程序来控制连接到处理器210的多个硬件和软件组件，并且处理器210可以处理和计算各种数据。可以在例如片上系统(SoC)中实施处理器210。根据本公开的实施例，处理器210可以另外包括图形处理单元(GPU)和/或图像信号处理器。处理器210可以包括在图2中图示出的组件中的至少一些(例如，蜂窝模块221)。处理器210可以将从至少一个其他组件(例如，非易失性存储器)接收到的命令或数据加载在易失性存储器上，对命令或数据进行处理，并且将结果得到的数据存储在非易失性存储器中。
通信模块220可以具有与通信接口170相同的或相似的配置。通信模块220可以例如包括蜂窝模块221、无线保真(Wi-Fi)模块223、蓝牙(BT)模块225、GNSS模块227、NFC模块228，以及RF模块229。蜂窝模块221可以通过例如通信网络来提供语音呼叫、视频呼叫、文本，或因特网服务。根据本公开的实施例，蜂窝模块221可以使用订户识别模块224(例如，SIM卡)在通信网络中在电子设备201上执行识别或认证。根据本公开的实施例，蜂窝模块221可以执行可由处理器210提供的至少一些功能。根据本公开的实施例，蜂窝模块221可以进一步包括通信处理器(CP)。根据本公开的实施例，蜂窝模块221、Wi-Fi模块223、蓝牙模块225、GNSS模块227，或者NFC模块228中的至少一些(例如两个或更多)可以被包括在单个集成电路(IC)或IC封装件中。RF模块229可以传送数据，例如，通信信号(例如，RF信号)。RF模块229例如可以包括收发信机、功率放大模块(PAM)、频率滤波器、低噪声放大器(LNA)或天线。根据本公开的实施例，蜂窝模块221、Wi-Fi模块223、蓝牙模块225、GNSS模块227，或者NFC模块228中的至少一个可以通过单独RF模块来传送RF信号。预订识别模块224可以例如包括具有订户识别模块的卡，或嵌入SIM，并且可以包含唯一标识信息(例如，集成电路卡标识符(ICCID)或订户信息(例如，国际移动用户识别(IMSI)))。
存储器230(例如，存储器130)可以例如包括内部存储器232或外部存储器234。内部存储器232可以包括例如易失性存储器(例如，动态RAM(DRAM)、静态RAM(SRAM)、同步动态随机存储器(SDRAM)，等等)或非易失性存储器(例如，一次性可编程ROM(OTPROM)、可编程ROM(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、掩模型ROM、闪存ROM、闪速存储器(例如，NAND闪存，或者NOR闪存)、硬盘驱动器，或固态驱动(SSD)中的至少一个。外部存储器234可以包括闪盘驱动，例如，紧凑式闪存(CF)存储器、安全数字(SD)存储器、微型SD存储器、迷你SD存储器、极速卡(xD)存储器、多媒体卡(MMC)，或者记忆棒TM。外部存储器234可以经由各种接口在功能上或物理地与电子设备201相连接。
例如，传感器模块240可以测量物理量或检测电子设备201的运动状态，并且传感器模块240可以将测量的或检测的信息转换为电信号。传感器模块240可以包括例如手势传感器240A、陀螺仪传感器240B、大气压力传感器240C、磁传感器240D、加速度传感器240E、握持传感器240F、接近传感器240G、色彩传感器240H(例如，红-绿-监(RGB)传感器)、生物传感器240I、温度/湿度传感器240J、照度传感器240K，和紫外线(UV)传感器240M中的至少一个。另外地或替换地，感测模块240可以例如包括电子鼻传感器、肌电图学(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器，或者指纹传感器。传感器模块240可以另外包括用于控制感测模块中所包括的传感器中的至少一个或多个的控制电路。根据本公开的实施例，电子设备201可以另外包括被配置为作为处理器210的一部分或与处理器210分开地控制传感器模块240的处理器，并且电子设备201可以在处理器210处于休眠模式中时控制传感器模块240。
输入单元250可以例如包括触摸面板252、(数字)笔传感器254、键256，或超声波输入设备258。触摸面板252可以使用电容、电阻、红外，或超声波方法中的至少一个。触摸面板252可以另外包括控制电路。触摸面板252可以另外包括触觉层以向用户提供即时反应。(数字)笔传感器254可以包括例如触摸面板的一部分或单独的片用于辨识。键256可以例如包括物理按钮、光学键或小键盘。超声波输入设备258可以感测通过麦克风(例如，麦克风288)从输入工具生成的超声波以识别对应于感测的超声波的数据。
显示器260(例如，显示器160)可以包括面板262、全息图设备264、投影仪266，和/或用于控制其的控制电路。面板262可以被实施为柔性的、透明的，或可穿戴的。可以在一个或多个模块中将面板262与触摸面板252一起配置。根据本公开的实施例，面板262可以包括压力传感器(或姿态传感器)，其可以测量用户的触摸作出的按压的强度。可以与触摸面板252在单个本体中实施压力传感器，或可以在与触摸面板252分开的一个或多个传感器中实施压力传感器。全息图设备264可以通过使用光干涉在空中作出三维(3D)图像(全息图)。投影仪266可以通过将光投射到屏幕上来显示图像。屏幕例如可以位于电子设备201的内部或外部。
接口270可以例如包括高清晰度多媒体接口(HDMI)272、USB 274、光接口276，或者D超小型(D-sub)278。可以将接口270包括在例如图1中示出的通信接口170中。另外地或替换地，接口270可以包括移动高清晰度链接(MHL)接口、安全数字(SD)卡/多媒体卡(MMC)接口，或红外线数据协会(IrDA)标准接口。
音频模块280可以将例如声音信号转换为电信号，并且反之亦然。可以将音频模块280的至少一部分包括在例如如图1所示的输入/输出接口145中。音频模块280可以处理通过例如扬声器282、接收器284、耳机286，或麦克风288输入/输出的声音信息。
例如，照相机模块291可以是用于捕捉静止图像和视频的设备，并且根据本公开的实施例，可以包括一个或多个图像传感器(例如，正面和背面传感器)、镜头、图像信号处理器(ISP)，或者诸如LED或氙气灯之类的闪光。根据本公开的实施例，照相机模块291可以包括照相机模块180的整体或一部分。
例如，功率管理器模块295可以管理电子设备201的功率。根据本公开的实施例，功率管理器模块295可以包括功率管理集成电路(PMIC)、充电器IC，或电池或电量计。PMIC可以具有有线和/或无线充电方案。无线充电方案可以例如包括磁共振方案、磁感应方案，或基于电磁波的方案，并且可以添加诸如环形线圈、谐振电路、整流器等等的附加电路用于无线充电。电池电量计可以在电池296被充电时测量电池296的剩余功率、电压、电流，或者温度的量。电池296可以例如包括可再充电电池或太阳能电池。
指示器297可以指示电子设备201或电子设备的一部分(例如，处理器210)的特定状态，例如包括启动状态、消息状态，或再充电状态。马达298可以将电信号转换为机械振动并且可以生成振动或触觉效果。电子设备201可以包括可以按照例如数字多媒体广播(DMB)、数字视频广播(DVB)，或mediaFloTM标准来处理媒体数据的移动TV支持设备(例如，GPU)。电子设备的前述组件的每一个可以包括一个或多个部分，并且部分的名称可以随电子设备的类型而变化。根据各个实施例，电子设备(例如，电子设备201)可以排除一些元件或包括更多元件，或可以将一些元件组合为可以执行与组合之前的元件相同的功能的单个实体。
根据本公开的实施例，一种电子设备可以包括图像传感器和一个或多个处理器，其中，一个或多个处理器可以被配置为接收用于照相的信号，响应于该信号通过图像传感器按照第一帧速率来获取外部对象的第一多个图像帧，基于第一多个图像帧来检测与外部对象相关联的变化，当变化满足指定的条件时，按照第一帧速率或第二帧速率来获取外部对象的第二多个图像帧并且停止检测变化，使用第一多个图像帧中的至少一些来生成视频的第一部分，使用第二多个图像帧中的至少一些来生成视频的第二部分，以及在停止检测变化之后，基于用户输入，使用按照第一帧速率或第三帧速率获取的外部对象的第三多个图像帧中的至少一些来生成视频的第三部分。
根据本公开的实施例，一个或多个处理器可以包括第一处理器和第二处理器。可以将第一处理器包括在图像传感器中。可以在图像传感器外部提供第二处理器。第一处理器可以被配置为从第二处理器接收用于照相的信号，响应于该信号按照第一帧速率来获取外部对象的第一多个图像帧，基于第一多个图像帧来检测与外部对象相关联的变化，以及当变化满足指定的条件时，按照第一帧速率或第二帧速率来获取外部对象的第二多个图像帧并且停止检测变化。第二处理器可以被配置为使用第一多个图像帧中的至少一些来生成视频的第一部分，使用第二多个图像帧中的至少一些来生成视频的第二部分，以及在停止检测变化之后，基于用户输入，使用通过第一处理器按照第一帧速率或第三帧速率获取的外部对象的第三多个图像帧的中的至少一些来生成视频的第三部分。
根据本公开的实施例，图像传感器可以另外包括存储器。一个或多个处理器可以被配置为在存储器中存储第一多个图像帧当中的指定的数量的第一图像帧，以及当变化满足指定的条件时，至少使用存储在存储器中的第二多个图像帧中的至少一些且第一图像帧中的至少一些来生成视频的第二部分。
根据本公开的实施例，一个或多个处理器可以被配置为按照第一比率来选择第一多个图像帧当中的指定的数量的第一图像帧并且将所选择的第一图像帧存储在存储器中，以及按照第二比率在第一多个图像帧当中选择第二图像帧并且使用所选择的第二图像帧来生成视频的第一部分。
根据本公开的实施例，一个或多个处理器可以被配置为当变化满足指定的条件时停止生成视频的第一部分，获取与停止第一部分的生成时的时间相对应的第一信息和与获取第二多个图像帧中的每一个时的时间相对应的第二信息，以及基于第一信息和第二信息来生成视频的第二部分。
根据本公开的实施例，一个或多个处理器可以被配置为接收关于与外部对象的至少一部分相对应的感兴趣区域(ROI)的信息，基于该信息从第一多个图像帧中的至少一些中识别ROI，以及基于识别的ROI来检测与外部对象相关联的变化。
根据本公开的实施例，一个或多个处理器可以被配置为基于第一多个图像帧当中的在从接收用于照相的信号时的时间起预设时间过去之后所获取的图像帧来检测与外部对象相关联的变化。
根据本公开的实施例，电子设备可以进一步包括显示器。一个或多个处理器可以被配置为控制显示器按照低于第一帧速率的第四帧速率来显示第一多个图像帧、第二多个图像帧以及第三多个图像帧中的一些。控制显示器可以包括控制显示器来显示与获取第一多个图像帧、第二多个图像帧以及第三多个图像帧的帧速率有关的内容。
根据本公开的实施例，一种电子设备可以包括具有存储器和第一处理器的图像传感器和在图像传感器外部提供的第二处理器，其中，第一处理器可以被配置为从第二处理器接收用于视频照相的信号，响应于该信号按照第一帧速率来获取外部对象的第一多个图像帧，在存储器中存储第一多个图像帧当中的指定的数量的第一图像帧，基于第一多个图像帧中的至少一些来检测与外部对象相关联的变化，以及当变化满足指定的条件时，按照第一帧速率或第二帧速率来获取外部对象的第二多个图像帧并且将第二多个图像帧存储在存储器中，并且第二处理器可以被配置为使用第一多个图像帧当中的第二图像帧来生成视频的第一部分，以及至少使用第一图像帧中的至少一些和第二多个图像帧中的至少一些来生成视频的第二部分。
根据本公开的实施例，第一处理器可以被配置为当变化满足指定的条件时停止检测变化。第二处理器可以被配置为，在停止检测变化之后，基于用户输入，使用通过第一处理器按照第一帧速率或第三帧速率获取的外部对象的第三多个图像帧中的至少一些来生成视频的第三部分。
根据本公开的实施例，第一处理器可以被配置为按照第一比率来选择第一多个图像帧当中的指定的数量的第一图像帧并且将所选择的第一图像帧存储在存储器中，以及按照第二比率在第一多个图像帧当中选择第二图像帧以及向第二处理器传送所选择的第二图像帧。
根据本公开的实施例，第二处理器可以被配置为当变化满足指定的条件时停止生成视频的第一部分，获取与停止第一部分的生成时的时间相对应的第一信息和与获取第二多个图像帧中的每一个时的时间相对应的第二信息，以及基于第一信息和第二信息来生成视频的第二部分。
根据本公开的实施例，第一处理器可以被配置为接收关于与外部对象的至少一部分相对应的感兴趣区域(ROI)的信息，基于该信息从第一多个图像帧以及第二多个图像帧中的至少一些中识别ROI，以及基于识别的ROI来检测与外部对象相关联的变化。
根据本公开的实施例，第一处理器可以被配置为基于第一多个图像帧当中的在从接收用于视频照相的信号时的时间起预设时间过去之后所获取的图像帧来检测与外部对象相关联的变化。
根据本公开的实施例，电子设备可以进一步包括显示器。第一处理器可以被配置为控制显示器按照低于第一帧速率的第四帧速率来显示第一多个图像帧以及第二多个图像帧中的一些。控制显示器可以包括：控制显示器显示与获取第一多个图像帧和第二多个图像帧的帧速率有关的内容。
根据本公开的实施例，一种电子设备可以包括包括存储器的图像传感器和一个或多个处理器，其中，一个或多个处理器可以被配置为接收用于照相的信号，响应于该信号通过图像传感器按照第一帧速率来获取外部对象的第一多个图像帧，使用第一多个图像帧中的至少一些来生成视频的第一部分，基于第一多个图像帧来检测与外部对象相关联的变化，当变化满足指定的条件时，停止生成第一部分，通过图像传感器按照所述第一帧速率或第二帧速率来获取外部对象的第二多个图像帧，识别与变化满足指定的条件时的时间相对应的第一信息，将第二多个图像帧存储在存储器中并且识别与获取第二多个图像帧中的每一个时的时间相对应的第二信息，当预设事件发生时，按照第一帧速率来获取外部对象的第三多个图像帧并且识别与获取第三多个图像帧中的每一个时的时间相对应的第三信息，以及至少基于识别的第一信息、第二信息以及第三信息来生成视频的第二部分和第三部分。
根据本公开的实施例，可以使用第一多个图像帧中的至少一些来生成视频的第一部分，可以使用第二多个图像帧中的至少一些来生成视频的第二部分，以及可以使用第三多个图像帧中的至少一些来生成视频的第三部分。
根据本公开的实施例，一个或多个处理器可以被配置为基于与变化满足指定的条件时的时间相对应的信号来停止生成视频的第一部分。
根据本公开的实施例，一个或多个处理器可以被配置为在从图像传感器接收到第二多个图像帧当中的包括第二信息的图像帧时来生成视频的第二部分和第三部分。
图3图示出根据本公开的实施例的图像传感器的结构的框图。
根据本公开的实施例，图像传感器300可以是在电子设备(例如101或201)中的照相机模块(例如，180或291)的组件。
参考图3，图像传感器300可以包括像素阵列310、行驱动器320、列读出电路330、控制器340、存储器350，以及接口360中的至少一个。
像素阵列310可以包括多个像素311至319。例如，像素阵列310可以具有其中在MxN矩阵图案中排列多个像素311至319的结构(其中M和N是正整数)。其中在二维(2D)MxN图案中排列多个像素311至319的像素阵列310可以具有M行和N列。像素阵列310可以包括多个光敏元件，例如，光电二极管或钉扎(pinned)光电二级管。像素阵列310可以使用多个光敏元件来检测光并且将光转换为模拟电信号以生成图像信号。
行驱动器320可以针对每行来驱动像素阵列310。例如，行驱动器320可以向像素阵列310输出控制像素阵列310中的多个像素311至319的传输晶体管的传输控制信号、控制复位晶体管的复位控制信号，或控制选择晶体管的选择控制信号。行驱动器320可以确定将被读出的行。
列读出电路330可以接收由像素阵列310生成的模拟电信号。例如，列读出电路330可以从自构成像素阵列310的多个列当中选择的列线接收模拟电信号。列读出电路330可以包括模数转换器(ADC)331，其将从所选择的列线接收到的模拟电信号转换为像素数据(或数字信号)并且输出像素数据。同时，列读出电路330从像素阵列310接收模拟电信号、使用ADC 331将所接收的模拟电信号转换为像素数据并且输出像素数据，可以被称为读出。列读出电路330和ADC 331可以确定将被读出的列。
根据本公开的实施例，支持高速照相的图像传感器300的列读出电路330可以包括多个ADC 331。多个ADC 331中的每一个可以与像素阵列310中的多个光电二极管中的相应一个并联连接，并且同时地从多个光电二极管接收到的模拟电信号可以基于该并联结构被快速转换为像素数据。支持高速照相的图像传感器300的列读出电路330可以以高帧速率(例如，960每秒帧(frames per second,fps))执行读出。例如，以960fps进行的读出意味着每1/960秒一次地执行从像素阵列310接收模拟电信号、使用ADC 331将所接收的模拟电信号转换为像素数据，以及输出像素数据。换句话说，以960fps进行的读出可以意指每秒输出960个图像帧。
控制器340可以基于从列读出电路330接收到的像素数据来获取图像帧。控制器340可以通过接口360向外部电路370输出图像帧。根据本公开的实施例，控制器340可以生成控制多个像素311至319的传输晶体管的传输控制信号、控制复位晶体管的复位控制信号，或控制选择晶体管的选择控制信号，并且向行驱动器320提供所生成的信号。控制器340可以生成从构成像素阵列310的多个列线当中选择至少一个列线的选择控制信号并且向列读出电路330提供所生成的信号。例如，基于从控制器340提供的选择控制信号，列读出电路330可以启用多个列线中的一些并且禁用其他列线。可以在包括中央处理单元(CPU)或应用处理器(AP)的处理器(例如，120或210)、一种块或模块中实施控制器340。当控制器340被实施为块时，控制器340可以包括用于检测例如图像之间的差别的减法器、或者用于对图像进行比较的比较器。根据本公开的实施例，控制器340可以减小读出图像的尺寸并且将多个减小尺寸的图像相比较以检测图像之间的差别。
存储器350可以包括易失性和/或非易失性存储器。存储器350是图像传感器300内部的存储设备。存储器350可以包括缓冲存储器。根据本公开的实施例，存储器350可以暂时地存储从列读出电路330或控制器340输出的数字信号。例如，存储器350可以包括基于由像素阵列310接收的光所获取的至少一个图像帧。存储器350可以存储通过接口360从外部电路370接收的至少一个数字信号。
根据本公开的实施例，存储器350可以存储从列读出电路330以第n帧速率(例如，960fps)读出的至少一个图像帧并且以第M帧速率(例如，120fps)通过接口360向外部电路370递送所存储的至少一个图像帧。换句话说，存储器350可以存储从列读出电路330的每1/960秒读出一次的至少一个图像帧，并且存储器350可以每1/120秒一次地通过接口360向外部电路370递送所存储的至少一个图像帧。
同时，控制器340可以仅仅将以第N帧速率(例如，960fps)通过列读出电路330读出的N个图像帧中的一些存储在存储器350中，从而允许与好象获取了以第M帧速率(例如，120fps)读出的M个图像帧的效果基本相同效果。例如，控制器340可以仅仅将在8/960秒内以960fps读出的八个图像帧之一存储在存储器350中。其中在以960fps读出的多个图像帧当中，仅仅将以1:8的比率选择的图像帧存储在存储器350中，存储在存储器350中的图像帧可以基本上是与通过列读出电路330以120fps读出的那些图像帧相同的图像帧。例如，在仅仅由以1/120秒的周期获取的图像帧构成的视频被定义为‘120fps视频’的情况下，仅仅由以960fps读出的多个图像帧当中的以1:8的比率选择的图像帧构成的视频可以被定义为120fps视频。仅仅由通过列读出电路330以120fps读出的图像帧构成的视频也可以被定义为120fps视频。
接口360可以包括例如输入/输出接口150或通信接口170。接口360可以以无线或有线方案将图像传感器300的组件(例如，控制器340或存储器350)与外部电路370连接。例如，接口360可以向外部电路370(例如电子设备(例如，101或201)的存储器(例如，130或230))递送存储在图像传感器300的存储器350中的至少一个图像帧。接口360也可以向图像传感器300的控制器340递送来自电子设备(例如，101或201)的处理器(例如，120或210)的控制信号。
根据本公开的实施例，图像传感器300可以例如在串行通信方案中通过接口360与外部电路370进行通信。例如，图像传感器300的存储器350可以在集成电路间(I2C)方案中与电子设备(例如，101或201)的处理器(例如，120或210)进行通信。
根据本公开的实施例，图像传感器300可以通过接口360(例如，按照移动行业处理器接口(MIPI)协议定义的接口)与外部电路370相连接。例如，图像传感器300的存储器350可以通过在MIPI协议中定义的接口与电子设备(例如，101或201)的处理器(例如，120或210)进行通信。接口360(例如按照MIPI协议定义的接口)可以以1/120秒的周期向外部电路370递送对应于存储在存储器350中的图像帧的像素数据。
根据本公开的实施例，接口360的输出速度可以是第L帧速率(例如，240fps)，其不同于读出速度，即，第N帧速率(例如，960fps)或第M帧速率(例如，120fps)。例如，在接口360的输出速度是240fps的情况下，控制器340可以在0～1/240秒期间传送在生成视频时使用的一个图像帧，以及在1/240～2/240秒期间传送作为预览图像在显示器上显示的一个图像帧。换句话说，控制器340可以每1/240秒通过具有240fps的输出速度的接口360向外部电路370交替地发送用于生成视频的图像帧和用作预览图像的图像帧。在该情况下，向外部电路370传送用于生成视频的图像帧和用作预览图像的图像帧中的每一个的速度可以是120fps。例如，这就是为什么每1/120秒一次地向外部电路370递送用于生成视频的图像帧。
在仅仅将以960fps读出的多个图像帧当中的以1:8的比率选择的图像帧存储在存储器350中之后，控制器340可以每1/120秒一次地通过具有240fps的输出速度的接口360向外部电路370递送存储在存储器350中的图像帧。在这种情况下，外部电路370中的处理器120可以使用递送的图像帧来生成120fps视频。在将所有以960fps读出的多个图像帧存储在存储器350中之后，控制器340可以每1/120秒一次地通过具有240fps的输出速度的接口360向外部电路370递送存储在存储器350中的图像帧。在这种情况下，外部电路370中的处理器120可以使用递送的图像帧来生成960fps视频。
同时，在每1/120秒一次地通过具有240fps的输出速度的接口360向外部电路370递送存储在存储器350中的图像帧时，可以每1/120秒一次地将通过列读出电路330实时地读出的图像帧中的至少一些作为预览图像递送给外部电路370。外部电路370中的处理器120可以以30fps或60fps通过显示器来显示从图像传感器300的作为预览图像输出的图像帧中的所有或一些。
根据需要，可以将以上描述的组件310至360中的所有或一些包括在图像传感器300中，并且每个组件的数量可以是一个或多个。在以上实施例中使用的帧速率120fps、240fps和960fps可以根据电子设备的设置或接口的性能而变化。
图4图示出根据本公开的实施例的、用于通过图像传感器来获取图像帧的处理的框图。图像传感器400可以是电子设备(例如，101或201)中的照相机模块(例如，180或291)的组件。
参考图4，图像传感器400可以包括至少一个像素阵列410、存储器450以及接口460。图像传感器400可以包括图3的图像传感器300的整体或一部分。
图像传感器400的像素阵列410可以输出与从外部接收到的光相对应的电信号。例如，像素阵列410可以包括由光电二极管构成的多个像素。光电二极管可以接收光并且生成与所接收的光相对应的模拟电信号。可以通过列读出电路(例如，330)将从构成多个像素的多个光电二极管生成的模拟电信号转换为多条像素数据。在这种情况下，每条像素数据可以意指与其相应像素相对应的像素值。在特定时间获取的多条像素数据的集合可以构成至少一个图像帧。
根据本公开的实施例，图像传感器400的像素阵列410可以以预设读出速度来输出多个图像帧421至424。例如，在读出速度被设置为960fps的情况下，图像传感器400可以基于由像素阵列410接收的光，每秒读出960个图像帧。
可以将读出的多个图像帧421至424存储在图像传感器400内部的存储器450中。根据本公开的实施例，图像传感器400的存储器450可以包括缓冲存储器451。例如，可以将以960fps读出的多个图像帧421至424中的一些存储在缓冲存储器451中。在连续地读出的多个图像帧当中，可以将指定数量的图像帧存储在缓冲存储器451中。处理器(例如，120、210或控制器340)可以重复删除存储在缓冲存储器451中的图像帧当中的最早被存储的图像帧并且存储图像帧当中的最新的图像帧的操作。
可以通过接口460(例如，360)将存储在图像传感器400的存储器450中的至少一个图像帧递送到外部电路470。例如，处理器(例如，120、210或控制器340)可以控制接口460向外部电路470递送存储在存储器450中的至少一个图像帧。
图5图示出根据本公开的实施例的电子设备(例如，101或201)的组件的框图。图像传感器500可以是电子设备中的照相机模块(例如，180或291)的组件。图像传感器500可以包括图3的图像传感器300的整体或一部分。
根据本公开的实施例，电子设备可以包括图像传感器500和与图像传感器相连接的外部电路570。例如，外部电路570可以包括处理器510(例如，120或210)、显示器520(例如，160)、输入/输出接口530(例如，150)，和存储器550(例如，130)中的至少一个。
根据本公开的实施例，处理器510可以包括图像处理器511、编码器513和预览处理器515中的至少一个。同时，可以在硬件、软件、固件中，或以其他各种形式来设计处理器510中的组件511、513和515中的至少任何一个，并且可以利用不同的名称来命名每个组件。
例如，图像处理器511可以接收从图像传感器500输出的至少一条像素数据并且处理或编辑所接收的像素数据用于递送到电子设备的至少一个组件。
编码器513可以基于由图像处理器511处理的像素数据来生成至少一个视频。例如，编码器513可以对与从图像传感器500接收到的像素数据相对应的图像帧进行压缩以便被存储在存储器550中。此外，编码器513可以对与从图像传感器500接收到的多条像素数据对应的图像帧进行编码。编码器513可以基于从图像传感器500接收到的多条像素数据以通过图像传感器500获取的顺序对多个图像帧进行排列。处理器510可以将由编码器513编码的视频存储在存储器550中。
预览处理器515可以对与从图像传感器500接收到的像素数据相对应的图像帧调整尺寸以便通过显示器520来显示。“预览图像”意指当用户使用电子设备的照相机模块(例如，180)拍摄至少一个对象的图像时在显示器520上显示的图像。可以实时地将通过图像传感器500获取的至少一个图像帧在显示器520上显示为预览图像，并且电子设备的用户可以通过预览图像容易地取得外部对象的图像。
显示器520可以显示通过图像传感器500获取的至少一个图像帧。例如，显示器520可以显示通过预览处理器515生成的预览图像或存储在存储器550中的至少一个视频。
例如，输入/输出接口530可以向电子设备的其他组件(多个)传递从用户或其他外部设备输入的命令或数据，或可以向用户或其他外部设备输出从电子设备的其他组件(多个)接收到的命令或数据。
存储器550可以存储通过图像传感器500获取的至少一个图像帧或通过编码器513编码的至少一个视频。同时，图像传感器500可以包括至少一个存储器(例如，350)，在这种情况下，存储器550可以意指位于与存储器350分开的空间中的不同的存储空间。
图6图示出根据本公开的实施例的、使用电子设备来执行高速照相的方法的视图。根据本公开的实施例，电子设备可以包括图像传感器(例如，300)、处理器(例如，120或210)和显示器(例如，160)。在这里，图像传感器可以包括像素阵列310、行驱动器320、列读出电路330、控制器340、存储器350以及接口360中的至少一个。
参考图6，处理器可以通过图像传感器获取外部对象601的多个图像帧并且使用获取的图像帧的至少一些来生成视频600。取决于获取构成该视频的图像帧中的每一个的时间以及图像传感器的读出速度，视频600可以被配置为120fps视频或960fps视频。在这里，120fps视频意味着以1/120秒的周期获取构成该视频的图像帧，并且960fps视频意味着以1/960秒的周期获取构成该视频的图像帧。视频600可以包括指示通过显示器的回放的当前位置的内容611。
根据本公开的实施例，图像传感器中包括的控制器340可以将作为列读出电路330的输出速度的读出速度设置为对应于与高速照相模式的执行有关的请求的120fps。在读出速度被设置为120fps的情况下，图像传感器可以基于由像素阵列310接收的光，每秒读出120个图像帧。
控制器340可以使用读出的多个图像帧中的至少两个来检测与外部对象相关联的变化。例如，控制器340可以基于在第一时间620之前通过列读出电路330读出的多个图像帧中的至少两个来检测与外部对象601相关联的变化。例如，能够通过控制器340检测的与外部对象相关联的变化可以包括基于两个图像帧之间的亮度差的变化或者基于两个图像帧中共同包括的外部对象的移动的变化。控制器340可以选择在第一时间620之前通过列读出电路330获取的多个图像帧当中的第一图像帧和第二图像帧。在所选择的第一图像帧的第一亮度和所选择的第二图像帧的第二亮度之间的差超过预设阈值的情况下，处理器可以确定在获取第一图像帧的时间与获取第二图像帧的时间之间已经发生与外部对象601相关联的变化。在这种情况下，控制器340可以将获取第二图像帧的时间设置为第一时间620，并且控制器340可以从第一时间620起开始自动高速照相。
同时，控制器340可以通过接口360向外部电路370递送在第一时间620之前以120fps从列读出电路330读出的第一多个图像帧。例如，当接口360的输出速度是240fps时，控制器340可以在实时地向外部电路370递送以120fps读出的第一多个图像帧，而不将该图像帧存储在存储器350中。因为具有240fps的输出速度的接口可以每1/240秒递送一个图像帧，所以控制器340可以每1/120秒一次地递送用于生成120fps视频的图像帧(例如，0秒、2/240秒、4/240秒、...)，而同时每1/120秒一次地递送预览图像(例如，1/240秒、3/240秒、5/240秒、...)。外部电路370中的处理器可以使用通过图像传感器的接口输出的第一多个图像帧来生成120fps视频。外部电路370中的处理器可以使用通过图像传感器的接口输出的多个图像帧来提供预览。
根据本公开的实施例，从检测到与外部对象相关联的变化时的第一时间620起，控制器340可以将列读出电路330的读出速度提升到例如960fps以执行自动高速照相。当读出速度从120fps提升到960fps时，所获取的图像帧的数量从每秒120增加到每秒960，并且因此可以精确地观察到与外部对象相关联的变化。控制器340可以通过接口360向外部电路370递送紧接在第一时间620之后以960fps从列读出电路330读出的第二多个图像帧。例如，当接口360的输出速度是960fps时，控制器340可以实时地向外部电路370递送以960fps读出的第二多个图像帧，而不将该图像帧存储在存储器350中。
同时，当接口360的输出速度低于960fps时，控制器340可以将以960fps读出的第二多个图像帧存储在存储器350中并且然后可以根据输出速度向外部电路370递送存储在存储器中的第二多个图像帧。例如，控制器340可以将以960fps读出的所有第二多个图像帧存储在存储器350中。控制器340可以通过接口360向外部电路370递送所存储的第二多个图像帧。例如，当接口360的输出速度是240fps时，控制器340可以以120fps输出预览图像，同时以120fps输出存储在存储器350中的第二多个图像帧。外部电路370中的处理器可以使用通过图像传感器的接口输出的第二多个图像帧来生成960fps视频。控制器340可以将以960fps读出的第二多个图像帧存储在存储器350中，同时以120fps通过接口360输出存储在存储器350中的第二多个图像帧。替换地，控制器340可以从存储器350的存储充满以960fps读出的第二多个图像帧的时刻起以120fps通过接口360输出存储在存储器350中的第二多个图像帧。
根据本公开的实施例，在存储器350的存储在第二时间621被填满的情况下控制器340可以暂停自动高速照相。控制器340可以与暂停自动高速照相对应地降低列读出电路330的读出速度。例如，控制器340可以将读出速度从960fps降低到120fps以实时地向外部电路370递送读出的图像帧，而不将图像帧存储在存储器350中。列读出电路330可以从第二时间621起以120fps读出第三多个图像帧。
同时，控制器340可以存储从第一时间620起以960fps读出的第二多个图像帧，直到存储器350的存储被填满为止，并且当存储器350的存储被填满时，控制器340可以从第二时间621起输出存储在存储器350中的第二多个图像帧。例如，当接口360的输出速度是240fps时，控制器340可以以120fps输出存储在存储器350中的第二多个图像帧，同时以120fps输出实时地读出的第三多个图像帧。外部电路370中的处理器可以使用通过图像传感器的接口输出的第二多个图像帧来生成960fps视频。外部电路370中的处理器可以使用通过图像传感器的接口输出的第三多个图像帧来生成120fps视频。
根据本公开的实施例，控制器340可以在第三时间622从用户接收与开始手动高速照相有关的信号。控制器340可以与所接收的与开始手动高速照相有关的信号相对应地将列读出电路330的读出速度提升到960fpls。列读出电路330可以从第三时间622起以960fps读出第四多个图像帧。外部电路370中的处理器可以使用通过图像传感器的接口输出的第四多个图像帧来生成960fps视频。
根据本公开的实施例，在第四时间623填满存储器350的存储的情况下，控制器340可以暂停手动高速照相。控制器340可以与暂停手动高速照相相对应地降低列读出电路330的读出速度。例如，控制器340可以将读出速度从960fps降低到120fps以实时地向外部电路370递送读出图像帧，而不将该图像帧存储在存储器350中。列读出电路330可以从第四时间623起以120fps读出第五多个图像帧。外部电路370中的处理器可以使用通过图像传感器的接口输出的第五多个图像帧来生成120fps视频。
根据本公开的实施例，图像传感器中所包括的控制器340可以将作为列读出电路330的输出速度的读出速度设置为对应于与高速照相模式的执行有关的请求的960fps。在读出速度被设置为960fps的情况下，图像传感器可以基于由像素阵列310接收的光来每秒读出960个图像帧。
同时，控制器340可以以1:8的比率来选择以960fps读出的多个图像帧中的一些。换句话，控制器340可以将每八个读出图像帧中的一个存储在存储器350中。控制器340可以向外部电路370递送存储在存储器350中的图像帧，并且外部电路370中的处理器可使用递送的图像帧来生成120fps视频。
或者，控制器340可以将以960fps读出的所有多个图像帧存储在存储器350中。控制器340可以向外部电路370递送存储在存储器350中的图像帧，并且外部电路370中的处理器可以使用递送的图像帧来生成960fps视频。
在以上实施例中，在第一时间620和第二时间621之间获取的960fps视频被描述为自动高速照相的结果，并且在第三时间622和第四时间623之间获取的960fps被描述为手动高速照相的结果。然而，这并不意图限制自动高速照相和手动高速照相的顺序。可以有选择地执行自动高速照相和手动高速照相，并且它们可以被执行三次或更多次。
在以上实施例中，图像传感器中的控制器340已经被描述为用于所有操作的实体。然而，这仅仅是用于电子设备中的一个或多个处理器的示例，并且也可以通过电子设备中的其他各种处理器以及控制器340来执行按照实施例的操作。例如，在本文阐述的各个实施例中，控制器340可以被称为第一处理器，并且外部电路370中的处理器510可以被称为第二处理器。在以上实施例中使用的帧速率120fps和960fps可以根据电子设备的设置或接口的性能而变化。
图7图示出根据本公开的实施例的、使用电子设备来执行自动高速照相的方法的流程图。
在包括控制器(例如，340)和存储器(例如，350)的图像传感器(例如，300)中，控制器可以是执行方法的实体。在这里，图像传感器可以包括像素阵列310、行驱动器320、列读出电路330、控制器340、存储器350以及接口360中的至少一个。
参考图7，在操作710中，控制器可以响应于与高速照相模式的执行有关的信号将列读出电路的读出速度设置为第一速度(或者第一帧速率)，并且控制器340可以获取以第一速度读出的第一多个图像帧。例如，可以在接收到对在显示器上显示的第一图标的触摸输入时执行高速照相模式。控制器可以与接收针对在显示器上显示的第一图标的用户的触摸输入相对应地接收与高速照相的执行有关的信号。控制器可以响应于高速照相模式的执行将列读出电路的读出速度设置为例如120fps。在读出速度被设置为120fps的情况下，列读出电路可以基于由像素阵列接收的光每秒读出120个图像帧。
在操作720中，控制器可以接收与开始记录有关的信号。例如，可以在接收到对在显示器上显示的第二图标的触摸输入时执行记录。控制器可以与接收针对在显示器上显示的第二图标的用户的触摸输入相对应地接收与开始记录有关的信号。
同时，本领域普通技术人员可以容易地理解，除在接收到对在显示器上显示的第一或第二图标的触摸输入的情况下之外，也可以与通过在电子设备中提供的各种输入设备(例如，硬键)接收的信号相对应地执行或开始高速照相或记录。
在操作730中，控制器可以选择以第一速度从列读出电路读出的第一多个图像帧中的至少两个。例如，控制器可以选择以120fps读出的第一多个图像帧当中的被连续地读出的第一图像帧和第二图像帧。换句话说，第一图像帧和第二图像帧是以1/120秒的间隔被连续地读出的图像帧。
在操作740中，控制器可以使用至少两个图像帧来检测与外部对象相关联的变化。例如，控制器可以选择以120fps读出的第一多个图像帧当中的最新获取的两个图像帧作为第一和第二图像帧。在所选择的第一图像帧的第一亮度和所选择的第二图像帧的第二亮度之间的差超过预设阈值的情况下，控制器可以确定在获取第一图像帧的时间与获取第二图像帧的时间之间已经发生与外部对象相关联的变化。与与外部对象相关联的变化相对应地，控制器可以执行操作750用于提高读出速度。
在所选择的第一图像帧的第一亮度和所选择的第二图像帧的第二亮度之间的差等于或小于预设阈值的情况下，控制器可以确定在获取第一图像帧的时间与获取第二图像帧的时间之间还没有出现与外部对象相关联的变化。在这种情况下，控制器可以重复操作730和740以保持检测与外部对象相关联的变化。
在操作750中，控制器可以将读出速度设置为第二速度，并且控制器可以将以第二速度读出的多个图像帧存储在存储器中。例如，和与外部对象相关联的变化对应地，控制器可以将读出速度从第一速度(例如，120fps)改变为第二速度(例如，960fps)。在读出速度被设置为960fps的情况下，列读出电路可以基于由像素阵列接收的光每秒读出960个图像帧。控制器可以将以第二速度读出的第二多个图像帧存储在存储器中。
在操作760中，控制器可以确定存储器的存储是否满。例如，可以每秒将以960fps读出的960个第二图像帧存储在存储器中。控制器可以确定存储器350的存储是否充满以960fps读出的第二多个图像帧。在确定存储器没有满时，控制器可以重复操作750和760并且确定存储器350的存储是否满。
相比之下，在确定存储器满时控制器可以暂停将第二多个图像帧存储在存储器350中并且执行操作770。在操作770中，控制器可以向外部电路(例如，370)输出存储在存储器350中的至少一个图像帧。控制器可以将已经被设置为第二速度的读出速度改变为第三速度，并且控制器可以获取以第三速度读出的第三多个图像帧。例如，第三速度可以低于960fps。例如，第三速度可以是120fps。控制器可以获取以120flps读出的第三多个图像帧。
在操作780中，控制器可以接收与结束记录有关的信号。响应于所接收的信号，控制器可以将列读出电路的读出速度降低为小于第三速度。例如，即使当记录结束时，也可以通过电子设备的显示器输出预览图像。控制器可以根据预览图像的输出速度将读出速度设置为30fps。同时，在接收从图像传感器输出的第一多个图像帧的至少一些以及第二多个图像帧和第三多个图像帧中的至少一些时，外部电路370(例如，370)的处理器可以使用所接收的图像帧来生成慢动作电影。例如，慢动作电影可以由120fps电影和960fps电影构成。
图8和9是图示出根据本公开的实施例的、使用电子设备来执行高速照相的方法的视图。
图8图示出根据本公开的实施例的、使用电子设备来执行高速照相的方法的流程图。
在包括存储器801、控制器802和读出电路803的图像传感器800中，控制器可以是执行该方法的实体。或者，在包括图像传感器800、处理器805和显示器807的电子设备(例如，101或201)中，处理器可以是执行该方法的实体。图像传感器800可以包括图3的图像传感器300的整体或一部分。
参考图8，在操作811中，控制器802或处理器805可以接收与照相(或录像(videography)、录像带录制(videotaping))的开始有关的信号。例如，照相可以与电子设备的用户执行照相应用相对应地开始。控制器802可以向读出电路803递送与所接收的信号相对应的命令。处理器805可以向显示器807递送与所接收的信号相对应的命令。
例如，与所接收的信号相对应地，控制器802可以激活读出电路803。在操作813中，控制器802可以将作为读出电路的输出速度的读出速度设置为第一速度(例如，30fps)。
与所接收的信号相对应地，处理器805可以执行照相应用并且通过显示器807来显示与执行的照相应用相对应的用户界面(UI)。在操作815中，处理器805可以通过显示器807来显示与照相应用相对应的UI。在操作817中，处理器805可以通过显示器807来显示从图像传感器800输出的图像帧中的至少一些作为预览图像。
在操作819中，控制器802或处理器805可以接收与高速照相模式的执行有关的信号。例如，可以在接收到对在显示器807上显示的第一图标的触摸输入时执行高速照相模式。控制器802或处理器805可以在接收到对在显示器807上显示的第一图标的用户的触摸输入时执行高速照相模式。控制器802可以向读出电路803递送与所接收的信号相对应的命令。处理器805可以向显示器807递送与所接收的信号相对应的命令。
例如，与所接收的信号相对应地，控制器802可以改变读出电路803的读出速度。在操作821中，控制器802可以将读出电路803的读出速度从第一速度(例如，30fps)改变为第二速度(例如，120fps或960fps)。
与所接收的信号相对应地，处理器805可以激活在显示器807上显示的第一图标，例如，高速照相模式图标。在操作823中，处理器805可以通过显示器807来显示激活的高速照相模式图标。
在操作825中，控制器802或处理器805可以接收与记录的开始有关的信号。例如，可以在接收到对在显示器807上显示的第二图标的触摸输入时执行记录。与接收到对在显示器807上显示的第二图标的用户的触摸输入相对应地，控制器802或处理器805可以接收与记录的开始有关的信号。
同时，与所接收的信号相对应地，控制器802可以选择通过读出电路803读出的多个图像帧当中的至少两个图像帧。例如，控制器802可以选择通过读出电路803以第二速度(例如，120fps或960fpls)读出的多个图像帧当中的被连续地获取的第一图像帧和第二图像帧。
在操作827中，控制器802可以检测与外部对象相关联的变化。例如，控制器802可以将所选择的第一和第二图像帧相比较并且在第一图像帧和第二图像帧之间进行区分。在通过第一图像帧和第二图像帧之间的差别检测到与外部对象相关联的变化的情况下，在操作829中，控制器802可以将读出的图像帧存储在存储器801中。
在操作831中，控制器802或处理器805可以接收与记录的结束有关的信号。例如，在再次接收到对在显示器807上显示的第二图标的触摸输入时，可以结束记录。与再次接收到对在显示器807上显示的第二图标的用户的触摸输入相对应地，控制器802或处理器805可以接收与记录的结束有关的信号。控制器802可以向读出电路803递送与所接收的信号相对应的命令。在操作835中，处理器805可以执行与所接收的信号相对应的编码。
例如，与所接收的信号相对应地，控制器802可以改变读出电路803的读出速度。在操作833中，控制器802可以将读出电路803的读出速度从第二速度(例如，120fps或960fps)改变为第三速度(例如，120fps)。
与所接收的信号相对应地，在操作835中，处理器805可以执行编码以基于从图像传感器800输出的图像帧来生成视频。
在操作837中，控制器802或处理器805可以接收与暂停高速照相模式有关的信号。例如，可以在再次接收到对在显示器807上显示的第一图标的触摸输入时暂停高速照相模式。控制器802或处理器805在再次接收到对在显示器807上显示的第一图标的用户的触摸输入时，可以暂停高速照相模式。控制器802可以向读出电路803递送与所接收的信号相对应的命令。处理器805可以向显示器807递送与所接收的信号相对应的命令。
例如，与所接收的信号相对应地，控制器802可以改变读出电路803的读出速度。在操作839中，控制器802可以将读出电路803的读出速度从第三速度(例如，120fps)改变为第一速度(例如，30fps)。
与所接收的信号相对应地，处理器805可以去激活在显示器807上显示的第一图标，例如，高速照相模式图标。在操作841中，处理器805可以通过显示器807来显示去激活的高速照相模式图标。
在操作843中，控制器802或处理器805可以接收与照相的结束有关的信号。例如，照相可以与电子设备的用户结束照相应用相对应地结束。控制器802可以向读出电路803递送与所接收的信号相对应的命令。处理器805可以向显示器807递送与所接收的信号相对应的命令。
例如，与所接收的信号相对应地，控制器802可以去激活读出电路803。
与所接收的信号相对应地，处理器805可以结束照相应用。
图9图示出根据本公开的实施例的、使用电子设备来执行高速照相的方法随时间推移的视图。
在包括一个或多个处理器、图像传感器和显示器的电子设备(例如，101或201)中，一个或多个处理器可以是执行该方法的实体。图像传感器可以包括图3的图像传感器300的整体或一部分。一个或多个处理器可以包括图像传感器中所包括的控制器(例如，340)或处理器(例如，510)。
参考图9，根据本公开的实施例，示出了总共三个子视图910、920，和930，它们与使用电子设备来执行高速照相的方法有关。图9图示出指示随着时间的推移而变化的读出速度的第一图901、指示获取构成视频的图像帧的速度的第二图902和指示通过显示器显示的预览图像的输出速度的第三图903。
根据本公开的实施例，一个或多个处理器可以在t0接收与照相的开始有关的请求。与在t0接收的请求相对应地，一个或多个处理器可以将读出电路的读出速度设置为30fps。一个或多个处理器可以同时地通过显示器以30fps显示从图像传感器输出的图像帧作为预览图像。
一个或多个处理器可以在t1接收与高速照相模式的执行有关的请求。参考子视图910，可以在接收到对在显示器904上显示的第一图标911的触摸输入时执行高速照相模式。一个或多个处理器可以在接收到对在显示器904上显示的第一图标911的用户907的触摸输入时执行高速照相模式。与在t1接收的请求相对应地，一个或多个处理器可以将读出电路的读出速度改变为960fps。一个或多个处理器可以同时通过显示器904以30fps显示以960fps读出的图像帧中的一些作为预览图像。
一个或多个处理器可以在t2接收与记录的开始有关的请求。参考子视图920，可以在接收到对在显示器904上显示的第二图标905的触摸输入时执行记录。一个或多个处理器可以在接收到对在显示器904上显示的第二图标905的用户907的触摸输入时开始记录。与在t2接收的请求相对应地，一个或多个处理器可以将获取以960fps读出的图像帧中的一些。例如，一个或多个处理器可以获取以960fps读出的每八个图像帧中的一个，从而允许好像获取了基本上以120fps读出的图像帧的这样的效果。一个或多个处理器可以使用基本上以120fps读出的图像帧来生成120fps视频。同时，一个或多个处理器可以通过激活的第一图标921显示'120fps'，其表示所获取的图像帧被读出的实际速度。
一个或多个处理器可以在t3检测与外部对象相关联的变化。参考子视图930，一个或多个处理器可以基于在t2和t3之间读出的图像帧当中的至少两个图像帧来检测与外部对象909相关联的变化。与在t3检测的与外部对象909相关联的变化相对应地，一个或多个处理器可以将以960fps读出的所有图像帧存储在图像传感器中所提供的存储器(例如，350)中。一个或多个处理器可以通过将以960fps读出的所有图像帧存储在存储器中而具有好像以960fps获取了以960fps读出的图像帧这样的效果。例如，一个或多个处理器可以使用存储在存储器中的图像帧来生成960fps视频。同时，一个或多个处理器可以通过激活的第一图标931显示'960fps'，其表示所获取的图像帧被读出的速度。
当预设事件在t4发生时，一个或多个处理器可以将读出电路的读出速度改变为120fps。例如，预设事件可以包括当图像传感器内部的存储器的存储为满时。预设事件可以包括当没有检测到与外部对象相关联的另外的变化时。预设事件可以包括当预设时间过去时。预设事件可以包括当从外部接收到与结束高速照相有关的信号时。
例如，一个或多个处理器可以将图像传感器中的存储器的存储为满的时刻辨认为t4。一个或多个处理器可以在确定图像传感器中的存储器不能存储更多图像帧时降低读出速度。
一个或多个处理器可以将与外部对象相关联的变化被确定为停止的时刻辨认为t4。一个或多个处理器可以基于从图像传感器读出的图像帧中的至少两个或存储在存储器中的图像帧中的至少两个来确定是否检测到与外部对象相关联的另外的变化。与在t4没有检测到与外部对象相关联的另外的变化相对应地，一个或多个处理器可以将读出速度从960fps改变为120fps。
同时，一个或多个处理器可以使用在t4之后以120fps读出的图像帧来生成120fps视频。
一个或多个处理器可以在t5接收与记录的结束有关的请求。参考子视图920，可以在再次接收到对在显示器904上显示的第二图标905的触摸输入时结束记录。一个或多个处理器可以在再次接收到对在显示器904上显示的第二图标905的用户的触摸输入时结束记录。与在t5接收的请求相对应地，一个或多个处理器可以暂停使用以120fps读出的图像帧来生成视频。
同时，一个或多个处理器可以从记录结束时的t5起开始编码以生成视频。例如，一个或多个处理器可以在存储器550中存储在t2和t3之间读出的多个第一图像中的一些、在t3和t4之间读出的所有第二多个图像帧，以及在t4和t5之间读出的第三多个图像帧中的一些，并且一个或多个处理器可以从接收到与结束记录有关的请求时的t5起对存储在存储器550中的图像帧进行编码。当完成编码时，一个或多个处理器可以将编码视频存储在存储器550中。
一个或多个处理器可以在t6接收与暂停高速照相模式有关的请求。参考子视图910，在再次接收到对在显示器904上显示的第一图标911的触摸输入时，高速照相模式可以暂停。一个或多个处理器可以在再次接收到对在显示器904上显示的第一图标911的用户的触摸输入时暂停高速照相模式。与在t6接收的请求相对应地，一个或多个处理器可以将读出速度改变为30fps。
一个或多个处理器可以在t7接收与照相的结束有关的请求。一个或多个处理器可以与在t7接收请求的相对应地将图像传感器去激活。同时，一个或多个处理器可以控制显示器不再显示预览图像。
图10至12是图示出根据本公开的实施例的、在使用电子设备执行高速照相时利用缓冲存储器的方法的流程图。
图10图示出根据本公开的实施例的、用于利用缓冲存储器的方法的流程图。
在包括控制器(例如，340)和存储器(例如，350)的图像传感器(例如，300)中，控制器可以是执行方法的实体。在这里，图像传感器可以包括像素阵列310、行驱动器320、列读出电路330、控制器340、存储器350以及接口360中的至少一个。
参考图10，在操作1010中，控制器可以响应于与高速照相模式的执行有关的请求将列读出电路的读出速度设置为第一速度(或者第一帧速率)，并且控制器340可以获取以第一速度读出的第一多个图像帧。例如，可以在接收到对在显示器上显示的第一图标的触摸输入时执行高速照相模式。控制器可以与接收针对在显示器上显示的第一图标的用户的触摸输入相对应地接收与高速照相的执行有关的信号。控制器可以响应于高速照相模式的执行将列读出电路的读出速度设置为高速，例如960fps。在读出速度被设置为960fps的情况下，图像传感器可以基于像素阵列310接收的光来每秒读出960个图像帧。
在操作1020中，控制器可以在存储器350中存储与以第一速度读出的第一多个图像帧中的一些相对应的N个图像帧。例如，控制器可以在图像传感器中所提供的存储器中存储以960fps读出的第一多个图像帧当中的最新读出的N个图像帧。N可以是由用户预设的非零整数。同时，控制器可以向外部电路370输出以第一速度读出的第一多个图像帧中的一些。向外部电路输出的第一多个图像帧中的一些可以用作预览图像或用于生成视频。例如，向外部电路输出的第一多个图像帧中的一些可以是这样的图像帧——它们每一个都是从以960fps读出的每八个第一图像帧中输出的。在这种情况下，向外部电路输出的图像帧可以被视为基本上以120fps读出的图像帧，并且因此所生成的视频可以是120fps视频。
在操作1030中，控制器可以接收与开始记录有关的请求。例如，可以在接收到对在显示器上显示的第二图标的触摸输入时执行记录。控制器可以与接收到针对在显示器上显示的第二图标的用户的触摸输入相对应地接收与开始记录有关的信号。
同时，本领域普通技术人员可以容易地理解，除在接收到对在显示器上显示的第一或第二图标的触摸输入的情况下之外，也可以与通过在电子设备中提供的各种输入设备(例如，硬键)接收的信号相对应地执行或开始高速照相或记录。
在操作1040中，控制器可以选择以第一速度从列读出电路读出的第一多个图像帧中的至少两个。例如，控制器可以选择以960fps读出的第一多个图像帧当中的被连续地读出的第一图像帧和第二图像帧。换句话说，第一图像帧和第二图像帧是以1/960秒的间隔被连续地读出的图像帧。
在操作1050中，控制器可以使用至少两个图像帧来检测与外部对象相关联的变化。例如，控制器可以选择以960fps读出的第一多个图像帧当中的最新获取的两个图像帧作为第一和第二图像帧。在所选择的第一图像帧的第一亮度和所选择的第二图像帧的第二亮度之间的差超过预设阈值的情况下，控制器可以确定在获取第一图像帧的时间与获取第二图像帧的时间之间已经发生与外部对象相关联的变化。
相比之下，在所选择的第一图像帧的第一亮度和所选择的第二图像帧的第二亮度之间的差等于或小于预设阈值的情况下，控制器可以确定在获取第一图像帧的时间与获取第二图像帧的时间之间还没有发生与外部对象相关联的变化。
在检测到与外部对象相关联的变化时，控制器可以将确定的N个图像帧存储在存储器350中。例如，控制器可以在存储器350中存储以960fps读出的图像帧当中的读出的N个最新的图像帧，同时以120fps向外部电路递送以960fps读出的图像帧中的一些。同时，在检测到与外部对象相关联的变化时，控制器340或处理器510可以删除以120fps向外部电路递送的图像帧当中的与存储在存储器350中的N个图像帧重叠的图像帧。在完成删除重叠的图像帧之后，控制器可以向外部电路递送存储在存储器350中的N个图像帧。
此外，在检测到与外部对象相关联的变化时，在操作1060中，控制器可以将读出速度设置为第二速度，并且在存储器350中存储以第二速度读出的第二多个图像帧。例如，和与外部对象相关联的变化对应地，控制器可以将读出速度从第一速度(例如，960fps)改变为第二速度(例如，960fps或1000fps)或维持第二速度。在读出速度保持960fps的情况下，列读出电路可以基于由像素阵列接收的光每秒读出960个图像帧。控制器可以将以第二速度读出的第二多个图像帧存储在存储器350中。
在操作1070中，在存储器350为满的情况下，控制器可以输出存储在存储器中的至少一个图像。例如，可以每秒将以960fps读出的960个第二图像帧存储在存储器中。控制器可以确定存储器的存储是否充满以960fps读出的第二多个图像帧。在确定存储器为满时，控制器可以停止将第二多个图像帧存储在存储器中并且向外部电路输出存储在存储器中的至少一个图像帧。
在操作1080中，控制器可以将已经被设置为第二速度(例如，960fps或1000fps)的读出速度改变为第三速度(例如，120fps)，并且控制器可以获取以第三速度读出的第三多个图像帧。例如，第三速度可以低于960fps。例如，第三速度可以是120fps。控制器可以获取以120fps读出的第三多个图像帧。
在操作1090中，控制器可以接收与结束记录有关的信号。响应于所接收的信号，控制器可以将列读出电路的读出速度降低为小于第三速度。例如，即使当记录结束时，也可以通过电子设备的显示器输出预览图像。控制器可以根据预览图像的输出速度将读出速度设置为30fps。同时，在接收从图像传感器输出的第一多个图像帧的至少一些以及第二多个图像帧和第三多个图像帧的至少一些时，外部电路370(例如，370)的处理器可以使用所接收的图像帧来生成慢动作电影。例如，慢动作视频可以由120fps视频和960fps视频构成。
根据本公开的实施例，外部电路的处理器可以基于第一多个图像帧中的至少一些来生成视频的第一部分。第一部分可以是120fps视频。外部电路的处理器可以基于存储在存储器350中的N个图像帧和第二多个图像帧来生成视频的第二部分。第二部分可以是960fps视频。外部电路的处理器可以基于第三多个图像帧中的至少一些来生成视频的第三部分。第三部分可以是120fps视频。例如，视频可以以第一部分、第二部分和第三部分这样的顺序包括它们。同时，一个或多个处理器可以将第一多个图像帧中的至少一些与存储在存储器350中的N个图像帧相比较，并且当存在重叠的图像帧时，一个或多个处理器可以删除重叠的图像帧之一。
图11图示出根据本公开的实施例的、用于利用缓冲存储器的方法随着时间的推移的视图。在这里，缓冲存储器可以意指在图像传感器(例如，300)内部提供的存储器(例如，350)。
图11示出第一图1100和第二图1110，该第一图1100指示获取构成由没有缓冲存储器的电子设备生成的第一视频的图像帧的速度，并且该第二图1110指示获取构成由具有缓冲存储器的电子设备生成的第二视频的图像帧的速度。
根据本公开的实施例，控制器(例如，340)可以在t2接收与记录的开始有关的请求。与在t2接收的请求相对应地，控制器可以向外部电路(例如，370)递送以960fps读出的图像帧中的一些。例如，控制器可以仅仅向外部电路递送以960fps读出的每八个图像帧中的一个。在这种情况下，向外部电路递送的图像帧可以与基本上以120fps读出的图像帧相同。外部电路的处理器可以使用基本上以120fps读出的图像帧来生成120fps视频。同时，在第一图1100中，在t2和t3之间配置的视频是120fps视频，并且在第二图1110中，在t2和tb之间配置的视频是120fps视频。
控制器可以在t3检测到与外部对象相关联的变化。与在t3检测到的与外部对象相关联的变化相对应地，控制器可以在缓冲存储器中存储以960fps从图像传感器读出的所有图像帧。
同时，因为电子设备的控制器按照第一图1100在检测到与外部对象相关联的变化时的t3之后在缓冲存储器中存储以960fps读出的所有图像帧，所以控制器可以从t3起生成960fps视频。相比之下，电子设备的控制器按照第二图1110可以从记录开始时的t2起在缓冲存储器中以960fps稳定地存储指定数量(例如，16)的图像帧，并且因此，控制器可以刚好在检测到与外部对象相关联的变化时的t3之前甚至利用16个图像帧来生成960fps视频。
与在t2接收的请求相对应地，电子设备的控制器按照第二图1110可以以960fps在图像传感器的缓冲存储器中存储以960fps读出的图像帧当中的读出的N个最新图像帧。在缓冲存储器中存储N个图像帧可以重复，直到检测到与外部对象相关联的变化时的t3为止。例如，缓冲存储器可以存储刚好在检测到与外部对象相关联的变化之前所获取的16个图像帧。假定在检测到与外部对象相关联的变化时的t3所获取的图像帧是第N个获取的N帧，可以将在tb获取的N-16帧至紧接在t3前获取的N-1帧存储在缓冲存储器中。
电子设备的控制器按照第二图1110可以从存储器中删除刚好在检测到与外部对象相关联的变化时的t3之前基本上以120fps获取的图像帧当中的与存储在缓冲存储器中的N个图像帧重叠的图像帧1101。在重叠的图像帧1101的删除完成之后，控制器可以使用存储在缓冲存储器中的N个图像帧1111来生成960fps视频。
图12图示出根据本公开的实施例的、用于利用缓冲存储器的方法随着时间的推移的视图。
在包括一个或多个处理器、图像传感器和显示器的电子设备(例如，101或201)中，一个或多个处理器可以是执行该方法的实体。图像传感器可以包括图3的图像传感器300的整体或一部分。一个或多个处理器可以包括图像传感器中所包括的控制器(例如，340)或处理器(例如，510)。
如同图9，图12图示出指示随着时间的推移而变化的读出速度的第一图1201、指示获取构成视频的图像帧的速度的第二图1202，和指示通过显示器显示的预览图像的输出速度的第三图1203。
根据本公开的实施例，一个或多个处理器可以在t0接收与照相的开始有关的请求。一个或多个处理器可以在t1接收与高速照相模式的执行有关的请求。一个或多个处理器可以在t2接收与记录的开始有关的请求。一个或多个处理器可以在t3检测到与外部对象相关联的变化。与在t3检测的与外部对象相关联的变化相对应地，一个或多个处理器可以将以960fps读出的所有图像帧存储在图像传感器中所提供的存储器(例如，350)中。换句话说，一个或多个处理器可以通过将以960fps读出的所有图像帧都存储在存储器中而具有好像以960fps获取了以960fps读出的图像帧这样的效果。例如，一个或多个处理器可以使用存储在存储器中的图像帧来生成960fps视频。一个或多个处理器可以从存储器中删除基本上以120fps获取的图像帧当中的与存储在缓冲存储器中的图像帧1210重叠的图像帧。在完全地删除重叠的图像帧之后，一个或多个处理器可以在存储器中存储缓冲存储器中所存储的N个图像帧1210。
当预设事件在t4发生时，一个或多个处理器可以将读出电路的读出速度改变为120fps。例如，预设事件可以包括当图像传感器内部的存储器的存储为满时。预设事件可以包括当没有检测到与外部对象相关联的另外的变化时。预设事件可以包括当预设时间过去时。预设事件可以包括当从外部接收到与结束高速照相有关的信号时。
例如，一个或多个处理器可以将图像传感器中的存储器的存储为满的时刻辨认为t4。一个或多个处理器可以在确定图像传感器中的存储器不能存储更多图像帧时降低读出速度。
一个或多个处理器可以将与外部对象相关联的变化被确认为停止的时刻辨认为t4，并且一个或多个处理器可以在t5接收到与记录的结束有关的请求。例如，在再次接收到对在显示器上显示的第二图标的触摸输入时，可以结束记录。一个或多个处理器可以在再次接收到对在显示器上显示的第二图标的用户的触摸输入时结束记录。与在t5接收的请求相对应地，一个或多个处理器可以暂停使用以120fps读出的图像帧来生成视频。
同时，一个或多个处理器可以从记录结束时的t5起开始编码以生成视频。例如，一个或多个处理器可以在存储器550中存储在t2和t3之间读出的多个第一图像中的一些、在t3和t4之间读出的所有第二多个图像帧，以及在t4和t5之间读出的第三多个图像帧中的一些，并且一个或多个处理器可以从接收到与结束记录有关的请求时的t5起对存储在存储器550中的图像帧进行编码。当完成编码时，一个或多个处理器可以将编码视频存储在存储器550中。
一个或多个处理器可以在t6接收与暂停高速照相有关的请求并且在t7接收与照相的结束有关的请求。
图13和14是图示出根据本公开的实施例的、使用电子设备来多次执行高速照相的方法的视图。
在包括一个或多个处理器、图像传感器和显示器的电子设备(例如，101或201)中，一个或多个处理器可以是执行该方法的实体。图像传感器可以包括图3的图像传感器300的整体或一部分。一个或多个处理器可以包括图像传感器中所包括的控制器(例如，340)或处理器(例如，510)。
参考图13，根据本公开的实施例，示出了总共九个子视图1310、1320、1330、1340、1350、1360、1370、1380和1390，它们与使用电子设备来多次执行高速照相的方法有关。图14图示出指示随着时间的推移而变化的读出速度的第一图1401、指示获取构成视频的图像帧的速度的第二图1402，和指示通过显示器显示的预览图像的输出速度的第三图1403。
根据本公开的实施例，一个或多个处理器可以在t0接收与照相的开始有关的请求。与在t0接收的请求相对应地，一个或多个处理器可以将读出电路的读出速度设置为30fps。一个或多个处理器可以同时地通过显示器以30fps显示从图像传感器输出的图像帧作为预览图像。
一个或多个处理器可以在t1接收与高速照相模式的执行有关的请求。参考子视图1310，可以在接收到对在显示器1303上显示的第一图标1311的触摸输入时执行高速照相模式。一个或多个处理器可以在接收到对在显示器1303上显示的第一图标1311的用户1307的触摸输入时执行高速照相模式。与在t1接收的请求相对应地，一个或多个处理器可以将读出电路的读出速度改变为960fps。一个或多个处理器可以同时地通过显示器1303以30fps显示以960fps读出的图像帧中的一些作为预览图像。
一个或多个处理器可以在t2接收与记录的开始有关的请求。参考子视图1320，可以在接收到对在显示器1303上显示的第二图标1305的触摸输入时执行记录。一个或多个处理器可以在接收到对在显示器1303上显示的第二图标1305的用户1307的触摸输入时开始记录。与在t2接收的请求相对应地，一个或多个处理器可以将获取以960fps读出的图像帧中的一些。例如，一个或多个处理器可以获取以960fps读出的每八个图像帧中的一个，从而允许好像获取了基本上以120fps读出的图像帧的这样的效果。一个或多个处理器可以使用基本上以120fps读出的图像帧来生成120fps视频。同时，一个或多个处理器可以通过激活的第一图标1321显示‘120fps’，其表示所获取的图像帧被读出的实际速度。
一个或多个处理器可以在t31检测与外部对象相关联的变化。在检测到与外部对象相关联的变化时，处理器可以执行自动高速照相。参考子视图1330和1340，一个或多个处理器可以至少基于在t2和t31之间读出的图像帧当中的至少两个图像帧来检测与外部对象1309相关联的变化。与在t31检测的与1309外部对象相关联的变化相对应地，一个或多个处理器可以将以960fps读出的所有图像帧存储在图像传感器中所提供的存储器(例如，350)中。一个或多个处理器可以通过将以960fps读出的所有图像帧存储在存储器中而具有好像以960fps获取了以960fps读出的图像帧这样的效果。例如，一个或多个处理器可以使用存储在存储器中的图像帧来生成960fps视频。一个或多个处理器可以从存储器中删除基本上以120fps获取的图像帧当中的与存储在缓冲存储器中的图像帧1410重叠的图像帧。在完全地删除重叠的图像帧之后，一个或多个处理器可以在存储器中存储缓冲存储器中所存储的N个图像帧1410。同时，一个或多个处理器可以通过激活的第一图标1331或1341显示‘960fps’，其表示存储器进行存储的速度。
当预设事件在t32发生时，一个或多个处理器可以将读出电路的读出速度改变为120fps。例如，预设事件可以包括当图像传感器内部的存储器的存储为满时。预设事件可以包括当没有检测到与外部对象相关联的另外的变化时。预设事件可以包括当预设时间过去时。预设事件可以当包括从外部接收到与结束高速照相有关的信号时。
例如，一个或多个处理器可以将图像传感器中的存储器的存储为满的时刻辨认为t32。一个或多个处理器可以在确定图像传感器中的存储器不能存储更多图像帧时降低读出速度。
一个或多个处理器可以将确定与外部对象相关联的变化停止的时刻辨认为t32。在检测到不再有与外部对象相关联的变化时，一个或多个处理器可以暂停自动高速照相。参考子视图1350，一个或多个处理器可以基于从图像传感器读出的图像帧中的至少两个或存储在存储器中的图像帧中的至少两个来确定是否没有检测到与外部对象1309相关联的另外的变化。与在t32没有检测到与外部对象1309相关联的另外的变化相对应地，一个或多个处理器可以将读出速度从960fps改变为120fps。同时，一个或多个处理器可以通过激活的第一图标1351显示‘120fps’，其表示获取的图像帧被读出的速度。
一个或多个处理器可以在t41从电子设备的用户接收与手动高速照相的开始有关的请求。参考子视图1360和1370，可以在接收到对在显示器1303上显示的第三图标1306的触摸输入时开始手动高速照相。一个或多个处理器可以在接收到对在显示器1303上显示的第三图标1306的用户1307的触摸输入时开始手动高速照相。一个或多个处理器可以通过在电子设备中提供的输入/输出接口(例如，150)从电子设备的用户接收与手动高速照相的开始有关的请求。与在t41接收的请求相对应地，一个或多个处理器可以将读出电路的读出速度提升到960fps。同时，一个或多个处理器可以通过激活的第一图标1361或1371显示‘960fps’，其表示获取的图像帧被读出的速度。
当预设事件在t42发生时，一个或多个处理器可以将读出电路的读出速度改变为120fps。例如，预设事件可以包括当图像传感器内部的存储器的存储为满时。预设事件可以包括当没有检测到与外部对象相关联的另外的变化时。预设事件可以包括当预设时间过去时。预设事件可以包括当从外部接收到与结束高速照相有关的信号时。
例如，一个或多个处理器可以将图像传感器中的存储器的存储为满的时刻辨认为t42。一个或多个处理器可以在确定图像传感器中的存储器不能存储更多图像帧时降低读出速度。
一个或多个处理器可以在t42从电子设备的用户接收与手动高速照相的结束有关的请求。参考子视图1380，可以在再次接收到对在显示器1303上显示的第三图标1306的触摸输入时结束手动高速照相。一个或多个处理器可以在接收到对在显示器1303上显示的第三图标1306的用户1307的触摸输入时结束手动高速照相。与在t42接收的请求相对应地，一个或多个处理器可以将以960fps读出的所有图像帧都存储在图像传感器中所提供的存储器(例如，350)中。同时，一个或多个处理器可以通过激活的第一图标1381显示‘120fps’，其表示获取的图像帧被读出的速度。
一个或多个处理器可以在t5接收与记录的结束有关的请求。参考子视图1390，可以在再次接收到对在显示器1303上显示的第二图标1305的触摸输入时结束记录。一个或多个处理器可以在再次接收到对在显示器1303上显示的第二图标1305的用户的触摸输入时结束记录。与在t5接收的请求相对应地，一个或多个处理器可以暂停使用以120fps读出的图像帧来生成视频。一个或多个处理器可以在接收到对在显示器1303上显示的第一图标1391的用户1307的触摸输入时结束高速照相模式。
同时，一个或多个处理器可以从记录结束时的t5起开始编码以生成视频。例如，一个或多个处理器可以在存储器550中存储在t2和t31之间读出的多个第一图像中的一些、在t31和t32之间读出的所有第二多个图像帧、在t32和t41之间读出的第三多个图像帧中的一些、在t41和t42之间读出的所有第四多个图像帧，以及在t42和t5之间读出的第五多个图像帧中的一些，并且一个或多个处理器可以从接收到与结束记录有关的请求时的t5起对存储在存储器550中的图像帧进行编码。当完成编码时，一个或多个处理器可以将编码视频存储在存储器550中。
一个或多个处理器可以在t6接收与暂停高速照相模式有关的请求。参考子视图1310，在再次接收到对在显示器1303上显示的第一图标1311的触摸输入时，高速照相模式可以暂停。一个或多个处理器可以在再次接收到对在显示器1303上显示的第一图标1311的用户的触摸输入时暂停高速照相模式。与在t6接收的请求相对应地，一个或多个处理器可以将读出速度改变为30fps。
一个或多个处理器可以在t7接收与照相的结束有关的请求。一个或多个处理器可以将与在t7接收请求的相对应的图像传感器去激活。同时地，一个或多个处理器可以控制显示器不再显示预览图像。
图15A和15B是图示出根据本公开的实施例的、用于在使用电子设备所获取的图像帧中设置感兴趣区域的方法的视图。在包括一个或多个处理器、图像传感器和显示器的电子设备(例如，101或201)中，一个或多个处理器可以是执行该方法的实体。图像传感器可以包括图3的图像传感器300的整体或一部分。一个或多个处理器可以包括图像传感器中所包括的控制器(例如，340)或处理器(例如，510)。
参考图15A，一个或多个处理器可以在通过图像传感器获取的多个图像帧上显示固定的感兴趣区域(ROI)1520。
根据本公开的实施例，一个或多个处理器可以在显示器上显示通过图像传感器获取的至少一个图像帧作为预览图像。例如，一个或多个处理器可以接收与照相的开始有关的请求，并且与接收的请求相对应地，一个或多个处理器可以通过显示器来显示照相应用的UI。照相应用的UI可以包括与高速照相模式的执行有关的第一图标1501和与记录的开始有关的第二图标1505。在通过显示器来显示照相应用的UI时，一个或多个处理器可以通过显示器来显示从图像传感器读出的图像帧作为预览图像1510。
此外，一个或多个处理器可以通过显示器的触摸板或在电子设备1500中提供的输入/输出接口(例如，150)来接收与设置固定的ROI有关的用户输入。例如，一个或多个处理器可以通过显示器来显示预览图像1510，并且一个或多个处理器可以通过触摸板来接收对于显示的预览图像的至少一部分的用户输入。换句话说，在关于通过显示器所显示的预览图像1510通过触摸板接收到对预览图像1510的至少一部分的用户输入时，一个或多个处理器可以识别至少该入口(port)为固定的ROI 1520。一个或多个处理器可以在预览图像上以任何形状(例如，矩形)显示与识别的ROI 1520相对应的区域。
同时，一个或多个处理器可以使用在电子设备中提供的传感器模块(例如，240)，也在通过图像传感器新获取的图像帧上同样地显示与固定的ROI 1520相对应的形状。例如，一个或多个处理器可以使用陀螺仪传感器(例如，240B)或加速度传感器(例如，240E)中的至少一个来检测电子设备的运动。一个或多个处理器可以基于检测电子设备的运动的结果跟踪ROI 1520，以便也在新获取图像帧的上同样地显示与ROI 1520相对应的形状。
参考图15B，处理器可以在通过图像传感器获取的多个图像帧上显示可移动的(portable)感兴趣区域(ROI)1540。
根据本公开的实施例，一个或多个处理器可以在显示器上显示通过图像传感器获取的至少一个图像帧作为预览图像。一个或多个处理器可以接收与照相的开始有关的请求，并且与接收的请求相对应地，一个或多个处理器可以通过显示器来显示照相应用的UI。例如，照相应用的UI可以包括与高速照相模式的执行有关的第一图标1501和与记录的开始有关的第二图标1505。在通过显示器来显示照相应用的UI时，一个或多个处理器可以通过显示器来显示从图像传感器读出的图像帧作为预览图像1530。
此外，一个或多个处理器可以通过显示器的触摸板或在电子设备1500中提供的输入/输出接口(例如，150)来接收与设置可移动的ROI有关的用户输入。例如，一个或多个处理器可以通过显示器来显示预览图像1530。一个或多个处理器可以在显示器上显示的预览图像中所包括的外部对象当中识别与至少一个外部对象相对应的用户输入。例如，在预设时间或更长接收到与预览图像中所包括的至少一个外部对象相对应的用户输入的情况下，一个或多个处理器可以将对于其接收了用户输入的外部对象识别为可移动的ROI 1540。一个或多个处理器可以在预览图像上以任何形状(例如，矩形)显示与识别的ROI 1540相对应的区域。
同时，一个或多个处理器可以分析被识别为可移动的ROI的外部对象的形状，以便也从通过图像传感器新获取的图像帧中识别被识别为可移动的ROI 1540的外部对象。例如，一个或多个处理器可以通过对于被识别为可移动的ROI的外部对象的边缘检测来分析外部对象的形状，并且一个或多个处理器可以基于分析的结果来识别和跟踪通过图像传感器新获取的图像帧中的同一外部对象。
图16、17A和17B是图示出根据本公开的实施例的、识别从图像传感器输出的多个图像帧的方法的视图。
图16图示出根据本公开的实施例的、用于在从图像传感器输出的多个图像帧之间进行区分的方法的视图。
根据本公开的实施例，电子设备可以包括图像传感器1600和与图像传感器相连接的外部电路1670。外部电路1670可以包括图5的外部电路570的整体或一部分。例如，外部电路1670可以包括处理器。
电子设备的图像传感器1600可以读出与像素阵列(例如，310)所接收的光相对应的多个图像帧。可以通过图像传感器1600的接口(例如，360)向外部电路1670递送通过图像传感器1600的列读出电路(例如，330)读出的多个图像帧。例如，图像传感器1600可以通过接口(例如，按照MIPI协议定义的接口)与外部电路1670相连接。处理器可以根据接口的输出速度、例如以1/240秒的周期(即，240fps)来接收多个图像帧中的一个或多个。处理器可以在存储器中存储从图像传感器的接口以240fps接收的图像帧中的一些，并且处理器可以通过显示器以120fps输出其他图像帧。处理器可以通过显示器来显示以120fps输出的图像帧中的所有或一些作为预览图像。
同时，在获取通过图像传感器1600的接口输出的多个图像帧1610、1620、1630和1640时，一个或多个处理器也可以获取与图像帧相对应的数条信息1611、1621、1631和1641。例如，与第一图像帧1610相对应的第一信息1611可以包含与例如读出速度和获取第一图像帧1610的时间相对应的信息。一个或多个处理器可以将第一信息1611与第一图像帧1610一起获取，该第一信息1611具有不同于对应于第一图像帧1610的像素数据的单独的嵌入报头/脚注格式。以这样的方式，一个或多个处理器可以获取与第二图像帧1620相对应的第二信息1621、与第三图像帧1630相对应的第三信息1631或与第N图像帧1640相对应的第N信息1641。一个或多个处理器可以基于所获取的第一信息1611至第N信息1641来识别获取从图像传感器1600输出的多个图像帧的时间或顺序。
根据本公开的实施例，当与接收到与记录的结束(如在图7的操作790和图10的操作1090中指示的)有关的请求相对应地生成至少一个视频时，一个或多个处理器可以基于识别所获取的第一信息1611至第N信息1641来识别用于多个图像帧的编码的顺序。
此外，在执行图10至12的实施例时，一个或多个处理器可以基于所获取的第一信息1611至第N信息1641来从存储器中删除基本上以120fps获取的图像帧当中的与存储在缓冲存储器中的图像帧1210重叠的图像帧。在执行图10至12的实施例时，一个或多个处理器可以基于所获取的第一信息1611至第N信息1641中的至少一个暂停或恢复在存储器中存储读出的图像帧中的至少一些。例如，一个或多个处理器可以基于所获取的第一信息1611至第N信息1641中的至少一个暂停或恢复编码以生成视频。
图17A图示出根据本公开的实施例的、用于在从图像传感器输出的多个图像帧之间进行区分的方法的随着时间的推移的视图。
图17A图示出，随着时间的推移的，指示从图像传感器输出的图像帧的第一图1701、指示通过显示器显示的图像帧作为预览图像的第二图1703、指示通过编码器编码的图像帧的第三图1704以及指示通过至少一个接口(例如，通用端口输入/输出(GPIO))输出的信号的第四图1705。同时，第一多个图像帧1711至第六多个图像帧1716可以是通过基于多个图像帧的读出速度和从图像传感器的图像帧的输出时间中的至少一个对多个图像帧进行归类而获取的图像帧。
根据本公开的实施例，t0可以意指照相开始时的时间。例如，t0是由电子设备的用户执行照相应用时的时间。
t1可以意指记录开始时的时间。例如，电子设备的一个或多个处理器(例如，120、210或340)可以在t1接收与记录的开始有关的信号。
t2可以意指与外部对象相关联的变化发生时的时间。例如，电子设备的一个或多个处理器可以在t2检测与外部对象相关联的变化。
t3可以意指预设事件发生时的时间。例如，t3可以意指电子设备的图像传感器(例如，300)内部的存储器(例如，350)的存储为满时的时间。此外，预设事件可以包括当没有检测到与外部对象相关联的另外的变化时。预设事件可以包括当预设时间过去时。预设事件可以包括当从外部接收到与结束高速照相有关的信号时。
t4可以意指电子设备的图像传感器内部的存储器(例如，350)中所存储的所有多个图像帧被完全从图像传感器输出时的时间。例如，电子设备的一个或多个处理器可以在t4获取在t2和t3之间存储在存储器(例如，350)中的多个图像帧当中存储的最后的图像帧。
t5可以意指记录结束时的时间。例如，电子设备的一个或多个处理器可以在t5接收与记录的结束有关的信号。
根据本公开的实施例，第一多个图像帧1711可以意指在t0和t1之间或在t5之后从图像传感器输出的图像帧。例如，第一多个图像帧1711可以是在t0和t1之间或在t5之后从图像传感器输出的图像帧，并且可以通过显示器以第一帧速率(例如，30fps)显示该图像帧。
第二多个图像帧1712可以意指在t1和t2之间从图像传感器输出的图像帧，并且可以以第二帧速率(例如，120fps)从图像传感器输出图像帧。第二多个图像帧1712可以意指在t4和t5之间从图像传感器输出的图像帧，并且可以以第二帧速率(例如，120fps)从图像传感器输出图像帧。电子设备的一个或多个处理器可以通过显示器以第一帧速率(例如，30fps)将在t1和t2之间或者在t4和t5之间从图像传感器输出的第二多个图像帧1712中的至少一些显示为预览图像。
第三图像帧1713可以意指在检测到与外部对象相关联的变化时的t2获取的图像帧。
第四多个图像帧1714可以意指在t2和t3之间从图像传感器输出的图像帧，并且可以以第二帧速率(例如，120fps)从图像传感器输出该图像帧。电子设备的一个或多个处理器可以通过显示器以第一帧速率(例如，30fps)将在t2和t3之间从图像传感器输出的第四多个图像帧1714中的至少一些显示为预览图像。同时，第四多个图像帧1714可以仅仅用于预览图像目的，并且可以在其它实施例中不被输出。
第五多个图像帧1715可以意指与第三图像帧1713一起、在t2和t3之间通过在图像传感器中提供的列读出电路(例如，330)以第三帧速率(例如，960fps)被读出的图像帧。换句话说，第五多个图像帧1715可以意指与第三图像帧1713一起、在t2和t3之间被存储在图像传感器中所提供的存储器中的图像帧。根据本公开的实施例，可以存储与图像传感器中所提供的存储器的存储一样多的第五图像帧1715。
第六多个图像帧1716可以意指在t3和t4之间从图像传感器输出的图像帧，并且可以以第二帧速率(例如，120fps)从图像传感器输出该图像帧。
根据本公开的实施例，一个或多个处理器可以在接收到与记录的开始有关的信号时的t1之前获取以第二帧速率(例如，120fps或30fps)从图像传感器输出的第一多个图像帧。一个或多个处理器可以通过显示器以第一帧速率(例如，30fps)将以第二帧速率(例如，120fps)获取的第一多个图像帧1711显示为预览图像。
一个或多个处理器可以在接收到与记录的开始有关的信号时的t1和检测到与外部对象相关联的变化时的t2之间获取以第二帧速率(例如，120fps)输出的第二多个图像帧1712。一个或多个处理器可以在存储器(例如，130)中存储以第二帧速率(例如，120fps)获取的第二多个图像帧1712中的至少一些，并且一个或多个处理器可以执行编码以使用存储在存储器(例如，130)中的图像帧来生成视频。例如，一个或多个处理器可以使用以第二帧速率(例如，120fps)获取的第二多个图像帧1712中的至少一些来生成视频的第一部分1720。此外，一个或多个处理器可以通过显示器以第一帧速率(例如，30fps)将以第二帧速率(例如，120fps)获取的第二多个图像帧1712中的至少一些显示为预览图像。同时，一个或多个处理器可以基于在检测到与外部对象相关联的变化时的t2接收的至少一个信号，停止用于生成视频的编码。例如，参考第四图1705，一个或多个处理器可以基于与与外部对象相关联的变化相对应地在t2从至少一个接口(例如，GPIO)输出的信号暂停用于生成视频的编码。
一个或多个处理器可以在检测到与外部对象相关联的变化时的t2和预设事件发生时的t3之间获取以第二帧速率(例如，120fps)输出的第四多个图像帧1714。同时，一个或多个处理器可以在t2和t3之间在图像传感器中所提供的存储器中存储通过图像传感器中所提供的列读出电路以第三帧速率(例如960fps)读出的第三图像帧1713或第五多个图像帧1715。
一个或多个处理器可以在预设事件发生时的t3和完全地输出存储在图像传感器的存储器中的所有多个图像帧时的t4之间获取以第二帧速率(例如，120fps)输出的第三图像帧1713、第五多个图像帧1715，和第六多个图像帧1716。一个或多个处理器可以在存储器(例如，130)中存储以第二帧速率(例如，120fps)从图像传感器获取的第三图像帧1713、第五多个图像帧1715，和第六多个图像帧1716。一个或多个处理器可以通过显示器以第一帧速率(例如，30fps)将以第二帧速率(例如，120fps)从图像传感器获取的第六多个图像帧1716显示为预览图像。
一个或多个处理器可以在完全地输出存储在图像传感器的存储器中的所有多个图像帧时的t4和接收到与记录的结束有关的信号时的t5之间获取以第二帧速率(例如，120fps)从图像传感器输出的第二多个图像帧1712。一个或多个处理器可以在存储器(例如，130)中存储以第二帧速率(例如，120fps)从图像传感器获取的第二多个图像帧1712。一个或多个处理器可以通过显示器以第一帧速率(例如，30fps)将以第二帧速率(例如，120fps)从图像传感器获取的第二多个图像帧1712显示为预览图像。
一个或多个处理器可以在接收到与记录的结束有关的信号时的t5之后获取以第二帧速率(例如，120fps或30fps)从图像传感器输出的第一多个图像帧1711。一个或多个处理器可以通过显示器以第一帧速率(例如，30fps)将以第二帧速率(例如，120fps或30fps)获取的第一多个图像帧1711显示为预览图像。
根据本公开的实施例，一个或多个处理器可以从完全地从图像传感器输出存储在图像传感器中所提供的存储器中的所有图像帧的t4起恢复编码以使用存储在存储器(例如，130)中的图像帧来生成视频。例如，一个或多个处理器可以使用存储在存储器(例如，130)中的第五多个图像帧1715和第三图像帧1713来生成视频的第二部分1730。一个或多个处理器可以使用存储在存储器(例如，130)中的第二多个图像帧1712和第六多个图像帧1716来生成视频的第三部分1740。
根据本公开的实施例，一个或多个处理器可以基于每个图像帧中所包括的至少一条信息来确定对存储在存储器(例如，130)中的第三图像帧1713、第五多个图像帧1715、第六多个图像帧1716和第二多个图像帧1712进行编码的顺序。例如，参考图16，在获取通过图像传感器的接口输出的多个图像帧1610、1620、1630和1640时，一个或多个处理器也可以获取与图像帧相对应的数条信息1611、1621、1631和1641。例如，与第一图像帧1610相对应的第一信息1611可以包含与例如读出第一图像帧1610时的时间、读出速度和从图像传感器输出第一图像帧1610时的时间相对应的信息。一个或多个处理器可以将第一信息1611与第一图像帧1610一起获取，该第一信息1611具有不同于对应于第一图像帧1610的像素数据的单独的嵌入报头/脚注格式。以这样的方式，一个或多个处理器也可以获取分别与第一多个图像帧1711至第六多个图像帧1716相对应的第一信息至第六信息。一个或多个处理器可以基于所获取的第一信息至第六信息来识别从图像传感器获取第一多个图像帧1711至第六多个图像帧1716的时间或顺序。
同时，在以上实施例中使用的第一帧速率、第二帧速率或第三帧速率可以根据电子设备的设置或接口性能而变化，并且它们可以与相同或不同。
图17B图示出根据本公开的实施例的、用于在从图像传感器输出的多个图像帧之间进行区分的方法随着时间的推移的视图。
根据本公开的实施例，一个或多个处理器可以在接收到与记录的开始有关的信号时的t1和检测到与外部对象相关联的变化时的t2之间在图像传感器中所提供的存储器(例如，350)中存储与通过图像传感器内部所提供的列读出电路(例如，330)以第三帧速率(例如，960fps)读出的多个图像帧中的一些相对应的第B图像帧1717。
例如，一个或多个处理器(例如，340)可以在图像传感器内部所提供的存储器中存储以第三帧速率(例如，960fps)读出的多个图像帧在当中最新读出的N个图像帧。换句话说，一个或多个处理器可以在图像传感器内部所提供的存储器(例如，350)中以更新类型存储与以第三帧速率(例如，960fps)读出的多个图像帧中的一些相对应的第B图像帧1717(因此最近读出的图像帧被存储)，直到与外部对象相关联的变化发生。N可以是由用户预设的非零整数。
一个或多个处理器(例如，120)可以在检测到与外部对象相关联的变化时的t2和预设事件发生时的t3之间获取以第二帧速率(例如，120fps)从图像传感器输出的第四多个图像帧1714和第B图像帧1717。例如，第B图像帧1717可以是对于检测到与外部对象相关联的变化时的t2以第三帧速率(例如，960fps)被最新读出并且被存储在存储器(例如，350)中的图像帧。一个或多个处理器可以在存储器(例如，130)中存储以第二帧速率(例如，120fps)从图像传感器获取的第B图像帧1717。一个或多个处理器可以通过显示器以第一帧速率(例如，30fps)将以第二帧速率(例如，120fps)从图像传感器获取的第四多个图像帧1714显示为预览图像。同时，一个或多个处理器可以在t2和t3之间在图像传感器中所提供的存储器(例如，350)中存储通过图像传感器中所提供的列读出电路以第三帧速率(例如，960fps)读出的第三图像帧1713或第五多个图像帧1715。
根据本公开的实施例，一个或多个处理器可以从完全地从图像传感器输出存储在图像传感器中所提供的存储器中的所有图像帧的t4起恢复编码以使用存储在存储器(例如，130)中的图像帧来生成视频。例如，一个或多个处理器可以使用存储在存储器(例如，130)中的第B图像帧1717、第五多个图像帧1715和第三图像帧1713来生成视频的第二部分1730。一个或多个处理器可以使用存储在存储器(例如，130)中的第二多个图像帧1712和第六多个图像帧1716来生成视频的第三部分1740。
根据本公开的实施例，一个或多个处理器(例如，120)可以在t3和t4之间而不是在t2和t3之间获取第B图像帧1717。在这种情况下，一个或多个处理器可以在预设事件发生时的t3和完全地输出存储在图像传感器的存储器中的所有多个图像帧时的t4之间从图像传感器获取以第二帧速率(例如，120fps)输出的第B图像帧1717、第三图像帧1713、第五多个图像帧1715和第六多个图像帧1716。
同时，在以上实施例中使用的第一帧速率、第二帧速率，或第三帧速率可以根据电子设备的设置或接口性能而变化，并且它们可以彼此相同或不同。
图18和19是图示出根据本公开的实施例的、在使用电子设备来执行高速照相时屏蔽失真部分的方法的视图。
在包括一个或多个处理器、图像传感器和显示器的电子设备(例如，101或201)中，一个或多个处理器可以是执行该方法的实体。图像传感器可以包括图3的图像传感器300的整体或一部分。一个或多个处理器可以包括图像传感器中所包括的控制器(例如，340)或处理器(例如，510)。
图18图示出根据本公开的实施例的、用于检测与外部对象相关联的变化的图1810和电子设备1800。图1810的x轴表示通过图像传感器获取的多个图像帧而y轴表示多个图像帧中的每一个与用于比较的图像帧之间的亮度差。
电子设备1800的一个或多个处理器可以接收与照相的开始有关的请求，并且与接收的请求相对应地，一个或多个处理器可以通过显示器1803来显示照相应用的UI。照相应用的UI可以包括与记录的开始有关的图标1805。一个或多个处理器可以在接收到对在显示器1803上显示的图标1805的用户1807的触摸输入时开始记录。
同时，一个或多个处理器可以使用通过图像传感器获取的多个图像帧当中的至少两个图像帧来检测与外部对象相关联的变化。例如，一个或多个处理器可以选择通过图像传感器获取的多个图像帧当中的第一图像帧和第二图像帧。在所选择的第一图像帧的第一亮度和所选择的第二图像帧的第二亮度之间的差超过预设阈值的情况下，一个或多个处理器可以确定在获取第一图像帧的时间与获取第二图像帧的时间之间已经发生与外部对象相关联的变化。例如，在所选择的第一图像帧的第一亮度和所选择的第二图像帧的第二亮度之间的差具有如在图1810的第二部分1812中指示的大值的情况下，处理器可以确定检测到与外部对象相关联的变化。
图1810可以包括如在第一部分1811中指示的噪声，其可能由当通过在显示器1803上显示的图标1805接收到用户1807的触摸输入时所生成的电子设备1800的振动引起。换句话说，可以基于电子设备1800的振动来生成在图1810的第一部分1811中指示的噪声。一个或多个处理器可以在与手动高速照相有关的请求或接收与记录的开始有关的请求之后的第一时间1820放弃检测与外部对象相关联的变化，以便去除或减少如在第一部分1811中指示的噪声。换句话说，处理器可以屏蔽在第一时间1820接收的所有类型的信号。因此，一个或多个处理器可以在紧跟第一时间1820后的第二时间1830检测与外部对象相关联的变化。
根据本公开的实施例，一个或多个处理器可以调整用于在电子设备所处的环境中确定外部对象是否变化的阈值。例如，在确定由于电子设备在黑暗环境中或由于电子设备的用户振动他的手而造成许多噪声时，一个或多个处理器可以降低作为用于确定外部对象是否变化的参考的阈值。当作为用于确定外部对象是否变化的参考的阈值被降低时，可以增强一个或多个处理器的敏感度。
如同图9，图19图示出指示随着时间的推移而变化的读出速度的第一图1901、指示获取构成视频的图像帧的速度的第二图1902和指示通过显示器显示的预览图像的输出速度的第三图1903。
根据本公开的实施例，一个或多个处理器可以在t0接收与照相的开始有关的请求。一个或多个处理器可以在t1接收与高速照相模式的执行有关的请求。一个或多个处理器可以在t2接收与记录的开始有关的请求。同时，当通过在显示器(例如1803)上显示的图标(例如1805)接收用户(例如1807)的触摸输入时，一个或多个处理器可以开始记录。在通过电子设备的显示器接收到用户的触摸输入时，可能使电子设备振动。一个或多个处理器可以将接收到用户的触摸输入时的t2与t2之后的tm之间的时段设置为屏蔽(masking)时段1920，以去除或减少由于电子设备的振动引起的噪声，该电子设备的振动可能由于用户的触摸输入而发生。例如，一个或多个处理器可以忽视在屏蔽时段1920期间接收的所有信号。
一个或多个处理器可以从屏蔽时段1920结束时的tm起检测与外部对象相关联的变化。例如，一个或多个处理器可以通过将在非屏蔽时段1921期间获取的图像帧当中的至少两个图像帧相比较来检测与外部对象相关联的变化。
一个或多个处理器可以在t3检测与外部对象相关联的变化。与在t3检测的与外部对象相关联的变化相对应地，一个或多个处理器可以将以960fps读出的所有图像帧都存储在图像传感器中所提供的存储器(例如，350)中。换句话说，一个或多个处理器可以通过将以960fps读出的所有图像帧都存储在存储器中而具有好像以960fps获取了以960fps读出的图像帧这样的效果。例如，一个或多个处理器可以使用存储在存储器中的图像帧来生成960fps视频。一个或多个处理器可以从存储器中删除基本上以120fps获取的图像帧当中的与存储在缓冲存储器中的图像帧1210重叠的图像帧。在完全地删除重叠的图像帧之后，一个或多个处理器可以在存储器中存储缓冲存储器中所存储的N个图像帧1910。
处理器可以确定与外部对象相关联的变化在t4停止，并且处理器可以在t5接收与记录的结束有关的请求。
图20图示出根据本公开的实施例的、使用电子设备来多次执行高速照相的方法的流程图。
在包括一个或多个处理器、图像传感器和显示器的电子设备(例如，101或201)中，一个或多个处理器可以是执行该方法的实体。图像传感器可以包括图3的图像传感器300的整体或一部分。一个或多个处理器可以包括图像传感器中所包括的控制器(例如，340)或处理器(例如，510)。
参考图20，在操作2010中，处理器可以接收用于照相的信号。例如，一个或多个处理器可以通过在电子设备中提供的输入/输出接口(例如，150)来从电子设备的用户接收与照相应用的执行和记录的开始有关的请求。
在操作2020中，一个或多个处理器可以响应于所接收的信号通过图像传感器按照第一帧速率(例如，960fps或120fps)获取外部对象的第一多个图像帧。例如，一个或多个处理器可以响应于所接收的信号来获取通过列读出电路以960fps或120fps读出的第一多个图像帧。
在操作2030中，一个或多个处理器可以基于第一多个图像帧来检测与外部对象相关联的变化。例如，一个或多个处理器可以选择第一多个图像帧当中的第一图像帧和第二图像帧。在所选择的第一图像帧的第一亮度和所选择的第二图像帧的第二亮度之间的差超过预设阈值的情况下，一个或多个处理器可以确定在获取第一图像帧的时间与获取第二图像帧的时间之间已经发生与外部对象相关联的变化。在确定外部对象在获取第一图像帧的时间和获取第二图像帧的时间之间变化时，一个或多个处理器可以确定与外部对象相关联的变化满足指定的条件。
在操作2040中，当变化满足指定的条件时，一个或多个处理器可以按照第一帧速率或第二帧速率获取外部对象的第二多个图像帧。在变化满足指定的条件的情况下，一个或多个处理器可以停止检测与外部对象相关联的变化。例如，在检测到与外部对象相关联的变化时，一个或多个处理器可以开始自动高速照相。当自动高速照相开始时，一个或多个处理器可以在存储器中存储以第一帧速率或第二帧速率读出的所有图像帧。例如，一个或多个处理器可以通过将以960fps读出的所有图像帧都存储在存储器中而具有好像以960fps获取了以960fps读出的多个图像帧这样的效果。
根据本公开的实施例，作为读出第一多个图像帧的速度的第一帧速率可以被设置为960fps。在这种情况下，作为读出第二多个图像帧的速度的第二帧速率可以被设置为960fps或1000fps。
作为读出第一多个图像帧的速度的第一帧速率可以被设置为120fps。在这种情况下，作为读出第二多个图像帧的速度的第二帧速率可以被设置为120fps或960fps。
同时，在预设事件发生的情况下，可以结束与满足指定的条件的变化相对应地开始的自动高速照相。例如，预设事件可以包括当图像传感器内部的存储器的存储为满时。预设事件可以包括当没有检测到与外部对象相关联的另外的变化时。预设事件可以包括当预设时间过去时。预设事件可以包括当从外部接收到与结束高速照相有关的信号时。
例如，在图像传感器中的存储器的存储为满的时刻，一个或多个处理器可以确定图像传感器中的存储器不能再存储更多图像帧。因此，一个或多个处理器可以将读出速度设置为低于当前设置的读出速度，并且一个或多个处理器可以结束自动高速照相。
在操作2050中，一个或多个处理器可以使用以第一帧速率获取的第一多个图像帧中的至少一些来生成视频的第一部分。例如，当第一帧速率是120fps时，一个或多个处理器可以使用以120fps读出的第一多个图像帧中的至少一些来生成120fps视频。第一多个图像帧是以120fps读出的图像帧。一个或多个处理器可以通过具有120fps或更高的输出速度的接口实时地获取第一多个图像帧，而不将第一多个图像帧存储在图像传感器的存储器中。
同时，在第一帧速率是960fps的情况下，一个或多个处理器可以通过以1:8的比率选择并且获取以960fps读出的第一多个图像帧中的一些来生成120fps视频。例如，一个或多个处理器可以获取以960fps读出的每八个图像帧中的一个，并且因此，一个或多个处理器可以获取相同的图像帧作为基本上以120fps读出的图像帧。
在操作2060中，一个或多个处理器可以使用以第二帧速率获取的第二多个图像帧中的至少一些来生成视频的第二部分。例如，在第二帧速率是960fps的情况下，一个或多个处理器可以在图像传感器中所提供的存储器中存储以960fps读出的所有第二多个图像帧。一个或多个处理器可以通过经由接口获取存储在存储器中的第二多个图像帧来生成960fps视频。
在操作2070中，在停止检测与外部对象相关联的变化之后，一个或多个处理器可以基于用户输入、使用以第一帧速率或第三帧速率获取的外部对象的第三多个图像帧中的至少一些来生成视频的第三部分。例如，在停止检测与外部对象相关联的变化的情况下，在操作2040中，一个或多个处理器可以从电子设备的用户接收与手动高速照相的开始有关的信号。一个或多个处理器可以基于所接收的信号来开始手动高速照相，并且一个或多个处理器可以将列读出电路的读出速度设置为960fps、1000fps、480fps，或其他各种速度。
同时，当预设事件发生时，可以结束与用户的输入相对应地开始的手动高速照相。例如，预设事件可以包括当图像传感器内部的存储器的存储为满时。预设事件可以包括当没有检测到与外部对象相关联的另外的变化时。预设事件可以包括当预设时间过去时。预设事件可以包括当从外部接收到与结束高速照相有关的信号时。
例如，在图像传感器中的存储器的存储为满的时刻，一个或多个处理器可以确定图像传感器中的存储器不能再存储更多图像帧。因此，一个或多个处理器可以将读出速度设置为低于当前设置的读出速度，并且一个或多个处理器可以结束手动高速照相。
根据本公开的实施例，一个或多个处理器可以基于第一多个图像帧中的至少一些来生成视频的第一部分。第一部分可以是120fps视频。一个或多个处理器可以基于第二多个图像帧来生成视频的第二部分。第二部分可以是960fps视频。一个或多个处理器可以基于第三多个图像帧中的至少一些来生成视频的第三部分。第三部分可以是960fps视频。例如，视频可以以第一部分、第二部分、第一部分、第三部分和第一部分这样的顺序包括它们。
图21图示出根据本公开的实施例的、使用缓冲存储器来执行高速照相的方法的流程图。
在包括存储器(例如，350)、控制器(例如，340)以及读出电路(例如，330)的图像传感器(例如，300)中，控制器可以是执行方法的实体。或者，在包括图像传感器、处理器(例如，510)以及显示器(例如，160)的电子设备(例如，101或201)中，处理器可以是执行方法的实体。例如，控制器340可以被称为第一处理器，并且外部电路370中的处理器510可以被称为第二处理器。
参考图21，在操作2110中，第一处理器可以接收与视频照相有关的信号。例如，第一处理器可以通过在电子设备中提供的输入/输出接口(例如，150)从电子设备的用户接收对于视频照相的请求。例如，第一处理器可以接收与视频照相相关的程序(例如，140)的执行和视频照相的开始有关的命令。第一处理器可以与视频照相有关的程序的执行相对应地激活图像传感器，并且通过激活的图像传感器例如以30fps获取至少一个图像帧。第一处理器可以通过显示器来显示以30fps获取的至少一个图像帧作为预览图像。
在操作2120中，响应于所接收的信号，第一处理器可以按照第一帧速率(例如，960fps)获取与外部对象相对应的第一多个图像帧。例如，第一处理器可以从电子设备的用户接收对于高速视频照相的请求。因此，第一处理器可以将读出速度设置为第一帧速率。图像传感器300的列读出电路330可以基于由像素阵列310接收的光按照处理器设置的第一帧速率来读出多个图像帧。
在操作2130中，第一处理器可以在存储器中存储所获取的第一多个图像帧当中的指定数量的图像帧。在该情况下，存储器可以是图像传感器中所提供的存储器(例如，350)。例如，第一处理器可以在图像传感器中所提供的存储器中缓冲存储以960fps读出的多个图像帧当中的最新读出的N个图像帧。在这里，一些第一图像帧可以是以高速存储在缓冲存储器中的图像帧(例如，1111、1210和1410)。
或者，在以960fps读出的多个图像帧当中选择N个图像帧时，第一处理器可以选择以预先确定的间隔获取的图像帧，而不是被连续地获取的图像帧。例如，在N个图像帧是从图像帧当中连续地选择的并且被存储在存储器中的情况下，可以生成960fps视频，而当N个图像帧是从奇数编号的或偶数编号的图像帧当中选择的并且被存储在存储器中时，可以生成480fps视频。
在操作2140中，第一处理器可以基于第一多个图像帧中的至少一些来检测与外部对象相关联的变化。例如，第一处理器可以选择第一多个图像帧当中的第一图像帧和第二图像帧。在所选择的第一图像帧的第一亮度和所选择的第二图像帧的第二亮度之间的差超过预设阈值的情况下，第一处理器可以确定在获取第一图像帧的时间与获取第二图像帧的时间之间已经发生与外部对象相关联的变化。在确定外部对象在获取第一图像帧的时间和获取第二图像帧的时间之间变化时，第一个处理器多个可以确定与外部对象相关联的变化满足指定的条件。
在操作2150中，当变化满足指定的条件时，第一处理器可以按照第一帧速率或第二帧速率获取外部对象的第二多个图像帧。在变化满足指定的条件的情况下，第一处理器可以停止检测与外部对象相关联的变化。在变化满足指定的条件的情况下，第一处理器可以将第二多个图像帧存储在图像传感器中所提供的存储器中。例如，在检测到与外部对象相关联的变化时，第一处理器可以开始自动高速照相。当自动高速照相开始时，第一处理器可以在存储器中存储以第一帧速率或第二帧速率读出的所有图像帧。例如，第一处理器可以通过将以960fps读出的所有图像帧存储在存储器中而具有好像以960fps获取了以960fps读出的多个图像帧这样的效果。
根据本公开的实施例，作为读出第一多个图像帧的速度的第一帧速率可以被设置为960fps。在这种情况下，作为读出第二多个图像帧的速度的第二帧速率可以被设置为960fps或1000fps。
作为读出第一多个图像帧的速度的第一帧速率可以被设置为120fps。在这种情况下，作为读出第二多个图像帧的速度的第二帧速率可以被设置为120fps或960fps。
同时，在预设事件发生的情况下，可以结束与满足指定的条件的变化相对应地开始的自动高速照相。例如，预设事件可以包括当图像传感器内部的存储器的存储为满时。预设事件可以包括当没有检测到与外部对象相关联的另外的变化时。预设事件可以包括当预设时间过去时。预设事件可以包括当从外部接收到与结束高速照相有关的信号时。
例如，在图像传感器中的存储器的存储为满的时刻，一个或多个处理器可以确定图像传感器中的存储器不能再存储更多图像帧。因此，一个或多个处理器可以将读出速度设置为低于当前设置的读出速度，并且一个或多个处理器可以结束自动高速照相。
在操作2170中，第二处理器可以至少使用第一多个图像帧中的至少一个和第二多个图像帧中的至少一个来生成视频。根据本公开的实施例，第二处理器可以基于第一多个图像帧中的至少一些来生成视频的第一部分。第一部分可以是120fps视频。第二处理器可以基于存储的N个第一图像帧和存储器350中的第二多个图像帧来生成视频的第二部分。第二部分可以是960fps视频。同时，第二处理器可以将存储在存储器中的N个第一图像帧与第一多个图像帧中的至少一些相比较，并且当存在重叠的图像帧时，第二处理器可以删除重叠的图像帧之一。
图22图示出根据本公开的实施例的程序模块的框图。根据本公开的实施例，程序模块2210(例如程序140)可以包括控制与电子设备(例如，电子设备101)有关的资源的操作系统(OS)和/或在操作系统上驱动的各种应用(例如，应用147)。操作系统可以例如包括AndroidTM、iOSTM、WindowsTM、SymbianTM、TizenTM or BadaTM。
参考图22，程序模块2210可以包括内核2220(例如内核141)、中间件2230(例如中间件143)、API 2260(例如API 145)，和/或应用2270(例如，应用程序147)。可以将程序模块2210的至少一部分预先上载在电子设备上，或可以从外部电子设备(例如，电子设备102和104或者服务器106)下载程序模块2210的至少一部分。
内核2220可以例如包括系统资源管理器2221或设备驱动器2223。系统资源管理器2221可以执行系统资源的控制、分配、或恢复。根据本公开的实施例，系统资源管理器2221可以包括进程管理单元、存储器管理单元，或者文件系统管理单元。设备驱动器2223例如可以包括显示器驱动器、照相机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、小键盘驱动器、Wi-Fi驱动器、音频驱动器，或进程间通信(IPC)驱动器。
中间件2230可以通过API 2260向应用2270提供各种功能，因此应用2270可以使用电子设备中的有限的系统资源或提供由应用2270联合使用的功能。根据本公开的实施例，中间件2230可以包括运行时库2235、应用管理器2241、窗口管理器2242、多媒体管理器2243、资源管理器2244、功率管理器2245、数据库管理器2246、数据包管理器2247、连接管理器2248、通知管理器2249、位置管理器2250、图形管理器2251，或者安全管理器2252中的至少一个。
运行时库2235可以包括由编译器使用的库模块以便在执行例如应用2270时通过编程语言来添加新的功能。运行时库2235可以执行输入/输出管理、存储器管理，或算术功能处理。
应用管理器2241可以管理例如应用2270的生存期。窗口管理器2242可以管理在屏幕上使用的GUI资源。多媒体管理器2243可以掌握用于播放媒体文件的格式并且使用适合于格式的编解码器来对媒体文件执行编码或解码。资源管理器2244可以管理应用2270的源代码或存储器空间。功率管理器2245可以管理例如电池能力或功率并且提供用于电子设备的操作的功率信息。根据本公开的实施例，功率管理器2245可以与基本输入/输出系统(BIOS)交互。数据库管理器2246可以生成、搜索，或改变将要在应用2270中使用的数据库。数据包管理器2247可以管理以数据包文件的形式分发的应用的安装或更新。连接管理器2248可以管理例如无线连接。通知管理器2249可以向用户提供事件，例如到来的消息、约会，或接近警报。位置管理器2250可以管理例如关于电子设备的位置信息。图形管理器2251可以管理例如将向用户提供的图形效果以及它们有关的用户接口。安全管理器2252可以例如提供系统安全性或用户认证。根据本公开的实施例，中间件2230可以包括用于管理电子设备的语音或视频呼叫功能的电话管理器或者能够形成以上描述的元件的功能的组合的中间件模块。根据本公开的实施例，中间件2230可以提供根据操作系统的类型所指定的模块。中间件2230可以动态地省略一些现存的组件或添加新的组件。
API 2260可以是例如API程序功能的集合并且可以取决于操作系统而具有不同的配置。例如，在安卓或iOS的情况下，可以每平台提供一个API集合，并且在Tizen的情况下，可以每平台提供两个或更多API集合。
应用2270可以包括可以提供例如主页2271、拨号器2272、SMS/MMS2273、即时消息(IM)2274、浏览器2275、照相机2276、警报2277、联系人2278、语音拨号2279、电子邮件2280、日历2281、媒体播放机2282、相册2283，或者时钟2284、保健(例如测量锻炼或血糖的程度)，或环境信息的提供(例如气压、湿度，或温度信息的提供)的应用。根据本公开的实施例，应用2270可以包括支持电子设备和外部电子设备之间的信息交换的信息交换应用。信息交换应用的示例可以包括但不限于用于向外部电子设备传递特定信息的通知中继应用，或用于管理外部电子设备的设备管理应用。例如，通知中继应用可以向外部电子设备传递通过电子设备的其它应用生成的通知信息或从外部电子设备接收通知信息并向用户提供所接收的通知信息。例如，设备管理应用可以安装、删除，或更新与电子设备进行通信的外部电子设备的功能(例如开启/关闭外部电子设备(或一些元件)或调整显示器的亮度(或分辨率))或在外部电子设备上操作的应用。根据本公开的实施例，应用2270可以包括根据外部电子设备的属性所指定的应用(例如，移动医疗设备的保健应用)。根据本公开的实施例，应用2270可以包括从外部电子设备接收的应用。可以在软件、固件、硬件(例如处理器210)，或者其至少两个或更多的组合中实施(例如，执行)程序模块2210的至少一部分，并且程序模块2210的至少一部分可以包括用于执行一个或多个功能的模块、程序、例程、命令集，或进程。
根据本公开的实施例，一种用于操作包括图像传感器和一个或多个处理器的电子设备的方法可以包括：接收用于照相的信号，响应于该信号通过图像传感器按照第一帧速率获取外部对象的第一多个图像帧，基于第一多个图像帧来检测与外部对象相关联的变化，当变化满足指定的条件时，按照第一帧速率或第二帧速率获取外部对象的第二多个图像帧并且停止检测变化，使用第一多个图像帧中的至少一些来生成视频的第一部分，使用第二多个图像帧中的至少一些来生成视频的第二部分，以及在停止检测变化之后，基于用户输入，使用按照第一帧速率或第三帧速率获取的外部对象的第三多个图像帧中的至少一些来生成视频的第三部分。
根据本公开的实施例，一种用于操作包括具有存储器的图像传感器和一个或多个处理器的电子设备的方法可以包括：接收与视频照相有关的信号，响应于该信号按照第一帧速率来获取外部对象的第一多个图像帧，在存储器中存储第一多个图像帧当中的指定的数量的第一图像帧，基于第一多个图像帧中的至少一些来检测与外部对象相关联的变化，当变化满足指定的条件时，按照第一帧速率或第二帧速率来获取外部对象的第二多个图像帧并且将第二多个图像帧存储在存储器中，使用第一多个图像帧当中的第二图像帧来生成视频的第一部分，以及使用至少第一图像帧中的至少一些和第二多个图像帧中的至少一些来生成视频的第二部分。
根据本公开的实施例，可以提供一种计算机可读记录介质，用于记录用于执行用于操作包括图像传感器和一个或多个处理器的电子设备的方法的程序，该方法包括：接收用于照相的信号，响应于该信号通过图像传感器按照第一帧速率获取外部对象的第一多个图像帧，基于第一多个图像帧来检测与外部对象相关联的变化，当变化满足指定的条件时，按照第一帧速率或第二帧速率获取外部对象的第二多个图像帧并且停止检测变化，使用第一多个图像帧中的至少一些来生成视频的第一部分，使用第二多个图像帧中的至少一些来生成视频的第二部分，以及在停止检测变化之后，基于用户输入，使用按照第一帧速率或第三帧速率获取的外部对象的第三多个图像帧中的至少一些来生成视频的第三部分。
如在本文所使用的，术语“模块”包括在硬件、软件，或固件中配置的单元并且可以与例如“逻辑”、“逻辑块”、“部分”或“电路”的其他术语可交换使用。模块可以是单个组成部分或最小单元或执行一个或多个功能的一部分。模块可以被机械地或电子地实施并且可以例如包括已经已知的或将在将来开发为执行一些操作的专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)，或可编程逻辑设备。
根据本公开的实施例，设备的至少一部分(例如模块或它们的功能)或方法(例如操作)可以被实施为例如以程序模块的形式存储在计算机可读存储媒介(例如存储器130)中的指令。当指令由处理器(例如，处理器120)执行时，可以使得处理器能够执行对应的功能。计算机可读介质可以例如包括硬盘、软磁盘、磁媒介(例如磁带)、光学记录媒介(例如CD-ROM、DVD、磁光媒介(例如软式光盘))，或嵌入式存储器。指令可以包括由编译器创建的代码或可由解释器执行的代码。根据本公开的各个实施例的模块或编程模块可以包括前述组件中的至少一个或多个、省略它们中的一些，或另外包括其他附加的组件。可以顺序地、并行地、反复地或启发式地执行由根据本公开的各个实施例的模块、编程模块或其他组件执行的操作，或可以以不同的顺序执行或省略至少一些操作，或可以添加其他操作。
电子设备的前述组件的每一个可以包括一个或多个部分，并且部分的名称可以随电子设备的类型而变化。根据本公开的各个实施例的电子设备可以包括前述组件中的至少一个、省略它们中的一些，或包括其他附加的组件(多个)。组件中的一些可以被组合为实体，但是实体可以执行与组件可以完成的相同的功能。
在本文公开的实施例被提出是用于所公开的技术的描述和理解并且不限制本公开的范围。因此，本公开的范围应当被解释为包括基于本公开的技术精神的所有变化或各个实施例。
尽管已经就示例性实施例描述了本公开，但可以向本领域技术人员建议各种改变和修改。本公开旨在包括属于所附权利要求的范围的这样的改变和修改。

Claims (15)

1.一种电子设备，包括：
图像传感器；以及
一个或多个处理器，其中，一个或多个处理器被配置为：
接收用于照相的信号；
响应于该信号，通过图像传感器按照第一帧速率来获取外部对象的第一多个图像帧；
基于第一多个图像帧来检测与外部对象相关联的变化；
当变化满足指定的条件时，按照第一帧速率或第二帧速率来获取外部对象的第二多个图像帧并且停止检测变化；
使用第一多个图像帧中的至少一些来生成视频的第一部分；
使用第二多个图像帧中的至少一些来生成视频的第二部分；以及
在停止检测变化之后，基于用户输入，使用按照第一帧速率或第三帧速率获取的外部对象的第三多个图像帧中的至少一些来生成视频的第三部分。
2.根据权利要求1所述的电子设备，其中，一个或多个处理器包括第一处理器和第二处理器，第一处理器被包括在图像传感器中，并且
其中，第一处理器被配置为：
从第二处理器接收用于照相的信号；
响应于该信号按照第一帧速率来获取外部对象的第一多个图像帧；
基于第一多个图像帧来检测与外部对象相关联的变化；以及
当变化满足指定的条件时，按照第一帧速率或第二帧速率来获取外部对象的第二多个图像帧并且停止检测变化，以及
其中，第二处理器被配置为：
使用第一多个图像帧中的至少一些来生成视频的第一部分；
使用第二多个图像帧中的至少一些来生成视频的第二部分；以及
在停止检测变化之后，基于用户输入，通过第一处理器使用按照第一帧速率或第三帧速率获取的外部对象的第三多个图像帧中的至少一些来生成视频的第三部分。
3.根据权利要求1所述的电子设备，其中，图像传感器还包括存储器，并且其中，一个或多个处理器进一步被配置为：
在存储器中存储第一多个图像帧当中的指定的数量的第一图像帧；以及
当变化满足指定的条件时，至少使用存储在存储器中的第二多个图像帧中的至少一些和第一图像帧中的至少一些来生成视频的第二部分。
4.根据权利要求3所述的电子设备，其中，一个或多个处理器进一步被配置为：
按照第一比率在第一多个图像帧当中选择指定的数量的第一图像帧；
将所选择的第一图像帧存储在存储器中；
按照第二比率在第一多个图像帧当中选择第二图像帧；以及
使用所选择的第二图像帧来生成视频的第一部分。
5.根据权利要求3所述的电子设备，其中，一个或多个处理器进一步被配置为：
当变化满足指定的条件时，停止生成视频的第一部分；
获取与停止第一部分的生成时的时间相对应的第一信息以及与获取第二多个图像帧中的每一个时的时间相对应的第二信息；以及
基于第一信息和第二信息来生成视频的第二部分。
6.根据权利要求1所述的电子设备，其中，一个或多个处理器进一步被配置为：
接收关于与外部对象的至少一部分相对应的感兴趣区域(ROI)的信息；
基于该信息从第一多个图像帧中的至少一些中识别ROI；以及
基于识别的ROI来检测与外部对象相关联的变化。
7.根据权利要求1所述的电子设备，其中，一个或多个处理器进一步被配置为：
基于第一多个图像帧当中的在从接收用于照相的信号时的时间起预设时间过去之后所获取的图像帧来检测与外部对象相关联的变化。
8.根据权利要求1所述的电子设备，进一步包括显示器，其中，一个或多个处理器进一步被配置为：
控制显示器按照低于第一帧速率的第四帧速率来显示第一多个图像帧中的一些、第二多个图像帧以及第三多个图像帧；以及
其中，控制显示器包括：控制显示器显示与获取第一多个图像帧、第二多个图像帧以及第三多个图像帧的帧速率有关的内容。
9.一种电子设备，包括：
图像传感器，包括存储器和第一处理器；以及
第二处理器，提供在图像传感器外部，
其中，第一处理器被配置为：
从第二处理器接收用于视频照相的信号；
响应于该信号按照第一帧速率来获取外部对象的第一多个图像帧；
在存储器中存储第一多个图像帧当中的指定的数量的第一图像帧；
基于第一多个图像帧中的至少一些来检测与外部对象相关联的变化；以及
当变化满足指定的条件时，按照第一帧速率或第二帧速率来获取外部对象的第二多个图像帧并且将第二多个图像帧存储在存储器中，以及
其中，第二处理器被配置为：
使用第一多个图像帧当中的第二图像帧来生成视频的第一部分；以及
至少使用第一图像帧中的至少一些和第二多个图像帧中的至少一些来生成视频的第二部分。
10.根据权利要求9所述的电子设备，
其中，第一处理器被进一步配置为：
当变化满足指定的条件时，停止检测变化，以及
其中，第二处理器被进一步配置为：
在停止检测变化之后，基于用户输入，使用通过第一处理器按照第一帧速率或第三帧速率获取的外部对象的第三多个图像帧中的至少一些来生成视频的第三部分。
11.根据权利要求9所述的电子设备，其中，第一处理器被进一步配置为：
按照第一比率在第一多个图像帧当中选择指定的数量的第一图像帧；
将所选择的第一图像帧存储在存储器中；
按照第二比率在第一多个图像帧当中选择第二图像帧；以及
向第二处理器传送所选择的第二图像帧。
12.根据权利要求9所述的电子设备，其中，第二处理器被进一步配置为：
当变化满足指定的条件时，停止生成视频的第一部分；
获取与停止第一部分的生成时的时间相对应的第一信息以及与获取第二多个图像帧中的每一个时的时间相对应的第二信息；以及
基于第一信息和第二信息来生成视频的第二部分。
13.根据权利要求9所述的电子设备，其中，第一处理器被进一步配置为：
接收关于与外部对象的至少一部分相对应的感兴趣区域(ROI)的信息；
基于该信息从第一多个图像帧和第二多个图像帧中的至少一个中识别ROI；以及
基于识别的ROI来检测与外部对象相关联的变化。
14.根据权利要求9所述的电子设备，其中，第一处理器被进一步配置为：
基于第一多个图像帧当中的在从接收与视频照相有关的信号时的时间起预设时间过去之后所获取的图像帧来检测与外部对象相关联的变化。
15.根据权利要求9所述的电子设备，进一步包括显示器，其中，第一处理器被进一步配置为：
控制显示器按照低于第一帧速率的第四帧速率来显示第一多个图像帧和第二多个图像帧中的一些；以及
其中控制显示器包括：控制显示器显示与获取第一多个图像帧和第二多个图像帧的帧速率有关的内容。
CN201880010274.5A 2017-02-03 2018-01-29 用于捕捉图像的传感器及其控制方法 Active CN110268707B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2017-0015860 2017-02-03
KR1020170015860A KR102641894B1 (ko) 2017-02-03 2017-02-03 이미지를 촬영하는 센서 및 그 제어 방법
PCT/KR2018/001244 WO2018143632A1 (en) 2017-02-03 2018-01-29 Sensor for capturing image and method for controlling the same

Publications (2)

Publication Number Publication Date
CN110268707A true CN110268707A (zh) 2019-09-20
CN110268707B CN110268707B (zh) 2023-04-18

Family

ID=63037861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880010274.5A Active CN110268707B (zh) 2017-02-03 2018-01-29 用于捕捉图像的传感器及其控制方法

Country Status (6)

Country Link
US (1) US10937287B2 (zh)
EP (1) EP3535967B1 (zh)
KR (1) KR102641894B1 (zh)
CN (1) CN110268707B (zh)
MY (1) MY194370A (zh)
WO (1) WO2018143632A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114365478A (zh) * 2019-10-03 2022-04-15 松下知识产权经营株式会社 摄像装置、摄像系统及摄像方法
CN115516869A (zh) * 2020-05-14 2022-12-23 高通股份有限公司 图像信号处理器资源管理

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200016559A (ko) 2018-08-07 2020-02-17 삼성전자주식회사 복수의 구간 영상들을 포함하는 동영상 데이터를 생성하는 전자 장치 및 방법
EP3818691B1 (en) * 2018-10-04 2024-04-10 Samsung Electronics Co., Ltd. Method and system for recording a super slow motion video in a portable electronic device
JP7004852B2 (ja) * 2018-12-26 2022-01-21 富士フイルム株式会社 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
WO2020137665A1 (ja) * 2018-12-27 2020-07-02 富士フイルム株式会社 撮像素子、撮像装置、撮像方法及びプログラム
WO2020153622A1 (en) 2019-01-25 2020-07-30 Samsung Electronics Co., Ltd. Apparatus and method for producing slow motion video
JP7374611B2 (ja) * 2019-05-15 2023-11-07 キヤノン株式会社 撮像システム
US11756283B2 (en) * 2020-12-16 2023-09-12 Waymo Llc Smart sensor implementations of region of interest operating modes
CN115334235B (zh) * 2022-07-01 2024-06-04 西安诺瓦星云科技股份有限公司 视频处理方法、装置、终端设备和存储介质
CN116389898B (zh) * 2023-02-27 2024-03-19 荣耀终端有限公司 图像处理方法、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1992858A (zh) * 2005-12-22 2007-07-04 Lg电子株式会社 在dvr中记录和再现监视图像的方法
CN101271518A (zh) * 2007-03-20 2008-09-24 国际商业机器公司 管理视频监视中目标检测和跟踪系统的互动的系统和方法
CN101529890A (zh) * 2006-10-24 2009-09-09 索尼株式会社 图像摄取设备和再现控制设备
CN101583902A (zh) * 2007-07-10 2009-11-18 佳能株式会社 焦点控制设备、图像感测设备及其控制方法
US20120176505A1 (en) * 2011-01-11 2012-07-12 Samsung Electronics Co., Ltd. Method and apparatus for capturing moving picture
CN102957864A (zh) * 2011-08-24 2013-03-06 奥林巴斯映像株式会社 影像设备及控制方法
CN104007817A (zh) * 2013-02-21 2014-08-27 Metaio有限公司 具有至少一个摄像机的可穿戴信息系统
CN104394312A (zh) * 2014-10-23 2015-03-04 小米科技有限责任公司 拍摄控制方法及装置
CN104618656A (zh) * 2015-02-15 2015-05-13 联想(北京)有限公司 一种信息处理的方法及电子设备
CN106161911A (zh) * 2015-03-24 2016-11-23 联想(北京)有限公司 一种信息处理方法及电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100403238B1 (ko) 2000-09-30 2003-10-30 엘지전자 주식회사 비디오의 지능형 빨리 보기 시스템
US7180429B2 (en) 2002-02-14 2007-02-20 Intel Corporation Slow motion detection system
JP2004120384A (ja) 2002-09-26 2004-04-15 Photron Ltd 高速度撮像装置及び撮像速度の変更方法
US7454078B2 (en) * 2003-07-22 2008-11-18 Warner Bros. Entertainment Inc. Method and apparatus for flicker removal from an image sequence
JP2006352529A (ja) * 2005-06-16 2006-12-28 Olympus Corp 撮像装置
JP2007116208A (ja) * 2005-10-17 2007-05-10 Funai Electric Co Ltd 複眼撮像装置
US8958682B2 (en) 2006-11-07 2015-02-17 Panasonic Intellectual Property Management Co., Ltd. Imaging device
KR101467875B1 (ko) * 2008-09-04 2014-12-02 삼성전자주식회사 프레임 레이트의 가변화 설정이 가능한 디지털 카메라 및 그 제어방법
JP5699609B2 (ja) * 2011-01-06 2015-04-15 ソニー株式会社 画像処理装置および画像処理方法
US9402034B2 (en) * 2011-07-29 2016-07-26 Apple Inc. Adaptive auto exposure adjustment
JP2014049798A (ja) 2012-08-29 2014-03-17 Nikon Corp デジタルカメラ
US10223926B2 (en) * 2013-03-14 2019-03-05 Nike, Inc. Skateboard system

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1992858A (zh) * 2005-12-22 2007-07-04 Lg电子株式会社 在dvr中记录和再现监视图像的方法
CN101529890A (zh) * 2006-10-24 2009-09-09 索尼株式会社 图像摄取设备和再现控制设备
CN101271518A (zh) * 2007-03-20 2008-09-24 国际商业机器公司 管理视频监视中目标检测和跟踪系统的互动的系统和方法
CN101583902A (zh) * 2007-07-10 2009-11-18 佳能株式会社 焦点控制设备、图像感测设备及其控制方法
US20120176505A1 (en) * 2011-01-11 2012-07-12 Samsung Electronics Co., Ltd. Method and apparatus for capturing moving picture
CN102957864A (zh) * 2011-08-24 2013-03-06 奥林巴斯映像株式会社 影像设备及控制方法
CN104007817A (zh) * 2013-02-21 2014-08-27 Metaio有限公司 具有至少一个摄像机的可穿戴信息系统
CN104394312A (zh) * 2014-10-23 2015-03-04 小米科技有限责任公司 拍摄控制方法及装置
CN104618656A (zh) * 2015-02-15 2015-05-13 联想(北京)有限公司 一种信息处理的方法及电子设备
CN106161911A (zh) * 2015-03-24 2016-11-23 联想(北京)有限公司 一种信息处理方法及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114365478A (zh) * 2019-10-03 2022-04-15 松下知识产权经营株式会社 摄像装置、摄像系统及摄像方法
CN114365478B (zh) * 2019-10-03 2024-03-29 松下知识产权经营株式会社 摄像装置、摄像系统及摄像方法
CN115516869A (zh) * 2020-05-14 2022-12-23 高通股份有限公司 图像信号处理器资源管理

Also Published As

Publication number Publication date
MY194370A (en) 2022-11-30
US10937287B2 (en) 2021-03-02
EP3535967A4 (en) 2019-11-06
KR102641894B1 (ko) 2024-02-29
EP3535967A1 (en) 2019-09-11
CN110268707B (zh) 2023-04-18
KR20180090696A (ko) 2018-08-13
WO2018143632A1 (en) 2018-08-09
US20180225941A1 (en) 2018-08-09
EP3535967B1 (en) 2021-01-13

Similar Documents

Publication Publication Date Title
CN110268707A (zh) 用于捕捉图像的传感器及其控制方法
KR102349428B1 (ko) 이미지 처리 방법 및 이를 지원하는 전자장치
KR102445699B1 (ko) 전자 장치 및 그의 동작 방법
CN110462572A (zh) 电子装置及其控制方法
EP3098703A2 (en) Method for outputting screen and electronic device supporting the same
EP3337160B1 (en) Method for providing image, electronic device, and storage medium
CN108279832A (zh) 图像采集方法和电子装置
CN110489043A (zh) 一种悬浮窗口的管理方法及相关装置
KR102460906B1 (ko) 이미지 처리 방법 및 이를 지원하는 전자 장치
CN109644229A (zh) 用于控制相机的方法及其电子设备
CN107666581A (zh) 提供视频内容的方法和支持该方法的电子装置
CN107959877A (zh) 电子设备和电子设备播放多媒体内容的方法
CN110476189A (zh) 用于在电子装置中提供增强现实功能的方法和设备
CN107613283B (zh) 视频中的基于对象或区域的聚焦控制
KR20160146281A (ko) 전자 장치 및 전자 장치에서 이미지 표시 방법
CN110083730A (zh) 使用语音标签管理图像的方法和装置
CN107924314A (zh) 用于执行应用的设备和方法
CN105607882A (zh) 显示方法和电子装置
CN106662969A (zh) 处理内容的方法及其电子设备
CN105874776A (zh) 图像处理设备和方法
CN107786794A (zh) 向应用提供由图像传感器获取的图像的电子装置和方法
CN105426069B (zh) 用于产生预览数据的方法和电子设备
CN108700995A (zh) 电子设备和用于切换和对齐其应用的方法
KR102411281B1 (ko) 전자 장치 및 전자 장치의 이미지 파일 생성 방법
CN108462818A (zh) 电子设备及用于在该电子设备中显示360度图像的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant