CN109547662B - 非模态视频和静态帧捕获 - Google Patents

非模态视频和静态帧捕获 Download PDF

Info

Publication number
CN109547662B
CN109547662B CN201811342211.8A CN201811342211A CN109547662B CN 109547662 B CN109547662 B CN 109547662B CN 201811342211 A CN201811342211 A CN 201811342211A CN 109547662 B CN109547662 B CN 109547662B
Authority
CN
China
Prior art keywords
frames
aspect ratio
frame rate
frame
video sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811342211.8A
Other languages
English (en)
Other versions
CN109547662A (zh
Inventor
D·A·西尔弗斯坦
吴纯伟
林石焕
T·J·米利特
陈挺
倪斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN109547662A publication Critical patent/CN109547662A/zh
Application granted granted Critical
Publication of CN109547662B publication Critical patent/CN109547662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/212—Motion video recording combined with still video recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/007—Systems with supplementary picture signal insertion during a portion of the active part of a television signal, e.g. during top and bottom lines in a HDTV letter-box system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals

Abstract

本发明涉及非模态视频和静态帧捕获。提供了一种设备，包括：至少一个图像传感器；存储器；和集成电路，所述集成电路耦接到所述图像传感器和所述存储器，其中：所述集成电路被配置为从所述图像传感器以第一纵横比和第一帧速率接收第一多个帧；所述集成电路被配置为向所述存储器输出基于第一多个帧的第一视频序列；第一视频序列包括在第二帧速率下具有第一纵横比的多个第一帧以及在第三帧速率下具有不同于第一纵横比的第二纵横比的多个第二帧；并且第二帧速率和第三帧速率之和等于第一帧速率。

Description

非模态视频和静态帧捕获
本申请是申请日为2014年9月26日的、名称为“非模态视频和静态帧捕获”的发明专利申请No.201480059594.1的分案申请。
技术领域
本发明与便携式电子设备中的视频和静态帧捕获领域相关。
背景技术
各种便携式电子设备被设计来捕获视频和/或静态帧(图片)。例如，此类便携式电子设备可包括手持式摄像机、数码相机、配备有图像传感器(“相机”)的个人数字助理、配备有相机的移动电话/智能电话、配备有相机的平板电脑、配备有相机的膝上型电脑等。
包括上述设备的支持视频捕获和静态帧捕获两者的设备越来越普遍。此类设备经常准许用户在视频捕获期间捕获静态帧。例如，设备可显示正在被包括在设备中或附接到设备的屏幕上捕获的视频，并且设备可包括按钮或用户可按下以捕获静态帧的其他用户输入设备。“按钮”可为设备上的物理按钮或为在屏幕是触摸屏的情况下的屏幕上的虚拟按钮。
在视频捕获期间捕获静态帧存在若干个问题。首先，视频捕获经常以低于相机所支持的分辨率执行，并且相机的较高分辨率通常用于在不捕获视频时捕获静态帧。其次，视频的纵横比通常为16×9，而静态帧通常以4×3纵横比来捕获。因此，当用户捕获静态帧时，所捕获的静态帧的较低分辨率和不同的纵横比可使用户感到意外并且可使用户不满意。一般来讲，当在高分辨率静态模式与较低分辨率视频模式之间切换时，需要重新配置相机传感器，因此无法仅切换模式来在视频捕获期间捕获较高分辨率的静态图像。
发明内容
在一个实施例中，电子设备可被配置为在视频捕获期间捕获静态帧，但可以4×3纵横比并且以比16×9纵横比的视频帧更高的分辨率来捕获静态帧。在一个具体实施中，该设备可使视频序列中的高分辨率4×3帧与较低分辨率16×9帧交织，并且可在用户指示捕获静态帧时捕获最近的较高分辨率4×3帧。该设备可显示正在显示屏上捕获的视频，并且还可提供对4×3成帧的指示。例如，视频可借助在黑边(letterbox)周围以半透明形式示出的4×3成帧的剩余部分来进行黑边处理。这样，用户可意识到同时进行4×3成帧和视频成帧。在另一个具体实施中，正被捕获的视频可以16×9纵横比显示在显示屏上。如果用户按压快门按钮以捕获静态帧，则所显示的视频可被扩展到4×3纵横比(保留视频帧在4×3帧内的比例和放置)。当用户释放快门按钮时，可捕获到静态帧并且显示器可返回到16×9纵横比。
附图说明
以下详细描述参考了附图，现在简要描述该附图。
图1是系统的一个实施例的框图。
图2是示出在一个实施例中的在一个时间段内捕获的帧的框图。
图3是在图1所示的系统的显示器上显示帧的一个实施例的框图。
图4是图1所示的图像信号处理器(ISP)的一个实施例的框图。
图5是图1所示的ISP的另一个实施例的框图。
图6是示出根据系统的一个实施例的视频帧捕获的流程图。
图7是示出根据系统的一个实施例的静态帧捕获的流程图。
图8是示出根据系统的另一个实施例的静态帧捕获的流程图。
图9是系统的另一个实施例的框图。
尽管本发明易受各种修改形式和替代形式的影响，但附图中以举例的方式示出了其具体实施例并将在本文中详细描述。然而，应当理解，这些附图和对其的详细描述并非旨在将本发明限于所公开的特定形式，而正相反，本发明的目的在于涵盖落在由所附权利要求书限定的本发明的实质和范围内的所有修改形式、等同形式和替代形式。本文所使用的标题仅用于组织目的，并非意在用于限制说明书的范围。如在整个专利申请中所使用的那样，以允许的意义(即，意味着具有可能性)而不是强制的意义(即，意味着必须)来使用字词“可能”。类似地，词语“包括”(“include”、“including”和“includes”)是指包括但不限于。
各种单元、电路或其他部件可被描述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”是对通常意味着“具有”在操作期间执行这一项或多项任务的“电路”的结构的宽泛表述。因此，单元/电路/部件可被配置为即使在单元/电路/部件当前未接通时也执行该任务。一般来讲，形成与“被配置为”对应的结构的电路可包括硬件电路和/或存储可执行以实现该操作的程序指令的存储器。存储器可包括易失性存储器诸如静态随机存取存储器或动态随机存取存储器和/或非易失性存储器(诸如光盘存储装置或磁盘存储装置)、闪存存储器、可编程只读存储器等。类似地，为了描述的方便，可将各种单元/电路/部件描述为执行一项或多项任务。此类描述应当被解释成包括短语“被配置为”。表述被配置为执行一项或多项任务的单元/电路/部件明确地旨在对那个单元/电路/部件不援引35U.S.C.§112第六段的解释。
本说明书包括参考“一个实施例”(“one embodiment”或“an embodiment”)。除非本文明确地否认，否则短语“在一个实施例中”(“in one embodiment”或“in anembodiment”)的出现不一定是指相同实施例，但是通常设想包括特征的任何组合的实施例。特定特征、结构或特性可以与本公开一致的任何适当的方式来组合。
具体实施方式
现在转向图1，其示出了片上系统(SOC)10的一个实施例的框图，该SOC耦接到存储器12、一个或多个图像传感器26和一个或多个显示器20。如名称所暗示的，SOC 10的部件可作为集成电路“芯片”被集成到单个半导体基板上。在一些实施例中，这些部件可在系统中的两个或更多离散芯片上实施。另外，各种部件可被集成在任何集成电路上(即，其无需是SOC)。然而，SOC 10将在本文中用作实例。在例示的实施例中，SOC 10的部件包括中央处理单元(CPU)复合件14、显示管16、外围部件18A-18B(更简略地称为“外围设备”)、存储器控制器22、图像信号处理器(ISP)24以及通信结构27。部件14、16、18A至18B、22和24可全部耦接到通信结构27。存储器控制器22可在使用期间耦接到存储器12。类似地，ISP 24可在使用期间耦接到图像传感器26，并且显示管16可在使用期间耦接到显示器20。因此，SOC 10、图像传感器26、存储器12和显示器20可全部为系统的部件，该系统诸如便携式电子设备(上文提及其实例)或任何其他计算机系统。在例示的实施例中，CPU复合件14包括一个或多个处理器28以及二级(L2)高速缓存30。
ISP 24可被配置为从图像传感器26接收图像传感器数据，并且可被配置为处理数据以产生图像帧，这些图像帧可例如适于在显示器20和/或其他显示器上显示。图像帧可包括静态帧和视频帧。ISP 24可被配置为将图像帧写到存储器12(通过存储器控制器22)。
图像传感器26可通常包括被配置为对光进行取样并且提供表示所取样的光的输出的任何设备。图像传感器26可包括相机(例如，电荷耦合设备(CCD)、互补金属氧化物半导体(CMOS)传感器等)。在一些实施例中，图像传感器26还可包括各种固定光学透镜或可移动光学透镜。
更具体地，在一个实施例中，ISP 24可被配置为随时间从图像传感器26接收一系列帧(例如，以指定帧速率诸如60帧/秒(fps)，但可在各种实施例中使用任何帧速率)。从给定图像传感器26接收的帧的分辨率和纵横比可基于给定图像传感器26的最大分辨率和给定图像传感器26的纵横比。例如，在一个实施例中，可以给定图像传感器26的最大分辨率和纵横比来接收帧。在另一个实施例中，可以与给定图像传感器所具有的纵横比不同的纵横比以及可在那个不同的纵横比下支持的最大分辨率来接收帧。例如，在一个实施例中，给定图像传感器26可具有4×3纵横比，但ISP 24可以16×9纵横比来接收帧。所接收的帧的分辨率可从最大分辨率降低，以反映从4×3(16×12)到16×9的损耗。另选地，在另一个实施例中，ISP 24可被配置为降低所接收的帧的纵横比。
在一个实施例中，ISP 24可同时从多于一个图像传感器接收帧。例如，视频图像传感器可连同较高分辨率静态帧传感器一起用于较低分辨率视频捕获。ISP 24可以交织方式来处理来自图像传感器的数据。例如，ISP 24可捕获并处理视频图像帧，并且可使用剩余时间来处理较高分辨率静态图像帧(或较高分辨率帧的一部分)直到捕获到下一个视频帧。
ISP 24可被配置为处理所接收的帧以产生所捕获的视频序列。在一个实施例中，该处理可包括改变纵横比以及至少一些帧的分辨率。在一些实施例中，还可改变帧速率。在一个实施例中，ISP 24可使在由图像传感器26提供的分辨率和纵横比下的帧与在较低分辨率和不同纵横比下的帧交织。例如，该较低分辨率可为捕获视频序列所依据的显示标准的分辨率。显示标准可为分辨率和纵横比的任何标准设定，其可由各种显示器来实施。由于分辨率和纵横比是标准的，所以视频序列可适于在许多不同类型的显示设备上显示。例如，显示标准可包括720p、720i、1080p或1080i。1080p标准目前特别流行，并且由许多视频显示设备诸如电视和计算机监视器来实施。这些各种显示标准还常常被称为高清晰度电视(HDTV)。1080p标准将在本文中用作实例，并且指定16×9纵横比和1920×1080分辨率或2百万像素。
另一方面，图像传感器26的分辨率可为8百万像素、10百万像素、12.5百万像素或12.5百万像素以上(或在一个实施例中，12.5百万像素以下，但仍高于1080p分辨率)。图像传感器26的纵横比还可为4×3。在显示标准分辨率和纵横比下的帧可被称为显示标准帧，或对于更具体的实例来讲被称为1080p帧。从图像传感器26所接收的在分辨率和纵横比下的帧可被称为“全分辨率”帧，但在一些情况下，分辨率可能不是图像传感器26的最大分辨率。
通过使视频序列中的1080p帧和全分辨率帧交织，ISP 24可减少在输出视频序列(例如，通过经由通信结构27并且经过存储器控制器22来将其写到存储器12)时消耗的带宽和功率的量。另外，所捕获的视频序列中的全分辨率帧的存在可准许在捕获视频的同时捕获静态帧。静态帧可具有图像传感器26的全分辨率和纵横比(通过在用户指示将捕获静态帧时从视频序列选择全分辨率帧中的一个全分辨率帧)，这可在不需要改变模式的情况下提供更合意的静态帧(例如，类似于在静态模式下捕获的那些静态帧)。
使高分辨率帧与较低分辨率帧交织可产生高分辨率帧和较低分辨率帧的图像流，每个帧的帧速率为从图像传感器26捕获帧的帧速率的一半。然而，帧速率无需相同。例如，高分辨率帧速率可为流中的帧的1/4，或帧的1/8，或任何其他交织图案。可提高较低分辨率帧速率以产生期望的总帧速率(例如，较低分辨率帧可在高分辨率帧为帧的1/4的情况下为帧的3/4，或者可在高分辨率帧为帧的1/8的情况下为帧的7/8)。
在一个实施例中，ISP 24还可生成“预览”视频序列，该“预览”视频序列可通过显示管16在显示器20上显示。预览视频序列可为较低分辨率序列(例如，分辨率可类似于1080p分辨率)，但纵横比可为图像传感器26的纵横比。即，纵横比可为静态图像的纵横比。可向正在捕获视频的用户显示预览序列，因此用户可使视频序列按需要成帧。此外，显示静态图像纵横比可准许用户在捕获静态图像的情况下查看静态图像将如何成帧。在一个实施例中，还可在预览序列中指示显示标准纵横比，因此用户可在显示器20上同时看到视频帧和静态帧两者。在一个实施例中，预览视频序列的帧速率也可低于所捕获的视频序列的帧速率(例如，相比于60fps的30fps)。
其他实施例可以其他方式显示预览。例如，可在正在捕获视频的同时以显示标准纵横比(例如，16×9)来生成预览序列。用户可指示对捕获静态帧(例如，通过按下设备上的快门按钮)的渴望，并且预览可围绕视频序列显示静态纵横比(将视频序列保持在显示器20上的相同位置，但还显示静态帧的剩余部分)。可在按下快门按钮的同时继续进行视频捕获。用户可释放快门按钮以捕获静态图像并且返回到仅视频捕获。快门按钮可为被包括在系统的外壳上的物理按钮，或可为显示屏上的虚拟按钮(例如，如果显示器20为触摸屏显示器)。
显示管16可包括硬件以处理一个或多个静止帧和/或一个或多个视频序列以用于在显示器20上显示。一般来讲，对于每个源帧或视频序列，显示管16可被配置为生成读取存储器操作，以通过存储器控制器22来从存储器12读取用于表示该帧/视频序列的数据。具体地，在该实施例中，显示管16可被配置为通过存储器控制器22来从存储器12读取预览序列。因此，ISP 24可将预览序列以及所捕获的序列和任何静态帧写到存储器12。显示管16可被配置为对图像数据(静止帧、视频序列等)执行任何类型的处理。在一个实施例中，显示管16可被配置为缩放静止帧，并且对视频序列的帧进行抖动、缩放和/或执行色彩空间转换。显示管16可被配置为混合静止帧和视频序列帧以产生输出帧以用于显示。更一般地，显示管16可被称为显示控制器。
显示器20可为任何种类的视觉显示设备。显示器可包括例如用于移动设备(诸如智能电话、平板电脑等)的触摸屏式显示器。各种显示器20可包括液晶显示屏(LCD)、发光二极管(LED)、等离子体、阴极射线管(CRT)等。显示器可集成到包括SOC 10的系统(例如，智能电话或平板电脑)中，和/或可为单独封装的设备诸如计算机监视器、电视或其他设备。
一般来讲，帧的纵横比可指水平方向上的像素(如由用户查看的)与竖直方向上的像素的比率。帧中的像素的实际数量可被称为帧的分辨率。帧中的像素越多，图像的粒度可越细小，因此图像可越精确。
CPU复合件14可包括用作SOC 10的CPU的一个或多个CPU处理器28。系统的CPU包括执行系统的主控制软件诸如操作系统的一个或多个处理器。一般来讲，在使用期间由CPU执行的软件可控制系统的其他部件，以实现系统的期望的功能。CPU处理器28还可执行其他软件诸如应用程序。应用程序可提供用户功能并且可依赖于较低级设备控制的操作系统。因此，CPU处理器28还可被称为应用处理器。CPU复合件还可包括其他硬件诸如L2高速缓存30和/或至系统的其他部件的接口(例如，至通信结构27的接口)。
外围设备18A至18B可为被包括在SOC 10中附加硬件功能的任何集合。例如，外围设备18A至18B可包括视频外围设备诸如视频编码器/解码器、缩放器、旋转器、混合器、图形处理单元等。该外围设备可包括音频外围设备诸如麦克风、扬声器、至麦克风和扬声器的接口、音频处理器、数字信号处理器、混频器等。该外围设备可包括用于SOC 10(例如，外围设备18B)外部的各种接口的接口控制器，该接口诸如通用串行总线(USB)、包括快速外围部件互连(PCI)(PCIe)的PCI、串行端口和并行端口等。该外围设备可包括联网外围设备诸如媒体访问控制器(MAC)。可包括任何硬件集合。
存储器控制器22通常可包括用于从SOC 10的其他部件接收存储器请求以及用于访问存储器12以完成存储器请求的电路。存储器控制器22可被配置为访问任何类型的存储器12。例如，存储器12可为静态随机存取存储器(SRAM)、动态RAM(DRAM)诸如包括双倍数据速率(DDR、DDR2、DDR3等)DRAM的同步DRAM(SDRAM)。可支持DDR DRAM的低功率/移动版本(例如，LPDDR、mDDR等)。
通信结构27可为用于在SOC 10的部件之间进行通信的任何通信互连和协议。通信结构27可为基于总线的，包括共享总线配置、纵横配置以及具有桥接器的分级总线。通信结构27还可为基于分组的，并且可为具有桥接器的分级互连、纵横互连、点对点互连或其他互连。
需注意，SOC 10的部件的数量(和图1所示的那些部件(诸如在CPU复合件14内)的子部件的数量)可在各个实施例中各不相同。存在比图1所示的数量更多或更少的每个部件/子部件。
接下来转向图2显示示出了根据一个实施例的视频序列的连续帧的图示。视频序列包括在4×3纵横比和全传感器分辨率下的帧40A至40D，其与在16×9纵横比和1080p分辨率下的帧42A至42D交织。即，以4×3纵横比和高分辨率以及以16×9纵横比和较低分辨率提供交替帧。在一个实施例中，视频序列的帧速率可与来自图像传感器26的输入帧速率相同(例如，60fps)。因此，每个帧类型的有效帧速率(全分辨率和1080p分辨率)可为视频序列帧速率的1/2(例如，30fps)。
如上所述，全分辨率和1080p分辨率帧的帧速率无需要相同。取决于各种因素诸如系统和ISP本身中的可用带宽，有效帧速率可变化。例如，可以15fps来捕获全分辨率帧，并且可以45fps来捕获1080p分辨率帧以产生60fps。可使用帧速率的任何集合。
图3是示出可在捕获图2所示的视频序列期间在显示器20上显示的预览序列的帧44的一个实施例的框图。帧44可包括以如大括号48和50所指示的16×9格式的视频帧46。另外，4×3(16×12)帧的延伸超过视频帧的部分可以半透明黑边形式52A至52B示出，其中全4×3(16×12)帧经由大括号48和54示出。
半透明黑边52A至52B可为在视频序列中捕获帧44的哪个部分(视频帧46)和哪个部分可用于静态图像(整个帧44)的可见指示。半透明黑边52A至52B可对图像加阴影以提供视觉效应，但还可允许查看到底层像素，使得用户可在仍然捕获视频的同时对期望的静态镜头成帧。其他实施例可使用其他视觉指示器(例如，分离视频帧部分与静态帧部分的线、在帧44的右边和左边在视频帧46开始和结束所在的点处的刻度标记等)。
黑边效应可由ISP 24在处理视频序列时添加，或可通过显示管16添加，从而将透明重叠部分作为静止图像混合到具有非一体α值的视频序列上，该α值准许底层像素颜色部分可见。
还在帧44上显示虚拟快门按钮56。在例示的实施例中，在视频帧44内显示按钮56，但还可在黑边区域52A至52B中显示该按钮。可在显示器20为支持触摸的显示器的实施例中使用按钮56。用户可通过在显示按钮的点处与屏幕进行触摸接触来按下按钮56，从而捕获静态帧。在一个实施例中，按下按钮使得捕获静态帧。在另一个实施例中，在按下按钮之后释放按钮可使得捕获静态帧。同时，可继续捕获并显示视频序列。响应于用户按下(或释放)按钮56，SOC 10可被配置为从所捕获的视频序列捕获最近的全分辨率帧。即，静态帧捕获发生的时间点可被同步到视频序列，并且可选择与那个时间点最近的全分辨率帧。
现在转向图4，其示出了ISP 24的一个实施例的框图。在例示的实施例中，ISP 24包括传感器接口60、前端缩放器62、后端处理块64和后端缩放器66。传感器接口60被耦接以从一个或多个图像传感器26接收帧，并且耦接到前端缩放器62。前端缩放器62被耦接以将经缩放的帧提供到存储器控制器22以存储在存储器12中。后端处理块64被配置为从存储器12读取经缩放的帧(由图4中的虚线68示出)。后端处理块64耦接到后端缩放器66，该后端缩放器被耦接以将所捕获的视频序列和预览视频序列提供到存储器控制器22以存储在存储器12中。预览视频序列可由显示管16从存储器12读取(由虚线70示出)。
从图像传感器26接收的帧可为在期望的帧速率(例如，在该个实例中为60fps)下的全传感器分辨率帧。另外，帧可具有传感器纵横比(例如，在该实例中为4×3)。如先前所提及的，在一些实施例中，可采用多个图像传感器，并且可接收来自每个图像传感器的帧。在各种实施例中，用于从每个传感器接收图像的帧速率无需相同。传感器接口60可被配置为接收帧数据并且将该数据供应到前端缩放器62。前端缩放器62可输出在全传感器分辨率和纵横比下的交替的帧(即，未修改的帧)和在降低的分辨率和16×9纵横比下的帧。降低的分辨率可为显示标准分辨率(例如，1080p)或可为中间分辨率。例如，中间分辨率可基于预览视频序列的分辨率。具体地，在一个实施例中，中间分辨率可匹配预览视频序列的水平分辨率。在其他实施例中，生成高分辨率帧和低分辨率帧的相对速率可变化，如上文论述。
前端缩放器62可对原始传感器像素数据进行操作。可以任何格式(例如，拜耳(Bayer)格式)提供传感器像素数据。可将原始传感器像素数据转换为由系统的其他部件使用的数据(例如，红绿蓝(RGB)像素或色度/亮度(YCrCb)像素)。后端处理块64可被配置为执行转换，并且后端缩放器66可被配置为对所得的帧进行缩放。后端缩放器66可被配置为向存储器输出两个视频流：所捕获的视频序列，其可包括与1080p分辨率的16×9帧交织的经交织的4×3全传感器分辨率帧；以及预览视频序列。
预览视频序列无需在所捕获的视频序列的全帧速率下。例如，在例示的实施例中，预览视频序列可为30fps，其中所捕获的视频序列为60fps。每个预览帧可具有4×3纵横比，并且可具有适于显示器20的分辨率。在一个实施例中，先前帧可包括16×9帧在4×3帧内的指示(例如，黑边处理)。
除了上文提及的拜耳像素转换之外，后端处理块64还可被配置为实施任何其他所期望的图像处理或转化机制。例如，后端处理块64可包括噪声插入、色彩增强等。
图5是ISP 24的另一个实施例的框图。图5的实施例不包括前端缩放器62。因此，传感器接口60可被配置为从图像传感器26接收帧并且将这些帧写入到存储器。在例示的实施例中，所接收的帧可具有4×3纵横比和全传感器分辨率。另选地，在另一个实施例中，所接收的帧可具有16×9纵横比。后端处理块64可从存储器读取所接收的帧(虚线72)，并且可生成经缩放的视频序列，该经缩放的视频序列使由图4的实施例中的前端缩放器生成的4×3纵横比、全传感器分辨率帧与16×9纵横比、较低分辨率帧交织。此外，后端处理块64可被配置为执行如先前所述的拜耳至RGB/YCrCb处理等。后端缩放器66可被配置为生成所捕获的视频序列和预览视频序列，如先前参照图4所论述的。显示管16可从存储器读取预览视频序列(虚线74)，以在显示器20上显示。
图6是示出用于捕获视频序列和预览视频序列的SOC 10的部件的一个实施例的操作的流程图。虽然为了易于理解而以特定顺序示出框，但可使用其他顺序。可在这些部件中以组合逻辑并行执行框。框还可并行地对不同帧或帧的不同部分进行操作。可在多个时钟循环内对框、框的组合和/或作为整体的流程进行流水线处理。SOC 10的部件可被配置为实施图6所示的操作。
ISP 24可被配置为以期望的帧速率来接收图像传感器数据(框80)。ISP 24可被配置为生成交织帧序列(全传感器分辨率的4×3纵横比帧和较低分辨率的16×9纵横比帧)。每个类型的帧的序列可有效地具有所接收的帧的帧速率的一半，并且因此，交织序列可具有与所接收的帧相同的帧速率(框82)。另选地，可支持针对低分辨率帧和高分辨率帧的不同帧速率，如先前所论述的。ISP 24可被配置为生成所捕获的视频序列，该所捕获的视频序列包括与1080p帧交织的全传感器4×3纵横比帧(框84)。另外，ISP 24可被配置为生成预览视频序列的预览分辨率的4×3纵横比帧(框86)。在一个实施例中，预览视频序列的帧速率小于所捕获的视频序列的帧速率。例如，该帧速率可为所捕获的视频序列的一半。预览视频序列的帧可例如通过合并来自所捕获的视频序列的4×3帧(缩放到1080p分辨率)和相邻16×9帧来生成。显示管16可以半透明黑边显示预览视频序列，以指示帧的视频(16×9)部分(框88)。半透明黑边效应可为提供预览视频序列的后端缩放器66的一部分，或可经由混合预览视频序列与静止黑边图像而被应用。所捕获的视频序列和预览视频序列可被存储在存储器12中的独立存储区域中。由于在正在捕获预览视频序列的同时将该序列提供给用户进行查看，因此在需要时该序列可稍微较小，并且可由较新的帧覆写视频序列中的较旧的帧。相反，所捕获的视频序列可旨在用于保留(例如，用于稍后处理/查看，也可能卸载到另一个设备，等等)。因此，可为所捕获的视频序列分配较大区域。在一些实施例中，可将所捕获的视频序列传送到其他存储装置(例如，系统中的非易失性存储器，未示出)。
如果不同帧速率用于高分辨率帧和低分辨率帧，则可在较低分辨率帧的生成之间的片段中执行高分辨率帧的生成。例如，如果以30fps捕获低分辨率帧，则ISP 24可在小于1/30秒的时间内捕获低分辨率帧。直到1/30秒结束的剩余时间可用于处理高分辨率片段。例如，该片段可为高分辨率帧的一个片或多个片。
图7是示出用于在视频捕获期间捕获静态帧的SOC 10的部件的一个实施例的操作的流程图。虽然为了易于理解而以特定顺序示出框，但可使用其他顺序可在这些部件中以组合逻辑并行执行框。可在多个时钟循环内对框、框的组合和/或作为整体的流程进行流水线处理。SOC 10的部件可被配置为实施图7所示的操作。
用户可向系统指示静态帧待捕获(决策框90)。例如，用户可按压系统上的物理快门按钮或显示器20(在该实施例中，该显示器可为触摸屏显示器)上所显示的虚拟快门按钮。例如响应于来自设备(显示器20或物理按钮)的中断，对按钮按压或其他指示的检测可由处理器28中的一个处理器执行。如果用户已指示静态帧(决策框90，“是”支路)，则系统可从所捕获的视频序列捕获最近的4×3纵横比、全传感器分辨率的帧(框92)。系统可(例如)通过将按钮按压事件或其他指示事件的时间戳与所捕获的视频序列帧的时间戳进行比较来确定最近的帧。可将静态帧从其在存储器12中的所捕获视频中的位置复制到另一个位置以作为静态帧进行存储。
在一些实施例中，系统可采用图像质量过滤来选择捕获静态图像，而不是完全地捕获最近的高分辨率帧。例如，可检查帧的清晰度，并且相对于较近的图像，在时间上远离按钮按压的较清晰的图像可为优选的。如果图片的主题是人，则相对于较近的帧，主题的眼睛睁开的帧可为优选的。任何种类的图像质量过滤可被包括在各种实施例中。
在另一个实施例中，可在视频捕获期间以16×9分辨率显示预览视频序列。如果在视频捕获期间用户指示待捕获的静态帧，则可将预览视频序列扩展为4×3纵横比，因此用户可观察对静态帧的成帧。视频捕获可在这个时间期间继续，从而以16×9纵横比进行捕获。一旦捕获到静态帧，预览视频序列便可转变回到16×9纵横比。在一个实施例中，在不执行静态捕获时仅显示16×9视频帧可进一步减小视频数据的带宽和功率消耗，同时仍为静态帧提供期望的纵横比。
图8是示出用于实施从16×9至4×3以及返回的转变的系统的一个实施例的操作的流程图。虽然为了易于理解而以特定顺序示出框，但可使用其他顺序可在这些部件中以组合逻辑并行执行框。可在多个时钟循环内对框、框的组合和/或作为整体的流程进行流水线处理。SOC 10的部件可被配置为实施图8所示的操作。
系统可处于视频捕获模式，从而捕获视频帧并且在显示器20上显示16×9预览。用户可(例如)通过按压物理快门按钮或虚拟快门按钮来指示需要静态帧(决策框94)。如上文论述，可(例如)通过处理器28接收中断来检测用户按下按钮。如果用户没有按下快门按钮(决策框94，“否”支路)，则系统可继续显示16×9预览帧(框96)。另一方面，如果用户按下快门按钮(决策框94，“是”支路)，则系统可显示4×3预览(框98)并且可继续显示4×3预览直到用户释放快门按钮(决策框100，“否”支路)。因此，在需要时，用户可在按下按钮的同时使静态帧成帧。
可以多种方式执行从16×9至4×3的转变。例如，4×3帧可淡入，从而将16×9帧在4×3帧内保持于其相同的位置和比例。4×3帧的超过16×9帧的一部分可半透明地进行黑边处理，使得视频成帧和静态成帧两者可为同时可见的。另选地，淡入可不达到全亮度，从而提供视频成帧与静态成帧之间的视觉差别。
一旦用户释放快门按钮(决策框100，“是”支路)，系统便可在与视频序列分离的存储器位置捕获静态帧，并且显示器可返回以显示16×9视频帧(框102)。例如，4×3帧可淡出。在静态帧的成帧和捕获期间(例如，在按压快门按钮的同时)，视频捕获可继续发生。
需注意，虽然以上论述使用16×9作为视频纵横比并且使用4×3作为静态纵横比，但其他实施例可将其他纵横比用于视频帧和静态帧中的一者或两者。
类似于上文关于图7的论述，在图8的实施例中捕获的静态帧可为在时间上接近按钮释放但也可采用图像质量过滤的帧。
接下来转向图9，其示出系统150的一个实施例的框图。在例示的实施例中，系统150包括耦接到一个或多个外围设备154和外部存储器12的SOC 10的至少一个实例。提供电源156，该电源向SOC 10供应供电电压以及向存储器12和/或外围设备154供应一个或多个供电电压。在一些实施例中，可包括SOC 10的多于一个实例(并且还可包括多于一个存储器12)。
取决于系统150的类型，外围设备154可包括任何期望的电路。例如，在一个实施例中，系统150可为移动设备(例如，个人数字助理(PDA)、智能电话等)，并且外围设备154可包括用于各种类型的无线通信(诸如wifi、蓝牙、蜂窝、全球定位系统等)的设备。外围设备154还可包括附加存储装置，该附加存储装置包括RAM存储装置、固态存储装置或磁盘存储装置。外围设备154可包括用户接口设备，诸如显示屏(包括触摸显示屏或多触摸显示屏)、键盘或其他输入设备、麦克风、扬声器等。在其他实施例中，系统150可为任何类型的计算系统(例如，台式个人计算机、膝上型电脑、工作站、桌面一体机(net top)等)。具体地，外围设备154可包括图1所示的显示器20和一个或多个图像传感器26。
外部储存器12可包括任何类型的存储器。例如，外部存储器12可为SRAM、动态RAM(DRAM)(诸如同步DRAM(SDRAM)、双倍数据速率(DDR、DDR2、DDR3等)SDRAM、RAMBUS DRAM等)。外部存储器12可包括存储器设备安装至其的一个或多个存储器模块，诸如单列直插内存模块(SIMM)、双列直插内存模块(DIMM)等。另选地，外部存储器12可包括以芯片上芯片或封装上封装具体实施形式安装在SOC 10上的一个或多个存储器设备。
一旦充分理解了以上公开，很多变型和修改对于本领域的技术人员而言将变得显而易见。本发明旨在将所附权利要求书解释为涵盖所有此类变型和修改。

Claims (18)

1.一种电子设备，包括：
至少一个图像传感器；
存储器；和
集成电路，所述集成电路耦接到所述图像传感器和所述存储器，其中：
所述集成电路被配置为从所述图像传感器以第一纵横比和第一帧速率接收第一多个帧；
所述集成电路被配置为向所述存储器输出基于第一多个帧的第一视频序列；
第一视频序列包括在第二帧速率下具有第一纵横比的多个第一帧以及在第三帧速率下具有不同于第一纵横比的第二纵横比的多个第二帧，其中所述多个第一帧具有由所述图像传感器提供的第一分辨率并且所述多个第二帧具有小于第一分辨率的第二分辨率，并且其中第二帧速率小于第三帧速率；并且
第二帧速率和第三帧速率之和等于第一帧速率。
2.根据权利要求1所述的设备，其中在第一视频序列中所述多个第一帧与所述多个第二帧交织。
3.根据权利要求1所述的设备，其中第一纵横比与静态帧相关联并且第二纵横比与视频帧相关联。
4.根据权利要求1所述的设备，其中第一纵横比是所述图像传感器的纵横比并且第二纵横比与显示标准相关联。
5.根据权利要求1所述的设备，还包括耦接到所述集成电路的显示设备，其中所述集成电路还被配置为基于第一多个帧生成预览视频序列以在所述显示设备上显示，其中所述预览视频序列具有小于第一帧速率的第四帧速率。
6.根据权利要求5所述的设备，其中所述预览视频序列具有第一纵横比和小于所述图像传感器的第二分辨率的第一分辨率。
7.一种在包括图像传感器、存储器和耦接至所述图像传感器和所述存储器的集成电路的设备中的方法，包括：
在所述集成电路中从所述图像传感器以第一纵横比和第一帧速率接收第一多个帧；
从所述集成电路向所述存储器输出基于第一多个帧的第一视频序列，其中：
第一视频序列包括在第二帧速率下具有第一纵横比的多个第一帧以及在第三帧速率下具有不同于第一纵横比的第二纵横比的多个第二帧，其中所述多个第一帧具有由所述图像传感器提供的第一分辨率并且所述多个第二帧具有小于第一分辨率的第二分辨率，并且其中第二帧速率小于第三帧速率；并且
第二帧速率和第三帧速率之和等于第一帧速率。
8.根据权利要求7所述的方法，还包括通过所述集成电路把所述多个第一帧与所述多个第二帧在第一视频序列中交织。
9.根据权利要求7所述的方法，其中第一纵横比与静态帧相关联并且第二纵横比与视频帧相关联。
10.根据权利要求7所述的方法，其中第一纵横比是所述图像传感器的纵横比并且第二纵横比与显示标准相关联。
11.根据权利要求7所述的方法，其中所述设备还包括耦接到所述集成电路的显示设备，并且所述方法还包括由所述集成电路基于第一多个帧生成预览视频序列以在所述显示设备上显示，其中所述预览视频序列具有小于第一帧速率的第四帧速率。
12.根据权利要求11所述的方法，其中所述预览视频序列具有第一纵横比和小于所述图像传感器的第二分辨率的第一分辨率。
13.一种集成电路，包括：
图像信号处理器ISP，具有传感器接口和电路，所述传感器接口被配置为从图像传感器以第一纵横比和第一帧速率接收第一多个帧，所述电路被配置为响应于第一多个帧而输出第一视频序列的帧，第一视频序列具有在第二帧速率下具有第一纵横比的多个第一帧以及在第三帧速率下具有不同于第一纵横比的第二纵横比的多个第二帧，并且第二帧速率和第三帧速率之和等于第一帧速率，其中所述多个第一帧具有由所述图像传感器提供的第一分辨率并且所述多个第二帧具有小于第一分辨率的第二分辨率，并且其中第二帧速率小于第三帧速率；和
存储器控制器，耦接至所述ISP并且被配置为把第一视频序列写入存储器。
14.根据权利要求13所述的集成电路，其中所述ISP被配置为把所述多个第一帧与所述多个第二帧在第一视频序列中交织。
15.根据权利要求13所述的集成电路，其中第一纵横比与静态帧相关联并且第二纵横比与视频帧相关联。
16.根据权利要求13所述的集成电路，其中第一纵横比是所述图像传感器的纵横比并且第二纵横比与显示标准相关联。
17.根据权利要求13所述的集成电路，还包括耦接到所述存储器控制器的显示控制器，其中所述ISP被配置为基于第一多个帧生成预览视频序列以在显示设备上显示，其中所述预览视频序列具有小于第一帧速率的第四帧速率，并且其中所述ISP被配置为把所述预览视频序列写入存储器并且所述显示控制器被配置为从存储器把所述预览视频序列读取到显示器。
18.根据权利要求17所述的集成电路，其中所述预览视频序列具有第一纵横比和小于所述图像传感器的第二分辨率的第一分辨率。
CN201811342211.8A 2013-11-18 2014-09-26 非模态视频和静态帧捕获 Active CN109547662B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/082,390 US9344626B2 (en) 2013-11-18 2013-11-18 Modeless video and still frame capture using interleaved frames of video and still resolutions
US14/082,390 2013-11-18
CN201480059594.1A CN105684424B (zh) 2013-11-18 2014-09-26 用于在视频捕获期间捕获静态帧的设备和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480059594.1A Division CN105684424B (zh) 2013-11-18 2014-09-26 用于在视频捕获期间捕获静态帧的设备和方法

Publications (2)

Publication Number Publication Date
CN109547662A CN109547662A (zh) 2019-03-29
CN109547662B true CN109547662B (zh) 2019-12-24

Family

ID=51730574

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811342211.8A Active CN109547662B (zh) 2013-11-18 2014-09-26 非模态视频和静态帧捕获
CN201480059594.1A Active CN105684424B (zh) 2013-11-18 2014-09-26 用于在视频捕获期间捕获静态帧的设备和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480059594.1A Active CN105684424B (zh) 2013-11-18 2014-09-26 用于在视频捕获期间捕获静态帧的设备和方法

Country Status (9)

Country Link
US (5) US9344626B2 (zh)
EP (3) EP3468173A1 (zh)
JP (2) JP6254275B2 (zh)
KR (2) KR101758032B1 (zh)
CN (2) CN109547662B (zh)
AU (1) AU2014349165B2 (zh)
DE (1) DE202014011562U1 (zh)
TW (1) TWI566598B (zh)
WO (1) WO2015073124A1 (zh)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013106390A1 (en) 2012-01-09 2013-07-18 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
CN105556944B (zh) 2012-11-28 2019-03-08 核心光电有限公司 多孔径成像系统和方法
US10275128B2 (en) 2013-03-15 2019-04-30 Activevideo Networks, Inc. Multiple-mode system and method for providing user selectable video content
WO2014199338A2 (en) 2013-06-13 2014-12-18 Corephotonics Ltd. Dual aperture zoom digital camera
CN108388005A (zh) 2013-07-04 2018-08-10 核心光电有限公司 小型长焦透镜套件
CN109120823B (zh) 2013-08-01 2020-07-14 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
US9344626B2 (en) 2013-11-18 2016-05-17 Apple Inc. Modeless video and still frame capture using interleaved frames of video and still resolutions
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
US10264293B2 (en) * 2014-12-24 2019-04-16 Activevideo Networks, Inc. Systems and methods for interleaving video streams on a client device
US10523985B2 (en) 2014-12-24 2019-12-31 Activevideo Networks, Inc. Managing deep and shallow buffers in a thin-client device of a digital media distribution network
WO2016108093A1 (en) 2015-01-03 2016-07-07 Corephotonics Ltd. Miniature telephoto lens module and a camera utilizing such a lens module
EP3988984A3 (en) 2015-04-02 2022-07-13 Corephotonics Ltd. Dual voice coil motor structure in a dual-optical module camera
WO2016166730A1 (en) 2015-04-16 2016-10-20 Corephotonics Ltd. Auto focus and optical image stabilization in a compact folded camera
EP3722860B1 (en) 2015-05-28 2023-04-19 Corephotonics Ltd. Bi-directional stiffness for optical image stabilization and auto-focus in a digital camera
CA2993171A1 (en) * 2015-07-20 2017-01-26 Notarize, Inc. System and method for validating authorship of an electronic signature session
US10230898B2 (en) 2015-08-13 2019-03-12 Corephotonics Ltd. Dual aperture zoom camera with video support and switching / non-switching dynamic control
US10070060B2 (en) 2015-09-06 2018-09-04 Corephotonics Ltd Auto focus and optical image stabilization with roll compensation in a compact folded camera
KR102140882B1 (ko) 2015-12-29 2020-08-04 코어포토닉스 리미티드 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라
US10034026B2 (en) 2016-04-22 2018-07-24 Akila Subramaniam Device for and method of enabling the processing of a video stream
EP3758356B1 (en) 2016-05-30 2021-10-20 Corephotonics Ltd. Actuator
KR101893722B1 (ko) 2016-06-19 2018-08-30 코어포토닉스 리미티드 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
US9992467B2 (en) * 2016-06-30 2018-06-05 Apple Inc. Parallel computer vision and image scaling architecture
KR102657464B1 (ko) 2016-07-07 2024-04-12 코어포토닉스 리미티드 폴디드 옵틱용 선형 볼 가이드 보이스 코일 모터
WO2018007951A1 (en) 2016-07-07 2018-01-11 Corephotonics Ltd. Dual-camera system with improved video smooth transition by image blending
US10412390B2 (en) * 2016-07-12 2019-09-10 Mediatek Inc. Video processing system using low-cost video encoding/decoding architecture
EP3842853B1 (en) 2016-12-28 2024-03-06 Corephotonics Ltd. Folded camera structure with an extended light-folding-element scanning range
KR102164655B1 (ko) 2017-01-12 2020-10-13 코어포토닉스 리미티드 컴팩트 폴디드 카메라
EP3436861A4 (en) 2017-02-23 2019-03-27 Corephotonics Ltd. DESIGN FOLDED CAMERA INTERIORS
EP3596543B1 (en) 2017-03-15 2024-04-10 Corephotonics Ltd. Camera with panoramic scanning range
WO2019048904A1 (en) 2017-09-06 2019-03-14 Corephotonics Ltd. STEREOSCOPIC DEPTH CARTOGRAPHY AND COMBINED PHASE DETECTION IN A DOUBLE-OPENING CAMERA
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
KR102268862B1 (ko) 2017-11-23 2021-06-24 코어포토닉스 리미티드 컴팩트 폴디드 카메라 구조
EP3552050B1 (en) 2018-02-05 2021-06-02 Corephotonics Ltd. Reduced height penalty for folded camera
KR20230019502A (ko) 2018-02-12 2023-02-08 코어포토닉스 리미티드 광학 이미지 안정화 기능을 갖는 폴디드 카메라
US10825134B2 (en) * 2018-03-29 2020-11-03 Owned Outcomes Inc. System and method for scaling content across multiple form factors
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
KR20200135778A (ko) 2018-04-23 2020-12-03 코어포토닉스 리미티드 연장된 2 자유도 회전 범위를 갖는 광학 경로 폴딩 요소
JP7028983B2 (ja) 2018-08-04 2022-03-02 コアフォトニクス リミテッド カメラ上の切り替え可能な連続表示情報システム
WO2020039302A1 (en) 2018-08-22 2020-02-27 Corephotonics Ltd. Two-state zoom folded camera
US11158286B2 (en) 2018-10-05 2021-10-26 Disney Enterprises, Inc. Machine learning color science conversion
WO2020144528A1 (en) 2019-01-07 2020-07-16 Corephotonics Ltd. Rotation mechanism with sliding joint
KR102268094B1 (ko) 2019-03-09 2021-06-22 코어포토닉스 리미티드 동적 입체 캘리브레이션을 위한 시스템 및 방법
US10992902B2 (en) * 2019-03-21 2021-04-27 Disney Enterprises, Inc. Aspect ratio conversion with machine learning
JP7292962B2 (ja) 2019-05-08 2023-06-19 キヤノン株式会社 撮像装置およびその制御方法
JP7292961B2 (ja) 2019-05-08 2023-06-19 キヤノン株式会社 撮像装置およびその制御方法
US20220078327A1 (en) * 2019-07-12 2022-03-10 Bennet K. Langlotz Digital camera with still frame capture during video
WO2021019318A1 (en) 2019-07-31 2021-02-04 Corephotonics Ltd. System and method for creating background blur in camera panning or motion
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
US11770618B2 (en) 2019-12-09 2023-09-26 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
US11693064B2 (en) 2020-04-26 2023-07-04 Corephotonics Ltd. Temperature control for Hall bar sensor correction
WO2021234515A1 (en) 2020-05-17 2021-11-25 Corephotonics Ltd. Image stitching in the presence of a full field of view reference image
CN114080565B (zh) 2020-05-30 2024-01-19 核心光电有限公司 用于获得超微距图像的系统和方法
EP4045960A4 (en) 2020-07-15 2022-12-14 Corephotonics Ltd. CORRECTING THE ABERRATION OF VIEWPOINTS IN A FOLDED SCANNING CAMERA
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
KR20240027857A (ko) 2020-07-31 2024-03-04 코어포토닉스 리미티드 큰 스트로크 선형 위치 감지를 위한 홀 센서-자석 구조
CN111970440A (zh) * 2020-08-11 2020-11-20 Oppo（重庆）智能科技有限公司 图像获取方法、电子装置和存储介质
KR102598070B1 (ko) 2020-08-12 2023-11-02 코어포토닉스 리미티드 스캐닝 폴디드 카메라의 광학 이미지 안정화
US11182319B1 (en) * 2020-10-13 2021-11-23 Omnivision Technologies, Inc. Camera system with PWM-activated, burst-self-refresh, DRAM to reduce standby power consumption
CN112559800B (zh) 2020-12-17 2023-11-14 北京百度网讯科技有限公司 用于处理视频的方法、装置、电子设备、介质和产品
WO2023075370A1 (en) * 2021-10-25 2023-05-04 Samsung Electronics Co., Ltd. Method and system for generating high resolution peak action frame
CN114430488A (zh) * 2022-04-01 2022-05-03 深圳市华曦达科技股份有限公司 一种视频编码和视频解码的方法及装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4702090A (en) 1986-10-24 1987-10-27 Astronautics Corporation Of America Magnetic refrigeration apparatus with conductive heat transfer
US7110025B1 (en) 1997-05-28 2006-09-19 Eastman Kodak Company Digital camera for capturing a sequence of full and reduced resolution digital images and storing motion and still digital image data
US20030147640A1 (en) 2002-02-06 2003-08-07 Voss James S. System and method for capturing and embedding high-resolution still image data into a video data stream
JP4113389B2 (ja) * 2002-07-30 2008-07-09 富士フイルム株式会社 電子カメラ
KR101110009B1 (ko) * 2004-02-27 2012-02-06 교세라 가부시키가이샤 촬상 장치 및 화상 생성 방법
US7777790B2 (en) 2005-01-27 2010-08-17 Technion Research & Development Foundation Ltd. Acquisition of image sequences with enhanced resolution
JP2006211426A (ja) * 2005-01-28 2006-08-10 Kyocera Corp 撮像装置およびその画像生成方法
JP2006303961A (ja) * 2005-04-21 2006-11-02 Canon Inc 撮像装置
JP4616096B2 (ja) * 2005-07-12 2011-01-19 オリンパス株式会社 動画撮像装置および撮像プログラム
EP3247110B1 (en) * 2005-07-18 2018-05-16 Thomson Licensing Method and device for handling multiple video streams using metadata
KR100741721B1 (ko) * 2005-08-16 2007-07-23 주식회사 유비원 정지영상을 함께 출력하는 보안감시시스템
JP4621152B2 (ja) * 2006-02-16 2011-01-26 キヤノン株式会社 撮像装置、その制御方法、およびプログラム
JP2008283477A (ja) * 2007-05-10 2008-11-20 Fujifilm Corp 画像処理装置及び画像処理方法
US7705889B2 (en) 2007-06-15 2010-04-27 Sony Corporation Shutter time compensation
JP5251878B2 (ja) * 2007-08-27 2013-07-31 ソニー株式会社 撮像装置及び撮像方法
JP2009071592A (ja) * 2007-09-13 2009-04-02 Fujifilm Corp 撮像装置及び撮像制御方法
FR2925705A1 (fr) 2007-12-20 2009-06-26 Thomson Licensing Sas Dispositif d'aide a la capture d'images
JP2009164725A (ja) * 2007-12-28 2009-07-23 Panasonic Corp 画像記録装置および画像再生装置
CN102124727B (zh) * 2008-03-20 2015-07-29 无线电技术研究学院有限公司 将视频图像适配到小屏幕尺寸的方法
JP5211947B2 (ja) * 2008-09-04 2013-06-12 カシオ計算機株式会社 撮像装置及びプログラム
KR101505681B1 (ko) * 2008-09-05 2015-03-30 엘지전자 주식회사 터치 스크린을 구비한 이동 단말기 및 이를 이용한 이미지 촬상 방법
US20100295966A1 (en) 2009-05-19 2010-11-25 John Furlan Digital video camera with high resolution imaging system
WO2011033675A1 (ja) 2009-09-18 2011-03-24 株式会社 東芝 画像処理装置および画像表示装置
JP2012165090A (ja) * 2011-02-04 2012-08-30 Sanyo Electric Co Ltd 撮像装置およびその制御方法
JP5287917B2 (ja) 2011-03-25 2013-09-11 株式会社デンソー 回転電機の回転子鉄心の製造方法
TWI474097B (zh) 2011-06-22 2015-02-21 Htc Corp 影像擷取方法與影像擷取系統
JP5724677B2 (ja) 2011-06-28 2015-05-27 富士通株式会社 動画像撮影装置および動画像撮影方法
KR101836432B1 (ko) * 2011-12-16 2018-03-12 삼성전자주식회사 촬상장치, 이미지 보정 방법 및 컴퓨터 판독가능 기록매체
KR102058860B1 (ko) 2012-04-16 2019-12-26 삼성전자 주식회사 카메라의 이미지 처리 장치 및 방법
US9313378B2 (en) 2012-04-16 2016-04-12 Samsung Electronics Co., Ltd. Image processing apparatus and method of camera
US9111484B2 (en) * 2012-05-03 2015-08-18 Semiconductor Components Industries, Llc Electronic device for scene evaluation and image projection onto non-planar screens
US9756282B2 (en) * 2012-11-20 2017-09-05 Sony Corporation Method and apparatus for processing a video signal for display
US9519977B2 (en) * 2013-05-13 2016-12-13 Ebay Inc. Letterbox coloring with color detection
US9344626B2 (en) 2013-11-18 2016-05-17 Apple Inc. Modeless video and still frame capture using interleaved frames of video and still resolutions

Also Published As

Publication number Publication date
KR20170083645A (ko) 2017-07-18
US9344626B2 (en) 2016-05-17
US20170134655A1 (en) 2017-05-11
EP3072290B1 (en) 2018-12-26
KR101789976B1 (ko) 2017-10-25
US10911673B2 (en) 2021-02-02
EP3468173A1 (en) 2019-04-10
TWI566598B (zh) 2017-01-11
EP3072290A1 (en) 2016-09-28
CN109547662A (zh) 2019-03-29
JP2018038088A (ja) 2018-03-08
US20150139603A1 (en) 2015-05-21
US10498960B2 (en) 2019-12-03
US20160219220A1 (en) 2016-07-28
JP2016541177A (ja) 2016-12-28
US20200068129A1 (en) 2020-02-27
EP3993395A1 (en) 2022-05-04
DE202014011562U1 (de) 2022-03-18
US9591219B2 (en) 2017-03-07
US20180324357A1 (en) 2018-11-08
CN105684424A (zh) 2016-06-15
WO2015073124A1 (en) 2015-05-21
US10038845B2 (en) 2018-07-31
TW201528815A (zh) 2015-07-16
KR101758032B1 (ko) 2017-07-13
JP6571742B2 (ja) 2019-09-04
CN105684424B (zh) 2018-11-09
AU2014349165B2 (en) 2017-04-13
AU2014349165A1 (en) 2016-04-21
JP6254275B2 (ja) 2017-12-27
KR20160077120A (ko) 2016-07-01

Similar Documents

Publication Publication Date Title
CN109547662B (zh) 非模态视频和静态帧捕获
TWI567634B (zh) 採用多重顯示管線以驅動一影像圖框之獨立部分的裝置、運算系統及方法
US10110821B2 (en) Image processing apparatus, method for controlling the same, and storage medium
US11223762B2 (en) Device and method for processing high-resolution image
US20110261061A1 (en) Method and system for processing image data on a per tile basis in an image sensor pipeline
CN113132650A (zh) 一种视频图像显示处理控制装置、方法及显示终端
US9652816B1 (en) Reduced frame refresh rate
US9241144B2 (en) Panorama picture scrolling
US9558536B2 (en) Blur downscale
US9472168B2 (en) Display pipe statistics calculation for video encoder
US9087393B2 (en) Network display support in an integrated circuit

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant