CN107041168A - 用于适应视频捕捉帧率的传感器配置切换 - Google Patents

用于适应视频捕捉帧率的传感器配置切换 Download PDF

Info

Publication number
CN107041168A
CN107041168A CN201580064068.9A CN201580064068A CN107041168A CN 107041168 A CN107041168 A CN 107041168A CN 201580064068 A CN201580064068 A CN 201580064068A CN 107041168 A CN107041168 A CN 107041168A
Authority
CN
China
Prior art keywords
video data
frame per
resolution
video
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580064068.9A
Other languages
English (en)
Other versions
CN107041168B (zh
Inventor
J·艾尔格
F·马蒂松
D·林纳克
J·古斯塔夫森
O·索恩
A·维堪德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107041168A publication Critical patent/CN107041168A/zh
Application granted granted Critical
Publication of CN107041168B publication Critical patent/CN107041168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

基于一个或更多个图像传感器(110,110’；112)的第一配置，以第一帧率和第一分辨率捕捉第一视频数据，并且以第二帧率和第二分辨率捕捉第二视频数据。所述第二帧率高于所述第一帧率，并且所述第二分辨率低于所述第一分辨率。另外，检测所捕捉的所述第二视频数据中的运动量。基于所检测的运动量，将所述至少一个图像传感器(110,110’；112)切换至第二配置。基于所述第二配置，以第三帧率和第三分辨率捕捉第三视频数据。所述第三帧率高于所述第一帧率，并且所述第三分辨率高于所述第二分辨率。

Description

用于适应视频捕捉帧率的传感器配置切换
技术领域
本发明涉及捕捉视频的方法及相应配置的装置。
背景技术
随着通过使用诸如“全HD(Full HD)”(1920x1080像素)或“4K”(3840x2160像素)的较高分辨率和例如每秒60帧的帧率来支持较高质量的图像的总趋势，各种电子装置(例如，智能电话、平板计算机或数码照相机)也支持捕捉视频。以高帧率捕捉视频还允许生成高质量的慢动作视频。
然而，使用高帧率和分辨率是以增加使用的资源为代价的，例如，关于用于存储所捕捉的视频数据的所需存储器或以高帧率操作高分辨率图像传感器的能量消耗。这一点可以通过以下来考虑：仅当需要时，用户人工激活以较高帧率进行的记录，例如，以用于生成具有快速运动的场景的慢动作视频，诸如游泳者潜入水中。
然而，高帧率捕捉的这种人工激活意味着以下可能性：例如，由于用户没有预期到的场景中的快速运动而导致用户可能忘记激活高帧率捕捉，或激活高帧率太迟。
因此，需要能够以较高帧率高效地捕捉视频的技术。
发明内容
根据本发明的实施方式，提供了一种捕捉视频的方法。根据该方法，以第一配置来配置至少一个图像传感器。基于所述第一配置，以第一帧率和第一分辨率捕捉第一视频数据并且以第二帧率和第二分辨率捕捉第二视频数据。所述第二帧率高于所述第一帧率并且所述第二分辨率低于所述第一分辨率。另外，检测所捕捉的所述第二视频数据中的运动量。基于所检测的所述运动量，将所述至少一个图像传感器切换至第二配置。基于所述第二配置，以第三帧率和第三分辨率捕捉第三视频数据。所述第三帧率高于所述第一帧率，并且所述第三分辨率高于所述第二分辨率。所述第三分辨率可以等于所述第一分辨率。然而，也可以以高于所述第二分辨率的其它分辨率来捕捉所述第三视频数据。所述第三帧率可以等于或高于所述第二帧率。所述第三帧率可以为至少每秒100帧，然而所述第一帧率可以是每秒20至60帧，例如，每秒24帧、每秒25帧、每秒30帧、每秒50帧或每秒60帧。
根据实施方式，至少基于所述第三视频数据来生成慢动作视频。在一些实施方式中，可以基于所述第一视频数据、所述第二视频数据和所述第三视频数据生成所述慢动作视频。例如，这可能会涉及将所述第一视频数据用作基础以从所述第二视频数据计算增强分辨率视频帧和/或将所述第二视频数据用作基础以计算针对所述第一视频数据的中间视频帧。
根据实施方式，基于所述第二视频数据中的模糊来检测运动量。例如，如果模糊的量超过阈值，则可能会触发到所述第二配置的切换。然而，也可以将检测运动量的其它方式作为备选或附加。例如，可以基于通过对所述第二视频数据的视频帧序列执行图像分析而获取的动作矢量来检测运动量。
根据本发明的另一实施方式，提供了一种装置。该装置包括至少一个图像传感器和至少一个处理器。所述至少一个处理器被配置成以第一配置来配置所述至少一个图像传感器。另外，所述至少一个处理器被配置成基于所述第一配置以第一帧率和第一分辨率捕捉第一视频数据并且以第二帧率和第二分辨率捕捉第二视频数据。所述第二帧率高于所述第一帧率，并且所述第二分辨率低于所述第一分辨率。另外，所述至少一个处理器被配置成检测所捕捉的所述第二视频数据中的运动量，并且基于所检测的运动量，将所述至少一个图像传感器切换至第二配置。另外，所述至少一个处理器被配置成基于所述第二配置以第三帧率和第三分辨率捕捉第三视频数据。所述第三帧率高于所述第一帧率，例如，所述第三帧率等于或高于所述第二帧率，并且所述第三分辨率高于所述第二分辨率，例如，所述第三帧率等于所述第一帧率。所述第三帧率可以为至少每秒100帧，然而所述第一帧率可以是每秒20至60帧，例如，每秒24帧、每秒25帧、每秒30帧、每秒50帧或每秒60帧。
根据一些实施方式，所述至少一个图像传感器包括由多个子摄像头形成的阵列摄像头。在这种情况下，在所述第一配置中，仅所述子摄像头的子集(例如，所述子摄像头中的仅一个子摄像头)被指派以捕捉所述第二视频数据而其它的所述子摄像头被指派以捕捉所述第一视频数据。与此相比，在所述第二配置中，全部所述子摄像头被指派以捕捉所述第三视频数据。
根据一些实施方式，所述至少一个图像传感器包括第一图像传感器和具有比所述第一图像传感器的性能低的性能的第二图像传感器。在这种情况下，在所述第一配置中，所述第一图像传感器被指派以捕捉所述第一视频数据而所述第二图像传感器被指派以捕捉所述第二视频数据。与此相比，在所述第二配置中，所述第一图像传感器被指派以捕捉所述第三视频数据。
根据实施方式，所述至少一个处理器被配置成至少基于所述第三视频数据生成慢动作视频。在一些实施方式中，所述至少一个处理器可以被配置成基于所述第一视频数据、所述第二视频数据和所述第三视频数据生成所述慢动作视频。例如，所述至少一个处理器可以被配置成基于所述第一视频数据从所述第二视频数据计算增强分辨率视频帧。另外或作为备选，所述至少一个处理器可以被配置成基于所述第二视频数据计算针对所述第一视频数据的中间视频帧。
根据实施方式，所述至少一个处理器被配置成基于所述第二视频数据中的模糊来检测运动量。
所述至少一个处理器可以被配置成执行根据上述实施方式的方法的步骤。
现在将参照附图更详细地描述本发明的上述和更多实施方式。
附图说明
图1示意性地例示了根据本发明的实施方式的场景、装置。
图2示意性地例示了根据本发明的实施方式的可以利用的图像传感器。
图3示出了用于例示根据本发明的实施方式的方法的流程图。
图4示意性地例示了根据本发明的实施方式的装置。
具体实施方式
下面将更具体地描述本发明的示例性实施方式。需要理解的是，给出下面的描述仅是出于例示本发明的原理的目的，并且不被认为是具有限制的意义。相反，本发明的范围仅由所附权利要求书来限定，并且不旨在受到以下描述的示例性实施方式的限制。
所例示的实施方式涉及通过在一个或更多个图像传感器的不同配置之间进行切换来动态适应视频捕捉帧率，例如，目的在于基于以较高帧率捕捉的视频数据来生成慢动作视频。通过利用不同的图像传感器配置，可以使以高帧率高效捕捉高质量视频成为可能。具体地，在第一图像传感器配置中，当以高分辨率和特定帧率捕捉视频数据时，可以以较低分辨率和较高帧率捕捉更多视频数据，以能够高效检测所捕捉的场景中的快速运动。如果检测到了快速运动，则触发到第二图像传感器配置的切换，以高分辨率和较高帧率捕捉视频数据。通过将高帧率而较低分辨率的视频数据用于动作检测，可以实现高响应性的到第二配置的切换。同时，可以将资源利用限制为可承受值，资源例如关于图像传感器的能量消耗或存储所捕捉的视频数据所需要的存储器。
图1示意性地例示了装置100。在图1的示例中，假设用户装置100为智能电话或数码照相机。如所例示的，装置100被配备有主摄像头110和辅摄像头110’。假设主摄像头110为能够以高分辨率(例如，以1920x1080像素的“全HD”分辨率或甚至诸如3840x2160像素或甚至7680x4320像素的“超HD”分辨率的较高分辨率)捕捉数字视频的高性能摄像头。还假设主摄像头110支持如通常用于正常速度视频捕捉的各种帧率(例如，每秒24帧、30帧、50帧、60帧)的视频捕捉。另外，假设主摄像头110支持用于捕捉慢动作视频的一个或更多个较高帧率。这种较高帧率可以是每秒100帧或更高，例如，每秒120帧、每秒200帧或每秒500帧。除了捕捉视频之外，主摄像头110也可以支持以各种分辨率捕捉静止图像。
假设辅摄像头110’为性能低于主摄像头110的摄像头。例如，辅摄像头110’可以支持仅以低于主摄像头110的分辨率(例如，以960x540像素或640x360像素的分辨率)捕捉数字视频。辅摄像头110’也可以利用比主摄像头110小的图像传感器格式，例如，与对于主摄像头110为500mm2相比，对于辅摄像头110’约为25mm2。同时，假设辅摄像头110’支持相同帧率的视频捕捉。
为了高效地适应视频捕捉帧率，可以按照如下来操作装置100：首先，可以按照常规方式(例如，通过用户选择装置100的视频捕捉模式并(例如，通过按压装置100的摄像头按钮或选择装置100的图形用户界面的相应要素)激活视频数据的捕捉)初始化视频数据的捕捉。然后，装置100使用主摄像头100和辅摄像头110’捕捉视频数据。主摄像头110用于以高分辨率和正常帧率(例如，全HD或4K分辨率和每秒25帧)来捕捉第一视频数据。同时，辅摄像头110’用于以比用于第一视频数据的分辨率低的分辨率和比用于第一视频数据的帧率高的帧率来捕捉第二视频数据。例如，可以以960x540像素的分辨率和每秒200帧的帧率捕捉第二视频数据。在这种模式中，第二视频数据可以用于检测所捕捉的场景中的快速运动。由于较高帧率，可以实现高响应性的动作检测。同时，使用低性能辅摄像头和低分辨率能够避免资源过多使用。如为了执行快速运动的检测而进行的图像分析所需要的，可以临时存储第二视频数据。这样，可以放宽存储所捕捉的视频数据的存储器要求。然而，在一些场景中，第二视频数据可以按照与第一图像数据类似的方式来存储，例如，以于用于呈现慢动作视频。快速运动的检测例如可能会涉及识别第二视频数据中的模糊。然而，也可以使用其它的方式来检测快速运动，例如，基于通过视频帧序列的图像分析而确定的动作矢量进行的动作检测。
如果检测到了快速运动，则装置100切换至使用主摄像头110和辅摄像头110的不同配置。在这种配置中，主摄像头110用于以高分辨率和比用于捕捉第一视频数据的帧率高的帧率来捕捉第三视频数据。例如，可以以与捕捉第一视频数据所使用的高分辨率相同的高分辨率和与捕捉第二视频数据所使用的较高帧率相同的较高帧率来捕捉第三视频数据。因此，主摄像头用于高性能模式。
用于捕捉第三视频数据的高分辨率和高帧率能够将第三视频数据用作用于生成高质量的慢动作视频的基础。这种慢动作视频可以在检测到快速运动的时刻开始，以也可以覆盖所捕捉的场景中的非预期快速运动。在一些情况下，第二视频数据也可以用于生成也覆盖检测到快速运动之前的时间间隔的慢动作视频。例如，第二视频数据可以用于计算中间视频帧以增大第一视频数据的帧率。在这种中间帧中，第一视频数据可以依次用于将第二视频数据的视频帧外推到更高分辨率。
在一些时刻，在高性能模式中装置100可以停止使用主摄像头110。例如，当通过分析第三视频数据而检测出所捕捉的场景中不再存在快速运动时，装置100可以切换回初始配置，在该初始配置中，主摄像头110用于以高分辨率和正常帧率捕捉第一视频数据而辅摄像头110’用于以较低分辨率和较高帧率捕捉第二视频数据。另外，用户可以人工切换回初始配置或停止捕捉视频。
要理解的是，上述高性能主摄像头110和较低性能辅摄像头110’仅仅是可以用于实现所例示的用于适应视频捕捉帧率的配置切换的图像传感器的示例。可以使用的图像传感器的另一示例是阵列摄像头，即，设置有子摄像头阵列的摄像头，所述子摄像头阵列中的每个子摄像头均传送所捕捉的场景的独立图像。阵列摄像头112的示例示意性地例示在图2中。
如图2所示，阵列摄像头112是基于多个子摄像头114的阵列。这些子摄像头114中的每个子摄像头可以支持以特定像素分辨率(例如，200x200像素)捕捉视频数据。另外，每个子摄像头114可以被设置有(例如，基于微透镜的)独立摄像头光学元件。当使用阵列摄像头112而不是图1的主摄像头110和辅摄像头110’时，在初始配置中，一部分子摄像头114(例如，如图2中的阴影所指示的一个子摄像头)可以用于捕捉第二视频数据而其它的子摄像头114可以用于捕捉第一视频数据。当检测到快速运动时，可以使用不同配置的阵列摄像头112，在所述不同配置中，全部子摄像头114用于捕捉第三视频数据。
要理解的是，也可以使用用于捕捉第二视频数据的多个子摄像头114(例如，四个子摄像头)，或者阵列摄像头112可以与诸如图1的辅摄像头110’的附加低性能摄像头组合使用。
图3示出了例示捕捉视频的方法的流程图。该方法例如可以在诸如上述装置100的配备有一个或更多个图像传感器的装置中实现。所述至少一个图像传感器例如可以包括诸如针对图1的主摄像头110和辅摄像头110’所说明的第一摄像头和具有比第一摄像头的性能低的性能的第二摄像头。所述至少一个图像传感器也可以包括诸如结合图2解释的由多个子摄像头形成的阵列摄像头。如果使用基于实现装置的处理器，则该方法的步骤中的至少一部分可以由装置的一个或更多个处理器来执行和/或控制。
在步骤310，以第一配置来配置装置的所述至少一个图像传感器。
在步骤320，基于所述至少一个图像传感器的第一配置来捕捉第一视频数据和第二视频数据。以第一帧率和第一分辨率捕捉第一视频数据。以第二帧率和第二分辨率捕捉第二视频数据。第二帧率高于第一帧率，并且第二分辨率低于第一分辨率。
如果至少一个图像传感器包括诸如图1的主摄像头110和辅摄像头110’的第一图像传感器和具有比第一图像传感器的性能低的性能的第二图像传感器，则在第一配置中，第一图像传感器可以被指派以捕捉第一视频数据而第二图像传感器被指派以捕捉第二视频数据。
如果所述至少一个图像传感器包括诸如结合图2说明的阵列摄像头，则在第一配置中仅子摄像头的子集可以被指派以捕捉第二视频数据而其它的子摄像头被指派以捕捉第一视频数据。在一些场景中，子摄像头的子集可以与子摄像头中的仅一个对应。在其它的场景中，子集可以包括更多的子摄像头。
在步骤330，检测所捕捉的第二视频数据中的运动量。这例如可能会涉及检测第二视频数据中的模糊。另外，这可能会涉及通过对第二视频数据的视频帧序列执行图像分析来确定一个或更多个动作矢量。
在步骤340，所述至少一个图像传感器被切换至第二配置。这是基于在步骤330检测到的运动量来完成的。例如，如果运动量用数值表示，则可以通过超过阈值的运动量来触发到第二配置的切换。
在步骤350，基于第二配置捕捉第三视频数据。第三视频数据以第三帧率和第三分辨率捕捉。第三帧率高于第一帧率，并且第三分辨率高于第二分辨率。第三分辨率可以等于第一分辨率。然而，也可以使用高于第二分辨率的其它分辨率。第三帧率可以等于第二帧率。然而，在一些情况下，第三帧率甚至可以高于第二帧率。为了能够基于第三视频数据生成高质量的慢动作视频，第三帧率可以为至少每秒100帧。然而，根据慢动作视频的期望特性，也可以使用较高帧率，例如，每秒200帧，每秒500帧，每秒1000帧或甚至更高。
如果所述至少一个图像传感器包括诸如结合图2说明的阵列摄像头，则在第二配置中，该阵列摄像头的所有子摄像头可以被指派以捕捉第三视频数据。
如果所述至少一个图像传感器包括诸如图1的主摄像头110和辅摄像头110’的第一图像摄像头和具有比第一图像传感器的性能低的性能的第二图像传感器，则在第二配置中第一图像传感器可以被指派以捕捉第三视频数据。
在步骤360，可以基于第三视频数据生成慢动作视频。这可能会涉及以比第三帧率低的帧率配置第三视频数据的回放。在一些场景中，第一视频数据和/或第二视频数据也可以作为用于生成慢动作视频的基础。例如，基于第一视频数据，可以从第二视频数据计算增强分辨率视频帧。这种视频帧可以依次作为第一视频数据的视频帧之间的中间视频帧而被插入以增强第一视频数据的帧率。换句话说，第二视频数据可以用作用于计算针对第一视频数据的中间视频帧的基础。
图4示出了示意性地例示可以用于实现上述构思的基于处理器实现的装置。例如，可以使用图4所例示的结构来实现装置100。
如所例示的，装置100包括诸如主摄像头110和辅摄像头110’或阵列摄像头112的一个或更多个图像传感器。另外，装置可以包括一个或更多个接口120。例如，如果装置100与智能电话或类似的便携式通信装置对应，则接口120可以包括用于提供装置100的网络连接的一个或更多个无线电接口和/或一个或更多个基于有线接口。用于实现这种无线电接口的无线电技术的示例例如包括诸如GSM(全球移动通信系统)、UMTS(地面移动电信系统)、LTE(长期演进)或CDMA 2000的蜂窝无线电技术、根据IEEE 802.11标准的WLAN(无线局域网)技术或诸如蓝牙的WPAN(无线个域网)技术。用于实现这种基于有线的接口的基于有线的网络技术例如包括以太网技术和USB(通用串行总线)技术。
另外，装置100被设置有一个或更多个处理器140和存储器150。例如，使用用户装置100的一个或更多个内部总线系统将图像传感器110/110’/112、接口120和存储器150联接至处理器140。
存储器150包括具有要由处理器140执行的程序代码的程序代码模块160、170、180。在所例示的示例中，这些程序代码模块包括视频捕捉模块160、动作检测模块170和视频生成模块180。
视频捕捉模块160可以实现上述基于不同的图像传感器配置捕捉视频数据的功能，并且可以仅控制例如结合图3的步骤310、320、340和350说明的这种图像传感器配置之间的切换。
动作检测模块170可以实现上述基于以下情况来检测所捕捉的场景中的动作的功能：例如，基于第二视频数据中的模糊和/或基于诸如结合图3的步骤340说明的通过第二视频数据的视频帧序列的图像分析来确定动作矢量。
视频生成模块180可以实现上述例如结合图3的步骤S360说明的基于所捕捉的视频数据来生成慢动作视频的功能。
要理解的是，图4中所例示的结构仅仅是示例性的，并且装置100也可以包括没有例示的其它元件，例如，用于实现智能电话、数码照相机或类似装置的已知功能的结构或程序代码模块。这种功能的示例包括通信功能、多媒体处理功能等。
可以看出，上述构思能够高效地捕捉视频数据。具体地，通过动态适应视频捕捉帧率和图像传感器配置之间的切换，可以捕捉视频数据，这能够在可承受的区域中保持资源利用的同时生成高质量的慢动作视频。
要理解的是，上述构思易于进行各种修改。例如，该构思可以结合各种图像传感器技术应用于各种装置。另外，该构思可以应用于各种视频分辨率和帧率。

Claims (25)

1.一种捕捉视频的方法，该方法包括以下步骤：
-以第一配置？)来构造至少一个图像传感器(110,110’；112)；
-基于所述第一配置，以第一帧率和第一分辨率捕捉第一视频数据，并且以第二帧率和第二分辨率捕捉第二视频数据，该第二帧率高于该第一帧率并且该第二分辨率低于该第一分辨率；
-检测所捕捉的所述第二视频数据中的运动量；
-基于所检测的所述运动量，将所述至少一个图像传感器(110,110’；112)切换至第二配置；以及
-基于所述第二配置，以第三帧率和第三分辨率捕捉第三视频数据，该第三帧率高于该第一帧率并且该第三分辨率高于该第二分辨率。
2.根据权利要求1所述的方法，
其中，所述第三分辨率等于所述第一分辨率。
3.根据权利要求1或2所述的方法，
其中，所述第三帧率等于或高于所述第二帧率。
4.根据前述权利要求中任一项所述的方法，
其中，所述第三帧率为至少每秒100帧。
5.根据前述权利要求中任一项所述的方法，
其中，所述至少一个图像传感器(110,110’；112)包括由多个子摄像头(114)形成的阵列摄像头；
其中，在所述第一配置中，仅所述子摄像头(114)的子集被指派以捕捉所述第二视频数据而其它的所述子摄像头(114)被指派以捕捉所述第一视频数据；以及
其中，在所述第二配置中，全部所述子摄像头(114)被指派以捕捉所述第三视频数据。
6.根据权利要求5所述的方法，
其中，所述子摄像头(114)的所述子集对应于所述子摄像头(114)中的仅一个子摄像头。
7.根据前述权利要求中任一项所述的方法，
其中，所述至少一个图像传感器(110,110’；112)包括第一图像传感器(110)和具有比该第一图像传感器(110)的性能低的性能的第二图像传感器(110’)；
其中，在所述第一配置中，所述第一图像传感器(110)被指派以捕捉所述第一视频数据而所述第二图像传感器(110’)被指派以捕捉所述第二视频数据；以及
其中，在所述第二配置中，所述第一图像传感器(110)被指派以捕捉所述第三视频数据。
8.根据前述权利要求中任一项所述的方法，该方法包括：
至少基于所述第三视频数据生成慢动作视频。
9.根据权利要求8所述的方法，该方法包括：
基于所述第一视频数据、所述第二视频数据和所述第三视频数据生成所述慢动作视频。
10.根据权利要求9所述的方法，该方法包括：
基于所述第一视频数据，从所述第二视频数据计算增强分辨率视频帧。
11.根据权利要求9或10所述的方法，该方法包括：
基于所述第二视频数据，计算针对所述第一视频数据的中间视频帧。
12.根据前述权利要求中任一项所述的方法，
其中，基于所述第二视频数据中的模糊来检测所述运动量。
13.一种装置(100)，该装置(100)包括：
至少一个图像传感器(110,110’；112)；以及
至少一个处理器(140)，所述至少一个处理器(140)被配置成：
-以第一配置来配置所述至少一个图像传感器(110,110’；112)；
-基于所述第一配置，以第一帧率和第一分辨率捕捉第一视频数据并且以第二帧率和第二分辨率捕捉第二视频数据，该第二帧率高于该第一帧率，并且该第二分辨率低于该第一分辨率；
-检测所捕捉的所述第二视频数据中的运动量；
-基于所检测的所述运动量，将所述至少一个图像传感器(110,110’；112)切换至第二配置；以及
-基于所述第二配置，以第三帧率和第三分辨率捕捉第三视频数据，该第三帧率高于该第一帧率并且该第三分辨率高于该第二分辨率。
14.根据权利要求13所述的装置(100)，
其中，所述第三分辨率等于所述第一分辨率。
15.根据权利要求13或14所述的装置(100)，
其中，所述第三帧率等于或高于所述第二帧率。
16.根据权利要求13-15中任一项所述的装置(100)，
其中，所述第三帧率为至少每秒100帧。
17.根据权利要求13-16中任一项所述的装置(100)，
其中，所述至少一个图像传感器(110,110’；112)包括由多个子摄像头(114)形成的阵列摄像头(112)；
其中，在所述第一配置中，仅所述子摄像头(114)的子集被指派以捕捉所述第二视频数据而其它的所述子摄像头(114)被指派以捕捉所述第一视频数据；以及
其中，在所述第二配置中，全部所述子摄像头(114)被指派以捕捉所述第三视频数据。
18.根据权利要求17所述的装置(100)，
其中，所述子摄像头的所述子集对应于所述子摄像头中的仅一个子摄像头。
19.根据权利要求13-18中任一项所述的装置(100)，
其中，所述至少一个图像传感器(110,110’；112)包括第一图像传感器(110)和具有比所述第一图像传感器(110)的性能低的性能的第二图像传感器(110’)；
其中，在所述第一配置中，所述第一图像传感器(110)被指派以捕捉所述第一视频数据而所述第二图像传感器(110’)被指派以捕捉所述第二视频数据；以及
其中，在所述第二配置中，所述第一图像传感器(110)被指派以捕捉所述第三视频数据。
20.根据权利要求13-19中任一项所述的装置(100)，
其中，所述至少一个处理器(140)被配置成至少基于所述第三视频数据生成慢动作视频。
21.根据权利要求20所述的装置(100)，
其中，所述至少一个处理器(140)被配置成基于所述第一视频数据、所述第二视频数据和所述第三视频数据生成所述慢动作视频。
22.根据权利要求21所述的装置(100)，
其中，所述至少一个处理器(140)被配置成基于所述第一视频数据，从所述第二视频数据计算增强分辨率视频帧。
23.根据权利要求21或22所述的装置(100)，
其中，所述至少一个处理器(140)被配置成基于所述第二视频数据，计算针对所述第一视频数据的中间视频帧。
24.根据权利要求13-23中任一项所述的装置(100)，
其中，所述至少一个处理器(140)被配置成基于所述第二视频数据中的模糊来检测所述运动量。
25.根据权利要求13所述的装置(100)，
其中，所述至少一个处理器(140)被配置成执行根据权利要求1-12中任一项所述的方法的步骤。
CN201580064068.9A 2014-12-02 2015-06-03 一种捕捉视频的方法和装置 Active CN107041168B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/558,130 US9570106B2 (en) 2014-12-02 2014-12-02 Sensor configuration switching for adaptation of video capturing frame rate
US14/558,130 2014-12-02
PCT/EP2015/062416 WO2016087060A1 (en) 2014-12-02 2015-06-03 Sensor configuration switching for adaptation of video capturing frame rate

Publications (2)

Publication Number Publication Date
CN107041168A true CN107041168A (zh) 2017-08-11
CN107041168B CN107041168B (zh) 2021-02-19

Family

ID=53284266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580064068.9A Active CN107041168B (zh) 2014-12-02 2015-06-03 一种捕捉视频的方法和装置

Country Status (4)

Country Link
US (1) US9570106B2 (zh)
EP (1) EP3228075B1 (zh)
CN (1) CN107041168B (zh)
WO (1) WO2016087060A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108322650A (zh) * 2018-02-08 2018-07-24 广东欧珀移动通信有限公司 视频拍摄方法和装置、电子设备、计算机可读存储介质
CN109756671A (zh) * 2017-11-07 2019-05-14 三星电子株式会社 使用多个相机记录图像的电子装置及其操作方法
CN111031233A (zh) * 2019-11-13 2020-04-17 安凯(广州)微电子技术有限公司 一种数字图像处理帧率控制方法及装置
CN111602389A (zh) * 2019-07-23 2020-08-28 深圳市大疆创新科技有限公司 码流的传输控制方法、设备及计算机可读存储介质
CN112312014A (zh) * 2020-10-23 2021-02-02 移康智能科技（上海）股份有限公司 一种声音与摄像头联动系统
CN112805996A (zh) * 2018-10-08 2021-05-14 华为技术有限公司 用于采集高速高清视频的方法及设备
CN112840634A (zh) * 2018-10-18 2021-05-25 三星电子株式会社 用于获得图像的电子装置及方法
CN113409489A (zh) * 2020-03-17 2021-09-17 安讯士有限公司 可穿戴摄像机和用于可穿戴摄像机中的功耗优化的方法
CN113627315A (zh) * 2021-08-06 2021-11-09 上海华测导航技术股份有限公司 一种从边缘端相机到算法推理过程数据预处理的方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016095361A1 (en) * 2014-12-14 2016-06-23 SZ DJI Technology Co., Ltd. Methods and systems of video processing
KR20160109586A (ko) * 2015-03-12 2016-09-21 삼성전자주식회사 이미지 처리 시스템, 및 이를 포함하는 모바일 컴퓨팅 장치
US9697613B2 (en) * 2015-05-29 2017-07-04 Taylor Made Golf Company, Inc. Launch monitor
WO2016210340A1 (en) 2015-06-26 2016-12-29 Li-Cor, Inc. Fluorescence biopsy specimen imager and methods
US10993622B2 (en) * 2016-11-23 2021-05-04 Li-Cor, Inc. Motion-adaptive interactive imaging method
US10187607B1 (en) * 2017-04-04 2019-01-22 Gopro, Inc. Systems and methods for using a variable capture frame rate for video capture
US10224074B2 (en) * 2017-07-12 2019-03-05 Karl Storz Imaging, Inc. Apparatus and methods for improving video quality from a digital video signal including replicated image frames
CN107454322A (zh) * 2017-07-31 2017-12-08 广东欧珀移动通信有限公司 拍照方法、装置、计算机可存储介质和移动终端
US10687023B1 (en) * 2017-08-14 2020-06-16 Visualimits, Llc Gaming table events detecting and processing
CN110830756B (zh) * 2018-08-07 2022-05-17 华为技术有限公司 一种监控方法与装置
US11064113B1 (en) * 2018-12-27 2021-07-13 Gopro, Inc. Image capture device with an automatic image capture capability
CN110636375B (zh) 2019-11-11 2022-03-11 RealMe重庆移动通信有限公司 视频流处理方法、装置、终端设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040095492A1 (en) * 2002-07-06 2004-05-20 Nova Research, Inc. Method and apparatus for an on-chip variable acuity imager array incorporating roll, pitch and yaw angle rates measurement
JP2007096412A (ja) * 2005-09-27 2007-04-12 Victor Co Of Japan Ltd 動画撮影装置及び動画送受信システム
CN101052988A (zh) * 2005-06-22 2007-10-10 松下电器产业株式会社 图像生成装置及图像生成方法
US20070268388A1 (en) * 2004-06-10 2007-11-22 Olympus Corporation Imaging System

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8023796B2 (en) * 2000-11-07 2011-09-20 Panasonic Corporation Video signal producing system and video signal recording/reproducing device in that system
JP3934151B2 (ja) 2005-06-22 2007-06-20 松下電器産業株式会社 画像生成装置および画像生成方法
WO2008099685A1 (ja) * 2007-02-01 2008-08-21 Sony Corporation 画像再生装置と画像再生方法および撮像装置とその制御方法
WO2008128205A1 (en) * 2007-04-13 2008-10-23 Presler Ari M Digital cinema camera system for recording, editing and visualizing images
US8179466B2 (en) * 2009-03-11 2012-05-15 Eastman Kodak Company Capture of video with motion-speed determination and variable capture rate
US9235765B2 (en) * 2010-08-26 2016-01-12 Blast Motion Inc. Video and motion event integration system
US9225904B2 (en) * 2012-02-13 2015-12-29 Htc Corporation Image capture method and image capture system thereof
US20130258167A1 (en) * 2012-03-28 2013-10-03 Qualcomm Incorporated Method and apparatus for autofocusing an imaging device
US9438868B2 (en) * 2014-02-13 2016-09-06 Semiconductor Components Industries, Llc Adaptive image sensor systems and methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040095492A1 (en) * 2002-07-06 2004-05-20 Nova Research, Inc. Method and apparatus for an on-chip variable acuity imager array incorporating roll, pitch and yaw angle rates measurement
US20070268388A1 (en) * 2004-06-10 2007-11-22 Olympus Corporation Imaging System
CN101052988A (zh) * 2005-06-22 2007-10-10 松下电器产业株式会社 图像生成装置及图像生成方法
JP2007096412A (ja) * 2005-09-27 2007-04-12 Victor Co Of Japan Ltd 動画撮影装置及び動画送受信システム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109756671B (zh) * 2017-11-07 2022-01-25 三星电子株式会社 使用多个相机记录图像的电子装置及其操作方法
CN109756671A (zh) * 2017-11-07 2019-05-14 三星电子株式会社 使用多个相机记录图像的电子装置及其操作方法
CN108322650B (zh) * 2018-02-08 2020-03-27 Oppo广东移动通信有限公司 视频拍摄方法和装置、电子设备、计算机可读存储介质
CN108322650A (zh) * 2018-02-08 2018-07-24 广东欧珀移动通信有限公司 视频拍摄方法和装置、电子设备、计算机可读存储介质
US11558549B2 (en) 2018-10-08 2023-01-17 Huawei Technologies Co., Ltd. Methods and devices for capturing high-speed and high-definition videos
CN112805996A (zh) * 2018-10-08 2021-05-14 华为技术有限公司 用于采集高速高清视频的方法及设备
CN112805996B (zh) * 2018-10-08 2022-04-22 华为技术有限公司 一种用于生成慢动作视频片段的设备和方法
CN112840634A (zh) * 2018-10-18 2021-05-25 三星电子株式会社 用于获得图像的电子装置及方法
CN111602389A (zh) * 2019-07-23 2020-08-28 深圳市大疆创新科技有限公司 码流的传输控制方法、设备及计算机可读存储介质
CN111602389B (zh) * 2019-07-23 2022-06-03 深圳市大疆创新科技有限公司 码流的传输控制方法、设备及计算机可读存储介质
CN111031233A (zh) * 2019-11-13 2020-04-17 安凯(广州)微电子技术有限公司 一种数字图像处理帧率控制方法及装置
CN113409489A (zh) * 2020-03-17 2021-09-17 安讯士有限公司 可穿戴摄像机和用于可穿戴摄像机中的功耗优化的方法
CN112312014A (zh) * 2020-10-23 2021-02-02 移康智能科技（上海）股份有限公司 一种声音与摄像头联动系统
CN113627315A (zh) * 2021-08-06 2021-11-09 上海华测导航技术股份有限公司 一种从边缘端相机到算法推理过程数据预处理的方法
CN113627315B (zh) * 2021-08-06 2024-04-30 上海华测导航技术股份有限公司 一种从边缘端相机到算法推理过程数据预处理的方法

Also Published As

Publication number Publication date
US9570106B2 (en) 2017-02-14
EP3228075A1 (en) 2017-10-11
WO2016087060A1 (en) 2016-06-09
US20160155472A1 (en) 2016-06-02
CN107041168B (zh) 2021-02-19
EP3228075B1 (en) 2021-08-04

Similar Documents

Publication Publication Date Title
CN107041168A (zh) 用于适应视频捕捉帧率的传感器配置切换
US9538087B2 (en) Image processing device with multiple image signal processors and image processing method
US10375321B2 (en) Imaging processing method and electronic device supporting the same
EP2533520B1 (en) Image sensor having HDR capture capability
US10681263B2 (en) Electronic device and operating method thereof
US9549120B2 (en) Adaptive data path for computer-vision applications
US9742995B2 (en) Receiver-controlled panoramic view video share
WO2018083211A1 (en) Streaming virtual reality video
US20140002616A1 (en) Information processing system, information processing device, imaging device, and information processing method
KR102461037B1 (ko) 영상 배신 장치, 영상 배신 시스템, 영상 배신 방법 및 영상 배신 프로그램
CN103327252B (zh) 拍摄装置及其拍摄方法
JP2016524423A5 (zh)
CN107211091A (zh) 成像传感器子区域中的选择性高帧速率视频捕获
CN104410785A (zh) 一种信息处理方法及电子设备
US10743002B2 (en) Sequential in-place blocking transposition for image signal processing
CN103888672A (zh) 一种终端及终端拍摄方法
JP2022512125A (ja) 長時間露光画像を撮影するための方法及び電子デバイス
WO2022262475A1 (zh) 拍摄方法、图形用户界面及电子设备
CN113747060A (zh) 图像处理的方法、设备、存储介质及计算机程序产品
CN115633262B (zh) 图像处理方法和电子设备
US10313625B2 (en) Method, apparatus, and storage medium for video file processing
JP2013055541A (ja) 撮像装置
CN103458191B (zh) 数码成像方法及数码成像装置
US20200134305A1 (en) Method, apparatus, and device for identifying human body and computer readable storage medium
US20240185536A1 (en) Object depth estimation processes within imaging devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant