CN107211091A - 成像传感器子区域中的选择性高帧速率视频捕获 - Google Patents
成像传感器子区域中的选择性高帧速率视频捕获 Download PDFInfo
- Publication number
- CN107211091A CN107211091A CN201580075846.4A CN201580075846A CN107211091A CN 107211091 A CN107211091 A CN 107211091A CN 201580075846 A CN201580075846 A CN 201580075846A CN 107211091 A CN107211091 A CN 107211091A
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- subregion
- motion
- capture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 106
- 230000033001 locomotion Effects 0.000 claims abstract description 78
- 238000001514 detection method Methods 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 25
- 230000004044 response Effects 0.000 claims description 4
- 238000010191 image analysis Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 108010014173 Factor X Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
由成像传感器(112)捕获视频数据。例如通过向所捕获的视频数据的不同视频帧应用图像分析来在所捕获视频数据中检测运动。确定成像传感器(112)的整个成像区域的至少一个子区域(116)。子区域(116)被确定为对应于所检测运动的位置。在所确定的子区域(116)中,应用比在整个成像区域的其它部分中应用的视频捕获帧速率高的视频捕获帧速率。
Description
技术领域
本发明涉及捕获视频的方法和对应配置的装置。
背景技术
各种电子装置(例如,智能电话、平板计算机或数码相机)还支持视频的捕获。为此,这种装置可以装配有例如基于CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)技术的成像传感器。捕获视频的典型帧速率在每秒20帧到每秒60帧的范围内。使用更高的帧速率例如可以通过避免高速移动的对象的模糊来提供更高质量的所捕获视频。在一些场景中,例如在记录缓慢运动视频时可以期望捕获视频的甚至更高帧速率。
然而,使用更高帧速率通常还以增加的资源使用(例如关于用于成像传感器的读出所要求的能量或用于存储所捕获图像数据所要求的存储器)为代价。因此,以高帧速率且高分辨率这两者捕获视频数据是要求较高的任务。
因此,需要允许高效捕获高质量视频的技术。
发明内容
根据本发明的实施方式,提供了一种捕获视频的方法。根据该方法,由成像传感器(例如,基于像素阵列的传感器,诸如CCD图像传感器或CMOS图像传感器)捕获视频数据。例如通过向所捕获的视频数据的不同视频帧应用图像分析来在所捕获的视频数据中检测运动。确定成像传感器的整个成像区域的至少一个子区域。子区域被确定为对应于所检测的运动的位置。在所确定的子区域中,应用比在整个成像区域的其它部分中的视频捕获帧速率高的视频捕获帧速率。在子区域中应用的视频捕获帧速率可以相对于在整个成像区域的其它部分中的视频捕获帧速率增大至少因数2。例如,如果在整个成像区域的其它部分中的视频捕获帧速率在20帧每秒至60帧每秒的范围内,则在子区域中应用的更高视频捕获帧速率可以为200帧每秒到1000帧每秒。
根据实施方式,上面提及的视频数据的捕获包括:捕获覆盖整个成像区域的第一视频帧和第二视频帧;和在捕获第一视频帧与捕获第二视频帧之间的时间间隔中,捕获仅覆盖所确定的子区域的一个或更多个另外视频帧的序列。
根据实施方式,该方法还包括以下步骤:将所述一个或更多个另外视频帧中的每一个与第一视频帧和第二视频帧中的至少一个组合成覆盖整个成像区域的对应中间视频帧。
根据实施方式,上面提及的运动的检测基于一个或更多个另外视频帧。另外,运动的检测还可以考虑上面提及的第一视频帧和/或第二视频帧。运动的检测可以包括识别由所捕获的视频数据表示的至少一个移动对象。
根据实施方式,上面提及的子区域的确定包括:对于一个或更多个另外子帧中的每一个,预测移动对象的位置,并且确定各个另外子帧中的覆盖移动对象的子区域。
根据实施方式,上面提及的子区域的确定包括:预测移动对象的位置,并且确定所有另外子帧中的覆盖移动对象的子区域。
上面提及的子区域的确定可以涉及设置子区域的尺寸和/或子区域在整个成像区域中的位置。
根据实施方式,上面提及的方法还包括以下步骤:检测成像传感器的全局运动。这可以基于所捕获的视频数据和/或基于一个或更多个运动传感器来完成。响应于检测到成像传感器的运动,可以在整个成像区域的所有部分中应用更高视频捕获帧速率,并且可以减小在整个成像区域中捕获视频数据的像素分辨率。
根据本发明的另外实施方式,提供了一种装置。该装置包括成像传感器(例如,基于像素阵列的传感器,诸如CCD图像传感器或CMOS图像传感器)。进一步地,该装置包括至少一个处理器。至少一个处理器被配置为由成像传感器捕获视频数据。进一步地,至少一个处理器被配置为基于所捕获的视频数据检测运动。进一步地,至少一个处理器被配置为确定图像传感器的整个成像区域的与所检测的运动的位置对应的至少一个子区域。进一步地,至少一个处理器被配置为在所确定的子区域中,应用比在整个成像区域的其它部分中应用的视频捕获帧速率高的视频捕获帧速率。
至少一个处理器可以被配置为执行根据上述实施方式的方法的步骤。
因此,至少一个处理器可以被配置为通过以下操作来捕获视频数据:捕获覆盖整个成像区域的第一视频帧和第二视频帧;和在捕获第一视频帧与捕获第二视频帧之间的时间间隔中,捕获仅覆盖所确定的子区域的一个或更多个另外视频帧的序列。
进一步地,至少一个处理器可以被配置为将所述一个或更多个另外视频帧中的每一个与第一视频帧和第二视频帧中的至少一个组合成覆盖整个成像区域的对应中间视频帧。
进一步地,至少一个处理器可以被配置为基于一个或更多个另外视频帧来执行上面提及的运动的检测。
进一步地,至少一个处理器可以被配置为通过识别由所捕获的视频数据表示的至少一个移动对象来执行上面提及的运动的检测。
进一步地,至少一个处理器可以被配置为通过以下操作来执行上面提及的子区域的确定:对于一个或更多个另外子帧中的每一个,预测移动对象的位置,并且确定各个另外子帧中的覆盖移动对象的子区域。
进一步地,至少一个处理器可以被配置为通过以下操作来执行上面提及的子区域的确定:预测移动对象的位置,并且确定所有另外子帧中的覆盖移动对象的子区域。
进一步地,至少一个处理器可以被配置为检测成像传感器的全局运动,并且响应于检测到成像传感器的全局运动,在整个成像区域的所有部分中应用更高视频捕获帧速率,并且在整个成像区域中减小捕获视频数据的像素分辨率。至少一个处理器可以被配置为基于所捕获的视频数据和/或基于一个或更多个运动传感器检测全局运动。
现在将参照附图更详细地描述本发明的上述和另外实施方式。
附图说明
图1示意性地例示了根据本发明的实施方式的装置。
图2示意性地例示了根据本发明的实施方式的操作成像传感器的场景。
图3示出了例示根据本发明的实施方式的方法的流程图。
图4示意性地例示了根据本发明的实施方式的装置的基于处理器的实现。
具体实施方式
在下文中,将更详细地描述本发明的示例性实施方式。应理解,以下描述仅是为了例示本发明的原理的目的而给出,而不是在限制意义上作出。相反,本发明的范围仅由所附权利要求来限定,并且不旨在受下文中描述的示例性实施方式限制。
所例示的实施方式涉及由成像传感器捕获视频。成像传感器可以包括用于从被成像场景发出的光的空间分辨检测的像素阵列。成像传感器例如可以基于CCD或CMOS技术。一方面,覆盖成像传感器的整个成像区域的普通视频帧通常使用成像传感器的全像素分辨率以视频捕获的基础帧速率被捕获。进一步地,仅覆盖成像区域的子区域的另外视频帧以视频捕获的更高帧速率(即,以高于基础帧速率的帧速率)被捕获。这可以通过在捕获两个随后普通视频帧之间的时间间隔中捕获另外视频帧的序列来实现。取决于序列中另外视频帧的数量,视频捕获帧速率被增加对应因数(例如,两个随后普通视频帧之间的一个另外视频帧对应于因数2,两个随后普通视频帧之间的两个另外视频帧对应于因数3等)。通过将以更高帧速率捕获限于仅子区域,可以避免过多资源使用。
在所例示实施方式中,子区域基于如在所捕获的视频数据中检测的运动来确定。具体地,子区域的位置和/或尺寸可以被确定为与在所捕获的视频数据中检测的移动对象的位置和/或尺寸匹配。因此,更高的帧速率可以应用于整个成像区域的必须实现移动对象的高质量成像的部分中。
图1示意性地例示了装置100。在图1的示例中,假定用户装置100是智能电话、平板计算机或数码相机(例如,袖珍相机、系统相机、摄录像机、动作相机或生活记录相机)。如图例示,装置100装配有相机110,该相机依次装配有上面提及的成像传感器(图1中未示出)。假定相机110支持以高分辨率(例如,以1920×1080像素的“全HD”分辨率或者甚至更高的分辨率(诸如3840×2160像素或者甚至7680×4320像素的“超HD”分辨率))捕获数字视频。进一步地,假定相机110支持在其成像区域的不同部分中的视频捕获的不同帧速率的使用。例如,在成像区域的大部分中,可以应用视频捕获的基础帧速率。基础帧速率例如可以对应于24、30、50或60帧每秒。在成像区域的一个或更多个子区域中,可以应用更高帧速率(例如,在100至1000帧每秒的范围内)的视频捕获。如上面提及的,该子区域的位置和/或尺寸可以根据在所捕获的视频数据中检测的运动来控制。
图2示意性例示了可以在相机110中使用的示例性成像传感器112和控制子区域的位置和/或尺寸的示例性场景。如例示的,成像传感器112包括限定成像传感器112的整个成像区域的像素阵列114。进一步地,图2例示了应用更高帧速率的视频捕获的子区域116。在整个成像区域的剩余部分中,可以应用基础帧速率的视频捕获。在捕获较早视频帧时的子区域116的位置和/或尺寸由虚线来例示。进一步地,图2示意性地例示了由所捕获的视频数据表示的移动对象118。
如可以从图2的例示看到的,从较早视频帧到当前视频帧,移动对象118改变其在整个成像区域内的位置。进一步地,例如,由于移动对象118朝向或远离相机移动,所以移动对象118的表观尺寸可能已经变化。移动对象118的该运动的特性可以被确定并用于估计移动对象118在未来视频帧中的位置和/或尺寸。如图2例示,子区域116以对应方式来移位并调整大小。
因此,在所例示实施方式中,所捕获的图像中的所检测的运动可以用于预测并设置应用更高帧速率的视频捕获的子区域116的合适尺寸。在一些场景中,例如还可以根据所检测的移动对象118的运动速度来调节更高帧速率本身。
如上面提及的,更高帧速率可以通过仅在子区域中捕获另外视频帧来获得,而普通视频帧以基础帧速率来捕获并覆盖成像传感器112的整个成像区域。然后可以从普通视频帧和组合另外视频帧与之前或随后普通视频帧中的一个或更多个的中间视频帧来生成高帧速率视频。为了生成这种中间视频帧,可以将对应于所检测的移动对象118的视频数据或整个另外视频帧的视频数据混合到普通视频帧中。在一些情况下,还可以执行来自两个随后视频帧的视频数据的插值(interpolation),以生成插值视频帧,并且可以将对应于所检测的移动对象118的视频数据或整个另外视频帧的视频数据混合到插值视频帧中。
所捕获的视频数据中的运动的检测可以涉及执行图像分析和随后视频帧之间的比较。该图像分析可以基于普通视频帧和/或基于另外视频帧来应用。这里,应注意,由于视频捕获的更高帧速率,所以将另外视频帧考虑在内提供更高的准确度、响应能力以及对运动的检测的灵敏度。
运动的检测可以在有限数量的随后视频帧(例如,三个视频帧)的过程期间来执行。例如,可以捕获第一普通视频帧。基于普通视频帧,例如可以通过检测潜在模糊区域来执行当前运动的初始估计。
假定在第一视频帧中识别潜在模糊区域,则子区域可以被设置为覆盖该模糊区域,并且可以以更高帧速率捕获对应于另外视频帧中的一个的第二视频帧,以仅覆盖子区域。通过比较和图像分析第一视频帧和第二视频帧,可以改善(refine)运动的检测。具体地,可以确定是否存在移动对象(诸如移动对象118)且移动对象是否可以关于其形状被识别。进一步地,移动对象的运动例如可以鉴于指示运动的速度和方向的运动向量来特征化。然后,所确定的移动对象的运动的特性可以用于预测其在要捕获的下一个视频帧中的位置和/或尺寸,并且对应地调节子区域的位置和/或尺寸。然后,捕获下一个视频帧(即,第三视频帧),以仅覆盖所调节的子区域。然后,第三视频帧可以用于例如通过比较和图像分析第一视频帧、第二视频帧以及第三视频帧来进一步改善运动的检测。由此,移动对象的运动可以进一步被特征化,并且可以应用于进一步调节如被应用于捕获进一步另外视频帧的子区域。
图像分析和比较例如可以涉及计算图像差值,阈值化以避免噪声,以及根据图像差值确定潜在地包括移动对象的区域。然后,可以在这种区域中应用一个或更多个对象检测算法。例如,如在Sizintsev等人的“HISTOGRAM-BASED SEARCH:A COMPARATIVE STUDY”,IEEE Conference on Computer Vision and Pattern Recognition(2008年)中描述的分布式的基于直方图的对象检测算法可以应用于该目的。根据应用在子区域中的更高帧速率,这可以允许在少于16ms(例如,在大约2ms中)的时间窗内检测并量化运动。
应理解,例如还可以通过对于由所捕获的视频数据表示的多个移动对象中的每个以更高视频捕获帧速率确定对应子区域或通过以允许覆盖所有这些多个移动对象的这种方式确定同一子区域以这种方式考虑多个移动对象。
进一步地,在一些场景中,例如为了避免关于反混淆的设置的变化,可能期望避免改变独立另外视频帧之间的子区域的尺寸和/或形状。然后可以以下这种方式确定子区域的尺寸和/或形状:子区域覆盖移动对象在所有相关另外视频帧中(即,在期望移动对象可见的视频帧中)的位置。然而,子区域的新尺寸可以时常(例如,在捕获普通视频帧中的一个时或在检测新移动对象时)被选择。
进一步地,应注意,子区域的最大尺寸可能受成像传感器112的特性限制。例如,如果成像传感器支持由全像素数表示的全像素分辨率下的特定最大视频捕获帧速率,并且另外视频帧以与该全分辨率下的该最大视频捕获帧速率的X倍对应的视频捕获帧速率被捕获,则子区域的尺寸可能限于与全像素数除以因数X对应的最大像素数。这样,变得可以在捕获普通视频帧时和在捕获另外视频帧时使用类似参数(例如,关于积分时间)来读出像素。
在一些场景中,例如还由于图像传感器112的平移运动、振动或摇动而考虑成像传感器112本身的全局运动。如果检测到这种全局运动,则该全局运动例如可以通过补偿全局运动的效应来用作识别移动对象且特征化其运动的过程中的另外输入。为此,各种图像稳定算法可以应用于所捕获的视频帧(普通帧和/或另外帧)。作为另选方案或另外地,装置100还可以装配有一个或更多个运动传感器(诸如加速度计)。这种运动传感器的输出可以应用于物理地抵消成像传感器112的运动。
图3示出了例示捕获视频的方法的流程图。该方法例如可以在装配有成像传感器的装置(诸如上面提及的装置100)中实现。如果使用装置的基于处理器的实现,则该方法的步骤的至少一部分可以由装置的一个或更多个处理器来执行和/或控制。
在步骤310处,由成像传感器(诸如成像传感器112)捕获视频数据。成像传感器可以包括像素阵列(诸如像素阵列114)。成像传感器的整个成像区域可以通过这种像素阵列限定。
捕获视频数据可以涉及捕获覆盖成像传感器的整个成像区域的第一视频帧和第二视频帧。捕获第一视频帧和第二视频帧可以以第一视频捕获帧速率(例如,该帧速率对应于前面提及的基础帧速率)执行。第一视频帧和第二视频帧例如可以对应于上面提及的普通视频帧。
进一步地,捕获视频数据可以涉及在捕获第一视频帧与第二视频帧之间的时间间隔中捕获一个或更多个另外视频帧的序列。另外视频帧可以以比应用于第一视频帧和第二视频帧的视频帧速率高的视频捕获帧速率来捕获。例如,该更高视频捕获帧速率相对于应用于第一视频帧和第二视频帧的视频捕获帧速率增大至少因数2(优选地增大在5至50范围内的因数)。与第一视频帧和第二视频帧相比,另外视频帧仅覆盖整个成像区域的子区域(诸如上面提及的子区域116)。因此,不管是否应用更高视频捕获帧速率,资源使用可以限于可忍受等级。
在步骤320处,在所捕获的视频数据中检测运动。该运动的检测可以基于步骤310的一个或更多个另外视频帧。然而,在该运动的检测中还可以考虑第一视频帧和/或第二视频帧。在一些场景中,运动的检测可以基于关于每个新捕获的视频帧迭代地重复的图像分析和比较处理。
在一些场景中,运动的检测可以涉及识别由所捕获的视频数据表示的至少一个移动对象(诸如移动对象118)。还可以识别移动对象的特性(诸如其形状、和/或其运动的特性(诸如运动的速度和/或方向))。
在步骤330处,确定成像传感器的整个成像区域的至少一个子区域。子区域被确定为对应于所检测的运动的位置。这例如可以涉及使用如在步骤320处确定的移动对象的特性。例如,如在步骤320处检测的移动对象的形状、位置和/或运动速度可以用于预测在捕获下一个视频帧时移动对象在整个成像区域中的位置,并且以对应方式(例如,以由子区域覆盖移动对象的这种方式)设置子区域的位置和/或尺寸。
在步骤340处,将更高视频捕获帧速率应用于在步骤330处确定的子区域。因此,在子区域中,应用比在整个成像区域的其它部分中更高的视频捕获帧速率。
在步骤350处,可以生成包括中间视频帧的视频,中间视频帧基于以更高视频捕获帧速率捕获的视频数据。为此,上面提及的另外视频帧中的每一个可以与上面提及的第一视频帧和第二视频帧中的至少一个组合,以获得覆盖整个成像区域的对应中间视频帧。例如,这可以涉及将来自另外子帧的视频数据混合到第一视频帧或第二视频帧中,或者混合到第一视频帧和第二视频帧的插值中。因此,在一些场景中,子区域的确定可以涉及:对于上面提及的一个或更多个另外子帧中的每一个,预测移动对象的位置,并且确定相应另外子帧中的覆盖移动对象的子区域。作为对于每个另外子帧独立确定子区域的另选方案,还可以预测移动对象的位置,并且确定所有另外子帧中的覆盖移动对象的子区域。
在一些场景中,可以检测成像传感器的全局运动(例如,由于成像传感器的平移运动或由于成像传感器的摇动或振动而引起的全局运动)。响应于检测到成像传感器的这种全局运动,更高的视频捕获帧速率可以应用在整个成像区域的所有部分中。同时,可以减小在整个成像区域中捕获视频数据的像素分辨率。全局运动可以基于所捕获的视频数据和/或基于一个或更多个运动传感器来检测。
图4示出了用于示意性地例示可以用于实现上述概念的装置的基于处理器的实现的框图。例如,如图4例示的结构可以用于实现装置100。
如图例示,装置100包括成像传感器(诸如成像传感器112)。进一步地,装置100可以包括一个或更多个运动传感器120(诸如加速度计)。进一步地,装置100可以包括一个或更多个接口130。例如,如果装置100对应于智能电话或类似便携式通信装置,则接口130可以包括用于提供装置100的网络连接的一个或更多个无线电接口和/或一个或更多个基于导线的接口。用于实现这种无线电接口的无线电技术的示例例如包括蜂窝无线电技术(诸如GSM(全球移动通信系统)、UMTS(通用移动通信系统)、LTE(长期演进)或CDMA2000)、根据IEEE 802.11标准的WLAN(无线局域网)技术、或WPAN(无线个人局域网)技术(诸如蓝牙)。用于实现这种基于导线的接口的基于导线的网络技术的示例例如包括以太网技术和USB(通用串行总线)技术。
进一步地,装置100设置有一个或更多个处理器140和存储器150。成像传感器112、运动传感器120、接口130以及存储器150例如使用装置100的一个或更多个内部总线系统耦接到处理器140。
存储器150包括具有由处理器140执行的程序代码的程序代码模块160、170、180。在所例示示例中,这些程序代码模块包括视频捕获模块160、运动检测模块170以及视频处理模块180。
视频捕获模块160可以在将更高视频捕获帧速率应用于成像传感器112的整个成像区域的子区域中的同时实现捕获视频数据的上述功能。进一步地,视频捕获模块160还可以实现应用更高视频捕获帧速率的子区域的上述确定。
运动检测模块170可以实现检测所捕获的视频数据中的运动的上述功能。进一步地,运动检测模块还可以例如基于所捕获的视频数据或基于运动传感器120的输出来应用全局运动的检测。
视频处理模块180可以实现组合在子区域中捕获的高速率视频帧与在整个成像区域中捕获的普通速率视频帧的上述功能。
应理解,如图4例示的结构仅是示例性的,并且装置100还可以包括尚未例示的其它元件(例如,用于实施智能电话、数码相机或类似装置的已知功能的结构或程序代码模块)。这种功能的示例包括通信功能、媒体处理功能等。
如可以看到的,如上说明的概念允许高效捕获视频数据。具体地,即使移动对象存在于被成像的景象中,也可以以低模糊等级生成高质量视频。除了避免模糊之外,所捕获的视频数据还可以允许生成高质量缓慢运动视频。
应理解,如上说明的概念容许各种修改。例如,概念可以关于各种成像传感器技术(包括阵列相机、立体相机等)应用于各种装置中。进一步地,概念可以关于各种视频分辨率和帧速率来应用。
Claims (20)
1.一种捕获视频的方法,所述方法包括以下步骤:
由成像传感器(112)捕获视频数据;
在所捕获的视频数据中检测运动;
确定所述成像传感器(112)的整个成像区域的与所检测的运动的位置对应的至少一个子区域(116);以及
在所确定的子区域(116)中,应用比在所述整个成像区域的其它部分中应用的视频捕获帧速率高的视频捕获帧速率。
2.根据权利要求1所述的方法,
其中,所述视频数据的所述捕获包括:
捕获覆盖所述整个成像区域的第一视频帧和第二视频帧;以及
在捕获所述第一视频帧与捕获所述第二视频帧之间的时间间隔中,捕获仅覆盖所确定的子区域(116)的一个或更多个另外视频帧的序列。
3.根据权利要求2所述的方法,所述方法包括以下步骤:
将所述一个或更多个另外视频帧中的每一个与所述第一视频帧和所述第二视频帧中的至少一个组合成覆盖所述整个成像区域的对应中间视频帧。
4.根据权利要求2或3所述的方法,
其中,所述运动的检测基于所述一个或更多个另外视频帧。
5.根据前述权利要求中任一项所述的方法,
其中,所述运动的检测包括识别由所捕获的视频数据表示的至少一个移动对象(118)。
6.根据权利要求5所述的方法,
其中,所述子区域(116)的所述确定包括:
针对所述一个或更多个另外子帧中的每一个,预测所述移动对象(118)的位置,并且确定各个所述另外子帧中的覆盖所述移动对象的所述子区域(116)。
7.根据权利要求5或6所述的方法,
其中,所述子区域(116)的所述确定包括:
预测所述移动对象(118)的位置,并且确定所有所述另外子帧中的覆盖所述移动对象(118)的所述子区域(116)。
8.根据前述权利要求中任一项所述的方法,所述方法包括以下步骤:
检测所述成像传感器(112)的全局运动;以及
响应于检测到所述成像传感器(112)的全局运动,在所述整个成像区域的所有部分中应用更高视频捕获帧速率,并且在所述整个成像区域中减小捕获所述视频数据的像素分辨率。
9.根据前述权利要求中任一项所述的方法,所述方法包括以下步骤:
基于所捕获的视频数据和/或基于一个或更多个运动传感器(120)检测所述全局运动。
10.根据前述权利要求中任一项所述的方法,
其中,在所述子区域(116)中应用的所述视频捕获帧速率相对于在所述整个成像区域的所述其它部分中的所述视频捕获帧速率增大至少因数2。
11.一种装置(100),所述装置包括:
成像传感器(112);以及
至少一个处理器(140),所述至少一个处理器(140)被配置为:
由所述成像传感器(112)捕获视频数据;
基于所捕获的视频数据检测运动;
确定所述成像传感器(112)的整个成像区域的与所检测的运动的位置对应的至少一个子区域(116);以及
在所确定的子区域(116)中,应用比在所述整个成像区域的其它部分中应用的视频捕获帧速率高的视频捕获帧速率。
12.根据权利要求11所述的装置(100),
其中,所述至少一个处理器(140)被配置为通过以下操作来捕获所述视频数据:
捕获覆盖所述整个成像区域的第一视频帧和第二视频帧;以及
在捕获所述第一视频帧与捕获所述第二视频帧之间的时间间隔中,捕获仅覆盖所确定的子区域(116)的一个或更多个另外视频帧的序列。
13.根据权利要求12所述的装置(100),
其中,所述至少一个处理器(140)被配置为将所述一个或更多个另外视频帧中的每一个与所述第一视频帧和所述第二视频帧中的至少一个组合成覆盖所述整个成像区域的对应中间视频帧。
14.根据权利要求12或13所述的装置(100),
其中,所述至少一个处理器(140)被配置为基于所述一个或更多个另外视频帧来执行所述运动的检测。
15.根据权利要求11至14中任一项所述的装置(100),
其中,所述至少一个处理器(140)被配置为通过识别由所捕获的视频数据表示的至少一个移动对象来执行所述运动的检测。
16.根据权利要求15所述的装置(100),
其中,所述至少一个处理器(140)被配置为通过以下操作来执行所述子区域(116)的所述确定:
针对所述一个或更多个另外子帧中的每一个,预测所述移动对象(118)的位置,并且确定各个所述另外子帧中的覆盖所述移动对象(118)的所述子区域(116)。
17.根据权利要求15或16所述的装置(100),
其中,所述至少一个处理器(140)被配置为通过以下操作来执行所述子区域(116)的所述确定:
预测所述移动对象(118)的位置,并且确定所有所述另外子帧中的覆盖所述移动对象(118)的所述子区域。
18.根据权利要求11至17中任一项所述的装置(100),
其中,所述至少一个处理器(140)被配置为:
检测所述成像传感器(112)的全局运动;以及
响应于检测到所述成像传感器(112)的全局运动,在所述整个成像区域的所有部分中应用更高视频捕获帧速率,并且在所述整个成像区域中减小捕获所述视频数据的像素分辨率。
19.根据权利要求11至18中任一项所述的装置(100),
其中,所述至少一个处理器(140)被配置为基于所捕获的视频数据和/或基于一个或更多个运动传感器(120)检测所述全局运动。
20.根据权利要求11至19中任一项所述的装置(100),
其中,在所述子区域(116)中应用的所述视频捕获帧速率相对于在所述整个成像区域的所述其它部分中的所述视频捕获帧速率增大至少因数2。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/576,495 US20160182866A1 (en) | 2014-12-19 | 2014-12-19 | Selective high frame rate video capturing in imaging sensor subarea |
US14/576,495 | 2014-12-19 | ||
PCT/EP2015/063869 WO2016096167A1 (en) | 2014-12-19 | 2015-06-19 | Selective high frame rate video capturing in imaging sensor subarea |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107211091A true CN107211091A (zh) | 2017-09-26 |
Family
ID=53488315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580075846.4A Pending CN107211091A (zh) | 2014-12-19 | 2015-06-19 | 成像传感器子区域中的选择性高帧速率视频捕获 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20160182866A1 (zh) |
EP (1) | EP3235238A1 (zh) |
CN (1) | CN107211091A (zh) |
WO (1) | WO2016096167A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111010521A (zh) * | 2018-10-04 | 2020-04-14 | 三星电子株式会社 | 在便携式电子设备中记录超慢动作视频的方法和系统 |
CN111742543A (zh) * | 2018-02-23 | 2020-10-02 | 三星电子株式会社 | 电子设备及其记录方法 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9779777B2 (en) * | 2015-12-16 | 2017-10-03 | Gopro, Inc. | Synchronization of frame rate to a detected cadence in a time lapse image sequence using sampling |
US9787900B2 (en) | 2015-12-16 | 2017-10-10 | Gopro, Inc. | Dynamic synchronization of frame rate to a detected cadence in a time lapse image sequence |
US10638047B2 (en) | 2015-12-16 | 2020-04-28 | Gopro, Inc. | Dynamic synchronization of frame rate to a detected cadence in a time lapse image sequence |
EP3678364B1 (en) | 2015-12-16 | 2023-06-14 | GoPro, Inc. | Dynamic synchronization of frame rate to a detected cadence in a time lapse image sequence |
US10939055B2 (en) * | 2016-03-02 | 2021-03-02 | Sony Corporation | Imaging control apparatus and image control method |
US9762801B1 (en) * | 2016-03-09 | 2017-09-12 | Motorola Mobility Llc | Image processing circuit, hand-held electronic device and method for compensating for motion in an image received by an image sensor |
JP6735506B2 (ja) * | 2016-09-29 | 2020-08-05 | パナソニックIpマネジメント株式会社 | 画像生成装置、および、画像処理システム |
WO2018174505A1 (en) | 2017-03-20 | 2018-09-27 | Samsung Electronics Co., Ltd. | Methods and apparatus for generating video content |
KR102449185B1 (ko) | 2018-02-14 | 2022-09-29 | 삼성전자주식회사 | 피사체와 기준 영역 사이간의 거리에 따라 변경된 프레임 레이트로 획득된 이미지 데이터를 이용하여 선택적으로 동영상을 생성하는 전자 장치 및 그의 운용 방법 |
US20210092321A1 (en) * | 2018-03-26 | 2021-03-25 | Huawei Technologies Co., Ltd. | Video recording method and electronic device |
CN112073676B (zh) * | 2019-06-11 | 2022-11-04 | 杭州海康威视数字技术股份有限公司 | 一种点名系统 |
US20210356492A1 (en) * | 2020-05-15 | 2021-11-18 | Em Photonics, Inc. | Wind determination method, wind determination system, and wind determination computer program product for determining wind speed and direction based on image analysis |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101166275A (zh) * | 2006-10-16 | 2008-04-23 | 索尼株式会社 | 信息处理设备、方法和程序 |
US20090066782A1 (en) * | 2007-09-07 | 2009-03-12 | Regents Of The University Of Minnesota | Spatial-temporal multi-resolution image sensor with adaptive frame rates for tracking movement in a region of interest |
CN101529890A (zh) * | 2006-10-24 | 2009-09-09 | 索尼株式会社 | 图像摄取设备和再现控制设备 |
US20100231738A1 (en) * | 2009-03-11 | 2010-09-16 | Border John N | Capture of video with motion |
CN103079063A (zh) * | 2012-12-19 | 2013-05-01 | 华南理工大学 | 一种低码率下视觉关注区域的视频编码方法 |
JP2014103626A (ja) * | 2012-11-22 | 2014-06-05 | Olympus Corp | 画像処理装置、画像処理方法及びプログラム |
CN104065975A (zh) * | 2014-06-30 | 2014-09-24 | 山东大学 | 基于适应性运动估计的帧率提升方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6718010B2 (en) * | 2002-06-11 | 2004-04-06 | Ge Medical Systems Global Technology Company, Llc | Method and apparatus for acquiring a series of images utilizing a solid state detector with alternating scan lines |
US20050219642A1 (en) * | 2004-03-30 | 2005-10-06 | Masahiko Yachida | Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system |
WO2006137253A1 (ja) * | 2005-06-22 | 2006-12-28 | Matsushita Electric Industrial Co., Ltd. | 画像生成装置および画像生成方法 |
JP2007228019A (ja) * | 2006-02-21 | 2007-09-06 | Olympus Corp | 撮像装置 |
JP4984915B2 (ja) * | 2006-03-27 | 2012-07-25 | セイコーエプソン株式会社 | 撮像装置、撮像システム及び撮像方法 |
JP5451593B2 (ja) * | 2008-06-09 | 2014-03-26 | パナソニック株式会社 | 撮像装置、撮像方法 |
JP2012523788A (ja) * | 2009-04-13 | 2012-10-04 | ショースキャン デジタル エルエルシー | 動画の撮影及び投影方法及びその装置 |
US8830339B2 (en) * | 2009-04-15 | 2014-09-09 | Qualcomm Incorporated | Auto-triggered fast frame rate digital video recording |
JP5395956B2 (ja) * | 2010-07-02 | 2014-01-22 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理システムおよび情報処理方法 |
US9030583B2 (en) * | 2011-09-21 | 2015-05-12 | Semiconductor Components Industries, Llc | Imaging system with foveated imaging capabilites |
-
2014
- 2014-12-19 US US14/576,495 patent/US20160182866A1/en not_active Abandoned
-
2015
- 2015-06-19 EP EP15731554.0A patent/EP3235238A1/en not_active Withdrawn
- 2015-06-19 WO PCT/EP2015/063869 patent/WO2016096167A1/en active Application Filing
- 2015-06-19 CN CN201580075846.4A patent/CN107211091A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101166275A (zh) * | 2006-10-16 | 2008-04-23 | 索尼株式会社 | 信息处理设备、方法和程序 |
CN101529890A (zh) * | 2006-10-24 | 2009-09-09 | 索尼株式会社 | 图像摄取设备和再现控制设备 |
US20090066782A1 (en) * | 2007-09-07 | 2009-03-12 | Regents Of The University Of Minnesota | Spatial-temporal multi-resolution image sensor with adaptive frame rates for tracking movement in a region of interest |
US20100231738A1 (en) * | 2009-03-11 | 2010-09-16 | Border John N | Capture of video with motion |
JP2014103626A (ja) * | 2012-11-22 | 2014-06-05 | Olympus Corp | 画像処理装置、画像処理方法及びプログラム |
CN103079063A (zh) * | 2012-12-19 | 2013-05-01 | 华南理工大学 | 一种低码率下视觉关注区域的视频编码方法 |
CN104065975A (zh) * | 2014-06-30 | 2014-09-24 | 山东大学 | 基于适应性运动估计的帧率提升方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111742543A (zh) * | 2018-02-23 | 2020-10-02 | 三星电子株式会社 | 电子设备及其记录方法 |
US11696013B2 (en) | 2018-02-23 | 2023-07-04 | Samsung Electronics Co., Ltd. | Electronic device and recording method thereof |
CN111010521A (zh) * | 2018-10-04 | 2020-04-14 | 三星电子株式会社 | 在便携式电子设备中记录超慢动作视频的方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2016096167A1 (en) | 2016-06-23 |
EP3235238A1 (en) | 2017-10-25 |
US20160182866A1 (en) | 2016-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107211091A (zh) | 成像传感器子区域中的选择性高帧速率视频捕获 | |
EP3228075B1 (en) | Sensor configuration switching for adaptation of video capturing frame rate | |
CN106488115B (zh) | 用于追踪并传感追踪目标的图像传感设备的控制装置及方法 | |
US9191566B2 (en) | Image pickup apparatus, method for image pickup and computer-readable recording medium | |
CN109417592B (zh) | 拍摄装置、拍摄方法及拍摄程序 | |
CN110248048B (zh) | 一种视频抖动的检测方法及装置 | |
CN107211089B (zh) | 跟踪系统、终端装置、相机装置、跟踪摄影方法及程序 | |
KR20170112763A (ko) | 전자 장치 및 그의 동작 방법 | |
US20180183998A1 (en) | Power reduction and performance improvement through selective sensor image downscaling | |
EP3261331A2 (en) | Dual mode image sensor and method of using same | |
KR20200132935A (ko) | 적응적 전경 마스크 업샘플링에 기초한 컬러 이미지 프레임들의 시퀀스에서의 객체 분할 | |
JP2013236232A (ja) | 撮像装置、撮像装置の制御方法、およびプログラム | |
EP3235240B1 (en) | Noise level based exposure time control for sequential subimages | |
US8699750B2 (en) | Image processing apparatus | |
US20100086292A1 (en) | Device and method for automatically controlling continuous auto focus | |
JP2014053722A (ja) | 撮像システム及び撮像方法 | |
KR102429337B1 (ko) | 이미지를 안정화하는 이미지 처리 장치 및 이미지를 안정화하는 방법 | |
JP2016111568A (ja) | 像ぶれ補正制御装置、撮像装置およびそれらの制御方法、プログラム | |
CN109698933B (zh) | 数据传输方法及摄像机、电子设备、计算机可读存储介质 | |
KR20210155284A (ko) | 영상처리장치 | |
TWI423170B (zh) | 多畫面中物體移動的追蹤方法 | |
CN117044221A (zh) | 基于事件的视觉传感器和事件过滤的方法 | |
JP2014153517A (ja) | 画像処理装置および画像処理方法、プログラム並びに記憶媒体 | |
WO2022168667A1 (ja) | 画像処理装置および画像処理方法 | |
CN115345805A (zh) | 图像获取方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170926 |