CN104838643A - 用于调整所俘获视频的定向的系统和方法 - Google Patents

用于调整所俘获视频的定向的系统和方法 Download PDF

Info

Publication number
CN104838643A
CN104838643A CN201380060820.3A CN201380060820A CN104838643A CN 104838643 A CN104838643 A CN 104838643A CN 201380060820 A CN201380060820 A CN 201380060820A CN 104838643 A CN104838643 A CN 104838643A
Authority
CN
China
Prior art keywords
video
capture
institute
orientation
adjustment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380060820.3A
Other languages
English (en)
Inventor
徐文涛
邱刚
张晓鹏
周晓明
法鲁克·库拉西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104838643A publication Critical patent/CN104838643A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

本文描述一种用于利用从例如加速计等内置式惯性测量单元接收的数据调整所俘获视频的定向的系统和方法。在视频俘获期间,所述装置可保持在不完全垂直或水平且因此不与场景的真实定向匹配的位置中。这可致使所俘获视频在重放期间呈现为以与所述视频俘获装置相同的旋转角旋转。所述所描述的系统可通过利用与俘获所述视频相同的时间期间所俘获的传感器数据调整所述经旋转视频的重放定向。

Description

用于调整所俘获视频的定向的系统和方法
技术领域
本发明大体上涉及用于通过利用建构至视频记录装置中的加速计数据来调整场景中对象的所俘获视频的定向的系统和方法。
背景技术
通常,在便携式摄像机的预览中或在视频电话(VT)应用的本地视图中,对象的图像定向始终与场景中对象的真实定向相同,而不管所述装置的定向如何。
然而,当编码帧时,每一帧中对象的图像定向取决于俘获帧的时刻装置的定向,其未必与场景中对象的真实定向匹配。因此,如果在俘获对象时装置旋转角度θ,那么在所记录视频中,对象的视图也将旋转角度θ,而非在所俘获场景中呈现对象的真实定向。
发明内容
在一个实施例中,本发明提供一种用于编码视频俘获装置上俘获的视频的方法。所述方法包括在俘获场景的视频时读取来自视频俘获装置的定向数据。所述方法进一步包括基于定向数据产生旋转矩阵。所述方法进一步包括调整所俘获视频的定向以与场景的真实定向匹配。所述方法进一步包括编码所述经调整的所俘获视频。在另一实施例中,本发明提供一种用于编码视频俘获装置上的视频俘获的系统。所述系统包括经配置以俘获场景的视频的图像传感器。所述系统进一步包括经配置以提供来自视频俘获装置的定向数据的惯性测量单元。所述系统进一步包括旋转模块,其经配置以基于定向数据产生旋转矩阵且调整所俘获视频的定向以与场景的真实定向匹配。所述系统进一步包括经配置以编码所述经调整的所俘获视频的编码器。在另一实施例中,本发明提供一种用于编码视频俘获装置上俘获的视频的系统。所述系统进一步包括用于在俘获场景的视频时读取来自视频俘获装置的定向数据的装置。所述系统进一步包括用于基于定向数据产生旋转矩阵的装置。所述系统进一步包括用于调整所俘获视频的定向以与场景的真实定向匹配的装置。所述系统进一步包括用于编码所述经调整的所俘获视频的装置。
附图说明
图1为根据本发明的一个实施例显示屏上的场景俘获和图像变换的说明。
图2为根据本发明的一个实施例的系统级概观的框图。
图3为展示用于所俘获视频的定向调整的过程的概观的流程图。
图4为展示用于读取来自加速计单元的数据的过程的概观的流程图。
图5为展示用于基于旋转矩阵调整视频定向的过程的概观的流程图。
具体实施方式
本发明的实施例涉及用于基于从传感器收集的与视频俘获装置相关联的数据调整所俘获视频的定向的系统和方法。举例来说,可基于从建构到视频俘获装置中的重力传感器或加速计单元俘获的定向数据调整所俘获视频的定向。特定来说,大部分现代移动电话包含具有视频和图像俘获功能的内置相机。举例来说,典型的现今移动电话相机可提供以至多每秒30帧记录视频的能力。
此外,移动电话经常包括建构到装置中用于用户接口控制的加速计。加速计测量在某一时刻施加到装置的力。这些力可用于确定用户移动装置的方向且因此提供定向数据。加速度值表达为表示X、Y和Z轴中的加速度分量的3维向量。加速度的定向可相对于所述装置使得当装置在水平桌子上面朝上时在Z轴中施加1g,且当装置放置为垂直于桌面时沿着Y轴施加1g。加速计可用于基于电话的定向或装置如何被用户固持而在装置的屏幕上呈现图像或视频的风景或肖像视图。
在视频记录期间,如上文所论述,所俘获视频的定向未必与场景中所俘获对象的“真实定向”匹配。举例来说,如果在记录期间视频记录装置倾斜或旋转一角度,那么所俘获视频当在装置上重放时将旋转相同角度。因此,当视频在移动装置屏幕上重放时所记录视频可看上去“倾斜”或“旋转”,同时保持在正常垂直或水平定向中。此外,如果视频经发射或存储以供在另一装置(例如,电视机)上重放,那么视频也将呈现为旋转或倾斜其在移动装置上记录期间所倾斜的相同的角度。然而,如本文中所论述,实施例可使用从视频装置传感器所俘获的数据来恰当地定向装置以供重放。作为一个实例,一旦读取加速计数据,所述数据就可用于计算旋转矩阵以校正倾斜的视频定向使得视频将以在正常定向中重放的方式编码。
图1为展示通过视频俘获装置120记录的树110的旋转定向的场景100的一个实施例的说明。视频俘获装置120可包括移动电话、平板PC、数码相机或包括内置式位置传感器(例如,加速计或惯性测量单元)的任何记录装置。
如所展示,当记录树110时视频俘获装置120倾斜一角度。视频俘获装置130可为与视频俘获装置120相同的装置或另一装置,且包含本文中所描述的基于视频俘获装置120的位置旋转所俘获图像的实施例。如所展示,装置130展示在无任何倾斜的情况下记录树110,使得装置130的定向与场景100中所俘获树的真实定向匹配。如视频俘获装置120的屏幕125上所示,树110的定向经定向使得屏幕125上展示的树的顶部指向视频屏幕125的左上部分128或朝向视频屏幕125的左上部分128旋转。在无本文中所描述的定向调整系统的情况下,树110的顶部的图像将继续指向装置130的左上部分,即使保持在垂直位置中时也如此。
因此,实施例通过读取来自视频俘获装置的内置式加速计或惯性测量单元的数据而校正此显示缺陷。所述数据可用于导出旋转矩阵,所述旋转矩阵在视频编码期间旋转所俘获对象使得最终视频将与屏幕上对象的真实定向匹配。如装置130中所示,在图像变换之后,屏幕135展示树的定向沿着垂直轴线指向上方(在12点位置处),这与对象的真实定向匹配。
图2为图1的系统120的框图。相机210提供以不同帧速率俘获场景的图像或视频的能力。举例来说,相机210可以每秒30帧的帧速率俘获视频。相机连接到处理器220,处理器220结合加速计单元230工作,加速计单元230测量视频俘获装置120的加速计读数。加速计单元230还可由三轴陀螺仪代替加速计组成以导出视频俘获装置的空间定向以用于调整所俘获视频的定向。
处理器220可导出方向余弦矩阵或旋转矩阵以校正记录期间视频俘获装置的旋转。展示一组系统模块240,其在系统内一起作用以提供调整所俘获视频的定向的许多功能。运动稳定器模块242可在记录期间使图像或视频稳定,且使用加速计单元230数据用于防止模糊的功能性。图像俘获模块244可处理相机210所俘获的视频的每一帧且结合旋转模块246工作以计算用于当前帧的定向调整的旋转矩阵。旋转模块246可经配置以读取来自加速计单元230的加速计或惯性测量单元数据以导出逐帧调整所俘获视频的定向的旋转矩阵。显示装置250可随后显示定向经调整的所俘获视频或显示未经调整定向视频。
图3为展示如本文中所论述用于调整所俘获视频的定向的过程300的一个实施例的流程图。所述过程300开始于框310处,其中俘获待调整的视频并将其提供到所述装置。视频可提供作为帧的序列或作为场景的静态图像。所述过程300随后继续到过程框320以读取加速计单元数据。如上文所论述,加速计单元还可包括三轴陀螺仪代替加速计以导出用于计算旋转矩阵的数据。过程框320中进行的步骤将在下文中相对于图4更详细地论述。
一旦在过程框320中从视频俘获装置读取加速计数据,所述过程300就继续到框330以计算旋转矩阵来调整所俘获视频的定向。所导出的旋转矩阵可依据记录期间视频俘获装置的移动针对每一视频帧或每特定数目的帧更新。加速计传感器读数还可使用低通滤波器滤波以移除抖动且随后经处理以导出旋转矩阵。作为一实例,加速计轴可被定义为如下:Y轴可沿着视频俘获装置的垂直方向延伸,其中正方向面朝北(处于12点位置);X轴可沿着视频俘获装置的水平方向延伸,其中正方向面朝东(处于3点位置);Z轴可延伸穿过视频俘获装置,其中正方向面朝上穿过装置的顶部(使得装置的旋转将沿着Z轴)。
当记录期间用户使视频俘获装置倾斜时,本发明仅涉及沿着X和Y平面旋转,且因此不需要将Z轴加速计读数并入来导出旋转矩阵。当视频俘获装置保持在正常位置中且假定视频俘获装置也经定向以与所俘获对象的定向匹配(参见图1中视频俘获装置130的定向,其将表示“正常”定向且还与所俘获树110的定向匹配)时,正Y轴沿着重力的方向延伸。
因此,三轴加速计的Y轴将沿着垂直方向测量重力的加速度(近似9.8m/s2)。如图1中的视频俘获装置130所示正常定向中沿着X轴的测量值将为0,因为不存在沿着X轴的倾斜或旋转。因此,在正常位置中,加速计向量读数将为(0,9.8m/s2),且在正规化(将X和Y轴除以重力加速度)之后将为(0,1)。
接下来,当视频俘获装置顺时针旋转角度θ时,新定向(如图1中视频俘获装置120所示)将具有沿着负X轴的加速计读数。在通过用户旋转角度θ之后,视频俘获装置现将经定向使得可界定新轴X'和Y',其中X'沿着视频俘获装置的底部延伸(在正规X轴“下方”旋转角度θ),且Y'沿着视频俘获装置的左侧延伸(向正常Y轴的“右侧”旋转角度θ)。X、Y平面中坐标(X,Y)处在原始“正常位置”中视频俘获装置的起始正常定向与坐标(X',Y')处的旋转定向(如图1的120所示)之间的关系可如下:
X Y = cos ( θ ) sin ( θ ) - sin ( θ ) cos ( θ ) X ′ Y ′
因此,对于沿着X-Y平面用户引起的顺时针旋转角度θ,可使用上文旋转矩阵将所俘获图像或帧调整为“正常”或“真实”定向以与所俘获场景或所俘获对象的“真实定向”匹配。此外,上文矩阵可逐帧更新,因为旋转角度θ可随着视频俘获装置记录场景而变化。并且,可利用三轴陀螺仪计算类似矩阵,所述三轴陀螺仪测量角速度以同样导出用以校正视频俘获装置的记录期间的旋转的矩阵。
所述过程300随后继续到过程框340以基于来自框330的所计算的旋转矩阵调整所俘获视频。将在下文中相对于图5更详细地论述过程340。
接下来过程300移动到框350且使用来自过程框340的经调整定向编码视频。经编码视频可保存在本地存储器中或经由网络发射用于在接收器侧解码以用于视频电话应用或显示目的。接下来,过程300移动到决策框370以确定是否在本地显示原始(未经调整)视频。如果确定不显示所述视频,那么过程300移动到框360以保存或发射所述视频。然而,如果在决策状态370处确定显示所述视频,那么过程300移动到状态380,其中其在视频俘获装置的内置式显示屏或外部显示装置上显示,随后过程300在框390处结束。
图4进一步详细展示用于读取加速计单元数据的过程320。在每一视频帧的俘获期间,可获得加速计的一或多个读数。对于三轴加速计,单一读数将产生具有X、Y、Z分量的加速度向量。如图4所示,X轴420、Y轴430和Z轴440可同时或个别地读取。每一轴的方向通常是任意的,只要三个轴遵循右手规则。加速计测量装置的加速度或速度的变化且计算加速度向量的对应X、Y和Z分量。除非装置仅沿着单一轴加速,否则加速度向量很可能具有三个方向中的每一者上的分量。加速计可以某一取样频率配置使得可在单一视频帧的俘获期间获得加速度的至少一个样本。如果在单一视频帧的俘获周期期间多个加速度读数可用,那么可在这些读数上应用低通滤波器以移除任何取样噪声或手移动引起的抖动。如果陀螺仪也可用,那么其读数可用于移除手移动促成的加速度。随后可对单一视频帧的俘获期间获得的多个样本求平均以产生所述视频帧的单一重力向量。接下来,重力向量投影到装置的X-Y平面上(通过丢弃Z分量),且正规化使得所得单位向量可用于计算旋转矩阵或旋转角度。如上文所论述,X-Y平面内的重力分量通常为计算旋转矩阵所需的唯一数据。在此实施例中,不需要重力的Z分量,因为不需要其来计算用于旋转所俘获图像帧的旋转矩阵。通常,来自X轴的单位向量(框420)将为sin(θ)且沿着Y轴(框430)将为cos(θ),其中θ为视频俘获装置逆时针旋转的旋转角。接下来,过程继续到框450,其中确定所述单位向量是否与先前帧的单位向量(所存储的单位向量)足够不同。如果差异小于阈值,那么过程320返回到步骤410。如果差异大于阈值,那么过程320移动到框460,其中单位向量数据存储于存储器中且相应地更新旋转矩阵。
图5提供关于用于基于所计算的旋转矩阵调整视频定向的过程340的更多细节。过程340开始于框510处,其读取旋转矩阵以调整当前所显示的帧的定向。如上文所论述,旋转矩阵数据可随着视频被俘获而逐帧变化,因为视频俘获装置的定向可在记录期间变化,且因此对应的旋转矩阵也可逐帧变化。过程随后继续到框520以旋转正俘获的当前帧。
为避免归因于旋转的分辨率损失,相机或视频俘获装置可经配置以利用额外容限俘获帧使得可在旋转之后进行每一帧的裁剪而不丢失来自所关注场景的重要信息。举例来说,为利用分辨率(w,h)俘获帧,相机或视频俘获装置经配置以利用分辨率(c,c)俘获帧。因此,c的最小值或cmin可被计算为:
C min = w 2 + h 2
在实践中,可添加额外容限用于滤波过程,其中m为容限,因此c=cmin+m。旋转是围绕图像的几何中心。一个可能增强是允许旋转原点在图像中心的较小邻域中到处移动使得邻近图像可尽可能地使用场景中的相同关键点作为旋转原点。这可潜在地移除手摇动引起的抖动。此算法可以图像的几何中心开始,且当未发现匹配的关键点时落回到图像的几何中心。
为将图像逆时针旋转角度θ,对于所得图像中的每一点(x',y'),其逆时针旋转θ,以找到原始图像中的匹配点(x,y)。使用内插方法估计(x,y)处原始图像的值,且将所述值指派到所得图像中的点(x',y')。此过程可使用专门硬件块或通用处理单元(例如,图形处理单元(GPU))实施。在基于旋转矩阵数据旋转每一帧之后,过程340移动到框530以裁剪经旋转图像或帧使得其在显示屏上以恰当定向呈现。在执行裁剪之后,当前帧可具有所希望的输出分辨率。最后,在帧已旋转和裁剪之后,过程340能够在框540处将当前帧以及经校正或调整的定向存储在存储器中。
所述技术使用众多其它通用或专用计算系统环境或配置而操作。可适合与本发明一起使用的众所周知的计算系统、环境及/或配置的实例包含(但不限于)个人计算机、服务器计算机、手持式或膝上型计算机装置、多处理器系统、基于处理器的系统、可编程消费型电子装置、网络PC、微型计算机、大型主机计算机、包含以上系统或装置中的任一者的分布式计算环境及类似者。
如本文中所使用,指令涉及用于处理系统中的信息的计算机实施的步骤。指令可在软件、固件或硬件中实施且包含由系统的组件进行的任何类型的所编程步骤。
处理器可为任何常规通用单芯片或多芯片处理器,例如处理器、Pro处理器、8051处理器、处理器、Power处理器或处理器。另外,处理器可为任何常规专用处理器,例如数字信号处理器或图形处理器。处理器通常具有常规地址线、常规数据线和一或多个常规控制线。
所述系统由如详细论述的各种模块组成。如所属领域的一般技术人员可了解,所述模块中的每一者包括各种子例程、程序、限定语句和宏。所述模块中的每一者通常被单独地编译和链接到单个可执行程序中。因此,出于便利起见而使用所述模块中的每一者的描述来描述优选系统的功能性。因此,所述模块中的每一者所经历的过程可任意地重新分配给其它模块中的一者、一起组合在单个模块中,或使得可用于(例如)可共享的动态链接库中。
所述系统可结合例如或Microsoft等各种操作系统使用。
可用任何常规编程语言编写所述系统,例如C、C++、BASIC、Pascal或Java,且在常规操作系统下运行所述系统。C、C++、BASIC、Pascal、Java和FORTRAN是业界标准的编程语言,许多商用编译器可使用其来创建可执行代码。还可使用例如Perl、Python或Ruby等解译语言来编写系统。
另外,技术人员将进一步了解,结合本文所揭示的实施例而描述的各种说明性逻辑块、模块、电路和算法步骤可实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件与软件的此可互换性,上文已大体上关于其功能性而描述了各种说明性组件、块、模块、电路和步骤。此类功能性是实施为硬件还是软件取决于特定应用和强加于整个系统的设计约束。熟练的技术人员可针对每一特定应用以不同方式实施所描述的功能性,但此类实施决策不应被解释为引起偏离本发明的范围。
可使用经设计以执行本文所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合来实施或执行结合本文中所揭示的实施例而描述的各种说明性逻辑块、模块和电路。通用处理器可为微处理器,但在替代方案中,处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合,例如,DSP与微处理器的组合、多个微处理器的组合、一或多个微处理器结合DSP核心或任何其它此类配置。
在一或多个实例实施例中,所描述的功能和方法可以硬件、软件、或在处理器上执行的固件或其任何组合来实施。如果在软件中实施,那么可将所述功能作为一或多个指令或代码而存储在计算机可读媒体上或经由计算机可读媒体发射。计算机可读媒体包含计算机存储媒体与通信媒体两者,通信媒体包含促进将计算机程序从一处传送到另一处的任何媒体。存储媒体可为可由计算机存取的任何可用媒体。借助于实例而非限制,此类计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置,或可用于运载或存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。同样,可恰当地将任何连接称作计算机可读媒体。举例来说,如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或无线技术(例如红外线、无线电和微波)从网站、服务器或其它远程源发射软件,那么所述同轴电缆、光纤电缆、双绞线、DSL或无线技术(例如红外线、无线电和微波)包含在媒体的定义中。如本文所使用,磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘用激光以光学方式再现数据。上述各项的组合也应包含在计算机可读媒体的范围内。
前文描述详述了本文中揭示的系统、装置和方法的某些实施例。然而,应了解,不管前述内容在文本中如何详细地显现,皆可以多种方式实践所述系统、装置和方法。同样如上文所陈述,应注意,在描述本发明的特定特征或方面时使用特定术语不应理解为暗示所述术语在本文中被重新界定以限于包含所述术语所关联的技术的特征或方面的任何特定特性。
所属领域的技术人员将了解,在不脱离所描述的技术的范围的情况下可作出各种修改和改变。此些修改和改变希望落在实施例的范围内。所属领域的技术人员还将理解,在一个实施例中包含的部分可与其它实施例交换;来自所描绘的实施例的一或多个部分可与其它所描绘的实施例以任何组合包含在一起。举例来说,可将本文中描述和/或图中所描绘的各种组件中的任一者进行组合、互换或从其它实施例排除。
关于实质上任何复数和/或单数术语在本文中的使用,所属领域的技术人员可根据上下文和/或应用适当地从复数转换成单数和/或从单数转换成复数。为清晰起见,本文中可明确地阐述各种单数/复数排列。
所属领域的技术人员将理解,一般来说,本文所用的术语大体上希望为“开放”术语(例如,术语“包含”应解释为“包含但不限于”,术语“具有”应解释为“至少具有”等)。所属领域的技术人员将进一步理解,如果希望特定数目的所引入权利要求叙述,那么此意图将明确叙述于所述权利要求中,且在不存在此叙述的情况下,不存在此意图。举例来说,为了辅助理解,所附权利要求书可含有介绍性短语“至少一个”和“一或多个”的使用,以便介绍权利要求叙述。然而,这类短语的使用不应解释为暗示通过不定冠词“一”引入权利要求叙述将含有如此引入的权利要求叙述的任一特定权利要求限于仅含有一个这类叙述的实施例,即使当同一个权利要求包含介绍性短语“一或多个”或“至少一个”和例如“一”等不定冠词时也如此(例如,“一”通常应解释为表示“至少一个”或“一或多个”);这同样适用于使用定冠词来引入权利要求叙述的情况。另外,即使明确叙述特定数目的所引入权利要求叙述,所属领域的技术人员也将认识到,此类叙述通常应解释为表示至少所叙述的数目(例如,不具有其它修饰语的无修饰叙述“两个叙述”通常表示至少两个叙述或者两个或两个以上叙述)。此外,在使用类似于“A、B和C等中的至少一者”的惯例的那些情形中,一般来说在所属领域的技术人员将理解所述惯例的意义上既定此种结构(例如,“具有A、B和C中的至少一者的系统”将包含但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C,和/或具有A、B和C等的系统)。在使用类似于“A、B或C等中的至少一者”的惯例的那些情形中,一般来说在所属领域的技术人员将理解所述惯例的意义上既定此种结构(例如,“具有A、B或C中的至少一者的系统”将包含但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C,和/或具有A、B和C等的系统)。所属领域的技术人员将进一步理解,无论在描述内容、权利要求书还是图式中,实际上任何呈现两种或两种以上替代性术语的分离性词语和/或短语应理解为涵盖包含所述术语中的一者、所述术语中的任一者或两种术语的可能性。举例来说,短语“A或B”将理解为包含“A”或“B”或“A和B”的可能性。
虽然本文中已揭示各个方面和实施例,但所属领域的技术人员将明白其它方面和实施例。本文中揭示的各个方面和实施例是出于说明的目的且并不希望为限制性的。

Claims (20)

1.一种编码视频俘获装置上俘获的视频的方法,其包括:
当俘获场景的视频时读取来自所述视频俘获装置的定向数据;
基于所述定向数据产生旋转矩阵;
调整所述所俘获视频的所述定向以与所述场景的真实定向匹配;以及
编码所述经调整的所俘获视频。
2.根据权利要求1所述的方法,其中所述定向数据为来自加速计或陀螺仪的惯性测量数据。
3.根据权利要求1所述的方法,其中所述视频俘获装置包括移动电话或平板计算机。
4.根据权利要求1所述的方法,其中编码所述经调整的所俘获视频包括裁剪所述经调整的所俘获视频。
5.根据权利要求1所述的方法,其进一步包括将所述经调整的所俘获视频存储到所述视频俘获装置中的存储器中。
6.根据权利要求1所述的方法,其中将所述经旋转的所俘获视频发射到具有视频显示能力的另一装置。
7.一种用于编码视频俘获装置上的视频俘获的系统,其包括:
图像传感器,其经配置以俘获场景的视频;
惯性测量单元,其经配置以提供来自所述视频俘获装置的定向数据;
旋转模块,其经配置以基于所述定向数据产生旋转矩阵且调整所述所俘获视频的所述定向以与所述场景的真实定向匹配;以及
编码器,其经配置以编码所述经调整的所俘获视频。
8.根据权利要求7所述的系统,其中所述惯性测量单元包括加速计或陀螺仪。
9.根据权利要求7所述的系统,其中所述视频俘获装置包括移动电话或平板计算机。
10.根据权利要求7所述的系统,其中所述旋转模块经配置以裁剪所述所俘获视频。
11.根据权利要求7所述的系统,其进一步包括经配置以存储所述经调整的所俘获视频的存储装置。
12.根据权利要求7所述的系统,其进一步包括发射器,所述发射器用于将所述经调整的所俘获视频发射到具有视频显示能力的第二装置。
13.一种编码视频俘获装置上俘获的视频的系统,其包括:
用于当俘获场景的视频时读取来自所述视频俘获装置的定向数据的装置;
用于基于所述定向数据产生旋转矩阵的装置;
用于调整所述所俘获视频的所述定向以与所述场景的真实定向匹配的装置;以及
用于编码所述经调整的所俘获视频的装置。
14.根据权利要求13所述的系统,其中所述用于读取定向数据的装置包括经配置以提供定向数据的惯性测量单元。
15.根据权利要求13所述的系统,其中所述用于基于所述惯性测量单元数据产生旋转矩阵的装置包括经配置以由处理器操作的旋转模块。
16.根据权利要求13所述的系统,其中所述用于编码所述经旋转的所俘获视频的装置包括视频编码器。
17.一种经配置以存储指令的非暂时性计算机可读媒体,所述指令在由处理器执行时执行一种方法,所述方法包括:
当俘获场景的视频时读取来自所述视频俘获装置的定向数据;
基于所述定向数据产生旋转矩阵;
调整所述所俘获视频的所述定向以与所述场景的真实定向匹配;以及
编码所述经调整的所俘获视频。
18.根据权利要求17所述的计算机可读媒体,其中所述定向数据为来自加速计或陀螺仪的惯性测量数据。
19.根据权利要求17所述的计算机可读媒体,其中所述定向数据为加速计数据。
20.根据权利要求17所述的计算机可读媒体,其中编码所述经调整的所俘获视频包括裁剪所述经调整的所俘获视频。
CN201380060820.3A 2012-11-27 2013-11-13 用于调整所俘获视频的定向的系统和方法 Pending CN104838643A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/686,466 US9516229B2 (en) 2012-11-27 2012-11-27 System and method for adjusting orientation of captured video
US13/686,466 2012-11-27
PCT/US2013/069860 WO2014085090A1 (en) 2012-11-27 2013-11-13 System and method for adjusting orientation of captured video

Publications (1)

Publication Number Publication Date
CN104838643A true CN104838643A (zh) 2015-08-12

Family

ID=49679647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380060820.3A Pending CN104838643A (zh) 2012-11-27 2013-11-13 用于调整所俘获视频的定向的系统和方法

Country Status (11)

Country Link
US (1) US9516229B2 (zh)
EP (1) EP2926546B1 (zh)
JP (1) JP6219400B2 (zh)
KR (1) KR101778420B1 (zh)
CN (1) CN104838643A (zh)
AP (1) AP2015008494A0 (zh)
EC (1) ECSP15027581A (zh)
ES (1) ES2897432T3 (zh)
MA (1) MA38122B1 (zh)
SA (1) SA515360486B1 (zh)
WO (1) WO2014085090A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105898594A (zh) * 2016-04-22 2016-08-24 北京奇艺世纪科技有限公司 控制虚拟现实视频播放的方法和装置
CN106506940A (zh) * 2016-10-19 2017-03-15 天津奇幻岛科技有限公司 一种补偿相机在直线滑移云台上晃动的方法
CN110546946A (zh) * 2017-02-27 2019-12-06 斯纳普公司 基于装置移动处理媒体内容

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9910341B2 (en) 2005-01-31 2018-03-06 The Invention Science Fund I, Llc Shared image device designation
US9325781B2 (en) 2005-01-31 2016-04-26 Invention Science Fund I, Llc Audio sharing
US9489717B2 (en) 2005-01-31 2016-11-08 Invention Science Fund I, Llc Shared image device
US9124729B2 (en) 2005-01-31 2015-09-01 The Invention Science Fund I, Llc Shared image device synchronization or designation
US9082456B2 (en) 2005-01-31 2015-07-14 The Invention Science Fund I Llc Shared image device designation
US9191611B2 (en) 2005-06-02 2015-11-17 Invention Science Fund I, Llc Conditional alteration of a saved image
US9621749B2 (en) * 2005-06-02 2017-04-11 Invention Science Fund I, Llc Capturing selected image objects
US10003762B2 (en) 2005-04-26 2018-06-19 Invention Science Fund I, Llc Shared image devices
US9076208B2 (en) 2006-02-28 2015-07-07 The Invention Science Fund I, Llc Imagery processing
US9451200B2 (en) 2005-06-02 2016-09-20 Invention Science Fund I, Llc Storage access technique for captured data
US20070222865A1 (en) 2006-03-15 2007-09-27 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Enhanced video/still image correlation
US9967424B2 (en) 2005-06-02 2018-05-08 Invention Science Fund I, Llc Data storage usage protocol
US9819490B2 (en) 2005-05-04 2017-11-14 Invention Science Fund I, Llc Regional proximity for shared image device(s)
DE102013224590B4 (de) * 2012-12-03 2019-07-18 Canon Kabushiki Kaisha Anzeigevorrichtung und deren steuerverfahren
JP6128389B2 (ja) * 2013-01-24 2017-05-17 パナソニックIpマネジメント株式会社 撮像装置
US9762848B2 (en) * 2013-03-15 2017-09-12 Google Inc. Automatic adjustment of video orientation
CN104345872A (zh) * 2013-08-06 2015-02-11 鸿富锦精密工业(武汉)有限公司 移动设备智能横屏方法及系统
US20150244938A1 (en) * 2014-02-25 2015-08-27 Stelios Petrakis Techniques for electronically adjusting video recording orientation
US20170193845A1 (en) * 2015-12-30 2017-07-06 International Business Machines Corporation Detection of anomalous behavior in digital education settings based on portable device movement
US11528402B2 (en) 2016-05-27 2022-12-13 Hanwha Techwin Co., Ltd. Terminal and method for setting data protocol for photographed image
WO2018093372A1 (en) * 2016-11-17 2018-05-24 Google Llc Media rendering with orientation metadata
US10735653B1 (en) * 2017-03-14 2020-08-04 Ambarella International Lp Electronic image stabilization to improve video analytics accuracy
US10547784B2 (en) * 2017-06-19 2020-01-28 SighTour Technologies, Inc. Image stabilization
US11050933B2 (en) * 2018-04-27 2021-06-29 Continenal Automotive Systems, Inc. Device and method for determining a center of a trailer tow coupler
US11659279B2 (en) * 2019-06-21 2023-05-23 Gopro, Inc. Systems and methods for stabilizing videos
CN112492223B (zh) * 2019-07-23 2023-05-12 影石创新科技股份有限公司 一种相机镜头平滑处理方法、装置及便携式终端
JP2023001629A (ja) * 2021-06-21 2023-01-06 キヤノン株式会社 撮像装置、情報処理装置及びその制御方法並びにプログラム
US20240005452A1 (en) * 2022-06-29 2024-01-04 Microsoft Technology Licensing, Llc Camera rotation for multi-posture computing devices

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050093891A1 (en) * 2003-11-04 2005-05-05 Pixel Instruments Corporation Image orientation apparatus and method
US20060078214A1 (en) * 2004-10-12 2006-04-13 Eastman Kodak Company Image processing based on direction of gravity
JP2007306500A (ja) * 2006-05-15 2007-11-22 Sanyo Electric Co Ltd 画像傾き補正装置及び画像傾き補正方法
CN102162738A (zh) * 2010-12-08 2011-08-24 中国科学院自动化研究所 摄像头与惯性传感器组合定位定姿系统的标定方法
US20110211082A1 (en) * 2011-04-07 2011-09-01 Forssen Per-Erik System and method for video stabilization of rolling shutter cameras

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08336069A (ja) * 1995-04-13 1996-12-17 Eastman Kodak Co 電子スチルカメラ
US6011585A (en) * 1996-01-19 2000-01-04 Apple Computer, Inc. Apparatus and method for rotating the display orientation of a captured image
US6597817B1 (en) * 1997-07-15 2003-07-22 Silverbrook Research Pty Ltd Orientation detection for digital cameras
US6262769B1 (en) * 1997-07-31 2001-07-17 Flashpoint Technology, Inc. Method and system for auto rotating a graphical user interface for managing portrait and landscape images in an image capture unit
JP4154025B2 (ja) * 1998-03-11 2008-09-24 キヤノン株式会社 撮像装置
US6286873B1 (en) * 1998-08-26 2001-09-11 Rufus Butler Seder Visual display device with continuous animation
US7554578B2 (en) * 2000-07-11 2009-06-30 Phase One A/S Digital camera with integrated accelerometers
GB0116113D0 (en) * 2001-06-30 2001-08-22 Hewlett Packard Co Tilt correction of electronic images
US8508643B2 (en) * 2003-01-17 2013-08-13 Hewlett-Packard Development Company, L.P. Method and system for processing an image
JP2005025268A (ja) * 2003-06-30 2005-01-27 Toshiba Corp 電子機器および表示制御方法
JP2006148638A (ja) * 2004-11-22 2006-06-08 Victor Co Of Japan Ltd ビデオ撮影装置
EP1667418B1 (en) * 2004-12-03 2013-01-16 Nikon Corporation Digital camera having video file creating function
JP2007058031A (ja) * 2005-08-26 2007-03-08 Sony Corp ディスプレイ装置
KR100708178B1 (ko) * 2005-09-01 2007-04-16 삼성전자주식회사 영상 처리 방법, 장치 및 영상 정보를 기록한 정보저장매체
JP2008160703A (ja) * 2006-12-26 2008-07-10 Sky Kk カメラ及びカメラ用プログラム
US9001047B2 (en) * 2007-01-07 2015-04-07 Apple Inc. Modal change based on orientation of a portable multifunction device
US20090040308A1 (en) 2007-01-15 2009-02-12 Igor Temovskiy Image orientation correction method and system
JP4930297B2 (ja) * 2007-09-10 2012-05-16 株式会社ニコン 撮像装置
JP2010147637A (ja) * 2008-12-17 2010-07-01 Nikon Corp 動画再生装置、動画再生方法、および、動画再生プログラム
US20110128350A1 (en) * 2009-11-30 2011-06-02 Motorola, Inc. Method and apparatus for choosing a desired field of view from a wide-angle image or video
KR20110061063A (ko) * 2009-12-01 2011-06-09 삼성전자주식회사 휴대 단말기의 이미지 촬영 방법 및 장치
US8687070B2 (en) 2009-12-22 2014-04-01 Apple Inc. Image capture device having tilt and/or perspective correction
US20110228098A1 (en) * 2010-02-10 2011-09-22 Brian Lamb Automatic motion tracking, event detection and video image capture and tagging
US9124804B2 (en) 2010-03-22 2015-09-01 Microsoft Technology Licensing, Llc Using accelerometer information for determining orientation of pictures and video images
US8558903B2 (en) 2010-03-25 2013-10-15 Apple Inc. Accelerometer / gyro-facilitated video stabilization
US8743219B1 (en) * 2010-07-13 2014-06-03 Marvell International Ltd. Image rotation correction and restoration using gyroscope and accelerometer
EP2442562B1 (en) 2010-10-12 2017-08-02 BlackBerry Limited Method and apparatus for image orientation indication and correction
US8723890B2 (en) * 2010-12-23 2014-05-13 Blackberry Limited Handheld electronic device having sliding display and position configurable camera
US20120262540A1 (en) * 2011-04-18 2012-10-18 Eyesee360, Inc. Apparatus and Method for Panoramic Video Imaging with Mobile Computing Devices
US8896713B2 (en) * 2011-08-15 2014-11-25 Apple Inc. Motion-based video stabilization
WO2014141653A1 (ja) * 2013-03-11 2014-09-18 パナソニック株式会社 画像生成装置、撮像装置および画像生成方法
TW201536050A (zh) * 2014-03-13 2015-09-16 Chicony Electronics Co Ltd 可修正偏移視角的影像擷取方法、電腦程式產品暨其影像擷取裝置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050093891A1 (en) * 2003-11-04 2005-05-05 Pixel Instruments Corporation Image orientation apparatus and method
US20060078214A1 (en) * 2004-10-12 2006-04-13 Eastman Kodak Company Image processing based on direction of gravity
JP2007306500A (ja) * 2006-05-15 2007-11-22 Sanyo Electric Co Ltd 画像傾き補正装置及び画像傾き補正方法
CN102162738A (zh) * 2010-12-08 2011-08-24 中国科学院自动化研究所 摄像头与惯性传感器组合定位定姿系统的标定方法
US20110211082A1 (en) * 2011-04-07 2011-09-01 Forssen Per-Erik System and method for video stabilization of rolling shutter cameras

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105898594A (zh) * 2016-04-22 2016-08-24 北京奇艺世纪科技有限公司 控制虚拟现实视频播放的方法和装置
CN105898594B (zh) * 2016-04-22 2019-03-08 北京奇艺世纪科技有限公司 控制虚拟现实视频播放的方法和装置
CN106506940A (zh) * 2016-10-19 2017-03-15 天津奇幻岛科技有限公司 一种补偿相机在直线滑移云台上晃动的方法
CN110546946A (zh) * 2017-02-27 2019-12-06 斯纳普公司 基于装置移动处理媒体内容
CN110546946B (zh) * 2017-02-27 2021-05-25 斯纳普公司 基于装置移动处理媒体内容
CN113132665A (zh) * 2017-02-27 2021-07-16 斯纳普公司 基于装置移动处理媒体内容
US11106037B2 (en) 2017-02-27 2021-08-31 Snap Inc. Processing a media content based on device movement
US11668937B2 (en) 2017-02-27 2023-06-06 Snap Inc. Processing a media content based on device movement
CN113132665B (zh) * 2017-02-27 2024-06-07 斯纳普公司 基于装置移动处理媒体内容

Also Published As

Publication number Publication date
MA20150432A1 (fr) 2015-11-30
KR20150091112A (ko) 2015-08-07
ECSP15027581A (es) 2016-01-29
WO2014085090A1 (en) 2014-06-05
MA38122B1 (fr) 2017-05-31
AP2015008494A0 (en) 2015-05-31
KR101778420B1 (ko) 2017-09-26
SA515360486B1 (ar) 2017-09-19
EP2926546B1 (en) 2021-10-27
JP2016502346A (ja) 2016-01-21
ES2897432T3 (es) 2022-03-01
US20140146205A1 (en) 2014-05-29
JP6219400B2 (ja) 2017-10-25
US9516229B2 (en) 2016-12-06
EP2926546A1 (en) 2015-10-07

Similar Documents

Publication Publication Date Title
CN104838643A (zh) 用于调整所俘获视频的定向的系统和方法
KR102346437B1 (ko) 증강 현실 장면을 재생할 때 자동 줌을 위한 방법들, 디바이스들, 및 시스템들
US10484606B1 (en) Stabilization of low-light video
JP2019515379A (ja) レンダリングデバイスのポーズを推定する方法及び装置
CN112740654B (zh) 用于稳定视频的系统和方法
US9635251B2 (en) Visual tracking using panoramas on mobile devices
EP3055990B1 (en) Applying video stabilization to a multimedia clip
CN110073662A (zh) 全景视频的建议视口指示
US10235795B2 (en) Methods of compressing a texture image and image data processing system and methods of generating a 360 degree panoramic video thereof
JP2017016657A (ja) 没入型ビデオ・コンテンツの一部分を参照部分の位置に従って処理する方法及び装置
US20240314433A1 (en) Methods and apparatus for re-stabilizing video in post-processing
CN109300183B (zh) 用于提供输出面的数据处理系统和方法
CN109618103A (zh) 无人机图传视频的防抖方法及无人机
US20220408019A1 (en) Viewpoint path modeling
US11153489B2 (en) Systems and methods for stabilizing videos
US20230196658A1 (en) Enclosed multi-view visual media representation
CN112148115A (zh) 媒体处理方法、装置、系统和可读存储介质
CN117830554B (zh) 一种无人机镜头姿态复现的建筑再生实景合成方法和系统
CN118803420A (zh) 一种适用于摩托车行车记录仪的视频稳像方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150812