CN113438511A - 对视频方向的自动调节 - Google Patents

对视频方向的自动调节 Download PDF

Info

Publication number
CN113438511A
CN113438511A CN202110541522.2A CN202110541522A CN113438511A CN 113438511 A CN113438511 A CN 113438511A CN 202110541522 A CN202110541522 A CN 202110541522A CN 113438511 A CN113438511 A CN 113438511A
Authority
CN
China
Prior art keywords
video
orientation
image frames
computer
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110541522.2A
Other languages
English (en)
Other versions
CN113438511B (zh
Inventor
马切克·S·诺瓦科夫斯基
巴拉日·绍博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202110541522.2A priority Critical patent/CN113438511B/zh
Publication of CN113438511A publication Critical patent/CN113438511A/zh
Application granted granted Critical
Publication of CN113438511B publication Critical patent/CN113438511B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及对视频方向的自动调节。提供了用于对视频方向进行自动调节的方法、系统以及计算机程序产品。计算机实现的方法可以包括：接收包括多个图像帧的视频；确定视频中的方向改变；确定视频的标准方向；并且通过调整图像帧中的一个或多个的大小并且通过将图像帧中的一个或多个旋转到标准方向来将视频调节到标准方向。可以将标准方向上的已调节的视频提供给用户。

Description

对视频方向的自动调节
分案说明
本申请属于申请日为2014年3月14日的中国发明专利申请201480016187.2的分案申请。
技术领域
该领域通常涉及视频图像，并且更具体地涉及视频图像的呈现。
背景技术
许多网站允许用户与世界各地的其他用户分享视频。此外，技术进步还使得越来越便于用户捕获并分享他们自己的视频内容。例如，具有一个或多个高品质数字相机、陀螺传感器、丰富存储空间、以及移动宽带的智能手机可使得用户灵活地记录并分享来自几乎任何地方的视频。
然而，用户生成的视频可以是从各种不同的方向(orientation)捕获的，这会导致不正确地显示视频内容。例如，用户可能在捕获视频的同时无意地或错误地旋转了记录设备。其结果是，可能会侧向地或者上下颠倒地显示视频的一个或多个部分。此外，用户可能直到随后在固定显示器上呈现出视频才意识到这样的结果。
发明内容
实施例通常涉及对视频图像的调节和校正。在一个实施例中，计算设备接收包括多个图像帧的视频并且检测视频中的方向改变。此后计算设备确定视频的标准方向并且通过调整视频中的图像帧中的一个或多个的大小并且将视频中的图像帧中的一个或多个旋转到标准方向来将视频调节到标准方向。
在另一实施例中，计算机可读存储介质具有记录在其上的指令，该指令当由处理器执行时，使得处理器执行操作。该指令包括下述计算机可读程序代码，该计算机可读程序代码被配置为使得处理器接收包括多个图像帧的视频，检测视频中的方向改变，确定视频的标准方向，并且通过调整图像帧中的一个或多个的大小并且将图像帧中的一个或多个旋转到标准方向来将视频调节到标准方向。
在进一步的实施例中，系统包括存储器以及与存储器相耦接的处理设备，该处理设备被配置为接收包括多个图像帧的视频，检测视频中的方向改变，确定视频的标准方向，并且通过调整图像帧中的一个或多个的大小并且将图像帧中的一个或多个旋转到标准方向来将视频调节到标准方向。
下面参考附图对本公开的进一步的实施例、特征和优点以及本公开的各个实施例的结构和操作进行详细地描述。
附图说明
从下面给出的具体实施方式以及本公开的各个实施例的附图可更全面地理解本公开的各个实施例。在附图中，相同附图标记可以指示相同或功能相似的元素。通常由对应附图标记中的最左边数字来指示元素第一次出现的图。
图1图示说明了根据本公开的各个实施例的示例性系统结构。
图2是根据实施例的视频调节系统的方框图。
图3是根据实施例的图示说明对视频方向的自动调节的流程图。
图4是根据实施例的图示说明对视频内容的自动调节的另外方面的流程图。
图5是可以执行这里所述的一个或多个操作的示例性计算机系统的方框图。
具体实施方式
每天在因特网上共享数百万的用户生成的视频。许多这些视频已被记录在诸如智能电话和数码相机这样的移动设备上。此外，许多这些设备装备有捕获设备的方向和位置的一个或多个传感器，诸如陀螺仪和加速度计。
虽然移动设备在捕获和共享他们自己的视频方面提供了用户方便性和灵活性，但是当记录视频时这很容易无意地移动或旋转移动设备。其结果是，可能从不正确的方向捕获视频的一个或多个部分。另外，视频的一个或多个部分还可能包含非故意的晃动和/或移动。然而，典型地用户直到例如稍后在诸如计算机监视器这样的固定显示器上播放视频，才意识到该非故意的结果。
在一个示例中，用户可以使用智能手机来捕获视频。此后用户可以将视频上传到视频共享网站或社交网站。此后用户可以在例如公开地或私下地共享所上传的视频之前预览该视频。在预览期间，用户可能会发现已从一个或多个不正确方向捕获了视频的多个片段。例如可能会侧向地显示、上下颠倒显示、和/或以一定角度显示视频的不同部分。为了对视频进行校正，用户应将视频内容传输到具有视频编辑软件的系统并且对视频的一个或多个片段进行手动调节。此后用户将手动校正的视频上传到网站。因此，对于用户来说对用户捕获的视频内容中的方向改变的检测和校正是麻烦的且繁重的。
本公开的实施例通过调节视频内容以对已从一个或多个不正确的方向所捕获的视频的片段进行校正来解决上述缺陷。可以自动执行对取向错误的视频内容的检测和校正以便用户不需使用视频编辑软件工具来执行手动校正。
例如，用户可以将视频从移动设备上传到用于提供对视频内容的自动调节的视频分享网站。网站可以对与来自视频的图像帧相关联的位置和/或方向数据进行分析以检测在视频中出现了一个或多个方向改变、晃动、和/或过度移动。网站可以向用户通知情况，可以允许用户预览视频，并且可以允许用户选择用于对视频进行校正的标准方向和/或基线准线。此后网站可以对视频进行校正以便每个视频帧的方向与用户所选的标准方向和/或基线准线是一致的。此后用户可以查看并且共享已校正的视频，而无需使用视频编辑工具来手动地调节视频图像帧。因此，视频调节系统可对在整个视频期间在各个时间以一个或多个不同方向记录的视频内容进行检测和校正。视频调节系统还可以对在整个视频期间在各个时间所检测到的晃动和移动进行检测和校正。此外，可以将调节应用于一个或多个视频图像帧以产生例如始终在单个固定的标准方向和/或位置上显示的已调节的视频。
图1图示说明了根据本公开的各个实施例的示例性系统结构。系统结构100包括与网络104相连的服务器机器110、数据存储库140以及客户端机器102A-102N。网络104可以是公共网络(例如因特网)、专用网络(例如局域网(LAN)或广域网(WAN))、或者其组合。
数据存储库140是能够存储诸如视频和图像内容这样的各种类型的数据的永久性存储器。在一些实施例中，数据存储库140可以是网络附接文件服务器，而在其它实施例中数据存储库140可以是诸如面向对象的数据库、关系数据库等等这样的某些其它类型的永久性存储器。数据存储库140可以包括由客户端机器102A-102N上传的用户生成的内容(视频和/或图像内容)。数据可以另外地或者替代地包括由一个或多个其他方所提供的内容。可以将图像和视频内容作为离散文件(例如运动图像专家组(MPEG)文件、Windows媒体视频(WMV)文件、联合照相专家组(JPEG)文件、图形交换格式(GIF)文件、便携式网络图形(PNG)文件等等)或者作为单个压缩文件的组成部分(例如zip文件)添加到数据存储库140。
在实施例中，数据存储库140用于存储包括位置和/或方向元数据的视频和图像内容。在另一实施例中，数据存储库140存储一个或多个视频和图像内容以及与视频和图像内容相关的或者链接到视频和图像内容的位置和/或方向元数据。
客户端机器102A-102N可以是个人计算机(PC)、笔记本计算机、移动电话、平板计算机、相机、或者任何其它计算设备。客户端机器102A-102N可以运行用于对客户端机器102A-102N的硬件和软件进行管理的操作系统(OS)。浏览器(未示出)可以运行在客户端机器上(例如在客户端机器的OS上)。浏览器可以是可访问由Web服务器服务的内容的Web浏览器。浏览器可以显示由Web服务器提供的视频内容及其它视觉媒体并且可以允许对视频及其它视觉媒体进行编辑。
服务器机器110可以是机架式服务器、路由器计算机、个人计算机、便携式数字助理、移动电话、膝上型计算机、平板计算机、相机、视频相机、上网本、台式计算机、媒体中心、或者上述的任意组合。服务器机器110可以包括Web服务器120和视频调节系统130。在替代的实施例中，Web服务器120和视频调节系统130可运行在一个或多个不同机器上。
Web服务器120可以将视频内容从数据存储库140提供给客户端102A-102N。客户端102A-102N可以使用Web浏览器来定位、访问、并且查看来自Web服务器120的视频内容。Web服务器120还可以从客户端102A-102N接收保存在数据存储库140中的视频内容，为了其可以包括留存和分发的目的。
Web服务器120可以接收对视频内容的查询并且使用数据存储库140来执行对视频内容的搜索以定位满足搜索查询的视频数据。此后Web服务器120可以将与搜索查询相匹配的视频数据结果发送到客户端102A-102N。在一个实施例中，Web服务器120提供被配置为使得客户端102A-102N上传、预览、编辑、显示并且发布视频内容的应用。例如，Web服务器120可以包括或访问用于提供这种功能的一个或多个应用。在一个示例中，Web服务器120与下述一个或多个应用服务器进行通信，所述一个或多个应用服务器可以托管有一个或多个服务器机器110上的Web服务器120或托管在其之外。例如，也可以通过一个或多个不同web应用、独立应用、系统、插件、Web浏览器扩展、以及应用编程接口(API)来提供这种功能。
视频是用于表示运动场景的连续图像帧集合。例如，可以连续地捕获或者随后重建一系列连续图像以产生动画。可以以包括但不局限于模拟、数字、二维以及三维视频的各种形式来呈现视频内容。此外，视频内容可以包括要按顺序显示的电影、视频剪辑、或者任何动画图像集合。
视频调节系统130可以分析视频内容以确定在视频内容中是否存在一个或多个方向改变。例如，视频调节系统130可以对与一个或多个视频图像帧相关联的方向信息进行分析。方向信息可以包括例如在捕获视频图像帧的时刻记录设备的特定位置和/或方向。例如，视频记录设备可以包括诸如测量设备的方向和/或位置的陀螺仪传感器和/或者加速度计这样的一个或多个传感器。视频记录设备可以接收来自一个或多个传感器的这种测量并且将其存储为对应的视频图像帧之内的元数据。在另一示例中，诸如与一个或多个视频图像帧相关联的位置和/或方向数据这样的测量可以与该视频图像帧分开存储并且该测量在以后的时间可以被关联/参考。
在一个实施例中，视频调节系统130可以确定是否已从多个方向上记录了与客户端102A-102N所上传的视频相关的一系列视频图像帧。视频调节系统130还可以执行对视频内容的自动调节以对在整个视频中所出现的视频图像帧方向上的一个或多个改变进行校正。
在实施例中，Web服务器120向客户端102A-102N提供Web应用，该Web应用可以驻留在一个或多个服务器机器110上。Web应用可以包括被配置可使用户上传、显示、并且管理视频内容的图形用户界面。Web应用还可以包括或者利用视频调节系统130。在一个实施例中，视频调节系统130可以基于系统设置、用户偏好、用户请求、或者默认中的一个或多个来在上传处理期间对视频内容进行自动分析。视频内容分析还可以由视频调节系统130例如基于在已将视频内容上传到数据存储库140之后所接收到的用户请求来执行。用户可以使用例如一个或多个命令(例如语音、文本、运动)或者通过利用图形用户界面(例如按钮点击、键盘快捷键)来执行一个或多个动作/交互而发起请求。
在一个实施例中，视频调节系统130确定已经以多个方向记录了视频内容并且向用户(例如内容拥有者、内容管理员、内容观看者)提供了对应的指示。Web应用可以使用图形用户界面向用户通知有关情况。例如，Web应用可以显示消息或告警、更新标签、重定向或刷新界面，和/或提供一个或多个附加的可选控件(例如预览视频方向校正按钮、执行视频方向校正按钮)。
在实施例中，图形用户界面被配置为可使用户发起视频方向校正、利用所提出的校正来预览已调节的视频内容的完整版本或者样本版本、保存已调节的视频内容，以及用已调节的视频内容来替换现有视频内容。图形用户界面还可以进一步被配置为可使用户预览具有对应的原始视频内容的已调节/已校正的视频内容(例如样本剪辑；完整版本)。例如，已调节的视频内容可以与原始视频内容同时并且在其旁边播放以使得并列比较。在一个实施例中，具有所提出的已校正的方向的已调节的视频内容的完整版本或者样本版本自动地被生成并且一旦用户请求时可用于预览。
图2是根据本公开的实施例的视频调节系统130的方框图。视频调节系统130包括视频接收模块202、视频分析模块204、视频方向确定模块206、视频调节模块208、以及视频传递模块210。在其它实施例中，可以按照各种安排对与视频接收模块202、视频分析模块204、视频方向确定模块206、视频调节模块208、以及视频传递模块210中的一个或多个相关联的功能进行组合、划分、或者组织。
在一个实施例中，视频调节系统130与数据存储库140和工作数据存储库240相耦接。数据存储库140包括视频数据220和图像数据230。工作数据存储库240包括临时视频数据250和临时图像数据260。
视频数据220通常是指任何类型的运动图像，其包括但不限于电影胶片、视频、数字视频、以及其它形式的动画片或显示。例如，视频数据220可以包括下述数字视频，该数字视频具有可以被存储为图像数据230的静态图像帧序列。因此，每个图像帧可以表示根据时间间隔所捕获的场景的快照。
视频数据220可以包括计算机动画，其包括二维和三维图形。视频数据220还可以包括任何图像序列，其包括用于创建移动错觉的图形图画。
图像数据230通常是指通过透镜将真实空间投影到相机传感器之上的任何投影。图像数据230包括但不局限于任何类型的二维图像、三维图像、视频内容、和/或图画。
在实施例中，视频调节系统130利用工作数据存储库240作为临时存储空间以执行对视频数据220和图像数据230的调节。工作数据存储库240可以包括例如任何类型的易失性和非易失性储存(例如盘、存储器)或者其组合。
在一个实施例中，工作数据存储库240包括临时视频数据250和临时图像数据260。例如，临时视频数据250可以包括诸如原始的和已改进/已调节的版本这样的视频数据220的一个或多个拷贝。此外，临时图像数据260可以包括诸如原始的和已改进/已调节的视频图像帧这样的图像数据230的一个或多个拷贝。
工作数据存储库240还可以包括由视频调节系统130所产生的临时数据和结果。例如，工作数据存储库240可以包括原始视频内容、原始视频图像帧、已校正的视频图像帧、以及已调节的视频内容。
此外，视频调节系统130可以使用工作数据存储库240以例如执行调节计算以保持中间处理结果并且将具有已校正的视频方向的已调节的视频内容提供给用户。
视频接收模块202接收来自一个或多个源的视频内容。例如，视频接收模块可以接收包括服务器机器110或者诸如相机或智能手机这样的客户端设备102A-102N上的多个视频图像帧的视频内容。在一个示例中，视频接收模块202接收已记录且直接存储在相同计算设备上的视频内容。在另一示例中，视频接收模块202接收来自诸如外部视频记录设备、不同客户端102A-102N、或者服务器机器110这样的另一源的视频内容。
在实施例中，视频分析模块204对视频数据220和/或图像数据230进行分析以确定何时从一个或多个不同方向记录与视频内容相关联的一系列视频图像帧。例如，视频分析模块204可以读取与一个或多个视频图像帧相关联的基于位置和/或方向的元数据并且对其进行比较。例如，视频分析模块204可以对多个视频图像帧之间和/或跨多个视频图像帧的位置和/或方向元数据进行比较以确定在视频内容中是否出现方向改变、晃动、和/或移动。
在一个实施例中，视频分析模块204基于阈值来检测视频方向的改变。例如，可以将阈值定义为指定被认为是方向改变的两个或更多视频图像帧之间的旋转程度。阈值例如可以作为用户偏好、系统设置、或者缺省值而被提供。
视频方向确定模块206确定视频内容的标准方向。在一个实施例中，可以将视频的原始方向确定为标准方向。视频的标准方向还可以是基于在整个视频中所检测到的最常见的方向、用户偏好、用户选择、或者显示视频的显示设备/视频播放器的方向和/或大小而确定的。
视频调节模块208对视频中的一个或多个视频图像帧执行调节和大小调整。例如，视频调节模块208可以计算要将视频图像帧从非标准方向调节到为视频所确定的标准方向所需的旋转程度。可以基于例如视频图像帧的方向与标准方向之间的差来计算旋转程度。此后，视频调节模块208可基于所计算的旋转程度将视频图像帧调节到标准方向。另外，视频调节模块208还可以调整视频图像帧的大小。例如，视频调节模块可以扩大视频图像帧的分辨率和/或裁剪视频图像帧以在整个已调节的视频期间提供统一的视频图像显示大小。
视频传递模块210生成在标准方向上的已调节的视频。在实施例中，视频传递模块210使用从视频调节模块208所接收到已调节的视频帧集合来生成在标准方向上的已调节的视频。此后视频传递模块210可以将在标准方向上的已调节的视频提供给用户以显示。
图3是根据实施例的图示说明对视频方向的自动调节的流程图。该方法300是由可以包括硬件(电路、专用逻辑等等)、软件(诸如运行在通用计算机系统或专用机器上)、或者这两者的组合的处理逻辑来执行的。在一个实施例中，方法300是由图1的服务器机器110来执行的。方法300可以是由运行在服务器机器110或一个或多个其他计算设备上的视频调节系统130来执行的。
当接收到视频内容时，方法300开始于阶段302。在实施例中，视频接收模块202接收包括多个视频图像帧的视频内容。例如，视频接收模块202可以接收已记录且存储在相同计算设备上的视频内容。在另一实施例中，视频接收模块202可以接收来自诸如不同计算机系统这样的另一源的视频内容。
在阶段304，检测视频内容中出现的方向改变。在实施例中，视频分析模块204对来自在阶段302所接收到的视频内容的视频图像帧进行分析。例如，视频分析模块可以对存储在视频图像帧之内的位置和/或方向元数据进行分析以确定在视频中何时出现方向改变。
例如，在记录视频内容时，视频记录设备可以包括并连续地监控诸如一个或多个陀螺仪这样的设备传感器。此后视频记录设备可以将从一个或多个传感器所接收到的位置和/或方向信息作为元数据存储在视频图像帧中。在一个实施例中，由视频记录设备连续地捕获位置和/或方向数据并且将其作为元数据存储在每个相应的视频图像帧中。在另一实施例中，当在视频记录期间出现了改变时仅在视频图像帧中捕获位置和/或方向数据的改变以作为元数据。
在一个实施例中，对存储在一个或多个图像帧中的方向数据进行比较以确定在视频中是否出现方向改变。例如，当两个或多个视频图像帧之间的方向上的单个或累积差超过一个或多个定义的阈值时可以检测到方向改变。
在另一实施例中，可以对与一个或多个视频图像帧相关联的方向和/或位置数据进行比较以检测并校正在记录的视频期间出现的晃动和/或其它非故意的或破坏性的移动。在一个示例中，与一个或多个视频图像帧相关联的方向和/或位置数据用于建立基线准线(例如标准方向或另一标准位置)。可以将偏离所建立的基线准线的视频图像帧调节为所确定的基线准线以对跨视频图像帧出现的晃动和/或其它非故意的或破坏性的移动进行校正。
在阶段306，确定用于显示视频内容的标准方向。在实施例中，标准方向是用于显示视频内容的单个固定方向。例如，标准方向可以是基于视频的原始方向、在整个视频期间所检测到的最常见的方向、用户优选的回放方向、用户所选的方向、将要显示视频内容的设备或视频播放器的方向、和/或将显示视频内容的视频播放器的一个或多个属性(例如视频播放器高度、宽度、屏幕位置、方向是固定的、是可以修改的等等)来确定的。
在阶段308中，将视频内容调节到标准方向。在实施例中，视频调节模块208对视频中的一个或多个视频图像帧执行调节和大小调整。例如，视频调节模块208可以计算要将视频图像帧从其原始方向调节到标准方向所需的旋转程度。视频调节模块208还可以将视频内容大小调整到标准显示分辨率。
在实施例中，视频调节模块208确定要将视频图像帧调节到标准方向所需的旋转程度。在一个示例中，视频调节模块208计算所记录的视频帧的方向与为视频所确定的标准方向之间的差。此后视频方向模块208可以基于该确定来调节视频帧以对该变化进行校正。
此外，视频调节模块208还可以调整视频图像帧的大小。例如，视频调节模块208可以对视频图像帧进行裁剪以为已调节的视频提供标准显示大小和/或将视频图像的一部分适配到不同方向或者回放窗口。
在实施例中，视频调节模块208基于所有频视图像帧中的最短侧来计算视频的标准显示大小。例如，具有3000×2000的景横向方向分辨率以及2000×3000的纵向方向分辨率的视频将具有2000×2000的标准显示大小。因此，可以将2000×3000纵向方向视频图像帧和3000×2000横向方向视频图像帧这两者的中间2000×2000的正方形区域调节到标准方向并且以2000×2000的共同显示大小一起显示。
在一个示例中，对每个2000×3000纵向方向视频图像帧进行裁剪以便保留中间的2000×2000区域。此后可以对所裁剪的纵向方向视频图像帧进行旋转、居中、并且与已调节的视频中的3000×2000横向视频帧一起显示。
在另一示例中，可以对3000×2000横向方向视频图像帧的中间2000×2000正方形进行旋转、居中、并且与已调节的视频中的2000×3000纵向方向视频帧一起显示。
在另一实施例中，可以将具有原始3000×2000横向方向分辨率的视频旋转到2000×3000纵向方向分辨率。另外，此后可以对视频中的2000×3000纵向方向视频图像帧进行旋转以与已调节的横向图像帧的方向匹配并且将其大小调整到1500×2000区域以保持长宽比。
图4是根据实施例的图示说明视频内容的自动调节的另外方面的流程图。方法400是由可以包括硬件(电路、专用逻辑等等)、软件(诸如运行在通用计算机系统或专用机器上)、或者这两者的组合的处理逻辑来执行的。
在阶段402，接收视频内容。根据实施例，可以从一个或多个源接收或组装视频内容。例如，视频内容可以作为具有连续图像帧集合的单个视频文件到达。另外，可以从具有连续顺序或关系的两个或多个图像组装和/或创建视频文件。阶段402可以由例如视频接收模块202来执行。
在阶段404，在视频内容中检测方向改变和/或准线改变(即晃动或者视频图像移动)。在实施例中，对来自两个或多个视频图像帧的方向和/或位置数据进行分析并且比较以确定在视频中何时出现方向改变和/或准线改变。在一个示例中，当两个或多个视频图像帧之间的方向和/或位置数据上的改变超过阈值时可以在视频中检测到方向改变和/或准线改变。阶段404可以由例如视频分析模块204来执行。
在阶段406，向用户通知视频内容中的所检测到的方向改变和/或准线改变。在一个实施例中，用户可以接收对已记录了视频内容的设备上的所检测到的方向改变和/或准线改变的通知。在另一实施例中，用户可以接收来自用户已上传了视频内容的视频共享网站或社交网络的通知。提供给用户的通知可以指示在视频中检测到相机旋转。另外，用户可以被提供以一个或多个选项以预览视频，预览一个或多个所检测到的方向或者准线的改变，以及自动地校正视频中的一个或多个所检测到的方向或者准线改变。此外，可以促使用户选择用于显示视频的标准方向和/或基线准线。阶段406可以由例如视频方向确定模块206来执行。
在阶段408，基于用户反馈来确定用于显示视频内容的标准方向和/或基线准线。在一个示例中，基于已接收到的用户输入来接收标准方向和/或基线准线。例如，用户在被通知了视频内容中的所检测到的方向和/或准线改变之后可以选择标准方向和/或基线准线。用户还可以在查看了视频内容的所检测到的改变和/或其它部分的预览之后选择标准方向和/或基线准线。
在其它实施例中，标准方向可以是基于视频的原始方向和/或准线、在整个视频期间所检测到的最常见的方向或准线、用户优选的回放方向、用户所选的方向/准线、将要显示视频内容的设备或视频播放器的方向来确定的。在实施例中，可以由视频调节系统130基于从用户所接收到的输入或者基于系统和用户输入这两者的组合来自动地发起对视频内容的调节。阶段408可以是由例如视频方向确定模块208来执行的。
在阶段410，通过修改一个或多个视频图像帧将视频内容调节到标准方向和/或基线准线。在实施例中，可以通过将图像帧从非标准方向旋转到在阶段408所确定的标准方向来对一个或多个图像帧进行调节。此外，还可以基于为已调节的视频所确定的标准视频显示大小来调整一个或多个图像帧的大小。
在一个实施例中，通过将视频图像帧的分辨度扩大到视频的最长边的平方来调整视频图像帧的大小。例如，可以将具有3000×2000的横向分辨率以及2000×3000的纵向分辨率的视频扩大到3000×3000。因此，可以将视频图像帧旋转到标准方向并且在已调节的视频中一起显示而不会丢失内容。阶段410例如可以由视频调节模块208来执行。
在阶段412，在标准方向和/或基线准线上将已调节的视频提供给用户。已调节的视频可以是基于已调节到标准方向和/或基线准线的图像帧而生成的。此后将已调节的视频内容呈现给用户以预览或者完整显示。
在替代实施例中，视频播放器或视频播放网站可以不调整视频图像帧的大小。代之以，可以将视频图像帧旋转到标准方向并且以原始大小显示。例如，可以在标准方向上以其原始大小来显示600×400的横向视频图像帧。此后通过调整视频播放器区域的大小可以在标准方向上以其原始大小来显示400×600的纵向图像帧(反之亦然)。在一个示例中，当自动地调整视频播放器区域的大小时，可能一次或多次自动地重新定位诸如环绕视频播放器/视频播放区域的文本这样的内容。阶段412可以由例如视频传递模块210来执行。
图5图示说明了计算机系统500的示例性形式的机器的示意图，在所述计算机系统500之内可以执行一组指令，所述指令使得机器执行这里所讨论的方法中的任何一个或多个。在替代实施例中，该机器可以与LAN、内联网、外联网、或者因特网中的其它机器相连(例如联网)。该机器可以作为在客户端-服务器网络环境中的服务器或者客户端机器进行操作或者可以作为对等(或者分布式)网络环境中的对等机器进行操作。该机器可以是个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝式电话、Web设备、服务器、网络路由器、交换机或者桥接器、或者能够执行用于指定该机器要采取的动作的一组指令(顺序的或其它方式)的任何机器。此外，虽然仅说明了单个机器，但是术语“机器”应当被理解为包括单独地或共同地执行用于执行这里所讨论的方法中的任何一个或多个的一组(或多组)指令的机器的任何集合。
示例性计算机系统500包括经由总线530彼此进行通信的处理设备(处理器)502，主存储器504(例如只读存储器(ROM)、闪存存储器、动态随机存取存储器(DRAM)(诸如同步DRAM(SDRAM)、双倍数据速率(DDR SDRAM)、或者DRAM(RDRAM)等等))，静态存储器506(例如快闪存储器、静态随机存取存储器(SRAM)等等)，以及数据存储设备518。
处理器502表示诸如微处理器、中央处理单元等等这样的一个或多个通用处理设备。更具体地说，处理器502可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、或者用于实现其它指令集的处理器或者用于实现指令集的组合的处理器。处理器502还可以是诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器等等这样的一个或多个专用处理设备。处理器502被配置为执行用于执行在这里所讨论的操作和步骤的指令522。
计算机系统500可以进一步包括网络接口设备508。计算机系统500还可以包括视频显示单元510(例如液晶显示器(LCD)或阴极射线管(CRT))、字母数字输入设备512(例如键盘)、光标控制设备514(例如鼠标)、以及信号生成设备516(例如扬声器)。
数据存储设备518可以包括计算机可读存储介质528，在该计算机可读存储介质528上存储了具体体现了这里所描述的方法或功能中的任何一个或多个的一组或多组指令522(例如软件)。指令522在由计算机系统500执行其期间还可以完全或者至少部分地驻留在主存储器504和/或处理器502之内，主存储器504和处理器502还构成了计算机可读存储媒介。可以进一步经由网络接口设备508在网络520上传送或者接收指令522。
在一个实施例中，指令522包括用于视频调节模块(例如图1的视频调节系统130)的指令和/或包含用于调用视频调节模块的方法的软件库。虽然在示例性实施例中示出了计算机可读存储介质528(机器可读存储介质)是单个介质，但是术语“计算机可读存储介质”应当被理解为包括用于存储一组或多组指令的单个介质或多个媒介(例如集中式或分布式数据库和/或相关联的缓存和服务器)。术语“计算机可读存储介质”还应被理解为包括下述任何介质，该任何介质能够存储、编码、或者携载由机器执行的并且使得机器执行本公开的方法中的任何一个或多个的一组指令。因此术语“计算机可读存储介质”应被理解为包括但不局限于固态存储器、光学媒介、以及磁媒介。
在先前的描述中，阐述了许多细节。然而，对于本领域普通技术人员来说显而易见地是在没有这些具体细节的情况下也可以实践本公开。在一些实例中，以方框图的形式而非详细地示出了公知的结构和设备，以免使本公开模糊难懂。
就对在计算机存储器之内的数据位的操作的算法和符号表示而言已呈现了具体实施方式的一部分。算法在这里并且通常被认为是导致期望结果的前后一致的步骤序列。这些步骤是需要物理量的物理操作的那些步骤。通常，尽管不是必须的，这些量采用能够被存储、传输、组合、比较、以及操作的电或磁信号的形式。出于对普遍使用的考虑，将这些信号称为比特、值、元素、符号、字符、项、数目等等，已被证明有时是方便的。
然而，应当牢记的是所有这些和类似项与适当的物理量相关联并且仅仅是应用于这些量的方便标签。除非特别指出，否则从以下讨论显而易见地，应理解的是在整个描述期间利用诸如"计算"、"比较"、"应用"、"创建"、"排名"、"分类"等这样的术语的讨论是指计算机系统或下述类似电子计算设备的动作和处理，所述类似电子计算设备用于对表示为计算机系统的寄存器和存储器之内的物理量(例如电子)的数据进行操作并且将其转换成类似地表示为计算机系统存储器或寄存器或者其它这种信息存储、传输、或者显示设备之内的物理量的其它数据。
本公开的某些实施例还涉及用于执行这里的操作的装置。还可以将该装置构造成用于预期目的，或者它可以包括由存储在计算机中的计算机程序选择性激活或者重配置的通用计算机。可以将这样的计算机程序存储在诸如但不局限于包括软盘、光盘、CD-ROM、以及磁光盘的任何类型的盘，只读存储器(ROM)，随机存取存储器(RAM)，EPROM，EEPROM，磁卡或光卡，或者适合于存储电子指令的任何类型的媒介这样的计算机可读存储介质中。
应当理解的是上面的描述旨在是说明性的而不是限制性的。对于本领域普通技术人员来说在阅读和理解上述描述时许多其它实施例是显而易见的。因此，本公开的范围将是参考所附权利要求以及与该权利要求所享有的等效物的全部范围一起来确定的。

Claims (9)

1.一种计算机实现的方法包括：
由处理设备(502)，接收由用户的移动设备(102A-102N)的视频记录设备记录的视频的视频文件，所述视频包括多个图像帧(230)；
由所述处理设备(502)确定在所述视频的记录期间是否已发生了所述移动设备的晃动，其中，所述晃动是基于所述视频的所述多个图像帧的由所述视频记录设备存储的数据来针对所述视频确定的，所述数据包括所述视频的对应图像帧的位置信息，所述位置信息指示晃动；
在已发生了所述设备的晃动的情况下，向所述用户通知(406)所述移动设备(102A-102N)的晃动；
经由用户界面接收用户请求以发起对由在所述记录期间晃动的所述移动设备(102A-102N)的视频记录设备记录的所述视频的自动校正；
执行所述视频的自动校正以产生经调节视频的视频文件，其中，执行所述自动校正包括自动调节所述视频中的所述多个图像帧中的一个或多个图像帧以校正晃动；以及
呈现播放所述经调节视频的视频文件的所述用户界面(510)以提供所述经调节视频的预览，并在附加地在所述用户界面中与所播放的经调节视频的视频文件一起播放由所述移动设备(102A-102N)的所述视频记录设备原始记录的所述视频的视频文件以允许所述经调节视频与由所述视频记录设备原始记录的所述视频的并列比较。
2.根据权利要求1所述的计算机实现的方法，其中，确定在所述视频的记录期间已发生了所述移动设备(102A-102N)的晃动包括：
将与所述视频中的第一图像帧相关联的视频记录设备位置和与所述视频中的第二图像帧相关联的第二视频记录设备位置进行比较。
3.根据权利要求1所述的计算机实现的方法，其中，自动调节所述视频中的所述多个图像帧中的一个或多个图像帧以校正晃动进一步包括：
确定所述视频的基线准线；和
鉴于所述基线准线来调节所述视频，其中，所述调节包括将所述视频中的所述多个图像帧中的一个或多个图像帧自动调节到所述基线准线以校正晃动。
4.根据权利要求1所述的计算机实现的方法，进一步包括：
确定在所述视频的记录期间已发生了所述移动设备(102A-102N)的方向改变，其中，所述方向改变是基于所述视频的所述多个图像帧中的每个图像帧中由所述视频记录设备存储的数据来针对所述视频确定的，所述数据包括所述视频的对应图像帧的方向信息；
确定所述视频的标准方向，所述标准方向是基于遍及所述视频检测到的最常见方向以及视频播放器呈现所述视频的一个或多个参数来确定的；以及
将所述视频调节到所述标准方向。
5.根据权利要求4所述的计算机实现的方法，其中，将所述视频调节到所述标准方向进一步包括：
确定将所述图像帧调节到所述标准方向所需的旋转程度。
6.根据权利要求4所述的计算机实现的方法，其中，将所述视频调节到所述标准方向进一步包括：
提供允许所述用户将所述视频调节到所述标准方向的界面。
7.根据权利要求4所述的计算机实现的方法，其中，将所述视频调节到所述标准方向进一步包括：
基于所述标准方向来自动调整所述视频中的所述多个图像帧中的一个或多个图像帧的大小；以及
将所述视频中的所述多个图像帧中的一个或多个图像帧自动旋转到所述标准方向。
8.一种具有存储在其上的计算机可执行指令的计算机可读介质，所述计算机可执行指令在由处理器执行时，将使所述处理器执行根据前述权利要求中的任一项所述的方法。
9.一种系统，包括：
存储器；以及
处理器，所述处理器耦合到所述存储器并且被配置为执行根据权利要求1至8中的任一项所述的方法。
CN202110541522.2A 2013-03-15 2014-03-14 用于对视频方向的自动调节的方法、介质以及系统 Active CN113438511B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110541522.2A CN113438511B (zh) 2013-03-15 2014-03-14 用于对视频方向的自动调节的方法、介质以及系统

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US13/838,686 US9762848B2 (en) 2013-03-15 2013-03-15 Automatic adjustment of video orientation
US13/838,686 2013-03-15
CN202110541522.2A CN113438511B (zh) 2013-03-15 2014-03-14 用于对视频方向的自动调节的方法、介质以及系统
CN201480016187.2A CN105247850A (zh) 2013-03-15 2014-03-14 对视频方向的自动调节
PCT/US2014/029579 WO2014144959A1 (en) 2013-03-15 2014-03-14 Automatic adjustment of video orientation

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480016187.2A Division CN105247850A (zh) 2013-03-15 2014-03-14 对视频方向的自动调节

Publications (2)

Publication Number Publication Date
CN113438511A true CN113438511A (zh) 2021-09-24
CN113438511B CN113438511B (zh) 2023-09-12

Family

ID=50687655

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110541522.2A Active CN113438511B (zh) 2013-03-15 2014-03-14 用于对视频方向的自动调节的方法、介质以及系统
CN201480016187.2A Pending CN105247850A (zh) 2013-03-15 2014-03-14 对视频方向的自动调节

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480016187.2A Pending CN105247850A (zh) 2013-03-15 2014-03-14 对视频方向的自动调节

Country Status (5)

Country Link
US (3) US9762848B2 (zh)
EP (2) EP3726829A1 (zh)
JP (1) JP6563896B2 (zh)
CN (2) CN113438511B (zh)
WO (1) WO2014144959A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016081856A1 (en) * 2014-11-21 2016-05-26 Whip Networks, Inc. Media management and sharing system
US9800778B2 (en) 2015-07-21 2017-10-24 Qualcomm Incorporated Camera orientation notification system
US10623662B2 (en) 2016-07-01 2020-04-14 Snap Inc. Processing and formatting video for interactive presentation
US10622023B2 (en) 2016-07-01 2020-04-14 Snap Inc. Processing and formatting video for interactive presentation
WO2018005823A1 (en) * 2016-07-01 2018-01-04 Jia Li Processing and formatting video for interactive presentation
US9916493B2 (en) 2016-08-03 2018-03-13 At&T Intellectual Property I, L.P. Method and system for aggregating video content
US10475483B2 (en) 2017-05-16 2019-11-12 Snap Inc. Method and system for recording and playing video using orientation of device
CN107733874B (zh) * 2017-09-20 2021-03-30 平安科技（深圳）有限公司 信息处理方法、装置、计算机设备和存储介质
EP3698540A1 (en) * 2017-12-05 2020-08-26 Google LLC Method for converting landscape video to portrait mobile layout using a selection interface
CN109348139A (zh) * 2018-10-19 2019-02-15 北京凯视达科技有限公司 视频旋转方法、装置、计算机可读存储介质及电子设备
US11178085B2 (en) * 2019-02-27 2021-11-16 A Social Company Social media platform for sharing reactions to videos
US11196692B2 (en) 2019-02-27 2021-12-07 A Social Company Social contract based messaging platform
US11178374B2 (en) * 2019-05-31 2021-11-16 Adobe Inc. Dynamically rendering 360-degree videos using view-specific-filter parameters
US10983363B2 (en) * 2019-09-19 2021-04-20 Fotonation Limited Method for stabilizing a camera frame of a video sequence

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1096622A (zh) * 1993-02-12 1994-12-21 索尼公司 摄象机和视频信号重显装置
CN1647110A (zh) * 2002-04-16 2005-07-27 皇家飞利浦电子股份有限公司 用于视频或照相设备的图象旋转校正
JP2006054698A (ja) * 2004-08-12 2006-02-23 Canon Inc 手振れ補正機能を有する撮像装置
CN1798263A (zh) * 2004-12-27 2006-07-05 佳能株式会社 摄像装置和控制方法
CN1819626A (zh) * 2004-12-28 2006-08-16 精工爱普生株式会社 摄像装置以及使用该摄像装置的便携设备和移动电话
JP2007150494A (ja) * 2005-11-25 2007-06-14 Seiko Epson Corp ぶれ補正装置、動画表示装置、撮影装置、ぶれ補正方法、ぶれ補正プログラムおよび記録媒体
CN101072301A (zh) * 2006-05-12 2007-11-14 富士胶片株式会社 显示面部检测框的方法、显示字符信息的方法和摄像设备
US20080282021A1 (en) * 2007-05-07 2008-11-13 Mamoru Tokashiki Data management apparatus, data management method, and program
CN101364305A (zh) * 2007-08-07 2009-02-11 索尼株式会社 电子装置、运动向量检测方法和其程序
CN101426092A (zh) * 2007-11-02 2009-05-06 韩国科亚电子股份有限公司 使用对象跟踪的用于数字图像稳定的设备和方法
CN101656832A (zh) * 2008-08-18 2010-02-24 索尼株式会社 图像处理装置、图像处理方法、程序和成像装置
CN101828391A (zh) * 2007-10-23 2010-09-08 索尼公司 视频再现设备和视频再现方法
CN101930302A (zh) * 2009-06-19 2010-12-29 宏碁股份有限公司 具有晃动补偿功能的电子装置及其对象显示方法
CN102036007A (zh) * 2009-09-30 2011-04-27 富士胶片株式会社 图像拾取装置
JP2011175128A (ja) * 2010-02-25 2011-09-08 Panasonic Corp カメラシステムおよびカメラボディ

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6195122B1 (en) 1995-01-31 2001-02-27 Robert Vincent Spatial referenced photography
US6297185B1 (en) * 1998-02-23 2001-10-02 T/J Technologies, Inc. Catalyst
DE19909627A1 (de) * 1999-03-05 2000-09-07 Bosch Gmbh Robert Verfahren und Vorrichtung zur Bestimmung einer Verschiebung von Bildern einer Bildsequenz
US7893963B2 (en) 2000-03-27 2011-02-22 Eastman Kodak Company Digital camera which estimates and corrects small camera rotations
JP2002158959A (ja) * 2000-11-16 2002-05-31 Seiko Epson Corp 画像データ保存フォーマット変換方法および画像データ保存フォーマット変換処理プログラムを記録した記録媒体ならびにカメラ
US6915025B2 (en) 2001-11-27 2005-07-05 Microsoft Corporation Automatic image orientation detection based on classification of low-level image features
US7071970B2 (en) * 2003-03-10 2006-07-04 Charles Benton Video augmented orientation sensor
US7327873B2 (en) * 2003-06-06 2008-02-05 Intel Corporation Fast software rotation of video for portrait mode displays
US20050093891A1 (en) 2003-11-04 2005-05-05 Pixel Instruments Corporation Image orientation apparatus and method
JP2005229394A (ja) * 2004-02-13 2005-08-25 Canon Inc 画像撮影装置、画像撮影装置の画像配信方法、画像配信システム、及びプログラム
US7705884B2 (en) 2004-07-21 2010-04-27 Zoran Corporation Processing of video data to compensate for unintended camera motion between acquired image frames
US7656428B2 (en) 2005-05-05 2010-02-02 Avago Technologies General Ip (Singapore) Pte. Ltd. Imaging device employing optical motion sensor as gyroscope
CN1979322A (zh) * 2005-12-02 2007-06-13 上海乐金广电电子有限公司 使用加速度传感器的照相机影像调整系统及其方法
KR100820353B1 (ko) 2005-12-29 2008-04-10 주식회사 팬택 이동통신 단말기에 전송되는 영상 데이터의 회전 보정을제공하는 시스템 및 방법
JP4596268B2 (ja) 2006-02-14 2010-12-08 ソニー株式会社 撮像装置
JP5109803B2 (ja) * 2007-06-06 2012-12-26 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
DE602008005448D1 (de) 2007-06-27 2011-04-21 Panasonic Corp Bildgebungsgerät, verfahren, systemintegrierte schaltung und programm
JP2009033223A (ja) * 2007-07-24 2009-02-12 Fujifilm Corp 撮像装置
KR101362011B1 (ko) * 2007-08-02 2014-02-12 삼성전자주식회사 링잉 아티펙트없는 블러 제거 방법
KR101402624B1 (ko) * 2007-08-17 2014-06-30 삼성전자 주식회사 영상처리장치 및 그 영상처리방법
JP2010016548A (ja) * 2008-07-02 2010-01-21 Canon Inc 動画像処理装置
US8713215B2 (en) * 2009-05-29 2014-04-29 Z Microsystems, Inc. Systems and methods for image stream processing
JP2011055476A (ja) * 2009-08-06 2011-03-17 Canon Inc 表示装置
KR20110091378A (ko) * 2010-02-05 2011-08-11 삼성전자주식회사 카메라 동영상 처리 및 재생 방법 및 장치
US20110228098A1 (en) 2010-02-10 2011-09-22 Brian Lamb Automatic motion tracking, event detection and video image capture and tagging
US20110243532A1 (en) * 2010-03-31 2011-10-06 Motorola, Inc. System and method of video stabilization during movement
JP2011259342A (ja) * 2010-06-11 2011-12-22 Panasonic Corp 画像処理装置および画像処理方法
US10170082B2 (en) * 2010-10-04 2019-01-01 Nec Corporation Image display device and image display method
US9883116B2 (en) 2010-12-02 2018-01-30 Bby Solutions, Inc. Video rotation system and method
US9930225B2 (en) 2011-02-10 2018-03-27 Villmer Llc Omni-directional camera and related viewing software
US9118970B2 (en) 2011-03-02 2015-08-25 Aria Glassworks, Inc. System and method for embedding and viewing media files within a virtual and augmented reality scene
US8731335B2 (en) * 2011-11-28 2014-05-20 Ati Technologies Ulc Method and apparatus for correcting rotation of video frames
JP2012124939A (ja) * 2012-02-07 2012-06-28 Canon Inc 撮像装置及び撮像装置の制御方法
KR101978214B1 (ko) * 2012-11-19 2019-05-14 엘지전자 주식회사 동영상 디스플레이 장치 및 그 방법
US9516229B2 (en) * 2012-11-27 2016-12-06 Qualcomm Incorporated System and method for adjusting orientation of captured video
WO2014137368A1 (en) * 2013-03-08 2014-09-12 Thomson Licensing Method and system for stabilization and reframing
US20140267806A1 (en) * 2013-03-12 2014-09-18 Sony Corporation Device and method for processing video content

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1096622A (zh) * 1993-02-12 1994-12-21 索尼公司 摄象机和视频信号重显装置
CN1647110A (zh) * 2002-04-16 2005-07-27 皇家飞利浦电子股份有限公司 用于视频或照相设备的图象旋转校正
JP2006054698A (ja) * 2004-08-12 2006-02-23 Canon Inc 手振れ補正機能を有する撮像装置
CN1798263A (zh) * 2004-12-27 2006-07-05 佳能株式会社 摄像装置和控制方法
CN1819626A (zh) * 2004-12-28 2006-08-16 精工爱普生株式会社 摄像装置以及使用该摄像装置的便携设备和移动电话
JP2007150494A (ja) * 2005-11-25 2007-06-14 Seiko Epson Corp ぶれ補正装置、動画表示装置、撮影装置、ぶれ補正方法、ぶれ補正プログラムおよび記録媒体
CN101072301A (zh) * 2006-05-12 2007-11-14 富士胶片株式会社 显示面部检测框的方法、显示字符信息的方法和摄像设备
US20080282021A1 (en) * 2007-05-07 2008-11-13 Mamoru Tokashiki Data management apparatus, data management method, and program
CN101364305A (zh) * 2007-08-07 2009-02-11 索尼株式会社 电子装置、运动向量检测方法和其程序
CN101828391A (zh) * 2007-10-23 2010-09-08 索尼公司 视频再现设备和视频再现方法
CN101426092A (zh) * 2007-11-02 2009-05-06 韩国科亚电子股份有限公司 使用对象跟踪的用于数字图像稳定的设备和方法
CN101656832A (zh) * 2008-08-18 2010-02-24 索尼株式会社 图像处理装置、图像处理方法、程序和成像装置
CN101930302A (zh) * 2009-06-19 2010-12-29 宏碁股份有限公司 具有晃动补偿功能的电子装置及其对象显示方法
CN102036007A (zh) * 2009-09-30 2011-04-27 富士胶片株式会社 图像拾取装置
JP2011175128A (ja) * 2010-02-25 2011-09-08 Panasonic Corp カメラシステムおよびカメラボディ

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WEI HONG: "《Video stabilization and rolling shutter distortion reduction》", 《2010 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
梁维伟: "《基于投影的数字视频稳像技术研究》", 《中国优秀硕士学位论文全文数据库》 *
邱虹云: "《大气抖动矫正用高灵敏度高帧率CCD相机》", 《光电子·激光》, no. 3 *

Also Published As

Publication number Publication date
US20170374314A1 (en) 2017-12-28
US10887543B2 (en) 2021-01-05
EP2974272A1 (en) 2016-01-20
EP2974272B1 (en) 2020-05-13
JP6563896B2 (ja) 2019-08-21
CN105247850A (zh) 2016-01-13
US9762848B2 (en) 2017-09-12
CN113438511B (zh) 2023-09-12
WO2014144959A1 (en) 2014-09-18
EP3726829A1 (en) 2020-10-21
US20140267901A1 (en) 2014-09-18
US20200068168A1 (en) 2020-02-27
JP2016516365A (ja) 2016-06-02
US10469797B2 (en) 2019-11-05

Similar Documents

Publication Publication Date Title
US10887543B2 (en) Automatic adjustment of video orientation
US10657702B2 (en) Systems and methods for content streaming
AU2012352520B2 (en) Multiple-angle imagery of physical objects
US20190236799A1 (en) Systems and methods for content streaming
US10200613B2 (en) Video stabilization for mobile devices
AU2015231761B2 (en) Object tracking in zoomed video
US20150215532A1 (en) Panoramic image capture
TW201730841A (zh) 圖像資料處理系統和相關方法以及相關圖像融合方法
CN111193961B (zh) 视频编辑设备和方法
US20230412788A1 (en) Systems and methods for stabilizing views of videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant