CN105027167A - 用于自动渲染滑动变焦效果的方法和设备 - Google Patents

用于自动渲染滑动变焦效果的方法和设备 Download PDF

Info

Publication number
CN105027167A
CN105027167A CN201480011046.1A CN201480011046A CN105027167A CN 105027167 A CN105027167 A CN 105027167A CN 201480011046 A CN201480011046 A CN 201480011046A CN 105027167 A CN105027167 A CN 105027167A
Authority
CN
China
Prior art keywords
picture frame
interest
points
equipment
make
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480011046.1A
Other languages
English (en)
Inventor
T·P·皮尔瓦奈南
T·J·阿霍南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN105027167A publication Critical patent/CN105027167A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Structural Engineering (AREA)
  • Image Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了用于根据相机移动自动调节变焦功能以执行滑动变焦效果的各种方法。一种示例方法可以包括使得从视频数据接收第一图像帧，其中该第一图像帧包括两个或更多兴趣点；使得从图像数据接收第二图像帧，其中该第二图像帧包括处于不同位置的该两个或更多兴趣点；以及追踪该两个或更多兴趣点从第一图像帧到第二图像帧的位置上的差异。该方法还可以包括计算缩放因子以及向第二图像帧应用该缩放因子。

Description

用于自动渲染滑动变焦效果的方法和设备
技术领域
本发明的实施例总体上涉及媒体内容，尤其涉及用于根据相机移动自动调节变焦功能以执行滑动变焦效果的方法、设备和计算机程序产品。
背景技术
在诸如音乐会、戏剧演出和/或运动会之类的公众事件时，用户越来越流行使用相机捕获这些公众事件并且然后将所捕获的事件存储为诸如图像、视频、音频录音等的媒体内容。媒体内容甚至更频繁地被附接至移动终端的相机或其它图像捕获设备捕获。然而，移动终端并未提供用来执行电影摄影效果的硬件或软件能力。
滑动变焦是难以实现的，电影拍摄效果的特征在于在相机朝向或远离主体移动的同时设置变焦镜头来调节视角。目前，需要高端相机来实现该效果。即使利用专业设备，非专业人员通常将需要尝试拍摄多次来实现该效果。配备相机的移动电话的大多数用户接口不允许连续变焦，而是通常采用固定变焦步骤的特定集合。第二，利用当前的用户接口手动调节变焦设置不够灵活。通常，利用高端相机将相机运动的速度与焦距的正确变化相匹配是非常具有挑战的，而这无法利用移动电话的相机来实现。
发明内容
因此，根据本发明的示例实施例提供了用来根据相机移动自动调节变焦功能以产生滑动变焦效果的方法、设备和计算机程序产品。此外，变焦功能的调节利用图像分析而非通过用户对变焦功能的手动操作来完成。根据示例实施例的方法、设备和计算机程序产品还可以被配置为在后期录制图像处理的情况下确定裁切区域以示出滑动变焦效果。
一种示例方法可以包括使得从视频数据接收第一图像帧，其中该第一图像帧包括两个或更多兴趣点；使得从图像数据接收第二图像帧，其中该第二图像帧包括处于不同位置的该两个或更多兴趣点；追踪该两个或更多兴趣点从第一图像帧到第二图像帧的位置上的差异；计算表示该两个或更多兴趣点的落点上的相对差异的缩放因子；以及由处理器向第二图像帧应用该缩放因子。该方法可以进一步包括接收第一图像帧中的两个或更多兴趣点的选择。在备选实施例中，该方法可以进一步包括接收第一图像帧中的主要主题的选择并且根据该主要主题的选择来选择两个或更多兴趣点。
在另一实施例中，该方法可以包括使得两个或更多兴趣点中的每个兴趣点的描述符被存储；以及响应于缩放因子的计算，更新该两个或更多兴趣点中的每个兴趣点的描述符。此外，应用该缩放因子可以包括使得调节相机设备的光学或数字变焦功能。备选地，应用该缩放因子可以包括选择裁切区域，使得两个兴趣点集合之间的距离的比值保持恒定。在另一实施例中，该方法可以包括通过应用该缩放因子来变换第二图像帧；以及使得呈现第一图像帧和经变换的第二图像帧，其中该经变换的第二图像帧。
一种示例设备可以包括至少一个处理器以及至少一个存储计算机程序代码的存储器，其中该至少一个存储器和所存储的计算机程序代码利用该至少一个处理器被配置为使得该设备使得从视频数据接收第一图像帧，其中该第一图像帧包括两个或更多兴趣点；使得从图像数据接收第二图像帧，其中该第二图像帧包括处于不同位置的该两个或更多兴趣点；追踪该两个或更多兴趣点从第一图像帧到第二图像帧的位置上的差异；计算表示该两个或更多兴趣点的落点上的相对差异的缩放因子，向第二图像帧引用该缩放因子。该至少一个存储器和所存储的计算机程序代码利用该至少一个处理器被进一步配置为使得该设备接收在第一图像帧中的两个或更多兴趣点的选择。在备选实施例中，该至少一个存储器和所存储的计算机程序代码利用该至少一个处理器被进一步配置为使得该设备接收第一图像帧中的主要主题的选择并且根据该主要主题的选择来选择两个或更多兴趣点。
该至少一个存储器和所存储的计算机程序代码利用该至少一个处理器被进一步配置为使得该设备使得两个或更多兴趣点中的每个兴趣点的描述符被存储；以及响应于缩放因子的计算，更新该两个或更多兴趣点中的每个兴趣点的描述符。此外，应用该缩放因子可以包括使得调节相机设备的光学或数字变焦功能。备选地，应用该缩放因子可以包括选择裁切区域，使得两个兴趣点集合之间的距离的比值保持恒定。在另一实施例中，该至少一个存储器和所存储的计算机程序代码利用该至少一个处理器被进一步配置为使得该设备通过应用该缩放因子来变换第二图像帧；以及使得呈现第一图像帧和经变换的第二图像帧，其中该经变换的第二图像帧。
在又一实施例中，提供了一种计算机程序产品，该计算机程序产品包括具有存储于其中的计算机可读程序指令的至少一个非瞬态计算机可读存储介质，该计算机可读程序指令包括程序指令，该程序指令被配置用于使得从视频数据接收第一图像帧，其中该第一图像帧包括两个或更多兴趣点；使得从图像数据接收第二图像帧，其中该第二图像帧包括处于不同位置的该两个或更多兴趣点；追踪该两个或更多兴趣点从第一图像帧到第二图像帧的位置上的差异；计算表示该两个或更多兴趣点的落点上的相对差异的缩放因子；以及由处理器向该第二图像帧应用该缩放因子。该计算机可读程序指令还包括程序指令，该程序指令被配置用于接收第一图像帧中的两个或更多兴趣点的选择。在备选实施例中，该计算机可读程序指令还包括程序指令，该程序指令被配置用于接收第一图像帧中的主要主题的选择并且根据该主要主题的选择来选择两个或更多兴趣点。
该计算机可读程序指令还包括程序指令，该程序指令被配置用于使得两个或更多兴趣点中的每个兴趣点的描述符被存储；以及响应于缩放因子的计算，更新该两个或更多兴趣点中的每个兴趣点的描述符。此外，应用该缩放因子可以包括使得调节相机设备的光学或数字变焦功能。备选地，应用该缩放因子可以包括选择裁切区域，使得两个兴趣点集合之间的距离的比值保持恒定。在另一实施例中，该计算机可读程序指令还包括程序指令，该程序指令被配置用于通过应用该缩放因子来变换第二图像帧；以及使得呈现第一图像帧和经变换的第二图像帧，其中该经变换的第二图像帧。
一种示例设备可以包括装置，该装置用于使得从视频数据接收第一图像帧，其中该第一图像帧包括两个或更多兴趣点；使得从图像数据接收第二图像帧，其中该第二图像帧包括处于不同位置的该两个或更多兴趣点；追踪该两个或更多兴趣点从第一图像帧到第二图像帧的位置上的差异；计算表示该两个或更多兴趣点的落点上的相对差异的缩放因子；以及由处理器向第二图像帧应用该缩放因子。该设备可以进一步包括装置，该装置用于接收第一图像帧中的两个或更多兴趣点的选择。在备选实施例中，该设备可以进一步包括装置，该装置用于接收第一图像帧中的主要主题的选择并且根据该主要主题的选择来选择两个或更多兴趣点。
该设备可以进一步包括装置，该装置用于使得两个或更多兴趣点中的每个兴趣点的描述符被存储；以及响应于缩放因子的计算，更新该两个或更多兴趣点中的每个兴趣点的描述符。此外，应用该缩放因子可以包括使得调节相机设备的光学或数字变焦功能。备选地，应用该缩放因子可以包括选择裁切区域，使得两个兴趣点集合之间的距离的比值保持恒定。在另一实施例中，该方法可以包括通过应用该缩放因子来变换第二图像帧；以及使得呈现第一图像帧和经变换的第二图像帧。
附图说明
因此已经总体上对本发明的实施例进行了描述，现在将参考附图，附图不一定按比例绘制，并且其中：
图1是可以根据本发明的示例实施例来具体配置的系统的框图；
图2是可以根据本发明的示例实施例来具体配置的设备的框图；
图3是示出滑动变焦效果的示例示图；
图4是根据本发明的实施例图示了操作示例设备的方法的示例流程图；
图5是根据本发明的实施例示出了选择裁切区域的示例方法的示例框图；
图6是根据本发明的实施例图示了操作示例设备的方法的示例流程图；以及
图7是用于实践媒体内容处理系统的实施例的示例计算设备的示例框图。
具体实施方式
现在将参考附图在以下更全面地描述一些示例实施，在附图中示出了一些但非全部的实施例。实际上，示例实施例可以采取许多不同的形式，而并不应当被理解为局限于这里阐述的实施例；更确切地说，提供这些实施例使得本公开将满足可适用的法律要件。相同的附图标记通篇指代相同的元件。根据一些实施例，术语“数据”、“内容”、“信息”以及类似术语可以互换使用以指代能够被传送、接收和/或存储的数据。此外，如这里可以使用的，术语“示例性”并非被提供用于传达任何定性声明，而是仅被用来传达示例的说明。因此，使用任何这样的术语不应当被理解为限制本发明实施例的精神和范围。
如这里所使用的，术语“电路”是指以下的所有：(a)仅硬件的电路实施方式(诸如以仅模拟和/或数字电路的实施方式)；(b)电路和软件(和/或固件)的组合，诸如(如可应用的)：(i)(多个)处理器的组合或者(ii)共同工作以使得诸如移动电话或服务器的设备执行各种功能的(多个)处理器/软件(包括(多个)数字信号处理器)、软件和(多个)存储器的部分；以及(c)电路，诸如(多个)微处理器或者(多个)微处理器的一部分，其需要用于操作的软件或固件，即使该软件或固件并非物理存在。
“电路”的该定义应用于本申请中(包括任意权利要求中)使用该术语的所有情况。作为又一示例，如本申请中所使用的，术语“电路”还将覆盖仅一个处理器(或多个处理器)或者处理器及其(或它们的)伴随的软件和/或固件的一部分的实施方式。例如，如果可应用于特定权利要求元件，术语“电路”还将覆盖用于移动电话的基带集成电路或专用集成电路，或者服务器、蜂窝网络设备、或其它网络设备中的类似集成电路。
现在参考图1，图示了支持计算设备10和服务器12或其它网络实体(以下统称为“服务器”)之间无线地或经由线路的通信的系统。如所示出的，该计算设备和服务器可以经由网络14进行通信，诸如广域网，诸如蜂窝网络或互联网或局域网。然而，该计算设备和服务器可以以其它方式进行通信，诸如经由该计算设备和服务器之间的直接通信。
计算设备10可以由多种不同设备体现，包括移动计算设备，诸如个人数字助理(PDA)、移动电话、智能电话、膝上计算机、平板计算机，或者以上的任意组合，以及其它类型的语音和文本通信系统。备选地，该计算设备可以是固定计算设备，诸如个人计算机、计算机工作站等。服务器12也可以由计算设备体现，并且在一个实施例中由web服务器体现。此外，虽然图1的系统描绘了单个服务器，但是该服务器可以由多个服务器组成，该多个服务器可以合作以支持计算设备所进行的浏览活动。
无论体现计算设备10的设备的类型如何，该计算设备都可以包括如图2所示的设备20或者与之相关联。就此而言，该设备可以包括处理器22、存储器设备24、通信接口26和用户接口28或者以其它方式与它们通信。这样，在一些实施例中，虽然设备或元件被示为互相通信，但是以下这样的设备或元件应当被认为能够被体现在相同设备或元件内，并且因此被示为进行通信的设备或元件应当被理解为备选地作为相同设备或元件的一部分。
在一些实施例中，处理器22(和/或协同处理器或者辅助或以其它方式与处理器相关联的任何其它处理电路)可以经由总线与存储器设备24进行通信以便在该设备的组件之间传递信息。例如，该存储器设备可以包括一个或多个易失性和/或非易失性存储器。换句话说，例如，该存储器设备可以是电子存储设备(例如，计算机可读存储介质)，其包括被配置为存储可以由机器(例如，如处理器的计算设备)可获取的数据(例如，比特)的门。该存储器设备可以被配置为存储信息、数据、内容、应用、指令等以便使得设备20能够执行根据本发明的示例实施例的各种功能。例如，该存储器设备可以被配置为缓冲输入数据以便由处理器进行处理。附加地或备选地，该存储器设备可以被配置为存储用于由处理器执行的执行。
如以上所提到的，设备20可以由被配置为采用本发明的示例实施例的计算设备10体现。然而，在一些实施例中，该设备可以被体现为芯片或芯片组。换句话说，该设备可以包括一个或多个物理封装(例如，芯片)，该一个或多个物理封装包括结构配件(例如，基板)上的材料、组件和/或导线。该结构配件可以为其上所包括的组成电路提供物理强度、尺寸节约和/或电气交互限制。因此，在一些情况下，该设备可以被配置为在单个芯片上实施本发明的实施例或者将本发明的实施例实施为单个“片上系统”。这样，在一些情况下，芯片或芯片组可以构成用于执行提供这里所描述的功能的一个或多个操作的装置。
处理器22可以以多种不同方式来体现。例如，处理器可以被体现为一个或多个各种硬件处理装置，诸如协同处理器、微处理器、控制器、数字信号处理器(DSP)、具有或没有伴随DSP的处理单元，或者包括集成电路的各种其他处理电路，例如，ASIC(专用集成电路)、FPGA(现场可编程门阵列)、微控制器单元(MCU)、硬件加速器、专用计算机芯片等。这样，在一些实施例中，处理器可以包括被配置为独立执行的一个或多个处理核心。多核处理器可以实现单个物理封装内的多处理。附加地或备选地，处理器可以包括经由总线串联配置的一个或多个处理器，以实现指令、流水线和/或多线程的独立执行。
在示例实施例中，处理器22可以被配置为执行存储器设备24中存储的或者以其它方式对于处理器可访问的指令。附加地或备选地，处理器可以被配置为执行硬编码的功能。这样，无论通过硬件还是软件方法或者是通过它们的组合进行配置，处理器都可以表示在被相应配置时能够执行根据本发明实施例的操作的实体(例如，物理地体现在电路中)。因此，例如，当处理器被体现为ASIC、FPGA等时，处理器可以是专门配置的用于进行这里所描述的操作的硬件。备选地，作为另一示例，当处理器被体现为软件指令的执行器时，该指令可以对处理器进行专门配置以在该指令被执行时执行这里所描述的算法和操作。然而，在一些情况下，该处理器可以是被配置为通过由用于执行这里所描述的算法那和/或操作的指令对处理器的进一步配置而采用本发明实施例的特定设备(例如，头戴式显示器)的处理器。该处理器可以包括被配置为支持处理器的操作的时钟、算术逻辑单元(ALU)和逻辑门等。在一个实施例中，该处理器还可以包括被配置为控制用户接口28的一个或多个部件的至少一些功能的用户接口电路。
同时，通信接口26可以是诸如体现在硬件或者硬件和软件的组合中的被配置为在计算设备10和服务器12之间接收和/或传送数据的设备或电路的任意装置。就此而言，例如，通信接口26可以包括用于实现无线通信的天线(或多个天线)以及支持硬件和/或软件。附加地或备选地，通信接口可以包括用于与(多个)天线交互以导致信号经由(多个)天线传输或者处理经由(多个)天线接收到的信号的接收的电路。例如，通信接口可以被配置为诸如经由Wi-Fi、蓝牙或其它无线通信技术与头戴式显示器10进行无线通信。在一些情况下，通信接口可以备选地或者还支持有线通信。这样，例如，通信接口可以包括通信调制解调器和/或用于支持经由线缆、数字订户线路(DSL)、通用串行总线(USB)或其它机制的通信的其它硬件/软件。例如，通信接口可以被配置为经由有线通信与计算设备的其它组件进行通信。
用户接口28可以与诸如用户接口电路的处理器22进行通信以接收用户输入的指示和/或向用户提供听觉、视觉、机械或其它输出。这样，例如，用户接口可以包括键盘、鼠标、操纵杆、显示器、触摸屏显示器、麦克风、扬声器和/或其它输入/输出机制。在一些实施例中，显示器可以指代屏幕上、墙上、玻璃上(例如，近眼显示器)、空气中等的显示。用户接口还可以诸如经由总线与存储器24和/或通信接口26进行通信。
图3示出了眩晕效果或者生效的滑动变焦应用的视觉描述。滑动变焦是通过在相机朝向或远离主体滑动或移动的同时以保持主体在帧中始终保持相同大小的方式设置变焦镜头以调节视角来实现的效果，上述视角经常被称作视场。在其典型形式中，在镜头放大的同时相机从主体被拉开，或者反之亦然。因此，在变焦期间存在连续感知失真，最能够直接注意到的特征是背景看上去相对于主体发生变化。
图4图示了根据本发明的实施例的由方法、设备和计算机程序产品执行的示例操作的示例流程图。将要理解的是，该流程图中的每个框以及流程图中框的组合可以由各种手段来实施，诸如硬件、固件、处理器、电路和/或与包括一个或多个计算机程序指令的软件的执行相关联的其它设备。例如，以上描述的过程中一个或多个过程可以由计算机程序指令来体现。就此而言，体现以上描述的过程的计算机程序指令可以由采用本发明实施例的设备的存储器26存储并且由该设备中的处理器24来执行。如将被理解的，任何这样的计算机程序指令都可以被加载到计算机或其它可编程设备(例如，硬件)上以生产机器，以使得所产生的计算机或其它可编程设备提供在流程图的(多个)框中所指定的功能的实现。这些计算机程序指令也可以被存储在非瞬态计算机可读存储器中，其可以指示计算机或其它可编程设备以特定方式工作，使得存储在计算机可读存储器中的指令产生其执行实现在流程图的(多个)框中所指定的功能的制品。计算机程序指令还可以被加载到计算机或其它可编程设备上引起一系列操作被执行在计算机或其他可编程设备上以产生计算机实施的过程，使得在计算机或其它可编程设备上执行的指令提供用于实现在流程图的(多个)框中所指定的功能的操作。这样，图4的操作在被执行时将计算机或处理电路转换为被配置为执行本发明示例实施例的特定机器。因此，图4的操作定义了用于将计算机或处理配置为执行示例实施例的算法。在一些情况下，通用计算机可以被提供以处理器的实例，其执行图4的算法以将通用计算机转换为被配置为执行示例实施例的特定机器。
因此，流程图中的框支持用于执行指定功能的手段的组合以及用于执行所指定功能的操作的组合。还将要理解的是，流程图中的一个或多个框以及流程图中框的组合可以由执行所指定功能的基于专用硬件的计算机系统或者特殊用途的硬件和计算机指令的组合来实施。
在一些实施例中，这里的操作中的某些操作可以被修改或如以下描述的被进一步放大。此外，在一些实施例中还可以包括附加的可选操作。应当理解的是，以下的每种修改、可选添加或放大可以单独或者与这里描述的任何其它特征进行组合地与以上操作一起被包括。
图4是图示根据本发明的实施例执行的操作示例媒体内容处理系统的方法的示例流程图。如图4中的框405所示，由计算设备10体现的设备20可以因此被配置为执行应用。由计算设备体现的设备因此包括诸如处理器22、通信接口26等的用于执行应用的装置。例如，其中所执行的应用包括web应用、或者任意HTML5或JavaScriptTM应用或“app”，诸如以浏览器支持的编程语言(诸如依赖于常用web浏览器来渲染可执行应用的与诸如HTML5的浏览器渲染的标记语言相结合的JavaScriptTM)编码的软件应用。网页或“app”的打开可以由用户的移动通信设备10上的web浏览器执行。HTML5或JavaScriptTM“app”允许网页脚本与服务器12(诸如图1所示的那些)进行联系，以便存储并获取数据而无需重新下载整个网页。在本发明的另一实施例中，该应用可以是特权web应用或特权web app。特权web app是可能已经由例如一个或多个app商店的工具验证或者可能已经从作为受信源的来源获取或下载的一块web内容。受信源可以提供特权web app，该特权web app可以被使得能够覆盖缺省功率设置。
本发明实施例的上下文中的具体示例可以是电影摄影效果app。一旦在用户的移动电话或其它可编程设备上被启动，该app就可以被设置为录制视频并且自动调节变焦功能。备选地，该app可以被配置为录制视频并且在视频后期处理中应用滑动变焦效果。
如图4的框410中所示，由计算设备10体现的设备20可以因此被配置为接收视频数据的第一帧。由计算设备体现的设备因此包括用于接收视频数据的第一帧的装置，诸如处理器22、通信接口26等。
如图4的框415中所示，由计算设备10体现的设备20可以因此被配置为选择兴趣点。由计算设备体现的设备因此包括用于选择兴趣点的装置，诸如处理器22、通信接口26等。作为示例，可以选择主要主题的眼睛之间的距离作为兴趣点。
如图4的框420中所示，由计算设备10体现的设备20可以因此被配置为保存每个兴趣点的描述符。由计算设备体现的设备因此包括用于保存每个兴趣点的描述符的装置，诸如处理器22、通信接口26等。存在用于检测并描述图像中的局部特征的许多已知方法或算法，诸如SIFT或RIFF，它们中的任意一种在本发明的上下文中都将是足够的。
如图4的框425中所示，由计算设备10体现的设备20可以因此被配置为输出第一帧。由计算设备体现的设备因此包括用于输出第一帧的装置，诸如处理器22、通信接口26等。该第一帧可以是来自视频数据的图像帧。该视频数据可以是实况信号。在备选实施例中，该视频数据可以是预先录制的视频数据。输出第一帧可以包括将该第一帧发送至视频显示器以便作为视频或图像来呈现。在备选实施例中，该第一帧可以被存储在存储器中。
如图4的框430中所示，由计算设备10体现的设备20可以因此被配置为接收第二帧。由计算设备体现的设备因此包括用于接收第二帧的装置，诸如处理器22、通信接口26等。该第二帧可以是来自视频数据的图像帧。该视频数据可以是实况信号或者是来自存储视频数据的存储器的信号。
如图4的框435中所示，由计算设备10体现的设备20可以因此被配置为追踪兴趣点。由计算设备体现的设备因此包括用于追踪兴趣点的装置，诸如处理器22、通信接口26等。再次，兴趣点追踪是已知的并且可以由任意数量的可能方法来实现。
如图4的框440中所示，由计算设备10体现的设备20可以因此被配置为计算缩放因子。由计算设备体现的设备因此包括用于计算缩放因子的装置，诸如处理器22、通信接口26等。例如，令表示自动追踪的兴趣点。这里，第n帧中的第m个兴趣点的自动追踪的位置由表示。现在，在主要主题上有两个追踪的兴趣点的最简单的情况下，它们在帧n中的距离简单地是
如图4的框445中所示，由计算设备10体现的设备20可以因此被配置为应用缩放因子。由计算设备体现的设备因此包括用于应用缩放因子的装置，诸如处理器22、通信接口26等。具体地，为了保持主体的表观大小贯穿视频是恒定的，每个帧的变焦因子缩放因子被设置为sn＝d1/d2。
通过该因子对后续帧进行缩放保持两个兴趣点之间的距离恒定，并且因此保持主要主题的表观大小恒定。在本发明的一个实施例中，应用该缩放因子可以包括调节移动设备上的相机的变焦功能。在另一个示例中，应用该缩放因子可以包括选择传感器或图像区域的裁切区域以作为变换图像进行呈现。作为示例，在该实施例中，当相机从主要主题被移开时，该裁切区域被选择为使得在该裁切区域中，诸如主要主题的眼睛之间的距离和第一图像中背景图像的高度的距离的距离比值被保持为恒定。参见图5。
如图4的框450中所示，由计算设备10体现的设备20可以因此被配置为更新兴趣点描述符。由计算设备体现的设备因此包括用于更新兴趣点描述符的装置，诸如处理器22、通信接口26等。
如图4的框450中所示，由计算设备10体现的设备20可以因此被配置为输出经变换的第二帧。由计算设备体现的设备因此包括用于输出经变换的第二帧的装置，诸如处理器22、通信接口26等。输出经变换的第二帧可以包括向视频显示器呈现经变换的图像。
图6是图示根据本发明的实施例执行的操作示例媒体内容处理系统的备选方法的示例流程图。具体地，在一个实施例中，针对可以配备以电子地可控制的光学变焦的相机模块而言，变焦因子可以被预先设置。这样，一旦第X帧已经被记录，则变焦可能无法在该事实之后被改变。实际上，在已经观察到相机通过帧1...X的运动的情况下，自动渲染滑动变焦效果的这种实施方式可以预测在不久的将来相机将如何移动并且针对帧X+1预先设置缩放因子。
框605、610、620、625、630和635与图4的405、410、415、420、425、430和435一致，因此，省略了对应的公开。
如图6的框640中所示，由计算设备10体现的设备20可以被配置为针对后续帧预测运动。由计算设备体现的设备可以包括用于针对后续帧预测运动的装置，诸如处理器22、通信接口26等。
如图6的框645中所示，由计算设备10体现的设备20可以被配置为计算变焦设置。由计算设备体现的设备可以包括用于计算变焦设置的装置，诸如处理器22、通信接口26等。
如图6的框650中所示，由计算设备10体现的设备20可以被配置为向相机模块应用变焦设置。由计算设备体现的设备可以包括用于向相机模块应用变焦设置的装置，诸如处理器22、通信接口26等。
如图6的框655中所示，由计算设备10体现的设备20可以被配置为更新兴趣点描述符。由计算设备体现的设备可以包括用于更新兴趣点描述符的装置，诸如处理器22、通信接口26等。
如图6的框660中所示，由计算设备10体现的设备20可以被配置为输出当前帧。由计算设备体现的设备可以包括用于输出当前帧的装置，诸如处理器22、通信接口26等。
图7是用于实践媒体内容处理系统的实施例的示例计算设备的示例框图。特别地，图7示出了可以被用来实施媒体内容处理系统710的系统20。注意到，可以使用一个或多个通用或专用计算系统/设备来实施媒体内容处理系统710。此外，系统20可以包括一个或多个不同的计算系统/设备并且可以跨多个位置进行分布。此外，所示出的每个框可以将一个或多个这样的框表示为适用于具体实施例或者可以与其它框进行组合。例如，在一些实施例中，系统20可以包含追踪模块720、缩放模块730、相机模块780或者这三者的任意组合。在其它示例实施例中，追踪模块720、缩放模块730、相机模块780可以被配置为在单独系统(例如，移动终端和远程服务器、多个远程服务器等)上操作。例如，追踪模块720和/或缩放模块730可以被配置为在移动终端10上操作。而且，媒体内容处理系统710可以以软件、硬件、固件或者一些组合的形式来实现这里所描述的功能。
虽然系统20例如可以由移动终端10、独立系统(例如，远程服务器)所采用，但是应当注意的是，以下所描述的组件、设备或元件可能并非是强制的并且因此在某些实施例中一些可以被省略。此外，一些实施例可以包括这里所示出并描述的那些之外的进一步的或不同的组件、设备或元件。
在所示出的实施例中，系统20包括计算机存储器(“存储器”)24、一个或多个处理器22(例如，处理电路)以及通信接口26。媒体内容处理系统710被示为处于存储器24中。在其他实施例中，内容的一些部分、媒体内容处理系统710的组件中的一些或全部组件可以被存储在其它计算机可读介质上和/或通过其进行传送。媒体内容处理系统710的组件优选地在一个或多个处理器22上执行并且被配置为提取媒体内容并对其进行分类。其它代码或程序740(例如，管理界面、Web服务器等)以及潜在的其它数据仓库(诸如数据仓库750)也处于存储器24中，并且优选地在处理器22上执行。注意到，图7中的组件中的一个或多个组件可能并不存在于任何具体实施方式中。
在典型实施例中，如以上所描述的，媒体内容处理系统710可以包括追踪模块720、缩放模块720和/或二者。追踪模块720和/或缩放模块730可以执行如图1中所概括的那些功能。媒体内容处理系统710经由通信接口26通过网络14与(1)移动终端760和/或(2)第三方内容770进行交互。网络14可以是促成位于远程的人和/或设备之间的通信的介质(例如，双绞线、同轴线缆、光纤、射频)、硬件(例如，路由器、交换机、中继器、收发器)和协议(例如，TCP/IP、LTE、UDP、以太网、Wi-Fi、WiMAX)的任意组合。就此而言，通信接口26能够利用一种或多种空中接口标准、通信协议、调制类型、访问类型等进行操作。更具体地，系统20、通信接口26等能够根据各种第一代(1G)、第二代(2G)、2.5G、第三代(3G)通信协议、第四代(4G)通信协议、互联网协议多媒体子系统(IMS)通信协议(例如，会话发起协议(SIP))等进行操作。例如，移动终端能够根据2G无线通信协议IS-136(时分多址(TDMA))、全球移动通信系统(GSM)、IS-95(码分多址(CDMA))等进行操作。而且，例如，移动终端能够根据2.5G无线通信协议通用分组无线服务(GPRS)、增强型数据GSM环境(EDGE)等进行操作。进一步地，例如，移动终端能够根据3G无线通信协议，诸如通用移动电信系统(UMTS)、码分多址2000(CDMA2000)、宽带码分多址(WCDMA)、时分同步码分多址(TD-SCDMA)等进行操作。移动终端此外还能够根据3.9G无线通信协议进行操作，诸如长期演进(LTE)或演进型通用陆地无线接入网(E-UTRAN)等。此外，例如，移动终端能够根据第四代(4G)无线通信协议等以及未来可能研发的类似无线通信协议进行操作。
在示例实施例中，媒体内容处理系统710的组件/模块可以使用标准编程技术来实施。例如，媒体内容处理系统710可以被实施为在处理器22上运行的“原生”可执行程序，连同一个或多个静态或动态库。在其它实施例中，媒体内容处理系统710可以被实施为由作为其它程序740之一而执行的虚拟机处理的指令。通常，本领域已知的一系列编程语言可以被用于实施这样的示例实施例，包括各种编程语言范例的代表性实施方式，包括但是不限于面向对象的(例如，Java、C++、C#、Visual Basic.NET、Smalltalk等)、函数式(例如，ML、Lisp、Scheme等)、过程式(例如，C、Pascal、Ada、Modula等)、脚本(例如，Perl、Ruby、Python、JavaScript、VBScript等)和声明式(例如，SQL、Prolog等)。
以上所描述的实施例还可以使用公知的或专有的同步或异步客户端-服务器计算技术。而且，各个组件可以使用更多的单片编程技术来实施，例如，被实施为在单CPU计算机系统上运行的可执行程序，或者备选地使用本领域已知的各种构造技术进行分解，包括但不限于在各自具有一个或多个CPU的一个或多个计算机系统上运行的多程序、多线程、客户端-服务器或端对端。一些实施例可以并发地或异步地执行，并且使用消息传递技术进行通信。等效的同步实施例也得到支持。而且，其它功能能够由每个组件/模块实施和/或执行、并且以不同顺序实施和/或执行、并且由不同组件/模块实施和/或执行，仍然实现这里所描述的功能。
此外，对于存储为媒体内容处理系统710的一部分的数据的编程接口可以通过标准机制使其可用，诸如通过C、C++、C#以及Java应用编程接口(API)；用于访问文件、数据库或其它数据仓库的库；通过诸如可扩展标记语言(XML)的语言；或者通过Web服务器、文件传输协议(FTP)服务器或者提供针对所存储的数据的访问的其它类型的服务器。还可以包括数据存储库，并且其可以被实施为一个或多个数据库系统、文件系统，或者用于存储这样的信息的任何其它技术，或者上述的任意组合，包括使用分布式计算技术的实施方式。
程序和数据的不同配置和位置被预期与这里所描述的技术一同被使用。各种分布式计算技术都适用于以分布式的方式来实施所图示实施例的组件，包括但不限于传输控制协议(TCP)/互联网协议(IP)套接字、远程过程调用(RPC)、远程方法调用(RMI)、HTTP、Web服务(XML-RPC、JAX-RPC、简单对象访问协议(SOAP)等)。其它的变化是可能的。而且，每个组件/模块能够提供其它功能，或者现有功能能够以不同方式被分布在组件/模块中，但是仍然实现这里所描述的功能。
此外，在一些实施例中，媒体内容处理系统710的组件中的一些或全部组件可以以其它方式实施或提供，诸如至少部分以固件和/或硬件来实施或提供，包括但不限于一个或多个专用集成电路(ASIC)、标准集成电路、执行适当指令的控制器，并且包括微控制器和/或嵌入式控制器、现场可编程门阵列(FPGA)、复杂可编程逻辑设备(CPLD)等。一些或全部的系统组件和/或数据结构也可以作为内容(例如，作为可执行或其它机器可读软件指令或结构化数据)被存储在计算机可读介质(例如，硬盘；存储器；计算机网络或蜂窝无线网络或者其它数据传输介质；或者要由适当驱动器或者经由适当连接读取的便携式介质制品，诸如DVD或快闪存储器设备)上，以便使能或配置该计算机可读介质和/或一个或多个相关联的计算系统或设备来执行或以其它方式使用或提供该内容，从而执行所描述的至少一些技术。一些或全部的系统组件和数据结构也可以被存储为各种计算机可读传输介质上的数据信号(例如，通过被编码为载波的一部分或者被包括为模拟或数字传播信号的一部分)，其随后被传输(包括跨基于无线和基于有线/线缆的介质)进行传送，并且可以采取各种形式(例如，作为单个或复用的模拟信号的一部分，或者作为多个离散的数字分组或帧)。在其它实施例中，这样的计算机程序产品还可以采取其它形式。因此，本公开的实施例可以利用其它计算机系统配置进行实践。
这些发明所从属的领域的从之前描述和相关联的附图中呈现的教导中获益的技术人员将想到这里阐述的本发明的许多修改和其它实施例。因此，将要理解的是，本发明并不限于所公开的具体实施例，并且修改和其它实施例旨在被包括在所附权利要求的范围之内。此外，虽然以上描述和相关联的附图在元件和/或功能的某些示例组合的上下文中描述示例实施例，但是应当理解，在不背离所附权利要求的范围的情况下，可以由备选实施例来提供元件和/或功能的不同组合。就此而言，例如，与以上明确描述的那些不同的元件和/或功能的不同组合也被预期为在所附权利要求中的一些权利要求中被阐述。虽然这里采用了具体术语，但是它们仅在一般性和描述性意义上被使用而不用于限制的目的。

Claims (21)

1.一种方法，包括：
使得从视频数据接收第一图像帧，其中所述第一图像帧包括两个或更多兴趣点；
使得从所述视频数据接收第二图像帧，其中所述第二图像帧包括处于不同位置的所述两个或更多兴趣点；
追踪所述两个或更多兴趣点从所述第一图像帧到所述第二图像帧的位置上的差异；
计算表示所述两个或更多兴趣点的落点上的相对差异的缩放因子；以及
由处理器向所述第二图像帧应用所述缩放因子。
2.根据权利要求1所述的方法，进一步包括：
接收所述第一图像帧中的所述两个或更多兴趣点的选择。
3.根据权利要求1所述的方法，进一步包括：
接收所述第一图像帧中的主要主题的选择并且根据所述主要主题的所述选择来选择所述两个或更多兴趣点。
4.根据权利要求1所述的方法，进一步包括：
使得所述两个或更多兴趣点中的每个兴趣点的描述符被存储；以及
响应于所述缩放因子的所述计算，更新所述两个或更多兴趣点中的每个兴趣点的所述描述符。
5.根据权利要求1所述的方法，进一步包括：
使得针对后续图像接收预测相机运动，其中应用所述缩放因子包括使得调节相机设备的变焦功能；以及
使得在所述后续图像接收之前对所述变焦功能进行设置。
6.根据权利要求1所述的方法，其中应用所述缩放因子包括选择裁切区域，使得两个兴趣点集合之间的距离的比值保持恒定。
7.根据权利要求1所述的方法，进一步包括：
通过应用所述缩放因子来变换所述第二图像帧；以及
使得呈现所述第一图像帧和经变换的第二图像帧，其中所述经变换的第二图像帧。
8.一种设备，包括至少一个处理器以及包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码利用所述至少一个处理器被配置为使得所述设备至少：
使得从视频数据接收第一图像帧，其中所述第一图像帧包括两个或更多兴趣点；
使得从所述视频数据接收第二图像帧，其中所述第二图像帧包括处于不同位置的所述两个或更多兴趣点；
追踪所述两个或更多兴趣点从所述第一图像帧到所述第二图像帧的位置上的差异；
计算表示所述两个或更多兴趣点的落点上的相对差异的缩放因子；以及
向所述第二图像帧应用所述缩放因子。
9.根据权利要求8所述的设备，其中所述至少一个存储器和所述计算机程序代码利用所述至少一个处理器被进一步配置为使得所述设备：
接收所述第一图像帧中的所述两个或更多兴趣点的选择。
10.根据权利要求8所述的设备，其中所述至少一个存储器和所述计算机程序代码利用所述至少一个处理器被进一步配置为使得所述设备：
接收所述第一图像帧中的主要主题的选择并且根据所述主要主题的所述选择来选择所述两个或更多兴趣点。
11.根据权利要求8所述的设备，其中所述至少一个存储器和所述计算机程序代码利用所述至少一个处理器被进一步配置为使得所述设备：
使得所述两个或更多兴趣点中的每个兴趣点的描述符被存储；以及
响应于所述缩放因子的所述计算，更新所述两个或更多兴趣点中的每个兴趣点的所述描述符。
12.根据权利要求8所述的设备，其中所述至少一个存储器和所述计算机程序代码利用所述至少一个处理器被进一步配置为使得所述设备：
使得针对后续图像接收预测相机运动，其中应用所述缩放因子包括使得调节相机设备的变焦功能；以及
使得在所述后续图像接收之前对所述变焦功能进行设置。
13.根据权利要求8所述的设备，其中应用所述缩放因子包括选择裁切区域，使得两个兴趣点集合之间的距离的比值保持恒定。
14.根据权利要求8所述的设备，其中所述至少一个存储器和所述计算机程序代码利用所述至少一个处理器被进一步配置为使得所述设备：
通过应用所述缩放因子来变换所述第二图像帧；以及
使得呈现所述第一图像帧和经变换的第二图像帧，其中所述经变换的第二图像帧。
15.一种计算机程序产品，包括具有存储于其中的计算机可读程序代码段的非瞬态计算机可读存储介质，所述计算机可读程序代码段包括程序代码指令，所述程序代码指令用于：
使得从视频数据接收第一图像帧，其中所述第一图像帧包括两个或更多兴趣点；
使得从所述视频数据接收第二图像帧，其中所述第二图像帧包括处于不同位置的所述两个或更多兴趣点；
追踪所述两个或更多兴趣点从所述第一图像帧到所述第二图像帧的位置上的差异；
计算表示所述两个或更多兴趣点的落点上的相对差异的缩放因子；以及
由处理器向所述第二图像帧应用所述缩放因子。
16.根据权利要求15所述的计算机程序产品，其中所述计算机可读程序代码段进一步包括程序代码指令，所述程序代码指令用于：
接收所述第一图像帧中的所述两个或更多兴趣点的选择。
17.根据权利要求15所述的计算机程序产品，其中所述计算机可读程序代码段进一步包括程序代码指令，所述程序代码指令用于：
接收所述第一图像帧中的主要主题的选择并且根据所述主要主题的所述选择来选择所述两个或更多兴趣点。
18.根据权利要求15所述的计算机程序产品，其中所述计算机可读程序代码段进一步包括程序代码指令，所述程序代码指令用于：
使得所述两个或更多兴趣点中的每个兴趣点的描述符被存储；以及
响应于所述缩放因子的所述计算，更新所述两个或更多兴趣点中的每个兴趣点的所述描述符。
19.根据权利要求15所述的计算机程序产品，其中所述计算机可读程序代码段进一步包括程序代码指令，所述程序代码指令用于：
使得针对后续图像接收预测相机运动，其中应用所述缩放因子包括使得调节相机设备的变焦功能；以及
使得在所述后续图像接收之前对所述变焦功能进行设置。
20.根据权利要求15所述的计算机程序产品，其中应用所述缩放因子包括选择裁切区域，使得两个兴趣点集合之间的距离的比值保持恒定。
21.根据权利要求15所述的计算机程序产品，其中所述计算机可读程序代码段进一步包括程序代码指令，所述程序代码指令用于：
通过应用所述缩放因子来变换所述第二图像帧；以及
使得呈现所述第一图像帧和经变换的第二图像帧，其中所述经变换的第二图像帧。
CN201480011046.1A 2013-02-28 2014-01-29 用于自动渲染滑动变焦效果的方法和设备 Pending CN105027167A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/780,885 2013-02-28
US13/780,885 US9025051B2 (en) 2013-02-28 2013-02-28 Method and apparatus for automatically rendering dolly zoom effect
PCT/FI2014/050070 WO2014131941A1 (en) 2013-02-28 2014-01-29 Method and apparatus for automatically rendering dolly zoom effect

Publications (1)

Publication Number Publication Date
CN105027167A true CN105027167A (zh) 2015-11-04

Family

ID=51387774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480011046.1A Pending CN105027167A (zh) 2013-02-28 2014-01-29 用于自动渲染滑动变焦效果的方法和设备

Country Status (6)

Country Link
US (1) US9025051B2 (zh)
EP (1) EP2962285A4 (zh)
JP (1) JP2016517639A (zh)
KR (1) KR101674340B1 (zh)
CN (1) CN105027167A (zh)
WO (1) WO2014131941A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108234879A (zh) * 2018-02-02 2018-06-29 成都西纬科技有限公司 一种获取滑动变焦视频的方法和装置
CN109379537A (zh) * 2018-12-30 2019-02-22 北京旷视科技有限公司 滑动变焦效果实现方法、装置、电子设备及计算机可读存储介质
CN109983504A (zh) * 2016-09-07 2019-07-05 诺基亚技术有限公司 通过使用多层移动来促进立体视觉的方法和装置
CN110262737A (zh) * 2019-06-25 2019-09-20 维沃移动通信有限公司 一种视频数据的处理方法及终端
CN110611767A (zh) * 2019-09-25 2019-12-24 北京迈格威科技有限公司 图像处理方法、装置和电子设备
WO2020011230A1 (zh) * 2018-07-13 2020-01-16 深圳市大疆创新科技有限公司 控制装置、移动体、控制方法以及程序
CN111083380A (zh) * 2019-12-31 2020-04-28 维沃移动通信有限公司 一种视频处理方法、电子设备及存储介质
CN115334233A (zh) * 2021-05-10 2022-11-11 联发科技股份有限公司 滑动变焦效果的产生方法和系统

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9736385B2 (en) * 2014-01-08 2017-08-15 Sony Corporation Perspective change using depth information
JP6395423B2 (ja) * 2014-04-04 2018-09-26 キヤノン株式会社 画像処理装置、制御方法及びプログラム
US10437918B1 (en) 2015-10-07 2019-10-08 Google Llc Progressive image rendering using pan and zoom
KR20180056182A (ko) * 2016-11-18 2018-05-28 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10402689B1 (en) 2017-04-04 2019-09-03 Snap Inc. Generating an image mask using machine learning
US10757319B1 (en) * 2017-06-15 2020-08-25 Snap Inc. Scaled perspective zoom on resource constrained devices
JP6641574B1 (ja) * 2018-11-28 2020-02-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 決定装置、移動体、決定方法、及びプログラム
US11423510B2 (en) 2019-10-28 2022-08-23 Samsung Electronics Co., Ltd System and method for providing dolly zoom view synthesis
US11809998B2 (en) * 2020-05-20 2023-11-07 Qualcomm Incorporated Maintaining fixed sizes for target objects in frames
CN113949808B (zh) * 2020-07-17 2022-12-27 北京字节跳动网络技术有限公司 视频生成方法、装置、可读介质及电子设备
CN114820296A (zh) * 2021-01-27 2022-07-29 北京小米移动软件有限公司 图像处理方法及装置、电子设备、存储介质
CN114827433A (zh) * 2021-01-27 2022-07-29 北京小米移动软件有限公司 图像处理方法及装置、电子设备、存储介质
US11366328B1 (en) * 2021-01-28 2022-06-21 Zebra Technologies Corporation Controlling a level of magnification of content on a display device based on user movement
WO2023136418A1 (en) * 2022-01-13 2023-07-20 Samsung Electronics Co., Ltd. Method and electronic device for automatically generating region of interest centric image

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449019B1 (en) * 2000-04-07 2002-09-10 Avid Technology, Inc. Real-time key frame effects using tracking information
US20090028386A1 (en) * 2006-01-31 2009-01-29 Matsushita Electric Industrial Co., Ltd. Automatic tracking apparatus and automatic tracking method
US20100141772A1 (en) * 2008-12-04 2010-06-10 Ritsuo Inaguma Image processing device and method, image processing system, and image processing program
US20110096228A1 (en) * 2008-03-20 2011-04-28 Institut Fuer Rundfunktechnik Gmbh Method of adapting video images to small screen sizes
US20110149120A1 (en) * 2009-12-21 2011-06-23 Canon Kabushiki Kaisha Image-capturing apparatus with automatically adjustable angle of view and control method therefor
US20110267499A1 (en) * 2010-04-30 2011-11-03 Canon Kabushiki Kaisha Method, apparatus and system for performing a zoom operation

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09233385A (ja) * 1996-02-28 1997-09-05 Nikon Corp ズームレンズの制御装置及び制御方法
US8004565B2 (en) * 2003-06-19 2011-08-23 Nvidia Corporation System and method for using motion vectors for object tracking
GB2431787B (en) * 2005-10-31 2009-07-01 Hewlett Packard Development Co A method of tracking an object in a video stream
JP4697810B2 (ja) * 2007-03-05 2011-06-08 パナソニック株式会社 自動追尾装置及び自動追尾方法
US8089479B2 (en) * 2008-04-11 2012-01-03 Apple Inc. Directing camera behavior in 3-D imaging system
US9275680B2 (en) * 2009-06-16 2016-03-01 Microsoft Technology Licensing, Llc Viewer-centric user interface for stereoscopic cinema
JP5225317B2 (ja) * 2010-04-06 2013-07-03 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP5620142B2 (ja) * 2010-04-28 2014-11-05 オリンパスイメージング株式会社 撮像装置および撮像方法
JP5783696B2 (ja) * 2010-09-02 2015-09-24 キヤノン株式会社 撮像装置、オートズーム方法、及び、プログラム
JP5725793B2 (ja) * 2010-10-26 2015-05-27 キヤノン株式会社 撮像装置およびその制御方法
US8675953B1 (en) * 2011-02-02 2014-03-18 Intuit Inc. Calculating an object size using images
JP5449448B2 (ja) * 2012-05-01 2014-03-19 キヤノン株式会社 撮像装置及びその制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449019B1 (en) * 2000-04-07 2002-09-10 Avid Technology, Inc. Real-time key frame effects using tracking information
US20090028386A1 (en) * 2006-01-31 2009-01-29 Matsushita Electric Industrial Co., Ltd. Automatic tracking apparatus and automatic tracking method
US20110096228A1 (en) * 2008-03-20 2011-04-28 Institut Fuer Rundfunktechnik Gmbh Method of adapting video images to small screen sizes
US20100141772A1 (en) * 2008-12-04 2010-06-10 Ritsuo Inaguma Image processing device and method, image processing system, and image processing program
US20110149120A1 (en) * 2009-12-21 2011-06-23 Canon Kabushiki Kaisha Image-capturing apparatus with automatically adjustable angle of view and control method therefor
US20110267499A1 (en) * 2010-04-30 2011-11-03 Canon Kabushiki Kaisha Method, apparatus and system for performing a zoom operation

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109983504A (zh) * 2016-09-07 2019-07-05 诺基亚技术有限公司 通过使用多层移动来促进立体视觉的方法和装置
CN108234879A (zh) * 2018-02-02 2018-06-29 成都西纬科技有限公司 一种获取滑动变焦视频的方法和装置
CN108234879B (zh) * 2018-02-02 2021-01-26 成都西纬科技有限公司 一种获取滑动变焦视频的方法和装置
WO2020011230A1 (zh) * 2018-07-13 2020-01-16 深圳市大疆创新科技有限公司 控制装置、移动体、控制方法以及程序
CN109379537A (zh) * 2018-12-30 2019-02-22 北京旷视科技有限公司 滑动变焦效果实现方法、装置、电子设备及计算机可读存储介质
CN110262737A (zh) * 2019-06-25 2019-09-20 维沃移动通信有限公司 一种视频数据的处理方法及终端
CN110611767A (zh) * 2019-09-25 2019-12-24 北京迈格威科技有限公司 图像处理方法、装置和电子设备
CN110611767B (zh) * 2019-09-25 2021-08-10 北京迈格威科技有限公司 图像处理方法、装置和电子设备
CN111083380A (zh) * 2019-12-31 2020-04-28 维沃移动通信有限公司 一种视频处理方法、电子设备及存储介质
CN111083380B (zh) * 2019-12-31 2021-06-11 维沃移动通信有限公司 一种视频处理方法、电子设备及存储介质
CN115334233A (zh) * 2021-05-10 2022-11-11 联发科技股份有限公司 滑动变焦效果的产生方法和系统
CN115334233B (zh) * 2021-05-10 2024-03-19 联发科技股份有限公司 滑动变焦效果的产生方法和系统

Also Published As

Publication number Publication date
JP2016517639A (ja) 2016-06-16
EP2962285A4 (en) 2016-10-26
US9025051B2 (en) 2015-05-05
EP2962285A1 (en) 2016-01-06
US20140240553A1 (en) 2014-08-28
KR101674340B1 (ko) 2016-11-08
KR20150122752A (ko) 2015-11-02
WO2014131941A1 (en) 2014-09-04

Similar Documents

Publication Publication Date Title
CN105027167A (zh) 用于自动渲染滑动变焦效果的方法和设备
US11095847B2 (en) Methods and systems of video processing
KR102646695B1 (ko) 비디오 프레임 보간을 위한 특징 피라미드 워핑
US9507506B2 (en) Automatic target box in methods and systems for editing content-rich layouts in media-based projects
US8990693B2 (en) System and method for distributed media personalization
EP2874386B1 (en) Method, apparatus and computer program product for capturing images
US9292758B2 (en) Augmentation of elements in data content
US9399290B2 (en) Enhancing sensor data by coordinating and/or correlating data attributes
KR20220130197A (ko) 촬영 방법, 장치, 전자설비 및 저장매체
JP7377806B2 (ja) 意味処理および動的シーンモデリングに基づく向上された画像形成のための方法
CN108780389A (zh) 用于计算设备的图像检索
JP2019012534A (ja) 反応型映像生成方法及び生成プログラム
US20150139601A1 (en) Method, apparatus, and computer program product for automatic remix and summary creation using crowd-sourced intelligence
US20150294472A1 (en) Method, apparatus and computer program product for disparity estimation of plenoptic images
DE112016002023T5 (de) Interpolation von Ansichten zum Erzählen visueller Geschichten
Taffel Google’s lens: Computational photography and platform capitalism
TW201638885A (zh) 三維物體建模方法和利用其的電腦程式被記錄的媒體
WO2014074285A1 (en) Sharing or applying digital image editing operations
US20140181709A1 (en) Apparatus and method for using interaction history to manipulate content
JP2018502488A (ja) 視覚的画像アレイに関する、装置、方法およびシステム
CN109983504A (zh) 通过使用多层移动来促进立体视觉的方法和装置
KR101515845B1 (ko) 동작 인식 방법 및 동작 인식 장치
US20160202882A1 (en) Method and apparatus for animating digital pictures
KR20230162062A (ko) 노래로부터의 신경망 반주 추출
Li et al. An approach of short advertising video generation using mobile phone assisted by robotic arm

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20151104

RJ01 Rejection of invention patent application after publication