CN106471820B - 用于控制在视频中的导航的方法和电子装置 - Google Patents

用于控制在视频中的导航的方法和电子装置 Download PDF

Info

Publication number
CN106471820B
CN106471820B CN201480080320.0A CN201480080320A CN106471820B CN 106471820 B CN106471820 B CN 106471820B CN 201480080320 A CN201480080320 A CN 201480080320A CN 106471820 B CN106471820 B CN 106471820B
Authority
CN
China
Prior art keywords
time
video
electronic device
velocity vector
scaling factor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480080320.0A
Other languages
English (en)
Other versions
CN106471820A (zh
Inventor
L·诺尔德
H·琼森
O·索恩
P-A·阿龙松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN106471820A publication Critical patent/CN106471820A/zh
Application granted granted Critical
Publication of CN106471820B publication Critical patent/CN106471820B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005Reproducing at a different information rate from the information rate of recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks

Abstract

用于控制在视频中的导航的方法和电子装置。电子装置包括:显示器(11),该显示器(11)用于输出视频;用户接口(12),该用户接口(12)用于控制在视频中沿着时间轴的导航;以及处理装置(6、7)。处理装置(6、7)被构造成当在其中由用户输入选择了在视频的多个帧中所示出的对象的操作模式下操作时确定对象的速度向量的大小,并且将依赖于所确定的对象的速度向量的大小的时间缩放因数应用于沿着时间轴的导航。

Description

用于控制在视频中的导航的方法和电子装置
技术领域
本发明的实施方式涉及能够输出视频的电子装置以及涉及控制视频中的导航的方法。本发明的实施方式具体涉及包括用户接口的电子装置,所述用户接口用于诸如通过在视频中向前跳跃或回退来控制视频中的导航。
背景技术
现今各种电子装置被构造成输出视频。这种电子装置的示例包括便携式通信设备,该便携式通信设备可以播放本地存储在电子装置处的视频、由本地存储在电子装置处的计算机指令代码生成的视频、或通过无线接口取得的视频。
为了增强控制和用户体验,用户接口可以允许用户在视频中沿着时间轴导航。用户接口例如可以允许用户通过时移在视频中向前跳跃或回退。用户接口的各种实现可以被用于在视频中沿着时间轴的导航。为了例示,可以将输入接口上的距离或由手势控制输入单元检测的距离转换成用户在视频中向前跳跃或回退的时移或转换成执行快进或快退操作的速率。
用于控制视频中导航的这种传统方法具有特定缺点。为了例示,用户可能对跟随视频中特定对象的运动特别感兴趣。在没有视频中对象的预期运动的任何先验知识的情况下,用于在视频中导航的传统方法会使得以适于用户可能感兴趣的特定对象的运动的方式在视频中导航具有挑战性。为了例示,用户沿着显示器表面滑动预定义距离的输入动作执行被识别为具有预定义距离的手势控制或以其它方式执行导航输入动作以在视频中导航,该导航输入动作会独立于用户是对追踪视频中的缓慢对象还是对追踪视频中的快速对象感兴趣引起视频中相同的跳跃。增强对视频中导航的控制将不仅由于改善了用户体验而被关注,还帮助用户执行诸如追踪对象的任务。
发明内容
本领域中持续需要解决上述缺点中的一些的电子装置和方法。具体地,本领域中持续需要帮助用户在视频中导航的电子装置和方法。
根据实施方式,用于输出视频的电子装置允许用户选择在视频的多个帧中所示出的对象,并且根据对象的速度向量的大小调整视频中沿着时间轴的导航。在用户接口处接收的、用于沿着时间轴导航的相同输入动作依赖于对象的速度向量的大小而具有不同的结果。
在实施方式中,在用户接口处接收的、用于在视频中导航的输入动作可以得到例如依赖于对象的速度向量的大小而使播放向前跳跃或向后跳跃的不同时移。
在实施方式中,可以根据对象的速度向量的大小来确定时间缩放因数(timescaling factor),该时间缩放因数用于将在用户接口处接收的输入动作转换成用于在视频中导航的时间,诸如,播放被向前跳跃或向后跳跃的时移。
在根据实施方式的电子装置和方法中,用于在视频中导航的输入接口可以根据对象的速度向量的大小来修改。时间可以根据速度向量的大小来动态地缩放。
通过实现依赖于用户所选对象的速度向量的大小的、对视频中的导航的控制,电子装置帮助用户来管理诸如例如在视频监控中监测对象或识别视频的相关部分这样的任务。
因为控制依赖于速度向量的大小,所以用户通过选择对象来触发对视频导航的依赖于速度的控制不需要具有关于对象的运动路径和速度向量的方向的任何知识。
根据实施方式,提供了一种电子装置。所述电子装置包括显示器,该显示器被构造成输出视频。所述电子装置包括用户接口,该用户接口用于控制在视频中沿着时间轴的导航。电子装置包括处理装置,该处理装置被耦接到用户接口和显示器。处理装置被构造成当在其中由用户输入选择了在视频的多个帧中所示出的对象的操作模式下操作时,确定对象的速度向量的大小,并且将依赖于所确定的对象的速度向量的大小的时间缩放因数应用于沿着时间轴的导航。
处理装置可以被构造成根据时间缩放因数调节用户接口上的标记的位置或长度,从而将时间缩放因数应用于沿着时间轴的导航。另选地或附加地,处理装置可以被构造成将在用户接口处接收的用户输入动作的大小乘以时间缩放因数,从而将时间缩放因数应用于沿着时间轴的导航。为了例示,视频播放通过输入动作向前跳跃或向后跳跃的时移可以通过将输入动作的大小乘以时间缩放因数来确定。另选地或附加地,处理装置可以被构造成选择分别定义对在用户接口处接收的输入动作的响应的多个函数中的一个或多个查找表中的一个,其中,函数或查找表作为所确定的速度向量的大小的函数而被选择。
处理装置可以被构造成确定在用户接口处接收的输入动作的大小。处理装置可以被构造成响应于输入动作将沿着时间轴的时移计算为输入动作的大小与时间缩放因数的乘积。
输入动作的大小可以为由用户接口检测的距离。输入动作的大小可以为输入工具例如手指或触笔在触摸敏感显示器上滑动或沿着接近敏感显示器运动的距离。输入动作的大小可以由电子装置的手势输入接口来检测。
输入动作的大小可以为输入工具在触摸敏感显示器上滑动或沿着接近敏感显示器运动的速度。
用户接口可以包括表示由时间缩放因数缩放的时间轴的线性滑动条(linearslider)。除了表示没有由时间缩放因数进行任何缩放的时间轴的另一个线性滑动条之外,可以显示表示由时间缩放因数缩放的时间轴的线性滑动条。电子装置可以对根据对象的速度向量的大小时间缩放的线性滑动条与独立于速度向量的大小的线性滑动条二者中的任一个处接收的输入动作作出响应。
处理装置可以被构造成作为所计算的时移的函数选择用于开始或继续视频的播放的视频帧。这允许用户以依赖于对象的速度向量的大小的方式在视频中向前跳跃或向后跳跃达所述时移。
时间缩放因数可以是所确定的对象的速度向量的大小的单调函数。这允许以直观方式实现对导航的依赖于速度的控制。
时间缩放因数可以是所确定的对象的速度向量的大小的单调递增函数。这允许以直观方式实现对导航的依赖于速度的控制,使得可以通过选择较快的对象来获得较大的时移,同时可以通过选择视频中较慢的对象来获得较精细的控制。
时间缩放因数可以是所确定的对象的速度向量的大小的单调递减函数。这可以特别适于监控应用中,例如,因为相同输入动作将导致对于以较小速度运动的对象来说为较大的沿着时间轴的时移。时间缩放因数可以与对象速度的大小相反地变化,以当在视频中导航时至少部分补偿由较慢的对象每次行进的较小距离。
时间缩放因数可以独立于对象的速度向量的方向。这即使在用户不具有对象的运动的先验知识时也促进控制。
时间缩放因数可以独立于对象在视频中运动所沿着的运动路径。这即使在用户不具有对象运动的先验知识时也促进控制。
处理装置可以被构造成仅在对象在视频中运动的情况下才选择性地应用时间缩放因数。
电子装置可以支持其中用户选择对象的操作模式和其中用户不选择对象的另一个操作模式二者。处理装置可以被构造成当在没有对象被选择的其它操作模式下操作时在不应用时间缩放因数的情况下处理在用户接口处接收的输入动作。
电子装置可以是用于与蜂窝通信网络进行通信的便携式终端。电子装置可以包括用于与蜂窝通信网络进行无线通信的通信接口。通信接口可以被构造成在EUTRA空中接口上通信。
电子装置可以为手持设备。
处理装置可以被构造成依赖于所选对象的速度向量的大小控制通过通信接口的视频的检索。为了例示,对于通过通信接口的视频的流传输,处理装置可以确定视频播放根据速度向量的大小沿向前或向后方向跳跃的时移,并且通信接口可以通过空中接口接收与视频中时移的向前或向后跳跃对应的帧。处理装置可以被构造成通过通信接口发送表示响应于基于速度向量的大小的输入动作而计算的时移的信息。
处理装置可以被构造成执行视频帧中的图像分割,以识别示出对象的多个帧。处理装置可以计算视频帧的特征描述符,以识别示出对象的多个帧。所述特征描述符可以从由尺寸不变特征变换(SIFT)描述符、加速鲁棒特征(SURF)描述符、旋转不变特征变换(RIFT)描述符、广义鲁棒不变特征(G-RIF)描述符、主成分分析SIFT(PCA-SIFT)描述符或梯度位置和方位直方图(GLOH)描述符构成的组选择。
示出对象的多个帧不需要为连续帧。处理装置可以被构造成即使在对象未被包括在第一帧与第二帧之间的一个或多个帧中时也识别出视频的第一帧和第二帧中的对象。这即使在对象在视频的非连续部分中被间歇地示出时也允许执行时间缩放。处理装置可以计算第一帧和第二帧的特征描述符,以检测所选对象重新进入视频帧,尽管未在每一个视频帧中示出。
处理装置可以被构造成除了支持所选对象运动且沿着时间轴执行依赖于速度的时间缩放的操作模式之外,还支持没有对象被选择或所选对象不运动的另一个操作模式。
处理装置可以被构造成根据多个帧中的至少两个帧计算速度向量。速度向量可以被计算为至少两个帧之间的时间平均速度向量。处理装置可以被构造成根据所计算的速度向量来计算速度向量的大小。
处理装置可以被构造成以依赖于时间的方式来计算速度向量的大小。沿着时间轴的导航可以根据所选对象的速度向量的大小的依赖于时间的变化以依赖于时间的方式来缩放。处理装置可以被构造成以指示所选对象的运动的时间间隔的方式来控制输入接口。
一种根据实施方式的系统包括根据实施方式的电子装置和被构造成将视频传递至电子装置的无线通信网络。
一种根据实施方式控制在视频中沿着时间轴的导航的方法包括以下步骤:由电子装置的处理装置确定是否由用户输入选择了在视频的多个帧中所示出的对象。所述方法包括以下步骤:由处理装置确定对象的速度向量的大小。所述方法包括以下步骤:针对沿着时间轴的导航应用依赖于所确定的对象的速度的大小的时间缩放因数。
可以在根据示例性实施方式的方法中实现的另外特征和由此分别获得的效果与根据实施方式的电子装置的特征对应。
所述方法可以由根据实施方式的电子装置来执行。
各种实施方式的电子装置和方法允许在视频中导航时将对象的速度向量的大小考虑在内。用户执行将速度向量的大小考虑在内的导航不需要具有关于对象运动的方向的先验知识。
应当理解,在不脱离本发明的范围的情况下,上面提及的特征和下面将要说明的特征不仅可以以所指示的各组合来使用,而且还可以以其它组合或单独使用。上述方面和实施方式的特征在其它实施方式中可以彼此组合。
附图说明
本发明的前述和附加的特征和优点将在连同附图阅读时从以下详细描述将变得明显,在附图中,类似的附图标记指的是类似的元件。
[图1]图1是根据实施方式的电子装置的示意框图。
[图2]图2是根据实施方式的方法的流程图。
[图3]图3示出了用于说明电子装置的操作的、根据实施方式的电子装置的视频帧和用户接口。
[图4]图4示出了在选择对象以调整沿着时间轴的导航时的电子装置的视频帧和用户接口。
[图5]图5示出了在选择对象以调整沿着时间轴的导航时的电子装置的另一个视频帧和用户接口。
[图6]图6示出了在选择以较低速度运动的另一个对象以调整沿着时间轴的导航时的电子装置的视频帧和用户接口。
[图7]图7示出了在选择以较低速度运动的其它对象以调整沿着时间轴的导航时的电子装置的另一个视频帧和用户接口。
[图8]图8是由根据实施方式的电子装置的处理装置执行的功能模块的框图。
[图9]图9是表示在用户选择对象时时间缩放因数相对于速度向量的大小的依赖关系的曲线图。
[图10]图10是表示在用户选择对象时时间缩放因数相对于速度向量的大小的另一种依赖关系的曲线图。
[图11]图11示出了在所选对象间歇离开视频帧时电子装置的视频帧和用户接口。
[图12]图12示出了在所选对象间歇离开视频帧时电子装置的另一个视频帧和用户接口。
[图13]图13是根据实施方式的方法的流程图。
具体实施方式
在下文中,将参照附图详细描述本发明的实施方式。应当理解,实施方式的以下描述不具有限制意义。本发明的范围不旨在受被当作仅是例示性的、下文中所述的实施方式或附图限制。
附图将被认为是示意表示,并且附图中所例示的元件不必是按比例示出。相反,各种元件被表示为使得它们的功能和一般用途对本领域技术人员变得明显。附图中所示或本文所述的功能块、设备、部件或其它物理或功能单元之间的任何连接或耦接还可以由间接连接或耦接来实现。功能块可以在硬件、固件、软件或其组合中实现。
各种实施方式的特征可以彼此组合,除非另外特别指出。
将参照附图说明在视频中导航的电子装置和方法。电子装置被构造成输出视频。如下面将更详细地说明的,实施方式的电子装置和方法允许视频中的导航适于对象的速度向量的大小。当电子装置在用户接口处接收到用于视频中导航的输入时,电子装置可以根据用户所选的对象的速度向量的大小而不同地响应。为了例示,可以将用户接口处接收到的相同输入动作依赖于所选对象的运动的速度向量的大小而转变成视频播放向前跳跃或向后跳跃的不同时移。
图1是根据实施方式的电子装置1的示意框图表示。电子装置1包括显示器11。电子装置1包括处理装置,所述处理装置被构造成通过显示器11控制视频的播放。处理装置可以包括一个或多个集成电路,例如,应用处理器6和图形处理单元7。处理装置可以具有各种其它构造中的任一个。为了例示,处理装置可以包括一个或多个控制器、一个或多个微控制器或一个或多个专用集成电路。
电子装置1包括用户接口12,所述用户接口12允许用户在视频中沿着时间轴导航。术语“沿着时间轴的导航”指的是例如通过指定要开始或继续视频的播放的播放时间来控制要播放视频的哪一部分。
用户接口12可以包括触摸传感器或接近传感器。用户接口12可以被构造成检测由输入工具例如手指或触笔触摸的传感器表面上的位置或位置范围。用户接口12可以被构造成检测输入工具盘旋在传感器表面上方的位置或位置范围。用户接口12可以被构造成支持视频中导航的手势控制。为此,用户接口12可以包括触摸传感器、接近传感器和/或相机以检测手势,用户通过所述手势在视频中导航。
除了接收用于在视频中导航的输入动作之外,用户接口12还可以允许用户选择当在显示器11处正输出帧时在视频帧中示出的对象。处理装置可以执行图像分割以确定选择哪个对象。
处理装置可以被耦接到用户接口12,以处理在用户接口12处接收到的输入动作。处理装置可以确定响应于输入动作要执行哪个导航动作。为了例示,处理装置可以确定要向前或向后偏移播放哪个时移。处理装置可以确定要在哪个播放时间继续或开始播放。处理装置可以将由用户接口12检测的输入动作转换成时移,该时移可以为继续或开始播放的偏移时间,或者可以为在播放中跳跃的时间量。处理装置可以应用时间缩放因数来确定响应于所检测的输入动作执行哪个导航动作。
如将参照图2至图13更详细地说明的,处理装置可以根据所选对象的运动的速度向量的大小确定时间缩放因数。处理装置可以独立于所选对象的运动方向确定时间缩放因数。
电子装置1被构造成使得在选择在视频中运动的对象时调节用于在视频中沿着时间轴导航的用户接口12的操作。用户接口12的操作依赖于对象速度的大小,例如以在选择快速对象时提供沿着时间轴的较快导航和/或在选择缓慢对象时提供沿着时间轴的较慢导航。电子装置1可以被构造成使得相同的控制操作可以在用户选择运动对象的操作模式下和用户不选择运动对象的另一个操作模式下被用于沿着时间轴的导航。然而,因为将输入动作转换成导航任务的方式随着速度向量的大小而变化,所以对相同输入动作的响应可以根据是否选择了对象而不同。
电子装置1还可以包括存储用于应用处理器6的指令代码的存储器8。存储器8可以存储定义作为运动速度的大小的函数的时间缩放因数的至少一个函数或至少一个查找表。
电子装置1可以为通信系统的手持终端。无线收发器9可以被耦接至应用处理器6。无线收发器9可以被构造成用于无线通信标准(诸如,GSM、3GPP、UMTS、LTE、WLAN或其它通信标准)下的无线通信。应用处理器6可以控制无线收发器9,以启用无线语音和/或数据通信。视频可以通过无线收发器9在电子装置1处被接收到。至少在一些场景中(例如,当视频被流传输时),应用处理器6可以通过无线收发器9发送消息,以根据基于所选对象的速度向量的大小确定的时间缩放因数来控制视频流传输。
电子装置1的各种部件(包括处理装置、显示器11以及用户接口12)可以被集成在壳体10中。
将参照图2至图13更详细地描述电子装置1的操作。
图2是根据实施方式的方法20的流程图。方法20可以由电子装置1来执行。
在21处,开始视频播放。视频可以被本地存储在电子装置处,可以通过无线接口来取得和/或可以为从执行指令代码产生的计算机生成的图形。
在22处,电子装置确定用户是否选择在视频的多个帧中示出且在视频中运动的对象,即,以依赖于时间的方式相对于图像帧的边界移位的对象。
在23处,如果用户已经选择了在视频中运动的对象,则可以由依赖于所选对象的速度向量的大小的时间缩放因数缩放沿着时间轴的导航。应用时间缩放因数可以以各种方式来实现。在一些实施方案中,电子装置1可以将输入动作的大小(例如,由用户接口12测量的距离)乘以时间缩放因数,以确定用于视频中的导航的时移。电子装置1可以例如通过将传统线性时间轴的时间间隔除以时间缩放因数来调节用户接口12的时间轴上的时间缩放。电子装置1可以另选地或附加地选择多个预定义算式或多个预定义查找表中的一个,每个预定义算式或预定义查找表定义针对各输入动作执行的导航动作。每个算式或查找表可以被分配给速度向量的大小,其中,基于所确定的速度向量的大小来选择合适的算式或查找表,从而将时间缩放因数应用于沿着时间轴的导航。
在24处,如果用户尚未选择视频中的对象或如果用户已经选择不运动的对象,则可以以独立于对象在视频中运动的速度的方式执行经由用户接口进行的沿着时间轴的导航。
在一些实施方式中,用户接口12还可以提供适于运动对象的速度向量的大小的导航作为选项,除了不涉及沿着时间轴的导航的任何依赖于速度的缩放的传统导航。
图3示出了视频的帧30。可以提供用于在视频中沿着时间轴导航的时间滑动条40。时间滑动条40可以对输入动作作出响应,输入动作诸如触摸输入动作或接近输入动作。控制元件42可以通过输入动作沿着轴41位移,以控制要播放视频的哪个部分。还可以省略时间滑动条40,并且可以由于用户跨显示器滑动他的手指一段距离而执行控制,其中距离例如对播放要向前跳跃或向后跳跃的时移进行编码。
帧30示出了多个对象31-33。第一对象31可以以大于第二对象32的速度运动。电子装置1可以被构造成允许用户选择多个运动对象31、32中的任一个。当选择运动对象时,根据运动对象的速度的大小修改用户接口12对输入动作的响应。
图4示出了在用户选择第一对象31以控制在视频中沿着时间轴的导航时的帧30。由用户选择的第一对象31在处理装置的控制下可以为高亮的。电子装置1可以被构造成允许用户通过输入工具49选择第一对象31,该输入工具49可以为手指、触笔或另一个输入工具。
当选择第一对象31时,处理装置可以自动地确定示出所选第一对象31的视频的多个帧。处理装置可以根据所述多个帧中的至少两个帧自动地确定所选第一对象31的速度向量38的大小。可以执行图像分割,以追踪第一对象31的位置并计算速度向量。处理装置可以计算用于视频帧的特征描述符,以通过多个帧追踪所选第一对象31。所计算的速度向量可以为表示所选第一对象31的平均速度的时间平均速度向量。速度向量可以由处理装置以时间分辨的方式来计算,使得可以将所选第一对象31的速度的依赖于时间的变化考虑在内。
在用户选择对象的操作模式下,除了时间滑动条40之外或替代时间滑动条40,还可以提供依赖于速度的时间滑动条50。时间滑动条50可以例如通过使控制元件52沿着轴50位移来允许用户沿着时间轴向前跳跃或向后跳跃。由依赖于速度的时间滑动条50上的距离53、54定义的时移依赖于所选第一对象31的速度向量的大小。当所选第一对象31具有大于阈值速度的速度向量31的大小时,由距离53、54定义的时移可以大于由传统的、未缩放的时间滑动条40上的相同距离定义的时移。这通过选择具有大于阈值速度的速度向量38的大小的第一对象31来允许用户以直观的方式较快地导航穿过视频。
当速度向量的大小作为时间的函数而变化时,可以将时间缩放动态地调节到所选第一对象31的速度向量的大小。为了例示,用户接口12上的输入动作的相等距离53、54例如根据对象速度的大小的变化而可以与播放跳跃的不同时移43、44对应。
当对象31的速度向量的大小作为时间的函数而变化时,用户接口12处的相同输入动作可以由于沿着时间轴的导航的动态缩放而产生不同的导航动作。为了例示,当对象31的速度向量38的大小增大时,如图5所示,可以将由用户接口12检测的距离54(该距离可以为输入工具49在显示器上滑动的距离或沿着显示器滑动的距离)转变成大于根据相同距离53但是针对速度向量38的较低大小计算的时移43的时移44。
图6示出了在用户选择第二对象32以控制在视频中沿着时间轴的导航时的帧30。用户选择的第二对象32在处理装置的控制下可以为高亮的。电子装置1可以被构造成允许用户通过输入工具49选择第二对象32,输入工具49可以为手指、触笔或另一个输入工具。
第二对象32可以在视频中以速度39运动。速度向量39的大小确定用于视频中的导航的用户接口12的响应性。当选择第二对象32(该第二对象的速度向量39的大小小于第一对象31的速度向量38的大小)时,具有大小55的输入动作可以使得播放跳跃时移45,该时移45与在选择以较快速度运动的第一对象31时将由相同输入动作产生的时移43不同。为了例示,具有大小55的输入动作可以使得播放跳跃时移45,该时移45大于在选择以较快速度运动的第一对象31时将由相同输入动作产生的时移43。另选地,具有大小55的输入动作可以使得播放跳跃时移45,该时移45小于在选择以较快速度运动的第一对象31时将由相同输入动作产生的时移43。
图7示出了选择第二对象32时的视频的另一个帧30。由电子装置1将具有大小56(例如,控制元件52沿着轴51位移距离56)的输入动作转换成时移46,该时移46小于将由时间滑动条40的控制元件42的直接操纵产生的时移。具有大小56的输入动作可以被转换成时移46,该时移46小于在选择以较快速度运动的第一对象31时将由相同输入动作产生的时移44。
如将参照图8更详细地说明的,为了根据对象的速度向量的大小来缩放用于视频中的导航的时间,电子装置的处理装置可以具有各种功能模块。
图8是示出了处理装置的功能模块的功能块表示60。功能模块可以由硬件、软件、固件或其组合来实现。
处理装置可以具有用于检测对在视频帧中示出的对象的选择的模块61。
处理装置可以具有用于分析视频的至少两个帧以追踪所选对象的运动的模块62。所述模块62可以执行至少两个帧的图像分割,以追踪对象的运动。模块62可以计算用于至少两个帧的特征描述符或多个特征描述符,以追踪对象的运动。
处理装置可以具有用于确定用于根据对象的速度向量的大小来调节沿着时间轴的导航的时间缩放因数的模块63。模块63可以计算速度向量的大小。模块63可以计算时间平均速度向量的大小,该时间平均速度向量可以表示其中模块62已经追踪运动的至少两个帧之间的平均速度。模块63可以以时间分辨的方式计算速度向量的大小。模块63可以确定时间缩放因数,该时间缩放因数作为速度向量的大小的函数定义输入接口对于沿着时间轴的导航变得更敏感还是更不敏感。
处理装置可以具有用于确定在用户接口处接收到的用于在视频中沿着时间轴的导航的输入动作的大小的模块64。
处理装置可以具有用于确定响应于输入动作执行的导航动作的模块65。模块65基于由模块63确定的时间缩放因数和由模块64确定的输入动作的大小来确定所述导航动作。
模块65可以根据不同方式中的任一个或任意组合来确定导航动作。模块65可以计算时间缩放因数s和输入动作的大小m的乘积,以确定沿着时间轴的时移。时移可以定义播放沿着时间轴跳跃多少。时移可以定义开始或继续视频的播放的播放时间。较大的时间缩放因数可以与沿着时间轴的较快的导航对应。时间缩放因数可以为速度向量的大小的递增函数,使得速度向量的较大大小与沿着时间轴的较快的导航对应。
模块65可以作为所确定的时间缩放因数的函数选择多个函数或查找表中的一个。函数或查找表中的每一个可以定义根据输入动作的大小执行哪个导航动作。函数或查找表中的一个的选择可以根据所确定的时间缩放因数来执行,从而定义针对所选对象的不同对象速度的用户接口的不同行为。
模块65可以确定接着要输出视频的哪个帧。处理装置可以具有接收关于接着要输出的帧的信息fn的播放控制66。基于输入动作的大小和所述时间缩放因数所依赖于的对象的速度向量的大小二者来确定该帧。
处理装置可以可选地具有用于使用于视频中导航的用户接口的图形布局适应所确定的对象速度的模块67。为了例示,可以根据时间缩放因数缩放可以使控制元件位移所沿着的用户接口的轴线。所选对象在视频中运动且可用于控制视频中的导航的时间间隔可以被图形地标记在用户接口上。例如,处理装置可以作为所选对象的速度向量的大小的函数动态地调整用户接口的布局。
时间缩放因数可以以各种方式中的任一种方式依赖于速度向量的大小。时间缩放因数可以为速度向量的大小的单调递增函数,如图9和图10所示。时间缩放因数可以为速度向量的大小的线性递增函数71,如图9所示。当速度向量的大小大于速度阈值72时,时间缩放因数与没有对象被选择的情况下相比可以提高沿着时间轴的导航的速度。为了例示,当速度向量的大小大于速度阈值72时,用户接口上的输入动作可以得到比没有对象被选择的其它操作模式下的相同输入动作大的时移。当速度向量的大小小于速度阈值72时,时间缩放因数与没有对象被选择的情况相比可以降低沿着时间轴导航的速度。为了例示,当速度向量的大小小于速度阈值72时,用户接口上的输入动作可以得到比没有对象被选择的其它操作模式下的相同输入动作小的时移。
可以实现时间缩放因数相对于速度向量的大小的各种依赖关系。为了例示,如图5所示,时间缩放因数可以为速度向量的大小的单调递增步进式函数7。
在另外的实施方式中,时间缩放因数可以为速度向量的大小的单调递减函数。时间缩放因数可以为速度向量的大小的严格单调递减函数。在这种情况下,所选对象的速度向量的较小大小提高了沿着时间轴的导航的速度。这可以对于允许用户较快速地跳过对象仅缓慢运动的视频的段落是有用的。对于较快的对象,沿着时间轴的导航变得较慢。这可以对于允许用户更接近地监测快速运动的对象的运动是有用的。
即使在视频中选择对象以便控制导航时,也不需要在视频的各帧中示出对象。
图11示出了在帧中未示出被选择用于控制沿着时间轴的导航的第一对象31时的帧30,例如由于它临时离开视频场景。电子装置的处理装置可以被构造成自动地检测对象何时重新进入由视频示出的场景。例如基于特征描述符的自动对象识别可以被用于检测对象重新进入场景。另选地或附加地,可以要求用户确认在所选对象被检测到重新进入由视频示出的场景时要继续依赖于速度的导航控制。
电子装置的处理装置还可以自动地识别在视频中示出所选对象的时间间隔。用户接口可以被控制为指示所选对象在哪个时间间隔中被示出在视频中并且可用于沿着时间轴的导航控制。
图12示出了所选对象31已经重新进入由视频示出的场景时的帧30。所选对象31被示出在视频中的时间间隔81、82可以被图形地标记在用户接口上。时间间隔81、82可以由处理装置通过执行视频帧的图像分析来确定。
在介于时间间隔81、82之间的中间时间间隔83中,在视频中不能示出所选对象31。在中间时间间隔83中,可以执行不依赖于所选对象31的速度向量的大小的、沿着时间轴的导航的传统控制。
图13是根据实施方式的方法90的流程图。方法90可以由根据实施方式的电子装置1来执行。
在91处,开始视频播放。视频可以被本地存储在电子装置处,可以通过无线接口被检索,或者可以通过执行计算机可读指令代码来生成。
在92处,确定用户是否选择了视频中所示的对象。如果用户未选择对象,则可以在96处以不依赖于对象的速度向量的大小的传统方式执行沿着时间轴的导航。
在93处,如果确定用户选择了对象以控制视频中的导航,则在视频中识别出示出该对象的多个帧。
在94处,确定该对象在视频中是否运动。如果该对象在视频中不运动,则可以在97处以不依赖于对象的速度向量的大小的传统方式执行沿着时间轴的导航。
在95处,如果确定所选对象在视频中运动,则可以确定对象的速度向量的大小。所述大小可以为时间平均速度向量的大小。
在97处,根据所确定的对象的速度向量的大小使在视频中沿着时间轴的导航适应。例如,可以根据对象的速度向量的大小选择性地提高或降低输入接口的响应性。沿着时间轴的导航可以根据对象的速度向量的大小变快或变慢。
在根据本文所述的各种实施方式中的任一个实施方式的电子装置和方法中,所选对象的速度向量可以被确定为所选对象的中心在视频帧中运动的速度向量。速度向量可以为定义所选对象在显示器的二维图像平面中的运动的二维速度向量。
在实施方式中,关于对象的运动的信息不仅可用于二维中,还可用于三维中。为了例示,电子装置的显示器可以为立体显示器或自由立体显示器。关于对象垂直于显示器平面的运动的信息可以例如通过计算视差图根据在立体显示器或自由立体显示器上输出的图像获得。然后,可以将速度向量计算为三维速度向量。另选地,可以执行图像处理,以确定视频中所示的对象是否沿与图像平面垂直的方向运动。
用于沿着时间轴的导航的用户接口可以具有各种实施方案中的任一个实施方案。为了例示,虽然已经在一些实施方式的上下文中例示了时间滑动条,但可以使用另选构造。输入动作的大小不必为由触摸感测或接近感测检测的距离。为了例示,可以检测施加于显示器上的力,作为输入动作的大小。
虽然已经相对于特定优选的实施方式示出并描述了本发明,但明显的是,本领域其它技术人员在阅读并理解说明书时将想到等同物和修改。本发明包括所有这些等同物和修改,并且仅受所附权利要求的范围限制。

Claims (10)

1.一种电子装置,所述电子装置包括:
显示器(11),所述显示器(11)被构造成输出视频;
用户接口(12;40、50),所述用户接口(12;40、50)用于控制在所述视频中沿着时间轴的导航;以及
处理装置(6、7),所述处理装置(6、7)被耦接到所述用户接口(12;40、50)和所述显示器(11),所述处理装置(6、7)被构造成当在其中由用户输入选择了在所述视频的多个帧中所示出的对象(31、32)的操作模式下操作时
确定所述对象(31、32)的速度向量(38、39)的大小,以及
响应于用于在所述视频中沿着所述时间轴导航的用户输入动作,将沿着所述时间轴的时移(43-46)计算为所述用户输入动作的大小和时间缩放因数的乘积,所述时间缩放因数依赖于所确定的所述对象(31、32)的所述速度向量(38、39)的大小,
其中,所述用户接口(12;40、50)包括依赖于速度的时间滑动条(50)和未缩放的时间滑动条(40);
其中,所述处理装置(6、7)被进一步构造成确定在所述依赖于速度的时间滑动条(50)处接收到的输入动作的大小;
其中,所述输入动作的大小为距离(53-56);
其中,由所述依赖于速度的时间滑动条(50)上的距离(53-56)限定的时移(43-46)与由所述未缩放的时间滑动条(40)上的距离(53-56)限定的时移(43-46)不同。
2.根据权利要求1所述的电子装置,
其中,所述处理装置(6、7)被构造成作为所计算的时移的函数选择用于开始或继续所述视频的播放的所述视频的帧。
3.根据权利要求1所述的电子装置,
其中,所述时间缩放因数是所确定的所述对象(31、32)的所述速度向量(38、39)的大小的单调函数(70;75)。
4.根据权利要求3所述的电子装置,
其中,所述时间缩放因数是所确定的所述对象(31、32)的所述速度向量(38、39)的大小的单调递增函数(70;75)。
5.根据权利要求3所述的电子装置,
其中,所述时间缩放因数独立于所述对象(31、32)的所述速度向量(38、39)的方向。
6.根据权利要求1所述的电子装置,
其中,所述处理装置(6、7)被构造成仅在所述对象(31、32)在所述视频中运动的情况下才选择性地应用所述时间缩放因数。
7.根据权利要求1所述的电子装置,
其中,所述处理装置(6、7)被构造成当在其中没有对象被选择的操作模式下操作时在不应用所述时间缩放因数的情况下处理所述用户接口(12;40、50)处接收的输入动作。
8.根据权利要求1所述的电子装置,
其中,所述电子装置(1)是用于与蜂窝通信网络通信的便携式终端。
9.一种控制在视频中沿着时间轴的导航的方法,所述方法包括以下步骤:
由电子装置(1)的处理装置(6、7)确定是否由用户输入选择了在所述视频的多个帧中所示出的对象(31、32),
由所述处理装置(6、7)确定所述对象(31、32)的速度向量(38、39)的大小,以及
响应于用于在所述视频中沿着所述时间轴导航的用户输入动作,将沿着所述时间轴的时移(43-46)计算为所述用户输入动作的大小和时间缩放因数的乘积,所述时间缩放因数依赖于所确定的所述对象(31、32)的所述速度的大小;
其中,所述电子装置(1)包括用户接口(12;40、50),所述用户接口(12;40、50)包括依赖于速度的时间滑动条(50)和未缩放的时间滑动条(40);
其中,所述方法进一步包括以下步骤:由所述处理装置(6、7)确定在所述依赖于速度的时间滑动条(50)处接收到的输入动作的大小;
其中,所述输入动作的大小为距离(53-56);
其中,由所述依赖于速度的时间滑动条(50)上的距离(53-56)限定的时移(43-46)与由所述未缩放的时间滑动条(40)上的距离(53-56)限定的时移(43-46)不同。
10.根据权利要求9所述的方法,
由根据权利要求1所述的电子装置来执行所述方法。
CN201480080320.0A 2014-05-07 2014-05-07 用于控制在视频中的导航的方法和电子装置 Expired - Fee Related CN106471820B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2014/061259 WO2015170141A1 (en) 2014-05-07 2014-05-07 Electronic device and method for controlling navigation in a video

Publications (2)

Publication Number Publication Date
CN106471820A CN106471820A (zh) 2017-03-01
CN106471820B true CN106471820B (zh) 2020-01-10

Family

ID=50884432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480080320.0A Expired - Fee Related CN106471820B (zh) 2014-05-07 2014-05-07 用于控制在视频中的导航的方法和电子装置

Country Status (4)

Country Link
US (1) US9786321B2 (zh)
EP (1) EP3140996B1 (zh)
CN (1) CN106471820B (zh)
WO (1) WO2015170141A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10735902B1 (en) * 2014-04-09 2020-08-04 Accuware, Inc. Method and computer program for taking action based on determined movement path of mobile devices
US11599253B2 (en) * 2020-10-30 2023-03-07 ROVl GUIDES, INC. System and method for selection of displayed objects by path tracing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101261857A (zh) * 2007-03-07 2008-09-10 株式会社东芝 视频播放器、视频回放方法、以及控制目标装置
WO2009055692A2 (en) * 2007-10-26 2009-04-30 Yahoo! Inc. Multimedia enhanced browser interface
CN101689394A (zh) * 2007-02-01 2010-03-31 耶路撒冷希伯来大学伊森姆研究发展有限公司 用于视频索引和视频概要的方法和系统
CN101770795A (zh) * 2009-01-05 2010-07-07 联想(北京)有限公司 一种计算设备及视频播放控制方法
CN103299645A (zh) * 2010-12-22 2013-09-11 谷歌公司 具有辅助寻找的视频播放器

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3319678B2 (ja) 1995-08-11 2002-09-03 ケイディーディーアイ株式会社 動画像の高速ブラウジング装置
JPH09147472A (ja) 1995-11-27 1997-06-06 Sanyo Electric Co Ltd 映像・音声再生装置
KR100303727B1 (ko) 1998-04-28 2001-09-24 구자홍 동영상의적응적디스플레이속도자동조절장치와방법
US6788878B1 (en) 1999-05-28 2004-09-07 Canon Kabushiki Kaisha Reproducing apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101689394A (zh) * 2007-02-01 2010-03-31 耶路撒冷希伯来大学伊森姆研究发展有限公司 用于视频索引和视频概要的方法和系统
CN101261857A (zh) * 2007-03-07 2008-09-10 株式会社东芝 视频播放器、视频回放方法、以及控制目标装置
WO2009055692A2 (en) * 2007-10-26 2009-04-30 Yahoo! Inc. Multimedia enhanced browser interface
CN101770795A (zh) * 2009-01-05 2010-07-07 联想(北京)有限公司 一种计算设备及视频播放控制方法
CN103299645A (zh) * 2010-12-22 2013-09-11 谷歌公司 具有辅助寻找的视频播放器

Also Published As

Publication number Publication date
US20160275986A1 (en) 2016-09-22
US9786321B2 (en) 2017-10-10
EP3140996A1 (en) 2017-03-15
CN106471820A (zh) 2017-03-01
EP3140996B1 (en) 2020-05-06
WO2015170141A1 (en) 2015-11-12

Similar Documents

Publication Publication Date Title
US11003332B2 (en) Gesture-alteration of media files
US9699488B2 (en) Smart snap to interesting points in media content
EP2839357B1 (en) Rapid gesture re-engagement
US7437674B2 (en) Video processing methods
EP3117622B1 (en) Display apparatus and controlling method thereof
US20130321261A1 (en) Recognition apparatus
US20150212655A1 (en) Adaptive Image Loading
CN104298459A (zh) 媒体项内的导航
CN106569702B (zh) 一种列表导航方法和装置
CA2946313A1 (en) Video scrolling
KR20190074028A (ko) 미디어 컨텐츠의 재생 시점을 제어하는 방법 및 장치
CN104166553A (zh) 一种显示方法及电子设备
WO2013031135A1 (en) Information processing apparatus, information processing method, and program
SE536902C2 (sv) Skalbar inmatning från spårat objekt i beröringsfritt användargränssnitt
JP6204686B2 (ja) 情報処理プログラム、情報処理システム、情報処理装置、および、情報処理の実行方法
CN108200477B (zh) 视频文件生成及播放的方法、装置及设备
CN106471820B (zh) 用于控制在视频中的导航的方法和电子装置
US20140168097A1 (en) Multi-touch gesture for movement of media
KR102216358B1 (ko) 제스쳐를 이용하는 단말 제어 방법
US20120026197A1 (en) Method and Apparatus for Viewing Content on a Mobile Computing Device
WO2020032982A1 (en) Elastic video browser
CN103886882A (zh) 一种进度调节方法及电子设备
Schoeffmann et al. Video navigation on tablets with multi-touch gestures
KR101230210B1 (ko) 터치스크린을 구비한 사용자 단말 제어방법, 장치, 이를 위한 기록매체 및 이를 포함하는 사용자 단말
CN107256125B (zh) 存储装置、移动终端及其多媒体循环播放的控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200110