CN106796810A - 在用户界面上从视频选择帧 - Google Patents
在用户界面上从视频选择帧 Download PDFInfo
- Publication number
- CN106796810A CN106796810A CN201580055168.5A CN201580055168A CN106796810A CN 106796810 A CN106796810 A CN 106796810A CN 201580055168 A CN201580055168 A CN 201580055168A CN 106796810 A CN106796810 A CN 106796810A
- Authority
- CN
- China
- Prior art keywords
- frame
- video
- touch
- static frames
- browse mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003068 static effect Effects 0.000 claims abstract description 45
- 230000002123 temporal effect Effects 0.000 claims abstract 2
- 238000000034 method Methods 0.000 claims description 18
- 230000005055 memory storage Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 230000036544 posture Effects 0.000 description 25
- 238000003860 storage Methods 0.000 description 17
- 230000009471 action Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000003811 finger Anatomy 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
- G06F3/04855—Interaction with scrollbars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/74—Browsing; Visualisation therefor
- G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种计算装置，包括触敏显示器、至少一个处理器和存储程序指令的至少一个存储器，这些程序指令在由该至少一个处理器执行时使得该装置：在视频浏览模式和逐帧浏览模式之间切换。视频浏览模式被配置成显示视频的独立静态帧。逐帧浏览模式被配置成逐个地显示视频的独立和从属静态帧两者。视频浏览模式的时间线上的触摸被配置成切换到视频浏览模式，并显示该视频的与该时间上的触摸相对应的静态帧。该触摸的释放被配置成切换到逐帧浏览模式，并在逐帧模式中显示与该时间线上的释放相对应的静态帧。
Description
背景
具有触敏显示器用户界面UI的装置(例如，具有触摸屏的计算装置)能够执行视频、图片和视频的帧。视频是通过时间线和时间线指示器来控制的。这示出了视频的时间点。它还被用来通过以下方式来控制视频的时间点：将指示器移动为指向该时间点。视频包括许多帧，其中帧的图片在按顺序运行时建立视频。作为示例，当每秒的视频捕捉存在30帧时，60秒的视频片段产生多达1800个帧供用户从中进行选择。这是大量的数据。此外，对于仅60秒的视频，用户具有多达1800个帧(例如不同的图片)来从中进行选择。用户可通过在时间线上将时间线指示器的指针移动到与某个帧相对应的点来选择该帧。
概述
提供本概述以便以简化的形式介绍将在以下具体实施方式中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。
在一个示例中，计算装置包括触敏显示器、至少一个处理器和至少一个存储器，所述至少一个存储器存储程序指令，这些程序指令在由所述至少一个处理器执行时使得所述装置：在视频浏览模式和逐帧浏览模式之间切换。视频浏览模式被配置成显示视频的独立静态帧。逐帧浏览模式被配置成逐个地显示视频的独立静态帧和从属静态帧两者。对视频浏览模式的时间线上的触摸被配置成切换到视频浏览模式，并显示该视频的与时间线上的触摸相对应的静态帧。触摸的释放被配置成切换到逐帧浏览模式，并在逐帧模式中显示与时间线上的释放相对应的静态帧。
在另一示例中，讨论了方法和计算机程序产品以及计算装置的特征。
许多附带特征将随着参考下面的详细描述并结合附图进行理解而得到更好的认识。
附图简述
根据附图阅读以下具体实施方式，将更好地理解本发明，在附图中：
图1解说了根据一说明性示例的计算装置的用户界面；
图2解说了根据一说明性示例的计算装置的包括视频浏览模式的用户界面；
图3解说了根据一说明性示例的计算装置的包括视频浏览模式的用户界面；
图4解说了根据一说明性示例的计算装置的包括视频浏览模式的用户界面；
图5解说了根据一说明性示例的计算装置的包括逐帧浏览模式的用户界面；
图6解说了根据一说明性示例的计算装置的包括逐帧浏览模式的用户界面；
图7解说了根据一说明性示例的计算装置的包括逐帧浏览模式的用户界面；
图8解说了根据一说明性示例的计算装置的包括选择的帧的用户界面；
图9是根据一说明性示例的方法的示意流程图；以及
图10是计算装置的一个说明性示例的框图。
在各个附图中使用相同的附图标记来指代相同的部件。
详细描述
下面结合附图提供的详细描述旨在作为本发明示例的描述，并不旨在表示可以构建或使用本发明示例的唯一形式。然而，可以通过不同的示例来实现相同或等效功能和序列。
虽然本文各示例在此可被描述和解说为实现在智能电话或移动电话中，但它们只是移动设备的示例而非限制。本领域的技术人员将明白，本文各示例适合在各种不同类型的移动设备(例如平板设备、平板手机、计算机等等)中应用。
图1解说了处于视频浏览模式101的计算装置100。视频浏览向装置100的用户提供视频102的粗略导航和视频102的各帧。根据一说明性示例，计算装置100(在该示例中被说明性地描述为智能电话)在触摸屏104上的显示窗口103中显示视频输出102或视频内容。触摸屏104可建立与显示窗口103相同或不同尺寸的区域。视频浏览模式101通过用于移动到时间线105上的某个时间点的指示器106来显示在视频102的当前时间点的视频102的帧107。
尽管图1描绘了智能电话形式的示例计算装置100，但如讨论的，可等效地使用其他具有触摸屏能力的计算设备，诸如平板计算机、笔记本计算机、膝上型计算机、台式计算机、具有处理器能力的电视机、个人数字助理(PDA)、连接到视频游戏控制台或机顶盒的触摸屏设备、或者具有触摸屏104并被允许播放或执行媒体应用或其他视频应用或被允许显示视频输出或视频内容的任何其他计算设备。贯穿本公开，术语视频102、视频内容和视频输出可被互换地使用。
视频浏览模式101包括显示窗口103，显示窗口103是由媒体应用在触摸屏104的一区域(媒体应用该区域中显示视频102)上生成的图形用户界面元素。正在显示窗口103中示出的视频102被描绘在一简化视图中，该简化视图包括可作为个人产生的视频、电影、电视节目、广告、音乐视频或其他类型的视频内容的一部分的特性。视频内容可由媒体应用提供，媒体应用还可提供与视频输出同步的音频输出。所描绘的视频内容仅仅是一示例，并且任何视频内容可由媒体应用显示。媒体应用可使视频内容源自各种源中的任一者，包括通过网络从服务器或数据中心流传送或下载，或播放存储在装置100本地的视频文件。
如所讨论的，视频102包括帧107、108、115。在本公开中，术语帧和图片被互换地使用。被用作用于预测其他帧的参考的帧被称为参考帧。在这样的设计中，被编码而无需来自其他帧的预测的帧被称为I帧。这些帧是静态的独立帧，并且它们可在视频浏览模式101中通过粗略导航被容易地示出。例如，当视频不在运行，并且通过用户选择或指向单个位置使拖曳器(scrubber)106在时间线105上移动时，可输出I帧，这给予用户粗略导航。使用来自单个参考帧(或用于每一区域的预测的单个帧)的预测的帧被称为P帧，并且使用被形成为两个参考帧的(可能经加权的)平均值的预测信号的帧被称为B帧等等。这些帧是静态的从属帧。然而，当视频没有被播放，并且主要由于所需的处理努力以及关于时间线105的高精度(这将需要非常高的准确性来指向时间线105上的拖曳器106)，用户只是指向时间线105上的某位置时，这些帧(例如，P帧和B帧)没有在视频浏览模式101中示出。如稍后所讨论的，这些帧可在逐帧浏览模式201中示出。
触摸屏104可以是诸如存在敏感屏幕之类的触敏显示器，因为它被启用以检测来自用户的包括姿势触摸输入在内的触摸输入(姿势触摸输入包括指示、指向、相对于触敏显示器的运动)，并将那些触摸输入转变成变得对正在装置100上运行的操作系统和/或一个或多个应用可用的相应输入。各实施例可包括被配置成检测触摸、触摸姿势输入的触敏屏幕，或其他类型的存在敏感屏幕，诸如通过视觉、听觉、远程电容或其他类型的信号来读取姿势输入并且还可结合用户输入信号使用模式识别软件来从用户输入信号中推导出程序输入的屏幕设备。
在该示例中，在视频102在显示窗口103上的回放期间，计算装置100可接受具有触摸屏104上的简单触摸而没有沿着触摸屏104的表面或相对于触摸屏104的任何运动的轻击输入形式的触摸输入。该没有沿着触摸屏104的表面的运动的简单轻击触摸输入可与包括相对于存在敏感屏幕的运动或沿着触摸屏104的表面的运动的姿势触摸输入等效并形成对比。媒体应用可检测如通过触摸屏104的输入检测方面向其传达的对触摸屏104的表面的简单轻击触摸输入和姿势触摸输入并在这些简单轻击触摸输入和姿势触摸输入之间进行分辨，并用不同的方式解释轻击触摸输入和姿势触摸输入。其他输入方面包括双击；触摸并保持，随后拖动；捏合和扩张、滑扫、旋转。(输入和动作可被归于计算装置100，贯穿本公开，应理解，这些输入和动作的各方面可由触摸屏104、媒体应用、操作系统或装置设备100的或在装置设备100上运行的任何其他软件或硬件元件接收或执行。)
在图1的示例中，视频浏览模式101还显示时间线105以及指示器106，指示器106占据沿着时间线105的某一位置，该位置指示当前显示的视频帧相对于视频内容的整个历时的相应比例位置。时间线105被用来表示视频102的长度。视频浏览模式的用户界面元素可将时间线105和指示器106配置为在视频内容的正常回放期间淡出，并在各种触摸输入中的任一者在触摸屏104上被检测到时重新出现。在其他示例中，媒体应用可具有与本文中描绘出的那些时间线和/或拖曳器和/或播放按钮图标具有不同的位置或者作用与本文中所描述的不同的时间线和/或拖曳器和/或播放按钮图标。贯穿本公开，术语指示器可与滑块和拖曳器被互换地使用。
指示器106可通过在触摸屏104上对指示符106的触摸输入被选择，并被手动地沿着时间线105移动以跳到视频内容102内的不同位置。视频浏览模式101和逐帧模式201之间的方便切换覆盖实现找到并成功使用视频中的期望帧的自然和流畅方式，尤其适用于其中显示器103具有受限尺寸的智能电话。
图2和图3解说了装置100的包括用于粗略导航的视频浏览模式101的用户界面。视频浏览模式101可被用于粗略导航以大致找到时间线105上的某个点。通过视频浏览模式101，用户可指点指示器106在时间线105上大致跳到视频102的期望帧108。图2和图3中对指示器106的交互如下。在图2中，装置100接收触摸屏104上的触摸109。通过触摸109，装置100切换到视频浏览模式101。例如，视频102可被暂停，并且用户触摸时间线105，这使得装置100切换到视频浏览模式101。触摸109通过图2中的虚线圆圈来解说。在图2和图3的示例中，触摸109进一步包括随后的保持和拖动110。通过这种方式，指示器106被移动到时间线105上的某个期望时间点，如图3所解说的。作为另一示例，取代触摸保持和拖动，指示器106可通过简单地指向时间线105上的某个时间点的位置来被指向并移动到时间线105上的该某个时间点。这可通过简单地触摸新位置来实现。
在指示器106被移动时，装置100渲染时间线105上指示器106被移动到的时间点的帧108。在图2和图3中，装置100在视频浏览模式101中被配置，并且帧108在视频浏览模式101内被渲染。快跳到近似的帧108对于用户而言是快速和容易的。
图4解说了装置100的包括其中触摸109被释放111的视频浏览模式101的用户界面。时间线105上触摸的释放111通过两个虚线圆圈示出。用户已发现在视频浏览模式101中的在时间线105上大致示出期望帧108的正确位置。装置100接收对触摸109的释放111。例如，手指释放可被用于触摸。抬起手指指示用户已找到了时间线105上的正确时间点。作为另一示例，取代触摸的释放，除触摸和释放之外的另一姿势指示也可被使用。例如，用户可通过某个姿势109(手指移动，不一定触摸装置100)指向时间线105上的期望位置，并且随后另一姿势指示释放111。在释放111之际，装置100开始自动处理从视频浏览模式101到逐帧浏览模式201的改变。
图5解说了装置100的包括逐帧浏览模式201的用户界面。当释放111已被接收到时，装置100切换到逐帧浏览模式201。切换可自动发生。例如，除了针对已接收到的所选帧108的进入逐帧浏览模式201的指示(例如，释放111)以外，没有来自用户的任何进一步努力。逐帧浏览模式201可以是视觉上不同的模式，并且通过视频浏览模式101进行查看。逐帧浏览模式201显示视频的当前帧108。逐帧浏览模式201被配置成当时使视频102导航一帧。视频102中的各帧被逐个地导航，例如当时在装置100的显示器上实质上示出一帧。用户可方便地查看当前和所选帧108，逐个地浏览各帧直到期望帧被发现，并选择该期望帧。
例如，逐帧浏览模式210可被配置成示出所有帧。可以为静态的独立帧的那些帧(其不需要来自其他帧的预测)，以及静态的从属帧(例如，需要来自彼此或来自信号的任何预测的那些帧)。例如，I帧、P帧和B帧在模式201内可被导航。逐帧浏览模式201可处理所有这些帧以供显示。可实现对视频102的精确而又方便的浏览。
在逐帧浏览模式201中显示的帧108可以是与在视频浏览模式101中相同的帧。例如，用户在视频浏览模式101指向时间线105上的15s处的帧。此15s处的帧可以是可被编码而无需来自其他帧或信号的预测的独立帧。在接收到进入逐帧浏览模式201的指示后，时间线105上的15s处的同一帧被显示。同样，在逐帧浏览模式201中显示的帧108可以是与视频浏览模式101中所指向的帧不同的帧。在该情况下，用户指向时间线105上的15,3s处的帧。由于此15,3s处的帧是从属帧，因此仅接近这个帧的独立帧被显示给用户。在视频浏览模式101，15s处的独立帧被显示给用户。现在在逐帧浏览模式201中，15,3s处的帧被显示。15,3s处的帧是从属帧，并且在逐帧浏览模式201，该帧被显示。也可能是在视频浏览模式201，仅独立帧被显示，并且因此当切换到逐帧浏览模式201时，在逐帧浏览模式201中，帧是相同的。对于另一示例，由于在视频浏览模式101中仅独立帧被使用，而在逐帧浏览模式201中，所有的帧(独立帧和从属帧两者)都被使用，因此帧是不同。
图5中解说了用于帧108的显示窗口114的示例。帧显示窗口114的面积与视频显示窗口103的面积基本上相同。例如，帧108建立了一便利的区域，并且对于具有降低尺寸的显示器的移动装置的用户而言足够可见。用户在逐帧浏览模式201中可方便地查看所选的帧108。例如，帧显示窗口114可具有为视频显示窗口103的面积的至少50％的面积。因此，逐帧浏览模式201中的帧108可具有视频浏览模式101中的帧108的面积的至少50％的面积。对于另一示例，帧显示窗口114或逐帧浏览模式201中的帧108的面积可分别为视频显示窗口103或视频浏览模式101中的帧108的面积的70％一直到100％。装置100在视频浏览模式101中显示视频102的帧108的视图可被在逐帧浏览模式201中显示帧108的视图替换。
在图5-7中，逐帧浏览模式201可与或不与(未示出)帧108的毗邻帧112、113一起被显示。图5示出渲染帧108的毗邻帧112、113的示例。在图5中，毗邻帧112、113被渲染，然而它们尚未被显示。如所说的，逐帧浏览模式201的帧108可从视频浏览模式101的帧108中推导出，或者可以是不同的帧。此外，装置100渲染毗邻帧112、113。毗邻帧112、113被从视频102中解码出，并被存储在装置100内。毗邻帧12、113是所选的帧108的在视频102的帧的编号次序方面小一位和多一位的帧。毗邻帧112、113和帧108是连续的。所渲染的毗邻帧的数目可例如从两个帧到若干个帧改变，为相对于所选和所显示的帧递减和递增的帧两者。此外，该装置可将毗邻帧112、113渲染为使得视频102中的特定数目的帧被配置为在毗邻帧和所显示的帧之间被省略。例如，视频的第100个帧表示所选的帧108，并且毗邻帧112、113为视频的第95个或第105个帧。
图6解说了显示毗邻帧112、113的逐帧浏览模式201。如所讨论的，显示毗邻帧112、113仅是可选实施例。毗邻帧112、113是针对逐帧浏览模式201渲染的。装置100接收滑扫姿势114。术语滑扫姿势和轻拂姿势在本公开中可被互换地使用。滑扫114姿势在逐帧浏览模式201中指示导航方向。滑扫114姿势被配置为取决于滑扫方向或定向移动到下一或前一帧112、113。取代滑扫姿势，可应用另一种类的姿势，诸如用户的指示在逐帧浏览模式201内进行导航的方式的触摸或姿势。
基于滑扫114或诸如此类的进一步姿势，装置100显示毗邻帧之一115，如图7中所解说的。用户可导航视频102的帧，并逐个地观看帧。当新帧115被显示时，毗邻帧112’、113’被从装置100的存储中检索出。此外，装置100可基于进行中的逐帧导航将来自视频102的更多帧渲染到存储。
图7解说了新帧115，这是作为逐帧导航的结果被显示的。在图7的示例中，用户已通过逐帧浏览201到达了期望帧115。用户具有用于使用期望帧115的选项。装置100接收选择或指向帧115的触摸116。轻击也可被使用。通过触摸116，用户可选择帧115。若早期讨论的，帧在两个模式101、201中都被配置为静态帧。所选的帧可被复制和保存为静态图像。此外，例如在社交媒体中，用户可将所选的帧115作为图像来共享。如果装置100接收在时间线105附近或在时间线105上的触摸116(轻击也可被使用)，则装置100可自动切换到显示帧115的视频浏览模式101，如图8所解说的。时间线105上的指示器106被配置为跟随该逐帧导航。对于两个模式101、201，指示器106在时间线105上的位置与帧115对应。
图9是一种方法的流程图。在步骤900，装置100正使用视频浏览模式101。步骤900可应用视频浏览模式101，如这些实施例中所讨论的。例如，基于视频浏览，装置100输出视频102的帧108。帧108是在从用户接收的触摸输入109的基础上被输出的。在步骤902，检测到开始进入逐帧浏览模式201的指示。步骤902可使装置100从视频浏览模式101切换到逐帧浏览模式201。步骤902可应用该切换，如这些实施例中所讨论的。步骤902可以是自动的，使得在接收到来自用户的触摸输入111后，切换到逐帧浏览模式201发生，而无需来自用户的任何额外努力。在步骤901，装置100正使用逐帧浏览模式201。步骤901可应用逐帧浏览模式201，如这些实施例中所讨论的。例如，在逐帧浏览模式201中，装置100在姿势输入114的基础上输出帧115。在步骤903，检测到开始进入视频浏览模式101的指示。步骤903可使装置100从逐帧浏览模式201切换到视频浏览模式101。步骤903可应用该切换，如这些实施例中所讨论的。步骤903可以是自动的，使得在接收到来自用户的姿势输入116后，切换到视频浏览模式101发生，而无需来自用户的任何额外努力。浏览可随后在步骤900中在视频浏览模式101中继续返回。
图10解说了可被实现为任何形式的计算和/或电子设备的计算装置100的各组件的示例。计算装置100包括一个或多个处理器402，这些处理器可以是微处理器、控制器或用于处理计算机可执行指令以控制装置100的操作的任何其他合适类型的处理器。可以在该装置处提供包括操作系统406或任何其他合适的平台软件的平台软件以使得能够在该设备上执行应用软件408。
可以使用装置100能够访问的任何计算机可读介质来提供计算机可执行指令。计算机可读介质可以包括例如诸如存储器404等计算机存储介质和通信介质。诸如存储器404等计算机存储介质包括以用于存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于，RAM、ROM、EPROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或者可用于存储信息以供计算设备访问的任何其他非传输介质。相反，通信介质可以以诸如载波或其他传输机构等已调制数据信号来体现计算机可读指令、数据结构、程序模块或者其他数据。如本文中所定义的，计算机存储介质不包括通信介质。因此，计算机存储介质不应被解释为本质上是传播信号。传播信号可存在于计算机存储介质中，但是传播信号本身不是计算机存储介质的示例。虽然计算机存储介质(存储器404)被示为在装置100内，然而应当理解，该存储可以是分布式的或位于远程并经由网络或其他通信链路(例如，使用通信接口412)来访问。
装置100可包括被布置成向可与装置100分开或集成在一起的输出设备416输出显示信息的输入/输出控制器414。输入/输出控制器414还可被布置成接收并处理来自诸如用户输入设备(例如，键盘、相机、话筒、或其他传感器)之类的一个或多个设备418的输入。在一个示例中，如果输出设备416是触敏显示器设备，则它还可充当用户输入设备，并且输入是诸如触摸之类的姿势输入。输入/输出控制器414还可向除该输出设备之外的设备(例如本地连接的打印设备)输出数据。
输入/输出控制器414、输出设备416及输入设备418可包括自然用户界面NUI，即使用户能够按自然的、免受诸如鼠标、键盘、遥控器等输入设备所施加的人工约束的方式与计算装置100交互的技术。可以提供的NUI技术的示例包括但不限于依赖于语音和/或话音识别、触摸和/或指示笔识别(触敏显示器)、屏幕上和屏幕附近的姿势识别、空中姿势、头部和眼睛跟踪、语音和话音、视觉、触摸、姿势以及机器智能的那些技术。可被使用NUI技术的其他示例包括意图和目的理解系统，使用深度相机(如立体相机系统、红外相机系统、rgb相机系统以及这些的组合)的运动姿势检测系统，使用加速度计/陀螺仪的运动姿势检测，面部识别，3D显示，头部、眼睛和注视跟踪，沉浸式增强现实和虚拟现实系统，以及用于使用电场传感电极(EEG和相关方法)的感测大脑活动的技术。存在敏感显示器104可以是NUI。
图1-10中公开的示例中的至少一些示例能够提供增强的用户界面功能以实现增强的帧浏览和发现。此外，单个NUI视图可甚至由受限尺寸的装置用用于从录像片段中方便地发现期望帧的单个NUI控件来实现。装置100可通过接收诸如对时间线105的触摸或触摸保持和拖动姿势之类的指示拖曳器106的新位置的用户指示来自动地切换到视频浏览模式101。用户可方便地通过简单的NUI姿势在视频浏览模式101和逐帧浏览模式201之间切换，并且装置100自动渲染和显示与拖曳器106的位置相对应的帧，并且装置100还自动在这些模式之间切换。用户可通过方便地组合的视频和逐帧导航，甚至通过使用具有受限尺寸屏幕的装置来在视频102的上千个帧中找到视频102的期望帧115。
作为替换或补充，本文所述的功能可至少部分地由一个或多个硬件逻辑组件来执行。例如，但非限制，可被使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、程序专用的集成电路(ASIC)、程序专用的标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)，图形处理单元(GPU)。
此处所使用的术语‘计算机’、‘基于计算的设备’、‘设备’或‘移动设备’是指带有处理能力以便可以执行指令的任何设备。本领域技术人员可以理解，这样的处理能力被结合到许多不同设备中，并且因此术语‘计算机’和‘基于计算的设备’各自包括个人计算机、服务器、移动电话(包括智能电话)、平板计算机、机顶盒、媒体播放器、游戏控制台、个人数字助理和许多其他设备。
本文描述的方法和功能可由有形存储介质上的机器可读形式的软件例如以计算机程序的形式来执行，该计算机程序包括在该程序在计算机上运行时适用于执行本文描述的任何方法的所有步骤的计算机程序代码装置并且其中该计算机程序可被包括在计算机可读介质上。有形存储介质的示例包括计算机存储设备，计算机存储设备包括计算机可读介质，诸如盘(disk)、拇指型驱动器、存储器等而不包括所传播的信号。传播信号可存在于有形存储介质中，但是传播信号本身不是有形存储介质的示例。软件可适于在并行处理器或串行处理器上执行以使得各方法步骤可以按任何合适的次序或同时执行。
这承认，软件可以是有价值的，单独地可交换的商品。它旨在包含运行于或者控制“哑(dumb)”或标准硬件以实现所需功能的软件。它还旨在包含例如用于设计硅芯片，或者用于配置通用可编程芯片的HDL(硬件描述语言)软件等“描述”或者定义硬件配置以实现期望功能的软件。
本领域技术人员会认识到，用于存储程序指令的存储设备可分布在网络上。例如，远程计算机可以存储被描述为软件的进程的示例。本地或终端计算机可以访问远程计算机并下载软件的一部分或全部以运行程序。可另选地，本地计算机可以根据需要下载软件的片段，或在本地终端上执行一些软件指令，并在远程计算机(或计算机网络)上执行另一些软件指令。替换地或附加地，此处描述的功能可以至少部分由一个或多个硬件逻辑组件来执行。例如、但非限制，可使用的硬件逻辑组件的说明性类型包括场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)、等等。
本文给出的任何范围或设备值可被扩展或更改而不损失所寻求的效果。
尽管用结构特征和/或动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述特定特征和动作是作为实现权利要求书的示例而公开的，并且其他等价特征和动作旨在处于权利要求书的范围内。
可以理解，上文所描述的优点可以涉及一个实施例或可以涉及多个实施例。各实施例不仅限于解决任何或全部所陈述的问题的那些实施例或具有任何或全部所陈述的优点那些实施例。进一步可以理解，对“一个”项目的引用是指那些项目中的一个或多个。
此处所描述的方法的步骤可以在适当的情况下以任何合适的顺序，或同时实现。另外，在不偏离此处所描述的主题的精神和范围的情况下，可以从任何一个方法中删除各单独的框。上文所描述的任何示例的各方面可以与所描述的其他示例中的任何示例的各方面相结合，以构成进一步的示例，而不会丢失寻求的效果。
术语‘包括’在本文中用于意指包括已标识的方法的框或元件，但是这样的框或元件不包括排它性的列表，并且方法或装置可包含额外的框或元件。
可以理解，上面的描述只是作为示例给出并且本领域的技术人员可以做出各种修改。以上说明、示例和数据提供了对各示例性实施例的结构和使用的全面描述。虽然上文以一定的详细度或参考一个或多个单独实施例描述了各实施例，但是，在不偏离本说明书的精神或范围的情况下，本领域的技术人员可以对所公开的实施例作出很多更改。
Claims (15)
1.一种计算装置，包括：
触敏显示器；
至少一个处理器，以及
存储程序指令的至少一个存储器，所述程序指令在由所述至少一个处理器执行时使得所述装置：
在视频浏览模式和逐帧浏览模式之间切换，其中所述视频浏览模式被配置成所述视频的独立静态帧，并且其中所述逐帧浏览模式被配置成逐个地显示所述视频的独立和从属静态帧两者；
其中所述视频浏览模式的时间线上的触摸被配置成切换到所述视频浏览模式，并显示所述视频的与所述时间上的所述触摸相对应的静态帧；以及
其中所述触摸的释放被配置成切换到所述逐帧浏览模式，并在所述逐帧模式中显示与所述时间线上的所述释放相对应的静态帧。
2.根据权利要求1所述的计算装置，其特征在于，在所述逐帧浏览模式中，所述至少一个存储器存储程序指令，该程序指令在被执行时使得所述装置：渲染并显示所述静态帧，所述静态帧具有在所述视频浏览模式中的所述静态帧的面积的至少50％的面积。
3.根据任一前述权利要求所述的计算装置，其特征在于，在所述逐帧浏览模式中，所述至少一个存储器存储程序指令，这些程序指令在被执行时使得所述装置：渲染并显示所述静态帧，所述静态帧具有在所述视频浏览模式中的所述静态帧的面积的80％-100％的面积。
4.根据任一前述权利要求所述的计算装置，其特征在于，在所述逐帧浏览模式中，所述至少一个存储器存储程序指令，这些程序指令在被执行时使得所述装置：渲染所述静态帧的毗邻帧。
5.根据权利要求4所述的计算装置，其特征在于，在所述逐帧浏览模式中，所述至少一个存储器存储程序指令，这些程序指令在被执行时使得所述装置：接收所述显示器上的第二触摸；并基于所述第二触摸，显示所述毗邻帧之一；或者
其中所述毗邻帧包括所述视频的连续帧；或者
其中所述毗邻帧包括所述视频的帧，使得所述视频的特定数目的帧被配置为在所述毗邻帧和所显示的帧之间被忽略；或者
其中在所述逐帧浏览模式中，所述至少一个存储器存储程序指令，这些程序指令在被执行时使得所述装置：连同所述静态帧一起显示所述毗邻帧的至少一部分；或者
其中，在所述逐帧浏览模式中，接收所述显示器上的滑扫姿势；并基于所述滑扫姿势，显示所述毗邻帧之一。
6.根据任一前述权利要求所述的计算装置，其特征在于，在所述视频浏览模式中，所述至少一个存储器存储程序指令，这些程序指令在被执行时使得所述装置：将所述独立静态帧显示为静态图像，其中所述静态帧被配置为被编码而无需来自其他帧的预测。
7.根据任一前述权利要求所述的计算装置，其特征在于，在所述逐帧浏览模式中，所述至少一个存储器存储程序指令，这些程序指令在被执行时使得所述装置：将所述独立和从属静态帧显示为静态图像，其中所述独立和从属静态帧被配置为被编码而无需来自其他帧的预测，被配置为被编码从而所述独立和从属静态帧使用来自参考帧的预测，以及被配置成被编码从而所述独立和从属静态帧使用来自一个或多个帧的预测信号。
8.根据权利要求1所述的计算装置，其特征在于，所述视频浏览模式中的所述静态帧与所述逐帧浏览模式中的所述静态帧相同；或者
其中所述视频浏览模式中的所述静态帧与所述逐帧浏览模式中的所述静态帧不同。
9.根据任一前述权利要求所述的计算装置，其特征在于，所述视频浏览模式进一步被配置成显示所述视频的时间线指示器，其中所述时间线指示器对应于所述帧在所述时间线上的时间点。
10.根据任一前述权利要求所述的计算装置，其特征在于，所述时间线上的后续触摸被配置成自动切换回所述视频浏览模式，并且所述装置被配置成显示所述视频的与所述时间线上的所述后续触摸相对应的静态帧。
11.根据任一前述权利要求所述的计算装置，其特征在于，所述触摸包括所述时间线上的保持和拖动，并且所述装置被配置成在所述视频浏览模式中显示所述视频的与所述拖动的终止的位置相对应的静态帧，并且进一步其中所述释放对应于所述拖动的所述终止。
12.根据任一前述权利要求所述的计算装置，其特征在于，在所述逐帧模式中，基于对所述帧的轻击，所述至少一个存储器存储程序指令，这些程序指令在被执行时使得所述装置：返回到所述视频浏览模式，并在所述视频浏览模式中显示所述帧。
13.根据任一前述权利要求所述的计算装置，其特征在于，所述装置包括移动装置，并且所述触敏显示器包括移动尺寸的触敏显示器。
14.一种计算机程序，所述计算机程序包括用于使得计算装置的至少一个处理器执行操作的可执行指令，所述操作包括：
在视频浏览模式和逐帧浏览模式之间切换，其中所述视频浏览模式被配置成显示所述视频的独立静态帧，并且其中所述逐帧浏览模式被配置成逐个地显示所述视频的独立和从属静态帧两者；
其中所述视频浏览模式的时间线上的触摸被配置成切换到所述视频浏览模式，并显示所述视频的与所述时间线上的所述触摸相对应的静态帧；以及
其中所述触摸的释放被配置成切换到所述逐帧浏览模式，并在所述逐帧浏览模式中显示与所述时间线上的所述释放相对应的静态帧。
15.一种方法，包括：
在计算装置中在视频浏览模式和逐帧浏览模式之间切换，其中所述视频浏览模式被配置成显示所述视频的独立静态帧，并且其中所述逐帧浏览模式被配置成逐个地显示所述视频的独立和从属静态帧两者；
检测所述时间线上的触摸，其中所述触摸被配置成切换到所述视频浏览模式，并显示所述视频的与所述时间线上的所述触摸相对应的静态帧；以及
检测所述触摸的释放，其中所述释放被配置成切换到所述逐帧浏览模式，并在所述逐帧浏览模式中显示与所述时间线上的所述释放相对应的静态帧。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/512,392 | 2014-10-11 | ||
| US14/512,392 US20160103574A1 (en) | 2014-10-11 | 2014-10-11 | Selecting frame from video on user interface |
| PCT/US2015/054345 WO2016057589A1 (en) | 2014-10-11 | 2015-10-07 | Selecting frame from video on user interface |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106796810A true CN106796810A (zh) | 2017-05-31 |
| CN106796810B CN106796810B (zh) | 2019-09-17 |
Family
ID=54347849
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580055168.5A Active CN106796810B (zh) | 2014-10-11 | 2015-10-07 | 在用户界面上从视频选择帧 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20160103574A1 (zh) |
| EP (1) | EP3204947A1 (zh) |
| CN (1) | CN106796810B (zh) |
| WO (1) | WO2016057589A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9583142B1 (en) | 2015-07-10 | 2017-02-28 | Musically Inc. | Social media platform for creating and sharing videos |
| USD801347S1 (en) | 2015-07-27 | 2017-10-31 | Musical.Ly, Inc | Display screen with a graphical user interface for a sound added video making and sharing app |
| KR20170013083A (ko) * | 2015-07-27 | 2017-02-06 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
| USD801348S1 (en) | 2015-07-27 | 2017-10-31 | Musical.Ly, Inc | Display screen with a graphical user interface for a sound added video making and sharing app |
| USD788137S1 (en) * | 2015-07-27 | 2017-05-30 | Musical.Ly, Inc | Display screen with animated graphical user interface |
| US11301128B2 (en) * | 2019-05-01 | 2022-04-12 | Google Llc | Intended input to a user interface from detected gesture positions |
| USD1002653S1 (en) * | 2021-10-27 | 2023-10-24 | Mcmaster-Carr Supply Company | Display screen or portion thereof with graphical user interface |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080063357A1 (en) * | 2004-09-30 | 2008-03-13 | Sony Corporation | Moving Picture Data Edition Device and Moving Picture Data Edition Method |
| US20110275416A1 (en) * | 2010-05-06 | 2011-11-10 | Lg Electronics Inc. | Mobile terminal and method for controlling the same |
| CN102708141A (zh) * | 2011-03-14 | 2012-10-03 | 国际商业机器公司 | 用于隐私浏览的系统和方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050033758A1 (en) * | 2003-08-08 | 2005-02-10 | Baxter Brent A. | Media indexer |
| KR100763189B1 (ko) * | 2005-11-17 | 2007-10-04 | 삼성전자주식회사 | 영상 표시 장치 및 방법 |
| US8689128B2 (en) * | 2009-03-16 | 2014-04-01 | Apple Inc. | Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate |
| JP5218353B2 (ja) * | 2009-09-14 | 2013-06-26 | ソニー株式会社 | 情報処理装置、表示方法及びプログラム |
| EP2690879B1 (en) * | 2012-07-23 | 2016-09-07 | LG Electronics, Inc. | Mobile terminal and method for controlling of the same |
| TWI486794B (zh) * | 2012-07-27 | 2015-06-01 | Wistron Corp | 影片預覽方法及系統及其電腦程式產品 |
| US20140086557A1 (en) * | 2012-09-25 | 2014-03-27 | Samsung Electronics Co., Ltd. | Display apparatus and control method thereof |
| JP2014078823A (ja) * | 2012-10-10 | 2014-05-01 | Nec Saitama Ltd | 携帯電子機器、その制御方法及びプログラム |
| US10042537B2 (en) * | 2014-05-30 | 2018-08-07 | Apple Inc. | Video frame loupe |
-
2014
- 2014-10-11 US US14/512,392 patent/US20160103574A1/en not_active Abandoned
-
2015
- 2015-10-07 CN CN201580055168.5A patent/CN106796810B/zh active Active
- 2015-10-07 WO PCT/US2015/054345 patent/WO2016057589A1/en active Application Filing
- 2015-10-07 EP EP15784840.9A patent/EP3204947A1/en not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080063357A1 (en) * | 2004-09-30 | 2008-03-13 | Sony Corporation | Moving Picture Data Edition Device and Moving Picture Data Edition Method |
| US20110275416A1 (en) * | 2010-05-06 | 2011-11-10 | Lg Electronics Inc. | Mobile terminal and method for controlling the same |
| CN102708141A (zh) * | 2011-03-14 | 2012-10-03 | 国际商业机器公司 | 用于隐私浏览的系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20160103574A1 (en) | 2016-04-14 |
| WO2016057589A1 (en) | 2016-04-14 |
| EP3204947A1 (en) | 2017-08-16 |
| CN106796810B (zh) | 2019-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12001650B2 (en) | Music user interface | |
| KR102027612B1 (ko) | 애플리케이션의 썸네일-이미지 선택 기법 | |
| US8413075B2 (en) | Gesture movies | |
| US9891782B2 (en) | Method and electronic device for providing user interface | |
| CN103999028B (zh) | 不可见控件 | |
| CN106796810B (zh) | 在用户界面上从视频选择帧 | |
| US9791918B2 (en) | Breath-sensitive digital interface | |
| US9298266B2 (en) | Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects | |
| US9329774B2 (en) | Switching back to a previously-interacted-with application | |
| CN103649900B (zh) | 边缘手势 | |
| CN117032519A (zh) | 用于与三维环境进行交互的设备、方法和图形用户界面 | |
| US20170068322A1 (en) | Gesture recognition control device | |
| KR20140025494A (ko) | 에지 제스처 기법 | |
| KR20140025493A (ko) | 에지 제스처 기법 | |
| KR20160088631A (ko) | 화면 제어 방법 및 그 방법을 처리하는 전자 장치 | |
| KR20130105725A (ko) | 콘텐츠의 양 손 제어에 기반한 컴퓨터 비전 | |
| US10521101B2 (en) | Scroll mode for touch/pointing control | |
| US20130155108A1 (en) | Augmented Reality User Interaction Methods, Computing Devices, And Articles Of Manufacture | |
| US20150063785A1 (en) | Method of overlappingly displaying visual object on video, storage medium, and electronic device | |
| US11301124B2 (en) | User interface modification using preview panel | |
| US20140047395A1 (en) | Gesture based control of element or item | |
| CN112534390B (zh) | 用于提供虚拟输入工具的电子装置及其方法 | |
| US20130162683A1 (en) | Apparatus and method for providing transitions between screens | |
| US11962561B2 (en) | Immersive message management | |
| US20130201095A1 (en) | Presentation techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |