CN109844760A - 时间相关墨水 - Google Patents

时间相关墨水 Download PDF

Info

Publication number
CN109844760A
CN109844760A CN201780063482.7A CN201780063482A CN109844760A CN 109844760 A CN109844760 A CN 109844760A CN 201780063482 A CN201780063482 A CN 201780063482A CN 109844760 A CN109844760 A CN 109844760A
Authority
CN
China
Prior art keywords
ink
input
content
strokes
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780063482.7A
Other languages
English (en)
Inventor
L·S·斯帕斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN109844760A publication Critical patent/CN109844760A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G06F16/447—Temporal browsing, e.g. timeline
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2323—Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426—Graphical representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/7635—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks based on graphs, e.g. graph cuts or spectral clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/333—Preprocessing; Feature extraction
    • G06V30/347—Sampling; Contour coding; Stroke extraction
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H04N5/9305—Regeneration of the television signal or of selected parts thereof involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F2207/22—Indexing scheme relating to groups G06F7/22 - G06F7/36
    • G06F2207/222—Binary data tree

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Discrete Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开描述了用于时间相关墨水的技术。根据各种实施例，墨水输入与内容相关。例如，在视频的回放期间被接收到的墨水输入被加上时间戳。根据各种实施例，被显示在内容之上的墨水输入在输入停止之后被去除。进一步地，墨水输入在内容的部分的回放期间被显示，该墨水输入与该内容的部分时间相关。

Description

时间相关墨水
背景技术
当今设备(例如，计算设备)通常支持各种不同的输入技术。例如，特定设备可以经由键盘、鼠标、语音输入、触摸输入(例如，针对触摸屏)等接收来自用户的输入。一种特别直观的输入技术使得用户能够利用触摸仪器(例如，笔、触控笔、手指等)将徒手输入提供给触摸感测功能，诸如，触摸屏，这被解释为数字墨水。徒手输入可以被转换为显示器上的对应视觉再现，诸如，用于记笔记、用于创建和编辑电子文档等。
发明内容
提供了本发明内容来引入以简化形式的概念的选择，将在以下具体实施方式中进一步详细描述这些概念。本发明内容既不旨在标识所要求保护的主题内容的关键特征或者基本特征，也不旨在被用作辅助确定所要求保护的主题内容的范围。
本公开描述了用于时间相关墨水的技术。根据各种实施例，墨水输入与内容相关。例如，在视频的回放期间被接收到的墨水输入被加上时间戳。根据各种实施例，被显示在内容之上的墨水输入在输入停止之后被展开。进一步地，墨水输入在内容的部分的回放期间被显示，墨水输入与该部分时间相关。
附图说明
参照附图描述详细说明。在附图中，附图标记的(多个)最左边的数字标识附图标记首次出现的图。在说明书和附图中，用于不同的实例的相同附图标记可以指示类似的或者相同的项目。
图1是根据一个或者多个实施例的在可操作以采用本文所讨论的技术的示例实施方式中的环境的图示。
图2描绘了根据一个或者多个实施例的用于接收与内容相关的墨水输入的示例实施方式场景。
图3描绘了根据一个或者多个实施例的用于去除内容之上的墨水输入的示例实施方式场景。
图4描绘了根据一个或者多个实施例的用于在内容之上显示墨水输入的示例实施方式场景。
图5描绘了根据一个或者多个实施例的用于倒回内容之上的墨水输入的示例实施方式场景。
图6描绘了根据一个或者多个实施例的用于将墨水笔划集合织成树结构的示例实施方式场景。
图7描绘了根据一个或者多个实施例的用于将笔划集合组织成树结构的示例实施方式场景。
图8是描述了根据一个或者多个实施例的用于在特定时间间隔过去之后从显示设备去除墨水输入作为展开动画的方法中的步骤的流程图。
图9是描述了根据一个或者多个实施例的用于以输入被接收的速度与内容的部分时间上相关地显示墨水输入的方法中的步骤的流程图。
图10是描述了根据一个或者多个实施例的用于与内容时间上相关地在内容之上显示墨水输入，使得墨水输入按照相反的顺序被显示的方法中的步骤的流程图。
图11是描述了根据一个或者多个实施例的用于基于针对墨水笔划的集合的相应时间戳将墨水笔划的集合组织成二叉树结构的方法中的步骤的流程图。
图12是描述了根据一个或者多个实施例的用于从二叉树结构取回与内容的部分时间上相关的墨水笔划的集合的方法中的步骤的流程图。
图13是描述了根据一个或者多个实施例的用于渲染墨水笔划的集合以用于与倒回内容时间上相关地显示的方法中的步骤的流程图。
图14图示了参照图1所描述的示例系统和计算设备，该示例系统和该计算设备被配置为实施本文所描述的技术的实施例。
具体实施方式
本文所讨论的实施方式实现时间相关墨水。一般而言，墨水指的是对诸如触摸屏等触摸感测功能的徒手输入，这被解释为数字墨水，在本文中被称为“墨水”。墨水可以各种方式被提供，诸如，使用笔(例如，主动笔、被动笔等)、触控笔、手指等。
根据各种实施方式，时间相关墨水使得墨水输入能够被加上时间戳和/或在时间上被分类和聚合，以实现基于时间上相关性的墨水输入的存储、回放和搜索。在示例实施方式中，在视频回放内容之上被接收到的墨水输入的部分被加上时间戳。例如，用户在回放期间在视频内容之上经由笔输入墨水，并且使墨水输入与其上被输入了墨水输入的视频内容时间上相关。在至少一种实施方式中，墨水输入可以被组织和分类成树结构，以基于组成墨水输入的墨水笔划的时间间隔进行存储和取回。一般而言，被存储和被加上时间戳的墨水笔划使得墨水输入在视频内容的相同部分的后续回放期间能够被取回和被显示在视频内容之上，就像墨水输入最初被应用时一样。
在至少一些实施方式中，被应用于视频内容之上的墨水输入在要被接收的墨水输入停止之后和/或在特定时间间隔之后被逐渐展开。例如，定时器在墨水输入停止后开始并且被显示的墨水输入在定时器到期时在视觉上被展开。在一种或者多种实施方式中，墨水输入可以基于指示视频内容的倒回动作的接收到的输入按照相反的顺序被显示或者去除。因此，本文所描述的技术通过使墨水输入与时间域中的回放内容相关来简化与视频内容的交互。
已经提出了用于时间相关墨水的技术的概述，现在考虑可以实施本文所描述的技术的示例环境。
图1是可操作以采用本文所讨论的用于时间相关墨水的技术的示例实施方式中的环境100的图示。环境100包括客户端设备102，该客户端设备102可以被体现为任何合适的设备，诸如，通过示例而非限制，智能电话、平板计算机、便携式计算机(例如，膝上型计算机)、台式计算机、可穿戴设备等。在至少一些实施方式中，客户端设备102代表智能电器，诸如，物联网(“IoT”)设备。因此，客户端设备102的范围可以从具有强大的处理能力的系统到具有最小的处理能力的轻量级设备。客户端设备102的各种不同示例中的一个示例在下面的图14中被示出和描述。
客户端设备102包括各种不同的功能，该各种不同的功能使得各种活动和任务能够被执行。例如，客户端设备102包括操作系统104、应用106和通信模块108。一般而言，操作系统104代表用于使客户端设备102的各种系统组件，诸如，硬件、内核级模块和服务等抽象化的功能。例如，操作系统104可以使客户端设备102的各种组件抽象化到应用106，以实现组件与应用106之间的交互。
应用106表示用于经由客户端设备102执行不同的任务的功能。应用106的示例包括词处理应用、电子表格应用、web浏览器、游戏应用等。应用106可以被本地安装在客户端设备102上，以经由本地运行时环境被执行，并且/或者可以表示远程功能的门户，诸如，基于云的服务、web应用等。因此，应用106可以采取各种形式，诸如，本地执行的代码、远程托管服务的门户等。
通信模块108代表用于使客户端设备102能够通过有线和/或无线连接来通信的功能。例如，通信模块108表示用于经由各种不同的有线和/或无线技术和协议的通信的硬件和逻辑。
客户端设备102进一步包括显示设备110、包括数字转换器114和触摸输入设备116的输入机构112、以及墨水模块118。显示设备110通常表示用于针对客户端设备102的视觉输出的功能。附加地，显示设备110代表接收各种类型的输入，诸如，触摸输入、笔输入等的功能。输入机构112通常表示用于接收对客户端设备102的输入的不同的功能。输入机构112的示例包括姿势敏感传感器和设备(例如，诸如，基于触摸的传感器和移动跟踪传感器(例如，基于摄像头的))、鼠标、键盘、触控笔、触摸板、加速计、具有随附的语音识别软件的麦克风等。输入机构112可以是分离的或者与显示设备110构成整体，其中，整体的示例包括姿势敏感显示器，该姿势敏感显示器具有集成的触摸敏感传感器或者运动敏感传感器。数字转换器114通常表示用于以各种方式将对显示设备110和触摸输入设备116的各种类型的输入转换为可以由客户端设备102使用的数字数据的功能，诸如，用于生成数字墨水。
根据各种实施方式，墨水模块118表示用于执行本文所讨论的针对时间相关墨水的技术的各种方面的功能。例如，墨水模块118可以被利用来使用户所应用的墨水笔划与在客户端设备102上播放的内容相关。墨水模块118的各种功能都可以在下面被讨论。
例如，墨水在显示设备110上被应用至经由视频播放器应用(“视频播放器”)122播放的视频内容120。如本文所使用的，视频内容120可以包括被呈现以用于显示的按顺序逐步排列的内容的各种组合，该按顺序逐步排列的内容包括实况内容、预录内容、多媒体流、幻灯片、音频文件、视频文件、动画、网页、用于通过浏览器或者其它客户端应用显示的内容等。因此，虽然视频内容120被描绘为在显示设备110处被呈现的内容，但是应当理解，各种类型的内容都可以如上面和下面所讨论的那样被呈现。
视频播放器122表示应用106的实例，该应用106提供用于管理、处理和回放视频内容120和其它内容的各种功能。视频播放器122所提供的功能可以包括但不限于组织、访问、浏览和查看视频内容以及在选择了视频内容时执行各种视频处理操作的功能。视频播放器122被配置为通过调用墨水模块118的功能来支持针对视频内容120的墨水体验，如上面和下面所讨论的。在实施方式中，墨水模块118被实施为系统组件(例如，操作系统104的组件)，该系统组件可访问以经由对应的墨水应用编程接口(“API”)124、通信机构、交互场景等向设备的应用106(包括视频播放器122)提供上墨功能。墨水API124通常表示可以被墨水模块118用来执行本文所讨论的时间相关墨水的方面的API。备选地，墨水模块118作为视频播放器122的集成组件被提供。
如在环境100中所描绘的，视频播放器122呈现在显示设备110上被输出的图形用户界面(“GUI”)126。通过以本文所描述的各种方式配置GUI 126，墨水模块118使得墨水能够与内容交互。视频播放器122提供GUI元素，该GUI元素可操作以管理视频内容120的回放。视频播放器122的示例GUI 126包括视频内容120和GUI元素。GUI元素包括：回放控件128，该回放控件128可选择以暂停/恢复视频内容120的回放；以及时间标记器130，该时间标记器130显示视频内容120的持续时间的时间点。时间标记器130经由用户输入可选择，以沿滑动器移动时间标记器130，从而调整视频内容120的回放点。例如，用户通过将手指放在时间标记器130上来选择时间标记器130，并且将时间标记器130向右滑动以提前回放视频内容120。
作为使用回放控件128的备选方案，用户可能能够通过与视频播放器122所显示的视频内容120交互来控制视频内容120的回放。例如，通过轻击或者单击视频内容120，视频内容120的回放可以被暂停/被恢复。进一步地，通过在视频内容120上执行滑动动作(或者通过在视频内容120的左边缘和右边缘处轻击或者单击)，回放将提前。
环境100进一步包括笔132，该笔132代表用于将输入提供至显示设备110的输入设备。一般而言，笔132是传统笔的形式，但是包括用于与显示设备110交互的功能和客户端设备102的其它功能。在至少一些实施方式中，笔132是主动笔，该主动笔包括用于与客户端设备102交互的电子组件。例如，笔132包括电池，该电池可以将功率提供至笔132的内部组件。备选地或者附加地，笔132可以包括磁铁或者支持显示设备110之上的悬停检测的其它功能。然而，这并不是旨在是限制性的，并且在至少一些实施方式中，笔132可以是被动的，例如，没有内部电子元件的触控笔。一般而言，笔132代表输入设备，该输入设备可以提供输入，该输入可以与由客户端设备102的其它类型的输入区别开来。例如，数字转换器114被配置为区别经由笔132提供的输入和通过诸如用户手指、触控笔等不同的输入机构提供的输入。
根据各种实施方式，笔132可以被用来将墨水输入应用于视频播放器122所呈现的内容。当应用墨水输入时，墨水模块118可以对墨水输入加上时间戳以使墨水输入能够以时间相关方式被回放和搜索。
已经描述了其中可以操作本文所描述的技术的示例环境，现在考虑讨论根据一个或者多个实施例的一些示例实施方式场景。实施方式场景可以被实施在上面所讨论的环境100和/或任何其它合适的环境中。
图2描绘了根据一个或者多个实施方式的用于接收与内容相关的墨水输入的示例实施方式场景200。场景200包括上面参考环境100所介绍的各种实体和组件。
场景200的上部包括视频播放器122，该视频播放器122将GUI 126呈现在显示设备110上。在GUI 126内显示视频内容120。同样描绘了用户握着笔132。虽然笔132被描绘为被用户的手握着的机械工具，但是应当理解，笔132可以以各种方式被实施，诸如，手指、光信号等。
在视频内容120的回放期间，用户开始使用笔132将墨水输入202应用于视频内容120。根据各种实施方式，当墨水输入202被应用于视频内容120时，墨水输入202的应用被墨水模块118实时记录。例如，墨水输入202的墨水笔划204是通过墨水模块118根据本文所讨论的用于时间相关墨水的技术而变得时间相关的(例如，被加上时间戳)。例如，墨水笔划204与特定时间，诸如，针对视频内容120的对应的回放时间相关，在该视频内容120中，墨水笔划204被应用，如时间标记器130所指示的。例如，针对视频内容120的回放时间值(“时间值”)是由墨水模块118经由对墨水API 124的调用从视频播放器122接收到的。根据一种或者多种实施方式，视频内容120中的每个帧都具有相应的时间值206，该时间值206被用来对墨水输入202加上时间戳。
进一步针对场景200，墨水模块118接收针对视频内容120的包括墨水输入202的帧的时间值206，并且使用时间值206来对墨水输入202的对应的墨水笔划204加上时间戳。例如，墨水模块118基于时间值206记录来自墨水输入202的墨水笔划204(全部或者部分)，该时间值206包括来自墨水输入202的针对每个墨水笔划204的开始时间戳(start_time)和结束时间戳(end_time)。
场景200的下部示出：在视频内容120的回放继续进行的同时用户继续将墨水输入202应用于视频内容120，如通过时间标记器130的位置和视频内容120与场景200的上部相比较发生的变化所描述的。在该特定实施方式中，墨水输入202包括墨水笔划204a、204b、204c、204d，该墨水笔划204a、204b、204c、204d拼写单词，即，“Camp”。
各种时间值可以被针对墨水输入202的墨水模块118记录。在至少一些实施方式中，当笔132接触显示设备110时(pen_down)，墨水模块118记录来自视频内容120的时间戳作为针对墨水输入202的offset_time。当墨水输入202的笔划被绘制时，墨水输入202的点以恒定速率被采样。例如，当笔132从显示设备110被去除时，墨水输入202的pen_up被墨水模块118记录。墨水输入202的持续时间由墨水模块118通过方程式：pen_up–pen_down计算。Start_time被定义为offset_time并且end_time被定义为offset_time+持续时间。
图3描绘了根据一种或者多种实施方式的用于去除内容之上的墨水输入的示例实施方式场景300。场景300包括上面参考环境100和场景200介绍的各种实体和组件，并且场景200在至少一些实施方式中表示场景200的扩展。
场景300包括视频播放器122，该视频播放器122利用墨水输入202将GUI 126呈现在显示设备110上。在场景300的上部，考虑到在用户应用墨水输入202之后，用户停止应用墨水，例如，笔132从显示设备110的表面离开。墨水模块118停止接收墨水输入202并且在视频内容120的回放继续进行时开始定时器302。
根据各种实施方式，在定时器302在视频内容120的回放期间到期之后，墨水模块118开始在一段时间内逐渐去除墨水输入202。例如，如此处在场景300的中部所示出的，在应用了墨水输入202和定时器302到期之后，墨水输入202开始展开，例如，在视觉上从视频内容120消失。继续进行场景300的下部，墨水输入202继续展开直到墨水输入202从视频内容120上的显示被完全去除为止。
墨水输入202的展开可以采取各种形式。例如，在墨水模块118使墨水输入202逐渐显示或者消失的情况下，动画可以被实施，诸如，以模仿墨水输入202最初被用户应用的方式。例如，墨水输入202可以作为动画从视频内容120并且/或者以一定速度消失，该速度大约与用户经由笔132应用墨水输入202的速度相匹配。
在至少一些实施方式中，墨水输入202在视觉上展开的速度可以基于与墨水输入202相关联的时间戳、墨水输入202的开始和结束之间的距离、和/或墨水输入202被检测的采样率来确定。备选地，墨水输入202可以同时被全部去除(例如，在定时器302到期之后)，使得组成墨水输入202的墨水笔划204a、204b、204c、204d同时从显示被去除。
场景300的下部示出：在视频内容120的回放继续进行的同时，墨水输入202从视频内容120展开，如时间标记器130和视频内容120与场景300的上部和中部比较产生的位置中的变化所描述的。
因此，场景300图示了：在该特定实施方式中，墨水输入202按照墨水输入202被笔132应用的顺序被逐渐去除。因此，墨水笔划204a在场景300的中部之中被部分去除，并且在视频内容120的回放继续的同时，墨水笔划204a和204b在场景300的下部中被完全去除。
图4描绘了根据一种或者多种实施方式的用于在内容之上显示墨水输入的示例实施方式场景400。场景400包括上面参考环境100和场景200、300介绍的各种实体和组件，并且在至少一些实施方式中表示场景200、300的扩展。
场景400图示了在墨水输入202已经被应用之后与视频内容120相关的墨水输入202的回放。例如，墨水输入202的回放可以发生在将视频内容120倒回至墨水输入202被应用之前的回放时间。备选地或者附加地，墨水输入202的回放可以发生在于不同时间回放视频内容120时，而不是在墨水输入202被应用时。场景400包括视频播放器122，该视频播放器122经由GUI 126将视频内容120呈现在显示设备110上。
在场景400中，当墨水输入202最初被应用时，视频内容120从视频内容120的部分被播放。当视频内容120的回放继续时，墨水模块118使墨水输入202(例如，墨水笔划204a、204b、204c、204d)在针对视频内容120的对应的回放时间重新出现，在该视频内容120中，墨水输入202被应用，如时间值206所指示的。墨水输入202的回放可以采取各种形式。例如，墨水输入202可以作为视频内容120上的动画和/或以一定速度重新出现，该速度大约与墨水输入202被应用的速度相匹配。在至少一些实施方式中，墨水输入202在视觉上重新出现的速度可以基于与墨水输入202相关联的时间戳、墨水输入202的开始和结束之间的距离、和/或墨水输入202被检测到的采样率来确定。因此，最初被用户应用的墨水输入202变成视频内容120的部分并且维系于与视频内容120的部分的时间上相关，以便在视频内容120的回放与墨水输入202被应用的特定时间值206(start_time)相匹配时，呈现墨水输入202的回放连同视频内容120的回放。
根据各种实施方式，场景400的下部示出：当视频内容120的回放继续时，显示墨水笔划204a、204b、204c、204d，该墨水笔划204a、204b、204c、204d组成墨水输入202。在场景400的下部中被表示的针对视频内容120的回放点例如表示用户停止应用墨水输入202但是在墨水输入202如上所述展开之前的回放点。
图5描绘了根据一种或者多种实施方式的用于倒回内容之上的墨水输入的示例实施方式场景500。场景500包括上面参考环境100和场景200至400介绍的各种实体和组件，并且在至少一些实施方式中表示场景200至400的扩展。
场景500图示了在墨水输入202已经被应用之后与视频内容120相关的墨水输入202的倒回回放。例如，墨水输入202的倒回回放可以在从墨水输入202被应用之后的时间倒回视频内容120的同时发生。场景500包括视频播放器122，该视频播放器122经由GUI 126将视频内容120呈现在显示设备110上。
在场景500中，时间标记器130滑到左边以引起视频内容120的倒回回放。相应地，视频内容120在墨水输入202被应用之后从视频内容120的部分被回放。根据各种实施方式，当视频内容120的倒回继续时，墨水模块118使墨水输入202(例如，墨水笔划204a、204b、204c、204d)开始在针对视频内容120的对应的回放时间重新出现，在该视频内容120中，墨水输入202被停止接收和/或在墨水输入202完成展开之后被停止。墨水输入202的倒回回放可以采取各种形式。例如，墨水输入202可以作为视频内容120上的动画和/或以一定速度重新出现，该速度大约与墨水输入202被应用的速度相匹配。在至少一些实施方式中，墨水输入202在视觉上重新出现的速度可以基于与墨水输入202相关联的时间戳、墨水输入202的开始和结束之间的距离、和/或墨水输入202被检测到的采样率来确定。
场景500的下部图示了视频内容120的倒回动作的结束。在该特定实施方式中，时间标记器130滑到左边以将视频内容120倒回至墨水笔划204最初被应用的点。应当注意，当视频内容120倒回时，墨水输入202开始以与墨水输入202的初始应用相反的顺序重新出现，例如，墨水笔划204d分别在墨水笔划204c、204b、204a之后重新出现。例如，当视频内容120达到与墨水输入202相关的时间值206(end_time)时，墨水模块118使对应的墨水输入202(在这种情况下是墨水笔划204d)开始重新出现在视频内容120之上。
图6描绘了根据一种或者多种实施方式的用于将墨水笔划组织成树结构的示例实施方式场景600。例如，场景600表示记录和组织墨水输入202的示例方式。
在场景600中，墨水输入202的墨水笔划204a、204b、204c、204d通过时间值206被聚合成笔划集合602以供墨水模块118存储。例如，墨水模块118将墨水笔划204a、204b、204c、204d组织成笔划集合602，例如，来自墨水输入202的词语“Camp”。根据各种实施方式，笔划集合602是通过测量来自墨水输入202的两个连续墨水笔划的end_time和start_time之间的时间差而被聚合的。在一种实施方式中，时间差是约500ms+/-100ms。因此，墨水模块118可以将墨水输入202组织成笔划集合602，该笔划集合602各自表示字母或者词语。备选地或者附加地，来自墨水输入202的墨水笔划204可以经由几何聚类被聚合。考虑这样的示例：用户应用墨水输入202并且随后将更多的墨水添加在内容的相同帧上。在该示例中，墨水输入202和随后添加的墨水可以通过二维平面上的接近度被聚合并且在时间域中被聚合。
如场景600中所示的，墨水笔划204a、204b、204c、204d中的每一个都表示来自墨水输入202的字母并且包括时间值206，该时间值206指定来自笔划集合602的针对墨水笔划204a、204b、204c、204d中的每个墨水笔划的start_time和end_time。笔划集合602包括被定义为笔划集合602中的针对墨水笔划204的最小start_time和笔划集合602中的针对墨水笔划204的最大end_time的组时间值604。例如，组时间值604被定义为表示字母“C”的来自墨水笔划204a的start_time和针对墨水笔划204d的表示字母“P”的end_time。
根据各种实施方式，墨水笔划204的插入和/或删除跟随区间树结构的路径。区间树结构表示二叉树，在该二叉树中，墨水笔划204在时间值206小于连续的墨水笔划的集合204的时间值206时被放置在左子树上，或者被放置在右子树上。当将墨水笔划204插入树中时，墨水模块118从墨水笔划204被添加的start_time搜索小于500ms的笔划集合602。如果笔划集合602并没有通过搜索被返回，则墨水模块118利用所添加的墨水笔划204创建新的笔划集合602作为根节点。如果墨水集合602经由搜索被返回墨水模块118，则新的墨水笔划204被添加并且组时间值604针对笔划集合602被重新计算。
在至少一些实施方式中，墨水模块118通过从树选择对应的墨水笔划204，来渲染墨水输入202以用于显示。以这种方式，与未利用聚合技术的具有相同数目的墨水笔划的结构相反，墨水模块118减少了用于渲染的搜索墨水笔划所需的操作的数目。
考虑渲染视频回放上的墨水笔划的示例。对于每个视频帧，墨水模块118接收时间戳并且搜索笔划集合602，其中，组时间值604包含时间戳，从该笔划集合602选择墨水笔划204以用于渲染。对墨水笔划204的选择包括如下步骤：
1、开始于树的根；
2、如果当前节点为空，则进入最后一个步骤；
3、如果组时间值604的end_time小于时间戳，则进入最后一个步骤；
4、如果当前节点包含给定树，则将其保存在输出列表中并且继续；
5、如果当前节点start_time大于时间戳、则当前节点＝左子节点并且返回步骤2。
6、否则，当前节点＝右子节点并且返回步骤2。
7、采用来自输出列表的所有节点并且返回用于进一步的处理，例如，渲染。
在至少一些实施方式中，墨水输入202的动画修改(延长或者缩短)墨水定时信息。在这种情况下，时间值206和/或组时间值604被重新定义。例如，墨水输入202在相同的持续时间内制成动画，因为墨水被应用但是在展开之前的预定义时间段内仍然被显示。在该特定示例中：new_start_time＝start_time、new_end_time＝end_time+用于静态显示的预定义时间段。
图7描绘了根据一种或者多种实施方式的用于将笔划集合组织成树结构的示例实施方式场景700。例如，场景700表示记录和组织墨水输入202的示例方式。
场景700示出：墨水输入202形成短语“CAMP LUCK 2016”，该短语“CAMP LUCK2016”作为将笔划集合602、704、706包括在二叉树结构中的对象702被存储。如图所示，笔划集合602、704、706中的每个笔划集合都表示来自墨水输入202的词语并且包括组时间值604。对象702包括对象时间值708，该对象时间值708被定义为来自对象702的针对笔划集合602、704、706的最小start_time和来自对象702的针对笔划集合602、704、706的最大end_time。
已经讨论了一些示例实施方式场景，现在考虑讨论根据一个或者多个实施例的一些示例过程。示例过程可以被用于图1的环境100、图14的系统1400和/或任何其它合适的环境。例如，过程表示用于实施上面描述的实施方式场景的示例过程。在至少一些实施方式中，针对各种过程描述的步骤被自动实施和独立于用户交互被实施。根据各种实施方式，过程可以在本地(例如，在客户端设备102处)、在基于网络的服务处和/或经由客户端设备102与基于网络的服务之间的协作被执行。
图8是描述在根据一个或者多个实施例的方法中的步骤的流程图。例如，该方法描述了根据一个或者多个实施例的用于在特定时间间隔过去之后从显示设备去除墨水输入作为展开动画的示例过程。
步骤800接收被显示在显示设备上的内容之上的墨水输入。例如，墨水模块118在被显示在GUI 126上的视频内容120之上的点处经由输入机构112接收输入。在至少一些实施方式中，当笔132接触显示设备110的表面或者悬停在显示设备110的表面之上时，墨水输入202被接收。
步骤802对墨水输入的部分加上时间戳，以使该墨水输入与内容在时间上相关。在一种实施方式中，墨水模块118经由对墨水API 124的调用接收来自视频播放器122的针对视频内容120的时间值206。例如，墨水输入202的start_time和end_time被墨水模块118记录以使视频内容120与针对墨水输入202的pen_down和pen_up时间在时间上相关。使时间戳与墨水输入202的墨水笔划204相关的附加示例贯穿本说明书被详细说明。
响应于接收到墨水输入停止的指示，步骤804使墨水输入在特定的时间间隔过去后作为展开动画在视觉上从显示设备消失。在至少一些实施方式中，墨水模块118响应于墨水输入202停止一段特定时间来开始定时器302。例如，定时器302在pen_up之后的500ms+/-100ms间隔之后被墨水模块118开始。在定时器302到期时，墨水模块118使墨水输入按照墨水输入202被接收的方向和顺序在视觉上展开。根据一种实施方式，墨水输入202基于墨水输入202的总持续时间作为动画在视觉上展开，使得墨水输入202以恒定的速率展开。在备选实施方式中，墨水输入202基于来自墨水输入202的每个墨水笔划204的时间值206作为动画展开，使得每个墨水笔划204以相应的墨水笔划204被应用的速度展开。
步骤806基于被应用于墨水输入的时间戳，实现墨水输入连同内容的回放。根据一些实施方式，墨水模块118使墨水输入202在视频内容的墨水输入202最初被应用的回放点处重新出现在视频内容120上。例如，墨水输入202基于时间值206以墨水输入202最初被笔132应用的速度经由动画被呈现。在一种实施方式中，墨水模块118基于与视频内容120的回放相关的时间值206，通过渲染来自二叉树结构的墨水输入202的墨水笔划204和/或笔划集合602，使墨水输入202重新出现在视频内容120上。例如，二叉树结构是自平衡数据结构，该自平衡数据结构由墨水模块118可搜索，以经由GUI 126渲染墨水输入202，以用于显示。
图9是描述在根据一个或者多个实施例的方法中的步骤的流程图。例如，方法描述了根据一个或者多个实施例的用于以输入被接收的速度与内容的部分时间上相关地显示墨水输入的示例过程。
步骤900回放内容与墨水输入时间上相关的部分。例如，视频内容120经由GUI 126通过视频播放器122被回放。响应于视频内容120回放，墨水模块118在至少一些实施方式中搜索与墨水输入202一起被存储的时间值206和/或组时间值604。
步骤902以输入被接收到的速度与内容的部分时间上相关地显示墨水输入。根据各种实施方式，墨水输入202被显示在视频内容120上，使得墨水输入202基于时间值206在视频内容120的墨水输入202最初被应用的回放点处作为动画被回放。例如，与时间值206相关的墨水笔划204和/或笔划集合602被墨水模块取回，以用于在视频内容120之上的显示。根据一种实施方式，墨水输入202被墨水模块118取回作为被存储为自平衡二叉树结构的墨水笔划204和/或笔划集合602。
图10是描述在根据一个或者多个实施例的方法中的步骤的流程图。例如，方法描述了根据一个或者多个实施例的用于与内容时间上相关地将墨水输入显示在内容上，使得墨水输入按照相反的顺序被显示的示例过程。
步骤1000接收倒回输入。例如，视频播放器122按照与回放方向相反的方向经由输入机构112滑动时间标记器130来接收输入。在一种实施方式中，输入是经由用户的手指接触时间标记器130之上的显示设备110的表面来接收的。
步骤1002根据倒回输入来倒回内容。视频播放器122使得按照与回放方向相反的方向在GUI 126上回放视频内容120，使得视频内容120在相反的方向上被回放。
步骤1004与内容时间上相关地在内容之上显示墨水输入，使得墨水输入按照所述的接收墨水输入的相反的顺序被显示。根据一些实施方式，墨水模块118使墨水笔划204和/或笔划集合602基于时间值206按照相反的顺序被显示在视频内容120上。例如，在视频内容120的倒回回放期间，墨水模块118分别取回墨水笔划204d、204c、204b、204a，这是由于墨水笔划204d包括来自笔划集合602的最高end_time。继续该示例，墨水笔划204d、204c、204b、204a被渲染以用于作为视频内容120上的动画和与视频内容120的倒回回放在时间上相关地被分别显示，使得笔划集合602按照与笔划集合602被应用的顺序相反的顺序被显示。
图11是描述在根据一个或者多个实施例的方法中的步骤的流程图。例如，方法描述了根据一个或者多个实施例的用于基于针对墨水笔划的集合的相应的时间戳将墨水笔划的集合组织成二叉树结构的示例过程。
步骤1100接收被显示在显示设备上的内容之上的墨水输入。根据各种实施方式，墨水模块118接收来自笔132的输入，在显示设备上回放视频内容120期间，该笔132接触和/或悬停在显示设备110的表面附近。
步骤1102对墨水输入的墨水笔划加上时间戳，以使墨水输入与内容在时间上相关。如上所述，墨水模块118通过记录与视频内容120的回放相关的时间值206，例如，start_time和end_time来登记墨水输入202的时间戳。例如，墨水输入202的时间值206是基于墨水模块118记录pen_down、pen_up、offset_time和duration来确定的。在一些实施方式中，墨水模块118经由对墨水API 124的调用接收来自视频播放器122的时间值206。
步骤1104基于相应墨水笔划之间的时间接近度，将墨水笔划的集合聚合在一起，该时间接近度基于针对墨水笔划的相应时间戳。根据各种实施方式，墨水模块118基于连续墨水笔划之间的阈值间隔将墨水笔划204a、204b、204c、204d聚合成笔划集合602，如时间值206所指示的。例如，阈值间隔是500ms并且笔划集合602包括具有被分离了小于阈值间隔的end_time和start_time的连续墨水笔划204。在示例中，阈值间隔内的墨水笔划204被存储作为笔划集合602连同相应的时间值206。
步骤1106基于针对墨水笔划的集合的相应时间戳，将墨水笔划的集合组织成二叉树结构。在一种实施方式中，墨水笔划204a、204b、204c、204d中的每个墨水笔划表示来自墨水输入202的字母并且包括时间值206，该时间值206指定来自墨水集合602的针对墨水笔划204a、204b、204c、204d中的每个墨水笔划的end_time和start_time。墨水集合602包括组时间值604，该组时间值604被定义为笔划集合602中的针对墨水笔划204的最小start_time和笔划集合602中的针对墨水笔划204的最大end_time。
步骤1108基于被应用于墨水输入的时间戳，将二叉树结构存储为可搜索数据结构，以实现取回和渲染以用于显示墨水输入连同内容。根据各种实施方式，二叉树结构被组织，使得墨水笔划204在时间值206小于墨水笔划的连续集合204的时间值206时被放置在左子树上，或者被放置在右子树上。例如，当将墨水笔划204插入树中时，墨水模块118从墨水笔划204被添加的start_time搜索小于500ms的笔划集合602。如果笔划集合602并没有通过搜索被返回，则墨水模块118利用所添加的墨水笔划204创建新的笔划集合602作为根节点。如果墨水集合602经由搜索被返回给墨水模块118，则新的墨水笔划204被添加并且组时间值604针对笔划集合602被重新计算。以这种方式，与未利用聚合技术的具有相同数目的墨水笔划的结构相比，墨水模块118减少了搜索用于渲染的墨水笔划所需的操作的数目。
图12是描述在根据一个或者多个实施例的方法中的步骤的流程图。例如，方法描述根据一个或者多个实施例的用于从二叉树结构取回与内容的部分时间上相关的墨水笔划的集合的示例过程。
步骤1200回放内容与墨水输入时间上相关的部分。例如，视频内容120通过视频播放器122在GUI 126上被回放。响应于视频内容120回放，墨水模块118接收来自视频播放器122的用于回放的时间值206。
步骤1202从二叉树结构取回与内容的部分时间上相关的墨水笔划的集合。在至少一些实施方式中，对于每个视频帧，墨水模块118接收时间戳并且搜索具有组时间值604的笔划集合602，该组时间值604包含与时间戳相关的时间值206。
步骤1204渲染所取回的墨水笔划的集合，以用于在显示设备上显示。例如，与时间值206相关的墨水笔划204和/或笔划集合602由墨水模块118取回，以用于在视频内容120之上的显示。根据一种实施方式，墨水输入202由墨水模块118取回作为墨水笔划204和/或笔划集合602，该墨水笔划204和/或该笔划集合602被存储作为自平衡二叉树结构。
图13是描述在根据一个或者多个实施例的方法中的步骤的流程图。例如，方法描述了根据一个或者多个实施例的用于渲染墨水笔划的集合以用于与倒回内容在时间上相关地显示的示例过程。
步骤1300接收倒回输入。例如，视频播放器122按照与回放方向相反的方向经由输入机构112滑动时间标记器130来接收输入。在一种实施方式中，输入是经由用户的手指接触时间标记器130之上的显示设备110的表面来接收的。
步骤1302根据倒回输入来倒回内容。视频播放器122使得按照与回放方向相反的方向在GUI 126上回放视频内容120，使得视频内容120在相反的方向上被回放。
步骤1304从二叉树结构取回与内容的部分时间上相关的墨水笔划的集合。在至少一种实施方式中，墨水笔划204被存储作为可搜索的二叉树结构。在特定实施方式中，树结构是自平衡的并且对墨水笔划204的选择包括墨水模块118执行以下步骤：开始于树的根；如果当前节点为空，则进入最后一个步骤；如果组时间值604的end_time小于时间戳，进入最后一个步骤；如果当前节点包含给定树，则将其保存在输出列表上并且继续；如果当前节点start_time大于时间戳，则当前节点＝左子节点并且返回步骤2；否则，当前节点＝右子节点并且返回步骤2；采用来自输出列表的所有节点并且返回。
步骤1306渲染所取回的墨水笔划的集合，以用于在显示设备上与内容在时间上相关地显示，使得墨水笔划按照与所述的接收墨水输入相反的顺序被显示。例如，所取回的墨水笔划204d、204c、204b、204a被渲染以分别用于作为视频内容120之上的动画的和与视频内容120的倒回回放时间上相关地显示，使得笔划集合602按照与笔划集合602被应用的顺序相反的顺序被显示。
示例系统和设备
图14图示了一般在1400处的示例系统，该示例系统包括代表一个或者多个计算系统的示例计算设备1402和/或可以实施本文所描述的各种技术的设备。例如，上面参考图1所讨论的客户端设备102可以被体现为计算设备1402。计算设备1402可以是例如服务提供商的服务器、与客户端(例如，客户端设备)相关联的设备、片上系统和/或任何其它合适的计算设备或者计算系统。
如图所示的示例计算设备1402包括处理系统1404、一个或者多个计算机可读介质1406和彼此通信耦合的一个或者多个输入/输出(I/O)接口1408。虽然未示出，但是计算设备1402可以进一步包括将各种组件彼此耦合的系统总线或者其它数据和命令传输系统。系统总线可以包括不同的总线结构(诸如，存储器总线或者存储器控制器、外围设备总线、通用串行总线、和/或利用各种总线架构中的任何一个的处理器或者本地总线)中的任何一个或者组合。还设想了各种其它示例，诸如，控制和数据线。
处理系统1404代表使用硬件执行一个或者多个操作的功能。相应地，处理系统1404被图示为包括硬件元件1410，该硬件元件1410可以被配置为处理器、功能块等。这可以将实施方式包括在硬件中，作为专用集成电路或者使用一个或者多个半导体形成的其它逻辑设备。硬件元件1410并不限于由其制造的材料或者其中所采用的处理机构。例如，处理器可以由(多个)半导体和/或晶体管(例如，电子集成电路(IC))组成。在这种上下文中，处理器可执行指令可以是电子可执行指令。
计算机可读介质1406被图示为包括存储器/存储装置1412。存储器/存储装置1412表示与一个或者多个计算机可读介质相关联的存储器/存储装置能力。存储器/存储装置1412可以包括易失性介质(诸如，随机存取存储器(RAM))和/或非易失性介质(诸如，只读存储器(ROM)、闪速存储器、光盘、磁盘等)。存储器/存储装置1412可以包括固定介质(例如，RAM、ROM、固定硬盘驱动器等)以及可移除介质(例如，闪速存储器、可移除硬盘驱动器、光盘等)。计算机可读介质1406可以按照下面进一步描述的各种其它方式来配置。
(多个)输入/输出接口1408代表允许用户将命令和信息录入计算设备1402并且还允许使用各种输入/输出设备将信息呈现给用户和/或其它组件的功能。输入设备的示例包括键盘、光标控制设备(例如，鼠标)、麦克风(例如，用于语音视频和/或语言输入)、扫描仪、触摸功能(例如，被配置为检测物理触摸的电容性的或者其它传感器)、摄像头(例如，其可以采用可见的或者不可见的波长，诸如，用以检测不包含触摸作为姿势的移动的红外频率)等。输出设备的示例包括显示设备(例如，监控器或者投影仪)、扬声器、打印机、网卡、触觉响应设备等。因此，计算设备1402可以按照下面进一步描述的各种方式被配置为支持用户交互。
各种技术在本文中可以在软件、硬件元件或者程序模块的一般上下文中被描述。一般而言，这种模块包括执行特定任务或者实施特定抽象数据类型的例程、程序、对象、元件、组件、数据结构等。本文所使用的术语“模块”、“功能”和“组件”通常表示软件、固件、硬件、或者其组合。本文所描述的技术的特征是独立于平台的，意味着技术可以被实施在具有各种处理器的各种商业计算平台上。
所描述的模块和技术的实施方式可以被存储在某种形式的计算机可读介质上或者跨某种形式的计算机可读介质被传送。计算机可读介质可以包括各种介质，这些介质可以由计算设备1402访问。通过示例而非限制，计算机可读介质可以包括“计算机可读存储介质”和“计算机可读信号介质”。
“计算机可读存储介质”可以指仅仅与信号传输、载波或者信号本身相比较实现永久存储信息的介质和/或设备。计算机可读存储介质不包括信号本身。计算机可读存储介质包括硬件，诸如，易失性和非易失性、可移除和不可移除介质、和/或用适合于存储诸如计算机可读指令、数据结构、程序模块、逻辑元件/电路、或者其它数据等信息的方法或者技术来实施的存储设备。计算机可读存储介质的示例可以包括但不限于RAM、ROM、EEPROM、闪速存储器或者其它存储器技术、CD-ROM、数字通用光盘(DVD)或者其它光学存储装置、硬盘、磁带盒、磁带、磁盘存储装置或者其它磁存储设备、或者适合于存储期望信息并且可以由计算机访问的其它存储设备、有形介质或者制品。
“计算机可读信号介质”可以指信号承载介质，该信号承载介质被配置为将指令传送至计算设备1402的硬件，诸如，经由网络。信号介质通常可以体现计算机可读指令、数据结构、程序模块、或者经调制的数据信号中的其它数据，诸如，载波、数据信号或者其它运输机构。信号介质还包括任何信息递送介质。术语“经调制的数据信号”指的是具有其特征集中的一个或者多个或者以关于编码信号中的信息的这种方式被改变的信号。通过示例而非限制，通信介质包括有线介质(诸如，有线网络或者直接有线连接)或者无线介质(诸如，声学、射频(RF)、红外和其它无线介质)。
如先前所描述的，硬件元件1410和计算机可读介质1406代表以硬件形式被实施的指令、模块、可编程设备逻辑和/或固定设备逻辑，该硬件形式在一些实施例中可以被采用来实施本文所描述的技术的至少一些方面。硬件元件可以包括集成电路或者片上系统的组件、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑设备(CPLD)和在硅或者其它硬件设备中的其它实施方式。在这种上下文中，硬件元件可以作为处理设备和硬件设备操作，该处理设备执行由硬件元件所体现的指令、模块和/或逻辑定义的程序任务，该硬件设备被用来存储用于执行的指令，例如，先前所描述的计算机可读存储介质。
上述内容的组合还可以被用来实施本文所描述的各种技术和模块。相应地，软件、硬件或者程序模块和其它程序模块可以被实施为在某种形式的计算机可读存储介质上和/或由一个或者多个硬件元件1410体现的一个或者多个指令和/或逻辑。计算设备1402可以被配置为实施与软件和/或硬件模块相对应的特定指令和/或功能。相应地，作为软件的由计算设备1402可执行的模块的实施方式可以至少部分地用硬件，例如，通过使用计算机可读存储介质和/或处理系统的硬件元件1410来实现。指令和/或功能可以由一个或者多个制品(例如，一个或者多个计算设备1402和/或处理系统1404)可执行/可操作以实施本文所描述的技术、模块和示例。
如图14中进一步所图示的，示例系统1400在个人计算机(PC)、电视设备和/或移动设备上运行应用时实现用于无缝的用户体验的普遍环境。服务和应用在利用应用、玩视频游戏、观看视频等的同时从一个设备转变成下一个设备时在用于共同用户体验的所有三个环境中大体上相似地运行。
在示例系统1400中，多个设备通过中央计算设备被相互连接。中央计算设备对于多个设备可以是本地的或者可以远离多个设备被定位。在一个实施例中，中央计算设备可以是一个或者多个服务器计算机的云，该一个或者多个服务器计算机通过网络、互联网或者其它数据通信链路被连接至多个设备。
在一个实施例中，该互相连接架构使得功能能够跨多个设备被递送，以向多个设备的用户提供共同且无缝的体验。多个设备中的每个设备可以具有不同的物理需求和能力，并且中央计算设备使用平台来实现将为设备定制的并且为所有设备共有的体验递送至设备。在一个实施例中，创建目标设备的类别并且为通用的设备类定制体验。设备的类可以由物理特征、使用类型或者设备的其它共同特性定义。
在各种实施方式中，计算设备1402可以设想各种不同的配置，诸如，用于计算机1414、移动电话1416和电视用途。这些配置中的每个配置包括一般可以具有不同的构造和能力的设备，并且因此，计算设备1402可以根据不同的设备类中的一个或者多个来配置。例如，计算设备1402可以被实施为设备的计算机1414类，该类设备包括个人计算机、台式计算机、多屏幕计算机、膝上型计算机、笔记型计算机等。
计算设备1402还可以被实施为设备的移动电话1416类，该类设备包括移动设备，诸如，移动电话、便携式音乐播放器、便携式游戏设备、平板计算机、可穿戴设备、多屏幕计算机等。计算设备1402还可以被实施为设备的电视1418类，该类设备包括具有或者被连接至在随意的浏览环境中的通常较大的屏幕的设备。这些设备包括电视机、机顶盒、游戏控制台等。
本文所描述的技术可以由计算设备1402的这些各种配置支持并且不限于本文所描述的技术的特定示例。例如，参考客户端设备和/或墨水模块118所讨论的功能可以经由下面所描述的平台1422全部或者部分通过使用分布式系统来实施，诸如，在“云”1420之上。
云1420包括和/或代表用于资源1424的平台1422。平台1422使云1420的硬件(例如，服务器)和软件资源的下层功能抽象化。资源1424可以包括在计算机处理在远离计算设备1402的服务器上被执行的同时可以被利用的应用和/或数据。资源1424还可以包括在互联网之上和/或通过诸如蜂窝或者Wi-Fi网络等订户网络提供的服务。
平台1422可以使将计算设备1402与其它计算设备连接的资源和功能抽象化。平台1422还可以用以使资源的扩展抽象化以将对应等级的扩展提供给针对经由平台1422实施的资源1424的遇到的需求。相应地，在被互相连接的设备实施例中，本文所描述的功能的实施方式可以贯穿系统1400被分布。例如，功能可以部分地被实施在计算设备1402上并且经由平台1422来实施，该平台1422使云1420的功能抽象化。
本文中讨论了可以被实施以执行本文所描述的技术的多种方法。方法的方面可以用硬件、固件或者软件、或者其组合来实施。方法被示出为步骤的集合，这些步骤指定由一个或者多个设备执行的操作并且不一定限于由相应框示出的用于执行操作的顺序。进一步地，关于特定方法示出的操作可以与根据一种或者多种实施方式的不同方法的操作组合和/或互换。方法的方面可以经由上面参考环境100所讨论的各种实体之间的交互来实施。
在本文的讨论中，描述了各种不同的实施方式。应当了解且理解，本文所描述的每种实施方式都可以被单独使用或者与本文所描述的一种或者多种方式结合使用。本文所讨论的技术的进一步的方面涉及下面的实施方式中的一种或者多种实施方式。
一种用于基于相应时间戳将墨水笔划的集合组织成二叉树结构的系统，该系统包括：一个或者多个处理器以及一个或者多个计算机可读存储介质，该一个或者多个计算机可读存储介质存储计算机可执行指令，该计算机可执行指令响应于由一个或者多个处理器的执行使系统执行操作，该操作包括：接收被显示在显示设备上的内容之上的墨水输入；对墨水输入的墨水笔划加上时间戳，以使墨水输入与内容在时间上相关；基于相应墨水笔划之间的时间接近度，将墨水笔划的集合聚合在一起，该时间接近度基于针对墨水笔划的相应时间戳；基于针对墨水笔划的集合的相应时间戳，将墨水笔划的集合组织成二叉树结构；以及将二叉树结构存储为可搜索数据结构，以基于被应用于墨水输入的时间戳，实现取回和渲染用于显示的墨水输入连同内容。
除了上述系统中的任何一个系统之外，还有以下中的任何一个或者组合：其中操作进一步包括：基于针对墨水笔划的集合的相应时间戳，将墨水笔划的集合聚合成墨水对象；其中操作进一步包括：基于墨水输入的相应墨水笔划之间的几何聚类，将墨水笔划的集合聚合在一起；其中二叉树结构是自平衡的；其中操作进一步包括：回放内容与墨水输入在时间上相关的部分；从二叉树结构取回与内容的部分在时间上相关的墨水笔划的集合；以及渲染所取回的墨水笔划的集合，以用于在显示设备上显示，其中操作进一步包括：接收倒回输入；根据倒回输入来倒回内容；从二叉树结构取回与内容的部分时间上相关的墨水笔划的集合；渲染所取回的墨水笔划的集合，以用于与内容在时间上相关地在显示设备上显示，使得墨水笔划按照与所述的接收墨水输入的顺序相反的顺序被显示。
一种用于从显示器去除墨水输入作为展开动画的计算机实现的方法，该方法包括：接收被显示在显示设备上的内容之上的墨水输入；对墨水输入的部分加上时间戳，以使墨水输入与内容在时间上相关；响应于接收到墨水输入停止的指示，使墨水输入在特定时间间隔过去之后作为展开动画在视觉上从显示设备消失；以及基于被应用于墨水输入的时间戳，实现墨水输入连同内容的回放。
除了上述方法中的任何方法之外，还有以下中的任何一个或者组合：进一步包括：基于墨水输入的相应墨水笔划之间的时间接近度，将墨水笔划的集合聚合在一起；进一步包括：基于针对墨水笔划的相应时间戳，将墨水输入的墨水笔划组织成树结构；进一步包括：基于针对墨水笔划的相应时间戳，将墨水输入的墨水笔划组织成二叉树结构，该二叉树结构被存储为可搜索数据结构；进一步包括：基于针对墨水笔划的相应时间戳，将墨水输入的墨水笔划组织成自平衡二叉树结构；进一步包括：接收倒回输入；根据倒回输入来倒回内容；以及与内容在时间上相关地在内容上显示墨水输入，使得墨水输入按照与所述的接收墨水输入的顺序相反的顺序被显示；进一步包括：回放内容的与墨水输入在时间上相关的部分；以及以输入被接收到的速度与内容的部分在时间上相关地显示墨水输入。
一种用于基于相应时间戳将墨水笔划的集合组织成二叉树结构的计算机实现的方法，该方法包括：接收被显示在显示设备上的内容上的墨水输入；对墨水输入的墨水笔划加上时间戳，以使墨水输入与内容在时间上相关；基于相应墨水笔划之间的时间接近度，将墨水笔划的集合聚合在一起，该时间接近度基于针对墨水笔划的相应时间戳；基于针对墨水笔划的集合的相应时间戳，将墨水笔划的集合组织成二叉树结构；以及将二叉树结构存储为可搜索数据结构，以基于被应用于墨水输入的时间戳，实现取回和渲染用于显示的墨水输入连同内容。
除了上述方法中的任何方法之外，还有以下中的任何一个或者组合：进一步包括：基于针对墨水笔划的集合的相应时间戳，将墨水笔划的集合聚合成墨水对象；进一步包括；基于墨水输入的相应墨水笔划之间的几何聚类，将墨水笔划的集合聚合在一起；其中二叉树结构是自平衡的；进一步包括：回放内容与墨水输入在时间上相关的部分；从二叉树结构取回与内容的部分时间上相关的墨水笔划的集合；以及渲染所取回的墨水笔划的集合，以用于在显示设备上显示；进一步包括：接收倒回输入；根据倒回输入来倒回内容；从二叉树结构取回与内容的部分在时间上相关的墨水笔划的集合；以及渲染所取回的墨水笔划的集合，以用于与内容在时间上相关地在显示设备上显示，使得墨水笔划按照与所述的接收墨水输入的顺序相反的顺序被显示；进一步包括：在内容的部分的回放期间，以墨水输入被接收的速度并且与内容的部分在时间上相关地显示墨水输入作为被渲染的动画。
结论
本公开描述了用于时间相关墨水的技术。虽然用特定于结构特征和/或方法动作的语言描述了实施例，但是应当理解，在所附权利要求中定义的实施例不必受限于所描述的特定特征或者动作。而是，具体特征和动作被公开作为实施所要求保护的实施例的示例形式。

Claims (15)

1.一种用于基于相应时间戳将墨水笔划的集合组织成二叉树结构的系统，所述系统包括：
一个或者多个处理器；以及
一个或者多个计算机可读存储介质，所述一个或者多个计算机可读存储介质存储计算机可执行指令，所述计算机可执行指令响应于由所述一个或者多个处理器的执行使所述系统执行操作，所述操作包括：
接收被显示在显示设备上的内容之上的墨水输入；
对所述墨水输入的墨水笔划加上时间戳，以使所述墨水输入与所述内容在时间上相关；
基于相应墨水笔划之间的时间接近度，将所述墨水笔划的集合聚合在一起，所述时间接近度基于针对所述墨水笔划的相应时间戳；
基于针对墨水笔划的所述集合的相应时间戳，将墨水笔划的所述集合组织成二叉树结构；以及
将所述二叉树结构存储为可搜索数据结构，以基于被应用于所述墨水输入的时间戳，实现取回和渲染用于显示的所述墨水输入连同所述内容。
2.根据权利要求1所述的系统，其中所述操作进一步包括：基于针对墨水笔划的所述集合的相应时间戳，将墨水笔划的所述集合聚合成墨水对象。
3.根据权利要求1所述的系统，其中所述操作进一步包括：基于所述墨水输入的相应墨水笔划之间的几何聚类，将所述墨水笔划的集合聚合在一起。
4.根据权利要求1所述的系统，其中所述二叉树结构是自平衡的。
5.根据权利要求1所述的系统，其中所述操作进一步包括：
回放所述内容与所述墨水输入在时间上相关的部分；
从所述二叉树结构取回与所述内容的所述部分在时间上相关的墨水笔划的所述集合；以及
渲染所取回的墨水笔划的所述集合，以用于在所述显示设备上显示。
6.根据权利要求1所述的系统，其中所述操作进一步包括：
接收倒回输入；
根据所述倒回输入来倒回所述内容；
从所述二叉树结构取回与所述内容的部分时间上相关的墨水笔划的所述集合；以及
渲染所取回的墨水笔划的所述集合，以用于与所述内容在时间上相关地在所述显示设备上显示，使得所述墨水笔划按照与所述的接收所述墨水输入的顺序相反的顺序被显示。
7.一种用于从显示器去除墨水输入作为展开动画的计算机实现的方法，所述方法包括：
接收被显示在显示设备上的内容之上的墨水输入；
对所述墨水输入的部分加上时间戳，以使所述墨水输入与所述内容在时间上相关；
响应于接收到所述墨水输入停止的指示，使所述墨水输入在特定的时间间隔过去后作为展开动画在视觉上从所述显示设备消失；以及
基于被应用于所述墨水输入的时间戳，实现所述墨水输入连同所述内容的回放。
8.根据权利要求7所述的方法，进一步包括：基于所述墨水输入的相应墨水笔划之间的时间接近度，将墨水笔划的集合聚合在一起。
9.根据权利要求7所述的方法，进一步包括：基于针对所述墨水笔划的相应时间戳，将所述墨水输入的墨水笔划组织成树结构。
10.根据权利要求7所述的方法，进一步包括：基于针对所述墨水笔划的相应时间戳，将所述墨水输入的墨水笔划组织成二叉树结构，所述二叉树结构被存储为可搜索数据结构。
11.根据权利要求7所述的方法，进一步包括：基于针对所述墨水笔划的相应时间戳，将所述墨水输入的墨水笔划组织成自平衡二叉树结构。
12.根据权利要求7所述的方法，进一步包括：
接收倒回输入；
根据所述倒回输入来倒回所述内容；以及
与所述内容在时间上相关地在所述内容上显示所述墨水输入，使得所述墨水输入按照与所述的接收所述墨水输入的顺序相反的顺序被显示。
13.根据权利要求7所述的方法，进一步包括：
回放所述内容的与所述墨水输入在时间上相关的部分；以及
以所述输入被接收到的速度与所述内容的所述部分在时间上相关地显示所述墨水输入。
14.根据权利要求7所述的方法，进一步包括：基于针对墨水笔划的集合的相应时间戳，将墨水笔划的所述集合聚合成墨水对象。
15.根据权利要求7所述的方法，进一步包括：基于所述墨水输入的相应墨水笔划之间的几何聚类，将墨水笔划的集合聚合在一起。
CN201780063482.7A 2016-10-14 2017-10-10 时间相关墨水 Pending CN109844760A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662408424P 2016-10-14 2016-10-14
US62/408,424 2016-10-14
US15/639,298 2017-06-30
US15/639,298 US10817169B2 (en) 2016-10-14 2017-06-30 Time-correlated ink
PCT/US2017/055814 WO2018071350A1 (en) 2016-10-14 2017-10-10 Time-correlated ink

Publications (1)

Publication Number Publication Date
CN109844760A true CN109844760A (zh) 2019-06-04

Family

ID=61903952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780063482.7A Pending CN109844760A (zh) 2016-10-14 2017-10-10 时间相关墨水

Country Status (4)

Country Link
US (1) US10817169B2 (zh)
EP (1) EP3526726B1 (zh)
CN (1) CN109844760A (zh)
WO (1) WO2018071350A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170236318A1 (en) * 2016-02-15 2017-08-17 Microsoft Technology Licensing, Llc Animated Digital Ink
US10650565B2 (en) 2017-06-02 2020-05-12 Apple Inc. Rendering animated user input strokes
US10867124B2 (en) * 2018-03-26 2020-12-15 Apple Inc. Manual annotations using clustering, anchoring, and transformation
KR102521800B1 (ko) * 2018-08-08 2023-04-14 삼성전자주식회사 드로잉 입력에 의한 애니메이티드 메시지를 생성하는 전자 장치
WO2020191040A1 (en) * 2019-03-18 2020-09-24 Google Llc Timing compensation and correlation of input with frames in a video game application
JP7314624B2 (ja) * 2019-05-30 2023-07-26 大日本印刷株式会社 情報処理装置及びプログラム

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5991441A (en) * 1995-06-07 1999-11-23 Wang Laboratories, Inc. Real time handwriting recognition system
CN1689023A (zh) * 2003-08-21 2005-10-26 微软公司 电子墨水处理
EP1657665A1 (en) * 2004-11-12 2006-05-17 Microsoft Corporation Analysis alternates in context trees
US20060242349A1 (en) * 2005-04-22 2006-10-26 Microsoft Corporation Rendering highlighting strokes
US20060274057A1 (en) * 2005-04-22 2006-12-07 Microsoft Corporation Programmatical Access to Handwritten Electronic Ink in a Tree-Based Rendering Environment
US20070047817A1 (en) * 2005-08-29 2007-03-01 Microsoft Corporation Style aware use of writing input
US20070067707A1 (en) * 2005-09-16 2007-03-22 Microsoft Corporation Synchronous digital annotations of media data stream
US20080195931A1 (en) * 2006-10-27 2008-08-14 Microsoft Corporation Parsing of ink annotations
US20080232690A1 (en) * 2007-03-23 2008-09-25 Palo Alto Research Center Incorporated Method and apparatus for creating and editing node-link diagrams in pen computing systems
US20080231635A1 (en) * 2007-03-23 2008-09-25 Palo Alto Research Center Incorporated Methods and processes for recognition of electronic ink strokes
US20110279379A1 (en) * 2010-05-13 2011-11-17 Jonas Morwing Method and apparatus for on-top writing
CN102253802A (zh) * 2010-06-22 2011-11-23 微软公司 墨水滞后补偿技术
US20130011116A1 (en) * 2010-05-07 2013-01-10 Thomson Licensing Method and device for optimal playback positioning in digital content
WO2015061231A1 (en) * 2013-10-24 2015-04-30 Livescribe Inc. Tagging of written notes captured by a smart pen
US20150116282A1 (en) * 2013-10-24 2015-04-30 Livescribe Inc. Organizing Written Notes Using Contextual Data
US20150338940A1 (en) * 2014-05-23 2015-11-26 Microsoft Technology Licensing, Llc Pen Input Modes for Digital Ink
US20150371677A1 (en) * 2014-06-19 2015-12-24 BrightSky Labs, Inc. User interface for video editing system
US20160062580A1 (en) * 2014-08-29 2016-03-03 Microsoft Corporation Computerized Dynamic Splitting of Interaction Across Multiple Content
US20160179772A1 (en) * 2014-12-23 2016-06-23 Lenovo (Singapore) Pte. Ltd. Reflow of handwriting content
CN105765502A (zh) * 2013-11-19 2016-07-13 株式会社和冠 用于墨水数据生成、墨水数据呈现、墨水数据操纵以及墨水数据通信的方法和系统
US20160232146A1 (en) * 2015-02-10 2016-08-11 Microsoft Technology Licensing, Llc Supporting Digital Ink in Markup Language Documents

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5600775A (en) 1994-08-26 1997-02-04 Emotion, Inc. Method and apparatus for annotating full motion video and other indexed data structures
US6452615B1 (en) 1999-03-24 2002-09-17 Fuji Xerox Co., Ltd. System and apparatus for notetaking with digital video and ink
US6999622B2 (en) * 2000-03-31 2006-02-14 Brother Kogyo Kabushiki Kaisha Stroke data editing device
US7602379B2 (en) 2001-06-19 2009-10-13 Hewlett-Packard Development Company, L.P. Digital annotator
US7218783B2 (en) 2003-06-13 2007-05-15 Microsoft Corporation Digital ink annotation process and system for recognizing, anchoring and reflowing digital ink annotations
US20060001667A1 (en) * 2004-07-02 2006-01-05 Brown University Mathematical sketching
US9275027B2 (en) 2007-03-30 2016-03-01 Pitney Bowes Inc. Method and system for collaborative capture and replay of digital media files using multimodal documents
TWI444858B (zh) * 2009-05-27 2014-07-11 Htc Corp Method and system for updating the gesture track of hand - held touch device
US9354763B2 (en) 2011-09-26 2016-05-31 The University Of North Carolina At Charlotte Multi-modal collaborative web-based video annotation system
US9465985B2 (en) * 2013-06-09 2016-10-11 Apple Inc. Managing real-time handwriting recognition
WO2015112623A1 (en) 2014-01-22 2015-07-30 Microsoft Technology Licensing, Llc Authoring, sharing and consumption of online courses
US20150370772A1 (en) 2014-06-20 2015-12-24 Microsoft Corporation Annotation preservation as comments
US9898841B2 (en) * 2015-06-29 2018-02-20 Microsoft Technology Licensing, Llc Synchronizing digital ink stroke rendering
US10162518B2 (en) * 2017-02-03 2018-12-25 Microsoft Technology Licensing, Llc Reversible digital ink for inking application user interfaces

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5991441A (en) * 1995-06-07 1999-11-23 Wang Laboratories, Inc. Real time handwriting recognition system
CN1689023A (zh) * 2003-08-21 2005-10-26 微软公司 电子墨水处理
EP1657665A1 (en) * 2004-11-12 2006-05-17 Microsoft Corporation Analysis alternates in context trees
US20060242349A1 (en) * 2005-04-22 2006-10-26 Microsoft Corporation Rendering highlighting strokes
US20060274057A1 (en) * 2005-04-22 2006-12-07 Microsoft Corporation Programmatical Access to Handwritten Electronic Ink in a Tree-Based Rendering Environment
US20070047817A1 (en) * 2005-08-29 2007-03-01 Microsoft Corporation Style aware use of writing input
US20070067707A1 (en) * 2005-09-16 2007-03-22 Microsoft Corporation Synchronous digital annotations of media data stream
US20080195931A1 (en) * 2006-10-27 2008-08-14 Microsoft Corporation Parsing of ink annotations
US20080232690A1 (en) * 2007-03-23 2008-09-25 Palo Alto Research Center Incorporated Method and apparatus for creating and editing node-link diagrams in pen computing systems
US20080231635A1 (en) * 2007-03-23 2008-09-25 Palo Alto Research Center Incorporated Methods and processes for recognition of electronic ink strokes
US20130011116A1 (en) * 2010-05-07 2013-01-10 Thomson Licensing Method and device for optimal playback positioning in digital content
US20110279379A1 (en) * 2010-05-13 2011-11-17 Jonas Morwing Method and apparatus for on-top writing
CN102253802A (zh) * 2010-06-22 2011-11-23 微软公司 墨水滞后补偿技术
WO2015061231A1 (en) * 2013-10-24 2015-04-30 Livescribe Inc. Tagging of written notes captured by a smart pen
US20150116282A1 (en) * 2013-10-24 2015-04-30 Livescribe Inc. Organizing Written Notes Using Contextual Data
CN105765502A (zh) * 2013-11-19 2016-07-13 株式会社和冠 用于墨水数据生成、墨水数据呈现、墨水数据操纵以及墨水数据通信的方法和系统
US20150338940A1 (en) * 2014-05-23 2015-11-26 Microsoft Technology Licensing, Llc Pen Input Modes for Digital Ink
US20150371677A1 (en) * 2014-06-19 2015-12-24 BrightSky Labs, Inc. User interface for video editing system
US20160062580A1 (en) * 2014-08-29 2016-03-03 Microsoft Corporation Computerized Dynamic Splitting of Interaction Across Multiple Content
US20160179772A1 (en) * 2014-12-23 2016-06-23 Lenovo (Singapore) Pte. Ltd. Reflow of handwriting content
US20160232146A1 (en) * 2015-02-10 2016-08-11 Microsoft Technology Licensing, Llc Supporting Digital Ink in Markup Language Documents

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
G. HARIT ET AL.: "Pàtrà: A Novel Document Architecture for Integrating Handwriting with Audio-Visual Information", 《NINTH INTERNATIONAL CONFERENCE ON DOCUMENT ANALYSIS AND RECOGNITION (ICDAR 2007)》, 5 November 2007 (2007-11-05), pages 1 - 5 *
ROBERT S. CULLER: "DSInk Software Library for Developing Data Structures Applications for the Tablet PC", 《HTTPS://PEOPLE.COMPUTING.CLEMSON.EDU/~PARGAS/TABLETPC/CULLERTABLETPCMASTERSPAPER.PDF》 *
ROBERT S. CULLER: "DSInk Software Library for Developing Data Structures Applications for the Tablet PC", 《HTTPS://PEOPLE.COMPUTING.CLEMSON.EDU/~PARGAS/TABLETPC/CULLERTABLETPCMASTERSPAPER.PDF》, 29 March 2005 (2005-03-29), pages 10 - 16 *
刘东明等: "基于可伸缩矢量图形的手绘几何图形结构分析方法", 《计算机应用》, vol. 36, no. 4, 10 April 2016 (2016-04-10), pages 1163 - 1166 *
孙正兴等: "在线草图识别中的用户适应性研究", 《计算机辅助设计与图形学学报》, vol. 16, no. 9, 30 September 2004 (2004-09-30), pages 1207 - 1215 *
陈绍涵等: "数字墨水显示技术研究", 《现代计算机》, 31 January 2013 (2013-01-31), pages 29 - 32 *

Also Published As

Publication number Publication date
US10817169B2 (en) 2020-10-27
EP3526726B1 (en) 2024-04-03
EP3526726A1 (en) 2019-08-21
US20180107371A1 (en) 2018-04-19
WO2018071350A1 (en) 2018-04-19

Similar Documents

Publication Publication Date Title
CN109844760A (zh) 时间相关墨水
US11287956B2 (en) Systems and methods for representing data, media, and time using spatial levels of detail in 2D and 3D digital applications
CN109952610B (zh) 图像修改器的选择性识别和排序
KR102083696B1 (ko) 사용자 개입 없이 레이아웃에 따라 이미지를 식별하고 정리하는 기법
CN102362251B (zh) 用于提供对应用程序的增强控制的用户界面
CN109155136A (zh) 从视频自动检测和渲染精彩场面的计算机化系统和方法
Ganapathy Design guidelines for mobile augmented reality: User experience
KR20210024233A (ko) 메시지 파라미터에 의한 메시지들의 라우팅
CN106537326A (zh) 用于辅助显示器的移动设备输入控制器
CN106796789A (zh) 与话音参考点的协同言语交互
CN108351688A (zh) 组合的抓握和移动性感测
CN103562908A (zh) 利用不同文件宿主的文件访问
CN103997687A (zh) 用于向视频增加交互特征的技术
CN109495616A (zh) 一种拍照方法及终端设备
CN108460817A (zh) 一种拼图方法及移动终端
CN114357278B (zh) 一种话题推荐方法、装置及设备
CN110377220A (zh) 一种指令响应方法、装置、存储介质及电子设备
CN106371706A (zh) 应用快捷方式位置选择的方法及装置
US10841482B1 (en) Recommending camera settings for publishing a photograph based on identified substance
CN114040248A (zh) 一种视频处理方法、装置和电子设备
Roccetti et al. Day and night at the museum: intangible computer interfaces for public exhibitions
US10915778B2 (en) User interface framework for multi-selection and operation of non-consecutive segmented information
CN113535055B (zh) 一种基于虚拟现实播放点读物的方法、设备及存储介质
WO2024113679A1 (zh) 多媒体资源处理方法、装置和设备
US20220222903A1 (en) Systems and Methods for Displaying and Interacting with a Dynamic Real-World Environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination