CN112020847A - 保留电子消息中的数字墨水空间关系 - Google Patents
保留电子消息中的数字墨水空间关系 Download PDFInfo
- Publication number
- CN112020847A CN112020847A CN201980026316.9A CN201980026316A CN112020847A CN 112020847 A CN112020847 A CN 112020847A CN 201980026316 A CN201980026316 A CN 201980026316A CN 112020847 A CN112020847 A CN 112020847A
- Authority
- CN
- China
- Prior art keywords
- digital ink
- electronic message
- location
- electronic
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/10—Multimedia information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B7/00—Radio transmission systems, i.e. using radiation field
- H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
- H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
- H04B7/0413—MIMO systems
- H04B7/0417—Feedback systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B7/00—Radio transmission systems, i.e. using radiation field
- H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
- H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
- H04B7/0413—MIMO systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/12—Messaging; Mailboxes; Announcements
- H04W4/14—Short messaging services, e.g. short message services [SMS] or unstructured supplementary service data [USSD]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Information Transfer Between Computers (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
公开了用于发送包括数字墨水的电子消息的系统和方法。一种系统包括至少一个电子处理器。所述至少一个电子处理器被配置为接收要包括在电子消息中的数字墨水,确定用于数字墨水的位置信息,该位置信息表示相对于电子消息中的至少一个其它对象的位置的、该数字墨水在电子消息中的位置,并将数字墨水和位置信息作为电子消息的一部分进行发送。
Description
背景技术
本文所描述的实施例通常涉及用于在电子消息的主体内接收数字墨水并将该电子消息发送给接收方,同时保留数字墨水与该消息中包括的其它数据(文本、图像等等)之间的空间关系的方法和系统。
发明内容
一些电子消息传送服务允许用户向诸如电子邮件消息、文本消息、即时消息等等之类的电子消息的主体添加数字墨水。可以将数字墨水保留为电子消息的主体中包含的图形对象,而不是将其转换为文本。数字墨水可以在语义上与消息的主体中包含的其它内容相关。例如,用户可以朝着包含在消息的主体中的图像或图像的一部分画一个箭头以注释该图像。
当将电子消息发送给接收方时,基于接收方使用的服务或设备,可以在消息的主体中不同地(例如,在不同的位置)显示数字墨水,这可能会影响数字墨水的预期的空间关系。例如,继续上面提供的箭头示例,当向接收方显示电子消息时,可能会在电子消息的主体中不同地显示箭头,使得箭头指向主体中与发送方所预期的不同的内容。
本文所描述的实施例提供了用于通过元数据向接收方发送数字墨水的方法和系统,该元数据描述了数字墨水在语义上如何与电子消息的主体中包括的其它内容相关。因此,当向接收方显示电子消息的主体时,在电子消息的主体内正确地显示数字墨水,以保持发送方的预期空间关系。发送元数据还允许接收方选择或更改数字墨水,并保留数字墨水和相关联内容的原始分辨率。
替代地或另外地,本文所描述的实施例可以将数字墨水和数字墨水周围的对象(文本、图像等)转换为单个图像(有效地创建数字墨水和语义相关内容的屏幕截图),以保留数字墨水和消息的主体中其它内容之间的语义关系。例如,在一些实施例中,如果接收方使用的设备未被配置为单独处理电子消息的主体中的数字墨水,则可以创建该数字墨水的屏幕截图以用作备份。
例如,一个实施例提供了一种用于发送包括数字墨水的电子消息的系统。该系统包括至少一个电子处理器。所述至少一个电子处理器被配置为接收要包括在电子消息中的数字墨水,确定用于数字墨水的位置信息,其中该位置信息表示相对于电子消息中的至少一个其它对象的位置的、该数字墨水在电子消息中的位置,并将数字墨水和位置信息作为电子消息的一部分进行发送。
另一个实施例提供了一种显示电子消息的方法。该方法包括:利用电子处理器接收电子消息,该电子消息包括数字墨水和位置信息,该位置信息表示相对于电子消息中的至少一个其它对象的位置的、该数字墨水在电子消息中的位置,并基于位置信息,在电子消息的主体中显示该数字墨水。
另一个实施例提供了一种存储有指令的非暂时性计算机可读介质,当所述指令由电子处理器执行时执行一组功能。该组功能包括:从第一用户设备接收电子消息,该电子消息包括图像、数字墨水以及与数字墨水相关联的位置信息,其中该位置信息表示相对于电子消息中的至少一个其它对象的位置的、该数字墨水在电子消息中的位置;从第二用户设备接收针对电子消息的请求。该组功能还包括:响应于该请求,确定第二用户设备是否被配置为显示电子消息中的数字墨水,响应于第二用户设备被配置为显示电子消息中的数字墨水,向第二用户设备发送包括数字墨水和与数字墨水相关联的位置信息的电子消息,以及响应于第二用户设备未被配置为显示电子消息中的数字墨水,向第二用户设备发送包括图像的电子消息。
附图说明
图1根据一个实施例,示意性地示出了用于发送和接收电子消息的系统。
图2根据一个实施例,示意性地示出了包括在图1的系统中的用户设备。
图3是显示电子消息的主体中包含的数字墨水的屏幕截图。
图4是根据一个实施例,示出由图1的系统执行的,用于在保留数字墨水与电子消息中包括的其它内容之间的空间关系的同时发送电子消息的方法的流程图。
具体实施方式
在以下的描述和附图中,描述和示出了一个或多个实施例。这些实施例并不限于本文所提供的具体细节,并且可以以各种方式进行修改。此外,可以存在本文未描述的其它实施例。而且,本文描述为由一个组件执行的功能可以由多个组件以分布式方式执行。同样,可以对多个组件执行的功能进行合并,并由单个组件来执行。类似地,被描述为执行特定功能的组件也可以执行本文未描述的其它功能。例如,以某种方式“配置”的设备或结构至少以这种方式进行配置,但是也可以以未列出的方式进行配置。此外,本文所描述的一些实施例可以包括一个或多个电子处理器,其中所述一个或多个电子处理器被配置为通过执行存储在非暂时性计算机可读介质中的指令来执行所描述的功能。类似地,本文所描述的实施例可以实现为存储指令的非暂时性计算机可读介质,这些指令可由一个或多个电子处理器执行以执行所描述的功能。如本申请中所使用的,“非暂时性计算机可读介质”包括所有计算机可读介质,但是不包括暂时性的传播信号。因此,非暂时性计算机可读介质可以包括例如硬盘、CD-ROM、光学存储设备、磁性存储设备、ROM(只读存储器)、RAM(随机存取存储器)、寄存器、、处理器高速缓存或者其任何组合。
另外,本文所使用的措词和术语是出于描述的目的,并且不应被视为限制性的。例如,本文中对于“包括”、“包含”、“含有”、“具有”及其变体的使用,意在涵盖其后列出的项目及其等同物以及其它项目。术语“连接”和“耦合”被广泛地使用,并且涵盖直接和间接地连接和耦合。此外,“连接”和“耦合”并不限于物理或机械地连接或耦接,而可以包括电连接或耦接(无论是直接还是间接)。另外,可以使用有线连接、无线连接或者其组合来执行电子通信和通知,并且可以在各种类型的网络、通信信道和连接上,直接或通过一个或多个中间设备来发送电子通信和通知。此外,本文仅仅使用诸如第一和第二、顶部和底部等等之类的关系术语来区分一个实体或动作与另一个实体或动作,而不是必需要求或暗示这些实体或动作之间的任何实际的这种关系或顺序。
如上所述,当向接收方显示电子消息时,数字墨水相对于电子消息中包括的其它内容的空间关系可能被无意地修改。如以下更详细描述的,本文提供的实施例通过使用具有描述空间关系的元数据,向接收方发送数字墨水,来保持数字墨水的这种空间关系,这允许在电子消息的主体内将数字墨水正确地显示给接收方。
例如,图1示意性地示出了用于发送和接收电子消息的系统10。系统10包括多个用户设备(在本文中分别地称为“用户设备12”或者在本文中统称为“用户设备12”)和消息传送服务器14。用户设备12通过通信网络16,与消息传送服务器14进行通信。应当理解,系统10在各种配置中可以包括与图1所示的组件不同的其它组件。例如,虽然在图1中仅示出了四个用户设备12(作为一个例子),但更多的用户可以(通过用户设备)与消息传送服务器14进行交互。此外,消息传送服务器14可以包括以各种配置组织的任意数量的服务器,这些配置包括提供基于云的服务的一组服务器。另外,用户设备12可以通过其它的通信网络16或者与不同的用户设备12使用的通信网络16不同的网络,与消息传送服务器14进行通信。另外,在一些实施例中,用户设备12通过通信网络16,经由一个或多个中间设备(例如,其包括防火墙、网关、路由器等等)与消息传送服务器14进行通信。
图1中所示的通信网络16可以包括使得能够在系统10中的各个实体之间进行通信的有线网络、无线网络或者其组合。在一些配置中,通信网络16包括电缆网络、互联网、局域网(LAN)、广域网(WAN)、移动电话网络(MTN)和其它类型的网络(它们可能相互结合使用),以促进用户设备12与消息传送服务器14之间的通信。
消息传送服务器提供电子消息服务。因此,用户可以使用用户设备12来发送和接收(访问和查看)电子消息。如本申请中所使用的,电子消息包括电子邮件消息、文本消息、即时消息或其它电子通信的消息。如图1中所示,消息传送服务器14可以包括电子处理器18、计算机可读存储器20和通信接口22。电子处理器18、存储器20和通信接口22通过无线方式、一个或多个有线通信通道或总线、或者其组合进行通信。存储器20可以包括诸如随机存取存储器、只读存储器或者其组合之类的非暂时性存储器。电子处理器18可以包括被配置为执行存储在存储器20中的指令的微处理器。存储器20还可以存储与指令一起使用并通过指令执行生成的数据。通信接口22允许消息传送服务器14与包括通信网络16的外部网络和设备进行通信。例如,通信接口22可以包括用于与通信网络16进行通信的无线收发器。应当理解,系统10中包括的消息传送服务器14在各种配置中可以包括除图1中列出的组件之外的其它组件。例如,在一些实施例中,消息传送服务器14包括多个电子处理器、多个存储器、多个通信接口或者其组合。
还如图1中所示,存储器20存储消息传送服务应用程序24。消息传送服务应用程序24(由电子处理器18执行)向用户提供消息传送服务,其中用户通过用户设备12与消息传送服务器14进行通信。如上所述,消息传送服务可以允许用户发送和接收电子消息。在一些实施例中,消息传送服务应用程序24(或者由消息传送服务器14存储和执行的其它应用程序)还提供诸如日历服务、任务管理服务等等之类的其它服务。
每个用户设备12可以实现为任何数量的计算设备,其包括但不限于:个人计算机、膝上型计算机、台式计算机、便携式数字助理(PDA)、移动电话、平板计算机、电子书(eBook)阅读器设备、机顶盒、游戏控制台、智能电视、可穿戴设备(例如,智能手表、电子“智能”眼镜、健身追踪器等)、或者可以通过一个或多个网络发送和接收数据的任何其它电子设备。如图2中所示,用户设备12可以包括与上面关于消息传送服务器14所描述的电子处理器18、存储器20和通信接口22类似的电子处理器28、计算机可读存储器30和通信接口32。然而,如图2中所示,包括在用户设备12中的存储器30可以存储客户端应用程序34。由电子处理器28执行的客户端应用程序34允许用户通过通信网络16访问由消息传送服务器14(经由消息传送服务应用程序24)提供的邮件服务。在一些配置中,客户端应用程序34包括用于与消息传送服务器14进行通信,并访问消息传送服务(例如,由微软公司提供的)的专用应用程序。替代地,客户端应用程序34可以包括允许用户设备12访问消息传送服务器14提供的消息传送服务的网络浏览器(例如,由微软公司提供的Internet)。应当理解,在各种配置中,用户设备12可以包括除了如图3所示的之外的其它组件。例如,用户设备12可以包括一个或多个人机界面,例如,显示设备(触摸屏)、光标控制设备、键盘、扬声器、麦克风等等。
用户设备12(电子处理器28)执行客户端应用程序34来编写、发送、接收和显示电子消息。例如,图3示出了由用户设备12(在显示设备上)显示的示例性用户界面40(经由客户端应用程序34生成),该示例性用户界面40允许用户编写和发送电子消息。如图3中所示,用户界面40包括“To:”输入机制42和可选的“Cc:”输入机制44,其允许用户输入(或选择)电子消息的接收方的标识符(例如,电子邮件地址)。用户界面40还包括:允许用户输入电子消息的主题行(描述)的“主题”输入机制46和允许用户输入电子消息的内容(电子消息的主体)的主体输入机制48。
主体输入机制48可以包括绘图画布,其允许用户向电子消息中添加数字墨水。替代地或另外地,主体输入机制48可以允许用户在电子消息中包括的对象(例如,图像或另一个绘图对象)的上面(top)添加数字墨水。例如,如图3中所示,主体输入机制48包括图像50和至少部分位于图像50的上面的数字墨水52。用户可以通过以下方式将数字墨水52输入到主体输入机制48中:在用户界面中选择工具或模式,并可以使用光标控制的设备(鼠标)、手写笔等等来输入数字墨水52。替代地或另外地,当在触摸屏上显示用户界面40时,用户可以使用他或她的手指作为手写笔来输入数字墨水52。
当用户输入数字墨水52(并且如图3中所示地选择“发送”选择机制54)时,系统10将与数字墨水52相关联的元数据作为电子消息的一部分发送给消息传送服务器14,该元数据表示数字墨水52相对于电子消息中包括的其它内容(例如,文本,图像等)的位置。例如,墨水标记语言(InkML)是一种用于在软件应用程序之间交换数字墨水的万维网联盟(W3C)标准。InkML定义了表示连续墨水点序列的跟踪元素,其中每个点都捕获通过输入设备(手写笔、手指等)提供的输入的值(例如,X和Y坐标)。因此,一系列跟踪元素(迹线)可以累积为有意义的单位,例如字符、单词或图表。InkML还可以用于存储有关数字墨水的其它详细信息,例如时序信息、创建者信息等等。应当理解,可以使用其它类型的标记语言(包括专有语言)来表示数字墨水。
因此,当用户将数字墨水52添加到电子消息的主体中时,可以使用InkML来表示和存储(编码)数字墨水52。还针对数字墨水52生成位置信息,该位置信息定义了数字墨水52相对于电子消息的主体中包括的其它内容的相对位置。该位置信息可以存储在用于数字墨水的InkML内,也可以存储为单独的元数据的一部分,例如单独的标记语言数据(例如,可扩展标记语言(XML)数据)。因此,当向消息传送服务器14发送电子消息时,该消息包括InkML数据和相关联的位置信息,消息传送服务器14可以将它们转发给接收方。接收方使用的设备可以使用InkML数据和相关联的位置信息,在发送方想要的位置将数字墨水52绘制在电子消息的主体中。
例如,图4示出了用于使用系统10发送包括数字墨水的电子消息的方法60。在本文中,将方法60描述为由客户端应用程序34执行(如由用户设备12中包括的电子处理器28来执行)。但是,应当理解,本文关于方法60描述的功能可以在各种配置中进行组合和分布。例如,在一些实施例中,由消息传送服务器14执行的消息传送服务应用程序24执行方法60的一个或多个部分。具体而言,在客户端应用程序34是浏览器应用程序的情况下,消息传送服务应用程序24可以基于浏览器应用程序发送给消息传送服务器14的数据来执行方法60。
如图4中所示,方法60包括:接收要包括在电子消息中的数字墨水(在框62处)。如上所述,用户设备12可以被配置为生成数字墨水的标记语言数据(例如,InkML数据),其可以包括数字墨水的坐标。标记语言数据还可以包括数字墨水的时序(定义用户如何创建或绘制数字墨水的顺序和时序)、创建者信息或者其组合。
方法60还包括:确定用于数字墨水的位置信息,其中该位置信息表示表示相对于电子消息中的至少一个其它对象的位置的、该数字墨水在电子消息中的位置(在框64处)。如上所述,所述至少一个其它对象包括电子消息的主体中包括的其它内容,例如文本、图像、图标、其它数字墨水等等。如以下更详细描述的,接收方使用位置信息在发送方的预期位置显示电子消息的主体中的数字墨水,以保留数字墨水与其它内容之间的语义关系。
该位置信息标识消息中包含的一个或多个对象与数字墨水之间的形状、外观和关系,以便无论在接收端使用哪种类型的设备或软件,在接收端都可以保持该形状、外观和关系。在一些实施例中,该位置信息包括数字墨水在消息中的位置,例如,数字墨水在消息中包括的其它内容(例如,其它文本)之间(之前、之后或两者之间)的位置。在一些实施例中,当将数字墨水添加到电子消息的主体时,向该消息添加(在主体中包括的任何图像或文本下方)横跨(宽度方向)整个消息画布的绘图画布(用于将内容添加到消息的主体的区域)。相应地,该位置信息可以包括数字墨水在消息中的位置、绘图画布在主体中的位置、或者它们的组合。另外,当消息还包括图像时,可以在添加绘图画布之前将图像的位置包括在位置信息中,以保留该图像在消息中的原始位置。例如,在一些实施例中,添加绘图画布可能导致消息内的图像发生移动。替代地或另外地,该位置信息可以包括:数字墨水相对于绘图画布以及与绘图画布重叠的任何其它对象(例如,其它图像和其它数字墨水)的坐标。另外,在一些实施例中,位置信息可以包括为数字墨水创建的绘图画布的总面积。如以下更详细描述的,在位置信息中包含该信息允许在发送该消息时删除绘图画布的空白空间,以便维持绘图画布中包含的对象的分辨率,并可以在设备上以不同的显示尺寸来显示此类对象。
在一些实施例中,用户设备12被配置为通过以下方式来确定所述位置信息:确定电子消息内的至少一个其它对象的第一位置,并确定数字墨水的第二位置,并且(可选地)将第一位置与第二个位置进行比较。例如,该位置信息可以包括第一位置和第二位置之间的差异,该差异表示对象与数字墨水之间的距离。该差异也可以与所述至少一个其它对象的标识符相关联。在其它实施例中,该位置信息可以包括第一位置和第二位置,以类似地表示对象与数字墨水之间的距离。该位置可以是对象的中心点、拐角、周长、边界框等等。除了位置之外,该位置信息还可以包括与特定位置相关联的对象的标识符。例如,该位置信息可以包括一个或多个对象的标识符、以及每个对象与数字墨水之间的距离。
在一些实施例中,该位置信息包括关于电子消息的主体中包括的所有对象(所有内容)的信息。例如,该位置信息可以包括:表示电子消息内的数字墨水相对于电子消息中包括的每个其它对象的位置的位置的信息。但是,在其它实施例中,用户设备12被配置为在确定所述位置信息时,选择消息的主体中包括的对象的一个子集。例如,消息的主体中可能包含一些与数字墨水无关的对象。因此,可能不需要针对这些对象的位置信息。因此,用户设备12可以被配置为通过应用一个或多个规则或逻辑来确定哪些对象在语义上与数字墨水相关,并如上所述选择这些对象以用于确定位置信息。这些规则或逻辑可以考虑对象相对于数字墨水的位置、消息中包含的对象的类型、对象中包含的任何文本、或者它们的组合。例如,在一些实施例中,用户设备12被配置为将电子消息中包括的多个对象中的每个对象的位置与数字墨水的位置进行比较,并从所述多个对象中选择与数字墨水的位置在预定距离内的对象。类似地,用户设备12可以被配置为选择在引用数字墨水的消息或文本中包括的图像对象。例如,如果用户键入了句子“将该句子与下面用箭头标记的段落相连接”,则用户设备12可以被配置为选择该文本与包括箭头的数字墨水在语义上相关。在一些实施例中,用户设备12被配置为标记被选择用于确定位置信息的对象,使得用户可以接受或拒绝所选择的对象。也可以使用来自用户的反馈,来自动地设置或配置用于选择对象的规则或逻辑。
在一些实施例中,用户设备12被配置为当用户向电子消息中添加数字墨水时,确定并存储位置信息。替代地或另外地,用户设备12可以被配置为:当用户选择“发送”选择机制54以完成并发送消息时,确定位置信息。例如,为了高效地利用计算机资源,可能直到电子消息在发送之前处于最终状态时才生成位置信息。
如图4中所示,方法60还包括:将数字墨水和位置信息作为电子消息的一部分进行发送(在框66处)。如上所述,可以将位置信息包括在针对数字墨水生成的标记语言数据中。因此,在这些情况下,用户设备12通过发送标记语言数据,来发送数字墨水和位置信息。如以上参考图1所描述的,用户设备12通过通信网络16来向消息传送服务器14发送电子消息(包括数字墨水和位置信息),并且消息传送服务器14存储电子消息以供一个或多个接收方随后访问。响应于从用户设备12接收到针对消息的请求,消息传送服务器14将所请求的电子消息发送给用户设备12,并且用户设备使用该位置信息,在电子消息的主体中显示数字墨水以保持发送方的预期语义含义。例如,用户设备12不仅可以按照InkML数据中包括的坐标来显示数字墨水,还可以使用位置信息将数字墨水与其它内容对齐,因为该内容显示在消息的主体中。具体而言,当位置信息指示数字墨水的左上角位于消息中还包括的图像的下方三英寸和左侧两英寸时,用户设备12被配置为修改在电子消息中显示的数字墨水的位置,以保持相对于所显示图像的该方位。在一些实施例中,用户设备12被配置为基于位置信息,仅修改数字墨水的位置。但是,在其它实施例中,用户设备被配置为基于位置信息,来修改数字墨水、其它对象或者其组合的位置。另外,在一些实施例中,除了或替代于修改数字墨水的位置之外,用户设备12还可以被配置为修改数字墨水的形状或尺寸。例如,用户设备12可以被配置为增加数字墨水的尺寸,以维持数字墨水相对于电子消息中包括的两个或更多个对象的位置。
在一些实施例中,用户(接收方)可以选择在接收到的消息中显示的数字墨水,并且像在消息中包括的任何其它内容一样操纵数字墨水。例如,用户可能能够删除数字墨水,更改数字墨水的位置,或者以其它方式修改数字墨水。因此,通过将数字墨水作为消息的一部分进行发送,将数字墨水保持为消息的单独对象,并且可以这样进行操作。作为消息的一部分来发送数字墨水,也会保留数字墨水的原始分辨率,否则,如果将数字墨水作为图像或其它类型的静态对象进行发送,则可能会失真。
在一些实施例中,用户可以选择显示的数字墨水,以访问数字墨水的其它信息或元数据。例如,在一些实施例中,用户(发送方)可能已经创建了数字墨水,同时用户将音频数据添加到电子消息中。因此,在这种情况下,用户可能能够选择显示的数字墨水来播放与该数字墨水相关联的音频数据。使用与数字墨水相关联的时序信息,用户设备12还可以被配置为在播放音频数据期间,在预定的时间显示数字墨水。例如,如果发送方在他或她说“桌子似乎在这里坏了”时画了一个箭头,则用户设备12可以被配置为在播放音频数据期间,在该时间显示数字墨水。用户设备12可以将音频数据中包括的时间戳和数字墨水的标记语言数据(或其它元数据)中包括的时序信息进行比较。
类似地,在一些实施例中,用户设备12被配置为在显示数字墨水时,重现数字墨水的创建。例如,如果发送方在三秒钟内将以“H”开始并以“o”结束的单词“Hello”写为数字墨水,则显示该数字墨水的用户设备12可以使用与在显示的消息中的相同时间段内重现数字墨水相关联的时序信息,来显示最初如何创建数字墨水。重现数字墨水包括:按照创建数字墨水时的顺序、序列和时序来显示数字墨水的各个部分,而不是仅仅初始地显示完成的数字墨水。在一些实施例中,用户可以选择显示的数字墨水,以重现消息内的数字墨水。
在一些实施例中,接收方还可以通过将数字墨水添加到接收到的消息的主体中,或者将数字墨水添加到新的答复消息的主体中,来答复接收到的电子消息。在这两种情况下,用户可能都很难跟踪哪个用户提供了哪种数字墨水。因此,用户设备12可以被配置为将标记语言数据中包括的创建者信息用于数字墨水,以将数字墨水标记为源自于特定用户或一组用户。创建者信息可以包括一个用户或一组用户的标识符,并且用户设备12可以被配置为显示代表具有数字墨水的身份的指示符。该指示符可以是数字墨水的一部分,也可以是与数字墨水一起显示的单独的图标或符号。例如,在一些实施例中,可以以不同的颜色显示数字墨水以区分由不同用户创建的数字墨水。替代地或另外地,可以在由用户创建的数字墨水附近,显示由用户表示的图标(例如,个人资料图片等)。
在一些实施例中,电子消息的接收方所使用的用户设备12可能未被配置为使用如上所述的位置信息来显示数字墨水。因此,为了防止这些接收方丢失消息中包括的内容,可以生成数字墨水和一个或多个周围对象的图像,当未被配置为如上所述地接收数字墨水或者与数字墨水相关联的位置信息的用户设备访问电子消息时,可以将该图像用作备用。在一些实施例中,电子消息的发送方所使用的用户设备12被配置为生成并发送备份图像。替代地或另外地,消息传送服务器14可以被配置为基于数字墨水和用户设备发送的位置信息,来生成和存储单个图像。
不管如何创建图像,消息传送服务器14都可以被配置为响应于从用户设备12接收到针对电子消息的请求,来确定用户设备12(例如,其包括由用户设备12执行的客户端应用程序34)是否被配置为处理数字墨水和相关联的位置信息,并响应于该请求而自动地发送适当的数据。替代地或另外地,消息传送服务器14可以被配置为将单个图像和数字墨水以及相关联的位置信息两者发送给用户设备12,并且用户设备12可以被配置为确定要向接收方显示数字墨水的哪个版本。另外,在一些实施例中,接收方可以将客户端应用程序34配置为显示数字墨水的特定版本(作为缺省),或者应用一个或多个规则以确定是显示实际的数字墨水还是所生成的图像。可以在消息传送服务器14处为特定接收方(或客户端应用程序34)设置类似的配置设置,以控制如何将数字墨水发送到用户设备12以进行显示。例如,接收方可以根据可用的带宽或者其它服务参数,将消息传送服务器14配置为仅发送实际的数字墨水或者仅发送数字墨水的图像。
当生成用于数字墨水的图像时,用户设备12(或消息传送服务器14)还可以配置为:修剪图像中捕获的对象周围的未使用空间(空白空间),以使所得最终图像的尺寸尽可能小,而无需修改图像中捕获的对象的大小。例如,用户设备12可以被配置为:自动地识别在图像的边界上具有特定颜色(例如,白色)的所生成图像中的像素块(例如,行、列等),并从图像中去除这些像素块。因此,如果电子消息是在大屏幕上组成但在小屏幕上显示的,则未在缩小图像或迫使用户滚动以查看整个图像的情况下,图像不会由于太宽而无法在小屏幕上呈现。
另外,在一些实施例中,用户设备12(或消息传送服务器14)可以被配置为分析电子消息中包括的数字墨水和对象,以在创建图像时,自动地确定数字墨水与该消息中包括的一个或多个对象之间的语义关系。例如,为了保持所生成的图像尽可能小(以防止如上所述的缩小或滚动),用户设备12可以被配置为仅在具有数字墨水的图像中包括具有与数字墨水在语义上相关(潜在地)的对象。例如,用户可以在图像上添加一个箭头以标记图像的特定部分。在这种情况下,用户设备12可以被配置为:识别数字墨水与和该数字墨水重叠但不与电子消息中包括的其它对象(例如,其它图像、文本等等)重叠的图像在语义上相关。类似地,用户设备12可以被配置为分析消息的主体中包括的文本,以确定该文本是否在语义上与数字墨水相关。因此,如以上关于确定位置信息所描述的,用户设备12可以使用对象的位置、对象中包括的短语或单词等等,来自动地确定与数字墨水的语义关系。在一些实施例中,用户设备12还被配置为:自动地分割数字墨水以创建多个较小的图像,其中每个图像包括数字墨水的一部分以及与该数字墨水的一部分在语义上相关的对象。此外,在一些实施例中,如上所述,用户设备12被配置为:自动地识别数字墨水的语义相关对象,并将所识别的对象显示给用户以供批准或拒绝。
在所附权利要求中,阐述了一些实施例的各种特征和优点。
Claims (15)
1.一种用于发送包括数字墨水的电子消息的系统,所述系统包括:
至少一个电子处理器,其被配置为:
接收要包括在所述电子消息中的所述数字墨水;
确定用于所述数字墨水的位置信息,所述位置信息表示相对于所述电子消息中的至少一个其它对象的位置的、所述数字墨水在所述电子消息中的位置;以及
将所述数字墨水和所述位置信息作为所述电子消息的一部分进行发送。
2.根据权利要求1所述的系统,其中,所述位置信息包括:包含所述数字墨水的绘图画布在所述电子消息中的位置、以及所述数字墨水相对于所述绘图画布和所述至少一个其它对象的坐标。
3.根据权利要求1所述的系统,其中,所述至少一个电子处理器被配置为:通过确定所述电子消息中的所述至少一个其它对象的第一位置并且确定所述数字墨水的第二位置来确定用于所述数字墨水的所述位置信息,并且其中,所述位置信息包括所述第一位置和所述第二位置。
4.根据权利要求1所述的系统,其中,所述至少一个电子处理器还被配置为:通过将所述电子消息中包括的多个对象中的每个对象的位置与所述数字墨水的位置进行比较,并且响应于所述至少一个其它对象的所述位置在距所述数字墨水的所述位置的预定距离之内以从所述多个对象中选择所述至少一个其它对象,来选择所述至少一个其它对象。
5.根据权利要求1所述的系统,其中,所述至少一个电子处理器还被配置为:生成包括所述数字墨水和所述至少一个其它对象的图像,并且将所述图像作为所述电子消息的一部分进行发送。
6.根据权利要求5所述的系统,其中,所述至少一个电子处理器还被配置为:在将所述图像作为所述电子消息的一部分进行发送之前,识别所述图像中的空白空间并且从所述图像中去除所述空白空间。
7.存储有指令的计算机可读介质,当所述指令由电子处理器执行时执行一组功能,该组功能包括:
从第一用户设备接收电子消息,所述电子消息包括图像、数字墨水、以及与所述数字墨水相关联的位置信息,所述位置信息表示相对于所述电子消息中的至少一个其它对象的位置的、所述数字墨水在所述电子消息中的位置;
从第二用户设备接收针对所述电子消息的请求;以及
响应于所述请求:
确定所述第二用户设备是否被配置为显示电子消息中的数字墨水,
响应于所述第二用户设备被配置为显示电子消息中的数字墨水,向所述第二用户设备发送包括所述数字墨水以及与所述数字墨水相关联的所述位置信息的所述电子消息,以及
响应于所述第二用户设备未被配置为显示电子消息中的数字墨水,向所述第二用户设备发送包括所述图像的所述电子消息。
8.根据权利要求7所述的计算机可读介质,其中,所述图像包括所述数字墨水和所述至少一个其它对象。
9.一种显示电子消息的方法,所述方法包括:
利用电子处理器接收所述电子消息,所述电子消息包括数字墨水和位置信息,所述位置信息表示相对于所述电子消息中的至少一个其它对象的位置的、所述数字墨水在所述电子消息中的位置;以及
基于所述位置信息,在所述电子消息的主体中显示所述数字墨水。
10.根据权利要求9所述的方法,其中,在所述电子消息的所述主体中显示所述数字墨水包括显示所述数字墨水,其中,用户能够选择所述数字墨水来操纵所述数字墨水。
11.根据权利要求9所述的方法,还包括:
接收用于所述数字墨水的时序信息,所述时序信息表示用户在一时间段内对所述数字墨水的创建,并且其中,显示所述数字墨水包括:基于所述时序信息来重现所述数字墨水。
12.根据权利要求9所述的方法,还包括:
接收所述数字墨水的创建者信息,所述创建者信息表示创建了所述数字墨水的用户的身份,并且其中,显示所述数字墨水包括:利用所述数字墨水来显示表示所述用户的所述身份的指示符。
13.根据权利要求12所述的方法,其中,显示表示所述用户的所述身份的所述指示符包括:以与所述用户的所述身份相关联的颜色来显示所述数字墨水。
14.根据权利要求9所述的方法,还包括:
接收与所述电子消息相关联的音频数据,并且其中,在所述电子消息的所述主体中显示所述数字墨水包括:在播放所述音频数据期间,在预定时间显示所述数字墨水。
15.根据权利要求9所述的方法,其中,包括:
接收与所述数字墨水相关联的音频数据,接收对所述数字墨水的用户选择,以及播放与所述数字墨水相关联的所述音频数据。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/954,245 | 2018-04-16 | ||
US15/954,245 US10826572B2 (en) | 2018-04-16 | 2018-04-16 | Preserving digital ink spatial relationships in electronic messages |
PCT/US2019/025688 WO2019204034A1 (en) | 2018-04-16 | 2019-04-04 | Preserving digital ink spatial relationships in electronic messages |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112020847A true CN112020847A (zh) | 2020-12-01 |
Family
ID=66440124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980026316.9A Pending CN112020847A (zh) | 2018-04-16 | 2019-04-04 | 保留电子消息中的数字墨水空间关系 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10826572B2 (zh) |
EP (1) | EP3782335B1 (zh) |
CN (1) | CN112020847A (zh) |
WO (1) | WO2019204034A1 (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030043189A1 (en) * | 2001-08-31 | 2003-03-06 | Fuji Xerox Co., Ltd. | Systems and methods for generating and controlling temporary digital ink |
US20040228532A1 (en) * | 2003-05-14 | 2004-11-18 | Microsoft Corporation | Instant messaging ink and formats |
US20060031755A1 (en) * | 2004-06-24 | 2006-02-09 | Avaya Technology Corp. | Sharing inking during multi-modal communication |
US20150121203A1 (en) * | 2013-10-25 | 2015-04-30 | Palo Alto Research Center Incorporated | System and method for generating uniform format pages for a system for composing messages |
US20180025248A1 (en) * | 2015-02-12 | 2018-01-25 | Samsung Electronics Co., Ltd. | Handwriting recognition method and apparatus |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020081027A1 (en) * | 2000-12-21 | 2002-06-27 | Motorola, Inc. | Method for electronic transport of digital ink |
KR101182090B1 (ko) * | 2010-03-18 | 2012-09-13 | 삼성전자주식회사 | 필기 애니메이션 메시지를 전송하기 위한 장치 및 방법 |
JP6064381B2 (ja) | 2012-06-13 | 2017-01-25 | 株式会社リコー | 情報共有システム |
US20140210798A1 (en) * | 2013-01-31 | 2014-07-31 | Hewlett-Packard Development Company, L.P. | Digital Drawing Using A Touch-Sensitive Device To Detect A Position And Force For An Input Event |
US20140337804A1 (en) * | 2013-05-10 | 2014-11-13 | Microsoft Corporation | Symbol-based digital ink analysis |
US10776570B2 (en) * | 2015-02-10 | 2020-09-15 | Microsoft Technology Licensing, Llc | Supporting digital ink in markup language documents |
US10013603B2 (en) * | 2016-01-20 | 2018-07-03 | Myscript | System and method for recognizing multiple object structure |
-
2018
- 2018-04-16 US US15/954,245 patent/US10826572B2/en active Active
-
2019
- 2019-04-04 WO PCT/US2019/025688 patent/WO2019204034A1/en unknown
- 2019-04-04 CN CN201980026316.9A patent/CN112020847A/zh active Pending
- 2019-04-04 EP EP19722737.4A patent/EP3782335B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030043189A1 (en) * | 2001-08-31 | 2003-03-06 | Fuji Xerox Co., Ltd. | Systems and methods for generating and controlling temporary digital ink |
US20040228532A1 (en) * | 2003-05-14 | 2004-11-18 | Microsoft Corporation | Instant messaging ink and formats |
US20060031755A1 (en) * | 2004-06-24 | 2006-02-09 | Avaya Technology Corp. | Sharing inking during multi-modal communication |
US20150121203A1 (en) * | 2013-10-25 | 2015-04-30 | Palo Alto Research Center Incorporated | System and method for generating uniform format pages for a system for composing messages |
US20180025248A1 (en) * | 2015-02-12 | 2018-01-25 | Samsung Electronics Co., Ltd. | Handwriting recognition method and apparatus |
Also Published As
Publication number | Publication date |
---|---|
EP3782335A1 (en) | 2021-02-24 |
EP3782335B1 (en) | 2023-03-01 |
US10826572B2 (en) | 2020-11-03 |
US20190319903A1 (en) | 2019-10-17 |
WO2019204034A1 (en) | 2019-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102050936B1 (ko) | 자원 공유 방법, 단말기 및 저장 매체 | |
US10298522B2 (en) | Messaging including custom characters with tags localized to language of user receiving message | |
US10812429B2 (en) | Systems and methods for message communication | |
CN111095215B (zh) | 应用间传递格式特定的数据对象 | |
US9699299B1 (en) | Messaging including custom characters with embedded content | |
US20210051122A1 (en) | Systems and methods for pushing content | |
KR101567555B1 (ko) | 이미지가 이용되는 소셜 네트워크 서비스 시스템 및 방법 | |
US12001442B2 (en) | Systems and methods for pushing content | |
CN115510347A (zh) | 演示文稿的转换方法、装置、电子设备及存储介质 | |
KR20150088806A (ko) | 커스텀 rtf 커맨드를 사용하여 채팅 기능을 확장하는 기법 | |
JP5791219B1 (ja) | インスタントメッセージ送受信プログラム、情報処理方法及び情報処理装置 | |
JP2013125375A (ja) | サーバ装置、閲覧システム、配信方法及びプログラム | |
US20170279749A1 (en) | Modular Communications | |
KR20170055345A (ko) | 만화에서의 이미지 추출과 변형 시스템을 활용한 소셜 네트워크 서비스 및 방법 | |
US20150339284A1 (en) | Design management apparatus, design management method, and non-transitory computer readable medium | |
CN112020847A (zh) | 保留电子消息中的数字墨水空间关系 | |
US20180300301A1 (en) | Enhanced inking capabilities for content creation applications | |
US10455056B2 (en) | Cloud-based storage and interchange mechanism for design elements | |
US10943380B1 (en) | Systems and methods for pushing content | |
US20120023414A1 (en) | Method and apparatus for processing e-mail | |
KR101750788B1 (ko) | 스토리 보드 구현 방법 및 시스템과 스토리 보드 내의 선택 객체 송수신 방법 및 시스템 | |
US10496241B2 (en) | Cloud-based inter-application interchange of style information | |
KR102028553B1 (ko) | 콘텐츠 표시 형태의 싱크 방법 및 컴퓨터 판독가능 기록매체 | |
KR101770724B1 (ko) | 소셜 네트워크 서비스에 사용하는 이미지 제공 시스템 및 방법 | |
RU2625936C1 (ru) | Способ обработки машиночитаемой информации |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |