CN106940692A - 以对话方式引导与电子表单的交互的交互式电子表单工作流助手 - Google Patents

以对话方式引导与电子表单的交互的交互式电子表单工作流助手 Download PDF

Info

Publication number
CN106940692A
CN106940692A CN201610953780.0A CN201610953780A CN106940692A CN 106940692 A CN106940692 A CN 106940692A CN 201610953780 A CN201610953780 A CN 201610953780A CN 106940692 A CN106940692 A CN 106940692A
Authority
CN
China
Prior art keywords
user
workflow
electronic spreadsheet
field
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610953780.0A
Other languages
English (en)
Other versions
CN106940692B (zh
Inventor
S·盖瑟
R·特雷特曼
D·帕门特
A·贝扎蒂
K·S·约曼
J·阿莉萨古
F·泰夫奈特
A·冈萨雷斯
A·马特维埃弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Adobe Inc
Original Assignee
Adobe Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Adobe Systems Inc filed Critical Adobe Systems Inc
Publication of CN106940692A publication Critical patent/CN106940692A/zh
Application granted granted Critical
Publication of CN106940692B publication Critical patent/CN106940692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/174—Form filling; Merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开的实施例涉及以对话方式引导与电子表单的交互的交互式电子表单工作流助手。用于辅助用户使用电子表单的技术。一个示例性技术包含基于用户的用户输入或预定触发事件来启动工作流助手以提示用户完成电子表单。工作流助手基于用户响应来下载或获得电子表单并且基于电子表单来标识工作流。该工作流标识用于完成电子表单的用户交互的序列。标识工作流包括：基于电子表单中的字段来开发对于来自用户的字段的内容的请求和针对字段中的每个的内容的可能的预测的答案选择。工作流助手然后执行工作流来进行用户交互，以获得针对电子表单的字段的内容以完成电子表单。

Description

以对话方式引导与电子表单的交互的交互式电子表单工作流 助手
技术领域
本公开内容总体上涉及用于辅助用户在电子设备上使用电子表单的技术。
背景技术
用户通常使用计算设备来接收、存储、填写以及导出电子表单。在一个示例中，用户接收包括到电子表单的链接的电子邮件。通过点击该链接，电子表单从网站上下载到用户的计算设备并且用户将其本地保持在计算设备上。此后，用户使用计算设备上的应用来填写电子表单。通常，填写电子表单包含操作托管在计算设备上的另一应用以将电子表单显示在图形用户界面处。用户能够查看表单并经由应用将数据输入到表单的字段中。用户之后还使用相同的或不同的应用来导出电子表单，例如打印电子表单、将电子表单发电子邮件给接收方、或将电子表单上传到服务器。
通常，用户使用电子表单(例如，接收、下载、填写、发电子邮件等)所必需的交互要求用户积极主动地操作多个应用并且仅仅适合于试图在合适的环境下的合适的设备上使用电子表单的、具有显著视觉、体力和认知能力的用户。更具体地，用于与电子表单的交互的应用通常在任何交互之前需要用户的主动请求的意义上是被动的。例如，运行在智能电话上的个人助手应用要求用户标识电子表单并请求下载。此外，与用于接收、填写和导出表单的各种应用交互的过程可以是相当复杂的并且常常对于具有残疾或伤残的用户(例如具有视觉伤残、体力伤残或认知伤残的用户)特别具有挑战。类似地，使用电子表单可以在某些用户环境下对于任何用户是具有挑战的，例如，当用户正在驾驶或者否则使用他的或她的手进行其他任务时。另外，与用于接收、填写和导出表单的各种应用的交互难以或不可能使用具有有限功能的电子设备来执行，这种电子设备诸如为具有小屏幕的设备和缺乏键盘和/或鼠标输入设备的设备(诸如移动电话、平板电脑和许多游戏设备)。
发明内容
一个示例性实施例包含辅助用户完成电子表单。该实施例包含基于用户的用户输入或预定触发事件来启动工作流助手以提示用户完成电子表单。工作流助手基于来自用户的用户响应来下载或获得电子表单并基于电子表单来标识工作流。该工作流标识用于完成电子表单的用户交互的序列。标识工作流包括：工作流助手基于电子表单中的字段来开发对于来自用户的字段内容的请求和针对字段中的每个字段的内容的可能的预测的答案选择。可能的预测的答案选择基于用户简档、用户的用户环境、或工作流助手获得的关于其他用户的信息来开发。工作流助手然后执行工作流来进行用户交互以获得针对电子表单的字段的内容以完成电子表单。在一个示例中，工作流助手引导用户交互以选择要填充的电子表单，通过根据工作流迭代地询问和接收针对字段的响应来填充电子表单的字段，并且导出电子表单，例如将电子表单打印、保存或发电子邮件。用户交互的模态(例如，视觉或听觉请求和基于键的、基于触摸的、和/或口头响应)也被选择以促进以最适合于用户、设备、和/或环境的方式来辅助用户使用电子表单。
这些说明性特征被提及而不限制或限定本公开内容，而是提供示例以辅助对其的理解。这些和附加的特征可以独立地被实施在各个实施例中或者可以在另外的其他实施例中进行组合，其另外的细节能够参考下面的描述和图示来看到。可以通过审查说明书或通过实践各种实施例中的一个或多个来进一步理解由各种实施例中的一个或多个实施例提供的优点。
附图说明
当参考附图阅读下面的详细描述时，本公开内容的这些和其他特征、实施例和优点得到更好地理解。
图1图示了根据本发明的某些实施例的用于辅助使用电子表单的计算环境的示例；
图2图示了根据本发明的某些实施例的用于辅助用户使用电子表单的示例交互式引导对话；
图3图示了用于辅助用户使用电子表单的另一示例交互式引导呈现；
图4是图示了用于辅助用户使用电子表单的示例性技术的流程图；
图5是图示了用于通过以对话方式引导用户交互来辅助用户使用电子表单的示例性技术的流程图；
图6是图示了用于通过以对话方式引导用户交互来辅助用户使用电子表单的示例性技术的流程图；以及
图7图示了根据本发明的某些实施例的计算系统的示例组件。
具体实施方式
在下面的描述中阐述了并且在附图中图示了本发明的各种示例性实施例的具体细节。本文描述的各种实施例能够被实施在硬件、软件或其组合中。在附图中，类似的符号可以标识类似的组件，除非上下文另行指示。某些公知的技术细节，例如将由本领域普通技术人员已知的方法、装置或系统未被阐述在下面的描述中或者附图中以避免不必要地使各个示例模糊不清。相关领域的技术人员将理解，它们能够在不脱离本发明的范围和精神的情况下实践所公开的主题的其他示例。
如以上所讨论的，用于使用(例如，接收、下载、填写、发电子邮件等)电子表单的现有技术要求用户积极主动地操作多个应用并且仅仅适合于试图在合适的环境下的合适的设备上使用电子表单的具有显著视觉、体力和认知能力的用户。通常，本文描述的实施例涉及辅助用户使用电子表单，使得包括具有伤残的用户的更多用户能够使用具有较少的特征的设备，包括使用智能电话、平板电脑和其他小触摸屏设备，并且在更多的环境下，例如在驾驶或执行占用双手的其他任务时来使用表单。在一个实施例中，启动工作流助手，获得电子表单，并且通过以对话方式引导交互来辅助用户完成电子表单。这通过标识、创建和/或补充包括用于完成电子表单的用户交互的序列的工作流来完成。表单字段识别用于确定对于完成表单的字段的信息的请求。例如，如果表单字段识别检测到字段针对用户的个人的名，则提供要求用户输入名或从选项的列表中选择名的请求。基于用户简档来标识选项。例如，基于标识到针对一个用户的用户简档具有法律名字“Robert”和昵称“Rob”，标识针对该用户的名选项“Rob”和“Robert”。基于标识到请求和可能的预测的答案选择，本技术根据表单工作流并且通过使用请求和可能的预测的答案选择迭代地请求用户交互来引导用户交互。
本文公开的技术解决关于用于接收、填写和导出电子表单的先前计算系统的许多计算机特定的问题。通过使用工作流助手，该技术能够比先前技术更好地促进对电子表单的选择、填充和/或导出，其中该工作流助手获得表单，标识针对该表单的工作流，基于针对该工作流的字段识别来确定请求，并且基于用户简档信息、用户环境、或针对其他用户的信息来预测响应选项。例如，该技术引导具有认知伤残的用户使用利用多个应用并且具有许多用户将否则不能够使用的复杂的表单填充指令的应用。类似地，通过预测用户响应(例如，用于填充特定字段的内容选项，用于导出表单的网络位置选项，等等)并向用户呈现那些可能的预测的答案选择作为推荐或选项，用户的任务被进一步简化。在一个实施例中，该技术创建并实施端对端工作流，以用于选择表单、完成表单并且导出表单。
引导交互的模态还允许该技术解决先前系统的问题。在一个实施例中，音频输出被用于提供引导用户交互的请求。该请求可以简化复杂的表单指令，提供关于应当如何使用表单的建议，其应当在何时被完成，其应当被发送给谁，等等。通过使用音频输出来提供请求，使对表单的使用对具有视觉伤残的用户、具有缺乏足够屏幕尺寸的设备的用户、以及总体偏好音频的用户可用，或者在诸如在驾驶时的特定环境中可用。类似地，可以以最适合于用户的方式来接收来自用户的响应。在一个实施例中，用户响应是口头的，并且语音识别用于将响应转化成文本。这例如对具有视觉伤残的用户、具有缺乏键盘、鼠标和/或其他合适的输入机构的设备的用户、具有含有在使用键盘(即弹出式触摸屏键盘)期间遮挡屏幕的大部分的键盘的设备的用户、具有体力伤残的用户、以及总体偏好口头响应的用户可用或者在诸如在锻炼时的特定环境中是有用的。
一个实施例将各组件进行组合以提供用于辅助用户使用电子表单的综合解决方案。这些组件包括用户简档数据储存库、表单字段识别组件、响应预测组件、工作流助手、通知的表单数据收集引擎、针对小型设备的简单客户端用户界面以及语音识别和大声读出组件。通过将这些组件进行组合，使得能够在不要求由先前技术要求的视觉能力、体力能力、认知能力和设备能力的情况下进行端对端用户体验。此外，用户的体验能够被简化，例如包含在不打字的情况下的简单选择。用户的体验能够是完全不必用手操作的。
如本文中所使用的，词语“电子表单(electronic form)”是指用于由某人利用期望被放在电子文档上的特定空白处的信息来填写电子文档而完成的电子文档。具有这样的特定信息空白的便携式文档格式(PDF)文档是电子表单的示例。PDF文档的扫描图像也是电子表单的示例。通常，电子表单包括字段模板和由完成电子表单的一个或多个人添加的附加的信息。电子表单将总体提供用于使个人输入信息的方式，以便以一致的方式来输入信息，使得被完成的表单的多个实例的接收者能够读取或提取在电子表单上的特定位置处的信息并且基于该位置来理解信息。类似地，对在电子表单上的特定位置处的字段的使用促进被输入到表单中的信息的解释。电子表单可以例如具有姓名字段，并且分析应用可以基于由完成电子表单的人添加到电子表单的文本的位置来理解被添加的文本是人的姓名。电子表单的模板可以指定字段和字段特性。
如本文中所使用的，词语“字段”是指电子表单中的位置或表单中的一部分，其中在完成电子表单时在该部分处输入一个或多个信息项。文本框、布尔图形(诸如复选框)和签名是字段的示例。字段具有一个或多个字段特性。字段可以例如使用表单中的元数据来显式地限定并明确地标识。未被定义的字段可以例如使用识别算法来推断，识别算法使用某些图形对象(线、矩形、圆、单选按钮、复选框、等等)的外观来标识作为当完成表单时信息要被输入到其中的候选字段的位置。
如本文中所使用的，词语“用户”是指人。
如本文中所使用的，词语“用户交互”是指将内容显示、听觉播放或以其他方式呈现给用户或从用户接收以键盘、触摸屏、鼠标、麦克风、或其他输入设备上的输入形式的输入。示例性用户交互包括但不限于显示文本或图形消息、显示符号语言、播放计算机生成的音频消息、接收打字的消息、接收语音输入、接收视频或照片输入、或接收来自扫描仪(例如生物特征扫描仪)的输入。
如本文中所使用的，词语“对话方式”是指在发送请求的应用与答复或提供响应的用户之间的来回用户交互。对话的示例包括显示的文本消息、音频消息、视频消息和用户文本、触摸、口头的、有符号的、身体语言或捕获到的或由计算机设备响应于请求消息接收到的其他响应。
如本文中所使用的，词语“工作流助手(workflow assistant)”是指下载或获得电子表单并标识、创建、补充或执行工作流以完成选择、完成、导出或使用电子表单的用户交互的计算机实现的组件或过程。在一个实施例中，工作流助手被提供在服务器上并且由客户端设备访问。在另一实施例中，工作流助手被本地提供在用户使用其来完成电子表单或使用电子表单的客户端设备上。
如本文中所使用的，词语“工作流”是指用于选择、完成和/或导出电子表的用户交互的序列。工作流的示例包含用户提供输入以确认所推荐的电子表单应当被完成，一系列请求和用户响应用于获得填充表单的字段的信息，以及用户提供输入以确认被完成的电子表单应当以所推荐的方式来导出，例如以自动地将电子表单上传到第三方，电子表单由用户从第三方接收。
如本文中所使用的，词语“表单字段识别”是指接收电子表单、将表单表示为图像或其他结构化或非结构化格式并且解读表单的空格、词语、线、形状和其他属性或元数据以标识表单上的字段的计算机实现的过程。
如本文中所使用的，词语“预定触发事件”是指先前被标识以触发动作的用户启动的、定时启动的、或发生启动的事件。预定触发事件的示例包括但不限于特定用户请求的接收、所标识的到期日期或事件发生、以及例如从诸如表单提供服务的第三方的提醒或消息的接收。
如本文中所使用的，词语“可能的预测的答案选择”是指针对表单的特定字段和/或特定用户的可能的内容或选择。例如，针对姓名字段的可能的预测的答案选择包括完成从用户的用户简档中标识的表单的用户的姓名。在另一示例中，针对性别字段的可能的预测的答案选择是从其他用户提供的完成相同的或其他的表单中的性别字段的回答中预测的。
如本文中所使用的，词语“模态(modality)”是指提供设备上的输出和/或接收设备上的输入的模式。输出模态的示例包括但不限于一般模态，例如视觉显示或音频呈现模态，以及更特定的模态，例如基于文本的模态、基于菜单的模态和基于问题的模态。输入模态的示例包括但不限于基于触摸的模态、基于物理键盘的模态、基于鼠标的模态、基于跟踪球的模态、基于盲文的模态、基于手势的模态、基于视频识别的模态、基于眼睛凝视的模态、基于开关控制的模态、以及基于心电图(EEG)分析的模态。
转到图1，该图图示了用于经由计算设备辅助用户使用电子表单的示例计算环境。如所图示的，客户端110通过网络136与服务器120进行通信以接收关于与电子表单的交互的引导。电子表单可以具有不同的类型并且可以从不同的存储位置140中获得。尽管示出了客户端-服务器架构，但是实施例不限于分布式实施方式。相反，实施例类似地适用于其中各种技术被托管在本地并且在客户端110处运行的实施方式。
客户端110表示用户操作以访问电子表单并与电子表单交互的计算设备。例如，用户操作客户端110以导入、选择、填充和导出电子表单。服务器120表示积极主动地引导并且辅助用户对电子表单的访问能力和与电子表单的交互的计算系统。客户端110和/或服务器120访问来自源140电子表单。
表单工作流助手121利用其他组件122-134的功能来向使用表单的用户提供辅助。具体地，表单工作流助手121根据来自表单工作流引导引擎130的工作流积极主动地将请求发送给用户，表单工作流引导引擎130使用用户简档数据储存库122和预测组件126来确定工作流。表单工作流助手121还使用通知的表单数据收集组件132来构成包括(基于表单字段标识组件124的)可能的预测的答案选择的请求并且使用语音识别和大声读出组件128来制定听觉请求并解释基于语音的响应。表单工作流助手121使用签名组件134来将电子签名插入到表单中。向使用表单的用户提供辅助的对这些组件中的一个或多个的一起使用提供超越先前系统的显著优点，并且在某些环境下，通过端对端工作流引导用户，使得具有伤残的用户、使用较小设备的用户和/或在受限制的环境下(例如在驾驶时)使用设备的用户能够执行他们否则将不能够完成的关于表单的任务。
表单工作流助手121预期用户与电子表单的可能的交互并使客户端110呈现请求以征求用户响应。在一个示例中，表单工作流助手130引导用户选择、下载、获得、填充和导出电子表单。这可以包含基于特定表单和输入请求的集合来确定合适的工作流以从用户接收合适的指令和信息来完成并导出电子表单。继而，客户端110使用不同的输入/输出模态(例如使用文本、图形选项、基于语音的呈现、或经由盲文机器的触摸呈现的模态)来将输入请求呈现给用户。在示例中，代替选择、下载、获得、填充、和/或导出电子表单，呈现输入请求。每个输入请求的呈现在如下意义上是引导呈现：对用户的引导被提供以征求合适的用户响应。例如，输入请求对应于电子表单的字段，并且基于字段的标签和描述字段的文本。该输入请求的引导呈现是基于标签和/或文本的并且请求用户响应。在客户端110处接收对输入请求的呈现的用户响应，并将其提供给服务器120上的表单工作流助手121。表单工作流助手121使用该响应来启动动作(例如，提供合适的表单、上传表单、填充字段等)。例如，表单工作流助手121利用来自用户响应的数据来填充电子表单的字段并保存所填写的电子表单。
网络136表示数据网络，包括例如公共网络(例如，因特网)和/或专用网(例如，内联网)。存储位置140表示电子表单142驻存在其中的不同的空间。存储空间中的一些存储空间对客户端110和/或服务器120而言可通过网络136访问。例如，这样的存储空间包括托管用户的电子邮件收件箱的服务器、托管网站的服务器以及基于网络的存储空间(例如，公共或私有云存储)。其他存储空间在客户端110和/或服务器120本地。例如，客户端110和/或服务器120的盘能够是存储位置140的一部分。
转到服务器120的其他计算组件，这些组件包括例如用户简档数据储存库122、表单字段识别124、预测组件126、语音识别和大声读出组件128、表单工作流引导引擎130、通知的数据收集组件132和签名组件134。
用户简档数据储存库122存储用户信息，例如用户的姓名、地址、职业、性别、年龄和可能在填充表单字段中有用的许多其他信息片段以及用户偏好信息(例如，偏好经由无触摸模态与表单交互)以及与用户的与表单的过去的交互有关的信息。针对特定用户或针对多个用户的用户信息可以被存储并且对于特定电子表单是特定的或对于多个电子表单是通用的。换言之，信息针对在用户与电子表单之间的一对一的、一对多的、多对一的、多对多的关联被存储。在示例中，针对特定用户的用户信息包括：用户个人信息、用户偏好以及关于与用户相关联的资源的信息。从一个或多个源收集用户信息。
表单字段识别组件124从源140中取回电子表单142并将所取回的电子表单存储在本地以用于分析。表单字段识别组件124分析电子表单142以标识电子表单142内的字段。这些字段可以在电子表单142具有结构时是显式的。在图示中，如果电子表单142是便携式文档格式(PDF)表单，则这样的表单的布局封装不同的显式字段。表单字段标识组件124检测来自布局的字段。这些字段还可以在电子表单142不具有结构时是隐式的。例如，如果电子表单142是扫描图像，则表单字段识别组件124应用光学字符标识(OCR)和模式识别技术来检测隐式字段。一旦标识了字段，表单字段识别组件124还在适当的情况下标识标签、字段类型(例如，文本、复选框、单选按钮、签名)以及描述来自电子表单142的每个字段的文本。
预测组件126基于电子表单状态(对用户可用的、已经下载的、活动的、不活动的、部分填充的、具有特定字段填充的、验证的、导出的，等等)、来自用户简档数据储存库124的用户信息、用户环境、与其他用户有关的信息(例如用于填充类似字段的其他用户动作和其他用户响应)和/或与特定电子表单有关的信息(例如相关联的提交期限和提交上传参数)，来建议与电子表单的用户交互。注意，预测组件126还能够用于基于来自由用户和/或其他用户使用的先前表单的字段值来辅助预测针对字段的值。
语音识别和大声读出组件128执行对听觉响应的语音识别，将声波转化成文本，并且相反地，将文本请求转化成听觉音频信号以用于在客户端设备110上回放。除了其中响应以未核实的方式逐字地进行的“无表单”模式之外，语音识别可以被指定以从一系列受约束的响应(例如，男、女；1、2、3)中进行选择。
表单工作流引导引擎130标识用户交互以提供用于完成表单的期望使用的工作流。例如，在一个示例中，工作流包含选择用于下载和使用的表单、基于用户交互并利用信息来填充表单以及引导用户将表单上传到合适的位置。工作流引导引擎使用表单字段标识124来标识表单的字段并确定合适的请求以从用户获得填充字段的内容。一般地，对应于字段的输入请求基于字段的标签和描述如何填充字段的指令来制定。可以使用在字段与输入请求之间的不同的映射类型。例如，一对一映射是可用的，其中每个字段被映射到一个输入请求。在图示中，针对出生日期的字段和针对社会保险号码的字段分别被映射到针对出生日期的输入请求和针对社会保险号码的输入请求。多对一映射也是可用的，其中多个字段被映射到一个输入请求。在该映射中，字段组基于在组的字段之间的关联的程度被映射到单个输入请求。在图示中，针对名的字段和针对姓的字段被映射到针对完整姓名的输入请求。表单分析工具122将输入请求保存为重新制定的表单126。
通知的数据收集组件132预测来自用户的关于填充电子表单的特定字段的可能的响应，并且使用那些可能的预测的答案选择来制定针对用户交互的易于使用的请求。例如，通知的数据收集组件132将预测用户将使用存储在用户简档数据储存库122中的名或昵称来预测用户对填充名字段的信息的请求的响应将是那两个名字中的一个。在另一示例中，根据由其他用户对相同的表单或其他表单中的性别字段的响应而标识针对性别字段(例如，男或女)的响应选项。所预测的值可以之后被用作对语音识别组件128的候选响应，使得其可以以受约束于仅候选响应的模式来操作。
签名组件134促进允许用户的签名的呈现被插入到表单中的用户交互。在一个示例中，签名组件134从用户接收生物特征信息，例如用户指纹或用户的语音的音频打印，基于生物特征信息来验证用户的身份，并且插入电子签名。
转到客户端110的计算组件，这些组件包括例如表单交互代理112、用户信息114、电子表单116以及用户界面118。这些组件中的一些或全部组件与服务器120的组件中的一些或全部接口对接以引导与电子表单的用户交互。
表单交互代理112是允许用户输入用户信息114并与电子表单交互的应用或功能。一般地，表单交互代理112呈现请求以引导与电子表单的交互，接收用户对呈现的响应，并且将用户响应提供给服务器120。如此，表单交互代理112允许用户跟随向用户提供建议的响应、在表单内导航的辅助以及在期望时使用非文本用户界面模态的逐步的引导交互，导入、下载、选择、填充、验证和导出电子表单。
用户信息114包括来自用户简档数据储存库122的、与特定用户有关的用户信息中的一些或全部信息。在示例中，用户信息114由用户经由表单交互代理112输入。在另一示例中，从服务器120接收用户信息114。
电子表单116表示电子表单的本地副本。用户交互可以使用本地副本。然而，交互还可以使用存储在存储位置140处或服务器120上的电子表单。
用户接口118表示用于呈现引导交互的接口。该呈现使用不同的输入和输出模态。用户接口118包括例如图形用户界面。引导交互包括经由图形用户界面的来回引导对话。在另一示例中，用户接口118包括音频界面。在该示例中，引导交互使用音频呈现来通知用户电子表单并接受来自用户的语音响应。
本文描述的实施例不限于图1中图示的客户端服务器架构。例如，服务器120中的一些或全部功能可以被推送到客户端110。在客户端110与服务器120之间的分布式架构的其他变型也是可能的并且应当鉴于本文描述的实施例对本领域普通技术人员显而易见。
转到图2，该图图示了在客户端处显示的辅助用户使用电子表单的引导呈现。如所显示的，引导呈现包括输入请求以征求用户响应。用户在客户端110处输入对引导呈现的用户响应。所显示的输入请求和所输入的用户响应表示引导对话。为了解释清楚的目的，结合促进在客户端的用户接口处的引导对话描述表单工作流助手。用户接口实施以文本消息器的形式的输入/输出模态。然而，能够附加地或备选地使用其他计算组件和输入/输出模态。在一个实施例中，例如，语音请求和听觉响应被使用，使得能够实现不必用手操作的过程。
作为第一引导交互210的一部分，应用检测用户接收到具有附加的电子表单的电子邮件。如果状态信息指示电子表单尚未被导入，则应用输入导入状态。因此，引导交互210积极主动地询问用户他或她是否想要导入电子表单。如果是的话，则通过例如将来自电子邮件的电子表单复制到基于网络的存储空间上的用户的文件夹来导入电子表单。
引导交互的第二集合包括引导交互220-250并且对应于填写状态。具体地，应用确定已经导入了电子表单但是还没有填写。基于用户在填写表单中的期望的兴趣，引导交互积极主动地询问用户他或她是否想要填写应用。如果是的话，则启动填写应用表单的过程。逐步的方法用于增强用户体验。
例如，应用基于用户信息来标识个人用户信息。引导呈现230询问用户该信息是否应当被使用。如果是的话，则该应用利用个人用户信息来预填充电子表单的相应字段。
在下一步骤中，该应用标识需要用户的输入的电子表单的字段。因此，引导交互240向用户描述该字段并征求用户的输入。该应用利用用户响应来填充该字段。
当申请的各个字段已经被填写时，应用确定填写过程完成。引导交互250通知用户该完成并且询问是否应当保存电子表单。如果是的话，应用将电子表单保存到用户的其他文件夹。应用根据用户信息积极主动地标识该文件夹。附加地或备选地，应用实施自动保存模式。如果是的话，则自动保存电子表单。
一旦被保存，则应用将电子表单的状态设置为例如填写完成/导出未完成。在特定时间经过之后，应用检测电子表单是否尚未被导出。因此，提供引导交互260和270的第三集合。
引导交互260解释应用被保存，并且尽管时间已经过但是尚未被发出。引导交互260还询问用户是否应当执行导出。如果是的话，应用启动导出过程。在该示例中，导出过程包括将表单发送到电子邮件地址。
应用积极主动地确定电子邮件地址。例如，应用使用原始电子邮件的发送者的相同的电子邮件地址或已经针对在电子邮件抬头或其主体的内容中的“送到”或“抄送”字段中提到的电子邮件地址扫描了该原始电子邮件。引导交互270向用户解释如何确定电子邮件地址并且询问用户是否那个是恰当的电子邮件地址。如果是的话，应用将电子表单附到新的电子邮件并将新的电子邮件发送给发送者。
另外，应用预测用户对与第一电子表单(例如，被发送的电子表单)相关的第二电子表单感兴趣。例如，应用确定发送者也已经将尚未导入、填写或导出的另一电子表单发电子邮件。一旦标识了第二电子表单并且基于该电子表单的状态，应用积极主动地向用户提供引导。因此，应用还可以基于与其他电子表单的交互来预测特定电子表单中的兴趣。如图2所示，如果第二电子表单尚未被下载，则应用将状态设置为导入。因此，引导交互280被积极主动地提供给用户以询问导入是否应当发生。
因此，应用积极主动地通知用户电子表单并征求用户响应以将电子表单移动到下一状态。在每个状态处，应用确定与电子表单有关的尽可能多的信息和用户与电子表单交互的兴趣。因此，应用以改进用户体验和对电子表单的访问能力和与电子表单的交互的交互式的简化方式引导用户。
转到图3，该图图示了用于辅助用户使用电子表单的另一交互且引导的呈现。如所显示的，引导呈现包括用于征求用户响应的输入请求。用户在客户端110处输入对引导呈现的用户响应。所显示的输入请求和所输入的用户响应表示引导对话。用户界面实施以文本消息器的形式的输入/输出模态。然而，能够附加地或备选地使用其他计算组件和输入/输出模态。在一个实施例中，例如，使用语音请求和听觉响应，使得能够实现不必用手操作的过程。另外，图示的电子表单包括五个字段：姓名字段、社会保险号码字段、出生日期字段、状态字段和签名字段。然而，还可以使用其他数目和类型的字段。
在第一交互310中，从用户接收用于填写电子表单的请求。例如，用户可以做出对客户端设备110的请求和被发送给服务器120的请求，其中该请求由表单工作流助手121解释。表单工作流助手121标识并访问电子表单。作为响应并且作为引导呈现的部分320，表单工作流助手121提供具有电子表单的图形表示的消息，例如表示电子表单的缩略图和表示表单的标识的名称，并且发送询问用户是否访问了正确的电子表单的消息。用户响应确认。继而并且作为引导呈现的部分330，表单工作流助手121提供解释填写过程将开始的消息。
对应于电子表单的第一字段(例如，姓名字段)，下一交互询问用户输入他的或她的名，作为引导呈现的部分340。接收到的响应被分析并被用于填充姓名字段。一旦填充了该字段，引导呈现前进到对应于出生日期的下一字段。如所图示的，用户先前结合填写不同的电子表单提供了出生日期。做出相同的出生日期可以被用于当前电子表单的预测。因此，并且作为引导呈现的部分350，表单工作流助手121提供向用户解释出生日期被预测的消息并请求用户的确认。在用户的确认后，出生日期字段被填充并且引导呈现前进到对应于状态的下一字段。
这里，电子表单包括用于填写状态字段的两个选项。第一选项是已婚。第二选项是未婚。作为引导呈现的部分360，表单呈现工具询问用户他或她是否已婚。回答是否。因此，第二选项(未婚)被自动选择以填充状态字段。在该示例中，电子表单包括针对用户的或有指令，从而陈述“如果未婚，跳过问题14和15，并且前进到表单的部分2”。表单工作流助手121因而识别表单导航，并且在用户的响应给定为用户未婚的情况下，自动跳过问题14和15，并且前进到电子表单的部分以继续引导呈现。在一个示例中，该导航基于由表单工作流引导引擎130标识的工作流，表单工作流引导引擎130标识用于根据可能的用户响应并且基于电子表单中的指令的解译来完成电子表单的用户交互。
作为引导呈现的部分370，在跳过电子表单的部分2之后，表单工作流助手121发送询问用户他的或她的社会保险号码的消息。如果用户利用文本回答响应，则该回答是无效的，因为期望数字回答。然后再次询问用户社会保险号码。如果用户利用数字回答响应，则社会保险号码字段被填充有不同的号码(或者，相反为了安全原因和个人隐私，仅仅使用社会保险号码的后四位)。引导呈现前进到最后一个字段。该字段是签名字段并且与法律声明相关联。
作为引导呈现的部分380，表单呈现工具读取法律声明并询问用户是否将他的或她的姓名作为签名的形式输入。所输入的姓名用于填充该最后一个字段。在备选实施例中，询问用户提供生物特征认证，例如用于取回经认证的电子签名以用于使用户插入到电子表单中的指纹。电子表单然后被自动保存以完成填写过程。
相比之下，现有技术通常将电子表单显示给用户并且不提供针对填充每个字段的引导。相反，其使用户导航通过字段。该导航可以变得繁琐或在用户界面尺寸很小时和/或在用户具有某种伤残时不可能。备选地，本文描述的实施例的引导呈现能够呈现对应于字段的输入请求并引导用户提供输入。这样的引导呈现甚至当用户界面很小时并且当用户具有某种伤残时改进经由客户端对电子表单的访问能力。
在一个实施例中，提供引导呈现，诸如图2和图3的引导呈现，包括使用由表单工作流引导引擎130标识的工作流。该工作流根据期望的目标、用户偏好、用户简档信息、可能的用户响应、电子表单中的指令的解译以及其他合适的信息来标识用于完成电子表单的用户交互。在一个实施例中，工作流将电子表单映射到状态机。在一个示例中，基于状态机并且基于对引导呈现的先前部分的用户响应来呈现引导呈现的每个部分。诸如提供引导交互的表单工作流助手121的表单助手被定位在客户端设备110上、被定位在远程服务器120上、被定位在两者上或以其他方式被提供，以根据工作流实施引导交互。
图2和图3的引导交互是说明性的。其他引导交互也是可能的。例如，在从源下载电子表单后，电子表单的空白版本被本地保存到应用。电子表单的未来使用可以基于本地版本。在另一示例中，电子表单被保存有可以随时间重复使用的已填充部分(例如，包含诸如姓名的个人用户信息的部分)。电子表单的未来使用将包括预填充的部分使得减少与电子表单的用户交互。
转到图4-6，这些图图示了用于辅助用户使用电子表单的示例技术。在说明性操作中，操作或功能中的每个可以被实现在由计算系统的一个或多个处理器运行的模块中并且通过由计算系统的一个或多个处理器运行的模块来完全或部分自动化。示例计算系统被进一步图示在图7中。为了解释清楚的目的，计算系统被描述为执行说明性操作。然而，本领域普通技术人员将认识到，计算系统可以运行一个多个模块，例如形成分析工具、表单工作流助手和/或其他模块以实施操作中的一个或多个和/或操作的一个或多个步骤。附加地，当以特定顺序图示操作时，应当理解，没有特定顺序是必要的，并且能够省略、跳过一个或多个操作和/或将一个或多个操作重新排序。
图4是图示了用于辅助用户使用电子表单的示例技术的流程图。
图4的技术包含启动工作流助手，如框402所示。在一个实施例中，基于用户输入来启动工作流助手。对此的示例是用户选择启动移动设备上的表单工作流应用。另一示例是用户提供语音命令来启动工作流助手。在另一实施例中，基于用于提示用户完成电子表单的预定触发事件来启动工作流助手。在一个示例中，工作流助手跟踪与一个或多个表单相关联的即将到来的到期日期，并且在到期日期之前的预定时间(例如一天或一周)启动工作流助手。
图4的技术还包括由工作流助手下载或获得电子表单，如框404所示。获得表单包含从本地存储取回表单。在一个实施例中，对表单的下载或获得基于来自用户的用户响应。在特定示例中，表单工作流助手询问用户在当前时间是否想要下载并完成特定表单并且用户确定地对该请求做出响应。基于对该请求的确定性响应，工作流助手下载或获得表单。
工作流助手然后基于电子表单来标识工作流，如框406所示。工作流包含用于完成电子表单的用户交互的序列。在一个示例中，工作流标识用于电子表单中的要完成的字段。在另一示例中，工作流根据用于填充表单的特定字段的用户响应标识可能发生的请求的流程。例如，工作流将标识要在诸如用户提供关于具有家属的负面响应的某些环境下被跳过的某些字段或部分并且基于负面响应跳过家属的信息字段。
图4的技术还包含工作流助手通过开发对于来自用户的字段的内容的请求和针对字段中的每个的内容的可能的预测的答案选择来补充工作流，如框408所示。在一个实施例中，基于电子表单中的字段来开发对于字段的内容的请求。作为具体示例，这包括使用表单字段识别来标识电子表单的字段。在一个实施例中，基于用户简档、用户的用户环境、或与工作流获得的关于其他用户的信息来开发可能的预测的答案选择。开发可能的预测的答案选择包括：标识用户简档中的对应于本发明的实施例中的电子表单的所标识的字段的一个或多个用户特性。例如，从用户简档标识用户的后五个地址的可能的预测的答案选择被标识作为针对地址字段的可能的预测的答案选择。在另一示例中，基于由其他用户针对相同的或相似的字段的回答来标识可能的预测的答案选择。这样的其他用户回答例如被用于标识针对头发颜色和眼睛颜色字段的可能的预测的答案选择。
表单工作流助手接下来执行工作流以进行用于完成电子表单的用户交互，如框410所示。在一个实施例中，执行工作流包括进行用户交互以从接收到的来自用户的响应获得针对电子表单的字段的内容。这样的响应是基于触摸的、基于文本的、基于语音的和/或通过任何其他合适的输入模态提供的。在一个实施例中，执行工作流以进行用于获得针对字段的内容的用户交互包含：根据工作流来引导用户交互，以通过使用针对内容的请求和可能的预测的答案选择迭代地请求用户交互并接收对请求的响应来填充电子表单的字段。
除了辅助用户完成电子表单，表单工作流助手在一些实例中辅助用户选择和导出电子表单。在一个示例中，表单工作流助手标识要从中选择的针对用户的多个表单。在一个实施例中，表单工作流助手引导用户选择要完成的表单是基于电子表单的状态的。例如，如果电子表单状态是不完整的并且表单期限快要到了，则表单工作流助手自动提示用户，询问用户在给定表单的不完整状态和即将到期的表单期限的情况下是否想要现在完成该表单。工作流助手引导用户导出电子表单基于指示该表单是完整的电子表单的状态或者基于其他用户环境。导出电子表单包括但不限于将电子表单打印、电子共享、保存、消息传送、提供通知或发电子邮件。
图5是图示了用于通过以对话方式引导用户交互来辅助用户使用电子表单的示例性技术的流程图。
图5的技术包含计算标识用户交互的序列的工作流，如框502所示。指定用户交互的序列以辅助用户选择、填充、导出或以其他方式使用电子表单。用户交互的序列是基于表单的所标识的一个使用或多个使用的。例如，如果表单的使用涉及辅助用户选择要完成的合适的表单，则用户交互被自动确定以通过选择表单来引导用户。这可以包含标识电子表单的一个或多个选项以用于可能的选择，并且指定工作流的用户交互来促进用户从选项的选择。类似地，如果电子表单的使用包含在完成期限完成电子表单，则工作流的用户交互的序列是基于期限的，例如序列可以包含用于在期限之前启动表单的完成的提醒和排程消息。
除了计算标识用户交互的序列的工作流或者作为其部分，图5的技术还包含基于使用表单字段识别标识电子表单的字段来确定请求工作流的用户交互的个体请求，如框504所示。在一个实施例中，由技术确定的工作流的用户交互的序列被设计为辅助那些字段的填充。这可以包含标识字段和描述该字段的类型、标签和文本。标识取决于电子表单是结构化的还是非结构化的。如果是结构化的，则计算系统从电子表单的结构来标识字段。否则，计算系统实施OCR和模式识别技术以用于标识。在示例中，计算系统分析电子表单来检测文本、线条和图像。进一步检测垂直线、水平线和曲线的模式。这些模式被匹配到字段和字段的类型。在图示中，在水平线与垂直线之间的交叉点连同交叉区内的文本表示文本字段。线条的圆形模式表示单选字段。具有短交叉垂直线的长水平线表示组合字段。另外，计算系统确定检测到的文本相对于字段的位置。相对于其他字段更靠近特定字段的文本与特定字段相关联并且被设置为描述性文本。另外，计算系统分析与每个字段相关联的文本以标识字段的标签。例如，该标识使用文本相对于字段的位置和文本的长度。最靠近该字段或在该字段内的短文本被设置为标签。
在一个实施例中，标识交互的序列和确定个体请求还包含标识电子表单的流程。在该实施例中，在字段对输入请求的一对一或多对一映射中生成输入请求。一对一映射可以被用作默认。然而，多对一映射还可以用于将相关字段(例如，属于相同部分、具有共同主题、具有相同类型、共享描述性文本、等等的相关字段)分组在单个输入请求中。多对一映射可以在提供输入时缓解用户的工作，这是因为用户需要仅仅提供一个用户响应，其之后被解析并被用于填充多个字段。例如，用户的地址包括号码、街道、城市、州和邮政编码。一对多映射允许用户一次地提供他的或她的完整地址。然后解析该地址以检测号码、街道、城市、州和邮政编码并且相应地填充电子表单的字段。在一个实施例中，每个输入请求被设置为状态机的状态并且在状态之间的转变取决于流程并且取决于用户响应来设置。不适合的用户响应导致没有转变。适合的用户响应导致转变到另一状态。
在示例中，用户交互的序列被设计为以根据电子表单中的对应字段的流而被组织的方式来请求输入。例如，在电子表单的相同部分内，输入请求遵循对应的字段的流程。如果在第二字段之前列出第一字段，则设置从相应的第一输入请求到相应的输入请求的转变。另一方面，如果第一字段能够由取决于对第一字段的输入的两个字段(例如，第一字段是状态字段，使得在已婚时，第一字段被跟随有多个家属字段，并且否则下一字段是职业字段)跟随，则设置从相应的第一输入请求到相应的两个输入请求的转变并且取决于用户响应对其进行跟随。跨越电子字段的两个部分，设置在对应于跨越两个部分的邻接字段和/或相互依赖字段之间的转变。在一个实施例中，重写模式被设置用于使用状态机，使得如果用户请求填充特定字段，则设置到对应于该特定字段的输入请求的转变，而无论状态机的当前状态如何，由此提供重写。
在一个实施例中，生成输入请求使用在字段和输入请求之间的一对一和/或多对一映射。映射取决于在字段之间的关联的程度。换言之，在这样的字段具有特定关联时，两个或更多个字段被映射到相同的输入请求。否则，字段被映射到不同的输入请求。计算系统使用各种参数来测量在字段之间的关联的程度。这些参数包括字段是否属于相同部分、具有共同主题、具有相同类型和/或共享描述性文本。在图示中，属于个人信息部分的、询问名和姓、要求必须是文本输入并且具有与用户个人信息有关的描述性文本的两个字段被发现高度相关联。因此，计算系统将这两个字段映射到相同的输入请求，例如询问完整姓名的输入请求。作为对对比，属于不同部分(例如，个人信息和业余爱好部分)并且具有不同类型(例如，一个是文本字段并且另一个是单选字段)的两个字段被发现为具有低关联程度。计算系统将这两个字段映射到两个相应的输入请求。
除了计算标识用户交互的序列和确定个体请求的工作流或者作为其部分，图5的技术还包含基于用户简档、用户环境或与其他用户有关的信息来确定对个体请求的可能的预测的答案选择，如框506所示。在一个实施例中，这包含基于以下各项来预测与电子表单的建议的用户交互：电子表单状态(例如，对用户可用的、已经下载的、活动的、不活动的、部分填充的、具有特定字段填充的、验证的、导出的，等等)、来自用户简档数据储存库124的用户信息、用户的环境(例如，驾驶、锻炼、工作、在家、和家人一起，等等)、与其他用户有关的信息(例如其他用户动作和响应)和/或与特定电子表单有关的信息(例如相关联的提交期限和提交上传参数)。附加地或备选地，预测参数可以包括用户和/或其他用户填写电子表单的副本或其他电子表单的副本的历史和用户的简档。在图示中，如果用户先前已经填写了电子表单的副本，则计算系统从副本的先前填充的字段中预测用户响应。在另一图示中，如果用户已经填写了其他电子表单，则计算系统查找其他电子表单中的类似的字段。类似的字段包括例如具有与当前电子表单的字段相同的标签、描述性文本、类型等的已填充字段。计算系统从该已填充字段中预测用户响应。还基于其他用户做出类似的预测。具体地，可以基于与用户共同的属性来选择其他用户(或其他用户的组)进行预测。属性可以与字段相关。例如，如果字段与薪水有关，则其他用户被选择为与用户具有相同职业的用户。在另一图示中，用户可以在托管在计算系统上(例如，具有表单分析工具)或客户端(例如，具有表单工作流助手或对客户端本身更通用的)上的应用处具有简档。该简档包括可用于预测的个人信息。例如，如果字段与用户的姓名有关，则从简档中预测这样的信息。
图5的技术还包含根据表单工作流来引导用户交互，如框508所示。在一个实施例中，在客户端处一次一个地呈现输入请求。在一个示例中，用户交互包含使用个体请求和可能的预测的答案选择来迭代地请求用户交互并接收用于选择、填充或导出电子表单的响应。引导用户交互是交互式的，这在于计算系统响应于在客户端处呈现的输入请求而从客户端接收用户响应。每个用户响应用于标识和呈现下一输入请求。在一个实施例中，引导用户交互的序列中的一些促进对字段的表单的填充。基于(一个或多个)字段的类型来制定与填充表单字段相关的输入请求。例如，如果字段是单选字段，则输入请求列出可选择的选项。与此相比，如果字段是文本字段，则输入请求允许自由文本输入。每个用户响应被解析，并且来自用户响应的数据用于填充对应于输入请求的(一个或多个)字段。
在一个实施例中，工作流以取决于对电子表单、表单完成期限、用户偏好、电子表单的流程、用户响应和其他合适的信息的期望的一个使用或多个使用的动态的顺序来组织输入请求的呈现。例如，如果用户先前已经填写了电子表单的部分，则计算系统从状态机中选择第一状态并且标识对应的输入请求作为要被呈现的输入请求。另一方面，如果特定部分先前被填写，则计算系统标识最后使用的状态、最后的用户响应，基于状态机来选择下一状态，并且标识对应于下一状态的输入请求。另外，如果用户请求要被填写的特定字段，则计算系统标识对应于该字段的输入请求。
在一个示例中，计算系统根据工作流生成状态机。关于对文档的使用，不同的使用状态(未下载、已下载、已选择、要按期限来完成，等等)与状态机的状态相关联。关于填充表单字段，字段(或相反地，对应的输入请求)也被映射到状态机的状态。基于期望的过程、电子表单的字段、电子表单的结构、指令或元数据和/或使用根据电子表单内的不同字段(例如，相对于彼此的位置、字段的类型、字段所属的什么部分，等等)的布局并且根据描述性文本的主题(例如，取决于填写一个字段是否填写其他字段)检测到的信息来确定在状态之间的转变。
映射可以使用不同的技术。在一个示例技术中，映射将字段的类型与元素的类型相匹配。例如，如果输入请求询问姓名和社会保险号码，则字母表字符被匹配到姓名字段并且数字字符被匹配到社会保险号码字段。在另一示例技术中，映射将字段的主题与元素的主题相匹配。例如，如果输入请求询问姓名和出生月份，则将元素与年的月份进行比较。匹配月份的元素被输入到出生月份字段。(一个或多个)剩余的元素被输入到姓名字段。在另外的其他示例技术中，该匹配使用元素的顺序。例如，输入请求询问用户陈述他的或她跟着姓的名。因此，来自用户响应的第一元素和第二元素分别被输入到第一名字字段和第二名字字段。
用于填充表单字段的引导用户交互基于字段的类型。例如，计算系统制定输入请求以征求对字段的类型适合的用户响应。在图示中，如果字段是单选字段，则输入请求被设置为呈现可选择的选项并且询问用户选择这些选项中的一个。如果字段是文本字段，则输入请求被设置为询问从用户接受自由输入的字母表条目。如果字段是组合字段，则输入请求被设置为允许对形成组合字段的子字段的单个用户响应中的条目。如果字段是复选字段，则输入请求被设置为呈现可复选选项并询问用户复选合适的选项。如果字段是签名字段，则输入请求被设置为呈现任何声明并且询问用户键入姓名，说出姓名或使用生物特征签名(例如，指纹、视网膜扫描、面部识别)。
在一个实施例中，引导交互使用可能的预测的答案选择。做出关于与字段相关联的预测是否存在的确定。例如，计算系统包括输入请求中的预测。因此，除了字段的标签和描述性文本之外，每个输入请求包括与预测有关的信息。以这种方式，用户不需要被请求以提供用户响应中的大多数信息，由此缓解用户的工作。相反，询问用户确认或从预测之中进行选择。
通常，存在用于填充表单字段的不同类型的预测。一个示例类型对应于自动填充模式。在该模式中，首要候选预测被选择并被呈现给用户。这可以是当在首要选择与备选方案之间的置信中存在充分的分离时的情况。如果用户拒绝首要候选，则询问用户在响应中提供必要的信息以填写电子表单或者备选地，下一首要候选被呈现给用户(例如，作为在智能填充模式中)。另一示例类型对应于智能填充模式。在该模式中，预测被排序并基于排序而作为选择被呈现给用户。用户通过对选择中的一个进行选择来做出响应。
通常，存在用于填充表单字段的可能的用户响应的不同的可能性。这些可能性包括例如(1)没有对回答的可能的线索是已知的，(2)具有存在的单个引导建议，(3)存在引导可能性的良好定义的集合，以及(4)存在可以在响应中使用或可以在响应中不使用的引导可能性的集合。在第一可能性中，由于缺乏先验知识或基于安全考虑(例如，信用卡的背面的四位数字)而防止这么做，不存在基于用户的简档或输入表单数据的过去的历史的信息。这导致征求“无表单”响应。电子表单的字段通过解释用户的响应来填充。在第二可能性中，对字段(例如，出生日期)的单个响应可以已经被存储。用户被呈现以期望的响应的确认。如果用户拒绝期望的响应，则再次使用“无表单”响应。在第三可能性中，单选字段可以提供若干选择，其中之一应当被选择(例如，性别：‘男’或‘女’)；具有若干预填充选项的下拉字段也遵循该模型。通过这样的字段的根本性质，排除无表单响应的可能性。相反，利用选择这些选项之一的请求向用户呈现不同的选项。在第四可能性中，文本字段可以已经在过去被产生多于一个回答但是不必排除新的且独特的回答。在这种情况下，各种回答(过去的和可能未来的回答)被呈现给用户以进行选择(例如，“我看见在过去已经使用了两个联系人回答“800-555-1234”和“888-555-0000”；哪个是最好的联系人号码或者你偏好新的联系人号码吗？”)
在一个实施例中，计算系统还验证用户响应。如果用于做出选择的用户响应是无效的，则计算系统重试或重新制定请求。如果拥有填充字段的用户响应是无效的，则不填充字段。相反，再次向用户呈现输入请求或重新制定输入请求。计算系统使用不同的验证技术。验证技术中的一些可以类似于以上的映射技术。例如，验证技术使用类型、主题、和/或(一个或多个)字段的顺序和用户响应的(一个或多个)元素。如果字段类型和元素类型不匹配，则用户响应无效。类似地，如果存在主题不匹配，则用户响应无效。类似地，如果输入请求询问特定数量的元素但是用户响应包括不同数量，则差别指示顺序不匹配，并且因此用户响应无效。
图6是图示了用于通过以对话方式引导用户交互来辅助用户使用电子表单的另一示例性技术的另一流程图。
图6的技术包含基于用户设备、用户简档或用户请求来确定与用户交互的模态，如框602所示。关于用户设备，计算机系统标识用户正在使用具有特定特性(例如小屏幕、没有键盘、没有鼠标等)的设备，并且确定无触摸或其他合适的模态。相反，计算机系统确定用户设备是(或被切换为)具有更多能力的设备，确定基于触摸的或其他合适的模态。
关于用户，系统分析用户简档或由用户提供的其他信息以确定合适的模态。例如，如果计算机系统标识用户被视觉地或体力地伤害，则确定无触摸模态。作为另一示例，如果计算机系统确定用户被认知地伤害，则系统可以选择合适的模态。在一个具体示例中，计算机系统确定提供具有基于用户的引导的水平(例如，最小引导、中等引导或最大引导)的工作流。已经不能理解复杂的概念或多面的指令的具有重大认知伤残的用户可以接收最大引导，其中多个指令和复杂的指令被分解成较小的较容易的片段。
关于用户请求，基于具体用户请求来确定模态。在一个示例中，在使用蜂窝电话上的表单时驾驶汽车的用户可以手动地选择不必用手操作的设备或者可以已经制定了在驾驶时模态应当不必用手操作的用户偏好。在该示例中，系统基于检测到电子设备的位置的变化来自动检测用户正在驾驶，推断用户正在驾驶，以及相应地选择不必用手操作的模态。
图6的技术还包含计算标识用户交互的序列的工作流，如框604所示，基于使用表单字段识别标识电子表单的字段来确定请求工作流的用户交互的个体请求，如框506所示，并且基于用户简档或与其他用户有关的信息来确定对个体请求的可能的预测的答案选择，如框508所示。这些步骤分别对应于图4的步骤402、404和406，并且包含类似的特征。
图6的技术在框610、612、614中引导交互。在框610中，该技术包含引导用户交互以基于电子表单的状态或基于用户环境来选择要填充的电子表单。在一个示例中，这包含向用户呈现以用于基于表单选项来选择要填充的期望的表单的选项。在一个示例中，通过对由用户在电子邮件或其他电子账户中接收到的表单进行编译来标识表单选项。在另一示例中，基于从用户接收到找到表单的请求来标识表单选项(例如，用于在特定场合签约少年棒球联合会的用户请求)。在示例中，如果存在用于签约少年棒球联合会的不同的形式，则询问用户选择合适的表单并且提供引导以允许用户将表单彼此进行区分。附加地或备选地，在本发明的一个实施例中使用用户的当前状态，即用户的环境。例如，用户的位置、与设备的接近度、当前活动(例如，驾驶、旅行等)、一天中的时间，这样的信息在本发明的一个实施例中被包含在用户简档中。在该示例中，频繁地更新用户简档以标识用户的环境。
在框612中，该技术包含引导用户交互通过根据工作流迭代地询问和接收针对字段的响应来填充电子表单的字段。在一个实施例中，引导交互使用可能的预测的答案选择来促进由用户进行的合适的、容易的且快速的选择。
在框614中，该技术包含引导用户交互以基于电子表单的状态来导出电子表单。在一个实施例中，电子表单的状态指示表单是完整的并且引导用户将表单上传到合适的接收方服务器。在另一示例中，表单的状态指示表单是完整的并且与即将到期的期限相关联，并且用户交互引导用户打印电子表单、将信封打印有去往合适的接收方的标签并且为用户提供指令以按期限将该表单发邮件。
在一个实施例中，引导用户交互包含提供听觉请求，并且响应包括使用语音识别解译的语音响应或来自可能的预测的答案选择的图形表示的选择。在另一实施例中，引导用户交互使用视觉模态和音频模态两者。
在一个实施例中，计算机系统使用与电子表单一起存储或与电子表单分开的预计算的工作流来引导用户交互。在备选实施例中，在引导用户交互时计算工作流。
在一个实施例中，引导用户交互包括请求生物特征标识、接收生物特征标识以及基于确认对生物特征标识的认证来将签名字段填充有电子签名。在一个示例中，这包含请求用户在指纹读取机构上按下拇指或其他手指，捕获指纹的图像，将图像发送到认证服务器，接收认证的指示或经认证的电子签名，以及将电子表单签名有经认证的电子签名。在另一实施例中，附加地或备选地，生物特性信息用于在访问用户简档以例如基于用户信息来预测用户响应之前确认用户的身份。
转到图7，该图图示了用于实施图1的服务器120和/或客户端110的组件中的一些或全部的示例组件。尽管组件被图示为属于相同的计算系统700，但是该系统可以是分布的。
计算系统700包括至少处理器702、存储器704、存储设备706、输入/输出外围设备708、通信外围设备710、以及接口总线712。接口总线712被配置为在计算系统700的各个组件之间通信、传送和传输数据、控制和命令。存储器604和存储设备706包括计算机可读存储介质，例如RAM、ROM、电可擦可编程只读存储器(EEPROM)、硬盘驱动器、CD-ROM、光学存储设备、磁性存储设备、电子非易失性计算机存储(例如闪速存储器)、以及其他有形存储介质。这样的计算机可读存储介质中的任何可以被配置为存储实现本公开内容的各方面的指令或程序代码。存储器704和存储设备706还包括计算机可读信号介质。计算机可读信号介质包括具有实现在其中的计算机可读程序代码的传播数据信号。这样的传播信号采取各种形式中的任何，包括但不限于电磁、光学或其任何组合。计算机可读信号介质包括不是计算机可读存储介质的任何计算机可读介质，并且其能够通信、传播或传输，以用于结合计算系统700一起使用的程序。
另外，存储器704包括操作系统、程序和应用。处理器702被配置为执行所存储的指令，并且包括例如逻辑处理单元、微处理器、数字信号处理器、以及其他处理器。存储器704和/或处理器702可以被虚拟化并且可以被托管在例如云网络或数据中心的另一计算系统内。输入和输出外围设备708包括用户接口，例如键盘、屏幕、麦克风、扬声器、其他输入/输出设备和计算组件，诸如图形处理单元、串行端口、并行端口、通用串行总线以及其他输入/输出外围设备。输入/输出外围设备708通过耦合到接口总线712的端口中的任何端口被耦合到处理器702。通信外围设备710被配置为促进通过通信网络在计算系统700与其他计算设备之间的通信并且包括例如网络接口控制器、调制解调器、无线和有线接口卡、天线和其他通信外围设备。
尽管已经参考本主题的具体实施例详细描述了本主题，但是将认识到，本领域技术人员在获得对前文的理解后可以容易地产生对这样的实施例的更改、变型和等价方案。因此，应当理解，已经出于示例而非限制的目的说明了本公开内容，但是不排除如对于本领域普通技术人员将显而易见的对本主题的这样的修改、变型和/或添加的包含。实际上，本文描述的方法和系统可以以各种其他形式来实现；另外，可以在不脱离本公开内容的精神的情况下做出对本文描述的方法和系统的形式的各种删减、替代和改变。附图及其等价要件旨在涵盖如将落入本公开内容的范围和精神内的这样的形式或修改。
除非另行明确陈述，否则应当认识到，贯穿本说明书利用的术语(诸如“处理”、“计算”、“运算”、“确定”和“标识”等)的讨论是指计算设备的动作或过程，计算设备例如为一个或多个计算机或一个或多个类似的电子计算设备，其对存储器、寄存器或其他信息存储设备、传输设备或计算平台的显示设备内的被表示为物理电子的或磁的量的数据进行操纵或转换。
本文讨论的一个或多个系统不限于任何具体硬件架构或配置。计算设备可以包括提供取决于一个或多个输入的结果的组件的任何适当的布置。适当的计算设备包括基于多用途多处理器的计算机系统，其访问存储的对从通用计算装置的计算系统到实施本主题的一个或多个实施例的专用计算装置的计算系统进行编程或配置的软件。任何适当的编程、脚本化或其他类型的语言或语言的组合可以用于在要在对计算设备进行编程或配置中使用的软件中实施包含在本文中的教导。
本文公开的方法的实施例可以在这样的计算设备的操作中来执行。可以被改变被呈现在以上的示例中的框的顺序，例如，框可以被重新排序、被组合和/或被分解成子框。某些框或过程可以被并行地执行。
本文中使用的某些语言，例如“能够”、“可以”、“可能”、“可以”、“例如”等通常只在传达某些示例包括而其他示例不包括某些特征、元件和/或步骤，除非另行明确陈述或者否则在如使用的上下文内来理解。因此，这样的条件语言通常不旨在以任何方式暗示针对一个或多个示例需要该特征、元件和/或步骤或者一个或多个示例必要地包括用于在具有或没有作者输入或提示的情况下决定的逻辑，而无论这些特征、元件和/或步骤是否被包括或要在任何特定示例中来执行。
术语“包括”、“包含”、“具有”等等是同义词并且包含性地以开放式来使用，并且不排除附加的元件、特征、动作、操作等等。此外，术语“或者”在其包含性意义上(而非在其排他性意义上)来使用使得当被用于例如连接元件的列表时，术语“或者”意指列表中的元件中的一个、一些或全部。本文中对“适于”或“被配置为”的使用旨在为开放的且包含性的语言，其不排除适于或被配置为执行附加的任务或步骤的设备。附加地，对“基于”的使用旨在为开放的且包含性的，这是因为“基于”一个或多个记载的条件或值的过程、步骤、计算或其他动作可以实际上基于除了所记载的那些之外的附加的条件或值。类似地，对“至少部分地基于”的使用旨在为开放的且包含性的，因为“至少部分地基于”一个或多个记载的条件或值的过程、步骤、计算或其他动作可以实际上基于除了所记载的那些之外的附加的条件或值。本文包含的标题、列表和序号仅仅为了便于解释并且不旨在为限制性的。
以上描述的各个特征和过程可以彼此独立地来使用，或者可以以各种方式来进行组合。所有可能的组合和子组合旨在落入本公开内容的范围内。另外，可以在一些实施方式中省略某些方法或过程框。本文描述的方法和过程还不限于任何特定序列，并且与其相关的框或陈述可以以合适的其他序列来执行。例如，可以以除了具体公开的顺序之外的顺序来执行所描述的框或陈述，或者可以在单个框或状态中组合多个框或陈述。可以串行地、并行地或者以某种其他方式来执行示例框或陈述。框或陈述可以被添加到所公开的示例或从所公开的示例移除。类似地，本文描述的示例系统和组件可以以与所描述的不同的方式来配置。例如，元件可以被添加到所公开的示例、从所公开的示例移除或者与所公开的示例相比而重新布置。

Claims (20)

1.一种用于辅助用户完成电子表单的方法，所述方法由处理器执行并且包括：
基于所述用户的用户输入或预定触发事件来启动工作流助手以提示所述用户完成所述电子表单；
由所述工作流助手基于来自所述用户的用户响应来下载或获得所述电子表单；
由所述工作流助手基于所述电子表单来标识工作流，所述工作流标识用于完成所述电子表单的用户交互的序列，其中标识所述工作流包括：由所述工作流助手基于所述电子表单中的字段来开发对于来自所述用户的字段的内容的请求和针对所述字段的所述内容的可能的预测的答案选择，所述可能的预测的答案选择基于用户简档、所述用户的用户环境、或所述工作流助手获得的关于其他用户的信息而被开发；以及
由所述工作流助手执行所述工作流来进行所述用户交互以获得针对所述电子表单的所述字段的所述内容以完成所述电子表单。
2.根据权利要求1所述的方法，其中开发对于字段的内容的所述请求包括：使用表单字段识别来标识所述电子表单的字段。
3.根据权利要求1所述的方法，其中开发所述可能的预测的答案选择包括：标识所述用户简档中的、与所述电子表单的所标识的字段相对应的用户特性。
4.根据权利要求1所述的方法，其中执行所述工作流来进行所述用户交互以获得针对所述字段的所述内容包括：根据所述工作流来引导用户交互以填充所述电子表单的所述字段，其中引导所述用户交互以填充所述字段包括：使用对于内容的所述请求和所述可能的预测的答案选择来迭代地请求用户交互并且接收对所述请求的响应。
5.根据权利要求1所述的方法，还包括由用户助手引导用户交互以选择要完成的所述电子表单。
6.根据权利要求1所述的方法，还包括由用户助手引导用户交互以基于所述电子表单的状态或用户环境来选择要完成的所述电子表单。
7.根据权利要求1所述的方法，还包括由用户助手引导用户交互以基于指示所述表单被完成的所述电子表单的状态或用户环境来导出所述电子表单，其中导出所述电子表单包括：将所述电子表单打印、电子共享、保存、消息发送、提供通知、或发电子邮件。
8.根据权利要求1所述的方法，其中无触摸模态用于所述用户交互，其中所述无触摸模态提供听觉请求并使用语音识别来解释语音响应。
9.根据权利要求8所述的方法，其中所述无触摸模态基于没有提供合适类型的输入设备的所述用户的用户设备而被确定。
10.根据权利要求8所述的方法，其中用于所述用户交互的模态基于所述用户简档中的、指示所述用户具有视觉残疾、体力残疾或认知残疾的用户特性或用户环境而被确定。
11.根据权利要求1所述的方法，其中进行所述用户交互包括提供可听请求，并且其中所述响应包括使用语音识别解释的语音响应或来自所述可能的预测的答案选择的图形表示的选择。
12.根据权利要求1所述的方法，其中所述用户交互使用基于盲文的输入模态、基于手势的输入模态、基于视频识别的输入模态、基于眼睛凝视的输入模态、基于开关控制的输入模态以及基于心电图(EEG)分析的输入模态。
13.根据权利要求1所述的方法，其中所述工作流标识可能发生的用户交互，其中可能发生的用户交互的下一用户交互基于对先前用户交互请求的用户响应。
14.根据权利要求1所述的方法，其中所述工作流引导所述用户基于来自利用特定响应填充电子表单的字段的所述用户的先前响应来跳过所述电子表单的字段或部分的填充，其中所述字段或部分基于所述表单的指令而被跳过。
15.根据权利要求1所述的方法，其中所述工作流利用所述电子表单而被预计算并且被存储。
16.根据权利要求1所述的方法，其中所述工作流还基于在所述用户简档中标识的用户特性、用户环境或用户设备特性。
17.根据权利要求1所述的方法，还包括所述工作流助手：
请求生物特征标识；
接收所述生物特征标识；以及
基于确认所述生物特征标识的真实性，访问用户简档信息或利用电子签名来填充签名字段。
18.一种系统，包括：
处理器；
非暂态计算机可读介质，所述非暂态计算机可读介质存储指令，其中当由所述处理器运行时所述指令执行包括以下各项的操作：
基于用户的用户输入或预定触发事件来启动工作流助手以提示所述用户完成电子表单；
由所述工作流助手基于来自所述用户的用户响应来下载或获得所述电子表单；
由所述工作流助手基于所述电子表单来标识工作流，所述工作流标识用于完成所述电子表单的用户交互的序列，其中标识所述工作流包括：由所述工作流助手基于所述电子表单中的字段来开发对于来自所述用户的字段的内容的请求和针对所述字段的所述内容的可能的预测的答案选择，所述可能的预测的答案选择基于用户简档、所述用户的用户环境、或所述工作流助手获得的关于其他用户的信息而被开发；以及
由所述工作流助手执行所述工作流来进行所述用户交互以获得针对所述电子表单的所述字段的所述内容以完成所述电子表单。
19.根据权利要求18所述的系统，还包括被存储在数据储存库中的所述用户简档，其中所述用户简档标识所述用户的视觉残疾、体力残疾和认知残疾，其中执行所述工作流以进行所述用户交互基于所述残疾而被提供。
20.一种非暂态计算机可读介质，所述非暂态计算机可读介质包括指令，所述指令包括：
用于基于用户的用户输入或预定触发事件来启动工作流助手以提示所述用户完成电子表单的指令；
用于由所述工作流助手基于来自所述用户的用户响应来下载或获得所述电子表单的指令；
用于由所述工作流助手基于所述电子表单来标识工作流的指令，所述工作流标识用于完成所述电子表单的用户交互的序列，其中标识所述工作流包括：由所述工作流助手基于所述电子表单中的字段来开发对于来自所述用户的字段的内容的请求和针对所述字段的所述内容的可能的预测的答案选择，所述可能的预测的答案选择基于用户简档、所述用户的用户环境、或所述工作流助手获得的关于其他用户的信息而被开发；以及
用于由所述工作流助手执行所述工作流来进行所述用户交互以获得针对所述电子表单的所述字段的所述内容以完成所述电子表单的指令。
CN201610953780.0A 2016-01-05 2016-10-26 以对话方式引导与电子表单的交互的交互式电子表单工作流助手 Active CN106940692B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/988,293 2016-01-05
US14/988,293 US10460024B2 (en) 2016-01-05 2016-01-05 Interactive electronic form workflow assistant that guides interactions with electronic forms in a conversational manner

Publications (2)

Publication Number Publication Date
CN106940692A true CN106940692A (zh) 2017-07-11
CN106940692B CN106940692B (zh) 2022-12-20

Family

ID=59069010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610953780.0A Active CN106940692B (zh) 2016-01-05 2016-10-26 以对话方式引导与电子表单的交互的交互式电子表单工作流助手

Country Status (5)

Country Link
US (1) US10460024B2 (zh)
CN (1) CN106940692B (zh)
AU (1) AU2016253705B2 (zh)
DE (1) DE102016013099A1 (zh)
GB (1) GB2546359B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754805A (zh) * 2019-03-06 2019-05-14 中铝视拓智能科技有限公司 一种生产操作过程的语音录入方法及平台
CN110569341A (zh) * 2019-07-25 2019-12-13 深圳壹账通智能科技有限公司 配置聊天机器人的方法、装置、计算机设备和存储介质
CN110839998A (zh) * 2019-09-30 2020-02-28 佛山市威格特电气设备有限公司 智能安全帽语音填写作业表单方法
CN110858198A (zh) * 2018-08-23 2020-03-03 林开成 撷取联系人信息的系统、非暂时性计算机可读介质和方法
CN111462740A (zh) * 2019-01-18 2020-07-28 奥多比公司 非语音字母语言的话音辅助应用原型测试的话音命令匹配
CN111801645A (zh) * 2018-01-17 2020-10-20 电子护理公司 具有经改进交互式动画会话界面系统的计算装置
CN113299294A (zh) * 2021-05-26 2021-08-24 中国平安人寿保险股份有限公司 任务型对话机器人交互方法、装置、设备及存储介质
CN114402332A (zh) * 2019-09-20 2022-04-26 微软技术许可有限责任公司 表单到行动卡的转换

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017011347A1 (en) * 2015-07-10 2017-01-19 Base Venture Investing, Inc. Unified alternative investment data administration automation system
US10813572B2 (en) 2015-12-11 2020-10-27 Electronic Caregiver, Inc. Intelligent system for multi-function electronic caregiving to facilitate advanced health diagnosis, health monitoring, fall and injury prediction, health maintenance and support, and emergency response
US10657200B2 (en) 2016-01-05 2020-05-19 Adobe Inc. Proactive form guidance for interacting with electronic forms
US10445419B2 (en) 2016-01-05 2019-10-15 Adobe Inc. Form filling engine to populate fields of an electronic form
JP6744025B2 (ja) * 2016-06-21 2020-08-19 日本電気株式会社 作業支援システム、管理サーバ、携帯端末、作業支援方法およびプログラム
US10931724B2 (en) * 2017-07-18 2021-02-23 NewVoiceMedia Ltd. System and method for integrated virtual assistant-enhanced customer service
US10530718B2 (en) 2017-07-31 2020-01-07 Fuji Xerox Co., Ltd. Conversational enterprise document editing
AU2019223427A1 (en) * 2018-02-26 2019-11-14 Nintex Pty Ltd Method and system for chatbot-enabled web forms and workflows
US11213224B2 (en) 2018-03-19 2022-01-04 Electronic Caregiver, Inc. Consumer application for mobile assessment of functional capacity and falls risk
US11923058B2 (en) 2018-04-10 2024-03-05 Electronic Caregiver, Inc. Mobile system for the assessment of consumer medication compliance and provision of mobile caregiving
US11488724B2 (en) 2018-06-18 2022-11-01 Electronic Caregiver, Inc. Systems and methods for a virtual, intelligent and customizable personal medical assistant
US10659400B2 (en) * 2018-10-05 2020-05-19 The Toronto-Dominion Bank Automated population of deep-linked interfaces during programmatically established chatbot sessions
SG11202107882TA (en) 2019-02-05 2021-08-30 Electronic Caregiver Inc 3d environment risks identification utilizing reinforced learning
US11113943B2 (en) 2019-05-07 2021-09-07 Electronic Caregiver, Inc. Systems and methods for predictive environmental fall risk identification
CN110135810A (zh) * 2019-05-15 2019-08-16 广东电网有限责任公司 一种工单验收系统及工单验收方法
US11095577B2 (en) 2019-07-01 2021-08-17 Open Text Corporation Conversation-enabled document system and method
US11308265B1 (en) * 2019-10-11 2022-04-19 Wells Fargo Bank, N.A. Digitally aware neural dictation interface
US11240187B2 (en) * 2020-01-28 2022-02-01 International Business Machines Corporation Cognitive attachment distribution
US20210287315A1 (en) * 2020-03-16 2021-09-16 Hantz Group, Inc. Architectures and methods for generating and transferring electronically signed document data packages
US11599717B2 (en) * 2020-03-20 2023-03-07 Capital One Services, Llc Separately collecting and storing form contents
US11270063B1 (en) * 2020-07-17 2022-03-08 Citibank, N.A. Methods and systems for interactive data input
US11308266B1 (en) * 2020-10-20 2022-04-19 Google Llc Augmented reality assisted physical form completion
US12009083B2 (en) 2020-11-16 2024-06-11 Electronic Caregiver, Inc. Remote physical therapy and assessment of patients
US11444903B1 (en) * 2021-02-26 2022-09-13 Slack Technologies, Llc Contextual discovery and design of application workflow
JP2022147362A (ja) * 2021-03-23 2022-10-06 株式会社リコー サービス提供システム、情報処理装置、情報処理方法、及びプログラム
US11704484B2 (en) 2021-04-30 2023-07-18 Bank Of America Corporation Cross channel digital data parsing and generation system
US20220405468A1 (en) * 2021-06-22 2022-12-22 GovPlus LLC Form filling by voice
US20230185522A1 (en) * 2021-12-10 2023-06-15 Shopify Inc. Systems, apparatus, and methods for data entry at electronic user devices
US20230196323A1 (en) * 2021-12-22 2023-06-22 Shopify Inc. Systems, apparatus, and methods for providing data entry feedback at electronic user devices
US11978049B1 (en) 2023-11-28 2024-05-07 Citibank, N.A. Systems and methods for blockchain network traffic management using automatic coin selection

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060074652A1 (en) * 2004-09-20 2006-04-06 International Business Machines Corporation Method and system for voice-enabled autofill
US20080215976A1 (en) * 2006-11-27 2008-09-04 Inquira, Inc. Automated support scheme for electronic forms
US7814431B1 (en) * 2007-04-27 2010-10-12 Intuit Inc. Method and system for predictive form completion
US20130198628A1 (en) * 2006-08-21 2013-08-01 Christopher H. M. Ethier Methods and apparatus for automated wizard generation
US20140208194A1 (en) * 2013-01-22 2014-07-24 Michael O'Leary Device and system for securely executing electronic documents
US20140258828A1 (en) * 2013-03-11 2014-09-11 Brent Lymer Pick-and-place webform autofill
US20150317296A1 (en) * 2014-05-05 2015-11-05 Adobe Systems Incorporated Method and apparatus for detecting, validating, and correlating form-fields in a scanned document

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050249735A1 (en) * 2000-08-07 2005-11-10 Centocor, Inc. Methods of treating ankylosing spondylitis using anti-TNF antibodies and peptides of human tumor necrosis factor
US20090204881A1 (en) * 2008-02-08 2009-08-13 M/S. Scmooth (India) Private Limited Method and system for knowledge-based filling and verification of complex forms
US20100211863A1 (en) * 2009-02-19 2010-08-19 Microsoft Corporation Action-based pre-population of user profiles
US8527275B2 (en) * 2009-07-17 2013-09-03 Cal Poly Corporation Transforming a tactually selected user input into an audio output
US9330497B2 (en) * 2011-08-12 2016-05-03 St. Jude Medical, Atrial Fibrillation Division, Inc. User interface devices for electrophysiology lab diagnostic and therapeutic equipment
US9542378B2 (en) * 2009-09-23 2017-01-10 Adobe Systems Incorporated System and method for deploying a form template on multiple platforms
US9413869B2 (en) * 2010-02-10 2016-08-09 Qualcomm Incorporated Mobile device having plurality of input modes
US20130212521A1 (en) * 2010-10-11 2013-08-15 Teachscape, Inc. Methods and systems for use with an evaluation workflow for an evidence-based evaluation
US9153084B2 (en) * 2012-03-14 2015-10-06 Flextronics Ap, Llc Destination and travel information application
JP2014085954A (ja) * 2012-10-25 2014-05-12 Kyocera Corp 携帯端末装置、プログラムおよび入力操作受け付け方法
US9710071B2 (en) * 2014-09-22 2017-07-18 Rovi Guides, Inc. Methods and systems for recalibrating a user device based on age of a user and received verbal input
US9443519B1 (en) * 2015-09-09 2016-09-13 Google Inc. Reducing latency caused by switching input modalities
US9996517B2 (en) * 2015-11-05 2018-06-12 Lenovo (Singapore) Pte. Ltd. Audio input of field entries

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060074652A1 (en) * 2004-09-20 2006-04-06 International Business Machines Corporation Method and system for voice-enabled autofill
US20130198628A1 (en) * 2006-08-21 2013-08-01 Christopher H. M. Ethier Methods and apparatus for automated wizard generation
US20080215976A1 (en) * 2006-11-27 2008-09-04 Inquira, Inc. Automated support scheme for electronic forms
US7814431B1 (en) * 2007-04-27 2010-10-12 Intuit Inc. Method and system for predictive form completion
US20140208194A1 (en) * 2013-01-22 2014-07-24 Michael O'Leary Device and system for securely executing electronic documents
US20140258828A1 (en) * 2013-03-11 2014-09-11 Brent Lymer Pick-and-place webform autofill
US20150317296A1 (en) * 2014-05-05 2015-11-05 Adobe Systems Incorporated Method and apparatus for detecting, validating, and correlating form-fields in a scanned document

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111801645A (zh) * 2018-01-17 2020-10-20 电子护理公司 具有经改进交互式动画会话界面系统的计算装置
CN110858198A (zh) * 2018-08-23 2020-03-03 林开成 撷取联系人信息的系统、非暂时性计算机可读介质和方法
CN110858198B (zh) * 2018-08-23 2023-08-29 林开成 撷取联系人信息的系统、非暂时性计算机可读介质和方法
CN111462740A (zh) * 2019-01-18 2020-07-28 奥多比公司 非语音字母语言的话音辅助应用原型测试的话音命令匹配
CN111462740B (zh) * 2019-01-18 2024-05-24 奥多比公司 非语音字母语言的话音辅助应用原型测试的话音命令匹配
CN109754805A (zh) * 2019-03-06 2019-05-14 中铝视拓智能科技有限公司 一种生产操作过程的语音录入方法及平台
CN110569341A (zh) * 2019-07-25 2019-12-13 深圳壹账通智能科技有限公司 配置聊天机器人的方法、装置、计算机设备和存储介质
CN114402332A (zh) * 2019-09-20 2022-04-26 微软技术许可有限责任公司 表单到行动卡的转换
CN110839998A (zh) * 2019-09-30 2020-02-28 佛山市威格特电气设备有限公司 智能安全帽语音填写作业表单方法
CN113299294A (zh) * 2021-05-26 2021-08-24 中国平安人寿保险股份有限公司 任务型对话机器人交互方法、装置、设备及存储介质
CN113299294B (zh) * 2021-05-26 2024-06-11 中国平安人寿保险股份有限公司 任务型对话机器人交互方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US10460024B2 (en) 2019-10-29
GB2546359A (en) 2017-07-19
CN106940692B (zh) 2022-12-20
DE102016013099A1 (de) 2017-07-06
AU2016253705A1 (en) 2017-07-20
GB2546359B (en) 2020-11-18
AU2016253705B2 (en) 2021-08-26
US20170192950A1 (en) 2017-07-06

Similar Documents

Publication Publication Date Title
CN106940692A (zh) 以对话方式引导与电子表单的交互的交互式电子表单工作流助手
US10943497B2 (en) Personalized e-learning using a deep-learning-based knowledge tracing and hint-taking propensity model
CN109952572B (zh) 基于消息贴纸的建议响应
CN109643331A (zh) 通过利用现有内容使自然语言任务/对话创作自动化
US10445419B2 (en) Form filling engine to populate fields of an electronic form
CN109863488A (zh) 神经网络数据输入系统的设备/服务器部署
US20190171928A1 (en) Dynamically managing artificial neural networks
CN109074523A (zh) 统一消息搜索
CN105144156A (zh) 将元数据与个人图像集合中的图像相关联
CN109154945A (zh) 基于数据属性的新连接推荐
CN102681870A (zh) 在登录时自动执行动作
CN111651571A (zh) 基于人机协同的会话实现方法、装置、设备及存储介质
KR20190000587A (ko) 딥러닝 신경망회로에 의한 번역알고리즘을 구비한 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램 및 사용자 장치
CN103534697A (zh) 使用web数据训练口述对话系统中的统计对话管理器
CN110414001B (zh) 语句生成方法和装置、存储介质及电子装置
US11373057B2 (en) Artificial intelligence driven image retrieval
CN109154865A (zh) 移动设备上的顺序双手触摸键入
CN112699228B (zh) 业务访问方法、装置、电子设备及存储介质
KR101743999B1 (ko) 컨텐츠 검증 단말기, 시스템 및 그 것들의 제어방법
US20220318499A1 (en) Assisted electronic message composition
CN112685546B (zh) 人机多轮对话方法、装置及计算机可读存储介质
CN115510457A (zh) 数据识别方法、装置、设备及计算机程序产品
CN110390508A (zh) 基于ocr创建日程方法、装置及存储介质
US20220358283A1 (en) Computer implemented cognitive functioning system
EP4075296A1 (en) Electronic device and controlling method of electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant