CN115769219A - 生成对于电子文档和显示的级联文本格式化 - Google Patents

生成对于电子文档和显示的级联文本格式化 Download PDF

Info

Publication number
CN115769219A
CN115769219A CN202180040998.6A CN202180040998A CN115769219A CN 115769219 A CN115769219 A CN 115769219A CN 202180040998 A CN202180040998 A CN 202180040998A CN 115769219 A CN115769219 A CN 115769219A
Authority
CN
China
Prior art keywords
text
display
speech
format
sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180040998.6A
Other languages
English (en)
Inventor
迈克尔·戈尔曼
马克·拉采克
卡希夫·里亚
朱莉·A·万戴克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyside Reading Co ltd
Original Assignee
Keyside Reading Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyside Reading Co ltd filed Critical Keyside Reading Co ltd
Publication of CN115769219A publication Critical patent/CN115769219A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/106—Display of layout of documents; Previewing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/117—Tagging; Marking up; Designating a block; Setting of attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/24—Generation of individual character patterns
    • G09G5/243—Circuits for displaying proportional spaced characters or for kerning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/32—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory with means for controlling the display position
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/14—Electronic books and readers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在本文中描述了用于在电子发布和显示媒体中使用和实现级联文本格式化的方法的各种示例。在示例中，一种用于分析和重新格式化文本流的方法，包括：在自然语言处理(NLP)解析器中获得人类可读文本流，以识别适当语句中的词性和关键短语；根据相应的词性和关键短语标注所识别的词性；通过将预定义的规则应用于词性和关键短语，生成用于适当语句的显示的文本级联布置，其中，根据预定义的规则，适当语句的这样的显示提供打断和级联，包括缩进；以及输出包括文本级联布置的适当语句的电子显示。还公开了利用这样的文本级联布置和相关格式来转换文本、格式化文本和显示文本的方法的其他示例。

Description

生成对于电子文档和显示的级联文本格式化
优先权声明
本申请要求2020年4月7日提交的美国临时专利申请第63/006,633号的优先权的权益，该美国临时专利申请通过引用整体并入本文。
背景技术
在文档发布和用户界面显示的技术领域中，可以采用各种方法来尝试数字文本内容的智能输出和格式化。一种这样的文档布置方法涉及使用级联文本格式化。级联文本格式化将传统的块状文本转换为级联模式，目的是帮助读者识别语法结构并提高阅读理解能力。在一项研究中，每周阅读以级联格式格式化的文本少于一小时的学生在其整体英语语言艺术成就和其写作技能方面表现出微小但统计上显著的提高。参见Tate等人，2019年，Visual-Syntactic Text Format:Improving Adolescent Literacy,Visual-SyntacticText Format:Improving Adolescent Literacy，Journal of Scientific Studies ofReading，第23卷，2019年第4期。
级联文本格式旨在帮助阅读中的视觉和句法处理两者。视觉上，眼睛通常在每次注视时仅捕捉有限宽度的文本字符，在大约9个到15个字符的范围内。由于这种有限的视场，当读者试图跨页移动他们的阅读视场和向下移动多行同类块文本时，注意力处理会变得紧张。级联文本显示格式通过以下方式减少了这个问题：i)将文本分成更短的行(例如大约8个到30个字符宽)，这些行适合于一个或两个注视眼距；以及ii)使用引导眼睛从一行到另一行的不同的缩进模式。
级联文本格式还有助于读者识别语句的句法结构。句法比一个短语接另一个短语的简单连结序列更复杂；相反，它是分层次的。人脑通过将语言单元嵌套在其他单元中的递归过程来构建语句的能力是使人类语言能够表示无限多种含义的基本特征。因此，当解析书面形式的自然语言时，读者的大脑必须不仅仅是简单地将语句“分块”成一串更小的单元。相反，读者的大脑需要确定每个短语如何被嵌套在更大的短语和从句结构中，以及每个嵌套短语如何与包含它的更大短语相关。因此，这种级联解析模式已经被设计成使得读者在查看特定短语时能够同时感知到该短语上方和下方的短语的相对缩进。这些组合的视觉和句法效果也使得“脑海”在阅读时能够构建和检查更大且更持久的语句视觉图像。
用于生成级联文本的现有方法涉及使用人类创作的手写规则，例如使用应用于识别词性和短语边界的手动规则。虽然理论上手写规则可以被设计成适应大范围的文本和句法结构，但是设计这些规则所需的时间和精力对可扩展性提出了挑战。需要高水平可扩展性的应用包括，例如，来自各种各样的源或涉及各种各样的句法形式的文本的按需或实时处理。特别是，挑战包括给定语言中的以前没有遇到的句法，或甚至是具有不同句法的不同语言。因此，在数字发布、图形用户界面和动态电子显示的技术领域中，需要消除对手写或手动规则或者重新格式化和显示文本的人工监督的依赖的新的方法。
附图说明
为了容易识别任何特定元素或动作的讨论，附图标记中的一个或多个最高有效数字是指该元素首先被引入的图号。
图1示出了根据一个实施方式的用于准备以级联格式显示的人类可读文本的语句的环境和系统。
图2示出了根据一个实施方式的用于以级联格式显示人类可读文本的基于插件的混合应用和离线终端用户应用的示例。
图3示出了根据一个实施方式的用于以级联格式显示人类可读文本的语句的文本转换的示例。
图4示出了根据一个实施方式的以级联格式渲染文本的过程。
图5示出了根据一个实施方式的用于训练和使用机器学习模型来生成人类可读文本的级联格式的过程。
图6示出了根据一个实施方式的使用自然语言处理生成级联人类可读文本的示例。
图7示出了根据一个实施方式的使用自然语言处理生成级联人类可读文本的方法。
图8示出了根据一个实施方式的使用自然语言处理基于反馈输入调整级联人类可读文本的示例。
图9示出了根据一个实施方式的使用自然语言处理基于反馈输入调整级联人类可读文本的方法。
图10示出了根据一个实施方式的使用自然语言处理从捕捉到的图像生成级联人类可读文本的示例。
图11示出了根据一个实施方式的使用自然语言处理从捕捉到的图像生成级联人类可读文本的方法。
图12示出了根据一个实施方式的使用自然语言处理在护目镜设备中将人类可读文本从第一显示格式转换为第二显示格式的示例。
图13示出了根据一个实施方式的使用自然语言处理在护目镜设备中将人类可读文本从第一显示格式转换为第二显示格式的方法。
图14示出了根据一个实施方式的在创作文本时使用自然语言处理生成级联人类可读文本的示例。
图15示出了根据一个实施方式的在创作文本时使用自然语言处理生成级联人类可读文本的方法。
图16示出了根据一个实施方式的接收对级联格式的修改的示例。
图17示出了根据一个实施方式的用于诊断影响阅读能力的医学状况的方法。
图18示出了根据一个实施方式的基于反馈输入使用自然语言处理对级联人类可读文本进行个性化的示例。
图19示出了根据一个实施方式的基于反馈输入使用自然语言处理对级联人类可读文本进行个性化的方法。
图20示出了根据一个实施方式的基于反馈输入使用自然语言处理来双显示级联人类可读文本的示例。
图21示出了根据一个实施方式的基于反馈输入使用自然语言处理来双显示级联人类可读文本的方法。
图22示出了根据一个实施方式的用于文本的自然语言处理的依存关系树的示例。
图23示出了根据一个实施方式的使用自然语言处理为级联人类可读文本标注的超文本标记语言(HTML)代码的示例。
图24是示出了在其上可以实现一个或更多个实施方式的机器示例的框图。
具体实施方式
如本文中所述，提供了用于生成级联文本显示——包括在图形用户界面、数字出版物和文件以及电子显示输出内——的计算机实现系统和方法的各种实施方式。根据一个实施方式，采用机器学习(ML)来自动学习句法规则，以通过分析典型现实世界示例的大型语料库来生成句法信息。从该学习阶段生成的一个或多个ML模型又被用于自动生成文本分段的句法和其他信息，这些信息又可以全部或部分地与显式规则(例如，手写或手动规则)结合使用，以生成块文本的级联文本格式。
根据一个实施方式，许多不同分类的机器学习算法可以被应用于自然语言处理任务，以支持级联文本显示的生成。这些算法将从输入数据生成的大量“特征”视为输入。一些最早使用的算法例如决策树产生了类似于当时常见的手写规则系统的硬if-then规则系统。然而，研究越来越多地集中在统计模型上，这些统计模型基于将实值权重附加到每个输入特征来做出软的概率决策。这样的模型的优势在于，它们可以表达许多不同的可能答案的相对确定性，而不仅仅是一个，从而在这种模型作为更大系统的组成部分被包括时产生更可靠的结果。应当理解，概率模型将随机变量和概率分布结合到事件或现象的模型中。确定性模型给出事件的单一可能结果，而概率性模型给出概率分布作为解决方案。统计推断是使用数据分析来推断潜在概率分布特性的过程。统计学从样本中得出总体推断，并且机器学习找到可概括的预测模式。
根据一个实施方式，与主要依靠手写规则的解决方案相比，本文中公开并且使用机器学习算法和模型的应用于电子发布和显示媒体内的系统提供了许多技术优势。例如，在机器学习期间使用的学习过程自动关注最常见的情况，而当手动编写规则时，通常根本不清楚应该将精力放在哪里。另外，自动学习过程可以利用统计推断算法来产生模型，这些模型对于处理来自文本流的不熟悉的输入(例如，包含以前没有见过的单词或结构)和处理来自文本流的错误输入(例如，具有拼错的单词或意外省略的单词)是鲁棒的。一般来说，用手写规则优雅地处理这种输入，或者更一般地，创建做出软决策的手写规则系统是极其困难、容易出错和耗时的。
根据一个示例实施方式，使用机器学习范例的NLP(自然语言处理)解析器对输入文本例如文本流中提供的文本执行一个或更多个以下功能：句法分析、提取记号和语句、识别词性、识别关键短语和为每个语句创建依存解析树。所提供的其他基于ML的文本分析功能包括情感分析、实体识别(例如，人、地点、定制实体)、主题建模、语言检测、翻译和对诸如医学术语的技术术语的支持(例如，如由亚马逊网络服务(AWS)理解
Figure BDA0003985543450000051
特征所提供的)。这些引擎还包括分析多种语言的文本的多语言功能。
根据一个示例实施方式，由基于ML的NLP解析器执行的自然语言处理任务包括：1)语法归纳，以生成描述语言句法的形式语法；2)词形还原，以仅去除屈折词尾，并恢复单词的基本词典形式，其也被称为词元；3)词法分割将单词分成各个语素并识别语素的分类；4)词性标注，以从语句确定每个单词的词性(POS)；5)解析以确定给定语句的解析树(语法分析)；6)断句(也被称为语句边界消歧)以对于给定的文本组块找到语句边界；7)词干化以将屈折的(或有时派生的)单词减少到它们的词根形式；8)单词分割以将连续文本的区块分成单独的单词；9)术语提取，以从给定的语料库中自动提取相关术语；10)语义，以确定上下文中各个单词的计算意义；11)机器翻译，以自动将文本从一种人类语言翻译成另一种人类语言；12)自然语言生成，以将来自计算机数据库或语义意图的信息转换成可读的人类语言；13)自然语言理解，以将文本组块转换成更正式的表示，例如计算机程序更容易操纵的一阶逻辑结构。
根据一个实施方式，基于ML的NLP解析器是特定于应用的。根据另一示例实施方式，基于ML的NLP解析器是市场上可从亚马逊公司、谷歌公司、斯坦福(CoreNLP)购得的一种解析器，或者是现在可用的或将来可能变得可用的任何其他基于ML的解析器，其提供了本文中提到的解析功能以支持各种实施方式。此外，如本文中所使用的，术语“基于ML”包括任何人工智能(AI)的应用，其向系统提供自动学习和从经验中改进的能力，而无需显式编程。基于ML的算法的示例是监督机器学习算法、非监督机器学习算法、半监督机器学习算法和强化机器学习算法，但不限于本文中包含的算法。可以在基于ML的解析器中使用的模型包括人工神经网络，例如递归神经网络、决策树、支持向量机、回归分析、贝叶斯网络、遗传算法等。
根据一个示例实施方式，本文中所述的引擎使用基于ML的NLP解析器作为级联文本格式化过程中的前驱/输入。基于ML的NLP解析器创建“标注的”数字文本，它限定了语句中的词性和关键短语。通过将下面所述的显示规则应用于由NLP解析识别的词性，该标注文本被用于开发文本级联。根据一个实施方式，引擎在规则过程中关注如由NLP解析器限定的词性和关键短语，使得由对于NLP输出提供和应用的规则限定适当的包括缩进的级联和断句。
根据另一示例实施方式，可以经由云连接服务部署提供级联文本显示的系统，所述云连接服务可在在线模式下、在作为终端应用提供的离线模式下，或在在线模式和离线模式两者的组合下运行，所述终端应用驻留在用户端点设备上，并且在没有广域网(例如，因特网)连接的情况下运转。如本文中所使用的，云连接服务是经由云计算平台递送、提供或传播的服务，该云计算平台可以包括在终端用户计算系统(例如，台式计算机、膝上型计算机、移动设备、平板设备、数字眼镜、数字隐形眼镜、电视等)上执行的前端客户端、后端服务(例如，服务器、存储设备等)、基于云的交付系统(支持云的网站、计算集群等)以及网络(例如，因特网、专用网络、蜂窝网络、无线网络等)，或者在操作上与之耦接。云计算平台可以提供多种云交付的服务，包括软件即服务(SaaS)、数据即服务(DaaS)、平台即服务(PaaS)和基础设施即服务(IaaS)，它们提供了传统上可以经由位于终端用户的本地网络上的预置硬件和软件促进的各种服务。
根据一个示例实施方式，云服务的在线模式使用云基础设施提供一系列经由API相互连接的服务。这样的API可以用于交付。
根据一个示例实施方式，提供级联文本标注的云服务从出版源(例如，在线或离线出版商、杂志、报纸、书籍、作者、内部或因特网源)接收文本输入，用显示参数标注文本，并且将标注的文本提供给终端用户查看者的客户端系统。在另一实施方式中，出版商将文本发送到终端用户读者的客户端系统，客户端系统将文本发送到云服务，云服务又将标注的文本返回到读者的客户端系统。
根据另一示例实施方式，提供了修改级联规则的ML引擎、方法和度量。
根据另一示例实施方式，提供了用户简档存储，包括用于隐私和HIPPA合规性的匿名化ID、用户输入描述符(语言、人口统计、联系信息)、绩效指标和进度跟踪。在其他替选实施方式中，使用其他隐私系统来例如使用本文中描述的系统和方法保护幼儿的隐私。
根据另一实施方式，提供存储内容访问，包括有关频率、使用时间、属性(小说、非小说、作者、研究、诗歌等)的度量。
根据另一实施方式，提供了任何终端用户应用的版本控制和更新。
根据另一实施方式，如本文中所述，生成级联技术。
根据另一实施方式，端点应用在离线模式下运行，其中，一个或更多个级联功能可以驻留在端点/用户设备上，其中，用户可以在无需因特网访问的情况下接收级联文本。
根据另一示例实施方式，提供了一种ML持续改进能力，其中通过使用主动和被动方法的机器学习，级联文本的规则随着使用而改进。
根据另一实施方式，文本输入/输出(I/O)方法包括光学字符识别(OCR)、可穿戴设备例如
Figure BDA0003985543450000071
或智能隐形眼镜。
根据另一示例实施方式，提供了一种起草/创作工具，以用于创作文本，并以级联格式显示所创作的文本。
根据又一示例实施方式，提供了用于诊断认知状况的系统和方法。
根据另一示例实施方式，提供了个性化/上下文格式化，该个性化/上下文格式化提供了专属于个人的个性化算法，以提供针对每个用户和用户偏好个性化和/或为最佳理解而优化的格式化。
根据另一示例实施方式，提供了基于诸如阅读速度、光线水平、时间或日期、用户操纵等的读者环境来修改级联格式化的阅读简档。
根据又一示例实施方式，使用阅读理解评分(RCS)来评估和测量用户的阅读能力。
根据又一示例实施方式，提供了使用级联文本格式化的发布内容库。
根据又一示例实施方式，本文中所述的级联文本显示能力提供除英语之外的包括所有主要语言的语言的级联文本。更具体地，尽管提供了示出用于显示英语文本的示例实施方式，但是本文中的实施方式不限于与英语文本一起使用，而是适用于所有语言。
根据又一示例实施方式，将口语单词与级联格式视觉显示相结合，使得当一个人在阅读级联文本时，也存在以可控速度阅读相同文本，以匹配个体读者的速度的口语单词。
图1示出了根据一个实施方式的用于准备以级联格式显示的人类可读文本的语句的环境100和系统105。该环境可以包括系统105，该系统105可以是基于云的交付系统。该系统可以被分布在各种后端系统110中，各种后端系统110为托管系统105的云服务提供商提供诸如计算能力和存储能力的基础设施服务。系统105可以通信耦接(例如，经由有线网络、无线网络、蜂窝网络、共享总线等)到网络120(例如，因特网、专用网络、公共网络等)。终端用户计算设备115可以通信连接到网络，并且可以建立到系统105的连接。终端用户设备可以经由web浏览器、下载的应用、可点播应用等与系统105进行通信。在示例中，系统的部件可以准备好经由提供对系统105的特征的离线访问的安装的应用来交付给终端用户计算设备115。
系统105可以经由终端用户计算设备115提供直接在线连接，可以向在无因特网连接的情况下离线运行的终端用户计算设备115上的终端用户应用分配一组打包服务，并且作为与终端用户应用的混合，终端用户应用连接(例如，经由插件等)到因特网上的云服务。图2示出了根据一个实施方式的用于以级联格式显示人类可读文本的基于插件的混合应用205和离线终端用户应用215的示例200。基于插件的混合应用205和离线终端用户应用215可以经由网络120连接到系统105。可以提供模式按钮210，以允许用户改变级联模式(例如，关、开、学习、诊断、编辑等)。虽然在基于插件的混合应用205中示出了模式按钮，但是它也可以在在线应用和离线终端用户应用215中提供。终端用户应用可以提供离线操作，并且级联功能可以驻留在终端用户计算设备220上执行的应用中，使得用户可以在没有因特网访问的情况下产生级联文本。虽然用户可以在离线模式下使用服务，但是可以记录活动和用户选择，当因特网连接可用时这些活动和用户选择可以被定期上传到系统105。
返回到图1的描述，版本控制服务155可以跟踪应用版本，并且可以向便携式部件提供定期更新，所述便携式部件在连接至因特网时被提供给在终端用户计算设备115上执行的应用。混合模式使得用户能够以级联格式阅读，而不管连接性如何，但是仍然提供数据以改进系统105。终端用户应用可以以多种形式部署。例如，浏览器插件和扩展可以使得用户能够改变他们在web上和在应用中使用级联格式阅读的文本的格式化。在另一个示例中，终端用户应用可以被集成到菜单栏、剪贴板或文本编辑器中，使得当用户使用鼠标或热键突出显示文本时，可以呈现具有使用级联格式渲染的所选文本的窗口。在另一个示例中，终端用户应用可以是便携式文档文件(PDF)阅读器，其可以输入PDF文件作为输入源，并且可以输出级联格式以显示给用户。在又一示例中，终端用户应用可以是增强的图像增强，其翻译来自相机的实时视图，并且可以应用光学字符识别(OCR)来将图像转换成文本并且实时地以级联格式渲染布局。
OCR能力可以使得用户能够经由相机(例如，在其电话等上)捕捉文本图像，并且将文本图像立即转换成级联格式化的文本。这也可以经由诸如智能眼镜、智能隐形眼镜等的用户佩戴的设备来进行，其中用户看到的文本输入被转换成级联格式以用于增强理解。以这种方式，可以由用户的个人查看设备实时转换文本。级联格式化的增强视频(AV)、增强现实(AR)和虚拟现实(VR)应用可以在用户佩戴的视觉显示设备内完成，包括AV和VR头戴式耳机、眼镜和隐形眼镜，以允许用户看到级联格式的文本。本文中讨论的系统和技术适用于各种环境，其中通过处理文本并将文本转换成级联格式化来在设备上渲染文本。在屏幕上显示文本需要关于渲染的指令，并且级联指令集可以被插入在命令序列中。这可能适用于文档类型(例如，PDF等)以及具有嵌入的渲染引擎的系统，其中对渲染引擎的调用可以被拦截并且级联格式化指令可以被插入。
在示例中，源文本和级联格式化文本的并行显示可以经由并行呈现的两个屏幕或分屏呈现。例如，原始源文本可以被显示在一个屏幕上，并且级联文本被并行显示在第二屏幕上，并且可以被同步，因此当用户在任一显示器上滚动时其保持同步。这可以用于教育目的，以突出显示句法、关键短语和词性，或者呈现“增强的理解视图”，其类似显示文本的潜在结构的文本X-RAY。例如，关键短语可以加粗或不加粗，动词可以着色或加粗等，以突出显示潜在结构。
在示例中，可以提供双级联显示布置。例如，级联格式化的段落可以显示在屏幕的一个窗口中，而该段落的另一种语言的翻译可以以级联格式呈现在屏幕的第二窗口中。在另一个示例中，块文本可以显示在双显示器的一侧，而级联格式化的文本显示在双显示器的另一侧。在又一示例中，提供了分屏滚动，并且块和级联和/或语言可以显示在屏幕的不同侧或双显示器配置的不同显示器上。双屏幕可以允许用户参考另一视图以帮助理解困难的段落。
系统105可以包括可以全部或部分在后端系统110的各种计算设备上执行的各种服务组件，包括文本渲染服务125、自然语言处理(NLP)服务130、机器学习服务135、分析服务140、用户简档服务145、访问控制服务150和版本控制服务155。文本渲染服务125、自然语言处理服务130、机器学习服务135、分析服务140、用户简档服务145、访问控制服务150和版本控制服务155可以包括包含应用编程接口(API)指令的指令，这些应用编程接口(API)指令可以提供来往外部系统以及其他服务中的数据输入和输出。
系统105可以在各种模式下运行，终端用户(例如，读者等)使用具有用于生成级联文本的离线组件的副本的本地客户端来转换本地客户端上的文本，终端用户可以向系统105发送文本以将标准文本转换成级联文本，发布者可以向系统105发送文本以将其文本转换成级联格式，发布者可以使用系统105的离线组件集将其文本转换成级联格式，并且发布者可以使用系统105以传统的块格式化或级联格式化发布文本。
文本渲染服务125可以接收文本输入，并且可以将文本传递至NLP服务130解析器，以生成表示词性和关键短语的文本标注。例如，对于给定的文本，句法分析(例如，通过
Figure BDA0003985543450000102
Python库nltk和spaCy等)可以返回具有每个记号的一组丰富语言信息的单词的分解。该信息可以分为两个部分：
词性：该部分包含关于每个记号的词法的信息。对于每个单词，返回包含其类型(例如，名词、动词等)、性、语法格、时态、语法语气、语法语态等的细粒度分析。例如，对于输入语句“A computer once beat me at chess,but it was no match for me atkickboxing.(计算机曾经在象棋上赢了我，但是在跆拳道上它不是我的对手。)”，(EmoPhilips)词性分析在表1中示出。
Figure BDA0003985543450000101
Figure BDA0003985543450000111
表1
依存关系树：返回的第二部分被称为依存关系树，其描述每个语句的句法结构。在图22中，著名的肯尼迪引用的图示出了这样的依存关系树。对于每个单词，箭头指示哪些单词因该单词被修改。上面的分析用很少几行代码就可以获得。除了英语之外，句法分析可以支持各种附加语言：中文(简体)、中文(繁体)、法语、德语、意大利语、日语、韩语、葡萄牙语、俄语和西班牙语。
根据一个示例实施方式，词性和关键短语被标注。示例标注技术包括样式表的修改或级联格式样式表的传输，以包括可以与要应用的级联格式规则相匹配的标注的关键短语。在另一示例实施方式中，对文本的调用可以被拦截并以级联格式渲染。在另一个示例实施方式中，基于级联格式化规则产生并显示美国信息交换标准代码(ASCII)文本。在另一示例实施方式中，为文本生成可扩展标记语言(XML)文件，并将XML标注分配给词性和关键短语，这些词性和关键短语可以用于调用适用的级联格式化规则，以在文字处理应用、web浏览器或其他应用中以级联格式显示文本。通用基本文本代码可以跨各种技术使用，使得包括在级联格式化规则中的断点和缩进可以被统一应用来创建跨平台的标准级联显示。
文本渲染服务125可以将级联格式化规则和算法用于处理文本输入。图3示出了根据一个实施方式的用于以级联格式显示人类可读文本的语句的文本转换300的示例。浏览器窗口305可以包括连接到系统105的插件310，以及级联模式按钮315——当用户在网站上查看文本时，当级联模式关时可以显示标准文本320。当级联模式开时，文本可以被格式化并以级联格式325显示。
图4示出了根据一个实施方式的以级联格式渲染文本的过程400。在过程400中，可以定义Max_Line变量(例如，40个字符等)。可以维护KeyPhrase计数变量以对语句中识别的关键短语的数量进行计数。对于每个语句(例如，如由语句末尾的句号确定的，等)，可以调用NLP处理器(例如，如在图1中所描述的NLP服务130，具有对
Figure BDA0003985543450000121
理解、
Figure BDA0003985543450000122
Figure BDA0003985543450000123
自然语言、
Figure BDA0003985543450000124
文本分析等的API调用)，并且可以检索字符串(例如，JSON字符串等)以获取关键短语和句法。在一个示例实施方式中，字符串被存储在要被评估的数据结构中。可以阅读语句的记号。如果记号的最后一个字符是“，”，则可以在记号之后用语句延续的缩进规则换行，如果最后一个字符是除了“，”以外的点，则可以在记号之后用子语句的缩进规则换行，如果记号的词性标注是从属连词(例如，SCONJ等)或和附置词(例如，ADP等)，则可以在语句之后用成分规则的缩进来换行，如果KeyPhrase计数＝2，则可以在下一个记号处换行。如果EndOffset变量小于Max_Line变量，则过程400可以继续。如果达到Max_Line变量，如果记号是KeyPhrase之一并且KeyPhrase计数<2，则可以将记号写在该行上，并且可以用语句延续规则来换行，并且可以递增该行的KeyPhrase计数变量。记号的长度可以除以2。如果结果(例如，记号长度的一半)在Max_Line+3之内，则记号可以在当前行上继续，否则可以回溯该行，并且可以利用语句延续规则在记号之前换行。来自数组(例如，JSON数组等)的每个KeyPhrase可能会针对每个语句突出显示。语句延续规则可以限定语句的第一换行符在BeginOffset＝4处，并且缩进从上一行到下一行在BeginOffset+1处。成分缩进规则可以限定记号与上面的从属连词或附置词缩进的最后一个对齐。子语句缩进规则可以限定BeginOffset＝3。
在示例中，在处理文本并确定所需级联文本格式的换行符和缩进之后，以适用于所需显示应用(例如，
Figure BDA0003985543450000125
超文本标记语言(HTML)、
Figure BDA0003985543450000126
或其他)的一种或更多种格式添加所需的标点符号标注。在示例中，对于HTML格式化的文件，HTML换行符标注<br>被用于对正在显示的级联文本的每一行打断。在第一缩进示例中，缩进是通过使用以下内容实现的：<p style＝"margin-left:40px">此文本是缩进的。</p>。在该第一示例中，段落标注中的文本从左边被缩进40个像素。任何其他段落标注都不会被缩进。在另一个示例中，缩进是通过使用以下内容实现的：<p style＝"text-indent:40px">此文本是缩进的。</p>。在第二缩进示例中，只有段落中的第一行文本从左边被缩进40个像素。该段落中的任何其他行的文本都不会被缩进。
在另一个示例中，级联样式表(CSS)被用于为处理的文本指定缩进。(注意，短语“级联样式表”中的术语“级联”与如本文中使用的“级联文本格式”的使用没有关系)。在示例中，CSS被放置在HTML文档中的<head></head>HTML标注之间。下面的示例创建了名为“tab”的样式类，其将文本和段落从左边缩进40个像素。
<style type＝"text/CSS">
<！--
.tab{margin-left:40px；}
-->
</style>
一旦上述代码在<head>部分中，通过将其添加到段落(<p>)标注来使用其，如下所示：tab</p>的<p class＝"tab">示例。替选地或另外地，在另一示例中，CSS代码被放置在单独的文件中，扩展名为.css。该文件从HTML文档链接，并且该文档可以使用那些CSS属性。使用外部CSS文件允许独立于HTML文档修改CSS。例如，通过在HTML文档中的<head>元素中添加以下行(在<head>标注之后并且在</head>标注之前)，将外部CSS文件链接到HTML文档。因此，可以使用<p class＝"tab">示例插入所需的缩进。
在另一个示例中，缩进可以是成比例的，而不是静态的。例如，代替缩进40px(像素)，用百分比(例如，5％)来替换缩进，以将文本缩进最大行值的5％。在另一个示例中，通过将左边距改为右边距而将左缩进改为右缩进。
在又一示例中，使用XML标注和值来格式化缩进和换行符。例如，
Figure BDA0003985543450000131
可以在文档的XML代码中包括：
<w:pPr>
<w:ind w:left＝"1440"w:right＝"1440"/>
</w:pPr>
在该示例中，与w:left和w:right标注结合的w:ind标注使能够限定左缩进和右缩进。在该示例中，w:left值1440可以指示文本应该从左边缩进一英寸，而w:right值1440可以指示文本应该从右边缩进一英寸。
在另一示例中，XML标注可以用于指示换行符。例如，
Figure BDA0003985543450000141
可以在文档的XML代码中包括：
<w:r><w:t>这是另一个</w:t></w:r><w:r><w:br/><w:txml:space＝"preserve">简单语句。</w:t></w:r>。在该示例中，标注<w:br/>被用于指示换行符(例如，回车等)，导致在“这是另一个”之后的新行上输出“简单语句”。
图23示出了根据一个实施方式的使用自然语言处理为级联人类可读文本标注的超文本标记语言(HTML)代码的示例2300。可以由如在图1中描述的NLP服务130对源文本2305进行处理，以识别词性和关键短语2310。虽然该示例将源文本2305示出为HTML代码，但是该文本可以是ASCII格式、XML格式或各种其他机器可读格式。如在图1中所描述的文本渲染服务125可以渲染标注的输出文本2315，其指示基于词性和关键短语而插入到文本中的换行符(例如，作为HTML代码中的</br>标注等)和缩进(例如，使用HTML中的文本缩进：标注等)。
返回到图1的描述，机器学习服务135可以与NLP服务130结合工作，以创建限定语句中的词性和关键短语的标注的数字文本，并且标注的数字文本可以与机器学习服务135结合工作，以使用包括神经网络(例如，递归神经网络(RNN)等)的概率方法来生成标注词性和关键短语的规则，并生成词性和关键短语的级联规则。机器学习服务135可以使用各种机器学习算法(例如，神经网络、分类器、深度学习等)和度量作为输入来修改级联格式化规则和算法。
在示例中，本文中使用的基于ML的算法和系统是可以采用深度学习算法的神经网络。像人脑一样，神经网络包括一组相互连接的神经元。深度学习采用以人脑为模型的数据结构，并使用大型数据集训练神经元。算法帮助计算机基于提供的数据进行学习。神经网络已经变得越来越准确，并且可能比人脑更有效且更快地学习。神经网络是模仿人类智能的包括机器学习(例如，决策树、逻辑回归、关联挖掘、支持向量机、神经网络等)、搜索和优化、逻辑推理、约束满足、概率推理、控制理论等的人工智能的子集。
NLP服务130可以使用预训练的AI模型(例如，
Figure BDA0003985543450000142
理解等)，该AI模型可以使用RNN进行文本分析。在给定大量数据的情况下，RNN能够从输入的自由文本中学习映射，以创建可能存在于自由文本中的输出，例如预测的实体、关键短语、词性等。例如，
Figure BDA0003985543450000151
理解是如下预训练的模型，消费者直接将其应用于他们自己的文本，并在大量训练数据上对其进行训练。最初，许多配对的示例(例如，输入输出对)被提供给模型以进行学习。在经历了几个输入和期望输出的示例之后，模型学习了从输入到输出的映射。此时，模型准备好对新文本进行预测，并准备好作为服务进行部署。根据一个示例实施方式，词性建模是通过训练递归神经网络(RNN)来实现的。在示例中，RNN包括被称为神经元并且具有连接它们的边缘的相互连接的处理单元的系统。通过接收模型需要学习的一系列配对的输入(文本)和输出(词性)来训练RNN。这些节点逐步执行复杂的计算，以学习映射文本与词性之间的关联的数学模型。
在示例中，NLP服务130可以使用ML模型，该ML模型不是预训练的，而是为提供如本文中所讨论的词性、关键短语和实体的特定目的而训练的。例如，NLP服务130可以使用文本词性、文本关键短语和文本实体对来训练神经网络，以允许神经网络学习作为输出的标注词性、关键短语和实体。在示例中，可以使用关键短语格式规则、词性格式规则、实体格式规则对来训练附加的机器学习模型，以识别各种词性、关键短语和实体的级联格式化规则。在另一个示例中，用户偏好和词性、关键短语和实体对可以用于训练机器学习模型，以基于各种词性、关键短语和实体来识别用户偏好。各种机器学习模型可以基于给定输入与所选输出相关的统计可能性来提供输出。在模型中可以存在各种阈值层以过滤输出，从而增加输出选择的准确性。
因此，如上所述，在某些示例实施方式中，可以使用行长度参数和标点符号、介词和从属连词的存在的组合来确定级联。文本按顺序打印，如由该级联算法确定的，其中注意名词短语作为“关键短语”和/或“实体”。根据该实施方式，该过程帮助保持格式化规则不将名词短语成分分开。
词性、关键短语和实体的识别旨在防止在应用级联格式化规则时级联将名词短语成分分开。可以用来提示读者理解的信息可能会由于成分结构的不适当和/或不充分的表示而丢失。因此，根据另一示例实施方式，使用基于语法的解析算法(例如，斯坦福解析器(https://nlp.stanford.edu/software/lex-parser.shtml)等)，其可以产生保留语言依赖性的输出。斯坦福解析器是概率解析器，其使用从手工解析的语句中获得的语言知识来尝试产生最可能的新语句分析。在该实施方式中，解析树(例如，如图22中所示的依存关系树等)用作对级联算法的输入，该级联算法可以使用实际的成分关系来确定文本的换行符。例如，语句“The strongest rain ever recorded in India shut down the financialhub of Mumbai,snapped communication lines,closed airports and forcedthousands of people to sleep in their offices or walk home during the night,officials said today.(印度官员今天表示，印度有史以来最强的降雨导致金融中心孟买关闭，通讯线路中断，机场关闭，并且数千人被迫在办公室睡觉或在夜间步行回家。)”如在表2中所示进行解析。
Figure BDA0003985543450000161
Figure BDA0003985543450000171
表2
根据该实施方式，基于语法的解析提供了保留语言内的依赖性，而不能保留成分间距的识别的能力。由基于语法的解析器识别的依赖性可以帮助读者理解子句中的引用、因果和推理关系。
根据示例实施方式，通过将规则应用于词性，而不是使用特定单词作为级联触发，标注文本被用于开发文本级联。例如，代替开发特定介词(例如，of、in等)的表，在规则过程中使用如由NLP服务130限定的词性和/或关键短语，使得由针对NLP服务130的输出提供和应用的规则限定包括缩进的级联和断句。
文本渲染服务125可以对NLP服务130进行几次调用以实现多种功能，包括：识别词性、识别关键短语、识别可能包括在语句中的实体(例如，人称、地点、事物等)。这些中的每一个是单独的调用/功能，当组合时，其提供要用于生成级联文本的一组标注。在英语语法中，语句的成分是更大的语句、短语或从句的语言学部分。例如，组成语句的所有单词、短语和从句都是成分。语句被表示为层次。例如，英语语句“The cat chased a mouse(猫追老鼠)”可以具有如在表3中所示的语句成分层次。
Figure BDA0003985543450000172
Figure BDA0003985543450000181
表3
眼睛注视是在阅读过程期间眼睛休息的一点。最佳眼运动是由两个眼睛注视捕捉到的一些字符和空格。语言结构是指语句或文本段落的语法、句法、语义、词法、音韵等。句法是语言学研究的分支，该分支使用词性来关注语句的结构。词性标注是NLP处理的标注语法词性的任务。如本文中使用的偏移是指确定从哪里开始对包括空格的字符进行计数的锚点。光标位置被称为当前偏移。开始偏移是指开始，结束偏移是单词或空格的结尾。
根据一个示例实施方式，关键短语由NLP服务130使用计算语言学以概率方式确定。所识别的关键短语最有可能传达与理解相关的语句的关键内容。
由文本渲染服务125生成的级联文本可以改善阅读理解。根据示例实施方式，编码在谁、何时、何地和什么从句以及表示这些从句的名词短语中的信息被用作确定换行符和/或缩进以实现级联文本格式的能指或向导。最佳眼运动被认为是换行符。语言结构限定级联，而不是解释语言结构的规则。文本渲染服务125使用关键短语来确定语句中的人、时间、地点以及内容。这可以与动词聚焦的算法相对比。NLP服务130使用词性标注，而不是处理成千上万的规则来评估文本。由文本渲染服务125插入的缩进是基于由词性标注通知的语句成分层次的。可配置的最大行长度由眼睛注视设置引导并取决于缩进规则。
在示例中，可以向NLP处理服务130提供英语语言语句作为输入。英语语句由主语、动词和宾语组成。语句被定义为以句号结尾的具有主语、动词和宾语的单词序列。最大行长度是可配置的，但是它由两个眼睛注视引导。例如，最大长度可以被设置为35个字符。NLP服务130可以执行实体识别、关键短语识别和词性(POS)识别。文本渲染服务125可以使用格式化规则来处理对应于实体、关键短语和词性的文本，格式化规则可以基于类型、单独指定的规则、类别等来选择。由文本渲染服务125插入的缩进和换行符基于语句成分的POS标识和语言规则。
对于每个语句，文本渲染服务125可以：
从NLP服务130获取词性标注、关键短语和实体。
在文本编辑器中的位置1开始语句。
在行上一次写一个单词，直到达到最大行长度。
如果遇到“,”或“)”作为标点符号之一，则换行。通过向上一行开始的位置添加2个字符来开始新的行。在示例中，当遇到标点符号时，可以不换行，并且可以继续进一步评估语句的语言结构。
或者
如果单词是介词短语的头，则换行，因为它建立了接下来的文本的范围。在介词短语的最后一个头的位置开始介词短语的头。如果它是介词短语的第一头，则将其记录为介词短语的头的第一位置，将其比上一行多缩进2个位置。
或者
如果单词是从属连词，则换行，因为它将语句的各部分链接在一起。在从属连词的最后一个缩进处缩进下一个单词。如果它是第一从属连词，则将其记录为从属连词的第一位置，将其比上一行多缩进两个。
或者
如果在单词末尾遇到标点符号，标点符号是“:”或“；”或“？”或“！”，则换行，并且在左对齐的“3”的位置缩进。
文本渲染服务125可以在级联之前，在一行上限制一个关键短语。因此，当遇到单词时，保存关键短语计数。文本渲染服务125不会在关键短语中间换行。如果在处理记号时达到了最大行限制，则如果多于一半单词超过最大限制就换行。例如，如果在处理工作enchantment时达到最大行长度。在处理字符“c”时达到最大行。该单词有11个字符长，并且字符“c”位于单词的位置3。因此，11/2大约是比3大的5，所以在enchantment之前换行。
可以通过经由机器学习服务135采用人工智能(包括机器学习技术)来实现文本标注和级联规则的持续改进。可以主动和被动地处理来往机器学习服务135的输入/输出。例如，在两个用户可能正在阅读相同的材料(在人A和人B之间级联格式略有不同)的示例中，机器学习服务135可以在主动机器学习方法下操作。由用户对材料的阅读理解可以经由评估来跟踪，并且机器学习服务135可以生成输出，该输出可以被文本渲染服务125用来随时间修改级联规则。这允许更好地扩展使用。机器学习服务135可以以被动模式操作，以在没有明确评估的情况下测量如阅读理解的属性。例如，机器学习服务135可以收集数据，这些数据(单独地和当组合时)可以用于生成指示读者理解的输出，而无需用户进行评估。通过示例而非限制的方式，可以被评估以改进机器学习模型的一些数据可以是阅读文本的给定部分所花费的时间(例如，阅读花费的时间越少可以表明理解程度越高，等)、评估眼睛在相同内容的不同级联格式之间移动的效率的使用相机(例如，嵌入式相机、外部相机等)的眼睛跟踪以提供机器学习输入，并且用户修改可以评估针对用户偏好的个人修改的程度(例如，更大的间距、语句片段长度、字体、关键短语或词性的颜色增强等)。
分析服务140可以记录和存储用户分析，包括阅读理解的测量、如在对系统的修改中反映的用户偏好(例如，滚动速度、间距、片段长度、黑暗模式、关键短语突出显示等)，等等。可以针对各种级联格式评估修改，以确定各种修改如何转化为理解，并且可以作为输入馈送到机器学习服务135中，以改进默认级联格式。用户简档服务145可以存储用户简档数据，包括用于隐私和隐私合规性(例如，HIPPA合规性等)的匿名化标识符，并且可以跟踪性能指标和进度。例如，由用户持续进行的个性化可以由机器学习服务135基于来自分析服务140的输入来学习，并且可以用于生成用户特定的级联规则。访问控制服务150可以提供对存储内容的访问，包括关于频率、使用时间、属性(例如，小说、非小说、作者、研究、诗歌等)的度量。根据另一个性化，用户可以个性化显示参数，例如文本颜色、字体、字体大小和其他显示参数。
在示例中，可以为用户开发阅读评分。可以创建可以基于学生的年龄和年级的评分矩阵，该评分矩阵可以是他们对指定内容的阅读以及然后他们的相关联理解(例如，阅读理解评分(RCS)等)的结果。该度量可以基于由用户使用级联格式化对文本消费的评估。例如，可以随时间——主动或被动地——跟踪评估，以确定用户理解文本的速度和效率。可以为用户计算随着理解速度而增加的商。在执行阅读评估之前接收的输入可以用于为用户生成基线商。
可以使用级联格式化开发认知训练库。例如，可以使用级联格式翻译诸如书籍、杂志和论文的各种发布内容项，并且可以允许用户出于训练他们的大脑以增强理解和记忆力的目的而访问库。测试和测验可以用于评估用户理解的表现，以向用户提供认知改进的切实证据。
级联格式化可以被应用以处理各种语言。可以使用NLP解析器来标注其他语言文本，并且可以创建规则并将其应用于NLP输出(例如，西班牙语文本等)以相应地级联外语文本。除了语言适应之外，可以基于其他语言的句法进行适应，并且因此不同语言的级联文本可以使用不同的格式化规则以不同的格式级联，以考虑本地化的句法变化。这允许高速率的语言检测(例如，100多种语言)和许多变化，以使级联文本适应于语言和句法。
在示例中，口语单词可以与级联格式化的文本的视觉显示结合。声音可以被结合为使得当一个人正在阅读级联文本时，也存在以可控速度阅读相同文本以匹配个体读者的速度的口语单词。例如，文本到语音可以用于实时提供音频/语音输出，并且可以评估阅读速度和理解，并且可以改变文本到语音输出的速度(例如，加速、减速、暂停、恢复等)以保持音频与用户的阅读同步。
图5示出了根据一个实施方式的用于训练和使用机器学习模型来生成人类可读文本的级联格式的过程500。过程500可以提供如在图1至图4中描述的特征。
在操作505处，可以接收学习文本的语料库，该学习文本可以包括各种文本，各种文本可以包括各种格式化文本以及标记和未标记的关键短语和词性。
在操作510处，可以由机器学习处理器(例如，如在图1中所述的机器学习服务135等)标记任何未标记的词性和关键短语。在操作515处，可以使用机器学习处理器的输出来生成文本标注模型，该文本标注模型可以由机器学习处理器用来标记未来的未标记输入。在示例中，机器学习处理器可以评估学习文本的格式化，以生成级联格式模型，该级联格式模型包括在评估中标识的学习到的缩进和换行规则。
在操作520处，可以由基于云的NLP(例如，如在图1中所述的NLP服务130等)接收输入文本。在操作525处，可以通过文本标注模型来评估输入文本。在操作530处，可以基于评估将标签分配给识别的词性和关键短语。在操作535处，可以基于标签应用级联格式化规则以生成用于在显示设备上输出文本的指令。在示例中，可以使用级联格式模型来选择级联格式化规则。在操作540处，使用指令通过处理输入文本，可以在显示设备上显示输出文本。
在示例中，在操作545处，可以接收指示对输出文本的级联格式的修改的用户输入。在操作550处，可以基于用户输入来修改级联格式化规则。在操作555处，可以基于用户输入来诊断状况。
图6示出了根据一个实施方式的使用自然语言处理生成级联人类可读文本的示例600。示例600可以提供如在图1至图5中描述的特征。可以接收输入文本605。接收的文本可以从网页、文档、内容发布者、文本编辑器等接收。可以由NLP解析器，基于预定义的词性和关键短语数据615在输入文本605中识别词性和关键短语610。在示例中，机器学习处理器可以通过处理输入文本605以将单词或单词组合分类为关键短语来识别未知的关键短语。包括词性和关键短语610的输入文本605可以由系统105接收。
可以对照一组级联格式化规则620评估所识别的词性和关键短语610。该组级联格式化规则620可以包括用于将换行符、缩进和其他格式化元素插入到输入文本605中以生成输出文本625的规则。级联格式化规则可以专用于关键词或词性，或者可以对于词性或关键短语的分类或类型而被限定。例如，可能存在用于附置词、主语、专有名词、书名等的规则。例如，“human events(人类事件)”可以是关键短语，并且对应于“human events”所属的关键短语类型的级联格式化规则可以包括从“human events”的实例之前的最后一行插入换行符和缩进的指令。
通过插入适当的格式化，可以将输入文本605转换并显示为输出文本625。所得到的显示提供了级联文本显示，其并入了对应于词性和关键短语610的每个相关级联格式化规则。
图7示出了根据一个实施方式的使用自然语言处理生成级联人类可读文本的方法700。方法700可以提供如在图1至图5中描述的特征。在操作705处，可以使用自然语言处理(NLP)解析器(例如，由如在图1中描述的NLP服务130等)来处理文本。在示例中，NLP解析器可以是神经网络。在示例中，NLP解析器使用概率分析来解析文本中的语句。在操作710处，可以用相应的词性和关键短语标注来标注在文本中识别的词性和关键短语。在操作715处，可以基于应用于词性和关键短语的规则来生成包括断句和缩进的文本级联。在示例中，可以将文本级联显示在显示设备上。在示例中，显示设备选自：台式计算机、膝上型计算机、电子阅读器、平板计算机、手表、TV、汽车屏幕、智能手机、图形显示器、用户佩戴的视觉显示设备。在示例中，用户佩戴的视觉显示设备包括选自AV头戴式耳机、VR头戴式耳机、眼镜和隐形眼镜的设备。
图8示出了根据一个实施方式的使用自然语言处理基于反馈输入调整级联人类可读文本的示例800。示例800可以提供如在图1至图5中描述的特征。如关于图6所述，可以接收输入文本805，并且可以由NLP解析器，基于预定义的词性和关键短语数据815识别输入文本805中的词性和关键短语810。可以对照一组级联格式化规则820来评估所识别的词性和关键短语810。该组级联格式化规则820可以包括用于将换行符、缩进和其他格式化元素插入到输入文本805中以生成输出文本825的规则。同样如关于图6所述，输入文本805可以通过插入适当的格式化被转换并显示为输出文本825。所得到的显示提供了级联文本显示，其并入了对应于词性和关键短语810的每个相关级联格式化规则。用户可能对如何显示文本有特定的偏好，并且用户所做的修改可以被检测到并且可以用于修改级联格式化规则820。用户可以对输出文本825进行用户修改830。用户修改830可以基于实现特定词性或关键短语810的显示的用户修改830来直接修改级联格式化规则。用户修改830可以被用作对机器学习处理器的输入，该机器学习处理器可以跟踪包括用户修改830的随时间的用户修改，以学习随时间调整级联格式化规则。例如，可以维护一组用户定制的级联格式化规则，并且可以在应用级联格式化规则820之后应用该组用户定制的级联格式化规则，以便对于用户调整输出文本825。
图9示出了根据一个实施方式的使用自然语言处理基于反馈输入调整级联人类可读文本的方法900。方法900可以提供如在图1至图5中描述的特征。在操作905处，可以解析文本以识别语句中的词性(例如，通过如在图1中描述的NLP服务130等)。在操作910处，可以用相应的词性标注来标注词性。在操作915处，可以将规则应用于词性以生成指令，从而以包括基于规则的包括缩进的级联和断句的级联格式显示语句。在操作920处，可以使用规则以第一级联格式在片段中显示语句。在操作925处，可以接收指示第一级联格式的人类反馈的输入。在示例中，人类反馈可以指示主观用户偏好和/或人类理解使用规则显示的语句的能力。在操作930处，可以使用人类反馈来调整规则，以生成用于与第一级联格式不同的调整的级联格式的指令，直到达到停止条件。在操作935处，可以将调整的规则保存为词性的规则。在示例中，用于调整规则的人类反馈可以基于单个个体，并且规则可以专门针对单个个体进行调整，并且可以提供针对多个个体中的每一个个体个性化的规则。在示例中，可以从以下集合中选择停止标准：调整的迭代次数、人类接收到的输入、或者确定调整没有改进级联文本的可读性。在示例中，人类反馈可以指示语句片段的间距、语句片段长度或两者的变化。
图10示出了根据一个实施方式的使用自然语言处理从捕捉到的图像生成级联人类可读文本的示例1000。示例1000可以提供如在图1至图5中描述的特征。成像设备1005可以捕捉包括文本1010的图像。图像可以被处理(例如，经由光学字符识别等)以从图像中提取文本1010。可以经由系统105评估文本1010，以识别文本中的词性和关键短语。对于在文本1010中识别的词性和关键短语，可以将级联格式化规则应用于文本1010。可以将文本1010转换成级联的输出文本，并且显示以供用户消费。
图11示出了根据一个实施方式的使用自然语言处理从捕捉到的图像生成级联人类可读文本的方法1100。方法1100可以提供如在图1至图5中描述的特征。在操作1105处，可以在成像设备的视场内捕捉文本的图像。在操作1110处，可以识别图像中的文本以生成机器可读文本字符串。在操作1115处，可以用自然语言处理(NLP)解析器来处理机器可读文本字符串，以识别词性。在示例中，NLP解析器可以包括神经网络。在示例中，NLP解析器可以使用概率分析来解析文本中的语句。在操作1120处，可以根据词性来标注所识别的词性。在操作1125处，可以基于应用于词性的规则生成包括打断和缩进的文本级联。在示例中，文本字符串可以包含文本的语句，并且可以将打断和缩进应用于语句。
图12示出了根据一个实施方式的使用自然语言处理在护目镜设备中将人类可读文本从第一显示格式转换为第二显示格式的示例1200。示例1200可以提供如在图1至图5中描述的特征。用户105可以佩戴包括成像设备1210的智能眼镜。成像设备1210可以捕捉包括文本1215的图像。可以对图像进行处理(例如，经由光学字符识别等)以从图像中提取文本1215。可以经由系统105评估文本1215，以识别文本中的词性和关键短语。对于在文本1215中识别的词性和关键短语，可以将级联格式化规则应用于文本1215。可以将文本1215转换成级联输出文本，并显示在包括成像设备1210的智能眼镜的显示设备上，以供用户消费。
图13示出了根据一个实施方式的使用自然语言处理在护目镜设备中将人类可读文本从第一显示格式转换为第二显示格式的方法1300。方法1300可以提供如在图1至图5中描述的特征。在操作1305处，可以在护目镜设备的成像部件的视场内捕捉文本的图像。在操作1310处，可以识别图像中的文本以生成机器可读文本字符串。在操作1315处，可以用自然语言处理(NLP)解析器来处理机器可读文本字符串，以识别词性。在示例中，NLP解析器可以包括神经网络。在示例中，NLP解析器可以使用概率分析来解析文本中的语句。在操作1320处，可以根据词性来标注所识别的词性。在操作1325处，可以基于应用于词性的规则生成包括打断和缩进的文本级联。在示例中，文本字符串可以包含文本的语句，并且可以将打断和缩进应用于语句。在操作1330处，可以经由护目镜设备的显示部件将文本级联显示给用户。
图14示出了根据一个实施方式的在创作文本时使用自然语言处理生成级联人类可读文本的示例1400。示例1400可以提供如在图1至图5中描述的特征。文本创作工具1405可以从用户接收文本输入1410(例如，经由键盘、语音命令等)。当接收到文本输入1410时，它由系统105处理(经由在线连接、本地可用的组件等)以识别文本输入1410中的词性和关键短语。对于在文本输入1410中识别的词性和关键短语，可以将级联格式化规则应用于文本输入1410。当用户输入文本时，所显示的输出文本1415可以显示为级联输出文本，以在输入文本时向用户提供实时级联格式化。
图15示出了根据一个实施方式的在创作文本时使用自然语言处理生成级联人类可读文本的方法1500。方法1500可以提供如在图1至图5中描述的特征。本文中讨论的系统和技术可以用于以级联格式起草和创作。在示例中，用户能够实时起草和查看文本级联。像语法检查器或拼写检查器一样，用户能够使用级联格式创建文档(例如，而不是以块进行起草并且然后转换等)。在操作1505处，可以从文本创作工具接收文本(例如，通过如在图1中所描述的NLP服务130等)。在操作1515处，可以在输入文本时对其进行处理，以识别文本的语句中的词性。在示例中，文本可以由自然语言处理(NLP)解析器处理以识别语句中的词性，所识别的词性可以根据词性来标注，并且包括包括缩进的级联和断句的文本级联由应用于词性的规则限定。在操作1515处，可以根据用于生成级联显示的文本显示规则，在创作工具中近乎实时地修改文本的显示。在示例中，可以基于从创作工具中的编辑工具接收的输入来修改级联显示的特征，该编辑工具使得能够调整级联显示。根据另一示例实施方式，级联文本创作工具是语法检查工具，例如提供级联文本输出以及语法标记和建议的纠正的
Figure BDA0003985543450000261
图16示出了根据一个实施方式的用于接收对级联格式的修改的环境1600的示例。用户界面1605和插件1610可以提供如在图1至图5中所述的特征。用户界面1605和插件1610可以连接到如图1中所述的系统105。系统105可以包括诊断服务1620，该诊断服务1620可以包括用于基于对如在图1至图10中所述的级联格式进行的修改来诊断状况的指令。可以提供级联模式按钮1015，其允许用户打开或关闭编辑模式。文本可以以级联格式显示，并且当级联编辑模式被启用时，对级联格式的改变可以被跟踪并且可以被分析以诊断医学状况和/或生成对于用户的个性化级联格式规则。
图17示出了根据一个实施方式的用于诊断影响阅读能力的医学状况的方法1700。方法1700可以提供如在图1至图5中描述的特征。本文中讨论的系统和技术也可以用于诊断像阅读障碍和脑震荡这样的状况。例如，可以提供不同的级联和修改，以便于这些和其他状况的诊断。人可以戴上头戴式耳机并暴露于各种格式参数，这些参数通过通知状况的各种因素进行分类。在操作1705处，可以以包括基于级联规则的断句和缩进的级联格式显示语句。在操作1710处，可以接收指示与人类理解语句文本的能力对应的人类反馈的输入。在示例中，人类反馈可以指示语句片段的间距、语句片段长度或两者的变化。替选地，通过跟踪读者在文本中的眼运动来提供人类反馈。在操作1715处，可以使用人类反馈来调整级联规则，以产生不同于原始级联格式的调整的级联格式。在操作1720处，可以基于调整的级联规则来修改语句的显示。在操作1725处，可以进一步调整级联规则，并且可以在接收到人类反馈的同时进一步修改显示。在操作1730处，可以基于针对级联规则的多个调整接收的人类反馈来诊断医学状况。
图18示出了根据一个实施方式的基于反馈输入使用自然语言处理对级联人类可读文本进行个性化的示例1800。示例1800可以提供如在图1至图5中描述的特征。用户界面1805和插件1810可以连接到如图1中所述的系统105。系统105可以包括用户注册表1820，用户注册表1820可以允许用户和发布者注册以经由系统105发布和消费文本。可以提供级联模式按钮1015，其允许用户打开或关闭编辑模式。文本可以以级联格式显示，并且当级联编辑模式被启用时，对级联格式的改变可以被跟踪并且可以被评估以为用户生成个性化级联格式规则。
在示例中，发布者可以经由用户注册表1810进行注册，并且可以提供发布的内容以供系统105的用户消费。发布者数据1820可以包括可以被输入到系统105中的文本，包括书籍、杂志、手册、试卷等。可以由NLP解析器基于预定义的词性和关键短语数据在发布者数据1820中识别词性和关键短语。在示例中，机器学习处理器可以通过处理发布者数据1820以将单词或单词组合分类为关键短语来识别未知的关键短语。包括词性和关键短语的发布者数据1820可以由系统105接收。
可以对照一组级联格式化规则评估所识别的词性和关键短语，所述一组级联格式规则可以包括用于将换行符、缩进和其他格式化元素插入到发布者数据1820中的规则。级联格式化规则可以专用于关键词或词性，或者可以对于词性或关键短语的分类或类型而被限定。级联的发布者数据可以被提供回发布者以包括在发布者数据1820中，并且可以由用户经由用户界面1805消费。
图19示出了根据一个实施方式的基于反馈输入使用自然语言处理对级联人类可读文本进行个性化的方法1900。方法1900可以提供如在图1至图5中描述的特征。本文中讨论的系统和技术可以用于开发专属于个人的个性化算法。人们有不同的处理文本信息的方式，并且可以创建针对每个人优化的个人阅读算法(PRA)。通过调整各种属性并评估理解和阅读的容易程度，可以开发用于格式化的个性化设置。这可以通过由用户做出的级联文本输出的参数改变来创建，以适合他们期望消费文本的方式。可以被跟踪的调整可以包括用户对控件的调整、对现有格式化的改变(例如，非级联内容)、具有更多或更少缩进的级联的修改、一个或两个(或更多个)关键短语、级联文本调整，包括使用用户指定的参数或基于用户历史自动对这些参数进行的调整等。
例如，可以创建(独立地或组合地)阅读简档，其基于读者背景修改级联格式化。可以通过用户输入或通过计算机自动评估来通知背景概况，例如，对于特定的医学和认知状况(例如，阅读障碍、注意力缺陷和多动症(ADHD)、注意力缺陷和障碍(ADD)等)、母语(例如，与母语为西班牙语的人相比，母语为汉语的人可能受益于不同的格式，等)、正在阅读的内容的性质(例如，小说、非小说、新闻、诗歌等)、屏幕模式(例如，电话、平板电脑、笔记本电脑、监视器、AR/VR设备等)。在示例中，可以使用机器学习来自动确定诊断，以生成各种医学状况的模型，并将用户的度量与模型进行比较等。在另一个示例中，用户可以设置他们自己的个人参数和输出格式(例如，长度、间距、突出显示、缩进、行返回等)、字体、颜色、大小、背景色。
在操作1905处，可以从包括文本语句的云连接源获得人类可读内容。在操作1910处，个人注册表和个人的个性化文本格式参数。在示例中，文本格式化参数可以包括生成针对个人个性化的级联文本显示格式的规则。在操作1915处，可以从与来自注册表的个人相关联的发布源接收文本语句，并且可以生成显示控制指令以控制该语句在客户端设备上的显示。显示控制指令可以使用针对个人的个性化文本格式参数，并且指令可以使得能够以针对个人个性化的级联格式显示语句。在示例中，云连接源可以是浏览器应用，并且浏览器应用可以向文本处理引擎提供文本语句。
图20示出了根据一个实施方式的基于反馈输入使用自然语言处理来双显示级联人类可读文本的示例2000。示例2000可以提供如在图1至图5中描述的特征。可以经由用户界面2005接收文本。可以由系统105处理文本2010以识别词性和关键短语。文本2010(例如，非级联、原始语言、级联等)或源文本可以显示在用户界面2005的第一窗口中。虽然块文本被用作示例，但是原始文本可以是第一语言的文本、级联文本、第一级联格式等。修改的文本2015可以显示在用户界面2005的第二窗口中。修改的文本2015可以是已经被级联格式化、翻译、以与原始文本的级联格式不同的级联格式格式化等的文本。在示例中，修改的文本2015可以使用来自基于所识别的词性和关键短语应用的级联格式化规则的换行符和缩进以级联格式呈现。修改的文本2015可以用突出显示的词性和关键短语(例如，下划线、粗体、着色、阴影等)来呈现，使得用户能够识别文本2010的结构。
图21示出了根据一个实施方式的基于反馈输入使用自然语言处理来双显示级联人类可读文本的方法2100。方法2100可以提供如在图1至图5中描述的特征。在操作2105处，可以使用自然语言处理(NLP)解析器(例如，由如在图1中描述的NLP服务130，等)来处理文本。在示例中，NLP解析器可以是神经网络。在示例中，NLP解析器使用概率分析来解析文本中的语句。在操作2110处，可以用相应的词性和关键短语标注来标注在文本中识别的词性和关键短语。在操作2115处，可以生成文本级联，该文本级联包括基于应用于词性和关键短语的规则的断句和缩进。
在操作2120处，可以将文本输出至显示设备的第一显示区域，并且可以将文本级联输出至显示设备的第二显示区域。词性和关键短语可以在文本级联中突出显示。在示例中，显示设备可以是台式计算机、膝上型计算机、电子阅读器、平板计算机、手表、TV、汽车屏幕、智能手机、图形显示器、用户佩戴的视觉显示设备的显示设备。在示例中，用户佩戴的视觉显示设备包括选自AV头戴式耳机、VR头戴式耳机、眼镜和隐形眼镜的设备。
图22示出了根据一个实施方式的用于文本的自然语言处理的依存关系树2200的示例。依存关系树2200示出了对引语的分析。对于每个单词，箭头指示哪些单词因该单词被修改。
图24示出了示例机器2400的框图，本文中所讨论的任何一种或更多种技术(例如方法)可以在该机器2400上执行。在替选实施方式中，机器2400可以作为独立设备操作，或者可以连接(例如，联网)到其他机器。在联网部署中，机器2400可以在服务器客户端网络环境中以服务器机器、客户端机器或两者的身份运行。在示例中，机器2400可以充当对等(P2P)(或其他分布式)网络环境中的对等机器。机器2400可以是个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、移动电话、web设备、网络路由器、交换机或网桥、或者能够执行指定要由该机器采取的动作的指令(顺序地或以其他方式)的任何机器。此外，虽然仅示出了单个机器，但是术语“机器”也应当被理解为包括单独或联合执行一组(或多组)指令以执行本文中讨论的任何一种或更多种方法的任何机器集合，例如云计算、软件即服务(SaaS)、其他计算机集群配置。
如本文中所述，示例可以包括逻辑或多个组件或机构，或者可以由逻辑或多个组件或机构操作。电路集是在包括硬件(例如，简单电路、门、逻辑等)的有形实体中实现的电路的集合。电路集成员关系可以随时间和底层硬件可变性而是灵活的。电路集包括在运行时可以单独或组合执行指定操作的构件。在示例中，电路集的硬件可以被不变地设计为执行特定操作(例如，硬连线)。在示例中，电路集的硬件可以包括可变连接的物理部件(例如，执行单元、晶体管、简单电路等)，该可变连接的物理部件包括物理修改(例如，磁、电、不变聚集粒子的可移动放置等)以对具体操作的指令进行编码的计算机可读介质。在连接物理部件时，硬件组成的基本电性能被改变，例如，从绝缘体到导体，反之亦然。这些指令使得嵌入式硬件(例如，执行单元或加载机构)能够经由可变连接在硬件中创建电路集的成员，以在操作时执行特定操作的部分。因此，当设备运行时，计算机可读介质被通信地耦接到电路集成员的其他部件。在示例中，任何物理部件可以用于多于一个电路集的多于一个成员中。例如，在操作中，执行单元可以在一个时间点用在第一电路集的第一电路中，并且在不同时间由第一电路集中的第二电路或者由第二电路集中的第三电路重新使用。
机器(例如，计算机系统)2400可以包括硬件处理器2402(例如，中央处理单元(central processing unit，CPU)、图形处理单元(graphics processing unit，GPU)、硬件处理器核心或其任何组合)、主存储器2404和静态存储器2406，它们中的一些或全部可以经由互连(例如，总线)2408彼此通信。机器2400还可以包括显示单元2410、字母数字输入设备2412(例如，键盘)和用户界面(user interface，UI)导航设备2414(例如，鼠标)。在示例中，显示单元2410、输入设备2412和UI导航设备2414可以是触摸屏显示器。机器2400可以另外包括存储设备(例如，驱动单元)2416、信号生成设备2418(例如，扬声器)、网络接口设备2420和一个或更多个传感器2421，例如全球定位系统(global positioning system，GPS)传感器、罗盘、加速度计或其他传感器。机器2400可以包括输出控制器2428，例如串行(例如，通用串行总线(universal serial bus，USB))、并行或其他有线或无线(例如，红外(infrared，IR)、近场通信(near field communication，NFC)等)连接以与一个或更多个外围设备(例如，打印机、读卡器等)通信或控制一个或更多个外围设备(例如，打印机、读卡器等)。
存储设备2416可以包括机器可读介质2422，在其上存储有一组或更多组数据结构或指令2424(例如，软件)，这些数据结构或指令2424实现了本文中所述的任何一种或更多种技术或功能，或者由本文中所述的任何一种或更多种技术或功能利用。在由机器2400执行指令2424期间，指令2424也可以完全或至少部分地驻留在主存储器2404内、静态存储器2406内或硬件处理器2402内。在示例中，硬件处理器2402、主存储器2404、静态存储器2406或存储设备2416中的一个或任意组合可以构成机器可读介质。
虽然机器可读介质2422被示出为单个介质，但是术语“机器可读介质”可以包括被配置成存储一个或更多个指令2424的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关联的高速缓冲存储器和服务器)。
术语“机器可读介质”可以包括能够存储、编码或携带由机器2400执行并使机器2400执行本公开内容的任何一种或更多种技术的指令的任何介质，或者能够存储、编码或携带由这样的指令使用的或与之相关联的数据结构的任何介质。非限制性的机器可读介质示例可以包括固态存储器以及光学和磁性介质。在示例中，机器可读介质可以排除暂态传播信号(例如，非暂态机器可读存储介质)。非暂态机器可读存储介质的具体示例可以包括：非易失性存储器，例如半导体存储器设备(例如，电可编程只读存储器(ElectricallyProgrammable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM))和闪存设备；磁盘，例如内部硬盘和可移动磁盘；磁光盘；以及CD-ROM和DVD-ROM盘。
可以利用多种传输协议(例如，帧中继、因特网协议(internet protocol，IP)、传输控制协议(transmission control protocol，TCP)、用户数据报协议(user datagramprotocol，UDP)、超文本传输协议(hypertext transfer protocol，HTTP)等)中的任一种，经由网络接口设备2420，使用传输介质通过通信网络2426进一步发送或接收指令2424。示例通信网络可以包括局域网(local area network，LAN)、广域网(wide area network，WAN)、分组数据网络(例如，因特网)、移动电话网络(例如，蜂窝网络)、普通老式电话(PlainOld Telephone，POTS)网络和无线数据网络(例如，被称为
Figure BDA0003985543450000311
的电气和电子工程师协会(Institute of Electrical and Electronics Engineer，IEEE)802.11标准族等)、IEEE802.15.4标准族、对等(peer-to-peer，P2P)网络、用于4G和5G无线通信的第三代合作伙伴计划(3GPP)标准，包括：3GPP长期演进(long-term evolution，LTE)标准族、3GPP LTE高级标准族、3GPP LTE高级专业标准族、3GPP新无线电(new radio，NR)标准族等等。在示例中，网络接口设备2420可以包括一个或更多个物理插孔(例如，以太网、同轴或电话插孔)或者一个或更多个天线，以连接到通信网络2426。在示例中，网络接口设备2420可以包括多个天线，以使用单输入多输出(single-input multiple-output，SIMO)、多输入多输出(multiple-input multiple-output，MIMO)或多输入单输出(multiple-input single-output，MISO)技术中的至少一种进行无线通信。术语“传输介质”应被理解为包括能够存储、编码或携带由机器2400执行的指令的任何无形介质，并且包括数字或模拟通信信号或其他无形介质以促进这样的软件的通信。
附加注释
上述详细描述包括对附图的参考，附图构成详细描述的一部分。附图通过说明的方式示出了可以实践的具体实施方式。这些实施方式在本文中也被称为“示例”。这样的示例可以包括除了所示出或描述的元素之外的元素。然而，本发明人也考虑了其中仅提供了那些示出或描述的元素的示例。此外，相对于特定示例(或其一个或更多个方面)，或相对于在本文中示出或描述的其他示例(或其一个或更多个方面)，本发明人还考虑了使用示出或描述的那些元素的任何组合或排列(或其一个或更多个方面)的示例。
在本文档中提及的所有出版物、专利和专利文件均通过引用整体并入本文中，如同单独通过引用并入。如果本文档与如此通过引用并入的那些文档之间的用法不一致，则并入的引用中的用法应被视为对本文档的用法的补充；对于不可调和的不一致，以本文档中的用法为准。
在本文档中，如在专利文件中常用的，术语“一”或“一个”被使用以包括一个或多于一个，而与“至少一个”或“一个或更多个”的任何其他实例或用法无关。在本文档中，术语“或”被用来指代非排他性的或，使得“A或B”包括“A但不包括B”、“B但不包括A”以及“A和B”，除非另有指示。在所附权利要求中，术语“包括”和“其中(in which)”被用作相应术语“包含”和“其中(wherein)”的普通英语等同物。此外，在所附权利要求中，术语“包括”和“包含”是开放式的，也就是说，包括除了在权利要求中的这样的术语之后列出的那些元素之外的元素的系统、设备、物品或过程仍然被认为落入该权利要求的范围内。此外，在所附权利要求中，术语“第一”、“第二”和“第三”等仅仅被用作标签，并且不旨在对它们的对象强加数字要求。
上述描述旨在是说明性的，而非是限制性的。例如，上面所述的示例(或其一个或更多个方面)可以彼此结合使用。可以例如，由本领域普通技术人员在审查以上描述之后使用其他实施方式。摘要是为了允许读者快速确定技术公开内容的性质，并且在理解其将不用于解释或限制权利要求的范围或含义的情况下提交。此外，在上面的具体实施方式中，各种特征可以组合在一起以简化本公开内容。这不应该被解释为意为未要求保护的公开特征对于任何权利要求都是必要的。而是，本发明主题可以在于少于特定公开实施方式的所有特征。因此，所附权利要求由此被并入至具体实施方式中，其中每个权利要求本身作为单独的实施方式存在。实施方式的范围应当参考所附权利要求以及这样的权利要求被赋予的等同物的全部范围来确定。

Claims (70)

1.一种包括指令的计算机可读存储介质，所述指令在执行时将计算系统的硬件处理电路系统配置成执行用于实现对于电子显示的级联文本格式化的操作，所述操作包括：
在自然语言处理(NLP)解析器中处理人类可读文本流，以识别语句中的词性和关键短语；
根据相应的词性和所述关键短语来标注所识别的词性；
通过将预定义的规则应用于所述词性和所述关键短语来生成用于所述语句的显示的文本级联布置，其中，通过使用所述预定义的规则，所述语句的显示提供打断和级联，包括缩进；以及
输出包括所述文本级联布置的所述语句的电子显示。
2.根据权利要求1所述的计算机可读存储介质，其中，输出所述电子显示包括以限定所述文本级联布置的格式创建电子文档。
3.根据权利要求1所述的计算机可读存储介质，其中，输出所述电子显示包括建立限定所述文本级联布置的图形显示。
4.根据权利要求1所述的计算机可读存储介质，所述操作还包括建立所述语句的一个或更多个编码分段，所述一个或更多个编码分段中的每一个包括所述文本级联布置内的某个位置的文本和元数据。
5.根据权利要求1所述的计算机可读存储介质，其中，所述NLP解析器包括神经网络。
6.根据权利要求1所述的计算机可读存储介质，其中，所述NLP解析器使用概率方法来解析所述语句。
7.根据权利要求1所述的计算机可读存储介质，所述操作还包括在显示设备的显示器上显示所述文本级联布置。
8.根据权利要求7所述的计算机可读存储介质，其中，所述显示设备提供图形显示器或用户佩戴的视觉显示器。
9.根据权利要求8所述的计算机可读存储介质，其中，所述用户佩戴的视觉显示器由以下之一提供：AV头戴式耳机、VR头戴式耳机、智能眼镜或智能隐形眼镜。
10.根据权利要求1所述的计算机可读存储介质，所述操作还包括：
在所述自然语言处理(NLP)解析器中处理所述文本以识别语句中的实体；
标注所识别的实体；以及
通过将规则应用于所述实体来进一步开发所述文本级联布置。
11.一种用于在电子发布和显示媒体内实现级联文本格式化的方法，包括：
在自然语言处理(NLP)解析器中处理人类可读文本流，以识别语句中的词性和关键短语；
根据相应的词性和所述关键短语标注所识别的词性；
通过将预定义的规则应用于所述词性和所述关键短语来生成用于所述语句的显示的文本级联布置，其中，通过使用所述预定义的规则，所述语句的显示提供打断和级联，包括缩进；以及
输出包括所述文本级联布置的所述语句的电子显示。
12.根据权利要求11所述的方法，其中，输出所述电子显示包括以限定所述文本级联布置的格式创建电子文档。
13.根据权利要求11所述的方法，其中，输出所述电子显示包括建立限定所述文本级联布置的图形显示。
14.根据权利要求11所述的方法，还包括建立所述语句的一个或更多个编码分段，所述一个或更多个编码分段中的每一个包括所述文本级联布置内的某个位置的文本和元数据。
15.根据权利要求11所述的方法，其中，所述NLP解析器包括神经网络。
16.根据权利要求11所述的方法，其中，所述NLP解析器使用概率方法来解析所述语句。
17.根据权利要求11所述的方法，还包括在显示设备的显示器上显示所述文本级联布置。
18.根据权利要求17所述的方法，其中，所述显示设备提供图形显示器或用户佩戴的视觉显示器。
19.根据权利要求18所述的方法，其中，所述用户佩戴的视觉显示器由以下之一提供：AV头戴式耳机、VR头戴式耳机、智能眼镜或智能隐形眼镜。
20.根据权利要求11所述的方法，还包括：
在所述自然语言处理(NLP)解析器中处理所述文本以识别语句中的实体；
标注所识别的实体；以及
通过将规则应用于所述实体来进一步开发所述文本级联布置。
21.一种计算系统，包括：
存储包括文本的图像的存储器；以及
执行指令的处理电路系统，所述指令使所述处理电路系统利用如下操作将成像文本字符串从第一显示格式转换成第二显示格式：
识别所述图像中的所述文本并生成机器可读文本字符串；
在自然语言处理(NLP)解析器中处理所述文本字符串，以识别所述文本字符串中的词性；
根据词性标注所识别的词性；
通过将预定义的规则应用于所述词性来生成用于所述文本字符串的显示的文本级联布置，其中，通过使用所述预定义的规则，所述文本字符串的显示提供打断和级联，包括缩进；以及
输出包括所述文本级联布置的所述文本字符串的电子显示。
22.根据权利要求21所述的计算系统，其中，输出所述电子显示包括以限定所述文本级联布置的格式创建电子文档。
23.根据权利要求21所述的计算系统，其中，输出所述电子显示包括建立限定所述文本级联布置的图形显示。
24.根据权利要求21所述的计算系统，所述操作还包括建立所述文本字符串的一个或更多个编码分段，所述一个或更多个编码分段中的每一个包括所述文本级联布置内的某个位置的文本和元数据。
25.根据权利要求21所述的计算系统，其中，所述NLP解析器包括神经网络。
26.根据权利要求21所述的计算系统，其中，所述NLP解析器使用概率方法来解析语句。
27.根据权利要求21所述的计算系统，其中，所述文本字符串包含文本的语句，并且其中，所述打断和所述缩进被应用于所述语句。
28.根据权利要求21所述的计算系统，所述操作还包括：
在自然语言处理(NLP)解析器中处理所述文本字符串，以识别所述文本字符串中的关键短语和实体；
标注所识别的关键短语和实体；以及
通过将规则应用于所述关键短语和所述实体来进一步开发所述文本级联。
29.根据权利要求21所述的计算系统，其中，所述电子显示由显示设备提供，所述显示设备提供图形显示器或用户佩戴的视觉显示器。
30.根据权利要求29所述的计算系统，其中，所述用户佩戴的视觉显示器由以下之一提供：AV头戴式耳机、VR头戴式耳机、智能眼镜或智能隐形眼镜。
31.一种用于将成像文本字符串从第一显示格式转换成第二显示格式的方法，包括：
从成像设备获得图像，所述图像捕捉所述成像设备的视场内的文本；
识别所述图像中的所述文本并生成机器可读文本字符串；
在自然语言处理(NLP)解析器中处理所述文本字符串，以识别所述文本字符串中的词性；
根据词性标注所识别的词性；
通过将预定义的规则应用于所述词性来生成用于所述文本字符串的显示的文本级联布置，其中，通过使用所述预定义的规则，所述文本字符串的显示提供打断和级联，包括缩进；以及
输出包括所述文本级联布置的所述文本字符串的电子显示。
32.根据权利要求31所述的方法，其中，输出所述电子显示包括以限定所述文本级联布置的格式创建电子文档。
33.根据权利要求31所述的方法，其中，输出所述电子显示包括建立限定所述文本级联布置的图形显示。
34.根据权利要求31所述的方法，还包括建立所述文本字符串的一个或更多个编码分段，所述一个或更多个编码分段中的每一个包括所述文本级联布置内的某个位置的文本和元数据。
35.根据权利要求31所述的方法，其中，所述NLP解析器包括神经网络。
36.根据权利要求31所述的方法，其中，所述NLP解析器使用概率方法来解析语句。
37.根据权利要求31所述的方法，其中，所述文本字符串包含文本的语句，并且其中，所述打断和所述缩进被应用于所述文本字符串。
38.根据权利要求31所述的方法，还包括：
在自然语言处理(NLP)解析器中处理所述文本字符串，以识别所述文本字符串中的关键短语和实体；
标注所识别的关键短语和实体；以及
通过将规则应用于所述关键短语和所述实体来进一步开发所述文本级联。
39.根据权利要求31所述的方法，其中，所述电子显示由显示设备提供，所述显示设备提供图形显示器或用户佩戴的视觉显示器。
40.根据权利要求39所述的方法，其中，所述用户佩戴的视觉显示器由以下之一提供：AV头戴式耳机、VR头戴式耳机、智能眼镜或智能隐形眼镜。
41.一种用于在能够由用户操作的护目镜设备中将文本从第一显示格式转换成第二显示格式的方法，所述护目镜设备包括成像部件，以捕捉所述成像部件的视场内的文本的图像，所述方法包括：
识别所述图像中的所述文本并生成机器可读文本字符串；
在自然语言处理(NLP)解析器中处理所述文本字符串，以识别所述文本字符串中的词性；
根据词性标注所识别的词性；以及
通过将规则应用于所述词性来开发文本级联布置，其中，包括缩进的级联和打断由所述规则限定；
其中，所述护目镜还包括向所述用户显示所述文本级联的显示部件。
42.根据权利要求41所述的方法，其中，所述NLP解析器包括神经网络。
43.根据权利要求41所述的方法，其中，所述NLP解析器使用概率方法来解析语句。
44.根据权利要求41所述的方法，其中，所述文本字符串包含文本的多个语句，并且其中，所述打断和所述缩进被应用于所述多个语句。
45.根据权利要求41所述的方法，还包括：
在自然语言处理(NLP)解析器中处理所述文本字符串，以识别所述文本字符串中的关键短语和实体；
标注所识别的关键短语和实体；以及
通过将规则应用于所述关键短语和所述实体来进一步开发所述文本级联。
46.根据权利要求41所述的方法，还包括：
以限定所述文本级联布置的格式创建电子文档。
47.根据权利要求41所述的方法，还包括：
建立限定所述文本级联布置的图形显示。
48.根据权利要求41所述的方法，还包括：
建立所述文本字符串的一个或更多个编码分段，所述一个或更多个编码分段中的每一个包括所述文本级联布置内的某个位置的文本和元数据。
49.根据权利要求41所述的方法，其中，所述护目镜设备由眼镜或智能隐形眼镜提供。
50.一种用于数字发布要以级联格式显示的人类可读文本的方法，包括：
接收输入到创作工具中的文本；
在输入所述文本时对所述文本进行处理，以识别所述文本的语句中的词性；以及
根据文本显示规则与所述文本输入至所述创作工具中基本上同时地改变所述文本的显示，以提供级联显示。
51.根据权利要求50所述的方法，还包括在所述创作工具中提供编辑工具，所述编辑工具使得能够调整所述级联文本的特征。
52.根据权利要求50所述的方法，还包括：
在自然语言处理(NLP)解析器中处理所述文本以识别语句中的词性，根据相应的词性标注所识别的词性，以及通过将规则应用于所述词性来开发文本级联，其中，包括缩进的所述语句的级联和打断由所述规则限定。
53.根据权利要求50所述的方法，还包括：
在输入所述文本时对所述文本进行处理，以识别所述文本的所述语句中的关键词和实体。
54.一种支持以级联格式显示人类可读文本的语句的云架构，包括：
包括文本语句的人类可读内容的云连接源；
经由云联网服务部署的文本处理引擎，所述文本处理引擎被配置成从发布源接收文本的语句并生成显示控制指令以控制所述语句在客户端设备中的显示，所述指令使得能够以级联格式显示所述语句；
安装在包括显示器的客户端设备上的浏览器应用；以及
安装在所述浏览器应用中的插件组件，所述插件组件使用所述显示控制指令以级联格式在所述显示器上显示所述语句。
55.根据权利要求54所述的云架构，其中，所述云连接源是所述浏览器应用，并且其中，所述浏览器应用还将所述文本的语句提供至所述文本处理引擎。
56.一种支持以级联格式显示人类可读文本的语句的云架构，包括：
包括文本语句的人类可读内容的云连接源；
部署在云中的文本处理引擎，所述文本处理引擎用于从发布源接收文本的语句，并生成显示控制指令以控制所述文本在客户端设备中的显示，所述指令使得能够以级联格式显示所述语句；以及
安装在包括显示器的客户端设备上的浏览器应用，所述浏览器应用使用所述显示控制指令以级联格式在所述显示器上显示所述语句；
其中，所述云连接源是所述浏览器应用，并且其中，所述浏览器应用还将所述文本的语句提供至所述文本处理引擎。
57.一种支持以级联格式显示人类可读文本的语句的云架构，所述云架构包括：
包括文本语句的人类可读内容的云连接源；以及
文本处理引擎，用于：
维护个人注册表和所述个人的个性化文本格式化参数；以及
从与所述注册表中的所述个人之一相关联的发布源接收文本的语句，并生成显示控制指令以控制所述语句在客户端设备中的显示，所述显示控制指令使用用于这一个人的所述个性化文本格式化参数，所述指令使得能够以针对所述注册表中的个人个性化的级联格式显示所述语句。
58.根据权利要求57所述的云架构，其中，所述文本格式化参数包括生成针对个人个性化的级联文本显示格式的规则。
59.根据权利要求57所述的云架构，其中，所述云连接源是浏览器应用，并且其中，所述浏览器应用将所述文本的语句提供至所述文本处理引擎。
60.一种用于以级联格式显示人类可读文本的语句的迭代方法，所述方法包括如下操作：
a)解析所述文本以识别语句中的词性；
b)根据词性标注所识别的词性；
c)将规则应用于所述词性以生成用于以级联格式显示所述语句的指令，其中，包括缩进的级联和断句由所述规则限定；
d)使用所述指令以第一级联格式在片段中显示所述语句；
e)接收指示所述级联格式的人类反馈的输入；
f)使用所述人类反馈，调整所述规则以产生调整的规则，其中，将所述调整的规则应用于所述语句生成得到调整的级联格式的指令，其中，所述调整的级联格式与所接收的人类反馈的所述级联格式不同；以及
g)使用所述调整的规则重复操作a)至操作f)，直到满足停止标准。
61.根据权利要求60所述的迭代方法，其中，所述人类反馈指示主观用户偏好或人类理解使用所述规则显示的语句的能力。
62.根据权利要求60所述的迭代方法，其中，用于调整所述规则的所述人类反馈基于单个个体，并且所述规则专门针对所述单个个体进行调整，其中，能够提供针对多个个体中的每一个个体进行个性化的规则。
63.根据权利要求60所述的迭代方法，其中，所述停止标准是从以下之一提供的：重复所述操作a)至所述操作f)的次数；由人类接收的输入；或者确定所述调整没有改进所述级联文本的可读性。
64.根据权利要求60所述的迭代方法，还包括如下所述人类反馈，所述人类反馈包括跟踪眼运动和/或指示语句片段间距、语句片段长度或两者的变化。
65.根据权利要求60所述的迭代方法，还包括：
一种用于以级联格式显示人类可读文本的语句的迭代方法，包括：
解析所述文本以识别所述语句中的关键短语和实体；
标注所识别的关键短语和实体；以及
将规则应用于所述关键短语和所述实体，以生成用于以所述级联格式显示所述语句的关键短语和实体指令，其中，包括缩进的级联和断句由所述规则限定，其中，以第一级联格式在片段中显示所述语句包括使用所述关键短语和实体指令。
66.一种用于诊断影响人类受试者的阅读能力的医学状况的迭代方法，包括：
a)以级联格式向所述人类受试者显示语句，其中，包括缩进的级联和断句由规则限定；
b)接收指示关于所述人类受试者理解所述语句的能力的人类反馈的输入；
c)使用所述人类反馈，调整所述规则以产生调整的级联格式，其中，所述调整的级联格式与所接收的所述人类反馈的所述级联格式不同；
d)使用所述调整的规则重复操作a)至操作c)；以及
e)使用针对所述规则的多个调整接收的所述人类反馈，诊断医学状况。
67.根据权利要求66所述的迭代方法，其中，所述人类反馈指示主观用户偏好或人类理解使用所述规则显示的语句的能力。
68.根据权利要求66所述的迭代方法，其中，用于调整所述规则的所述人类反馈基于单个人类受试者，并且所述规则专门针对所述单个人类受试者进行调整，其中，能够提供针对多个人类受试者中的每一个人类受试者进行个性化的规则。
69.根据权利要求66所述的迭代方法，其中，所述停止标准从以下之一中选择：重复所述操作a)至所述操作d)的次数；由人类接收的输入；或者确定所述调整没有改进所述级联文本的可读性。
70.根据权利要求66所述的迭代方法，其中，所述人类反馈指示语句片段间距、语句片段长度或两者的变化。
CN202180040998.6A 2020-04-07 2021-04-07 生成对于电子文档和显示的级联文本格式化 Pending CN115769219A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063006633P 2020-04-07 2020-04-07
US63/006,633 2020-04-07
PCT/US2021/026270 WO2021207422A1 (en) 2020-04-07 2021-04-07 Generating cascaded text formatting for electronic documents and displays

Publications (1)

Publication Number Publication Date
CN115769219A true CN115769219A (zh) 2023-03-07

Family

ID=78024057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180040998.6A Pending CN115769219A (zh) 2020-04-07 2021-04-07 生成对于电子文档和显示的级联文本格式化

Country Status (5)

Country Link
US (1) US12086532B2 (zh)
CN (1) CN115769219A (zh)
AU (1) AU2021253859A1 (zh)
DE (1) DE212021000356U1 (zh)
WO (1) WO2021207422A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11734491B2 (en) 2021-04-09 2023-08-22 Cascade Reading, Inc. Linguistically-driven automated text formatting
US12086532B2 (en) 2020-04-07 2024-09-10 Cascade Reading, Inc. Generating cascaded text formatting for electronic documents and displays

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220382983A1 (en) * 2021-05-27 2022-12-01 Rowan TELS Corp. Dynamically generating documents using natural language processing and dynamic user interface
WO2023149745A1 (en) * 2022-02-04 2023-08-10 Samsung Electronics Co., Ltd. Method and system for enhancing a multimodal input content
US20230297777A1 (en) * 2022-03-16 2023-09-21 Microsoft Technology Licensing, Llc Personalized natural language processing system
EP4386615A1 (en) * 2022-12-15 2024-06-19 NOS Inovação, S.A. Method and system for improving immersive reading of electronic documents
WO2024127249A1 (en) * 2022-12-15 2024-06-20 Nos Inovação, Sa Method and system for improving immersive reading of electronic documents

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4889422A (en) 1986-01-28 1989-12-26 George Pavlidis Method and means for detecting dyslexia
US5778402A (en) * 1995-06-07 1998-07-07 Microsoft Corporation Method and system for auto-formatting a document using an event-based rule engine to format a document as the user types
AUPN520495A0 (en) 1995-09-04 1995-09-28 Charon Holdings Pty Ltd Reading aid
US5802533A (en) 1996-08-07 1998-09-01 Walker; Randall C. Text processor
US6279017B1 (en) * 1996-08-07 2001-08-21 Randall C. Walker Method and apparatus for displaying text based upon attributes found within the text
US6088711A (en) * 1997-07-01 2000-07-11 Microsoft Corporation Method and system for defining and applying a style to a paragraph
US7346489B1 (en) 1999-07-16 2008-03-18 Language Technologies, Inc. System and method of determining phrasing in text
US7069508B1 (en) 2000-07-13 2006-06-27 Language Technologies, Inc. System and method for formatting text according to linguistic, visual and psychological variables
US7386453B2 (en) 2001-11-14 2008-06-10 Fuji Xerox, Co., Ltd Dynamically changing the levels of reading assistance and instruction to support the needs of different individuals
US7493253B1 (en) 2002-07-12 2009-02-17 Language And Computing, Inc. Conceptual world representation natural language understanding system and method
AU2003901428A0 (en) * 2003-03-24 2003-04-10 Objective Systems Pty Ltd A system and method for formatting and distributing reading material
JP4808160B2 (ja) 2003-11-21 2011-11-02 ニュアンス コミュニケーションズ オーストリア ゲーエムベーハー トピック特異的言語モデルおよびトピック特異的ラベル統計によるユーザー対話を用いたテキストセグメント分割およびラベル付与
US7823061B2 (en) 2004-05-20 2010-10-26 Wizpatent Pte Ltd System and method for text segmentation and display
US8418057B2 (en) 2005-06-01 2013-04-09 Cambridge Reading Project, Llc System and method for displaying text
US8019595B1 (en) 2006-09-11 2011-09-13 WordRake Holdings, LLC Computer processes for analyzing and improving document readability
US8306356B1 (en) 2007-09-28 2012-11-06 Language Technologies, Inc. System, plug-in, and method for improving text composition by modifying character prominence according to assigned character information measures
US20100128042A1 (en) * 2008-07-10 2010-05-27 Anthony Confrey System and method for creating and displaying an animated flow of text and other media from an input of conventional text
US20100332217A1 (en) * 2009-06-29 2010-12-30 Shalom Wintner Method for text improvement via linguistic abstractions
US9323426B2 (en) 2009-10-05 2016-04-26 Google Inc. System and method for selecting information for display based on past user interactions
US9069731B2 (en) 2009-12-29 2015-06-30 Olive Software Inc. System and method for providing online versions of print-medium publications
US9026907B2 (en) 2010-02-12 2015-05-05 Nicholas Lum Indicators of text continuity
US9904768B2 (en) 2011-02-18 2018-02-27 Nuance Communications, Inc. Methods and apparatus for presenting alternative hypotheses for medical facts
US9679107B2 (en) 2011-02-18 2017-06-13 Nuance Communications, Inc. Physician and clinical documentation specialist workflow integration
US8694335B2 (en) 2011-02-18 2014-04-08 Nuance Communications, Inc. Methods and apparatus for applying user corrections to medical fact extraction
US10522133B2 (en) 2011-05-23 2019-12-31 Nuance Communications, Inc. Methods and apparatus for correcting recognition errors
WO2013059647A1 (en) 2011-10-21 2013-04-25 New York University Reducing visual crowding, increasing attention and improving visual span
US8731905B1 (en) 2012-02-22 2014-05-20 Quillsoft Ltd. System and method for enhancing comprehension and readability of text
US8918718B2 (en) 2012-02-27 2014-12-23 John Burgess Reading Performance System Reading performance system
US9697834B2 (en) * 2012-07-26 2017-07-04 Nuance Communications, Inc. Text formatter with intuitive customization
AU2013334549B2 (en) 2012-10-25 2019-03-07 Walker Reading Technologies, Inc. Sentence parsing correction system
US10650089B1 (en) * 2012-10-25 2020-05-12 Walker Reading Technologies Sentence parsing correction system
EP2915068A4 (en) 2012-11-02 2016-08-03 Fido Labs Inc METHOD AND SYSTEM FOR NATURAL LANGUAGE PROCESSING
US9529795B2 (en) 2012-11-29 2016-12-27 Thomson Reuters Global Resources Systems and methods for natural language generation
US20150213634A1 (en) * 2013-01-28 2015-07-30 Amit V. KARMARKAR Method and system of modifying text content presentation settings as determined by user states based on user eye metric data
US9478146B2 (en) 2013-03-04 2016-10-25 Xerox Corporation Method and system for capturing reading assessment data
US20150348538A1 (en) 2013-03-14 2015-12-03 Aliphcom Speech summary and action item generation
US9916295B1 (en) 2013-03-15 2018-03-13 Richard Henry Dana Crawford Synchronous context alignments
WO2014194321A2 (en) 2013-05-31 2014-12-04 Joshi Vikas Balwant Method and apparatus for browsing information
CN105408851A (zh) 2013-07-31 2016-03-16 索尼公司 信息处理设备，信息处理方法和程序
US20160111016A1 (en) * 2013-09-17 2016-04-21 Preethi Govindaraj Method of educational instruction
US10062295B2 (en) * 2014-01-03 2018-08-28 Halogen Software Inc. System and method for personality-based formatting of information
GB2542288A (en) * 2014-04-25 2017-03-15 Mayo Foundation Enhancing reading accuracy, efficiency and retention
US9606983B1 (en) 2014-08-27 2017-03-28 Amazon Technologies, Inc. Human readable mechanism for communicating binary data
KR20160115566A (ko) * 2015-03-27 2016-10-06 엔트릭스 주식회사 클라우드 스트리밍 서비스 시스템, 이미지와 텍스트의 분리를 통한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
US20170092278A1 (en) 2015-09-30 2017-03-30 Apple Inc. Speaker recognition
US11157532B2 (en) 2015-10-05 2021-10-26 International Business Machines Corporation Hierarchical target centric pattern generation
EP3255556A1 (de) 2016-06-10 2017-12-13 Renato Casutt Schnell-lese-verfahren und -system für text
US10692393B2 (en) 2016-09-30 2020-06-23 International Business Machines Corporation System and method for assessing reading skills
JP6696923B2 (ja) 2017-03-03 2020-05-20 国立大学法人京都大学 音声対話装置、その処理方法及びプログラム
US11373632B2 (en) 2017-05-10 2022-06-28 Oracle International Corporation Using communicative discourse trees to create a virtual persuasive dialogue
KR20190008663A (ko) 2017-07-17 2019-01-25 삼성전자주식회사 음성 데이터 처리 방법 및 이를 지원하는 시스템
US10635502B2 (en) * 2017-09-21 2020-04-28 Sap Se Scalable, multi-tenant machine learning architecture for cloud deployment
US11537645B2 (en) 2018-01-30 2022-12-27 Oracle International Corporation Building dialogue structure by using communicative discourse trees
US11200413B2 (en) 2018-07-31 2021-12-14 International Business Machines Corporation Table recognition in portable document format documents
US11734348B2 (en) 2018-09-20 2023-08-22 International Business Machines Corporation Intelligent audio composition guidance
US11250842B2 (en) 2019-01-27 2022-02-15 Min Ku Kim Multi-dimensional parsing method and system for natural language processing
WO2020181234A1 (en) 2019-03-07 2020-09-10 Yao-The Bard, Llc. Systems and methods for transposing spoken or textual input to music
US11361143B2 (en) * 2019-07-18 2022-06-14 International Business Machines Corporation Proactive rich text format management
US11531812B2 (en) 2019-08-21 2022-12-20 Accenture Global Solutions Limited Natural language processing for mapping dependency data and parts-of-speech to group labels
US11475080B2 (en) 2019-09-05 2022-10-18 Verizon Patent And Licensing Inc. Natural language-based search and discovery of content service
US11853385B2 (en) 2019-12-05 2023-12-26 Micron Technology, Inc. Methods and apparatus for performing diversity matrix operations within a memory array
DK3855340T3 (da) 2019-12-30 2023-12-04 Tmrw Found Ip & Holding Sarl Tværsproglig stemmekonverteringssystem og fremgangsmåde
US11830473B2 (en) 2020-01-21 2023-11-28 Samsung Electronics Co., Ltd. Expressive text-to-speech system and method
US11735169B2 (en) 2020-03-20 2023-08-22 International Business Machines Corporation Speech recognition and training for data inputs
CN115769219A (zh) 2020-04-07 2023-03-07 凯斯凯德阅读有限公司 生成对于电子文档和显示的级联文本格式化
KR20210130024A (ko) 2020-04-21 2021-10-29 현대자동차주식회사 대화 시스템 및 그 제어 방법
US11495227B2 (en) 2020-08-11 2022-11-08 Accenture Global Solutions Limited Artificial intelligence (AI) based user query intent analyzer
US20220059077A1 (en) 2020-08-19 2022-02-24 Sorenson Ip Holdings, Llc Training speech recognition systems using word sequences
US11908477B2 (en) 2020-08-28 2024-02-20 Cisco Technology, Inc. Automatic extraction of conversation highlights
US11763818B2 (en) 2020-10-14 2023-09-19 Snap Inc. Synchronous audio and text generation
CN112686051B (zh) 2020-12-22 2024-05-31 中国科学技术大学 语义识别模型训练方法、识别方法、电子设备、存储介质
US11170154B1 (en) 2021-04-09 2021-11-09 Cascade Reading, Inc. Linguistically-driven automated text formatting
US20240257802A1 (en) 2021-10-06 2024-08-01 Cascade Reading, Inc. Acoustic-based linguistically-driven automated text formatting

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12086532B2 (en) 2020-04-07 2024-09-10 Cascade Reading, Inc. Generating cascaded text formatting for electronic documents and displays
US11734491B2 (en) 2021-04-09 2023-08-22 Cascade Reading, Inc. Linguistically-driven automated text formatting

Also Published As

Publication number Publication date
US12086532B2 (en) 2024-09-10
US20230123328A1 (en) 2023-04-20
WO2021207422A1 (en) 2021-10-14
DE212021000356U1 (de) 2023-01-03
AU2021253859A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
US11150875B2 (en) Automated content editor
US12086532B2 (en) Generating cascaded text formatting for electronic documents and displays
JP7541422B2 (ja) 言語学的に駆動される自動化されたテキスト・フォーマット設定
JP7430660B2 (ja) テキストの創作方法、装置、機器及び記憶媒体
CN110717017B (zh) 一种处理语料的方法
Pasha et al. Madamira: A fast, comprehensive tool for morphological analysis and disambiguation of arabic.
WO2018028077A1 (zh) 一种基于深度学习的中文语义分析的方法及装置
US20180366013A1 (en) System and method for providing an interactive visual learning environment for creation, presentation, sharing, organizing and analysis of knowledge on subject matter
Arumugam et al. Hands-On Natural Language Processing with Python: A practical guide to applying deep learning architectures to your NLP applications
US11803709B2 (en) Computer-assisted topic guidance in document writing
Mekki et al. Sentence boundary detection of various forms of Tunisian Arabic
Chimalamarri et al. Linguistically enhanced word segmentation for better neural machine translation of low resource agglutinative languages
Neelima et al. Extractive text summarization using deep natural language fuzzy processing
Baruah et al. Character coreference resolution in movie screenplays
Zhu et al. Improving low-resource named entity recognition via label-aware data augmentation and curriculum denoising
WO2023059818A1 (en) Acoustic-based linguistically-driven automated text formatting
CN115034209A (zh) 文本分析方法、装置、电子设备以及存储介质
Amato et al. A hybrid approach for document analysis in digital forensic domain
Wang et al. Transition-based chinese semantic dependency graph parsing
Jiacuo et al. Tibetan Case Grammar Error Correction Method Based on Neural Networks
Haq et al. The Pashto Corpus and Machine Learning Model for Automatic POS Tagging
JP2024152832A (ja) 言語学的に駆動される自動化されたテキスト・フォーマット設定
Eger Designing and comparing G2P-type lemmatizers for a morphology-rich language
Udomcharoenchaikit A robust system for core thai natural language processing technologies
Zhao et al. Make Spoken Document Readable: Leveraging Graph Attention Networks for Chinese Document-Level Spoken-to-Written Simplification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination