CN115087960A - 增强拓扑图相关应用的可访问性 - Google Patents

增强拓扑图相关应用的可访问性 Download PDF

Info

Publication number
CN115087960A
CN115087960A CN202080095928.6A CN202080095928A CN115087960A CN 115087960 A CN115087960 A CN 115087960A CN 202080095928 A CN202080095928 A CN 202080095928A CN 115087960 A CN115087960 A CN 115087960A
Authority
CN
China
Prior art keywords
target element
information
topology
accessibility
port
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080095928.6A
Other languages
English (en)
Inventor
张晓�
金宇聪
黄悦
邱捷
金智鑫
R·W·舒加特
S·希格利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN115087960A publication Critical patent/CN115087960A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/18—Network design, e.g. design based on topological or interconnect aspects of utility systems, piping, heating ventilation air conditioning [HVAC] or cabling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/12—Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Architecture (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了用于增强目标应用的可访问性的方法和装置，所述目标应用用于处理拓扑图。可以接收选择拓扑图中的目标元素的指示。可以基于所述拓扑图的拓扑信息来确定所述目标元素的连接状态。可以生成与所述目标元素的所述连接状态相对应的所述目标元素的连接信息。可以向可访问性辅助应用提供所述目标元素的描述信息，所述目标元素的所述描述信息至少包括所述目标元素的所述连接信息。

Description

增强拓扑图相关应用的可访问性
背景技术
应用的可访问性(accessibility)旨在使包括那些失能(disability)用户(例如，视力失能用户、行动失能用户等)在内的各种用户能够访问应用。例如，已经提出了web可访问性以引导对基于web的应用、内容等的开发或提供能够对失能用户更加友好和可访问。在本文中，术语“应用的可访问性”可以广泛地包括各种应用的可访问性，例如，基于web的应用的可访问性、非web应用的可访问性等。此外，术语“应用”可以广泛地涵盖各种软件、计算机程序、微件等。
发明内容
提供本发明内容以便介绍一组概念，这组概念将在以下的具体实施方式中做进一步描述。本发明内容并非旨在标识所保护主题的关键特征或必要特征，也不旨在用于限制所保护主题的范围。
本公开的实施例提出了用于增强目标应用的可访问性的方法和装置，所述目标应用用于处理拓扑图。可以接收选择拓扑图中的目标元素的指示。可以基于所述拓扑图的拓扑信息来确定所述目标元素的连接状态。可以生成与所述目标元素的所述连接状态相对应的所述目标元素的连接信息。可以向可访问性辅助应用提供所述目标元素的描述信息，所述目标元素的所述描述信息至少包括所述目标元素的所述连接信息。
应当注意，以上一个或多个方面包括以下详细描述以及权利要求中具体指出的特征。下面的说明书及附图详细提出了所述一个或多个方面的某些说明性特征。这些特征仅仅指示可以实施各个方面的原理的多种方式，并且本公开旨在包括所有这些方面和其等同变换。
附图说明
以下将结合附图描述所公开的方面，提供这些附图用以说明而非限制所公开的方面。
图1示出了根据实施例的实现应用可访问性的示例性场景。
图2示出了拓扑图相关应用的示例性用户界面(UI)。
图3示出了根据实施例的用于增强目标应用的可访问性的示例性过程。
图4示出了根据实施例的用于增强目标应用的可访问性的示例性过程。
图5示出了根据实施例的增强应用可访问性的示例。
图6示出了根据实施例的增强应用可访问性的另一示例。
图7示出了根据实施例的用于利用预定义的键盘快捷方式来辅助失能用户构建拓扑图的示例性过程。
图8示出了根据实施例的增强应用可访问性的示例。
图9示出了根据实施例的用于增强目标应用的可访问性的示例性方法的流程图。
图10示出了根据实施例的用于增强目标应用的可访问性的示例性装置。
图11示出了根据实施例的用于增强目标应用的可访问性的示例性装置。
具体实施方式
现在将参考几种示例性实施方式来讨论本公开。应当理解，这些实施方式的讨论仅仅用于使得本领域技术人员能够更好地理解并从而实施本公开的实施例，而并非暗示对本公开的范围的任何限制。
已经提出了各种方式来实现应用的可访问性。在一个方面，可以通过以易于被失能用户理解或操作的方式提供布局、内容、操作控件等，来开发为其提供可访问性的目标应用。在另一个方面，可以采用可访问性辅助应用或工具来进一步提升目标应用的可访问性。例如，视力失能用户可以使用基于语音的可访问性辅助应用来理解目标应用中的内容。基于语音的可访问性辅助应用可以以语音形式读出或讲述目标应用的用户界面(UI)中的内容或元素，以使视力失能用户可以听到有助于理解内容或执行操作的信息。基于语音的可访问性辅助应用可以是例如屏幕阅读器、语音助手等。此外，例如，行动失能用户可以使用专用键盘作为可访问性辅助工具来导航(navigate)或执行目标应用中的操作，而无需鼠标。已经为行动失能用户设计了许多专用键盘，以辅助他们对目标应用的使用。
一些目标应用可以被应用于处理基于拓扑的图，例如，构建、编辑或呈现拓扑图。实现这些拓扑图相关应用的可访问性是重要且必要的，因为拓扑图通常包含大量视觉的、结构的和逻辑的信息，并且与普通用户相比，失能用户更加难以理解、构建或编辑拓扑图。现有的拓扑图相关应用只能以传统方式为失能用户提供有限的可访问性，即使在可访问性辅助应用或工具的辅助下也是如此。
本公开的实施例提出了以更有效的方式来增强目标应用的可访问性，其中，目标应用是用于处理拓扑图的拓扑图相关应用。在本文中，拓扑图可以指包含根据特定拓扑结构以逻辑方式连接的多个元素或组件的各种图。拓扑图的一个示例是有向无环图(DAG)，其是具有拓扑顺序的有向图。在本公开的实施例中，拓扑图可以广泛地包括例如流程图、组织图、数据流图、工作流图、审计图等。根据本公开的实施例，拓扑图相关目标应用可以准备并提供与拓扑图中的元素相关的丰富的描述信息，以帮助失能用户充分使用该应用，例如，理解拓扑图、构建或编辑拓扑图、等等。
在一个方面，拓扑图中的元素的描述信息可以帮助失能用户理解拓扑图中的结构、元素、连接关系、处理流程等。描述信息可以是至少基于拓扑图的拓扑信息的，并且拓扑信息可以包括关于拓扑结构的各种信息，例如，元素、元素之间的连接、处理流程等。在采用诸如屏幕阅读器的可访问性辅助应用的情况下，可访问性辅助应用可以以语音形式读出或讲述来自目标应用的描述信息，使得诸如视力失能用户的失能用户可以当在目标应用中导航拓扑图期间听到期望的有用信息。
可以以交互式方式来实施可访问性辅助，其中，可以引导失能用户根据拓扑图中的元素之间的连接关系来导航和理解拓扑图。如果拓扑图是沿着元素之间的连接而被导航的，则失能用户将会更容易且更直观地理解拓扑图。例如，响应于用户对拓扑图中的一个元素的选择，目标应用可以在描述信息中至少提供该元素的连接信息，这可以帮助用户直观地理解图的拓扑结构，并引导用户导航到与当前所选择的元素连接的下一个元素。描述信息还可以包括所选择的元素的各种其它有用信息，例如，名称、类型、功能、运行状态等。此外，还可以在描述信息中提供对可执行操作的提示。
在另一个方面，在失能用户正在构建拓扑图期间，本公开的实施例可以利用描述信息来辅助用户执行操作。例如，当一个元素正在被编辑时，可以通过例如屏幕阅读器将关于该元素的候选连接的信息呈现给用户，从而帮助用户高效地设置该被编辑元素的连接。
在另一个方面，可以在目标应用中预定义键盘快捷方式，以便于失能用户(例如，视力失能用户、行动失能用户等)在目标应用中执行编辑操作。此外，失能用户还可以采用语音输入或语音指令来与目标应用交互并执行操作。
根据本公开的实施例，与拓扑图的拓扑信息相关的描述信息可以被提供给可访问性辅助应用，并且进而被呈现给失能用户。可以定义和采用键盘快捷方式，以方便失能用户在目标应用中执行各种操作。因此，可以在理解和构建拓扑图两个方面都显著地增强基于拓扑图的应用的可访问性。
图1示出了根据实施例的实现应用可访问性的示例性场景100。
假设用户102正在通过终端设备110使用目标应用120。用户102可以是失能用户，例如，视力失能用户。目标应用120是拓扑图相关应用，其能够为失能用户提供可访问性。拓扑图122当前正在被用户102导航或编辑。应当理解，目标应用120可以是本地安装在终端设备110上的应用、经由终端设备110中的浏览器而可访问的web应用、等等。此外，目标应用120可以是用于图设计的专用软件(例如，机器学习模型/架构构建或设计软件等)、或者支持拓扑图查看或构建的生产力工具(例如，Visio等)、或者与拓扑图相关的任何其它类型的应用或软件。
用户102可以通过终端设备110中的输入单元130，例如键盘，来向目标应用120提供输入。此外，目标应用120的UI以及拓扑图122可以由终端设备110中的显示单元140，例如显示屏幕，来呈现。
由于视力失能可能导致用户102无法确切地观察显示单元140所显示的内容并且无法从显示单元140获得拓扑图122的完整信息，因此，可以在用户102使用目标应用120期间调用并运行终端设备110上的可访问性辅助应用150。可访问性辅助应用150可以辅助用户102获知在显示单元140上显示了什么、拓扑图122中的什么元素在被用户102操作、等等。例如，当用户102通过输入单元130选择了拓扑图122中的元素时，目标应用120可以将所选择元素的描述信息提供给可访问性辅助应用150，并且可访问性辅助应用150可以以语音形式讲述该描述信息以形成语音片段152。当用户102听到语音片段152时，用户102可以获知所选择元素的相关信息，从而可以执行任何进一步的操作。
应当理解，场景100仅是示例性的，可能存在实现应用可访问性的任何其它场景。例如，代替通过键盘进行输入，用户102可以通过语音输入或语音指令来与目标应用120交互。在这种情况下，输入单元130可以是具有用于收集用户语音的麦克风的语音输入单元。例如，尽管输入单元130被显示为包含在终端设备110中，但其也可以是可连接至终端设备110的外部设备。此外，例如，当用户102是能够清楚地看到在显示单元140上显示的内容但无法使用鼠标的行动失能用户时，输入单元130可以是作为可访问性辅助工具的、为行动失能用户设计的专用键盘，并且基于语音的可访问性辅助应用150可以不运行。
图2示出了拓扑图相关应用的示例性UI 200。该拓扑图相关应用是示例性的用于设计或构建机器学习模型/架构的专用软件。
UI 200可以包括模块列表210。模块列表210包括可以被选择以添加到拓扑图的多个模块。
UI 200可以包括画布区域220，在画布区域220中可以对拓扑图进行呈现、构建等。通常，拓扑图可以包含三种类型的元素，包括节点、端口和连接线。节点是用于执行特定过程并实现特定功能的功能单元，其也被称为“模块”，并且是可以从模块列表210中选择的。端口指的是节点的、负责在该节点与其它节点之间建立连接的部分。连接线是在两个节点或两个端口之间的有向连接路径。如画布区域220所示，拓扑图包括节点222“选择数据集中的列”、节点222的端口224、从端口224到节点“拆分数据”的端口228的连接线226、等等。
UI 200可以包括控制面板230。控制面板230包括各种按钮、图标、菜单等，以用于在处理画布区域220中的拓扑图时执行控制操作。
UI 200还可以包括未在图2中示出或被隐藏的侧面板。侧面板可以用于例如设置拓扑图中的元素的参数等。
应当理解，UI 200中的所有组件及其布局都是示例性的，并且取决于实际的应用要求和设计，可以以各种方式来改变UI 200。此外，不同的拓扑图相关应用可能具有各自的UI。尽管以下讨论是主要参考图2中的应用和UI提供的，但本公开的实施例并不局限于这样的示例性应用和UI，而是可以被实现用于任何其它拓扑图相关应用及其各自的UI。
图3示出了根据实施例的用于增强目标应用的可访问性的示例性过程300。可以在目标应用中执行过程300，以帮助失能用户理解目标应用中的拓扑图。
在310处，可以将拓扑图加载到目标应用中，该目标应用是拓扑图相关应用。例如，拓扑图312可以由目标应用打开并显示在目标应用的UI的画布区域中。拓扑图312可以是例如DAG。
在拓扑图312被加载之后，用户可能希望导航并理解拓扑图312。
在320处，可以接收选择拓扑图312中的目标元素的指示。选择指示可以是用户通过输入单元的键盘输入或语音输入。例如，当用户想要获知拓扑图312中的一个元素的信息时，用户可以通过按下键盘上的特定按钮或快捷方式来选择该元素，然后该元素可以在UI中被聚焦(focus)作为目标元素。
如果目标元素是拓扑图312中的节点322，则可以识别节点322的基本信息322-2，其包括例如节点322的名称、类型、功能、运行状态等。节点322的名称可以与目标应用的模块列表中的相应模块相同，或者可以是拓扑图312中所示的名称。节点322的类型可以指示在节点322执行什么功能方面的功能类型，例如数据处理、模型、评估等。节点322的功能可以包括对节点322做什么、节点322如何操作等的详细描述。节点322的运行状态可以包括关于节点的运行的状态信息，例如已被运行或没有被运行、失败或成功、等等。可以针对不同类型的拓扑图定义不同的节点状态信息。
如果目标元素是拓扑图312中的节点的端口324，则可以识别端口324的基本信息324-2，其包括例如端口324的名称、类型等。端口324的名称可以是端口324在包含端口324的节点中的索引。例如，该节点可以包括一个或多个端口，并且每个端口可以被指定一个相应的索引，例如，数值、字母等。端口324的类型可以对应于包含端口324的节点的类型、通过端口324传输的数据的类型、等等。
如果目标元素是拓扑图312中的连接线326，则可以识别连接线326的基本信息326-2，其包括例如连接线326的名称等。连接线326的名称可以是连接线326在拓扑图312中的索引，或者是利用两个相连接的节点或端口的信息所形成的简短短语。
应当理解，目标元素的基本信息并不局限于以上示例，而是可以包括目标元素的任何其它信息。
在330处，可以基于拓扑图312的拓扑信息来确定目标元素的连接状态。目标应用可以通过例如识别拓扑图312中包含的元素、元素之间的连接、处理流程等，来从加载的拓扑图312中识别拓扑信息。拓扑信息可以用于确定目标元素的连接状态。例如，可以从拓扑信息确定目标元素连接到哪个节点和/或端口。
假设目标元素是节点322并且节点322具有两个端口，例如“端口1”和“端口2”，则节点322的连接状态332可以包括由端口1和端口2中的每个端口所连接的节点和/或端口。例如，连接状态332可以包括：与端口1相对应的所连接节点和/或该所连接节点的所连接端口、与端口2相对应的所连接节点和/或该所连接节点的所连接端口、等等。
假设目标元素是端口324，则端口324的连接状态334可以包括，例如，与端口324相对应的所连接节点和/或该所连接节点的所连接端口、等等。
假设目标元素是连接线326，则连接线326的连接状态336可以包括通过连接线326所连接的两个节点和/或端口，例如，源节点和/或源节点的源端口、目的地节点和/或目的地节点的目的地端口、等等。源节点和/或端口是连接线326的起点，而目的地节点和/或端口是连接线326的终点。
在340处，可以生成与目标元素的连接状态相对应的连接信息。在一种实施方式中，连接信息可以包括所连接的节点和/或端口的名称。例如，对于连接状态332，可以生成连接信息342，连接信息342包括例如与节点322的端口1相对应的所连接节点和/或端口的名称、与节点322的端口2相对应的所连接节点和/或端口的名称、等等。例如，对于连接状态334，可以生成连接信息344，连接信息344包括例如与端口324相对应的所连接节点和/或端口的名称、等等。例如，对于连接状态336，可以生成连接信息346，连接信息346包括例如源节点和/或端口的名称、目的地节点和/或端口的名称、等等。应当理解，目标元素的连接信息并不局限于以上示例，而是可以包括关于目标元素的连接状态的任何信息。
在一种实施方式中，可选地，过程300还可以包括：基于目标元素的连接信息来确定至少一个可执行操作。可执行操作可以是用于引导用户沿着拓扑图312的拓扑结构来对拓扑图312进行导航的各种建议的操作。例如，目标元素的连接信息指示与该目标元素相对应的所连接节点和/或端口，因此，可执行操作可以旨在引导用户导航至所连接节点和/或端口。例如，响应于所生成的连接信息342，可以确定用于通过特定键盘快捷方式而导航到端口1和端口2的可执行操作322-4。例如，响应于所生成的连接信息344，可以确定用于通过特定语音指令而去往所连接节点或端口的可执行操作324-4。例如，响应于所生成的连接信息346，可以确定用于通过特定键盘快捷方式而导航到目的地节点或端口的可执行操作326-4。
在350处，可以创建目标元素的描述信息，并将其提供给可访问性辅助应用。该描述信息可以包括目标元素的连接信息，并且可选地包括目标元素的基本信息和/或所建议的可执行操作。可访问性辅助应用可用于通过讲述描述信息来提供可访问性辅助。在一种实施方式中，可选地，为了使描述信息更全面，过程300还可以包括：通过任何已知的自然语言处理技术、以自然语言的形式对连接信息、基本信息、可执行操作等进行措辞。
当用户听到所选择的目标元素的被讲述的描述信息时，用户可以获知目标元素的相关信息，并相应地决定执行进一步的操作。作为示例，可以从用户处接收选择第二目标元素的第二指示，其中，第二选择指示可以是基于在350处提供的当前目标元素的描述信息中的连接信息的。例如，第二目标元素可以是与当前目标元素相对应的所连接节点或端口。然后，可以再次执行过程300中的步骤320至350，以进一步提供第二目标元素的描述信息。
通过迭代地执行过程300中的步骤320至350以便以交互式方式提供目标应用的可访问性，可以引导用户根据元素之间的连接关系来对拓扑图312进行导航，从而可以容易地理解拓扑图312。
图4示出了根据实施例的用于增强目标应用的可访问性的示例性过程400。过程400是图3中的过程300的变型。
在410处，可以将拓扑图加载到目标应用。
在420处，可以从拓扑图中识别出拓扑图中的所有元素以及拓扑图的拓扑结构。
在430处，可以确定每个元素的描述信息。例如，可以通过与以上结合过程300所讨论的创建目标元素的描述信息相类似的方式来确定每个元素的描述信息。
在440处，可以接收选择拓扑图中的目标元素的指示。
在450处，响应于所接收的选择指示，可以将目标元素的描述信息提供给可访问性辅助应用。可以从在430处确定的所有元素的描述信息中检索目标元素的描述信息。
可以响应于接收到进一步的选择指示来迭代地执行过程400中的步骤440和450。
通过过程400，一旦加载了拓扑图，就可以确定并准备拓扑图中的所有元素的描述信息。因此，当接收到对目标元素的选择指示时，可以以更快的速度来直接提供目标元素的描述信息。
图5示出了根据实施例的增强应用可访问性的示例500。示例500旨在示出根据图3中的过程300或图4中的过程400来帮助失能用户理解目标应用中的拓扑图的过程。示例500是参考图2中的示例性的拓扑图相关应用来提供的。为了便于图示，在示例500中仅示出了目标应用的UI中的画布区域。
在画布区域的示例性屏幕截图510中，拓扑图被示为已被加载到目标应用。
然后，目标应用可以在拓扑图中接收选择目标元素(例如，节点“拆分数据”)的指示。在画布区域的示例性的下一个屏幕截图520中，节点“拆分数据”在拓扑图中被聚焦并由虚线框522突出显示，这指示该节点当前被选择。
目标应用可以根据图3中的过程300或图4中的过程400，将节点“拆分数据”的描述信息提供给可访问性辅助应用。如画布区域的示例性的下一个屏幕截图530所示，画布区域中的内容保持与屏幕截图520相同，但是可访问性辅助应用在语音片段540中对节点“拆分数据”的描述信息进行了讲述。例如，语音片段540中的描述信息可以包括名称“拆分数据”、类型“数据处理”、功能“拆分数据集……和测试集(0.3)”、连接信息“该节点具有三个端口……端口3连接到作为源端口的‘对模型评分’节点”、以及可执行操作“使用Tab键来导航端口”。
图6示出了根据实施例的增强应用可访问性的另一示例600。示例600是图5中的示例500的延续。
假设用户按照图5的描述信息中所建议的那样执行了可执行操作“使用Tab键来导航端口”，则可以相应地出现画布区域的示例性的屏幕截图610。如屏幕截图610所示，节点“拆分数据”的端口3在拓扑图中被聚焦并由虚线框612突出显示，这指示该端口当前被选择。
目标应用可以根据图3中的过程300或图4中的过程400，将节点“拆分数据”的端口3的描述信息提供给可访问性辅助应用。如画布区域的示例性的下一个屏幕截图620所示，画布区域中的内容保持与屏幕截图610相同，但是可访问性辅助应用在语音片段630中对端口3的描述信息进行了讲述。作为示例，语音片段630中的描述信息可以包括名称“端口3”、类型“数据集”、连接信息“端口3连接至‘对模型评分’节点的端口S”、以及可执行操作“使用Alt+C设置新连接”。
应当理解，图5的示例500和图6的示例600中的所有细节都是示例性的，并且可以对这些示例进行各种改变。例如，尽管目标元素被示为由虚线框突出显示，但是目标元素也可以是以任何其它视觉方式而被突出显示的。
根据本公开的实施例，还可以在构建拓扑图方面增强基于拓扑图的应用的可访问性。目标应用可以从失能用户处接收至少一个编辑操作，并且响应于一系列编辑操作，可以在目标应用中构建拓扑图。编辑操作可以是通过预定义的键盘快捷方式、语音指令等提供的。编辑操作可以包括在拓扑图的构建或编辑中涉及的各种操作，例如，选择元素、设置元素的连接、设置元素的参数、等等。在失能用户构建拓扑图期间，还可以通过可访问性辅助应用将所编辑元素的描述信息呈现给用户，以帮助用户高效地完成编辑操作。例如，当一个节点的端口被选择并被聚焦、并且接收到为所聚焦端口设置连接的编辑操作时，可以在所聚焦端口的描述信息中向可访问性辅助应用提供关于所聚焦端口可连接的至少一个候选节点和/或端口的信息，并且该信息进而由可访问性辅助应用讲述，由此，用户可以参考在所讲述的描述信息中建议的候选的可连接的节点/端口来高效地为所聚焦端口设置连接。可选地，还可以在画布区域中突出显示候选节点/端口，以方便用户设置连接。应当理解，可以基于例如两个元素的类型之间的匹配来确定候选的可连接的节点/端口。例如，如果一个节点/端口的类型与所聚焦端口匹配，即，可以在它们之间建立连接，则该节点/端口可以被确定为候选节点/端口。
图7示出了根据实施例的用于利用预定义的键盘快捷方式来辅助失能用户构建拓扑图的示例性过程700。
在710处，可以为目标应用预定义各种键盘快捷方式。在一种实施方式中，可以定义用于在目标应用的UI中的画布区域和模块列表之间切换聚焦点或用于在模块列表中的模块之间切换聚焦点的快捷方式，例如，按键“Ctrl”、“Shift”和“F6”的组合。在一种实施方式中，可以定义用于将所选择的节点插入到画布区域中的快捷方式，例如，按键“Enter”。在一种实施方式中，可以定义用于开始设置连接的快捷方式，例如，按键“Alt”和“C”的组合。在一种实施方式中，可以定义用于打开用于设置元素的参数的侧面板的快捷方式，例如，按键“Ctrl”、“Shift”和“E”的组合。应当理解，所有以上快捷方式都是示例性的，并且可以定义用于使失能用户易于构建拓扑图的任何其它快捷方式。
在720处，可以将预定义的快捷方式公开地记录成文，使得所有用户可以了解预定义的快捷方式。
在730处，在用户构建或编辑拓扑图期间，目标应用可以识别经由键盘的快捷方式输入，其可以是用户期望的编辑操作。
在740处，目标应用可以执行与所识别的快捷方式输入相对应的操作，从而完成期望的编辑操作。
通过迭代地执行步骤730和740，键盘用户(例如，失能用户)可以通过键盘来构建拓扑图。
应当理解，以与过程700类似的方式，语音指令也可以被预先定义并且由语音输入用户用来构建拓扑图。此外，键盘快捷方式和语音指令也可以组合使用，以提供更灵活的输入方式。
图8示出了根据实施例的增强应用可访问性的示例800。示例800旨在示出帮助失能用户在目标应用中构建拓扑图的过程。示例800是参考图2中的示例性的拓扑图相关应用来提供的。为了便于图示，在示例800中仅示出了目标应用的UI中的画布区域。
在画布区域的示例性屏幕截图810中，节点“拆分数据”的端口3被聚焦并由虚线框812突出显示，其指示该端口当前正在被选择和编辑。
假设接着识别出键盘快捷方式输入814，例如，按键“Alt”和“C”的组合，其对应于为所聚焦端口3设置连接的编辑操作。
在画布区域的示例性的下一个屏幕截图820中，分别用虚线圆圈822和824突出显示了两个候选端口，例如，节点“训练模型”的端口Q和节点“对模型评分”的端口S，这表示这两个端口是可以由节点“拆分数据”的所聚焦端口3连接的。同时，目标应用可以向可访问性辅助应用提供节点“拆分数据”的端口3的描述信息，该描述信息包括两个候选端口的信息。可访问性辅助应用在语音片段826中对端口3的描述信息进行了讲述。作为示例，语音片段826中的描述信息可以包括名称“端口3”、类型“数据集”、连接信息“端口3可连接到‘训练模型’节点的端口Q或‘对模型评分’节点的端口S”、可执行操作“按Alt+1来选择‘训练模型’节点的端口Q，或者按Alt+2来选择‘对模型评分’节点的端口S”、等等。两个候选端口的信息至少被包括在端口3的描述信息中的连接信息部分和可执行操作部分中。
假设接着识别出键盘快捷方式输入828，例如，按键“Alt”和“1”的组合，其对应于用户选择了期望被连接到所聚焦端口3的节点“训练模型”的端口Q。然后，目标应用可以自动设置从节点“拆分数据”的端口3到节点“训练模型”的端口Q的连接，如由在画布区域的示例性的下一个屏幕截图830中的连接线832所示。
应当理解，图8的示例800中的所有细节都是示例性的，并且可以对该示例进行各种改变。例如，尽管候选端口被示为由虚线圆圈突出显示，候选端口也可以用任何其它视觉方式来突出显示。例如，代替在所聚焦端口3的描述信息中建议可连接的候选端口，也可以在该描述中建议可连接的候选节点，例如，节点“训练模型”和节点“对模型评分”。例如，尽管在示例800中仅涉及键盘快捷方式，但是用户可以替代地采用语音指令或者键盘快捷方式和语音指令的组合。
图9示出了根据实施例的用于增强目标应用的可访问性的示例性方法900的流程图。目标应用可以用于处理拓扑图。
在910处，可以接收选择拓扑图中的目标元素的指示。
在920处，可以基于所述拓扑图的拓扑信息来确定所述目标元素的连接状态。
在930处，可以生成与所述目标元素的所述连接状态相对应的所述目标元素的连接信息。
在940处，可以向可访问性辅助应用提供所述目标元素的描述信息，所述目标元素的所述描述信息至少包括所述目标元素的所述连接信息。
在一种实施方式中，所述目标元素可以是下列各项中的一项：节点、端口和连接线。
在一种实施方式中，所述确定所述目标元素的连接状态可以包括：识别所述目标元素所连接的至少一个节点和/或端口。所述连接信息可以包括：所述至少一个节点和/或端口的名称。
在一种实施方式中，所述描述信息还可以包括下列各项中的至少一项：所述目标元素的名称、所述目标元素的类型、所述目标元素的功能、以及所述目标元素的运行状态。
在一种实施方式中，所述描述信息还可以包括至少一个可执行操作。
在一种实施方式中，方法900还可以包括：接收选择由所述目标元素的所述连接信息所指示的第二目标元素的第二指示；以及向所述可访问性辅助应用提供所述第二目标元素的描述信息。
方法900还可以包括：基于所述拓扑图的所述拓扑信息来确定所述第二目标元素的连接状态；以及生成与所述第二目标元素的所述连接状态相对应的所述第二目标元素的连接信息。所述第二目标元素的所述描述信息可以至少包括所述第二目标元素的所述连接信息。
在一种实施方式中，所述指示可以是通过键盘输入或语音输入来提供的。
在一种实施方式中，方法900还可以包括：接收至少一个编辑操作；以及响应于所述至少一个编辑操作，构建所述拓扑图。
所述至少一个编辑操作可以是通过预定义的键盘快捷方式和/或语音指令来提供的。
所述至少一个编辑操作可以包括为节点的所聚焦端口设置连接的操作。方法900还可以包括：向所述可访问性辅助应用提供所聚焦端口能够连接的至少一个候选节点和/或端口的信息。
方法900还可以包括：突出显示所述至少一个候选节点和/或端口。
在一种实施方式中，所述可访问性辅助应用可以用于通过讲述所述描述信息来提供可访问性辅助。
在一种实施方式中，所述拓扑图可以是有向无环图(DAG)。
应该理解，方法900还可以包括根据上述本公开实施例的用于增强拓扑图相关目标应用的可访问性的任何步骤/过程。
图10示出了根据实施例的用于增强目标应用的可访问性的示例性装置1000。目标应用可以用于处理拓扑图。
装置1000可以包括：指示接收模块1010，用于接收选择拓扑图中的目标元素的指示；连接状态确定模块1020，用于基于所述拓扑图的拓扑信息来确定所述目标元素的连接状态；连接信息生成模块1030，用于生成与所述目标元素的所述连接状态相对应的所述目标元素的连接信息；以及描述信息提供模块1040，用于向可访问性辅助应用提供所述目标元素的描述信息，所述目标元素的所述描述信息至少包括所述目标元素的所述连接信息。
在一种实施方式中，连接状态确定模块1020可以用于：识别所述目标元素所连接的至少一个节点和/或端口。所述连接信息可以包括：所述至少一个节点和/或端口的名称。
在一种实施方式中，所述描述信息还可以包括下列各项中的至少一项：所述目标元素的名称、所述目标元素的类型、所述目标元素的功能、以及所述目标元素的运行状态。
在一种实施方式中，所述描述信息还可以包括至少一个可执行操作。
在一种实施方式中，指示接收模块1010可以用于接收选择由所述目标元素的所述连接信息所指示的第二目标元素的第二指示。所述描述信息提供模块1040可以用于向所述可访问性辅助应用提供所述第二目标元素的描述信息。
在一种实施方式中，装置1000还可以包括：编辑操作接收模块，用于接收至少一个编辑操作；以及图构建模块，用于响应于所述至少一个编辑操作来构建所述拓扑图。
此外，装置1000还可以包括被配置用于根据上述本公开实施例的增强拓扑图相关目标应用的可访问性的任何其它模块。
图11示出了根据实施例的用于增强目标应用的可访问性的示例性装置1100。目标应用可以用于处理拓扑图。
装置1100可以包括至少一个处理器1110以及存储计算机可执行指令的存储器1120。当执行所述计算机可执行指令时，所述至少一个处理器1110可以执行根据上述本公开实施例的用于增强拓扑图相关目标应用的可访问性的方法的任何操作。
本公开的实施例可以被实施在非暂时性计算机可读介质中。该非暂时性计算机可读介质可以包括指令，所述指令在被执行时使得一个或多个处理器执行根据上述本公开实施例的用于增强拓扑图相关目标应用的可访问性的方法的任何操作。
应当理解，以上描述的方法中的所有操作都仅仅是示例性的，本公开并不限制于这些方法中的任何操作或这些操作的顺序，而是应当涵盖在相同或相似构思下的所有其它等同变换。
还应当理解，以上描述的装置中的所有模块都可以通过各种方式来实施。这些模块可以被实施为硬件、软件、或其组合。此外，这些模块中的任何模块可以在功能上被进一步划分成子模块或组合在一起。
已经结合各种装置和方法描述了处理器。这些处理器可以使用电子硬件、计算机软件或其任意组合来实施。这些处理器是实施为硬件还是软件将取决于具体的应用以及施加在系统上的总体设计约束。作为示例，本公开中给出的处理器、处理器的任意部分、或者处理器的任意组合可以实施为微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、门逻辑、分立硬件电路、以及配置用于执行在本公开中描述的各种功能的其它适合的处理部件。本公开给出的处理器、处理器的任意部分、或者处理器的任意组合的功能可以实施为由微处理器、微控制器、DSP或其它适合的平台所执行的软件。
软件应当被广泛地视为表示指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、运行线程、过程、函数等。软件可以驻留在计算机可读介质中。计算机可读介质可以包括例如存储器，存储器可以例如为磁性存储设备(如，硬盘、软盘、磁条)、光盘、智能卡、闪存设备、随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、寄存器或者可移动盘。尽管在本公开内容给出的多个方面中将存储器示出为是与处理器分离的，但是存储器也可以位于处理器内部(如，缓存器或寄存器)。
以上描述被提供用于使得本领域任何技术人员可以实施本文所描述的各个方面。这些方面的各种修改对于本领域技术人员是显而易见的，本文限定的一般性原理可以应用于其它方面。因此，权利要求并非旨在被局限于本文示出的方面。关于本领域技术人员已知或即将获知的、对本公开所描述各个方面的元素的所有结构和功能上的等同变换都将由权利要求所覆盖。

Claims (20)

1.一种用于增强目标应用的可访问性的方法，所述目标应用用于处理拓扑图，所述方法包括：
接收选择拓扑图中的目标元素的指示；
基于所述拓扑图的拓扑信息来确定所述目标元素的连接状态；
生成与所述目标元素的所述连接状态相对应的所述目标元素的连接信息；以及
向可访问性辅助应用提供所述目标元素的描述信息，所述目标元素的所述描述信息至少包括所述目标元素的所述连接信息。
2.根据权利要求1所述的方法，其中，
所述目标元素是下列各项中的一项：节点、端口和连接线。
3.根据权利要求1所述的方法，其中，所述确定所述目标元素的连接状态包括：
识别所述目标元素所连接的至少一个节点和/或端口，
其中，所述连接信息包括：所述至少一个节点和/或端口的名称。
4.根据权利要求1所述的方法，其中，
所述描述信息还包括下列各项中的至少一项：所述目标元素的名称、所述目标元素的类型、所述目标元素的功能、以及所述目标元素的运行状态。
5.根据权利要求1所述的方法，其中，
所述描述信息还包括至少一个可执行操作。
6.根据权利要求1所述的方法，还包括：
接收选择由所述目标元素的所述连接信息所指示的第二目标元素的第二指示；以及
向所述可访问性辅助应用提供所述第二目标元素的描述信息。
7.根据权利要求6所述的方法，还包括：
基于所述拓扑图的所述拓扑信息来确定所述第二目标元素的连接状态；以及
生成与所述第二目标元素的所述连接状态相对应的所述第二目标元素的连接信息，并且
其中，所述第二目标元素的所述描述信息至少包括所述第二目标元素的所述连接信息。
8.根据权利要求1所述的方法，其中，
所述指示是通过键盘输入或语音输入来提供的。
9.根据权利要求1所述的方法，还包括：
接收至少一个编辑操作；以及
响应于所述至少一个编辑操作，构建所述拓扑图。
10.根据权利要求9所述的方法，其中，
所述至少一个编辑操作是通过预定义的键盘快捷方式和/或语音指令来提供的。
11.根据权利要求9所述的方法，其中，
所述至少一个编辑操作包括为节点的所聚焦端口设置连接的操作，并且
所述方法还包括：向所述可访问性辅助应用提供所聚焦端口能够连接的至少一个候选节点和/或端口的信息。
12.根据权利要求11所述的方法，还包括：
突出显示所述至少一个候选节点和/或端口。
13.根据权利要求1所述的方法，其中，
所述可访问性辅助应用用于通过讲述所述描述信息来提供可访问性辅助。
14.根据权利要求1所述的方法，其中，
所述拓扑图是有向无环图(DAG)。
15.一种用于增强目标应用的可访问性的装置，所述目标应用用于处理拓扑图，所述装置包括：
指示接收模块，用于接收选择拓扑图中的目标元素的指示；
连接状态确定模块，用于基于所述拓扑图的拓扑信息来确定所述目标元素的连接状态；
连接信息生成模块，用于生成与所述目标元素的所述连接状态相对应的所述目标元素的连接信息；以及
描述信息提供模块，用于向可访问性辅助应用提供所述目标元素的描述信息，所述目标元素的所述描述信息至少包括所述目标元素的所述连接信息。
16.根据权利要求15所述的装置，其中，所述连接状态确定模块用于：
识别所述目标元素所连接的至少一个节点和/或端口，
其中，所述连接信息包括：所述至少一个节点和/或端口的名称。
17.根据权利要求15所述的装置，其中，
所述描述信息还包括下列各项中的至少一项：所述目标元素的名称、所述目标元素的类型、所述目标元素的功能、以及所述目标元素的运行状态。
18.根据权利要求15所述的装置，其中，
所述描述信息还包括至少一个可执行操作。
19.根据权利要求15所述的装置，其中，
所述指示接收模块用于接收选择由所述目标元素的所述连接信息所指示的第二目标元素的第二指示；并且
所述描述信息提供模块用于向所述可访问性辅助应用提供所述第二目标元素的描述信息。
20.根据权利要求15所述的装置，还包括：
编辑操作接收模块，用于接收至少一个编辑操作；以及
图构建模块，用于响应于所述至少一个编辑操作来构建所述拓扑图。
CN202080095928.6A 2020-06-16 2020-06-16 增强拓扑图相关应用的可访问性 Pending CN115087960A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/096338 WO2021253222A1 (en) 2020-06-16 2020-06-16 Enhancing accessibility of topology diagram-related applications

Publications (1)

Publication Number Publication Date
CN115087960A true CN115087960A (zh) 2022-09-20

Family

ID=79269039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080095928.6A Pending CN115087960A (zh) 2020-06-16 2020-06-16 增强拓扑图相关应用的可访问性

Country Status (4)

Country Link
US (1) US20230195480A1 (zh)
EP (1) EP4165521A4 (zh)
CN (1) CN115087960A (zh)
WO (1) WO2021253222A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116522421B (zh) * 2022-08-26 2023-10-20 苏州浩辰软件股份有限公司 一种图形元素的编辑方法、系统及计算机程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102938706A (zh) * 2012-10-09 2013-02-20 华为技术有限公司 一种网络拓扑图的识别方法和装置
CN103413002A (zh) * 2013-08-20 2013-11-27 山东中创软件商用中间件股份有限公司 一种拓扑图编辑后方法及拓扑图编辑器
US20170177778A1 (en) * 2015-12-20 2017-06-22 Arteris, Inc. EDITING A NoC TOPOLOGY ON TOP OF A FLOORPLAN
CN109583064A (zh) * 2018-11-20 2019-04-05 厦门科灿信息技术有限公司 一种电路拓扑图生成方法、系统及设备和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04348428A (ja) * 1991-03-20 1992-12-03 Hitachi Ltd 設計支援方法
US7885390B2 (en) * 2005-07-01 2011-02-08 Soleo Communications, Inc. System and method for multi-modal personal communication services
CN101114936A (zh) * 2007-09-06 2008-01-30 华为技术有限公司 拓扑图显示方法、系统及装置
US20090125846A1 (en) * 2007-11-08 2009-05-14 Anderson Mark A Facility to Show Secondary Relationships in a Topological Graph Using an Associated View
EP2555536A1 (en) * 2011-08-05 2013-02-06 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
CN109003078B (zh) * 2018-06-27 2021-08-24 创新先进技术有限公司 基于区块链的智能合约调用方法及装置、电子设备
US10908883B2 (en) * 2018-11-13 2021-02-02 Adobe Inc. Voice interaction development tool

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102938706A (zh) * 2012-10-09 2013-02-20 华为技术有限公司 一种网络拓扑图的识别方法和装置
CN103413002A (zh) * 2013-08-20 2013-11-27 山东中创软件商用中间件股份有限公司 一种拓扑图编辑后方法及拓扑图编辑器
US20170177778A1 (en) * 2015-12-20 2017-06-22 Arteris, Inc. EDITING A NoC TOPOLOGY ON TOP OF A FLOORPLAN
CN109583064A (zh) * 2018-11-20 2019-04-05 厦门科灿信息技术有限公司 一种电路拓扑图生成方法、系统及设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
符福桓 主编: "《信息社会学》", 海洋出版社, pages: 352 - 357 *

Also Published As

Publication number Publication date
EP4165521A4 (en) 2024-03-06
EP4165521A1 (en) 2023-04-19
US20230195480A1 (en) 2023-06-22
WO2021253222A1 (en) 2021-12-23

Similar Documents

Publication Publication Date Title
US7177816B2 (en) System and method of handling problematic input during context-sensitive help for multi-modal dialog systems
US7177815B2 (en) System and method of context-sensitive help for multi-modal dialog systems
US9081550B2 (en) Adding speech capabilities to existing computer applications with complex graphical user interfaces
US10698585B2 (en) Virtual assistant development system
Srinivasan et al. Discovering natural language commands in multimodal interfaces
US7770125B1 (en) Methods and apparatus for automatically grouping graphical constructs
KR100354365B1 (ko) 음성 커맨드 입력 인식 기능이 있는 상호작용형 컴퓨터제어 디스플레이 시스템 및 그 시스템으로의 음성 커맨드입력 제공 방법
US8798999B2 (en) Dialog design tool and method
TWI510965B (zh) 輸入方法編輯器整合
Ahmad et al. Perspectives on usability guidelines for smartphone applications: An empirical investigation and systematic literature review
JP2006085683A (ja) 改善された顕著性を有するアクティブコンテンツウィザードの実行
US10628133B1 (en) Console and method for developing a virtual agent
KR101394874B1 (ko) 필기 기반으로 특정 기능을 실행하는 방법 및 그에 따른 디바이스
JPH11259200A (ja) グラフィック・ユ―ザ・インタフェ―スに設定するユ―ザ定義自在指示要素を提供するシステム及び方法
KR102527107B1 (ko) 음성에 기반하여 기능을 실행하기 위한 방법 및 이를 지원하는 사용자 전자 장치
US20040027379A1 (en) Integrated visual development system for creating computer-implemented dialog scripts
JP2001216142A (ja) プログラム作成支援装置
CN115087960A (zh) 增强拓扑图相关应用的可访问性
JPH076158A (ja) 数列の項を解く方法と装置
JP2006208684A (ja) 情報表示制御装置及びプログラム
JP2007193422A (ja) 対話型の情報処理システム、およびサービス・シナリオ用のヘルプ・シナリオを提供する方法
US8346560B2 (en) Dialog design apparatus and method
JPH07168691A (ja) 表示図形領域選択方式
Yoon et al. A Diagrammatic Model for Representing User’s Interface Knowledge of Task Procedure
CN112417799B (zh) 一种多信号选择和响应方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination