CN115454850A - 人机交互hmi设计原型智能绘制方法和系统 - Google Patents

人机交互hmi设计原型智能绘制方法和系统 Download PDF

Info

Publication number
CN115454850A
CN115454850A CN202211115495.3A CN202211115495A CN115454850A CN 115454850 A CN115454850 A CN 115454850A CN 202211115495 A CN202211115495 A CN 202211115495A CN 115454850 A CN115454850 A CN 115454850A
Authority
CN
China
Prior art keywords
prototype
page
hmi
drawing area
hmi design
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211115495.3A
Other languages
English (en)
Inventor
赵起超
杨苒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kingfar International Inc
Original Assignee
Kingfar International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kingfar International Inc filed Critical Kingfar International Inc
Priority to CN202211115495.3A priority Critical patent/CN115454850A/zh
Publication of CN115454850A publication Critical patent/CN115454850A/zh
Priority to US18/088,920 priority patent/US20240086049A1/en
Priority to EP22216996.3A priority patent/EP4339756A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/117—Tagging; Marking up; Designating a block; Setting of attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/134—Hyperlinking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种人机交互HMI设计原型智能绘制方法和系统，该方法包括以下步骤：导入被测HMI设计原型；获取导入的HMI设计原型页面的HTML脚本，在显示界面上显示包括内容区块的原型页面；在自动识别绘制模式下，通过读取HMI设计原型页面的代码自动识别原型页面上的内容区块，监测主试在所述显示界面上的区块选择操作，基于区块选择操作的位置识别对应的内容区块作为交互区域，将识别出的作为交互区域的内容区块进行自动标注，并添加至绘制区列表中；在被试测试所述HMI设计原型的过程中，自动检测被试的交互操作，在所述交互操作的位置与绘制区列表中的内容区块相匹配时，自动将所述交互操作与对应的内容区块相关联并保存关联数据。

Description

人机交互HMI设计原型智能绘制方法和系统
技术领域
本发明涉及工业设计技术领域，尤其涉及一种人机交互测评系统的人机界面(HMI)原型绘制方法和测评系统。
背景技术
随着5G技术、人工智能、大数据、高性能芯片等技术的快速发展，以高新技术为引领的高端装备制造智能化特点表现突出，越来越强调以人为中心的顶层设计需求，同时结合AR/MR、手势交互、触控、眼动、肌电等交互技术，融合人工智能算法的智能人机交互HMI原型设计成为趋势。但综合来看，在针对智能HMI原型设计中相关元素与交互目标的识别、测试过程中，还停留在传统的人机交互数据信息提取方法，而且针对智能人机交互界面中组件、元素等绘制区(兴趣区)的识别、绘制也比较少见，且较少考虑测评全流程技术与应用需求。
以智能座舱HMI人机交互原型设计(或称为HMI设计原型)为例，现有的HMI评测方法包括图片展示法和产品HMI测试法，在实现本发明的过程中，发明人发现这些评测方法存在不同程度的缺陷。
对于图片展示法，在设计阶段需要将测评的HMI系统的界面截成图片作为展示素材，并在实验过程中将实验材料(界面图片)按照规定的顺序呈现给被试；同时使用相应的设备记录被试在实验过程中的相应数据，如用眼动仪记录眼动数据、用行为摄像头记录行为数据等；在实验分析阶段将实验过程中搜集到的各个被试的数据进行统计与分析，分析方法包括对图片逐一绘制兴趣区、对被试的行为逐一打标编码等，得出所有被试对HMI的交互统计结果，并基于被试对HMI的交互统计结果得出被测汽车HMI的可用性、有效性和安全性等评价指标等级。该测试方法中被试与受测HMI图片之间只存在视觉交互，完全屏蔽了HMI原有的人机交互特性，无法同步实现人机交互与数据记录，因此很大程度会影响采集数据的可靠性。并且，在图片展示法中，在实验结束后的数据分析环节进行绘制区的绘制。主试需要在作为刺激材料的HMI图片上，沿着目标元素的轮廓仔细对绘制区进行绘制，并逐一给绘制区进行命名、修改标志色等编辑操作。主试需要对每张图片刺激逐个进行绘制区识别、绘制，一张图片上可能需要绘制数十个绘制区，一个实验中上百个绘制区均需要手动绘制，势必会占用大量的时间和精力，而且绘制出的绘制区与目标元素的契合度受绘制水平的影响较大，也即绘制区分析方式不够便捷。
对于成品HMI测试法，大致步骤与上述图片展示法相同，不同之处在于刺激呈现和数据记录的方式。刺激呈现方式使用可交互的成品HMI，数据记录方式是将被试置于实验场景中，要求其与作为测试对象的HMI按命令进行交互，并使用外部运动追踪系统将人机交互过程以视频形式进行记录和保存，记录被试的手指运动情况以及使用眼动仪记录被试与HMI的眼动交互情况等。在成品HMI测试法的实验过程中，被试虽与HMI进行直接交互，但交互数据需通过第三方设备进行监测和记录，所得数据需在实验结束后与HMI页面进行手动叠加才能最终呈现，无法实时取得人机交互数据，且数据叠加过程中不可避免地会产生偏差。同时实验分析也依赖于视频；对绘制区进行绘制时，需要对每位被试的实验过程视频进行逐帧绘制区识别、绘制，此过程不仅耗费大量的时间和精力，且对于同一页面的相同元素来说，在不同记录视频上绘制的绘制区难免保证有偏差，可能会导致分析结果的不准确。另外，根据测试结果对已开发完成的HMI进行修改时，付出的成本较大。
因此提供一种针对人机交互HMI优化、功能迭代改动成本较小，效率高、准确性高的技术对智能人机交互HMI原型设计测试与评价至关重要。
发明内容
有鉴于此，本发明实施例提供了一种人机交互HMI设计原型智能绘制方法和系统，可用于智能人机交互HMI原型设计测试与评价流程，以消除或改善现有技术中存在的一个或更多个缺陷。
本发明的一个方面提供了一种人机交互HMI设计原型智能绘制方法，该方法包括以下步骤：
导入被测HMI设计原型；
获取导入的HMI设计原型页面的HTML脚本，自动识别原型页面上的内容区块，并在显示界面上显示包括所述内容区块的原型页面；
在自动识别绘制模式下，通过读取HMI设计原型页面的代码自动识别原型页面上的内容区块，监测主试在所述显示界面上的区块选择操作，基于区块选择操作的位置识别对应的内容区块作为交互区域，将识别出的作为交互区域的内容区块进行自动标注，并添加至绘制区列表中；
在被试测试所述HMI设计原型的过程中，自动检测被试的交互操作，在所述交互操作的位置与列表中的内容区块相匹配时，自动将所述交互操作与对应的内容区块相关联并保存关联数据。
在本发明的一些实施例中，所述方法还包括：在自定义绘制模式下，检测在所述显示界面上选定的识别绘制范围，针对所述识别绘制范围进行标识并添加至绘制区列表中。
在本发明的一些实施例中，所述被测HMI设计原型为在线HMI设计原型或本地HMI设计原型；所述导入被测HMI设计原型包括：通过输入在线HMI设计原型的URL链接，或指定本地HMI设计原型网页所在的路径，来将HMI设计原型导入至人机交互测评系统；
所述获取原型页面数据，自动识别原型页面上的内容区块，并在显示界面上显示所述原型页面上的内容区块，包括：获取原型页面HTML脚本，通过解析HTML脚本自动识别原型页面上的内容区块，并在浏览器的显示界面上显示所述原型页面上的内容区块。
在本发明的一些实施例中，所述监测主试在所述显示界面上的区块选择操作，包括：监测主试在所述显示界面上的查看事件，基于查看事件出现的位置自动突出显示对应位置处的内容区块；所述在自定义绘制模式下，检测在所述显示界面上选定的识别绘制范围，针对所述识别绘制范围进行标识并添加至绘制区列表中，包括：监测主试对所述显示界面上突出显示的内容区块的选择操作，在监测到选择操作的区块下将突出显示的内容区块进行自动标注，并添加至绘制区列表中。
在本发明的一些实施例中，所述方法还包括：所述对绘制的绘制区进行属性设置的步骤，该步骤包括对绘制区的名称和/或标志色进行编辑操作；
对自定义绘制模式下绘制的绘制区进行属性设置的步骤还包括以下操作中的至少一种：绘制区缩放设置操作，用于设置当页面大小变化时，对自定义绘制模式下的绘制区的缩放和位移进行设置；对齐设置操作，用于设置绘制区的横向和/或纵向对称方式；移动设置操作，用于设置在原型页面上下滚动时，绘制区是否跟随页面滚动而移动；跨页属性设置操作，用于设置当跳转页面时，该绘制区是否固定显示在跳转到的页面上。
在本发明的一些实施例中，所述选定的识别绘制范围为预定形状，所述预定形状为以下形状中的一种：矩形、圆形、椭圆形、多边形和基于绘制轨迹绘制的不规则形状。
在本发明的一些实施例中，自动识别绘制模式下绘制的绘制区与该绘制区所涵盖的内容区块固定关联；自定义绘制模式下绘制的绘制区与该绘制区所涵盖的内容区块不固定关联。
在本发明的一些实施例中，所述交互操作过程中产生的数据直接叠加在原型页面上，与原型融为一体。
本发明的另一方面，还提供一种人机交互HMI设计原型智能绘制系统，该系统包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如前所述方法的步骤。
本发明的另一方面，还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前所述方法的步骤。
本发明实施例的人机交互HMI设计原型智能绘制方法和系统通过将HMI设计原型直接导入测评系统，读取HMI设计原型的源代码，自动识别原型界面上的内容区块，来基于识别的内容区块自动完成绘制区的绘制，并且实验过程中可使用绘制区直接记录被试与原型的交互数据，对HMI设计原型进行修改，付出的成本较小。相比于传统的方法，本发明具有高效性、可靠性、准确性和便捷性，从而可以更好地促进汽车HMI发展，提升HMI的可用性和用户体验。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。附图中的部件不是成比例绘制的，而只是为了示出本发明的原理。为了便于示出和描述本发明的一些部分，附图中对应部分可能被放大，即，相对于依据本发明实际制造的示例性装置中的其它部件可能变得更大。在附图中：
图1为本发明一实施例的人机交互测评系统中HMI设计原型绘制区绘制方法的流程示意图。
图2为低保真原型示意图。
图3为高保真原型示意图。
图4为本发明一实施例中在人机交互测评系统内嵌浏览器中显示的某款汽车的HMI设计原型示意性截图。
图5为本发明一实施例中鼠标悬浮位置对应的内容区块自动高亮显示的界面示意性截图。
图6为本发明一实施例中在HMI设计原型页面上自动绘制绘制区的区块内容的界面的示意性截图。
图7为本发明一实施例中绘制区列表示意性截图。
图8为本发明一实施例中通过人机交互测评系统识别HMI设计原型源代码示意图。
图9为本发明一实施例中编辑绘制区名称和标志色的操作的示意性截图。
图10为本发明一实施例中使用自定义模式绘制矩形绘制区的示意性截图。
图11为本发明一实施例中使用自定义模式绘制椭圆形绘制区的示意性截图。
图12为本发明一实施例中使用自定义模式绘制多边形绘制区的示意性截图。
图13为本发明一实施例中整体HMI测试过程的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
针对现有汽车HMI测评过程中存在的人机交互数据无法直接记录、绘制区识别、绘制效率与准确度低等导致的HMI测评耗时长、不准确、效率低和成本高等关键技术问题，本发明提出了针对性的解决技术——源代码读取与识别技术，提出了一种基于该技术的人机交互HMI设计原型智能识别和绘制方法。
本发明一实施例将源代码一键读取与识别技术引入到人机交互测评系统中，该技术允许主试(测评系统的使用者，如实验设计人员等)将汽车HMI设计原型直接导入测评系统，并能够一键读取汽车HMI设计原型的源代码，自动识别原型界面上的内容区块，在实验设计阶段即可完成绘制区的绘制，实验过程中可使用绘制区直接记录被试与原型的交互数据，并方便对汽车HMI设计原型进行修改，付出的成本较小。使得HMI评测更快速、更准确、更高效和低成本，从而可以很好地促进汽车HMI的发展，提升汽车HMI的可用性，提升用户体验。
在执行本发明的步骤之前，先要进行HMI设计原型设计，并输出设计好的HMI设计原型，然后进行实验设计，并进一步基于设计的实验来进行汽车HMI测评。
产品原型是产品上市前详细设计的产品模型，产品原型所涉及的材料、部件、设计及装配方式必须与最终产品的一致。通俗的理解，汽车HMI设计原型就是汽车HMI在原型设计阶段产生的草稿，汽车HMI设计原型的功能主要分为4大类：主要行驶控制功能(基本功能)、必备行驶辅助功能(必要安全类)、选备行驶辅助功能(非必要安全类)、舒适性控制功能(舒适娱乐类功能)。汽车HMI设计原型与成品有相同的功能和交互，但内容没有定稿，可以进一步修改完善。HMI设计原型设计由负责HMI开发的人员完成，开发人员需按照HMI开发的具体要求进行原型设计，包括页面布局、交互设计等，制作的原型以在线网页HMI设计原型(以下简称为在线HMI设计原型)或本地网页原型(以下简称为本地HMI设计原型)的形式输出。本发明对于HMI设计原型设计的方式不属于本发明关注的重点，因此不做限定，可以采用现有的HMI设计原型设计方式，也可以是经改进的HMI设计原型设计方式。
在实验设计阶段，需要确定完整的实验流程，包括实验需要重点测评的HMI功能点和特性等，以及确定所需的实验环境、设备和招募被试条件等。在该阶段需要进行绘制区的绘制。
在实验设计完成后，实验过程中便可使用绘制区直接记录被试与原型的交互数据，也即可以基于设计的实验流程和输出的汽车HMI设计原型利用人机交互测评系统进行汽车HMI测评。
下面将描述本发明实施例的HMI绘制区识别和绘制方法。本发明的HMI绘制区识别和绘制方法不仅适用于汽车HMI的绘制区识别和绘制，同样适用于飞机、轮船等其他类型的交通工具HMI的绘制区识别和绘制。
图1所示为本发明一实施例中人机交互测评系统的HMI绘制区识别和绘制方法的流程示意图，如图1所示，该绘制区识别和绘制方法包括以下步骤：
步骤S110，将被测汽车HMI设计原型导入人机交互测评系统。
在本发明实施例中，被测HMI设计原型可以是低保真原型，也可以是高保真原型。低保真原型是利用线框描述的方法，将真实产品脱离皮肤状态下进行展示，可以反映出产品的基本功能和使用效果，如图2所示；低保真原型的主要特征是：页面结构、内容及功能布局规范，产品结构、业务逻辑、功能流程梳理清晰，制作较快、修改方便。高保真原型在视觉上与真实产品一致，在交互体验上也极度接近真实产品(只能预设数据交互、没有真实数据交互)，如图3所示。高保真原型的主要特征是：视觉效果、交互效果、体验效果成型，但制作周期相对较长、修改相对费时费力。
在本步骤中，当要导入的被测HMI设计原型为在线HMI设计原型时，可以通过输入在线HMI设计原型的统一资源定位器(Uniform Resource Locator，URL)链接，将HMI设计原型便捷地导入至人机交互测评系统；
当要导入的被测HMI设计原型为本地HMI设计原型时，可以指定存储路径导入，如指定本地HMI设计原型网页所在的路径，来将HMI设计原型便捷地导入至人机交互测评系统。
上述可知，本发明不仅支持自定义导入本地HMI设计原型：系统支持直接选择，通过原型软件绘制的HMI设计原型文件夹，进行一键导入；还支持手动添加HMI设计原型预览地址：系统支持手动添加，通过原型软件绘制的HMI设计原型预览网址，进行一键读取。本发明的系统可兼容市面上常见原型软件如墨刀、Axure、xiaopiu等，此外，本发明还支持HMI设计原型自适应HMI UE人机显示界面，无需二次手动调整。
步骤S120，获取导入的HMI设计原型页面的HTML脚本，在显示界面上显示包括该内容区块的原型页面。
将被测汽车HMI设计原型导入人机交互测评系统之后，便可通过获取导入的HMI设计原型页面的HTML脚本，在测评系统内嵌的浏览器进行HMI设计原型页面的查看和交互。
在本步骤中，人机交互评测系统读取并识别HMI设计原型的原理如下：
(1)对于在线HMI设计原型，人机交互测评系统内嵌浏览器可根据提供的URL追溯至原型页面，并获取页面的HTML脚本，通过对脚本进行编译，使得该原型页面以可交互图文形式在人机交互测评系统内嵌浏览器区域显示，如图4所示。
(2)对于本地导入的HMI设计原型，人机交互测评系统内嵌浏览器可根据提供的文件夹路径，追溯至原型页面index.HTML文件所在位置，并获取页面的HTML脚本，通过对脚本进行编译，使得该原型页面以可交互图文形式在人机交互测评系统内嵌浏览器区域显示，如图4所示。
本发明实施例中，由于将原型页面完整的导入到人机交互测评系统中，因此在人机交互测评系统完整保留了原型内容和交互的完整性，即可以完整的体现出原型的页面特性和交互特性，主试和被试可自由地浏览各原型页面内容、按照交互流程切换不同页面。
在本发明实施例中，人机交互评测系统通过获取HMI设计原型的HTML脚本，并通过对脚本进行编译，使得该原型页面以可交互图文形式在人机交互测评系统内嵌浏览器区域显示，并支持主试、被试与HMI设计原型进行交互，完成对HMI设计原型功能点、特性、外观等的测评。
在本发明实施例中，HMI设计原型页面被设计为包括各个内容区块，本发明中通过读取原型的源代码，自动对源代码进行分析，可以识别出源代码中的各内容区块，本发明正式基于对这些内容区块的自动识别来实现对绘制区的快速绘制，如后面将要描述的。
在将HMI设计原型导入人机交互评测系统并由系统编译HMI设计原型至内嵌浏览器后，主试即可在实验设计阶段进行绘制区识别和绘制。本发明的系统支持使用两种方式进行原型绘制区的绘制：自动识别绘制模式和自定义绘制模式。下面分别予以描述。
步骤S130，在自动识别绘制模式下，通过读取HMI设计原型页面的代码自动识别原型页面上的内容区块，监测主试在显示界面上的区块选择操作，基于区块选择操作的位置识别对应的内容区块作为交互区域，将识别出的作为交互区域的内容区块进行自动标注，并添加至绘制区列表中。
绘制区是在实验刺激材料页面上绘制的特定区域，一般会将页面上重点关注的元素作为绘制区。在一些实施例中，绘制区可以是兴趣区(AOI，Area of Interest)实验结束后，会对刺激材料中的绘制区进行数据分析，进而得到实验结论。
监测主试在显示界面上的区块选择操作可包括：监测主试在显示界面上的查看事件(如通过鼠标或触控工具在界面上的浏览轨迹)，基于查看事件出现的位置自动突出显示对应位置处的内容区块。在本发明一实施例中，使用自动识别模式对绘制区进行绘制的具体操作如下：
在嵌入式浏览器上显示的原型页面上选择指示进入自动识别模式绘制的选项，于是进入人机交互评测系统的绘制区自动编辑界面，开启自动识别绘制模式。
在进行绘制区的自动绘制时，可采用自定义行列矩阵法，也可采用拾取绘制区法，其中对于自定义行列矩阵法，系统支持自定义设置HMI设计原型页面行列矩阵，进行一键绘制多行多列(>99)的绘制区，矩阵以页面左上角为(0,0)点对整个页面进行绘制，支持对HMIUE人机显示界面大小的自适应。对于拾取绘制区法，系统支持智能识别HMI设计原型的HTML源代码，通过源代码区块(ID/Class)定义规则自动拾取HMI设计原型源代码内部block块作为交互区域。
在本发明一实施例中，在利用鼠标来操控界面的情况下，主试可以控制鼠标指针在原型页面上滑动，当鼠标经过页面元素区块时区块会高亮突出显示，图5为本发明一实施例中鼠标悬浮位置对应的内容区块自动高亮显示的示意图。在当前高亮显示的区块为需要设定为绘制区的区块时，点击该高亮显示的区块便将该区块设定为绘制区。作为示例，页面上会用半透明彩色区块标识突出显示出该绘制区，并在属性栏绘制区列表中以默认名称自动添加该绘制区。
在本发明实施例中，不仅可以利用鼠标指针在原型页面上滑动，对于其他控制方式的显示页面，也可以采用其他交互控制方式来进行绘制区的选择。例如，对于以手指或触控笔进行触控的触控屏，可以用手指或触控笔在屏幕上进行滑动，当手指或触控笔经过页面元素区块时区块会高亮显示，当单击或双击页面元素区块时区块会突出显示；还可以通过控制方向键控制HMI设计原型页面在显示屏幕上滑动，随着HMI设计原型页面的滑动在显示界面上自动选定要突出显示区块并进行突出显示，并通过确认键(如回车键)来确认对绘制区的选择，由此来自动对绘制区进行绘制，本发明并不限于这些举例。
在本发明实施例中，不仅可以用半透明彩色区块标识进行高亮显示，也可以是通过填充其他颜色、改变不同程度透明度、描边等进行标识和突出显示，但本发明并不限于这些举例，还可以是任何可以将选定区域与未选定区域进行区分的方法。
图6示出了本发明一实施例中人机交互测评系统通过读取原型的源代码自动识别出的源代码中的各内容区块的示例，可以在HMI设计原型页面上通过注意选定各个区块来自动绘制各个绘制区，也可以通选定整个页面来自动识别出全部内容区块，通过选定全部内容区块来将全部内容区块自动设置为绘制区。图7为本发明一实施例中绘制出的绘制区列表示意图。在本发明实施例中，主试可以通过设置在显示界面上的绘制区属性设置选项对绘制区的名称、标志色、显示/隐藏等属性进行自定义设置。
本步骤自动识别绘制模式操作原理可简单概括为：系统自动识别代码区块，并可将指定区块记录为绘制区，识别出的区块可被作为交互区域来监测交互数据。具体操作原理如下：
(1)获取原型代码
HMI设计原型导入人机交互测评系统后，系统通过提供的页面URL或本地存储路径，获取原型页面的HTML源代码。
(2)划分代码内容区块
系统获取原型HTML源代码(如图8中右侧示出的代码)后，在后台将自动对源代码进行分析解读，识别出源代码中的各内容区块(以<div>或<class>标签划分的区域)，并按照区块属性将其呈现在屏幕中。区块属性例如可包括：区块ID、绘制区大小、绘制区位置、绘制区颜色等相关内容。
(3)指定特定内容区块为绘制区
识别出源代码中的各内容区块后，人机交互测评系统将监听触控物体(如鼠标指针、手指、触控笔、键盘移动键等)在原型页面区域的活动。当鼠标指针等在原型页面上方滑动时，系统会自动识别出鼠标位置并基于识别出的位置投射到对应位置的内容区块，并将其高亮显示。也即，系统监测主试在显示界面上的查看事件，基于查看事件出现的位置自动突出显示对应位置处的内容区块，当系统监测到主试对突出显示的内容区块的选择操作(如监听到鼠标的点击动作)时，系统会将对应选中的内容区块记录为绘制区，并添加至绘制区列表中。可选地，在将选中的内容区块标注为绘制区时，可通过将半透明色块覆盖到区块上方作为标志，但本发明并不限于此。
(4)编辑绘制区
系统自动将新建绘制区添加至绘制区列表中，主试可通过编辑工具更改绘制区的名称和标志色，编辑结果可直接从页面和列表中查看，图9为本发明一实施例中编辑绘制区名称和标志色示意图。
在本发明实施例中，对于某些在各页面上固定出现的绘制区(如页面顶部显示时间、日期、信号强度的横幅(banner)栏)，人机交互测试系统还提供了跨页绘制区设置功能，即将某内容区块设定为绘制区后，开启“跨页显示”属性，当切换到其他页面时，系统会自动检测当前页面是否包含该内容区块，若包含，则会自动将该内容区块划定为绘制区，名称与标志色与之前设定的相统一。
在本发明一实施例中，如果在嵌入式浏览器上显示的原型页面上选择指示进入自定义绘制模式的选项，则进入人机交互评测系统的绘制区自定义编辑界面，开启绘制区自定义绘制模式。针对某些形状较为特殊的内容元素，或需要跨越多个内容区块绘制绘制区的情况，优选采用自定义绘制模式来绘制绘制区。
本步骤中，监测主试对显示界面上突出显示的内容区块的选择操作，在监测到选择操作的区块下将突出显示的内容区块自动标注为绘制区，并添加至绘制区列表中。
使用自定义绘制模式绘制绘制区的具体操作如下：
对于手动自定义绘制绘制区的方式，系统支持在HMI设计原型上，可通过长按鼠标的方式自定义绘制(Draw)不同形状、大小、位置的绘制区作为感兴趣交互区域。
主试开启自定义绘制模式后，可通过鼠标、手指或其他交互工具在显示界面上选定的绘制区识别和绘制范围，系统检测在显示界面上选定的绘制区识别和绘制范围，将绘制区识别和绘制范围标识为绘制区并添加至绘制区列表中。例如，主试开启自定义绘制模式后，鼠标光标将变为十字形，按住光标在页面上拖拽，页面上相应的位置区域即可出现彩色半透明绘制区，表示该彩色半透明绘制区识别和绘制范围被选定。在选定绘制区识别和绘制范围后，页面上相应的位置区域即可根据选择的范围的预定形状出现彩色半透明绘制区，并在属性栏绘制区列表中以默认名称自动添加该绘制区，并在属性栏绘制区列表中以默认名称自动添加该绘制区。在本发明实施例中，选择的范围的预定形状为以下形状中的一种：矩形、圆形、椭圆形、多边形和基于绘制轨迹绘制的不规则形状。图10至图12分别为本发明实施例中使用自定义模式绘制矩形绘制区、椭圆形绘制区和多边形绘制区的示意图。
在本发明实施例中，主试可根据需要对绘制区进行属性设置，包括在自动识别绘制模式和自定义绘制模式下，对绘制区的名称和/或标志色进行编辑操作。对于自定义绘制模式绘制的绘制区，可进行以下操作中的一项或多项来进行属性设置：
(1)基础设置
编辑绘制区的名称和标志色，此项与自动识别模式绘制区设置一致。
(2)绘制区缩放设置操作，用于设置当页面大小变化时，对自定义绘制模式下的绘制区的缩放和位移进行设置，以确保始终标识固定内容区块。
(3)对齐设置操作，用于设置绘制区的横向和/或纵向对称方式。
可分别设置横向和纵向的对称方式，横向可选择：左对齐、居中和右对齐；纵向可选择：顶端对齐、居中对齐和底部对齐。
(4)移动设置操作，用于设置在原型页面上下滚动时，绘制区是否跟随页面滚动而移动。
(5)跨页属性设置操作，用于设置当跳转页面时，该绘制区是否固定显示在跳转到的页面上。
本步骤自定义绘制绘制区操作原理可简单概括为：在原型页面上方加了一层透明的画布，主试可在画布上绘制各种形状的区块，作为绘制区，不受HMI设计原型源代码中划分的各内容区块影响。因此，与绘制区自动识别绘制模式直接附属在内容区块上生成绘制区不同，自定义绘制方法创建的绘制区是游离于原型页面之外的，故而需要对其进行缩放对齐设置、移动和跨页属性设置等。
也就是说，自动识别绘制模式下绘制的绘制区与该绘制区所涵盖的内容区块固定关联；自定义绘制模式下绘制的绘制区与该绘制区所涵盖的内容区块不固定关联。
本发明可以根据需要测评因素的不同，自行选择自动识别绘制模式和自定义绘制模式这两种绘制方式中的一种。优选地，当需要快速选择规则区块为绘制区时可以选择自动识别绘制模式进行绘制，当需要针对某些形状较为特殊的内容元素，或需要跨越多个内容区块绘制绘制区的情况，可以选择自定义绘制模式来绘制绘制区。
步骤S140，在被试测试该HMI设计原型的过程中，自动检测被试的交互操作，在所述交互操作的位置与绘制区列表中的绘制区相匹配时，自动将所述交互操作与对应的绘制区相关联并保存关联数据。
当正式开始实验，主试操控系统，通过相关显示设备将被测HMI设计原型提供给被试，让被试按照任务指令与HMI设计原型进行交互。实验过程中，当被试通过手指或鼠标等与原型页面上的绘制区区域进行点触、滑动等操作时，即交互操作的位置与绘制区列表中的绘制区相匹配时，系统会自动记录动作时间和坐标位置，并保存至后台数据库中。
在本发明实施例中，还可以在整个实验过程中可通过眼动仪、面部表情仪、脑电设备、手指运动追踪系统和视频监控设备中的一个或多个设备监测被试的相关数据。其中，眼动仪可以准确捕捉人眼位置、判断人眼运动状态(如注视、眨眼、眼跳等)，并记录人在处理视觉信息时的眼动轨迹特征等眼动数据，基于眼动数据可以判断哪些绘制区域更容易引起关注，可以对HMI设计进行评判。面部表情仪用于捕捉面部表情，以基于面部表情分析被试状态(如紧张、愉悦、皱眉等)，基于面部表情分析可以对兴区域进行评估。脑电设备用于通过脑电波测试被试的情绪等状态，同样基于脑电数据可以判断各个绘制区对用户情绪的影响。手指运动追踪系统用于检测手指运动轨迹，基于手指运动轨迹可以判断哪些绘制区域易于被操作等。这些测试数据仅为示例，还可以结合其他测试仪器进行HMI测试。
实验结束后，可对采集的人机交互测评系统操作轨迹数据、绘制区数据、眼动仪数据、面部表情仪数据、手指运动追踪数据和视频监控数据进行分析，人机交互测评系统提供可视化热图、轨迹图等直观数据分析方式，以及序列分析、相似度分析等数值性分析方法，还可将交互的原始数据导出，用于其他方式的分析。通过人机交互分析数据可以评价HMI设计原型设计的宜人性、用户体验与操作有效性。
本发明实施例中，不论是实验设计阶段的绘制区识别和绘制、数据采集阶段的人机交互，还是分析阶段的数据分析，实验所得数据都可以直接叠加在原型页面上，与原型融为一体。
根据数据分析结果，对受测HMI设计原型的可用性、舒适性、学习性或其他目标研究方面进行评判，评判结果可以为HMI的设计改进提供建设性意见。如图13所示，由此便完整个HMI测试过程。
上述可知，本发明的HMI设计原型绘制区识别和绘制方法具有以下优点：
(1)能够便捷地导入测评原型：在线原型和通过URL导入；本地原型可指定存储路径导入。
(2)可以便捷地绘制绘制区：可在HMI设计原型上自动识别内容区块并基于识别的内容区块嵌入式直接绘制绘制区。
(3)数据精确记录：可通过精确绘制的绘制区精确、实时地记录被试与原型的交互数据。
(4)全流程完整保留原型内容和交互的完整性：不论是实验设计阶段的绘制区识别、绘制、数据采集阶段的人机交互，还是分析阶段的数据分析，实验所得数据都直接在原型页面上，与原型融为一体。
3、人机交互分析：
(1)手指交互分析：系统支持基于HMI设计原型的手指轨迹分析(包括：手指轨迹行为的可视化、多被试手指轨迹的叠加分析)、手指点击分析、手指点击AOI序列性分析等。
(2)眼动交互分析；系统支持基于HMI设计原型的眼动交互分析，包括AOI可视化热点图分析、轨迹图分析、AOI序列分析、AOI相似度分析等。
多模态数据同步分析：手指交互数据、眼动数据、生理数据、行为表情数据、动作姿态数据、时空数据及主观数据等多模态数据的同步采集分析。
以上是以汽车HMI的绘制区识别和绘制为例对本发明进行了说明，但本发明并不限于此，还可以适用于其他的HMI的绘制区识别和绘制。
与上述方法相应地，本发明还提供了一种人机交互测评系统，该系统包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如前所述HMI设计原型绘制区识别和绘制方法的步骤。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述边缘计算服务器部署方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种人机交互HMI设计原型智能绘制方法，其特征在于，该方法包括以下步骤：
导入被测HMI设计原型；
获取导入的HMI设计原型页面的HTML脚本，在显示界面上显示包括内容区块的原型页面；
在自动识别绘制模式下，通过读取HMI设计原型页面的代码自动识别原型页面上的内容区块，监测主试在所述显示界面上的区块选择操作，基于区块选择操作的位置识别对应的内容区块作为交互区域，将识别出的作为交互区域的内容区块进行自动标注，并添加至绘制区列表中；
在被试测试所述HMI设计原型的过程中，自动检测被试的交互操作，在所述交互操作的位置与绘制区列表中的内容区块相匹配时，自动将所述交互操作与对应的内容区块相关联并保存关联数据。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在自定义绘制模式下，检测在所述显示界面上选定的识别绘制范围，针对所述识别绘制范围进行标识并添加至绘制区列表中。
3.根据权利要求1所述的方法，其特征在于，所述被测HMI设计原型为在线HMI设计原型或本地HMI设计原型；
所述导入被测HMI设计原型包括：通过输入在线HMI设计原型的URL链接，或指定本地HMI设计原型网页所在的路径，来将HMI设计原型导入至人机交互测评系统；
获取导入的HMI设计原型页面的HTML脚本，在显示界面上显示包括所述内容区块的原型页面，包括：获取原型页面HTML脚本，通过解析HTML脚本自动识别原型页面上的内容区块，并在浏览器的显示界面上显示所述原型页面上的内容区块。
4.根据权利要求2所述的方法，其特征在于，
所述监测主试在所述显示界面上的区块选择操作，包括：监测主试在所述显示界面上的查看事件，基于查看事件出现的位置自动突出显示对应位置处的内容区块；
所述在自定义绘制模式下，检测在所述显示界面上选定的识别绘制范围，针对所述识别绘制范围进行标识并添加至绘制区列表中，包括：监测主试对所述显示界面上突出显示的内容区块的选择操作，在监测到选择操作的区块下将突出显示的内容区块进行自动标注，并添加至绘制区列表中。
5.根据权利要求2所述的方法，其特征在于，所述方法还包括：对绘制的绘制区进行属性设置的步骤，该步骤包括对绘制区的名称和/或标志色进行编辑操作；
对自定义绘制模式下绘制的绘制区进行属性设置的步骤还包括以下操作中的至少一种：
绘制区缩放设置操作，用于设置当页面大小变化时，对自定义绘制模式下的绘制区的缩放和位移进行设置；
对齐设置操作，用于设置绘制区的横向和/或纵向对称方式；
移动设置操作，用于设置在原型页面上下滚动时，绘制区是否跟随页面滚动而移动；
跨页属性设置操作，用于设置当跳转页面时，该绘制区是否固定显示在跳转到的页面上。
6.根据权利要求2所述的方法，其特征在于，所述选定的识别绘制范围为预定形状，所述预定形状为以下形状中的一种：矩形、圆形、椭圆形、多边形和基于绘制轨迹绘制的不规则形状。
7.根据权利要求2所述的方法，其特征在于，
自动识别绘制模式下绘制的绘制区与该绘制区所涵盖的内容区块固定关联；
自定义绘制模式下绘制的绘制区与该绘制区所涵盖的内容区块不固定关联。
8.根据权利要求1-7中任意一项所述的方法，其特征在于，所述交互操作过程中产生的数据叠加在原型页面上。
9.一种人机交互HMI设计原型智能绘制系统，该系统包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如权利要求1-8中任意一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至8中任意一项所述方法的步骤。
CN202211115495.3A 2022-09-14 2022-09-14 人机交互hmi设计原型智能绘制方法和系统 Pending CN115454850A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202211115495.3A CN115454850A (zh) 2022-09-14 2022-09-14 人机交互hmi设计原型智能绘制方法和系统
US18/088,920 US20240086049A1 (en) 2022-09-14 2022-12-27 Intelligent drawing method and system for human machine interaction hmi design prototype
EP22216996.3A EP4339756A1 (en) 2022-09-14 2022-12-28 Intelligent drawing method and system for human machine interaction hmi design prototype

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211115495.3A CN115454850A (zh) 2022-09-14 2022-09-14 人机交互hmi设计原型智能绘制方法和系统

Publications (1)

Publication Number Publication Date
CN115454850A true CN115454850A (zh) 2022-12-09

Family

ID=84303330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211115495.3A Pending CN115454850A (zh) 2022-09-14 2022-09-14 人机交互hmi设计原型智能绘制方法和系统

Country Status (3)

Country Link
US (1) US20240086049A1 (zh)
EP (1) EP4339756A1 (zh)
CN (1) CN115454850A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299345A (zh) * 2018-10-31 2019-02-01 北京津发科技股份有限公司 多通道人机环境测试数据同步平台项目预览系统和方法
CN111966724A (zh) * 2020-06-29 2020-11-20 北京津发科技股份有限公司 基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置
CN112230774A (zh) * 2020-10-15 2021-01-15 北京津发科技股份有限公司 基于人机交互的反应行为的分析方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9274932B2 (en) * 2011-05-12 2016-03-01 Webtrends, Inc. Graphical-user-interface-based method and system for designing and configuring web-site testing and analysis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299345A (zh) * 2018-10-31 2019-02-01 北京津发科技股份有限公司 多通道人机环境测试数据同步平台项目预览系统和方法
CN111966724A (zh) * 2020-06-29 2020-11-20 北京津发科技股份有限公司 基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置
CN112230774A (zh) * 2020-10-15 2021-01-15 北京津发科技股份有限公司 基于人机交互的反应行为的分析方法及系统

Also Published As

Publication number Publication date
US20240086049A1 (en) 2024-03-14
EP4339756A1 (en) 2024-03-20

Similar Documents

Publication Publication Date Title
US20140189576A1 (en) System and method for visual matching of application screenshots
US20140218385A1 (en) System and method for visual segmentation of application screenshots
US9424167B2 (en) Automated testing of an application system
CN111966724B (zh) 基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置
Kevic et al. Tracing software developers' eyes and interactions for change tasks
CN113391871B (zh) 一种rpa元素智能融合拾取的方法与系统
US20170330115A1 (en) Supplemental system for business intelligence systems to provide visual identification of meaningful differences
US20100295774A1 (en) Method for Automatic Mapping of Eye Tracker Data to Hypermedia Content
CN107666987A (zh) 机器人过程自动化
US10073766B2 (en) Building signatures of application flows
US8645901B2 (en) Visualization and information display for shapes in displayed graphical images based on a cursor
US8438531B2 (en) Visualization and information display for shapes in displayed graphical images
Mahajan et al. WebSee: A tool for debugging HTML presentation failures
US8533626B2 (en) Visualization and information display for shapes in displayed graphical images based on user zone of focus
JPH0793527A (ja) オブジェクト指向グラフィック入力及びディスプレイシステム
Chen et al. History assisted view authoring for 3d models
US20220229764A1 (en) Automated test replay with sensitive information obfuscation
EP3712850A1 (en) Image processing device, image processing method, and image processing system
CN114489327B (zh) 基于人机交互的反应行为的序列分析方法及系统
Müller et al. Designing for noticeability: Understanding the impact of visual importance on desktop notifications
CN113345052A (zh) 基于相似显著性的分类数据多视图可视化着色方法及系统
CN117217993A (zh) 全覆盖截图方法、系统、电子设备和存储介质
CN115454850A (zh) 人机交互hmi设计原型智能绘制方法和系统
CN113485707B (zh) 一种ui界面自动校对的方法
Jahanian et al. Mining visual evolution in 21 years of web design

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination