CN111950092B - 操控件布局设计、评估方法、装置以及工程机械 - Google Patents

Abstract

本公开提供了一种操控件布局设计、评估方法、装置以及控制箱、工程机械、存储介质，涉及工程机械技术领域，其中的方法包括：生成约束数据，基于信号数据获取操控样本数据，基于操控样本数据获得操控数据；根据约束数据和操控数据获取与操控件相对应的操控流程模型，根据约束数据和操控数据获取操控件级别，根据约束数据、操控流程模型和操控件级别，生成与指定区域相对应的操控件布局设计方案。本公开的方法、装置以及控制箱、工程机械、存储介质，能够对操控件进行布局设计，同时能够对布局设计方案进行评估，保证了操控布局的有效性和舒适性，对于设计方案的评估具有简单、直观、有效的特点。

Description

操控件布局设计、评估方法、装置以及工程机械

技术领域

本公开涉及工程机械技术领域，尤其涉及一种操控件布局设计、评估方法、装置以及控制箱、工程机械、存储介质。

背景技术

工程机械车辆功能种类较多，相应的功能控制件较多，由功能控制件组成的整机操控件布局在工程机械车辆中占据重要位置，作为操作驾驶过程中重要的操控媒介，对于驾驶、作业有重要关联度；整机操控件布局的优劣性，直接影响操作者作业时的安全性、舒适性和工作效率。例如，高空作业平台是一款用于各行业高空作业、设备安装、检修等可移动性高空作业的工程机械产品。通过操控箱可以实现对高空作业平台的控制及机器状态信息的显示。操控箱安装在高空作业平台转台处，适用于操作者站立于地面操作机器。如何将工程机械中操控件进行合理布局，是工程机械目前需要解决的问题。

在现有的工程机械车辆的操控件布局技术方案中，通常利用个人经验、标杆对照等传统布局形式进行一般性优化，遵循一定的设计准则进行操控件的布置，不符合人机工程学相关原则，功能部件布局未考虑操纵舒适性要求，布局合理性欠佳，操作舒适性不佳；并且，操控件布局只进行简单有效性判断，无法直观给出简单易懂的修改建议，同时难以评价相互之间的优劣性，无法形成最优化的布置方案。

发明内容

有鉴于此，本发明要解决的一个技术问题是提供一种操控件布局设计、评估方法、装置以及控制箱、工程机械、存储介质。

根据本公开的第一方面，提供一种操控件布局设计方法，包括：获取与操控件相对应的设计需求数据与工程数据，生成约束数据；获取与使用所述操控件完成的操作作业相对应的信号数据，基于所述信号数据获取与操控场景相对应的操控样本数据；基于所述操控样本数据获得各操控场景下的操控数据；根据所述约束数据和所述操控数据获取与所述操控件相对应的操控流程模型；根据所述约束数据和所述操控数据对所述操控件的操控件级别进行划分处理，获取与所述操控件相对应的操控件级别；根据所述约束数据、所述操控流程模型和所述操控件级别，生成与指定区域相对应的操控件布局设计方案。

可选地，所述设计需求数据包括：操控件数量、操控件功能信息、操控件权重信息；所述工程数据包括：布局位置尺寸、限制要求信息、电气原理限制信息。

可选地，所述信号数据包括：眼部信号、手部信号、脚部信号、身体姿态信号、操控信号和行驶信号数据；所述获取与使用所述操控件完成的操作作业相对应的信号数据包括：获取记录设备采集的所述眼部信号、所述手部信号、所述脚部信号和所述身体姿态信号，并获取所述操控件进行操作作业时的操控信号和行驶信号数据；所述基于所述信号数据获取与操控场景相对应的操控样本数据包括：基于所述操控信号和所述行驶信号获得所述操控场景；其中，所述操控场景包括：准备阶段、启动阶段、行驶阶段、操控阶段、作业阶段、转场阶段、驻车阶段；从所述眼部信号、所述手部信号、所述脚部信号、所述身体姿态信号、所述操控信号和所述行驶信号数据中选取判决信号，基于所述判决信号获取所述操控样本数据；其中，所述操控样本数据包括：操控行为数据、操控时间、操控件开始-结束时间、操控轨迹、操控频率、操控偏差。

可选地，所述基于所述操控样本数据获得各操控场景下的操控数据包括：获取多个操控样本数据，对所述多个操控样本数据进行加权平均计算，获得所述操控数据；所述根据所述约束数据和所述操控数据获取与所述操控件相对应的操控流程模型包括：将在操控过程中使用的操控件依次进行排列；将获取的所述操控动作、所述操控时间、所述操控件开始-结束时间以及所述操控偏差标记在所述操控件之间的连线上，并按照操控发生的时间顺序进行排列。

可选地，所述根据所述约束数据和所述操控数据对所述操控件的操控件级别进行划分处理，获取与所述操控件相对应的操控件级别包括：基于所述约束数据、所述操控频率对所述操控件的操控件级别进行划分处理，获取所述操控件级别；其中，所述操控件级别包括：主要、次要、附属级别。

可选地，所述根据所述约束数据、所述操控流程模型和所述操控件级别，生成与指定区域相对应的操控件布局设计方案包括：根据所述约束数据、所述操控流程模型和所述操控件级别在所述指定区域内确定所述操作件的布置位置，基于所述布置位置获得操控件布局设计方案；判断所述操控件布局设计方案是否符合预设的人机原则和布局原则；其中，所述人机原则包括：操控安全性，操控可及性和操控可视性；所述布局原则包括：重要性原则、使用顺序原则、使用频率原则、兼容性原则；如果是，则保存所述操控件布局设计方案；如果否，则重新获得操控件布局设计方案并判断新操控件布局设计方案是否符合所述人机原则和所述布局原则。

可选地，根据所述操控流程模型对所述操控件布局设计方案进行图形化处理，获得操控件链路关系模型；根据所述操控件布局设计方案和所述操控件链路关系模型进行评估处理，基于评估结果对所述操控件布局设计方案进行优化处理。

可选地，所述根据所述操控流程模型对所述操控件布局设计方案进行图形化处理，获得操控件链路关系模型包括：根据所述操控流程模型将所述操控件布局设计方案中的操控件简化为图标；基于所述操控件级别、使用频次以及控制件大小设置所述图标的颜色和大小；将所述图标之间通过带有方向和时间信息的链路线条连接，基于所述操控轨迹线和频率次数设置链路线条的线型、颜色以及粗细度。

可选地，所述根据所述操控件布局设计方案和所述操控件链路关系模型进行评估处理包括：基于预设的评估准则对所述链路线条之间的关联关系以及所述图标进行评估处理。

根据本公开的第二方面，提供一种操控件布局评估方法，包括：获取与操控件布局设计方案中的操控件相对应的设计需求数据与工程数据，生成约束数据；获取与使用所述操控件完成的操作作业相对应的信号数据，基于所述信号数据获取与操控场景相对应的操控样本数据；基于所述操控样本数据获得各操控场景下的操控数据；根据所述约束数据和所述操控数据获取所述操控件布局设计方案的绩效值；根据所述绩效值对所述操控件布局设计方案进行评估，用于选取最优的操控件布局设计方案；其中，所述操控件布局设计方案通过上述操控件布局设计方法获得。

可选地，所述根据所述约束数据和所述操控数据获取所述操控件布局设计方案的绩效值包括：基于根据所述约束数据和所述操控数据，获取各操控件之间的相关数据；其中，所述相关数据包括：操控件相互频率、操控件相互轨迹、操控件之间的距离值数据；根据所述相关数据计算所述操控件布局设计方案的绩效值。

可选地，所述根据所述绩效值对所述操控件布局设计方案进行评估，用于选取最优的操控件布局设计方案包括：基于所述绩效值对多个操控件布局设计方案进行排序，根据排序结果选取最优的操控件布局设计方案。

根据本公开的第三方面，提供一种操控件布局设计装置，包括：约束数据获取模块，用于获取与操控件相对应的设计需求数据与工程数据，生成约束数据；操控样本获取模块，用于获取与使用所述操控件完成的操作作业相对应的信号数据，基于所述信号数据获取与操控场景相对应的操控样本数据；操控数据获取模块，用于基于所述操控样本数据获得各操控场景下的操控数据；流程模型获取模块，用于根据所述约束数据和所述操控数据获取与所述操控件相对应的操控流程模型；控件级别确定模块，用于根据所述约束数据和所述操控数据对所述操控件的操控件级别进行划分处理，获取与所述操控件相对应的操控件级别；布局设计生成模块，用于根据所述约束数据、所述操控流程模型和所述操控件级别，生成与指定区域相对应的操控件布局设计方案。

根据本公开的第四方面，提供一种操控件布局评估装置，包括：约束获取模块，用于获取与操控件布局设计方案中的操控件相对应的设计需求数据与工程数据，生成约束数据；样本获取模块，用于获取与使用所述操控件完成的操作作业相对应的信号数据，基于所述信号数据获取与操控场景相对应的操控样本数据；操控确定模块，用于基于所述操控样本数据获得各操控场景下的操控数据；绩效值获取模块，用于根据所述约束数据和所述操控数据获取所述操控件布局设计方案的绩效值；方案评估模块，用于根据所述绩效值对所述操控件布局设计方案进行评估，用于选取最优的操控件布局设计方案；其中，所述操控件布局设计方案通过上述操控件布局设计方法获得。

根据本公开的第五方面，提供一种操控件布局设计装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上的操控件布局设计方法。

根据本公开的第六方面，提供一种操控件布局评估装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上的操控件布局评估方法。

根据本公开的第七方面，提供一种操控箱，包括：多个操控件；所述操控件基于操控件布局设计方案进行布置位置；其中，所述操控件布局设计方案通过如上的操控件布局设计方法或操控件布局评估方法获得。

根据本公开的第八方面，提供一种工程机械，包括：如上的控制箱。

根据本公开的第九方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行如上所述的方法。

本公开的操控件布局设计、评估方法、装置以及控制箱、工程机械、存储介质，基于获取的操控数据并结合提供的约束数据，对操控件进行布局设计，并对布局关系进行简化和图形化处理，实现布局迭代优化，同时能够对布局设计方案进行评估，能够解决现有工程机械操控件布局无法针对优劣进行直观评估的技术问题；增加了操控件之间可视化的关系呈现，解决了操控件相互影响，相互牵制，无法直观评估的难题，保证了操控布局的有效性和舒适性，对于设计方案的评估具有简单、直观、有效的特点。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为根据本公开的操控件布局设计方法的一个实施例的流程示意图；

图2为操控箱在工程车辆中的位置关系图；

图3为控制箱上的控制件的位置关系图；

图4为根据本公开的操控件布局设计方法的一个实施例中的进行分析评估的流程示意图；

图5为根据本公开的操控件布局设计方法的另一个实施例的逻辑处理示意图；

图6A为操控件作业流程的对应关系图；图6B为操控件的操控数据的计算关系图；

图7A为操控流程模型的示意图；图7B为操控件布局设计方案的示意图；图7C为操控件链路关系模型的示意图；

图8为根据本公开的操控件布局评估方法的一个实施例的流程示意图；

图9为根据本公开的操控件布局评估方法的另一个实施例的逻辑处理示意图；

图10为根据本公开的操控件布局设计装置的一个实施例的模块示意图；

图11为根据本公开的操控件布局设计装置的另一个实施例的模块示意图；

图12为根据本公开的操控件布局设计装置的又一个实施例的模块示意图；

图13为根据本公开的操控件布局评估装置的一个实施例的模块示意图；

图14为根据本公开的操控件布局评估装置的另一个实施例的模块示意图。

具体实施方式

下面参照附图对本公开进行更全面的描述，其中说明本公开的示例性实施例。下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。下面结合各个图和实施例对本公开的技术方案进行多方面的描述。

在现有技术中，工程机械车辆的操控件布局技术方案涉及的设计准则包括：重要性原则、使用顺序原则、使用频率原则、兼容性原则。按照以上传统原则获得的初始布局，仅按照原则性进行基本的有效性判断，并通过实物验证、人机工效测试、用户反馈进行调整和修改。人机工效测试主要包括以下测量方法：

主观评价法：通过调查操纵者在完成任务过程中的切身感受，对整体任务的难度、操控件的重要程度等进行量化；

作业绩效测量法：利用实际工作负荷对作业任务绩效的影响，采用现场测试与真实作业，通过最终实际工作的绩效反推工作负荷程度；

生理测量法：记录并分析人体在面对认知需求和环境变化时的相关应激反应所表征出来的生理信号波动，作为工作负荷的评价输入信号。

整体的操控件布局要经过“方案设计-测试验证-方案设计”的迭代周期，直到迭代结果满足相关实用性与经济性后，才最终完成。

现有技术中的工程机械车辆的操控件布局技术方案只能进行简单的有效性判断，其整机操控流程采用个人经验、竞品标杆对照等传统优化形式得出一般性优化，对操控件的布局参数无法直观给出简单易懂的修改建议；难以评价相互之间的优劣性，无法形成最优化的布置方案；对于操控者实际过程中可能出现的误操作行为、迂回行为，以及操作件之间的依存性和制约性，无法在设计布置时进行有效甄别，缺乏简单、直接、有效的判断；操控布局需要实物验证、收集操作者反馈后进行调整，调整后再进行验证，测试过程复杂并且周期较长，时间成本和样机成本占比较高，无法满足经济性要求。

图1为根据本公开的操控件布局设计方法的一个实施例的流程示意图，如图1所示：

步骤101，获取与操控件相对应的设计需求数据与工程数据，生成约束数据。

在一个实施例中，操控件可以为多种操控件，如图2所示，高空作业平台中设置有控制箱01，如图3所示，在控制箱上设置多种操控件，包括显示装置件2、预热控制件3、启动旋钮5、速度选择件6、转台/平台选择开关件7、急停件8、作业控制组件9等。设计需求数据包括操控件数量、操控件功能信息、操控件权重信息等，工程数据包括布局位置尺寸、限制要求信息、电气原理限制信息等。

步骤102，获取与使用操控件完成的操作作业相对应的信号数据，基于信号数据获取与操控场景相对应的操控样本数据。

在一个实施例中，信号数据包括眼部信号、手部信号、脚部信号、身体姿态信号、操控信号和行驶信号数据等。可以使用多种方法获取信号数据。例如，获取记录设备采集的眼部信号、手部信号、脚部信号和身体姿态信号，并获取操控件进行操作作业时的操控信号和行驶信号数据。

可以使用多种方法获取操控样本数据。例如，基于操控信号和行驶信号获得操控场景；操控场景包括准备阶段、启动阶段、行驶阶段、操控阶段、作业阶段、转场阶段、驻车阶段等；操控场景可以为单一或多种阶段。

从眼部信号、手部信号、脚部信号、身体姿态信号、操控信号和行驶信号数据中选取判决信号，基于判决信号获取操控样本数据；操控样本数据包括操控行为数据、操控时间、操控件开始-结束时间、操控轨迹、操控频率、操控偏差等。

步骤103，基于操控样本数据获得各操控场景下的操控数据。

在一个实施例中，操控数据包括操控行为、操控时间、操控轨迹、操控频率、操控场景、操控偏差等数据。操控行为包括驾驶、按压、旋转、推拉、抬起、拨动、踩踏、抓握等手部和脚部动作。可以使用多种方法获取操控数据。例如，获取多个操控样本数据，对多个操控样本数据进行加权平均计算，获得操控数据。

步骤104，根据约束数据和操控数据获取与操控件相对应的操控流程模型。

在一个实施例中，操控流程模型包括操控场景、操控场景对应的操控行为、操控时间、操控轨迹、操控频率、操控场景、操控偏差以及手部、脚部涉及的操控件。可以使用多种方法获取与操控件相对应的操控流程模型。例如，将在操控过程中使用的操控件依次进行排列，将获取的操控动作、操控时间、操控件开始-结束时间以及操控偏差标记在操控件之间的连线上，并按照操控发生的时间顺序进行排列。

步骤105，根据约束数据和操控数据对操控件的操控件级别进行划分处理，获取与操控件相对应的操控件级别。

在一个实施例中，可以使用多种方法进行划分处理。例如，基于约束数据、操控频率对操控件的操控件级别进行划分处理，获取操控件级别；操控件级别包括主要、次要、附属级别等。

主要级别的操控件包括在行驶阶段、操控阶段、作业阶段、转场阶段中使用频率较高的操控件；次要级别的操控件包括在启动阶段、行驶阶段、操控阶段、作业阶段、转场阶段中使用频率较低的操控件；附属级别的操控件包括在准备阶段、行驶阶段、操控阶段、作业阶段、转场阶段、驻车阶段中使用频率很低的操控件。

步骤106，根据约束数据、操控流程模型和操控件级别，生成与指定区域相对应的操控件布局设计方案。

在一个实施例中，可以使用多种方法生成与指定区域相对应的操控件布局设计方案。例如，根据约束数据、操控流程模型和操控件级别在指定区域内确定操作件的布置位置，基于布置位置获得操控件布局设计方案。判断操控件布局设计方案是否符合预设的人机原则和布局原则，人机原则包括：操控安全性，操控可及性和操控可视性等，布局原则包括重要性原则、使用顺序原则、使用频率原则、兼容性原则等。

如果操控件布局设计方案符合预设的人机原则、布局原则，则保存操控件布局设计方案；如果操控件布局设计方案不符合预设的人机原则、布局原则，则重新获得操控件布局设计方案并判断新操控件布局设计方案是否符合人机原则和布局原则。

基于步骤101、步骤104和步骤105获取的约束数据、操控流程模型、操控件级别，在限制空间中将操控件进行布置，形成操控件布局设计方案；判断是否按照人机原则和件布局原则进行布置，如果是，则进行下一步骤，否则，重复步骤106。

图4为根据本公开的操控件布局设计方法的一个实施例中的进行分析评估的流程示意图，如图4所示：

步骤401,根据操控流程模型对操控件布局设计方案进行图形化处理，获得操控件链路关系模型。

在一个实施例中，基于步骤106获取的操控件布局设计方案，将操控件布局关系模型进行精简并按照步骤104获取的操控流程模型进行图形化处理，得到操控件链路关系模型。

步骤402，根据操控件布局设计方案和操控件链路关系模型进行评估处理，基于评估结果对操控件布局设计方案进行优化处理。可以基于预设的评估准则对链路线条之间的关联关系以及图标进行评估处理。

在一个实施例中，基于步骤106形成的操控件布局设计方案及步骤401获取的对应的操控件链路关系模型，评估操控件之间相互关系及影响，依据分析评估的结果，对步骤106形成的操控件布局设计方案进行修改，并重复步骤401、步骤402，直至优化完成。

可以使用多种方法获得操控件链路关系模型。例如，根据操控流程模型将操控件布局设计方案中的操控件简化为图标；基于操控件级别、使用频次以及控制件大小设置图标的颜色和大小；将图标之间通过带有方向和时间信息的链路线条连接，基于操控轨迹线的频率次数设置链路线条的线型、颜色以及粗细度。

操控件链路关系模型由操控件点(图标)、链路线条组成；操控件点表征操控件在空间中占据的空间大小，操控件点可以根据重要程度、使用频次、操控偏差等使用不同颜色和尺寸等元素进行标示；链路线条为操控件之间的操控轨迹线，具有明确方向性，使用线段、箭头、时间等元素进行标示；链路线条的频率次数可以用线条的粗细程度进行标示，并成正比关系，具有操控偏差状态的操控轨迹线可采用虚线并使用颜色进行标示。操控件布局关系模型可以在三维空间中进行布置；

图5为根据本公开的操控件布局设计方法的另一个实施例的逻辑处理示意图，如图5所示：

步骤501，提供对于工程车辆的控制箱上的操控件布局的设计需求数据和工程数据，作为约束数据。

在一个实施例中，根据布局要求设定需求约束和工程约束，获取操控箱及操控箱所在的工程车辆的设计需求数据和工程数据，用于约束操控件布局。

设计需求约束和工程约束作为在布局方案设计的前置条件，为对操控件提出的一系列设计要求，可为文档形式。设计需求数据包括操控件数量、操控件功能定义、操控件权重等；工程数据包括布局位置尺寸、限制要求、电气原理限制等。

步骤502，获取与操控场景相对应的操控样本数据，将多组操控样本数据进行汇总，得到各操控场景下的操控数据。

在一个实施例中，当操控人员利用操控箱对工程车辆进行操作控制时，通过记录设备对操控人员在操控过程的手部信号、眼部信号、身体姿态信号等进行记录，并同时记录工程车辆被操控过程中的状态；记录设备可以摄像机、记录仪、相机、手机、检测仪器等。

眼部信号包括注视时间、注视位置点等信号，手部信号包括手部运动轨迹、手部控制时间等信号，身体姿态信号包括手臂轨迹、身形姿态和头部姿态等信号，操控信号包括操控件输出信号，行驶信号包括车辆运动状态信号。

如图6A所示，操控场景约束为操控阶段，操控阶段包括工程车辆的起升状态、降落状态、回转状态。提取记录的操控数据中的操控行为、操控时间、操控轨迹、操控频率、操控场景、操控偏差等。如图6B所示，基于眼部信号、手部信号、身体姿态信号计算得到操控行为，操控行为包括按压、旋转、推拉、拨动等手部动作。基于手部信号、身体姿态信号、操控信号计算得到操控时间，操控完成时间为操控人员在操控场景下完成一次完整操作的时间。基于手部信号、操控信号计算得到操控件开始-结束时间，操控件开始-结束时间为操控人员在控制任意操控件时至控制下一个操控件时的完成时间。

基于手部信号、身体姿态信号计算得到操控轨迹，操控轨迹为操控动作在空间中的移动顺序。基于手部信号、身体姿态信号、操控信号计算得到操控频率，操作频率为一定时间内出现的操控动作次数。基于操控信号、行驶信号计算得到操控场景，操控场景为操控行为发生时车辆的工作状态。基于眼部信号、手部信号、身体姿态信号、操控信号计算得到操控偏差，操作行为偏差，为进行操控时出现的不必要、错误及无效动作。

选取相同或近似的多名人员重复上述操作，获取多种测试人员的操控数据，分别对各数据进行分析和整理。通过汇总相同类别下的数据信息并进行加权计算得出平均值，得到操控场景下的操控数据。

步骤503，基于步骤501和步骤502获取的约束数据、操控数据，按照预设的顺序进行排列，形成操控流程模型。操控流程模型可以有多种，一个操控流程模型如图7A所示。

在一个实施例中，将操控人员在操控过程中使用的操控件：预热控制件3、启动旋钮5、速度选择件6、转台/平台选择开关件7、急停件8、作业控制组件9依次进行排列，并将获取的操控动作、操控时间、操控件开始-结束时间以及操控偏差等标记在操控件之间的连线上，同时与工程车辆状态相对应，并按照发生的时间顺序进行排列，其中重复出现的操控过程做循环式表示。

左右手共同进行操控，左手作为右手的辅助，右手作为主要操作动作，左手控制速度选择件6，右手操控预热控制件3、启动旋钮5、速度选择件6、转台/平台选择开关件7、急停件8、作业控制组件9，左右手操控单独划分。

步骤504，基于步骤501和步骤502获取的约束数据、操控数据，将一组或多组操控件划分为主要、次要、附属等多个维度的操控件级别。

在一个实施例中，将控制箱上的操控件按照前述的操控件的约束数据、操控频率进行主要、次要、附属三个维度的划分，主要操控件包括作业控制组件9，其中作业控制组件9由于控制功能相近，作为组件进行布局，作业控制组件9包括7个拨动控制件；次要操控件包括预热控制件3，启动旋钮5，速度选择件6，转台/平台选择开关件7，急停件8；附属的操控件包括蜂鸣器4，显示装置件2。

步骤505，基于步骤501、步骤503和步骤504获取的约束数据、操控流程模型、操控件级别，在限制空间中将操控件进行布置，形成操控件布局设计方案。操控件布局设计方案可以有多种，一个操控件布局设计方案如图7B所示。

在一个实施例中，将控制箱上的操控件，按照前述的操控件的约束数据结合操控流程模型，将显示装置件2、预热控制件3、启动旋钮5、速度选择件6、转台/平台选择开关件7、急停件8、作业控制组件9按照划分的操控件级别在操控箱盒体1上进行布置，其中，作业控制组件9中的7个拨动控制件也按照本步骤进行布置。

步骤506，判断操控件布局设计方案是否符合人机原则以及布局原则，判断结果为是，则进入下一步骤，反之，则重复步骤505。

在一个实施例中，人机基本原则包括现有的操控安全性，操控可及性和操控可视性等；布局原则包括现有的重要性原则、使用顺序原则、使用频率原则、兼容性原则等。需要布置的操控件处于同一平面内，因此可以在二维状态下进行布局。

步骤507，将操控件布局关系进行精简并按照步骤503获取的操控流程模型进行图形化处理，得到操控件链路关系模型。操控件链路关系模型可以有多种，一个操控件链路关系模型如图7C所示。

在一个实施例中，对于操控件布局设计方案，将右手操控的预热控制件3、启动旋钮5、速度选择件6、转台/平台选择开关件7、急停件8、作业控制组件9简化为圆点状图标，其中，作业控制组件9中的7个拨动控制件也单独进行组内简化。

圆点状图标之间用带有方向的实线线条连接；其中，作业控制组件9分为组外连接和组内连接。组外连接即作业控制组件9作为整体与显示装置件2、预热控制件3、启动旋钮5、转台/平台选择开关件7、急停件8进行连接；组内连接即作业控制组件9内包括7个拨动控制件之间的连接。

线条连接圆点状的圆心即为操控件本身活动的中心点，作业控制组件9在与显示装置件2、预热控制件3、启动旋钮5、转台/平台选择开关件7、急停件8连接的连接点应为组件围合区域的中心点，而组内连接点则依然为7个拨动控制件的中心点。

操控件的圆点状图标，根据其重要程度用不同颜色进行标示，根据其操控级别用不同尺寸进行标示，并成正比关系；具有操控偏差状态的操控轨迹线，采用虚线进行标示；根据操控轨迹线的频率次数，用线条的粗细程度进行标示，并成正比关系。

步骤508，基于步骤505形成的操控件布局设计方案及步骤507获取的对应的操控件链路关系模型，评估操控件之间相互关系及影响，依据分析评估的结果，对步骤505形成的操控件布局设计方案修改，并重复步骤506、步骤507和步骤508，直至优化完成。

在一个实施例中，对上述形成的操控件链路关系模型，按照操控流程模型逐一审视预热控制件3、启动件5、转台/平台选择开关件7、急停件8、作业控制组件9以及作业控制组件9内的7个拨动控制件之间的链路关系。

分析各链路关系的圆点状图标是否按照各自尺寸正比布置，即较小尺寸的圆点状图标围绕较大尺寸圆点状图标进行布置；分析各链路关系线条是否按照各自尺寸正比布置，即链路关系线条按照顺序依次进行排列；分析各链路关系是否有交叉，即链路关系线条在空间位置上有明显交叉点，如果有，则代表手部在操控过程中有可能导致动作浪费情况发生；分析各链路线条在空间上是否会经过圆点状，即手部在空间移动的过程中经过操控件，如果有，则代表手部在操控过程中有可能导致误操作情况发生。按照上述分析评估结果，对操控件布局设计方案进行修改，并重复步骤506、步骤507和步骤508，最终优化完成，形成最终的可用方案。

图8为根据本公开的操控件布局评估方法的一个实施例的流程示意图，如图8所示：

步骤801，获取与操控件布局设计方案中的操控件相对应的设计需求数据与工程数据，生成约束数据。

步骤802，获取与使用操控件完成的操作作业相对应的信号数据，基于信号数据获取与操控场景相对应的操控样本数据。

步骤803，基于操控样本数据获得各操控场景下的操控数据。

步骤804，根据约束数据和操控数据获取操控件布局设计方案的绩效值。

在一个实施例中，可以采用与步骤101,102和103相同的方法获取约束数据和操控数据。获取操控件布局设计方案的绩效值可以有多种方法，例如，基于根据约束数据和操控数据，获取各操控件之间的相关数据；相关数据包括操控件相互频率、操控件相互轨迹、操控件之间的距离值数据，根据相关数据计算操控件布局设计方案的绩效值。

步骤805，根据绩效值对操控件布局设计方案进行评估，用于选取最优的操控件布局设计方案；其中，操控件布局设计方案通过上述任一实施例的操控件布局设计方法获得。

可以基于绩效值对多个操控件布局设计方案进行排序，根据排序结果选取最优的操控件布局设计方案，可以选取绩效值为最高的操控件布局设计方案。

本公开基于获取的驾驶过程中操控数据，结合提供的约束数据，针对操控件进行重新布局，并对布局关系进行简化和图形化处理，实现布局迭代优化，同时对方案进行评估，实现量化对比，能够解决现有工程机械操控件布局无法针对优劣进行直观评估的技术问题。

如图9所示，本公开提供了针对布局设计方案的评估方法，基于采用上述实施例的方法获得的约束数据和操控数据，获取各操控件之间的相关数据，操控件的相关数据包括操控件数据1、操控件数据2、操控件数据3

基于步骤103获取的操控数据，提取预热控制件3、启动件5、速度选择件6、转台/平台选择开关件7、急停件8、作业控制组件9及作业控制组件9内7个拨动控制件的相互间的操控件数据1，即基于手部信号、身体姿态信号、操控信号计算得到操控件相互频率。

基于操控数据提取预热控制件3、启动件5、速度选择件6、转台/平台选择开关件7、急停件8、作业控制组件9及作业控制组件9内7个拨动控制件的相互间的操控件数据2，即基于手部信号、身体姿态信号计算得到操控件相互轨迹。

基于操控方案，计算显示装置件2、预热控制件3、蜂鸣器4、启动件5、速度选择件6、转台/平台选择开关件7、急停件8、作业控制组件9相互之间的距离值。作业控制组件9也按照相同的方法进行组内计算。

针对获取的操控件的相关数据进行一系列计算，得出设计方案的绩效值，绩效值可以采用现有的多种计算方法获得。例如，基于操控件距离并按照操控流程模型中相互之间的操控频率，结合前述的控制箱各操控件的操控件相互轨迹，通过相互之间进行加权相乘计算，得到设计方案中两两操控件之间的功效数据，并将计算的功效数据相加作平均计算，即为设计方案的绩效值。可以将原有操控件布局设计方案进行简化并计算得出原有方案的操控件绩效值。

根据得到的绩效值将操控件布局设计方案进行排序，并与原操控件布局设计方案进行对比，选取最高绩效值的操控件布局设计方案进行应用。将原有操控件布局设计方案的绩效值与新设计的操控件布局设计方案的绩效值进行对比，计算原有操控件布局设计方案与新设计的操控件布局设计方案之间的差值，差值为正时，即新设计的操控件布局设计方案优于原有操控件布局设计方案，反之，则劣于原有操控件布局设计方案，差值与原有方案的绩效值的商即为控制箱操控效率的有益结果。

如果存在多种优于原有操控件布局设计方案的新设计的操控件布局设计方案，将新设计的操控件布局设计方案按照绩效值由高至低的顺序进行排列，选取最高值的设计方案进行应用。

在一个实施例中，如图10所示，本公开提供一种操控件布局设计装置100，包括约束数据获取模块101、操控样本获取模块102、操控数据获取模块103、流程模型获取模块104、控件级别确定模块105和布局设计生成模块106。

约束数据获取模块101获取与操控件相对应的设计需求数据与工程数据，生成约束数据。操控样本获取模块102获取与使用操控件完成的操作作业相对应的信号数据，基于信号数据获取与操控场景相对应的操控样本数据。操控数据获取模块103基于操控样本数据获得各操控场景下的操控数据。

流程模型获取模块104根据约束数据和操控数据获取与操控件相对应的操控流程模型。控件级别确定模块105根据约束数据和操控数据对操控件的操控件级别进行划分处理，获取与操控件相对应的操控件级别。布局设计生成模块106根据约束数据、操控流程模型和操控件级别，生成与指定区域相对应的操控件布局设计方案。

在一个实施例中，操控样本获取模块102获取记录设备采集的眼部信号、手部信号、脚部信号和身体姿态信号，并获取操控件进行操作作业时的操控信号和行驶信号数据。操控样本获取模块102基于操控信号和行驶信号获得操控场景；操控场景包括准备阶段、启动阶段、行驶阶段、操控阶段、作业阶段、转场阶段、驻车阶段等。

操控样本获取模块102从眼部信号、手部信号、脚部信号、身体姿态信号、操控信号和行驶信号数据中选取判决信号，基于判决信号获取操控样本数据；其中，操控样本数据包括操控行为数据、操控时间、操控件开始-结束时间、操控轨迹、操控频率、操控偏差等。

操控数据获取模块103获取多个操控样本数据，对多个操控样本数据进行加权平均计算，获得操控数据。流程模型获取模块104将在操控过程中使用的操控件依次进行排列，将获取的操控动作、操控时间、操控件开始-结束时间以及操控偏差标记在操控件之间的连线上，并按照操控发生的时间顺序进行排列。

控件级别确定模块105基于约束数据、操控频率对操控件的操控件级别进行划分处理，获取操控件级别，操控件级别包括主要、次要、附属级别等。

布局设计生成模块106根据约束数据、操控流程模型和操控件级别在指定区域内确定操作件的布置位置，基于布置位置获得操控件布局设计方案。布局设计生成模块106判断操控件布局设计方案是否符合预设的人机原则和布局原则，如果是，则布局设计生成模块106保存操控件布局设计方案，如果否，则布局设计生成模块106重新获得操控件布局设计方案并判断新操控件布局设计方案是否符合人机原则和布局原则。

在一个实施例中，如图11所示，操控件布局设计装置100还包括布局图像化处理模块107和布局设计评估模块108。布局图像化处理模块107根据操控流程模型对操控件布局设计方案进行图形化处理，获得操控件链路关系模型。布局设计评估模块108根据操控件布局设计方案和操控件链路关系模型进行评估处理，基于评估结果对操控件布局设计方案进行优化处理。

布局图像化处理模块107根据操控流程模型将操控件布局设计方案中的操控件简化为图标，基于操控件级别、使用频次以及控制件大小设置图标的颜色和大小，将图标之间通过带有方向和时间信息的链路线条连接，基于操控轨迹线的频率次数设置链路线条的线型、颜色以及粗细度。布局设计评估模块108基于预设的评估准则对链路线条之间的关联关系以及图标进行评估处理。

在一个实施例中，图12为根据本公开的操控件布局设计装置的又一个实施例的模块示意图。如图12所示，该装置可包括存储器121、处理器122、通信接口123以及总线124。存储器121用于存储指令，处理器122耦合到存储器121，处理器122被配置为基于存储器121存储的指令执行实现上述的操控件布局设计方法。

存储器121可以为高速RAM存储器、非易失性存储器(non-volatile memory)等，存储器121也可以是存储器阵列。存储器121还可能被分块，并且块可按一定的规则组合成虚拟卷。处理器122可以为中央处理器CPU，或专用集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本公开的操控件布局设计方法的一个或多个集成电路。

在一个实施例中，如图13所示，本公开提供一种操控件布局评估装置130，包括：约束获取模块131、样本获取模块132、操控确定模块133、绩效值获取模块134和方案评估模块135。

约束获取模块131获取与操控件布局设计方案中的操控件相对应的设计需求数据与工程数据，生成约束数据。样本获取模块132获取与使用操控件完成的操作作业相对应的信号数据，基于信号数据获取与操控场景相对应的操控样本数据，基于操控样本数据获得各操控场景下的操控数据。

绩效值获取模块134根据约束数据和操控数据获取操控件布局设计方案的绩效值。方案评估模块135根据绩效值对操控件布局设计方案进行评估，用于选取最优的操控件布局设计方案，操控件布局设计方案通过上述任一实施例中的操控件布局设计方法获得。

绩效值获取模块134基于根据约束数据和操控数据，获取各操控件之间的相关数据，根据相关数据计算操控件布局设计方案的绩效值。其中，相关数据包括：操控件相互频率、操控件相互轨迹、操控件之间的距离值数据。方案评估模块135基于绩效值对多个操控件布局设计方案进行排序，根据排序结果选取最优的操控件布局设计方案。

在一个实施例中，图14为根据本公开的操控件布局评估装置的另一个实施例的模块示意图。如图14所示，该装置可包括存储器141、处理器142、通信接口143以及总线144。存储器141用于存储指令，处理器142耦合到存储器141，处理器142被配置为基于存储器141存储的指令执行实现上述的操控件布局评估方法。

存储器141可以为高速RAM存储器、非易失性存储器(non-volatile memory)等，存储器141也可以是存储器阵列。存储器141还可能被分块，并且块可按一定的规则组合成虚拟卷。处理器142可以为中央处理器CPU，或专用集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本公开的操控件布局评估方法的一个或多个集成电路。

在一个实施例中，本公开提供一种操控箱，包括多个操控件；操控件基于操控件布局设计方案进行布置位置；其中，操控件布局设计方案通过如上任一实施例中的操控件布局设计方法或操控件布局评估方法获得。

在一个实施例中，本公开提供一种工程机械，包括如上任一实施例中的操控箱。工程机械可以为挖掘机、高空作业平台等。

在一个实施例中，本公开提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上任一个实施例中的操控件布局设计方法、操控件布局评估方法。

上述实施例提供的操控件布局设计、评估方法、装置以及控制箱、工程机械、存储介质，基于获取的操控数据并结合提供的约束数据，对操控件进行布局设计，并对布局关系进行简化和图形化处理，实现布局迭代优化，同时能够对布局设计方案进行评估，实现量化对比，能够解决现有工程机械操控件布局无法针对优劣进行直观评估的技术问题；增加了操控件之间可视化的关系呈现，解决了操控件相互影响，相互牵制，无法直观评估的难题，同时解决了满足人机交互原则下多种布局方案无法进行对比的问题，保证了操控布局的有效性和舒适性，对于设计方案的评估具有简单、直观、有效的特点，实现了工程机械车辆操控布局的最优化设计。

可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (17)

1.一种操控件布局设计方法，包括：

获取与操控件相对应的设计需求数据与工程数据，生成约束数据；

获取与使用所述操控件完成的操作作业相对应的信号数据，基于所述信号数据获取与操控场景相对应的操控样本数据；

其中，所述信号数据包括：眼部信号、手部信号、脚部信号、身体姿态信号、操控信号和行驶信号数据；获取记录设备采集的所述眼部信号、所述手部信号、所述脚部信号和所述身体姿态信号，并获取所述操控件进行操作作业时的操控信号和行驶信号数据；

基于所述操控样本数据获得各操控场景下的操控数据；

其中，基于所述操控信号和所述行驶信号获得所述操控场景；所述操控场景包括：准备阶段、启动阶段、行驶阶段、操控阶段、作业阶段、转场阶段和驻车阶段；从所述眼部信号、所述手部信号、所述脚部信号、所述身体姿态信号、所述操控信号和所述行驶信号数据中选取判决信号，基于所述判决信号获取所述操控样本数据，所述操控样本数据包括：操控行为数据、操控时间、操控件开始-结束时间、操控轨迹、操控频率和操控偏差；

根据所述约束数据和所述操控数据，获取与所述操控件相对应的操控流程模型；

根据所述约束数据和所述操控数据，对所述操控件的操控件级别进行划分处理，获取与所述操控件相对应的操控件级别；

根据所述约束数据、所述操控流程模型和所述操控件级别，生成与指定区域相对应的操控件布局设计方案。

2.如权利要求1所述的方法，其中，

所述设计需求数据包括：操控件数量、操控件功能信息和操控件权重信息；

所述工程数据包括：布局位置尺寸、限制要求信息和电气原理限制信息。

3.如权利要求1所述的方法，所述基于所述操控样本数据获得各操控场景下的操控数据包括：

获取多个操控样本数据，对所述多个操控样本数据进行加权平均计算，获得所述操控数据；

所述根据所述约束数据和所述操控数据，获取与所述操控件相对应的操控流程模型包括：

将在操控过程中使用的操控件依次进行排列；

将获取的所述操控动作、所述操控时间、所述操控件开始-结束时间以及所述操控偏差标记在所述操控件之间的连线上，并按照操控发生的时间顺序进行排列。

4.如权利要求3所述的方法，所述根据所述约束数据和所述操控数据对所述操控件的操控件级别进行划分处理，获取与所述操控件相对应的操控件级别包括：

基于所述约束数据、所述操控频率对所述操控件的操控件级别进行划分处理，获取所述操控件级别；其中，所述操控件级别包括：主要、次要和附属级别。

5.如权利要求4所述的方法，所述根据所述约束数据、所述操控流程模型和所述操控件级别，生成与指定区域相对应的操控件布局设计方案包括：

根据所述约束数据、所述操控流程模型和所述操控件级别在所述指定区域内确定所述操作件的布置位置，基于所述布置位置获得操控件布局设计方案；

判断所述操控件布局设计方案是否符合预设的人机原则和布局原则；其中，所述人机原则包括：操控安全性，操控可及性和操控可视性；所述布局原则包括：重要性原则、使用顺序原则、使用频率原则和兼容性原则；

如果是，则保存所述操控件布局设计方案；如果否，则重新获得操控件布局设计方案并判断新操控件布局设计方案是否符合所述人机原则和所述布局原则。

6.如权利要求3所述的方法，还包括：

根据所述操控流程模型对所述操控件布局设计方案进行图形化处理，获得操控件链路关系模型；

根据所述操控件布局设计方案和所述操控件链路关系模型进行评估处理，基于评估结果对所述操控件布局设计方案进行优化处理。

7.如权利要求6所述的方法，所述根据所述操控流程模型对所述操控件布局设计方案进行图形化处理，获得操控件链路关系模型包括：

根据所述操控流程模型将所述操控件布局设计方案中的操控件简化为图标；

基于所述操控件级别、使用频次以及控制件大小设置所述图标的颜色和大小；

将所述图标之间通过带有方向和时间信息的链路线条连接，基于与链路线条相对应的操控轨迹线的频率次数设置此链路线条的线型、颜色以及粗细度。

8.如权利要求7所述的方法，所述根据所述操控件布局设计方案和所述操控件链路关系模型进行评估处理包括：

基于预设的评估准则对所述链路线条之间的关联关系以及所述图标进行评估处理。

9.一种操控件布局评估方法，包括：

获取与操控件布局设计方案中的操控件相对应的设计需求数据与工程数据，生成约束数据；

获取与使用所述操控件完成的操作作业相对应的信号数据，基于所述信号数据获取与操控场景相对应的操控样本数据；

基于所述操控样本数据获得各操控场景下的操控数据；

根据所述约束数据和所述操控数据获取所述操控件布局设计方案的绩效值；

其中，基于根据所述约束数据和所述操控数据，获取各操控件之间的相关数据；所述相关数据包括：操控件相互频率、操控件相互轨迹和操控件之间的距离值数据；根据所述相关数据计算所述操控件布局设计方案的绩效值；

根据所述绩效值对所述操控件布局设计方案进行评估，用于选取最优的操控件布局设计方案；

其中，所述操控件布局设计方案通过权利要求1至8中任一项所述的方法获得。

10.如权利要求9所述的方法，所述根据所述绩效值对所述操控件布局设计方案进行评估，用于选取最优的操控件布局设计方案包括：

基于所述绩效值对多个操控件布局设计方案进行排序，根据排序结果选取最优的操控件布局设计方案。

11.一种操控件布局设计装置，包括：

约束数据获取模块，用于获取与操控件相对应的设计需求数据与工程数据，生成约束数据；

操控样本获取模块，用于获取与使用所述操控件完成的操作作业相对应的信号数据，基于所述信号数据获取与操控场景相对应的操控样本数据；其中，所述信号数据包括：眼部信号、手部信号、脚部信号、身体姿态信号、操控信号和行驶信号数据；获取记录设备采集的所述眼部信号、所述手部信号、所述脚部信号和所述身体姿态信号，并获取所述操控件进行操作作业时的操控信号和行驶信号数据；

操控数据获取模块，用于基于所述操控样本数据获得各操控场景下的操控数据；其中，基于所述操控信号和所述行驶信号获得所述操控场景；所述操控场景包括：准备阶段、启动阶段、行驶阶段、操控阶段、作业阶段、转场阶段和驻车阶段；从所述眼部信号、所述手部信号、所述脚部信号、所述身体姿态信号、所述操控信号和所述行驶信号数据中选取判决信号，基于所述判决信号获取所述操控样本数据，所述操控样本数据包括：操控行为数据、操控时间、操控件开始-结束时间、操控轨迹、操控频率和操控偏差；

流程模型获取模块，用于根据所述约束数据和所述操控数据获取与所述操控件相对应的操控流程模型；

控件级别确定模块，用于根据所述约束数据和所述操控数据对所述操控件的操控件级别进行划分处理，获取与所述操控件相对应的操控件级别；

布局设计生成模块，用于根据所述约束数据、所述操控流程模型和所述操控件级别，生成与指定区域相对应的操控件布局设计方案。

12.一种操控件布局评估装置，包括：

约束获取模块，用于获取与操控件布局设计方案中的操控件相对应的设计需求数据与工程数据，生成约束数据；

样本获取模块，用于获取与使用所述操控件完成的操作作业相对应的信号数据，基于所述信号数据获取与操控场景相对应的操控样本数据；

操控确定模块，用于基于所述操控样本数据获得各操控场景下的操控数据；

绩效值获取模块，用于根据所述约束数据和所述操控数据获取所述操控件布局设计方案的绩效值；其中，基于根据所述约束数据和所述操控数据，获取各操控件之间的相关数据；所述相关数据包括：操控件相互频率、操控件相互轨迹和操控件之间的距离值数据；根据所述相关数据计算所述操控件布局设计方案的绩效值；

方案评估模块，用于根据所述绩效值对所述操控件布局设计方案进行评估，用于选取最优的操控件布局设计方案；其中，所述操控件布局设计方案通过权利要求1至8中任一项所述的方法获得。

13.一种操控件布局设计装置，包括：

存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至8中任一项所述的方法。

14.一种操控件布局评估装置，包括：

存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求9或10所述的方法。

15.一种操控箱，包括：

多个操控件；所述操控件基于操控件布局设计方案进行布置位置；其中，所述操控件布局设计方案通过如权利要求1至8中任一项所述的方法、或如权利要求10至13中任一项所述的方法获得。

16.一种工程机械，包括：

如权利要求15所述的操控箱。

17.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行如权利要求1至8中任一项所述的方法，和/或如权利要求9或10所述的方法。

Images