CN112882928A - 一种汽车智能座舱触控屏幕自动化测试方法及系统 - Google Patents

Abstract

本发明涉及一种汽车智能座舱触控屏幕自动化测试方法及系统。该方法包括以下步骤：获取待测屏幕显示画面图像；建立虚拟坐标系；确定待测屏幕显示画面图像在虚拟坐标系下的屏幕基准位置；建立测试设备触控点与虚拟坐标系的联系；确定测试设备触控点在虚拟坐标系中的测试基准点；在虚拟坐标系中进行测试脚本开发；在世界坐标系中执行测试命令。该方法通过建立虚拟坐标系实现待测屏幕与测试设备的空间关联，可以便捷的进行智能座舱触控屏幕开发测试，提升屏幕测试效率与准确性。

Description

一种汽车智能座舱触控屏幕自动化测试方法及系统

技术领域

本发明涉及车辆测试领域，具体而言，涉及一种汽车智能座舱触控屏幕自动化测试方法及系统。

背景技术

随着汽车电子与无人驾驶技术的快速发展，智能化在汽车工业发展趋势中越来越重要。智能座舱系统也正在成为汽车智能化、网联化的一个重要产品。智能座舱系统为用户提供了最直观的舒适性、娱乐性。其中人机交互的应用场景越来越多，因此一机多屏，多屏互动，一体屏的应用越来越广泛，但随着屏幕的增多，功能逻辑的增强，造成用户使用体验差的风险越来越大。国内自主品牌多种车型，都在争先配置智能座舱系统，同样为车辆的稳定性带来一定的风险。

为保证车辆的稳定性，对产品的测试必不可少，但受到当前的测试技术、测试手段、测试设备等条件的制约，智能座舱系统其功能和性能存在问题的概率很高，因此必须在车型开发阶段对智能座舱每项功能进行全面测试。

有鉴于此，特提出本发明。

发明内容

本发明的目的在于提供了一种汽车智能座舱触控屏幕自动化测试方法及系统，以解决汽车智能座舱触控屏幕试效率低和测试不准确的问题。

为了实现上述目的，本发明采用以下技术方案：

第一方面，本发明提供了一种汽车智能座舱触控屏幕自动化测试方法，包括以下步骤：

S1视觉传感器获取待测屏幕显示画面图像；

S2建立虚拟坐标系，所述虚拟坐标系与所述待测屏幕显示画面图像的图像坐标系重合，在所述虚拟坐标系中显示所述待测屏幕显示画面图像；

S3获取所述待测屏幕显示画面图像在虚拟坐标系中的屏幕基准位置，所述屏幕基准位置是所述待测屏幕显示画面图像中有效显示区域相对于所述虚拟坐标系零点的位置；

S4建立测试设备触控点与所述虚拟坐标系的关联关系，所述关联关系通过将所述测试设备触控点在所述待测屏幕平面的正投影点转换至所述虚拟坐标系建立；

S5获取所述测试设备触控点在虚拟坐标系的测试基准位置，所述测试基准位置通过控制所述测试设备触控点对准所述待测屏幕特征点，将所述特征点坐标转换至所述虚拟坐标系获取；

S6在所述虚拟坐标系中根据测试用例要求进行测试脚本开发，所述测试脚本开发至少包括所述测试设备触控点的正投影点在所述虚拟坐标系中相对于所述测试基准位置的移动轨迹；

S7控制所述测试设备触控点在按照所述测试脚本命令在世界坐标系中执行测试指令，所述测试指令依据所述虚拟坐标与所述世界坐标系的空间关联关系执行。

作为进一步优选的技术方案，所述待测屏幕与所述测试设备位于世界坐标系，所述世界坐标系与所述虚拟坐标系之间的空间关联关系通过所述视觉传感器的相机坐标系与所述显示画面图像的图像坐标系建立。

作为进一步优选的技术方案，所述测试设备触控点按照所述测试脚本命令在世界坐标系中执行测试指令包括：

所述测试设备触控点按照在所述虚拟坐标系中确定的移动轨迹在所述世界坐标系中进行移动，并执行测试指令；

所述视觉传感器获取所述测试指令完成后的屏幕显示图像；

所述测试指令完成后的屏幕显示图像与标准图像进行模板匹配；

基于所述模板匹配结果进行测试结果判定。

作为进一步优选的技术方案，在所述虚拟坐标系中根据测试用例要求进行测试脚本开发，包括在线开发模式与离线开发模式。

作为进一步优选的技术方案，所述测试脚本在线开发模式包括：

对于测试用例中要求的每一个需要所述测试设备进行触控操作的测试指令，在对应测试脚本开发完成后，控制所述测试设备在所述世界坐标系中执行所述对应测试脚本；

获取所述对应测试脚本执行完毕后的待测屏幕更新的显示画面图像；

在所述虚拟坐标中按测试用例要求在所述更新的显示画面图像中进行下一步骤的测试脚本开发。

作为进一步优选的技术方案，所述测试脚本离线线开发模式，包括：

对于测试用例中要求的每一个需要所述测试设备进行触控操作的测试指令，在对应测试脚本开发完成后，将所述虚拟坐标系中所述待测屏幕显示画面图像更新为所述对应测试脚本执行完毕后的标准显示画面图像；

在所述虚拟坐标中按测试用例要求在所述标准显示画面图像中进行下一步骤的测试脚本开发；

作为进一步优选的技术方案，所述待测屏幕位置发生变化时，

获取所述待测屏幕位置变化后的显示画面图像并在所述虚拟坐标系中进行显示；

提取所述待测屏幕位置变化后的显示画面图像的有效显示区域位置；

计算所述待测屏幕位置变化后的显示画面图像的有效显示区域位置与所述屏幕基准位置之间的相对位置关系；

根据所述相对位置关系更新所述测试脚本中涉及坐标位置的指令信息；

作为进一步优选的技术方案，所述待测屏幕位置发生变化时，

获取所述待测屏幕位置变化后的显示画面图像并在所述虚拟坐标系中进行显示；

在所述世界坐标系中调整所述待测屏幕位置，使得所述待测屏幕位置变化后的显示画面图像的有效显示区域在所述虚拟坐标系中的位置与所述屏幕基准位置对齐。

第二方面，本发明提供了一种汽车智能座舱触控屏幕自动化测试系统，其特征在于，包括：

测试机柜总成，所述测试机柜总成由电源控制箱、综测仪、程控电源、GNSS模拟器、节点测试箱、IO控制机箱、工控机构成；

视觉测试暗箱，所述视觉测试暗箱由六自由度机器人、力传感器、夹持部件、触笔、高清工业相机、高帧工业相机、CAN分析仪、程控电源构成、人工嘴、拾音器构成；

其中，

所述六自由度机器人用于通过所述触笔及所述力传感器进行触控动作仿真；

所述夹持部件用于固定待测样件。

作为进一步优选的技术方案，所述汽车智能座舱触控屏幕自动化测试系统能够实现上述的汽车智能座舱触控屏幕自动化测试方法。

与现有技术相比，本发明的有益效果为：

本发明通过在建立与待测屏幕显示画图图像的图像坐标系重合的虚拟坐标系，建立待测屏幕与测试设备之间的关联关系，使得测试人员能够在虚拟坐标系中根据测试用例要求进行测试脚本的开发，并通过虚拟坐标系与虚拟坐标系之间的空间联系使得，在虚拟坐标系下开发完成的测试脚本可以在世界坐标中完成，提升智能座舱触控屏幕的测试效率。

进一步地，该方法在虚拟坐标系中按测试用例要求进行测试脚本开发时，可以采用在线模式进行开发，即开完完成一个需要测试设备执行测试动作的测试脚本命令时，可以通过虚拟坐标系与世界坐标系的关联关系进行测试脚本命令的立即执行，并在虚拟坐标系中更新测试脚本命令执行后的待测屏幕显示图像，并根据更新图像进行下一步的测试脚本开发，实现了在测试脚本开发的过程中，同步完成测试脚本的调试与待测屏幕的测试，提升测试脚本开发、调试与测试的整体效率，同时弥补了传统测试只能进行测试脚本离线开发的不足。

进一步地，该方法通过在虚拟坐标系中设定屏幕基准位置与测试基准位置，使得待测屏幕位置发生变化时或者更换同一批次其他待测屏幕时，一方面可以通过虚拟坐标系中的基准位置，在世界坐标系中通过调整待测屏幕的位置使得虚拟坐标系中显示的待测屏幕显示画面图像位置与基准位置重合；另一方面可以计算位置变化后的待测屏幕显示画面图像及屏幕特征点与基准位置之间的位置关系，通过与基准位置之间的位置关系实现测试脚本的关联，避免因待测屏幕位置变化导致的需要与已经编写的测试脚本中涉及的坐标操作命令进行大量的更新维护，从而提升本测试方法的实用性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例1提供的汽车智能座舱触控屏幕自动化测试方法的流程图；

图2是本发明实施例2提供的汽车智能座舱触控屏幕自动化测试方法的流程图；

图3是本发明实施例3提供的汽车智能座舱触控屏幕自动化测试方法的流程图；

图4是本发明实施例4提供的汽车智能座舱触控屏幕自动化测试方法流程图；

图5是本发明实施例5提供的汽车智能座舱触控屏幕自动化测试系统的结构示意图；

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

实施例1

图1是本实施例提供的一种汽车智能座舱触控屏幕自动化测试方法的流程示意图，该方法可以由汽车智能座舱触控屏幕自动化测试装置执行，该装置可以由软件和/或硬件构成，并至少包括视觉传感器、具有触控功能的测试设备。

如图1所示，本实施例提供了一种汽车智能座舱触控屏幕自动化测试方法，包含如下步骤：

S110视觉传感器获取待测屏幕显示画面图像。

上述视觉传感器与待测屏幕位于世界坐标系，且视觉传感器位置保持固定，视觉传感器能够获取包含待测屏幕的图像，优选的，视觉传感器光轴与待测屏幕显示面法线平行。

S120建立虚拟坐标系。

上述虚拟坐标系为平面坐标系且与所述待测屏幕显示画面图像的图像坐标系重合，在所述虚拟坐标系中显示所述待测屏幕显示画面图像；实际操作中可以直接在所述待测屏幕显示画面图像的图像坐标系中的任一位置建立虚拟坐标系。

S130获取所述待测屏幕显示画面图像在虚拟坐标系中的屏幕基准位置，包括：

在虚拟坐标系中利用图像识别算法获取待测屏幕显示画面图像的有效显示区域，本实施例以矩形显示屏为例进行说明，利用图像识别方法提取有效显示区的四个角点的坐标信息，记录为A、B、C、D四个坐标，并将A与B、B与C、C与D、D与A四个角点连接获取有效显示区域，确定有效显示区域与虚拟坐标系原点的相对位置关系，并将该位置作为屏幕基准位置。

S140建立测试设备触控点与所述虚拟坐标系的关联关系。

上述关联关系通过将所述测试设备触控点在所述待测屏幕平面的正投影点转换至所述虚拟坐标系建立。上述测试设备与待测屏幕同处世界坐标系，且上述测试设备可以相对于待测屏幕进行移动。

S150获取所述测试设备触控点在虚拟坐标系的测试基准位置，包括：

控制测试设备触控点对准待测屏幕特征点，即控制所述测试设备触控点在待测屏幕的正投影点与待测屏特征点重合，将所述特征点坐标转换至所述虚拟坐标系作为测试基准位置。本实施例中以矩形显示屏的在虚拟坐标系中A点对应的位置为特征点，控制测试设备移动使触控点在待测矩形屏幕中的正投影与A点对应的位置重合，固定测试设备，将虚拟坐标系中A点位置作为测试基准位置，并记录测试设备触控点至待测屏幕的正投影距离。

S160在所述虚拟坐标系中根据测试用例要求进行测试脚本开发。

上述测试脚本开发至少包括所述测试设备触控点的正投影点在所述虚拟坐标系中相对于所述测试基准位置的移动轨迹。

S170控制所述测试设备触控点在按照所述测试脚本命令在世界坐标系中执行测试指令。

上述测试指令依据所述虚拟坐标与所述世界坐标系的空间关联关系执行。虚拟坐标与世界坐标系之间的空间关联关系通过世界坐标系与视觉传感器的相机坐标系、视觉传感器的相机坐标系与待测屏幕显示画面图像的图像坐标系以及待测屏幕显示画面图像的图像坐标系与虚拟坐标系之间的坐标转换获取。

实施例2

如图2所示，本实施例提供了另一种汽车智能座舱触控屏幕自动化测试方法，包括以下步骤：

S210视觉传感器获取待测屏幕显示画面图像。

S220判断所述待测屏幕显示画面图像有效显示区域在虚拟坐标系中的位置是否与屏幕基准位置重合，包括：

若所述待测屏幕显示画面图像在虚拟坐标系中的位置是否与屏幕基准位置不重合，则进入步骤S230。

若所述待测屏幕显示画面图像在虚拟坐标系中的位置是否与屏幕基准位置重合，则进入步骤S240。

S230在世界坐标系中调整待测屏幕位置，使待测屏幕显示画面图像在虚拟坐标系中的位置与屏幕基准位置重合，调整完成后进入步骤S120。

S240控制测试设备触控点在按照测试脚本命令在世界坐标系中执行测试指令。

与实施例1不同的是，本实施例针对已经存在根据基准位置开发的测试脚本情况下实施，在脚本开发完成后，对所述待测屏幕进行二次测试或更换同型号设备进行测试时，在实施1的基础上增加待测屏幕位置判断与待测屏幕位置调整步骤。

实施例3

如图3所示，本实施例提供了另一种汽车智能座舱触控屏幕自动化测试方法，包括以下步骤：

S310视觉传感器获取待测屏幕显示画面图像。

S320判断所述待测屏幕显示画面图像有效显示区域在虚拟坐标系中的位置是否与屏幕基准位置重合，包括：

若所述待测屏幕显示画面图像在虚拟坐标系中的位置是否与屏幕基准位置不重合，则进入步骤330。

若所述待测屏幕显示画面图像在虚拟坐标系中的位置是否与屏幕基准位置重合，则进入步骤S350。

S330在虚拟坐标系中计算待测屏幕显示画面图像有效显示区域与屏幕基准位置之间的相对位置关系。

S340根据待测屏幕显示画面图像有效显示区域与屏幕基准位置之间的相对位置关系，更新已有测试脚本中涉及在虚拟坐标系中进行坐标操作的测试脚本指令。

S350控制测试设备触控点在按照测试脚本命令在世界坐标系中执行测试指令。

与实施例1不同的是，本实施例针对已经存在根据基准位置开发的测试脚本情况下实施，在脚本开发完成后，对所述待测屏幕进行二次测试或更换同型号设备进行测试时，在实施1的基础上增加待测屏幕位置判断、待测屏幕显示画面图像有效区域与屏幕基准位置关系计算以及测试脚本命令更新步骤。

实施例4

如图4所示，本实施例提供了另一种汽车智能座舱触控屏幕自动化测试方法，包括以下步骤：

S400视觉传感器获取待测屏幕显示画面图像。

S410建立虚拟坐标系。

S420获取所述待测屏幕显示画面图像在虚拟坐标系中的屏幕基准位置。

S430建立测试设备触控点与所述虚拟坐标系的关联关系。

S440获取所述测试设备触控点在虚拟坐标系的测试基准位置。

S450在所述虚拟坐标系中根据测试用例要求进行测试脚本开发。

S460判断所述测试脚本中的操作命令是否涉及测试设备触控点的操作，包括：

若所述操作命令不涉及测试设备触控点操作则进入步骤S450；

若所述操作命令涉及测试设备触控点操作则进入步骤S470；

S470控制所述测试设备触控点在按照所述测试脚操作本命令在世界坐标系中执行测试指令。

S480更新虚拟坐标系中所述测试指令执行后的待测屏幕显示换面图像。

S490判断所述测试用例要求的测试脚本开发是否完成，包括：

若所述测试脚本开发未完成则进入步骤S450；

若所述测试脚本开发完成则结束本流程。

与实施例1不同的是，本实施例针对在虚拟坐标系中进行测试脚本开发进行具体实施方案描述，提出一种在线测试脚本开发方案，在实现测试脚本的开发与调试同步进行。

实施例5

如图5所示，本实施例提供了一种汽车智能座舱触控屏幕自动化测试系统，用于执行实施例1所述的汽车智能座舱触控屏幕自动化测试方法，包括：

测试机柜总成，所述测试机柜总成由电源控制箱、综测仪、程控电源、GNSS模拟器、节点测试箱、IO控制机箱、工控机构成；

视觉测试暗箱，所述视觉测试暗箱由六自由度机器人、力传感器、夹持部件、触笔、高清工业相机、高帧工业相机、CAN分析仪、人工嘴、拾音器构成；

其中，

六自由度机器人通过触笔以及力传感器，用于满足人机交互测试对触控动作仿真需求，机器人配备轻型铝合金马达，结构轻巧、功率强劲，可实现机器人高速运行，在各种应用中都能确保优异的精准度与敏捷性。

高清工业相机及高帧率工业相机用于配合机器人手臂对被测设备进行精准操控与图像识别，高清相机分辨率为500万像素，通过图像识别方式定位六自由度机器人操作坐标及验证界面迁移结果是否正确，高帧率相机帧率为120fps，相机高频率采集图像，配合图像处理算法，自动计算响应时间。

夹持部件用于固定待测样件，夹持部件可通过旋钮调整前后左右上下六个方向的夹持力度，并加入微调开关。其中为确保样件的水平位置，在上下调节的横梁上部署水平仪。

人工嘴用于向智能座舱系统发送音频，智能座舱系统识别后执行对应功能，由工业相机采集图像后系统分析判断界面响应是否准确；拾音器采集智能座舱系统发出的音频，以验证智能座舱系统的语音功能是否正确。

应该理解的是，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (10)

1.一种汽车智能座舱触控屏幕自动化测试方法及系统，其特征在于，所述测试方法包括以下步骤：

S1视觉传感器获取待测屏幕显示画面图像；

S2建立虚拟坐标系，所述虚拟坐标系与所述待测屏幕显示画面图像的图像坐标系重合，在所述虚拟坐标系中显示所述待测屏幕显示画面图像；

S3获取所述待测屏幕显示画面图像在虚拟坐标系中的屏幕基准位置，所述屏幕基准位置是所述待测屏幕显示画面图像中有效显示区域相对于所述虚拟坐标系零点的位置；

S4建立测试设备触控点与所述虚拟坐标系的关联关系，所述关联关系通过将所述测试设备触控点在所述待测屏幕平面的正投影点转换至所述虚拟坐标系建立；

S5获取所述测试设备触控点在虚拟坐标系的测试基准位置，所述测试基准位置通过控制所述测试设备触控点对准所述待测屏幕特征点，将所述特征点坐标转换至所述虚拟坐标系获取；

S6在所述虚拟坐标系中根据测试用例要求进行测试脚本开发，所述测试脚本开发至少包括所述测试设备触控点的正投影点在所述虚拟坐标系中相对于所述测试基准位置的移动轨迹；

S7控制所述测试设备触控点在按照所述测试脚本命令在世界坐标系中执行测试指令，所述测试指令依据所述虚拟坐标与所述世界坐标系的空间关联关系执行。

2.根据权利要求1所述的汽车智能座舱触控屏幕自动化测试方法，其特征在于，所述待测屏幕与所述测试设备位于世界坐标系，所述世界坐标系与所述虚拟坐标系之间的空间关联关系通过所述视觉传感器的相机坐标系与所述显示画面图像的图像坐标系建立。

3.根据权利要求1所述的汽车智能座舱触控屏幕自动化测试方法，其特征在于，所述测试设备触控点按照所述测试脚本命令在世界坐标系中执行测试指令包括：

所述测试设备触控点按照在所述虚拟坐标系中确定的移动轨迹在所述世界坐标系中进行移动，并执行测试指令；

所述视觉传感器获取所述测试指令完成后的屏幕显示图像；

所述测试指令完成后的屏幕显示图像与标准图像进行模板匹配；

基于所述模板匹配结果进行测试结果判定。

4.根据权利要求1所述的汽车智能座舱触控屏幕自动化测试方法，其特征在于，在所述虚拟坐标系中根据测试用例要求进行测试脚本开发，包括在线开发模式与离线开发模式。

5.根据权利要求4所述的汽车智能座舱触控屏幕自动化测试方法，其特征在于，所述测试脚本在线开发模式包括：

对于测试用例中要求的每一个需要所述测试设备进行触控操作的测试指令，在对应测试脚本开发完成后，控制所述测试设备在所述世界坐标系中执行所述对应测试脚本；

获取所述对应测试脚本执行完毕后的待测屏幕更新的显示画面图像；

在所述虚拟坐标中按测试用例要求在所述更新的显示画面图像中进行下一步骤的测试脚本开发。

6.根据权利要求4所述的汽车智能座舱触控屏幕自动化测试方法，其特征在于，所述测试脚本离线线开发模式，包括：

对于测试用例中要求的每一个需要所述测试设备进行触控操作的测试指令，在对应测试脚本开发完成后，将所述虚拟坐标系中所述待测屏幕显示画面图像更新为所述对应测试脚本执行完毕后的标准显示画面图像；

在所述虚拟坐标中按测试用例要求在所述标准显示画面图像中进行下一步骤的测试脚本开发。

7.根据权利要求1所述的汽车智能座舱触控屏幕自动化测试方法，其特征在于，所述待测屏幕位置发生变化时，

获取所述待测屏幕位置变化后的显示画面图像并在所述虚拟坐标系中进行显示；

提取所述待测屏幕位置变化后的显示画面图像的有效显示区域位置；

计算所述待测屏幕位置变化后的显示画面图像的有效显示区域位置与所述屏幕基准位置之间的相对位置关系；

根据所述相对位置关系更新所述测试脚本中涉及坐标位置的指令信息。

8.根据权利要求1所述的汽车智能座舱触控屏幕自动化测试方法，其特征在于，所述待测屏幕位置发生变化时，

获取所述待测屏幕位置变化后的显示画面图像并在所述虚拟坐标系中进行显示；

在所述世界坐标系中调整所述待测屏幕位置，使得所述待测屏幕位置变化后的显示画面图像的有效显示区域在所述虚拟坐标系中的位置与所述屏幕基准位置对齐。

9.汽车智能座舱触控屏幕自动化测试系统，其特征在于，包括：

测试机柜总成，所述测试机柜总成由电源控制箱、综测仪、程控电源、GNSS模拟器、节点测试箱、IO控制机箱、工控机构成；

视觉测试暗箱，所述视觉测试暗箱由六自由度机器人、力传感器、夹持部件、触笔、高清工业相机、高帧工业相机、CAN分析仪、人工嘴、拾音器构成；

其中，

所述六自由度机器人用于通过所述触笔及所述力传感器进行触控动作仿真；

所述夹持部件用于固定待测样件。

10.根据权利要求9所述的汽车智能座舱触控屏幕自动化测试方法，其特征在于，所述汽车智能座舱触控屏幕自动化测试系统能够实现如权利要求1-8任一项所述的汽车智能座舱触控屏幕自动化测试方法。

Images