CN113569849B - 基于计算机视觉的汽车充电桩界面检测智能交互系统 - Google Patents

Abstract

本发明属于汽车充电桩出厂质量检测领域，具体方案为：基于计算机视觉的汽车充电桩界面检测智能交互系统，具体步骤为：一、拍摄充电桩屏幕界面获得实时画面，并进行三维重建得到深度信息；二、使用卷积神经网络对现有充电桩屏幕界面样本进行文字检测与界面定位，得到充电桩屏幕界面类别信息与文本行信息；三、将类别信息与文本行信息送入并行多模型文字识别网络中，提取关键信息并记录文本行中心点坐标；四、将文本识别结果与指令内容匹配，得到需要点击的内容；五、寻找文本行中心点坐标，并从深度图中进行深度采样，获得中心点的三维坐标；六、借助ROS平台进行静态坐标转换；七、机械臂根据坐标点击充电桩屏幕，完成操作，速度快，准确率高。

Description

基于计算机视觉的汽车充电桩界面检测智能交互系统

技术领域

本发明属于汽车充电桩出厂质量检测技术领域，具体涉及一种基于计算机视觉的汽车充电桩界面检测智能交互系统。

背景技术

随着社会经济的不断发展，能源紧缺和环境污染问题日趋严重，为了应对全球变暖和能源枯竭等问题，新能源电动汽车应运而生。同时，充电桩作为电动汽车补给电能的重要设施也得到了迅猛发展，我国也在积极推进充电桩等基础设施的建设。因此，需要健全和加强充电设备的质量管理。

为确保充电桩能够安全可靠地服务用户，充电桩在出厂前的功能测试尤为重要，其中，测试其操作界面能否正确显示和切换是非常关键的。目前，主要采取人工逐个检查的方式，这种方式存在以下三方面的缺点：

1）、充电桩出场前均处于未安装状态，没有完备的安全防护装，存在发生漏电的危险，对工人的生命安全造成极大威胁。

2）、充电桩界面种类繁多，结构多样，切换顺序复杂且速度快，界面上文字大小不一，字体多样等因素都会降低人工测试效率，且存在较大的主观误差。

3）、阶段充电桩检测大都是基于充电桩内部硬件功能和通信协议的检测，还未有模拟用户去使用包装完好的充电桩整个过程的测试系统。

对于充电桩屏幕显示系统来说，在出厂前也需要进行质量检测。因此，急需开发一种高智能化，高集成化，高自动化的充电桩检测系统。

发明内容

为解决现有技术存在的技术问题，本发明提供了基于计算机视觉的汽车充电桩界面检测智能交互系统，来测试出厂前充电桩的人机交互功能。

本系统分为界面感知模块、机械臂控制模块和云平台管理系统，其中，界面感知模块可以实现界面实时定位，界面文字检测，界面位置矫正，界面分类，关键信息提取和识别六个功能。界面感知模块可以提取各个文字按钮的位置信息，实时传送给机械臂控制模块，控制其去触碰对应按钮完成界面切换，同时，将提取到的关键信息送往云平台进行监测和分析。

针对于界面感知模块的文字检测部分，本系统采用了一种新型多任务结构，并用快速模板匹配算法实现界面分类以及关键信息提取，在文字识别部分，采用了一种并行的多模型识别网络结构，与人工检测相比，本系统极大地提高了充电桩检测过程的效率，减少了成本消耗和防止安全隐患发生。

为实现上述目的，本发明所采用的技术方案为：基于计算机视觉的汽车充电桩界面检测智能交互系统，通过并行多模型识别网络完成文字识别，经mqtt协议推送订阅指令，匹配关键信息，实现ROS静态坐标转换，控制机械臂点击屏幕操作，具体步骤如下：

一、基于现有充电桩屏幕界面样本，使用卷积神经网络训练多任务网络；

二、基于现有充电桩屏幕文本行样本，使用卷积神经网络训练并行多模型文字识别网络；

三、双目相机拍摄充电桩屏幕界面实时画面，并对其进行三维重建得到深度信息，之后使用步骤一得到的多任务网络进行文字检测与界面定位，得到充电桩屏幕文本行信息与界面类别信息，送往步骤二得到的并行多模型文字识别网络识别，提取关键信息，同时记录文本行中心点坐标；

四、服务器经mqtt协议，发送json类型的指令文件，本地接收并将文本识别结果与指令内容进行匹配，得知此时需要点击的内容；

五、步骤四获知点击内容，寻找步骤三所对应的文本行中心点坐标，并从双目相机的深度图中进行深度采样，获得中心点的三维坐标；

六、借助ROS（Robot Operating System）平台，进行静态坐标转换，完成相机坐标系下中心点坐标到机械臂坐标系下坐标的转换；

七、对步骤六得到的坐标，分成工厂流水线式和便携式两种机械臂控制模块，工厂流水线式机械臂控制模块采用六自由度机械臂，便携式机械臂控制模块采用可移动的三轴小型机械臂，待机械臂控制模块完成屏幕点击操作时，通知服务器操作完成。

在步骤一中，多任务网络根据现有的充电桩屏幕界面进行裁切，对裁切后的样本进行数据增强，对增强后的图像调整大小至600*600像素，送入多任务网络中进行训练。

网络既能对单个文字的小区域进行分割，又能对整体的界面和背景进行分割。网络的输出包括图像语义分割图、字符中心预测图和字符连接关系预测图；多任务网络可以过滤掉复杂背景，得到图像上的界面位置以及界面上的文本行位置。

在步骤二中，并行多模型文字识别网络根据现有的充电桩屏幕文本序列进行数据增强，而后缩放或填充至32*280像素，送入并行多模型文字识别网络中进行训练。

根据文本序列的长度、字体、大小和所在位置，将文本行分为不同属性，每种属性采用不同的模型，每一种模型的基本结构为CRNN结构，CNN模型采用DenseNet（DenseConvolutional Network）来提取文字序列图像特征，RNN模型采用Bi-LSTM将特征矢量进行融合，最后用CTC算法进行文字序列的译码和预测。

在步骤四中，本发明使用mqtt协议完成json指令的上传下达，实现服务器与本地端的通讯。

mqtt最核心的传输协议为Subcribe（定阅）和Publish（推送），简单来说就是客户端口Subcribe一个topic（主题）后，其它的客户端向服务器往这个topic推送Payload（有效数据），服务器就会把Payload转发给定阅这个topic的客户端。在此处，本地端要先订阅一个topic上的有效数据，获知服务器指令，在机械臂模块完成点击操作之后，要向另一个topic上推送操作完成的有效数据。同样的，服务器作为客户端，首先是在一个topic上推送json指令的字节流，而后是订阅另一个topic上完成指令的情况。

在步骤五中，利用深度感知将图像上的像素点的二维坐标转换为三维相机坐标。

二维像素坐标到三维相机坐标的变换，可由双目相机ZED采集的深度图得到，即深度图不同的通道分别表示该像素点的信息。但考虑到用单个像素点获取三维坐标信息存在误差的情况，本发明采用以该像素点为中心点的7*7的正方形像素阵进行深度采样，经平滑滤波，取平均值作为该点对应的三维相机坐标。

在步骤六中，借助ROS平台进行静态坐标转换，实现相机坐标系坐标到机械臂坐标系坐标的转换。

发布方发布相机坐标系和机械臂坐标系的相对关系，包括偏移量和四元数。订阅方订阅到发布的坐标系相对关系，再传入由步骤五得到的坐标点信息，借助Transform(实现坐标变换，并将结果输出，作为机械臂要运动到的位置。

在步骤七中，针对不同的落地场景，可分成工厂流水线式和便携式两种机械臂控制模块。工厂流水线式机械臂控制模块采用六自由度机械臂，借助ROS平台中的MoveIt工具，进行机械臂建模(URDF)、碰撞检测配置、运动规划关节组配置、初始化位置配置和路径规划；便携式机械臂控制模块采用可移动的三轴小型机械臂，转换成G代码格式，使用串口发送给机械臂完成点击屏幕操作，待机械臂控制模块完成屏幕点击操作时，通知服务器操作完成。

本发明与现有技术相比，具体有益效果体现在：

一、本发明可扩展到复杂场景中，不受图像采集设备（摄像头）角度的限制，多任务网络实现在复杂背景中定位界面并实现对界面上文字位置的检测，去除背景对界面分类和识别的影响，而且定位和文本检测彼此共享部分权重，减少了内存占用量，提高了推理速度和模型性能。

二、本发明中的并行多模型文字识别网络，适用于不同字体、不同大小、不同长度的字符序列识别，可以有效减轻模型重量，缩短模型转换时间，提高字符序列识别速度。

三、本发明通过mqtt协议实现json字节流指令的订阅和指令完成情况的推送，可灵活实现更加复杂的操作逻辑，并能实时返回操作完成结果。

四、本发明采用工厂流水线式六自由度机械臂和便携式可移动的三轴小型机械臂两套操作系统，不仅满足工厂流水线的全天候检测需求，而且可实现工人临时外出的检测任务，全项测试从91项提高至146项，抽检率由5%上升至100%全部检测，检测周期从1个月缩短至15天，大幅度提高检测效率，解放了生产力。

附图说明

图1为多任务网络结构示意图。

图2为并行多模型文字识别网络结构示意图。

图3为深度采样示意图。

图4为智能交互系统的整体结构图。

图5为工厂流水线式智能交互系统结构图。

图6为便携式智能交互系统结构图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

基于计算机视觉的汽车充电桩界面检测智能交互系统，如图1所示，多任务网络在汽车充电桩屏幕文本检测和界面定位任务中证明十分有效，以VGG16作为骨干卷积网络提取屏幕界面特征，而后将浅层和深层的卷积特征结合输出，既保留了浅层的结构特征又保留深层的语义特征。经一系列卷积层后，其中两通道输出字符位置和字符间连接情况，进而可整合成文本框，实现文本检测任务；另一通道的特征图输出经可输出界面类别信息。

文本框在原图上的位置不同，也有着不同的属性。不同属性图片的字体大小、颜色、内容、序列长度都不相同。为了排除这些因素对于识别结果的影响，本发明针对每种属性的图片分别训练一种网络模型用于识别。如图2所示，在整个识别模块中，多个模型组成多个线程，处于并行执行的状态。

每种属性所用到的识别网络模型的基本结构为CRNN，首先需用卷积网络提取每个字符的特征，本发明用到的是DenseNet，该网络以ResNet为基础网络，进一步加强特征图之间的联系，有效减轻了由于网络深度增加所产生的梯度消失问题，提高了分类的准确率。

在相机三维坐标的获取过程中，采用深度采样的方法，如图3所示，以该像素点为中心提取周围7*7正方形像素阵，并从深度图的不同通道中得到7*7像素阵的/>坐标，经平滑滤波后，取平均值作为该像素点对应的相机三维坐标。

如图4所示，基于计算机视觉的汽车充电桩界面检测智能交互系统，按机械臂控制模块不同可分为工厂流水线式机械臂控制模块和便携式机械臂控制模块两种，工厂流水线式如图5所示，便携式如图6所示，主要组成包括以下部分：

一、双目相机ZED实时捕获充电桩屏幕界面，用于界面分类、文字检测与识别，双目视差生成的深度图，用于后续相机三维坐标的计算。

二、通过mqtt协议，在服务器端和本地端二者间推送订阅指令，所以，这是需要两个topic话题的。首先是服务器端推送json字节流指令，告知本地端此时需要完成的屏幕点击操作；本地端根据指令和文字识别结果完成屏幕点击操作，并将完成情况通知服务端，由服务端决定是否进入下一界面的点击。

三、工厂流水线式六自由度机械臂，坐标变换后，借助ROS平台的MoveIt工具包，进行机械臂建模（URDF），碰撞检测配置，初始化位置设置，末端执行器配置，MoveIt路径规划，移动到目标点完成点击屏幕操作；便携式可移动的三轴小型机械臂，本地端在获知目标点坐标后，需要将坐标信息发送给机械臂。首先是ROS静态坐标转换，实现相机坐标系坐标到机械臂坐标系坐标的转换；而后，对该坐标进行G代码封装，通过串口发送给机械臂，完成机械臂移动和点击。在这里，本发明针对点击次数为一次和多次的情况，进行了不同的处理。如果点击次数为一次，只需要用绝对值编程，移动到对应的/>坐标，/>轴位置给到可以点击到屏幕的固定值，完成后回到坐标原点；如果点击此时为多次，第一个点击的位置仍然是按照点击次数为一次进行的，后续坐标的点击则是按照增量式编程进行的，同样的，完成所有坐标的点击后回到坐标原点。

本发明系统将多任务网络、并行多模型文字识别网络与机械臂控制模块相融合，利用了深度神经网络的自学习能力，实现在复杂背景中界面定位并实现对界面文字位置的检测，去除背景对界面分类和识别的影响，而且定位和文本检测彼此共享部分权重，减少了内存占用量，提高了推理速度和模型性能。借助mqtt协议实现本地端与服务器端的推送订阅，根据指令要求，控制机械臂模块完成点击屏幕操作。这不仅满足工厂流水线的全天候检测需求，而且可实现工人临时外出的检测任务。全项测试项目、抽检率得到显著提升，检测周期得到大幅度下降。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包在本发明范围内。

Claims (8)

1.基于计算机视觉的汽车充电桩界面检测智能交互系统，其特征在于，具体步骤如下：

步骤一、通过双目相机拍摄充电桩屏幕界面获得实时画面，并对实时画面进行三维重建得到深度信息；

步骤二、基于实时画面的现有充电桩屏幕界面样本，使用卷积神经网络训练多任务网络，多任务网络对现有充电桩屏幕界面样本进行文字检测与界面定位，得到充电桩屏幕界面类别信息与文本行信息；

步骤三、使用卷积神经网络训练并行多模型文字识别网络，将步骤二中得到的充电桩屏幕界面类别信息与文本行信息送入并行多模型文字识别网络中，提取关键信息并记录文本行中心点坐标；

其中，采用并行多模型文字识别网络进行文字识别的具体执行步骤和相应的处理模型为：并行多模型文字识别网络根据现有的充电桩屏幕文本序列进行数据增强，而后缩放或填充至32*280像素，调整后的充电桩屏幕文本序列送入并行多模型文字识别网络中进行训练，根据充电桩屏幕文本序列的长度、字体、大小和所在位置，将文本行分为不同属性，每种属性采用不同的模型，每一种模型的基本结构为CRNN结构，CNN模型采用DenseNet来提取文字序列图像特征，RNN模型采用Bi-LSTM对特征矢量进行融合，最后用CTC对文字序列进行译码和预测；

步骤四、本地接收步骤三中的文本识别结果，并将文本识别结果与服务器发送的指令内容进行匹配，得到此时需要点击的内容；

步骤五、通过步骤四获知的点击内容寻找步骤三中所对应的文本行中心点坐标，并从双目相机的深度图中进行深度采样，获得中心点的三维坐标；

步骤六、借助ROS平台进行静态坐标转换，完成相机坐标系下中心点坐标到机械臂坐标系下坐标的转换；

步骤七、机械臂根据步骤六中机械臂坐标系下的坐标完成充电桩屏幕的点击操作，并通知服务器操作完成。

2.根据权利要求1所述的基于计算机视觉的汽车充电桩界面检测智能交互系统，其特征在于，所述服务器经mqtt协议发送json类型的指令文件。

3.根据权利要求2所述的基于计算机视觉的汽车充电桩界面检测智能交互系统，其特征在于，所述机械臂的控制分为工厂流水线式控制模块与便携式机械臂控制模块，工厂流水线式控制模块采用六自由度机械臂完成操作，便携式机械臂控制模块采用可移动的三轴小型机械臂完成操作。

4.根据权利要求3所述的基于计算机视觉的汽车充电桩界面检测智能交互系统，其特征在于，在步骤二中，对现有的充电桩屏幕界面进行裁切，对裁切后的样本进行数据增强，并将增强后的图像大小调整至600*600像素，调整后的图像送入多任务网络中进行训练。

5.根据权利要求4所述的基于计算机视觉的汽车充电桩界面检测智能交互系统，其特征在于，在步骤五中，深度采样方法的具体步骤为：由双目相机采集的深度图得到二维像素坐标(u,v)到三维相机坐标(X,Y,Z)的变换，即深度图不同的通道分别表示像素点的X,Y,Z信息，采用以像素点为中心点的7*7的正方形像素阵进行深度采样，经平滑滤波，取平均值作为该点对应的三维相机坐标(X,Y,Z)。

6.根据权利要求5所述的基于计算机视觉的汽车充电桩界面检测智能交互系统，其特征在于，在工厂流水线式控制模块中，六自由度机械臂借助ROS平台中的MoveIt工具进行机械臂建模、碰撞检测配置、运动规划关节组配置、初始化位置配置和路径规划。

7.根据权利要求6所述的基于计算机视觉的汽车充电桩界面检测智能交互系统，其特征在于，在便携式机械臂控制模块中，指令转换成G代码格式，使用串口发送给机械臂完成点击屏幕操作，待便携式机械臂控制模块完成屏幕点击操作时，通知服务器操作完成。

8.根据权利要求7所述的基于计算机视觉的汽车充电桩界面检测智能交互系统，其特征在于，在便携式机械臂控制模块中，本地端在获知目标点坐标后，将坐标信息发送给机械臂，首先是ROS静态坐标转换，实现相机坐标系坐标到机械臂坐标系坐标的转换；而后，对该坐标进行G代码封装，通过串口发送给机械臂，完成机械臂移动和点击；若点击次数为一次，只需要用绝对值编程，移动到对应的(X,Y)坐标，Z轴位置给到可以点击到屏幕的固定值，完成后回到坐标原点；若点击此时为多次，第一个点击的位置仍然是按照点击次数为一次进行的，后续坐标的点击则是按照增量式编程进行的，同样的，完成所有坐标的点击后回到坐标原点。