CN105389812B - 基于计算机视觉的车载信息终端功能自动测试方法 - Google Patents

基于计算机视觉的车载信息终端功能自动测试方法 Download PDF

Info

Publication number
CN105389812B
CN105389812B CN201510726170.2A CN201510726170A CN105389812B CN 105389812 B CN105389812 B CN 105389812B CN 201510726170 A CN201510726170 A CN 201510726170A CN 105389812 B CN105389812 B CN 105389812B
Authority
CN
China
Prior art keywords
image
test case
app
correction
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510726170.2A
Other languages
English (en)
Other versions
CN105389812A (zh
Inventor
张炎
胡宗亮
沈杰
潘科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Information And Communication Research Institute
Original Assignee
Chongqing Information And Communication Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Information And Communication Research Institute filed Critical Chongqing Information And Communication Research Institute
Priority to CN201510726170.2A priority Critical patent/CN105389812B/zh
Publication of CN105389812A publication Critical patent/CN105389812A/zh
Application granted granted Critical
Publication of CN105389812B publication Critical patent/CN105389812B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于计算机视觉的车载信息终端功能自动测试方法。包括测试例设计和测试例执行两大步骤。测试例设计，对于每个测试例执行之前，首先需要设计测试例，从视频流中截取相应的验证图标。启动摄像头，实时抓取视频图像，根据校正参数对该视频图像进行变换、插值运算，得到校正的最终车载终端屏幕区域图像。测试例执行过程就是自动化测试系统的调用动作；从摄像头实时采集视频图像，对图像进行校正，发送ADB命令给车载终端，终端接收到ADB命令后响应APP；重新获取视频帧图像，并与测试例设计时截取的APP响应帧进行相似度比较，最终输出验证结果。提高了对车载信息终端测试的智能化程度和测试的自动化程度。

Description

基于计算机视觉的车载信息终端功能自动测试方法
技术领域
本发明属于汽车技术领域，尤其涉及车载信息终端的测试，具体为基于计算机视觉的车载信息终端功能自动测试方法。
背景技术
随着汽车技术的不断进步，人们对车载终端的品质要求越来越高。终端需要能提供可以使用的稳定的功能需求，需要进行稳定可靠的功能测试。然而现有的应用测试方法多以人、机械为驱动，无法进行长时间、重复性过高的测试，自动化程度不高，存在可靠性不足的缺陷。伴随着车载终端导航、通信、移动办公、多媒体娱乐、远程诊断等系统的集成，车载信息终端与系统的集成度、智能化程度越来越高，迫切要求对传统测试方法进行改进，提升自动化测试程度。
发明内容
鉴于上述现有技术的不足，本发明的目的在于提供一种基于计算机视觉的车载信息终端功能自动测试方法，旨在解决现有技术中车载信息终端功能验证可靠性低、自动化程度不高等问题。
基于计算机视觉的车载信息终端功能自动测试方法，包括测试例设计和测试例执行两大步骤。其具体方法如下。
（一）、测试例设计，对于每个测试例执行之前，首先需要设计测试例，从视频流中截取相应的验证图标。测试例设计的实施步骤如下。
a．启动摄像头，从视频流中抓取一帧图像。由于摄像头视场大于车载信息终端屏幕区域，即视频图像覆盖了除屏幕以外的其他区域，这些区域包含了冗余信息，因此对图像进行校正，去除冗余信息。
b．视频图像校正，图像校正分为学习阶段和校正阶段，所有测试例执行前只需进行一次图像校正学习，后续执行测试例时直接进行图像校正即可。
所述的学习阶段步骤为：
1）截取一幅车载终端主页图像，手动截取图像屏幕区域图像，并保存到指定目录下，令此图像为基准图像；
2）实时抓取一幅车载终端主页图像，提取该图像与基准图像的surf匹配特征点和特征描述值，依据特征描述值计算两幅图像的匹配特征点；
3）选定三个匹配特征点，依据特征点坐标计算旋转、平移、缩放参数，并储存参数到指定目录下，作为校正参数。
所述的校正阶段步骤为：
1）从指定目录读取校正参数；
2）实时抓取视频图像，根据校正参数对该视频图像进行变换、插值运算，得到校正的最终车载终端屏幕区域图像；
c.截取某个待测试APP（智能终端的应用软件程序）的图标，存到指定测试路径下。
d.点击该APP图像，APP跳转至运行页面，从视频流中抓取运行页面图像，存到指定测试路径下。
（二）、测试例执行，测试例执行过程就是自动化测试系统的调用动作；从摄像头实时采集视频图像，对图像进行校正，采用模板匹配算法验证图像中APP图标是否存在，如存在即获取验证图标坐标，发送ADB命令给车载终端，终端接收到ADB命令后响应APP；重新获取视频帧图像，并与测试例设计时截取的APP响应帧进行相似度比较，最终输出验证结果。测试例执行的实施步骤如下。
a.启动测试例，从视频流中抓取视频帧，依照上述的视频图像校正方法对该视频帧进行校正。
b.模板匹配算法验证APP图标；经过图像校正算法后，APP图标归一化到相同尺度，这就减小了模板匹配误差；匹配算法采用标准平方差匹配算法，具体步骤如下：
1）读取测试例设计时截取的APP图标，令其为模板图像；
2）模板图像从左到右，从上到下移动，遍历校正图像，计算其与校正图像的标准平方差系数，公式如下：
其中T为模板图像，I为校正图像，(x,y)为校正后图像像素点坐标，(x',y')为模板图像像素点坐标，R(x,y)系数值范围为[0，1]，如果模板图像与校正图像匹配，则系数值越小；
3）设定某个阈值，阈值取值范围[0.05，0.10]，系数小于设定阈值，则认为匹配成功，即校正图像中存在相应的APP图标；
4）模板匹配成功时，记录匹配点像素坐标(x,y)，即为APP图标的中心坐标。
c.根据计算的APP图标坐标，发送ADB命令，启动APP。
d.延时一段时间后，从视频流中抓取一帧视频图像，依照上述图像校正方法进行校正，得到校正图像。
e.读取测试例设计时抓取的APP页面跳转帧，与校正图像作相似度计算，判断两幅图像是否相似，即判断APP是否跳转到正确的页面；相似度计算采用结构相似度算法，算法包含了目标图像与模板图像在亮度、对比度及结构信息方面的比较，能正确反应目标图像与模板图像之间的一个相似度，计算公式如下：
其中μx和μy分别为目标图像和模板图像的均值，σx和σy分别为目标图像和模板图像的方差，σxy为目标图像和模板图像的协方差，C1和C2为常数，取值范围为[0.01，0.05]，用于增加计算结果的稳定性，相似度值范围为[0，1]，相似度值越大，相似度越高。
f.验证结果输出。如果两幅图像相似度值超过设定阈值，阈值取值范围[0.95，0.98]，则输出该测试例功能通过测试，结束该测试例。
本方发明采用基于视觉的功能测试方法对测试流程进行设计，提高了对车载信息终端测试的智能化程度和测试的自动化程度，提高了测试的工作效率和测试的质量，降低测试误差。
附图说明
图1为测试例设计流程图。
图2为测试例执行流程图。
具体实施方式
下面结合具体实施例和说明书附图对本发明作进一步说明。此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例：基于计算机视觉的车载信息终端功能自动测试方法，包括依次进行的测试例设计和测试例执行。
对于每个测试例执行之前，首先需要设计测试例，从视频流中截取相应的验证图标。测试例设计流程如图1所示，实施步骤如下。
a．启动摄像头，从视频流中抓取一帧图像。由于摄像头视场大于车载信息终端屏幕区域，即视频图像覆盖了除屏幕以外的其他区域，这些区域包含了冗余信息，因此对图像进行校正，去除冗余信息。
b．视频图像校正，图像校正分为学习阶段和校正阶段，所有测试例执行前只需进行一次图像校正学习，后续执行测试例时直接进行图像校正即可。
所述的学习阶段步骤为：
1）截取一幅车载终端主页图像，手动截取图像屏幕区域图像，并保存到指定目录下，令此图像为基准图像；
2）实时抓取一幅车载终端主页图像，提取该图像与基准图像的surf匹配特征点和特征描述值，依据特征描述值计算两幅图像的匹配特征点；
3）选定三个匹配特征点，依据特征点坐标计算旋转、平移、缩放参数，并储存参数到指定目录下，作为校正参数。
所述的校正阶段步骤为：
1）从指定目录读取校正参数；
2）实时抓取视频图像，根据校正参数对该视频图像进行变换、插值运算，得到校正的最终车载终端屏幕区域图像。
c.截取某个待测试APP的图标，存到指定测试路径下。
d.点击该APP图像，APP跳转至运行页面，从视频流中抓取运行页面图像，存到指定测试路径下。
测试例设计完成后，进入测试例执行步骤。测试例执行过程就是自动化测试系统的调用动作；从摄像头实时采集视频图像，对图像进行校正，采用模板匹配算法验证图像中APP图标是否存在，如存在即获取验证图标坐标，发送ADB命令给车载终端，终端接收到ADB命令后响应APP；重新获取视频帧图像，并与测试例设计时截取的APP响应帧进行相似度比较，最终输出验证结果。ADB(Android Debug Bridge)是Android 提供的一个通用的调试工具，借助这个工具，我们可以很好的调试开发的程序。通过ADB命令可以运行设备的shell(命令行)，管理模拟器或设备的端口映射，计算机和设备之间上传/下载文件，将本地软件安装至Android设备。
测试例执行的流程如图2所示，实施步骤如下。
a.启动测试例，从视频流中抓取视频帧，依照上述的视频图像校正方法对该视频帧进行校正。
b.模板匹配算法验证APP图标；经过图像校正算法后，APP图标归一化到相同尺度，这就减小了模板匹配误差；匹配算法采用标准平方差匹配算法，具体步骤如下：
1）读取测试例设计时截取的APP图标，令其为模板图像；
2）模板图像从左到右，从上到下移动，遍历校正图像，计算其与校正图像的标准平方差系数，公式如下：
其中T为模板图像，I为校正图像，(x,y)为校正后图像像素点坐标，(x',y')为模板图像像素点坐标，R(x,y)系数值范围为[0，1]，如果模板图像与校正图像匹配，则系数值越小；
3）设定某个阈值，阈值取值范围[0.05，0.10]，系数小于设定阈值，则认为匹配成功，即校正图像中存在相应的APP图标；
4）模板匹配成功时，记录匹配点像素坐标(x,y)，即为APP图标的中心坐标。
c.根据计算的APP图标坐标，发送ADB命令，启动APP。
d.延时一段时间后，从视频流中抓取一帧视频图像，依照上述图像校正方法进行校正，得到校正图像。
e.读取测试例设计时抓取的APP页面跳转帧，与校正图像作相似度计算，判断两幅图像是否相似，即判断APP是否跳转到正确的页面；相似度计算采用结构相似度算法，算法包含了目标图像与模板图像在亮度、对比度及结构信息方面的比较，能正确反应目标图像与模板图像之间的一个相似度，计算公式如下：
其中μx和μy分别为目标图像和模板图像的均值，σx和σy分别为目标图像和模板图像的方差，σxy为目标图像和模板图像的协方差，C1和C2为常数，取值范围为[0.01，0.05]，用于增加计算结果的稳定性，相似度值范围为[0，1]，相似度值越大，相似度越高。
f.验证结果输出。如果两幅图像相似度值超过设定阈值，阈值取值范围[0.95，0.98]，则输出该测试例功能通过测试，结束该测试例。
综上所述是本发明较佳的实施例，凡依本发明技术方案所做的改变，所生产的功能作用未超出本发明技术方案的范围时均属于本发明的保护范围。

Claims (1)

1.基于计算机视觉的车载信息终端功能自动测试方法，其特征在于，步骤包括：
（一）、测试例设计，对于每个测试例执行之前，首先需要设计测试例，从视频流中截取相应的验证图标，测试例设计的实施步骤如下：
a．启动摄像头，从视频流中抓取一帧图像，由于摄像头视场大于车载信息终端屏幕区域，即视频图像覆盖了除屏幕以外的其他区域，这些区域包含了冗余信息，因此对图像进行校正，去除冗余信息；
b．视频图像校正，图像校正分为学习阶段和校正阶段，所有测试例执行前只需进行一次图像校正学习，后续执行测试例时直接进行图像校正即可；
所述的学习阶段步骤为：
1）截取一幅车载终端主页图像，手动截取图像屏幕区域图像，并保存到指定目录下，令此图像为基准图像；
2）实时抓取一幅车载终端主页图像，提取该图像与基准图像的Surf匹配特征点和特征描述值，依据特征描述值计算两幅图像的匹配特征点；
3）选定三个匹配特征点，依据特征点坐标计算旋转、平移、缩放参数，并储存参数到指定目录下，作为校正参数；
所述的校正阶段步骤为：
1）从指定目录读取校正参数；
2）实时抓取视频图像，根据校正参数对该视频图像进行变换、插值运算，得到校正的最终车载终端屏幕区域图像；
c.截取某个待测试APP的图标，存到指定测试路径下；
d.点击该APP图像，APP跳转至运行页面，从视频流中抓取运行页面图像，存到指定测试路径下；
（二）、测试例执行，测试例执行过程就是自动化测试系统的调用动作；从摄像头实时采集视频图像，对图像进行校正，采用模板匹配算法验证图像中APP图标是否存在，如存在即获取验证图标坐标，发送ADB命令给车载终端，终端接收到ADB命令后响应APP；重新获取视频帧图像，并与测试例设计时截取的APP响应帧进行相似度比较，最终输出验证结果；测试例执行的实施步骤如下：
a.启动测试例，从视频流中抓取视频帧，依照上述的视频图像校正方法对该视频帧进行校正；
b.模板匹配算法验证APP图标；经过图像校正算法后，APP图标归一化到相同尺度，这就减小了模板匹配误差；匹配算法采用标准平方差匹配算法，具体步骤如下：
1）读取测试例设计时截取的APP图标，令其为模板图像；
2）模板图像从左到右，从上到下移动，遍历校正图像，计算其与校正图像的标准平方差系数，公式如下：
其中T为模板图像，I为校正图像，(x,y)为校正后图像像素点坐标，(x',y')为模板图像像素点坐标，R(x,y)系数值范围为[0，1]，如果模板图像与校正图像匹配，则系数值越小；
3）设定某个阈值，阈值取值范围[0.05，0.10]，系数小于设定阈值，则认为匹配成功，即校正图像中存在相应的APP图标；
4）模板匹配成功时，记录匹配点像素坐标(x,y)，即为APP图标的中心坐标；
c.根据计算的APP图标坐标，发送ADB命令，启动APP；
d.延时一段时间后，从视频流中抓取一帧视频图像，依照上述视频图像校正方法进行校正，得到校正图像；
e.读取测试例设计时抓取的APP页面跳转帧，与校正图像作相似度计算，判断两幅图像是否相似，即判断APP是否跳转到正确的页面；相似度计算采用结构相似度算法，算法包含了目标图像与模板图像在亮度、对比度及结构信息方面的比较，能正确反应目标图像与模板图像之间的一个相似度，计算公式如下：
其中μx和μy分别为目标图像和模板图像的均值，σx和σy分别为目标图像和模板图像的方差，σxy为目标图像和模板图像的协方差，C1和C2为常数，取值范围为[0.01，0.05]，用于增加计算结果的稳定性，相似度值范围为[0，1]，相似度值越大，相似度越高；
f.验证结果输出，如果两幅图像相似度值超过设定阈值，阈值取值范围[0.95，0.98]，则输出该测试例功能通过测试，结束该测试例。
CN201510726170.2A 2015-10-31 2015-10-31 基于计算机视觉的车载信息终端功能自动测试方法 Active CN105389812B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510726170.2A CN105389812B (zh) 2015-10-31 2015-10-31 基于计算机视觉的车载信息终端功能自动测试方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510726170.2A CN105389812B (zh) 2015-10-31 2015-10-31 基于计算机视觉的车载信息终端功能自动测试方法

Publications (2)

Publication Number Publication Date
CN105389812A CN105389812A (zh) 2016-03-09
CN105389812B true CN105389812B (zh) 2018-09-11

Family

ID=55422061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510726170.2A Active CN105389812B (zh) 2015-10-31 2015-10-31 基于计算机视觉的车载信息终端功能自动测试方法

Country Status (1)

Country Link
CN (1) CN105389812B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107543828B (zh) * 2017-08-25 2020-09-11 广东工业大学 一种工件表面缺陷检测方法及系统
CN109145813B (zh) * 2018-08-20 2021-03-30 京东数字科技控股有限公司 一种图像匹配算法测试方法和装置
CN110287101A (zh) * 2019-05-22 2019-09-27 深圳壹账通智能科技有限公司 用户界面自动化测试方法、装置、计算机设备及存储介质
CN111121637A (zh) * 2019-11-19 2020-05-08 广东工业大学 一种基于像素编码的光栅位移检测方法
CN111179268B (zh) * 2020-03-18 2023-06-23 宁波均联智行科技股份有限公司 车载终端的异常检测方法、装置和车载终端

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150557A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于机器视觉的显示终端操作响应匹配检测装置
CN104809718A (zh) * 2015-03-17 2015-07-29 合肥晟泰克汽车电子有限公司 一种车载摄像头自动匹配标定方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4582038B2 (ja) * 2006-03-29 2010-11-17 富士通株式会社 ソフトウェアの自動試験プログラム、ソフトウェアの自動試験装置、およびソフトウェアの自動試験方法
CN103312850B (zh) * 2013-05-10 2016-03-30 江苏科技大学 一种手机自动化测试系统及工作方法
US9412031B2 (en) * 2013-10-16 2016-08-09 Xerox Corporation Delayed vehicle identification for privacy enforcement
CN104679017A (zh) * 2013-11-29 2015-06-03 中国银联股份有限公司 移动终端应用程序的自动化测试装置以及测试方法
CN103645890B (zh) * 2013-11-29 2017-12-01 北京奇虎科技有限公司 一种用于在图形用户界面中定位控件的方法和装置
CN103901307B (zh) * 2014-04-22 2016-06-15 上海扬梓投资管理有限公司 一种用于车载多媒体装置的测试系统及方法
CN104079360B (zh) * 2014-06-26 2016-10-05 上海子尔电子科技有限公司 一种适用于车载影音娱乐设备的自动化测试系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150557A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于机器视觉的显示终端操作响应匹配检测装置
CN104809718A (zh) * 2015-03-17 2015-07-29 合肥晟泰克汽车电子有限公司 一种车载摄像头自动匹配标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
列控车载软件自动测试系统关键技术研究;何谢振 等;《机车电传动》;20140910(第5期);第89-91页 *
手机业务测试平台上屏幕图像识别软件的设计与实现;郭松 等;《电子技术》;20091231;第36卷(第7期);第38-39、42页 *

Also Published As

Publication number Publication date
CN105389812A (zh) 2016-03-09

Similar Documents

Publication Publication Date Title
CN105389812B (zh) 基于计算机视觉的车载信息终端功能自动测试方法
CN110322500B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
WO2016062159A1 (zh) 图像匹配方法及手机应用测试平台
US8019164B2 (en) Apparatus, method and program product for matching with a template
CN112967339B (zh) 一种车辆位姿的确定方法、车辆控制方法及装置、车辆
US10204445B2 (en) Information processing apparatus, method, and storage medium for determining a failure of position and orientation measurement of an image capturing device
CN112556685B (zh) 导航路线的显示方法、装置和存储介质及电子设备
CN110349212B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
Yuan et al. SDV-LOAM: semi-direct visual–LiDAR Odometry and mapping
CN110648363A (zh) 相机姿态确定方法、装置、存储介质及电子设备
CN112330756A (zh) 一种相机标定方法、装置、智能车辆和存储介质
JP2022130588A (ja) 自動運転車両の位置合わせ方法、装置、電子機器及び車両
CN106910207B (zh) 用于识别图像局部区域的方法、装置及终端设备
CN103902392A (zh) 导航软件现场还原方法及装置
CN112304322B (zh) 一种视觉定位失效后的重启方法及车载终端
CN110880003B (zh) 一种图像匹配方法、装置、存储介质及汽车
CN116973946A (zh) 一种深度学习与鱼眼相机图像分割的导航卫星定位方法
CN116958198A (zh) 基于视觉惯性里程计的运动轨迹漂移检测方法及装置
CN105043341B (zh) 无人机对地高度的测量方法及装置
CN112529883A (zh) 一种基于图像边缘识别的贴片检测方法及装置
CN115272462A (zh) 一种相机位姿估计方法、装置及电子设备
CN110866535B (zh) 视差图的获取方法、装置、计算机设备和存储介质
CN112508789A (zh) 一种基于残差的贴片图像增强识别方法及装置
CN113554711A (zh) 相机在线标定方法、装置、计算机设备和存储介质
CN111709955A (zh) 图像分割检验方法、装置、终端及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 401336 Yuen Road, Nanan District, Chongqing City, No. 8

Applicant after: Chongqing information and Communication Research Institute

Address before: 401336 Yuen Road, Nanan District, Chongqing City, No. 8

Applicant before: CHONGQING TELECOMMUNICATIONS RESEARCH INSTITUTE

GR01 Patent grant
GR01 Patent grant