CN114311023B - 一种基于服务机器人视觉功能检测方法 - Google Patents

一种基于服务机器人视觉功能检测方法 Download PDF

Info

Publication number
CN114311023B
CN114311023B CN202011046733.0A CN202011046733A CN114311023B CN 114311023 B CN114311023 B CN 114311023B CN 202011046733 A CN202011046733 A CN 202011046733A CN 114311023 B CN114311023 B CN 114311023B
Authority
CN
China
Prior art keywords
image
video
module
service robot
vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011046733.0A
Other languages
English (en)
Other versions
CN114311023A (zh
Inventor
王楚
王忠锋
李力刚
宋纯贺
于诗矛
赵洪莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Jiangsu Electric Power Co ltd Marketing Service Center
Shenyang Institute of Automation of CAS
Original Assignee
State Grid Jiangsu Electric Power Co ltd Marketing Service Center
Shenyang Institute of Automation of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Jiangsu Electric Power Co ltd Marketing Service Center, Shenyang Institute of Automation of CAS filed Critical State Grid Jiangsu Electric Power Co ltd Marketing Service Center
Priority to CN202011046733.0A priority Critical patent/CN114311023B/zh
Publication of CN114311023A publication Critical patent/CN114311023A/zh
Application granted granted Critical
Publication of CN114311023B publication Critical patent/CN114311023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于服务机器人视觉功能检测方法,包括以下步骤:图像采集步骤:利用CCD工业相机分别拍摄室内和室外场景下的目标静态图像和连续多帧视频,发送给视觉处理器;图像预处理步骤:视觉处理器模块发送指令接收CCD工业相机采集的图像和视频并存储至图像数据库中,调用图像预处理模块对接收的图像进行处理使得原始图像和视频的产生比例变形或增加噪声,用于模拟真实场景下的图像变形和天气影响生成模拟图像;图像识别步骤:视觉处理器模块发送指令调用图像真值标注模块对模拟图像进行比对处理识别目标静态图像或视频,并当识别率达到预设阈值时判定该服务机器人视觉检测功能是否合格。

Description

一种基于服务机器人视觉功能检测方法
技术领域
本发明属于视觉检测领域,具体涉及一种基于机器人视觉功能检测方法。
背景技术
本发明针对机器人视觉功能检测功能设计的初衷是因为当前机器人可以代替人类从事各类危险、繁重和枯燥的工作,在各类不适合人类生存的领域,比如在自然灾害以及核泄漏抢险、极地和外星探测、军事行动包括工业制造和物流的自动化、机动车的智能化、家政护工等方面具有广泛的经济价值与应用前景,当下世界各经济和工业强国都在积极的发展各种应用领域包括分类和预测的机器人。在机器人技术领域中,感知技术是相当重要一环,很多研究者都在此领域投入了大量的精力进行研究,也由此产生了许多感知理论的方法与技术,然而再面对如何衡量这些方法和技术的优劣的问题上,研究者们却很难达成一致,经常只能是在自己设定的某个指定条件下利用有限的信息进行实验,从而证明自己比别人的技术和方案更优秀。这种评价方法一般都具有明显的局限性,而且不同机器人的感知能力不能按照某一个相同标准进行统一比较,其结果是当用户需要对不同的机器人进行选择时,无法用一个直观统一的标准对各类不同的机器人进行比较,无法选出自己真正需要的产品。本文围绕这一问题,对机器人视觉能力测试方法进行相关研究,建立相对完备与明确的测试标准、测试方法以及融合数据库虚拟验证与实际环境试验相结合的测试系统。
围绕如何测试和评价移动机器人在未知环境中的视觉感知能力这一核心科学问题开展研究。本文将有共性的测试内容作为研究对象,建立相对完备与明确的测试标准、测试方法以及融合了数据库虚拟验证与实际环境试验相结合的测试子系统。研究内容主要包括以下方面:测试内容,测试方法与技术,测试标准与评价体系的建立。
发明内容
针对现有技术的不足,本发明提供一种基于服务机器人视觉功能检测方法。
本发明为实现上述目的所采用的技术方案是:一种基于服务机器人视觉功能检测方法,包括:
图像采集步骤:利用CCD工业相机分别拍摄室内和室外场景下的目标静态图像和连续多帧视频,发送给视觉处理器;
图像预处理步骤:视觉处理器模块发送指令接收CCD工业相机采集的图像和视频并存储至图像数据库中,调用图像预处理模块对接收的图像进行处理使得原始图像和视频的产生比例变形或增加噪声,用于模拟真实场景下的图像变形和天气影响生成模拟图像;
图像识别步骤:视觉处理器模块发送指令调用图像真值标注模块对模拟图像进行比对处理识别目标静态图像或视频,并当识别率达到预设阈值时判定该服务机器人视觉检测功能是否合格。
所述图像预处理模块包括图像变换模块、图像特效添加模块;
所述图像变造模块,用于通过尺度变换或添加噪声的方法对图像进行处理;
所述图像特效添加模块,用于生成雨、雪粒子,并叠加在图像上生成受天气影响的模拟图像。
所述图像变换模块的尺度变换包括旋转处理、缩放处理、水平或垂直方向比例处理。
所述图像特效添加模块包括对图像添加高斯噪声或椒盐噪声处理。
所述室外场景下的静态图像和视频序列拍摄时,CCD工业相机架设在汽车顶部,汽车行驶路线两旁固定标志牌,通过控制汽车沿预设路线行进过程中在驻留点位时拍摄静态标志图像,以及从路线起点到终点行驶过程中拍摄周围场景动态视频序列。
所述室内场景下的静态图像和视频序列拍摄时,需要将预先采集的图像或视频通过投影仪投影到背景板,从而再现图像或视频,再利用CCD工业相机进行拍摄。
所述图像真值标注模块,用于对图像数据库中的原始图像和视频按照识别目标的轮廓和纹理进行分类标注,生成目标模板用于匹配。
所述图像真值标注模块包括基本形状判别模块,用于进一步分析和标识颜色类别、几何轮廓和纹理形式。
本发明具有以下有益效果及优点:
本发明利用CCD工业相机分别拍摄室内和室外场景下的目标静态图像和连续多帧视频;利用图像预处理技术对接收的图像进行处理使得原始图像和视频的产生比例变形或增加噪声,用于模拟真实场景下的图像变形和天气影响生成模拟图像;对模拟图像进行比对处理识别目标静态图像或视频,并当识别率达到预设阈值时判定该服务机器人视觉检测功能是否合格。给人以视觉展示,效果显著。
附图说明
图1为本发明方法流程图;
具体实施方式
下面对照图示和本发明的具体应用实施的步骤进一步说明。
一、测试内容
尽管在具体的应用中所需的视觉任务各不相同,但它们所涉及的基本视觉功能可以归纳为对纹理、颜色、形状等的识别和认知,因此应当选择对具有代表性的基本视觉特征的检测识别作为测试内容,来对视觉系统作出基本评价。
另一方面,还应当选择一些在移动机器人的多种类型应用中会出现的基本、基础和共性的视觉任务作为测试内容,以对视觉系统作出进一步评价。还应该通过视觉图像中的噪声程度、明暗变化、天气条件等来评价机器人视觉能力对环境的自适应能力。
在具体实现上,大致分为以下三类:
1)基本视觉参数测试:定量评估机器人所配置相机的基本视觉参数,包括视场角、影像清晰度、变焦能力等客观情况。
该部分测试建议使用室内测试环境。使用投影系统来提供所需的视场角标志、视力表、距离变化等。
2)静态视觉能力测试:定量评估机器人的视觉系统在机器人与目标相对静止的状态下,对目标的纹理、形状、颜色等的识别能力和速度。
该部分测试可以在室内或室外进行。在室内可以使用实际的测试道具,也可以使用程序生成的或数据库中的图像,比如行人、台阶等等。在室外需要使用实际的测试道具。例如:交通标志牌,彩色的小球等。
3)动态视觉能力测试:定量评估机器人的视觉系统在典型的任务场景中,对目标的动态识别分类能力和速度。
该部分可以使用室内环境或和室外环境相结合的方式。其中在室内测试环境使用实时录制的或数据库中的视频。在室外测试环境中可以使用实际的测试道具,或者真实的场景。
二、测试方法与技术
研究与服务机器人视觉认知相关的智能性测试方法与技术,具体的可以分为三类:
(1)可以利用以上我们构建的典型场景图像/视频数据库,在移动机器人验证平台上虚拟验证与测试各种视觉认知算法的性能。可以在不依赖于相机等图像采集硬件设备的前提下,进行视觉认知纯粹算法性能上的比较(其中,算法性能指标主要包括错检率、漏检率、识别率、处理速度和环境适应性等);
(2)使用图像采集硬件设备(在待测移动机器人上,或替换到提供的移动机器人验证平台上),在室内测试环境中测试;
(3)在真实环境下初步测试移动机器人在高复杂性行驶环境下的视觉感知及环境适应能力。在不同光线状况下的真实应用环境下进行现场实验,检验移动机器人的视觉认知能力、非结构化道路的识别、目标检测和避障能力;最后一项真实室内环境中的测试主要考察移动机器人视觉认知系统对于环境的适应能力,及其在实际应用过程中视觉系统处理的实时性及抗抖动能力。
三、测试标准与评价体系
建立面向视觉认知计算的移动机器人综合测试标准与定性定量评价体系。视觉认知算法性能指标主要包括:错检率、漏检率、识别率、处理速度和环境适应性等。研制机器人平台的开放式体系结构与标准接口,为各种视觉认知系统提供开放性的测试与验证条件。可以包含以下两种验证与评价方式:
(1)一种为只对各种视觉认知系统进行单纯算法性能上的验证与评价,可以使用我们先前建立的典型驾驶场景图像/视频数据库或是利用已经配置好的机器人平台上的图像采集硬件设备来考量各种视觉认知算法的各项性能指标;
(2)另一种为整体替换已经配置好的机器入平台上的视觉认知系统,而改为装配待验证与评价的新的机载视觉系统,这其中包括图像采集硬件设备和视觉认知算法两部分的替换,此时对应着对于整个视觉感知系统性能的评价。
四、测试系统的建立
集成与综合以上各部分,建立具有明确且完备测试内容、测试标准与评价体系、同时融合了数据库虚拟验证机器人视觉感知能力测试系统。视觉能力测试通过室内测试平台的方式进行,分别考察机器人的视觉基本能力和视觉任务能力。具体来说是将机器人放置在室内测试环境中,在室内静态放置,根据机器人类型,在虚拟场景库中选取相应的测试场景,包括不同天气、光照条件等环境下的视觉感知水平,给出测试报告。
本发明的一种基于服务机器人视觉功能检测方法,主要包括以下3个步骤:
步骤1,图像采集步骤:
利用CCD工业相机分别拍摄室内和室外场景下的目标静态图像和连续多帧视频,发送给视觉处理器。
室外场景下的静态图像和视频序列拍摄时,CCD工业相机架设在汽车顶部,汽车行驶路线两旁固定标志牌,通过控制汽车沿预设路线行进过程中在驻留点位时拍摄静态标志图像,以及从路线起点到终点行驶过程中拍摄周围场景动态视频序列。所述室内场景下的静态图像和视频序列拍摄时,需要将预先采集的图像或视频通过投影仪投影到背景板,从而再现图像或视频,再利用CCD工业相机进行拍摄。
步骤2,图像预处理步骤:
视觉处理器模块发送指令接收CCD工业相机采集的图像和视频并存储至图像数据库中,调用图像预处理模块对接收的图像进行处理使得原始图像和视频的产生比例变形或增加噪声,用于模拟真实场景下的图像变形和天气影响生成模拟图像;图像预处理模块包括图像变换模块、图像特效添加模块。
所述图像变造模块,用于通过尺度变换或添加噪声的方法对图像进行处理;所述尺度变换包括旋转处理、缩放处理、水平或垂直方向比例处理。
所述图像特效添加模块,用于生成雨、雪粒子,并叠加在图像上生成受天气影响的模拟图像,包括对图像添加高斯噪声或椒盐噪声处理。
步骤3,图像识别步骤:
视觉处理器模块发送指令调用图像真值标注模块对模拟图像进行比对处理识别目标静态图像或视频,并当识别率达到预设阈值时判定该服务机器人视觉检测功能是否合格。
所述图像真值标注模块,用于对图像数据库中的原始图像和视频按照识别目标的轮廓和纹理进行分类标注,生成目标模板用于匹配。
所述图像真值标注模块包括基本形状判别模块,用于进一步分析和标识颜色类别、几何轮廓和纹理形式。
测试样本
本次实验选取了一些有共性的视觉任务作为测试样本。利用本项目设计的软件生成的视觉测试库具有典型性和代表性。包括单纯视觉特征元素、真实场景和虚拟场景的测试样本。测试样本有图像和视频,其中图像用于静态测试,视频则用于静态测试和动态测试。
室内测试装置与环境设计
本发明根据真实应用中可能会出现的情况,借鉴了2009年中科院合肥物质科学研究院智能车辆研究中心所建成的“智能车辆功能验证半物理仿真平台”来设计了室内测试装置、道具与环境。该平台由五大部分组成,其中包括了虚拟道路与立体显示系统。在半物理仿真平台下,能够实现真实车辆和虚拟车辆的模拟驾驶,可以用来验证本发明所设计的仿生视觉认知的计算模型,但是它并不直接适合研究视觉计算模型及方法。本发明利用此平台构建一个典型环境场景视频数据库,该数据库为注意机理、光流检测机制、生物视觉分层并行处理结构、计算模型的研究和验证提供基本图像/视频素材。
表1视觉再现系统技术参数
在室内测试环境中,使用事先建好的数据库中的图像/视频以及由程序随机生成或变造的图像/视频来进行测试。此时的正确识别结果是己知的或由程序参数决定的,根据具体测试内容可以进行自动评价或人工评价。
测试时,对图像/视频的使用也有两种方式。一种方式为纯软件测试,只对待评测机器人系统的视觉算法模块进行测试,直接以图像/视频作为算法模块的输入。另一种方式为软硬件综合测试,由室内测试装置中的投影系统再现图像/视频,通过待评测机器人系统的相机对再现的图像/视频进行拍摄来为其视觉算法模块提供输入。目标为可以体现不同颜色、形状、尺寸等的测试道具。
根据机器人视觉能力测试方法,在室内以行人目标为测试对象,本发明以“智能营业厅服务机器人”的视觉系统为例,进行测试。目前主要以行人识别为主,可提供静态和动态测试,分别设计了两个实验,以此来验证本文研究的机器人视觉能力测试方法的有效性,并对该服务机器人的视觉性能进行了检测。同时,本发明对服务机器人在室外的视觉识别情况应用该方法也进行了测试,
表2测试实验设计和结果
通过以上实验的设定及结果分析,本发明所设计的机器人视觉能力测试方法可以很好的满足机器人视觉能力测试的需要,可以比较全面的考虑到不同机器人视觉能力系统的多样性,测试辅助工具也能提供丰富的素材库,满足测试需要。根据本发明设定的2个实验,可以对发明内容提出的测试方法有一个较为全面实验,对视觉能力测试辅助工具软件可以有针对性的进行改进。将本发明提出的测试方法与设计的辅助工具软件相结合设计机器人视觉能力测试实验,可以对被测机器人的视觉进行定量评价,用户将不同的机器人进行相同实验测试,根据测试结果,可以很直观方便的选出自己需要的产品。
以上所述,仅是本发明的较佳实施例,并非对本发明作任何限制,凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化,均仍属于本发明技术方案的保护范围内。

Claims (6)

1.一种基于服务机器人视觉功能检测方法,其特征在于,包括:
图像采集步骤:利用CCD工业相机分别拍摄室内和室外场景下的目标静态图像和连续多帧视频,发送给视觉处理器;
图像预处理步骤:视觉处理器模块发送指令接收CCD工业相机采集的图像和视频并存储至图像数据库中,调用图像预处理模块对接收的图像进行处理使得原始图像和视频产生比例变形或增加噪声,用于模拟真实场景下的图像变形和天气影响生成模拟图像;
图像识别步骤:视觉处理器模块发送指令调用图像真值标注模块对模拟图像进行比对处理识别目标静态图像或视频,并当识别率达到预设阈值时判定该服务机器人视觉检测功能合格;
所述图像真值标注模块,用于对图像数据库中的原始图像和视频按照识别目标的轮廓和纹理进行分类标注,生成目标模板用于匹配;所述图像真值标注模块包括基本形状判别模块,用于进一步分析和标识颜色类别、几何轮廓和纹理形式。
2.根据权利要求1所述的一种基于服务机器人视觉功能检测方法,其特征在于,所述图像预处理模块包括图像变换模块、图像特效添加模块;
所述图像变换模块,用于通过尺度变换或添加噪声的方法对图像进行处理;
所述图像特效添加模块,用于生成雨、雪粒子,并叠加在图像上生成受天气影响的模拟图像。
3.根据权利要求2所述的一种基于服务机器人视觉功能检测方法,其特征在于,所述图像变换模块的尺度变换包括旋转处理、缩放处理、水平或垂直方向比例处理。
4.根据权利要求2所述的一种基于服务机器人视觉功能检测方法,其特征在于,所述图像特效添加模块包括对图像添加高斯噪声或椒盐噪声处理。
5.根据权利要求1所述的一种基于服务机器人视觉功能检测方法,其特征在于,所述室外场景下的目标静态图像和视频序列拍摄时,CCD工业相机架设在汽车顶部,汽车行驶路线两旁固定标志牌,通过控制汽车沿预设路线行进过程中在驻留点位时拍摄静态标志图像,以及从路线起点到终点行驶过程中拍摄周围场景动态视频序列。
6.根据权利要求1所述的一种基于服务机器人视觉功能检测方法,其特征在于,所述室内场景下的目标静态图像和视频序列拍摄时,需要将预先采集的图像或视频通过投影仪投影到背景板,从而再现图像或视频,再利用CCD工业相机进行拍摄。
CN202011046733.0A 2020-09-29 2020-09-29 一种基于服务机器人视觉功能检测方法 Active CN114311023B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011046733.0A CN114311023B (zh) 2020-09-29 2020-09-29 一种基于服务机器人视觉功能检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011046733.0A CN114311023B (zh) 2020-09-29 2020-09-29 一种基于服务机器人视觉功能检测方法

Publications (2)

Publication Number Publication Date
CN114311023A CN114311023A (zh) 2022-04-12
CN114311023B true CN114311023B (zh) 2023-12-26

Family

ID=81011847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011046733.0A Active CN114311023B (zh) 2020-09-29 2020-09-29 一种基于服务机器人视觉功能检测方法

Country Status (1)

Country Link
CN (1) CN114311023B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117557947B (zh) * 2024-01-11 2024-04-12 湖北微模式科技发展有限公司 一种基于均方误差的静态场景视频真伪鉴定方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787524A (zh) * 2014-12-26 2016-07-20 中国科学院沈阳自动化研究所 基于OpenCV的车牌识别方法及系统
CN109740479A (zh) * 2018-12-25 2019-05-10 苏州科达科技股份有限公司 一种车辆重识别方法、装置、设备及可读存储介质
CN110142785A (zh) * 2019-06-25 2019-08-20 山东沐点智能科技有限公司 一种基于目标检测的巡检机器人视觉伺服方法
CN110287832A (zh) * 2019-06-13 2019-09-27 北京百度网讯科技有限公司 高速自动驾驶场景障碍物感知评测方法及装置
WO2020107687A1 (zh) * 2018-11-27 2020-06-04 邦鼓思电子科技(上海)有限公司 一种基于视觉的工作区域边界的检测系统、方法及机器设备
JP2020097085A (ja) * 2018-12-18 2020-06-25 キヤノン株式会社 ロボット装置の検査方法、プログラム、記録媒体、ロボットシステム、物品の製造方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10593060B2 (en) * 2017-04-14 2020-03-17 TwoAntz, Inc. Visual positioning and navigation device and method thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787524A (zh) * 2014-12-26 2016-07-20 中国科学院沈阳自动化研究所 基于OpenCV的车牌识别方法及系统
WO2020107687A1 (zh) * 2018-11-27 2020-06-04 邦鼓思电子科技(上海)有限公司 一种基于视觉的工作区域边界的检测系统、方法及机器设备
JP2020097085A (ja) * 2018-12-18 2020-06-25 キヤノン株式会社 ロボット装置の検査方法、プログラム、記録媒体、ロボットシステム、物品の製造方法
CN109740479A (zh) * 2018-12-25 2019-05-10 苏州科达科技股份有限公司 一种车辆重识别方法、装置、设备及可读存储介质
CN110287832A (zh) * 2019-06-13 2019-09-27 北京百度网讯科技有限公司 高速自动驾驶场景障碍物感知评测方法及装置
CN110142785A (zh) * 2019-06-25 2019-08-20 山东沐点智能科技有限公司 一种基于目标检测的巡检机器人视觉伺服方法

Also Published As

Publication number Publication date
CN114311023A (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
Wiyatno et al. Physical adversarial textures that fool visual object tracking
CN113516076A (zh) 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法
CN111274927A (zh) 一种训练数据的生成方法、装置、电子设备和存储介质
CN115169855B (zh) 一种基于数字孪生车间混合数据集的不安全状态检测方法
Vacek et al. Learning to predict lidar intensities
CN112529022A (zh) 一种训练样本的生成方法及装置
CN114311023B (zh) 一种基于服务机器人视觉功能检测方法
Alsheikhy A fire detection algorithm using convolutional neural network
Kale et al. A road sign detection and the recognition for driver assistance systems
Wang Vehicle image detection method using deep learning in UAV video
CN117315584A (zh) 一种基于改进YOLOv7-tiny的危化品车辆目标检测方法
CN116152662A (zh) 一种森林火灾烟雾探测方法和系统
Jeon et al. Disc: A large-scale virtual dataset for simulating disaster scenarios
Lee et al. Classification of beef by using artificial intelligence
Hartmann et al. “Pedestrian in the Loop”: An approach using augmented reality
CN117671585A (zh) 一种基于YOLOv5的拌合站物料识别方法
Bexten et al. Discussion of using machine learning for safety purposes in human detection
Yang et al. Deep learning based real-time facial mask detection and crowd monitoring
Skruch et al. An approach for evaluating the completeness of the test scenarios for the vehicle environmental perception-based systems
Anwar et al. Fog classification and accuracy measurement using SVM
Mizuno et al. Simulator of Vehicle-Mounted Camera Video to Verify Dynamic Saliency Maps for Predicting Drivers' Gaze Points
CN112765812A (zh) 一种无人系统决策策略的自主能力快速测评方法及系统
Zhang et al. Simulation of atmospheric visibility impairment
Hummel On synthetic datasets for development of computer vision algorithms in airborne reconnaissance applications
CN116311534B (zh) 基于ai的智慧工地的危险违规动作识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant