CN111571591B - 四目仿生眼设备、装置及其搜寻目标的方法 - Google Patents

四目仿生眼设备、装置及其搜寻目标的方法 Download PDF

Info

Publication number
CN111571591B
CN111571591B CN202010444256.7A CN202010444256A CN111571591B CN 111571591 B CN111571591 B CN 111571591B CN 202010444256 A CN202010444256 A CN 202010444256A CN 111571591 B CN111571591 B CN 111571591B
Authority
CN
China
Prior art keywords
module
bionic
vision
eye
double coupling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010444256.7A
Other languages
English (en)
Other versions
CN111571591A (zh
Inventor
马利平
徐德
刘希龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202010444256.7A priority Critical patent/CN111571591B/zh
Publication of CN111571591A publication Critical patent/CN111571591A/zh
Application granted granted Critical
Publication of CN111571591B publication Critical patent/CN111571591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning

Abstract

本发明属于智能仿生机器人技术领域,具体涉及一种四目仿生眼设备、装置及其搜寻目标的方法,旨在解决现有技术中仿生机器人视野范围窄、感知效率低、稳定性差的问题。本发明提供的四目仿生眼装置包括依次连接的仿生视觉模块、第一驱动模块、第二驱动模块以及控制箱,其中仿生视觉模块包括第一双目视觉模块和由两个可相向或向背运动的单双耦合视觉传感器构成的第二双目视觉模块,本发明在搜寻目标时能够通过第一驱动模块和第二驱动模块配合四目仿生视觉模块完成360°俯仰探测,并生成探测路径,基于探测路径搜寻目标,并能在到达探测地点后进行三维建模完成探测任务,本发明能够适应路面不平整问题稳定进行360°视野范围探测,高效完成工作。

Description

四目仿生眼设备、装置及其搜寻目标的方法
技术领域
本发明属于智能仿生机器人技术领域,具体涉及一种四目仿生眼设备、装置及其搜寻目标的方法。
背景技术
仿生机器人如仿人机器人、四足机器人、六足机器人,在野外能适应更为复杂的地形,是机器人重要的发展方向之一。仿生眼是仿生机器人感知环境、识别运动目标的重要手段之一,是仿生机器人自主导航不可或缺的关键功能之一。仿生机器人在陌生环境中执行探测任务时,需要较大范围感知周围环境,并搜索相关目标,现有的仿生眼大多模拟人眼工作原理,两眼协同感知同一区域物体,依靠机器人本体或云台的频繁运动实现区域转换,从而实现大范围感知探测。这种方式存在视野范围窄、感知效率低、频繁运动带来视觉图像抖动和模糊等问题,这些问题已成为仿生机器人室外作业的瓶颈。
发明内容
为了解决现有技术中的上述问题,即为了解决现有技术中仿生机器人视野范围窄、感知效率低、稳定性差的问题;本发明第一方面提供一种四目仿生眼设备,其包括仿生视觉模块,所述仿生视觉模块包括控制器、固定构件、第一双目视觉模组、第二双目视觉模组;所述第一双目视觉模组和所述第二双目视觉模组分别装设于所述固定构件,并分别通过通信链路与所述控制器连接;
所述第一双目视觉模组固设于所述固定构件上方,包括两个结构相同的视觉传感器;
所述第二双目视觉模组包括驱动装置和两个结构相同的单双耦合视觉传感器,两个所述单双耦合视觉传感器分别对称设置于所述固定构件的左右两侧,所述驱动装置用于分别驱动两个所述单双耦合视觉传感器绕其自身轴线旋转,以使两个所述单双耦合视觉传感器相向或背向运动。
在一些优选技术方案中,所述四目仿生眼设备还包括第一驱动模块,所述第一驱动模块设置于所述仿生视觉模块的下方并与所述控制器信号连接,其能够在所述控制器的控制下带动所述仿生视觉模块沿所述四目仿生眼设备的高度方向做俯仰运动。
在一些优选技术方案中,所述四目仿生眼设备还包括第二驱动模块,所述第二驱动模块设置于所述仿生视觉模块的下方并与所述控制器信号连接,所述第二驱动模块具有垂直于水平面的输出轴;
在所述控制箱的控制下,所述仿生视觉模块绕所述输出轴轴向旋转。
在一些优选技术方案中,所述四目仿生眼设备包括第一驱动模块和第二驱动模块,所述仿生视觉模块、所述第一驱动模块和所述第二驱动模块依次连接,所述第一驱动模块和所述第二驱动模块均与所述控制器信号连接;
所述第一驱动模块能够在所述控制器的控制下,带动所述仿生视觉模块沿所述四目仿生眼设备的高度方向做俯仰运动;
所述第二驱动模块具有垂直于水平面的输出轴,在所述控制器的控制下,所述仿生视觉模块和所述第一驱动模块能够绕所述输出轴轴向旋转。
在一些优选技术方案中,所述驱动装置包括传动机构,所述传动机构包括两个相互啮合的齿轮,两个所述单双耦合视觉传感器分别与所述两个相互啮合的齿轮连接。
在一些优选技术方案中,所述传动机构还包括传送带,两个所述单双耦合视觉传感器分别通过所述传送带与所述两个相互啮合的齿轮连接。
在一些优选技术方案中,所述第一驱动模块包括弧形轨道,弧形轨道上设置有齿轨,所述仿生视觉模组下端部设置有与所述齿轨相啮合的齿。
本发明第二方面提供一种四目仿生眼装置,包括仿生视觉模块、第一驱动模块、第二驱动模块、控制箱,所述仿生视觉模块、所述第一驱动模块、所述第二驱动模块依次连接,且所述仿生视觉模块、所述第一驱动模块以及所述第二驱动模块均与所述控制箱通信连接,其中:
所述仿生视觉模块包括固定构件,以及固设于所述固定构件的第一双目视觉模组和第二双目视觉模组,所述第一双目视觉模组固设于所述固定构件上方,包括两个结构相同的视觉传感器;所述第二双目视觉模组包括驱动装置和两个结构相同的单双耦合视觉传感器,两个所述单双耦合视觉传感器分别对称设置于所述固定构件的左右两侧,所述驱动装置用于分别驱动两个所述单双耦合视觉传感器绕其自身轴线旋转,以使两个所述单双耦合视觉传感器相向或背向运动;
所述第一驱动模块:能够在所述控制箱的控制下带动所述仿生视觉模块沿所述四目仿生眼装置的高度方向做俯仰运动;
所述第二驱动模块:所述第二驱动模块具有垂直于水平面的输出轴,在所述控制箱的控制下,所述仿生视觉模块和所述第一驱动模块能够绕所述输出轴轴向旋转。
本发明第三方面提供一种基于四目仿生眼装置搜寻目标的方法,所述方法是基于搭载上述技术方案中的四目仿生眼装置的仿生机器人完成的,所述方法具体包括以下步骤;
步骤S100,获取所述第一双目视觉模组采集的第一预设距离前方场景信息,并基于所述前方场景信息规划动态路径;
步骤S200,调整所述第二双目视觉模组中的两个所述单双耦合视觉传感器分别为单目探测,并控制两个所述单双耦合视觉传感器相背运动,以探测相对称两个方向的第二预设距离场景信息;其中,第一预设距离小于第二预设距离,第一预设距离为近距离,第二预设距离为远距离;
步骤S300,控制所述仿生机器人沿所述路径行走,进行目标搜索。
在一些优选技术方案中,所述步骤S300中的“控制所述仿生机器人沿所述路径行走,进行目标搜索”还包括以下步骤:
步骤S310,当所述仿生视觉模块中任一视觉传感器发现目标后,所述控制器控制所述驱动装置带动两个所述单双耦合视觉传感器相向运动,并控制所述第一驱动模块和/或所述第二驱动模块做俯仰和/或偏转动作,以对探测目标进行双目聚焦;
步骤S320,控制两个所述单双耦合视觉传感器由单目探测变为双目聚焦探测,并执行步骤S100控制所述仿生机器人更改运动路径,向探测目标所在方向前进;
步骤S330,所述仿生机器人到达探测目标所在地点后,所述第二双目时间模组对探测目标进行三维建模,完成探测任务。
在一些优选技术方案中,上述方法步骤S320所述的“向探测目标所在方向前进”还包括:
所述控制器重复执行S100,以用于避障及运动规划;同时控制所述第一驱动模块、所述第二驱动模块以及所述驱动装置,以使两个所述单双耦合视觉传感器始终跟随探测目标,确保所述仿生机器人到达指定探测地点。
本发明的有益效果:
本发明的四目仿生眼设备/装置通过第一双目视觉模组测量近距离场景完成避障及路径规划,通过第二视觉模组中的单双耦合视觉传感器能够追踪目标,同时第一双目视觉模组和第二视觉模组的配合使用实现了本发明的宽视野探测功能。
应用本发明四目仿生眼设备/装置的仿生机器人,能够通过第二视觉模组中的单目、双目耦合交替使用,减少颈部运动频率,增加成像稳定性,实现高稳定性探测功能。
本发明的基于四目仿生眼装置搜寻目标的方法能够对目标完成主动追踪和被动探测:1)主动追踪,通过预训练的神经网络使得仿生视觉模块学习目标特征,控制第一驱动模块和第二驱动模块使得仿生视觉模块完成俯仰和偏转动作,基于第一视觉模组获取的场景信息使得应用本发明四目仿生眼设备/装置进行360度全范围以及俯仰初探测,从而初步感知作业环境,并生成初始探测路径,驱动第二视觉模组的相向或向背运动并结合第一视觉模组进行目标搜寻,而后控制机器人按照探测路径行走,进行目标搜索;应用本发明既可以适应目标拍摄区域路面不平整问题又可以有效的增大视野范围,高效完成工作。2)被动探测,本发明的仿生视觉模块能够在到达指定探测地点后,通过第二双目视觉模组中的单双耦合视觉传感器对探测目标进行探测,基于坐标变换,提取信息,进行三维建模,完成探测任务,本发明的被动探测目标能够应用在山洞、水下等能见度低的黑暗环境,提高工作效率,有效扩展了黑暗环境下的工作方式和模式。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1为本发明一种实施例的仿生视觉模块中两个单双耦合视觉传感器相向状态示意图;
图2为本发明一种实施例的仿生视觉模块中两个单双耦合视觉传感器背向状态示意图;
图3为本发明一种实施例的四目仿生眼装置整体结构示意图一;
图4为本发明一种实施例的四目仿生眼装置整体结构示意图二;
图5为本发明一种实施例的四目仿生眼装置俯视状态示意图;
图6为本发明一种实施例的四目仿生眼装置仰视状态示意图;
附图标记列表:
1-第一双目视觉模组;2-第一单双耦合视觉传感器,3-第二单双耦合视觉传感器;4-固定构件;5-第一驱动模块,51-弧形轨道;6-第二驱动模块;7-控制箱;8-步进电机;9-同步带轮;10-同步带;11-同步带轮;12-齿轮;13-齿轮;14-同步带轮;15-同步带;16-同步带轮;17-同步带轮;18-同步带;19-同步带轮;20-相机固定轴;21-相机固定轴;22-齿轮固定轴;23-齿轮固定轴。
具体实施方式
为使本发明的实施例、技术方案和优点更加明显,下面将结合附图对本发明的技术方案进行清楚、完整的描述,显然,所述的实施例是本发明的一部分实施例,而不是全部实施例。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
本发明的四目仿生眼设备,包括仿生视觉模块,所述仿生视觉模块包括控制器、固定构件、第一双目视觉模组、第二双目视觉模组;所述第一双目视觉模组和所述第二双目视觉模组分别装设于所述固定构件,并分别通过通信链路与所述控制器连接;
所述第一双目视觉模组固设于所述固定构件上方,包括两个结构相同的视觉传感器;
所述第二双目视觉模组包括驱动装置和两个结构相同的单双耦合视觉传感器,两个所述单双耦合视觉传感器分别对称设置于所述固定构件的左右两侧,所述驱动装置用于分别驱动两个所述单双耦合视觉传感器绕其自身轴线旋转,以使两个所述单双耦合视觉传感器相向或背向运动。
为了更清晰地对本发明四目仿生眼设备进行说明,下面结合附图对本方发明一种优选实施例进行展开详述。
作为本发明的一个优选实施例,本发明的四目仿生眼设备如图1所示,本发明优选实施例的四目仿生眼设备包括仿生视觉模块,所述仿生视觉模块包括控制器、固定构件4、第一双目视觉模组1、第二双目视觉模组;第一双目视觉模组1和第二双目视觉模组分别装设于固定构件4上,并分别通过通信链路与控制器连接;
第一双目视觉模组1固设于固定构件4上方,能够伴随固定构件4共同运动。第一双目视觉模组1包括两个结构相同的视觉传感器,其感知距离较短,且为双目标定配套使用(即双目感知同一场景),其主要作用是为仿生机器人提供当前前进路线上的场景信息,供机器人前进、搜索、以及避障等功能使用。在本发明的一些优选实施例中,第一双目视觉模组1的视觉传感器可以为相机、镜头等图像采集设备,本领域技术人员可以随意选择结构,只要保证其能够与控制器信号连接并能采集场景图像信息即可。
第二双目视觉模组包括驱动装置和两个结构相同的单双耦合视觉传感器,具体地,两个结构相同的单双耦合视觉传感器分别为图1所示的第一单双耦合视觉传感器2和第二单双耦合视觉传感器3;进一步地,第一单双耦合视觉传感器2和第二单双耦合视觉传感器3分别对称设置于固定构件4的左右两侧,其能够伴随固定构件4共同运动,驱动装置用于分别驱动第一单双耦合视觉传感器2和第二单双耦合视觉传感器3绕其自身轴线旋转,以使第一单双耦合视觉传感器2和第二单双耦合视觉传感器3相向或背向运动。图1示出了本发明第一单双耦合视觉传感器2和第二单双耦合视觉传感器3的背向运动状态的示意图,图2示出了第一单双耦合视觉传感器2和第二单双耦合视觉传感器3的相向运动状态的示意图。
在本发明的一些实施例中,驱动装置包括传动机构,传动机构包括两个相互啮合的齿轮,两个所述单双耦合视觉传感器分别与所述两个相互啮合的齿轮连接。更进一步地,所述驱传动机构还包括传送带,两个所述单双耦合视觉传感器分别通过所述传送带与所述两个相互啮合的齿轮连接。
本发明的一种优选实施例如图2和图4所示,仿生视觉模块中的驱动装置由步进电机8提供动力;上述的两个相互啮合的齿轮参阅图2所示的齿轮12和齿轮13,上述的传送带为图2所示的传送带15和传送带18。具体地,传动机构还包括;同步带轮9、同步带10、同步带轮11、同步带轮14、同步带轮16、同步带轮17、同步带轮19、相机固定轴20、相机固定轴21、齿轮固定轴22、齿轮固定轴23。
第一单双耦合视觉传感器2和第二单双耦合视觉传感器3分别通过相机固定轴20、21安装于固定构件4上,相机固定轴20通过同步带轮14、同步带15以及同步带轮16实现与齿轮固定轴22连接并同步运动,相机固定轴21通过同步带轮19、同步带18以及同步带轮17实现与齿轮固定轴23连接并同步运动。齿轮固定轴22和齿轮固定轴23安装于固定构件4上,齿轮12和齿轮13分别与齿轮固定轴23和齿轮固定轴22固定,进一步地,齿轮轴23通过同步带轮11、同步带10以及同步带轮9与步进电机8相连并传动。步进电机8安装于固定构件4的上方,步进电机8转动时,其能够通过同步带轮9、同步带10以及同步带轮11带动齿轮固定轴23转动,齿轮轴23转动带动齿轮12与齿轮13啮合转动,齿轮12与齿轮13啮合传动带动齿轮固定轴23、22相向或相背对称运动,从而带动相机固定轴相向或相背对称运动,最终带动第一单双耦合视觉传感器2和第二单双耦合视觉传感器3相向或背向运动。
本领域技术人员可以理解的是,驱动装置的动力源可以随意选择,本实施例所示的步进电机仅为一种优选实施例,同样地,驱动两个单双耦合视觉传感器相向或背向运动的方式也可以为多样,例如采用两个动力装置分别驱动两个视觉传感器进行运动,但是分别驱动的方式现有技术中不易控制,且相应地控制算法及成本会增加,本发明采用相互啮合的齿轮结构能够节省动力源,即只驱动其中一个齿轮即可同时驱动两个齿轮转动,进而驱动两个单双耦合视觉传感器相向或背向运动,方便探测目标的搜寻和聚焦。关于两个单双耦合视觉传感器相向或背向的角度可预先设定范围,由于本发明的四目仿生眼设备后期将应用于仿生机器人脑部的前方,因此四目仿生眼设备的后方可能会布置有其他装置,遮挡住两个单双耦合视觉传感器的视觉范围,因此本发明采用两个相互啮合的齿轮能够同时限制两个单双耦合视觉传感器的旋转角度,本发明结构简单,方便控制。同时采用相互啮合的齿轮结构能够更方便同时控制两个单双耦合视觉传感器的运动方式,能够简化控制算法及控制流程,便于本发明高效率的完成探测工作。
同样地,本发明的优选实施例通过带传动,将齿轮的旋转分别传递给两个单双耦合视觉传感器,本领域技术人员也可直接将两个单双耦合视觉传感器与两个相互啮合的齿轮进行固定,考虑到视觉传感模块的安装空间、体积大小以及旋转角度的限制,本发明优选采用带传送将齿轮的动力传送给第一单双耦合视觉传感器2和第二单双耦合视觉传感器3。
第一单双耦合视觉传感器2和第二单双耦合视觉传感器3的感知距离较远,且两个单双耦合视觉传感器为单目和双目耦合标定使用,单目标定使用时,两个单双耦合视觉传感器2和3的位置呈现如图1所示,各自探索相对称的两个方向上的不同场景信息;双目标定使用时,两个单双耦合视觉传感器2和3位置呈现如图2所示,两个单双耦合视觉传感器聚焦并感知同一场景信息。具体地,单目和双目耦合标定方法另有专利进行说明,不在本发明的描述范围内。
进一步地,四目仿生眼设备还包括第一驱动模块5,第一驱动模块5设置于仿生视觉模块的下方,其与固定构件4可移动连接并与控制器信号连接,其能够在控制箱的控制下带动仿生视觉模块沿四目仿生眼设备的高度方向做俯仰运动。具体地,参阅图3-6,在本发明的优选实施例中,第一驱动模块5优选包括弧形轨道51,弧形轨道51上设置有齿轨,相应地,仿生视觉模块底部设置有与弧形轨道51上齿轨相啮合的齿槽,即固定构件下方为弧形,且设置有与弧形轨道51上齿轨相啮合的齿槽;通过动力装置控制仿生视觉模块的齿槽与弧形轨道51上的齿轨配合,进而精准的调节仿生视觉模块的俯仰角度,通过弧形轨道的设置能够使得本发明仿生视觉模块在做俯仰动作时更稳定,不易颠簸抖动,避免运动过程中影响采集图像的清晰度和质量。可以理解的是,上述仅为本发明的第一驱动模块5的一种优选实施例,本发明的第一驱动模块5还可以为气动驱动,例如通过气动肌腱与仿生视觉模块连接,通过调整气压进而调整仿生视觉模块的俯仰角度,本领域技术人员可根据实际情况灵活设置第一驱动模块5的结构,只要使其能够带动仿生视觉模块沿四目仿生眼设备的高度方向做俯仰运动即可。
更进一步地,四目仿生眼设备还包括第二驱动模块6,第二驱动模块6设置于仿生视觉模块的下方,其与仿生视觉模块连接并与控制器信号连接,第二驱动模块6具有垂直于水平面的输出轴;在控制器的控制下,仿生视觉模块能够绕第二驱动模块6的输出轴轴向旋转。在本发明的优选实施例中,第二驱动模块6包括旋转圆盘和旋转动力装置,旋转动力装置具有垂直于水平面的输出轴,进一步地,旋转圆盘设置于所述输出轴上,输出轴能够带动旋转圆盘旋转,在一些优选实施例中,仿生视觉模块设置于旋转圆盘上,控制器与旋转动力装置信号连接,控制器能够控制旋转动力装置以使旋转圆盘带动仿生视觉模块绕输出轴轴向旋转,即实现了仿生视觉模块360°的探测。可以理解的是,上述本发明的第二驱动模块6的结构仅为一种优选实施例,本领域技术人员可根据实际情况灵活设置第二驱动模块的结构,只要能够使得仿生视觉模块能够依据控制器的控制旋转即可。
本发明第二方面提供了一种四目仿生眼装置,其包括仿生视觉模块、第一驱动模块、第二驱动模块、控制箱;其中仿生视觉模块为上述实施例中的仿生视觉模块,第一驱动模块为上述实施例中的第一驱动模块5,第二驱动模块为上述实施例中的第二驱动模块6,控制箱为上述实施例所述的控制箱7,控制箱7内设置有控制器。仿生视觉模块、第一驱动模块、第二驱动模块依次连接,且仿生视觉模块、第一驱动模块以及第二驱动模块均与控制箱通信连接,其中:
仿生视觉模块包括固定构件,以及固设于固定构件的第一双目视觉模组和第二双目视觉模组,第一双目视觉模组固设于固定构件上方,包括两个结构相同的视觉传感器;第二双目视觉模组包括驱动装置和两个结构相同的单双耦合视觉传感器,两个单双耦合视觉传感器分别对称设置于固定构件的左右两侧,驱动装置用于分别驱动两个所述单双耦合视觉传感器绕其自身轴线旋转,以使两个单双耦合视觉传感器相向或背向运动;
第一驱动模块:能够在控制箱的控制下动仿生视觉模块沿四目仿生眼装置的高度方向做俯仰运动;
所述第二驱动模块:第二驱动模块具有垂直于水平面的输出轴,在控制箱的控制下,仿生视觉模块和第一驱动模块能够绕输出轴轴向旋转。在一些优选实施例中,本发明的四目仿生眼装置相当于上述实施例中的四目仿生眼设备同时包括上述实施例所述的第一驱动模块5和上述实施例所述的第二驱动模块6,具体地,仿生视觉模块、第一驱动模块5和第二驱动模块6依次连接,第一驱动模块5和第二驱动模块6均与控制器信号连接;第一驱动模块5能够在控制器的控制下,带动仿生视觉模块沿四目仿生眼设备的高度方向做俯仰运动;第二驱动模块6具有垂直于水平面的输出轴,在控制器的控制下,仿生视觉模块和第一驱动模块5能够绕所述输出轴轴向旋转。参阅图3和图4,控制器设置于控制箱7的内部,控制箱7设置于第二驱动模块6的下方,作为设备的固定支架。仿生视觉模块、第一驱动模块5和第二驱动模块6依次连接,且均与控制箱7信号连接,控制器能够同时控制第一驱动模块5和第二驱动模块6进行运动,以使得仿生视觉模块完成360°全方位及俯仰的探测。
所属技术领域的技术人员可以清楚的了解到,为描述的方便和简洁,上述描述的四目仿生眼装置的具体结构及有关说明,可以参考前述实例中的对应结构,在此不再赘述。
本发明第三方面提供一种基于四目仿生眼装置搜寻目标的方法,所述方法基于搭载上述实施例所述的四目仿生眼装置的仿生机器人完成,所述方法具体包括以下步骤;
步骤S100,获取所述第一双目视觉模组采集的第一预设距离前方场景信息,并基于所述前方场景信息规划动态路径;
步骤S200,调整所述第二双目视觉模组中的两个所述单双耦合视觉传感器分别为单目探测,并控制两个所述单双耦合视觉传感器相背运动,以探测相对称两个方向的第二预设距离场景信息,其中,第一预设距离小于第二预设距离,第一预设距离为近距离,第二预设距离为远距离,即第一双目视觉模组用于采集近距离前方场景信息,第一双目视觉模组用于采集远距离前方场景信息,本领域技术人员可根据实际结果调整视觉模组采集的距离范围;
步骤S300,控制所述仿生机器人沿所述路径行走,进行目标搜索。
更近一步地,所述步骤S300中的“控制所述仿生机器人沿所述路径行走,进行目标搜索”还包括以下步骤:
步骤S310,当所述第二双目视觉模组中两个单双耦合视觉传感器中的任一视觉传感器或所述第一双目视觉模组中的两个结构相同的视觉传感器中的任一视觉传感器发现目标后,所述控制器控制所述驱动装置带动两个所述单双耦合视觉传感器相向运动,并控制所述第一驱动模块和/或所述第二驱动模块做俯仰和/或偏转动作,以对探测目标进行双目聚焦;
步骤S320,控制两个所述单双耦合视觉传感器由单目探测变为双目聚焦探测,并执行步骤S100控制所述仿生机器人更改运动路径,向探测目标所在方向前进;
步骤S330,所述仿生机器人到达所述探测目标所在地点后,所述第二双目时间模组对探测目标进行三维建模,完成探测任务。
优选地,步骤S320所述的“向探测目标所在方向前进”还包括:
所述控制器重复执行S100,以用于避障及运动规划;同时控制所述第一驱动模块、所述第二驱动模块以及所述驱动装置,用于两个所述单双耦合视觉传感器始终跟随探测目标,确保所述仿生机器人到达指定探测地点。
当搭载本发明的四目仿生眼装置的仿生机器人进入作业场地开展任务时,首先可通过第一驱动模组5以及第二驱动模组6进行360度全范围以及俯仰初探测,从而初步感知作业环境,并生成初始探测路径。之后,由驱动装置带动两个单双耦合视觉传感器2和3相背运动(呈现如图1所示姿态),仿生机器人开始向前运动,运动过程中不断由第一双目视觉模组1提供运动前方近距离场景信息,并进行路径动态规划,同时第二视觉模组中的两个单双耦合视觉传感器2、3分别探测相对称两个方向的远距离场景信息,进行目标搜索。当两个单双耦合视觉传感器2、3中任意一个视觉传感器或第一双目视觉模组1的双目视觉传感器发现目标后,即可通过驱动装置带动两个单双耦合视觉传感器2、3相向运动(呈现如图2所示姿态),并同步调整第一驱动模组5以及第二驱动模组6的俯仰角与偏转角,从而实现对探测目标进行双目聚焦,此时两个单双耦合视觉传感器2、3由单目探测变为双目聚焦探测,此后,仿生机器人更改运动路径,向探测目标所在方向前进,前进过程中,仍由第一双目视觉模组1提供近距离场景信息,实现避障与运动规划,而两个单双耦合视觉传感器2、3在第一驱动模组5以及第二驱动模组6的配合下,始终跟随探测目标,确保仿生机器人到达指定探测地点,到达探测地点后,可通过两个单双耦合视觉传感器2、3通过坐标变换,提取信息,进而对探测目标进行三维建模,完成探测任务。
上述本申请实施例中的技术方案中,至少具有如下的技术效果及优点:
本发明的四目仿生眼设备/装置通过第一双目视觉模组测量近距离场景完成避障及路径规划,通过第二视觉模组中的单双耦合视觉传感器能够追踪目标,同时第一双目视觉模组和第二视觉模组的配合使用实现了本发明的宽视野探测功能。
应用本发明四目仿生眼设备/装置的仿生机器人,能够通过第二视觉模组中的单目、双目耦合交替使用,减少颈部运动频率,增加成像稳定性,实现高稳定性探测功能。
本发明的基于四目仿生眼装置搜寻目标的方法能够对目标完成主动追踪和被动探测:1)主动追踪,通过预训练的神经网络使得仿生视觉模块学习目标特征,控制第一驱动模块和第二驱动模块使得仿生视觉模块完成俯仰和偏转动作,基于第一视觉模组获取的场景信息使得应用本发明四目仿生眼设备/装置进行360度全范围以及俯仰初探测,从而初步感知作业环境,并生成初始探测路径,驱动第二视觉模组的相向或向背运动并结合第一视觉模组进行目标搜寻,而后控制机器人按照探测路径行走,进行目标搜索;应用本发明既可以适应目标拍摄区域路面不平整问题又可以有效的增大视野范围。2)被动探测,本发明的仿生视觉模块能够在到达指定探测地点后,通过第二双目视觉模组中的单双耦合视觉传感器对探测目标进行探测,基于坐标变换,提取信息,进行三维建模,完成探测任务,本发明的被动探测目标能够应用在山洞、水下等能见度低的黑暗环境,大大提高了工作效率,有效扩展了黑暗环境下的工作方式和模式。
需要说明的是,在本发明的描述中,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示方向或位置关系的术语是基于附图所示的方向或位置关系,这仅仅是为了便于描述,而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
此外,还需要说明的是,在本发明的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域技术人员而言,可根据具体情况理解上述术语在本发明中的具体含义。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、物品或者设备/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、物品或者设备/装置所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (5)

1.一种基于四目仿生眼装置搜寻目标的方法,其特征在于,所述方法基于搭载四目仿生眼装置的仿生机器人完成,所述四目仿生眼装置包括仿生视觉模块、第一驱动模块、第二驱动模块、控制箱,所述仿生视觉模块、所述第一驱动模块、所述第二驱动模块依次连接,且所述仿生视觉模块、所述第一驱动模块以及所述第二驱动模块均与所述控制箱通信连接,其中:
所述仿生视觉模块包括固定构件,以及固设于所述固定构件的第一双目视觉模组和第二双目视觉模组,所述第一双目视觉模组固设于所述固定构件上方,包括两个结构相同的视觉传感器;所述第二双目视觉模组包括驱动装置和两个结构相同的单双耦合视觉传感器,两个所述单双耦合视觉传感器分别对称设置于所述固定构件的左右两侧,所述驱动装置用于分别驱动两个所述单双耦合视觉传感器绕其自身轴线旋转,以使两个所述单双耦合视觉传感器相向或背向运动;
所述第一驱动模块:能够在所述控制箱的控制下带动所述仿生视觉模块沿所述四目仿生眼装置的高度方向做俯仰运动;
所述第二驱动模块:所述第二驱动模块具有垂直于水平面的输出轴,在所述控制箱的控制下,所述仿生视觉模块和所述第一驱动模块能够绕所述输出轴轴向旋转;
所述方法具体包括以下步骤;
步骤S100,获取所述第一双目视觉模组采集的第一预设距离前方场景信息,并基于所述前方场景信息规划动态路径;
步骤S200,调整所述第二双目视觉模组中的两个所述单双耦合视觉传感器分别为单目探测,并控制两个所述单双耦合视觉传感器相背运动,以探测相对称两个方向的第二预设距离场景信息;
步骤S300,控制所述仿生机器人沿所述路径行走,进行目标搜索;
所述步骤S300中的“控制所述仿生机器人沿所述路径行走,进行目标搜索”还包括以下步骤:
步骤S310,当所述仿生视觉模块中任一视觉传感器发现目标后,所述控制箱控制所述驱动装置带动两个所述单双耦合视觉传感器相向运动,并控制所述第一驱动模块和/或所述第二驱动模块做俯仰和/或偏转动作,以对探测目标进行双目聚焦;
步骤S320,控制两个所述单双耦合视觉传感器由单目探测变为双目聚焦探测,并执行步骤S100控制所述仿生机器人更改运动路径,向探测目标所在方向前进;
步骤S330,所述仿生机器人到达探测目标所在地点后,所述第二双目时间模组对探测目标进行三维建模,完成探测任务。
2.根据权利要求1所述的基于四目仿生眼装置搜寻目标的方法,其特征在于,步骤S320所述的“向探测目标所在方向前进”还包括:
所述控制箱重复执行S100,以用于避障及运动规划;同时控制所述第一驱动模块、所述第二驱动模块以及所述驱动装置,用于两个所述单双耦合视觉传感器始终跟随探测目标,确保所述仿生机器人到达指定探测地点。
3.根据权利要求1所述的基于四目仿生眼装置搜寻目标的方法,其特征在于,
所述驱动装置包括传动机构,所述传动机构包括两个相互啮合的齿轮,两个所述单双耦合视觉传感器分别与所述两个相互啮合的齿轮连接。
4.根据权利要求3所述的基于四目仿生眼装置搜寻目标的方法,其特征在于,
所述传动机构还包括传送带,两个所述单双耦合视觉传感器分别通过所述传送带与所述两个相互啮合的齿轮连接。
5.根据权利要求1所述的基于四目仿生眼装置搜寻目标的方法,其特征在于,所述第一驱动模块包括弧形轨道。
CN202010444256.7A 2020-05-22 2020-05-22 四目仿生眼设备、装置及其搜寻目标的方法 Active CN111571591B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010444256.7A CN111571591B (zh) 2020-05-22 2020-05-22 四目仿生眼设备、装置及其搜寻目标的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010444256.7A CN111571591B (zh) 2020-05-22 2020-05-22 四目仿生眼设备、装置及其搜寻目标的方法

Publications (2)

Publication Number Publication Date
CN111571591A CN111571591A (zh) 2020-08-25
CN111571591B true CN111571591B (zh) 2021-07-30

Family

ID=72121322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010444256.7A Active CN111571591B (zh) 2020-05-22 2020-05-22 四目仿生眼设备、装置及其搜寻目标的方法

Country Status (1)

Country Link
CN (1) CN111571591B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112405540B (zh) * 2020-11-11 2022-01-07 深圳优地科技有限公司 机器人控制方法、装置、机器人及可读存储介质
CN112904900B (zh) * 2021-01-14 2021-12-17 吉林大学 一种基于鸟类视觉特征的多运动目标搜索与定位装置及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101449965A (zh) * 2008-12-29 2009-06-10 浙江工业大学 视功能检测仪中图像观察装置的运动控制系统
CN102528821A (zh) * 2011-12-31 2012-07-04 北京工业大学 一种基于多独立云台的仿生多目视觉物理平台
US9211648B2 (en) * 2012-04-05 2015-12-15 Irobot Corporation Operating a mobile robot
CN206216742U (zh) * 2016-11-25 2017-06-06 北京理工大学 一种九自由度双目仿生眼
US10207409B2 (en) * 2014-10-16 2019-02-19 Canon Kabushiki Kaisha Image processing method, image processing device, and robot system
CN109366528A (zh) * 2018-12-04 2019-02-22 长安大学 一种多目视觉装置
CN109866201A (zh) * 2019-04-08 2019-06-11 清华大学 双目视觉系统、移动抓取机器人和自动取货方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103072140B (zh) * 2012-12-18 2015-08-19 北京理工大学 一种具有全景捕捉、定位功能的双目立体仿生眼机构

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101449965A (zh) * 2008-12-29 2009-06-10 浙江工业大学 视功能检测仪中图像观察装置的运动控制系统
CN102528821A (zh) * 2011-12-31 2012-07-04 北京工业大学 一种基于多独立云台的仿生多目视觉物理平台
US9211648B2 (en) * 2012-04-05 2015-12-15 Irobot Corporation Operating a mobile robot
US10207409B2 (en) * 2014-10-16 2019-02-19 Canon Kabushiki Kaisha Image processing method, image processing device, and robot system
CN206216742U (zh) * 2016-11-25 2017-06-06 北京理工大学 一种九自由度双目仿生眼
CN109366528A (zh) * 2018-12-04 2019-02-22 长安大学 一种多目视觉装置
CN109866201A (zh) * 2019-04-08 2019-06-11 清华大学 双目视觉系统、移动抓取机器人和自动取货方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
仿生并联眼动机构多目标优化设计;程元皓,王孙安,于德弘;《机器人》;20170331;第39卷(第2期);全文 *
基于虚拟四目的立体视觉固定飞行昆虫运动参数测量系统;王颖,张广军,陈大志;《航空学报》;20051130;第26卷(第6期);全文 *

Also Published As

Publication number Publication date
CN111571591A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN109079799B (zh) 一种基于仿生的机器人感知控制系统及控制方法
US10890921B2 (en) Robot and drone array
CN105082161B (zh) 双目立体摄像机机器人视觉伺服控制装置及其使用方法
CN111571591B (zh) 四目仿生眼设备、装置及其搜寻目标的方法
CN204585197U (zh) 可自动避障作业机器人
JP2006502675A (ja) 生物の眼球運動神経システムに基づいたバイオ型自動視覚と視線制御システム
CN1490594A (zh) 仿人多自由度立体双目视觉装置
KR20130037056A (ko) 뱀형 탐사 로봇 및 그 구동 방법
KR20180038954A (ko) 다축 움직임 제어 장치 및 방법, 특히 로봇 팔을 위한 제어 장치 및 방법
Russo et al. Design of a robotic module for autonomous exploration and multimode locomotion
Li et al. Design and control of 3-DoF spherical parallel mechanism robot eyes inspired by the binocular vestibule-ocular reflex
CN104647344A (zh) 三维地图构建用作业机器人
CN110421543A (zh) 一种远程仿生单兵机器人系统及其远程控制方法
Perkasa et al. Implementation of a camera sensor pixy 2 CMUcam5 to a two wheeled robot to follow colored object
CN111230888A (zh) 一种基于rgbd相机的上肢外骨骼机器人避障方法
CN206123654U (zh) 一种视觉引导的全向移动双臂机器人
CN110053034A (zh) 一种基于视觉的多功能空间细胞机器人装置
CN113498667A (zh) 一种基于全景机器视觉的智能割草机器人
CN2644114Y (zh) 仿人多自由度立体双目视觉装置
Fan et al. Design of anthropomorphic robot bionic eyes
CN208827975U (zh) 一种可替代人工巡逻的自动导航机器人
Murray et al. Steering and Navigation Behaviours Using Fixation.
WO2021256464A1 (ja) 撮像システム及びロボットシステム
CN116867611A (zh) 融合静态大视场和高保真度可移动传感器用于机器人平台
CN113232743A (zh) 人形四足机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant