CN108600620B - 一种基于电液可调焦镜头的移动机器人的目标跟踪方法 - Google Patents

一种基于电液可调焦镜头的移动机器人的目标跟踪方法 Download PDF

Info

Publication number
CN108600620B
CN108600620B CN201810329431.0A CN201810329431A CN108600620B CN 108600620 B CN108600620 B CN 108600620B CN 201810329431 A CN201810329431 A CN 201810329431A CN 108600620 B CN108600620 B CN 108600620B
Authority
CN
China
Prior art keywords
target
mobile robot
distance
electro
focal length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810329431.0A
Other languages
English (en)
Other versions
CN108600620A (zh
Inventor
夏瑞隆
李恒宇
丁长权
刘靖逸
罗均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201810329431.0A priority Critical patent/CN108600620B/zh
Publication of CN108600620A publication Critical patent/CN108600620A/zh
Application granted granted Critical
Publication of CN108600620B publication Critical patent/CN108600620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Abstract

本发明涉及一种基于电液可调焦镜头的移动机器人的目标跟踪方法,通过对光学成像系统建模,得到电液可调焦镜头焦距与最优成像物距间的函数关系,利用该函数关系可获得处于清晰状态下的目标与移动机器人之间的距离信息和目标在时间间隔t内的平均运动速度,借助于这些信息来更新移动机器人的跟踪速度,使得其与目标间的距离始终保持在合适的范围内,对目标实现有效跟踪;同时,因为在获取目标距离信息时对目标进行的自动对焦,可使观察者始终获得目标清晰、细节丰富的图像反馈。

Description

一种基于电液可调焦镜头的移动机器人的目标跟踪方法
技术领域
本发明涉及一种基于电液可调焦镜头的移动机器人的目标跟踪方法。
背景技术
智能机器人作为人类的新型生产工具,在减轻劳动强度,提高生产率,改变生产模式,把人从危险、恶劣、繁重的工作环境下解放出来等方面,显示出极大的优越性。移动机器人是智能机器人的一个重要分支,是一类能通过传感器感知环境和自身状态,实现在有障碍物的环境中面向目标的自主运动,从而完成一定作业功能的机器人系统,已在军事侦察、宇宙开发、扫雷排险、防核化污染等危险和恶劣的环境中得到广泛的应用。一般而言,移动机器人必须具有环境感知、目标追踪、决策判断、机动性和人机交互等功能,具体而言:能够利用成像系统、激光测距仪、声纳等识别场景信息和目标状态;能够利用目标追踪算法在像平面保持对目标进行稳定追踪;能够依据感知的信息进行避障、目标跟踪、沿指定路径行进等,能够根据场景信息的变化自动调整行为模式;能够根据任务需求实现机动,移动方式主要有轮式、履带式、足式等;使用者可采用命令行或操作界面的方式驱动机器人执行指定任务,可以通过图像、语音、文本等方式获得机器人反馈的任务执行情况。
视觉信息作为人类感知外界信息的主要依据,在各类信息的占比可达80%。因此对于执行运动目标追踪的移动机器人而言,往往以图像序列作为检测、识别、跟踪目标的信息源,并以图像作为主要的人机交互方式来反馈目标信息,以帮助移动机器人的使用者更好地观察被跟踪目标,感知当前环境状态,做出进一步指令。目标与移动机器人之间的距离是移动机器人进行决策判断的依据之一,若能直接由目标图像得到距离信息,而不借助于诸如激光测距仪、声纳等设备,将大大降低移动机器人的系统复杂度。
移动机器人在随动跟踪过程中,与目标之间的距离难免会发生变化。移动机器人在跟踪目标的过程中需要与目标保持合适的距离。若距离太近,当目标突然减速时移动机器人可能会因为制动不及时与目标发生碰撞,距离过近也不利于观察者通过图像反馈获取目标的整体状况和周边环境的信息;若距离过远,则移动机器人可能因目标突然加速或转向而跟丢目标。此外,对于一套特定的光学成像系统,当其光圈大小、焦距等参数选定之后,其景深大小和位置就唯一确定下来。目标物距的变化很可能使其离开景深范围,造成其图像因离焦而模糊。因离焦而产生的模糊会使图像的边缘信息减少、细节信息丢失、图像白化,这些势必会影响目标追踪算法中的关键部分——目标特征表征的性能,进而影响目标追踪算法的整体性能;目标离焦产生的模糊还会妨碍视频观测者观察目标的细节和边缘信息。
以optotune为代表电液可调焦镜头的出现大大改变了上述困境。该类镜头具有调焦响应速度快、能耗低、结构紧凑、重复定位精度高等优势,可实现快速精确对焦。通过对包含该镜头的光学成像系统建模,可得到变焦镜头的焦距与最佳成像物距之间的函数关系,当经过自动对焦后的目标处于清晰状态时,可以利用该函数关系得到目标的距离信息,从而为移动机器人制定合适的随动策略,使得其与目标之间的距离保持在合适的范围内。利用电液可调焦镜头保证目标始终处于清晰状态、使移动机器人和目标间的距离处于合理区间、获取目标与移动机器人之间的距离信息,对于提升移动机器人的目标跟踪任务的执行效果、降低系统复杂度而言具有重大意义。
发明内容
本发明的目的在于针对现有技术存在的问题,提出一种基于电液可调焦镜头的移动机器人的目标跟踪方法,能保证移动机器人跟踪的目标始终处于清晰状态、移动机器人和目标间的距离始终处于合理区间。可指导移动机器人根据目标运动情况制定跟踪策略,对目标实现有效跟踪。
为了达到上述目的,本发明的构思如下:
本发明利用以optotune为代表电液可调焦镜头对目标进行自动对焦,以消除因目标离焦而产生的将模糊对移动机器人执行目标跟踪任务造成的不利影响;通过对光学成像系统的建模得到电液可调焦镜头焦距与最优物距间的对应关系,并据此获取处于清晰状态下的目标的距离信息,为制定移动机器人随动策略提供依据。
根据上述发明构思,本发明所采用的技术方案是:
一种基于电液可调焦镜头的移动机器人的目标跟踪方法,包括如下步骤:
1)利用电液可调焦镜头和定焦镜头组成光学成像系统;
2)获得电液可调焦镜头焦距与最优成像物距间的函数关系;
3)设定移动机器人的最优跟踪距离;
4)获取目标的运动速度,并以此作为移动机器人的跟踪速度;
5)移动机器人以既定速度跟踪目标;
6)获取当前目标与移动机器人之间的距离信息;
7)判断当前目标与移动机器人间的距离与最优跟踪距离之间的差值是否超出预设范围,若是,执行步骤8);若否,返回步骤5);
8)更新移动机器人的跟踪速度;
9)返回步骤5)。
所述步骤2)中的电液可调焦镜头焦距与最优成像物距之间函数关系的获得,具体为:
a)将光学系统内的两个相邻镜片按下式等效成一个薄透镜,计算其等效焦距EFL:
Figure BDA0001627515030000031
其中,f1、f2为两镜片焦距,d为两镜片主平面间的距离;
b)按上式进一步计算等效所得的薄透镜与另一镜片的等效焦距,直至得到整个光学系统的等效焦距EFLoverall,整个光学系统的等效焦距是电液可调焦镜头焦距的函数,其形式如下,
EFLoverall=f(l) (2)
其中l为电液可调焦镜头的焦距;
c)将式(2)代入式(3),以得到整个光学系统的等效焦距EFLoverall和物距之间的关系:
Figure BDA0001627515030000032
其中f为等效焦距,u为物距,v为像距;
整理得:
Figure BDA0001627515030000033
整理得到电液可调焦镜头焦距与最优成像物距间的函数关系。
所述步骤3)中的移动机器人最优跟踪距离设定,具体为:保持电液可调焦镜头处于原始状态,在与移动机器人相距最优跟踪距离处放置任意图幅,手动调节定焦镜头进行对焦,至所放图幅呈清晰状态,即设定完成。
所述步骤4)中目标运动速度的获取方法,具体为:获取目标在相隔为时间间隔t的两时刻的距离差s,并根据下式计算出目标在时间间隔t内的平均运动速度velocity,
Figure BDA0001627515030000034
所述步骤6)中目标与移动机器人之间距离的获取方法,具体为:
a)判定目标区域的清晰度是否小于预设阈值,若是,则执行步骤b);若否,则执行步骤c);
b)对目标图像进行自动对焦;
c)依据式(4),得到当前目标与移动机器人之间距离。
所述步骤8)中移动机器人跟踪速度的更新方法,具体为:若目标与移动机器人间的距离与最优跟踪距离之间的差值超出了预设范围的上限,则新的跟踪速度为原有跟踪速度加上预设速度变化量Δv;若目标与移动机器人间的距离与最优跟踪距离之间的差值超出了预设范围的下限,则新的跟踪速度为原有跟踪速度减去预设速度变化量Δv。
与现有技术相比,本发明具有如下突出的实质性特点和显著的进步:
1)本发明为移动机器人制定了合适的跟踪策略,使得移动机器人在执行目标跟踪任务时与目标之间的距离始终能够处在合适的范围之内。
2)本发明在保证移动机器人对目标进行有效跟踪的同时,可以额外获得目标的距离信息;且能始终使目标处于清晰状态,让观察者能够获取目标丰富的细节信息,提高移动机器人所用目标追踪算法的稳定性。
附图说明
图1为本发明的基于电液可调焦镜头的移动机器人的目标跟踪方法的流程图。
具体实施方式
为了使本发明的技术方案和要点更加明晰,下面结合附图,对本发明的实施步骤做详细说明:
如图1所示,一种基于电液可调焦镜头的移动机器人的目标跟踪方法,包括如下步骤:
1)利用电液可调焦镜头和定焦镜头组成光学成像系统;
2)获得电液可调焦镜头焦距与最优成像物距间的函数关系;
3)设定移动机器人的最优跟踪距离;
4)获取目标的运动速度,并以此作为移动机器人的跟踪速度;
5)移动机器人以既定速度跟踪目标;
6)获取当前目标与移动机器人之间的距离信息;
7)判断当前目标与移动机器人间的距离与最优跟踪距离之间的差值是否超出预设范围,若是,执行步骤8);若否,返回步骤5);
8)更新移动机器人的跟踪速度;
9)返回步骤5)。
进一步,所述步骤2)中的电液可调焦镜头焦距与最优成像物距之间函数关系的获得,具体为:
a)将光学系统内的两个相邻镜片按下式等效成一个薄透镜,计算其等效焦距EFL:
Figure BDA0001627515030000051
其中,f1、f2为两镜片焦距,d为两镜片主平面间的距离;
b)按上式进一步计算等效所得的薄透镜与另一镜片的等效焦距,直至得到整个光学系统的等效焦距EFLoverall,整个光学系统的等效焦距是电液可调焦镜头焦距的函数,其形式如下,
EFLoverall=f(l) (7)
其中l为电液可调焦镜头的焦距;
c)依照下式得到整个光学系统的等效焦距EFLoverall和物距之间的关系:
Figure BDA0001627515030000052
其中f为等效焦距,u为物距,v为像距;
d)将步骤b)中所得的函数代入步骤c)中:
Figure BDA0001627515030000053
整理得到电液可调焦镜头焦距与最优成像物距间的函数关系。
进一步,所述步骤3)中的移动机器人最优跟踪距离设定,具体为:保持电液可调焦镜头处于原始状态(即电液可调焦的控制电流为0mA),在与移动机器人相距x0处竖直放置一副图像,手动调节定焦镜头进行对焦,直至所放图幅呈清晰状态完成设定。x0即为移动机器人最优跟踪距离。
进一步,所述步骤4)中目标运动速度的获取方法,具体为:分别获取目标在t0和t1时刻的距离信息s0、s1,计算距离差s=s1-s0,其中t0、t1相隔时间t。可根据下式计算出目标在时间间隔t内的平均运动速度velocity2
Figure BDA0001627515030000054
进一步,所述步骤6)中目标与移动机器人之间距离的获取方法,具体为:
a)判定目标区域的清晰度是否小于预设阈值,若是,则执行步骤b);若否,则执行步骤c);
b)对目标图像进行自动对焦;
c)读取电液可调焦镜头的当前焦距值f,由式(9)获取当前最优成像物距u。u即为目标当前与镜头之间的距离。
进一步,所述步骤8)中移动机器人跟踪速度的更新方法,具体为:
a)设当前移动机器人的速度为velocity1,目标的运动速度为velocity2
b)获取当前目标与镜头之间的距离x;
c)计算当前目标与镜头之间的距离与最优跟踪距离之间的差值Δx=x-x0
d)若Δx大于预设上限,则新的移动机器人的运动速度velocity1’=velocity1+Δvelocity;若Δx小于预设下限,则新的移动机器人的运动速度velocity1’=velocity1-Δvelocity;若Δx处于预设上下限之间,则保持当前移动机器人的运动速度不变。Δvelocity为预设速度增量。

Claims (2)

1.一种基于电液可调焦镜头的移动机器人的目标跟踪方法,其特征在于,包括如下步骤:
1)利用电液可调焦镜头和定焦镜头组成光学成像系统;
2)获得电液可调焦镜头焦距与最优成像物距间的函数关系;
3)设定移动机器人的最优跟踪距离,保持电液可调焦镜头处于原始状态,在与移动机器人相距最优跟踪距离处放置任意图幅,手动调节定焦镜头进行对焦,至所放图幅呈清晰状态,即设定完成;
4)获取目标的运动速度,并以此作为移动机器人的跟踪速度,其具体步骤为,获取目标在相隔为时间间隔t的两时刻的距离差s,并根据下式计算出目标在时间间隔t内的平均运动速度velocity,
Figure FDA0002796300500000011
5)移动机器人以既定速度跟踪目标;
6)获取当前目标与移动机器人之间的距离信息,具体为:a)判定目标区域的清晰度是否小于预设阈值,若是,则执行步骤b),若否,则执行步骤c),b)对目标图像进行自动对焦,c)依据电液可调焦镜头焦距与最优成像物距间的函数关系,得到当前目标与移动机器人之间距离;
7)判断当前目标与移动机器人间的距离与最优跟踪距离之间的差值是否超出预设范围,若是,执行步骤8);若否,返回步骤5);
8)更新移动机器人的跟踪速度,具体更新方法为,若目标与移动机器人间的距离与最优跟踪距离之间的差值超出了预设范围的上限,则新的跟踪速度为原有跟踪速度加上预设速度变化量Δv;若目标与移动机器人间的距离与最优跟踪距离之间的差值超出了预设范围的下限,则新的跟踪速度为原有跟踪速度减去预设速度变化量Δv;
9)返回步骤5)。
2.根据权利要求1所述的基于电液可调焦镜头的移动机器人的目标跟踪方法,其特征在于,所述步骤2)中的电液可调焦镜头焦距与最优成像物距之间函数关系的获得,具体为:
a)将光学系统内的两个相邻镜片按下式等效成一个薄透镜,计算其等效焦距EFL:
Figure FDA0002796300500000012
其中,f1、f2为两镜片焦距,d为两镜片主平面间的距离;
b)按上式进一步计算等效所得的薄透镜与另一镜片的等效焦距,直至得到整个光学系统的等效焦距EFLoverall,整个光学系统的等效焦距是电液可调焦镜头焦距的函数,其形式如下,EFLoverall=f(l)
其中l为电液可调焦镜头的焦距;
c)依照下式得到整个光学系统的等效焦距EFLoverall和物距之间的关系:
Figure FDA0002796300500000021
其中f为等效焦距,u为物距,v为像距;
d)将步骤b)中所得的函数代入步骤c)中:
Figure FDA0002796300500000022
整理得到电液可调焦镜头焦距与最优成像物距间的函数关系。
CN201810329431.0A 2018-04-13 2018-04-13 一种基于电液可调焦镜头的移动机器人的目标跟踪方法 Active CN108600620B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810329431.0A CN108600620B (zh) 2018-04-13 2018-04-13 一种基于电液可调焦镜头的移动机器人的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810329431.0A CN108600620B (zh) 2018-04-13 2018-04-13 一种基于电液可调焦镜头的移动机器人的目标跟踪方法

Publications (2)

Publication Number Publication Date
CN108600620A CN108600620A (zh) 2018-09-28
CN108600620B true CN108600620B (zh) 2021-02-23

Family

ID=63622258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810329431.0A Active CN108600620B (zh) 2018-04-13 2018-04-13 一种基于电液可调焦镜头的移动机器人的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN108600620B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109889728B (zh) * 2019-03-18 2020-03-24 上海大学 一种基于电液可调焦镜头的移动目标实时自动对焦方法
CN110136091B (zh) * 2019-04-12 2021-11-30 深圳云天励飞技术有限公司 图像处理方法及相关产品
CN113538545B (zh) * 2021-07-16 2022-08-09 上海大学 一种基于电液可调焦镜头的单目深度估计方法及相应的相机和存储介质
CN113838150B (zh) * 2021-08-30 2024-03-19 上海大学 一种基于电液可调焦镜头的移动目标三维轨迹追踪方法
CN113724299B (zh) * 2021-08-30 2023-09-19 上海大学 一种基于电液可调焦镜头的移动机器人追踪目标三维轨迹方法
CN115355887B (zh) * 2022-10-24 2023-01-06 中国人民解放军国防科技大学 基于液态仿生视觉的两级单目深度测量方法、系统和介质
CN117310352B (zh) * 2023-11-30 2024-02-06 长春电子科技学院 一种用于光电设备监测的大数据分析系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101661156A (zh) * 2008-08-26 2010-03-03 中国科学院西安光学精密机械研究所 一种实现无移动镜组变焦距光学系统的方法及该光学系统
CN104853104A (zh) * 2015-06-01 2015-08-19 深圳市微队信息技术有限公司 一种自动跟踪拍摄运动目标的方法以及系统
CN106595489A (zh) * 2016-10-28 2017-04-26 惠州Tcl移动通信有限公司 一种实时测距的移动终端及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0147572B1 (ko) * 1992-10-09 1998-09-15 김광호 자동 줌잉을 위한 피사체 추적방법 및 그 장치
KR101942976B1 (ko) * 2012-09-28 2019-01-28 삼성전자주식회사 광학 줌 프로브
WO2014197858A1 (en) * 2013-06-06 2014-12-11 Kustom Signals, Inc. Traffic enforcement system with time tracking and integrated video capture
CN106934402A (zh) * 2017-03-10 2017-07-07 周艳 室内移动视频跟踪定位辅助拍摄方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101661156A (zh) * 2008-08-26 2010-03-03 中国科学院西安光学精密机械研究所 一种实现无移动镜组变焦距光学系统的方法及该光学系统
CN104853104A (zh) * 2015-06-01 2015-08-19 深圳市微队信息技术有限公司 一种自动跟踪拍摄运动目标的方法以及系统
CN106595489A (zh) * 2016-10-28 2017-04-26 惠州Tcl移动通信有限公司 一种实时测距的移动终端及方法

Also Published As

Publication number Publication date
CN108600620A (zh) 2018-09-28

Similar Documents

Publication Publication Date Title
CN108600620B (zh) 一种基于电液可调焦镜头的移动机器人的目标跟踪方法
CN110222581B (zh) 一种基于双目相机的四旋翼无人机视觉目标跟踪方法
CN104049634B (zh) 基于Camshift算法的智能体模糊动态避障方法
CN111556833B (zh) 车辆控制装置及其控制方法和车辆控制系统
Hubschneider et al. Adding navigation to the equation: Turning decisions for end-to-end vehicle control
CN105744163A (zh) 一种基于深度信息跟踪对焦的摄像机及摄像方法
CN108156371B (zh) 一种红外自动对焦快速搜索方法
CN110480128A (zh) 一种六自由度焊接机器人线激光实时焊缝跟踪方法
CN110163963B (zh) 一种基于slam的建图装置和建图方法
CN111805547B (zh) 一种轨迹动态跟踪实现方法
US20230063939A1 (en) Electro-hydraulic varifocal lens-based method for tracking three-dimensional trajectory of object by using mobile robot
WO2020183026A3 (de) Verfahren zur ansteuerung einer bearbeitunsgmaschine oder eines industrieroboters
CN109352654A (zh) 一种基于ros的智能机器人跟随系统及方法
CN106019550A (zh) 用于高速显微扫描的动态对焦装置及对焦跟踪方法
Lin et al. Learning based semantic segmentation for robot navigation in outdoor environment
CN111161334A (zh) 一种基于深度学习的语义地图构建方法
CN113111715A (zh) 一种无人机目标跟踪与信息采集系统及方法
EP2056235A1 (en) Driving path identification via online adaptation of the driving path model
CN109889728B (zh) 一种基于电液可调焦镜头的移动目标实时自动对焦方法
CN109318235B (zh) 一种机器人视觉伺服系统的快速聚焦方法
CN104851111A (zh) 一种使用连续变焦探测器的目标跟踪方法
US20210266467A1 (en) Control device, control method, and program
CN112598739A (zh) 基于时空特征聚合网络的移动机器人红外目标跟踪方法、系统及存储介质
Petrov et al. Vision-based line tracking control for nonholonomic differential-drive mobile robots
CN113510699A (zh) 一种基于改进蚁群优化算法的机械臂运动轨迹规划方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant