CN106303417B - 用于无人平台的增强全景监控方法 - Google Patents
用于无人平台的增强全景监控方法 Download PDFInfo
- Publication number
- CN106303417B CN106303417B CN201610659453.4A CN201610659453A CN106303417B CN 106303417 B CN106303417 B CN 106303417B CN 201610659453 A CN201610659453 A CN 201610659453A CN 106303417 B CN106303417 B CN 106303417B
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- unmanned platform
- panoramic image
- parameters
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种用于无人平台的增强全景监控方法,其步骤为:S1:初始化模型参数;包括目标全景图像的参数,坐标系转换的矩阵参数以及相机的参数;S2:基于目标全景图的逆向投影设计;通过坐标系的转换,将全景图像与相机进行关联,最终通过像素映射或融合生成目标全景图;S3:建立基于目标全景图的增强显示模型;通过坐标系的转换,完成无人平台坐标系到全景图像坐标系的转换,构成增强显示模型;S4:基于步骤S3得到的增强显示模型,将无人平台的运动轨迹在全景图中进行显示。本发明具有原理简单、易实现、能够提高无人平台监控效果等优点。
Description
技术领域
本发明主要涉及到无人平台的设计领域,特指一种适用于无人平台的增强全景监控方法。
背景技术
在无人车运行过程中以及在辅助驾驶应用中,需要对周围环境进行实时监控和检测。现有的视觉监控系统一般由单路摄像机或多路独立的摄像机组成,其有如下缺陷:
(1)视觉图像信息不完整。单路摄像机所能提供的视觉信息的视场范围有限,盲区较大;而多路独立的摄像机虽然提供了视场范围足够大的视觉信息,但是各自图像独立而不具有整体性,严重影响了视觉体验。
(2)车体运动信息表达不充分。对于无人平台监控系统,通常需要将车体的规划路径和行驶轨迹等运动信息叠加显示在视频图像上。目前叠加操作都在单路摄像机视频中完成,受限于视场范围,车体的运动信息难以表达充分,即单路摄像机的视场范围十分有限,难以充分表达车体的行驶轨迹,只能表现较短时间内、较低行驶速度下的行驶轨迹变化,在转弯等运动过程中尤其明显。而无人车自主控制系统本身存在动态响应延迟,对于半自主无人平台的远程遥现操作,还存在较大的无线通信链路的数据传输延迟,因而通过视场较小的增强显示图像难以发现并及时规避可能发生的危险行驶,难以在复杂的环境下稳定地操控半自主无人平台。
发明内容
本发明要解决的技术问题就在于:针对现有技术存在的技术问题,本发明提供一种原理简单、易实现、能够提高无人平台监控效果的用于无人平台的增强全景监控方法。
为解决上述技术问题,本发明采用以下技术方案:
一种用于无人平台的增强全景监控方法,其步骤为:
S1:初始化模型参数;包括目标全景图像的参数,坐标系转换的矩阵参数以及相机的参数;
S2:基于目标全景图的逆向投影设计;通过坐标系的转换,将全景图像与相机进行关联,最终通过像素映射或融合生成目标全景图;
S3:建立基于目标全景图的增强显示模型;通过坐标系的转换,完成无人平台坐标系到全景图像坐标系的转换,构成增强显示模型;
S4:基于步骤S3得到的增强显示模型,将无人平台的运动轨迹在全景图中进行显示。
作为本发明的进一步改进:所述步骤S1中的参数包括:(1)目标全景图像的高H,宽W,参考球面的半径r;(2)世界坐标系到各相机坐标系的旋转矩阵Rn、平移矩阵Tn,各相机内参矩阵Kn,其中下标n表示相机单元序号;(3)无人平台坐标系到世界坐标系的旋转矩阵R、平移矩阵T;其中矩阵Rn、Tn、Kn、R和T由相机标定获得。
作为本发明的进一步改进:所述步骤S2的具体流程为:
S201:导入相关参数;
S202:全景图像坐标系反投影到参考球面坐标系;
S203:参考球面坐标系转换到世界坐标系;
S204:世界坐标系转换到相机坐标系;
S205:相机坐标系转换到图像坐标系;
S206:像素映射或融合生成全景图。
作为本发明的进一步改进:所述步骤S3的具体流程为:
S301:导入相关参数;
S302:无人平台坐标系转换到世界坐标系;
S303:世界坐标系转换到球面坐标系;
S304:球面坐标系投影到全景图像坐标系;
S305:整合计算得到增强显示模型。
作为本发明的进一步改进:所述步骤S4的具体流程为:
S401:输入为步骤S3得到的基于目标全景图的增强显示模型、无人平台的参数、无人平台的期望运动参数、无人平台传感器的实测结果;
S402:已知车体参数和期望运动,通过任务规划和动力学模型计算得到全局规划路径和期望行驶轨迹;已知无人平台的参数和无人平台传感器实测数据,通过动力学模型计算得到实际行驶轨迹;全局规划路径、期望行驶轨迹和实际行驶轨迹作为运动信息数据为一组车体轨迹;同时,对基于目标全景图的增强显示模型,遍历无人平台坐标系中一定范围内的空间点,从而生成从无人平台坐标系到全景图像坐标系的唯一映射表;
S403:已知增强显示模型,通过代入车体的规划路径或行驶轨迹坐标,或者已知从无人平台坐标系到全景图像坐标系的唯一映射表,通过查表及线性插值计算,得到行驶轨迹在全景图像中的显示位置,完成全景图像的增强显示。
与现有技术相比,本发明的优点在于:
1、本发明的用于无人平台的增强全景监控方法,能够在无人平台全景监控视频中叠加车体的全局规划路径、期望行驶轨迹和实际行驶轨迹等运动信息,形成增强显示全景视图,简称增强全景,用于向操作员提供监视画面。
2、本发明的用于无人平台的增强全景监控方法,通过在全景图像中叠加显示车体的全局规划路径、期望行驶轨迹和实际行驶轨迹等运动信息,可以直观地预测和描述无人车未来的行驶行为,提高系统监控能力和人机交互能力,增强视觉体验并降低因延迟带来的系统动荡风险。
附图说明
图1是本发明方法的流程示意图。
图2是本发明在具体应用实例中基于目标全景图的逆向投影设计的流程示意图。
图3是本发明在具体应用实例中参考球面的示意图。
图4是本发明在具体应用实例中建立基于目标全景图的增强显示模型的流程示意图。
图5是本发明在具体应用实例中将行驶轨迹在全景图中进行增强显示的流程示意图。
具体实施方式
以下将结合说明书附图和具体实施例对本发明做进一步详细说明。
如图1所示,本发明的用于无人平台的增强全景监控方法,主要面向各类无人平台(自主或半自主平台),以无人车为例,其步骤为:
S1:初始化模型参数;包括目标全景图像的参数,坐标系转换的矩阵参数以及相机的参数;
S2:基于目标全景图的逆向投影设计;通过坐标系的转换,将全景图像与相机进行关联,最终通过像素映射或融合生成目标全景图;
S3:建立基于目标全景图的增强显示模型;通过坐标系的转换,完成无人平台坐标系到全景图像坐标系的转换,构成增强显示模型;
S4:基于步骤S3得到的增强显示模型,将行驶轨迹在全景图中进行显示。
在具体应用实例中,步骤S1中的参数包括目标全景图像的高H,宽W,参考球面的半径r;世界坐标系到各相机坐标系的旋转矩阵Rn、平移矩阵Tn,各相机内参矩阵Kn,其中下标n表示相机单元序号;无人平台坐标系到世界坐标系的旋转矩阵R、平移矩阵T;其中矩阵Rn、Tn、Kn、R和T由相机标定获得。
参见图2,在具体应用实例中,以球面全景模型为例(但不局限于任何全景模型),具体步骤为:
步骤201:导入相关参数。包括目标全景图像的高H,宽W,参考球面的半径r;世界坐标系到各相机坐标系的旋转矩阵Rn、平移矩阵Tn,各相机内参矩阵Kn,其中下标n表示相机单元序号。
步骤202:全景图像坐标系反投影到参考球面坐标系。
参考球面如图3所示。全景图像中任一像素点表示为P(i,j),i表示图像列索引,j表示图像行索引。以参考球面的球心O为原点建立空间直角世界坐标系,假定将点P(i,j)反投影到参考球面上对应的点为其中r表示参考球面半径,θ表示OQ连线与世界坐标系X轴的夹角,表示OQ连线与世界坐标系Z轴的夹角,其中θ的范围是[0,2π],的范围是[0,π],π表示圆周率,可得公式1;
步骤203:参考球面坐标系转换到世界坐标系。
步骤204:世界坐标系转换到相机坐标系。
世界坐标系上任一点W(Xw,Yw,Zw)在相机单元的相机坐标系上对应的点为C(Xn,Yn,Zn),n表示相机单元序号,可得公式3;
步骤205:相机坐标系转换到图像坐标系。
相机坐标系上任一点C(Xn,Yn,Zn)在图像平面上对应的像素点为I(un,vn),变换矩阵Kn由该相机内参确定,n表示相机单元序号,可得公式4;
步骤206:像素映射或融合生成全景图。
由公式1、2、3、4可导出公式5,得到全景图中任一像素点P(i,j)在图像平面上对应的像素点为I(un,vn),n表示相机单元序号,从而生成唯一映射表,通过查表和线性插值运算即可生成全景图像;若I(un,vn)超出图像索引范围,表示该相机单元没有捕获到P(i,j);若I(un,vn)未超出图像索引范围,表示相机单元捕获到了P(i,j);若有唯一相机单元捕获到了P(i,j),则相应的像素点I(un,vn)映射为P(i,j);若有多个相机单元同时捕获到了P(i,j),则通过像素融合表示P(i,j);
在具体应用实例中,上述步骤S3的详细流程为:
步骤301:导入相关参数。包括目标全景图像的高H,宽W,参考球面的半径r;无人平台坐标系到世界坐标系的旋转矩阵R、平移矩阵T。
步骤302:无人平台坐标系转换到世界坐标系。无人平台坐标系上任一点V(Xv,Yv,Zv),下标v表示无人平台坐标,其对应的世界坐标系上的点为W(Xw,Yw,Zw),可得公式6;
步骤303:世界坐标系转换到球面坐标系。将世界坐标系中的点W(Xw,Yw,Zw)投影到参考球面,其投影点为令arc tan(x)表示反正切函数,arc cos(x)表示反余弦函数,x表示变量,可得公式7;
步骤305:整合计算得到增强显示模型。对公式6、7、8进行整合即可得到增强显示模型,公式9。无人平台坐标系上任一点V(Xv,Yv,Zv)通过增强显示模型即可映射为全景图像坐标系上一点P(i,j)。
在具体应用实例中,上述步骤S4的详细流程为:
步骤401:输入为步骤3得到的基于目标全景图的增强显示模型,无人车的车体参数如质量、轴距和车宽等,车体的期望运动如期望加速度等,车载传感器的实测结果如实测速度等。期望运动包括但不限于由人机交互设备或自主控制系统发出的指令,人机交互设备例如模拟方向盘、模拟脚踏板和操纵杆等。
步骤402:已知车体参数和期望运动,通过任务规划和动力学模型等计算可以得到全局规划路径和期望行驶轨迹;已知车体参数和车载传感器实测数据,通过动力学模型等计算可以得到实际行驶轨迹;全局规划路径、期望行驶轨迹和实际行驶轨迹等运动信息数据为一组车体轨迹;同时,对基于目标全景图的增强显示模型,可选遍历无人平台坐标系中一定范围内的空间点,从而生成从无人平台坐标系到全景图像坐标系的唯一映射表;
步骤403:已知增强显示模型,通过代入车体的规划路径或行驶轨迹坐标,或者已知从无人平台坐标系到全景图像坐标系的唯一映射表,通过查表及线性插值计算,即可得到行驶轨迹在全景图像中的显示位置,完成全景图像的增强显示。
在以上的实例中,本发明仅是以普通球面投影为例,公式(1)和(8)建立相应的反投影与投影模型,但不局限于任何全景模型,柱面投影与墨卡托投影等投影方法皆可适用,同样能完成发明目的。
以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。
Claims (3)
1.一种用于无人平台的增强全景监控方法,其特征在于,步骤为:
S1:初始化模型参数;包括目标全景图像的参数,坐标系转换的矩阵参数以及相机的参数;
S2:基于目标全景图的逆向投影设计;通过坐标系的转换,将全景图像与相机进行关联,最终通过像素映射或融合生成目标全景图;
S3:建立基于目标全景图的增强显示模型;通过坐标系的转换,完成无人平台坐标系到全景图像坐标系的转换,构成增强显示模型;
S4:基于步骤S3得到的增强显示模型,将无人平台的运动轨迹在全景图中进行显示;
所述步骤S3的具体流程为:
步骤301:导入相关参数;包括目标全景图像的高H,宽W,参考球面的半径r;无人平台坐标系到世界坐标系的旋转矩阵R、平移矩阵T;
步骤302:无人平台坐标系转换到世界坐标系;无人平台坐标系上任一点V(Xv,Yv,Zv),下标v表示无人平台坐标,其对应的世界坐标系上的点为W(Xw,Yw,Zw),可得公式6;
步骤303:世界坐标系转换到球面坐标系;将世界坐标系中的点W(Xw,Yw,Zw)投影到参考球面,其投影点为令arc tan(x)表示反正切函数,arc cos(x)表示反余弦函数,x表示变量,可得公式7;
步骤305:整合计算得到增强显示模型;对公式6、7、8进行整合即可得到增强显示模型,公式9;无人平台坐标系上任一点V(Xv,Yv,Zv)通过增强显示模型即可映射为全景图像坐标系上一点P(i,j);
所述步骤S4的具体流程为:
S401:输入为步骤S3得到的基于目标全景图的增强显示模型、无人平台的参数、无人平台的期望运动参数、无人平台传感器的实测结果;
S402:已知车体的参数和期望运动,通过任务规划和动力学模型计算得到全局规划路径和期望行驶轨迹;已知无人平台的参数和无人平台传感器实测数据,通过动力学模型计算得到实际行驶轨迹;全局规划路径、期望行驶轨迹和实际行驶轨迹作为运动信息数据为一组车体轨迹;同时,对基于目标全景图的增强显示模型,可选遍历无人平台坐标系中一定范围内的空间点,从而生成从无人平台坐标系到全景图像坐标系的唯一映射表;
S403:已知增强显示模型,通过代入无人平台的规划路径或行驶轨迹坐标,或者已知从无人平台坐标系到全景图像坐标系的唯一映射表,通过查表及线性插值计算,得到行驶轨迹在全景图像中的显示位置,完成全景图像的增强显示。
2.根据权利要求1所述的用于无人平台的增强全景监控方法,其特征在于,所述步骤S1中的参数包括:(1)目标全景图像的高H,宽W,参考球面的半径r;(2)世界坐标系到各相机坐标系的旋转矩阵Rn、平移矩阵Tn,各相机内参矩阵Kn,其中下标n表示相机单元序号;(3)无人平台坐标系到世界坐标系的旋转矩阵R、平移矩阵T;其中矩阵Rn、Tn、Kn、R和T由相机标定获得。
3.根据权利要求1或2所述的用于无人平台的增强全景监控方法,其特征在于,所述步骤S2的具体流程为:
S201:导入相关参数;
S202:全景图像坐标系反投影到参考球面坐标系;
S203:参考球面坐标系转换到世界坐标系;
S204:世界坐标系转换到相机坐标系;
S205:相机坐标系转换到图像坐标系;
S206:像素映射或融合生成全景图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610659453.4A CN106303417B (zh) | 2016-08-12 | 2016-08-12 | 用于无人平台的增强全景监控方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610659453.4A CN106303417B (zh) | 2016-08-12 | 2016-08-12 | 用于无人平台的增强全景监控方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106303417A CN106303417A (zh) | 2017-01-04 |
CN106303417B true CN106303417B (zh) | 2020-03-27 |
Family
ID=57669844
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610659453.4A Active CN106303417B (zh) | 2016-08-12 | 2016-08-12 | 用于无人平台的增强全景监控方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106303417B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109243135A (zh) * | 2018-09-26 | 2019-01-18 | 北京环境特性研究所 | 一种智能火灾检测与定位方法、装置及系统 |
CN109636713A (zh) * | 2018-12-10 | 2019-04-16 | 百度在线网络技术(北京)有限公司 | 定位方法、装置、设备和介质 |
CN109767387A (zh) * | 2018-12-26 | 2019-05-17 | 北京木业邦科技有限公司 | 一种基于无人机的森林图像获取方法及装置 |
CN111541850A (zh) * | 2020-07-13 | 2020-08-14 | 南京泓众电子科技有限公司 | 一种全景电子云台矫正方法及装置 |
CN113569645B (zh) * | 2021-06-28 | 2024-03-22 | 广东技术师范大学 | 基于图像检测的轨迹生成方法、装置及系统 |
CN113590878B (zh) * | 2021-07-28 | 2023-11-17 | 宜宾中星技术智能系统有限公司 | 在视频画面上规划路径的方法、装置、终端设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03174668A (ja) * | 1989-09-18 | 1991-07-29 | Mitsubishi Electric Corp | 全方位観測装置 |
JP2008304260A (ja) * | 2007-06-06 | 2008-12-18 | Mitsubishi Electric Corp | 画像処理装置 |
CN102291527A (zh) * | 2011-08-11 | 2011-12-21 | 杭州海康威视软件有限公司 | 基于单个鱼眼镜头的全景视频漫游方法及装置 |
CN103607568A (zh) * | 2013-11-20 | 2014-02-26 | 深圳先进技术研究院 | 立体街景视频投影方法及系统 |
CN104219584A (zh) * | 2014-09-25 | 2014-12-17 | 广州市联文信息科技有限公司 | 基于增强现实的全景视频交互方法和系统 |
CN105635551A (zh) * | 2014-10-29 | 2016-06-01 | 浙江大华技术股份有限公司 | 一种球型摄像机生成全景图像的方法及球型摄像机 |
-
2016
- 2016-08-12 CN CN201610659453.4A patent/CN106303417B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03174668A (ja) * | 1989-09-18 | 1991-07-29 | Mitsubishi Electric Corp | 全方位観測装置 |
JP2008304260A (ja) * | 2007-06-06 | 2008-12-18 | Mitsubishi Electric Corp | 画像処理装置 |
CN102291527A (zh) * | 2011-08-11 | 2011-12-21 | 杭州海康威视软件有限公司 | 基于单个鱼眼镜头的全景视频漫游方法及装置 |
CN103607568A (zh) * | 2013-11-20 | 2014-02-26 | 深圳先进技术研究院 | 立体街景视频投影方法及系统 |
CN104219584A (zh) * | 2014-09-25 | 2014-12-17 | 广州市联文信息科技有限公司 | 基于增强现实的全景视频交互方法和系统 |
CN105635551A (zh) * | 2014-10-29 | 2016-06-01 | 浙江大华技术股份有限公司 | 一种球型摄像机生成全景图像的方法及球型摄像机 |
Also Published As
Publication number | Publication date |
---|---|
CN106303417A (zh) | 2017-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106303417B (zh) | 用于无人平台的增强全景监控方法 | |
US10600251B2 (en) | Method of ground adjustment for in-vehicle augmented reality systems | |
US11249474B2 (en) | Safety of autonomous vehicles using a virtual augmented support environment | |
CN112204343B (zh) | 高清晰地图数据的可视化 | |
US8989876B2 (en) | Situational awareness for teleoperation of a remote vehicle | |
US8295644B2 (en) | Birds eye view virtual imaging for real time composited wide field of view | |
CN106441242B (zh) | 一种基于激光点云与全景影像的交互式测图方法 | |
KR102295809B1 (ko) | 이동체의 전방향에 대한 거리 취득 장치 및 방법 | |
CN110264563A (zh) | 一种基于orbslam2的八叉树建图方法 | |
CN111263960B (zh) | 用于更新高清晰度地图的设备和方法 | |
CN104835117A (zh) | 基于重叠方式的球面全景图生成方法 | |
CN105981074A (zh) | 相机标定 | |
Khattak et al. | Marker based thermal-inertial localization for aerial robots in obscurant filled environments | |
CN112116651B (zh) | 一种基于无人机单目视觉的地面目标定位方法和系统 | |
CN111652072A (zh) | 轨迹获取方法、轨迹获取装置、存储介质和电子设备 | |
JP2019526105A5 (zh) | ||
CN111402328A (zh) | 一种基于激光里程计的位姿计算方法及装置 | |
EP4275182A1 (en) | Synthesizing three-dimensional visualizations from perspectives of onboard sensors of autonomous vehicles | |
CN108629842B (zh) | 一种无人驾驶设备运动信息提供及运动控制方法与设备 | |
CN111079786A (zh) | 一种基于ROS和Gazebo的旋转相机特征匹配算法 | |
JP6723533B2 (ja) | ドライビングシミュレーター | |
CN103260008A (zh) | 一种影像位置到实际位置的射影转换方法 | |
Fuchs et al. | Advanced 3-D trailer pose estimation for articulated vehicles | |
CN110722547B (zh) | 模型未知动态场景下移动机器人视觉镇定 | |
WO2023184487A1 (zh) | 无人机避障方法、装置、无人机、遥控设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |