CN114219850A - 一种应用360全景环视技术的车辆测距系统 - Google Patents

一种应用360全景环视技术的车辆测距系统 Download PDF

Info

Publication number
CN114219850A
CN114219850A CN202111357511.5A CN202111357511A CN114219850A CN 114219850 A CN114219850 A CN 114219850A CN 202111357511 A CN202111357511 A CN 202111357511A CN 114219850 A CN114219850 A CN 114219850A
Authority
CN
China
Prior art keywords
coordinate system
representing
vehicle
coordinates
conversion formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111357511.5A
Other languages
English (en)
Other versions
CN114219850B (zh
Inventor
陈六根
田锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inbo Supercomputing Nanjing Technology Co Ltd
Original Assignee
Inbo Supercomputing Nanjing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inbo Supercomputing Nanjing Technology Co Ltd filed Critical Inbo Supercomputing Nanjing Technology Co Ltd
Priority to CN202111357511.5A priority Critical patent/CN114219850B/zh
Publication of CN114219850A publication Critical patent/CN114219850A/zh
Application granted granted Critical
Publication of CN114219850B publication Critical patent/CN114219850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种应用360全景环视技术的车辆测距系统及方法，包括图像采集模块，用于采集车辆周围若干张实时图像；图像处理模块，用于对实时图像处理得到定位环视图；标定模块，包括：角点检测单元，用于提取定位环视图中的角点；参数计算单元，用于根据若干角点处理得到内参矩阵、平移矩阵和旋转矩阵以形成外参矩阵；测量模块，包括：公式转换单元，用于根据第一转换公式、第二转换公式和外参矩阵处理得到第三转换公式；坐标转换单元，用于将待测物体的像素坐标带入第三转换公式，得到世界坐标，作为物理坐标；距离生成单元，用于根据物理坐标生成车辆和待测物体之间的距离。本发明实现了车辆对待测物体的方向及距离的高精确识别。

Description

一种应用360全景环视技术的车辆测距系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种应用360全景环视技术的车辆测距系统。
背景技术
360全景环视技术在汽车周围架设能覆盖车辆周边所有视场范围的4到8个广角摄像头，对同一时刻采集到的多路视频影像处理成一幅车辆周边360度的车身俯视图，最后在中控台的屏幕上显示，让驾驶员清楚查看车辆周边是否存在障碍物并了解障碍物的相对方位与距离，帮助驾驶员轻松停泊车辆。不仅非常直观，而且不存在任何盲点，可以提高驾驶员从容操控车辆泊车入位或通过复杂路面，有效减少刮蹭、碰撞、陷落等事故的发生。目前，车辆一般都是通过在车身上安装超声波传感器来实现对外部物体的进行距离识别，但是超声波传感器只能识别得到外部物体的距离，无法得出外部物体的精确方向，导致车辆存在碰撞隐患，使得车辆的安全性能不高。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种应用360全景环视技术的车辆测距系统，用于实现车辆对待测物体的方向及距离的高精确识别。
为实现上述目的，本发明提供了如下技术方案：一种应用360全景环视技术的车辆测距系统，包括：
图像采集模块，用于采集车辆周围全部视野范围内的若干张实时图像；
图像处理模块，连接所述图像采集模块，用于对所述实时图像进行拼接融合处理，得到一定位环视图；
标定模块，连接所述图像处理模块，包括：
标定单元，用于获取所述定位环视图中放置在所述车辆周围的若干标定板，所述标定板内预设有若干棋盘格；
角点检测单元，连接所述标定单元，用于提取所述标定板中的若干所述棋盘格的角点；
参数计算单元，连接所述角点检测单元，用于根据若干所述角点处理得到一内参矩阵，并根据在真实场景中相邻所述角点的距离与在所述定位环视图中相邻所述角点的距离处理得到一平移矩阵和一旋转矩阵以形成一外参矩阵；
测量模块，分别连接所述标定模块和所述图像处理模块，包括：
坐标建立单元，用于分别建立图像坐标系、像素坐标系、所述相机坐标系和世界坐标系，所述图像坐标系和所述像素坐标系预先配置有第一转换公式，所述第一转换公式用于实现图像坐标和像素坐标的转换，所述像素坐标系和所述相机坐标系预先配置有第二转换公式，所述第二转换公式用于根据所述内参矩阵实现像素坐标和相机坐标的转换；
公式生成单元，连接所述坐标建立单元，用于根据所述第一转换公式、所述第二转换公式和所述外参矩阵处理得到一第三转换公式，所述第三转换公式用于实现像素坐标和世界坐标的转换；
坐标转换单元，连接所述公式生成单元，用于识别得到所述定位环视图中待测物体的所述像素坐标，并将所述像素坐标带入所述第三转换公式，得到相应的所述世界坐标，以作为所述待测物体的在真实场景中的物理坐标；
距离生成单元，连接所述坐标转换单元，用于根据所述物理坐标生成所述车辆和所述待测物体之间的距离。
进一步地，所述第一转换公式配置为：
Figure BDA0003357846580000031
其中，u用于表示像素坐标的横坐标；
v用于表示像素坐标的纵坐标；
x用于表示图像坐标的横坐标；
y用于表示图像坐标的纵坐标；
u0用于表示所述图像坐标系的坐标原点在所述像素坐标系中的横坐标；
v0用于表示所述图像坐标系的坐标原点在所述像素坐标系中的纵坐标。
进一步地，所述图像采集模块包括四个环视全景摄像头。
进一步地，所述第二转换公式配置为：
Figure BDA0003357846580000032
其中，Zc用于表示所述环视全景摄像头的深度；
u用于表示所述像素坐标的横坐标；
v用于表示所述像素坐标的纵坐标；
fx用于表示所述环视全景摄像头的横向焦距；
fy用于表示所述环视全景摄像头的纵向焦距；
cx用于表示所述像素坐标系的原点相对于所述相机坐标系的原点的横向平移尺寸；
cy用于表示所述像素坐标系的原点相对于所述相机坐标系的原点的纵向平移尺寸；
xc用于表示所述相机坐标的横坐标；
yc用于表示所述相机坐标的纵坐标；
zc用于表示所述相机坐标的竖坐标。
进一步地，所述第三转换公式配置为：
Figure BDA0003357846580000041
Zc用于表示所述环视全景摄像头的深度；
u用于表示所述像素坐标的横坐标；
v用于表示所述像素坐标的纵坐标；
R用于表示所述旋转矩阵；
T用于表示所述平移矩阵；
K用于表示所述内参矩阵；
xw用于表示所述世界坐标的横坐标；
yw用于表示所述世界坐标的纵坐标；
zw用于表示所述世界坐标的竖坐标。
进一步地，所述内参矩阵配置为：
Figure BDA0003357846580000042
其中，K用于表示所述内参矩阵；
fx用于表示所述环视全景摄像头的横向焦距；
fy用于表示所述环视全景摄像头的纵向焦距；
cx用于表示所述像素坐标系的原点相对于所述相机坐标系的原点的横向平移尺寸；
cy用于表示所述像素坐标系的原点相对于所述相机坐标系的原点的纵向平移尺寸。
进一步地，所述标定模块还包括畸变矫正单元，分别连接所述标定单元和所述角点检测单元，用于根据预设矫正算法对所述定位环视图进行去畸变矫正，以将矫正后的所述定位环视图输出至所述角点检测单元。
进一步地，所述图像处理模块包括：
图像融合单元，用于根据预设融合算法对所述实时图像进行拼接融合处理，得到所述定位环视图；
图像识别单元，连接所述图像融合单元，用于根据预设识别算法对所述定位环视图进行图像识别，得到所述定位环视图中的所述待测物体的区分种类，所述区分种类包括人和其他车辆。
一种应用360全景环视技术的车辆测距方法，应用于上述的应用360全景环视技术的车辆测距系统，所述应用360全景环视技术的车辆测距方法包括：
标定步骤S1，包括：
步骤S11，标定人员在车辆周围预先放置若干标定板；
步骤S12，图像采集模块采集车辆周围全部视野范围内的若干张实时图像，图像处理模块对实时图像进行拼接融合处理，得到一定位环视图；
步骤S13，标定模块获取定位环视图中放置在车辆周围的若干标定板，并提取标定板中的若干棋盘格的角点，进而根据若干角点处理得到一内参矩阵，从而根据在真实场景中相邻角点的距离与在定位环视图中相邻角点的距离处理得到一平移矩阵和一旋转矩阵以形成一外参矩阵；
计算步骤S2，包括：
步骤S21，测量模块分别建立图像坐标系、像素坐标系、相机坐标系和世界坐标系，图像坐标系和像素坐标系预先配置有第一转换公式，像素坐标系和相机坐标系预先配置有第二转换公式；
步骤S22，图像采集模块采集车辆周围全部视野范围内的若干张实时图像，图像处理模块对实时图像进行拼接融合处理，得到定位环视图；
步骤S23，测量模块根据第一转换公式、第二转换公式和外参矩阵处理得到一第三转换公式，再将识别得到的定位环视图中待测物体的像素坐标带入第三转换公式，得到相应的世界坐标，以作为待测物体的在真实场景中的物理坐标，最终根据物理坐标生成车辆和待测物体之间的距离。
本发明的有益效果：
本发明通过图像采集模块采集得到车辆周围的实时图像，并通过图像处理模块拼接融合得到定位环视图，进而提取定位环视图的角点，并根据角点处理得到相机坐标系的内参矩阵和外参矩阵，进而根据第一转换公式、第二转换公式和外参矩阵处理得到第三转换公式，将最终得到待测物体的世界坐标以作为物理坐标，并根据物理坐标计算得到待测物体跟车辆之间的距离，实现了将360全景环视技术在车辆测距上的应用，有效提升了车辆对待测物体的方向及距离的识别精确度。
附图说明
图1是本发明中应用360全景环视技术的车辆测距系统的结构示意图；
图2是本发明中应用360全景环视技术的车辆测距方法的步骤流程图。
附图标记：1、图像采集模块；2、图像处理模块；21、图像融合单元；22、图像识别单元；3、标定模块；31、标定单元；32、角点检测单元；33、参数计算单元；34、畸变矫正单元；4、测量模块；41、坐标建立单元；42、公式生成单元；43、坐标转换单元；44、距离生成单元。
具体实施方式
下面结合附图和实施例，对本发明进一步详细说明。其中相同的零部件用相同的附图标记表示。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“底面”和“顶面”、“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。
如图1所示，本实施例的一种应用360全景环视技术的车辆测距系统，包括：
图像采集模块1，用于采集车辆周围全部视野范围内的若干张实时图像；
图像处理模块2，连接图像采集模块1，用于对实时图像进行拼接融合处理，得到一定位环视图；
标定模块3，连接图像处理模块2，包括：
标定单元31，用于获取定位环视图中放置在车辆周围的若干标定板，标定板内预设有若干棋盘格；
角点检测单元32，连接标定单元31，用于提取标定板中的若干棋盘格的角点；
参数计算单元33，连接角点检测单元32，用于根据若干角点处理得到一内参矩阵，并根据在真实场景中相邻角点的距离与在定位环视图中相邻角点的距离处理得到一平移矩阵和一旋转矩阵以形成一外参矩阵；
测量模块4，分别连接标定模块3和图像处理模块2，包括：
坐标建立单元41，用于分别建立图像坐标系、像素坐标系、相机坐标系和世界坐标系，图像坐标系和像素坐标系预先配置有第一转换公式，第一转换公式用于实现图像坐标和像素坐标的转换，像素坐标系和相机坐标系预先配置有第二转换公式，第二转换公式用于根据内参矩阵实现像素坐标和相机坐标的转换；
公式生成单元42，连接坐标建立单元41，用于根据第一转换公式、第二转换公式和外参矩阵处理得到一第三转换公式，第三转换公式用于实现像素坐标和世界坐标的转换；
坐标转换单元43，连接公式生成单元42，用于识别得到定位环视图中待测物体的像素坐标，并将像素坐标带入第三转换公式，得到相应的世界坐标，以作为待测物体的在真实场景中的物理坐标；
距离生成单元44，连接坐标转换单元43，用于根据物理坐标生成车辆和待测物体之间的距离。
本技术方案通过图像采集模块1采集得到车辆周围的实时图像，并通过图像处理模块2拼接融合得到定位环视图，进而提取定位环视图的角点，并根据角点处理得到相机坐标系的内参矩阵和外参矩阵，进而根据第一转换公式、第二转换公式和外参矩阵处理得到第三转换公式，将最终得到待测物体的世界坐标以作为物理坐标，并根据物理坐标计算得到待测物体跟车辆之间的距离，实现了将360全景环视技术在车辆测距上的应用，有效提升了车辆对待测物体的方向及距离的识别精确度。
优选的，第一转换公式配置为：
Figure BDA0003357846580000081
其中，u用于表示像素坐标的横坐标；
v用于表示像素坐标的纵坐标；
x用于表示图像坐标的横坐标；
y用于表示图像坐标的纵坐标；
u0用于表示图像坐标系的坐标原点在像素坐标系中的横坐标；
v0用于表示图像坐标系的坐标原点在像素坐标系中的纵坐标。
优选的，图像采集模块1包括四个环视全景摄像头。
具体地，本实施例中，这四个环视全景摄像头均匀安装在车辆的四周。
优选的，第二转换公式配置为：
Figure BDA0003357846580000091
其中，Zc用于表示环视全景摄像头的深度；
u用于表示像素坐标的横坐标；
v用于表示像素坐标的纵坐标；
fx用于表示环视全景摄像头的横向焦距；
fy用于表示环视全景摄像头的纵向焦距；
cx用于表示像素坐标系的原点相对于相机坐标系的原点的横向平移尺寸；
cy用于表示像素坐标系的原点相对于相机坐标系的原点的纵向平移尺寸；
xc用于表示相机坐标的横坐标；
yc用于表示相机坐标的纵坐标；
zc用于表示相机坐标的竖坐标。
优选的，第三转换公式配置为：
Figure BDA0003357846580000092
Zc用于表示环视全景摄像头的深度；
u用于表示像素坐标的横坐标；
v用于表示像素坐标的纵坐标；
R用于表示旋转矩阵；
T用于表示平移矩阵；
K用于表示内参矩阵；
xw用于表示世界坐标的横坐标；
yw用于表示世界坐标的纵坐标；
zw用于表示世界坐标的竖坐标。
优选的，内参矩阵配置为：
Figure BDA0003357846580000101
其中，K用于表示内参矩阵；
fx用于表示环视全景摄像头的横向焦距；
fy用于表示环视全景摄像头的纵向焦距；
cx用于表示像素坐标系的原点相对于相机坐标系的原点的横向平移尺寸；
cy用于表示像素坐标系的原点相对于相机坐标系的原点的纵向平移尺寸。
优选的，标定模块3还包括畸变矫正单元34，分别连接标定单元31和角点检测单元32，用于根据预设矫正算法对定位环视图进行去畸变矫正，以将矫正后的定位环视图输出至角点检测单元32。
具体地，本实施例中，畸变矫正单元34根据标定工具导入包含棋盘格的定位环视图，其中，该标定工具可以为OCamCalib。通过该标定工具可以计算得到相机坐标系的多项式系数和逆变多项式系数，进而根据预设矫正算法创建四张快速查询表，完成对定位环视图的去畸变矫正。角点检测单元32对去畸变矫正后的定位环视图进行去二值化，并利用预设提取算法提取角点，参数计算单元33根据预设参数提取算法和角点计算得到内参矩阵。其中，预设提取算法可以为findchessboardcorners函数，预设参数提取算法可以为initCameraMatrix2D函数。
优选的，图像处理模块2包括：
图像融合单元21，用于根据预设融合算法对实时图像进行拼接融合处理，得到定位环视图；
图像识别单元22，连接图像融合单元21，用于根据预设识别算法对定位环视图进行图像识别，得到定位环视图中的待测物体的区分种类，区分种类包括人和其他车辆。
具体地，本实施例中，预设识别算法可以为用于种类识别的深度学习算法模型，将包含待测物体的定位环视图输入至该深度学习算法模型中，得到相应的种类区分结果，不同的区分种类通过标记不同的标签来进行区分。
一种应用360全景环视技术的车辆测距方法，应用于上述的应用360全景环视技术的车辆测距系统，如图2所示，应用360全景环视技术的车辆测距方法包括：
标定步骤S1，包括：
步骤S11，标定人员在车辆周围预先放置若干标定板；
步骤S12，图像采集模块采集车辆周围全部视野范围内的若干张实时图像，图像处理模块对实时图像进行拼接融合处理，得到一定位环视图；
步骤S13，标定模块获取定位环视图中放置在车辆周围的若干标定板，并提取标定板中的若干棋盘格的角点，进而根据若干角点处理得到一内参矩阵，从而根据在真实场景中相邻角点的距离与在定位环视图中相邻角点的距离处理得到一平移矩阵和一旋转矩阵以形成一外参矩阵；
计算步骤S2，包括：
步骤S21，测量模块分别建立图像坐标系、像素坐标系、相机坐标系和世界坐标系，图像坐标系和像素坐标系预先配置有第一转换公式，像素坐标系和相机坐标系预先配置有第二转换公式；
步骤S22，图像采集模块采集车辆周围全部视野范围内的若干张实时图像，图像处理模块对实时图像进行拼接融合处理，得到定位环视图；
步骤S23，测量模块根据第一转换公式、第二转换公式和外参矩阵处理得到一第三转换公式，再将识别得到的定位环视图中待测物体的像素坐标带入第三转换公式，得到相应的世界坐标，以作为待测物体的在真实场景中的物理坐标，最终根据物理坐标生成车辆和待测物体之间的距离。
工作原理：
首先，需要对四个环视全景摄像头进行相机标定。在本实施例中，在车身四周预先放置了七块用于标定的标定板，每块标定板内均设置有固定尺寸的棋盘格。环视全景摄像头采集多张包含棋盘格的实时图像，其中，每张实时图像中均包含有至少两个标定板。图像处理模块2对多张实时图像进行融合拼接得到包含棋盘格的定位环视图。进而通过角点检测单元32对定位环视图中的角点进行检测，参数计算单元33根据角点计算得到内参矩阵，并利用透视N点法对真实场景中相邻角点的距离与在定位环视图中相邻角点的距离进行处理，得到世界坐标系相对于相机坐标系的平移矩阵和旋转矩阵。公式生成单元42根据第一转换公式、第二转换公式、平移矩阵和旋转矩阵得到第三转换公式，使得像素坐标可以直接转换得到世界坐标。
在标定完成后，环视全景摄像头采集多张包含待测物体的事实图像，进而图像处理模块2对多张实时图像进行融合拼接得到包含待测物体的定位环视图。图像处理模块2可以对定位环视图中的待测物体进行识别，并处理得到待测物体的像素坐标。坐标转换单元43将识别到的定位环视图中的待测物体的像素坐标代入第三转换公式，即可得到相应的世界坐标作为物理坐标。该物理坐标可以精确表明待测物体在作为参考系的车辆的相对方向，同时根据该物理坐标可以计算得到待测物体和车辆之间的相对距离，有效提升了距离检测的精度。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种应用360全景环视技术的车辆测距系统，其特征在于，包括：
图像采集模块(1)，用于采集车辆周围全部视野范围内的若干张实时图像；
图像处理模块(2)，连接所述图像采集模块(1)，用于对所述实时图像进行拼接融合处理，得到一定位环视图；
标定模块(3)，连接所述图像处理模块(2)，包括：
标定单元(31)，用于获取所述定位环视图中放置在所述车辆周围的若干标定板，所述标定板内预设有若干棋盘格；
角点检测单元(32)，连接所述标定单元(31)，用于提取所述标定板中的若干所述棋盘格的角点；
参数计算单元(33)，连接所述角点检测单元(32)，用于根据若干所述角点处理得到一内参矩阵，并根据在真实场景中相邻所述角点的距离与在所述定位环视图中相邻所述角点的距离处理得到一平移矩阵和一旋转矩阵以形成一外参矩阵；
测量模块(4)，分别连接所述标定模块(3)和所述图像处理模块(2)，包括：
坐标建立单元(41)，用于分别建立图像坐标系、像素坐标系、相机坐标系和世界坐标系，所述图像坐标系和所述像素坐标系预先配置有第一转换公式，所述第一转换公式用于实现图像坐标和像素坐标的转换，所述像素坐标系和所述相机坐标系预先配置有第二转换公式，所述第二转换公式用于根据所述内参矩阵实现像素坐标和相机坐标的转换；
公式生成单元(42)，连接所述坐标建立单元(41)，用于根据所述第一转换公式、所述第二转换公式和所述外参矩阵处理得到一第三转换公式，所述第三转换公式用于实现像素坐标和世界坐标的转换；
坐标转换单元(43)，连接所述公式生成单元(42)，用于识别得到所述定位环视图中待测物体的所述像素坐标，并将所述像素坐标带入所述第三转换公式，得到相应的所述世界坐标，以作为所述待测物体的在真实场景中的物理坐标；
距离生成单元(44)，连接所述坐标转换单元(43)，用于根据所述物理坐标生成所述车辆和所述待测物体之间的距离。
2.根据权利要求1所述的应用360全景环视技术的车辆测距系统，其特征在于，所述第一转换公式配置为：
Figure FDA0003357846570000021
其中，u用于表示像素坐标的横坐标；
v用于表示像素坐标的纵坐标；
x用于表示图像坐标的横坐标；
y用于表示图像坐标的纵坐标；
u0用于表示所述图像坐标系的坐标原点在所述像素坐标系中的横坐标；
v0用于表示所述图像坐标系的坐标原点在所述像素坐标系中的纵坐标。
3.根据权利要求1所述的应用360全景环视技术的车辆测距系统，其特征在于，所述图像采集模块(1)包括四个环视全景摄像头。
4.根据权利要求3所述的应用360全景环视技术的车辆测距系统，其特征在于：所述第二转换公式配置为：
Figure FDA0003357846570000022
其中，Zc用于表示所述环视全景摄像头的深度；
u用于表示所述像素坐标的横坐标；
v用于表示所述像素坐标的纵坐标；
fx用于表示所述环视全景摄像头的横向焦距；
fy用于表示所述环视全景摄像头的纵向焦距；
cx用于表示所述像素坐标系的原点相对于所述相机坐标系的原点的横向平移尺寸；
cy用于表示所述像素坐标系的原点相对于所述相机坐标系的原点的纵向平移尺寸；
xc用于表示所述相机坐标的横坐标；
yc用于表示所述相机坐标的纵坐标；
zc用于表示所述相机坐标的竖坐标。
5.根据权利要求1所述的应用360全景环视技术的车辆测距系统，其特征在于，所述第三转换公式配置为：
Figure FDA0003357846570000031
Zc用于表示所述环视全景摄像头的深度；
u用于表示所述像素坐标的横坐标；
v用于表示所述像素坐标的纵坐标；
R用于表示所述旋转矩阵；
T用于表示所述平移矩阵；
K用于表示所述内参矩阵；
xw用于表示所述世界坐标的横坐标；
yw用于表示所述世界坐标的纵坐标；
zw用于表示所述世界坐标的竖坐标。
6.根据权利要求5所述的应用360全景环视技术的车辆测距系统，其特征在于，所述内参矩阵配置为：
Figure FDA0003357846570000041
其中，K用于表示所述内参矩阵；
fx用于表示所述环视全景摄像头的横向焦距；
fy用于表示所述环视全景摄像头的纵向焦距；
cx用于表示所述像素坐标系的原点相对于所述相机坐标系的原点的横向平移尺寸；
cy用于表示所述像素坐标系的原点相对于所述相机坐标系的原点的纵向平移尺寸。
7.根据权利要求1所述的应用360全景环视技术的车辆测距系统，其特征在于：所述标定模块(3)还包括畸变矫正单元(34)，分别连接所述标定单元(31)和所述角点检测单元(32)，用于根据预设矫正算法对所述定位环视图进行去畸变矫正，以将矫正后的所述定位环视图输出至所述角点检测单元(32)。
8.根据权利要求1所述的应用360全景环视技术的车辆测距系统，其特征在于，所述图像处理模块(2)包括：
图像融合单元(21)，用于根据预设融合算法对所述实时图像进行拼接融合处理，得到所述定位环视图；
图像识别单元(22)，连接所述图像融合单元(21)，用于根据预设识别算法对所述定位环视图进行图像识别，得到所述定位环视图中的所述待测物体的区分种类，所述区分种类包括人和其他车辆。
9.一种应用360全景环视技术的车辆测距方法，其特征在于，应用于权利要求1-8中任意一项所述的应用360全景环视技术的车辆测距系统，所述应用360全景环视技术的车辆测距方法包括：
标定步骤S1，包括：
步骤S11，标定人员在车辆周围预先放置若干标定板；
步骤S12，图像采集模块(1)采集车辆周围全部视野范围内的若干张实时图像，图像处理模块(2)对所述实时图像进行拼接融合处理，得到一定位环视图；
步骤S13，标定模块(3)获取所述定位环视图中放置在所述车辆周围的若干标定板，并提取所述标定板中的若干所述棋盘格的角点，进而根据若干所述角点处理得到一内参矩阵，从而根据在真实场景中相邻所述角点的距离与在所述定位环视图中相邻所述角点的距离处理得到一平移矩阵和一旋转矩阵以形成一外参矩阵；
计算步骤S2，包括：
步骤S21，测量模块(4)分别建立图像坐标系、像素坐标系、相机坐标系和世界坐标系，所述图像坐标系和所述像素坐标系预先配置有第一转换公式，所述像素坐标系和所述相机坐标系预先配置有第二转换公式；
步骤S22，图像采集模块(1)采集车辆周围全部视野范围内的若干张实时图像，图像处理模块(2)对所述实时图像进行拼接融合处理，得到所述定位环视图；
步骤S23，测量模块(4)根据所述第一转换公式、所述第二转换公式和所述外参矩阵处理得到一第三转换公式，再将识别得到的所述定位环视图中待测物体的所述像素坐标带入所述第三转换公式，得到相应的所述世界坐标，以作为所述待测物体的在真实场景中的物理坐标，最终根据所述物理坐标生成所述车辆和所述待测物体之间的距离。
CN202111357511.5A 2021-11-16 2021-11-16 一种应用360全景环视技术的车辆测距系统 Active CN114219850B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111357511.5A CN114219850B (zh) 2021-11-16 2021-11-16 一种应用360全景环视技术的车辆测距系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111357511.5A CN114219850B (zh) 2021-11-16 2021-11-16 一种应用360全景环视技术的车辆测距系统

Publications (2)

Publication Number Publication Date
CN114219850A true CN114219850A (zh) 2022-03-22
CN114219850B CN114219850B (zh) 2024-05-10

Family

ID=80697312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111357511.5A Active CN114219850B (zh) 2021-11-16 2021-11-16 一种应用360全景环视技术的车辆测距系统

Country Status (1)

Country Link
CN (1) CN114219850B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114792343A (zh) * 2022-06-21 2022-07-26 阿里巴巴达摩院(杭州)科技有限公司 图像获取设备的标定方法、获取图像数据的方法、装置
CN114822216A (zh) * 2022-06-23 2022-07-29 小米汽车科技有限公司 生成车位地图的方法、装置、车辆、存储介质及芯片

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146980A (zh) * 2018-08-12 2019-01-04 浙江农林大学 基于单目视觉的优化的深度提取和被动测距方法
WO2019184885A1 (zh) * 2018-03-30 2019-10-03 杭州海康威视数字技术股份有限公司 一种相机外参标定方法、装置及电子设备
CN113506349A (zh) * 2021-07-19 2021-10-15 江苏天楹机器人智能科技有限公司 一种垃圾分选机器人高精度手眼标定方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019184885A1 (zh) * 2018-03-30 2019-10-03 杭州海康威视数字技术股份有限公司 一种相机外参标定方法、装置及电子设备
CN109146980A (zh) * 2018-08-12 2019-01-04 浙江农林大学 基于单目视觉的优化的深度提取和被动测距方法
CN113506349A (zh) * 2021-07-19 2021-10-15 江苏天楹机器人智能科技有限公司 一种垃圾分选机器人高精度手眼标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谭兆一;陈白帆;苏苇;葛婧;: "基于第一视角的车辆盲区视野重现", 软件导刊, no. 09, 15 September 2020 (2020-09-15) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114792343A (zh) * 2022-06-21 2022-07-26 阿里巴巴达摩院(杭州)科技有限公司 图像获取设备的标定方法、获取图像数据的方法、装置
CN114822216A (zh) * 2022-06-23 2022-07-29 小米汽车科技有限公司 生成车位地图的方法、装置、车辆、存储介质及芯片
CN114822216B (zh) * 2022-06-23 2022-09-16 小米汽车科技有限公司 生成车位地图的方法、装置、车辆、存储介质及芯片

Also Published As

Publication number Publication date
CN114219850B (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
CN112902874B (zh) 图像采集装置及方法、图像处理方法及装置、图像处理系统
JP4681856B2 (ja) カメラの校正方法及びカメラの校正装置
CN114219850B (zh) 一种应用360全景环视技术的车辆测距系统
CN110826499A (zh) 物体空间参数检测方法、装置、电子设备及存储介质
CN110031829B (zh) 一种基于单目视觉的目标精准测距方法
CN112037159B (zh) 一种跨相机道路空间融合及车辆目标检测跟踪方法及系统
JP2003254748A (ja) ステレオ画像特性検査システム
CN111996883B (zh) 一种检测公路路面宽度的方法
CN110926330A (zh) 图像处理装置和图像处理方法
CN110779491A (zh) 一种水平面上目标测距的方法、装置、设备及存储介质
CN112348869A (zh) 通过检测和标定恢复单目slam尺度的方法
JP3138080B2 (ja) 視覚センサの自動キャリブレーション装置
CN111243003A (zh) 车载双目摄像机及其检测道路限高杆的方法、装置
KR20150002995A (ko) Ｆｏｖ왜곡 보정 모델에 2ｄ패턴을 적용한 왜곡중심 보정 방법
CN112348890A (zh) 一种空间定位方法、装置及计算机可读存储介质
CN106846385B (zh) 基于无人机的多传感遥感影像匹配方法、装置和系统
CN112330747A (zh) 基于无人机平台的多传感器联合探测和显示方法
KR101597163B1 (ko) 스테레오 카메라 교정 방법 및 장치
CN114821497A (zh) 目标物位置的确定方法、装置、设备及存储介质
CN110197104B (zh) 基于车辆的测距方法及装置
JPH04181106A (ja) 位置寸法計測装置のキャリブレーション装置
CN111256651B (zh) 一种基于单目车载摄像头的周车测距方法和装置
Aldelgawy et al. Calibration of smartphone’s rear dual camera system
CN114485479B (zh) 基于双目相机和惯性导航的结构光扫描测量方法及系统
KR101574195B1 (ko) 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant