CN113624244A - 基于双目视觉绘制地标地图的装置、系统及方法 - Google Patents
基于双目视觉绘制地标地图的装置、系统及方法 Download PDFInfo
- Publication number
- CN113624244A CN113624244A CN202010379670.4A CN202010379670A CN113624244A CN 113624244 A CN113624244 A CN 113624244A CN 202010379670 A CN202010379670 A CN 202010379670A CN 113624244 A CN113624244 A CN 113624244A
- Authority
- CN
- China
- Prior art keywords
- image
- lens
- prism
- module
- binocular vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000004438 eyesight Effects 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000013507 mapping Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/40—Correcting position, velocity or attitude
- G01S19/41—Differential correction, e.g. DGPS [differential GPS]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Abstract
本发明的实施例提供一种基于双目视觉绘制地标地图的装置、系统及方法，该装置包括第一镜头、第一棱镜、第二棱镜、图像传感器、图像处理模块和GNSS差分定位模组；第一镜头、第一棱镜均沿第二棱镜的中轴线对称设置，其中，位于第二棱镜一侧的第一镜头、第一棱镜依次形成左侧光路，位于第二棱镜另一侧的第一镜头、第一棱镜依次形成右侧光路，沿左侧光路的光线和沿右侧光路的光线均经第二棱镜反射至图像传感器，图像传感器用于将获取双目镜头所采集的图像并传递给图像处理模块，图像处理模块用于对图像数据进行分析处理，GNSS差分定位模组用于通过GNSS差分定位得到镜头坐标系原点在世界坐标系中的坐标。其降低对处理器的要求，精度高、成本低。
Description
技术领域
本发明涉及地图测绘技术领域，特别是指一种基于双目视觉绘制地标地图的装置、系统及方法。
背景技术
双目立体视觉(Binocular Stereo Vision)：是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。
高精度地标地图：高精度地标地图将大量的行车辅助信息存储为结构化数据，一类是道路数据，比如车道线的位置、类型、宽度、坡度和曲率等车道信息。第二类是车道周边的固定对象信息，比如交通标志、交通信号灯等信息、车道限高、障碍物及其他道路细节，还包括高架物体、防护栏、数目、路边地标等基础设施信息。以上这些信息都有地理编码，导航系统可以准确定位地形、物体和道路轮廓，从而引导车辆行驶。其中最重要的是对路网精确的三维表征，比如路面的几何结构、道路标示线的位置、周边道路环境的点云模型等。有了这些高精度的三维表征，自动驾驶系统可以通过比对车载的GPS、IMU、LiDAR或摄像头的数据精确确认自己当前的位置。
目前，主流绘制地标地图方案：采用多种传感器，如GPS、惯性测量单元、激光雷达和摄像机，通过多种传感器收集大量数据，最终绘制出高精度地图，其往往较为复杂，且成本高昂。同时，其识别能力往往难以进一步提高。
发明内容
本发明要解决的技术问题是提供一种基于双目视觉绘制地标地图的装置、系统及方法，避免多路图像处理带来的处理压力以及多路数据图像画面不同步的问题，大幅降低对处理器的要求，节省了计算成本，降低了结构的复杂度。
为解决上述技术问题，本发明提供一种基于双目视觉绘制地标地图的装置，包括第一镜头、第一棱镜、第二棱镜、图像传感器、图像处理模块和GNSS差分定位模组；第一镜头、第一棱镜的数量均为两个，第一镜头、第一棱镜均沿第二棱镜的中轴线对称设置，其中，位于第二棱镜一侧的第一镜头、第一棱镜依次形成左侧光路，位于第二棱镜另一侧的第一镜头、第一棱镜依次形成右侧光路，沿所述左侧光路的光线和沿所述右侧光路的光线均经第二棱镜反射至图像传感器，图像传感器用于将获取双目镜头所采集的图像并将数据传递给图像处理模块，图像处理模块用于对图像传感器所传送的图像数据进行分析处理，GNSS差分定位模组用于通过GNSS差分定位得到镜头坐标系原点在世界坐标系中的坐标；
所述图像处理模块包括：
预处理模块，用于对图像进行预处理，得到预处理后的图像；
识别模块，用于对预处理后的图像进行识别分析；
标记模块，用于对图像中已识别的物体进行区分并对图像中物体特征点进行标注；
测距模块，用于通过双目视觉测距原理对所标的特征点P进行测距而得到P点在镜头坐标系下的坐标值Pc(Xc，Yc，Zc)；
位姿计算模块，用于通过坐标转换计算出标记物体特征点的世界坐标，从而确定特征地标的地理位置。
其中，所述的绘制地标地图的装置还包括第二镜头，所述第二镜头的数量为两个，两个第二镜头沿所述第二棱镜的中轴线对称设置，其中，位于所述第二棱镜一侧的第一镜头、第二镜头、第一棱镜依次形成左侧光路，位于所述第二棱镜另一侧的第一镜头、第二镜头、第一棱镜依次形成右侧光路。
其中，所述第二镜头为定焦镜头。
其中，所述第一镜头由凹、凸镜组成，所述第二镜头由凹、凸镜组成。
其中，所述第一棱镜和第二棱镜均镀有增反膜。
其中，所述图像传感器为CCD或CMOS。
其中，所述的绘制地标地图的装置还包括旋钮，所述旋钮的数量均为两个，两个所旋钮沿第二棱镜的中轴线对称设置，所旋钮用于调节两个所述第一镜头的基线距离。
其中，所述第二镜头为变焦镜头，能够随着所述旋钮调整所述基线距离时动态调整焦距。
其中，所述的绘制地标地图的装置还包括主动光发射模块、判断模块和控制模块，主动光发射模块的数量均为两个，两个主动光发射模块均沿第二棱镜的中轴线对称设置，图像传感器还用于将获取双目镜头所采集的图像传递给判断模块，判断模块用于根据图像传感器的图像数据来进行白天和黑夜的判断，控制模块用于根据判断结果来控制主动光发射模块的开启和关闭。
其中，所述主动光发射模块发出的光线为红外光、EL光或LED光。
第二方面，本发明实施例提供一种，包括装置和与该装置通讯连接的云平台，所述装置为第一方面所述的绘制地标地图的装置。
第三方面，本发明实施例提供一种应用如第一方面所述的装置或第二方面所述的系统进行绘制地标地图的方法，该方法包括以下步骤：
S1、确定两个第一镜头的基线距离b；
S2、图像传感器获取两个第一镜头所采集的图像，并将图像数据传递给图像处理模块；
S3、图像处理模块对两个第一镜头接受到的图像进行预处理，得到预处理后的图像；
S4、对预处理后的图像进行识别分析；
S5、对图像中已识别的物体进行区分，再对物体特征点进行标注；
S6、采用数字算法消除图像径向和切向畸变，然后通过双目视觉测距原理对所标的特征点P进行测距而得到P点在镜头坐标系下的坐标值Pc(Xc，Yc，Zc)；
S7、通过GNSS差分定位得到镜头坐标系原点在世界坐标系中的坐标，然后再通过坐标转换计算出标记物体特征点的世界坐标，从而确定特征地标的地理位置；
S8、对前后两次定位数据进行前后比对，若误差小于预设范围，则取坐标平均值作为最终数据输出上传；若超出误差范围，则取消本次数据采集，进入下一轮采集；
S9、重复S1～S8的步骤，对物标进行建模绘制。
其中，所述的方法还包括如下步骤：
根据图像传感器的图像数据进行白天和黑夜的判断，当图像的亮度值大于或等于预设亮度值时，则进入白天模式，此时控制模块控制主动光发射模块不开启；当图像的亮度值小于预设亮度值时，则进入黑夜模式，此时控制模块)控制主动光发射模块开启。
其中，主动光发射模块开启后采用的是进行帧同步曝光手段。
其中，步骤S4中，对预处理后的图像进行识别分析，包括如下步骤：
步骤S41、对图像中的地标通过特征提取进行识别区分；
步骤S42、将识别后图像中的地标与图像特征库的图像特征进行比对，如果比对匹配，即识别成功，那么就将已识别的特征输出给图像标记模块，同时将该特征图像保存至存储器中，并通过基于深度卷积生成对抗网络训练新的图像，之后将该特征图像与训练生成新的图像一同保存至图像特征库中，为后续图像识别使用；若未成功匹配，即识别失败，则上传到平台，通过管理员来判别是否可以作为特征图像使用，若是，则经过基于深度卷积生成对抗网络训练新的图像后再存入图像特征库。
其中，步骤S8具体为：
通过GNSS差分定位得到左镜头坐标系原点在世界坐标系中的坐标，特征点在左镜头坐标系中的坐标为Pc(Xc,Yc,Zc)，左镜头坐标与世界坐标的转换通过旋转矩阵R和一个平移向量t完成，R为3x3的正交矩阵，具体如下：
齐次坐标为：
令
T为4x4方阵；
则Pc＝TPw，故标记特征点的世界坐标为Pw＝T-1Pc。
其中，步骤S3中，对两个第一镜头接受到的图像进行预处理，包括：通过数据平滑方法进行图像降噪，并调整图像锐度和对比度。
第四方面，本发明实施例提供一种计算机可读存储介质，包括指令，当所述指令在计算机运行时，使得计算机执行实现如第三方面所述方法中的步骤。
本发明的上述方案至少包括以下有益效果：
本发明的上述方案，仅采用双目单传感器系统+GNSS定位模块即可绘制高精度地图，相比于主流绘制高精度地图系统，极大地降低了成本；对双目图像的采集为同一时间，有别于双目单图像传感器分时采集系统，光学拍摄系统在实现双目立体拍摄时，传给处理器的数据只有一路，这样一来可以避免多路图像处理带来的处理压力以及多路数据图像画面不同步的问题，大幅降低对处理器的要求，节省了计算成本，同时也一定程度上降低了结构的复杂度；在识别图像中，通过不断地自我学习，扩充自己的特征图像库，增强识别度，更加智能，解决目前特征图像(如交通标志、交通信号灯等)识别度不够等问题，通过深度学习对已识别地标进行再训练，经过深度学习训练新的图像，最后一同放入图像特征库中，为后续图像识别使用，增强图像识别能力；对前后两次定位的数据进行比对，若误差小于预设范围，则取坐标平均值，确保其地标地图精度较高。
附图说明
图1是本发明的实施例绘制地标地图的装置的整体结构示意图；
图2是本发明的实施例绘制地标地图的装置的主视示意图；
图3是本发明的实施例绘制地标地图的装置的俯视示意图；
图4是本发明的实施例绘制地标地图的装置的左视示意图；
图5是本发明的实施例绘制地标地图的装置标注基线后的示意图；
图6是图像处理模块的结构框图；
图7是本发明的实施例绘制地标地图的方法流程图；
图8是发光模块的曝光柱状图；
图9是识别模块的工作流程图；
图10是左镜头坐标系示意图；
图11是Pc点在左右镜头成像面的坐标示意图；
其中：
1第一镜头；2第二镜头；3第一棱镜；4第二棱镜；5主动光发射模块；
6判断模块；7图像传感器；8图像处理模块；9控制模块；
10GNSS差分定位模组；11旋钮。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1至图5所示，本发明的实施例提出一种基于双目视觉绘制地标地图的装置，包括第一镜头1、第一棱镜3、第二棱镜4、图像传感器7、图像处理模块8和GNSS差分定位模组10。
第一镜头1、第一棱镜3的数量均为两个，第一镜头1、第一棱镜3均沿第二棱镜4的中轴线对称设置。
其中，位于第二棱镜4一侧的第一镜头1、第一棱镜3依次形成左侧光路，位于第二棱镜4另一侧的第一镜头1、第一棱镜3依次形成右侧光路，沿所述左侧光路的光线和沿所述右侧光路的光线均经第二棱镜4反射至图像传感器7。图像传感器7用于将获取双目镜头所采集的图像并将数据传递给图像处理模块8。
图像处理模块8用于对图像传感器7所传送的图像数据进行分析处理，如图6所示，图像处理模块8包括：
预处理模块，用于对图像进行预处理，得到预处理后的图像；
识别模块，用于对预处理后的图像进行识别分析；
标记模块，用于对图像中已识别的物体进行区分并对图像中物体特征点进行标注；
测距模块，用于通过双目视觉测距原理对所标的特征点P进行测距而得到P点在镜头坐标系下的坐标值Pc(Xc，Yc，Zc)；
位姿计算模块，用于通过坐标转换计算出标记物体特征点的世界坐标，从而确定特征地标的地理位置。
本实施例中，GNSS差分定位模组(10)用于通过GNSS差分定位得到镜头坐标系原点在世界坐标系中的坐标。
优选地，绘制地标地图的装置还包括第二镜头2。
第二镜头2的数量为两个，两个第二镜头2沿第二棱镜4的中轴线对称设置，其中，位于第二棱镜4一侧的第一镜头1、第二镜头2、第一棱镜3依次形成左侧光路，位于第二棱镜4另一侧的第一镜头1、第二镜头2、第一棱镜3依次形成右侧光路，沿所述左侧光路的光线和沿所述右侧光路的光线均经第二棱镜4反射至图像传感器7。
本实施例中，第一镜头1由凹、凸镜组成，第二镜头2由凹、凸镜组成。第一镜头1、第二镜头2可由若干块凹凸镜组成。第二镜头2主要起到二次调节光路的作用，有效避免了由于光路太长，接受光线无法聚焦到图像传感器上的问题。第二镜头(2)可采用定焦镜头，也可采用变焦镜头。第二镜头2采用定焦镜头可以以降低成本。图像传感器7可为CCD或CMOS成像器件。
进一步地，第一棱镜3和第二棱镜4均镀有增反膜。这样可以有效减少光线折射损失。
作为一种可优选实施方式，绘制地标地图的装置还包括旋钮11。旋钮11的数量均为两个，两个旋钮11沿第二棱镜4的中轴线对称设置，旋钮11用于调节两个第一镜头1的基线距离b(即两镜头中心线的直线距离)。该种实施方式下，第二镜头2采用变焦镜头，能够随着旋钮17调整所述基线距离时动态调整焦距。
设置调节旋钮11，可调节两镜头之间的基线距离，同时也便于装配(此项为选配项，可根据成本考虑是否增加；若不增加，则第二镜头2改为定焦镜头，以节省成本)。对双目镜头通过间距调整可以适配不同场景需求，标定sensor对成像圆的感应范围，反馈到调对焦系统，自动调整镜头焦距，保证成像圆尺寸及位置不变，且对焦清晰。
作为另一种可优选实施方式，绘制地标地图的装置还包括主动光发射模块5、判断模块6和控制模块9。
主动光发射模块5的数量均为两个，两个主动光发射模块5均沿第二棱镜4的中轴线对称设置，图像传感器7还用于将获取双目镜头所采集的图像传递给判断模块6，判断模块6用于根据图像传感器7的图像数据来进行白天和黑夜的判断，控制模块9用于根据判断结果来控制主动光发射模块5的开启和关闭。主动光发射模块5开启后，主动光发射模块5发出的光线为红外光、EL光或LED光。主动光发射模块5开启后采用的是进行帧同步曝光手段。
以上各实施例的基于双目视觉的绘制地标地图的装置，有别于双目双图像传感器视觉装置，本发明实施例只采用单传感器可实现同样功能，无需两颗图像传感器，成本低。
本发明实施例对双目图像的采集为同一时间，有别于双目单图像传感器时分采集系统，通过两颗镜头所成图像会同一时刻传输至图像处理器处理。光学拍摄系统在实现双目立体拍摄时，传给处理器的数据只有一路，这样一来可以避免多路图像处理带来的处理压力以及多路数据图像画面不同步的问题，大幅降低对处理器的要求，节省了计算成本，同时也一定程度上降低了结构的复杂度。
本发明实施例配有主动光发射模块，便于辅助标定，在白天夜晚均可进行测距，通过采取帧同步曝光的手段，既保证了每帧画面接受足够的亮度，又可以在夜间录制时，拍摄的物体不会过曝同时对迎面的车辆中的人不会感到刺眼。镜头可以通过接受到的环境亮度来确定是否开启主动光源，从而还可以起到降低功耗的作用。
本发明实施例可以通过调节旋钮来调节镜头，设备内部具有齿轮结构，通过齿轮结构带动镜头向中间或向两边移动。两颗取景镜头的间距可调以适配不同场景需求，镜头间距的调整导致整个光程差异，使得成像尺寸及焦平面都发生变化。我们标定sensor对成像圆的感应范围，反馈到调对焦系统，自动调整镜头焦距，保证成像圆尺寸及位置不变，且对焦清晰。本方案相较于激光雷达等方案成本较低。
第二方面，本发明实施例还提供一种系统，包括装置和与该装置通讯连接的云平台，所述装置为第一方面所述的绘制地标地图的装置。
本发明所述系统的工作原理可参照前述装置实施例的描述。本发明的该实施例所述的系统，实现方式与上述实施例的装置相同，上述实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。
如图1和图7所示，本发明实施例还提供一种应用如第一方面所述的装置或第二方面所述的系统进行绘制地标地图的方法，该方法包括以下步骤：
S1、确定两个第一镜头1的基线距离b；
S2、图像传感器7获取两个第一镜头1所采集的图像，并将图像数据传递给图像处理模块8；
S3、图像处理模块8对两个第一镜头1接受到的图像进行预处理，得到预处理后的图像；
S4、对预处理后的图像进行识别分析；
S5、对图像中已识别的物体进行区分，再对物体特征点进行标注；
S6、采用数字算法消除图像径向和切向畸变，然后通过双目视觉测距原理对所标的特征点P进行测距而得到P点在镜头坐标系下的坐标值Pc(Xc，Yc，Zc)；
S7、通过GNSS差分定位得到镜头坐标系原点在世界坐标系中的坐标，然后再通过坐标转换计算出标记物体特征点的世界坐标，从而确定特征地标的地理位置；
S8、对前后两次定位数据进行前后比对，若误差小于预设范围，则取坐标平均值作为最终数据输出上传；若超出误差范围，则取消本次数据采集，进入下一轮采集；
S9、重复S1～S8的步骤，对物标进行建模绘制。
进一步地，所述的方法还包括如下步骤：
根据图像传感器7的图像数据进行白天和黑夜的判断，当图像的亮度值大于或等于预设亮度值时，则进入白天模式，此时控制模块9控制主动光发射模块5不开启；当图像的亮度值小于预设亮度值时，则进入黑夜模式，此时控制模块9控制主动光发射模块5开启。
环境光线由镜头进入，经由第一棱镜3、第二棱镜4反射到图像传感器7上(图像传感器可以为CCD或CMOS)。图像传感器7获取双目镜头所采集的图像，将数据传递给判断模块6，判断模块6判定此时为白天还是黑夜。
当判断模块6判定此时为白天及环境亮度足够，则进入白天模式，控制模块9控制主动光发射模块5不启动。不是单纯的打开照明光线，而是采用帧同步曝光手段形成(不刺眼)的暖光夜视。方法详解：在画面录制过程中，每一帧就是一个静态的画面，帧的时间有一小段是用来曝光的，而发光模块发的光仅在每一帧的曝光时间中发出极短时间的光，这样可以保证每一帧图像的图片都接受到足够的亮度，同时根据视觉暂留和能量平均原理，人在看到发光模块发出的光是比较柔和的，不刺眼，如图8所示，图8中，柱状为曝光时间，阴影部分为曝光时间中主动光发射模块5(补光模块)的发光时间。
当判断模块6判定此时为黑夜及环境亮度较弱，则进入黑夜模式，控制模块9控制主动光发射模块5启动。该模式下控制模块9控制主动光发射模块5启动，发射光线。该光线可以为红外光、EL光、LED光。
图像传感器7同时将两颗镜头的图像数据传递给图像处理模块8，图像处理模块8将左右第一镜头1接受到的图像进行分析处理。
图像处理模块8工作原理如图6所示，图像处理模块8由预处理模块、识别模块、标记模块、测距模块、位姿计算模块组成。
预处理模块：主要通过数据平滑进行图像降噪，改善图像质量。同时调整图像锐度和对比度，以便于后面识别特征地标，标记特征点。
识别模块：图像传感器同时将两颗镜头的图像数据传递给识别模块，识别模块左右镜头接受到的图像进行识别分析。主要识别例如车道线、道路标志、路牙、护栏、信号灯、路障等，并进行标记。
识别方法与过程如图9所示，首先将图像中的地标通过特征提取进行区分，再与图像数据库的图像特征进行比对，如果比对匹配，即识别成功，就将已识别的特征输出给图像标记模块，同时将该特征图像放入存储器中，经过深度生成对抗网络训练新的图像，最后一同放入图像特征库中，为后续图像识别使用。若未成功匹配，即识别失败，则上传到平台，通过管理员判别是否可以作为特征图像使用，若可以就在后续训练学习后再放入库中。此特征图像本地不保存。至此可提升识别模块的更新迭代能力，扩容图像特征库，增大图像识别准确性。
标记模块：对图像中已识别的物体进行区分，再对物体特征点进行标注,标注轮廓，[p1，p2，p3，p4，p5…]为轮廓框的特征点。
测距模块：标记后测距模块首先用数字算法消除图像径向和切向畸变。然后通过双目视觉测距原理对所标的点进行测距。测距方法如下：
如图10所示，假设Pc点(即P点)为其中一个特征点，以左右镜头中心连线方向为X轴方向，镜头前方(垂直方向)为Z方向，垂直于XZ轴方向为Y轴方向，以左镜头沿拍摄方向(沿Z轴正向)距离f(f为焦距)处为坐标原心，建立直角坐标系。基线B(baseline)即左镜头和右镜头之间的距离b。f与b在装置搭建好之后都是已知的。
p点在左镜头中的坐标为(xl,yl)，在右镜头中的坐标为(xr+b,yr)。
根据三角形相似定律：z/f＝y/yl＝y/yr＝x/xl＝(x-b)/xr；
即：x＝xl*b/(xl-xr),z＝b*f/(xl-xr),y＝b*y/(xl-xr)
令xl-xr＝d，d为视差；
又如图11，Pc点在其左右镜头成像面(焦平面)的坐标分别为上述的xr、xl，因此xr和xl可以通过成像面中与光轴的距离值获得。最后就可以得到P点在镜头坐标系下的坐标值Pc(Xc，Yc，Zc)。
位姿计算模块：通过GNSS差分模块对测距装置进行精准定位(经纬度+海拔)，以世界大地坐标系(WGS-84)为世界坐标系，经度此时通过坐标转换计算出标记物体特征点的世界坐标，即真实的地理位置。
匹配模块：将此时记录的汽车与各个车道、路标信息坐标与上一时间得到的坐标对比，如果误差在设定范围内，则取坐标平均值作为最终数据输出上传。若超出误差范围，则取消本次数据采集，进入下一轮采集。
较佳地，主动光发射模块5开启后采用的是进行帧同步曝光手段，主动光发射模块5发出的光线可以为红外光、EL光或LED光。
作为一种可优选实施方式，步骤S4中，对预处理后的图像进行识别分析，包括如下步骤：
步骤S41、对图像中的地标(物体)通过特征提取进行识别区分；
步骤S42、将识别后图像中的地标与图像特征库(图片数据库)的图像特征进行比对，如果比对匹配，即识别成功，那么就将已识别的特征输出给图像标记模块，同时将该特征图像保存至存储器中，并通过基于深度卷积生成对抗网络训练新的图像，之后将该特征图像与训练生成新的图像一同保存至图像特征库中，为后续图像识别使用；若未成功匹配，即识别失败，则上传到平台，通过管理员来判别是否可以作为特征图像使用，若是，则经过基于深度卷积生成对抗网络训练新的图像后再存入图像特征库。
通过管理员判别是否可以作为特征图像使用，若可以就在后续训练学习后再放入库中。此特征图像本地不保存。至此可提升识别模块的更新迭代能力，扩容图像特征库，增大图像识别准确性。
对图像中的物体进行识别区分，识别方式为通过已有的图像库加上利用卷积神经网络的深度学习生成新的图片与之进行比对、匹配。对已识别的特征图像再训练，放入图像特征库中扩充，以便增强设备识别度；同时对无法识别的特征图像进行上传，由管理员判别是否有用，进而筛选出有用的图片，后续放入库中，使用对抗卷积神经网络进行图片合成，并将其作为数据源应用于卷积神经网络的预测中(放入图像特征库)，能对此类型图片进行自动化识别，并解决了OpenCV等图像算法中对未预见图片无法处理的问题。
采用主动发射光源进行辅助标定，由双目单图像传感器摄像机获取图像，通过基于卷积网路神经的深度生成对抗网络学习识别方法的算法，对物标智能识别并进行特征点标记，利用双目立体视觉算法与GNSS差分定位模块(GNSS定位)配合，对特征物体定位。而后对前后两次定位的数据进行比对，若误差小于预设范围，则取坐标平均值，最后保存到地标数据库，建立地标地图。对前后两次定位的数据进行比对，若误差小于预设范围，则取坐标平均值，确保其地标地图精度较高。
进一步地，步骤S3中，对两个第一镜头1接受到的图像进行预处理，包括：通过数据平滑方法进行图像降噪，并调整图像锐度和对比度。
作为一种可优选实施方式，步骤S8具体为：
通过GNSS差分定位得到左镜头坐标系原点在世界坐标系中的坐标，特征点在左镜头坐标系中的坐标为Pc(Xc,Yc,Zc)，左镜头坐标与世界坐标的转换通过旋转矩阵R(R为3x3的正交矩阵)和一个平移向量t完成，具体如下：
齐次坐标为：
令
T为4x4方阵；
则Pc＝TPw，故标记特征点的世界坐标为Pw＝T-1Pc。
通过GNSS差分模块对测距装置进行精准定位(经纬度+海拔)，以世界大地坐标系(WGS-84)为世界坐标系，经度此时通过坐标转换计算出标记物体特征点的世界坐标，即真实的地理位置，从而确定特征地标的地理位置。
WGS-84坐标系(World Geodetic System一1984Coordinate System)：一种国际上采用的地心坐标系。坐标原点为地球质心，其地心空间直角坐标系的Z轴指向BIH(国际时间服务机构)1984.0定义的协议地球极(CTP)方向，X轴指向BIH 1984.0的零子午面和CTP赤道的交点，Y轴与Z轴、X轴垂直构成右手坐标系，称为1984年世界大地坐标系统。
本发明的该实施例所述的绘制地标地图的方法，与上述实施例中的装置、系统相同，上述实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。
本发明实施例的绘制地标地图的方法，有别于双目双图像传感器视觉装置，本发明只采用单传感器可实现同样功能，无需两颗图像传感器，成本方面要低于双目双传感器系统，相较于激光雷达等方案成本更低。
仅采用双目单传感器系统+GNSS定位模块即可绘制高精度地图，相比于主流绘制高精度地图系统，极大地降低了成本。解决目前特征图像(如交通标志、交通信号灯等)识别度不够等问题，通过深度学习对已识别地标进行再训练，经过深度学习训练新的图像，最后一同放入图像特征库中，为后续图像识别使用，增强图像识别能力。对前后两次定位的数据进行比对，若误差小于预设范围，则取坐标平均值，确保其地标地图精度较高。
本发明对双目图像的采集为同一时间，有别于双目单图像传感器分时采集系统，光学拍摄系统在实现双目立体拍摄时，传给处理器的数据只有一路，这样一来可以避免多路图像处理带来的处理压力以及多路数据图像画面不同步的问题，大幅降低对处理器的要求，节省了计算成本，同时也一定程度上降低了结构的复杂度。
本发明具有主动光发射模块，便于辅助标定；镜头可以通过接受到的环境亮度来确定是否开启主动光源，从而还可以起到降低功耗的作用。同时通过帧同步方法，既可以保证了每帧画面接受足够的亮度，又可以在夜间录制时，拍摄的物体不会过曝，同时对迎面的车辆中的人不会感到刺眼。
本发明在识别图像中，通过不断地自我学习，扩充自己的特征图像库，增强识别度，更加智能。本方案相较于激光雷达等方案成本较低。
该系统采用主动发射光源进行辅助标定，由双目单图像传感器摄像机获取图像，通过基于卷积网路神经的深度生成对抗网络学习识别方法的算法，对物标智能识别并进行特征点标记，再利用双目立体视觉算法与GNSS差分定位模块配合，对特征物体定位。而后对前后两次定位的数据进行比对，若误差小于预设范围，则取坐标平均值，最后保存到地标数据库，建立地标地图。同时可以调节装置的两镜头之间的距离，既便于安装也便于调节基线距离。
本发明的实施例还提供一种计算机可读存储介质，包括指令，当所述指令在计算机运行时，使得计算机执行上述各方法实施例所提供的方法。上述实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。
在本发明所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如单元的划分，仅仅是一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only-Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在不冲突的情况下，以上各实施例及实施例中的特征可以相互组合。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (18)
1.一种基于双目视觉绘制地标地图的装置，其特征在于，包括第一镜头(1)、第一棱镜(3)、第二棱镜(4)、图像传感器(7)、图像处理模块(8)和GNSS差分定位模组(10)；第一镜头(1)、第一棱镜(3)的数量均为两个，第一镜头(1)、第一棱镜(3)均沿第二棱镜(4)的中轴线对称设置，其中，位于第二棱镜(4)一侧的第一镜头(1)、第一棱镜(3)依次形成左侧光路，位于第二棱镜(4)另一侧的第一镜头(1)、第一棱镜(3)依次形成右侧光路，沿所述左侧光路的光线和沿所述右侧光路的光线均经第二棱镜(4)反射至图像传感器(7)，图像传感器(7)用于将获取双目镜头所采集的图像并将数据传递给图像处理模块(8)，图像处理模块(8)用于对图像传感器(7)所传送的图像数据进行分析处理，GNSS差分定位模组(10)用于通过GNSS差分定位得到镜头坐标系原点在世界坐标系中的坐标；
所述图像处理模块(8)包括：
预处理模块，用于对图像进行预处理，得到预处理后的图像；
识别模块，用于对预处理后的图像进行识别分析；
标记模块，用于对图像中已识别的物体进行区分并对图像中物体特征点进行标注；
测距模块，用于通过双目视觉测距原理对所标的特征点P进行测距而得到P点在镜头坐标系下的坐标值Pc(Xc，Yc，Zc)；
位姿计算模块，用于通过坐标转换计算出标记物体特征点的世界坐标，从而确定特征地标的地理位置。
2.根据权利要求1所述的基于双目视觉绘制地标地图的装置，其特征在于，还包括第二镜头(2)，所述第二镜头(2)的数量为两个，两个第二镜头(2)沿所述第二棱镜(4)的中轴线对称设置，其中，位于所述第二棱镜(4)一侧的第一镜头(1)、第二镜头(2)、第一棱镜(3)依次形成左侧光路，位于所述第二棱镜(4)另一侧的第一镜头(1)、第二镜头(2)、第一棱镜(3)依次形成右侧光路。
3.根据权利要求2所述的基于双目视觉绘制地标地图的装置，其特征在于，所述第二镜头(2)为定焦镜头。
4.根据权利要求2所述的基于双目视觉绘制地标地图的装置，其特征在于，所述第一镜头(1)由凹、凸镜组成，所述第二镜头(2)由凹、凸镜组成。
5.根据权利要求1所述的基于双目视觉绘制地标地图的装置，其特征在于，所述第一棱镜(3)和第二棱镜(4)均镀有增反膜。
6.根据权利要求1所述的基于双目视觉绘制地标地图的装置，其特征在于，所述图像传感器(7)为CCD或CMOS。
7.根据权利要求1所述的基于双目视觉绘制地标地图的装置，其特征在于，还包括旋钮(11)，所述旋钮(11)的数量均为两个，两个所旋钮(11)沿第二棱镜(4)的中轴线对称设置，所旋钮(11)用于调节两个所述第一镜头(1)的基线距离。
8.根据权利要求7所述的基于双目视觉绘制地标地图的装置，其特征在于，所述第二镜头(2)为变焦镜头，能够随着所述旋钮(17)调整所述基线距离时动态调整焦距。
9.根据权利要求1-8任一项所述的基于双目视觉绘制地标地图的装置，其特征在于，还包括主动光发射模块(5)、判断模块(6)和控制模块(9)，主动光发射模块(5)的数量均为两个，两个主动光发射模块(5)均沿第二棱镜(4)的中轴线对称设置，图像传感器(7)还用于将获取双目镜头所采集的图像传递给判断模块(6)，判断模块(6)用于根据图像传感器(7)的图像数据来进行白天和黑夜的判断，控制模块(9)用于根据判断结果来控制主动光发射模块(5)的开启和关闭。
10.根据权利要求9所述的基于双目视觉绘制地标地图的装置，其特征在于，所述主动光发射模块(5)发出的光线为红外光、EL光或LED光。
11.一种基于双目视觉绘制地标地图的系统，包括装置和与该装置通讯连接的云平台，其特征在于，所述装置为权利要求1-10任一项所述的基于双目视觉绘制地标地图的装置。
12.一种绘制地标地图的方法，其特征在于，应用于如权利要求1-10任一项所述的装置，所述方法包括以下步骤：
S1、确定两个第一镜头(1)的基线距离b；
S2、图像传感器(7)获取两个第一镜头(1)所采集的图像，并将图像数据传递给图像处理模块(8)；
S3、图像处理模块(8)对两个第一镜头(1)接受到的图像进行预处理，得到预处理后的图像；
S4、对预处理后的图像进行识别分析；
S5、对图像中已识别的物体进行区分，再对物体特征点进行标注；
S6、采用数字算法消除图像径向和切向畸变，然后通过双目视觉测距原理对所标的特征点P进行测距而得到P点在镜头坐标系下的坐标值Pc(Xc，Yc，Zc)；
S7、通过GNSS差分定位得到镜头坐标系原点在世界坐标系中的坐标，然后再通过坐标转换计算出标记物体特征点的世界坐标，从而确定特征地标的地理位置；
S8、对前后两次定位数据进行前后比对，若误差小于预设范围，则取坐标平均值作为最终数据输出上传；若超出误差范围，则取消本次数据采集，进入下一轮采集；
S9、重复S1～S8的步骤，对物标进行建模绘制。
13.根据权利要求12所述的方法，其特征在于，还包括如下步骤：
根据图像传感器(7)的图像数据进行白天和黑夜的判断，当图像的亮度值大于或等于预设亮度值时，则进入白天模式，此时控制模块(9)控制主动光发射模块(5)不开启；当图像的亮度值小于预设亮度值时，则进入黑夜模式，此时控制模块(9)控制主动光发射模块(5)开启。
14.根据权利要求13所述的方法，其特征在于，主动光发射模块(5)开启后采用的是进行帧同步曝光手段。
15.根据权利要求12所述的方法，其特征在于，步骤S4中，对预处理后的图像进行识别分析，包括如下步骤：
步骤S41、对图像中的地标通过特征提取进行识别区分；
步骤S42、将识别后图像中的地标与图像特征库的图像特征进行比对，如果比对匹配，即识别成功，那么就将已识别的特征输出给图像标记模块，同时将该特征图像保存至存储器中，并通过基于深度卷积生成对抗网络训练新的图像，之后将该特征图像与训练生成新的图像一同保存至图像特征库中，为后续图像识别使用；若未成功匹配，即识别失败，则上传到平台，通过管理员来判别是否可以作为特征图像使用，若是，则经过基于深度卷积生成对抗网络训练新的图像后再存入图像特征库。
16.根据权利要求12所述的方法，其特征在于，步骤S8具体为：
通过GNSS差分定位得到左镜头坐标系原点在世界坐标系中的坐标，特征点在左镜头坐标系中的坐标为Pc(Xc,Yc,Zc)，左镜头坐标与世界坐标的转换通过旋转矩阵R和一个平移向量t完成，R为3x3的正交矩阵，具体如下：
齐次坐标为：
令
T为4x4方阵；
则Pc＝TPw，故标记特征点的世界坐标为Pw＝T-1Pc。
17.根据权利要求12所述的方法，其特征在于，步骤S3中，对两个第一镜头(1)接受到的图像进行预处理，包括：通过数据平滑方法进行图像降噪，并调整图像锐度和对比度。
18.一种计算机可读存储介质，其特征在于，包括指令，当所述指令在计算机运行时，使得计算机执行如权利要求12至17任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010379670.4A CN113624244A (zh) | 2020-05-07 | 2020-05-07 | 基于双目视觉绘制地标地图的装置、系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010379670.4A CN113624244A (zh) | 2020-05-07 | 2020-05-07 | 基于双目视觉绘制地标地图的装置、系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113624244A true CN113624244A (zh) | 2021-11-09 |
Family
ID=78377078
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010379670.4A Pending CN113624244A (zh) | 2020-05-07 | 2020-05-07 | 基于双目视觉绘制地标地图的装置、系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113624244A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113822249A (zh) * | 2021-11-23 | 2021-12-21 | 山东信通电子股份有限公司 | 一种监测架空线路隐患位置的方法、设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014011315A1 (en) * | 2012-07-11 | 2014-01-16 | Raytheon Company | Point cloud construction with unposed cameras |
| CN105635720A (zh) * | 2016-01-19 | 2016-06-01 | 浙江大学 | 一种双镜头单传感器的立体视觉摄像机 |
| CN205812185U (zh) * | 2016-07-07 | 2016-12-14 | 丘志煌 | 一种双目单图像传感器的拍摄系统 |
| CN108801274A (zh) * | 2018-04-16 | 2018-11-13 | 电子科技大学 | 一种融合双目视觉和差分卫星定位的地标地图生成方法 |
| CN109154506A (zh) * | 2016-04-11 | 2019-01-04 | 大众汽车有限公司 | 用于确定第一地标的全局位置的方法和系统 |
| CN109743500A (zh) * | 2019-01-14 | 2019-05-10 | 深圳市同为数码科技股份有限公司 | 一种红外摄像机日夜模式的校准、切换方法及装置 |
-
2020
- 2020-05-07 CN CN202010379670.4A patent/CN113624244A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014011315A1 (en) * | 2012-07-11 | 2014-01-16 | Raytheon Company | Point cloud construction with unposed cameras |
| CN105635720A (zh) * | 2016-01-19 | 2016-06-01 | 浙江大学 | 一种双镜头单传感器的立体视觉摄像机 |
| CN109154506A (zh) * | 2016-04-11 | 2019-01-04 | 大众汽车有限公司 | 用于确定第一地标的全局位置的方法和系统 |
| CN205812185U (zh) * | 2016-07-07 | 2016-12-14 | 丘志煌 | 一种双目单图像传感器的拍摄系统 |
| CN108801274A (zh) * | 2018-04-16 | 2018-11-13 | 电子科技大学 | 一种融合双目视觉和差分卫星定位的地标地图生成方法 |
| CN109743500A (zh) * | 2019-01-14 | 2019-05-10 | 深圳市同为数码科技股份有限公司 | 一种红外摄像机日夜模式的校准、切换方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113822249A (zh) * | 2021-11-23 | 2021-12-21 | 山东信通电子股份有限公司 | 一种监测架空线路隐患位置的方法、设备 |
| CN113822249B (zh) * | 2021-11-23 | 2022-05-17 | 山东信通电子股份有限公司 | 一种监测架空线路隐患位置的方法、设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI703064B (zh) | 用於在不良照明狀況下定位運輸工具的系統和方法 | |
| CN109583415B (zh) | 一种基于激光雷达与摄像机融合的交通灯检测与识别方法 | |
| WO2019138678A1 (ja) | 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム | |
| CN112912920A (zh) | 用于2d卷积神经网络的点云数据转换方法和系统 | |
| JP2013232195A (ja) | ３ＤＧｅｏＡｒｃを用いた多モードデータの画像登録 | |
| CN106162144A (zh) | 一种用于夜视环境的视觉图像处理设备、系统和智能机器 | |
| CN114254696A (zh) | 基于深度学习的可见光、红外和雷达融合目标检测方法 | |
| KR20200071293A (ko) | 3차원 컬러 맵 기반의 측위 방법 및 장치 | |
| CN206611521U (zh) | 一种基于多传感器的车载环境识别系统及全方位视觉模块 | |
| CN105608417A (zh) | 交通信号灯检测方法及装置 | |
| CN106991378A (zh) | 基于深度的人脸朝向检测方法、检测装置和电子装置 | |
| US20230138487A1 (en) | An Environment Model Using Cross-Sensor Feature Point Referencing | |
| CN113643345A (zh) | 一种基于双光融合的多目道路智能识别方法 | |
| CN114969221A (zh) | 一种更新地图的方法及相关设备 | |
| CN110750153A (zh) | 一种无人驾驶车辆的动态虚拟化装置 | |
| WO2021181647A1 (ja) | 画像処理装置、画像処理方法、およびコンピュータ可読媒体 | |
| CN113624244A (zh) | 基于双目视觉绘制地标地图的装置、系统及方法 | |
| WO2020263982A1 (en) | Image based locationing | |
| US20240153120A1 (en) | Method to determine the depth from images by self-adaptive learning of a neural network and system thereof | |
| KR20220050386A (ko) | 맵 생성 방법 및 이를 이용한 이미지 기반 측위 시스템 | |
| CN107025636A (zh) | 结合深度信息的图像去雾方法及装置和电子装置 | |
| CN112001970A (zh) | 一种基于点线特征的单目视觉里程计方法 | |
| CN116222592B (zh) | 一种基于多源数据的高精地图生成方法及系统 | |
| Cristian et al. | Decision Making using Data Fusion for Wheelchair Navigation | |
| Jonasson et al. | Structured light based depth and pose estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211109 |