CN111238494B - 载具、载具定位系统及载具定位方法 - Google Patents

载具、载具定位系统及载具定位方法 Download PDF

Info

Publication number
CN111238494B
CN111238494B CN201910370531.2A CN201910370531A CN111238494B CN 111238494 B CN111238494 B CN 111238494B CN 201910370531 A CN201910370531 A CN 201910370531A CN 111238494 B CN111238494 B CN 111238494B
Authority
CN
China
Prior art keywords
dimensional
point cloud
static object
cloud data
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910370531.2A
Other languages
English (en)
Other versions
CN111238494A (zh
Inventor
许博钧
粘为博
吴依玲
林修宇
陈世昕
郑安凯
杨宗贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from TW108112604A external-priority patent/TWI754808B/zh
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN111238494A publication Critical patent/CN111238494A/zh
Application granted granted Critical
Publication of CN111238494B publication Critical patent/CN111238494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G06T3/06—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Abstract

本揭露提供一种载具、一种载具定位系统及一种载具定位方法。载具定位系统包括二维影像感测器、三维感测器及处理器。二维影像感测器用于得到二维影像资料；三维感测器用于得到三维点云资料；处理器耦合到该二维影像感测器以及该三维感测器，且至少配置成适用于：融合该二维影像资料以及该三维点云资料，以产生一三维影像资料；从该二维影像资料辨识至少一静态物件；根据该至少一静态物件的每一静态物件从该三维影像资料中得到该静态物件的三维点云资料；根据该静态物件的该三维点云资料，计算该载具的一载具相对坐标。

Description

载具、载具定位系统及载具定位方法
技术领域
本揭露是有关于一种载具、一种载具定位系统及一种载具定位方法。
背景技术
自动驾驶技术被期望能够改善驾驶安全与方便，以减轻驾驶负担。在自动驾驶方面，环境感知是一个必要的功能，它能够避免碰撞的发生，而精确的定位也是相当重要的，尤其在城市的环境中，多种复杂物件让车子行驶在城市道路上，容易造成定位误差。基于使用感测器的种类，载具定位的方法一般分为主动式感测与被动式感测。被动式感测器例如是摄影机(Camera)或全球定位系统(Global Positioning System；GPS)等，而主动式感测器例如是光达(LiDAR)感测器。然而，摄影机通过影像物件侦测模块能够辨别影像画面中的物体，却无法在三维空间中正确定位，因而无法正确定位载具的位置，造成定位误差。在一般的GPS定位方法中，若一载具在隧道或是室内停车场等区域，感测器会有因屏蔽问题而接收不到讯号，亦无法精准定位载具的位置等问题。LiDAR感测器能够侦测物体并且在三维空间中定位，但是无法辨识被侦测到的物体是何种类别。
传统自驾车行驶需使用预先建立的地图资讯，此地图资讯需要包含多样的道路资讯，例如道路边界、红绿灯、限速号志等，如此自驾车演算法才能让自驾车依照指定路线以及交通规则正确行驶。基本建立图资的方法是在载具上装载光达以及GPS，在道路上绕行后，离线迭合/整合光达点云(Point clouds)资讯(即，光达点云地图)与GPS坐标资讯(即，GPS坐标地图)。然而，自驾车的定位精准度需求需在误差10公分以下，当自驾车在行驶时，将 LiDAR感测器得到的即时的大量点云资讯与内建的光达点云地图进行比对，得到定位资讯；然而，大量点云资讯中包含冗余资讯，例如，动态行驶的车辆、行人或是停在路边的车辆等资讯，容易造成比对误差以及增加运算量。
因此，如何在现有的定位技术中，克服摄影机的影像物件侦测的定位误差以及LiDAR感测器的大量点云资讯的运算量问题，已成为极欲解决的课题。
发明内容
有鉴于此，本揭露提供一种载具、载具定位系统及载具定位方法，其可用于解决上述技术问题。
本揭露提供一种载具定位系统，配置于一载具上。载具定位系统包括二维影像感测器、三维感测器及处理器。二维影像感测器，用于得到一二维影像资料；三维感测器，用于得到一三维点云资料；以及处理器耦合到该二维影像感测器以及该三维感测器，且至少配置成适用于：一对齐模块，用以融合该二维影像资料以及该三维点云资料，以产生一三维影像资料；一静态物件辨识模块从该二维影像资料辨识至少一静态物件，以根据该至少一静态物件的每一静态物件，从该三维影像资料中得到该静态物件的一三维点云资料；以及一定位模块根据该静态物件的该三维点云资料，计算该载具的一载具相对坐标。
本揭露提供一种载具定位方法，适用于配置在一载具的一载具定位系统。所述方法包括：得到一二维影像资料；得到一三维点云资料；融合该二维影像资料以及该三维点云资料，以产生一三维影像资料；从该二维影像资料辨识至少一静态物件；根据该至少一静态物件的每一静态物件，从该三维影像资料中得到该静态物件的一三维点云资料；以及根据该静态物件的该三维点云资料，计算该载具的一载具相对坐标。
本揭露提供一种载具，配置一载具定位系统于该载具。载具包括二维影像感测器、三维感测器及处理器。处理器耦合到该二维影像感测器以及该三维感测器，且至少配置成适用于：一对齐模块，用以融合该二维影像资料以及该三维点云资料，以产生一三维影像资料；一静态物件辨识模块，从该二维影像资料辨识至少一静态物件，以根据该至少一静态物件的每一静态物件，从该三维影像资料中得到该静态物件的一三维点云资料；以及一定位模块，根据该静态物件的该三维点云资料，计算该载具的一载具相对坐标。
基于上述，本揭露提出的载具、载具定位系统及载具定位方法可让载具结合二维影像感测器以及三维感测器两种异质感测器得到三维影像资料，并辨识出二维影像资料静态物件后，从三维影像资料中得到每一静态物件的三维点云资料，并可计算得到载具与静态物件的载具相对坐标，进而达到载具定位。
为让本揭露的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
附图说明
图1是依据本揭露的一实施例绘示的载具定位系统示意图。
图2是依据本揭露的一实施例，说明将二维影像资料与三维点云资料进行对齐处理的示意图。
图3是依据本揭露的一实施例，说明从二维影像资料辨识出静态物件的示意图。
图4是依据图3的实施例，说明辨识每一静态物件后，从三维影像资料中得到每一静态物件的三维点云资料的示意图。
图5是依照本揭露的一实施例，说明载具定位系统的运作的流程示意图。
图6是依照本揭露的一实施例，说明一载具可直接或间接与载具定位系统通讯示意图。
符号说明
100 载具定位系统
102 二维影像感测器
104 三维感测器
106 处理器
108 储存电路
110 对齐模块
112 静态物件辨识模块
114 定位模块
600 载具
602 二维影像感测器
604 三维感测器
606 处理器
608 储存器
S501、S503、S505、S507、S509、S511 载具定位系统运作的步骤。
具体实施方式
图1是依据本揭露的一实施例绘示的载具定位系统示意图。请参照图1 的实施例中，载具定位系统100配置在载具上执行，然而本发明不限于此。本文中所揭示的载具定位系统100、方法等可在替代环境中实施以侦测在车流、视野等等中的物件。举例而言，本文中所描述的一或多个功能可以以下各项实施：电子器件、移动器件、游戏主机、汽车系统控制台(例如，ADAS)、可穿戴式器件(例如，个人佩戴式摄影机)、头戴式显示器等等。额外实施例包括但不限于机器人或机器人器件、无人航空载具(UAV)及遥控飞机。在图1 的实施例中，载具定位系统100的载具可以是机动车辆(例如，汽车、卡车、机车、巴士或火车)、船舶(例如，船或艇)、航空器(例如，飞机或直升飞机)、太空船(例如，太空梭)、脚踏车或另一运载工具。作为说明性实施例，载具可以是轮式运载工具、履带式运载工具、轨式运载工具、空中运载工具或滑撬式运载工具。在一些情形中，载具可由一或多个驾驶者操作。举例而言，载具可包括经组态以提供载具的驾驶者作为辅助的进阶驾驶辅助系统(ADAS)。在其他情形中，载具可以是电脑控制的运载工具。此外，尽管图1的实施例中的载具定位系统100在载具处执行，但在其他实施例中，本文中所揭示的载具定位系统100可在「云端」或在载具的外部执行。举例而言，载具或其他电子器件可将位置资料及/或图像资料提供至另一器件以执行载具定位。
载具定位系统100包含一或多个二维影像感测器102、一或多个三维感测器104、一处理器106以及一储存电路108。在以下的实施例中，图1的载具定位系统100配置于载具上，但本揭露内容不以此为限，储存电路108也可不限于包含在载具定位系统100中。
二维影像感测器102为能够撷取影像的影像撷取装置、摄像装置或摄影机，例如感光耦合元件(Charge Coupled Device；CCD)摄影机及/或互补性氧化金属半导体(Complementary Metal-Oxide Semiconductor；CMOS)摄影机。由于二维影像感测器102可分别设置于载具的不同位置，因此能够撷取到不同角度、不同视野范围的影像，例如可依据需要设置前摄像装置、侧摄像装置及后摄像装置。
二维影像感测器102得到一二维影像资料。二维影像感测器102可将二维影像资料提供至处理器106。二维影像感测器102可持续地、周期性地或偶尔地撷取图像且可将图像(例如，二维影像资料)载入至储存电路108。
三维感测器104为能够侦测载具与外部物体之间的距离的感测器，例如光达感测器(LiDAR感测器)，三维感测器104可得到扫描范围内有关于反射物体的光讯号以得到三维点云资料。三维感测器104可持续地、周期性地或偶尔地撷取三维点云资料载入至储存电路108。三维感测器104可将三维点云资料提供至处理器106，其中每个三维点云资料可包含有关于载具与反射物体的距离资讯，其中每一三维点云资料资料包含空间的位置(X,Y,Z)资讯。三维感测器104，如LiDAR感测器，能在较不受光照的影响的下量测载具与反射物体/物件(object)的距离资讯。
处理器106耦合到二维影像感测器102以及三维感测器104，并接收二维影像资料以及三维点云资料。在一实施例中，处理器106可自储存电路108 撷取二维影像资料以及三维点云资料。为了说明，储存电路108或其部分可经组态以储存自二维影像感测器102接收的二维影像资料以及自三维感测器 104接收的三维点云资料，充当二维影像感测器102与三维感测器104接收资料的循环式缓冲器。
在一实施例中，处理器106可包括对齐模块110、静态物件辨识模块112 以及定位模块114。对齐模块110、静态物件辨识模块112以及定位模块114 可以是对应于载具的硬件组件、由处理器106执行的软件(例如，指令)或是前述硬件组件与软件的组合。
载具定位系统100可以预先储存一预设地图资讯于储存电路108中，该预设地图资讯包含路段的起、终点坐标、车道宽、车道数、道路航向角度、道路曲率与路段长等路面资讯，该预设地图资讯包含经由三维感测器104，例如LiDAR感测器，所取得的三维点云资讯以及经由GPS所取得的GPS绝对坐标(absolute coordinate)资讯。预设地图资讯更可以经过RTK(Real-Time Kinematic，即时动态定位)修正后，经过坐标转换而投影在一绝对坐标系统上。
储存电路108例如是存储体、硬盘或是其他任何可用于储存资料的元件，而可用来记录或储存多个模块，其中各模块是由一或多个程式码片段所组成。处理器106耦接储存电路108，并可藉由存取储存电路108中的模块来分别执行本揭露所提出的载具定位方法的各个步骤。在不同的实施例中，处理器 106可以是一般用途处理器、特殊用途处理器、传统的处理器、数位讯号处理器、多个微处理器(microprocessor)、一个或多个结合数位讯号处理器核心的微处理器、控制器、微控制器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列电路(Field Programmable Gate Array， FPGA)、任何其他种类的集成电路、状态机、高级精简指令集计算机(Advanced RISC Machine，ARM)的处理器以及类似品。
对齐模块110将二维影像感测器102取得的二维影像资料，以及三维感测器104取得的三维点云资料，藉由一对齐演算法融合二维影像资料与三维点云资料以得出一三维影像资料。三维影像资料包含了每一影像像素的颜色资讯(例如，RGB资料)以及深度资料(例如，位置(X,Y,Z)资料)，所以此三维影像资料包含了RGBXYZ的影像资料。其中，在一实施例中，说明融合二维影像资料与三维点云资料的对齐演算法，假设三维点云资料表示为(x,y,z)，二维影像资料的像素点为(u,v)，根据下列公式将三维点云资料(x,y,z)映射到二维影像资料的像素点为(u,v)，对齐演算法公式如下所示：
Figure BDA0002049785260000061
Figure BDA0002049785260000062
Figure BDA0002049785260000063
其中，fu、fv分别为水平以及垂直方向的焦距；u0、v0为影像平面的中心点；求得转化矩阵M将三维点云资料(x,y,z)映射到二维影像资料的像素点 (u,v)；R与T分别为旋转矩阵以及平移向量。
图2是依据本揭露的一实施例，说明将二维影像资料与三维点云资料进行对齐处理的示意图。请同时参照图1与图2，其通过二维影像感测器102 取得的二维影像资料影像(图2的背景影像)，以及通过三维感测器104取得的三维点云资料(请参考图2的点状影像)，通过对齐演算法，将二维影像资料与三维点云资料融合的三维影像资料影像，如图2所示。
二维影像感测器102取得的二维影像资料，静态物件辨识模块112可判定与辨识二维影像资料的至少一静态物件。举例来说，静态物件辨识模块112 可包含专门侦测静态物件的深度学习模块，辨识静态物件的类别，例如，道路号志、建筑物、变电箱、马路、人行道、桥梁、树木、电线杆、纽泽西护栏等等，而静态物件辨识模块112的深度学习模块或深度神经网路(Deep Neural Network)通过影像辨识演算法来辨识影像中的静态物件，目前已有习知的物件辨识演算法，例如物件轮廓追踪演算法，在此不赘述。其中，静态物件辨识模块112侦测静态物件的搜寻窗(search window)可对应于物件的模型、边框或定界框(boundingbox；BB)等。图3是依据本揭露的一实施例，说明从二维影像资料辨识出静态物件的示意图。请参照图3，通过静态物件辨识演算法，辨识二维影像资料中的每一静态物件，且由定界框标示二维影像资料中的每一静态物件，如图3的定界框，每一定界框包含每一静态物件的资讯，例如，标示物件类别、物件长度、物件宽度、以及于二维影像资料中的位置等资讯。
当得到二维影像资料中的每一静态物件后，即可根据上述每一静态物件的资讯(例如，类别、长度、宽度以及位置等资讯)，从三维影像资料中得到每一静态物件的三维点云资料(X,Y,Z资料)，其中，每一静态物件对应于三维影像资料中的是物件的大小，因此，每一静态物件可以包含多个三维点云资料 (深度资讯)。图4是依据图3的实施例，说明辨识每一静态物件后，从三维影像资料中得到每一静态物件的三维点云资料的示意图。请参照图3与图4，根据图3定界框标示的每一静态物件(包含交通号志、路灯以及马路)的资讯，对应得到在三维影像资料中每一静态物件的三维点云资料。
接着，当载具上的载具定位系统100得到每一静态物件的三维点云资料，如此，载具定位系统100的定位模块114则可根据静态物件的三维点云资料，通过定位演算法，例如，三点定位演算法或是将目前的三维点云资料与地图点云资料进行迭代比对，通过最佳化计算载具点云资料与至少一静态物件的三维点云资料的最小均方距离(mean squareddistances；MSD)，计算得到载具与静态物件的载具相对坐标，进而达到载具定位。在一实施例中，可以将上述的载具相对坐标映(mapping)至于预先储存的预设地图资讯，由于该预设地图资讯包含3D点云资讯以及GPS绝对坐标资讯，因此，通过载具相对坐标与预设地图资讯进行坐标定义与转换，如此可得到载具的三维载具绝对坐标。
在另一实施例中，更可以将每一静态物件的三维点云资料对映(mapping) 至预先储存预设地图资讯，由于该预设地图资讯包含3D点云资讯以及GPS 绝对坐标资讯，因此，通过静态物件的三维点云资料与预设地图资讯的静态三维物件做比对，以得到静态物件的一三维物件绝对坐标，如此可推得载具位于预设地图资讯的位置，进而得出载具的三维载具绝对坐标。
在本揭露一实施例中，二维影像感测器102取得的二维影像资料一般只能基于物体表面的反射特性，提供以真实世界投影在影像平面上的资讯，来获得物体的轮廓、边界、纹理等特征，所以以二维资讯为基础的辨识演算法来辨识出实际的三维物体时，无法将物件在三维空间中定位在正确位置上，而存在着无法正确定位载具位置的问题。而三维感测器104能够得到物件的三维点云资料，但是无法辨识物件是属于何种类别，而造成过于庞大的三维点云资料的运算量。因此，结合二维影像感测器102以及三维感测器104此两种异质感测器的特性与优势，并且通过侦测静态物件的三维点云资料能进行载具的即时定位。
本揭露通过静态物件辨识模块112辨识静态物件而非辨识动态物件，是因为相较于动态物件，静态物件能够更容易被侦测与辨识，静态物件的形状与颜色的变化通常也较动态物件少，因此静态物件辨识模块112只需要较少的训练资料与较低的模型复杂度即可达到不错的静态物件辨识率。如此，结合二维影像感测器102的二维影像资料以及三维感测器104的三维点云资料，通过静态物件辨识模块112辨识每一静态物件，并得到每一静态物件的三维点云资料，进而计算得到载具与静态物件的载具相对坐标，达到载具定位。
图5是依照本揭露的一实施例，说明载具定位系统的运作的流程示意图。
请参照图5，在步骤S501，二维影像感测器102得到二维影像资料，其中此二维影像资料包括至少一静态物件的场景。在步骤S503，三维感测器104 得到三维点云资料。在步骤S505，对齐模块110藉由对齐演算法融合二维影像资料与三维点云资料以得到一三维影像资料。在步骤S507，静态物件辨识模块112从二维影像资料辨识至少一静态物件。在步骤S509，根据每一静态物件从三维影像资料中得到每一静态物件的三维点云资料。在步骤S511，定位模块114根据静态物件的三维点云资料计算载具的载具相对坐标，其中可通过一定位演算法，根据静态物件的三维点云资料计算载具于三维影像资料的三维载具相对坐标。
图6是依照本揭露的一实施例，说明载具600可直接(direct)或间接 (indirect)与载具定位系统通讯示意图。图6的载具定位系统的处理器606与储存器608可设置于载具600上或设置于载具600远端的另一地点/位置。假设载具定位系统的处理器606与储存器608设置于远端，则载具600则具有与远端的处理器606与储存器608通讯的能力。在本实施例中，载具600为一汽车，但本揭露并不以此为限。
一或多个二维影像感测器602以及一或多个三维感测器604设置于载具 600。在本实施例中，载具定位系统可执行如上述图1至图4的功能与运算，将载具600的二维影像感测器602得到的二维影像资料对齐于三维感测器604 撷取的三维点云资料已得到三维影像资料，并根据二维影像资料的每一静态物件从三维影像资料中得到每一静态物件的三维点云资料，进而通过静态物件的三维点云资料计算载具的载具相对坐标，达到载具定位。
综上所述，本揭露提出的载具、载具定位系统及载具定位方法可使载具结合二维影像感测器以及三维感测器此两种异质感测器得到三维影像资料，并且在辨识出二维影像资料的静态物件后，从三维影像资料中得到每一静态物件的三维点云资料，并且可计算得到载具与静态物件的载具相对坐标，进而对映(mapping)至预设的地图资讯得到载具相对坐标，达到载具定位。藉此，可使载具通过专门侦测静态物件的深度学习模型，缩短静态物件影像辨识时间，且只需要静态物件的三维点云资料，所以进而降低三维点云资料的运算量，而达到载具的精准定位。
虽然本揭露已以实施例揭露如上，然其并非用以限定本揭露，任何所属技术领域中具有通常知识者，在不脱离本揭露的精神和范围内，当可作些许的更动与润饰，故本揭露的保护范围当视权利要求书所界定的为准。

Claims (16)

1.一种载具定位系统，配置于一载具上，其特征在于，该载具定位系统包括：
一二维影像感测器，用于得到一二维影像资料；
一三维感测器，用于得到一三维点云资料；以及
一处理器，耦合到该二维影像感测器以及该三维感测器，且至少配置成适用于：
一对齐模块，将该三维点云资料映射到该二维影像资料的像素点以融合该二维影像资料以及该三维点云资料，以产生一三维影像资料；
一静态物件辨识模块，从该二维影像资料辨识至少一静态物件，以根据该至少一静态物件的每一静态物件，从该三维影像资料中得到该静态物件的一三维点云资料；以及
一定位模块，根据该静态物件的该三维点云资料，将该三维点云资料与地图点云资料迭代地比对，计算该载具的载具点云资料与该至少一静态物件的该三维点云资料的最小均方距离，以得到该载具的一载具相对坐标。
2.根据权利要求1所述的载具定位系统，其特征在于，该载具相对坐标对映至预先储存于一储存电路的一预设地图资讯，以得到该载具的一三维载具绝对坐标。
3.根据权利要求1所述的载具定位系统，其特征在于，该静态物件的该三维点云资料对映至预先储存于一储存电路的一预设地图资讯，以得到该静态物件的一三维物件绝对坐标。
4.根据权利要求3所述的载具定位系统，其特征在于，该定位模块根据该静态物件的该三维物件绝对坐标，计算该载具的三维载具绝对坐标。
5.根据权利要求1所述的载具定位系统，其特征在于，该二维影像感测器为一感光耦合元件摄影机或一互补性氧化金属半导体摄影机。
6.根据权利要求1所述的载具定位系统，其特征在于，该三维感测器为一光达感测器。
7.一种载具定位方法，适用于配置在一载具的一载具定位系统，其特征在于，所述方法包括：
得到一二维影像资料；
得到一三维点云资料；
将该三维点云资料映射到该二维影像资料的像素点以融合该二维影像资料以及该三维点云资料，以产生一三维影像资料；
从该二维影像资料辨识至少一静态物件；
根据该静态物件从该三维影像资料中得到该静态物件的一三维点云资料；以及
根据该静态物件的该三维点云资料，将该三维点云资料与地图点云资料迭代地比对，计算该载具的载具点云资料与该至少一静态物件的该三维点云资料的最小均方距离，以得到该载具的一载具相对坐标。
8.根据权利要求7所述的载具定位方法，其特征在于，该方法更包括将该载具相对坐标对映至预先储存的一预设地图资讯，以得到该载具的一三维载具绝对坐标。
9.根据权利要求7所述的载具定位方法，其特征在于，该方法更包括将该静态物件的该三维点云资料对映至预先储存的一预设地图资讯，以得到该静态物件的一三维物件绝对坐标。
10.根据权利要求9所述的载具定位方法，其特征在于，该方法更包括根据该静态物件的该三维物件绝对坐标，计算该载具的三维载具绝对坐标。
11.一种载具，配置一载具定位系统于该载具，其特征在于，包括：
一二维影像感测器，用于得到一二维影像资料；
一三维感测器，用于得到一三维点云资料；以及
一处理器，耦合到该二维影像感测器以及该三维感测器，且至少配置成适用于：
一对齐模块，将该三维点云资料映射到该二维影像资料的像素点以融合该二维影像资料以及该三维点云资料，以产生一三维影像资料；
一静态物件辨识模块，从该二维影像资料辨识至少一静态物件，以根据该至少一静态物件的每一静态物件，从该三维影像资料中得到该静态物件的一三维点云资料；以及
一定位模块，根据该静态物件的该三维点云资料，将该三维点云资料与地图点云资料迭代地比对，计算该载具的载具点云资料与该至少一静态物件的该三维点云资料的最小均方距离，以得到该载具的一载具相对坐标。
12.根据权利要求11所述的载具，其特征在于，该载具相对坐标对映至预先储存于一储存电路的一预设地图资讯，以得到该载具的一三维载具绝对坐标。
13.根据权利要求11所述的载具，其特征在于，该静态物件的该三维点云资料对映至预先储存于一储存电路的一预设地图资讯，以得到该静态物件的一三维物件绝对坐标。
14.根据权利要求13所述的载具，其特征在于，该定位模块根据该静态物件的该三维物件绝对坐标，计算该载具的一三维载具绝对坐标。
15.根据权利要求11所述的载具，其特征在于，该二维影像感测器为一感光耦合元件摄影机或一互补性氧化金属半导体摄影机。
16.根据权利要求11所述的载具，其特征在于，该三维感测器为一光达感测器。
CN201910370531.2A 2018-11-29 2019-05-06 载具、载具定位系统及载具定位方法 Active CN111238494B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862773124P 2018-11-29 2018-11-29
US62/773,124 2018-11-29
TW108112604 2019-04-11
TW108112604A TWI754808B (zh) 2018-11-29 2019-04-11 載具、載具定位系統及載具定位方法

Publications (2)

Publication Number Publication Date
CN111238494A CN111238494A (zh) 2020-06-05
CN111238494B true CN111238494B (zh) 2022-07-19

Family

ID=70849764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910370531.2A Active CN111238494B (zh) 2018-11-29 2019-05-06 载具、载具定位系统及载具定位方法

Country Status (3)

Country Link
US (1) US11024055B2 (zh)
JP (1) JP7073315B2 (zh)
CN (1) CN111238494B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018209607A1 (de) * 2018-06-14 2019-12-19 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bestimmen einer Position eines Kraftfahrzeugs
CN110148196B (zh) * 2018-09-12 2022-03-25 腾讯大地通途（北京）科技有限公司 一种图像处理方法、装置以及相关设备
DE102018221625A1 (de) * 2018-12-13 2020-06-18 Robert Bosch Gmbh Transfer von Zusatzinformation zwischen Kamerasystemen
EP3749976A4 (en) * 2019-01-30 2021-08-18 Baidu.com Times Technology (Beijing) Co., Ltd. DEEP LEARNING FEATURES EXTRACTION FOR LIDAR LOCALIZATION OF AUTONOMOUS DRIVING VEHICLES
KR20210071584A (ko) * 2019-12-06 2021-06-16 팅크웨어(주) 위성 항법 시스템 측정 위치의 보정을 통해 위치를 판단하는 위치 측정 방법, 위치 측정 장치 및 이를 수행하는 전자 기기
US11790555B2 (en) * 2020-01-17 2023-10-17 Electronics And Telecommunications Research Institute System and method for fusion recognition using active stick filter
CN111787301A (zh) * 2020-06-15 2020-10-16 广东朗呈医疗器械科技有限公司 镜头、三维成像方法、装置、设备及存储介质
WO2021253149A1 (zh) * 2020-06-15 2021-12-23 广东朗呈医疗器械科技有限公司 镜头、三维成像模组、设备、方法、装置及存储介质
US11222215B1 (en) * 2020-07-13 2022-01-11 Toyota Motor Engineering & Manufacturing North America, Inc. Identifying a specific object in a two-dimensional image of objects
CN112200868A (zh) * 2020-09-30 2021-01-08 深兰人工智能(深圳)有限公司 定位方法、装置和车辆
TWI758980B (zh) * 2020-11-30 2022-03-21 財團法人金屬工業研究發展中心 移動載具的環境感知裝置與方法
CN112666569B (zh) * 2020-12-01 2023-03-24 天津优控智行科技有限公司 一种无人驾驶系统激光雷达连续点云的压缩方法
US20220180131A1 (en) * 2020-12-04 2022-06-09 Caterpillar Inc. Intelligent lidar scanning
AU2021102368A4 (en) * 2021-01-22 2021-06-24 4AI Systems Holdings Pty Ltd A Sensor Device for Vehicles
CN112800159B (zh) 2021-01-25 2023-10-31 北京百度网讯科技有限公司 地图数据处理方法及装置
CN113064193B (zh) * 2021-03-25 2022-12-16 上海智能新能源汽车科创功能平台有限公司 一种基于车路云协同的组合定位系统
US20230126833A1 (en) * 2021-10-21 2023-04-27 Argo AI, LLC System and method for simultaneous online lidar intensity calibration and road marking change detection
CN115330923B (zh) * 2022-08-10 2023-11-14 小米汽车科技有限公司 点云数据渲染方法、装置、车辆、可读存储介质及芯片

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102072725A (zh) * 2010-12-16 2011-05-25 唐粮 一种基于激光点云和实景影像进行空间三维测量的方法
CN104268935A (zh) * 2014-09-18 2015-01-07 华南理工大学 一种基于特征的机载激光点云与影像数据融合系统及方法
CN105512646A (zh) * 2016-01-19 2016-04-20 腾讯科技（深圳）有限公司 一种数据处理方法、装置及终端
WO2016185637A1 (ja) * 2015-05-20 2016-11-24 三菱電機株式会社 点群画像生成装置および表示システム
CN106932780A (zh) * 2017-03-14 2017-07-07 北京京东尚科信息技术有限公司 物体定位方法、装置和系统
CN108151750A (zh) * 2017-12-13 2018-06-12 西华大学 定位方法及装置
CN108196535A (zh) * 2017-12-12 2018-06-22 清华大学苏州汽车研究院（吴江） 基于增强学习和多传感器融合的自动驾驶系统
CN108225334A (zh) * 2018-01-17 2018-06-29 泰瑞天际科技(北京)有限公司 一种基于三维实景数据的定位方法及装置
JP2018180181A (ja) * 2017-04-10 2018-11-15 凸版印刷株式会社 レーザ走査装置

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101319471B1 (ko) * 2008-08-29 2013-10-17 미쓰비시덴키 가부시키가이샤 부감 화상 생성장치, 부감 화상 생성방법 및 기록매체
TW201110928A (en) 2009-09-16 2011-04-01 Univ Chang Gung Optical tracking apparatus and its positioning method
TWI403690B (zh) 2009-10-26 2013-08-01 Ind Tech Res Inst 自我定位裝置及其方法
TWI431250B (zh) 2011-03-01 2014-03-21 Navigation device for integrating traffic image recording and navigation information
JP6233706B2 (ja) 2013-04-02 2017-11-22 パナソニックＩｐマネジメント株式会社 自律移動装置及び自律移動装置の自己位置推定方法
EP2983955B1 (en) 2013-04-11 2019-06-05 Waymo Llc Methods and systems for detecting weather conditions using vehicle onboard sensors
TWI535589B (zh) 2013-09-24 2016-06-01 Active automatic driving assistance system and method
JP6381100B2 (ja) * 2013-11-07 2018-08-29 株式会社環境総合テクノス ３次元路面下診断システムおよび３次元路面下診断方法
TWI534764B (zh) 2014-01-10 2016-05-21 財團法人工業技術研究院 車輛定位裝置與方法
US10061027B2 (en) 2014-02-25 2018-08-28 Adsys Controls, Inc. Laser navigation system and method
GB201409625D0 (en) 2014-05-30 2014-07-16 Isis Innovation Vehicle localisation
US20160047888A1 (en) 2014-08-15 2016-02-18 Richard D. Roberts Vehicle positioning
US9378554B2 (en) * 2014-10-09 2016-06-28 Caterpillar Inc. Real-time range map generation
JP6284240B2 (ja) * 2015-02-03 2018-02-28 国立大学法人 東京大学 構造物情報提供システム
US9715016B2 (en) * 2015-03-11 2017-07-25 The Boeing Company Real time multi dimensional image fusing
US10121082B2 (en) 2015-10-07 2018-11-06 Honda Motor Co., Ltd. System and method for providing laser camera fusion for identifying and tracking a traffic participant
JP6682833B2 (ja) 2015-12-04 2020-04-15 トヨタ自動車株式会社 物体認識アルゴリズムの機械学習のためのデータベース構築システム
CN105676643B (zh) 2016-03-02 2018-06-26 厦门大学 一种智能汽车转向和制动自适应协调控制方法
WO2017159382A1 (ja) 2016-03-16 2017-09-21 ソニー株式会社 信号処理装置および信号処理方法
JP6368959B2 (ja) 2016-05-19 2018-08-08 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
CN106097348B (zh) * 2016-06-13 2019-03-05 大连理工大学 一种三维激光点云与二维图像的融合方法
CN105928457B (zh) * 2016-06-21 2019-10-11 大连理工大学 一种全向三维激光彩色扫描系统及其方法
JP7050683B2 (ja) * 2016-08-26 2022-04-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元情報処理方法及び三次元情報処理装置
CN106407947B (zh) 2016-09-29 2019-10-22 百度在线网络技术（北京）有限公司 用于无人驾驶车辆的目标物体识别方法和装置
CN106707293B (zh) 2016-12-01 2019-10-29 百度在线网络技术（北京）有限公司 用于车辆的障碍物识别方法和装置
US10078334B2 (en) 2016-12-07 2018-09-18 Delphi Technologies, Inc. Vision sensing compensation
US10754035B2 (en) 2017-01-17 2020-08-25 Aptiv Technologies Limited Ground classifier system for automated vehicles
US20180211119A1 (en) 2017-01-23 2018-07-26 Ford Global Technologies, Llc Sign Recognition for Autonomous Vehicles
WO2018138584A1 (en) * 2017-01-26 2018-08-02 Mobileye Vision Technologies Ltd. Vehicle navigation based on aligned image and lidar information
US10659768B2 (en) * 2017-02-28 2020-05-19 Mitsubishi Electric Research Laboratories, Inc. System and method for virtually-augmented visual simultaneous localization and mapping
CN107194983B (zh) * 2017-05-16 2018-03-09 华中科技大学 一种基于点云与影像数据的三维可视化方法和系统
US10854011B2 (en) * 2018-04-09 2020-12-01 Direct Current Capital LLC Method for rendering 2D and 3D data within a 3D virtual environment
US10726567B2 (en) * 2018-05-03 2020-07-28 Zoox, Inc. Associating LIDAR data and image data
CN108622093B (zh) 2018-05-04 2020-08-04 奇瑞汽车股份有限公司 智能车辆的车道保持控制方法及装置
CN108830159A (zh) 2018-05-17 2018-11-16 武汉理工大学 一种前方车辆单目视觉测距系统及方法
DE102018209607A1 (de) * 2018-06-14 2019-12-19 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bestimmen einer Position eines Kraftfahrzeugs

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102072725A (zh) * 2010-12-16 2011-05-25 唐粮 一种基于激光点云和实景影像进行空间三维测量的方法
CN104268935A (zh) * 2014-09-18 2015-01-07 华南理工大学 一种基于特征的机载激光点云与影像数据融合系统及方法
WO2016185637A1 (ja) * 2015-05-20 2016-11-24 三菱電機株式会社 点群画像生成装置および表示システム
CN105512646A (zh) * 2016-01-19 2016-04-20 腾讯科技（深圳）有限公司 一种数据处理方法、装置及终端
CN106932780A (zh) * 2017-03-14 2017-07-07 北京京东尚科信息技术有限公司 物体定位方法、装置和系统
JP2018180181A (ja) * 2017-04-10 2018-11-15 凸版印刷株式会社 レーザ走査装置
CN108196535A (zh) * 2017-12-12 2018-06-22 清华大学苏州汽车研究院（吴江） 基于增强学习和多传感器融合的自动驾驶系统
CN108151750A (zh) * 2017-12-13 2018-06-12 西华大学 定位方法及装置
CN108225334A (zh) * 2018-01-17 2018-06-29 泰瑞天际科技(北京)有限公司 一种基于三维实景数据的定位方法及装置

Also Published As

Publication number Publication date
JP2020085886A (ja) 2020-06-04
US11024055B2 (en) 2021-06-01
CN111238494A (zh) 2020-06-05
JP7073315B2 (ja) 2022-05-23
US20200175720A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
CN111238494B (zh) 载具、载具定位系统及载具定位方法
US10684372B2 (en) Systems, devices, and methods for autonomous vehicle localization
US10943355B2 (en) Systems and methods for detecting an object velocity
EP3361278B1 (en) Autonomous vehicle localization based on walsh kernel projection technique
EP3283843B1 (en) Generating 3-dimensional maps of a scene using passive and active measurements
US10769793B2 (en) Method for pitch angle calibration based on 2D bounding box and its 3D distance for autonomous driving vehicles (ADVs)
US10384679B2 (en) Travel control method and travel control apparatus
WO2020163311A1 (en) Systems and methods for vehicle navigation
TWI754808B (zh) 載具、載具定位系統及載具定位方法
CN109949439B (zh) 行车实景信息标注方法、装置、电子设备和介质
CN110390240B (zh) 自动驾驶车辆中的车道后处理
US11668573B2 (en) Map selection for vehicle pose system
CN111837136A (zh) 基于本地感测的自主导航以及相关联的系统和方法
CN116997771A (zh) 车辆及其定位方法、装置、设备、计算机可读存储介质
JP7321035B2 (ja) 物体位置検出方法及び物体位置検出装置
CN111833443A (zh) 自主机器应用中的地标位置重建
WO2018002932A1 (en) Lane level accuracy using vision of roadway lights and particle filter
JP7337617B2 (ja) 推定装置、推定方法及びプログラム
US20230122066A1 (en) Mobile robot and a method for controlling the mobile robot
US20230351773A1 (en) Systems and methods for detecting traffic lights corresponding to a driving lane
WO2022147274A1 (en) Systems and methods for road segment mapping
CN112556701A (zh) 用于定位交通工具的方法、装置、设备和存储介质
CN117002527A (zh) 车辆控制的方法、装置、车辆及存储介质
CN117953046A (zh) 数据处理方法、装置、控制器、车辆及存储介质
JP2020077297A (ja) 位置姿勢推定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant