CN116489598A - 定位系统及物件位置的校正方法 - Google Patents

定位系统及物件位置的校正方法 Download PDF

Info

Publication number
CN116489598A
CN116489598A CN202210132377.7A CN202210132377A CN116489598A CN 116489598 A CN116489598 A CN 116489598A CN 202210132377 A CN202210132377 A CN 202210132377A CN 116489598 A CN116489598 A CN 116489598A
Authority
CN
China
Prior art keywords
position information
road side
recognition result
image recognition
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210132377.7A
Other languages
English (en)
Inventor
李侑城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN116489598A publication Critical patent/CN116489598A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/40—Correcting position, velocity or attitude
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/0009—Transmission of position information to remote stations
    • G01S5/0018—Transmission from mobile station to base station
    • G01S5/0036—Transmission from mobile station to base station of measured values, i.e. measurement on mobile and position calculation on base station
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/0009—Transmission of position information to remote stations
    • G01S5/0045—Transmission from base station to mobile station
    • G01S5/0063—Transmission from base station to mobile station of measured values, i.e. measurement on base station and position calculation on mobile
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

本发明公开一种定位系统及物件位置的校正方法。物件位置的校正方法包含取得路侧单元的路侧位置信息。取得一个或更多个物件的物件位置信息。物件位置信息是基于卫星定位系统。依据一个或更多个图像撷取装置的图像决定物件或路侧单元的图像识别结果。依据路侧位置信息及图像识别结果校正物件的物件位置信息。由此，可改进位置估测的准确度。

Description

定位系统及物件位置的校正方法
技术领域
本发明涉及一种定位技术，且特别涉及一种定位系统及物件位置的校正方法。
背景技术
路侧单元(Road Side Unit，RSU)可收集道路上的车辆的路况信息，但在未设有路侧单元的道路或在路侧单元的监测范围以外的道路上，车辆需要通过自身的感测装置来感测周遭的车辆、行人或公共设施。值得注意的是，感测装置有相互干扰问题，并受限于数据处理量及扫描区域。
另一方面，前述技术的缺陷将降低位置估测的准确度。因此，电子地图上的侦测结果可能有诸如物件飘移、移动不连续或未在道路上移动等情况。此外，道路使用人仅能得知自身周围情况，但无法了解视野外的情况，因此难以事先预警事故。
发明内容
有鉴于此，本发明实施例提供一种定位系统及物件位置的校正方法，额外参考图像识别结果，以提升定位准确度。
本发明一实施例的物件位置的校正方法包括(但不仅限于)下列步骤：取得一个或更多个路侧单元(Road Side Unit，RSU)的路侧位置信息。取得一个或更多个物件的物件位置信息。物件位置信息是基于卫星定位系统。依据一个或更多个图像撷取装置的图像决定物件或路侧单元的图像识别结果。依据路侧位置信息及图像识别结果校正一个或多个物件的物件位置信息。
本发明一实施例的定位系统包括(但不仅限于)一个或多个路侧单元、一个或更多个图像撷取装置及运算装置。路侧单元用以提供路侧位置信息。图像撷取装置用以提供图像。运算装置经配置用以取得一个或更多个路侧单元的路侧位置信息，取得一个或更多个物件的物件位置信息，并依据路侧位置信息及图像识别结果校正一个或多个物件或物件的物件位置信息。物件位置信息是基于卫星定位系统。图像识别结果是针对物件或路侧单元并依据图像撷取装置的图像所决定。
基于上述，依据本发明实施例的定位系统及物件位置的校正方法，融合图像识别结果及基于卫星定位系统的位置，并据以得出更加准确的位置，进而增强预警机制。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附的附图作详细说明如下。
附图说明
图1是本发明一实施例的定位系统的示意图；
图2是本发明一实施例的物件位置的校正方法的流程图；
图3是本发明一实施例的校正方法的流程示意图；
图4A是本发明一实施例的图像识别结果的示意图；
图4B是本发明一实施例的物件与路侧单元的位置示意图；
图5是本发明另一实施例的校正方法的流程示意图；
图6是本发明一实施例的路侧单元的图像撷取装置所撷取的图像的示意图；
图7A是图6的图像识别结果的示意图；
图7B是本发明一实施例的电子地图映射的示意图；
图8A及图8B是本发明一实施例的应用情境的物件与路侧单元的位置示意图；
图9是本发明一实施例的另一应用情境的物件与路侧单元的位置示意图；
图10A是本发明一实施例的第一人称视角的示意图；
图10B是图10C的电子地图的示意图；
图10C是说明将图10B整合于导航地图。
符号说明
1:定位系统
10:路侧单元
20:运算装置
30:图像撷取装置
40:移动装置
50:云端服务器
60:移动装置
ST:定位卫星
U:使用者
S210～S270、S310～S350、S510～S550、S810～S830:步骤
O0～O8:物件
S:机车
SU:多用途车
V:厢型车
C:轿车
T:卡车
P:行人
B:脚踏车
TL:交通号志
RL:道路线
ER1、ER2:卫星定位误差
具体实施方式
图1是依据本发明一实施例的定位系统1的示意图。请参照图1，定位系统1包括(但不仅限于)路侧单元10、图像撷取装置30、移动装置40、移动装置60、云端服务器50、及定位卫星ST。须说明的是，图1中各装置的数量及位置仅是用于范例说明，并可依据实际需求而调整。
路侧单元10可以设于号志灯、路灯、电箱、其他设备或建筑物上。在一实施例中，路侧单元10可支持Wi-Fi、蓝牙、或其他通信技术，并据以与其他装置通信。在一实施例中，图像撷取装置30对道路、出入口或特定区域拍摄，以取得图像。在一实施例中，路侧单元10可以包括图像撷取装置30。在一实施例中，路侧单元10可通过基于任一类型卫星导航系统(Global Navigation Satellite System，GNSS)的定位卫星ST定位或电子地图直接标定，并据以取得自身的位置(例如，坐标或相对位置)。
在一实施例中，图像撷取装置30可以是相机、摄影机或监视器，并据以撷取指定视野内的图像。
移动装置40、60可以是车载单元(On-board Unit，OBU)、智能型手机、平板电脑、穿戴式装置、或感测装置。在一实施例中，移动装置40可设于车辆或其他交通工具，或是使用者U携带移动装置60。在一实施例中，移动装置40及/或移动装置60包括图像撷取装置30。在一实施例中，移动装置40及/或移动装置60可通过定位卫星ST，并据以取得自身的位置(例如，坐标或相对位置)。
云端服务器50可以是电脑系统、工作站、或后台主机。在一实施例中，云端服务器50可经由网络(例如，网际网络、区域网络或私人网络)或蓝牙与路侧单元10及移动装置40、60通信。
为了方便理解本发明实施例的操作流程，以下将举诸多实施例详细说明本发明实施例中定位系统1中各装置的运作流程。另需说明的是，下文中的部分或全部操作可能由运算装置20执行，且运算装置20可以是路侧单元10、移动装置40、60、云端服务器50或边缘运算(edge computing)装置。因此，下文中的执行主体仅是用于范例说明，且仍可替换成其他运算装置20。
图2是依据本发明一实施例的物件位置的校正方法的流程图。请参照图2，运算装置20取得一个或更多个路侧单元10的路侧位置信息(步骤S210)。在一实施例中，路侧位置信息是路侧单元10自身的位置。例如，路侧单元10通过定位卫星ST取得GPS坐标或其他卫星定位系统的坐标。又例如，运算装置20取得路侧单元10在电子地图上的坐标。再例如，运算装置20可通过NFC、蓝牙或其他无线通信技术的信号强度来估测路侧单元10相对于移动装置40的距离。更例如，运算装置20可通过深度相机或距离传感器估测周围物件的相对距离。
在另一实施例中，路侧位置信息为一个或更多物件的物件估测位置。物件可以是路侧单元10或移动装置40、60，也可以是任何类型的交通工具、动物、建筑物、植物或设备。物件估测位置是依据图像识别结果及基于卫星定位系统的物件位置信息两者所估测的位置信息，并待后续实施例详述。
运算装置20取得一个或更多个物件的物件位置信息(步骤S230)。具体而言，这些物件设有或携带移动装置40或移动装置60，使得移动装置40或移动装置60可通过基于卫星定位系统的定位卫星ST取得物件的物件位置信息。例如，汽车的车载单元取得GPS坐标，并反应于事件(例如，定时器、移动速度、事故或手动触发)而回报GPS坐标给云端服务器50。又例如，云端服务器50分享移动装置40的GPS坐标给路侧单元10。
在一实施例中，物件位置信息对应于物件的识别码。识别码例如是移动装置识别码、机器识别码或其他装置识别信息。例如，移动装置40所回报的坐标信息还夹带国际移动装置识别码(International Mobile Equipment Identity，IMEI)。
在一实施例中，物件位置信息对应一个时间戳记(timestamp)。这时间戳记记录物件位置信息的取得或传送时间。
在一些实施例中，移动装置40还可能提供诸如速度、方向等运动信息。
运算装置20依据一个或更多个图像撷取装置30的图像决定物件或路侧单元10的图像识别结果(步骤S250)。具体而言，运算装置20可基于神经网络的演算法(例如，YOLO、基于区域的卷积神经网络(Region Based Convolutional Neural Networks，R-CNN)、或快速R-CNN(Fast CNN))或是基于特征匹配的演算法(例如，方向梯度直方图(Histogram ofOriented Gradient，HOG)、Harr、或加速稳健特征(Speeded Up Robust Features，SURF)的特征比对)实现物件侦测，并据以识别物件的类型(例如，人、脚踏车、大卡车、轿车或厂牌)、外观(例如，颜色、或形状)及/或识别信息(例如，车牌、或其他物件特征，且又称标签)。
在一实施例中，图像识别结果是路侧单元10在图像中的位置(又称像素位置)。例如，基于像素在图像中的位置形成二维坐标系，且二维坐标可代表图像中的那些像素的位置。在一实施例中，图像识别结果是物件在图像中的位置(又称像素位置)。在一实施例中，图像识别结果是物件的数量。在一实施例中，图像识别结果是物件的运动信息。例如，速度或移动方向。在一些实施例中，前述物件或路侧单元10在图像中的位置可以是一个代表位置的坐标。这代表位置可以位于物件的下缘中心、中心点或其轮廓内的任一点。
在一实施例中，各图像或图像识别结果对应一个时间戳记。这时间戳记记录图像或图像识别结果的取得或传送时间。在一实施例中，图像或图像识别结果对应图像撷取装置30的镜头信息。镜头信息可以是镜头分辨率、视野或镜面曲率。
运算装置20依据路侧位置信息及图像识别结果校正物件的物件位置信息(步骤S270)。具体而言，由于卫星定位所得的物件位置信息可能有误差，因此可进一步通过其他信息校正物件位置信息。不同于雷达或光达，本发明实施例藉助于图像识别结果。
以下举两实施例说明位置校正。图3是依据本发明一实施例的校正方法的流程示意图。请参照图3，路侧单元10上传路侧位置信息(步骤S310)，且路侧位置信息为路侧单元10自身的位置。由于路侧单元10通常固定不动，因此运算装置20可将路侧单元10自身的位置视为正确的位置并作为参考锚点。云端服务器50可将路侧位置信息分享给移动装置40(步骤S320)。
此外，图像识别结果是路侧单元10在移动装置40的图像撷取装置30所拍摄的图像中的位置。举例而言，图4A是依据本发明一实施例的图像识别结果的示意图，且图4B是依据本发明一实施例的物件与路侧单元的位置示意图。请参照图4A及图4B，假设移动装置40设于物件O0，且其图像撷取装置30可拍摄到物件O1～O5及路侧单元10。而路侧单元10在图像中的位置(例如以其底侧中心作为位置代表点)可作为图像识别结果。此外，表(1)是基于物件O0上的图像撷取装置30所拍摄图像的图像识别结果：
表(1)
装置识别码 周围物件数量 物件编号 物件颜色 物件的像素位置
ID1 5 O1 白 (620,480)
O2 白 (1196,685)
O3 黄 (213,370)
O4 黄 (320,350)
O5 白 (130,350)
物件种类 时间戳记 识别信息 注记 镜头分辨率
轿车 1315897287 AAY-8186 前方摄影机 1280×720
机车 1315897287 未知 前方摄影机 1280×720
车 1315897287 未知 前方摄影机 1280×720
车 1315897287 未知 前方摄影机 1280×720
卡车 1315897287 未知 前方摄影机 1280×720
在一实施例中，ID1可以是移动装置40的本身唯一装置识别码(即，物件的识别码)，例如IMEI。运算装置20(以移动装置40为例)可决定路侧位置信息与图像识别结果之间的第一位置转换关系。这第一位置转换关系是基于卫星定位的路侧位置信息与像素位置之间的转换函数或对照表。也就是说，将路侧单元10在图像中的位置带入第一位置转换关系可得出路侧单元10自身的位置(例如，GPS坐标)。
在一实施例中，路侧位置信息与物件的物件位置信息之间的坐标距离相关于第一位置转换关系。以表(1)为例，路侧单元10与物件O0的坐标距离作为第一位置转换关系的变因。由此，运算装置20利用坐标距离来修正图像估测位置的误差，从而提升估测值的准确度。
举例而言，在一实施例中，ID2是移动装置40的本身唯一装置识别码。路侧单元10在物件O1的移动装置40的图像撷取装置30所拍摄的图像中的位置。假设物件O1也有移动装置40设于其上，且其图像撷取装置30可拍摄到物件O3～O5及路侧单元10，而路侧单元10在图像中的位置可作为图像识别结果。此外，表(2)是基于物件O1上的图像撷取装置30所拍摄图像的图像识别结果：
表(2)
装置识别码 周围物件数量 物件编号 物件颜色 物件的像素位置
ID2 3 O3 黄 (213,370)
O4 黄 (320,350)
O5 白 (130,350)
物件种类 时间戳记 识别信息 注记 镜头分辨率
车 1315897287 未知 前方摄影机 1280×720
车 1315897287 未知 前方摄影机 1280×720
卡车 1315897287 未知 前方摄影机 1280×720
除此之外，因为运算装置20可对不同移动装置40所回传的识别结果及表格内容(如表(1)、表(2)，但还可能是物件上的移动装置40所回传的识别结果及表格内容)进行比对，且在同一时间戳记以共同路侧单元10作为参考点，因此运算装置20可比对出物件O1及O0之间相对位置及前后关系。由此，可通过更多不同移动装置40的回传结果提升推估值的准确度。
在一实施例中，图像撷取装置30的图像撷取多张图像，且这些图像对应于不同的多个时间戳记。运算装置20可依据那些时间戳记的第一位置转换关系决定不同时间戳记下物件的物件估测位置。随着物件移动，相同物件在不同时间点的像素位置会改变。而不同像素位置可能对应到不同坐标距离。例如，当时间戳记为1315897287时，路侧单元10的像素位置(230,700)对应于坐标距离d及第一位置转换关系；当时间戳记为1315897288时，路侧单元10的像素位置(231,704)对应于坐标距离d1及另一个第一位置转换关系。在不同时间戳记下，若运算装置20所取得的像素位置与物件位置信息之间的第一位置转换关系越多，则使用相同或接近时间戳记的转换关系将可助于提供更加准确的估测位置。
接着回到图3，运算装置20可依据第一位置转换关系将图像中的物件的位置转换成对应的物件估测位置(步骤S330)，并据以校正物件位置信息。即，运算装置20可依据这第一位置转换关系校正单纯基于卫星定位系统的物件位置信息。更具体而言，除了路侧单元10的位置，图像识别结果可能还包括其他物件(下文称周围物件)的位置。运算装置20可将周围物件在图像中的位置依据第一位置转换关系转换成物件估测位置(例如，GPS坐标)。
此外，移动装置40可将周围物件的物件估测位置及自身位置提供给云端服务器50(步骤S340)。而云端服务器50也可分享前述位置给其他装置(步骤S350)。这物件估测位置可取代其他装置所回报的物件位置信息或以权重关系校正物件位置信息。
图5是依据本发明另一实施例的校正方法的流程示意图。请参照图5，移动装置40可将自身图像撷取装置30所拍摄的图像或基于这图像所得出的图像识别结果回传给云端服务器50(步骤S510)。此外，移动装置40可将自己对于周围物件的物件估测位置及对应时间戳记回报给云端服务器50(步骤S520)。这物件估测位置的决定可参酌前述图3的实施例，且于此不再赘述。
另一方面，路侧单元10上传路侧位置信息(步骤S530)，且路侧位置信息为路侧单元10对物件的物件估测位置。相似地，由于路侧单元10通常固定不动，因此路侧单元10可将自身位置(例如，GPS坐标)作为正确的参考坐标。路侧单元10可基于正确的参考坐标及自身的图像撷取装置30的图像中的像素位置决定第一位置转换关系，并依据这第一位置转换关系推算其他物件的物件估测位置。
举例而言，图6是依据本发明一实施例的路侧单元10的图像撷取装置30所撷取的图像的示意图。请接着参照图7A是图6的图像识别结果。图像识别结果包括机车S、多用途车SU、厢型车V、轿车C、卡车T、行人P、脚踏车B、交通号志TL及道路线RL。此外，图7A中箭头表示物件的移动方向。值得注意的是，除了路侧单元10，交通号志TL及道路线RL也可作为参考锚点，并用于估测第一位置转换关系。路侧单元10即可基于第一位置转换关系决定周围物件的物件估测位置。路侧单元10可将自己对于周围物件的物件估测位置、图像识别结果及对应时间戳记回报给云端服务器50。
运算装置20(以云端服务器50为例)可将路侧位置信息与来自移动装置40的物件估测位置匹配(步骤S540)。具体而言，路侧单元10所提供的物件估测位置可对应于自身的图像识别结果，且移动装置40所提供的物件估测位置匹配也对应于自身的图像识别结果。在一实施例中，图像识别结果还包括物件的种类、外观及/或识别信息(例如：车牌号码)。运算装置20可依据物件的种类、外观及/或识别信息将路侧位置信息中的物件估测位置映射至其他装置所回报的相同或相近时间戳记的物件估测位置。例如，运算装置20可比对路侧单元10及移动装置40的图像识别结果中的物件颜色及车牌号码，以确认两个物件估测位置是针对相同物件。
在另一实施例中，各物件位置信息对应于一个物件的识别码。以表(1)为例，可利用装置识别码区别不同物件。因此，运算装置20可依据物件的识别码将路侧位置信息中的物件估测位置映射至其他装置所回报的相同或相近时间戳记的物件估测位置。以表(1)为例，运算装置20可找寻路侧位置信息及来自物件O0的物件估测位置中装置识别码为ID1的物件估测位置，以确认物件估测位置中是针对物件O1。
另值得注意的是，若物件估测位置有不匹配(或无法映射)的情况，则表示这物件估测位置的物件可能位于其他装置的视野盲区。因此，即便路侧单元10或移动装置40的图像撷取装置30未拍摄到部分物件，路侧单元10或移动装置40也能通过其他装置的图像识别结果得知这些物件的存在及其位置。
运算装置20可进一步使用路侧位置信息校正其他装置所回报的物件估测位置，并将校正结果回传给移动装置40(步骤S550)。例如，路侧位置信息中的物件估测位置作为参考位置，并可进一步供来自其他装置的物件估测位置比对以得知误差。这误差可供其他装置作为位置校正的参考。在一些实施例中，假设路侧单元的透镜分辨率较差或具有较差图像识别结果，则运算装置20可进一步使用移动装置40的物件估测位置校正路侧位置信息，并将校正结果回传给路侧单元10。
在一实施例中，运算装置20(以移动装置40为例)可决定路侧位置信息与图像识别结果之间的第二位置转换关系。这第二位置转换关系是的物件估测位置与像素位置之间的转换函数或对照表。也就是说，将物件在图像中的位置带入第二位置转换关系可得出物件的实际位置(例如，GPS坐标)。
运算装置20可依据图像识别结果决定物件的初估位置信息。这初估位置信息例如是移动装置40基于第一位置转换关系所得出针对周围物件的物件估测位置。即，图像识别结果中的物件在图像中的位置经第一位置转换关系转换成物件估测位置。运算装置20可依据初估位置信息与路侧位置信息之间的误差决定第二位置转换关系。例如，移动装置40可依据云端服务器50的校正结果决定自身所得出的物件估测位置的误差。当校正结果到达一定数量时，移动装置40可解算出第二位置转换关系。相较于移动装置40一开始所用的第一位置转换关系，这第二位置转换关系进一步考虑了与路侧单元10之间误差并将有助于提升位置估测的准确度。此外，运算装置20可依据这第二位置转换关系校正单纯基于卫星定位系统的物件位置信息。例如，将基于第二位置转换关系所得出的物件估测位置取代物件位置信息。
在一实施例中，假设电子地图在校正前采用未校正的物件位置信息定位物件。运算装置20可依据校正的物件位置信息校正物件在电子地图中的位置。由于融合图像识别结果的物件估测位置相较于原先的物件位置信息更加准确，因此电子地图基于物件估测位置所呈现的物件将可确实坐落于道路或人行道上。此外，若图像识别结果包括道路线，则运算装置20可进一步判断物件与道路线的相对位置关系，并据以确定校正的物件位置信息符合图像中物件与道路线的相对位置关系。举例而言，图7B是依据本发明一实施例的电子地图映射的示意图。请参照图7B，机车S可确实坐落于电子地图的道路上。
以下再举两应用情境说明。图8A及图8B是依据本发明一实施例的应用情境的物件与路侧单元10的位置示意图。请先参照图8A，物件O7观察周围物件的结果与物件O1的观察结果一致(例如，正前方及左前方都有周围物件)，但两者有卫星定位误差ER1、ER2。因此，若仅基于卫星定位及这些物件O1、O7的前方图像，则云端服务器50可能误判这些物件O1～O7的相对位置。路侧单元10可取得这些物件O1～O7的图像识别结果(步骤S810)，依据这图像识别结果判断物件O1、O7判断并校正物件O1、O7的位置(步骤S820)。例如，图像识别结果是物件O7位于物件O1后方。此外，云端服务器50可将校正的位置提供给物件O1、O7的移动装置40，甚至通知物件O1关于前方有物件O8的告警(步骤S830)。
请参照图8B，即便这些物件O1～O7离开路侧单元10的侦测范围，云端服务器50仍可基于物件O1～O7的移动装置40持续回报的GPS坐标追踪所有物件O1～O7的相对位置。
图9是依据本发明一实施例的另一应用情境的物件与路侧单元的位置示意图。请参照图9，物件O2不在路侧单元10的侦测范围且物件O8位于物件O2的图像撷取装置30的视野盲区。此外，物件O4不在路侧单元10的侦测范围且物件O8位于物件O4的图像撷取装置30的视野盲区。物件O1的移动装置40可将物件O8的侦测信息经由云端服务器50分享给物件O2、O3的移动装置40。物件O5的移动装置40可将物件O8的侦测信息经由云端服务器50分享给物件O4的移动装置40。由此，物件O2、O3、O4的移动装置40都可得知前方有物件O8。
图10A是依据本发明一实施例的第一人称视角的示意图。请参照图10A，为了方便图1中的使用者U使用移动装置60可清楚了解前方路况，移动装置60可基于更新的位置信息呈现第一人称视角画面。假设使用者U前方的物件O1遮蔽物件O8，移动装置60可改变物件O1的透明度，以呈现物件O8。
图10B是图10A的电子地图的示意图。请参照图10B，移动装置60可提供电子地图的切换选择，以方便使用者U了解物件O8或其他物件的相对位置。此外，针对事故、意外或威胁行进路线的情况，移动装置60可以不同颜色(例如:红色、蓝色)、颜色深浅渐层或其他视觉效果强调甚至是提供语音提醒。
经校正的位置信息还能进一步整合在导航系统。举例而言，图10C是说明将图10B整合于导航地图。请参照图10C，移动装置60可依据导航路线提供路口优先注意的目标方向及位置，并将导航路线整合在上图所示整合物件位置的电子地图。由此，可方便使用者U了解事故或意外是否在导航路线上。
电子地图还能进一步整合大众运输工具的行驶信息。当大众运输工具接近导航路线或使用者U时，移动装置60可提前预警。或者，电子地图还能进一步整合天灾或人物灾害的告警信息。当导航路线或使用者U接近灾害发生地时，移动装置60可提前预警。
除此之外，本发明实施例整合了图像识别结果。图像识别还能侦测诸如招牌、门牌、号志、道路标志、或执法相机。若导航目的地或行经路线上的物件符合图像识别结果，则移动装置60还能进一步在电子地图、导航系统或第一人称视角界面强调所识别的特定物件。
综上所述，在本发明实施例的定位系统及物件位置的校正方法中，基于图像识别结果判断周围物件的相对位置。将路侧单元作为参考锚点，并基于路侧单元的自身位置及图像识别结果校正物件位置信息。云端服务器整合并分享所有装置的信息，使移动装置或路侧单元都能得知物件在道路上或监控区域中的完整情况。由此，可提供准确的位置估测，还可据以提前告警。
虽然结合以上实施例公开了本发明，然而其并非用以限定本发明，任何所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，可作些许的更动与润饰，故本发明的保护范围应当以视所附的权利要求所界定的为准。

Claims (20)

1.一种物件位置的校正方法，包括：
取得至少一路侧单元(Road Side Unit)的路侧位置信息；
取得至少一物件的物件位置信息，其中该物件位置信息是基于卫星定位系统；
依据至少一图像撷取装置的图像决定该至少一物件或该至少一路侧单元的图像识别结果；以及
依据该路侧位置信息及该图像识别结果校正该至少一物件的该物件位置信息。
2.如权利要求1所述的物件位置的校正方法，其中该路侧位置信息为该至少一路侧单元自身的位置，该图像识别结果是该至少一路侧单元在该图像中的位置，且依据该路侧位置信息及该图像识别结果校正该至少一物件的该物件位置信息的步骤包括：
决定该路侧位置信息与该图像识别结果之间的第一位置转换关系；以及
依据该第一位置转换关系校正该物件位置信息。
3.如权利要求2所述的物件位置的校正方法，其中依据该第一位置转换关系校正该物件位置信息的步骤包括：
依据该第一位置转换关系将该图像中的该至少一物件的位置转换成对应的物件估测位置；以及
依据该物件估测位置校正该物件位置信息。
4.如权利要求2所述的物件位置的校正方法，其中该路侧位置信息与该至少一物件的该物件位置信息之间的坐标距离相关于该第一位置转换关系。
5.如权利要求2所述的物件位置的校正方法，其中该至少一图像撷取装置撷取多张该图像，该些图像对应于不同的多个时间戳记(timestamp)，且决定该路侧位置信息与该图像识别结果之间的该第一位置转换关系的步骤包括：
依据该些时间戳记的该第一位置转换关系，以决定不同时间戳记下的该至少一物件的物件估测位置。
6.如权利要求1所述的物件位置的校正方法，其中该路侧位置信息为该至少一物件的物件估测位置，该图像识别结果是该至少一物件在该图像中的位置，且依据该路侧位置信息及该图像识别结果校正该至少一物件的该物件位置信息的步骤包括：
决定该路侧位置信息与该图像识别结果之间的第二位置转换关系；以及
依据该第二位置转换关系校正该物件位置信息。
7.如权利要求6所述的物件位置的校正方法，其中决定该路侧位置信息与该图像识别结果之间的该第二位置转换关系的步骤包括：
依据该图像识别结果决定该至少一物件的初估位置信息；以及
依据该初估位置信息与该路侧位置信息之间的误差，以决定该第二位置转换关系。
8.如权利要求6所述的物件位置的校正方法，其中该图像识别结果还包括该至少一物件的种类、外观及识别信息中的至少一者，且该校正方法还包括：
依据该至少一物件的种类、外观及识别信息中的至少一者，将该路侧位置信息中的该至少一物件的该物件估测位置映射至一装置所回报的该物件估测位置。
9.如权利要求6所述的物件位置的校正方法，其中该物件位置信息对应于该物件的识别码，且该校正方法还包括：
依据该至少一物件的识别码将该物件估测位置映射至装置所回报的物件估测位置。
10.如权利要求6所述的物件位置的校正方法，还包括：
依据校正的物件位置信息校正该至少一物件在电子地图中的位置，其中该电子地图在校正前采用未校正的该物件位置信息定位该至少一物件。
11.一种定位系统，包括：
至少一路侧单元，用以提供路侧位置信息；
至少一图像撷取装置，用以提供图像；以及
运算装置，经配置用以：
取得该至少一路侧单元的该路侧位置信息；
取得至少一物件的物件位置信息，其中该物件位置信息是基于卫星定位系统；以及
依据该路侧位置信息及图像识别结果校正该至少一物件的该物件位置信息，其中该图像识别结果是针对该至少一物件或该至少一路侧单元并依据该至少一图像撷取装置的该图像所决定。
12.如权利要求11所述的定位系统，其中该路侧位置信息为该至少一路侧单元自身的位置，该图像识别结果是该至少一路侧单元在该图像中的位置，且该运算装置还经配置用以：
决定该路侧位置信息与该图像识别结果之间的第一位置转换关系；以及
依据该第一位置转换关系校正该物件位置信息。
13.如权利要求12所述的定位系统，其中该运算装置还经配置用以：
依据该第一位置转换关系将该图像中的该至少一物件的位置转换成对应的物件估测位置；以及
依据该物件估测位置校正该物件位置信息。
14.如权利要求12所述的定位系统，其中该路侧位置信息与该至少一物件的该物件位置信息之间的坐标距离相关于该第一位置转换关系。
15.如权利要求12所述的定位系统，其中该至少一图像撷取装置撷取多张该图像，该些图像对应于不同的多个时间戳记，且该运算装置还经配置用以：
依据该些时间戳记的该第一位置转换关系，以决定不同时间戳记下的该至少一物件的物件估测位置。
16.如权利要求11所述的定位系统，其中该路侧位置信息为该至少一物件的物件估测位置，该图像识别结果是该至少一物件在该图像中的位置，且该运算装置还经配置用以：
决定该路侧位置信息与该图像识别结果之间的第二位置转换关系；以及
依据该第二位置转换关系校正该物件位置信息。
17.如权利要求16所述的定位系统，其中该运算装置还经配置用以：
依据该图像识别结果决定该至少一物件的初估位置信息；以及
依据该初估位置信息与该路侧位置信息之间的误差，以决定该第二位置转换关系。
18.如权利要求16所述的定位系统，其中该图像识别结果还包括该至少一物件的种类、外观及识别信息中的至少一者，且该运算装置还经配置用以：
依据该至少一物件的种类、外观及识别信息中的至少一者，将该路侧位置信息中的该至少一物件的该物件估测位置映射至装置所回报的该物件估测位置。
19.如权利要求16所述的定位系统，其中该物件位置信息对应于该物件的识别码，且该运算装置还经配置用以：
依据该至少一物件的识别码将该物件估测位置映射至装置所回报的该物件估测位置。
20.如权利要求16所述的定位系统，其中该运算装置还经配置用以：
依据校正的物件位置信息校正该至少一物件在电子地图中的位置，其中该电子地图在校正前采用未校正的该物件位置信息定位该至少一物件。
CN202210132377.7A 2022-01-13 2022-02-14 定位系统及物件位置的校正方法 Pending CN116489598A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW111101383 2022-01-13
TW111101383A TWI811954B (zh) 2022-01-13 2022-01-13 定位系統及物件位置的校正方法

Publications (1)

Publication Number Publication Date
CN116489598A true CN116489598A (zh) 2023-07-25

Family

ID=81448639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210132377.7A Pending CN116489598A (zh) 2022-01-13 2022-02-14 定位系统及物件位置的校正方法

Country Status (4)

Country Link
US (1) US11854221B2 (zh)
EP (1) EP4212902A1 (zh)
CN (1) CN116489598A (zh)
TW (1) TWI811954B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970878B2 (en) * 2018-12-13 2021-04-06 Lyft, Inc. Camera calibration using reference map
CN111783502A (zh) 2019-04-03 2020-10-16 长沙智能驾驶研究院有限公司 基于车路协同的视觉信息融合处理方法、装置及存储介质
CN110174093B (zh) * 2019-05-05 2022-10-28 腾讯科技（深圳）有限公司 定位方法、装置、设备和计算机可读存储介质
CN110146869B (zh) * 2019-05-21 2021-08-10 北京百度网讯科技有限公司 确定坐标系转换参数的方法、装置、电子设备和存储介质
US11435440B2 (en) * 2019-10-01 2022-09-06 Qualcomm Incorporated Vehicle-to-everything assisted dynamic calibration of automotive sensors
CN113284193B (zh) * 2021-06-22 2024-02-02 智道网联科技(北京)有限公司 Rs设备的标定方法、装置及设备
CN113284194B (zh) 2021-06-22 2024-06-11 智道网联科技(北京)有限公司 多rs设备的标定方法、装置及设备

Also Published As

Publication number Publication date
TWI811954B (zh) 2023-08-11
EP4212902A1 (en) 2023-07-19
US11854221B2 (en) 2023-12-26
US20230222681A1 (en) 2023-07-13
TW202328704A (zh) 2023-07-16

Similar Documents

Publication Publication Date Title
TWI534764B (zh) 車輛定位裝置與方法
US20200327343A1 (en) Proximate vehicle localization and identification
US11094112B2 (en) Intelligent capturing of a dynamic physical environment
US10127461B2 (en) Visual odometry for low illumination conditions using fixed light sources
US10346683B2 (en) Method and apparatus for object identification and location correlation based on received images
US9123242B2 (en) Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program
WO2015083538A1 (ja) 車両位置推定システム，装置，方法、及び、カメラ装置
US10909395B2 (en) Object detection apparatus
JP2020500290A (ja) 位置特定基準データを生成及び使用する方法及びシステム
JP2006208223A (ja) 車両位置認識装置及び車両位置認識方法
JP6950832B2 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
CN112740225B (zh) 一种路面要素确定方法及装置
US10996337B2 (en) Systems and methods for constructing a high-definition map based on landmarks
JP2019078700A (ja) 情報処理装置および情報処理システム
JPWO2016031229A1 (ja) 道路地図作成システム、データ処理装置および車載装置
CN112255604B (zh) 一种雷达数据准确性的判断方法、装置及计算机设备
CN110717007A (zh) 应用路侧特征辨识的图资定位系统及方法
CN116489598A (zh) 定位系统及物件位置的校正方法
CN116958195A (zh) 物件追踪整合方法及整合装置
US10958846B2 (en) Method, device and system for configuration of a sensor on a moving object
Scharf et al. The KI-ASIC Dataset
KR102356162B1 (ko) 특정구역의 수집 정보에 대한 레이어 자동변환 기능의 모바일 매핑 시스템
EP3742329A1 (en) Lane tracking in three dimensions using digital terrain model
CN112136021B (zh) 用于构建基于地标的高清地图的系统和方法
KR20240049713A (ko) 자율주행용 데이터 구축 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination