CN112601928A - 位置坐标推定装置、位置坐标推定方法以及程序 - Google Patents

位置坐标推定装置、位置坐标推定方法以及程序 Download PDF

Info

Publication number
CN112601928A
CN112601928A CN201980055216.9A CN201980055216A CN112601928A CN 112601928 A CN112601928 A CN 112601928A CN 201980055216 A CN201980055216 A CN 201980055216A CN 112601928 A CN112601928 A CN 112601928A
Authority
CN
China
Prior art keywords
camera
position coordinates
coordinate
position coordinate
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980055216.9A
Other languages
English (en)
Inventor
吉田学
横畑夕贵
森皓平
前田笃彦
秦崇洋
社家一平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN112601928A publication Critical patent/CN112601928A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

提供基于从移动体拍摄到的相机图像来推定周边的物体或移动体自身的位置坐标的技术。获取包含在不同位置拍摄到的至少一个的同一静止物体的多个相机图像，获取各相机图像的拍摄位置的坐标，基于各相机图像中的从相机对上述静止物体的视线矢量和上述拍摄位置的坐标，推定静止物体的位置坐标。或者，获取包含位置坐标分别已知的至少两个静止物体的相机图像，根据相机图像中的从相机对上述静止物体的每个的视线矢量、和上述静止物体的每个的位置坐标，推定拍摄相机图像的地点的位置坐标。

Description

位置坐标推定装置、位置坐标推定方法以及程序
技术领域
本发明的一个方式涉及基于从移动体拍摄到的相机图像来推定移动体周边的物体或该移动体自身的位置坐标的装置、方法以及程序。
背景技术
以往，在汽车、船舶、机器人等移动体上搭载传感器，根据由传感器得到的信息创建周边地图的对策(例如，参照非专利文献1)。在将来进行自动驾驶行驶方面，也被广泛地认识到周边地图的重要性。
作为在创建周边地图时所需的地图信息，例如可以举出道路标识。考虑如下这样的对策：从车载相机的影像中检测道路标识，基于搭载有车载相机的汽车的GPS(全球定位系统(Global Position System))信息，在对照地图数据库的基础上，识别是固定的标识还是临时的标识。
另外，在周边地图中高精度地推定本车位置也很重要。尤其是，被称为LIDAR(光检测和测距(Light Detection and Ranging)或激光成像检测与测距(Laser ImagingDetection and Ranging))方式的自身位置推定方法成为主流。这是通过扫描激光脉冲，在发射位置接收来自三维空间的散射光，根据时间差测量距离，从而创建点群，用具有三维坐标的点群严密地制作三维空间的技术。另外，还已知处理这样的点群，同时进行自身位置推定和环境地图创建的称为SLAM(同时定位与地图构建(Simultaneous Localization andMapping))的技术，在V-SLAM(视觉SLAM(Visual-SLAM))中，根据直接加工来自车载相机的影像而生成的点群进行自身位置推定。
现有技术文献
非专利文献
非专利文献1：“SIP自動走行システムAutomated driving system for everyonea smile”、2018年5月11日第1期SIP記者勉強会(第3回)、インターネット＜URL:http://www8.cao.go.jp/cstp/gaiyo/sip/press/jidosoko.pdf＞
发明内容
发明要解决的课题
但是，在非专利文献1所记载的技术中，由于汽车的GPS信息自身中包含测量误差，因此存在无法高精度地推定位置坐标的问题。作为移动体的移动路径校正技术，例如已知有道路网络数据和GPS数据的地图匹配技术，但在该技术中，只能相对于道路中心线垂直校正GPS数据，不能说是充分的校正。另外，如果使用LIDAR方式那样的传感器，则能够高精度地求出位置坐标，但传感器自身的费用高，难以作为通用的方式实用。
本发明是着眼于上述情况而完成的，其目的在于提供不使用高价的传感器而高精度地推定移动体周边的物体或移动体自身的位置坐标的技术。
用于解决问题的手段
为了解决上述课题，本发明的第一方式涉及的位置坐标推定装置具备：相机图像获取部，获取在不同的地理位置被拍摄的包含至少一个的同一静止物体的多个相机图像；位置坐标获取部，获取多个上述相机图像的每个相机图像被拍摄的地理位置的位置坐标；以及位置坐标推定部，基于多个上述相机图像的每个相机图像中的、与上述相机图像相关联的坐标系中的从相机相对于上述静止物体的视线矢量和上述地理位置的位置坐标，推定上述静止物体的位置坐标。
根据上述第一方式，在本发明的第二方式中，位置坐标推定装置还具备图像对生成部，该图像对生成部从多个上述相机图像中选择性地组合两个相机图像来生成图像对，上述位置坐标推定部基于构成上述图像对的两个相机图像的每个相机图像中的从上述相机相对于上述静止物体的视线矢量和上述地理位置的位置坐标，推定上述静止物体的位置坐标。
根据上述第二方式，在本发明的第三方式中，上述位置坐标获取部基于从GPS卫星接收的信息而获取上述地理位置的位置坐标，上述图像对生成部基于从上述GPS卫星接收的信息，获取表示所获取的上述地理位置的位置坐标的精度的信息，选择性地组合与上述位置坐标的精度超过规定的阈值的地理位置对应的相机图像，生成上述图像对。
根据上述第二方式或第三方式，在本发明的第四方式中，上述图像对生成部生成多个图像对，上述位置坐标推定部对于多个上述图像对中的每个图像对，计算上述静止物体的位置坐标的候选值，并且基于计算出的多个上述候选值来推定上述静止物体的位置坐标。
本发明的第五方式涉及的位置坐标推定装置具备：相机图像获取部，获取包含位置坐标分别已知的至少两个静止物体的相机图像；位置坐标获取部，获取上述至少两个静止物体的每个静止物体的位置坐标；以及位置坐标推定部，基于上述相机图像中的、与上述相机图像相关联的坐标系中的从上述相机相对于上述至少两个静止物体的每个静止物体的视线矢量、以及上述至少两个静止物体的每个静止物体的上述位置坐标，推定拍摄上述相机图像的地点的位置坐标。
发明效果
根据本发明的第一方式，对于从移动体拍摄的多个相机图像，基于相机图像内的相对于静止物体的视线矢量和各相机图像被拍摄的地点的位置坐标，推定静止物体的位置坐标。通过得到对于同一静止物体的多个视线矢量，从而假定在拍摄地点的位置坐标中包含误差的情况下，也能够通过例如几何学或统计学上的各种方法，在保持一定的精度的同时推定静止物体的位置坐标。因此，只要能够通过某种方法获取与各拍摄地点相关的位置坐标，就不需要高价的传感器，能够使用车载相机等一般的相机高精度地推定静止物体的位置坐标。
根据本发明的第二方式，使用通过从多个相机图像中选择性地组合两个相机图像而生成的图像对来推定静止物体的位置坐标。由此，能够设定考虑了系统的负荷条件、期望的精度的任意的基准来生成图像对，能够基于这样生成的图像对来推定静止物体的位置坐标。
根据本发明的第三方式，使用从GPS卫星接收的信息，判定地理位置的位置坐标的精度，与位置坐标的精度超过规定的阈值的地理位置对应的相机图像被选择性地组合作为上述图像对。由此，仅与精度高的位置坐标对应的相机图像被利用于静止物体的位置坐标推定，因此能够以更高精度推定静止物体的位置坐标。
根据本发明的第四方式，生成多个图像对，根据使用多个图像对的每个图像对而推定出的多个候选值来推定最终的位置坐标。由此，能够考虑样本间的偏差的影响，更高精度地推定静止物体的位置坐标。
根据本发明的第五方式，获取拍摄了预先知道位置坐标的至少两个静止物体的相机图像，根据该相机图像内的相对于静止物体的视线矢量和静止物体的位置坐标，推定该相机图像被拍摄的地点的位置坐标。由此，只要能够获取预先知道位置坐标的至少两个静止物体的相机图像，就同样不需要高价的传感器而使用车载相机等一般的相机，能够高精度地推定所拍摄的地点的位置坐标，进而能够高精度地推定搭载有该相机的移动体的位置坐标。
即，根据本发明的各方式，能够提供不使用高价的传感器而高精度地推定移动体周边的物体或移动体自身的位置坐标的技术。
附图说明
图1是具备本发明的实施方式涉及的位置坐标推定装置的车载系统的概略结构图。
图2是表示本发明的实施方式涉及的位置坐标推定装置的硬件结构的模块图。
图3是表示本发明的第一实施方式涉及的位置坐标推定装置的软件结构的模块图。
图4是表示图3所示的位置坐标推定装置的整体处理过程和处理内容的一例的流程图。
图5是表示图4所示的对象检测处理例程的处理过程和处理内容的一例的流程图。
图6是表示图4所示的对象匹配(mapping)处理例程的处理过程和处理内容的一例的流程图。
图7是表示图4所示的观测对生成处理例程的处理过程和处理内容的一例的流程图。
图8是表示图4所示的位置坐标推定处理例程的处理过程和处理内容的一例的流程图。
图9A是例示在图8所示的位置坐标推定处理中使用的照片测量方法的图。
图9B是例示在图8所示的位置坐标推定处理中使用的视线矢量的交点计算处理的图。
图10A是表示从车载相机获取的相机图像数据的一例的图。
图10B是表示从GPS传感器获取的GPS测量数据的一例的图。
图11是表示被对象检测的相机图像数据的一例的图。
图12是表示按照同一对象被检测而得到的每个数据分割后的图像数据的一例的图。
图13A是表示用于生成观测数据对的GPS测量数据的一例的图。
图13B是表示基于图13A所示的数据而生成的观测对的一例的图。
图14是表示位置坐标被推定的对象的图。
图15是表示本发明的第二实施方式涉及的位置坐标推定装置的软件结构的模块图。
图16是表示图15所示的位置坐标推定装置的整体的处理过程和处理内容的一例的流程图。
图17是表示在图16所示的处理中读出的对象的位置信息的图像(image)的图。
具体实施方式
以下，参照附图说明本发明的实施方式。
[第一实施方式]
(结构)
(1)系统
图1表示具备本发明的一个实施方式涉及的位置坐标推定装置的车载系统的一例。在图1中，作为移动体的一例示出了汽车4。汽车4不限于特定的汽车，可以是各种个人、车型、制造商的汽车。但是，在移动体中，可以包括汽车、二轮车、自行车、个人移动(personal mobility)、机器人、行人、船舶、飞机、无人机等能够搭载传感器的所有移动体。因此，如图1所示的车载系统只不过是一例，也可以置换为行人所持有的智能手机等。
在图1中，在作为移动体的汽车4中，搭载有一实施方式涉及的位置坐标推定装置1、相机(camera)2、以及GPS传感器3。
相机2例如使用CCD(电荷耦合器件(Charge Coupled Device))或CMOS(互补金属氧化物半导体(Complementary Metal Oxide Semiconductor))传感器等固体摄像器件，相机2被设定设置场所、方向以及角度，使得在摄像范围中包含汽车4的行进方向等任意方向的道路区域。相机2获取相机图像数据，并将所获取的数据输出到位置坐标推定装置1。
另外，相机2也可以设置为位置坐标推定专用，但只要是行车记录仪的相机或为了其他目的而搭载的车载相机等能够得到同等的图像数据的相机，则可以利用任何相机。例如，在移动体是二轮车或自行车的情况下，可以使用设置在驾驶员的头盔上的相机，另外，也可以使用设置在汽车4的同乘者持有的智能手机或平板终端等便携终端上的相机。另外，作为相机的种类，也可以使用红外线相机。另外，由相机获取的相机图像数据可以是动态图像数据，也可以是以一定的时间间隔拍摄的静态图像数据。
GPS传感器3接收多个GPS卫星发送的GPS信号并进行测距运算，由此计算汽车4的纬度、经度，将包含该计算出的纬度、经度的GPS测量数据输出到位置坐标推定装置1。GPS测量数据除了纬度、经度(以下也称为“位置坐标”)之外，还可以包含表示GPS测量的精确度的信息。所谓GPS测量的精确度例如是根据GPS卫星的配置状况而决定的指标。另外，位置坐标的获取不限于GPS传感器3，只要能够发挥同等的功能，也可以使用利用无线基站或WiFi接入点的位置信息等其他单元。
位置坐标推定装置1推定映入相机图像中的周边物体的位置坐标，被如下构成。
(2)位置坐标推定装置
(2-1)硬件结构
图2是表示本发明的第一实施方式涉及的位置坐标推定装置1的硬件结构的模块图。
位置坐标推定装置1例如由个人计算机构成，作为硬件而具备：经由总线40相互连接的、输入输出接口单元10、CPU(中央处理单元(Central Processing Unit))等硬件处理器20A、程序存储器20B、数据存储器30。
输入输出接口单元10例如包括一个以上的有线或者无线的通信接口单元。输入输出接口单元10从包含上述相机2以及GPS传感器3的外部设备接受信息，并且将由位置坐标推定装置1生成的信息输出到外部。
程序存储器20B是将例如HDD(硬盘驱动器(Hard Disk Drive))、SSD(固态驱动器(Solid State Drive))等能够随时写入和读出的非易失性存储器、和ROM等非易失性存储器组合使用作为存储介质的存储器，且保存有用于执行实施方式涉及的各种控制处理所需的程序。
数据存储器30是将例如HDD或SSD等能够随时写入和读出的非易失性存储器、和RAM(随机存取存储器(Random Access Memory))等易失性存储器组合使用作为存储介质的存储器，且用于存储在进行各种处理的过程中获取和创建的各种数据。
(2-2)软件结构
图3是将本发明的第一实施方式涉及的位置坐标推定装置1的软件结构与图2所示的硬件结构相关联而示出的模块图。
输入输出接口单元10接受由搭载于汽车4的行车记录仪等相机2记录的车载相机影像、或来自搭载于汽车4的GPS传感器3的位置信息，并输出到控制单元20。此外，输入输出接口单元10将从控制单元20输出的数据输出到外部。例如，所推定的位置坐标作为输出结果，经由输入输出接口单元10向将位置信息对地图映射的可视化单元输出。或者，输入输出接口单元10还能够将为了显示位置坐标的推定结果而生成的显示数据输出到例如汽车4的汽车导航装置(未图示)的显示部加以显示。
数据存储器30的存储区域具备观测数据存储部31、对象数据存储部32、按对象(区分)的数据存储部33、以及坐标数据存储部34。
观测数据存储部31用于存储由相机2得到的相机图像数据和由GPS传感器3得到的GPS测量数据(以下，将相机图像数据和GPS测量数据合并称为“观测数据”。)。相机图像数据和GPS测量数据通过日期和时间信息相互关联。
对象数据存储部32用于将在相机图像中检测出的对象进行识别的信息与和该相机图像相关联的GPS测量数据一起存储。在此，所谓对象是指位于搭载相机2的汽车4的周边的物体，特别是静止物体。所谓静止物体，除了道路标识、交通信号灯、电线杆、邮筒、自动售货机、建筑物、广告牌等固定物之外，还可以包括停车车辆或路锥等至少在一定时间处于同一位置的物体。另外，静止物体也可以包含临时停止中的其他车辆或等待信号的人。
按对象的数据存储部33用于存储按检测到的每个对象而分割的相机图像数据以及GPS测量数据。
坐标数据存储部34用于与对象的图像或对象的识别信息一起对该对象的位置坐标数据进行存储。
但是，上述存储部31～34不是必须的结构，例如也可以是设置在配置于云端的数据库服务器等外部的存储装置中的存储部。此时，位置坐标推定装置1经由通信网络等访问上述云端的数据库服务器，从而获取需要的数据。
控制单元20由上述硬件处理器20A和上述程序存储器20B构成，控制单元20具备观测数据获取部21、对象检测部22、对象匹配部23、观测对生成部24、坐标推定部25和输出控制部26作为基于软件的处理功能部。这些各部分中的处理功能都通过使上述硬件处理器20A执行保存在程序存储器20B中的程序来实现。另外，这些处理功能也可以不使用保存在程序存储器20B中的程序来实现，而使用通过网络提供的程序来实现。
观测数据获取部21经由输入输出接口单元10依次取入从相机2输出的相机图像数据以及从GPS传感器3输出的GPS测量数据，根据日期和时间信息将相机图像数据和GPS测量数据相关联地保存在观测数据存储部31中。
对象检测部22进行从观测数据存储部31读出相机图像数据并检测是否拍摄了想要推定位置坐标的对象的处理，将检测结果保存在位于数据存储器30中的对象数据存储部32中。例如，对象检测部22能够将表示被检测出的对象的框(box)信息赋予相机图像数据，并保存于对象数据存储部32。
对象匹配部23从对象数据存储部32读出对象检测后的相机图像数据，按拍摄同一对象的每个数据对数据进行分割，将其结果保存在位于数据存储器30中的按对象的数据存储部33中。
观测对生成部24从按对象的数据存储部33读出按每个对象分割得到的数据集，根据与拍摄同一对象得到的至少两个地点以上的观测地点对应的相机图像，生成用于计算位置坐标的对(也称为“观测对”或“图像对”)。观测对生成单元24将所生成的观测对输出到坐标推定部25。
坐标推定部25使用由观测对生成部24生成的各观测对数据，计算成为对象的候选的坐标。坐标推定部25按每个观测对计算成为候选的坐标，根据该计算出的候选坐标的分布而计算最终的位置坐标，将其与对象的图像一起保存在坐标数据存储部34中。
输出控制部26进行读出保存在坐标数据存储部34中的对象的位置坐标数据并经由输入输出接口单元10向外部输出的处理。
(动作)
接着，说明如以上那样构成的位置坐标推定装置1的信息处理动作。图4是表示该处理过程和处理内容的一例的流程图。
(1-1)观测数据的获取、积存
首先，在步骤S10中，位置坐标推定装置1的控制单元20在观测数据获取部21的控制下，经由输入输出接口单元10获取相机图像数据和GPS测量数据作为观测数据，并保存在观测数据存储部31中。在此，设获取由汽车4的车载相机2拍摄到的行驶中的前方的影像作为相机图像数据。
图10A表示保存在观测数据存储部31中的相机图像数据的一例。在图10A中，在相机图像中，除了汽车4正在行驶的道路、描绘在道路上的白线、人行道、周围的建筑物、前方的行驶车辆、停车车辆PV1、PV2等之外，作为对象的一例，还拍摄有广告牌OB1。相机图像数据还包括所拍摄的日期和时间信息DT。
图10B表示保存在观测数据存储部31中的GPS测量数据的一例。GPS测量数据能够包括：执行了GPS测量的时刻的信息、被测量的位置信息、和表示GPS测量的精确度的信息。另外，在图10B中，为了方便，将位置信息仅表示为(纬度、经度)，但在实际的数据中作为具体的纬度、经度的数值而获取。以后的图也同样。
在此，设以至少1秒左右的时间间隔测量相机图像数据和GPS测量数据，并且时刻以1秒左右的粒度被同步。相机图像数据分别通过日期和时间信息与对应的GPS测量数据相关联地积存在观测数据存储部31中。
(1-2)对象的检测
在步骤S20中，位置坐标推定装置1的控制单元20在对象检测单元22的控制下执行对象检测处理。图5是表示上述对象检测部22的处理过程和处理内容的一例的流程图。
首先，在步骤S201中，对象检测部22从观测数据存储部31读出相机影像数据(文件)。设在该文件中以秒为单位保存拍摄的时刻。
在步骤S202中，对象检测部22进行将相机影像切出例如每1秒的帧的处理。该处理例如可以使用ffmpeg(动态图像处理软件)等来进行。
在步骤S203中，对象检测部22进行从各帧的图像内检测对象的处理。该处理例如可以使用Yolov2(物体检测算法)等方法进行(例如，参照https://arxiv.org/abs/1612.08242)。另外，在一帧中存在多个对象的情况下，则多个对象被检测。
在步骤S204中，对象检测部22进行将检测结果保存在对象数据存储部32中的处理。例如，对象检测部22能够将表示检测出的对象的框信息赋予相机图像数据，并保存在对象数据存储部32中。另外，被对象检测的相机图像数据仍与图10B所示的GPS测量数据相关联地保存在对象数据存储部32中。
图11表示保存在对象数据存储部32中的、被对象检测的相机图像数据的一例。在此，作为一例，如果考虑推定处于街上的广告牌OB1的位置坐标的情况，则对象检测部22通过对象检测来检测广告牌OB1，对检测到的广告牌OB1作为矩形信息BB1进行记录。作为对象的对象(object)可以是道路标识、路上停车车辆、自动售货机等，不限于广告牌。
(1-3)对象匹配
在步骤S30中，位置坐标推定装置1的控制单元20在对象匹配单元23的控制下执行对象匹配处理。图6是表示上述对象匹配部23的处理过程和处理内容的一例的流程图。
首先，在步骤S301中，对象匹配部23从位于数据存储器30中的对象数据存储部32读出被对象检测的相机图像数据。
接下来，在步骤S302中，对象匹配单元23进行在各帧中检测到的对象是否相同的判定处理。判定处理例如能够通过图像匹配来进行。在本实施方式中，作为图像匹配，使用利用相关值的模板匹配(template matching)，将相关值最大的点作为图像对应点。作为相关值，使用以下那样的归一化互相关。
[数式1]
Figure BDA0002946865760000101
其中，Corr是相关系数，σxy是xy的协方差，sdx表示x的标准偏差。能够对上述相关值设定阈值来判定对象是否相同。
在步骤S303中，对象匹配部23将被判定为同一对象的各数据分割为同一数据群。作为一例，在检测到位于街上的广告牌后，例如进行检索在同一汽车的其他帧中是否检测到同一广告牌、或者在由其他汽车拍摄到的相机影像中是否检测到同一广告牌的处理，数据按照判定为同一广告牌的每个数据被分割。
在步骤S304中，对象匹配部23将分割的结果保存在位于数据存储器30中的按对象的数据存储部33中。
图12表示保存在按对象的数据存储部33中的、按对象被分割得到的图像数据的图像的图。在作为日期和时间信息DT而附有2018/1/1的10：00：01、10：00：02、10：00：03的时刻的三个图像中，检测到同一广告牌OB1，并被赋予了矩形信息BB1。按对象被分割得到的图像数据仍分别与图10B所示的GPS测量数据相关联地保存在按对象的数据存储部33中。
(1-4)观测对生成
在步骤S40中，位置坐标推定装置1的控制单元20在观测对生成部24的控制下进行观测对生成处理。图7是表示上述观测对生成部24的处理过程和处理内容的一例的流程图。
首先，在步骤S401中，观测对生成部24读出保存在位于数据存储器30中的按对象的数据存储部33中的、按每个对象分割得到的数据集。这里，可以读出与能够检测的所有对象有关的数据集，也可以读出与特定(任意)的对象有关的数据集。
接着，在步骤S402中，观测对生成部24在根据拍摄了同一对象的至少两个地点以上的观测地点生成观测数据对之前，进行判别具有更高精度的位置信息的记录的处理。此时，利用表示GPS测量的精确度的指标也同时被测量的情况，在精确度高的数据之间生成对。例如，参照数据集的各时刻的GPS信息中的、表示GPS测量的精确度的一栏的值，废弃精确度低的记录，从精确度高的记录中生成观测数据的对。
这里，作为表示精确度的指标，例如有考虑了GPS卫星配置的影响的指标。已知GPS接收机的位置计算误差根据GPS卫星的配置和GPS接收机的场所的相对关系而不同。这样，由于GPS卫星相对于测量点的配置而导致精度降低的程度被称为GDOP(几何精度降低率(Geometric Dilution Of Precision))，其中取出水平方向的DOP，称为HDOP(水平精度降低率(Horizontal Dilution Of Precision))。意味着HDOP的数值越大，则水平方向的位置测定精度越差。例如，在采用了HDOP作为表示精确度的指标的情况下，关于HDOP的值比某个阈值高的数据，表示测量出的纬度、经度的精度较差的可能性高，因此能够删除相应的记录。
图13A表示用于生成观测数据对的GPS测量数据的图示。在此，具体的纬度、经度的数值也省略了表示。设在从2018/1/1的10：00：00到2018/1/1的10：00：05的按每1秒的全部6帧中，全部检测到相同的对象。另外，为了说明，对各帧分配号码(No)。如果观察GPS测量的精确度的值，则例如关于No.4和No.5表示测量的纬度、经度的精度较差的可能性高。因此，在该例子中，删除No.4和No.5的记录，进入下一步骤。
接着，在步骤S403中，观测对生成部24从剩余的记录中生成用于计算位置坐标的观测数据对。
图13B将生成的对的例子表示为P1～P6。如上述那样，由于删除了图13A所示的No.4和No.5的记录，所以从剩余的四个记录中得到作为观测对的6个数据。在这里记载的处理流程的例子中，由于删除了GPS测量的精确度低的记录，所以关于剩余的数据，可以将各记录彼此的全部组合作为对来生成。在此，作为制作观测对的对象的数据，可以对HDOP的值设置阈值，也可以设为在全部观测数据中作为比例而精度包含在高精度(HDOP的值低)中的数据。
(1-5)位置坐标推定
在步骤S50中，位置坐标推定装置1的控制单元20在坐标推定部25的控制下进行位置坐标推定处理。图8是表示上述坐标推定部25的处理过程和处理内容的一例的流程图。
首先，在步骤S501中，坐标推定部25获取由观测对生成部24生成的观测对数据。
接下来，在步骤S502中，坐标推定单元25使用各观测对数据来计算对象的位置坐标。在该例中，使用车载相机2的主点和对象的位置(图像上和地面坐标上)成为一条直线的原理(照片测量)来计算对象的位置坐标。
图9A是表示在该实施方式中使用的照片测量方法的一例的图。首先，计算从相机(CCD)到对象OB的方向的视线矢量。这里，将图像坐标替换为以相机的主点为原点的相机坐标系来进行处理。在相机坐标系中，图像坐标成为以图像的中心为0，0的坐标，主点MP与CCD的深度方向的距离为焦距f(单位：pix)。在图9A中，t表示时刻，ut和vt表示时刻t的对象的图像坐标(单位：pix)。
接着，将相机坐标系的视线矢量坐标变换为地面坐标(地图坐标)系。根据下式，通过旋转视线矢量，完成坐标变换。
[数学式2]
Figure BDA0002946865760000131
这里，(xt'，yt'，zt')表示在时刻t从相机的主点位置向对象位置的矢量(单位：m)，ω、
Figure BDA0002946865760000132
v是从地面坐标的正方向起的相机坐标的三轴的旋转角。这里，旋转角ω、
Figure BDA0002946865760000133
κ可以用多种多样的方法获取。例如，也可以在安装相机时使用三轴加速度传感器获取旋转角。另外，也可以假设GPS信息中不包含标高，作为双轴的旋转，ω＝0，
Figure BDA0002946865760000134
此时，κ例如使用下式计算。
κt＝atan((xt+1－xt)/(yt+1－yt))
式中，atan表示反正切(arctan)，t表示时刻。
图9B是表示对象的位置坐标(x，y，z)与两个帧的视线矢量(vx0，vy0，vz0)以及(vx1，vy1，vz1)之间的关系的图。在该实施方式中，为了推定对象的位置坐标，准备多个帧的量的、进行坐标变换到地面坐标而得的视线矢量，计算它们的交点(延长各视线矢量而得到的直线的交点)。计算出的交点(x，y，z)成为对象的地面坐标。另外，在图9B中，将在t＝0的地点和t＝1的地点得到的观测数据用作观测对。(x0，y0，z0)以及(x1，y1，z1)分别是t＝0以及t＝1时的相机的主点MP的坐标(地面坐标)，分别作为GPS测量数据(纬度、经度、标高)而获取。(x0'，y0'，z0')以及(x1'，y1'，z1')分别表示通过上述坐标变换式得到的、从t＝0以及t＝1时的相机的主点位置朝向对象位置的矢量。当可利用多个观测对时，按每个观测对计算对象的位置坐标。
接着，在步骤S503中，坐标推定部25根据计算出的对象的坐标数据的分布，将视为合理的坐标决定为最终的坐标。在存在多个观测对的情况下，也能够计算多个坐标数据候选。例如，可以采用计算出的多个坐标数据候选的平均值或中央值，决定为最终的坐标。作为最终的坐标，也可以从多个坐标数据候选中采用其他的代表值。在计算出了新的坐标数据的候选的情况下，通过将过去计算出的坐标数据候选和数据合并，计算新的平均值或中央值，从而数据越聚集越能够计算正确的坐标值。或者，通过设为以过去一个月的量的时间为单位采用坐标数据候选的平均值或中央值作为坐标数据这样的更新周期，从而例如即使在公交站的位置被变更或者修建新的广告牌的情况下，也能够正确地修正该位置。
在步骤S504中，坐标推定单元25将所决定的最终坐标保存在坐标数据存储部34中。图14表示保存在坐标数据存储部34中的数据图像的一例。这里，设位置坐标与包括对应的对象的图像数据相关联地被保存。在图14中，示出了希望推定位置坐标的广告牌OB1和作为该广告牌OB1的位置信息OP1的纬度、经度和相对高度。在此，相对高度不是标高，而是表示距搭载于汽车的车载相机的设置位置的高度。另外，也可以对广告牌赋予用于识别广告牌的ID。例如，一般使用道路网络数据作为地图信息，但在该道路网络数据中对每个道路赋予ID。因此，也可以设为以与该道路ID相关联的形式赋予广告牌的ID的ID体系。
然后，位置坐标推定装置1的控制单元20例如以操作者的操作为触发，在输出控制部26的控制下，能够从坐标数据存储部34读出所决定的最终的位置坐标，并经由输入输出接口单元10输出到外部装置等。
(第一实施方式的效果)
如上所述，在第一实施方式中，在位置坐标推定装置1中，获取基于从搭载于汽车4的相机2输出的影像的相机图像数据、和从同样搭载于汽车4的GPS传感器3输出的GPS测量数据，基于包含在不同的观测地点拍摄的同一对象的多个图像、和与它们相对应的汽车4的位置信息，计算向图像内的对象的视线矢量的交点，由此推定对象的位置坐标。
由此，不需要高价的传感器，通过使用一般的车载相机或GPS传感器获取到的数据，能够高精度地推定从汽车4等移动体观测到的周边物体的位置坐标。
另外，在计算视线矢量的交点时，通过观测对生成部24排除可靠性低的位置坐标，根据得到了可靠性高的位置坐标的图像数据生成对。进而，通过坐标推定部25，在根据各对计算出位置坐标的数据的基础上，根据其分布决定视为合理的位置坐标。由此，即使在移动体的GPS中包含计测误差的情况下，也能够高精度地推定对象的位置坐标。作为GPS的误差，考虑了偶然误差和系统误差，但关于系统误差，在观测对生成部24中能够尽可能地排除其影响，关于偶然误差，通过在坐标推定部25中将坐标分布的平均值或中央值作为最终值，从而能够在统计上排除其影响。
这样，通过第一实施方式涉及的位置坐标推定装置1，能够自动地检测街上的标识或广告牌等对象，高精度地推定各自的位置坐标并映射到地图上，因此能够自动地获取始终反映了最新信息的可靠性高的高精度的地图。
[第二实施方式]
本发明的第二实施方式涉及的位置坐标推定装置100基于映入相机图像中的周边物体的位置坐标来推定该相机图像被拍摄的位置(即，移动体4自身的位置)的坐标。
(结构)
第二实施方式涉及的位置坐标推定装置100能够采用与对第一实施方式说明了的位置坐标推定装置1相同的硬件结构。因此，省略关于硬件结构的详细的说明。
图15是表示本发明的第二实施方式涉及的位置坐标推定装置100的软件结构的模块图。在该图中，对于与第一实施方式的位置坐标推定装置1相同的功能部，附加与图3相同的标号并省略详细的说明。另外，第二实施方式的位置坐标推定装置100也能够在图1所示的车载系统中实施。
位置坐标推定装置100与位置坐标推定装置1同样，例如由个人计算机构成，作为硬件而具备输入输出接口单元10、控制单元20、以及数据存储器30。
输入输出接口单元10例如包括一个以上的有线或者无线的通信接口单元。输入输出接口单元10从搭载于汽车4的相机2或GPS传感器3接受各种信息并输出到控制单元20。但是，在本实施方式中，不一定需要接受GPS信息。此外，输入输出接口单元10使从控制单元20输出的数据输出到外部。
数据存储器30是使用例如HDD或SSD等能够随时写入和读出的非易失性存储器作为存储介质的存储器，作为用于实现该实施方式所需的存储区域而具有观测数据存储部31、对象数据存储部32和坐标数据存储部34。
观测数据存储部31用于至少存储由相机2得到的相机图像数据。在获取了具有对应的日期和时间信息的GPS测量数据的情况下，观测数据存储部31也能够将相机图像数据与GPS测量数据相关联地存储。
对象数据存储部32用于存储识别在相机图像中检测到的对象的信息。同样，当存在对应的GPS测量数据时，将被对象检测的相机图像数据与GPS测量数据相关联地存储。
坐标数据存储部34用于存储预先推定或获取了的对象的位置坐标数据。在该实施方式中，对象的位置坐标与包含该对象的图像数据相关联地存储。
同样，上述存储部31、32、34不是必须的结构，例如也可以是设置在配置于云端的数据库服务器等外部的存储装置中的存储部。在这种情况下，位置坐标推定装置100经由通信网络等访问上述云端的数据库服务器，从而获取需要的数据。
控制单元20具备未图示的CPU等硬件处理器和程序存储器，为了执行本实施方式中的处理功能，具备观测数据获取部21、对象检测部22、对象匹配部230、坐标参照部270、观测对生成部240、坐标推定部250和输出控制部26。这些各部分中的处理功能都通过使上述硬件处理器执行保存在程序存储器中的程序来实现。另外，这些处理功能也可以使用通过网络被提供的程序来实现，而不使用保存在程序存储器中的程序来实现。
观测数据获取部21经由输入输出接口单元10依次取入至少从相机2输出的相机图像数据，并保存在观测数据存储部31中。在还能够获取从GPS传感器3输出的GPS测量数据的情况下，观测数据获取部21还经由输入输出接口单元10依次取入GPS测量数据，根据日期和时间信息与相机图像数据相关联地保存在观测数据存储部31中。
对象检测部22从观测数据存储部31读出相机图像数据，进行检测对象的处理，将其结果保存在位于数据存储器30中的对象数据存储部32中。例如，对象检测部22能够将表示检测出的对象的框信息赋予相机图像数据并保存在对象数据存储部32中。
对象匹配部230从对象数据存储部32读出对象检测后的相机图像数据，并且从坐标数据存储部34读出带位置信息的对象数据，进行在对象检测后的相机图像和保存在坐标数据存储部34中的带位置信息的对象数据中是否存在同一对象的判定。
在对象匹配部230中判定为在对象数据存储部32内的数据和坐标数据存储部34内的数据中存在同一对象的情况下，坐标参照部270从坐标数据存储部34提取该对象的位置坐标。在该实施方式中，在一个相机图像中，检测广告牌和电线杆、广告牌和自动售货机等处于不同地理位置的至少两个对象，通过坐标参照部270，从坐标数据存储部34提取与这些对象相关的至少两个地点的位置坐标。
观测对生成部240根据由坐标参照部270提取出的至少两个地点(两个对象)以上的位置坐标信息生成对。在提取了三个地点以上的位置坐标的情况下，能够以全部组合生成对。
坐标推定部250使用由观测对生成部240生成的各对，计算成为候选的位置坐标。与第一实施方式同样，通过求出延长了向各对象的视线矢量的直线的交点，从而推定拍摄地点(移动体4)的位置坐标。能够按每个观测对计算成为候选的坐标，根据计算出的坐标的分布计算最终的坐标。
(动作)
接下来，将说明如以上那样构成的位置坐标推定装置100的信息处理动作。图16是表示该处理过程和处理内容的一例的流程图。同样，在该图中，对于与第一实施方式涉及的位置坐标推定装置1相同的处理，附加与图4相同的标号并省略详细的说明。
(2-1)观测数据的获取、积存
首先，在步骤S10中，位置坐标推定装置100的控制单元20在观测数据获取部21的控制下，经由输入输出接口单元10至少获取相机图像数据、和在能够获取的情况下的GPS测量数据，并保存在观测数据存储部31中。在此，设作为相机图像数据，以1秒左右的时间间隔测量并获取由汽车4的车载相机2拍摄到的行驶中的前方的影像。在获取了GPS测量数据的情况下，通过日期和时间信息，与GPS测量数据相关联地存储相机图像数据。
(2-2)对象的检测
在步骤S20中，位置坐标推定装置100的控制单元20在对象检测单元22的控制下执行对象检测处理。对象检测处理与实施方式1同样，能够使用公知的Yolov2算法等进行，在1帧中有多个对象的情况下，检测多个对象。在该第二实施方式中，仅将在1帧内检测到至少两个对象的图像帧用于后续的处理。
(2-3)对象匹配
然后，位置坐标推定装置100的控制单元20在对象匹配部230的控制下执行对象匹配处理。
在步骤S311中，对象匹配部230从位于数据存储器30中的对象数据存储部32读出对象检测后的相机图像数据。如上述那样，设读出的相机图像数据在各图像帧内被检测到两个以上的对象。
在步骤S312中，对象匹配部230从位于数据存储器30中的坐标数据存储部34读取带位置信息的对象数据。这些数据例如可以是使用第一实施方式涉及的方法预先推定位置坐标并积存的数据，也可以是从外部的数据库获取到的数据。
在步骤S313中，对象匹配部230进行在对象检测后的相机图像数据和坐标数据存储部34内的数据中是否存在两个以上相同的对象的判定。在此，例如基于从移动体4的GPS传感器3得到的GPS信息，预先限定从坐标数据存储部34读出的数据的范围，由此还能够减轻以后的处理。另外，在是否为同一对象的判定中，与实施方式1同样，能够使用归一化互相关。
在步骤S313中，在判定为在坐标数据存储部34内没有与相机图像数据相同的对象、或者只有一个相同的对象的情况下，处理结束。另一方面，如果在步骤S313中判定为存在两个以上相同的对象的情况下，则处理进入步骤S314。
接着，在步骤S314中，位置坐标推定装置100的控制单元20在坐标参照部270的控制下，从坐标数据存储部34中提取由对象匹配部230判定为在相机图像内和坐标数据存储部34内存在两个以上相同的对象的、这些对象各自的位置坐标。
图17表示从坐标数据存储部34提取两个对象的位置信息并与图像数据相关联地显示的示意图。在图17中，示出了记载为“PARKING”的横长的广告牌OB2和记载为“HOTEL”的纵长的广告牌OB3、表示检测到它们的情况的框BB2和BB3、以及各自的位置信息OP2和OP3。同样，为了方便起见，位置信息被表示为(纬度、经度、相对高度)，但实际上分别被提取为数值。
(2-4)观测对的生成
在步骤S40中，位置坐标推定装置1的控制单元20在观测对生成单元240的控制下执行观测对生成处理。这里，将由坐标参照部270提取出的对象OB2和OB3的位置坐标OP2和OP3作为观测数据，生成观测数据的对。在获取了更多对象的位置坐标的情况下，也可以将观测数据的记录彼此的全部组合作为对来生成。
(2-5)位置坐标推定
在步骤S50中，位置坐标推定装置1的控制单元20能够在坐标推定部250的控制下，使用由观测对生成部240生成的各对，通过与实施方式1中说明的同样的方法计算移动体4(即，相机图像被拍摄的地点)的位置坐标。例如，在图17所示的例子中，在计算出以相机的主点为原点的相机坐标系中的向对象OB2和OB3的视线矢量之后，将各视线矢量坐标变换到地面坐标系。接着，通过计算延长了对于各对象的视线矢量后的直线的交点，能够得到移动体4的位置坐标。
与实施方式1同样，由于移动体4的位置坐标仅计算观测对的组合数，所以能够根据该坐标数据的分布，求出视为合理的坐标。例如，可以采用各坐标数据的平均值或中央值，决定为最终的坐标。作为最终的坐标，也可以从多个坐标数据中采用其他的代表值。
然后，位置坐标推定装置100的控制单元20能够在输出控制部26的控制下，从坐标推定部250接受所决定的最终的位置坐标，并经由输入输出接口单元10输出到外部装置等。
(第二实施方式的效果)
如以上详述那样，在第二实施方式中，在位置坐标推定装置100中，获取基于从搭载于汽车4的相机2输出的影像的相机图像数据，对于映入相机图像内的对象中的能够得到位置坐标的对象，通过计算从相机到这些对象的视线矢量的交点来推定所拍摄的相机2的位置坐标以及移动体4的位置坐标。
特别是，在计算视线矢量的交点时，将多个对象的位置坐标作为观测数据生成对，在从各对计算出成为移动体4的候选的位置坐标的基础上，通过根据其分布将视为合理的位置坐标决定为最终的位置坐标，由此能够高精度地推定移动体4的位置坐标。
由此，即使在不能接收GPS信息的隧道中那样的环境中，也不需要高价的传感器，通过利用使用一般的车载相机2拍摄的周边物体的位置坐标，能够更高精度地推定移动体4的位置坐标。
[其他实施方式]
另外，本发明并不限定于上述实施方式。
例如，说明了位置坐标推定装置1以及100作为车载系统的一部分搭载于汽车4的情况，但不限于此，也可以作为能够通过无线通信网络从汽车4收集信息的服务器装置来实施。特别是，通过将位置坐标推定装置1作为服务器装置来实施，能够从多个移动体接收并积存所拍摄的相机图像和GPS信息，从而对道路周边的物体的位置坐标进行汇总计算/推定。由此，能够更高精度地获取更多的静止物体的位置坐标，能够得到基于最新的信息随时更新的、信息密度高的地图信息。
也可以将位置坐标推定装置1以及100所具有的各部分21～26分散配置在车载装置、云计算机、边缘路由器等中，通过这些装置相互协作来进行位置坐标推定。
进而，将周边物体的位置坐标的推定和移动体自身的位置坐标的推定分为第一实施方式和第二实施方式进行了说明，但也能够将它们统一为1个位置坐标推定装置。例如，在位置坐标推定装置是车载系统的一部分的情况下，也可以构成为通过驾驶员的操作，或者根据行驶中的周围环境自动地切换周边的物体的位置坐标的推定和移动体的位置坐标的推定。或者，在位置坐标推定装置是从多个车辆收集数据来利用的服务器装置的情况下，可以通过操作者的操作根据目的进行切换，也可以根据各车辆中的GPS信息的接收状况自动地进行切换。
另外，在第一实施方式中，作为汽车4的位置信息，在第二实施方式中，作为两个对象的位置信息，记载了至少获取纬度、经度的结构，但不限于此，也可以是以任意的坐标系为基础的任意的坐标数据。在这种情况下，对象或移动体自身的位置坐标被推定为基于相同坐标系的坐标。
进而，说明了通过生成观测数据的对，按每个对求出视线矢量的交点，从而推定静止物体或移动体自身的位置坐标的方法。然而，位置坐标的推定方法不限于此。例如，就第一实施方式而言，可以考虑在多个地理位置拍摄单一静止物体，并且根据各拍摄位置的位置坐标和得到的多个相机图像中的每个相机图像中的朝向静止物体的视线矢量来计算视线矢量的交点的坐标，从而推定静止物体的位置坐标。延长了多个视线矢量而得的直线不会在一个点处相交，预想为会根据拍摄位置的位置坐标的精度而产生多个交点，但可以根据这些交点的分布通过几何学或统计学分析来推定最准确的交点。作为一个例子，可以将包含所得到的所有交点的圆的中心推定为静止物体的位置。被认为如果能够获取一定数量以上的视线矢量，则假定是在拍摄位置的GPS信息中包含误差，也能够不追加特殊的传感器而将误差的影响降低到可允许的程度。
此外，对于相机图像数据或GPS测量数据的获取方法、保存在各存储部中的数据形式等，也能够在不脱离本发明的主旨的范围内进行各种变形来实施。
总之，本发明并不限定于上述实施方式本身，在实施阶段能够在不脱离其主旨的范围内对结构要素进行变形而具体化。另外，通过上述实施方式中所公开的多个结构要素的适当组合，能够形成各种发明。例如，也可以从实施方式所示的全部结构要素中删除几个结构要素。进而，也可以适当组合跨越不同的实施方式的结构要素。
标号说明
1…位置坐标推定装置
2…相机
3…GPS传感器
4…移动体、汽车
10…输入输出接口单元
20…控制单元
20A…处理器
20B…程序存储器
21…观测数据获取部
22…对象检测部
23…对象匹配部
24…观测对生成部
25…坐标推定部
26…输出控制部
30…数据存储器
31…观测数据存储部
32…对象数据存储部
33…按对象的数据存储部
34…坐标数据存储部
100…位置坐标推定装置
230…对象匹配部
240…观测对生成部
250…坐标推定部
270…坐标参照部。
权利要求书(按照条约第19条的修改)
1.一种位置坐标推定装置，具备：
相机图像获取部，获取在不同的地理位置被拍摄的包含至少一个的同一静止物体的多个相机图像；
图像对生成部，从多个所述相机图像中选择性地组合两个相机图像来生成图像对；
位置坐标获取部，获取所述图像对的相机图像的每个相机图像被拍摄的地理位置的位置坐标；以及
位置坐标推定部，基于将所述图像对的相机图像的每个相机图像中的、与所述相机图像相关联的坐标系中的从相机对所述静止物体的视线矢量变换到地图坐标系而得的视线矢量、和所述地理位置的位置坐标，推定所述静止物体的位置坐标。
2.根据权利要求1所述的位置坐标推定装置，其中，
所述位置坐标推定部基于所述图像对的相机图像的每个相机图像中的从所述相机对所述静止物体的视线矢量、和所述地理位置的位置坐标，推定所述静止物体的位置坐标。
3.根据权利要求2所述的位置坐标推定装置，其中，
所述位置坐标获取部基于从GPS卫星接收的信息而获取所述地理位置的位置坐标，
所述图像对生成部基于从所述GPS卫星接收的信息，获取表示所获取的所述地理位置的位置坐标的精度的信息，并选择性地组合与所述位置坐标的精度超过规定的阈值的地理位置对应的相机图像，生成所述图像对。
4.根据权利要求2或3所述的位置坐标推定装置，其中，
所述图像对生成部生成多个图像对，
所述位置坐标推定部对于多个所述图像对的每个图像对，计算所述静止物体的位置坐标的候选值，并且基于计算出的多个所述候选值来推定所述静止物体的位置坐标。
5.一种位置坐标推定方法，由推定位置坐标的装置执行，包括：
获取在不同地理位置被拍摄的包含至少一个的同一静止物体的多个相机图像的过程；
从多个所述相机图像中选择性地组合两个相机图像来生成图像对的过程；
获取所述图像对的相机图像的每个相机图像被拍摄的地理位置的位置坐标的过程；以及
基于将所述图像对的相机图像的每个相机图像中的、与所述相机图像相关联的坐标系中的从相机对所述静止物体的视线矢量变换到地图坐标系而得的视线矢量、和所述地理位置的位置坐标，推定所述静止物体的位置坐标的过程。
6.一种程序，使处理器执行权利要求1至4中任一项所述的装置的各部分的处理。

Claims (8)

1.一种位置坐标推定装置，具备：
相机图像获取部，获取在不同的地理位置被拍摄的包含至少一个的同一静止物体的多个相机图像；
位置坐标获取部，获取多个所述相机图像的每个相机图像被拍摄的地理位置的位置坐标；以及
位置坐标推定部，基于多个所述相机图像的每个相机图像中的、与所述相机图像相关联的坐标系中的从相机对所述静止物体的视线矢量、和所述地理位置的位置坐标，推定所述静止物体的位置坐标。
2.根据权利要求1所述的位置坐标推定装置，其中，
所述位置坐标推定装置还具备图像对生成部，所述图像对生成部从多个所述相机图像中选择性地组合两个相机图像来生成图像对，
所述位置坐标推定部基于构成所述图像对的两个相机图像的每个相机图像中的从所述相机对所述静止物体的视线矢量、和所述地理位置的位置坐标，推定所述静止物体的位置坐标。
3.根据权利要求2所述的位置坐标推定装置，其中，
所述位置坐标获取部基于从GPS卫星接收的信息而获取所述地理位置的位置坐标，
所述图像对生成部基于从所述GPS卫星接收的信息，获取表示所获取的所述地理位置的位置坐标的精度的信息，并选择性地组合与所述位置坐标的精度超过规定的阈值的地理位置对应的相机图像，生成所述图像对。
4.根据权利要求2或3所述的位置坐标推定装置，其中，
所述图像对生成部生成多个图像对，
所述位置坐标推定部对于多个所述图像对的每个图像对，计算所述静止物体的位置坐标的候选值，并且基于计算出的多个所述候选值来推定所述静止物体的位置坐标。
5.一种位置坐标推定装置，具备：
相机图像获取部，获取包含位置坐标分别已知的至少两个静止物体的相机图像；
位置坐标获取部，获取所述至少两个静止物体的每个静止物体的位置坐标；以及
位置坐标推定部，基于所述相机图像中的、与所述相机图像相关联的坐标系中的从相机对所述至少两个静止物体的每个静止物体的视线矢量、和所述至少两个静止物体的每个静止物体的所述位置坐标，推定所述相机图像被拍摄的地点的位置坐标。
6.一种位置坐标推定方法，由推定位置坐标的装置执行，包括：
获取在不同地理位置被拍摄的包含至少一个的同一静止物体的多个相机图像的过程；
获取多个所述相机图像的每个相机图像被拍摄的地理位置的位置坐标的过程；以及
基于多个所述相机图像的每个相机图像中的、与所述相机图像相关联的坐标系中的从相机对所述静止物体的视线矢量、和所述地理位置的位置坐标，推定所述静止物体的位置坐标的过程。
7.一种位置坐标推定方法，由推定位置坐标的装置执行，包括：
获取包含位置坐标分别已知的至少两个静止物体的相机图像的过程；
获取所述至少两个静止物体的每个静止物体的位置坐标的过程；以及
基于所述相机图像中的、与所述相机图像相关联的坐标系中的从相机对所述至少两个静止物体的每个静止物体的视线矢量、和所述至少两个静止物体的每个静止物体的所述位置坐标，推定所述相机图像被拍摄的地点的位置坐标的过程。
8.一种程序，使处理器执行权利要求1至5中任一项所述的装置的各部分的处理。
CN201980055216.9A 2018-08-23 2019-08-07 位置坐标推定装置、位置坐标推定方法以及程序 Pending CN112601928A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018156213 2018-08-23
JP2018-156213 2018-08-23
PCT/JP2019/031199 WO2020039937A1 (ja) 2018-08-23 2019-08-07 位置座標推定装置、位置座標推定方法およびプログラム

Publications (1)

Publication Number Publication Date
CN112601928A true CN112601928A (zh) 2021-04-02

Family

ID=69593075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980055216.9A Pending CN112601928A (zh) 2018-08-23 2019-08-07 位置坐标推定装置、位置坐标推定方法以及程序

Country Status (5)

Country Link
US (1) US20210341605A1 (zh)
EP (1) EP3842735A4 (zh)
JP (1) JP6950832B2 (zh)
CN (1) CN112601928A (zh)
WO (1) WO2020039937A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113514053A (zh) * 2021-07-13 2021-10-19 阿波罗智能技术(北京)有限公司 生成样本图像对的方法、装置和更新高精地图的方法
CN114004885A (zh) * 2021-10-18 2022-02-01 上海航天空间技术有限公司 利用卫星视线矢量对空中目标位置的快速估计方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7343054B2 (ja) * 2020-06-11 2023-09-12 日本電信電話株式会社 位置推定方法、位置推定装置、および位置推定プログラム
CN112285737A (zh) * 2020-10-23 2021-01-29 深圳无境智能机器人有限公司 一种可移动的道路特征测绘系统
JP7117408B1 (ja) * 2021-02-26 2022-08-12 株式会社パスコ 位置算出装置、プログラム及び位置算出方法
CN114475650B (zh) * 2021-12-01 2022-11-01 中铁十九局集团矿业投资有限公司 一种车辆行驶行为确定方法、装置、设备及介质
US20240098367A1 (en) * 2022-04-19 2024-03-21 Palantir Technologies Inc. Method and system for real-time geo referencing stabilization

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01312411A (ja) * 1988-06-10 1989-12-18 Hitachi Ltd 画像を用いた物体位置推定方法及びセンサ状態推定方法
JPH1079027A (ja) * 1996-09-03 1998-03-24 Fuji Facom Corp 移動カメラ用の画像処理装置
JP2017102708A (ja) * 2015-12-02 2017-06-08 日本放送協会 オブジェクト追跡装置及びそのプログラム
CN108139202A (zh) * 2015-09-30 2018-06-08 索尼公司 图像处理装置、图像处理方法和程序

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7489812B2 (en) * 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
JP4600357B2 (ja) * 2006-06-21 2010-12-15 トヨタ自動車株式会社 測位装置
US8189925B2 (en) * 2009-06-04 2012-05-29 Microsoft Corporation Geocoding by image matching
JP2019508677A (ja) * 2016-01-08 2019-03-28 インテリジェント テクノロジーズ インターナショナル、インコーポレイテッド 地図を使用した車両構成部品の制御
US10248124B2 (en) * 2016-07-21 2019-04-02 Mobileye Vision Technologies, Inc. Localizing vehicle navigation using lane measurements
TWI596366B (zh) * 2016-10-24 2017-08-21 財團法人工業技術研究院 定位方法與其影像擷取裝置
CN111108342B (zh) * 2016-12-30 2023-08-15 辉达公司 用于高清地图创建的视觉测程法和成对对准

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01312411A (ja) * 1988-06-10 1989-12-18 Hitachi Ltd 画像を用いた物体位置推定方法及びセンサ状態推定方法
JPH1079027A (ja) * 1996-09-03 1998-03-24 Fuji Facom Corp 移動カメラ用の画像処理装置
CN108139202A (zh) * 2015-09-30 2018-06-08 索尼公司 图像处理装置、图像处理方法和程序
JP2017102708A (ja) * 2015-12-02 2017-06-08 日本放送協会 オブジェクト追跡装置及びそのプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113514053A (zh) * 2021-07-13 2021-10-19 阿波罗智能技术(北京)有限公司 生成样本图像对的方法、装置和更新高精地图的方法
CN113514053B (zh) * 2021-07-13 2024-03-26 阿波罗智能技术(北京)有限公司 生成样本图像对的方法、装置和更新高精地图的方法
CN114004885A (zh) * 2021-10-18 2022-02-01 上海航天空间技术有限公司 利用卫星视线矢量对空中目标位置的快速估计方法
CN114004885B (zh) * 2021-10-18 2022-07-12 上海航天空间技术有限公司 利用卫星视线矢量对空中目标位置的快速估计方法

Also Published As

Publication number Publication date
WO2020039937A1 (ja) 2020-02-27
JPWO2020039937A1 (ja) 2021-02-15
US20210341605A1 (en) 2021-11-04
EP3842735A1 (en) 2021-06-30
EP3842735A4 (en) 2022-06-15
JP6950832B2 (ja) 2021-10-13

Similar Documents

Publication Publication Date Title
JP6950832B2 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
JP6812404B2 (ja) 点群データを融合させるための方法、装置、コンピュータ読み取り可能な記憶媒体、及びコンピュータプログラム
EP3137850B1 (en) Method and system for determining a position relative to a digital map
CA3027921C (en) Integrated sensor calibration in natural scenes
EP2133662B1 (en) Methods and system of navigation using terrain features
CN110617821B (zh) 定位方法、装置及存储介质
JP6656886B2 (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
CN111436216A (zh) 用于彩色点云生成的方法和系统
CN111161353B (zh) 车辆定位方法、装置、可读存储介质和计算机设备
JP2007232690A (ja) 現在地検出装置、地図表示装置、および現在地検出方法
JP4978615B2 (ja) 対象特定装置
CN111551186A (zh) 一种车辆实时定位方法、系统及车辆
JP2009053059A (ja) 対象特定装置、対象特定方法および対象特定プログラム
JP2018180772A (ja) 物体検出装置
KR101442703B1 (ko) Gps 단말기 및 gps 위치 보정 방법
US11551411B2 (en) Data processor, data processing method, and data processing program for determining correspondence relationships between laser scanning point clouds
JP7343054B2 (ja) 位置推定方法、位置推定装置、および位置推定プログラム
CN113959457B (zh) 一种自动驾驶车辆的定位方法、装置、车辆和介质
JP2019078700A (ja) 情報処理装置および情報処理システム
CN114964209B (zh) 基于红外阵列成像的长航时无人机自主导航方法和系统
CN110515110B (zh) 数据评估的方法、装置、设备和计算机可读存储介质
CN116097128A (zh) 用于对车辆位置进行确定的方法和设备
JP4752319B2 (ja) 画像認識装置及び画像認識方法
JP2020073931A (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
JP7117408B1 (ja) 位置算出装置、プログラム及び位置算出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination