CN117808870A - 位置估计系统、位置估计方法和程序 - Google Patents
位置估计系统、位置估计方法和程序 Download PDFInfo
- Publication number
- CN117808870A CN117808870A CN202311256843.3A CN202311256843A CN117808870A CN 117808870 A CN117808870 A CN 117808870A CN 202311256843 A CN202311256843 A CN 202311256843A CN 117808870 A CN117808870 A CN 117808870A
- Authority
- CN
- China
- Prior art keywords
- image
- coordinate point
- mask
- moving body
- mask image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000009466 transformation Effects 0.000 claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 238000003384 imaging method Methods 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 36
- 238000012937 correction Methods 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 17
- 238000009434 installation Methods 0.000 abstract description 5
- 230000010365 information processing Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 7
- 238000012217 deletion Methods 0.000 description 6
- 230000037430 deletion Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000005484 gravity Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Geometry (AREA)
- Traffic Control Systems (AREA)
Abstract
提供了无需在移动体上安装安装物体也能够估计移动体的位置的位置估计系统、位置估计方法和程序。位置估计系统包括:检测单元,配置为生成第一掩膜图像,该第一掩膜图像中添加有遮掩拍摄的图像中的移动体的掩膜区域;透视变换单元,配置为对第一掩膜图像执行透视变换;以及位置计算单元,配置为使用第二掩模图像中的掩模区域的第二坐标点来校正为第一掩膜图像中的掩膜区域设定的第一外接矩形的坐标点,该第二掩模图像是通过对第一掩膜执行透视变换而获得的,以计算第三坐标点。
Description
技术领域
本公开涉及位置估计系统、位置估计方法和程序。特别地,本公开涉及用于包括车辆的移动体的位置估计系统、位置估计方法和程序。
背景技术
在例如日本未审查专利申请公开第2001-51720号中公开了用于检测车辆的位置的技术。
日本未审查专利申请公开第2001-51720号公开了一种车辆位置检测装置,包括:安装在车辆上的两个预定位置上的发送和接收装置、安装在车辆的停车空间中的至少三个固定点上的四个返回装置、以及与每个发送和接收装置连接的控制装置,其中每个发送和接收装置与两个不同的返回装置通信以检测它们之间的距离,并且控制装置基于由每个发送和接收装置检测到的距离来计算车辆位置。
发明内容
然而,由于日本未审查专利申请公开第2001-51720号中描述的技术要求车辆和停车空间中的每一者均具有安装物体,因此存在例如当要估计不能安装安装物体的移动体的位置或空间时无法估计移动体的位置的问题。
本公开是为了解决这样的问题而做出的,其目的在于提供无需在移动体上安装安装物体也能够估计移动体的位置的位置估计系统、位置估计方法和程序。
根据本实施例的位置估计系统包括:成像单元,配置为拍摄包括目标移动体的成像区域;检测单元,配置为生成第一掩膜图像,该第一掩膜图像中添加有遮掩由成像单元拍摄的图像中的移动体的掩膜区域;透视变换单元,配置为对第一掩膜图像执行透视变换;以及位置计算单元,配置为将第一掩膜图像中的掩膜区域中设定的第一外接矩形的指定顶点设定作为第一坐标点,将通过对第一掩膜图像执行透视变换而获得的第二掩膜图像中的掩膜区域中设定的第二外接矩形的顶点当中与第一坐标点指示相同位置的顶点设定作为第二坐标点,并使用第二坐标点来校正第一坐标点,以计算指示移动体在图像坐标系中的位置的第三坐标点。
根据本实施例的位置估计方法包括:由成像单元拍摄包括目标移动体的成像区域;生成第一掩膜图像,该第一掩膜图像中添加有遮掩由成像单元拍摄的图像中的移动体的掩膜区域;对第一掩膜图像执行透视变换;以及将第一掩膜图像中的掩膜区域中设定的第一外接矩形的指定顶点设定作为第一坐标点,将通过对第一掩膜图像执行透视变换而获得的第二掩膜图像中的掩膜区域中设定的第二外接矩形的顶点当中与第一坐标点指示相同位置的顶点设定作为第二坐标点,并使用第二坐标点来校正第一坐标点,以计算指示移动体在图像坐标系中的位置的第三坐标点。
根据本实施例的程序使计算机执行如下处理:由成像单元拍摄包括目标移动体的成像区域;生成第一掩膜图像,该第一掩膜图像中添加有遮掩由成像单元拍摄的图像中的移动体的掩膜区域;对第一掩膜图像执行透视变换;以及将第一掩膜图像中的掩膜区域中设定的第一外接矩形的指定顶点设定作为第一坐标点,将通过对第一掩膜图像执行透视变换而获得的第二掩膜图像中的掩膜区域中设定的第二外接矩形的顶点当中与第一坐标点指示相同位置的顶点设定作为第二坐标点,并使用第二坐标点来校正第一坐标点,以计算指示移动体在图像坐标系中的位置的第三坐标点。
根据本公开,可以提供无需在移动体上安装安装物体也能够估计移动体的位置的位置估计系统、位置估计方法和程序。
本公开的以上和其他目的、特征和优点将根据下文中所给出的详细描述和附图而变得更加充分地理解,这些详细描述和附图仅以示例的方式给出,因此不应被视为是对本公开的限制。
附图说明
图1示出了根据第一实施例的位置估计系统的概览;
图2是用于解释使用位置估计系统的位置估计方法的示例的流程图;
图3是示出各种图像的示例的示意图;
图4是用于解释步骤S8的第一图;
图5是用于解释步骤S8的第二图;以及
图6是用于解释步骤S9的图。
具体实施方式
第一实施例
以下参照附图描述本公开的实施例。然而,本公开不限于以下实施例。此外,为了清楚起见,已酌情简化以下描述和附图。
作为根据本实施例的由位置估计系统100进行位置估计的对象的移动体的示例,下面将具体对移动体为诸如汽车的车辆1的情况进行描述。然而,位置估计系统100适用于除车辆之外的各种移动体的位置估计。移动体例如可以是路面行走型机器人。
在下面的描述中,与车辆1的行驶方向平行的方向称为前后方向,与前后方向垂直的水平方向称为左右方向,与前后方向和左右方向垂直的方向称为上下方向。在前后方向上,车辆1的行驶方向称为前,并且与前相反的方向称为后。图中的黑色箭头指示行驶方向。
将参照图1描述根据本实施例的位置估计系统100的概览。图1示出了根据第一实施例的位置估计系统的概览。如图1中所示,位置估计系统100具有相机10、显示装置30、和信息处理装置40等,并且估计目标车辆1的位置。
车辆1在其中以沿着平行于行驶方向的Xg轴和垂直于行驶方向的Yg轴中的每一者的网格图案绘制有的网格线70的平坦移动路径的路面71上沿行驶方向移动(行驶)。Xg轴和Yg轴为全局坐标系的坐标轴。这样的网格线70可以省略。
位置估计系统100采用车辆1的特定部分的定位点集合的位置作为车辆1的位置。在本实施例中,车辆1的定位点为车辆1的左后方的车辆端1e。
相机10是成像单元的具体示例。相机10与信息处理装置40无线地或有线地通信连接。相机10具有诸如CCD(Charge Coupled Device,电荷耦合器件)图像传感器、或CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)图像传感器的图像传感器以及光学系统。在本实施例中,相机10固定在车辆1外部,位于能够从车辆1的左后方的上方拍摄到在路面71上移动的车辆1的位置处。相机10以预定的成像周期拍摄包括车辆1的成像区域。在本实施例中,将以相机10拍摄包括车辆1和车辆2的成像区域的情况作为示例进行描述。
相机10生成示出成像区域的图像。该图像为组装了XcYc平面上排布的像素的二维图像,并且至少包括车辆1的二维数据。该图像优选地为彩色图像,但可以为灰度图像。每次生成图像时,例如,相机10向信息处理装置40输出所生成的图像以及随同所生成的图像一起的获取该图像时的图像获取时间。
显示装置30向用户显示各种类型的信息。显示装置30由例如液晶显示器(LiquidCrystal Display,LCD)或有机电致发光显示器(Organic Electroluminescence Display,OELD)组成。显示装置30与信息处理装置40无线地或有线地通信连接。
信息处理装置40具有正常的计算机硬件配置,例如具有诸如CPU(CentralProcessing Unit,中央处理单元)或GPU(Graphics Processing Unit,图形处理单元)的处理器、诸如RAM(Random Access Memory,随机存取存储器)或ROM(Read Only Memory,只读存储器)的存储器、用于连接诸如HDD(Hard Disk Drive,硬盘驱动器)或SSD(Solid StateDrive,固态硬盘驱动器)的存储设备的输入/输出I/F、以及诸如显示装置30的外围设备、以及用于与装置外部的设备进行通信的通信I/F。
信息处理装置40对由相机10拍摄的图像进行处理,以估计(计算)车辆1的位置。信息处理装置40具有图像输入单元51、畸变校正单元52、旋转处理单元53、裁剪处理单元54、检测单元55、删除单元56、透视变换单元57、位置计算单元58、位置校正单元59和存储单元60。图像输入单元51、畸变校正单元52、旋转处理单元53、裁剪处理单元54、删除单元56、位置校正单元59和存储单元60可以酌情省略。
图像输入单元51从相机10接受图像的输入。畸变校正单元52校正图像的畸变。旋转处理单元53旋转图像,使得车辆1的矢量方向指向预定方向。当车辆1已经移动了超过预定阈值的距离时,裁剪处理单元从图像中去除车辆1已经移动过的距离所对应的已移动区域,并切割出包括移动体的移动体尚未移动过的区域(该区域在以下称为未移动区域)。
检测单元55生成第一掩膜图像15,该第一掩膜图像15中添加有对图像中的车辆1进行遮掩的掩膜区域M1。透视变换单元57对第一掩膜图像15进行透视变换。
首先,位置计算单元58获取第一掩膜图像15中的掩膜区域M1中设定的第一外接矩形R1的指定顶点作为第一坐标点P1。此外,在通过对第一掩膜图像15进行透视变换而获得的第二掩膜图像17中的掩膜区域M1中设定的第二外接矩形R2的顶点中,获取与第一坐标点P1指示相同位置的顶点作为第二坐标点P2。使用第二坐标点P2来校正第一坐标点P1,以计算指示车辆1在图像坐标系中的位置的第三坐标点P3。
位置校正单元59通过应用相机10在全局坐标系中的位置来校正第三坐标点P3,以计算车辆1在全局坐标系中的位置。
存储单元60由例如信息处理装置40中设置的存储器组成。存储单元60存储由信息处理装置40执行的各种程序、从相机10获得的诸如图像的各种数据、以及各种参数等。存储单元60中存储的程序包括实现根据本实施例的位置估计方法的处理的程序的至少一部分。另外,存储单元60存储包括用于位置估计的成像坐标点Pc和固定坐标点Pf的全局坐标系的二维地图、指示相机10的高度H的信息、指示车辆端1e的高度h的信息、以及位置估计期间获得的计算结果等。
用户可以使用上述位置估计系统100来执行车辆1的位置估计。将参考图2和图3描述使用位置估计系统100的位置估计方法。图2是示出使用位置估计系统的位置估计方法的示例的流程图。图3是示出各种图像的示例的示意图。在下面的描述中,在由检测单元55添加掩膜区域M1之前,每个处理中获得的图像分别称为图像11至图像14。
首先,在步骤S1中,图像输入单元51从相机10接受图像11的输入。从相机10获取的图像11可以包括:包括车辆1的多个车辆的二维数据。图2中作为示例示出的图像11包括车辆1和车辆2的二维数据。如果不需要由图像输入单元51进行这种处理,则可以省略步骤S1。
在步骤S2中,畸变校正单元52校正图像11的畸变。在本步骤中,可以通过使用存储单元60中预先存储的畸变校正参数来校正图像11的畸变,以生成图像12。畸变校正参数例如是与通过校准获得的网格线70的位置信息相关的参数。可以采用除网格线70之外的任何参数。如果不需要由畸变校正单元52进行这种处理,则可以省略步骤S2。
在步骤S3中,旋转处理单元53旋转图像12,使得车辆1的矢量方向指向预定方向。在本步骤中,例如,通过将图像12围绕图像12中的车辆1的重心旋转来生成图像13,使得作为车辆1的行驶方向的矢量方向在显示图像12的显示装置30的屏幕上向上指向。如果不需要由旋转处理单元53进行的这种处理,则可以省略步骤S3。
这里,可以例如采用光流法等,用矢量来表示车辆1的特征点的运动。基于图像11上适当设定的车辆1的特征点(重心C)在图像帧之间的位置的变化,估计车辆1的矢量量和矢量方向。
在步骤S4中,当车辆1已经移动了超过预定阈值的距离时,裁剪处理单元54从图像13中去除车辆1已经移动过的距离对应的移动区域,并生成切割出包括车辆1的未移动区域的图像14。裁剪处理单元54根据估计的矢量量来识别车辆1已经移动过的距离。
图3中作为示例所示的移动区域是图像13中虚线所指示的区域。以这种方式,提高了远离相机10的车辆1的图像处理的精度。如果不需要由裁剪处理单元54进行这种处理,则可以省略步骤S34。步骤S4中的由裁剪处理单元54进行的处理可以在步骤S3中的由旋转处理单元53进行的处理之前进行。
在步骤S5中,检测单元55生成第一掩膜图像15,该第一掩膜图像15中添加有对图像14中的车辆1进行遮掩的掩膜区域M1。在该步骤中,使用训练后的模型对图像14中的车辆1进行遮掩。例如,通过将图像14输入到预机器训练的鉴别器中以对输入图像中的车辆进行遮掩,可以输出将指示车辆1的区域的掩膜区域M1添加到图像14的第一掩膜图像15中。
作为这样的鉴别器,可以使用具有实现语义分割和实例分割的CNN(Convolutional Neural Network,卷积神经网络)结构的DNN(Deep Neural Network,深度神经网络)。鉴别器可以是用于物体检测的神经网络,或者也可以是根据除神经网络之外的机器训练模型的鉴别器。
这种鉴别器的示例是执行实例分割的DNN,诸如YOLACT++。当使用这样的DNN时,可以对图像14中包括的多个车辆进行分类,并且可以针对每个车辆1和车辆2生成第一掩膜图像15。在本实施例中,第一掩膜图像15是通过向图像14中添加指示被遮掩车辆1和被遮掩车辆2中每一者的区域的掩膜区域M1和掩膜区域M2来生成的。因此,能够抑制由于背景的多样性而导致的位置估计精度降低,当图像14中包括多个车辆时,可以选择目标车辆1。
第一掩膜图像15优选地为在向图像14中添加了掩膜区域M1和掩膜区域M2之后执行二值化处理的二值化图像。在步骤S5中,可以通过将掩膜区域M1和掩膜区域M2添加到图像13中而不是图像14中来生成第一掩膜图像15。
在步骤S6中,当第一掩膜图像15包括多个车辆时,删除单元56从第一掩膜图像15中删除被遮掩的非目标车辆2。在本步骤中,在步骤S5中生成的掩膜区域M1和掩膜区域M2当中,从第一掩膜图像15中删除存在于识别目标区域之外的掩膜区域M2。识别目标区域是第一掩膜图像15中车辆1移动的预定区域,并且其被预先存储在存储单元60中。例如,设定与网格线70中的区域对应的识别目标区域。
结果,当图像中拍摄有多个车辆时,可以消除不是位置估计的对象的车辆2的影响,从而提高车辆1的位置估计精度。如果不需要由删除单元56进行的处理,诸如当不存在车辆2时,可以省略步骤S6。
在步骤S7中,透视变换单元57对第一掩膜图像15进行透视变换。在步骤S7中,步骤S5中生成的第一掩膜图像15可以是处理的目标,并且步骤S6中从其中删除了车辆2的第一掩膜图像15可以是处理的目标。
在本步骤中,使用预先存储在存储单元60中的透视变换参数,将第一掩膜图像15透视变换成从与路面71基本垂直的车辆1上方(例如,车辆1的正上方)的视点所观察的鸟瞰图像。
因此,具有以相机10的焦点为原点的由Xc和Yc所指示的坐标轴的相机坐标系被变换成具有以通过透视变换投影的图像平面的一个点为原点的由Xi和Yi所指示的坐标轴的图像坐标系。透视变换参数例如是通过校准获得的与相机10的位置信息和内部参数相关的参数。
在步骤S8中,位置计算单元58首先获取第一掩膜图像15中的掩膜区域M1中设定的第一外接矩形R1的指定顶点作为第一坐标点P1。同时,在通过对第一掩膜图像15进行透视变换而获得的第二掩膜图像17中的掩膜区域M1中设定的第二外接矩形R2的顶点当中,获取与第一坐标点P1指示相同位置的顶点作为第二坐标点P2。使用第二坐标点P2来校正第一坐标点P1,以计算指示车辆1在图像坐标系中的(估计)位置的第三坐标点P3。
将参照图4和图5描述步骤S8的细节。图4是用于解释步骤S8的第一图。图5是用于解释步骤S8的第二图。如图4中所示,在步骤S8中,计算了用于计算车辆1的位置的第三坐标点P3。
在计算第三坐标点P3时,通过透视对向其添加了第一掩膜图像15中的为掩膜区域M1设定的第一外接矩形R1的第一掩膜图像15进行变换,并获取通过变换而变形后的第一外接矩形R1的第一坐标点P1。另外,获取第二掩膜图像17中的为掩膜区域M1设定的第二外接矩形R2的第二坐标点P2。
从而获取到使用坐标(Xi1,Yi1)和坐标(Xi2,Yi2)的第一坐标点P1和第二坐标点P2,计算出第三坐标点P3。可以根据需要,通过将第一坐标点P1的坐标(Xi1,Yi1)替换为第二坐标点P2的坐标(Xi2,Yi2)来计算第三坐标点P3。具体地,如果Xi1>Xi2,则将Xi1替换为Xi2。如果Yi1>Yi2,则将Yi1替换为Yi2。图4中作为示例示出的坐标点P3具有坐标(Xi2,Yi1)。这样的校正提高了车辆1的位置估计精度。
这里,描述了用于获取第一坐标点P1和第二坐标点P2的方法。首先,为了获取第一坐标点P1,从透视变换之前的第一外接矩形R1获取基础坐标点P0。图5示出了获取基础坐标点P0的方法。
如图5中所示,首先,为第一掩膜图像15中的掩膜区域M1设定外接矩形R0。接下来,以掩膜区域M1的重心C为旋转中心,将第一掩膜图像15旋转以所需的旋转量,使得第一掩膜图像15中的掩膜区域M1对应的车辆1的运动矢量V的矢量方向指向预定方向(即屏幕上的向上方向)。
在为以这种方式旋转的第一掩膜图像15中的掩膜区域M1设定第一外接矩形R1(长边平行于运动矢量V的矢量方向的第一外接矩形R1)之后,以掩膜区域M1的重心C为旋转中心,将向其添加第一外接矩形R1的第一掩膜图像15逆向旋转以上述旋转量。获得因此逆向旋转第一掩膜图像15中第一外接矩形R1的基础坐标点P0。这里获取到的基础坐标点P0是第一外接矩形R1的四个顶点中的一个顶点,并且选择了与车辆端1e具有最接近坐标的顶点。
接下来,如图4中所示,对逆向旋转的第一掩膜图像15执行透视变换,并获取通过透视变换而变形后的第一外接矩形R1的第一坐标点P1的坐标(Xi1,Yi1)。这里获取到的第一坐标点P1是与基础坐标点P0对应的坐标点。
如图4中所示,为了获取第二坐标点P2,为第二掩膜图像17中的掩膜区域M1设定第二外接矩形R2,并获取第二外接矩形R2的第二坐标点P2的坐标(Xi2,Yi2)。这里获取到的第二坐标点P2是第二外接矩形R2的四个顶点中的一个顶点,并且选择了与车辆端1e具有最接近坐标的顶点。也即,由于第一坐标点P1和第二坐标点P2是指示相同位置的坐标点,所以它们与彼此具有相关性。
在步骤S9中,位置校正单元59通过应用相机10在全局坐标系中的位置来校正第三坐标点P3,以计算车辆1在全局坐标系中的位置。将参照图6描述步骤S9的细节。图6是用于解释步骤S9的图。
图6中所示的全局坐标系是具有以指示路面71的预定基准位置的固定坐标点Pf为原点的由Xg和Yg所指示的坐标轴的坐标系。成像坐标点Pc指示相机10在全局坐标系中的位置。固定坐标点Pf和成像坐标点Pc预先存储在存储单元60中。在本步骤中,计算指示车辆1的位置的车辆坐标点Pv。
如图6的左侧视图中所示,当相机10的位置与车辆1的位置之间的观测距离为Do、观测误差为ΔD、相机10距离路面71的高度[m]为H、车辆端1e距离路面71的高度[m]为h时,观测误差ΔD可以表示为如下表达式(1):
ΔD=h/H×Do…表达式(1)
也即,观测距离Do越大,则观测误差ΔD变得越大。相机10的高度H和车辆端1e的高度h预先存储在存储单元60中。
接下来,当相机10的位置与车辆端1e的位置之间的实际距离D为D时,实际距离D可以表示为如下表达式(2):
D=Do×(1-h/H)…表达式(2)
也即,实际距离D由观测距离Do、相机10的高度H和车辆端1e的高度h确定。
如图6的俯视图中所示,当基准位置与车辆1的估计位置之间的估计距离为Dp,且基准位置与车辆1的位置之间的实际距离为Dt时,实际距离Dt可以表示为如下表达式(3)。
Dt=Dp×(1-h/H)…表达式(3)
这里,可以使用从坐标点Pf和坐标点Pc获得的实际距离Dc以及坐标点P3和坐标点Pf来计算估计距离Dp。
因此,可以利用通过使用表达式(3)校正估计距离Dp而获得的实际距离Dt和固定坐标点Pf来计算车辆坐标点Pv。这样计算的车辆坐标点Pv对应于车辆1在真实空间中的位置。然而,由于相机10的位置越高,则高度H变得越高,因此可以减小表达式(3)中由h/H所指示的校正值,以接近0。以这种方式,如果不需要由位置校正单元59进行的处理,诸如当相机10被放置的高度如此之高以至于不需要进行校正时,则可以省略步骤S9。
如上所述,根据本实施例的位置估计系统100包括:成像单元(相机10),配置为拍摄包括目标移动体(车辆1)的成像区域;旋转处理单元53,配置为旋转由成像单元拍摄的图像以使移动体的矢量方向指向预定方向;检测单元55,配置为生成第一掩膜图像15,该第一掩膜图像15中添加有遮掩由成像单元拍摄的图像中的移动体的掩膜区域M1;透视变换单元57,配置为对第一掩膜图像15执行透视变换;位置计算单元58,配置为将第一掩膜图像15中的掩膜区域M1中设定的第一外接矩形R1的指定顶点设定作为第一坐标点P1,将通过对第一掩膜图像15执行透视变换而获得的第二掩膜图像17中的掩膜区域M1中设定的第二外接矩形R2的顶点当中与第一坐标点P1指示相同位置的顶点设定作为第二坐标点P2,并使用第二坐标点P2来校正第一坐标点P1,以计算指示移动体在图像坐标系中的位置的第三坐标点P3;以及位置校正单元59,配置为通过应用成像单元在全局坐标系中的位置来校正第三坐标点P3,以计算移动体在全局坐标系中的位置。
通过这样的配置,可以提供能够估计移动体的位置的系统,而无需在移动体上安装用于估计移动体的位置的诸如传感器、标记或发送器/接收器的安装物体。此外,不必须将位置估计系统100安装在移动体上,并且与需要在移动体上安装至少一些功能来保持和处理数据的其他系统相比更加通用。
上述位置估计系统100还包括校正图像畸变的畸变校正单元52。通过这样的配置,提高了移动体的位置估计精度。
上述位置估计系统100还包括裁剪处理单元54,当移动体已经移动了超过预定阈值的距离时,从图像中去除移动体已经移动过的距离对应的移动区域,并切割出包括移动体的未移动区域。通过这样的配置,提高了移动体的位置估计精度。
位置估计系统100还包括删除单元56,当第一掩膜图像15包含多个移动体时,删除单元56从第一掩膜图像15中删除由检测单元55遮掩的非目标移动体。通过这样的配置,提高了移动体的位置估计精度。
上述移动体是车辆1。这里,作为能够定位室外空间中的诸如车辆等移动体的位置的系统,例如可以采用使用GPS(Global Positing System,全球定位系统)的系统。然而,在来自GPS卫星的数据难以达到的具有屏蔽效果的室内空间中,存在通过使用GPS的系统计算的位置精度下降的问题。相比之下,根据本实施例,即使在GPS使用不理想的环境下,也能够估计车辆1的位置。因此,上述位置估计系统100可以适用于诸如车厂的室内空间中存在的车辆1的位置估计。
进一步地,根据本实施例的位置估计方法包括:由成像单元拍摄包括目标移动体的成像区域;旋转由成像单元拍摄的图像以使移动体的矢量方向指向预定方向,生成第一掩膜图像15,该第一掩膜图像15中添加有遮掩由成像单元拍摄的图像中的移动体的掩膜区域M1;对第一掩膜图像15执行透视变换;将第一掩膜图像15中的掩膜区域M1中设定的第一外接矩形R1的指定顶点设定作为第一坐标点P1,将通过对第一掩膜图像15执行透视变换而获得的第二掩膜图像17中的掩膜区域M1中设定的第二外接矩形R2的顶点当中与第一坐标点P1指示相同位置的顶点设定作为第二坐标点P2,并使用第二坐标点P2来校正第一坐标点P1,以计算指示移动体在图像坐标系中的位置的第三坐标点P3;以及通过应用成像单元在全局坐标系中的位置来校正第三坐标点P3,以计算移动体在全局坐标系中的位置。
通过这样的配置,可以提供用于估计移动体的位置的方法,而无需在移动体上安装用于估计移动体的位置的诸如传感器、标记或发送器/接收器的安装物体。
此外,根据本实施例的程序使计算机执行如下处理:由成像单元拍摄包括目标移动体的成像区域;旋转由成像单元拍摄的图像以使移动体的矢量方向指向预定方向,生成第一掩膜图像15,该第一掩膜图像15中添加有遮掩由成像单元拍摄的图像中的移动体的掩膜区域M1;对第一掩膜图像15执行透视变换;将第一掩膜图像15中的掩膜区域M1中设定的第一外接矩形R1的指定顶点设定作为第一坐标点P1,将通过对第一掩膜图像15执行透视变换而获得的第二掩膜图像17中的掩膜区域M1中设定的第二外接矩形R2的顶点当中与第一坐标点P1指示相同位置的顶点设定作为第二坐标点P2,并使用第二坐标点P2来校正第一坐标点P1,以计算指示移动体在图像坐标系中的位置的第三坐标点P3;以及通过应用成像单元在全局坐标系中的位置来校正第三坐标点P3,以计算移动体在全局坐标系中的位置。
通过这样的配置,可以提供能够估计移动体的位置的程序,而无需在移动体上安装用于估计移动体的位置的诸如传感器、标记或发送器/接收器的安装物体。
应注意的是,本公开不限于上述实施例,而是可以在不脱离其范围的情况下酌情改变。
例如,在上述实施例中,给出了其中对移动的车辆1的位置进行估计的示例,但也可以对静止车辆1的位置进行估计。为了估计静止车辆1的位置,而不是移动的车辆1的矢量方向,例如可以在系统起动后使用从最初获取的图像11估计出的车辆1的初始矢量方向来估计静止车辆1的位置。
另外,尽管在上述实施例中已经描述了信息处理装置40处理二维图像的示例,但是由立体相机或TOF(Time of Flight,飞行时间)相机拍摄的三维图像也可以是被处理的对象。
此外,信息处理装置40可以通过单个壳体中包含的装置来实现,或者信息处理装置40的每个单元也可以通过例如一个或多个计算机组成的云计算来实现。
此外,在上述实施例中,已经通过给出从相机10接受图像11的输入的示例描述了图像输入单元51。替代地,例如,可以接受存储单元60等中预先存储的图像11的输入。
另外,本公开可以通过例如使处理器执行由信息处理装置40执行的处理的计算机程序来实现。
可以使用任何类型的非暂态性计算机可读介质来存储该程序并将其提供给计算机。非暂态性计算机可读介质包括任何类型的有形存储介质。非暂态性计算机可读介质的示例包括磁存储介质(例如软盘、磁带、硬盘驱动器等)、光磁存储介质(例如磁光盘)、CD-ROM(Compact Disc Read Only Memory,紧凑光盘只读存储器)、CD-R(Compact DiscRecordable,可记录光盘)、CD-R/W(Compact Disc Rewritable,可重写光盘)和半导体存储器(例如掩模型ROM、PROM(Programmable ROM,可编程ROM)、EPROM(Erasable PROM,可擦除PROM)、闪速ROM、RAM(Random Access Memory,随机存取存储器)等)。可以使用任何类型的暂态性计算机可读介质来将该程序提供给计算机。暂态性计算机可读介质的示例包括电信号、光信号和电磁波。暂态性计算机可读介质可以经由有线通信线路(例如,电线和光纤)或无线通信线路将该程序提供给计算机。
根据如此描述的本公开,将显而易见的是,本公开的实施例可以以许多方式改变。这样的变型不应被认为是背离本公开的精神和范围,并且所有这样的对于本领域技术人员将会是显而易见的变型旨在包括于所附权利要求的范围内。
Claims (9)
1.位置估计系统,包括:
成像单元,配置为拍摄包括目标移动体的成像区域;
检测单元,配置为生成第一掩膜图像,所述第一掩膜图像中添加有遮掩由所述成像单元拍摄的图像中的移动体的掩膜区域;
透视变换单元,配置为对所述第一掩膜图像执行透视变换;以及
位置计算单元,配置为将所述第一掩膜图像中的所述掩膜区域中设定的第一外接矩形的指定顶点设定作为第一坐标点,将通过对所述第一掩膜图像执行透视变换而获得的第二掩膜图像中的掩膜区域中设定的第二外接矩形的顶点当中与所述第一坐标点指示相同位置的顶点设定作为第二坐标点,并使用所述第二坐标点来校正所述第一坐标点,以计算指示所述移动体在图像坐标系中的位置的第三坐标点。
2.根据权利要求1所述的位置估计系统,还包括:
畸变校正单元,用于校正所述图像的畸变。
3.根据权利要求1所述的位置估计系统,还包括:
旋转处理单元,配置为旋转所述图像,以使得所述移动体的矢量方向指向预定方向。
4.根据权利要求1所述的位置估计系统,还包括:
裁剪处理单元,配置为当所述移动体已经移动了超过预定阈值的距离时,从所述图像中去除所述移动体已经移动过的距离对应的移动区域,并切割出包括所述移动体的未移动区域。
5.根据权利要求1所述的位置估计系统,还包括:
删除单元,配置为当所述第一掩膜图像包括多个所述移动体时,从所述第一掩膜图像中去除由所述检测单元遮掩的非目标移动体。
6.根据权利要求1所述的位置估计系统,还包括:
位置校正单元,配置为通过应用所述成像单元在全局坐标系中的位置来校正所述第三坐标点,以计算所述移动体在全局坐标系中的位置。
7.根据权利要求1所述的位置估计系统,其中
所述移动体为车辆。
8.位置估计方法,包括:
由成像单元拍摄包括目标移动体的成像区域;
生成第一掩膜图像,所述第一掩膜图像中添加有遮掩由所述成像单元拍摄的图像中的移动体的掩膜区域;
对所述第一掩膜图像执行透视变换;以及
将所述第一掩膜图像中的所述掩膜区域中设定的第一外接矩形的指定顶点设定作为第一坐标点,将通过对所述第一掩膜图像执行透视变换而获得的第二掩膜图像中的掩膜区域中设定的第二外接矩形的顶点当中与所述第一坐标点指示相同位置的顶点设定作为第二坐标点,并使用所述第二坐标点来校正所述第一坐标点,以计算指示所述移动体在图像坐标系中的位置的第三坐标点。
9.计算机可读介质,其存储程序,所述程序用于使计算机执行以下处理:
生成第一掩膜图像,所述第一掩膜图像中添加有遮掩通过拍摄包括目标移动体的成像区域而获得的图像中的移动体的掩膜区域;
对所述第一掩膜图像执行透视变换;以及
将所述第一掩膜图像中的所述掩膜区域中设定的第一外接矩形的指定顶点设定作为第一坐标点,将通过对所述第一掩膜图像执行透视变换而获得的第二掩膜图像中的掩膜区域中设定的第二外接矩形的顶点当中与所述第一坐标点指示相同位置的顶点设定作为第二坐标点,并使用所述第二坐标点来校正所述第一坐标点,以计算指示所述移动体在图像坐标系中的位置的第三坐标点。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022158932A JP2024052304A (ja) | 2022-09-30 | 2022-09-30 | 位置推定システム、位置推定方法、及びプログラム |
JP2022-158932 | 2022-09-30 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117808870A true CN117808870A (zh) | 2024-04-02 |
Family
ID=88204409
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311256843.3A Pending CN117808870A (zh) | 2022-09-30 | 2023-09-26 | 位置估计系统、位置估计方法和程序 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240112363A1 (zh) |
EP (1) | EP4345750A1 (zh) |
JP (1) | JP2024052304A (zh) |
CN (1) | CN117808870A (zh) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3707308B2 (ja) | 1999-08-06 | 2005-10-19 | 日産自動車株式会社 | 車両位置検出装置 |
-
2022
- 2022-09-30 JP JP2022158932A patent/JP2024052304A/ja active Pending
-
2023
- 2023-08-21 US US18/236,208 patent/US20240112363A1/en active Pending
- 2023-09-26 CN CN202311256843.3A patent/CN117808870A/zh active Pending
- 2023-09-26 EP EP23199923.6A patent/EP4345750A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4345750A1 (en) | 2024-04-03 |
JP2024052304A (ja) | 2024-04-11 |
US20240112363A1 (en) | 2024-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111656136B (zh) | 使用激光雷达的车辆定位系统 | |
CN110148185B (zh) | 确定成像设备坐标系转换参数的方法、装置和电子设备 | |
CN111223135B (zh) | 通过使用雷达和运动数据的单目相机来增强距离估计的系统和方法 | |
KR101776622B1 (ko) | 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
KR101725060B1 (ko) | 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
KR101776621B1 (ko) | 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
KR101784183B1 (ko) | ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
US20170339397A1 (en) | Stereo auto-calibration from structure-from-motion | |
US8744169B2 (en) | Voting strategy for visual ego-motion from stereo | |
CN111448478A (zh) | 用于基于障碍物检测校正高清地图的系统和方法 | |
US20170017839A1 (en) | Object detection apparatus, object detection method, and mobile robot | |
KR20090103165A (ko) | 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법 | |
JP2001242934A (ja) | 障害物検出装置、障害物検出方法、及び障害物検出プログラムを記録した記録媒体 | |
CN112106111A (zh) | 一种标定方法、设备、可移动平台及存储介质 | |
CN115497077A (zh) | 车厢姿态识别系统、方法、电子设备及存储介质 | |
CN113030960B (zh) | 一种基于单目视觉slam的车辆定位方法 | |
CN111553342B (zh) | 一种视觉定位方法、装置、计算机设备和存储介质 | |
JP6988873B2 (ja) | 位置推定装置および位置推定用コンピュータプログラム | |
KR102195040B1 (ko) | 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법 | |
US20230109473A1 (en) | Vehicle, electronic apparatus, and control method thereof | |
WO2022133986A1 (en) | Accuracy estimation method and system | |
EP4345750A1 (en) | Position estimation system, position estimation method, and program | |
WO2022141262A1 (en) | Object detection | |
US11514588B1 (en) | Object localization for mapping applications using geometric computer vision techniques | |
JP2018194417A (ja) | 位置推定装置、移動装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |