CN113167579A - 测量系统、测量方法、以及测量程序 - Google Patents

Abstract

本发明提供一种测量系统、测量方法和测量程序，通过快速且可靠地检测待测对象物(障碍物)的存在，从而实现工业领域的安全操作。根据本发明的一种实施例，提供一种构成为可测量对象物位置的测量系统，其特征在于，具备：摄像装置和信息处理装置，其中：所述摄像装置是帧率为100fps以上的相机，且构成为可将包含在所述相机的视角内的所述对象物作为图像进行拍摄；以及所述信息处理装置具备通信部，IPM变换部和位置测量部，所述通信部与所述摄像装置连接，且构成为可接收由所述摄像装置所拍摄的所述图像，所述IPM变换部将包括所述对象物在内的所述图像的至少一部分设定为预定区域，且构成为对所述图像进行逆透视投影变换，并生成限定于所述预定区域的IPM图像，在此，所述IPM图像是俯视包括所述对象物的预定平面所绘制的图像，以及所述位置测量部构成为可根据所述IPM图像来测量所述对象物的位置。

Description

测量系统、测量方法、以及测量程序

技术领域

本发明涉及测量系统、测量方法、以及测量程序。

背景技术

在工业领域，作为静止或移动测量系统，对周边环境的适当识别是实现安全操作的关键技术之一。特别是，当有对象物(障碍物)进入测量系统的视野时，有必要快速且可靠地检测出其存在。例如，在专利文件1中公开了一种用于检测障碍物的测量系统。所述测量系统构成为通过对相机拍到的图像进行逆透视投影变换而生成称为IPM图像的俯视预定平面的绘制的图像，并通过IPM画像来检测障碍物。

现有技术文献

专利文献

专利文件1：日本特开2013-65304号公报

发明内容

本发明所要解决的问题

然而，专利文件1中公开的测量系统中的逆透视投影变换需要处理时间，从而导致了操作效率低且延时较长。因此，这样的系统不具备足够的性能来确保至关重要的安全性。

针对以上情况，本发明旨在提供一种可通过快速且可靠地检测对象物(障碍物)的存在来实现工业上的安全操作的测量系统、测量方法以及测量程序。

解决问题所需的手段

根据本发明的一种实施例，提供一种构成为可测量对象物位置的测量系统，其特征在于，具备：摄像装置和信息处理装置，其中：所述摄像装置是帧率为100fps以上的相机，且构成为可将包含在所述相机的视角内的所述对象物作为图像进行拍摄；所述信息处理装置具备通信部，IPM变换部和位置测量部，所述通信部与所述摄像装置连接，且构成为可接收由所述摄像装置所拍摄的所述图像，所述IPM变换部将包括所述对象物在内的所述图像的至少一部分设定为预定区域，且构成为对所述图像进行逆透视投影变换，并生成限定于所述预定区域的IPM图像，在此，所述IPM图像是俯视包括所述对象物的预定平面所绘制的图像，所述位置测量部构成为可根据所述IPM图像来测量所述对象物的位置。

本发明所涉及的系统的特征在于，由帧速率为100帧以上的相机对对象物进行拍摄，将图像逆透视投影以生成限定于预定区域的IPM图像，并且使用所述IPM图像测量对象物的位置。通过使用100帧以上的高帧率的相机，可限定对象物可能存在的位置，以此作为前提条件来限定预定区域，从而可缩短逆透视投影变换和位置测量的处理时间。因此，通过提高驱动频率且减少延迟，可以有效实现更加安全的操作。

附图说明

图1是实施例所涉及的系统的功能框图。

图2是逆透视投影变换的概要图。

[图3A]是由第1相机(左)拍摄的第1图像，[图3B]是由第2相机(右)拍摄的第2图像，[图3C]是通过变换第1图像所得到的第1IPM图像，[图3D]是通过变换第2图像所得到的第2IPM图像，[图3E]是第1和第2IPM图像的差异，[图3F]是由另1相机(未图示)拍摄的俯视图。

[图4A]是从图3E的差异图像中获得的第1直方图，[图4B]是从图3E的差异图像中获得的第2直方图。

图5是表示测量方法过程的流程图。

图6是表示考虑到了与状态有关的参数而确定预定区域的概要图。

图7是表示机器学习过程的概要图。

图8是表示相机的俯仰角与路面上特征点的运动(光流)之间的关系的概要图。

图9是表示相机的俯仰角与路面上特征点的运动(光流)之间的关系的概要图。

图10是IPM变换处理之前的图像IM的光流(图10A)和第1次IPM变换处理所得到的光流(图10B)以及第2次IPM变换处理所得到的光流(图10C)的比较图。

具体实施方式

以下将结合附图对本发明实施例进行说明。以下示出的实施例中的各种特征事项均可互相组合。特别是在本说明书中的″部″可以是包含了例如广义上的电路实现的硬件资源和由这些硬件资源具体实现的软件信息处理的组合的概念。此外，在本实施例中涉及了各种信息，这些信息作为由0或1所组成的二进制位集通过信号值的高低来表示，并且可以在广义的电路上执行通信及计算。

此外，广义上的电路是通过至少适当地组合电路(Circuit)、电路类(Circuitry)、处理器(Processor)、以及存储器(Memory)等来实现的电路。即，包含了面向特定用途的集成电路(Application Specific Integrated Circuit：ASIC)，可编程逻辑设备(例如简单可编程逻辑设备(Simple Programmable Logical Device：SPLD)、复合可编程逻辑设备(Complex Programmable Logic Device：CPLD))以及现场可编程门阵列(FieldProgrammable Gate Array：FPGA)等。

1.整体结构

在第1节中，将对测量系统1的整体结构进行说明。图1是实施例所涉及的系统的功能框图。测量系统1具备摄像装置2和信息处理装置3，其通过电相互连接。测量系统1可以在静止状态下使用，但特别优选的是可将其设置在移动工具中进行使用。移动工具可以设定为，例如汽车、火车(不仅包括公共交通，还包括游乐设施等)、船舶、飞行物(包括飞机、直升机、无人机等)、移动机器人等等。在本说明书中，将以汽车为例进行说明，安装有测量系统1的汽车将被定义为″本车辆″。也就是说，测量系统1被用来测量例如位于位于前方的前方车辆(作为障碍物的对象物)的位置。

1.1摄像设备2

摄像装置2是一个所谓的视觉传感器(相机)，构成为可将外界信息作为图像进行获取，特别优选的是采用被称为高速视觉的高帧率。例如，帧率为100帧以上，优选为250帧以上，甚至更优选为500帧或1000帧。具体来说，例如，100、125、150、175、200、225、250、275、300、325、350、375、400、425、450、475、500、525、550、575、600、625、650、675、700、725、750、775、800、825、850、875、900、925、950、975、1000、1025、1050、1075、1100、1125、1150、1175、1200、1225、1250、1275、1300、1325、1350、1375、1400、1425、1450、1475、1500、1525、1550、1575、1600、1625、1650、1675、1700、1725、1750、1775、1800、1825、1850、1875、1900、1925、1950、1975、2000fps(赫兹)，也可以在以上列出的数值中的任意两个之间的范围内。更具体地说，摄像装置2是一个所谓的双目摄像装置，包括第1相机21和一个第2相机22。应该注意的是，第1相机21的视角和第2相机22的视角在某些区域是相互重叠的。在摄像装置2中，可以采用不仅能够测量可见光，还能够测量人类无法感知的波段如紫外线区域和红外线区域的相机。通过采用这样的相机，可以达到使本实施例的测量系统1即使在黑暗的环境中也能实施测量的有利效果。

<第1相机21>

例如，在测量系统1中，第1相机21与第2相机22并列设置，并构成为可对车辆的左侧前方进行拍摄。具体来说，在第1相机21的视角中，可拍摄到位于本车辆前方的前方车辆(即作为障碍物的对象物)。另外，第1照相机21通过电力通信线路(例如USB电缆等)与后述的信息处理装置3的通信部31连接，并构成为能够将拍摄到的图像转送至信息处理装置3。

<第2相机22>

例如，在测量系统1中，第2相机22与第1相机21并列设置，并构成为可对车辆的右侧前方进行拍摄。具体来说，在第2相机22的视角中，可拍摄到位于本车辆前方的前方车辆(即作为障碍物的对象物)。另外，第2相机22通过电力通信线路(例如USB电缆等)与后述的信息处理装置3的通信部31连接，并构成为能够将拍摄到的图像转送至信息处理装置3。

1.2信息处理装置3

信息处理装置3具备通信部31，存储部32，以及控制部33，这些构成要素在信息处理装置3的内部通过通信总线3进行电连接。以下将对各个构成要素进一步进行说明。

<通信部31>

通信部21虽优选诸如USB、IEEE1394、Thunderbolt以及有线LAN网络通信等有线通信方式，但根据需要也可包含无线LAN通信、LTE/3G等移动通信、Bluetooth(注册商标)通信等方式。即，优选为通过这样多个通信方式的结合来实施。特别是，优选为能够与所述摄像装置2中的第1相机21和第2相机22以预定的高速通信标准(例如，USB3.0或Camera Link等)进行通信。此外，还可以连接至用于显示前方车辆测量结果的显示器(未图式)或是用于根据测量结果来自动控制(自动驾驶)本车辆的自动控制装置(未图示)。

<存储部32>

存储部32用于存储上述描述所定义的各种信息。例如，可通过诸如固态驱动器(Solid State Drive：SSD)之类的存储设备，或者是存储与程序操作相关的临时必要信息(参数、数组等)的随机存取存储器(Random Access Memory：RAM)等内存的方式来实施。此外，也可以是这些的组合。

特别是，存储部32用于存储摄像装置中由第1相机21和第2相机22拍摄并由通信部31接收的第1图像IM1和第2图像IM2(图像IM)。存储部32还用于存储IPM图像IM′。具体来说，存储由第1图像IM1变换的第1IPM图像IM1′和由第2图像IM2变换的第2IPM图像IM2′。在此，图像IM和IPM图像IM′是具有例如RGB各8比特的像素信息的阵列信息。

此外，存储部32还存储用于根据图像IM生成IPM图像IM′的IPM变换程序。存储部32还存储直方图生成程序，其用于计算第1IPM图像IM1′和第2IPM图像IM2′的差值D，并生成以角度(方向)为基准的第1直方图HG1和以距离为基准的第2直方图HG2。存储部32还存储预定区域确定程序，其用于根据第1直方图HG1和第2直方图HG2确定在下一帧中用于处理的预定区域ROI。存储部32还存储用于根据差值D测量前方车辆位置的位置测量程序。存储部32还存储用于校正IPM图像IM′与真值的误差的校正程序。此外，存储部32还存储由控制部33执行的与测量系统1有关的各种程序等。

<控制部33>

控制部33执行与信息处理装置3相关的整体操作的处理和控制。控制部33是例如未图示的中央处理器(Central Processing Unit：CPU)。控制部33通过读取存储部32所存储的规定程序来实现信息处理装置3所涉及的种种功能。具体而言，指的是IPM变换功能、直方图生成功能、预定区域ROI确定功能、位置测量功能、校正功能等等。也就是说，软件(存储在存储部32中)的信息处理可以由硬件(控制部33)来具体实现，作为IPM变换部331、直方图生成部332、位置测量部333和校正部334执行。虽然在图1中表示为单一的控制部33，但实际上并不限于此，也可以作为根据各个功能配备多个控制部33来实现。当然，也可以是这些的组合。以下，将对IPM变换部331，直方图生成部332，位置测量部333，以及校正部334进行详细描述。

[IPM变换部331]

IPM变换部331将软件(存储在存储部32中)的信息处理通过硬件(控制部33)来具体实现。IPM变换部331构成为对从摄像装置2中的第1相机21和第2相机22传送并由通信部31接收的图像IM进行逆透视投影变换处理。逆透视投影变换将在第2节中详细描述。

换句话说，第1IPM图像IM1′是通过对第1图像IM1进行逆透视投影变换生成的，第2IPM图像IM2′是通过对第2图像IM2进行逆透视投影变换生成的。如[本发明所要解决的问题]中所述，逆透视投影变换需要处理时间。需要留意的是，在本实施例所涉及的测量系统1中，生成的是限于预定区域ROI的IPM图像IM′，而不是对应于图像IM的整个区域的IPM图像IM′。换句话说，通过对本来需要处理时间的逆透视投影变换进行限定地实施，可以缩短处理时间，从而提高测量系统1的整体控制率。特别是，对于整个测量系统1来说，第1相机21和第2相机22的帧率和控制部33的操作率中的较低的一方作为位置测量相关的控制率来操作。换句话说，通过使所述帧率和操作率提高到同样程度，即使只使用反馈控制也可以对前方车辆的位置进行测量(跟踪)。

预定区域ROI是通过对过去(通常是前一个)帧的处理来确定的，在第3节中将进行详细描述。换句话说，若将摄像装置2所拍摄的第n(n≥2)帧相关的图像定义为当前图像，将摄像装置2所拍摄的第n-k(n＞k≥1)帧相关的图像定义为过去图像，则适用于当前图像的预定区域ROI根据使用过去图像测量的对象物的过去位置来设定。

<直方图生成部332>

直方图生成部332将软件(存储在存储部32中)的信息处理通过硬件(控制部33)来具体实现。直方图生成部332计算第1IPM图像IM1′和第2IPM图像IM2′的差值D，并随后生成多个相对于不同参数生成的直方图HG。这样的直方图HG被限定在过去的帧中所确定的预定区域ROI。具体而言，生成基于角度(方向)的第1直方图HG1和基于距离的第2直方图HG2。进一步地，直方图生成部332根据生成的第1直方图HG1和第2直方图HG2确定预定区域ROI，以便在下一帧中用于处理。更多细节将在第3节中进行说明。

[位置测量部333]

位置测量部333将软件(存储在存储部32中)的信息处理通过硬件(控制部33)来具体实现。位置测量部333构成为根据由直方图生成部332计算的差值D以及第1直方图HG1和第2直方图HG2来测量前方车辆的位置。所测量的前方车辆的位置可以酌情通过显示器(未图示)呈现给本车辆的驾驶员。此外，适当的控制信号可被传送到根据测量结果自动控制(自动驾驶)车辆的自动控制装置。

[校正部334]

校正部334将软件(存储在存储部32中)的信息处理通过硬件(控制部33)来具体实现。校正部334通过比较第1IPM图像IM1′和第2IPM图像IM2′来推定这些坐标的对应关系，并根据推定的坐标的对应关系来对IPM图像IM′与真值的误差进行校正。更多细节将在第4节中进行说明。

2.逆透视投影变换

在第2节，将对逆透视投影变换进行说明。图2是逆透视投影变换的概要图，在此需要注意的是，假定针孔相机作为模型，同时只考虑相机的俯仰角来公式化。当然，也可以假设为鱼眼相机或全向相机，而且也可以考虑滚动角度来公式化。如图2所示，当世界坐标系O_W所代表的点(X_W，Y_W，Z_W)投影到相机图像平面π_C时，点(x，y)表示为[公式1]。

[公式1]

然而，K是相机(第1相机21和第2相机22)的内部矩阵，几是从相机坐标系O_C到相机图像平面π_C的投影矩阵，R∈SO(3)和T∈R^3分别表示世界坐标系O_W到相机坐标系O_C的旋转矩阵以及平移矢量。

现在来考虑由第1相机21和第2相机22拍摄的对象物只存在于某个平面π上的情况。此时，由于图像平面上的点和π上的点之间存在着一对一的对应关系，所以可以考虑从图像平面到π的一对一映射。这种映射被称为逆透视映投影(Inverse PerspectiveMapping)。当R和T分别表示为[公式2]时，图像上的点(x，y)的逆透视投影图像的π上的点(X_W，Y_W，Z_W)使用(x，y)如[公式3]进行计算。

[公式2]

[公式3]

在此，f_x和f_y分别是x和y方向的焦距，(o_x，o_y)是光学中心。在本实施例中，通由摄像装置2通过这种映射拍摄到的图像IM所投影的图像被称为IPM图像IM′。当两台相机(第1相机21和第2相机22)拍摄同一平面时，计算出的一对IPM图像IM′(第1IPM图像IM1′和第2IPM图像IM2′)与平面上的1点所对应的像素的亮度值是相同的。然而，当视野中存在一个不在平面上的对象物时，一对IPM图像IM′的亮度会出现差异。通过检测这个差异(差值D)，就能检测到存在于视野中的对象物。由于这种方法对平面的纹理具有鲁棒性，即使在例如有阴影这种单眼相机不擅长的情况下，也能准确地检测到对象物。

具体示例见图3A至图3F。图3A表示由第1相机21(左)拍摄的第1图像IM1，图3B表示由第2相机22(右)拍摄的第2图像IM2。图3C表示通过变换第1图像IM1得到的第1IPM图像IM1′，图3D表示通过变换第2图像IM2得到的第2IPM图像IM2′，图3E表示第1IPM图像IM1′和第2IPM图像IM2′的差值D(用预定的阈值二进制化)。此外，图3F表示由另一台相机(未图示)拍摄的俯视图。通过检测图3E中所示的差值D，来测量作为对象物的前方车辆的位置(白色所示部分)。

3.确定预定区域ROI

在第3节中，将对预定区域ROI进行说明。当对象物存在于两台相机(第1相机21和第2相机22)的视角内时，在一对IPM图像IM′的差值D中对应于对象物左右两侧的部分会分别产生大三角形的非零区域(见图3E)。如果取以两台相机投射到平面上的点的中点F(理解为摄像装置2的投射点)作为原点的角度方向的直方图HG的第1直方图HG1，则如图4A所示，对应于三角形顶点的位置有一个峰值。显示这个峰值的角度代表从相机到物体侧面的角度。在此，假设这个物体有微小的移动量。也就是说，假设对象物在连续帧之间的角度方向的移动量至多为δθ，那么在时间t+1的峰值位置θ_(t+1)和时间t的峰值位置θ_t之间就成立[公式4]的关系。

[公式4]

θ_t-δθ≤θ_t+1≤θ_t+δθ

如果采取以差值D中的中点F为中心的长度方向的直方图HG的第2个直方图HG2，则如图4B所示，对应于对象物的下边相当的部分有陡峭的变化。同样，对于帧间长度方向的移动量若假设至高为δr，那么在时间t+1的峰值位置r_(t+1)和时间t的峰值位置r_t之间就成立[公式5]的关系。

[公式5]

r_t-δr≤r_t+1≤r_t+δr

在此，通过使用[公式4]和[公式5]所代表的关系，可以分别对采取第1直方图HG1的第1预定区域ROI1和采取第2直方图HG2的第2预定区域ROI2进行限制(见图4A以及图4B)。特别是，在图4A所示的第1直方图HG1中，作为前方车辆的对象物的两端部分，由于存在两个峰值θ(分别为θ^I和θ^r)，需要注意的是第1预定区域ROI1的左端为θ^I(_t)-δθ，而右端为θ^r(_t)+。在下一帧中，这些都被整合起来，逆透视投影变换只需要在采取直方图HG的预定区域ROI的边界框部分进行，从而可以。大幅提高计算的效率。

换句话说，作为第1直方图HG1的基准的参数是以IPM图像IM′(更严格地说是差值D)中摄像装置2的位置为中心的极坐标角度θ，而作为第2直方图HG2的基准的参数是所述极坐标的距离r。此外，根据第1直方图HG1和第2直方图HG2中各自的参数(角度θ和距离r)是否在预定范围内，可以在下一帧中生成直方图HG时确定预定区域ROI。

4.校正

在第4节中，将对信息处理装置3中的校正部334所进行的校正(校准)进行说明。通过这样的校正，能够提高逆透视投影变换的精准度。

4.1单眼相机的校正

在本实施例中，虽然具备第1相机21和第2相机22，但也可以实施为让各个相机单独校正。也就是说，校正部334构成为通过连续比较当前图像和过去图像来推定摄像装置2所具有的参数，并且能够根据所推定的参数来校正IPM图像IM′与真值的误差。

具体而言，对相机单独拍摄的不同的帧之间的两张图像IM进行比较。在各幅图像IM中设置多个关注点，并实施定位的算法。通过重投影误差最小化来推定相机外部参数{Θ}，并利用推定的相机外部参数{Θ}对两张图像IM进行逆透视投影变换，从而得到两张IPM图像IM′。

然后，对于两张IPM图像IM′，与两张图像IM一样设置多个关注点，并实施定位的算法。再次通过重投影误差最小化来推定相机外部参数{Θ}。然后，使用推定的外部相机参数{Θ}再次对两张图像IM进行逆透视投影变换，得到两张新的IPM图像IM′。在重复这样的处理之后，收敛外部相机参数{Θ}，完成校正。所述收敛值包括相机的俯仰角和滚动角，相机本身(测量系统1)的平移量以及相同的旋转量。这样一来，对摄像装置2进行逆透视投影变换的校正。请注意图像IM并不仅限于两张，也可以使用三张或更多的图像，还可以实现RANSAC、时间序列信息和卡尔曼滤波等以便能够去除推定失败的部分。

4.2立体相机的校正

在本实施例中，由于具备第1相机21和第2相机22，通过这样的配置可以掌握相机之间的位置姿势关系，从而进一步进行校正。也就是说，校正部334构成为可通过比较第1IPM图像IM1′和第2IPM图像IM2′来推定这些坐标的对应关系，并根据推定的坐标的对应关系来校正IPM图像IM′与真值的误差。

具体而言，以第4.1节中所说明的单眼相机的校正之后的结果来考虑。首先，作为初始设置，第1IPM图像IM1′和第2IPM图像IM2′被预先设定的预定区域ROI隔开，通过实施定位的算法以获得平移和旋转量{Θ}中的平移量的初始值。

以下是反复处理的过程。利用所得到的的平移量的初始值再次用预定区域ROI隔开，通过实施定位的算法以获得平移和旋转量{Θ}。然后，根据获得的平移和旋转量{Θ}提取IPM图像IM′中的多个预定区域ROI，并计算各自的平移和旋转量θ_i。然后，确认整体平移和旋转量{Θ}和每个预定区域ROI的平移和旋转量{Θ}_i是否一致，这样重复进行直至达到收敛。这样一来，通过逆透视投影变换实现摄像装置2的校正。

4.3以光流为指标的重复处理

在上述的反复处理过程中，更具体地说，基于时间上相邻的帧(图像IM)所计算的光流可以作为指标使用。光流是一个矢量，其中将时间t-1中任意选择的点作为起点，将时间t中与所选择的点比铰并满足预定条件的点(推定移动目的地)作为终点。光流通常被用作图像中对象物运动的指标。特别是，它可以通过Lucas Kanade方法控制计算成本来进行计算。特别是，通过在IPM图像IM′上使用相位限定相关法等图像位置定位的方法，可以高精度地推定光流。

图8和图9是表示相机俯仰角与路面上特征点的运动(光流)之间关系的概要图。在比较离相机较近的点和较远的点时，这些光流会根据相机的俯仰角和滚动角而不同。IPM图像IM′形成虚拟俯视图像，假设相机是平移的，则IPM图像IM′中多个选择的点的每个光流都是理想为均匀的。换句话说，通过反复处理过程使光流均匀，从而作为收敛值可以得到相机的俯仰角、滚动角、相机本身(测量系统1)的平移量以及相同旋转量等等。具体来说可参考图10。图10是IPM变换处理之前的图像IM的光流(图10A)和第1次IPM变换处理所得到的光流(图10B)以及第2次IPM变换处理所得到的光流(图10C)的比较图。在图10C中，可以确认光流比图10B中的更加均匀。

通过高速实现这样的反复处理过程，可以实时获得相机外部参数{Θ}。因此，所述测量系统1可以用于相机的位置和姿势会发生变动的摩托车或无人机等等。

5.测量方法

在第5节中，将对使用了本实施例所涉及的测量系统1的测量方法进行说明。图5是表示测量方法过程的流程图。以下将按照图5中的各个步骤进行说明。

[开始]

(步骤S1)

在时间t中，摄像装置2(第1相机21和第2相机22)以100fps以上的帧率将对象物拍摄为图像IM(第1图像IM1和第2图像IM2)(继续至步骤S2)。

(步骤S2)

然后，对步骤S1中所拍摄的图像IM设置预定区域ROI。在此，预定区域ROI是在时间t之前(通常是1帧前)的步骤S5(后述)中所确定的区域。然而，关于第1帧也可以不设置这样的预定区域ROI(继续至步骤S3)。

(步骤S3)

然后，IPM变换部331对图像IM进行逆透视投影变换(参考第2节)，生成限于步骤S2中所设定的预定区域ROI的IPM图像IM′(第1IPM图像IM1′和第2lPM图像IM2′)(继续至步骤S4)。

(步骤S4)

随后，直方图生成部332计算第1IPM图像IM1′和第2IPM图像IM2′的差值D，并随后生成分别以不同参数(角度和距离)为基准生成的直方图HG(第1直方图HG1和第2直方图HG2)。基于这样的差值D，位置测量部333测量对象物的位置(继续至步骤S5)。

(步骤S5)

接下来，直方图生成部332根据在步骤S4中生成的直方图HG，在时间t以后(通常是提前一帧)确定可在步骤S2(上述)中设置的预定区域ROI。

[结束]

需要注意的是，通过这样重复步骤S1至S5，可以通过高操作率测量对象物的位置。虽然省略了一些说明，但优选为在这些步骤中由第4节中说明的校正部334进行校正。此外，关于预定区域ROI的机器学习可以在任何时间进行。

6.变形例

在第6节中，将对本实施例所涉及的变形例进行说明。也就是说，本实施例所涉及的测量系统1还可以按以下方式进一步创意实施。

第一，当测量系统1构成为像本车辆那样可移动时，如图6A和图6B所示，可以通过考虑测量系统1的速度、加速度、移动方向和周边环境中的至少一个参数来确定预定区域ROI。特别是，优选为通过机器学习提前学习这些参数和预定区域ROI之间的相关性。此外，还优选为在连续使用测量系统1的过程中，通过进一步的机器学习来确定预定的区域ROI。

第二，当有多个可能是障碍物的对象物时，优选为信息处理装置3中的位置测量部333构成为能够分别地识别这些对象物。特别优选的是，位置测量部333构成为能够通过事先利用机器学习来学习包围多个对象物中的每个对象物的预定区域ROI来分别识别多个对象物中的每一个。进而，如图7所示，优选为在连续使用测量系统1通过上述的逆透视投影变换重复识别对象物时，依次对预定区域ROI进行机器学习，从而进一步提高分离的精准度。这样一来，可以特定包括在预定区域ROI中的各种对象物的位置、种类等等。特别是，可以构成为能够根据包围对象物的边界框的下边的值和摄像装置2的高度、滚动角和俯仰角来推定到对象物的距离。此外，如果像本实施例所涉及的测量系统1一样摄像装置2是双目的话，则还可以通过立体视觉来测量到对象物的距离。

第三，例如若本车辆搭载了测量系统1，则可以根据测量的对象物的位置进行部分或完全自动驾驶。例如，可以考虑进行制动操作或是方向盘操作以避免碰撞。此外，还可以将所测量的对象物的识别状况显示至安装在本车辆内的显示器上，以便本车辆的驾驶员能够认识。

第四，尽管上述实施例使用了由第1相机21和第2相机22组成的双目摄像装置2，但也可以使用具有三个以上相机的三目以上的摄像装置2。通过增加相机的数量，可以有效提升测量系统1所实施测量的稳定性。另外还需注意的是，在第4.2节中所述的校正部334的校正可同样适用于三目以上的摄像装置。

第五，摄像装置2和信息处理装置3可以不作为测量系统1来实现，而是作为具有这些功能的单个装置来实现。具体来说，例如，可以是三维测量装置、图像处理装置、投影显示装置、三维模拟装置等等。

7.总结

如上所述，根据本实施例可实现一种测量系统1，其可以通过快速、可靠地检测待测的对象物(障碍物)的存在而实现工业上的安全操作。

所述测量系统1构成为可测量对象物的位置，其特征在于，具备：摄像装置2和信息处理装置3，其中：所述摄像装置2是帧率为100fps以上的相机(第1相机21以及第2相机22)，且构成为可将包含在所述相机的视角内的所述对象物作为图像IM进行拍摄；所述信息处理装置3具备通信部31，IPM变换部331和位置测量部333，所述通信部31与所述摄像装置2连接，且构成为可接收由所述摄像装置2所拍摄的所述图像IM，所述IPM变换部331将包括所述对象物在内的所述图像IM的至少一部分设定为预定区域，且构成为对所述图像IM进行逆透视投影变换，并生成限定于所述预定区域的IPM图像IM′，在此，所述IPM图像IM′是俯视包括所述对象物的预定平面所绘制的图像，所述位置测量部333构成为可根据所述IPM图像IM′来测量所述对象物的位置。

此外，通过使用这样的测量系统1，可以实现一种通过快速而可靠地检测待测对象物(障碍物)的存在从而实现工业上的安全操作的测量方法。

所述测量方法是测量对象物位置的测量方法，其特征在于，具备：摄像步骤，IPM变换步骤，以及位置测量步骤，其中：在所述摄像步骤中，使用帧率为100fps以上的相机(第1相机21和第2相机22)将包含在所述相机的视角内的所述对象物作为图像IM进行摄像；在所述IPM变换步骤中，将包括所述对象物在内的所述图像IM的至少一部分确定为预定区域ROI，对所述图像IM进行逆透视投影变换，并生成限定于所述预定区域ROI的IPM图像IM′，在此，所述IPM图像IM′是俯视包括所述对象物的预定平面所绘制的图像；在所述位置测量步骤中，根据所述IPM图像IM′来测量所述对象物的位置。

让可快速而可靠地检测待测对象物(障碍物)的存在从而实现工业上的安全操作的测量系统1通过硬件来实施的软件也可以作为程序来实现。这样的程序可以作为由计算机读取的非暂时存储介质(Non-transitory Computer Readable Medium)进行提供，也可以由外部服务器下载提供，还可以由外部计算机启动该程序，在客户终端上执行能够实现各个功能的所谓云计算。

所述测量程序用于测量对象物的位置，构成为使计算机执行摄像功能，IPM变换功能，以及位置测量功能，其中：通过所述摄像功能，将包括在相机(第1相机21和第2相机22)的视角中的对象物作为图像IM以100fps以上进行拍摄；通过所述IPM变换功能将包括所述对象物的所述图像IM的至少一部分确定为预定区域ROI，并且通过对所述图像IM进行逆透视投影变换而生成限于所述预定区域ROI的IPM图像IM′，在此，所述IPM图像IM′是俯视包括所述对象物的预定平面所绘制的图像；通过所述位置测量功能，根据所述IPM图像IM′测量所述对象物的位置。

此外，本发明也可通过以下所记载的各种实施例来提供。

在所述测量系统中，若将所述摄像装置所拍摄的第n(n≥2)帧相关的图像定义为当前图像，将所述摄像装置所拍摄的第n-k(n＞k≥1)帧相关的图像定义为过去图像，则适用于当前图像的所述预定区域根据使用过去图像测量的所述对象物的过去位置来设定。

在所述测量系统中，所述信息处理装置还具备校正部，所述校正部通过依次比较所述当前图像和所述过去图像，来推定所述摄像装置的参数，构成为根据所推定的所述参数，来校正所述IPM图像与真值的误差。

在所述测量系统中，所述摄像装置是由第1及第2相机构成的双目摄像装置，构成为可将包括在所述第1及第2相机的视角内的所述对象物作为第1和第2图像以所述帧率来拍摄，所述IPM变换部对应于第1和第2图像生成第1和第2IPM图像，所述位置测量部构成为可根据所述第1和第2IPM图像的差异来测量所述对象物的位置。

在所述测量系统中，所述信息处理装置还具备校正部，所述校正部通过比较所述第1和第2IPM图像来推定这些坐标的对应关系，且构成为可根据所推定地所述坐标的对应关系来校正所述IPM图像的与真值的误差。

在所述测量系统中，还具备直方图生成部，所述直方图生成部根据所述IPM图像的差异来生成限定于所述预定区域的直方图。

在所述测量系统中，所述直方图是包含了根据不同参数生成的第1及第2直方图在内的多个直方图，且所述预定区域根据每个所述参数是否在预定范围内来确定。

在所述测量系统中，作为所述第1直方图的基准的所述参数是以所述IPM图像中所述摄像装置的位置为中心的极坐标的角度，作为所述第2直方图的基准的所述参数是所述极坐标的距离。

在所述测量系统中，所述测量系统构成为可移动，所述预定区域根据所述测量系统的速度、加速度、移动方向、周边环境中的至少一个来确定。

在所述测量系统中，所述测量系统的速度、加速度、移动方向、周边环境中的至少一个与所述预定区域之间的相关性被构成为可通过机器学习来学习。

在所述测量系统中，所述对象物为多个，且所述位置测量部构成为可分别识别所述多个对象物，且能分别测量每个对象物的位置。

在所述测量系统中，构成为可对分别识别所述多个对象物的结果进行机器学习，由此，构成为可通过持续使用所述测量系统来提高位置测量部的分别识别的精准度。

一种测量对象物位置的测量方法，其特征在于，具备：摄像步骤，IPM变换步骤，以及位置测量步骤，其中：在所述摄像步骤中，使用帧率为100fps以上的相机将包含在所述相机的视角内的所述对象物作为图像进行拍摄；在所述IPM变换步骤中，将包括所述对象物在内的所述图像的至少一部分确定为预定区域，且对所述图像进行逆透视投影变换，并生成限定于所述预定区域的IPM图像，在此，所述IPM图像是俯视包括所述对象物的预定平面所绘制的图像；以及在所述位置测量步骤中，根据所述IPM图像来测量所述对象物的位置。

一种构成为可测量对象物位置的测量系统的信息处理装置，其特征在于，具备：接收部，IPM变换部，以及位置测量部，其中：所述接收部构成为可接收包含对象物在内的图像；所述IPM变换部将包括所述对象物在内的所述图像的至少一部分设定为预定区域，且构成为对所述图像进行逆透视投影变换，并生成限定于所述预定区域的IPM图像，在此，所述IPM图像是俯视包括所述对象物的预定平面所绘制的图像；以及所述位置测量部构成为可根据所述IPM图像来测量所述对象物的位置。

一种测量程序，其特征在于：使计算机作为权利要求14所述的信息处理装置发挥功能当然，并不仅限于此。

最后，虽已对本发明所涉及的种种实施例进行了说明，但这些实施例仅作为示例提出，并不用以限制本发明的范围。本发明还可通过其他各种实施例来实现，凡是在本发明的精神和原则内所作的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围的内。相关实施例或变形例不仅应包含在本发明的范围或主旨中，还应包含在权利要求范围所记载的发明及其均等范围的内。

符号简单说明

1：测量系统

2：摄像装置

21：第1相机

22：第2相机

3：信息处理装置

30：通信总线

31：通讯部

32：存储部

33：控制部

331：IPM变换部

332：直方图生成部

333：位置测量部

334：校正部

D：差值

HG：直方图

HG1：第1直方图

HG2：第2直方图

IM：图像

IM′：IPM图像

IM1：第1图像

IM1′：第1IPM图像

IM2：第2图像

IM2′：第2IPM图像

ROI：预定区域

ROI1：第1预定区域

ROI2：第2预定区域

Claims (15)

1.一种构成为可测量对象物位置的测量系统，其特征在于，具备：

摄像装置和信息处理装置，其中：

所述摄像装置

是帧率为100fps以上的相机，且

构成为可将包含在所述相机的视角内的所述对象物作为图像进行拍摄；以及

所述信息处理装置具备通信部，IPM变换部和位置测量部，

所述通信部

与所述摄像装置连接，且

构成为可接收由所述摄像装置所拍摄的所述图像，

所述IPM变换部

将包括所述对象物在内的所述图像的至少一部分设定为预定区域，且

构成为对所述图像进行逆透视投影变换，并生成限定于所述预定区域的IPM图像，在此，所述IPM图像是俯视包括所述对象物的预定平面所绘制的图像，以及

所述位置测量部构成为可根据所述IPM图像来测量所述对象物的位置。

2.如权利要求1所述的测量系统，其中：

若将所述摄像装置所拍摄的第n(n≥2)帧相关的图像定义为当前图像，将所述摄像装置所拍摄的第n-k(n＞k≥1)帧相关的图像定义为过去图像，则

适用于当前图像的所述预定区域根据使用过去图像测量的所述对象物的过去位置来设定。

3.如权利要求2所述的测量装置，其中：

所述信息处理装置还具备校正部，

所述校正部

通过依次比较所述当前图像和所述过去图像，来推定所述摄像装置的参数，且

构成为根据所推定的所述参数，来校正所述IPM图像与真值的误差。

4.如权利要求1至3中任一项所述的测量系统，其中：

所述摄像装置

是由第1及第2相机构成的双目摄像装置，且

构成为可将包括在所述第1及第2相机的视角内的所述对象物作为第1和第2图像以所述帧率来拍摄，

所述IPM变换部对应于第1和第2图像生成第1和第2IPM图像，

所述位置测量部构成为可根据所述第1和第2IPM图像的差异来测量所述对象物的位置。

5.如权利要求4所述的测量系统，其中：

所述信息处理装置还具备校正部，

所述校正部

通过比较所述第1和第2IPM图像来推定这些坐标的对应关系，且

构成为可根据所推定地所述坐标的对应关系来校正所述IPM图像与真值的误差。

6.如权利要求4或5所述的测量系统，其中：

还具备直方图生成部，

所述直方图生成部根据所述IPM图像的差异来生成限定于所述预定区域的直方图。

7.如权利要求6所述的测量系统，其中：

所述直方图是包含了根据不同参数生成的第1及第2直方图在内的多个直方图，

所述预定区域根据每个所述参数是否在预定范围内来确定。

8.如权利要求7所述的测量系统，其中：

作为所述第1直方图的基准的所述参数是以所述IPM图像中所述摄像装置的位置为中心的极坐标的角度，

作为所述第2直方图的基准的所述参数是所述极坐标的距离。

9.如权利要求1至8中任一项所述的测量系统，其中：

所述测量系统构成为可移动，

所述预定区域根据所述测量系统的速度、加速度、移动方向、周边环境中的至少一个来确定。

10.如权利要求9所述的测量系统，其中：

所述测量系统的速度、加速度、移动方向、周边环境中的至少一个与所述预定区域之间的相关性被构成为可通过机器学习来学习。

11.如权利要求1至10中任一项所述的测量系统，其中：

所述对象物为多个，

所述位置测量部构成为可分别识别所述多个对象物，且能分别测量每个对象物的位置。

12.如权利要求11所述的测量系统，其中：

构成为可对分别识别所述多个对象物的结果进行机器学习，由此，构成为可通过持续使用所述测量系统来提高位置测量部的分别识别的精准度。

13.一种测量对象物位置的测量方法，其特征在于，具备：

摄像步骤，IPM变换步骤，以及位置测量步骤，其中：

在所述摄像步骤中，使用帧率为100fps以上的相机将包含在所述相机的视角内的所述对象物作为图像进行拍摄；

在所述IPM变换步骤中，

将包括所述对象物在内的所述图像的至少一部分确定为预定区域，且

对所述图像进行逆透视投影变换，并生成限定于所述预定区域的IPM图像，在此，所述IPM图像是俯视包括所述对象物的预定平面所绘制的图像；以及

在所述位置测量步骤中，根据所述IPM图像来测量所述对象物的位置。

14.一种构成为可测量对象物位置的测量系统的信息处理装置，其特征在于，具备：

接收部，IPM变换部，以及位置测量部，其中：

所述接收部构成为可接收包含对象物在内的图像；

所述IPM变换部

将包括所述对象物在内的所述图像的至少一部分设定为预定区域，且

构成为对所述图像进行逆透视投影变换，并生成限定于所述预定区域的IPM图像，在此，所述IPM图像是俯视包括所述对象物的预定平面所绘制的图像；以及

所述位置测量部构成为可根据所述IPM图像来测量所述对象物的位置。

15.一种测量程序，其特征在于：

使计算机作为权利要求14所述的信息处理装置发挥功能。

Images