CN111508272B - 提供基于照相机的鲁棒物体距离预测的方法及装置 - Google Patents

提供基于照相机的鲁棒物体距离预测的方法及装置 Download PDF

Info

Publication number
CN111508272B
CN111508272B CN202010017326.0A CN202010017326A CN111508272B CN 111508272 B CN111508272 B CN 111508272B CN 202010017326 A CN202010017326 A CN 202010017326A CN 111508272 B CN111508272 B CN 111508272B
Authority
CN
China
Prior art keywords
target
distance
prediction
height
pitch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010017326.0A
Other languages
English (en)
Other versions
CN111508272A (zh
Inventor
金桂贤
金镕重
金鹤京
南云铉
夫硕焄
成明哲
申东洙
吕东勋
柳宇宙
李明春
李炯树
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111508272A publication Critical patent/CN111508272A/zh
Application granted granted Critical
Publication of CN111508272B publication Critical patent/CN111508272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Abstract

提供基于照相机的鲁棒物体距离预测的方法及装置。一种使用通过V2V通信而获得的追加信息来更精准地执行对象照相机的间距校准来提高基于上述对象照相机的物体距离预测的准确度的方法，包括如下步骤：(a)计算装置执行(i)使初始间距校准模块对上述参照图像应用间距计算运算而生成初始预测间距的处理及(ii)使物体检测网络对上述参照图像应用神经网络运算来生成参照物体检测信息的处理；及(b)上述计算装置使调整间距校准模块(i)选择至少一个目标物体，(ii)计算上述目标物体的预测目标高度，然后(iii)计算与上述初始预测间距对应的误差，然后(iv)利用上述误差而确定关于上述对象照相机的调整预测间距。

Description

提供基于照相机的鲁棒物体距离预测的方法及装置
技术领域
本发明涉及用于自动驾驶车辆的方法及装置，更具体地，涉及提供基于照相机的鲁棒物体距离预测的方法及装置。
背景技术
近年来，自动驾驶技术作为未来技术而受到关注。尤其，在自动驾驶技术中包括：识别周边物体，并预测自动驾驶车辆与上述周边物体之间的距离的处理。通过上述处理，上述自动驾驶技术使上述自动驾驶车辆安全地行驶，避免与上述周边物体发生冲撞。
以往的自动驾驶技术包括：在通过照相机而获得的输入图像中寻找消失点(vanishing point)的处理。此时，间距校准(pitch calibration)是利用上述输入图像上的上述消失点及主点(principal point)之间的关系而计算与上述照相机的镜头表面对应的一般向量与地面之间的角度来执行的。之后，利用上述计算的角度而计算上述输入图像所包含的至少一个物体及上述自动驾驶车辆之间的至少一个距离。
另一方面，上述以往的自动驾驶技术存在如下问题：当通过上述照相机而获得的上述输入图像的质量下降时上述距离计算的准确度急剧下降。由于基于上述输入图像而预测上述距离，因此在上述距离预测时当然会发生缺陷。但是，在大多数情况下，真正的问题在于人不能防止在上述图像出现缺陷。具体地，在隧道中光变弱或因下雨视野变模糊这样的问题是不能通过使用性能优异的照相机或良好地设计自动驾驶系统就能够解决的。
因此，需要一种在通过上述照相机而获得的上述输入图像的质量不好时也能够准确地计算距离的方法。
发明内容
发明要解决的课题
本发明的目的在于解决上述问题。
本发明的另一目的在于提供一种进一步使用通过V2V通信而获得的信息而更精准地执行照相机的间距校准的方法，从而即便在通过至少一个照相机而获得的输入影像的质量不好时也能够预测自动驾驶车辆与周边物体之间的距离。
用于解决课题的手段
用于达到如上述的本发明的目的并实现后述的本发明的特征性效果的本发明的特征性结构如下。
根据本发明的一个方式，提供一种使用通过V2V(Vehicle to Vehicle)通信而获得的追加信息来更精准地执行至少一个对象照相机的间距校准(pitch calibration)来提高基于上述对象照相机的物体距离预测的准确度的方法，该方法的特征在于，包括如下步骤：(a)当通过上述对象照相机而获得至少一个参照图像时，计算装置执行(i)使初始间距校准模块对上述参照图像应用至少一个间距计算运算而生成对上述对象照相机的光轴与地面之间的角度进行预测来生成的值即初始预测间距的处理及(ii)使物体检测网络对上述参照图像应用至少一个神经网络运算来生成关于上述参照图像所包含的一个以上的参照物体的参照物体检测信息的处理；及(b)上述计算装置使调整间距校准模块(i)从上述参照物体中选择至少一个目标物体，(ii)参照上述目标物体相对于搭载有上述对象照相机的对象自动驾驶车辆的至少一个相对位置及上述初始预测间距而计算上述目标物体的至少一个预测目标高度，然后(iii)参照上述预测目标高度及已获得的至少一个GT(Ground-Truth)目标高度而计算与上述初始预测间距对应的至少一个误差，然后(iv)利用上述误差而确定关于上述对象照相机的至少一个调整预测间距。
在一个实施例中，该方法的特征在于，上述计算装置使上述调整间距校准模块从上述参照物体中选择满足关于各个上述参照物体是否具备与可通信性对应的特定类别的第1条件的一个以上的特定参照物体，并从上述特定参照物体中选择满足如下的第2条件和第3条件中的至少一个条件的上述至少一个目标物体：(i)关于包含各个上述特定参照物体的各个特定参照边界框是否位于上述参照图像的至少一个插图窗口(illustrationwindow)区域内的第2条件及(ii)关于各个上述特定参照边界框的纵横比(aspect ratio)是否小于预测临界值的第3条件。
在一个实施例中，该方法的特征在于，在上述(b)步骤之前，上述计算装置使距离计算模块参照上述初始预测间距、上述参照物体检测信息及上述参照图像而将包含各个上述参照物体的各个参照边界框的各个下端部分内的点即一个以上的参照位置基准点分别映射(mapping)到对应于包含上述对象自动驾驶车辆的虚拟空间的空间坐标系，计算上述参照物体及上述对象自动驾驶车辆之间的一个以上的纵向地面距离及一个以上的横向地面距离，并生成包含上述纵向地面距离及上述横向地面距离分别作为分量的各个参照相对坐标。
在一个实施例中，该方法的特征在于，在上述(b)步骤之前，上述计算装置使上述距离计算模块参照以下的数学式而将上述参照位置基准点映射到上述空间坐标系，
(x1,y1)→(X1,Z1),
Figure BDA0002359389390000031
在上述数学式中，(x1，y1)表示上述参照图像上的上述参照位置基准点之一的坐标，(X1，Z1)表示利用上述对象自动驾驶车辆的位置而设定原始点的上述空间坐标系中与(x1，y1)对应的上述参照相对坐标之一，X1表示上述横向地面距离之一，Z1表示上述纵向地面距离之一，θ表示上述初始预测间距，(cx，cy)表示上述对象照相机的主点坐标(coordinate of a principalpoint)，L表示自上述地面的上述对象照相机的高度，f表示上述对象照相机的焦距。
在一个实施例中，该方法的特征在于，在上述(b)步骤之前，上述计算装置使V2V通信模块与自上述对象自动驾驶车辆位于比临界距离近的位置的一个以上的可通信物体进行通信而获得关于一个以上的可通信物体类别、一个以上的可通信物体G T高度及一个以上的可通信物体坐标的信息，使上述调整间距校准模块从上述参照物体中选择具备与可通信性对应的特定类别的特定参照物体，然后参照(i)利用上述可通信物体坐标而计算的相对于上述对象自动驾驶车辆的可通信物体相对坐标及(ii)上述特定参照物体的特定参照相对坐标，将上述可通信物体GT高度中的至少一部分与上述特定参照物体中的至少一部分配对(pairing)，从而获得相对于上述特定参照物体的特定参照GT高度。
在一个实施例中，该方法的特征在于，在上述(b)步骤中，当选择了上述目标物体时，上述计算装置使上述调整间距校准模块从上述参照相对坐标中选择与上述目标物体对应的目标相对坐标，参照上述初始预测间距而执行高度预测运算来计算上述预测目标高度，参照以下的数学式来执行上述高度预测运算，
Figure BDA0002359389390000041
在上述数学式中，Z1表示上述目标相对坐标(X1，Z1)的纵向地面距离，θ表示上述预测间距，L表示自上述地面的上述对象照相机的高度，Z2表示将包含上述目标物体的目标边界框的上端部分内的点即目标高度预测基准点(x2，y2)映射到对应于包含上述对象自动驾驶车辆的虚拟空间的空间坐标系而生成的目标高度预测点的分量即纵向投影距离，f表示上述对象照相机的焦距。
在一个实施例中，该方法的特征在于，在上述(b)步骤中，在上述目标物体的数量为1个的情况下，上述计算装置使上述调整间距校准模块(i)参照上述GT目标高度来设定过大预测范围及过小预测范围，(ii-1)在上述预测目标高度包含于上述过大预测范围内的情况下，执行以所预设的调整比率来减小上述初始预测间距的调整，或(ii-2)上述预测目标高度包含于上述过小预测范围内的情况下，执行以上述预设的调整比率来增加上述初始预测间距的调整。
在一个实施例中，该方法的特征在于，在上述(b)步骤中，在上述目标物体的数量为2个以上的情况下，上述计算装置使上述调整间距校准模块(i)参照上述GT目标高度而设定过大预测范围及过小预测范围，(ii)获得关于与上述过大预测范围对应的过大预测误差比率及与上述过小预测范围对应的过小预测误差比率中的至少一个的信息，(iii)参照上述获得的信息而调整上述初始预测间距。
在一个实施例中，该方法的特征在于，在上述(a)步骤中，上述计算装置使上述初始间距校准模块对上述参照图像应用上述间距计算运算而生成上述初始预测间距，参照以下的数学式而执行上述间距计算运算，
Figure BDA0002359389390000042
在上述数学式中，vy表示上述参照图像的消失点的y方向的坐标，其中通过找出上述参照图像的一个以上的线消失的点而获得关于上述消失点的信息，cy表示上述参照图像的主点的y方向的坐标，并且fy表示上述参照图像的焦点的y方向的坐标。
在一个实施例中，该方法的特征在于，在上述(a)步骤中，上述计算装置(i)使上述物体检测网络所包含的卷积层对上述参照图像应用作为上述神经网络运算的一部分的至少一个卷积运算而生成至少一个参照卷积特征图，(ii)使上述物体检测网络所包含的ROI池化层应用在上述参照卷积特征图中将与上述参照图像的ROI对应的值池化的作为上述神经网络运算的一部分的至少一个池化运算，从而生成至少一个参照ROI池化特征图，然后(iii)使上述物体检测网络所包含的FC层对上述参照R OI池化特征图应用作为上述神经网络运算的一部分的至少一个FC运算，从而生成包含关于上述参照物体的参照类别的信息及关于上述参照物体的参照边界框的信息的上述参照物体检测信息。
在一个实施例中，该方法的特征在于，还包括如下步骤：(c)上述计算装置使上述物体检测网络及上述距离计算模块生成自动驾驶信息，上述自动驾驶信息包含关于参照上述调整预测间距而计算的、自动驾驶图像所包含的周边物体与上述对象自动驾驶车辆之间的距离的信息。
根据本发明的另一方式，提供一种使用通过V2V(Vehicle to Vehicle)通信而获得的追加信息来更精准地执行至少一个对象照相机的间距校准(pitch calibration)来提高基于上述对象照相机的物体距离预测的准确度的计算装置，该计算装置的特征在于，其包括：一个以上的存储器，其存储指令；及至少一个处理器，其执行用于执行如下处理的上述指令：(I)当通过上述对象照相机而获得至少一个参照图像时，执行(i)使初始间距校准模块对上述参照图像应用至少一个间距计算运算而生成对上述对象照相机的光轴与地面之间的角度进行预测来生成的值即初始预测间距的处理及(ii)使物体检测网络对上述参照图像应用至少一个神经网络运算来生成关于上述参照图像所包含的一个以上的参照物体的参照物体检测信息的处理；及(II)使调整间距校准模块(i)从上述参照物体中选择至少一个目标物体，(ii)参照上述目标物体相对于搭载有上述对象照相机的对象自动驾驶车辆的至少一个相对位置及上述初始预测间距而计算上述目标物体的至少一个预测目标高度，然后(iii)参照上述预测目标高度及已获得的至少一个GT(Ground-Truth)目标高度而计算与上述初始预测间距对应的至少一个误差，然后(iv)利用上述误差而确定关于上述对象照相机的至少一个调整预测间距。
在一个实施例中，该计算装置的特征在于，上述处理器使上述调整间距校准模块从上述参照物体中选择满足关于各个上述参照物体是否具备与可通信性对应的特定类别的第1条件的一个以上的特定参照物体，并从上述特定参照物体中选择满足如下的第2条件和第3条件中的至少一个条件的上述至少一个目标物体：(i)关于包含各个上述特定参照物体的各个特定参照边界框是否位于上述参照图像的至少一个插图窗口(illustrationwindow)区域内的第2条件及(ii)关于各个上述特定参照边界框的纵横比(aspect ratio)是否小于预测临界值的第3条件。
在一个实施例中，该计算装置的特征在于，在上述(II)处理之前，上述处理器使距离计算模块参照上述初始预测间距、上述参照物体检测信息及上述参照图像而将包含各个上述参照物体的各个参照边界框的各个下端部分内的点即一个以上的参照位置基准点分别映射(mapping)到对应于包含上述对象自动驾驶车辆的虚拟空间的空间坐标系，计算上述参照物体及上述对象自动驾驶车辆之间的一个以上的纵向地面距离及一个以上的横向地面距离，并生成包含上述纵向地面距离及上述横向地面距离分别作为分量的各个参照相对坐标。
在一个实施例中，该计算装置的特征在于，在上述(II)处理之前，上述处理器使上述距离计算模块参照以下的数学式而将上述参照位置基准点映射到上述空间坐标系，
(x1，y1)→(X1,Z1),
Figure BDA0002359389390000061
在上述数学式中，(x1，y1)表示上述参照图像上的上述参照位置基准点之一的坐标，(X1，Z1)表示利用上述对象自动驾驶车辆的位置而设定原始点的上述空间坐标系中与(x1，y1)对应的上述参照相对坐标之一，X1表示上述横向地面距离之一，Z1表示上述纵向地面距离之一，θ表示上述初始预测间距，(cx，cy)表示上述对象照相机的主点坐标，L表示自上述地面的上述对象照相机的高度，f表示上述对象照相机的焦距。
在一个实施例中，该计算装置的特征在于，在上述(II)处理之前，上述处理器使V2V通信模块与自上述对象自动驾驶车辆位于比临界距离近的位置的一个以上的可通信物体进行通信而获得关于一个以上的可通信物体类别、一个以上的可通信物体GT高度及一个以上的可通信物体坐标的信息，使上述调整间距校准模块从上述参照物体中选择具备与可通信性对应的特定类别的特定参照物体，然后参照(i)利用上述可通信物体坐标而计算的相对于上述对象自动驾驶车辆的可通信物体相对坐标及(ii)上述特定参照物体的特定参照相对坐标，将上述可通信物体GT高度中的至少一部分与上述特定参照物体中的至少一部分配对(pairing)，从而获得相对于上述特定参照物体的特定参照GT高度。
在一个实施例中，该计算装置的特征在于，在上述(II)处理中，当选择了上述目标物体时，上述处理器使上述调整间距校准模块从上述参照相对坐标中选择与上述目标物体对应的目标相对坐标，参照上述初始预测间距而执行高度预测运算来计算上述预测目标高度，参照以下的数学式来执行上述高度预测运算，
Figure BDA0002359389390000071
在上述数学式中，Z1表示上述目标相对坐标(X1，Z1)的纵向地面距离，θ表示上述预测间距，L表示自上述地面的上述对象照相机的高度，Z2表示将包含上述目标物体的目标边界框的上端部分内的点即目标高度预测基准点(x2，y2)映射到对应于包含上述对象自动驾驶车辆的虚拟空间的空间坐标系而生成的目标高度预测点的分量即纵向投影距离，f表示上述对象照相机的焦距。
在一个实施例中，该计算装置的特征在于，在上述(II)处理中，在上述目标物体的数量为1个的情况下，上述处理器使上述调整间距校准模块(i)参照上述GT目标高度来设定过大预测范围及过小预测范围，(ii-1)在上述预测目标高度包含于上述过大预测范围内的情况下，执行以所预设的调整比率来减小上述初始预测间距的调整，或(ii-2)上述预测目标高度包含于上述过小预测范围内的情况下，执行以上述预设的调整比率来增加上述初始预测间距的调整。
在一个实施例中，该计算装置的特征在于，在上述(II)处理中，在上述目标物体的数量为2个以上的情况下，上述处理器使上述调整间距校准模块(i)参照上述GT目标高度而设定过大预测范围及过小预测范围，(ii)获得关于与上述过大预测范围对应的过大预测误差比率及与上述过小预测范围对应的过小预测误差比率中的至少一个的信息，(iii)参照上述获得的信息而调整上述初始预测间距。
在一个实施例中，该计算装置的特征在于，在上述(II)处理中，上述处理器使上述初始间距校准模块对上述参照图像应用上述间距计算运算而生成上述初始预测间距，参照以下的数学式而执行上述间距计算运算，
Figure BDA0002359389390000072
在上述数学式中，vy表示上述参照图像的消失点的y方向的坐标，其中通过找出上述参照图像的一个以上的线消失的点而获得关于上述消失点的信息，cy表示上述参照图像的主点的y方向的坐标，并且fy表示上述参照图像的焦点的y方向的坐标。
在一个实施例中，该计算装置的特征在于，在上述(II)处理中，上述处理器(i)使上述物体检测网络所包含的卷积层对上述参照图像应用作为上述神经网络运算的一部分的至少一个卷积运算而生成至少一个参照卷积特征图，(ii)使上述物体检测网络所包含的ROI池化层应用在上述参照卷积特征图中将与上述参照图像的ROI对应的值池化的作为上述神经网络运算的一部分的至少一个池化运算，从而生成至少一个参照ROI池化特征图，然后(iii)使上述物体检测网络所包含的FC层对上述参照ROI池化特征图应用作为上述神经网络运算的一部分的至少一个FC运算，从而生成包含关于上述参照物体的参照类别的信息及关于上述参照物体的参照边界框的信息的上述参照物体检测信息。
在一个实施例中，该计算装置的特征在于，上述处理器还执行如下处理：(III)使上述物体检测网络及上述距离计算模块生成自动驾驶信息，上述自动驾驶信息包含关于参照上述调整预测间距而计算的、自动驾驶图像所包含的周边物体与上述对象自动驾驶车辆之间的距离的信息。
此外，还提供用于记录执行本发明的方法的计算机程序的计算机可读取的记录介质。
发明效果
本发明提供一种进一步使用通过V2V通信而获得的信息来更精准地执行照相机的间距校准的方法，从而即便在通过至少一个照相机而获得的输入影像的质量不好时也能够预测自动驾驶车辆与周边物体之间的距离。
附图说明
为了对本发明的实施例进行说明而所附的下面的附图仅为本发明的实施例中的一部分，具有本发明所属技术领域的普通知识的人(以下，称为“本领域技术人员”)在无需创作性劳动的情况下，可基于该附图而获得其他的图。
图1是概略性地示出根据本发明的一个实施例而进一步使用通过V2V通信而获得的信息来更精准地执行照相机的间距校准的计算装置的结构的图。
图2是概略性地示出根据本发明的一个实施例而进一步使用通过V2V通信而获得的信息来更精准地执行照相机的间距校准的方法的流程图。
图3是概略性地示出计算在根据本发明的一个实施例而进一步使用通过V2V通信而获得的信息来更精准地执行照相机的间距校准时使用的初始预测间距的方法的图。
图4是概略性地示出计算在根据本发明的一个实施例而进一步使用通过V2V通信而获得的信息来更精准地执行照相机的间距校准时使用的目标物体的预测目标高度的方法的图。
具体实施方式
在后述的对本发明的详细的说明中，为了清楚地说明本发明的目的、技术方法及优点，参照将可实施本发明的特定实施例作为示例来图示的附图。对这些实施例进行详细说明，以供本领域技术人员足以实施本发明。
另外，在本发明的详细的说明及权利要求中，“包括”这一用语及它们的变形并非表示排除其他技术特征、附加物、构成要素或步骤。对于本领域技术人员来讲，关于本发明的另一目的、优点及特性，可根据本说明书来理解其一部分，并通过实施本发明来理解另一部分。下面的例示及附图仅为实例，并非对本发明进行限定。
进而，本发明包括在本说明书中所示的实施例的所有可能的组合。虽然本发明的各种实施例彼此不同，但并非是排他性的。例如，在此记载的特定形状、结构及特性在一个实施例中在未脱离本发明的精神及范围的情况下可体现为另一个实施例。另外，关于各个公开的实施例内的个别构成要素的位置或配置，在不脱离本发明的精神及范围的情况下可进行变更。因此，后述的详细的说明并非具备限定性的意思，关于本发明的范围，确切地来讲应根据与其权利要求所主张的内容均等的所有范围及所附权利要求来限定。附图中的类似的符号在各个侧面上指相同或类似的功能。
本发明中提及的各种图像包括柏油路或非柏油路相关图像，在该情况下，可假设在道路环境中会出现的物体(如汽车、人、动物、植物、物件、建筑、飞机或无人机这样的飞行体、其他障碍物)，但并非仅限于此，在本发明中提及的各种图像也可以是与道路无关的图像(如关于非柏油路、小胡同、空地、大海、湖、江、山、树丛、沙漠、天空、室内的图像)，在该情况下，可假设在非柏油路、小胡同、空地、大海、湖、江、山、树丛、沙漠、天空、室内环境中出现的物体(如汽车、人、动物、植物、物件、建筑、飞机或无人机这样的飞行体、其他障碍物)，但不仅限于此。
下面，参照附图，对本发明的优选的实施例进行详细说明，以供本领域技术人员能够容易地实施本发明。
图1是概略性地示出根据本发明的一个实施例而进一步使用通过V2V通信而获得的信息来更精准地执行照相机的间距校准的计算装置的结构的图。
参照图1，上述计算装置100包括随后详细说明的部分即至少一个V2V通信模块130、至少一个初始间距校准模块140、至少一个调整间距校准模块150、至少一个距离计算模块160及至少一个物体检测网络170。此时，上述V2V通信模块130、上述初始间距校准模块140，上述调整间距校准模块150、上述距离计算模块160及上述物体检测网络170的输入/输出及运算过程通过至少一个通信部120及至少一个处理器110而实现。但是，在图1中省略了上述通信部120及上述处理器110的具体的通信结构图。此时，存储器115可以是存储了后述的各种指令的状态，上述处理器110执行存储于上述存储器115的指令，通过执行后述的上述指令而执行本发明的处理。在此虽然记载了这样的上述计算装置100，但作为上述计算装置100并非排除包括处理器、存储器、介质或其他运算要素的综合装置。
在本发明中，上述计算装置100与包括使用本发明的方法而校准的对象照相机的对象自动驾驶车辆联动地执行动作。在该情况下，上述计算装置100直接搭载于上述对象自动驾驶车辆或搭载于与上述对象自动驾驶车辆进行通信的中央服务器。
以上，对根据本发明的一个实施例而进一步使用通过上述V2V通信而获得的信息来更精准地执行照相机的间距校准的上述计算装置100的结构进行了说明，下面参照附图2而对根据本发明的基于上述照相机的物体距离预测方法进行说明。
图2是概略性地示出根据本发明的一个实施例而进一步使用通过V2V通信而获得的信息来更精准地执行照相机的间距校准的方法的流程图。
参照图2，当通过上述对象照相机而获得参照图像时，分别通过上述初始间距校准模块140和上述物体检测网络170而进行运算，上述运算的各个结果(来自上述初始间距校准模块140的初始预测间距和来自上述物体检测网络170的参照物体检测信息)及上述参照图像独立地输入到上述距离计算模块160，由此预测上述参照图像所包含的一个以上的参照物体相对于上述对象自动驾驶车辆的一个以上的参照相对坐标。与这样的过程并列地，上述计算装置100的上述V2V通信模块130通过上述V2V通信而与可通信物体进行通信，从而获得关于位于比临界距离更近的位置的上述可通信物体的物体信息。此时，关于上述参照坐标的信息及关于上述可通信物体的信息传送到上述调整间距校准模块150。之后，通过上述调整间距校准模块150的运算而计算上述对象照相机的调整预测间距，然后准确地计算出上述自动驾驶车辆与周边物体之间的准确的距离。
更具体地，上述计算装置100使上述初始间距校准模块140利用通过上述对象照相机而获得的上述参照图像来计算上述对象照相机的光轴与地面之间的角度即上述初始预测间距。这样的过程可利用上述参照图像上的消失点、主点及焦点之间的关系而执行。参照图3，对这样的过程进行详细说明。
图3是概略性地示出计算在根据本发明的一个实施例而进一步使用通过V2V通信而获得的信息来更精准地执行照相机的间距校准时使用的初始预测间距的方法的图。
参照图3可知计算上述初始预测间距的原理。上述消失点即(vx，vy)是不会根据上述对象照相机的水平移动而发生变化，而只根据上述对象照相机的旋转移动而发生变化的点，因此可利用关于上述参照图像上的上述消失点、上述焦点及上述主点的位置的信息来计算上述对象照相机的上述初始预测间距。
具体地，上述计算装置100使上述初始间距校准模块140检测上述参照图像上的线所聚集的点即上述消失点的坐标。之后，上述计算装置100使上述初始间距校准模块140利用关于已获得的上述消失点、上述焦点及上述主点的坐标的信息来计算上述初始预测间距。作为一例，当上述失点的坐标为(vx，vy)，上述焦点的坐标为(fx，fy)，上述主点的坐标为(cx，cy)时，可根据以下的数学式来计算上述初始预测间距的值。
Figure BDA0002359389390000111
与这样的计算并列地，通过上述对象照相机而获得的上述参照图像传送到上述物体检测网络170。上述物体检测网络170对上述参照图像应用至少一个神经网络运算来检测上述参照图像上的上述参照物体，然后生成包含关于上述参照物体的信息的上述参照物体检测信息。此时，上述物体检测网络170可以与RPN(region proposal network：区域生成网络)对应地得到协助。
具体地，上述计算装置100使上述物体检测网络170所包含的卷积层对上述参照图像应用作为上述神经网络运算的一部分的至少一个卷积运算而生成至少一个参照卷积特征图，使上述物体检测网络170所包含的ROI池化层应用在上述参照卷积特征图中将与上述参照图像的ROI对应的值池化的作为上述神经网络运算的一部分的至少一个池化运算，从而生成至少一个参照ROI池化特征图。之后，上述计算装置100使上述物体检测网络170所包含的FC层对上述参照ROI池化特征图应用作为上述神经网络运算的一部分的至少一个FC运算，从而生成包含关于上述参照物体的参照类别的信息及关于上述参照物体的参照边界框(reference bounding box)的信息的上述参照物体检测信息。
当通过上述初始间距校准模块140而计算上述初始预测间距，并通过上述物体检测网络170而生成上述参照物体检测信息时，将它们传送到上述距离计算模块160。之后，上述计算装置100使上述距离计算模块160利用上述初始预测间距而分别计算上述参照物体及各个上述对象自动驾驶车辆之间的一个以上的纵向地面距离及一个以上的横向地面距离，从而生成上述参照相对坐标。
具体地，上述计算装置100使上述距离计算模块160找出位于包含各个上述参照物体的各个参照边界框的各个下端部分的点即一个以上的参照位置基准点的每一个。此时，上述参照位置基准点可以是位于上述下端部分的中间的点，但本发明的范围不限于此。之后，上述计算装置100使上述距离计算模块160将上述参照位置基准点映射(mapping)到对应于包含上述对象自动驾驶车辆的虚拟空间的空间坐标系。关于这样的映射过程，可参照以下的数学式而实现。
(x1，y1)→(X1，Z1)，
Figure BDA0002359389390000121
在上述数学式中，(x1，y1)表示上述参照图像上的上述参照位置基准点之一的坐标，(X1，Z1)表示在利用上述对象自动驾驶车辆的位置而设定原始点的上述空间坐标系中与(x1，y1)对应的上述参照相对坐标之一。另外，X1表示上述横向地面距离之一，Z1表示上述纵向地面距离之一，θ表示上述初始预测间距。另外，(cx，cy)表示上述对象照相机的主点坐标(coordinate of a principal point)，L表示自上述地面的上述对象照相机的高度，f表示上述对象照相机的焦距。参照后述的图4，可看到通过上述数学式而计算Z1的方式。
Figure BDA0002359389390000122
表示对象照相机的光轴与将上述对象照相机和(X1，Z1)相连的线之间的角度，可利用上述数学式来进行计算。因为导出了
Figure BDA0002359389390000123
及θ，因此可使用三角函数(trigonometric function)来计算Z1。
另外，与这样的过程并列地，上述计算装置100使上述V2V通信模块130与自上述对象自动驾驶车辆位于临界距离以内的位置的车辆及摩托车等可进行V2V通信的上述可通信物体进行通信。此时，为了实现上述V2V通信，可应用4G通信、5G通信或车辆之间无线电通信等任何通信技术。通过这样的V2V通信，上述V2V通信模块130可获得关于上述可通信物体的一个以上的可通信物体类别、一个以上的可通信物体GT高度及一个以上的可通信物体坐标的信息。上述可通信物体GT(Ground Truth)高度可用于调整上述初始预测间距。
之后，将通过上述V2V通信模块130而获得的关于上述可通信物体的上述信息、通过上述距离计算模块160而计算的上述参照相对坐标及通过上述物体检测网络170而生成的上述参照物体检测信息传送到上述调整间距校准模块150。
上述计算装置100使上述调整间距校准模块150参照(i)利用上述可通信物体坐标而计算的关于上述对象自动驾驶车辆的可通信物体相对坐标及(ii)上述特定参照物体的特定参照相对坐标，将上述可通信物体GT高度中的至少一部分与上述特定参照物体中的至少一部分配对(pairing)，从而获得关于上述特定参照物体的特定参照GT高度。此时，上述特定参照物体可以是上述参照物体群及上述可通信物体群所包含的物体。更具体地，将上述可通信物体相对坐标与上述参照相对坐标进行比较而计算上述可通信物体相对坐标及上述参照相对坐标之间的类似分数，找出高于临界值的特定类似分数，选择与上述特定类似分数对应的上述对(pair)，将上述特定参照物体及上述可通信物体GT高度进行配对(pairing)。
另一方面，上述计算装置100使上述调整间距校准模块150选择用于调整上述初始预测间距的至少一个目标物体。上述目标物体是上述参照图像上的上述参照物体中的至少一部分，需要满足关于各个上述参照物体是否具备与可通信性对应的特定类别(class)的第1条件。需要从通过上述V2V通信而获得的上述可通信物体GT高度获得与上述目标物体对应的GT目标高度，因此需要满足上述第1条件。附加地，上述目标物体可满足第2条件及第3条件中的至少一部分。此时，上述第2条件对应于如下的条件：包含满足上述第1条件的各个特定参照物体的各个特定参照边界框是否位于上述参照图像的至少一个插图窗口(illustration window)区域内。另外，上述第3条件对应于如下的条件：各个上述特定参照边界框的各个纵横比(aspect ratio)是否小于预测临界值。
在上述第2条件中，提示上述插图窗口区域。在上述特定参照边界框之一位于上述插图窗口区域的情况下，与此对应的物体的整个部分包含于上述特定参照边界框之一。与此相反地，在上述特定参照边界框之一不位于上述插图窗口区域的情况下，只有与此对应的物体中的一部分包含于上述特定参照边界框之一。换言之，上述插图窗口区域是上述参照图像所包含的上述特定参照边界框侧面不与上述参照图像的上述边界线相接的从上述参照图像的边界线远的上述参照图像的中间区域。在作为上述目标物体而选择对应的特定参照边界框不位于上述插图窗口区域且不包含上述特定参照物体的整个部分的特定参照物体之一的情况下，在调整上述初始预测间距的过程中可导致误差，因此需要上述第2条件。
在上述第3条件中，提示上述预测临界值。上述预测临界值用于将自上述对象自动驾驶车辆左右离得不过于远的上述特定参照物体之一选择为上述目标物体。在上述特定参照物体之一自上述对象自动驾驶车辆左右离得过于远的情况下，与此对应的特定参照边界框可具备较大的纵横比。因此，将上述特定参照边界框的纵横比与上述预测临界值进行比较，将自上述对象自动驾驶车辆左右离得过于远的上述特定参照物体中的一部分排除而不选择为上述目标物体。之所以需要排除上述特定参照物体中的一部分，是因为当将上述特定参照物体中的一部分选择为上述目标物体时，会以失真的状态显示于上述参照图像上，因此在调整上述初始预测间距的过程中可发生误差。因此，需要上述第2条件。
之后，当确定了上述目标物体时，上述计算装置100使上述调整间距校准模块150从上述参照相对坐标中选择与上述目标物体对应的一个坐标而获得目标相对坐标，并在上述特定参照GT高度中选择与上述目标物体对应的一个坐标而获得GT目标高度。在获得关于上述目标相对坐标及上述GT目标高度的信息之后，上述计算装置100使上述调整间距校准模块150生成预测目标高度。下面，对计算关于上述目标物体的上述预测目标高度的方法进行说明。
具体地，根据以下的数学式而执行高度预测运算来计算上述预测目标高度。
Figure BDA0002359389390000141
在上述数学式中，Z1表示上述目标相对坐标(X1，Z1)的纵向地面距离，θ表示上述预测间距，L表示自上述地面的上述对象照相机的高度，Z2表示将包含上述目标物体的目标边界框的上端部分内的点即目标高度预测基准点(x2，y2)映射到与包含上述对象自动驾驶车辆的虚拟空间对应的空间坐标系来生成的目标高度预测点的分量即纵向投影距离，f表示上述对象照相机的焦距。此时，
Figure BDA0002359389390000142
及Z2的计算方式与上述的
Figure BDA0002359389390000143
及Z1的计算方式类似。这样，参照图4，根据几何学来对上述数学式进行说明。
图4是概略性地示出计算在根据本发明的一个实施例而进一步使用通过V2V通信而获得的信息来更精准地执行照相机的间距校准时使用的目标物体的预测目标高度的方法的图。
图4中，以Z2与L为两个边的第1直角三角形与以Z2-Z1和H为两个边的第2直角三角形彼此处于AA相似的关系。在该情况下，H∶L＝Z2-Z1∶Z2的比例关系成立，可利用上述数学式而计算上述预测目标高度H。
在计算上述预测目标高度之后调整上述初始预测间距。具有选择一个目标物体的情况和选择多个目标物体的情况等两个不同实施例。下面，对各个实施例进行说明。
首先，在上述目标物体的数量为1个的情况下，上述计算装置100使上述调整间距校准模块150参照上述GT目标高度而设定过大预测范围及过小预测范围。此时，将比上述GT目标高度乘以R而得到的值小的范围设定为上述过大预测范围，将比上述GT目标高度乘以R而得到的值大的范围设定为上述过小预测范围。上述R是预设的临界比率。在计算出的上述初始预测间距过大的情况下，计算出的上述预测目标高度低于上述GT目标高度，在与此相反的情况下，计算出的上述预测目标物体高于上述GT目标高度，因此，如上所述地设定上述过大预测范围及上述过小预测范围。
在如上述地设定上述范围之后，在上述预测目标高度包含于上述过大预测范围的情况下，上述计算装置100使上述调整间距校准模块150执行以所预设的调整比率来减小上述初始预测间距的调整，由此生成上述调整预测间距。另外，在上述预测目标高度包含于上述过小预测范围的情况下，上述计算装置100使上述调整间距校准模块150执行以上述预设的调整比率来增加上述初始预测间距的调整，由此生成上述调整预测间距。
接着，在上述目标物体的数量为2个以上情况下，上述计算装置100使上述调整间距校准模块150如上述这样设定上述过大预测范围及上述过小预测范围，由此获得关于与上述过大预测范围对应的过大预测误差比率及与上述过小预测范围对应的过小预测误差比率中的至少一个的信息。此时，上述过大预测误差比率是第1特定预测目标高度包含于上述过大预测范围的第1特定目标物体的数量r1相对于上述目标物体的数量r2的比率。与此类似地，上述过小预测误差比率是第2特定预测目标高度包含于上述过小预测范围的第2特定目标物体的数量r1相对于上述目标物体的数量r2的比率。在上述过小预测误差比率及上述过大预测误差比率中的一个大于临界值的情况下，上述计算装置使上述调整间距校准模块调整上述初始预测间距。
在一般情况下，在上述初始预测间距存在误差的情况下，可能只有上述过小预测误差比率及上述过大预测误差比率中的一个比率高于上述临界值。在上述过小预测误差比率高于上述临界值的情况下，上述计算装置100使上述调整间距校准模块150执行以上述预设的调整比率来增加上述初始预测间距的调整来生成上述调整预测间距。与此相反地，在上述过大预测误差比率高于上述临界值的情况下，上述计算装置100使上述调整间距校准模块150执行以上述预设的调整比率来减小上述初始预测间距的调整来生成上述调整预测间距。
当确定了上述调整预测间距时，上述计算装置100使上述距离计算模块160及上述物体检测网络170生成自动驾驶信息，上述自动驾驶信息包含关于参照上述调整预测间距而计算的、自动驾驶图像所包含的周边物体与上述对象自动驾驶车辆之间的距离的信息。
本发明涉及通过上述V2V通信而通过上述在线校准来调整照相机间距的方法。即，本发明提供基于上述照相机的鲁棒物体距离预测。此时，鲁棒性距离预测包括：调整找出上述消失点的上述照相机间距的处理、将通过上述V2V通信而获得的信息与通过上述照相机而获得的信息融合而获得对于上述周边车辆的上述实际高度信息的处理及使用上述周边车辆的上述实际高度信息而更准确地调整上述间距的处理。
以上说明的本发明的实施例可体现为通过各种计算机构成要素来实现的程序命令的形态来记录到计算机可读取的记录介质。上述计算机可读取的记录介质可单独或以组合的方式包括程序命令、数据文件、数据结构等。记录到上述计算机可读取的记录介质的程序命令可以是为本发明特别设计并构成的命令或计算机软件领域的技术人员公知而使用的命令。作为计算机可读取的记录介质的例子，包括硬盘、软盘及磁带这样的磁性介质、CD-ROM、DVD这样的光记录介质、光碟(floptical disk)这样的磁光介质(magneto-opticaledia)及ROM、RAM、闪存等这样的以存储程序命令且执行的方式特别构成的硬件装置。作为程序命令的例子，不仅包括由编译器制作的机器代码，而且还包括使用解释器等而通过计算机来执行的高级语言代码。上述硬件装置既可构成为一个以上的软件模块，以执行本发明的处理，也可以与其相反的方式构成。
以上，通过具体的构成要素等这样的特定事项和限定的实施例及附图而对本发明进行了说明，但这是为了整体地理解本发明而提供的，本发明不限于这样的上述实施例，本领域技术人员可从这样的记载进行各种修改及变形。
因此，本发明的思想不限于上述说明的实施例，不仅是后述的权利要求书，与该权利要求书均等或等价地变形的所有内容均包括在本发明的思想的范围中。

Claims (20)

1.一种使用通过V2V通信而获得的追加信息来执行至少一个对象照相机的间距校准来进行基于上述对象照相机的物体距离预测的方法，该方法的特征在于，包括如下步骤：
(a)当通过上述对象照相机而获得至少一个参照图像时，计算装置执行(i)使初始间距校准模块对上述参照图像应用至少一个间距计算运算而生成对上述对象照相机的光轴与地面之间的角度进行预测来生成的值即初始预测间距的处理及(ii)使物体检测网络对上述参照图像应用至少一个神经网络运算来生成关于上述参照图像所包含的一个以上的参照物体的参照物体检测信息的处理；
(b)上述计算装置使调整间距校准模块(i)从上述参照物体中选择至少一个目标物体，(ii)参照上述目标物体相对于搭载有上述对象照相机的对象自动驾驶车辆的至少一个相对位置及上述初始预测间距而计算上述目标物体的至少一个预测目标高度，然后(iii)参照上述预测目标高度及已获得的至少一个GT目标高度而计算与上述初始预测间距对应的至少一个误差，然后(iv)利用上述误差而确定关于上述对象照相机的至少一个调整预测间距，其中上述GT目标高度是从通过上述V2V通信而获得的可通信物体GT高度获得的；及
(c)上述计算装置使上述物体检测网络及距离计算模块生成自动驾驶信息，上述自动驾驶信息包含关于参照上述调整预测间距而计算的、自动驾驶图像所包含的周边物体与上述对象自动驾驶车辆之间的距离的信息。
2.根据权利要求1所述的方法，其特征在于，
上述计算装置使上述调整间距校准模块从上述参照物体中选择满足关于各个上述参照物体是否具备与可通信性对应的特定类别的第1条件的一个以上的特定参照物体，并从上述特定参照物体中选择满足如下的第2条件和第3条件中的至少一个条件的上述至少一个目标物体：(i)关于包含各个上述特定参照物体的各个特定参照边界框是否位于上述参照图像的至少一个插图窗口区域内的第2条件及(ii)关于各个上述特定参照边界框的纵横比是否小于预测临界值的第3条件。
3.根据权利要求1所述的方法，其特征在于，
在上述(b)步骤之前，
上述计算装置使距离计算模块参照上述初始预测间距、上述参照物体检测信息及上述参照图像而将包含各个上述参照物体的各个参照边界框的各个下端部分内的点即一个以上的参照位置基准点分别映射到对应于包含上述对象自动驾驶车辆的虚拟空间的空间坐标系，计算上述参照物体及上述对象自动驾驶车辆之间的一个以上的纵向地面距离及一个以上的横向地面距离，并生成包含上述纵向地面距离及上述横向地面距离分别作为分量的各个参照相对坐标。
4.根据权利要求3所述的方法，其特征在于，
在上述(b)步骤之前，
上述计算装置使上述距离计算模块参照以下的数学式而将上述参照位置基准点映射到上述空间坐标系，
(x1，y1)→(X1，Z1)，
Figure FDA0003489994850000021
在上述数学式中，(x1，y1)表示上述参照图像上的上述参照位置基准点之一的坐标，(X1，Z1)表示利用上述对象自动驾驶车辆的位置而设定原始点的上述空间坐标系中与(x1，y1)对应的上述参照相对坐标之一，X1表示上述横向地面距离之一，Z1表示上述纵向地面距离之一，θ表示上述初始预测间距，(cx，cy)表示上述对象照相机的主点坐标，L表示自上述地面的上述对象照相机的高度，f表示上述对象照相机的焦距。
5.根据权利要求3所述的方法，其特征在于，
在上述(b)步骤之前，
上述计算装置使V2V通信模块与自上述对象自动驾驶车辆位于比临界距离近的位置的一个以上的可通信物体进行通信而获得关于一个以上的可通信物体类别、一个以上的可通信物体GT高度及一个以上的可通信物体坐标的信息，使上述调整间距校准模块从上述参照物体中选择具备与可通信性对应的特定类别的特定参照物体，然后参照(i)利用上述可通信物体坐标而计算的相对于上述对象自动驾驶车辆的可通信物体相对坐标及(ii)上述特定参照物体的特定参照相对坐标，将上述可通信物体GT高度中的至少一部分与上述特定参照物体中的至少一部分配对，从而获得相对于上述特定参照物体的特定参照GT高度。
6.根据权利要求3所述的方法，其特征在于，
在上述(b)步骤中，
当选择了上述目标物体时，上述计算装置使上述调整间距校准模块从上述参照相对坐标中选择与上述目标物体对应的目标相对坐标，参照上述初始预测间距而执行高度预测运算来计算上述预测目标高度，参照以下的数学式来执行上述高度预测运算，
Figure FDA0003489994850000031
在上述数学式中，Z1表示上述目标相对坐标(X1，Z1)的纵向地面距离，θ表示上述预测间距，L表示自上述地面的上述对象照相机的高度，Z2表示将包含上述目标物体的目标边界框的上端部分内的点即目标高度预测基准点(x2，y2)映射到对应于包含上述对象自动驾驶车辆的虚拟空间的空间坐标系而生成的目标高度预测点的分量即纵向投影距离，f表示上述对象照相机的焦距。
7.根据权利要求1所述的方法，其特征在于，
在上述(b)步骤中，
在上述目标物体的数量为1个的情况下，上述计算装置使上述调整间距校准模块(i)参照上述GT目标高度来设定过大预测范围及过小预测范围，(ii-1)在上述预测目标高度包含于上述过大预测范围内的情况下，执行以所预设的调整比率来减小上述初始预测间距的调整，或(ii-2)上述预测目标高度包含于上述过小预测范围内的情况下，执行以上述预设的调整比率来增加上述初始预测间距的调整，
上述过大预测范围是比上述GT目标高度乘以R而得到的值小的范围，上述过小预测范围是比上述GT目标高度乘以R而得到的值大的范围，其中，上述R是预设的临界比率。
8.根据权利要求1所述的方法，其特征在于，
在上述(b)步骤中，
在上述目标物体的数量为2个以上的情况下，上述计算装置使上述调整间距校准模块(i)参照上述GT目标高度而设定过大预测范围及过小预测范围，(ii)获得关于与上述过大预测范围对应的过大预测误差比率及与上述过小预测范围对应的过小预测误差比率中的至少一个的信息，(iii)参照上述获得的信息而调整上述初始预测间距，
上述过大预测范围是比上述GT目标高度乘以R而得到的值小的范围，上述过小预测范围是比上述GT目标高度乘以R而得到的值大的范围，其中，上述R是预设的临界比率。
9.根据权利要求1所述的方法，其特征在于，
在上述(a)步骤中，
上述计算装置使上述初始间距校准模块对上述参照图像应用上述间距计算运算而生成上述初始预测间距，参照以下的数学式而执行上述间距计算运算，
Figure FDA0003489994850000041
在上述数学式中，vy表示上述参照图像的消失点的y方向的坐标，其中通过找出上述参照图像的一个以上的线消失的点而获得关于上述消失点的信息，cy表示上述参照图像的主点的y方向的坐标，并且fy表示上述参照图像的焦点的y方向的坐标。
10.根据权利要求1所述的方法，其特征在于，
在上述(a)步骤中，
上述计算装置(i)使上述物体检测网络所包含的卷积层对上述参照图像应用作为上述神经网络运算的一部分的至少一个卷积运算而生成至少一个参照卷积特征图，(ii)使上述物体检测网络所包含的ROI池化层应用在上述参照卷积特征图中将与上述参照图像的ROI对应的值池化的作为上述神经网络运算的一部分的至少一个池化运算，从而生成至少一个参照ROI池化特征图，然后(iii)使上述物体检测网络所包含的FC层对上述参照ROI池化特征图应用作为上述神经网络运算的一部分的至少一个FC运算，从而生成包含关于上述参照物体的参照类别的信息及关于上述参照物体的参照边界框的信息的上述参照物体检测信息。
11.一种使用通过V2V通信而获得的追加信息来执行至少一个对象照相机的间距校准来进行基于上述对象照相机的物体距离预测的计算装置，该计算装置的特征在于，其包括：
一个以上的存储器，其存储指令；及
至少一个处理器，其执行用于执行如下处理的上述指令：(I)当通过上述对象照相机而获得至少一个参照图像时，执行(i)使初始间距校准模块对上述参照图像应用至少一个间距计算运算而生成对上述对象照相机的光轴与地面之间的角度进行预测来生成的值即初始预测间距的处理及(ii)使物体检测网络对上述参照图像应用至少一个神经网络运算来生成关于上述参照图像所包含的一个以上的参照物体的参照物体检测信息的处理；及(II)使调整间距校准模块(i)从上述参照物体中选择至少一个目标物体，(ii)参照上述目标物体相对于搭载有上述对象照相机的对象自动驾驶车辆的至少一个相对位置及上述初始预测间距而计算上述目标物体的至少一个预测目标高度，然后(iii)参照上述预测目标高度及已获得的至少一个GT目标高度而计算与上述初始预测间距对应的至少一个误差，然后(iv)利用上述误差而确定关于上述对象照相机的至少一个调整预测间距，其中上述GT目标高度是从通过上述V2V通信而获得的可通信物体GT高度获得的，
上述处理器还执行如下处理：(III)使上述物体检测网络及距离计算模块生成自动驾驶信息，上述自动驾驶信息包含关于参照上述调整预测间距而计算的、自动驾驶图像所包含的周边物体与上述对象自动驾驶车辆之间的距离的信息。
12.根据权利要求11所述的计算装置，其特征在于，
上述处理器使上述调整间距校准模块从上述参照物体中选择满足关于各个上述参照物体是否具备与可通信性对应的特定类别的第1条件的一个以上的特定参照物体，并从上述特定参照物体中选择满足如下的第2条件和第3条件中的至少一个条件的上述至少一个目标物体：(i)关于包含各个上述特定参照物体的各个特定参照边界框是否位于上述参照图像的至少一个插图窗口区域内的第2条件及(ii)关于各个上述特定参照边界框的纵横比是否小于预测临界值的第3条件。
13.根据权利要求11所述的计算装置，其特征在于，
在上述(II)处理之前，上述处理器使距离计算模块参照上述初始预测间距、上述参照物体检测信息及上述参照图像而将包含各个上述参照物体的各个参照边界框的各个下端部分内的点即一个以上的参照位置基准点分别映射到对应于包含上述对象自动驾驶车辆的虚拟空间的空间坐标系，计算上述参照物体及上述对象自动驾驶车辆之间的一个以上的纵向地面距离及一个以上的横向地面距离，并生成包含上述纵向地面距离及上述横向地面距离分别作为分量的各个参照相对坐标。
14.根据权利要求13所述的计算装置，其特征在于，
在上述(II)处理之前，上述处理器使上述距离计算模块参照以下的数学式而将上述参照位置基准点映射到上述空间坐标系，
(x1，y1)→(X1，Z1)，
Figure FDA0003489994850000051
在上述数学式中，(x1，y1)表示上述参照图像上的上述参照位置基准点之一的坐标，(X1，Z1)表示利用上述对象自动驾驶车辆的位置而设定原始点的上述空间坐标系中与(x1，y1)对应的上述参照相对坐标之一，X1表示上述横向地面距离之一，Z1表示上述纵向地面距离之一，θ表示上述初始预测间距，(cx，cy)表示上述对象照相机的主点坐标，L表示自上述地面的上述对象照相机的高度，f表示上述对象照相机的焦距。
15.根据权利要求13所述的计算装置，其特征在于，
在上述(II)处理之前，上述处理器使V2V通信模块与自上述对象自动驾驶车辆位于比临界距离近的位置的一个以上的可通信物体进行通信而获得关于一个以上的可通信物体类别、一个以上的可通信物体GT高度及一个以上的可通信物体坐标的信息，使上述调整间距校准模块从上述参照物体中选择具备与可通信性对应的特定类别的特定参照物体，然后参照(i)利用上述可通信物体坐标而计算的相对于上述对象自动驾驶车辆的可通信物体相对坐标及(ii)上述特定参照物体的特定参照相对坐标，将上述可通信物体GT高度中的至少一部分与上述特定参照物体中的至少一部分配对，从而获得相对于上述特定参照物体的特定参照GT高度。
16.根据权利要求13所述的计算装置，其特征在于，
在上述(II)处理中，当选择了上述目标物体时，上述处理器使上述调整间距校准模块从上述参照相对坐标中选择与上述目标物体对应的目标相对坐标，参照上述初始预测间距而执行高度预测运算来计算上述预测目标高度，参照以下的数学式来执行上述高度预测运算，
Figure FDA0003489994850000061
在上述数学式中，Z1表示上述目标相对坐标(X1，Z1)的纵向地面距离，θ表示上述预测间距，L表示自上述地面的上述对象照相机的高度，Z2表示将包含上述目标物体的目标边界框的上端部分内的点即目标高度预测基准点(x2，y2)映射到对应于包含上述对象自动驾驶车辆的虚拟空间的空间坐标系而生成的目标高度预测点的分量即纵向投影距离，f表示上述对象照相机的焦距。
17.根据权利要求11所述的计算装置，其特征在于，
在上述(II)处理中，
在上述目标物体的数量为1个的情况下，上述处理器使上述调整间距校准模块(i)参照上述GT目标高度来设定过大预测范围及过小预测范围，(ii-1)在上述预测目标高度包含于上述过大预测范围内的情况下，执行以所预设的调整比率来减小上述初始预测间距的调整，或(ii-2)上述预测目标高度包含于上述过小预测范围内的情况下，执行以上述预设的调整比率来增加上述初始预测间距的调整，
上述过大预测范围是比上述GT目标高度乘以R而得到的值小的范围，上述过小预测范围是比上述GT目标高度乘以R而得到的值大的范围，其中，上述R是预设的临界比率。
18.根据权利要求11所述的计算装置，其特征在于，
在上述(II)处理中，
在上述目标物体的数量为2个以上的情况下，上述处理器使上述调整间距校准模块(i)参照上述GT目标高度而设定过大预测范围及过小预测范围，(ii)获得关于与上述过大预测范围对应的过大预测误差比率及与上述过小预测范围对应的过小预测误差比率中的至少一个的信息，(iii)参照上述获得的信息而调整上述初始预测间距，
上述过大预测范围是比上述GT目标高度乘以R而得到的值小的范围，上述过小预测范围是比上述GT目标高度乘以R而得到的值大的范围，其中，上述R是预设的临界比率。
19.根据权利要求11所述的计算装置，其特征在于，
在上述(II)处理中，
上述处理器使上述初始间距校准模块对上述参照图像应用上述间距计算运算而生成上述初始预测间距，参照以下的数学式而执行上述间距计算运算，
Figure FDA0003489994850000071
在上述数学式中，vy表示上述参照图像的消失点的y方向的坐标，其中通过找出上述参照图像的一个以上的线消失的点而获得关于上述消失点的信息，cy表示上述参照图像的主点的y方向的坐标，并且fy表示上述参照图像的焦点的y方向的坐标。
20.根据权利要求11所述的计算装置，其特征在于，
在上述(II)处理中，
上述处理器(i)使上述物体检测网络所包含的卷积层对上述参照图像应用作为上述神经网络运算的一部分的至少一个卷积运算而生成至少一个参照卷积特征图，(ii)使上述物体检测网络所包含的ROI池化层应用在上述参照卷积特征图中将与上述参照图像的ROI对应的值池化的作为上述神经网络运算的一部分的至少一个池化运算，从而生成至少一个参照ROI池化特征图，然后(iii)使上述物体检测网络所包含的FC层对上述参照ROI池化特征图应用作为上述神经网络运算的一部分的至少一个FC运算，从而生成包含关于上述参照物体的参照类别的信息及关于上述参照物体的参照边界框的信息的上述参照物体检测信息。
CN202010017326.0A 2019-01-31 2020-01-08 提供基于照相机的鲁棒物体距离预测的方法及装置 Active CN111508272B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799238P 2019-01-31 2019-01-31
US62/799,238 2019-01-31
US16/724,617 US10748032B1 (en) 2019-01-31 2019-12-23 Method for providing robust object distance estimation based on camera by performing pitch calibration of camera more precisely with fusion of information acquired through camera and information acquired through V2V communication and device using the same
US16/724,617 2019-12-23

Publications (2)

Publication Number Publication Date
CN111508272A CN111508272A (zh) 2020-08-07
CN111508272B true CN111508272B (zh) 2022-04-26

Family

ID=69191928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010017326.0A Active CN111508272B (zh) 2019-01-31 2020-01-08 提供基于照相机的鲁棒物体距离预测的方法及装置

Country Status (5)

Country Link
US (1) US10748032B1 (zh)
EP (1) EP3690817B1 (zh)
JP (1) JP6890350B2 (zh)
KR (1) KR102296496B1 (zh)
CN (1) CN111508272B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113811886B (zh) * 2019-03-11 2024-03-19 辉达公司 自主机器应用中的路口检测和分类
CN114688976B (zh) * 2020-12-29 2023-07-18 北京金风科创风电设备有限公司 风电机组的测距设备标定方法、装置、系统及设备
DE102021107793A1 (de) 2021-03-29 2022-09-29 Ford Global Technologies, Llc Verfahren zum Betreiben einer Fahrerassistenzfunktion
KR20230075683A (ko) 2021-11-23 2023-05-31 주식회사 인포웍스 심층 신경망 알고리즘 기반 4채널 중장비 avm 영상 융합 오토캘리브레이션 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320652A (ja) * 2000-05-11 2001-11-16 Nec Corp プロジェクタ装置
US6671400B1 (en) * 2000-09-28 2003-12-30 Tateyama R & D Co., Ltd. Panoramic image navigation system using neural network for correction of image distortion
JP2011087308A (ja) * 2010-11-25 2011-04-28 Aisin Seiki Co Ltd 車載カメラの校正装置、方法、及びプログラム
JP2018201146A (ja) * 2017-05-29 2018-12-20 地方独立行政法人東京都立産業技術研究センター 画像補正装置、画像補正方法、注目点認識装置、注目点認識方法及び異常検知システム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3718747B2 (ja) * 2001-04-27 2005-11-24 日産自動車株式会社 車両用走行制御装置
JP4914019B2 (ja) * 2005-04-06 2012-04-11 キヤノン株式会社 位置姿勢計測方法及び装置
JP2007256030A (ja) * 2006-03-23 2007-10-04 Clarion Co Ltd 車載カメラのキャリブレーション装置およびキャリブレーション方法
JP2008187566A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP4831374B2 (ja) * 2009-03-27 2011-12-07 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法、及び運転支援プログラム
JP4636346B2 (ja) * 2009-03-31 2011-02-23 アイシン精機株式会社 車載カメラの校正装置、方法、及びプログラム
WO2012145818A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
US9749594B2 (en) * 2011-12-22 2017-08-29 Pelco, Inc. Transformation between image and map coordinates
US9286678B2 (en) * 2011-12-28 2016-03-15 Pelco, Inc. Camera calibration using feature identification
JP5905846B2 (ja) * 2013-03-29 2016-04-20 株式会社日本自動車部品総合研究所 横断判定装置およびプログラム
CA2976344A1 (en) * 2015-02-10 2016-08-18 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
JP6593588B2 (ja) * 2015-02-16 2019-10-23 パナソニックＩｐマネジメント株式会社 物体検出装置および物体検出方法
KR102278387B1 (ko) * 2015-07-07 2021-07-16 주식회사 만도 거리 산출 장치, 거리 산출 방법, 운전 지원 장치 및 운전 지원 시스템
EP3159828B1 (en) 2015-10-19 2022-03-02 Continental Automotive GmbH Adaptive calibration using visible car details
EP3174007A1 (en) * 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for calibrating the orientation of a camera mounted to a vehicle
CN106650705B (zh) * 2017-01-17 2020-04-24 深圳地平线机器人科技有限公司 区域标注方法、装置和电子设备
US10268203B2 (en) * 2017-04-20 2019-04-23 GM Global Technology Operations LLC Calibration validation for autonomous vehicle operations
CN109086650B (zh) 2017-06-14 2022-04-12 现代摩比斯株式会社 校准方法和校准设备
CN107390205B (zh) 2017-07-20 2019-08-09 清华大学 一种利用车联网获取前车特征的单目视觉车辆测距方法
CN108983248A (zh) * 2018-06-26 2018-12-11 长安大学 一种基于3d激光雷达及v2x的网联车定位方法
CN109062209A (zh) * 2018-08-07 2018-12-21 安徽工程大学 一种智能辅助驾驶控制系统及其控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320652A (ja) * 2000-05-11 2001-11-16 Nec Corp プロジェクタ装置
US6671400B1 (en) * 2000-09-28 2003-12-30 Tateyama R & D Co., Ltd. Panoramic image navigation system using neural network for correction of image distortion
JP2011087308A (ja) * 2010-11-25 2011-04-28 Aisin Seiki Co Ltd 車載カメラの校正装置、方法、及びプログラム
JP2018201146A (ja) * 2017-05-29 2018-12-20 地方独立行政法人東京都立産業技術研究センター 画像補正装置、画像補正方法、注目点認識装置、注目点認識方法及び異常検知システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
双动态条件下多传感器融合的车辆检测方法研究;刘志强等;《机械设计与制造》;20180908;全文 *
改进Fast-RCNN的双目视觉车辆检测方法;张琦等;《应用光学》;20181115(第06期);全文 *

Also Published As

Publication number Publication date
US20200250470A1 (en) 2020-08-06
US10748032B1 (en) 2020-08-18
KR102296496B1 (ko) 2021-09-02
CN111508272A (zh) 2020-08-07
EP3690817A1 (en) 2020-08-05
JP2020126626A (ja) 2020-08-20
JP6890350B2 (ja) 2021-06-18
EP3690817B1 (en) 2022-09-28
KR20200095361A (ko) 2020-08-10

Similar Documents

Publication Publication Date Title
CN111508272B (zh) 提供基于照相机的鲁棒物体距离预测的方法及装置
US11816991B2 (en) Vehicle environment modeling with a camera
US11210534B2 (en) Method for position detection, device, and storage medium
CN110969655B (zh) 用于检测车位的方法、装置、设备、存储介质以及车辆
US9990736B2 (en) Robust anytime tracking combining 3D shape, color, and motion with annealed dynamic histograms
US20210342604A1 (en) Road plane output with lateral slope
CN109345593B (zh) 一种摄像机姿态的检测方法及装置
JP2020125102A (ja) ライダ、レーダ及びカメラセンサのデータを使用する強化学習に基づく自律走行時の最適化されたリソース割当てのための方法及び装置
US20150279021A1 (en) Video object tracking in traffic monitoring
CN110956069B (zh) 一种行人3d位置的检测方法及装置、车载终端
CN110766760B (zh) 用于相机标定的方法、装置、设备和存储介质
JP6986290B2 (ja) Ｖ２ｘ情報融合を利用してｈｄマップをアップデートするための自車両位置決定を遂行する方法及び装置
CN111510704B (zh) 校正摄像头错排的方法及利用其的装置
CN111091038A (zh) 训练方法、计算机可读介质和检测消失点的方法及装置
JP2020119555A (ja) 極限状況においてフォールトトレランス及びフラクチュエーションロバスト性を向上させるために、ジッタリングが起きたイメージを安定化させるプロセスで生成されたワーピングされたイメージに発生した歪曲を、ｇａｎを利用して減らすための学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置
US20210192777A1 (en) Method, device and storage medium for positioning object
CN111507152A (zh) 基于内置独立型预测来转换自动驾驶模式的方法及装置
CN115187941A (zh) 目标检测定位方法、系统、设备及存储介质
KR20210061069A (ko) 3차원 객체를 표시하는 방법 및 장치
CN112215214A (zh) 调整智能车载终端的摄像头偏移的方法及系统
JP7074723B2 (ja) 学習装置及びプログラム
JPH06265330A (ja) 画像計測装置
CN116563319A (zh) 自车真值系统中的车道边界的生成方法及设备
CN113139984A (zh) 检测与跟踪融合的长时间无人机目标跟踪方法及系统
CN117218205A (zh) 一种相机外参校正方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant