CN111510704B - 校正摄像头错排的方法及利用其的装置 - Google Patents

校正摄像头错排的方法及利用其的装置 Download PDF

Info

Publication number
CN111510704B
CN111510704B CN202010077079.3A CN202010077079A CN111510704B CN 111510704 B CN111510704 B CN 111510704B CN 202010077079 A CN202010077079 A CN 202010077079A CN 111510704 B CN111510704 B CN 111510704B
Authority
CN
China
Prior art keywords
vehicle
specific
condition
communication
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010077079.3A
Other languages
English (en)
Other versions
CN111510704A (zh
Inventor
金桂贤
金镕重
金鹤京
南云铉
夫硕熏
成明哲
申东洙
吕东勋
柳宇宙
李明春
李炯树
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111510704A publication Critical patent/CN111510704A/zh
Application granted granted Critical
Publication of CN111510704B publication Critical patent/CN111510704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明提供用于校正摄像头的偏歪角的方法，本发明包括：步骤(a)，计算装置通过参照参考图像并根据情况信息来生成第一参考数据或第二参考数据；步骤(b)，上述计算装置参照上述第一参考数据或上述第二参考数据以及车辆坐标数据来生成第一角度误差或第二角度误差；以及步骤(c)，上述计算装置使物理旋转模块通过参照上述第一角度误差或上述第二角度误差来调整上述偏歪角。

Description

校正摄像头错排的方法及利用其的装置
技术领域
本发明涉及用于自动驾驶车辆的方法及装置，更详细地，涉及选择性地使用自行生成的信息及由其他实体生成的信息来校正摄像头错排的方法及装置。
背景技术
深度卷积神经网络(Deep Convolution Neural Network；Deep CNN)为在深度学习领域中取得的惊人发展的核心。卷积神经网络为了解决文字识别问题而曾在90年代中使用过，但是，在机器学习领域中广泛应用应归功于近年的研究结果。例如，每年举行的作为软件比赛的ImageNet图像分类比赛中，卷积神经网络在2012年打败其他竞争对手获得了冠军。之后，卷积神经网络成为机器学习领域中非常有用的工具。
最近，这种卷积神经网络广泛应用于自动驾驶领域中。在自动驾驶领域中，卷积神经网络可执行对象检测、自由空间(free space)检测、语义分割(Semantic segmentation)等动作。
卷积神经网络运算可通过安装在自动驾驶车辆的摄像头获取的图像来执行上述的动作。作为一例，当执行对象检测时，卷积神经网络针对通过摄像头获取的图像中所包括的对象检测与上述图像对应的二维坐标系中的位置及等级，从而输出三维坐标系中的上述对象的位置及对象的等级。如上所述，在从二维坐标系转换为三维坐标系的流程中，使用呈现出摄像头的物理特性的摄像头参数。
这种方式的致命性缺点在于，在摄像头的实际物理特性未反映在摄像头参数的情况下，在上述转换流程中会出现问题。即，若摄像头的物理特性因如对摄像头施加的冲击等外部因素而改变，则上述转换的全部流程会出现错误，因此无法适当执行转换流程。到目前为止的有关自动驾驶的研究中，注重图像处理，而没有对解决如上所述的问题的方法进行更多的研究。
发明内容
技术问题
本发明的目的在于，解决如上所述的问题。
本发明的再一目的在于，提供选择性地使用自行生成的信息及由其他实体生成的信息来感知摄像头的错排并进行校正的方法，从而减少由外部因素引起的自动驾驶的危险。
并且，本发明的另一目的在于，提供通过整合由各个其他车辆生成的各个信息来生成能够与上述自行生成的信息进行比较的数据的方法，从而校正摄像头的错排。
解决问题的手段
用于达成如上所述的本发明的目的且实现后述的本发明的特征性效果的本发明的特征性结构如下所示。
根据本发明的一实施方式，提供一种方法，使用由对象车辆自行生成的一次(primary)信息及由其他实体生成的二次(secondary)信息中的至少一部分来校正偏歪角，上述一次信息及上述二次信息中的至少一个通过参照为了校正设置于上述对象车辆的意外倾斜的摄像头的偏歪角而利用的与上述对象车辆的周围有关的情况信息来选择，其特征在于，包括：步骤(a)，若通过上述对象车辆的摄像头获取至少一个参考图像，则计算装置执行如下的流程(i)及流程(ii)，在上述流程(i)中，在上述情况信息与和道路上的车道线相关的第一条件对应的情况下，使第一卷积神经网络(CNN，Convolutional Neural Network)对上述参考图像适用至少一个第一卷积神经网络运算来生成包含与上述参考图像的参考车道线有关的信息的第一参考数据，在上述流程(ii)中，在上述情况信息与和上述道路上的其他车辆相关的第二条件对应的情况下，使第二卷积神经网络对上述参考图像适用至少一个第二卷积神经网络运算来生成包含与上述参考图像的一个以上参考车辆有关的信息的第二参考数据；步骤(b)，上述计算装置使校正模块执行如下的流程(i)及流程(ii)，在上述流程(i)中，在上述情况信息与上述第一条件对应的情况下，参照上述第一参考数据及车辆坐标数据来生成与和上述参考车道线对应的上述摄像头有关的至少一个第一角度误差，在上述流程(ii)中，在上述情况信息与上述第二条件对应的情况下，参照上述第二参考数据及上述车辆坐标数据来生成与和上述参考车辆对应的上述摄像头有关的至少一个第二角度误差；以及步骤(c)，上述计算装置使安装在上述对象车辆的物理旋转模块执行如下的流程(i)及流程(ii)，在上述流程(i)中，在上述情况信息与上述第一条件对应的情况下，参照与上述参考车道线对应的上述第一角度误差来调整上述偏歪角，在上述流程(ii)中，在上述情况信息与上述第二条件对应的情况下，参照与上述参考车辆对应的上述第二角度误差来调整上述偏歪角。
在一实施例中，在上述步骤(a)中，在上述情况信息与上述第一条件对应的情况下，上述计算装置执行如下的步骤(i)、步骤(ii)及步骤(iii)，在上述步骤(i)中，使在上述第一卷积神经网络中包括的至少一个第一卷积层对上述参考图像适用至少一个第一卷积运算来生成至少一个第一参考特征地图，在上述步骤(ii)中，使在上述第一卷积神经网络中包括的至少一个第一池化(pooling)层对上述第一参考特征地图适用至少一个第一池化运算来生成至少一个第一参考池化的特征地图，在步骤(iii)中，使在上述第一卷积神经网络中包括的至少一个第一全连接(FC，Fully-Connected)层对上述第一参考池化的特征地图适用至少一个第一全连接运算来生成与上述参考图像的上述参考车道线有关的检测结果作为上述第一参考数据。
在一实施例中，在上述步骤(b)中，在上述情况信息与上述第一条件对应的情况下，上述计算装置使上述校正模块执行如下的步骤：步骤(i)，参照上述车辆坐标数据来在与上述车辆坐标数据对应的坐标平面映射(mapping)上述参考车道线；步骤(ii)，计算上述参考车道线中的至少一个与上述坐标平面上的参考轴之间的至少一个第一差角；以及步骤(iii)，生成上述至少一个第一差角度作为上述第一角度误差。
在一实施例中，在上述步骤(a)中，在上述情况信息与上述第二条件对应的情况下，上述计算装置执行如下步骤：步骤(i)，使在上述第二卷积神经网络中包括的至少一个第二卷积层对上述参考图像适用至少一个第二卷积运算来生成至少一个第二参考特征地图；步骤(ii)，使在上述第二卷积神经网络中包括的至少一个第二池化层对上述第二参考特征地图适用至少一个第二池化运算来生成至少一个第二参考池化的特征地图；以及步骤(iii)，使在上述第二卷积神经网络中包括的至少一个第二全连接层对上述第二参考池化的特征地图适用至少一个第二全连接运算来生成与上述参考图像的上述参考车辆有关的检测结果作为上述第二参考数据。
在一实施例中，在上述步骤(a)中，在上述情况信息与上述第二条件对应的情况下，上述计算装置生成上述第二参考数据，同时与位于从上述对象车辆相隔第一阈值以下的位置的一个以上车间(V2V，vehicle-to-vehicle)通信车辆进行无线通信来从上述车间通信车辆获取比较数据，从上述车间通信车辆所属的第一特定车间通信车辆至第N特定车间通信车辆中的第K特定车间通信车辆获取的上述比较数据中的第K特定比较数据上述第K特定车间通信车辆包含与上述第K特定车间通信车辆对位于从上述对象车辆相隔第二阈值以下的位置的自身的第K特定周围车辆生成的上述第K特定周围车辆的位置有关的信息，N为上述车间通信车辆的数量，K为1至N的整数，在上述步骤(b)中，在上述情况信息与上述第二条件对应的情况下，上述计算装置使上述校正模块执行如下的步骤(i)及步骤(ii)，在上述步骤(i)中，执行如下的流程(i-1)及流程(i-2)，在上述流程(i-1)中，参照上述第二参考数据来生成在与上述车辆坐标数据对应的坐标平面上以上述对象车辆为基准表示上述参考车辆的一个以上相对位置的一个以上基于图像的坐标，在上述流程(i-2)中，参照上述比较数据来生成在上述坐标平面上以上述对象车辆为基准表示上述车间通信车辆的周围车辆的一个以上相对位置的一个以上基于通信的坐标，在上述步骤(ii)中，参照上述基于图像的坐标及上述基于通信的坐标来生成上述第二角度误差。
在一实施例中，在上述步骤(b)中，在上述情况信息与上述第二条件对应的情况下，上述计算装置使上述校正模块参照与上述摄像头的视场(FOV，Field-Of-View)有关的信息及从上述第K特定车间通信模块获取的上述第K特定比较数据来执行如下的步骤(i)及步骤(ii)，在上述步骤(i)中，将由上述第K特定车间通信车辆预测的上述第K特定周围车辆的位置映射到上述坐标平面上来生成一个以上第K初始坐标，在上述步骤(ii)中，参照包括上述第K初始坐标的一个以上第一初始坐标至一个以上第N初始坐标来生成上述周围车辆的上述基于通信的坐标。
在一实施例中，在上述步骤(b)中，上述计算装置使上述校正模块计算至少一个第一特定直线与至少一个第二特定直线之间的至少一个第二差角并将其作为上述第二角度误差来输出，上述第一特定直线为包括同时在上述参考车辆和上述周围车辆中包括的至少一个特定参考车辆的至少一个特定基于通信的坐标及在上述坐标平面上的圆点的直线，上述第二特定直线为包括至少一个特定参考车辆的至少一个特定基于图像的坐标及上述坐标平面的圆点的直线。
在一实施例中，在上述步骤(b)中，在(i)同时包括在上述参考车辆和上述周围车辆中的特定参考车辆、(ii)与上述特定参考车辆对应的特定基于图像的坐标、以及(iii)与上述特定参考车辆对应的特定基于通信的坐标为多个的情况下，上述计算装置根据下述数式生成上述第二角度误差：
Figure GDA0003317590190000051
M表示上述特定参考车辆的数量，
Figure GDA0003317590190000052
表示第K特定参考车辆的第K特定基于图像的坐标，
Figure GDA0003317590190000053
表示上述第K特定参考车辆的第K特定基于通信的坐标，αk表示分配在上述第K特定参考车辆的加权值。
在一实施例中，在上述步骤(a)中，若从上述对象车辆的控制器局域网络(CAN，Controller Area Network)获取上述对象车辆的行驶信息，则上述计算装置确定上述行驶信息是否与和直行行驶有关的条件A对应或者是否与和非直行的行驶有关的条件B对应，在上述行驶信息与上述条件A对应的情况下，使上述第一卷积神经网络或上述第二卷积神经网络对上述参考图像适用上述第一卷积神经网络运算或上述第二卷积神经网络运算。
根据本发明的另一实施方式，提供一种计算装置，使用由对象车辆自行生成的一次(primary)信息及由其他实体生成的二次(secondary)信息中的至少一部分来校正偏歪角，上述一次信息及上述二次信息中的至少一个通过参照为了校正设置于上述对象车辆的意外倾斜的摄像头的偏歪角而利用的与上述对象车辆的周围有关的情况信息来选择，其特征在于，包括：至少一个存储器，用于存储指令；以及至少一个处理器，执行用于执行如下流程(I)、流程(II)以及流程(III)的上述指令，在上述流程(I)中，若通过上述对象车辆的摄像头获取至少一个参考图像，则在上述情况信息与道路上的车道线相关的第一条件对应的情况下，使第一卷积神经网络(CNN，Convolutional Neural Network)对上述参考图像适用至少一个第一卷积神经网络运算来生成包含与上述参考图像的参考车道线有关的信息的第一参考数据，在上述情况信息与和上述道路上的其他车辆相关的第二条件对应的情况下，使第二卷积神经网络对上述参考图像适用至少一个第二卷积神经网络运算来生成包含与上述参考图像的一个以上参考车辆有关的信息的第二参考数据，在上述流程(II)中，在上述情况信息与上述第一条件对应的情况下，使校正模块参照上述第一参考数据及车辆坐标数据来生成与和上述参考车道线对应的上述摄像头有关的至少一个第一角度误差，在上述情况信息与上述第二条件对应的情况下，使校正模块参照上述第二参考数据及上述车辆坐标数据来生成与和上述参考车辆对应的上述摄像头有关的至少一个第二角度误差，在上述流程(III)中，在上述情况信息与上述第一条件对应的情况下，使安装在上述对象车辆的物理旋转模块参照与上述参考车道线对应的上述第一角度误差来调整上述偏歪角，在上述情况信息与上述第二条件对应的情况下，使安装在上述对象车辆的物理旋转模块参照与上述参考车辆对应的上述第二角度误差来调整上述偏歪角。
在一实施例中，在上述流程(I)中，在上述情况信息与上述第一条件对应的情况下，上述处理器(i)执行如下的步骤(i)、步骤(ii)及步骤(iii)，在上述步骤(i)中，使在上述第一卷积神经网络中包括的至少一个第一卷积层对上述参考图像适用至少一个第一卷积运算来生成至少一个第一参考特征地图，在上述步骤(ii)中，使在上述第一卷积神经网络中包括的至少一个第一池化层对上述第一参考特征地图适用至少一个第一池化运算来生成至少一个第一参考池化的特征地图，在上述步骤(iii)中，使在上述第一卷积神经网络中包括的至少一个第一全连接(FC，Fully-Connected)层对上述第一参考池化的特征地图适用至少一个第一全连接运算来生成与上述参考图像的上述参考车道线有关的检测结果作为上述第一参考数据。
在一实施例中，在上述流程(II)中，在上述情况信息与上述第一条件对应的情况下，上述处理器使上述校正模块执行如下的步骤：步骤(i)，参照上述车辆坐标数据来在与上述车辆坐标数据对应的坐标平面映射上述参考车道线；步骤(ii)，计算上述参考车道线中的至少一个与上述坐标平面上的参考轴之间的至少一个第一差角；以及步骤(iii)，生成上述至少一个第一差角度作为上述第一角度误差。
在一实施例中，在上述流程(I)中，在上述情况信息与上述第二条件对应的情况下，上述处理器(i)执行如下的步骤：步骤(i)，使在上述第二卷积神经网络中包括的至少一个第二卷积层对上述参考图像适用至少一个第二卷积运算来生成至少一个第二参考特征地图；步骤(ii)，使在上述第二卷积神经网络中包括的至少一个第二池化层对上述第二参考特征地图适用至少一个第二池化运算来生成至少一个第二参考池化的特征地图；以及步骤(iii)，使在上述第二卷积神经网络中包括的至少一个第二全连接层对上述第二参考池化的特征地图适用至少一个第二全连接运算来生成与上述参考图像的上述参考车辆有关的检测结果作为上述第二参考数据。
在一实施例中，在上述流程(I)中，在上述情况信息与上述第二条件对应的情况下，上述处理器生成上述第二参考数据，同时，与位于从上述对象车辆相隔第一阈值以下的位置的一个以上车间通信车辆进行无线通信来从上述车间通信车辆获取比较数据，从上述车间通信车辆所属的第一特定车间通信车辆至第N特定车间通信车辆中的第K特定车间通信车辆获取的上述比较数据中的第K特定比较数据上述第K特定车间通信车辆包括与上述第K特定车间通信车辆针对位于从上述对象车辆相隔第二阈值以下的位置的自身的第K特定周围车辆生成的上述第K特定周围车辆的位置有关的信息，N为上述车间通信车辆的数量，K为1至N的整数，在上述流程(II)中，在上述情况信息与上述第二条件对应的情况下，上述计算装置使上述校正模块执行如下的步骤(i)及步骤(ii)，在上述步骤(i)中，执行如下的流程(i-1)及流程(i-2)，在上述流程(i-1)中，参照上述第二参考数据来生成在与上述车辆坐标数据对应的坐标平面上以上述对象车辆为基准表示上述参考车辆的一个以上相对位置的一个以上基于图像的坐标，在上述流程(i-2)中，参照上述比较数据来生成在上述坐标平面上以上述对象车辆为基准表示上述车间通信车辆的周围车辆的一个以上相对位置的一个以上基于通信的坐标，在上述步骤(ii)中，参照上述基于图像的坐标及上述基于通信的坐标来生成上述第二角度误差。
在一实施例中，在上述流程(II)中，在上述情况信息与上述第二条件对应的情况下，上述处理器使上述校正模块参照与上述摄像头的视场有关的信息及从上述第K特定车间通信模块获取的上述第K特定比较数据来执行如下的步骤(i)及步骤(ii)，在上述步骤(i)中，将由上述第K特定车间通信车辆预测的上述第K特定周围车辆的位置映射(mapping)到上述坐标平面上来生成一个以上第K初始坐标，在上述步骤(ii)中，通过参照包括上述第K初始坐标的一个以上第一初始坐标至一个以上第N初始坐标来生成上述周围车辆的上述基于通信的坐标。
在一实施例中，在上述流程(II)中，上述处理器使上述校正模块计算至少一个第一特定直线与至少一个第二特定直线之间的至少一个第二差角并将其作为上述第二角度误差来输出，上述第一特定直线为包括同时在上述参考车辆和上述周围车辆中包括的至少一个特定参考车辆的至少一个特定基于通信的坐标及在上述坐标平面上的圆点的直线，上述第二特定直线为包括至少一个特定参考车辆的至少一个特定基于图像的坐标及上述坐标平面的圆点的直线。
在一实施例中，在上述流程(II)中，在(i)同时包括在上述参考车辆和上述周围车辆中的特定参考车辆、(ii)与上述特定参考车辆对应的特定基于图像的坐标、以及(iii)与上述特定参考车辆对应的特定基于通信的坐标为多个的情况下，上述处理器根据下述数式生成上述第二角度误差：
Figure GDA0003317590190000091
M表示上述特定参考车辆的数量，
Figure GDA0003317590190000092
表示第K特定参考车辆的第K特定基于图像的坐标，
Figure GDA0003317590190000093
表示上述第K特定参考车辆的第K特定基于通信的坐标，αk表示分配在上述第K特定参考车辆的加权值。
在一实施例中，在上述流程(I)中，若从上述对象车辆的控制器局域网络(CAN，Controller Area Network)获取上述对象车辆的行驶信息，上述处理器确定上述行驶信息是否与和直行行驶有关的条件A对应或者是否与和非直行的行驶有关的条件B对应，在上述行驶信息与上述条件A对应的情况下，使上述第一卷积神经网络或上述第二卷积神经网络对上述参考图像适用上述第一卷积神经网络运算或上述第二卷积神经网络运算。
此外，还提供用于记录执行本发明的方法的计算机程序的计算机可读记录介质。
发明的效果
本发明具有提供选择性地使用自行生成的信息及由其他实体生成的信息来感知摄像头的错排并进行校正的方法，从而减少由外部因素引起的自动驾驶的危险的效果。
并且，本发明具有提供通过整合由各个其他车辆生成的各个信息来生成能够与上述自行生成的信息进行比较的数据的方法，从而校正摄像头的错排的效果。
附图说明
通过以下与附图一起给出的优选实施例的说明，本发明的上述及其他目的及特征会更加明确。
为了说明本发明实施例，所附的以下附图仅为本发明的实施例中的一部分，本发明所属技术领域的普通技术人员(以下，“普通技术人员”)可以在不付出创造性劳动的情况下，通过这些附图获取其他附图。
图1为根据本发明一实施例简要示出执行选择性地使用自行生成的信息及由其他实体生成的信息来校正摄像头的错排的方法的计算装置的结构的图。
图2为根据本发明一实施例简要示出选择性地使用自行生成的信息及由其他实体生成的信息来校正摄像头的错排的方法的流程的图。
图3为根据本发明一实施例简要示出为了选择性地使用自行生成的信息及由其他实体生成的信息来校正摄像头的错排而利用的获取第一角度误差的方式的图。
图4为根据本发明一实施例简要示出为了选择性地使用自行生成的信息及由其他实体生成的信息来校正摄像头的错排而利用的获取第二角度误差的方式的图。
具体实施方式
为了使本发明的目的、技术手段及优点更加明确，将以本发明能够实施的特定实施例为例并参照附图对本发明进行详细说明。为了普通技术人员能够充分实施本发明而详细说明这些实施例。
并且，在本发明的详细说明及发明要求保护范围中，术语“包括”及其变形并非意图为排除其他技术特征、附加物、结构要素或步骤等。普通技术人员可以从本说明书得知本发明的其他目的、优点及特性的一部分，且可以在实施本发明的过程中得知一部分。以下例及附图仅作为实例来提供，而本发明并不限定于此。
尤其，应理解，本发明包括本说明书中提供的多个实施例的所有组合。本发明的各种实施例虽然互不相同但不必相互排斥。例如，本文所记载的特定形状、结构及特性，在一实施例中不脱离本发明的思想及范围的情况下还可以实现为另一实施例。并且，应理解，所公开的每个实施例中的个别结构要素的位置或配置可以在不脱离本发明的思想及范围的情况下进行变更。因此，后述的详细说明并不用于限定本发明，只要能够进行适当的说明，本发明的范围应根据与发明要求保护范围等同的所有范围和所附的发明要求保护范围而被限定。附图中类似的附图标记在多个方面指类似的功能。
本发明中所提及的各种图像可以包括柏油马路或非柏油马路的相关图像，在这种情况下，可以假设包括马路环境中可以出现的物体(假如车辆、人、动物、植物、物体、建筑物、飞机或无人机等飞行物、其他障碍物)，但并不必须限定于此。本发明中所提及的各种图像还可以为与马路无关的图像(假如非柏油马路、胡同、空地、海、湖、河、山、树林、沙漠、天空、与室内相关的图像)，在这种情况下，可以假设包括非柏油马路、胡同、空地、海、湖、河、山、树林、沙漠、天空、室内环境中可以出现的物体(假如车辆、人、动物、植物、物体、建筑物、飞机或无人机等飞行物、其他障碍物)，但并不必须限定于此。
以下，为了使本发明所属技术领域的普通技术人员容易实施本发明，参照附图详细地说明本发明的优选实施例。
图1为根据本发明一实施例简要示出执行通过利用V2V(vehicle-to-vehicle)信息融合的合作诊断(cooperative diagnostic)功能感知摄像头的错排并进行校正的方法的计算装置的结构的图。
参照图1，上述计算装置100可包括作为随后要详细说明的结构要素的第一卷积神经网络130(CNN，Convolutional Neural Network)、第二卷积神经网络140及校正模块150。上述第一卷积神经网络130、上述第二卷积神经网络140及上述校正模块150的输入/输出及运算过程可分别通过至少一个通信部110及至少一个处理器120来实现。但是，在图1中省略了上述通信部110及上述处理器120的具体研究关系。此时，存储器115可处于储存后述的各种指令的状态，上述处理器120配置为执行储存在上述存储器115的多个上述指令，可通过执行随后要说明的多个上述指令来执行本发明的流程。即使以如上所述的方式说明了计算装置100，但是，上述计算装置100不排除包括整合有处理器、存储器、介质(medium)或其他计算要素的形态的整合处理器。
以上，对本发明一实施例的执行选择性地使用自行生成的信息及由其他实体生成的信息来校正摄像头的错排的方法的计算装置100的结构进行了说明，以下，具体说明本发明的校正错排的方法本身。
图2为根据本发明一实施例简要示出选择性地使用上述自行生成的信息及由上述其他实体生成的信息来校正上述摄像头的上述错排的方法的流程的图。
参照图2，上述计算装置100可通过设置于对象车辆的摄像头获取至少一个参考图像(步骤S01)。之后，在随后要说明的上述对象车辆的情况信息与第一条件对应的情况下，上述计算装置100可执行与步骤S02-1、步骤S03-1及步骤S04-1对应的第一流程。与此不同，在上述情况信息与第二条件对应的情况下，上述计算装置100可执行与步骤S02-2、步骤S03-2及步骤S04-2对应的第二流程。即，如图2所示，可根据上述情况信息选择性地执行上述第一流程及上述第二流程这两种流程。但是，也可以同时执行上述两种流程。
对于上述第一流程，在上述情况信息与上述第一条件对应的情况下，上述计算装置100可使上述第一卷积神经网络130对上述参考图像适用至少一个第一卷积神经网络运算来生成包含与上述参考图像的参考车道线有关的信息的第一参考数据(步骤S02-1)。而且，上述计算装置100可使上述校正模块150参照上述第一参考数据及车辆坐标数据来生成与和上述参考车道线对应的上述摄像头有关的至少一个第一角度误差(步骤S03-1)。之后，上述计算装置100可使安装在上述对象车辆的物理旋转模块(未图示)参照上述第一角度误差来调整上述摄像头的偏歪角(步骤S04-1)。此时，上述偏歪角可以为因如与上述摄像头间的碰撞等外部因素而导致的意外。
与此不同，对于上述第二流程，在上述情况信息与上述第二条件对应的情况下，上述计算装置100可使上述第二卷积神经网络140对上述参考图像适用至少一个第二卷积神经网络运算来生成包含与上述参考图像的参考车辆有关的信息的第二参考数据(步骤S02-2)。而且，上述计算装置100可使上述校正模块150参照上述第二参考数据及上述车辆坐标数据来生成与和上述参考车辆对应的上述摄像头有关的至少一个第二角度误差(步骤S03-2)，之后，上述计算装置100可使安装在上述对象车辆的上述物理旋转模块(未图示)参照上述第二角度误差来调整上述偏歪角(步骤S04-2)。
以上，简单说明了本发明的校正错排的方法，以下，更加具体地说明上述方法。
首先，上述情况信息可包含与上述对象车辆周围的车道线的数量是否充足，即，上述车道线的数量是否为第一阈值以上有关的信息、以及与上述对象车辆周围的车辆数量是否充足，即，上述对象车辆周围的车辆数量是否为第二阈值以上有关的信息。此时，上述情况信息的上述第一条件可意味着上述对象车辆周围的车道线的数量为上述第一阈值以上的情况。上述第一流程由于使用与上述参考车道线有关的信息来执行，因此需要上述情况信息的上述第一条件，这会在随后说明。并且，上述情况信息的上述第二条件可意味着上述对象车辆周围的车辆数量为上述第二阈值以上的情况。并且，上述第二流程由于使用与上述参考车辆有关的信息来执行，因此需要上述情况信息的上述第二条件，这也会在随后说明。
以如上所述的方式被利用的上述情况信息可通过多种方法来获取。作为一例，除了上述第一卷积神经网络130及上述第二卷积神经网络140之外的稍微简单的结构的其他神经网络包括在上述计算装置100中来获取上述对象车辆周围的图像并检测与上述对象车辆的周围有关的大概的信息。作为其他例，可向服务器传输上述对象车辆的位置，上述服务器可向上述计算装置100传输上述对象车辆的上述情况信息。更简单地，上述对象车辆的乘车人确认周围并可向上述计算装置100输出上述情况信息。进一步地，上述情况信息可均与上述第一条件及上述第二条件对应。在此情况下，可任意选择上述第一流程及上述第二流程中的一个，或者可由上述乘车人选择。
以下，参照图3说明基于上述对象车辆周围的车道线执行的第一流程。
图3为根据本发明一实施例简要示出为了选择性地使用上述自行生成的信息及由上述其他实体生成的信息来校正上述摄像头的上述错排而利用的获取第一角度误差的方式的图。
参照图3可确认，上述计算装置100通过上述第一卷积神经网络130及上述校正模块150来生成上述第一角度误差。具体地，上述计算装置100使在上述第一卷积神经网络中包括的至少一个第一卷积层131对上述参考图像适用至少一个第一卷积运算来生成至少一个第一参考特征地图。之后，上述计算装置100使在上述第一卷积神经网络中包括的至少一个第一池化层132从第一区域候选网络134(RPN，Region Proposal Network)获取第一感兴趣区域(ROI，Region-Of-Interest)信息，并对上述第一参考特征地图适用至少一个第一池化运算来生成至少一个第一参考池化的特征地图。而且，上述计算装置100使在上述第一卷积神经网络130中包括的至少一个第一全连接(FC，Fully-Connected)层133对上述第一参考池化的特征地图适用至少一个第一全连接运算来生成与上述参考图像的上述参考车道线有关的检测结果作为上述第一参考数据。以上的流程与为了检测在图像上的对象而利用的“快速R-CNN(Faster Region-based Convolutional Neural Network)”的广为人知的结构类似，因此，普通技术人员可容易理解。
之后，上述计算装置100使上述校正模块150在与上述车辆坐标数据对应的坐标平面映射(mapping)上述参考车道线。作为一例，上述车辆坐标数据与安装在上述对象车辆的上述摄像头的摄像头参数有关的信息。在此情况下，使用利用上述摄像头参数的广为人知的图像处理技术来在以上述对象车辆的位置作为圆点的上述坐标平面映射上述参考车道线。然后，上述计算装置100检测上述参考车道线中与上述对象车辆最近的特定参考车道线152，并计算上述特定参考车道线152与在上述坐标平面上的预设的参考轴151之间的第一差角。上述参考轴151可以为通过在由安装在最佳的各道路的上述摄像头拍摄的图像中设定以与上述对象车辆平行的方式适当排列的车道线而生成的与在上述坐标平面上的直线平行的轴。可通过计算上述参考轴151与上述特定参考车道线152之间的上述第一差角来计算当前状态的上述摄像头的角度以上述最佳的角度为基准超过了多少。上述校正模块150输出上述第一差角作为上述第一角度误差，上述计算装置100可使上述物理旋转模块参照上述第一角度误差来调整上述摄像头的校对。
但是，在上述摄像头拍摄上述参考图像的时间点上述对象车辆正在与车道线平行行驶中的情况下，才能适当执行这种第一流程。上述计算装置100从上述对象车辆的控制器局域网络(CAN，Controller Area Network)获取上述对象车辆的行驶信息，并确定上述行驶信息是否与表示上述对象车辆在第三阈值的时间内继续直行的情况的条件A对应或者是否与和上述条件A相反情况的条件B对应，在上述行驶信息与上述条件A对应的情况下，可使上述第一卷积神经网络130对上述参考图像适用上述第一卷积神经网络运算来执行上述第一流程。
以上，说明了上述第一流程，以下，参照图4说明基于上述对象车辆周围的车辆的位置执行的上述第二流程。
图4为根据本发明一实施例简要示出为了选择性地使用上述自行生成的信息及由上述其他实体生成的信息来校正上述摄像头的上述错排而利用的获取第二角度误差的方式的图。
参照图4可确认，上述计算装置100通过上述第二卷积神经网络140及上述校正模块150来生成上述第二角度误差。具体地，上述计算装置100使包括在上述第二卷积神经网络140中的至少一个第二卷积层141对上述参考图像适用至少一个第二卷积运算来生成至少一个第二参考特征地图。之后，上述计算装置100使包括在上述第二卷积神经网络140中的至少一个第二池化层142从第二区域候选网络144获取第二感兴趣区域信息，并对上述第二参考特征地图适用至少一个第二池化运算来生成至少一个第二参考池化的特征地图。而且，上述计算装置100使在上述第二卷积神经网络140中包括的至少一个第二全连接层143对上述第二参考池化的特征地图适用至少一个第二全连接运算来生成与上述参考图像的上述参考车辆有关的检测结果作为上述第二参考数据。此时，上述参考车辆可以为上述对象车辆周围的车辆中拍摄在上述参考图像上的至少一部分。作为一例，如图4所示，当上述摄像头设置于上述对象车辆的前方时，位于上述对象车辆的前方的第一参考车辆300、第二参考车辆400及第三参考车辆500可被拍摄作为上述参考车辆。
为了执行上述第二流程，除了上述第二参考数据之外还需要一种数据，即，上述比较数据。上述比较数据从作为上述对象车辆200周围的车辆中的至少一部分的车间通信车辆获取。为了方便，假设存在第一车间通信车辆至第N车间通信车辆(N为1以上的整数)。
参照图4说明从上述多个车间通信车辆获取上述比较数据的这一例。参照图4可确认，第K特定车间通信车辆600及第L特定车间通信车辆700。此时，K及L为1至N的整数。当在上述第K特定车间通信车辆600及上述第L特定车间通信车辆700的前方设置摄像头时，可计算上述对象车辆200、上述第一参考车辆300、上述第二参考车辆400及上述第三参考车辆500等周围车辆的位置。计算上述第K特定车间通信车辆600及上述第L特定车间通信车辆700的周围车辆，即，上述对象车辆200、上述第一参考车辆300、上述第二参考车辆400及上述第三参考车辆500的位置作为第K特定比较数据及第L特定比较数据，并可将其传输至上述对象车辆200的上述计算装置100。可通过执行这种流程获取包括第一特定比较数据至第N特定比较数据的上述比较数据。
之后，上述计算装置100可使上述校正模块150分别参照上述第二参考数据及上述比较数据来分别生成两种坐标，即，基于图像的坐标及基于通信的坐标。即，上述计算装置100可使上述校正模块150参照上述校正模块150来生成以上述对象车辆为基准表示上述参考车辆的一个以上相对位置的在上述坐标平面上的上述基于图像的坐标。简单而言，上述基于图像的坐标可表示利用上述当前状态的上述摄像头的偏歪角预测到的上述参考车辆的位置。上述计算装置100在执行上述流程的同时可使上述校正模块150参照上述比较数据来生成在上述坐标平面上以上述对象车辆为基准表示上述车间通信车辆的周围车辆的一个以上相对位置的上述基于通信的坐标。这种基于通信的坐标可表示由上述车间通信车辆预测到的上述车间通信车辆的上述周围车辆的位置，可为了与上述基于图像的坐标进行比较而被利用。
参照图4更具体地说明获取上述基于通信的坐标的方式。上述计算装置100使上述校正模块150参照与上述摄像头的视场(FOV，Field-Of-View)有关的信息、上述第K特定比较数据及上述第L特定比较数据来将位于上述第K特定车间通信车辆周围的第K特定周围车辆的位置及位于上述第L特定车间通信车辆周围的第L特定周围车辆的位置分别映射(mapping)到上述坐标平面上，从而分别生成一个以上第K初始坐标及一个以上第L初始坐标。随着获取第一初始坐标至第N初始坐标，上述计算装置100可使上述校正模块150通过整合分别与上述车间通信车辆的上述周围车辆对应的各个上述初始坐标来生成上述基于通信的坐标。其中，上述第一初始坐标至上述第N初始坐标可包括上述第K初始坐标及上述第L初始坐标。
此时，上述第K特定比较数据可包括上述对象车辆200、上述第一参考车辆300、上述第二参考车辆400及上述第三参考车辆500的各个预测坐标
Figure GDA0003317590190000151
Figure GDA0003317590190000152
及
Figure GDA0003317590190000153
上述第L特定比较数据可包括上述对象车辆200、上述第一参考车辆300、上述第二参考车辆400及上述第三参考车辆500各预测坐标
Figure GDA0003317590190000161
及
Figure GDA0003317590190000162
这种预测坐标可映射到上述坐标平面而成为上述第K初始坐标及上述第L初始坐标。上述坐标平面的圆点位于上述对象车辆200，因此，上述第一参考车辆300、上述第二参考车辆400及上述第三参考车辆500的第K初始坐标可通过减法从上述第一参考车辆300、上述第二参考车辆400及上述第三参考车辆500的预测坐标减去上述对象车辆200的预测坐标来计算，上述第L初始坐标也可以通过类似的方式来计算。即，上述第一参考车辆300、上述第二参考车辆400及上述第三参考车辆500的上述第K初始坐标用
Figure GDA0003317590190000163
Figure GDA0003317590190000164
及
Figure GDA0003317590190000165
计算，上述第L初始坐标也可以通过相同的方式用
Figure GDA0003317590190000166
及
Figure GDA0003317590190000167
计算。
之后，上述基于通信的坐标中的一部分，即，与上述第一参考车辆300、上述第二参考车辆400及上述第三参考车辆500有关的特定基于通信的坐标可通过整合上述初始坐标中的一部分，即，与上述第一参考车辆300、上述第二参考车辆400及上述第三参考车辆500有关的特定初始坐标来生成。以下，说明整合上述特定初始坐标的方式，假设仅存在与上述第一参考车辆300、上述第二参考车辆400及上述第三参考车辆500对应的上述第K初始坐标及上述第L初始坐标。简单地，与上述第一参考车辆300、上述第二参考车辆400及第三参考车辆500有关的上述基于通信的坐标中的上述一部分可通过取分别与上述第一参考车辆300、上述第二参考车辆400及第三参考车辆500对应的各个上述第K初始坐标及各个上述第L初始坐标的各对的平均数来用
Figure GDA0003317590190000168
及
Figure GDA0003317590190000169
计算。在上述实施例中，虽然简单取了平均数，但还可以使用如加权平均等其他更复杂的方法。
若生成上述基于通信的坐标，上述计算装置100则可通过参照上述基于图像的坐标及与此对应的上述基于通信的坐标来生成上述第二角度误差。具体地，上述计算装置100使上述校正模块150计算至少一个第一特定直线与至少一个第二特定直线之间的至少一个第二差角并将其作为第二角度误差来输出，上述第一特定直线为包括同时在上述参考车辆和上述周围车辆中包括的至少一个特定参考车辆的至少一个特定基于通信的坐标及在上述坐标平面上的圆点的直线，上述第二特定直线为包括至少一个特定参考车辆的至少一个特定基于图像的坐标及上述坐标平面的圆点的直线。为了说明存在多个特定参考车辆且随之存在多个特定基于通信的坐标及特定基于图像的坐标的情况，再次参照图4。
参照图4可确认，与上述第一参考车辆300、上述第二参考车辆400及上述第三参考车辆500有关的第一特定基于通信的坐标301、第二特定基于通信的坐标401及第三特定基于通信的坐标501和第一特定基于图像的坐标302、第二特定基于图像的坐标402及第三特定基于图像的坐标502，并可确认，计算了分别包括上述第一特定基于通信的坐标、上述第二特定基于通信的坐标及上述第三基于通信的坐标的第一直线与分别包括上述第一特定基于图像的坐标、上述第二特定基于图像的坐标及上述第三特定基于图像的坐标的第二直线之间的差角(θ1、θ2及θ3)。上述第二角度误差可用上述差角的平均来计算。
将以上的流程可概括为如下的数式：
Figure GDA0003317590190000171
此时，M可表示同时对应上述车间通信车辆的上述周围车辆及上述参考车辆的上述特定参考车辆的数量，
Figure GDA0003317590190000172
可表示第K特定参考车辆的第K特定基于图像的坐标。并且，
Figure GDA0003317590190000173
可表示上述第K特定参考车辆的第K特定基于通信的坐标，αk可表示分配在上述第K特定参考车辆的加权值。
在获取上述参考图像的时间点与生成上述比较数据的时间点之间的差异为第4阈值以下的情况下，可执行以上说明的上述第二流程。并且，当上述对象车辆不直行时，由于上述第二流程的准确度下降，因此，与上述第一流程类似地，当上述对象车辆的上述行驶信息与直行行驶的上述条件A对应时，可执行上述第二流程。
以上说明的本发明的实施例能够以通过各种计算机结构要素执行的程序命令的形态实现并存储在计算机可读记录介质。上述计算机可读记录介质可以单独包括程序命令、数据文件、数据结构等或者可以包括它们的组合。上述计算机可读记录介质中记录的程序命令可以是为了本发明特殊设计并构成的，或者可以是由计算机软件领域的普通技术人员公知使用的。作为计算机可读记录介质的例，包括硬盘、软盘及磁带等磁介质、CD-ROM、DVD等光记录介质、光磁软盘(floptical disk)等磁光介质(magneto-optical media)、以及ROM、RAM、快闪存储器等为了存储并执行程序命令而特殊构成的硬件装置。作为程序命令的例，不仅包括由编译器制作的机器语言代码，而且还包括利用解析器等能够由计算机执行的高级语言代码。上述硬件装置为了执行本发明的处理而能够以一个以上软件模块运行，反之亦然。
以上，通过具体结构要素等特定事项和所限定的实施例及附图进行了说明，但这仅用于提供对本发明的更全面的理解，而本发明并不限定于上述实施例，本发明所属技术领域的普通技术人员可以从这些记载进行各种修改及变形。
因此，本发明的思想并不局限于上述所说明的实施例，发明要求保护范围及其等同或等价变形的所有内容均属于本发明的思想范畴内。

Claims (18)

1.一种方法，使用由对象车辆自行生成的一次信息及由其他实体生成的二次信息中的至少一部分来校正偏歪角，上述一次信息及上述二次信息中的至少一个通过参照为了校正设置于上述对象车辆的意外倾斜的摄像头的偏歪角而利用的与上述对象车辆的周围有关的情况信息来选择，其特征在于，包括：
步骤(a)，若通过上述对象车辆的摄像头获取至少一个参考图像，则计算装置执行如下的流程(i)及流程(ii)，在上述流程(i)中，在上述情况信息与和道路上的车道线相关的第一条件对应的情况下，使第一卷积神经网络对上述参考图像适用至少一个第一卷积神经网络运算来生成包含与上述参考图像的参考车道线有关的信息的第一参考数据，在上述流程(ii)中，在上述情况信息与和上述道路上的其他车辆相关的第二条件对应的情况下，使第二卷积神经网络对上述参考图像适用至少一个第二卷积神经网络运算来生成包含与上述参考图像的一个以上参考车辆有关的信息的第二参考数据；
步骤(b)，上述计算装置使校正模块执行如下的流程(i)及流程(ii)，在上述流程(i)中，在上述情况信息与上述第一条件对应的情况下，参照上述第一参考数据及车辆坐标数据来生成与和上述参考车道线对应的上述摄像头有关的至少一个第一角度误差，在上述流程(ii)中，在上述情况信息与上述第二条件对应的情况下，参照上述第二参考数据及上述车辆坐标数据来生成与和上述参考车辆对应的上述摄像头有关的至少一个第二角度误差；以及
步骤(c)，上述计算装置使安装在上述对象车辆的物理旋转模块执行如下的流程(i)及流程(ii)，在上述流程(i)中，在上述情况信息与上述第一条件对应的情况下，参照与上述参考车道线对应的上述第一角度误差来调整上述偏歪角，在上述流程(ii)中，在上述情况信息与上述第二条件对应的情况下，参照与上述参考车辆对应的上述第二角度误差来调整上述偏歪角；
所述情况信息的所述第一条件表示所述对象车辆周围的车道线的数量为第一阈值以上的情况，所述情况信息的所述第二条件表示所述对象车辆周围的车辆数量为第二阈值以上的情况。
2.根据权利要求1所述的方法，其特征在于，在上述步骤(a)中，在上述情况信息与上述第一条件对应的情况下，上述计算装置执行如下的步骤(i)、步骤(ii)及步骤(iii)，在上述步骤(i)中，使在上述第一卷积神经网络中包括的至少一个第一卷积层对上述参考图像适用至少一个第一卷积运算来生成至少一个第一参考特征地图，在上述步骤(ii)中，使在上述第一卷积神经网络中包括的至少一个第一池化层对上述第一参考特征地图适用至少一个第一池化运算来生成至少一个第一参考池化的特征地图，在步骤(iii)中，使在上述第一卷积神经网络中包括的至少一个第一全连接层对上述第一参考池化的特征地图适用至少一个第一全连接运算来将与上述参考图像的上述参考车道线有关的检测结果作为上述第一参考数据生成。
3.根据权利要求2所述的方法，其特征在于，在上述步骤(b)中，在上述情况信息与上述第一条件对应的情况下，上述计算装置使上述校正模块执行如下的步骤：
步骤(i)，参照上述车辆坐标数据来在与上述车辆坐标数据对应的坐标平面映射上述参考车道线；
步骤(ii)，计算上述参考车道线中的至少一个与上述坐标平面上的参考轴之间的至少一个第一差角；以及
步骤(iii)，生成上述至少一个第一差角度作为上述第一角度误差。
4.根据权利要求1所述的方法，其特征在于，在上述步骤(a)中，在上述情况信息与上述第二条件对应的情况下，上述计算装置执行如下步骤：
步骤(i)，使在上述第二卷积神经网络中包括的至少一个第二卷积层对上述参考图像适用至少一个第二卷积运算来生成至少一个第二参考特征地图；
步骤(ii)，使在上述第二卷积神经网络中包括的至少一个第二池化层对上述第二参考特征地图适用至少一个第二池化运算来生成至少一个第二参考池化的特征地图；以及
步骤(iii)，使在上述第二卷积神经网络中包括的至少一个第二全连接层对上述第二参考池化的特征地图适用至少一个第二全连接运算来生成与上述参考图像的上述参考车辆有关的检测结果，所述检测结果作为上述第二参考数据。
5.根据权利要求4所述的方法，其特征在于，
在上述步骤(a)中，
在上述情况信息与上述第二条件对应的情况下，上述计算装置生成上述第二参考数据，同时，与位于从上述对象车辆相隔第一阈值以下的位置的一个以上车间通信车辆进行无线通信来从上述车间通信车辆获取比较数据，
从上述车间通信车辆所属的第一特定车间通信车辆至第N特定车间通信车辆中的第K特定车间通信车辆获取的上述比较数据中的第K特定比较数据包含上述第K特定车间通信车辆生成的上述第K特定周围车辆的位置有关的信息，并且其中第K特定周围车辆距离所述对象车辆的距离小于第二阈值，N为第一特定车间通信车辆至第N特定车间通信车辆中所有的特定车间通信车辆的数量，K为1至N的整数，
在上述步骤(b)中，
在上述情况信息与上述第二条件对应的情况下，上述计算装置使上述校正模块执行如下的步骤(i)及步骤(ii)，在上述步骤(i)中，执行如下的流程(i-1)及流程(i-2)，在上述流程(i-1)中，参照上述第二参考数据来生成在与上述车辆坐标数据对应的坐标平面上以上述对象车辆为基准表示上述参考车辆的一个以上相对位置的一个以上基于图像的坐标，在上述流程(i-2)中，参照上述比较数据来生成在上述坐标平面上以上述对象车辆为基准表示上述车间通信车辆的周围车辆的一个以上相对位置的一个以上基于通信的坐标，在上述步骤(ii)中，参照上述基于图像的坐标及上述基于通信的坐标来生成上述第二角度误差。
6.根据权利要求5所述的方法，其特征在于，在上述步骤(b)中，在上述情况信息与上述第二条件对应的情况下，上述计算装置使上述校正模块参照与上述摄像头的视场有关的信息及从上述第K特定车间通信模块获取的上述第K特定比较数据来执行如下的步骤(i)及步骤(ii)，在上述步骤(i)中，将由上述第K特定车间通信车辆预测的上述第K特定周围车辆的位置映射到上述坐标平面上来生成一个以上第K初始坐标，在上述步骤(ii)中，参照包括上述第K初始坐标的一个以上第一初始坐标至一个以上第N初始坐标来生成上述周围车辆的上述基于通信的坐标。
7.根据权利要求5所述的方法，其特征在于，在上述步骤(b)中，上述计算装置使上述校正模块计算至少一个第一特定直线与至少一个第二特定直线之间的至少一个第二差角并将其作为上述第二角度误差来输出，上述第一特定直线为包括同时在上述参考车辆和上述周围车辆中包括的至少一个特定参考车辆的至少一个特定基于通信的坐标及在上述坐标平面上的圆点的直线，上述第二特定直线为包括至少一个特定参考车辆的至少一个特定基于图像的坐标及上述坐标平面的圆点的直线。
8.根据权利要求7所述的方法，其特征在于，在上述步骤(b)中，在(i)同时包括在上述参考车辆和上述周围车辆中的特定参考车辆、(ii)与上述特定参考车辆对应的特定基于图像的坐标、以及(iii)与上述特定参考车辆对应的特定基于通信的坐标为多个的情况下，上述计算装置根据下述数式生成上述第二角度误差：
Figure FDA0003317590180000041
M表示上述特定参考车辆的数量，
Figure FDA0003317590180000042
表示第K特定参考车辆的第K特定基于图像的坐标，
Figure FDA0003317590180000043
表示上述第K特定参考车辆的第K特定基于通信的坐标，αk表示分配在上述第K特定参考车辆的加权值。
9.根据权利要求1所述的方法，其特征在于，在上述步骤(a)中，若从上述对象车辆的控制器局域网络获取上述对象车辆的行驶信息，则上述计算装置确定上述行驶信息是否与和直行行驶有关的条件A对应或者是否与和非直行的行驶有关的条件B对应，在上述行驶信息与上述条件A对应的情况下，使上述第一卷积神经网络或上述第二卷积神经网络对上述参考图像适用上述第一卷积神经网络运算或上述第二卷积神经网络运算。
10.一种计算装置，使用由对象车辆自行生成的一次信息及由其他实体生成的二次信息中的至少一部分来校正偏歪角，上述一次信息及上述二次信息中的至少一个通过参照为了校正设置于上述对象车辆的意外倾斜的摄像头的偏歪角而利用的与上述对象车辆的周围有关的情况信息来选择，其特征在于，
包括：
至少一个存储器，用于存储指令；以及
至少一个处理器，执行用于执行如下流程(I)、流程(II)以及流程(III)的上述指令，在上述流程(I)中，若通过上述对象车辆的摄像头获取至少一个参考图像，则在上述情况信息与道路上的车道线相关的第一条件对应的情况下，使第一卷积神经网络对上述参考图像适用至少一个第一卷积神经网络运算来生成包含与上述参考图像的参考车道线有关的信息的第一参考数据，在上述情况信息与和上述道路上的其他车辆相关的第二条件对应的情况下，使第二卷积神经网络对上述参考图像适用至少一个第二卷积神经网络运算来生成包含与上述参考图像的一个以上参考车辆有关的信息的第二参考数据，在上述流程(II)中，在上述情况信息与上述第一条件对应的情况下，使校正模块参照上述第一参考数据及车辆坐标数据来生成与和上述参考车道线对应的上述摄像头有关的至少一个第一角度误差，在上述情况信息与上述第二条件对应的情况下，使校正模块参照上述第二参考数据及上述车辆坐标数据来生成与和上述参考车辆对应的上述摄像头有关的至少一个第二角度误差，在上述流程(III)中，在上述情况信息与上述第一条件对应的情况下，使安装在上述对象车辆的物理旋转模块参照与上述参考车道线对应的上述第一角度误差来调整上述偏歪角，在上述情况信息与上述第二条件对应的情况下，使安装在上述对象车辆的物理旋转模块参照与上述参考车辆对应的上述第二角度误差来调整上述偏歪角；
所述情况信息的所述第一条件表示所述对象车辆周围的车道线的数量为第一阈值以上的情况，所述情况信息的所述第二条件表示所述对象车辆周围的车辆数量为第二阈值以上的情况。
11.根据权利要求10所述的计算装置，其特征在于，在上述流程(I)中，在上述情况信息与上述第一条件对应的情况下，上述处理器执行如下的步骤(i)、步骤(ii)及步骤(iii)，在上述步骤(i)中，使在上述第一卷积神经网络中包括的至少一个第一卷积层对上述参考图像适用至少一个第一卷积运算来生成至少一个第一参考特征地图，在上述步骤(ii)中，使在上述第一卷积神经网络中包括的至少一个第一池化层对上述第一参考特征地图适用至少一个第一池化运算来生成至少一个第一参考池化的特征地图，在上述步骤(iii)中，使在上述第一卷积神经网络中包括的至少一个第一全连接层对上述第一参考池化的特征地图适用至少一个第一全连接运算来生成与上述参考图像的上述参考车道线有关的检测结果作为上述第一参考数据。
12.根据权利要求11所述的计算装置，其特征在于，在上述流程(II)中，在上述情况信息与上述第一条件对应的情况下，上述处理器使上述校正模块执行如下的步骤：
步骤(i)，参照上述车辆坐标数据来在与上述车辆坐标数据对应的坐标平面映射上述参考车道线；
步骤(ii)，计算上述参考车道线中的至少一个与上述坐标平面上的参考轴之间的至少一个第一差角；以及
步骤(iii)，生成上述至少一个第一差角度作为上述第一角度误差。
13.根据权利要求10所述的计算装置，其特征在于，在上述流程(I)中，在上述情况信息与上述第二条件对应的情况下，上述处理器执行如下的步骤：
步骤(i)，使在上述第二卷积神经网络中包括的至少一个第二卷积层对上述参考图像适用至少一个第二卷积运算来生成至少一个第二参考特征地图；
步骤(ii)，使在上述第二卷积神经网络中包括的至少一个第二池化层对上述第二参考特征地图适用至少一个第二池化运算来生成至少一个第二参考池化的特征地图；以及
步骤(iii)，使在上述第二卷积神经网络中包括的至少一个第二全连接层对上述第二参考池化的特征地图适用至少一个第二全连接运算来生成与上述参考图像的上述参考车辆有关的检测结果，所述检测结果作为上述第二参考数据。
14.根据权利要求13所述的计算装置，其特征在于，
在上述流程(I)中，
在上述情况信息与上述第二条件对应的情况下，上述处理器生成上述第二参考数据，同时，与位于从上述对象车辆相隔第一阈值以下的位置的一个以上车间通信车辆进行无线通信来从上述车间通信车辆获取比较数据，
从上述车间通信车辆所属的第一特定车间通信车辆至第N特定车间通信车辆中的第K特定车间通信车辆获取的上述比较数据中的第K特定比较数据包含上述第K特定车间通信车辆生成的上述第K特定周围车辆的位置有关的信息，并且其中第K特定周围车辆距离所述对象车辆的距离小于第二阈值，N为第一特定车间通信车辆至第N特定车间通信车辆中所有的特定车间通信车辆的数量，K为1至N的整数，
在上述流程(II)中，
在上述情况信息与上述第二条件对应的情况下，上述计算装置使上述校正模块执行如下的步骤(i)及步骤(ii)，在上述步骤(i)中，执行如下的流程(i-1)及流程(i-2)，在上述流程(i-1)中，参照上述第二参考数据来生成在与上述车辆坐标数据对应的坐标平面上以上述对象车辆为基准表示上述参考车辆的一个以上相对位置的一个以上基于图像的坐标，在上述流程(i-2)中，参照上述比较数据来生成在上述坐标平面上以上述对象车辆为基准表示上述车间通信车辆的周围车辆的一个以上相对位置的一个以上基于通信的坐标，在上述步骤(ii)中，参照上述基于图像的坐标及上述基于通信的坐标来生成上述第二角度误差。
15.根据权利要求14所述的计算装置，其特征在于，在上述流程(II)中，在上述情况信息与上述第二条件对应的情况下，上述处理器使上述校正模块参照与上述摄像头的视场有关的信息及从上述第K特定车间通信模块获取的上述第K特定比较数据来执行如下的步骤(i)及步骤(ii)，在上述步骤(i)中，将由上述第K特定车间通信车辆预测的上述第K特定周围车辆的位置映射(mapping)到上述坐标平面上来生成一个以上第K初始坐标，在上述步骤(ii)中，通过参照包括上述第K初始坐标的一个以上第一初始坐标至一个以上第N初始坐标来生成上述周围车辆的上述基于通信的坐标。
16.根据权利要求14所述的计算装置，其特征在于，在上述流程(II)中，上述处理器使上述校正模块计算至少一个第一特定直线与至少一个第二特定直线之间的至少一个第二差角并将其作为上述第二角度误差来输出，上述第一特定直线为包括同时在上述参考车辆和上述周围车辆中包括的至少一个特定参考车辆的至少一个特定基于通信的坐标及在上述坐标平面上的圆点的直线，上述第二特定直线为包括至少一个特定参考车辆的至少一个特定基于图像的坐标及上述坐标平面的圆点的直线。
17.根据权利要求16所述的计算装置，其特征在于，在上述流程(II)中，在(i)同时包括在上述参考车辆和上述周围车辆中的特定参考车辆、(ii)与上述特定参考车辆对应的特定基于图像的坐标、以及(iii)与上述特定参考车辆对应的特定基于通信的坐标为多个的情况下，上述处理器根据下述数式生成上述第二角度误差：
Figure FDA0003317590180000071
M表示上述特定参考车辆的数量，
Figure FDA0003317590180000072
表示第K特定参考车辆的第K特定基于图像的坐标，
Figure FDA0003317590180000073
表示上述第K特定参考车辆的第K特定基于通信的坐标，αk表示分配在上述第K特定参考车辆的加权值。
18.根据权利要求10所述的计算装置，其特征在于，在上述流程(I)中，若从上述对象车辆的控制器局域网络获取上述对象车辆的行驶信息，则上述处理器确定上述行驶信息是否与和直行行驶有关的条件A对应或者是否与和非直行的行驶有关的条件B对应，在上述行驶信息与上述条件A对应的情况下，使上述第一卷积神经网络或上述第二卷积神经网络对上述参考图像适用上述第一卷积神经网络运算或上述第二卷积神经网络运算。
CN202010077079.3A 2019-01-31 2020-01-23 校正摄像头错排的方法及利用其的装置 Active CN111510704B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799386P 2019-01-31 2019-01-31
US62/799,386 2019-01-31
US16/740,165 US10728461B1 (en) 2019-01-31 2020-01-10 Method for correcting misalignment of camera by selectively using information generated by itself and information generated by other entities and device using the same
US16/740,165 2020-01-10

Publications (2)

Publication Number Publication Date
CN111510704A CN111510704A (zh) 2020-08-07
CN111510704B true CN111510704B (zh) 2021-12-24

Family

ID=69187605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010077079.3A Active CN111510704B (zh) 2019-01-31 2020-01-23 校正摄像头错排的方法及利用其的装置

Country Status (5)

Country Link
US (1) US10728461B1 (zh)
EP (1) EP3702964A1 (zh)
JP (1) JP6856855B2 (zh)
KR (1) KR102373492B1 (zh)
CN (1) CN111510704B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210073883A (ko) * 2019-12-11 2021-06-21 현대자동차주식회사 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼, 이를 갖는 시스템, 그리고 이의 방법
JP7291953B2 (ja) * 2020-07-27 2023-06-16 株式会社ニューギン 遊技機
CN113382171B (zh) * 2021-06-21 2023-03-24 车路通科技(成都)有限公司 一种交通摄像头自动校正方法、装置、设备及介质
KR102612353B1 (ko) * 2021-09-02 2023-12-12 렉스젠(주) 영상 분석 시스템 및 그에 관한 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2026247A3 (en) * 2007-08-17 2009-11-04 Magna Electronics Inc. Automatic headlamp control system
CN108639065A (zh) * 2018-05-15 2018-10-12 辽宁工业大学 一种基于视觉的车辆安全行驶控制方法
CN110020651A (zh) * 2019-04-19 2019-07-16 福州大学 基于深度学习网络的车牌检测定位方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7774113B2 (en) * 2002-04-10 2010-08-10 Trw Limited Cameras to determine vehicle heading
JP4039357B2 (ja) 2003-11-10 2008-01-30 トヨタ自動車株式会社 車両搭載カメラの光軸調整方法
US7706978B2 (en) * 2005-09-02 2010-04-27 Delphi Technologies, Inc. Method for estimating unknown parameters for a vehicle object detection system
WO2012172713A1 (ja) * 2011-06-13 2012-12-20 日産自動車株式会社 道路形状判定装置、車載用画像認識装置、撮像軸調整装置およびレーン認識方法
KR102047280B1 (ko) * 2012-09-27 2019-11-21 한국전자통신연구원 카메라 방향 제어를 이용한 차선 추종 장치 및 방법
JP2014228943A (ja) * 2013-05-20 2014-12-08 日本電産エレシス株式会社 車両用外界センシング装置、その軸ズレ補正プログラム及びその軸ズレ補正方法
FR3014553A1 (fr) 2013-12-11 2015-06-12 Parrot Procede de calibration angulaire de la position d'une camera video embarquee dans un vehicule automobile
WO2018000037A1 (en) * 2016-06-29 2018-01-04 Seeing Machines Limited Systems and methods for identifying pose of cameras in a scene
KR101979422B1 (ko) * 2017-02-01 2019-05-16 주식회사 만도 카메라 시스템 및 카메라 시스템의 캘리브레이션정보 조정방법
US10692244B2 (en) * 2017-10-06 2020-06-23 Nvidia Corporation Learning based camera pose estimation from images of an environment
US10657390B2 (en) * 2017-11-27 2020-05-19 Tusimple, Inc. System and method for large-scale lane marking detection using multimodal sensor data
CN108107897B (zh) * 2018-01-11 2021-04-16 驭势科技（北京）有限公司 实时传感器控制方法及装置
US10733761B2 (en) * 2018-06-29 2020-08-04 Zoox, Inc. Sensor calibration
US10298910B1 (en) * 2018-06-29 2019-05-21 Zoox, Inc. Infrastructure free intrinsic calibration
US10845815B2 (en) * 2018-07-27 2020-11-24 GM Global Technology Operations LLC Systems, methods and controllers for an autonomous vehicle that implement autonomous driver agents and driving policy learners for generating and improving policies based on collective driving experiences of the autonomous driver agents
US10503174B1 (en) * 2019-01-31 2019-12-10 StradVision, Inc. Method and device for optimized resource allocation in autonomous driving on the basis of reinforcement learning using data from lidar, radar, and camera sensor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2026247A3 (en) * 2007-08-17 2009-11-04 Magna Electronics Inc. Automatic headlamp control system
CN108639065A (zh) * 2018-05-15 2018-10-12 辽宁工业大学 一种基于视觉的车辆安全行驶控制方法
CN110020651A (zh) * 2019-04-19 2019-07-16 福州大学 基于深度学习网络的车牌检测定位方法

Also Published As

Publication number Publication date
US10728461B1 (en) 2020-07-28
KR20200095379A (ko) 2020-08-10
JP6856855B2 (ja) 2021-04-14
CN111510704A (zh) 2020-08-07
KR102373492B1 (ko) 2022-03-14
JP2020126647A (ja) 2020-08-20
US20200252550A1 (en) 2020-08-06
EP3702964A1 (en) 2020-09-02

Similar Documents

Publication Publication Date Title
CN111510704B (zh) 校正摄像头错排的方法及利用其的装置
US11530924B2 (en) Apparatus and method for updating high definition map for autonomous driving
CN110163930B (zh) 车道线生成方法、装置、设备、系统及可读存储介质
CN110796063B (zh) 用于检测车位的方法、装置、设备、存储介质以及车辆
KR102420476B1 (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
CN109154981B (zh) 处理道路表面视觉数据的方法、系统及存储介质
KR102627453B1 (ko) 위치 추정 장치 및 방법
CN111507159B (zh) 提供自动驾驶安全性的方法和装置
CN110570463B (zh) 一种目标状态估计方法、装置和无人机
CN108734732A (zh) 用于生成车辆环境的占用地图的方法和装置
KR102169687B1 (ko) 무인비행체를 이용한 초분광영상 획득 방법
CN108844538B (zh) 一种基于视觉/惯导的无人机避障航点生成方法
US10565863B1 (en) Method and device for providing advanced pedestrian assistance system to protect pedestrian preoccupied with smartphone
CN111508272B (zh) 提供基于照相机的鲁棒物体距离预测的方法及装置
EP3690400A1 (en) Method and device for ego-vehicle localization to update hd map by using v2x information fusion
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP2020122784A (ja) 経路プランニングのための自律走行車両の位置を決定する方法及び装置
CN111508025A (zh) 三维位置估计装置以及程序
Bovcon et al. Improving vision-based obstacle detection on USV using inertial sensor
US10991155B2 (en) Landmark location reconstruction in autonomous machine applications
CN113665591A (zh) 无人驾驶控制方法、装置、设备及介质
JP7234840B2 (ja) 位置推定装置
CN116681733A (zh) 一种空间非合作目标近距离实时位姿跟踪方法
CN115456898A (zh) 停车场的建图方法、装置、车辆及存储介质
CN115761693A (zh) 一种基于全景图像下车位标志点检测与车辆跟踪定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant