CN116612459B - 目标检测方法、装置、电子设备及存储介质 - Google Patents
目标检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116612459B CN116612459B CN202310879404.1A CN202310879404A CN116612459B CN 116612459 B CN116612459 B CN 116612459B CN 202310879404 A CN202310879404 A CN 202310879404A CN 116612459 B CN116612459 B CN 116612459B
- Authority
- CN
- China
- Prior art keywords
- image
- vehicle
- pitching
- coordinate
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 80
- 239000011159 matrix material Substances 0.000 claims abstract description 94
- 230000009466 transformation Effects 0.000 claims abstract description 78
- 238000012545 processing Methods 0.000 claims abstract description 21
- 239000013598 vector Substances 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 28
- 238000013519 translation Methods 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 15
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000295 complement effect Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000008447 perception Effects 0.000 abstract description 7
- 206010034719 Personality change Diseases 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 238000002955 isolation Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本公开提出一种目标检测方法、装置、电子设备及存储介质，涉及自动驾驶技术领域。包括：获取车载相机拍摄所得的第一图像和第二图像；确定第一图像中第一特征点对应的第一坐标及第二图像中第二特征点对应的第二坐标；基于所述第一坐标、所述第二坐标和预先构建的俯仰变换模型，确定所述第一图像对应的车辆俯仰角度；基于与俯仰角度对应的俯仰变换矩阵处理第一图像以得到第三图像；基于第三图像进行目标检测。由此，可以将相机视角的图像转换为地平面视角的图像，降低待检测目标的检测框的位置受车身俯仰姿态变化的影响，从而实现比较稳定并且准确的3D目标检测，保证车辆感知系统对前方目标位置预测的精度，提高了特殊路段下无人车后续决策规划的准确度。
Description
技术领域
本公开涉及自动驾驶技术领域，尤其涉及一种目标检测方法、装置、电子设备及存储介质。
背景技术
实现稳定并且准确的3D（3-Dimensional，3维）目标检测是实现车辆自动驾驶的重要前提。目前，市面上基于视觉的3D目标检测方法通常都是直接在相机的2D（2-Dimensional，2维）图像平面内完成，即默认相机视角与地平面视角是始终平行的。然而，如果2D图像为车辆在颠簸路段或者急加速的情况下采集的，容易导致对前方目标的距离检测出现偏差，进而威胁驾驶的安全性。
因而，如何实现精确的3D目标检测，是目前实现车辆自动驾驶亟需解决的问题。
发明内容
本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
本公开第一方面提出了一种目标检测方法，包括：
获取车载相机拍摄所得的第一图像和第二图像，其中，所述第二图像为地平面视角下的图像；
确定相机坐标系下所述第一图像中第一特征点对应的第一坐标，以及所述第二图像中第二特征点对应的第二坐标，所述第一特征点在所述第一图像中对应的空间位置与所述第二特征点在所述第二图像中对应的空间位置相同；
第二获取模块，用于基于所述第一坐标、所述第二坐标和预先构建的俯仰变换模型，确定所述第一图像对应的车辆俯仰角度；
基于与所述俯仰角度对应的俯仰变换矩阵，处理所述第一图像，以得到第三图像；
基于所述第三图像进行目标检测。
本公开第二方面提出了一种目标检测装置，包括：
第一获取模块，用于获取车载相机拍摄所得的第一图像和第二图像，其中，所述第二图像为地平面视角下的图像；
确定模块，用于确定相机坐标系下所述第一图像中第一特征点对应的第一坐标，以及所述第二图像中第二特征点对应的第二坐标，所述第一特征点在所述第一图像中对应的空间位置与所述第二特征点在所述第二图像中对应的空间位置相同；
第二获取模块，用于基于所述第一坐标、所述第二坐标和预先构建的俯仰变换模型，确定所述第一图像对应的车辆俯仰角度；
处理模块，用于基于与所述俯仰角度对应的俯仰变换矩阵，处理所述第一图像，以得到第三图像；
检测模块，用于基于所述第三图像进行目标检测。
本公开第三方面提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本公开第一方面实施例提出的目标检测方法。
本公开第四方面提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现如本公开第一方面实施例提出的目标检测方法。
本公开提供的目标检测方法、装置、电子设备及存储介质，存在如下有益效果：
本公开中，车辆首先获取车载相机拍摄所得的第一图像和第二图像，其中，所述第二图像为地平面视角下的图像，然后确定相机坐标系下所述第一图像中第一特征点对应的第一坐标，以及所述第二图像中第二特征点对应的第二坐标，之后基于所述第一坐标、所述第二坐标和预先构建的俯仰变换模型，确定所述第一图像对应的车辆俯仰角度，然后基于与所述俯仰角度对应的俯仰变换矩阵，处理所述第一图像，以得到第三图像，最后基于所述第三图像进行目标检测。由此，可以将相机视角的图像转换为地平面视角的图像，降低待检测目标的检测框的位置受车身俯仰姿态变化的影响，从而实现比较稳定并且准确的3D目标检测，保证车辆感知系统对前方目标位置预测的精度，提高了特殊路段下无人车后续决策规划的准确度。
本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本公开一实施例所提供的一种目标检测方法的流程示意图；
图2为本公开实施例所提供的相机拍摄地平面视角下的图像的场景示意图；
图3为本公开实施例所提供的一种车辆俯仰运动的示意图；
图4为本公开另一实施例所提供的一种目标检测方法的流程示意图；
图5为本公开实施例所提供的一种第三图像与第一图像的对比关系示意图；
图6为本公开一实施例所提供的目标检测装置的结构示意图；
图7示出了适于用来实现本公开实施方式的示例性电子设备的框图。
具体实施方式
下面详细描述本公开的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
本公开实施例以该目标检测方法被配置于目标检测装置中来举例说明，该目标检测装置可以应用于任一电子设备中，以使该电子设备可以执行目标检测方法，在此不做限定。作为一种示例，本公开实施例中的目标检测方法的执行主体可以为车机，本公开实施例可以应用于对车辆进行升压充电的场景，在此不做限定。
下面参考附图描述本公开实施例的目标检测方法、装置、电子设备和存储介质。
图1为本公开实施例所提供的一种目标检测方法的流程示意图。
如图1所示，该目标检测方法可以包括以下步骤：
步骤101，获取车载相机拍摄所得的第一图像和第二图像，其中，第二图像为地平面视角下的图像。
需要说明的是，地平面视角指的是以地面作为观察者的视线所在的水平线，也就是人站在地面上所看到的景象。本公开实施例中，相机在获取地平面视角下的图像时，相机的视线方向为平行于地平面的方向。
其中，相机的视线方向是从相机的位置沿着相机的朝向延伸出去的直线，该直线为垂直于相机镜头镜面的直线。如图2所示，ab为相机的视线方向，ab所在的方向垂直于车载相机的镜头，ab与地平面方向为平行的，车辆在这种姿态下拍摄的图像即为地平面视角下的图像。需要说明的是，车辆在拍摄地平面视角下的图像时，车身的方向与地平面之间的夹角为0度。
其中，车载相机可以为安装在车辆上的摄像设备，用于实时获取车辆周围或内部的图像信息。
其中，第一图像可以为车辆在平行于地面进行行驶时相机拍摄的地平面视角的图像。
其中，第二图像可以为车辆在进行俯仰运动时相机拍摄的图像，此时车身与地平面之间存在夹角，也即俯仰角（pitch angle）。
需要说明的是，车辆在颠簸路段、急加速的情况或者在经过隔离带的情况下，相机视角与地平面视角通常是不平行的，此时可以认为车辆进行俯仰运动。
步骤102，确定相机坐标系下第一图像中第一特征点对应的第一坐标，以及第二图像中第二特征点对应的第二坐标，第一特征点在第一图像中对应的空间位置与第二特征点在第二图像中对应的空间位置相同。
其中，第一特征点和第二特征点可以为选取的特定位置的特征点，比如地面，或者建筑物的特征点。第一特征点和第二特征点对应的空间位置是相同的，比如均对应地面上某处位置（比如角点或者边缘），在此不做限定。
本公开实施例中，第一特征点和第二特征点可以是地平面特征点，在此不做限定。
其中，第一特征点位于第一图像中，第二特征点位于第二图像中。需要说明的是，第一特征点可以是一个，或者也可以是多个。
本公开实施例中，参考坐标系可以是以车辆中的车载相机作为坐标原点，以垂直于车身向上的方向为y轴，以平行于车身朝向车头的方向为z轴的yoz相机坐标系，在此不做限定。
图3为本公开所提出的一种车辆进行俯仰运动的示意图。
如图3所示，点O为参考坐标系的原点，也即相机的位置，yj和zj分别为车辆在地平面上正常行驶时的y轴和z轴，yi和zi分别为车辆行驶在隔离带上进行俯仰运动时的y轴和z轴，zi和zj之间的夹角θ即为车辆的俯仰角。
其中，第一坐标可以为第一图像中第一特征点的坐标，第二坐标可以为第二图像中第二特征点的坐标。
需要说明的是，第一图像和第二图像可以为连续帧图像，或者也可以不是连续帧图像。
可选的，车机在获取到第一图像和第二图像之后，可以对第一图像和第二图像进行特征点提取，比如可以通过尺度不变特征变换（Scale-Invariant Feature Transform，SIFT），加速稳健特征（Speeded Up Robust Features，SURF），旋转的可扩展二进制特征（Oriented FAST and Rotated BRIEF，ORB）等算法进行特征提取，从而提取出第一图像中的特征点。进一步的，可以进行特征匹配，也即将第一图像的特征点描述符与第二图像的特征点描述符进行匹配，具体的可以是通过计算特征描述符之间的距离或相似度来进行匹配。例如，可以使用最近邻匹配、最佳候选匹配等方法来找到两帧之间具有相似特征的匹配对。由此，可以确定出第一图像中和第二图像匹配的特征点。
可选的，还可以通过RANSAC（随机采样一致性）算法对特征点对进行模型拟合和内点外点判定，从而剔除错误匹配。
进一步地，可以通过匹配的特征点对（第一特征点和第二特征点）来确定特征点坐标（第一坐标和第二坐标）。其中，特征点坐标可以被用来计算两帧之间的运动或变换关系。
步骤103，基于所述第一坐标、所述第二坐标和预先构建的俯仰变换模型，确定所述第一图像对应的车辆俯仰角度。
需要说明的是，俯仰变换模型可以为一种相机几何模型，用于描述相机在俯仰角发生变化时图像的变化关系。俯仰角的变化会导致相机视线的方向发生变化，进而影响图像的内容和结构。其中，俯仰变换模型可以采用仿射变换或透视变换来描述图像的变化关系。
本公开实施例中，可以采用预先构建的俯仰变换模型来描述第一图像和第二图像的变化关系。
其中，俯仰变换模型可以为方程的形式，在此不做限定。
作为一种可能实现的方式，俯仰变换模型的形式可以为：
=/>
其中，(，/>）为第一坐标，（/>，/>）为第二坐标，/>为俯仰角，/>为相机到第二特征点的距离。其中，/>、/>、/>、/>为线性变换的参数，可以根据具体需要进行设置。
其中，为第一图像中相机位置W1和第二图像中相机位置W2之间的连线(W1W2)与地平面之间的夹角。
作为一种可能实现的方式，可以首先将第一坐标和第二坐标的值代入该俯仰变换模型中，之后基于最小二乘法，计算俯仰变换模型的最优解，最后基于最优解，确定第一图像对应的车辆俯仰角度。
需要说明的是，若俯仰变换模型中包含有列满秩矩阵，比如上述俯仰变换模型中的，则可以利用最小二乘法对方程求解。
需要说明的是，最小二乘法可以用于求解超定方程组，即方程组的未知数的数量多于方程的数量，通过最小二乘法可以提供在平方误差意义下的最优解。本实施例中，可以在得到最小二乘法求解得到的最优解之后，根据最优解确定俯仰角度。其中，最优解可以为一个参数向量，通过该参数向量可以解算出俯仰角度的估计值。
步骤104，基于与俯仰角度对应的俯仰变换矩阵，处理第一图像，以得到第三图像。
其中，第三图像可以为对第一图像处理所得的地平面视角下的图像。
需要说明的是，俯仰变换矩阵（Pitch Transformation Matrix）通常为特定类型的旋转矩阵，用于描述绕X轴的俯仰旋转变换。
可选的，可以将俯仰角度代入与车辆俯仰运动关联的旋转矩阵中，以得到车辆对应的俯仰变换矩阵。不同的俯仰角度对应的俯仰变换矩阵不同。
其中，旋转矩阵（Rotation Matrix）是用于描述旋转变换的矩阵。
本公开实施例中，旋转矩阵可以为：
R=
其中，R为旋转矩阵，为俯仰角。
具体的，可以将俯仰角度代入该旋转矩阵，进而得到俯仰变换矩阵，进而可以利用投影变换方法对第一图像进行逆变换，求得地平面视角下的图像，也即第三图像。由此，可以抵消车辆俯仰姿态变化对视觉感知算法测距的影响。
作为一种可能实现的方式，可以调用OpenCV（Open Source Computer VisionLibrary，开源计算机视觉库）的投影变换函数（cv::warpPerspective）并将上述的俯仰变换矩阵作为姿态变换矩阵，对第一图像进行逆变换，在此不做限定。
步骤105，基于第三图像进行目标检测。
本公开实施例中，目标检测可以为3D目标检测，在此不做限定。
可选的，可以将第三图像作为输入，送入到预先构建的单目3D目标检测网络模型中进行目标检测，从而可以得到从第三图像中准确地定位和识别出目标物体。
需要说明的是，单目3D目标检测是使用单目图像进行目标检测和估计三维物体的任务。以下对一些单目3D目标检测网络模型进行举例说明：
Mono3D， Mono3D 是一个单目3D目标检测模型，使用卷积神经网络（CNN）提取图像特征，并通过预测物体的边界框、视角和距离等信息来实现3D目标检测。
MonoDepth，Mono 是一种单目深度估计模型，在目标检测中可以用于标定目标的尺寸和远近关系。通过学习单目图像的深度信息，实现对目标的3D位置框，其可以结合2D目标检测结果和3D边界框回归来目标的3D定位和形状。
需要说明的是，单目3D目标检测网络模型可以用于实现3D目标检测，可以有多种不同的训练和构建方式，本公开实施例对单目3D目标检测网络模型的类型不做限定。
或者，还可以通过单目视觉方法，从单张第三图像中估计目标到相机的真实世界距离，具体可以利用深度学习的方法，通过场景的几何信息、纹理、形状等特征进行推断。
需要说明的是，车机可以在处理得到第三图像之后，将第三图像输送至自动驾驶感知模块进行目标检测处理，车机在获取第三图像时，可以结合车辆的在线标定和车载相机传感器图像的前处理工作完成，由此可以降低自动驾驶感知模块的额外负担，也即自动驾驶感知模块可以仅需利用第三图像进行目标检测即可，减少对第一图像进行视角变换的工作。
其中，自动驾驶感知模块是自动驾驶系统中的一部分，可以从车辆周围环境中获取并解析各种感知信息，以实现对行人、车辆、道路标志等目标物体的识别、跟踪和理解。通常自动驾驶感知模块可以包含有视觉感知单元、激光雷达感知单元、雷达感知单元、超声波感知单元、惯性测量单元，在此不做限定。
本公开中，车辆首先获取车载相机拍摄所得的第一图像和第二图像，其中，所述第二图像为地平面视角下的图像，然后确定相机坐标系下所述第一图像中第一特征点对应的第一坐标，以及所述第二图像中第二特征点对应的第二坐标，第一特征点在第一图像中对应的空间位置与第二特征点在第二图像中对应的空间位置相同，之后基于所述第一坐标、所述第二坐标和预先构建的俯仰变换模型，确定所述第一图像对应的车辆俯仰角度，然后基于与所述俯仰角度对应的俯仰变换矩阵，处理所述第一图像，以得到第三图像，最后基于所述第三图像进行目标检测。由此，可以将相机视角的图像转换为地平面视角的图像，降低待检测目标的检测框的位置受车身俯仰姿态变化的影响，从而实现比较稳定并且准确的3D目标检测，保证车辆感知系统对前方目标位置预测的精度，提高了特殊路段下无人车后续决策规划的准确度。
图4为本公开实施例所提供的一种目标检测方法的流程示意图。
如图4所示，该目标检测方法可以包括以下步骤：
步骤201，获取车载相机拍摄所得的第一图像和第二图像，其中，第二图像为地平面视角下的图像。
步骤202，确定相机坐标系下第一图像中第一特征点对应的第一坐标，以及第二图像中第二特征点对应的第二坐标，第一特征点在第一图像中对应的空间位置与第二特征点在第二图像中对应的空间位置相同。
需要说明的是，步骤201、202的具体实现方式可以参照上述实施例，在此不进行赘述。
步骤203，获取与车辆俯仰运动关联的旋转矩阵和平移向量，其中，旋转矩阵中包含待计算的车辆俯仰角度。
需要说明的是，不同的姿态变换对应的旋转矩阵和平移向量可能是不同的。车辆在颠簸路段、急加速的情况或者在经过隔离带的情况下，相机视角与地平面视角通常是不平行的，此时可以认为车辆进行俯仰运动。
可选的，本公开实施例中，与俯仰姿态变换关联的旋转矩阵的形式可以为：
R=
其中，R为旋转矩阵，为待计算的车辆俯仰角度。
其中，平移向量为在几何空间中描述平移操作的向量，表示从一个点到另一个平行点之间的位移量。
可选的，本公开实施例中，与车辆俯仰运动关联的平移向量的形式可以为：
其中，t为平移向量，为相机到第二特征点的距离。
其中，为第一图像中相机位置W1和第二图像中相机位置W2之间的连线(W1W2)与地平面之间的夹角。
步骤204，基于旋转矩阵和平移向量，构建第一单应性矩阵。
其中，单应性矩阵（Homography Matrix）用于描述一个平面到另一个平面的投影变换关系，单应性矩阵可用于将一张图片映射到另一张图片平面上，从而实现图像的对齐、拼接等操作。
其中，第一单应性矩阵可以为与当前车辆的俯仰运动对应的单应性矩阵。本公开实施例中，可以利用第一单应性矩阵将俯仰视角的第一图像映射到地平面视角的图像上。
可选的，可以首先获取与空间位置关联的平面法向量，及车载相机相对于地平面的距离，之后根据旋转矩阵、平移向量、距离和平面法向量，构建第一单应性矩阵。
其中，空间位置可以为第一特征点和第二特征点对应的空间位置。
需要说明的是，不同的空间位置对应的平面法向量是不同的。本公开实施例中，可以预先存储好每个空间位置所映射的平面法向量。举例来说，若空间位置为地平面的任一位置，也即第一特征点和第二特征点为地平面特征点，则平面法向量可以为，在此不做限定。
其中，车载相机相对于地平面的距离可以为预先测量的定值，比如可以为1m，在此不做限定。
其中，可以为第一单应性矩阵，R为旋转矩阵，d为车载相机相对于地平面的距离，t为平移向量，n为平面法向量。
本公开实施例中，若第一特征点和第二特征点取自地平面，则=1，/>，也即H为第一单应性矩阵。
作为一种示例，若R=，/>，/>=1，n=/>，则可以计算第一单应性矩阵H的形式为：
步骤205，基于第一单应性矩阵和仿射变换的矩阵转换方程，构建俯仰变换模型。
其中，仿射变换为二维或三维空间中的线性变换和平移所组成的几何变换，可以保持与原始对象之间的线段的平行性和比例关系。本公开实施例中，第一单应性矩阵和仿射变换的矩阵转换方程可以是与车辆的俯仰变换对应的矩阵转换方程，因而有特定的形式。
具体的，可以将仿射变换的矩阵转换方程和第一单应性矩阵的矩阵转换方程进行融合，从而可以得到俯仰变换模型。
可选的，仿射变换的矩阵转换方程的可以为：
=/>
其中，、/>、/>、/>为线性变换的参数，可以根据具体需要进行设置。
可选的，第一单应性矩阵的矩阵转换方程可以为：
=/>
进一步的，通过将上述的第一单应性矩阵的矩阵转换方程和仿射变换的矩阵转换方程相结合，可以得到以下俯仰变换模型：
=/>
步骤206，基于所述第一坐标、所述第二坐标和预先构建的俯仰变换模型，确定所述第一图像对应的车辆俯仰角度。
步骤207，基于与俯仰角度对应的俯仰变换矩阵，处理第一图像，以得到第三图像。
需要说明的是，步骤206-207的具体实现方式可以参照上述实施例，在此不进行赘述。
步骤208，确定第三图像中超出第一图像边界的目标图像区域。
其中，目标图像区域可以为在第三图像中超出原第一图像边界的图像区域。
步骤209，将目标图像区域中的像素值置为零，或者对目标图像区域中的像素值进行纵向对称补充处理。
具体的，通过将变换后第三图像中边界处超出原始范围的像素值设置为零，也即将超出范围的部分直接设为黑色（全零），可以保持变换后图像的连续性和一致性，避免产生不真实的边界效果。
其中，纵向对称补充（Vertical Symmetric Padding）可以为沿垂直方向对称复制第一图像的像素值，在补充的部分（目标图像区域）上下镜像复制第一图像的对应部分，以保持第三图像的连续性。这种方式可以使第三图像从上到下的过渡更加平滑。
图5示出了一种第一图像与第三图像的对比关系示意图。如图5所示，包含有图像a、图像b和图像c。a为第一图像，也即相机视角下的路面图像，b和c为第三图像，也即地平面视角下的图像。
需要说明的是，若将a图中的目标图像区域中的像素值置为零，则可以得到b图像，若将a图中的目标图像区域中的像素值进行纵向对称补充处理，则可以得到c图像。
步骤210，基于第三图像进行目标检测。
需要说明的是，步骤210的具体实现方式可以参照上述实施例，在此不进行赘述。
本公开实施例中，首先获取车载相机拍摄所得的第一图像和第二图像，其中，第二图像为地平面视角下的图像，然后确定相机坐标系下第一图像中第一特征点对应的第一坐标，以及第二图像中第二特征点对应的第二坐标，第一特征点在第一图像中对应的空间位置与第二特征点在第二图像中对应的空间位置相同，之后获取与车辆俯仰运动关联的旋转矩阵和平移向量，其中，旋转矩阵中包含待计算的车辆俯仰角度，然后基于旋转矩阵和平移向量，构建第一单应性矩阵，基于第一单应性矩阵和仿射变换的矩阵转换方程，构建俯仰变换模型，然后基于所述第一坐标、所述第二坐标和预先构建的俯仰变换模型，确定所述第一图像对应的车辆俯仰角度，之后基于与俯仰角度对应的俯仰变换矩阵，处理第一图像，以得到第三图像，之后确定第三图像中超出第一图像边界的目标图像区域，然后将目标图像区域中的像素值置为零，或者对目标图像区域中的像素值进行纵向对称补充处理，最后基于第三图像进行目标检测。由此，通过采用置零和纵向对称补充的方式可以有效解决图像坐标变换后导致的边界问题，并保持图像风格的一致性，通过结合第一单应性矩阵和仿射变换构建俯仰变换模型，提高了视角变换的准确度和可靠性，能够很好的俯仰角的求解，进而得到俯仰变换矩阵，可以将相机视角的图像转换为地平面视角的图像，降低待检测目标的检测框的位置受车身俯仰姿态变化的影响，从而实现比较稳定并且准确的3D目标检测，保证车辆感知系统对前方目标位置预测的精度，提高了特殊路段下无人车后续决策规划的准确度。
为了实现上述实施例，本公开还提出一种目标检测装置。
图6为本公开实施例所提供的目标检测装置的结构示意图。
如图6所示，该目标检测装置500可以包括：
第一获取模块510，用于获取车载相机拍摄所得的第一图像和第二图像，其中，所述第二图像为地平面视角下的图像；
确定模块520，用于确定相机坐标系下所述第一图像中第一特征点对应的第一坐标，以及所述第二图像中第二特征点对应的第二坐标，第一特征点在第一图像中对应的空间位置与第二特征点在第二图像中对应的空间位置相同；
第二获取模块530，用于基于所述第一坐标、所述第二坐标和预先构建的俯仰变换模型，确定所述第一图像对应的车辆俯仰角度；
处理模块540，用于基于与所述俯仰角度对应的俯仰变换矩阵，处理所述第一图像，以得到第三图像；
检测模块550，用于基于所述第三图像进行目标检测。
可选的，所述第一获取模块，还包括：
获取单元，用于获取与车辆俯仰运动关联的旋转矩阵和平移向量，其中，所述旋转矩阵中包含待计算的所述车辆俯仰角度；
第一构建单元，用于基于所述旋转矩阵和所述平移向量，构建第一单应性矩阵；
第二构建单元，用于基于所述第一单应性矩阵和仿射变换的矩阵转换方程，构建所述俯仰变换模型。
可选的，所述第一构建单元，具体用于：
获取与所述空间位置关联的平面法向量，及车载相机相对于地平面的距离；
根据所述旋转矩阵、所述平移向量、所述距离和所述平面法向量，构建所述第一单应性矩阵。
可选的，所述处理模块，还用于：
将所述俯仰角度代入与车辆俯仰运动关联的旋转矩阵中，以得到所述车辆对应的所述俯仰变换矩阵。
可选的，所述检测模块，还用于：
确定所述第三图像中超出所述第一图像边界的目标图像区域；
将所述目标图像区域中的像素值置为零，或者
对所述目标图像区域中的像素值进行纵向对称补充处理。
本公开中，车辆首先获取车载相机拍摄所得的第一图像和第二图像，其中，所述第二图像为地平面视角下的图像，然后确定相机坐标系下所述第一图像中第一特征点对应的第一坐标，以及所述第二图像中第二特征点对应的第二坐标，第一特征点在第一图像中对应的空间位置与第二特征点在第二图像中对应的空间位置相同，之后基于所述第一坐标、所述第二坐标和预先构建的俯仰变换模型，确定所述第一图像对应的车辆俯仰角度，然后基于与所述俯仰角度对应的俯仰变换矩阵，处理所述第一图像，以得到第三图像，最后基于所述第三图像进行目标检测。由此，可以将相机视角的图像转换为地平面视角的图像，降低待检测目标的检测框的位置受车身俯仰姿态变化的影响，从而实现比较稳定并且准确的3D目标检测，保证车辆感知系统对前方目标位置预测的精度，提高了特殊路段下无人车后续决策规划的准确度。
为了实现上述实施例，本公开还提出一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如本公开前述实施例提出的目标检测方法。
为了实现上述实施例，本公开还提出一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，实现如本公开前述实施例提出的目标检测方法。
图7示出了适于用来实现本公开实施方式的示例性电子设备的框图。图7显示的电子设备12仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件（包括系统存储器28和处理单元16）的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构（Industry StandardArchitecture；以下简称：ISA）总线，微通道体系结构（Micro Channel Architecture；以下简称：MAC）总线，增强型ISA总线、视频电子标准协会（Video Electronics StandardsAssociation；以下简称：VESA）局域总线以及外围组件互连（Peripheral ComponentInterconnection；以下简称：PCI）总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（Random Access Memory；以下简称：RAM）30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质（图7未显示，通常称为“硬盘驱动器”）。尽管图7中未示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如：光盘只读存储器（Compact Disc Read OnlyMemory；以下简称：CD-ROM）、数字多功能只读光盘（Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM）或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本公开各实施例的功能。
具有一组（至少一个）程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14（例如键盘、指向设备、显示器24等）通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备（例如网卡，调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络（例如局域网（Local Area Network；以下简称：LAN），广域网（Wide Area Network；以下简称：WAN）和/或公共网络，例如因特网）通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (6)
1.一种目标检测方法，其特征在于，包括：
获取车载相机拍摄所得的第一图像和第二图像，其中，所述第二图像为地平面视角下的图像，其中，所述第一图像为车辆在进行俯仰运动时相机拍摄的图像；
确定相机坐标系下所述第一图像中第一特征点对应的第一坐标，以及所述第二图像中第二特征点对应的第二坐标，所述第一特征点在所述第一图像中对应的空间位置与所述第二特征点在所述第二图像中对应的空间位置相同；
基于所述第一坐标、所述第二坐标和预先构建的俯仰变换模型，确定所述第一图像对应的车辆俯仰角度，其中，所述车辆俯仰角包括车身与地平面之间存在的夹角；
基于与所述车辆俯仰角度对应的俯仰变换矩阵，处理所述第一图像，以得到第三图像；
基于所述第三图像进行目标检测；
在所述基于所述第一坐标、所述第二坐标和预先构建的俯仰变换模型，获取所述第一图像对应的车辆俯仰角度之前，还包括：
获取与车辆俯仰运动关联的旋转矩阵和平移向量，其中，所述旋转矩阵中包含待计算的所述车辆俯仰角度；
获取与所述第一特征点的空间位置关联的平面法向量，及车载相机相对于地平面的距离；
根据所述旋转矩阵、所述平移向量、所述距离和所述平面法向量，构建第一单应性矩阵，其中，所述第一单应性矩阵为与当前车辆的俯仰运动对应的单应性矩阵；
基于所述第一单应性矩阵和仿射变换的矩阵转换方程，构建所述俯仰变换模型；
在所述基于所述第三图像进行目标检测之前，还包括：将变换后第三图像中边界处超出所述第一图像边界的图像区域的像素值，沿垂直方向对称复制第一图像的像素值，在补充的部分上下镜像复制所述第一图像的对应部分，以保持第三图像的连续性。
2.根据权利要求1所述的方法，其特征在于，在所述基于与所述车辆俯仰角度对应的俯仰变换矩阵，处理所述第一图像，以得到第三图像之前，还包括：
将所述车辆俯仰角度代入与车辆俯仰运动关联的旋转矩阵中，以得到所述车辆对应的所述俯仰变换矩阵。
3.根据权利要求1所述的方法，其特征在于，在所述基于所述第三图像进行目标检测之前，还包括：
确定所述第三图像中超出所述第一图像边界的目标图像区域；
将所述目标图像区域中的像素值置为零。
4.一种目标检测装置，其特征在于，包括：
第一获取模块，用于获取车载相机拍摄所得的第一图像和第二图像，其中，所述第二图像为地平面视角下的图像，其中，所述第一图像为车辆在进行俯仰运动时相机拍摄的图像；
确定模块，用于确定相机坐标系下所述第一图像中第一特征点对应的第一坐标，以及所述第二图像中第二特征点对应的第二坐标，所述第一特征点在所述第一图像中对应的空间位置与所述第二特征点在所述第二图像中对应的空间位置相同；
第二获取模块，用于基于所述第一坐标、所述第二坐标和预先构建的俯仰变换模型，确定所述第一图像对应的车辆俯仰角度，其中，所述车辆俯仰角包括车身与地平面之间存在的夹角；
处理模块，用于基于与所述车辆俯仰角度对应的俯仰变换矩阵，处理所述第一图像，以得到第三图像；
检测模块，用于基于所述第三图像进行目标检测；
所述第一获取模块，还包括：
获取单元，用于获取与车辆俯仰运动关联的旋转矩阵和平移向量，其中，所述旋转矩阵中包含待计算的所述车辆俯仰角度；
第一构建单元，用于获取与所述第一特征点的空间位置关联的平面法向量，及车载相机相对于地平面的距离；
根据所述旋转矩阵、所述平移向量、所述距离和所述平面法向量，构建第一单应性矩阵；
第二构建单元，用于基于所述第一单应性矩阵和仿射变换的矩阵转换方程，构建所述俯仰变换模型；
在所述基于所述第三图像进行目标检测之前，还包括：将变换后第三图像中边界处超出所述第一图像边界的图像区域的像素值，沿垂直方向对称复制第一图像的像素值，在补充的部分上下镜像复制所述第一图像的对应部分，以保持第三图像的连续性。
5.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-3中任一所述的目标检测方法。
6.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-3中任一所述的目标检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310879404.1A CN116612459B (zh) | 2023-07-18 | 2023-07-18 | 目标检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310879404.1A CN116612459B (zh) | 2023-07-18 | 2023-07-18 | 目标检测方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116612459A CN116612459A (zh) | 2023-08-18 |
| CN116612459B true CN116612459B (zh) | 2023-11-17 |
Family
ID=87680428
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310879404.1A Active CN116612459B (zh) | 2023-07-18 | 2023-07-18 | 目标检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116612459B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6546118B1 (en) * | 1998-01-12 | 2003-04-08 | Matsushita Electronic Industrial Co., Ltd. | Image processing apparatus for vehicle |
| CN109300159A (zh) * | 2018-09-07 | 2019-02-01 | 百度在线网络技术（北京）有限公司 | 位置检测方法、装置、设备、存储介质及车辆 |
| CN110197104A (zh) * | 2018-02-27 | 2019-09-03 | 杭州海康威视数字技术股份有限公司 | 基于车辆的测距方法及装置 |
| CN112698302A (zh) * | 2020-12-16 | 2021-04-23 | 南京航空航天大学 | 一种颠簸路况下的传感器融合目标检测方法 |
| CN112926583A (zh) * | 2021-04-25 | 2021-06-08 | 南京甄视智能科技有限公司 | 车牌识别方法与车牌识别系统 |
| CN113903012A (zh) * | 2021-10-29 | 2022-01-07 | 合肥英睿系统技术有限公司 | 碰撞预警方法及装置、车载设备及存储介质 |
| CN115641385A (zh) * | 2022-11-09 | 2023-01-24 | 杭州鸿泉物联网技术股份有限公司 | 车载环视相机标定方法、装置、设备及介质 |
| CN115690711A (zh) * | 2022-10-28 | 2023-02-03 | 深圳一清创新科技有限公司 | 一种目标检测方法、装置及智能车辆 |
| CN115908581A (zh) * | 2022-11-14 | 2023-04-04 | 苏州挚途科技有限公司 | 一种车载相机俯仰角标定方法、装置、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022154840A (ja) * | 2021-03-30 | 2022-10-13 | 本田技研工業株式会社 | 検出装置、車両システム、検出方法、およびプログラム |
-
2023
- 2023-07-18 CN CN202310879404.1A patent/CN116612459B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6546118B1 (en) * | 1998-01-12 | 2003-04-08 | Matsushita Electronic Industrial Co., Ltd. | Image processing apparatus for vehicle |
| CN110197104A (zh) * | 2018-02-27 | 2019-09-03 | 杭州海康威视数字技术股份有限公司 | 基于车辆的测距方法及装置 |
| CN109300159A (zh) * | 2018-09-07 | 2019-02-01 | 百度在线网络技术（北京）有限公司 | 位置检测方法、装置、设备、存储介质及车辆 |
| CN113486796A (zh) * | 2018-09-07 | 2021-10-08 | 百度在线网络技术（北京）有限公司 | 无人车位置检测方法、装置、设备、存储介质及车辆 |
| CN112698302A (zh) * | 2020-12-16 | 2021-04-23 | 南京航空航天大学 | 一种颠簸路况下的传感器融合目标检测方法 |
| CN112926583A (zh) * | 2021-04-25 | 2021-06-08 | 南京甄视智能科技有限公司 | 车牌识别方法与车牌识别系统 |
| CN113903012A (zh) * | 2021-10-29 | 2022-01-07 | 合肥英睿系统技术有限公司 | 碰撞预警方法及装置、车载设备及存储介质 |
| CN115690711A (zh) * | 2022-10-28 | 2023-02-03 | 深圳一清创新科技有限公司 | 一种目标检测方法、装置及智能车辆 |
| CN115641385A (zh) * | 2022-11-09 | 2023-01-24 | 杭州鸿泉物联网技术股份有限公司 | 车载环视相机标定方法、装置、设备及介质 |
| CN115908581A (zh) * | 2022-11-14 | 2023-04-04 | 苏州挚途科技有限公司 | 一种车载相机俯仰角标定方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116612459A (zh) | 2023-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cvišić et al. | SOFT‐SLAM: Computationally efficient stereo visual simultaneous localization and mapping for autonomous unmanned aerial vehicles | |
| CN110763251B (zh) | 视觉惯性里程计优化的方法及系统 | |
| US10133279B2 (en) | Apparatus of updating key frame of mobile robot and method thereof | |
| Shin et al. | Vision-based navigation of an unmanned surface vehicle with object detection and tracking abilities | |
| US9525862B2 (en) | Method for estimating a camera motion and for determining a three-dimensional model of a real environment | |
| EP3428875A1 (en) | Methods and apparatuses for panoramic image processing | |
| RU2642167C2 (ru) | Устройство, способ и система для реконструкции 3d-модели объекта | |
| CN111024040A (zh) | 距离估计方法和设备 | |
| US11887336B2 (en) | Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle | |
| WO2020133172A1 (zh) | 图像处理方法、设备及计算机可读存储介质 | |
| KR102006291B1 (ko) | 전자 장치의 이동체 포즈 추정 방법 | |
| CN105324792B (zh) | 用于估计移动元件相对于参考方向的角偏差的方法 | |
| KR101880185B1 (ko) | 이동체 포즈 추정을 위한 전자 장치 및 그의 이동체 포즈 추정 방법 | |
| CN111145139A (zh) | 从2d图像中检测3d对象的方法、设备和计算机程序 | |
| Ferrara et al. | Wide-angle and long-range real time pose estimation: A comparison between monocular and stereo vision systems | |
| JP6410231B2 (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム | |
| Spacek et al. | Instantaneous robot self-localization and motion estimation with omnidirectional vision | |
| Kinzig et al. | Real-time seamless image stitching in autonomous driving | |
| JPH07103715A (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
| CN116612459B (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| Neves et al. | A calibration algorithm for multi-camera visual surveillance systems based on single-view metrology | |
| Mair et al. | Efficient camera-based pose estimation for real-time applications | |
| Pagel | Robust monocular egomotion estimation based on an iekf | |
| Dornelles et al. | Online frame-to-model pipeline to 3D reconstruction with depth cameras using RGB-D information | |
| Dias et al. | Cooperation between visual and inertial information for 3d vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |