CN112130158A - 对象距离测量装置和方法 - Google Patents

对象距离测量装置和方法 Download PDF

Info

Publication number
CN112130158A
CN112130158A CN202010567813.4A CN202010567813A CN112130158A CN 112130158 A CN112130158 A CN 112130158A CN 202010567813 A CN202010567813 A CN 202010567813A CN 112130158 A CN112130158 A CN 112130158A
Authority
CN
China
Prior art keywords
vehicle
distance
camera
distance measuring
virtual triangle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010567813.4A
Other languages
English (en)
Other versions
CN112130158B (zh
Inventor
金起范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Mobis Co Ltd
Original Assignee
Autorun Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Autorun Co ltd filed Critical Autorun Co ltd
Publication of CN112130158A publication Critical patent/CN112130158A/zh
Application granted granted Critical
Publication of CN112130158B publication Critical patent/CN112130158B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/90—Lidar systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/543—Depth or shape recovery from line drawings
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及一种对象距离测量装置和方法，该装置可以包括：相机，被配置为捕获车辆的周围区域的图像；距离传感器，被配置为通过扫描车辆的周围来感测距对象的距离；以及距离测量单元，被配置为使用由车辆操作产生的车辆信息来检测车辆移动距离，并基于车辆移动距离和车辆移动前后的图像中对象的位置像素坐标，响应于图像的多个帧中的在距离传感器的扫描周期之间的每个帧来测量距对象的距离。

Description

对象距离测量装置和方法
相关申请的交叉引用
本申请要求于2019年6月24日提交的韩国专利申请 No.10-2019-0074848的优先权和权益，如同本文所述，出于所有目的，特 此通过引用将其并入本文。
技术领域
本公开的示例性实施方式涉及一种对象距离测量装置和方法，并且更 具体地，涉及一种可以通过将车辆操作信息应用于对极几何，来内插通过 相机获取的图像信息与通过激光雷达传感器获取的激光雷达信息之间的 刷新率差异而导致的距离信息不足的对象距离测量装置和方法。
背景技术
随着电子技术的发展，交通安全相关法规的加强以及消费者的要求， 智能系统在车辆中的应用正在迅速增加。各种类型的ADAS(高级驾驶员 辅助系统)被应用于驾驶员的安全/便利。ADAS的示例包括用于简单地确 保驾驶视觉的前/后监控相机系统、用于警告车道偏离的系统以及用于自动 确保与前方车辆的安全距离的系统。此外，应用了主动安全系统，当可能 发生前向碰撞时，该系统会自动操作制动装置以防止前向碰撞或减少碰撞 损坏。主动安全系统基于传感器识别技术的快速发展。此外，由于自动驾 驶技术引起了汽车领域的关注，因此近来人们对识别技术给予了极大关 注。
通常，常规的对象传感器被配置为超声波传感器，并安装在车辆的前 保险杠和后保险杠中。对象传感器可以感测预定距离内的对象，并输出警 告声音，以防止对象与车辆之间的碰撞。
传统上，已经公开了用于测量从车辆距对象的距离的各种方法。各种 方法的示例可以包括用于通过处理通过立体相机捕获的图像来测量从车 辆距对象的距离的方法，或者用于响应通过单个相机捕获的图像中的对象 的尺寸来测量从车辆距对象的距离的方法。然而，用户不希望安装昂贵且 难以维护的立体相机，以仅简单地测量距离。此外，为了响应于对象的尺 寸测量距离，需要构建大容量数据库以精确识别对象。
因此，需要一种能够使用大多数车辆中安装的单个后置相机以低成本 方便地测量距对象的距离的技术。
本公开的相关技术在2018年11月27日公开的标题为“车辆驾驶期 间的车辆操纵方法和装置”的韩国专利申请No.10-2018-0126224中公开。
发明内容
各种实施方式针对一种可以通过将车辆操作信息应用于对极几何，来 内插通过相机获取的图像信息与通过激光雷达传感器获取的激光雷达信 息之间的刷新率差异而导致的距离信息不足的对象距离测量装置和方法。
在一个实施方式中，对象距离测量装置可以包括：相机，被配置为捕 获车辆的周围区域的图像；距离传感器，被配置为通过扫描所述车辆的周 围来感测距对象的距离；以及距离测量单元，被配置为使用由所述车辆的 操作而生成的车辆信息来检测车辆移动距离，并且所述距离测量单元基于 所述车辆移动距离与所述车辆移动前和移动后的图像中所述对象的位置 像素坐标，响应于所述图像的多个帧中的在所述距离传感器的扫描周期之 间的每个帧来测量距所述对象的距离。
对象距离测量装置还可以包括：确定单元，被配置为将所述相机的相 机频率与所述距离传感器的扫描频率进行比较，并且针对所述图像的每个 帧确定是否内插距所述对象的距离。
所述车辆信息可以包括所述车辆移动距离、转向角、车辆速度和行驶 时间中的一者或多者。
对象距离测量装置还可以包括映射单元，被配置为对应于所述图像的 多个帧中的在所述距离传感器的扫描周期之间的每个帧，将距所述对象的 距离映射到所述距离传感器的扫描周期之间的每个帧。
为了计算距所述对象的距离，所述距离测量单元可以基于从所述车辆 的ECU(电子控制单元)接收到的多条车辆信息中的移动距离、转向角和 移动角度来计算所述车辆移动距离。所述车辆移动距离可以是连接所述车 辆开始移动前的所述车辆的位置和所述车辆完成移动后的所述车辆的位 置的直线长度。
为了计算距所述对象的距离，所述距离测量单元可以生成第一虚拟三 角形，所述第一虚拟三角形的一个边被设置成计算出的所述车辆移动距 离，并且另一个边被设置成与所述车辆移动所沿的圆弧对应的虚拟圆的半 径。可以根据所述车辆移动所沿的圆弧的长度和半径来确定移动角度，并 且可以根据所述转向角来确定半径并以表的形式预先存储在内部存储器 中。
将作为虚拟三角形的所述第一虚拟三角形的顶点可以分别设置为：所 述车辆移动前的所述相机的位置、所述车辆移动后的所述相机的位置以及 在与移动前所述车辆的保险杠和移动后所述车辆的保险杠相切的平行线 之间当平行线向所述转向角的内侧延伸时的接触点的位置，其中，当所述 车辆以圆弧形移动时，所述转向角的内侧对应于所述虚拟圆的内侧。
当生成所述第一虚拟三角形时，所述距离测量单元可以生成与所述第 一虚拟三角形共用一个边的第二虚拟三角形，以基于所述第一虚拟三角形 的信息计算距所述对象的距离。
所述第二虚拟三角形可以共用在形成所述第一虚拟三角形的三个边 中的与连接所述车辆移动前所述相机的位置和所述车辆移动后所述相机 的位置的直线对应的边，并且作为虚拟三角形的所述第二虚拟三角形的顶 点被设置为：所述车辆移动前的所述相机的位置、所述车辆移动后的所述 相机的位置、以及与距离测量目标对应的所述对象的中心位置。
所述距离测量单元可以通过将所述车辆移动前和移动后由所述相机 捕获的图像中的所述对象的位置应用于对极几何，来计算形成所述第二虚 拟三角形的两个边的长度，并且所述距离测量单元将形成所述第二虚拟三 角形的三个边中的与将所述对象的中心位置连接到所述车辆移动后所述 相机的位置的直线对应的边的长度计算为距所述对象的距离。
距离传感器可以是激光雷达传感器。
在一个实施方式中，对象距离测量方法可以包括以下步骤：由相机捕 获车辆的周围区域的图像；由距离传感器通过扫描所述车辆的周围来感测 距对象的距离；以及由距离测量单元使用由所述车辆的操作而生成的车辆 信息来检测车辆移动距离，并基于所述车辆移动距离与所述车辆移动前和 移动后的图像中所述对象的位置像素坐标，响应于所述图像的多个帧中的 在所述距离传感器的扫描周期之间的每个帧来测量距所述对象的距离。
根据本公开的实施方式的对象距离测量装置和方法可以将车辆操作 信息应用于对极几何，以内插由于相机获取的图像信息与激光雷达传感器 获取的激光雷达信息之间的刷新率差异而导致的距离信息不足。因此，对 象距离测量装置和方法能够以低成本方便地测量距对象的距离，并使用一 个相机获得立体相机的效果。
附图说明
图1是示出根据本公开的实施方式的对象距离测量装置的框图。
图2是示出根据本公开的实施方式的在相机的拍摄区域中的激光雷达 传感器的扫描方法的图。
图3是示出根据本公开的实施方式的由于图像信息和通过激光雷达传 感器获取的激光雷达信息之间的刷新率的差异而导致的距离信息不足的 图。
图4是用于描述根据本公开的实施方式的用于通过计算车辆移动距离 来生成第一虚拟三角形的方法的图。
图5是用于描述根据本公开的实施方式的使用转向角和半径信息生成 第一虚拟三角形的方法的图。
图6是用于描述根据本公开的实施方式的用于生成用于计算距对象的 距离的第二虚拟三角形的方法的示图。
图7是用于描述根据本公开的实施方式的基于对极几何和第二虚拟三 角形来计算距对象的距离的方法的图。
图8是示出根据本公开的实施方式的对象距离测量方法的流程图。
具体实施方式
在下文中，下面将通过各种示例性实施方式参考附图来描述对象距离 测量装置和方法。
应当注意，附图不是精确的比例，并且可能仅出于描述方便和清楚的 目的而夸大了线的粗细或部件的尺寸。此外，本文使用的术语是通过考虑 本发明的功能来定义的，并且可以根据用户或操作者的习惯或意图来改 变。因此，应根据本文阐述的全部公开内容对术语进行定义。
如本领域中公知的，可以从功能块、单元和/或模块的角度在附图中示 出一些示例性实施方式。本领域技术人员将理解，这样的块、单元和/或模 块由诸如逻辑电路，分立组件，处理器，硬接线电路，存储装置和布线连 接的电子(或光学)电路物理地实现。当块、单元和/或模块由处理器或其 他类似硬件实现时，可以通过软件(例如，代码)对块、单元和/或模块进 行编程和控制，以执行本说明书中讨论的各种功能。此外，每个块、单元 和/或模块可以由用于执行某些功能的专用硬件或专用硬件的组合以及用 于执行另一功能的处理器(例如，一个或多个编程的处理器和相关电路) 来实现。在一些示例性实施方式中，在不脱离本公开的范围的情况下，每 个块、单元和/或模块可以在物理上被划分为两个或多个交互且离散的块、 单元和/或模块。此外，在一些示例性实施方式中，在不脱离本公开的范围 的情况下，块、单元和/或模块可以在物理上耦合为更复杂的块、单元和/ 或模块。
图1是示出根据本公开的实施方式的对象距离测量装置的框图，图2 是示出根据本公开的实施方式的在相机的拍摄区域中的激光雷达传感器 的扫描方法的图，图3是示出根据本公开的实施方式的由于图像信息和通 过激光雷达传感器获取的激光雷达信息之间的刷新率的差异而导致的距 离信息不足的图，图4是用于描述根据本公开的实施方式的用于通过计算 车辆移动距离来生成第一虚拟三角形的方法的图，图5是用于描述根据本 公开的实施方式的使用转向角和半径信息生成第一虚拟三角形的方法的 图，图6是用于描述根据本公开的实施方式的用于生成用于计算距对象的 距离的第二虚拟三角形的方法的示图，图7是用于描述根据本公开的实施 方式的基于对极几何和第二虚拟三角形来计算距对象的距离的方法的图。
参照图1，根据本公开的实施方式的对象距离测量装置包括相机10、 激光雷达传感器20、确定单元30、距离测量单元40和映射单元50。
相机10安装在车辆中以捕获车辆前方区域的图像。相机10例如可以 以60Hz的相机频率每秒获取60帧。作为参考，在本实施方式中，已经描 述了以60Hz的相机频率获取60帧，但是本公开不限于此。例如，相机频 率为30Hz的相机可以用作相机10。
激光雷达传感器20通过向车辆的前方区域发射激光并接收从对象反 射并返回的激光来测量距对象的距离。
激光雷达传感器20包括：用于向车辆的前方区域发射激光的发射单 元(未示出)；用于使发射单元旋转预设角度的旋转单元(未示出)；用于 在发射单元发射激光之后接收从对象反射并返回的激光的接收单元(未示 出)；以及测距器(未示出)，用于当接收单元接收到激光时，利用发射单 元发射激光的时间点与接收单元接收激光的时间点之间的时间差来测量 距车辆前方对象的距离。
激光雷达传感器20向相机10所覆盖的拍摄区域发射激光。参照图2， 激光雷达传感器20可以向其中相机10捕获图像的拍摄区域发射激光。在 这种情况下，激光雷达传感器20可以相对于拍摄区域旋转(①，②，③ 和④)预设角度，以便测量与存在于拍摄区域中的对象的距离。激光雷达 传感器20以10Hz的扫描频率扫描对象。
如图3所示，当相机10以60Hz的相机频率获取图像并且激光雷达传 感器20以10Hz的扫描频率扫描对象时，可以将相机10的多个帧中的第 1帧、第7帧、第13帧、第19帧、第25帧、第31帧、第37帧、第43 帧、第49帧和第55帧映射为激光雷达传感器20的扫描数据(距对象的 距离)，而其他帧可能不会被映射为激光雷达传感器20的扫描数据。
即，在激光雷达传感器20的扫描周期之间的相机10的帧(即第2至 第6帧，第8至第12帧，第14至第18帧，第20至第24帧，第26至第 30帧，第32至第36帧，第38帧第42帧，第44到48帧，第50到54 帧以及第56到60帧)可能不会被映射为扫描数据。结果，相应的帧没有 关于距对象的距离的信息。
因此，距离测量单元40基于车辆移动距离和对象在车辆移动前和移 动后的图像中的位置像素坐标，响应于激光雷达传感器20的扫描周期之 间的每个帧来测量距对象的距离，即，图像的多个帧中的第2至第6帧、 第8至第12帧、第14至第18帧、第20至第24帧、第26至第30帧、 第32至第36帧、第38帧第42帧、第44到48帧、第50到54帧以及第 56到60帧。
在距离测量之前，确定单元30将相机10的相机频率与激光雷达传感 器20的扫描频率进行比较，并且针对图像的每个帧确定是否内插距对象 的距离。
也就是说，当由相机10捕获图像并且由激光雷达传感器20扫描对象 时，确定单元30将相机10的相机频率与激光雷达传感器20的扫描频率 进行比较，并根据相机10的相机频率和激光雷达传感器20的扫描频率是 否彼此一致来判断是否内插距对象的距离。例如，当相机10的相机频率 和激光雷达传感器20的扫描频率彼此不同时，确定单元30决定对图像的 多个帧中的在激光雷达传感器20的扫描周期之间的每个帧内插距对象的 距离。
当确定单元30决定对图像的多个帧中的在激光雷达传感器20的扫描 周期之间的每个帧进行内插距对象的距离时，距离测量单元40使用由车 辆的操作所生成的车辆信息来检测车辆移动距离，并基于车辆移动距离和 车辆移动前和移动后的图像中对象的位置像素坐标，响应于图像的多个帧 中的激光雷达传感器20的扫描周期之间的每个帧来测量距对象的距离。
更具体地，距离测量单元40选择图像中的对象的位置像素坐标，以 便测量图像中距对象的距离，并且对应的对象可以是由激光雷达传感器20 测量的区域。
当选择对象时，距离测量单元40通过与车辆中的ECU(电子控制单 元)通信来接收由车辆的操作产生的车辆信息(例如，移动距离、转向角、 车辆速度、行驶时间等)。
如图4所示，距离测量单元40接收车辆信息(例如，移动距离和转 向角信息)，并生成虚拟三角形(第一虚拟三角形)以计算距对象的距离， 即从车辆的相机10距对象的距离。
此时，可以根据转向角预先确定用于生成虚拟三角形(第一虚拟三角 形)的一个边的长度r或与车辆根据转向角移动所沿的圆弧对应的虚拟圆 的半径，并以表的形式存储在内部存储器(未显示)中。如图5所示，根 据车辆移动所沿的圆弧的长度和半径r来确定移动角度θ。
当检测到转向角时，还可以通过预设的特定公式来计算生成虚拟三角 形(第一虚拟三角形)的一边的长度r或与车辆根据转向角移动所沿的圆 弧对应的虚拟圆的半径。
因此，将虚拟三角形(第一虚拟三角形)的顶点分别设置为：车辆移 动前的相机10的位置、车辆移动后的相机10的位置以及在与移动前车辆 的保险杠和移动后车辆的保险杠相切的平行线之间当平行线向转向角的 内侧(即车辆移动所沿的圆弧的内侧)延伸时的接触点的位置。
距离测量单元40可以生成具有三个顶点的虚拟三角形(第一虚拟三 角形)，并且因此计算虚拟三角形(第一虚拟三角形)的三个边的长度。 具体地，距离测量单元40可以计算与将移动前的车辆的相机10的位置连 接到移动后的车辆的相机10的位置的直线对应的边的长度(图6的②)， 并生成另一个虚拟三角形(第二虚拟三角形)，该另一个虚拟三角形的一 个边被设置为与将移动前的车辆的相机10的位置连接到移动后的车辆的 相机10的位置的直线对应的边(图6的②)。
将另一个虚拟三角形(第二虚拟三角形)的顶点设置为在车辆移动前 相机10的位置、在车辆移动后相机10的位置以及对象的中心位置(见图 6)。即，另一个虚拟三角形(第二虚拟三角形)由三个边(图6的②，③ 和⑥)形成。
在第二虚拟三角形的三个边(图6中的②，③和⑥)中，对应于直线 (其在车辆移动后将对象的中心位置连接到相机10的位置)的边的长度 (图6中的③)变为距对象的距离，即，从车辆的相机10距对象的距离。
此时，第二虚拟三角形的三个边(图6的②，③和⑥)中的一个边(图 6的②)的长度是已知信息，并且可以通过将车辆移动前和移动后由相机10捕获的图像中对象的位置应用于对极几何来计算其他两个边的长度(图 6中的③和⑥)(见图7)。
由于对极几何是公知技术，因此本文将省略其详细描述。作为参考， 在图7中，OR表示车辆移动前相机10的位置，OL表示车辆移动后相机 10的位置，且X(或X1至XL)表示对象的中心位置。此外，右视图表示 在车辆移动前由相机10捕获的图像，而左视图表示在车辆移动后由相机 10捕获的图像。
为了便于描述，在图4和图6中，放大了车辆以圆弧形移动的转向角 的大小。实际上，由于用户在倒车行驶期间连续操作方向盘，因此转向角 将在车辆移动时连续改变。因此，应该理解的是，图4和图6基于这样的 假设，即，在车辆移动时不改变转向角而是保持转向角，以促进理解。
这样，针对每一帧执行测量距对象的距离的处理。例如，当在获取由 相机10获取的第一帧和第一扫描数据的状态下通过车辆信息获取第二帧 时，距离测量单元40执行上述处理，以基于车辆移动距离获取与第二帧 对应的距对象的距离。通过重复执行这样的处理直到获取下一个扫描数 据，距离测量单元40获取对应于扫描周期之间的每个帧的距对象的距离， 即第2至第6帧，第8至第12帧，第14至第18帧，第20至第24帧， 第26至第30帧，第32至第36帧，第38帧第42帧，第44到48帧，第 50到54帧以及第56到60帧。
当距离测量单元40响应于图像的多个帧中的激光雷达传感器20的扫 描周期之间的每个帧来测量距对象的距离时，映射单元50将距对象的距 离一一映射到图像的多个帧中的在激光雷达传感器20的扫描周期之间的 每个帧。
因此，针对相机10所获取的第1至第60帧中的每个帧，可以获取距 对象的距离。
此后，将参照图8详细描述根据本公开的实施方式的对象距离测量方 法。
图8是示出根据本公开的实施方式的对象距离测量方法的流程图。
参照图8，在步骤S10中，相机10捕获车辆的前方区域的图像。相 机10例如可以以60Hz的相机频率每秒获取60帧。
在步骤S20中，激光雷达传感器20通过向车辆的前方区域发射激光 并接收从对象反射并返回的激光来测量距对象的距离。
步骤S30中，当通过相机10捕获图像并且通过激光雷达传感器20测 量距对象的距离时，确定单元30将相机10的相机频率与激光雷达传感器 20的扫描频率进行比较，并确定是否对图像的每一帧内插距对象的距离。
在这种情况下，当比较结果指示相机10的相机频率和激光雷达传感 器20的扫描频率彼此不同时，确定单元30决定针对图像的多个帧中的在 激光雷达传感器20的扫描周期之间的每个帧内插距对象的距离。
在步骤S40中，当确定单元30决定针对图像的多个帧中的在激光雷 达传感器20的扫描周期之间的每个帧内插距对象的距离时，距离测量单 元40选择图像内对象的位置像素坐标，以测量在图像中的距离，并通过 与车辆内的ECU通信来接收由车辆的操作而产生的车辆信息(例如，移 动距离，转向角，车辆速度和行驶时间)。
然后，如图4所示，距离测量单元40基于接收到的车辆信息(例如， 移动距离和转向角信息)来生成用于计算车辆与对象之间的距离(即，从 车辆的相机10距对象的距离)的虚拟三角形(第一虚拟三角形)。
此时，可以根据转向角预先确定用于生成虚拟三角形(第一虚拟三角 形)的一个边的长度r或与车辆根据转向角移动所沿的圆弧对应的虚拟圆 的半径，并以表的形式存储在内部存储器(未显示)中。如图5所示，根 据车辆移动所沿的圆弧的长度和半径r来确定移动角度θ。
当检测到转向角时，还可以通过预设的特定公式来计算生成虚拟三角 形(第一虚拟三角形)的一边的长度r或与车辆根据转向角移动所沿的圆 弧对应的虚拟圆的半径。
因此，将虚拟三角形(第一虚拟三角形)的顶点分别设置为：车辆移 动前的相机10的位置、车辆移动后的相机10的位置以及在与移动前车辆 的保险杠和移动后车辆的保险杠相切的平行线之间当平行线向转向角的 内侧(即车辆移动所沿的圆弧的内侧)延伸时的接触点的位置。
距离测量单元40可以生成具有三个顶点的虚拟三角形(第一虚拟三 角形)，并且因此计算虚拟三角形(第一虚拟三角形)的三个边的长度。 具体地，距离测量单元40可以计算与将移动前的车辆的相机10的位置连 接到移动后的车辆的相机10的位置的直线对应的边的长度(图6的②)， 并生成另一个虚拟三角形(第二虚拟三角形)，该另一个虚拟三角形的一 个边被设置为与将移动前的车辆的相机10的位置连接到移动后的车辆的 相机10的位置的直线对应的边(图6的②)。
将另一个虚拟三角形(第二虚拟三角形)的顶点设置为在车辆移动前 相机10的位置、在车辆移动后相机10的位置以及对象的中心位置(见图6)。即，另一个虚拟三角形(第二虚拟三角形)由三个边(图6的②，③ 和⑥)形成。
在第二虚拟三角形的三个边(图6中的②，③和⑥)中，对应于直线 (其在车辆移动后将对象的中心位置连接到相机10的位置)的边的长度 (图6中的③)变为距对象的距离，即，从车辆的相机10距对象的距离。
在步骤S50中，此时，第二虚拟三角形的三个边(图6的②，③和⑥) 中的一个边(图6的②)的长度是已知信息，并且可以通过将车辆移动前 和移动后由相机10捕获的图像中对象的位置应用于对极几何来计算其他 两个边的长度(图6中的③和⑥)(见图7)。
由于对极几何是公知技术，因此本文将省略其详细描述。作为参考， 在图7中，OR表示车辆移动前相机10的位置，OL表示车辆移动后相机 10的位置，且X(或X1至XL)表示对象的中心位置。此外，右视图表示 在车辆移动前由相机10捕获的图像，而左视图表示在车辆移动后由相机 10捕获的图像。
为了便于描述，在图4和图6中，放大了车辆以圆弧形移动的转向角 的大小。实际上，由于用户在倒车行驶期间连续操作方向盘，因此转向角 将在车辆移动时连续改变。因此，应该理解的是，图4和图6基于这样的 假设，即，在车辆移动时不改变转向角而是保持转向角，以促进理解。
这样，针对每一帧执行测量距对象的距离的处理。例如，当在获取由 相机10获取的第一帧和第一扫描数据的状态下通过车辆信息获取第二帧 时，距离测量单元40执行上述处理，以基于车辆移动距离获取与第二帧 对应的距对象的距离。通过重复执行这样的处理直到获取下一个扫描数 据，距离测量单元40获取对应于扫描周期之间的每个帧的距对象的距离， 即第2至第6帧，第8至第12帧，第14至第18帧，第20至第24帧， 第26至第30帧，第32至第36帧，第38帧第42帧，第44到48帧，第 50到54帧以及第56到60帧。
在步骤S60中，当距离测量单元40响应于图像的多个帧中的激光雷 达传感器20的扫描周期之间的每个帧来测量距对象的距离时，映射单元 50将距对象的距离一一映射到图像的多个帧中的在激光雷达传感器20的 扫描周期之间的每个帧。
因此，针对相机10所获取的第1至第60帧中的每个帧，可以获取距 对象的距离。
这样，根据本公开的实施方式的对象距离测量装置和方法可以将车辆 操作信息应用于对极几何，以内插由于相机获取的图像信息与激光雷达传 感器获取的激光雷达信息之间的刷新率差异而导致的距离信息不足。因 此，对象距离测量装置和方法能够以低成本方便地测量距对象的距离，并 使用一个相机获得立体相机的效果。
尽管已经出于说明性目的公开了本公开的示例性实施方式，但是本领 域技术人员将理解，在不脱离如所附权利要求所限定的本公开的范围和精 神的情况下，可以进行各种修改，添加和替换。因此，本公开的技术范围 应由所附权利要求书限定。

Claims (12)

1.一种对象距离测量装置，包括：
相机，被配置为捕获车辆的周围区域的图像；
距离传感器，被配置为通过扫描所述车辆的周围来感测距对象的距离；以及
距离测量单元，被配置为使用由所述车辆的操作而生成的车辆信息来检测车辆移动距离，并且所述距离测量单元基于所述车辆移动距离与所述车辆移动前和移动后的图像中所述对象的位置像素坐标，响应于所述图像的多个帧中的在所述距离传感器的扫描周期之间的每个帧来测量距所述对象的距离。
2.根据权利要求1所述的对象距离测量装置，还包括：确定单元，被配置为将所述相机的相机频率与所述距离传感器的扫描频率进行比较，并且针对所述图像的每个帧确定是否内插距所述对象的距离。
3.根据权利要求1所述的对象距离测量装置，其中，所述车辆信息包括所述车辆移动距离、转向角、车辆速度和行驶时间中的一者或多者。
4.根据权利要求1所述的对象距离测量装置，还包括映射单元，被配置为对应于所述图像的多个帧中的在所述距离传感器的扫描周期之间的每个帧，将距所述对象的距离映射到所述距离传感器的扫描周期之间的每个帧。
5.根据权利要求1所述的对象距离测量装置，其中，为了计算距所述对象的距离，所述距离测量单元基于从所述车辆的电子控制单元接收到的多条车辆信息中的移动距离、转向角和移动角度来计算所述车辆移动距离，其中，所述车辆移动距离是连接所述车辆开始移动前的所述车辆的位置和所述车辆完成移动后的所述车辆的位置的直线长度。
6.根据权利要求5所述的对象距离测量装置，其中，为了计算距所述对象的距离，所述距离测量单元生成第一虚拟三角形，所述第一虚拟三角形的一个边被设置成计算出的所述车辆移动距离，并且另一个边被设置成与所述车辆移动所沿的圆弧对应的虚拟圆的半径，其中，根据所述车辆移动所沿的圆弧的长度和半径来确定移动角度，并且根据所述转向角来确定半径并以表的形式预先存储在内部存储器中。
7.根据权利要求6所述的对象距离测量装置，其中，将作为虚拟三角形的所述第一虚拟三角形的顶点分别设置为：所述车辆移动前的所述相机的位置、所述车辆移动后的所述相机的位置以及在与移动前所述车辆的保险杠和移动后所述车辆的保险杠相切的平行线之间当平行线向所述转向角的内侧延伸时的接触点的位置，
其中，当所述车辆以圆弧形移动时，所述转向角的内侧对应于所述虚拟圆的内侧。
8.根据权利要求6所述的对象距离测量装置，其中，当生成所述第一虚拟三角形时，所述距离测量单元生成与所述第一虚拟三角形共用一个边的第二虚拟三角形，以基于所述第一虚拟三角形的信息计算距所述对象的距离。
9.根据权利要求8所述的对象距离测量装置，其中，所述第二虚拟三角形共用在形成所述第一虚拟三角形的三个边中的与连接所述车辆移动前所述相机的位置和所述车辆移动后所述相机的位置的直线对应的边，并且作为虚拟三角形的所述第二虚拟三角形的顶点被设置为：所述车辆移动前的所述相机的位置、所述车辆移动后的所述相机的位置、以及与距离测量目标对应的所述对象的中心位置。
10.根据权利要求8所述的对象距离测量装置，其中，所述距离测量单元通过将所述车辆移动前和移动后由所述相机捕获的图像中的所述对象的位置应用于对极几何，来计算形成所述第二虚拟三角形的两个边的长度，并且所述距离测量单元将形成所述第二虚拟三角形的三个边中的与将所述对象的中心位置连接到所述车辆移动后所述相机的位置的直线对应的边的长度计算为距所述对象的距离。
11.根据权利要求1所述的对象距离测量装置，其中，所述距离传感器为激光雷达传感器。
12.一种对象距离测量方法，包括以下步骤：
由相机捕获车辆的周围区域的图像；
由距离传感器通过扫描所述车辆的周围来感测距对象的距离；以及
由距离测量单元使用由所述车辆的操作而生成的车辆信息来检测车辆移动距离，并基于所述车辆移动距离与所述车辆移动前和移动后的图像中所述对象的位置像素坐标，响应于所述图像的多个帧中的在所述距离传感器的扫描周期之间的每个帧来测量距所述对象的距离。
CN202010567813.4A 2019-06-24 2020-06-19 对象距离测量装置和方法 Active CN112130158B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0074848 2019-06-24
KR1020190074848A KR102176376B1 (ko) 2019-06-24 2019-06-24 물체 거리 측정 장치 및 방법

Publications (2)

Publication Number Publication Date
CN112130158A true CN112130158A (zh) 2020-12-25
CN112130158B CN112130158B (zh) 2024-03-19

Family

ID=73548905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010567813.4A Active CN112130158B (zh) 2019-06-24 2020-06-19 对象距离测量装置和方法

Country Status (4)

Country Link
US (1) US11769267B2 (zh)
KR (1) KR102176376B1 (zh)
CN (1) CN112130158B (zh)
DE (1) DE102020207490A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112799055A (zh) * 2020-12-28 2021-05-14 深圳承泰科技有限公司 一种探测被测车辆的方法、装置以及电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11202150B1 (en) * 2020-09-11 2021-12-14 Honda Motor Co., Ltd. Audio control based on determination of physical space surrounding vehicle
KR20220074580A (ko) * 2020-11-27 2022-06-03 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20220087693A (ko) 2020-12-18 2022-06-27 현대모비스 주식회사 카메라와 라이다 정보 통합 장치
US11858420B2 (en) * 2021-11-29 2024-01-02 Texas Instruments Incorporated Below vehicle rendering for surround view systems

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160039436A1 (en) * 2002-06-04 2016-02-11 General Electric Company Aerial camera system and method for determining size parameters of vehicle systems
CN106448260A (zh) * 2015-08-05 2017-02-22 Lg电子株式会社 驾驶员辅助设备和包括该驾驶员辅助设备的车辆
CN107438754A (zh) * 2015-02-10 2017-12-05 御眼视觉技术有限公司 用于自主车辆导航的稀疏地图
CN108132025A (zh) * 2017-12-24 2018-06-08 上海捷崇科技有限公司 一种车辆三维轮廓扫描构建方法
US20180225525A1 (en) * 2015-08-04 2018-08-09 Nissan Motor Co., Ltd. Step Detection Device and Step Detection Method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180126224A (ko) 2017-05-17 2018-11-27 주식회사 에스더블유엠 차량 주행 중 장애물 정보 제공 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160039436A1 (en) * 2002-06-04 2016-02-11 General Electric Company Aerial camera system and method for determining size parameters of vehicle systems
CN107438754A (zh) * 2015-02-10 2017-12-05 御眼视觉技术有限公司 用于自主车辆导航的稀疏地图
US20180225525A1 (en) * 2015-08-04 2018-08-09 Nissan Motor Co., Ltd. Step Detection Device and Step Detection Method
CN106448260A (zh) * 2015-08-05 2017-02-22 Lg电子株式会社 驾驶员辅助设备和包括该驾驶员辅助设备的车辆
CN108132025A (zh) * 2017-12-24 2018-06-08 上海捷崇科技有限公司 一种车辆三维轮廓扫描构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YOU LI: "Stereo Vision and Lidar based Dynamic Occupancy Grid Mapping Application to Scene Analysis for Intelligent Vehicles", 《COMPUTERS AND SOCIETY，THE UNIVERSITE DE TECHNOLOGIE DE BELFORT-MONTBELIARD》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112799055A (zh) * 2020-12-28 2021-05-14 深圳承泰科技有限公司 一种探测被测车辆的方法、装置以及电子设备

Also Published As

Publication number Publication date
US11769267B2 (en) 2023-09-26
US20200402249A1 (en) 2020-12-24
DE102020207490A1 (de) 2020-12-24
CN112130158B (zh) 2024-03-19
KR102176376B1 (ko) 2020-11-10

Similar Documents

Publication Publication Date Title
CN112130158B (zh) 对象距离测量装置和方法
US11719788B2 (en) Signal processing apparatus, signal processing method, and program
US10935643B2 (en) Sensor calibration method and sensor calibration apparatus
US9151626B1 (en) Vehicle position estimation system
JP4600760B2 (ja) 障害物検出装置
CN102959600B (zh) 车辆行进路线推定装置
US20170030722A1 (en) Vehicle localization system
JP6450294B2 (ja) 物体検出装置、物体検出方法、及びプログラム
CN110555407B (zh) 路面车辆空间识别方法及电子设备
US10629072B2 (en) LIDAR and vision vehicle sensing
KR20080088675A (ko) 자동차용 차선이탈 방지 방법
JP2018190220A (ja) 駐車空間検出装置
WO2019044625A1 (ja) 衝突予測装置、衝突予測方法及びプログラム
JP2019128350A (ja) 画像処理方法、画像処理装置、車載装置、移動体、システム
CN112578404B (zh) 一种行驶路径的确定方法及装置
JP7348414B2 (ja) ライダー計測においてブルーミングを認識するための方法及び装置
JP2020086884A (ja) 区画線推定装置、表示制御装置、方法、及びコンピュータ・プログラム
Leu et al. High speed stereo vision based automotive collision warning system
US11861914B2 (en) Object recognition method and object recognition device
KR20180000965A (ko) 자율 긴급 제동 시스템 및 이의 구동 방법
US20190095693A1 (en) Method and device for controlling a driver assistance system by using a stereo camera system including a first and a second camera
Iwata et al. Forward obstacle detection in a lane by stereo vision
JPH06341837A (ja) 車間距離計測装置、カメラ位置補正装置及び衝突警告装置
US20240070916A1 (en) Vehicle and Control Method Thereof
WO2023037575A1 (ja) 画像処理装置、および、画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210331

Address after: Seoul, South Kerean

Applicant after: HYUNDAI MOBIS Co.,Ltd.

Address before: Seoul, South Kerean

Applicant before: HYUNDAI AUTRON Co.,Ltd.

GR01 Patent grant
GR01 Patent grant