CN111046719A - 用于转换图像的设备和方法 - Google Patents

用于转换图像的设备和方法 Download PDF

Info

Publication number
CN111046719A
CN111046719A CN201910969783.7A CN201910969783A CN111046719A CN 111046719 A CN111046719 A CN 111046719A CN 201910969783 A CN201910969783 A CN 201910969783A CN 111046719 A CN111046719 A CN 111046719A
Authority
CN
China
Prior art keywords
image
road boundary
input image
point
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910969783.7A
Other languages
English (en)
Inventor
李宰雨
玄伦硕
具滋厚
张铁薰
池大炫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111046719A publication Critical patent/CN111046719A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

提供一种用于转换图像的设备和方法。所述设备包括：图像传感器和处理器，其中，所述图像传感器被配置为获取道路的图像。所述处理器被配置为将输入图像分割为多个区域图像，确定与所述多个区域图像中的每一个对应的消失点，基于所述多个区域图像中的任一区域图像的消失点获取用于将所述任一区域图像中的点的二维(2D)坐标转换为三维(3D)坐标的变换关系，并基于所述多个区域图像的变换关系生成道路轮廓数据。

Description

用于转换图像的设备和方法
相关申请的交叉引用
本申请要求于2018年10月15日在韩国知识产权局提交的韩国专利申请No.10-2018-0122245的优先权，该韩国专利申请的公开通过引用整体并入本文。
技术领域
本发明构思涉及一种转换图像的技术，更具体地，涉及一种用于转换图像的设备和方法。
背景技术
自动驾驶(例如，高级驾驶员辅助系统(ADAS)等)需要主动巡航控制(ACC)技术。ACC技术允许当前行驶(navigating)的第一车辆检测同一车道中的该第一车辆前方的第二车辆的速度，并调节第一车辆的速度以与第二车辆保持距离以防止碰撞。
目前，一些车辆具有在前方没有车辆的情况下以输入的目标速度行驶的功能，和在另一车辆出现在该车辆前方的情况下基于该另一车辆的速度减速以与该另一车辆保持距离的功能。为了实现这种技术，需要精确地测量车辆周围的相邻物体的位置。
发明内容
根据实施例的一方面，提供一种用于转换图像的方法，所述方法包括：将道路的输入图像分割为多个区域图像；确定与所述多个区域图像对应的消失点；基于与所述多个区域图像中的任一区域图像对应的消失点，获取用于将所述任一区域图像中的点的二维(2D)坐标转换为三维(3D)坐标的变换关系；以及基于所述多个区域图像的变换关系生成道路轮廓数据。
根据另一实施例的一方面，提供一种非暂时性计算机可读记录介质，在所述非暂时性计算机可读记录介质上记录有至少一个计算机程序，所述至少一个计算机程序包括用于执行根据实施例的方法的命令。
根据又一实施例的一方面，提供一种用于转换图像的设备，所述设备包括：图像传感器，其被配置为获取道路的输入图像；以及处理器，其被配置为：将所述输入图像分割为多个区域图像，并确定与所述多个区域图像对应的消失点；基于与所述多个区域图像中的任一区域图像对应的消失点，获取用于将所述任一区域图像中的点的二维(2D)坐标转换为三维(3D)坐标的变换关系；以及基于所述多个区域图像的变换关系生成道路轮廓数据。
附图说明
通过参照附图描述特定实施例，上述和/或其他方面将变得明显并更容易理解，在附图中：
图1是用于说明根据实施例的图像转换的示图；
图2是根据实施例的转换图像的方法的流程图；
图3是用于说明根据实施例的图像分割的流程图；
图4是根据实施例的区域图像的示例的示图；
图5是用于说明根据实施例的基于计算出的临界点的图像分割的示图；
图6是用于说明根据实施例的检测临界点的示图；
图7是用于说明根据实施例的确定消失点的流程图；
图8是用于说明根据实施例的每个区域图像的消失点的示图；
图9是用于说明根据实施例的计算变换关系和生成道路轮廓数据的示图；
图10是根据实施例的用于转换图像的设备的结构的框图。
具体实施方式
图1是用于说明根据实施例的图像转换的示图。
根据实施例，用于转换图像的设备(或图像转换设备)可以将从第一视角(firstview)获取的输入图像110转换为第二视角处的输出图像120。例如，参照图1，第一视角可以是从车辆取得的远景视角(perspective view)，第二视角可以是从车辆上方取得的俯视角。图像转换设备可以计算用于将第一视角处的输入图像110转换为第二视角处的输出图像120的变换关系。
例如，用于自动驾驶系统中的行驶的基本操作可以包括检测车道的操作、控制在车道上(例如，在车道的中心处)行驶的操作、以及与前方车辆保持距离的操作。在基于相机的自动驾驶系统中，可以基于由相机(例如，单目相机)获取的图像来执行上述操作。自主驾驶的(self-driving)车辆可以基于由单目相机获取的图像来确定与相邻物体或背景(例如，道路)的位置关系，并且可以执行上述用于行驶的操作。
根据实施例的图像转换设备可以在自主驾驶的车辆中实施。图像转换设备可以基于用于将第一视角处的输入图像110转换为第二视角处的输出图像120的变换关系，来确定输入图像110的像素被映射到的物理世界的点。因此，图像转换设备可以确定与输入图像110中包括的各个像素的二维(2D)坐标对应的三维(3D)坐标。
例如，图像转换设备可以基于相机的外部参数来计算相对于地面的单应矩阵。图像转换设备可以基于单应矩阵来转换输入图像110的每个像素。图像转换设备可以基于单应矩阵转换第一视角处的输入图像110，从而获取第二视角处的输出图像120。
自主驾驶的车辆可以在通过单应转换获取物理世界域的车道线信息之后执行拟合。此外，自主驾驶的车辆可以基于通过使用单目相机获取的信息，来预测到前方车辆的距离。例如，自主驾驶的车辆可以从第一视角的输入图像110中检测包括前方车辆的边界框(bounding box)，并将该边界框投影到第二视角，从而预测到投影出的边界框的距离。
然而，当道路的倾斜度(inclination level)改变时，使用一个单应矩阵的转换的精确度可能降低。这是因为单应矩阵可以基于倾斜度为零(即，没有倾斜)的假设而被生成，而在使用单应矩阵转换倾斜度大于零的道路的目标点时可能发生失真。为了解决这个问题，根据实施例的图像转换设备可以针对根据倾斜度被分割(或分类)的各个区域计算不同的单应矩阵，以将第一视角处的输入图像110精确地转换为第二视角处的输出图像120。
因此，即使当图像转换设备前方的道路的倾斜度改变时，根据实施例的图像转换设备也可以计算用于将第一视角处的输入图像110精确地转换为第二视角处的输出图像120的变换关系。根据实施例的图像转换设备可以从第一视角处的输入图像110生成精确的道路轮廓数据，并且可以基于道路轮廓信息执行对道路边界线的精确检测以及对到前方车辆的距离的检测。作为参考，道路轮廓信息可以指示限定了前方道路相对于图像转换设备的倾斜度、位置、高度、弯曲(curve)等的轮廓信息。
图2是根据实施例的转换图像的方法的流程图。
根据实施例的图像转换设备可以根据输入图像中示出的道路的倾斜度来对区域进行分类，并且可以计算用于将输入图像的每个区域的2D坐标转换为3D坐标的变换关系。
在操作210中，图像转换设备可以将示出前方道路的输入图像分割为区域图像。图像转换设备可以包括图像获取器(或者图像传感器或相机)，并且图像获取器可以观察前方。例如，当图像转换设备安装在车辆中时，图像获取器可以以其光轴平行于车辆的纵轴的方式安装。图像获取器的光轴可以与图像获取器的可视角度(viewing angle)的中心轴对应。图像转换设备可以通过使用图像获取器获取关于前方道路的输入图像。图像转换设备可以从输入图像中提取与该道路对应的区域。图像转换设备可以将与该道路对应的区域分割为区域图像。例如，图像转换设备可以基于从输入图像检测到的车道的边界线的临界点将该输入图像分割为区域图像。区域图像可以指示包括输入图像中的与该道路对应的区域的图像。稍后将参照图3至图6详细描述区域图像分割。
在操作220中，图像转换设备可以确定分割出的各区域图像中的每一个区域图像的消失点。消失点可以是在第一视角(例如，远景视角)下在图像中示出的两个延长的道路边界线彼此交叉的点。图像转换设备可以计算每个区域图像的消失点。稍后将参照图7和图8进一步描述消失点的计算。
在操作230中，图像转换设备可以基于消失点计算用于将每个区域图像的2D坐标转换为3D坐标的变换关系。变换关系可以是用于将区域图像中包括的像素的2D坐标转换为物理世界中的3D坐标的关系。稍后将参照图9详细描述变换关系。
在操作240中，图像转换设备可以基于针对每个区域图像计算出的变换关系，通过使用分割出的区域图像来生成道路轮廓数据。如上所述，道路轮廓数据可以指示限定了道路的表面、道路的倾斜度、以及道路中包括的目标点的位置的轮廓数据。例如，道路轮廓数据可以是从输入图像的2D像素坐标转换的3D物理坐标的集合。
如上所述，图像转换设备可以计算根据道路的倾斜度分割的各个区域图像的变换关系，因此可以确定与道路的倾斜度的变化对应的变换关系。因此，图像转换设备可以最小化或避免在将2D像素坐标转换为3D物理坐标的操作期间可能发生的失真。
作为参考，图像转换设备执行图2的操作的顺序不限于所述顺序。图像转换设备可以顺序地或并行地执行图2的一些或全部操作。例如，图像转换设备可以根据操作220和操作230计算在操作210中被分割出的区域图像中的一个区域图像的消失点和变换关系，然后可以根据操作220和操作230计算下一个区域图像的消失点和变换关系。
下面将参照图3描述根据道路的倾斜度将输入图像分割为区域图像的操作210。
图3是用于说明根据实施例的图像分割的流程图。
在操作311中，根据实施例的图像转换设备可以从输入图像中识别道路边界线。图像转换设备可以从输入图像的道路区域中识别道路边界线。道路边界线是用于限定道路(例如，车道)的线，并且可以是在道路上绘制的实线、虚线等，或者可以是沿道路放置的路缘(curb)等。当道路边界线被识别为虚线时，图像转换设备可以对该虚线进行插补并检测实线的形式的该道路边界线。此外，当道路包括多个车道时，图像转换设备可以区分并识别限定车道的道路边界线。
在操作312中，图像转换设备可以计算识别出的道路边界线的临界点。图像转换设备可以根据道路的倾斜度来检测临界点以将输入图像分割为区域图像。例如，在假设道路是直道的情况下，在输入图像中，限定车道的道路边界线的斜率可以改变。从车辆到出现山丘的点的道路边界线的斜率可以不同于始于山坡的起点的道路边界线的斜率。该临界点是道路边界线的斜率在一定程度或更大程度上改变的点，并且因此其可以对应于道路的倾斜度改变的临界点。临界点可以是图像中的一个点，但不限于此。图像中可能存在多个临界点。将参照图5和图6详细描述临界点的检测。
在操作313中，图像转换设备可以基于计算出的临界点将输入图像分割为区域图像。例如，图像转换设备可以基于包括临界点的输入图像的水平线来分割输入图像。当存在一个临界点时，图像转换设备可以将输入图像分割为两个区域图像。此外，当存在两个或更多个临界点时，图像转换设备可以将输入图像分割为与各个临界点对应的区域图像。例如，当存在k个临界点时，图像转换设备可以将输入图像分割为(k+1)个区域图像(其中，k是大于1的整数)。
图4是根据实施例的区域图像的示例的示图。
如关于图2的操作210所描述的，图像转换设备可以将输入图像410分割为区域图像。例如，图像转换设备可以从第一视角的输入图像410中识别道路区域。在图像转换设备安装在车辆中的情况下，根据图像转换设备的图像获取器的视角，输入图像410的至少一部分(例如，图4中所示的底部)可包括障碍物(例如，车辆的引擎盖或车辆内部的组件)。图像转换设备可以识别除障碍物之外的道路区域。作为参考，图4的输入图像410以及图5的输入图像510、图8的输入图像810和图9的输入图像910的最下部分可以被障碍物(例如，引擎盖)覆盖，当图像转换设备从输入图像410中识别道路区域时，可以排除包括障碍物的区域。
图像转换设备可以将道路区域分割为区域图像。例如，图4的图像转换设备可以基于临界点将输入图像410分割为第一区域图像411和第二区域图像412。然而，区域图像的数量不限于两个。图像转换设备可以将输入图像410分割为n个区域图像(其中，n是等于或大于2的整数)。
为了说明的目的，描述了图像转换设备使用临界点来精确地反映道路的倾斜度的变化的示例。然而，应该注意的是，区域图像分割的标准不限于临界点。例如，但是图像转换设备可以以竖直等距间隔分割输入图像410的道路区域而不计算临界点。
参照图5，将描述基于临界点的区域分割作为示例。
图5是用于说明根据实施例的基于计算出的临界点的区域分割的示图。
根据实施例，图像转换设备可以将输入图像510中的道路边界线之间的斜率差极大改变(例如，改变了预设程度或更大)的点590确定为临界点。例如，当第一输入图像510中示出的道路边界线中的两个相邻的道路边界线之间的斜率差大于阈值差时，图像转换设备将两个相邻的道路边界线之间的点590确定为临界点。
参照图5，道路边界线可以被划分为第一道路边界线512和第二道路边界线522。图像转换设备可以计算第一道路边界线512的斜率和第二道路边界线522的斜率之间的角度差530。响应于角度差530大于阈值角度，图像转换设备可以将第一道路边界线512和第二道路边界线512之间的点590确定为临界点。
将参照图6描述检测临界点590的操作的示例。
图6是用于说明根据实施例的检测临界点的示图。
图像转换设备可以将识别出的道路边界线620划分为各部分。图像转换设备可以计算在这些部分中示出的道路边界线的各自的斜率。图像转换设备可以基于一些道路边界线的斜率来计算临界点。所述部分可以指示输入图像被划分成的单位区域。图像转换设备可以将每个部分中的道路边界线的底点和顶点之间的斜率确定为对应区域的斜率。每个区域中示出的道路边界线的斜率可以用于确定输入图像610中的临界点。
例如，图6的图像转换设备可以将输入图像610划分为四个部分。图像转换设备可以将输入图像610的道路区域划分为四个部分。图像转换设备可以计算与基于道路边界线620的每个部分对应的斜率。图像转换设备可以计算与道路边界线620的第一部分611和第二部分612之间的斜率差对应的第一角度631、与第二部分612和第三部分613之间的斜率差对应的第二角度632、与第三部分613和第四部分614之间的斜率差对应的第三角度633。图像转换设备可以响应于与两个部分之间的斜率差对应的角度大于阈值角度，将两个相邻的部分的道路边界线之间的点确定为临界点。根据道路倾斜度的变化，输入图像610中可能不存在临界点，或者存在一个或多个临界点。
图6示出输入图像610被划分为四个部分的示例，但是一个或多个实施例不限于此，并且输入图像610可以被划分为任意数量的部分。图像转换设备可以将输入图像610划分为m个部分(其中，m是等于或大于2的整数)。
此外，在输入图像610的三个相邻的部分中，图像转换设备可以响应于与三个相邻的部分中的底部部分对应的斜率和与三个相邻的部分中的顶部部分对应的斜率之间的斜率差大于部分阈值，确定临界点位于中间部分。图像转换设备可以将中心部分划分为各子部分，并且可以将每个子部分的道路边界线620的斜率变化大于阈值的点确定为临界点。例如，参照图6，响应于与第二部分612对应的斜率和与第四部分614对应的斜率之间的斜率差大于部分阈值差，图像转换设备可以确定临界点存在于第三部分613中。图像转换设备可以将第三部分613划分为子部分，并且可以基于子部分的斜率确定第三部分613内的临界点。
在一个实施例中，当在输入图像610中存在多个道路边界线时，图像转换设备可以选择输入图像610中示出的多个道路边界线中最接近输入图像610的中心的道路边界线620。图像转换设备可以计算所选择的道路边界线620的临界点。根据实施例，因为越接近输入图像610的中心，道路边界线越清晰，所以更清晰的道路边界线620被用于确定临界点。而且，道路边界线620偏离图像获取器的可视角度的可能性相对较低。
图像转换设备可以确定到临界点的距离，例如，深度。图像转换设备可以间接地预测或可以直接检测从车辆到临界点的距离。
将参照图7描述确定划分出的区域图像的消失点的操作。
图7是用于说明根据实施例的确定消失点的流程图。图8是用于说明根据实施例的每个区域图像的消失点的示图。
图像转换设备可以确定输入图像上的关于所确定的消失点的像素位置。
在操作721中，图像转换设备可以延长每个区域图像的道路边界线。例如，如图8所示，针对输入图像810，图像转换设备可以延长输入图像中的第一区域图像811的道路边界线821。图像转换设备可以延长第二区域图像812的道路边界线822。
在操作722中，图像转换设备可以将延长的道路边界线彼此交叉的点确定为对应的区域图像的消失点。例如，图像转换设备可以将第一区域图像的延长的道路边界线821彼此交叉的点确定为第一消失点841。图像转换设备可以将第二区域图像的延长的道路边界线822彼此交叉的点确定为第二消失点842。图像转换设备可以将输入图像中的延长的道路边界线彼此交叉的点的像素坐标确定为消失点的像素坐标。
作为参考，图8示出了每个区域图像中的两个道路边界线延长的示例。然而，一个或多个实施例不限于此。根据形成道路的车道的数量，图像转换设备可以延长至少三个道路边界线。在这种情况下，各延长的道路边界线可以在单个点处交叉，也可以在多个点处交叉。响应于延长的道路边界线在多个点处交叉，图像转换设备可以基于这些点将单个点确定为消失点。例如，图像转换设备可以将延长的道路边界线交叉的这些点的平均点(average point)确定为对应的区域图像的消失点。
图像转换设备可以通过延长车辆当前正在其上行驶的车道的道路边界线来检索消失点。然而，一个或多个实施例不限于此。图像转换设备可以通过延长一个或多个其他车道的道路边界线来确定消失点。
此外，操作顺序不限于图7中所示的顺序。例如，图像转换设备可以通过延长第一区域图像的道路边界线来确定第一消失点，然后可以通过延长第二区域图像的道路边界线来确定第二消失点。
参考图9，图像转换设备可以基于每个区域图像的消失点和到区域图像的起始点的距离，来计算用于将对应的区域图像的像素坐标转换为物理坐标的变换关系。
图9是用于说明根据实施例的计算变换关系和生成道路轮廓数据的示图。
通过使用图像获取器901，图像转换设备可以计算将输入图像910的每个像素转换为物理坐标的每个区域图像的变换关系。例如，图9的输入图像910可以被划分为与第一区域911对应的第一区域图像和与第二区域912对应的第二区域图像。参考图9，图像获取器901的可视角度的中心轴可以与Zc轴对应。Yc轴可以指示与放置图像获取器901的表面垂直的轴。Xc轴与Yc轴和Zc轴正交，并且在图像转换设备安装在车辆中的情况下，Xc轴可以与车辆的横轴对应。图9示出图像获取器901的物理坐标是(X1,Y1,Z1)，并且在下方的公式中，假设图像获取器901的坐标是原点。
图像转换设备可以通过使用公式1至公式3来计算用于将最接近图像获取器901的区域(例如，第一区域911)的第一区域图像的像素坐标转换为物理坐标的第一变换关系。像素坐标可以是输入图像910上的第一区域图像中的目标点的坐标。
【公式1】
y＝-yC
【公式2】
Figure BDA0002231682890000101
【公式3】
Figure BDA0002231682890000102
其中，x、y和z可以分别表示相对于原点的坐标(即，图像获取器901的位置)，目标点的物理位置的x坐标、y坐标和z坐标。常数y0可以表示图像获取器901离地面的高度。在上面的公式2和公式3中，xim可以是表示输入图像910的目标点的像素坐标的x坐标，并且yim可以是表示输入图像910的目标点的像素坐标的y坐标。在上述公式1至公式3中，px可以是输入图像910的第一区域图像的消失点的x坐标，并且py可以是第一区域图像的消失点的y坐标。此外，fx是相机参数的值，其可以表示例如通过将焦距的值除以图像传感器中的感测元件(例如，像素元件)的x轴长度而获取的值，fy是相机参数的值，其可以表示例如通过将焦距除以感测元件的y轴长度而获取的值。换句话说，fx表示以x轴上的像素数量表示的焦距的值，fy表示以y轴上的像素数量表示的焦距的值。例如，当焦距为f＝300μm，并且一个像素元件的y轴长度是2μm时，fy等于150(即，150个像素)。
公式1至公式3可以仅应用于与图像传感器的光轴平行的平面。例如，图像转换设备可以基于根据上述公式1至公式3的变换关系，将从车辆到与临界点对应的目标点的第一区域911的像素坐标转换为物理坐标。这是因为在从输入图像910中检测到的临界点之后的区域中，道路980的倾斜度改变。如上所述，倾斜度是道路相对于与图像获取器901的光轴平行的平面(例如，放置图像获取器901的地面)的角度，并且在图9中倾斜度被示为α。
图像转换设备可以基于消失点、计算出的相对于与图像传感器的可视角度的中心轴平行的平面的倾斜度，来计算划分出的区域图像的倾斜度。图像转换设备可以通过公式4计算第二区域912的第二区域图像的倾斜度。
【公式4】
Figure BDA0002231682890000111
其中，α是倾斜度，θ是倾斜角，py2是第二区域图像中示出的一些道路边界线的第二消失点的y坐标，并且py1是第一区域图像中示出的一些道路边界线的第一消失点的y坐标。
倾斜角θ可以表示其上放置第二区域图像的目标点的物理平面相对于其上放置图像获取器901的地面的角度。倾斜度α可以表示与倾斜角θ对应的值，并且在上面的公式4中，倾斜度α可以是正切值。
图像转换设备可基于消失点、相机参数、相机高度、倾斜度和相应的区域图像的起始深度(start depth)，来计算将该相应的区域图像中包括的目标点的2D像素坐标转换为3D坐标的每个区域图像的变换关系。
例如，图像转换设备可以通过公式5至公式7计算用于将第二区域912的第二区域图像的像素坐标转换为物理坐标的第二变换关系。
【公式5】
Figure BDA0002231682890000121
【公式6】
Figure BDA0002231682890000122
【公式7】
y＝-yO+α·(z-z0)
其中，xim可以是输入图像910的目标点的x坐标，yim可以是输入图像910的目标点的y坐标。在公式5至公式7中，px2可以是输入图像910的第二区域图像的消失点的x坐标，py2可以是输入图像910的第二区域图像的消失点的y坐标，并且fx和fy可以是相机参数的值。如公式7所示，根据倾斜度α的不同，目标点的高度可以与作为图像获取器901的高度的常数y0不同。
在公式5至公式7中，z0可以表示从图像获取器901到作为第一区域图像和第二区域图像彼此之间的边界的临界点的距离。因此，z0可以表示从图像获取器901到第二区域912的距离。
作为参考，公式5至公式7可以表示关于基于临界点的各个区域图像的通用关系(例如，通用公式)。例如，当假设与第一区域图像对应的目标点的倾斜度α为0、并且到临界点的距离z0为0时，发现公式5至公式7变得与公式1至公式3相同。
因此，图像转换设备可以从最接近图像获取器901的区域图像开始顺序地计算基于临界点分割的各个区域图像的变换关系。例如，图像转换设备可以根据公式5至公式7计算任意区域图像的临界点和消失点以及任意区域图像的变换关系，然后可以计算下一区域图像的临界点、消失点和变换关系。如上所述，图像转换设备可以通过顺序地重复上述过程来计算区域图像的变换关系。
图像转换设备可以生成道路980的道路轮廓数据，其包括每个点971的物理位置972的坐标。如上所述，在输入图像910的每个目标点实际上位于物理世界中的情况下，道路轮廓数据可以是限定道路980的形状的轮廓数据。道路轮廓数据可以被转换为第二视角(例如，俯视角)处的输出图像。
图像转换设备可以计算与基于临界点分割的区域图像分别对应的变换关系，从而生成精确的道路轮廓数据。例如，图像转换设备可以排除每个区域图像中被识别为物体(例如，车辆、建筑物、街道树木、动物等)的目标点，并将计算出的对应的区域图像的变换关系应用于其他目标点，从而生成道路轮廓数据。
图10是根据实施例的图像转换设备1000的结构的框图。
图像转换设备1000可以包括图像获取器1010、处理器1020和存储器1030。
图像获取器1010可以获取关于前方道路的输入图像。图像获取器1010可以被提供为例如图像传感器(例如，彩色相机)。然而，图像传感器的类型不限于此。图像获取器1010可以被提供为红外传感器等。
处理器1020可以将输入图像分割为区域图像。例如，处理器1020可以基于道路的倾斜度将输入图像分割为区域图像。例如，处理器1020可以计算道路的倾斜度以阈值程度或更大程度改变的一个或多个临界点，并且基于一个或多个临界点将输入图像分割为区域图像。处理器1020可以确定针对每个区域图像的消失点。处理器1020可以基于消失点计算用于将每个区域图像的2D坐标转换为3D坐标的变换关系。基于针对每个区域图像计算出的变换关系，处理器1020可以从区域图像生成道路轮廓数据。然而，处理器1020的操作不限于此，并且处理器1020可以执行图1至图9的操作。
存储器1030可以临时或永久地存储用于执行转换图像的方法的数据。例如，存储器1030可以存储针对每个区域图像计算出的变换关系、基于针对每个区域图像的变换关系计算出的道路轮廓数据等。
一个或多个实施例可以呈现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是能够存储随后可由计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、光盘(CD)-ROM、磁带、软盘和光学数据存储装置。计算机可读记录介质还可以分布在网络连接的计算机系统上，使得计算机可读代码以分布式方式被存储和执行。此外，示例实施例可以被写为通过计算机可读传输介质(例如载波)传输的计算机程序，并且可以在执行程序的通用或专用数字计算机中接收并实施。
根据实施例，本文描述的组件、元件、模块或单元中的至少一个可以呈现为执行上述各个功能的各种数量的硬件、软件和/或固件结构。例如，这些组件、元件或单元中的至少一个可以使用可以通过控制一个或多个微处理器或其他控制设备来执行相应的功能的直接电路结构，例如，存储器、处理器、逻辑电路、查找表等。此外，这些组件、元件或单元中的至少一个可以由包含用于执行指定逻辑功能的一个或多个可执行指令的模块、程序或代码的一部分具体地实现并且可以由一个或多个微处理器或其他控制设备执行。此外，这些组件、元件或单元中的至少一个还可以包括诸如执行各个功能的中央处理单元(CPU)的处理器、微处理器等，或者还可以由诸如执行各个功能的中央处理单元(CPU)的处理器、微处理器等实现。这些组件、元件或单元中的两个或更多个可以组合为一个单独的组件、元件或单元，其执行所组合的两个或更多个组件、元件或单元的所有操作或功能。此外，这些组件、元件或单元中的至少一个的至少一部分功能可以由这些组件、元件或单元中的另一个来执行。此外，尽管在一些框图中未示出总线，但是可以通过总线执行组件、元件或单元之间的通信。可以以在一个或多个处理器上执行的算法来实现上述实施例的功能方面。此外，由块或处理操作表示的组件、元件或单元可以针对电子配置、信号处理和/或控制、数据处理等采用任何数量的相关技术。
尽管已经示出和描述了一些实施例，但是本领域技术人员将理解，在不脱离本公开的原理和精神、权利要求及其等同物限定的范围的情况下，可以在实施例中进行改变。

Claims (20)

1.一种转换图像的方法，所述方法包括：
将道路的输入图像分割为多个区域图像；
确定与所述多个区域图像对应的消失点；
基于与所述多个区域图像中的任一区域图像对应的消失点，获取用于将所述任一区域图像中的点的二维坐标转换为三维坐标的变换关系；以及
基于所述多个区域图像的变换关系生成道路轮廓数据。
2.如权利要求1所述的方法，其中，所述分割包括：
从所述输入图像中识别道路边界线；
获取所述道路边界线的至少一个临界点；以及
基于所述至少一个临界点将所述输入图像分割为所述多个区域图像。
3.如权利要求2所述的方法，其中，获取至少一个临界点包括：
将所述道路边界线划分为多个部分；
获取所述道路边界线的所述多个部分的斜率；以及
基于所述道路边界线的所述多个部分的斜率来获取所述至少一个临界点。
4.如权利要求3所述的方法，其中，获取所述至少一个临界点包括：响应于所述道路边界线的所述多个部分中的所述道路边界线的两个相邻部分之间的斜率差大于阈值差，将所述道路边界线的所述两个相邻部分之间的点确定为临界点。
5.如权利要求2所述的方法，其中，分割所述输入图像包括：基于所述输入图像的包括所述至少一个临界点的至少一个水平线来分割所述输入图像。
6.如权利要求2所述的方法，其中，获取至少一个临界点包括：
响应于从所述输入图像中检测到多个道路边界线，从所述多个道路边界线中选择最接近所述输入图像的中心的道路边界线；以及
获取所选择的道路边界线的至少一个临界点。
7.如权利要求1所述的方法，其中，确定消失点包括：
延长所述多个区域图像中的所述任一区域图像中包括的多个道路边界线；以及
将延长的多个道路边界线彼此交叉的点确定为所述任一区域图像的消失点。
8.如权利要求7所述的方法，其中，确定所述消失点包括：响应于所述任一区域图像中包括的所述延长的多个道路边界线在多个点处交叉，将所述多个点中的单个点确定为所述任一区域图像的消失点。
9.如权利要求1所述的方法，其中，获取变换关系包括：基于与所述任一区域图像对应的消失点获取所述任一区域图像的倾斜度，其中，所述倾斜度是相对于与捕获所述输入图像的图像传感器的可视角度的中心轴平行的平面的。
10.如权利要求1所述的方法，其中，所述道路轮廓数据包括所述输入图像中的每个点的物理位置的坐标。
11.一种非暂时性计算机可读记录介质，在所述非暂时性计算机可读记录介质上记录有至少一个计算机程序，所述至少一个计算机程序包括用于执行如权利要求1所述的方法的命令。
12.一种用于转换图像的设备，所述设备包括：
图像传感器，其被配置为获取道路的输入图像；以及
处理器，其被配置为：
将所述输入图像分割为多个区域图像，并确定与所述多个区域图像对应的消失点；
基于与所述多个区域图像中的任一区域图像对应的消失点，获取用于将所述任一区域图像中的点的二维坐标转换为三维坐标的变换关系；以及
基于所述多个区域图像的变换关系生成道路轮廓数据。
13.如权利要求12所述的设备，其中，所述处理器还被配置为：从所述输入图像中识别道路边界线，获取所述道路边界线的至少一个临界点，以及基于所述至少一个临界点将所述输入图像分割为所述多个区域图像。
14.如权利要求13所述的设备，其中，所述处理器还被配置为：将所述道路边界线划分为多个部分，获取所述道路边界线的所述多个部分的斜率，并基于所述道路边界线的所述多个部分的斜率获取所述至少一个临界点。
15.如权利要求14所述的设备，其中，所述处理器还被配置为：响应于所述道路边界线的所述多个部分中的所述道路边界线的两个相邻部分之间的斜率差大于阈值差，将所述道路边界线的所述两个相邻部分之间的点确定为临界点。
16.如权利要求13所述的设备，其中，所述处理器还被配置为：基于所述输入图像的包括所述至少一个临界点的至少一个水平线分割所述输入图像。
17.如权利要求13所述的设备，其中，响应于从所述输入图像中检测到多个道路边界线，所述处理器还被配置为：从所述多个道路边界线中选择最接近所述输入图像的中心的道路边界线，并获取所选择的道路边界线的至少一个临界点。
18.如权利要求12所述的设备，其中，所述处理器还被配置为：延长所述多个区域图像中的所述任一区域图像中包括的多个道路边界线，并将延长的多个道路边界线彼此交叉的点确定为所述任一区域图像的消失点。
19.如权利要求12所述的设备，其中，所述处理器还被配置为：基于与所述任一区域图像对应的消失点获取所述任一区域图像的倾斜度，其中，所述倾斜度是相对于与所述图像传感器的可视角度的中心轴平行的平面的。
20.如权利要求12所述的设备，其中，所述处理器还被配置为：生成包括所述输入图像中的每个点的物理位置的坐标的所述道路轮廓数据。
CN201910969783.7A 2018-10-15 2019-10-12 用于转换图像的设备和方法 Pending CN111046719A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180122245A KR102519666B1 (ko) 2018-10-15 2018-10-15 이미지 변환 장치 및 방법
KR10-2018-0122245 2018-10-15

Publications (1)

Publication Number Publication Date
CN111046719A true CN111046719A (zh) 2020-04-21

Family

ID=70161302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910969783.7A Pending CN111046719A (zh) 2018-10-15 2019-10-12 用于转换图像的设备和方法

Country Status (3)

Country Link
US (1) US11062153B2 (zh)
KR (1) KR102519666B1 (zh)
CN (1) CN111046719A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102633140B1 (ko) * 2018-10-23 2024-02-05 삼성전자주식회사 주행 정보를 결정하는 방법 및 장치
US10997740B2 (en) * 2019-07-15 2021-05-04 Here Global B.V. Method, apparatus, and system for providing real-world distance information from a monocular image
CN111578839B (zh) * 2020-05-25 2022-09-20 阿波罗智联(北京)科技有限公司 障碍物坐标处理方法、装置、电子设备及可读存储介质
KR20210148756A (ko) * 2020-06-01 2021-12-08 삼성전자주식회사 경사 추정 장치 및 이의 동작 방법
KR102525387B1 (ko) * 2020-11-24 2023-04-26 주식회사 넥스트칩 지면 요철 결정 전자 장치 및 그 동작방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0827127B1 (en) * 1996-08-28 2006-10-04 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus, and method therefor
JP4573977B2 (ja) * 1999-09-22 2010-11-04 富士重工業株式会社 監視システムの距離補正装置、および監視システムの消失点補正装置
KR100472823B1 (ko) 2002-10-21 2005-03-08 학교법인 한양학원 차선 인식 방법 및 시스템
JP4355535B2 (ja) 2003-08-07 2009-11-04 株式会社岩根研究所 ３６０度画像変換処理装置
JP2005251106A (ja) * 2004-03-08 2005-09-15 Mitsubishi Electric Corp 車線認識装置
KR100663024B1 (ko) 2004-07-20 2006-12-28 엘지전자 주식회사 고도별 상이한 이미지 표현 방법
US8520935B2 (en) 2010-02-04 2013-08-27 Sony Corporation 2D to 3D image conversion based on image content
JP5320331B2 (ja) * 2010-03-17 2013-10-23 日立オートモティブシステムズ株式会社 車載用環境認識装置及び車載用環境認識システム
US9533539B2 (en) * 2011-10-20 2017-01-03 GM Global Technology Operations LLC Vehicle suspension system and method of using the same
CN103164851B (zh) 2011-12-09 2016-04-20 株式会社理光 道路分割物检测方法和装置
KR101655204B1 (ko) 2014-06-20 2016-09-22 주식회사 세인전장 3차원 그래픽 모델을 이용한 영상처리 장치 및 그 방법
CN106327466B (zh) * 2015-06-24 2018-12-21 株式会社理光 道路分割物的检测方法和装置
JP2017156965A (ja) 2016-03-01 2017-09-07 トヨタ自動車株式会社 道路領域検出装置
CN105869109B (zh) 2016-03-28 2018-12-07 长安大学 基于不同高度逆投影面的停车和抛落物区分方法
US10102435B2 (en) * 2016-08-10 2018-10-16 Omnivision Technologies, Inc. Lane departure warning system and associated methods
JP7044513B2 (ja) * 2017-10-23 2022-03-30 株式会社Soken 道路認識装置
KR20200046437A (ko) * 2018-10-24 2020-05-07 삼성전자주식회사 영상 및 맵 데이터 기반 측위 방법 및 장치

Also Published As

Publication number Publication date
US11062153B2 (en) 2021-07-13
KR102519666B1 (ko) 2023-04-07
KR20200042100A (ko) 2020-04-23
US20200117920A1 (en) 2020-04-16

Similar Documents

Publication Publication Date Title
CN111024040B (zh) 距离估计方法和设备
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
CN111046719A (zh) 用于转换图像的设备和方法
KR102267562B1 (ko) 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
JP2015207281A (ja) 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
EP2779025B1 (en) Method and system for detecting road edge
JP6450294B2 (ja) 物体検出装置、物体検出方法、及びプログラム
JP2002352225A (ja) 障害物検出装置及びその方法
JP6150164B2 (ja) 情報検出装置、移動体機器制御システム、移動体及び情報検出用プログラム
JP2000357233A (ja) 物体認識装置
CN111086521A (zh) 校准方法、校准装置以及非暂时性计算机记录媒体
CN111178122A (zh) 道路场景中三维车道的检测及平面表示
Petrovai et al. A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices
JP2015225546A (ja) 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
JP2009245042A (ja) 交通流計測装置及びプログラム
CN112907723A (zh) 具有三维对象显示的方法和装置
JP6340849B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び移動体機器制御システム
US20220171975A1 (en) Method for Determining a Semantic Free Space
CN114119724A (zh) 一种调整用于自动驾驶的高度图的网格间距的方法
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
CN111781606A (zh) 一种新型激光雷达和超声波雷达融合的小型化实现方法
JP6660367B2 (ja) 車外環境認識装置
US20220410942A1 (en) Apparatus and method for determining lane change of surrounding objects
JP7165630B2 (ja) 認識システム、車両制御システム、認識方法、およびプログラム
JP7134780B2 (ja) ステレオカメラ装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination