CN113706479A - 无人车测距方法、装置、存储介质及无人车 - Google Patents
无人车测距方法、装置、存储介质及无人车 Download PDFInfo
- Publication number
- CN113706479A CN113706479A CN202110926836.4A CN202110926836A CN113706479A CN 113706479 A CN113706479 A CN 113706479A CN 202110926836 A CN202110926836 A CN 202110926836A CN 113706479 A CN113706479 A CN 113706479A
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- target
- unmanned vehicle
- target camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012937 correction Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000001360 synchronised effect Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 6
- 238000003702 image correction Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 23
- 238000000691 measurement method Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Studio Devices (AREA)
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种无人车测距方法、装置、存储介质及无人车,所述方法包括:基于用户输入的测距需求指令,确定需要测距的目标区域;从所述无人车上预先标定的多个相机组中确定对应于所述目标区域的目标相机组,所述目标相机组包括第一目标相机以及第二目标相机,每一所述相机组中的各相机之间的视角区域存在重叠;对所述第一目标相机拍摄得到的第一图像以及所述第二目标相机拍摄得到的第二图像进行校正;基于校正后的第一图像和校正后的第二图像计算视差数据,并通过所述视差数据计算所述无人车距所述目标区域中的对象的距离。
Description
技术领域
本公开涉及无人车技术领域,具体地,涉及一种无人车测距方法、装置、存储介质及无人车。
背景技术
无人车作为一种无人驾驶的智能车辆,对周围物体的距离信息较为敏感。例如,为了保证无人车的行驶安全,无人车在实际道路上的超车、避障、急停、启动等操作都需要在一定的安全距离下执行。
为了获取距离信息,相关技术中结合高精地图以及激光雷达来判断距离,但这样的方式需要采集地图以及制作地图,因而成本较高。此外,也有基于毫米波雷达进行距离感知的方案,但毫米波雷达又容易对车辆之外的物体造成漏检。并且,相关技术中的侧测距方式所能够测量的场景也较为单一,难以满足无人车的测距需求。
发明内容
本公开的目的是提供一种无人车测距方法、装置、存储介质及无人车,以至少部分地解决相关技术中存在的上述问题。
为了实现上述目的,根据本公开实施例的第一方面,提供一种无人车测距方法,所述方法包括:
基于用户输入的测距需求指令,确定需要测距的目标区域;
从所述无人车上预先标定的多个相机组中确定对应于所述目标区域的目标相机组,所述目标相机组包括第一目标相机以及第二目标相机,每一所述相机组中的各相机之间的视角区域存在重叠;
对所述第一目标相机拍摄得到的第一图像以及所述第二目标相机拍摄得到的第二图像进行校正;
基于校正后的第一图像和校正后的第二图像计算视差数据,并通过所述视差数据计算所述无人车距所述目标区域中的对象的距离。
可选地,基于校正后的第一图像和校正后的第二图像计算视差数据,包括:
获取所述目标相机组所对应的目标裁剪参数;
根据所述目标裁剪参数对校正后的第一图像和校正后的第二图像进行裁剪,得到包括所述目标区域的图像的第一裁剪图像和第二裁剪图像;
基于所述第一裁剪图像和所述第二裁剪图像计算所述视差数据。
可选地,通过如下方式确定所述目标裁剪参数:
获取所述第一目标相机拍摄的第一样本图像,以及所述第二目标相机拍摄的第二样本图像;
获取所述第一样本图像和所述第二样本图像的重叠区域;
将所述重叠区域在所述第一图像样本中的位置信息作为第一裁剪参数,并将所述重叠区域在所述第二图像样本中的位置信息作为第二裁剪参数,所述目标裁剪参数包括所述第一裁剪参数和所述第二裁剪参数。
可选地,所述根据所述目标裁剪参数对校正后的第一图像和校正后的第二图像进行裁剪,包括:
通过所述第一裁剪参数对所述第一校正图像进行裁剪,得到所述第一裁剪图像;
通过所述第二裁剪参数对所述第二校正图像进行裁剪,得到所述第二裁剪图像。
可选地,所述对所述第一目标相机拍摄得到的第一图像以及所述第二目标相机拍摄得到的第二图像进行校正之前,还包括:
通过如下方式对所述第一图像以及所述第二图像进行同步:
在所述第一图像的行信号与所述第二图像的行信号的时间偏差大于1行时,分别获取所述第一图像的帧头信息和所述第二图像的帧头信息;
根据所述第一图像的帧头信息和所述第二图像的帧头信息确定所述第一图像和所述第二图像的时间先后顺序;
分别将所述第一图像和所述第二图像写入至帧缓存;
当所述第一图像和所述第二图像中靠后的一者在所述帧缓存中存储完成时,确定所述第一图像和所述第二图像同步。
可选地,所述对所述第一目标相机拍摄得到的第一图像以及所述第二目标相机拍摄得到的第二图像进行校正之前,还包括,通过如下方式对所述第一图像以及所述第二图像进行同步:
在第一目标相机的图像获取触发信号早于第二目标相机的图像获取触发信号、且已检测到第一图像的信号的情况下,检测第二目标相机的图像获取触发信号;
在检测到所述第二目标相机的图像获取触发信号、且检测到第二图像的信号时,确定所述第一图像和所述第二图像同步。
可选地,所述无人车包括多个相机,所述多个相机沿圆周方向间隔设置,且位于同一水平面内,其中,在该圆周方向上的每相邻两个相机均能够作为一组相机组。
根据本公开实施例的第二方面,提供一种无人车测距装置,包括:
第一确定模块,用于基于用户输入的测距需求指令,确定需要测距的目标区域;
第二确定模块,用于从所述无人车上预先标定的多个相机组中确定对应于所述目标区域的目标相机组,所述目标相机组包括第一目标相机以及第二目标相机,每一所述相机组中的各相机之间的视角区域存在重叠;
图像校正模块,用于对所述第一目标相机拍摄得到的第一图像以及所述第二目标相机拍摄得到的第二图像进行校正;
第一计算模块,用于基于校正后的第一图像和校正后的第二图像计算视差数据,并通过所述视差数据计算所述无人车距所述目标区域中的对象的距离。
可选地,第一计算模块,包括:
第一获取子模块,用于获取所述目标相机组所对应的目标裁剪参数;
图像裁剪子模块,用于根据所述目标裁剪参数对校正后的第一图像和校正后的第二图像进行裁剪,得到包括所述目标区域的图像的第一裁剪图像和第二裁剪图像;
第一计算子模块,用于基于所述第一裁剪图像和所述第二裁剪图像计算所述视差数据。
可选地,还包括裁剪参数确定模块,用于通过如下方式确定所述目标裁剪参数,所述裁剪参数确定模块包括:
第二获取子模块,用于获取所述第一目标相机拍摄的第一样本图像,以及所述第二目标相机拍摄的第二样本图像;
第三获取子模块,用于获取所述第一样本图像和所述第二样本图像的重叠区域;
第一执行子模块,用于将所述重叠区域在所述第一图像样本中的位置信息作为第一裁剪参数,并将所述重叠区域在所述第二图像样本中的位置信息作为第二裁剪参数,所述目标裁剪参数包括所述第一裁剪参数和所述第二裁剪参数。
可选地,所述图像裁剪子模块,包括:
第一裁剪子单元,用于通过所述第一裁剪参数对所述第一校正图像进行裁剪,得到所述第一裁剪图像;
第二裁剪子单元,用于通过所述第二裁剪参数对所述第二校正图像进行裁剪,得到所述第二裁剪图像。
可选地,所述装置还包括:
第一图像同步模块,用于所述对所述第一目标相机拍摄得到的第一图像以及所述第二目标相机拍摄得到的第二图像进行校正之前,通过如下方式对所述第一图像以及所述第二图像进行同步:在所述第一图像的行信号与所述第二图像的行信号的时间偏差大于1行时,分别获取所述第一图像的帧头信息和所述第二图像的帧头信息;根据所述第一图像的帧头信息和所述第二图像的帧头信息确定所述第一图像和所述第二图像的时间先后顺序;分别将所述第一图像和所述第二图像写入至帧缓存;当所述第一图像和所述第二图像中靠后的一者在所述帧缓存中存储完成时,确定所述第一图像和所述第二图像同步。
可选地,所述装置还包括,第二图像同步模块,用于所述对所述第一目标相机拍摄得到的第一图像以及所述第二目标相机拍摄得到的第二图像进行校正之前,通过如下方式对所述第一图像以及所述第二图像进行同步:
在第一目标相机的图像获取触发信号早于第二目标相机的图像获取触发信号、且已检测到第一图像的信号的情况下,检测第二目标相机的图像获取触发信号;在检测到所述第二目标相机的图像获取触发信号、且检测到第二图像的信号时,确定所述第一图像和所述第二图像同步。
可选地,所述无人车包括多个相机,所述多个相机沿圆周方向间隔设置,且位于同一水平面内,其中,在该圆周方向上的每相邻两个相机均能够作为一组相机组。
根据本公开实施例的第三方面,提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述第一方面中任一项所述方法的步骤。
根据本公开实施例的第四方面,提供一种无人车,包括上述第二方面中任一项所述的无人车测距装置。
上述技术方案中,可以基于用户输入的测距需求指令确定需要测距的目标区域。这样,可以从无人车上预先标定的多个相机组中确定对应于所述目标区域的目标相机组,并进而获取所述目标相机组中的第一目标相机拍摄得到的第一图像以及第二目标相机拍摄得到的第二图像。通过对所述第一图像和所述第二图像进行校正,可以基于校正后的第一图像和校正后的第二图像计算视差数据,并进而通过所述视差数据计算所述无人车距所述目标区域中的对象的距离。由于上述技术方案中的无人车包括多个预先标定的相机组,因此在测距时,可以基于用户的测距需求定位至对应的相机组,并进而通过该相机组所拍摄的图像进行测距计算。由此,上述技术方案能够满足无人车不同区域的测距需求。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是本公开一示例性实施例所示出的一种无人车测距方法的流程图。
图2是本公开一示例性实施例所示出的一种无人车相机的示意图。
图3是本公开一示例性实施例所示出的一种相机视角区域的示意图。
图4是本公开一示例性实施例所示出的一种相机视角区域的示意图。
图5是本公开一示例性实施例所示出的一种无人车测距方法的流程图。
图6是本公开一示例性实施例所示出的一种样本图像与重叠区域的示意图。
图7是本公开一示例性实施例所示出的一种无人车测距系统的框图。
图8是本公开一示例性实施例所示出的一种无人车测距装置的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
在介绍本公开的无人车测距方法、装置、存储介质及无人车之前,首先对本公开的应用场景进行介绍。本公开所提供的各实施例可以用于无人车的测距场景,这里,无人车可以是配送无人车、无人出租车等等。
无人车对周围物体的距离较为敏感,为了获取距离信息,在一些场景中可以通过设置双目相机来实现双目测距。但由于能够满足车规级标准的双目相机还较少,因此这样的方案难以得到广泛的应用。在一些场景中,可以设置两个单目相机,并仿照双目相机的原理进行测距,但这样的方式又对相机的部署位置产生了较高的要求,难以满足多方位的距离测量需求。并且,为了测距而增加相机的方式,也会增大车辆的成本。
为此,本公开提供一种无人车测距方法。图1是本公开所示出的一种无人车测距方法的流程图,所述方法可以用于无人车也可以用于与无人车相关联的计算设备,所述方法包括:
在步骤11中,基于用户输入的测距需求指令,确定需要测距的目标区域。
在步骤12中,从无人车上预先标定的多个相机组中确定对应于目标区域的目标相机组。所述目标相机组包括第一目标相机以及第二目标相机,每一所述相机组中的各相机之间的视角区域存在重叠。
在一种可能的实施方式中,无人车可以包括多个相机,所述多个相机沿圆周方向间隔设置,且位于同一水平面内。其中,在该圆周方向上的每相邻两个相机均能够作为一组相机组。示例地,参照图2所示出的一种无人车相机的示意图,无人车例如可以包括沿圆周方向等间隔设置的8个相机。其中,各相机的型号及规格不受限制,箭头方向为相机的图像获取方向(仅示意相机0和相机1),每相邻的两个相机均能够作为一组相机组,从而得到8个相机组。
在一些实施场景中,图2所示出的无人车相机也可以是装载在无人车车顶的传感器背包中的相机,从而能够对无人车的各个方向的环境进行检测。此外,无人车的相机也可以沿水平方向的圆弧(例如180°弧形)分布,本公开对此不做限制。
在每一相机组中,各相机之间的视角区域存在重叠。例如,参照图3所示出的一种相机视角区域的示意图,图2中的相机0所对应的视场角(Field of View,FOV)与相机1所对应的视场角存在重叠区域A。这样,重叠区域A可以作为相机0和相机1所构成的相机组的测距区域。进一步的,图2所包括的各相机组的重叠区域如图4所示。
应当理解,各个相机组的测距区域(即重叠区域)是不同的,由此可以建立相机组与测距区域之间的关联关系。这样,在接收到用户输入的测距需求指令时,可以确定需要测距的目标区域。例如,在目标区域为重叠区域B时,可以确定对应的目标相机组包括相机1和相机2。
在步骤13中,对第一目标相机拍摄得到的第一图像以及第二目标相机拍摄得到的第二图像进行校正。
示例地,可以预先对各个相机组进行标定,以获得各个相机组的标定参数。这里,标定参数可以包括每一相机组中的各相机的内参(如焦距、主点等)以及外参(如相机组中两个相机的旋转参数和平移参数)。其中,相机内参例如可以基于张正友标定法等方式获得,相机外参则可以基于棋牌格以及MATLAB标定工具箱获得。所述标定参数能够使得同一相机组中各相机拍摄得到的两张图像的重叠部分趋近于理想情况下的光心平行。
需要说明的是,由于每一相机组都具有对应的标定参数,因此在步骤13中,在需要对第一图像和第二图像进行校正时,还可以首先获取目标相机组所对应的标定参数。这样,可以基于获取到的标定参数对第一图像和第二图像进行校正,如去畸变、双目校正等。校正方法请参照相关技术中的说明,本公开对此不做赘述。
在步骤14中,基于校正后的第一图像和校正后的第二图像计算视差数据,并通过视差数据计算无人车距目标区域中的对象的距离。
示例地,可以通过SAD(Sum of Absolute Differences,绝对差值和)算法、BM(Block Matching,块匹配)算法、SGBM(Semi-Global Block Matching,半全局块匹配)算法等方式对校正后的第一图像和校正后的第二图像进行匹配,从而获得视差数据。这样,可以基于视差数据以及相机参数计算无人车距目标区域中的对象的距离,具体计算方式请参照相关技术的说明,本公开对此不做赘述。
上述技术方案中,可以基于用户输入的测距需求指令确定需要测距的目标区域。这样,可以从无人车上预先标定的多个相机组中确定对应于所述目标区域的目标相机组,并进而获取所述目标相机组中的第一目标相机拍摄得到的第一图像以及第二目标相机拍摄得到的第二图像。通过对所述第一图像和所述第二图像进行校正,可以基于校正后的第一图像和校正后的第二图像计算视差数据,并进而通过所述视差数据计算所述无人车距所述目标区域中的对象的距离。由于上述技术方案中的无人车包括多个预先标定的相机组,因此在测距时,可以基于用户的测距需求定位至对应的相机组,并进而通过该相机组所拍摄的图像进行测距计算。由此,上述技术方案能够满足无人车不同区域的测距需求。
并且,本公开的无人车测距方法对于相机种类以及相机排布方式没有限制,同时计算过程也与相机本身的功能没有冲突。因此,上述技术方案可以结合无人车本身的相机进行测距计算,即无需增设新的相机来进行测距,从而起到了节省测距成本的效果。
值得注意的是,当相机的设置位置不够理想时,相机拍摄的图像也不能够直接用于测距,在这种情况下还需要对相机拍摄的图像进行实时校正。在车载设备运算资源有限的情况下,可能会产生较大的运算延迟,进而对无人车的相关功能造成影响。
在这种情况下,参照图5所示出的一种无人车测距方法的流程图,所述方法在图1的基础上,步骤14包括:
步骤141,获取所述目标相机组所对应的目标裁剪参数。
在一种可能的实施方式中,通过如下方式确定所述目标裁剪参数:
获取所述第一目标相机拍摄的第一样本图像,以及所述第二目标相机拍摄的第二样本图像。
这样,可以获取所述第一样本图像和所述第二样本图像的重叠区域。例如在一些实施场景中,可以获取第一目标相机针对棋盘格拍摄的图像,得到第一样本图像;也可以获取第二目标相机针对所述棋盘格拍摄的图像,得到第二样本图像。这样,可以基于棋盘格中的信息(例如角点位置)确定第一样本图像和第二样本图像的重叠区域的边缘。当然,为了提升重叠区域的边缘的准确度,在一些可能的实施方式中,也可以对第一样本图像以及第二样本图像中的特征点进行提取和匹配,并通过对相匹配的特征点进行连线的方式获得重叠区域的边缘。
在确定重叠区域的边缘后,可以基于重叠区域的边缘划分得到所述第一样本图像和所述第二样本图像的重叠区域。参照图6所示出的一种样本图像与重叠区域的示意图(未以棋盘格图像示意),在一些实施方式中,可以根据第一目标相机和第二目标相机在水平方向的相对位置关系确定中心线。例如在第一目标相机在水平方向上位于第二目标相机的左侧时,可以将第一样本图像的右侧边缘与第二样本图像的左侧边缘作为中心线。此外,可以基于所述中心线以矩形框的形式沿上下方向以及左右方向进行等距离延展,直至矩形框覆盖所述重叠区域的边缘,最终得到的矩形框即为所述重叠区域。
需要说明的是,为了裁剪更多的图像面积,在确定所述重叠区域时,还可以在确保覆盖重叠区域的边界的前提下,尽量减小矩形框的宽度和高度。
获得重叠区域之后,可以将所述重叠区域在所述第一图像样本中的位置信息作为第一裁剪参数,并将所述重叠区域在所述第二图像样本中的位置信息作为第二裁剪参数,所述目标裁剪参数包括所述第一裁剪参数和所述第二裁剪参数。
这里,位置信息例如可以以分辨率参数的形式呈现,通过计算重叠区域在第一样本图像和第二样本图像中所对应的分辨率信息,可以确定所述第一裁剪参数和所述第二裁剪参数。
需要说明的是,每一相机组都可以对应有裁剪参数,在具体实施时,可以获取所述目标相机组所对应的目标裁剪参数,并进而通过获取到的目标裁剪参数对第一图像和第二图像进行裁剪。
步骤142,根据所述目标裁剪参数对校正后的第一图像和校正后的第二图像进行裁剪,得到包括所述目标区域的图像的第一裁剪图像和第二裁剪图像。
例如,可以通过所述第一裁剪参数对所述第一校正图像进行裁剪,得到所述第一裁剪图像。还可以通过所述第二裁剪参数对所述第二校正图像进行裁剪,得到所述第二裁剪图像。
步骤143,基于所述第一裁剪图像和所述第二裁剪图像计算所述视差数据,并通过视差数据计算无人车距目标区域中的对象的距离。
上述技术方案中,通过对各个相机组标定裁剪参数,在测距时可以通过对应相机组的裁剪参数对图像进行裁剪。也就是说,可以基于裁剪后的图像进行视差数据的计算,并进而进行距离计算。通过这样的方式,能够减少测距过程中所要处理的图像内容,进而起到提升测距计算速度的效果。
值得说明的是,为了通过图像实现视觉测距,还应当确保两张图像所对应的时间一致。因此,在一种可能的实施方式中,所述对所述第一目标相机拍摄得到的第一图像以及所述第二目标相机拍摄得到的第二图像进行校正之前,还包括:
通过如下方式对所述第一图像以及所述第二图像进行同步:
在所述第一图像的行信号与所述第二图像的行信号的时间偏差大于1行时,分别获取所述第一图像的帧头信息和所述第二图像的帧头信息;
根据所述第一图像的帧头信息和所述第二图像的帧头信息确定所述第一图像和所述第二图像的时间先后顺序;
分别将所述第一图像和所述第二图像写入至帧缓存;
当所述第一图像和所述第二图像中靠后的一者在所述帧缓存中存储完成时,确定所述第一图像和所述第二图像同步。
结合图4,以及图7所示出的一种无人车测距系统的框图进行说明,当用户请求获取重叠区域D的测距数据时,ARM(Advanced RISC Machine)可以发送指令D到嵌入式设备,例如FPGA(Field Programmable Gate Array,现场可编程门阵列)。FPGA例如可以通过switch读取指令获取相机3的图像和相机4的图像,并分别作为第一图像和第二图像。
第一图像和第二图像通过数据处理通路传输到图像同步单元进行同步。其中,在所述第一图像的行信号与所述第二图像的行信号的时间偏差小于1行时,可以通过FIFO(First Input First Output,先入先出)缓存器对所述第一图像和所述第二图像进行缓存同步,在缓存同步之后通过帧存控制器写入至DDR(Double Data Rate RAM,双倍速率同步动态随机存储器)帧存,并确定第一图像和第二图像同步。
在所述第一图像的行信号与所述第二图像的行信号的时间偏差大于1行时,可以分别获取所述第一图像的帧头信息和所述第二图像的帧头信息,并根据所述第一图像的帧头信息和所述第二图像的帧头信息确定所述第一图像和所述第二图像的输入先后顺序。
此外,还可以通过两个FIFO分别将所述第一图像和所述第二图像写入至帧缓存。这样,当所述第一图像和所述第二图像中靠后的一者在所述帧缓存中存储完成时,则可以确定所述第一图像和所述第二图像同步。
值得说明的是,ARM向相机发送图像获取触发信号的时间也可能不一致。例如在一些图像数据融合场景中,向相机3发送的图像获取触发信号的时间可能早于向相机4发送的图像获取触发信号的时间。在这种情况下则无法通过上述方式对图像进行同步。
为此,在一些实施方式中,所述对所述第一目标相机拍摄得到的第一图像以及所述第二目标相机拍摄得到的第二图像进行校正之前,还包括,通过如下方式对所述第一图像以及所述第二图像进行同步:
在第一目标相机的图像获取触发信号早于第二目标相机的图像获取触发信号、且已检测到第一图像的信号的情况下,检测第二目标相机的图像获取触发信号;
在检测到所述第二目标相机的图像获取触发信号、且检测到第二图像的信号时,确定所述第一图像和所述第二图像同步。
示例地,若相机3的图像获取触发信号的时间戳为t1,相机4的图像获取触发信号的时间戳为t2,且t1<t2,则可以确定相机3先触发。
在这种情况下,当相机3的图像获取触发信号拉高后,可以等待相机3的第一图像。当检测到第一图像的场信号时,将初始值为0的计数值+1。此外,还可以在相机3的图像获取触发信号拉高后,等待相机4的图像获取触发信号拉高,并等待相机4的第二图像。当检测到第二图像的场信号,并且计数值=1时,将计数+1。当计数值=2的时候,所述第一图像和第二图像则为同步完成的图片。此外,在一些可能的实施方式中,也可以基于第一图像的行信号来对第一图像进行检测,类似的,也可以通过第二图像的行信号来对第二图像进行检测。在这种情况下,所述行信号可以是对应图像的第一行的信号。
这样,通过上述技术方案来对相机组中各相机拍摄的图像进行同步,能够为视觉测距提供数据基础。
参照图7,参数加载单元还可以根据指令D获取对应相机组的校正参数,并加载对应的参数文件到DDR中准备校正运算使用。在同步完成之后,校正运算模块可以从DDR中读取第一图像、第二图像以及校正参数,进而进行校正运算。在一些实施场景中,校正参数可以包括裁剪参数,校正运算模块根据裁剪参数对第一图像和第二图像进行裁剪,并对裁剪得到的第一裁剪图像和第二裁剪图像进行校正。完成校正后,可以将两张校正后的第一裁剪图像和校正后的第二裁剪图像输出到匹配模块中,在匹配模块中通过SAD等匹配算法得到视差数据和视差图,进而完成图像测距。
另外值得说明的是,对于上述方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本公开并不受所描述的动作顺序的限制。例如,对图像的校正过程和对图像的裁剪过程并无先后之分。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均为示例,所涉及的动作并不一定是本发明所必须的。
基于同一发明构思,本公开还提供一种无人车测距装置。图8是本公开所示出的一种无人车测距装置的框图,装置800包括:
第一确定模块801,用于基于用户输入的测距需求指令,确定需要测距的目标区域;
第二确定模块802,用于从所述无人车上预先标定的多个相机组中确定对应于所述目标区域的目标相机组,所述目标相机组包括第一目标相机以及第二目标相机,每一所述相机组中的各相机之间的视角区域存在重叠;
图像校正模块803,用于对所述第一目标相机拍摄得到的第一图像以及所述第二目标相机拍摄得到的第二图像进行校正;
第一计算模块804,用于基于校正后的第一图像和校正后的第二图像计算视差数据,并通过所述视差数据计算所述无人车距所述目标区域中的对象的距离。
上述技术方案中,可以基于用户输入的测距需求指令确定需要测距的目标区域。这样,可以从无人车上预先标定的多个相机组中确定对应于所述目标区域的目标相机组,并进而获取所述目标相机组中的第一目标相机拍摄得到的第一图像以及第二目标相机拍摄得到的第二图像。通过对所述第一图像和所述第二图像进行校正,可以基于校正后的第一图像和校正后的第二图像计算视差数据,并进而通过所述视差数据计算所述无人车距所述目标区域中的对象的距离。由于上述技术方案中的无人车包括多个预先标定的相机组,因此在测距时,可以基于用户的测距需求定位至对应的相机组,并进而通过该相机组所拍摄的图像进行测距计算。由此,上述技术方案能够满足无人车不同区域的测距需求。
可选地,第一计算模块,包括:
第一获取子模块,用于获取所述目标相机组所对应的目标裁剪参数;
图像裁剪子模块,用于根据所述目标裁剪参数对校正后的第一图像和校正后的第二图像进行裁剪,得到包括所述目标区域的图像的第一裁剪图像和第二裁剪图像;
第一计算子模块,用于基于所述第一裁剪图像和所述第二裁剪图像计算所述视差数据。
可选地,还包括裁剪参数确定模块,用于通过如下方式确定所述目标裁剪参数,所述裁剪参数确定模块包括:
第二获取子模块,用于获取所述第一目标相机拍摄的第一样本图像,以及所述第二目标相机拍摄的第二样本图像;
第三获取子模块,用于获取所述第一样本图像和所述第二样本图像的重叠区域;
第一执行子模块,用于将所述重叠区域在所述第一图像样本中的位置信息作为第一裁剪参数,并将所述重叠区域在所述第二图像样本中的位置信息作为第二裁剪参数,所述目标裁剪参数包括所述第一裁剪参数和所述第二裁剪参数。
可选地,所述图像裁剪子模块,包括:
第一裁剪子单元,用于通过所述第一裁剪参数对所述第一校正图像进行裁剪,得到所述第一裁剪图像;
第二裁剪子单元,用于通过所述第二裁剪参数对所述第二校正图像进行裁剪,得到所述第二裁剪图像。
可选地,所述装置还包括:
第一图像同步模块,用于所述对所述第一目标相机拍摄得到的第一图像以及所述第二目标相机拍摄得到的第二图像进行校正之前,通过如下方式对所述第一图像以及所述第二图像进行同步:在所述第一图像的行信号与所述第二图像的行信号的时间偏差大于1行时,分别获取所述第一图像的帧头信息和所述第二图像的帧头信息;根据所述第一图像的帧头信息和所述第二图像的帧头信息确定所述第一图像和所述第二图像的时间先后顺序;分别将所述第一图像和所述第二图像写入至帧缓存;当所述第一图像和所述第二图像中靠后的一者在所述帧缓存中存储完成时,确定所述第一图像和所述第二图像同步。
可选地,所述装置还包括,第二图像同步模块,用于所述对所述第一目标相机拍摄得到的第一图像以及所述第二目标相机拍摄得到的第二图像进行校正之前,通过如下方式对所述第一图像以及所述第二图像进行同步:
在第一目标相机的图像获取触发信号早于第二目标相机的图像获取触发信号、且已检测到第一图像的信号的情况下,检测第二目标相机的图像获取触发信号;在检测到所述第二目标相机的图像获取触发信号、且检测到第二图像的信号时,确定所述第一图像和所述第二图像同步。
可选地,所述无人车包括多个相机,所述多个相机沿圆周方向间隔设置,且位于同一水平面内,其中,在该圆周方向上的每相邻两个相机均能够作为一组相机组。
本公开还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本公开所提供的无人车测距方法的步骤。
本公开还提供一种无人车,包括本公开所提供的无人车测距装置。
所述无人车可以基于用户输入的测距需求指令确定需要测距的目标区域。这样,可以从无人车上预先标定的多个相机组中确定对应于所述目标区域的目标相机组,并进而获取所述目标相机组中的第一目标相机拍摄得到的第一图像以及第二目标相机拍摄得到的第二图像。通过对所述第一图像和所述第二图像进行校正,可以基于校正后的第一图像和校正后的第二图像计算视差数据,并进而通过所述视差数据计算所述无人车距所述目标区域中的对象的距离。由于上述技术方案中的无人车包括多个预先标定的相机组,因此在测距时,可以基于用户的测距需求定位至对应的相机组,并进而通过该相机组所拍摄的图像进行测距计算。由此,上述技术方案能够满足无人车不同区域的测距需求。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的无人车测距方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。
Claims (10)
1.一种无人车测距方法,其特征在于,所述方法包括:
基于用户输入的测距需求指令,确定需要测距的目标区域;
从所述无人车上预先标定的多个相机组中确定对应于所述目标区域的目标相机组,所述目标相机组包括第一目标相机以及第二目标相机,每一所述相机组中的各相机之间的视角区域存在重叠;
对所述第一目标相机拍摄得到的第一图像以及所述第二目标相机拍摄得到的第二图像进行校正;
基于校正后的第一图像和校正后的第二图像计算视差数据,并通过所述视差数据计算所述无人车距所述目标区域中的对象的距离。
2.根据权利要求1所述的方法,其特征在于,基于校正后的第一图像和校正后的第二图像计算视差数据,包括:
获取所述目标相机组所对应的目标裁剪参数;
根据所述目标裁剪参数对校正后的第一图像和校正后的第二图像进行裁剪,得到包括所述目标区域的图像的第一裁剪图像和第二裁剪图像;
基于所述第一裁剪图像和所述第二裁剪图像计算所述视差数据。
3.根据权利要求2所述的方法,其特征在于,通过如下方式确定所述目标裁剪参数:
获取所述第一目标相机拍摄的第一样本图像,以及所述第二目标相机拍摄的第二样本图像;
获取所述第一样本图像和所述第二样本图像的重叠区域;
将所述重叠区域在所述第一图像样本中的位置信息作为第一裁剪参数,并将所述重叠区域在所述第二图像样本中的位置信息作为第二裁剪参数,所述目标裁剪参数包括所述第一裁剪参数和所述第二裁剪参数。
4.根据权利要求3所述的方法,其特征在于,所述根据所述目标裁剪参数对校正后的第一图像和校正后的第二图像进行裁剪,包括:
通过所述第一裁剪参数对所述第一校正图像进行裁剪,得到所述第一裁剪图像;
通过所述第二裁剪参数对所述第二校正图像进行裁剪,得到所述第二裁剪图像。
5.根据权利要求1所述的方法,其特征在于,所述对所述第一目标相机拍摄得到的第一图像以及所述第二目标相机拍摄得到的第二图像进行校正之前,还包括:
通过如下方式对所述第一图像以及所述第二图像进行同步:
在所述第一图像的行信号与所述第二图像的行信号的时间偏差大于1行时,分别获取所述第一图像的帧头信息和所述第二图像的帧头信息;
根据所述第一图像的帧头信息和所述第二图像的帧头信息确定所述第一图像和所述第二图像的时间先后顺序;
分别将所述第一图像和所述第二图像写入至帧缓存;
当所述第一图像和所述第二图像中靠后的一者在所述帧缓存中存储完成时,确定所述第一图像和所述第二图像同步。
6.根据权利要求1所述的方法,其特征在于,所述对所述第一目标相机拍摄得到的第一图像以及所述第二目标相机拍摄得到的第二图像进行校正之前,还包括,通过如下方式对所述第一图像以及所述第二图像进行同步:
在第一目标相机的图像获取触发信号早于第二目标相机的图像获取触发信号、且已检测到第一图像的信号的情况下,检测第二目标相机的图像获取触发信号;
在检测到所述第二目标相机的图像获取触发信号、且检测到第二图像的信号时,确定所述第一图像和所述第二图像同步。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述无人车包括多个相机,所述多个相机沿圆周方向间隔设置,且位于同一水平面内,其中,在该圆周方向上的每相邻两个相机均能够作为一组相机组。
8.一种无人车测距装置,其特征在于,包括:
第一确定模块,用于基于用户输入的测距需求指令,确定需要测距的目标区域;
第二确定模块,用于从所述无人车上预先标定的多个相机组中确定对应于所述目标区域的目标相机组,所述目标相机组包括第一目标相机以及第二目标相机,每一所述相机组中的各相机之间的视角区域存在重叠;
图像校正模块,用于对所述第一目标相机拍摄得到的第一图像以及所述第二目标相机拍摄得到的第二图像进行校正;
第一计算模块,用于基于校正后的第一图像和校正后的第二图像计算视差数据,并通过所述视差数据计算所述无人车距所述目标区域中的对象的距离。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
10.一种无人车,其特征在于,包括权利要求8所述的无人车测距装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110926836.4A CN113706479B (zh) | 2021-08-12 | 2021-08-12 | 无人车测距方法、装置、存储介质及无人车 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110926836.4A CN113706479B (zh) | 2021-08-12 | 2021-08-12 | 无人车测距方法、装置、存储介质及无人车 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113706479A true CN113706479A (zh) | 2021-11-26 |
CN113706479B CN113706479B (zh) | 2022-09-09 |
Family
ID=78652513
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110926836.4A Active CN113706479B (zh) | 2021-08-12 | 2021-08-12 | 无人车测距方法、装置、存储介质及无人车 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113706479B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10051180B1 (en) * | 2016-03-04 | 2018-08-14 | Scott Zhihao Chen | Method and system for removing an obstructing object in a panoramic image |
CN109421600A (zh) * | 2017-08-29 | 2019-03-05 | Lg电子株式会社 | 车辆用环视提供装置及车辆 |
CN110827361A (zh) * | 2019-11-01 | 2020-02-21 | 清华大学 | 基于全局标定架的相机组标定方法及装置 |
CN111383255A (zh) * | 2018-12-29 | 2020-07-07 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN111862225A (zh) * | 2019-04-30 | 2020-10-30 | 罗伯特·博世有限公司 | 图像标定方法、标定系统以及具有该系统的车辆 |
US10867190B1 (en) * | 2019-11-27 | 2020-12-15 | Aimotive Kft. | Method and system for lane detection |
CN112639864A (zh) * | 2020-05-19 | 2021-04-09 | 华为技术有限公司 | 用于测距的方法和装置 |
CN113014899A (zh) * | 2019-12-20 | 2021-06-22 | 杭州海康威视数字技术股份有限公司 | 一种双目图像的视差确定方法、装置及系统 |
-
2021
- 2021-08-12 CN CN202110926836.4A patent/CN113706479B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10051180B1 (en) * | 2016-03-04 | 2018-08-14 | Scott Zhihao Chen | Method and system for removing an obstructing object in a panoramic image |
CN109421600A (zh) * | 2017-08-29 | 2019-03-05 | Lg电子株式会社 | 车辆用环视提供装置及车辆 |
CN111383255A (zh) * | 2018-12-29 | 2020-07-07 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN111862225A (zh) * | 2019-04-30 | 2020-10-30 | 罗伯特·博世有限公司 | 图像标定方法、标定系统以及具有该系统的车辆 |
CN110827361A (zh) * | 2019-11-01 | 2020-02-21 | 清华大学 | 基于全局标定架的相机组标定方法及装置 |
US10867190B1 (en) * | 2019-11-27 | 2020-12-15 | Aimotive Kft. | Method and system for lane detection |
CN113014899A (zh) * | 2019-12-20 | 2021-06-22 | 杭州海康威视数字技术股份有限公司 | 一种双目图像的视差确定方法、装置及系统 |
CN112639864A (zh) * | 2020-05-19 | 2021-04-09 | 华为技术有限公司 | 用于测距的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113706479B (zh) | 2022-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109920011B (zh) | 激光雷达与双目摄像头的外参标定方法、装置及设备 | |
EP3792660B1 (en) | Method, apparatus and system for measuring distance | |
US11173841B2 (en) | Multicamera system for autonamous driving vehicles | |
JP2019510234A (ja) | 奥行き情報取得方法および装置、ならびに画像取得デバイス | |
JP5293131B2 (ja) | 車両用複眼距離測定装置及び複眼距離測定方法 | |
KR20150101749A (ko) | 객체의 3차원 형상을 산출하는 장치 및 방법 | |
JP2007263669A (ja) | 3次元座標取得装置 | |
WO2011125937A1 (ja) | キャリブレーションデータ選択装置、選択方法、及び選択プログラム、並びに三次元位置測定装置 | |
CN110969666B (zh) | 双目相机深度标定方法、装置、系统和存储介质 | |
ES2894935T3 (es) | Aparato de medición de distancias tridimensionales y procedimiento para el mismo | |
KR20210087495A (ko) | 센서 데이터 처리 방법, 장치, 전자 기기 및 시스템 | |
JP2019067150A (ja) | 周辺監視装置および周辺監視方法 | |
US11205281B2 (en) | Method and device for image rectification | |
CN112837207A (zh) | 全景深度测量方法、四目鱼眼相机及双目鱼眼相机 | |
CN109658451B (zh) | 一种深度感知方法,装置和深度感知设备 | |
JP7140291B2 (ja) | 同期装置、同期方法、同期プログラム | |
CN113706479B (zh) | 无人车测距方法、装置、存储介质及无人车 | |
EP3640585B1 (en) | Stereo camera device | |
JPH07152914A (ja) | 車輌用距離検出装置 | |
EP4235574A1 (en) | Measuring device, moving device, measuring method, and storage medium | |
KR101995344B1 (ko) | 사각지역이 없는 듀얼 깊이 카메라 모듈 | |
US10726528B2 (en) | Image processing apparatus and image processing method for image picked up by two cameras | |
WO2015182771A1 (ja) | 撮像装置、画像処理装置、画像処理方法およびコンピュータプログラム | |
JP6241083B2 (ja) | 撮像装置及び視差検出方法 | |
JP5395373B2 (ja) | 周辺監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |