CN112216067B - 一种基于车载广角相机的图像处理方法 - Google Patents

Abstract

本公开涉及一种基于车载广角相机的图像处理方法，应用于车辆。所述广角相机安装于车辆驾驶仓前挡风玻璃后面上方，所述广角相机的镜头朝向下方，利用广角镜头的视角大的特征，同时采集车内和车外四周360度环视图像。通过图像处理程序，包括环视图像采集、图像畸变校正、区域划分、预警检测和告警5个模块程序，可同时对车内和车外的危险情况进行预警检测，车内主要对驾驶员疲劳驾驶和遗留儿童进行检测，车外可对车前、车左、车右和车后的行人或车辆目标进行检测，然后通过无线通讯和车内告警装置进行危险情况告警。该图像处理方法只用一个广角相机就完成了对车辆360度的全方面监测，实现了目前市场上多相机的辅助驾驶方案，大大节约了辅助驾驶的成本。

Description

一种基于车载广角相机的图像处理方法

技术领域

本发明涉及一种基于车载广角相机的图像处理方法，用一个广角相机实现对车辆水平方向360度全方位监测，监测范围包括车内和车外四周，车内对驾驶员疲劳状态和遗留儿童进行监测，车外对车前、车左、车右和车后进行监测，监测对象包括行人、车辆等能影响车辆行驶安全的障碍物。

背景技术

目前市场上的ADAS产品对车辆每一个方向的监测至少用一个相机实现，车辆行驶方向和车内监测分别用一个相机，车辆四周的监测用安装在车辆四周不同位置的4个广角相机拼接成全景图实现。

现在的解决方案需要多相机完成，对软件算法、传输设备和处理设备要求高，整个解决方案成本昂贵。

发明内容

为克服目前ADAS产品实现车辆全方位监测所需软硬件复杂度高和成本昂贵问题，本发明提供一种图像处理方法，只用一个广角相机完成车内和车外四周的监测功能，大大降低系统的复杂度和成本。

为了实现上述目的，本公开提供一种基于车载广角相机的图像处理方法，应用于车辆，其特征在于，所述广角相机安装于驾驶仓内前挡风玻璃后面上方，所述广角相机的镜头朝向下方。

所述方法包括：环视图像采集模块，采集车内（驾驶员脸部、遗留儿童等）和车外（前、后、左、右）环视360度的影像；图像畸变校正模块，用于将广角镜头采集的图像进行畸变校正，恢复正常成像特征；区域划分模块:用于将采集的环视图像划分为车内区域（驾驶员和遗留儿童）和车外（车前、车左、车右和车后）各方向的区域；预警检测模块，在已经划分好的区域图像内进行危险信息检测，将检测到的危险信息传输到告警模块；告警模块，对监测到的危险情况进行报警。

可选地，所述图像畸变校正模块包括球面投影子模块和平面逆投影子模块，球面投影子模块用于将采集到的环视图像投影到球面模型中，得到球面图像，平面逆投影子模块，用于将所述球面图像投影到平面模型中，得到所述平面图像。

可选地，所述区域划分模块包括环视图像粗划分子模块和环视图像细划分子模块，环视图像粗划分子模块将水平360度的图像粗略划分出车内（驾驶员和遗留儿童）和车外（车前、车左、车右和车后）区域，环视图像细划分子模块，利用图像处理算法得到精细的车内（驾驶员和遗留儿童）和车外（车前、车左、车右和车后）区域。

可选地，所述预警检测模块包括预警算法选择子模块和预警结果传输子模块，预警算法选择子模块用于根据图像的不同区域选择对应的预警算法进行处理，预警结果传输子模块，用于将预警算法检测结果传输到告警模块。

可选地，所述告警模块包括告警信息分类子模块和告警信号选择及输出子模块，告警信息分类子模块用于区别危险信息的类型和发生区域，告警信号选择及输出子模块，用于选择针对不同的类型和不同区域的危险信息选择相应的信号，并输出到告警装置。

通过上述技术方案，从广角相机采集的车内和车辆周围环视图像进行投影并按所处的位置进行分割，对不同位置的图像选择相应的预警算法进行告警。这样利用安装在车辆驾驶仓内的一部广角相机，就实现了对车辆内部和外部四周环境的监测，降低了系统实现的复杂度，节约了成本。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。

在附图中：

图1是一示例性实施例提供的用于基于车载广角相机的图像处理方法的流程图；

图2是一示例性实施例提供的对广角相机采集的环视畸变图像校正的流程图；

图3是一示例性实施例提供的对环视图像进行区域划分的流程图；

图4是一示例性实施例提供的广角相机环视图像区域划分图的示意图；

图5是一示例性实施例提供的对各区域图像进行预警检测的流程图；

图6是一示例性实施例提供的对危险信息进行告警的流程图；

图7是一示例性实施性提供的图像告警装置显示界面示意图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。

应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

在本公开中，在未作相反说明的情况下，使用的方位词如“上、下、左、右”通常是指在车辆行驶过程中，相对于驾驶员的方位。

本公开中，广角相机安装于车辆驾驶仓内前挡风玻璃后面上方，所述广角相机的镜头朝向下方。

用一个广角相机实现对车辆水平方向360度全方位监测，监测范围包括车内和车外四周，车内对驾驶员疲劳状态和遗留儿童进行监测，车外对车前、车左、车右和车后进行监测，监测对象包括行人、车辆等能影响车辆行驶安全的障碍物。

图1是一示例性实施例提供的用于基于车载广角相机的图像处理方法流程图，如图1所示，所述方法可以包括以下步骤。

在步骤S11中，获取广角相机采集的环视图像。

如上所述，环视图像是通过安装在驾驶仓内前挡风玻璃后面上方的广角相机采集的，由于其广角特性及镜头向下的安装方式，可以采集以镜头为中心的水平方向360度，垂直方向200度左右以下的图像，这样就可以采集车内场景的图像，包括驾驶员和遗留儿童等遗留物，同时透过窗户可以采集车前、车左、车右和车后四个车外方向的图像。

在步骤S12中，对采集的环视图像进行畸变校正，转换成平面图像。

如上所述，由于相机镜头的广角特征，所以采集的图像是发生畸变的图像，根据畸变校正算法可以将畸变图像转换为平面图像，消除畸变。

在步骤S13中，对平面图像进行区域划分，确定车辆车内和车外各方向的成像区域。

如上所述，利用S11步骤中获取的环视图像和S12中转换的平面图像，利用图像处理的算法确定转换的平面图像中与车辆车内和车外各方向相对应的区域，以明确车辆车内和车外各方向的场景内容是什么。

在步骤S14中，在各成像区域采用相应的预警算法进行危险情况检测，并将结果传输给预警模块。

如上所述，利用S13步骤得到的区域划分后的图像，针对不同区域采取不同的预警算法，检测不同的危险情况。

划分区域后的图像共包括六个区域部分，车内包括驾驶员和遗留儿童，车外包括车前、车左、车右和车后四个方向。

车内驾驶员主要进行疲劳状态检测，遗留儿童主要检测车内是否有遗留的儿童。

车外四个方向主要利用车辆、行人等障碍物检测算法进行目标检测，是否对车辆的正常行驶造成威胁。

在步骤S15中，将检测到的危险信息以声音、图像或即时通信的方式通知相关人员。

如上所述，该部分主要是进行报警，通知驾驶员、遗留儿童监护人等相关人员所述车辆正在发生的危险，使相关人员提前采取措施，避免悲剧的发生。

报警方式分为三种，声音、图像的方式用于在车内向驾驶员报警，即时通信方式用于通知驾驶员和遗留儿童监护人存在遗留儿童风险。

通过以上技术方案，将广角相机安装于车辆驾驶仓内前挡风玻璃后面上方位置且镜头向下，首先采集车内和车外的环视图像，然后将环视图像转换为平面图像，利用采集的环视图像和转换的平面图像，利用图像处理算法划分车内和车外高风险区域的场景图像区域，对于不同区域采用相应的预警检测算法进行危险检测，将有危险的检测结果给驾驶员和遗留儿童监护人进行告警，提高车辆行驶和环境安全保障。

图2是一示例性实施例提供的对采用的畸变环视图像进行校正的流程图。

如图2所示，将环视图像投影到平面模型得到平面图像的步骤（步骤S12）包括如下步骤。

在步骤S121中，将环视图像投影到球面模型中，得到球面图像。

如上所述，将环视图像投影到球面模型中，例如可以根据等距投影的方法来完成。

在步骤S122中，将球面图像逆投影到平面模型中，得到平面图像。

具体地，可以将球面图像投影到车辆的前、后、左、右四个平面上，得到四个平面图。

每个平面对应的视角为90度。

可以通过光源逆映射法，将球面图像投影到相切的外接平面上。

也就是，通过球心的直线，将其穿过的球面上的像素点映射到所穿过的平面上的点，但在实际操作过程中，不是直接从球面上的像素投影到平面上的点，而是从平面上的点逆向投影到球面模型表面的点，由平面的点向球心做直线，与球面相交的点即为平面点对应球点面点。

这样可以去除非逆向投影方法最后需要平面图像进行插值运算的步骤，提高计算效率和图像的保真度。

图3是一示例性实施例提供的对环视图像进行区域划分的流程图。

如图3所示，结合环视图像和平面图像对平面图像进行区域划分，确定所述车辆车内和车外各方向的对应的图像区域的步骤（S13）包括如下步骤。

在步骤S131中，对获取的环视图像所对应的所述车辆车内和车外各方向区域进行粗划分。

如上所述，图4是一示例性实施例提供的广角相机环视图像区域划分图的示意图,将获取的环视图像粗略划分为车内（驾驶员和遗留儿童）和车外（车前、车左、车右和车后）区域，一共4个大区域，每个区域大约占90度。

驾驶员和遗留儿童的区域与车外区域会有重叠。

最前面两小段斜直线部分的图像为车前图像，分开两侧的，左侧为车左图像和驾驶员图像，右侧为车右图像，最下面两条斜线段之间的部分为车后和遗留儿童图像。

通过这种技术方案，可以粗略的定位车内和车外各方向在环视图像上的成像区域，实现了环视图像成像区域的粗划分。

在步骤S132中，通过图像处理算法进行图像区域自动细划分。

如上所述，可以利用图像处理中的自动分割算法，对图像的前景和背景进行自动分割，前景部分即为车外场景，背景部分即为车内场景，根据步骤S131中得到粗划分结果，就可以将粗划分部分中的前景和背景分割出来，也就是可以将车内和车外场景精细的划分出来。

例如，在一实施例中，通过最大熵或最大类间方差图像自动分割算法，对采集的环视图像进行自动分割。

首先将环视图像灰度化，然后执行最大熵或最大类间方差自动图像分割算法，将图像分割成二值图。

所得到的二值图作为掩膜与S131步骤粗划分的结果进行与操作，就可以确定车辆车内和车外部分各方向精细的场景图像。

掩膜图像中白色部分对应的环视图像部分即为该方向细划分的车外某方向的图像，掩膜中黑色部分对应的环视图像部分即为该方向细划分的车内驾驶员或遗留儿童的细划分的图像。

通过细划分，确定了车辆车内车外各方向的精细图像区域，方便有针对性的选择相应预警检测算法，提高算法的执行效率和提高算法的识别率。

图5是一示例性实施例提供的对各区域图像进行预警检测的流程图。

如图5所示，将各区图像预警检测并传输的步骤（步骤S14）包括如下步骤。

在步骤141中，针对不同的图像区域选择相应的预警算法并执行检测。

如上所述，针对车内（驾驶员和遗留儿童）和车外（车前、车左、车右和车后）方向选择不同的预警算法，针对驾驶员主要选择驾驶员疲劳检测算法，遗留儿童选择行人检测算法，车外选择车辆和行人检测算法，输出算法的检测结果。

例如，在一实施例中，驾驶员疲劳检测算法通过检测眼部闭合的频率来判断驾驶员是否处于疲劳状态。

车内遗留儿童和车外车辆和行人的检测采用深度学习卷积神经网络算法对目标进行检测。

车外目标除了进行目标检测外，还进行基于单目相机的深度估计，估计出目标的距离，并通过卡尔曼滤波进行目标跟踪，得到目标精确的位置和速度，从而判断目标对所述车辆的危险性。

在步骤142中，对步骤S141的检测结果进行危险性判断，并传输给报警模块。

如上所述，对S141步骤的检测结果，即驾驶员疲劳驾驶、遗留儿童、车外行人和车辆与所述车辆的距离和速度进行判断，对危险情况则进行输出。

例如，在一实施例中，只要有检测到驾驶员眼睛闭合超过设定的阈值则认为有疲劳驾驶。

遗留儿童的认定则是只要在车辆关停情况下，车内还有儿童，则认为有遗留儿童危险情况。

车外行人和车辆与所述车辆的TTC<2.5秒，则认为是危险情况。

TTC指的是目标与所述车辆发生碰撞的时间，计算公式为：目标与所述车辆距离/目标与所述车辆相对速度。

这些危险情况传输到报警模块。

图6是一示例性实施例提供的对危险信息进行告警的流程图。

如图6所示，将危险信息进行告警的步骤（步骤S15）包括如下步骤。

在步骤151中，对危险信息的类型和发生区域进行判断。

如上所述，首先判断是车内还是车外危险信息，如果是车内，则判断是驾驶员疲劳驾驶还是遗留儿童。

如果是车外，区分发生区域。

在步骤152中，针对危险信息的类型和区域，选择告警信号类型并输出到告警装置。

如上所述，根据步骤151中确定的信号类型和区域，选择对应的信号类型和发送方式，发送到指定告警装置。

例如，在一实施例中，告警信息分为声音、图像和即时通信信息，儿童遗留危险信息除了进行声音和图像告警外，还要通过即时通信的方式告之驾驶员和儿童监护人。

图像的告警方式，按区域进行告警。

如图7是一示例性实施性提供的图像告警装置显示界面示意图，为车内告警装置的显示界面示意图。

图像告警界面分成六部分，对应车辆不同区域，车辆的哪个区域发生危险，则在告警界面相应区域给出告警图像信号，同时声音装置发出声音告警。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。

为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (3)

1.一种基于车载广角相机的图像处理方法，应用于车辆，其特征在于，所述广角相机安装于驾驶仓内前挡风玻璃后面上方，所述广角相机的镜头朝向下方，所述方法包括：环视图像采集模块,采集车内驾驶员脸部和遗留儿童影像，同时采集车外前后左右环视360度的影像；图像畸变校正模块,用于将广角镜头采集的图像进行畸变校正，恢复正常成像特征，该模块分为球面投影和平面逆投影两个子模块，球面投影子模块用于将采集到的环视图像投影到球面模型中，得到球面图像，平面逆投影子模块用于将所述球面图像投影到平面模型中，得到所述平面图像，平面逆投影子模块通过光源逆映射法将球面图像投影到相切的外接平面上，也就是，通过球心的直线，将其穿过的球面上的像素点映射到所穿过的平面上的点，但在实际操作过程中，不是直接从球面上的像素投影到平面上的点，而是从平面上的点逆向投影到球面模型表面的点，由平面的点向球心做直线，与球面相交的点即为平面点对应球面点；区域划分模块，用于将采集的环视图像划分为不同的成像区域，车内区域包括驾驶员和车内空间，用于监测驾驶员是否疲劳驾驶和是否有儿童遗留，车外区域包括车前、车左、车右和车后，该模块结合环视图像和平面图像对平面图像进行区域划分，确定所述车辆车内和车外各方向的对应的图像区域，分为环视图像粗划分子模块和环视图像细划分子模块，环视图像粗划分子模块对获取的环视图像所对应的所述车辆车内和车外各方向区域进行粗划分，将获取的环视图像粗略划分为车内驾驶员和遗留儿童，和车外前后左右一共4个大区域，每个区域大约占90度，驾驶员和遗留儿童的区域与车外区域会有重叠，最前面两小段斜直线部分的图像为车前图像，分开两侧的，左侧为车左图像和驾驶员图像,右侧为车右图像,最下面两条斜线段之间的部分为车后和遗留儿童图像，通过这种技术方案,可以粗略的定位车内和车外各方向在环视图像上的成像区域，实现了环视图像成像区域的粗划分，环视图像细划分子模块通过图像处理算法进行图像区域自动细划分，利用图像处理中的自动分割算法对图像的前景和背景进行自动分割,前景部分即为车外场景，背景部分即为车内场景，根据粗划分结果，就可以将粗划分部分中的前景和背景分割出来，也就是可以将车内和车外场景精细的划分出来，通过最大熵或最大类间方差图像自动分割算法，对采集的环视图像进行自动分割，首先将环视图像灰度化,然后执行最大熵或最大类间方差自动图像分割算法，将图像分割成二值图，所得到的二值图作为掩膜与粗划分的结果进行与操作，就可以确定车辆车内和车外部分各方向精细的场景图像，掩膜图像中白色部分对应的环视图像部分即为该方向细划分的车外某方向的图像,掩膜中黑色部分对应的环视图像部分即为该方向细划分的车内驾驶员或遗留儿童的细划分的图像；预警检测模块，在已经划分好的区域图像内进行危险信息检测，将检测到的危险信息传输到预警模块；告警模块，对监测到的危险情况进行告警。

2.根据权利要求1所述的方法，其特征在于，所述预警检测模块包括预警算法选择子模块和预警结果传输子模块，预警算法选择子模块用于根据图像的不同区域选择对应的预警算法进行处理，预警结果传输子模块用于将预警算法检测结果传输到预警模块。

3.根据权利要求1所述的方法，其特征在于，所述预警模块包括告警信息分类子模块和告警信号选择及输出子模块，告警信息分类子模块用于区别危险信息的类型和发生区域，告警信号选择及输出子模块用于选择针对不同类型和不同区域的危险信息选择相应的信号，并输出到告警装置。

Images