CN115147797A - 一种电子外后视镜视野智能调整方法、系统和介质 - Google Patents

一种电子外后视镜视野智能调整方法、系统和介质 Download PDF

Info

Publication number
CN115147797A
CN115147797A CN202210842882.0A CN202210842882A CN115147797A CN 115147797 A CN115147797 A CN 115147797A CN 202210842882 A CN202210842882 A CN 202210842882A CN 115147797 A CN115147797 A CN 115147797A
Authority
CN
China
Prior art keywords
image
mask
training
vehicle body
electronic exterior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210842882.0A
Other languages
English (en)
Other versions
CN115147797B (zh
Inventor
宋景良
张贵平
李光
汤鹏飞
瞿爱敬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongfeng Motor Group Co Ltd
Original Assignee
Dongfeng Motor Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongfeng Motor Group Co Ltd filed Critical Dongfeng Motor Group Co Ltd
Priority to CN202210842882.0A priority Critical patent/CN115147797B/zh
Publication of CN115147797A publication Critical patent/CN115147797A/zh
Application granted granted Critical
Publication of CN115147797B publication Critical patent/CN115147797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种电子外后视镜视野智能调整方法、系统和介质，包括对电子外后视镜的摄像头所拍摄的多张图像输入到深度学习训练的图像分割网络中，获得每张图像对应的车体掩模和地面掩模；根据每张图片的车体和地面掩模分别得到车体掩模中X向最大值的点和地面掩模中Y向最大值的点，进而拟合出调整图像基准点O；将摄像头图像经过放缩后映射至电子外后视镜系统的屏幕显示图像中，当基准点O’和O点重合时则完成电子外后视镜视野的调整。本发明通过分析摄像头图像自动寻找特征点实现屏幕图像的自适应调整，免去了手工操作的繁琐。同时一旦设置并保存后，在各种复杂的工况环境，都能恢复至设置状态，有效提升驾驶员的辅助驾驶体验。

Description

一种电子外后视镜视野智能调整方法、系统和介质
技术领域
本发明属于电子外后视镜视野调整技术领域，具体涉及一种电子外后视镜视野智能调整方法、系统和介质。
背景技术
电子外后视镜是用摄像头和屏幕的组合取代传统的光学后视镜的汽车新技术产品，具备低风阻、宽视野、受天气和外部光线影响小等优点。
目前的电子外后视镜，初始的视野范围，依靠摄像头的安装位置和视野原始参数决定，后期驾驶员根据自身情况，手动调整至合适位置。车辆在行驶中经过长期的汽车震动或者事故维修后，屏幕显示图像偏离，需要再次手动调整，较为繁琐。
发明内容
为了解决电子外后视镜显示视野需要手动调整且较为繁琐的问题，本发明提出一种电子外后视镜视野智能调整方法、系统和介质。
实现本发明目的之一的一种电子外后视镜视野智能调整方法，包括如下步骤：
S1、将电子外后视镜的摄像头所拍摄的图像输入到经过深度学习训练的图像分割模型中，获得图像对应的车体掩模和地面掩模，所述车体掩模为车体轮廓的像素点矩阵，所述地面掩模为地面轮廓的像素点矩阵；
S2、根据图像的车体掩模和地面掩模得到图像的基准点O的像素点坐标(xmax，ymax)，其中xmax为车体掩模中的像素点坐标中X向的极值，其中ymax为地面掩模中的像素点坐标中Y向的极值；所述X向为平面像素的水平方向；所述Y向为平面像素的垂直方向；
S3、设定屏幕显示图像基准点O’的像素坐标(x’，y’)；
S4、将摄像头图像映射至电子外后视镜系统的屏幕显示图像中，当基准点O’和O点重合时，则表示完成电子外后视镜视野的调整。
进一步地，所述步骤S1中图像分割模型的深度学习训练的方法之一包括：
S101、对电子外后视镜的摄像头所拍摄的多张图像中的车体、地面和天空逐一进行语义分割标注，得到用于训练图像分割模型的图像分割基准；
S102、将上述进行了语义分割标注的图像划分为用于训练图像分割模型的训练集、测试集和验证集，通过调整图像分割模型中的学习率、迭代次数值对模型进行训练，得到训练后的图像分割模型，所述图像分割模型用于读取每张图像得到每张图像中对应的车体掩模和地面掩模。
更进一步地，所述步骤S102前还包括：对进行了语义分割标注的图像进行数据增广操作，获得由多张图像组成的数据集，所述数据增广操作用于提高图像分割模型的精确度。
更进一步地，所述步骤S101前还包括：对电子外后视镜的摄像头所拍摄的每张图像进行预处理；所述预处理包括：对电子外后神镜的摄像头所拍摄图像经过变形矫正后形成统一尺寸的图像。
进一步地，所述步骤S1中图像分割模型的深度学习训练的方法之二包括：
S1.1、对电子外后视镜的摄像头所拍摄的多张图像中的车体、地面和天空逐一进行语义分割标注，得到用于训练图像分割模型的图像分割基准；
S1.2、对进行了语义分割标注的图像进行数据增广操作，获得由多张图像组成的数据集，所述数据增广操作用于提高图像分割模型的精确度，包括对图像进行随机旋转、缩放、歪斜、扭曲、裁剪、翻转；
S1.3、将上述进行了数据增广操作后得到的多张图像划分为用于训练图像分割模型的训练集、测试集和验证集，通过调整图像分割模型中的学习率、迭代次数值对模型进行训练，得到训练后的图像分割模型，所述图像分割模型用于根据输入的图像得到图像中的车体掩模和地面掩模。
进一步地，所述步骤S1中的图像分割模型为基于U-Net网络的模型。
实现本发明目的之二的一种电子外后视镜视野智能调整系统，包括掩模获取模块、基准点获取模块和视野调整模块；
所述掩模获取模块用于将电子外后视镜的摄像头所拍摄的图像输入到经过深度学习训练的图像分割模型中，获得图像对应的车体掩模和地面掩模，所述车体掩模为车体轮廓的像素点矩阵，所述地面掩模为地面轮廓的像素点矩阵；
所述基准点获取模块用于根据图像的车体掩模和地面掩模得到图像的基准点O的像素点坐标(xmax，ymax)，其中xmax为车体掩模中的像素点坐标中X向的极值，其中ymax为地面掩模中的像素点坐标中Y向的极值；所述X向为平面像素的水平方向；所述Y向为平面像素的垂直方向；
所述视野调整模块用于根据设定的屏幕显示图像基准点O’(x’，y’)，将摄像头图像映射至电子外后视镜系统的屏幕显示图像中，直至基准点O’和O点重合。
进一步地，所述语义分割标注模块用于对电子外后视镜的摄像头所拍摄的图像中车体、地面和天空逐一进行语义分割标注，得到用于训练图像分割模型的图像分割基准；
所述模型训练模块用于将通过语义分割标注模块进行了语义分割标注的图像划分为用于训练图像分割模型的训练集、测试集和验证集，通过调整图像分割模型中的学习率、迭代次数值对模型进行训练，得到训练后的图像分割模型，所述图像分割模型用于根据电子外后视镜的摄像头所拍摄的图像得到所述图像对应的车体掩模和地面掩模。
进一步地，还包括数据增广模块和预处理模块，所述数据增广模块用于对电子外后视镜的摄像头所拍摄的图像或经过预处理模块处理的图像进行数据增广操作，获得由多张图像组成的数据集，所述数据增广操作用于提高图像分割模型的精确度；所述预处理模块用于对电子外后视镜的摄像头所拍摄的每张图像或经过数据增广模块进行数据增广后得到的图像进行预处理；所述预处理包括：对图像经过变形矫正后形成统一尺寸的图像。
实现本发明目的之三的一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述电子外后视镜视野智能调整方法的任一步骤。
有益效果：
利用本发明所述的系统和方法，通过分析摄像头图像自动寻找特征点实现屏幕图像的自适应调整，免去了手工操作的繁琐。同时一旦设置并保存后，在各种复杂的工况环境，都能恢复至设置状态，有效提升驾驶员的辅助驾驶体验。
附图说明
图1是本发明所述方法的流程图；
图2是本发明所述系统的框图；
图3是后视镜图像分割示意图；
图4是电子外后视镜系统的显示屏的屏幕O’点示意图；
图5是图像显示示意图。
具体实施方式
下列具体实施方式用于对本发明权利要求技术方案的解释，以便本领域的技术人员理解本权利要求书。本发明的保护范围不限于下列具体的实施结构。本领域的技术人员做出的包含有本发明权利要求书技术方案而不同于下列具体实施方式的也是本发明的保护范围。
下面结合图1～5讲述本发明所述方法的实施例。
如图1所示，首先，接收电子外后视镜标定的触发信号，所述触发信号采用实体按键或者触摸屏幕虚拟按键触发；
S1、对电子外后神镜的摄像头所拍摄图像进行预处理，经过变形矫正后形成统一尺寸的长方形图像；
将预处理后的图像输入到一个深度学习训练的图像分割模型中，获得图像对应的车体掩模和地面掩模；本实施例中的图像分割模型基于U-Net网络，对图像分割模型进行深度学习训练的方法如下：
S1.1、对电子外后视镜的摄像头所拍摄的多张图像中的车体、地面和天空逐一进行语义分割标注，得到用于训练图像分割模型的图像分割基准；所述语义分割标注可以借助语义标注工具，也可以手工标注，在此不作赘述；
S1.2、对进行了语义分割标注的图像进行数据增广操作，获得由多张图像组成的数据集，所述数据增广操作用于提高图像分割模型的精确度，包括对图像进行随机旋转、缩放、歪斜、扭曲、裁剪、翻转；
S1.3、将上述进行了数据增广操作后得到的多张图像划分为用于训练图像分割模型的训练集、测试集和验证集，通过调整图像分割模型中的学习率、迭代次数值对模型进行训练，得到训练后的图像分割模型，所述图像分割模型用于根据输入的图像得到图像中的车体掩模和地面掩模；
其中采用计算两个样本的相似度Dice Loss作为模型训练过程中的损失函数，当损失函数收敛到设定范围或设定值时，则认为模型训练完毕，损失函数的表达式为：
Figure BDA0003751037270000071
式中：
pred为图像分割模型输出的车体轮廓和地面轮廓的像素点矩阵的预测值的集合；
true为借助语义标注工具或手工标注标注的车体轮廓和地面轮廓的像素点矩阵的真实值的集合；
式中分子为pred和true之间的交集，由于分母存在重复计算pred和true之间的共同元素的原因，为了保证计算后整体的取值范围在[0-1]之间，因此需要乘以2。
pred∩true举例如下所示：
Figure BDA0003751037270000072
图片像素矩阵经过图像分割模型后，会输出一个pred值矩阵，然后将pred值矩阵和true值矩阵进行dice的比较计算，得出pred和true值之间的相似度Dice，相似度Dice的值越高，代表所述模型的精度越高。
S2、根据图像的车体掩模和地面掩模得到图像的基准点O的像素点坐标(xmax，ymax)，其中xmax为车体掩模中的像素点坐标中X向的极值，其中ymax为地面掩模中的像素点坐标中Y向的极值；
所述X向为图像的平面像素的水平方向；所述Y向为图像的平面像素的垂直方向，在本实施例中，以驾驶员的位置位于驾驶舱左侧的左舵车为例，讲述基准点O的像素点坐标(xmax，ymax)中xmax和ymax的取值方法：
以驾驶员的位置所在的左侧的摄像头所拍摄图像为例，以图像右下角为原点建立以像素为单位的坐标系X-Y，X向正向为水平向左，Y向正向为垂直向上；那么xmax为车体掩模的像素点坐标矩阵中最左边的像素点坐标对应的X坐标的值，即X向的最大值；同理，ymax为地面掩模的像素点坐标矩阵中最上面的像素点坐标对应的Y坐标的值，即Y向的最大值；
以副驾驶员的位置所在的右侧的摄像头所拍摄图像为例，以图像左下角为原点建立以像素为单位的坐标系X-Y，X向正向为水平向右，Y向正向为垂直向上；那么xmax为车体掩模的像素点坐标矩阵中最右边的像素点坐标对应的X坐标的值，即X向的最大值；同理，ymax为地面掩模的像素点坐标矩阵中最上面的像素点坐标对应的Y坐标的值，即Y向的最大值；
要说明的是，本发明不限于上述对基准点O的定义方式，还可以有别的定义方式，如原点的定义不同，正负方向的定义不同，那么极值的定义也会相应有所变化，但只要与本发明构思相同的定义方案都落入本发明的保护范围。
S3、如图4所示，设定屏幕显示图像基准点O’的像素坐标(x’，y’)，本实施例中，x’设定为电子外后视镜系统的屏幕宽度W的a倍所对应的X向的坐标值，y’设定为电子外后视镜系统的屏幕高度H的b倍所对应的Y向的坐标值，a可以取0.3，b可以取0.5，但不限于此值，根据驾驶员的习惯自行设定，本发明对此不作限定；
S4、如图5所示，将摄像头图像映射至电子外后视镜系统的屏幕显示图像中，当基准点O’和O点重合时，则表示完成电子外后视镜视野的调整。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本申请实施例还提供一个电子外后视镜视野智能调整系统的实施例，如图2所示，包括掩模获取模块、基准点获取模块和视野调整模块；
掩模获取模块用于将电子外后视镜的摄像头所拍摄的图像输入到经过深度学习训练的图像分割模型中，获得图像对应的车体掩模和地面掩模，所述车体掩模为车体轮廓的像素点矩阵，所述地面掩模为地面轮廓的像素点矩阵；
基准点获取模块根据图像的车体掩模和地面掩模得到图像的基准点O的像素点坐标(xmax，ymax)，其中xmax为车体掩模中的像素点坐标中X向的极值，其中ymax为地面掩模中的像素点坐标中Y向的极值；所述X向为平面像素的水平方向；所述Y向为平面像素的垂直方向；
视野调整模块用于根据设定的屏幕显示图像基准点O’(x’，y’)，将摄像头图像映射至电子外后视镜系统的屏幕显示图像中，直至基准点O’和O点重合。
所述掩模获取模块中，还包括语义分割标注模块、模型训练模块；
语义分割标注模块用于对电子外后视镜的摄像头所拍摄的图像中车体、地面和天空逐一进行语义分割标注，得到用于训练图像分割模型的图像分割基准；
模型训练模块用于将通过语义分割标注模块进行了语义分割标注的图像划分为用于训练图像分割模型的训练集、测试集和验证集，通过调整图像分割模型中的学习率、迭代次数值对模型进行训练，得到训练后的图像分割模型，所述图像分割模型用于根据电子外后视镜的摄像头所拍摄的图像得到所述图像对应的车体掩模和地面掩模。
在另一个实施例中，还包括数据增广模块和预处理模块；
数据增广模块用于对电子外后视镜的摄像头所拍摄的图像或经过预处理模块处理的图像进行数据增广操作，获得由多张图像组成的数据集；数据增广操作包括对图像进行随机旋转、缩放、歪斜、扭曲、裁剪、翻转，其用于获得海量图像数据对图像分割模型进行训练，从而提高图像分割模型的精度。
预处理模块用于对电子外后视镜的摄像头所拍摄的每张图像或经过数据增广模块进行数据增广后得到的图像进行预处理；所述预处理包括：对电子外后神镜的摄像头所拍摄图像经过变形矫正后形成统一尺寸的图像。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令被处理器执行时实现本发明所述方法的各个步骤，在此不再赘述。
计算机可读存储介质可以是前述任一实施例提供的数据传输装置或者计算机设备的内部存储单元，例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smartmedia card，SMC)，安全数字(secure digital,SD)卡，闪存卡(flash card)等。
进一步地，该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储将要输出或己输出的数据。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (10)

1.一种电子外后视镜视野智能调整方法，其特征在于，包括如下步骤：
S1、将电子外后视镜的摄像头所拍摄的图像输入到经过深度学习训练的图像分割模型中，获得图像对应的车体掩模和地面掩模，所述车体掩模为车体轮廓的像素点坐标矩阵，所述地面掩模为地面轮廓的像素点坐标矩阵；
S2、根据图像的车体掩模和地面掩模得到图像的基准点O的像素点坐标(xmax，ymax)，其中xmax为车体掩模中的像素点坐标中X向的极值，其中ymax为地面掩模中的像素点坐标中Y向的极值；所述X向为图像的平面像素的水平方向；所述Y向为图像的平面像素的垂直方向；
S3、设定屏幕显示图像基准点O’的像素坐标(x’，y’)；
S4、将摄像头图像映射至电子外后视镜系统的屏幕显示图像中，当基准点O’和O点重合时，则表示完成电子外后视镜视野的调整。
2.如权利要求1所述的电子外后视镜视野智能调整方法，其特征在于，所述步骤S1中，所述图像分割模型的深度学习训练的方法包括：
S101、对电子外后视镜的摄像头所拍摄的多张图像中的车体、地面和天空逐一进行语义分割标注，得到用于训练图像分割模型的图像分割基准；
S102、将上述进行了语义分割标注的图像划分为用于训练图像分割模型的训练集、测试集和验证集，通过调整图像分割模型中的学习率、迭代次数值对模型进行训练，得到训练后的图像分割模型，所述图像分割模型用于读取每张图像得到每张图像中对应的车体掩模和地面掩模。
3.如权利要求2所述的电子外后视镜视野智能调整方法，其特征在于，所述步骤S102前还包括：对进行了语义分割标注的图像进行数据增广操作，获得由多张图像组成的数据集，所述数据增广操作用于提高图像分割模型的精确度。
4.如权利要求2所述的电子外后视镜视野智能调整方法，其特征在于，所述步骤S101前还包括：对电子外后视镜的摄像头所拍摄的每张图像进行预处理；所述预处理包括：对电子外后神镜的摄像头所拍摄图像经过变形矫正后形成统一尺寸的图像。
5.如权利要求1所述的电子外后视镜视野智能调整方法，其特征在于，所述步骤S1中，所述图像分割模型的深度学习训练的方法包括：
S1.1、对电子外后视镜的摄像头所拍摄的多张图像中的车体、地面和天空逐一进行语义分割标注，得到用于训练图像分割模型的图像分割基准；
S1.2、对进行了语义分割标注的图像进行数据增广操作，获得由多张图像组成的数据集，所述数据增广操作用于提高图像分割模型的精确度；
S1.3、将上述进行了数据增广操作后得到的多张图像划分为用于训练图像分割模型的训练集、测试集和验证集，通过调整图像分割模型中的学习率、迭代次数值对模型进行训练，得到训练后的图像分割模型，所述图像分割模型用于根据输入的图像得到图像中的车体掩模和地面掩模。
6.如权利要求1～5任一项所述的电子外后视镜视野智能调整方法，其特征在于，所述图像分割模型为基于U-Net网络的模型。
7.一种如权利要求1所述方法的电子外后视镜视野智能调整系统，其特征在于，包括掩模获取模块、基准点获取模块和视野调整模块；
所述掩模获取模块用于将电子外后视镜的摄像头所拍摄的图像输入到经过深度学习训练的图像分割模型中，获得图像对应的车体掩模和地面掩模，所述车体掩模为车体轮廓的像素点矩阵，所述地面掩模为地面轮廓的像素点矩阵；
所述基准点获取模块用于根据图像的车体掩模和地面掩模得到图像的基准点O的像素点坐标(xmax，ymax)，其中xmax为车体掩模中的像素点坐标中X向的极值，其中ymax为地面掩模中的像素点坐标中Y向的极值；所述X向为图像的平面像素的水平方向；所述Y向为图像的平面像素的垂直方向；
所述视野调整模块用于根据设定的屏幕显示图像基准点O’的像素坐标值(x’，y’)，将摄像头图像映射至电子外后视镜系统的屏幕显示图像中，直至基准点O’和O点重合。
8.如权利要求7所述的电子外后视镜视野智能调整系统，其特征在于，所述掩模获取模块中，还包括语义分割标注模块、模型训练模块；
所述语义分割标注模块用于对电子外后视镜的摄像头所拍摄的图像中车体、地面和天空逐一进行语义分割标注，得到用于训练图像分割模型的图像分割基准；
所述模型训练模块用于将通过语义分割标注模块进行了语义分割标注的图像划分为用于训练图像分割模型的训练集、测试集和验证集，通过调整图像分割模型中的学习率、迭代次数值对模型进行训练，得到训练后的图像分割模型，所述图像分割模型用于根据电子外后视镜的摄像头所拍摄的图像得到所述图像对应的车体掩模和地面掩模。
9.如权利要求7所述的电子外后视镜视野智能调整系统，其特征在于，还包括数据增广模块和预处理模块，所述数据增广模块用于对电子外后视镜的摄像头所拍摄的图像或经过预处理模块处理的图像进行数据增广操作，获得由多张图像组成的数据集；所述预处理模块用于对电子外后视镜的摄像头所拍摄的每张图像或经过数据增广模块进行数据增广后得到的图像进行预处理；所述预处理包括：对图像经过变形矫正后形成统一尺寸的图像。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述电子外后视镜视野智能调整方法的步骤。
CN202210842882.0A 2022-07-18 2022-07-18 一种电子外后视镜视野智能调整方法、系统和介质 Active CN115147797B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210842882.0A CN115147797B (zh) 2022-07-18 2022-07-18 一种电子外后视镜视野智能调整方法、系统和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210842882.0A CN115147797B (zh) 2022-07-18 2022-07-18 一种电子外后视镜视野智能调整方法、系统和介质

Publications (2)

Publication Number Publication Date
CN115147797A true CN115147797A (zh) 2022-10-04
CN115147797B CN115147797B (zh) 2024-06-21

Family

ID=83411437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210842882.0A Active CN115147797B (zh) 2022-07-18 2022-07-18 一种电子外后视镜视野智能调整方法、系统和介质

Country Status (1)

Country Link
CN (1) CN115147797B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006044517A (ja) * 2004-08-05 2006-02-16 Matsushita Electric Ind Co Ltd ミラー制御装置
JP2009208581A (ja) * 2008-03-04 2009-09-17 Funai Electric Co Ltd ミラー自動調整システム及び画像撮像装置
CN105793111A (zh) * 2014-01-28 2016-07-20 爱信艾达株式会社 后视镜角度设定系统、方法以及程序
WO2017197818A1 (zh) * 2016-05-16 2017-11-23 乐视控股（北京）有限公司 一种车辆后视镜调整方法、装置、电子设备及一种车辆
US20190191107A1 (en) * 2016-06-28 2019-06-20 Scania Cv Ab Method and control unit for a digital rear view mirror
CN112744159A (zh) * 2019-10-31 2021-05-04 比亚迪股份有限公司 车辆及其后视显示装置以及后视显示装置的控制方法
US20210331628A1 (en) * 2020-04-26 2021-10-28 Triple Win Technology(Shenzhen) Co.Ltd. A-pillar display device, a-pillar display method, and non-transitory medium
US20220017014A1 (en) * 2019-08-31 2022-01-20 Huawei Technologies Co., Ltd. Adaptive Rearview Mirror Adjustment Method and Apparatus
CN114475434A (zh) * 2020-11-11 2022-05-13 广州汽车集团股份有限公司 一种倒车外后视镜控制调节方法及其系统、存储介质
CN114506273A (zh) * 2021-12-08 2022-05-17 惠州市德赛西威汽车电子股份有限公司 一种调整电子侧后视镜视野的方法和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006044517A (ja) * 2004-08-05 2006-02-16 Matsushita Electric Ind Co Ltd ミラー制御装置
JP2009208581A (ja) * 2008-03-04 2009-09-17 Funai Electric Co Ltd ミラー自動調整システム及び画像撮像装置
CN105793111A (zh) * 2014-01-28 2016-07-20 爱信艾达株式会社 后视镜角度设定系统、方法以及程序
WO2017197818A1 (zh) * 2016-05-16 2017-11-23 乐视控股（北京）有限公司 一种车辆后视镜调整方法、装置、电子设备及一种车辆
US20190191107A1 (en) * 2016-06-28 2019-06-20 Scania Cv Ab Method and control unit for a digital rear view mirror
US20220017014A1 (en) * 2019-08-31 2022-01-20 Huawei Technologies Co., Ltd. Adaptive Rearview Mirror Adjustment Method and Apparatus
CN112744159A (zh) * 2019-10-31 2021-05-04 比亚迪股份有限公司 车辆及其后视显示装置以及后视显示装置的控制方法
US20210331628A1 (en) * 2020-04-26 2021-10-28 Triple Win Technology(Shenzhen) Co.Ltd. A-pillar display device, a-pillar display method, and non-transitory medium
CN114475434A (zh) * 2020-11-11 2022-05-13 广州汽车集团股份有限公司 一种倒车外后视镜控制调节方法及其系统、存储介质
CN114506273A (zh) * 2021-12-08 2022-05-17 惠州市德赛西威汽车电子股份有限公司 一种调整电子侧后视镜视野的方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
朱光谦;李明诚;: "解析汽车电动后视镜", 汽车维修与保养, no. 06, 1 June 2013 (2013-06-01) *
王军雷: "基于专利分析的智能座舱系统技术研究", 《中国汽车技术研究中心有限公司 》, 30 January 2022 (2022-01-30) *
王明军;刘波;: "一种汽车外后视镜的视野校核方法", 科技创新导报, no. 05, 11 February 2020 (2020-02-11) *

Also Published As

Publication number Publication date
CN115147797B (zh) 2024-06-21

Similar Documents

Publication Publication Date Title
CN111783820B (zh) 图像标注方法和装置
CN108009543B (zh) 一种车牌识别方法及装置
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和系统
CN106971185B (zh) 一种基于全卷积网络的车牌定位方法及装置
CN111126359A (zh) 基于自编码器与yolo算法的高清图像小目标检测方法
CN110135318B (zh) 过车记录的确定方法、装置、设备及存储介质
CN110443245B (zh) 一种非限制场景下的车牌区域的定位方法、装置及设备
US20220319145A1 (en) Image processing device, image processing method, moving device, and storage medium
CN112380978B (zh) 基于关键点定位的多人脸检测方法、系统及存储介质
CN108197567B (zh) 用于图像处理的方法、装置和计算机可读介质
CN116311279A (zh) 样本图像的生成、模型训练、字符识别方法、设备及介质
CN112862839A (zh) 一种地图要素语义分割鲁棒性增强方法和系统
CN112733672A (zh) 基于单目相机的三维目标检测方法、装置和计算机设备
CN115345946A (zh) 基于深度学习的汽车全景影像系统的外参标定方法、装置
CN116092086A (zh) 一种机床数据面板字符提取识别方法、系统、装置和终端
CN115008454A (zh) 一种基于多帧伪标签数据增强的机器人在线手眼标定方法
CN112967213B (zh) 车牌图像增强方法、装置、设备及存储介质
CN115147797B (zh) 一种电子外后视镜视野智能调整方法、系统和介质
CN114119749A (zh) 一种基于密集关联的单目3d车辆检测方法
CN113505885A (zh) 基于预设的损失函数的单目深度估计网络的训练方法
CN109376653B (zh) 用于定位车辆的方法、装置、设备和介质
CN113569653A (zh) 一种基于面部特征信息的三维头部姿态估计算法
CN113674340A (zh) 一种基于路标点的双目视觉导航方法与装置
US20240193980A1 (en) Method for recognizing human body area in image, electronic device, and storage medium
CN113033256A (zh) 一种指尖检测模型的训练方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant