CN106608221A - 车辆盲区的检测系统和方法 - Google Patents

车辆盲区的检测系统和方法 Download PDF

Info

Publication number
CN106608221A
CN106608221A CN201510703345.8A CN201510703345A CN106608221A CN 106608221 A CN106608221 A CN 106608221A CN 201510703345 A CN201510703345 A CN 201510703345A CN 106608221 A CN106608221 A CN 106608221A
Authority
CN
China
Prior art keywords
panoramic picture
vehicle
image
testing result
blind area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510703345.8A
Other languages
English (en)
Other versions
CN106608221B (zh
Inventor
魏星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BYD Co Ltd
Original Assignee
BYD Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BYD Co Ltd filed Critical BYD Co Ltd
Priority to CN201510703345.8A priority Critical patent/CN106608221B/zh
Publication of CN106608221A publication Critical patent/CN106608221A/zh
Application granted granted Critical
Publication of CN106608221B publication Critical patent/CN106608221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种车辆盲区的检测系统和方法，该车辆盲区的检测系统包括摄像头模块，用于实时采集车辆周围的图像，并将车辆周围的图像发送至视频处理模块；视频处理模块，用于接收车辆周围的图像，并根据车辆周围的图像生成全景图像，将全景图像发送至盲区检测模块；盲区检测模块，用于接收全景图像，并根据全景图像和预设算法获取盲区检测结果，将全景图像和盲区检测结果发送至显示模块；显示模块，用于接收全景图像和盲区检测结果，并对全景图像和盲区检测结果进行显示。通过本发明能够无死角检测车辆周围的盲区，有效提升车辆盲区内非道路物体的识别效果，提升车辆驾驶的安全性。

Description

车辆盲区的检测系统和方法
技术领域
本发明涉及车辆工程技术领域，尤其涉及一种车辆盲区的检测系统和方法。
背景技术
驾驶员在驾驶车辆时，需要实时地获取路况信息，由于驾驶员可以直观的看到车辆前部路况信息，对于车辆左右方和后方的路况信息，需要借助车辆盲区检测技术来实时获知路况信息，以保障车辆的安全驾驶。
现有技术中，可以利用安装在车辆四周的传感器，如超声波传感器，或者毫米波雷达，对待检测的车辆盲区区域发射检测信号，通过接收到的反射信号，来判断车辆盲区区域的路况信息，或者，也可以利用车辆尾部的后视摄像头，以及安装在左右后视镜上的后视摄像头采集图像，通过对采集到的图像进行处理，来判断车辆盲区区域的路况信息。
这两种方式下，不能够直观的显示出车辆盲区区域的路况信息，并且，车辆周围的盲区的检测能力不强，车辆盲区内非道路物体的识别效果差。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种车辆盲区的检测系统，能够无死角检测车辆周围的盲区，有效提升车辆盲区内非道路物体的识别效果，提升车辆驾驶的安全性。
本发明的另一个目的在于提出一种车辆盲区的检测方法。
为达到上述目的，本发明第一方面实施例提出的车辆盲区的检测系统，包括：摄像头模块，用于实时采集车辆周围的图像，并将所述车辆周围的图像发送至视频处理模块；所述视频处理模块，用于接收所述车辆周围的图像，并根据所述车辆周围的图像生成全景图像，将所述全景图像发送至盲区检测模块；所述盲区检测模块，用于接收所述全景图像，并根据所述全景图像和预设算法获取盲区检测结果，将所述全景图像和所述盲区检测结果发送至显示模块；所述显示模块，用于接收所述全景图像和所述盲区检测结果，并对所述全景图像和所述盲区检测结果进行显示。
本发明第一方面实施例提出的车辆盲区的检测系统，通过根据实时采集到的车辆周围的图像生成全景图像，根据全景图像和预设算法获取盲区检测结果，并将全景图像和盲区检测结果进行显示，能够无死角检测车辆周围的盲区，有效提升车辆盲区内非道路物体的识别效果，提升车辆驾驶的安全性。
为达到上述目的，本发明第二方面实施例提出的车辆盲区的检测方法，包括：实时采集车辆周围的图像，并将所述车辆周围的图像发送至视频处理模块；接收所述车辆周围的图像，并根据所述车辆周围的图像生成全景图像，将所述全景图像发送至盲区检测模块；接收所述全景图像，并根据所述全景图像和预设算法获取盲区检测结果，将所述全景图像和所述盲区检测结果发送至显示模块；接收所述全景图像和所述盲区检测结果，并对所述全景图像和所述盲区检测结果进行显示。
本发明第二方面实施例提出的车辆盲区的检测方法，通过根据实时采集到的车辆周围的图像生成全景图像，根据全景图像和预设算法获取盲区检测结果，并将全景图像和盲区检测结果进行显示，能够无死角检测车辆周围的盲区，有效提升车辆盲区内非道路物体的识别效果，提升车辆驾驶的安全性。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一实施例提出的车辆盲区的检测系统的结构示意图；
图2是本发明实施例中车辆全景图像示意图；
图3是本发明另一实施例提出的车辆盲区的检测方法的流程示意图；
图4是本发明另一实施例提出的车辆盲区的检测方法的流程示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
图1是本发明一实施例提出的车辆盲区的检测系统的结构示意图，该车辆盲区的检测系统10包括摄像头模块101，用于实时采集车辆周围的图像，并将车辆周围的图像发送至视频处理模块102；视频处理模块102，用于接收车辆周围的图像，并根据车辆周围的图像生成全景图像，将全景图像发送至盲区检测模块103；盲区检测模块103，用于接收全景图像，并根据全景图像和预设算法获取盲区检测结果，将全景图像和盲区检测结果发送至显示模块104；显示模块104，用于接收全景图像和盲区检测结果，并对全景图像和盲区检测结果进行显示。
在本发明的一个实施例中，该车辆盲区的检测系统10包括摄像头模块101，用于实时采集车辆周围的图像，并将车辆周围的图像发送至视频处理模块102。
在本实施例中，车辆周围的图像是摄像头对车辆周围的路况进行录像拍照所获取到的图像，车辆周围的图像可以为一帧，或者多帧。
其中，摄像头模块包括四路摄像头，车辆周围的图像的数量为四幅。
可选地，摄像头模块实时采集车辆周围的图像，并将车辆周围的图像发送至视频处理模块，包括：摄像头模块中的四路摄像头分别实时采集车辆周围的四幅图像，并将分别实时采集到的车辆周围的四幅图像发送至视频处理模块。
在本实施例中，通过四路摄像头分别实时采集车辆周围的四幅图像，可以直观显示出车辆盲区区域的路况信息，并且无死角检测车辆周围的盲区，提升车辆盲区的检测能力。
例如，四路摄像头分别安装在车辆的前后左右四个方位，当启动车辆盲区的检测系统时，四路摄像头分别对车辆的前后左右四个方位摄像处理，得到四幅车辆周围的图像，并将四幅车辆周围的图像发送至视频处理模块102。
在本发明的一个实施例中，该车辆盲区的检测系统10还包括视频处理模块102，用于接收车辆周围的图像，并根据车辆周围的图像生成全景图像，将全景图像发送至盲区检测模块103。
例如，视频处理模块102接收摄像头模块发送的四幅车辆周围的图像，并根据预设的图像处理技术，将四幅车辆周围的图像合成为具有俯视效果的一帧全景图像A。
图像处理技术可以例如图像合成技术。
在本发明的一个实施例中，该车辆盲区的检测系统10还包括盲区检测模块103，用于接收全景图像，并根据全景图像和预设算法获取盲区检测结果，将全景图像和盲区检测结果发送至显示模块104。
可选地，预设算法包括第一预设算法和第二预设算法，盲区检测模块根据全景图像和预设算法获取盲区检测结果，包括：对全景图像进行预处理，以得到预处理后的全景图像；根据预处理后的全景图像和第一预设算法检测全景图像中的非道路物体，得到第一检测结果；根据预处理后的全景图像和第二预设算法检测全景图像中的非道路物体，得到第二检测结果；根据第一检测结果和第二检测结果获取盲区检测结果。
其中，预处理后的全景图像为灰度图像，预处理后的全景图像可以用全景图像B表示。
非道路物体例如行人、车辆，以及障碍物等。
例如，盲区检测模块103获取到的全景图像A中，同时包含有灰度信息和彩色信息，在对全景图像A进行预处理时，可以消除全景图像A中的彩色信息，保留全景图像A中的灰度信息，以提取全景图像A的灰度信息，并将预处理后的全景图像A保存为全景图像B，全景图像B为灰度图像。
可选地，第一预设算法为动态多帧求差值算法，根据全景图像和第一预设算法检测全景图像中的非道路物体，得到第一检测结果，包括：
根据动态多帧求差值算法将预处理后的全景图像的像素特征与预先保存的图像的像素特征做比对，以检测全景图像中的非道路物体，得到第一检测结果。
其中，预先保存的图像是做为比对标准的灰度图像，预先保存的图像可以是一帧或者多帧图像，预先保存的图像可以用全景图像C表示，全景图像C包含一帧或者多帧的全景图像，例如，全景图像C又可以表示为全景图像C1、全景图像C2，…，全景图像Cn，其中，n＝1，…，N，N为正整数，可以将全景图像C存储在系统中的存储介质中。
像素特征为像素点的像素值。
第一检测结果可以标识全景图像中非道路物体的大小、特性，以及所在的具体路面位置。
第二检测结果也可以标识全景图像中非道路物体的大小、特性，以及所在的具体路面位置。
例如，可以对盲区检测模块103获取到的全景图像A的前若干帧的全景图像预处理，消除若干帧全景图像中每帧全景图像的彩色信息，保留每帧全景图像中的灰度信息，以提取每帧全景图像的灰度信息，并将预处理后的若干帧全景图像保存在全景图像C中，将全景图像C存储在系统中的存储介质中。
具体地，可以分别获取全景图像B和全景图像C中每帧全景图像Cn的像素点，根据全景图像B和每帧全景图像Cn的像素点分别得到全景图像B的像素点的像素值和每帧全景图像Cn的像素点的像素值，对全景图像B和每帧全景图像Cn的像素点的像素值进行逐个求差值，以得到差值结果D1，…，Dn，并将差值结果D1，…，Dn存储在系统中的存储介质中，其中，n＝1，…，N，N为正整数。
需要说明的是，在本实施例获取差值结果的方案中，方案一：可以对每帧全景图像Cn都按照动态多帧求差值计算，可以得出全景图像A与每帧全景图像Cn的差值结果Dn，但是，方案一需要计算n次的差值结果，计算量大，但是，可以有效保证对车辆盲区检测的实时性。方案二：可以每间隔m帧做动态多帧求差值计算，方案二降低车辆盲区检测的实时性，但是，可以控制系统的计算量，其中，m，n＝1，…，N，N为正整数。
在具体实施的过程中，可以根据实际情况权衡方案一和方案二的利弊，以选取合适的方案获取差值结果。
进一步，获取到差值结果D1，…，Dn后，可以将差值结果D1，…，Dn与预设差值阈值T做比对，根据比对结果获取与差值结果D1，…，Dn对应的黑白图像E1，…，En，再将预设长宽的矩形窗口在黑白图像E上滑动，获取矩形窗口滑动到的黑白图像E的位置上，矩形窗口所框位置中白色像素点的数量，当矩形窗口所框位置中白色像素点的数量超过预设阈值时，判定在矩形窗口所框位置中检测出非道路物体，其中，n＝1，…，N，N为正整数。
其中，将差值结果D1，…，Dn与预设差值阈值T做比对，根据比对结果获取与差值结果D1，…，Dn对应的黑白图像E1，…，En的过程可以例如：
将差值结果D1，…，Dn中每一位差值的绝对值与预设差值阈值T作比对，如果差值结果D1，…，Dn中每一位差值的绝对值大于预设差值阈值T，则将此位差值设置为1，如果差值结果D1，…，Dn中每一位差值的绝对值小于或者等于预设差值阈值T，则将此位差值设置为0，设置为1的差值对应的像素点表示黑色像素点，设置为0的差值对应的像素点表示黑色像素点，以得到黑白图像E1，…，En，其中，n＝1，…，N，N为正整数。
在本实施例中，通过根据动态多帧求差值算法将预处理后的全景图像的像素特征与预先保存的图像的像素特征做比对，以检测全景图像中的非道路物体，可以有效的识别出车辆盲区内非道路物体。
可选地，第二预设算法为纹理分析比较算法，根据预处理后的全景图像和第二预设算法检测全景图像中的非道路物体，得到第二检测结果，包括：获取全景图像中的基准纹理提取区域和车辆盲区区域；根据图像纹理提取算法提取基准纹理提取区域的纹理信息和车辆盲区区域的纹理信息；将基准纹理提取区域的纹理信息和车辆盲区区域的纹理信息做比对，以检测全景图像中的非道路物体，得到第二检测结果。
其中，基准纹理提取区域可以为非驾驶员视线盲区的区域。
图像纹理提取算法例如为小波变换算法。
如图2所示，为本发明实施例中车辆全景图像示意图，其中，基准纹理提取区域21为非驾驶员视线盲区的区域，车辆盲区区域22为驾驶员视线盲区区域。
需要说明的是，本实施例示例中圈定预设个数的车辆盲区区域，其中，预设个数为4个，也可以圈定其它数量的车辆盲区区域，以及，可以自由选择圈定车辆盲区区域，本发明对此不做限定。
在本发明中，如果路面中未出现非道路物体，则预处理后的全景图像的纹理信息的特点为均匀的噪点状纹理，如果出现非道路物体，则预处理后的全景图像的纹理信息的特点为分布不均匀的噪点状纹理，或者，为不是噪点状的纹理，因此，根据纹理分析比较算法可以检测出全景图像中的非道路物体。
例如，如图2所示，获取全景图像B中的基准纹理提取区域和四个车辆盲区区域，其中，全景图像B是由全景图像A预处理后得到的，对全景图像B中的基准纹理提取区域和四个车辆盲区区域，采用小波变换算法进行纹理信息提取，得到基准纹理提取区域的纹理信息W_S，以及四个车辆盲区区域纹理信息W_1、W_2、W_3，以及W_4，将四个车辆盲区区域纹理信息W_1、W_2、W_3，以及W_4分别与W_S比对，得到比对差值1、比对差值2、比对差值3，以及比对差值4，当某个车辆盲区区域纹理信息的比对差值大于预设比对差值阈值时，判定在该车辆盲区区域内检测出非道路物体。
进一步，例如，可以将根据动态多帧求差值算法获取到的第一检测结果，和根据纹理分析比较算法获取到的第二检测结果相结合，获取盲区检测结果，通过结合两种算法获取到的盲区检测结果，可以精确地检测出车辆盲区的非道路物体，进一步提升车辆盲区内非道路物体的识别效果。
在本发明的一个实施例中，该车辆盲区的检测系统10还包括显示模块104，用于接收全景图像和盲区检测结果，并对全景图像和盲区检测结果进行显示。
例如，显示模块104接收到全景图像和盲区检测结果后，将全景图像和盲区检测结果显示给驾驶员。
本实施例中，通过根据实时采集到的车辆周围的图像生成全景图像，根据全景图像和预设算法获取盲区检测结果，并将全景图像和盲区检测结果进行显示，能够无死角检测车辆周围的盲区，有效提升车辆盲区内非道路物体的识别效果，提升车辆驾驶的安全性。
图3是本发明另一实施例提出的车辆盲区的检测方法的流程示意图，该车辆盲区的检测方法包括：
S31：实时采集车辆周围的图像，并将车辆周围的图像发送至视频处理模块。
在本实施例中，车辆周围的图像是摄像头对车辆周围的路况进行录像拍照所获取到的图像，车辆周围的图像可以为一帧，或者多帧。
其中，摄像头模块包括四路摄像头，车辆周围的图像的数量为四幅。
可选地，摄像头模块实时采集车辆周围的图像，并将车辆周围的图像发送至视频处理模块，包括：摄像头模块中的四路摄像头分别实时采集车辆周围的四幅图像，并将分别实时采集到的车辆周围的四幅图像发送至视频处理模块。
在本实施例中，通过四路摄像头分别实时采集车辆周围的四幅图像，可以直观显示出车辆盲区区域的路况信息，并且无死角检测车辆周围的盲区，提升车辆盲区的检测能力。
例如，四路摄像头分别安装在车辆的前后左右四个方位，当启动车辆盲区的检测系统时，四路摄像头分别对车辆的前后左右四个方位摄像处理，得到四幅车辆周围的图像，并将四幅车辆周围的图像发送至视频处理模块。
S32：接收车辆周围的图像，并根据车辆周围的图像生成全景图像，将全景图像发送至盲区检测模块。
例如，视频处理模块接收摄像头模块发送的四幅车辆周围的图像，并根据预设的图像处理技术，将四幅车辆周围的图像合成为具有俯视效果的一帧全景图像A。
图像处理技术可以例如图像合成技术。
S33：接收全景图像，并根据全景图像和预设算法获取盲区检测结果，将全景图像和盲区检测结果发送至显示模块。
可选地，预设算法包括第一预设算法和第二预设算法，根据全景图像和预设算法获取盲区检测结果，包括：对全景图像进行预处理，以得到预处理后的全景图像；根据预处理后的全景图像和第一预设算法检测全景图像中的非道路物体，得到第一检测结果；根据预处理后的全景图像和第二预设算法检测全景图像中的非道路物体，得到第二检测结果；根据第一检测结果和第二检测结果获取盲区检测结果。
其中，预处理后的全景图像为灰度图像，预处理后的全景图像可以用全景图像B表示。
非道路物体例如行人、车辆，以及障碍物等。
例如，盲区检测模块103获取到的全景图像A中，同时包含有灰度信息和彩色信息，在对全景图像A进行预处理时，可以消除全景图像A中的彩色信息，保留全景图像A中的灰度信息，以提取全景图像A的灰度信息，并将预处理后的全景图像A保存为全景图像B，全景图像B为灰度图像。
S34：接收全景图像和盲区检测结果，并对全景图像和盲区检测结果进行显示。
例如，显示模块接收到全景图像和盲区检测结果后，将全景图像和盲区检测结果显示给驾驶员。
本实施例中，通过根据实时采集到的车辆周围的图像生成全景图像，根据全景图像和预设算法获取盲区检测结果，并将全景图像和盲区检测结果进行显示，能够无死角检测车辆周围的盲区，有效提升车辆盲区内非道路物体的识别效果，提升车辆驾驶的安全性。
图4是本发明另一实施例提出的车辆盲区的检测方法的流程示意图，该车辆盲区的检测方法包括：
S401：分别实时采集车辆周围的四幅图像，并将分别实时采集到的车辆周围的四幅图像发送至视频处理模块。
在本实施例中，车辆周围的图像是摄像头对车辆周围的路况进行录像拍照所获取到的图像，车辆周围的图像可以为一帧，或者多帧。
通过四路摄像头分别实时采集车辆周围的四幅图像，可以直观显示出车辆盲区区域的路况信息，并且无死角检测车辆周围的盲区，提升车辆盲区的检测能力。
例如，四路摄像头分别安装在车辆的前后左右四个方位，当启动车辆盲区的检测系统时，四路摄像头分别对车辆的前后左右四个方位摄像处理，得到四幅车辆周围的图像，并将四幅车辆周围的图像发送至视频处理模块。
S402：接收车辆周围的图像，并根据车辆周围的图像生成全景图像，将全景图像发送至盲区检测模块。
例如，视频处理模块接收摄像头模块发送的四幅车辆周围的图像，并根据预设的图像处理技术，将四幅车辆周围的图像合成为具有俯视效果的一帧全景图像A。
图像处理技术可以例如图像合成技术。
S403：对全景图像进行预处理，以得到预处理后的全景图像。
其中，预处理后的全景图像为灰度图像，预处理后的全景图像可以用全景图像B表示。
非道路物体例如行人、车辆，以及障碍物等。
例如，盲区检测模块103获取到的全景图像A中，同时包含有灰度信息和彩色信息，在对全景图像A进行预处理时，可以消除全景图像A中的彩色信息，保留全景图像A中的灰度信息，以提取全景图像A的灰度信息，并将预处理后的全景图像A保存为全景图像B，全景图像B为灰度图像。
S404：根据动态多帧求差值算法将预处理后的全景图像的像素特征与预先保存的图像的像素特征做比对，以检测全景图像中的非道路物体，得到第一检测结果。
其中，预先保存的图像是做为比对标准的灰度图像，预先保存的图像可以是一帧或者多帧图像，预先保存的图像可以用全景图像C表示，全景图像C包含一帧或者多帧的全景图像，例如，全景图像C又可以表示为全景图像C1、全景图像C2，…，全景图像Cn，其中，n＝1，…，N，N为正整数，可以将全景图像C存储在系统中的存储介质中。
像素特征为像素点的像素值。
第一检测结果可以标识全景图像中非道路物体的大小、特性，以及所在的具体路面位置。
第二检测结果也可以标识全景图像中非道路物体的大小、特性，以及所在的具体路面位置。
例如，可以对盲区检测模块103获取到的全景图像A的前若干帧的全景图像预处理，消除若干帧全景图像中每帧全景图像的彩色信息，保留每帧全景图像中的灰度信息，以提取每帧全景图像的灰度信息，并将预处理后的若干帧全景图像保存在全景图像C中，将全景图像C存储在系统中的存储介质中。
具体地，可以分别获取全景图像B和全景图像C中每帧全景图像Cn的像素点，根据全景图像B和每帧全景图像Cn的像素点分别得到全景图像B的像素点的像素值和每帧全景图像Cn的像素点的像素值，对全景图像B和每帧全景图像Cn的像素点的像素值进行逐个求差值，以得到差值结果D1，…，Dn，并将差值结果D1，…，Dn存储在系统中的存储介质中，其中，n＝1，…，N，N为正整数。
需要说明的是，在本实施例获取差值结果的方案中，方案一：可以对每帧全景图像Cn都按照动态多帧求差值计算，可以得出全景图像A与每帧全景图像Cn的差值结果Dn，但是，方案一需要计算n次的差值结果，计算量大，但是，可以有效保证对车辆盲区检测的实时性。方案二：可以每间隔m帧做动态多帧求差值计算，方案二降低车辆盲区检测的实时性，但是，可以控制系统的计算量，其中，m，n＝1，…，N，N为正整数。
在具体实施的过程中，可以根据实际情况权衡方案一和方案二的利弊，以选取合适的方案获取差值结果。
进一步，获取到差值结果D1，…，Dn后，可以将差值结果D1，…，Dn与预设差值阈值T做比对，根据比对结果获取与差值结果D1，…，Dn对应的黑白图像E1，…，En，再将预设长宽的矩形窗口在黑白图像E上滑动，获取矩形窗口滑动到的黑白图像E的位置上，矩形窗口所框位置中白色像素点的数量，当矩形窗口所框位置中白色像素点的数量超过预设阈值时，判定在矩形窗口所框位置中检测出非道路物体，其中，n＝1，…，N，N为正整数。
其中，将差值结果D1，…，Dn与预设差值阈值T做比对，根据比对结果获取与差值结果D1，…，Dn对应的黑白图像E1，…，En的过程可以例如：
将差值结果D1，…，Dn中每一位差值的绝对值与预设差值阈值T作比对，如果差值结果D1，…，Dn中每一位差值的绝对值大于预设差值阈值T，则将此位差值设置为1，如果差值结果D1，…，Dn中每一位差值的绝对值小于或者等于预设差值阈值T，则将此位差值设置为0，设置为1的差值对应的像素点表示黑色像素点，设置为0的差值对应的像素点表示黑色像素点，以得到黑白图像E1，…，En，其中，n＝1，…，N，N为正整数。
在本实施例中，通过根据动态多帧求差值算法将预处理后的全景图像的像素特征与预先保存的图像的像素特征做比对，以检测全景图像中的非道路物体，可以有效的识别出车辆盲区内非道路物体。
S405：获取全景图像中的基准纹理提取区域和车辆盲区区域。
其中，基准纹理提取区域可以为非驾驶员视线盲区的区域。
如图2所示，为本发明实施例中车辆全景图像示意图，其中，基准纹理提取区域21为非驾驶员视线盲区的区域，车辆盲区区域22为驾驶员视线盲区区域。
需要说明的是，本实施例示例中圈定预设个数的车辆盲区区域，其中，预设个数为4个，也可以圈定其它数量的车辆盲区区域，以及，可以自由选择圈定车辆盲区区域，本发明对此不做限定。
S406：根据图像纹理提取算法提取基准纹理提取区域的纹理信息和车辆盲区区域的纹理信息。
图像纹理提取算法例如为小波变换算法。
S407：将基准纹理提取区域的纹理信息和车辆盲区区域的纹理信息做比对，以检测全景图像中的非道路物体，得到第二检测结果。
在本发明中，如果路面中未出现非道路物体，则预处理后的全景图像的纹理信息的特点为均匀的噪点状纹理，如果出现非道路物体，则预处理后的全景图像的纹理信息的特点为分布不均匀的噪点状纹理，或者，为不是噪点状的纹理，因此，根据纹理分析比较算法可以检测出全景图像中的非道路物体。
例如，如图2所示，获取全景图像B中的基准纹理提取区域和四个车辆盲区区域，其中，全景图像B是由全景图像A预处理后得到的，对全景图像B中的基准纹理提取区域和四个车辆盲区区域，采用小波变换算法进行纹理信息提取，得到基准纹理提取区域的纹理信息W_S，以及四个车辆盲区区域纹理信息W_1、W_2、W_3，以及W_4，将四个车辆盲区区域纹理信息W_1、W_2、W_3，以及W_4分别与W_S比对，得到比对差值1、比对差值2、比对差值3，以及比对差值4，当某个车辆盲区区域纹理信息的比对差值大于预设比对差值阈值时，判定在该车辆盲区区域内检测出非道路物体。
S408：根据第一检测结果和第二检测结果获取盲区检测结果。
例如，可以将根据动态多帧求差值算法获取到的第一检测结果，和根据纹理分析比较算法获取到的第二检测结果相结合，获取盲区检测结果，通过结合两种算法获取到的盲区检测结果，可以精确地检测出车辆盲区的非道路物体，进一步提升车辆盲区内非道路物体的识别效果。
S409：对全景图像和盲区检测结果进行显示。
例如，显示模块接收到全景图像和盲区检测结果后，将全景图像和盲区检测结果显示给驾驶员。
本实施例中，通过四路摄像头分别实时采集车辆周围的四幅图像，可以直观显示出车辆盲区区域的路况信息，通过根据实时采集到的车辆周围的图像生成全景图像，根据全景图像和预设算法获取盲区检测结果，并将全景图像和盲区检测结果进行显示，能够无死角检测车辆周围的盲区，有效提升车辆盲区内非道路物体的识别效果，提升车辆驾驶的安全性。通过结合两种算法获取到的盲区检测结果，可以精确地检测出车辆盲区的非道路物体，进一步提升车辆盲区内非道路物体的识别效果。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种车辆盲区的检测系统，其特征在于，包括：
摄像头模块，用于实时采集车辆周围的图像，并将所述车辆周围的图像发送至视频处理模块；
所述视频处理模块，用于接收所述车辆周围的图像，并根据所述车辆周围的图像生成全景图像，将所述全景图像发送至盲区检测模块；
所述盲区检测模块，用于接收所述全景图像，并根据所述全景图像和预设算法获取盲区检测结果，将所述全景图像和所述盲区检测结果发送至显示模块；
所述显示模块，用于接收所述全景图像和所述盲区检测结果，并对所述全景图像和所述盲区检测结果进行显示。
2.如权利要求1所述的车辆盲区的检测系统，其特征在于，所述预设算法包括第一预设算法和第二预设算法，所述盲区检测模块根据所述全景图像和预设算法获取盲区检测结果，包括：
对所述全景图像进行预处理，以得到预处理后的全景图像；
根据所述预处理后的全景图像和所述第一预设算法检测所述全景图像中的非道路物体，得到第一检测结果；
根据所述预处理后的全景图像和所述第二预设算法检测所述全景图像中的所述非道路物体，得到第二检测结果；
根据所述第一检测结果和所述第二检测结果获取所述盲区检测结果。
3.如权利要求2所述的车辆盲区的检测系统，其特征在于，所述第一预设算法为动态多帧求差值算法，所述根据所述全景图像和所述第一预设算法检测所述全景图像中的非道路物体，得到第一检测结果，包括：
根据所述动态多帧求差值算法将所述预处理后的全景图像的像素特征与预先保存的图像的像素特征做比对，以检测所述全景图像中的所述非道路物体，得到第一检测结果。
4.如权利要求3所述的车辆盲区的检测系统，其特征在于，所述第二预设算法为纹理分析比较算法，所述根据所述预处理后的全景图像和所述第二预设算法检测所述全景图像中的所述非道路物体，得到第二检测结果，包括：
获取所述全景图像中的基准纹理提取区域和车辆盲区区域；
根据图像纹理提取算法提取所述基准纹理提取区域的纹理信息和所述车辆盲区区域的纹理信息；
将所述基准纹理提取区域的纹理信息和所述车辆盲区区域的纹理信息做比对，以检测所述全景图像中的所述非道路物体，得到第二检测结果。
5.如权利要求4所述的车辆盲区的检测系统，其特征在于，所述摄像头模块包括四路摄像头，所述车辆周围的图像的数量为四幅，所述摄像头模块实时采集车辆周围的图像，并将所述车辆周围的图像发送至视频处理模块，包括：
所述摄像头模块中的四路摄像头分别实时采集车辆周围的四幅图像，并将分别实时采集到的所述车辆周围的四幅图像发送至所述视频处理模块。
6.如权利要求2所述的车辆盲区的检测系统，其特征在于，所述预处理后的全景图像为灰度图像。
7.一种车辆盲区的检测方法，其特征在于，包括：
实时采集车辆周围的图像，并将所述车辆周围的图像发送至视频处理模块；
接收所述车辆周围的图像，并根据所述车辆周围的图像生成全景图像，将所述全景图像发送至盲区检测模块；
接收所述全景图像，并根据所述全景图像和预设算法获取盲区检测结果，将所述全景图像和所述盲区检测结果发送至显示模块；
接收所述全景图像和所述盲区检测结果，并对所述全景图像和所述盲区检测结果进行显示。
8.如权利要求7所述的车辆盲区的检测方法，其特征在于，所述预设算法包括第一预设算法和第二预设算法，所述根据所述全景图像和预设算法获取盲区检测结果，包括：
对所述全景图像进行预处理，以得到预处理后的全景图像；
根据所述预处理后的全景图像和所述第一预设算法检测所述全景图像中的非道路物体，得到第一检测结果；
根据所述预处理后的全景图像和所述第二预设算法检测所述全景图像中的所述非道路物体，得到第二检测结果；
根据所述第一检测结果和所述第二检测结果获取所述盲区检测结果。
9.如权利要求8所述的车辆盲区的检测方法，其特征在于，所述第一预设算法为动态多帧求差值算法，所述根据所述全景图像和所述第一预设算法检测所述全景图像中的非道路物体，得到第一检测结果，包括：
根据所述动态多帧求差值算法将所述预处理后的全景图像的像素特征与预先保存的图像的像素特征做比对，以检测所述全景图像中的所述非道路物体，得到第一检测结果。
10.如权利要求9所述的车辆盲区的检测方法，其特征在于，所述第二预设算法为纹理分析比较算法，所述根据所述预处理后的全景图像和所述第二预设算法检测所述全景图像中的所述非道路物体，得到第二检测结果，包括：
获取所述全景图像中的基准纹理提取区域和车辆盲区区域；
根据图像纹理提取算法提取所述基准纹理提取区域的纹理信息和所述车辆盲区区域的纹理信息；
将所述基准纹理提取区域的纹理信息和所述车辆盲区区域的纹理信息做比对，以检测所述全景图像中的所述非道路物体，得到第二检测结果。
11.如权利要求10所述的车辆盲区的检测方法，其特征在于，所述车辆周围的图像的数量为四幅，所述实时采集车辆周围的图像，并将所述车辆周围的图像发送至视频处理模块，包括：
分别实时采集车辆周围的四幅图像，并将分别实时采集到的所述车辆周围的四幅图像发送至所述视频处理模块。
12.如权利要求8所述的车辆盲区的检测方法，其特征在于，所述预处理后的全景图像为灰度图像。
CN201510703345.8A 2015-10-26 2015-10-26 车辆盲区的检测系统和方法 Active CN106608221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510703345.8A CN106608221B (zh) 2015-10-26 2015-10-26 车辆盲区的检测系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510703345.8A CN106608221B (zh) 2015-10-26 2015-10-26 车辆盲区的检测系统和方法

Publications (2)

Publication Number Publication Date
CN106608221A true CN106608221A (zh) 2017-05-03
CN106608221B CN106608221B (zh) 2019-06-25

Family

ID=58612942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510703345.8A Active CN106608221B (zh) 2015-10-26 2015-10-26 车辆盲区的检测系统和方法

Country Status (1)

Country Link
CN (1) CN106608221B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107554430A (zh) * 2017-09-20 2018-01-09 京东方科技集团股份有限公司 车辆盲区可视化方法、装置、终端、系统及车辆
CN108363996A (zh) * 2018-03-19 2018-08-03 深圳市易成自动驾驶技术有限公司 车辆智能环视方法、装置及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101447078A (zh) * 2008-12-10 2009-06-03 东软集团股份有限公司 一种障碍物分割方法及装置
CN101588482A (zh) * 2009-06-02 2009-11-25 石黎 一种车载虚拟全景电子系统
CN104512329A (zh) * 2013-09-27 2015-04-15 比亚迪股份有限公司 倒车安全辅助方法、装置及汽车

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101447078A (zh) * 2008-12-10 2009-06-03 东软集团股份有限公司 一种障碍物分割方法及装置
CN101588482A (zh) * 2009-06-02 2009-11-25 石黎 一种车载虚拟全景电子系统
CN104512329A (zh) * 2013-09-27 2015-04-15 比亚迪股份有限公司 倒车安全辅助方法、装置及汽车

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107554430A (zh) * 2017-09-20 2018-01-09 京东方科技集团股份有限公司 车辆盲区可视化方法、装置、终端、系统及车辆
CN107554430B (zh) * 2017-09-20 2020-01-17 京东方科技集团股份有限公司 车辆盲区可视化方法、装置、终端、系统及车辆
US10573068B2 (en) 2017-09-20 2020-02-25 Boe Technology Group Co., Ltd. Method, device, terminal and system for visualization of vehicle's blind spot and a vehicle
CN108363996A (zh) * 2018-03-19 2018-08-03 深圳市易成自动驾驶技术有限公司 车辆智能环视方法、装置及计算机可读存储介质
CN108363996B (zh) * 2018-03-19 2022-05-10 深圳市易成自动驾驶技术有限公司 车辆智能环视方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN106608221B (zh) 2019-06-25

Similar Documents

Publication Publication Date Title
KR101811157B1 (ko) 사발형 영상 시스템
CN101633356B (zh) 检测行人的系统及方法
EP2312497A1 (en) Apparatus for vehicle surroundings monitorings
EP1892666A1 (en) A method, an apparatus and a computer-readable medium for processing an image dataset
US9665782B2 (en) Obstacle detecting apparatus and obstacle detecting method
US10972711B2 (en) Method of determining the boundary of a driveable space
US11081008B2 (en) Vehicle vision system with cross traffic detection
CN106610280A (zh) 用于利用新的光学分辨率生成立体图的方法
CN104335244A (zh) 对象物识别装置
KR102352833B1 (ko) 어라운드뷰 제공 장치 및 방법
CN107798688A (zh) 运动目标识别方法、预警方法以及汽车防追尾预警装置
JP2011513876A (ja) 物体の動作を特徴づけるための方法およびシステム
Lion et al. Smart speed bump detection and estimation with kinect
CN106608221A (zh) 车辆盲区的检测系统和方法
FR2899363A1 (fr) Procede et dispositif de detection de mouvement d'objets sur des images d'une scene
JP7447307B2 (ja) 信頼性の高いスティッチング画像を作成するためのシステムおよび方法
CN113276772B (zh) 一种汽车电子外后视镜系统及控制方法
CN114331848A (zh) 视频图像拼接方法、装置及设备
Balisavira et al. Real-time object detection by road plane segmentation technique for ADAS
JP2008165595A (ja) 障害物検出方法、障害物検出装置、障害物検出システム
US11999374B2 (en) Spatial aware object detection by LIDAR and camera fusion based super-resolution
EP3389015A1 (en) Roll angle calibration method and roll angle calibration device
KR20220111074A (ko) 적재된 객체 인식 장치 및 객체 인식 방법
CN110088763B (zh) 确定可驾驶空间的边界的方法
CN107914639A (zh) 使用外反射镜的车道显示装置及车道显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant