CN107554430B - 车辆盲区可视化方法、装置、终端、系统及车辆 - Google Patents

车辆盲区可视化方法、装置、终端、系统及车辆 Download PDF

Info

Publication number
CN107554430B
CN107554430B CN201710854609.9A CN201710854609A CN107554430B CN 107554430 B CN107554430 B CN 107554430B CN 201710854609 A CN201710854609 A CN 201710854609A CN 107554430 B CN107554430 B CN 107554430B
Authority
CN
China
Prior art keywords
vehicle
blind area
driver
image data
dimensional map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710854609.9A
Other languages
English (en)
Other versions
CN107554430A (zh
Inventor
刘童
李月
苏海军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710854609.9A priority Critical patent/CN107554430B/zh
Publication of CN107554430A publication Critical patent/CN107554430A/zh
Priority to US15/986,947 priority patent/US10573068B2/en
Application granted granted Critical
Publication of CN107554430B publication Critical patent/CN107554430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Traffic Control Systems (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)

Abstract

本发明提供了一种车辆盲区可视化方法、装置、终端、系统及车辆，获取车辆前方的实时图像数据，利用获取的所述图像数据构建三维地图及确定车辆在该三维地图中的当前位置；获取驾驶员与遮挡驾驶员视角的遮挡物之间的相对位置信息，并结合该遮挡物的结构信息确定驾驶员的视角盲区；依据所述三维地图、车辆在该三维地图中的当前位置及驾驶员的视角盲区确定所述视角盲区中的环境信息。本发明实现了在不影响车辆美观度和车厢内部容纳空间的情况下，保证驾驶员能够安全驾驶车辆，降低交通事故发生的概率，同时由于设备少，使得设备维护费用降低，节约了经济成本，同时便于安装和维护。

Description

车辆盲区可视化方法、装置、终端、系统及车辆
技术领域
本发明涉及图像显示及车辆安全技术领域，具体而言，本发明涉及一种车辆盲区可视化方法、装置、终端、系统及车辆。
背景技术
众所周知，一般的汽车车身每侧有三种立柱，分别为“A柱”、“B柱”、“C柱”，其中“A柱”为前挡风玻璃两侧斜柱，“B柱”为前后门的立柱，“C柱”为后挡风玻璃两侧斜柱。车辆在行驶过程中，“A柱”、“B柱”、“C柱”都会给驾驶员产生视野盲区，经常导致驾驶不便或交通事故，但以“A柱”最为明显(尤其离驾驶员最近的一侧的“A柱”)，车辆“A柱”的宽度为8厘米左右，假设驾驶员为左侧驾驶，左侧“A柱”给驾驶员造成的左侧视野盲区的夹角有6°、右侧视野盲区的夹角有2°，当恰巧有行人或者车辆处于左侧视野盲区内时，驾驶员则不能看到处于左侧视野盲区内的行人或者车辆，从而导致交通事故的发生。有数据表明有20％的交通事故与A柱有关。而传统的解决汽车视野盲区的方法设备使用维护费较高、硬件结构复杂且安装过程麻烦，同时也会降低车厢的内部容纳空间以及车辆的美观度。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一，特别是不能直观地向驾驶员提供盲区图像及向驾驶员提供盲区图像成本较高、影响车辆美观度和车辆内部空间的问题。
本发明提供了一种车辆盲区可视化的方法，包括：
获取车辆前方的实时图像数据，利用获取的所述图像数据构建三维地图及确定车辆在该三维地图中的当前位置；
确定驾驶员的视角盲区；
依据所述三维地图、车辆在该三维地图中的当前位置及驾驶员的视角盲区确定所述视角盲区中的环境信息。
进一步地，在所述依据所述三维地图、车辆在该三维地图中的当前位置及驾驶员的视角盲区确定所述视角盲区中的环境信息的步骤之后，还包括：
对所述视角盲区中的环境信息进行实时检测，以判断所述视角盲区中是否存在目标对象；若是，则发送提醒信息。
进一步地，在所述依据所述三维地图、车辆在该三维地图中的当前位置及驾驶员的视角盲区确定所述视角盲区中的环境信息的步骤之后，还包括：
将所述视角盲区中的环境信息显示在车厢内部。
优选地，确定驾驶员的视角盲区的步骤中，具体包括：
获取车厢内部实时图像数据，构建车厢内部的车厢三维模型；
建立坐标系，并根据所述车厢三维模型确定驾驶员和遮挡物在所述坐标系中的坐标值，计算出驾驶员和遮挡物的相对位置信息；
获取驾驶员与遮挡驾驶员视角的遮挡物之间的相对位置信息，并结合该遮挡物的结构信息，以确定驾驶员的视角盲区。
进一步地，所述获取车辆前方的实时图像数据，利用获取的所述图像数据构建三维地图及确定车辆在该三维地图中的当前位置的步骤之前，还包括：预设车辆的车体参数信息和遮挡物的结构信息；所述遮挡物的结构信息包括遮挡物的棱长、遮挡物棱的顶点和/或端点、遮挡物各棱的交点、遮挡物面向驾驶员一面的面积中的至少一种。
优选地，所述结合该遮挡物的结构信息确定驾驶员的视角盲区的过程中，具体包括：
获取遮挡物各棱的端点和/或顶点在所述坐标系中的坐标值；
在所述车厢三维模型中，以驾驶员所在的坐标值的点为参考点，直线连接所述基准点与遮挡驾驶员视角的遮挡物各棱的端点和/或顶点；
将所述直线与遮挡物的各棱的交点为起始点，背向驾驶员延伸，所述直线和遮挡物共同构成的背向驾驶员的区域为所述视角盲区。
优选地，所述确定车辆在该三维地图中的当前位置的过程中，具体包括：
根据车辆的车体参数信息，以车辆中获取所述实时图像数据装置的位置为在所述三维地图中构建所述车体模型的基准点，在所述三维地图中构建所述车体模型，确定车辆在该三维地图中的当前位置。
优选地，所述三维地图和/或车厢三维模型采用Slam方式构建。
进一步地，所述Slam方式的构建步骤包括：
获取车辆前方的实时图像数据/车厢内部实时图像数据，提取车辆前方实时图像数据/车厢内部实时图像数据中的特征点，匹配不同帧的车辆前方实时图像数据/车厢内部实时图像数据中的特征点；
基于匹配成功的不同帧的车辆前方实时图像数据/车厢内部实时图像数据中的特征点和特征点的归一化算法，预估所述三维地图中的运动参数；
依据所述运动参数，将所有帧的车辆前方实时图像数据/车厢内部实时图像数据中的特征点转换到同一坐标系中，构建所述三维地图/所述车厢三维模型。
优选地，所述遮挡物为车辆A柱。
优选地，所述提醒信息形式包括：语音提醒、文字提醒、在车厢内部闪烁或高亮显示所述视角盲区内目标对象。
一种车辆盲区可视化装置，包括构建地图模块，确定盲区模块，获取盲区目标对象模块，
所述构建地图模块，用于获取车辆前方的实时图像数据，利用获取的所述图像数据构建三维地图及确定车辆在该三维地图中的当前位置；
所述确定盲区模块，用于确定驾驶员的视角盲区；
所述获取盲区目标对象模块，用于依据所述三维地图、车辆在该三维地图中的当前位置及驾驶员的视角盲区确定所述视角盲区中的环境信息。
一种车辆盲区可视化终端，包括处理器、存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现前述任一项所述车辆盲区可视化方法的步骤。
一种车辆盲区可视化系统，包括前述的车辆盲区可视化终端及用于采集实时图像数据并将该实时数据发送给所述车辆盲区可视化终端的摄像装置。
一种车辆，包括前述的车辆盲区可视化的系统。
进一步地，通过本发明的优选实施例方式，可实现具有如下优点：
1、本发明的车辆盲区可视化方法、装置、终端及车辆，采取了较少的外部装置来获取车辆前方的实时图像数据，将获取到的图像数据通过视觉技术构建三维地图及确定车辆在该三维地图中的当前位置；通过已知的车辆信息及驾驶员的位置获取驾驶员与遮挡驾驶员视角的遮挡物之间的相对位置信息，并结合该遮挡物的结构信息确定驾驶员的视角盲区；将前述三维地图、车辆在该三维地图中的位置及驾驶员的视角盲区确定所述视角盲区中的环境信息。在本发明中，采取较少的车辆外部的装置，并结合现有车辆的内部装置共同实现了将驾驶员视角盲区内的信息传送给驾驶员，节约了视角盲区可视化的经济成本，视觉技术在构件三维地图的同时可确定车辆的实际位置信息，节约了视角盲区可视化的时间成本，由于获取实时图像的装置为现有装置或者仅新安装的较少的摄像装置，实现了在不影响车辆美观度的情况下，实现车辆盲区的可视化。
2、本发明的车辆盲区可视化方法、装置、终端及车辆，可对视角盲区内的环境信息进行实时检测，以确定视角盲区内是否存在可能导致交通事故的目标对象，在发现目标对象时，向驾驶员发送提醒信息，使得驾驶员可提前做好防备措施，从而实现避免交通事故的发生。
3、本发明的车辆盲区可视化方法、装置、终端及车辆，为了能让驾驶员直观的获取到盲区内的环境信息，将盲区内的环境信息通过投影的方式显示在车厢内部或者在显示装置上显示，驾驶员可通过观看显示的视角盲区内的环境信息，确定是否存在可能导致交通事故的目标对象，从而实现避免交通事故的发生。
4、本发明的车辆盲区可视化方法、装置、终端及车辆，为了能够准确的确定视角盲区内的环境信息，构建了车厢内部的三维模型，依据车辆三维模型中遮挡物和驾驶员的在同一坐标系中的位置信息，从而实现准确的确定视角的盲区。
5、本发明的车辆盲区可视化方法、装置、终端及车辆，在遮挡物的构件信息、遮挡物位置信息、驾驶员位置信息确定的情况，通过简单的几何连线便可确定属于视角盲区的环境信息。
6、本发明的车辆盲区可视化方法、装置、终端及车辆，其主要解决的是车辆A柱给驾驶员造成的视角盲区，通过车辆前面的摄像头便可获取车辆A柱所遮挡的环境信息，从而解决车辆A柱内驾驶员视角盲区造成的交通事故。
7、本发明的车辆盲区可视化方法、装置、终端及车辆，为了能让驾驶员获取到清楚的视角盲区的环境信息，可通过语音提醒、文字提醒、在车内显示装置中闪烁或高亮显示所述视角盲区内目标对象，语音提醒在驾驶员未看车厢内显示的环境信息时，可给驾驶员听觉上的提醒，使驾驶员能够清晰的确定盲区内的目标对象，以及目标对象可能导致交通事故的信息，从而避免交通事故的发生；在驾驶员看向显示装置时，在不确定目标对象与车辆的距离或者目标对象的信息时，可通过观看文字确定目标对象与车辆的距离或者目标对象的信息，从而避免交通事故的发生；另外，避免驾驶员注意不到车厢内显示的视角盲区内的目标对象，通过高亮或者闪烁的方式提醒驾驶员，使驾驶员可放更多的注意力在视角盲区的目标对象上，判断视角盲区内目标对象导致交通事故的可能性，从而避免交通事故的发生。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明一种实施例的车辆盲区可视化方法的流程图；
图2为本发明车辆盲区可视化方法的驾驶员视角盲区的示意图；
图3为本发明一种实施例的车辆盲区可视化装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
汽车盲区，是指驾驶员位于正常驾驶座位置，其视线被车体遮挡而不能直接观察到的那部分区域。由于司机坐在车中只可通过车窗观察到外面的一部分情况，另外，一些车外的一些障碍物也会影响司机对道路情况的观察，从而导致了交通事故的发生。然而仅增强驾车安全措施，遵守交通法规和行车道德避免一部分交通事故的发生，只有在任何时候、任何情况中，做到提前预见所可能发生的后果，才能真正降低交通事故的发生。车辆在行驶过程中，车身的三种立柱给驾驶员造成较大的视野盲区，为了驾驶车辆过程中的安全性，现有的确定盲区内是否存在可能导致交通事故的目标对象的技术成本较高，设备多，安装复杂，还会影响车身的美观度和车厢的容纳空间，本发明结合现有车辆的摄像装置，减少安装的设备在不影响车辆美观度和车厢容纳空间的情况实现对驾驶员视角盲区的环境信息的获取。
本发明提供了一种车辆盲区可视化的方法，如图1所示，包括S100至S300。
S100：获取车辆前方的实时图像数据，利用获取的图像数据构建三维地图及确定车辆在该三维地图中的当前位置。
车辆在行驶过程中，驾驶员只能通过车窗观察外界的环境，而不透明的车身构件遮挡住的区域环境不能被驾驶员观察，对驾驶员造成一定角度的视角盲区，若在视角盲区内存在目标对象时，从而有可能导致交通事故的发生，对于车身的结构中，本发明的实施例针对A柱造成的视角盲区进行详细描述，在常规车厢中，安装有摄像装置，其中一个摄像装置主要捕获车辆行驶前方的实时图像数据，实时图像数据中具体包括了车辆前方的环境信息，包括环境中的各目标对象，如建筑物、植物、人、其他障碍物等。具体的，如图2中，AOF角度范围为驾驶员可肉眼观察到的外界环境的大范围，其中车辆前方的摄像装置P可捕获的车辆前方的实时图像，并可将该实时图像数据用于构建三维地图，从而获得包括BOE角度范围内车辆外侧的环境信息的三维地图，利用获取到的所述图像数据通过Slam视觉技术构建三维地图，通过构建的三维地图以及摄像装置的位置，从而确定车辆在该三维地图中的当前位置。具体的，由于三维地图中包括了BOE角度范围实时的环境信息，即实时的环境中的建筑物、植物、人、其他障碍物等，在构建三维地图时，便可通过获取实时图像的摄像装置的位置与BOE角度范围环境信息中的建筑物、植物、人、其他障碍物等的相对位置信息，从而确定车辆在三维地图中的位置信息，即车辆在三维地图中的当前位置，从而实现了时间成本的节约，且摄像装置选择单目、双目或深度摄像机，广角或非广角相机等多种相机，其可安装在车辆后视镜背面或者车辆仪表台上方，优选的是车辆后视镜背面，摄像装置可获取到车辆两侧更大范围的环境信息，从而有效的检测环境中的目标对象。
S200：确定驾驶员的视角盲区。
通过驾驶员与遮挡驾驶员视角的遮挡物之间的相对位置信息，可准确地确定驾驶员的视角盲区，更进一步地，结合遮挡物的结构信息可更为准确的确定驾驶员的视角盲区，从而可将视角盲区的信息通过后述的步骤准确的传达给驾驶员，具体的，驾驶员与遮挡驾驶员视角的遮挡物之间的相对位置信息的确定可通过距离传感器确定，在遮挡物为A柱时，距离传感器可位于A柱，也可位于驾驶员座位处，距离传感器通过发射信号，并测量此信号从发射到被物体反射回来的时间，通过测时间间隔来计算与物体之间的距离。距离传感器包括超声波测距传感器、折叠红外线测距传感器、折叠24GHZ雷达测距传感器等，在获取到两者距离后，在同一坐标系下，确定驾驶员和遮挡物两者的坐标值，并进一步结合遮挡物的结构信息，包括遮挡物的形状、面积、各棱长的端点和/或顶点等，确定遮挡物(A柱)给驾驶员造成的视角盲区，及沿车辆A柱往车身外侧的一定角度范围的区域(如图2中的BOC角度范围和DOE角度范围的区域)；进一步的，视角盲区也可通过车厢内部的摄像装置获取到的实时图像构建车厢内部的三维模型，结合预设的车辆参数以及A柱的结构信息确定A柱给驾驶员造成的视角盲区(如图2中的BOC角度范围和DOE角度范围的区域)，具体步骤后文详述。
S300：依据所述三维地图、车辆在该三维地图中的位置及驾驶员的视角盲区确定所述视角盲区中的环境信息。
在前述S100和S200的基础上，确定了车辆所在环境的当前位置的车辆前方的三维地图、车辆在该三维地图中的位置以及驾驶员的视角盲区，通过获取三维地图、车辆在该三维地图中的位置以及驾驶员的视角盲区的有效数据，通过Slam视觉技术将三者有效的叠加重建，得到视角盲区的环境信息，其中有效数据包括三维地图中的特征点、车辆在三维地图中的具体位置、驾驶员视角盲区的具体的角度范围(如图2中的BOC角度范围和DOE角度范围)等，将有效数据提取出来，按照同一坐标系中等同的比例将有效数据通过Slam视觉技术叠加重建，便可确定三维地图中属于视角盲区的环境信息。通过较少的摄像装置便可确定遮挡物(尤其是A柱)给驾驶员造成的视角盲区，进一步地，结合三维地图确定视角盲区中的环境信息，从而在不影响车辆内部容纳空间和美观度的情况下，减少了车辆盲区可视化的硬件设备，且安装简单，进一步地降低了车辆盲区可视化的经济成本和时间成本。
进一步地，在所述依据所述三维地图、车辆在该三维地图中的位置及驾驶员的视角盲区确定所述视角盲区中的环境信息的步骤S300之后，还包括：
S310：对所述视角盲区中的环境信息进行实时检测，以判断所述视角盲区中是否存在目标对象；若是，则发送提醒信息。
在前述确定了盲区的环境信息后，检测属于视角盲区内环境信息中的具体的目标对象，包括：人、车辆、建筑物、植物等其他障碍物，同时判断各盲区内各目标对象与车辆的距离，或者预估各目标对象与车辆距离的变化，确定可能导致交通事故的目标对象，向驾驶员发送提醒信息，提醒信息可如文字显示：“距离车辆行驶方向的右侧2米内有行人”等。目标对象的检测主要通过从三维地图中检测目标对象信息，具体的检测方法如图像识别技术，或者可根据目标对象的高度和/或体积进行判断，即预设有高度和/或体积的阈值，当一对象的高度和/或体积的值大于预设阈值时，则确定为目标对象，获取到视角盲区内的目标对象后，确定各目标对象与车身的距离，或预估目标对象与车辆距离随时间的变化，确定目标对象是否是引起交通事故的潜在目标对象，从而向驾驶员发送提醒信息，提醒信息包括语音提醒(如语音播报：距离车辆行驶方向的右侧2米内有行人)、文字提醒(如在车厢内部显示装置上显示或者车厢内部投影：距离车辆行驶方向的右侧2米内有行人)、在车厢内部显示装置上或者车厢内部投影上闪烁或者高亮显示可能引起交通事故的目标对象，目标对象与车身的距离或预估目标对象与车辆距离随时间的变化可通过Slam视觉技术获得，也可通过可以采用camshift、kalman、Meanshift、粒子滤波等技术实现在车辆行驶过程中对视角盲区内目标对象的跟踪，确定目标对象的位置信息，并结合车辆的位置信息确定视角盲区内目标对象的位置信息与车辆位置信息的线性关系，通过解析该线性关系确定目标对象与车辆的距离，或者预估目标对象与车辆距离随时间的变化，从而确定盲区内的可能导致交通事故的目标对象。进一步地，还可按照三维地图的比例与实际世界的比例确定盲区内目标对象与车辆的距离，进而判断视角盲区内可能导致交通事故的目标对象。
进一步地，在所述依据所述三维地图、车辆在该三维地图中的位置及驾驶员的视角盲区确定所述视角盲区中的环境信息的步骤S300之后，还包括：
S320：将所述视角盲区中的环境信息显示在车厢内部。
如前文在S310中的详述，为了能让驾驶员更直观的得到视角盲区的环境信息，将视角盲区的环境信息显示在车厢内部的显示装置中，且显示装置可安装在车辆内部仪表台的中部和/或转向盘前侧的仪表台上，方便驾驶员观看显示装置中的环境信息，使得驾驶员可以进一步地直接判断视角盲区内是否存在可能导致交通事故的目标对象，视角盲区的目标对象主要还可通过投影的方式显示在车厢内部，且此步骤显示视角盲区环境信息的设备的维护成本低，从而节约车辆盲区可视化的经济成本，且可在显示最真实的环境信息，为了方便驾驶员观看，可将视角盲区的环境信息投影在车辆内部仪表台的中部和/或转向盘前侧的仪表台上。
优选地，所述获取驾驶员与遮挡驾驶员视角的遮挡物之间的相对位置信息的步骤S200中，具体包括S210和S220。
S210：获取车厢内部实时图像数据，构建车厢内部的车厢三维模型。
在前文的步骤S200中描述了视角盲区的需要驾驶员和遮挡驾驶员视角的遮挡物之间的相对位置信息，为了能与步骤S100中的所述图像数据结合起来共同确定视角盲区的环境信息，并也可使用Slam视觉技术。具体的，摄像装置实时捕获的车厢内部的图像，其中车厢内部摄像装置可捕捉到的实时图像的角度范围为图2中的IOJ角度范围，车厢内部的实时图像IOJ角度范围中主要包括了驾驶员、车厢内部的座位以及遮挡物等的信息，提取车厢内部的实时图像数据中驾驶员在不同帧图像数据中的位置变化，通过RANSAC预估出驾驶员、车厢内部的座位以及遮挡物等的运动参数，将驾驶员、车厢内部的座位以及遮挡物等三者的运动参数统一到一个坐标系下，从而得到车厢内部的三维模型，进一步的，在构建车厢内部三维模型时，其主要提取的是不同帧图像中驾驶员、车厢内部的座位以及遮挡物等上的特征点，如驾驶员鼻尖的所在点、左侧嘴角所在的点、左右侧眼睛的内外眼角的所在的点、驾驶员座位的轮廓的端点和/或顶点、遮挡物的轮廓的顶点等，在相邻帧或者间隔帧的图像数据中找对应的特征点，并将其进行匹配，从而将各帧的特征点统一到同一坐标系中，从而确定包括驾驶员的车厢三维模型。具体的，可将摄像装置安装在后视镜一侧，且可通过该摄像装置获取到车厢内部的实时图像数据，摄像装置还可以安装在车厢内部显示装置一侧，进而降低对车辆美观度以及车厢容纳空间的影响。并也可使用同样的Slam视觉技术构建车厢三维模型，提高三维地图和车厢三维模型的融合率，节约运算空间，为了合理的运用车厢内部空间，在投影时，可将视角盲区的环境信息投影到驾驶员预设的位置上，从而在不改变驾驶员习惯的情况为驾驶员提供直观视角盲区的环境信息。
S220：建立坐标系，并根据所述车厢三维模型确定驾驶员和遮挡物在所述坐标系中的坐标值，计算出驾驶员和遮挡物的相对位置信息；
S230：获取驾驶员与遮挡驾驶员视角的遮挡物之间的相对位置信息，并结合该遮挡物的结构信息，以确定驾驶员的视角盲区。
为了方便确定驾驶员、遮挡物位置，建立坐标系，将驾驶员、遮挡物置于同一坐标系中，通过坐标系确定三者的坐标值，依据驾驶员的坐标值、遮挡物的坐标值及坐标原点共同确定驾驶员和遮挡物的距离，以及驾驶员和遮挡物与坐标原点连线后与同一坐标轴的夹角。为了方便确定相对位置信息，具体建立三维坐标系，如驾驶员O点的坐标值为(x，y，z)，遮挡物的坐标值为(x1，y1，z1)，驾驶员和遮挡物的距离为
Figure BDA0001413458700000111
遮挡物和原点连线后与x轴的夹角为
Figure BDA0001413458700000112
从而确定驾驶员和遮挡物的相对位置，便于后续步骤可根据该相对位置得到视角盲区。
进一步地，所述获取车辆前方的实时图像数据，利用获取的所述图像数据构建三维地图及确定车辆在该三维地图中的当前位置的步骤S100之前，还包括：S101预设车辆的车体参数信息和遮挡物的结构信息；所述遮挡物的结构信息包括所述遮挡物的棱长、遮挡物棱的顶点和/或端点、遮挡物各棱的交点、遮挡物面向驾驶员一面的面积中的至少一种。
为了能更准确地确定驾驶员的视角盲区，且减少确定视角盲区的时间，在预设车辆的车体参数和遮挡物的结构信息，在构建三维地图时，可直接调用车体参数，从而构建出包含车辆的三维地图，三维地图中车辆的车体参数按照预设比例缩小，同时遮挡物的结构信息用于在遮挡物和驾驶员的相对位置确定后，获取遮挡物的结构信息如遮挡物的棱长、遮挡物棱的顶点和/或端点、遮挡物各棱的交点、遮挡物面向驾驶员一面的面积中的至少一种，其用于在构建三维模型时可依据遮挡物的棱长、遮挡物棱的顶点和/或端点、遮挡物各棱的交点、遮挡物面向驾驶员一面的面积中的至少一种的实际信息进行缩小进而构建三维模型，同时在未建立坐标系的情况下，可获取遮挡物的棱长、遮挡物棱的顶点和/或端点、遮挡物各棱的交点，并通过直线将驾驶员和遮挡的各顶点和/或端点、交点连接，并沿遮挡物背向驾驶员延伸，从而获得驾驶员的视角盲区。
优选地，所述结合该遮挡物的结构信息确定驾驶员的视角盲区的步骤S200中，具体包括S201至S203。
S201：获取遮挡物各棱的端点和/或顶点在所述坐标系中的坐标值。
在建立了坐标系时，如前文所述其不仅可以用于确定驾驶员和遮挡物的相对位置，还可用于确定遮挡物各棱的端点和/或顶点在坐标系中的坐标值，从而有利于更为准确的确定驾驶员的视角盲区，其中在棱为弧形时，则包括遮挡物的棱的端点和顶点坐标值；在棱为直线时，则包括遮挡物的棱的端点或者顶点的坐标值。
S202：在所述车厢三维模型中，以驾驶员所在的坐标值的点为基准点，直线连接所述基准点与遮挡驾驶员视角的遮挡物各棱的端点和/或顶点。
S203：将所述直线与遮挡物的各棱的交点为起始点，背向驾驶员延伸，所述直线和遮挡物共同构成的背向驾驶员的区域为所述视角盲区。
在步骤S201中确定了遮挡物各棱的端点和/或顶点的坐标值对应的点、驾驶员在所述坐标系中的坐标值对应的点时，以驾驶员所在的坐标值的点为基准点，直线连接所述基准点与遮挡驾驶员视角的遮挡物各棱的端点和/或顶点，或者进一步确定驾驶员头部各五官的端点和/或顶点在坐标系中的坐标值，特别地，确定双眼眼角在坐标系中的坐标值，且以双眼内眼角的中间点为起始点向车辆前方延伸形成界线，进一步地，直线连接同一侧的驾驶员眼睛的两眼角所在坐标系中的坐标点与遮挡物的各棱的端点和/或顶点的所在的坐标点，并将直线沿遮挡物各棱的端点和/或顶点背向驾驶员延伸(如图2中的OB、OC、OD、OE)，且延伸的起始点为所述直线与遮挡物各棱的交点，延伸的直线和遮挡物背向驾驶员的区域为视角盲区(如图2中的BOC角度范围、DOE角度范围)，即延伸的直线和遮挡物背向驾驶员的区域位于车身外侧，当遮挡物为A柱时，则该区域位于驾驶员前侧且在车身外侧，若为B柱或者C柱，则该区域位于驾驶员后侧的车身外侧。通过几何连线并延伸确定视角盲区的方法简单且准确，建立坐标系并通过坐标值延伸，可通过各直线的向量及向量求解角度的方法获得更精确的视角盲区的角度范围。
优选地，所述确定车辆在该三维地图中的当前位置的步骤S100中，具体包括：
S102：根据车辆的车体参数信息，以车辆中获取所述实时图像数据装置的位置为在所述三维地图中构建所述车体模型的基准点，在所述三维地图中构建所述车体模型，确定车辆在该三维地图中的当前位置。
在构建三维地图时，需要确定车辆在三维地图中的位置，则需要找一个基准点，根据车辆参数与基准点的关系，在三维地图中构建车体模型，从而确定车辆在该三维地图中的位置，例如，以获取所述实时图像数据装置的位置为在三维地图中构建车体模型的基准点，由于在前述步骤中建立了坐标系，在获取实时图像数据时并可确定该点在坐标系中的位置，在根据车体参数，如车辆A柱各棱的端点和/或顶点到基准点的长度为L，角度为N，按照三维地图与实际地图的比例，将L在三维地图中缩减为M，依据M和N共同确定车辆A柱在三维地图中的位置，并将车体的其他参数按照此步骤确定在三维地图中的位置，从而在三维地图中构建出车体模型，从而确定车辆在三维地图中的当前位置，进一步地，在三维地图相对实际世界的比例较小时，且不能分辨三维地图中的环境信息时，所述车辆的基准点的位置则为车辆在三维地图中的当前位置，更进一步地，基准点并不限制于获取所述实时图像数据的装置的位置，也可以车体其他构件或者点。
优选地，所述三维地图和/或车厢三维模型采用Slam方式构建。
进一步地，所述Slam方式的构建步骤包括S510至S530。
S510：获取车辆前方的实时图像数据/车厢内部实时图像数据，提取车辆前方实时图像数据/车厢内部实时图像数据中的特征点，匹配不同帧的车辆前方实时图像数据/车厢内部实时图像数据中的特征点。
从摄像装置获取车辆前方的实时图像数据/车厢内部实时图像数据，提取图像数据中的特征点，特征点的提取方法包括ORB和SIFT两种方法，其中ORB是一种快速特征点提取和描述的算法。包括两部分，分别是特征点提取和特征点描述。ORB特征是将FAST特征点的检测方法与BRIEF特征描述子结合起来。FAST特征提取是定义一个特征点方向，以此来实现特征点的旋转不变形。其主要包括：步骤一：提取大量的特征点，包括质量不高的特征点。特征点特征为从实时图像数据中选取一点，以该点为圆心画一个半径为3像素的圆。圆周上有连续n个像素点的灰度值比该点的灰度值大或者小；步骤二：将特征点圆周上像素输入ID3算法训练出的决策树中，获取最优的FAST特征点；步骤三：通过特征点和其周围其他特征点的偏差的绝对值和的运算方式获取响应值较大的特征点；步骤四：设置一个比例因子scaleFactor和金字塔的层数nlevels。将原图像按比例因子缩小成nlevels幅图像。缩放后的图像为：I’＝I/scaleFactork(k＝1,2,…,nlevels)。n levels幅不同比例的图像提取特征点总和作为这幅图像的FAST特征点。步骤五：通过矩来计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向。BRIEF算法计算出来的是一个二进制串的特征描述符。它是在一个特征点的邻域内，选择n对像素点pi、qi(i＝1,2,…,n)。然后比较每个点对的灰度值I的大小。如果I(pi)>I(qi)，则生成二进制串中的1，否则为0。所有的点对都进行比较，则生成长度为n的二进制串。一般n取128、256或512。另外，通过高斯平滑处理增加特征描述符的抗噪性，关于在特征点的区域内选取点对的方法步骤包括：1)在图像块内平均采样；2)p和q都符合(0,S2/25)的高斯分布；3)p符合(0,S2/25)的高斯分布，而q符合(0,S2/100)的高斯分布；4)在空间量化极坐标下的离散位置随机采样；5)把p固定为(0,0)，q在周围平均采样。进一步可通过改进的rBRIEF算法实现。
SIFT特征不只具有尺度不变性，即使在改变旋转角度，图像亮度或拍摄视角时，仍然能够得到好的检测效果。SIFT特征点提取步骤包括：1、通过高斯卷积核是实现尺度变换的唯一线性核，利用不同尺度的高斯差分核与图像卷积生成高斯差分尺度空间，即图像金字塔；2、检测DOG尺度空间极值点，确定图像在该尺度下的一个特征点；3、使用近似HarrisCorner检测器通过拟和三维二次函数以精确确定关键点的位置和尺度(达到亚像素精度)，同时去除低对比度的关键点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力；4、通过确定的每幅图中的特征点，为每个特征点计算一个方向，依照这个方向做进一步的计算，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性；5、将坐标轴旋转为关键点的方向，以确保旋转不变性。利用公式求得每个像素的梯度幅值与梯度方向，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，然后用高斯窗口对其进行加权运算；6、根据SIFT将生成的图进行匹配，两图中各个scale(所有scale)的描述子进行匹配，匹配上128维即可表示两个特征点匹配上了，即将不同帧实时图像数据中的特征点进行匹配，其中匹配时，可以是将相邻帧的图像数据中的特征点进行匹配，也可以是间隔帧的图像数据中的特征点进行匹配。
S520：基于匹配成功的不同帧的车辆前方实时图像数据/车厢内部实时图像数据中的特征点和特征点的归一化算法，预估所述三维地图中的运动参数。
S530：依据所述运动参数，将所有帧的车辆前方实时图像数据/车厢内部实时图像数据中的特征点转换到同一坐标系中，构建所述三维地图/所述车厢三维模型。
在特征点匹配成功后，其中有一部分特征点存在匹配错误的情况，因此需要通过特征点的归一化算法去除匹配错误的特征点，特征点的归一化算法可以为RANSAC算法，也可以是ICP算法，预估所述三维地图中的运动参数，RANSAC算法步骤包括：1、随机从数据集中随机抽出4个样本数据(此四个样本之间不共线)计算出变换矩阵H，记为模型M；2、计算数据集中所有数据与模型M的投影误差，若误差小于阈值，加入内点集I；3、如果当前内点集元素个数大于最优内点集，则更新，同时更新迭代次数k；4、如果迭代次数大于k，则退出：否则迭代次数加1，并重复上述步骤，得到匹配正确的特征点，依据特征点的在实时图像数据中的变化，预估出运动参数，即实时图像数据中的特征点即将在下一帧或者几帧实时图像中位置，并将所所有帧中的匹配正确的特征点统一到前述的坐标系中，从而得到前述的三维地图/三维模型；ICP算法是一种点集对点集配准方法，ICP算法是从源点云上的每个点，先计算出目标点云的每个点的距离，使每个点和目标云的最近点匹配，从而满足对应点集配准算法的前提条件，每个点都有了对应的映射点，则可以按照对应点集配准算法计算，但因为这个是假设，所以需要重复迭代运行上述过程，直到均方差误差小于某个阀值。即每迭代一次，整个模型是靠近一点，每次都重新找最近点，然后再根据对应点集批准算法算一次，比较均方差误差，如果不满足就继续迭代，直到均方差误差小于某个阀值，进一步地，本发明还可通过其他实现去除匹配错误的特征点的算法进行运算。
优选地，所述遮挡物为车辆A柱。
如前文所述摄像装置安装在车辆的前方，其主要用于获取车辆前方的实时图像数据，而A柱位于车身的前侧，经过前述步骤获得A柱给驾驶员造成的视角盲区，进一步地，其也可通过在车辆顶部或者车辆后侧安装摄像装置，用于获取车辆两侧或者车辆后方的实时图像数据，并通过前述的步骤确定B柱和/或C柱给驾驶员造成的视角盲区。
优选地，所述提醒信息形式包括：语音提醒、文字提醒、在车厢内部闪烁或高亮显示所述视角盲区内目标对象。
如前文所述，在确定视角盲区、视角盲区的环境信息以及视角盲区环境信息中的目标对象时，如若发现目标对象时，可通过语音提醒、文字提醒、在车厢内部闪烁或高亮显示所述视角盲区内目标对象的三种形式向驾驶员发出提醒，从而避免交通事故的发生。
一种车辆盲区可视化装置，如图2所示，包括构建地图模块10，确定盲区模块20，获取盲区目标对象模块30，
所述构建地图模块10，用于获取车辆前方的实时图像数据，利用获取的图像数据构建三维地图及确定车辆在该三维地图中的当前位置；
所述确定盲区模块20，用于确定驾驶员的视角盲区；
所述获取盲区目标对象模块30，用于依据所述三维地图、车辆在该三维地图中的当前位置及驾驶员的视角盲区确定所述视角盲区中的环境信息。
一种车辆盲区可视化终端，包括处理器、存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现前述任一项所述的车辆盲区可视化方法的步骤。
一种车辆盲区可视化系统，包括前述的车辆盲区可视化终端及用于采集实时图像数据并将该实时数据发送给所述车辆盲区可视化终端的摄像装置。
一种车辆，包括前述的车辆盲区可视化的系统。
本发明的一种车辆盲区可视化方法、装置、终端、系统及车辆，优选的用于车辆A柱盲区的可视化，也适用于车辆B柱、C柱或者其他遮挡的构件。在用于车辆A柱时，摄像装置实时捕获车辆前方和/或车厢内部的实时图像，车辆中的车辆盲区可视化系统中的终端获取该实时图像数据，通过Slam构件车辆前方的三维地图以及车厢内部三维模型，在三维模型中依据预设在终端中的车体参数以及车辆构件信息，在三维地图中构建车体模型，进而确定车辆在三维地图中的位置，在构建三维地图和三维模型时已构建了坐标系，且驾驶员、遮挡物包括在所述坐标系中，以利于通过驾驶员和遮挡物的坐标值通过求解距离和角度的公式确定驾驶员和遮挡物的相对位置信息，进一步地，结合遮挡物的构件信息包括遮挡物的各棱的端点和/或顶点的坐标值，将驾驶员的点和各棱的端点和/或顶点通过直线连接并往驾驶员前侧延伸，结合各棱长首尾端点连接形成的封闭面，从而确定驾驶员的视角盲区，该视角盲区为A柱的给驾驶员造成的视角盲区，位于驾驶员前侧的车辆外侧，由于车厢三维模型和三维地图都基于同一个坐标系建立的，因此将两者进行叠加，进而获得视角盲区内的环境信息，在视角盲区的环境信息内通过图像识别方法或者对比高度和/或体积的阈值的方法，确定视角盲区内是否存在目标对象，在存在目标对象时，计算目标对象与车辆的距离或者确定目标对象到车辆的距离随时间变化的线性关系，确定是否存在一时间点，目标对象和车辆位于三维地图中的距离小于一预设的安全距离，优选地，为目标对象和车辆行驶方向两侧的其中一侧的距离小于预设的安全距离，更优地，为为目标对象和车辆行驶方向前端的距离小于预设的安全距离，若有，则将向驾驶员发送包括文字提醒、语音提醒、在车厢内部高亮或者闪烁显示包括所述目标对象的环境信息，使得驾驶员可以提前做好防范措施，实现安全驾驶。由于本发明的终端和摄像装置可基于现有车辆的仪表台、后视镜或者显示装置实现车辆盲区可视化，因此降低了对车辆美观度和车厢容纳空间的影响。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种车辆盲区可视化方法，其特征在于，包括：
获取车辆前方的实时图像数据，利用获取的所述图像数据构建三维地图及确定车辆在该三维地图中的当前位置；
获取车厢内部的实时图像数据，并通过所述实时图像数据确定驾驶员的视角盲区；
依据所述三维地图、车辆在该三维地图中的当前位置及驾驶员的视角盲区确定所述视角盲区中的环境信息。
2.根据权利要求1所述的车辆盲区可视化方法，其特征在于，在所述依据所述三维地图、车辆在该三维地图中的当前位置及驾驶员的视角盲区确定所述视角盲区中的环境信息的步骤之后，还包括：
对所述视角盲区中的环境信息进行实时检测，以判断所述视角盲区中是否存在目标对象；若是，则发送提醒信息。
3.根据权利要求1所述的车辆盲区可视化方法，其特征在于，在所述依据所述三维地图、车辆在该三维地图中的当前位置及驾驶员的视角盲区确定所述视角盲区中的环境信息的步骤之后，还包括：
将所述视角盲区中的环境信息显示在车厢内部。
4.根据权利要求1所述的车辆盲区可视化方法，其特征在于，所述确定驾驶员的视角盲区的步骤中，具体包括：
获取车厢内部实时图像数据，构建车厢内部的车厢三维模型；
建立坐标系，并根据所述车厢三维模型确定驾驶员和遮挡物在所述坐标系中的坐标值，计算出驾驶员和遮挡物的相对位置信息；
获取驾驶员与遮挡驾驶员视角的遮挡物之间的相对位置信息，并结合该遮挡物的结构信息，以确定驾驶员的视角盲区。
5.根据权利要求4所述的车辆盲区可视化方法，其特征在于，所述获取车辆前方的实时图像数据，利用获取的所述图像数据构建三维地图及确定车辆在该三维地图中的当前位置步骤之前，还包括：预设车辆的车体参数信息和遮挡物的结构信息；所述遮挡物的结构信息包括所述遮挡物的棱长、遮挡物棱的顶点和/或端点、遮挡物各棱的交点、遮挡物面向驾驶员一面的面积中的至少一种。
6.根据权利要求5所述的车辆盲区可视化方法，其特征在于，所述结合该遮挡物的结构信息，以确定驾驶员的视角盲区的过程中，具体包括：
获取遮挡物各棱的端点和/或顶点在所述坐标系中的坐标值；在所述车厢三维模型中，以驾驶员所在的坐标值的点为基准点，直线连接所述基准点与遮挡驾驶员视角的遮挡物各棱的端点和/或顶点；
将所述直线与遮挡物的各棱的交点为起始点，背向驾驶员延伸，所述直线和遮挡物共同构成的背向驾驶员的区域为所述视角盲区。
7.根据权利要求5所述的车辆盲区可视化方法，其特征在于，所述确定车辆在该三维地图中的当前位置的过程中，具体包括：
根据车辆的车体参数信息，以车辆中获取所述实时图像数据装置的位置为在所述三维地图中构建所述车体模型的基准点，在所述三维地图中构建所述车体模型，确定车辆在该三维地图中的当前位置。
8.根据权利要求1或4所述的车辆盲区可视化方法，其特征在于，所述三维地图和/或车厢三维模型采用Slam方式构建。
9.根据权利要求8所述的车辆盲区可视化方法，其特征在于，所述Slam方式的构建步骤包括：
获取车辆前方的实时图像数据/车厢内部实时图像数据，提取车辆前方实时图像数据/车厢内部实时图像数据中的特征点，匹配不同帧的车辆前方实时图像数据/车厢内部实时图像数据中的特征点；
基于匹配成功的不同帧的车辆前方实时图像数据/车厢内部实时图像数据中的特征点和特征点的归一化算法，预估所述三维地图中的运动参数；
依据所述运动参数，将所有帧的车辆前方实时图像数据/车厢内部实时图像数据中的特征点转换到同一坐标系中，构建所述三维地图/所述车厢三维模型。
10.根据权利要求4所述的车辆盲区可视化方法，其特征在于，所述遮挡物为车辆A柱。
11.根据权利要求2所述的车辆盲区可视化方法，其特征在于，所述提醒信息形式包括：语音提醒、文字提醒、在车厢内部闪烁或高亮显示所述视角盲区内目标对象。
12.一种车辆盲区可视化装置，其特征在于，包括构建地图模块，确定盲区模块，获取盲区目标对象模块，
所述构建地图模块，用于获取车辆前方的实时图像数据，利用获取的所述图像数据构建三维地图及确定车辆在该三维地图中的当前位置；
所述确定盲区模块，用于获取车厢内部的实时图像数据，并通过所述实时图像数据确定驾驶员的视角盲区；
所述获取盲区目标对象模块，用于依据所述三维地图、车辆在该三维地图中的当前位置及驾驶员的视角盲区确定所述视角盲区中的环境信息。
13.一种车辆盲区可视化终端，其特征在于，包括处理器、存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现权利要求1-11任一项所述车辆盲区可视化方法的步骤。
14.一种车辆盲区可视化系统，其特征在于，包括权利要求13所述的车辆盲区可视化终端及用于采集实时图像数据并将该实时数据发送给所述车辆盲区可视化终端的摄像装置。
15.一种车辆，其特征在于，包括权利要求14所述的车辆盲区可视化的系统。
CN201710854609.9A 2017-09-20 2017-09-20 车辆盲区可视化方法、装置、终端、系统及车辆 Active CN107554430B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710854609.9A CN107554430B (zh) 2017-09-20 2017-09-20 车辆盲区可视化方法、装置、终端、系统及车辆
US15/986,947 US10573068B2 (en) 2017-09-20 2018-05-23 Method, device, terminal and system for visualization of vehicle's blind spot and a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710854609.9A CN107554430B (zh) 2017-09-20 2017-09-20 车辆盲区可视化方法、装置、终端、系统及车辆

Publications (2)

Publication Number Publication Date
CN107554430A CN107554430A (zh) 2018-01-09
CN107554430B true CN107554430B (zh) 2020-01-17

Family

ID=60982263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710854609.9A Active CN107554430B (zh) 2017-09-20 2017-09-20 车辆盲区可视化方法、装置、终端、系统及车辆

Country Status (2)

Country Link
US (1) US10573068B2 (zh)
CN (1) CN107554430B (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10486599B2 (en) * 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
WO2017168899A1 (ja) * 2016-03-30 2017-10-05 ソニー株式会社 情報処理方法および情報処理装置
CN110356339B (zh) * 2018-03-26 2022-07-15 比亚迪股份有限公司 一种变道盲区监测方法、系统及车辆
CN108694226A (zh) * 2018-03-30 2018-10-23 梁玉琴 一种基于gps定位的共享单车大数据的目击证人筛选方法、装置及其系统
CN110874549A (zh) * 2018-08-31 2020-03-10 奥迪股份公司 目标视野确定方法、系统、计算机设备和存储介质
JP6731020B2 (ja) * 2018-09-03 2020-07-29 株式会社Ｓｕｂａｒｕ 車外環境認識装置および車外環境認識方法
CN110936893B (zh) * 2018-09-21 2021-12-14 驭势科技（北京）有限公司 一种盲区障碍物处理方法、装置、车载设备及存储介质
CN109572555B (zh) 2018-11-13 2020-01-21 百度在线网络技术（北京）有限公司 一种应用于无人车的遮挡信息显示方法和系统
WO2020110915A1 (ja) * 2018-11-30 2020-06-04 ソニー株式会社 情報処理装置、および情報処理システム、並びに情報処理方法
CN111376832A (zh) * 2018-12-28 2020-07-07 奥迪股份公司 图像显示方法、装置、计算机设备和存储介质
WO2020213088A1 (ja) * 2019-04-17 2020-10-22 楽天株式会社 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
CN112124199B (zh) * 2019-06-24 2024-04-12 博世汽车部件(苏州)有限公司 车辆行驶路况的成像方法、成像系统及车辆
CN112216097A (zh) * 2019-07-09 2021-01-12 华为技术有限公司 一种检测车辆的盲区的方法及装置
CN110502305B (zh) * 2019-08-26 2022-12-02 沈阳美行科技股份有限公司 一种动态界面的实现方法、装置及相关设备
CN110675635B (zh) * 2019-10-09 2021-08-03 北京百度网讯科技有限公司 相机外参的获取方法、装置、电子设备及存储介质
US11034298B2 (en) * 2019-11-18 2021-06-15 Continental Automotive Systems, Inc. Vehicle surround view system for identifying unobservable regions while reversing a trailer
CN111016786B (zh) * 2019-12-17 2021-03-26 天津理工大学 基于3d视线估计的汽车a柱遮挡区域显示方法
CN111340880B (zh) * 2020-02-17 2023-08-04 北京百度网讯科技有限公司 用于生成预测模型的方法和装置
JP2021144505A (ja) * 2020-03-12 2021-09-24 パナソニックＩｐマネジメント株式会社 推定装置および推定方法
CN111522443B (zh) * 2020-04-13 2024-04-05 京东方科技集团股份有限公司 车辆a柱显示组件的显示方法、系统、设备和存储介质
CN111552755B (zh) * 2020-04-26 2020-11-24 中科三清科技有限公司 三维地名标注的绘制方法、装置、设备及存储介质
CN111559314B (zh) * 2020-04-27 2021-08-24 长沙立中汽车设计开发股份有限公司 深度与图像信息融合的3d增强全景环视系统及实现方法
CN112009370A (zh) * 2020-09-07 2020-12-01 东风汽车集团有限公司 一种汽车转向防碰撞显示系统及显示方法
CN112140997A (zh) * 2020-09-29 2020-12-29 的卢技术有限公司 一种支持操控的可视化驾驶系统控制方法、系统、汽车及存储介质
CN112937446A (zh) * 2021-04-14 2021-06-11 宝能汽车科技有限公司 一种盲区视频采集方法和系统
CN115331482B (zh) * 2021-05-10 2024-05-28 北京万集科技股份有限公司 车辆预警提示方法、装置、基站及存储介质
CN113516733B (zh) * 2021-05-21 2024-05-17 北京易航远智科技有限公司 一种填充车底盲区的方法和系统
CN113220818B (zh) * 2021-05-27 2023-04-07 南昌智能新能源汽车研究院 一种停车场自动建图与高精度定位方法
JP7373524B2 (ja) * 2021-06-08 2023-11-02 本田技研工業株式会社 制御装置、移動体、制御方法及びプログラム
KR102431122B1 (ko) * 2021-12-30 2022-08-10 주식회사 버넥트 맵 타겟 추적 방법 및 그 시스템
CN114290995B (zh) * 2022-02-11 2023-09-01 北京远特科技股份有限公司 透明a柱的实现方法、装置、汽车及介质
CN114582132B (zh) * 2022-05-05 2022-08-09 四川九通智路科技有限公司 一种基于机器视觉的车辆碰撞检测预警系统及方法
CN114943955B (zh) * 2022-07-25 2022-11-01 山东广通汽车科技股份有限公司 一种用于半挂车自动卸货控制方法
US11952007B1 (en) * 2022-10-03 2024-04-09 GM Global Technology Operations LLC Methods and systems for detecting blind spots
CN115988343B (zh) * 2022-11-21 2024-07-23 中国联合网络通信集团有限公司 图像生成方法、装置及可读存储介质
CN116543594B (zh) * 2023-05-10 2024-01-09 青岛成建网络科技有限公司 一种应用数据分析技术的智慧城市分析管理系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102874175A (zh) * 2012-06-15 2013-01-16 浙江吉利汽车研究院有限公司杭州分公司 一种a柱盲区处理及路况自动识别装置
CN104890574A (zh) * 2014-03-04 2015-09-09 魏康 一种基于机器视觉的轿车a柱盲区消除装置
CN106608221A (zh) * 2015-10-26 2017-05-03 比亚迪股份有限公司 车辆盲区的检测系统和方法
CN107128245A (zh) * 2017-04-10 2017-09-05 江苏车视杰电子有限公司 一种车辆盲区预警系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006950B1 (en) * 2000-06-12 2006-02-28 Siemens Corporate Research, Inc. Statistical modeling and performance characterization of a real-time dual camera surveillance system
JP4345832B2 (ja) * 2007-03-12 2009-10-14 トヨタ自動車株式会社 道路状況検出システム
US20140100770A1 (en) * 2007-06-01 2014-04-10 Kuo-Ching Chiang Automotive Vehicle Having Surrounding Object Pattern Generator
US9711050B2 (en) * 2015-06-05 2017-07-18 Bao Tran Smart vehicle
JP6691674B2 (ja) * 2015-07-29 2020-05-13 ブラザー工業株式会社 定着装置および画像形成装置
JP2018028489A (ja) * 2016-08-18 2018-02-22 トヨタ自動車株式会社 位置推定装置、位置推定方法
US9858817B1 (en) * 2016-10-04 2018-01-02 International Busines Machines Corporation Method and system to allow drivers or driverless vehicles to see what is on the other side of an obstruction that they are driving near, using direct vehicle-to-vehicle sharing of environment data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102874175A (zh) * 2012-06-15 2013-01-16 浙江吉利汽车研究院有限公司杭州分公司 一种a柱盲区处理及路况自动识别装置
CN104890574A (zh) * 2014-03-04 2015-09-09 魏康 一种基于机器视觉的轿车a柱盲区消除装置
CN106608221A (zh) * 2015-10-26 2017-05-03 比亚迪股份有限公司 车辆盲区的检测系统和方法
CN107128245A (zh) * 2017-04-10 2017-09-05 江苏车视杰电子有限公司 一种车辆盲区预警系统

Also Published As

Publication number Publication date
US20190088011A1 (en) 2019-03-21
US10573068B2 (en) 2020-02-25
CN107554430A (zh) 2018-01-09

Similar Documents

Publication Publication Date Title
CN107554430B (zh) 车辆盲区可视化方法、装置、终端、系统及车辆
US11463610B2 (en) Cross field of view for autonomous vehicle systems
CN104657735B (zh) 车道线检测方法、系统、车道偏离预警方法及系统
CN103448634B (zh) 与图像裁剪叠加的动态参考
US10093247B2 (en) Enhanced front curb viewing system
US9834143B2 (en) Enhanced perspective view generation in a front curb viewing system
US9886636B2 (en) Enhanced top-down view generation in a front curb viewing system
CN108638999B (zh) 一种基于360度环视输入的防碰撞预警系统及方法
US8089512B2 (en) Driving support device, driving support method and computer program
CN104517111B (zh) 车道线检测方法、系统、车道偏离预警方法及系统
EP2544449B1 (en) Vehicle perimeter monitoring device
CN112349144B (zh) 一种基于单目视觉的车辆碰撞预警方法及系统
EP2485203B1 (en) Vehicle-surroundings monitoring device
CN111797741A (zh) 车辆检测方法、装置、车辆和存储介质
US8988525B2 (en) System and method for providing guidance information to a driver of a vehicle
JP5013184B2 (ja) 運転支援装置及びコンピュータプログラム
US20100117812A1 (en) System and method for displaying a vehicle surrounding with adjustable point of view
US20110169957A1 (en) Vehicle Image Processing Method
CN111976598A (zh) 车辆盲区监测方法及系统
WO2010067770A1 (ja) 立体物出現検知装置
CN201402413Y (zh) 车辆的操控辅助设备
CN108944668B (zh) 一种基于车载360度环视输入的辅助驾驶预警方法
WO2015175826A1 (en) Systems and methods for detecting traffic signs
JP2017143417A (ja) キャリブレーションシステム、キャリブレーション装置
JP2007280387A (ja) 物体移動の検出方法及び検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant