CN113272177B - 用于提供关于环境的至少一部分的视觉信息的方法、计算机程序产品、移动通信设备和通信系统 - Google Patents

用于提供关于环境的至少一部分的视觉信息的方法、计算机程序产品、移动通信设备和通信系统 Download PDF

Info

Publication number
CN113272177B
CN113272177B CN201980085407.XA CN201980085407A CN113272177B CN 113272177 B CN113272177 B CN 113272177B CN 201980085407 A CN201980085407 A CN 201980085407A CN 113272177 B CN113272177 B CN 113272177B
Authority
CN
China
Prior art keywords
vehicle
visual information
mobile communication
communication device
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980085407.XA
Other languages
English (en)
Other versions
CN113272177A (zh
Inventor
S-K.库奇
P.雷尔哈克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of CN113272177A publication Critical patent/CN113272177A/zh
Application granted granted Critical
Publication of CN113272177B publication Critical patent/CN113272177B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及用于提供关于环境(16)的至少一部分的视觉信息(29)的方法，其上的视野至少部分地被前方行驶的第一车辆(4)遮蔽，其中，检测到第一车辆(4)，请求视觉信息(29)，并且在可用的情况下，接收视觉信息(29)。此外，包括第一车辆(4)的至少一部分的环境(16)的特定部分的至少一个图像(25a)被捕获并与嵌入在至少一个图像(25a)中的视觉信息(29)一起显示。此外，在环境(16)的特定部分中存在至少一个对象(O)的情况下，修改视觉信息(29)的显示，使得表示至少一个对象(O)的图像部分不被视觉信息(29)覆盖。

Description

用于提供关于环境的至少一部分的视觉信息的方法、计算机 程序产品、移动通信设备和通信系统
技术领域
本发明涉及用于在显示设备上提供关于环境的至少一部分的视觉信息的方法，其上的视野至少部分地被前方行驶的车辆遮蔽，其中，通过至少一个传感器设备检测车辆，并且通过通信单元请求关于环境的至少一部分的视觉信息，其上的视野至少部分地被车辆遮蔽。在请求的视觉信息可用的情况下，该视觉信息由通信单元接收。此外，捕获包括车辆的至少一部分的环境的至少一个图像，并且在显示设备上显示环境的至少一个图像和嵌入在至少一个图像中的接收到的视觉信息。本发明还涉及计算机程序产品、移动通信设备和通信系统。
背景技术
从现有技术中已知用于在车辆中提供所谓的透视功能的系统。例如，US 2014/0341434A1描述了图像的动态融合方法，由此从主车辆的周围车辆接收广播信息。确定周围车辆的至少一个是否在与主车辆相同的车道上行驶，然后根据广播信息将其定义为主车辆的相邻车辆。此外，确定相邻车辆是否太靠近主车辆并遮挡主机车辆的视野。然后，当相邻车辆遮挡了主车辆的视野时，在由主车辆捕获的图像中对相邻车辆执行透明化或透光化(translucentization)处理。因此，广播信息可以包括周围车辆的图像和位置信息两者。
通过这样的透视功能，可以提高安全性，因为为驾驶员提供更多的环境信息，甚至可以看到从他的视角或与他的车辆相关联的摄像机的视角来看被前方行驶的车辆遮蔽的环境的部分。因此，例如，可以更安全地执行超车操作。
发明内容
本发明的目的是提供用于提供关于环境的至少一部分的视觉信息的方法(其上的视野至少部分地被前方行驶的第一车辆遮蔽)、计算机程序产品、移动通信设备和通信系统，其允许透视功能，可以进一步提高安全性。
该目的通过具有根据相应独立本发明的特征的方法、计算机程序产品、移动通信设备和通信系统来解决。本发明的有利实施例在说明书和附图中给出。
根据本发明，提供了一种用于在显示设备上提供关于环境的至少一部分的视觉信息的方法，所述环境的至少一部分上的视野至少部分的被前方行驶的第一车辆遮蔽，其中，通过至少一个传感器设备(例如摄像机)检测第一车辆，并且通过通信单元来请求关于环境的至少一部分的视觉信息，其上的视野至少部分被第一车辆遮蔽。在请求的视觉信息可用的情况下，该视觉信息由通信单元接收。此外，捕获包括第一车辆的至少一部分的环境的至少一个图像，并且在显示设备上显示环境的至少一个图像和嵌入至少一个图像中的接收到的视觉信息。此外，在确定环境的特定部分中存在与第一车辆不同的至少一个对象的情况下，修改视觉信息的显示，使得表示至少一个对象的图像部分不被视觉信息覆盖。
本发明基于这样的想法，尽管在大多数情况下，透视功能提高了安全性，但是，如果嵌入在所捕获的环境的至少一个图像中的透视应用，尤其是接收到的视觉信息，可能隐藏需要由驾驶员注意的对象，例如过街的行人，因此如果没有可能是非常危险的。本发明现在有利地设法通过在确定环境的特定部分中存在至少一个对象时修改视觉信息的显示来消除隐藏这些重要对象的风险。特别地，修改视觉信息的显示，使得表示至少一个对象的图像部分不被视觉信息覆盖。因此，由于驾驶员可以在显示设备上清楚地看到这样的对象，因此可以极大地提高安全性。
通常，上述方法可以由跟随第一车辆的第二车辆执行，并且至少一个传感器设备、通信单元和显示设备可以构成第二车辆的组件。然而，优选地，上述方法由移动通信设备执行，其具有各种巨大的优点，然而稍后将对其进行描述。
此外，在检测到至少一个对象的情况下，可以以几种有利的方式执行视觉信息的显示的修改。
例如，可以通过增加透明度来修改视觉信息的显示，根据该透明度，视觉信息被显示为在环境的至少一个图像上的覆盖物。因此，在该覆盖物图像之后的至少一个图像的部分是可见的，并且因此也可以看到这样的检测的对象，如果它在该覆盖物之后。
然而，为了确保视觉信息完全不存在遮挡需要驾驶员注意的对象的风险，根据本发明的有利实施例，优选的是，在确定环境的特定部分中存在与第一车辆不同的至少一个对象的情况下，通过中断视觉信息的显示来修改视觉信息的显示。因此，只有接收到的视觉信息的显示可以被中断，或者视觉信息的接收也可以被中断。换言之，一旦在环境的特定区域中检测到特定对象，就停止另外的视觉信息的显示，并且仅保持显示环境的至少一个图像，其优选地以环境的连续视频流的形式提供。这意味着透视功能被关闭。
有利地，这是确保另外的视觉信息不能将检测到的对象隐藏在环境的至少一个图像中的最可靠方式。此外，一旦确定不再检测到对象，就可以再次显示嵌入在环境图像中的视觉信息，或者更确切地说，可以显示新接收的视觉信息。
此外，在检测到至少一个对象的情况下，可以在所显示的环境的至少一个图像中另外地突出显示该对象。由此，可以执行环境的至少一个图像的特定处理以突出显示检测到的对象。例如，在环境的至少一个图像中的对象的区域可以用颜色标记，它们的亮度可以增加，它们可以闪烁显示或以其他方式突出显示。因此，驾驶员可以更显著地注意到检测到的对象的存在。因此，当视觉信息的显示被停止并且检测到的对象被另外地突出时，可以进一步提高安全性。
根据本发明的另一个有利的实施例，视觉信息的显示至少在至少一个对象被分类为与人相关联的第一条件下才被修改。因此，对象例如可以被分类为这样的人，例如行人，或者也可以被分类为另一道路使用者，如另一车辆或摩托车或自行车等。
这是特别有利的，因为在对象与人相关联的情况下，第二车辆的驾驶员对这样的对象的识别尤其重要，因为在行人或其他道路使用者被驾驶员忽视的情况下，可能会发生非常危急和危险的情况。
此外，如果动物挡住了第二车辆的路并被驾驶员忽视了，也可能发生危急情况。因此，本发明的另一个有利实施例是，视觉信息的显示至少在可替换的第二条件下才被修改，即该至少一个对象被分类为动物，如狗或猫或鹿。
通常，检测到的对象可以被分类成两类，如一类是关键对象，和一类是非关键对象，并且在检测到的对象被分类为关键对象的情况下，例如与人相关联，则视觉信息的显示被修改，否则不被修改。不重要的对象可能是例如路上的塑料袋。由于道路上这种不重要的对象不会导致危险，因此可以有利地保持视觉信息不被修改地显示。
可替换地，可以对在环境的特定部分中检测到的任何对象执行视觉信息的显示的修改，并且不必如上所述地执行分类。因此，可以有利地确保没有对象被视觉信息隐藏，无论是哪种对象或障碍物。
此外，如上所述，优选地，至少大多数所描述的方法步骤由移动通信设备执行。对象的检测和分类也可以由这样的移动通信设备来执行，但是也可以为此使用车辆组件，例如车辆的对象检测和分类系统，这将在后面更详细地说明。下面，首先更详细地说明透视功能的实现。
优选地，视觉信息以由与第一车辆相关联的第一设备(尤其是在第一车辆内的第一移动通信设备)捕获的第一视频流的至少一部分的形式提供。为了有利地捕获视觉信息，可以使用不同于第一车辆的第一设备，尤其是例如智能手机的第一移动通信设备。为此，第一设备可以放在第一车辆的挡风玻璃后面的某处。优选地，第一设备被定位在第一车辆的挡风玻璃后面，使得第一设备的传感器设备(优选为第一设备的摄像机)的视场覆盖第一车辆的前面的环境的至少一部分。此外，可以将第一视频流的至少一个或几个或每个图像作为整体显示在显示设备上，或者仅可以流式传输和/或显示第一视频的至少一个或几个或每个捕获的图像的特定图像区域。例如，只能在显示设备上流式传输和显示图像的中心区域。此外，还可以如稍后描述的那样，关于第二视频流的时间对应图像的图像内容来分析接收到的图像或第一视频流的图像区域的内容，并且仅显示第一视频流的图像部分，该图像的部分从至少一个传感器设备的视角来看是被第一车辆遮蔽。
此外，根据本发明的另一有利实施例，提供至少一个传感器设备和/或通信单元和/或显示设备作为第二移动通信设备的部分，尤其是与尾随第一车辆的第二车辆相关联的智能手机。此外，该第二移动通信设备优选地包括能够控制至少一个传感器设备的处理单元，该至少一个传感器设备在此也优选地被配置为摄像机、通信单元以及显示设备，其方式使得第二移动通信设备被配置为执行如上所述的方法。此外，第二移动通信设备也可以被配置为也可以由第二移动通信设备提供关于第一设备的所述能力。换言之，第二移动通信设备也可以定位在第二车辆的挡风玻璃后面，使得第二移动通信设备的摄像机的视场覆盖在第二车辆的前面的环境的至少一部分。一方面，由第二移动通信设备的摄像机捕获的图像可以用于检测前方行驶的第一车辆，另一方面，如果请求，可以将由第二移动通信设备的摄像机捕获的图像以视觉信息的形式提供给其他车辆，尤其是提供给与其相关联的移动通信设备，以便也为其他车辆(例如，尾随车辆)提供透视功能。
有利地，移动通信设备和在移动通信设备上运行的用于执行根据本发明或其实施例的方法的应用程序可以以经济高效的方式提供用于提供这些透视功能的必要组件，尤其是除了稍后说明的中央数据处理单元之外。因此，车辆不必配备任何类型的传感器、定位系统或其他组件来提供透视功能，但是这些透视功能可以简单地由移动通信设备提供，尤其是由在该移动通信设备上运行的相应应用程序来提供。这样，可以为任何任意的车辆提供透视功能，而无需任何特殊组件。
此外，优选地，包括第一车辆的至少一部分的环境的至少一个图像通过至少一个传感器设备以第二视频流的形式提供。换言之，优选地，环境的至少一个图像必须被理解为环境的几个连续地捕获的图像的流，其以实况视频的形式在显示设备上显示。因此，由第一车辆或其相关联的第一设备提供的另外的视觉信息也可以被证明为第一视频流，并被逐个图像地嵌入到第二视频流中。
根据本发明的另一有利地实施例，在环境的至少一个图像中，确定表示第一车辆的区域，并且在至少一个图像中的确定的区域处显示视觉信息，尤其是作为覆盖物。换言之，视觉信息显示在至少一个图像中的第一车辆的背面。这有利地产生了透视第一车辆的真实印象，因为至少只要在环境的特定部分中没有检测到对象，所显示的第一车辆的至少大部分都被所显示的接收到的视觉信息覆盖。
由此，视觉信息可以以完全不经修改的方式显示，或者也可以将渐变遮罩应用于所接收的第一视频流的至少一个图像，并且然后可以根据所应用的渐变遮罩来显示嵌入在第二视频流中的所接收的第一视频流的至少一个图像。例如，渐变遮罩可以定义第一视频流的相应图像的透明度，由此透明度从相应图像的中心到边缘递增。此外，也可以仅显示或流式传输由第一设备捕获的视场的部分，类似于仅流式传输涉及第一设备的摄像机的视场的特定中心区域的视频数据。这具有这样的优点，即可以向第二车辆的用户提供最相关的透视信息，同时可以减少数据通信量。还有更复杂的修改也是可能的，比如只显示视觉信息的部分，这些信息涉及前方行驶的第一车辆遮蔽的那部分环境。然而，视觉信息的这样的更复杂的修改不是优选的，因为计算成本高并且因此更难由移动通信设备实时执行。
此外，根据本发明的另一非常有利的实施例，仅在在第一车辆和第二车辆之间的位置检测到至少一个对象的情况下才修改视觉信息的显示。首先，位于第一车辆和第二车辆之间的对象位于第二车辆的直接路径上，并且因此对于可能的碰撞尤其关键。此外，如上所述，视觉信息优选地嵌入在表示第一车辆的位置处的第一视频流中。在这样的显示位置，遮挡第一车辆和第二车辆之间的某个对象的风险特别高。另一方面，对于第一车辆和第二车辆之间的该区域之外的对象没有可能发生碰撞的风险，而且，在第一车辆和第二车辆之间的该区域之外的这样的位置处的第二视频流的图像内的对象也不能通过显示嵌入在第二视频流的图像中的视觉信息而被遮挡。因此，在情况下，尤其是在第一和第二车辆之间的位置处检测到至少一个对象的情况下，修改视觉信息的显示是非常有利的。
此外，为了检测环境的特定部分中的至少一个对象，也可以使用第二移动通信设备。尤其是，至少一个用于检测第一车辆的传感器设备可以同时用于检测对象，尤其是在第二车辆前面的对象。第二移动通信设备还可以可选地被配置为如上所述对检测到的对象进行分类。同样，使用第二移动通信设备来检测和/或分类对象也具有这样的优点，即对象检测和/或分类也可以完全独立于任何车辆组件来实现。因此，根据本发明的另一有利的实施例，尤其是通过第二移动通信设备，基于对环境的特定部分的至少一个图像的分析来检测至少一个对象。
另一方面，车辆组件也可以用于对象的检测和/或分类。因此，根据本发明的另一有利的实施例，通过与第二移动通信设备相关联的第二车辆的至少一个传感器来检测至少一个对象，并且将至少一个对象的检测的信息从第二车辆传送到第二移动通信设备。从现有技术中已知多种驾驶员辅助系统，其使用车辆传感器来检测车辆环境中的对象，并且还允许非常准确和可靠的对象分类。因此，由车辆组件实现的这样的完善的对象检测和/或分类方法允许非常准确和可靠的对象检测和分类。因此，使用例如车辆传感器和算法来检测和/或分类环境的特定部分中的至少一个对象是非常有利的，因为这样可以以非常高的可靠性来检测和分类至少一个对象。
例如，与第二车辆相关联的第二设备然后可以基于从第二车辆接收的信号来确定环境的特定部分中存在与第一车辆不同的至少一个对象，其中，在接收到信号之后，第二设备相应地修改视觉信息的显示。例如，可以从第二车辆的CAN总线直接导出关于检测到的至少一个对象的信息，并将其传送到第二设备。
此外，根据本发明的另一有利的实施例，通过第一车辆的至少一个传感器来检测至少一个对象，并且将至少一个对象的检测的信息从第一车辆传送到第二车辆和/或传送到第二移动通信设备，尤其是经由中央数据处理单元。因此，有利地，为了检测对象，尤其是在第一和第二车辆之间，也可以使用第一车辆的传感器。在通过第一车辆检测到对象的情况下，可以以不同方式将信息提供给第二移动通信设备。例如，车辆到车辆的直接通信可以用于将关于至少一个对象的检测的信息从第一车辆直接发送到第二车辆，然后该信息可以由第二车辆传递到第二移动通信设备。关于至少一个对象的检测的信息也可以例如经由中央数据处理单元从第一车辆间接发送到第二车辆。例如，第一车辆可以将关于检测到的至少一个对象的该信息发送到这样的中央数据处理单元，然后该中央数据处理单元将该信息发送到第二车辆或直接发送到第二移动通信设备。另一方面，关于至少一个对象的检测的信息也可以从第一车辆发送到第一设备，然后从第一设备发送到中央数据处理单元，并从中央数据处理单元发送到第二移动通信设备。因此，有许多有利的方式来从第一车辆向第二移动通信设备提供关于位于第一车辆和第二车辆之间的至少一个对象的检测的信息。
此外，为了通过第一车辆检测对象，可以使用能够捕捉第一车辆后面的区域的传感器，例如后置摄像机或其他传感器。通常，为了检测环境中的对象，可以使用多种不同的车辆传感器。例如，可以通过至少一个摄像机和/或通过至少一个雷达传感器和/或通过至少一个激光雷达传感器和/或通过至少一个超声波传感器或任意数量和/或这些传感器的组合来检测至少一个对象。另外地，为了检测第一车辆和第二车辆之间的对象，也可以使用第一车辆的传感器以及第二车辆上的传感器。此外，还可以由第二移动通信设备执行对象检测。因此，可以进一步提高安全性，并且能够以特别高的可靠性检测第一和第二车辆之间的对象。
此外，不仅可以经由中央数据处理单元将关于对象的检测的信息发送到第二移动通信设备，还可以将视觉信息发送到第二移动通信设备。因此，根据本发明的另一有利的实施例，视觉信息从第一设备发送到中央数据处理单元，尤其是云服务器，并且从中央数据处理单元发送到第二移动通信设备。因此，车辆或者尤其是与相应车辆相关联的移动通信设备可以简单地向网络服务注册，例如通过使用它们相应的车牌号作为标识符，这将在后面说明，并且通过向这样的网络服务注册，相应移动通信设备可以用信号通知它们能够共享并且愿意共享可由它们相应移动通信设备捕获的视觉信息。因此，有利的是，视觉信息的可用性和分发可以由中央数据处理单元集中执行。该实施例的另一大优点在于，不需要车辆或移动通信设备之间的直接通信。因此，如果驾驶员想要使用透明功能，这样的驾驶员或用户不需要购买兼容系统的汽车。不管怎样，大多数用户都有一部智能手机，而且透视功能可以完全实现汽车独立，这使得改装旧车具有透视功能成为可能，而且不需要任何成本。此外，如已经提到的，对象检测可以由第二移动通信设备执行。然而，仍然可以实现第一和第二车辆之间的直接通信，例如，如上所述发送关于检测到的对象的信息，并且车辆传感器也可以用于对象检测，以提供更高的可靠性。
此外，根据本发明的另一有利的实施例，在通过第一车辆检测到至少一个对象的情况下，只有在视觉信息当前被提供给中央数据处理单元的情况下，才优选地将关于检测到的对象的信息发送到第二移动通信设备和/或中央数据处理单元。换言之，仅在第一视频当前被流式传输到中央数据处理单元并且从中央数据处理单元被流式传输到已经请求视觉信息的任何其他移动通信设备的情况下，关于检测到的对象的信息也被发送，否则不被发送。有利地，因此可以避免不必要的数据发送。
根据本发明的另一有利的实施例，如上所述，在检测到第一车辆之后，可以检测第一车辆的车牌，并且从检测到的车牌中导出第一车辆的标识符，例如车牌号或其至少一部分，其中，使用所导出的第一车辆的标识符来请求视觉信息，以识别第一车辆，该第一车辆遮蔽了环境的至少一部分上的视野，关于其视觉信息被请求。
因此，有利地，第一车辆的车牌可以用作识别第一车辆的标识符。为了检测车牌，可以使用第二移动通信设备的至少一个传感器设备，尤其是摄像机。为了从车牌中导出标识符，即车牌号码或其部分，例如可以使用光学字符识别或类似的图像内容分析方法。因此，当检测到车辆(在这种情况下为第一车辆)以及其牌照时，可以通过使用从其牌照导出的第一车辆的标识符以简单的方式请求涉及该第一车辆的视觉信息。因此，不必确定和交换位置信息来请求涉及当前遮挡视野的车辆的正确视觉信息。由于检测和识别车牌以及其上的车牌号码可以以非常经济高效且仍然准确的方式执行，因此本发明及其实施例也允许以非常经济高效且准确的方式来证明透视功能。
本发明还涉及计算机程序产品，尤其是用于像智能手机的移动通信设备的应用程序或所谓的app。该计算机程序产品包括程序代码，其存储在计算机可读介质中，并且当其由电子控制设备的处理器执行时，使得处理器检测第一车辆，该第一车辆在前方行驶并且视野遮蔽环境的至少一部分上；请求关于该环境的至少一部分的视觉信息，其上的视野至少部分地被第一车辆遮蔽；以及在所请求的视觉信息可用的情况下，接收视觉信息并显示包括第一车辆的至少一部分的环境的特定部分的至少一个捕获的图像，并在显示设备上显示嵌入在至少一个图像中的所接收的视觉信息。此外，当由处理器执行程序代码时，在确定在环境的特定部分中存在与第一车辆不同的至少一个对象的情况下，以修改视觉信息的显示，使得表示至少一个对象的图像部分不被视觉信息覆盖。
本发明还涉及用于提供关于环境的至少一部分的视觉信息的移动通信设备，其上的视野至少部分地被前方行驶的第一车辆遮蔽，其中，该移动通信设备包括至少一个传感器设备，尤其是摄像机，其被配置为检测第一车辆，其中，移动通信设备包括通信单元，其被配置为请求关于环境的至少一部分的视觉信息，其上的视野至少部分地被第一车辆遮蔽。此外，通信单元被配置为在所请求的视觉信息可用的情况下接收视觉信息，其中，移动通信设备包括显示设备，该显示设备被配置为显示包括第一车辆的至少一部分的环境的特定部分的至少一个捕获的图像和嵌入在至少一个图像中的所接收的视觉信息。此外，在确定在环境的特定部分中存在与第一车辆不同的至少一个对象的情况下，移动通信设备被配置为修改视觉信息的显示，使得表示至少一个对象的图像部分不被视觉信息覆盖。
本发明还涉及通信系统，该通信系统包括根据本发明或其实施例的至少一个移动通信设备和中央数据处理单元，其中，中央数据处理单元被配置为在请求时向至少一个移动通信设备发送视觉信息，其中，至少一个移动通信设备被配置为基于从中央数据处理单元接收的信息来确定在环境的特定部分中存在与第一车辆不同的至少一个对象。
特别地，根据本发明或其实施例的移动通信设备可以如前所述针对第一设备和/或第二移动通信设备进行配置。
关于根据本发明及其实施例的方法描述的优点类似地适用于根据本发明的计算机程序产品、移动通信设备和通信系统。此外，关于根据本发明的方法描述的实施例构成了根据本发明的计算机程序产品、移动通信设备和通信系统的进一步有利的对应实施例。
本发明的进一步特征从附图和附图说明中显而易见。上述说明书中提到的特征和特征组合以及下面附图描述中提到的和/或仅在附图中示出的特征和特征组合不仅在相应地指定的组合中可用，而且在不脱离本发明范围的情况下也可在其他组合中使用。因此，实施方式也被认为是由本发明所涵盖和公开的，这些实施方式没有在图中明确示出和解释，但是产生于与所说明的实施方式分开的特征组合，并且可以由其产生。还应考虑如所公开的实施方式和特征组合，因此其不具有最初形成的独立权利要求的所有特征。此外，将考虑如所公开的实施方式和特征组合，特别是通过上述实施方式，其超出或偏离在权利要求的关系中提出的特征组合。
附图说明
其中显示：
图1是根据本发明的实施例的具有两个移动通信设备的通信系统的示意图，每个移动通信设备与相应的车辆相关联，用于提供关于环境的至少一部分的视觉信息，其上的视野至少部分地被一个车辆遮蔽；
图2是用于说明根据本发明的实施例的用于提供视觉信息的方法的功能图的示意图；
图3是根据本发明的实施例的通信系统的云服务器执行的功能的示意图；
图4是根据本发明的实施例的移动通信设备基于捕获的图像检测前方行驶的车辆的示意图；
图5是根据本发明的实施例的基于由移动通信设备捕获的图像提取作为标识符的车牌号的示意图；
图6是将前方行驶的车辆提供的视觉信息嵌入到由尾随车辆的移动通信设备提供的视频流的图像中的示意图；以及
图7是根据本发明的实施例的第一和第二车辆之间的对象的检测以及视觉信息的显示的修正的示意图。
具体实施方式
图1示出了通信系统1的示意图，在该示例中，通信系统1包括两个移动通信设备，即第一移动通信设备2和第二移动通信设备3，每个移动通信设备与相应车辆相关联，即第一车辆4和第二车辆5，其中，第一车辆4在第二车辆5之前行驶。每个移动通信设备2、3包括处理单元6、7、至少一个传感器设备，该传感器设备被配置为摄像机8、9和通信单元10、11。通信单元10、11能够与中央数据处理单元进行通信，在本例中，中央数据处理单元是云服务器12。该通信由箭头13示出。
此外，每个移动通信设备2、3还包括显示设备14、15。优选地，移动通信设备2、3优选地配置为智能手机，但也可以配置为平板电脑、膝上型计算机、笔记本电脑等，位于相关联的车辆4、5的挡风玻璃后面，使得相应移动通信设备2、3的摄像机8、9的相应视野FOV1、FOV2覆盖在相应车辆4、5的前面的环境16的至少部分16a、16b。
在该示例中，第二移动通信设备3的摄像机8在环境16的至少一部分上的视野被前方行驶的第一车辆4遮蔽。本发明及其实施例现在允许非常有利的透明功能，其有利地可以独立于相应车辆4、5的任何组件。为了执行该透明功能，在第一和第二移动通信设备2、3的处理单元6、7上运行的应用可以使相应的处理单元6、7执行如下所述的方法。因此，由第一移动通信设备2执行的功能也可以类似地由第二移动通信设备3执行，反之亦然。
首先，第二移动通信设备3的摄像机8连续捕获其视场FOV2内的环境16的部分16b的图像。可以分析捕获的图像，并且基于这样的分析，可以在这些捕获的图像内检测到像第二车辆4这样的车辆。为了检测车辆，可以使用已知的对象检测和分类方法。尤其是可以使用已知的学习算法和方法，如AdaBoost、支持向量机或深度学习。在检测到多个车辆的情况下，则选择所捕获图像上最中心的，在这种情况下是第一车辆4，将为其请求视觉透视信息。因此，一旦选择了第一辆车4，就基于捕获的图像检测车牌，并且从检测到的车牌17中提取车牌号(license plate number)。在此，还可以使用上述算法和方法来识别和读取车牌号。之后，第二移动通信设备3通过其通信单元10向云服务器12发送请求，以请求被第一车辆4遮蔽的视觉信息。将导出的车牌号与请求一起作为第一车辆4的识别符发送到云服务器12。之后，云服务器12检查请求的涉及第一车辆4的视觉信息是否可用。遇到这样的情况，即如果第一移动通信设备2已经向云服务器12注册，并提供其车牌号作为标识符，并且用信号通知环境视频流可用。因此，如果是这种情况，云服务器12通知第二移动通信设备3所请求的视觉信息是可用的，并且向第一移动通信设备2通信已经请求的视觉信息。之后，由第一移动通信设备2的摄像机9捕获的图像经由云服务器12以环境实况视频的形式流式传输(streamed in)到第二移动通信设备3。同时，第二移动通信设备3通过其摄像机8持续捕获环境16的部分16b的图像，并以第二视频流的形式提供这些图像。由第一移动通信设备2提供的第一视频流形式的所接收的视觉信息现在通过第二移动通信设备3逐个图像地嵌入到该第二视频流中，并显示在显示设备14上。
这样的透明功能在大多数情况下增强了安全性，因为它们为用户提供了额外的环境信息。然而，正常的透视功能可以将对象O隐藏在车辆之间的特定区域A内，例如本例中的行人。现在可以通过本发明及其实施例有利地避免这种情况。如果与第一车辆4不同的至少一个对象O存在于两个车辆4、5之间的该特定区域A中，则视觉信息的显示被修改，尤其是中断。因此，表示至少一个对象O的图像部分不能被视觉信息覆盖。
例如，可以在第二移动通信设备3中执行对诸如行人或其他道路使用者的这样的对象O的检测。为此，可以另外分析由摄像机8捕获的图像关于某些对象是否存在于该特定区域A内，例如，在摄像机8的视场FOV2的特定中心区域内。可选地，还可以对检测到的对象O进行分类。例如，视觉信息的显示只能在检测到特定对象，如人、行人、其他车辆、自行车、摩托车、四轮车或可能还有动物等的情况下才能修改，但在检测到可无危险地驶过的非生命对象(如塑料袋)的情况下则不能。
另外地或可替换地，车辆传感器也可以用于对象检测。为此，如图1所示，第一车辆4和/或第二车辆5可以包括至少一个环境传感器S，例如摄像机、如激光雷达传感器的激光扫描仪、雷达传感器、超声波传感器或这些传感器中的几个或其任意组合。然后，这些环境传感器S中的每一个可以分别与相应的视场FOV3和FOV4相关联。此外，车辆4、5中的每一个可以包括电子控制单元ECU，其被配置为分析捕获的传感器数据并确定特定对象O是否存在于特定区域A内。在由第二车辆5的电子控制单元ECU检测到这样的特定对象O的情况下，可以将关于该对象O的检测的信息直接传送到第二通信设备3，第二通信设备3例如可以从该第二车辆5的CAN总线B获得该信息。在由第一车辆4检测到这样的特定对象O的情况下，则关于检测的信息可以以多种方式传送到第二通信设备3。例如，车辆4、5中的每一个可以包括通信单元C，就像远程信息处理单元一样，通过其车辆4、5可以直接彼此通信。该直接通信在图1中由箭头32示出。然后，该信息可以再次通过第二车辆5的CAN总线B传送到第二移动通信设备3。可替换地，关于对象O的检测的信息还可以通过第一车辆4的CAN总线B传送到第一移动通信设备2，其经由中央数据处理单元12将该信息发送到第二移动通信设备3。因此，在第一和第二车辆4、5之间的特定区域A中检测对象O有许多有利的方式。当检测到这样的对象O时，第二移动通信设备3可以有利地中断视觉信息的显示。因此，可以确保检测对象O不会被视觉信息的显示遮挡。
还可以在其他情况下另外地修改视觉信息的显示，以进一步增强安全性。例如，也可能发生危急情况，在这样的情况下透视功能隐藏，例如在前方行驶的车辆的刹车灯的情况下，因此这也可能是危险的。这也可以通过本发明的其他实施例有利地避免。为此，可以确定当第一车辆4正在制动并且在检测到第一车辆4正在制动的情况下，视觉信息的显示被修改，尤其是使得在所显示的环境16的至少一个图像中至少一个刹车灯是可见的。这样的修改可以通过完全省略另外的视觉信息的显示，或者通过增加所显示的视觉信息的透明度和/或通过突出显示所捕获的第二视频流的图像中的刹车灯来实现。
为了检测第一车辆4的制动，第一车辆4的CAN总线B上的制动信息可以被传送到第一移动通信设备2，然后经由云服务器12被发送到第二移动通信设备3，然后第二移动通信设备3在接收到制动信息时相应地修改视觉信息的显示。当第一车辆4在制动时，制动信息也经由云服务器12发送到第二移动通信设备3。当第一车辆4停止制动时，第二移动通信设备3不再接收任何制动信息，然后重新开始显示嵌入在第二视频流中的视觉信息。为了检测第一车辆4的制动，第一移动通信设备2还可以包括加速度传感器，也称为G-传感器G。在第一车辆4正在制动的情况下，这可以有利地由该G-传感器G检测，并且制动信息可以由第二移动通信设备3发送和处理。
现在参考图2至图7描述本发明的有利实施例的进一步细节。图2示出根据本发明实施例的用于提供视觉信息的功能图的示意图。移动通信设备2、3的功能组件是内置摄像机视频流模块18、执行云视频管理的功能的第一通信模块19、车辆检测和选择模块20、车牌阅读器21、执行视频流接收器的功能的第二通信模块22、以及视频编写器和渲染模块23。另一方面，云服务器12包括云视频调度器模块24。此外，移动通信设备2、3包括行人检测模块PD1，用于检测环境的特定区域A中的对象或障碍物。而且，所有第一和/或第二车辆4、5都可以包括这样的行人检测模块PD2。此外，移动通信设备2、3包括制动信息模块BM，其也可以被称为汽车动态信息模块，因为它能够提供涉及车辆的行驶动力学的信息，以确定移动通信设备2、3所关联的车辆是否正在制动。现在参照图3至图7更详细地说明各个模块的执行功能。
图3示出了云视频调度器模块24的示意图。如已经说明的，云服务器12可以与第一和第二移动通信设备2、3以及与任意数量的另外的移动通信设备N通信。所有这样的移动通信设备2、3、N如前所述以车牌作为标识符向云视频调度器模块24传送它们的可用性。此外，所有移动通信设备2、3、N也可以检索特定车辆的视频流，该特定车辆是基于其车牌号来识别的。因此，一方面，想要与其他车辆共享其捕获的视频流以提供透视功能的所有移动通信设备2、3、N可以向云视频调度器模块24发信号通知它们的可用性以及它们相应的车牌号，并且另一方面，想要提供透视功能的所有移动通信设备2、3、N可以向云视频调度器24请求特定车辆的视觉信息，该特定车辆是基于其车牌号来识别的。
此外，所有移动通信设备2、3、N也可以在它们检测到与它们相关联的车辆的制动的情况下将制动信息发送到云视频调度器模块24。然而，仅在相应的移动通信设备2、3、N当前正将其捕获的视频流式传输到云视频调度器模块24的情况下，才将这样的制动信息发送到云视频调度器模块24。在云视频调度器模块24接收到这样的制动信息的情况下，它将该信息发送到当前正在流式传输车辆(即，当前正在制动的车辆)的第一视频的移动通信设备2、3、N。
现在，首先，参照图4在下面描述对前方行驶的车辆的检测和选择。图4示出了由第二移动通信设备3的摄像机8捕获的图像的示意图，尤其是作为第二视频流的一部分。同时，该捕获的第二视频流可以显示在第二移动通信设备3的显示设备14上。所以该第二视频流由内置摄像机视频流模块18提供。基于该第二视频流的捕获的图像，车辆检测和选择模块20，车辆被检测并选择其中之一。在该示例中，在图像25中已经检测到三辆车辆4、26、27，其中，车辆检测和选择模块20仅选择最中心的一辆，在这种情况下是第一车辆4。
此后，如图5所示，车牌读取器21，也可以是某种合适的算法或图像分析方法，识别车牌17并读取车牌号码17a。从图像25中提取车牌号17a由箭头28示出。基于所识别的车牌号17a，第一通信模块19，即云视频管理器向云服务器12请求视觉信息，该视觉信息至少部分地被前方行驶的第一车辆4阻挡，由此通信模块19还发送所识别的车牌号17a以识别第一车辆4(与其有关的视觉信息被请求)。在请求的视觉信息可用的情况下，云服务器12的云视频调度器模块24将由第一移动通信设备2提供的第一视频流发送到作为视频流接收器的第二通信模块22。然后，将接收到的第一视频流逐个图像地传递到视频合成和渲染模块23，其包括由内置摄像机视频流模块18提供的第一视频流和接收到的第一视频流。这如图6所示。
图6在右侧示出了由第二移动通信设备3的摄像机8捕获的由内置摄像机视频流模块18提供的图像25a，以及以由第一移动通信设备2的摄像机9提供的流式传输的第一视频的以图像29的形式接收的视觉信息，并在左侧示出了合成图像31。为了提供该合成图像31，视频合成和渲染模块23首先确定由第二移动通信设备3捕获的图像25a中的特定区域作为第二视频流的一部分，因此在下文中该区域被称为第二图像25a。该区域30构成表示第一车辆4的第二图像25a的一部分。然后，将第一图像29，即接收到的第一视频流的图像覆盖在限定区域30内的第二图像25a上。此外，渐变遮罩也可以应用于远程视频流，即第一图像29，尤其是第一视频流的每个第一图像29，以提供从第一图像29到第二图像25a的周围部分的平滑过渡。然后，在第二移动通信设备3的显示设备14上显示最终合成的图像31。这尤其是在每个时间步长中执行的，即从接收到的第一视频流的每个图像和捕获的第二视频流的对应图像。
图7示出了根据本发明的实施例的由行人检测模块PD1、PD2执行的特定对象O的检测以及由第二移动通信设备3执行的视觉信息29的显示的修改的示意图。此外，可以基于诸如AdaBoost、支持向量机或深度学习之类的学习算法来执行对特定对象O(在该示例中是行人)的检测，如关于第一车辆的检测和选择所描述的。这样的检测可以通过第二移动通信设备3基于第二视频流的图像25a来执行，如图7中所示的该示例，或者可替换地或另外地，也可以基于通过车辆传感器S捕获的图像或其他传感器数据，其可以是第二车辆5的传感器和/或第一车辆4的传感器。在上面图像中的图7中示出了作为特定对象O的示例的行人的检测。由于显示的视觉信息29可能遮挡位于第一和第二车辆4、5之间的对象O或其至少一部分，如左侧图7中的图像可见的，在检测到这样的对象O的情况下，视觉信息29的显示被中断。结果，仅在第二视频流的图像25a中显示，而不显示另外的视觉信息29，从而有利地检测到的对象O不能被视觉信息覆盖并且对于驾驶员是清晰可见的，如图7右手侧图像中所示。
因此，有利地，可以处理第二视频流以检测障碍物，以适配人机界面，即显示设备上的显示，以保持视野的安全和可靠。另外地或可替换地，不仅在第二视频流中可以用于检测障碍物或对象O，而且例如由第一车辆4和/或第二车辆5的激光扫描仪提供的标量数据、或由任何其他车辆传感器类型提供的其他传感器数据传感器数据。
因此，本发明及其实施例允许具有另外的增强的安全功能的非常有利的透视功能。

Claims (12)

1.用于在显示设备上提供关于环境(16)的至少一部分的视觉信息(29)的方法，该方法包括以下步骤：
-通过至少一个传感器设备(8)检测前方行驶的第一车辆(4)；
-通过通信单元(10)请求关于所述环境(16)的所述至少一部分的所述视觉信息(29)，所述环境(16)的所述至少一部分上的视野至少部分地被所述第一车辆(4)遮蔽；
-在所请求的视觉信息(29)可用的情况下，通过所述通信单元(10)接收所述视觉信息(29)；
-捕获所述环境(16)的特定部分的至少一个图像(25a)，所述至少一个图像(25a)包括所述第一车辆(4)的至少一部分；以及
-在所述显示设备(14)上显示所述环境(16)的所述特定部分的所述至少一个图像(25a)和嵌入所述至少一个图像(25a)中的所接收的视觉信息(29)；
其特征在于，
在确定与所述第一车辆(4)不同的至少一个对象(O)存在于所述环境(16)的所述特定部分且进一步确定所述至少一个对象不能被安全地驶过时，修改所述视觉信息(29)的显示，使得所述至少一个对象(O)对于驾驶员清晰可见，
其中，当确定所述至少一个对象能够被安全驶过时，所述至少一个图像通过嵌入其中的视觉信息显示，使得所述至少一个对象被视觉信息覆盖，
其中，所述视觉信息(29)以由第一设备捕获的第一视频流的至少一部分的形式提供，该第一设备与所述第一车辆(4)相关联，所述第一设备包括所述第一车辆(4)内的第一移动通信设备(2)，
其中，所述至少一个传感器设备(8)、所述通信单元(10)和所述显示设备(14)作为第二移动通信设备(3)的一部分提供，所述第二移动通信设备包括与尾随所述第一车辆(4)的第二车辆(5)相关联的智能手机或平板电脑，
其中，所述视觉信息(29)经由云服务器(12)从所述第一设备发送到中央数据处理单元，并且经由所述云服务器从所述中央数据处理单元发送到所述第二移动通信设备(3)，并且
通过第一车辆捕获对应于包含所述至少一个对象的所述环境的特定部分的传感器数据，且
其中，所述至少一个对象布置在所述第一车辆和所述第二车辆之间。
2.根据权利要求1所述的方法，
其特征在于，
当确定与所述第一车辆(4)不同的所述至少一个对象(O)存在于所述环境(16)的所述特定部分时，通过中断所接收的视觉信息(29)的显示来修改所述视觉信息(29)的显示。
3.根据权利要求1或2所述的方法，
其特征在于，
所述视觉信息(29)的显示至少在所述至少一个对象(O)被分类为与人相关联的条件下才被修改。
4.根据权利要求1或2所述的方法，
其特征在于，
仅当于所述第一车辆(4)和所述第二车辆(5)之间的位置(A)检测到所述至少一个对象(O)时，才修改所述视觉信息(29)的显示。
5.根据权利要求1或2所述的方法，
其特征在于，
包括所述第一车辆(4)的至少一部分的所述环境(16)的所述至少一个图像(25a)通过所述至少一个传感器设备(8)以第二视频流的形式提供。
6.根据权利要求1或2所述的方法，
其特征在于，
在所述至少一个图像(25a)中，确定表示所述第一车辆(4)的区域(30)，并且在所述至少一个图像(25a)中的所述确定的区域(30)处显示所述视觉信息(29)。
7.根据权利要求1或2所述的方法，
其特征在于，
基于对所述环境(16)的所述特定部分的所述至少一个图像(25a)的分析，通过所述第二移动通信设备(3)检测所述至少一个对象(O)。
8.根据权利要求1或2所述的方法，
其特征在于
通过与所述第二移动通信设备(3)相关联的所述第二车辆(5)的至少一个传感器(S)检测所述至少一个对象(O)，并且将所述至少一个对象(O)的所述检测的信息从所述第二车辆(5)传送到所述第二移动通信设备(3)。
9.根据权利要求1或2所述的方法，
其特征在于，
通过所述第一车辆(4)的至少一个传感器(S)检测所述至少一个对象(O)，并且将所述至少一个对象(O)的所述检测的信息经由中央数据处理单元从所述第一车辆(4)传送到所述第二车辆(5)和/或所述第二移动通信设备(3)。
10.一种计算机可读介质，包括存储在其中的程序代码，并且当所述程序代码由电子控制设备的处理器执行时，使所述处理器：
-通过至少一个传感器设备(8)检测在前方行驶的第一车辆(4)；
其中，所述第一车辆遮蔽了对环境(16)的至少一部分的视野；
-通过通信单元(10)请求关于所述环境(16)的所述至少一部分的视觉信息(29)，所述环境(16)的所述至少一部分上的视野至少部分地被所述第一车辆(4)遮蔽；
-在所请求的视觉信息(29)可用的情况下，接收所述视觉信息(29)；
-在显示设备(14)上显示包括所述第一车辆(4)的至少一部分的所述环境(16)的特定部分的至少一个捕获的图像(25a)，并显示嵌入在所述至少一个图像(25a)中的所接收的视觉信息(29)；
其特征在于，
当确定在所述环境(16)的所述特定部分中存在与所述第一车辆(4)不同的至少一个对象(O)且进一步确定所述至少一个对象不能被安全地驶过时，所述处理器修改所述视觉信息(29)的显示，使得所述至少一个对象(O)对于驾驶员清晰可见，
其中，当确定所述至少一个对象能够被安全驶过时，所述至少一个图像通过嵌入其中的视觉信息显示，使得所述至少一个对象被视觉信息覆盖，
其中，所述视觉信息(29)以由第一设备捕获的第一视频流的至少一部分的形式提供，该第一设备与所述第一车辆(4)相关联，包括所述第一车辆(4)内的第一移动通信设备(2)，
其中，所述至少一个传感器设备(8)、所述通信单元(10)和所述显示设备(14)作为第二移动通信设备(3)的一部分提供，包括与尾随所述第一车辆(4)的第二车辆(5)相关联的智能手机或平板电脑，
其中，所述视觉信息(29)经由云服务器(12)从所述第一设备发送到中央数据处理单元，并且经由所述云服务器从所述中央数据处理单元发送到所述第二移动通信设备(3)，并且
从第一车辆接收对应于包含所述至少一个对象的所述环境的特定部分的传感器数据，且
其中，所述至少一个对象布置在所述第一车辆和所述第二车辆之间。
11.一种用于提供关于环境(16)的至少一部分的视觉信息(29)的移动通信设备(2，3)，所述环境(16)的所述至少一部分上的视野至少部分地被前方行驶的第一车辆(4)遮蔽，所述移动通信设备包括：
-至少一个传感器设备(8)，其被配置为检测所述第一车辆(4)；
-通信单元(10)，所述通信单元(10)被配置为请求关于所述环境(16)的所述至少一部分的视觉信息(29)，所述环境(16)的所述至少一部分上的视野至少部分地被所述第一车辆(4)遮蔽；
-其中，所述通信单元(10)还被配置为在所请求的视觉信息(29)可用的情况下接收所述视觉信息(29)；
-显示设备(14)，所述显示设备(14)被配置为显示包括所述第一车辆(4)的至少一部分的所述环境(16)的特定部分的至少一个捕获的图像(25a)，和嵌入在所述至少一个图像(25a)中的所接收的视觉信息(29)；
-其中，所述移动通信设备(2，3)被配置为当确定在所述环境(16)的所述特定部分中存在与所述第一车辆(4)不同的至少一个对象(O)且进一步确定所述至少一个对象不能被安全地驶过时，修改所述视觉信息(29)的显示，使得所述至少一个对象(O)对于驾驶员清晰可见，
其中，所述移动通信设备配置为，当确定所述至少一个对象能够被安全驶过时，所述至少一个图像通过嵌入其中的视觉信息显示，使得所述至少一个对象被视觉信息覆盖，
其中，所述视觉信息(29)以由第一移动通信设备(2)捕获的第一视频流的至少一部分的形式提供，该第一移动通信设备(2)与所述第一车辆(4)相关联，
其中，所述移动通信设备包括智能手机或平板电脑，并且与尾随所述第一车辆(4)的第二车辆(5)相关联，
其中，所述视觉信息(29)经由云服务器(12)从所述第一移动通信设备(2)发送到中央数据处理单元，并且经由所述云服务器从所述中央数据处理单元发送到所述移动通信设备，并且
从第一车辆接收对应于包含所述至少一个对象的所述环境的特定部分的传感器数据，且
其中，所述至少一个对象布置在所述第一车辆和所述第二车辆之间。
12.一种通信系统，包括至少一个根据权利要求11所述的移动通信设备(2，3)和中央数据处理单元，其中，所述中央数据处理单元被配置为根据请求将所述视觉信息(29)发送到所述至少一个移动通信设备(2，3)，其中，所述至少一个移动通信设备(2，3)被配置为基于从所述中央数据处理单元接收的信息来确定在所述环境(16)的所述特定部分中存在与所述第一车辆(4)不同的至少一个对象(O)。
CN201980085407.XA 2018-11-15 2019-11-11 用于提供关于环境的至少一部分的视觉信息的方法、计算机程序产品、移动通信设备和通信系统 Active CN113272177B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018128634.1A DE102018128634A1 (de) 2018-11-15 2018-11-15 Verfahren zum Bereitstellen einer visuellen Information über zumindest einen Teil einer Umgebung, Computerprogrammprodukt, mobiles Kommunikationsgerät und Kommunikationssystem
DE102018128634.1 2018-11-15
PCT/EP2019/080814 WO2020099295A1 (en) 2018-11-15 2019-11-11 Method for providing visual information about at least part of an environment, computer program product, mobile communication device and communication system

Publications (2)

Publication Number Publication Date
CN113272177A CN113272177A (zh) 2021-08-17
CN113272177B true CN113272177B (zh) 2024-01-26

Family

ID=68536859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980085407.XA Active CN113272177B (zh) 2018-11-15 2019-11-11 用于提供关于环境的至少一部分的视觉信息的方法、计算机程序产品、移动通信设备和通信系统

Country Status (5)

Country Link
US (1) US11745658B2 (zh)
EP (1) EP3880518A1 (zh)
CN (1) CN113272177B (zh)
DE (1) DE102018128634A1 (zh)
WO (1) WO2020099295A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7294200B2 (ja) * 2020-03-16 2023-06-20 トヨタ自動車株式会社 情報処理装置、車両システム、情報処理方法、およびプログラム
JP7334704B2 (ja) * 2020-10-12 2023-08-29 トヨタ自動車株式会社 車両の安全運転支援装置
CN114228617A (zh) * 2021-12-28 2022-03-25 阿波罗智能技术(北京)有限公司 图像生成方法、装置、设备、存储介质和车辆
DE102022107250A1 (de) * 2022-03-28 2023-09-28 Valeo Schalter Und Sensoren Gmbh Umgebungserfassung und teleoperiertes Führen eines Ego-Fahrzeugs

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872069A (zh) * 2009-04-02 2010-10-27 通用汽车环球科技运作公司 增强视觉系统全挡风玻璃hud
DE102010051206A1 (de) * 2010-11-12 2012-05-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung
CN102474596A (zh) * 2009-07-13 2012-05-23 歌乐牌株式会社 车辆用死角影像显示系统和车辆用死角影像显示方法
DE102014107155A1 (de) * 2013-05-23 2014-11-27 GM Global Technology Operations LLC Verbessertes Frontbordstein-Visualisierungssystem
CN104709221A (zh) * 2015-02-09 2015-06-17 浙江吉利汽车研究院有限公司 用于车辆的行人保护系统
CN105196918A (zh) * 2014-06-12 2015-12-30 通用汽车环球科技运作有限责任公司 展示机动车的车辆周围环境信息的方法
CN105378815A (zh) * 2013-06-10 2016-03-02 罗伯特·博世有限公司 用信号为车辆驾驶员告知视觉上至少部分地被遮挡的交通对象的方法和设备
WO2016051447A1 (ja) * 2014-09-29 2016-04-07 三菱電機株式会社 情報表示制御システムおよび情報表示制御方法
CN106056534A (zh) * 2016-05-31 2016-10-26 中国科学院深圳先进技术研究院 基于智能眼镜的遮挡物透视方法及装置
CN106165000A (zh) * 2014-03-31 2016-11-23 株式会社电装 车辆用显示控制装置
DE102015007491A1 (de) * 2015-06-11 2016-12-15 Audi Ag Verfahren zum Betrieb eines Fahrerinformationssystems eines Kraftfahrzeugs und Kraftfahrzeug
WO2017034744A1 (en) * 2015-08-24 2017-03-02 Caterpillar Inc. System for improving operator visibility of machine surroundings
CN107220581A (zh) * 2016-03-21 2017-09-29 福特全球技术公司 通过后置摄像机的行人检测和运动预测
CN107571797A (zh) * 2017-10-09 2018-01-12 周永业 前车行驶信息抬头显示方法及系统
EP3319012A1 (en) * 2016-11-04 2018-05-09 LG Electronics Inc. Vehicle control device mounted at vehicle and method for controlling vehicle
CN108082083A (zh) * 2018-01-16 2018-05-29 京东方科技集团股份有限公司 一种被遮挡对象的显示方法和显示系统以及车载防撞系统
EP3342645A1 (en) * 2017-01-02 2018-07-04 Connaught Electronics Ltd. Method for providing at least one information from an environmental region of a motor vehicle, display system for a motor vehicle driver assistance system for a motor vehicle as well as motor vehicle
CN109803867A (zh) * 2016-10-11 2019-05-24 三星电子株式会社 用于将视线确保图像提供给车辆的方法及用于其的电子设备和计算机可读记录介质
CN112930555A (zh) * 2018-08-30 2021-06-08 法雷奥舒适驾驶助手公司 车辆的混合现实的条件可用性

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10247563A1 (de) * 2002-10-11 2004-04-22 Valeo Schalter Und Sensoren Gmbh Verfahren und System zur Unterstützung des Fahrers
JP2006259895A (ja) * 2005-03-15 2006-09-28 Omron Corp 移動体の発進制御装置
JP2007142624A (ja) * 2005-11-16 2007-06-07 Matsushita Electric Ind Co Ltd 車両搭載撮像装置
US8345098B2 (en) * 2008-03-17 2013-01-01 International Business Machines Corporation Displayed view modification in a vehicle-to-vehicle network
DE102008034606A1 (de) * 2008-07-25 2010-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung der Umgebung eines Fahrzeugs auf einer mobilen Einheit
US8269652B2 (en) * 2009-04-02 2012-09-18 GM Global Technology Operations LLC Vehicle-to-vehicle communicator on full-windshield head-up display
DE102009045748B4 (de) * 2009-10-15 2023-11-02 Continental Automotive Technologies GmbH Verfahren und Vorrichtung zur Ermittlung des Status einer drahtlosen C2X-Kommunikation eines Fahrzeugs zu seiner Umgebung
US9019174B2 (en) * 2012-10-31 2015-04-28 Microsoft Technology Licensing, Llc Wearable emotion detection and feedback system
US10029621B2 (en) * 2013-05-16 2018-07-24 Ford Global Technologies, Llc Rear view camera system using rear view mirror location
TWI552897B (zh) 2013-05-17 2016-10-11 財團法人工業技術研究院 影像動態融合方法與裝置
US9403482B2 (en) 2013-11-22 2016-08-02 At&T Intellectual Property I, L.P. Enhanced view for connected cars
US9832429B2 (en) * 2015-03-17 2017-11-28 Continental Automotive Systems, Inc. Shared vehicle camera
US9898671B2 (en) * 2015-05-11 2018-02-20 Magna Electronics Inc. Vehicle vision system with structure and motion estimation
KR102366402B1 (ko) * 2015-05-21 2022-02-22 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
US10373378B2 (en) 2015-06-26 2019-08-06 Paccar Inc Augmented reality system for vehicle blind spot prevention
JP6519355B2 (ja) * 2015-06-30 2019-05-29 株式会社デンソー カメラ装置及び車載システム
KR101916993B1 (ko) * 2015-12-24 2018-11-08 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어방법
DE102016202594A1 (de) * 2016-02-19 2017-08-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Interpretieren einer Fahrzeugumgebung eines Fahrzeugs sowie Fahrzeug
US20170355306A1 (en) 2016-06-08 2017-12-14 Leo Burnett Company, Inc. Vehicle-Mounted External Display System
US10007854B2 (en) * 2016-07-07 2018-06-26 Ants Technology (Hk) Limited Computer vision based driver assistance devices, systems, methods and associated computer executable code
US10203696B2 (en) * 2016-07-26 2019-02-12 Waymo Llc Determining drivability of objects for autonomous vehicles
US10609339B2 (en) * 2017-03-22 2020-03-31 GM Global Technology Operations LLC System for and method of dynamically displaying images on a vehicle electronic display
US20200086789A1 (en) * 2018-09-13 2020-03-19 Valeo Comfort And Driving Assistance Mixed reality left turn assistance to promote traffic efficiency and enhanced safety
US10836313B2 (en) * 2018-11-28 2020-11-17 Valeo Comfort And Driving Assistance Mixed reality view for enhancing pedestrian safety
US10896335B2 (en) * 2019-01-07 2021-01-19 Ford Global Technologies, Llc Adaptive transparency of virtual vehicle in simulated imaging system

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872069A (zh) * 2009-04-02 2010-10-27 通用汽车环球科技运作公司 增强视觉系统全挡风玻璃hud
CN102474596A (zh) * 2009-07-13 2012-05-23 歌乐牌株式会社 车辆用死角影像显示系统和车辆用死角影像显示方法
DE102010051206A1 (de) * 2010-11-12 2012-05-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung
DE102014107155A1 (de) * 2013-05-23 2014-11-27 GM Global Technology Operations LLC Verbessertes Frontbordstein-Visualisierungssystem
CN105378815A (zh) * 2013-06-10 2016-03-02 罗伯特·博世有限公司 用信号为车辆驾驶员告知视觉上至少部分地被遮挡的交通对象的方法和设备
CN106165000A (zh) * 2014-03-31 2016-11-23 株式会社电装 车辆用显示控制装置
CN105196918A (zh) * 2014-06-12 2015-12-30 通用汽车环球科技运作有限责任公司 展示机动车的车辆周围环境信息的方法
WO2016051447A1 (ja) * 2014-09-29 2016-04-07 三菱電機株式会社 情報表示制御システムおよび情報表示制御方法
CN104709221A (zh) * 2015-02-09 2015-06-17 浙江吉利汽车研究院有限公司 用于车辆的行人保护系统
DE102015007491A1 (de) * 2015-06-11 2016-12-15 Audi Ag Verfahren zum Betrieb eines Fahrerinformationssystems eines Kraftfahrzeugs und Kraftfahrzeug
WO2017034744A1 (en) * 2015-08-24 2017-03-02 Caterpillar Inc. System for improving operator visibility of machine surroundings
CN107220581A (zh) * 2016-03-21 2017-09-29 福特全球技术公司 通过后置摄像机的行人检测和运动预测
CN106056534A (zh) * 2016-05-31 2016-10-26 中国科学院深圳先进技术研究院 基于智能眼镜的遮挡物透视方法及装置
CN109803867A (zh) * 2016-10-11 2019-05-24 三星电子株式会社 用于将视线确保图像提供给车辆的方法及用于其的电子设备和计算机可读记录介质
EP3319012A1 (en) * 2016-11-04 2018-05-09 LG Electronics Inc. Vehicle control device mounted at vehicle and method for controlling vehicle
EP3342645A1 (en) * 2017-01-02 2018-07-04 Connaught Electronics Ltd. Method for providing at least one information from an environmental region of a motor vehicle, display system for a motor vehicle driver assistance system for a motor vehicle as well as motor vehicle
CN107571797A (zh) * 2017-10-09 2018-01-12 周永业 前车行驶信息抬头显示方法及系统
CN108082083A (zh) * 2018-01-16 2018-05-29 京东方科技集团股份有限公司 一种被遮挡对象的显示方法和显示系统以及车载防撞系统
CN112930555A (zh) * 2018-08-30 2021-06-08 法雷奥舒适驾驶助手公司 车辆的混合现实的条件可用性

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Enhancing Driver Awareness Using See-Through Technology;REBEKAH L.;SAE TECHNICAL PAPER SERIES;第1卷;全文 *
俯视邻近行人风险量化分析方法;黄俊达;杨大伟;毛琳;;大连民族大学学报(第05期);全文 *
网格法在视频图像车速中的研究与应用;倪志海;林麒;黄磊;杨存义;;公路交通科技(应用技术版)(第03期);全文 *

Also Published As

Publication number Publication date
WO2020099295A1 (en) 2020-05-22
CN113272177A (zh) 2021-08-17
EP3880518A1 (en) 2021-09-22
US11745658B2 (en) 2023-09-05
DE102018128634A1 (de) 2020-05-20
US20210394676A1 (en) 2021-12-23

Similar Documents

Publication Publication Date Title
CN113272177B (zh) 用于提供关于环境的至少一部分的视觉信息的方法、计算机程序产品、移动通信设备和通信系统
US9239380B2 (en) Driver assistance system for avoiding collisions of a vehicle with pedestrians
CN103987577B (zh) 用于监视和信号化车辆的周围环境中的交通情况的方法
US20190047586A1 (en) Vehicle control apparatus, vehicle, vehicle control method, and storage medium
US20140354684A1 (en) Symbology system and augmented reality heads up display (hud) for communicating safety information
KR101772178B1 (ko) 차량용 랜드마크 검출 장치 및 방법
US11100803B2 (en) Method and apparatus for analyzing driving tendency and system for controlling vehicle
CN111386563B (zh) 教师数据生成装置
KR20180083762A (ko) 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
US11567509B2 (en) Control system, control method, and non-transitory storage medium
KR20160135482A (ko) 동적 장애물 움직임 예측 장치 및 그 방법
US20210314032A1 (en) Vehicular secured communication system
KR20170072092A (ko) 차량 운전 보조장치 및 이의 차량 운전 보조방법
US20230343108A1 (en) Systems and methods for detecting projection attacks on object identification systems
CN113492849A (zh) 驾驶辅助装置以及数据收集系统
Rajendar et al. Prediction of stopping distance for autonomous emergency braking using stereo camera pedestrian detection
CN116438583A (zh) 可用泊车位识别装置、可用泊车位识别方法和程序
JP2009139306A (ja) 路面標示認識装置
KR20120086577A (ko) 카메라를 이용한 측면차량 검출 장치 및 방법
CN111081045A (zh) 姿态轨迹预测方法及电子设备
US20240001950A1 (en) Vehicular driving assist system with student driver mode
EP3392730B1 (en) Device for enabling a vehicle to automatically resume moving
KR101985496B1 (ko) 차량 운전 보조장치 및 이를 포함하는 차량
CN115131749A (zh) 图像处理装置、图像处理方法以及计算机可读取存储介质
US20190111918A1 (en) Vehicle system with safety features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant