CN106164931A - 用于在车辆显示装置上显示目标的方法和装置 - Google Patents

用于在车辆显示装置上显示目标的方法和装置 Download PDF

Info

Publication number
CN106164931A
CN106164931A CN201580016025.3A CN201580016025A CN106164931A CN 106164931 A CN106164931 A CN 106164931A CN 201580016025 A CN201580016025 A CN 201580016025A CN 106164931 A CN106164931 A CN 106164931A
Authority
CN
China
Prior art keywords
vehicle
target
data model
surrounding
targets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580016025.3A
Other languages
English (en)
Other versions
CN106164931B (zh
Inventor
J·施雷普弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Zhixing Germany Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN106164931A publication Critical patent/CN106164931A/zh
Application granted granted Critical
Publication of CN106164931B publication Critical patent/CN106164931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G01C21/367—Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Abstract

本发明涉及一种用于在车辆(F)的车辆显示装置上显示目标的方法，具有以下步骤：(a)提供(S1)传感器探测到的环境图像(UB)，该图像包括位于车辆(F)周围环境中的目标(O)；(b)为了识别相应目标(O)的目标类型(O‑TYP)，根据目标特征对目标(O)进行分类(S2)；(c)插入(S3)对应于识别到的目标(O)的目标类型(O‑TYP)的三维数据模型(3D‑DM)以生成三维立体场景(3D‑场景)，所述3D‑场景展示车辆(F)的周围环境；以及(d)在车辆显示装置上显示(S4)生成的3D场景。

Description

用于在车辆显示装置上显示目标的方法和装置
技术领域
本发明涉及一种用于在车辆的车辆显示装置上显示目标、尤其是车辆目标的方法和装置。
背景技术
越来越多的车辆配备了全景环视系统，所述系统从摄像机图像中计算出显示图像，并辅助车辆的驾驶员进行例如驶入停车位或倒车等车辆操控。行驶过程中，车辆驾驶员通过全景环视系统的辅助做出决定，以便在道路交通中安全地控制其车辆。此外，全景环视系统还可帮助驾驶员在周围环境中定位，因此驾驶员例如可更轻松地到达目的地。为了给该驾驶员提供一尽可能真实的车辆周围环境图像，越来越多地在车辆显示装置上显示三维的显示图像，以便在驾驶员做出决定和定位时为其提供尽可能高效的支持。
但传统的全景环视系统有一缺点，即车辆传感器，特别是车辆摄像机探测的目标由相关车辆传感器的观角度拍摄且无法识别或无法看到相关目标的其他侧面。此外，大多数情况下还会出现，其它车辆目标被其他目标，尤其是其他车辆目标完全或部分遮挡，因此无法真实显示被遮挡的车辆目标。
图1举例说明了这一问题。图1中的示例展示了车辆F和其他两个车辆目标在一四车道的道路上相遇的交通情况。所示示例中，道路有四条车道，各有两条车道为相同方向。图1中所示的道路例如可能是具有双向两车道的快速公路。所示示例中，车辆F具有全景环视系统SVS，所述系统可从安装在车辆左侧、右侧、前侧和后侧的四个车辆摄像机中获取摄像机图像。在示出的例子中，在对面的车流中，第一车辆目标FO1(例如可是轿车或货车)正在超越第二车辆目标FO2并因此至少部分遮挡了车辆目标FO2。位于车辆F左侧的车辆摄像机FKL因此仅探测到第一车辆目标FO1的左侧，此外可能还会探测到被遮挡的第二车辆目标FO2左侧的部分区域。在特定时刻，对车辆摄像机FKL而言，第二车辆目标FO2完全被第一车辆目标FO1所遮挡，因此在车辆F的全景环视系统SVS的车辆显示屏上的三维场景中无法真实显示车辆目标FO2。此外，对特定目标来说，还可能出现仅从一侧观察相关目标无法真实显示相应目标的情况。另外，存在这样的风险，即天气条件(例如下雪)等环境条件对车辆F的周围环境中的车辆目标或其他目标的图像产生强烈影响。
发明内容
因此本发明的任务是，提供一种用于在车辆显示装置上显示目标的方法和装置，其中尽可能真实地显示目标，以便在驾驶员做出决定和其在交通流中进行定位时尽可能提供高效支持。
根据本发明，本任务通过具有权利要求1中所给出特征的方法加以解决。
本发明所涉及的、用于在车辆显示装置上显示目标的方法具有以下步骤：
提供传感器探测到的周围环境图像，所述图像包括位于车辆的周围环境中的目标；
根据目标特征将目标分类，以便识别各目标的目标类型；
插入对应于识别到的目标的目标类型的三维数据模型以生成三维立体场景(3D-场景)，所述3D-场景展示车辆的周围环境；以及
在车辆显示装置上显示所生成的3D-场景。
根据本发明的方法的特殊优势在于，通过真实且明确地显示位于车辆的周围环境中的目标，提高车辆操控过程的安全性。
在根据本发明的方法的一种可能的实施方案中，从车辆数据存储器中读取所识别的目标类型的三维车辆数据模型。
这种实施方案的优点是可特别迅速地对各种3D数据模型进行数据访问。
在根据本发明的方法的另一种选择实施方案中，通过电信系统的无线下行链路连接从远程数据库中下载所识别目标类型的3D数据模型。
这种实施方案的优点在于，数据库所拥有的不同的3D数据模型的量特别巨大。
此外，还可将两种实施方案加以组合，也就是说，所识别到的目标类型的3D数据模型不保存在车辆的数据存储器上，而是通过无线接口从远程数据库中下载3D数据模型。
在根据本发明的方法的一种可能的实施方案中，通过车辆传感器，特别是车辆的车辆摄像机提供周围环境图像。
在根据本发明的方法的另一种可能实施方案中，所述目标具有车辆目标，所述车辆目标位于车辆的周围环境中且所述车辆目标通过无线接口直接地或者通过电信系统把车辆目标的相应一个所属的3D车辆数据模型和/或3D车辆数据模型的识别发送给车辆。
在根据本发明的方法的另一种可能的实施方案中，由车辆接收器直接地或者通过电信系统的无线下行链路连接接收其他车辆目标所提供的3D车辆数据模型和/或3D车辆数据模型的识别。
在根据本发明的方法的另一种可能的实施方案中，车辆的3D车辆数据模型和/或3D车辆数据模型的识别由车辆的一发射器直接地或通过电信系统的无线上行链路连接发射给位于车辆附近的其他车辆目标。
在根据本发明的方法的另一种可能的实施方案中，由车辆的接收器直接接收的或通过电信系统的无线下行链路连接接收到的3D车辆数据模型和/或位于所述车辆的附近的车辆目标的3D车辆数据模型的识别由位于车辆的发射器直接地或者通过电信系统的无线上行链路连接继续传输至车辆周围环境中的其他车辆目标。
在根据本发明的方法的另一种可能的实施方案中，本车辆或其他车辆目标的3D车辆数据模型和/或3D车辆数据模型的识别符与所述车辆或相应车辆目标的当前位置一起被传输。
另外，本发明还提供了一种具有权利要求9中所示特征的车辆的全景环视系统。
本发明提供的车辆用全景环视系统具有：
至少一个车辆传感器单元，尤其是车辆摄像机，所述车辆摄像机提供周围环境图像，所述周围环境图像包括位于车辆周围环境中的目标，以及
具有计算单元，为了识别目标类型，该计算单元对车辆图像中所含目标进行分类并将已分类目标的3D数据目标插入周围环境图像中以用于生成3D-场景，在与计算单元连接的车辆显示装置上显示所述3D-场景。
在根据本发明的全景环视系统的一种可能的实施方案中，车辆周围环境中的其他目标包含了其他车辆目标，所述其他车辆目标将其相应的3D车辆数据模型和/或3D车辆数据模型的识别符发送给所述车辆的全景环视系统的接收器，其中将所接收的3D车辆数据模型或根据所接收到的3D数据模型-识别符所读取的3D车辆数据模型显示在所述车辆的车辆显示装置上。
在根据本发明的全景环视系统的一种可能的实施方案中，由其他车辆目标发送的3D车辆数据模型和/或3D车辆数据模型的识别符被车辆的接收器直接接收或通过电信系统的无线下行链路连接接收。
在根据本发明的全景环视系统的另一种可能的实施方案中，全景环视系统具有发射器，所述发射器直接地或通过电信系统的无线上行链路连接将自己的3D车辆数据模型和/或自己的3D车辆数据模型的识别符传输给位于车辆周围环境中的其他车辆目标。
在根据本发明的全景环视系统的另一种可能的实施方案中，全景环视系统的发射器直接地或通过电信系统的无线上行链路连接将本车辆的当前位置传输给位于车辆周围环境中的其他车辆目标。
在根据本发明的全景环视系统的另一种可能的实施方案中，3D车辆数据模型和/或由3D车辆数据模型分类的目标，尤其是位于车辆周围环境中的车辆目标的识别符，直接地或通过电信系统的无线上行链路连接传输给其他车辆目标。
另外，本发明还涉及一种具有根据本发明的全景环视系统的车辆，所述全景环视系统与车辆的导航系统相连，所述导航系统将本车辆和/或其他目标，尤其是车辆目标的位置数据提供给全景环视系统使用。
附图说明
此外，参考附图对用于在车辆的车辆显示装置上显示目标的根据本发明的方法以及根据本发明的装置的可能的实施方案进行详细说明。
其中：
图1示意性示出举例说明的交通状态，以用于说明根据本发明的方法以及根据本发明的装置所基于的问题；
图2根据本发明的全景环视系统的一种可能的实施方案的方块图；
图3根据本发明的全景环视系统的另一种实施方案方块图；
图4根据本发明的全景环视系统的另一种实施方案方块图；
图5根据本发明是方法的一种可能的实施方案的流程图；
图6用于显示根据本发明的方法的一种可能实施方案的信号图；
图7根据本发明的方法的另一种应用情况。
具体实施方式
在图2中可以看到，在所示实施例中，车辆F具有一全景环视系统1，所述系统具有一个或多个车辆传感器单元2，尤其是车辆摄像机。例如车辆传感器单元2可包含在可视频率范围内提供车辆周围环境的图像的车辆摄像机。此外，车辆传感器单元2可具有一提供车辆F的周围环境的雷达数据或雷达图像的雷达传感器。在图2所示范例中，车辆传感器单元2探测位于车辆F周围环境中的目标O，例如车辆目标FO。目标O是移动目标，例如车辆目标FO，或是静止目标，例如建筑物或类似目标。如图2所示，车辆传感器单元2，尤其是车辆摄像机从一侧探测目标O。每个车辆传感器单元2都能提供车辆F的周围环境的环境图像，其中环境图像可能包含位于车辆F的周围环境中的一个或多个目标O。例如当车辆F在道路上移动时，目标O相对于车辆F移动。车辆传感器单元2将包含了例如目标O的当前的环境图像传输给全景环视系统1的分类单元3。
分类单元3根据目标特征对目标O进行分类，以便进行目标类型的识别。例如，分类单元3识别到目标O是一车辆目标FO。分类单元3可采用增大的分类精度进行分类。例如，分类单元3可根据目标特征确定，目标O是车辆目标FO，即目标O是载重汽车车辆目标LKW-FO或者是轿车车辆目标PKW-FO。根据目标等级，分类单元3可采用增大的精度进行分类。例如分类单元3可将识别到的PKW车辆目标识别为一种特殊类型的车辆，例如识别为豪华轿车或旅行车。此外，为了识别出具体涉及哪些车型，还可进行进一步的分类，例如可识别出是奥迪A6旅行车。在所示实施方案中，分类单元3识别到相应目标O的目标类型O-TYP，其中借助识别到的目标类型从数据存储器4中读取所识别的目标类型O-TYP的相应的三维数据模型3D-DM并在识别出的车辆目标FO位置上通过插入计算单元5插入到环境图像UB中。因此从数据存储器4中读取的识别出的车辆目标FO的三维车辆数据模型3D-DM被插入到环境图像UB内一位置或地点上，所述车辆目标FO在环境图像UB内位于所述位置或地点上。通过插入被识别到的车辆目标FO的三维数据模型3D-DM，插入单元5生成一3D场景，所述3D场景展示了车辆F的周围环境连同识别到的车辆目标FO。通过全景环视系统1的车辆显示装置6为车辆F内的人员，尤其是驾驶员，显示所生成的3D场景。图2中所示实施方案的优点在于，在车辆F的车辆显示装置6上不仅显示目标O的可视的一侧，而且还显示目标O的相应的三维车辆数据模型3D-DM，因此在三维场景中真实显示目标O。优选将分类单元3和插入计算单元5集成到计算单元8中。计算，尤其是分类优选实时进行。
图3所示为根据本发明的全景环视系统1的另一种可能的实施方案。在图3所示的实施方案中，全景环视系统1含有一收发器7，该收发器直接地或通过电信系统的无线下行链路连接DL从位于车辆F附近的目标O处，尤其是从车辆目标FO处，获取属于车辆目标FO的3D车辆数据模型3D-DM。收发器7包含一接收器和一发射器。收发器7的接收器从同时被全景环视系统1的传感器单元2检测的车辆目标FO处获取一车辆目标FO的3D数据模型或相应3D车辆数据模型的至少一个识别ID。还可选择额外地通过全景环视系统1的分类单元3从收到的环境图像UB中对车辆目标FO进行分类。在这一实施方案的变化形式中，可检查所收到的3D车辆目标数据模型3D-DM与分类结果是否相符。可选地，当收发器7通过无线接口DL获取车辆目标FO的车辆目标数据模型时，鉴于车辆目标FO的分类，还可自动地去激活分类单元3或通过开关9关闭分类单元3。插入计算单元5把通过收发器7的接收器的无线接口接收到的车辆目标数据模型插入到车辆传感器单元2所提供的环境图像UB的适当位置上，并通过这种方式生成车辆F的周围环境的三维场景，连同位于周围环境中的目标，在全景影像系统1的车辆显示装置6上显示这些场景和目标。在图3所示的实施方案中，如果收发器7的接收器获取了位于车辆目标FO的周围环境中的车辆目标数据模型时，可无需在全景环视系统1内进行分类。在这种实施方案中，只有当周围环境中的目标O未提供相应的3D模型时，才使用分类单元3。因此图3所示实施方案的优点在于，可降低分类单元3的计算负荷。
图4所示为根据本发明的位于车辆F中的全景环视系统1的另一实施方案。在图4所示实施方案中，收发器7的接收器未从目标O收到车辆数据模型，而收到了一车辆目标数据模型DM的识别符ID。借助所收到的该车辆数据模型识别符DM-ID，从全景环视系统1的本地数据存储器4中读取一相关的三维车辆目标数据模型3D-DM，并通过插入计算单元5在适当位置插入到车辆传感器单元2所提供的环境图像UB中，从而生成周围环境的3D场景。通过车辆显示装置6显示所生成的3D场景。图4所示的实施方案其优点在于，无线接口只须传输一车辆目标数据模型标识符ID，因此所需的带宽很小。另外，根据数据模型的复杂程度以及数据范围，传输车辆目标数据模型的标识符ID要比传输整个车辆目标数据模型快得多。
图3、图4所示实施方案中，可直接通过车辆与车辆之间的无线接口或通过电信系统T-SYS传输车辆目标数据模型和/或车辆目标数据模型标识符ID。在一种可能的实施方案中，车辆目标FO通过上行链路连接UL传输模型标识符ID或其车辆数据模型，随后通过下行链路连接DL传输给车辆F内的收发器7的接收器。电信系统例如是一种移动无线电系统。在根据本发明的系统的另一种可能的实施方案中，例如图2、3、4所示的实施方案，除了车辆目标数据模型和/或车辆目标数据模型标识符ID之外，在车辆或车辆目标FO之间还交换或传输位置数据。在一可能的实施方案中，在将车辆目标数据模型3D-DM插入到环境图像UB中时，插入计算单元5还要考虑车辆目标的当前的位置数据。在一可能的实施方案中，通过车辆目标中所包含的导航系统提供车辆或车辆目标FO的位置数据。在一种可能的实施方案中，图2、3、4所示的插入计算单元5具有一CPU(中央处理器)或一微型处理器，所述CPU或微型处理器从车辆F中的导向系统获取位置数据。这些位置数据包括本车辆F的位置数据和/或位于车辆F附近并在传感器单元2作用范围内的车辆目标的位置数据。这些位置数据包含了目标O，特别是位于车辆F附近的车辆目标FO的二维平面坐标或三维立体坐标。
在根据本发明的系统的另一可能的实施方案中，车辆目标FO将其自身的3D车辆数据模型和/或3D车辆数据模型识别符传输给其他车辆目标，所述其他车辆目标再将这些数据进一步传输给第三车辆目标。在进一步传输3D数据模型3D-DM或其识别符ID时，或者可直接在车辆之间进行或者通过电信系统T-SYS的上行链路和下行链路连接进行。如图1所展示的范例中，通过继续传输3D车辆数据模型或其识别符，对车辆F来说，也可识别被其他车辆目标FO完全或部分遮挡的车辆目标FO。在图1所展示的范例中，车辆数据目标FO2可将其车辆数据模型传输给正在超车的车辆目标FO1，车辆目标FO1然后再将所收到的车辆数据模型或其所属的识别符传输给车辆F。在一优选实施方案中，车辆数据模型和/或其车辆数据模型识别符与所属的车辆目标的所属的当前位置数据一起传输，因此车辆F的全景环视系统SVS可确定，被遮挡的车辆数据目标FO2精确位于周围环境中的哪个位置。依据位置数据，根据本发明的全景环视系统1的插入计算单元5可将直接或间接收到的车辆目标数据模型3D-DM精确插入探测到的环境图像中合适的位置上。
图5为根据本发明的方法的一种实施方案的流程图，这种方法用于在车辆显示装置上显示目标O。
在步骤S1中，首先提供一个或多个具有目标O的环境图像UB，所述目标O位于车辆F的周围环境中。这些环境图像UB优选采用传感器探测，尤其是借助一个或多个车辆摄像机和/或借助车辆F中的一雷达装置探测。可对各种传感器或传感器单元所收到的图像，尤其是摄像机图像进行预处理并组成一环境图像。环境图像可显示车辆F的全部周围环境或车辆的周围环境的重要部分片段。例如，环境图像UB可包括车辆F的周围环境的360°全景图。在环境图像UB中，有各种不同类型的目标O，尤其是可移动的车辆目标FO和例如建筑物或山等静止目标O。
在后续步骤S2中，根据目标特征将目标O进行分类，以便识别相应目标O的目标类型O-TYP。例如可通过图2至4中展示的全景环视系统1的分类单元3进行分类。
在后续步骤S3中，插入与识别到的目标O的目标类型O-TYP相符的3D数据模型，以便生成车辆F的周围环境中的3D场景。在一可能的实施方案中，通过分析所收到的位置数据将目标O的3D数据模型3D-DM插入到环境图像UB中适当位置上或定位在那里。在一可能的实施方案中，通过车辆F的导航系统提供这些位置数据或位置坐标。
在后续步骤S4中，在车辆F的车辆显示装置上显示所生成的3D场景。
图6所示为系统的一种实施方案示意图，其中可以使用根据本发明的方法。在图6所示的实施方案变化方案中，车辆F通过例如移动无线电系统等电信系统T-SYS与其他车辆目标FOA、FOB进行通讯。例如，位于车辆F附近的车辆目标FOA可通过一个上行链路连接UL将自身的3D车辆数据模型或所属的ID包括位置数据传输给电信系统的基站，该基站又通过下行链路连接DL将车辆FOA的3D数据模型或相应的ID，优选包括所属的位置数据传输给车辆F的接收器。在那里将车辆目标FOA的车辆数据模型插入环境图像UB中适当位置上。此外，车辆F的自身的发射器将车辆F的车辆数据模型或相ID通过电信系统的上行链路数据连接UL，并在那里再通过下行链路连接DL发送给另一个车辆目标FOB。除了本车辆F的车辆数据模型外，优选将所收到的车辆目标FOA的车辆数据模型或相应的ID进一步传输给另一个车辆目标FOB。此外，从车辆目标FOA收到车辆数据模型后，为了进行接收确认，车辆F会将其自己的车辆数据模型的ID发回。通过这种方式，各不同的车辆目标FO相互交换其3D车辆数据模型或所属的ID。优选同时相互交换车辆目标FO的位置数据。
在一种备选的实施方案中，所有车辆或车辆目标FO都有一所属的车辆标识符ID，通过该标识符ID可对车辆进行明确标识。在车辆FO之间交换该车辆标识符ID，其中通过询问数据库查询属于所收到的车辆标识符ID的车辆数据模型标识符ID。
在根据本发明的方法的一种可能的实施方案中，全景环视系统1的车辆传感器单元2识别位于周围环境中的目标O的轮廓以及结构或颜色。在一种可能的实施方案中，分类时也要对结构加以考虑。此外，插入单元5将例如车辆目标等位于车辆F附近的目标的识别出的结构或颜色插入到在此所显示的3D车辆数据模型中，因此可在车辆显示装置6上更真实地显示相应目标O。
根据本发明的方法和系统还可实现其他的实施方案。目标O可以是例如在路上移动的尤其是车辆或载重汽车等的车辆目标FO。另外，车辆目标FO还可能是船只或飞机。在一种可能的实施方案中，所传输的车辆数据模型是一种相对简单的车辆数据模型，该车辆数据模型主要显示相应目标O的表面。例如将特定的车辆类型的颜色和轮廓插入到环境图像UB中，以便生成3D场景。可选地，所传输的车辆数据模型也可是识别到的车辆目标FO的一复杂的车辆数据模型，除了车辆F的表面之外，所述复杂的车辆数据模型还会提供相关车辆目标FO的内部结构方面的数据。在这类实施方案中，例如车辆F的驾驶员可根据所传输的车辆数据模型查看周围环境中的车辆目标FO的内部结构，必要时还可进行缩放。在此实施方案中，车辆F的驾驶员需要时可更详细地了解在车辆显示装置6上3D场景中所显示的车辆目标FO的构造和结构。
在一种可能的实施方案中，位于周围环境中的目标O以一相对速度相对于本车辆F移动。在此可能的实施方案中，通过全景环视系统1识别这种相对速度V并在环境图像UB中定位所属的3D车辆数据模型时，对这种相对速度加以考虑。在此实施方案中，3D车辆数据模型的定位或插入能够更加精确，因为在3D场景中计算3D车辆数据模型的定位位置时，除了位置数据外，通过插入单元5还对相对速度加以考虑。
全景环视系统1的分类单元3例如可识别本车辆的周围环境中的另一车辆目标FO的型号和颜色，并对其进行分类。然后将相应的车辆数据模型作为3D数据目标插入或定位到3D场景中。
在3D场景中所插入的车辆数据模型3D-DM显示位于车辆F附近的车辆目标FO的各侧面，甚至是包括车辆F的车辆传感器单元2无法探测到的侧面。此外，还可显示车辆目标的车辆数据模型，所述车辆目标通过其他目标，尤其是其他车辆目标持续或偶尔遮挡。通过这种方式，为车辆F的驾驶员实时显示在3D场景中显示的三维的车辆周围环境，以此有助于驾驶员做出行驶决定和确定其行驶方向。基于更好的行驶决定还显著提高了车辆F的行驶安全性。
图7所示为根据本发明的方法的另一种应用情况。在此展示的是泊车过程中，在车辆显示装置上的3D场景中显示目标，尤其是其他车辆目标。

Claims (15)

1.一种用于在车辆(F)的车辆显示装置上显示目标的方法，具有以下步骤：
(a)提供传感器所探测到的环境图像(UB)，所述环境图像包括位于车辆(F)的周围环境中的目标(O)(S1)；
(b)为了识别相应目标(O)的目标类型(O-TYP)，根据目标特征对目标(O)进行分类(S2)；
(c)插入对应于识别到的目标(O)的目标类型(O-TYP)的三维数据模型(3D-DM)以生成3D-场景，所述3D-场景展示车辆(F)的周围环境(S3)；以及
(d)在车辆显示装置上显示所生成的3D场景(S4)。
2.根据权利要求1所述的方法，
其中从车辆(F)的数据存储器中读取或通过无线下行链路连接(DL)从远程数据库中下载识别到的目标类型(O-TYP)的三维数据模型(3D-DM)。
3.根据权利要求1或2所述的方法，
其中环境图像(UB)通过车辆的至少一个车辆传感器，尤其是车辆摄像机提供。
4.根据上述权利要求1至3中任一项所述的方法，
其中目标(O)具有位于车辆(F)的周围环境中的车辆目标(FO)，所述车辆目标通过无线接口将车辆目标(FO)的所属的3D车辆数据模型和/或3D车辆数据模型的识别结果发送给车辆(F)。
5.根据权利要求4所述的方法，
其中由其他车辆目标(FO)提供的3D车辆数据模型和/或3D车辆数据模型的识别符，被车辆(F)的接收器通过电信系统的无线下行链路连接(DL)接收。
6.根据权利要求4或5所述的方法，
其中车辆(F)的3D车辆数据模型和/或3D车辆数据模型的识别，由车辆(F)的发射器通过电信系统的无线上行链路连接(UL)发射给位于车辆(F)的周围环境中的其他车辆目标(FO)。
7.根据上述权利要求4至6中任一项所述的方法，
其中由车辆(F)的接收器通过电信系统的无线下行链路连接(DL)接收到的、位于车辆(F)的周围环境中的其他车辆目标(FO)的三维车辆数据模型和/或三维车辆数据模型的识别，被车辆(F)的发射器通过电信系统的无线上行链路连接(UL)传输给位于车辆(F)的周围环境中的其他车辆目标(FO)。
8.根据上述权利要求4至7中任一项所述的方法，
其中车辆(F)或其他车辆目标(FO)的3D车辆数据模型和/或3D车辆数据模型的识别与相应的车辆(F)或车辆目标(FO)的当前位置一起传输。
9.用于车辆(F)的全景环视系统(1)，具有：
-至少一个车辆传感器单元(2)，尤其是提供环境图像的车辆摄像机，所述环境图像具有位于车辆(F)的周围环境中的目标(O)；以及
-计算单元(8)，为了识别目标的目标类型，所述计算单元对环境图像中所含的目标(O)进行分类并将已分类的目标的3D数据模型插入到环境图像中以生成3D场景，所述3D场景通过与计算单元(8)相连的车辆显示装置(6)显示。
10.根据权利要求9所述的全景显示系统，
其中其他目标(O)、尤其是位于车辆(F)的周围环境中的车辆目标(FO)将其自己的3D车辆数据模型和/或3D数据模型识别符通过无线数据连接传输给车辆(F)。
11.根据权利要求10所述的全景显示系统，
其中由其他车辆目标(FO)分发的3D数据模型和/或3D数据模型的识别符由车辆(F)的发射器通过电信系统的无线下行链路连接(DL)接收。
12.根据上述权利要求9至11中任一项所述的全景显示系统，
其中车辆(F)通过电信系统的无线上行链路连接(UL)将其自己的3D车辆数据模型和/或自己的3D车辆模型的识别符传输给位于车辆(F)的周围环境中的其他车辆。
13.根据上述权利要求9至12中任一项所述的全景显示系统，
其中车辆(F)探测其自己的当前位置并将该位置通过电信系统的无线上行链路连接(UL)传输给位于车辆(F)的周围环境中的其他车辆目标(FO)。
14.根据上述权利要求9至13中任一项所述的全景显示系统，
其中车辆(F)通过电信系统的无线上行链路连接(UL)将所收到的、位于车辆(F)的周围环境中已分类的目标的3D车辆数据模型和/或3D车辆数据模型的识别符继续传输给位于车辆(F)的周围环境中的其他车辆目标(FO)。
15.一种具有根据上述权利要求9-14中的任一项所述的全景环视系统(1)以及具有导航系统的车辆，所述导航系统提供本车辆(F)的位置数据和/或位于所述车辆(F)的周围环境中的其他车辆目标(FO)的位置数据。
CN201580016025.3A 2014-03-25 2015-01-28 用于在车辆显示装置上显示目标的方法和装置 Active CN106164931B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102014205511.3A DE102014205511A1 (de) 2014-03-25 2014-03-25 Verfahren und vorrichtung zur anzeige von objekten auf einer fahrzeuganzeige
DE102014205511.3 2014-03-25
PCT/DE2015/200036 WO2015144145A2 (de) 2014-03-25 2015-01-28 Verfahren und vorrichtung zur anzeige von objekten auf einer fahrzeuganzeige

Publications (2)

Publication Number Publication Date
CN106164931A true CN106164931A (zh) 2016-11-23
CN106164931B CN106164931B (zh) 2020-03-13

Family

ID=52544240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580016025.3A Active CN106164931B (zh) 2014-03-25 2015-01-28 用于在车辆显示装置上显示目标的方法和装置

Country Status (7)

Country Link
US (1) US20180253899A1 (zh)
EP (1) EP3123450B1 (zh)
JP (1) JP6429892B2 (zh)
KR (1) KR102233529B1 (zh)
CN (1) CN106164931B (zh)
DE (2) DE102014205511A1 (zh)
WO (1) WO2015144145A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537095A (zh) * 2017-03-06 2018-09-14 艺龙网信息技术（北京）有限公司 识别展示物品信息的方法、系统、服务器和虚拟现实设备
CN110505469A (zh) * 2018-05-17 2019-11-26 株式会社电装 用于车辆的环绕监测系统及其方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180134217A1 (en) * 2015-05-06 2018-05-17 Magna Mirrors Of America, Inc. Vehicle vision system with blind zone display and alert system
DE102016212688A1 (de) 2016-07-12 2018-01-18 Zf Friedrichshafen Ag Verfahren und Vorrichtung zur Ermittlung des Umfelds eines Fahrzeugs
SE1851463A1 (en) * 2018-11-27 2020-05-28 Scania Cv Ab Method and control arrangement for visualization
US11351917B2 (en) * 2019-02-13 2022-06-07 Ford Global Technologies, Llc Vehicle-rendering generation for vehicle display based on short-range communication
DE102019219171A1 (de) * 2019-12-09 2021-05-27 Continental Automotive Gmbh Fahrerassistenzsystem, Crowdsourcing-Modul, Verfahren und Computerprogramm
JP7334704B2 (ja) * 2020-10-12 2023-08-29 トヨタ自動車株式会社 車両の安全運転支援装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005196376A (ja) * 2004-01-06 2005-07-21 Alpine Electronics Inc 周辺車両表示装置、ナビゲーション装置及び車両表示方法
JP2005327250A (ja) * 2004-04-16 2005-11-24 Denso Corp 運転支援装置
CN1898961A (zh) * 2004-04-27 2007-01-17 松下电器产业株式会社 车辆周围环境显示装置
CN1985266A (zh) * 2004-07-26 2007-06-20 奥普提克斯晶硅有限公司 全景视觉系统和方法
EP1926048A1 (en) * 2006-11-21 2008-05-28 Harman Becker Automotive Systems GmbH Presenting video images of a vehicle environment
US20090268947A1 (en) * 2008-03-31 2009-10-29 Harman Becker Automotive Systems Gimbh Real time environment model generation system
JP2009255600A (ja) * 2006-06-30 2009-11-05 Nec Corp 通信相手特定装置及び通信相手特定方法、通信相手特定用プログラム
CN102137252A (zh) * 2011-02-28 2011-07-27 兰州大学 一种车载虚拟全景显示装置
CN102555905A (zh) * 2010-10-06 2012-07-11 罗伯特·博世有限公司 产生车辆周围环境中至少一个物体的影像的方法和设备
CN103192776A (zh) * 2012-01-04 2013-07-10 罗伯特·博世有限公司 用于运行车辆的驾驶员辅助系统的方法和装置
CN103617606A (zh) * 2013-11-26 2014-03-05 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10336638A1 (de) * 2003-07-25 2005-02-10 Robert Bosch Gmbh Vorrichtung zur Klassifizierung wengistens eines Objekts in einem Fahrzeugumfeld
DE10335601B4 (de) * 2003-08-04 2016-01-14 Robert Bosch Gmbh Verfahren zur Objektklassifizierung unter Verwendung einer 3D-Modelldatenbank
JP4720386B2 (ja) * 2005-09-07 2011-07-13 株式会社日立製作所 運転支援装置
US7741961B1 (en) * 2006-09-29 2010-06-22 Canesta, Inc. Enhanced obstacle detection and tracking for three-dimensional imaging systems used in motor vehicles
DE102008052382A1 (de) * 2008-10-20 2010-04-22 Siemens Ag Österreich Verfahren zum optimalen Weiterleiten von Meldungen bei Car-to-X-Kommunikation
DE102010040803A1 (de) * 2010-09-15 2012-03-15 Continental Teves Ag & Co. Ohg Visuelles Fahrerinformations- und Warnsystem für einen Fahrer eines Kraftfahrzeugs
DE102010042063B4 (de) * 2010-10-06 2021-10-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen von aufbereiteten Bilddaten über ein Umfeld eines Fahrzeugs
US20150042799A1 (en) * 2013-08-07 2015-02-12 GM Global Technology Operations LLC Object highlighting and sensing in vehicle image display systems
US20150109444A1 (en) * 2013-10-22 2015-04-23 GM Global Technology Operations LLC Vision-based object sensing and highlighting in vehicle image display systems

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005196376A (ja) * 2004-01-06 2005-07-21 Alpine Electronics Inc 周辺車両表示装置、ナビゲーション装置及び車両表示方法
JP2005327250A (ja) * 2004-04-16 2005-11-24 Denso Corp 運転支援装置
CN1898961A (zh) * 2004-04-27 2007-01-17 松下电器产业株式会社 车辆周围环境显示装置
CN1985266A (zh) * 2004-07-26 2007-06-20 奥普提克斯晶硅有限公司 全景视觉系统和方法
JP2009255600A (ja) * 2006-06-30 2009-11-05 Nec Corp 通信相手特定装置及び通信相手特定方法、通信相手特定用プログラム
EP1926048A1 (en) * 2006-11-21 2008-05-28 Harman Becker Automotive Systems GmbH Presenting video images of a vehicle environment
US20090268947A1 (en) * 2008-03-31 2009-10-29 Harman Becker Automotive Systems Gimbh Real time environment model generation system
CN102555905A (zh) * 2010-10-06 2012-07-11 罗伯特·博世有限公司 产生车辆周围环境中至少一个物体的影像的方法和设备
CN102137252A (zh) * 2011-02-28 2011-07-27 兰州大学 一种车载虚拟全景显示装置
CN103192776A (zh) * 2012-01-04 2013-07-10 罗伯特·博世有限公司 用于运行车辆的驾驶员辅助系统的方法和装置
CN103617606A (zh) * 2013-11-26 2014-03-05 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537095A (zh) * 2017-03-06 2018-09-14 艺龙网信息技术（北京）有限公司 识别展示物品信息的方法、系统、服务器和虚拟现实设备
CN110505469A (zh) * 2018-05-17 2019-11-26 株式会社电装 用于车辆的环绕监测系统及其方法

Also Published As

Publication number Publication date
DE112015000543A5 (de) 2016-10-27
WO2015144145A3 (de) 2015-12-17
WO2015144145A2 (de) 2015-10-01
US20180253899A1 (en) 2018-09-06
KR20160137536A (ko) 2016-11-30
DE102014205511A1 (de) 2015-10-01
CN106164931B (zh) 2020-03-13
JP6429892B2 (ja) 2018-11-28
EP3123450A2 (de) 2017-02-01
EP3123450B1 (de) 2022-12-14
JP2017509067A (ja) 2017-03-30
KR102233529B1 (ko) 2021-03-29

Similar Documents

Publication Publication Date Title
CN109902552B (zh) 用于车道特征分类和定位的人工神经网络
CN106164931A (zh) 用于在车辆显示装置上显示目标的方法和装置
CN108693876B (zh) 用于具有控制部件的车辆的目标跟踪系统及方法
CN108572663B (zh) 目标跟踪
CN108139202B (zh) 图像处理装置、图像处理方法和程序
CN108628301B (zh) 用于操作自动驾驶车辆的时间数据关联
TWI703064B (zh) 用於在不良照明狀況下定位運輸工具的系統和方法
CN109212543A (zh) 用于自主车辆操作的校准验证方法
WO2017159382A1 (ja) 信号処理装置および信号処理方法
CN109212542A (zh) 用于自主车辆操作的校准方法
CN108028883B (zh) 图像处理装置和图像处理方法
US20190258876A1 (en) Providing information-rich map semantics to navigation metric map
CN108761475A (zh) 用于自主车辆操作的校准验证
CN112154454A (zh) 目标对象的检测方法、系统、设备及存储介质
CN106205175A (zh) 用于车辆的显示设备和车辆
US20220180483A1 (en) Image processing device, image processing method, and program
CN111448478A (zh) 用于基于障碍物检测校正高清地图的系统和方法
CN108139211A (zh) 用于测量的装置和方法以及程序
CN109196557A (zh) 图像处理装置、图像处理方法和车辆
US20200218909A1 (en) Lane marker detection and lane instance recognition
CN109472986A (zh) 用于确定交通控制人员和交通控制标志物的存在的系统和方法
WO2019188391A1 (ja) 制御装置、制御方法、並びにプログラム
CN107211085A (zh) 摄像装置和摄像方法
CN108291814A (zh) 用于在环境中点精确地定位机动车的方法、设备、地图管理装置和系统
US10748264B2 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240412

Address after: Ingolstadt, Germany

Patentee after: Continental Zhixing Germany Co.,Ltd.

Country or region after: Germany

Address before: Nuremberg, Germany

Patentee before: CONTI TEMIC MICROELECTRONIC GmbH

Country or region before: Germany