CN108432242A - 车辆用显示装置、车辆用显示方法以及程序 - Google Patents

车辆用显示装置、车辆用显示方法以及程序 Download PDF

Info

Publication number
CN108432242A
CN108432242A CN201780004888.8A CN201780004888A CN108432242A CN 108432242 A CN108432242 A CN 108432242A CN 201780004888 A CN201780004888 A CN 201780004888A CN 108432242 A CN108432242 A CN 108432242A
Authority
CN
China
Prior art keywords
image
road surface
vehicle
road
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780004888.8A
Other languages
English (en)
Inventor
永井亮行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2016094626A external-priority patent/JP6720683B2/ja
Priority claimed from JP2016127890A external-priority patent/JP6593258B2/ja
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of CN108432242A publication Critical patent/CN108432242A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B17/00—Measuring arrangements characterised by the use of infrasonic, sonic or ultrasonic vibrations
    • G01B17/06—Measuring arrangements characterised by the use of infrasonic, sonic or ultrasonic vibrations for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/08—Systems for measuring distance only
    • G01S15/10—Systems for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B17/00—Measuring arrangements characterised by the use of infrasonic, sonic or ultrasonic vibrations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Abstract

影像获取部(32)获取拍摄车辆周边而得到的影像。生成部(34)基于获取的影像来生成俯瞰影像。路面信息获取部(46、60)获取与车辆周边的路面有关的信息。路面判断部(48、62)基于获取的与路面有关的信息来判断是否存在需要注意的路面。当判断为存在需要注意的路面时，影像処理部(40)将表示需要注意的路面的图像叠加在俯瞰影像上。

Description

车辆用显示装置、车辆用显示方法以及程序
技术领域
本发明涉及车辆用显示技术，尤其涉及显示影像的车辆用显示装置、车辆用显示方法以及程序。
背景技术
在车辆上搭载有多台车外拍摄用相机，通过合成这些相机拍摄的图像，形成宛如从设置于车辆的上方的相机拍摄车辆周围的俯瞰影像，并显示在监视器。在这样的俯瞰影像显示中，作为障碍物的立体物由于通过视点转换处理无法准确显示障碍物的形状，因此难以直观地识别是立体物还是平面状的物体的区分。因此，具有预定高度以上的立体物以与其他方式不同的形式显示(例如参照专利文献1)。
在先技术文献
专利文献
专利文献1：日本专利特开2009-49943号公报。
发明内容
发明所要解决的问题
通过将由设置在车辆四周上的拍摄部拍摄的影像以从车辆的上方向下看的方式执行视点转换处理，生成俯瞰影像。如果在车辆周边不存在障碍物，但在车辆周边的路面上存在台阶，则难以掌握俯瞰影像中有无台阶。
本发明是鉴于这样的情况而完成的，其目的在于提供一种掌握俯瞰影像中有无台阶的技术。
为了解决上述问题，本实施方式的某个方式的车辆用显示装置包括：影像获取部，其获取拍摄车辆周边而得到的影像；生成部，其通过对影像获取部获取的影像以从车辆的上方观看的方式转换视点来生成俯瞰影像；路面信息获取部，其获取与车辆周边的路面有关的信息；路面判断部，其基于路面信息获取部获取的与路面有关的信息来判断是否存在需要注意的路面；影像处理部，当由路面判断部判断为存在需要注意的路面时，将表示需要注意的路面的图像叠加在俯瞰影像上；以及显示控制部，其将在影像处理部中叠加了图像的俯瞰影像显示在显示部。
本实施方式的另一方式是车辆显示方法。该方法包括以下步骤：获取拍摄车辆周边而得到的影像；通过对获取的影像以从车辆的上方观看的方式转换视点来生成俯瞰影像；获取与车辆周边的路面有关的信息；基于获取的与路面有关的信息来判断是否存在需要注意的路面；当判断为存在需要注意的路面时，将表示需要注意的路面的图像叠加在俯瞰影像上；以及将叠加了图像的俯瞰影像显示在显示部。
此外，上述构成要素的任意组合、将本实施方式的表现在方法、装置、系统、记录介质、计算机程序等之间的转换作为本实施方式的模式也是有效的。
根据本实施方式，能够掌握俯瞰影像中有无台阶。
附图说明
图1是示出实施例1涉及的形成在车辆周边的拍摄范围的立体图。
图2是示出在图1的车辆上搭载的传感器的图。
图3是示出搭载于图1的车辆上的车辆用显示装置的结构的图。
图4是示出在图3的生成部生成的俯瞰影像的图。
图5是示出图3的前方传感器的配置的图。
图6是示出图3的左侧方传感器的配置的图。
图7是示出图3的路面形状获取部中的处理概要的图。
图8是示出图3的路面形状获取部中的其他处理的概要的图。
图9是示出图3的路面形状获取部中的又一其他处理的概要的图。
图10是示出在图3的路面形状判断部中存储的表格的数据结构的图。
图11是示出由图3的影像处理部生成的俯瞰影像的图。
图12是示出由图3的影像处理部生成的另一个俯瞰影像的图。
图13是示出由图3的影像处理部生成的又另一个俯瞰影像的图。
图14是示出由图3的影像处理部生成的又另一个俯瞰影像的图。
图15是示出由图3的影像处理部生成的又另一个俯瞰影像的图。
图16(a)～(b)是示出由图3的影像处理部生成的影像的图。
图17是示出图3的车辆用显示装置的显示过程的流程图。
图18是示出实施例2涉及的车辆用显示装置的结构的图。
图19是示出图18的路面形状获取部中的处理概要的图。
图20是示出在图18的路面形状判断部中存储的表格的数据结构的图。
图21是示出由图18的影像处理部生成的俯瞰影像的图。
图22是示出由图18的影像处理部生成的另一个俯瞰影像的图。
图23是示出实施例3涉及的车辆上搭载的车辆用显示装置的结构的图。
图24是示出图23的左前方传感器的配置的图。
图25是示出图23的左侧方传感器的配置的图。
图26是示出由图23的影像处理部生成的俯瞰影像的图。
图27是示出由图23的影像处理部生成的另一个俯瞰影像的图。
图28是示出由图23的影像处理部生成的又另一个俯瞰影像的图。
图29是示出由图23的影像处理部生成的影像的图。
图30是示出图23的车辆用显示装置的显示过程的流程图。
图31是示出实施例4涉及的车辆用显示装置的结构的图。
具体实施方式
(实施例1)
在详细说明本发明之前，首先说明前提。实施例1涉及一种车辆用显示装置，用于通过对由设置在车辆中的多个拍摄部拍摄的图像进行视点转换来生成俯瞰影像，并显示所生成的俯瞰影像。在视点转换中，由于拍摄的图像被映射到地面上的平面，所以拍摄的图像中包含的各物体被显示为排列在地面的平面上。因此，即使在车辆周边的路面上存在台阶的情况下，在俯瞰影像中也以平面的方式示出上述的台阶。由此，驾驶员难以观看俯瞰影像来掌握有无台阶。尤其是，由于台阶的垂直面未被拍摄部拍摄，因此在远离车辆侧的方向上较低的台阶更加难以掌握。
为了应对这个问题，本实施例涉及的车辆用显示装置执行以下处理。在车辆中设置有多个传感器，并且基于多个传感器的检测结果，车辆用显示装置获取车辆周边的路面形状。当所获取的路面形状中存在需要注意的路面形状时，车辆用显示装置显示叠加了表示路面形状的图像的俯瞰影像。这里，需要注意的路面形状例如相当于路面上存在的台阶。
以下，参照附图对实施例进行说明。在实施例中示出的具体数值等仅仅是用于帮助理解实施例的示例，除非另有说明，并不限制实施例。此外，在本说明书和附图中，对于基本上具有相同的功能、构成的要素，通过标注同一符号，省略重复说明，并且与实施例没有直接关系的要素省略图示。
图1是示出实施例1涉及的车辆100的周边形成的拍摄范围的立体图。在车辆100的前部例如保险杠、发动机罩等设置有前方拍摄部12。前方拍摄部12以从前方拍摄部12朝向前方的方式形成前方拍摄区域20，并对前方拍摄区域20中的影像进行拍摄。左侧方拍摄部14设置在车辆100的左侧方部分，例如左侧后视镜的下部等。左侧方拍摄部14以从左侧方拍摄部14朝向左方的方式形成左侧方拍摄区域22，在左侧方拍摄区域22中拍摄影像。
在车辆100的后部例如保险杠、后备箱等设置有后方拍摄部16。后方拍摄部16以从后方拍摄部16朝向后方的方式形成后方拍摄区域24，并对后方拍摄区域24中的影像进行拍摄。在车辆100的右侧部分上设置有未图示的右侧方拍摄部18，以与左侧方拍摄部14成左右对称。右侧方拍摄部18以从右侧方拍摄部18朝向右方的方式形成右侧方拍摄区域26，并对右侧方拍摄区域26中的影像进行拍摄。将前方拍摄部12、左侧方拍摄部14、后方拍摄部16以及右侧方拍摄部18作为拍摄部10，根据拍摄部10拍摄的影像对车辆100的周边进行拍摄。
图2示出搭载在车辆100上的传感器。在车辆100中配置有前方传感器112、左侧方传感器114、后方传感器116、右侧方传感器118、左前方传感器120、右前方传感器122、左后方传感器124和右后方传感器126。左前方传感器120、前方传感器112和右前方传感器122设置在车辆100的前方部分。这里，左前方传感器120配置在左侧，前方传感器112配置在中央，并且右前方传感器122配置在右侧。另外，左侧方传感器114配置在车辆100的左侧部分，右侧方传感器118配置在车辆100的右侧部分。左后方传感器124、后方传感器116和右后方传感器126设置在车辆100的后方部分。这里，左后方传感器124配置在左侧，后方传感器116配置在中央，右后方传感器126配置在右侧。
图3示出搭载在车辆100上的车辆用显示装置30的结构。车辆用显示装置30连接到拍摄部10、显示部50和传感器110。拍摄部10包含前方拍摄部12、左侧方拍摄部14、后方拍摄部16、以及右侧方拍摄部18，传感器110包含前方传感器112、左侧方传感器114、后方传感器116、右侧方传感器118、左前方传感器120、右前方传感器122、左后方传感器124以及右后方传感器126。车辆用显示装置30包括影像获取部32、生成部34、影像处理部40、显示控制部42、行驶状况获取部44、路面形状获取部46、以及路面形状判断部48。
如上所述，前方拍摄部12、左侧方拍摄部14、后方拍摄部16和右侧方拍摄部18拍摄影像。前方拍摄部12、左侧方拍摄部14、后方拍摄部16以及右侧方拍摄部18将影像输出到影像获取部32。影像获取部32分别从前方拍摄部12、左侧方拍摄部14、后方拍摄部16和右侧方拍摄部18获取影像。即，影像获取部32获取拍摄车辆100周边而得到的影像。影像获取部32将获取的影像输出到生成部34。
生成部34输入来自影像获取部32的影像。生成部34通过对影像执行以从车辆100的上方观看的方式转换视点的处理来生成俯瞰影像。对于该转换，使用公知的技术即可，例如在虚拟的三维空间中的立体曲面上投影影像的各像素，并且根据来自车辆100上方的虚拟视点，切出立体曲面的必要区域。切出的区域相当于转换了视点的影像。
图4示出由生成部34生成的俯瞰影像78。在俯瞰影像78的中央部分配置有作为表示车辆100的图像的自己车辆图标80。自己车辆图标80是从上方观察的车辆100的图像，并且具有俯瞰影像78中的车辆100的尺寸。在自己车辆图标80的前方配置前方图像70，在自己车辆图标80的左侧方配置左侧方图像72，在车辆100的后方配置后方图像74，在车辆100的右侧方配置右侧方图像76。返回到图3。生成部34将俯瞰影像78输出到影像处理部40。
行驶状况获取部44经由CAN(Controller Area Network：控制区域网络)从ECU(Electronic Control Unit：电子控制单元)获取关于行驶状况的信息。关于行驶状况的信息例如是车辆100的行驶速度的信息。行驶状况获取部44将关于行驶状况的信息输出到路面形状获取部46。
前方传感器112、左侧方传感器114、后方传感器116、右侧方传感器118、左前方传感器120、右前方传感器122、左后方传感器124、右后方传感器126统一为传感器110。能够将使用红外线激光的传感器、使用超声波的传感器等的现有技术应用于传感器110。当传感器110使用红外线激光时，使红外线激光通过扫描镜等在预定范围扫描，根据反射来的激光的相位差来获取与路面之间的距离。另外，当传感器110使用超声波时，超声波脉冲被输出到预定范围，并且根据与反射波的时间差来获取与路面之间的距离。
图5示出前方传感器112的配置。前方传感器112用于检测在行进方向上是否存在洞或峭壁。前方传感器112配置在距离路面90为“A1”的高度处，并被配置为主要检测距车辆100离开“B1”的前端。例如，前方传感器112配置在车辆100的前端部的靠近发动机罩的位置。另外，“B1”设置为2米。如图所示，当在距车辆100离开“B1”的前端存在具有宽度“t”的沟92时，检测到沟92的壁面。类似地配置图2的左前方传感器120、右前方传感器122、左后方传感器124、后方传感器116和右后方传感器126。左前方传感器120、右前方传感器122、左后方传感器124和右后方传感器126用于检测车辆100拐弯的前端是否存在洞或峭壁。
图6示出左侧方传感器114的配置。左侧方传感器114用于检测车辆100的左侧是否存在洞或峭壁。左侧方传感器114也被用来检测车辆100的司乘人员从车辆100的左侧下车的位置是否存在洞或峭壁。左侧方传感器114配置在距离路面90为“A2”高度处，并且被配置为主要检测距车辆100离开“B2”的前端。例如，左侧方传感器114被配置在车门上或后视镜处。另外，“B2”设置为10cm。如图所示，当距车辆100离开“B2”的前端存在宽度“t”的沟92时，检测到沟92的底面。这样，左侧方传感器114的配置位置越高，沟92的深度越容易检测。返回到图3。传感器110将检测结果输出到路面形状获取部46。
路面形状获取部46在获取与路面有关的信息的路面信息获取部中执行获取路面形状的功能。路面形状获取部46输入来自传感器110的检测结果。路面形状获取部46通过分析来自传感器110的检测结果，获取表示车辆100周边的路面形状的数据。表示路面形状的数据包含检测范围的位置信息和来自传感器110的距离信息。更具体地说，路面形状获取部46通过在路面形状的可获取范围内获取从车辆100的车身到路面的距离，以获取路面形状。图7示出路面形状获取部46中的处理概况。这里，为了说明清楚起见，作为传感器110示出左侧方传感器114，仅例示出了由左侧方传感器114在车辆100的左右方向上获取路面形状。此外，实际上，也执行由左侧方传感器114在车辆100的前后方向上获取路面形状，并且在左右方向上获取的路面形状和在前后方向上获取的路面形状组合起来。
在车辆100的左侧后视镜安装有左侧方拍摄部14和左侧方传感器114。左侧方拍摄部14拍摄左侧方拍摄区域22中的影像，并且左侧方传感器114在左侧方检测区域130中测量距离。左侧方检测区域130是能够由左侧方传感器114获取路面形状的范围，其被示出为从点P1到点P2的区域“PA”。另外，作为区域“PA”包含的中间点示出点P3和P 4。此外，中间点不限于点P3和点P4。并且，分别示出了到点P1的距离L1、到点P2的距离L2、到点P3的距离L3以及到点P4的距离L4。在这样的情况下，表示路面形状的数据包含点P1和距离L1的组合、点P2和距离L2的组合、点P3和距离L3的组合、点P4和距离L4的组合。
图8示出路面形状获取部46中的其他处理的概要。这里，存在比路面90低“h”的低台阶部94。如图所示，分别示出到点P1的距离L1'、到点P2的距离L2'、到点P3的距离L3'、到点P4的距离L4'。因此，表示路面形状的数据包含点P1和距离L1'的组合、点P2和距离L2'的组合、点P3和距离L3'的组合、点P4和距离L4'的组合。通过这样的数据示出图8的路面形状。
图9示出了路面形状获取部46中的又一其他处理的概要。这里，存在比路面90低“h”的低台阶部94。此外，假设图9中的“h”大于图8中的“h”。即，图9中的台阶大于图8中的台阶。如图所示，分别示出了与点P1的距离L1”、与点P2的距离L2”、与点P3的距离L3”以及与点P4的距离L4”。因此，表示路面形状的数据包含点P1和距离L1”的组合、点P2和距离L2”的组合、点P3和距离L3”的组合、以及点P4和距离L4”的组合。利用这样的数据示出了如图9所示的路面形状。返回到图3。
路面形状获取部46从行驶状况获取部44输入关于行驶状况的信息。如上所述，当行驶状况为比预定速度低的速度行驶或停止时，路面形状获取部46获取表示路面形状的数据。这相当于获取对于车辆100的周边的路面形状。另一方面，当行驶状况为比预定速度快的快速行驶时，路面形状获取部46不获取表示路面形状的数据。当获取了表示路面形状的数据时，路面形状获得部46将表示路面形状的数据输出到路面形状判断部48。
路面形状判断部48在基于与路面有关的信息判断是否存在需要注意的路面的路面判断部中执行是否存在需要注意的路面形状的判断。路面形状判断部48从路面形状获取部46输入表示路面形状的数据。路面形状判断部48基于从路面形状获取部46输入的数据所示的路面形状判断是否存在需要注意的路面形状。需要注意的路面形状例如是具有预定值以上的宽度的沟92、具有预定值以上的高低差的台阶。此外，当宽度增加时，沟92与向下台阶相同。在此，为了判断是否存在需要注意的路面形状，路面形状判断部48将路面形状中需要注意的路面形状的基准图案作为表格存储。
图10示出了在路面形状判断部48中存储的表格的数据结构。当相邻点之间的距离之差为阈值以上时，识别为在路面90上存在台阶。并且，此时的差值是作为高度h而获取的。该高度h是路面形状为向下台阶或向上台阶时的参数。此外，如果路面形状是沟92，则沟宽度t用作参数。此外，当相邻点之间的距离L之差小于阈值时，识别为路面90是平面或斜坡。在这种情况下，不执行路面形状判断部48处的处理。这样，当距离L离散地变化时，识别为存在台阶，并且当距离L连续变化时，识别为不存在台阶。
根据参数值规定为“安全”，“小心行驶”，“不可行驶”。对“安全”、“注意行驶”、“不可行驶”的参数值的范围基于车辆100的形状、特别是最小离地高度和轮胎宽度等而确定。这样，路面形状判断部48判断作为需要注意的路面形状是否存在车辆100难以行驶的有高度差的路面形状。尤其是，路面形状判断部48判断作为车辆100难以行驶的有高低差的路面形状是否存在离开车辆100时变低的台阶形状。返回到图3。
路面形状判断部48参照图10所示的表格10并基于从路面形状获取部46输入的数据表示的路面形状确定“安全”、“注意行驶”、“不可行驶”中的某一个。此时，路面形状判断部48也确定台阶或沟92的位置信息，该位置信息确定“安全”、“注意行驶”、“不可行驶”中的某一个。路面形状判断部48将确定“安全”、“注意行驶”、“不可行驶”中的某一个的信息(以下称为“确定结果”)和确定的台阶或沟92的位置信息输出到影像处理部40。
影像处理部40从生成部34输入俯瞰影像78，并且从路面形状判断部48输入确定结果和位置信息。当确定结果为“注意行驶”或“不可行驶”时，即当判断为存在需要注意的路面形状时，影像处理部40将表示需要注意的路面形状的图像叠加在俯瞰影像78上。图11示出了由影像处理部40生成的俯瞰影像78。这相当于确定结果为“注意行驶”的情况。影像处理部40生成应该显示在俯瞰影像78的一部分区域且包含位置信息的区域中的注意行驶通知图像82。注意行驶通知图像82是用于通知“注意行驶”的图像。影像处理部40将注意行驶通知图像82叠加在俯瞰影像78中的该区域上。这里，注意行驶通知图像82被配置在自己车辆图标80的右侧。
图12示出了由影像处理部40生成的另一个俯瞰影像78。这相当于确定结果为“不可行驶”的情况。影像处理部40生成应该显示在俯瞰影像78的一部分区域且包含位置信息的区域中的不可行驶通知图像84。不可行驶通知图像84是用于通知“不可行驶”的图像。影像处理部40将不可行驶通知图像84叠加在俯瞰影像78中的该区域。这里，不可行驶通知图像84被配置在自己车辆图标80的右侧。返回到图3。影像处理部40将叠加了注意行驶通知图像82或不可行驶通知图像84的俯瞰影像78或者未叠加注意行驶通知图像82和不可行驶通知图像84的俯瞰影像78输出到显示控制部42。
显示控制部42输入来自影像处理部40的俯瞰影像78。显示控制部42通过执行显示俯瞰影像78的处理，将俯瞰影像78显示在显示部50上。显示部50例如是显示面板。当注意行驶通知图像82或不可行驶通知图像84被叠加在俯瞰影像78上时，如图11或图12所示的俯瞰影像78被显示在显示部50上。
以下，说明在影像处理部40中叠加了图像的俯瞰影像78的各种例子。图13示出了由影像处理部40生成的又另一个俯瞰影像78。这里，车辆100向前移动。在俯瞰影像78中示出了左前方通知图像150、前方通知图像152、右前方通知图像154、左后方通知图像156、后方通知图像158、右后方通知图像160。这里，左前方通知图像150、前方通知图像152、右前方通知图像154被配置在自己车辆图标80的前方，左后方通知图像156、后方通知图像158、右后方通知图像160被配置在自己车辆图标80的后方。
左前方通知图像150是用于表示左前方传感器120的检测结果是“无台阶”、“有台阶”和“峭壁”中的哪一个的图像。这里，“有台阶”相当于上述的“不可行驶”，“无台阶”相当于上述的“注意行驶”或“安全”，“峭壁”相当于上述的“有台阶”的情况中的高度h为“30cm”以上的情况。并且，“峭壁”中也包括传感器110未动作的情况。
前方通知图像152、右前方通知图像154、左后方通知图像156、后方通知图像158、右后方通知图像160同样地针对前方传感器112、右前方传感器122、左后方传感器124、后方传感器116、右后方传感器126示出。这里，作为一个例子，左前方通知图像150表示“无台阶”，前方通知图像152表示“有台阶”，右前方通知图像154至右后方通知图像160表示“峭壁”。在车辆100向前移动的情况下，如果用于检测后方的左后方传感器124、后方传感器116、右后方传感器126不动作，则左后方通知图像156至右后方通知图像160也表示“峭壁”。
图14示出了由影像处理部40生成的又另一个俯瞰影像78。例如，在车辆100的速度变为时速4～5km以下的情况下，在俯瞰影像78中配置左侧方通知图像162、右侧方通知图像164而代替图13的左前方通知图像150等。这里，左侧方通知图像162配置在自己车辆图标80的左方，右侧方通知图像164配置在自己车辆图标80的右方。左侧方通知图像162是用于表示左侧方传感器114的检测结果是“无台阶”、“有台阶”以及“峭壁”中的哪一个的图像。右侧方通知图像164同样地针对右侧方传感器118示出。这里，作为一个例子，左侧方通知图像162表示“峭壁”，右侧方通知图像164表示“有台阶”。
图15示出了由影像处理部40生成的又另一个俯瞰影像78。这相当于示出左前方通知图像150至右后方通知图像160、左侧方通知图像162、右侧方通知图像164的情况。这在与图13相同的状况下显示。
图16(a)～(b)示出了由影像处理部40生成的图像。到目前为止，影像处理部40将表示需要注意的路面形状的图像叠加在俯瞰影像78上。另一方面，这里，表示需要注意的路面形状的图像叠加在由拍摄部10拍摄的影像上。在图16(a)中，左前方通知图像150、前方通知图像152和右前方通知图像154被配置在由前方拍摄部12拍摄的前方影像170上。左前方通知图像150、前方通知图像152和右前方通知图像154与之前相同。在图16(b)中，后方通知图像158被配置在由后方拍摄部16拍摄的后方影像172上。后方通知图像158与之前相同。
该构成在硬件上能够通过任意的计算机的CPU、存储器和其他LSI实现，在软件上能够通过被加载到存储器中的程序等来实现，这里，描述通过它们的协作实现的功能块。因此，本领域技术人员能够理解，这些功能块能够仅通过硬件、仅通过软件或者通过它们的组合以各种形式来实现。
说明基于以上构成的车辆用显示装置30的动作。图17是示出了车辆用显示装置30的显示顺序的流程图。生成部34生成俯瞰影像78(S10)。当以比预定速度低的速度行驶或停止时(S12的“是”)，路面形状获取部46获取路面形状(S14)。当存在需要注意的路面形状时(S16的“是”)，影像处理部40将图像叠加在俯瞰影像78上(S18)。显示部50显示俯瞰影像78(S20)。当没有以低于预定速度的速度行驶或停止时(S12的“否”)或者当不存在需要注意的路面形状时(S16的“否”)，处理跳到步骤20。
根据本实施例，在判断为存在需要注意的路面形状的情况下，将表示需要注意的路面形状的图像叠加在俯瞰影像上，因此能够通知需要注意的路面形状。此外，由于被通知需要注意的路面形状，因此在俯瞰影像中也能够掌握有无台阶。此外，在可获取路面形状的范围中，通过获取从车辆的车身到路面的距离来获取路面形状，因此能够利用由传感器测量出的距离。
另外，在获取的行驶状况为以比预定速度低的速度行驶或停止的情况下，获取车辆周边的路面形状，因此能够通知距车辆较近距离的台阶或峭壁。另外，作为需要注意的路面形状，判断是否存在所述车辆难以行驶的有高低差的路面形状，因此能够检测出在俯瞰影像中难以示出的台阶。此外，由于判断是否存在离开车辆时变低的台阶形状，因此能够通知在俯瞰影像中难以特别示出的台阶的存在。
(实施例2)
接下来，说明实施例2。实施例2与实施例1同样地，涉及一种用于显示示出有无台阶的俯瞰影像的车辆用显示装置。在实施例2中，尤其是，将存在车门打开时需要注意的有高低差的路面形状的情况作为说明的对象。实施例2涉及的车辆100是与图1和图2相同的类型。这里，主要说明与前一个不同之处。
图18示出了实施例2涉及的车辆用显示装置30的构成。在车辆用显示装置30中，向图3的车辆用显示装置30追加就座信息获取部52。就座信息获取部52被连接到分别配置在车辆100中的多个座席上的就座传感器(未示出)，并接收来自各就座传感器的检测结果。就座传感器使用公知的技术即可。来自就座传感器的检测结果表示司乘人员是否坐在了座席上，可称为有无就座信息。根据这样的有无就座信息，就座信息获取部52确定司乘人员就座的座席。就座信息获取部52将与司乘人员就座的座席有关的信息输出到路面形状判断部48。
与之前所述相同地，路面形状获取部46通过分析来自传感器110的检测结果来获取表示车辆100周围的路面形状的数据。但是，作为说明的前提的路面形状与之前不同。图19示出了路面形状获取部46中的处理概要。这里，存在从路面90高出“h”的高台阶部96。另外，车门打开或关闭时的下端线132表示当车辆100的车门打开或关闭时车门的下端通过的线。
如图所示，分别示出了到点P1的距离L1”’、到点P2的距离L2”’、到点P3的距离L3”’、到点P4的距离L4”’。因此，表示路面形状的数据包含点P1和距离L1”’的组合、点P2和距离L2”’的组合、点P3和距离L3”’的组合、点P4和距离L4”’的组合。利用这样的数据，示出了如图19所示的路面形状。返回到图18。路面形状获取部46在获取到表示路面形状的数据时，将表示路面形状的数据输出到路面形状判断部48。
路面形状判断部48从路面形状获取部46输入表示路面形状的数据。此外，路面形状判断部48从就座信息获取部52输入与司乘人员就座的座席有关的信息。路面形状判断部48基于在从路面形状获取部46输入的数据表示的路面形状判断作为需要注意的路面形状是否存在车辆100的车门打开动作困难的有高低差的路面形状。尤其是，路面形状判断部48判断是否存在车辆100的车门中的就座信息获取部52获取的座席的车门的打开动作困难的有高低差的路面形状。与之前同样地，为了判断是否存在需要注意的路面形状，路面形状判断部48将路面形状中需要注意的路面形状的基准图案作为表格而存储。
图20示出了在路面形状判断部48中存储的表格的数据结构。当路面形状为向上台阶时，高度h被用作参数。另外，根据参数的值，规定“安全”、“注意开门”、“不可开门”。这里，接近相对于成人(例如体重70至100kg)就座于与车门对应的座席时的离地高度的车门开闭时的下端线132减去左右的值的情况相当于“注意开门”。返回到图18。
路面形状判断部48参照图20所示的表格并基于从路面形状获取部46输入的数据表示的路面形状，对于接近司乘人员就座的座席的车门确定“安全”、“注意开门”、“不可开门”中的某一个。路面形状判断部48将确定“安全”、“注意开门”、“不可开门”中的某一个的信息(以下称为“确定结果”)和车门信息输出到影像处理部40。
影像处理部40从生成部34输入俯瞰影像78，并且从路面形状判断部48输入确定结果和车门信息。在确定结果为“注意开门”或“不可开门”，的情况下，即在判断为存在需要注意的路面形状的情况下，影像处理部40将表示需要注意的路面形状的图像叠加在俯瞰影像78上。图21示出了由影像处理部40生成的俯瞰影像78。这相当于确定结果为“注意开门”并且在确定的车门信息中示出了车辆100的右侧车门的情况。影像处理部40生成应该表示在俯瞰影像78中的与自己车辆图标80的右侧的车门重叠的区域中的注意开门通知图像86。注意开门通知图像86是用于通知“注意开门”的图像。影像处理部40在俯瞰影像78中的自己车辆图标80的右侧的车门上叠加注意开门通知图像86。此外，在车门信息中示出了右侧且前侧的车门的情况下，影像处理部40仅在自己车辆图标80的右侧且前侧的车门上叠加注意开门通知图像86。
图22示出了由影像处理部40生成的另一个俯瞰影像78。这相当于确定结果是“不可开门”的情况。影像处理部40生成应该表示在俯瞰影像78中的与自己车辆图标80的右侧的车门重叠的区域中的不可开门通知图像88。不可开门通知图像88是用于通知“不可开门”的图像。影像处理部40在俯瞰影像78中的自己车辆图标80的右侧的车门上叠加不可开门通知图像88。此外，在车门信息中示出了右侧且前侧的车门的情况下，影像处理部40仅在自己车辆图标80的右侧且前侧的车门上叠加不可开门通知图像88。返回到图18。影像处理部40将叠加了注意开门通知图像86或不可开门通知图像88的俯瞰影像78或者未叠加注意开门通知图像86和不可开门通知图像88的俯瞰影像78输出到显示控制部42。
根据本实施例，由于判断是否存在车辆车门的打开动作困难的有高低差的路面形状，因此能够通知在俯瞰影像中难以示出的路面形状。另外，由于车辆车门的打开动作困难的有高低差的路面形状作为图像叠加，因此能够降低车门撞击台阶的可能性。此外，由于判断是否存在就座的车门的打开动作困难的有高低差的路面形状，因此能够针对被打开的可能性高的车门显示图像。此外，由于针对被打开的可能性高的车门显示图像，因此能够抑制在俯瞰影像上叠加的图像的面积过大的情况的发生。
(实施例3)
在对于实施例3的背景技术中，当在自己车辆的挡风玻璃上显示用于提醒注意存在于车辆周边的其他车辆的显示图像时，自己车辆的驾驶员容易识别存在于周围的物体。在被显示在挡风玻璃上的显示图像和人行横道的白线重叠的情况下，由白线显示的人行横道由于光的反射其亮度变高，因此即使在那里显示显示图像，驾驶员也难以看到显示图像。因此，当显示图像的显示区域和高亮度区域的观看区域重叠时，显示区域被改变。通过设置在车辆四周的拍摄部拍摄的影像以从车辆的上方俯视的方式进行视点转换处理来生成俯瞰影像。在显示俯瞰影像的情况下，希望提醒驾驶员路面状况差的部分。本实施例是鉴于这种情况而提出的，其目的在于提供一种即使在俯瞰影像中也能掌握路面状况的技术。
实施例3涉及一种车辆用显示装置，通过对由设置于车辆中的多个拍摄部拍摄的图像进行视点转换来生成俯瞰影像，并显示所生成的俯瞰影像。通过使用俯瞰影像，驾驶员容易掌握车辆周围的状况。因此，当使车辆停止时，容易防止与周围障碍物接触。另一方面，在车辆周围的状况中，除了周围存在障碍物，还包括路面状况。例如，在路面状况中表示路面是干的还是潮湿的。在此，当在车门打开的位置存在水坑时，可能会弄湿下车的驾驶员的鞋子和衣服。因此，希望驾驶员等注意路面状况。
为了应对这个问题，本实施例涉及的车辆用显示装置执行以下处理。多个超声波传感器设置在车辆中。在超声波传感器中，发射器向路面发射超声波，并且其反射波由接收器接收。这里，路面潮湿时的反射波的强度比路面干时的反射波的强度小。因此，车辆用显示装置通过测量反射波的强度来判断路面是干的还是潮湿的，并将对应于判断结果的图像叠加显示在俯瞰影像上。
示出实施例3涉及的车辆100的周边形成的拍摄范围的立体图与图1相同。搭载在车辆100上的传感器与图2相同。另外，不包括前方传感器112和后方传感器116。
图23示出了搭载在车辆100上的车辆用显示装置30的构成。车辆用显示装置30连接到拍摄部10、显示部50和传感器110。拍摄部10包括前方拍摄部12、左侧方拍摄部14、后方拍摄部16、以及右侧方拍摄部18，传感器110包括左侧方传感器114、右侧方传感器118、左前方传感器120、右前方传感器122、左后方传感器124和右后方传感器126。车辆用显示装置30包括影像获取部32、生成部34、影像处理部40、显示控制部42、路面状况获取部60、路面状况判断部62、以及停止判断部64。此外，路面状况判断部62包括位置关系判断部66。
如上所述，前方拍摄部12、左侧方拍摄部14、后方拍摄部16和右侧方拍摄部18拍摄影像。前方拍摄部12、左侧方拍摄部14、后方拍摄部16以及右侧方拍摄部18将影像输出到影像获取部32。影像获取部32分别从前方拍摄部12、左侧方拍摄部14、后方拍摄部16和右侧方拍摄部18获取影像。即，影像获取部32获取拍摄车辆100的周边而得到的影像。影像获取部32将获取的影像输出到生成部34。
生成部34输入来自影像获取部32的影像。生成部34通过对影像以从车辆100的上方观看的方式进行视点转换处理来生成俯瞰影像。对于该转换，使用公知的技术即可，例如在虚拟的三维空间中的立体曲面上投影影像的各像素，并且根据来自车辆100的上方的虚拟视点，切出立体曲面的必要区域。切出区域相当于转换视点而获得的影像。与图4同样地示出由生成部34生成的俯瞰影像78。生成部34将俯瞰影像78输出到影像处理部40。
左侧方传感器114、右侧方传感器118、左前方传感器120、右前方传感器122、左后方传感器124和右后方传感器126被统一为传感器110。例如，使用超声波的传感器等现有技术能够应用于传感器110。当超声波被用于传感器110时，传感器110的发射器发射超声波至预定范围，并且来自预定范围的反射波被传感器110的接收器接收。传感器110测量所接收的反射波的强度。使用公知的技术来测量强度即可，因此这里将省略说明。
图24示出了左前方传感器120的配置。左前方传感器120用于检测行进方向上是否存在水坑等。左前方传感器120配置在距路面90的高度A1的位置，并且主要检测从车辆100距离“B1”的地点。例如，左前方传感器120配置在靠近车辆100的前端的左侧部处的发动机罩的位置处。此外，“B1”设定为2m。图2的右前方传感器122、左后方传感器124和右后方传感器126也同样配置。
图25示出了左侧方传感器114的配置。左侧方传感器114用于检测在车辆100的司乘人员从车辆100的左侧下车的位置处是否存在水坑等。左侧方传感器114配置在距路面90的高度“A2”处，并且主要检测从车辆100距离“B2”的地点。例如，左侧方传感器114被配置在车门上或后视镜处。并且，“B2”设定为10cm。返回到图23。传感器110将测量的强度输出到路面状况获取部60。
路面状况获取部60在获取与路面有关的信息的路面信息获取部中执行获取路面状况的功能。路面状况获取部60从传感器110输入强度信息。强度信息相当于路面90上的超声波反射状态。此外，如上所述，在强度大时路面90是干的，在强度小时路面90是潮湿的，因此强度信息也可说成是在车辆100的周边的路面状况。路面状况获取部60将来自传感器110的强度信息输出至路面状况判断部62。
路面状况判断部62基于与路面有关的信息在判断是否存在需要注意的路面的路面判断部中执行是否存在需要注意的路面状况的判断。路面状况判断部62从路面状况获取部60输入强度信息。路面状况判断部62基于强度信息判断路面90是否潮湿。更具体地说，路面状况判断部62预先保持阈值并将强度与阈值进行比较。当强度大于阈值时，路面状况判断部62判断为路面90是干的。另一方面，当强度为阈值以下时，路面状况判断部62判断为路面90是潮湿的。这是基于当使用超声波传感器作为传感器110时潮湿路面90上的反射比在干路面90上的反射弱的处理。此外，潮湿路面90包括水坑和结冰。这里，路面90潮湿相当于存在需要注意的路面状况。因此，路面状况判断部62可以说是基于路面状况、即超声波反射状态来判断是否存在需要注意的路面状况。
当路面状况判断部62判断为存在潮湿的路面90时，位置关系判断部66基于潮湿的路面90的位置与车辆100的车门之间的位置关系来判断潮湿的路面90的位置是否存在于车辆100的车门附近。左侧方传感器114和右侧方传感器118被配置在车门附近，左前方传感器120、右前方传感器122、左后方传感器124、右后方传感器126不配置在车门附近。因此，位置关系判断部66当对于左侧方传感器114或右侧方传感器118的强度被判断为存在潮湿的路面90时，判断为潮湿的路面90的位置存在于车辆100的车门附近。另一方面，位置关系判断部66当对于左前方传感器120至右后方传感器126中的任一者的强度被判断为存在潮湿的路面90时，判断为潮湿的路面90的位置不存在于车辆100的车门附近。路面状况判断部62和位置关系判断部66将判断结果输出到影像处理部40。
停止判断部64经由CAN(Controller Area Network：控制区域网络)从ECU(Electronic Control Unit：电子控制单元)获得关于行驶状况的信息。关于行驶状况的信息例如是车辆100的行驶速度的信息。停止判断部64基于关于行驶状况的信息将车辆停止的情况或者车辆的速度小于预定速度的情况判断为车辆的停止状态。这里，预定速度被设定为例如10km/h。停止判断部64将判断结果输出到影像处理部40。
影像处理部40输入分别来自路面状况判断部62、位置关系判断部66和停止判断部64的判断结果。在停止判断部64判断出车辆100的停止状态且路面状况判断部62判断为存在潮湿的路面90的情况下，影像处理部40将表示需要注意的路面状况的图像叠加在俯瞰影像78上。尤其是，在位置关系判断部66判断为潮湿的路面90的位置存在于车辆100的车门附近的情况下，影像处理部40将表示需要注意的路面状况的图像叠加在俯瞰影像78中的自己车辆图标80的车辆100的车门位置。
图26示出在影像处理部40中生成的俯瞰影像78。这是在判断为潮湿的路面90的位置不存在于车辆100的车门附近、且对于左前方传感器120的强度被判断为存在潮湿的路面90时的俯瞰影像78。在俯瞰影像78中示出了左前方通知图像150、右前方通知图像154、左后方通知图像156以及右后方通知图像160。在此，左前方通知图像150、右前方通知图像154被配置在自己车辆图标80的前方，左后方通知图像156和右后方通知图像160被配置在自己车辆图标80的后方。
左前方通知图像150是对于左前方传感器120的强度表示“存在潮湿的路面90”或“存在干的路面90”的图像。当“存在潮湿的路面90”时，左前方通知图像150由“白色纯色”表示，当“存在干的路面90”时，左前方通知图像150由“阴影图案”表示。这里作为一个例子是前者。其中的以“白色纯色”所示的情况下的左前方通知图像150相当于表示上述需要注意的路面状况的图像。
右前方通知图像154、左后方通知图像156和右后方通知图像160同样地针对右前方传感器122、左后方传感器124和右后方传感器126示出。作为一个例子，这些由“阴影图案”表示，因此相当于“存在干的路面90”的情况。此外，当车辆100向前移动时，左后方通知图像156和右后方通知图像160的显示是不需要的，因此左后方通知图像156和右后方通知图像160也可不管路面状况如何均以“阴影图案”表示。另一方面，当车辆100向后移动时，左前方通知图像150和右前方通知图像154的显示是不需要的，因此左前方通知图像150和右前方通知图像154也可不管路面状况如何均以“阴影图案”表示。
图27示出了由影像处理部40生成的另一个俯瞰影像78。这是被判断为潮湿的路面90的位置存在于车辆100的车门附近时的俯瞰影像78。在俯瞰影像78中代替图26的左前方通知图像150等而配置左侧方通知图像162和右侧方通知图像164。这里，左侧方通知图像162被配置在自己车辆图标80的左方，右侧方通知图像164被配置在自己车辆图标80的右方。右侧方通知图像164是对于右侧方传感器118的强度示出“存在潮湿的路面90”或者“存在干的路面90”的图像。当“存在潮湿的路面90”时，右侧方通知图像164以“白色纯色”表示，当“存在干的路面90”时，右侧方通知图像164以“阴影图案”表示。
这里作为一个例子是前者。其中的以“白色纯色”所示的情况下的右侧方通知图像164相当于表示上述需要注意的路面状况的图像。左侧方通知图像162同样地针对左侧方传感器114示出。作为一个例子，左侧方通知图像162以“阴影图案”表示，所以相当于“存在干的路面90”的情况。此外，由于在下车时需要显示左侧方通知图像162和右侧方通知图像164，所以当车辆100的速度变为低速以下时，也可开始显示左侧方通知图像162和右侧方通知图像164。
图28示出了由影像处理部40生成的又另一个俯瞰影像78。这相当于示出左前方通知图像150至右后方通知图像160、左侧方通知图像162和右侧方通知图像164的情况。此外，当车辆100的速度变得比低速快时，左侧方传感器114和右侧方传感器118的倾斜角度被改变为与左前方传感器120等的倾斜角度相同。
到目前为止，影像处理部40将表示需要注意的路面状况的图像叠加在俯瞰影像78上。另一方面，表示需要注意的路面状况的图像也可叠加在由拍摄部10拍摄的影像上。图29示出了由影像处理部40生成的影像。这里，由前方拍摄部12拍摄的前方影像170中配置左前方通知图像150和右前方通知图像154。左前方通知图像150和右前方通知图像154与之前相同。返回到图23。
显示控制部42输入来自影像处理部40的俯瞰影像78。显示控制部42通过执行显示俯瞰影像78的处理，将俯瞰影像78显示在显示部50上。显示部50例如是显示面板。在显示部50上显示图26至图29中的任一个所示的俯瞰影像78。
该构成在硬件上能够通过任意的计算机的CPU、存储器和其他LSI实现，在软件上能够通过被加载到存储器中的程序等来实现，这里，描述通过它们的协作实现的功能块。因此，本领域技术人员能够理解，这些功能块能够仅通过硬件、仅通过软件或者通过它们的组合以各种形式来实现。
说明基于以上构成的车辆用显示装置30的动作。图30是示出了车辆用显示装置30的显示顺序的流程图。生成部34生成俯瞰影像78(S110)。路面状况获取部60获取路面状况(S112)。在存在需要注意的路面状况的情况下(S114的“是”)，如果停止判断部64判断停止状态(S116的“是”)，则影像处理部40将图像叠加到俯瞰影像78(S118)。当不存在需要注意的路面状况(S114的“否”)时，或者当停止判断部64不判断停止状态时(S116的“否”)，跳过步骤118。显示部50显示俯瞰影像78(S120)。
根据本实施例，当判断为存在需要注意的路面状况时，将表示需要注意的路面状况的图像叠加在俯瞰影像上，因此能够通知需要注意的路面状况。此外，由于被通知需要注意的路面状况，因此在俯瞰影像中也能够掌握路面是否潮湿。此外，当判断为停止状态且判断为存在需要注意的路面状况时，将表示需要注意的路面状况的图像叠加在俯瞰影像上，因此对于想要下车的驾驶员等在俯瞰影像中也能掌握路面状况。
此外，当判断为需要注意的路面状况的位置存在于车门附近时，将图像叠加在俯瞰影像中的自己车辆图标的车门位置，因此对于想要下车的驾驶员等在俯瞰影像中也能掌握路面状况。另外，基于路面中的超声波反射状态来判断路面是否潮湿，因此能够确定路面状况。另外，由于将对发射的超声波的反射波的强度与阈值进行比较，因此能够判断路面是否潮湿。
(实施例4)
接下来，说明实施例4。实施例4与实施例3同样地，涉及显示表示路面状况的俯瞰影像的车辆用显示装置。在实施例4中，尤其是，将存在车门打开时需要注意的路面状况的情况作为说明的对象。实施例4涉及的车辆100是与图1和图2同样的类型。这里，主要说明与前一个不同之处。
图31示出了实施例4涉及的车辆用显示装置30的构成。在车辆用显示装置30中，就座信息获取部52被添加到图23的车辆用显示装置30。就座信息获取部52被连接到分别配置在车辆100中的多个座席上的就座传感器(未示出)，接收来自各就座传感器的检测结果。已知的技术能够用于就座传感器。来自就座传感器的检测结果表示司乘人员是否坐在座席上，可说成有无就座信息。根据该有无就座信息，就座信息获取部52确定司乘人员就座的座席。就座信息获取部52将与司乘人员就座的座席有关的信息输出到影像处理部40。
影像处理部40从就座信息获取部52输入与司乘人员就座的座席有关的信息。影像处理部40基于信息来确定车辆100的车门中的对应于就座的座席的车门。此外，影像处理部40将表示需要注意的路面状况的图像叠加到确定的车门位置。例如，当确定的车门位置是车辆100的右侧的车门时，影像处理部40仅显示右侧方通知图像164，不显示左侧方通知图像162。此外，如上所述，当右侧方通知图像164由“白色纯色”表示时，能够说成为叠加了表示需要注意的路面状况的图像。另一方面，当确定的车门位置是车辆100的左侧的车门时，进行同样的处理。
根据本实施例，由于将图像叠加在与就座的座席相对应的车门位置上，所以能够对于后者使用的可能性高的车门显示图像。并且，由于对后者使用的可能性高的车门显示图像，因此能够引起注意。
上面基于实施例描述了本发明。本领域的技术人员应该理解，该实施例是一个例子，并且对于它们的各构成要素和各个处理过程的组合能够进行各种变形，并且这样的变形也包含在本发明的范围内。
实施例1至4的任何组合也是有效的。根据本变形例，能够获得通过任意地组合实施例1至4而获得的效果。
在本实施例3、4中，路面状况获取部60使用传感器110来获取作为路面状况的路面90上的超声波反射状态。然而不限于此，例如路面状况获取部60也可以使用由生成部34生成的俯瞰影像78来获取作为路面状况的俯瞰影像78中的浓淡的变化状态。此时，路面状况判断部62基于由路面状况获取部60获取的浓淡的变化状态来判断路面90是否潮湿。例如，路面状况判断部62在对于每个相邻的像素导出浓淡的变化，当浓淡的变化大于阈值时，判断为该部分是水坑等的边界。根据本变形例，能够确定水坑等的形状。
此外，路面状况获取部60也可使用传感器110来获取作为路面状况的路面90上的超声波反射状态，并且使用由生成部34生成的俯瞰影像78来获取作为路面状况的俯瞰影像78中的浓淡的变化状态。在这种情况下，路面状况判断部62基于超声波反射状态来检测出路面90潮湿的部分之后，以检测出的部分为中心，基于浓淡的变化状态来检测水坑等的边界。根据本变形例，能够有效地确定水坑等的形状。
在本实施例3、4中，显示控制部42使显示单元50显示叠加了表示需要注意的路面状况的图像的俯瞰影像78。然而，不限于此，例如LED(Light Emitting Diode：发光二极管)设置在门把手附近，显示控制部42也可以与画面相同的颜色显示LED。当检测到需要注意的路面状况时，门锁不能解除或者车门可被强制锁定。也可告诉想要下车的人们车门附近有糟糕的路。根据本变形例，能够通知需要注意的路面状况。
符号说明
10拍摄部，12前方拍摄部，14左侧方拍摄部，16后方拍摄部，18右侧方拍摄部，30车辆用显示装置，32影像获取部，34生成部，40影像处理部，42显示控制部，44行驶状况获取部，46路面形状获取部，48路面形状判断部，50显示部，100车辆，110传感器，112前方传感器，114左侧方传感器，116后方传感器，118右侧方传感器，120左前方传感器，122右前方传感器，124左后方传感器，126右后方传感器。
产业上的可利用性
根据本发明，还能够掌握俯瞰影像中是否存在台阶。

Claims (15)

1.一种车辆用显示装置，其特征在于，包括：
影像获取部，其获取拍摄车辆周边而得到的影像；
生成部，其通过对所述影像获取部获取的影像以从所述车辆的上方观看的方式转换视点来生成俯瞰影像；
路面信息获取部，其获取与所述车辆周边的路面有关的信息；
路面判断部，其基于所述路面信息获取部获取的与路面有关的信息来判断是否存在需要注意的路面；
影像处理部，当由所述路面判断部判断为存在需要注意的路面时，其将表示需要注意的路面的图像叠加在俯瞰影像上；以及
显示控制部，其将在所述影像处理部中叠加了图像的俯瞰影像显示在显示部。
2.如权利要求1所述的车辆用显示装置，其特征在于，
所述路面信息获取部获取路面形状作为与所述车辆周边的路面有关的信息，
所述路面判断部基于所述路面信息获取部获取的路面形状来判断是否存在需要注意的路面形状，
当由所述路面判断部判断为存在需要注意的路面形状时，所述影像处理部将表示需要注意的路面形状的图像叠加在俯瞰影像上。
3.如权利要求2所述的车辆用显示装置，其特征在于，
所述路面信息获取部通过在能够获取路面形状的范围内获取从所述车辆的车身到路面的距离来获取路面形状。
4.如权利要求2或3所述的车辆用显示装置，其特征在于，
还包括行驶状况获取部，其获取所述车辆的行驶状况，
当由所述行驶状况获取部获取的行驶状况是以低于预定速度的速度行驶或者停止时，所述路面信息获取部获取对于所述车辆周边的路面形状。
5.如权利要求2至4中任一项所述的车辆用显示装置，其特征在于，
所述路面判断部判断作为所述需要注意的路面形状是否存在使得所述车辆难以行驶的有高低差的路面形状。
6.如权利要求5所述的车辆用显示装置，其特征在于，
所述路面判断部判断作为所述车辆难以行驶的有高低差的路面形状是否存在离开所述车辆时变低的台阶形状。
7.如权利要求2至4中任一项所述的车辆用显示装置，其特征在于，
所述路面判断部判断作为所述需要注意的路面形状是否存在使得所述车辆的车门的打开动作困难的有高低差的路面形状。
8.如权利要求7所述的车辆用显示装置，其特征在于，
还包括就座信息获取部，其获取对于所述车辆中的多个座席的有无就座信息，
所述路面判断部判断是否存在使得车门的打开动作困难的有高低差的路面形状，所述车门是所述车辆的车门中的所述就座信息获取部获取的就座的车门。
9.如权利要求1所述的车辆用显示装置，其特征在于，
所述路面信息获取部获取路面状况作为与所述车辆周边的路面有关的信息，
所述路面判断部基于所述路面信息获取部获取的路面状况来判断是否存在需要注意的路面状况，
所述车辆用显示装置还包括停止判断部，其将所述车辆停止的情况或者所述车辆的速度小于预定速度的情况判断为所述车辆的停止状态，
当由所述停止判断部判断出所述车辆处于停止状态且由路面判断部判断为存在需要注意的路面状况时，所述影像处理部将表示需要注意的路面状况的图像叠加在俯瞰影像上。
10.如权利要求9所述的车辆用显示装置，其特征在于，
还包括位置关系判断部，当由所述路面判断部判断为存在需要注意的路面状况时，其基于需要注意的路面状况的位置与所述车辆的车门的位置关系来判断需要注意的路面状况的位置是否存在于所述车辆的车门附近，
所述生成部将表示所述车辆的位置的自己车辆图标附加到俯瞰影像中，
当由所述位置关系判断部判断为需要注意的路面状况的位置存在于所述车辆的车门附近时，所述影像处理部将表示需要注意的路面状况的图像叠加在俯瞰影像中的所述自己车辆图标中的所述车辆的车门位置。
11.如权利要求9或10所述的车辆用显示装置，其特征在于，
所述路面信息获取部获取路面上的超声波反射状态作为路面状况，
所述路面判断部基于所述路面信息获取部获取的路面的超声波反射状态来判断路面是否潮湿。
12.如权利要求9至11中任一项所述的车辆用显示装置，其特征在于，
所述路面信息获取部获取俯瞰影像中的浓淡的变化状态作为路面状况，
所述路面判断部基于所述路面信息获取部获取的浓淡的变化状态来判断路面是否潮湿。
13.如权利要求9至12中任一项所述的车辆用显示装置，其特征在于，
还包括就座信息获取部，其获取对于所述车辆中的多个座席的有无就座信息，
所述影像处理部将表示需要注意的路面状况的图像叠加在所述车辆的车门中与就座的座席对应的车门的位置。
14.一种车辆用显示方法，其特征在于，包括以下步骤：
获取拍摄车辆周边而得到的影像；
通过对获取的影像以从所述车辆的上方观看的方式转换视点来生成俯瞰影像；
获取与所述车辆周边的路面有关的信息；
基于获取的与路面有关的信息状态来判断是否存在需要注意的路面；
当判断为存在需要注意的路面时，将表示需要注意的路面的图像叠加在俯瞰影像上；以及
将叠加了图像的俯瞰影像显示在显示部。
15.一种程序，用于使计算机执行以下步骤：
获取拍摄车辆周边而得到的影像；
通过对获取的影像以从所述车辆的上方观看的方式转换视点来生成俯瞰影像；
获取与所述车辆周边的路面有关的信息；
基于获取的与路面有关的信息来判断是否存在需要注意的路面；
当判断为存在需要注意的路面时，将表示需要注意的路面的图像叠加在俯瞰影像上；以及
将叠加了图像的俯瞰影像显示在显示部。
CN201780004888.8A 2016-05-10 2017-01-17 车辆用显示装置、车辆用显示方法以及程序 Pending CN108432242A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016-094626 2016-05-10
JP2016094626A JP6720683B2 (ja) 2016-05-10 2016-05-10 車両用表示装置および車両用表示方法
JP2016-127890 2016-06-28
JP2016127890A JP6593258B2 (ja) 2016-06-28 2016-06-28 車両用表示装置および車両用表示方法およびプログラム
PCT/JP2017/001313 WO2017195403A1 (ja) 2016-05-10 2017-01-17 車両用表示装置および車両用表示方法およびプログラム

Publications (1)

Publication Number Publication Date
CN108432242A true CN108432242A (zh) 2018-08-21

Family

ID=60267697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780004888.8A Pending CN108432242A (zh) 2016-05-10 2017-01-17 车辆用显示装置、车辆用显示方法以及程序

Country Status (3)

Country Link
US (1) US10703271B2 (zh)
CN (1) CN108432242A (zh)
WO (1) WO2017195403A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112238811A (zh) * 2019-07-16 2021-01-19 爱信精机株式会社 车辆周边显示装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108885436B (zh) * 2016-01-15 2021-12-14 美国iRobot公司 自主监视机器人系统
DE102018206722A1 (de) * 2018-05-02 2019-11-07 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben von Ultraschallsensoren eines Fahrzeugs
MX2021010270A (es) * 2019-02-25 2021-12-10 Deka Products Lp Sistema y método para detección y recorrido de rasgo de superficie.

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1865849A (zh) * 2005-05-20 2006-11-22 日产自动车株式会社 影像显示装置及影像显示方法
CN101616832A (zh) * 2007-02-20 2009-12-30 丰田自动车株式会社 车辆行驶辅助装置以及车辆行驶辅助方法
US20100220190A1 (en) * 2009-02-27 2010-09-02 Hyundai Motor Japan R&D Center, Inc. Apparatus and method for displaying bird's eye view image of around vehicle
CN102812704A (zh) * 2010-03-26 2012-12-05 爱信精机株式会社 车辆周边监视装置
WO2013018173A1 (ja) * 2011-07-29 2013-02-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN105073545A (zh) * 2013-01-14 2015-11-18 罗伯特·博世有限公司 用于在不平的地形上行驶时支持车辆的驾驶员的方法和设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2945230B2 (ja) * 1993-02-25 1999-09-06 三菱電機株式会社 路面状態検知装置
JP4175087B2 (ja) * 2002-10-31 2008-11-05 日産自動車株式会社 車両用外界認識装置
JP2005001570A (ja) 2003-06-12 2005-01-06 Equos Research Co Ltd 駐車支援装置
US20060269105A1 (en) * 2005-05-24 2006-11-30 Langlinais Ashton L Methods, Apparatus and Products for Image Capture
JP2008249634A (ja) * 2007-03-30 2008-10-16 Aisin Aw Co Ltd 対象物検出装置
JP2009049943A (ja) * 2007-08-22 2009-03-05 Alpine Electronics Inc 距離画像によるトップビュー表示装置
JP4751455B2 (ja) * 2009-01-27 2011-08-17 本田技研工業株式会社 車両の駆動力制御装置
WO2010099416A1 (en) * 2009-02-27 2010-09-02 Magna Electronics Alert system for vehicle
CN103080990B (zh) * 2011-06-07 2015-04-01 株式会社小松制作所 作业车辆的周边监视装置
JP5682788B2 (ja) * 2011-09-27 2015-03-11 アイシン精機株式会社 車両周辺監視装置
US9267792B2 (en) * 2013-01-21 2016-02-23 Systèmes Pavemetrics Inc. Method and apparatus for compensating lateral displacements and low speed variations in the measure of a longitudinal profile of a surface
MY177486A (en) * 2013-04-18 2020-09-16 West Nippon Expressway Engineering Shikoku Company Ltd Device for inspecting shape of road travel surface
JP6380002B2 (ja) * 2014-10-28 2018-08-29 アイシン精機株式会社 周辺監視装置
US9836660B2 (en) * 2015-12-03 2017-12-05 GM Global Technology Operations LLC Vision-based wet road surface condition detection using tire tracks

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1865849A (zh) * 2005-05-20 2006-11-22 日产自动车株式会社 影像显示装置及影像显示方法
CN101616832A (zh) * 2007-02-20 2009-12-30 丰田自动车株式会社 车辆行驶辅助装置以及车辆行驶辅助方法
US20100220190A1 (en) * 2009-02-27 2010-09-02 Hyundai Motor Japan R&D Center, Inc. Apparatus and method for displaying bird's eye view image of around vehicle
CN102812704A (zh) * 2010-03-26 2012-12-05 爱信精机株式会社 车辆周边监视装置
WO2013018173A1 (ja) * 2011-07-29 2013-02-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN105073545A (zh) * 2013-01-14 2015-11-18 罗伯特·博世有限公司 用于在不平的地形上行驶时支持车辆的驾驶员的方法和设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112238811A (zh) * 2019-07-16 2021-01-19 爱信精机株式会社 车辆周边显示装置

Also Published As

Publication number Publication date
US10703271B2 (en) 2020-07-07
WO2017195403A1 (ja) 2017-11-16
US20180319337A1 (en) 2018-11-08

Similar Documents

Publication Publication Date Title
CN107031508B (zh) 用于车辆的后视系统及其使用方法
US10857944B2 (en) Periphery monitoring apparatus
US11447085B2 (en) 3D time of flight active reflecting sensing systems and methods
US9463741B2 (en) Vehicle peripheral obstacle notification system
CN104251993B (zh) 车辆周围监测装置
CN105403893B (zh) 障碍物检测系统及方法
US20220001800A1 (en) Vehicle hatch clearance determining system
US8379924B2 (en) Real time environment model generation system
JP2018195301A (ja) 制御装置及び制御方法
CN105128836B (zh) 自主紧急制动系统及其中识别行人的方法
US20190072666A1 (en) Vehicle radar sensing system with surface modeling
CN102476619B (zh) 用于检测机动车周围环境的方法
CN108432242A (zh) 车辆用显示装置、车辆用显示方法以及程序
CN108162760A (zh) 车辆和控制车辆以避免碰撞的方法
CN108271408A (zh) 使用被动和主动测量生成场景的三维地图
CN110300673A (zh) 车辆外围监视装置
CN103987575A (zh) 用于识别制动情况的方法和设备
CN106573588B (zh) 驾驶辅助装置、驾驶辅助方法和程序
EP3576973B1 (en) Method and system for alerting a truck driver
CN110383290A (zh) 用于确定车辆驾驶员注意力的装置，包括这种装置的车载系统以及相关方法
CN109703555A (zh) 用于探测道路交通中被遮蔽的对象的方法和设备
JP2007304033A (ja) 車両の周辺監視装置、車両、車両の周辺監視方法、および車両の周辺監視用プログラム
CN105539289A (zh) 一种基于四颗摄像头360度环视的停车开门预警方法
CN108151714A (zh) 具有运动检测能力的机动车系统
CN103377372B (zh) 一种环视合成图重叠区域划分方法和环视合成图表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180821