CN109076195B - 俯瞰影像生成装置、系统、方法以及存储介质 - Google Patents

俯瞰影像生成装置、系统、方法以及存储介质 Download PDF

Info

Publication number
CN109076195B
CN109076195B CN201780023741.3A CN201780023741A CN109076195B CN 109076195 B CN109076195 B CN 109076195B CN 201780023741 A CN201780023741 A CN 201780023741A CN 109076195 B CN109076195 B CN 109076195B
Authority
CN
China
Prior art keywords
obstacle
image
overhead image
overhead
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780023741.3A
Other languages
English (en)
Other versions
CN109076195A (zh
Inventor
里见恒夫
浅山学
森俊夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2016184461A external-priority patent/JP6644264B2/ja
Priority claimed from JP2017073368A external-priority patent/JP6730617B2/ja
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority claimed from PCT/JP2017/024558 external-priority patent/WO2018055873A1/ja
Publication of CN109076195A publication Critical patent/CN109076195A/zh
Application granted granted Critical
Publication of CN109076195B publication Critical patent/CN109076195B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Abstract

特征在于,具有:影像获取部(42),获取拍摄车辆的周边而得的周边影像;障碍物信息获取部(43),获取在所述车辆的周边检测出的障碍物的障碍物信息;影像生成部(46),从影像获取部(42)获取的周边影像生成以从上方向下观看所述车辆的方式进行了视点转换处理的俯瞰影像;重叠影像生成部(47),基于障碍物信息获取部(43)所获取的障碍物信息生成将表示障碍物的信息重叠在由俯瞰影像包围的中央部而得的俯瞰影像;以及显示控制部(48),使显示面板(31)显示重叠影像生成部(47)生成的俯瞰影像。

Description

俯瞰影像生成装置、系统、方法以及存储介质
技术领域
本发明涉及俯瞰影像生成装置、俯瞰影像生成系统、俯瞰影像生成方法以及存储介质。
背景技术
已知有涉及将车辆的俯瞰影像与车辆图像一起显示的车辆周边显示装置的技术(例如参照专利文献1)。
另外,显示车辆的俯瞰影像的导航装置等车载装置的显示面板大多是横向长形状。因此,纵向长形状的俯瞰影像无法被显示在显示面板的整个面上。因此,已知以下技术:在检测出靠近自身车辆的障碍物的情况下,并列显示车辆的俯瞰影像和拍摄了障碍物的方向的影像(例如参考专利文献2参照)。
在先技术文献
专利文献
专利文献1:日本专利文献特开2015-076645号公报;
专利文献2:日本专利文献特开2011-251681号公报。
发明内容
发明所要解决的问题
存在以下技术:为了更容易地确认车辆的周边,将在车辆的周边检测出的障碍物的障碍物信息重叠在俯瞰影像上来显示。然而,当使障碍物信息重叠在俯瞰影像上时,有可能阻碍映在俯瞰影像上的障碍物的可视性。
另外,在专利文献2记载的技术中,在检测出障碍物的情况下,驾驶员移动视线确认俯瞰影像与障碍物的检测方向的影像。
本发明是鉴于上述而完成的,其目的在于能够适当地确认车辆周边的障碍物。
用于解决问题的手段
为了解决上述的问题、实现目的,本发明涉及的俯瞰影像生成装置的特点在于,具有:影像获取部,获取拍摄车辆的周边而得的周边影像;障碍物信息获取部,获取障碍物信息,所述障碍物信息是在所述车辆的周边检测到的障碍物的信息;影像生成部,从所述影像获取部所获取的周边影像生成以从上往下看所述车辆的方式进行了视点转换处理的俯瞰影像,并生成在所述俯瞰影像的中央部合成所述障碍物信息获取部所获取的、表示障碍物的信息而得的俯瞰影像;以及显示控制部,使显示部显示所述影像生成部生成的俯瞰影像。
本发明涉及的俯瞰影像生成系统包括俯瞰影像生成装置;以及拍摄所述车辆的周边并向所述影像获取部提供周边影像的相机、在所述车辆的周边检测障碍物并向所述障碍物信息获取部提供障碍物信息的障碍物检测部、以及所述显示部中的至少一者。
本发明涉及的俯瞰影像生成方法包含:影像获取步骤,获取拍摄车辆的周边而得的周边影像;障碍物信息获取步骤,获取障碍物信息,所述障碍物信息是在所述车辆的周边检测到的障碍物的信息;影像生成步骤,从所述影像获取步骤所获取的周边影像生成以从上往下看所述车辆的方式进行了视点转换处理的俯瞰影像,并生成在所述俯瞰影像的中央部合成所述障碍物信息获取步骤所获取的、表示障碍物的信息而得的俯瞰影像;以及显示控制部步骤,使显示部显示在所述影像生成步骤中生成的俯瞰影像。
本发明涉及的存储介质,存储有用于使作为俯瞰影像生成装置而进行动作的计算机执行以下步骤的程序:影像获取步骤,获取拍摄车辆的周边而得的周边影像;障碍物信息获取步骤,获取障碍物信息,所述障碍物信息是在所述车辆的周边检测到的障碍物的信息;影像生成步骤,从在所述影像获取步骤获取的周边影像生成以从上往下看所述车辆的方式进行了视点转换处理的俯瞰影像,并生成在所述俯瞰影像的中央部合成所述障碍物信息获取步骤所获取的、表示障碍物的信息而得的俯瞰影像;以及显示控制部步骤,使显示部显示在所述影像生成步骤中生成的俯瞰影像。
发明的効果
根据本发明,起到能够适当地确认车辆周边的障碍物的效果。
附图说明
图1是示出第一实施方式涉及的俯瞰影像生成系统的构成例的框图;
图2是示出在第一实施方式涉及的俯瞰影像生成系统中生成的俯瞰影像以及障碍物通知图标的图;
图3是示出第一实施方式涉及的俯瞰影像生成系统的俯瞰影像生成装置中的处理的流程的流程图;
图4是示出由第一实施方式涉及的俯瞰影像生成系统生成的俯瞰影像的一例的图;
图5示出由第一实施方式涉及的俯瞰影像生成系统生成的俯瞰影像的其他的例子的图;
图6是示出第二实施方式涉及的俯瞰影像生成系统的俯瞰影像生成装置中处理的流程的流程图;
图7是示出由第二实施方式涉及的俯瞰影像生成系统生成的俯瞰影像的一例的图;
图8是示出第三实施方式涉及的俯瞰影像生成系统的俯瞰影像生成装置中的处理的流程的流程图;
图9是示出由第五实施方式涉及的俯瞰影像生成系统生成的俯瞰影像的一例的图;
图10是示出由第五实施方式涉及的俯瞰影像生成系统生成的俯瞰影像的其他的例子的图;
图11是示出由第五实施方式涉及的俯瞰影像生成系统生成的俯瞰影像的其他的例子的图;
图12是示出障碍物通知图标中的圆弧间的间隔以及距障碍物的距离之间的关系的一例的曲线图;
图13是示出由第六实施方式涉及的俯瞰影像生成系统生成的俯瞰影像的一例的图;
图14是示出由第六实施方式涉及的俯瞰影像生成系统生成的俯瞰影像的其他的例子的图;
图15是示出由第六实施方式涉及的俯瞰影像生成系统生成的俯瞰影像的其他的例子的图;
图16是示出第七实施方式涉及的俯瞰影像生成系统的构成例的框图;
图17是示出显示由第七实施方式涉及的俯瞰影像生成系统生成的俯瞰影像的显示面板的图;
图18是示出显示由第七实施方式涉及的俯瞰影像生成系统生成的、横向长形状的俯瞰影像的显示面板的图;
图19是说明第七实施方式涉及的俯瞰影像生成系统中的、横向长形状的俯瞰影像的生成方法的图;
图20是示出从图19的俯瞰影像生成的、成为横向长形状的俯瞰影像的一例的图;
图21是示出在第七实施方式涉及的俯瞰影像生成系统的俯瞰影像生成装置中的处理的流程的流程图;
图22是说明第八实施方式涉及的俯瞰影像生成系统中的、横向长形状的俯瞰影像的生成方法的图;
图23是示出从图22的俯瞰影像生成的、成为横向长形状的俯瞰影像的一例的图;
图24是说明第九实施方式涉及的俯瞰影像生成系统中的、横向长形状的俯瞰影像的生成方法的图;
图25是示出从图24的俯瞰影像生成的、成为横向长形状的俯瞰影像的一例的图;
图26试说明第十实施方式涉及的俯瞰影像生成系统中的、横向长形状的俯瞰影像的生成方法的图;
图27是示出从图26的俯瞰影像生成的、成为横向长形状的俯瞰影像的一例的图;
图28是说明第十一实施方式涉及的俯瞰影像生成系统中的、横向长形状的俯瞰影像的生成方法的图;
图29是示出从图28的俯瞰影像生成的、成为横向长形状的俯瞰影像的一例的图;
图30是说明俯瞰影像生成系统中的、横向长形状的俯瞰影像的生成方法的其他的例子的图;
图31是示出从图30的俯瞰影像生成的、成为横向长形状的俯瞰影像的一例的图。
具体实施方式
下面参照附图,详细地说明本发明涉及的俯瞰影像生成装置40、俯瞰影像生成系统1、俯瞰影像生成方法以及程序的实施方式。此外,并不是通过以下的实施方式限定本发明。
[第一实施方式]
图1是示出第一实施方式涉及的俯瞰影像生成系统的构成例的框图。俯瞰影像生成系统1生成车辆的俯瞰影像100(参照图2)。俯瞰影像生成装置40以及俯瞰影像生成系统1被搭载于车辆。俯瞰影像生成装置40以及俯瞰影像生成系统1除了被载置于车辆,也可以是能够以便携式的方式在车辆中使用的装置。
使用图1对俯瞰影像生成系统1进行说明。俯瞰影像生成系统1具有前方相机(相机)11、后方相机(相机)12、左侧相机(相机)13、右侧相机(相机)14、左前方传感器(障碍物检测部)21A、前方中央传感器(障碍物检测部)21B、右前方传感器(障碍物检测部)21C、左后方传感器(障碍物检测部)22A、后方中央传感器(障碍物检测部)22B、右后方传感器 (障碍物检测部)22C、显示面板31以及俯瞰影像生成装置40。
前方相机11被配置于车辆的前方,并对以车辆的前方为中心的周边进行拍摄。前方相机11将所拍摄的影像输出给俯瞰影像生成装置40的影像获取部42。
后方相机12被配置在车辆的后方,并对以车辆的后方为中心的周边进行拍摄。后方相机12将所拍摄的影像输出给俯瞰影像生成装置40的影像获取部42。
左侧相机13被配置于车辆的左侧,并对以车辆的左侧为中心的周边进行拍摄。左侧相机13将所拍摄的影像输出给俯瞰影像生成装置40的影像获取部42。
右侧相机14被配置于车辆的右侧,并对以车辆的右侧为中心的周边进行拍摄。右侧相机14将所拍摄的影像输出给俯瞰影像生成装置40的影像获取部42。
通过前方相机11、后方相机12、左侧相机13和右侧相机14对车辆的全部方位进行拍摄。
左前方传感器21A被配置于车辆的左前方侧,检测车辆的左前方侧的障碍物。左前方传感器21A例如是红外线传感器或者超声波传感器、毫米波雷达等,也可以由这些的组合构成。左前方传感器21A检测有可能与车辆接触的、距地面具有高度的物体。左前方传感器21A例如检测距车辆5m 左右的距离的障碍物。左前方传感器21A检测在铅垂方向看以传感器的中央部为中心的、例如40°左右的范围的障碍物。左前方传感器21A的检测范围可以与前方中央传感器21B的检测范围的一部分重叠。左前方传感器21A 将检测出的障碍物的障碍物信息输出给俯瞰影像生成装置40的障碍物信息获取部43。作为障碍物信息的例子,是左前方传感器21A的检测范围内有无障碍物、距障碍物的距离、在水平方向上的障碍物的存在范围等。
前方中央传感器21B被配置于车辆的前方中央,并检测车辆的前方中央的障碍物。前方中央传感器21B例如是红外线传感器或者超声波传感器、毫米波雷达等,也可以是由这些的组合构成。前方中央传感器21B检测有可能与车辆接触的、距地面具有高度的物体。前方中央传感器21B例如检测距车辆5m左右的距离的障碍物。前方中央传感器21B检测从铅垂方向看以传感器的中央部为中心的、例如40°左右的范围的障碍物。前方中央传感器21B的检测范围可以与左前方传感器21A以及右前方传感器21C的检测范围的一部重叠。前方中央传感器21B将检测出的障碍物的障碍物信息输出给俯瞰影像生成装置40的障碍物信息获取部43。作为障碍物信息的例子,是前方中央传感器21B的检测范围内有无障碍物、距障碍物的距离、在水平方向上的障碍物的存在范围等。
右前方传感器21C被配置于车辆的右前方侧,检测车辆的右前方侧的障碍物。右前方传感器21C是例如红外线传感器或者超声波传感器、毫米波雷达等,可以由这些的组合构成。右前方传感器21C检测有可能与车辆接触的、距地面具有高度的物体。右前方传感器21C例如检测距车辆5m左右的距离的障碍物。右前方传感器21C检测在铅垂方向观察以传感器的中央部为中心的、例如40°左右的范围的障碍物。右前方传感器21C的检测范围可以与前方中央传感器21B的检测范围的一部分重叠。右前方传感器21C 将检测出的障碍物的障碍物信息输出给俯瞰影像生成装置40的障碍物信息获取部43。作为障碍物信息的例子,是右前方传感器21C的检测范围内有无障碍物、距障碍物的距离、在水平方向上的障碍物的存在范围等。
由左前方传感器21A、前方中央传感器21B、右前方传感器21C检测车辆的前方的障碍物。
左后方传感器22A被配置于车辆的左后方侧,检测车辆的左后方侧的障碍物。左后方传感器22A例如是红外线传感器或者超声波传感器、毫米波雷达等,也可以由这些的组合构成。左后方传感器22A检测有可能与车辆接触的、距地面具有高度的物体。左后方传感器22A例如检测距车辆5m 左右的距离的障碍物。左后方传感器22A检测在铅垂方向观察以传感器的中央部为中心的、例如40°左右的范围的障碍物。左后方传感器22A的检测范围可以与后方中央传感器22B的检测范围的一部分重叠。左后方传感器22A将检测出的障碍物的障碍物信息输出到俯瞰影像生成装置40的障碍物信息获取部43。作为障碍物信息的例子,有左后方传感器22A的检测范围内有无障碍物、距障碍物的距离、在水平方向上的障碍物的存在范围等。
后方中央传感器22B被配置于车辆的后方中央,检测车辆的后方中央的障碍物。后方中央传感器22B例如是红外线传感器或者超声波传感器、毫米波雷达等,也可以由这些的组合构成。后方中央传感器22B检测有可能与车辆接触的、距地面具有高度的物体。后方中央传感器22B例如检测距车辆5m左右的距离的障碍物。后方中央传感器22B检测在铅垂方向观察以传感器的中央部为中心的、例如40°左右的范围的障碍物。后方中央传感器22B的检测范围可以与左后方传感器22A以及右后方传感器22C的检测范围的一部分重叠。后方中央传感器22B将检测出的障碍物的障碍物信息输出到俯瞰影像生成装置40的障碍物信息获取部43。作为障碍物信息的例子,有后方中央传感器22B的检测范围内有无障碍物、距障碍物的距离、水平方向上的障碍物的存在范围等。
右后方传感器22C被配置于车辆的右后方侧,检测车辆的右后方侧中的障碍物。右后方传感器22C例如是红外线传感器或者超声波传感器、毫米波雷达等,也可以由这些的组合构成。右后方传感器22C检测有可能与车辆接触的、距地面具有高度的物体。右后方传感器22C例如检测距车辆 5m左右的距离的障碍物。右后方传感器22C检测在铅垂方向观察以传感器的中央部为中心的、例如40°左右的范围的障碍物。右后方传感器22C的检测范围可以与后方中央传感器22B的检测范围的一部分重叠。右后方传感器22C将检测出的障碍物的障碍物信息输出到俯瞰影像生成装置40的障碍物信息获取部43。作为障碍物信息的例子,由右后方传感器22C的检测范围内有无障碍物、距障碍物的距离、在水平方向上的障碍物的存在范围等。
通过左后方传感器22A、后方中央传感器22B、右后方传感器22C检测车辆的后方的障碍物。
显示面板31例如是包含液晶显示器(LCD:Liquid Crystal Display)或者有机EL(Organic Electro-Luminescence)显示器的显示器。显示面板31 基于从俯瞰影像生成系统1的俯瞰影像生成装置40输出的影像信号显示俯瞰影像100。显示面板31可以专用于俯瞰影像生成系统1,也可以与包含例如导航系统的其他的系统共同地使用。显示面板31被配置在从驾驶员容易目视确认的位置。
俯瞰影像生成装置40具有控制部41和存储部49。
控制部41例如是由CPU(Central Processing Unit,中央处理器)等构成的运算处理装置。控制部41将存储在存储部49的程序加载到存储器,执行程序所包含的指令。控制部41具有影像获取部42、障碍物信息获取部43、车辆信息获取部44、俯瞰影像生成部(影像生成部)46、重叠影像生成部(影像生成部)47以及显示控制部48。
影像获取部42获取对车辆的周边拍摄而得的周边影像。更详细地,影像获取部42获取前方相机11、后方相机12、左侧相机13、右侧相机14输出的影像。影像获取部42将所获取的影像输出给俯瞰影像生成部46。
障碍物信息获取部43获取在车辆的周边检测到的障碍物的障碍物信息。在本实施方式中,障碍物信息获取部43获取障碍物信息,该障碍物信息包含到检测出的障碍物的距离。更详细地,障碍物信息获取部43获取左前方传感器21A、前方中央传感器21B、右前方传感器21C、左后方传感器22A、后方中央传感器22B、右后方传感器22C输出的障碍物信息。障碍物信息获取部43将所获取的障碍物信息输出到重叠影像生成部47。
车辆信息获取部44从CAN(Controller Area Network,控制器局域网络)或感应车辆的状态的各种传感器等获取车辆的档位操作信息等用于成为使俯瞰影像显示的触发的车辆信息。车辆信息获取部44将所获取的车辆信息输出给俯瞰影像生成部46。
俯瞰影像生成部46从由影像获取部42获取的周边影像生成俯瞰影像 100,该俯瞰影像是以从上往下看车辆的方式进行了视点转换处理的俯瞰影像100。更详细地,俯瞰影像生成部46基于由前方相机11、后方相机12、左侧相机13以及右侧相机14拍摄的影像生成俯瞰影像100。生成俯瞰影像 100的方法可以是公知的任一方法,并不限定。俯瞰影像生成部46将所生成的俯瞰影像100输出给显示控制部48。
使用图2,对俯瞰影像100进行说明。图2是示出由第一实施方式涉及的俯瞰影像生成系统生成的俯瞰影像以及障碍物通知图标的图。俯瞰影像 100是纵向长的矩形。俯瞰影像100包含:前方影像101、后方影像102、左侧影像103及右侧影像104;以及位于由前方影像101、后方影像102、左侧影像103及右侧影像104包围的中央部的中央影像105。前方影像101、后方影像102、左侧影像103、右侧影像104以及中央影像105可以由框状的边界线划分。
中央影像105被生成为纵向长的矩形。用线来划分中央影像105与前方影像101、后方影像102、左侧影像103及右侧影像104之间的边界。中央影像105示出俯瞰影像100中的车辆的位置。
在图2中,为了说明而图示了表示前方影像101、后方影像102、左侧影像103及右侧影像104的边界的倾斜的虚线,但实际在显示于显示面板 31的俯瞰影像100上,该虚线不被显示。对于其他的图,也是同样的。
重叠影像生成部47基于由障碍物信息获取部43获取的障碍物信息,生成将表示障碍物的信息重叠到俯瞰影像100的中央影像105上的俯瞰影像100。在本实施方式中,重叠影像生成部47基于由障碍物信息获取部43 获取的障碍物信息,生成在俯瞰影像100的中央影像105上重叠了表示检测到障碍物的方向的信息的俯瞰影像100。在本实施方式中,重叠影像生成部47用障碍物通知图标(表示障碍物的信息)120示出表示检出到障碍物的方向的信息。障碍物通知图标120示意性地示出检测障碍物的各传感器的水平方向上的检测方向,多个圆弧的配置方向是以传感器的安装位置为起点的检测方向,或者是以车辆为中心的放射状的配置等。构成障碍物通知图标120的圆弧的宽度可以示出检测障碍物的各传感器的检测范围,也可以是不依赖于各传感器的检测范围的、与检测方向对应的固定宽度。
障碍物通知图标120是通知障碍物的图标。障碍物通知图标120示出距障碍物的距离和方向。障碍物通知图标120包含左前方图标(表示障碍物的信息)121、前方中央图标(表示障碍物的信息)122、右前方图标(表示障碍物的信息)123、左后方图标(表示障碍物的信息)124、后方中央图标(表示障碍物的信息)125及右后方图标(表示障碍物的信息)126。
左前方图标121是通知车辆的左前方侧的障碍物的图标。更详细地,左前方图标121是通知由左前方传感器21A检测出了障碍物的情况的图标。左前方图标121在图2中重叠于俯瞰影像100的中央影像105的左上方。
在本实施方式中,左前方图标121由三重弧状曲线构成。弧状的曲线朝向俯瞰影像100的外侧膨出。三重弧状曲线从俯瞰影像100的外侧朝向中心侧半径变小。三重弧状曲线从俯瞰影像100的外侧朝向中心侧变短。
左前方图标121可以根据距障碍物的距离而使颜色变化。例如,在距障碍物的距离是第一预定距离以上的情况下,用绿色显示左前方图标121。在距障碍物的距离是小于第一预定距离且是第二预定距离以上的情况下,用黄色显示左前方图标121,该第二预定距离比第一预定距离小。在距障碍物的距离小于第二预定距离的情况下,用红色显示左前方图标121。
左前方图标121也可以根据距障碍物的距离而使弧状的曲线的根数变化。例如,在距障碍物的距离是第一预定距离以上的情况下,左前方图标 121显示三重弧状曲线中的、最外侧的弧状的曲线。在距障碍物的距离小于第一预定距离且是第二预定距离以上的情况下,左前方图标121显示三重弧状曲线中的最外侧的弧状的曲线和中央的弧状的曲线。在距障碍物的距离小于第二预定距离的情况下,左前方图标121显示全部三重弧状曲线。
前方中央图标122是通知车辆的前方中央的障碍物的图标。更详细地,前方中央图标122是通知由前方中央传感器21B检测出了障碍物的情况的图标。前方中央图标122在图2中被重叠在俯瞰影像100的中央影像105 的上侧中央。前方中央图标122被与左前方图标121同样地构成。
右前方图标123是通知车辆的右前方侧的障碍物的图标。更详细地,右前方图标123是通知由右前方传感器21C检测出了障碍物的情况的图标。右前方图标123在图2中重叠于俯瞰影像100的中央影像105的右上方。右前方图标123被与左前方图标121同样地构成。
左后方图标124是通知车辆的左后方侧的障碍物的图标。更详细地,左后方图标124是通知由左后方传感器22A检测出了障碍物的情况的图标。左后方图标124在图2中重叠于俯瞰影像100的中央影像105的左下方。左后方图标124被与左前方图标121同样地构成。
后方中央图标125是通知车辆的后方中央的障碍物的图标。更详细地,后方中央图标125是通知由后方中央传感器22B检测出了障碍物的情况的图标。后方中央图标125在图2中重叠于俯瞰影像100的中央影像105的下侧中央。后方中央图标125被与左前方图标121同样地构成。
右后方图标126是通知车辆的右后方侧的障碍物的图标。更详细地,右后方图标126是通知由右后方传感器22C检测出了障碍物的情况的图标。右后方图标126在图2中重叠于俯瞰影像100的中央影像105的右下方。右后方图标126与左前方图标121同样地构成。
显示控制部48使显示面板31显示重叠影像生成部47所生成的俯瞰影像100。
存储部49存储俯瞰影像生成装置40中的各种处理所需要的数据以及各种处理结果。存储部49例如是RAM(Random Access Memory,随机存取存储器)、ROM(Read OnlyMemory,只读存储器)、闪存存储器(Flash Memory)等半导体存储器元件、或者硬盘、光盘等存储装置。
接着,使用图3,对俯瞰影像生成系统1的俯瞰影像生成装置40中的处理的流程进行说明。图3是示出第一实施方式涉及的俯瞰影像生成系统的俯瞰影像生成装置中的处理的流程的流程图。
控制部41判断是否开始俯瞰影像显示(步骤S11)。作为判断开始显示俯瞰影像的例子,控制部41基于有无后退触发来判断是否开始俯瞰影像显示。所谓后退触发例如是指换档位置被设为“倒车”的情况。或者,所谓后退触发是指车辆的行进方向成为车辆的前后方向上的后方的情况。在没有后退触发的情况下,控制部41判断为不开始俯瞰影像显示(在步骤S11 中为“否”),再次执行步骤S11的处理。在有后退触发的情况下,控制部 41判断为开始显示俯瞰影像(在步骤S11为“是”),进入到步骤S12。
控制部41生成俯瞰影像100并显示(步骤S12)。更详细地,控制部 41在俯瞰影像生成部46从由影像获取部42获取的周边影像生成俯瞰影像 100,该俯瞰影像是以从上往下看车辆的方式进行了视点转换处理的影像。然后,控制部41在显示控制部48使显示面板31显示所生成的俯瞰影像 100。
控制部41判断是否检测到了障碍物(步骤S13)。更详细地,控制部 41判断是否由障碍物信息获取部43获取到了障碍物信息。控制部41在判断为由障碍物信息获取部43获取到了障碍物信息的情况下(在步骤S13中为“是”),进入到步骤S14。控制部41在判断为没有由障碍物信息获取部43获取到障碍物信息的情况下(在步骤S13中为“否”),进入到步骤S15。
控制部41使表示障碍物的障碍物通知图标120重叠显示于俯瞰影像 100的中央部(步骤S14)。更详细地,控制部41使重叠影像生成部47基于由障碍物信息获取部43获取的障碍物信息生成俯瞰影像100,该俯瞰影像是在俯瞰影像100的中央影像105上以示出检测出障碍物的方向方式重叠了障碍物通知图标120的影像。然后,控制部41通过显示控制部48使显示面板31显示生成的俯瞰影像100。
在获取了来自左前方传感器21A、前方中央传感器21B、右前方传感器 21C、左后方传感器22A、后方中央传感器22B及右后方传感器22C的多个传感器的障碍物信息的情况下,控制部41使重叠影像生成部47生成俯瞰影像100,该俯瞰影像100是在俯瞰影像100的中央影像105上重叠了多个障碍物通知图标120的影像。
控制部41判断是否结束俯瞰影像显示(步骤S15)。更详细地,控制部41基于有无后退触发来判断是否结束俯瞰影像显示。在没有后退触发的情况下、换而言之在后退触发被解除的情况下,控制部41判断为结束俯瞰影像显示(在步骤S15中为“是”),并结束处理。在有后退触发的情况下,控制部41判断为不结束俯瞰影像显示(在步骤S15中为“否”),返回到步骤S13来继续处理。
通过如此,当检测出障碍物时,俯瞰影像生成系统1在俯瞰影像100的中央部重叠障碍物通知图标120,以示出检测出障碍物的方向,并向显示面板31输出影像信号。显示面板31基于从俯瞰影像生成系统1输出的影像信号,例如与导航画面一起显示俯瞰影像100。
例如,使用图4,说明当车辆后退时在左后方侧检测出了障碍物的情况的一例。图4是示出由第一实施方式涉及的俯瞰影像生成系统生成的俯瞰影像的一例的图。在图4中,在俯瞰影像100的后方影像102中包含有左后方侧的障碍物的障碍物影像130。
控制部41在步骤S13中判断为检测出了障碍物。然后,控制部41在步骤S14中通过重叠影像生成部47基于由障碍物信息获取部43获取的障碍物信息生成俯瞰影像100,俯瞰影像100是在俯瞰影像100的中央影像 105上以示出检测出障碍物的左后方向的方式重叠了障碍物通知图标120的影像。然后,控制部41通过显示控制部48使显示面板31显示所生成的俯瞰影像100。
使用图5,说明当车辆后退时在左后方侧检测出了障碍物的情况的其他的例子。图5是示出由第一实施方式涉及的俯瞰影像生成系统生成的俯瞰影像的其他的例子的图。
在图5中,在俯瞰影像100的中央影像105合成了从上方观看的、作为示出车辆的自身车辆图标的自身车辆图标140。控制部41在步骤S14中通过重叠影像生成部47生成俯瞰影像100,该俯瞰影像100在自身车辆图标140上重叠了障碍物通知图标120,以示出检测出障碍物的左后方向。
如上所述,在本实施方式中,当在车辆的周边检测出障碍物时,使显示面板31显示俯瞰影像100,该俯瞰影像100在俯瞰影像100的中央影像105 上重叠了障碍物通知图标120,以示出检测出障碍物的方向。本实施方式由于障碍物通知图标120被重叠在俯瞰影像100的中央影像105,因此障碍物通知图标120与映现到俯瞰影像100上的障碍物不重叠。换而言之,本实施方式能够不降低映现在俯瞰影像100的障碍物的辨认性而清楚地显示障碍物。如此,本实施方式能够适当地确认车辆周边的障碍物。
本实施方式能够通过障碍物通知图标120通知检测出障碍物的方向和距离。
在本实施方式中,如图4所示,在俯瞰影像100的中央影像105上不显示自身车辆图标140的情况下,能够更加提高障碍物通知图标120的辨认性。如此,本实施方式能够更适当地确认车辆周边的障碍物。
在本实施方式中,如图5所示,可以在俯瞰影像100的中央影像105上显示自身车辆图标140。由此,本实施方式能够显示更容易识别障碍物相对于车辆的方向的俯瞰影像100。如此,本实施方式能够可靠地确认车辆周边的障碍物。
[第二实施方式]
参照图6、图7,对本实施方式涉及的俯瞰影像生成系统1进行说明。图6是示出第二实施方式涉及的俯瞰影像生成系统的俯瞰影像生成装置中的处理的流程的流程图。图7是示出通过第二实施方式涉及的俯瞰影像生成系统生成的俯瞰影像的一例的图。俯瞰影像生成系统1的基本的构成与第一实施方式的俯瞰影像生成系统1是同样的。在以下的说明中,对于与俯瞰影像生成系统1同样的构成要素标注相同的符号或者对应的符号,省略其详细情况的说明。本实施方式的俯瞰影像生成系统1的俯瞰影像生成装置40的障碍物信息获取部43、重叠影像生成部47、控制部41中的处理与第一实施方式的俯瞰影像生成系统1不同。
障碍物通知图标120除了第一实施方式的左前方图标121、前方中央图标122、右前方图标123、左后方图标124、后方中央图标125及右后方图标126以外,还包含第二左前方图标(表示障碍物的信息)、第二前方中央图标(表示障碍物的信息)、第二右前方图标(表示障碍物的信息)、第二左后方图标(表示障碍物的信息)、第二后方中央图标(表示障碍物的信息)、第二右后方图标(表示障碍物的信息)。在图7中,第二左前方图标、第二前方中央图标、第二右前方图标、第二后方中央图标、第二右后方图标未被图示,示出了第二左后方图标(表示障碍物的信息)。
左前方图标121是通知距障碍物的距离小于阈值的、车辆的左前方侧的障碍物的图标。更详细地,左前方图标121是通知通过左前方传感器21A 检测出了距障碍物的距离小于阈值的障碍物的图标。
前方中央图标122是通知距障碍物的距离小于阈值的、车辆的前方中央的障碍物的图标。更详细地,前方中央图标122是通知通过前方中央传感器21B检测出了距障碍物的距离小于阈值的障碍物的图标。
右前方图标123是通知距障碍物的距离小于阈值的、车辆的右前方侧的障碍物的图标。更详细地,右前方图标123是通知通过右前方传感器21C 检测出了距障碍物的距离小于阈值的障碍物的情况的图标。
左后方图标124是通知距障碍物的距离小于阈值的、车辆的左后方侧的障碍物的图标。更详细地,左后方图标124是通知通过左后方传感器22A 检测出了距障碍物的距离小于阈值的障碍物的情况的图标。
后方中央图标125是通知距障碍物的距离小于阈值的、车辆的后方中央的障碍物的图标。更详细地,后方中央图标125是通知通过后方中央传感器22B检测出了距障碍物的距离小于阈值的障碍物的情况的图标。
右后方图标126是距障碍物的距离小于阈值的、车辆的右后方侧的障碍物的图标。更详细地,右后方图标126是通知通过右后方传感器22C检测出了距障碍物的距离小于阈值的障碍物的情况的图标。
第二左前方图标是通知距障碍物的距离是阈值以上的、车辆的左前方侧的障碍物的图标。更详细地,第二左前方图标是通知通过左前方传感器 21A检测出了距障碍物的距离是阈值以上的障碍物的情况的图标。第二左前方图标被重叠在比俯瞰影像100的中央影像105靠外侧的左上方。第二左前方图标与左前方图标121同样地构成。
第二前方中央图标是通知距障碍物的距离是阈值以上的、车辆的前方中央的障碍物的图标。更详细地,第二前方中央图标是通知通过前方中央传感器21B检测出了距障碍物的距离是阈值以上的障碍物的情况的图标。第二前方中央图标被重叠到比俯瞰影像100的中央影像105靠外侧的上侧中央。第二前方中央图标与左前方图标121同样地构成。
第二右前方图标是通知距障碍物的距离是阈值以上的、车辆的右前方侧的障碍物的图标。更详细地,第二右前方图标通知通过右前方传感器21C 检测出了距障碍物的距离是阈值以上的障碍物的情况的图标。第二右前方图标被重叠到比俯瞰影像100的中央影像105靠外侧的右上方。第二右前方图标与左前方图标121同样地构成。
第二左后方图标是通知距障碍物的距离是阈值以上的、车辆的左后方侧的障碍物的图标。更详细地,第二左后方图标是通知通过左后方传感器 22A检测出了距障碍物的距离是阈值以上的障碍物的情况的图标。第二左后方图标被重叠在比俯瞰影像100的中央影像105靠外侧的左下方。第二左后方图标与左前方图标121同样地构成。
第二后方中央图标是通知距障碍物的距离是阈值以上的、车辆的后方中央的障碍物的图标。更详细地,第二后方中央图标是通知通过后方中央传感器22B检测出了距障碍物的距离是阈值以上的障碍物的情况的图标。第二后方中央图标被重叠在比俯瞰影像100的中央影像105靠外侧的下侧中央。第二后方中央图标与左前方图标121同样地构成。
第二右后方图标是通知距障碍物的距离是阈值以上的、车辆的右后方侧的障碍物的图标。更详细地,第二右后方图标是通知通过右后方传感器 22C检测出了距障碍物的距离是阈值以上的障碍物的情况的图标。第二右后方图标被重叠在比俯瞰影像100的中央影像105到外侧的右下方。第二右后方图标与左前方图标121同样地构成。
障碍物信息获取部43获取包含有到检测出的障碍物的距离的信息。障碍物信息获取部43将包含有到所获取的障碍物的距离的信息输出给重叠影像生成部47。
若基于障碍物信息获取部43所获取的障碍物信息判断为距检测出的障碍物的距离为预定阈值以上,则重叠影像生成部47生成俯瞰影像100,该俯瞰影像100是在俯瞰影像100的中央影像105上显示自身车辆图标140、且将表示障碍物的信息、即障碍物通知图标120重叠在了俯瞰影像100的中央部的外侧的影像。
若基于障碍物信息获取部43所获取的障碍物信息判断为距检测出的障碍物的距离小于预定阈值,则重叠影像生成部47生成将障碍物通知图标 120重叠到俯瞰影像100的中央影像105上的俯瞰影像100。
接着,使用图6,对俯瞰影像生成系统1的俯瞰影像生成装置40中的处理的流程进行说明。图6所示的流程图的步骤S21、步骤S23、步骤S26、步骤S27的处理与图3所示的流程图的步骤S11、步骤S13、步骤S14、步骤S15的处理是同样的。
控制部41生成重叠了自身车辆图标140的俯瞰影像100并显示(步骤 S22)。更详细地,控制部41使俯瞰影像生成部46从影像获取部42所获取的周边影像生成俯瞰影像100,该俯瞰影像100是以从上往下观看车辆的方式进行了视点转换处理的影像。控制部41通过显示控制部48在所生成的俯瞰影像100的中央部合成自身车辆图标140。然后,控制部41通过显示控制部48使显示面板31显示所生成的俯瞰影像100。
控制部41判断距障碍物的距离是否为阈值以上(步骤S24)。更详细地,控制部41在通过障碍物信息获取部43获取的、距检测出的障碍物的距离为预定阈值以上的情况下(在步骤S24中为“是”),进入到步骤S25。控制部41在通过障碍物信息获取部43获取的、距检测出的障碍物的距离小于预定阈值的情况下(在步骤S24中为“否”),进入到步骤S26。
预定阈值将第二左前方图标、第二前方中央图标、第二右前方图标、第二左后方图标、第二后方中央图标以及第二右后方图标显示的位置设定为不与俯瞰影像100的障碍物的影像重叠的值。更详细地,预定阈值可以是与第二左前方图标、第二前方中央图标、第二右前方图标、第二左后方图标、第二后方中央图标、第二右后方图标的最外侧的圆弧状的曲线的位置对应的、距车辆的距离为恒定距离以上的值。例如,预定阈值可以设为2m左右。
控制部41在自身车辆图标140的外侧的俯瞰影像100上重叠显示障碍物通知图标120(步骤S25)。更详细地,控制部41通过重叠影像生成部 47基于障碍物信息获取部43所获取的障碍物信息生成俯瞰影像100,该俯瞰影像100在自身车辆图标140的外侧的俯瞰影像100上重叠了第二左前方图标、第二前方中央图标、第二右前方图标、第二左后方图标、第二后方中央图标、第二右后方图标中的至少任一个。然后,控制部41通过显示控制部48使显示面板31显示所生成的俯瞰影像100。
通过如此,当距障碍物的距离为预定阈值以上时,俯瞰影像生成系统1 生成在自身车辆图标140的外侧的俯瞰影像100上重叠了第二左前方图标、第二前方中央图标、第二右前方图标、第二左后方图标、第二后方中央图标、第二右后方图标中的至少任一个的俯瞰影像100,并向显示面板31输出影像信号。当距障碍物的距离小于预定阈值时,俯瞰影像生成系统1生成在俯瞰影像100的中央影像105上重叠了左前方图标121、前方中央图标122、右前方图标123、左后方图标124、后方中央图标125、右后方图标126中的至少任一个的俯瞰影像100,并向显示面板31输出影像信号。
例如,使用图7,对当车辆后退时在左后方侧的预定阈值以上的距离检测出障碍物的情况的一例进行说明。
控制部41在步骤S23中判断为检测出障碍物。然后,控制部41在步骤S24中判断为由障碍物信息获取部43获取的、距检测出的障碍物的距离为预定阈值以上(在步骤S24中为“是”)。然后,控制部41在步骤S25 中生成图7所示的俯瞰影像100,该俯瞰影像100是在自身车辆图标140的外侧的俯瞰影像100上重叠了第二左后方图标127的影像,该第二左后方图标127示出检测出了障碍物的左后方向。然后,控制部41使显示面板31 显示所生成的俯瞰影像100。
如上所述,在本实施方式中,当距障碍物的距离为预定阈值以上时,生成在自身车辆图标140的外侧的俯瞰影像100上重叠了障碍物通知图标120 的俯瞰影像100,并使显示面板31显示。在本实施方式中,当距障碍物的距离为预定阈值以上的情况下,由于障碍物通知图标120与自身车辆图标 140的外侧的俯瞰影像100重叠,因此障碍物通知图标120与映现在俯瞰影像100上的障碍物不重叠。换言之,本实施方式能够不降低映现在俯瞰影像100的障碍物的辨认性而清楚地显示障碍物。如此,本实施方式能够适当地确认车辆周边的障碍物。
在本实施方式中,当距障碍物的距离小于预定阈值时,生成在俯瞰影像 100的中央影像105上重叠了障碍物通知图标120的俯瞰影像100,并使显示面板31显示。在本实施方式中,在距障碍物的距离小于预定阈值的情况下,由于障碍物通知图标120与俯瞰影像100的中央影像105重叠,因此障碍物通知图标120与映现在俯瞰影像100的障碍物不发生重叠。换言之,本实施方式能够不降低映现在俯瞰影像100的障碍物的辨认性而清楚地显示障碍物。
如此,本实施方式能够根据距障碍物的距离来可靠地确认车辆周边的障碍物。
在本实施方式中,根据距障碍物的距离,改变俯瞰影像100中的障碍物通知图标120的显示位置。由此,本实施方式能够更容易把握距障碍物的距离。
[第三实施方式]
参照图8,对本实施方式涉及的俯瞰影像生成系统1进行说明。图8是示出第三实施方式涉及的俯瞰影像生成系统的俯瞰影像生成装置中的处理的流程的流程图。本实施方式的俯瞰影像生成系统1的俯瞰影像生成装置 40的障碍物信息获取部43、重叠影像生成部47及控制部41中的处理与第二实施方式的俯瞰影像生成系统1不同。
左前方传感器21A、前方中央传感器21B、右前方传感器21C、左后方传感器22A、后方中央传感器22B、右后方传感器22C将比作为俯瞰影像 100而显示的范围更远的范围设为检测范围。
障碍物信息获取部43获取在比作为俯瞰影像100而显示的范围更远的范围中检测到的障碍物的障碍物信息。
在基于障碍物信息获取部43所获取的障碍物信息判断为距检测出的障碍物的距离比作为俯瞰影像100而显示的范围更远的情况下,重叠影像生成部47生成在俯瞰影像100的中央部上显示自身车辆图标140、并将障碍物通知图标120重叠在自身车辆图标140的外侧的俯瞰影像100上的俯瞰影像100。
在基于障碍物信息获取部43所获取的障碍物信息判断为距检测出的障碍物的距离为被包含在作为俯瞰影像100而显示的范围内的范围的情况下,重叠影像生成部47生成将障碍物通知图标120以示出检测出障碍物的方向的方式重叠在俯瞰影像100的中央影像105上的俯瞰影像100。
接着,使用图8,对俯瞰影像生成系统1的俯瞰影像生成装置40中的处理的流程进行说明。图8所示的流程图的步骤S31~步骤S33、步骤S35~步骤S37的处理是与图6所示的流程图的步骤S21~步骤S23、步骤S25~步骤S27的处理是同样的。
控制部41判断距障碍物的距离是否为俯瞰影像100的显示范围以上 (步骤S34)。控制部41在由障碍物信息获取部43获取的、距检测出的障碍物的距离为比俯瞰影像100的显示范围远的范围的情况下(在步骤S34 中为“是”),进入到步骤S35。控制部41在由障碍物信息获取部43获取的、距检测出的障碍物的距离被包含在俯瞰影像100的显示范围中的情况下(在步骤S34中为“否”),进入到步骤S36。
通过如此,当距障碍物的距离为比俯瞰影像100的显示范围远的范围时,俯瞰影像生成系统1生成在自身车辆图标140的外侧的俯瞰影像100 上重叠了障碍物通知图标120的俯瞰影像100,并向显示面板31输出影像信号。当距障碍物的距离被包含在俯瞰影像100的显示范围中时,俯瞰影像生成系统1生成在俯瞰影像100的中央影像105重叠了障碍物通知图标 120的俯瞰影像100,并向显示面板31输出影像信号。
如上所述,在本实施方式中,当距障碍物的距离为比俯瞰影像100的显示范围远的范围时,生成在自身车辆图标140的外侧的俯瞰影像100中重叠了障碍物通知图标120的俯瞰影像100,并使显示面板31显示。在本实施方式中,在距障碍物的距离为比俯瞰影像100的显示范围远的范围的情况下,由于障碍物通知图标120被重叠在自身车辆图标140的外侧,因此障碍物通知图标120与映现在俯瞰影像100中的障碍物不发生重叠。换言之,本实施方式能够不降低映现在俯瞰影像100的障碍物的辨认性的情况下清楚地显示障碍物。如此,本实施方式能够适当地确认车辆周边的障碍物。
在本实施方式中,当距障碍物的距离被包含在俯瞰影像100的显示范围中时,生成在俯瞰影像100的中央影像105上重叠了障碍物通知图标120 的俯瞰影像100,并使显示面板31显示。在本实施方式中,在距障碍物的距离被包含在俯瞰影像100的显示范围中的情况下,由于障碍物通知图标 120被重叠到俯瞰影像100的中央影像105,因此障碍物通知图标120与映现在俯瞰影像100的障碍物不发生重叠。换言之,本实施方式能够不降低映现在俯瞰影像100的障碍物的辨认性的情况下清楚地显示障碍物。
如此,本实施方式能够根据距障碍物的距离适当地确认车辆周边的障碍物。
在本实施方式中,即使在比俯瞰影像100的显示范围更远的范围内存在障碍物的情况下,也能够显示障碍物通知图标120。因此,本实施方式能够通知比俯瞰影像100的显示范围远的范围的障碍物。
[第四实施方式]
对本实施方式涉及的俯瞰影像生成系统1进行说明。本实施方式的俯瞰影像生成系统1的俯瞰影像生成装置40的重叠影像生成部47和控制部 41中的处理与第一实施方式的俯瞰影像生成系统1不同。更详细地,在控制部41中的是否检测出障碍物的判断中检测位于车辆的行进方向上的障碍物的点与第一实施方式的俯瞰影像生成系统1不同。
重叠影像生成部47基于由障碍物信息获取部43获取的障碍物信息,针对位于车辆的行进方向上的障碍物生成俯瞰影像100,该俯瞰影像100是将障碍物通知图标120重叠在俯瞰影像100的中央影像105的影像。
接着,对俯瞰影像生成系统1的俯瞰影像生成装置40中的处理的流程进行说明。
控制部41在步骤S13中基于障碍物信息获取部43所获取的障碍物信息判断在车辆的行进方向上是否检测出了障碍物。控制部41当判断为在车辆的行进方向上检测出了障碍物的情况下(在步骤S13中为“是”),进入到步骤S14。控制部41当判断为在车辆的行进方向上未检测出障碍物的情况下(在步骤S13中为“否”),进入到步骤S15。
如此,控制部41针对靠近车辆的障碍物显示障碍物通知图标120,针对远离车辆的障碍物将障碍物通知图标120设为不显示。
如上所述,本实施方式能够更适当地确认车辆周边的障碍物。
[第五实施方式]
参照图9到图12,对本实施方式涉及的俯瞰影像生成系统1进行说明。图9是示出由第五实施方式涉及的俯瞰影像生成系统生成的俯瞰影像的一例的图。图10是示出由第五实施方式涉及的俯瞰影像生成系统生成的俯瞰影像的其他的例子的图。图11是示出由第五实施方式涉及的俯瞰影像生成系统生成的俯瞰影像的其他的例子的图。图12是示出障碍物通知图标中的圆弧间的间隔与距障碍物的距离之间的关系的一例的曲线图。本实施方式的俯瞰影像生成系统1的俯瞰影像生成装置40的重叠影像生成部47中的处理与第一实施方式的俯瞰影像生成系统1不同。
如图9至图11所示,障碍物通知图标120具有朝向检测出障碍物的方向的多个构成要素,通过多个构成要素的间隔示出距障碍物的距离。在本实施方式中,障碍物通知图标120将三重圆弧设为构成要素。在本实施方式中,障碍物通知图标120以圆弧的间隔示出距障碍物的距离。在本实施方式中,障碍物通知图标120如下示出:距障碍物的距离越大,圆弧的间隔越宽,距障碍物的距离越小,圆弧的间隔越窄。
障碍物通知图标120的圆弧的间隔如在图12中实线所示的那样可以设定为直线状,以使得距障碍物的距离越大,间隔越宽。
障碍物通知图标120的圆弧的间隔如图12中虚线所示那样可以设定为阶梯状,以使得距障碍物的距离越大,间隔越宽。更详细地,在距障碍物的距离为第一阈值以上的情况下,例如,在2m以上的情况下,将圆弧的间隔设为第一间隔d1。第一阈值可以设为作为俯瞰影像100而显示的范围所包含的边界的距离。在距障碍物的距离为第一阈值以上的情况下,可以将最外侧的圆弧状的曲线显示在俯瞰影像100的中央影像105的外部。在距障碍物的距离小于第一阈值且为第二阈值以上的情况下,例如,小于2m且是 1m以上的情况下,将圆弧的间隔设为比第一间隔d1小的第二间隔d2。在距障碍物的距离小于第二阈值的情况下,例如,小于1m的情况下,将圆弧的间隔设为比第二间隔d2小的第三间隔d3。在距障碍物的距离进一步变小的情况下,也可以将圆弧的间隔设为零而使圆弧重叠。
所谓的距障碍物的距离是指:从检测障碍物的各传感器到障碍物的距离。距障碍物的距离与从车辆的障碍物方向上的端部到障碍物的距离基本一致。
重叠影像生成部47基于由障碍物信息获取部43获取的、距检测出的障碍物的距离生成将使圆弧的间隔变化的障碍物通知图标120重叠在俯瞰影像100的中央影像105上的俯瞰影像100。
使用图9到图11,对当车辆后退时在左后方侧检测出了障碍物的情况的例子进行说明。
使用图9,对例如车辆后退时在左后方侧检测到障碍物、且距障碍物的距离为2m的情况的一例进行说明。在步骤S14中,控制部41通过重叠影像生成部47生成俯瞰影像100,该俯瞰影像100是在俯瞰影像100的中央影像105上重叠了以圆弧的膨出方向示出检测出了障碍物的左后方向、以圆弧的间隔示出距障碍物的距离的障碍物通知图标120的影像。障碍物通知图标120的圆弧的间隔是第一间隔d1。障碍物通知图标120的最外侧的圆弧状的曲线位于中央影像105的外部。控制部41使显示面板31显示由重叠影像生成部47生成的如图9所示的俯瞰影像100。由于障碍物通知图标120的圆弧的间隔、以及最外侧的圆弧状的曲线位于中央影像105的外部,因此,可知障碍物位于作为俯瞰影像100而显示的范围的边界附近。
使用图10,说明例如当车辆后退时在左后方侧检测到障碍物、且距障碍物的距离为1.5m情况下的一例。在步骤S14中,控制部41通过重叠影像生成部47生成俯瞰影像100,该俯瞰影像100是在俯瞰影像100的中央影像105上重叠了障碍物通知图标120的影像,该障碍物通知图标120以圆弧的膨出方向示出检测出障碍物的左后方向,以圆弧的间隔示出距障碍物的距离。障碍物通知图标120的圆弧的间隔是第二间隔d2。控制部41使显示面板31显示通过重叠影像生成部47生成的如图10所示的俯瞰影像 100。根据障碍物通知图标120的圆弧的间隔可知,障碍物位于作为俯瞰影像100而显示的范围内。
使用图11,对例如当车辆后退时在左后方侧检测到障碍物、且距障碍物的距离为1m的情况的一例进行说明。在步骤S14中,控制部41通过重叠影像生成部47生成俯瞰影像100,该俯瞰影像100是在俯瞰影像100的中央影像105上重叠了障碍物通知图标120的影像,该障碍物通知图标120 通过圆弧的膨出方向示出检测出障碍物的左后方向,通过圆弧的间隔示出距障碍物的距离。障碍物通知图标120的圆弧的间隔是第三间隔d3。控制部41使显示面板31显示通过重叠影像生成部47生成的如图11所示的俯瞰影像100。由于障碍物通知图标120的圆弧的间隔窄,因此,可知障碍物位于车辆的后端部的附近。
通过如此,控制部41基于距检测出的障碍物的距离来生成将使圆弧的间隔变化的障碍物通知图标120重叠到俯瞰影像100的中央影像105上的俯瞰影像100。
如上所述,在本实施方式中,一旦在车辆的周边检测到障碍物,则使显示面板31显示俯瞰影像100,该俯瞰影像100是在俯瞰影像100的中央影像105上重叠了障碍物通知图标120的影像,该障碍物通知图标120以圆弧的膨出方向示出检测出障碍物的方向、以圆弧的间隔示出距障碍物的距离。在本实施方式中,能够通过障碍物通知图标120显示障碍物的方向以及距障碍物的距离。如此,在本实施方式中,能够适当地确认车辆周边的障碍物。
[第六实施方式]
参照图13到图15,对本实施方式涉及的俯瞰影像生成系统1进行说明。图13是示出由第六实施方式涉及的俯瞰影像生成系统生成的俯瞰影像的一例的图。图14是示出由第六实施方式涉及的俯瞰影像生成系统生成的俯瞰影像的其他的例子的图。图15是示出由第六实施方式涉及的俯瞰影像生成系统生成的俯瞰影像的其他的例子的图。本实施方式的俯瞰影像生成系统1的俯瞰影像生成装置40的重叠影像生成部47中的处理与第一实施方式的俯瞰影像生成系统1不同。
如图13至图15所示,障碍物通知图标120通过图标自身的水平方向上的宽度示出在检测有障碍物的传感器的水平方向上的检测范围以及所检测出的障碍物的水平方向上的宽度。在本实施方式中,障碍物通知图标120 如下示出:检测有障碍物的传感器的水平方向上的检测范围越宽,使圆弧的长度越大,检测有障碍物的传感器的水平方向上的检测范围越窄,使圆弧的长度越小。在本实施方式中,障碍物通知图标120如下示出:障碍物的水平方向上的宽度越宽,使圆弧的长度越大,障碍物的水平方向上的宽度越窄,使圆弧的长度越小。
更详细地,例如,障碍物通知图标120也可以将从俯瞰影像100的中央部到障碍物的水平方向上的两端部的投影宽度设为圆弧的长度。
重叠影像生成部47基于由障碍物信息获取部43获取的障碍物信息生成俯瞰影像100,该俯瞰影像100是将表示障碍物的信息的宽度作为与所检测出的障碍物的水平方向宽度对应的宽度而重叠在俯瞰影像100的中央影像105上的影像。
使用图13到图15,对车辆后退时在左后方侧检测出了障碍物的情况的例子进行说明。
例如,使用图13,对当车辆后退时在左后方侧检测到障碍物、且距障碍物的距离为2m的情况的一例进行说明。在步骤S14中,控制部41通过重叠影像生成部47生成在俯瞰影像100的中央影像105上重叠了障碍物通知图标120的俯瞰影像100,该障碍物通知图标120通过图标自身的水平方向上的宽度示出检测有障碍物的传感器的水平方向上的检测范围和所检测出的障碍物的水平方向上的宽度。这里所说的障碍物的水平方向上的宽度是指:通过传感器检测出的外观的宽度、即投影宽度。控制部41使显示面板31显示通过重叠影像生成部47生成的如图13所示的俯瞰影像100。根据障碍物通知图标120的水平方向上的宽度可知:检测有障碍物的传感器的水平方向上的检测范围以及所检测的障碍物的水平方向上的宽度窄。
例如,使用图14说明从图13所示的状态至距障碍物的距离为1m的情况的一例。在步骤S14中,控制部41通过重叠影像生成部47生成在俯瞰影像100的中央影像105上重叠了障碍物通知图标120的俯瞰影像100。由于从俯瞰影像100的中央部到障碍物的水平方向上的两端部的投影宽度变宽,因此障碍物通知图标120的水平方向上的宽度比图13的障碍物通知图标120的水平方向上的宽度宽。控制部41使显示面板31显示通过重叠影像生成部47生成的u图14所示的俯瞰影像100。通过障碍物通知图标120 的水平方向上的宽度比图13变宽可知:检测有障碍物的传感器的水平方向上的检测范围以及所检测出的障碍物的水平方向上的宽度变宽、即障碍物靠近了车辆的后端。
如此,重叠影像生成部47根据障碍物的接近状况使障碍物通知图标120 的水平方向的宽度如图13到图14所示地变化显示。根据障碍物通知图标 120的水平方向的宽度的变化可知障碍物接近车辆还是远离车辆。
例如,使用图15,说明当车辆后退时在左后方侧检测出了水平方向上的宽度比如图14所示的障碍物窄的障碍物的情况的一例。在步骤S14中,控制部41通过重叠影像生成部47生成在俯瞰影像100的中央影像105上重叠了障碍物通知图标120的俯瞰影像100。障碍物通知图标120的水平方向上的宽度比图14的障碍物通知图标120的水平方向上的宽度窄。控制部 41使显示面板31显示通过重叠影像生成部47生成的如图15所示的俯瞰影像100。通过障碍物通知图标120的水平方向上的宽度变得比图14窄可知:检测有障碍物的传感器的水平方向上的检测范围与所检测出的障碍物的水平方向上的宽度变窄,即,障碍物的水平方向上的宽度窄。
如上所述,在本实施方式中,当在车辆的周边检测出了障碍物时,使显示面板31显示在俯瞰影像100的中央影像105上重叠了障碍物通知图标 120的俯瞰影像100,以使得该障碍物通知图标120示出检测出了障碍物的方向、并以圆弧的水平方向上的宽度示出障碍物的水平方向上的宽度。在本实施方式中,能够通过障碍物通知图标120显示障碍物的方向和障碍物的水平方向的宽度。如此,在本实施方式中,能够适当地确认车辆周边的障碍物。
并且,在本实施方式中,当距障碍物的距离变化时,将障碍物通知图标 120的水平方向上的宽度例如从图13至图14所示那样变化来显示。由此,根据本实施方式,能够通过障碍物通知图标120的水平方向上的宽度的变化来确认障碍物的靠近情况。
[第七实施方式]
参照图16,对本实施方式涉及的俯瞰影像生成系统1A进行说明。图 16是示出第七实施方式涉及的俯瞰影像生成系统的构成例的框图。俯瞰影像生成系统1A的基本的构成与第一实施方式的俯瞰影像生成系统1是同样的。
使用图16,对俯瞰影像生成系统1A进行说明。俯瞰影像生成系统1A 具有前方相机11、后方相机12、左侧相机13、右侧相机14、前方传感器 (障碍物检测部)21、后方传感器(障碍物检测部)22、左侧传感器(障碍物检测部)23、右侧传感器(障碍物检测部)24、显示面板31、俯瞰影像生成装置40A。
前方传感器21被配置在车辆的前方,并检测车辆的前方的障碍物。前方传感器21例如是红外线传感器或者超声波传感器。前方传感器21检测有可能与车辆接触的、距地面具有高度的物体。前方传感器21例如检测距车辆5m左右的距离的障碍物。前方传感器21检测在铅垂方向看以传感器的中央部为中心的、例如30°左右的范围的障碍物。前方传感器21的检测范围可以与左侧传感器23以及右侧传感器24的检测范围的一部分重叠。前方传感器21可以以多个传感器的组合构成。前方传感器21将所检测出的障碍物的障碍物信息输出给俯瞰影像生成装置40A的障碍物信息获取部 43。
后方传感器22被配置于车辆的后方,检测车辆的后方的障碍物。后方传感器22例如是红外线传感器或者超声波传感器。后方传感器22检测有可能与车辆接触的、距地面具有高度的物体。后方传感器22例如检测距车辆5m左右的距离的障碍物。后方传感器22检测在铅垂方向看以传感器的中央部为中心的、例如30°左右的范围的障碍物。后方传感器22的检测范围可以与左侧传感器23以及右侧传感器24的检测范围的一部分重叠。后方传感器22可以以多个传感器的组合构成。后方传感器22将所检测出的障碍物的障碍物信息输出给俯瞰影像生成装置40A的障碍物信息获取部43。
左侧传感器23被配置于车辆的左侧,检测车辆的左侧的障碍物。左侧传感器23例如是红外线传感器或者超声波传感器。左侧传感器23检测有可能与车辆接触的、距地面具有高度的物体。左侧传感器23例如检测距车辆5m左右的距离的障碍物。左侧传感器23检测在铅垂方向看以传感器的中央部为中心的、例如30°左右的范围的障碍物。左侧传感器23的检测范围可以与前方传感器21以及后方传感器22的检测范围的一部分重叠。左侧传感器23可以由多个传感器的组合构成。左侧传感器23将所检测出的障碍物的障碍物信息输出给俯瞰影像生成装置40A的障碍物信息获取部43。
右侧传感器24被配置于车辆的右侧,并检测车辆的右侧的障碍物。右侧传感器24例如是红外线传感器或者超声波传感器。右侧传感器24检测有可能与车辆接触的、距地面具有高度的物体。右侧传感器24例如检测距车辆5m左右的距离的障碍物。右侧传感器24检测在铅垂方向看以传感器的中央部为中心的、例如30°左右的范围的障碍物。右侧传感器24的检测范围可以与前方传感器21以及后方传感器22的检测范围的一部分重叠。右侧传感器24可以由多个传感器的组合构成。右侧传感器24将所检测出的障碍物的障碍物信息输出给俯瞰影像生成装置40A的障碍物信息获取部 43。
显示面板31是横向长形状的矩形。在显示面板31上显示如图17所示的纵向长形状的俯瞰影像100,或者如图18所示的横向长形状的俯瞰影像 200。所谓的横向长形状的俯瞰影像200是与显示面板31的显示面的纵横比相匹配的横向长的矩形的俯瞰影像。
控制部41A具有影像获取部42、障碍物信息获取部43、车辆信息获取部44、影像生成部45A以及显示控制部48。
障碍物信息获取部43获取前方传感器21、后方传感器22、左侧传感器23及右侧传感器24输出的障碍物信息。
影像生成部45A生成俯瞰影像100和俯瞰影像200。影像生成部45A 具有俯瞰影像生成部46A和影像合成部47A。
俯瞰影像生成部46A从由影像获取部42获取的周边影像生成俯瞰影像 100,俯瞰影像100是以从上往下观看车辆的方式进行了视点转换处理的影像。更详细地,俯瞰影像生成部46A基于由前方相机11、后方相机12、左侧相机13及右侧相机14拍摄而得的周边影像生成俯瞰影像100。生成俯瞰影像100的方法可以是公知的任一个方法,并不限定。俯瞰影像生成部46A 将生成的俯瞰影像100输出给显示控制部48。
使用图17,对俯瞰影像100进行说明。图17是示出显示有由第七实施方式涉及的俯瞰影像生成系统生成的俯瞰影像的显示面板的图。俯瞰影像 100是纵向长的矩形。俯瞰影像100包含前方影像101、后方影像102、左侧影像103及右侧影像104。将由前方影像101、后方影像102、左侧影像 103及右侧影像104包围的范围称为俯瞰影像100的中央部。俯瞰影像100 的中央部是俯瞰影像100中的车辆的位置。前方影像101、后方影像102、左侧影像103、右侧影像104与俯瞰影像100的中央部可以由框状的边界线 110划分。
在图17中,为了说明而图示有表示前方影像101、后方影像102、左侧影像103以及右侧影像104的边界的倾斜的虚线,但实际上在显示于显示面板31的俯瞰影像100中该虚线可以被显示,也可以不被显示。对于其他的图,也是同样的。
在基于障碍物信息获取部43所获取的障碍物信息判断为检测出障碍物的方向是车辆的前方或者后方的情况下,俯瞰影像生成部46A生成不改变所生成的俯瞰影像100的显示朝向而使其成为横向长形状的俯瞰影像200。
所谓不改变显示朝向是指:保持使俯瞰影像100的纵向以及俯瞰影像 200的纵向与车辆的前后方向一致的状态。换言之,所谓不改变显示朝向是指:在成为横向长形状的俯瞰影像200中,在上侧配置前方影像201、在下侧配置后方影像202、在左侧配置左侧影像203、在右侧配置右侧影像204 的状态。由于通过不改变显示朝向来使俯瞰影像200的纵向与车辆的前后方向一致,因此能够保持横向长形状的俯瞰影像200的辨识性。
使用图18,对俯瞰影像200进行说明。图18是示出显示有通过第七实施方式涉及的俯瞰影像生成系统生成的横向长形状的俯瞰影像的显示面板的图。俯瞰影像200包含前方影像201、后方影像202、左侧影像203及右侧影像204。将由前方影像201、后方影像202、左侧影像203及右侧影像 204包围的范围称为俯瞰影像200的中央部。俯瞰影像200的中央部是俯瞰影像200中的车辆的位置。前方影像201、后方影像202、左侧影像203、右侧影像204与俯瞰影像200的中央部可以由框状的边界线210划分开。
使用图19、图20,对通过俯瞰影像生成部46A生成横向长形状的俯瞰影像200的方法进行说明。图19是说明在第七实施方式涉及的俯瞰影像生成系统中生成横向长形状的俯瞰影像的方法的图。图20是示出根据图19 的俯瞰影像生成的、横向长形状的俯瞰影像的一例的图。
在图19中,为了说明而图示有表示切出范围A1、切出范围A2、切出范围A3及切出范围A4的实线,但实际在显示面板31显示的俯瞰影像100 中该实线不被显示。对于其他的图,也是同样的。
在本实施方式中,俯瞰影像生成部46A生成将来自前方相机11或者后方相机12的周边影像的一部分以固定纵横比放大而成为横向长形状的俯瞰影像200。更详细地,俯瞰影像生成部46A从生成的纵向长形状的俯瞰影像100,生成将前方影像101的一部分和后方影像102的一部分以固定纵横比放大来成为横向长形状的俯瞰影像200。
俯瞰影像生成部46A根据俯瞰影像100的切出范围A1、切出范围A2、切出范围A3及切出范围A4生成横向长形状的俯瞰影像200。更详细地,俯瞰影像生成部46A将俯瞰影像100的切出范围A1、切出范围A2的纵横比固定并放大,生成与显示面板31的显示面的纵横比相匹配的横向长形状的俯瞰影像200。
切出范围A1是包含驾驶员需要确认的车辆的前方的范围的矩形的范围。切出范围A1包含俯瞰影像100的前方影像101的一部分、左侧影像 103的一部分以及右侧影像104的一部分。切出范围A1包含前方影像101 与左侧影像103的边界以及前方影像101与右侧影像104的边界。在本实施方式中,切出范围A1包含至距车辆的前端部几10cm左右的前方为止。在本实施方式中,切出范围A1包含至距车辆的左侧端部几10cm左右的左侧为止。在本实施方式中,切出范围A1包含至距车辆的右侧端部几10cm 左右的右侧为止。
切出范围A2是包含驾驶员需要确认的车辆的后方的范围的矩形的范围。切出范围A2包含俯瞰影像100的后方影像102的一部分、左侧影像 103的一部分以及右侧影像104的一部分。切出范围A2包含后方影像102 与左侧影像103的边界以及后方影像102与右侧影像104的边界。在本实施方式中,切出范围A2包含至距车辆的后端部几10cm左右的后方为止。在本实施方式中,切出范围A2包含至距车辆的左侧端部几10cm左右的左侧为止。在本实施方式中,切出范围A2包含至距车辆的右侧端部几10cm 左右的右侧为止。在本实施方式中,切出范围A2与切出范围A1具有相同形状、相同面积。
切出范围A3是位于俯瞰影像100的切出范围A1与切出范围A2之间的矩形的范围。在本实施方式中,切出范围A3包含至距车辆的左侧端部几 10cm左右的左侧为止。切出范围A3的左侧端部与切出范围A1的左侧端部和切出范围A2的左侧端部位于相同直线上。
切出范围A4是位于俯瞰影像100的切出范围A1和切出范围A2之间的矩形的范围。在本实施方式中,切出范围A4包含至距车辆的右侧端部几 10cm左右的右侧为止。切出范围A4的右侧端部与切出范围A1的右侧端部和切出范围A2的右侧端部位于相同直线上。在本实施方式中,切出范围 A4与切出范围A3具有相同形状、相同面积。
这样的从俯瞰影像100生成的、横向长形状的俯瞰影像200包含切出范围A1的影像211、切出范围A2的影像212、切出范围A3的影像213、切出范围A4的影像214。
影像211是将俯瞰影像100的切出范围A1的影像固定纵横比、横向宽度扩大到与显示面板31的横向宽度相同宽度的影像。在图20中,影像211 所显示的树木的影像是将在图19所示的俯瞰影像100的切出范围A1显示的树木的影像固定纵横比并放大而成的影像。
影像212是将俯瞰影像100的切出范围A2的影像固定纵横比、横向宽度扩大到与显示面板31的横向宽度相同的宽度的影像。在图20中,显示在影像212的树木的影像成为将显示在图19所示的俯瞰影像100的切出范围A2的树木的影像固定纵横比并放大的影像。
影像213是将俯瞰影像100的切出范围A3的影像以与影像211和影像 212的边界圆滑地连续的方式与显示面板31相匹配地改变大小和形状的影像。例如,影像213可以是将俯瞰影像100的切出范围A3的影像在纵向上压缩、在横向上放大后的影像。
影像214是将俯瞰影像100的切出范围A4的影像以与影像211和影像 212的边界圆滑地连续的方式与显示面板31相匹配地改变大小和形状的影像。例如,影像214可以是将俯瞰影像100的切出范围A4的影像在纵向上压缩、在横向上放大后的影像。
俯瞰影像200包含前方影像201、后方影像202、左侧影像203及右侧影像204。前方影像201是影像211的一部分。后方影像202是影像212的一部分。左侧影像203包含影像211的左下部、影像212的左上部和影像 213。右侧影像204包含影像211的右下部、影像212的右上部和影像214。
影像合成部47A生成俯瞰影像100、俯瞰影像220,该俯瞰影像100、俯瞰影像200在由俯瞰影像生成部46A生成的俯瞰影像100、俯瞰影像200 的中央部合成了来自与障碍物信息获取部43检测出障碍物的方向对应的、前方相机11或者后方相机12或者左侧相机13或者右侧相机14的周边影像而得的影像。要合成的、来自前方相机11或者后方相机12或者左侧相机13或者右侧相机14的周边影像为视点转换前的影像。影像合成部47A 将生成的俯瞰影像100、俯瞰影像200输出给显示控制部48。
在本实施方式中,在障碍物信息获取部43检测出障碍物的方向是车辆的左方或者右方的情况下,影像合成部47A生成在俯瞰影像100的中央部合成了来自与检测出障碍物的方向对应的、左侧相机13或者右侧相机14 的纵向长形状的周边影像的俯瞰影像100。被合成到俯瞰影像100的中央部的周边影像是没有进行视点转换处理的周边影像。影像合成部47A也可以将俯瞰影像100的边界线110中的、检测出障碍物的方向上的线变粗或者改变颜色来显示。
例如,在检测出了障碍物的方向是左方的情况下,如图17所示,影像合成部47A在俯瞰影像100的中央部合成来自左侧相机13的纵向长形状的周边影像103A。在俯瞰影像100的左侧影像103和周边影像103A中包含有后方的障碍物的障碍物影像300。俯瞰影像100的左侧的边界线110A 是粗线。
在本实施方式中,在障碍物信息获取部43检测出障碍物的方向是车辆的前方或者后方的情况下,影像合成部47A生成在横向长形状的俯瞰影像 200的中央部合成来自与检测出障碍物的方向对应的、前方相机11或者后方相机12的横向长形状的周边影像的俯瞰影像200。被合成到俯瞰影像200 的中央部的周边影像是没有进行视点转换处理的周边影像。影像合成部47A 可以将俯瞰影像200的边界线210中的、检测出障碍物的方向上的线变粗或者改变颜色来显示。
例如,在检测出障碍物的方向是后方的情况下,如图18所示,影像合成部47A在俯瞰影像200的中央部合成来自后方相机12的横向长形状的周边影像202A。在俯瞰影像200的后方影像202和周边影像202A中包含有后方的障碍物的障碍物影像300。俯瞰影像200的下侧的边界线210A是粗线。
接着,使用图21,对俯瞰影像生成系统1A的俯瞰影像生成装置40A 中的处理的流程进行说明。图21是示出第七实施方式涉及的俯瞰影像生成系统的俯瞰影像生成装置中的处理的流程的流程图。
控制部41A判断是否开始显示俯瞰影像(步骤ST11)。在本实施方式中,控制部41A基于有无后退触发来判断是否开始显示俯瞰影像。所谓后退触发是指例如换档位置被设为“倒车”的情况。或者,所谓后退触发是指车辆的行进方向变为车辆的后方的情况。控制部41A在没有后退触发的情况下判断为不开始俯瞰影像显示(在步骤ST11中为“否”),再次执行步骤ST11的处理。控制部41A在有后退触发的情况下判断为开始俯瞰影像显示(在步骤ST11中为“是”),并进入到步骤ST12。
控制部41A生成俯瞰影像100并显示(步骤ST12)。更详细地,控制部41A通过俯瞰影像生成部46A生成俯瞰影像100,该俯瞰影像100是从由影像获取部42获取的周边影像以从上往下观看车辆的方式进行了视点转换处理的影像。然后,控制部41A通过显示控制部48使显示面板31显示所生成的俯瞰影像100。
控制部41A判断是否检测出了障碍物(步骤ST13)。更详细地,控制部41A判断是否通过障碍物信息获取部43获取到了障碍物信息。控制部 41A在判断为通过障碍物信息获取部43获取到了障碍物信息的情况下(在步骤ST13中为“是”),进入到步骤ST14。控制部41A在判断为没有通过障碍物信息获取部43获取到障碍物信息的情况下(在步骤ST13中为“否”),进入到步骤ST17。
在本实施方式中,控制部41A基于障碍物信息获取部43所获取的障碍物信息,判断是否检测出了位于车辆的行进方向上的障碍物。所谓位于车辆的行进方向是指随着车辆的行进而距车辆的距离减少的方向,包含随着车辆的行进而障碍物对车辆产生干扰的范围。具体而言,控制部41A在随着车辆的行进而车辆在行进方向上直行的情况下,判断在以车辆的行进方向为中心的范围内有没有检测出障碍物,在车辆一边转向一边行进的情况下,根据车辆的行进方向以及转向,判断在包含障碍物对车辆干扰的范围的范围内有没有检测出障碍物。
控制部41A判断障碍物的检测方向是否是左方或者右方(步骤ST14)。在本实施方式中,控制部41A基于障碍物信息获取部43所获取的障碍物信息,判断距车辆的距离最小的障碍物的检测方向是否是车辆的左方或者右方。更详细地,控制部41A判断障碍物信息获取部43所获取的距车辆的距离最小的障碍物的障碍物信息是否是来自左侧传感器23或者右侧传感器24 的障碍物信息。
控制部41A在判断为距车辆的距离最小的障碍物的障碍物信息是来自左侧传感器23或者右侧传感器24的障碍物信息的情况下(在步骤ST14中为“是”),进入到步骤ST15。控制部41A在判断为距车辆的距离最小的障碍物的障碍物信息不是来自左侧传感器23或者右侧传感器24的障碍物信息的情况下(在步骤ST14中为“否”),进入到步骤ST16。
控制部41A生成在俯瞰影像100的中央部显示了障碍物检测方向的周边影像的俯瞰影像100(步骤ST15)。更详细地,控制部41通过影像合成部47A生成在俯瞰影像生成部46A生成的俯瞰影像100的中央部合成了来自与检测出距车辆的距离最小的障碍物的方向对应的、左侧相机13或者右侧相机14的纵向长形状的周边影像的俯瞰影像100。然后,控制部41A通过显示控制部48使显示面板31显示所生成的俯瞰影像100。
控制部41A生成在横向长形状的俯瞰影像200的中央部显示了障碍物检测方向的周边影像的俯瞰影像200(步骤ST16)。更详细地,控制部41A 通过俯瞰影像生成部46A生成不改变在步骤ST12中生成的俯瞰影像100 的显示朝向而使其成为横向长形状的俯瞰影像200。然后,控制部41A通过影像合成部47A生成在横向长形状的俯瞰影像200的中央部合成了来自与检测出距车辆的距离最小的障碍物的方向对应的、前方相机11或者后方相机12的横向长形状的周边影像的俯瞰影像200。然后,控制部41A通过显示控制部48使显示面板31显示所生成的横向长形状的俯瞰影像200。
控制部41A判断是否继续进行俯瞰影像显示(步骤ST17)。更详细地,控制部41A基于有无后退触发来判断是否继续进行俯瞰影像显示。控制部 41A在有后退触发的情况下判断为继续进行俯瞰影像显示(在步骤ST17中为“是”),返回到步骤ST13继续处理。控制部41A在没有后退触发的情况下、换言之在后退触发被解除的情况下,判断为不继续进行俯瞰影像显示 (在步骤ST17为“否”),结束处理。
通过如此,俯瞰影像生成系统1A当在车辆的左方或者右方检测出障碍物时,生成在俯瞰影像100的中央部合成了来自与检测出障碍物的方向对应的、左侧相机13或者右侧相机14的纵向长形状的周边影像的俯瞰影像 100。
俯瞰影像生成系统1A当在车辆的前方或者后方检测出障碍物时,生成在横向长形状的俯瞰影像200的中央部合成了来自与检测出障碍物的方向对应的、前方相机11或者后方相机12的横向长形状的周边影像的俯瞰影像200。
如上所述,本实施方式生成在俯瞰影像100、俯瞰影像200的中央部合成了与检测出障碍物的方向对应的周边影像的俯瞰影像100、俯瞰影像200。由此,本实施方式不进行大的视线的移动也能够与俯瞰影像100、俯瞰影像 200一起确认检测出障碍物的方向上的周边影像。如此,本实施方式能够抑制驾驶员的视线的移动,并能够适当地确认车辆周边的障碍物。
在本实施方式中,当在车辆的左方或者右方检测出障碍物时,生成在俯瞰影像100的中央部合成了来自与检测出障碍物的方向对应的、左侧相机 13或者右侧相机14的纵向长形状的周边影像的俯瞰影像100。在本实施方式中,当在车辆的前方或者后方检测出障碍物时,生成在横向长形状的俯瞰影像200的中央部合成了来自与检测出障碍物的方向对应的、前方相机11 或者后方相机12的周边影像的俯瞰影像200。如此,在本实施方式中,能够不依赖于障碍物的检测方向,而保持使俯瞰影像100的纵向以及俯瞰影像200的纵向与车辆的前后方向相匹配的状态。因此,根据本实施方式,在驾驶员确认了俯瞰影像100或者俯瞰影像200时,能够容易地确认车辆的周边。
在本实施方式中,当在车辆的前方或者后方检测出障碍物时,生成俯瞰影像200并显示在显示面板31上,该俯瞰影像200是在横向长形状的俯瞰影像200的中央部合成了来自与检测出障碍物的方向对应的周边影像而得的影像。在本实施方式中,能够将成为横向长形状的俯瞰影像200显示在显示面板31的显示面的整个面上。由此,在本实施方式中,当在车辆的前方或者后方检测出了障碍物的情况下,能够在俯瞰影像200的中央部较大地显示周边影像。
在本实施方式中,俯瞰影像200的影像211与俯瞰影像100的切出范围A1的影像的纵横比是相同的。换言之,俯瞰影像200的前方影像201与俯瞰影像100的切出范围A1的影像的纵横比是相同的。俯瞰影像200的影像212与俯瞰影像100的切出范围A2的影像的纵横比是相同的。换言之,俯瞰影像200的后方影像202与俯瞰影像100的切出范围A2的影像的纵横比是相同的。如此,在本实施方式中,俯瞰影像200的前方影像201和后方影像202的纵横比不改变,没有发生变形。因此,根据本实施方式,驾驶员能够没有不舒适感地确认俯瞰影像200的前方影像201和后方影像202。
[第八实施方式]
参照图22、图23,对本实施方式涉及的俯瞰影像生成系统1A进行说明。图22是说明第八实施方式涉及的俯瞰影像生成系统中的、横向长形状的俯瞰影像的生成方法的图。图23是示出从图22的俯瞰影像生成的、横向长形状的俯瞰影像的一例的图。俯瞰影像生成系统1A的基本的构成与第七实施方式的俯瞰影像生成系统1A是同样的。本实施方式的俯瞰影像生成系统1A通过俯瞰影像生成部46A生成横向长形状的俯瞰影像200的方法与第七实施方式的俯瞰影像生成系统1A不同。
在基于障碍物信息获取部43所获取的障碍物信息判断为检测出障碍物的方向是车辆的前方或者后方的情况下,俯瞰影像生成部46A生成将来自前方相机11或者后方相机12的周边影像在纵向上压缩、使其成为横向长形状的俯瞰影像200。更详细地,俯瞰影像生成部46A从所生成的纵向长形状的俯瞰影像100生成将前方影像101和后方影像102在纵向上压缩、使其成为横向长形状的俯瞰影像200。
图22所示的切出范围A1具有与俯瞰影像100的前方影像101的纵向的宽度相同的纵向的宽度。切出范围A1包含前方影像101与左侧影像103 的边界以及前方影像101与右侧影像104的边界。切出范围A1包含至距车辆的左侧端部几10cm左右的左侧为止。切出范围A1包含至距车辆的右侧端部几10cm左右的右侧为止。
切出范围A2具有与俯瞰影像100的后方影像102的纵向的宽度相同的纵向的宽度。切出范围A2包含后方影像102与左侧影像103的边界以及后方影像102与右侧影像104的边界。切出范围A2包含至距车辆的左侧端部几10cm左右的左侧为止。切出范围A2包含至距车辆的右侧端部几10cm 左右的右侧为止。切出范围A2与切出范围A1具有相同形状、相同面积。
切出范围A3和切出范围A4与第七实施方式是同样的。
俯瞰影像生成部46A生成将俯瞰影像100的切出范围A1和切出范围 A2在纵向上压缩,使其与显示面板31的显示面的纵横比相匹配的横向长形状的俯瞰影像200。
对这样的从俯瞰影像100生成的、横向长形状的俯瞰影像200进行说明。
影像211是将俯瞰影像100的切出范围A1的影像在纵向上压缩后的影像。在图23中,显示在影像211的树木的影像成为将显示在图22所示的俯瞰影像100的切出范围A1中的树木的影像在纵向上压缩而得影像。显示在影像211的树木的影像包含有在俯瞰影像100的前方影像101中显示的树木的整体影像。
影像212是将俯瞰影像100的切出范围A2的影像在纵向上压缩而得的影像。在图23中,显示在影像212的树木的影像成为将显示在图22所示的俯瞰影像100的切出范围A2中的树木的影像在纵向上压缩而得影像。显示在影像212的树木的影像包含有在俯瞰影像100的后方影像102上显示的树木的整体影像。
影像213和影像214与第七实施方式是同样的。
如上所述,根据本实施方式,俯瞰影像200的影像211是将俯瞰影像 100的切出范围A1的影像在纵向上压缩而得的影像。俯瞰影像200的影像 211包含前方影像101的纵向的整体。在本实施方式中,俯瞰影像200的影像212是将俯瞰影像100的切出范围A2的影像在纵向上压缩而得的影像。俯瞰影像200的影像212包含后方影像102的纵向的整体。因此,根据本实施方式,驾驶员能够通过俯瞰影像200确认与俯瞰影像100的前方影像 101的纵向和后方影像102的纵向相同的范围。
[第九实施方式]
参照图24、图25,对本实施方式涉及的俯瞰影像生成系统1A进行说明。图24是说明第九实施方式涉及的俯瞰影像生成系统中的、横向长形状的俯瞰影像的生成方法的图。图25是示出从图24的俯瞰影像生成的、横向长形状的俯瞰影像的一例的图。本实施方式的俯瞰影像生成系统1A通过俯瞰影像生成部46A生成横向长形状的俯瞰影像200的方法与第七实施方式的俯瞰影像生成系统1A不同。
在基于障碍物信息获取部43所获取的障碍物信息判断为检测出障碍物的方向是车辆的前方或者后方的情况下,俯瞰影像生成部46A生成俯瞰影像200,该俯瞰影像200是将来自左侧相机13或者右侧相机14的纵向长形状的周边影像在纵向上压缩、使其成为横向长形状而得的影像。更详细地,俯瞰影像生成部46A将所生成的俯瞰影像100的切出范围A3和切出范围 A4在纵向上压缩并生成俯瞰影像200。
图24所示的切出范围A3具有与俯瞰影像100的左侧影像103的横向宽度相同的横向宽度。切出范围A3包含左侧影像103与前方影像101的边界以及左侧影像103与后方影像102的边界。切出范围A3包含至距车辆的前端部几m左右的前方为止。切出范围A3包含至距车辆的后端部几m左右的后方为止。
切出范围A4具有与俯瞰影像100的右侧影像104的横向宽度相同的横向宽度。切出范围A4包含右侧影像104与前方影像101的边界以及右侧影像104与后方影像102的边界。切出范围A4包含至距车辆的前端部几m 左右的前方为止。切出范围A4包含至距车辆的后端部几m左右的后方为止。切出范围A4与切出范围A3具有相同形状、相同面积。
切出范围A1是位于切出范围A3与切出范围A4之间的矩形的范围。切出范围A1包含至距车辆的前端部几m左右的前方为止。切出范围A1的前端部与切出范围A3的前端部和切出范围A4的前端部位于相同直线上。
切出范围A2是位于切出范围A3与切出范围A4之间的矩形的范围。切出范围A2包含至距车辆的前端部几m左右的前方为止。切出范围A2的前端部与切出范围A3的前端部和切出范围A4的前端部位于相同直线上。
俯瞰影像生成部46A生成将所生成的俯瞰影像100的切出范围A3和切出范围A4在纵向上压缩,并使其成为与显示面板31的显示面的纵横比相匹配的横向长形状的俯瞰影像200。
对这样的从俯瞰影像100生成的、横向长形状的俯瞰影像200进行说明。
影像213是将俯瞰影像100的切出范围A3的影像在纵向上压缩而得的影像。在图25中,显示在影像213的树木的影像成为将显示在俯瞰影像100 的切出范围A3中的树木的影像在纵向上压缩而得的影像。显示在影像213 上的树木的影像包含有在俯瞰影像100的左侧影像103中显示的树木的整体影像。
影像214是将俯瞰影像100的切出范围A4的影像在纵向上压缩而得的影像。在图25中,显示在影像214的树木的影像成为将显示在俯瞰影像100 的切出范围A4中的树木的影像在纵向上压缩而得的影像。显示在影像214 的树木的影像包含有在俯瞰影像100的右侧影像104中显示的树木的整体影像。
影像211是将俯瞰影像100的切出范围A1的影像以影像213和影像 214的边界圆滑地连续的方式与显示面板31相匹配地改变了大小和形状而得的影像。例如,影像211也可以是将俯瞰影像100的切出范围A1的影像在横向上放大而得的影像。
影像212是将俯瞰影像100的切出范围A2的影像以影像213和影像 214的边界圆滑地连续的方式与显示面板31相匹配地改变大小和形状而得的影像。例如,影像212也可以是将俯瞰影像100的切出范围A2的影像在横向上放大而得的影像。
如上述所示,根据本实施方式,俯瞰影像200的影像213是将俯瞰影像100的切出范围A3的影像在纵向上压缩而得的影像。俯瞰影像200的影像213包含左侧影像103的横向的整体。在本实施方式中,俯瞰影像200的影像214是将俯瞰影像100的切出范围A4的影像在纵向上压缩而得的影像。俯瞰影像200的影像214包含右侧影像104的横向的整体。因此,本根据实施方式,驾驶员能够通过俯瞰影像200确认与俯瞰影像100的左侧影像103的横向和右侧影像104的横向相同的范围。
[第十实施方式]
参照图26、图27,对本实施方式涉及的俯瞰影像生成系统1A进行说明。图26是说明在第十实施方式涉及的俯瞰影像生成系统中的、横向长形状的俯瞰影像的生成方法的图。图27是示出从图26的俯瞰影像生成的、横向长形状的俯瞰影像的一例的图。本实施方式的俯瞰影像生成系统1A通过俯瞰影像生成部46A生成横向长形状的俯瞰影像200的方法与第九实施方式的俯瞰影像生成系统1A不同。
在基于障碍物信息获取部43所获取的障碍物信息判断为检测出的障碍物的方向是车辆的前方或者后方的情况下,俯瞰影像生成部46A生成去除来自左侧相机13或者右侧相机14的纵向长形状的周边影像的中央部并将上部和下部合成、使其成为横向长形状的俯瞰影像200。
图26所示的切出范围A3包含上部A31、中央部A32、下部A33。上部A31包含左侧影像103与前方影像101的边界。下部A33包含左侧影像 103与后方影像102的边界。
切出范围A4包含上部A41、中央部A42、下部A43。上部A41包含右侧影像104与前方影像101的边界。下部A43包含右侧影像104与后方影像102的边界。切出范围A4与切出范围A3具有相同形状、相同面积。
切出范围A1和切出范围A2与第九实施方式是同样的。
俯瞰影像生成部46A生成俯瞰影像200,该俯瞰影像200是将生成的俯瞰影像100的切出范围A3的上部A31和下部A33合成、将切出范围A4 的上部A41和下部A43合成、并使其成为与显示面板31的显示面的纵横比相匹配的横向长形状而得的影像。
对这样的从俯瞰影像100生成的、横向长形状的俯瞰影像200进行说明。
影像213是去除了俯瞰影像100的切出范围A3的中央部A32的、将上部A31和下部A33合成而得的影像。在图27中,影像213成为不包含显示在图26所示的俯瞰影像100的切出范围A3的中央部A32中的树木的影像的影像。在影像213中,由于示出了省略俯瞰影像100的切出范围A3 的中央部A32的情况,因此可以在上部A31和下部A33的边界显示线。
影像214是去除了俯瞰影像100的切出范围A4的中央部A42的、将上部A41和下部A43合成而得的影像。在图27中,影像214成为不包含显示在图26所示的俯瞰影像100的切出范围A4的中央部A42中的树木的影像的影像。在影像214中,由于示出省略了俯瞰影像100的切出范围A4 的中央部A42的情况,因此可以在上部A41和下部A43的边界显示线。
影像211和影像212是与第九实施方式同样的。
如上所述,根据本实施方式,俯瞰影像200的影像213将去除了俯瞰影像100的切出范围A3的中央部A32后的上部A31和下部A33合成。由此,俯瞰影像200的影像213能够较大地显示俯瞰影像100的左侧影像103 的前方以及后方。俯瞰影像200的影像214将去除了俯瞰影像100的切出范围A4的中央部A42的上部A41和下部A43合成。由此,俯瞰影像200 的影像214能够较大地显示俯瞰影像100的右侧影像104的前方以及后方。
[第十一实施方式]
参照图28和图29,对本实施方式涉及的俯瞰影像生成系统1A进行说明。图28是说明第十一实施方式涉及的俯瞰影像生成系统中的、横向长形状的俯瞰影像的生成方法的图。图29是示出从图28的俯瞰影像生成的、横向长形状的俯瞰影像的一例的图。本实施方式的俯瞰影像生成系统1A通过俯瞰影像生成部46A生成横向长形状的俯瞰影像200的方法与第九实施方式的俯瞰影像生成系统1A不同。
在基于障碍物信息获取部43所获取的障碍物信息判断为检测出障碍物的方向是车辆的前方或者后方的情况下,俯瞰影像生成部46A生成俯瞰影像200,该俯瞰影像200是将来自左侧相机13以及右侧相机14的纵向长形状的周边影像偏重于检测出障碍物的方向、并使其成为横向长形状而得的影像。在本实施方式中,将检测出障碍物的方向设为后方来进行说明。
图28所示的切出范围A3是在俯瞰影像100的左侧影像103中偏重了障碍物的检测方向、即后方的范围。切出范围A3从俯瞰影像100的纵向的中央部起包含下侧。
切出范围A4是在俯瞰影像100的右侧影像104中偏重了障碍物的检测方向、即后方的范围。切出范围A4从纵向的中央部起包含下侧。切出范围 A4与切出范围A3具有相同形状、相同面积。
切出范围A5是位于俯瞰影像100的切出范围A3与切出范围A4之间的矩形的范围。切出范围A5的上端部与切出范围A3的上端部和切出范围 A4的上端部位于相同直线上。切出范围A5的下端部与切出范围A3的下端部和切出范围A4的下端部位于相同直线上。
俯瞰影像生成部46A从生成的俯瞰影像100的切出范围A3、切出范围 A4、切出范围A5生成使其成为与显示面板31的显示面的纵横比相匹配的横向长形状的俯瞰影像200。
对如此的从俯瞰影像100生成的、横向长形状的俯瞰影像200进行说明。
影像213是俯瞰影像100的切出范围A3的影像。在图29中,显示在影像213的树木的影像包含显示在图28所示的俯瞰影像100的切出范围A3中的树木的整体影像。
影像214是俯瞰影像100的切出范围A4的影像。在图29中,显示在影像214的树木的影像包含有显示在图28所示的俯瞰影像100的切出范围 A4中的树木的整体影像。
影像215是将俯瞰影像100的切出范围A5的影像以影像213与影像 214的边界圆滑地连续的方式与显示面板31相匹配地改变大小和形状而得的影像。例如,影像215可以是将俯瞰影像100的切出范围A5的影像横向放大而得的影像。
如上所述,在本实施方式中,在障碍物的检测方向是前方或者后方的情况下,生成将俯瞰影像100的左侧影像103与右侧影像104偏重于障碍物的检测方向、使其成为横向长形状的俯瞰影像200。由此,俯瞰影像200能够将俯瞰影像100中检测出障碍物的方向较大地显示。
[第十二实施方式]
对本实施方式涉及的俯瞰影像生成系统1A进行说明。本实施方式的俯瞰影像生成系统1A通过俯瞰影像生成部46A生成横向长形状的俯瞰影像 200的方法与第十一实施方式的俯瞰影像生成系统1A不同。
在基于障碍物信息获取部43所获取的障碍物信息判断为检测出障碍物的方向是车辆的前方或者后方的情况下,俯瞰影像生成部46A生成将来自左侧相机13或者右侧相机14的纵向长形状的周边影像偏重于车辆的行进方向、使其成为横向长形状的俯瞰影像200。
如上所述,在本实施方式中,在障碍物的检测方向是前方或者后方的情况下,生成将俯瞰影像100的左侧影像103和右侧影像104偏重于车辆的行进方向、使其成为横向长形状的俯瞰影像200。由此,俯瞰影像200能够较大地显示俯瞰影像100中的车辆的行进方向。
在此之前,对本发明涉及的俯瞰影像生成系统1进行了说明,但是除了上述的实施方式之外,也可以以各种不同的方式实施。
图示的俯瞰影像生成系统1的各构成要素是功能上示意的,可以不一定在物理上为如图示那样地被构成。即,各装置的具体方式不限于图示,可以根据各装置的处理负担、使用情况等将其全部或者一部分以任意的单位在功能上或者物理上分散或者合并。
俯瞰影像生成系统1的构成例如作为软件,通过加载到存储器的程序等实现。在上述实施方式中,作为通过这些硬件或软件协作而实现的功能块来进行了说明。即,对于这些功能块,能够通过仅硬件、仅软件或者它们的组合来以各种形式实现。
在上述的构成要素中包含本领域技术人样能够容易想到的、实质上相同的构成要素。并且,上述构成能够进行适当组合。另外,在不脱离本发明的主旨的范围内能够进行构成的各种省略、替换或者变更。
重叠影像生成部47例如在距最近的障碍物的距离小于预定阈值的情况下,可以在俯瞰影像100的中央影像105上与障碍物通知图标120一起将距障碍物的距离以数值进行显示。或者,重叠影像生成部47例如在距最近的障碍物的距离小于预定阈值的情况下,可以在俯瞰影像100的中央影像 105上与障碍物通知图标120一起显示根据距障碍物的距离而形状、颜色发生变化的图形。俯瞰影像生成系统1除了与距障碍物的距离相应的障碍物通知图标120的变化之外,还能通知距障碍物的距离。由此,俯瞰影像生成系统1能够更适当地确认车辆周边的障碍物。
在存在多个障碍物的情况下,控制部41可以针对优先级高的障碍物显示障碍物通知图标120。例如,关于优先级,可以将距障碍物的距离最小的设为最高优先级。或者,例如,关于优先级,可以将障碍物是运动物体的设为最高优先级。或者,例如,关于优先级,可以将障碍物是运动物体且最接近车辆的设为最高优先级。
在检测出障碍物是运动物体的情况下,可以在俯瞰影像100的中央影像105中显示表示是运动物体的图标。表示是运动物体的情况的图标例如可以是表示行人的图标、或表示是车辆的图标。由此,俯瞰影像生成系统1 能够更适当地确认车辆周边的障碍物。
虽然对障碍物通知图标120由三重弧状曲线构成的情况进行了说明,但并不限于此。障碍物通知图标120例如可以是示出障碍物的方向的箭头状的图形。在该情况下,障碍物通知图标120可以是根据距障碍物的距离改变了粗细、大小的箭头状的图形。
在本实施方式中,作为障碍物检测部、即传感器,设有左前方传感器21A、前方中央传感器21B、右前方传感器21C、左后方传感器22A、后方中央传感器22B、右后方传感器26这六个传感器,但是传感器的数目并不作限定。在希望更细化来检测障碍物的方向的情况下,可以增加传感器的数目。
在本实施方式中,障碍物通知图标120与传感器的数量对应,包含左前方图标121、前方中央图标122、右前方图标123、左后方图标124、后方中央图标125、右后方图标126,但并不限于此。换言之,障碍物通知图标120 只要使各传感器的检测结果和显示的图标对应起来即可。
在第八实施方式中,俯瞰影像生成部46可以生成将来自前方相机11或者后方相机12的周边影像的中央部在纵向上压缩、使其成为横向长形状的俯瞰影像200。使用图30、图31进行更详细地说明。图30是说明俯瞰影像生成系统中的、横向长形状的俯瞰影像的生成方法的其他的例子的图。图 31是示出从图30的俯瞰影像生成的、横向长形状的俯瞰影像的一例的图。俯瞰影像生成部46生成将俯瞰影像100的左侧影像103的中央部的切出范围A6和右侧影像104的中央部的切出范围A7在纵向上压缩、使其成为与显示面板31的显示面的纵横比相匹配的横向长形状的俯瞰影像200。
在本实施方式中,控制部41A在俯瞰影像100、俯瞰影像200的中央部合成与检测出距车辆的距离最小的障碍物的方向对应的周边影像,但合成的周边影像可以能够由用户选择。例如,可以合成用户在显示面板31的显示面上触摸的位置的俯瞰影像100、俯瞰影像200的周边影像。
控制部41A在障碍物的检测方向是前方或者后方的情况下,例如可以降低俯瞰影像200的左侧影像203和右侧影像204的颜色信息。或者,控制部41A在障碍物的检测方向是前方或者后方的情况下,例如可以将俯瞰影像200的左侧影像203和右侧影像204设为单色显示。或者,控制部41A 在障碍物的检测方向是前方或者后方的情况下,例如可以降低俯瞰影像200 的左侧影像203和右侧影像204的亮度。通过如此,能够使驾驶员识别俯瞰影像200的左侧影像203和右侧影像204的信息量被降低的情况。
在基于障碍物信息获取部43所获取的障碍物信息判断为检测出障碍物的方向是车辆的前方或者后方的情况下,俯瞰影像生成部46A可以生成将来自左侧相机13以及右侧相机14的周边影像设为不显示,而以来自前方相机11以及后方相机12的周边影像来使其成为横向长形状的俯瞰影像200。该情况下,驾驶员能够通过目视确认车辆的左右。
控制部41A例如可以通过有没有检测出对操作部的、俯瞰影像显示开始的操作来判断是否开始俯瞰影像显示。
在第七实施方式中,作为障碍物检测部、即传感器,具有前方传感器21、后方传感器22、左侧传感器23、右侧传感器24的四个传感器,但传感器的数目不作限定。在希望更细分检测障碍物的方向的情况下,可以增加传感器的数目。
符号说明
1 俯瞰影像生成系统
11 前方相机(相机)
12 后方相机(相机)
13 左侧相机(相机)
14 右侧相机(相机)
21A 左前方传感器(障碍物检测部)
21B 前方中央传感器(障碍物检测部)
21C 右前方传感器(障碍物检测部)
22A 左后方传感器(障碍物检测部)
22B 后方中央传感器(障碍物检测部)
22C 右后方传感器(障碍物检测部)
31 显示面板
40 俯瞰影像生成装置
41 控制部
42 影像获取部
43 障碍物信息获取部
44 车辆信息获取部
46 俯瞰影像生成部(影像生成部)
47 重叠影像生成部(影像生成部)
48 显示控制部
49 存储部
100 俯瞰影像
120 障碍物通知图标(表示障碍物的信息)
121 左前方图标(表示障碍物的信息)
122 前方中央图标(表示障碍物的信息)
123 右前方图标(表示障碍物的信息)
124 左后方图标(表示障碍物的信息)
125 后方中央图标(表示障碍物的信息)
126 右后方图标(表示障碍物的信息)
140 自身车辆图标。

Claims (9)

1.一种俯瞰影像生成装置,其中,具有:
影像获取部,获取拍摄车辆的周边而得的周边影像;
障碍物信息获取部,获取障碍物信息,所述障碍物信息包含距在所述车辆的周边检测到的障碍物的距离;
影像生成部,从所述影像获取部所获取的周边影像生成以从上往下看所述车辆的方式进行了视点转换处理的俯瞰影像;以及
显示控制部,使显示部显示所述影像生成部生成的俯瞰影像,
所述障碍物信息获取部获取在比作为所述俯瞰影像而显示的范围位于远方的范围内检测到的障碍物的障碍物信息,
若基于所述障碍物信息获取部获取的障碍物信息判断为距检测到的障碍物的距离比作为所述俯瞰影像而显示的范围位于远方,则所述影像生成部生成在由所述俯瞰影像包围的中央部显示表示所述车辆的自身车辆图标、并将表示所述障碍物信息的障碍物通知图标重叠在所述自身车辆的外侧的所述俯瞰影像上的俯瞰影像,若基于所述障碍物信息获取部获取的障碍物信息判断为距检测到的障碍物的距离位于作为所述俯瞰影像而显示的范围所包含的范围内,则所述影像生成部生成将所述障碍物通知图标重叠在由所述俯瞰影像包围的中央部的俯瞰影像。
2.如权利要求1所述的俯瞰影像生成装置,其中,
所述障碍物通知图标还表示检测到所述障碍物的方向。
3.如权利要求1所述的俯瞰影像生成装置,其中,
所述障碍物通知图标根据距检测到的障碍物的距离而变化。
4.如权利要求1所述的俯瞰影像生成装置,其中,
所述障碍物通知图标具有朝向检测到所述障碍物的方向的多个构成要素,通过所述多个构成要素的间隔来表示距所述障碍物的距离,
所述影像生成部基于距检测到的障碍物的距离来使所述多个构成要素的间隔发生变化。
5.如权利要求1所述的俯瞰影像生成装置,其中,
所述障碍物信息获取部获取包含所检测到的障碍物的水平方向宽度的障碍物信息,
所述障碍物通知图标包含表示所检测到的障碍物的水平方向宽度的信息,
所述影像生成部基于所述障碍物信息获取部所获取的障碍物信息,生成将所述障碍物通知图标的宽度作为与所检测到的障碍物的水平方向宽度对应的宽度而重叠在由所述俯瞰影像包围的中央部的俯瞰影像。
6.如权利要求1所述的俯瞰影像生成装置,其中,
所述影像生成部基于所述障碍物信息获取部所获取的障碍物信息,对位于所述车辆的行进方向上的所述障碍物,生成将所述障碍物通知图标重叠在由所述俯瞰影像包围的中央部的俯瞰影像。
7.一种俯瞰影像生成系统,包括:
权利要求1所述的俯瞰影像生成装置;以及
拍摄所述车辆的周边并向所述影像获取部提供周边影像的相机、在所述车辆的周边检测障碍物并向所述障碍物信息获取部提供障碍物信息的障碍物检测部以及所述显示部中的至少一者。
8.一种俯瞰影像生成方法,其中,具有:
影像获取步骤,获取拍摄车辆的周边而得的周边影像;
障碍物信息获取步骤,获取障碍物信息,所述障碍物信息包含距在所述车辆的周边检测到的障碍物的距离;
影像生成步骤,从所述影像获取步骤所获取的周边影像生成以从上往下看所述车辆的方式进行了视点转换处理的俯瞰影像;以及
显示控制部步骤,使显示部显示在所述影像生成步骤中生成的俯瞰影像,
在所述障碍物信息获取步骤中,获取在比作为所述俯瞰影像而显示的范围位于远方的范围内检测到的障碍物的障碍物信息,
在所述影像生成步骤中,若基于所述障碍物信息获取步骤中获取的障碍物信息判断为距检测到的障碍物的距离比作为所述俯瞰影像而显示的范围位于远方,则生成在由所述俯瞰影像包围的中央部显示表示所述车辆的自身车辆图标、并将表示所述障碍物信息的障碍物通知图标重叠在所述自身车辆的外侧的所述俯瞰影像上的俯瞰影像,若基于所述障碍物信息获取步骤中获取的障碍物信息判断为距检测到的障碍物的距离位于作为所述俯瞰影像而显示的范围所包含的范围内,则生成将所述障碍物通知图标重叠在由所述俯瞰影像包围的中央部的俯瞰影像。
9.一种存储介质,所述存储介质存储有计算机程序,所述计算机程序用于使作为俯瞰影像生成装置而进行动作的计算机执行以下步骤:
影像获取步骤,获取拍摄车辆的周边而得的周边影像;
障碍物信息获取步骤,获取障碍物信息,所述障碍物信息包含距在所述车辆的周边检测到的障碍物的距离;
影像生成步骤,从在所述影像获取步骤获取的周边影像生成以从上往下看所述车辆的方式进行了视点转换处理的俯瞰影像;以及
显示控制部步骤,使显示部显示在所述影像生成步骤中生成的俯瞰影像,
在所述障碍物信息获取步骤中,获取在比作为所述俯瞰影像而显示的范围位于远方的范围内检测到的障碍物的障碍物信息,
在所述影像生成步骤中,若基于所述障碍物信息获取步骤中获取的障碍物信息判断为距检测到的障碍物的距离比作为所述俯瞰影像而显示的范围位于远方,则生成在由所述俯瞰影像包围的中央部显示表示所述车辆的自身车辆图标、并将表示所述障碍物信息的障碍物通知图标重叠在所述自身车辆的外侧的所述俯瞰影像上的俯瞰影像,若基于所述障碍物信息获取步骤中获取的障碍物信息判断为距检测到的障碍物的距离位于作为所述俯瞰影像而显示的范围所包含的范围内,则生成将所述障碍物通知图标重叠在由所述俯瞰影像包围的中央部的俯瞰影像。
CN201780023741.3A 2016-09-20 2017-07-04 俯瞰影像生成装置、系统、方法以及存储介质 Active CN109076195B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2016-183103 2016-09-20
JP2016183103 2016-09-20
JP2016184461A JP6644264B2 (ja) 2016-09-21 2016-09-21 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2016-184461 2016-09-21
JP2017073368A JP6730617B2 (ja) 2016-09-20 2017-04-03 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2017-073368 2017-04-03
PCT/JP2017/024558 WO2018055873A1 (ja) 2016-09-20 2017-07-04 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム

Publications (2)

Publication Number Publication Date
CN109076195A CN109076195A (zh) 2018-12-21
CN109076195B true CN109076195B (zh) 2021-03-05

Family

ID=64831283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780023741.3A Active CN109076195B (zh) 2016-09-20 2017-07-04 俯瞰影像生成装置、系统、方法以及存储介质

Country Status (3)

Country Link
US (1) US10587801B2 (zh)
EP (1) EP3462733B1 (zh)
CN (1) CN109076195B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019026332A1 (ja) * 2017-07-31 2019-02-07 株式会社Jvcケンウッド 俯瞰映像生成装置、俯瞰映像生成方法およびプログラム
JP7113348B2 (ja) * 2018-03-15 2022-08-05 パナソニックIpマネジメント株式会社 車両周辺表示システム、表示制御装置およびコンピュータプログラム
JP7147248B2 (ja) 2018-04-27 2022-10-05 株式会社タダノ クレーン車
JP6696558B1 (ja) * 2018-12-26 2020-05-20 株式会社Jvcケンウッド 車両用記録制御装置、車両用記録装置、車両用記録制御方法およびプログラム
TWM593949U (zh) * 2019-04-19 2020-04-21 帷享科技股份有限公司 用於車輛之影像整合警示系統
DE102019117689A1 (de) * 2019-07-01 2021-01-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Steuereinheit zur Darstellung einer Verkehrssituation durch Ausblenden von Verkehrsteilnehmer-Symbolen
KR20220052172A (ko) * 2020-10-20 2022-04-27 현대모비스 주식회사 서라운드뷰 모니터링 시스템 및 그 제공 방법
CN112132829A (zh) * 2020-10-23 2020-12-25 北京百度网讯科技有限公司 车辆信息的检测方法、装置、电子设备和存储介质
WO2022164435A1 (en) * 2021-01-27 2022-08-04 The Heil Co. Video display for refuse collection
US20230256985A1 (en) * 2022-02-14 2023-08-17 Continental Advanced Lidar Solutions Us, Llc Method and system for avoiding vehicle undercarriage collisions

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101489117A (zh) * 2005-06-07 2009-07-22 日产自动车株式会社 图像显示装置和方法
EP2410741A1 (en) * 1999-04-16 2012-01-25 Panasonic Corporation Image processing apparatus and monitoring system
CN103596812A (zh) * 2011-06-27 2014-02-19 歌乐株式会社 停车辅助装置
CN105242276A (zh) * 2015-09-15 2016-01-13 清华大学苏州汽车研究院(吴江) 一种基于超声波传感器的泊车辅助系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9036026B2 (en) * 2009-06-12 2015-05-19 Magna Electronics Scalable integrated electronic control unit for vehicle
JP5408198B2 (ja) 2011-08-01 2014-02-05 日産自動車株式会社 映像表示装置及び映像表示方法
JP5872517B2 (ja) 2013-10-04 2016-03-01 本田技研工業株式会社 車両周辺表示装置
US20180022357A1 (en) * 2016-07-19 2018-01-25 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Driving recorder system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2410741A1 (en) * 1999-04-16 2012-01-25 Panasonic Corporation Image processing apparatus and monitoring system
CN101489117A (zh) * 2005-06-07 2009-07-22 日产自动车株式会社 图像显示装置和方法
CN103596812A (zh) * 2011-06-27 2014-02-19 歌乐株式会社 停车辅助装置
CN105242276A (zh) * 2015-09-15 2016-01-13 清华大学苏州汽车研究院(吴江) 一种基于超声波传感器的泊车辅助系统

Also Published As

Publication number Publication date
EP3462733A1 (en) 2019-04-03
EP3462733A4 (en) 2019-07-17
EP3462733B1 (en) 2021-03-10
US10587801B2 (en) 2020-03-10
CN109076195A (zh) 2018-12-21
US20190116315A1 (en) 2019-04-18

Similar Documents

Publication Publication Date Title
CN109076195B (zh) 俯瞰影像生成装置、系统、方法以及存储介质
EP3125212A1 (en) Vehicle warning device
JP6379779B2 (ja) 車両用表示装置
JP5689872B2 (ja) 車両の周辺監視装置
JP6669019B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP7077616B2 (ja) 表示制御装置および表示制御方法
JP7196881B2 (ja) 俯瞰映像生成装置および俯瞰映像生成方法
JP6277933B2 (ja) 表示制御装置、表示システム
WO2017110144A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JPWO2013046593A1 (ja) 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム
CN107004250B (zh) 图像生成装置及图像生成方法
JPWO2013046408A1 (ja) 画像表示装置及び画像表示方法
WO2018159016A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
CN116567399A (zh) 周边检查装置
JP6730606B2 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2016070951A (ja) 表示装置、制御方法、プログラム、及び記憶媒体
WO2018055873A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2010009491A (ja) 運転支援装置、運転支援方法、及び運転支援プログラム
EP3817373B1 (en) Overhead image generation apparatus, overhead image generation method, and program
JP2005217482A (ja) 車両周辺監視方法および装置
JP4598011B2 (ja) 車両用表示装置
JP2019156235A (ja) 表示制御装置、撮像装置、カメラモニタリングシステムおよびコンピュータプログラム
JP7379946B2 (ja) 表示装置
JP7379945B2 (ja) 表示装置
JP2018050180A (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant