CN109070799A - 移动体周围显示方法及移动体周围显示装置 - Google Patents

移动体周围显示方法及移动体周围显示装置 Download PDF

Info

Publication number
CN109070799A
CN109070799A CN201680084502.4A CN201680084502A CN109070799A CN 109070799 A CN109070799 A CN 109070799A CN 201680084502 A CN201680084502 A CN 201680084502A CN 109070799 A CN109070799 A CN 109070799A
Authority
CN
China
Prior art keywords
attention
moving body
dimensions
vehicle
around
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680084502.4A
Other languages
English (en)
Other versions
CN109070799B (zh
Inventor
草柳佳纪
柳拓良
渡边省吾
岸则政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN109070799A publication Critical patent/CN109070799A/zh
Application granted granted Critical
Publication of CN109070799B publication Critical patent/CN109070799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种移动体周围显示装置的移动体周围显示方法，该移动体周围显示装置具备：通过摄像取得移动体的周围信息的摄像元件、制作周围信息的摄像图像和表示移动体的周围状况的虚拟图像的控制器(40)、显示虚拟图像的显示器(50)，其中，在移动体的周围检测注意范围，制作注意范围的摄像图像，将注意范围的摄像图像显示在显示器(50)。

Description

移动体周围显示方法及移动体周围显示装置
技术领域
本发明涉及移动体周围显示方法及移动体周围显示装置。
背景技术
目前，已知有检测车辆前进方向的注意对象物，并将检测出的注意对象物通知给驾驶员的技术。在专利文献1中，将注意对象物显示在平视显示器(head up display)上。
现有技术文献
专利文献
专利文献1：日本特开2001－23091号公报
发明所要解决的问题
然而，在专利文献1中，由于将注意对象物图标化并显示于平视显示器中，所以在注意对象物的属性(老年人或孩子)、视线方向等平常的驾驶中乘客(乘坐人员)凭经验取得的信息会丢失。
发明内容
本发明是鉴于上述问题而创建的，其目的在于，提供能够详细地通知想要促使乘客注意的信息的移动体周围显示方法及移动体周围显示装置。
用于解决问题的技术方案
本发明一方式的驾驶辅助方法通过摄像取得移动体的周围信息，制作表示取得的周围信息的摄像图像和移动体的周围状况的虚拟图像，在移动体的周围检测注意范围，并制作检测的注意范围的摄像图像，将注意范围的摄像图像显示在显示器。
发明效果
根据本发明，由于将注意范围的摄像图像显示在显示器，因此，能够详细地通知希望促使乘客注意的信息。
附图说明
图1是本发明的第一实施方式的移动体周围显示装置的构成图；
图2(a)、图2(b)是对本发明的第一实施方式的虚拟图像和摄像机图像的合成的一例进行说明的图；
图3(a)、图3(b)及图3(c)是对本发明的第一实施方式的虚拟图像和摄像机图像的合成的另一例子进行说明的图；
图4(a)、图4(b)及图4(c)是对本发明的第一实施方式的虚拟图像和摄像机图像的合成的又一例子进行说明的图；
图5是对本发明的第一实施方式的虚拟图像和摄像机图像的合成的又一例子进行说明的图；
图6是说明本发明的第一实施方式的移动体周围显示装置的动作例的流程图；
图7是本发明的第二实施方式的移动体周围显示装置的构成图；
图8是对本发明的第二实施方式的虚拟图像和摄像机图像的合成进行说明的图；
图9是对本发明的第二实施方式的虚拟图像和摄像机图像的合成的一例进行说明的图；
图10是对本发明的第二实施方式的虚拟图像和摄像机图像的合成的另一例子进行说明的图；
图11是说明本发明的第二实施方式的移动体周围显示装置的动作例的流程图；
图12是本发明的第三实施方式的移动体周围显示装置的构成图；
图13是对本发明的第三实施方式的虚拟图像和摄像机图像的合成的一例进行说明的图；
图14是对本发明的第三实施方式的虚拟图像和摄像机图像的合成的另一例子进行说明的图；
图15是对本发明的第三实施方式的虚拟图像和摄像机图像的合成的又一例子进行说明的图；
图16是说明本发明的第三实施方式的移动体周围显示装置的动作例的流程图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。在附图的记述中，在相同的部分附加相同的符号并省略说明。
[第一实施方式]
参照图1，对第一实施方式的移动体周围显示装置1进行说明。如图1所示，移动体周围显示装置1具备环境检测部10、前摄像机20、右摄像机21、左摄像机22、后摄像机23、控制器40、显示器50。此外，移动体周围显示装置1是用于主要具备自动驾驶功能的自动驾驶车辆的装置。
环境检测部10是检测本车周围的环境的装置，例如是激光测距仪。激光测距仪检测存在于本车周围(例如30m以内)的障碍物(行人、自行车、两轮车、其它车辆等)。另外，作为环境检测部10，也可以使用红外线传感器、超声波传感器等，也可以组合它们而构成。另外，作为环境检测部10，也可以构成为包括后述的前摄像机20、后摄像机23等，也可以构成为包括其它的摄像机。另外，环境检测部10也可以构成为包括GPS接收器。环境检测部10能够将通过GPS接收器接收的本车位置信息发送到云端，从云端取得本车周围的地图信息。环境检测部10将检测到的环境信息输出到控制器40。进而，环境检测部10未必设置于本车辆，也可以通过无线通信取得在车外配备的传感器检测到的数据。即，环境检测部10也可以通过与其它车辆的无线通信(车车间通信)、或者与障碍物、交叉路口的无线通信(路车间通信)，检测出本车周围的环境。
前摄像机20、右摄像机21、左摄像机22、后摄像机23分别是具有CCD(charge－coupled device)、CMOS(complementary metal oxide semiconductor)等摄像元件的摄像机。在以下的说明中，将前摄像机20、右摄像机21、左摄像机22、后摄像机23这四个摄像机统称为“车辆摄像机20～23”。车辆摄像机20～23分别通过拍摄本车辆的前方、右侧方、左侧方、后方而取得本车周围的信息，将取得的周围信息输出到控制器40。
控制器40是处理从环境检测部10和车辆摄像机20～23取得的信息的电路，通过例如IC、LSI等构成。在功能上对其进行捕捉的情况下，控制器40能够分类为虚拟图像制作部41、驾驶场景判定部42、注意范围指定(注意范围特别指定)部43、存储部44、摄像机图像制作部45、合成部46。
虚拟图像制作部41使用从环境检测部10取得的信息，制作表示本车辆的周围状况的虚拟图像。在第一实施方式中，所谓虚拟图像是指将例如地形信息、障碍物信息、标识信息等进行了3D映射的CG图像，是与后述的摄像机图像不同的图像。虚拟图像制作部41将制作出的虚拟图像输出到合成部46。
驾驶场景判定部42使用从环境检测部10取得的信息，判定当前的驾驶场景。驾驶场景判定部42判定的驾驶场景例如是通常的行驶场景、停车场景、在高速道路的合流场景、向交叉路口的进入场景等。驾驶场景判定部42将判定出的驾驶场景输出到注意范围指定部43。
注意范围指定部43基于通过驾驶场景判定部42判定出的驾驶场景，指定(特别指定)想要促使乘客注意的部位(以下，称为注意范围)。更详细地说，注意范围指定部43使用存储于存储部44的数据库指定注意范围。对于注意范围后述，例如，在并列停车场景中是从旋转内侧后轮附近跨过本车后方，至本车右侧前方的区域，在纵列停车场景中是包含前轮、及后轮的本车周边的区域。在存储部44预存储有与驾驶场景对应的注意范围。注意范围指定部43将指定的注意范围输出到摄像机图像制作部45和合成部46。
摄像机图像制作部45使用从车辆摄像机20～23取得的信息，制作通过注意范围指定部43指定的注意范围的摄像机图像(摄像图像)。摄像机图像制作部45将制作出的摄像机图像输出到合成部46。此外，在本实施方式中，作为摄像图像使用车辆摄像机，但作为车辆摄像机的种类没有特别限定，只要是彩色摄像机、单色摄像机、红外线摄像机、电波摄像机等摄像机即可。
合成部46将虚拟图像上的注意范围置换为摄像机图像。而且，合成部46将合成的图像输出到显示器50。
显示器50是用于例如搭载于仪表板的液晶显示器或汽车导航装置的液晶显示器，向乘客显示各种信息。
接着，参照图2～图5，说明各种驾驶场景的摄像机图像的合成例。
图2(a)所示的驾驶场景是本车辆M1在其它车辆M2和其它车辆M3之间并列停车的场景。在并列停车的情况下，注意范围如区域R所示，是从旋转内侧后轮附近过渡到本车后方至本车右侧前方的区域，是有本车辆M1前进的可能性的范围。注意范围指定部43将区域R指定为注意范围，摄像机图像制作部45制作区域R的摄像机图像。而且，合成部46利用摄像机图像置换虚拟图像P上的区域R。由此，显示器50在摄像机图像即实际摄像图像中显示想要促使乘客注意的区域R。由此，乘客能够了解区域R的详细的信息。
接着，参照图2(b)，说明本车辆M1在其它车辆M2和其它车辆M3之间纵列停车的驾驶场景。在纵列停车的情况下，注意范围如区域R所示，是包含前轮、及后轮的本车周边的区域。注意范围指定部43将区域R指定为注意范围，摄像机图像制作部45制作区域R的摄像机图像。之后处理由于与图2(a)的内容相同而省略说明。
接着，参照图3(a)，说明为了避免本车辆M1在狭窄道路行驶中与其它车辆M2的接触进行靠左的驾驶场景。在狭窄道路的靠左的情况下，注意范围如区域R所示，是本车前方及左侧方的区域。注意范围指定部43将区域R指定为注意范围，摄像机图像制作部45制作区域R的摄像机图像。之后的处理由于与图2(a)的内容相同而省略说明。并且，在与其它车辆M2交错时，注意范围指定部43也可以将与其它车辆M2的距离靠近的区域指定为注意范围。
接着，参照图3(b)，说明本车辆M1在狭窄道路行驶中避开停车的其它车辆M3行驶的S字行驶场景。在狭窄道路的S字行驶的情况下，注意范围如区域R所示，是包含其它车辆M3的左右两侧方及轮胎的接地位置的本车前方的区域。此外，在区域R也可以包含对向车辆的其它车辆M2。另外，在为了避开停车车辆行驶的区域，注意范围指定部43也可以将对向车辆行驶的区域设定为注意范围。注意范围指定部43将区域R指定为注意范围，摄像机图像制作部45制作区域R的摄像机图像。之后的处理由于与图2(a)的内容相同而省略说明。
接着，参照图3(c)，说明因电线杆T等存在，本车辆M1在狭窄道路行驶中通过最窄场所(以下，称为最窄部)的驾驶场景。在通过最窄部的情况下，注意范围如区域R所示，是包含最窄部的宽度(其它车辆M2与电线杆T之间的宽度)的本车前方的区域。注意范围指定部43将区域R指定为注意范围，摄像机图像制作部45制作区域R的摄像机图像。之后的处理由于与图2(a)的内容相同而省略说明。
接着，参照图4(a)，说明本车辆M1在高速道路合流时存在后续的其它车辆M2的驾驶场景。这种驾驶场景的注意范围如区域R所示是从本车右侧方向后方的区域。注意范围指定部43将区域R指定为注意范围，摄像机图像制作部45制作区域R的摄像机图像。之后的处理由于与图2(a)的内容相同而省略说明。此外，在图4(a)所示的驾驶场景中，注意范围也可以是在本车右后视镜中显现的范围。
接着，参照图4(b)，说明本车辆M1在高速道路合流时存在前行的其它车辆M3的驾驶场景。这种驾驶场景的注意范围如区域R所示是从本车右侧方至前方的区域。注意范围指定部43将区域R指定为注意范围，摄像机图像制作部45制作区域R的摄像机图像。之后的处理由于与图2(a)的内容相同而省略说明。
接着，参照图4(c)，说明本车辆M1在高速道路合流时存在后续的其它车辆M2和前行的其它车辆M3的驾驶场景。这种驾驶场景的注意范围如区域R所示是从本车右侧方向的前方及后方的区域。注意范围指定部43将区域R指定为注意范围，摄像机图像制作部45制作区域R的摄像机图像。之后的处理由于与图2(a)的内容相同而省略说明。
接着，参照图5，说明本车辆M1在交叉路口左转的驾驶场景。在交叉路口左转的情况下，注意范围如区域R所示是包含本车辆M1的前进方向(左转方向)的交叉路口整体的区域。注意范围指定部43将区域R指定为注意范围，摄像机图像制作部45制作区域R的摄像机图像。之后的处理由于与图2(a)的内容相同而省略说明。
接着，参照图6所示的流程图，对移动体周围显示装置1的一动作例进行说明。该流程图在例如点火开关接通时开始。
在步骤S101，环境检测部10及车辆摄像机20～23取得本车周围的信息。
在步骤S102，虚拟图像制作部41使用本车周围的信息制作虚拟图像。
在步骤S103，驾驶场景判定部42使用本车周围的信息判定驾驶场景。
在步骤S104，注意范围指定部43根据通过驾驶场景判定部42判定出的驾驶场景，使用存储部44的数据库指定注意范围。
在步骤S105，摄像机图像制作部45制作通过注意范围指定部43指定的注意范围的摄像机图像。
在步骤S106，合成部46利用摄像机图像置换虚拟图像上的注意范围。
在步骤S107中，控制器40将通过合成部46合成的合成图像显示在显示器50。
如以上说明，根据第一实施方式的移动体周围显示装置1，获得以下的作用效果。
移动体周围显示装置1首先使用本车周围的信息制作虚拟图像。接着，移动体周围显示装置1根据驾驶场景指定注意范围，并制作指定的注意范围的摄像机图像。而且，移动体周围显示装置1利用摄像机图像置换虚拟图像上的注意范围并在显示器50上显示。由此，乘客能够了解(知道)注意范围的详细的信息。
此外，虽然说明了移动体周围显示装置1主要是用于具备自动驾驶功能的自动驾驶车辆的装置，但在自动驾驶中向乘客提供大量的信息时，乘客会感到烦恼。但是，移动体周围显示装置1由于注意范围以外用虚拟图像显示，因此，能够减少提供给乘客的信息。由此，移动体周围显示装置1能够降低乘客感到的烦恼。这样，移动体周围显示装置1在摄像机图像显示注意范围，在虚拟图像中显示注意范围以外的区域，从而在想要使乘客注意的区域(注意范围)提供给乘客详细的信息，且在注意范围以外的区域能够抑制无用的信息。由此，乘客能够准确地只掌握必要的信息。
如在图2～5说明的那样，注意范围是高速道路的合流地点的道路上的车辆彼此交错的部位，或者是交叉路口的车辆和人交错的部位。该场所是想要促使乘客注意的场所。移动体周围显示装置1通过将虚拟图像上的注意范围置换为摄像机图像而显示，由此，能够通知乘客注意范围的详细的信息。
[第二实施方式]
接着，参照图7，对本发明的第二实施方式的移动体周围显示装置2进行说明。如图7所示，第二实施方式与第一实施方式不同的点是移动体周围显示装置2具备物体检测部60和注意对象物指定部47，另一方面，省略驾驶场景判定部42、注意范围指定部43、及存储部44的这些点。对于和第一实施方式重复的构成，引用符号并省略其说明，以下，以不同点为中心说明。
物体检测部60是检测存在于本车周围的物体的物体检测传感器，检测存在于本车辆的行驶路径的周边的物体。作为物体检测部60，例如能够使用激光传感器。物体检测部60检测的物体例如是其它车辆、摩托车、行人、自行车等移动体或信号机或标识等。此外，作为物体检测部60，也可以是激光传感器以外的传感器，也可以是使用摄像机的摄像图像的图像识别传感器。另外，作为物体检测部60也可以使用激光传感器、超声波传感器等。物体检测部60将检测到的物体信息输出到注意对象物指定部47。
注意对象物指定部47指定通过物体检测部60检测出的物体中想要促使乘客注意的物体(以下，称为注意对象物)。注意对象物是例如其它车辆、摩托车、行人、自行车、动物(狗或猫)、电线杆、广告牌、信号机、标识、道路上的落下物等。注意对象物指定部47将指定的注意对象物输出到摄像机图像制作部45和合成部46。
接着，参照图8，说明摄像机图像的合成例。如图8所示，行人W在虚拟图像P上被符号化。该情况下，存在丢失行人W的属性(高龄人或孩子)、视线方向等信息的情况。于是，注意对象物指定部47将通过物体检测部60检测出的行人W指定为注意对象物，摄像机图像制作部45制作如图8所示指定的行人W的摄像机图像。而且，合成部46利用摄像机图像置换虚拟图像P上的行人W。由此，显示器50利用摄像机图像即实际摄像图像显示想要促使乘客注意的行人W。由此，乘客能够了解行人W的详细的信息。此外，在制作注意对象物的摄像机图像时，也可以制作如图8所示包含行人W的区域的摄像机图像，也可以制作仿照行人W的轮廓的摄像机图像。
接着，参照图9～图10，说明各种驾驶场景的摄像机图像的合成例。
如图9所示，在本车辆M1在狭窄道路行驶中物体检测部60检测出其它车辆M2的情况下，注意对象物指定部47将其它车辆M2指定为注意对象物，摄像机图像制作部45制作他车辆M2的摄像机图像。之后的处理由于与图8的内容相同而省略说明。
接着，参照图10，说明本车辆M1进入T字交叉路口的情况。物体检测部60检测出其它车辆M2～M3、行人W、自行车B1～B3、标识L的情况下，注意对象物指定部47将这些物体指定为注意对象物，摄像机图像制作部45制作这些物体的摄像机图像。之后的处理由于与图8的内容相同而省略说明。
接着，参照图11所示的流程图，对移动体周围显示装置2的一动作例进行说明。该流程图在例如点火开关接通时开始。
在步骤S201，环境检测部10及物体检测部60取得本车周围的信息。
在步骤S202，虚拟图像制作部41使用本车周围的信息制作虚拟图像。
在步骤S203，注意对象物指定部47指定本车周围的注意对象物。
在步骤S204，摄像机图像制作部45制作通过注意对象物指定部47指定的注意对象物的摄像机图像。
在步骤S205，合成部46利用摄像机图像置换虚拟图像上的注意对象物。
在步骤S206，控制器40将通过合成部46合成的合成图像显示在显示器50。
如以上说明，根据第二实施方式的移动体周围显示装置2，获得以下的作用效果。
移动体周围显示装置2首先使用本车周围的信息制作虚拟图像。接着，移动体周围显示装置2指定注意对象物，制作指定的注意对象物的摄像机图像。而且，移动体周围显示装置1利用摄像机图像置换虚拟图像上的注意对象物并在显示器50显示。由此，乘客能够了解注意对象物的详细的信息。
在虚拟图像上，有时丢失注意对象物的信息。例如，将人符号化时，有时丢失该人物的属性(高龄人或孩子)、视线方向等信息。另外，以车辆为例，具有丢失车身的大小、形状、颜色等信息的情况。但是，移动体周围显示装置2利用摄像机图像置换虚拟图像上的注意对象物来显示，因此，能够补偿虚拟图像化产生的信息的损失。由此，乘客容易预测注意对象物的动向。
另外，移动体周围显示装置2通过将行人、动物、自行车、车辆、或标识置换为摄像机图像作为注意对象物来显示，乘客能够了解这些详细的信息。
[第三实施方式]
接着，参照图12，对本发明的第三实施方式的移动体周围显示装置3进行说明。第三实施方式与第一实施方式不同的点是移动体周围显示装置3具备物体检测部60、注意对象物指定部47、强调部位指定部48的这些点。对与第一实施方式重复的构成引用符号省略其说明，以下，以不同点为中心进行说明。此外，对于物体检测部60及注意对象物指定部47，由于与在第二实施方式中说明的相同，因此省略说明。
强调部位指定部48指定想要促使乘客注意的强调部位。具体而言，强调部位指定部48在通过注意对象物指定部47指定的注意对象物存在于通过注意范围指定部43指定的注意范围内的情况下，将该注意对象物指定为强调部位。强调部位指定部48将指定的强调部位输出到摄像机图像制作部45和合成部46。
接着，参照图13～图15，说明各种驾驶场景的摄像机图像的合成例。
首先，参照图13，说明本车辆M1进入T字交叉路口的驾驶场景。在T字交叉路口的情况下，注意范围如区域R所示是从T字交叉路口的中心包含左右两方向的范围的本车周围的区域。注意范围指定部43将区域R指定为注意范围。接着，注意对象物指定部47将通过物体检测部60检测到的其它车辆M2～M3、行人W、自行车B1～B3、标识L指定为注意对象物。接着，强调部位指定部48将通过注意对象物指定部47指定的注意对象物当中存在于区域R内的注意对象物指定为强调部位。在图13所示的例子中，强调部位指定部48将行人W、自行车B1～B3、标识L指定为强调部位。接着，摄像机图像制作部45制作指定为强调部位的行人W、自行车B1～B3、标识L的摄像机图像。而且，合成部46利用摄像机图像置换虚拟图像P上的行人W、自行车B1～B3、标识L。由此，显示器50利用摄像机图像即实际摄像图像显示行人W、自行车B1～B3、标识L。由此，乘客能够了解行人W、自行车B1～B3、标识L的详细的信息。此外，在图13所示的例子中，如自行车B2、自行车B3那样，即使是一部分存在于区域R内的情况指定为强调部位，在全部存在于区域R内的情况下也可以指定为强调部位。另外，注意范围指定部43可以实时指定注意范围，注意范围也可以预设定在地图上等。
另外，强调部位指定部48在区域R内没有检测出注意对象物的情况下，不指定强调部位。强调部位指定部48不指定强调部位的情况下，合成部46不用摄像机图像置换虚拟图像P上的区域R。
其理由是因为在区域R内没有检测出其它车辆或行人等注意对象物的情况下，与本车辆的接触的危险性低，将区域R置换为摄像机图像通知乘客的必要性低。这样，在区域R内没有检测到注意对象物的情况下，移动体周围显示装置3只显示虚拟图像P，从而能够减少提供给乘客的信息。由此，移动体周围显示装置3能够降低乘客感到的烦恼。此外，物体检测部60在通过注意范围指定部43指定的注意范围内也可以检测物体。这样，通过限定物体的检测范围，还能够缩短直到物体检测部60检测物体的时间。由此，还能够缩短至注意对象物指定部47指定注意对象物的时间。而且，限定物体的检测范围还能够降低控制器40的处理负荷。
接着，参照图14，说明本车辆M1在交叉路口左转的驾驶场景。在交叉路口左转的情况下，注意范围如区域R所示是包含本车辆M1的前进方向(左转方向)的交叉路口整体的区域。注意范围指定部43将区域R指定为注意范围，注意对象物指定部47将其它车辆M2～M4、自行车B、信号机S指定为注意对象物。接着，强调部位指定部48将通过注意对象物指定部47指定的注意对象物当中存在于区域R的注意对象物指定为强调部位。在图14所示的例子中，强调部位指定部48将其它车辆M2～M4、自行车B、信号机S指定为注意对象物。之后的处理由于与图13的内容相同省略说明。此外，如图14记载的那样，还能够根据左转设定注意范围。这样，通过根据与行驶场景、当前执行的驾驶操作、将来预想的驾驶操作等设定注意范围和注意范围以外，注意范围指定部43能够设定适于各行驶场景、驾驶操作的注意范围，能够抑制对注意范围以外的注意。
接着，参照图15，说明本车辆M1在交叉路口右转的驾驶场景。在交叉路口右转的情况下，注意范围如区域R所示是包含本车辆M1的前进方向(右转方向)，除了本车右侧方的交叉路口整体的区域。注意范围指定部43将区域R指定为注意范围，注意对象物指定部47将其它车辆M2～M4、行人W、自行车B1～B2、标识L1～L2指定为注意对象物。接着，强调部位指定部48将通过注意对象物指定部47指定的注意对象物当中存在于区域R的注意对象物指定为强调部位。在图15所示的例子中，强调部位指定部48将其它车辆M2～M4、行人W、自行车B1～B2、标识L1～L2指定为注意对象物。之后的处理由于与图13的内容相同而省略说明。另外，注意范围指定部43与图14同样，如图15那样，还能够根据右转设定注意范围。
接着，参照图16所示的流程图，对移动体周围显示装置3的一动作例进行说明。该流程图例如在点火开关接通时开始。
在步骤S301，环境检测部10、物体检测部60及车辆摄像机20～23取得本车周围的信息。
在步骤S302，虚拟图像制作部41使用本车周围的信息制作虚拟图像。
在步骤S303，驾驶场景判定部42使用本车周围的信息判定驾驶场景。
在步骤S304，注意范围指定部43根据通过驾驶场景判定部42判定的驾驶场景，使用存储部44的数据库，指定注意范围。
在步骤S305，注意对象物指定部47指定本车周围的注意对象物。
在步骤S306，强调部位指定部48判定在注意范围内是否存在注意对象物。在注意范围内存在注意对象物的情况下(步骤S306中为是)，强调部位指定部48指定存在于注意范围内的注意对象物，处理进入步骤S307。另一方面，注意范围内不存在注意对象物的情况下，(步骤S306中为否)，处理进入步骤S310。
在步骤S307，摄像机图像制作部45制作通过强调部位指定部48指定的注意对象物的摄像机图像。
在步骤S308，合成部46利用摄像机图像置换虚拟图像上的注意对象物。
在步骤S309，控制器40将通过合成部46合成的合成图像显示在显示器50。
在步骤S310，控制器40使虚拟图像显示在显示器50。
如以上说明，根据第三实施方式的移动体周围显示装置3，获得以下的作用效果。
移动体周围显示装置3首先使用本车周围的信息制作虚拟图像。接着，移动体周围显示装置3根据驾驶场景指定注意范围，指定注意范围内的注意对象物。移动体周围显示装置3制作注意范围内的注意对象物的摄像机图像，利用摄像机图像置换虚拟图像上的注意范围内的注意对象物并在显示器50中显示。由此，乘客能够了解注意对象物的详细的信息。
另外，在注意范围内不存在注意对象物的情况下，移动体周围显示装置3只将虚拟图像显示在显示器50上。由此，移动体周围显示装置3能够减少提供给乘客的信息。由此，移动体周围显示装置3能够降低乘客感到的烦恼。
如上述记载了本发明的实施方式，但不应该理解为形成该公开的一部分的论述及附图限定本发明。根据本公开的内容，对于本领域技术人员来说，可知各种代替实施方式、实施例及运用技术。
此外，在第一实施方式、第二实施方式中利用摄像机图像分别置换注意范围、注意对象物。另外，在第三实施方式中，在注意范围内存在注意对象物的情况下，利用摄像机图像置换该注意对象物。注意范围及注意对象物是表示想要促使乘客注意的范围，包含注意范围及注意对象物，也可以表达为注意范围。另外，如后述那样，注意范围还能够包括关注度(注意度)为规定值以上的区域。
在第一～第三实施方式中，利用摄像机图像置换注意范围，但不限于此。例如，移动体周围显示装置1～3计算出对本车辆的关注度，根据计算出的关注度也可以转换摄像机图像。对本车辆的关注度能够根据相对于本车辆的相对速度、相对距离而求出。作为相对于本车辆的相对速度、相对距离的检测方法，例如在环境检测部10或物体检测部60中具有这些检测功能即可。
作为关注度的计算例，移动体周围显示装置1～3能够设定为相对于本车辆的相对速度越快则关注度越高。另外，移动体周围显示装置1～3能够设定为相对于本车辆的相对距离越短，关注度越高。
说明基于关注度的具体的显示方法。移动体周围显示装置1～3计算出存在于本车周围的物体的关注度，在计算出的关注度为规定值以上的情况下，制作该物体存在的区域的摄像机图像，利用摄像机图像置换虚拟图像上的该区域并进行显示。由此，移动体周围显示装置1～3没有识别该物体的属性(人或动物)等，能够详细通知乘客想要促使注意的区域的信息。此外，对于规定值，能够事先通过实验或模拟求出。
另外，移动体周围显示装置1～3也可以将虚拟图像分割为多个，针对每个与分割的图像对应的区域计算出关注度，利用摄像机图像置换计算出的关注度为规定值以上的区域。由此，移动体周围显示装置1～3能够降低关注度的运算负荷。
此外，注意范围指定部43使用存储于存储部44的数据库指定注意范围，但不限于此。例如，注意范围指定部43将本车位置信息发送至云端，也可以使用来自与本车位置信息对应的云端的信息指定注意范围。另外，注意范围指定部43也可以通过车车间通信，使用从其它车辆取得的信息指定注意范围。
此外，本实施方式的合成部46将虚拟图像上的注意范围置换为摄像机图像，但未必限定于此，合成部46生成本车周围的摄像机图像，也可以将注意范围以外的区域置换为虚拟图像。即，注意范围用摄像机图像中显示即可。
此外，上述的实施方式的各功能通过一个或多个处理电路实现。处理电路包括含有电气电路的处理装置等被编程的处理装置。处理电路还包括以执行记载于实施方式的功能的方式被布置的特定用途集成电路(ASIC)或现有型的电路部件的装置。
符号说明
10 环境检测部
20 前摄像机
21 右摄像机
22 左摄像机
23 后摄像机
40 控制器
41 虚拟图像制作部
42 驾驶场景判定部
43 注意范围指定部
44 存储部
45 摄像机图像制作部
46 合成部
47 注意对象物指定部
48 强调部位指定部
50 显示器
60 物体检测部

Claims (7)

1.一种移动体周围显示方法，其为移动体周围显示装置的移动体周围显示方法，该移动体周围显示装置具备：摄像元件，其通过摄像取得移动体的周围信息；控制器，其制作基于所述周围信息的摄像图像和表示所述移动体的周围状况的虚拟图像；显示器，其显示所述虚拟图像，其特征在于，
在所述移动体的周围检测注意范围，
制作所述注意范围的所述摄像图像，
通过所述摄像图像显示所述注意范围。
2.如权利要求1所述的移动体周围显示方法，其特征在于，
所述注意范围是道路上的车辆彼此混合的区域或车辆和人混合的区域。
3.如权利要求1或2所述的移动体周围显示方法，其特征在于，
检测所述移动体的周围的注意对象物，
在检测出所述注意对象物的情况下，将包括所述注意对象物的区域作为所述注意范围进行检测，
通过所述摄像图像显示所述注意范围。
4.如权利要求1或2所述的移动体周围显示方法，其特征在于，
从所述注意范围中检测所述移动体的周围的注意对象物，
在从所述注意范围中检测出所述注意对象物的情况下，将包括所述注意对象物的区域作为强调部位进行检测，
通过所述摄像图像显示所述强调部位。
5.如权利要求3或4所述的移动体周围显示方法，其特征在于，
所述注意对象物是位于所述移动体的周围的行人、动物、自行车、车辆、或标识。
6.如权利要求1所述的移动体周围显示方法，其特征在于，
在所述移动体的周围计算出关注度，
将所述关注度为规定值以上的区域作为所述注意范围进行检测，
通过所述摄像图像显示所述注意范围。
7.一种移动体周围显示装置，其特征在于，具备：
摄像元件，其通过摄像取得移动体的周围信息；
控制器，其制作基于所述周围信息的摄像图像和表示所述移动体的周围状况的虚拟图像；
显示器，其显示所述虚拟图像，
所述控制器在所述移动体的周围检测出注意范围，制作检测出的所述注意范围的所述摄像图像，将所述注意范围的所述摄像图像显示在所述显示器。
CN201680084502.4A 2016-04-14 2016-04-14 移动体周围显示方法及移动体周围显示装置 Active CN109070799B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/062014 WO2017179174A1 (ja) 2016-04-14 2016-04-14 移動体周囲表示方法及び移動体周囲表示装置

Publications (2)

Publication Number Publication Date
CN109070799A true CN109070799A (zh) 2018-12-21
CN109070799B CN109070799B (zh) 2021-02-26

Family

ID=60042543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680084502.4A Active CN109070799B (zh) 2016-04-14 2016-04-14 移动体周围显示方法及移动体周围显示装置

Country Status (10)

Country Link
US (1) US10864856B2 (zh)
EP (1) EP3444145A4 (zh)
JP (1) JP6555413B2 (zh)
KR (1) KR102023863B1 (zh)
CN (1) CN109070799B (zh)
BR (1) BR112018071020B1 (zh)
CA (1) CA3020813C (zh)
MX (1) MX367700B (zh)
RU (1) RU2715876C1 (zh)
WO (1) WO2017179174A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020166409A (ja) * 2019-03-28 2020-10-08 株式会社デンソーテン 車載装置、車載システムおよび周辺監視方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11554668B2 (en) * 2019-06-25 2023-01-17 Hyundai Mobis Co., Ltd. Control system and method using in-vehicle gesture input

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1865849A (zh) * 2005-05-20 2006-11-22 日产自动车株式会社 影像显示装置及影像显示方法
CN102081861A (zh) * 2009-11-30 2011-06-01 富士通天株式会社 车载装置及认知支援系统
WO2011135778A1 (ja) * 2010-04-26 2011-11-03 パナソニック株式会社 画像処理装置、カーナビゲーションシステム、及び路上カメラシステム
JP2012053533A (ja) * 2010-08-31 2012-03-15 Daihatsu Motor Co Ltd 運転支援装置
JP2012176748A (ja) * 2011-02-02 2012-09-13 Nissan Motor Co Ltd 駐車支援装置
US20120287277A1 (en) * 2011-05-13 2012-11-15 Koehrsen Craig L Machine display system
CN102812704A (zh) * 2010-03-26 2012-12-05 爱信精机株式会社 车辆周边监视装置
JP2013255237A (ja) * 2013-07-08 2013-12-19 Alpine Electronics Inc 画像表示装置及び画像表示方法
CN104417369A (zh) * 2013-09-11 2015-03-18 本田技研工业株式会社 车辆用显示装置
CN104903946A (zh) * 2013-01-09 2015-09-09 三菱电机株式会社 车辆周边显示装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06278531A (ja) 1993-03-25 1994-10-04 Honda Motor Co Ltd 車両用視認補助装置
JP4334686B2 (ja) 1999-07-07 2009-09-30 本田技研工業株式会社 車両の画像表示装置
BRPI0613097B1 (pt) 2005-06-30 2019-01-22 Agc Flat Glass Na Inc dispositivo e método de reconhecimento de imagem
JP4775123B2 (ja) 2006-06-09 2011-09-21 日産自動車株式会社 車両用監視装置
WO2008137708A1 (en) * 2007-05-04 2008-11-13 Gesturetek, Inc. Camera-based user input for compact devices
US8947421B2 (en) * 2007-10-29 2015-02-03 Interman Corporation Method and server computer for generating map images for creating virtual spaces representing the real world
CN102714710B (zh) * 2009-12-07 2015-03-04 歌乐牌株式会社 车辆周边图像显示系统
US20150138099A1 (en) * 2013-11-15 2015-05-21 Marc Robert Major Systems, Apparatus, and Methods for Motion Controlled Virtual Environment Interaction
US9639968B2 (en) 2014-02-18 2017-05-02 Harman International Industries, Inc. Generating an augmented view of a location of interest

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1865849A (zh) * 2005-05-20 2006-11-22 日产自动车株式会社 影像显示装置及影像显示方法
CN102081861A (zh) * 2009-11-30 2011-06-01 富士通天株式会社 车载装置及认知支援系统
CN102812704A (zh) * 2010-03-26 2012-12-05 爱信精机株式会社 车辆周边监视装置
WO2011135778A1 (ja) * 2010-04-26 2011-11-03 パナソニック株式会社 画像処理装置、カーナビゲーションシステム、及び路上カメラシステム
JP2012053533A (ja) * 2010-08-31 2012-03-15 Daihatsu Motor Co Ltd 運転支援装置
JP2012176748A (ja) * 2011-02-02 2012-09-13 Nissan Motor Co Ltd 駐車支援装置
US20120287277A1 (en) * 2011-05-13 2012-11-15 Koehrsen Craig L Machine display system
CN104903946A (zh) * 2013-01-09 2015-09-09 三菱电机株式会社 车辆周边显示装置
JP2013255237A (ja) * 2013-07-08 2013-12-19 Alpine Electronics Inc 画像表示装置及び画像表示方法
CN104417369A (zh) * 2013-09-11 2015-03-18 本田技研工业株式会社 车辆用显示装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020166409A (ja) * 2019-03-28 2020-10-08 株式会社デンソーテン 車載装置、車載システムおよび周辺監視方法
JP7195200B2 (ja) 2019-03-28 2022-12-23 株式会社デンソーテン 車載装置、車載システムおよび周辺監視方法

Also Published As

Publication number Publication date
KR20180123553A (ko) 2018-11-16
US10864856B2 (en) 2020-12-15
BR112018071020B1 (pt) 2022-06-28
CN109070799B (zh) 2021-02-26
CA3020813A1 (en) 2017-10-19
BR112018071020A2 (pt) 2019-02-12
EP3444145A1 (en) 2019-02-20
US20190337455A1 (en) 2019-11-07
CA3020813C (en) 2019-05-14
JPWO2017179174A1 (ja) 2019-04-04
KR102023863B1 (ko) 2019-09-20
RU2715876C1 (ru) 2020-03-03
JP6555413B2 (ja) 2019-08-14
WO2017179174A1 (ja) 2017-10-19
MX367700B (es) 2019-09-03
MX2018012119A (es) 2019-02-11
EP3444145A4 (en) 2019-08-14

Similar Documents

Publication Publication Date Title
US11486726B2 (en) Overlaying additional information on a display unit
CA3029410A1 (en) Image generation device, image generation method, and program
US10878253B2 (en) Periphery monitoring device
CN107599966A (zh) 将车辆中平视显示器的驾驶员注意力分散最小化的系统和方法
CN111595357B (zh) 可视化界面的显示方法、装置、电子设备和存储介质
CN105378815B (zh) 用信号为车辆驾驶员告知视觉上至少部分地被遮挡的交通对象的方法和设备
JP6060058B2 (ja) 交通流把握装置及び方法
CN107206941A (zh) 用于操作机动车辆的驾驶员辅助系统的方法，驾驶员辅助系统和机动车辆
CN114764782A (zh) 多视图汽车和机器人系统中的图像合成
JP2018097431A (ja) 運転支援装置、運転支援システム及び運転支援方法
CN109070799A (zh) 移动体周围显示方法及移动体周围显示装置
WO2022168540A1 (ja) 表示制御装置及び表示制御プログラム
CN112308987B (zh) 车载图像拼接方法、系统以及装置
JP2016136326A (ja) 情報表示装置および情報表示方法
CN112683293A (zh) 一种车载导航方法、电子设备及存储介质
DE112019004125T5 (de) Bildverarbeitungsgerät, bildverarbeitungsverfahren und programm
CN105704438B (zh) 基于视频预览车辆前方道路区段的方法和设备及基于视频记录车辆的道路区段的方法和设备
EP3544293A1 (en) Image processing device, imaging device, and display system
JP7342926B2 (ja) 表示制御装置及び表示制御プログラム
US11681047B2 (en) Ground surface imaging combining LiDAR and camera data
US20240075879A1 (en) Display system and display method
JP6759072B2 (ja) 画像処理装置、撮像装置、および表示システム
JP6720063B2 (ja) 画像処理装置、撮像装置、および表示システム
JP6712942B2 (ja) 画像処理装置、撮像装置、および表示システム
WO2019176310A1 (ja) 車載システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant