CN111273765A - 车辆用显示控制装置、车辆用显示控制方法以及存储介质 - Google Patents

车辆用显示控制装置、车辆用显示控制方法以及存储介质 Download PDF

Info

Publication number
CN111273765A
CN111273765A CN201911022716.0A CN201911022716A CN111273765A CN 111273765 A CN111273765 A CN 111273765A CN 201911022716 A CN201911022716 A CN 201911022716A CN 111273765 A CN111273765 A CN 111273765A
Authority
CN
China
Prior art keywords
vehicle
information
display control
display
occupant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911022716.0A
Other languages
English (en)
Other versions
CN111273765B (zh
Inventor
森圣史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN111273765A publication Critical patent/CN111273765A/zh
Application granted granted Critical
Publication of CN111273765B publication Critical patent/CN111273765B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B60R11/0235—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes of flat type, e.g. LCD
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85—Arrangements for transferring vehicle- or driver-related data
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/589—Wireless data transfers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/589—Wireless data transfers
    • B60K2360/5915—Inter vehicle communication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B60K35/285—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver for improving awareness by directing driver's gaze direction or eye points
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Instrument Panels (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种车辆用显示控制装置、车辆用显示控制方法以及存储介质，车辆用显示控制装置包括：取得部，取得在车辆的行进前方存在的对象物的信息；以及显示控制部，基于由所述取得部取得的信息，使所述对象物的信息显示于设有显示部并且佩戴于所述车辆的乘员的眼镜型的可穿戴终端的所述显示部。

Description

车辆用显示控制装置、车辆用显示控制方法以及存储介质
技术领域
本公开涉及车辆用显示控制装置、车辆用显示控制方法以及存储车辆用显示控制程序的存储介质。
背景技术
日本特开2013-025635号公报中记载了如下技术：在车辆进入交叉口之前取得了与该交叉口处的交通状况有关的基础设施信息的情况下，输出对右转或左转的注意唤起信息的输出进行预告的预告信息，在车辆进入了交叉口的情况下，通过输出该注意唤起信息来对车辆的驾驶进行辅助。
日本特开2013-025635号公报所记载的技术使预告信息以及注意唤起信息显示于在车辆中搭载的仪表设备内的显示器。因此，例如，在车辆进行左转或右转的交叉口附近存在行人等的情况下，用于视觉识别显示于显示器的行人的信息的乘员的视线的方向与用于视觉识别进行左转或右转的交叉口的乘员的视线的方向即实际行人存在的方向较大地不同。因此，存在乘员难以直观地掌握显示于显示器的信息这样的课题。
发明内容
本公开考虑上述事实而完成，提供一种能够使乘员容易掌握在车辆的行进前方存在的对象物的信息的车辆用显示控制装置、车辆用显示控制方法以及存储车辆用显示控制程序的存储介质。
本公开的一方案为一种车辆用显示控制装置，包括：取得部，取得在车辆的行进前方存在的对象物的信息；以及显示控制部，基于由所述取得部取得的信息，使所述对象物的信息显示于设有显示部并且佩戴于所述车辆的乘员的眼镜型的可穿戴终端的所述显示部。
在本方案中，在车辆的行进前方存在的对象物的信息显示于设有显示部并且佩戴于车辆的乘员的眼镜型的可穿戴终端的所述显示部。由此，用于视觉识别在可穿戴终端的显示部显示的对象物的信息的乘员的视线的方向接近从乘员观察车辆的行进前方的所述对象物存在的方向。因此，能够使乘员容易掌握在车辆的行进前方存在的对象物的信息。
在本方案中，所述显示控制部可以使所述对象物的信息显示于所述显示部中的从所述乘员观察与所述对象物存在的方向对应的位置。
在上述结构中，使所述对象物的信息显示于显示部中从乘员观察与对象物存在的方向对应的位置。由此，能够使用于视觉识别在可穿戴终端的显示部显示的对象物的信息的乘员的视线的方向更接近从乘员观察车辆的行进前方的所述对象物存在的方向。因此，能够使乘员更容易掌握在车辆的行进前方存在的对象物的信息。
在本方案中，所述显示控制部可以在判定为从所述乘员观察而所述对象物由遮挡物遮挡了的情况下，使所述对象物的信息显示于所述可穿戴终端的所述显示部。
在上述结构中，在判定为从乘员观察而对象物由遮挡物遮挡了的情况下，使所述对象物的信息显示于可穿戴终端的显示部。由此，在从乘员观察而对象物由遮挡物遮挡了的情况下，即在使乘员识别到对象物的存在的必要性较高的情况下，对象物的信息显示于可穿戴终端，能够抑制可穿戴终端的显示部的显示变得繁杂。
在本方案中，所述显示控制部可以基于由设置于所述可穿戴终端的周边拍摄部对所述车辆的周边进行拍摄而得到的周边拍摄图像来判定是否从所述乘员观察而所述对象物由遮挡物遮挡。
是否从乘员观察而对象物由遮挡物遮挡的判定也能够使用由例如设于车辆的拍摄部拍摄到的图像等，但是拍摄部的拍摄位置相对于乘员的眼睛的位置的不同会成为所述判定的误差的原因。相对于此，在上述结构中，基于由设置于可穿戴终端的周边拍摄部对车辆的周边进行拍摄而得到的周边拍摄图像来进行所述判定。由此，由于周边拍摄部的拍摄位置接近乘员的眼睛的位置，所以能够减小所述判定的误差。
在本方案中，作为所述对象物的信息，所述显示控制部可以使示意性地表示所述对象物的外形的图形显示。
在上述结构中，作为对象物的信息，使示意性地表示对象物的外形的图形显示，因此尤其在从乘员观察而对象物由遮挡物遮挡了的状况下，能够使乘员直观地掌握对象物的存在。
在本方案中，所述显示控制部可以在使所述对象物的信息显示于所述可穿戴终端的所述显示部之后，在判定为由所述乘员识别到所述对象物的信息的情况下，使所述对象物的信息的显示消去。
在上述结构中，在使对象物的信息显示于可穿戴终端的显示部之后，在判定为由乘员识别到所述对象物的信息的情况下，使所述对象物的信息的显示消去。由此，能够抑制可穿戴终端的显示部的显示变得繁杂，能够促使乘员识别未被乘员识别的对象物的存在。
在本方案中，所述显示控制部可以基于由设置于所述可穿戴终端的视线检测部对所述乘员的视线的方向进行检测而得到的结果来判定是否由所述乘员识别到所述对象物的信息。
是否由乘员识别到对象物的信息的判定也能够通过例如由乘员操作开关等操作部来进行，但是乘员的操作会变得烦杂。相对于此，在上述结构中，基于由设置于可穿戴终端的视线检测部对乘员的视线的方向进行检测而得到的结果来进行所述判定，因此能够避免乘员的操作变得烦杂。
在本方案中，所述显示控制部可以在判定为所述对象物存在于从所述乘员观察未映在设于所述车辆的前挡风玻璃的抬头显示器上的方向的情况下，使所述对象物的信息显示于所述可穿戴终端的所述显示部。
在上述结构中，在车辆的前挡风玻璃上设有抬头显示器(Head Up Display、以下称为“HUD”)的方案中，在判定为对象物存在于从乘员观察未映在HUD上的方向的情况下，使对象物的信息显示于可穿戴终端的显示部。由此，在利用HUD和可穿戴终端进行协作来显示对象物的信息的方案中，能够使无法显示于HUD的范围的信息显示于可穿戴终端，能够通过可穿戴终端来对基于HUD的显示进行补充。并且，也能够通过将信息分开显示于HUD和可穿戴终端而减小HUD。
本公开的另一方案为一种车辆用显示控制方法，包括：取得在车辆的行进前方存在的对象物的信息；以及基于所述取得的信息，以使所述对象物的信息显示于设有显示部并且佩戴于所述车辆的乘员的眼镜型的可穿戴终端的所述显示部的方式进行控制。
本公开的又一方案为存储使计算机执行车辆用显示控制处理的程序的非暂时性存储介质，所述车辆用显示控制处理包括：取得在车辆的行进前方存在的对象物的信息；以及基于所述取得的信息，以使所述对象物的信息显示于设有显示部并且佩戴于所述车辆的乘员的眼镜型的可穿戴终端的所述显示部的方式进行控制。
如此，在本公开的方案中，能够使乘员容易掌握在车辆的行进前方存在的对象物的信息。
附图说明
图1是表示驾驶辅助系统的概略结构的框图。
图2是表示AR眼镜的外观的立体图。
图3是表示由ITS-ECU执行的对象物通知处理的流程图。
图4是表示由ITS-ECU执行的AR显示控制处理的流程图。
图5是作为本车辆的行进前方的交通状况的一例，表示存在由遮挡物遮挡的行人的状况的立体图。
图6是表示通过AR眼镜被乘员视觉识别的视野的一例的图像图。
图7是表示由ITS-ECU执行的前方视野辅助处理的流程图。
图8是表示在本车辆的前方存在前方视野的遮挡率较高的车辆的状况的一例的侧视图。
图9是表示在图8所示的状况下被乘员视觉识别的视野的一例的图像图。
图10是表示通过前方视野改善处理而经过AR眼镜被乘员视觉识别的视野的一例的图像图。
图11是表示通过前方视野改善处理而经过AR眼镜被乘员视觉识别的视野的其他例的图像图。
图12是表示驾驶辅助系统的其他的概略结构的框图。
具体实施方式
以下，参照附图并详细地说明本公开的实施方式的一例。图1中示出了本实施方式的交通状况显示系统10。交通状况显示系统10包括在路侧设置的交通状况提供系统12、分别搭载于车辆22(参照图5)的车载系统24、以及车载系统24搭载的各个车辆22的乘员所佩戴的AR(Augmented Reality：增强现实)眼镜40。
交通状况提供系统12包括ITS(Intelligent Transport System：智能交通系统)服务器14、交通状况检测系统16以及ITS无线装置18。ITS无线装置18经由移动体通信网络20与车辆22的车载系统24进行通信。
交通状况检测系统16包括在路侧的多个部位例如交叉口等设置的交通状况传感器。交通状况传感器包括在设置部位或其周边对例如车辆、行人、自行车等对象物进行拍摄的相机、通过红外范围的激光来检测对象物的激光雷达(LIDAR；Light Detection andRanging(光探测和测距)或者Laser Imaging Detection and Ranging(激光成像探测和测距))、以及通过规定的波长的电磁波来检测对象物的雷达中的至少一个。交通状况检测系统16基于交通状况传感器对对象物的检测结果来检测对象物的位置等并向ITS服务器14通知。
ITS服务器14从车载系统24搭载的各个车辆22定期性地接收包含搭载了车载系统24的各个车辆22的当前位置的信息。需要说明的是，车辆22的当前位置(纬度/经度)通过后述的GPS(Global Positioning System：全球定位系统)传感器28来检测。ITS服务器14在搭载了车载系统24的车辆22接近交叉口(处理对象的交叉口)规定距离L1以内的情况下，向该车辆22发送与处理对象的交叉口的交通状况有关的基础设施信息。
从ITS服务器14向车载系统24发送的基础设施信息至少包含交叉口信息。交叉口信息至少包含与处理对象的交叉口的位置有关的信息，而且也可以包含处理对象的交叉口的形状以及与处理对象的交叉口的信号有关的信息中的至少一个。处理对象的交叉口的形状包括例如十字路、T字路、Y字路、全向交叉口(scramble crossing)、转盘交叉口等。并且，处理对象的交叉口的信号包括例如绿灯、黄灯、红灯、绿箭头、黄箭头、黄灯的闪烁、红灯的闪烁等。
并且，基础设施信息在对存在于处理对象的交叉口的周边的对象物进行检测的情况下也包含对象物信息。对象物信息在例如对欲进入处理对象的交叉口的车辆进行检测的情况下包含车辆信息。车辆信息至少包含与检测的车辆的位置以及所述车辆的行进方向有关的信息，而且也可以包含与所述车辆的车速以及所述车辆到交叉口为止的到达时间(TTC：Time To Collision)有关的信息。
并且，对象物信息在例如对存在于处理对象的交叉口的周边的行人或自行车等进行检测的情况下包含行人信息。行人信息至少包含与行人或自行车等的位置有关的信息，而且也可以包含与行人或自行车等的移动方向、行人或自行车等的移动速度有关的信息。
车载系统24包括ITS-ECU26、GPS传感器28、移动体通信部30、车载传感器组32以及无线通信部34。移动体通信部30经由移动体通信网络20与交通状况提供系统12进行通信，无线通信部34与AR眼镜40进行近距离的无线通信。
GPS传感器28对本车辆的位置进行检测。车载传感器组32包括对车辆22的周围进行拍摄的相机、通过红外范围的激光对在车辆22的周围存在的物体进行检测的激光雷达、以及通过规定的波长的电磁波对在车辆22的周围存在的物体进行检测的雷达中的至少一个。并且，车载传感器组32包括转向信号灯开关等。ITS-ECU26基于从交通状况提供系统12接收的基础设施信息来进行后述的对象物通知处理。ITS-ECU26至少包括CPU(CentralProcessing Unit：中央处理器)、作为暂时存储区域的存储器、以及非易失性的存储部，存储部中存储使ITS-ECU26执行对象物通知处理的控制程序。ITS-ECU26的CPU从存储部读出控制程序之后在存储器中展开，执行展开的控制程序。
需要说明的是，车载系统24是车辆用显示控制装置的一例，移动体通信部30是取得部的一例，ITS-ECU26是显示控制部的一例。
AR眼镜40包括AR眼镜控制部42、无线通信部44、显示部46、周边拍摄相机48、视线相机50、扬声器52以及麦克风54。无线通信部44与车载系统24进行近距离的无线通信。
如图2所示，AR眼镜40在安装有左右的镜腿(temple)58L、58R的基部的框架56上安装有具有透光性的左右的镜片部60L、60R。在镜片部60L、60R的内侧的表面(与佩戴AR眼镜40的乘员的眼部对向的面)分别设有能够显示图像的显示部46。
显示部46以从镜片部60L、60R的外侧的表面向镜片部60L、60R入射的光透过显示部46向佩戴AR眼镜40的乘员的眼部入射的方式形成为透明型。由此，在显示部46显示图像时，佩戴AR眼镜40的乘员视觉识别到显示部46中显示的图像(虚像)重叠于通过镜片部60L、60R的实际视野(例如车辆22的前方的实像)。
需要说明的是，通过AR眼镜40的视野在车辆22的宽度方向上达到包括车辆22的A柱和侧窗的范围，显示部46在与车辆22的A柱和侧窗对应的位置也能够显示图像。
在镜片部60L、60R的外侧的表面，在不遮挡佩戴AR眼镜40的乘员的视野的位置安装有对AR眼镜40的前方进行拍摄的一对周边拍摄相机48。并且，在镜片部60L、60R的内侧的表面，在不遮挡佩戴AR眼镜40的乘员的视野的位置安装有对佩戴AR眼镜40的乘员的眼部进行拍摄并检测乘员的视线的一对视线相机50。
并且，在镜腿58L、58R中的AR眼镜40佩戴于乘员的状态下与乘员的耳部对应的位置设有一对扬声器52。AR眼镜控制部42根据来自车载系统24的指示而使图像显示于显示部46，并且将由周边拍摄相机48拍摄的图像和视线相机50对视线的检测结果向车载系统24发送。并且，AR眼镜控制部42根据需要从扬声器52输出声音。
AR眼镜控制部42与麦克风54一起内置于例如框架56，在例如镜腿58L、58R中内置有蓄电池(图示省略)并设有供电插孔(图示省略)。需要说明的是，AR眼镜控制部42、麦克风54、蓄电池以及供电插孔的配置位置并不限定于上述。AR眼镜40是可穿戴终端的一例，周边拍摄相机48是周边拍摄部的一例，视线相机50是视线检测部的一例。
接着，作为本实施方式的作用，参照图3并说明在车辆22的点火开关接通的期间由ITS-ECU26执行的对象物通知处理。
在对象物通知处理的步骤100中，ITS-ECU26判定是否从交通状况提供系统12接收了基础设施信息。在步骤100的判定为否定的情况下，重复步骤100，直到判定为肯定为止。车载系统24在车辆22距交叉口接近规定距离L1以内时，从交通状况提供系统12接收基础设施信息。由此，步骤100的判定为肯定而向步骤102转移。
在步骤102中，ITS-ECU26基于车载传感器组32中包括的转向信号灯开关的信息等来判定是否本车辆在与从交通状况提供系统12接收的基础设施信息对应的处理对象的交叉口进行转弯。需要说明的是，步骤102的判定也能够从汽车导航装置取得行驶预定路径的信息来进行。在步骤102的判定为否定的情况下，返回步骤100。并且，在本车辆在处理对象的交叉口进行转弯的情况下，步骤102的判定为肯定而向步骤104转移。
在步骤104中，ITS-ECU26判定是否本车辆已进入处理对象的交叉口内。在步骤104的判定为肯定的情况下，向步骤106转移。在步骤106中，ITS-ECU26运算接收的基础设施信息中包含的交叉口的位置与由GPS传感器28检测的本车辆的位置之间的距离，判定是否本车辆到处理对象的交叉口接近规定距离L2(L2＜L1)以内。在步骤106的判定为否定的情况下，返回步骤100，在步骤106的判定为肯定的情况下，向步骤108转移。
在步骤108中，ITS-ECU26判定在本车辆在处理对象的交叉口进行转弯的前方是否存在行人或自行车等对象物。具体而言，首先，判定接收的基础设施信息中是否含有行人信息。在基础设施信息中含有行人信息的情况下，判定在该行人信息表示的行人或自行车等对象物中是否包含距本车辆在处理对象的交叉口进行转弯并通行的预定路径位于规定范围内的行人或自行车等对象物。在步骤108的判定为否定的情况下，返回步骤100。需要说明的是，在此对行人或自行车等的存在进行了判定，但是车辆也可以包含于判定对象。
另一方面，在距本车辆在处理对象的交叉口进行转弯并通行的预定路径规定范围内存在行人或自行车等对象物的情况下，伴随于本车辆在处理对象的交叉口进行转弯，有可能与上述的对象物接近至规定距离以下。因此，在步骤108的判定为肯定的情况下，向步骤110转移，将距通行预定路线位于规定范围内的行人或自行车设定为通知对象。并且，在步骤112中，ITS-ECU26进行AR显示控制处理。
如图4所示，在AR显示控制处理的步骤150中，ITS-ECU26读入一个通知对象的信息。需要说明的是，在此读入的通知对象的信息中包含通知对象的位置和类别(行人或自行车或对向车等)的信息。在步骤152中，ITS-ECU26基于步骤150中读入的信息所包含的通知对象的位置和由GPS传感器28检测的本车辆的位置来运算从佩戴AR眼镜40的乘员观察通知对象存在的方向。并且，ITS-ECU26基于从佩戴AR眼镜40的乘员观察通知对象存在的方向运算AR眼镜40的显示部46上的通知对象的位置。
在步骤154中，ITS-ECU26取得由AR眼镜40的周边拍摄相机48拍摄到的周边拍摄图像。并且，在步骤156中，ITS-ECU26判定在步骤154中取得的周边拍摄图像上是否通知对象未由遮挡物遮挡。该判定可以通过判定在周边拍摄图像中的与步骤152中运算的AR眼镜40的显示部46上的通知对象的位置对应的区域是否映有通知对象来进行。需要说明的是，在该遮挡判定时，也可以取代周边拍摄图像而使用由车载传感器组32中包括的相机拍摄到的车辆22的周围的图像。
作为一例，图5所示的状况是车辆22欲在交叉口60右转，在车辆22在交叉口60右转并通行的预定路径(参照图5所示的箭头R)的附近存在行人62。车辆22的ITS-ECU26通过经由ITS无线装置18从交通状况提供系统12接收基础设施信息而作为通知对象识别到行人62的存在。但是，从车辆22的乘员观察，行人62由遮挡物64(图5的例子中为树木)遮挡，车辆22的乘员在图5所示的状况下无法直接视觉识别行人62。在这种情况下，判定为通知对象由遮挡物64遮挡。并且，假设在不存在遮挡物64的情况下，判定为通知对象未由遮挡物64遮挡。
在接着的步骤158中，ITS-ECU26判定在步骤156的判定中是否判定为通知对象由遮挡物64遮挡。在步骤158的判定为肯定的情况下，向步骤160转移。在步骤160中，ITS-ECU26向AR眼镜40通知AR眼镜40的显示部46上的通知对象的位置以及通知对象的类别，指示将示意性地表示通知对象的外形的图形显示于显示部46。由此，AR眼镜控制部42使示意性地表示通知对象的外形的图形显示于显示部46上的指示的位置。并且，在步骤158的判定为否定的情况下，跳过步骤160而向步骤162转移。
在步骤162中，ITS-ECU26向AR眼镜40通知AR眼镜40的显示部46上的通知对象的位置，指示将强调通知对象存在的区域的框显示于显示部46。由此，AR眼镜控制部42使强调通知对象存在的区域的矩形状的框显示于显示部46上的指示的位置。
在图5所示的状况下，经过上述的处理，佩戴AR眼镜40的乘员通过AR眼镜40视觉识别的视野的一例示于图6。在图6所示的例子中，从佩戴AR眼镜40的乘员观察表示由遮挡物64遮挡的行人62的图形66进入视野。由此，乘员识别到存在由遮挡物64遮挡的行人62。并且，在图6所示的例子中，强调由遮挡物64遮挡的行人62存在的区域的矩形状的框68进入视野。由此，抑制乘员看漏由通过显示图形66来通知的遮挡物64遮挡的行人62的存在。
需要说明的是，强调通知对象存在的区域的框68在从佩戴AR眼镜40的乘员观察通知对象未由遮挡物遮挡的情况下也显示。由此，在通知对象未由遮挡物遮挡的情况下，也抑制乘员看漏该通知对象的存在。
在步骤164中，ITS-ECU26判定是否读入了全部的通知对象的信息。并且，在步骤164的判定为否定的情况下，返回步骤150，重复步骤150～步骤164，直到步骤164的判定为肯定为止。在步骤164的判定为肯定的情况下，结束AR显示控制处理，向图3的对象物通知处理返回。
并且，在本车辆进入处理对象的交叉口内时，步骤104的判定为否定而向步骤114转移。在步骤114中，ITS-ECU26判定处理对象的交叉口处的本车辆的转弯是否为横穿对向车线的转弯(左侧通行下的右转或者右侧通行下的左转)。在步骤114的判定为否定的情况下，向步骤120转移。
并且，在步骤114的判定为肯定的情况下，向步骤116转移，在步骤116中，ITS-ECU26判定在处理对象的交叉口是否存在与本车辆会车的对向车。具体而言，首先判定接收的基础设施信息中是否包含车辆信息。在基础设施信息中包含车辆信息的情况下，基于该车辆信息表示的车辆的位置以及行进方向来判定是否存在与本车辆在处理对象的交叉口会车的对向车。在步骤116的判定为否定的情况下，向步骤120转移。
另一方面，在存在与本车辆在处理对象的交叉口会车的对向车的情况下，伴随于本车辆在处理对象的交叉口进行转弯，有可能与上述的对向车接近至规定距离以下。因此，在步骤116的判定为肯定的情况下，向步骤118转移，在步骤118中，ITS-ECU26将与本车辆在处理对象的交叉口会车的对向车设定为通知对象。
需要说明的是，在此作为设为通知对象的车辆的一例，例举了对向车，但是并不限定于此，在与本车辆行驶中的道路在处理对象的交叉口处交叉的道路上存在车辆的情况下，也可以将该车辆设为通知对象。
在接着的步骤120中，ITS-ECU26与前述的步骤108一样判定在本车辆在处理对象的交叉口进行转弯的前方是否存在行人或自行车等对象物。在步骤120的判定为肯定的情况下，向步骤122转移，与前述的步骤110一样，将距通行预定路线位于规定范围内的行人或自行车设定为通知对象。需要说明的是，在步骤120的判定为否定的情况下，跳过步骤122而向步骤124转移。
并且，在步骤124中，ITS-ECU26进行先前说明的AR显示控制处理(图4)。需要说明的是，在步骤124的AR显示处理中，例如可以使强调通知对象存在的区域的框闪烁显示等，使显示与步骤112的AR显示处理不同。并且，在通知对象未设定的情况(不存在对向车或行人等的情况)下，跳过步骤124的AR显示控制处理的执行。
在接着的步骤126中，ITS-ECU26判定本车辆是否与通知对象接近规定距离L3(L3＜L2＜L1)以内。在步骤126的判定为否定的情况下，向步骤130转移，而在步骤126的判定为肯定的情况下，向步骤128转移。
在步骤128中，ITS-ECU26向AR眼镜40指示对于与通知对象的接近唤起注意的声音的输出。由此，AR眼镜控制部42从扬声器52输出对于与通知对象的接近唤起注意的声音，因此能够使乘员识别到存在本车辆接近规定距离L3以内的通知对象。需要说明的是，也可以在用声音进行通知的基础上，例如闪烁显示强调通知对象存在的区域的框。
在接着的步骤130中，ITS-ECU26取得通过AR眼镜40的视线相机50对佩戴AR眼镜40的乘员的视线进行检测的结果。在步骤132中，ITS-ECU26基于步骤130中取得的视线检测结果来判定在AR眼镜40的显示部46显示的图形66或框68是否被佩戴AR眼镜40的乘员视觉识别。具体而言，例如判定佩戴AR眼镜40的乘员的视线是否在AR眼镜40的显示部46上的图形66或框68的显示位置滞留规定时间(例如1秒左右的时间)以上。
在步骤132的判定为否定的情况下，向步骤136转移。并且，在步骤132的判定为肯定的情况下，可判断为与由佩戴AR眼镜40的乘员视觉识别的图形66或框68对应的通知对象的存在被佩戴AR眼镜40的乘员识别到，因此向步骤134转移。
在步骤134中，ITS-ECU26使在AR眼镜40的显示部46显示且判定为已由佩戴AR眼镜40的乘员视觉识别的图形66或框68的显示消去。由此，能够抑制在AR眼镜40的显示部46上图形66或框68的显示变得繁杂。
但是，使已由佩戴AR眼镜40的乘员视觉识别的图形66或框68的显示消去不是必须的处理。例如，也可以省略步骤134，使在AR眼镜40的显示部46显示的图形66或框68在判定为已由佩戴AR眼镜40的乘员视觉识别以后还继续显示。
在接着的步骤136中，ITS-ECU26判定是否本车辆已从处理对象的交叉口离开。在步骤136的判定为否定的情况下，返回步骤126，重复步骤126以后。并且，在步骤136的判定为肯定的情况下，在使AR眼镜40的显示部46显示的图形66或框68的显示消去之后返回步骤100。
如此，在本实施方式中，移动体通信部30从交通状况提供系统12取得在车辆的行进前方存在的对象物的信息，ITS-ECU26基于由移动体通信部30取得的信息，使对象物的信息显示于设有显示部46并且佩戴于车辆22的乘员的AR眼镜40的显示部46。由此，能够使乘员容易掌握在车辆22的行进前方存在的对象物的信息。
并且，在本实施方式中，ITS-ECU26使对象物的信息显示于AR眼镜40的显示部46中的从乘员观察与对象物存在的方向对应的位置。由此，能够使乘员更容易掌握在车辆22的行进前方存在的对象物的信息。
并且，在本实施方式中，ITS-ECU26在判定为从乘员观察而对象物由遮挡物遮挡了的情况下，使所述对象物的信息显示于AR眼镜40的显示部46。由此，能够抑制AR眼镜40的显示部46的显示变得繁杂。
而且，在本实施方式中，ITS-ECU26基于由设于AR眼镜40的周边拍摄相机48对车辆的周边进行拍摄的周边拍摄图像来判定是否从乘员观察而对象物由遮挡物遮挡。由此，能够减小是否从乘员观察而对象物由遮挡物遮挡的判定的误差。
并且，在本实施方式中，ITS-ECU26将示意性地表示对象物的外形的图形作为对象物的信息来显示。由此，能够使乘员直观地掌握对象物的存在。
并且，在本实施方式中，ITS-ECU26在使对象物的信息显示于AR眼镜40之后，在判定为由乘员识别到对象物的信息的情况下，使对象物的信息的显示消去。由此，能够抑制可穿戴终端的显示部的显示变得繁杂，能够促使乘员掌握未被乘员识别到的对象物的存在。
而且，在本实施方式中，ITS-ECU26基于由设于AR眼镜40的视线检测部对乘员的视线的方向进行检测的结果来判定是否由乘员识别到对象物的信息。由此，能够避免乘员的操作变得烦杂。
需要说明的是，在上述中，说明了从交通状况提供系统12取得在车辆22的行进前方存在的对象物的信息的方案，但是并不限定于此。例如，上述的对象物的信息也能够从车载传感器组32中包括的相机、激光雷达以及雷达中的至少一个取得。
并且，在上述中，说明了在车辆22通过交叉口时使对于车辆、行人或自行车等对象物的存在提醒注意的图像(图形66或框68)显示于AR眼镜40的显示部46的方案。但是，使图像显示于AR眼镜40的显示部46的状况和在AR眼镜40的显示部46显示的图像并不限于上述。作为一例，以下，说明通过ITS-ECU26进行图7所示的前方视野辅助处理而在前方视野由在本车辆的前方进行行驶的前行车辆阻碍的情况下使对前方视野进行辅助的图像显示于AR眼镜40的显示部46的方案。在该情况下，ITS-ECU26的存储部中存储使ITS-ECU26执行前方视野辅助处理的控制程序，ITS-ECU26的CPU从存储部读出控制程序并展开于存储器，执行展开的控制程序。
在前方视野辅助处理的步骤170中，ITS-ECU26将用于识别本车辆以及本车辆的前方的车辆的变量i重置为0。在步骤172中，ITS-ECU26从本车辆的车载传感器组32中包括的相机取得对本车辆的前方拍摄的前方图像。需要说明的是，以下，将由本车辆的i台前的车辆拍摄的前方图像称为“前方图像i”。由本车辆拍摄的前方图像为“前方图像0”。将“前方图像0”的拍摄范围的一例在图8中标注“B”的标号来示出。
在步骤174中，ITS-ECU26基于前方图像i来判定在本车辆的i+1台前是否存在车辆。在步骤174的判定为否定的情况下，向步骤186转移，在步骤186中，ITS-ECU26判定变量i是否为1以上。在步骤186的判定为否定的情况下，返回步骤170。如此，在本车辆的前方不存在车辆的情况下，不进行使图像显示于AR眼镜40的显示部46的处理。
并且，在本车辆的i+1台前存在车辆的情况下，步骤174的判定为肯定而向步骤176转移。在步骤176中，ITS-ECU26运算本车辆的i+1台前的车辆对前方图像i的遮挡率。需要说明的是，作为在此所说的遮挡率，例如可以使用与i+1台前的车辆相当的图像区域的面积占前方图像i的总面积的比率。但是，并不限定于此，也可以使用与前方图像i表示的前方视野中的由i+1台前的车辆遮挡的区域的比率关联的别的指标。
在接着的步骤178中，ITS-ECU26判定步骤176中运算的遮挡率是否为规定值以上。在步骤178的判定为否定的情况下，向步骤186转移。另一方面，例如图8所示，在本车辆72的前方存在卡车或公共汽车等车高较高的前行车辆74的情况下，作为一例，如图9所示的那样成为前方的视野被较大地遮挡的状态。在这种情况下，步骤178的判定为肯定而向步骤180转移。
在步骤180中，ITS-ECU26从前方图像i中包含的本车辆的i+1台前的车辆的图像区域提取表示靠近道路的路面的下侧部分的图像(以下将该图像称为基部图像i+1)。将基部图像的一例在图10中标注标号“76”来示出。在接着的步骤182中，ITS-ECU26从i+1台前的车辆通过移动体通信网络20与i+1台前的车辆的位置信息(纬度·经度)取得由在i+1台前的车辆上设置的相机拍摄的前方图像(前方图像i+1)。将“前方图像1”的拍摄范围的一例在图8中标注“A”的标号来示出。
并且，在步骤184中，ITS-ECU26使变量i增加1并返回步骤174。由此，在步骤174或步骤178的判定为否定之前的期间，重复步骤174～步骤184。因此，例如在本车辆的1台前存在相对于从本车辆的前方视野的遮挡率较高的前行车辆a且在前行车辆A的1台前存在相对于从前行车辆a的前方视野的遮挡率较高的前行车辆b的情况下，会分别提取前行车辆a、b的基部图像。
在步骤174或步骤178的判定为否定时向步骤186转移。并且，在进行了前行车辆的基部图像的提取的情况下变量i被增加，因此步骤186的判定为肯定而向步骤188转移。在步骤188中，ITS-ECU26将1～i-1台前的车辆的基部图像合成于前方图像i。
在接着的步骤190中，ITS-ECU26取得由AR眼镜40的周边拍摄相机48拍摄的周边拍摄图像。在步骤192中，ITS-ECU26基于拍摄前方图像i的i台前的车辆的位置(纬度/经度)相对于由GPS传感器28检测的本车辆72的位置(纬度/经度)的差，对于合成了基部图像的前方图像i以模拟从本车辆72的乘员的视野的方式进行坐标转换等。并且，通过使合成基部图像并经过了坐标转换等的前方图像i与周边拍摄图像进行合成而生成和前方图像i与周边拍摄图像的差分相当的图像，使生成的图像显示于AR眼镜40的显示部46。进行步骤192的处理后返回步骤170。
经过上述的处理，佩戴AR眼镜40的乘员通过AR眼镜40视觉识别的视野的一例在图10中示出。在图10所示的例子中，从佩戴AR眼镜40的乘员观察前方视野中的由前行车辆的上侧部分遮挡的部分进入视野。由此，从佩戴AR眼镜40的乘员的前方视野被改善。并且，在图10所示的例子中，前行车辆的下侧部分作为基部图像76进入佩戴AR眼镜40的乘员的视野。由此，佩戴AR眼镜40的乘员识别到前行车辆的存在。
图10示出了将前行车辆的下侧部分作为基部图像76来显示的例子，但是并不限定于此。例如，在本车辆72进行L4以上的自动驾驶的情况下，使佩戴AR眼镜40的乘员识别到前行车辆的存在的必要性较低。在这种情况下，作为一例，也可以如图11所示的那样不显示基部图像76。
并且，在上述中，说明了在车辆22的前挡风玻璃上未设置HUD的方案。在欲通过HUD来实现与上述中说明的AR眼镜40同等的功能时，需要非常大型的HUD，因此成本、质量以及消耗电力增大，组装作业性以及更换时的可用性下降。并且，将HUD的显示面扩大至车辆的A柱附近或侧窗在搭载空间方面物理上是困难的。并且，欲在HUD中和将乘员的视线与对象物连结的线与前挡风玻璃的交点相当的位置显示对象物的信息时，受到每个乘员就座姿势不同且视线高度不同的影响，每个乘员需要花费显示调整的工夫，因此不现实。
相对于此，AR眼镜40配置于与乘员的眼部接近的位置，因此即使将显示范围设定为包含车辆的A柱附近或侧窗的范围，显示部46的显示面积也很小，成本、质量以及消耗电力被抑制得较小。并且，在和将乘员的视线与对象物连结的线与前挡风玻璃的交点相当的位置显示对象物的信息也不会受每个乘员就座姿势不同且视线高度不同的影响，因此能够容易实现。
但是，本公开并不限定于在车辆22上未设置HUD的方案，作为一例，也能够如图12所示的那样将本公开应用于在车辆22的车载系统24中设有HUD80的结构。在该情况下，ITS-ECU26在判定为对象物存在于从乘员观察映在HUD80的方向的情况下，使对象物的信息显示于HUD80。并且，ITS-ECU26在判定为对象物存在于从乘员观察未映在HUD80的方向的情况下，使对象物的信息显示于AR眼镜40的显示部46。由此，能够使HUD80中无法显示的范围例如与车辆的A柱附近或侧窗相当的范围的信息显示于AR眼镜40，能够通过AR眼镜40来对基于HUD80的显示进行补充。
需要说明的是，本公开的控制程序等程序也可以存储于外部服务器，经由网络而在存储器中展开。并且，控制程序等程序也可以存储于DVD(Digital Versatile Disc：数字通用光盘)等非暂时性(non-transitory)记录介质，经由记录介质读入装置而在存储器中展开。

Claims (10)

1.一种车辆用显示控制装置，包括：
取得部，取得在车辆的行进前方存在的对象物的信息；以及
显示控制部，基于由所述取得部取得的信息，使所述对象物的信息显示于设有显示部并且佩戴于所述车辆的乘员的眼镜型的可穿戴终端的所述显示部。
2.根据权利要求1所述的车辆用显示控制装置，其中，
所述显示控制部使所述对象物的信息显示于所述显示部中的从所述乘员观察与所述对象物存在的方向对应的位置。
3.根据权利要求1或2所述的车辆用显示控制装置，其中，
所述显示控制部在判定为从所述乘员观察而所述对象物由遮挡物遮挡了的情况下，使所述对象物的信息显示于所述可穿戴终端的所述显示部。
4.根据权利要求3所述的车辆用显示控制装置，其中，
所述显示控制部基于由设置于所述可穿戴终端的周边拍摄部对所述车辆的周边进行拍摄而得到的周边拍摄图像来判定是否从所述乘员观察而所述对象物由遮挡物遮挡。
5.根据权利要求1～4中的任一项所述的车辆用显示控制装置，其中，
作为所述对象物的信息，所述显示控制部使示意性地表示所述对象物的外形的图形显示。
6.根据权利要求1～5中的任一项所述的车辆用显示控制装置，其中，
所述显示控制部在使所述对象物的信息显示于所述可穿戴终端的所述显示部之后，在判定为由所述乘员识别到所述对象物的信息的情况下，使所述对象物的信息的显示消去。
7.根据权利要求6所述的车辆用显示控制装置，其中，
所述显示控制部基于由设置于所述可穿戴终端的视线检测部对所述乘员的视线的方向进行检测而得到的结果来判定是否由所述乘员识别到所述对象物的信息。
8.根据权利要求1～7中的任一项所述的车辆用显示控制装置，其中，
所述显示控制部在判定为所述对象物存在于从所述乘员观察未映在设于所述车辆的前挡风玻璃的抬头显示器上的方向的情况下，使所述对象物的信息显示于所述可穿戴终端的所述显示部。
9.一种车辆用显示控制方法，包括：
取得在车辆的行进前方存在的对象物的信息；以及
基于所述取得的信息，以使所述对象物的信息显示于设有显示部并且佩戴于所述车辆的乘员的眼镜型的可穿戴终端的所述显示部的方式进行控制。
10.一种存储介质，是存储有使计算机执行车辆用显示控制处理的程序的非暂时性存储介质，
所述车辆用显示控制处理包括：
取得在车辆的行进前方存在的对象物的信息；以及
基于所述取得的信息，以使所述对象物的信息显示于设有显示部并且佩戴于所述车辆的乘员的眼镜型的可穿戴终端的所述显示部的方式进行控制。
CN201911022716.0A 2018-12-05 2019-10-25 车辆用显示控制装置、车辆用显示控制方法以及存储介质 Active CN111273765B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-228534 2018-12-05
JP2018228534A JP7163748B2 (ja) 2018-12-05 2018-12-05 車両用表示制御装置

Publications (2)

Publication Number Publication Date
CN111273765A true CN111273765A (zh) 2020-06-12
CN111273765B CN111273765B (zh) 2023-09-12

Family

ID=70972422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911022716.0A Active CN111273765B (zh) 2018-12-05 2019-10-25 车辆用显示控制装置、车辆用显示控制方法以及存储介质

Country Status (3)

Country Link
US (1) US11198398B2 (zh)
JP (1) JP7163748B2 (zh)
CN (1) CN111273765B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114516270A (zh) * 2022-03-11 2022-05-20 禾多科技（北京）有限公司 车辆控制方法、装置、电子设备和计算机可读介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10909866B2 (en) * 2018-07-20 2021-02-02 Cybernet Systems Corp. Autonomous transportation system and methods
DE102019206749A1 (de) * 2019-05-09 2020-11-12 Volkswagen Aktiengesellschaft Mensch-Maschine-Interaktion in einem Kraftfahrzeug
JP7482049B2 (ja) * 2021-01-05 2024-05-13 日立Astemo株式会社 制御システム、車載装置、および管制装置
WO2022216558A1 (en) * 2021-04-05 2022-10-13 Meta Platforms Technologies, Llc Systems and methods for dynamic image processing and segmentation
JP7487714B2 (ja) 2021-08-31 2024-05-21 トヨタ自動車株式会社 表示制御装置、表示システム、表示方法及び表示プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100253593A1 (en) * 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Enhanced vision system full-windshield hud
US8346426B1 (en) * 2010-04-28 2013-01-01 Google Inc. User interface for displaying internal state of autonomous driving system
US20140218268A1 (en) * 2013-02-01 2014-08-07 Volvo Car Corporation Vehicle head-up display arrangement
US20160203582A1 (en) * 2015-01-09 2016-07-14 Panasonic Intellectual Property Management Co., Ltd. Display control apparatus, projection apparatus, display control method, and non-transitory computer readable storage medium
CN107415830A (zh) * 2016-05-23 2017-12-01 本田技研工业株式会社 车辆控制系统、车辆控制方法和车辆控制程序
CN107851393A (zh) * 2015-07-10 2018-03-27 田山修 车辆用图像显示系统及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004322680A (ja) 2003-04-21 2004-11-18 Denso Corp ヘッドアップディスプレイ装置
US8395529B2 (en) * 2009-04-02 2013-03-12 GM Global Technology Operations LLC Traffic infrastructure indicator on head-up display
JP2013025635A (ja) 2011-07-22 2013-02-04 Toyota Motor Corp 運転支援装置および運転支援方法
EP3007029B1 (en) * 2014-10-07 2017-12-27 LG Electronics Inc. Mobile terminal and wearable device
CN108701415B (zh) 2016-02-25 2021-08-03 富士胶片株式会社 驾驶辅助装置、驾驶辅助方法及驾驶辅助程序
JP6639437B2 (ja) 2017-04-20 2020-02-05 株式会社Ｓｕｂａｒｕ 情報提示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100253593A1 (en) * 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Enhanced vision system full-windshield hud
US8346426B1 (en) * 2010-04-28 2013-01-01 Google Inc. User interface for displaying internal state of autonomous driving system
US20140218268A1 (en) * 2013-02-01 2014-08-07 Volvo Car Corporation Vehicle head-up display arrangement
US20160203582A1 (en) * 2015-01-09 2016-07-14 Panasonic Intellectual Property Management Co., Ltd. Display control apparatus, projection apparatus, display control method, and non-transitory computer readable storage medium
CN107851393A (zh) * 2015-07-10 2018-03-27 田山修 车辆用图像显示系统及方法
CN107415830A (zh) * 2016-05-23 2017-12-01 本田技研工业株式会社 车辆控制系统、车辆控制方法和车辆控制程序

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114516270A (zh) * 2022-03-11 2022-05-20 禾多科技（北京）有限公司 车辆控制方法、装置、电子设备和计算机可读介质
CN114516270B (zh) * 2022-03-11 2023-09-12 禾多科技（北京）有限公司 车辆控制方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
JP2020091663A (ja) 2020-06-11
US11198398B2 (en) 2021-12-14
JP7163748B2 (ja) 2022-11-01
CN111273765B (zh) 2023-09-12
US20200180519A1 (en) 2020-06-11

Similar Documents

Publication Publication Date Title
JP6700623B2 (ja) 走行支援装置及びコンピュータプログラム
CN111273765B (zh) 车辆用显示控制装置、车辆用显示控制方法以及存储介质
US11535155B2 (en) Superimposed-image display device and computer program
EP1961613B1 (en) Driving support method and driving support device
US11511627B2 (en) Display device and computer program
US8624717B2 (en) Image processor, storage medium storing an image processing program and vehicle-mounted terminal
JP5817927B2 (ja) 車両用表示装置、車両用表示方法及び車両用表示プログラム
US11525694B2 (en) Superimposed-image display device and computer program
JP2007257286A (ja) 車両用表示システム
JP7151073B2 (ja) 表示装置及びコンピュータプログラム
JP2019164611A (ja) 走行支援装置及びコンピュータプログラム
CN113165510B (zh) 显示控制装置、方法和计算机程序
JP7143728B2 (ja) 重畳画像表示装置及びコンピュータプログラム
JP2021149641A (ja) 対象物提示装置及び対象物提示方法
US20210129751A1 (en) Side and rear reflection controller and side and rear reflection control method
JP6984341B2 (ja) 重畳画像表示装置及びコンピュータプログラム
JP2020085897A (ja) 重畳画像表示装置及びコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant