JP2015135591A - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2015135591A
JP2015135591A JP2014006625A JP2014006625A JP2015135591A JP 2015135591 A JP2015135591 A JP 2015135591A JP 2014006625 A JP2014006625 A JP 2014006625A JP 2014006625 A JP2014006625 A JP 2014006625A JP 2015135591 A JP2015135591 A JP 2015135591A
Authority
JP
Japan
Prior art keywords
obstacle
screen
image
icon
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014006625A
Other languages
English (en)
Other versions
JP6287237B2 (ja
Inventor
康宏 梶原
Yasuhiro Kajiwara
康宏 梶原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2014006625A priority Critical patent/JP6287237B2/ja
Priority to US14/582,316 priority patent/US9545880B2/en
Publication of JP2015135591A publication Critical patent/JP2015135591A/ja
Application granted granted Critical
Publication of JP6287237B2 publication Critical patent/JP6287237B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Lenses (AREA)
  • Instrument Panels (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】 ヘッドアップディスプレイ装置において、運転者が障害物の回避行動をとるのに適した表示を提供する。
【解決手段】 ヘッドアップディスプレイ装置１０１であって、前方撮像部３０１を用いて撮像された画像より障害物が検出された場合に、前方撮像部３０１の撮像範囲を示す障害物マップを半透過スクリーンの下限位置に配置した場合の当該障害物マップ上の前記障害物の位置に、警告アイコンが視認されるように、前記半透過スクリーンにおける警告アイコンの位置を算出する手段と、前記算出された位置を始点とし、前記障害物が存在する方向を終点とする指示線が視認されるように、前記半透過スクリーンにおける該指示線の終点の位置を算出する手段とを有し、前記算出結果に応じて警告アイコン及び指示線を配置することで警告画像を生成することを特徴とする。
【選択図】図３

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。
従来より、車両運転中の運転者による障害物の回避行動を補助する装置として、ヘッドアップディスプレイ装置が知られている。
ヘッドアップディスプレイ装置とは、運転者の前方位置に、半透過スクリーンを提示し、種々の画像を表示する装置である。当該装置によれば、運転者の眼球の位置に応じた半透過スクリーン上の位置に、注意喚起対象である障害物を強調する画像を配置することで、該画像を注意喚起対象に重畳して表示させることができる。このため、運転者は、注意喚起対象を少ない視線移動で把握することができる（例えば、特許文献１参照）。
しかしながら、特許文献１を含む従来のヘッドアップディスプレイ装置の場合、注意喚起対象を強調する画像を、注意喚起対象に重畳して表示させることができる領域は、半透過スクリーンのサイズに依存していた。このため、半透過スクリーンのサイズが小さい場合、限られた範囲に存在する注意喚起対象についてのみ、強調画像の表示を行うことができるに過ぎなかった。
また、限られた範囲内の表示で、運転者が注意喚起対象を認識し回避行動をとることができるようにするためには、小さいサイズであっても運転者が認識しやすい表示を行うことが必要である。
このように、ヘッドアップディスプレイ装置においては、注意喚起対象である障害物が、半透過スクリーンの範囲内にあるか否かに関わらず、運転者が十分な回避行動をとることができるように表示を行うことが求められている。
本発明は上記課題に鑑みてなされたものであり、ヘッドアップディスプレイ装置において、運転者が障害物に対して回避行動をとるのに適した表示を提供することを目的とする。
本発明の実施形態に係る情報処理装置は、以下のような構成を有する。すなわち、
車両の運転者によって視認される半透過スクリーンに表示する警告画像を生成する情報処理装置であって、
前記車両に設置された撮像部を用いて撮像された画像より障害物が検出された場合に、当該撮像部の撮像範囲を２次元の座標平面として前記半透過スクリーンの下限位置に配置した場合の当該２次元の座標平面における前記障害物の位置に、前記障害物が検出されたことを示す第１のアイコンが視認されるように、前記半透過スクリーンにおける該第１のアイコンの位置を算出する第１の算出手段と、
前記第１の算出手段により算出された位置を始点とし、前記障害物が存在する方向を終点とする指示線が視認されるように、前記半透過スクリーンにおける該指示線の終点の位置を算出する第２の算出手段と、を有し、
前記第１及び第２の算出手段の算出結果に応じて前記第１のアイコン及び前記指示線を配置することで、前記警告画像を生成することを特徴とする。
本発明の各実施形態によれば、ヘッドアップディスプレイ装置において、運転者が障害物に対して回避行動をとるのに適した表示を提供することが可能となる。
実施形態に係る情報処理装置（ヘッドアップディスプレイ装置）を含む情報処理システムの各部の配置例を示す図である。 ヘッドアップディスプレイ装置による半透過スクリーンへの画像の表示方法を説明するための図である。 情報処理システムの各部の機能構成を示す図である。 ヘッドアップディスプレイ装置の画像生成部の機能構成を示す図である。 半透過スクリーンへの警告画像の表示例を示す図である。 半透過スクリーンへの警告画像の表示例を示す図である。 内外判定部による障害物の内外判定方法を説明するための図である。 前方撮像部により撮像される撮像範囲を示す図である。 障害物マップ及び座標平面画像の生成方法を説明するための図である。 警告アイコンの配置方法を説明するための図である。 障害物強調アイコンの配置方法を説明するための図である。 障害物指示線の表示方法を説明するための図である。 障害物画像の配置方法を説明するための図である。 障害物指示線の表示方法を説明するための図である。 警告画像を生成するための画像生成処理の流れを示すフローチャートである。 半透過スクリーンへの警告画像の表示例を示す図である。
以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
［第１の実施形態］
＜１．情報処理システムの全体構成＞
はじめに、本実施形態に係る情報処理装置（ヘッドアップディスプレイ装置）を含む情報処理システム１００の車両内における各部の配置について説明する。図１は、本実施形態に係る情報処理装置（ヘッドアップディスプレイ装置１０１）を含む情報処理システム１００の車両１２０内における各部の配置例を示す図である。
図１に示すように、情報処理システム１００は、ヘッドアップディスプレイ装置１０１と、半透過ミラー１０２と、眼球位置計測部１０３と、障害物探知部１０４とを有する。
ヘッドアップディスプレイ装置１０１は、車両１２０内のダッシュボードの上に配置され、運転者１３０の前方であって、運転者１３０の視野の一部を占める所定の位置に、半透過スクリーン１１０を提示する。
半透過ミラー１０２は、車両１２０のフロントガラスの内側に配置され、ヘッドアップディスプレイ装置１０１より出力された映像（後述する警告画像）を、半透過スクリーン１１０に表示する。
眼球位置計測部１０３は、車両１２０内のダッシュボードの上に配置され、運転者１３０の眼球の三次元位置を計測し、計測結果をヘッドアップディスプレイ装置１０１に出力する。
障害物探知部１０４は、車両１２０内の天井部に配置され、フロントガラスを介して、車両１２０の前方の障害物を探知する。なお、本実施形態においては、障害物探知部１０４として、ステレオカメラを用いるものとする。
＜２．ヘッドアップディスプレイ装置による半透過スクリーンへの表示方法＞
次に、ヘッドアップディスプレイ装置１０１による半透過スクリーン１１０への表示方法について説明する。図２は、ヘッドアップディスプレイ装置１０１による半透過スクリーン１１０への表示方法を説明するための図である。
図２に示すように、ヘッドアップディスプレイ装置１０１は、警告画像生成部２００、光走査装置２０１、被投影面２０２、凸面ミラー２０３、凹面ミラー２０４を有する。警告画像（詳細は後述）等の映像は、警告画像生成部２００において生成され、光走査装置２０１に入力される。光走査装置２０１では赤・青・緑の光を出力し、被投影面２０２に映像として投影する。被投影面２０２に投影された映像は、凸面ミラー２０３、凹面ミラー２０４、半透過ミラー１０２において反射され、半透過スクリーン１１０として拡大された状態で運転者に視認されることとなる。
つまり、半透過ミラー１０２の座標２２１において反射した映像は、運転者の視点（眼球２１０の位置）からは、半透過スクリーン１１０の座標２２２に表示されているように見えることになる。
＜３．情報処理システムを構成する各部の機能構成＞
次に、情報処理システム１００を構成する各部の機能構成について説明する。図３は、情報処理システム１００を構成する各部の機能のうち、警告画像の生成に関連する機能についての機能構成を示す図である。
図３に示すように、障害物探知部１０４は、前方撮像部３０１、障害物検出部３０２、障害物位置算出部３０３、障害物画像生成部３０４を有する。
前方撮像部３０１はステレオカメラにより構成されており、前方撮像部３０１により撮像された、車両１２０の前方風景の画像は、障害物検出部３０２に入力される。
障害物検出部３０２では、前方撮像部３０１により入力された画像から、障害物を検出する。検出した障害物に関する情報は、障害物位置算出部３０３に入力される。
障害物位置算出部３０３では、障害物検出部３０２において検出された障害物までの距離を算出し、障害物の位置座標として障害物位置データを算出する。なお、障害物までの距離は、前方撮像部３０１により入力された画像に基づいて算出される視差を用いることで、算出するものとする。
障害物画像生成部３０４は、障害物検出部３０２において検出された障害物の画像を抽出し、障害物画像データを生成する。
これにより、障害物探知部１０４では、所定のフレームレートで、障害物位置データ、障害物画像データをヘッドアップディスプレイ装置１０１に入力することができる。
また、図３に示すように、眼球位置計測部１０３は、運転者撮像部３１１、眼球位置算出部３１２を有する。運転者撮像部３１１はステレオカメラにより構成されており、運転者撮像部３１１により撮像された、運転者１３０の画像は、眼球位置算出部３１２に入力される。
眼球位置算出部３１２では、運転者撮像部３１１により入力された画像から、運転者１３０の眼球を特定するとともに、特定した眼球２１０までの距離を算出し、眼球２１０の位置座標として眼球位置データを算出する。なお、眼球２１０までの距離は、運転者撮像部３１１により入力された画像に基づいて算出される視差を用いることで、算出するものとする。
これにより、眼球位置計測部１０３では、所定のフレームレートで、眼球位置データをヘッドアップディスプレイ装置１０１に入力することができる。
更に、図３に示すように、ヘッドアップディスプレイ装置１０１は、警告画像生成部２００を有する。警告画像生成部２００は、演算処理部３２１、フレームバッファ３２２、記憶装置３２３の各部を有し、当該各部はバス３２４を介して相互に接続されている。
なお、図３の例では、警告画像生成部２００をヘッドアップディスプレイ装置１０１に内蔵させる構成としているが、本発明はこれに限定されず、警告画像生成部２００は、ヘッドアップディスプレイ装置１０１とは別体で設けるように構成してもよい。
演算処理部（コンピュータ）３２１は、記憶装置３２３に格納されたプログラム（画像生成部３３０として機能するプログラム）を実行することで、警告画像を生成する。
フレームバッファ３２２は、演算処理部３２１が画像生成部３３０として機能するプログラムを実行することで生成した警告画像を一時的に保持する。
記憶装置３２３は、画像生成部３３０として機能するプログラムを格納する。また、障害物探知部１０４より出力される障害物位置データ３４１、障害物画像データ３４２と、眼球位置計測部１０３より出力される眼球位置データ３４３を格納する。
なお、画像生成部３３０として機能するプログラムは、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤカードなどの、種々の外部記憶媒体に記憶された状態で流通されてもよい。あるいは、不図示のサーバからダウンロードされてもよい。このときのプログラムは、圧縮された状態であっても実行形式の状態であってもよい。
画像生成部３３０により生成されフレームバッファ３２２に保持された警告画像は、所定のフレームレートで光走査装置２０１に出力され、半透過スクリーン１１０に表示される。
＜４．画像生成部の機能構成＞
次に、画像生成部３３０の機能構成について、図４〜図６を用いて説明する。図４は、画像生成部３３０の機能構成を示す図である。以下、図５、図６に示す半透過スクリーン１１０への警告画像の表示例を参照しながら、図４を用いて、画像生成部３３０の機能構成について説明する。
図４に示すように、画像生成部３３０は、内外判定部４０１、障害物マップ生成部４１１、警告アイコン生成部４１２、障害物強調アイコン生成部４１３、障害物指示線生成部４１４、障害物画像配置部４１５を有する。
内外判定部４０１は、障害物探知部１０４において検出され、障害物位置データが算出された障害物が、半透過スクリーン１１０の範囲内に存在しているか否かを判定する。画像生成部３３０では、障害物探知部１０４において検出され、障害物位置データが算出された障害物が、半透過スクリーン１１０の範囲内に存在しているか否かにより、異なる警告画像を生成する。
なお、図５、図６に示す半透過スクリーン１１０への警告画像の表示例のうち、図５は、障害物５１０が半透過スクリーン１１０の範囲内に存在していると判定された場合の警告画像の表示例である。一方、図６は、障害物６１０が半透過スクリーン１１０の範囲内に存在していないと判定された場合の警告画像の表示例である。内外判定部４０１による内外判定方法の詳細は後述する。
障害物マップ生成部４１１は、障害物探知部１０４の前方撮像部３０１により撮像された撮像範囲における障害物の分布を示す障害物マップを生成する。更に、障害物探知部１０４の前方撮像部３０１により撮像された撮像範囲を、半透過スクリーン１１０に、２次元の座標平面として表示するための"座標平面画像"を生成する。図５及び図６に示す座標平面画像５０１は、障害物マップ生成部４１１により生成された画像である。なお、障害物マップ生成部４１１による障害物マップ及び座標平面画像５０１の生成方法の詳細は後述する。
警告アイコン生成部４１２は、障害物が検出されたことを運転者に報知するための"警告アイコン"を生成する。図５及び図６に示す警告アイコン５０２は、警告アイコン生成部４１２により生成されたアイコンである。なお、警告アイコン５０２の配置方法の詳細は後述する。
障害物強調アイコン生成部４１３は、障害物探知部１０４において検出された障害物を強調するために、障害物に重畳して表示するための"障害物強調アイコン"を生成する。図５に示す障害物強調アイコン５０３は、障害物強調アイコン生成部４１３により生成されたアイコンである。なお、図６の表示例では、障害物６１０が半透過スクリーン１１０の範囲内に存在していないため、障害物強調アイコン５０３は生成されず、半透過スクリーン１１０に表示されることもない。なお、障害物強調アイコン５０３の配置方法の詳細は後述する。
障害物指示線生成部４１４は、障害物が存在する方向を、運転者に報知するために表示される"障害物指示線"を生成する。図５に示す障害物指示線５０４及び図６に示す障害物指示線６０４は、障害物指示線生成部４１４により生成された指示線である。
図５に示すように、障害物５１０が半透過スクリーン１１０の範囲内に存在する場合、障害物指示線５０４は、警告アイコン５０２と障害物強調アイコン５０３とを接続するように表示される。また、図６に示すように、障害物６１０が半透過スクリーン１１０の範囲内に存在しない場合、障害物指示線６０４は、警告アイコン５０２から障害物６１０に向かう方向に表示される。なお、障害物指示線５０４、６０４の表示方法の詳細は後述する。
障害物画像配置部４１５は、障害物探知部１０４の障害物画像生成部３０４により生成された障害物画像データ３４２を、半透過スクリーン１１０に表示するために、警告画像内に"障害物画像"を配置する。図６に示す障害物画像６０５は、障害物画像生成部３０４により生成され、障害物画像配置部４１５により配置された画像である。なお、図５の表示例では、障害物５１０が半透過スクリーン１１０の範囲内に既に存在し、障害物強調アイコン５０３を重畳して表示しているため、障害物画像が表示されることはない。障害物画像の配置方法の詳細は後述する。
以上の説明から明らかなように、画像生成部３３０では、内外判定部４０１における判定の結果、障害物が半透過スクリーン１１０の範囲内に存在すると判定された場合には、警告画像として、下記の要素を含む画像を生成する。
・座標平面画像５０１
・警告アイコン５０２
・障害物強調アイコン５０３
・障害物指示線５０４
一方、障害物が半透過スクリーン１１０の範囲内に存在しないと判定された場合には、警告画像として、下記の要素を含む画像を生成する。
・座標平面画像５０１
・警告アイコン５０２
・障害物指示線６０４
・障害物画像６０５
＜５．画像生成部を構成する各部における処理の詳細＞
次に、画像生成部３３０を構成する各部における処理の詳細について説明する。
＜５．１ 内外判定部４０１による内外判定方法の詳細＞
はじめに、内外判定部４０１による内外判定方法の詳細について説明する。図７は、内外判定部４０１による内外判定方法の詳細を説明するための図である。具体的には、半透過スクリーン１１０の中央位置を原点Ｏ（０，０，０）とし、運転者１３０から見て半透過スクリーン１１０の右方向をＸ軸、下方向をＹ軸、奥行き方向をＺ軸とした半透過スクリーン座標系を示す図である。
図７において、Ｑ１（ｘｑ，ｙｑ，ｚｑ）は、障害物５１０の位置座標を示す障害物位置データ３４１である。また、Ｑ２（ｘｑ，ｙｑ，ｚｑ）は、障害物６１０の位置座標を示す障害物位置データ３４１である。更に、Ｐ（ｘｐ，ｙｐ，ｚｐ）は、運転者１３０の眼球２１０の座標位置を示す眼球位置データ３４３である。
ここで、半透過スクリーン１１０の幅をＳｗｉｄｔｈ、高さをＳｈｅｉｇｈｔとすると、半透過スクリーン１１０の各頂点のＳｌｔ、Ｓｒｔ、Ｓｌｂ、Ｓｒｂの座標は下記のとおりとなる。
Ｓｌｔ＝（−Ｓｗｉｄｔｈ／２，−Ｓｈｅｉｇｈｔ／２，０）
Ｓｒｔ＝（Ｓｗｉｄｔｈ／２，−Ｓｈｅｉｇｈｔ／２，０）
Ｓｌｂ＝（−Ｓｗｉｄｔｈ／２，Ｓｈｅｉｇｈｔ／２，０）
Ｓｒｂ＝（Ｓｗｉｄｔｈ／２，Ｓｈｅｉｇｈｔ／２，０）
内外判定部４０１では、眼球位置データＰ（ｘｐ，ｙｐ，ｚｐ）と障害物位置データＱ１（ｘｑ，ｙｑ，ｚｑ）及びＱ２（ｘｑ，ｙｑ，ｚｑ）とを結ぶ直線７０１、７０２と半透過スクリーン１１０との交点をそれぞれ算出する。
具体的には、直線７０１を示す一次式のｚ座標に"０"を代入することで、交点Ｓ１（ｘｓ１，ｙｓ１，０）を算出する。また、直線７０２を示す一次式のｚ座標に"０"を代入することで、交点Ｓ２（ｘｓ２，ｙｓ２，０）を算出する。
内外判定部４０１では、算出した交点が半透過スクリーン１１０の範囲内に存在していれば、障害物が半透過スクリーン１１０の範囲内に存在すると判定する。一方、算出した交点が半透過スクリーン１１０の範囲内に存在していなければ、障害物が半透過スクリーン１１０の範囲内に存在していないと判定する。
具体的には、交点Ｓ１のｘ座標（ｘｓ１）及びｙ座標（ｙｓ１）が下式を満たすか否かにより判定する。
Figure 2015135591
 同様に、交点Ｓ２のｘ座標（ｘｓ２）及びｙ座標（ｙｓ２）が下式を満たすか否かにより判定する。
Figure 2015135591
 内外判定部４０１では、数１を満たしていれば、障害物５１０は、半透過スクリーン１１０の範囲内に存在していると判定する。同様に、数２を満たしていれば、障害物６１０は、半透過スクリーン１１０の範囲内に存在していると判定する。なお、図７の例では、障害物５１０は、数１を満たし半透過スクリーン１１０の範囲内に存在していると判定され、障害物６１０は、数２を満たしておらず、半透過スクリーン１１０の範囲内に存在していないと判定される。
＜５．２ 障害物マップ生成部による障害物マップ及び座標平面画像の生成方法の説明＞
次に、障害物マップ生成部４１１による障害物マップ及び座標平面画像５０１の生成方法の詳細について説明する。図８は、前方撮像部３０１により撮像される撮像範囲を示す図である。
車両１２０内の天井部に設置され、フロントガラスを介して車両１２０の前方を撮像する前方撮像部３０１は、平面方向に対して、図８（ａ）に示す撮像範囲を有する。
また、奥行き方向に対して、設置位置から距離Ｄ１（前方撮像部３０１の設置位置から車両１２０の先端位置までの距離）の位置から、距離Ｄ２の位置までの撮像範囲（図８（ｂ））を有する。このように、車両１２０の先端位置から撮像範囲とすることで、例えば、車両１２０が停止状態で、車両１２０の先端位置に障害物がある場合であっても、警告アイコンを表示し、運転者１３０に注意を喚起することができる。
なお、奥行き方向の撮像範囲を規定する距離Ｄ２については、予め定められた固定値を設定するようにしてもよいし、車両１２０の走行速度に応じて可変とするようにしてもよい。例えば、走行速度が速い場合には、奥行き方向の撮像範囲を規定する距離Ｄ２を大きくとり、走行速度が遅い場合には、小さくとるように構成してもよい。これにより、走行速度が速い場合に、運転者が回避行動をとるための十分な時間を確保することが可能となる。
続いて、図８に示す撮像範囲に基づいて、障害物マップ及び座標平面画像５０１を生成する生成方法について、図９を用いて説明する。図９は、前方撮像部３０１の撮像範囲に基づいて、障害物マップ及び座標平面画像５０１を生成する生成方法を説明するための図である。
図９（ａ）は、前方撮像部３０１の撮像範囲を車両１２０の上方から見た様子を示している。図９（ａ）に示すように、横軸をＸｂ軸、縦軸をＺｂ軸とし、更に、車両１２０の先端位置であって、Ｘｂ軸方向の中央位置を原点Ｏｂとする２次元座標系で表すと、図８で示した撮像範囲は、台形状の領域９００として表すことができる。
ここで、領域９００のうち、原点Ｏｂ側の頂点の座標を（Ｘｍｉｎ，０）、（−Ｘｍｉｎ，０）とし、奥行き方向（Ｚｂ軸方向）の距離をＺｍａｘ（図８における（Ｄ２−Ｄ１）に等しい）とする。また、台形状の領域９００の斜辺９０１の傾きをａとすると、領域９００のＺｂ＝Ｚｍａｘ側の頂点の座標は、（１／ａＺｍａｘ＋Ｘｍｉｎ，Ｚｍａｘ）、（−（１／ａＺｍａｘ＋Ｘｍｉｎ），Ｚｍａｘ）と表すことができる。
つまり、領域９００内の各座標（Ｘｂ、Ｚｂ）は、以下のように表すことができる。
Figure 2015135591
 障害物マップ生成部４１１では、障害物位置データ３４１に基づいて、検出された障害物（例えば、障害物５１０や障害物６１０）を、領域９００にマッピングする。更に、障害物がマッピングされた領域９００をマップ座標系に変換することで、障害物マップを生成する。
図９（ｂ）は、マップ座標系を示す図であり、横軸をＸｍ軸、縦軸をＺｍ軸、原点をＯｍとする２次元座標系であり、台形状の領域９００を、規格化された正方形の領域９１０に変換することで生成される。領域９１０内の各座標（Ｘｍ，Ｚｍ）は、以下のように表すことができる。
Figure 2015135591
 なお、領域９００内の各座標（Ｘｂ，Ｚｂ）から領域９１０内の各座標（Ｘｍ，Ｚｍ）への変換は、以下の式により行うことできる。
Figure 2015135591
 ただし、領域９００内の各座標（Ｘｂ，Ｚｂ）から領域９１０内の各座標（Ｘｍ，Ｚｍ）への変換は、上式に限定されるものではない。例えば、領域９００のうち、車両１２０近傍の情報が、領域９１０内においてより多くを占めるようにするためには（車両１２０近傍を大きく見せるようにするためには）、以下のように、対数を用いて変換を行う構成としてもよい。
Figure 2015135591
 障害物マップ生成部４１１では、生成した領域９１０に基づいて、図９（ｃ）に示す座標平面画像５０１を生成する。具体的には、領域９１０の下限位置と半透過スクリーン１１０の下限位置が一致し、かつ、領域９１０の大きさと半透過スクリーン１１０の大きさとが一致するように領域９１０を変形・配置することで障害物マップを生成する。更に、障害物マップの外縁を示すマップ外縁線９２１を生成する。更に、マップ外縁線９２１を均等にわけるマップ補助線９２２を生成する。これにより、半透過スクリーン１１０に、座標平面画像５０１を表示することができる。つまり、座標平面画像５０１は、前方撮像部３０１の撮像範囲をマップ外縁線９２１（半透過スクリーン１１０において撮像範囲の外縁を規定する線）とマップ補助線９２２とにより表した画像である。また、各座標が撮像範囲内の各座標と１：１で対応するように構成した画像である。
なお、図９（ｃ）の例では、マップ補助線９２２を等間隔で配することとしたが、本発明はこれに限定されず、実際の距離に応じて配する構成としてもよい。
＜５．３ 警告アイコンの配置方法の説明＞
次に、警告アイコン生成部４１２において生成された警告アイコン５０２の配置方法の詳細について説明する。図１０は、警告アイコン生成部４１２において生成された警告アイコン５０２の配置方法の詳細を説明するための図である。
図１０（ａ）において、点Ｑ'は、障害物マップ１０００上における障害物の位置を示している。障害物マップ１０００は、領域９１０を、半透過スクリーン１１０の大きさに一致する大きさに変形し、かつ、半透過スクリーン１１０の下限位置であって、半透過スクリーン１１０に直交するように配置したものである。ここでは、障害物マップ１０００上における点Ｑ'の座標を、（ｘｑ'，ｙｑ'，ｚｑ'）とする。
また、点Ｐの座標（ｘｐ，ｙｐ，ｚｐ）は、運転者１３０の眼球２１０の座標位置を示す眼球位置データ３４３である。更に、直線１００１は、障害物マップ１０００上における障害物の位置（Ｑ'）と運転者１３０の眼球２１０の位置（Ｐ）とを結ぶ直線である。
警告アイコン生成部４１２では、障害物マップ１０００上における障害物の位置（Ｑ'）と運転者１３０の眼球２１０の位置（Ｐ）とを結ぶ直線１００１を算出する。更に、当該直線１００１と半透過スクリーン１１０との交点Ｒ'（ｘｒ'，ｙｒ'，０）を算出する。
そして、警告アイコン生成部４１２では、生成した警告アイコン５０２が当該交点Ｒ'（ｘｒ'，ｙｒ'，０）の位置に表示されるように、当該生成した警告アイコン５０２を警告画像内に配置する。
図１０（ｂ）は、警告アイコン生成部４１２により交点Ｒ'（ｘｒ'，ｙｒ'，０）の位置に表示されるように配置された警告アイコン５０２が半透過スクリーン１１０に表示された様子を示している。
このように、警告アイコン生成部４１２では、座標平面画像５０１上における障害物の位置に、警告アイコン５０２が表示されているように運転者１３０が視認できるよう、該警告アイコン５０２の配置を制御する。このため、運転者１３０は障害物の存在ならびにおおよその位置をいち早く把握することができる。
＜５．４ 障害物強調アイコンの配置方法の説明＞
次に、障害物強調アイコン生成部４１３により生成された障害物強調アイコン５０３の配置方法の詳細について説明する。図１１は、障害物強調アイコン生成部４１３において生成された障害物強調アイコン５０３の配置方法の詳細を説明するための図である。
図１１（ａ）は、半透過スクリーン１１０の中央位置を原点Ｏ（０，０，０）とし、運転者１３０から見て半透過スクリーン１１０の右方向をＸ軸、下方向をＹ軸、奥行き方向をＺ軸とした半透過スクリーン座標系を示す図である。
半透過スクリーン座標系において、点Ｑは、障害物の座標位置を示す障害物位置データ３４１を表している。また、点Ｐの座標（ｘｐ，ｙｐ，ｚｐ）は、運転者１３０の眼球２１０の座標位置を示す眼球位置データ３４３である。更に、直線１１０１は、障害物の位置（Ｑ）と運転者１３０の眼球２１０の位置（Ｐ）とを結ぶ直線である。
障害物強調アイコン生成部４１３では、障害物の位置（Ｑ）と運転者１３０の眼球２１０の位置（Ｐ）とを結ぶ直線１１０１を算出したうえで、当該直線１１０１と半透過スクリーン１１０との交点Ｓ（ｘｓ，ｙｓ，０）を算出する。
そして、障害物強調アイコン生成部４１３では、生成した障害物強調アイコン５０３が、半透過スクリーン１１０において当該交点Ｓ（ｘｓ，ｙｓ，０）の位置に表示されるように警告画像内に障害物強調アイコン５０３を配置する。
なお、障害物の位置（Ｑ）と運転者１３０の眼球２１０の位置（Ｐ）とを結ぶ直線１１０１（直線ｌ）は下式により算出することができる。
Figure 2015135591
 また、直線１１０１と半透過スクリーン１１０との交点Ｓは下式により算出することができる。
Figure 2015135591
 図１１（ｂ）は、障害物強調アイコン生成部４１３において生成され、当該交点Ｓ（ｘｓ，ｙｓ，０）の位置に表示されるように配置された障害物強調アイコン５０３が、半透過スクリーン１１０に表示された様子を示している。図１１（ｂ）に示すように、交点Ｓ（ｘｓ，ｙｓ，０）の位置に表示されるように配置されることで、運転者１３０からは、障害物強調アイコン５０３が、障害物５１０に重畳して見えることとなる。
＜５．５ 障害物指示線の表示方法の説明（障害物が半透過スクリーンの範囲内に存在する場合）＞
次に、障害物指示線生成部４１４において生成された障害物指示線５０４の表示方法について説明する。図１２は、障害物指示線生成部４１４において生成された障害物指示線５０４の表示方法を説明するための図である。
図１２（ａ）は、半透過スクリーン１１０の中央位置を原点Ｏ（０，０，０）とし、運転者１３０から見て半透過スクリーン１１０の右方向をＸ軸、下方向をＹ軸、奥行き方向をＺ軸とした半透過スクリーン座標系を示す図である。
半透過スクリーン座標系において点Ｑは、障害物の位置座標を示す障害物位置データ３４１を表している。また、点Ｐの座標（ｘｐ，ｙｐ，ｚｐ）は、運転者１３０の眼球２１０の座標位置を示す眼球位置データ３４３である。更に、直線１１０１は、障害物の位置（Ｑ）と運転者１３０の眼球２１０の位置（Ｐ）とを結ぶ直線である。
一方、点Ｑ'は、障害物マップ１０００上における障害物の位置を示している。障害物マップ１０００は、領域９１０を、半透過スクリーン１１０の大きさに一致する大きさに変形し、かつ、半透過スクリーン１１０の下限位置であって、半透過スクリーン１１０に直交するように配置したものである。ここでは、障害物マップ１０００上における点Ｑ'の座標を、（ｘｑ'，ｙｑ'，ｚｑ'）とする。
また、直線１００１は、障害物マップ１０００上における障害物の位置（Ｑ'）と運転者１３０の眼球２１０の位置（Ｐ）とを結ぶ直線である。
障害物指示線生成部４１４では、障害物の位置（Ｑ）と運転者１３０の眼球２１０の位置（Ｐ）とを結ぶ直線１１０１を算出したうえで、当該直線１１０１と半透過スクリーン１１０との交点Ｒ（ｘｒ，ｙｒ，０）を算出する。
また、障害物マップ１０００上における障害物の位置（Ｑ'）と運転者１３０の眼球２１０の位置（Ｐ）とを結ぶ直線１００１を算出したうえで、当該直線１００１と半透過スクリーン１１０との交点Ｒ'（ｘｒ'，ｙｒ'，０）を算出する。
そして、障害物指示線生成部４１４では、交点Ｒ' （ｘｒ'，ｙｒ'，０）を始点位置、交点Ｒ（ｘｒ，ｙｒ，０）を終点位置とするベクトルを算出することで、障害物指示線５０４を生成する。
図１２（ｂ）は、障害物指示線生成部４１４において生成され、交点Ｒ' （ｘｒ'，ｙｒ'，０）と交点Ｒ（ｘｒ，ｙｒ，０）との間に表示されるように配置された障害物指示線５０４が、半透過スクリーン１１０に表示された様子を示している。
このように、障害物指示線生成部４１４では、障害物が存在する方向を障害物指示線を用いて示す。このため、運転者は障害物の存在する方向をいち早く把握することができる。
なお、図１２（ｂ）の例では、障害物指示線５０４として矢印を示しているが、障害物指示線は矢印に限定されない。
＜５．６ 障害物画像の配置方法の説明＞
次に、障害物画像配置部４１５による障害物画像６０５の配置方法の詳細について説明する。図１３は、障害物画像配置部４１５による障害物画像６０５の配置方法の詳細を説明するための図である。
図１３（ａ）において、点Ｑ'は、障害物マップ１０００上における障害物の位置を示している。障害物マップ１０００は、領域９１０を、半透過スクリーン１１０の大きさに一致する大きさに変形し、かつ、半透過スクリーン１１０の下限位置であって、半透過スクリーン１１０に直交するように配置したものである。ここでは、障害物マップ１０００上における点Ｑ'の座標を、（ｘｑ'，ｙｑ'，ｚｑ'）とする。
また、点Ｐの座標（ｘｐ，ｙｐ，ｚｐ）は、運転者１３０の眼球２１０の座標位置を示す眼球位置データ３４３である。更に、直線１００１は、障害物マップ１０００上における障害物の位置（Ｑ'）と運転者１３０の眼球２１０の位置（Ｐ）とを結ぶ直線である。
障害物画像配置部４１５では、障害物マップ１０００上における障害物の位置（Ｑ'）と運転者１３０の眼球２１０の位置（Ｐ）とを結ぶ直線１００１を算出したうえで、当該直線１００１と半透過スクリーン１１０との交点Ｒ'（ｘｒ'，ｙｒ'，０）を算出する。
そして、障害物画像配置部４１５では、障害物画像６０５が当該交点Ｒ'（ｘｒ'，ｙｒ'，０）の位置に表示されるよう警告画像内に配置する。
図１３（ｂ）は、障害物画像配置部４１５により、交点Ｒ'（ｘｒ'，ｙｒ'，０）の位置に表示されるように配置された障害物画像６０５が、半透過スクリーン１１０に表示された様子を示している。
このように、警告アイコンが視認される位置に障害物画像が表示されることで、運転者１３０は、障害物の存在にいち早く気付くことができるとともに、障害物の内容を把握することができる。
なお、上記説明では、直線１００１及び交点Ｒ'の算出を障害物画像配置部４１５が実行するものとしたが、警告アイコン生成部４１２における算出結果を用いる構成としてもよいことはいうまでもない。
＜５．７ 障害物指示線の表示方法の説明（障害物が半透過スクリーンの範囲内に存在しない場合）＞
次に、障害物指示線生成部４１４において生成された障害物指示線６０４の表示方法について説明する。図１４は、障害物指示線生成部４１４により生成された障害物指示線６０４の表示方法を説明するための図である。
図１４（ａ）は、半透過スクリーン１１０の中央位置を原点Ｏ（０，０，０）とし、運転者１３０から見て半透過スクリーン１１０の右方向をＸ軸、下方向をＹ軸、奥行き方向をＺ軸とした半透過スクリーン座標系を示す図である。
半透過スクリーン座標系において点Ｑは、障害物の位置座標を示す障害物位置データ３４１を表している。また、点Ｐの座標（ｘｐ，ｙｐ，ｚｐ）は、運転者１３０の眼球２１０の座標位置を示す眼球位置データ３４３である。更に、直線１１０１は、障害物の位置（Ｑ）と運転者１３０の眼球２１０の位置（Ｐ）とを結ぶ直線である。
一方、点Ｑ'は、障害物マップ１０００上における障害物の位置を示している。障害物マップ１０００は、領域９１０を、半透過スクリーン１１０の大きさに適合する大きさに変形し、かつ、半透過スクリーン１１０の下限位置であって、半透過スクリーン１１０に直交するように配置したものである。ここでは、障害物マップ１０００上における点Ｑ'の座標を、（ｘｑ'，ｙｑ'，ｚｑ'）とする。
また、直線１００１は、障害物マップ１０００上における障害物の位置（Ｑ'）と運転者１３０の眼球２１０の位置（Ｐ）とを結ぶ直線である。
障害物指示線生成部４１４では、障害物の位置（Ｑ）と運転者１３０の眼球２１０の位置（Ｐ）とを結ぶ直線１１０１を算出したうえで、当該直線１１０１と半透過スクリーン１１０との交点を算出する。
ここで、図１４（ａ）の例では、障害物が半透過スクリーン１１０の範囲内に存在しておらず、直線１１０１と半透過スクリーン１１０とは交わらない。この場合、交点は存在しない。そこで、障害物指示線生成部４１４では、直線１１０１上の点であって、Ｚ軸座標＝０の点Ｒ''（ｘｒ''，ｙｒ''，０）を算出する（点Ｒ''は、半透過スクリーン１１０の外側の点となる）。
また、障害物マップ１０００上における障害物の位置（Ｑ'）と運転者１３０の眼球２１０の位置（Ｐ）とを結ぶ直線１００１を算出したうえで、当該直線１００１と半透過スクリーン１１０との交点Ｒ'（ｘｒ'，ｙｒ'，０）を算出する。
そして、障害物指示線生成部４１４では、交点Ｒ' （ｘｒ'，ｙｒ'，０）を始点位置、交点Ｒ''（ｘｒ''，ｙｒ''，０）を終点位置とするベクトルのうち、半透過スクリーン１１０の外縁までの長さのベクトルを障害物指示線６０４として生成する。
図１４（ｂ）は、障害物指示線生成部４１４において生成され、交点Ｒ' （ｘｒ'，ｙｒ'，０）と交点Ｒ''（ｘｒ''，ｙｒ''，０）との間に表示されるように配置された障害物指示線６０４が、半透過スクリーン１１０に表示された様子を示している。
このように、半透過スクリーン１１０の範囲内に障害物が存在していない場合であっても、障害物の存在する方向を障害物指示線６０４として表示する構成とすることで、運転者１３０は、障害物の位置をいち早く把握することができる。
＜６．画像生成部による画像生成処理の流れ＞
次に、警告画像を生成するための画像生成部３３０による画像生成処理の流れについて説明する。図１５は、警告画像を生成するための画像生成部３３０による画像生成処理の流れを示すフローチャートである。
ステップＳ１５０１では、画像生成部３３０が、眼球位置計測部１０３より運転者１３０の眼球２１０の位置を示す眼球位置データ３４３を取得する。ステップＳ１５０２では、画像生成部３３０が、障害物探知部１０４より障害物位置データ３４１及び障害物画像データ３４２を取得する。
ステップＳ１５０３では、障害物マップ生成部４１１が、障害物マップ１０００を生成するとともに、マップ外縁線９２１及びマップ補助線９２２からなる座標平面画像５０１を生成し、警告画像に描画する。
ステップＳ１５０４では、障害物検出部３０２にて障害物が検出されたか否かを、画像生成部３３０が判定する。障害物が検出されていないと判定された場合には、ステップＳ１５１４に進み、画像生成部３３０が、マップ外縁線９２１及びマップ補助線９２２のみを半透過スクリーン１１０に表示するよう制御する。
一方、ステップＳ１５０４において、障害物が検出されたと判定された場合には、ステップＳ１５０５に進み、障害物マップ生成部４１１が、障害物マップ１０００上での障害物の位置を算出する。
ステップＳ１５０６では、警告アイコン生成部４１２が、障害物マップ１０００上での障害物の位置座標と眼球の位置座標とを結ぶ直線と、半透過スクリーン１１０との交点を算出する。更に、ステップＳ１５０７では、警告アイコン生成部４１２が、障害物の位置座標と眼球の位置座標とを結ぶ直線と、半透過スクリーン１１０との交点を算出する。
ステップＳ１５０８では、内外判定部４０１が、ステップＳ１５０７における算出結果に基づいて、障害物が半透過スクリーン１１０の範囲内に存在するか否かを判定する。
ステップＳ１５０８において、障害物が半透過スクリーン１１０の範囲内に存在しないと判定された場合には、ステップＳ１５０９に進む。ステップＳ１５０９では、障害物画像配置部４１５が、障害物マップ１０００上での障害物の位置と眼球とを結ぶ直線と、半透過スクリーン１１０との交点に、障害物画像が表示されるよう、障害物画像を警告画像に描画する。
一方、ステップＳ１５０８において、障害物が半透過スクリーン１１０の範囲内に存在すると判定された場合には、ステップＳ１５１０に進む。ステップＳ１５１０では、障害物強調アイコン生成部４１３が、障害物の位置座標と眼球とを結ぶ直線と、半透過スクリーン１１０との交点に、障害物強調画像が表示されるよう、障害物強調画像を警告画像に描画する。
更に、ステップＳ１５１１では、警告アイコン生成部４１２が、障害物マップ１０００上での障害物の位置と眼球とを結ぶ直線と、半透過スクリーン１１０との交点に、警告アイコンが表示されるよう、警告アイコンを警告画像に描画する。
更に、ステップＳ１５１２では、障害物指示線生成部４１４が、警告アイコンの描画位置を始点位置、障害物強調画像の描画位置を終点位置として、障害物指示線５０４を警告画像に描画する。なお、障害物が半透過スクリーン１１０の範囲内に存在しない場合にあっては、警告アイコンの描画位置を始点位置、半透過スクリーンの外縁を終点位置として、障害物指示線６０４を警告画像に描画する。
ステップＳ１５１３では、画像生成部３３０が、マップ外縁線９２１及びマップ補助線９２２、警告アイコン５０２、障害物強調アイコン５０３（または障害物画像６０５）、障害物指示線５０４または６０４が描画された警告画像を光走査装置２０１に出力する。更に、光走査装置２０１に出力された警告画像を半透過スクリーン１１０に表示するよう制御する。
なお、上記フローチャートから明らかなように、座標平面画像５０１以外の警告画像は、障害物の検出とともに表示が開始され、障害物が撮像範囲に存在しなくなったら、表示が終了する。
＜７．まとめ＞
以上の説明から明らかなように、本実施形態に係る情報処理システムでは、
・障害物探知部が車両の前方を撮像する際の撮像範囲を、２次元の座標平面画像として、半透過スクリーンに表示する構成とした。
・検出された障害物の座標平面画像上での位置に警告アイコンが視認されるよう、運転者の眼球の位置に応じて半透過スクリーン上の警告アイコンの表示位置を制御する構成とした。
これにより、運転者は少ない視線移動で、警告アイコンを視認することができるとともに、撮像範囲を示す座標平面画像上での警告アイコンの位置から、障害物のおおよその位置を把握することが可能となる。
また、本実施形態に係る情報処理システムでは、
・障害物が半透過スクリーンの範囲内に存在しない場合に、警告アイコンが視認される位置に障害物画像を表示する構成とした。
これにより、運転者は、障害物の存在にいち早く気付くことができる。また、あわせて障害物の内容を把握することが可能となる。
また、本実施形態に係る情報処理システムでは、
障害物が半透過スクリーンの範囲内に存在しない場合に、警告アイコンが視認される位置を始点とし、障害物の位置座標に向かうベクトルのうち、半透過スクリーンの外縁までのベクトルを、障害物指示線として表示する構成とした。
これにより、運転者は、障害物の位置をいち早く把握することができる。
このように、本実施形態によれば、障害物が半透過スクリーンの範囲内に存在しない場合であっても、運転者は、障害物のおおよその位置、障害物の内容、障害物が半透過スクリーンの範囲内に現れる場合のおおよその方向をいち早く把握することができる。
つまり、半透過スクリーンのサイズが小さい場合であっても、運転者は回避行動をとることができる。換言すると、ヘッドアップディスプレイ装置において、運転者が障害物に対して回避行動をとるのに適した表示を提供することが可能となる。
［第２の実施形態］
上記第１の実施形態では、警告アイコン５０２として、予め定められたアイコンを表示する構成としたが、本発明はこれに限定されない。
例えば、車両１２０の走行速度に応じて、表示態様（警告アイコン５０２や障害物画像６０５等の大きさ、色（色相、彩度、明度）、形、点滅の有無等）を変化させる構成としてもよい。この場合、車両１２０が高速になるほど、障害物の注意喚起の度合いが増すような表示態様に変化させることが望ましい。
なお、このとき監視する車両１２０の走行速度は、ヘッドアップディスプレイ装置１０１にＧＰＳ（Global Positioning System）を内蔵させ、当該ＧＰＳの出力に基づいて算出する構成としてもよい。あるいは、車両１２０において計測された速度をＥＣＵ（Electronic Control Unit）を介してヘッドアップディスプレイ装置１０１が受信する構成としてもよい。
また、上記第１の実施形態では、障害物を検出した場合に、半透過スクリーン１１０に警告画像を表示させることで、運転者が回避行動をとることができるように構成としたが、本発明はこれに限定されない。例えば、警告画像の表示に加え、車両１２０の走行速度を可変させる（減速または停止させる）制御信号を出力するように構成してもよい。
［第３の実施形態］
上記第１及び第２の実施形態では、障害物を検出した場合に表示する警告画像として、当該障害物が半透過スクリーン１１０の範囲内に存在する場合にあっては、
・座標平面画像５０１
・警告アイコン５０２
・障害物強調アイコン５０３
・障害物指示線５０４
を表示し、当該障害物が半透過スクリーン１１０の範囲内に存在しない場合にあっては、
・座標平面画像５０１
・警告アイコン５０２
・障害物指示線６０４
・障害物画像６０５
を表示する構成とした。しかしながら、本発明はこれに限定されない。例えば、警告アイコン５０２と障害物指示線５０４または６０４のみを表示する構成としてもよい。
図１６は、障害物が検出された際に、警告画像として、警告アイコン５０２と障害物指示線６０４のみを表示した場合を示している。
図１６に示す警告画像であっても、運転者１３０は、障害物に対して十分、回避行動をとることができる。
［その他の実施形態］
上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
１００ 情報処理システム
１０１ ヘッドアップディスプレイ装置
１０２ 半透過ミラー
１０３ 眼球位置計測部
１０４ 障害物探知部
１１０ 半透過スクリーン
１２０ 車両
１３０ 運転者
２０１ 光走査装置
２０２ 被投影面
２０３ 凸面ミラー
２０４ 凹面ミラー
２１０ 眼球
３０１ 前方撮像部
３０２ 障害物検出部
３０３ 障害物位置算出部
３０４ 障害物画像生成部
３１１ 運転者撮像部
３１２ 眼球位置算出部
３２１ 演算処理部
３２２ フレームバッファ
３２３ 記憶装置
３３０ 画像生成部
３４１ 障害物位置データ
３４２ 障害物画像データ
３４３ 眼球位置データ
４０１ 内外判定部
４１１ 障害物マップ生成部
４１２ 警告アイコン生成部
４１３ 障害物強調アイコン生成部
４１４ 障害物指示線生成部
４１５ 障害物画像配置部
５０１ 座標平面画像
５０２ 警告アイコン
５０３ 障害物強調アイコン
５０４ 障害物指示線
５１０ 障害物
６０４ 障害物指示線
６０５ 障害物画像
６１０ 障害物
９００ 領域
９１０ 領域
９２１ マップ外縁線
９２２ マップ補助線
１０００ 障害物マップ
特開２０１３−１９６３５９号公報

Claims (12)

  1. 車両の運転者によって視認される半透過スクリーンに表示する警告画像を生成する情報処理装置であって、
    前記車両に設置された撮像部を用いて撮像された画像より障害物が検出された場合に、当該撮像部の撮像範囲を２次元の座標平面として前記半透過スクリーンの下限位置に配置した場合の当該２次元の座標平面における前記障害物の位置に、前記障害物が検出されたことを示す第１のアイコンが視認されるように、前記半透過スクリーンにおける該第１のアイコンの位置を算出する第１の算出手段と、
    前記第１の算出手段により算出された位置を始点とし、前記障害物が存在する方向を終点とする指示線が視認されるように、前記半透過スクリーンにおける該指示線の終点の位置を算出する第２の算出手段と、を有し、
    前記第１及び第２の算出手段の算出結果に応じて前記第１のアイコン及び前記指示線を配置することで、前記警告画像を生成することを特徴とする情報処理装置。
  2. 前記障害物が、前記半透過スクリーンの範囲内に存在するか否かを判定する判定手段を更に有し、
    前記判定手段により、前記障害物が前記半透過スクリーンの範囲内に存在しないと判定された場合、前記第１の算出手段により算出された位置に、前記障害物の画像が視認されるように、前記警告画像を生成することを特徴とする請求項１に記載の情報処理装置。
  3. 前記判定手段により、前記障害物が前記半透過スクリーンの範囲内に存在すると判定された場合に、前記障害物に重畳した位置に前記障害物を強調する第２のアイコンが視認されるように、前記半透過スクリーンにおける該第２のアイコンの位置を算出する第３の算出手段を更に有することを特徴とする請求項２に記載の情報処理装置。
  4. 前記撮像部の撮像範囲を示す前記２次元の座標平面の外縁線を含む前記警告画像を生成することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
  5. 前記第１の算出手段は、前記２次元の座標平面を前記半透過スクリーンの下限位置に配置した場合の当該２次元の座標平面における前記障害物の位置と、前記運転者の眼球の位置とを通る直線を算出し、該算出した直線と前記半透過スクリーンとの交点の位置を、前記半透過スクリーンにおける前記第１のアイコンの位置として算出することを特徴とする請求項１に記載の情報処理装置。
  6. 前記第２の算出手段は、前記障害物の位置と、前記運転者の眼球の位置とを通る直線を算出し、該算出した直線と前記半透過スクリーンとの交点の位置を、前記半透過スクリーンにおける前記指示線の終点の位置として算出することを特徴とする請求項１に記載の情報処理装置。
  7. 前記第２の算出手段は、前記障害物の位置と、前記運転者の眼球の位置とを通る直線を算出し、該算出した直線と前記半透過スクリーンと同一の平面との交点の位置に向かう直線が、前記半透過スクリーンの外縁と交わる位置を、前記半透過スクリーンにおける前記指示線の終点の位置として算出することを特徴とする請求項１に記載の情報処理装置。
  8. 前記第３の算出手段は、前記障害物の位置と、前記運転者の眼球の位置とを通る直線を算出し、該算出した直線と前記半透過スクリーンとの交点の位置を、前記半透過スクリーンにおける前記第２のアイコンの位置として算出することを特徴とする請求項３に記載の情報処理装置。
  9. 前記撮像部の撮像範囲を示す前記２次元の座標平面の外縁線のうち、奥行き方向を規定する外縁線の位置を、前記車両の走行速度に応じて変化させることを特徴とする請求項４に記載の情報処理装置。
  10. 前記第１のアイコン又は前記障害物の画像の表示態様を、前記車両の走行速度に応じて変化させることを特徴とする請求項２に記載の情報処理装置。
  11. 車両の運転者によって視認される半透過スクリーンに表示する警告画像を生成する情報処理装置における情報処理方法であって、
    前記車両に設置された撮像部を用いて撮像された画像より障害物が検出された場合に、当該撮像部の撮像範囲を２次元の座標平面として前記半透過スクリーンの下限位置に配置した場合の当該２次元の座標平面における前記障害物の位置に、前記障害物が検出されたことを示す第１のアイコンが視認されるように、前記半透過スクリーンにおける該第１のアイコンの位置を算出する第１の算出工程と、
    前記第１の算出工程において算出された位置を始点とし、前記障害物が存在する方向を終点とする指示線が視認されるように、前記半透過スクリーンにおける該指示線の終点の位置を算出する第２の算出工程と、を有し、
    前記第１及び第２の算出工程における算出結果に応じて前記第１のアイコン及び前記指示線を配置することで、前記警告画像を生成することを特徴とする情報処理方法。
  12. 車両の運転者によって視認される半透過スクリーンに表示する警告画像を生成する情報処理装置のコンピュータに、
    前記車両に設置された撮像部を用いて撮像された画像より障害物が検出された場合に、当該撮像部の撮像範囲を２次元の座標平面として前記半透過スクリーンの下限位置に配置した場合の当該２次元の座標平面における前記障害物の位置に、前記障害物が検出されたことを示す第１のアイコンが視認されるように、前記半透過スクリーンにおける該第１のアイコンの位置を算出する第１の算出工程と、
    前記第１の算出工程において算出された位置を始点とし、前記障害物が存在する方向を終点とする指示線が視認されるように、前記半透過スクリーンにおける該指示線の終点の位置を算出する第２の算出工程と、を実行させるためのプログラムであって、
    前記第１及び第２の算出工程における算出結果に応じて前記第１のアイコン及び前記指示線を配置することで、前記警告画像を生成することを特徴とするプログラム。
JP2014006625A 2014-01-17 2014-01-17 情報処理装置、情報処理方法及びプログラム Expired - Fee Related JP6287237B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014006625A JP6287237B2 (ja) 2014-01-17 2014-01-17 情報処理装置、情報処理方法及びプログラム
US14/582,316 US9545880B2 (en) 2014-01-17 2014-12-24 Information processing device, information processing method, and non-transitory computer-readable recording medium for showing an indication of an obstacle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014006625A JP6287237B2 (ja) 2014-01-17 2014-01-17 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2015135591A true JP2015135591A (ja) 2015-07-27
JP6287237B2 JP6287237B2 (ja) 2018-03-07

Family

ID=53544086

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014006625A Expired - Fee Related JP6287237B2 (ja) 2014-01-17 2014-01-17 情報処理装置、情報処理方法及びプログラム

Country Status (2)

Country Link
US (1) US9545880B2 (ja)
JP (1) JP6287237B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017056157A1 (ja) * 2015-09-28 2017-04-06 日産自動車株式会社 車両用表示装置及び車両用表示方法
JP2018036464A (ja) * 2016-08-31 2018-03-08 富士フイルム株式会社 ヘッドアップディスプレイ装置
JP2018036463A (ja) * 2016-08-31 2018-03-08 富士フイルム株式会社 ヘッドアップディスプレイ装置
US10248196B2 (en) 2016-08-23 2019-04-02 Toyota Jidosha Kabushiki Kaisha System for occlusion adjustment for in-vehicle augmented reality systems

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11087291B2 (en) * 2015-11-24 2021-08-10 Honda Motor Co., Ltd.. Action planning and execution support device
US10712556B2 (en) * 2015-12-31 2020-07-14 Huawei Technologies Co., Ltd. Image information processing method and augmented reality AR device
JP6595401B2 (ja) 2016-04-26 2019-10-23 株式会社Ｓｏｋｅｎ 表示制御装置
DE102017110407A1 (de) * 2017-05-12 2018-11-15 Nicolas Bissantz Fahrzeug
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
JP6686988B2 (ja) * 2017-08-28 2020-04-22 株式会社Ｓｏｋｅｎ 映像出力装置及び映像生成プログラム
US20190071014A1 (en) * 2017-09-01 2019-03-07 Honda Motor Co., Ltd System for object indication on a vehicle display and method thereof
JP7006235B2 (ja) * 2017-12-18 2022-01-24 トヨタ自動車株式会社 表示制御装置、表示制御方法および車両
JP6847885B2 (ja) * 2018-03-20 2021-03-24 株式会社東芝 情報処理装置、情報処理方法及びプログラム
JP7073850B2 (ja) 2018-03-29 2022-05-24 株式会社リコー 入力装置および入力装置の入力方法
CN108520635B (zh) * 2018-05-20 2022-06-17 北京鑫洋浩海科技有限公司 一种混合现实道路显示系统
FR3086400B1 (fr) * 2018-09-26 2020-09-04 Thales Sa Systeme d'affichage tete haute, procede d'affichage et produit programme d'ordinateur associes
US11511425B2 (en) * 2019-03-19 2022-11-29 Lg Electronics Inc. Robot stopping parallel to installed object and method of stopping the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006106955A (ja) * 2004-10-01 2006-04-20 Nissan Motor Co Ltd 運転支援装置
JP2006178652A (ja) * 2004-12-21 2006-07-06 Sumitomo Electric Ind Ltd 車両周辺認識システム及び画像処理装置
JP2011091549A (ja) * 2009-10-21 2011-05-06 Toyota Motor Corp 車両用夜間視界支援装置
JP2012218505A (ja) * 2011-04-05 2012-11-12 Denso Corp 車両用表示装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3999025B2 (ja) 2002-04-12 2007-10-31 本田技研工業株式会社 警報表示装置
JP5304380B2 (ja) 2008-07-23 2013-10-02 株式会社リコー 光走査装置、これを用いた画像投影装置、ヘッドアップディスプレイ装置および携帯電話機
DE102010001684A1 (de) * 2010-02-09 2011-08-11 Robert Bosch GmbH, 70469 Verfahren zum Betreiben eines Head-Up-Display-Systems, Head-Up-Display-System
JP5751004B2 (ja) 2011-05-16 2015-07-22 株式会社リコー 画像形成装置、画像処理装置、画像処理方法及び画像処理プログラム
JP2013196359A (ja) 2012-03-19 2013-09-30 Honda Motor Co Ltd 運転支援装置
US9047703B2 (en) * 2013-03-13 2015-06-02 Honda Motor Co., Ltd. Augmented reality heads up display (HUD) for left turn safety cues
US10215583B2 (en) * 2013-03-15 2019-02-26 Honda Motor Co., Ltd. Multi-level navigation monitoring and control

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006106955A (ja) * 2004-10-01 2006-04-20 Nissan Motor Co Ltd 運転支援装置
JP2006178652A (ja) * 2004-12-21 2006-07-06 Sumitomo Electric Ind Ltd 車両周辺認識システム及び画像処理装置
JP2011091549A (ja) * 2009-10-21 2011-05-06 Toyota Motor Corp 車両用夜間視界支援装置
JP2012218505A (ja) * 2011-04-05 2012-11-12 Denso Corp 車両用表示装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017056157A1 (ja) * 2015-09-28 2017-04-06 日産自動車株式会社 車両用表示装置及び車両用表示方法
JPWO2017056157A1 (ja) * 2015-09-28 2018-07-26 日産自動車株式会社 車両用表示装置及び車両用表示方法
US10269161B2 (en) 2015-09-28 2019-04-23 Nissan Motor Co., Ltd. Vehicular display device and vehicular display method
US10248196B2 (en) 2016-08-23 2019-04-02 Toyota Jidosha Kabushiki Kaisha System for occlusion adjustment for in-vehicle augmented reality systems
JP2018036464A (ja) * 2016-08-31 2018-03-08 富士フイルム株式会社 ヘッドアップディスプレイ装置
JP2018036463A (ja) * 2016-08-31 2018-03-08 富士フイルム株式会社 ヘッドアップディスプレイ装置

Also Published As

Publication number Publication date
US9545880B2 (en) 2017-01-17
JP6287237B2 (ja) 2018-03-07
US20150203036A1 (en) 2015-07-23

Similar Documents

Publication Publication Date Title
JP6287237B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6014442B2 (ja) 画像生成装置、画像表示システム、および、画像生成方法
JP6459205B2 (ja) 車両用表示システム
US10843686B2 (en) Augmented reality (AR) visualization of advanced driver-assistance system
JP6737288B2 (ja) 周囲監視装置、画像処理方法、及び画像処理プログラム
EP3650285A1 (en) Parking assistance method and parking assistance device
WO2016067544A1 (ja) 車載注意喚起システム及び報知制御装置
US11321911B2 (en) Method for representing the surroundings of a vehicle
WO2014199574A1 (ja) 車載表示装置およびプログラム製品
WO2015079654A1 (ja) ヘッドアップディスプレイ装置
JP6264037B2 (ja) 車両用情報表示装置及び車両用情報表示方法
US10609337B2 (en) Image processing apparatus
JP2013168063A (ja) 画像処理装置、画像表示システム及び画像処理方法
JP2016020876A (ja) 車両用表示装置
JP6587626B2 (ja) カメラシステムによって様々な位置で撮影された複数の個別画像を１つの共通の画像につなぎ合わせるための方法
JP2008094292A (ja) 車両用表示装置及び情報表示方法
JP2015184839A (ja) 画像生成装置、画像表示システム及び画像生成方法
CN112242009A (zh) 显示效果融合方法、系统、存储介质及主控单元
JP2008174076A (ja) 車両周辺監視装置、その表示方法
JP2005075190A (ja) 車両用表示装置
US20190389488A1 (en) Surroundings monitoring device
JP6186905B2 (ja) 車載表示装置およびプログラム
US20210331588A1 (en) User interface generating apparatus and method for vehicle
JP2016070951A (ja) 表示装置、制御方法、プログラム、及び記憶媒体
JP2015228203A (ja) 表示制御装置、投影装置、表示制御プログラム、および記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180122

R151 Written notification of patent or utility model registration

Ref document number: 6287237

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees