JP2022159732A - 表示制御装置、表示制御方法、移動体、プログラムおよび記憶媒体 - Google Patents

表示制御装置、表示制御方法、移動体、プログラムおよび記憶媒体 Download PDF

Info

Publication number
JP2022159732A
JP2022159732A JP2021064111A JP2021064111A JP2022159732A JP 2022159732 A JP2022159732 A JP 2022159732A JP 2021064111 A JP2021064111 A JP 2021064111A JP 2021064111 A JP2021064111 A JP 2021064111A JP 2022159732 A JP2022159732 A JP 2022159732A
Authority
JP
Japan
Prior art keywords
information
display
control device
user
blind spot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021064111A
Other languages
English (en)
Inventor
誠 大井川
Makoto Oigawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021064111A priority Critical patent/JP2022159732A/ja
Priority to US17/712,810 priority patent/US11827148B2/en
Publication of JP2022159732A publication Critical patent/JP2022159732A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/23—
    • B60K35/28—
    • B60K35/65—
    • B60K35/81—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • B60K2360/166—
    • B60K2360/176—
    • B60K2360/178—
    • B60K2360/21—
    • B60K2360/741—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0145—Head-up displays characterised by optical features creating an intermediate image

Abstract

【課題】移動体の利用者の死角領域の情報を精度良く取得して、死角領域に応じた表示情報を利用者に提示することが可能な表示制御装置を提供する。【解決手段】表示制御装置２０００が、移動体の運転者の視野の方向に関する視線情報と、運転者の視野の始点に関する視点情報と、移動体の周囲情報とを取得する。表示制御装置２０００は、取得された視線情報と視点情報と周囲情報とに基づいて、運転者の死角領域を取得する。そして、表示制御装置２０００は、死角領域に関する周囲情報に基づいて、表示情報を生成して、表示装置に表示する制御を行う。【選択図】図５

Description

本発明は、表示制御装置、表示制御方法、移動体、プログラムおよび記憶媒体に関する。
自動車の運転者を撮像して得られた画像から検出した視線を用いて視野を推定し、推定した視野から運転支援を行う情報表示装置が提案されている。特許文献１は、車輛の搭乗者の視野の中から死角領域を推定し、死角領域の撮像画像を表示する画像表示システムを開示している。
特開２０１８－７３０３６号公報
特許文献１が開示する画像表示システムは、検出した視線をもとに搭乗者の視野を算出するが、搭乗者の体格や運転姿勢による頭部位置の違いが考慮されていないので、視野の視点が正確ではなく、精度良く視野と死角領域の算出を行うことができない。本発明は、移動体の利用者の死角領域の情報を精度良く取得して、死角領域に応じた表示情報を利用者に提示することが可能な表示制御装置の提供を目的とする。
本発明の一実施形態の表示制御装置は、移動体の利用者の視野の方向に関する視線情報を取得する第１の取得手段と、前記利用者の前記視野の始点に関する視点情報を取得する第２の取得手段と、前記移動体の周囲情報を取得する第３の取得情報と、前記視線情報と前記視点情報と前記周囲情報とに基づいて、前記利用者の死角領域を取得し、前記死角領域に関する周囲情報に基づいて、表示情報を生成して表示手段に表示する制御を行う制御手段と、を有する。
本発明の表示制御装置によれば、移動体の利用者の死角領域の情報を精度良く取得して、死角領域に応じた表示情報を利用者に提示することが可能となる。
本実施形態の表示制御装置を有する移動体を示す図である。 車内撮像装置の構成例を示す図である。 撮像素子の構成例を示す図である。 移動体と、運転席から前方を見た状態を示す図である。 移動体が有する表示制御装置の機能ブロック図の一例である。 実施例１の表示制御装置の動作処理を説明するフローチャートである。 視野情報の算出処理の一例を説明する図である。 死角領域の算出の一例を説明する図である。 死角領域の撮像の一例を説明する図である。 表示情報の表示例を示す図である。 表示制御装置が奏する効果を説明する図である。 実施例２の表示制御装置の動作処理を説明するフローチャートである。 移動体が置かれている交通状況の一例を示す図である。 実施例３の表示制御装置の動作処理を説明するフローチャートである。 死角領域に注意対象が存在している場合の表示例を説明する図である。 実施例４の表示制御装置の動作処理を説明するフローチャートである。 実施例５の表示制御装置の動作処理を説明する図である。 実施例５の表示制御装置の動作処理を説明するフローチャートである。 実施例６の表示制御装置による表示情報の表示例を示す図である。
（実施例１）
図１は、本実施形態の表示制御装置を有する移動体を示す図である。
移動体４０１は、例えば自動車（自動四輪車）であり、運転席に運転者１００が搭乗している。運転席の前方（フロント側）には、車内撮像装置１０１が設けられている。車内撮像装置１０１は、運転者１００を撮像して得た画像情報に基づいて、運転者の視線情報１０２と、視点情報１０３とを算出する。視点情報１０３は、車内撮像装置１０１と、運転者１００の視点との距離である。視点は、運転者１００の視野の始点、すなわち視野の角度範囲を定義する始点となる点である。なお、本発明の適用範囲となる移動体は、自動車に限られない。本発明は、自転車、自動二輪車等の車輛、船舶、飛行体等、任意の移動体に適用可能である。また、本発明の適用範囲は、移動体の運転者に限定されない。本発明は、移動体の搭乗者等、移動体の任意の利用者に適用可能である。
図２は、車内撮像装置の構成例を示す図である。
車内撮像装置１０１は、本体部２０１に、撮像光学系２０２、撮像素子２０３、演算処理部２０４、メモリ２０５を備える。撮像光学系２０２は、光軸２１０を持ち、被写体光を撮像素子２０３に導く。撮像素子２０３は、被写体光を光電変換して、画像信号を出力する。演算処理部２０４は、撮像素子２０３が出力した画像信号に基づいて撮影画像データを生成し、必要に応じた各種処理を実行して、メモリ２０５に格納する。また、演算処理部２０４は、運転者１００の視線情報と視点情報とを算出して出力する。また、車内撮像装置１０１は、不図示の通信手段を有しており、移動体４０１に設けられた不図示のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と各種情報をやりとりする。本実施形態の表示制御装置は、演算処理部２０４と移動体４０１のＣＰＵとによって実現される。
図３は、撮像素子の構成例を示す図である。
撮像素子２０３には複数の画素が配置されている。図３（Ａ）は、撮像素子２０３の断面の一例を示す。各画素は、マイクロレンズ３０１と、カラーフィルタ３０２と、複数の光電変換部３０３Ａ、３０３Ｂとを有する。
撮像素子２０３は、画素毎に、カラーフィルタ３０２によって、検出する波長帯域に応じたＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）やＩＲ（Ｉｎｆｒａ Ｒｅｄ）の分光特性が与えられている。カラーフィルタ３０２は、図示しない公知の配色パターンにしたがって配置されている。基板３０４には、検出する波長帯域に感度を有する光電変換部が形成されている。また、各画素は、図示しない配線を備えている。
図３（Ｂ）は、光軸２１０と撮像素子２０３の交点（中心像高）から、撮像光学系２０２の射出瞳３３１を見た状態を示す。光電変換部３０３Ａと光電変換部３０３Ｂには、それぞれ、射出瞳３３１の異なる領域を通過した光束が入射する。光電変換部３０３Ａには、第１の瞳領域３１０を通過した第１の光束が入射し、光電変換部３０３Ｂには、第２の瞳領域３２０を通過した第２の光束が入射する。光電変換部３０３Ａおよび光電変換部３０３Ｂは、入射した光束をそれぞれ光電変換して、像信号を出力する。すなわち、撮像素子２０３は、撮像光学系の互いに異なる瞳領域を通過する光束に対応する一対の像信号を出力する。光電変換部３０３Ａは、Ａ画像に係る像信号（Ａ画像信号）を出力し、光電変換部３０３Ｂは、Ｂ画像に係る像信号（Ｂ画像信号）を出力する。
演算処理部２０４は、Ａ画像信号とＢ画像信号とに基づいて、測距演算処理により距離情報を算出し、メモリ２０５に記憶する。また、Ａ画像とＢ画像を加算して得られる画像は、画像情報として利用することができる。
図３（Ｂ）中の符号３１１は、第１の瞳領域３１０の重心位置（第１の重心位置）を示し、符号３２１は、第２の瞳領域３２０の重心位置（第２の重心位置）を示す。第１の重心位置３２１は、射出瞳３３１の中心から第１の軸（ｘ軸）に沿って偏心（移動）している。第２の重心位置３２１は、第１の軸（ｘ軸）に沿って、第１の重心位置３１１とは逆の方向に偏心（移動）している。第１の重心位置３１１と第２の重心位置３２１とを結ぶ方向が瞳分割方向であり、重心位置３１１と重心位置３２１との重心間距離が基線長３３２である。Ａ画像とＢ画像とは、デフォーカスによって、瞳分割方向と同じ方向に、基線長に応じた量だけ、位置がすれる。この画像間の相対的な位置ズレ量、すなわちＡ画像とＢ画像の視差量は、デフォーカス量に応じた量となる。したがって、この視差量を公知の手法により取得し、基線長との幾何関係による変換を行うことで視差量をデフォーカス量、さらに距離情報に変換することができる。
視差量を求める公知の手法として、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）という相関演算手法を用いることができる。また、ＺＮＣＣ（Ｚｅｒｏ ｍｅａｎｓ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）、ＰＯＣ（Ｐｈａｓｅ Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ）といった相関演算手法を用いて視差量を求めることもできる。以上説明した車内撮像装置１０１は、瞳分割方式による単眼形式の測距カメラとして機能し、撮像で得られた像信号に基づき、対象までの距離を算出することができる。これにより、各画素が距離値を持つ距離画像と、各画素が受光強度に応じた信号強度による画素値を持つ認識用画像とを同じ光軸で取得でき、両画像の重ね合わせなど、後処理の計算負荷を低減できる。本発明の測距方式は上述した方式に限定されず、２台のカメラで実現されるステレオカメラを適用してもよい。ステレオカメラを用いた測距方式によれば、基線長を長く構成することができ、距離分解能向上の観点から好適である。また、パターン投影機とカメラ間で三角測量を行うアクティブステレオ方式や、パターン投影機によるテクスチャ投影を併用したステレオ方式、ＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式などを適用してもよい。
図４は、運転者が搭乗している移動体と、移動体における運転席から前方を見た状態を示す図である。
図４（Ａ）は、移動体４０１を上から見たときの状態を示す。移動体４０１の外周部には、移動体４０１の周囲の領域を撮像するための周囲撮像装置４０２が複数配置されている。周囲撮像装置４０２は、移動体の周囲情報を取得する手段の一つである。それぞれの周囲撮像装置４０２は、焦点距離可変のズーム光学系を有しており、状況に応じた適切な画角の画像が取得できる。運転者を撮影する車内撮像装置１０１と、移動体４０１の周囲情報を取得する周囲撮像装置４０２とは、設置時の校正により、互いのカメラ位置や取付方向（光軸）が管理され、関連付けられている。つまり、車内撮像装置１０１と周囲撮像装置４０２は、移動体４０１上に原点を持つローカル座標系にアドレスされている。
図４（Ｂ）は、運転席から前方を見た状態を示す。移動体４０１のフロント側の窓部であるフロントガラスの下部に、ヘッドアップディスプレイ（ＨＵＤ）を有する表示装置４０３が設けられている。移動体４０１が有する表示制御装置は、運転者の死角領域に関する周囲情報に基づいて取得（生成）される表示情報を表示装置４０３に表示する。表示情報は、例えば、死角領域の撮像で得られた画像情報（撮像画像）を含む。
表示装置４０３は、フロントガラスの下部だけではなく、上下左右の適宜最適な領域、またはサイドガラスや後部座席搭乗者用に前座席背面などに設置されてもよい。また、表示装置４０３は、ＨＵＤに限らず、運転席正面の操作パネル内にある液晶ディスプレイなど各種ディスプレイを有していてもよい。
移動体４０１は、不図示のＣＰＵを用いて、取得した各種情報から各種の処理を行って表示情報を取得（生成）し、表示手段へ表示する。なお、各種の処理は、ＧＰＵなど各種演算回路や、それらを搭載したＰＣなどの装置、そして処理対象である情報を無線通信によって遠隔地で処理を実行する各種クラウドコンピューティングを用いて行うこともできる。ＧＰＵは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
図５は、移動体が有する表示制御装置の機能ブロック図の一例である。
表示制御装置２０００は、視線情報取得部２００１、視点情報取得部２００２、周囲情報取得部２００３、制御部２００４を有する。視線情報取得部２００１は、移動体４０１の運転者１００の視線情報を取得する第１の取得手段として機能する。視点情報取得部２００２は、運転者１００の視点情報を取得する第２の取得手段として機能する。周囲情報取得部２００３は、移動体４０１の周囲に関する周囲情報を取得する第３の取得情報として機能する。周囲情報取得部２００３は、周囲撮像装置４０２、移動体４０１が有するＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、またはＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）から周囲情報を取得する。
制御部２００４は、表示制御装置２０００全体を制御する。例えば、制御部２００４は、視線情報と視点情報と周囲情報とに基づいて、運転者１００の死角領域の情報を取得する。そして、制御部２００４は、死角領域に関する周囲情報に基づいて表示情報を生成して、表示装置４０３（図４（Ｂ））に表示する制御を行う。例えば、制御部２００４は、死角領域の撮像に適した位置に配置されている周囲撮像装置を制御することで、死角領域の撮像を実行させ、当該撮像によって得られる撮像画像を表示情報として生成する。
本実施形態では、表示制御装置２０００は、車内撮像装置１０１が有する演算処理部２０４と、移動体４０１のＣＰＵとによって実現されるが、車内撮像装置１０１単体で表示制御装置２０００を実現してもよい。また、移動体４０１のＣＰＵ単体で表示制御装置２０００を実現してもよい。
図６は、実施例１の表示制御装置の動作処理を説明するフローチャートである。
図６中のＳは、本フローチャートにしたがう各処理のステップ番号を示す。Ｓ５０１において、表示制御装置２０００が、運転者情報を取得する。運転者情報は、運転者１００の視線情報と視点情報である。視線情報は、車内撮像装置１０１が有する演算処理部２０４が、運転者１００の撮像で得られた撮像画像に対して公知の手法による処理を行うことで求められる。運転者１００の視線は、運転者１００の視野の方向を示しており、視線情報は運転者１００の視野の方向に関する情報であるといえる。
例えば、車内撮像装置１０１の近傍に図示しない光源を設け、光源からの光を照射した状態で運転者１００の顔を撮像する。演算処理部２０４は、撮像画像から目近傍領域を抽出し、目の角膜上にある光源からの光の反射点であるプルキニエ像を検出し、別途算出した瞳孔位置との相対位置関係から視線を算出する。より具体的には、演算処理部２０４は、プルキニエ像位置と瞳孔位置から角膜曲率中心を算出し、角膜曲率中心から瞳孔中心へ結んだベクトルを視線とする。演算処理部２０４が、光源による反射像を基準に視線を算出するので、夜間など光量の乏しいときでも安定して視線を検出できる。視線の算出方法は、本手法に限定されず、目頭と虹彩の位置を検出し、目頭の位置を基準とした虹彩の位置による視線算出方法を適用してもよい。この視線算出方法によれば、視線検出用の光源を別途設置する必要がなく、小型化の観点で好適である。
次に、視点情報の取得に関して説明する。この例では、視点を瞳孔中心とする。演算処理部２０４は、運転者１００の撮像で得られた撮像画像から、先述の手法を用いて瞳孔までの距離を算出する。そして、車内撮像装置１０１のカメラ位置を介して、移動体４０１のローカル座標系に瞳孔の座標がアドレスされる。つまり、カメラ位置から光軸方向に算出距離だけ移動した位置に瞳孔の座標がアドレスされる。つまり、視点情報は、移動体４０１に対して定義されたローカル座標系において示された車内撮像装置１０１と運転者１００の瞳までの距離として示される。言い換えれば、視点情報は、移動体４０１に対して定義されたローカル座標系における運転者１００の視野の始点を示す情報であるといえる。演算処理部２０４は、後の処理において、視線情報と視点情報とに基づいて、運転者１００に対して１つの視野を算出する。したがって、演算処理部２０４は、算出した左右の瞳孔の座標の中間座標を運転者の視点として算出する。
なお、運転者の視野の始点となる視点は、左右の瞳孔の中心座標に限定されない。撮像で得られる運転者１００の眉間や鼻の頂点の位置そのもののほか、耳など各種特徴点から算出した顔領域の重心位置などを、視野の始点となる視点として利用できる。これらの運転者１００の部位の位置の違いは、移動体と死角領域を算出する際には微小であるため、同一の意味を持つ点として活用できる。したがって、視点として利用する運転者１００の頭部の位置情報を、総称して頭部位置情報とも呼ぶ。なお、視点情報の取得方法は本実施例の手法に限定されない。車内撮像装置１０１による撮像で得られた画像から機械学習を用いて取得した器官検出の結果から視点位置を決定するようにしてもよい。

なお、視点情報１０３の取得方法は上述の例に限らない。例えば、瞳分割方式による測距方法を用いて、撮影された社内撮像装置１０１から運転者１００の瞳までの距離を測定し、視点情報１０３としてもよい。また、測距する対象は、運転者１００の眉間や鼻の頂点としてもよいし、運転者１００の耳など各種特徴点の距離から算出した顔領域の重心位置などを、視野の始点となる視点として利用できる。また、車内撮像装置の近傍にＬｉＤＡＲなどの測距デバイスを設け、測距デバイスによって車内撮像装置１０１と運転者１００の瞳までの距離を取得することも可能である。
次に、Ｓ５０２において、表示制御装置２０００が、Ｓ５０１で取得した運転者１００の視線情報と視点情報とに基づいて、視野情報を算出する。視野情報の算出は、演算処理部２０４が実行してもよいし、移動体４０１のＣＰＵが実行してもよい。
図７は、視野情報の算出処理の一例を説明する図である。
表示制御装置２０００の制御部２００４は、図６のＳ５０１で得られる運転者１００の視線方向６０１に対し、視野の始点である視点を原点として標準視野角６０２を加え、運転者１００の視野６０３を算出する。標準視野角６０２は、適宜設定されればよく、例えば±４５°に設定され、視野領域の算出に用いられる。また、例えば、天候が雨の場合は見通しが良くないので、標準視野角を±３０°とするなど、適切な値を用いればよい。視点を原点として設定された標準視野角６０２と、図６のＳ５０１で取得した運転者の視点位置座標の情報とに基づいて、死角領域の算出に用いられる運転者１００の視野６０３が算出される。
図６の説明に戻る。Ｓ５０３において、制御部２００４が、Ｓ５０３において算出された視野領域の情報に基づき、移動体４０１の周囲にある運転者の死角領域を算出する。
図８は、死角領域の算出の一例を説明する図である。
制御部２００４は、運転者１００の視野６０３に対し、移動体４０１のローカル座標系を移動体周囲の環境マップに重ね合わせ、実際に視認できる範囲を算出する。環境マップは、移動体４０１の周囲情報の一つであり、移動体４０１の周囲の道路状況や建築物などが示される。環境マップは、ＧＰＳと各種提供されているダイナミックマップを組み合わせることで取得できる。また、制御部２００４が、移動体４０１に別途設置されたＬｉＤＡＲを用いて環境マップを構築してもよい。ＬｉＤＡＲを用いれば、工事などの急な現場環境変化にも対応してリアルタイムのマップを構築できる。
移動体４０１のローカル座標系を環境マップに重ね合わせた際、周囲に遮蔽物が存在しなければ、視野６０３が実際に視認できる範囲となり、視野６０３以外の領域が死角領域となる。図８に示す例では、移動体４０１が、Ｔ字路に差し掛かっており、視野６０３の一部が、Ｔ字路を形成している塀の角によって遮蔽されている。したがって、制御部２００４は、運転者１００の頭部位置に基づいて、実際に視認できる範囲７０１を算出し、範囲７０１の外側に該当する領域を死角領域７０２として算出する。
図６の説明に戻る。Ｓ５０４において、制御部２００４が、Ｓ５０３で算出された死角領域に基づいて、表示情報を生成する。この例では、制御部２００４は、移動体４０１の外周部に設けられた周囲撮像装置による、死角領域の撮像で得られる画像情報（撮像画像）を取得して表示情報とする。
図９は、死角領域の撮像の一例を説明する図である。
図９（Ａ）に示すように、死角領域７０２が移動体４０１の前方に存在するので、制御部２００４は、移動体４０１の前方に設置された周囲撮像装置８０１，８０２を、死角領域７０２の撮像画像を取得する撮像装置として選択する。そして、制御部２００４は、周囲撮像装置８０１，８０２の画角８１１，８１２が死角領域７０２の範囲を撮影できるようにズーム光学系の焦点距離を変更する。これにより、死角領域７０２に移動体４０１とは異なる移動体８２０が存在した場合、図９（Ｂ）に示すように、周囲撮像装置８０１により移動体８２０を含む画角８１１の撮像画像を取得することができる。なお、周囲撮像装置の光学系は、ズーム光学系に限らず単焦点であってもよい。単焦点光学系で取得できる撮影範囲が死角領域７０２を覆っていない場合には、制御部２００４は、撮影範囲が死角領域全体を覆っていないことを注意警報として表示装置４０３に表示してもよい。また、制御部２００４は、死角領域全体を撮影できるように、移動体４０１を少し前進させる指示などを表示装置４０３に表示してもよい。
図６の説明に戻る。Ｓ５０５において、制御部２００４が、Ｓ５０４で取得した死角領域に関する表示情報（撮像画像）を表示装置４０３に表示する。
図１０は、表示装置への表示情報の表示例を示す図である。
制御部２００４は、表示情報を、死角領域に関する周囲情報が取得された方向と関連付けて、表示装置４０３に表示する。図１０に示す例では、制御部２００４は、図９（Ａ）の移動体４０１の周囲撮像装置８０２による、移動体４０１の左前方の死角領域７０２の撮像で得られた撮像画像９０２を、表示装置４０３の左側に表示する。また、制御部２００４は、図９（Ａ）の移動体４０１の周囲撮像装置８０１による、移動体４０１の右前方の死角領域７０２の撮像で得られた撮像画像９０１を、表示装置４０３の右側に表示する。
上記の表示例によれば、運転者１００が視認できていない死角領域が、運転者１００を基準としてどの方向に位置しているかを示すことができる。また、フロントガラスの下部に設けられた表示装置４０３の左右両端に撮像画像を表示することで、移動体４０１の正面前方に向けた視認性を確保することができ、運転利便性の観点からも好適である。
図１１は、本実施形態の表示制御装置が奏する効果を説明する図である。
図１１（Ａ）に示すように、視線６０１に対する視野６０３が同じであっても、視野の始点となる位置が運転者の視点１００１であるか搭乗者の視点１０１１であるかによって、視認できる範囲が異なる。視野の始点となる位置を視点１００１とすることで、運転者が視認できる範囲を精度良く算出することができる。
図１１（Ｂ）は、移動体４０１がＴ字路に差し掛かった状態を示す。視野の始点を視点１００１とすると、視認できる範囲は範囲１０１２である。視野の始点を視点１０１１とすると、視認できる範囲は範囲１００２である。したがって、視野の始点が視点１００１であるか視点１０１１であるかによって、視認できる範囲に領域１００３の分の差異が生じ、領域１００３の分だけ死角領域の算出に誤差が生じる。表示制御装置２０００は、運転者の視野の始点となる視点に基づいて運転者の視野情報を算出するので、視点を用いずに視野情報を算出する場合と比べて、視野情報の算出精度が向上する。
（実施例２）
図１２は、実施例２の表示制御装置の動作処理を説明するフローチャートである。
図１２中のＳは、本フローチャートにしたがう各処理のステップ番号を示す。実施例２の表示制御装置２０００は、移動体４０１の周囲情報に基づいて得られる、移動体４０１が置かれている交通状況に基づいて、表示情報の表示装置４０３への表示を制御する。また、表示制御装置２０００は、移動体４０１が置かれている交通状況に基づいて、運転者の死角領域が発生する方向を推定し、推定された方向の領域から取得される周囲情報に基づいて、表示情報を生成する。
例えば、図８に示すように、移動体４０１が、Ｔ字路のような交差点に差し掛かる状態を想定する。図１２のＳ１１０１において、制御部２００４が、周囲情報取得部２００３によって取得された環境マップに基づいて、移動体４０１がこれから差し掛かる交通状況が、死角領域の発生する確率の高い、見通し不良の状況であるかを判断する。環境マップに基づく交通状況が、移動体４０１が閾値以下の道幅の交差点に近づいたことを示す場合、当該交差点を見通し不良の交差点候補として選定する。そして、制御部２００４は、移動体４０１の位置と進行方向、進行速度に基づいて、所定時間内に交差点候補へ到達すると予測できる場合、移動体４０１が、見通し不良の交通状況に差し掛かると判断する。そして、処理がＳ１１０２に進む。上記のＳ１１０１においては、さらに、環境マップに基づく交通状況に基づいて、運転者の死角領域が発生する方向が推定される。この例では、移動体４０１の前方左右に運転者の死角領域が発生することが推定される。
一方、見通し不良の交差点候補が選定されないか、または移動体４０１が所定時間内に交差点候補に到達しない場合は、制御部２００４は、移動体４０１が、見通し不良の交通状況に差し掛からないと判断する。そして、処理が終了する。
Ｓ１１０２乃至Ｓ１１０６の基本的処理は、前述した図６のＳ５０１乃至Ｓ５０５と同様である。表示制御装置２０００は、運転者情報に基づいて視野を算出し、移動体４０１の周囲情報を照らし合わせることで死角領域を算出する（Ｓ１１０２乃至Ｓ１１０４）。前述したように、運転者の死角領域が移動体４０１の前方左右に発生することが事前に推定されている。したがって、Ｓ１１０５においては、制御部２００４は、推定された方向（予測死角方向）の領域を撮像できる周囲撮像装置７０３、７０４（図８）の撮像および画像処理を優先して行う。そして、Ｓ１１０６において、制御部２００４は、Ｓ１１０５の処理で得られた撮像画像を表示装置４０３に表示する。
実施例２の表示制御装置２０００は、予め運転者の死角になると予測した方向の領域の撮像と画像処理を優先して行うので、より高い更新速度で、運転者の運転支援として必要と思われる方向の情報を表示させることができる。また、不必要な方向の情報を表示することが減るので、運転者の視界を妨げる機会が低減されて、安全性の観点から好適である。
（実施例３）
実施例３の表示制御装置２０００は、実施例２の表示制御装置２００と同様に、移動体の周囲情報に基づいて得られる、移動体が置かれている交通状況に基づいて、表示情報の表示装置４０３への表示を制御する。
図１３は、移動体が置かれている交通状況の一例を示す図である。図１３には、移動体４０１が、第１の通路である合流車線１２１１から第２の通路である走行車線（本線）１２１２へ合流する状況が示される。また、図１４は、実施例３の表示制御装置の動作処理を説明するフローチャートである。図１４中のＳは、本フローチャートにしたがう各処理のステップ番号を示す。
図１４のＳ１３０１において、移動体４０１の制御部２００４が、環境マップに基づいて得られる、移動体４０１がこれから差し掛かる交通状況が、移動体４０１が合流車線から走行車線へ合流することを示すかを判断する。交通状況が、移動体４０１が合流車線から走行車線へ合流することを示さない場合は、処理を終了する。交通状況が、移動体４０１が合流車線から走行車線へ合流することを示す場合は、処理がＳ１３０２に進む。例えば、運転者１００が移動体４０１のウィンカーを操作して合流の意思を示している場合、制御部２００４は、移動体４０１が合流車線から走行車線へ合流すると判断する。また、合流車線１２１１が移動体４０１の進行方向の前方において走行車線１２１２と合流する（１つの車線となる）場合、移動体４０１は走行車線１２１２へ移動する必要がある。したがって、この場合も、制御部２００４は、移動体４０１が合流車線から走行車線へ合流する交通状況であると判断する。
Ｓ１３０２において、制御部２００４が、移動体４０１の運転者１００の運転者情報（視線情報と視点情報）を取得する。続いて、Ｓ１３０３において、制御部２００４が、移動体４０１の運転者１００の視野を算出する。制御部２００４は、運転者１００が合流先である走行車線１２１２の方向を見た場合の視野１２２１（第１の視野情報）を算出する。また、制御部２００４は、移動体４０１の後方を映すための光反射部材を介した運転者の第２の視野情報を算出する。具体的には、制御部２００４は、運転者１００が、移動体４０１の合流先側（右側）に設けられたサイドミラーを見たときの、サイドミラー越しの視野１２２２を第２の視野情報として算出する。当該サイドミラーには、周囲撮像装置４０２が設けられている。なお、周囲撮像装置４０２が、サイドミラーとは別個に設けられていてもよい。
次に、Ｓ１３０４において、制御部２００４が、視野１２２１と視野１２２２とに基づいて、運転者１００の死角領域１２２３を算出する。続いて、Ｓ１３０５において、制御部２００４が、死角領域１２２３を撮像できる画角１２２４を持つ周囲撮像装置４０２を制御することにより、死角領域１２２３の撮像画像を取得する。そして、Ｓ１３０６において、制御部２００４が、死角領域１２２３の撮像画像を表示装置４０３に表示する。これにより、運転者１００の視野１２２１では死角領域に存在した、走行車線１２１２を走行中の移動体１２０２の画像を運転者１００に提示することができる。
（実施例４）
実施例４の表示制御装置２０００は、移動体４０１の運転者１００の死角領域に注意対象が存在する場合に、死角領域に関する周囲情報に基づく表示情報を、アラート報知とともに表示装置４０３に表示する。
図１５は、運転者の死角領域に注意対象が存在している場合の表示例を説明する図である。また、図１６は、実施例４の表示制御装置の動作処理を説明するフローチャートである。図１６中のＳは、本フローチャートにしたがう各処理のステップ番号を示す。
図１６のＳ１５０１乃至Ｓ１５０４は、図６のＳ５０１乃至Ｓ５０４と同様である。また、Ｓ１５０７は、図６のＳ５０５と同様である。
Ｓ１５０５において、制御部２００４が、Ｓ１５０４で取得された死角領域の撮像画像に、注意対象が存在するかを判断する。注意対象は、例えば、小児などの人や、動物、自動車、自転車、二輪車などの、各種の移動体である。この例では、制御部２００４は、機械学習を用いて事前に学習させた認識アルゴリズムを用いて、セマンティックセグメンテーション（意味的領域分割）を行い、事前に登録してある注意対象候補に該当する領域が存在するかを判断する。図１５（Ａ）に示すように、交差点に差し掛かった移動体４０１の運転者１００の死角領域に、注意対象候補である小児１４０１が存在する場合、制御部２００４は、死角領域の撮像画像に注意対象が存在すると判断する。そして、処理がＳ１５０６に進む。制御部２００４が、死角領域の撮像画像に注意対象が存在しないと判断した場合は、処理がＳ１５０７に進む。そして、Ｓ１５０７において、制御部２００４が、死角領域の撮像画像をアラート報知とともに表示装置４０３に表示する。
図１６（Ｂ）は、死角領域に図１５（Ａ）の小児１４０１が存在する場合の表示例を示す。
制御部２００４は、小児１４０１の撮像画像を、アラート報知を示す枠１４０２とともに表示装置４０３に表示する。枠１４０２は、例えば、赤色などの警報色で点滅発光する。枠１４０２と小児１４０１の撮像画像は、小児１４０１の撮像画像が取得された方向に該当する、表示装置４０３の右側に表示される。制御部２００４が、移動体４０１内のスピーカーから進行方向右側の死角領域に注意対象が存在する旨を音声で報知するようにしてもよい。これにより、運転者１００に対して、注意対象が死角領域に存在していることを、より確度高く知らせることができる。なお、制御部２００４は、表示装置４０３に表示した対象が注意対象候補でない場合であっても、運転者１００の視線情報に基づいて、運転者１００が当該対象を認識していないと判断した場合は、アラート報知を行って、認識を促してもよい。
（実施例５）
実施例５の表示制御装置２０００は、運転者１００の視線情報の変化または視点情報の変化に基づいて、運転者１００が注視行動をしているかを判断する。表示制御装置２０００は、運転者１００が注視行動をしていると判断した場合に、運転者１００の注視方向の死角領域に関する周囲情報に基づいて、表示情報を生成する。
図１７は、実施例５の表示制御装置の動作処理を説明する図である。また、図１８は、実施例５の表示制御装置の動作処理を説明するフローチャートである。図１８中のＳは、本フローチャートにしたがう各処理のステップ番号を示す。
図１８のＳ１７０１において、表示制御装置２０００が、運転者情報として運転者１００の視線情報と視点情報とを取得する。続いて、Ｓ１７０２において、制御部２００４が運転者１００が注視行動をしているかを判断する。具体的には、制御部２００４は、前フレームで取得していた運転者情報と、Ｓ１７０１で取得した運転者情報とを比較して、図１７（Ａ）に示す運転者１００の視点１６０１の変化または視線１６０２の変化を検出する。制御部２００４は、検出された視点１６０１の変化または視線１６０２の変化に基づいて、運転者１００が視線に対応する領域を見ている時間が所定時間以上であるかを決定する。運転者１００が視線に対応する領域を見ている時間が所定時間以上である場合、制御部２００４は、運転者１００が注視行動をしていると判断する。図１７（Ａ）に示す例では、運転者１００は、移動体４０１の前方下部を注視している。したがって、制御部２００４は、運転者１００が注視行動をしていると判断し、処理がＳ１７０３に進む。運転者１００が、視線に対応する領域を見ている時間が所定時間以上でないと決定された場合、制御部２００４は、運転者１００が注視行動をしてないと判断する。そして、処理が終了する。
Ｓ１７０３において、制御部２００４が、運転者１００の視線情報と視点情報とに基づいて運転者２００の視野情報を算出する。これにより、運転者１００の注視方向に応じた視野が得られる。続いて、制御部２００４が、運転者１００の視野情報と、移動体４０１の周囲情報と、移動体４０１自身に関する情報とに基づいて、運転者１００の注視方向の死角領域を算出する。移動体４０１自身に関する情報は、例えば、移動体４０１の高さ、幅、長さなどの寸法情報を含む。図１７（Ａ）に示す例では、運転者１００は移動体４０１の前方下部を注視しているので、移動体４０１の前方下部の方向の死角領域が算出される。
続いて、Ｓ１７０５において、制御部２００４が、算出した死角領域の撮像画像を取得する。そして、Ｓ１７０６において、制御部２００４が、図１７（Ｂ）に示すように、取得された死角領域の撮像画像を表示装置４０３に表示する。
実施例５の表示制御装置によれば、運転者１００の注視方向の死角領域から撮像画像を取得して表示することができるため、運転者１００の状態に応じて必要な情報を必要な時に表示することができ、運転の安全性向上の観点から好適である。
（実施例６）
実施例６の表示制御装置２０００は、運転者の注視方向に応じて、表示装置４０３への表示情報の表示方法を変更する制御を行う。
図１９は、実施例６の表示制御装置による表示情報の表示例を示す図である。
図１９（Ａ）は、交差点に差し掛かった移動体の運転者の死角領域に注意対象が存在した場合の表示例を示す。制御部２００４は、死角領域に存在する注意対象である小児１４０３の撮像画像を取得して、アラート報知を示す枠１４０４とともに、表示装置４０３の左側に表示する。このとき、制御部２００４が、車内撮像装置１０１で得られた運転者の視線情報と視点情報とから、運転者が注視している領域（注視領域）を決定する。図１９（Ａ）に示す例では、運転者が移動体前方の注視領域１８０１を注視していることが決定されたものとする。
図１９（Ａ）に示す状態から、アラート報知に伴い、運転者の注視領域が、注視領域１８０１から、小児１４０３の撮像画像が表示されている表示装置４０３の左側の領域に移動したものとする。制御部２００４は、運転者の視線情報と視点情報とから、運転者の注視領域が、図１９（Ｂ）に示すように、表示されている小児１４０３の撮像画像の近傍の注視領域１８０２に移動したことを検出する。そして、制御部２００４は、表示する小児１４０３の撮像画像を縮小し、アラート報知を解除する。
実施例６の表示制御装置２０００は、運転者がアラート報知を受け取ったと判断された場合は、運転者の視野を妨げないように表示情報を縮小して表示する。これにより、運転者が移動体前方にも注意を向けることができ、運転の安全性向上の観点から好適である。
本発明は、上述した各実施例に記載された内容に限定されない。また、各実施例を適宜組み合わせても良い。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
２０００ 表示制御装置
２００１ 視線情報取得部
２００２ 視点情報取得部
２００３ 周囲情報取得部
２００４ 制御部

Claims (20)

  1. 移動体の利用者の視野の方向に関する視線情報を取得する第１の取得手段と、
    前記利用者の前記視野の始点に関する視点情報を取得する第２の取得手段と、
    前記移動体の周囲情報を取得する第３の取得情報と、
    前記視線情報と前記視点情報と前記周囲情報とに基づいて、前記利用者の死角領域を取得し、前記死角領域に関する周囲情報に基づいて、表示情報を生成して表示手段に表示する制御を行う制御手段と、を有する
    ことを特徴とする表示制御装置。
  2. 前記制御手段は、前記視線情報と前記視点情報とに基づいて、前記利用者の視野情報を取得し、前記取得された視野情報と、前記移動体の周囲情報とに基づいて、前記死角領域を取得する
    ことを特徴とする請求項１に記載の表示制御装置。
  3. 前記第１の取得手段は、前記移動体に設けられた第１の撮像手段による撮像で得られる前記利用者の画像情報に基づいて、前記視線情報を取得し、
    前記第２の取得手段は、前記第１の撮像手段による撮像で得られる前記利用者の画像情報に基づいて、前記視点情報を取得する
    ことを特徴とする請求項１または請求項２に記載の表示制御装置。
  4. 前記第１の撮像手段は、撮像光学系の互いに異なる瞳領域を通過する光束に対応する一対の像信号を出力し、
    前記第２の取得手段は、前記出力された一対の像信号に基づいて、前記利用者の視点情報を取得する
    ことを特徴とする請求項３に記載の表示制御装置。
  5. 前記第３の取得手段は、前記移動体の外周部に設けられた第２の撮像手段、前記移動体が有するＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、またはＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）から前記周囲情報を取得する
    ことを特徴とする請求項１乃至４のいずれか１項に記載の表示制御装置。
  6. 前記表示情報は、前記利用者の死角領域の撮像で得られる画像情報を含む
    ことを特徴とする請求項１乃至５のいずれか１項に記載の表示制御装置。
  7. 前記制御手段は、前記表示情報を、前記死角領域に関する周囲情報が取得された方向と関連付けて、前記表示手段に表示する
    ことを特徴とする請求項１乃至６のいずれか１項に記載の表示制御装置。
  8. 前記制御手段は、前記周囲情報に基づいて得られる、前記移動体が置かれている交通状況に基づいて、前記表示情報の前記表示手段への表示を制御する
    ことを特徴とする請求項１乃至７のいずれか１項に記載の表示制御装置。
  9. 前記制御手段は、前記交通状況に基づいて、前記利用者の死角領域が発生する方向を推定し、前記推定された方向の領域から取得される前記周囲情報に基づいて、前記表示情報を生成する
    ことを特徴とする請求項８に記載の表示制御装置。
  10. 前記制御手段は、前記交通状況が、前記移動体が閾値以下の幅の交差点に近づいたことを示す場合は、前記移動体の前方左右の方向の死角領域から取得される前記周囲情報に基づいて、前記表示情報を生成する
    ことを特徴とする請求項８または請求項９に記載の表示制御装置。
  11. 前記制御手段は、前記交通状況が、前記移動体が第１の通路から第２の通路へ合流することを示す場合に、
    前記利用者が前記第２の通路の方向を見た場合の前記利用者の第１の視野情報と、前記移動体に設けられた、前記移動体の後方を映すための光反射部材を介した前記利用者の第２の視野情報とに基づいて、前記利用者の死角領域を取得し、前記取得した死角領域に関する前記周囲情報に基づいて、前記表示情報を生成する
    ことを特徴とする請求項８に記載の表示制御装置。
  12. 前記制御手段は、前記利用者の死角領域に注意対象が存在する場合に、前記死角領域に関する周囲情報に基づく前記表示情報を、アラート報知とともに前記表示手段に表示する
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の表示制御装置。
  13. 前記制御手段は、前記視線情報の変化または前記視点情報の変化に基づいて、前記利用者が注視行動をしているかを判断し、前記利用者が注視行動をしていると判断した場合に、前記利用者の注視方向の前記死角領域に関する前記周囲情報に基づいて、前記表示情報を生成する
    ことを特徴とする請求項１乃至１２のいずれか１項に記載の表示制御装置。
  14. 前記制御手段は、前記運転者の注視方向に応じて、前記表示手段への表示情報の表示方法を変更する制御を行う
    ことを特徴とする請求項１乃至１３のいずれか１項に記載の表示制御装置。
  15. 前記表示手段は、前記移動体の窓部に設けられたヘッドアップディスプレイを有する
    ことを特徴とする請求項１乃至１４のいずれか１項に記載の表示制御装置。
  16. 前記視点情報は、前記移動体に対して定義された座標系における前記利用者の視野の始点の位置を示す情報である
    ことを特徴とする請求項１乃至１５のいずれか１項に記載の表示制御装置。
  17. 請求項１乃至１６のいずれか１項に記載の表示制御装置と、前記表示情報を表示する表示手段と、を有することを特徴とする移動体。
  18. 移動体の利用者の視線情報を取得する工程と、
    前記利用者の視点情報を取得する工程と、
    前記移動体の周囲に関する周囲情報を取得する工程と、
    前記視線情報と前記視点情報と前記周囲情報とに基づいて、前記利用者の死角領域を取得し、前記死角領域に関する周囲情報に基づいて、表示情報を生成して表示手段に表示する制御を行う工程と、を有する
    ことを特徴とする表示制御方法。
  19. コンピュータを、請求項１乃至１６のいずれか１項に記載の表示制御装置が有する各手段として機能させることを特徴とするプログラム。
  20. コンピュータを、請求項１乃至１６のいずれか１項に記載の表示制御装置が有する各手段として機能させることを特徴とするプログラムを記憶した記憶媒体。
JP2021064111A 2021-04-05 2021-04-05 表示制御装置、表示制御方法、移動体、プログラムおよび記憶媒体 Pending JP2022159732A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021064111A JP2022159732A (ja) 2021-04-05 2021-04-05 表示制御装置、表示制御方法、移動体、プログラムおよび記憶媒体
US17/712,810 US11827148B2 (en) 2021-04-05 2022-04-04 Display control device, display control method, moving body, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021064111A JP2022159732A (ja) 2021-04-05 2021-04-05 表示制御装置、表示制御方法、移動体、プログラムおよび記憶媒体

Publications (1)

Publication Number Publication Date
JP2022159732A true JP2022159732A (ja) 2022-10-18

Family

ID=83449642

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021064111A Pending JP2022159732A (ja) 2021-04-05 2021-04-05 表示制御装置、表示制御方法、移動体、プログラムおよび記憶媒体

Country Status (2)

Country Link
US (1) US11827148B2 (ja)
JP (1) JP2022159732A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7187169B2 (ja) * 2018-04-23 2022-12-12 フォルシアクラリオン・エレクトロニクス株式会社 情報処理装置及び情報処理方法
US20230290156A1 (en) * 2022-03-11 2023-09-14 GM Global Technology Operations LLC System and method for providing lane identification on an augmented reality display

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001194161A (ja) * 2000-01-11 2001-07-19 Alpine Electronics Inc 視線移動検出情報提示装置
JP2005173882A (ja) * 2003-12-10 2005-06-30 Nissan Motor Co Ltd 後側方画像制御装置および方法
WO2011129014A1 (ja) * 2010-04-16 2011-10-20 トヨタ自動車株式会社 運転支援装置
JP2012216176A (ja) * 2011-04-01 2012-11-08 Denso Corp 運転者支援装置
JP2014002460A (ja) * 2012-06-15 2014-01-09 Toyota Motor Corp 運転支援装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6830236B2 (ja) 2016-10-27 2021-02-17 学校法人立命館 画像取得方法、画像表示システム、及びコンピュータプログラム
CN113056390A (zh) * 2018-06-26 2021-06-29 伊泰·卡茨 情境驾驶员监控系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001194161A (ja) * 2000-01-11 2001-07-19 Alpine Electronics Inc 視線移動検出情報提示装置
JP2005173882A (ja) * 2003-12-10 2005-06-30 Nissan Motor Co Ltd 後側方画像制御装置および方法
WO2011129014A1 (ja) * 2010-04-16 2011-10-20 トヨタ自動車株式会社 運転支援装置
JP2012216176A (ja) * 2011-04-01 2012-11-08 Denso Corp 運転者支援装置
JP2014002460A (ja) * 2012-06-15 2014-01-09 Toyota Motor Corp 運転支援装置

Also Published As

Publication number Publication date
US20220314886A1 (en) 2022-10-06
US11827148B2 (en) 2023-11-28

Similar Documents

Publication Publication Date Title
JP6731116B2 (ja) ヘッドアップディスプレイ装置およびその表示制御方法
KR102344171B1 (ko) 화상 생성 장치, 화상 생성 방법, 및 프로그램
CN108027511B (zh) 信息显示装置、信息提供系统、运动对象设备、信息显示方法和记录介质
JP6091586B1 (ja) 車両用画像処理装置および車両用画像処理システム
US9435879B2 (en) Alert display device and alert display method
JP5099451B2 (ja) 車両周辺確認装置
US8144076B2 (en) Display apparatus for displaying virtual image to driver
KR102580476B1 (ko) 차량의 차량 주변환경 내 가림 영역 산출 방법 및 장치
US11351918B2 (en) Driver-assistance device, driver-assistance system, method of assisting driver, and computer readable recording medium
EP1878618A2 (en) Driving support method and apparatus
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
US20070003162A1 (en) Image generation device, image generation method, and image generation program
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
US11827148B2 (en) Display control device, display control method, moving body, and storage medium
US20180037162A1 (en) Driver assistance system
CN111273765B (zh) 车辆用显示控制装置、车辆用显示控制方法以及存储介质
US20080258888A1 (en) Driving support method and driving support system
WO2020012879A1 (ja) ヘッドアップディスプレイ
KR102130059B1 (ko) 디지털 백미러 제어 유닛 및 방법
WO2015129280A1 (ja) 画像処理装置および画像処理方法
JP2017056909A (ja) 車両用画像表示装置
JPWO2020105685A1 (ja) 表示制御装置、方法、及びコンピュータ・プログラム
KR20160034681A (ko) 차량의 주변 감시 장치 및 방법
JP2008162550A (ja) 外部環境表示装置
WO2022230995A1 (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220404

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230502

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230704