JP2021128471A - 描画システム、表示システム、移動体、描画方法及びプログラム - Google Patents

描画システム、表示システム、移動体、描画方法及びプログラム Download PDF

Info

Publication number
JP2021128471A
JP2021128471A JP2020021887A JP2020021887A JP2021128471A JP 2021128471 A JP2021128471 A JP 2021128471A JP 2020021887 A JP2020021887 A JP 2020021887A JP 2020021887 A JP2020021887 A JP 2020021887A JP 2021128471 A JP2021128471 A JP 2021128471A
Authority
JP
Japan
Prior art keywords
marker
correction
moving body
unit
detection system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020021887A
Other languages
English (en)
Other versions
JP7357284B2 (ja
Inventor
祥平 林
Shohei Hayashi
祥平 林
輝光 末永
Terumitsu Suenaga
輝光 末永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2020021887A priority Critical patent/JP7357284B2/ja
Priority to CN202180014145.5A priority patent/CN115088028B/zh
Priority to DE112021000344.5T priority patent/DE112021000344T5/de
Priority to PCT/JP2021/003570 priority patent/WO2021161840A1/ja
Publication of JP2021128471A publication Critical patent/JP2021128471A/ja
Priority to US17/885,943 priority patent/US20220383645A1/en
Application granted granted Critical
Publication of JP7357284B2 publication Critical patent/JP7357284B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/177Augmented reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/179Distances to obstacles or vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/191Highlight information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】検知システム自体の移動に伴う表示位置のずれを低減し得る描画システム、表示システム、移動体、描画方法及びプログラムを提供する。
【解決手段】描画システム1は、描画部11と、補正部12と、を備える。描画部11は、検知システム3の検知結果D1に基づいて、対象物の位置に応じたマーカの描画を行う。検知システム3は、移動体に搭載されて対象物を検知する。補正部12は、検知システム3の検知結果D1に基づく対象物の位置に対し、補正データD2に基づく補正を行うことにより、描画部11でのマーカの描画位置を決定する。補正データD2は、少なくとも移動体の移動状況に関する移動情報に基づいて求まる。
【選択図】図1

Description

本開示は、一般に描画システム、表示システム、移動体、描画方法及びプログラムに関し、より詳細には、対象物を検知する検知システムの検知結果に基づいて画像の描画を行う描画システム、表示システム、移動体、描画方法及びプログラムに関する。
特許文献1には、接近移動体を車両内の画面に表示するための接近移動体表示装置が記載されている。この接近移動体表示装置では、交差点等に配置されたカメラで撮像された画像に基づいて、カメラの前方の道路を移動する接近移動体(移動体)を認識し、認識された接近移動体の位置情報から同移動体の画面上の仮想表示位置を算出する。
さらに、特許文献1に記載の接近移動体表示装置は、画像の撮像時点に対する表示部での表示時点の時間遅れに基づいて、接近移動体の仮想表示位置を補正する補正機能を有している。具体的には、補正機能では、撮像画像から、カメラと接近移動体との間の距離及び接近移動体の移動速度等を算出し、算出結果より、時間遅れに基づいて、接近移動体の仮想表示位置を補正する。
特開2008−46744号公報
しかし、特許文献1に記載の構成では、基本的に、カメラは交差点等に定点設置されるのであって、対象物(接近移動体)を検知するための検知システム(カメラ)自体の移動に伴う表示位置のずれについては解消されない。
本開示は上記事由に鑑みてなされており、検知システム自体の移動に伴う表示位置のずれを低減し得る描画システム、表示システム、移動体、描画方法及びプログラムを提供することを目的とする。
本開示の一態様に係る描画システムは、描画部と、補正部と、を備える。前記描画部は、検知システムの検知結果に基づいて、対象物の位置に応じたマーカの描画を行う。前記検知システムは、移動体に搭載されて前記対象物を検知する。前記補正部は、前記検知システムの検知結果に基づく前記対象物の位置に対し、補正データに基づく補正を行うことにより、前記描画部での前記マーカの描画位置を決定する。前記補正データは、少なくとも前記移動体の移動状況に関する移動情報に基づいて求まる。
本開示の一態様に係る表示システムは、前記描画システムと、前記描画システムで描画された前記マーカを表示する表示装置と、を備える。
本開示の一態様に係る移動体は、表示システムと、前記表示システムが搭載される移動体本体と、を備える。
本開示の一態様に係る描画方法は、描画処理と、補正処理と、を有する。前記描画処理は、検知システムの検知結果に基づいて、対象物の位置に応じたマーカの描画を行う処理である。前記検知システムは、移動体に搭載されて前記対象物を検知する。前記補正処理は、前記検知システムの検知結果に基づく前記対象物の位置に対し、補正データに基づく補正を行うことにより、前記描画処理での前記マーカの描画位置を決定する処理である。前記補正データは、少なくとも前記移動体の移動状況に関する移動情報に基づいて求まる。
本開示の一態様に係るプログラムは、前記描画方法を、1以上のプロセッサに実行させるためのプログラムである。
本開示によれば、検知システム自体の移動に伴う表示位置のずれを低減し得る、という利点がある。
図1は、実施形態1に係る描画システム及び表示システムの構成を示す概略ブロック図である。 図2は、同上の表示システムの動作例を説明するためのユーザの視界を表す説明図である。 図3は、図2のシチュエーションを説明するための俯瞰図である。 図4は、同上の描画システムにおいて、遅延が生じる様子を、概念的に表す模式図である。 図5は、同上の表示システムの動作例を説明するための第1のシーンを表す概念図である。 図6Aは、同上の表示システムの動作例を説明するためのユーザの視界の一部を示し、補正前位置にマーカを描画した場合の説明図である。図6Bは、同上の表示システムの動作例を説明するためのユーザの視界の一部を示し、補正後位置にマーカを描画した場合の説明図である。 図7は、同上の描画システムの動作例を説明するための概念図である。 図8は、同上の表示システムの第2のシーンにおける動作例を説明するためのユーザの視界を表す説明図である。 図9は、同上の表示システムの動作例を説明するための第2のシーンを表す概念図である。 図10は、実施形態1に係る描画システム及び表示システムの構成を示す概略ブロック図である。 図11は、実施形態2に係る描画システム及び表示システムの構成を示す概略ブロック図である。
(実施形態1)
(1)概要
まず、本実施形態に係る描画システム1の概要について、図1〜図3を参照して説明する。
本実施形態に係る描画システム1は、検知システム3の検知結果D1に基づいてマーカM1(図2参照)の描画を行うシステムである。検知システム3は、対象物50(図2参照)を検知するためのシステムである。本実施形態では、検知システム3は、移動体6(図2参照)に搭載されている。
本実施形態では、描画システム1は、表示装置2と共に表示システム10を構成する。言い換えれば、本実施形態に係る表示システム10は、描画システム1と、表示装置2と、を備えている。表示装置2は、描画システム1で描画されたマーカM1を表示する装置である。
この描画システム1は、例えば、図2及び図3に示すように、移動体6の前方の「歩行者」検知システム3にて対象物50として検知された場合に、この対象物50の位置に応じたマーカM1の描画を行う。そして、描画システム1で描画されたマーカM1が表示装置2にて表示されることにより、例えば、図2に示すように、ユーザ62から見て対象物50(歩行者)の足元に、マーカ状のマーカM1を表示することが可能である。
本実施形態に係る表示システム10は、移動体本体61(図2参照)に搭載され、移動体本体61と共に移動体6(図2参照)を構成する。すなわち、本実施形態に係る移動体6は、表示システム10と、移動体本体61と、を備えている。移動体本体61には、表示システム10が搭載されている。
ここにおいて、本実施形態に係る描画システム1は、描画部11と、補正部12と、を備えている。描画部11は、検知システム3の検知結果D1に基づいて、対象物50の位置に応じたマーカM1の描画を行う。検知システム3は、移動体6に搭載されて対象物50を検知する。補正部12は、検知システム3の検知結果D1に基づく対象物50の位置に対し、補正データD2に基づく補正を行うことにより、描画部11でのマーカM1の描画位置を決定する。ここで、補正データD2は、少なくとも移動体6の移動状況に関する移動情報に基づいて求まる。
この構成によれば、描画部11は、検知システム3の検知結果D1に基づく対象物50の位置にマーカM1を描画するのではなく、補正部12にて補正データD2に基づく補正が行われた後の描画位置にマーカM1を描画する。そのため、例えば、検知システム3内での処理に起因した遅延、又は検知システム3から描画システム1への検知結果D1の伝送に起因した遅延等が生じても、最終的に表示されるマーカM1の表示位置に関しては、これらの遅延の影響を低減できる。特に、補正部12は、検知システム3が搭載されている移動体6の移動状況に基づいて補正を行うので、上述したような遅延の期間(遅延期間)内での検知システム3自体の移動に伴う表示位置のずれを低減し得る。
また、本実施形態に係る描画システム1は、描画部11と、補間部13と、を備えている。描画部11は、検知システム3の検知結果D1に基づいて、少なくとも第1周期T1(図7参照)ごとに、対象物50の位置に応じたマーカM1の描画を行う。ここでいう検知システム3は、対象物50を検知して検知結果D1を第1周期T1ごとに出力する。補間部13は、描画部11が第1周期T1よりも短い第2周期T2(図7参照)ごとにマーカM1を更新するに際して、更新後のマーカM1としての補間マーカM11(図7参照)を補間データD3に基づいて補間する。
この構成によれば、検知システム3が検知結果D1を出力する第1周期T1よりも、描画部11がマーカM1を更新する第2周期T2の方が短い場合において、更新後のマーカM1(補間マーカM11)が補間データD3に基づいて補間される。したがって、例えば、検知システム3が検知結果D1を出力してから次に検知結果D1を出力するまでの第1周期T1の間においても、マーカM1が更新される度にマーカM1を変化させることができ、マーカM1は比較的スムーズに動くことになる。その結果、不自然なマーカM1の挙動が生じにくい。
(2)詳細
以下、本実施形態に係る描画システム1、表示システム10及び移動体6について、図1〜図10を参照して詳細に説明する。
(2.1)前提
本開示でいう「移動体」は、上述したように表示システム10と、移動体本体61と、を備えている。本実施形態では一例として、移動体6は、人が運転する自動車(乗用車)であることとする。
本開示でいう「マーカ」は、ユーザ62(図2参照)が視認可能な態様で表示装置2により表示される画像を意味する。マーカM1は、図形、記号、文字、数字、図柄若しくは写真等、又はこれらの組み合わせであってもよい。この種のマーカM1は、動画(動画像)及び静止画(静止画像)を含む。さらに、「動画」は、コマ撮り等により得られる複数の静止画にて構成される画像を含む。本実施形態では一例として、描画システム1が描画するマーカM1は、所定のリフレッシュレートにて更新される(つまり書き換えられる)動画であると仮定する。さらに、本実施形態では一例として、描画システム1が描画するマーカM1は、互いに直交するX軸,Y軸,Z軸の3軸からなる三次元空間上に表示される三次元画像であると仮定する。つまり、描画システム1によって描画されるマーカM1は、縦方向及び横方向の位置情報に加えて、検知システム3から対象物50までの距離に応じた奥行方向の位置情報を持つ三次元画像である。
本開示でいう「ユーザ」は、描画システム1にて描画されるマーカM1、つまり表示システム10にて表示されるマーカM1を見る人を意味する。本実施形態では一例として、移動体6としての自動車の運転者(driver)がユーザ62であると仮定する。
本開示でいう「対象物」は、検知システム3での検知の対象となる物標であって、人若しくは小動物等の生物、又は別の移動体、壁、ガードレール若しくは信号機等の構造物等がある。ここでいう「人」には、歩行者、立ち止まっている人、座っている人、寝転んでいる人及び自転車に乗っている人等を含む。さらに、三次元の物標に限らず、例えば、道路に描かれた白線又は文字等の二次元の物標についても、対象物50に含まれ得る。本実施形態では、移動体6の周辺、特に移動体6の進行方向の前方に位置する物標であって、さらに移動体6を運転するユーザ62に注目させたい物標を、対象物50の例とする。具体的には、図8及び図9の例を除き、対象物50は、移動体6の進行方向の前方に位置する歩行者51である場合について説明する。図8及び図9の例では、対象物50は移動体6の進行方向の前方に位置する信号機55である。
本開示でいう「移動状況」は、移動に関する状況を意味し、例えば、移動速度、移動量(移動距離及び移動角度を含む)、移動方向、加速度、移動時間又は移動時の姿勢等を含む。例えば、移動体6の移動状況であれば、移動体6の移動速度、移動量、移動方向又は加速度等を含む。このような移動状況は、例えば、車速パルス、移動体本体61にかかる加速度、アクセルペダルの踏込量(アクセル開度)、ブレーキペダルの踏込量又は舵角等、移動体本体61に搭載されたセンサにて検出可能である。さらに、移動体6の移動状況は、GPS(Global Positioning System)等を用いて検出可能な移動体本体61の位置情報からも検出可能である。
本開示でいう「第1周期」は、検知システム3が検知結果D1を出力する周期である。つまり、検知システム3は、第1周期T1ごとに検知結果D1を出力する。また、本開示でいう「第2周期」は、描画部11がマーカM1を更新する周期である。つまり、描画部11は、第2周期T2ごとにマーカM1を更新する(つまり書き換える)。そして、第1周期T1と第2周期T2とを比較すると、第2周期T2の方が相対的に短く、第1周期T1の方が相対的に長い(T1>T2)。要するに、描画部11がマーカM1を更新する周期(第2周期T2)は、検知システム3が検知結果D1を出力する周期(第1周期T1)よりも短いため、検知システム3が検知結果D1を1回出力する間に、描画部11はマーカM1を1回以上更新する。本実施形態では一例として、第1周期T1が600msで、第2周期T2が100msであると仮定する。
(2.2)全体構成
次に、本実施形態に係る描画システム1、表示システム10及び移動体6の全体構成について説明する。
描画システム1には、図1に示すように、表示装置2及び検知システム3が接続される。表示装置2及び検知システム3は、描画システム1と共に、移動体6の移動体本体61に搭載されている。つまり、本実施形態に係る移動体6は、描画システム1及び移動体本体61に加えて、表示装置2及び検知システム3を更に備えている。
さらに、描画システム1には、移動体本体61のECU(Electronic Control Unit)4が接続されている。本実施形態では、ECU4は、描画システム1の構成要素には含まれないこととするが、ECU4は、描画システム1の構成要素に含まれてもよい。
表示装置2は、描画システム1で描画されたマーカM1を表示する。ここでは、表示装置2には、描画システム1から画像データD4が入力されている。画像データD4は、描画システム1で描画されたマーカM1が含まれている。そのため、表示装置2は、画像データD4の表示を行うことにより、描画システム1で描画されたマーカM1を表示する。
本実施形態では一例として、表示装置2は、ヘッドアップディスプレイ(HUD:Head-Up Display)である。この表示装置2は、移動体本体61のウインドシールド611(図2参照)に下方からマーカM1を投影することで、ウインドシールド611で反射されたマーカM1をユーザ62(移動体6の運転者)に視認させる。
このような表示装置2によれば、ユーザ62は、移動体6の前方(車外)の空間に投影された虚像を、ウインドシールド611越しに視認することになる。本開示でいう「虚像」は、表示装置2から出射される光がウインドシールド611等の反射物にて発散するとき、その発散光線によって、実際に物体があるように結ばれる像を意味する。そのため、移動体6を運転しているユーザ62は、移動体6の前方に広がる実空間に重ねて、表示装置2にて投影される虚像としてのマーカM1を視認する。
特に、本実施形態では、マーカM1は、検知システム3から対象物50までの距離に応じた奥行方向の位置情報を持つ三次元画像である。そのため、表示装置2は、移動体6の前方の路面54上に奥行きをもって視認されるマーカM1を投影可能である。
具体的には、表示装置2は、図2に示すように、ユーザ62(移動体6の運転者)の視界において、検知システム3にて検知された対象物50(ここでは歩行者51)の周辺となる位置に、マーカM1を表示する。これにより、ユーザ62においては、対象物50の周辺に、立体的なマーカM1が重ねて表示されて見えるため、対象物50への注意が喚起される。すなわち、ユーザ62の視界においては、実空間上に表示装置2が表示するマーカM1が合成された、拡張現実(AR:Augmented Reality)表示が実現される。
さらに、表示装置2は、描画システム1と一体化されており、表示システム10を構成する描画システム1及び表示装置2は、1つの筐体内に収容されている。そして、表示システム10(描画システム1及び表示装置2)は、移動体本体61のダッシュボード612内に設置されている。
検知システム3は、上述したように移動体6(移動体本体61)に搭載されている。検知システム3としては、例えば、移動体6の先進運転支援システム(ADAS:Advanced Driver Assistance System)、又は自動運転システム等の検知システム3が利用される。先進運転支援システム又は自動運転技術においては、検知システム3にて、例えば、移動体6の周辺の対象物50の存在を検知することが可能である。
検知システム3は、例えば、カメラ31(図4参照)、ソナーセンサ、レーダ及びLiDAR(Light Detection and Ranging)等のセンシング手段を有している。検知システム3は、これらのセンシング手段にて、移動体6の周辺、特に移動体6の進行方向の前方に位置する対象物50を検知する。検知システム3は、検知結果D1を第1周期T1ごとに描画システム1に出力する。
本実施形態では、検知システム3は、例えば、図4に示すように、カメラ31等のセンシング手段に加えて、処理部32及び通信部33を有している。処理部32は、カメラ31等の出力信号について適宜の信号処理を行い、対象物50を検知する。通信部33は、描画システム1と通信することで、検知結果D1を描画システム1に出力(送信)する。
検知システム3の検知結果D1は、監視領域(移動体6の進行方向の前方の所定領域)における対象物50の有無の情報を含んでいる。さらに、対象物50が存在する場合、検知システム3の検知結果D1は、検知システム3(移動体6)から見た対象物50の相対位置に関する情報、及び対象物50の属性に関する情報を含んでいる。
本開示でいう「相対位置」は、検知システム3(移動体6)の代表点P1(図5参照)を基準とした場合の、代表点P1から見た対象物50の代表点P2(図5参照)の位置を意味する。特に本実施形態では、「相対位置」は、平面視(俯瞰視)において代表点P1を原点とするX−Y座標系での座標位置にて表される。ここで、X軸は移動体6の横方向(左右方向)に延びる軸であって、Y軸は移動体6の縦方向(前後方向)に延びる軸である。このような相対位置によれば、例えば、検知システム3(移動体6)から対象物50までの距離等も特定可能である。
また、本開示でいう「属性」は、例えば、対象物50が移動しているか否か、対象物50が移動している場合には、その移動状況(例えば、移動速度、移動量、移動方向、加速度、移動時間又は移動時の姿勢等)を表す情報を意味する。さらに、本実施形態では、対象物50の属性は、対象物50の種別、つまり、人か否か、移動体(人、自動車若しくは自転車等)か固定物か、又は街路樹、信号機、ガードレール等の区別を含む。また、対象物50の属性には、対象物50の大きさ又は色等も含む。さらに、対象物50が人であれば、その性別、身長、体型又は年齢層等も、対象物50の属性に含み得る。
ECU4は、描画システム1に対して車両情報D5を出力する。車両情報D5は、移動体6のローカルな状態を表す情報であって、移動体本体61に搭載されたセンサにて検出可能な情報である。具体例としては、車両情報D5は、車速パルス(移動体本体61の移動速度)、移動体本体61にかかる加速度、アクセルペダルの踏込量(アクセル開度)、ブレーキペダルの踏込量又は舵角等の情報を含んでいる。つまり、車両情報D5は、移動体6の移動状況を特定可能な情報を含んでいる。
さらに、ドライバモニタで検出されるユーザ62の脈拍、表情及び視線等、並びに、車幅、車高、全長及びアイポイント等の移動体本体61に固有の情報も、車両情報D5に含まれ得る。また、車両情報D5は、移動体6の位置に基づく位置情報、例えば、移動体6の現在位置における道路情報等、GPS等を用いて検出可能な情報も含み得る。位置情報の具体例としては、自車位置における道路の車線数、交差点か否か、丁字路か否か、一方通行か否か、車道幅、歩道の有無、勾配又はカーブの曲率等がある。
上述したような表示装置2、検知システム3及びECU4が接続されることにより、描画システム1は、例えば、図2に示すようなマーカM1の表示を実現する。すなわち、描画システム1は、少なくとも検知システム3の検知結果D1に基づいて、対象物50の位置に応じたマーカM1の描画を行う。本実施形態では、描画システム1は、検知システム3からは検知結果D1を、ECU4からは車両情報D5をそれぞれ取得し、これらの情報に基づいてマーカM1を描画する。描画システム1は、描画したマーカM1を表示装置2に表示させるための画像データD4を生成し、この画像データD4を表示装置2に出力することで、表示装置2にマーカM1の表示を行わせる。
図2は、図3に示す状態の移動体6を運転中であるユーザ62の視界を示している。図2において、参照符号及び引き出し線等は、説明のために表記しているに過ぎず、これらが実際にユーザ62に視認される訳ではない。ここでは、検知システム3にて対象物50として検知される歩行者51は、図2及び図3に示すように、移動体6の前方であって、移動体6が走行中の路面54上に設けられた横断歩道541を横断している。
図2の例では、対象物50である歩行者51の位置に応じたマーカM1が描画されている。具体的には、対象物50である歩行者51の足元に、歩行者51を囲むように円環状のマーカM1が描画されている。すなわち、マーカM1は、平面視(俯瞰視)において、対象物50である歩行者51に対応する位置(ここでは対象物50である歩行者51と同じ位置)に、路面54に重畳するように表示される。これにより、ユーザ62の目には、あたかも円環状のマーカM1内に歩行者51(対象物50)が立っているかのように映ることになる。
本実施形態では、描画システム1は、検知システム3にて対象物50が検知されて初めて、マーカM1の描画を行う。言い換えれば、検知システム3の検知結果D1が「対象物なし」であれば描画システム1はマーカM1の描画を行わず、検知システム3の検知結果D1が「対象物あり」であれば描画システム1はマーカM1の描画を行う。そのため、検知システム3の監視領域(移動体6の進行方向の前方の所定領域)に対象物50が存在しない状態では、描画システム1は、マーカM1の描画を行わず、結果的に、表示装置2でのマーカM1の表示は行われない。
また、描画システム1は、移動体6から見て対象物50が相対的に移動する場合には、マーカM1にて対象物50を追跡するように、マーカM1の描画位置を変化させつつマーカM1の描画を行う。ここで、移動体6に対する対象物50の相対的な移動は、移動体6と対象物50との少なくとも一方が移動することで生じ得る。つまり、移動体6が定位置にある場合でも、対象物50が歩行者51のように移動する物標であれば、移動体6から見て対象物50が相対的に移動する。また、対象物50が定位置にある場合でも、移動体6が移動することで、移動体6から見て対象物50が相対的に移動する。いずれの場合でも、描画システム1は、図2に示すように、マーカM1にて対象物50を追跡するように、マーカM1の描画位置を変化させつつマーカM1の描画を行う。
ところで、描画システム1にて描画されるマーカM1は、図2に示す態様に限らない。例えば、マーカM1は、正面視において対象物50を囲むような枠であってもよいし、単なる図形であってもよいし、対象物50を指し示す矢印若しくは吹出し、又は対象物50を模したアイコン(図像)等であってもよい。さらに、マーカM1の表示位置についても、対象物50に対応する位置であればよく、例えば、対象物50の手前に対象物50と重なるように表示されてもよいし、対象物50の上方又は側方に表示されてもよい。また、マーカM1は、例えば、時間経過に伴って明滅、変色、変形又は移動(回転等を含む)するような、動きを持った(つまり変化する)マーカM1であってもよい。この場合に、例えば、対象物50である歩行者51の歩調に同期してマーカM1が跳ねる等、マーカM1の動きを対象物50の動きに同期させることが好ましい。
(2.3)描画システムの構成
次に、本実施形態に係る描画システム1の構成について、より詳しく説明する。
本実施形態では、描画システム1は、図1に示すように、描画部11、補正部12及び補間部13に加えて、補正調整部121、補間調整部131、入力情報処理部14、予測部15、記憶部16、センサ17及びフィルタ18を更に備えている。
本実施形態では一例として、描画システム1は、1以上のプロセッサ及び1以上のメモリを有するコンピュータシステム(サーバ、クラウドコンピューティングを含む)を主構成とする。プロセッサは、メモリに記録されているプログラムを実行することにより、描画システム1の機能を実現する。プログラムは、予めメモリに記録されていてもよいし、メモリカードのような非一時的記録媒体に記録されて提供されたり、電気通信回線を通して提供されたりしてもよい。言い換えれば、上記プログラムは、1以上のプロセッサを、描画システム1として機能させるためのプログラムである。例えば、少なくとも描画部11、補正部12、補間部13、補正調整部121、補間調整部131、入力情報処理部14及び予測部15については、コンピュータシステムにて実現可能である。
描画部11は、検知システム3の検知結果D1に基づいて、対象物50の位置に応じたマーカM1の描画を行う。本実施形態では、描画部11は、少なくとも第1周期T1ごとに、検知システム3の検知結果D1に基づいて、対象物50の位置に応じたマーカM1の描画を行う。第1周期T1は、上述したように検知システム3が検知結果D1を出力する周期である。さらに、描画部11は、第1周期T1よりも短い第2周期T2ごとにマーカM1を更新する。すなわち、描画部11は、少なくとも第1周期T1ごとに検知システム3の検知結果D1に基づいてマーカM1の描画を行い、かつ第1周期T1よりも短い第2周期T2ごとにマーカM1を更新する。
描画部11は、GPU(Graphics Processing Unit)等で実現され、一例として、OpenGL(Open Graphics Library)に準拠した描画演算処理を実行する。描画部11は、描画したマーカM1を、フレームメモリ(frame memory)に記憶する。ここでいう「フレームメモリ」は、表示装置2に表示される1画面(1フレーム)分の表示内容を記憶するためのメモリ(フレームバッファ(framebuffer))である。フレームメモリは、専用のメモリであってもよいし、コンピュータシステムのメモリのうちの一部の領域で構成されていてもよい。
補正部12は、検知システム3の検知結果D1に基づく対象物50の位置に対し、補正データD2に基づく補正を行うことにより、描画部11でのマーカM1の描画位置を決定する。ここにおいて、補正データD2は、少なくとも移動体6の移動状況に関する移動情報に基づいて求まるデータである。すなわち、補正部12は、少なくとも移動体6の移動状況が反映された補正データD2に基づいて、描画部11でのマーカM1の描画位置を補正している。これにより、描画部11は、検知システム3の検知結果D1に基づく対象物50の位置から直接的にマーカM1の描画位置を決定するのではなく、当該位置に対して補正部12での補正が行われた位置からマーカM1の描画位置を決定する。
ここで、補正部12での補正前のマーカM1の描画位置を「補正前位置」とも呼び、補正後のマーカM1の描画位置を「補正後位置」とも呼ぶ。そうすると、補正前位置は、検知システム3の検知結果D1に基づいて求まる位置であり、補正後位置は、補正前位置について補正データD2に基づく補正が行われることで求まる位置である。そして、描画部11でのマーカM1の描画は、補正前位置ではなく、補正後位置に応じて行われる。
本実施形態では、補正部12は、検知システム3の検知結果D1に基づく対象物50の位置を補正前位置として入力情報処理部14から取得し、補正データD2を予測部15から取得する。補正部12は、これらの情報(補正前位置及び補正データD2)を用いて描画位置の補正を行い、補正後位置を描画部11に出力する。
また、補正部12は、補正データD2に基づいてマーカM1の内容を決定する。すなわち、本実施形態では、補正部12は、補正データD2に基づいて、描画部11でのマーカM1の描画位置だけでなく、描画部11で描画されるマーカM1の内容についても補正する。本開示でいう「マーカM1の内容」は、マーカM1としての図形、記号、文字、数字、図柄若しくは写真等、又はこれらの組み合わせの内容(コンテンツ)を意味する。例えば、マーカM1が文字を含む場合には、補正部12がマーカM1の内容を補正することで、マーカM1に含まれる文字が変化する。さらに、マーカM1の内容には、マーカM1の態様(円環、枠、図形、矢印、吹出し又はアイコン等)も含み得る。
補正部12の動作について詳しくは、「(2.4.1)補正動作」の欄で説明する。
補間部13は、描画部11が第2周期T2ごとにマーカM1を更新するに際して、更新後のマーカM1としての補間マーカM11を補間データD3に基づいて補間する。すなわち、補間部13は、少なくとも補間データD3に基づいて、描画部11での更新後のマーカM1(補間マーカM11)を補間している。本実施形態では、補間データD3は、少なくとも移動体6の移動状況に関する移動情報に基づいて求まるデータである。これにより、検知システム3が検知結果D1を出力してから次に検知結果D1を出力するまでの第1周期T1の間においても、描画部11は、第2周期T2ごとに新たなマーカM1(補間マーカM11)を描画することが可能となる。
ここで、補間部13での補間前のマーカM1の描画位置を「基準位置」とも呼び、補間後のマーカM1(補間マーカM11)の描画位置を「補間位置」とも呼ぶ。そうすると、基準位置は、検知システム3の検知結果D1に基づいて求まる位置であり、補間位置は、基準位置について補間データD3に基づく補間が行われることで求まる位置である。そして、描画部11での補間マーカM11の描画は、基準位置ではなく、補間位置に応じて行われる。ただし、本実施形態では、描画部11の前段に補正部12が設けられているため、基準位置は、補正前位置ではなく補正部12での補正後の補正後位置である。
本実施形態では、補間部13は、補正後位置を基準位置として補正部12から取得し、補間データD3を予測部15から取得する。補間部13は、これらの情報(基準位置及び補間データD3)を用いて補間位置を求め、補間位置を描画部11に出力する。これにより、描画部11では、補間位置へのマーカM1(補間マーカM11)の描画が可能となり、補間部13にて補間マーカM11が補間されることになる。要するに、本実施形態では、補間部13での補間マーカM11の補間により、マーカM1(補間マーカM11)の描画位置が基準位置から補間位置に変化する。つまり、本実施形態では、補間部13は、補間データD3に基づいて補間マーカM11の描画位置を決定する。
また、補間部13は、補間データD3に基づいて補間マーカM11の内容を決定する。すなわち、本実施形態では、補間部13は、補間データD3に基づいて、描画部11での補間マーカM11の描画位置だけでなく、描画部11で描画される補間マーカM11の内容についても補間する。本開示でいう「補間マーカM11の内容」は、補間マーカM11としての図形、記号、文字、数字、図柄若しくは写真等、又はこれらの組み合わせの内容(コンテンツ)を意味する。例えば、補間マーカM11が文字を含む場合には、補間部13が補間マーカM11の内容を補正することで、補間マーカM11に含まれる文字が変化する。さらに、補間マーカM11の内容には、補間マーカM11の態様(円環、枠、図形、矢印、吹出し又はアイコン等)も含み得る。
補間部13の動作について詳しくは、「(2.4.2)補間動作」の欄で説明する。
補正調整部121は、補正部12による補正の強度を調整する。本開示でいう「補正の強度」は、補正部12による補正が作用する度合い、つまり補正の効き具合を意味し、強度が大きくなるほどに、補正部12による補正の効果が高くなる。一例として、補正の強度が大きくなれば、補正前位置から補正後位置への変位量の上限値が大きくなる。また、例えば、補正の強度が「0」と「1」との間で調整可能であれば、補正の強度が「0」のときには補正部12による補正機能が無効になり、補正の強度が「1」のときには補正部12による補正機能が有効になる。補正調整部121は、複数段階の強度の中から1つの強度を選択してもよいし、強度を連続的に変化させてもよい。
補間調整部131は、補間部13による補間の強度を調整する。本開示でいう「補間の強度」は、補間部13による補間が作用する度合い、つまり補間の効き具合を意味し、強度が大きくなるほどに、補間部13による補間の効果が高くなる。一例として、補間の強度が大きくなれば、基準位置から補間位置への変位量の上限値が大きくなる。また、例えば、補間の強度が「0」と「1」との間で調整可能であれば、補間の強度が「0」のときには補間部13による補間機能が無効になり、補間の強度が「1」のときには補間部13による補間機能が有効になる。補間調整部131は、複数段階の強度の中から1つの強度を選択してもよいし、強度を連続的に変化させてもよい。
入力情報処理部14は、検知結果D1及び車両情報D5の入力インタフェースである。入力情報処理部14は、検知結果D1については、検知システム3から第1周期T1ごとに取得する。入力情報処理部14は、車両情報D5については、ECU4から随時取得する。ここでは、入力情報処理部14が車両情報D5を取得する周期は、第1周期T1に比べて十分に短いこととする。入力情報処理部14と検知システム3(通信部33)又はECU4の間の通信は、例えば、イーサネット(登録商標)又はCAN(Controller Area Network)等に準拠した通信方式により実現される。入力情報処理部14は、検知結果D1及び車両情報D5を、補正部12、予測部15及び記憶部16の各々に出力する。
予測部15は、補正データD2及び補間データD3を生成する。上述したように、補正データD2は、少なくとも移動体6の移動状況に関する移動情報に基づいて求まるデータである。補間データD3も同様に、少なくとも移動体6の移動状況に関する移動情報に基づいて求まるデータである。ここで、移動情報は、少なくとも移動体6の過去の挙動から予測される。本開示でいう「挙動」は、姿勢(向き)、移動速度、移動量(移動距離及び移動角度を含む)、移動方向、加速度、移動時間、移動時の姿勢又は軌跡等を含む。つまり、予測部15では、移動体6の過去の挙動から、現在の移動体6の移動状況に関する移動情報を予測し、この移動情報に基づいて、補正データD2及び補間データD3を求める。
また、本実施形態では、補正データD2は、移動情報に加えて、対象物50の移動状況に関する対象物情報にも基づいて求まる。同様に、補間データD3は、少なくとも対象物50の移動状況に関する対象物情報に基づいて求まる。すなわち、本実施形態では、補正データD2及び補間データD3はいずれも、移動体6の移動状況に関する移動情報と、対象物50の移動状況に関する対象物情報との両方に基づいて求まるデータである。ここで、対象物情報は、少なくとも対象物50の過去の挙動から予測される。つまり、予測部15では、対象物50の過去の挙動から、現在の対象物50の移動状況に関する対象物情報を予測し、この対象物情報に基づいて、補正データD2及び補間データD3を求める。
予測部15の動作について詳しくは、「(2.4.1)補正動作」又は「(2.4.2)補間動作」の欄で説明する。
記憶部16は、EEPROM(Electrically Erasable Programmable Read-Only Memory)のような書き換え可能な不揮発性メモリを含む。記憶部16は、少なくとも移動体6の過去の挙動及び対象物50の過去の挙動を記憶する。したがって、予測部15は、移動体6の過去の挙動及び対象物50の過去の挙動を、記憶部16から読み出して、移動情報及び対象物情報の予測に利用する。
センサ17は、移動体本体61に搭載され、移動体6の移動状況を検出するためのセンサである。本実施形態では一例として、センサ17は、「角速度」を検出対象とするジャイロセンサ(角速度センサ)である。ここでは、センサ17は、互いに直交するX軸(移動体6の左右方向),Y軸(移動体6の前後方向),Z軸(鉛直方向)の3軸の各々を検知軸とし、各検知軸周りの角速度を検出対象とする。つまり、センサ17によれば、移動体6のピッチング(pitching)方向、ローリング(rolling)方向及びヨーイング(yawing))方向の角速度を検出可能である。
フィルタ18は、センサ17の後段に設けられ、センサ17の出力信号に適宜のフィルタリング処理を施す。フィルタ18でフィルタリングされたセンサ17の出力信号は、予測部15に入力される。
(2.4)動作
次に、本実施形態に係る描画システム1の動作、つまり本実施形態に係る描画方法について説明する。
以下では、検知システム3にて歩行者51が対象物50として検知される「第1のシーン」、及び検知システム3にて信号機55が対象物50として検知される「第2のシーン」を例に、描画システム1の動作を説明する。基本的には、第1のシーンにおける描画システム1の動作について説明し、第2のシーンにおける描画システム1の動作については「(2.4.3)第2のシーン」の欄で説明する。
第1のシーンでは、図2及び図3に示すように、移動中(走行中)の移動体6の前方に、路面54上に設けられた横断歩道541を横断中の歩行者51が存在することと仮定する。第1のシーンにおいて、移動体6の前方には、歩行者51以外にも、停車中の他車両52,53及び信号機55等の物標が存在する。ただし、第1のシーンでは、検知システム3にて歩行者51のみが対象物50として検知されることを想定している。
一方、第2のシーンでは、図8及び図9に示すように、移動中(走行中)の移動体6の前方に歩行者が存在しないことと仮定する。第2のシーンにおいて、移動体6の前方には、停車中の他車両52,53及び信号機55等の物標が存在する。第2のシーンでは、検知システム3にて信号機55のみが対象物50として検知されることを想定している。
(2.4.1)補正動作
まず、補正部12を中心とした補正動作について、図4〜図6Bを参照して説明する。図6A及び図6Bは、いずれも表示システム10により表示されたマーカM1を含むユーザ62の視界の一部を示している。図6Aでは、補正前位置(補正部12での補正前のマーカM1の描画位置)にマーカM1を描画した場合を想定し、図6Bでは、補正後位置(補正部12での補正後のマーカM1の描画位置)にマーカM1を描画した場合を想定する。図6A及び図6Bにおいて、参照符号及び引き出し線等は、説明のために表記しているに過ぎず、これらが実際にユーザ62に視認される訳ではない。
図4は、検知システム3での対象物50の検知時点から、描画システム1における描画部11でのマーカM1の描画時点にかけて、遅延が生じる様子を、概念的に表す模式図である。すなわち、図4に示すように、対象物50(歩行者51)が出現するというイベントが発生してから、このイベントについての検知システム3の検知結果D1に基づいて描画部11がマーカM1を描画するまでには、様々な要因により遅延が生じ得る。例えば、検知システム3内においては、カメラ31での撮像(露光)からカメラ31が撮像画像を出力するまでに、数十ms程度の遅延(取得遅延)が生じ得る。さらに、検知システム3の検知結果D1が検知システム3から描画システム1に伝送されるに際しても、数十〜数百ms程度の遅延(伝送遅延)が生じ得る。他にも、例えば、カメラ31のフレームレートに起因したフレーム間遅延等が生じ得る。
これらの遅延により、検知システム3での対象物50の検知時点から、描画システム1における描画部11でのマーカM1の描画時点までには、遅延期間Td1という遅延が生じる。本実施形態では、遅延期間Td1の始点は検知システム3での対象物50の検知時点であって、遅延期間Td1の終点は描画部11でのマーカM1の描画時点であることとする。本実施形態では一例として、遅延期間Td1の長さは500msであると仮定する。
図4では、「V1」が遅延期間Td1の始点におけるユーザ62の視界を示し、「V2」が遅延期間Td1の終点におけるユーザ62の視界を示している。すなわち、遅延期間Td1の間にも、移動体6及び対象物50はいずれも移動し得るため、ユーザ62(移動体6の運転者)の視界における対象物50(歩行者51)の位置は変化し得る。
要するに、図5に示すように、検知システム3(移動体6)の代表点P1と、対象物50の代表点P2との位置関係は、遅延期間Td1の間に変化し得る。図5では、描画部11でのマーカM1の描画時点(つまり遅延期間Td1の終点)を現時点とし、現時点での代表点P1,P2に加えて、検知システム3での対象物50の検知時点(つまり遅延期間Td1の始点)での代表点P1,P2を示している。図5では、現時点の代表点P1,P2をそれぞれ「P1(t)」、「P2(t)」と表記し、検知システム3での対象物50の検知時点(遅延期間Td1の始点)の代表点P1,P2をそれぞれ「P1(t−Td1)」、「P2(t−Td1)」と表記する。
すなわち、図5の例において、現時点(t)における検知システム3(移動体6)から見た対象物50の相対位置は、下記「式1」の座標位置で表される。一方、図5の例において、検知システム3での対象物50の検知時点(遅延期間Td1の始点)における検知システム3(移動体6)から見た対象物50の相対位置は、下記「式2」の座標位置で表される。
(X,Y)=(X(t),Y(t))・・・(式1)
(X,Y)=(X(t−Td1),Y(t−Td1))・・・(式2)
このように、検知システム3(移動体6)から見た対象物50の相対位置が、遅延期間Td1の間に変化することで、マーカM1の補正前位置は、図6Aに示すように、対象物50(歩行者51)からずれることになる。すなわち、描画部11でのマーカM1の描画時点(つまり遅延期間Td1の終点)においては、上記式1で表される相対位置に対象物50が存在するところ、検知システム3の検知結果D1は、上記式2で表される相対位置を示している。そのため、補正部12での補正前のマーカM1の描画位置(補正前位置)であれば、図6Aに示すように、実際の対象物50(歩行者51)に対応する位置からずれて、マーカM1が表示されることになる。
本実施形態に係る描画システム1では、補正部12での補正により、このようなマーカM1の位置ずれを補正し、図6Bに示すように、対象物50(歩行者51)に対応する位置に、マーカM1を表示可能とする。すなわち、補正部12は、少なくとも移動情報(移動体6の移動状況に関する情報)が反映された補正データD2に基づいて、描画部11でのマーカM1の描画位置を補正している。しかも、本実施形態では、補正データD2は、移動情報に加えて、対象物50の移動状況に関する対象物情報にも基づいて求まるデータである。つまり、補正部12の補正には、移動体6の移動状況及び対象物50の移動状況が反映される。その結果、図6Bに示すように、対象物50である歩行者51の位置に応じたマーカM1が描画されることになる。具体的には、対象物50である歩行者51の足元に、歩行者51を囲むように円環状のマーカM1が描画されることになる。
本実施形態では特に、補正データD2に反映される移動情報は、少なくとも検知システム3での対象物50の検知時点から描画部11での描画時点までの期間を含む遅延期間Td1における、移動体6の移動状況に関する情報である。これにより、遅延期間Td1における移動体6及び対象物50の移動状況が補正部12での補正に反映され、遅延期間Td1に起因したマーカM1の表示位置のずれを低減しやすくなる。
より詳細には、補正部12は、予測部15にて生成される補正データD2に基づいて、描画部11でのマーカM1の描画位置を補正している。ここで、予測部15は、少なくとも移動体6の過去の挙動から、遅延期間Td1における移動体6の移動状況(移動情報)を予測する。具体的には、予測部15は、遅延期間Td1の間に取得したセンサ17の出力信号を用いることで、遅延期間Td1における移動体6の移動状況を予測することができる。すなわち、センサ17の出力信号は、リアルタイムに、移動体6の移動状況を反映しているので、予測部15では、センサ17の出力信号から、遅延期間Td1における移動体6の移動状況を予測することが可能である。
さらに、予測部15は、少なくとも対象物50の過去の挙動から、遅延期間Td1における対象物50の移動状況(対象物情報)を予測する。具体的には、予測部15は、少なくとも遅延期間Td1の直前に取得した検知システム3の検知結果D1を用いることで、遅延期間Td1における対象物50の移動状況を予測することができる。すなわち、検知システム3の検知結果D1には、対象物50の属性として、対象物50が移動している場合には、その移動状況(例えば、移動速度、移動量、移動方向、加速度、移動時間又は移動時の姿勢等)を表す情報が含まれている。そのため、予測部15は、少なくとも遅延期間Td1の直前の対象物50の移動状況から、遅延期間Td1における対象物50の移動状況を予測することが可能である。ここで、予測部15は、検知システム3の検知結果D1に含まれている対象物50の属性としての、対象物50の種別等についても、遅延期間Td1における対象物50の移動状況の予測に用いてもよい。
そして、予測部15は、これらの移動情報及び対象物情報に基づいて、遅延期間Td1における、検知システム3(移動体6)から見た対象物50の相対位置の変化量ΔX1,ΔY1を、例えば、下記「式3」にて算出する。
Figure 2021128471
ただし、「式3」中の「α(t)」は、現時点(t)における移動体6と対象物50とのX軸の方向の相対加速度、「α(t)」は、現時点(t)における移動体6と対象物50とのY軸の方向の相対加速度である。「式3」中の「V(t)」は、現時点(t)における移動体6と対象物50とのX軸の方向の相対速度、「V(t)」は、現時点(t)における移動体6と対象物50とのY軸の方向の相対速度である。
予測部15は、算出した変化量ΔX1,ΔY1を、補正データD2に含めて補正部12に出力する。これにより、補正部12では、上記変化量ΔX1,ΔY1に基づいて、描画部11でのマーカM1の描画位置を補正することができる。
(2.4.2)補間動作
次に、補間部13を中心とした補間動作について、図5及び図7を参照して説明する。図7は、検知システム3及び描画システム1の動作を概念的に示す説明図である。図7では、縦軸を時間軸として、描画システム1が検知システム3から検知結果D1を取得するタイミング、さらに描画システム1がマーカM1を描画又は更新するタイミングを示している。図7では、描画システム1がマーカM1を描画又は更新したときのユーザ62の視界V1〜V7を模式的に示している。これらの視界V1〜V7は、いずれも表示システム10により表示されたマーカM1を含むユーザ62の視界の一部を示している。図7において、参照符号及び引き出し線等は、説明のために表記しているに過ぎず、これらが実際にユーザ62に視認される訳ではない。
図7に示すように、描画システム1は、検知システム3の検知結果D1を第1周期T1ごとに取得する。そして、描画部11は、少なくとも第1周期T1ごとに、検知システム3の検知結果D1に基づいて、対象物50の位置に応じたマーカM1の描画を行う。ここで、図7の例においては、「(2.4.1)補正動作」の欄で説明したマーカM1の描画位置の補正は行われていることと仮定する。そのため、描画部11が、第1周期T1ごとに検知システム3の検知結果D1に基づいてマーカM1の描画を行うタイミングでは、対象物50(歩行者51)に対応する位置に、マーカM1を表示可能である。つまり、図7に「V1」及び「V7」で示すユーザ62の視界においては、対象物50(歩行者51)に対応する位置にマーカM1が描画されることになる。
さらに、描画部11は、第1周期T1よりも短い第2周期T2ごとにマーカM1を更新する。つまり、描画部11は、描画システム1が検知システム3の検知結果D1を取得してから次に検知結果D1を取得するまでの第1周期T1の間において、第2周期T2が経過するごとにマーカM1の更新を行うことになる。そして、第2周期T2の間にも、移動体6及び対象物50はいずれも移動し得るため、ユーザ62の視界における対象物50(歩行者51)の位置は変化し得る。
要するに、図5に示すように、検知システム3(移動体6)の代表点P1と、対象物50の代表点P2との位置関係は、第2周期T2の間に変化し得る。図5では、検知システム3の検知結果D1に基づくマーカM1の描画時点を現時点とし、現時点での代表点P1,P2に加えて、現時点から第2周期T2が経過した時点(つまりマーカM1の更新時点)での代表点P1,P2を示している。図5では、現時点の代表点P1,P2をそれぞれ「P1(t)」、「P2(t)」と表記し、現時点から第2周期T2が経過した時点(更新時点)の代表点P1,P2をそれぞれ「P1(t+T2)」、「P2(t+T2)」と表記する。
すなわち、図5の例において、現時点(t)における検知システム3(移動体6)から見た対象物50の相対位置は、上記「式1」の座標位置で表される。一方、図5の例において、現時点から第2周期T2が経過した時点(更新時点)における検知システム3(移動体6)から見た対象物50の相対位置は、下記「式4」の座標位置で表される。
(X,Y)=(X(t+T2),Y(t+T2))・・・(式4)
このように、検知システム3(移動体6)から見た対象物50の相対位置が、第2周期T2の間に変化することで、描画部11でのマーカM1の更新時点においては、対象物50(歩行者51)は、マーカM1の基準位置からずれることになる。すなわち、描画部11でのマーカM1の更新時点においては、上記式4で表される相対位置に対象物50が存在するところ、検知システム3の検知結果D1は、上記式1で表される相対位置を示している。そのため、検知システム3の検知結果D1に基づくマーカM1の描画位置(基準位置)であれば、実際の対象物50(歩行者51)に対応する位置からずれて、マーカM1が表示されることになる。
本実施形態に係る描画システム1では、補間部13での補間により、描画部11が第2周期T2ごとにマーカM1を更新するに際しても、対象物50(歩行者51)に対応する位置に、補間マーカM11を表示可能とする。すなわち、補間部13は、少なくとも移動情報(移動体6の移動状況に関する情報)が反映された補間データD3に基づいて、補間マーカM11の描画位置を決定している。しかも、本実施形態では、補間データD3は、移動情報に加えて、対象物50の移動状況に関する対象物情報にも基づいて求まるデータである。つまり、補間部13で補間される補間マーカM11には、移動体6の移動状況及び対象物50の移動状況が反映される。その結果、図7に示すように、「V2」〜「V6」で示すユーザ62の視界においても、対象物50である歩行者51の位置に応じた補間マーカM11が描画されることになる。具体的には、対象物50である歩行者51の足元に、歩行者51を囲むように円環状の補間マーカM11が描画されることになる。
より詳細には、補間部13は、予測部15にて生成される補間データD3に基づいて、描画部11での更新後のマーカM1としての補間マーカM11を補間している。ここで、予測部15は、少なくとも移動体6の過去の挙動から、第2周期T2における移動体6の移動状況(移動情報)を予測する。具体的には、予測部15は、第2周期T2の間に取得したセンサ17の出力信号を用いることで、第2周期T2における移動体6の移動状況を予測することができる。すなわち、センサ17の出力信号は、リアルタイムに、移動体6の移動状況を反映しているので、予測部15では、センサ17の出力信号から、第2周期T2における移動体6の移動状況を予測することが可能である。
さらに、予測部15は、少なくとも対象物50の過去の挙動から、第2周期T2における対象物50の移動状況(対象物情報)を予測する。具体的には、予測部15は、少なくとも第2周期T2の直前に取得した検知システム3の検知結果D1を用いることで、第2周期T2における対象物50の移動状況を予測することができる。すなわち、検知システム3の検知結果D1には、対象物50の属性として、対象物50が移動している場合には、その移動状況(例えば、移動速度、移動量、移動方向、加速度、移動時間又は移動時の姿勢等)を表す情報が含まれている。そのため、予測部15は、少なくとも第2周期T2の直前の対象物50の移動状況から、第2周期T2における対象物50の移動状況を予測することが可能である。ここで、予測部15は、検知システム3の検知結果D1に含まれている対象物50の属性としての、対象物50の種別等についても、第2周期T2における対象物50の移動状況の予測に用いてもよい。
そして、予測部15は、これらの移動情報及び対象物情報に基づいて、第2周期T2の経過時点(更新時点)での、検知システム3(移動体6)から見た対象物50の相対位置の変化量ΔX2,ΔY2を、例えば、下記「式5」にて算出する。
Figure 2021128471
ただし、「式5」中の「α(t)」は、現時点(t)における移動体6と対象物50とのX軸の方向の相対加速度、「α(t)」は、現時点(t)における移動体6と対象物50とのY軸の方向の相対加速度である。「式5」中の「V(t)」は、現時点(t)における移動体6と対象物50とのX軸の方向の相対速度、「V(t)」は、現時点(t)における移動体6と対象物50とのY軸の方向の相対速度である。
予測部15は、算出した変化量ΔX2,ΔY2を、補間データD3に含めて補間部13に出力する。これにより、補間部13では、上記変化量ΔX2,ΔY2に基づいて、補間マーカM11の描画位置を決定することができる。
描画システム1は、上述したような補間部13による補間を、描画部11がマーカM1を更新する度に行う。つまり、補間部13による補間は、第2周期T2ごとに行われる。したがって、図7に示すように、「V2」〜「V6」のいずれにおいても、ユーザ62の視界においては、対象物50である歩行者51の位置に応じた補間マーカM11が描画されることになる。
(2.4.3)第2のシーン
次に、検知システム3にて信号機55が対象物50として検知される第2のシーンにおける描画システム1の動作について、図8及び図9を参照して説明する。
図8は、移動体6を運転中であるユーザ62の視界を示している。図8において、参照符号及び引き出し線等は、説明のために表記しているに過ぎず、これらが実際にユーザ62に視認される訳ではない。ここでは、検知システム3にて対象物50として検知される信号機55は、図8に示すように、移動体6の前方に設置されている。
図8の例では、対象物50である信号機55の位置に応じたマーカM1が描画されている。具体的には、対象物50である信号機55の下方に、対象物50を指し示す吹出しからなるマーカM1が描画されている。すなわち、マーカM1は、平面視(俯瞰視)において、対象物50である信号機55に対応する位置(ここでは対象物50である信号機55と同じ位置)に表示される。さらに、図8の例では、対象物50である信号機55が「赤」であるため、マーカM1は、吹出し内に「STOP」という、停車を促す文字列を表示している。これにより、ユーザ62の目には、あたかも信号機55(対象物50)から吹出し(マーカM1)が出ているかのように映ることになる。
このように、対象物50が定位置にある場合でも、移動体6が移動することで、移動体6から見て対象物50が相対的に移動する。すなわち、移動体6が移動していれば、図9に示すように、検知システム3(移動体6)の代表点P1と、対象物50の代表点P2との位置関係は、遅延期間Td1及び第2周期T2の間に変化し得る。図9では、現時点での代表点P1,P2に加えて、検知システム3での対象物50の検知時点での代表点P1,P2、さらには現時点から第2周期T2が経過した時点での代表点P1,P2を示している。図9では、現時点の代表点P1,P2をそれぞれ「P1(t)」、「P2(t)」と表記し、検知システム3での対象物50の検知時点の代表点P1を「P1(t−Td1)」と表記している。さらに、現時点から第2周期T2が経過した時点の代表点P1を「P1(t+T2)」と表記する。
要するに、対象物50が定位置にある場合でも、検知システム3(移動体6)から見た対象物50の相対位置は変化し得る。そのため、「(2.4.1)補正動作」及び「(2.4.2)補間動作」で説明したような描画システム1の動作は、第2のシーンにおいても有用である。
(2.4.4)フローチャート
図10は、描画システム1の全体動作、つまり描画方法の全体的な流れの一例を示すフローチャートである。
描画システム1は、まずは入力情報処理部14にて、検知システム3の検知結果D1を検知システム3から取得する(S1)。ここで、描画システム1は、検知システム3の検知結果D1に含まれている、対象物50の有無の情報を確認する(S2)。
対象物50があれば(S2:Yes)、描画システム1は、予測部15にて、少なくとも移動体6の移動状況に関する移動情報に基づいて補正データD2を生成する(S3)。そして、描画システム1は、生成した補正データD2に基づいて、補正部12にてマーカM1の描画位置を補正する補正処理を実行する(S4)。さらに、描画システム1は、描画部11にて、補正後の描画位置(補正後位置)にマーカM1を描画する描画処理を実行する(S5)。
その後、描画システム1は、第2周期T2が経過したか否かを判断し(S6)、第2周期T2が経過していなければ(S6:No)、待機する。第2周期T2が経過すると(S6:Yes)、描画システム1は、予測部15にて、少なくとも移動体6の移動状況に関する移動情報に基づいて補間データD3を生成する(S7)。そして、描画システム1は、生成した補間データD3に基づいて、補間部13にて補間マーカM11を補間する補間処理を実行する(S8)。補間処理により補間された補間マーカM11は、描画部11での更新に際して描画される。
その後、描画システム1は、第1周期T1が経過したか否かを判断し(S9)、第1周期T1が経過していなければ(S9:No)、処理S6に戻る。第1周期T1が経過すると(S9:Yes)、描画システム1は、処理S1に戻る。
また、処理S2にて対象物50が無ければ(S2:No)、描画システム1は、第1周期T1が経過したか否かを判断し(S10)、第1周期T1が経過していなければ(S10:No)、待機する。第1周期T1が経過すると(S10:Yes)、描画システム1は、処理S1に戻る。
描画システム1は、上述したような処理S1〜S10を繰り返し実行する。図10のフローチャートは、描画システム1の動作の一例に過ぎず、処理を適宜省略又は追加してもよいし、処理の順番が適宜変更されていてもよい。
(3)変形例
実施形態1は、本開示の様々な実施形態の一つに過ぎない。実施形態1は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。本開示において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。また、実施形態1に係る描画システム1と同様の機能は、描画方法、プログラム又はプログラムを記録した非一時的記録媒体等で具現化されてもよい。
一態様に係る描画方法は、描画処理(図10の「S5」に相当)と、補正処理(図10の「S4」に相当)と、を有する。描画処理は、検知システム3の検知結果D1に基づいて、対象物50の位置に応じたマーカM1の描画を行う処理である。検知システム3は、移動体6に搭載されて対象物50を検知する。補正処理は、検知システム3の検知結果D1に基づく対象物50の位置に対し、補正データD2に基づく補正を行うことにより、描画処理でのマーカM1の描画位置を決定する処理である。補正データD2は、少なくとも移動体6の移動状況に関する移動情報に基づいて求まる。一態様に係るプログラムは、上記の描画方法を、1以上のプロセッサに実行させるためのプログラムである。
他の一態様に係る描画方法は、描画処理(図10の「S5」に相当)と、補間処理(図10の「S8」に相当)と、を有する。描画処理は、検知システム3の検知結果D1に基づいて、少なくとも第1周期T1ごとに、対象物50の位置に応じたマーカM1の描画を行う処理である。検知システム3は、対象物50を検知して検知結果D1を第1周期T1ごとに出力する。補間処理は、第1周期T1よりも短い第2周期T2ごとにマーカM1を更新するに際して、更新後のマーカM1としての補間マーカM11を補間データD3に基づいて補間する処理である。他の一態様に係るプログラムは、上記の描画方法を、1以上のプロセッサに実行させるためのプログラムである。
以下、実施形態1の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
本開示における描画システム1は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における描画システム1としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1ないし複数の電子回路で構成される。ここでいうIC又はLSI等の集積回路は、集積の度合いによって呼び方が異なっており、システムLSI、VLSI(Very Large Scale Integration)、又はULSI(Ultra Large Scale Integration)と呼ばれる集積回路を含む。さらに、LSIの製造後にプログラムされる、FPGA(Field-Programmable Gate Array)、又はLSI内部の接合関係の再構成若しくはLSI内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む1ないし複数の電子回路で構成される。
また、描画システム1の少なくとも一部の機能が、1つの筐体内に集約されていることは描画システム1に必須の構成ではなく、描画システム1の構成要素は、複数の筐体に分散して設けられていてもよい。例えば、描画システム1のうちの補正部12又は補間部13が、描画部11とは別の筐体に設けられていてもよい。さらに、描画システム1の少なくとも一部の機能がクラウド(クラウドコンピューティング)等によって実現されてもよい。
反対に、実施形態1において、複数の装置に分散されている複数の機能の少なくとも一部が、1つの筐体内に集約されていてもよい。例えば、描画システム1と検知システム3とに分散されている機能が、1つの筐体内に集約されていてもよい。
また、表示装置2は、描画システム1と一体化されていなくてもよく、表示システム10を構成する描画システム1と表示装置2とは、別々の筐体内に収容されていてもよい。
また、表示システム10が搭載される移動体6は、自動車(乗用車)に限らず、例えば、トラック若しくはバス等の大型車両、二輪車、電車、電動カート、建設機械、航空機又は船舶等であってもよい。
また、描画システム1は、対象物50の位置に応じたマーカM1を描画すればよく、例えば、車速情報、ナビゲーション情報、前方車両情報、車線逸脱情報又は車両コンディション情報等の、種々の運転支援情報を、マーカM1として描画してもよい。
また、表示装置2は、ヘッドアップディスプレイのように虚像を表示する構成に限らない。例えば、表示装置2は、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ又はプロジェクタ装置であってもよい。また、表示装置2は、移動体本体61に搭載されているカーナビゲーションシステム、電子ミラーシステム又はマルチインフォメーションディスプレイの表示器であってもよい。
また、実施形態1で示した第1周期T1及び第2周期T2の値は一例に過ぎず、第1周期T1は600ms以外でもよく、第2周期T2は100msでもよい。例えば、第1周期T1が100msで、第2周期T2が16.7msでもよいし、第1周期T1が100msで、第2周期T2が20msでもよいし、第1周期T1が80msで、第2周期T2が50msでもよい。
また、実施形態1で示した遅延期間Td1の長さは一例に過ぎず、遅延期間Td1の長さは500ms以外でもよい。遅延期間Td1の長さは、例えば、10ms以上、1s以下の範囲において、システム構成等に応じて適宜決定される。一例として、遅延期間Td1の長さは50msであってもよいし、150msであってもよいし、300msであってもよい。
また、センサ17が3軸の角速度を検出対象とすることは必須ではなく、センサ17は、1軸、2軸、又は4軸以上の角速度を検出対象としてもよい。さらに、センサ17は、角速度を検出対象とするジャイロセンサに限らず、例えば、角速度に加えて又は代えて、加速度、角加速度又は速度等を検出対象とするセンサであってもよい。
また、予測部15は、描画システム1に含まれていなくてもよく、例えば、予測部15の機能が検知システム3又はECU4に設けられていてもよい。この場合、描画システム1は、検知システム3又はECU4の予測部15で求められた補正データD2及び補間データD3を、検知システム3又はECU4から取得することになる。
また、予測部15は、例えば、機械学習された分類器を用いて、移動体6の移動状況に関する移動情報、及び対象物50の移動状況に関する対象物情報を予測してもよい。分類器は、描画システム1の使用中において、再学習を実行可能であってもよい。分類器は、例えば、SVM(Support Vector Machine)等の線形分類器の他、ニューラルネットワークを用いた分類器、又は多層ニューラルネットワークを用いた深層学習(ディープラーニング)により生成される分類器を含み得る。分類器が学習済みのニューラルネットワークを用いた分類器である場合、学習済みのニューラルネットワークは、例えばCNN(Convolutional Neural Network:畳み込みニューラルネットワーク)、又はBNN(Bayesian Neural Network:ベイズニューラルネットワーク)等を含み得る。この場合、予測部15は、ASIC(Application Specific Integrated Circuit)又はFPGA(Field-Programmable Gate Array)等の集積回路に、学習済みのニューラルネットワークを実装することで実現される。
(実施形態2)
本実施形態に係る描画システム1Aは、図11に示すように、補間部13(図1参照)及び補間調整部131(図1参照)が省略されている点で、実施形態1に係る描画システム1と相違する。以下、実施形態1と同様の構成については、共通の符号を付して適宜説明を省略する。
本実施形態では、補間部13が省略されているので、予測部15での補間データD3(図1参照)の生成も行われない。補正部12の動作は、実施形態1と同様であって、補正部12は、補正データD2に基づいて、描画部11でのマーカM1の描画位置を補正する。
本実施形態では、描画部11がマーカM1を更新する第2周期T2は、描画システム1Aが検知システム3の検知結果D1を取得する第1周期T1と同じであるか、又は第1周期T1よりも長いこととする。そのため、本実施形態に係る描画システム1Aでは、第2周期T2ごとに、検知システム3の検知結果D1に基づいてマーカM1の描画を行うことが可能であって、補間部13による補間が不要である。
実施形態2で説明した種々の構成は、実施形態1で説明した種々の構成(変形例を含む)と適宜組み合わせて採用可能である。
(まとめ)
以上説明したように、第1の態様に係る描画システム(1,1A)は、描画部(11)と、補正部(12)と、を備える。描画部(11)は、検知システム(3)の検知結果(D1)に基づいて、対象物(50)の位置に応じたマーカ(M1)の描画を行う。検知システム(3)は、移動体(6)に搭載されて対象物(50)を検知する。補正部(12)は、検知システム(3)の検知結果(D1)に基づく対象物(50)の位置に対し、補正データ(D2)に基づく補正を行うことにより、描画部(11)でのマーカ(M1)の描画位置を決定する。補正データ(D2)は、少なくとも移動体(6)の移動状況に関する移動情報に基づいて求まる。
この態様によれば、検知システム(3)の検知結果(D1)に基づく対象物(50)の位置にマーカ(M1)を描画するのではなく、補正データ(D2)に基づく補正が行われた後の描画位置にマーカ(M1)を描画する。そのため、例えば、検知システム(3)内での処理に起因した遅延等が生じても、最終的に表示されるマーカ(M1)の表示位置に関しては、これらの遅延の影響を低減できる。特に、検知システム(3)が搭載されている移動体(6)の移動状況に基づいて補正を行うので、上述したような遅延の期間(遅延期間Td1)内での検知システム(3)自体の移動に伴う表示位置のずれを低減し得る。
第2の態様に係る描画システム(1,1A)では、第1の態様において、移動情報は、少なくとも移動体(6)の過去の挙動から予測される。
この態様によれば、マーカ(M1)の描画位置の補正に用いられる移動体(6)の移動状況を、比較的精度よく、予測することが可能である。
第3の態様に係る描画システム(1,1A)では、第1又は2の態様において、補正データ(D2)は、移動情報に加えて、対象物(50)の移動状況に関する対象物情報にも基づいて求まる。
この態様によれば、対象物(50)が移動している場合でも、比較的精度よく、マーカ(M1)の描画位置を補正することが可能である。
第4の態様に係る描画システム(1,1A)では、第3の態様において、対象物情報は、少なくとも対象物(50)の過去の挙動から予測される。
この態様によれば、マーカ(M1)の描画位置の補正に用いられる対象物(50)の移動状況を、比較的精度よく、予測することが可能である。
第5の態様に係る描画システム(1,1A)では、第1〜4のいずれかの態様において、マーカ(M1)は、検知システム(3)から対象物(50)までの距離に応じた奥行方向の位置情報を持つ三次元画像である。
この態様によれば、検知システム(3)から対象物(50)までの距離についても、マーカ(M1)の表示に反映することができる。
第6の態様に係る描画システム(1,1A)は、第1〜5のいずれかの態様において、補間部(13)を更に備える。検知システム(3)は、検知結果(D1)を第1周期(T1)ごとに出力する。描画部(11)は、少なくとも第1周期(T1)ごとに検知システム(3)の検知結果(D1)に基づいてマーカ(M1)の描画を行い、かつ第1周期(T1)よりも短い第2周期(T2)ごとにマーカ(M1)を更新する。補間部(13)は、描画部(11)が第2周期(T2)ごとにマーカ(M1)を更新するに際して、更新後のマーカ(M1)としての補間マーカ(M11)を補間データ(D3)に基づいて補間する。
この態様によれば、検知システム(3)が検知結果(D1)を出力する第1周期(T1)よりも、マーカ(M1)を更新する第2周期(T2)の方が短い場合において、更新後のマーカ(M1)が補間データ(D3)に基づいて補間される。したがって、第1周期(T1)の間においても、マーカ(M1)が更新される度にマーカ(M1)を変化させることができ、マーカ(M1)は比較的スムーズに動くことになる。その結果、不自然なマーカ(M1)の挙動が生じにくい。
第7の態様に係る描画システム(1,1A)では、第1〜6のいずれかの態様において、補正部(12)は、補正データ(D2)に基づいてマーカ(M1)の内容を決定する。
この態様によれば、マーカ(M1)の内容を適切に補正可能である。
第8の態様に係る描画システム(1,1A)は、第1〜7のいずれかの態様において、補正部(12)による補正の強度を調整する補正調整部(121)を更に備える。
この態様によれば、例えば、補正部(12)による補正の強度を小さくすることで、補正にかかる処理負荷を低減することが可能である。
第9の態様に係る描画システム(1,1A)では、第1〜8のいずれかの態様において、移動情報は、少なくとも遅延期間(Td1)における移動体(6)の移動状況に関する情報である。遅延期間(Td1)は、検知システム(3)での対象物(50)の検知時点から描画部(11)での描画時点までの期間を含む期間である。
この態様によれば、遅延期間(Td1)に起因したマーカ(M1)の表示位置のずれを低減しやすくなる。
第10の態様に係る表示システム(10)は、第1〜9のいずれかの態様に係る描画システム(1,1A)と、描画システム(1,1A)で描画されたマーカ(M1)を表示する表示装置(2)と、を備える。
この態様によれば、検知システム(3)の検知結果(D1)に基づく対象物(50)の位置にマーカ(M1)を描画するのではなく、補正データ(D2)に基づく補正が行われた後の描画位置にマーカ(M1)を描画する。そのため、例えば、検知システム(3)内での処理に起因した遅延等が生じても、最終的に表示されるマーカ(M1)の表示位置に関しては、これらの遅延の影響を低減できる。特に、検知システム(3)が搭載されている移動体(6)の移動状況に基づいて補正を行うので、上述したような遅延の期間(遅延期間Td1)内での検知システム(3)自体の移動に伴う表示位置のずれを低減し得る。
第11の態様に係る移動体(6)は、第10の態様に係る表示システム(10)と、表示システム(10)が搭載される移動体本体(61)と、を備える。
この態様によれば、検知システム(3)の検知結果(D1)に基づく対象物(50)の位置にマーカ(M1)を描画するのではなく、補正データ(D2)に基づく補正が行われた後の描画位置にマーカ(M1)を描画する。そのため、例えば、検知システム(3)内での処理に起因した遅延等が生じても、最終的に表示されるマーカ(M1)の表示位置に関しては、これらの遅延の影響を低減できる。特に、検知システム(3)が搭載されている移動体(6)の移動状況に基づいて補正を行うので、上述したような遅延の期間(遅延期間Td1)内での検知システム(3)自体の移動に伴う表示位置のずれを低減し得る。
第12の態様に係る描画方法は、描画処理と、補正処理と、を有する。描画処理は、検知システム(3)の検知結果(D1)に基づいて、対象物(50)の位置に応じたマーカ(M1)の描画を行う処理である。検知システム(3)は、移動体(6)に搭載されて対象物(50)を検知する。補正処理は、検知システム(3)の検知結果(D1)に基づく対象物(50)の位置に対し、補正データ(D2)に基づく補正を行うことにより、描画処理でのマーカ(M1)の描画位置を決定する処理である。補正データ(D2)は、少なくとも移動体(6)の移動状況に関する移動情報に基づいて求まる。
この態様によれば、検知システム(3)の検知結果(D1)に基づく対象物(50)の位置にマーカ(M1)を描画するのではなく、補正データ(D2)に基づく補正が行われた後の描画位置にマーカ(M1)を描画する。そのため、例えば、検知システム(3)内での処理に起因した遅延等が生じても、最終的に表示されるマーカ(M1)の表示位置に関しては、これらの遅延の影響を低減できる。特に、検知システム(3)が搭載されている移動体(6)の移動状況に基づいて補正を行うので、上述したような遅延の期間(遅延期間Td1)内での検知システム(3)自体の移動に伴う表示位置のずれを低減し得る。
第13の態様に係るプログラムは、第12の態様に係る描画方法を、1以上のプロセッサに実行させるためのプログラムである。
この態様によれば、検知システム(3)の検知結果(D1)に基づく対象物(50)の位置にマーカ(M1)を描画するのではなく、補正データ(D2)に基づく補正が行われた後の描画位置にマーカ(M1)を描画する。そのため、例えば、検知システム(3)内での処理に起因した遅延等が生じても、最終的に表示されるマーカ(M1)の表示位置に関しては、これらの遅延の影響を低減できる。特に、検知システム(3)が搭載されている移動体(6)の移動状況に基づいて補正を行うので、上述したような遅延の期間(遅延期間Td1)内での検知システム(3)自体の移動に伴う表示位置のずれを低減し得る。
上記態様に限らず、実施形態1及び実施形態2に係る描画システム(1,1A)の種々の構成(変形例を含む)は、描画方法又はプログラムにて具現化可能である。
第2〜9の態様に係る構成については、描画システム(1,1A)に必須の構成ではなく、適宜省略可能である。
1,1A 描画システム
2 表示装置
3 検知システム
6 移動体
10 表示システム
11 描画部
12 補正部
13 補間部
61 移動体本体
121 補正調整部
D1 検知結果
D2 補正データ
D3 補間データ
M1 マーカ
T1 第1周期
T2 第2周期
Td1 遅延期間

Claims (13)

  1. 移動体に搭載されて対象物を検知する検知システムの検知結果に基づいて、前記対象物の位置に応じたマーカの描画を行う描画部と、
    前記検知システムの検知結果に基づく前記対象物の位置に対し、補正データに基づく補正を行うことにより、前記描画部での前記マーカの描画位置を決定する補正部と、を備え、
    前記補正データは、少なくとも前記移動体の移動状況に関する移動情報に基づいて求まる、
    描画システム。
  2. 前記移動情報は、少なくとも前記移動体の過去の挙動から予測される、
    請求項1に記載の描画システム。
  3. 前記補正データは、前記移動情報に加えて、前記対象物の移動状況に関する対象物情報にも基づいて求められる、
    請求項1又は2に記載の描画システム。
  4. 前記対象物情報は、少なくとも前記対象物の過去の挙動から予測される、
    請求項3に記載の描画システム。
  5. 前記マーカは、前記検知システムから前記対象物までの距離に応じた奥行方向の位置情報を持つ三次元画像である、
    請求項1〜4のいずれか1項に記載の描画システム。
  6. 補間部を更に備え、
    前記検知システムは、検知結果を第1周期ごとに出力し、
    前記描画部は、少なくとも前記第1周期ごとに前記検知システムの検知結果に基づいて前記マーカの描画を行い、かつ前記第1周期よりも短い第2周期ごとに前記マーカを更新し、
    前記補間部は、前記描画部が前記第2周期ごとに前記マーカを更新するに際して、更新後の前記マーカとしての補間マーカを補間データに基づいて補間する、
    請求項1〜5のいずれか1項に記載の描画システム。
  7. 前記補正部は、前記補正データに基づいて前記マーカの内容を決定する、
    請求項1〜6のいずれか1項に記載の描画システム。
  8. 前記補正部による補正の強度を調整する補正調整部を更に備える、
    請求項1〜7のいずれか1項に記載の描画システム。
  9. 前記移動情報は、少なくとも前記検知システムでの前記対象物の検知時点から前記描画部での描画時点までの期間を含む遅延期間における前記移動体の移動状況に関する情報である、
    請求項1〜8のいずれか1項に記載の描画システム。
  10. 請求項1〜9のいずれか1項に記載の描画システムと、
    前記描画システムで描画された前記マーカを表示する表示装置と、を備える、
    表示システム。
  11. 請求項10に記載の表示システムと、
    前記表示システムが搭載される移動体本体と、を備える、
    移動体。
  12. 移動体に搭載されて対象物を検知する検知システムの検知結果に基づいて、前記対象物の位置に応じたマーカの描画を行う描画処理と、
    前記検知システムの検知結果に基づく前記対象物の位置に対し、補正データに基づく補正を行うことにより、前記描画処理での前記マーカの描画位置を決定する補正処理と、を有し、
    前記補正データは、少なくとも前記移動体の移動状況に関する移動情報に基づいて求まる、
    描画方法。
  13. 請求項12に記載の描画方法を、1以上のプロセッサに実行させるためのプログラム。
JP2020021887A 2020-02-12 2020-02-12 描画システム、表示システム、移動体、描画方法及びプログラム Active JP7357284B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020021887A JP7357284B2 (ja) 2020-02-12 2020-02-12 描画システム、表示システム、移動体、描画方法及びプログラム
CN202180014145.5A CN115088028B (zh) 2020-02-12 2021-02-01 绘制系统、显示系统、移动体、绘制方法以及程序
DE112021000344.5T DE112021000344T5 (de) 2020-02-12 2021-02-01 Rendering-System, Anzeigesystem, Fahrzeug, Rendering-Verfahren und Programm
PCT/JP2021/003570 WO2021161840A1 (ja) 2020-02-12 2021-02-01 描画システム、表示システム、移動体、描画方法及びプログラム
US17/885,943 US20220383645A1 (en) 2020-02-12 2022-08-11 Rendering system, display system, moving vehicle, rendering method, and non-transitory storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020021887A JP7357284B2 (ja) 2020-02-12 2020-02-12 描画システム、表示システム、移動体、描画方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2021128471A true JP2021128471A (ja) 2021-09-02
JP7357284B2 JP7357284B2 (ja) 2023-10-06

Family

ID=77291801

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020021887A Active JP7357284B2 (ja) 2020-02-12 2020-02-12 描画システム、表示システム、移動体、描画方法及びプログラム

Country Status (5)

Country Link
US (1) US20220383645A1 (ja)
JP (1) JP7357284B2 (ja)
CN (1) CN115088028B (ja)
DE (1) DE112021000344T5 (ja)
WO (1) WO2021161840A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11922836B2 (en) 2021-03-29 2024-03-05 Panasonic Intellectual Property Management Co., Ltd. Rendering system, display system, display control system, and rendering method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021186853A1 (ja) * 2020-03-19 2021-09-23 日本電気株式会社 画像生成装置、画像生成方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017056157A1 (ja) * 2015-09-28 2017-04-06 日産自動車株式会社 車両用表示装置及び車両用表示方法
JP2017076324A (ja) * 2015-10-16 2017-04-20 株式会社デンソー 表示制御装置および車両制御装置
WO2017068692A1 (ja) * 2015-10-22 2017-04-27 日産自動車株式会社 表示制御方法および表示制御装置
JP2019202698A (ja) * 2018-05-25 2019-11-28 アルパイン株式会社 画像処理装置、画像処理方法及びヘッドアップディスプレイシステム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249364A (ja) * 2006-03-14 2007-09-27 Denso Corp 安全運転支援システム及び安全運転支援装置
JP4311420B2 (ja) 2006-08-11 2009-08-12 住友電気工業株式会社 接近移動体表示装置、システム及び方法
JP4286876B2 (ja) * 2007-03-01 2009-07-01 富士通テン株式会社 画像表示制御装置
US8564502B2 (en) * 2009-04-02 2013-10-22 GM Global Technology Operations LLC Distortion and perspective correction of vector projection display
CN102910130B (zh) * 2012-10-24 2015-08-05 浙江工业大学 一种现实增强型的驾驶辅助预警系统
JP5992130B2 (ja) * 2014-04-25 2016-09-14 三菱電機株式会社 自動調整装置、自動調整システムおよび自動調整方法
EP3150443B1 (en) * 2014-07-01 2019-08-21 Nissan Motor Co., Ltd Display device for vehicle and display method for vehicle
JP6746270B2 (ja) * 2014-09-08 2020-08-26 株式会社小糸製作所 車両用表示システム
JP6635428B2 (ja) * 2015-05-20 2020-01-22 修一 田山 自動車周辺情報表示システム
JP2017021546A (ja) * 2015-07-10 2017-01-26 田山 修一 車輌用画像表示システム及び方法
US20180090002A1 (en) * 2015-08-03 2018-03-29 Mitsubishi Electric Corporation Display control apparatus, display device, and display control method
CN108602465B (zh) * 2016-01-28 2021-08-17 鸿海精密工业股份有限公司 车辆用图像显示系统及搭载了该图像显示系统的车辆
US10933745B2 (en) * 2016-10-26 2021-03-02 Mitsubishi Electric Corporation Display control apparatus, display apparatus, and display control method
JP6445607B2 (ja) * 2017-03-15 2018-12-26 株式会社Subaru 車両の表示システム及び車両の表示システムの制御方法
JP6809763B2 (ja) * 2017-06-21 2021-01-06 アルパイン株式会社 表示システム
JP6945933B2 (ja) * 2017-12-27 2021-10-06 アルパイン株式会社 表示システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017056157A1 (ja) * 2015-09-28 2017-04-06 日産自動車株式会社 車両用表示装置及び車両用表示方法
JP2017076324A (ja) * 2015-10-16 2017-04-20 株式会社デンソー 表示制御装置および車両制御装置
WO2017068692A1 (ja) * 2015-10-22 2017-04-27 日産自動車株式会社 表示制御方法および表示制御装置
JP2019202698A (ja) * 2018-05-25 2019-11-28 アルパイン株式会社 画像処理装置、画像処理方法及びヘッドアップディスプレイシステム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11922836B2 (en) 2021-03-29 2024-03-05 Panasonic Intellectual Property Management Co., Ltd. Rendering system, display system, display control system, and rendering method

Also Published As

Publication number Publication date
CN115088028B (zh) 2023-12-08
WO2021161840A1 (ja) 2021-08-19
JP7357284B2 (ja) 2023-10-06
DE112021000344T5 (de) 2022-10-27
US20220383645A1 (en) 2022-12-01
CN115088028A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
US11656091B2 (en) Content visualizing method and apparatus
US11842447B2 (en) Localization method and apparatus of displaying virtual object in augmented reality
JP6878493B2 (ja) 自動運転車両(adv)に用いるピッチ角の補正方法
CN104204847B (zh) 用于可视化车辆的周围环境的方法和装置
US11282164B2 (en) Depth-guided video inpainting for autonomous driving
JP6695049B2 (ja) 表示装置及び表示制御方法
CN107554425A (zh) 一种增强现实车载平视显示器ar‑hud
US20220383645A1 (en) Rendering system, display system, moving vehicle, rendering method, and non-transitory storage medium
JP6838626B2 (ja) 表示制御装置、及び表示制御プログラム
JPWO2018221454A1 (ja) 地図作成装置、制御方法、プログラム及び記憶媒体
JP2019206256A (ja) 表示制御装置、及び表示制御プログラム
CN114973050A (zh) 自动驾驶应用中深度神经网络感知的地面实况数据生成
US20240127612A1 (en) Vehicle display device, vehicle display system, vehicle display method, and non-transitory storage medium stored with program
US20240042857A1 (en) Vehicle display system, vehicle display method, and computer-readable non-transitory storage medium storing vehicle display program
CN116257205A (zh) 图像抖动补偿方法、装置、抬头显示设备、载具及介质
CN116136418A (zh) 导航引导信息生成方法、导航引导方法、程序产品和介质
CN116734825A (zh) 用于自主系统和应用中的世界模型表示的基于关键帧的压缩
WO2020039855A1 (ja) 表示制御装置、表示制御プログラム、およびその持続的有形コンピュータ読み取り媒体
JP6385621B2 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP7434894B2 (ja) 車両用表示装置
US20240042855A1 (en) Information processing device and information processing method
JP2021104794A (ja) 車両用表示装置
JP2024123412A (ja) 表示制御装置及び表示制御方法
JP2022077138A (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
CN117036403A (zh) 图像处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230915

R151 Written notification of patent or utility model registration

Ref document number: 7357284

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350