JP2023028366A - 走行映像表示方法、走行映像表示システム - Google Patents

走行映像表示方法、走行映像表示システム Download PDF

Info

Publication number
JP2023028366A
JP2023028366A JP2021134028A JP2021134028A JP2023028366A JP 2023028366 A JP2023028366 A JP 2023028366A JP 2021134028 A JP2021134028 A JP 2021134028A JP 2021134028 A JP2021134028 A JP 2021134028A JP 2023028366 A JP2023028366 A JP 2023028366A
Authority
JP
Japan
Prior art keywords
running
running image
attention
display
remotely operated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021134028A
Other languages
English (en)
Inventor
秀樹 福留
Hideki Fukutome
康佑 赤塚
Kosuke Akatsuka
水優 上原
Miyu Uehara
司 鬼頭
Tsukasa Kito
聡 小見
Satoshi Komi
裕己 西川
Yuki Nishikawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2021134028A priority Critical patent/JP2023028366A/ja
Priority to US17/885,971 priority patent/US20230017458A1/en
Priority to CN202210987094.0A priority patent/CN115941883A/zh
Publication of JP2023028366A publication Critical patent/JP2023028366A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • B60W40/072Curvature of the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/007Emergency override
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00Indexing codes relating to the type of vehicle
    • B60W2300/14Tractor-trailers, i.e. combinations of a towing vehicle and one or more towed vehicles, e.g. caravans; Road trains
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/30Road curve radius

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

Figure 2023028366000001
【課題】遠隔運転オペレータの操作及び監視の負担を増加させることなく、遠隔運転オペレータの注目方向又は注目範囲の走行映像を適切に表示装置に表示することが可能な走行映像表示方法を提案する。
【解決手段】本開示に係る走行映像表示方法は、遠隔運転車両に備えられる複数のカメラにより複数の方向の走行映像を撮像する撮像処理と、操作情報、走行状態情報、及び動作情報のうち少なくとも1つの情報を取得する取得処理と、取得処理で取得された情報に基づいて、遠隔運転オペレータの注目方向又は注目範囲を特定する特定処理と、特定した注目方向又は注目範囲を含み、特定した注目方向又は注目範囲に応じた走行映像を表示装置に表示する表示処理と、を含む。
【選択図】図3

Description

本開示は、遠隔運転に係る表示装置に車両の走行映像を表示する走行映像表示方法、及び走行映像表示システムに関する。
近年、遠隔地から車両の遠隔運転を行う遠隔運転技術が考えられている。遠隔運転は、自動運転車において自動運転が困難となる場合の代替や無人運転サービスの実現等のための技術として期待されている。遠隔運転に係る従来技術としては、例えば、特許文献1を挙げることができる。
特開2018―77649号公報
遠隔運転オペレータは、主として表示装置に表示された走行映像を視認することで遠隔運転車両周囲の状況を把握し、適宜運転操作を実施する。このとき、車両に乗車して運転する場合と異なり遠隔運転オペレータは直接目視確認を行うことができないため、表示装置に表示される走行映像は、遠隔運転車両周囲の各方向の走行映像が十分に含まれていることが望ましい。
一方で、遠隔運転オペレータが意識して視認することができる表示装置の表示範囲は限られている。このため、車両周囲の各方向に係る走行映像のうち、遠隔運転オペレータが安定して視認しやすい表示範囲に表示することができる走行映像の数及び範囲は限られてしまう。さらに、遠隔運転車両周囲の状況や運転状況に応じて、遠隔運転オペレータが確認を求める注目方向又は注目範囲は異なってくる。
従って、遠隔運転オペレータの注目方向又は注目範囲の走行映像が表示装置に適切に表示されていないことがある。延いては、時々刻々と遠隔運転車両周囲の状況や運転状況が変化し得ることを鑑みれば、遠隔運転オペレータの操作及び監視の負担が過度に増加する虞がある。
本開示は、上記の課題を鑑みてなされたものであり、遠隔運転オペレータの操作及び監視の負担を増加させることなく、遠隔運転オペレータの注目方向又は注目範囲の走行映像を適切に表示装置に表示することが可能な走行映像表示方法及び走行映像表示システムを提供することを目的とする。
第1の開示は、遠隔運転車両の走行映像を表示装置に表示する走行映像表示方法に関する。
第1の開示に係る走行映像表示方法は、前記遠隔運転車両に備えられる複数のカメラにより複数の方向の前記走行映像を撮像する撮像処理と、遠隔運転オペレータによる前記遠隔運転車両の運転操作のための操作情報、前記遠隔運転車両の走行状態情報、及び前記遠隔運転オペレータの動作情報のうち少なくとも1つの情報を取得する取得処理と、前記取得処理で取得された情報に基づいて、前記遠隔運転オペレータの注目方向又は注目範囲を特定する特定処理と、前記注目方向又は前記注目範囲を含み、前記注目方向又は前記注目範囲に応じた前記走行映像を前記表示装置に表示する表示処理と、を含む。
第2の開示は、第1の開示に係る走行映像表示方法に対して、さらに以下の特徴を含む走行映像表示方法に関する。
前記表示処理は、前記注目方向又は前記注目範囲の前記走行映像を強調表示することを含む。
第3の開示は、第1又は第2の開示に係る走行映像表示方法に対して、さらに以下の特徴を含む走行映像表示方法に関する。
前記表示処理は、あらかじめ設定される所定の方向又は範囲の前記走行映像を前記表示装置に表示することを含む。
第4の開示は、第1乃至第3のいずれか1つの開示に係る走行映像表示方法に対して、さらに以下の特徴を含む走行映像表示方法に関する。
前記特定処理は、前記遠隔運転オペレータが注視している前記走行映像の特定方向を前記注目方向とすることを含む。
第5の開示は、第1乃至第3のいずれか1つの開示に係る走行映像表示方法に対して、さらに以下の特徴を含む走行映像表示方法に関する。
前記取得処理は、前記操作情報としてウインカー操作又はステアリング操作の情報を取得することを含む。また、前記特定処理は、左方向の前記ウインカー操作又は前記ステアリング操作を受けて、前記遠隔運転車両の左側方向を前記注目方向とすることと、右方向の前記ウインカー操作又は前記ステアリング操作を受けて、前記遠隔運転車両の右側方向を前記注目方向とすることを含む。
第6の開示は、第1乃至第3のいずれか1つの開示に係る走行映像表示方法に対して、さらに以下の特徴を含む走行映像表示方法に関する。
前記特定処理は、前記遠隔運転車両の所定のブレーキ操作を受けて、前記遠隔運転車両の後側方向を前記注目方向とすることを含む。
第7の開示は、第1乃至第3のいずれか1つの開示に係る走行映像表示方法に対して、さらに以下の特徴を含む走行映像表示方法に関する。
前記特定処理は、前記遠隔運転車両のハイビームがオンであることを受けて、前方方向の前記走行映像の遠方地点を前記注目範囲とすることを含む。また、前記表示処理は、前記注目範囲が前記遠方地点であることを受けて、前方方向の前記走行映像を、基準に対して画角を所定の高さ上方にして表示することを含む。
第8の開示は、第1乃至第3のいずれか1つの開示に係る走行映像表示方法に対して、さらに以下の特徴を含む走行映像表示方法に関する。
前記取得処理は、前記走行状態情報として前記遠隔運転車両の車速の情報を取得することを含む。また、前記表示処理は、前方方向の前記走行映像を、基準に対して画角を前記車速に応じた高さ上方又は下方にして表示することを含む。
第9の開示は、第1乃至第3のいずれか1つの開示に係る走行映像表示方法に対して、さらに以下の特徴を含む走行映像表示方法に関する。
前記特定処理は、前記遠隔運転車両がカーブ路を走行していることを受けて、前記カーブ路が向かう方向を前記注目方向とすることを含む。
第10の開示は、第5の開示に係る走行映像表示方法に対して、さらに以下の特徴を含む走行映像表示方法に関する。
前記遠隔運転車両は、けん引車両であり、複数の前記カメラは、被けん引車両に備えられる一又は複数のカメラを含む。そして、前記表示処理は、前記注目方向が前記遠隔運転車両の左側方向又は右側方向であることを受けて、前記被けん引車両に備えられる前記カメラが撮像する前記走行映像を前記表示装置に表示することを含む。
第11の開示は、遠隔運転車両の走行映像を表示装置に表示する走行映像表示システムに関する。
第11の開示に係る走行映像表示システムは、前記遠隔運転車両に備えられ複数の方向の前記走行映像を撮像する複数のカメラと、前記走行映像を表示する処理を実行する表示処理装置と、を含む。前記表示処理装置は、遠隔運転オペレータによる前記遠隔運転車両の運転操作のための操作情報、前記遠隔運転車両の走行状態情報、及び前記遠隔運転オペレータの動作情報のうち少なくとも1つの情報を取得する取得処理と、前記取得処理で取得された情報に基づいて、前記遠隔運転オペレータの注目方向又は注目範囲を特定する特定処理と、前記注目方向又は前記注目範囲を含み、前記注目方向又は前記注目範囲に応じた前記走行映像を前記表示装置に表示する表示処理と、を実行する。
第12の開示は、第11の開示に係る走行映像表示システムに対して、さらに以下の特徴を含む走行映像表示システムに関する。
前記表示処理装置は、前記表示処理において、前記注目方向又は前記注目範囲の前記走行映像を強調表示する。
第13の開示は、第11又は第12の開示に係る走行映像表示システムに対して、さらに以下の特徴を含む走行映像表示システムに関する。
前記表示処理装置は、前記表示処理において、あらかじめ設定される所定の方向又は範囲の前記走行映像を前記表示装置に表示する。
第14の開示は、第11乃至第13のいずれか1つの開示に係る走行映像表示システムに対して、さらに以下の特徴を含む走行映像表示システムに関する。
前記表示処理装置は、前記特定処理において、前記遠隔運転オペレータが注視している前記走行映像の特定方向を前記注目方向とする。
第15の開示は、第11乃至第13のいずれか1つの開示に係る走行映像表示システムに対して、さらに以下の特徴を含む走行映像表示システムに関する。
前記表示処理装置は、前記取得処理において、前記操作情報としてウインカー操作又はステアリング操作の情報を取得し、前記特定処理において、左方向の前記ウインカー操作又は前記ステアリング操作を受けて、前記遠隔運転車両の左側方向を前記注目方向とし、右方向の前記ウインカー操作又は前記ステアリング操作を受けて、前記遠隔運転車両の右側方向を前記注目方向とする。
第16の開示は、第11乃至第13のいずれか1つの開示に係る走行映像表示システムに対して、さらに以下の特徴を含む走行映像表示システムに関する。
前記表示処理装置は、前記特定処理において、前記遠隔運転車両の所定のブレーキ操作を受けて、前記遠隔運転車両の後側方向を前記注目方向とする。
第17の開示は、第11乃至第13のいずれか1つの開示に係る走行映像表示システムに対して、さらに以下の特徴を含む走行映像表示システムに関する。
前記表示処理装置は、前記特定処理において、前記遠隔運転車両のハイビームがオンであることを受けて、前方方向の前記走行映像の遠方地点を前記注目範囲とし、前記表示処理において、前記注目範囲が前記遠方地点であることを受けて、前方方向の前記走行映像を、基準に対して画角を所定の高さ上方にして表示する。
第18の開示は、第11乃至第13のいずれか1つの開示に係る走行映像表示システムに対して、さらに以下の特徴を含む走行映像表示システムに関する。
前記表示処理装置は、前記取得処理において、前記走行状態情報として前記遠隔運転車両の車速の情報を取得し、前記表示処理において、前方方向の前記走行映像を、基準に対して画角を前記車速に応じた高さ上方又は下方にして表示する。
第19の開示は、第11乃至第13のいずれか1つの開示に係る走行映像表示システムに対して、さらに以下の特徴を含む走行映像表示システムに関する。
前記表示処理装置は、前記特定処理において、前記遠隔運転車両がカーブ路を走行していることを受けて、前記カーブ路が向かう方向を前記注目方向とする。
第20の開示は、第15の開示に係る走行映像表示システムに対して、さらに以下の特徴を含む走行映像表示システムに関する。
前記遠隔運転車両は、けん引車両であり、複数の前記カメラは、被けん引車両に備えられる一又は複数のカメラを含む。そして、前記表示処理装置は、前記表示処理において、前記注目方向が前記遠隔運転車両の左側方向又は右側方向であることを受けて、前記被けん引車両に備えられる前記カメラが撮像する前記走行映像を前記表示装置に表示する。
本開示に係る走行映像表示方法及び走行映像表示システムによれば、遠隔運転オペレータの注目方向又は注目範囲を特定する。そして、特定した注目方向又は注目範囲を含み、特定した注目方向又は注目範囲に応じた走行映像を表示装置に表示する。これにより、遠隔運転オペレータの操作及び監視の負担を増加させることなく、遠隔運転オペレータの注目方向又は注目範囲の走行映像を適切に表示装置に表示することができる。
遠隔運転装置の例を示す概念図である。 遠隔運転車両に備えられる複数のカメラにより撮像される複数の方向の走行映像の例を示す概念図である。 遠隔運転オペレータが走行映像の特定方向を注視する場合の走行映像の表示について説明するための概念図である。 遠隔運転オペレータが遠隔運転車両を左方向に進める運転操作を実施する場合の走行映像の表示について説明するための概念図である。 遠隔運転オペレータが遠隔運転車両の所定のブレーキ操作を実施する場合の走行映像の表示について説明するための概念図である。 遠隔運転車両のハイビームがオンである場合の走行映像の表示について説明するための概念図である。 遠隔運転車両がカーブ路を走行している場合の走行映像の表示について説明するための概念図である。 本実施形態に係る走行映像表示システムの概略構成を示すブロック図である。 本実施形態に係る走行映像表示システムにより実現される走行映像表示方法を示すフローチャートである。 図9に示す表示処理において実行される処理を示すフローチャートである。
以下、図面を参照して本開示の実施形態について説明する。ただし、以下に示す実施の形態において各要素の個数、数量、量、範囲などの数に言及した場合、特に明示した場合や原理的に明らかにその数が特定される場合を除いて、その言及した数に、本開示に係る思想が限定されるものではない。また、以下に示す実施の形態において説明する構成等は、特に明示した場合や原理的に明らかにそれに特定される場合を除いて、本開示に係る思想に必ずしも必須のものではない。なお、各図中、同一又は相当する部分には同一の符号を附しており、その重複説明は適宜に簡略化ないし省略する。
1.導入
1-1.遠隔運転装置
本実施形態に係る走行映像表示システムは、遠隔運転車両の走行映像を表示装置に表示する。ここで遠隔運転は、典型的には、遠隔運転車両から離れた位置において遠隔運転オペレータが遠隔運転装置を操作することにより行われる。
図1は、遠隔運転装置100の例を示す概念図である。遠隔運転装置100は、遠隔運転オペレータ4に対して運転に係る情報(走行映像、運転環境等)を提供するとともに、遠隔運転オペレータ4による操作(運転に係る操作、遠隔運転車両に備える装置の操作等)を受け付け、遠隔運転オペレータ4による遠隔運転を実現する装置である。
図1に示す遠隔運転装置100は、情報処理装置110と、表示装置120と、運転操作装置130と、操作盤140と、を備えている。
情報処理装置110は、遠隔運転に係る処理を実行する装置である。典型的には、メモリとプロセッサとを備えるコンピュータである。情報処理装置110は、表示装置120、運転操作装置130、及び操作盤140と互いに情報を伝達することができるように構成されている。典型的には、ケーブルにより電気的に接続している。ただし、情報処理装置110は、通信により互いに情報を伝達することができるように構成されていても良い。例えば、情報処理装置110は、表示装置120、運転操作装置130、及び操作盤140と通信可能な通信ネットワーク(例えば、インターネット)上に構成されたサーバー(仮想的であっても良い)であっても良い。
さらに、情報処理装置110は、遠隔運転車両と通信し、情報の送受信を行うことができるように構成されている。典型的には、遠隔運転車両と通信可能な通信ネットワーク(例えば、インターネット)に接続することで情報の送受信を行う。
また、情報処理装置110は、表示装置120の表示に係る処理を実行する。つまり、図1に示す遠隔運転装置100において、情報処理装置110は表示処理装置としても機能する。情報処理装置(表示処理装置)110は、表示装置120に対して特定の表示を示す信号(表示信号)を伝達する。情報処理装置(表示処理装置)110は、少なくとも、遠隔運転車両に備えるカメラから走行映像を取得し、表示装置120に走行映像を表示する処理を実行する。その他、情報処理装置(表示処理装置)110は、遠隔運転車両周辺の地図や遠隔運転車両の制御設定を示す画像等を表示する処理を実行しても良い。
表示装置120は、情報処理装置(表示処理装置)110から取得する表示信号に従って表示を行う。表示装置120は、典型的には、液晶ディスプレイや有機ELディスプレイ等のディスプレイ機器である。ただし、適当な表示機能を有するその他の装置であっても良い。また、表示装置120は、複数の装置により構成される系であっても良い。例えば、複数のディスプレイ機器を接続して構成されたマルチモニターであっても良い。表示装置120には、少なくとも走行映像が表示される。表示装置に表示される走行映像の詳細については後述する。
運転操作装置130は、遠隔運転オペレータ4による運転に係る操作を受け付ける装置である。図1には、運転操作装置130として、操舵操作を受け付けるためのステアリングホイール130aと、加速又は制動操作を受け付けるためのペダル130bが示されている。運転操作装置130により受け付けた操作信号は、情報処理装置110を介して、遠隔運転車両に伝達される。
操作盤140は、遠隔運転オペレータ4による種々の操作を受け付ける装置である。例えば、操作盤140は、遠隔運転車両に備える装置の操作(アクセサリー機能のオンオフ、ドアの開閉等)を受け付ける。さらに、遠隔運転装置100に備える装置の操作(表示の切り替え、座席の電子制御操作等)を受け付けても良い。操作盤140の形態は、例えば、スイッチやタッチパネルである。
なお、遠隔運転装置100は、その他の装置を備えていても良い。例えば、遠隔運転オペレータ4に対して音を伝えるための音響装置や遠隔運転オペレータ4の状態を検出するセンサ等を備えていても良い。
遠隔運転オペレータ4は、表示装置120の表示(主に走行映像)を視認することで遠隔運転車両周囲の状況を把握し、適宜運転操作装置130又は操作盤140を操作する。これにより、遠隔運転オペレータ4による遠隔運転が実施される。
1-2.走行映像の表示
以下図2を参照して、情報処理装置(表示処理装置)110により、表示装置120に表示される走行映像について説明する。図2は、遠隔運転車両1に備えられる複数のカメラにより撮像される複数の方向の走行映像121の例を示している。ここで、遠隔運転車両1の周囲には、複数の他車両2が走行している。なお図2では、それぞれの他車両2を区別するため、符号に記号(a、b、・・・)を附している。
図2の(A)は、遠隔運転車両1に備えられる複数のカメラが撮像する撮像領域3の例を示している。なお図2の(A)では、それぞれの撮像領域3を区別するため、符号に記号(a、b、・・・)を附している。図2では、遠隔運転車両1に6つのカメラが備えられ、それぞれの撮像領域3に対応する6つの方向の走行映像121が撮像される。
図2の(B)は、図2の(A)と対応して表示装置120に表示される走行映像121の例を示している。なお図2の(B)では、図2の(A)に示す撮像領域3と対応するように走行映像121の符号に記号(a、b、・・・)を附している。また図2の(B)では、表示装置120に、その他の表示122が示されている。これは、例えば、遠隔運転車両1に備える装置の状態(アクセサリー機能のオンオフ状態、ドアの開閉状態等)の表示、運転環境(車速、燃料残量、車内温度等)の表示、地図の表示、ナビゲーションの表示等を示すものである。
図2の(B)では、撮像領域3a、3b、3c、及び3dに対応する走行映像121a、121b、121c、及び121dが表示装置120の表示として示されている。一方で、撮像領域3e及び3fに対応する走行映像121は表示されていない。また、遠隔運転車両1の前方方向の走行映像121aの表示領域が最も大きく、遠隔運転車両1の後側方方向の走行映像121c及び121dの表示領域は小さくなっている。
ところで、図2の(B)の例に示す表示では、遠隔運転オペレータ4は、遠隔運転車両1の側方方向を確認することができない。延いては、遠隔運転オペレータ4は、他車両2dの存在を確認することができない。遠隔運転オペレータ4が遠隔運転車両1の車線変更を行いたいと考える場合等では、遠隔運転車両1の側方方向を確認することが必要である。また、遠隔運転オペレータ4が遠隔運転車両1の車線変更を行いたいと考える場合には、後側方方向の走行映像121c又は121dの表示は、前方方向の走行映像121aの表示よりも特に確認が必要である。このように、図2の(B)に示す表示は、遠隔運転車両1周囲の状況や運転状況によっては、遠隔運転オペレータ4が確認を求める注目方向又は注目範囲の走行映像121として適切ではない虞がある。
十分かつ多様なパターンの走行映像121を表示する手段として、表示範囲が大きい表示装置120を構成することが考えられる。例えば、表示装置120をマルチモニターとして構成し、図2の(B)に示す表示をあるディスプレイに表示するとともに、遠隔運転車両1の側方方向の走行映像121を別のあるディスプレイに表示する。さらに、遠隔運転オペレータ4の操作により表示装置120の表示を切り替えることができるように構成することも考えられる。例えば、操作盤140を操作することで、表示装置120に表示する走行映像121のパターンを切り替えることができるように構成する。
しかしながら、表示範囲が大きい表示装置120を構成したとしても、遠隔運転オペレータ4が意識して視認することができる表示装置120の表示範囲は限られている。延いては、遠隔運転オペレータ4が安定して視認しやすい表示範囲に表示することができる走行映像121の数及び範囲は限られる。従って、これらの手段では、時々刻々と遠隔運転車両1周囲の状況や運転状況が変化する場合において、遠隔運転オペレータ4の操作及び監視の負担が過度に増加する虞がある。
そこで、本実施形態に係る走行映像表示システムでは、遠隔運転車両の運転操作のための情報(操作情報)、遠隔運転車両1の走行状態の情報(走行状態情報)、又は遠隔運転オペレータ4の動作の情報(動作情報)に基づいて、遠隔運転オペレータ4の注目方向又は注目範囲を特定する。そして、特定した注目方向又は注目範囲を含み、特定した注目方向又は注目範囲に応じた走行映像121を表示装置120に表示する。
2.概要
以下図3乃至図7を参照して、本実施形態に係る走行映像表示システムによる走行映像121の表示について説明する。
まず図3を参照する。図3は、遠隔運転オペレータ4が走行映像121の特定方向を注視する場合の走行映像121の表示について説明するための概念図である。
図3の上部は、基準となる走行映像121の表示、及び遠隔運転オペレータ4が注視する特定方向(点線で囲む位置)を示し、図3の下部は、特定した注目方向に応じて表示される走行映像121の表示の例を示している。なお、図3において、遠隔運転車両1に備えられる複数のカメラ、及び基準となる走行映像121の表示は、図2に示す場合と同等としている。
図3に示す例では、遠隔運転オペレータ4が注視する特定方向は、走行映像121dの一部分(他車両2cが写る部分)である。そこで、本実施形態に係る走行映像表示システムは、走行映像121dの一部分を遠隔運転オペレータ4の注目方向と特定する。そして、注目方向に応じた走行映像121の表示として、走行映像121dの一部分を視認が容易となるように表示する。図3では、走行映像121dの表示領域を拡大し画角を基準に対して拡げている。
また、本実施形態に係る走行映像表示システムは、注目方向の走行映像121を強調表示しても良い。図3では、走行映像121dについて表示枠を強調している。
このように走行映像121を表示することで、遠隔運転オペレータ4が確認を求める方向の走行映像121の視認を容易にすることができる。延いては、遠隔運転車両1の運転の安全性を向上させることができる。
なお、遠隔運転オペレータ4が注視する特定方向は、動作情報に基づいて検出することができる。例えば、遠隔運転オペレータ4の頭部の動きや位置、視線の方向から遠隔運転オペレータ4が注視する特定方向を検出する。この場合、従来の視線検出技術等を採用して構成されていて良い。またこのため、遠隔運転装置100は、遠隔運転オペレータ4の状態を検出する適当なセンサ(例えば、センサカメラ)を備えていて良い。
次に図4を参照する。図4は、遠隔運転オペレータ4が遠隔運転車両1を左方向に進める運転操作を実施する場合の走行映像121の表示について説明するための概念図である。
図4の上部は、基準となる走行映像121の表示を示し、図4の下部は、特定した注目方向に応じて表示される走行映像121の表示の例を示している。なお、図4において、遠隔運転車両1に備えられる複数のカメラ、及び基準となる走行映像121の表示は、図2に示す場合と同等としている。また、走行映像121eは、図2に示す撮像領域3eと対応する走行映像121である。
図4に示す例では、本実施形態に係る走行映像表示システムは、遠隔運転車両1の左側方向を注目方向と特定する。そして、遠隔運転車両1の左側方向に係る走行映像121(走行映像121c及び走行映像121e)を含むように表示する。また、注目方向に応じた走行映像121の表示として、遠隔運転車両1の左側方向に係る走行映像121を視認が容易となるように表示する。図4では、走行映像121eが表示され、走行映像121cの表示領域を拡大し画角を基準に対して拡げている。また、走行映像121c及び走行映像121eについて強調表示している。
さらに、走行映像121a及び走行映像121bの表示は、表示領域が縮小する一方で、遠隔運転車両1の左側方向についての画角を維持している。ここで、走行映像121a及び走行映像121bの表示について、左側方向に画角を拡げるように構成しても良い。
ここで、遠隔運転オペレータ4が遠隔運転車両1を右方向に進める運転操作を実施する場合についても同様である。つまりこの場合、本実施形態に係る走行映像表示システムは、遠隔運転車両1の右側方向を注目方向と特定する。そして、遠隔運転車両1の右側方向に係る走行映像121を含み、遠隔運転車両1の右側方向に係る走行映像121を視認が容易となるように表示する。
このように走行映像121を表示することで、遠隔運転車両1の左折又は右折を実施する場合に、遠隔運転オペレータ4は、歩行者やバイク等を巻き込むリスクを確認することができる。また、遠隔運転車両1のレーンチェンジを実施する場合に、遠隔運転オペレータ4は、隣接レーンを走行する他車両2の接近の有無を確認することができる。
なお、本実施形態に係る走行映像表示システムは、ウインカー操作又はステアリング操作の情報に基づいて、遠隔運転車両1を左方向又は右方向に進める運転操作が実施されていることを検出する。つまり、左方向のウインカー操作又はステアリング操作を受けて、遠隔運転車両1の左側方向を注目方向とし、右方向のウインカー操作又はステアリング操作を受けて、遠隔運転車両1の右側方向を注目方向とする。
次に図5を参照する。図5は、遠隔運転オペレータ4が遠隔運転車両1の所定のブレーキ操作を実施する場合の走行映像121の表示について説明するための概念図である。
図5の上部は、基準となる走行映像121の表示を示し、図5の下部は、特定した対象の方向に応じて表示される走行映像121の表示の例を示している。なお、図5において、遠隔運転車両1に備えられる複数のカメラ、及び基準となる走行映像121の表示は、図2に示す場合と同等としている。
ここで、所定のブレーキ操作とは、あらかじめ定められる特定のブレーキ操作であり、例えば、ハザードランプの点灯操作、閾値以上の踏み込み量を与えるブレーキペダルの踏込、閾値以上の減速度を発生させるブレーキ操作等である。ただし、所定のブレーキ操作は、本実施形態に係る走行映像表示システムを適用する遠隔運転車両1に応じて定められて良い。
図5に示す例では、本実施形態に係る走行映像表示システムは、遠隔運転車両1の後側方向を注目方向と特定する。そして、本実施形態に係る走行映像表示システムは、注目方向に応じた走行映像121の表示として、遠隔運転車両1の後側方向に係る走行映像121を視認が容易となるように表示する。図5では、走行映像121bの表示領域を拡大している。また、走行映像121bについて強調表示している。
このように走行映像121を表示することで、遠隔運転車両1の停止を実施する際等に、遠隔運転オペレータ4は、後方を走行する他車両2との追突リスクを確認することができる。
なお、所定のブレーキ操作が実施されていることは、操作情報又は走行状態情報に基づいて検出することができる。例えば、操作情報としてハザードランプの点灯操作やブレーキペダルの踏み込み量を取得することで検出する。あるいは、走行状態情報として減速度を取得することで検出する。
次に図6を参照する。図6は、遠隔運転車両1のハイビームがオンである場合の走行映像121の表示について説明するための概念図である。
図6の上部は、基準となる走行映像121の表示を示し、図6の下部は、特定した注目範囲に応じて表示される走行映像121の表示の例を示している。なお、図6において、遠隔運転車両1に備えられる複数のカメラ、及び基準となる走行映像121の表示は、図2に示す場合と同等としている。
遠隔運転車両1のハイビームがオンである場合、本実施形態に係る走行映像表示システムは、前方方向の走行映像121aの遠方地点を注目範囲と特定する。そして、注目範囲に応じた走行映像121の表示として、前方方向の走行映像121aを、基準に対して画角を所定の高さ上方にして表示する。ここで、所定の高さは、本実施形態に係る走行映像表示システムを適用する遠隔運転車両1に応じて定められて良い。
また、本実施形態に係る走行映像表示システムは、走行状態情報として遠隔運転車両1の車速の情報を取得し、遠隔運転車両1の車速に応じて走行映像121を表示する。この場合、前方方向の走行映像121aを、基準に対して画角を車速に応じた高さ上方又は下方にして表示する。つまり、車速が高いほど基準に対して画角を上方にして前方方向の走行映像121aを表示し、車速が低いほど基準に対して画角を下方にして前方方向の走行映像121aを表示する。
ここで、車速に応じた高さは、本実施形態に係る走行映像表示システムを適用する遠隔運転車両1に応じて定められて良い。例えば、車速に比例して画角を連続的に変化させるように構成しても良いし、車速のレベルに応じて段階的に画角を変化させるように構成しても良い。
このように走行映像121を表示することで、遠隔運転オペレータ4の前方注視点の変化に対応することができる。延いては、前方方向の走行映像121aの視認を容易にすることができる。
次に図7を参照する。図7は、遠隔運転車両1がカーブ路を走行している場合の走行映像121の表示について説明するための概念図である。
図7の上部は、基準となる走行映像121の表示を示し、図7の下部は、特定した注目方向に応じて表示される走行映像121の表示の例を示している。
図7に示す例では、本実施形態に係る走行映像表示システムは、カーブ路が向かう方向を注目方向と特定する。そして、注目方向に応じた走行映像121を表示する。図7では、前方方向の走行映像121aを、基準に対して画角をカーブ路が向かう方向に拡げて表示している。
このように走行映像121を表示することで、遠隔運転車両1がカーブ路を走行する場合の運転の操作性を向上させることができる。
なお、遠隔運転車両1がカーブ路を走行していることは、走行状態情報に基づいて検出することができる。例えば、走行状態情報として遠隔運転車両1の横Gを取得し、閾値以上の横Gが検出されたことをもって、遠隔運転車両1がカーブ路を走行していると判断する。さらに、走行映像121の画像認識により判断しても良い。
ここで、本実施形態に係る走行映像表示システムによる走行映像121の表示は、遠隔運転オペレータ4が安定して視認しやすい表示装置120の表示範囲の表示について適用されても良い。例えば、表示装置120がマルチモニターで構成されている場合に、遠隔運転オペレータ4の正面に位置するディスプレイ機器の表示について適用されて良い。一方で、このような場合であっても、遠隔運転オペレータ4の注目方向又は注目範囲は、表示装置120の表示全体を対象としても良い。
例えば、遠隔運転オペレータ4の注目方向又は注目範囲が、正面に位置していないディスプレイ機器に表示されている走行映像121である場合に、注目方向又は注目範囲に応じた走行映像121の表示として、注目方向又は注目範囲の対象となる走行映像121を遠隔運転オペレータ4の正面に位置するディスプレイ機器に表示するように構成しても良い。
3.走行映像表示システム
以下、本実施形態に係る走行映像表示システムについて説明する。ただし、前述した内容と重複する事項については適宜省略する。
図8は、本実施形態に係る走行映像表示システム10の概略構成を示すブロック図である。
カメラ210は、遠隔運転車両1に備えられ、遠隔運転車両1の走行映像を撮像して出力する。カメラ210は、複数の方向の走行映像121を撮像する複数のカメラを含んでいる。
カメラ210が出力する走行映像121は、表示処理装置110に伝達される。ただし、表示処理装置110が要求する特定の方向の走行映像121を伝達するように構成しても良い。
センサ220は、遠隔運転車両1に備えられ、遠隔運転車両1の運転環境を検出し、検出情報を出力する。センサ220は、走行状態検出センサ221と、周囲環境検出センサ222と、を含んでいる。
走行状態検出センサ221は、遠隔運転車両1の走行状態(車速、減速度、横G、ヨーレート等)を検出し、検出情報として走行状態情報を出力する。走行状態検出センサ221は、例えば、車輪速センサ、Gセンサ、ジャイロセンサ等である。
周囲環境検出センサ222は、遠隔運転車両1の周囲環境(先行車、車線、障害物等)を検出し、検出情報として周囲環境の情報(先行車との距離、車線の位置、障害物の種別等)を出力する。周囲環境検出センサ222は、例えば、センサカメラ、LIDAR(Light Detection And Ranging)、ミリ波レーダー等である。
運転操作装置130は、遠隔運転オペレータ4による運転操作を受け付け、操作情報を出力する装置である。運転操作装置130として、ウインカー操作装置、ステアリングホイール、シフト操作装置、ガスペダル、ブレーキペダル、ライト操作装置等が例示される。
運転操作装置130が出力する操作情報は、遠隔運転車両1及び表示処理装置110に伝達される。ここで、図7に図示しない制御装置により遠隔運転車両1が操作情報に従って走行することで、遠隔運転オペレータ4による遠隔運転が実現される。
オペレータ状態検出センサ150は、遠隔運転オペレータ4の状態を検出し、動作情報を出力するセンサである。オペレータ状態検出センサ150として、遠隔運転オペレータ4を撮像するセンサカメラが例示される。
表示処理装置110は、取得する情報に基づいて処理を実行し、表示信号を生成して出力する。表示処理装置110が出力する表示信号は、表示装置120に伝達される。特に、表示処理装置110は、注目方向又は注目範囲を特定する特定処理と、走行映像121の表示処理と、を実行する。特定処理及び表示処理については後述する。
表示処理装置110は、典型的には、メモリとプロセッサとを備えるコンピュータである。メモリは、典型的には、データを一時的に記憶するRAM(Random Access Memory)と、プロセッサで実行可能なプログラムやプログラムに係る種々のデータを記憶するROM(Read Only Memory)と、を含んでいる。プロセッサは、メモリからプログラム及びデータを読み出し、データに基づいてプログラムに従う処理を実行する。
表示処理装置110は、典型的には、遠隔運転装置100に備えられる。ただし、遠隔運転装置100の外部の装置であっても良い。例えば、表示処理装置110は、通信ネットワーク上に構成されたサーバーであっても良い。なお、図1において説明したように、表示処理装置110は、その他の遠隔運転に係る処理を実行する情報処理装置であっても良い。
なお、表示処理装置110は、カメラ210から撮像された走行映像121を全て取得するように構成しても良いし、表示装置120に表示するための特定の方向の走行映像121に限って取得するように構成しても良い。この場合、表示処理装置110は、カメラ210に対して、特定の方向の走行映像121を要求するように構成しても良い。
4.走行映像表示方法
以下、本実施形態に係る走行映像表示システム10により実現される走行映像表示方法について説明する。
図9は、本実施形態に係る走行映像表示システム10により実現される走行映像表示方法を示すフローチャートである。図9に示す処理は、所定の制御周期毎に実行される。
ステップS100(撮像処理)において、カメラ210は、走行映像121を撮像する。ステップS100の後、処理はステップS110に進む。
ステップS110(取得処理)において、表示処理装置110は、運転操作装置130、オペレータ状態検出センサ150、及びセンサ220から操作情報、走行状態情報、及び動作情報を取得する。ステップS110の後、処理はステップS120に進む。
ステップS120(特定処理)において、表示処理装置110は、取得処理で取得された情報に基づいて、遠隔運転オペレータ4の注目方向又は注目範囲を特定する。特定処理では、以下に示すいずれかの条件が満たされることをもって注目方向又は注目範囲を特定する。
1つの条件は、遠隔運転オペレータ4が走行映像121の特定方向を注視していることである。表示処理装置110は、動作情報に基づいて、遠隔運転オペレータ4が走行映像121の特定方向を注視しているか否かを判断する。例えば、動作情報として遠隔運転オペレータ4の視線の情報を取得し、視線が特定方向を所定時間継続して向いていることをもって、特定方向を注視していると判断する。表示処理装置110は、遠隔運転オペレータ4が注視している走行映像121の特定方向を注目方向と特定する。
別の1つの条件は、左方向のウインカー操作又はステアリング操作、あるいは右方向のウインカー操作又はステアリング操作が実施されていることである。表示処理装置110は、操作情報としてウインカー操作又はステアリング操作の情報を取得することで条件が満たされるか否かを判断する。表示処理装置110は、左方向のウインカー操作又はステアリング操作を受けて、遠隔運転車両1の左側方向を注目方向と特定し、右方向のウインカー操作又はステアリング操作を受けて、遠隔運転車両1の右側方向を注目方向と特定する。
別の1つの条件は、遠隔運転車両1の所定のブレーキ操作が実施されていることである。表示処理装置110は、操作情報又は走行状態情報に基づいて、所定のブレーキ操作が実施されているか否かを判断する。例えば、表示処理装置110は、操作情報としてハザードランプの点灯操作やブレーキペダルの踏み込み量を取得する、あるいは走行状態情報として遠隔運転車両1の減速度を取得することで条件が満たされるか否かを判断する。表示処理装置110は、遠隔運転車両1の所定のブレーキ操作を受けて、遠隔運転車両1の後側方向を注目方向と特定する。
別の1つの条件は、遠隔運転車両1のハイビームがオンであることである。表示処理装置110は、操作情報としてハイビームのオンオフ状態を取得することで、ハイビームがオンであるか否かを判断する。表示処理装置110は、遠隔運転車両1のハイビームがオンであることを受けて、前方方向の走行映像121aの遠方地点を注目範囲と特定する。
別の1つの条件は、遠隔運転車両1がカーブ路を走行していることである。表示処理装置110は、走行状態情報又は走行映像121に基づいて、遠隔運転車両1がカーブ路を走行しているか否かを判断する。例えば、走行状態情報として遠隔運転車両1の横Gを取得し、横Gが閾値以上となることをもって、カーブ路を走行していると判断する。あるいは、走行映像121の画像認識により、カーブ路を走行していると判断する。表示処理装置110は、遠隔運転車両1がカーブ路を走行していることを受けて、カーブ路が向かう方向を注目方向と特定する。
ここで、それぞれの条件には優先度を与えても良い。そして、複数の条件が満たされるときは、優先度に従って、注目方向又は注目範囲を特定しても良い。あるいは、複数の条件が満たされるときは、複数の注目方向又は注目範囲を特定しても良い。
ステップS120の後、処理はステップS130に進む。
ステップS130(表示処理)において、表示処理装置110は、走行映像121を表示装置120に表示する。図10を参照して、表示処理について説明する。図10に示す処理は、表示処理の実行により開始する。
ステップS131において、表示処理装置110は、特定処理により注目方向又は注目範囲が与えられているか否かを判定する。注目方向又は注目範囲が与えられている場合(ステップS131;Yes)、処理はステップS132に進む。注目方向又は注目範囲が与えられていない場合(ステップS131;No)、処理はステップS133に進む。
ステップS132において、表示処理装置110は、注目方向又は注目範囲を含み、注目方向又は注目範囲に応じた走行映像121を表示装置120に表示する。ここで、特定した注目方向又は注目範囲に応じた走行映像121とは、図3乃至図7において説明したとおりである。ステップS132の後、表示処理は終了する。
ステップS133において、表示処理装置110は、基準となる走行映像121を表示する。ステップS133の後、表示処理は終了する。
なお、表示処理装置110は、取得処理において、操作情報、走行状態情報、及び動作情報のうち少なくとも1つの情報を取得するように構成されていても良い。そして、特定処理において、取得する情報に応じて、適用する条件を限定しても良い。
5.効果
以上説明したように、本実施形態に係る走行映像表示システム及び走行映像表示方法は、遠隔運転オペレータ4の注目方向又は注目範囲を特定する。そして、特定した注目方向又は注目範囲を含み、特定した注目方向又は注目範囲に応じた走行映像121を表示装置120に表示する。これにより、遠隔運転オペレータ4の操作及び監視の負担を増加させることなく、遠隔運転オペレータ4の注目方向又は注目範囲の走行映像121を適切に表示装置120に表示することができる。
6.変形例
本実施形態に係る走行映像表示システム及び表示処理方法は、以下のように変形した態様を採用しても良い。なお、以下の説明において、前述した内容と重複する事項については適宜省略する。
6-1.変形例1
表示処理装置110は、表示処理において、あらかじめ設定される所定の方向又は範囲の走行映像121を表示装置120に表示するように構成しても良い。例えば、前方方向の走行映像121aは、特定処理の結果に関わらず表示するように構成しても良い。さらに、前方方向の走行映像121aとして表示する範囲は、特定処理の結果に関わらず固定して表示するように構成しても良い。
このように変形した態様を採用することで、定常的に監視を要する走行映像121が、特定処理の結果により表示されなくなる、あるいは表示が縮小されることを抑止することができる。
6-2.変形例2
本実施形態に係る走行映像表示システムは、遠隔運転車両1がけん引車両であり、カメラ210が被けん引車両に備えられる一又は複数のカメラを含む場合に適用されても良い。この場合に、表示処理装置110は、表示処理において、注目方向が遠隔運転車両1の左側方向又は右側方向であることを受けて、被けん引車両に備えられるカメラが撮像する走行映像121を表示装置120に表示するように構成しても良い。
このように変形した態様を採用することで、けん引車両である遠隔運転車両1を左方向又は右方向に移動させる場合に、遠隔運転オペレータ4は、被けん引車両の動作を確認することができる。延いては、遠隔運転の操作性を向上させることができる。
1 遠隔運転車両
2 他車両
3 撮像領域
4 遠隔運転オペレータ
10 走行映像表示システム
100 遠隔運転装置
110 表示処理装置
120 表示装置
121 走行映像
130 運転操作装置
140 操作盤
150 オペレータ状態検出センサ
210 カメラ
220 センサ
221 走行状態検出センサ
222 周囲環境検出センサ

Claims (20)

  1. 遠隔運転車両の走行映像を表示装置に表示する走行映像表示方法であって、
    前記遠隔運転車両に備えられる複数のカメラにより複数の方向の前記走行映像を撮像する撮像処理と、
    遠隔運転オペレータによる前記遠隔運転車両の運転操作のための操作情報、前記遠隔運転車両の走行状態情報、及び前記遠隔運転オペレータの動作情報のうち少なくとも1つの情報を取得する取得処理と、
    前記取得処理で取得された情報に基づいて、前記遠隔運転オペレータの注目方向又は注目範囲を特定する特定処理と、
    前記注目方向又は前記注目範囲を含み、前記注目方向又は前記注目範囲に応じた前記走行映像を前記表示装置に表示する表示処理と、
    を含むことを特徴とする走行映像表示方法。
  2. 請求項1に記載の走行映像表示方法であって、
    前記表示処理は、前記注目方向又は前記注目範囲の前記走行映像を強調表示することを含む
    ことを特徴とする走行映像表示方法。
  3. 請求項1又は請求項2に記載の走行映像表示方法であって、
    前記表示処理は、あらかじめ設定される所定の方向又は範囲の前記走行映像を前記表示装置に表示することを含む
    ことを特徴とする走行映像表示方法。
  4. 請求項1乃至請求項3のいずれか1項に記載の走行映像表示方法であって、
    前記特定処理は、前記遠隔運転オペレータが注視している前記走行映像の特定方向を前記注目方向とすることを含む
    ことを特徴とする走行映像表示方法。
  5. 請求項1乃至請求項3のいずれか1項に記載の走行映像表示方法であって、
    前記取得処理は、前記操作情報としてウインカー操作又はステアリング操作の情報を取得することを含み、
    前記特定処理は、左方向の前記ウインカー操作又は前記ステアリング操作を受けて、前記遠隔運転車両の左側方向を前記注目方向とすることと、右方向の前記ウインカー操作又は前記ステアリング操作を受けて、前記遠隔運転車両の右側方向を前記注目方向とすることを含む
    ことを特徴とする走行映像表示方法。
  6. 請求項1乃至請求項3のいずれか1項に記載の走行映像表示方法であって、
    前記特定処理は、前記遠隔運転車両の所定のブレーキ操作を受けて、前記遠隔運転車両の後側方向を前記注目方向とすることを含む
    ことを特徴とする走行映像表示方法。
  7. 請求項1乃至請求項3のいずれか1項に記載の走行映像表示方法であって、
    前記特定処理は、前記遠隔運転車両のハイビームがオンであることを受けて、前方方向の前記走行映像の遠方地点を前記注目範囲とすることを含み、
    前記表示処理は、前記注目範囲が前記遠方地点であることを受けて、前方方向の前記走行映像を、基準に対して画角を所定の高さ上方にして表示することを含む
    ことを特徴とする走行映像表示方法。
  8. 請求項1乃至請求項3のいずれか1項に記載の走行映像表示方法であって、
    前記取得処理は、前記走行状態情報として前記遠隔運転車両の車速の情報を取得することを含み、
    前記表示処理は、前方方向の前記走行映像を、基準に対して画角を前記車速に応じた高さ上方又は下方にして表示することを含む
    ことを特徴とする走行映像表示方法。
  9. 請求項1乃至請求項3のいずれか1項に記載の走行映像表示方法であって、
    前記特定処理は、前記遠隔運転車両がカーブ路を走行していることを受けて、前記カーブ路が向かう方向を前記注目方向とすることを含む
    ことを特徴とする走行映像表示方法。
  10. 請求項5に記載の走行映像表示方法であって、
    前記遠隔運転車両は、けん引車両であり、
    複数の前記カメラは、被けん引車両に備えられる一又は複数のカメラを含み、
    前記表示処理は、前記注目方向が前記遠隔運転車両の左側方向又は右側方向であることを受けて、前記被けん引車両に備えられる前記カメラが撮像する前記走行映像を前記表示装置に表示することを含む
    ことを特徴とする走行映像表示方法。
  11. 遠隔運転車両の走行映像を表示装置に表示する走行映像表示システムであって、
    前記遠隔運転車両に備えられ複数の方向の前記走行映像を撮像する複数のカメラと、
    前記走行映像を表示する処理を実行する表示処理装置と、
    を含み、
    前記表示処理装置は、
    遠隔運転オペレータによる前記遠隔運転車両の運転操作のための操作情報、前記遠隔運転車両の走行状態情報、及び前記遠隔運転オペレータの動作情報のうち少なくとも1つの情報を取得する取得処理と、
    前記取得処理で取得された情報に基づいて、前記遠隔運転オペレータの注目方向又は注目範囲を特定する特定処理と、
    前記注目方向又は前記注目範囲を含み、前記注目方向又は前記注目範囲に応じた前記走行映像を前記表示装置に表示する表示処理と、
    を実行する
    ことを特徴とする走行映像表示システム。
  12. 請求項11に記載の走行映像表示システムであって、
    前記表示処理装置は、前記表示処理において、
    前記注目方向又は前記注目範囲の前記走行映像を強調表示する
    ことを特徴とする走行映像表示システム。
  13. 請求項11又は請求項12に記載の走行映像表示システムであって、
    前記表示処理装置は、前記表示処理において、
    あらかじめ設定される所定の方向又は範囲の前記走行映像を前記表示装置に表示する
    ことを特徴とする走行映像表示システム。
  14. 請求項11乃至請求項13のいずれか1項に記載の走行映像表示システムであって、
    前記表示処理装置は、前記特定処理において、
    前記遠隔運転オペレータが注視している前記走行映像の特定方向を前記注目方向とする
    ことを特徴とする走行映像表示システム。
  15. 請求項11乃至請求項13のいずれか1項に記載の走行映像表示システムであって、
    前記表示処理装置は、
    前記取得処理において、
    前記操作情報としてウインカー操作又はステアリング操作の情報を取得し、
    前記特定処理において、
    左方向の前記ウインカー操作又は前記ステアリング操作を受けて、前記遠隔運転車両の左側方向を前記注目方向とし、右方向の前記ウインカー操作又は前記ステアリング操作を受けて、前記遠隔運転車両の右側方向を前記注目方向とする
    ことを特徴とする走行映像表示システム。
  16. 請求項11乃至請求項13のいずれか1項に記載の走行映像表示システムであって、
    前記表示処理装置は、前記特定処理において、
    前記遠隔運転車両の所定のブレーキ操作を受けて、前記遠隔運転車両の後側方向を前記注目方向とする
    ことを特徴とする走行映像表示システム。
  17. 請求項11乃至請求項13のいずれか1項に記載の走行映像表示システムであって、
    前記表示処理装置は、
    前記特定処理において、
    前記遠隔運転車両のハイビームがオンであることを受けて、前方方向の前記走行映像の遠方地点を前記注目範囲とし、
    前記表示処理において、
    前記注目範囲が前記遠方地点であることを受けて、前方方向の前記走行映像を、基準に対して画角を所定の高さ上方にして表示する
    ことを特徴とする走行映像表示システム。
  18. 請求項11乃至請求項13のいずれか1項に記載の走行映像表示システムであって、
    前記表示処理装置は、
    前記取得処理において、
    前記走行状態情報として前記遠隔運転車両の車速の情報を取得し、
    前記表示処理において、
    前方方向の前記走行映像を、基準に対して画角を前記車速に応じた高さ上方又は下方にして表示する
    ことを特徴とする走行映像表示システム。
  19. 請求項11乃至請求項13のいずれか1項に記載の走行映像表示システムであって、
    前記表示処理装置は、前記特定処理において、
    前記遠隔運転車両がカーブ路を走行していることを受けて、前記カーブ路が向かう方向を前記注目方向とする
    ことを特徴とする走行映像表示システム。
  20. 請求項15に記載の走行映像表示システムであって、
    前記遠隔運転車両は、けん引車両であり、
    複数の前記カメラは、被けん引車両に備えられる一又は複数のカメラを含み、
    前記表示処理装置は、前記表示処理において、
    前記注目方向が前記遠隔運転車両の左側方向又は右側方向であることを受けて、前記被けん引車両に備えられる前記カメラが撮像する前記走行映像を前記表示装置に表示する
    ことを特徴とする走行映像表示システム。
JP2021134028A 2021-08-19 2021-08-19 走行映像表示方法、走行映像表示システム Pending JP2023028366A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021134028A JP2023028366A (ja) 2021-08-19 2021-08-19 走行映像表示方法、走行映像表示システム
US17/885,971 US20230017458A1 (en) 2021-08-19 2022-08-11 Traveling video display method and traveling video display system
CN202210987094.0A CN115941883A (zh) 2021-08-19 2022-08-17 行驶影像显示方法、行驶影像显示系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021134028A JP2023028366A (ja) 2021-08-19 2021-08-19 走行映像表示方法、走行映像表示システム

Publications (1)

Publication Number Publication Date
JP2023028366A true JP2023028366A (ja) 2023-03-03

Family

ID=84891393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021134028A Pending JP2023028366A (ja) 2021-08-19 2021-08-19 走行映像表示方法、走行映像表示システム

Country Status (3)

Country Link
US (1) US20230017458A1 (ja)
JP (1) JP2023028366A (ja)
CN (1) CN115941883A (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102043060B1 (ko) * 2015-05-08 2019-11-11 엘지전자 주식회사 자율 주행 장치 및 이를 구비한 차량
US9535423B1 (en) * 2016-03-29 2017-01-03 Adasworks Kft. Autonomous vehicle with improved visual detection ability
JP2018045482A (ja) * 2016-09-15 2018-03-22 ソニー株式会社 撮像装置、信号処理装置、及び、車両制御システム
KR20190078553A (ko) * 2019-06-14 2019-07-04 엘지전자 주식회사 차량 제어 방법 및 차량을 제어하는 지능형 컴퓨팅 디바이스
US20210263513A1 (en) * 2020-02-26 2021-08-26 Polaris Industries Inc. Environment monitoring system and method for a towed recreational vehicle

Also Published As

Publication number Publication date
CN115941883A (zh) 2023-04-07
US20230017458A1 (en) 2023-01-19

Similar Documents

Publication Publication Date Title
US11338856B2 (en) Systems and methods for switching between a driver mode and an autonomous driving mode for a vehicle
US11364930B2 (en) Vehicle control system, vehicle control method and program
US11077862B2 (en) Vehicle control system, vehicle control method, and storage medium
US20180345790A1 (en) Vehicle control system, vehicle control method, and storage medium
CN110730740B (zh) 车辆控制系统、车辆控制方法及存储介质
US11203360B2 (en) Vehicle control system, vehicle control method and program
US20180345991A1 (en) Vehicle control system, vehicle control method, and storage medium
US11565713B2 (en) Vehicle control system, vehicle control method, and vehicle control program
US20180348757A1 (en) Vehicle control system, vehicle control method, and storage medium
JP2010173530A (ja) 走行支援装置
CN111443707A (zh) 自主引导车辆到利用远程设备选择的期望停放位置
CN109416877B (zh) 驾驶辅助方法、驾驶辅助装置、驾驶辅助系统
US10503167B2 (en) Vehicle control system, vehicle control method, and storage medium
JP2019014300A (ja) 車両制御システム、車両制御方法、およびプログラム
US20210171036A1 (en) Method, device and means of transport for an automated starting up of a means of transport at a light signal system
JP2019043176A (ja) 車載表示装置
US10067341B1 (en) Enhanced heads-up display system
KR20210120398A (ko) 차량에 탑재된 CMS 사이드 디스플레이(Camera Monitoring System Side Display)를 이용하여 영상을 디스플레이하는 전자 장치 및 그 동작 방법
CN110832564B (zh) 车辆用投影控制装置以及平视显示装置
JP6589991B2 (ja) ヒューマンインターフェース
US20230373309A1 (en) Display control device
US20230103715A1 (en) Vehicle display control device, vehicle display control system, and vehicle display control method
JP2023028366A (ja) 走行映像表示方法、走行映像表示システム
JP2019043175A (ja) ヘッドアップディスプレイ装置
US20220360745A1 (en) Remote monitoring device, remote monitoring system, and remote monitoring method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240415

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240507