JP2022172945A - 遠隔支援システム及び遠隔支援方法 - Google Patents

遠隔支援システム及び遠隔支援方法 Download PDF

Info

Publication number
JP2022172945A
JP2022172945A JP2021079309A JP2021079309A JP2022172945A JP 2022172945 A JP2022172945 A JP 2022172945A JP 2021079309 A JP2021079309 A JP 2021079309A JP 2021079309 A JP2021079309 A JP 2021079309A JP 2022172945 A JP2022172945 A JP 2022172945A
Authority
JP
Japan
Prior art keywords
image data
threshold
data
equal
less
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021079309A
Other languages
English (en)
Inventor
敏暢 渡辺
Toshinobu Watanabe
祥 三栗谷
Sho Mikuriya
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Woven by Toyota Inc
Original Assignee
Woven Planet Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Woven Planet Holdings Inc filed Critical Woven Planet Holdings Inc
Priority to JP2021079309A priority Critical patent/JP2022172945A/ja
Priority to US17/735,626 priority patent/US20220358620A1/en
Priority to CN202210484881.3A priority patent/CN115311877A/zh
Publication of JP2022172945A publication Critical patent/JP2022172945A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Figure 2022172945000001
【課題】車両の走行を遠隔支援する場合において、当該車両から送られてくる画像データに含まれる信号機の発光部の灯火状態をオペレータが認識可能なレベルまで改善する。
【解決手段】遠隔施設のプロセッサは、車両の前方の画像データを示すフロント画像データに基づいて、ディスプレイに表示する支援画像データを生成する画像生成処理を行う。画像生成処理では、フロント画像データに信号機の画像が含まれる場合、当該信号機の発光部の灯火状態の認識尤度が閾値以下であるか否かが判定される。認識尤度が閾値以下であると判定された場合、フロント画像データにおける信号機を含む所定領域の超解像度化処理が行われる。そして、超解像度化処理による所定領域の超解像画像データが、フロント画像データにおける当該所定領域に相当する領域に重畳される。これにより、支援画像データが生成される。
【選択図】図１２

Description

本発明は、車両の走行を遠隔支援するシステム及び方法に関する。
特開２０１８－７７６４９号公報は、車両の遠隔運転を行うシステムを開示する。この従来のシステムは、遠隔運転を行うオペレータが駐在する管理施設を備える。オペレータによる遠隔運転は、車両からのリクエストに応じて開始される。遠隔運転中、車両から管理施設に対しては、各種データが送信される。各種データには、カメラ等の車載機器により取得された車両の周辺環境データが含まれる。周辺環境データには、画像データが含まれる。画像データは、管理施設のディスプレイを介してオペレータに提供される。
特開２０１８－７７６４９号公報 特開２０２０-４２８１５号公報 特許第６１９６０４４号 特開２０２０－５１９９７５号公報 特開２０１８－６３６８０号公報 特開２００８－１３４９１６号公報
オペレータによる遠隔運転を含む遠隔支援中において、車両の走行安全性を確保するためには、当該車両の遠方の信号機の発光部の灯火状態を高解像度で認識できることが望ましい。しかしながら、車両からの通信量には限度があることから、管理施設が受信した画像データの解像度はそれほど高くないことが予想される。よって、低解像度の画像データを管理施設が受信した場合であっても、この画像データに含まれる信号機の発光部の灯火状態をオペレータが認識可能なレベルまで改善するための技術開発が求められる。
本発明の１つの目的は、車両の走行を遠隔支援する場合において、当該車両から送られてくる画像データに含まれる信号機の発光部の灯火状態をオペレータが認識可能なレベルまで改善することのできる技術を提供することにある。
第１の発明は、遠隔支援システムであり、次の特徴を有する。
前記遠隔支援システムは、車両と、前記車両の走行を支援する遠隔施設と、を備える。
前記遠隔施設は、メモリと、プロセッサとを備える。前記メモリには、前記車両の前方の画像データを示すフロント画像データが格納される。前記プロセッサは、前記フロント画像データに基づいて、前記遠隔施設のディスプレイに表示する支援画像データを生成する画像生成処理を行う。
前記プロセッサは、前記画像生成処理において、
前記フロント画像データに信号機の画像が含まれる場合、前記信号機の発光部の灯火状態の認識尤度が閾値以下であるか否かを判定し、
前記認識尤度が前記閾値以下であると判定された場合、前記フロント画像データにおける前記信号機を含む所定領域の超解像度化処理を行い、
前記超解像度化処理による前記所定領域の超解像画像データを、前記フロント画像データにおける前記所定領域に相当する領域に重畳して前記支援画像データを生成する。
第２の発明は、第１の発明において更に次の特徴を有する。
前記遠隔施設は、更に、信号機の発光部の灯火状態を模擬した模擬画像データが格納されたデータベースを備える。
前記閾値は、前記閾値に相当する第１閾値と、前記第１閾値よりも低い第２閾値と、を含む。
前記プロセッサは、前記画像生成処理において、更に、
前記認識尤度が前記第１閾値以下であると判定された場合、前記認識尤度が前記第２閾値以下であるか否かを判定し、
前記認識尤度が前記第２閾値以下であると判定された場合、前記超解像画像データに基づいて前記支援画像データを生成し、
前記認識尤度が前記第２閾値以下でないと判定された場合、前記フロント画像データにおいて認識された前記灯火状態を用いた前記データベースの参照により、当該灯火状態に対応する模擬画像データを選択し、
前記フロント画像データにおける前記所定領域に相当する領域に前記模擬画像データを重畳して前記支援画像データを生成する。
第３の発明は、第２の発明において更に次の特徴を有する。
前記遠隔施設は、更に、信号機の発光部の灯火状態を示すアイコンデータが格納されたデータベースを備える。
前記プロセッサは、前記画像生成処理において、更に、
前記認識尤度が前記第２閾値以下でないと判定された場合、前記フロント画像データにおいて認識された前記灯火状態を用いた前記データベースの参照により、当該灯火状態に対応するアイコンデータを選択し、
前記模擬画像データが重畳された領域の近傍に前記アイコンデータを重畳して前記支援画像データを生成する。
第４の発明は、車両の走行を遠隔支援する方法であって、次の特徴を有する。
前記遠隔支援を行う遠隔施設のプロセッサは、車両の前方の画像データを示すフロント画像データに基づいて、前記遠隔施設のディスプレイに表示する支援画像データを生成する画像生成処理を行う。
前記プロセッサは、前記画像生成処理において、
前記フロント画像データに信号機の画像が含まれる場合、前記信号機の発光部の灯火状態の認識尤度が閾値以下であるか否かを判定し、
前記認識尤度が前記閾値以下であると判定された場合、前記フロント画像データにおける前記信号機を含む所定領域の超解像度化処理を行い、
前記超解像度化処理による前記所定領域の超解像画像データを、前記フロント画像データにおける前記所定領域に重畳して前記支援画像データを生成する。
第５の発明は、第４の発明において更に次の特徴を有する。
前記閾値は、前記閾値に相当する第１閾値と、前記第１閾値よりも低い第２閾値と、を含む。
前記プロセッサは、前記画像生成処理において、更に、
前記認識尤度が前記第１閾値以下であると判定された場合、前記認識尤度が前記第２閾値以下であるか否かを判定し、
前記認識尤度が前記第２閾値以下であると判定された場合、前記超解像画像データに基づいて前記支援画像データを生成し、
前記認識尤度が前記第２閾値以下でないと判定された場合、信号機の発光部の灯火状態を模擬した模擬画像データが格納されたデータベースの参照を、前記フロント画像データにおいて認識された前記灯火状態を用いて行って当該灯火状態に対応する模擬画像データを選択し、
前記フロント画像データにおける前記所定領域に相当する領域に前記模擬画像データを重畳して前記支援画像データを生成する。
第６の発明は、第５の発明において更に次の特徴を有する。
前記プロセッサは、前記画像生成処理において、更に、
前記認識尤度が前記第２閾値以下であると判定された場合、信号機の発光部の灯火状態を示すアイコンデータが格納されたデータベースの参照を、前記フロント画像データにおいて認識された前記灯火状態を用いて行って当該灯火状態に対応するアイコンデータを選択し、
前記模擬画像データが重畳された領域の近傍に前記アイコンデータを重畳して前記支援画像データを生成する。
第１又は４の発明によれば、灯火状態の認識尤度が閾値以下の場合、信号機を含む所定領域の超解像画像データを含む支援画像データをディスプレイに表示することが可能となる。そのため、認識尤度が閾値以下の場合においても、灯火状態をオペレータが認識可能なレベルまで改善することが可能となる。従って、オペレータによる遠隔支援中の車両の走行安全性を確保することが可能となる。
第２又は５の発明によれば、灯火状態の認識尤度が第２閾値以下の場合には、信号機を含む所定領域の超解像画像データを含む支援画像データをディスプレイに表示することが可能となる。灯火状態の認識尤度が第２閾値超、かつ、第１閾値以下の場合には、信号機を含む所定領域の模擬画像データを含む支援画像データをディスプレイに表示することが可能となる。模擬画像データは、灯火状態を模擬した画像データである。従って、第１又は４の発明による効果と同じ効果を得ることが可能となる。
第３又は６の発明によれば、灯火状態の認識尤度が第２閾値超、かつ、第１閾値以下の場合に、模擬画像データが重畳された領域の近傍にアイコンデータを表示することが可能となる。アイコンデータは、灯火状態を示す画像データである。従って、第２又は５の発明による効果を高めることが可能となる。
実施形態に係る遠隔支援システムにおいて行われる遠隔支援を説明するための概念図である。 ディスプレイに表示される支援画像データの一例を示す模式図である。 認識尤度が閾値以下の場合に生成される支援画像データの一例を示す模式図である。 認識尤度と支援画像データの関係の一例を示した図である。 認識尤度が閾値以下の場合に生成される支援画像データの別の例を示す模式図である。 認識尤度と支援画像データの関係の別の例を示した図である。 認識尤度が第２閾値超、かつ、第１閾値以下の場合に生成される支援画像データの例を示す模式図である。 車両の構成例を示すブロック図である。 遠隔施設の構成例を示すブロック図である 車両のデータ処理装置の機能構成例を示すブロック図である。 遠隔施設のデータ処理装置の機能構成例を示すブロック図である。 画像生成処理の流れを示すフローチャートである。 超解像度化処理の流れを示すフローチャートである。 図１３のステップＳ１７２の処理の概要を示す図である。
以下、図面を参照しながら、本発明の実施形態に係る遠隔支援システム及び遠隔支援方法について説明する。なお、実施形態に係る遠隔支援方法は、実施形態に係る遠隔支援システムにおいて行われるコンピュータ処理により実現される。また、各図において、同一又は相当する部分には同一符号を付してその説明を簡略化し又は省略する。
１．実施形態の概要
１－１．遠隔支援
図１は、実施形態に係る遠隔支援システムにおいて行われる遠隔支援を説明するための概念図である。図１に示される遠隔支援システム１は、遠隔支援の対象である車両２と、車両２と通信を行う遠隔施設３と、を備えている。車両２と遠隔施設３の間の通信は、ネットワーク４を介して行われる。この通信において、車両２から遠隔施設３へは、通信データＣＯＭ２が送信される。一方、遠隔施設３から車両２へは、通信データＣＯＭ３が送信される。
車両２は、例えば、ディーゼルエンジンやガソリンエンジンなどの内燃機関を動力源とする自動車、電動機を動力源とする電気自動車、内燃機関と電動機を備えるハイブリッド自動車である。電動機は、二次電池、水素燃料電池、金属燃料電池、アルコール燃料電池などの電池により駆動される。
車両２は、車両２のドライバの操作により走行する。車両２の走行は、車両２に搭載された制御システムにより行われてもよい。この制御システムは、例えば、ドライバの操作に基づいた車両２の走行を支援し、又は、車両２の自動走行のための制御を行う。ドライバ又は制御システムが遠隔施設３に対して支援要求をした場合、車両２は、遠隔施設３に駐在するオペレータの操作に基づいて走行する。
車両２は、カメラ２１を備えている。カメラ２１は、車両２の周辺環境の画像（動画）を撮影する。カメラ２１は、車両２の少なくとも前方の画像を撮影するために、少なくとも１台設けられる。前方撮影用のカメラ２１は、例えば、車両２のフロントガラスの背面に設けられる。カメラ２１が取得した画像データ（以下、「フロント画像データ」とも称す。）ＩＭＧは、典型的には動画データである。ただし、フロント画像データＩＭＧは静止画像データであってもよい。フロント画像データＩＭＧは、通信データＣＯＭ２に含まれる。
遠隔施設３は、車両２のドライバ又は制御システムからの支援要求信号を受け付けた場合、オペレータの操作に基づいて車両２の走行を支援する。遠隔施設３には、ディスプレイ３１が設けられている。ディスプレイ３１としては、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）及び有機ＥＬ（ＯＬＥＤ：Organic Light Emitting Diode）ディスプレイが例示される。
オペレータによる走行支援の最中、遠隔施設３は、車両２から受信したフロント画像データＩＭＧに基づいて、ディスプレイ３１に表示するためのデータとしての「支援画像データＡＩＭＧ」を生成する。オペレータは、ディスプレイ３１に表示される支援画像データＡＩＭＧに基づいて車両２の周辺環境を把握し、車両２に対する支援指示を入力する。遠隔施設３は、この支援指示のデータを車両２に送信する。この支援指示データは、通信データＣＯＭ３に含まれる。
オペレータによる支援としては、認識支援及び判断支援が例示される。車両２の制御システムにより自動走行が行われる場合を考える。この場合は、自動走行の支援が必要となることがある。例えば、車両２の前方に存在する信号機に日光が当たっている場合、信号機の発光部（例えば、青色、黄色及び赤色発光部、矢印発光部）の灯火状態の認識精度が低下する。灯火状態を認識することができない場合、どのような行動をどのタイミングで実行すべきか判断することも困難となる。このような場合、灯火状態の認識支援、及び／又は、オペレータが認識した灯火状態に基づいた車両２の行動の判断支援が行われる。
オペレータによる支援には、遠隔運転も含まれる。遠隔運転は、車両２の制御システムにより車両２が自動走行している場合だけでなく、車両２のドライバの操作により車両２が走行している場合にも行われる。遠隔運転において、オペレータは、ディスプレイ３１に表示される支援画像データＡＩＭＧを参考にして、操舵、加速、及び減速の少なくとも一つを含む車両２の運転操作を行う。この場合、オペレータによる支援指示は、車両２の運転操作の内容を示す。車両２は、この支援指示のデータに従って、操舵、加速、及び減速の少なくとも一つを行う。
１－２．実施形態の特徴
図２は、ディスプレイ３１に表示される支援画像データＡＩＭＧの一例を示す模式図である。図２に示される例では、車両２の前方のフロント画像データＩＭＧに基づいて生成された交差点付近の支援画像データＡＩＭＧが、ディスプレイ３１に表示されている。信号機ＴＳは、この交差点における車両２の通行を指示するものである。車両２の走行の支援を行う場合、オペレータは、支援画像データＡＩＭＧに含まれる信号機ＴＳの発光部の灯火状態を認識して支援指示を入力する。
ところで、車両２の走行安全性を確保するためには、灯火状態を高解像度で認識できることが望ましい。特に、遠隔運転が行われる場合は、車両２から信号機ＴＳまでの距離が離れていても、灯火状態を高解像度で認識できることが望ましい。しかしながら、通信データＣＯＭ２のデータ通信量には限度がある。そのため、遠隔施設３が受信するフロント画像データＩＭＧの解像度がそれほど高くないことが予想される。
１－２－１．第１の例
そこで、実施形態では、支援画像データＡＩＭＧの生成の際、車両２から受信したフロント画像データＩＭＧに含まれる灯火状態の認識の尤度（Likelihood）ＬＨを取得する。ここで、認識尤度ＬＨは、ディープラーニングを利用した物標検出における出力の確からしさを示す数値である。認識尤度ＬＨの具体例としては、ＹＯＬＯ（You Only Look Once）ネットワークを利用したディープラーニングの物標の分類結果と共に出力される当該分類結果の指標が挙げられる。なお、実施形態に適用可能な認識尤度ＬＨの取得の手法は特に限定されない。
灯火状態の認識尤度ＬＨ（以下、「認識尤度ＬＨＬＭＰ」とも称す。）が低い場合は、ディスプレイ３１に表示されたフロント画像データＩＭＧ（つまり、支援画像データＡＩＭＧ）を見たときに、オペレータが灯火状態を認識できない可能性がある。そこで、実施形態の第１の例では、認識尤度ＬＨＬＭＰが閾値ＴＨ以下の場合、信号機ＴＳを含む認識領域の画像データに「超解像技術」を適用することによって、当該画像データの画質を改善する。超解像技術は、入力される低解像度の画像データを高解像度のそれに変換（マッピング）する技術である。
超解像技術としては、例えば下記文献の技術が例示される。この文献には、ＣＮＮ（Convolutional Neural Network）に基づくディープラーニングを超解像（Super Resolution）に適用したＳＲＣＮＮが開示されている。入力される低解像度の画像データを高解像度のそれに変換するモデル（以下、「超解像モデル」とも称す。）が、機械学習により得られる。
Chao Dong, Chen Change Loy, Kaiming He, and Xiaoou Tang, "Image Super-Resolution Using Deep Convolutional Networks", arXiv:1501.00092v3 [cs.CV], July 31, 2015 (https://arxiv.org/pdf/1501.00092.pdf)
以下、超解像技術の適用により改善された所定領域の画像データを「超解像画像データＳＩＭＧ」と称す。実施形態では、超解像画像データＳＩＭＧが生成された場合、この超解像画像データＳＩＭＧと、フロント画像データＩＭＧとの合成が行われる。図３は、認識尤度ＬＨＬＭＰが閾値ＴＨ以下の場合に生成される支援画像データＡＩＭＧの一例を示す模式図である。図３に示される例では、フロント画像データＩＭＧの所定領域に超解像画像データＳＩＭＧを重畳することにより生成された支援画像データＡＩＭＧが、ディスプレイ３１に表示される。
一方、認識尤度ＬＨＬＭＰが高い場合は、ディスプレイ３１に表示されたフロント画像データＩＭＧ（つまり、支援画像データＡＩＭＧ）を見たときに、オペレータが灯火状態を容易に認識できると推定される。そこで、実施形態では、認識尤度ＬＨＬＭＰが閾値ＴＨよりも高い場合は超解像技術の適用を行わず、フロント画像データＩＭＧをそのまま用いて支援画像データＡＩＭＧが生成される。
図４は、認識尤度ＬＨＬＭＰと、支援画像データＡＩＭＧとの関係の一例を示した図である。図４に示されるように、認識尤度ＬＨＬＭＰが閾値ＴＨよりも高い場合は、フロント画像データＩＭＧに基づいて支援画像データＡＩＭＧが生成される。一方、認識尤度ＬＨＬＭＰが閾値ＴＨ以下の場合は、フロント画像データＩＭＧと、超解像画像データＳＩＭＧとに基づいて支援画像データＡＩＭＧが生成される。
１－２－２．第２の例
第２の例では、認識尤度ＬＨＬＭＰが閾値ＴＨ以下の場合の支援画像データＡＩＭＧの生成手法を更に場合分けする。第２の例では、閾値ＴＨと、この閾値ＴＨよりも小さな閾値とが設定される。説明の便宜上、前者を「第１閾値ＴＨ１」と称し、後者を「第２閾値ＴＨ２」と称す（ＴＨ１＞ＴＨ２）。
第２の例では、認識尤度ＬＨＬＭＰが第２閾値ＴＨ２超、かつ、第１閾値ＴＨ１以下の場合、灯火状態に対応する模擬画像データＱＩＭＧの選択が行われる。模擬画像データＱＩＭＧは、発光部の灯火状態を模擬した画像データである。模擬画像データＱＩＭＧは、実際の灯火状態を示すデータの代替データとして事前に設定されている。
認識尤度ＬＨＬＭＰが第１閾値ＴＨ１以下であったとしても、認識尤度ＬＨＬＭＰが第２閾値ＴＨ２超であれば、灯火状態の分類結果に一定の確からしさがあると推定される。そこで、第２の例では、選択された模擬画像データＱＩＭＧと、フロント画像データＩＭＧとの合成が行われる。
認識尤度ＬＨＬＭＰが第２閾値ＴＨ２以下の場合の支援画像データＡＩＭＧの生成手法は、第１の例で説明したそれと同じである。つまり、この場合は、超解像画像データＳＩＭＧの生成が行われる。模擬画像データＱＩＭＧの選択又は超解像画像データＳＩＭＧの生成が行われた場合、何れかの画像データと、フロント画像データＩＭＧとの合成が行われる。
図５は、認識尤度ＬＨＬＭＰが閾値ＴＨ以下の場合に生成される支援画像データＡＩＭＧの別の例を示す模式図である。図５に示される例では、フロント画像データＩＭＧの所定領域に、超解像画像データＳＩＭＧ又は模擬画像データＱＩＭＧを重畳することにより生成された支援画像データＡＩＭＧが、ディスプレイ３１に表示される。
認識尤度ＬＨＬＭＰが閾値ＴＨよりも高い場合の支援画像データＡＩＭＧの生成手法は、第１の例で説明したそれと同じである。つまり、この場合は、フロント画像データＩＭＧをそのまま用いて支援画像データＡＩＭＧが生成される。
図６は、認識尤度ＬＨＬＭＰと、支援画像データＡＩＭＧとの関係の別の例を示した図である。図６に示されるように、認識尤度ＬＨＬＭＰが第１閾値ＴＨ１（即ち、図４に示した閾値ＴＨ））よりも高い場合は、フロント画像データＩＭＧに基づいて支援画像データＡＩＭＧが生成される。認識尤度ＬＨＬＭＰが第２閾値ＴＨ２超、かつ、第１閾値ＴＨ１以下の場合は、フロント画像データＩＭＧと、模擬画像データＱＩＭＧとに基づいて支援画像データＡＩＭＧが生成される。認識尤度ＬＨＬＭＰが第２閾値ＴＨ２以下の場合は、フロント画像データＩＭＧと、超解像画像データＳＩＭＧとに基づいて支援画像データＡＩＭＧが生成される。
１－２－３．第３の例
第３の例では、認識尤度ＬＨＬＭＰが第２閾値ＴＨ２超、かつ、第１閾値ＴＨ１以下の場合、灯火状態に対応するアイコンデータＩＣＮの選択が行われる。第２の例で説明したように、認識尤度ＬＨＬＭＰが第１閾値ＴＨ１以下であったとしても、認識尤度ＬＨＬＭＰが第２閾値ＴＨ２超であれば、灯火状態の分類結果に一定の確からしさがあると推定される。そこで、第３の例では、第２の例で説明した模擬画像データＱＩＭＧを補足するデータとして、アイコンデータＩＣＮが選択される。アイコンデータＩＣＮは、灯火状態にある発光部を示すデータであり、事前に設定されている。例えば、青色発光部が灯火状態にある場合のアイコンデータは「信号：青」を示す。
アイコンデータＩＣＮの選択が行われた場合、このアイコンデータＩＣＮと、模擬画像データＱＩＭＧと、フロント画像データＩＭＧとの合成が行われる。図７は、認識尤度ＬＨＬＭＰが第２閾値ＴＨ２超、かつ、第１閾値ＴＨ１以下の場合に生成される支援画像データＡＩＭＧの例を示す模式図である。図７に示される例では、フロント画像データＩＭＧの所定領域に模擬画像データＱＩＭＧが重畳され、かつ、この所定領域の近傍にアイコンデータＩＣＮが重畳された支援画像データＡＩＭＧが、ディスプレイ３１に表示される。
以上説明したように、実施形態によれば、認識尤度ＬＨＬＭＰに応じて生成された支援画像データＡＩＭＧをディスプレイ３１に表示することが可能となる。従って、認識尤度ＬＨＬＭＰが高い場合だけでなく、認識尤度ＬＨＬＭＰが低い場合においても、オペレータが灯火状態を容易に認識することが可能となる。従って、オペレータによる遠隔支援中の車両２の走行安全性を確保することが可能となる。
以下、実施形態に係る遠隔支援システムについて、詳細に説明する。
２．遠隔支援システム
２－１．車両の構成例
図８は、図１に示した車両２の構成例を示すブロック図である。図８に示されるように、車両２は、カメラ２１と、センサ群２２と、通信装置２３と、データ処理装置２４と、を備えている。カメラ２１、センサ群２２及び通信装置２３と、データ処理装置２４とは、例えば、車載のネットワーク（例えば、ＣＡＮ（Car Area Network））により接続されている。なお、カメラ２１の説明については、図１の説明において既に述べたとおりである。
センサ群２２は、車両２の状態を検出する状態センサを含んでいる。状態センサとしては、速度センサ、加速度センサ、ヨーレートセンサ及び舵角センサが例示される。センサ群２２は、また、車両２の位置及び方位を検出する位置センサを含んでいる。位置センサとしては、ＧＮＳＳ（Global Navigation Satellite System）センサが例示される。センサ群２０は、更に、カメラ２１以外の認識センサを含んでいてもよい。認識センサは、電波又は光を利用して車両２の周辺環境を認識（検出）する。認識センサとしては、ミリ波レーダ及びＬＩＤＡＲ（Laser Imaging Detection and Ranging）が例示される。
通信装置２３は、ネットワーク４の基地局（不図示）との間で無線通信を行う。この無線通信の通信規格としては、４Ｇ、ＬＴＥ、または５Ｇ等の移動体通信の規格が例示される。通信装置２３の接続先には、遠隔施設３が含まれる。遠隔施設３との通信において、通信装置２３は、データ処理装置２４から受け取った通信データＣＯＭ２を、遠隔施設３に送信する。
データ処理装置２４は、車両２が取得した各種データを処理するためのコンピュータである。データ処理装置２４は、プロセッサ２５と、メモリ２６と、インターフェース２７と、を備える。プロセッサ２５は、ＣＰＵ（Central Processing Unit）を含んでいる。メモリ２６は、ＤＤＲメモリなどの揮発性のメモリであり、プロセッサ２５が使用するプログラムの展開及び各種データの一時保存を行う。車両２が取得した各種データは、メモリ２６に格納される。この各種データには、上述したフロント画像データＩＭＧが含まれる。インターフェース２７は、カメラ２１、センサ群２２等の外部装置とのインターフェースである。
プロセッサ２５は、フロント画像データＩＭＧをエンコードして、インターフェース２７を介して通信装置２３に出力する。エンコード処理に際し、フロント画像データＩＭＧは圧縮されてもよい。エンコードされたフロント画像データＩＭＧは、通信データＣＯＭ２に含まれる。なお、フロント画像データＩＭＧのエンコード処理は、プロセッサ２５及びメモリ２６を用いて実行されなくてもよい。例えば、ＧＰＵ（Graphics Processing Unit）やＤＳＰ（Digital Signal Processor）でのソフトウェア処理、又は、ＡＳＩＣやＦＰＧＡによるハードウェア処理により、上述した各種処理が実行されてもよい。
２－２．遠隔施設の構成例
図９は、図１に示した遠隔施設３の構成例を示すブロック図である。図９に示されるように、遠隔施設３は、ディスプレイ３１と、入力装置３２と、データベース３３と、通信装置３４と、データ処理装置３５と、を備えている。入力装置３２、データベース３３及び通信装置３４と、データ処理装置３５とは、専用のネットワークより接続されている。なお、ディスプレイ３１の説明については、図１の説明において既に述べたとおりである。
入力装置３２は、遠隔施設３のオペレータが操作する装置である。入力装置３２は、例えば、オペレータによる入力を受け付ける入力部と、この入力に基づいて支援指示データを生成及び出力する制御回路と、を備えている。入力部としては、タッチパネル、マウス、キーボード、ボタン及びスイッチが例示される。オペレータによる入力としては、ディスプレイ３１に表示されたカーソルの移動操作と、ディスプレイ３１に表示されたボタンの選択操作と、が例示される。
オペレータが車両２の遠隔運転を行う場合は、入力装置３２が走行用の入力装置を備えていてもよい。この走行用の入力装置としては、ステアリングホイール、シフトレバー、アクセルペダル及びブレーキペダルが例示される。
データベース３３は、フラッシュメモリやＨＤＤ（Hard Disk Drive）といった不揮発性の記憶媒体である。データベース３３には、車両２の走行の遠隔支援（又は車両２の遠隔運転）に必要な各種プログラム及び各種データが格納されている。この各種データとしては、超解像モデルＭＳＲが例示される。超解像モデルＭＳＲは、信号機ＴＳを含む認識領域のサイズとして想定されるサイズの数に応じて複数準備されている。
超解像モデルＭＳＲが複数準備される理由は、次のとおりである。即ち、フロント画像データＩＭＧにディープラーニング（例えば、上述したＹＯＬＯネットワークを利用したディープラーニング）を適用することで信号機ＴＳが検出されると、この信号機ＴＳを含む認識領域の画像データが出力される。ただし、この画像データのサイズは任意である。一方、超解像度化のためのディープラーニング（例えば、上述したＳＲＣＮＮ）では、サイズが固定された画像データを入力する必要がある。そのため、前者と後者のアスペクト比が異なるような場合は、超解像度化された画像データが歪んでしまう。
データベース３３に格納される各種データには、模擬画像データＱＩＭＧが含まれる。この各種データには、模擬画像データＱＩＭＧが更に含まれてもよい。図９に示される例では、模擬画像データＱＩＭＧ及びアイコンデータＩＣＮがデータベース３３に格納されている。模擬画像データＱＩＭＧ及びアイコンデータＩＣＮは、想定される灯火状態の数に応じて準備される。超解像モデルＭＳＲ同様、ディープラーニングにより出力される信号機ＴＳを含む領域のサイズの数に応じて、サイズの異なる模擬画像データＱＩＭＧ及びアイコンデータＩＣＮがそれぞれ複数準備されてもよい。
通信装置３４は、ネットワーク４の基地局との間で無線通信を行う。この無線通信の通信規格としては、４Ｇ、ＬＴＥ、または５Ｇ等の移動体通信の規格が例示される。通信装置３４の通信先には、車両２が含まれる。車両２との通信において、通信装置３４は、データ処理装置３５から受け取った通信データＣＯＭ３を、車両２に送信する。
データ処理装置３５は、各種データを処理するためのコンピュータである。データ処理装置３５は、少なくともプロセッサ３６と、メモリ３７と、インターフェース３８と、を備えている。プロセッサ３６はＣＰＵを含んでいる。メモリ３７は、プロセッサ３６が使用するプログラムの展開及び各種データの一時保存を行う。入力装置３２からの入力信号や、遠隔施設３が取得した各種データは、メモリ３７に格納される。この各種データには、通信データＣＯＭ２に含まれるフロント画像データＩＭＧが含まれる。インターフェース３８は、入力装置３２、データベース３３等の外部装置とのインターフェースである。
プロセッサ３６は、フロント画像データＩＭＧをデコードして支援画像データＡＩＭＧを生成する「画像生成処理」を行う。フロント画像データＩＭＧが圧縮されている場合、デコード処理において当該フロント画像データＩＭＧが伸長される。プロセッサ３６は、また、生成した支援画像データＡＩＭＧを、インターフェース３８を介してディスプレイ３１に出力する。
なお、上述したフロント画像データＩＭＧのデコード処理、画像生成処理、及び支援画像データＡＩＭＧの出力処理は、プロセッサ３６、メモリ３７及びデータベース３３を用いて実行されなくてもよい。例えば、ＧＰＵやＤＳＰでのソフトウェア処理、又は、ＡＳＩＣやＦＰＧＡによるハードウェア処理により、上述した各種処理が実行されてもよい。
２－３．車両のデータ処理装置の機能構成例
図１０は、図８に示したデータ処理装置２４の機能構成例を示すブロック図である。図１０に示されるように、データ処理装置２４は、データ取得部２４１と、データ処理部２４２と、通信処理部２４３と、を備えている。
データ取得部２４１は、車両２の周辺環境データ、走行状態データ及び位置データを取得する。周辺環境データとしては、上述したフロント画像データＩＭＧが例示される。走行状態データとしては、車両２の走行速度データ、加速度データ、ヨーレートデータ及び舵角データが例示される。これらの走行状態データは、センサ群２２により測定される。位置データは、ＧＮＳＳセンサにより測定される。
データ処理部２４２は、データ取得部２４１が取得した各種データを処理する。各種データの処理には、上述したフロント画像データＩＭＧのエンコード処理が含まれる。
通信処理部２４３は、データ処理部２４２によりエンコードされたフロント画像データＩＭＧ（即ち、通信データＣＯＭ２）を、通信装置２３を介して遠隔施設３（通信装置３４）に送信する。
２－４．遠隔施設のデータ処理装置の機能構成例
図１１は、図９に示したデータ処理装置３５の機能構成例を示すブロック図である。図１１に示されるように、データ処理装置３５は、データ取得部３５１と、データ処理部３５２と、表示制御部３５３と、通信処理部３５４と、を備えている。
データ取得部３５１は、入力装置３２からの入力信号及び車両２からの通信データＣＯＭ２を取得する。
データ処理部３５２は、データ取得部３５１が取得した各種データを処理する。各種データの処理には、支援指示データをエンコードする処理が含まれる。エンコードされた支援指示データは、通信データＣＯＭ３に含まれる。各種データの処理には、上述したフロント画像データＩＭＧのデコード処理、画像生成処理、及び支援画像データＡＩＭＧの出力処理が含まれる。画像生成処理の詳細については後述される。
表示制御部３５３は、オペレータに対して提供するディスプレイ３１の表示内容を制御する。この表示内容の制御は、支援画像データＡＩＭＧに基づいて行われる。表示制御部３５３は、また、データ取得部３５１により取得された入力信号に基づいて、表示内容を制御する。入力信号に基づいた表示内容の制御では、例えば、入力信号に基づいて表示内容が拡大又は縮小され、又は、表示内容の切り替え（遷移）が行われる。別の例では、入力信号に基づいてディスプレイ３１上に表示されたカーソルが移動され、又は、ディスプレイ３１に表示されたボタンが選択される。
通信処理部３５４は、データ処理部３５２によりエンコードされた支援指示データ（即ち、通信データＣＯＭ３）を、通信装置３４を介して車両２（通信装置２３）に送信する。
２－５．画像生成処理の例
図１２は、図９に示したデータ処理装置３５（プロセッサ３６）により実行される画像生成処理の流れを示すフローチャートである。図１２に示されるルーチンは、例えば、遠隔施設３に対する支援要求信号をプロセッサ３６が受け付けた場合に、所定の制御周期で繰り返し実行される。なお、支援要求信号は、通信データＣＯＭ２に含まれる。
図１２に示されるルーチンでは、まず、物標の検出が行われる（ステップＳ１１）。物標の検出は、エンコードされたフロント画像データＩＭＧにディープラーニングを適用することにより行われる。このディープラーニングとしては、上述したＹＯＬＯネットワークを利用したディープラーニングが例示される。ＹＯＬＯネットワークを利用したディープラーニングによれば、フロント画像データＩＭＧに含まれる物標を検出でき、また、当該物標の認識尤度ＬＨが得られる。
ステップＳ１１の処理に続いて、認識尤度ＬＨＬＭＰの出力があるか否かが判定される（ステップＳ１２）。既に説明したように、認識尤度ＬＨＬＭＰは、灯火状態の認識尤度ＬＨである。そのため、ステップＳ１２の判定結果が否定的な場合は、フロント画像データＩＭＧに信号機ＴＳの画像が含まれていないと推定される。故にこの場合は、フロント画像データＩＭＧに基づいた支援画像データＡＩＭＧの生成が行われる（ステップＳ１３）。
ステップＳ１２の判定結果が肯定的な場合は、認識尤度ＬＨＬＭＰが第１閾値ＴＨ１以下であるか否かが判定される（ステップＳ１４）。ステップＳ１４の判定結果が否定的な場合は、ディスプレイ３１に表示されたフロント画像データＩＭＧ（つまり、支援画像データＡＩＭＧ）を見たときに、オペレータが灯火状態を容易に認識できると推定される。そのため、この場合は、上述したステップＳ１３の処理が行われる。
ステップＳ１４の判定結果が肯定的な場合は、ディスプレイ３１に表示されたフロント画像データＩＭＧ（つまり、支援画像データＡＩＭＧ）を見たときに、オペレータが灯火状態を認識できない可能性がある。そのため、この場合は、認識尤度ＬＨＬＭＰが第２閾値ＴＨ２超であるか否かが判定される（ステップＳ１５）。第１閾値ＴＨ１と第２閾値ＴＨ２の大小関係については既に説明したとおりである（ＴＨ１＞ＴＨ２）。
ステップＳ１５の判定結果が肯定的な場合は、ステップＳ１１の処理において検出された灯火状態の分類結果に一定の確からしさがあると推定される。そのため、この場合は、模擬画像データＱＩＭＧの選択が行われる（ステップＳ１６）。模擬画像データＱＩＭＧの選択は、具体的に、ステップＳ１１の処理において検出された灯火状態を用いたデータベース３３の参照により行われる。
ステップＳ１６の別の例では、模擬画像データＱＩＭＧ及びアイコンデータＩＣＮが選択される。アイコンデータＩＣＮの選択は、模擬画像データＱＩＭＧの選択手法と同様である。即ち、アイコンデータＩＣＮの選択は、ステップＳ１１の処理において検出された灯火状態を用いたデータベース３３の参照により行われる。
ステップＳ１５の判定結果が否定的な場合、超解像度化処理が行われる（ステップＳ１７）。なお、ステップＳ１５及びＳ１６の処理はスキップしてもよい。即ち、ステップＳ１４の判定結果が肯定的な場合、ステップＳ１５及びＳ１６の処理を行わずにステップＳ１７の処理を行ってもよい。この場合の一連の処理は、図３及び４で説明した例に対応する処理である。
ここで、超解像度化処理について、図１３を参照して説明する。図１３は、図１２のステップＳ１７に示した超解像度化処理の流れを示すフローチャートである。
図１３に示されるルーチンでは、信号機ＴＳの認識領域の中心位置及びサイズの計算が行われる（ステップＳ１７１）。既に説明したように、ステップＳ１１の処理では、フロント画像データＩＭＧに含まれる信号機ＴＳの検出が行われる。信号機ＴＳが検出されると、この信号機ＴＳを含む認識領域の画像データが出力される。ステップＳ１７１の処理では、この画像の中心位置の座標が計算され、また、この画像のサイズが計算される。
ステップＳ１７１に続いて、超解像モデルＭＳＲの選択が行われる（ステップＳ１７２）。本ステップＳ１７２の処理では、ステップＳ１７１の処理で計算された認識領域の画像サイズを用いたデータベース３３の参照が行われる。そして、当該画像サイズに近いサイズを有し、かつ、縦及び横方向の長さが当該画像サイズよりも長い入力を有する超解像モデルＭＳＲが選択される。
図１４は、ステップＳ１７２の処理の概要を示す図である。既に説明したように、超解像モデルＭＳＲは、信号機ＴＳを含む認識領域のサイズとして想定されるサイズの数に応じて複数準備されている。図１４に示される超解像モデルＭＳＲ１、ＭＳＲ２及びＭＳＲ３は、複数の超解像モデルＭＳＲの一例である。ステップＳ１７２の処理では、上述したサイズ条件を満たす超解像モデルＭＳＲ２が選択される。
ステップＳ１７２の処理に続いて、超解像モデルＭＳＲに入力する画像の抽出が行われる（ステップＳ１７３）。本ステップＳ１７３の処理では、ステップＳ１７２の処理で選択された超解像モデルＭＳＲ（図１４に示した例では、超解像モデルＭＳＲ２）の入力に合わせたサイズの画像を、フロント画像データＩＭＧから抽出する。画像の抽出は、具体的に、ステップＳ１７１で計算された中心位置の座標を中心とする領域を、超解像モデルＭＳＲの入力に合わせたサイズだけ切り取ることにより行われる。
ステップＳ１７３の処理に続いて、画像の高解像度化が行われる（ステップＳ１７４）。本ステップＳ１７４の処理では、ステップＳ１７３の処理で抽出された画像データが、ステップＳ１７２の処理で選択した超解像モデルＭＳＲ（図１４に示した例では、超解像モデルＭＳＲ２）に入力される。
図１２に戻り、画像生成処理の流れの説明を続ける。ステップＳ１６又はＳ１７の処理に続いて、画像データの合成により支援画像データＡＩＭＧの生成が行われる（ステップＳ１８）。例えば、ステップＳ１６において模擬画像データＱＩＭＧが選択された場合は、模擬画像データＱＩＭＧと、フロント画像データＩＭＧとの合成により支援画像データＡＩＭＧが生成される。模擬画像データＱＩＭＧ及びアイコンデータＩＣＮが選択されている場合は、これらのデータと、フロント画像データＩＭＧとの合成により支援画像データＡＩＭＧが生成される。ステップＳ１７において超解像画像データＳＩＭＧが生成された場合は、この超解像画像データＳＩＭＧと、フロント画像データＩＭＧとの合成により支援画像データＡＩＭＧが生成される。
画像データの合成に際しては、図１４のステップＳ１７３の処理において抽出された画像の領域の位置に相当する領域に模擬画像データＱＩＭＧ又は超解像画像データＳＩＭＧが重畳される。模擬画像データＱＩＭＧ及びアイコンデータＩＣＮが選択されている場合は、当該模擬画像データＱＩＭＧが重畳された領域の近傍に当該アイコンデータＩＣＮが重畳される。
３．効果
以上説明した実施形態によれば、認識尤度ＬＨＬＭＰに応じて生成された支援画像データＡＩＭＧをディスプレイ３１に表示することが可能となる。特に、認識尤度ＬＨＬＭＰが第１閾値ＴＨ１以下の場合には、少なくとも超解像画像データＳＩＭＧがディスプレイ３１に表示される。従って、認識尤度ＬＨＬＭＰが高い場合だけでなく、認識尤度ＬＨＬＭＰが低い場合においても、オペレータによる灯火状態の認識レベルを高めることが可能となる。故に、オペレータによる遠隔支援中の車両２の走行安全性を確保することが可能となる。
また、実施形態によれば、認識尤度ＬＨＬＭＰが第２閾値ＴＨ２以下の場合に超解像画像データＳＩＭＧをディスプレイ３１に表示し、その一方で、認識尤度ＬＨＬＭＰが第２閾値ＴＨ２超、かつ、第１閾値ＴＨ１以下の場合に模擬画像データＱＩＭＧをディスプレイ３１に表示することも可能となる。従って、この場合においても、灯火状態の認識レベルを高めることが可能となる。
また、実施形態によれば、認識尤度ＬＨＬＭＰが第２閾値ＴＨ２超、かつ、第１閾値ＴＨ１以下の場合に、模擬画像データＱＩＭＧ及びアイコンデータＩＣＮをディスプレイ３１に表示することも可能となる。従って、これらのデータを組み合わせた表示によって、灯火状態の認識レベルをより一層高めることが可能となる。
１ 遠隔支援システム
２ 車両
３ 遠隔施設
４ ネットワーク
２１ カメラ
２３，３４ 通信装置
２４，３５ データ処理装置
２５，３６ プロセッサ
２６，３７ メモリ
２７，３８ インターフェース
３１ ディスプレイ
３２ 入力装置
３３ データベース
ＩＭＧ フロント画像データ
ＩＣＮ アイコンデータ
ＭＳＲ，ＭＳＲ１，ＭＳＲ２，ＭＳＲ３ 超解像モデル
ＡＩＭＧ 支援画像データ
ＱＩＭＧ 模擬画像データ
ＳＩＭＧ 超解像画像データ
ＣＯＭ２，ＣＯＭ３ 通信データ

Claims (6)

  1. 車両と、前記車両の走行を支援する遠隔施設と、を備える遠隔支援システムであって、
    前記遠隔施設は、
    前記車両の前方の画像データを示すフロント画像データが格納されるメモリと、
    前記フロント画像データに基づいて、前記遠隔施設のディスプレイに表示する支援画像データを生成する画像生成処理を行うプロセッサと、
    を備え、
    前記プロセッサは、前記画像生成処理において、
    前記フロント画像データに信号機の画像が含まれる場合、前記信号機の発光部の灯火状態の認識尤度が閾値以下であるか否かを判定し、
    前記認識尤度が前記閾値以下であると判定された場合、前記フロント画像データにおける前記信号機を含む所定領域の超解像度化処理を行い、
    前記超解像度化処理による前記所定領域の超解像画像データを、前記フロント画像データにおける前記所定領域に相当する領域に重畳して前記支援画像データを生成する
    ことを特徴とする遠隔支援システム。
  2. 請求項１に記載の遠隔支援システムであって、
    前記遠隔施設は、更に、信号機の発光部の灯火状態を模擬した模擬画像データが格納されたデータベースを備え、
    前記閾値は、前記閾値に相当する第１閾値と、前記第１閾値よりも低い第２閾値と、を含み、
    前記プロセッサは、前記画像生成処理において、更に、
    前記認識尤度が前記第１閾値以下であると判定された場合、前記認識尤度が前記第２閾値以下であるか否かを判定し、
    前記認識尤度が前記第２閾値以下であると判定された場合、前記超解像画像データに基づいて前記支援画像データを生成し、
    前記認識尤度が前記第２閾値以下でないと判定された場合、前記フロント画像データにおいて認識された前記灯火状態を用いた前記データベースの参照により、当該灯火状態に対応する模擬画像データを選択し、
    前記フロント画像データにおける前記所定領域に相当する領域に前記模擬画像データを重畳して前記支援画像データを生成する
    ことを特徴とする遠隔支援システム。
  3. 請求項２に記載の遠隔支援システムであって、
    前記遠隔施設は、更に、信号機の発光部の灯火状態を示すアイコンデータが格納されたデータベースを備え、
    前記プロセッサは、前記画像生成処理において、更に、
    前記認識尤度が前記第２閾値以下でないと判定された場合、前記フロント画像データにおいて認識された前記灯火状態を用いた前記データベースの参照により、当該灯火状態に対応するアイコンデータを選択し、
    前記模擬画像データが重畳された領域の近傍に前記アイコンデータを重畳して前記支援画像データを生成する
    ことを特徴とする遠隔支援システム。
  4. 車両の走行を遠隔支援する遠隔支援方法であって、
    前記遠隔支援を行う遠隔施設のプロセッサが、
    車両の前方の画像データを示すフロント画像データに基づいて、前記遠隔施設のディスプレイに表示する支援画像データを生成する画像生成処理を行い、
    前記プロセッサは、前記画像生成処理において、
    前記フロント画像データに信号機の画像が含まれる場合、前記信号機の発光部の灯火状態の認識尤度が閾値以下であるか否かを判定し、
    前記認識尤度が前記閾値以下であると判定された場合、前記フロント画像データにおける前記信号機を含む所定領域の超解像度化処理を行い、
    前記超解像度化処理による前記所定領域の超解像画像データを、前記フロント画像データにおける前記所定領域に重畳して前記支援画像データを生成する
    ことを特徴とする遠隔支援方法。
  5. 請求項４に記載の遠隔支援方法であって、
    前記閾値は、前記閾値に相当する第１閾値と、前記第１閾値よりも低い第２閾値と、を含み、
    前記プロセッサは、前記画像生成処理において、更に、
    前記認識尤度が前記第１閾値以下であると判定された場合、前記認識尤度が前記第２閾値以下であるか否かを判定し、
    前記認識尤度が前記第２閾値以下であると判定された場合、前記超解像画像データに基づいて前記支援画像データを生成し、
    前記認識尤度が前記第２閾値以下でないと判定された場合、信号機の発光部の灯火状態を模擬した模擬画像データが格納されたデータベースの参照を、前記フロント画像データにおいて認識された前記灯火状態を用いて行って当該灯火状態に対応する模擬画像データを選択し、
    前記フロント画像データにおける前記所定領域に相当する領域に前記模擬画像データを重畳して前記支援画像データを生成する
    ことを特徴とする遠隔支援方法。
  6. 請求項５に記載の遠隔支援方法であって、
    前記プロセッサは、前記画像生成処理において、更に、
    前記認識尤度が前記第２閾値以下であると判定された場合、信号機の発光部の灯火状態を示すアイコンデータが格納されたデータベースの参照を、前記フロント画像データにおいて認識された前記灯火状態を用いて行って当該灯火状態に対応するアイコンデータを選択し、
    前記模擬画像データが重畳された領域の近傍に前記アイコンデータを重畳して前記支援画像データを生成する
    ことを特徴とする遠隔支援方法。
JP2021079309A 2021-05-07 2021-05-07 遠隔支援システム及び遠隔支援方法 Pending JP2022172945A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021079309A JP2022172945A (ja) 2021-05-07 2021-05-07 遠隔支援システム及び遠隔支援方法
US17/735,626 US20220358620A1 (en) 2021-05-07 2022-05-03 Remote assistance system and remote assistance method
CN202210484881.3A CN115311877A (zh) 2021-05-07 2022-05-06 远程支援系统以及远程支援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021079309A JP2022172945A (ja) 2021-05-07 2021-05-07 遠隔支援システム及び遠隔支援方法

Publications (1)

Publication Number Publication Date
JP2022172945A true JP2022172945A (ja) 2022-11-17

Family

ID=83855228

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021079309A Pending JP2022172945A (ja) 2021-05-07 2021-05-07 遠隔支援システム及び遠隔支援方法

Country Status (3)

Country Link
US (1) US20220358620A1 (ja)
JP (1) JP2022172945A (ja)
CN (1) CN115311877A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11620522B2 (en) * 2019-12-31 2023-04-04 Magna Electronics Inc. Vehicular system for testing performance of headlamp detection systems

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5747549B2 (ja) * 2011-02-18 2015-07-15 株式会社豊田中央研究所 信号機検出装置及びプログラム
WO2015180090A1 (en) * 2014-05-29 2015-12-03 Empire Technology Development Llc Remote driving assistance
CN107179767B (zh) * 2016-03-10 2021-10-08 松下电器（美国）知识产权公司 驾驶控制装置、驾驶控制方法以及非瞬时性记录介质
US10558873B2 (en) * 2017-12-14 2020-02-11 Waymo Llc Methods and systems for controlling extent of light encountered by an image capture device of a self-driving vehicle
CN108681994B (zh) * 2018-05-11 2023-01-10 京东方科技集团股份有限公司 一种图像处理方法、装置、电子设备及可读存储介质
DE112020002604T5 (de) * 2019-05-29 2022-03-03 Mobileye Vision Technologies Ltd. Systeme und verfahren für die fahrzeugnavigation
CN112180903A (zh) * 2020-10-19 2021-01-05 江苏中讯通物联网技术有限公司 基于边缘计算的车辆状态实时检测系统
US11880902B2 (en) * 2020-12-30 2024-01-23 Waymo Llc Systems, apparatus, and methods for enhanced image capture

Also Published As

Publication number Publication date
US20220358620A1 (en) 2022-11-10
CN115311877A (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
US11126174B2 (en) Systems and methods for switching a driving mode of a vehicle
US12073724B2 (en) System and method for determining car to lane distance
US11548443B2 (en) Display system, display method, and program for indicating a peripheral situation of a vehicle
US20200209959A1 (en) Display control device, display control method, and program
US20240017719A1 (en) Mapping method and apparatus, vehicle, readable storage medium, and chip
US12100226B2 (en) Electronic device for controlling driving vehicle and operation method of the electronic device
JP2022159023A (ja) 車線検出方法、装置、電子機器及び記憶媒体
US20230342883A1 (en) Image processing method and apparatus, and storage medium
CN115035494A (zh) 图像处理方法、装置、车辆、存储介质及芯片
JP2022172945A (ja) 遠隔支援システム及び遠隔支援方法
CN115203457B (zh) 图像检索方法、装置、车辆、存储介质及芯片
CN115056784B (zh) 车辆控制方法、装置、车辆、存储介质及芯片
CN114842455B (zh) 障碍物检测方法、装置、设备、介质、芯片及车辆
CN115164910B (zh) 行驶路径生成方法、装置、车辆、存储介质及芯片
US11893801B2 (en) Flagman traffic gesture recognition
CN112613335B (zh) 识别装置、识别方法及存储介质
JP2022189113A (ja) 遠隔支援システム及び遠隔支援方法
CN115035357A (zh) 目标检测模型构建方法、目标检测方法、装置和计算设备
CN115147794B (zh) 车道线确定方法、装置、车辆、介质及芯片
CN115115822B (zh) 车端图像处理方法、装置、车辆、存储介质及芯片
CN115214629B (zh) 自动泊车方法、装置、存储介质、车辆及芯片
CN115082886B (zh) 目标检测的方法、装置、存储介质、芯片及车辆
CN114972824B (zh) 杆件检测方法、装置、车辆和存储介质
US20230234609A1 (en) Control device, control method, and storage medium
US20230415570A1 (en) Vehicle control method and vehicle, non-transitory storage medium and chip