CN115472027A - 远程辅助系统和远程辅助方法 - Google Patents

远程辅助系统和远程辅助方法 Download PDF

Info

Publication number
CN115472027A
CN115472027A CN202210648741.5A CN202210648741A CN115472027A CN 115472027 A CN115472027 A CN 115472027A CN 202210648741 A CN202210648741 A CN 202210648741A CN 115472027 A CN115472027 A CN 115472027A
Authority
CN
China
Prior art keywords
image
data
super
resolution
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210648741.5A
Other languages
English (en)
Inventor
三栗谷祥
五十岚谅
矶大辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Woven by Toyota Inc
Original Assignee
Woven Planet Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Woven Planet Holdings Inc filed Critical Woven Planet Holdings Inc
Publication of CN115472027A publication Critical patent/CN115472027A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Geometry (AREA)

Abstract

本公开提供远程辅助系统和远程辅助方法。在对车辆的行驶进行远程辅助的情况下，将映在从该车辆送来的图像数据所包含的曲面镜的镜面部的信息改善到操作员能够识别的水平。远程设施的处理器进行图像生成处理和显示控制处理。在图像生成处理中，基于前方图像中包含的物体的特征量的数据判定前方图像中是否包含曲面镜的镜面部的图像。在判定为前方图像中包含镜面部的图像的情况下，从前方图像中提取包含镜面部的规定区域的图像。然后，通过针对该规定区域的图像的超分辨率处理而生成超分辨率图像。在前方图像中包含镜面部的图像的情况下，在显示控制处理中，在远程设施的显示器中输出超分辨率图像和前方图像的数据。

Description

远程辅助系统和远程辅助方法
技术领域
本发明涉及一种对车辆的行驶进行远程辅助的系统和方法。
背景技术
日本特开2018-106667号公报公开了生成用于辅助驾驶员对车辆的驾驶的信息的系统。该以往的系统基于由车载摄像机获取的图像数据检测存在于车辆的前方的曲面镜。曲面镜是设置于视线不好的十字路口、难以看清前方的弯道的中途等的凸面镜。
在检测出曲面镜的情况下，以往的系统识别映在该曲面镜的移动物体。移动物体的识别是使用深度学习等机器学习来进行的。在识别出移动物体的情况下，以往的系统计算曲面镜中的移动物体的尺寸。用于辅助车辆的驾驶的信息是基于该尺寸的增加速度或减速速度生成的。例如在增加速度超过阈值的情况下，生成用于控制车辆的减速装置的信息。
专利文献1：日本特开2018-106667号公报
专利文献2：日本专利第6271068号
专利文献3：日本特开2018-106668号公报
专利文献4：日本特开2005-178623号公报
发明内容
发明要解决的问题
考虑对车辆的行驶进行远程辅助的情况。远程辅助是由常驻于管理设施的操作员进行的。操作员一边观察管理设施的显示器一边进行远程辅助。在显示器上输出由车载摄像机获取的图像数据。因此，期望在显示器上输出清晰的图像数据。特别是在图像数据中包含曲面镜的情况下，期望从车辆到曲面镜的距离较远的阶段开始就输出曲面镜的镜面部的清晰的图像数据。
然而，由于来自车辆的通信量有限，因此预计由管理设施接收到的图像数据的分辨率不那么高。因此，寻求开发即使在管理设施接收到低分辨率的图像数据的情况下也将映在该图像数据所包含的镜面部的信息改善到操作员能够识别的水平的技术。
本发明的一个目的在于提供如下技术：在对车辆的行驶进行远程辅助的情况下，将映在从该车辆送来的图像数据所包含的曲面镜的镜面部的信息改善到操作员能够识别的水平。
用于解决问题的方案
第一发明是远程辅助系统，具有以下特征。
所述远程辅助系统具备车辆和对所述车辆的行驶进行辅助的远程设施。
所述远程设施具备存储器和处理器。所述存储器中保存表示所述车辆的前方的图像的前方图像的数据和所述前方图像中包含的物体的特征量的数据。所述处理器进行基于所述前方图像和所述特征量的数据生成向所述远程设施的显示器输出的辅助图像的数据的图像生成处理以及在所述显示器上输出所述辅助图像的数据的显示控制处理。
在所述图像生成处理中，所述处理器：
基于所述特征量的数据判定所述前方图像中是否包含曲面镜的镜面部的图像，
在判定为所述前方图像中包含所述镜面部的图像的情况下，从所述前方图像中提取包含所述镜面部的规定区域的图像，
进行针对所述规定区域的图像的超分辨率处理而生成超分辨率图像，
在所述显示控制处理中，所述处理器：
在所述前方图像中不包含所述镜面部的图像的情况下，将所述前方图像的数据作为所述辅助图像的数据而输出到所述显示器，
在所述前方图像中包含所述镜面部的图像的情况下，将所述超分辨率图像和所述前方图像的数据作为所述辅助图像的数据而输出到所述显示器。
第二发明在第一发明中进一步具有以下特征。
在所述显示控制处理中，所述处理器：
在所述前方图像中包含所述镜面部的图像的情况下，将所述超分辨率图像的数据输出到所述显示器的一部分区域，将所述前方图像的数据输出到所述显示器的其余的区域。
第三发明在第一或第二发明中进一步具有以下特征。
所述特征量包含所述镜面部相对于基准面的倾斜角度。
在所述图像生成处理中，所述处理器：
在判定为在所述前方图像中包含所述镜面部的图像的情况下，在进行针对所述规定区域的图像的所述超分辨率处理之前，基于所述倾斜角度和所述镜面部的曲率半径进行所述规定区域的图像的失真校正，生成包含所述镜面部的正视图像的所述规定区域的校正图像，
进行针对所述校正图像的所述超分辨率处理，生成超分辨率校正图像，
基于所述超分辨率校正图像进行所述正视图像内的动态物体的检测，
当在所述正视图像内未检测出动态物体的情况下，进行对所述规定区域的图像的所述超分辨率处理而生成所述超分辨率图像的数据，
当在所述正视图像内检测出动态物体的情况下，进行针对所述规定区域的图像的所述超分辨率处理而生成所述超分辨率图像的数据，并对所生成的所述超分辨率图像追加包围所述动态物体的强调框。
第四发明在第一或第二发明中进一步具有以下特征。
所述远程设施还具备数据库，该数据库保存有根据动态物体的种类设定的注意唤起图标的数据。
所述特征量包含所述镜面部相对于基准面的倾斜角度。
在所述图像生成处理中，所述处理器：
在判定为所述前方图像中包含所述镜面部的图像的情况下，在进行针对所述规定区域的图像的所述超分辨率处理之前，基于所述倾斜角度和所述镜面部的曲率半径进行所述规定区域的图像的失真校正，生成包含所述镜面部的正视图像的所述规定区域的校正图像，
进行针对所述校正图像的所述超分辨率处理而生成超分辨率校正图像，
基于所述超分辨率校正图像进行所述正视图像内的动态物体的检测，
当在所述正视图像内未检测出动态物体的情况下，进行针对所述规定区域的图像的所述超分辨率处理，生成所述超分辨率图像的数据，
当在所述正视图像内检测出动态物体的情况下，通过使用所检测出的所述动态物体参照所述数据库而选择与所检测出的所述动态物体对应的注意唤起图标的数据，进行针对所述规定区域的图像的所述超分辨率处理而生成所述超分辨率图像的数据，并对所生成的所述超分辨率图像追加所选择的所述注意唤起图标。
第五发明是通过远程设施对车辆的行驶进行辅助的远程辅助方法，具有以下特征。
所述远程设施具备存储器和处理器。所述存储器中保存表示所述车辆的前方的图像的前方图像的数据和所述前方图像中包含的物体的特征量的数据。所述处理器进行基于所述前方图像和所述特征量的数据生成向所述远程设施的显示器输出的辅助图像的数据的图像生成处理以及在所述显示器中输出所述辅助图像的数据的显示控制处理。
所述图像生成处理包括以下处理：
基于所述特征量的数据判定所述前方图像中是否包含曲面镜的镜面部的图像；
在判定为所述前方图像中包含所述镜面部的图像的情况下，从所述前方图像中提取包含所述镜面部的规定区域的图像；以及
进行针对所述规定区域的图像的超分辨率处理而生成超分辨率图像。
所述显示控制处理包括以下处理：
在所述前方图像中不包含所述镜面部的图像的情况下，将所述前方图像的数据作为所述辅助图像的数据而输出到所述显示器；以及
在所述前方图像中包含所述镜面部的图像的情况下，将所述超分辨率图像和所述前方图像的数据作为所述辅助图像的数据而输出到所述显示器。
发明的效果
根据第一或第五发明，在前方图像中包含镜面部的图像的情况下，根据包含镜面部的规定区域的图像生成超分辨率图像并输出到显示器。因而，即使从车辆到曲面镜的距离远，操作员也能够容易地识别映在镜面部的物体。因而，能够确保操作员实施的远程辅助中的车辆的行驶安全性。
根据第二发明，超分辨率图像的数据和前方图像的数据被输出到同一个显示器。因此，与将这些数据显示在各自不同的显示器上的情况相比能够减少操作员的视线的移动量。因此，能够提高操作员实施的远程辅助中的车辆的行驶安全性。
根据第三发明，当在镜面部的正视图像内检测出动态物体的情况下，对超分辨率图像追加包围该动态物体的强调框。因而，操作员能够容易地识别映在镜面部的动态物体。
根据第四发明，当在镜面部的正视图像内检测出动态物体的情况下，对超分辨率图像追加与该动态物体对应的注意唤起图标。因而，操作员能够容易地识别映在镜面部的动态物体。
附图说明
图1是用于说明在实施方式所涉及的远程辅助系统中进行的远程辅助的概念图。
图2是表示被输出到显示器的辅助图像数据的一例的示意图。
图3是表示在生成了超分辨率图像的情况下被输出到显示器的辅助图像的数据的一例的示意图。
图4是图3所示的超分辨率图像的放大图。
图5是表示超分辨率图像的其它例的图。
图6是表示超分辨率图像的又一其它例的图。
图7是表示车辆的结构例的框图。
图8是表示特征量的数据的结构例的图。
图9是表示远程设施的结构例的框图。
图10是表示车辆的数据处理装置的功能结构例的框图。
图11是表示远程设施的数据处理装置的功能结构例的框图。
图12是表示由远程设施的数据处理装置执行的处理的一例的流程图。
图13是表示超分辨率处理的流程的流程图。
图14是表示图13的步骤S142的处理的概要的图。
图15是表示由远程设施的数据处理装置执行的处理的其它例的流程图。
附图标记说明
1：远程辅助系统；2：车辆；3：远程设施；4：网络；21：摄像机；23、34：通信装置；24、35：数据处理装置；25、36：处理器；26、37：存储器；27、38：接口；31：显示器；32：输入装置；33：数据库；MR、MR1、MR2：镜面部；REMR：规定区域；RETM：识别区域；TM：曲面镜；FEA：特征量；IMG：前方图像；ICN：注意唤起图标；MSR、MSR1、MSR2、MSR3：超分辨率模型；AIMG：辅助图像；SIMG：超分辨率图像；COM2、COM3：通信数据
具体实施方式
以下，参照图来说明本发明的实施方式所涉及的远程辅助系统和远程辅助方法。此外，实施方式所涉及的远程辅助方法是通过在实施方式所涉及的远程辅助系统中进行的计算机处理来实现的。另外，在各图中，对相同或相当的部分附加相同的符号并简化或省略其说明。
1.实施方式的概要
1-1.远程辅助
图1是用于说明在实施方式所涉及的远程辅助系统中进行的远程辅助的概念图。图1所示的远程辅助系统1具备作为远程辅助的对象的车辆2以及与车辆2进行通信的远程设施3。车辆2与远程设施3之间的通信经由网络4来进行。在该通信中，从车辆2向远程设施3发送通信数据COM2。另一方面，从远程设施3向车辆2发送通信数据COM3。
车辆2例如是以柴油发动机、汽油发动机等内燃机为动力源的汽车、以电动机为动力源的电动汽车、具备内燃机和电动机的混合动力汽车。电动机通过二次电池、氢燃料电池、金属燃料电池、酒精燃料电池等电池而被驱动。
车辆2通过车辆2的驾驶员的操作而行驶。车辆2的行驶也可以通过搭载于车辆2的控制系统而进行。该控制系统例如对基于驾驶员的操作的车辆2的行驶进行辅助，或者进行用于车辆2的自动行驶的控制。在驾驶员或控制系统对远程设施3提出了辅助请求的情况下，车辆2基于常驻于远程设施3的操作员的操作而行驶。
车辆2具备摄像机21。摄像机21拍摄车辆2的周边环境的图像(动态图像)。为了拍摄车辆2的至少前方的图像(以下还称为“前方图像IMG”。)，设置至少1台摄像机21。前方摄影用的摄像机21例如设置于车辆2的前玻璃的背面。摄像机21所获取的前方图像IMG典型的是动态图像。但是，前方图像IMG也可以是静止图像。前方图像IMG的数据被包含在通信数据COM2中。
远程设施3在受理了来自车辆2的驾驶员或控制系统的辅助请求信号的情况下，基于操作员的操作对车辆2的行驶进行辅助。在远程设施3中设置有显示器31。作为显示器31，例示液晶显示器(LCD：Liquid Crystal Display)和有机EL(OLED：Organic LightEmitting Diode，有机光致发光)显示器。
在正在由操作员进行行驶辅助时，远程设施3基于从车辆2接收到的前方图像IMG的数据，生成向显示器31输出的图像(以下称为“辅助图像AIMG”)的数据。操作员基于显示器31上输出的辅助图像AIMG掌握车辆2的周边环境，输入对车辆2的辅助指示。远程设施3将该辅助指示的数据发送到车辆2。辅助指示的数据被包含在通信数据COM3中。
作为操作员实施的辅助，例示识别辅助和判断辅助。考虑通过车辆2的控制系统进行自动行驶的情况。在该情况下，有时需要自动行驶的辅助。例如在日光照射到存在于车辆2的前方的信号机的情况下，信号机的灯光部(例如，蓝、黄以及红灯光部)的灯光状态的识别精度下降。在无法识别灯光状态的情况下，也难以判断应该在什么时机执行什么样的行动。在这样的情况下，进行灯光状态的识别辅助和/或基于操作员识别出的灯光状态的车辆2的行动的判断辅助。
操作员实施的辅助还包括远程驾驶。远程驾驶不仅在车辆2通过车辆2的控制系统而自动行驶的情况下进行，还在车辆2通过车辆2的驾驶员的操作而行驶的情况下进行。在远程驾驶中，操作员参考在显示器31上输出的辅助图像AIMG，进行包括转向、加速以及减速中的至少一个的车辆2的驾驶操作。在该情况下，操作员发出的辅助指示的数据表示车辆2的驾驶操作的内容。车辆2按照该辅助指示的数据进行转向、加速以及减速中的至少一个。
1-2.实施方式的特征
图2是表示被输出到显示器31的辅助图像AIMG的数据的一例的示意图。在图2所示的例子中，丁字路TJ的周边的辅助图像AIMG的数据被输出到显示器31。该辅助图像AIMG中包含存在于车辆2的前进方向的前方的曲面镜TM的图像。在曲面镜TM中，设置于与丁字路TJ邻接的人行道上的曲面镜TM具备凸面形状的镜面部MR。在图2所示的例子中，镜面部MR1和MR2分别映出了与丁字路TJ相关的道路上的物体。
为了确保车辆2的行驶安全性，期望能够以高分辨率识别出映在镜面部MR的物体。特别是在进行远程驾驶的情况下，期望即使从车辆2到曲面镜TM的距离远也能够以高分辨率识别出映在镜面部MR的物体。然而，通信数据COM2的数据通信量有限。因此，预计由远程设施3接收的前方图像IMG的数据的分辨率不那么高。
因此，在实施方式中，判定在从车辆2接收到的前方图像IMG中是否包含镜面部MR的图像。然后，在判定为包含镜面部MR的图像的情况下，对包含镜面部MR的规定区域REMR的图像应用“超分辨率技术”，由此改善该规定区域REMR的图像的画质。超分辨率技术是将输入的低分辨率的图像数据变换(映射)为高分辨率的图像数据的技术。
作为超分辨率技术，例如例示下述文献的技术。该文献中公开了将基于CNN(Convolutional Neural Network：卷积神经网络)的深度学习应用于超分辨率(SuperResolution)的SRCNN。将输入的低分辨率的图像数据变换为高分辨率的图像数据的模型(以下还称为“超分辨率模型MSR”。)是能够通过机器学习得到的。
Chao Dong,Chen Change Loy,Kaiming He,and Xiaoou Tang,“Image Super-Resolution Using Deep Convolutional Networks”,arXiv:1501.00092v3[cs.CV],July31,2015(https://arxiv.org/pdf/1501.00092.pdf)
以下，将对超分辨率模型MSR输入图像数据来改善其分辨率的处理称为“超分辨率处理”。另外，将通过超分辨率处理而改善后的规定区域REMR的图像称为“超分辨率图像SIMG”。在实施方式中，在生成了超分辨率图像SIMG的情况下，进行用于将该超分辨率图像SIMG的数据和前方图像IMG的数据同时输出到显示器31的显示控制。在该显示控制中，进行用于将显示器31的一部分区域分割为用于输出超分辨率图像SIMG的数据、并在其余的区域中输出前方图像IMG的数据的处理。此外，关于显示器31的区域的分割方法不特别限定，应用公知的方法。
图3是表示在生成了超分辨率图像SIMG的情况下被输出到显示器31的辅助图像AIMG的数据的一例的示意图。在图3所示的例子中，在显示器31的左上的区域中输出了超分辨率图像SIMG，在显示器31的其余的区域中输出了前方图像IMG。与用于输出该数据的区域的尺寸相应地对超分辨率图像SIMG的尺寸进行调整尺寸。关于调整尺寸的方法也不特别限定，应用公知的方法。
图4是图3所示的超分辨率图像SIMG的放大图。通过将这样的超分辨率图像SIMG输出到显示器31，即使从车辆2到曲面镜TM的距离远，操作员也能够容易地识别出映在镜面部MR的物体。因而，能够确保操作员进行的远程辅助中的车辆2的行驶安全性。
图5是表示超分辨率图像SIMG的其它例的图。在图5所示的例子中，在超分辨率图像SIMG中追加了包围映在镜面部MR1的动态物体(具体地说，车辆)的强调框HLT。关于动态物体的检测方法，稍后叙述。在对超分辨率图像SIMG追加了强调框HLT的情况下，能够促使操作员注意动态物体，因此能够期待提高远程辅助中的车辆2的行驶安全性。
图6是表示超分辨率图像SIMG的又一其它例的图。在图6所示的例子中，在超分辨率图像SIMG中追加了与映在镜面部MR1的动态物体的种类对应的注意唤起图标ICN。关于动态物体的检测方法以及与动态物体的种类对应的注意唤起图标ICN的选择方法，稍后叙述。在对超分辨率图像SIMG追加了注意唤起图标ICN的情况下，能够期待与追加强调框HLT的情况同样的效果。
以下，详细说明实施方式所涉及的远程辅助系统。
2.远程辅助系统
2-1.车辆的结构例
图7是表示图1所示的车辆2的结构例的框图。如图7所示，车辆2具备摄像机21、传感器群22、通信装置23以及数据处理装置24。摄像机21、传感器群22以及通信装置23与数据处理装置24例如通过车载网络(例如，CAN(Car Area Network：汽车局域网络))而连接。此外，关于摄像机21的说明，如在图1的说明中已经叙述的那样。
传感器群22包括检测车辆2的状态的状态传感器。作为状态传感器，例示速度传感器、加速度传感器、横摆率传感器以及舵角传感器。另外，传感器群22包括检测车辆2的位置和方位的位置传感器。作为位置传感器，例示GNSS(Global Navigation SatelliteSystem：全球导航卫星系统)传感器。传感器群20也可以还包括摄像机21以外的识别传感器。识别传感器利用电波或光来识别(检测)车辆2的周边环境。作为识别传感器，例示毫米波雷达和LIDAR(Laser Imaging Detection and Ranging：激光成像探测与测距)。
通信装置23在与网络4的基站(未图示)之间进行无线通信。作为该无线通信的通信标准，例示4G、LTE或5G等移动体通信的标准。通信装置23的连接目的地包括远程设施3。在与远程设施3的通信中，通信装置23将从数据处理装置24接收的通信数据COM2发送到远程设施3。
数据处理装置24是用于对车辆2所获取的各种数据进行处理的计算机。数据处理装置24具备至少一个处理器25、至少一个存储器26以及接口27。处理器25包括CPU(CentralProcessing Unit：中央处理单元)。存储器26是DDR存储器等易失性存储器，进行由处理器25使用的程序的展开和各种数据的临时保存。车辆2所获取的各种数据被保存在存储器26中。该各种数据包含上述的前方图像IMG的数据。各种数据还包含前方图像IMG中包括的物体的特征量FEA的数据。接口27是与摄像机21、传感器群22等外部装置的接口。
图8是表示特征量FEA的数据的结构例的图。在图8所示的例子中，特征量FEA的数据包含前方图像IMG的识别IDIMG的数据(例如，时间戳的哈希值)。另外，特征量FEA的数据包含前方图像IMG中包含的物体的种类TYOB的数据和该物体在前方图像IMG中的坐标XYOB的数据。
种类TYOB根据设想为存在于道路上的物体的种类来设定。作为该物体，例示静态物体和动态物体。作为静态物体，例示信号机、护栏、曲面镜、道路标识之类的交通设备。作为动态物体，例示行人、自行车、摩托车以及车辆2以外的车辆。种类TYOB及坐标XYOB的数据与识别IDIMG的数据相关联。
识别动态物体的处理、确定所识别出的动态物体的种类的处理以及确定所识别出的动态物体在前方图像IMG中的坐标的处理包括于由处理器25执行的数据处理中。此外，关于这些数据处理的方法不特别限定，应用公知的方法。
特征量FEA的数据还包含倾斜角度AGMR的数据。倾斜角度AGMR的数据也与识别IDIMG的数据相关联。倾斜角度AGMR的数据在前方图像IMG中包含镜面部MR的图像的情况下生成并被追加到特征量FEA的数据。也就是说，在不包含镜面部MR的图像的情况下，既不生成倾斜角度AGMR的数据，也不追加到特征量FEA的数据。
倾斜角度AGMR是镜面部MR相对于基准面的倾角。基准面被定义为垂直于地面的平面(铅直面)中的、垂直于车辆2的前进方向(摄像机21的光轴方向)的表面。镜面部MR具有凸面形状，因此例如虚拟地设定穿过构成镜面部MR的外周的多个点的平面。通过使用该虚拟平面，能够估计镜面部MR的倾角。
关于倾斜角度AGMR，例如能够通过将镜面部MR的形状设为已知并对关于构成镜面部MR的外周的多个点的坐标(世界坐标系上的坐标)的PnP问题进行求解而进行估计。作为PnP问题的解法例，例如例示下述文献的技术。
Gao,X.-S.,X.-R.Hou,J.Tang,and H.F.Cheng.“Complete SolutionClassification for the Perspective-Three-Point Problem.”IEEE Transactions onPattern Analysis and Machine Intelligence.Volume 25,Issue 8,pp.930-943,August2003
在其它例中，通过对镜面部MR应用基于CNN的深度学习来估计倾斜角度AGMR。作为利用基于CNN的深度学习的例子，例如例示下述文献的技术。
Yu Xiang,Tanner Schmidt,Venkatraman Narayanan,Dieter Fox.“PoseCNN:AConvolutional Neural Network for 6D Object Pose Estimation in ClutteredScenes”,CVPR 2018
处理器25进行生成特征量FEA的数据的处理。另外，处理器25对前方图像IMG和特征量FEA的数据进行编码，并经由接口27输出到通信装置23。在编码处理时，也可以对前方图像IMG和特征量FEA的数据进行压缩。被编码后的前方图像IMG和特征量FEA的数据被包含在通信数据COM2中。
此外，前方图像IMG和特征量FEA的数据的编码处理也可以不使用处理器25和存储器26来执行。例如，也可以通过利用GPU(Graphics Processing Unit：图形处理单元)、DSP(Digital Signal Processor：数字信号处理器)的软件处理、或者基于ASIC、FPGA的硬件处理来执行上述的各种处理。
2-2.远程设施的结构例
图9是表示图1所示的远程设施3的结构例的框图。如图9所示，远程设施3具备显示器31、输入装置32、数据库33、通信装置34以及数据处理装置35。输入装置32、数据库33以及通信装置34与数据处理装置35通过专用的网络而连接。此外，关于显示器31的说明，如在图1的说明中已经叙述的那样。
输入装置32是由远程设施3的操作员进行操作的装置。输入装置32例如具备受理操作员的输入的输入部以及基于该输入而生成和输出辅助指示数据的控制电路。作为输入部，例示触摸面板、鼠标、键盘、按钮以及开关。作为操作员的输入，例示显示器31上输出的光标的移动操作和显示器31上输出的按钮的选择操作。
在操作员进行车辆2的远程驾驶的情况下，输入装置32也可以具备行驶用的输入装置。作为该行驶用的输入装置，例示方向盘、变速杆、加速踏板以及制动踏板。
数据库33是快闪存储器、HDD(Hard Disk Drive：硬盘驱动器)之类的非易失性存储介质。数据库33中保存有车辆2的行驶的远程辅助(或车辆2的远程驾驶)所需的各种程序和各种数据。作为该各种数据，例示超分辨率模型MSR。关于超分辨率模型MSR，根据设想为规定区域REMR的尺寸的尺寸的数量而准备有多个。准备多个超分辨率模型MSR的理由是因为在用于超分辨率处理的深度学习(例如，上述的SRCNN)中需要输入固定尺寸的图像数据。
保存于数据库33的各种数据也可以包含注意唤起图标ICN的数据。关于注意唤起图标ICN，如在图6的说明中已经叙述的那样。关于注意唤起图标ICN的数据，按设想映在镜面部MR的动态物体的每个种类来准备。作为该动态物体，例示行人、自行车、摩托车以及车辆2以外的车辆。
通信装置34在与网络4的基站之间进行无线通信。作为该无线通信的通信标准，例示4G、LTE或5G等移动体通信的标准。通信装置34的通信目的地包括车辆2。在与车辆2的通信中，通信装置34将从数据处理装置35接收的通信数据COM3发送到车辆2。
数据处理装置35是用于对各种数据进行处理的计算机。数据处理装置35具备至少一个处理器36、至少一个存储器37以及接口38。处理器36包括CPU。存储器37进行由处理器36使用的程序的展开和各种数据的临时保存。来自输入装置32的输入信号、远程设施3所获取的各种数据被保存在存储器37中。该各种数据包含通信数据COM2所包含的前方图像IMG和特征量FEA的数据。接口38是与输入装置32、数据库33等外部装置的接口。
处理器36进行对前方图像IMG和特征量FEA的数据进行解码的处理。另外，处理器36进行基于被解码后的数据生成辅助图像AIMG的数据的“图像生成处理”。在前方图像IMG和特征量FEA的数据已被压缩的情况下，在解码处理中，对这些数据进行解压缩。另外，处理器36进行将所生成的辅助图像AIMG的数据经由接口38输出到显示器31的“显示控制处理”。
此外，关于上述的前方图像IMG和特征量FEA的数据的解码处理、图像生成处理以及显示控制处理，也可以不使用处理器36、存储器37以及数据库33执行。例如，也可以通过利用GPU、DSP的软件处理或者基于ASIC、FPGA的硬件处理来执行上述的各种处理。
2-3.车辆的数据处理装置的功能结构例
图10是表示图7所示的数据处理装置24的功能结构例的框图。如图10所示，数据处理装置24具备数据获取部241、数据处理部242以及通信处理部243。
数据获取部241获取车辆2的周边环境数据、行驶状态数据以及位置数据。作为周边环境数据，例示上述的前方图像IMG的数据。作为行驶状态数据，例示车辆2的行驶速度数据、加速度数据、横摆率数据以及舵角数据。这些行驶状态数据由传感器群22测量。位置数据由GNSS传感器测量。
数据处理部242对数据获取部241所获取的各种数据进行处理。各种数据的处理包括特征量FEA的数据的生成处理。在特征量FEA的数据的生成处理中，判定前方图像IMG中是否包含镜面部MR的图像。在判定为前方图像IMG中包含镜面部MR的图像的情况下，进行倾斜角度AGMR的数据的生成处理。各种数据的处理包括上述的前方图像IMG和特征量FEA的数据的编码处理。
通信处理部243将由数据处理部242进行编码后的前方图像IMG的数据(即，通信数据COM2)经由通信装置23发送到远程设施3(通信装置34)。
2-4.远程设施的数据处理装置的功能结构例
图11是表示图9所示的数据处理装置35的功能结构例的框图。如图11所示，数据处理装置35具备数据获取部351、数据处理部352、显示控制部353以及通信处理部354。
数据获取部351获取来自输入装置32的输入信号和来自车辆2的通信数据COM2。
数据处理部352对数据获取部351所获取的各种数据进行处理。各种数据的处理包括对操作员作出的辅助指示的数据进行编码的处理。被编码后的辅助指示的数据被包含在通信数据COM3中。各种数据的处理包括上述的前方图像IMG和特征量FEA的数据的解码处理和图像生成处理。
在图像生成处理中，数据处理部352判定被解码后的特征量FEA的数据中是否包含表示曲面镜TM的种类的种类TYOB的数据。在判定为不包含表示曲面镜TM的种类的种类TYOB的数据的情况下，数据处理部352将作为辅助图像AIMG的数据的前方图像IMG的数据送到显示控制部353。
在判定为包含表示曲面镜TM的种类的种类TYOB的数据的情况下，数据处理部352进行用于进行超分辨率处理的预处理。在该预处理中，首先基于曲面镜TM的坐标XYOB的数据确定曲面镜TM的识别区域RETM的坐标。此外，坐标XYOB的数据是前方图像IMG中包含的物体在该前方图像IMG中的坐标的数据，这如已经叙述的那样。另外，在预处理中，基于识别区域RETM的坐标从前方图像IMG提取规定区域REMR的图像。
然后，数据处理部352将该规定区域REMR的图像输入到超分辨率模型MSR。由此，得到超分辨率图像SMIG。数据处理部352将得到的超分辨率图像SMIG的数据与前方图像IMG的数据一起送到显示控制部353。
在图像生成处理中，数据处理部352也可以检测映在镜面部MR中的动态物体。动态物体的检测处理在被解码后的特征量FEA的数据中包含表示曲面镜TM的种类的种类TYOB的数据和倾斜角度AGMR的数据的情况下进行。在动态物体的检测处理中，例如基于倾斜角度AGMR和镜面部MR的曲率半径(已知)进行规定区域REMR的图像的失真校正。失真校正后的规定区域REMR的图像(以下还称为“校正图像”。)包含镜面部MR的正视图像。
在生成了规定区域REMR的校正图像的情况下，数据处理部352将该校正图像输入到超分辨率模型MSR。以下，将通过输入到超分辨率模型MSR而改善了其分辨率的规定区域REMR的校正图像还称为“超分辨率校正图像”。数据处理部352对该超分辨率校正图像应用利用YOLO(You Only Look Once)网络的深度学习。或者，数据处理部352对该超分辨率校正图像应用利用SSD(Single Shot multibox Detector：单发多框检测)网络的深度学习。由此，检测正视图像内包含的动态物体。
数据处理部352在检测出正视图像内包含的动态物体的情况下，也可以将在超分辨率图像SIMG中包围该动态物体的强调框HLT叠加到超分辨率图像SIMG。或者，也可以通过参照数据库33来选择与正视图像内包含的动态物体对应的注意唤起图标ICN的数据，并对超分辨率图像SIMG叠加该注意唤起图标ICN。强调框HLT和注意唤起图标ICN是超分辨率图像SIMG的附加信息。数据处理部352将被追加了附加信息的超分辨率图像SMIG的数据与前方图像IMG的数据一起送到显示控制部353。
显示控制部353进行显示控制处理。显示控制处理是基于由数据处理部352生成的辅助图像AIMG的数据进行的。另外，显示控制部353还基于由数据获取部351获取的输入信号而控制显示器31的显示内容。在基于输入信号的显示内容的控制中，例如基于输入信号而放大或缩小显示内容，或者进行显示内容的切换(转变)。在其它例中，基于输入信号移动在显示器31上输出的光标，或者选择在显示器31上输出的按钮。
通信处理部354将由数据处理部352进行编码后的辅助指示的数据(即，通信数据COM3)经由通信装置34发送到车辆2(通信装置23)。
2-5.由数据处理装置进行的第一处理例
图12是表示由图9所示的数据处理装置35(处理器36)执行的处理(图像生成处理和显示控制处理)的一例的流程图。图12所示的例程例如在处理器36受理了对远程设施3的辅助请求信号的情况下按规定的控制周期被重复执行。此外，辅助请求信号被包含在通信数据COM2中。
在图12所示的例程中，首先获取前方图像IMG和特征量FEA的数据(步骤S11)。前方图像IMG和特征量FEA的数据是解码处理后的数据。
接着步骤S11的处理之后，判定曲面镜TM的数据是否被包含在种类TYOB的数据中(步骤S12)。如在图8的说明中已经叙述的那样，特征量FEA中包含种类TYOB。在步骤S12的处理中，判定表示曲面镜TM的种类的数据是否被包含在种类TYOB的数据中。
在步骤S12的判定结果为否定性的结果的情况下，生成辅助图像AIMG的数据(步骤S13)。该情况下的辅助图像AIMG的数据是前方图像IMG的数据。另一方面，在步骤S12的判定结果为肯定性的结果的情况下，进行超分辨率处理(步骤S14)。
在此，关于超分辨率处理，参照图13来进行说明。图13是表示图12的步骤S14所示的超分辨率处理的流程的流程图。
在图13所示的例程中，进行识别区域RETM的中心位置和尺寸的计算(步骤S141)。如在图8的说明中已经叙述的那样，特征量FEA的数据包含：前方图像IMG中包含的物体的种类TYOB的数据和该物体在前方图像IMG中的坐标XYOB的数据。也就是说，在特征量FEA的数据中包含表示曲面镜TM的种类的种类TYOB的数据的情况下，曲面镜TM的坐标XYOB的数据也被包含在特征量FEA的数据中。关于识别区域RETM的中心位置和尺寸，基于曲面镜TM的坐标XYOB的数据进行计算。
接着步骤S141的处理之后，进行超分辨率模型MSR的选择(步骤S142)。在步骤S142的处理中，使用在步骤S141的处理中计算出的识别区域RETM的尺寸而参照数据库33。然后，选择具有接近该尺寸的尺寸、且具有纵向和横向的长度比该尺寸长的输入的超分辨率模型MSR。
图14是表示步骤S142的处理的概要的图。如已经叙述的那样，关于超分辨率模型MSR，根据设想为规定区域REMR的尺寸的尺寸的数量而准备有多个。图14所示的超分辨率模型MSR1、MSR2以及MSR3是多个超分辨率模型MSR的一例。在步骤S142的处理中，选择满足上述的尺寸条件的超分辨率模型MSR2。
接着步骤S142的处理之后，进行向超分辨率模型MSR输入的图像的提取(步骤S143)。在步骤S143的处理中，从前方图像IMG的数据中提取与在步骤S142的处理中选择的超分辨率模型MSR(在图14所示的例子中为超分辨率模型MSR2)的输入匹配的尺寸的图像。关于图像的提取，具体通过将以在步骤S141中计算出的中心位置的坐标为中心的区域截取与超分辨率模型MSR的输入匹配的尺寸来进行。这样提取的图像相当于规定区域REMR的图像。
接着步骤S143的处理之后，进行规定区域REMR的图像的高分辨率化(步骤S144)。在步骤S144的处理中，在步骤S143的处理中提取出的图像(也就是说，规定区域REMR的图像)的数据被输入到在步骤S142的处理中选择的超分辨率模型MSR(在图14所示的例子中为超分辨率模型MSR2)。其结果，得到超分辨率图像SIMG。
返回到图12，继续说明处理例。接着步骤S14的处理之后，生成辅助图像AIMG的数据(步骤S15)。该情况下的辅助图像AIMG的数据是前方图像IMG和超分辨率图像SIMG的数据。
接着步骤S13或S15的处理之后，进行显示控制处理(步骤S16)。关于显示控制处理，基于在步骤S13或S15中生成的辅助图像AIMG的数据来进行。在使用在步骤S13中生成的辅助图像AIMG的数据的情况下，前方图像IMG的数据按原样被输出到显示器31。在使用在步骤S15中生成的辅助图像AIMG的数据的情况下，在显示器31的一部分区域中输出超分辨率图像SIMG的数据，在其余的区域中输出前方图像IMG的数据。
2-6.由数据处理装置进行的第二处理例
图15是表示由图9所示的数据处理装置35(处理器36)执行的处理的其它例的流程图。图15所示的例程是在图12所示的例程的步骤S12的判定结果为肯定性的结果的情况下执行的。
在图15所示的例程中，首先执行与图13所示的步骤S141～S143的处理相同的处理(步骤S21)。也就是说，在步骤S21中，进行用于进行超分辨率处理的预处理。
接着步骤S21的处理之后，进行规定区域REMR的图像的变形(步骤S22)。在步骤S22的处理中，使用倾斜角度AGMR和镜面部MR的曲率半径(已知)，对通过步骤S21的处理而提取出的图像(更准确地说，通过与图13所示的步骤S143的处理相同的处理而提取出的规定区域REMR的图像)的失真进行校正。失真校正后的规定区域REMR的图像(即，规定区域REMR的校正图像)包含镜面部MR的正视图像。
接着步骤S22的处理之后，进行规定区域REMR的校正图像的高分辨率化(步骤S23)。在步骤S23的处理中，通过步骤S22的处理而得到的规定区域REMR的校正图像的数据被输入到通过步骤S21的处理来选择的超分辨率模型MSR(更准确地说，通过与图13所示的步骤S142的处理相同的处理而选择的超分辨率模型MSR)。其结果，得到超分辨率校正图像。
接着步骤S23之后，进行正视图像内的动态物体的检测(步骤S24)。在步骤S24的处理中，例如对通过步骤S23的处理而得到的超分辨率校正图像应用上述的利用YOLO网络或SSD网络的深度学习。
接着步骤S24的处理之后，判定在正视图像内是否检测出动态物体(步骤S25)。步骤S25的处理例如是基于超分辨率校正图像(正视图像)的时间序列数据进行的。当时间序列数据中有在镜面部MR的整体区域中所占的比例发生变化的物体的情况下，判断为是动态物体。此外，占有比例增加的物体是接近车辆2的动态物体。另一方面，占有比例减少的物体是远离车辆2的动态物体。
在步骤S25的判定结果为否定性的结果的情况下，进行规定区域REMR的图像的高分辨率化(步骤S26)。在步骤S25的判定结果为肯定性的结果的情况下也进行规定区域REMR的图像的高分辨率化(步骤S27)。步骤S26及S27的处理与图13所示的步骤S144的处理相同。当进行了步骤S27的处理时，得到超分辨率图像SIMG。
接着步骤S27的处理之后，对超分辨率图像SIMG追加附加信息(步骤S28)。附加信息是强调框HLT或注意唤起图标ICN。在追加强调框HLT的情况下，以包围在步骤S24的处理中检测出的动态物体的方式在超分辨率图像SIMG上叠加强调框HLT。在追加注意唤起图标ICN的情况下，通过参照数据库33而选择与在步骤S24的处理中检测出的动态物体对应的注意唤起图标ICN的数据。然后，在超分辨率图像SIMG中将所选择的注意唤起图标ICN叠加在动态物体的附近的区域。
接着步骤S26或S28的处理之后，生成辅助图像AIMG的数据(步骤S29)。步骤S26及S27的处理与图12所示的步骤S15的处理相同。
3.效果
根据以上说明的实施方式，在前方图像IMG中包含镜面部MR的图像的情况下，根据包含镜面部MR的规定区域REMR的图像生成超分辨率图像SIMG并输出到显示器31。因而，即使从车辆2到曲面镜TM的距离远，也能够使得操作员容易地识别映在镜面部MR的物体。因而，能够确保操作员实施的远程辅助中的车辆2的行驶安全性。
另外，根据实施方式，通过进行规定区域REMR的图像的失真校正而生成规定区域REMR的校正图像。并且，基于根据该校正图像生成的超分辨率校正图像进行正视图像内的物体检测。而且，在正视图像内包含动态物体的情况下，在超分辨率图像SIMG中追加与动态物体有关的附加信息。因而，操作员能够容易地识别映在镜面部MR的动态物体。

Claims (5)

1.一种远程辅助系统，具备车辆和对所述车辆的行驶进行辅助的远程设施，其特征在于，
所述远程设施具备：
存储器，保存表示所述车辆的前方的图像的前方图像的数据和所述前方图像中包含的物体的特征量的数据；以及
处理器，进行基于所述前方图像和所述特征量的数据生成向所述远程设施的显示器输出的辅助图像的数据的图像生成处理以及在所述显示器中输出所述辅助图像的数据的显示控制处理，
在所述图像生成处理中，所述处理器：
基于所述特征量的数据判定所述前方图像中是否包含曲面镜的镜面部的图像，
在判定为所述前方图像中包含所述镜面部的图像的情况下，从所述前方图像中提取包含所述镜面部的规定区域的图像，
进行针对所述规定区域的图像的超分辨率处理而生成超分辨率图像，
在所述显示控制处理中，所述处理器：
在所述前方图像中不包含所述镜面部的图像的情况下，将所述前方图像的数据作为所述辅助图像的数据而输出到所述显示器，
在所述前方图像中包含所述镜面部的图像的情况下，将所述超分辨率图像和所述前方图像的数据作为所述辅助图像的数据而输出到所述显示器。
2.根据权利要求1所述的远程辅助系统，其特征在于，
在所述显示控制处理中，所述处理器：
在所述前方图像中包含所述镜面部的图像的情况下，将所述超分辨率图像的数据输出到所述显示器的一部分区域，将所述前方图像的数据输出到所述显示器的其余的区域。
3.根据权利要求1或2所述的远程辅助系统，其特征在于，
所述特征量包含所述镜面部相对于基准面的倾斜角度，
在所述图像生成处理中，所述处理器：
在判定为所述前方图像中包含所述镜面部的图像的情况下，在进行针对所述规定区域的图像的所述超分辨率处理之前，基于所述倾斜角度和所述镜面部的曲率半径进行所述规定区域的图像的失真校正，生成包含所述镜面部的正视图像的所述规定区域的校正图像，
进行针对所述校正图像的所述超分辨率处理，生成超分辨率校正图像，
基于所述超分辨率校正图像进行所述正视图像内的动态物体的检测，
当在所述正视图像内未检测出动态物体的情况下，进行针对所述规定区域的图像的所述超分辨率处理，生成所述超分辨率图像的数据，
当在所述正视图像内检测出动态物体的情况下，进行针对所述规定区域的图像的所述超分辨率处理而生成所述超分辨率图像的数据，并对所生成的所述超分辨率图像追加包围所述动态物体的强调框。
4.根据权利要求1或2所述的远程辅助系统，其特征在于，
所述远程设施还具备数据库，该数据库保存有根据动态物体的种类设定的注意唤起图标的数据，
所述特征量包含所述镜面部相对于基准面的倾斜角度，
在所述图像生成处理中，所述处理器：
在判定为所述前方图像中包含所述镜面部的图像的情况下，在进行针对所述规定区域的图像的所述超分辨率处理之前，基于所述倾斜角度和所述镜面部的曲率半径进行所述规定区域的图像的失真校正，生成包含所述镜面部的正视图像的所述规定区域的校正图像，
进行针对所述校正图像的所述超分辨率处理而生成超分辨率校正图像，
基于所述超分辨率校正图像进行所述正视图像内的动态物体的检测，
当在所述正视图像内未检测出动态物体的情况下，进行针对所述规定区域的图像的所述超分辨率处理，生成所述超分辨率图像的数据，
当在所述正视图像内检测出动态物体的情况下，通过使用所检测出的所述动态物体参照所述数据库而选择与所检测出的所述动态物体对应的注意唤起图标的数据，进行针对所述规定区域的图像的所述超分辨率处理而生成所述超分辨率图像的数据，并对所生成的所述超分辨率图像追加所选择的所述注意唤起图标。
5.一种远程辅助方法，通过远程设施对车辆的行驶进行辅助，其特征在于，
所述远程设施具备：
存储器，保存表示所述车辆的前方的图像的前方图像的数据和所述前方图像中包含的物体的特征量的数据；以及
处理器，进行基于所述前方图像和所述特征量的数据生成向所述远程设施的显示器输出的辅助图像的数据的图像生成处理以及在所述显示器中输出所述辅助图像的数据的显示控制处理，
所述图像生成处理包括以下处理：
基于所述特征量的数据判定所述前方图像中是否包含曲面镜的镜面部的图像；
在判定为所述前方图像中包含所述镜面部的图像的情况下，从所述前方图像中提取包含所述镜面部的规定区域的图像；以及
进行针对所述规定区域的图像的超分辨率处理而生成超分辨率图像，
所述显示控制处理包括以下处理：
在所述前方图像中不包含所述镜面部的图像的情况下，将所述前方图像的数据作为所述辅助图像的数据输出到所述显示器；以及
在所述前方图像中包含所述镜面部的图像的情况下，将所述超分辨率图像和所述前方图像的数据作为所述辅助图像的数据输出到所述显示器。
CN202210648741.5A 2021-06-10 2022-06-09 远程辅助系统和远程辅助方法 Pending CN115472027A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021097501A JP2022189113A (ja) 2021-06-10 2021-06-10 遠隔支援システム及び遠隔支援方法
JP2021-097501 2021-06-10

Publications (1)

Publication Number Publication Date
CN115472027A true CN115472027A (zh) 2022-12-13

Family

ID=84364423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210648741.5A Pending CN115472027A (zh) 2021-06-10 2022-06-09 远程辅助系统和远程辅助方法

Country Status (3)

Country Link
US (1) US20220398690A1 (zh)
JP (1) JP2022189113A (zh)
CN (1) CN115472027A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005178623A (ja) * 2003-12-19 2005-07-07 Denso Corp 車両用表示装置
JP2010122821A (ja) * 2008-11-18 2010-06-03 Fujitsu Ten Ltd 車両運転支援装置
CN107852462A (zh) * 2015-07-22 2018-03-27 索尼公司 相机模块、固体摄像元件、电子设备和摄像方法
CN108242182A (zh) * 2016-12-27 2018-07-03 松下电器（美国）知识产权公司 信息处理装置、信息处理方法以及程序
CN111169382A (zh) * 2018-11-13 2020-05-19 丰田自动车株式会社 驾驶辅助装置、驾驶辅助系统、驾驶辅助方法以及程序
CN111199218A (zh) * 2014-01-30 2020-05-26 移动眼视力科技有限公司 用于车辆的控制系统、和图像分析系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005178623A (ja) * 2003-12-19 2005-07-07 Denso Corp 車両用表示装置
JP2010122821A (ja) * 2008-11-18 2010-06-03 Fujitsu Ten Ltd 車両運転支援装置
CN111199218A (zh) * 2014-01-30 2020-05-26 移动眼视力科技有限公司 用于车辆的控制系统、和图像分析系统
CN107852462A (zh) * 2015-07-22 2018-03-27 索尼公司 相机模块、固体摄像元件、电子设备和摄像方法
CN108242182A (zh) * 2016-12-27 2018-07-03 松下电器（美国）知识产权公司 信息处理装置、信息处理方法以及程序
CN111169382A (zh) * 2018-11-13 2020-05-19 丰田自动车株式会社 驾驶辅助装置、驾驶辅助系统、驾驶辅助方法以及程序

Also Published As

Publication number Publication date
US20220398690A1 (en) 2022-12-15
JP2022189113A (ja) 2022-12-22

Similar Documents

Publication Publication Date Title
CN108571974B (zh) 使用摄像机的车辆定位
US11709069B2 (en) Method and device for displaying 3D augmented reality navigation information
EP3327464B1 (en) Algorithm and infrastructure for robust and efficient vehicle localization
US20220076038A1 (en) Method for controlling vehicle and electronic device
US11144770B2 (en) Method and device for positioning vehicle, device, and computer readable storage medium
KR102399130B1 (ko) 차량의 주행 환경 인식 장치, 방법 및 시스템
US11370420B2 (en) Vehicle control device, vehicle control method, and storage medium
US20240017719A1 (en) Mapping method and apparatus, vehicle, readable storage medium, and chip
KR20220017481A (ko) 2d 궤적 플래너용 도로 모델 매니폴드
KR20210029323A (ko) 정밀 지도를 이용한 센서 퓨전의 인지 성능 향상을 위한 장치 및 방법
US20220358620A1 (en) Remote assistance system and remote assistance method
CN113895429A (zh) 一种自动泊车方法、系统、终端及存储介质
CN113459951A (zh) 车外环境显示方法和装置、车辆、设备和存储介质
US11869253B2 (en) Vehicle environment modeling with a camera
US10759449B2 (en) Recognition processing device, vehicle control device, recognition control method, and storage medium
CN115472027A (zh) 远程辅助系统和远程辅助方法
CN114842455B (zh) 障碍物检测方法、装置、设备、介质、芯片及车辆
CN112613335B (zh) 识别装置、识别方法及存储介质
JP2020024562A (ja) 物体認識装置、車両制御装置、物体認識方法、およびプログラム
JP2023022415A (ja) 物体認識装置、コンピュータプログラム及び記録媒体
US11256927B2 (en) Information provision device, vehicle, driving assistance system, map generation device, driving assistance device, and driving assistance method
US11620831B2 (en) Register sets of low-level features without data association
CN114821511B (zh) 杆体检测方法、装置、车辆、存储介质及芯片
CN114071350B (zh) 车辆定位方法、装置及可读存储介质
CN115082886B (zh) 目标检测的方法、装置、存储介质、芯片及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination