CN109215337A - 移动体远程操作系统以及移动体远程操作方法 - Google Patents

移动体远程操作系统以及移动体远程操作方法 Download PDF

Info

Publication number
CN109215337A
CN109215337A CN201810180895.XA CN201810180895A CN109215337A CN 109215337 A CN109215337 A CN 109215337A CN 201810180895 A CN201810180895 A CN 201810180895A CN 109215337 A CN109215337 A CN 109215337A
Authority
CN
China
Prior art keywords
moving body
processor
moment
image
described image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810180895.XA
Other languages
English (en)
Inventor
久保广行
远藤英树
柚木祥慈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN109215337A publication Critical patent/CN109215337A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0055—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements
    • G05D1/0061—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Abstract

本发明在对能够进行自主行驶的移动体进行远程操作时，在远程操作画面正确地叠加描绘自主行驶轨道。本发明保持表示所述移动体的自主行驶轨道的轨道信息和包含设置在移动体的照相机的位置、朝向以及视角的照相机信息，存放接收到的所述移动体的位置及其获取时刻，若接收到由照相机拍摄的图像及其拍摄时刻，则显示接收到的图像，并存放拍摄时刻，基于图像的拍摄时刻和每个获取时刻的移动体的位置来推定图像的拍摄时刻的移动体的位置以及朝向，基于轨道信息、照相机信息、以及推定的移动体的位置和朝向确定轨道中的包含在图像的范围内的部分，基于轨道信息、照相机信息、以及推定的移动体的位置和朝向将轨道的确定的部分的坐标变换为图像上的坐标，并显示在变换后的坐标的位置叠加了轨道的图像。

Description

移动体远程操作系统以及移动体远程操作方法
技术领域
本发明涉及从远处对移动体进行操作的技术。
背景技术
自动驾驶车辆等进行自主行驶的移动体一般通过车体具备的传感器来获取外部环境信息，并基于该信息按照事先规定的动作程序自主地决定行驶的路径，从而进行自主行驶。此时，在外部环境信息为事先规定的动作程序未设想的外部环境信息的情况下，动作程序会受阻，不能继续进行自主行驶。
在这样的环境中，从远处对移动体进行操作，使其避开难以进行自主行驶的地方而移动到能够进行自主行驶的地方，并恢复自主行驶的方法是有效的。
作为这种现有技术，有以“远程操纵系统”的名称在专利文献1公开的技术。在专利文献1公开的方法示出了如下的方法，即，在远程操纵系统中，推定移动体与远程操纵装置之间的通信延迟时间，算出从获取了图像的时刻起经过了所需时间后的移动体的移动预定路径，并叠加在显示于显示部的图像，所述远程操纵系统包括：显示由摄像部对搭载了获取移动区域的图像的该摄像部的上述移动体获取的图像的显示部；以及用于基于显示的图像对移动体进行远程操纵的远程操纵装置。
在先技术文献
专利文献
专利文献1：日本特开2010-61346号公报
发明内容
发明要解决的课题
在移动体原来能够进行自主行驶的情况下，远程操作的本意在于使移动体迅速地恢复到能够进行自主行驶的状况。但是，在专利文献1记载的系统虽然公开了在远程操作时移动体与远程操作装置之间的通信延迟时间大的状况下可更直观地进行对远程操作装置进行操作的主体的移动体的操作的方法，但是并不支持向自主行驶的恢复。
在事先决定了可进行自主行驶的区域的情况下，如果能够将该区域正确地叠加在远程操作时的显示画面上，则操作者只要朝向该区域对移动体进行远程操作即可，因此能够容易地进行远程操作。
在使区域等基于位置的信息叠加显示在画面的情况下，需要正确地掌握摄像装置的位置、朝向、以及拍摄角度等，并基于该值对该信息进行坐标变换。在移动体中，因为在远程操作时摄像装置的位置以及朝向会时刻变化，所以摄像时刻的该信息变得特别重要。一般来说，摄像装置和获取位置信息的传感器是独立的元件，动作周期以及处理时间不同，因此在将基于最新的位置信息进行了坐标变换的信息叠加显示在远程操作装置保持的最新的图像的情况下，画面上的区域会偏移，不能成为用于进行远程操作的补充信息。
用于解决课题的技术方案
为了解决上述的课题，本发明采用以下的结构。即，一种移动体远程操作系统，具有：处理器；接口部，与所述处理器连接，并与移动体进行通信；存储部，与所述处理器连接；以及显示部，与所述处理器连接，其特征在于，所述存储部保持：轨道信息，表示所述移动体进行自主行驶的轨道的位置；以及照相机信息，包含设置在所述移动体的照相机的位置、朝向以及视角，所述处理器若经由所述接口部接收了所述移动体的位置以及所述位置的获取时刻，则将接收到的所述位置以及获取时刻存放到所述存储部，所述处理器若经由所述接口部接收到由所述照相机拍摄的图像及其拍摄时刻，则将接收到的所述图像的数据输出到所述显示部，并将所述拍摄时刻存放到所述存储部，所述处理器基于所述图像的拍摄时刻和每个所述获取时刻的所述移动体的位置，推定所述图像的拍摄时刻的所述移动体的位置以及朝向，所述处理器基于所述轨道信息、所述照相机信息、以及推定的所述移动体的位置和朝向，确定所述轨道中的包含在所述图像的范围内的部分，所述处理器基于所述轨道信息、所述照相机信息、以及推定的所述移动体的位置和朝向，将所述轨道的确定的所述部分的坐标变换为所述图像上的坐标，并将在变换后的所述坐标的位置叠加了所述轨道的所述图像的数据输出到所述显示部。
发明效果
根据本发明的一个实施方式，能够在移动体的远程操作时正确地显示作为远程操作的目的地的区域，进行远程操作的操作者能够容易地使移动体移动。通过以下的实施例的说明，可明确上述以外的课题、结构以及效果。
附图说明
图1是在远程操作时的显示画面上叠加显示了能够恢复为自主行驶的区域的显示的具体例的说明图。
图2A是移动体的位置、摄像图像、以及所叠加的自主行驶轨道的关系性的说明图。
图2B是移动体的位置、摄像图像、以及所叠加的自主行驶轨道的关系性的说明图。
图3是示出本发明的实施例的移动体远程操作系统整体的结构的框图。
图4A是示出本发明的实施例的移动体以及远程支援中心执行的处理的整体的流程图。
图4B是示出本发明的实施例的移动体以及远程支援中心执行的处理的整体的流程图。
图5是示出存放在本发明的实施例的移动体信息存储部的移动体信息的具体例的说明图。
图6是示出存放在本发明的实施例的自主行驶轨道存储部的图像信息的具体例的说明图。
图7是示出存放在本发明的实施例的图像信息存储部的图像信息的具体例的说明图。
图8是示出利用本发明的实施例的位置推定程序来推定位置信息的一个方法的流程图。
图9是示出本发明的实施例的位置信息推定程序根据存放在移动体信息存储部的信息来推定位置信息的处理的具体例的说明图。
图10是示出本发明的实施例的自主行驶轨道显示程序缩窄进行坐标变换的区域的信息的处理的具体例的说明图。
图11是示出利用本发明的实施例的自主行驶轨道显示程序进行坐标变换的原理的例子的说明图。
图12是示出在本发明的实施例中叠加在画面的自主行驶轨道的形态的例子的说明图。
图13是示出在本发明的实施例中叠加在画面的信息的具体例的说明图。
附图标记说明
1：移动体，2：广域网络，3：远程支援中心，11：车载照相机，12：位置信息传感器，13、30：处理器，14、33：网络I/F，15：自主行驶轨道存储部，16：照相机规格存储部，17、37：存储器，31：显示器，32：控制器，34：移动体信息存储部，35：自主行驶轨道存储部，36：图像信息存储部。
具体实施方式
首先，对在远程操作时显示的图像的摄像时刻与位置信息的获取时刻之差所带来的影响进行说明。
图1是在远程操作时的显示画面上叠加显示了能够恢复为自主行驶的区域的显示的具体例的说明图。
在图1(a)示出移动体(在该例子中，是自主行驶车辆)一边行驶一边对前方进行拍摄的图像的例子。在该例子中，在移动体通过自主行驶而预定此后要行驶的轨道上，因故障而停止有其它车辆。因为移动体未规定用于绕开它的动作程序，所以自主行驶被解除(图1(a))。如果是事先决定了自主行驶轨道的状况，如果能够对移动体进行远程操作而避开停止车辆，并直到前方不存在其它障碍物的自主行驶轨道上的区域为止，则移动体能够恢复到自主行驶。因此，在上述的状况下，如图1(b)所示，优选使事先决定的自主行驶轨道叠加显示在远程操作时的显示画面。
在移动体具备的照相机等摄像装置获取的图像叠加基于位置的信息的情况下，重要的是正确地掌握移动体的位置。
图2A以及图2B是移动体的位置、摄像图像、以及所叠加的自主行驶轨道的关系性的说明图。
照相机图像一般在进行了编码等处理之后从移动体发送到远程操作装置。在该情况下，在远程操作时的显示画面上描绘的画面根据实际的状况而延迟与通信延迟以及编码等的处理延迟对应的量而进行显示。另一方面，一般来说，获取位置信息的传感器是以与照相机独立的周期进行动作的元件，从位置信息获取时间点起延迟与通信延迟相应的量而发送到远程操作装置。因此，在照相机图像以及位置信息连续地发送的情况下，远程操作装置侧接收的各个最新的信息的获取时刻会偏移。
在图2的例子中，设在某个时刻远程操作装置侧接收的最新的照相机图像的摄像时刻为t0，位置信息的获取时刻为t1＝t0+300ms。此时，移动体通过远程操作进行300ms的量的前进和转弯动作(图2A(a))。图2A(b)以及图2A(c)分别是在t0以及t1的照相机位置进行了摄像的照相机图像的例子，图2A(d)以及图2A(e)分别是基于t0以及t1的照相机位置进行了坐标变换的自主行驶轨道的例子。在该例子中，在将基于t1的位置信息进行了坐标变换的自主行驶轨道叠加到在t0进行了摄像的照相机图像的情况下，作为坐标变换的基准的照相机位置和摄像角度不同，因此像图2B所示的图那样，不能将自主行驶轨道正确地叠加在照相机图像。
在本发明中，以下，将放置远程操作装置的场所称为远程支援中心。在远程支援中心常驻有进行移动体的远程操作的操作员。在进行自主行驶的移动体不能继续进行自主行驶的情况下，该操作员使用设置在该远程支援中心内的显示器以及控制器对该移动体进行远程操作。
以下，参照附图对本发明的实施例进行说明。
图3是示出本发明的实施例的移动体远程操作系统整体的结构的框图。
本实施例的移动体远程操作系统由能够经由广域网络2进行通信的移动体1和从远程对该移动体1进行操作的远程支援中心3构成。
移动体1包括车载照相机11、位置信息传感器12、处理器13、经由广域网络2与远程支援中心3进行通信的网络I/F14、自主行驶轨道存储部15、照相机规格存储部16、以及保持多个程序的存储器17。此外，移动体1保持进行自主行驶所需的、用于辨识外部环境的传感器类(省略图示)。在本实施例中，作为移动体1的例子，示出了在道路上进行自主行驶的车辆。但是，本发明不限于车辆，能够应用于任意的种类的移动体。
在图3的例子中，存储器17保持发送图像生成程序171、位置信息获取程序172、图像时刻标记程序173、动作控制程序174以及驾驶状态监视程序175。处理器13通过执行存储器17所保持的程序，从而实现移动体1的各种功能。在以下的说明中，关于记述为存储器17内的程序所执行的处理，实际上由处理器13按照存储器17内的程序所记述的命令根据需要对移动体1的各部分进行控制来执行。
车载照相机11根据发送图像生成程序171的请求将进行了摄像的图像发送到发送图像生成程序171。此时，摄像图像可以是像流动画那样连续的图像群。在流动画的生成中，对图像进行摄像的间隔可以根据发送图像生成程序171的设定进行变更。
位置信息传感器12例如是GPS(Global Positioning System，全球定位系统)等提供获取位置坐标的功能的传感器。位置信息传感器12根据位置信息获取程序172的请求以固定时间间隔依次获取位置坐标，并发送到位置信息获取程序172。位置信息的获取间隔可以根据位置信息获取程序172的设定进行变更。
自主行驶轨道存储部15是存放自主行驶时使用的轨道的数据库。自主行驶轨道存储部15从远程支援中心3获取自主行驶轨道，并保持该轨道信息。
照相机规格存储部16是存放车载照相机11的规格信息的数据库。照相机规格包括车载照相机11的位置(例如，设置高度)、视角以及朝向(例如，作为水平面与照相机的拍摄方向所成的角的水平角)(即，水平面与照相机的拍摄方向所成的角)等进行坐标变换所需的车载照相机11的全部的信息。
自主行驶轨道存储部15以及照相机规格存储部16例如可以存放在移动体1内的硬盘驱动器或闪速存储器那样的存储装置，也可以根据需要将它们的至少一部分保持在存储器17。
发送图像生成程序171是存放在存储器17的程序之一，从车载照相机11获取图像，对该一个一个的图像分配ID，并经由网络I/F14将图像发送到远程支援中心3。
图像时刻标记程序173是存放在存储器17的程序之一，设定车载照相机11对图像进行摄像的时刻，将该时刻与发送图像生成程序171分配的ID建立对应，并经由网络I/F14作为图像信息发送到远程支援中心3。
另外，发送图像生成程序171和图像时刻标记程序173也可以是单个程序。此外，如果车载照相机11具备存储器以及处理器等的功能，则上述的两个程序也可以是存放在车载照相机11内的存储器的程序。本实施例并不限制提供两个程序的功能的地方。
位置信息获取程序172是存放在存储器17的程序之一，从位置信息传感器12获取位置信息，并将该获取信息和获取时刻经由网络I/F14发送到远程支援中心3。
动作控制程序174是存放在存储器17的程序之一，提供如下功能，即，基于从移动体1保持的外部环境传感器(省略图示)获取的信息和存放在自主行驶轨道存储部15的自主行驶轨道，对移动体1进行控制，从而实现自主行驶。此外，动作控制程序174还提供如下功能，即，基于从远程支援中心3接收的控制信号，对移动体1进行控制，从而实现远程操作。
驾驶状态监视程序175是存放在存储器17的程序之一，始终判定移动体1是否处于能够进行自主行驶的状态。如果判定为移动体1成为不能继续进行自主行驶的状态，则驾驶状态监视程序175经由网络I/F14将该信息通知给远程支援中心3，并请求远程操作。
远程支援中心3具有处理器30、显示从移动体1接收的图像的显示器31、操作者用于进行移动体1的远程操作的控制器32、经由广域网络2与移动体1进行通信的网络I/F33、移动体信息存储部34、自主行驶轨道存储部35、图像信息存储部36、以及保持多个程序的存储器37。
在图3的例子中，存储器37保持远程支援接受程序371、图像接收程序372、位置推定程序373、控制信号生成程序374、自主行驶轨道显示程序375以及远程操作轨道显示程序376。处理器30通过执行存储器37所保持的程序，从而实现远程支援中心3的各种功能。在以下的说明中，关于记述为存储器37内的程序所执行的处理，实际上由处理器30按照存储器37内的程序所记述的命令，根据需要对远程支援中心3的各部分进行控制来执行。此外，移动体1与远程支援中心3之间的通信经由网络I/F14、广域网络2以及网络I/F33来进行。
移动体信息存储部34、自主行驶轨道存储部35以及图像信息存储部36例如可以存放在远程支援中心3内的硬盘驱动器或闪速存储器那样的存储装置，也可以根据需要将它们的至少一部分保持在存储器37。
控制器32是在远程支援中心3对移动体1进行远程操作时由操作者输入操作的输入装置。例如，可以是，控制器32具有方向盘、油门踏板以及刹车踏板等，若操作者对它们进行操作，则控制信号生成程序374生成与它们的操作量相应的控制信号并发送到移动体1。
另外，虽然在图3仅示出了一个移动体1，但是实际上远程支援中心3能够管理多个移动体1。
移动体信息存储部34是存放由远程支援中心3进行管理的移动体1的信息的数据库。
图5是示出存放在本发明的实施例的移动体信息存储部34的移动体信息的具体例的说明图。
移动体信息包括：确定移动体1的ID341；移动体1当前保持的自主行驶轨道的ID342；移动体1的照相机规格343；从移动体依次发送的位置信息345；移动体1获取了位置信息的时刻346；以及远程支援中心3接收了该位置信息的时刻344。位置信息345例如包含表示在时刻344所示的时刻获取的移动体1的纬度、经度以及该移动体1所朝的方位角的信息。
另外，移动体信息也可以还包含与各移动体1相关的上述以外的信息。例如，移动体信息可以包含各移动体1的车宽等与尺寸相关的信息，也可以包含与形状相关的信息。
自主行驶轨道存储部35是保持由远程支援中心3进行管理的移动体1用于进行自主行驶的轨道的数据库。
图6是示出存放在本发明的实施例的自主行驶轨道存储部35的轨道信息的具体例的说明图。
另外，在本实施例中，所谓“轨道”，例如是在一般的自动驾驶技术中作为移动体的移动路径而生成的轨道。即，本实施例的轨道例如是作为移动体1实际移动的空间上的路径的坐标值的集合而保持在远程支援中心3以及移动体1的轨道，不需要用于在实际的空间上引导移动体1的设备(例如像导轨那样的构造物、引导移动体1的信号的发送装置、或为了显示移动体1的前进路线而在实际的道路上描绘的线等)。
在图6例示的自主行驶轨道存储部35保持识别各自主行驶轨道的轨道ID351和表示各自主行驶轨道的内容的轨道内容352。自主行驶轨道例如用如轨道内容352所示的坐标点d的群来表示。另外，虽然在本发明中，设想了沿着事先决定的轨道进行移动体的自主行驶，但是并不限制用于进行自主行驶的基本信息的提供方式。即，自主行驶轨道可以保持为如轨道内容352所示的点群信息，也可以保持为线段等图形信息。远程支援中心3保持有由该远程支援中心3进行管理的全部的移动体1所保持的自主行驶轨道，对各自主行驶轨道分配轨道ID351，作为数据库进行管理。
图像信息存储部36是保持远程支援中心3从移动体1接收的图像的摄像时刻的数据库。
图7是示出存放在本发明的实施例的图像信息存储部36的图像信息的具体例的说明图。
在图像信息存储部36保持：识别从图像时刻标记程序173发送的图像的图像ID361；以及表示该图像被拍摄的时刻的摄像时刻362。
远程支援接受程序371是存放在存储器37的程序之一，提供如下功能，即，接受移动体1的请求，开始进行远程操作的处理。
图像接收程序372是存放在存储器37的程序之一，将从移动体1接收的图像的信息输出到显示器31并显示。
位置推定程序373是存放在存储器37的程序之一，提供如下功能，即，参照移动体信息存储部34和图像信息存储部36，推定显示在显示器31的图像的摄像时刻的移动体1的位置信息。
控制信号生成程序374是存放在存储器37的程序之一，提供如下功能，即，基于操作者使用控制器32进行操作的操作值，生成用于操作移动体的信号，并经由网络I/F33发送到移动体1。
自主行驶轨道显示程序375提供如下功能，即，基于位置推定程序373推定的位置信息和移动体信息存储部34保持的车载照相机规格343，对自主行驶轨道存储部35保持的自主行驶轨道进行坐标变换，并叠加显示在显示器。
远程操作轨道显示程序376提供如下功能，即，基于位置推定程序373推定的位置信息和控制器32的操作值，算出远程操作的结果移动体行驶的轨道并进行坐标变换，且叠加显示在显示器。
图4A以及图4B是示出本发明的实施例的移动体1以及远程支援中心3执行的处理的整体的流程图。以下，按照本流程图对本实施例的动作进行说明。
移动体1在开始进行自主行驶之前从远程支援中心3的自主行驶轨道存储部35获取移动体1行驶的自主行驶轨道，并存放到移动体1的自主行驶轨道存储部15(S101)。
远程支援中心3将移动体1获取的自主行驶轨道的ID记录到移动体信息存储部34(S201)。
移动体1在开始进行自主行驶之前将存放在照相机规格存储部16的照相机规格信息发送到远程支援中心3(S102)。
远程支援中心3将接收的照相机规格信息记录到移动体信息存储部34的照相机规格343(S202)。
移动体1基于获取的自主行驶轨道进行自主行驶(S001)。
移动体1的位置信息获取程序172在行驶中从位置信息传感器12依次获取位置信息，并依次发送到远程支援中心3(S103)。本处理在自主行驶、远程操作、任一状态下进行。但是，在自主行驶时和远程操作时，位置信息的获取间隔等可以不同。此时，位置信息获取程序172可以从驾驶状态监视程序175获取当前状态的行驶状态，并基于该行驶状态对位置信息的获取间隔等、位置信息传感器12的设定进行变更。
远程支援中心3将接收的位置信息依次记录到移动体信息存储部34(S203)。
另外，在S103中发送的位置信息至少包含表示移动体1的位置的坐标值和获取了该坐标值的时刻。该位置信息可以还包含表示移动体1的朝向(例如，移动体1的行进方向的方位角)的信息。在位置信息包含方位角的情况下，其作为位置345的角度而被存放。移动体1的位置信息获取程序172也可以基于每个时刻的移动体1的位置来推定每个时刻的移动体1的朝向。或者，在移动体1具有电子罗盘或陀螺传感器等的情况下，也可以基于它们的输出来获取移动体1的朝向，并在S103中发送。在S103中发送的位置信息不包含表示移动体1的朝向的信息的情况下，远程支援中心3可以基于接收的位置信息包含的每个时刻的移动体1的位置，推定每个时刻的移动体1的朝向，并将其结果作为位置345的角度进行存放。
移动体1的驾驶状态监视程序175依次监视移动体1的自主行驶的状态(S104)。
例如，在自主行驶轨道上存在事故车辆等的情况等移动体1不能继续进行自主行驶的情况下，移动体1解除自主行驶(S002)。
移动体1的驾驶状态监视程序175监视移动体1的自主行驶的状态，在感测到自主行驶的解除的情况下，向远程支援中心3请求远程支援(S105)。远程支援中心3的远程支援接受程序371受理来自移动体1的远程支援请求(S204)。
远程支援中心3的远程支援接受程序371向移动体1请求图像的发送(S205)。移动体1的发送图像生成程序171受理图像的发送请求(S106)。
移动体1的发送图像生成程序171从车载照相机11获取图像，对各图像分配ID，并发送到远程支援中心3。此外，图像时刻标记程序173获取各图像的摄像时刻，将图像ID和摄像时刻作为图像信息发送到远程支援中心3(S107)。
图像接收程序372将从移动体1接收的图像输出到显示器31并进行描绘。此外，将从移动体1接收的图像信息(即，图像ID以及摄像时刻)存放到图像信息存储部36(S206)。此时，图像接收程序372也可以将从移动体1接收的图像至少临时地存放在图像信息存储部36或存储器37。
远程支援中心3的图像接收程序372查询图像信息存储部36，获取接收的(即，当前所描绘的)图像的摄像时刻，并通知给位置推定程序373(S207)。
远程支援中心3的位置推定程序373基于被通知的摄像时刻和积累在移动体信息存储部34的移动体1的位置信息，推定摄像时刻的移动体1的位置。然后，将推定的移动体位置通知给自主行驶轨道显示程序375(S208)。
图8是示出由本发明的实施例的利用位置推定程序373来推定位置信息的一个方法的流程图。
图9是示出本发明的实施例的位置推定程序373根据存放在移动体信息存储部34的信息推定位置信息的处理的具体例的说明图。
以下，使用图8和图9对位置信息推定的一个方法进行说明。
位置推定程序373从存放在移动体信息存储部34的信息中的、该移动体1(即，作为远程支援的对象且作为当前描绘的图像的发送源的移动体1)的位置获取时刻346列，搜索存放有图像的摄像时刻T与位置信息获取时刻ti之差T-ti成为最小且为0以上的值的行的行编号i(S2081)。此时，在此，ti≤T＜ti+1。
位置推定程序373从移动体信息存储部34的该移动体1的位置信息列345列获取位置信息获取时刻ti和ti+1的位置信息(Lati、Loni、Anglei)以及(Lati+1、Loni+1、Anglei+1)(S2082)。在此，Lati是存放在移动体信息存储部34的第i行的纬度、Loni是存放在移动体信息存储部34的第i行的经度、Anglei是存放在移动体信息存储部34的第i行的移动体的角度。
在图9的例子中，摄像时刻T＝14∶21∶32.175，ti＝14∶21∶32.150、ti+1＝14∶21∶32.200。
位置推定程序373根据(Lati、Loni、Anglei)以及(Lati+1、Loni+1、Anglei+1)算出摄像时刻T的位置信息(S2083)。例如，像(Lati+((Lati+1-Lati)(T-ti)/(ti+1-ti))、Loni+((Loni+1-Loni)(T-ti)/(ti+1-ti))、Anglei+((Anglei+1-Anglei)(T-ti)/(ti+1-ti)))那样算出摄像时刻T的位置信息。
在本发明中，设想位置推定程序373查询摄像时刻T和移动体信息存储部34并推定位置信息。上述的方法是该推定的具体的方法的一个例子。即，在上述的方法中，在获取了作为拍摄时刻T的前后的时刻的ti以及ti+1的各自的移动体1的位置以及朝向时，通过将对从ti至ti+1的移动体1的位置之差乘以从ti至T的长度相对于从ti至ti+1的长度的比率的值与t的移动体1的位置相加，从而推定拍摄时刻T的移动体1的位置。同样地，通过将对从ti至ti+1的移动体1的朝向之差乘以从ti至T的长度相对于从ti至ti+1的长度的比率的值与t处的移动体1的朝向相加，从而推定拍摄时刻T的移动体1的朝向。由此，能够以充分的精度推定拍摄时刻T的移动体1的位置以及朝向。
但是，位置信息的推定的具体的方法不限定于上述的一个例子。例如，位置推定程序373也可以求出与摄像时刻T最接近的ti，并采用该位置信息(Lati、Loni、Anglei)作为推定结果。如果位置信息的获取间隔足够短，则可通过该方法以少的计算量并以充分的精度推定位置信息。或者，位置推定程序373也可以采用(Lati、Loni、Anglei)以及(Lati+1、Loni+1、Anglei+1)的平均作为推定结果，或者，也可以根据存放在移动体信息存储部34的摄像时刻T的位置信息的变化近似地求出该移动体1在以怎样的曲率转弯，并根据该转弯状况求出摄像时刻T的位置信息。通过这些方法，也能够以充分的精度推定拍摄时刻T的移动体1的位置以及朝向。
远程支援中心3的自主行驶轨道显示程序375参照存放在移动体信息存储部34的、该移动体1所保持的自主行驶轨道的ID，从自主行驶轨道存储部35获取该移动体1所保持的自主行驶轨道信息。自主行驶轨道显示程序375基于获取的自主行驶轨道信息和在S208中从位置推定程序373通知的移动体1的摄像时刻的位置，决定成为进行坐标变换并叠加到画面的对象的自主行驶轨道信息的区域(S209)。在此，根据移动体1的位置和存放在移动体信息存储部34的照相机规格来决定对自主行驶轨道信息中的哪个区域进行坐标变换并叠加到画面。
图10是示出本发明的实施例的自主行驶轨道显示程序375缩窄进行坐标变换的区域的信息的处理的具体例的说明图。
在图10的俯瞰图中，点线表示车载照相机11的视野边界。在自主行驶轨道信息为例如包含点d1-50～点d1-65的点群信息的情况下，比车载照相机靠前方且比车载照相机的视野边界靠内侧的点d1-52～d1-63是包含在图像的范围内的部分，因此选择它们作为进行坐标变换并叠加在画面的对象。
远程支援中心3的自主行驶轨道显示程序375基于记录在移动体信息存储部34的照相机规格和在S208中推定的移动体位置，将在S209中决定的自主行驶轨道的区域进行坐标变换，从移动体1实际行驶的空间的三维坐标变换到显示在远程支援中心3的显示器31的画面上的二维坐标，并将在变换后的坐标叠加了自主行驶轨道的图像的信息输出到显示器31并进行描绘(S210)。
图11是示出利用本发明的实施例的自主行驶轨道显示程序375进行坐标变换的原理的例子的说明图。
坐标变换通过如下方式来执行，即，基于在俯瞰图(图11(a))中将车载照相机11的镜头中心作为原点的二维平面中的点的坐标和侧视图(图11(b))中的车载照相机距视线的距离，算出该坐标显示在用像素表现的画面上的何处。车载照相机11的镜头中心根据在S208中推定的移动体位置来决定。
例如，在俯瞰图中，在照相机的水平方向角度为θ、照相机的高度为h、照相机的视角为β时，将镜头中心作为原点的二维平面中的坐标为(x、y)的坐标D(x、y)在像素尺寸为(Wp、Hp)的画面中描绘在通过下述的式子得到的像素坐标(pW、pH)(图11(c))。
pW＝(Wp/2)+((Wp/2)×y/((x/cosθ)+((h-(x×tanθ))/sinθ)×tanβ)
pH＝(Hp/2)+((Wp/2)×(h-(x×tanθ))×cosθ/((x/cosθ)+((h-x·tan0)/sinθ)×tanβ)
另外，在本发明中，坐标变换的计算式并不限于上述的计算式，只要是基于车载照相机的规格和坐标的位置算出显示在画面的位置的方法，也可以代替上述的式子而进行使用。
此外，关于进行坐标变换并叠加的自主行驶轨道，即使自主行驶轨道为点群，也可以进行坐标变换而表现为连结了得到的点群的直线。或者，表现为具有移动体1的宽度等一定的宽度的带。
图12是示出在本发明的实施例中叠加在画面的自主行驶轨道的形态的例子的说明图。
图12(a)是进行了坐标变换的点群的例子，图12(b)是将该点群叠加在进行了摄像的图像上的例子。另一方面，图12(c)是将进行了坐标变换的点群表现为带的例子，图12(d)是将该带叠加在进行摄像的图像上的例子。通过这样的显示，控制器32的操作者对自主行驶轨道的位置的掌握变得容易。
另外，如上所述，显示的带的宽度可以是将根据移动体信息确定的移动体1的车宽基于轨道信息、照相机规格、图像的拍摄时刻的移动体1的位置以及朝向等而变换为画面上的宽度的宽度。换言之，显示的带的左右的端部可以分别是将移动体1在自主行驶轨道行驶的情况下的该移动体1的左舷端以及右舷端的轨迹通过上述的方法进行了坐标变换的端部。
在本发明的实施例中，关于叠加信息的显示例，并不限制为特定的形式。
此外，除了自主行驶轨道以外，还可以进一步在图像上叠加用于使得容易进行远程操作的信息。
图13是示出在本发明的实施例中叠加在画面的信息的具体例的说明图。
图13的远程操作轨道1301与操作者对控制器32的操作对应地示出移动体1行驶的轨道。例如，也可以是，在操作者对控制器32进行操作而使得移动体1向右方向转弯的情况下，远程操作轨道显示程序376基于拍摄时刻T的移动体1的位置、朝向、以及控制器32的输入值等预测远程操作轨道1301，该远程操作轨道1301包含由于该转弯而使移动体1的左舷端此后要描绘的行驶轨道1302以及右舷端要描绘的行驶轨道1303。在该情况下，左舷端与右舷端的距离根据移动体信息包含的移动体1的车宽来确定。然后，远程操作轨道显示程序376将算出的远程操作轨道1301与自主行驶轨道同样地基于照相机规格等进行坐标变换，并将在摄像时刻T的图像叠加了进行了坐标变换的远程操作轨道1301的图像的信息输出到显示器31并进行描绘(S211)。进而，在画面的摄像时刻T以后的移动体1的位置信息保持在移动体信息存储部34的情况下，远程操作轨道显示程序376也可以将基于该位置信息的、从摄像时刻T来看未来的移动体1的位置同样地进行坐标变换，并叠加在摄像时刻T的图像上进行描绘。在移动体信息包含移动体1的尺寸以及形状的信息的情况下，也可以描绘将移动体1的尺寸以及形状变换为画面上的尺寸以及形状的图形。
像已经说明的那样，因为位置信息的获取时刻和图像的摄像时刻不一致，所以在操作者观察显示在显示器31的图像的时间点，实际的移动体1有可能前进到了比拍摄了该图像的位置更靠前。但是，通过进行像图13那样的显示，从而操作者能够更准确地掌握移动体1与自主行驶轨道的位置关系以及对控制器32的操作对其造成的影响。
处于远程支援中心3的操作者基于描绘在远程支援中心3的显示器31的信息对控制器32进行操作。远程支援中心3的控制信号生成程序374基于控制器32的输入值生成对移动体1进行操作的控制信号，并发送到移动体1(S212)。移动体1的动作控制程序174基于接收的控制信号对移动体1进行操作(S108)。由此，实现远程操作。
此时，操作者通过对叠加的自主行驶轨道和图像这两者进行视觉确认，从而判断对移动体进行远程操作而使其移动的目的地。例如，像图1那样，在自主行驶轨道上存在事故车辆的情况下，在使移动体在自主行驶轨道上向右方向避开之后，移动到事故车辆前方的自主行驶轨道上。
移动体1的驾驶状态监视程序175依次监视移动体1是否变得能够进行自主行驶(S109)。在本发明中，假设：如果自身存在于自主行驶轨道上，且在自主行驶轨道的前方不存在对行驶造成障碍的物体，则移动体1判定能够恢复到自主行驶(S003)。
在移动体1判定变得能够进行自主行驶时，移动体1的驾驶状态监视程序175将变得能够进行自主行驶的情况通知给远程支援中心3(S110)。远程支援中心3的远程支援接受程序371受理移动体1变得能够进行自主行驶的情况，停止在远程操作时执行的程序的处理(例如，显示器31的描绘等)(S213)。
在驾驶状态监视程序175判定移动体1变得能够进行自主行驶之后，移动体1的发送图像生成程序171停止图像的发送。移动体1开始进行自主行驶(S111)。
根据以上的处理，对于从移动体1发送的图像，由远程支援中心3推定图像的拍摄时刻的移动体1的位置以及朝向，并按照其结果将移动体1的自主行驶轨道叠加到图像上，由此，能够正确地显示作为远程操作的目的地的区域，使进行远程操作的操作者能够容易地使移动体移动。此外，在移动体1判定不能继续进行自主行驶而进行移动体1的远程操作的情况下，通过进行上述的图像的发送以及图像的拍摄时刻的移动体1的位置的推定等，从而可避免发生无用的通信以及计算。
另外，本发明并不限定于上述的实施例，包含各种各样的变形例。例如，上述的实施例是为了更好地理解本发明而进行详细说明的实施例，未必一定要限定于具备说明的全部的结构。
此外，上述的各结构、功能、处理部、处理单元等例如可以通过用集成电路进行设计等而由硬件来实现它们的一部分或全部。此外，上述的各结构、功能等也可以通过处理器解释并执行实现各个功能的程序而由软件来实现。实现各功能的程序、表、文件等的信息能够存放在非易失性半导体存储器、硬盘驱动器、SSD(Solid State Drive，固态驱动器)等存储器件、或IC卡、SD卡、DVD等计算机可读的非临时的数据存储介质。
此外，关于控制线以及信息线，示出了认为为了进行说明而需要的控制线以及信息线，未必一定示出了产品上全部的控制线以及信息线。实际上，可认为几乎全部的结构都相互连接。

Claims (8)

1.一种移动体远程操作系统，具有：处理器；接口部，与所述处理器连接，并与移动体进行通信；存储部，与所述处理器连接；以及显示部，与所述处理器连接，其特征在于，
所述存储部保持：轨道信息，表示所述移动体进行自主行驶的轨道的位置；以及照相机信息，包含设置在所述移动体的照相机的位置、朝向以及视角，
所述处理器若经由所述接口部接收到所述移动体的位置以及所述位置的获取时刻，则将接收到的所述位置以及获取时刻存放到所述存储部，
所述处理器若经由所述接口部接收到由所述照相机拍摄的图像及其拍摄时刻，则将接收到的所述图像的数据输出到所述显示部，并将所述拍摄时刻存放到所述存储部，
所述处理器基于所述图像的拍摄时刻和每个所述获取时刻的所述移动体的位置，推定所述图像的拍摄时刻的所述移动体的位置以及朝向，
所述处理器基于所述轨道信息、所述照相机信息、以及推定的所述移动体的位置和朝向，确定所述轨道中的包含在所述图像的范围内的部分，
所述处理器基于所述轨道信息、所述照相机信息、以及推定的所述移动体的位置和朝向，将所述轨道的确定的所述部分的坐标变换为所述图像上的坐标，并将在变换后的所述坐标的位置叠加了所述轨道的所述图像的数据输出到所述显示部。
2.根据权利要求1所述的移动体远程操作系统，其特征在于，
还具有：控制器，与所述处理器连接，并输入对所述移动体的操作，
在判定为不能继续所述轨道上的自主行驶的情况下，所述移动体向所述移动体远程操作系统发送远程操作的请求，
所述处理器在经由所述接口部从所述移动体接收到所述远程操作的请求的情况下，执行所述图像的拍摄时刻的所述移动体的位置和朝向的推定、所述轨道中的包含在所述图像的范围内的部分的确定、以及叠加了所述轨道的所述图像的数据的输出，
所述处理器在接收到所述远程操作的请求之后，将与输入到所述控制器的操作相应的控制信号经由所述接口部发送到所述移动体。
3.根据权利要求1所述的移动体远程操作系统，其特征在于，
所述处理器在比所述图像的拍摄时刻靠后的时刻获取的所述移动体的位置保持在所述存储部的情况下，将在比所述图像的拍摄时刻靠后的时刻获取的所述移动体的位置的坐标变换为所述图像上的坐标，并将在变换后的所述坐标的位置叠加了所述移动体的所述图像的数据输出到所述显示部。
4.根据权利要求1所述的移动体远程操作系统，其特征在于，
所述存储部保持表示所述移动体的宽度的信息，
所述处理器基于所述轨道信息和所述照相机信息，将所述移动体的宽度变换为所述图像上的宽度，并将具有变换后的所述宽度的图形作为所述轨道叠加在所述图像上。
5.根据权利要求1所述的移动体远程操作系统，其特征在于，
所述处理器基于每个所述获取时刻的所述移动体的位置推定各所述获取时刻的所述移动体的朝向，
所述处理器通过将如下的值与在第一时刻获取的所述移动体的位置相加，从而推定所述图像的拍摄时刻的所述移动体的位置，该值是对在比所述图像的拍摄时刻靠前的第一时刻获取的所述移动体的位置与在比所述图像的拍摄时刻靠后的第二时刻获取的所述移动体的位置之差乘以从所述第一时刻到所述图像的拍摄时刻的长度相对于从所述第一时刻到所述第二时刻的长度的比率的值，
所述处理器通过将如下的值与在第一时刻获取的所述移动体的朝向相加，从而推定所述图像的拍摄时刻的所述移动体的朝向，该值是对所述第一时刻的所述移动体的朝向与所述第二时刻的所述移动体的朝向之差乘以从所述第一时刻到所述图像的拍摄时刻的长度相对于从所述第一时刻到所述第二时刻的长度的比率的值。
6.根据权利要求1所述的移动体远程操作系统，其特征在于，
所述处理器基于每个所述获取时刻的所述移动体的位置推定各所述获取时刻的所述移动体的朝向，
所述处理器将在最接近所述图像的拍摄时刻的时刻获取的所述移动体的位置以及该获取时刻的所述移动体的朝向推定为所述图像的拍摄时刻的所述移动体的朝向。
7.根据权利要求1所述的移动体远程操作系统，其特征在于，
还具有：控制器，与所述处理器连接，并输入对所述移动体的操作，
所述处理器在对所述控制器输入了对所述移动体的操作的情况下，基于推定的所述移动体的位置以及朝向和输入的所述操作，预测按照输入的所述操作进行控制的所述移动体的轨迹，
所述处理器将预测的所述轨迹变换为所述图像上的坐标，
所述处理器将在所述图像上的变换后的所述坐标的位置叠加了预测的所述轨迹的所述图像的数据输出到所述显示部，
所述处理器经由所述接口部将与输入的所述操作相应的控制信号发送到所述移动体。
8.一种由移动体远程操作系统进行的移动体远程操作方法，所述移动体远程操作系统具有：处理器；接口部，与所述处理器连接，并与移动体进行通信；存储部，与所述处理器连接；以及显示部，与所述处理器连接，其特征在于，
所述存储部保持：轨道信息，表示所述移动体进行自主行驶的轨道的位置；以及照相机信息，包含设置在所述移动体的照相机的位置、朝向以及视角，
所述移动体远程操作方法包括：
若所述处理器经由所述接口部接收到所述移动体的位置以及所述位置的获取时刻，则将接收到的所述位置以及获取时刻存放到所述存储部的步骤；
若所述处理器经由所述接口部接收到由所述照相机拍摄的图像及其拍摄时刻，则将接收到的所述图像的数据输出到所述显示部，并将所述拍摄时刻存放到所述存储部的步骤；
所述处理器基于所述图像的拍摄时刻和每个所述获取时刻的所述移动体的位置推定所述图像的拍摄时刻的所述移动体的位置以及朝向的步骤；
所述处理器基于所述轨道信息、所述照相机信息、以及推定的所述移动体的位置和朝向，确定所述轨道中的包含在所述图像的范围内的部分的步骤；以及
所述处理器基于所述轨道信息、所述照相机信息、以及推定的所述移动体的位置和朝向，将所述轨道的确定的所述部分的坐标变换为所述图像上的坐标，并将在变换后的所述坐标的位置叠加了所述轨道的所述图像的数据输出到所述显示部的步骤。
CN201810180895.XA 2017-07-07 2018-03-05 移动体远程操作系统以及移动体远程操作方法 Pending CN109215337A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017133509A JP2019016188A (ja) 2017-07-07 2017-07-07 移動体遠隔操作システムおよび移動体遠隔操作方法
JP2017-133509 2017-07-07

Publications (1)

Publication Number Publication Date
CN109215337A true CN109215337A (zh) 2019-01-15

Family

ID=64666103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810180895.XA Pending CN109215337A (zh) 2017-07-07 2018-03-05 移动体远程操作系统以及移动体远程操作方法

Country Status (4)

Country Link
US (1) US20190011911A1 (zh)
JP (1) JP2019016188A (zh)
CN (1) CN109215337A (zh)
DE (1) DE102018203841A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110944881A (zh) * 2017-07-28 2020-03-31 纽诺有限公司 用于机器人载具的远程操作的增强能力的系统和方法
CN113767349A (zh) * 2019-04-16 2021-12-07 戴姆勒股份公司 用于控制自动驾驶车辆的方法和装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021015201A1 (ja) * 2019-07-25 2021-01-28 株式会社プロドローン 遠隔操縦システムおよびその操縦装置
JP7227114B2 (ja) * 2019-10-15 2023-02-21 トヨタ自動車株式会社 車両及び遠隔操作システム
EP4128100A1 (en) 2020-03-23 2023-02-08 Nuro, Inc. Methods and apparatus for automated deliveries
CN113844465B (zh) * 2021-12-02 2022-07-15 上海车右智能科技有限公司 一种自动驾驶方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8849494B1 (en) * 2013-03-15 2014-09-30 Google Inc. Data selection by an autonomous vehicle for trajectory modification
WO2015107056A1 (de) * 2014-01-14 2015-07-23 Suchar Rudolf Konzept zur positionsabhängigen bewertung einer steuerinformation, verfahren zum steuern eines bewegten objekts und informationssystem
CN205080731U (zh) * 2014-09-15 2016-03-09 菲力尔系统公司 用于遥控交通工具的系统
US20160137125A1 (en) * 2014-11-17 2016-05-19 Caterpillar Inc. Imaging system using virtual projection geometry
CN105679030A (zh) * 2016-02-29 2016-06-15 丘雷 基于现有道路车辆的中央控制无人驾驶交通系统
CN105785997A (zh) * 2016-04-20 2016-07-20 北京新能源汽车股份有限公司 车辆控制方法、装置和系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618010B2 (en) * 2001-11-14 2003-09-09 United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Passive tracking system and method
US9759916B2 (en) * 2012-05-10 2017-09-12 Christopher V. Beckman Mediated reality display system improving lenses, windows and screens
US10338385B2 (en) * 2011-12-14 2019-07-02 Christopher V. Beckman Shifted reality display device and environmental scanning system
US8996224B1 (en) * 2013-03-15 2015-03-31 Google Inc. Detecting that an autonomous vehicle is in a stuck condition
JP5979396B2 (ja) * 2014-05-27 2016-08-24 パナソニックＩｐマネジメント株式会社 画像撮影方法、画像撮影システム、サーバ、画像撮影装置及び画像撮影プログラム
US10884099B2 (en) * 2014-07-21 2021-01-05 Sikorsky Aircraft Corporation Coverage optimization for sensor networks
US10008027B1 (en) * 2014-10-20 2018-06-26 Henry Harlyn Baker Techniques for determining a three-dimensional representation of a surface of an object from a set of images
SG11201705774XA (en) * 2015-01-15 2017-08-30 Mitsubishi Heavy Ind Mechatronics Systems Ltd Information presentation system for evaluating billing location
US10078644B1 (en) * 2016-01-19 2018-09-18 Gopro, Inc. Apparatus and methods for manipulating multicamera content using content proxy
DE102017102559A1 (de) * 2016-02-12 2017-08-17 Nidec Elesys Corporation Wellenleitervorrichtung und Antennenvorrichtung mit der Wellenleitervorrichtung
US9535423B1 (en) * 2016-03-29 2017-01-03 Adasworks Kft. Autonomous vehicle with improved visual detection ability
EP3611472B1 (en) * 2016-06-27 2021-11-24 Mobileye Vision Technologies Ltd. Controlling host vehicle based on detected parked vehicle characteristics
US20180152628A1 (en) * 2016-11-30 2018-05-31 Waymo Llc Camera peek into turn
SG10201700299QA (en) * 2017-01-13 2018-08-30 Otsaw Digital Pte Ltd Three-dimensional mapping of an environment
US10430641B2 (en) * 2017-03-08 2019-10-01 GM Global Technology Operations LLC Methods and systems for object tracking using bounding boxes
US10318822B2 (en) * 2017-04-06 2019-06-11 GM Global Technology Operations LLC Object tracking
AU2018261623A1 (en) * 2017-05-03 2019-11-28 Survae Inc. Video data creation and management system
US10098204B1 (en) * 2018-03-13 2018-10-09 Cisco Technology, Inc. System to determine the placement of smart light emitters

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8849494B1 (en) * 2013-03-15 2014-09-30 Google Inc. Data selection by an autonomous vehicle for trajectory modification
WO2015107056A1 (de) * 2014-01-14 2015-07-23 Suchar Rudolf Konzept zur positionsabhängigen bewertung einer steuerinformation, verfahren zum steuern eines bewegten objekts und informationssystem
CN205080731U (zh) * 2014-09-15 2016-03-09 菲力尔系统公司 用于遥控交通工具的系统
US20160137125A1 (en) * 2014-11-17 2016-05-19 Caterpillar Inc. Imaging system using virtual projection geometry
CN105679030A (zh) * 2016-02-29 2016-06-15 丘雷 基于现有道路车辆的中央控制无人驾驶交通系统
CN105785997A (zh) * 2016-04-20 2016-07-20 北京新能源汽车股份有限公司 车辆控制方法、装置和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110944881A (zh) * 2017-07-28 2020-03-31 纽诺有限公司 用于机器人载具的远程操作的增强能力的系统和方法
CN113767349A (zh) * 2019-04-16 2021-12-07 戴姆勒股份公司 用于控制自动驾驶车辆的方法和装置

Also Published As

Publication number Publication date
DE102018203841A1 (de) 2019-01-10
JP2019016188A (ja) 2019-01-31
US20190011911A1 (en) 2019-01-10

Similar Documents

Publication Publication Date Title
CN109215337A (zh) 移动体远程操作系统以及移动体远程操作方法
CN106444780B (zh) 一种基于视觉定位算法的机器人的自主导航方法及系统
US11249474B2 (en) Safety of autonomous vehicles using a virtual augmented support environment
CN108496178B (zh) 用于估计未来路径的系统和方法
JP7269082B2 (ja) 拡張現実で仮想オブジェクトを表示するための測位方法及び装置
US11155268B2 (en) Utilizing passenger attention data captured in vehicles for localization and location-based services
US11138465B2 (en) Systems and methods for transforming coordinates between distorted and undistorted coordinate systems
US20080195316A1 (en) System and method for motion estimation using vision sensors
CN108885108B (zh) 基于操纵难度的u形转弯辅助
JP2018062244A (ja) 車両制御装置
US20210056712A1 (en) Systems and methods for estimating dynamics of objects using temporal changes encoded in a difference map
US20200088525A1 (en) Systems and methods for vehicular navigation and localization
JP7156305B2 (ja) 制御装置、および制御方法、プログラム、並びに移動体
JP2015006874A (ja) ３次元証拠グリッドを使用する自律着陸のためのシステムおよび方法
US20080177472A1 (en) Image-Augmented Inertial Navigation System (Iains) and Method
JP7194130B2 (ja) 緊急車両をリアルタイムで検出し、緊急車両によって発生すると予想される状況に対処するための走行経路を計画する方法及び装置
CN110388925A (zh) 用于与自动导航有关的车辆定位的系统和方法
CN110300706B (zh) 飞行器-地面车辆协调
JP2021115983A (ja) 自動運転装置
US11754415B2 (en) Sensor localization from external source data
AU2015238339B2 (en) Navigation system
JP6482857B2 (ja) 監視システム
JP2021110692A (ja) ドローンシステム及びドローンによる車両撮影方法
KR20180012128A (ko) 차량의 3차원 위치 추정 장치 및 그 방법
WO2011062525A1 (en) A method estimating absolute orientation of a vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190115

WD01 Invention patent application deemed withdrawn after publication