CN109150949B - 监视控制系统、监视控制装置和监视控制方法 - Google Patents

监视控制系统、监视控制装置和监视控制方法 Download PDF

Info

Publication number
CN109150949B
CN109150949B CN201810239218.0A CN201810239218A CN109150949B CN 109150949 B CN109150949 B CN 109150949B CN 201810239218 A CN201810239218 A CN 201810239218A CN 109150949 B CN109150949 B CN 109150949B
Authority
CN
China
Prior art keywords
emergency control
key frame
loss rate
emergency
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810239218.0A
Other languages
English (en)
Other versions
CN109150949A (zh
Inventor
柚木祥慈
远藤英树
久保广行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN109150949A publication Critical patent/CN109150949A/zh
Application granted granted Critical
Publication of CN109150949B publication Critical patent/CN109150949B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0055—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q11/00—Arrangement of monitoring devices for devices provided for in groups B60Q1/00 - B60Q9/00
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0022—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0027—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H04L43/0829—Packet loss

Abstract

一种监视控制系统、监视控制装置和监视控制方法。监视控制系统具有移动体和经由网络与移动体通信的服务器装置，移动体具有第一通信部、照相机、从照相机拍摄的图像生成包含关键帧和差分帧的图像数据的编码部、发送所述图像数据的发送部和按照经由第一通信部从服务器装置接收的控制信号对所述移动体的移动进行控制的移动控制部，所述服务器装置具有经由所述网络与所述移动体进行通信的第二通信部和在给定时间内未接收到从所述移动体发送的所述图像数据中的所述关键帧的至少一部分的情况下经由所述第二通信部向所述移动体发送紧急控制信号的紧急控制信号发送部。据此，在进行移动体的远程控制的系统中，在确保了安全性的基础上实现短的移动时间。

Description

监视控制系统、监视控制装置和监视控制方法
技术领域
本发明涉及面向自主移动体的远程监视控制技术。
背景技术
近年来，面向提供廉价且安全的移动手段而进行了自动驾驶技术的开发。为了实现不需要驾驶员的完全自动驾驶，需要应付认知、判断、控制的不完全性。为了使不完全的自动驾驶车尽早地实用化(service in)，正在研究通过从远程中心对自动驾驶车辆进行监视、控制，从而保障安全性的方法等。例如，可设想如下使用案例，即，为了在十字路口周边等难以进行用于自动驾驶的判断的场所确认自动驾驶的判断、控制是否有误，从自动驾驶车向远程中心发送自动驾驶车获取的周边图像，在自动驾驶车的判断有误的情况下，从远程中心进行监视的监视控制员进行紧急停止的控制。此外，还可以设想如下使用案例，即，在道路上进行施工等与通常时不同的状况下，因不能继续进行自动驾驶而解除了自动驾驶，在该情况下，从自动驾驶车向远程中心发送自动驾驶车获取的周边图像，并由远程中心的监视控制员进行远程驾驶。在进行这样的远程监视、远程驾驶时，可设想使自动驾驶车和监视控制中心使用移动电话网等无线网络。在由于无线网络中的电波状况等的变动等而使通信质量变动时也需要确保行驶的安全性。
作为进行远程驾驶时的向远程中心的图像发送方法，有专利文献1。作为提高自主移动体的移动的安全性的方法，有专利文献2的技术。
在先技术文献
专利文献
专利文献1：日本特开2014-071777号公报
专利文献1：日本特开2008-090576号公报
发明内容
在专利文献1中，公开了如下技术，即，在从远程对车进行控制(驾驶)的系统中，为了削减车发送的周边图像数据量，在进行基于关键帧和差分帧的MPEG(Moving PictureExperts Group，运动图像专家组)压缩之后向中心进行发送。
在专利文献2中，公开了根据自主移动体的移动路径上的通信质量对移动速度进行控制的系统。通过对专利文献1和专利文献2进行组合，从而在从车向远程中心发送包含关键帧和差分帧的影像并从远程中心进行控制的系统中，在通信质量下降时必然频繁地实施移动速度限制，因此虽然能够确保安全性，但是不能解决缩短移动时间的课题。
为了解决上述的课题，示出本发明的代表性的一个例子，是一种监视控制系统，具有：移动体；以及服务器装置，经由网络与所述移动体进行通信，其特征在于，所述移动体具有：第一通信部，经由所述网络与所述服务器装置进行通信；照相机，拍摄图像；编码部，从所述照相机拍摄的图像生成包含以给定的间隔插入的关键帧和包含对所述关键帧的差分的差分帧的图像数据；发送部，经由所述第一通信部向所述服务器装置发送所述编码部生成的图像数据；以及移动控制部，按照经由所述第一通信部从所述服务器装置接收的控制信号，对所述移动体的移动进行控制，所述服务器装置具有：第二通信部，经由所述网络与所述移动体进行通信；以及紧急控制信号发送部，在给定的时间内未接收到从所述移动体发送的所述图像数据中的所述关键帧的至少一部分的情况下，经由所述第二通信部向所述移动体发送紧急控制信号。
发明效果
根据本发明的一个方式，在经由通信网络将以自主行驶进行移动的车等移动体和中心进行连接而进行远程监视、控制的系统中，能够在确保了移动体的安全性的基础上缩短移动时间。通过以下的实施例的说明，可明确前述的以外的课题、结构以及效果。
附图说明
图1是示出本发明的实施例1涉及的自动驾驶车监视控制系统的结构的说明图。
图2是示出本发明的实施例1涉及的自动驾驶车的硬件结构的框图。
图3是示出在构成本发明的实施例1涉及的自动驾驶车的各硬件彼此之间交换的数据流、以及在信息处理装置中执行的程序的结构的框图。
图4是示出本发明的实施例1涉及的编码部的处理的流程图。
图5是示出本发明的实施例1涉及的发送控制部的处理的流程图。
图6是示出由本发明的实施例1涉及的编码部生成并输入到发送控制部的帧和由发送控制部生成并向无线通信装置输入的通信分组的说明图。
图7是示出本发明的实施例1涉及的监视控制服务器的硬件结构的框图。
图8是示出在构成本发明的实施例1涉及的监视控制服务器的各硬件彼此之间交换的数据流、以及在信息处理装置中执行的程序的结构的框图。
图9是示出本发明的实施例1涉及的缓冲器部的处理的流程图。
图10是示出本发明的实施例1涉及的影像设定信息接收部的处理的流程图。
图11是示出本发明的实施例1涉及的读出定时控制部的处理的流程图。
图12是示出本发明的实施例1涉及的关键帧损失率计算部的处理的流程图。
图13是示出本发明的实施例1涉及的紧急控制实施判定部的处理的流程图。
图14是示出本发明的实施例1涉及的解码部的处理的流程图。
图15是被本发明的实施例1涉及的缓冲器部缓冲的帧的例子的说明图。
图16是被本发明的实施例1涉及的缓冲器部缓冲的帧的例子的说明图。
图17是示出本发明的实施例2涉及的监视控制服务器的结构的框图。
图18是示出本发明的实施例2涉及的紧急控制实施判定部的处理的流程图。
图19是示出本发明的实施例2涉及的基于关键帧损失率的紧急控制表的一个例子的说明图。
图20是示出本发明的实施例3涉及的监视控制服务器的结构的框图。
图21是示出本发明的实施例3涉及的紧急控制实施判定部的处理的流程图。
图22是示出本发明的实施例3涉及的基于行驶模式的紧急控制表的一个例子的说明图。
图23是示出本发明的实施例4涉及的监视控制服务器的结构的框图。
图24是示出本发明的实施例4涉及的紧急控制实施判定部的处理的流程图。
图25是示出本发明的实施例4涉及的基于关键帧损失率的紧急控制表的一个例子的说明图。
图26是示出本发明的实施例5涉及的监视控制服务器的结构的框图。
图27是示出本发明的实施例5涉及的读出定时控制部的处理的流程图。
图28是示出本发明的实施例5涉及的差分帧损失率计算部的处理的流程图。
图29是示出本发明的实施例5涉及的紧急控制实施判定部的处理的流程图。
图30是示出本发明的实施例5涉及的关键帧损失率与差分帧损失率组合判定表的一个例子的说明图。
图31是示出本发明的实施例5涉及的自动驾驶车的帧发送定时的一个例子的说明图。
图32是示出本发明的实施例5涉及的监视控制服务器的帧接收定时的一个例子的说明图。
图33是示出本发明的实施例6涉及的监视控制服务器的结构的框图。
图34是示出本发明的实施例6涉及的紧急控制实施判定部的处理的流程图。
图35是示出本发明的实施例6涉及的基于行驶模式的紧急控制表的一个例子的说明图。
符号说明
101 自动驾驶车
102 道路
103 无线基站
104 广域网
105 监视控制服务器
106 监视控制员
具体实施方式
使用附图对本发明的实施方式进行说明。虽然在本发明的实施例中，作为移动体以汽车为例进行说明，但是只要能够通过自主行驶进行移动，可以是任何移动体。例如，可举出工业用机器人、人型机器人、无人机、飞机、直升机、船舶、潜水艇等。此外，虽然在本发明的实施例中示出了移动体与为了对移动体进行远程监视控制而使用的远程监视控制服务器经由广域网进行通信的例子，但是也可以仅经由局域网进行通信。
[实施例1]
图1是示出本发明的实施例1涉及的自动驾驶车监视控制系统的结构的说明图。
自动驾驶车监视控制系统包含自动驾驶车101、道路102、无线基站103、广域网104、监视控制服务器105以及监视控制员106。图1仅示出一个例子，图中的各要素可以分别存在多个。例如，在某个自动驾驶车监视控制系统中，可以存在多个自动驾驶车101。例如，在某个自动驾驶车监视控制系统中，可以存在多个监视控制服务器105。自动驾驶车101是在道路102上行驶的汽车。自动驾驶车101进行基于自动驾驶或远程操纵的行驶。自动驾驶车101经由无线基站103以及广域网104与监视控制服务器105连接。广域网104将无线基站103和监视控制服务器105进行连接。监视控制服务器105显示从自动驾驶车101接收的信息。监视控制服务器105将监视控制员106输入的信息发送到自动驾驶车101。
图2是示出本发明的实施例1涉及的自动驾驶车101的硬件结构的框图。
自动驾驶车101包含传感器部201、照相机202、GPS(Global Positioning System，全球定位系统)203、毫米波雷达204、信息处理装置205、易失性存储装置206、非易失性存储装置207、运算处理装置208、无线通信装置209以及行驶控制装置210。
传感器部201用于获取自动驾驶车101的周边的信息等。传感器部201包含照相机202、GPS203以及毫米波雷达204。传感器部201也可以由LIDAR(Light Detection andRanging，光检测和搜索)等上述以外的传感器构成。传感器部201将获取的传感器信息输入到信息处理装置205。照相机202获取自动驾驶车101周边的图像信息。GPS203用于获取自动驾驶车101的当前位置信息。毫米波雷达204检测自动驾驶车101周边的物体的位置。
信息处理装置205包含易失性存储装置206、非易失性存储装置207以及运算处理装置208。易失性存储装置206用于临时存放由运算处理装置208执行的程序等。非易失性存储装置207用于稳定地存放信息，例如，硬盘等相当于此。运算处理装置208是进行与数据处理相关的各种各样的运算的装置。
无线通信装置209用于与无线基站103进行通信。行驶控制装置210执行加速、减速、转弯等与行驶相关的动作的控制。
图3是示出在构成本发明的实施例1涉及的自动驾驶车101的各硬件彼此之间交换的数据流、以及在信息处理装置205中执行的程序的结构的框图。
作为在信息处理装置205中执行的软件，有监视控制客户端软件301以及自动驾驶控制软件302。
监视控制客户端软件301进行传感器部201内的照相机202的控制。监视控制客户端软件301对从照相机202输入的图像进行编码，并经由无线通信装置209向监视控制服务器105发送图像。监视控制客户端软件301经由无线通信装置209向监视控制服务器105发送与图像的编码或解码相关的信息。监视控制客户端软件301从自动驾驶控制软件302接收自动驾驶车101的行驶模式，并经由无线通信装置209向监视控制服务器105进行发送。监视控制客户端软件301经由无线通信装置209接收由监视控制服务器105发送的控制信号，并将该控制信号输入到自动驾驶控制软件302。
监视控制客户端软件301包含影像设定信息发送部303、编码部304、发送控制部305、行驶模式管理部306以及远程控制命令执行部307。影像设定信息发送部303对照相机202输入fps(frame per second，帧每秒)设定以及摄像开始命令。当从影像设定信息发送部303接收到摄像开始命令时，照相机202基于上述的fps设定F[fps]进行摄像，并将摄像的数据(以下，称为图像数据)输入到编码部304。
影像设定信息发送部303对编码部304输入关键帧插入间隔G和编码开始命令。关键帧插入间隔G是用于决定在从照相机202连续地输入的图像数据之中以几个中一个的间隔来生成关键帧的值。例如，在帧插入间隔G为5的情况下，在从照相机202连续地输入的图像数据之中，每5个中生成一个关键帧。影像设定信息发送部303经由无线通信装置209向监视控制服务器105发送初次帧读出定时(timing)、fps设定F[fps]、以及关键帧插入间隔G。
当从影像设定信息发送部303接收到关键帧插入间隔G以及编码开始命令时，编码部304在对从照相机202连续地输入的图像数据进行编码之后，将编码后的帧输入到发送控制部305。编码部304的编码处理具体通过如下方式来执行，即，对于从照相机202连续地输入的图像，以每G个中一个的间隔生成关键帧，对于除此以外的图像，生成差分帧。编码部304在对生成的关键帧以及差分帧赋予了帧类别和序列编号的标头(header)之后，将这些帧输入到发送控制部305。
当从编码部304接收到帧时，发送控制部305实施帧的分割处理，使得包含从无线通信装置209送出的帧的数据的通信分组(packet)的大小不会超过预先设定的分组大小，在对包含进行了分割的帧的数据的各分组赋予了包含分割数以及连续编号的标头之后，将上述的帧经由无线通信装置209发送到监视控制服务器105。
行驶模式管理部306将从自动驾驶控制软件302输入的自动驾驶车101的行驶模式经由无线通信装置209发送到监视控制服务器105。远程控制命令执行部307将经由无线通信装置309从控制监视服务器接收的远程控制信号输入到自动驾驶控制软件302。
在行驶模式为自动驾驶的情况下，自动驾驶控制软件302基于从传感器部201输入的传感器信息，计算今后行驶的路径等，并基于路径的计算结果生成用于控制车辆的加减速信号、转向信号等，输入到行驶控制装置210。由此，对自动驾驶车101的自动驾驶进行控制。此外，在行驶模式为自动驾驶或远程驾驶的情况下，当从远程控制命令执行部307接收到控制信号时，自动驾驶控制软件302将接收的控制信号输入到行驶控制装置210。由此，对自动驾驶车101的远程驾驶进行控制。
以下，方便起见，存在将在自动驾驶车101内按照上述的软件执行的处理记载为上述的软件(或它们包含的处理部等)执行的处理的情况。但是，实际上这些处理由信息处理装置205的运算处理装置208按照存放在易失性存储装置206等的上述的软件所记述的命令，根据需要对自动驾驶车101内的各部分进行控制而执行。
以下，对编码部304以及发送控制部305的处理流程进行说明。
图4是示出本发明的实施例1涉及的编码部304的处理的流程图。
当动作开始时，编码部304确认是否从影像设定信息发送部303接收到了编码开始命令以及关键帧插入间隔G(步骤401)。在步骤401中未接收到的情况下(“否”的情况下)，进入步骤401。在步骤401中接收到了的情况下(“是”的情况下)，进入步骤402。
在步骤402中，编码部304将关键帧插入间隔G设定为从影像设定信息发送部303接收到的值，将序列编号s初始化为0，并进入步骤403。在步骤403中，编码部304确认是否从照相机202接收到了图像数据。在步骤403中未接收到图像数据的情况下，进入步骤403。在步骤403中接收到图像数据的情况下，进入步骤404。在步骤404中，编码部304计算s mod G(即，将S除以G的余)的值，将计算结果设为m，接着进入步骤405。
在步骤405中，编码部304确认m的值是否为0。在步骤405中m为0的情况下，编码部304判定为关键帧生成定时已到来，进入步骤406。在步骤405中，在m不为0的情况下，判定为关键帧生成定时未到来，且差分帧生成定时已到来，进入步骤407。
在步骤406中，编码部304将接收到的图像数据作为关键帧而进行编码，生成关键帧，并进入步骤408。在步骤407中，编码部304计算接收到的图像数据与前帧数据的差分，作为差分帧而进行编码，生成差分帧，并进入步骤408。在步骤408中，编码部304对在步骤406中生成的关键帧或在步骤407中生成的差分帧赋予包含帧类别以及序列编号的标头，并输入到发送控制部305，进入步骤409。在帧类别的标头，指定关键帧或差分帧作为该帧的类别。在序列编号的标头存放序列编号s。在步骤409中，编码部304保存本图像数据作为前帧信息，进入步骤410。在步骤410中，编码部304将序列编号s更新为s+1，进入步骤403。
图5是示出本发明的实施例1涉及的发送控制部305的处理的流程图。
当动作开始时，发送控制部305在步骤501中将通信分组大小P[Byte]设定为预先确定的值，并进入步骤502。在步骤502中，发送控制部305确认是否从编码部304输入了帧。在步骤502中确认输入了帧的情况下，进入步骤503。在步骤502中确认未输入帧的情况下，进入步骤502。在步骤503中，发送控制部305通过D＝ROUNDUP(B÷(P-(A+C)))来计算分割数D。在此，ROUNDUP是对输入的值进行向上舍入的函数。例如，在D＝ROUNDUP(3.1)的情况下，成为D＝4。此外，例如，在D＝ROUNDUP(3.0)的情况下，成为D＝3。此外，在此，将输入的帧的大小设为A+B(即，标头部的大小A[Byte]、数据部的大小B[Byte])，将分割后新赋予的标头部的大小设为C[Byte]。
在步骤504中，发送控制部305将帧分割为各自的大小不超过通信分组大小的最大值P[Byte]的D个分组，对分割的分组赋予标头(分割数D和连续编号)而进行发送，并进入步骤502。
图6是示出由本发明的实施例1涉及的编码部304生成并输入到发送控制部305的帧和由发送控制部305生成并输入到无线通信装置209的通信分组的说明图。
帧601是由编码部304生成并输入到发送控制部305的帧。帧601包含帧类别602、序列编号603、以及帧数据部604。在帧类别602，在该帧为关键帧的情况下存放表示是关键帧的值，在该帧为差分帧的情况下存放表示是差分帧的值。在序列编号603，存放由编码部计算并保持的一系列的序列编号。将帧类别602和序列编号603这两者合起来的标头部的大小成为A[Byte]的固定长度。帧数据部604的大小将按每个帧取不同的值。在此，将帧数据部604的大小设为B[Byte]。
通信分组607是由发送控制部305生成并输入到无线通信装置209的通信分组。通信分组607包含帧类别602、序列编号603、分割数608、连续编号605、以及数据帧的一部分606。关于帧类别602以及序列编号603，存放与存放在帧601相同的帧类别以及序列编号。在分割数608，在步骤503中存放D＝ROUNDUP(B/(P-(A+C)))的值。在连续编号605，存放在将一个帧进行分割而生成的多个通信分组之中分别各个通信分组的连续编号的值。帧数据的一部分606存放对帧数据部604进行分割而生成的数据。
图7是示出本发明的实施例1涉及的监视控制服务器105的硬件结构的框图。
监视控制服务器105包含通信装置701、信息处理装置702、易失性存储装置703、非易失性存储装置704、运算处理装置705、监视控制用输入装置706、显示装置707、方向盘708、加速踏板709、以及刹车踏板710。通信装置701与广域网104连接，并经由无线基站103与自动驾驶车101进行通信。
信息处理装置702包含易失性存储装置703、非易失性存储装置704以及运算处理装置705。易失性存储装置703用于临时存放由运算处理装置705执行的程序等。非易失性存储装置704用于稳定地存放信息，例如，硬盘等相当于此。运算处理装置705是进行与数据处理相关的各种各样的运算的装置。显示装置707是用于显示从自动驾驶车101接收的影像(图像)、行驶状况信息等的装置。
监视控制用输入装置706是监视控制员106用于输入用于对自动驾驶车101进行控制的信息的装置。监视控制用输入装置706包含方向盘708、加速踏板709、刹车踏板710等。方向盘708是监视控制员106用于执行自动驾驶车101的转向的装置。加速踏板709是监视控制员106用于进行自动驾驶车101的加速的装置。刹车踏板710是监视控制员106用于进行自动驾驶车101的减速的装置。
图8是示出在构成本发明的实施例1涉及的监视控制服务器105的各硬件彼此之间交换的数据流、以及在信息处理装置702中执行的程序的结构的框图。
监视控制服务器软件801是在信息处理装置702中执行的程序。监视控制服务器软件801是执行与自动驾驶车101的监视控制相关联的处理的程序。监视控制服务器软件801包含缓冲器部802、影像设定信息接收部803、读出定时控制部804、解码部805、关键帧损失(loss)率计算部806、紧急控制实施判定部807、紧急控制信号发送部808、以及常规控制信号发送部809。
缓冲器部802在将从通信装置701输入的帧按照序列编号进行排序之后进行缓冲。当从通信装置701接收到初次帧读出定时、fps设定F[fps]以及关键帧插入间隔G时，影像设定信息接收部803对接收到的初次帧读出定时、fps设定F以及关键帧插入间隔G进行记录。此外，影像设定信息接收部803从接收的fps设定F计算帧读出间隔并进行记录。此外，影像设定信息接收部803将接收的初次帧读出定时输入到读出定时控制部804。
读出定时控制部804按照从影像设定信息接收部803输入的初次帧读出定时，进行积累在缓冲器部802的帧的读出，并将读出的帧输入到解码部805以及关键帧损失率计算部806。解码部805在对具有同一序列编号的帧群删除各帧的分割数以及连续编号的标头而对原始帧进行重构之后，对该帧进行解码，并输入到显示装置707。关键帧损失率计算部806根据从读出定时控制部804输入的同一序列编号的帧群的分割数和输入的帧群计算关键帧损失率，并将计算的关键帧损失率输入到紧急控制实施判定部。
紧急控制实施判定部807将预先确定的关键帧损失率阈值和输入的关键帧损失率进行比较，在关键帧损失率成为关键帧损失率阈值以上的情况下，决定紧急控制方法，并通知紧急控制信号发送部808。在此，紧急控制的方法被预先确定，例如，可举出紧急停止或限速控制等。当从紧急控制实施判定部807接收到紧急控制实施命令时，紧急控制信号发送部808生成与所述紧急控制实施命令对应的通信分组，并经由通信装置701发送到自动驾驶车101。
以下，方便起见，存在将在监视控制服务器105内按照上述的软件执行的处理记载为由上述的软件(或它们包含的处理部等)执行的处理的情况。但是，实際上这些处理由信息处理装置702的运算处理装置705按照存放在易失性存储装置703等的上述的软件所记述的命令，根据需要对监视控制服务器105内的各部分进行控制而执行。
图9是示出本发明的实施例1涉及的缓冲器部802的处理的流程图。
当动作开始时，缓冲器部802确认从通信装置701是否有帧输入(步骤901)。在步骤901中确认为有帧输入的情况下，进入步骤902。在步骤901中确认为没有帧输入的情况下，再次进入步骤901。在步骤902中，缓冲器部802将输入的帧按照帧序列编号进行排序并积累到缓冲器。
图10是示出本发明的实施例1涉及的影像设定信息接收部803的处理的流程图。
当动作开始时，影像设定信息接收部803确认是否从通信装置701接收到了初次读出定时、fps设定F[fps]、以及关键帧插入间隔G(1001)。在步骤1001中确认接收到了的情况下，进入步骤1002。在步骤1001中确认未接收到的情况下，再次进入步骤1001。
在步骤1002中，影像设定信息接收部803对初次帧读出定时、fps设定F、以及关键帧插入间隔G进行记录，并进入步骤1003。在步骤1003中，影像设定信息接收部803根据fps设定F计算帧读出间隔并进行记录，进入步骤1004。具体地，影像设定信息接收部803计算1÷F的值作为帧读出间隔。在步骤1004中，影像设定信息接收部803将初次帧读出定时以及帧读出间隔输入到读出定时控制部804。
图11是示出本发明的实施例1涉及的读出定时控制部804的处理的流程图。
当动作开始时，读出定时控制部804确认是否从影像设定信息接收部803接收到了初次帧读出定时以及帧读出间隔(步骤1101)。在步骤1101中确认接收到了初次帧读出定时以及帧读出间隔的情况下，进入步骤1102。在步骤1101中确认未接收到初次帧读出定时以及帧读出间隔的情况下，再次进入步骤1101。
在步骤1102中，读出定时控制部804将下一个帧读出时刻设定为初次帧读出时刻，并进入步骤1103。在步骤1103中，读出定时控制部804下一次读出帧序列编号设定为0，并进入步骤1104。在步骤1104中，读出定时控制部804获取当前时刻，并进入步骤1105。
在步骤1105中，读出定时控制部804确认是否成为当前时刻＞下一个帧读出时刻。在步骤1105中确认成为当前时刻＞下一个帧读出时刻(即，下一个帧读出时刻已到来)的情况下，进入步骤1106。在步骤1105中确认未成为当前时刻＞下一个帧读出时刻的情况下，进入步骤1104。
在步骤1106中，读出定时控制部804将序列编号小于下一次读出帧序列编号的帧全部读出并废弃，进入步骤1107。在步骤1107中，读出定时控制部804计算下一次读出帧序列编号mod关键帧插入间隔G，并进入步骤1108。在步骤1108中，读出定时控制部804确认步骤1107中的计算结果是否为0(即，下一次读出帧是否为关键帧)。在步骤1108中确认计算结果为0(即，下一次读出帧为关键帧)的情况下，进入步骤1110。在步骤1108中确认计算结果不为0(即，下一次读出帧为差分帧)的情况下，进入步骤1109。
在步骤1109中，读出定时控制部804确认有没有下一次读出帧序列编号的帧。在步骤1109中确认有下一次读出帧序列编号的帧的情况下，进入步骤1113。在步骤1109中确认没有下一次读出帧序列编号的帧的情况下，进入步骤1114。
在步骤1110中，读出定时控制部804确认有没有下一次读出帧序列编号的帧。在步骤1110中确认有下一次读出帧序列编号的帧的情况下，进入步骤1112。在步骤1110中确认没有下一次读出帧序列编号的帧(即，关键帧在损失)的情况下，进入步骤1111。在步骤1111中，读出定时控制部804将帧完全损失信息输入到关键帧损失率计算部806，并进入步骤1114。
在步骤1112中，读出定时控制部804复制读出的下一次读出帧序列编号的帧群，输入到关键帧损失率计算部806，并进入步骤1113。在步骤1113中，对输入的帧群进行重构并输入到解码部。在步骤1114中，读出定时控制部804将下一个帧读出时刻更新为下一个帧读出时刻+帧读出间隔，并进入步骤1115。在步骤1115中，读出定时控制部804将下一次读出帧序列编号更新为下一次读出帧序列编号+1，并进入步骤1104。
图12是示出本发明的实施例1涉及的关键帧损失率计算部806的处理的流程图。
当动作开始时，关键帧损失率计算部806确认是否从读出定时控制部接收到了帧完全损失信息(步骤1201)。在步骤1201中确认接收到了帧完全损失信息(即，关键帧损失)的情况下，进入步骤1202。在步骤1201中确认未接收到帧完全损失信息的情况下，进入步骤1203。
在步骤1202中，关键帧损失率计算部806通知紧急控制实施判定部807关键帧损失率＝1。在步骤1203中，关键帧损失率计算部806确认是否从读出定时控制部804接收到了帧群。在步骤1203中确认接收到了帧群的情况下，进入步骤1204。在步骤1203中确认未接收到帧群的情况下，进入步骤1201。
在步骤1204中，关键帧损失率计算部806将接收到的帧群的个数设为N，将某个帧的标头记载的分割数设为M，并通过计算(M-N)÷M来算出关键帧损失率，将算出的关键帧损失率通知给紧急控制实施判定部807，并进入1201。
图13是示出本发明的实施例1涉及的紧急控制实施判定部807的处理的流程图。
当动作开始时，紧急控制实施判定部807设定关键帧损失率阈值(步骤1301)，并进入步骤1302。在步骤1302中，紧急控制实施判定部807确认是否接收到了关键帧损失率。在步骤1302中确认接收到了关键帧损失率的情况下，进入步骤1303。在步骤1302确认未接收到关键帧损失率的情况下，进入步骤1302。
在步骤1303中，紧急控制实施判定部807确认是否为关键帧损失率＞关键帧损失率阈值。在步骤1303中确认关键帧损失率＞关键帧损失率阈值的情况下，推定为基于接收的图像数据由解码部805生成且由显示装置707显示的图像的质量未达到实现安全的远程驾驶所需的基准(换言之，为了确保远程驾驶的安全性，需要执行某种紧急控制)，因此进入步骤1304。在步骤1303中确认未成为关键帧损失率＞关键帧损失率阈值的情况下，进入步骤1302。在步骤1304中，紧急控制实施判定部807决定紧急控制方法，通知给紧急控制信号发送部，并进入步骤1302。
图14是示出本发明的实施例1涉及的解码部805的处理的流程图。
当动作开始时，解码部805确认从读出定时控制部804有没有帧输入(步骤1401)。在步骤1401中确认有帧输入的情况下，进入步骤1402。在步骤1401中确认没有帧输入的情况下，进入步骤1401。
在步骤1402中，解码部805确认输入的该帧的类别是否为关键帧。在步骤1402中该帧的类别为关键帧的情况下，进入步骤1403。在步骤1402中确认该帧的类别不是关键帧(即，是差分帧)的情况下，进入步骤1404。
在步骤1403中，解码部805仅对该帧进行解码而显示图像，并进入步骤1405。在步骤1404中，解码部805实施前一次显示的帧与该帧的差分运算解码而显示图像，并进入步骤1405。在步骤1405中，保存该帧作为前一次显示帧，并进入步骤1401。
在此，在包含关键帧和差分帧的MPEG等压缩方式中，在丢失了关键帧的情况和丢失了差分帧的情况下，对所显示的图像质量的影响程度不同。对于关键帧，仅对该关键帧进行解码而显示图像。关于差分帧，因为只保持有相对于关键帧的差分信息，所以通过对关键帧和差分帧这两者进行解码而显示图像。为了高效地进行压缩，关键帧和差分帧中的差分帧的数量变多。在此，在某一个关键帧的一部分或全部丢失的情况下，直到下一次接收到关键帧为止的期间，会对从差分帧再生的图像造成影响，因此影响度大。另一方面，某一个差分帧的一部分或全部丢失的情况下，虽然不能完全地进行该帧的再生，但是对于下一个差分帧的再生没有影响，因此与关键帧相比，影响度小。根据以上可知，在关键帧发送时产生了通信质量的下降的情况下，图像劣化的影响度变大，但是在差分帧发送时产生了通信质量的下降的情况下，图像劣化的影响度变小。
<实施例1的具体例的说明>
图15以及图16是被本发明的实施例1涉及的缓冲器部802缓冲的帧的例子的说明图。
以下，对图15或图16所示的在帧被缓冲器部802缓冲的情况下执行的处理的实例进行说明。首先，对图15以及图16的情况下的读出定时控制部804的处理进行说明。在此，设关键帧插入间隔G设定为5，且下一次读出帧序列编号为“100”。
在图11的步骤1105中，若判定为当前时刻＞下一个帧读出时刻的判定为“是”，则进入步骤1106。在图15以及图16的情况下，比下一次读出帧序列编号小的帧不会积累在缓冲器，因此不进行步骤1106的处理而进入步骤1107。在步骤1107中，下一次读出帧序列编号mod关键帧插入间隔G的计算结果成为100mod5＝0，接着进入步骤1108。步骤1108的判定结果为“是”，进入步骤1110。在步骤1110中，在缓冲器部802积累有下一次读出帧序列编号为100的帧，因此判定为“是”，并进入步骤1112。即，在该例子中，未执行步骤1111，因此关键帧损失率计算部806不接收帧完全损失信息。在步骤1112中，序列编号为“100”的帧群被复制，并输入到关键帧损失率计算部806。
接着，使用图12对与上述的读出定时控制部804的处理对应的关键帧损失率计算部806的处理进行说明。在步骤1201中，判定为未从读出定时控制部804接收到帧完全损失信息，因此进入步骤1203。在步骤1203中，判定为从读出定时控制部804接收到了帧群，因此进入步骤1204。
<图15的情况下的关键帧损失率计算部、紧急控制实施判定部的处理>
在图15所示的帧群(即，包含帧1502、1503、1504、1505以及1506)输入到关键帧损失率计算部806的情况下，在步骤1204中，参照标头的分割数1507，成为M＝5。关于N，因为输入的帧群包含合计5个的帧1502、1503、1504、1505以及1506，所以成为N＝5。根据以上，成为(M-N)÷M＝0÷5＝0。在图15的例子的情况下，作为关键帧损失率，将0输入到紧急控制实施判定部807。
设在紧急控制实施判定部807中，作为关键帧损失率阈值而设定了0.5。紧急控制实施判定部807在图13的步骤1302中判定为接收到了关键帧损失率(即，“是”)，并进入步骤1303。在步骤1303中，紧急控制实施判定部807确认是否成为关键帧损失率＞关键帧损失率阈值。在此，成为0＞0.5，不满足条件式，因此判定为“否”，进入步骤1302，不进行对紧急控制信号发送部808的通知(步骤1304)。
<图16的情况下的关键帧损失率计算部、紧急控制实施判定部的处理>
在图16所示的帧群(即，包含帧1602以及1603)输入到关键帧损失率计算部806的情况下，在步骤1204中，参照标头的分割数1604，成为M＝5。关于N，因为输入的帧群包含合计两个帧1602以及1603，所以成为N＝2。根据以上，成为(M-N)÷M＝3÷5＝0.6。在图16的例子的情况下，作为关键帧损失率，将0.6输入到紧急控制实施判定部807。
设在紧急控制实施判定部807中，作为关键帧损失率阈值设定了0.5。紧急控制实施判定部807在图13的步骤1302中判定为接收到了关键帧损失率(即，“是”)，并进入步骤1303。在步骤1303中，紧急控制实施判定部807确认是否成为关键帧损失率＞关键帧损失率阈值。在此，成为0.6＞0.5，满足条件式(即，判定为“是”)，因此进入步骤1304。
在步骤1304中，紧急控制实施判定部807决定紧急控制方法，并通知给紧急控制信号发送部808，从紧急控制信号发送部808向自动驾驶车101发送紧急控制信号。
根据本实施例，在经由通信网络将在自主行驶下进行移动的车和中心(即，监视控制服务器)进行连接并进行远程监视、控制的系统中，仅在由于通信质量的下降而使监视控制服务器的图像紊乱的情况下实施导致移动时间的增加的紧急控制，因此能够在确保车的安全性的基础上缩短移动时间。
[实施例2]
使用图17～图19对本发明涉及的实施例2进行说明。除了以下说明的不同点以外，实施例2的系统的各部分具有与图1～图16所示的实施例1的标注了同一符号的各部分具有相同的功能，因此省略它们的说明。
在本实施例中，相对于实施例1的结构，监视控制服务器105的结构不同。
图17是示出本发明的实施例2涉及的监视控制服务器105的结构的框图。
对于图17的构成要素中的与图8所示的部分相同的部分，赋予与图8相同的编号，并省略说明。图17的监视控制服务器105具有监视控制服务器软件801。实施例2的监视控制服务器软件801除了与实施例1的监视控制服务器软件801具有的部分同样的各部分以外，还具有紧急控制实施判定部1701以及基于关键帧损失率的紧急控制表1702。当接收到关键帧损失率时，紧急控制实施判定部1701参照基于关键帧损失率的紧急控制表1702，决定与该关键帧损失率对应的紧急控制方法，并通知给紧急控制信号发送部808。基于关键帧损失率的紧急控制表1702是保持关键帧损失率与对应于该关键帧损失率的紧急控制方法的对应关系的表。
图18是示出本发明的实施例2涉及的紧急控制实施判定部1701的处理的流程图。
当动作开始时，紧急控制实施判定部1701确认是否接收到了关键帧损失率(步骤1801)。在步骤1801中确认接收到了关键帧损失率的情况下，进入步骤1802。在步骤1801中确认未接收到关键帧损失率的情况下，进入步骤1801。在步骤1802中，紧急控制实施判定部1701参照基于关键帧损失率的紧急控制表1702，决定与在步骤1801中接收的关键帧损失率对应的紧急控制方法，并通知给紧急控制信号发送部808。
图19是示出本发明的实施例2涉及的基于关键帧损失率的紧急控制表1702的一个例子的说明图。
基于关键帧损失率的紧急控制表1702包含关键帧损失率1901和紧急控制方法1902。紧急控制实施判定部1701在图18的步骤1802中参照基于关键帧损失率的紧急控制表1702，在关键帧损失率为0(区域1903)的情况下，不实施紧急控制(区域1906)。在关键帧损失率1901为0～0.5(区域1904)的情况下，作为紧急控制方法1902，实施“限速控制(限制为5km/h以下的行驶)”(区域1907)。在关键帧损失率1901为0.5～1.0(区域1905)的情况下，作为紧急控制方法1902而实施“紧急停车”(区域1908)。
在图18以及图19的例子中，在关键帧损失率不为0的情况下，推定基于接收到的图像数据生成以及显示的图像的质量未达到实现安全的远程驾驶所需的基准(换言之，为了确保远程驾驶的安全性，需要执行某种紧急控制)。进而，如果关键帧损失率只到0.5，为了确保远程驾驶的安全性，需要将速度限制为5km/h以下，在关键帧损失率超过0.5的情况下，判定需要进行紧急停止。
在图19例示的紧急控制方法1902设定为无速度限制、限制为5km/h以下的行驶、以及紧急停车这3个级别。在此，“紧急停车”还能够说成是将速度限制为0km/h。即，在上述的例子中，设定紧急控制方法，使得关键帧损失率越高，速度的限制越苛刻(即，限制为更低的速度)。进而，也可通过将速度的限制更加细分化，设定为关键帧损失率越高，则速度的限制越苛刻，从而增加速度的限制的级别数。关键帧损失率越高，监视控制服务器105输出的图像的质量下降的程度越增加，因此为了确保安全性，需要更苛刻的速度的限制。
根据本实施例，在经由通信网络将在自主行驶下移动的车和中心进行连接并进行远程监视、控制的系统中，通过实施与关键帧损失率相应的所需的最低限度的紧急控制，从而能够在确保车的安全性的基础上进一步缩短移动时间。
[实施例3]
使用图20～图22对本发明涉及的实施例3进行说明。除了以下说明的不同点以外，实施例3的系统的各部分与图1～图19所示的实施例1～实施例2的标注了同一符号的各部分具有相同的功能，因此省略它们的说明。
在本实施例中，相对于实施例1的结构，监视控制服务器105的结构不同。
图20是示出本发明的实施例3涉及的监视控制服务器105的结构的框图。
对于图20的构成要素中的与图8所示的构成要素相同的部分，赋予与图8相同的编号，并省略说明。图20的监视控制服务器105具有监视控制服务器软件801。实施例3的监视控制服务器软件801除了具有与实施例1的监视控制服务器软件801具有的部分同样的各部分以外，还具有行驶模式保持部2001、紧急控制实施判定部2002以及基于行驶模式的紧急控制表2003。
行驶模式保持部2001经由通信装置701接收由自动驾驶车101发送的自动驾驶车101的行驶模式，并保持。紧急控制实施判定部2002参照基于行驶模式的紧急控制表2003，决定与关键帧损失率计算部806输入的关键帧损失率和从行驶模式保持部2001保持的自动驾驶车101的行驶模式对应的紧急控制方法。基于行驶模式的紧急控制表2003是记录了自动驾驶车101的行驶模式与紧急控制方法的对应关系的表。
图21是示出本发明的实施例3涉及的紧急控制实施判定部2002的处理的流程图。
当动作开始时，紧急控制实施判定部2002设定关键帧损失率阈值(步骤2101)。接着，在步骤2102中，紧急控制实施判定部2002确认是否接收到了关键帧损失率。在步骤2102中确认接收到了关键帧损失率的情况下，进入步骤2103。在步骤2102中确认未接收到关键帧损失率的情况下，进入步骤2102。
在步骤2103中，紧急控制实施判定部2002确认是否成为关键帧损失率＞关键帧损失率阈值。在步骤2103中确认成为关键帧损失率＞关键帧损失率阈值的情况下，进入步骤2104。在步骤2103中确认未成为关键帧损失率＞关键帧损失率阈值的情况下，进入步骤2102。在步骤2104中，紧急控制实施判定部2002从行驶模式保持部2001获取当前的行驶模式，并进入步骤2105。在步骤2105中，紧急控制实施判定部2002参照基于行驶模式的紧急控制表2003，决定与当前的关键帧损失率和行驶模式对应的紧急控制方法，并通知给紧急控制信号发送部808。
图22是示出本发明的实施例3涉及的基于行驶模式的紧急控制表2003的一个例子的说明图。
基于行驶模式的紧急控制表2003包含行驶模式2201以及紧急控制方法2202。在步骤2103中成为关键帧损失率＞关键帧损失率阈值且行驶模式2201为自动驾驶(区域2203)的情况下，紧急控制实施判定部2002作为紧急控制方法2202而实施限速控制(限制5km/h以下的行驶)(区域2205)。在行驶模式2201为远程驾驶(区域2204)的情况下，作为紧急控制方法2202而实施紧急停车(区域2206)。
在自动驾驶车101进行远程驾驶的情况下，因为监视控制服务器105输出的图像的质量对行驶的安全性造成大的影响，所以在由于关键帧损失率的增大等而使图像的质量下降的情况下，需要进行行驶速度的限制等紧急控制来确保安全性。另一方面，在自动驾驶车101进行自动驾驶的情况下，因为监视控制服务器105输出的图像的质量不是马上影响到安全性，因此进行紧急控制的必要性低，但是考虑到存在过渡到远程驾驶模式的可能性，优选进行某种程度的控制。因此，在上述的例子中，设定紧急控制方法，使得在关键帧损失率满足给定的条件的情况下，与进行自动驾驶的情况相比，在进行远程驾驶的情况下将行驶速度限制得更低。
根据本实施例，在经由通信网络将在自主行驶下移动的车和中心进行连接并进行远程监视、控制的系统中，通过实施与行驶模式相应的所需的最低限度的紧急控制，从而能够在确保车的安全性的基础上进一步缩短移动时间。
[实施例4]
使用图23～图25对本发明涉及的实施例4进行说明。除了以下说明的不同点以外，实施例4的系统的各部分具有与图1～图22所示的实施例1～实施例3的标注了同一符号的各部分相同的功能，因此省略它们的说明。
在本实施例中，相对于实施例1的结构，监视控制服务器105的结构不同。
图23是示出本发明的实施例4涉及的监视控制服务器105的结构的框图。
对于图23的构成要素中的与图8所示的部分相同的部分，赋予与图8相同的编号，并省略说明。图23的监视控制服务器105具有监视控制服务器软件801。监视控制服务器软件801除了与实施例1的监视控制服务器软件801具有的部分同样的各部分以外，还具有行驶模式保持部2301、紧急控制实施判定部2302、以及基于行驶模式和关键帧损失率的紧急控制表2303。
行驶模式保持部2301经由通信装置701接收由自动驾驶车101发送的自动驾驶车101的行驶模式，并保持。紧急控制实施判定部2302参照基于行驶模式和关键帧损失率的紧急控制表2303来决定与从关键帧损失率计算部806输入的关键帧损失率和由行驶模式保持部2301保持的自动驾驶车101的行驶模式对应的紧急控制方法。基于行驶模式和关键帧损失率的紧急控制表2303是记录了自动驾驶车101的行驶模式、关键帧损失率以及紧急控制方法的对应关系的表。
图24是示出本发明的实施例4涉及的紧急控制实施判定部2302的处理的流程图。
当动作开始时，紧急控制实施判定部2302确认是否接收到了关键帧损失率(步骤2401)。在步骤2401中确认接收到了关键帧损失率的情况下，进入步骤2402。在步骤2401中确认未接收到关键帧损失率的情况下，进入步骤2401。
在步骤2402中，紧急控制实施判定部2302从行驶模式保持部2301获取当前的行驶模式，并进入步骤2403。在步骤2403中，紧急控制实施判定部2302参照基于行驶模式和关键帧损失率的紧急控制表2303，决定与接收到的关键帧损失率和行驶模式对应的控制方法，并通知给紧急控制信号发送部808。
图25是示出本发明的实施例4涉及的基于行驶模式和关键帧损失率的紧急控制表2303的一个例子的说明图。
基于行驶模式和关键帧损失率的紧急控制表2303包含行驶模式2501、关键帧损失率2502以及紧急控制方法2503。紧急控制实施判定部2302在图24的步骤2403中参照基于行驶模式和关键帧损失率的紧急控制表2303，在行驶模式2501为“自动驾驶”且关键帧损失率为0的情况下，判定为不实施紧急控制。在行驶模式为“自动驾驶”且关键帧损失率为0～0.5的情况下，判定为作为紧急控制方法而实施“限速控制(限制为10km/h以下的行驶)”(2503)。在行驶模式为“自动驾驶”且关键帧损失率为0.5～1.0的情况下，判定为作为紧急控制方法而实施“限速控制(限制5km/h以下的行驶)”。在行驶模式为“远程驾驶”且关键帧损失率为0的情况下，判定为不实施紧急控制。在行驶模式为“远程驾驶”且关键帧损失率为0～0.5的情况下，判定为作为紧急控制方法而实施“限速控制(限制5km/h以下的行驶)”。在行驶模式为“远程驾驶”且关键帧损失率为0.5～1.0的情况下，判定为作为紧急控制方法而实施“紧急停车”。像这样，在本实施例中，将行驶模式、关键帧损失率、以及紧急控制方法建立对应，使得与进行自动驾驶的情况相比，在进行远程驾驶的情况下，将行驶速度限制得更低，且关键帧损失率越高，将行驶速度显示得越低。
根据本实施例，在经由通信网络将在自主行驶下移动的车和中心进行连接并进行远程监视、控制的系统中，通过根据行驶模式和关键帧损失率来实施所需的最低限度的紧急控制，从而能够在确保车的安全性的基础上进一步缩短移动时间。
[实施例5]
使用图26～图32对本发明涉及的实施例5进行说明。除了以下说明的不同点以外，实施例5的系统的各部分与图1～图25所示的实施例1～实施例4的标注了同一符号的各部分具有相同的功能，因此省略它们的说明。
在本实施例中，相对于实施例1的结构，监视控制服务器105的结构不同。
图26是示出本发明的实施例5涉及的监视控制服务器105的结构的框图。
对于图26的构成要素中的与图8所示的构成要素相同的部分，赋予与图8相同的编号，并省略说明。图26的监视控制服务器105具有监视控制服务器软件801。实施例5的监视控制服务器软件801除了与实施例1的监视控制服务器软件801具有的部分相同的各部分以外，还包括读出定时控制部2601、差分帧损失率计算部2602、紧急控制实施判定部2603、以及关键帧损失率和差分帧损失率组合判定表2604。
读出定时控制部2601从缓冲器部802读出帧，输入到解码部805，并且如果该帧是关键帧，则将该帧输入到关键帧损失率计算部806，如果该帧是差分帧，则将该帧输入到差分帧损失率计算部2602。当从读出定时控制部2601输入了差分帧时，差分帧损失率计算部2602计算差分帧损失率，并输入到紧急控制实施判定部2603。
紧急控制实施判定部2603参照关键帧损失率和差分帧损失率组合判定表2604，在关键帧损失率和差分帧损失率符合关键帧损失率和差分帧损失率组合判定表2604中的任一判定条件的情况下，决定紧急控制方法，并通知给紧急控制信号发送部808。关键帧损失率和差分帧损失率组合判定表2604是记录了基于关键帧损失率和差分帧损失率的组合的一个或多个判定条件的表。
图27是示出本发明的实施例5涉及的读出定时控制部2601的处理的流程图。
对于与图11相同的部分，赋予与图11相同的编号，并省略说明。
在步骤2701中，读出定时控制部2601确认计算结果是否为0(即，下一次读出帧是否为关键帧)。在步骤2701中确认计算结果为0(即，下一次读出帧为关键帧)的情况下，进入步骤1110。在步骤2701中确认计算结果不为0(即，下一次读出帧不是关键帧，而是差分帧)的情况下，进入步骤2702。
在步骤2702中，读出定时控制部2601确认有没有下一次读出帧序列编号的帧。在步骤2702中确认有下一次读出帧序列编号的帧的情况下，进入步骤2704。在步骤2702中确认没有下一次读出帧序列编号的帧(即，差分帧损失)的情况下，进入步骤2703。在步骤2703中，读出定时控制部2601将帧完全损失信息(表示该帧的类别的类别为差分帧且该帧完全损失的信息)输入到差分帧损失率计算部2602，并进入步骤1114。在步骤2704中，读出定时控制部2601复制读出的下一次读出帧序列编号的帧群，并输入到差分帧损失率计算部2602。
图28是示出本发明的实施例5涉及的差分帧损失率计算部2602的处理的流程图。
当动作开始时，差分帧损失率计算部2602确认是否从读出定时控制部2601接收到了帧完全损失信息(步骤2801)。在步骤2801中确认接收到了帧完全损失信息的情况下，进入步骤2802。在步骤2801中确认未接收到帧完全损失信息的情况下，进入步骤2803。
在步骤2802中，差分帧损失率计算部2602通知紧急控制实施判定部807差分帧损失率＝1。在步骤2803中，差分帧损失率计算部2602确认是否从读出定时控制部2601接收到了帧群。在步骤2803中确认接收到了帧群的情况下，进入步骤2804。在步骤2803中确认未接收到帧群的情况下，进入步骤2801。
在步骤2804中，差分帧损失率计算部2602确认该差分帧的一部分是否缺损。在步骤2804中确认该差分帧的一部分缺损的情况下，进入步骤2802。在步骤2804中确认该差分帧的一部分未缺损的情况下，进入步骤2801。
图29是示出本发明的实施例5涉及的紧急控制实施判定部2603的处理的流程图。
当动作开始时，紧急控制实施判定部2603确认是否从通信装置701接收到了关键帧插入间隔G(步骤2901)。在步骤2901中确认从通信装置701接收到了关键帧插入间隔G的情况下，进入步骤2902。在步骤2901中确认未从通信装置701接收到关键帧插入间隔G的情况下，进入步骤2901。
在步骤2902中，紧急控制实施判定部2603将关键帧间隔G设定为接收到的值，并进入步骤2903。在步骤2903中，紧急控制实施判定部2603确认是否接收到了关键帧损失率。在步骤2903中确认接收到了关键帧损失率的情况下，进入步骤2904。在步骤2903中确认未接收到关键帧损失率的情况下，进入步骤2906。
在步骤2904中，紧急控制实施判定部2603将关键帧损失率更新为接收到的值，并进入步骤2905。在步骤2905中，紧急控制实施判定部2603将差分帧损失率更新为0，并进入步骤2908。在步骤2906中，紧急控制实施判定部2603确认是否接收到了差分帧完全损失信息。在步骤2906中确认接收到了差分帧完全损失信息的情况下，进入步骤2907。在步骤2906中确认未接收到差分帧损失完全损失信息的情况下，进入步骤2903。
在步骤2907中，紧急控制实施判定部2603对差分帧损失率加上1÷(关键帧间隔G-1)，并进入步骤2908。在步骤2908中，紧急控制实施判定部2603参照关键帧损失率和差分帧损失率组合判定表2604，检查所计算的关键帧损失率以及差分帧损失率是否符合表记载的条件，在符合的情况下，通知给紧急控制信号发送部808，并进入步骤2903。
图30是示出本发明的实施例5涉及的关键帧损失率和差分帧损失率组合判定表2604的一个例子的说明图。
关键帧损失率和差分帧损失率组合判定表2604由关键帧损失率3002以及差分帧损失率3003的组合构成。关键帧损失率3002的值L与差分帧损失率3003的值M的组合为在步骤2908中被参照的判定条件，判定条件3001是识别各个判定条件的编号(在图30的例子中为1至3中的任一者)。在以下的说明中，也将判定条件3001为1的判定条件记载为判定条件1。对于其它判定条件3001的值也是同样的。
在图30的例子中，即使关键帧损失率L为0，只要差分帧损失率M为0.75以上，则满足判定条件1。满足判定条件1至3中的任一个，意味着推定为基于接收到的图像数据生成并显示的图像的质量未达到实现安全的远程驾驶所需的基准(换言之，为了确保远程驾驶的安全性，需要执行某种紧急控制)。因此，发送给定的紧急控制信号。如果关键帧损失率L满足0＜L≤0.4且差分帧损失率M为0.50以上，则满足判定条件2，因此发送给定的紧急控制信号。在关键帧损失率L大于0.4且差分帧损失率M为0.25以上的情况下，满足判定条件3，因此发送给定的紧急控制信号。像这样，将差分帧损失率M的阈值(在上述的例子中为0.75，0.50、0.25)设定为，关键帧损失率L的值变得越大则变得越小，在差分帧损失率M成为该阈值以上的情况下，进行紧急控制。即，即使关键帧损失率L小，只要差分帧损失率M足够大，则进行紧急控制，即使差分帧损失率M小，只要关键帧损失率L足够大，就进行紧急控制。上述是一个例子，通过适当地设定关键帧损失率L的范围与差分帧损失率M的阈值的关系，从而能够执行确保安全性所需的最低限度的紧急控制。
参照图31以及图32，对紧急控制实施判定部2603的具体的处理的例子进行说明。
在此，设作为关键帧损失率和差分帧损失率组合判定表2604，使用图30所示的关键帧损失率和差分帧损失率组合判定表。
图31是示出本发明的实施例5涉及的自动驾驶车101的帧发送定时的一个例子的说明图。
图32是示出本发明的实施例5涉及的监视控制服务器105的帧接收定时的一个例子的说明图。
在图31以及图32的例子中，设关键帧间隔G为5。即，以5帧中一个的间隔生成关键帧并进行发送。如图31所示，自动驾驶车101在发送定时S100发送序列编号为100的关键帧。在该例子中，序列编号为100的关键帧分割为连续编号为1至5的5个通信分组而进行发送。进而，自动驾驶车101在发送定时S101、S102、S103、S104分别发送序列编号为101、102、103以及104的差分帧。在该例子中，各个差分帧分割为连续编号为1以及2的两个通信分组而进行发送。
如图32所示，监视控制服务器105接收并读出由自动驾驶车101发送的各帧。具体地，监视控制服务器105在读出定时R100读出序列编号为100的关键帧。进而，监视控制服务器105在读出定时R101、R102、R103以及R104分别读出序列编号为101、102、103以及104的差分帧。关于在图32的各读出定时的关键帧损失率计算部806以及差分帧损失率计算部2602的计算处理，将在以下进行说明。
另外，在图32的例子中，监视控制服务器105在读出定时R100未接收到存放了序列编号为100的关键帧的一部分的5个通信分组中的连续编号为3的通信分组。此外，监视控制服务器105在读出定时R101未接收到存放了序列编号为101的差分帧的一部分的两个通信分组中的连续编号为2的通信分组。进而，监视控制服务器105在读出定时R103未接收到存放了序列编号为103的差分帧的一部分的两个通信分组中的连续编号为1的通信分组。
在读出定时R100，关键帧损失率计算部806通过图12的步骤1204计算为关键帧损失率＝(5-4)/5＝0.2。紧急控制实施判定部2603在图29的步骤2905中将差分帧损失率更新为0。在步骤2908中，因为当前的关键帧损失率＝0.2以及差分帧损失＝0不符合关键帧损失率和差分帧损失率组合判定表2604中的任一判定条件3001，所以紧急控制实施判定部2603判定为不实施紧急控制。
接着，在读出定时R101，差分帧损失率计算部2602在图28的步骤2804中判定为该差分帧缺损了一部分，并进入步骤2802。在步骤2802中，差分帧损失率计算部2602将差分帧完全损失信息通知给紧急控制实施判定部2603。因为在步骤2906中确认接收到了差分帧完全损失信息，所以紧急控制实施判定部2603进入步骤2907。在步骤2907中，紧急控制实施判定部2603对当前的差分帧损失率＝0加上1÷(5-1)＝0.25，并将当前的差分帧损失率更新为0.25。在步骤2908中，因为当前的关键帧损失率＝0.2以及差分帧损失＝0.25不符合关键帧损失率和差分帧损失率组合判定表2604中的任一判定条件3001，所以紧急控制实施判定部2603判定为不实施紧急控制。
接着，在读出定时R102，差分帧损失率计算部2602在图28的步骤2804中判定该差分帧未缺损一部分而进入步骤2801，不对紧急控制实施判定部2603进行任何通知。
接着，在读出定时R103，差分帧损失率计算部2602在步骤2804中判定为该差分帧缺损了一部分而进入步骤2802。在步骤2802中，差分帧损失率计算部2602将差分帧完全损失信息通知给紧急控制实施判定部2603。因为在步骤2906中确认接收到了差分帧完全损失信息，所以紧急控制实施判定部2603进入步骤2907。在步骤2907中，紧急控制实施判定部2603对当前的差分帧损失率＝0.25加上1÷(5-1)＝0.25，当前的差分帧损失率被更新为0.5。在步骤2908中，当前，关键帧损失率＝0.2，差分帧损失＝0.5。它们相当于注册在关键帧损失率和差分帧损失率组合判定表2604的判定条件3001为2的判定条件，因此紧急控制实施判定部2603判定为实施紧急控制。
根据本实施例，在经由通信网络将在自主行驶下移动的车和中心进行连接并进行远程监视、控制的系统中，通过根据关键帧损失率和差分帧损失率来实施所需的最低限度的紧急控制，从而能够在确保车的安全性的基础上进一步缩短移动时间。
[实施例6]
使用图33～图35对本发明涉及的实施例6进行说明。除了以下说明的不同点以外，实施例6的系统的各部分与图1～图32所示的实施例1～实施例5的标注了同一符号的各部分具有相同的功能，因此省略它们的说明。
在本实施例中，相对于实施例5的结构，监视控制服务器105的结构不同。
图33是示出本发明的实施例6涉及的监视控制服务器105的结构的框图。
对图33的构成要素中的与图26所示的构成要素相同的部分，赋予与图26相同的编号，并省略说明。图33的监视控制服务器105具有监视控制服务器软件801。监视控制服务器软件801除了与实施例3的监视控制服务器软件801具有的部分同样的各部分以外，还具有行驶模式保持部3301、基于行驶模式的紧急控制表3302以及紧急控制实施判定部3303。
行驶模式保持部3301经由通信装置701接收由自动驾驶车101发送的自动驾驶车101的行驶模式，并保持。基于行驶模式的紧急控制表3302是记录了自动驾驶车101的行驶模式与紧急控制方法的对应关系的表。紧急控制实施判定部3303参照关键帧损失率和差分帧损失率组合判定表2604，在关键帧损失率和差分帧损失率符合关键帧损失率和差分帧损失率组合判定表2604中的任一判定条件的情况下，从行驶模式保持部3301获取当前的行驶模式，并参照基于行驶模式的紧急控制表3302，决定与当前的行驶模式对应的紧急控制方法，并通知给紧急控制信号发送部808。
图34是示出本发明的实施例6涉及的紧急控制实施判定部3303的处理的流程图。
关于图34，对于与实施例5的紧急控制判定部的处理(图29)相同的处理的部分，省略说明，并赋予同一符号。当执行了步骤2905或步骤2907时，本实施例的紧急控制实施判定部3303接着执行步骤3401。在步骤3401中，紧急控制实施判定部3303从行驶模式保持部3301获取当前的行驶模式，并进入步骤3402。在步骤3402中，紧急控制实施判定部3303参照关键帧损失率和差分帧损失率组合判定表2604，检查所计算的关键帧损失率以及差分帧损失率是否符合表记载的条件，在符合的情况下，决定与行驶模式对应的控制方法，并通知给紧急控制信号发送部808。
图35是示出本发明的实施例6涉及的基于行驶模式的紧急控制表3302的一个例子的说明图。
基于行驶模式的紧急控制表3302包含行驶模式3501以及紧急控制方法3502。在图34的步骤3402中，紧急控制实施判定部2603参照关键帧损失率和差分帧损失率组合判定表2604，在该关键帧损失率和该差分帧损失率符合表记载的条件的情况下，获取行驶模式，在行驶模式3501为自动驾驶(区域3503)的情况下，判定为作为紧急控制方法3502而实施限速控制(限制为5km/h以下的行驶)(区域3505)。在行驶模式3501为远程驾驶(区域3504)的情况下，判定为作为紧急控制方法3502而实施紧急停车(区域3506)。
根据本实施例，在经由通信网络将在自主行驶下移动的车和中心进行连接并进行远程监视、控制的系统中，通过根据关键帧损失率、差分帧损失率以及自动驾驶车的行驶模式实施所需的最低限度的紧急控制，从而能够在确保车的安全性的基础上进一步缩短移动时间。
像以上那样，本发明的实施例1至6记载的监视控制服务器105不仅推定与自动驾驶车101之间的单纯的通信质量，而且基于从自动驾驶车101接收的图像数据的接收状况来推定由解码部805从接收的图像数据生成并由显示装置707输出的图像的质量。而且，在判定为所推定的图像的质量未达到安全的远程驾驶所需的基准的情况下，监视控制服务器105发送紧急控制信号。
具体地，监视控制服务器105也可以仅基于关键帧损失率或基于关键帧损失率和差分帧损失率这两者来判定图像的质量是否达到所希望的基准。在实施例1至4中，仅基于关键帧损失率来判定图像的质量是否达到所希望的基准。特别是，在实施例2以及4中，仅基于关键帧损失率来推定图像的质量的程度，并执行与其相应的紧急控制。在实施例5以及6中，基于关键帧损失率和差分帧损失率这两者来判定图像的质量是否达到所希望的基准。
由此，在判定为即使通信质量低，图像的质量也达到了所希望的基准的情况下，通过不执行紧急控制(或者，即使执行，也只是执行将限制速度的下降量抑制得小等较轻微的控制)，从而能够在确保了车的安全性的基础上进一步缩短移动时间。
另外，本发明并不限定于上述的实施例，包含各种各样的变形例。例如，上述的实施例是为了更好地理解本发明而进行详细说明的实施例，未必一定要现定于具备说明的全部的结构。此外，能够将某个实施例的结构的一部分置换为其它实施例的结构，此外，能够对某个实施例的结构添加其它实施例的结构。此外，还能够对各实施例的结构的一部分进行其它结构的追加、删除、置换。
此外，关于上述的各结构、功能、处理部、处理单元等，例如也可以通过用集成电路进行设计的等而由硬件来实现它们的一部分或全部。此外，上述的各结构、功能等也可以通过由处理器解释并执行实现各个功能的程序而由软件来实现。实现各功能的程序、表、文件等信息能够存放在非易失性半导体存储器、硬盘驱动器、SSD(Solid State Drive，固态硬盘)等存储器件、或IC卡、SD卡、DVD等计算机可读的非临时的数据存储介质。
此外，关于控制线以及信息线，示出了认为进行说明所需要的控制线以及信息线，未必示出了产品上的全部的控制线以及信息线。实际上，可以认为几乎全部的结构相互连接。

Claims (15)

1.一种监视控制系统，具有移动体和服务器装置，所述服务器装置经由网络与所述移动体进行通信，所述监视控制系统的特征在于，
所述移动体具有：
第一通信部，其经由所述网络与所述服务器装置进行通信；
照相机，其拍摄图像；
编码部，其从所述照相机拍摄的图像生成图像数据，所述图像数据包含：以给定的间隔插入的关键帧；和包含对所述关键帧的差分的差分帧；
发送部，其经由所述第一通信部向所述服务器装置发送所述编码部生成的图像数据；以及
移动控制部，其按照经由所述第一通信部从所述服务器装置接收的控制信号，对所述移动体的移动进行控制，
所述服务器装置具有：
第二通信部，其经由所述网络与所述移动体进行通信；以及
紧急控制信号发送部，其在给定的时间内未接收到从所述移动体发送的所述图像数据中的所述关键帧的至少一部分的情况下，经由所述第二通信部向所述移动体发送紧急控制信号。
2.根据权利要求1所述的监视控制系统，其特征在于，
所述紧急控制信号是指示基于所述移动体的移动速度的限制以及所述移动体的紧急停止中的任一方法的紧急控制的信号。
3.根据权利要求2所述的监视控制系统，其特征在于，
所述服务器装置保持紧急控制信息，所述紧急控制信息将所述关键帧的损失率和紧急控制的方法建立对应，使得所述关键帧的损失率越高，就将所述移动体的移动速度限制得越低，
所述服务器装置具有：
关键帧损失率计算部，其基于在所述给定的时间内是否接收到所述关键帧的至少一部分，计算所述关键帧的损失率；以及
紧急控制判定部，其基于所述紧急控制信息，判定与所计算出的所述关键帧的损失率对应的紧急控制的方法，
所述紧急控制信号发送部发送用于执行由所述紧急控制判定部判定的方法的紧急控制的所述紧急控制信号。
4.根据权利要求2所述的监视控制系统，其特征在于，
所述移动控制部为了控制所述移动体的移动而进行基于自动驾驶以及按照从所述服务器装置接收的控制信号的远程驾驶中的任一移动模式的控制，
所述服务器装置保持紧急控制信息和在所述移动体中进行的控制的所述移动模式，所述紧急控制信息将所述移动模式和紧急控制的方法建立对应，使得与进行所述自动驾驶的情况相比，在进行所述远程驾驶的情况下将所述移动体的移动速度限制得更低，
所述服务器装置具有：紧急控制判定部，其基于所述紧急控制信息，判定与所保持的所述移动模式对应的紧急控制的方法，
所述紧急控制信号发送部发送用于执行由所述紧急控制判定部判定的方法的紧急控制的所述紧急控制信号。
5.根据权利要求2所述的监视控制系统，其特征在于，
所述移动控制部为了控制所述移动体的移动而进行基于自动驾驶以及按照从所述服务器装置接收的控制信号的远程驾驶中的任一移动模式的控制，
所述服务器装置保持紧急控制信息和在所述移动体中进行的控制的所述移动模式，所述紧急控制信息将所述移动模式、所述关键帧的损失率以及紧急控制的方法建立对应，使得与进行所述自动驾驶的情况相比，在进行所述远程驾驶的情况下将所述移动体的移动速度限制得更低，且所述关键帧的损失率越高，将所述移动体的移动速度限制得越低，
所述服务器装置具有：
关键帧损失率计算部，其基于在所述给定的时间内是否接收到所述关键帧的至少一部分，计算所述关键帧的损失率；以及
紧急控制判定部，其基于所述紧急控制信息，判定与所保持的所述移动模式和所计算出的所述关键帧的损失率对应的紧急控制的方法，
所述紧急控制信号发送部发送用于执行由所述紧急控制判定部判定的方法的紧急控制的所述紧急控制信号。
6.根据权利要求2所述的监视控制系统，其特征在于，
所述服务器装置保持设定为所述关键帧的损失率越高则越低的所述差分帧的损失率的阈值，
所述服务器装置具有：
关键帧损失率计算部，其基于在所述给定的时间内是否接收到所述关键帧的至少一部分，计算所述关键帧的损失率；
差分帧损失率计算部，其基于在给定的时间内是否接收到所述差分帧的至少一部分，计算所述差分帧的损失率；以及
紧急控制判定部，其在所计算出的所述差分帧的损失率为与所计算出的所述关键帧的损失率对应的所述阈值以上的情况下，判定为执行紧急控制，
所述紧急控制信号发送部在由所述紧急控制判定部判定为执行紧急控制的情况下，发送所述紧急控制信号。
7.根据权利要求2所述的监视控制系统，其特征在于，
所述移动控制部为了控制所述移动体的移动而进行基于自动驾驶以及按照从所述服务器装置接收的控制信号的远程驾驶中的任一移动模式的控制，
所述服务器装置保持紧急控制信息和设定为所述关键帧的损失率越高则越低的所述差分帧的损失率的阈值，所述紧急控制信息将所述移动模式和紧急控制的方法建立对应，使得与进行所述自动驾驶的情况相比，在进行所述远程驾驶的情况下将所述移动体的移动速度限制得更低，
所述服务器装置具有：
关键帧损失率计算部，其基于在所述给定的时间内是否接收到所述关键帧的至少一部分，计算所述关键帧的损失率；
差分帧损失率计算部，其基于在给定的时间内是否接收到所述差分帧的至少一部分，计算所述差分帧的损失率；以及
紧急控制判定部，在所计算出的所述差分帧的损失率为与所计算出的所述关键帧的损失率对应的所述阈值以上的情况下，基于所述紧急控制信息，判定与所保持的所述移动模式对应的紧急控制的方法，
所述紧急控制信号发送部发送用于执行由所述紧急控制判定部判定的方法的紧急控制的所述紧急控制信号。
8.一种监视控制装置，具有：通信部，其与移动体进行通信；以及紧急控制信号发送部，其经由所述通信部发送紧急控制信号，
所述监视控制装置的特征在于，
所述通信部接收从所述移动体发送的图像数据，所述图像数据包含：以给定的间隔插入的关键帧；和包含对所述关键帧的差分的差分帧，
所述紧急控制信号发送部在给定的时间内未接收到从所述移动体发送的所述图像数据中的所述关键帧的至少一部分的情况下，经由所述通信部向所述移动体发送紧急控制信号。
9.根据权利要求8所述的监视控制装置，其特征在于，
所述紧急控制信号是指示基于所述移动体的移动速度的限制以及所述移动体的紧急停止中的任一方法的紧急控制的信号。
10.根据权利要求9所述的监视控制装置，其特征在于，
所述监视控制装置保持紧急控制信息，所述紧急控制信息将所述关键帧的损失率和紧急控制的方法建立对应，使得所述关键帧的损失率越高，就将所述移动体的移动速度限制得越低，
所述监视控制装置具有：
关键帧损失率计算部，其基于在所述给定的时间内是否接收到所述关键帧的至少一部分，计算所述关键帧的损失率；以及
紧急控制判定部，其基于所述紧急控制信息，判定与所计算出的所述关键帧的损失率对应的紧急控制的方法，
所述紧急控制信号发送部发送用于执行由所述紧急控制判定部判定的方法的紧急控制的所述紧急控制信号。
11.根据权利要求9所述的监视控制装置，其特征在于，
所述移动体进行基于自动驾驶以及按照从所述监视控制装置接收的控制信号的远程驾驶中的任一移动模式的控制，
所述监视控制装置保持紧急控制信息和在所述移动体中进行的控制的所述移动模式，所述紧急控制信息将所述移动模式和紧急控制的方法建立对应，使得与进行所述自动驾驶的情况相比，在进行所述远程驾驶的情况下将所述移动体的移动速度限制得更低，
所述监视控制装置具有：紧急控制判定部，其基于所述紧急控制信息，判定与所保持的所述移动模式对应的紧急控制的方法，
所述紧急控制信号发送部发送用于执行由所述紧急控制判定部判定的方法的紧急控制的所述紧急控制信号。
12.根据权利要求9所述的监视控制装置，其特征在于，
所述移动体进行基于自动驾驶以及按照从所述监视控制装置接收的控制信号的远程驾驶中的任一移动模式的控制，
所述监视控制装置保持紧急控制信息和在所述移动体中进行的控制的所述移动模式，所述紧急控制信息将所述移动模式、所述关键帧的损失率以及紧急控制的方法建立对应，使得与进行所述自动驾驶的情况相比，在进行所述远程驾驶的情况下将所述移动体的移动速度限制得更低，且所述关键帧的损失率越高，将所述移动体的移动速度限制得越低，
所述监视控制装置具有：
关键帧损失率计算部，其基于在所述给定的时间内是否接收到所述关键帧的至少一部分，计算所述关键帧的损失率；以及
紧急控制判定部，其基于所述紧急控制信息，判定与所保持的所述移动模式和所计算出的所述关键帧的损失率对应的紧急控制的方法，
所述紧急控制信号发送部发送用于执行由所述紧急控制判定部判定的方法的紧急控制的所述紧急控制信号。
13.根据权利要求9所述的监视控制装置，其特征在于，
所述监视控制装置保持设定为所述关键帧的损失率越高则越低的所述差分帧的损失率的阈值，
所述监视控制装置具有：
关键帧损失率计算部，其基于在所述给定的时间内是否接收到所述关键帧的至少一部分，计算所述关键帧的损失率；
差分帧损失率计算部，其基于在给定的时间内是否接收到所述差分帧的至少一部分，计算所述差分帧的损失率；以及
紧急控制判定部，其在所计算出的所述差分帧的损失率为与所计算出的所述关键帧的损失率对应的所述阈值以上的情况下，判定为执行紧急控制，
所述紧急控制信号发送部在由所述紧急控制判定部判定为执行紧急控制的情况下，发送所述紧急控制信号。
14.根据权利要求9所述的监视控制装置，其特征在于，
所述移动体进行基于自动驾驶以及按照从所述监视控制装置接收的控制信号的远程驾驶中的任一移动模式的控制，
所述监视控制装置保持紧急控制信息和设定为所述关键帧的损失率越高则越低的所述差分帧的损失率的阈值，所述紧急控制信息将所述移动模式和紧急控制的方法建立对应，使得与进行所述自动驾驶的情况相比，在进行所述远程驾驶的情况下将所述移动体的移动速度限制得更低，
所述监视控制装置具有：
关键帧损失率计算部，其基于在所述给定的时间内是否接收到所述关键帧的至少一部分，计算所述关键帧的损失率；
差分帧损失率计算部，其基于在给定的时间内是否接收到所述差分帧的至少一部分，计算所述差分帧的损失率；以及
紧急控制判定部，在所计算出的所述差分帧的损失率为与所计算出的所述关键帧的损失率对应的所述阈值以上的情况下，基于所述紧急控制信息，判定与所保持的所述移动模式对应的紧急控制的方法，
所述紧急控制信号发送部发送用于执行由所述紧急控制判定部判定的方法的紧急控制的所述紧急控制信号。
15.一种监视控制方法，由具有移动体和经由网络与所述移动体进行通信的服务器装置的监视控制系统执行，其特征在于，
所述移动体具有：
第一通信部，其经由所述网络与所述服务器装置进行通信；
照相机，其拍摄图像；
移动控制部，其对所述移动体的移动进行控制；以及
第一信息处理部，其与所述第一通信部、所述照相机以及所述移动控制部连接，
所述服务器装置具有：
第二通信部，其经由所述网络与所述移动体进行通信；以及
第二信息处理部，其与所述第二通信部连接，
所述监视控制方法具有：
第一步骤，所述第一信息处理部从所述照相机拍摄的图像生成图像数据，所述图像数据包含：以给定的间隔插入的关键帧；和包含对所述关键帧的差分的差分帧；
第二步骤，所述第一信息处理部经由所述第一通信部向所述服务器装置发送所述图像数据；以及
第三步骤，所述第二信息处理部在给定的时间内未接收到从所述移动体发送的所述图像数据中的所述关键帧的至少一部分的情况下，经由所述第二通信部向所述移动体发送紧急控制信号。
CN201810239218.0A 2017-06-15 2018-03-21 监视控制系统、监视控制装置和监视控制方法 Active CN109150949B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-117581 2017-06-15
JP2017117581A JP6779835B2 (ja) 2017-06-15 2017-06-15 監視制御システム、監視制御装置及び監視制御方法

Publications (2)

Publication Number Publication Date
CN109150949A CN109150949A (zh) 2019-01-04
CN109150949B true CN109150949B (zh) 2021-05-11

Family

ID=64457438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810239218.0A Active CN109150949B (zh) 2017-06-15 2018-03-21 监视控制系统、监视控制装置和监视控制方法

Country Status (4)

Country Link
US (1) US10466697B2 (zh)
JP (1) JP6779835B2 (zh)
CN (1) CN109150949B (zh)
DE (1) DE102018204482A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2572127B (en) * 2018-01-10 2022-09-14 Xihelm Ltd Method and system for agriculture
US11292480B2 (en) * 2018-09-13 2022-04-05 Tusimple, Inc. Remote safe driving methods and systems
US11720094B2 (en) 2018-12-28 2023-08-08 Beijing Voyager Technology Co., Ltd. System and method for remote intervention of vehicles
WO2020139714A1 (en) * 2018-12-28 2020-07-02 Didi Research America, Llc System and method for updating vehicle operation based on remote intervention
PT3909584T (pt) 2019-01-11 2024-01-12 Taiho Pharmaceutical Co Ltd Composto de pirimidina ou um seu sal
US11402842B2 (en) 2019-01-18 2022-08-02 Baidu Usa Llc Method to define safe drivable area for automated driving system
US11167751B2 (en) * 2019-01-18 2021-11-09 Baidu Usa Llc Fail-operational architecture with functional safety monitors for automated driving system
WO2020178960A1 (ja) * 2019-03-04 2020-09-10 マクセル株式会社 リモート操作指示システム、及びマウント型デバイス
JP7271380B2 (ja) * 2019-09-19 2023-05-11 株式会社東芝 無線通信装置および方法
DE102019214413A1 (de) * 2019-09-23 2021-03-25 Robert Bosch Gmbh Verfahren zum zumindest teilautomatisierten Führen eines Kraftfahrzeugs
EP3816749A1 (en) * 2019-10-29 2021-05-05 Volkswagen AG Teleoperated driving of a vehicle
JPWO2021177052A1 (zh) * 2020-03-03 2021-09-10
WO2021210133A1 (ja) * 2020-04-16 2021-10-21 日本電信電話株式会社 制御装置、制御方法、及びプログラム
JP7438017B2 (ja) 2020-05-11 2024-02-26 Ｇｏ株式会社 コンピュータプログラム、遠隔制御装置、及び遠隔制御方法
US20220277164A1 (en) * 2021-02-26 2022-09-01 Qualcomm Incorporated Technologies for image signal processing and video processing
JP7350912B2 (ja) 2022-02-14 2023-09-26 ソフトバンク株式会社 サーバシステム及び車両
WO2024004180A1 (ja) * 2022-06-30 2024-01-04 日本電信電話株式会社 遠隔制御システム、通信システム、及び遠隔制御方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008090576A (ja) * 2006-10-02 2008-04-17 Honda Motor Co Ltd 移動ロボット及び移動ロボットの制御装置
CN101501740A (zh) * 2006-08-07 2009-08-05 丰田自动车株式会社 行驶控制装置
JP2014071777A (ja) * 2012-09-28 2014-04-21 Equos Research Co Ltd 車両および遠隔操作装置
CN205621280U (zh) * 2016-03-23 2016-10-05 华南理工大学 一种用于高速公路的安全速度与距离警示系统
CN106292367A (zh) * 2016-08-30 2017-01-04 吉林大学 一种汽车电子远程控制系统
CN106324645A (zh) * 2016-08-19 2017-01-11 付寅飞 一种基于惯性导航和卫星差分定位的车辆精准定位方法
CN106849806A (zh) * 2017-04-13 2017-06-13 常州寻心电子科技有限公司 一种电动车控制器及控制方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003123190A (ja) * 2001-10-10 2003-04-25 Sumitomo Electric Ind Ltd 画像送信システム、画像送信装置、及び画像取得装置
JP4349152B2 (ja) * 2004-02-26 2009-10-21 沖電気工業株式会社 安全運行支援システム及び安全運行支援方法
JP4434219B2 (ja) * 2007-02-26 2010-03-17 株式会社デンソー 画像サーバ
US9396385B2 (en) * 2010-08-26 2016-07-19 Blast Motion Inc. Integrated sensor and video motion analysis method
US20130201316A1 (en) * 2012-01-09 2013-08-08 May Patents Ltd. System and method for server based control
DE202013100347U1 (de) * 2013-01-24 2013-03-05 Ford Global Technologies, Llc Bedarfsweise aktivierbares Fernsteuerungssystem für Kraftfahrzeuge
KR101953128B1 (ko) * 2015-10-22 2019-05-31 현대자동차주식회사 차량 및 차량의 제어 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101501740A (zh) * 2006-08-07 2009-08-05 丰田自动车株式会社 行驶控制装置
JP2008090576A (ja) * 2006-10-02 2008-04-17 Honda Motor Co Ltd 移動ロボット及び移動ロボットの制御装置
JP2014071777A (ja) * 2012-09-28 2014-04-21 Equos Research Co Ltd 車両および遠隔操作装置
CN205621280U (zh) * 2016-03-23 2016-10-05 华南理工大学 一种用于高速公路的安全速度与距离警示系统
CN106324645A (zh) * 2016-08-19 2017-01-11 付寅飞 一种基于惯性导航和卫星差分定位的车辆精准定位方法
CN106292367A (zh) * 2016-08-30 2017-01-04 吉林大学 一种汽车电子远程控制系统
CN106849806A (zh) * 2017-04-13 2017-06-13 常州寻心电子科技有限公司 一种电动车控制器及控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"无人直升机飞行控制方法及GPS应用研究";李良;《中国优秀硕士学位论文全文数据库 工程科技辑》;20070228;全文 *

Also Published As

Publication number Publication date
DE102018204482A1 (de) 2018-12-20
CN109150949A (zh) 2019-01-04
US10466697B2 (en) 2019-11-05
US20180364705A1 (en) 2018-12-20
JP6779835B2 (ja) 2020-11-04
JP2019003403A (ja) 2019-01-10

Similar Documents

Publication Publication Date Title
CN109150949B (zh) 监视控制系统、监视控制装置和监视控制方法
US20210011908A1 (en) Model-based structured data filtering in an autonomous vehicle
CN109305197B (zh) 列车控制方法、系统和车载控制器
US9335765B2 (en) Autonomous vehicle media control
US10791439B2 (en) Methods and systems for vehicle data upload
CN107613527B (zh) 消息处理方法、相关设备及系统
US11375034B2 (en) Transmitting remotely valued data in an autonomous vehicle
CN105099843B (zh) 针对车辆通信总线的运行时间压缩方法
CN112004730A (zh) 车辆控制装置
EP3889783A1 (en) Vehicle log transmission device, vehicle log analysis system, and vehicle log transmission/reception method
US11876980B2 (en) Optimizing video encoding and/or transmission for remote driving applications
US11257193B2 (en) Image processing apparatus
CN111615067A (zh) 基于路侧单元的自动驾驶移动边缘计算方法、设备、存储介质
CN115151961A (zh) 车内外协作装置及方法
CN112712608A (zh) 用于通过车辆收集性能数据的系统和方法
CN112009496B (zh) 用于自主车辆控制的安全架构
CN114338828A (zh) 一种通信方法、通信设备和计算机存储介质
CN110875936A (zh) 智能驾驶汽车的通讯系统、方法及终端设备、存储介质
US20240134381A1 (en) System, control device, and control method
CN116156171A (zh) 模型的配置方法、装置和系统
CN114625174B (zh) 一种基于v2x的车载无人机控制方法和装置
CN117075513A (zh) 车辆行驶控制方法、装置、设备、汽车及存储介质
JP7452394B2 (ja) 圧縮率マップ生成装置、圧縮率情報提供装置、及び圧縮画像送信装置
US20220303547A1 (en) Image information reception apparatus, image information transmission apparatus, and program and method used therein
US20240092352A1 (en) Control system, in-vehicle device, and coordination device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant