CN110891160A - 影像传输装置、影像传输方法、以及记录介质 - Google Patents

影像传输装置、影像传输方法、以及记录介质 Download PDF

Info

Publication number
CN110891160A
CN110891160A CN201910835764.5A CN201910835764A CN110891160A CN 110891160 A CN110891160 A CN 110891160A CN 201910835764 A CN201910835764 A CN 201910835764A CN 110891160 A CN110891160 A CN 110891160A
Authority
CN
China
Prior art keywords
information
image
vehicle
unit
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910835764.5A
Other languages
English (en)
Other versions
CN110891160B (zh
Inventor
下间雄太
米田孝弘
石井育规
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019084992A external-priority patent/JP7334055B2/ja
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to CN202411173570.0A priority Critical patent/CN118803207A/zh
Publication of CN110891160A publication Critical patent/CN110891160A/zh
Application granted granted Critical
Publication of CN110891160B publication Critical patent/CN110891160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096805Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route
    • G08G1/096811Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route where the route is computed offboard
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096833Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route
    • G08G1/096844Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route where the complete route is dynamically recomputed based on new data
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0133Traffic data processing for classifying traffic situation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/06Synchronising arrangements
    • H04J3/0635Clock or time synchronisation in a network
    • H04J3/0638Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0658Clock or time synchronisation among packet nodes
    • H04J3/0661Clock or time synchronisation among packet nodes using timestamps
    • H04J3/0667Bidirectional timestamps, e.g. NTP or PTP for compensation of clock drift and for compensation of propagation delays

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Mathematical Physics (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种影像传输装置、影像传输方法、以及记录介质,提供能够抑制计算资源的增加,并且提高物体检测性能的信息处理装置。影像传输装置(230)是,被搭载在车辆(200)的影像传输装置(230),具备:第一获得部(231),从拍摄车辆(200)的周围的拍摄部(210)获得第一影像信息;危险地图制作部(234),制作示出车辆(200)的行驶的危险区域的危险地图:影像制作部(235),根据危险地图,制作数据量比第一影像信息少的第二影像信息;以及通信部(237),向用于对车辆(200)进行远程监视的远程监视装置(130)发送第二影像信息。

Description

影像传输装置、影像传输方法、以及记录介质
技术领域
本公开涉及,被搭载在车辆的影像传输装置、影像传输方法、以及记录介质。
背景技术
存在如下车辆控制系统,即,利用无线LAN(Local Area Network)以及手机线路等的无线通信,驾驶员不上车的车辆或驾驶员不操作的车辆,由位于远处的操作员间接地驾驶、操纵。
在这样的车辆控制系统的情况下,经由通信网络,将被搭载在车辆的传感器(例如,毫米波雷达、激光雷达、以及照相机)观测车辆周边而得到的传感结果,从车辆传达给操作员,将关于车辆的行驶的控制信息,从操作员传达给车辆,据此,操作员从远处对车辆进行操纵。
专利文献1公开,针对半自主型无人车辆(被操作车辆)的远程操作系统(车辆控制系统)。专利文献1的远程操作系统具备,获得本车的行驶区域内的测距数据,根据测距数据进行自主行驶,并且,通过位于远处的操作员的操纵,进行基于从遥控装置发送的操纵信息(控制信息)的遥控的半自主型车辆。在远程操作系统具备的显示器显示车辆的照相机拍摄的图像,操作员确认该显示器所显示的图像,从而能够对半自主型车辆进行远程操作。
(现有技术文献)
(专利文献)
专利文献1:日本专利第5366703号公报
然而,在专利文献1中,操作员能够确认车辆的照相机拍摄的图像,但是,没有考虑车辆与远程监视系统之间的网络宽带的浪费。因此,会有导致该网络宽带的浪费、不足的情况。
发明内容
于是,本公开的目的在于,提供能够削减网络宽带的浪费的影像传输装置、影像传输方法、以及记录介质。
本公开的实施方案之一涉及的影像传输装置,被搭载在车辆,所述影像传输装置具备:第一获得部,从拍摄所述车辆的周围的拍摄部获得第一影像信息;危险地图制作部,制作示出所述车辆的周围的危险区域的危险地图;影像制作部,根据所述危险地图,制作数据量比所述第一影像信息少的第二影像信息;以及通信部,向用于对所述车辆进行远程监视的远程监视装置发送所述第二影像信息。
本公开的实施方案之一涉及的影像传输装置,被搭载在车辆,所述影像传输装置具备:第一获得部,从拍摄所述车辆的周围的拍摄部获得第一影像信息;第二获得部,从感测所述车辆的周围的传感器部获得感测结果;以及对象检测部,根据所述感测结果以及所述第一影像信息,制作示出障碍物的位置以及速度的障碍物信息;危险地图制作部,制作示出所述车辆的周围的危险区域的危险地图;影像制作部,根据所述危险地图,制作第二影像信息;通信部,向用于对所述车辆进行远程监视的远程监视装置发送监视用信息;以及判断部,判断所述车辆与所述远程监视装置之间的通信网络是否拥塞,所述通信部,发送包括根据所述判断部的判断结果选择出的所述感测结果、所述障碍物信息、以及所述第二影像信息的至少一个的所述监视用信息。
本公开的实施方案之一涉及的影像传输方法,是被搭载在车辆的影像传输装置的影像传输方法,包括:从拍摄所述车辆的周围的拍摄部获得第一影像信息的步骤;制作示出所述车辆的周围的危险区域的危险地图的步骤;根据所述危险地图,从所述第一影像信息制作第二影像信息的步骤,所述第二影像信息的数据量比所述第一影像信息少;以及向用于对所述车辆进行远程监视的远程监视装置发送所述第二影像信息的步骤。
本公开的实施方案之一涉及的记录介质,记录有用于使计算机执行所述影像传输方法的程序。
而且,它们的总括或具体的形态,也可以作为系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等的非暂时记录介质来实现,也可以任意组合系统、方法、集成电路、计算机程序以及记录介质来实现。程序,也可以由记录介质预先存储,也可以经由包括互联网等的广域网提供到记录介质。
根据本公开的实施方案之一涉及的影像传输装置、影像传输方法、以及记录介质,能够削减网络宽带的浪费。
附图说明
图1是示出实施方式1涉及的车辆控制系统的概略结构的图。
图2是示出实施方式1涉及的远程监视系统的功能结构的图。
图3是示出实施方式1涉及的被监视车辆的功能结构的图。
图4是示出实施方式1涉及的影像传输装置的工作的流程图。
图5是示出实施方式1涉及的针对静止的障碍物的动态危险度地图的计算方法的图。
图6是示出实施方式1涉及的考虑到针对从被监视车辆看的障碍物的死角区域的危险度地图的计算方法的图。
图7是示出实施方式1涉及的针对移动的障碍物的动态危险度地图的计算方法的图。
图8是示出实施方式1涉及的静态危险度地图的图。
图9A是示出实施方式1涉及的行驶路径与危险区域重叠的情况的示意图。
图9B是示出实施方式1涉及的行驶路径与危险区域不重叠的情况的示意图。
图10是示出实施方式2涉及的被监视车辆的功能结构的图。
图11是示出实施方式2涉及的计算被监视车辆与远程监视装置之间的丢包率的工作的序列图。
图12A是示出实施方式2涉及的获得NW的延迟时间的工作的一个例子的序列图。
图12B是示出实施方式2涉及的获得NW的延迟时间的工作的其他的一个例子的序列图。
图13是示出实施方式2涉及的影像传输装置的工作的流程图。
图14是示出实施方式2的变形例1涉及的影像传输装置的工作的流程图。
图15是示出实施方式2的变形例2涉及的影像传输装置的工作的流程图。
符号说明
10 车辆控制系统
100 远程监视系统
110 显示装置
120 操作输入装置
130 远程监视装置
131 控制部
132 通信部
133 存储部
200、200a 被监视车辆(车辆)
210 拍摄部
220 传感器部
230、230a 影像传输装置
231 第一获得部
232 第二获得部
233 对象检测部
234 危险度地图制作部(危险地图制作部)
235 控制部(影像制作部)
236 存储部
237 通信部
238 NW状态监视部(判断部)
300 网络
310 无线基站
400 障碍物
501、502 道路
具体实施方式
本公开的实施方案之一涉及的影像传输装置,被搭载在车辆,所述影像传输装置具备:第一获得部,从拍摄所述车辆的周围的拍摄部获得第一影像信息;危险地图制作部,制作示出所述车辆的周围的危险区域的危险地图;影像制作部,根据所述危险地图,制作数据量比所述第一影像信息少的第二影像信息;以及通信部,向用于对所述车辆进行远程监视的远程监视装置发送所述第二影像信息。
据此,影像传输装置能够,按照车辆的周围的危险区域,减少向远程监视装置发送的第二影像信息的数据量。因此,根据影像传输装置,能够削减车辆与远程监视装置之间的网络宽带的浪费。
并且,例如,所述影像制作部,通过进行如下处理之中的至少一方,制作所述第二影像信息,所述处理是指,使所述第一影像信息中的与所述危险地图示出的所述危险区域以外的区域对应的第一区域的影像的画质比与所述危险区域对应的第二区域的影像的画质恶化的处理,以及从所述第一影像信息中切出所述第二区域的影像的处理。
据此,操作员能够视觉识别与危险区域对应的区域为清楚的影像。因此,影像传输装置能够,削减网络宽带的浪费,并且,向操作员有效地通知行驶的危险。
并且,例如,所述判断部,判断所述车辆与所述远程监视装置之间的通信网络是否拥塞,所述通信部,在所述判断部判断为所述通信网络拥塞的情况下,向所述远程监视装置发送所述第二影像信息,在所述判断部判断为所述通信网络没有拥塞的情况下,向所述远程监视装置发送所述第一影像信息。
据此,影像传输装置,在通信网络拥塞的情况下,发送数据量比第一影像信息少的第二影像信息。也就是说,操作员,即使在通信网络拥塞的情况下,也能够迅速地视觉识别基于第二影像信息的影像。因此,影像传输装置能够,削减网络宽带的浪费,并且,与发送第一影像信息的情况相比,以短时间向操作员通知行驶的危险。
并且,例如,所述通信部,在所述判断部判断为所述通信网络拥塞的情况下,以比所述判断部判断为所述通信网络没有拥塞时低的发送率,发送所述第二影像信息,所述影像制作部,在所述判断部判断为所述通信网络拥塞的情况下,根据所述第一影像信息,按照所述发送率制作所述第二影像信息。
据此,影像传输装置,将按照发送率制作的第二影像信息发送给远程监视装置。例如,在发送率被设定为低的值的情况下,还减少第二影像信息的数据量,从而能够缩短第二影像信息的发送所需要的时间。因此,影像传输装置能够,削减网络宽带的浪费,并且,与发送第一影像信息的情况相比,以更短时间向操作员通知行驶的危险。
并且,例如,所述远程监视装置,与被输入用于对所述车辆进行远程操作的操作的操作输入装置连接,所述影像制作部,在所述车辆接受到来自所述操作输入装置的远程操作的情况下,还利用基于所述远程操作的行驶路径制作所述第二影像信息。
据此,按照基于远程操作的行驶路径制作第二影像信息,因此,能够制作适于该行驶路径的第二影像信息。操作员,视觉识别基于与行驶路径对应的第二影像信息,从而能够以更清楚的影像判断是否有因基于远程操作的行驶而产生的危险。
并且,例如,所述影像制作部,在所述车辆以自动驾驶行驶的情况下,还利用成为该车辆行驶的目标的行驶路径,制作所述第二影像信息。
据此,按照基于自动驾驶的行驶路径制作第二影像信息,因此,能够制作适于该行驶路径的第二影像信息。操作员,视觉识别基于与行驶路径对应的第二影像信息,从而能够以更清楚的影像判断是否有因基于自动驾驶的行驶而产生的危险。
并且,例如,所述影像制作部,进一步,通过进行如下处理之中的至少一方,制作所述第二影像信息,所述处理是指,使所述第一影像信息中的拍摄所述行驶路径中的不是行进方向的方向的第三区域的影像的画质比拍摄所述行进方向的第四区域的影像的画质恶化的处理,以及从所述第一影像信息中切出所述第四区域的影像的处理。
据此,影像传输装置能够,将与危险区域对应的区域的影像、以及行进方向的影像,以画质更良好的状态发送给远程监视装置。也就是说,操作员能够,以更清楚的影像视觉识别行驶路径的行进方向。因此,影像传输装置能够,削减网络宽带的浪费,并且,向操作员有效地通知基于远程操作或自动驾驶的行驶的危险。
并且,例如,第二获得部,从感测所述车辆的周围的传感器部获得感测结果;以及对象检测部,根据所述感测结果以及所述第一影像信息,制作示出障碍物的位置以及速度的障碍物信息,所述危险地图制作部,根据所述障碍物信息制作所述危险地图。
据此,影像传输装置能够,利用从车辆具备的拍摄部以及传感器部获得的信息制作危险地图。
并且,例如,所述危险地图制作部,根据所述第一影像信息以及所述障碍物信息的至少一方,制作示出所述车辆的周围的危险度的所述危险地图。
据此,危险地图制作部能够,任意设定危险区域。危险地图制作部能够,例如,将具有规定的值以上的危险度的区域设定为危险区域。因此,能够更准确地设定危险区域。
并且,所述判断部,例如,在判断为所述通信网络拥塞的情况下,还判断所述通信网络的拥塞程度是否为阈值以下,所述通信部,在所述判断部判断为所述拥塞程度为所述阈值以下的情况下,发送所述第二影像信息,在所述判断部判断为所述拥塞程度比所述阈值大的情况下,发送所述感测结果以及所述障碍物信息的至少一方。
据此,能够按照NW的拥塞程度,切换要发送的信息。因此,影像传输装置能够,按照NW的拥塞程度,以更适当的发送率传输车辆的周围的信息。
并且,例如,所述危险地图制作部,根据所述车辆的周围的交通信息制作所述危险地图。
据此,能够利用从车辆的外部获得的交通信息(例如,交通事故信息)制作危险地图。
并且,例如,所述影像制作部,在所述危险地图中不存在所述危险区域的情况下,使所述第一影像信息示出的第一影像的画质一律恶化,从而制作所述第二影像信息。
据此,在不存在危险区域的情况下,能够更减少第二影像信息的数据量。因此,影像传输装置,能够更削减网络宽带的浪费。
并且,例如,所述影像制作部,在所述危险地图中不存在所述危险区域的情况下,停止所述第二影像信息的制作。
据此,在不存在危险区域的情况下,不使用网络宽带。因此,影像传输装置能够,更削减网络宽带的浪费。
并且,本公开的实施方案之一涉及的影像传输装置,被搭载在车辆,所述影像传输装置具备:第一获得部,从拍摄所述车辆的周围的拍摄部获得第一影像信息;第二获得部,从感测所述车辆的周围的传感器部获得感测结果;以及对象检测部,根据所述感测结果以及所述第一影像信息,制作示出障碍物的位置以及速度的障碍物信息;危险地图制作部,制作示出所述车辆的周围的危险区域的危险地图;影像制作部,根据所述危险地图,制作第二影像信息;通信部,向用于对所述车辆进行远程监视的远程监视装置发送监视用信息;以及判断部,判断所述车辆与所述远程监视装置之间的通信网络是否拥塞,所述通信部,发送包括根据所述判断部的判断结果选择出的所述感测结果、所述障碍物信息、以及所述第二影像信息的至少一个的所述监视用信息。
据此,能够将基于判断结果的信息发送给远程监视装置。例如,在通信网络拥塞的情况下,数据量更少的信息(例如,感测结果,障碍物信息等)被选择为监视用信息,从而能够以更少的发送率传输车辆的周围的信息。
并且,例如,所述通信部,在所述判断部判断为所述通信网络拥塞的情况下,向所述远程监视装置发送所述感测结果以及所述障碍物信息的至少一方,在所述判断部判断为所述通信网络没有拥塞的情况下,向所述远程监视装置发送所述第二影像信息。
据此,将通信网络拥塞时发送的信息限定为感测信息以及障碍物信息的至少一方,从而能够以更少的发送率传输车辆的周围的信息。
并且,本公开的实施方案之一涉及的影像传输方法,是搭载在车辆的影像传输装置的影像传输方法,包括:从拍摄所述车辆的周围的拍摄部获得第一影像信息的步骤;制作示出所述车辆的周围的危险区域的危险地图的步骤;根据所述危险地图,从所述第一影像信息制作第二影像信息的步骤,所述第二影像信息的数据量比所述第一影像信息少;以及向用于对所述车辆进行远程监视的远程监视装置发送所述第二影像信息的步骤。并且,本公开的实施方案之一涉及的记录介质,记录有用于使计算机执行该影像传输方法的程序。
据此,获得与影像传输装置同样的效果。
以下,对于实施方式,参照附图进行具体说明。
而且,以下说明的各个实施方式,都示出总括或具体的例子。以下的实施方式示出的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等是一个例子而不是限定本公开的宗旨。因此,对于以下的实施方式的构成要素中的、示出最上位概念的实施方案中没有记载的构成要素,作为任意的构成要素而被说明。
而且,各个图是示意图,并不一定是严密示出的图。并且,在各个图中,对实质上相同的结构附上相同的符号,会有省略或简化重复的说明的情况。
并且,在本说明书中,示出相等等的要素间的关系性的用语、数值、以及数值范围,不是仅表示严格的意义的表现,而是表示实质相等的范围、例如也包括数%左右的差异的表现。
(实施方式1)
以下,对于本实施方式涉及的影像传输装置等,参照图1至图9B进行说明。
[1-1.车辆控制系统的结构]
首先,对于本实施方式涉及的包括具备影像传输装置的被监视车辆的车辆控制系统的结构,参照图1至图3进行说明。图1是示出本实施方式涉及的车辆控制系统10的概略结构的图。
如图1示出,车辆控制系统10是,经由无线LAN、通信终端等的无线基站310以及网络300,使被监视车辆200与远程监视系统100(具体而言,远程监视装置130)连接成能够通信的系统。无线基站310和网络300是,通信网络的一个例子。并且,被监视车辆200是,操作员H至少进行远程监视的车辆的一个例子。而且,被监视车辆200也可以是,操作员H进行远程监视以及远程操作的车辆。
在本说明书中,车辆是,例如,不需要驾驶员的操作而控制车辆的驾驶的自动驾驶汽车,但是,也可以是切换为自动驾驶或手动驾驶的任一方来能够行驶的车辆。并且,车辆,不仅包括汽车、列车、巴士等的一般的所谓车辆,也包括渡轮等的船舶、以及飞机等的飞行器。
对于远程监视系统100,还参照图2进行详细说明。图2是示出本实施方式涉及的远程监视系统100的功能结构的图。
如图1以及图2示出,远程监视系统100具备,显示装置110、操作输入装置120、以及远程监视装置130。
显示装置110是,与远程监视装置130连接,显示关于被监视车辆200的影像的监视器。显示装置110,显示被监视车辆200具备的拍摄部(参照图3示出的拍摄部210)拍摄的影像。并且,显示装置110也可以,将被监视车辆200以及被监视车辆200的周围的障碍物的状态显示给操作员H,从而能够使操作员H识别被监视车辆200以及障碍物的状态。而且,影像意味着,包括运动图像、以及静止图像。并且,障碍物是,被监视车辆200以外的其他的车辆、人等,主要意味着,被监视车辆200行驶时成为障碍的移动体。而且,障碍物也可以是,固定在地面的不动产。
也可以多个显示装置110与远程监视装置130连接。
操作输入装置120是,与远程监视装置130连接,操作员H的远程操作输入的装置。操作输入装置120是,例如,方向盘、脚踏板(例如,加速器踏板、以及刹车踏板)等的、用于对被监视车辆200进行操作的装置。操作输入装置120,将输入的车辆操作信息输出到远程监视装置140。而且,远程监视系统100,在不进行被监视车辆200的远程操作的情况下,也可以不具备用于对被监视车辆200进行远程操作的操作输入装置120。
远程监视装置130是,位于远处的操作员H用于经由通信网络对被监视车辆200进行远程监视的装置。如图2示出,远程监视装置130具有,控制部131、通信部132、以及存储部133。而且,在本实施方式中,远程监视装置130,与操作输入装置120连接,作为对被监视车辆200进行远程操作的远程操作装置发挥功能。
控制部131是,控制远程监视装置130的各种构成要素的控制装置。在本实施方式中,控制部131,根据经由通信部132接收的、被监视车辆200的周围的影像信息,制作操作员H的被监视车辆200的监视所需要的影像,将制作的影像输出到显示装置110。而且,此时,在从被监视车辆200接收包括障碍物的当前位置的障碍物位置信息的情况下,也可以还利用接收的障碍物位置信息制作影像。例如,也可以使影像所示的与被监视车辆200的距离近的障碍物的颜色变化,或者,使影像所示的与被操监视车辆200的距离近的障碍物闪烁来显示。并且,控制部131,若从操作输入装置120获得车辆操作信息,则将基于获得的车辆操作信息的车辆控制信息(以后,也记载为控制信息)经由通信网络发送给被监视车辆200。
控制部131也可以,还具有测量现在的年月日以及时刻的实时时钟功能。或者,控制部131也可以,将基于经由GPS(Global Positioning System)传感器(图中未示出)接收的作为来自GPS卫星的信号的GPS信号确定的时刻,作为准确的时刻的GPS时刻利用。控制部131,以规定的时间间隔接收GPS信号。
通信部132是,用于经由通信网络与被监视车辆200进行无线通信的无线通信模块。通信部132,经由通信网络接收基于被监视车辆200的拍摄部210拍摄的影像的影像信息。并且,通信部132也可以,接收用于计算通信网络的延迟时间的信息(具体而言,RTT(Round Trip Time:延迟时间)测量数据包)、以及被监视车辆200的车辆信息。并且,通信部132,通过控制部131的控制,将对被监视车辆200的行驶进行控制的控制信息,经由通信网络发送给被监视车辆200。而且,车辆信息是,被监视车辆200本身具有的关于该被监视车辆200的行驶的信息。车辆信息也可以包括,被监视车辆200本身的速度、以及当前位置。并且,在车辆信息中,在被监视车辆200以自动驾驶行驶的情况下,也可以包括与成为本车辆行车行驶的目标的行驶路径有关的信息。
存储部133是,存储控制部131执行的控制程序的存储装置。并且,存储部133也可以存储,经由通信部132获得的影像信息等。存储部133,例如,由半导体存储器等实现。
而且,未图示,但是,远程监视系统100也可以具备,与远程监视装置130连接,为了提醒关于障碍物的注意,而向操作员H输出警告声,从而使操作员H知道接近危险的出音装置(例如,扬声器)等。据此,操作员H,能够知道被监视车辆200处于需要紧急停止的状况。并且,远程监视系统100也可以具备,与远程监视装置130连接的、用于使被监视车辆200紧急停止的紧急停止装置。紧急停止装置,例如,由紧急停止按钮等实现。紧急停止装置,将由操作员H输入的紧急停止信息输出到远程监视装置130。在此情况下,控制信息也可以包括,基于紧急停止信息的紧急停止控制信息。
接着,对于被监视车辆200,还参照图3进行详细说明。图3是示出本实施方式涉及的被监视车辆200的功能结构的图。
如图3示出,被监视车辆200具备,拍摄部210、传感器部220、以及影像传输装置230。被监视车辆200是,根据车辆预先具有的行驶数据、以及基于传感器部210等检测的信息生成的行驶数据等,能够进行自主行驶的车辆,也是以规定的条件由位于远处的操作员H进行远程监视的、能够进行自动驾驶的车辆。在本实施方式中,被监视车辆200是,以规定的条件由位于远处的有操作员H进行远程监视以及远程操作的车辆。并且,由拍摄部210、传感器部220、以及影像传输装置230,构成搭载有自动驾驶所需要的功能的车载系统。
拍摄部210是,拍摄被监视车辆200的周围的影像的照相机。拍摄部210,例如,设置在从被监视车辆200能够进行前后左右方向的拍摄的位置。也就是说,拍摄部210,以能够拍摄被监视车辆200的周围的方式,设置在被监视车辆200。拍摄部210,将基于拍摄被监视车辆200的周围而获得的第一影像的第一影像信息输出到第一获得部231。拍摄部210也可以,例如,由多个照相机构成。而且,拍摄部210不包括,为了记录被监视车辆200的行驶状况而设置的照相机。拍摄部210,为了拍摄向用于被监视车辆200的远程监视的远程监视装置130发送的影像而设置。换言之,拍摄部210,为了拍摄为了远程监视由操作员H确认的影像而设置。
传感器部220是,检测被监视车辆200的周围的状况的装置。传感器部220被设置为,例如,能够检测从被监视车辆200的前后左右方向的状况。传感器部220,将感测被监视车辆200的周围而获得的感测结果(感测信息)输出到第二获得部232。传感器部220,由LIDAR(Light Detection and Ranging)、雷达(例如,毫米波雷达)、超声波传感器、或它们的组合实现。感测结果是,关于被监视车辆200的周围的障碍物的信息。
也可以在被监视车辆200设置多个拍摄部210以及传感器部220。也就是说,被监视车辆200也可以具备,一台以上的拍摄部210以及一台以上的传感器部220。
影像传输装置230,按照从拍摄部210获得的第一影像信息、以及从传感器部220获得的感测结果的至少一方,根据第一影像信息,制作并发送向被监视车辆200发送的第二影像信息。影像传输装置230,经由CAN(Control Area Network)等的车载网络,从搭载在被监视车辆200的拍摄部210以及包括传感器部220的各种传感器,获得关于该被监视车辆200的行驶的信息。影像传输装置230,从拍摄部210获得被监视车辆200的周围的第一影像信息,从传感器部220获得被监视车辆200的周围的感测结果。影像传输装置230是,信息处理装置的一个例子。
各种传感器也可以包括,检测被监视车辆200的速度的速度传感器、以及检测被监视车辆200的当前位置的GPS传感器。影像传输装置230也可以,从速度传感器获得被监视车辆200的速度,从GPS传感器获得被监视车辆200的当前位置。也就是说,关于被监视车辆200的行驶的信息也可以包括,被监视车辆200的速度以及当前位置的至少一方。关于被监视车辆200的行驶的信息是,被监视车辆200的车辆信息的一个例子。而且,各种传感器也可以包括,检测被监视车车辆200的操舵角的操舵角传感器、检测刹车的程度的刹车传感器、检测加速器的程度(以后,也记载为加速器开度)的加速器传感器、以及检测方向灯的指示方向的方向灯传感器等。
如图3示出,影像传输装置230具备,第一获得部231、第二获得部232、对象检测部233、危险度地图制作部234、控制部235、存储部236、以及通信部237。
第一获得部231是,从拍摄部210获得第一影像信息的通信接口。第一获得部231,若从拍摄部210获得第一影像信息,则将获得的第一影像信息输出到对象检测部233以及控制部235。
第二获得部232是,从传感器部220获得感测结果的通信接口。第二获得部232,若从传感器部220获得感测结果,则将获得的感测结果输出到对象检测部233。
对象检测部233,根据从拍摄部210获得的第一影像信息、以及从传感器部220获得的感测结果的至少一方,检测被监视车辆200的周围的障碍物,制作包括障碍物的当前位置、大小、以及行进方向的至少一个的障碍物信息。而且,对象检测部233,将障碍物信息输出到危险度地图制作部234。而且,障碍物信息也可以还包括,关于障碍物的加速度、障碍物的速度、以及障碍物的种类的信息。障碍物的种类是,例如,区别步行者、摩托车、汽车等的种类。障碍物的当前位置示出,传感器部220感测障碍物的时刻的障碍物的位置。
危险度地图制作部234,根据从对象检测部233获得的障碍物信息,制作示出车辆的行驶的危险区域的危险度地图。而且,危险度地图制作部234,将制作的危险度地图输出到控制部235。而且,在本实施方式中说明,危险度地图制作部234,制作以按照被监视车辆200的周围的危险区域的危险度能够识别的方式显示的危险度地图的例子,但是,也可以仅显示是否有危险区域。也就是说,对于危险度地图制作部234制作的危险度地图,也可以不进行与危险度对应的显示。危险度地图制作部234是,危险地图制作部的一个例子,危险度地图是,危险地图的一个例子。并且,危险区域是,具有规定的值以上的危险度的区域。
控制部235是,控制被监视车辆200的各种构成要素的控制装置。在本实施方式中,控制部235,根据危险度地图制作部234制作的危险度地图,根据拍摄部210拍摄的第一影像信息,制作用于向远程监视装置130发送的第二影像信息。第二影像信息的数据量为,第一影像信息的数据量以下。控制部235,作为制作数据量比第一影像信息少的第二影像信息的影像制作部发挥功能。控制部235,制作用于经由远程监视系统100使操作员H视觉识别被监视车辆200的周围的影像的第二影像信息。第一影像信息,例如,也可以是与一个帧的影像对应的影像信息,也可以是与多个帧的影像对应的影像信息。第二影像信息示出的第二影像是,例如,第一影像信息示出的第一影像的至少一部分的画质恶化的影像,或者,切出第一影像信息示出的第一影像的至少一部分的影像。
而且,对于被监视车辆200的周围的第一影像信息,也可以将被监视车辆200的前后左右方向的各个方向个别地生成为第一影像信息,也可以将被监视车辆200的前后左右方向总括合成并生成为一个第一影像信息。
并且,控制部235,将经由通信部237从远程监视系统100获得的控制信息,输出到控制本车辆的行驶的行驶控制部(图中未示出)。行驶控制部具有,通过被监视车辆200的加速器、刹车、以及变速杆的操作对速度进行控制的速度控制单元(例如,ECU(enginecontrol unit))、以及对被监视车辆200的转向装置进行操作来对被监视车辆200的行进方向进行控制的操舵控制单元。
控制部235也可以具有,对现在的年月日以及时刻进行计时的实时时钟功能。或者,控制部235也可以,将基于经由GPS传感器(图中未示出)接收的作为来自GPS卫星的信号的GPS信号确定的时刻,作为准确的时刻的GPS时刻利用。并且,也可以被监视车辆200具备电波时钟,控制部235,从电波时钟获得当前时刻。
存储部236是,存储控制部235等的处理部执行的控制程序的存储装置。并且,存储部236,例如,存储自动驾驶用的地图数据、被监视车辆200的路径信息、以及静态危险度地图。而且,路径信息是,例如,表示地图数据的本车的位置以及路径的数据。并且,静态危险度地图是,根据被监视车辆200的周围的交通信息等制作的示出危险区域的地图,在后面进行详细说明。而且,交通信息包括,交通事故信息。并且,交通信息也可以还包括,事件信息(例如,关于附近的学校的上学回家时间的信息、关于室外的集会的信息、以及交通限制信息等)。交通信息也可以是,与时时刻刻或实时地会发生变化的事件信息关联的信息。存储部236,例如,由半导体存储器等实现。
通信部237是,用于经由无线基站310以及网络300,与用于对被监视车辆200进行远程监视的远程监视装置130进行无线通信的无线通信模块。通信部237,通过控制部235的控制,将基于拍摄部210拍摄的第一影像信息的第二影像信息经由无线基站310以及网络300发送给远程监视装置130。并且,通信部237,经由无线基站310以及网络300将关于被监视车辆200的行驶的控制信息从远程监视装置130接收。
[1-2.被监视车辆的工作]
接着,对于被监视车辆200具备的影像传输装置230的工作,参照图4至图9B进行说明。图4是示出本实施方式涉及的影像传输装置230的工作的流程图。
如图4示出,影像传输装置230,从拍摄部210获得基于拍摄被监视车辆200的周围的第一影像的第一影像信息(S10)。具体而言,影像传输装置230,经由第一获得部231从拍摄部210获得第一影像信息。第一获得部231,将获得的第一影像信息输出到对象检测部233、以及控制部235。
并且,影像传输装置230,从传感器部220获得感测被监视车辆200的周围的感测结果(S20)。具体而言,影像传输装置230,经由第二获得部232从传感器部220获得感测结果。第二获得部232,将获得的感测结果输出到对象检测部233。
对象检测部233,根据第一影像信息和感测结果,制作障碍物信息(S30)。障碍物信息包括,成为被监视车辆200的行驶的障碍的障碍物的当前位置、大小、以及行进方向。对象检测部233,将制作的障碍物信息输出到危险度地图制作部234。
危险度地图制作部234,例如,根据障碍物信息制作动态危险度地图(S40)。在此,对于危险度地图制作部234的动态危险度地图的制作,参照图5进行说明。图5是示出本实施方式涉及的针对静止的障碍物400的动态危险度地图的计算方法的图。而且,图5示出,示出在二维的网格地图上显示表示危险度的区域的危险度地图的计算方法以作为一个例子。并且,图5示出的危险度地图示出,例如,被监视车辆200的前方的危险度地图。
如图5的(a)示出,危险度地图制作部234,根据障碍物信息包括的障碍物400的当前位置、大小、以及种类,在二维的网格地图上重叠障碍物400。在图5的(a)中示出,障碍物为卡车的例子。
而且,如图5的(b)示出,危险度地图制作部234,向至少一部分与网格地图上的障碍物400重叠的网格分配危险度。图5的(b)示出,区域R1被分配危险度的例子。危险度地图制作部234,例如,也可以向区域R1中包括的各个网格分配相等的危险度,也可以按每个网格分配不同的危险度。例如,也可以以在一个网格中与障碍物400重叠的区域越大,该网格的危险度就高的方式,分配危险度。而且,危险度地图制作部234,也可以向一个网格分配一个危险度。
而且,如图5的(c)示出,危险度地图制作部234,也向已分配危险度的网格(图5的(b)示出的区域R1中包括的网格)的周围的网格(图5的(c)示出的区域R2以及R3)分配危险度。区域R2是,例如,包围区域R1的区域。并且,区域R3是,例如,包围区域R2的区域。
危险度地图制作部234,向区域R2分配比区域R1低的危险度,向区域R3分配比区域R2低的危险度。也就是说,危险度地图制作部234,以离区域R1越远,危险度逐渐降低的方式,按每个网格分配危险度。据此,制作图5的(c)示出的动态危险度地图M1。而且,在图5的(c)中,将危险度高的区域示出为浓,危险度越低就越示出为淡。并且,例如,图5的(c)示出的动态危险度地图M1中的区域R1至R3是,危险区域的一个例子。
如上所述,在障碍物400停止时,在网格地图上与障碍物400重叠的网格(即,与现在障碍物400存在的位置对应的网格)被分配高危险度。
而且,危险度地图制作部234,不仅限于如图5的(c)示出制作按每个危险度显示区域的危险度地图。危险度地图制作部234,如图5的(b)示出,也可以以能够知道危险的区域(例如,区域R1)和除此以外的区域的方式制作地图。危险度地图制作部234也可以,例如,以与障碍物400重叠的网格是危险的区域的方式制作危险地图。在此情况下,障碍物400重叠的网格(例如图5的(b)示出的区域R1)是危险区域。
而且,危险度地图制作部234也可以,考虑从被监视车辆200看时因障碍物400而成为死角的区域,制作危险度地图。对于考虑到死角区域的危险度地图,参照图6进行说明。图6是示出本实施方式涉及的考虑到针对从被监视车辆200看的障碍物400的死角区域R4的危险度地图的计算方法的图。而且,在图6中,在网格地图上也显示本车辆的位置。
如图6的(a)示出,在被监视车辆200的前方存在障碍物400的情况下,从被监视车辆200看障碍物400的深处为被监视车辆200的死角,因此,拍摄部210以及传感器部220,不能观测死角。于是,危险度地图制作部234,例如,通过以下的方法预测死角区域,也向该死角区域分配危险度,从而制作危险度地图。
危险度地图制作部234,根据障碍物400与自车辆(被监视车辆200)的位置关系计算死角区域,从而预测死角区域。例如,危险度地图制作部234,将图6的(a)所示的赋予了阴影的区域预测为死角区域R4。具体而言,危险度地图制作部234,根据障碍物400与自车辆的位置关系,将由连结自车辆和与死角区域R4的一端对应的障碍物400的一端(图6的(a)示出的障碍物400的左上端)的直线、以及连结自车辆和与死角区域R4的另一端对应的障碍物400的另一端(图6的(a)示出的障碍物400的右下端)的直线包围的范围,预测为死角区域R4。而且,危险度地图制作部234的死角区域R4的预测方法也可以是,所述以外的方法。死角区域R4是,拍摄部210以及传感器部220不能观测的不能观测区域。
如图6的(b)示出,危险度地图制作部234,在图6的(a)示出的死角区域R4存在的情况下,向网格地图上的与死角区域R4对应的网格分配危险度。危险度地图制作部234,向至少一部分位于死角区域R4的网格唯一地分配危险度。危险度地图制作部234也可以,例如,向位于死角区域R4内的网格,分配比向至少一部分与障碍物400重叠的区域R1分配的危险度低的危险度。据此,制作图6的(b)示出的包括区域R1以及R5的动态危险度地图M2。区域R5是,与死角区域R4对应的区域。而且,例如,动态危险度地图M2之中的区域R1以及R5是,危险区域的一个例子。
并且,在所述中,说明了障碍物400静止时的险度地图的制作,但是,对于障碍物400时的险度地图的制作,参照图7进行说明。图7是示出本实施方式涉及的针对移动的障碍物400的动态危险度地图的计算方法的图。在图7中,还利用障碍物信息中包括的障碍物400的行进方向,制作危险度地图。
如图7的(a)示出,危险度地图制作部234,根据障碍物信息中包括的障碍物400的当前位置、大小、以及种类,在二维的网格地图上重叠障碍物400。并且,图7的(a)示出的箭头示出,基于障碍物信息中包括的行进方向的障碍物400的移动方向。
而且,如图7的(b)示出,危险度地图制作部234,考虑障碍物400的移动,向网格分配危险度。危险度地图制作部234,例如,向网格地图上的至少一部分与障碍物400重叠的网格、以及位于障碍物400的移动方向的网格分配危险度。在图7的(b)中示出,区域R6被分配危险度的例子。危险度地图制作部234,例如,也可以向区域R6中包括的各个网格分配相等的危险度,也可以向现在障碍物400存在的网格、和位于障碍物400的行进方向的网格分配不同危险度。例如,也可以以现在障碍物400存在的网格的危险度,比位于障碍物400的行进方向的网格的危险度高的方式分配危险度。对于区域R6,例如,也可以按照障碍物400在规定的期间(例如,数秒钟)移动的距离,决定其范围。区域R6也可以,由障碍物400的当前位置、规定的期间经过后的障碍物400的位置(计算位置)、以及当前位置和计算位置所夹的区域形成。而且,障碍物400移动的距离也可以是,利用根据传感器部220的感测结果获得的障碍物400的速度计算出的。
而且,如图7的(c)示出,危险度地图制作部234,也向已分配危险度的网格(图7的(b)示出的区域R6中包括的网格)的周围的网格(图7的(c)示出的区域R7以及R8)分配危险度。危险度地图制作部234,向区域R7分配比区域R6低的危险度,向区域R8分配比区域R7低的危险度。也就是说,危险度地图制作部234,以离区域R6越远,危险度逐渐降低的方式,向网格分配危险度。据此,制作图7的(c)示出的动态危险度地图M3。而且,例如,动态危险度地图M3之中的区域R6至R8是,危险区域的一个例子。
如上所述,障碍物400移动时,向在网格地图上与障碍物400重叠的网格、以及位于移动方向的网格分配高危险度。
而且,危险度地图制作部234,对于障碍物400移动时的动态危险度地图,也可以与障碍物400静止时的动态危险度地图同样,考虑死角区域制作危险度地图。在此情况下,障碍物400移动,从而被监视车辆200与障碍物400的相对位置关系发生变化,因此,死角区域时时刻刻发生变化。
再次参照图4,危险度地图制作部234,根据动态危险度地图(例如,动态危险度地图M1至M3)和静态危险度地图,制作被监视车辆200的危险度地图(S50)。在此,对于静态危险度地图,参照图8进行说明。图8是示出本实施方式涉及的静态危险度地图M4的图。静态危险度地图M4,不利用对象检测部233的障碍物信息而被制作。换言之,静态危险度地图M4,不利用第一影像信息以及感测结果而被制作。
如图8示出,静态危险度地图M4是,根据被监视车辆200的周围的交通信息等而被制作的地图。静态危险度地图M4,例如,也可以根据交通事故信息而被制作,以作为交通信息。静态危险度地图M4,例如,由存储部236存储。静态危险度地图M4,也可以根据交通信息等由危险度地图制作部234预先制作,也可以经由通信部237从外部接收。
对于静态危险度地图M4,例如,在与交通事故发生的地点对应的网格被分配危险度。在图8中,区域R9示出交通事故发生的地点。对于静态危险度地图M4,也向已分配危险度的网格(图8示出的区域R9中包括的网格)的周围的网格(图8示出的区域R10以及R11)分配危险度。例如,向区域R10分配比区域R9低的危险度,向区域R11分配比区域R10低的危险度。也就是说,对于静态危险度地图M4,以离区域R9越远,危险度逐渐降低的方式,向网格分配危险度。
区域R12是,包围区域R11的区域,被分配比区域R11低的危险度。而且,在区域R12,也可以不分配危险度。也就是说,区域R12中包括的各个网格的危险度也可以是,零。在离区域R9远离规定的距离的位置的网格,或者,离区域R9远离规定的网格数的位置的网格,也可以不分配基于区域R9的危险度。而且,也可以将它,适用于动态危险度地图(例如,动态危险度地图M1至M3)。并且,区域R9至R11是,危险区域的一个例子。
而且,在静态危险度地图M4中,例如,在交通信息是交通事故信息的情况下也可以,交通事故的发生次数越多,或者,交通事故的受害越大,就越分配高危险度。
危险度地图制作部234,对动态危险度地图的各个网格被分配的危险度和静态危险度地图M4的各个网格被分配的危险度进行运算,从而制作被监视车辆200的危险度地图。运算也可以包括,加法、减法、乘法、以及除法的至少一个。在本实施方式中,对危险度进行加法运算,从而制作被监视车辆200的危险度地图。危险度地图制作部234,将动态危险度地图和静态危险度地图的对应的网格彼此的危险度相加,从而计算该网格的一个危险度。而且,危险度地图制作部234也可以,将动态危险度地图和静态危险度地图的对应的网格彼此的危险度的平均值设为危险度地图中的该网格的危险度。并且,运算也可以是,从多个危险度中选择一个危险度。危险度地图制作部234也可以,将动态危险度地图和静态危险度地图的对应的网格彼此的危险度之中的危险度高的一方的值设为危险度地图中的该网格的危险度。
危险度地图制作部234,将制作的危险度地图输出到控制部235。
控制部235,根据被监视车辆200的行驶路径和危险度地图,从第一影像信息制作第二影像信息(S60)。对于被监视车辆200的行驶路径与危险度地图的危险区域重叠、即被监视车辆200的行驶路径通过危险区域的情况,参照图9A进行说明。图9A是示出本实施方式涉及的行驶路径与危险区域(图9A示出的区域R13)重叠的情况的示意图。也就是说,图9A是,危险度地图与行驶路径重叠的示意图。
图9A示出,被监视车辆200在道路502向箭头的方向行驶,在道路501存在障碍物400的例子。区域R13示出,相对于障碍物400的危险区域。区域R13是,例如,对动态危险度地图和静态危险度地图进行运算而制作的危险度地图中的、具有规定的值以上的危险度的区域。图9A的被监视车辆200示出的位置是,被监视车辆200的当前位置。并且,图9A的箭头是,被监视车辆200的行驶路径。
如图9A示出,被监视车辆200的行驶路径,在道路501以及502交叉的交叉路口与区域R13重叠。也就是说,在被监视车辆200的行驶路径上存在危险区域。在此情况下,以操作员H能够进行准确的判断或远程监视的方式,显示装置110显示的拍摄行驶路径上(图9A的例子中,被监视车辆200的前方)的影像为清楚即可。因此,被监视车辆200需要,抑制网络宽带的浪费,并且,以尽量不使画质恶化的方式将拍摄行驶路径上的影像发送给远程监视装置130。
控制部235,例如,在危险度地图中的危险区域位于被监视车辆200的路径上的情况下,根据第一影像信息制作数据量比该第一影像信息少的第二影像信息。控制部235,例如,通过使第一影像信息示出的与第一影像之中的危险度地图所示的危险区域以外的区域对应的第一区域的影像的画质比与危险区域对应的第二区域的影像的画质恶化,以及,从第一影像信息示出的第一影像中切出第二区域的影像的至少一方制作第二影像信息。而且,对于第二区域的影像也可以,不使画质恶化。也就是说,控制部235也可以,仅使第一影像信息示出的第一影像之中的第一区域的影像的画质恶化,从而制作第二影像信息。
控制部235,在被监视车辆200的前方存在危险区域的情况下,例如,通过使拍摄部210拍摄的被监视车辆200的前后左右方向的影像之中的、后面以及左右方向(第一区域的一个例子)的影像的画质比前方向(第二区域的一个例子)的影像的画质恶化,以及,从拍摄部210拍摄的被监视车辆200的前后左右方向的影像中切出前方的影像的至少一方制作第二影像信息。
而且,控制部235也可以,根据存储部236所存储的路径信息获得被监视车辆200的行驶路径。并且,控制部235也可以,在经由远程监视装置130从操作输入装置120接受到远程操作的情况下,根据从远程监视装置130接收的控制信息获得基于远程操作的行驶路径。也就是说,控制部235也可以,利用基于经由远程监视装置130从操作输入装置120接收的控制信息的被监视车辆200的行驶路径,制作第二影像信息。
在此情况下,控制部235也可以,根据接收的控制信息、即来自操作员H的操作内容,改变要制作的第二影像信息。控制部235也可以,进而,通过使基于第一影像信息之中的控制信息的拍摄行驶路径中的不是行进方向的方向的第三区域的影像比拍摄行进方向的第四区域的影像的画质恶化,以及,从第一影像信息中切出第四区域的影像的至少一方制作第二影像信息。
说明在被监视车辆200的前方存在危险区域、且被监视车辆200按照控制信息向右边的行车线变更行车线的情况,以作为一个例子。在此情况下,控制部235,根据危险度地图和基于控制信息的行驶路径,使后面以及左右方向(第一区域的一个例子)的影像的画质比前方(第二区域的一个例子)的影像的画质恶化,但是,也可以以后面以及左右方向之中的、右方向的影像(第三区域的一个例子)的画质恶化比左方向的影像(第四区域的一个例子)的画质恶化少的方式制作第二影像信息。控制部235也可以,例如,以第二区域以及第三区域的影像的画质相同程度的方式制作第二影像信息。控制部235也可以,不使第二区域以及第三区域的影像的画质恶化而制作第二影像信息。
并且,控制部235也可以,在被监视车辆200a以自动驾驶行驶的情况下,利用成为该被监视车辆200a的目标的行驶路径,制作第二影像信息。在此情况下,控制部235也可以,根据自动驾驶的行驶路径,改变要制作的第二影像信息。第二影像信息的制作方法,与根据来自操作员H的操作内容制作第二影像信息的情况同样。
而且,控制部235,将制作的第二影像信息经由通信部237发送给远程监视装置130(S70)。在从第一影像中切出第二区域以及第三区域的影像而制作第二影像信息的情况下,基于危险度为规定的值以上的区域的影像的第二影像信息发送给远程监视装置130。
并且,对于被监视车辆200的行驶路径与危险度地图的危险区域不重叠的、即被监视车辆200不通过危险区域的情况,参照图9B进行说明。图9B是示出本实施方式涉及的行驶路径与危险区域不重叠的情况的示意图。在图9B中,被监视车辆200在道路502向箭头的方向行驶。
如图9B示出,在被监视车辆200的行驶路径上不存在危险区域。控制部235也可以,在危险度地图中不存在危险区域的情况下,使第一影像信息示出的第一影像的画质一律恶化,从而制作第二影像信息。并且,控制部235也可以,在危险度地图中不存在危险区域的情况下,停止第二影像信息的制作。也就是说,影像传输装置230也可以,在危险度地图中不存在危险区域的情况下,停止向远程监视装置130发送第二影像信息。并且,影像传输装置230也可以,在危险度地图中不存在危险区域的情况下,将感测结果以及障碍物信息的至少一方发送给远程监视装置130。
控制部235,按照被监视车辆200的周围的危险度,对向远程监视装置130发送的影像的数据量进行调整,从而能够抑制被监视车辆200与远程监视装置130之间的网络宽带的浪费。
而且,所述的动态危险度地图以及静态危险度地图的危险度的计算方法,不仅限于所述方法,若能够计算被监视车辆200与障碍物400的碰撞等的危险程度,则也可以是任何方法。并且,危险度地图的制作方法,不仅限于所述方法,若能够显示被监视车辆200的周围的危险区域,则也可以是任何方法。对于危险度地图,例如,也可以以三维的网格地图示出,也可以在拍摄部210拍摄的第一影像重叠危险区域来制作,也可以在存储部236存储或从外部获得的地图信息重叠危险区域来制作。
而且,在所述说明中,说明了危险度地图,由动态危险度地图和静态危险度地图制作的例子,但是,不仅限于此。危险度地图也可以,利用动态危险度地图以及静态危险度地图的至少一方而被制作。也可以将动态危险度地图作为危险度地图利用,也可以将静态危险度地图M4作为危险度地图利用。在将静态危险度地图M4作为危险度地图利用的情况下,危险度地图制作部234读出利用存储部236存储的交通信息而制作的静态危险度地图M4,包括在危险度地图制作部234根据交通信息制作危险度地图中。
而且,控制部235也可以,在从远程监视装置130接收包括紧急停止控制信息的控制信息的情况下,不使画质恶化而将拍摄部210拍摄的第一影像发送给远程监视装置130。
如上所述,影像传输装置230是搭载在被监视车辆200(车辆的一个例子)的影像传输装置,具备:第一获得部231,从拍摄被监视车辆200的周围的拍摄部210获得第一影像信息;危险度地图制作部234(危险地图制作部的一个例子),制作示出被监视车辆200的周围的危险区域的危险地图;控制部235(影像制作部的一个例子),根据危险地图,制作数据量比第一影像信息少的第二影像信息;以及通信部237,向用于对被监视车辆200进行远程监视的远程监视装置130发送第二影像信息。
据此,影像传输装置230,按照被监视车辆200的周围的危险区域,制作向远程监视装置130发送的第二影像信息。影像传输装置230能够,例如,使危险区域以外的区域的影像的画质恶化来制作第二影像信息,从而减少数据量。也就是说,影像传输装置230,发送第二影像信息,据此,与发送第一影像信息的情况相比能够减少用于向远程监视装置130发送的网络宽带的使用量。因此,根据影像传输装置230,能够削减被监视车辆200与远程监视装置130之间的网络宽带的浪费。
(实施方式2)
以下,对于本实施方式涉及的影像传输装置等,参照图10至图13进行说明。
[2-1.被监视车辆的结构]
首先,对于本实施方式涉及的具备影像传输装置的被监视车辆的结构,参照图10进行说明。图10是示出本实施方式涉及的被监视车辆200a的功能结构的图。
如图10示出,被监视车辆200a具备,拍摄部210、传感器部220、以及影像传输装置230a。影像传输装置230a,具备实施方式1涉及的影像传输装置230,还具备NW(Network)状态监视部238。在本实施方式中,以与实施方式1不同之处,即影像传输装置230a具备的NW状态监视部238为中心进行说明。
NW状态监视部238,监视被监视车辆200a与远程监视装置130之间的通信网络的状态。具体而言,NW状态监视部238,判断通信网络是否拥塞。NW状态监视部238是,判断部的一个例子。在本实施方式中的特征点是,控制部235按照NW状态监视部238的判断结果制作的影像不同。
NW状态监视部238,例如,利用通信网络的丢包率、以及延迟时间的至少一方,判断通信网络是否拥塞。丢包率是,因噪音(噪声)等的影响而突发发生的丢包的比率。延迟时间是,被监视车辆200a与远程监视装置130之间的信息传输所需要的时间。若丢包率变高,或者,延迟时间变长,则从被监视车辆200a发送第二影像信息后直到操作员H视觉识别基于第二影像信息的第二影像为止所需要的时间变长。据此,从被监视车辆200a将第二影像信息发送给远程监视装置130后,直到操作员H接收控制信息为止被监视车辆200a行驶的距离变长,事故的危险性提高。因此,影像传输装置230a,即使在通信网络拥塞的情况下也需要,以短时间将第二影像信息发送给远程监视装置130。于是,在本实施方式中,影像传输装置230a,在通信网络拥塞的情况下,将数据量比与拍摄部210拍摄的第一影像对应的第一影像信息少的第二影像信息发送给远程监视装置130。而且,对于影像传输装置230a的处理,在后面进行说明。
在此,对于通信网络中的丢包率、以及延迟时间,参照图11至图12B进行说明。首先,对于通信网络中的丢包率,参照图11进行说明。图11是示出本实施方式涉及的计算被监视车辆200a与远程监视装置130之间的丢包率的工作的序列图。
如图11示出,被监视车辆200a,为了计算被监视车辆200a与远程监视装置130之间、即通信网络中的丢包率,而按每个第一期间将RTT测量数据包发送给远程监视装置130。例如,NW状态监视部238,经由控制部235以及通信部237将RTT测量数据包发送给远程监视装置130。RTT测量数据包的每一个,被赋予互不相同的序列号。图11示出,发送赋予了seq1至seq10的序列号的RTT测量数据包的例子。并且,远程监视装置130,若从被监视车辆200a接收RTT测量数据包,则将赋予了该RTT测量数据包中包括的序列号的RTT测量响应数据包发送给被监视车辆200a。NW状态监视部238,在将赋予了序列号(例如,seq1)的RTT测量数据包发送给远程监视装置130之后,第二期间内不能接收包括该序列号(例如,seq1)的RTT测量响应数据包的情况下,判断为发生丢包。而且,第二期间也可以是,例如,比第一期间短的期间。第一期间是,例如,1秒。
NW状态监视部238,根据规定的期间的RTT测量响应数据包的接收状况,计算丢包率。具体而言,NW状态监视部238,根据在规定的期间发送RTT测量数据包的次数(以后,也记载为数据包发送次数)、以及发送RTT测量数据包之后,在第二期间内没有接收与该RTT测量数据包对应的RTT测量响应数据包的次数(以后,也记载为数据包未接收次数),计算丢包率。更具体而言,NW状态监视部238,数据包未接收次数除以数据包发送次数,从而计算丢包率。丢包率,例如,以百分率表示。
在图11的例子中,数据包发送次数为10次,数据包未接收次数为1次(具体而言,RTT测量响应数据包seq5的1次),因此,丢包率为10%。
NW状态监视部238也可以,在丢包率为规定的值以上的情况下,判断为通信网络拥塞。NW状态监视部238也可以,例如,在丢包率为30%以上的情况下,判断为通信网络拥塞。
接着,对于通信网络的延迟时间,参照图12A以及图12B进行说明。图12A以及图12B示出,计算作为延迟时间的一个例子的、往返延迟时间的情况。图12A是示出本实施方式涉及的获得NW(通信网络)的延迟时间的工作的一个例子的序列图。在12A中说明,在被监视车辆200a与远程监视装置130之间,时刻同步的情况的延迟时间的获得。时刻同步是指,例如,被监视车辆200a以及远程监视装置130利用GPS时刻以作为时刻的情况,或者,利用电波时钟的情况等。以下,说明被监视车辆200a以及远程监视装置130具有,GPS传感器(图中未示出)的情况。而且,GPS时刻意味着,GPS传感器从卫星接收的电波中包括的时刻信息。
如图12A示出,首先,被监视车辆200a,向RTT测量数据包赋予时间戳(timestamp_1)(S110)。例如,NW状态监视部238进行步骤S110的处理。NW状态监视部238,将作为timestamp_1的发送RTT测量数据包的时刻从GPS传感器获得,写入到RTT测量数据包。而且,NW状态监视部238,经由通信部237向远程监视装置130发送RTT测量数据包(S120)。
远程监视装置130,接收RTT测量数据包(S130)。控制部131,将RTT测量数据包的接收时的时间戳(timestamp_2)根据GPS传感器接收的时刻信息获得(S140)。并且,控制部131,向作为与RTT测量数据包对应的响应的RTT测量响应数据包赋予时间戳(timestamp_1至timestamp_3)(S150)。控制部131,将作为timestamp_3的发送RTT测量响应数据包的时刻从GPS传感器获得,写入到RTT测量响应数据包。而且,控制部131,经由通信部132将RTT测量响应数据包发送给被监视车辆200a(S160)。
NW状态监视部238,经由通信部237接收RTT测量响应数据包(S170)。NW状态监视部238,获得RTT测量响应数据包的接收时的时间戳(timestamp_4)(S180)。NW状态监视部238,将timestamp_4根据GPS传感器接收的时刻信息获得。而且,NW状态监视部238,利用时间戳(timestamp_1至timestamp_4)进行NW往返延迟时间的计算(S190)。NW状态监视部238,例如,从timestamp_1与timestamp_4的差分中减去timestamp_2与timestamp_3的差分,从而计算NW往返延迟时间。
接着,对于在被监视车辆200a与远程监视装置130之间,时刻没有同步的情况的延迟时间的获得,参照图12B进行说明。图12B是示出本实施方式涉及的获得NW的延迟时间的工作的其他的一个例子的序列图。对于图12B示出的步骤S210至S230,与图12A示出的步骤S110至S130同样,省略说明。
如图12B示出,被监视车辆200a,向RTT测量响应数据包赋予timestamp_1以及duration time(S240)。duration time是,远程监视装置130接收RTT测量数据包后,直到发送RTT测量响应数据包为止的处理所需要的时间,例如,由控制部131的实时时钟功能计算。而且,控制部131,经由通信部132将RTT测量响应数据包发送给被监视车辆200a(S250)。
被监视车辆200a的NW状态监视部238,经由通信部237接收RTT测量响应数据包(S260)。NW状态监视部238,获得RTT测量响应数据包的接收时的时间戳(timestamp_4)(S270)。而且,NW状态监视部238,利用时间戳(timestamp_1、以及timestamp_4)、以及duration time进行NW往返延迟时间的计算(S280)。NW状态监视部238,例如,从timestamp_1与timestamp_4的差分中减去duration time,从而计算NW往返延迟时间。
NW状态监视部238,在延迟时间为规定的值以上的情况下,判断为通信网络拥塞。NW状态监视部238也可以,例如,在延迟时间为500ms以上的情况下,判断为通信网络拥塞。
而且,在所述说明中示出了,减去被监视车辆200a的处理时间(例如,图12A示出的timestamp_2与timestamp_3的差分、或图12B示出的duration time)来计算往返延迟时间的例子,但是,不仅限于此。例如,也可以根据timestamp_1与timestamp_4的差分计算往返延迟时间。
而且,在所述说明中示出了,延迟时间是,往返延迟时间的例子,但是,也可以是单程延迟时间(例如,从由被监视车辆200a发送RTT测量数据包后,直到由远程监视装置130接收RTT测量数据包为止的时间)。
而且,NW状态监视部238也可以,不向数据包直接写入发送时刻,而将发送时刻与该数据包的序列号建立对应,存储到存储部236。而且,在步骤S190或S280中,NW状态监视部238可以,从存储部236读出发送时刻,利用读出的发送时刻以及接收RTT测量响应数据包的接收时刻,计算往返延迟时间。
而且,包括丢包率以及延迟时间的至少一方的通信网络的状态的计算是,以规定的时间间隔反复执行的。NW状态监视部238也可以,例如,将计算出的通信网络的状态存储到存储部236。
而且,NW状态监视部238也可以,从其他的装置,将被监视车辆200a与远程监视装置130之间的通信网络的状态经由通信部237接收,从而获得丢包率以及延迟时间的至少一方。NW状态监视部238,例如,将丢包率从远程监视装置130接收,从而获得丢包率。
[2-2.被监视车辆的工作]
接着,对于影像传输装置230a的工作,参照图13进行说明。图13是示出本实施方式涉及的影像传输装置230a的工作的流程图。而且,对于图13的步骤S310至S350,与实施方式1的图4示出的S10至S50同样,省略说明。
NW状态监视部238,获得NW(通信网络)的状态(S360)。NW状态监视部238,作为NW的状态,获得NW的丢包率以及延迟时间的至少一方。NW状态监视部238也可以,通过图11至图12B示出的工作计算NW的丢包率以及延迟时间的至少一方,从而获得NW丢包率以及延迟时间的至少一方。并且,NW状态监视部238也可以,从存储部236读出NW的丢包率以及延迟时间的至少一方,从而获得NW丢包率以及延迟时间的至少一方。
而且,NW状态监视部238也可以,根据步骤S310中获得第一影像信息的时刻、或步骤S320中获得感测结果的时刻的、最近的数据包发送次数以及数据包未接收次数,计算丢包率。NW状态监视部238也可以,例如,根据从获得第一影像信息或感测结果的时刻向过去追溯第三期间的时刻为止的期间的、数据包发送次数以及数据包未接收次数,计算丢包率。或者,NW状态监视部238也可以,根据从步骤S310中获得第一影像信息的时刻、或步骤S320中获得感测结果的时刻向过去追溯时的最近的规定的数据包发送次数(例如,10次等)的数据包未接收次数,计算丢包率。
而且,NW状态监视部238也可以,根据步骤S310中获得第一影像信息的时刻、或步骤S320中获得感测结果的时刻的最近的RTT测量响应数据包的接收状况,计算延迟时间。NW状态监视部238也可以,例如,根据从获得第一影像信息或感测结果的时刻向过去追溯第三期间的时刻为止的多个RTT测量响应数据包,计算延迟时间。NW状态监视部238,例如,也可以将利用多个RTT测量响应数据包计算出的多个延迟时间之中的、最长的延迟时间设为NW的延迟时间,也可以将多个延迟时间的平均值设为NW的延迟时间。
NW状态监视部238,根据获得的NW的状态判断NW是否拥塞(S370)。NW状态监视部238,例如,在丢包率以及延迟时间的至少一方为规定的值以上的情况下,判断为NW拥塞。
控制部235,在NW状态监视部238判断为NW拥塞的情况下(S370的“是”),调整向远程监视装置130发送影像信息的发送率(比特率)(S380)。具体而言,控制部235,在NW状态监视部238判断为NW拥塞的情况下,进行降低发送率的调整。控制部235,例如,将当前的第一发送率变更为发送率比该第一发送率低的第二发送率。并且,控制部235也可以,例如,按照NW的拥塞程度,变更发送率的调整量。控制部235也可以,NW的拥塞程度越大、即丢包率以及延迟时间的至少一方的值越大,进行降低第二发送率的调整。并且,存储部236也可以存储示出NW的拥塞程度与第二发送率的关系的表,控制部235利用该表调整第二发送率。
而且,控制部235,按照步骤S380中调整的第二发送率,制作数据量降低的第二影像信息(S390)。控制部235,按照第二发送率,切换向远程监视装置130发送的影像信息的数据量。控制部235,例如,以成为由调整后的第二发送率,在规定时间内能够发送的数据量(以后,也记载为调整数据量)的方式,制作第二影像信息。控制部235,例如,通过使第一影像信息之中的危险度地图所示的危险区域以外的区域对应的第一区域的影像的画质比与危险区域对应的第二区域的影像的画质恶化,以及,从第一影像信息中切出第二区域的影像的至少一方制作调整数据量以下的第二影像信息。而且,对于第二区域的影像也可以,不使画质恶化。也就是说,控制部235也可以,仅使第一影像信息示出的第一影像之中的第一区域的影像的画质恶化,从而制作第二影像信息。
而且,控制部235,将步骤S390中制作的第二影像信息发送给远程监视装置130(S400)。控制部235,经由通信部237,以第二发送率将第二影像信息发送给远程监视装置130。
并且,控制部235,在NW状态监视部238判断为NW没有拥塞的情况下(S370的“否”),制作基于第一影像信息的第二影像信息。步骤S370中为“否”时制作的第二影像信息的数据量,比步骤S370中为“是”时制作的第二影像信息的数据量大。第二影像信息也可以,例如,根据第一影像信息,不降低数据量而被制作。也就是说也可以,控制部235,将第一影像信息设为向远程监视装置130发送的第二影像信息(S410)。
而且,控制部235,将步骤S410中制作的第二影像信息发送给远程监视装置130(S400)。控制部235,经由通信部237,以第一发送率将第二影像信息发送给远程监视装置130。控制部235也可以,在NW没有拥塞的情况下将第一影像信息不降低其数据量而作为第二影像信息发送给远程监视装置130。通信部237也可以,例如,在NW状态监视部238判断为NW拥塞的情况下,向远程监视装置130发送第二影像信息,在NW状态监视部238判断为NW没有拥塞的情况下,向远程监视装置130发送第一影像信息。
如上所述,影像传输装置230a,按照危险度地图示出的危险区域、以及NW的状态变更向远程监视装置130发送的第二影像信息的数据量,从而能够抑制第二影像信息的实时性的降低,并且抑制网络宽带的浪费。
而且,在所述说明中示出了,控制部235,在NW状态监视部238判断为NW拥塞的情况下,调整发送率的例子,但是,不仅限于此。控制部235也可以,在NW状态监视部238判断为NW拥塞的情况下,不调整发送率而根据第一影像信息制作数据量降低的第二影像信息。
如上所述,影像传输装置230a还具备,判断被监视车辆200(车辆的一个例子)与远程监视装置130之间的通信网络是否拥塞的NW状态监视部238(判断部的一个例子)。而且,通信部237,在NW状态监视部238判断为通信网络拥塞的情况下,向远程监视装置130发送第二影像信息,在NW状态监视部238判断为通信网络没有拥塞的情况下,向远程监视装置130发送第一影像信息。
据此,影像传输装置230a,在通信网络拥塞的情况下,发送数据量比第一影像信息少的第二影像信息。也就是说,影像传输装置230a,在通信网络拥塞的情况下发送第二影像信息,据此,与发送第一影像信息的情况相比,能够减少用于向远程监视装置130发送的网络宽带的使用量。操作员H,即使在通信网络拥塞的情况下也能够迅速地视觉识别基于第二影像信息的影像。因此,影像传输装置230a能够,削减网络宽带的浪费,并且,与发送第一影像信息的情况相比,以短时间向操作员H通知行驶的危险。
(实施方式2的变形例1)
以下,对于本变形例涉及的影像传输装置等,参照图14进行说明。对于本变形例涉及的被监视车辆的结构,与实施方式2涉及的被监视车辆200a同样,省略说明。而且,在本变形例中,对象检测部233,将生成的障碍物信息,输出到危险度地图234以及控制部235。以下,说明这样的影像传输装置230a的工作。图14是示出本变形例涉及的影像传输装置230a的工作的流程图。而且,对于图14示出的步骤S510、S520、以及S540至S570的处理,分别与图13示出的步骤S310、S320、以及S340至S370同样,省略说明。
如图14示出,对象检测部233,根据感测结果制作障碍物信息,从而获得该障碍物信息(S530)。对象检测部233,例如,根据第一影像信息和感测结果,制作障碍物信息。障碍物信息包括,成为被监视车辆200a的行驶的障碍的障碍物的当前位置、大小、以及行进方向的至少一个。对象检测部233,将制作的障碍物信息输出到危险度地图制作部234、以及控制部235。
而且,控制部235,在NW状态监视部238判断为NW拥塞的情况下(S570的“是”),将感测结果以及障碍物信息的至少一方发送给远程监视装置130(S580)。换言之,控制部235,在NW状态监视部238判断为NW拥塞的情况下禁止影像信息的发送。在此,传感器部220是拍摄部210以外的传感器,是雷达、超声波传感器、以及LiDAR等。而且,以下,将感测结果以及障碍物信息的至少一方也记载为非影像信息。
如此,本变形例涉及的控制部235,在通信频带有限制的情况下,例如,仅将拍摄部210拍摄的影像信息、以及非影像信息之中的、非影像信息发送给远程监视装置130。
并且,控制部235也可以,在通信频带有限制且发送感测结果的情况下,进而,优先将由信息量更少的传感器获得的感测结果发送给远程监视装置130。控制部235也可以,例如,在通信频带有限制且发送感测结果的情况下,进一步,仅将由与规定的信息量相比信息量少的传感器获得的感测结果发送给远程监视装置130。对于规定的信息量,也可以预先设定,在阶段性地限制通信频带的情况下,也可以按照其阶段设定。
而且,NW拥塞也可以是指,例如,通信频带具有拍摄部210拍摄的影像紊乱的程度的限制。
并且,控制部235,在NW状态监视部238判断为NW没有拥塞的情况下(S570的“否”),将影像信息发送给远程监视装置130(S590)。影像信息,也可以是步骤S510中获得的第一影像信息,也可以是根据第一影像信息生成的第二影像信息。第二影像信息是,例如,根据第一影像信息降低数据量而生成的影像信息。第二影像信息也可以是,例如,拍摄相对于被监视车辆200a的各个方向之中的行进方向的影像。并且,影像信息也可以,作为附加信息,包括对象检测部233检测出的障碍物信息、以及传感器部220的感测结果(传感器信息)的至少一方。例如,在影像信息包括拍摄相对于被监视车辆200a的各个方向之中的行进方向的影像的情况下,影像信息作为附加信息,包括行进方向以外的方向(例如,被监视车辆200a的后方、左右方向等)的障碍物信息或感测结果。
如上所述,本变形例涉及的影像传输装置230a,具备:第一获得部231,从拍摄被监视车辆200a(车辆的一个例子)的周围的拍摄部210获得第一影像信息;第二获得部232,从感测被监视车辆200a的周围的传感器部220获得感测结果;对象检测部233,根据感测结果以及第一影像信息,制作示出障碍物的位置以及速度的障碍物信息;危险度地图制作部234,制作示出被监视车辆200a的周围的危险区域的危险地图;控制部235(影像制作部的一个例子),根据危险地图制作第二影像信息;通信部237,向用于对被监视车辆200a进行远程监视的远程监视装置130发送监视用信息;以及NW状态监视部238(判断部的一个例子),判断被监视车辆200a与远程监视装置130之间的通信网络是否拥塞。而且,通信部237,发送包括根据NW状态监视部238的判断结果选择出的感测结果、障碍物信息、以及第二影像信息的至少一个的监视用信息。
并且,通信部237,例如,在NW状态监视部238判断为通信网络拥塞的情况下,向远程监视装置130发送感测结果以及障碍物信息的至少一方,在NW状态监视部238判断为通信网络没有拥塞的情况下,向远程监视装置130发送第二影像信息。
在本变形例中,对象检测部233,向危险度地图制作部234以及控制部235输出障碍物信息。而且,控制部235,在NW状态监视部238判断为被监视车辆200a与远程监视装置130之间的通信网络没有拥塞的情况下(S570的“否”),将影像信息以及非影像信息之中的、至少影像信息经由通信部237发送给远程监视装置130。而且,在步骤S580中也可以,除了影像信息以外,还发送非影像信息(例如,障碍物信息以及传感器信息的至少一个)。
并且,控制部235,在NW状态监视部238判断为被监视车辆200a与远程监视装置130之间的通信网络没有拥塞的情况下(S570的“否”),发送传输量比步骤S590中发送的信息(例如,影像信息)少的信息。控制部235,例如,仅将影像信息以及非影像信息之中的、非影像信息经由通信部237发送给远程监视装置130(S580)。
如此,将通信频带被限制时向远程监视装置130发送的信息,限定为传感器部220检测出的障碍物的信息等,从而能够以更少的发送率将被监视车辆200a的周围的信息传输到远程监视装置130。
并且,在传感器部220由多个种类的传感器构成的情况下,控制部235,获得多个种类的传感器各自的感测结果。而且,控制部235也可以,仅将多个种类的传感器各自的感测结果之中的、由规定的传感器检测出的感测结果,发送给远程监视装置130。规定的传感器是,信息量比规定的信息量少的传感器。规定的传感器是,例如,除了LiDAR以外,雷达以及超声波传感器等,但是,不仅限于此。
(实施方式2的变形例2)
以下,对于本变形例涉及的影像传输装置等,参照图15进行说明。而且,对于本变形例涉及的具备影像传输装置的被监视车辆的结构,与变形例1同样,省略说明。图15是示出本变形例涉及的影像传输装置230a的工作的流程图。而且,对于图15示出的步骤S610至S670的处理,与图14示出的步骤S510至S570的处理同样,省略说明。
控制部235,在NW状态监视部238判断为NW没有拥塞的情况下(S670的“否”),制作用于向远程监视装置130发送的第二影像信息。步骤S670中为“否”时制作的第二影像信息的数据量,比步骤S670以及S680中为“是”时制作的第二影像信息的数据量大。控制部235,根据第一影像信息制作第二影像信息。第二影像信息也可以是,例如,根据第一影像信息不降低数据量而制作的信息。也就是说,控制部235也可以,将第一影像信息设为向远程监视装置130发送的第二影像信息(S730)。并且,控制部235,例如,根据第一影像信息降低数据量,从而制作第二影像信息。
并且,NW状态监视部238,在判断为NW拥塞的情况下(S670的“是”),进一步,判断NW的拥塞程度是否为阈值以下(S680)。NW状态监视部238,例如,根据NW的丢包率以及延迟时间的至少一方,判断NW的拥塞程度是否为阈值以下。NW状态监视部238也可以,例如,在丢包率以及延迟时间的至少一方为阈值以下的情况下,判断为NW的拥塞程度为阈值以下。
控制部235,在NW状态监视部238判断为NW的拥塞程度为阈值以下的情况下(S680的“是”),进入步骤S690。对于步骤S690至S710的处理,与图13示出的步骤S380至S400同样,省略说明。
并且,控制部235,在NW状态监视部238判断为NW的拥塞程度比阈值大的情况下(S680的“否”),进入步骤S720。对于步骤S720的处理,与图14示出的步骤S580同样,省略说明。
如上所述,本变形例涉及的影像传输装置230a,具备:第一获得部231,从拍摄被监视车辆200a(车辆的一个例子)的周围的拍摄部210获得第一影像信息;危险度地图制作部234,制作示出被监视车辆200a的周围的危险区域的危险地图;控制部235(影像制作部的一个例子),根据危险地图,制作数据量比第一影像信息少的第二影像信息;通信部237,向用于对被监视车辆200a进行远程监视的远程监视装置130发送第二影像信息;以及NW状态监视部238(判断部的一个例子),判断被监视车辆200a与远程监视装置130之间的通信网络是否拥塞。
NW状态监视部238,在判断为通信网络拥塞的情况下,进一步,判断通信网络的拥塞程度是否为阈值以下。通信部237,在NW状态监视部238判断为拥塞程度为阈值以下的情况下,发送第二影像信息,在NW状态监视部238判断为拥塞程度比阈值大的情况下,发送感测结果以及障碍物信息的至少一方。
在本变形例中,对象检测部233,向危险度地图制作部234以及控制部235输出障碍物信息。而且,控制部235,在NW状态监视部238判断为被监视车辆200a与远程监视装置130之间的通信网络没有拥塞的情况下(S670的“否”),制作第二影像信息(S730),发送给远程监视装置130(S710)。换言之,通信部237,在NW状态监视部238判断为通信网络没有拥塞的情况下,发送第二影像信息。此时的第二影像信息也可以是,例如,第一影像信息。
并且,控制部235,在NW状态监视部238判断为被监视车辆200a与远程监视装置130之间的通信网络拥塞、且通信网络的拥塞程度为阈值以下的情况下(S670以及S680的“是”),制作第二影像信息(S700),发送给远程监视装置130(S710)。换言之,通信部237,在NW状态监视部238判断为通信网络的拥塞程度为阈值以下的情况下,发送第二影像信息。此时的第二影像信息是,数据量比步骤S670中为“否”时制作的第二影像信息小的影像信息。
并且,控制部235,在NW状态监视部238判断为被监视车辆200a与远程监视装置130之间的通信网络拥塞、且NW的拥塞程度比阈值大的情况下(S670的“是”、且S680的“否”),将感测结果以及障碍物信息的至少一方发送给远程监视装置130(S720)。换言之,通信部237,在NW状态监视部238判断为通信网络的拥塞程度比阈值大的情况下,发送感测结果以及障碍物信息的至少一方。也可以说是,控制部235,在步骤S670中为“是”、且步骤S680中为“否”的情况下,禁止影像信息的发送。而且,感测结果以及障碍物信息分别是,数据量比步骤S700中制作的第二影像信息小的信息。
如此,本变形例涉及的控制部235,按照NW的拥塞程度,切换要发送的信息。因此,影像传输装置230a能够,按照NW的拥塞程度,以更适当的发送率传输被监视车辆200a的周围的信息。
而且,在步骤S720中也可以,仅发送感测结果以及障碍物信息的一方。
(其他的实施方式)
以上,对于本公开,根据实施方式1以及2(以后,也记载为各个实施方式)进行了说明,但是,本公开,不仅限于所述各个实施方式。
例如,在所述各个实施方式中,所述控制部,在行驶路径与危险区域重叠的情况下,按照危险区域制作第二影像信息,但是,不仅限于此。控制部也可以,在危险度地图中包括危险区域的情况下,按照该危险区域制作第二影像信息。据此,能够抑制网络宽带的浪费,并且还使操作员将与被监视车辆的周围的危险区域对应的影像视觉识别为清楚的影像。
并且,在所述各个实施方式中说明了,使拍摄前后左右方向的影像之中的、后面以及左右方向(第一区域的一个例子)的影像的画质比前方(第二区域的一个例子)的影像的恶化的例子,但是,不仅限于此。第二区域也可以是,例如,拍摄前方的影像之中的、该影像内的与危险区域对应的区域。也就是说,第二区域也可以是,拍摄前方的影像之中的一部分的区域。据此,能够增大第一影像信息之中的使画质恶化的区域,因此,能够更削减网络宽带的浪费。
并且,在所述各个实施方式中,影像传输装置具备的控制部也可以,在第一影像信息包括多个帧的影像信息的情况下,从多个帧中提取一个以上的帧来制作第二影像信息。换言之,控制部也可以,减少构成向远程监视装置发送的影像的帧的数量,从而降低数据量。
并且,所述各个实施方式的影像传输装置具备的控制部也可以,将障碍物信息包括在第二影像信息中来发送给远程监视装置。据此,远程监视装置能够,例如,使显示在显示装置的影像所示的离被监视车辆距离近的障碍物的颜色发生变化,或者,使影像所示的离被监视车辆距离近的障碍物闪烁。因此,影像传输装置能够,削减网络宽带的浪费,并且,向操作员有效地通知障碍物的危险。
并且,所述各个实施方式的影像传输装置具备的控制部也可以,将被监视车辆的车辆信息经由通信部发送给远程监视装置。控制部也可以,例如,在危险度地图中存在危险区域的情况下,将车辆信息发送给远程监视装置,在不存在危险区域的情况下,停止车辆信息的向远程监视装置的发送。
并且,在所述各个实施方式中说明了,拍摄部,拍摄被监视车辆的周围的例子,但是,也可以还拍摄车内的影像。影像传输装置也可以,例如,在从操作员获得发送车内的影像的指示的情况下,将基于拍摄部摄像拍摄车内的影像的第三影像信息发送给远程监视装置。在此情况下,影像传输装置也可以,发送按照实施方式2示出的NW的状态降低数据量的第三影像信息。
并且,所述各个实施方式的被监视车辆具备的装置间的通信方法,没有特别的限定。在装置间,也可以进行无线通信,也可以进行有线通信。并且,在装置间,也可以组合无线通信以及有线通信。
并且,所述各个实施方式涉及的远程监视装置以及被监视车辆的各个处理部(例如,控制部、危险地图制作部、以及对象检测部、以及NW状态监视部等)作为典型的集成电路的LSI实现。它们,可以分别以单片化,也可以以包含一部分或全部的方式单片化。
并且,集成电路,不仅限于LSI,也可以作为专用电路或通用处理器来实现。也可以利用在制造LSI后能够编程的FPGA(Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接以及设定的可重构处理器。
而且,在所述各个实施方式中,各个构成要素,也可以由专用的硬件构成,或者,也可以通过执行适于各个构成要素的软件程序来实现。也可以CPU或处理器等的程序执行部,读出并执行硬盘或半导体存储器等的记录介质中记录的软件程序,来实现各个构成要素。
并且,所述的利用的数字都是,为了具体说明本公开而示出的例子,本公开的各个实施方式不仅限于以例子示出的数字。
并且,框图中的功能框的分割是一个例子,也可以将多个功能框作为一个功能框实现、将一个功能框分割为多个、或将一部分的功能转移到其他的功能框。并且,也可以具有类似的功能的多个功能框的功能由单一的硬件或软件并行处理或时分处理。
并且,流程图中的各个步骤的执行顺序是,用于具体说明本公开的例子,也可以是所述以外的顺序。并且,所述步骤的一部分也可以,与其他的步骤同时(并行)执行。
另外,对各个实施方式实施本领域技术人员想到的各种变形而得到的形态,或在不脱离本公开的宗旨的范围内任意组合各个实施方式等的构成要素以及功能来实现的形态,也包含在本公开中。
本公开的实施方案之一涉及的信息处理方法等,有效于位于远处的操作员用于经由通信网络对车辆进行远程监视的远程监视装置。

Claims (17)

1.一种影像传输装置,被搭载在车辆,所述影像传输装置具备:
第一获得部,从拍摄所述车辆的周围的拍摄部获得第一影像信息;
危险地图制作部,制作示出所述车辆的周围的危险区域的危险地图;
影像制作部,根据所述危险地图,制作数据量比所述第一影像信息少的第二影像信息;以及
通信部,向用于对所述车辆进行远程监视的远程监视装置发送所述第二影像信息。
2.如权利要求1所述的影像传输装置,
所述影像制作部,通过进行如下处理之中的至少一方,制作所述第二影像信息,所述处理是指,使所述第一影像信息中的与所述危险地图示出的所述危险区域以外的区域对应的第一区域的影像的画质比与所述危险区域对应的第二区域的影像的画质恶化的处理,以及从所述第一影像信息中切出所述第二区域的影像的处理。
3.如权利要求1或2所述的影像传输装置,
所述影像传输装置还具备判断部,
所述判断部,判断所述车辆与所述远程监视装置之间的通信网络是否拥塞,
所述通信部,在所述判断部判断为所述通信网络拥塞的情况下,向所述远程监视装置发送所述第二影像信息,在所述判断部判断为所述通信网络没有拥塞的情况下,向所述远程监视装置发送所述第一影像信息。
4.如权利要求3所述的影像传输装置,
所述通信部,在所述判断部判断为所述通信网络拥塞的情况下,以比所述判断部判断为所述通信网络没有拥塞时低的发送率,发送所述第二影像信息,
所述影像制作部,在所述判断部判断为所述通信网络拥塞的情况下,根据所述第一影像信息,按照所述发送率制作所述第二影像信息。
5.如权利要求1或2所述的影像传输装置,
所述远程监视装置,与被输入用于对所述车辆进行远程操作的操作的操作输入装置连接,
所述影像制作部,在所述车辆接受到来自所述操作输入装置的远程操作的情况下,还利用基于所述远程操作的行驶路径制作所述第二影像信息。
6.如权利要求1或2所述的影像传输装置,
所述影像制作部,在所述车辆以自动驾驶行驶的情况下,还利用成为该车辆行驶的目标的行驶路径,制作所述第二影像信息。
7.如权利要求5所述的影像传输装置,
所述影像制作部,进一步,通过进行如下处理之中的至少一方,制作所述第二影像信息,所述处理是指,使所述第一影像信息中的拍摄所述行驶路径中的不是行进方向的方向的第三区域的影像的画质比拍摄所述行进方向的第四区域的影像的画质恶化的处理,以及从所述第一影像信息中切出所述第四区域的影像的处理。
8.如权利要求1或2所述的影像传输装置,
所述影像传输装置,还具备:
第二获得部,从感测所述车辆的周围的传感器部获得感测结果;以及
对象检测部,根据所述感测结果以及所述第一影像信息,制作示出障碍物的位置以及速度的障碍物信息,
所述危险地图制作部,根据所述障碍物信息制作所述危险地图。
9.如权利要求8所述的影像传输装置,
所述危险地图制作部,根据所述第一影像信息以及所述障碍物信息的至少一方,制作示出所述车辆的周围的危险度的所述危险地图。
10.如权利要求8所述的影像传输装置,
所述影像传输装置还具备判断部,
所述判断部,判断所述车辆与所述远程监视装置之间的通信网络是否拥塞,
所述判断部,在判断为所述通信网络拥塞的情况下,还判断所述通信网络的拥塞程度是否为阈值以下,
所述通信部,在所述判断部判断为所述拥塞程度为所述阈值以下的情况下,发送所述第二影像信息,在所述判断部判断为所述拥塞程度比所述阈值大的情况下,发送所述感测结果以及所述障碍物信息的至少一方。
11.如权利要求1或2所述的影像传输装置,
所述危险地图制作部,根据所述车辆的周围的交通信息制作所述危险地图。
12.如权利要求1或2所述的影像传输装置,
所述影像制作部,在所述危险地图中不存在所述危险区域的情况下,使所述第一影像信息示出的第一影像的画质一律恶化,从而制作所述第二影像信息。
13.如权利要求1或2所述的影像传输装置,
所述影像制作部,在所述危险地图中不存在所述危险区域的情况下,停止所述第二影像信息的制作。
14.一种影像传输装置,被搭载在车辆,所述影像传输装置具备:
第一获得部,从拍摄所述车辆的周围的拍摄部获得第一影像信息;
第二获得部,从感测所述车辆的周围的传感器部获得感测结果;
对象检测部,根据所述感测结果以及所述第一影像信息,制作示出障碍物的位置以及速度的障碍物信息;
危险地图制作部,制作示出所述车辆的周围的危险区域的危险地图;
影像制作部,根据所述危险地图,制作第二影像信息;
通信部,向用于对所述车辆进行远程监视的远程监视装置发送监视用信息;以及
判断部,判断所述车辆与所述远程监视装置之间的通信网络是否拥塞,
所述通信部,发送包括根据所述判断部的判断结果选择出的所述感测结果、所述障碍物信息、以及所述第二影像信息的至少一个的所述监视用信息。
15.如权利要求14所述的影像传输装置,
所述通信部,在所述判断部判断为所述通信网络拥塞的情况下,向所述远程监视装置发送所述感测结果以及所述障碍物信息的至少一方,在所述判断部判断为所述通信网络没有拥塞的情况下,向所述远程监视装置发送所述第二影像信息。
16.一种影像传输方法,是搭载在车辆的影像传输装置的影像传输方法,包括:
从拍摄所述车辆的周围的拍摄部获得第一影像信息的步骤;
制作示出所述车辆的周围的危险区域的危险地图的步骤;
根据所述危险地图,制作第二影像信息的步骤,所述第二影像信息的数据量比所述第一影像信息少;以及
向用于对所述车辆进行远程监视的远程监视装置发送所述第二影像信息的步骤。
17.一种记录介质,
记录有用于使计算机执行权利要求16所述的影像传输方法的程序。
CN201910835764.5A 2018-09-10 2019-09-05 影像传输装置、影像传输方法、以及记录介质 Active CN110891160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411173570.0A CN118803207A (zh) 2018-09-10 2019-09-05 影像传输装置、影像传输方法、以及计算机程序产品

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018-168948 2018-09-10
JP2018168948 2018-09-10
JP2019-084992 2019-04-26
JP2019084992A JP7334055B2 (ja) 2018-09-10 2019-04-26 映像伝送装置、映像伝送方法、及び、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202411173570.0A Division CN118803207A (zh) 2018-09-10 2019-09-05 影像传输装置、影像传输方法、以及计算机程序产品

Publications (2)

Publication Number Publication Date
CN110891160A true CN110891160A (zh) 2020-03-17
CN110891160B CN110891160B (zh) 2024-08-23

Family

ID=67809317

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910835764.5A Active CN110891160B (zh) 2018-09-10 2019-09-05 影像传输装置、影像传输方法、以及记录介质
CN202411173570.0A Pending CN118803207A (zh) 2018-09-10 2019-09-05 影像传输装置、影像传输方法、以及计算机程序产品

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202411173570.0A Pending CN118803207A (zh) 2018-09-10 2019-09-05 影像传输装置、影像传输方法、以及计算机程序产品

Country Status (3)

Country Link
US (1) US11172167B2 (zh)
EP (1) EP3621310A1 (zh)
CN (2) CN110891160B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583692A (zh) * 2020-04-27 2020-08-25 新石器慧通(北京)科技有限公司 一种基于自动驾驶的远程视野获取方法、装置及系统
CN112802329A (zh) * 2020-12-14 2021-05-14 国汽(北京)智能网联汽车研究院有限公司 一种数据展示方法、装置、设备及计算机存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10761542B1 (en) 2017-07-11 2020-09-01 Waymo Llc Methods and systems for keeping remote assistance operators alert
JP7497999B2 (ja) * 2020-03-05 2024-06-11 本田技研工業株式会社 情報処理装置、車両、プログラム、及び情報処理方法
CN112687103A (zh) * 2020-12-23 2021-04-20 安徽中科美络信息技术有限公司 基于车联网技术的车辆变道的检测方法及系统
US11977385B2 (en) * 2021-11-11 2024-05-07 Gm Cruise Holdings Llc Obstacle detection based on other vehicle behavior

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004106701A (ja) * 2002-09-18 2004-04-08 Toyota Motor Corp 危険障害物判定装置
CN101115196A (zh) * 2006-07-27 2008-01-30 腾讯科技(深圳)有限公司 调节视频质量的方法、系统及终端
CN101266132A (zh) * 2008-04-30 2008-09-17 西安工业大学 基于mpfg运动矢量的行车障碍检测方法
JP2009118072A (ja) * 2007-11-05 2009-05-28 Ihi Corp 遠隔操作装置及び遠隔操作方法
CN102547388A (zh) * 2010-12-28 2012-07-04 特克特朗尼克公司 移动网络中的视频转码的自适应控制
CN102647590A (zh) * 2012-04-17 2012-08-22 华为终端有限公司 图像压缩方法和装置
JP2013242737A (ja) * 2012-05-22 2013-12-05 Furukawa Electric Co Ltd:The 車載装置および車載装置の判断方法
US20150347847A1 (en) * 2014-05-29 2015-12-03 Samsung Electronics Co., Ltd. Image processing method and electronic device implementing the same
CN105446338A (zh) * 2015-12-21 2016-03-30 福州华鹰重工机械有限公司 云辅助自动驾驶方法及系统
JP2016072686A (ja) * 2014-09-26 2016-05-09 Kddi株式会社 領域リクエストに基づいたデータ低減処理を行う画像送受信システム及び方法
US20160283804A1 (en) * 2014-04-10 2016-09-29 Google Inc. Image and Video Compression for Remote Vehicle Assistance
CN106415694A (zh) * 2014-06-26 2017-02-15 Jvc 建伍株式会社 车载影像系统、影像传送系统、影像传送方法以及影像传送程序
CN106662447A (zh) * 2014-05-07 2017-05-10 大陆-特韦斯股份有限公司 利用行驶动态传感器确定多余的绝对位置
CN106915298A (zh) * 2015-12-24 2017-07-04 北京奇虎科技有限公司 一种具有转向限制的防误驾驶系统
WO2017208797A1 (ja) * 2016-06-02 2017-12-07 株式会社日立製作所 車両制御システム
JP2018106676A (ja) * 2016-12-22 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報処理装置、被操作車両、情報処理方法及びプログラム
CN108445879A (zh) * 2018-03-12 2018-08-24 上海大学 一种基于预测碰撞危险区域的无人艇避障方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5366703B2 (ja) 2009-08-19 2013-12-11 株式会社Ihiエアロスペース 半自律型無人車両の遠隔操縦システム
US9321470B1 (en) * 2014-05-22 2016-04-26 Rockwell Collins, Inc. Systems and methods for implementing object collision avoidance for vehicles constrained to a particular path using remote sensors
US10705519B2 (en) * 2016-04-25 2020-07-07 Transportation Ip Holdings, Llc Distributed vehicle system control system and method
US20170347002A1 (en) * 2016-05-27 2017-11-30 GM Global Technology Operations LLC Video transmission control
EP3545376A4 (en) * 2016-11-22 2020-07-01 Amazon Technologies Inc. METHOD FOR AUTONOMOUS NAVIGATION THROUGH UNCONTROLLED AND CONTROLLED INtersections
US10591912B2 (en) * 2016-11-30 2020-03-17 Nissan North America, Inc. Autonomous vehicle remote support mapping interface
EP3642068B1 (en) * 2017-06-20 2024-11-06 Motional AD LLC Risk processing for vehicles having autonomous driving capabilities
US20190163176A1 (en) * 2017-11-30 2019-05-30 drive.ai Inc. Method for transferring control of an autonomous vehicle to a remote operator

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004106701A (ja) * 2002-09-18 2004-04-08 Toyota Motor Corp 危険障害物判定装置
CN101115196A (zh) * 2006-07-27 2008-01-30 腾讯科技(深圳)有限公司 调节视频质量的方法、系统及终端
JP2009118072A (ja) * 2007-11-05 2009-05-28 Ihi Corp 遠隔操作装置及び遠隔操作方法
CN101266132A (zh) * 2008-04-30 2008-09-17 西安工业大学 基于mpfg运动矢量的行车障碍检测方法
CN102547388A (zh) * 2010-12-28 2012-07-04 特克特朗尼克公司 移动网络中的视频转码的自适应控制
CN102647590A (zh) * 2012-04-17 2012-08-22 华为终端有限公司 图像压缩方法和装置
JP2013242737A (ja) * 2012-05-22 2013-12-05 Furukawa Electric Co Ltd:The 車載装置および車載装置の判断方法
US20160283804A1 (en) * 2014-04-10 2016-09-29 Google Inc. Image and Video Compression for Remote Vehicle Assistance
CN106662447A (zh) * 2014-05-07 2017-05-10 大陆-特韦斯股份有限公司 利用行驶动态传感器确定多余的绝对位置
US20150347847A1 (en) * 2014-05-29 2015-12-03 Samsung Electronics Co., Ltd. Image processing method and electronic device implementing the same
CN106415694A (zh) * 2014-06-26 2017-02-15 Jvc 建伍株式会社 车载影像系统、影像传送系统、影像传送方法以及影像传送程序
JP2016072686A (ja) * 2014-09-26 2016-05-09 Kddi株式会社 領域リクエストに基づいたデータ低減処理を行う画像送受信システム及び方法
CN105446338A (zh) * 2015-12-21 2016-03-30 福州华鹰重工机械有限公司 云辅助自动驾驶方法及系统
CN106915298A (zh) * 2015-12-24 2017-07-04 北京奇虎科技有限公司 一种具有转向限制的防误驾驶系统
WO2017208797A1 (ja) * 2016-06-02 2017-12-07 株式会社日立製作所 車両制御システム
JP2018106676A (ja) * 2016-12-22 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報処理装置、被操作車両、情報処理方法及びプログラム
CN108445879A (zh) * 2018-03-12 2018-08-24 上海大学 一种基于预测碰撞危险区域的无人艇避障方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583692A (zh) * 2020-04-27 2020-08-25 新石器慧通(北京)科技有限公司 一种基于自动驾驶的远程视野获取方法、装置及系统
CN112802329A (zh) * 2020-12-14 2021-05-14 国汽(北京)智能网联汽车研究院有限公司 一种数据展示方法、装置、设备及计算机存储介质
CN112802329B (zh) * 2020-12-14 2022-02-01 国汽(北京)智能网联汽车研究院有限公司 一种数据展示方法、装置、设备及计算机存储介质

Also Published As

Publication number Publication date
CN118803207A (zh) 2024-10-18
EP3621310A1 (en) 2020-03-11
US11172167B2 (en) 2021-11-09
JP2023153255A (ja) 2023-10-17
US20200084419A1 (en) 2020-03-12
CN110891160B (zh) 2024-08-23

Similar Documents

Publication Publication Date Title
CN108227703B (zh) 信息处理装置和方法、被操作车辆及记录程序的记录介质
CN110891160B (zh) 影像传输装置、影像传输方法、以及记录介质
JP7334055B2 (ja) 映像伝送装置、映像伝送方法、及び、プログラム
JP7029910B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN110868331B (zh) 信息处理方法、信息处理装置、以及信息处理系统
US11334090B2 (en) Method and system for determining autonomous vehicle (AV) action based on vehicle and edge sensor data
KR102464898B1 (ko) 차량과 관련된 영상 정보를 공유하는 방법 및 장치
JP6936679B2 (ja) 情報処理装置およびプログラム
WO2017145650A1 (ja) 車載機及び道路異常警告システム
US20200294385A1 (en) Vehicle operation in response to an emergency event
US11397430B2 (en) Information processing method, information processing apparatus, and information processing system
US20180204456A1 (en) Multi-vehicle sensor sharing
US11584394B2 (en) Vehicle controller device and vehicle control system
CN111038481A (zh) 车辆及其控制方法
WO2019147569A1 (en) Visual sensor fusion and data sharing across connected vehicles for active safety
JP2018106243A (ja) 運転支援システム及び運転支援装置
US20210039681A1 (en) Vehicle driving system
US7928836B2 (en) Mobile unit communication apparatus and computer-readable recording medium
JP7625040B2 (ja) 映像伝送装置、映像伝送方法、及び、プログラム
JPWO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
JP6547788B2 (ja) 情報処理システム、情報処理装置及びプログラム
JP2021018592A (ja) 走行制御装置、走行システムおよび走行プログラム
US20240400044A1 (en) In-vehicle device, in-vehicle system, control method, and computer program
US20240291993A1 (en) Rule-based digitized image compression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant