CN111491127B - 基于无人车远程驾驶的视频通话方法及系统 - Google Patents

基于无人车远程驾驶的视频通话方法及系统 Download PDF

Info

Publication number
CN111491127B
CN111491127B CN202010316421.0A CN202010316421A CN111491127B CN 111491127 B CN111491127 B CN 111491127B CN 202010316421 A CN202010316421 A CN 202010316421A CN 111491127 B CN111491127 B CN 111491127B
Authority
CN
China
Prior art keywords
vehicle
communication data
remote
remote end
vehicle end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010316421.0A
Other languages
English (en)
Other versions
CN111491127A (zh
Inventor
王双师
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neolithic Zhiye Anyang Intelligent Technology Co ltd
Original Assignee
Neolix Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neolix Technologies Co Ltd filed Critical Neolix Technologies Co Ltd
Priority to CN202010316421.0A priority Critical patent/CN111491127B/zh
Publication of CN111491127A publication Critical patent/CN111491127A/zh
Application granted granted Critical
Publication of CN111491127B publication Critical patent/CN111491127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于无人车远程驾驶的视频通话方法及系统，涉及无人驾驶、自动驾驶领域。所述方法包括：分别获取所述远程端的通信数据与所述车端的通信数据；将所述远程端的通信数据和所述车端的通信数据同步推流至云服务器；在云服务器中对所述远程端的通信数据和所述车端的通信数据进行编码与解码处理；将解码后的所述远程端的通信数据和解码后的所述车端的通信数据同步拉流至所述车端和所述远程端。本发明实现了远程驾驶员与无人车车端现场人员的交互互动，提高了远程驾驶过程中的车辆调度效率。

Description

基于无人车远程驾驶的视频通话方法及系统
技术领域
本发明涉及无人车通信技术领域，具体涉及一种基于无人车远程驾驶的视频通话方法及系统。
背景技术
目前，无人车在远程驾驶过程中，远程驾驶舱端仅能获取无人车现场的视频画面，无人车现场人员无法知悉远程驾驶人员时何时执行出发、调度等控制指令，因此双方无法实现有效的互动，会影响驾驶舱和无人车现场双方的有效互动，进而影响无人车远程驾驶的调度效率。
因此，有必要提供改进的技术方案以克服现有技术中存在的以上技术问题。
发明内容
为了解决上述技术问题，本发明提供了一种基于无人车远程驾驶的视频通话方法及系统，实现了远程驾驶员与无人车车端现场人员的交互互动，提高了远程驾驶过程中的车辆调度效率。
根据本发明提供的一种基于无人车远程驾驶的视频通话方法，其中，视频通话事件发生于远程端与车端之间，所述方法包括：分别获取所述远程端的通信数据与所述车端的通信数据；将所述远程端的通信数据和所述车端的通信数据同步推流至云服务器；在云服务器中对所述远程端的通信数据和所述车端的通信数据进行编码与解码处理；将解码后的所述远程端的通信数据和解码后的所述车端的通信数据同步拉流至所述车端和所述远程端。
可选地，将所述远程端的通信数据和所述车端的通信数据同步推流至云服务器包括：由所述远程端产生推流启动信号，基于所述推流启动信号在所述远程端产生第一推流脉冲信号，和在所述车端产生与所述第一推流脉冲信号具有同步脉冲的第二推流脉冲信号；基于所述第一推流脉冲信号将所述远程端的通信数据推流至云服务器，基于所述第二推流脉冲信号将所述车端的通信数据推流至云服务器。
可选地，将解码后的所述远程端的通信数据和解码后的所述车端的通信数据同步拉流至所述车端和所述远程端包括：由所述远程端产生第一拉流脉冲信号，由所述车端产生与所述第一拉流脉冲信号具有同步脉冲的第二拉流脉冲信号；基于所述第一拉流脉冲信号将解码后的所述车端的通信数据拉流至所述远程端，基于所述第二拉流脉冲信号将解码后的所述远程端的通信号数据拉流至所述车端。
可选地，分别获取所述远程端的通信数据与所述车端的通信数据包括：所述车端的通信采集模块的有效采集范围内，所述车端数量为一个，采用所述车端的通信采集模块获取所述车端的通信数据；或者所述车端的通信采集模块的有效采集范围内，所述车端数量为多个，采用一个或一个以上的车端的通信采集模块获取多个车端的通信数据。
可选地，在云服务器中对所述远程端的通信数据和所述车端的通信数据进行编码与解码处理的情况下，还包括：对所述远程端的通信数据和所述车端的通信数据添加标签，并进行存储或分类存储。
可选地，所述标签包括以下中的至少之一：时间标签、内容标签、重要度标签和待处理标签。
可选地，将解码后的所述远程端的通信数据拉流至所述车端，同时将解码后的所述车端的通信数据拉流至所述远程端的情况下还包括：检测所述远程端和所述车端的当前的网络环境，并在所述远程端和所述车端中至少之一的所述网络环境不良的情况下暂停将通信数据拉流至所述远程端和所述车端，并向所述远程端和所述车端的操作人员发送暂停操作建议；在所述远程端和所述车端的所述网络环境均良好时将通信数据拉流至所述远程端和所述车端。
可选地，将解码后的所述远程端的通信数据拉流至所述车端，同时将解码后的所述车端的通信数据拉流至所述远程端的情况下还包括：检测所述远程端和所述车端的当前的网络环境，并在所述远程端和所述车端中至少之一的所述网络环境不良的情况下向所述远程端和所述车端发送网络不良提示和是否继续拉流确认；在所述远程端和所述车端的操作人员均确认继续拉流的情况下，将通信数据拉流至所述远程端和所述车端，否则暂停将通信数据拉流至所述远程端和所述车端。
可选地，将解码后的所述远程端的通信数据拉流至所述车端，同时将解码后的所述车端的通信数据拉流至所述远程端的情况下还包括：检测所述远程端和所述车端的当前的网络环境，并在所述远程端和所述车端中至少之一的所述网络环境不良的情况下向所述远程端和所述车端发送网络不良提示和是否继续拉流确认；在所述远程端和所述车端的操作人员均确认继续拉流的情况下，将通信数据拉流至所述远程端和所述车端；在所述远程端和所述车端的操作人员的其中之一未确认继续拉流的情况下，当所述远程端和所述车端的操作人员的其中另一连续发送确认继续拉流次数超过阈值时，将通信数据拉流至所述远程端和所述车端。
根据本发明提供的一种基于无人车远程驾驶的视频通话系统，其中，视频通话事件发生于远程端与车端之间，所述系统包括：远程端通信采集模块，用于获取所述远程端的通信数据；车端通信采集模块，用于获取所述车端的通信数据；推流模块，用于将所述远程端的通信数据和所述车端的通信数据同步推流至云服务器；编解码模块，用于对所述远程端的通信数据和所述车端的通信数据在云服务器中进行编码与解码处理；拉流模块，用于将解码后的所述远程端的通信数据拉流至所述车端，同时将解码后的所述车端的通信数据拉流至所述远程端。
可选地，所述系统还包括：标签模块，用于对所述远程端的通信数据和所述车端的通信数据添加标签；存储模块，用于存储添加标签后的所述远程端的通信数据和所述车端的通信数据。
可选地，所述系统还包括：网络处理模块，用于检测所述远程端和所述车端的网络环境，并根据检测结果启动或暂停将通信数据拉流至所述远程端和所述车端。
本发明的有益效果是：本发明公开了一种基于无人车远程驾驶的视频通话方法及系统，在分别获取远程端与车端的通信数据之后，同步推流至云服务器，并在云服务器中进行编解码之后再同时拉流至远程端与车端，在实现远程驾驶员与无人车车端现场人员的有效互动的情况下，保证了双向视频服务的同步性，提高了远程驾驶过程中的车辆调度效率。
应当说明的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚。
图1示出本发明第一实施例提供的无人车远程驾驶的视频通话方法流程图。
图2示出本发明第二实施例提供的无人车远程驾驶的视频通话方法流程图。
图3示出本发明第三实施例提供的无人车远程驾驶的视频通话方法流程图。
图4示出本发明第四实施例提供的无人车远程驾驶的视频通话方法流程图。
图5示出本发明第五实施例提供的无人车远程驾驶的视频通话方法流程图。
图6(a)和图6(b)分别示出本发明具体实施例下不同车端数量的无人车远程驾驶的视频通话系统的系统框图。
图7示出本发明实施例提供的无人车远程驾驶的视频通话系统的结构示意图。
附图说明：1-远程端；2-车端；3-云服务器。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以通过不同的形式来实现，并不限于本文所描述的实施例。相反的，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
下面，参照附图对本发明进行详细说明。
实施例一
本实施例提供的无人车远程驾驶的视频通话方法如图1所示，其中，视频通话事件发生于远程端与车端之间。如图6(a)至图7，示出了以远程驾驶舱作为示例的远程端1，及以无人车辆作为示例的车端2，其中，远程驾驶舱与无人车辆之间通过云服务器3进行视频通话。但可以理解的是，本发明的应用场景并不限于该示例性的实施例，对于通过如手机、电脑、可视电视机、平板等通讯设备的视频通话，以及交通指挥中心与交通运输工具之间的互动通信等，本发明的技术方案同样适用。
具体的，本实施例提供的无人车远程驾驶的视频通话方法包括执行如下步骤：
在步骤S1中，分别获取远程端的通信数据与车端的通信数据。示例性的，参见图6(a)至图7，远程驾驶员在远程驾驶舱端开启视频通话后，触发远程端通信采集模块11和车端通信采集模块21分别获取远程端1的通信数据和车端2的通信数据，具体包括：通过车端通信采集模块21(如设置在无人车辆上的环视摄像头、麦克风，或设置在现场车端附近的监控摄像头等)采集获取无人车辆端的通信数据。以及，通过远程端通信采集模块11(如设置在远程驾驶舱端的摄像头)采集获取远程驾驶舱端的通信数据。
进一步地，本实施例中，参见图6(a)，在车端通信采集模块的有效采集范围内，需要进行远程调度的无人车辆的数量为一个，此时，通过设置在该无人车辆上的环视摄像头、麦克风等通信采集模块获取该无人车辆端的通信数据。参见图6(b)，在车端通信采集模块的有效采集范围内，需要进行远程调度的无人车辆的数量为多个。此时，通过设置在该多个无人车辆中的一个或一个以上的通信采集模块获取该多个无人车辆端的通信数据。
具体的，在车端通信采集模块的有效采集范围内，可以通过设置在各自无人车辆上的通信采集模块(如环视摄像头、麦克风)获取本无人车辆端周围的通信数据，如此，保证了需要进行远程调度的多个无人车辆中每一个无人车辆周围的通信数据的准确性和完整性，有利于提高车辆远程调度的准确性。另外，也可以通过设置在一个无人车辆上的通信采集模块获取本无人车辆端周围，以及与该无人车辆邻近的无人车辆周围的通信数据，此时，通过合理搭配需要开启的通信采集模块，可以利用尽可能少的无人车辆上的通信采集模块来完成对一定范围内的多个无人车辆的远程调度，提高了资源利用率，降低了资源消耗和调度成本。
可以理解的是，在进行多个无人车辆的远程调度时，可以根据具体的实际情况选择需要开启的车端通信采集模块的数量，本发明实施例对此不做具体限定。
需要说明的是，本文所涉及的通信数据均包括视频数据和/或音频数据。
在步骤S2中，将远程端的通信数据和车端的通信数据同步推流至云服务器。具体的，远程驾驶舱端的操作人员在远程驾驶舱端(简称远程端)开启视频通话后，远程端操作平台产生推流启动信号，基于该推流启动信号触发远程端产生第一推流脉冲信号，同时触发无人车端(简称车端)产生与第一推流脉冲信号具有同步脉冲的第二推流脉冲信号。同时，远程端通信采集模块获取到的远程端的通信数据由远程端视频推流应用服务基于第一推流脉冲信号上传至视频云服务器，和车端通信采集模块获取到的无人车辆端的通信数据由车端视频推流应用服务基于第二推流脉冲信号上传至视频云服务器。其中，由于第一推流脉冲信号和第二推流脉冲信号的脉冲信号同步，因此可以有效的保障远程端和车端的视频推流应用服务在进行视频推流时的同步性，提高了对无人车端远程调度的准确性。
在步骤S3中，在云服务器中对远程端的通信数据和车端的通信数据进行编码与解码处理。本实施例中，通过视频云服务器中的编码模块(如云编码器)对上传至视频云服务器中的远程端的通信数据和车端的通信数据进行云端编码，使之便于传输、存储和格式转换，同时通过视频云服务器中的解码模块(如云解码器)对编码后的通信数据按照特定的解码规则进行云端解码，以使得解码后的远程端的通信数据符合无人车辆端的播放标准，和使得解码后的车端的通信数据符合远程驾驶舱端的播放标准。
通过在视频云服务器中对远程端的通信数据和车端的通信数据进行云端编解码，去除了由于需要传输的通信数据的不同、和远程驾驶舱端和无人车辆端自身编解码硬件设备的不同而造成的远程驾驶舱端和无人车辆端对通信数据的编解码质量、效率及时间的差异，避免了对远程驾驶舱端和无人车辆端的双向视频服务的同步性的影响，以及对无人车远程驾驶的调度效率的影响。同时，采用云端编解码服务器可以降低视频通信数据编解码的复杂度，且部署及维护成本低，无需新增其它的硬件设备，降低了无人车远程驾驶的成本开销。
在步骤S4中，将解码后的远程端的通信数据和解码后的车端的通信数据同步拉流至车端和远程端。具体的，在视频云服务器中对远程端的通信数据和车端的通信数据进行云端编解码后，触发远程端产生第一拉流脉冲信号，同时触发车端产生与第一拉流脉冲信号具有同步脉冲的第二拉流脉冲信号。由远程端视频拉流应用服务基于第一拉流脉冲信号将解码后的车端的通信数据拉流至远程驾驶舱端，通过远程端的驾驶舱视频拉流应用服务(如驾驶舱屏幕)呈现车端通信采集模块获取的通信数据，由车端视频拉流应用服务基于第二拉流脉冲信号将解码后的远程端的通信数据拉流至车端，通过车端拉流应用服务(如车端屏幕)呈现远程端通信采集模块获取的通信数据，实现驾驶舱和无人车辆端人员的双向视频互动，进而提高无人车远程驾驶的调度效率。其中，由于第一拉流脉冲信号和第二拉流脉冲信号的脉冲信号同步，因此可以有效的保障远程端和车端的视频拉流应用服务在进行视频拉流时的同步性，提高了对无人车端远程调度的准确性。同时结合步骤S2，有效的保证了双向视频服务的同步性，提高了远程驾驶过程中对无人车辆的调度效率和调度质量。
基于本实施方式，在分别获取远程端与车端的通信数据之后，同步推流至云服务器，并在云服务器中进行编解码之后再同时拉流至远程端与车端，在实现远程驾驶员与无人车车端现场人员的有效互动的情况下，保证了双向视频服务的同步性，提高了远程驾驶过程中的车辆调度效率。同时部署维护成本低，也无需新增其它的硬件设备。
实施例二
本实施例提供的太阳能电池板角度调节方法如图2所示。
具体地，本实施所提供的无人车远程驾驶的视频通话方法基本采用与上述实施例一相同的步骤，因此不再赘述。
区别之处在于：本实施例中，在云服务器中对远程端的通信数据和车端的通信数据进行编码与解码处理的情况下，还包括：对远程端的通信数据和车端的通信数据添加标签，并进行存储或分类存储(步骤31)。其中，标签包括以下中的至少之一：时间标签、内容标签、重要度标签和待处理标签。
具体的，在云服务器中对远程端的通信数据和车端的通信数据进行云端编码后，可以通过云服务其中的处理器对编码后的远程端的通信数据和/或车端的通信数据添加时间标签、内容标签、重要度标签和待处理标签中的至少一种，并将添加标签后的远程端的通信数据和/或车端的通信数据进行存储。进一步的，可以按照通信数据的上传时间的先后顺序，或者按照标签类型存储至存储器中。
例如：对某编码后的通信数添加标签及存储后为：通信数据A-20200323-1类调度-三星-待处理-03231630。其可表示车端或远程端的通信数据A于2020年03月23日上传或存储至云服务器，此端通信数据为对无人车辆进行1类调度的内容，重要等级为三星级，且暂未处理，需要在3月23日16时30分对无人车辆进行1类调度。需要说明的是，此处描述仅是示例性的，仅具有参考意义，其不应作为对本发明内容的具体限定。同时在实际应用中也可按照其他格式进行标签的添加与存储。
可选地，可以人为(如通过手动输入指令、展示手势指令和/或发出语音指令的方式)对通信数据添加标签，也可通过机器智能如通过算法判断或智能学习的方式)对需要标签的通信数据添加标签(如通过算法判断或只能学习的方式)。
进一步地，对通信数据添加标签可以在对无人车的远程驾驶的调度过程中，或调度结束后执行，且可以先对视频数据添加标签再进行存储，也可以先存储，再对存储的数据添加标签，随后进行分类存储。
基于本实施方式，通过对远程端的通信数据和/或车端的通信数据添加标签并存储，使得双方操作人员能够轻松访问通信过程中的任意片段，方便对无人车远程调度过程的复检与查看。同时，通过标签可以实现对通信内容的智能推送，如待处理内容的提醒和不同重要度内容中高重要度的优先推送等，方便了操作人员对无人车的远程调度工作，进一步的提高了调度效率。
实施例三
本实施例提供的太阳能电池板角度调节方法如图3所示。
具体地，本实施所提供的无人车远程驾驶的视频通话方法基本采用与上述实施例一或实施例二中任一实施例相同的步骤，因此不再赘述。
区别之处在于：本实施例中，将解码后的远程端的通信数据拉流至车端，同时将解码后的所述车端的通信数据拉流至所述远程端的情况下还包括：检测远程端和车端的当前的网络环境，并在远程端和车端中至少之一的网络环境不良的情况下暂停将通信数据拉流至远程端和车端，并向远程端和车端的操作人员发送暂停操作建议(步骤401)；在远程端和车端的网络环境均良好时将通信数据拉流至远程端和车端(步骤402)。
具体地，在对云服务器中完成云端解码的通信数据进行拉流时，还需要通过设置在远程端和车端上的网络处理模块检测各自的网络环境，同时将检测结果发送至云服务器，当检测结果表示远程端和车端的网络环境均良好时，触发云服务器将通信数据拉流至远程端和车端。当检测结果表示远程端和车端中有至少一方的网络环境不良(如处于弱网或无网环境)时，触发云服务器暂停将通信数据拉流至远程端和车端，同时向远程端和车端的操作人员发送暂停操作建议，并检修网络环境，并在远程端和车端的网络环境均恢复良好时将继续将通信数据拉流至远程端和车端。
基于本实施方式，有效的保证了远程端和车端通过视频通话互动的同步性，避免了由于网络环境不良造成远程端和车端中至少之一延迟接收通信数据而对无人车远程驾驶调度产生的不良影响。
实施例四
本实施例提供的太阳能电池板角度调节方法如图4所示。
具体地，本实施所提供的无人车远程驾驶的视频通话方法基本采用与上述实施例三相同的步骤，因此不再赘述。
区别之处在于：本实施例中，在远程端和车端中至少之一的网络环境不良的情况下，向远程端和车端发送网络不良提示和是否继续拉流确认(步骤411)；在远程端和车端的操作人员均确认继续拉流的情况下，将通信数据拉流至远程端和车端，否则暂停将通信数据拉流至远程端和车端(步骤412)。
具体地，在对云服务器中完成云端解码的通信数据进行拉流时，还需要通过设置在远程端和车端上的网络处理模块检测各自的网络环境，同时将检测结果发送至云服务器，当检测结果表示远程端和车端中有至少一方的网络环境不良(如处于弱网或无网环境)时，触发云服务器向远程端和车端的操作人员发送网络不良提示，及是否继续拉流确认。若此时远程端和车端的操作人员均确认继续拉流，则触发云服务器继续将通信数据拉流至远程端和车端。否则(包括远程端和车端的操作人员中有至少一方拒绝继续拉流，或在预设时间内有至少一方未作出继续拉流确认)触发云服务器暂停将通信数据拉流至远程端和车端。
基于本实施方式，体现了远程端与车端之间双向视频通话的人性化服务，平衡了无人车远程调度时的时间成本和调度准确性，即可以使得对于某些不重要或不需要双方同步进行的调度过程在弱网环境下仍可以继续进行，避免了无人车远程调度时间的浪费，而对于某些重要的或需要双方严格同步进行的调度过程在良好的网络环境下进行，保证了无人车远程调度的准确性。
实施例五
本实施例提供的太阳能电池板角度调节方法如图5所示。
具体地，本实施所提供的无人车远程驾驶的视频通话方法基本采用与上述实施例四相同的步骤，因此不再赘述。
区别之处在于：本实施例中，在远程端和车端的操作人员的其中之一连续发送确认继续拉流次数超过阈值时，将通信数据拉流至远程端和车端(步骤413)。
具体地，在对云服务器中完成云端解码的通信数据进行拉流时，还需要通过设置在远程端和车端上的网络处理模块检测各自的网络环境，同时将检测结果发送至云服务器，当检测结果表示远程端和车端中有至少一方的网络环境不良(如处于弱网或无网环境)时，触发云服务器向远程端和车端的操作人员发送网络不良提示，及是否继续拉流确认。进一步的，在远程端和车端的操作人员中有一方确认继续拉流且连续发送确认继续拉流次数超过阈值(其中另一方未确认拉流)，则触发云服务器继续将通信数据拉流至远程端和车端。否则(另一方也拒绝继续拉流，或确认继续拉流但连续发送确认次数未超过阈值)触发云服务器暂停将通信数据拉流至远程端和车端。
基于本实施方式，避免了远程端和车端的双方操作人员对某一调度过程的重要度或是否需要同步进行认知不一致时造成的时间浪费，进一步地提高了无人车远程驾驶的调度效率。
进一步地，可以在远程端和车端的双方操作人员中设置权限等级，只有在权限等级高的一方确认继续拉流且连续发送确认继续拉流次数超过阈值，才触发云服务器继续将通信数据拉流至远程端和车端。如此，可以避免某一操作人员经验不足时做出错误判断对无人车远程调度造成的不良后果。
需要说明的是，对于上述各实施例中多个步骤的执行或实施顺序，本发明不做具体限定。上述各实施例的不同组合所涵盖的步骤组合也可以作为本发明的新的实施例，其也属于本发明的保护范围，此处不再赘述。
基于同一方面构思，本发明还公开了一种无人车远程驾驶的视频通话系统，其中，视频通话事件发生于远程端与车端之间。如图7所示，示出了以远程驾驶舱作为示例的远程端1，及以无人车辆作为示例的车端2，其中，远程驾驶舱与无人车辆之间通过云服务器3进行视频通话。
该系统包括：
远程端通信采集模块11，用于获取远程端的通信数据。
车端通信采集模块21，用于获取车端的通信数据。
推流模块，用于将远程端的通信数据和车端的通信数据同步推流至云服务器3。进一步的，推流模块具体包括设置于车端2的推流模块22，用于将车端2的通信数据推流至云服务器3，和设置在远程端1的推流模块12，用于将远程端1的通信数据推流至云服务器3。
编解码模块31，用于对远程端的通信数据和车端的通信数据在云服务器中进行编码与解码处理。
拉流模块，用于将解码后的远程端的通信数据拉流至车端，同时将解码后的车端的通信数据拉流至远程端。进一步的，拉流模块具体包括设置于车端2的拉流模块23，用于将解码后的远程端的通信数据拉流至车端2，和设置在远程端1的拉流模块13，用于将解码后的车端的通信数据拉流至远程端1。
标签模块32，用于对远程端的通信数据和车端的通信数据添加标签。
存储模块33，用于存储添加标签后的远程端的通信数据和车端的通信数据。
网络处理模块，用于检测远程端和车端的网络环境，并根据检测结果启动或暂停将通信数据拉流至远程端和车端。进一步的，网络处理模块具体包括设置于车端2的网络处理模块24，用于检测车端2的网络环境，和设置在远程端1的网络处理模块14，用于检测远程端1的网络环境。
综上，本发明公开了一种一种基于无人车远程驾驶的视频通话方法及系统，在分别获取远程端与车端的通信数据之后，同步推流至云服务器，并在云服务器中进行编解码之后再同时拉流至远程端与车端，在实现远程驾驶员与无人车车端现场人员的有效互动的情况下，保证了双向视频服务的同步性，提高了远程驾驶过程中的车辆调度效率。
应当说明的是，在本文中，所含术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后应说明的是：显然，上述实施例仅仅是为清楚地说明本发明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (9)

1.一种基于无人车远程驾驶的视频通话方法，其特征在于，视频通话事件发生于远程端与车端之间，所述方法包括：
分别获取所述远程端的通信数据与所述车端的通信数据；
由所述远程端产生推流启动信号，基于所述推流启动信号在所述远程端产生第一推流脉冲信号，和在所述车端产生与所述第一推流脉冲信号具有同步脉冲的第二推流脉冲信号，基于所述第一推流脉冲信号将所述远程端的通信数据推流至云服务器，基于所述第二推流脉冲信号将所述车端的通信数据推流至云服务器；
在云服务器中对所述远程端的通信数据和所述车端的通信数据进行编码与解码处理；
由所述远程端产生第一拉流脉冲信号，由所述车端产生与所述第一拉流脉冲信号具有同步脉冲的第二拉流脉冲信号，基于所述第一拉流脉冲信号将解码后的所述车端的通信数据拉流至所述远程端，基于所述第二拉流脉冲信号将解码后的所述远程端的通信数据拉流至所述车端。
2.根据权利要求1所述的无人车远程驾驶的视频通话方法，其特征在于，分别获取所述远程端的通信数据与所述车端的通信数据包括：
所述车端的通信采集模块的有效采集范围内，所述车端数量为一个，采用所述车端的通信采集模块获取所述车端的通信数据；或者
所述车端的通信采集模块的有效采集范围内，所述车端数量为多个，采用一个或一个以上的车端的通信采集模块获取多个车端的通信数据。
3.根据权利要求1所述的无人车远程驾驶的视频通话方法，其特征在于，在云服务器中对所述远程端的通信数据和所述车端的通信数据进行编码与解码处理的情况下，还包括：
对所述远程端的通信数据和所述车端的通信数据添加标签，并进行存储或分类存储，
其中，所述标签包括以下中的至少之一：时间标签、内容标签、重要度标签和待处理标签。
4.根据权利要求2所述的无人车远程驾驶的视频通话方法，其特征在于，在云服务器中对所述远程端的通信数据和所述车端的通信数据进行编码与解码处理的情况下，还包括：
对所述远程端的通信数据和所述车端的通信数据添加标签，并进行存储或分类存储，
其中，所述标签包括以下中的至少之一：时间标签、内容标签、重要度标签和待处理标签。
5.根据权利要求1-4中任一项所述的无人车远程驾驶的视频通话方法，其特征在于，将解码后的所述远程端的通信数据拉流至所述车端，同时将解码后的所述车端的通信数据拉流至所述远程端的情况下还包括：
检测所述远程端和所述车端的当前的网络环境，并在所述远程端和所述车端中至少之一的所述网络环境不良的情况下暂停将通信数据拉流至所述远程端和所述车端，并向所述远程端和所述车端的操作人员发送暂停操作建议；
在所述远程端和所述车端的所述网络环境均良好时将通信数据拉流至所述远程端和所述车端。
6.根据权利要求1-4中任一项所述的无人车远程驾驶的视频通话方法，其特征在于，将解码后的所述远程端的通信数据拉流至所述车端，同时将解码后的所述车端的通信数据拉流至所述远程端的情况下还包括：
检测所述远程端和所述车端的当前的网络环境，并在所述远程端和所述车端中至少之一的所述网络环境不良的情况下向所述远程端和所述车端发送网络不良提示和是否继续拉流确认；
在所述远程端和所述车端的操作人员均确认继续拉流的情况下，将通信数据拉流至所述远程端和所述车端；
在所述远程端和所述车端的操作人员的其中之一未确认继续拉流的情况下，暂停将通信数据拉流至所述远程端和所述车端，或者
在所述远程端和所述车端的操作人员的其中之一连续发送确认继续拉流次数超过阈值时，将通信数据拉流至所述远程端和所述车端。
7.一种基于无人车远程驾驶的视频通话系统，其特征在于，视频通话事件发生于远程端与车端之间，所述系统包括：
远程端通信采集模块，用于获取所述远程端的通信数据；
车端通信采集模块，用于获取所述车端的通信数据；
推流模块，用于根据具有同步脉冲的第一推流脉冲信号和第二推流脉冲信号将所述远程端的通信数据和所述车端的通信数据同步推流至云服务器；
编解码模块，用于对所述远程端的通信数据和所述车端的通信数据在云服务器中进行编码与解码处理；
拉流模块，用于根据第二拉流脉冲信号将解码后的所述远程端的通信数据拉流至所述车端，以及根据与所述第二拉流脉冲信号具有同步脉冲的第一拉流脉冲信号将解码后的所述车端的通信数据拉流至所述远程端。
8.根据权利要求7所述的无人车远程驾驶的视频通话系统，其特征在于，所述系统还包括：
标签模块，用于对所述远程端的通信数据和所述车端的通信数据添加标签；
存储模块，用于存储添加标签后的所述远程端的通信数据和所述车端的通信数据。
9.根据权利要求7-8中任一项所述的无人车远程驾驶的视频通话系统，其特征在于，所述系统还包括：
网络处理模块，用于检测所述远程端和所述车端的网络环境，并根据检测结果启动或暂停将通信数据拉流至所述远程端和所述车端。
CN202010316421.0A 2020-04-21 2020-04-21 基于无人车远程驾驶的视频通话方法及系统 Active CN111491127B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010316421.0A CN111491127B (zh) 2020-04-21 2020-04-21 基于无人车远程驾驶的视频通话方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010316421.0A CN111491127B (zh) 2020-04-21 2020-04-21 基于无人车远程驾驶的视频通话方法及系统

Publications (2)

Publication Number Publication Date
CN111491127A CN111491127A (zh) 2020-08-04
CN111491127B true CN111491127B (zh) 2021-06-29

Family

ID=71813680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010316421.0A Active CN111491127B (zh) 2020-04-21 2020-04-21 基于无人车远程驾驶的视频通话方法及系统

Country Status (1)

Country Link
CN (1) CN111491127B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114501091B (zh) * 2022-04-06 2022-06-28 新石器慧通（北京）科技有限公司 远程驾驶画面的生成方法、装置及电子设备
CN115359301A (zh) * 2022-09-06 2022-11-18 上海寻序人工智能科技有限公司 一种基于云端平台的数据挖掘方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101953149A (zh) * 2008-02-22 2011-01-19 思科技术公司 远程视频源的同步锁相同步
CN103581604A (zh) * 2012-08-01 2014-02-12 希姆通信息技术（上海）有限公司 视频通话装置及方法
CN105376516A (zh) * 2015-10-19 2016-03-02 深圳市航安网络科技有限公司 一种移动视频会议系统及其实现方法
CN106131708A (zh) * 2016-06-23 2016-11-16 浪潮软件集团有限公司 一种基于广播电视网络的多媒体视频互动远程教学系统
CN106899833A (zh) * 2016-11-21 2017-06-27 长沙世邦通信技术有限公司 可视对讲方法及系统、调度台和终端
CN107197317A (zh) * 2017-06-06 2017-09-22 深圳市米亚印乐科技有限公司 局域网多路信号的直播方法和系统
CN109660851A (zh) * 2018-12-28 2019-04-19 广州有好戏网络科技有限公司 视频同步观看系统
CN109714562A (zh) * 2017-10-25 2019-05-03 北京蓝信汇智科技有限公司 一种高铁移动视频平台及其方法
CN110557391A (zh) * 2019-09-05 2019-12-10 国网安徽省电力有限公司信息通信分公司 一种面向多场景整合应急移动视频交互系统
CN110703632A (zh) * 2019-08-30 2020-01-17 汉腾汽车有限公司 一种集成于智慧警务车的情指联动控制系统和控制方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6950685B2 (ja) * 2016-05-18 2021-10-13 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
MX2019015830A (es) * 2017-06-27 2020-08-03 Callout Llc Sistema y método de comunicación entre proveedores/servicio, camiones y usuarios finales.
CN210042048U (zh) * 2019-09-04 2020-02-07 汉腾汽车有限公司 一种智慧警务车与远程指挥平台视频通讯装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101953149A (zh) * 2008-02-22 2011-01-19 思科技术公司 远程视频源的同步锁相同步
CN103581604A (zh) * 2012-08-01 2014-02-12 希姆通信息技术（上海）有限公司 视频通话装置及方法
CN105376516A (zh) * 2015-10-19 2016-03-02 深圳市航安网络科技有限公司 一种移动视频会议系统及其实现方法
CN106131708A (zh) * 2016-06-23 2016-11-16 浪潮软件集团有限公司 一种基于广播电视网络的多媒体视频互动远程教学系统
CN106899833A (zh) * 2016-11-21 2017-06-27 长沙世邦通信技术有限公司 可视对讲方法及系统、调度台和终端
CN107197317A (zh) * 2017-06-06 2017-09-22 深圳市米亚印乐科技有限公司 局域网多路信号的直播方法和系统
CN109714562A (zh) * 2017-10-25 2019-05-03 北京蓝信汇智科技有限公司 一种高铁移动视频平台及其方法
CN109660851A (zh) * 2018-12-28 2019-04-19 广州有好戏网络科技有限公司 视频同步观看系统
CN110703632A (zh) * 2019-08-30 2020-01-17 汉腾汽车有限公司 一种集成于智慧警务车的情指联动控制系统和控制方法
CN110557391A (zh) * 2019-09-05 2019-12-10 国网安徽省电力有限公司信息通信分公司 一种面向多场景整合应急移动视频交互系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于广电机顶盒视频会议系统的应用与实现;李涛;《广播电视网络》;20200115(第361期);44-47 *

Also Published As

Publication number Publication date
CN111491127A (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN111491127B (zh) 基于无人车远程驾驶的视频通话方法及系统
US9935651B1 (en) Data transmission method and apparatus
CN101426129B (zh) 列车视频监控系统
US20200162458A1 (en) System and method for secure access to camera systems
EP2630795B1 (en) Method and apparatus for adjusting video compression parameters for encoding source video based on a viewer's environment
WO2012060679A1 (en) Community-based smart home system
CN107948198B (zh) 一种流媒体安全隔离网闸
CN106227492A (zh) 拼接墙与移动智能终端互联方法和装置
US10733863B2 (en) System and method for incident handling
CN103680125A (zh) 一种移动终端、召车系统及方法
CN111131755A (zh) 加入音视频会议的方法、流媒体协转服务器
CN104243932A (zh) 一种用于大屏镜像传输的视频镜像编码系统
US20170302977A1 (en) Method for transmitting video surveillance images
CN116452925A (zh) 基于智能算法的监控视频鉴定系统
CN103997486B (zh) 不同操作系统平台白板的互动方法与系统
CN114582111A (zh) 基于5g网络的无人机控制方法、装置和电子设备
US20230066765A1 (en) Controlling devices in operations areas based on environmental states detected using machine learning
WO2019235946A1 (en) System and method for sending and rendering an image by a device based on receiver's context
CN213070072U (zh) 一种车载全景防火监控摄像系统
CN204316654U (zh) 一种用于大屏镜像传输的视频镜像编码系统
CN114202756A (zh) 一种跨网段传输数据的方法、装置及可读介质
CN112911241A (zh) 一种车辆远程监控系统、方法、装置、设备及存储介质
CN201238360Y (zh) 电视监控系统集成与接口的平台
CN211442203U (zh) 一种机动车一键报警投诉融合系统
CN209881949U (zh) 一种智慧城市运营管理中心座席控制器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221123

Address after: 455,000 No. 2 plant at the northeast corner of the intersection of Xinwa Road and Gong'an Road, Gaozhuang Town, Anyang City, Henan Province, urban-rural integration demonstration zone

Patentee after: Neolithic Zhiye (Anyang) Intelligent Technology Co.,Ltd.

Address before: 102200 Beijing science and technology city Changping District two North Street two Anshan Iron and Steel Research Institute No. 122 hospital

Patentee before: NEOLIX TECHNOLOGIES Co.,Ltd.

TR01 Transfer of patent right