CN112073142B - 一种用于车辆的自动泊车方法及系统 - Google Patents

一种用于车辆的自动泊车方法及系统 Download PDF

Info

Publication number
CN112073142B
CN112073142B CN202010911008.9A CN202010911008A CN112073142B CN 112073142 B CN112073142 B CN 112073142B CN 202010911008 A CN202010911008 A CN 202010911008A CN 112073142 B CN112073142 B CN 112073142B
Authority
CN
China
Prior art keywords
time
vehicle
edge cloud
video data
automatic parking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010911008.9A
Other languages
English (en)
Other versions
CN112073142A (zh
Inventor
白勍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Geely Holding Group Co Ltd
Zhejiang Geely Automobile Research Institute Co Ltd
Original Assignee
Zhejiang Geely Holding Group Co Ltd
Zhejiang Geely Automobile Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Geely Holding Group Co Ltd, Zhejiang Geely Automobile Research Institute Co Ltd filed Critical Zhejiang Geely Holding Group Co Ltd
Priority to CN202010911008.9A priority Critical patent/CN112073142B/zh
Publication of CN112073142A publication Critical patent/CN112073142A/zh
Application granted granted Critical
Publication of CN112073142B publication Critical patent/CN112073142B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/06Synchronising arrangements
    • H04J3/0635Clock or time synchronisation in a network
    • H04J3/0638Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0658Clock or time synchronisation among packet nodes
    • H04J3/0661Clock or time synchronisation among packet nodes using timestamps
    • H04J3/0667Bidirectional timestamps, e.g. NTP or PTP for compensation of clock drift and for compensation of propagation delays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06Automatic manoeuvring for parking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22Parsing or analysis of headers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种用于车辆的自动泊车方法及系统,涉及车联网自动驾驶技术领域。自动泊车方法包括:将车辆的时间与边缘云的时间同步;实时采集车辆的行驶环境视频数据、运动状态信息和行驶环境视频数据对应的时间;按照边缘云规划的行驶路径进行自动泊车;车辆接收到移动终端发来的自动泊车停止指令时停止自动泊车;自动泊车停止指令由车辆的用户根据移动终端上显示的行驶环境视频数据、运动状态信息和时间延时选择性地发出,行驶环境视频数据和运动状态信息由移动终端从边缘云获取,时间延时由移动终端从边缘云获取的行驶环境视频数据对应的时间得到。本发明提供的自动泊车方法能够在移动终端实时获取准确延时。

Description

一种用于车辆的自动泊车方法及系统
技术领域
本发明涉及车联网自动驾驶领域,特别是涉及一种用于车辆的自动泊车方法及系统。
背景技术
目前市面已量产的泊车辅助系统主要有三代,分别为:第一代APA(auto parkingassist)自动泊车,第二代RPA(remote parking assist)和第三代基于SLAM(simultaneouslocalization and mapping)技术的自学习泊车。在未来将会出现更为先进的、暂未量产的第四代泊车辅助系统AVP(automated valet parking)。AVP的目标场景一般是商业中心、交通枢纽、景区、公共设施区域、住宅小区、办公楼等,AVP解决的用户痛点是停车需求高,空车位少、要排队,用户赶时间、找空车位费时等,而停车场现状是人车混行、交规不明、建设不规范、天然盲区多等。所以现代化的AVP解决方案更多的是将智能网联汽车、有完备RSU(road side unit)基础设备的智能停车场、边缘云、高精度地图服务、5G移动基站、车主的5G智能手机应用等互动组合起来,实现多种公共场景下500米以内室内、室外停车场的自动召唤和还车。同时还要支持一些重要的AVP功能,比如自动跟车排队、各种复杂车位的全自动泊车、近距离遥控泊车等。
车辆在自动泊车时,车主用自己的智能手机在车外远程观看车辆采集到周围环境实时视频。但由于视频流从产生到播放出来,要经历“车-5G网络-云-5G网络-手机”整个链路过程中的图像生成、各种图像处理、图像融合、压缩、推拉流、转发、解压缩、视频后处理、视频渲染等一系列步骤,而每个步骤都需要消耗一定的时间来对视频流数据进行处理或者传输,因此车主无法判断最后在手机界面里渲染显示的当前视频是多久以前的?即车主无法得到视频处理和传输的总时延数据。因此产生的用户抱怨就是:当前手机正在播放的AVP车辆环境监控视频,可能是数秒钟之前的。而车主必须在观看到AVP车辆监控视频后,才能在智能手机上触发控车动作。如果AVP监控视频处理或传输时延较大,将导致车主无法在远程通过智能手机对AVP车辆采取及时有效的控车措施,这将造成潜在的AVP泊车危险。
发明内容
本发明第一方面的一个目的是提供一种用于车辆的能够在移动终端实时获取准确延时的自动泊车方法。
本发明第一方面的进一步的目的是提供一种用于车辆的高精度和高置信度的自动泊车方法。
本发明第二方面的目的是提供一种用于车辆的能够在移动终端实时获取准确延时的自动泊车系统。
根据上述第一方面,本发明提供了一种用于车辆的自动泊车方法,包括:
将所述车辆的时间与边缘云的时间同步;
实时采集所述车辆的行驶环境视频数据、运动状态信息和所述行驶环境视频数据对应的时间;
将所述行驶环境视频数据、所述运动状态信息和所述行驶环境视频数据对应的时间发送给所述边缘云;
按照所述边缘云规划的行驶路径进行自动泊车,所述行驶路径由所述边缘云根据所述行驶环境视频数据和所述运动状态信息生成;
判断所述车辆是否接收到移动终端发来的自动泊车停止指令;
若是,则控制所述车辆停止自动泊车;
其中,所述移动终端的时间与所述边缘云的时间同步,从而使得所述边缘云、所述车辆及所述移动终端三者的时间同步;
所述自动泊车停止指令由所述车辆的用户根据所述移动终端上显示的所述行驶环境视频数据、所述运动状态信息和时间延时选择性地发出,所述行驶环境视频数据和所述运动状态信息由所述移动终端从所述边缘云获取,所述时间延时由所述移动终端从所述边缘云获取的所述行驶环境视频数据对应的时间得到。
可选地,将所述行驶环境视频数据、所述运动状态信息和所述行驶环境视频数据对应的时间发送给所述边缘云包括:
将所述行驶环境视频数据生成视频流数据帧;
对每一个所述视频流数据帧创建一个时间戳;
建立所述视频流数据帧和所述时间戳的视频推流环形缓冲队列,其中,所述视频推流环形缓冲队列包括多个节点,每一个所述节点包括一个所述视频流数据帧及与所述视频流数据帧对应的时间戳;
将所述节点封装成实时传输协议数据扩展格式并发送给所述边缘云。
可选地,将所述节点封装成实时传输协议数据格式并发送给所述边缘云之后包括:
所述移动终端建立视频拉流环形缓冲队列;
从所述边缘云上实时获取所述节点;
对所述节点按照实时传输协议扩展格式解析,从而得到所述视频流数据帧及与所述视频流数据帧对应的时间戳;
将所述视频流数据帧及与所述视频流数据帧对应的时间戳组合至所述视频拉流环形缓冲队列中的任务节点中;
根据所述时间戳获得所述行驶环境视频数据从所述车辆至所述移动终端的时间延时。
可选地,按照以下公式计算所述时间延时:
时间延时=当前的系统时间-时间戳+行驶环境视频数据从拍摄至车辆获取到之间的传输时延。
可选地,将所述行驶环境视频数据生成视频流数据帧之后还包括:
依次对所述行驶环境视频数据进行预处理、球面投影变换、视频图像配准和图像融合处理后生成360度全景图像;
所述预处理包括:图像畸变校正、去燥、像素调整和色差调整。
可选地,所述行驶环境视频数据由设置在所述车辆上的摄像机获取。
可选地,将所述车辆的时间与边缘云的时间同步包括:
所述车辆周期性地向所述边缘云发送服务请求;
从多个服务器时间参考源中至少选择一个作为参考来推断当前时间,所述多个服务器设置在所述边缘云中的时间服务集群中;
调整所述车辆的时间,使其与所述当前时间一致。
可选地,所述车辆与所述边缘云及所述边缘云与所述移动终端之间均通过5G网络连接。
可选地,按照先进先出原则将所述行驶环境视频数据发送给所述边缘云。
根据上述第二方面,本发明还提供了一种用于车辆的自动泊车系统,包括:
通讯单元,用于将所述车辆的时间与边缘云的时间同步;
采集单元,用于实时采集所述车辆的行驶环境视频数据、运动状态信息和所述行驶环境视频数据对应的时间;
执行单元,用于按照所述边缘云规划的行驶路径进行自动泊车,所述行驶路径由所述边缘云根据所述行驶环境视频数据和运动状态信息生成,通讯单元还用于将所述行驶环境视频数据、所述运动状态信息和所述行驶环境视频数据对应的时间发送给所述边缘云;
执行单元还用于判断所述车辆是否接收到移动终端发来的自动泊车停止指令,若是,则根据所述自动泊车停止指令控制所述车辆停止自动泊车;
其中,所述移动终端的时间与所述边缘云的时间同步,从而使得所述边缘云、所述车辆及所述移动终端三者的时间同步;
所述自动泊车停止指令由所述车辆的用户根据所述移动终端上显示的所述行驶环境视频数据、所述运动状态信息和时间延时选择性地发出,所述行驶环境视频数据和所述运动状态信息由所述移动终端从所述边缘云获取,所述时间延时由所述移动终端从所述边缘云获取的所述行驶环境视频数据对应的时间得到。
本发明提供的用于车辆的自动泊车方法实现了停车场的边缘云、车辆和移动终端之间的时间同步,保证了三者的时间一致性。然后,移动终端从边缘云获取到行驶环境视频数据对应的时间,再结合环境视频数据播放的时间即可得到当前播放的行驶环境视频数据是多长时间之前的,也即时间延时,由于边缘云、车辆和移动终端三者的时间同步,从而保证了得到的时间延时的可信的。进一步地,用户便可根据时间延时、行驶环境视频数据和运行状态信息选择性地发出自动泊车停止指令,例如当用户根据上述信息判断车辆可能发生危险时即可发出自动泊车停止指令。
进一步地,在车端-云端-移动终端的传输过程中,保持住每一个视频帧和该视频帧创建的时间戳的对应关系,固定视频传输时延,每一帧视频图像对应创建的时间戳和当前的系统时间,综合计算出车端云端-移动终端整条链路的视频处理和传输总时延,并显示在移动终端上。因为通过时间同步已经保证了车端-云端-移动终端三者的标准对时,所以最终在移动终端上计算得到的时间延时是高精度和高置信度的。
根据下文结合附图对本发明具体实施例的详细描述,本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解,这些附图未必是按比例绘制的。附图中:
图1是根据本发明的一个实施例的用于车辆的自动泊车方法的流程框图;
图2是本发明的一个实施例的用于车辆的自动泊车方法的技术原理图;
图3是根据本发明的另一个实施例的用于车辆的自动泊车方法的流程框图;
图4是根据本发明的又一个实施例的用于车辆的自动泊车方法的流程框图;
图5是根据本发明的一个实施例中的RTP协议的扩展格式图;
图6是根据本发明的再一个实施例的用于车辆的自动泊车方法的流程框图;
图7是根据本发明的一个实施例的用于车辆的自动泊车系统的结构框图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
图1是根据本发明的一个实施例的用于车辆的自动泊车方法的流程框图。如图1所示,本发明提供了一种用于车辆的自动泊车方法,其一般性地包括:
S10:将车辆的时间与边缘云4的时间同步;
S20:实时采集车辆的行驶环境视频数据、运动状态信息和行驶环境视频数据对应的时间;
S30:将行驶环境视频数据、运动状态信息和行驶环境视频数据对应的时间发送给边缘云4;
S40:按照边缘云4规划的行驶路径进行自动泊车,行驶路径由边缘云4根据行驶环境视频数据和运动状态信息生成;
S50:判断车辆是否接收到移动终端发来的自动泊车停止指令;
S60:若是,则控制车辆停止自动泊车;
其中,移动终端的时间与边缘云4的时间同步,从而使得边缘云4、车辆及移动终端三者的时间同步;
自动泊车停止指令由车辆的用户根据移动终端上显示的行驶环境视频数据、运动状态信息和时间延时选择性地发出,行驶环境视频数据和运动状态信息由移动终端从边缘云4获取,时间延时由移动终端从边缘云4获取的行驶环境视频数据对应的时间得到。本发明提供的自动泊车方法实现了停车场的边缘云4、车辆和移动终端之间的时间同步,保证了三者的时间一致性。然后,移动终端获取到行驶环境视频数据对应的时间,再结合环境视频数据播放的时间即可得到当前播放的行驶环境视频数据是多长时间之前的,也即时间延时,由于边缘云4、车辆和移动终端三者的时间同步,从而保证了得到的时间延时的可信的。进一步地,用户便可根据时间延时、行驶环境视频数据和运行状态信息选择性地发出自动泊车停止指令,例如当用户根据上述信息判断车辆可能发生危险时即可发出自动泊车停止指令。
在一个优选的实施例中,边缘云4中设置有高精度地图系统,除了行驶环境视频数据和运动状态信息外,边缘云4还结合高精度地图数据、自动泊车的位置、目标空车位的位置及交通路况等规划行驶路径。
在一个具体的实施例中,判断车辆是否接收到移动终端发来的自动泊车停止指令包括:边缘云4检查移动终端是否发送来自动泊车停车指令,若是,则边缘云4发送自动泊车停车指令给车辆,车辆判断是否接收到自动泊车停车指令。
图2是本发明的一个实施例的用于车辆的自动泊车方法的技术原理图。网络时间同步中,普遍采用主从模式或对称模式的NTP、SNTP(Simple Network Time Protocol)等,都可归类为双向时间同步法,并且主要是通过软件实现。本发明对智能停车场NTP时间同步子网划分为四个等级。具体地,设定GNSS(全球导航卫星系统)为Stratum-0层,Stratum-0层处于该子网的特殊位置,是时间同步网络的基准时间参考源,它位于子网络的顶端,即由GNSS播发的UTC时间代码,本身并不具有NTP。在边缘云4中建立Stratum-1层和Stratum-2层,设定车辆和移动终端均为Stratum-3层。可以在边缘云4环境中使用授时天线,将Stratum-1层的NTP(Network Time protocol)时间服务器与Stratum-0层的GNSS卫星时间源的时间同步。然后边缘云4的Stratum-2层使用主动对称模式完成与Stratum-1层的NTP时间服务器的时间同步。最后Stratum-3层使用客户端模式,与Stratum-2层使用服务器模式的NTP时间服务集群完成时间同步。这样整个AVP网络环境中所有的网元节点设备都保证了标准对时。
图3是根据本发明的另一个实施例的用于车辆的自动泊车方法的流程框图。如图3所示,在一个进一步的实施例中,将车辆的时间与边缘云4的时间同步包括:
S11:车辆周期性地向边缘云4发送服务请求;
S12:从多个服务器时间参考源中至少选择一个作为参考来推断当前时间,多个服务器设置在边缘云4中的时间服务集群中;
S13:调整车辆的时间,使其与当前时间一致。
继续参加图2,Stratum-1层为NTP时间服务集群,是NTP服务的最高级别(层数越低、服务器级别越高),该集群内部根据需要可以部署多台NTP时间服务器,这些NTP时间服务器之间彼此独立,每个服务器使用授时天线,通过无线卫星网络与GNSS卫星时间源连接,获取标准时间。
Stratum-2层为边缘云4的业务逻辑层,包括车联网安全监控集群、视频流媒体监控集群、RSU安全监控集群等核心的业务支撑系统,另外还需要NTP时间服务集群。在Stratum-2层的这些集群系统中,每个集群内均包括有多台业务服务器,每台业务服务器与Stratum-1层的NTP时间服务器之间为对等体关系,即Stratum-2层的每台业务服务器均会与Stratum-1层每台NTP时间服务器进行时间同步。由于Stratum-1层每台NTP时间服务器的时间是同步的,因此与Stratum-1层NTP时间服务器同步的Stratum-2层每台业务服务器的时间也是同步的。具体地,Stratum-2层使用主动对称模式,即主机不考虑Stratum-1层对等机是否可达,而直接发送周期性的信息。主要考虑Stratum-2层的主机被Stratum-1层的对等级同步化,Stratum-1层使用被动对称模式,该层的NTP主机不发送周期性的消息,它只能响应Stratum-2层主动对称模式操作的对等机发出的要求同步的消息,且这种响应要在协商能够建立(Stratum-2层与Stratum-1层握手成功)的情况下进行。
出于对精确度和可靠性的考虑,Stratum-2层主机可同时引用若干个Stratum-1层主机作为时间同步的参考源,而且也可以引用同层自身业务系统集群内的其他主机作为参考源。NTP能够在时间参考源中选择最好的几个时间源来推断现行时间。在Stratum-2层主机配置为相互参考时,NTP会在多个对等机间进行自动选择,以精确度高者作为共同的参考源,而绝非互相引用。进行时间对准的时候要根据实际的应用环境以及所要求的时间同步的精度等指标来确定进行时间对准的周期是多少,视频流媒体监控系统对于时间精度要求比较高,可以每日进行一次时间对准。
Stratum-3层为物联网终端接入层,包括移动终端和车辆,两者均与边缘云4的Stratum-2层服务建立连接时,首先要进行NTP时间同步对时(访问Stratum-2层的NTP时间服务集群),然后才能与Stratum-2层其它业务系统集群进行通讯和数据交互。Stratum-3层与Stratum-2层采用服务器/客户端这种主从模式进行时间同步。Stratum-3层的设备向Stratum-2层NTP时间服务集群中的多个服务器提出服务请求,根据所交换的信息,从中选择认为最准确的时间,并调整本地的时钟。一般来说,采用现有技术中的选择算法来选择最准确的时间,选择算法为从一组可对时的时钟源里选出对时最精确的时钟。具体地,Stratum-3层设备采用客户端模式,它们不考虑对等机是否可达或对等机的层次,而是直接、主动地发出周期性的广播请求同步信息。客户端模式宣告自身将被同步化,但不是同步化对等机。Stratum-2层的NTP时间服务集群,在与Stratum-3层的设备进行时间同步时,采用服务器模式,该模式的协商就是为响应Stratum-3层客户端模式发出的请求同步消息而进行的,应答服务器模式的主机不能周期性地发送同步消息给客户端。当应答后,协商撤销。服务器模式宣告主机同步化对等机,但不是被对等机同步化。以客户端模式操作的设备发送一个NTP消息到一个以服务器操作模式的主机,服务期进行响应时,简单地交换两者的地址和端口信息,填充要求的信息并返回消息到客户端。服务器需要在客户端请求时保持无状态信息,在发送NTP消息来同步化对等机时,客户端自由地维护间隔。
图4是根据本发明的又一个实施例的用于车辆的自动泊车方法的流程框图。如图4所示,在一个优选的实施例中,将行驶环境视频数据、运动状态信息和行驶环境视频数据对应的时间发送给边缘云4包括:
S31:将行驶环境视频数据生成视频流数据帧;
S32:对每一个视频流数据帧创建一个时间戳;
S33:建立视频流数据帧和时间戳的视频推流环形缓冲队列,其中,视频推流环形缓冲队列包括多个节点,每一个节点包括一个视频流数据帧及与视频流数据帧对应的时间戳;
S34:将节点封装成实时传输协议数据扩展格式并发送给边缘云4。
在本实施例中,在车辆采集到行驶环境视频数据时就为每一个视频帧创建对应的时间戳,然后在车辆端保持住视频帧与其时间戳的对应关系,通过建立建立视频流数据帧和时间戳的视频推流环形缓冲队列、及将节点封装成实时传输协议数据格式保持视频帧与其时间戳在从车辆传输至边缘云4的过程中的对应关系。
图5是根据本发明的一个实施例中的RTP协议的扩展格式图。如图5所示,V表示版本,2bits;P为填充标识,1bits,一般没有填充,如设置填充,在在包尾将包含附加填充字,不属于有效载荷,填充在最后一个8bits包含应该忽略的8bits计数,某些加密算法需要固定大小的填充字,或为在底层协议数据单元中携带几个RTP包;X为扩展位,1bits,这里需要设置扩展置位,固定头后跟一个头扩展,即会在RTP的header之后,payload之前增加RTP扩展头;CC为CSRC计数,4bits,包括紧接在固定头后CSRC标识符个数;M为标记,1bits,标记解释由设置定义,目的在于允许重要事件在包流中标记出来,设置可定义其他标示位,或通过改变位数量来制定没有标记位;PT为载荷类型,7bits,范围是96~127,记录后面资料使用哪种Codec,接收端找出相应的Decoder解码出来;sequence number为序列号,16bits,序列号随每个RTP数据包而增加1,由接收者用来探测包损失,序列号初值是随机的,使对加密的文本攻击更加困难;timestamp为时间戳,32bits,反映了RTP数据包中第一个8bits数据的采样时刻,采样时刻必须从单调、线性增加的时钟导出,以允许同步与抖动计算,时间戳可以让接收者在正确的时间将资料播放出来;SSRC为同步信源标识符,32bits,用于标识同步信源,标识符被随机生成,目的在于使同一个RTP包连接中没有两个同步源有相同的SSRC标识;CSRC为贡献信源标识符,每一个CSRC标识符为32bits,可以有0~15个,CSRC标识了包含在该RTP报文有效载荷中的所有贡献信源(贡献信源是指混合器接收到一个或多个同步信源的RTP报文后,经过混合处理产生一个新的组合RTP报文,并把混合器作为组合RTP报文的SSRC,而将原来所有的SSRC都作为CSRC传送给接收者,使接收者知道组成组合报文的各个SSRC),标识数量由CC段给出,如超过15个作用源,也仅标识15个;header extension为头扩展,RTP提供扩展机制以允许实现个性化(某些新的与负载格式独立的功能要求的附加信息在RTP数据包头中传输),当固定头的扩展位是1的时候,就会有头扩展,头扩展是跟在固定头后的,如果有CSRC,就跟在CSRC后,头扩展包含16bits的长度域,指示扩展项中32bits字的个数,不包括4个字节扩展头(因此零是有效值),RTP固定头之后只允许有一个头扩展,为允许多个互操作实现独立生成不同的头扩展,或某种特定实现有多种不同的头扩展,扩展项的前16bits的格式由具体实现的上层协议定义,基本的RTP说明本身并不定义任何头扩展;payload为有效载荷,存储实际待传输的任何视频、音频等有效载荷数据;padding为填充,有效填充字(比如一些加密算法可能需要填充固定块大小);count为填充计数,8bits,表示计数多少个填充8bits应该被忽略,包括自身(它是4的倍数)。
按照RTP协议扩展格式添加360°全景图象数据,另外需要把扩展位(X)置成1,以便增加头扩展数据,头扩展数据包括:defined by profile可自定义成双字节16bits的对AVP视频实时监控业务应用有意义的内容,length长度可设置为13(时间戳数据可精确到毫秒级),head extension部分可填写时间戳信息(注意此时间戳是从原始的4路视频图像生成时所对应的时间戳过度而来,与RTP协议格式中的时间戳字段不同)。
图6是根据本发明的再一个实施例的用于车辆的自动泊车方法的流程框图。如图6所示,在一个进一步的实施例中,将节点封装成实时传输协议数据格式并发送给边缘云4之后包括:
S35:移动终端建立视频拉流环形缓冲队列;
S36:从边缘云4上实时获取节点;
S37:对节点按照实时传输协议扩展格式解析,从而得到视频流数据帧及与视频流数据帧对应的时间戳;
S38:将视频流数据帧及与视频流数据帧对应的时间戳组合至视频拉流环形缓冲队列中的任务节点中;
S39:根据时间戳获得行驶环境视频数据从车辆至移动终端的时间延时。
如此,在车端-云端-移动终端的传输过程中,保持住每一个视频帧和该视频帧创建的时间戳的对应关系,固定视频传输时延,每一帧视频图像对应创建的时间戳和当前的系统时间,综合计算出车端云端-移动终端整条链路的视频处理和传输总时延,并显示在移动终端上。因为通过时间同步已经保证了车端-云端-移动终端三者的标准对时,所以最终在移动终端上计算得到的时间延时是高精度和高置信度的。
具体地,移动终端首先建立视频拉流环形缓冲队列,然后从边缘云4上进行实时视频拉流,对RTP协议扩展格式进行解析,获取到实时图像帧数据及RTP头扩展里面的时间戳数据,将他们组合到视频拉流环形缓冲队列的每个任务节点中进行缓冲。然后从视频拉流环形缓冲队列中顺序取出每一个任务节点,根据市面上主流的H.264/H.265和AVS等编码标准,对其中的视频图像帧进行解压缩处理(解码),接着可以对视频数据进行可选的降噪、帧率转换以及视频后处理等操作,最后对于处理完的、预渲染的视频数据,再使用一个自定义的服务队列来进行渲染实时视频流缓冲,队列的每个节点都包含了一个当前时刻已经处理好的全景图像数据帧,以及在之前各个视频处理和传输阶段保持的该图像帧创建时的时间戳timestamp。移动终端在播放车辆实时视频监控画面时,从服务队列中顺序取得任务节点,得到全景图像数据帧以及对应的时间戳timestamp。对于当前要播放的任何一个视频图像帧,都要计算当前的系统时间,并实时显示车-云-手机整条链路上时间延时。
在一个优选的实施例中,按照以下公式计算时间延时:
时间延时=当前的系统时间-时间戳+行驶环境视频数据从拍摄至车辆获取到之间的传输时延。
在一个具体的实施例中,新一代的AVP车辆配置的AVM(Around View Monitor)环视摄像机分为前、后、左、右四路。每一路摄像机一般的分辨率在1920*720以上,帧率是30fps,则每一路摄像机每秒通过LVDS(Low-Voltage Differential Signaling)(在该实施例中,摄像机与控制器通过LVDS传输信息)低电压差分信号线串行传输到控制器的数据量大小为:video_size/s=1920*720*4*30=158.2MB/s,那么一帧视频通过LVDS线的传输时延(行驶环境视频数据从拍摄至车辆获取到之间的传输时延)为33.3ms。考虑到控制器需要接入四路AVM环视摄像机,且四路摄像机采集的环视视频数据是并行传输给控制器的,因此,认为总的视频传输时延与单路视频传输时延是一致的。
本发明通过实现边缘云4、车辆和移动终端之间的标准对时,以及基于时间戳服务队列标记的视频流处理时延实时监控,使得用户在远程通过移动终端(例如智能手机)即可对车辆进行实时视频监控,同时实时地获得视频流从产生到播放出来的一系列出来过程的时间延时,及时告知用户移动终端当前播放的视频场景是多久以前的,以便用户及时准确地在远程移动终端上采取应急措施,避免事故的发生。
在一个具体的实施例中,将行驶环境视频数据生成视频流数据帧之后还包括:
依次对行驶环境视频数据进行预处理、球面投影变换、视频图像配准和图像融合处理后生成360度全景图像;
预处理包括:图像畸变校正、去燥、像素调整和色差调整。
其中,对球面投影变换是因为摄像机拍摄的角度并不是一成不变的,而是多角度的,需要把待拼接图像序列中的图像统一映射到同一个投影屏面上,常用的投影方式有平面投影、柱面投影、球面投影和立方体投影等。视频图像配准是通过数学方式来描述一组待拼接图像的位置关系,目前比较常见的配准算法包括基于灰度和模板的方法、基于特征的匹配方法、基于频域变换的方法等。视频图像融合主要实现图像之间拼接缝的消除,常用的算法有直接平均法、加权平均法、重叠区线性过渡法和中值滤波法等。生成360°全景图像后,采用市面上主流的H.264/H.265和AVS等编码标准,对360°全景图像进行压缩编码。
由于移动基站的网络资源有限,如果有多个物联网终端同时连接至某个移动基站,将会导致车辆的行驶环境视频数据经过边缘云4传输至移动终端的时延不可控。因此,车端-云端-移动终端的信息传输一般采用UDP(User Datagram Protocol)用户数据报协议基础之上的RTP(Real-time Transport Protocol)实时传输协议。在车辆上设置T-Box,作为车辆与云端通讯的中介,从视频推流环形缓冲队列中取得队列节点的视频帧数据和时间戳数据,封装成RTP通讯协议扩展格式发送给边缘云4,可以提高数据传输的速度和准确性。
在一个具体的实施例中,行驶环境视频数据由设置在车辆上的摄像机获取。
在一个优选的实施例中,车辆与边缘云4及边缘云4与移动终端之间均通过5G网络连接。
在一个进一步地实施例中,按照先进先出原则将行驶环境视频数据发送给边缘云4,另外,移动终端也按照先进先出原则从边缘云4获取行驶环境视频数据。
图7是根据本发明的一个实施例的用于车辆的自动泊车系统的结构框图。如图7所示,本发明还提供了一种用于车辆的自动泊车系统,采用上述任意一个实施例提供的自动泊车方法进行操作,自动泊车系统一般性地包括通讯单元1、采集单元2和执行单元3。通讯单元1用于将车辆的时间与边缘云4的时间同步。采集单元2用于实时采集车辆的行驶环境视频数据、运动状态信息和行驶环境视频数据对应的时间。通讯单元1还用于将行驶环境视频数据、运动状态信息和行驶环境视频数据对应的时间发送给边缘云4。执行单元3用于按照边缘云4规划的行驶路径进行自动泊车,行驶路径由边缘云4根据行驶环境视频数据和运动状态信息生成。执行单元3还用于判断车辆是否接收到移动终端发来的自动泊车停止指令,若是,则根据自动泊车停止指令控制车辆停止自动泊车。其中,移动终端的时间与边缘云4的时间同步,从而使得边缘云4、车辆及移动终端三者的时间同步。自动泊车停止指令由移动终端根据从边缘云4获取的行驶环境视频数据对应的时间得到的时间延时,及从边缘云4获取的行驶环境视频数据和运动状态信息生成。优选的,通讯单元1还用于接收边缘云4发来的远程泊车控制指令,以便能及时停止自动泊车动作。
本发明提供的用于车辆的自动泊车系统实现了停车场的边缘云4、车辆和移动终端之间的时间同步,保证了三者的时间一致性。然后,移动终端从边缘云4获取到行驶环境视频数据对应的时间,再结合环境视频数据播放的时间即可得到当前播放的行驶环境视频数据是多长时间之前的,也即时间延时,由于边缘云4、车辆和移动终端三者的时间同步,从而保证了得到的时间延时的可信的。进一步地,用户便可根据时间延时、行驶环境视频数据和运行状态信息选择性地发出自动泊车停止指令,例如当用户根据上述信息判断车辆可能发生危险时即可发出自动泊车停止指令。
在上述实施例中,通讯单元1可以为设置在车辆上的TBox和网关,负责车辆与边缘云4之间的通讯,包括将发送NTP时间校准请求给边缘云4,然后将边缘云4下发的校准时间传递给车辆,将车辆的行驶环境视频数据和运动状态信息发送给边缘云4,将边缘云4下发的自动泊车指令传递给车辆等。
采集单元2可以为车辆上配置的传感器,包括采集行驶环境视频数据的传感器,如AVM摄像头、毫米波雷达及超声波雷达等,还包括采集车辆运动状态信息的传感器,如GNSS定位、IMU及轮速脉冲等,采集单元2将采集到的数据发送给执行单元3,再由执行单元3通过通讯单元1发送给边缘云4。
执行单元3可以集成在车辆上的自动泊车系统中,自动泊车系统是车端的核心,负责自动泊车的环境感知和决策过程,执行单元3将行驶路径解析后发送给相应的动力执行系统,从而完成车辆横纵向动作的执行。
至此,本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种用于车辆的自动泊车方法,其特征在于,包括:
将所述车辆的时间与边缘云的时间同步;
实时采集所述车辆的行驶环境视频数据、运动状态信息和所述行驶环境视频数据对应的时间;
将所述行驶环境视频数据、所述运动状态信息和所述行驶环境视频数据对应的时间发送给所述边缘云;
按照所述边缘云规划的行驶路径进行自动泊车,所述行驶路径由所述边缘云根据所述行驶环境视频数据和所述运动状态信息生成;
判断所述车辆是否接收到移动终端发来的自动泊车停止指令;
若是,则控制所述车辆停止自动泊车;
其中,所述移动终端的时间与所述边缘云的时间同步,从而使得所述边缘云、所述车辆及所述移动终端三者的时间同步;
所述自动泊车停止指令由所述车辆的用户根据所述移动终端上显示的所述行驶环境视频数据、所述运动状态信息和时间延时选择性地发出,所述行驶环境视频数据和所述运动状态信息由所述移动终端从所述边缘云获取,所述时间延时为所述行驶环境视频数据从所述车辆至所述移动终端的时间延时。
2.根据权利要求1所述的自动泊车方法,其特征在于,将所述行驶环境视频数据、所述运动状态信息和所述行驶环境视频数据对应的时间发送给所述边缘云包括:
将所述行驶环境视频数据生成视频流数据帧;
对每一个所述视频流数据帧创建一个时间戳;
建立所述视频流数据帧和所述时间戳的视频推流环形缓冲队列,其中,所述视频推流环形缓冲队列包括多个节点,每一个所述节点包括一个所述视频流数据帧及与所述视频流数据帧对应的时间戳;
将所述节点封装成实时传输协议数据扩展格式并发送给所述边缘云。
3.根据权利要求2所述的自动泊车方法,其特征在于,将所述节点封装成实时传输协议数据格式并发送给所述边缘云之后包括:
所述移动终端建立视频拉流环形缓冲队列;
从所述边缘云上实时获取所述节点;
对所述节点按照实时传输协议扩展格式解析,从而得到所述视频流数据帧及与所述视频流数据帧对应的时间戳;
将所述视频流数据帧及与所述视频流数据帧对应的时间戳组合至所述视频拉流环形缓冲队列中的任务节点中;
根据所述时间戳获得所述行驶环境视频数据从所述车辆至所述移动终端的时间延时。
4.根据权利要求3所述的自动泊车方法,其特征在于,按照以下公式计算所述时间延时:
时间延时=当前的系统时间-时间戳+行驶环境视频数据从拍摄至车辆获取到之间的传输时延。
5.根据权利要求4所述的自动泊车方法,其特征在于,将所述行驶环境视频数据生成视频流数据帧之后还包括:
依次对所述行驶环境视频数据进行预处理、球面投影变换、视频图像配准和图像融合处理后生成360度全景图像;
所述预处理包括:图像畸变校正、去燥、像素调整和色差调整。
6.根据权利要求5所述的自动泊车方法,其特征在于,所述行驶环境视频数据由设置在所述车辆上的摄像机获取。
7.根据权利要求1所述的自动泊车方法,其特征在于,将所述车辆的时间与边缘云的时间同步包括:
所述车辆周期性地向所述边缘云发送服务请求;
从多个服务器时间参考源中至少选择一个作为参考来推断当前时间,所述多个服务器设置在所述边缘云中的时间服务集群中;
调整所述车辆的时间,使其与所述当前时间一致。
8.根据权利要求1所述的自动泊车方法,其特征在于,所述车辆与所述边缘云及所述边缘云与所述移动终端之间均通过5G网络连接。
9.根据权利要求2所述的自动泊车方法,其特征在于,按照先进先出原则将所述行驶环境视频数据发送给所述边缘云。
10.一种用于车辆的自动泊车系统,采用权利要求1-9任一项所述的自动泊车方法操作,其特征在于,包括:
通讯单元(1),用于将所述车辆的时间与边缘云(4)的时间同步;
采集单元(2),用于实时采集所述车辆的行驶环境视频数据、运动状态信息和所述行驶环境视频数据对应的时间;
执行单元(3),用于按照所述边缘云(4)规划的行驶路径进行自动泊车,所述行驶路径由所述边缘云(4)根据所述行驶环境视频数据和运动状态信息生成;
所述通讯单元(1)还用于将所述行驶环境视频数据、所述运动状态信息和所述行驶环境视频数据对应的时间发送给所述边缘云(4);
所述执行单元还用于判断所述车辆是否接收到移动终端发来的自动泊车停止指令,若是,则根据所述自动泊车停止指令控制所述车辆停止自动泊车;
其中,所述移动终端的时间与所述边缘云(4)的时间同步,从而使得所述边缘云(4)、所述车辆及所述移动终端三者的时间同步;
所述自动泊车停止指令由所述车辆的用户根据所述移动终端上显示的所述行驶环境视频数据、所述运动状态信息和时间延时选择性地发出,所述行驶环境视频数据和所述运动状态信息由所述移动终端从所述边缘云(4)获取,所述时间延时为所述行驶环境视频数据从所述车辆至所述移动终端的时间延时。
CN202010911008.9A 2020-09-02 2020-09-02 一种用于车辆的自动泊车方法及系统 Active CN112073142B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010911008.9A CN112073142B (zh) 2020-09-02 2020-09-02 一种用于车辆的自动泊车方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010911008.9A CN112073142B (zh) 2020-09-02 2020-09-02 一种用于车辆的自动泊车方法及系统

Publications (2)

Publication Number Publication Date
CN112073142A CN112073142A (zh) 2020-12-11
CN112073142B true CN112073142B (zh) 2023-04-18

Family

ID=73666424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010911008.9A Active CN112073142B (zh) 2020-09-02 2020-09-02 一种用于车辆的自动泊车方法及系统

Country Status (1)

Country Link
CN (1) CN112073142B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112738417A (zh) * 2020-12-24 2021-04-30 浙江赫千电子科技有限公司 一种车载视频的数据采集存储显示方法
US11829146B2 (en) * 2020-12-28 2023-11-28 Waymo Llc External indication handling for autonomous driving systems
CN113364646B (zh) * 2021-06-03 2022-05-17 杭州网易智企科技有限公司 确定往返延迟的方法、装置及系统、存储介质和电子设备
CN113271172B (zh) * 2021-07-16 2021-10-08 智道网联科技(北京)有限公司 时间同步方法及其装置
CN115810280A (zh) * 2021-09-15 2023-03-17 海信集团控股股份有限公司 一种路侧感知信息传输方法、多接入边缘设备及远端车辆
CN113904749A (zh) * 2021-09-29 2022-01-07 北京图菱视频科技有限公司 一种基于网络时间协议的机器人时间同步方法及系统
CN113900431B (zh) * 2021-09-30 2024-06-18 北京百度网讯科技有限公司 远程控制信息处理方法、装置、电子设备及自动驾驶车辆
CN114228701B (zh) * 2021-11-30 2023-10-20 岚图汽车科技有限公司 一种基于传感器数据融合的泊车控制方法和装置
US11946751B2 (en) 2022-05-17 2024-04-02 Ford Global Technologies, Llc Determining a vehicle route
CN114928634B (zh) * 2022-06-29 2023-12-29 肇庆小鹏新能源投资有限公司广州分公司 泊车控制方法和计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109104502A (zh) * 2018-10-09 2018-12-28 北京智行者科技有限公司 一种远程遥控的泊车方法和系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110099126A1 (en) * 2005-08-30 2011-04-28 Sensact Applications, Inc. Automated Parking Policy Enforcement System
CN106330757B (zh) * 2015-06-30 2020-04-21 腾讯科技(深圳)有限公司 流量控制方法及装置
CN109159769B (zh) * 2018-08-09 2022-03-22 耀灵人工智能(浙江)有限公司 一种基于视频定位的自动存车、取车方法与系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109104502A (zh) * 2018-10-09 2018-12-28 北京智行者科技有限公司 一种远程遥控的泊车方法和系统

Also Published As

Publication number Publication date
CN112073142A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN112073142B (zh) 一种用于车辆的自动泊车方法及系统
US10166917B2 (en) Transmission of uncompressed video in cellular networks
US8625443B2 (en) System for measuring transmission bandwidth for media streaming and method for same
KR100703399B1 (ko) 멀티미디어 컨텐츠를 연속적으로 전송하는 장치 및 방법
CN108347436A (zh) 一种基于云端的无人机远程视频推送方法
US8239911B1 (en) Video bursting based upon mobile device path
US9621617B2 (en) Method and server for sending a data stream to a client and method and client for receiving a data stream from a server
CN107533449B (zh) 使用移动定位信息来控制体育场布置中的超宽视频显示器
KR20140008237A (ko) 엠엠티의 하이브리드 전송 서비스에서 패킷 전송 및 수신 장치 및 방법
CN102196030A (zh) 自适应场景绘制v2x视频/图像共享
CN103561244A (zh) 采用智能手机实时监控模型飞机航拍数据的系统及其方法
CN111829546A (zh) 一种ar导航系统及设备、时钟校正方法
WO2019048733A1 (en) TRANSMISSION OF VIDEO CONTENT BASED ON FEEDBACK
CN102932648A (zh) 基于多媒体数据传输的监控点定位方法及装置
KR102340510B1 (ko) 초저지연 영상 인코딩 장치 및 방법
CN108696720B (zh) 一种适用于卫星通信的视频调度系统和方法
CN109842792A (zh) 视频播放方法、装置、系统及存储介质
EP4009645A1 (en) Terminal devices, infrastructure equipment and methods
JP2005006131A (ja) 適切帯域設定データ送信移動端末、適切帯域設定装置及び適切帯域設定送受信システム
CN113055736B (zh) 一种视频接收、发送方法、终端设备及路侧设备
CN103905784A (zh) 交互式远程监控视频调用方法及系统
CN102404369B (zh) 实时视频推送方法、系统及中心业务服务器
CN107222769B (zh) 一种辅助数据流的传输方法、设备和系统
KR20200055596A (ko) 차량에 탑재되는 단말 장치가 영상을 전송하는 방법 및 차량의 주행을 제어하는 원격 제어 장치가 영상을 수신하는 방법
CN103037341A (zh) 播放、转换流式媒体的方法及移动终端、服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant