CN113589820A - 远程驾驶的辅助处理方法、装置及系统 - Google Patents
远程驾驶的辅助处理方法、装置及系统 Download PDFInfo
- Publication number
- CN113589820A CN113589820A CN202110924301.3A CN202110924301A CN113589820A CN 113589820 A CN113589820 A CN 113589820A CN 202110924301 A CN202110924301 A CN 202110924301A CN 113589820 A CN113589820 A CN 113589820A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- coordinate system
- prediction reference
- reference line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims description 32
- 230000007613 environmental effect Effects 0.000 claims description 18
- 230000008447 perception Effects 0.000 abstract description 12
- 230000033001 locomotion Effects 0.000 abstract description 5
- 239000011159 matrix material Substances 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000002085 persistent effect Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000002355 dual-layer Substances 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请是关于一种远程驾驶的辅助处理方法、装置及系统。该方法包括：获取车辆拍摄的环境图像及对应的图像采集参数；获取根据图像采集参数将路径预测参考线转换到图像坐标系中的数据点；根据路径预测参考线在图像坐标系中的数据点，在环境图像中生成行驶辅助线。本申请提供的方案，能够增强云端驾驶员对车辆周边环境的感知能力，提高驾驶的安全性。云端驾驶员在实际远程驾驶车辆时，通过观察环境图像上的行驶辅助线，可以更加准确感知车辆的行驶轨迹和运动方向，从而降低云端驾驶员的操控难度，提升远程驾驶的安全性。
Description
技术领域
本申请涉及远程驾驶技术领域，尤其涉及一种远程驾驶的辅助处理方法、装置及系统。
背景技术
目前，随着汽车智能化的不断发展，自动驾驶技术也逐渐被广泛应用，并且出现了远程驾驶技术。
远程驾驶系统主要由云端驾驶舱(简称云端)、被控车辆(简称车端)和通信网络组成。被控车辆通过5G通信网络上传各种车载传感器数据以及当前车辆状态数据至云端驾驶舱。云端驾驶舱的云端驾驶员可以通过云端驾驶舱的显示器观察车辆状态数据，并操控云端驾驶舱的方向盘、油门踏板和刹车踏板等，由PC主机下发相应的遥控指令至被控行驶车辆，从而实现远程驾驶。
相关技术中，云端驾驶员在进行远程驾驶时，一般借助被控车辆的图像采集单元例如相机对外界环境进行感知，例如通过图像采集单元拍摄回传周边环境的视频，并上传到云端驾驶舱供云端驾驶员感知。但是，即使采用相关技术中的方法，云端驾驶员对于车端周边的环境感知能力仍有待增强。
发明内容
为克服相关技术中存在的问题，本申请提供一种远程驾驶的辅助处理方法、装置及系统，能够增强云端驾驶员对车辆周边环境的感知能力，提高驾驶的安全性。
本申请第一方面提供一种远程驾驶的辅助处理方法，包括：
获取车辆拍摄的环境图像及对应的图像采集参数；
获取根据所述图像采集参数将路径预测参考线转换到图像坐标系中的数据点；
根据所述路径预测参考线在图像坐标系中的数据点，在所述环境图像中生成行驶辅助线。
在一实施方式中，所述获取根据所述图像采集参数将路径预测参考线转换到图像坐标系中的数据点，包括：
云端接收车辆上传的在车辆坐标系中生成的路径预测参考线，将所述路径预测参考线进行曲线离散处理得到路径离散点，根据所述图像采集参数将所述路径离散点从所述车辆坐标系转换到所述图像坐标系，得到所述路径预测参考线在所述图像坐标系中的数据点；或，
云端在车辆坐标系中生成路径预测参考线，将所述路径预测参考线发送给所述车辆，在所述车辆将所述路径预测参考线进行曲线离散处理得到路径离散点，及根据所述图像采集参数将所述路径离散点从所述车辆坐标系转换到图像坐标系得到在所述图像坐标系中的数据点之后，接收所述车辆上传的所述路径预测参考线在图像坐标系中的数据点。
在一实施方式中，所述路径预测参考线根据所述车辆的车身参数和所述车辆的当前转向角度，在车辆坐标系中生成。
在一实施方式中，所述获取车辆拍摄的环境图像及对应的图像采集参数，包括：
获取位于车辆不同位置的图像采集单元拍摄的环境图像，及所述不同位置的图像采集单元的图像采集参数。
在一实施方式中，所述根据所述路径预测参考线在图像坐标系中的数据点，在所述环境图像中生成行驶辅助线，包括：
将所述路径预测参考线在图像坐标系中的数据点连接，在所述环境图像中形成行驶辅助线中的对应车辆车身两侧的车轮行驶路径曲线。
在一实施方式中，所述方法还包括：
在所述行驶辅助线框定的区域内标识危险警示区，其中，所述危险警示区包括与所述车辆的车头间隔预设距离的区域。
在一实施方式中，所述预设距离根据所述车辆的车速对应的极限刹车距离和刹停时间调整设置。
在一实施方式中，所述生成的行驶辅助线还包括至少一条距离标识线，其中所述距离标识线连接于所述车轮行驶路径曲线，相邻两所述距离标识线的间隔距离根据预设规则设置。
本申请第二方面提供了一种远程驾驶的辅助处理装置，包括：
第一获取模块，用于获取车辆拍摄的环境图像及对应的图像采集参数；
第二获取模块，用于获取根据所述图像采集参数将路径预测参考线转换到图像坐标系中的数据点；
辅助线生成模块，用于根据所述第二获取模块获取的所述路径预测参考线在图像坐标系中的数据点，在所述第一获取模块获取的所述环境图像中生成行驶辅助线。
本申请第三方面提供了一种远程驾驶的辅助处理系统，其包括车辆和云端，其中：
所述云端，用于获取车辆拍摄的环境图像及对应的图像采集参数；获取根据所述图像采集参数将路径预测参考线转换到图像坐标系中的数据点；根据所述路径预测参考线在图像坐标系中的数据点，在所述环境图像中生成行驶辅助线；
所述车辆，用于向所述云端上传车辆拍摄的环境图像及对应的图像采集参数。
在一实施方式中，所述车辆，用于获取车辆拍摄的环境图像及对应的图像采集参数，在车辆坐标系中生成路径预测参考线，将所述环境图像及对应的图像采集参数、所述生成的路径预测参考线上传给所述云端；所述云端，用于接收所述车辆上传的所述环境图像及对应的图像采集参数、所述生成的路径预测参考线，将所述路径预测参考线进行曲线离散处理得到路径离散点，根据所述图像采集参数将所述路径离散点从所述车辆坐标系转换到所述图像坐标系，得到所述路径预测参考线在所述图像坐标系中的数据点；或，
所述云端，用于在车辆坐标系中生成路径预测参考线，将所述路径预测参考线发送给所述车辆；所述车辆，用于获取车辆拍摄的环境图像及对应的图像采集参数，接收所述云端发送的所述路径预测参考线，将所述路径预测参考线进行曲线离散处理得到路径离散点，及根据所述图像采集参数将所述路径离散点从所述车辆坐标系转换到图像坐标系得到在所述图像坐标系中的数据点，将所述路径预测参考线在图像坐标系中的数据点上传给所述云端。
本申请提供的技术方案可以包括以下有益效果：
本申请提供的方案，通过获取车辆拍摄的环境图像及对应的图像采集参数，将路径预测参考线结合图像采集参数获得图像坐标系中的数据点，根据数据点在对应的环境图像中生成行驶辅助线。这样的设计，云端驾驶员在实际远程驾驶车辆时，通过观察环境图像上的行驶辅助线，可以更加准确感知车辆的行驶轨迹和运动方向，从而降低云端驾驶员的操控难度，提升远程驾驶的安全性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1为本申请一实施例中的远程驾驶的辅助处理方法的流程示意图；
图2为本申请另一实施例中的远程驾驶的辅助处理方法的流程示意图；
图3为本申请另一实施例中的远程驾驶的辅助处理方法的交互示意图；
图4为本申请一实施例中的车辆的行驶辅助线的示意图；
图5为本申请另一实施例中的远程驾驶的辅助处理方法的流程示意图；
图6为本申请另一实施例中的远程驾驶的辅助处理方法的交互示意图；
图7为本申请一实施例中远程驾驶的辅助处理装置的结构示意图；
图8为本申请一实施例中远程驾驶的辅助处理系统的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的优选实施方式。虽然附图中显示了本申请的优选实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
相关技术中，云端驾驶员对于车端周边的环境感知能力仍有待增强。针对上述问题，本申请实施例提供一种远程驾驶的辅助处理方法，能够增强云端驾驶员对车辆周边环境的感知能力，提高驾驶的安全性。
为了便于理解本申请实施例方案，以下结合附图详细描述本申请实施例的技术方案。
请参阅图1，图1是本申请一实施例示出的远程驾驶的辅助处理方法的流程示意图。
如图1所示，该方法包括：
步骤S110，获取车辆拍摄的环境图像及对应的图像采集参数。
为了便于云端驾驶员感知车辆的周边环境，以便云端驾驶员实行远程驾驶，车辆可以通过图像采集单元例如相机实时拍摄包含周边环境的图像并上传至云端，该图像可以称为环境图像。云端驾驶员可以在云端直接观看环境图像以感知车辆的周边环境。可以理解，当图像采集单元的采集频率足够快时，获得的多帧环境图像可以连续显示并以视频的形式呈现，从而便于云端驾驶员实时观看车辆的周边环境。
其中，车辆可以包括至少一个图像采集单元，图像采集单元可以是相机，图像采集单元可以用于对应拍摄车辆的车头前方的周边环境图像。车辆可以包括多个图像采集单元，各图像采集单元安装于车辆的不同部位，形成对应的拍摄角度，以对应拍摄车辆不同方位的周边环境视频，从而丰富云端驾驶员对车辆周边环境的感知。可以理解，不同的图像采集单元具有对应的图像采集参数，从而获得符合该图像采集参数的环境图像。
步骤S120，获取根据图像采集参数将路径预测参考线转换到图像坐标系中的数据点。
路径预测参考线可以根据车辆的车身参数和车辆的当前转向角度，在车辆坐标系中生成。相关技术中，可以通过车辆运动学模型，根据车辆的车身参数和车辆的当前转向角度，以车辆为中心形成车辆坐标系，并在车辆坐标系中生成路径预测参考线。其中，车辆坐标系可以是笛卡尔坐标系。可以理解，路径预测参考线为车辆行驶时位于车头前方的即将行驶的路径预测参考线。也就是说，根据车辆行驶的当前转向角度和车身参数，可以预测车辆即将行驶的路径，从而可以预测车辆的行驶趋势。
本申请实施例通过相关技术对路径预测参考线进行曲线离散处理，得到对应的路径离散点。可以理解，路径离散点为车辆坐标系中的点。在一实施例中，可以采用等距离散的方式对路径预测参考线进行曲线离散，以获得对应的路径离散点。当路径预测参考线为直线时，可以按照等长间距对路径预测参考线进行分割，每一分割位置所在的点即为路径离散点。当路径预测参考线为曲线时，可以按照相同的角度对路径预测参考线进行分割，每一分割位置所在的点即为路径离散点。其中，可以预先设置需要获取的路径离散点的预设个数，根据预设个数对路径预测参考曲线进行曲线离散处理。其中，预设个数可以是10个至20个，例如10个、13个、15个、17个或20个。进一步的，根据图像采集参数，将对应的路径离散点转换至对应的图像坐标系中，从而转换获得位于图像坐标系中的数据点。其中，数据点的数量与路径离散点的数量相同。进一步地，在一实施例中，图像采集参数可以包括内参矩阵、外参矩阵、畸变系数等。在进行路径离散点的坐标转换计算时，先将车辆坐标系(即世界坐标系)中的路径离散点的坐标(Xw，Yw，Zw)根据外参矩阵计算获得相机坐标系中对应的坐标(Xc，Yc，Zc)，再将相机坐标系中的坐标(Xw，Yw，Zw)根据内参矩阵计算获得成像平面物理坐标系中对应的坐标(x，y)，最后将成像平面物理坐标系中的坐标(x，y)根据畸变系数计算获得图像坐标系(即像素平面坐标系)中对应的坐标(u，v)，(u，v)即图像坐标系中的数据点的坐标。可以理解，世界坐标系、相机坐标系、成像平面物理坐标系及像素平面坐标系为相关技术中的相机模型中的四个坐标系，于此不作赘述。
步骤S130，根据路径预测参考线在图像坐标系中的数据点，在环境图像中生成行驶辅助线。
本申请实施例，可以将各数据点依序逐个连线，从而生成对应的曲线，即为行驶辅助线。可以理解，行驶辅助线位于对应的图像坐标系中。其中，每个图像采集单元例如相机具有各自的图像坐标系，每个图像采集单元拍摄的环境图像均可以根据对应的图像采集参数而具有对应的图像采集单元的图像坐标系，因此，行驶辅助线根据其图像坐标系位于环境图像中的对应位置进行显示。通过在显示车辆周边环境的环境图像中显示行驶辅助线，云端驾驶员在观看环境图像的同时，也可以观看到环境图像中的行驶辅助线，从而便于云端驾驶员根据行驶辅助线感知车辆在环境图像中的即将行驶的路径，辅助云端驾驶员进行驾驶判断，提高远程驾驶的安全性。
从该实施例可以看出，本申请实施例提供的方案，通过获取车辆拍摄的环境图像及对应的图像采集参数，将路径预测参考线结合图像采集参数获得图像坐标系中的数据点，根据数据点在对应的环境图像中生成行驶辅助线。这样的设计，云端驾驶员在实际远程驾驶车辆时，通过观察环境图像上的行驶辅助线，可以更加准确感知车辆的行驶轨迹和运动方向，从而降低云端驾驶员的操控难度，提升远程驾驶的安全性。
图2和图3进一步介绍本申请的远程驾驶的辅助处理方法。
参见图2，该方法包括：
步骤S210，车辆根据车身参数和车辆的当前转向角度，在车辆坐标系中生成路径预测参考线。
可以理解，不同的车辆由于车辆品牌、型号不同，从而具有对应的车身参数。在一实施例中，车身参数包括车身轴距、车身轮距、车身长度和车身宽度中的至少一种；其中，车身长度为车头至车尾的尺寸，车身宽度为车身左侧至右侧的垂直尺寸。通过结合车辆的当前转向角度及车身参数，从而根据车身尺寸量身计算，更准确地获得符合当前车辆对应的路径预测参考线，以便云端驾驶员可以更准确地感知车辆的行驶轨迹变化。
进一步的，车辆可以采用EPS(Electronic Stability Program，车身电子稳定系统)进行远程转向控制，即通过EPS系统，可以采集车辆的当前转向角度。为了便于理解，相关技术中，ESP系统可大致分为四个部分：用于检测汽车状态和驾驶员操作的传感器部分；用于估算汽车侧滑状态和计算恢复到安全状态所需的旋转动量和减速的ECU(ElectronicControl Unit，电子控制单元)部分；用于根据计算结果来控制每个车轮制动力和发动机输出功率的执行器部分；用于告知驾驶员汽车失稳的信息部分。其中传感器主要包括转向传感器、车轮传感器、侧滑传感器、横向加速度传感器、方向盘油门刹车踏板传感器等。这些传感器负责采集车身状态的数据。例如，转向传感器(监测方向盘的转向角度)、车轮传感器(监测各个车轮的速度转动)、侧滑传感器(监测车体绕垂直轴线转动的状态)、横向加速度传感器(监测汽车转弯时的离心力)。通过EPS系统的转向传感器获取车辆的当前转向角度，继而车辆的车端计算机可以根据车辆运动学模型计算获得路径预测参考线。
进一步的，为了便于计算，可以根据车辆的后轮轴的中心点为原点设置车辆坐标系。其中，根据车辆的当前转向角度、车身轴距、车身轮距、车身长度和车身宽度，在车辆坐标系生成路径预测参考线。路径预测参考线包含的参考线的数量为至少一条。通过预先设置参考线的数量，根据相关算法生成包含对应数量线条的路径预测参考线。在一实施例中，路径预测参考线可以为两条，每条路径预测参考线分别对应位于车身的一侧，即对应车身的左侧和右侧。通过预设两条路径预测参考线，可以分别对应车辆的左轮和右轮即将行驶的路径。
步骤S220，车辆分别获取位于车辆不同位置的图像采集单元拍摄的环境图像，及不同位置的图像采集单元的图像采集参数。
同一车辆上可以包括至少一个图像采集单元，图像采集单元可以分别安装于车辆的不同位置上，从而对应不同的拍摄角度，以更多方位地采集拍摄车辆的周边环境。例如，图像采集单元的数量可以为3个，图像采集单元分别安装于车头的左前方、正前方和右前方，从而通过多个角度拍摄车辆前方的周边环境，以便云端驾驶员全面感知车辆周边环境。基于图像采集单元设置于车辆的不同的部位，从而具有对应的拍摄角度，继而获取对应拍摄角度的环境图像。
图像采集单元可以为相机但不局限于此，图像采集参数可以为相机参数。图像采集参数包括内参矩阵、外参矩阵、畸变系数、图片长宽尺寸及图像采集单元ID中的至少一种。可以理解，不同的图像采集单元分别具有对应的图像采集参数。各图像采集单元的图像采集参数可以相同或不同。为了便于区分并获取对应的图像采集单元的数据，每一图像采集单元分别具有对应的图像采集单元ID，各图像采集单元的图像采集参数分别通过其图像采集单元ID对应区分。图像采集单元按照预设采集频率采集环境图像。其中，预设采集频率可以是30毫秒至50毫秒，例如33毫秒。通过按照预设采集频率，可以确保云端驾驶员及时查看周边环境，同时也控制后续步骤的计算量，避免计算负荷过大。
可以理解，步骤S210和步骤S220可以不分先后顺序执行。
步骤S230，云端接收车辆上传的在车辆坐标系中生成的路径预测参考线、环境图像及图像采集参数。
可以理解，后续步骤的路径离散点的获取需要消耗较大的计算量，由于云端计算机的算力比车辆的车端计算机要高很多，计算量和数据量较大的路径预测参考线的离散和坐标转换过程可以在云端完成。为降低车辆的计算负载和5G通道的带宽负载，车辆可以将路径预测参考线、环境图像及图像采集参数通过网络传输至云端。即，车辆将上述步骤S210和步骤S230中获取的相关数据传输至云端。其中，云端可以是远程服务器。为了提高处理效率，网络可以是5G网络，从而提高数据传输速度。
步骤S240，云端将路径预测参考线进行曲线离散处理得到路径离散点，并根据图像采集参数将路径离散点从车辆坐标系转换到图像坐标系，得到路径预测参考线在图像坐标系中的数据点。
云端可以根据相关算法在路径预测参考线上采集路径离散点在车辆坐标系中的坐标值。每一坐标值表示对应的路径离散点。其中，可以在路径预测参考线上的拐点处提取对应的路径离散点，从而准确反映路径预测参考线的方向变化。
进一步的，云端根据图像采集参数中的内参矩阵、外参矩阵、畸变系数、图片长宽尺寸，通过对相机标定和对环境图像进行畸变校正后，根据相关技术，在环境图像上生成对应的图像坐标系。可以理解，路径离散点是基于车辆坐标系中提取的点。根据相关算法计算，将路径离散点转换为图像坐标系中的数据点。也就是说，数据点为图像坐标系中的点，数据点的数量与路径离散点的数量对应。
步骤S250，云端将路径预测参考线在图像坐标系中的数据点连接，在环境图像中形成行驶辅助线中的对应车辆车身两侧的车轮行驶路径曲线。
可以理解，根据路径离散点采集的数量，获得对应数量的数据点。相邻两个数据点之间进行连线，可以形成线段。根据数据点的数量，可以获得对应数目的线段。多个线段逐一连接，形成对应的行驶辅助线。可以理解，数据点越多，单个线段的长度越短，形成的行驶辅助线越平滑。
进一步的，行驶辅助线是根据路径预测参考线转换而得。当路径预测参考线包括两条时，每条路径预测参考线分别对应位于车身的一侧，即对应车身的左侧和右侧；相应地，行驶辅助线包括对应车身两侧的车轮行驶路径曲线。为了便于理解，如图4所示，车轮行驶路径曲线表示车辆的两个前轮即将要行驶经过的路径A和路径B，二者位于车辆前方两侧。随着车辆的行驶，车轮行驶路径曲线可以始终呈现于车辆的前方。需说明的是，根据车辆的当前转向角度的改变以及环境图像的实时更新，行驶辅助线也可以实时更新变化。在云端驾驶员观察环境图像时，同时可以看到在环境图像上显示的行驶辅助线。云端驾驶员根据车辆前方的行驶辅助线可以预判车辆的运动方向和行驶轨迹，从而提高驾驶的安全性。
其中，行驶辅助线可以根据图像采集参数和/或路径预测参考线的变化而变化。这样的设计，使得行驶辅助线准确贴合环境图像和车辆本身，从而提高辅助驾驶时的可靠性。
进一步的，为了提高驾驶员对危险的感知强度，可以在行驶辅助线框定的区域内标识危险警示区，其中，危险警示区包括与车辆的车头间隔预设距离的区域。也就是说，在环境图像中，行驶辅助线用于辅助云端驾驶员预判车辆的行驶轨迹，而在行驶辅助线框定的区域内，例如两条车轮行驶路径曲线之间的靠近车头前方的预设距离内，设置为危险警示区。通过设置危险警示区，以便于云端驾驶员更加重视该区域的动向，小心驾驶。其中，可以采用预设颜色标识危险警示区。例如，如图4所示，可以采用渐变的红色渲染填充图中的危险警示区S区，红色沿远离车头的方向由深变浅，从而便于云端驾驶员直观感知危险警示区的范围；其中，颜色越深，则代表危险性越高，否则反之。这样的设计，可以使云端驾驶员直观感知危险程度。在其他实施例中，也可以采用纯色标识危险警示区，和/或采用与危险警示区不同的颜色或无色以标识安全区。可以理解，在两条车轮行驶路径曲线之间的危险警示区以外的区域可以视为安全区。
其中，预设距离可以根据车辆的车速对应的极限刹车距离和刹停时间调整设置。可以理解，车辆在采用不同的车速行驶时，如果遇到紧急情况需要刹车，车辆所对应的极限刹车距离和刹停时间不同。其中，车速越快，极限刹车距离越大，刹停时间越久。为了及时应对车辆前方的突如其来的危险情形，根据车速对应的极限刹车距离和刹停时间调整危险警示区的范围，即危险警示区的范围根据车速的不同而相应调整。通过调整预设距离，从而调整危险警示区的范围大小。
进一步的，为了便于驾驶员了解前方路径的间隔距离，行驶辅助线还可以包括至少一条距离标识线；其中距离标识线连接于车轮行驶路径曲线；相邻两距离标识线的间隔距离根据预设规则设置。为了便于快速生成距离标识线，距离标识线可以设置于两条车轮行驶路径曲线之间，单个距离标识线的两端分别连接于对应的车轮行驶路径曲线。也就是说，在生成行驶辅助线的两条车轮行驶路径曲线后，可以通过以车头的最前方为起点，在距离车头预设间隔距离的位置设置距离标识线，并在对应的距离标识线处标记对应的distance(距离数值)。如图4所示，例如在距离车头最前方1米处设置一条距离标识线C，并标识1米；在距离车头最前方2米处设置另一条距离标识线C，并标识2米，以此类推。这样的设计，驾驶员可以直观地识别车辆前方的间隔距离，且在环境图像的显示下，可以判断图像中的障碍物或前方车辆与本车头的间隔距离，从而进行安全驾驶。距离标识线的数量可以为多个，每一距离标识线依序设置于两条车轮行驶路径曲线之间，每相邻两距离标识线的间隔距离可以相同或不同。例如，每相邻两条距离标识线的间隔距离均为1米，或者按照等差递增的方式，间隔距离分别按照1米、2米、3米的方式递增。为了更醒目地显示行驶辅助线，在一实施例中，采用预设颜色标识行驶辅助线。其中，车轮行驶路径曲线和距离标识线的颜色可以相同或不同。
步骤S260，云端显示环境图像及对应的行驶辅助线。
可以理解，随着车辆的行驶，图像采集单元实时采集车辆周边环境对应的环境图像，环境图像中的行驶辅助线相应更新并显示。即云端的显示屏显示的内容为持续更新的环境图像及对应的行驶辅助线。云端驾驶员可以直观看到环境图像中的行驶辅助线，从而更好地辅助云端驾驶员在远程驾驶中预判环境中的危险因素，进行安全驾驶。
可以理解，当图像采集单元为一个以上时，可以将各图像采集单元采集的环境图像最终融合成一张环境图像，在该环境图像上显示行驶辅助线。进一步的，为了避免不同的图像采集单元之间的图像采集参数混淆，可以通过相机ID对不同的图像采集单元所获取的环境图像进行区分以及根据对应的图像采集参数进行计算。
从该实施例可以看出，本申请实施例提供的方案，通过车辆根据车身参数和当前转向角度，以车辆自身为中心形成车辆坐标系，生成路径预测参考线；云端根据车辆发送的不同的图像采集单元采集的对应的环境图像，结合对应的图像采集参数，将路径预测参考线分别在不同的环境图像中通过图像坐标系的坐标转换，生成车辆前方的行驶辅助线。其中，行驶辅助线包括位于车身两侧的车轮行驶路径曲线和用于标识距离的距离标识线，以及还包括危险警示区，这样的设计，通过行驶辅助线，可以便于云端驾驶员在远程查看环境图像时，可以准确感知车辆即将行驶的轨迹和方向，同时对危险警示区进行重点关注以及通过距离标识线进行距离感知，从而提高云端驾驶员对车辆周边的环境感知能力，提升驾驶安全性；同时，通过车辆和云端各自负责对应的数据处理，提高计算效率，从而提高行驶辅助线在云端的显示效率，便于云端驾驶员及时根据行驶辅助线辅助感知，提高远程驾驶的可靠性。
图5为本申请另一实施例中的远程驾驶的辅助处理方法的流程示意图，图6为本申请另一实施例中的远程驾驶的辅助处理方法的交互示意图。与图2不同，图5中是在云端生成路径预测参考线，及在车辆端将路径预测参考线进行曲线离散处理。
参见图5，该方法包括：
步骤S310，云端接收车辆发送的车身参数和车辆的当前转向角度，在车辆坐标系中生成路径预测参考线。
可以理解，车辆可以获取对应的车身参数和车辆的当前转向角度，再将车身参数和车辆的当前转向角度发送至云端，由云端进行计算生成路径预测参考线。其中，车身参数包括车身轴距、车身轮距、车身长度和车身宽度中的至少一种。当前转向角度可以由车辆的EPS系统获得并发送至云端。
与上述步骤S210的计算原理类似，云端以车辆为中心生成对应的车辆坐标系，并根据车辆运动学模型计算生成路径预测参考线。其中，通过预先设置参考线数量，云端生成的路径预测参考线可以为两条，每条路径预测参考线分别对应位于车身的一侧，即对应车身的左侧和右侧。通过预设两条路径预测参考线，分别对应车辆的左轮和右轮即将行驶的路径。
步骤S320，车辆分别获取位于车辆不同位置的图像采集单元拍摄的环境图像，及不同位置的图像采集单元的图像采集参数。
可以理解，车辆上安装的图像采集单元为至少一个。为了获取更多方位的环境图像，可以在车辆的不同位置安装图像采集单元，例如相机。基于图像采集单元设置于车辆的不同的部位，从而具有对应的拍摄角度，继而获取对应拍摄角度的环境图像。进一步的，图像采集单元参照预设采集频率采集环境图像。
每一图像采集单元具有对应的图像采集参数，图像采集参数包括内参矩阵、外参矩阵、畸变系数、图片长宽尺寸及图像采集单元ID中的至少一种。其中，各图像采集单元的图像采集参数可以分别通过其图像采集单元ID对应区分。
可以理解，步骤S310和步骤S320不分先后顺序执行。
步骤S330，车辆接收云端发送的路径预测参考线，并将路径预测参考线进行曲线离散处理得到路径离线点，及根据图像采集参数将路径离线点从车辆坐标系转换到图像坐标系得到在图像坐标系中的数据点。
在步骤S310中云端生成了路径预测参考线，并将路径预测参考线发送至车辆。车辆的车端计算机根据相关算法对路径预测参考线进行离散处理，提取多个路径离线点，获得路径离散点在车辆坐标系中的坐标值。
进一步的，车辆根据图像采集参数中的内参矩阵、外参矩阵、畸变系数、图片长宽尺寸，通过对相机标定和对环境图像进行畸变校正后，根据相关技术，在环境图像上生成对应的图像坐标系。接着车辆的车端计算机将路径离散点进行坐标转换，从车辆坐标系中的路径离线点转换为图像坐标系中的数据点。在生成数据点后，车辆将数据点发送至云端。
步骤S340，云端接收车辆发送的数据点，并根据图像采集参数在图像坐标系中连接数据点，在环境图像中形成行驶辅助线中的对应车辆车身两侧的车轮行驶路径曲线。
云端根据图像采集参数，在图像坐标系中将每相邻的两个数据点逐一连接成线，即为对应的行驶辅助线。可以理解，行驶辅助线是根据路径预测参考线转换而得。当路径预测参考线包括两条对应车身两侧的参考线时，行驶辅助线包括对应车身两侧的车轮行驶路径曲线。如图4所示，车轮行驶路径曲线表示车辆的两个前轮即将要行驶经过的路径A和路径B，二者位于车辆前方两侧。
同理，云端还可以进一步处理，在行驶辅助线框定的区域内标识危险警示区，其中，危险警示区包括与车辆的车头间隔预设距离的区域。其中，预设距离可以根据车辆的车速对应的极限刹车距离和刹停时间调整设置。进一步的，行驶辅助线还可以包括至少一条距离标识线；其中距离标识线连接于车轮行驶路径曲线；相邻两距离标识线的间隔距离根据预设规则设置。本步骤的处理原理与步骤S250类似，此处不再赘述。
步骤S350，云端显示环境图像及对应的行驶辅助线。
可以理解，当图像采集单元为一个以上时，可以将各图像采集单元采集的环境图像最终融合成一张环境图像，在该环境图像上显示行驶辅助线。
从该实施例可以看出，本申请实施例提供的方案，通过云端在车辆坐标系中生成路径预测参考线，将路径预测参考线发送给车辆，在车辆将路径预测参考线进行曲线离散处理得到路径离线点，及根据图像采集参数将路径离线点从车辆坐标系转换到图像坐标系得到在图像坐标系中的数据点之后，接收车辆上传的路径预测参考线在图像坐标系中的数据点，再由云端根据数据点连线生成行驶辅助线。这样的设计，通过云端与车端分工协作，各自负责对应的计算量，提高计算效率，从而提高云端的行驶辅助线的显示效率，以更及时地辅助云端驾驶员进行远程驾驶。
与前述应用功能实现方法实施例相对应，本申请还提供了一种远程驾驶的辅助处理装置、远程驾驶的辅助处理系统及相应的实施例。
图7是本申请实施例示出的远程驾驶的辅助处理装置的结构示意图。
参见图7，本申请的远程驾驶的辅助处理装置，包括第一获取模块410、第二获取模块420及辅助线生成模块430。
第一获取模块410，用于获取车辆拍摄的环境图像及对应的图像采集参数。其中，车辆可以包括至少一个图像采集单元，图像采集单元可以用于对应拍摄车辆的车头前方的周边环境图像。车辆可以包括多个图像采集单元，各图像采集单元安装于车辆的不同部位，形成对应的拍摄角度，以对应拍摄车辆不同方位的周边环境视频，从而丰富云端驾驶员对车辆周边环境的感知。可以理解，不同的图像采集单元具有对应的图像采集参数，从而获得符合该图像采集参数的环境图像。
第二获取模块420，用于获取根据图像采集参数将路径预测参考线转换到图像坐标系中的数据点。在根据图像采集参数，将对应的路径离散点转换至对应的图像坐标系中，从而转换获得位于图像坐标系中的数据点之后，第二获取模块420可以获取将路径预测参考线转换到图像坐标系中的数据点。其中，根据图像采集参数将对应的路径离散点转换至对应的图像坐标系中，转换获得位于图像坐标系中的数据点，可以在云端实现，也可以在车端也即车辆中实现。
辅助线生成模块430，用于根据第二获取模块420获取的路径预测参考线在图像坐标系中的数据点，在第一获取模块410获取的环境图像中生成行驶辅助线。辅助线生成模块430可以将各数据点依序逐个连线，从而生成对应的曲线，即为行驶辅助线。进一步的，为了提高驾驶员对危险的感知强度，可以在行驶辅助线框定的区域内标识危险警示区，其中，危险警示区包括与车辆的车头间隔预设距离的区域。另外，为了便于驾驶员了解前方路径的间隔距离，行驶辅助线还可以包括至少一条距离标识线；其中距离标识线连接于车轮行驶路径曲线；相邻两距离标识线的间隔距离根据预设规则设置。
从该实施例可以看出，本申请的远程驾驶的辅助处理装置，通过第一获取模块获取车辆拍摄的环境图像及对应的图像采集参数，第二获取模块将路径预测参考线结合图像采集参数获得图像坐标系中的数据点，再由辅助线生成模块用根据数据点在对应的环境图像中生成行驶辅助线。这样的设计，云端驾驶员在实际远程驾驶车辆时，通过观察环境图像上的行驶辅助线，可以更加准确感知车辆的行驶轨迹和运动方向，从而降低云端驾驶员的操控难度，提升远程驾驶的安全性。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
参见图8，本申请一实施例还提供一种远程驾驶的辅助处理系统，其包括云端50和车辆60。
云端50，用于获取车辆60拍摄的环境图像及对应的图像采集参数；获取根据图像采集参数将路径预测参考线转换到图像坐标系中的数据点；根据路径预测参考线在图像坐标系中的数据点，在环境图像中生成行驶辅助线。
车辆60，用于向云端50上传车辆60拍摄的环境图像及对应的图像采集参数。
在一实施方式中，车辆60用于获取车辆60拍摄的环境图像及对应的图像采集参数，在车辆坐标系中生成路径预测参考线，将环境图像及对应的图像采集参数、生成的路径预测参考线上传给云端50。云端50用于接收车辆60上传的环境图像及对应的图像采集参数、生成的路径预测参考线，将路径预测参考线进行曲线离散处理得到路径离线点，根据图像采集参数将路径离线点从车辆坐标系转换到图像坐标系，得到路径预测参考线在图像坐标系中的数据点。
云端50可以根据相关算法在路径预测参考线上采集路径离散点在车辆坐标系中的坐标值。每一坐标值表示对应的路径离散点。其中，可以在路径预测参考线上的拐点处提取对应的路径离散点，从而准确反映路径预测参考线的方向变化。进一步的，云端50可以根据图像采集参数中的内参矩阵、外参矩阵、畸变系数、图片长宽尺寸，通过对相机标定和对环境图像进行畸变校正后，根据相关技术，在环境图像上生成对应的图像坐标系。可以理解，路径离散点是基于车辆坐标系中提取的点。根据相关算法计算，将路径离散点转换为图像坐标系中的数据点。
在另一实施方式中，云端50用于在车辆坐标系中生成路径预测参考线，将路径预测参考线发送给车辆60。车辆60用于获取车辆60拍摄的环境图像及对应的图像采集参数，接收云端50发送的路径预测参考线，将路径预测参考线进行曲线离散处理得到路径离线点，及根据图像采集参数将路径离线点从车辆坐标系转换到图像坐标系得到在图像坐标系中的数据点，将路径预测参考线在图像坐标系中的数据点上传给云端50。
车辆60的车端计算机根据相关算法对路径预测参考线进行离散处理，提取多个路径离线点，获得路径离散点在车辆坐标系中的坐标值。进一步的，车辆60根据图像采集参数中的内参矩阵、外参矩阵、畸变系数、图片长宽尺寸，通过对相机标定和对环境图像进行畸变校正后，根据相关技术，在环境图像上生成对应的图像坐标系。接着车辆60的车端计算机将路径离散点进行坐标转换，从车辆坐标系中的路径离线点转换为图像坐标系中的数据点。在生成数据点后，车辆60将数据点发送至云端50。
可以理解，根据车辆的车端计算机或云端的计算机的算力情况，为了确保及时在环境图像中生成准确的行驶辅助线，可以调整车端或云端所分配的计算任务，从而提高计算效率，以使得云端可以及时更新显示对应的带有行驶辅助线的环境图像，以便云端驾驶员观看，从而辅助远程驾驶，增强云端驾驶员对车辆周边环境的感知能力，提高驾驶的安全性。
关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
本申请一实施例还提供一种电子设备，电子设备包括存储器和处理器。
处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器上存储有可执行代码，当可执行代码被处理器处理时，可以使处理器执行上文述及的方法中的部分或全部。
上文中已经参考附图详细描述了本申请的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本申请所必须的。另外，可以理解，本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种计算机可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或电子设备、服务器等)的处理器执行时，使所述处理器执行根据本申请的上述方法的各个步骤的部分或全部。
本领域技术人员还将明白的是，结合这里的申请所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本申请的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (11)
1.一种远程驾驶的辅助处理方法，其特征在于，包括：
获取车辆拍摄的环境图像及对应的图像采集参数；
获取根据所述图像采集参数将路径预测参考线转换到图像坐标系中的数据点；
根据所述路径预测参考线在图像坐标系中的数据点，在所述环境图像中生成行驶辅助线。
2.根据权利要求1所述的方法，其特征在于，所述获取根据所述图像采集参数将路径预测参考线转换到图像坐标系中的数据点，包括：
云端接收车辆上传的在车辆坐标系中生成的路径预测参考线，将所述路径预测参考线进行曲线离散处理得到路径离散点，根据所述图像采集参数将所述路径离散点从所述车辆坐标系转换到所述图像坐标系，得到所述路径预测参考线在所述图像坐标系中的数据点；或，
云端在车辆坐标系中生成路径预测参考线，将所述路径预测参考线发送给所述车辆，在所述车辆将所述路径预测参考线进行曲线离散处理得到路径离散点，及根据所述图像采集参数将所述路径离散点从所述车辆坐标系转换到图像坐标系得到在所述图像坐标系中的数据点之后，接收所述车辆上传的所述路径预测参考线在图像坐标系中的数据点。
3.根据权利要求2所述的方法，其特征在于：
所述路径预测参考线根据所述车辆的车身参数和所述车辆的当前转向角度，在车辆坐标系中生成。
4.根据权利要求1所述的方法，其特征在于，所述获取车辆拍摄的环境图像及对应的图像采集参数，包括：
获取位于车辆不同位置的图像采集单元拍摄的环境图像，及所述不同位置的图像采集单元的图像采集参数。
5.根据权利要求1所述的方法，其特征在于，所述根据所述路径预测参考线在图像坐标系中的数据点，在所述环境图像中生成行驶辅助线，包括：
将所述路径预测参考线在图像坐标系中的数据点连接，在所述环境图像中形成行驶辅助线中的对应车辆车身两侧的车轮行驶路径曲线。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
在所述行驶辅助线框定的区域内标识危险警示区，其中，所述危险警示区包括与所述车辆的车头间隔预设距离的区域。
7.根据权利要求6所述的方法，其特征在于，所述预设距离根据所述车辆的车速对应的极限刹车距离和刹停时间调整设置。
8.根据权利要求5所述的方法，其特征在于：
所述生成的行驶辅助线还包括至少一条距离标识线，其中所述距离标识线连接于所述车轮行驶路径曲线，相邻两所述距离标识线的间隔距离根据预设规则设置。
9.一种远程驾驶的辅助处理装置，其特征在于，包括：
第一获取模块，用于获取车辆拍摄的环境图像及对应的图像采集参数；
第二获取模块，用于获取根据所述图像采集参数将路径预测参考线转换到图像坐标系中的数据点；
辅助线生成模块，用于根据所述第二获取模块获取的所述路径预测参考线在图像坐标系中的数据点，在所述第一获取模块获取的所述环境图像中生成行驶辅助线。
10.一种远程驾驶的辅助处理系统，其特征在于，包括车辆和云端，其中：
所述云端，用于获取车辆拍摄的环境图像及对应的图像采集参数；获取根据所述图像采集参数将路径预测参考线转换到图像坐标系中的数据点；根据所述路径预测参考线在图像坐标系中的数据点，在所述环境图像中生成行驶辅助线；
所述车辆，用于向所述云端上传车辆拍摄的环境图像及对应的图像采集参数。
11.根据权利要求10所述的系统，其特征在于：
所述车辆，用于获取车辆拍摄的环境图像及对应的图像采集参数，在车辆坐标系中生成路径预测参考线，将所述环境图像及对应的图像采集参数、所述生成的路径预测参考线上传给所述云端；
所述云端，用于接收所述车辆上传的所述环境图像及对应的图像采集参数、所述生成的路径预测参考线，将所述路径预测参考线进行曲线离散处理得到路径离散点，根据所述图像采集参数将所述路径离散点从所述车辆坐标系转换到所述图像坐标系，得到所述路径预测参考线在所述图像坐标系中的数据点；或，
所述云端，用于在车辆坐标系中生成路径预测参考线，将所述路径预测参考线发送给所述车辆；
所述车辆，用于获取车辆拍摄的环境图像及对应的图像采集参数，接收所述云端发送的所述路径预测参考线，将所述路径预测参考线进行曲线离散处理得到路径离散点，及根据所述图像采集参数将所述路径离散点从所述车辆坐标系转换到图像坐标系得到在所述图像坐标系中的数据点，将所述路径预测参考线在图像坐标系中的数据点上传给所述云端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110924301.3A CN113589820A (zh) | 2021-08-12 | 2021-08-12 | 远程驾驶的辅助处理方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110924301.3A CN113589820A (zh) | 2021-08-12 | 2021-08-12 | 远程驾驶的辅助处理方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113589820A true CN113589820A (zh) | 2021-11-02 |
Family
ID=78257450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110924301.3A Pending CN113589820A (zh) | 2021-08-12 | 2021-08-12 | 远程驾驶的辅助处理方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113589820A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115320584A (zh) * | 2022-10-13 | 2022-11-11 | 之江实验室 | 考虑障碍物预警的车辆远程驾驶辅助方法及远程驾驶系统 |
| CN117261929A (zh) * | 2023-11-13 | 2023-12-22 | 北京斯年智驾科技有限公司 | 远程驾驶辅助方法、系统、装置和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106954045A (zh) * | 2017-03-23 | 2017-07-14 | 长沙冰眼电子科技有限公司 | 车辆视场跟随显示系统 |
| CN109624851A (zh) * | 2018-11-23 | 2019-04-16 | 深圳市航盛电子股份有限公司 | 基于增强现实的辅助驾驶方法、系统及可读存储介质 |
| CN110850711A (zh) * | 2019-12-06 | 2020-02-28 | 中国科学院自动化研究所 | 基于云端的辅助驾驶控制系统及方法 |
| CN111045425A (zh) * | 2019-12-05 | 2020-04-21 | 中国北方车辆研究所 | 一种地面无人车辆的辅助遥操作驾驶方法 |
| CN112700668A (zh) * | 2020-12-22 | 2021-04-23 | 北京百度网讯科技有限公司 | 自动驾驶的远程控制方法、自动驾驶车辆及云端设备 |
-
2021
- 2021-08-12 CN CN202110924301.3A patent/CN113589820A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106954045A (zh) * | 2017-03-23 | 2017-07-14 | 长沙冰眼电子科技有限公司 | 车辆视场跟随显示系统 |
| CN109624851A (zh) * | 2018-11-23 | 2019-04-16 | 深圳市航盛电子股份有限公司 | 基于增强现实的辅助驾驶方法、系统及可读存储介质 |
| CN111045425A (zh) * | 2019-12-05 | 2020-04-21 | 中国北方车辆研究所 | 一种地面无人车辆的辅助遥操作驾驶方法 |
| CN110850711A (zh) * | 2019-12-06 | 2020-02-28 | 中国科学院自动化研究所 | 基于云端的辅助驾驶控制系统及方法 |
| CN112700668A (zh) * | 2020-12-22 | 2021-04-23 | 北京百度网讯科技有限公司 | 自动驾驶的远程控制方法、自动驾驶车辆及云端设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115320584A (zh) * | 2022-10-13 | 2022-11-11 | 之江实验室 | 考虑障碍物预警的车辆远程驾驶辅助方法及远程驾驶系统 |
| CN117261929A (zh) * | 2023-11-13 | 2023-12-22 | 北京斯年智驾科技有限公司 | 远程驾驶辅助方法、系统、装置和存储介质 |
| CN117261929B (zh) * | 2023-11-13 | 2024-02-13 | 北京斯年智驾科技有限公司 | 远程驾驶辅助方法、系统、装置和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10963707B2 (en) | Vision-based indicator signal detection using spatiotemporal filtering | |
| US10354151B2 (en) | Method of detecting obstacle around vehicle | |
| KR102252895B1 (ko) | 장래 진로를 결정하기 위한 휠 배향의 사용 | |
| CN101970273B (zh) | 车辆行驶辅助装置及使用该装置的车辆 | |
| US10994744B2 (en) | Travel control apparatus, travel control method, and non-transitory computer-readable storage medium | |
| JP2020115322A (ja) | 車両位置推定のためのシステムおよび方法 | |
| US10545506B2 (en) | Methods and apparatus to perform visual odometry using a vehicle camera system | |
| CN104015659A (zh) | 停车支援装置、停车支援方法 | |
| US9744968B2 (en) | Image processing apparatus and image processing method | |
| CN113589820A (zh) | 远程驾驶的辅助处理方法、装置及系统 | |
| JP7107931B2 (ja) | 移動オブジェクトのレンジを推定する方法および装置 | |
| US20230182774A1 (en) | Autonomous driving lidar technology | |
| JP6664371B2 (ja) | 物体認識装置、物体認識方法及び車両 | |
| US20210323550A1 (en) | Driver assistance apparatus | |
| CN112149560A (zh) | 一种车道偏离检测方法 | |
| CN116645650A (zh) | 用于摄像机到地面的对准的方法和系统 | |
| US11798287B2 (en) | Driver assistance apparatus and method of controlling the same | |
| US20210188267A1 (en) | Driver assistance system and control method thereof | |
| CN113386664A (zh) | 车辆用控制装置以及无侧镜车辆 | |
| US20240051535A1 (en) | Vehicle control apparatus | |
| US20230215045A1 (en) | On-vehicle camera alignment monitoring system | |
| US20230215026A1 (en) | On-vehicle spatial monitoring system | |
| WO2023206236A1 (zh) | 一种目标的检测方法及相关装置 | |
| US20240096143A1 (en) | Information processing device, vehicle, and information processing method | |
| EP3945235A1 (en) | Roll effect correction for optical sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |