CN116612458B - 基于深度学习的泊车路径确定方法与系统 - Google Patents

基于深度学习的泊车路径确定方法与系统 Download PDF

Info

Publication number
CN116612458B
CN116612458B CN202310631934.4A CN202310631934A CN116612458B CN 116612458 B CN116612458 B CN 116612458B CN 202310631934 A CN202310631934 A CN 202310631934A CN 116612458 B CN116612458 B CN 116612458B
Authority
CN
China
Prior art keywords
neural network
parking
network model
parking space
target parking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310631934.4A
Other languages
English (en)
Other versions
CN116612458A (zh
Inventor
聂进
叶健龙
郑浩然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Easa Guangzhou Intelligent Technology Co ltd
Original Assignee
Easa Guangzhou Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Easa Guangzhou Intelligent Technology Co ltd filed Critical Easa Guangzhou Intelligent Technology Co ltd
Priority to CN202310631934.4A priority Critical patent/CN116612458B/zh
Publication of CN116612458A publication Critical patent/CN116612458A/zh
Application granted granted Critical
Publication of CN116612458B publication Critical patent/CN116612458B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的泊车路径确定方法与系统，通过长短期神经网络模型对监控视频进行处理确定目标停车位，基于图神经网络模型对所述目标停车位的全景图像进行处理输出得到多条备选泊车路径，再基于卷积神经网络模型确定所述多条备选泊车路径的风险程度，最终将多条备选泊车路径中风险程度最低的备选泊车路径确定为目标泊车路径。该方法通过对多条备选泊车路径进行筛选，筛选出风险程度最低的泊车路径，提高了泊车路径的安全性。

Description

基于深度学习的泊车路径确定方法与系统
技术领域
本发明涉及智能驾驶技术领域，具体涉及基于深度学习的泊车路径确定方法与系统。
背景技术
随着私家车的数量增多，在日常生活中，停车场的规划往往是以最多停车数量来规划的，在停车时，新手司机往往会由于过于狭小的停车空间，而无法很好的控制车辆准确地停进停车位。
现有的多数车型均配备了自动泊车辅助(APA)系统以协助规划泊车路线，通过该自动泊车辅助系统可以规划好泊车路线以协助驾驶员进行泊车入库。但是自动泊车辅助系统在实际的使用过程由于外界因素造成干涉以及障碍物遮挡，泊车路径可能会规划的不合理，这将严重影响自动泊车的效果，甚至会与障碍物发生碰撞，最终影响车辆行驶与倒车入库的安全性。
因此，如何合理的规划好泊车路径，提高泊车路径的安全性是当前亟待解决的问题。
发明内容
本发明主要解决的技术问题是如何提高泊车路径的安全性。
根据第一方面，一种实施例中提供一种基于深度学习的泊车路径确定方法，包括：S 1、获取停车场摄像头的监控视频；S2、基于所述监控视频使用长短期神经网络模型确定目标停车位，所述长短期神经网络模型的输入为所述监控视频，所述长短期神经网络模型的输出为所述目标停车位；S3、获取目标停车位的全景图像，所述全景图像包括待泊车车辆、所述目标停车位和所述目标停车位周边的多个车辆；S4、基于图神经网络模型对所述目标停车位的全景图像进行处理输出得到多条备选泊车路径，其中所述图神经网络模型的输入包括所述全景图像的多个节点和多条边，其中所述多个节点包括待泊车车辆节点、目标停车位周边的多个车辆节点和目标停车位节点，所述多条边为多个节点之间的关系，所述图神经网络模型的输出为所述多条备选泊车路径；S5、基于卷积神经网络模型确定所述多条备选泊车路径的风险程度，所述卷积神经网络模型的输入包括所述目标停车位的近景图像和所述多条备选泊车路径，其中所述目标停车位的近景图像基于所述待泊车车辆的车载摄像头拍摄得到，所述卷积神经网络模型的输出为所述多条备选泊车路径的风险程度；S6、将所述多条备选泊车路径中风险程度最低的备选泊车路径确定为目标泊车路径。
在一些实施例中，将所述多条备选泊车路径中路径长度大于距离阈值的进行过滤删除，得到过滤后的多条备选泊车路径，并将所述过滤后的多条备选泊车路径作为多条备选泊车路径。。
在一些实施例中，所述长短期神经网络模型经过梯度下降法训练得到。
在一些实施例中，基于所述目标泊车路径和所述待泊车车辆的信息生成泊车方案，基于所述泊车方案对所述待泊车车辆进行控制并完成自动泊车。
在一些实施例中，基于深度神经网络模型确定所述泊车方案，其中所述深度神经网络模型的输入包括所述目标泊车路径、所述待泊车车辆的信息，所述深度神经网络模型的输出为所述泊车方案。
在一些实施例中，所述卷积神经网络模型通过训练过程获取，所述训练过程包括：获取多个训练样本，所述训练样本包括样本输入数据和所述样本输入数据对应的标签，所述样本输入数据为样本停车位的近景图像和多条样本泊车路径，所述标签为所述多条样本泊车路径的风险程度；基于所述多个训练样本训练初始的卷积神经网络模型，得到所述卷积神经网络模型。
根据第二方面，一种实施例中提供基于深度学习的泊车路径确定系统，包括：第一获取模块，用于获取停车场摄像头的监控视频；停车位确定模块，用于基于所述监控视频使用长短期神经网络模型确定目标停车位，所述长短期神经网络模型的输入为所述监控视频，所述长短期神经网络模型的输出为所述目标停车位；第二获取模块，用于获取目标停车位的全景图像，所述全景图像包括待泊车车辆、所述目标停车位和所述目标停车位周边的多个车辆；备选泊车路径输出模块，用于基于图神经网络模型对所述目标停车位的全景图像进行处理输出得到多条备选泊车路径，其中所述图神经网络模型的输入包括所述全景图像的多个节点和多条边，其中所述多个节点包括所述待泊车车辆节点、所述目标停车位周边的多个车辆节点和所述目标停车位节点，所述多条边为多个节点之间的关系，所述图神经网络模型的输出为所述多条备选泊车路径；风险程度确定模块，用于基于卷积神经网络模型确定所述多条备选泊车路径的风险程度，所述卷积神经网络模型的输入包括所述目标停车位的近景图像和所述多条备选泊车路径，其中所述目标停车位的近景图像基于所述待泊车车辆的车载摄像头拍摄得到，所述卷积神经网络模型的输出为所述多条备选泊车路径的风险程度；目标泊车路径确定模块，用于将所述多条备选泊车路径中风险程度最低的备选泊车路径确定为目标泊车路径。
根据第三方面，一种实施例中提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的基于深度学习的泊车路径确定方法的步骤。
根据第四方面，一种实施例中提供一种电子设备，包括：存储器；处理器；以及计算机程序；其中，所述计算机程序存储在所述存储器中，并配置为由所述处理器执行以实现上述的方法。
根据第五方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如上述方面中任一项所述的方法。
依据上述实施例提供的基于深度学习的泊车路径确定方法与系统，通过长短期神经网络模型对监控视频进行处理确定目标停车位，基于图神经网络模型对所述目标停车位的全景图像进行处理输出得到多条备选泊车路径，再基于卷积神经网络模型确定所述多条备选泊车路径的风险程度，最终将多条备选泊车路径中风险程度最低的备选泊车路径确定为目标泊车路径。该方法通过对多条备选泊车路径进行筛选，筛选出风险程度最低的泊车路径，提高了泊车路径的安全性。
附图说明
图1为本发明实施例提供的一种基于深度学习的泊车路径确定方法的流程示意图；
图2为本发明实施例提供的多个节点和多条边的示意图
图3为本发明实施例提供的多条备选泊车路径的示意图；
图4为本发明实施例提供的一种基于深度学习的泊车路径确定系统的示意图；
图5为本发明实施例提供的一种电子设备的示意图；
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本发明能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本发明相关的一些操作并没有在说明书中显示或者描述，这是为了避免本发明的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本发明所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
本发明实施例中，提供了如图1所示的一种基于深度学习的泊车路径确定方法，包括步骤S1～S6：
步骤S1，获取停车场摄像头的监控视频。
停车场摄像头的监控视频为摄像头录制的用于记录停车场车辆停车状态的视频。监控视频中的信息包含了停车场内空闲停车位，以及车辆停车场内的车辆停车信息。例如，监控视频可以为待泊车车辆进入停车场时前5秒的监控视频。又例如，监控视频可以为待泊车车辆进入停车场时前10秒的监控视频。待泊车车辆表示需要进行泊车操作的车辆。
所述监控视频是指以电信号方式记录的动态影像，由多幅时间上连续的静态图像组成。其中，所述多个图像中的每一个图像为视频数据的一帧。监控视频的时长可以为10秒、20秒、30秒、1分钟等。
在一些实施例中，视频数据的格式可以包括但不限于：高密度数字视频光盘(Digital Video Disc，DVD)、流媒体格式(Flash Video，FLV)、动态图像专家组(MPEG，Motion Picture Experts Group)、音频视频交错(Audio Video Interleaved，AVI)、家用录像系统(Video Home System，VHS)和视频容器文件格式(Real Media file format，RM)等中的一种或多种组合。
步骤S2，基于所述监控视频使用长短期神经网络模型确定目标停车位，所述长短期神经网络模型的输入为所述监控视频，所述长短期神经网络模型的输出为所述目标停车位。
长短期神经网络模型包括长短期记忆网络(LSTM，Long Short-Term Memory)，长短期记忆网络是RNN(Recurrent Neural Network，循环神经网络)中的一种。
长短期神经网络模型能够处理任意长度的序列数据，捕捉序列的信息，输出基于序列中前后数据关联关系的结果。通过长短期神经网络模型处理连续时间点的监控视频，能够输出得到考虑各个时间点的监控视频之间关联关系的特征，使得该输出的特征更加的准确和全面。
长短期神经网络模型可以通过训练样本来训练得到。所述训练样本包括样本输入数据和所述样本输入数据对应的标签，所述样本输入数据为样本监控视频，所述标签为样本停车位。所述训练样本的输出标签可以通过人为标注得到。例如，可以通过人为标注监控视频，确定监控视频所对应的样本停车位。在一些实施例中，可以通过梯度下降法对初始的长短期神经网络模型进行训练得到训练后的长短期神经网络模型。具体的，根据训练样本，构建长短期神经网络模型的损失函数，通过长短期神经网络模型的损失函数调整长短期神经网络模型的参数，直到损失函数值收敛或者小于预设阈值，则训练完成。损失函数可以包括但不限于对数(log)损失函数、平方损失函数、指数损失函数、Hinge损失函数以及绝对值损失函数等。
训练完成后，输入所述监控视频到训练完成后的长短期神经网络模型，输出得到所述目标停车位。例如，长短期神经网络模型的输入为30秒的监控视频，则输出的目标停车位代号为1-2，表示负一楼2号停车位。
步骤S3，获取目标停车位的全景图像，所述全景图像包括待泊车车辆、所述目标停车位和所述目标停车位周边的多个车辆。
目标停车位的全景图像表示包含了待泊车车辆、所述目标停车位和所述目标停车位周边的多个车辆的图像。目标停车位的全景图像的视野范围较大，可以更好的展现出目标停车位周边的情况。在一些实施例中，可以从监控视频中抽取一帧作为目标停车位的全景图像。在一些实施例中，目标停车位的全景图像还可以通过高清的全景摄像头拍摄目标停车位拍摄得到。目标停车位的全景图像中包括了包括待泊车车辆、所述目标停车位和所述目标停车位周边的多个车辆、以及目标停车位周围的障碍物信息。目标停车位周边的多个车辆表示目标停车位旁已经停好的多个车辆。
步骤S4，基于图神经网络模型对所述目标停车位的全景图像进行处理输出得到多条备选泊车路径，其中所述图神经网络模型的输入包括所述全景图像的多个节点和多条边，其中所述多个节点包括待泊车车辆节点、目标停车位周边的多个车辆节点和目标停车位节点，所述多条边为多个节点之间的关系，所述图神经网络模型的输出为所述多条备选泊车路径。
在一些实施例中，可以使用图神经网络模型对所述目标停车位的全景图像进行处理输出得到多条备选泊车路径。由于全景图像中包含了目标停车位周边的信息，图神经网络模型可以基于目标停车位周边的信息进行处理，分析得到多条备选的泊车路径。
全景图像包括多个节点和多条边，多个节点为包括待泊车车辆节点、目标停车位周边的多个车辆节点和目标停车位节点，多条边为多个节点之间的关系。其中节点的特征可以为节点的中心位置坐标、节点占地面积大小等。例如，目标停车位节点的中心位置坐标的横坐标为111，纵坐标为321，占地面积大小为16平方米。多条边可以为多个节点之间的距离、方向等。在一些实施例中，多个节点还可以包括障碍物节点。
在一些实施例中，图神经网络模型可以包括图神经网络(Graph Neural Network，GNN)和全连接层。图神经网络是一种直接作用于图上的神经网络，所述图是由节点和边两部分组成的一种数据结构。图神经网络模型基于信息传播机制，每一个节点通过相互交换信息来更新自己的节点状态，直到达到某一个稳定值，图神经网络模型的输出就是在每个节点处，根据当前节点状态计算输出。
在一些实施例中，图神经网络模型可以包括多层图神经网络。多层图神经网络训练或实际应用过程中，每一层每个节点从与之连接(例如，相邻)的节点接收信息，并进行节点之间的信息融合，经过多层图神经网络之后，每一层中的节点可以与更远的节点(例如，与之不连接或相邻的节点)进行信息融合，提高了准确性。
在一些实施例中，全景图像包括多个节点和多条边，图2为本发明实施例提供的全景图像的多个节点和多条边的示意图。如图2所示，构建的图包括多个节点A、B、C、D和E，以及由多个节点组成的边，其中，A节点、B节点、C节点表示目标停车位周边的多个车辆节点，D节点表示目标停车位，E节点表示待泊车车辆。a1，a2…和e1，e2，分别代表节点的特征，例如节点的特征可以分别是节点的中心位置坐标、节点占地面积大小。节点E和多个节点A、…和D之间的连线代表所述图的边，所述图的边为多个节点之间的关系。在一些实施例中，边可以是节点之间的距离、方向。
在一些实施例中，图神经网络模型可以包括图神经网络和全连接层，图神经网络的输出可以连接到全连接层，全连接层进行输出得到所述多条备选泊车路径o图3为本发明实施例提供的多条备选泊车路径的示意图。
图神经网络模型可以通过训练样本训练得到。训练样本的输入包括多个节点和多条边，所述多个节点待泊车车辆节点、目标停车位周边的多个车辆节点和目标停车位节点，所述多条边为多个节点之间的关系，训练样本的输出为多条备选泊车路径。在一些实施例中，可以通过梯度下降法对图神经网络模型进行训练得到训练后的图神经网络模型。具体的，根据训练样本，构建图神经网络模型的损失函数，通过图神经网络模型的损失函数调整图神经网络模型的参数，直到损失函数值收敛或者小于预设阈值，则训练完成。损失函数可以包括但不限于对数(log)损失函数、平方损失函数、指数损失函数、Hinge损失函数以及绝对值损失函数等。
训练完成后，可以将所述全景图像的多个节点和多条边输入到所述图神经网络模型中，输出得到多条备选泊车路径。
在一些实施例中，还可以将所述多条备选泊车路径中路径长度大于距离阈值的进行过滤删除，得到过滤后的多条备选泊车路径，并将所述过滤后的多条备选泊车路径作为多条备选泊车路径。例如距离阈值可以设置为20米，对所述多条备选泊车路径中路径长度大于20米的泊车路径进行过滤删除，得到过滤后的多条备选泊车路径。
步骤S5，基于卷积神经网络模型确定所述多条备选泊车路径的风险程度，所述卷积神经网络模型的输入包括所述目标停车位的近景图像和所述多条备选泊车路径，其中所述目标停车位的近景图像基于所述待泊车车辆的车载摄像头拍摄得到，所述卷积神经网络模型的输出为所述多条备选泊车路径的风险程度。
所述待泊车车辆的车载摄像头可以对目标停车位进行拍摄得到所述目标停车位的近景图像。车载摄像头拍摄的近景图像更加清晰，基于所述车载摄像头拍摄的近景图像进行多条备选泊车路径的风险程度的判断，也更加准确。
卷积神经网络模型包括卷积神经网络。卷积神经网络(CNN)可以是多层神经网络(例如，包括至少两个层)。所述至少两个层可以包括卷积层(CONV)、修正线性单元(ReLU)层、池化层(POOL)或全连接层(FC)中的至少一个。卷积神经网络(CNN)的至少两个层可以对应于以三维排列的神经元：宽度、高度、深度。在一些实施例中，卷积神经网络(CNN)可以具有[输入层-卷积层-修正线性单元层-池化层-全连接层]的架构。卷积层可以计算连接到输入中局部区域的神经元的输出，计算每个神经元的权重与其在输入体积中连接的小区域之间的点积。卷积神经网络模型可以输出得到所述多条备选泊车路径的风险程度。例如，输出的多条备选泊车路径对应的风险程度分别为0.01、0.03、0.1。风险程度越小，表示该泊车路径越安全。
卷积神经网络模型可以通过训练样本来训练得到。训练样本中的样本输入包括样本目标停车位的近景图像和样本多条备选泊车路径，训练样本中的样本输出标签为多条备选泊车路径的风险程度。训练样本的样本输出标签可以通过工作人员进行手动标注得到，在一些实施例中，可以通过梯度下降法对卷积神经网络模型进行训练得到训练后的卷积神经网络模型。
步骤S6，将所述多条备选泊车路径中风险程度最低的备选泊车路径确定为目标泊车路径。
在一些实施例中，可以将所述多条备选泊车路径中风险程度最低的备选泊车路径确定为目标泊车路径。
在一些实施例中，得到目标泊车路径后，还可以基于所述目标泊车路径和所述待泊车车辆的信息生成泊车方案，最后基于所述泊车方案对所述待泊车车辆进行控制并完成自动泊车。例如可以基于深度神经网络模型确定所述泊车方案，其中所述深度神经网络模型的输入包括所述目标泊车路径、所述待泊车车辆的信息，所述深度神经网络模型的输出为所述泊车方案。深度神经网络模型可以包括多个处理层，每个处理层由多个神经元组成，每个神经元对数据做矩阵变换。矩阵所使用的参数可以通过训练获得。深度神经网络模型还可以是任意能够实现对多个特征进行处理的现有神经网络模型，例如，RNN、CNN、DNN等。深度神经网络模型还可以是根据需求自定义的模型。
基于同一发明构思，图4为本发明的实施例提供的一种基于深度学习的泊车路径确定系统示意图，所述基于深度学习的泊车路径确定系统包括：
第一获取模块41，用于获取停车场摄像头的监控视频；
停车位确定模块42，用于基于所述监控视频使用长短期神经网络模型确定目标停车位，所述长短期神经网络模型的输入为所述监控视频，所述长短期神经网络模型的输出为所述目标停车位；
第二获取模块43，用于获取目标停车位的全景图像，所述全景图像包括待泊车车辆、所述目标停车位和所述目标停车位周边的多个车辆；
备选泊车路径输出模块44，用于基于图神经网络模型对所述目标停车位的全景图像进行处理输出得到多条备选泊车路径，其中所述图神经网络模型的输入包括所述全景图像的多个节点和多条边，其中所述多个节点包括所述待泊车车辆节点、所述目标停车位周边的多个车辆节点和所述目标停车位节点，所述多条边为多个节点之间的关系，所述图神经网络模型的输出为所述多条备选泊车路径；
风险程度确定模块45，用于基于卷积神经网络模型确定所述多条备选泊车路径的风险程度，所述卷积神经网络模型的输入包括所述目标停车位的近景图像和所述多条备选泊车路径，其中所述目标停车位的近景图像基于所述待泊车车辆的车载摄像头拍摄得到，所述卷积神经网络模型的输出为所述多条备选泊车路径的风险程度；
目标泊车路径确定模块46，用于将所述多条备选泊车路径中风险程度最低的备选泊车路径确定为目标泊车路径。
基于同一发明构思，本发明的实施例提供了一种电子设备，如图5所示，包括：
处理器51；用于存储处理器51中可执行程序指令的存储器52；其中，处理器51被配置为执行以实现如前述提供的一种基于深度学习的泊车路径确定方法的方法，所述方法包括：
S 1、获取停车场摄像头的监控视频；S2、基于所述监控视频使用长短期神经网络模型确定目标停车位，所述长短期神经网络模型的输入为所述监控视频，所述长短期神经网络模型的输出为所述目标停车位；S3、获取目标停车位的全景图像，所述全景图像包括待泊车车辆、所述目标停车位和所述目标停车位周边的多个车辆；S4、基于图神经网络模型对所述目标停车位的全景图像进行处理输出得到多条备选泊车路径，其中所述图神经网络模型的输入包括所述全景图像的多个节点和多条边，其中所述多个节点包括待泊车车辆节点、目标停车位周边的多个车辆节点和目标停车位节点，所述多条边为多个节点之间的关系，所述图神经网络模型的输出为所述多条备选泊车路径；S5、基于卷积神经网络模型确定所述多条备选泊车路径的风险程度，所述卷积神经网络模型的输入包括所述目标停车位的近景图像和所述多条备选泊车路径，其中所述目标停车位的近景图像基于所述待泊车车辆的车载摄像头拍摄得到，所述卷积神经网络模型的输出为所述多条备选泊车路径的风险程度；S6、将所述多条备选泊车路径中风险程度最低的备选泊车路径确定为目标泊车路径。
基于同一发明构思，本实施例提供了一种非临时性计算机可读存储介质，当存储介质中的指令由电子设备的处理器51执行时，使得电子设备能够执行实现如前述提供的基于深度学习的泊车路径确定方法，所述方法包括：S1、获取停车场摄像头的监控视频；S2、基于所述监控视频使用长短期神经网络模型确定目标停车位，所述长短期神经网络模型的输入为所述监控视频，所述长短期神经网络模型的输出为所述目标停车位；S3、获取目标停车位的全景图像，所述全景图像包括待泊车车辆、所述目标停车位和所述目标停车位周边的多个车辆；S4、基于图神经网络模型对所述目标停车位的全景图像进行处理输出得到多条备选泊车路径，其中所述图神经网络模型的输入包括所述全景图像的多个节点和多条边，其中所述多个节点包括待泊车车辆节点、目标停车位周边的多个车辆节点和目标停车位节点，所述多条边为多个节点之间的关系，所述图神经网络模型的输出为所述多条备选泊车路径；S5、基于卷积神经网络模型确定所述多条备选泊车路径的风险程度，所述卷积神经网络模型的输入包括所述目标停车位的近景图像和所述多条备选泊车路径，其中所述目标停车位的近景图像基于所述待泊车车辆的车载摄像头拍摄得到，所述卷积神经网络模型的输出为所述多条备选泊车路径的风险程度；S6、将所述多条备选泊车路径中风险程度最低的备选泊车路径确定为目标泊车路径。
基于同一发明构思，本实施例还提供了一种计算机程序产品，所述计算机程序被处理器执行时实现如前述提供的基于深度学习的泊车路径确定方法。
本申请实施例提供的基于深度学习的泊车路径确定方法，可以应用于终端设备(比如手机)、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、手持计算机、上网本、个人数字助理(personal digital assistant，PDA)、可穿戴设备(如智能手表、智能眼镜或者智能头盔等)、增强现实(augmentedreality，AR)\虚拟现实(virtualreality，VR)设备、智能家居设备、车载电脑等电子设备中，本发明实施例对此不做任何限制。
以手机100为上述电子设备举例，图6示出了手机100的结构示意图。
如图6所示，手机100可以包括处理模块110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。
其中，上述传感器模块180可以包括距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器等传感器。
可以理解的是，本实施例示意的结构并不构成对手机100的具体限定。在本申请另一些实施例中，手机100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理模块110可以包括一个或多个处理单元，例如：处理模块110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphicsprocessingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
其中，控制器可以是手机100的神经中枢和指挥中心，是指挥手机100的各个部件按照指令协调工作的决策者。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
应用处理器上可以安装有手机100的操作系统，用于管理手机100的硬件与软件资源。比如，管理与配置内存、决定系统资源供需的优先次序、管理文件系统、管理驱动程序等。操作系统也可以用于提供一个让用户与系统交互的操作界面。其中，操作系统内可以安装各类软件，比如，驱动程序，应用程序(application，App)等。示例性的，手机100的操作系统可以是Android系统，Linux系统等。
处理模块110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理模块110中的存储器为高速缓冲存储器。该存储器可以保存处理模块110刚用过或循环使用的指令或数据。如果处理模块110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理模块110的等待时间，因而提高了系统的效率。
本发明实施例中，处理模块110可以基于图神经网络模型对所述目标停车位的全景图像进行处理输出得到多条备选泊车路径。
在一些实施例中，处理模块110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integratedcircuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过手机100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142，充电管理模块140与处理模块110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理模块110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理模块110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
手机100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。手机100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在手机100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(lownoise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理模块110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理模块110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理模块110，与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在手机100上的包括无线局域网(wirelesslocalarea networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(ffequencymodulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理模块110。无线通信模块160还可以从处理模块110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
在一些实施例中，手机100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得手机100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivisionmultiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenithsatellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。
手机100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理模块110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(1iquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dotlightemnitting diodes，QLED)等。在一些实施例中，手机100可以包括1个或N个显示屏194，N为大于1的正整数。本发明实施例中，显示屏194可以用于显示目标停车位的全景图像、目标泊车路径等。
手机100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。在一些实施例中，手机100可以通过ISP，摄像头193，视频编解码器，GPU以及应用处理器对实现视频通信功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，手机100可以包括1个或N个摄像头193，N为大于1的正整数。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当手机100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。手机100可以支持一种或多种视频编解码器。这样，手机100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现手机100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
本发明实施例中，NPU计算处理器可以运行长短期神经网络模型确定目标停车位。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展手机100的存储能力。外部存储卡通过外部存储器接口120与处理模块110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理模块110通过运行存储在内部存储器121的指令，从而执行手机100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储手机100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。
手机100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理模块110中，或将音频模块170的部分功能模块设置于处理模块110中。
扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。手机100可以通过扬声器170A收听音乐，或收听免提通话。
受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当手机100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。
麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。手机100可以设置至少一个麦克风170C。在另一些实施例中，手机100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，手机100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。手机100可以接收按键输入，产生与手机100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和手机100的接触和分离。手机100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。手机100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，手机100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在手机100中，不能和手机100分离。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (5)

1.一种基于深度学习的泊车路径确定方法，其特征在于，包括：
S1、获取停车场摄像头的监控视频；停车场摄像头的监控视频为摄像头录制的用于记录停车场车辆停车状态的视频；监控视频中的信息包含了停车场内空闲停车位，以及车辆停车场内的车辆停车信息；
S2、基于所述监控视频使用长短期神经网络模型确定目标停车位，所述长短期神经网络模型的输入为所述监控视频，所述长短期神经网络模型的输出为所述目标停车位；
S3、获取目标停车位的全景图像，目标停车位的全景图像是从监控视频中抽取一帧作为目标停车位的全景图像，其中所述目标停车位的全景图像为包含了待泊车车辆、所述目标停车位和所述目标停车位周边的多个车辆的图像以及目标停车位周围的障碍物信息；
S4、基于图神经网络模型对所述目标停车位的全景图像进行处理输出得到多条备选泊车路径，其中所述图神经网络模型的输入包括所述全景图像的多个节点和多条边，其中所述多个节点包括待泊车车辆节点、目标停车位周边的多个车辆节点和目标停车位节点，其中节点的特征为节点的中心位置坐标、节点占地面积大小，所述多条边为多个节点之间的关系，其中所述多条边为多个节点之间的关系包括：所述多条边为多个节点之间的距离、方向，所述图神经网络模型的输出为所述多条备选泊车路径，全景图像中包含了目标停车位周边的信息，图神经网络模型基于目标停车位周边的信息进行处理，分析得到多条备选的泊车路径；
S5、基于卷积神经网络模型确定所述多条备选泊车路径的风险程度，所述卷积神经网络模型的输入包括所述目标停车位的近景图像和所述多条备选泊车路径，其中所述目标停车位的近景图像基于所述待泊车车辆的车载摄像头拍摄得到，所述卷积神经网络模型的输出为所述多条备选泊车路径的风险程度，所述卷积神经网络模型通过训练过程获取，所述训练过程包括：
获取多个训练样本，所述训练样本包括样本输入数据和所述样本输入数据对应的标签，所述样本输入数据为样本停车位的近景图像和多条样本泊车路径，所述标签为所述多条样本泊车路径的风险程度；
基于所述多个训练样本训练初始的卷积神经网络模型，得到所述卷积神经网络模型；
S6、将所述多条备选泊车路径中风险程度最低的备选泊车路径确定为目标泊车路径；
所述方法还包括：将所述多条备选泊车路径中路径长度大于距离阈值的进行过滤删除，得到过滤后的多条备选泊车路径，并将所述过滤后的多条备选泊车路径作为多条备选泊车路径；
得到目标泊车路径后，基于所述目标泊车路径和所述待泊车车辆的信息生成泊车方案，基于所述泊车方案对所述待泊车车辆进行控制并完成自动泊车，基于深度神经网络模型确定所述泊车方案，其中所述深度神经网络模型的输入包括所述目标泊车路径、所述待泊车车辆的信息，所述深度神经网络模型的输出为所述泊车方案。
2.如权利要求1所述的基于深度学习的泊车路径确定方法，其特征在于，所述长短期神经网络模型经过梯度下降法训练得到。
3.一种基于深度学习的泊车路径确定系统，该系统实现如权利要求1所述的方法，其特征在于，包括：
第一获取模块，用于获取停车场摄像头的监控视频；
停车位确定模块，用于基于所述监控视频使用长短期神经网络模型确定目标停车位，所述长短期神经网络模型的输入为所述监控视频，所述长短期神经网络模型的输出为所述目标停车位；
第二获取模块，用于获取目标停车位的全景图像，所述全景图像包括待泊车车辆、所述目标停车位和所述目标停车位周边的多个车辆，其中所述目标停车位的全景图像为包含了待泊车车辆、所述目标停车位和所述目标停车位周边的多个车辆的图像；
备选泊车路径输出模块，用于基于图神经网络模型对所述目标停车位的全景图像进行处理输出得到多条备选泊车路径，其中所述图神经网络模型的输入包括所述全景图像的多个节点和多条边，其中所述多个节点包括所述待泊车车辆节点、所述目标停车位周边的多个车辆节点和所述目标停车位节点，其中节点的特征为节点的中心位置坐标、节点占地面积大小，所述多条边为多个节点之间的关系，其中所述多条边为多个节点之间的关系包括：所述多条边为多个节点之间的距离、方向，所述图神经网络模型的输出为所述多条备选泊车路径，全景图像中包含了目标停车位周边的信息，图神经网络模型基于目标停车位周边的信息进行处理，分析得到多条备选的泊车路径；
风险程度确定模块，用于基于卷积神经网络模型确定所述多条备选泊车路径的风险程度，所述卷积神经网络模型的输入包括所述目标停车位的近景图像和所述多条备选泊车路径，其中所述目标停车位的近景图像基于所述待泊车车辆的车载摄像头拍摄得到，所述卷积神经网络模型的输出为所述多条备选泊车路径的风险程度，所述卷积神经网络模型通过训练过程获取，所述训练过程包括：
获取多个训练样本，所述训练样本包括样本输入数据和所述样本输入数据对应的标签，所述样本输入数据为样本停车位的近景图像和多条样本泊车路径，所述标签为所述多条样本泊车路径的风险程度；
基于所述多个训练样本训练初始的卷积神经网络模型，得到所述卷积神经网络模型；
目标泊车路径确定模块，用于将所述多条备选泊车路径中风险程度最低的备选泊车路径确定为目标泊车路径；
所述系统还用于：将所述多条备选泊车路径中路径长度大于距离阈值的进行过滤删除，得到过滤后的多条备选泊车路径，并将所述过滤后的多条备选泊车路径作为多条备选泊车路径。
4.一种电子设备，其特征在于，包括：存储器；处理器；以及计算机程序；其中，所述计算机程序存储在所述存储器中，并配置为由所述处理器执行以实现如权利要求1至2任一项所述的基于深度学习的泊车路径确定方法。
5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至2任一项所述的基于深度学习的泊车路径确定方法。
CN202310631934.4A 2023-05-30 2023-05-30 基于深度学习的泊车路径确定方法与系统 Active CN116612458B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310631934.4A CN116612458B (zh) 2023-05-30 2023-05-30 基于深度学习的泊车路径确定方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310631934.4A CN116612458B (zh) 2023-05-30 2023-05-30 基于深度学习的泊车路径确定方法与系统

Publications (2)

Publication Number Publication Date
CN116612458A CN116612458A (zh) 2023-08-18
CN116612458B true CN116612458B (zh) 2024-06-04

Family

ID=87683382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310631934.4A Active CN116612458B (zh) 2023-05-30 2023-05-30 基于深度学习的泊车路径确定方法与系统

Country Status (1)

Country Link
CN (1) CN116612458B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117520788B (zh) * 2024-01-05 2024-03-22 成都亚度克升科技有限公司 基于人工智能和大数据分析的音箱参数确定方法和系统

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017012470A1 (zh) * 2015-07-17 2017-01-26 袁丽 智能泊车监控管理系统及停车模式下车辆入位检测方法
CN109624969A (zh) * 2018-12-24 2019-04-16 北京新能源汽车股份有限公司 一种自动泊车控制方法、装置及电动汽车
CN112201078A (zh) * 2020-09-30 2021-01-08 中国人民解放军军事科学院国防科技创新研究院 一种基于图神经网络的自动泊车停车位检测方法
CN112208518A (zh) * 2020-09-28 2021-01-12 惠州华阳通用电子有限公司 一种泊车路径自动规划方法
CN112509363A (zh) * 2020-11-13 2021-03-16 北京邮电大学 一种空闲车位确定方法及装置
CN113320474A (zh) * 2021-07-08 2021-08-31 长沙立中汽车设计开发股份有限公司 基于全景图像及人机交互的自动泊车方法及装置
WO2021227304A1 (zh) * 2020-05-09 2021-11-18 惠州市德赛西威汽车电子股份有限公司 一种自动泊车路径规划的避障方法及泊车路径规划系统
CN113744560A (zh) * 2021-09-15 2021-12-03 厦门科拓通讯技术股份有限公司 停车场自动泊车方法、装置、服务器和机器可读存储介质
CN114379544A (zh) * 2021-12-31 2022-04-22 北京华玉通软科技有限公司 一种基于多传感器前融合的自动泊车系统、方法及装置
CN114445798A (zh) * 2021-12-30 2022-05-06 深圳信息职业技术学院 一种基于深度学习的城市道路停车位识别方法及系统
CN114454875A (zh) * 2022-02-25 2022-05-10 深圳信息职业技术学院 一种基于强化学习的城市道路自动泊车方法及系统
CN114821470A (zh) * 2022-04-22 2022-07-29 超级视线科技有限公司 基于图卷积网络的人车关联方法及装置
CN115062529A (zh) * 2022-04-12 2022-09-16 东南大学 基于长短期记忆和多图卷积网络融合的汽车行为预测方法
WO2022205357A1 (zh) * 2021-04-01 2022-10-06 深圳市大疆创新科技有限公司 自动驾驶控制方法、电子设备、移动终端及车辆
CN115235452A (zh) * 2022-07-22 2022-10-25 上海师范大学 基于uwb/imu和视觉信息融合的智能泊车定位系统及方法
CN115303263A (zh) * 2022-08-31 2022-11-08 奇瑞汽车股份有限公司 一种基于神经网络的自动泊车方法及系统
WO2023004595A1 (zh) * 2021-07-27 2023-02-02 中国科学院深圳先进技术研究院 一种停车数据修复方法、装置、计算机设备以及存储介质
CN115709711A (zh) * 2022-09-29 2023-02-24 清华大学 考虑综合风险的自动泊车方法、装置、设备及介质
CN116052116A (zh) * 2023-01-04 2023-05-02 江苏大学 一种基于多源信息感知和端到端深度学习的自动泊车方法
WO2023072093A1 (zh) * 2021-10-28 2023-05-04 华为技术有限公司 虚拟车位确定方法、显示方法、装置、设备、介质及程序

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111959495B (zh) * 2020-06-29 2021-11-12 阿波罗智能技术(北京)有限公司 车辆的控制方法、装置及车辆

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017012470A1 (zh) * 2015-07-17 2017-01-26 袁丽 智能泊车监控管理系统及停车模式下车辆入位检测方法
CN109624969A (zh) * 2018-12-24 2019-04-16 北京新能源汽车股份有限公司 一种自动泊车控制方法、装置及电动汽车
WO2021227304A1 (zh) * 2020-05-09 2021-11-18 惠州市德赛西威汽车电子股份有限公司 一种自动泊车路径规划的避障方法及泊车路径规划系统
CN112208518A (zh) * 2020-09-28 2021-01-12 惠州华阳通用电子有限公司 一种泊车路径自动规划方法
CN112201078A (zh) * 2020-09-30 2021-01-08 中国人民解放军军事科学院国防科技创新研究院 一种基于图神经网络的自动泊车停车位检测方法
CN112509363A (zh) * 2020-11-13 2021-03-16 北京邮电大学 一种空闲车位确定方法及装置
WO2022205357A1 (zh) * 2021-04-01 2022-10-06 深圳市大疆创新科技有限公司 自动驾驶控制方法、电子设备、移动终端及车辆
CN113320474A (zh) * 2021-07-08 2021-08-31 长沙立中汽车设计开发股份有限公司 基于全景图像及人机交互的自动泊车方法及装置
WO2023004595A1 (zh) * 2021-07-27 2023-02-02 中国科学院深圳先进技术研究院 一种停车数据修复方法、装置、计算机设备以及存储介质
CN113744560A (zh) * 2021-09-15 2021-12-03 厦门科拓通讯技术股份有限公司 停车场自动泊车方法、装置、服务器和机器可读存储介质
WO2023072093A1 (zh) * 2021-10-28 2023-05-04 华为技术有限公司 虚拟车位确定方法、显示方法、装置、设备、介质及程序
CN114445798A (zh) * 2021-12-30 2022-05-06 深圳信息职业技术学院 一种基于深度学习的城市道路停车位识别方法及系统
CN114379544A (zh) * 2021-12-31 2022-04-22 北京华玉通软科技有限公司 一种基于多传感器前融合的自动泊车系统、方法及装置
CN114454875A (zh) * 2022-02-25 2022-05-10 深圳信息职业技术学院 一种基于强化学习的城市道路自动泊车方法及系统
CN115062529A (zh) * 2022-04-12 2022-09-16 东南大学 基于长短期记忆和多图卷积网络融合的汽车行为预测方法
CN114821470A (zh) * 2022-04-22 2022-07-29 超级视线科技有限公司 基于图卷积网络的人车关联方法及装置
CN115235452A (zh) * 2022-07-22 2022-10-25 上海师范大学 基于uwb/imu和视觉信息融合的智能泊车定位系统及方法
CN115303263A (zh) * 2022-08-31 2022-11-08 奇瑞汽车股份有限公司 一种基于神经网络的自动泊车方法及系统
CN115709711A (zh) * 2022-09-29 2023-02-24 清华大学 考虑综合风险的自动泊车方法、装置、设备及介质
CN116052116A (zh) * 2023-01-04 2023-05-02 江苏大学 一种基于多源信息感知和端到端深度学习的自动泊车方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
"Incorporating LSTM Auto-Encoders in Optimizations to Solve Parking Officer Patrolling Problem";Shao, W; Tan, SY; (...); Salim, FD;《ACM TRANSACTIONS ON SPATIAL ALGORITHMS AND SYSTEMS》;20200430;第6卷(第3期);全文 *
"停车场泊车路径寻优问题研究";邓应伟;张帆;《计算技术与自动化》;20060331(第01期);全文 *
"基于北斗RDSS的核辐射监测应急通讯方法";王廷银; 林明贵; 陈达; 吴允平;《计算机系统应用》;20191231;第28卷(第12期);全文 *
"基于长短期记忆神经网络的可用停车位预测";孙敏等;《集成技术》;20181130;第7卷(第6期);第39-48页 *
"智能车路径跟踪控制算法的简述";杨浩;《汽车实用技术》;20200131(第01期);全文 *
浅析自动泊车系统的技术与应用;李海娟;龚博;;《淮南职业技术学院学报》;20181015(第05期);全文 *
自主泊车系统APS的现状与发展;陈天殷;;《汽车电器》;20180920(第09期);全文 *

Also Published As

Publication number Publication date
CN116612458A (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN113905179B (zh) 一种终端切换摄像头的方法及终端
US11889180B2 (en) Photographing method and electronic device
CN114119758B (zh) 获取车辆位姿的方法、电子设备和计算机可读存储介质
WO2022022319A1 (zh) 一种图像处理方法、电子设备、图像处理系统及芯片系统
CN116612458B (zh) 基于深度学习的泊车路径确定方法与系统
CN111368765A (zh) 车辆位置的确定方法、装置、电子设备和车载设备
CN111078376A (zh) 一种进程管理方法及设备
CN113473013A (zh) 图像美化效果的显示方法、装置和终端设备
CN116128484B (zh) 基于神经网络的汽车剩余维修时间确定方法及系统
WO2024001940A1 (zh) 寻车的方法、装置和电子设备
CN116684525B (zh) 一种事件提醒的方法、电子设备及存储介质
CN115686182B (zh) 增强现实视频的处理方法与电子设备
CN113672404A (zh) 一种显示方法和电子终端设备
CN115841099B (zh) 基于数据处理的页面填充词的智能推荐方法
CN115841098B (zh) 基于数据识别的交互式批量填充方法与系统
CN115994910B (zh) 基于数据处理的汽车损伤程度确定方法及系统
CN115965448B (zh) 基于图像处理的车辆维修配件推荐方法及系统
CN116095219B (zh) 通知显示方法和终端设备
CN114429702B (zh) 一种告警实现方法和装置
CN116709014B (zh) 一种微距模式识别方法及电子设备
CN118628475A (zh) 一种锂电池检测方法、系统、电子设备和介质
RU2780808C1 (ru) Способ фотографирования и электронное устройство
CN112702564B (zh) 图像监控方法及设备
CN118585454A (zh) 一种软件兼容性测试方法、系统、电子设备和介质
CN117274663A (zh) 一种目标检测方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant