CN114500736B - 一种智能终端运动轨迹决策方法及其系统、存储介质 - Google Patents

一种智能终端运动轨迹决策方法及其系统、存储介质 Download PDF

Info

Publication number
CN114500736B
CN114500736B CN202011143324.2A CN202011143324A CN114500736B CN 114500736 B CN114500736 B CN 114500736B CN 202011143324 A CN202011143324 A CN 202011143324A CN 114500736 B CN114500736 B CN 114500736B
Authority
CN
China
Prior art keywords
intelligent terminal
track
motion
time period
set time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011143324.2A
Other languages
English (en)
Other versions
CN114500736A (zh
Inventor
王航
周玉山
王玉龙
关倩仪
张剑锋
尹苍穹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Automobile Group Co Ltd
Original Assignee
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Automobile Group Co Ltd filed Critical Guangzhou Automobile Group Co Ltd
Priority to CN202011143324.2A priority Critical patent/CN114500736B/zh
Publication of CN114500736A publication Critical patent/CN114500736A/zh
Application granted granted Critical
Publication of CN114500736B publication Critical patent/CN114500736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种智能终端运动轨迹决策方法及其系统、存储介质，该方法包括：获取智能终端摄像头拍摄的连续多帧图像；将连续多帧图像输入智能终端轨迹预测模型进行轨迹预测；获取智能终端雷达组件所检测的雷达信息，并根据连续多帧图像与雷达信息对智能终端当前所处场景中的前方多个对象进行识别，确定多个目标对象及其类型；分别将连续多帧图像输入对应类型的对象轨迹预测模型进行轨迹预测，根据预设筛选规则从多个目标对象在未来设定时间段内的运动轨迹中筛选出一个修正轨迹；根据修正轨迹修正智能终端在未来设定时间段内的运动轨迹，使得在未来设定时间段内智能终端与修正轨迹所对应的目标对象不发生碰撞，提高智能终端运动决策能力。

Description

一种智能终端运动轨迹决策方法及其系统、存储介质
技术领域
本发明涉及智能终端决策技术领域，具体涉及一种智能终端运动轨迹决策方法及其系统、存储介质。
背景技术
目前，智能终端的移动决策大多依赖于外部感知场景的分析，而忽略了场景中不同对象与移动本体的联系，即缺乏对识别场景对象未来移动行为预测。一般情况下，我们可以考虑识别对象运动的变化，并且从移动终端的角度进行场景描述。几乎现有全部研究都考虑了运动学与环境实体的关系，而且大多数仲裁模型是一种基于静态特定场景定制的，因此智能终端在多变复杂的场景中，需要根据场景的特征激活相应的模型，限制了算法的迁移与扩展应用。
发明内容
本发明的目的在于提出一种智能终端运动轨迹决策方法及其系统、存储介质，其利用场景中多个目标对象的未来运动轨迹修正智能终端的未来运动轨迹，实现高效决策，适用于多变复杂的场景的智能终端运动轨迹决策。
为实现上述目的，根据第一方面，本发明的实施例提出一种智能终端运动轨迹决策方法，包括：
获取智能终端摄像头拍摄的连续多帧图像；
将所述连续多帧图像输入智能终端轨迹预测模型进行轨迹预测，得到智能终端在未来设定时间段内的智能终端未来运动轨迹；
获取智能终端雷达组件所检测的雷达信息，并根据所述连续多帧图像与所述雷达信息对智能终端当前所处场景中的前方多个对象进行识别，确定多个目标对象及其类型；
根据所述多个目标对象的类型，分别将所述连续多帧图像输入对应类型的对象轨迹预测模型进行轨迹预测，得到所述每一目标对象在未来设定时间段内的对象未来运动轨迹；其中，不同目标对象类型对应不同的对象轨迹预测模型；
根据预设筛选规则从所述多个目标对象在未来设定时间段内的运动轨迹中筛选出一个修正轨迹；
根据所述修正轨迹修正所述智能终端在未来设定时间段内的运动轨迹，以使得在未来设定时间段内智能终端与所述修正轨迹所对应的目标对象不发生碰撞。
可选地，所述根据预设筛选规则从所述多个目标对象在未来设定时间段内的运动轨迹中筛选出一个修正轨迹，包括：
步骤S11、获取所述多个目标对象的权重系数；其中对于不同类型的目标对象预先设置不同的权重系数；
步骤S12、初始化当前修正轨迹；其中所述当前修正轨迹的初始参数为权重系数最大的目标对象在未来设定时间段内的运动轨迹；
步骤S13、基于所述当前修正轨迹，判断所述多个目标对象在未来设定时间段内的运动轨迹与所述智能终端在未来设定时间段内的运动轨迹之间的距离关系是否满足预设的修正条件；若满足，则输出所述当前修正轨迹作为修正轨迹，若不满足，则转至步骤S14；
步骤S14、根据所述多个目标对象的权重系数从所述多个目标对象在未来设定时间段内的运动轨迹中选取一个运动轨迹更新所述当前修正轨迹，并将更新后的当前修正轨迹返回步骤S13继续循环执行。
可选地，所述智能终端未来运动轨迹包括连续多个时刻的多帧智能终端位置预测图像，每帧智能终端位置预测图像包括智能终端在对应时刻的预测位置；
所述对象未来运动轨迹包括连续多个时刻的多帧对象位置预测图像，每帧对象位置预测图像包括对应目标对象在对应时刻的预测位置；其中，不同目标对象类型对应不同的对象轨迹预测模型。
可选地，所述步骤S13，包括：
根据所述当前修正轨迹所对应目标对象的权重系数、预设安全距离衡量值计算修正阈值；
根据所述修正阈值，判断所述多个目标对象在未来设定时间段内的运动轨迹与所述智能终端在未来设定时间段内的运动轨迹之间的距离关系是否满足预设的修正条件其中，/>分别为第1至第n个目标对象在未来设定时间段内的运动轨迹与所述智能终端在未来设定时间段内的运动轨迹之间最近的距离，n为目标对象总数。
可选地，所述步骤S14，包括：
选择权重系数小于当前修正轨迹所对应目标对象权重系数，且最接近当前修正轨迹所对应目标对象权重系数的目标对象在未来设定时间段内的运动轨迹更新所述当前修正轨迹。
可选地，所述目标对象的类型至少包括动态对象和静态对象。
根据第二方面，本发明的实施例提出一种智能终端运动轨迹决策系统，包括：
图像获取单元，用于获取智能终端摄像头拍摄的连续多帧图像；
智能终端轨迹预测单元，用于将所述连续多帧图像输入智能终端轨迹预测模型进行轨迹预测，得到智能终端在未来设定时间段内的智能终端未来运动轨迹；
雷达信息获取单元，用于获取智能终端雷达组件所检测的雷达信息，并根据所述连续多帧图像与所述雷达信息对智能终端当前所处场景中的前方多个对象进行识别，确定多个目标对象及其类型；
对象轨迹预测单元，用于根据所述多个目标对象的类型，分别将所述连续多帧图像输入对应类型的对象轨迹预测模型进行轨迹预测，得到所述每一目标对象在未来设定时间段内的对象未来运动轨迹；其中，不同目标对象类型对应不同的对象轨迹预测模型；
修正轨迹筛选单元，用于根据预设筛选规则从所述多个目标对象在未来设定时间段内的运动轨迹中筛选出一个修正轨迹；以及
轨迹修正单元，用于根据所述修正轨迹修正所述智能终端在未来设定时间段内的运动轨迹，以使得在未来设定时间段内智能终端与所述修正轨迹所对应的目标对象不发生碰撞。
可选地，所述修正轨迹筛选单元，包括：
权重系数获取单元，用于获取所述多个目标对象的权重系数；其中对于不同类型的目标对象预先设置不同的权重系数；
修正轨迹初始化单元，用于初始化当前修正轨迹；其中所述当前修正轨迹的初始参数为权重系数最大的目标对象在未来设定时间段内的运动轨迹；
修正条件判断单元，用于基于所述当前修正轨迹，判断所述多个目标对象在未来设定时间段内的运动轨迹与所述智能终端在未来设定时间段内的运动轨迹之间的距离关系是否满足预设的修正条件；
修正轨迹输出单元，用于当修正条件判断单元的判断结果为满足时，输出对应的当前修正轨迹作为修正轨迹；以及
修正轨迹更新单元，用于当修正条件判断单元的判断结果为不满足时，根据所述多个目标对象的权重系数从所述多个目标对象在未来设定时间段内的运动轨迹中选取一个运动轨迹更新所述当前修正轨迹，并将更新后的当前修正轨迹输出给所述修正条件判断单元继续判断。
可选地，所述智能终端未来运动轨迹包括连续多个时刻的多帧智能终端位置预测图像，每帧智能终端位置预测图像包括智能终端在对应时刻的预测位置；
所述对象未来运动轨迹包括连续多个时刻的多帧对象位置预测图像，每帧对象位置预测图像包括对应目标对象在对应时刻的预测位置；其中，不同目标对象类型对应不同的对象轨迹预测模型。
可选地，所述修正条件判断单元，包括：
修正阈值计算单元，用于根据所述当前修正轨迹所对应目标对象的权重系数、预设安全距离衡量值计算修正阈值；以及
执行判断单元，用于根据所述修正阈值，判断所述多个目标对象在未来设定时间段内的运动轨迹与所述智能终端在未来设定时间段内的运动轨迹之间的距离关系是否满足预设的修正条件其中，/>分别为第1至第n个目标对象在未来设定时间段内的运动轨迹与所述智能终端在未来设定时间段内的运动轨迹之间最近的距离，n为目标对象总数。
可选地，所述修正轨迹更新单元，具体用于：
选择权重系数小于当前修正轨迹所对应目标对象权重系数，且最接近当前修正轨迹所对应目标对象权重系数的目标对象在未来设定时间段内的运动轨迹更新所述当前修正轨迹。
根据第三方面，本发明的实施例提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述智能终端运动轨迹决策方法。
本发明实施例提出一种智能终端运动轨迹决策方法及其系统、存储介质，其基于智能终端传感单元所检测的当前场景的环境传感信息，识别智能终端以及当前场景中多个目标对象在未来一段时间内的运动轨迹，并预先设置了轨迹的筛选规则，从所述多个目标对象在未来一段时间内的运动轨迹中筛选出一个对智能终端运动影响最大的轨迹作为修正轨迹，用于修正智能终端的未来运动轨迹，保证智能终端在最短时间、高效轨迹中实现最优化目标，实现高效决策，适用于多变复杂的场景的智能终端运动轨迹决策。
本发明的其它特征和优点将在随后的说明书中阐述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例中一种智能终端运动轨迹决策方法的流程图。
图2为本发明一实施例中一种智能终端运动轨迹决策方法的步骤S5的具体流程图。
图3为本发明另一实施例中一种智能终端运动轨迹决策系统的结构示意图。
图4为本发明另一实施例中一种智能终端运动轨迹决策系统的修正轨迹筛选单元的具体结构示意图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。另外，为了更好的说明本发明，在下文的具体实施例中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的手段未作详细描述，以便于凸显本发明的主旨。
参阅图1，本发明的实施例提出一种智能终端运动轨迹决策方法，包括如下步骤S1～S6；
步骤S1、获取智能终端摄像头拍摄的连续多帧图像；
具体而言，在应用过程中，智能终端上可以设置摄像头用于拍摄前方图像，本实施例中使用连续多帧图像作为轨迹预测的数据输入。该智能终端可以是具有运动能力并安装有相应传感器的各种终端，如机器人、智能汽车等。
步骤S2、将所述连续多帧图像输入智能终端轨迹预测模型进行轨迹预测，得到智能终端在未来设定时间段内的智能终端未来运动轨迹；
可以理解的是，智能终端的轨迹预测在现有技术中多有应用，本实施例方法的发明主旨在于对预测得到智能终端未来轨迹进行修正调整，因此，步骤S2中的智能终端轨迹预测可以根据实际技术条件来设置合适的预测模型，例如端到端的神经网络模型，通过利用训练样本进行训练，即可以达到根据输入的连续多帧图像输出对应的智能终端轨迹预测结果，本实施例中不对智能终端轨迹预测模型进行特别的限定。
步骤S3、获取智能终端雷达组件所检测的雷达信息，并根据所述连续多帧图像与所述雷达信息对智能终端当前所处场景中的前方多个对象进行识别，确定多个目标对象及其类型；
具体而言，智能终端上设置有雷达组件，用于检测智能终端所处场景中的环境雷达信息。步骤S3涉及场景中对象(即障碍物)的识别，可以理解的是，雷达信息广泛应用于障碍物的识别，例如车辆的雷达系统，本实施例步骤S3旨在识别场景中的对象，以便于后续步骤S4中利用预先训练好的不同类型的对象轨迹预测模型对相应类型的对象进行未来运动轨迹的识别，因此，可以根据实际技术条件来设置合适的识别模型，通过利用训练样本进行训练，即可以达到根据输入的雷达信息输出对应的对象识别结果，本实施例中不对对象识别模型进行特别的限定。
示例性地，通过自身多重融合传感器对场景进行感知，感知对象并获得对象属性，对象例如是静态建筑、移动物体、静态展柜、行人、静止的人们等，
进一步地，多重传感器可以包括摄像头、激光雷达、毫米波雷达、超声波雷达等，通过识别、跟踪等多种滤波算法得到场景对象的空间和语义信息，例如是卡尔曼滤波、神经网络方法等，并将同一对象信息进行多重融合，得到其对象属性。
步骤S4、根据所述多个目标对象的类型，分别将所述连续多帧图像输入对应类型的对象轨迹预测模型进行轨迹预测，得到所述每一目标对象在未来设定时间段内的对象未来运动轨迹；其中，不同目标对象类型对应不同的对象轨迹预测模型；
可以理解的是，对象的轨迹预测在现有技术中多有应用，本实施例方法的发明主旨在于根据场景中多个目标对象的未来运动轨迹对智能终端未来运动轨迹进行修正调整，因此，步骤S4中的对象轨迹预测可以根据实际技术条件来设置合适的预测模型，例如端到端的神经网络模型，通过利用训练样本进行训练，即可以达到根据输入的连续多帧图像输出对应的对象轨迹预测结果，本实施例中不对对象轨迹预测模型进行特别的限定。
步骤S5、根据预设筛选规则从所述多个目标对象在未来设定时间段内的运动轨迹中筛选出一个修正轨迹；
具体而言，所述预设筛选规则可以理解为，从所述多个目标对象在未来设定时间段内的运动轨迹中筛选出对智能终端运动影响权重最大的一个轨迹作为修正轨迹，从而实现高效决策；例如，存在2个对象甲和对象乙，如果智能终端在运动过程中与对象甲发生碰撞而导致的后果，比智能终端在运动过程中与对象乙发生碰撞而导致的后果严重，那么，则选择宁愿与对象乙发生碰撞，也不与对象甲发生碰撞，即对象甲的未来运动轨迹作为修正轨迹；此处仅为示例说明，基于本实施例所阐述的内容，当然可以具体设置更多的考虑因素，但主旨仍是基于对智能终端运动影响权重来进行筛选，本实施例中不作具体的特别限定。
步骤S6、根据所述修正轨迹修正所述智能终端在未来设定时间段内的运动轨迹，以使得在未来设定时间段内智能终端与所述修正轨迹所对应的目标对象不发生碰撞。
具体而言，步骤中根据所述修正轨迹修正所述智能终端在未来设定时间段内的运动轨迹，其例如是，但所述智能终端按照步骤S2所预测的轨迹运动，在t时刻，(x1,y1)位置将会与所述修正轨迹所对应的目标对象发生碰撞，则调整所述智能终端在t时刻的位置，例如是(x2,y2)。
基于以上描述可知，本实施例方法基于智能终端传感单元所检测的当前场景的环境传感信息，识别智能终端以及当前场景中多个目标对象在未来一段时间内的运动轨迹，并预先设置了轨迹的筛选规则，从所述多个目标对象在未来一段时间内的运动轨迹中筛选出一个对智能终端运动影响最大的轨迹作为修正轨迹，用于修正智能终端的未来运动轨迹，实现高效决策，保证智能终端在最短时间、高效轨迹中实现最优化目标，适用于多变复杂的场景的智能终端运动轨迹决策。
可选地，参阅图2，所述步骤S5，包括：
步骤S51、获取所述多个目标对象的权重系数；其中对于不同类型的目标对象预先设置不同的权重系数；
具体而言，所述目标对象的类型至少包括动态对象和静态对象；更具体地，当智能终端应用于室内场景时，例如包括静态建筑、移动物体、静态展柜、行人等，对应的权重系数可以设置为例如下表1所示：
表1-多个目标对象的权重系数示例
步骤S52、初始化当前修正轨迹；其中所述当前修正轨迹的初始参数为权重系数最大的目标对象在未来设定时间段内的运动轨迹；
示例性地，在上述表1中，初始的当前修正轨迹为行人所对应的未来设定时间段内的运动轨迹。
步骤S53、基于所述当前修正轨迹，判断所述多个目标对象在未来设定时间段内的运动轨迹与所述智能终端在未来设定时间段内的运动轨迹之间的距离关系是否满足预设的修正条件；若满足，则输出所述当前修正轨迹作为修正轨迹，若不满足，则转至步骤S54；
步骤S54、根据所述多个目标对象的权重系数从所述多个目标对象在未来设定时间段内的运动轨迹中选取一个运动轨迹更新所述当前修正轨迹，并将更新后的当前修正轨迹返回步骤S53继续循环执行。
可选地，所述智能终端未来运动轨迹连续多个时刻的多帧智能终端位置预测图像，每帧智能终端位置预测图像包括智能终端在对应时刻的预测位置；
具体地，每一时刻对应一帧智能终端位置预测图像，每帧智能终端位置预测图像中包含智能终端位置坐标信息，因此，连续多个时刻的多帧智能终端位置预测图像即构成了智能终端在未来设定时间段内的运动轨迹。
其中，所述多帧智能终端位置预测图像优选但不限于为30帧。
所述对象未来运动轨迹连续多个时刻的多帧对象位置预测图像，每帧对象位置预测图像包括对应目标对象在对应时刻的预测位置；其中，不同目标对象类型对应不同的对象轨迹预测模型。
具体地，每一时刻对应一帧对象位置预测图像，每帧对象位置预测图像中包含对象位置坐标信息，因此，连续多个时刻的多帧对象位置预测图像即构成了对象在未来设定时间段内的运动轨迹。
其中，对于每一目标对象，其多帧对象位置预测图像优选但不限于为30帧。
需说明的是，所述多帧智能终端位置预测图像与所述多帧对象位置预测图像在图像帧时刻上一一对应，以便于后续在同一帧时刻下计算两个轨迹之间的距离关系。
可选地，所述步骤S53，包括：
步骤S531、根据所述当前修正轨迹所对应目标对象的权重系数、预设安全距离衡量值m计算修正阈值s；
具体而言，修正阈值s＝预设安全距离衡量值m×所述当前修正轨迹所对应目标对象的权重系数。
步骤S532、根据所述修正阈值，判断所述多个目标对象在未来设定时间段内的运动轨迹与所述智能终端在未来设定时间段内的运动轨迹之间的距离关系是否满足预设的修正条件其中，/>分别为第1至第n个目标对象在未来设定时间段内的运动轨迹与所述智能终端在未来设定时间段内的运动轨迹之间最近的距离，n为目标对象总数；
具体而言，对于任一目标对象而言，以30帧位置预测图像为例，目标对象和智能终端的轨迹均包括30帧图像，将该目标对象与所述智能终端在未来设定时间段内的距离最近的时刻所对应的轨迹距离作为两者运动轨迹之间最近的距离，例如在t时刻，该目标对象与智能终端位置最近，则t时刻所对应的两者的距离为最近的距离。
可选地，所述步骤S54，包括：
选择权重系数小于当前修正轨迹所对应目标对象权重系数，且最接近当前修正轨迹所对应目标对象权重系数的目标对象在未来设定时间段内的运动轨迹更新所述当前修正轨迹。
具体而言，例如，场景中的多个目标对象包括一个行人、一个静态展柜、一个移动物体，则最开始的修正轨迹所对应的目标对象为行人，如果当前修正轨迹所对应的目标对象为行人，则步骤S54中权重系数小于当前修正轨迹所对应目标对象权重系数，且最接近当前修正轨迹所对应目标对象权重系数的目标对象则为静态展柜。如果当前修正轨迹所对应的目标对象为静态展柜，则步骤S54中权重系数小于当前修正轨迹所对应目标对象权重系数，且最接近当前修正轨迹所对应目标对象权重系数的目标对象则为移动物体。又例如，场景中的多个目标对象包括两个行人、一个静态展柜、一个移动物体，则最开始的修正轨迹所对应的目标对象为其中第一个行人，如果当前修正轨迹所对应的目标对象为第一个行人，则步骤S54中权重系数小于当前修正轨迹所对应目标对象权重系数，且最接近当前修正轨迹所对应目标对象权重系数的目标对象则为第二个行人。需说明的是，当存在多个相同权重的目标对象时，选择其一即可，此时没有优先顺序。
基于以上内容可知，本实施例方法将“端到端”和“规则建模”进行多策略融合，一方面有利于智能终端本体更优化的行为决策，从而实现更加智能化的移动效果，使得本体更加AI化；另一方面，本实施例方法为智能移动终端的决策机制提供了新的研究思路，更加充分的将“拟人”思想进行贯穿，使得智能终端能够全方位、以不同的优先级认识所在的场景，有利于更优化行为决策的实现，为其他AI算法的实现提供基础。
与上述实施例方法对应，本发明另一实施例还提出一种智能终端运动轨迹决策系统，参阅图3，本实施例系统包括：
图像获取单元1，用于获取智能终端摄像头拍摄的连续多帧图像；
智能终端轨迹预测单元2，用于将所述连续多帧图像输入智能终端轨迹预测模型进行轨迹预测，得到智能终端在未来设定时间段内的智能终端未来运动轨迹；
雷达信息获取单元3，用于获取智能终端雷达组件所检测的雷达信息，并根据所述连续多帧图像与所述雷达信息对智能终端当前所处场景中的前方多个对象进行识别，确定多个目标对象及其类型；
对象轨迹预测单元4，用于根据所述多个目标对象的类型，分别将所述连续多帧图像输入对应类型的对象轨迹预测模型进行轨迹预测，得到所述每一目标对象在未来设定时间段内的对象未来运动轨迹；其中，不同目标对象类型对应不同的对象轨迹预测模型；
修正轨迹筛选单元5，用于根据预设筛选规则从所述多个目标对象在未来设定时间段内的运动轨迹中筛选出一个修正轨迹；以及
轨迹修正单元6，用于根据所述修正轨迹修正所述智能终端在未来设定时间段内的运动轨迹，以使得在未来设定时间段内智能终端与所述修正轨迹所对应的目标对象不发生碰撞。
可选地，参阅图4，所述修正轨迹筛选单元5，包括：
权重系数获取单元51，用于获取所述多个目标对象的权重系数；其中对于不同类型的目标对象预先设置不同的权重系数；
修正轨迹初始化单元52，用于初始化当前修正轨迹；其中所述当前修正轨迹的初始参数为权重系数最大的目标对象在未来设定时间段内的运动轨迹；
修正条件判断单元53，用于基于所述当前修正轨迹，判断所述多个目标对象在未来设定时间段内的运动轨迹与所述智能终端在未来设定时间段内的运动轨迹之间的距离关系是否满足预设的修正条件；
修正轨迹输出单元54，用于当修正条件判断单元53的判断结果为满足时，输出对应的当前修正轨迹作为修正轨迹；以及
修正轨迹更新单元55，用于当修正条件判断单元53的判断结果为不满足时，根据所述多个目标对象的权重系数从所述多个目标对象在未来设定时间段内的运动轨迹中选取一个运动轨迹更新所述当前修正轨迹，并将更新后的当前修正轨迹输出给所述修正条件判断单元53继续判断。
可选地，所述智能终端未来运动轨迹包括连续多个时刻的多帧智能终端位置预测图像，每帧智能终端位置预测图像包括智能终端在对应时刻的预测位置；
所述对象未来运动轨迹包括连续多个时刻的多帧对象位置预测图像，每帧对象位置预测图像包括对应目标对象在对应时刻的预测位置；其中，不同目标对象类型对应不同的对象轨迹预测模型。
可选地，所述修正条件判断单元6，包括：
修正阈值计算单元，用于根据所述当前修正轨迹所对应目标对象的权重系数、预设安全距离衡量值计算修正阈值；以及
执行判断单元，用于根据所述修正阈值，判断所述多个目标对象在未来设定时间段内的运动轨迹与所述智能终端在未来设定时间段内的运动轨迹之间的距离关系是否满足预设的修正条件其中，/>分别为第1至第n个目标对象在未来设定时间段内的运动轨迹与所述智能终端在未来设定时间段内的运动轨迹之间最近的距离，n为目标对象总数。
可选地，所述修正轨迹更新单元55，具体用于：
选择权重系数小于当前修正轨迹所对应目标对象权重系数，且最接近当前修正轨迹所对应目标对象权重系数的目标对象在未来设定时间段内的运动轨迹更新所述当前修正轨迹。
并且，上述实施例所述智能终端运动轨迹决策系统如果以软件功能单元的形式实现并作为独立的产品销售或使用时，则软件功能单元可以存储在一个计算机可读取存储介质中。
需说明的是，上述实施例系统与上述实施例方法对应，因此，上述实施例系统未详述的相关内容可以参阅上述实施例方法内容得到，此处不再赘述。
本发明的另一实施例还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例所述智能终端运动轨迹决策方法的步骤。
具体而言，所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (11)

1.一种智能终端运动轨迹决策方法，其特征在于，包括：
获取智能终端摄像头拍摄的连续多帧图像；
将所述连续多帧图像输入智能终端轨迹预测模型进行轨迹预测，得到智能终端在未来设定时间段内的智能终端未来运动轨迹；
获取智能终端雷达组件所检测的雷达信息，并根据所述连续多帧图像与所述雷达信息对智能终端当前所处场景中的前方多个对象进行识别，确定多个目标对象及其类型；
根据所述多个目标对象的类型，分别将所述连续多帧图像输入对应类型的对象轨迹预测模型进行轨迹预测，得到所述每一目标对象在未来设定时间段内的对象未来运动轨迹；其中，不同目标对象类型对应不同的对象轨迹预测模型；
根据预设筛选规则从所述多个目标对象在未来设定时间段内的运动轨迹中筛选出一个对智能终端运动影响最大的轨迹作为修正轨迹；
根据所述修正轨迹修正所述智能终端在未来设定时间段内的运动轨迹，以使得在未来设定时间段内智能终端与所述修正轨迹所对应的目标对象不发生碰撞。
2.根据权利要求1所述的智能终端运动轨迹决策方法，其特征在于，所述根据预设筛选规则从所述多个目标对象在未来设定时间段内的运动轨迹中筛选出一个对智能终端运动影响最大的轨迹作为修正轨迹，包括：
步骤S11、获取所述多个目标对象的权重系数；其中对于不同类型的目标对象预先设置不同的权重系数；
步骤S12、初始化当前修正轨迹；其中所述当前修正轨迹的初始参数为权重系数最大的目标对象在未来设定时间段内的运动轨迹；
步骤S13、基于所述当前修正轨迹，判断所述多个目标对象在未来设定时间段内的运动轨迹与所述智能终端在未来设定时间段内的运动轨迹之间的距离关系是否满足预设的修正条件；若满足，则输出所述当前修正轨迹作为修正轨迹，若不满足，则转至步骤S14；
步骤S14、根据所述多个目标对象的权重系数从所述多个目标对象在未来设定时间段内的运动轨迹中选取一个运动轨迹更新所述当前修正轨迹，并将更新后的当前修正轨迹返回步骤S13继续循环执行。
3.根据权利要求2所述的智能终端运动轨迹决策方法，其特征在于，所述智能终端未来运动轨迹包括连续多个时刻的多帧智能终端位置预测图像，每帧智能终端位置预测图像包括智能终端在对应时刻的预测位置；
所述对象未来运动轨迹包括连续多个时刻的多帧对象位置预测图像，每帧对象位置预测图像包括对应目标对象在对应时刻的预测位置；其中，不同目标对象类型对应不同的对象轨迹预测模型。
4.根据权利要求3所述的智能终端运动轨迹决策方法，其特征在于，所述步骤S13，包括：
根据所述当前修正轨迹所对应目标对象的权重系数、预设安全距离衡量值计算修正阈值；
根据所述修正阈值，判断所述多个目标对象在未来设定时间段内的运动轨迹与所述智能终端在未来设定时间段内的运动轨迹之间的距离关系是否满足预设的修正条件其中，/>分别为第1至第n个目标对象在未来设定时间段内的运动轨迹与所述智能终端在未来设定时间段内的运动轨迹之间最近的距离，n为目标对象总数。
5.根据权利要求4所述的智能终端运动轨迹决策方法，其特征在于，所述步骤S14，包括：
选择权重系数小于当前修正轨迹所对应目标对象权重系数，且最接近当前修正轨迹所对应目标对象权重系数的目标对象在未来设定时间段内的运动轨迹更新所述当前修正轨迹。
6.一种智能终端运动轨迹决策系统，其特征在于，包括：
图像获取单元，用于获取智能终端摄像头拍摄的连续多帧图像；
智能终端轨迹预测单元，用于将所述连续多帧图像输入智能终端轨迹预测模型进行轨迹预测，得到智能终端在未来设定时间段内的智能终端未来运动轨迹；
雷达信息获取单元，用于获取智能终端雷达组件所检测的雷达信息，并根据所述连续多帧图像与所述雷达信息对智能终端当前所处场景中的前方多个对象进行识别，确定多个目标对象及其类型；
对象轨迹预测单元，用于根据所述多个目标对象的类型，分别将所述连续多帧图像输入对应类型的对象轨迹预测模型进行轨迹预测，得到所述每一目标对象在未来设定时间段内的对象未来运动轨迹；其中，不同目标对象类型对应不同的对象轨迹预测模型；
修正轨迹筛选单元，用于根据预设筛选规则从所述多个目标对象在未来设定时间段内的运动轨迹中筛选出一个对智能终端运动影响最大的轨迹作为修正轨迹；以及
轨迹修正单元，用于根据所述修正轨迹修正所述智能终端在未来设定时间段内的运动轨迹，以使得在未来设定时间段内智能终端与所述修正轨迹所对应的目标对象不发生碰撞。
7.根据权利要求6所述的智能终端运动轨迹决策系统，其特征在于，所述修正轨迹筛选单元，包括：
权重系数获取单元，用于获取所述多个目标对象的权重系数；其中对于不同类型的目标对象预先设置不同的权重系数；
修正轨迹初始化单元，用于初始化当前修正轨迹；其中所述当前修正轨迹的初始参数为权重系数最大的目标对象在未来设定时间段内的运动轨迹；
修正条件判断单元，用于基于所述当前修正轨迹，判断所述多个目标对象在未来设定时间段内的运动轨迹与所述智能终端在未来设定时间段内的运动轨迹之间的距离关系是否满足预设的修正条件；
修正轨迹输出单元，用于当修正条件判断单元的判断结果为满足时，输出对应的当前修正轨迹作为修正轨迹；以及
修正轨迹更新单元，用于当修正条件判断单元的判断结果为不满足时，根据所述多个目标对象的权重系数从所述多个目标对象在未来设定时间段内的运动轨迹中选取一个运动轨迹更新所述当前修正轨迹，并将更新后的当前修正轨迹输出给所述修正条件判断单元继续判断。
8.根据权利要求7所述的智能终端运动轨迹决策系统，其特征在于，所述智能终端未来运动轨迹包括连续多个时刻的多帧智能终端位置预测图像，每帧智能终端位置预测图像包括智能终端在对应时刻的预测位置；
所述对象未来运动轨迹包括连续多个时刻的多帧对象位置预测图像，每帧对象位置预测图像包括对应目标对象在对应时刻的预测位置；其中，不同目标对象类型对应不同的对象轨迹预测模型。
9.根据权利要求8所述的智能终端运动轨迹决策系统，其特征在于，所述修正条件判断单元，包括：
修正阈值计算单元，用于根据所述当前修正轨迹所对应目标对象的权重系数、预设安全距离衡量值计算修正阈值；以及
执行判断单元，用于根据所述修正阈值，判断所述多个目标对象在未来设定时间段内的运动轨迹与所述智能终端在未来设定时间段内的运动轨迹之间的距离关系是否满足预设的修正条件其中，/>分别为第1至第n个目标对象在未来设定时间段内的运动轨迹与所述智能终端在未来设定时间段内的运动轨迹之间最近的距离，n为目标对象总数。
10.根据权利要求9所述的智能终端运动轨迹决策系统，其特征在于，所述修正轨迹更新单元，具体用于：
选择权重系数小于当前修正轨迹所对应目标对象权重系数，且最接近当前修正轨迹所对应目标对象权重系数的目标对象在未来设定时间段内的运动轨迹更新所述当前修正轨迹。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1-5中任一项所述智能终端运动轨迹决策方法。
CN202011143324.2A 2020-10-23 2020-10-23 一种智能终端运动轨迹决策方法及其系统、存储介质 Active CN114500736B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011143324.2A CN114500736B (zh) 2020-10-23 2020-10-23 一种智能终端运动轨迹决策方法及其系统、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011143324.2A CN114500736B (zh) 2020-10-23 2020-10-23 一种智能终端运动轨迹决策方法及其系统、存储介质

Publications (2)

Publication Number Publication Date
CN114500736A CN114500736A (zh) 2022-05-13
CN114500736B true CN114500736B (zh) 2023-12-05

Family

ID=81470693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011143324.2A Active CN114500736B (zh) 2020-10-23 2020-10-23 一种智能终端运动轨迹决策方法及其系统、存储介质

Country Status (1)

Country Link
CN (1) CN114500736B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115412709B (zh) * 2022-07-26 2023-11-10 广州汽车集团股份有限公司 投影方法、装置、车辆及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017097596A2 (de) * 2015-12-10 2017-06-15 Robert Bosch Gmbh Verfahren und steuergerät zum erkennen einer möglichen kollision eines unbemannten luftfahrzeugs mit einem objekt
CN109523830A (zh) * 2018-11-08 2019-03-26 中交第公路勘察设计研究院有限公司 基于高频高精度定位信息的车辆轨迹预测及碰撞预警方法
CN109808687A (zh) * 2019-01-17 2019-05-28 福瑞泰克智能系统有限公司 一种驾驶辅助方法、装置及设备
CN109829386A (zh) * 2019-01-04 2019-05-31 清华大学 基于多源信息融合的智能车辆可通行区域检测方法
WO2019136479A1 (en) * 2018-01-08 2019-07-11 The Regents On The University Of California Surround vehicle tracking and motion prediction
CN110517483A (zh) * 2019-08-06 2019-11-29 杭州博信智联科技有限公司 一种路况信息处理方法及数字轨路侧单元
WO2020065416A1 (en) * 2018-09-27 2020-04-02 Kpit Technologies Limited A system for grid-based merge cut-in prediction and method thereof
CN111031351A (zh) * 2020-03-11 2020-04-17 北京三快在线科技有限公司 一种预测目标物轨迹的方法及装置
CN111133485A (zh) * 2017-08-23 2020-05-08 Uatc有限责任公司 自主交通工具的对象预测优先级排序系统和方法
CN111231965A (zh) * 2020-01-14 2020-06-05 北京小马智行科技有限公司 车辆控制模式的调整方法及装置、无人驾驶车辆
CN111656295A (zh) * 2017-11-22 2020-09-11 Uatc有限责任公司 用于自主运载工具的对象交互预测系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2990290B1 (en) * 2014-09-01 2019-11-06 Honda Research Institute Europe GmbH Method and system for post-collision manoeuvre planning and vehicle equipped with such system
US11112796B2 (en) * 2017-08-08 2021-09-07 Uatc, Llc Object motion prediction and autonomous vehicle control
KR102138979B1 (ko) * 2018-11-29 2020-07-29 한국과학기술원 차선 기반의 확률론적 주변 차량 거동 예측 및 이를 이용한 종방향 제어 방법

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017097596A2 (de) * 2015-12-10 2017-06-15 Robert Bosch Gmbh Verfahren und steuergerät zum erkennen einer möglichen kollision eines unbemannten luftfahrzeugs mit einem objekt
CN111133485A (zh) * 2017-08-23 2020-05-08 Uatc有限责任公司 自主交通工具的对象预测优先级排序系统和方法
CN111656295A (zh) * 2017-11-22 2020-09-11 Uatc有限责任公司 用于自主运载工具的对象交互预测系统及方法
WO2019136479A1 (en) * 2018-01-08 2019-07-11 The Regents On The University Of California Surround vehicle tracking and motion prediction
WO2020065416A1 (en) * 2018-09-27 2020-04-02 Kpit Technologies Limited A system for grid-based merge cut-in prediction and method thereof
CN109523830A (zh) * 2018-11-08 2019-03-26 中交第公路勘察设计研究院有限公司 基于高频高精度定位信息的车辆轨迹预测及碰撞预警方法
CN109829386A (zh) * 2019-01-04 2019-05-31 清华大学 基于多源信息融合的智能车辆可通行区域检测方法
CN109808687A (zh) * 2019-01-17 2019-05-28 福瑞泰克智能系统有限公司 一种驾驶辅助方法、装置及设备
CN110517483A (zh) * 2019-08-06 2019-11-29 杭州博信智联科技有限公司 一种路况信息处理方法及数字轨路侧单元
CN111231965A (zh) * 2020-01-14 2020-06-05 北京小马智行科技有限公司 车辆控制模式的调整方法及装置、无人驾驶车辆
CN111031351A (zh) * 2020-03-11 2020-04-17 北京三快在线科技有限公司 一种预测目标物轨迹的方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Vehicle Trajectory Prediction and Collision Warning via Fusion of Multisensors and Wireless Vehicular Communications;Minjin Baek et al.;https://dx.doi.org/10.3390/s20010288;全文 *
基于改进Seq2Seq的短时AIS轨迹序列预测模型;游兰;韩雪薇;何正伟;肖丝雨;何渡;潘筱萌;;计算机科学(第09期);全文 *
基于计算机视觉的断路器动触头运动轨迹多目标修正测量方法;吴成坚;李明;王波;朱继鹏;赵书涛;;黑龙江电力(第06期);全文 *

Also Published As

Publication number Publication date
CN114500736A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN111127513B (zh) 一种多目标跟踪方法
CN113286194B (zh) 视频处理方法、装置、电子设备及可读存储介质
CN107818573B (zh) 一种目标跟踪方法及装置
JP4668360B2 (ja) 移動体検出方法及び移動体検出装置
CN110782433B (zh) 基于时序的动态信息暴力抛物检测方法、装置及存储介质
US10896495B2 (en) Method for detecting and tracking target object, target object tracking apparatus, and computer-program product
US11804048B2 (en) Recognizing the movement intention of a pedestrian from camera images
Haque et al. Improved Gaussian mixtures for robust object detection by adaptive multi-background generation
EP3683768A1 (en) Method and system for initializing templates of moving objects
CN110598511A (zh) 一种对闯绿灯事件检测方法、装置、电子设备及系统
WO2005081189A1 (en) System and method for detecting a passing vehicle from dynamic background using robust information fusion
KR101652261B1 (ko) 카메라를 이용한 오브젝트 검출 방법
CN112949512B (zh) 一种动态手势识别方法、手势交互方法及交互系统
US10275893B2 (en) Visual tracking of an object
WO2020217368A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN114500736B (zh) 一种智能终端运动轨迹决策方法及其系统、存储介质
WO2020213099A1 (ja) オブジェクト検出・追跡装置、方法、およびプログラム記録媒体
CN111275737A (zh) 一种目标跟踪方法、装置、设备及存储介质
JP2019149621A (ja) 情報処理装置、情報処理方法、およびプログラム
CN118033622A (zh) 目标跟踪方法、装置、设备及计算机可读存储介质
CN106898014B (zh) 一种基于深度相机的入侵检测方法
CN112800841A (zh) 一种行人计数方法、装置、系统及计算机可读存储介质
CN115512542B (zh) 一种基于路侧激光雷达的考虑遮挡的轨迹复原方法及系统
WO2023184197A1 (zh) 目标跟踪方法、装置、系统及存储介质
JP6903955B2 (ja) 移動物状態量推定装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant