CN117576354B - 一种基于人体轨迹预测的agv防撞预警方法与系统 - Google Patents

一种基于人体轨迹预测的agv防撞预警方法与系统 Download PDF

Info

Publication number
CN117576354B
CN117576354B CN202410058003.4A CN202410058003A CN117576354B CN 117576354 B CN117576354 B CN 117576354B CN 202410058003 A CN202410058003 A CN 202410058003A CN 117576354 B CN117576354 B CN 117576354B
Authority
CN
China
Prior art keywords
human body
dimensional
detection frame
human
agv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410058003.4A
Other languages
English (en)
Other versions
CN117576354A (zh
Inventor
李月华
唐哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202410058003.4A priority Critical patent/CN117576354B/zh
Publication of CN117576354A publication Critical patent/CN117576354A/zh
Application granted granted Critical
Publication of CN117576354B publication Critical patent/CN117576354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人体轨迹预测的AGV防撞预警方法与系统，其方法包括：双目相机标定并采集图像数据、基于双目视觉的三维场景重建、人体三维关键点检测、人体三维检测框识别、多人体位姿跟踪、人体行为分析、人体轨迹预测、AGV防撞预警与路径重规划。本发明可同时对出现在视域范围内的多个人体进行行为分析及轨迹预测，生成相应的AGV防撞预警信息并根据威胁程度重新规划AGV的路径。

Description

一种基于人体轨迹预测的AGV防撞预警方法与系统
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于人体轨迹预测的AGV防撞预警方法与系统。
背景技术
在物流仓储环节的降本增效中，仓储AGV发挥着至关重要的作用。仓储AGV是指应用在仓储环节，可通过接受指令或系统预先设置的程序，自动执行货物转移、搬运等操作的机器装置。仓储AGV作为智能仓储与智慧物流的重要组成部分，是商业配送和工业制造行业在解决高度依赖人工、业务高峰期处理货物能力有限等瓶颈问题的突破口。
但是大多数仓储中部署的AGV主要服务于独立的结构化工作模块，难以满足非结构化的人机交互的场景需求。与AGV独立工作的场景不同，人机混合的工作环境对AGV的稳定性、安全性提出了更高的要求。现有的AGV大多配有避障模块以躲避静态障碍物，但在人机混合的工作场景中，必然存在大量处于运动状态的行人。需要感知模块与规划模块的动态配合，实时更新环境参数，预测人类行为并规避碰撞风险，以实现高可靠的人机混合智能。现有设备难以满足这一要求，亟需一种基于人体轨迹预测的AGV防撞预警方法及系统弥补这一缺口。
发明内容
本发明要克服现有技术的上述缺点，提出一种基于人体轨迹预测的AGV防撞预警方法与系统。
本发明的第一个方面涉及一种基于人体轨迹预测的AGV防撞预警方法，包括以下步骤：
步骤一：对双目相机进行单目标定与双目标定，分别对左目相机、右目相机进行单目标定后，再计算左目相机与右目相机之间的标定参数，利用标定后的双目相机实时采集RGB图像数据；
步骤二：基于相机标定参数，利用实时采集到的RGB图像数据做基于双目视觉的三维场景重建，得到AGV所处环境的三维点云信息；
步骤三：针对AGV所处环境的点云信息做人体三维关键点检测，识别并定位出视域范围内所有的人体关键点；
步骤四：针对AGV所处环境的点云信息做人体三维检测框识别，识别并定位出视域范围内所有的人体检测框；
步骤五：基于人体三维关键点检测结果，优化人体三维检测框的识别结果，剔除误识别的人体检测框，同时剔除无法与检测框匹配的关键点，将同一个检测框内的关键点连接成人体三维骨骼框架；
步骤六：基于检测框的位置变化规律和人体运动规律，给予检测框标签信息，使得同一个人在不同点云中的检测框具有相同的标签；
步骤七：基于人体三维骨骼框架，拆分关键身体部位，分析关健身体部位的运动规律，推理关键身体部位的行为，并推理人体整体的行为意图；
步骤八：基于检测框的位置变化规律拟合运动轨迹，并结合人体行为意图的推理结果，预测人体后续的运动轨迹；
步骤九：基于预测的人体运动轨迹及人体检测框的几何信息，结合AGV自身的后续路径规划，判断是否会有碰撞风险，并给出碰撞预警，若在较短的一段时间内可能出现碰撞风险则改变AGV的路径，使AGV原地等待或重新规划路线。
其中，所述步骤一具体通过以下子步骤实现：
（1.1）单目标定左目相机：控制左目相机采集已知尺寸的棋盘格图像，通过角点检测，得到角点在图像坐标系、像素坐标系下的坐标值，已知角点在世界坐标系下的坐标值，可求解得到左目相机的标定参数；
（1.2）单目标定右目相机：控制右目相机采集已知尺寸的棋盘格图像，通过角点检测，得到角点在图像坐标系、像素坐标系下的坐标值，已知角点在世界坐标系下的坐标值，可求解得到右目相机的标定参数；
（1.3）双目标定左右目相机：控制左目相机与右目相机同时采集已知尺寸的棋盘格图像，通过角点检测，得到同一组角点分别在左目相机像素坐标系下的坐标值与右目相机像素坐标系下的坐标值，已知角点在世界坐标系下的坐标值，可求解得到右目相机相对于左目相机的标定参数；
（1.4）双目相机同时采集RGB图像数据：控制左目相机与右目相机同时采集连续的RGB图像数据，同一时刻采集的左目RGB图像与右目RGB图像为一组，采集多组，并记录每组数据的时间戳。
其中，所述步骤二具体通过以下子步骤实现：
（2.1）左目图像校准：针对某一个时刻采集得到的左目图像数据，根据左目相机的畸变参数对左目图像进行矫正，得到较准后的左目图像；
（2.2）右目图像校准：针对同一个时刻采集得到的右目图像数据，根据右目相机的畸变参数对右目图像进行矫正，得到较准后的右目图像；
（2.3）双目图像立体校正：将较准后的左目图像与较准后的右目图像投影到同一个虚拟平面中，得到立体校正后的左目图像和立体校正后的右目图像；
（2.4）双目立体匹配恢复视差图：将立体校正后的左目图像与立体校正后的右目图像进行逐像素的匹配，得到右目相机图像中的像素点在左目相机像素坐标系下的匹配点，计算右目相机图像中的像素点与匹配点坐标之间的差值，得到视差图；
（2.5）深度恢复：基于双目标定得到的基线长度和焦距，利用视差图得到深度图；
（2.6）重建三维点云：通过双目相机的内参矩阵和外参矩阵，得到RGB图像像素坐标系下的像素点投影在世界坐标系下的三维坐标值，得到投影的三维坐标，若投影的三维坐标中z方向的值与该像素点在深度图中的深度值不一致，则以深度值为准，得到像素点在世界坐标系下的三维坐标，再结合像素点在RGB图像中的RGB值，得到RGB点云信息。
其中，所述步骤三具体通过以下子步骤实现：
（3.1）位姿机预测三维关键点的位置和置信度：将RGB点云输入到位姿机中，位姿机读取点云信息并通过三维卷积神经网络将RGB点云转换为热力点云图，热力点云图中的每一个点都包含分类结果和置信度两类预测信息；
（3.2）根据置信度筛选关键点：设置置信度阈值，保留置信度超过阈值的关键点，将置信度不超过阈值的关键点放入误检测点集；
（3.3）根据空间关系筛选关键点：对于误检测点集内的关键点，若其邻域内的关键点置信度皆超过阈值，则将该点的置信度修改为邻域内关键点置信度的均值，同时保留该关键点，否则删除该关键点。
其中，所述步骤四具体通过以下子步骤实现：
（4.1）人体检测器预测人体三维检测框的位置和置信度：将RGB点云输入到人体检测器中，人体检测器读取点云信息并利用深度学习网络预测点云中的所有人体三维检测框，每一个人体三维检测框都包含位置和置信度两类预测信息；
（4.2）根据置信度筛选检测框：设置置信度阈值，保留置信度超过阈值的检测框，并放入候选检测框集合N，删除置信度不超过阈值的检测框；
（4.3）利用非极大值抑制去除重复的检测框：从候选检测框集合N中选择置信度最高的检测框m，并将其放入最终的检测框集合M，遍历候选检测框集合N中剩余的检测框n，计算检测框n与检测框m的重合度，若重合度超过阈值，则从候选检测框集合N中删除检测框n，重复以上步骤多次，直至候选检测框集合N为空。
其中，所述步骤五具体通过以下子步骤实现：
（5.1）基于人体三维关键点优化人体三维检测框：针对每一个人体三维检测框，判断框内是否有完整的人体三维关键点，若人体三维检测框内不包括完整的人体三维关键点或种类，则删除该检测框；
（5.2）基于人体三维检测框优化人体三维关键点：判断关键点是否至少在1个人体三维检测框内，若不在则删除该关键点；
（5.3）连接人体骨三维骼框架：针对每一个人体检测框，基于身体各个部分的运动学先验空间关系连接出一组人体三维骨骼框架。
进一步，步骤（5.1）所述的人体三维关键点包括：头顶、左眼、右眼、鼻子、左耳、右耳、颈部、左肩、右肩、左手肘、右手肘、左手腕、右手腕、骨盆、左胯、右胯、左膝盖、右膝盖、左脚踝、右脚踝、左脚大拇指、左脚小拇指、右脚大拇指、右脚小拇指。
进一步，步骤（5.1）所述的人体关键点的种类设为24类。
其中，所述步骤六具体通过以下子步骤实现：
（6.1）独立标记单帧三维检测框：当没有历史信息时，针对单帧点云的所有人体三维检测框，给予每一个检测框不同的标签；
（6.2）根据历史时序信息预测三维检测框的位置信息：当存在历史信息时，根据具有同样标签的三维检测框的历史位置信息，拟合运动轨迹，预测检测框的位置，得到预估位置信息；
（6.3）三维检测框跨帧匹配：当存在历史信息时，针对每一个检测框，将其位置信息与上一步骤得到的预估位置信息匹配，若检测框重合度大于阈值，则视为匹配成功，赋予两个检测框相同的标签信息，否则新增一个标签。
进一步，所述步骤七具体通过以下子步骤实现：
（7.1）拆分关键身体部位：基于人体三维骨骼框架及人体三维关键点的分类结果，拆分出对人体整体行为意图有影响的关键身体部位，分别连接各部位的三维关键点，计算关键点的最小包络得到关健身体部位的三维检测框；
（7.2）分析关键身体部位的运动规律：根据连续输入的序列点云，以关键身体部位三维检测框的几何中心为中点，计算中点的运动轨迹，得到关键身体部位的运动轨迹；
（7.3）推理关键身体部位的行为：根据身体关键部位的运动轨迹，结合身体部位的类别信息，对关键身体部位的行为进行判断，输出可能会对人体整体运动轨迹有影响的行为；
（7.4）推理人体整体的行为意图：以腿部、足部运动为主，头部、躯干运动为辅，并根据是否出现可能会对人体整体运动轨迹有影响的行为，推理人体整体的行为意图。
进一步，步骤（7.1）所述的关键身体部位包括：头部、躯干、左腿、右腿、左脚、右脚。
进一步，步骤（7.3）所述的关键身体部位行为包括：头部向左转、头部向右转、躯干向左转、躯干向右转、左脚转向、右脚转向。
其中，所述步骤八具体通过以下子步骤实现：
（8.1）拟合人体运动轨迹：根据连续输入的序列点云，以人体三维检测框的几何中心为中点，拟合中点的运动轨迹，得到人体历史运动轨迹信息，；
（8.2）预测人体运动轨迹：根据计算得到的人体历史运动轨迹信息，结合步骤七中对人体行为意图的推理结果，预测人体后续运动轨迹，得到人体预测轨迹信息。
其中，所述步骤九具体通过以下子步骤实现：
（9.1）碰撞风险判断及碰撞预警：根据人体预测轨迹信息以及人体三维检测框的几何信息，得到人体后续运动路径的安全范围，判断AGV当前路径是否会与安全范围存在重合，若有重合，则判断为可能会出现碰撞风险并给出碰撞风险预警，将重合的区域记为重合点；
（9.2）AGV路径重规划：若存在碰撞风险，则将重合点标记为不可通行点并重新规划路径，若不存在新的路径或新路径的代价值远高于原地等待的代价值，则选择在重合点前原地等待。
本发明的第二个方面涉及一种基于人体轨迹预测的AGV防撞预警系统，包括：
双目RGB图像数据采集模块：对双目相机进行单目标定与双目标定，并利用标定后的双目相机实时采集RGB图像数据；
基于双目视觉的三维场景重建模块：基于双目相机的标定参数，利用实时采集到的RGB图像数据实现三维场景重建，得到AGV所处环境的三维点云信息；
人体三位关键点检测模块：基于AGV所处环境的点云信息做人体三维关键点检测，识别并定位出视域范围内所有的人体关键点；
人体三维检测框识别模块：基于AGV所处环境的点云信息做人体三维检测框识别，识别并定位出视域范围内所有的人体检测框；
人体三维骨骼框架构建模块：利用人体三维关键点检测与人体三维检测框的耦合关系，优化关键点与检测框的识别结果，并将同一个检测框内的关键点连接成人体三维骨骼框架；
多人体位姿跟踪模块：基于检测框的位置变化规律和人体运动规律，给予检测框标签信息，使得同一个人在不同点云中的检测框具有相同的标签；
人体行为意图推理模块：基于人体三维骨骼框架，拆分关键身体部位，分析关健身体部位的运动规律，并根据关键身体部位的行为推理人体整体的行为意图；
人体运动轨迹预测模块：基于人体三维检测框的位置变化规律拟合运动轨迹，并结合人体行为意图的推理结果，预测人体后续的运动轨迹；
AGV碰撞预警与路径重规划模块：基于预测的人体运动轨迹信息判断是否会有碰撞风险，并给出碰撞预警，使AGV原地等待或重新规划路线。
本发明的第三方面涉及一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现本发明的基于人体轨迹预测的AGV防撞预警方法。
本发明的第四个方面涉及一种基于人体轨迹预测的AGV防撞预警装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现本发明的一种基于人体轨迹预测的AGV防撞预警方法。
本发明可同时对出现在视域范围内的多个人体进行行为分析及轨迹预测，生成相应的AGV防撞预警信息并根据威胁程度重新规划AGV的路径。
本发明基于人体姿态关键点跟踪实现多人体轨迹预测，提前给出碰撞预警，并重新规划最优路线，提高调度系统效率。
本发明的创新点是：
（1）本发明利用感知模块与规划模块的动态配合，可实现对动态障碍物的实时避障；
（2）本发明可预测行人运动轨迹，提前给出碰撞预警，为规避碰撞事件提供更长的窗口期；
（3）本发明基于碰撞风险提前重新规划路线，避免AGV原地等待。
本发明的有益效果是：
（1）本发明可预测行人运动轨迹，提前给出碰撞预警，有效降低碰撞事件发生的可能性，提高人机交互环境的安全性；
（2）本发明基于碰撞风险提前重新规划路线，避免AGV原地等待，提高自动化工厂的调度效率。
（3）本发明为人机混合的仓储环境提供安全保障，以实现高可靠的人机混合智能。
附图说明
图1是本发明的基于人体轨迹预测的AGV防撞预警方法的流程图。
图2是本发明的双目RGB图像数据采集流程图。
图3是本发明的基于双目视觉的三维场景重建流程图。
图4是本发明的人体三维关键点检测流程图。
图5是本发明的人体三维检测框识别流程图。
图6是本发明的人体三维关键点位置分布示意图。
图7是本发明的人体三维骨骼框架构建流程图。
图8是本发明的多人体位姿跟踪流程图。
图9是本发明的人体行为意图推理路流程图。
图10是本发明的人体关键身体部位分布示意图。
图11是本发明的人体轨迹预测流程图。
图12是本发明的AGV碰撞预警与路径重规划流程图。
图13是本发明的基于人体轨迹预测的AGV防撞预警系统的示意图。
具体实施方式
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，以下结合附图和实施例，对发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图1-图12所示，一种基于人体轨迹预测的AGV防撞预警方法，包括以下步骤：
步骤一：利用双目相机采集双目RGB图像数据。
对双目相机进行单目标定与双目标定，并利用标定后的双目相机实时采集RGB图像数据。
如图2所示，步骤一具体通过以下子步骤实现：
（1.1）单目标定左目相机：控制左目相机采集已知尺寸的棋盘格图像，通过角点检测，得到角点在图像坐标系、像素坐标系下的坐标值，已知角点在世界坐标系下的坐标值，可求解得到左目相机的内参矩阵、外参矩阵、畸变参数；
（1.2）单目标定右目相机：控制右目相机采集已知尺寸的棋盘格图像，通过角点检测，得到角点在图像坐标系、像素坐标系下的坐标值，已知角点在世界坐标系下的坐标值，可求解得到右目相机的内参矩阵、外参矩阵、畸变参数；
（1.3）双目标定左右目相机：控制左目相机与右目相机同时采集已知尺寸的棋盘格图像，通过角点检测，得到同一组角点分别在左目相机像素坐标系下的坐标值与右目相机像素坐标系下的坐标值，已知角点在世界坐标系下的坐标值，可求解得到右目相机相对于左目相机的旋转矩阵、平移矩阵，以及基线长度和焦距；
（1.4）双目相机同时采集RGB图像数据：控制左目相机与右目相机同时采集连续的RGB图像数据，同一时刻采集的左目RGB图像与右目RGB图像为一组，采集多组，并记录每组数据的时间戳。
步骤二：基于双目视觉重建三维场景。
基于相机标定参数，利用实时采集到的RGB图像数据做基于双目视觉的三维场景重建，得到AGV所处环境的三维点云信息。
如图3所示，步骤二具体通过以下子步骤实现：
（2.1）左目图像校准：针对某一个时刻采集得到的左目图像数据，根据左目相机的畸变参数对左目图像进行矫正，得到较准后的左目图像；
（2.2）右目图像校准：针对同一个时刻采集得到的右目图像数据，根据右目相机的畸变参数对右目图像进行矫正，得到较准后的右目图像；
（2.3）双目图像立体校正：将较准后的左目图像与较准后的右目图像投影到距离双目相机1米远处的虚拟平面中，得到立体校正后的左目图像和立体校正后的右目图像；
（2.4）双目立体匹配恢复视差图：将立体校正后的左目图像与立体校正后的右目图像进行逐像素的匹配，得到右目相机图像中的像素点在左目相机像素坐标系下的匹配点，计算右目相机图像中的像素点与匹配点坐标之间的差值，得到视差图；
（2.5）深度恢复：基于双目标定得到的基线长度和焦距，利用视差图得到深度图；
（2.6）重建三维点云：通过双目相机的内参矩阵和外参矩阵，得到RGB图像像素坐标系下的像素点投影在世界坐标系下的三维坐标值，得到投影的三维坐标，若投影的三维坐标中z方向的值与该像素点在深度图中的深度值不一致，则以深度值为准，得到像素点在世界坐标系下的三维坐标，再结合像素点在RGB图像中的RGB值，得到RGB点云信息。
步骤三：检测人体三维关键点。
针对RGB点云做人体三维关键点检测，识别并定位出视域范围内所有的人体三维关键点。
如图4所示，步骤三具体通过以下子步骤实现：
（3.1）位姿机预测关键点的位置和置信度：将RGB点云输入到基于top-down方法的AlphaPose网络中，定位点云中所有的人体三维关键点，并输出每一个人体关键点的位置信息以及置信度，将关键点在世界坐标系下的三维坐标值视为位置信息，每个关键点的置信度都是一个介于0到1之间的2位小数；
（3.2）根据置信度筛选关键点：将关键点置信度阈值设置为0.7，保留置信度大于阈值0.7的关键点，置信度小于等于阈值0.7的关键点放入误检测点集；
（3.3）根据空间关系筛选关键点：对于误检测点集内的关键点p，以关键点p为球心，画一个半径为10厘米的球，落在球内的关键点则为关键点p邻域内的点，若邻域内的关键点置信度皆超过阈值0.7，则将点p的置信度修改为邻域内关键点置信度的均值，同时保留关键点p，否则删除关键点p。
步骤四：识别人体三维检测框。
针对RGB点云做人体三维检测框识别，识别并定位出视域范围内所有的人体三维检测框，并通过非极大值抑制去除重复的检测框。
如图5所示，步骤四具体通过以下子步骤实现：
（4.1）人体检测器预测人体检测框的位置和置信度：将RGB点云输入到基于3D-CNN的PoseC3D网络中，得到图中所有的人体三维检测框，并输出每一个人体检测框的位置信息和置信度，每个检测框都是一个立方体。位置信息包括立方体的8个顶点的三维坐标，每个检测框的置信度都是一个介于0到1之间的2位小数；
（4.2）根据置信度筛选检测框：将检测框的置信度阈值设置为0.7，保留置信度超过阈值0.7的检测框，并放入候选检测框集合N，删除置信度小于等于阈值0.7的检测框；
（4.3）利用非极大值抑制去除重复的检测框：从候选检测框集合N中选择置信度最高的检测框m，并将其放入最终的检测框集合M，遍历候选检测框集合N中剩余的检测框n，计算检测框n与检测框m的重合度，将重合的体积除以2个检测框体积之和视为重合度，若重合度超过阈值0.4，则从候选检测框集合N中删除检测框n，重复以上步骤多次，直至候选检测框集合N为空。
步骤五：构建人体骨骼框架。
基于人体三维关键点检测结果，优化人体三维检测框的识别结果，剔除误识别的人体检测框，同时剔除无法与检测框匹配的关键点，将同一个检测框内的关键点连接成人体三维骨骼框架。
如图7所示，步骤五具体通过以下子步骤实现：
（5.1）基于人体三维关键点优化人体三维检测框：针对每一个人体检测框，判断框内是否有完整的人体关键点，至少能包括头顶、左眼、右眼、鼻子、左耳、右耳、颈部、左肩、右肩、左手肘、右手肘、左手腕、右手腕、骨盆、左胯、右胯、左膝盖、右膝盖、左脚踝、右脚踝、左脚大拇指、左脚小拇指、右脚大拇指、右脚小拇指等24类关键点，若人体检测框内不包括人体关键点或种类小于24类，则删除该检测框；
（5.2）基于人体三维检测框优化人体三维关键点：判断关键点是否至少在1个人体检测框内，若不在则删除该关键点；
（5.3）连接人体骨骼框架：针对每一个人体检测框，基于身体各个部分的运动学先验空间关系连接出一组人体三维骨骼框架。
步骤六：多人体位姿跟踪。
针对连续的序列RGB点云，在确定人体检测框和骨骼框架后，基于检测框的位置信息和人体运动规律，给予检测框标签信息，使得同一个人在不同点云中的检测框具有相同的标签。
如图8所示，步骤六具体通过以下子步骤实现：
（6.1）独立标记单帧检测框：当没有历史信息时，针对一个点云中的所有检测框，给予每一个检测框不同的标签；
（6.2）根据历史时序信息预测检测框：当存在历史信息时，针对每一个标签x，提取所有历史信息中标签为x的检测框的位置信息，并按时间顺序排列，以检测框的几何中心为检测框的中心点，利用轨迹插值法拟合检测框中心点的运动轨迹，并预测下一帧检测框中心点出现的位置，取历史检测框长度、宽度、高度的均值为下一帧检测框的长度、宽度、高度的预测值，基于下一帧检测框几何中心的预测位置以及下一帧检测框的预测长度、宽度、高度，绘制新的检测框，并记为标签为x的检测框在下一帧的预估位置信息；
（6.3）检测框跨帧匹配：当存在历史信息时，针对每一个检测框，将其位置信息与上一步骤得到的预估位置信息匹配，计算检测框重合度，将重合的体积除以2个检测框体积之和视为重合度，若重合度大于阈值0.4，则视为匹配成功，赋予2个检测框相同的标签信息，否则新增一个标签。
步骤七：人体行为意图推理。
基于人体三维骨骼框架，拆分关键身体部位，分析关健身体部位的运动规律，推理关键身体部位的行为，并推理人体整体的行为意图。
如图9所示，步骤七具体通过以下子步骤实现：
（7.1）拆分关键身体部位：基于人体三维骨骼框架及人体三维关键点的分类结果，拆分出头部、躯干、左腿、右腿、左脚、右脚，分别连接各部位的三维关键点，计算关键点的最小包络，得到头部、躯干、左腿、右腿、左脚、右脚的三维检测框；
（7.2）分析关键身体部位的运动规律：根据连续输入的序列点云，以头部、躯干、左腿、右腿、左脚、右脚的三维检测框的几何中心为中点，计算中点的运动轨迹，得到头部、躯干、左腿、右腿、左脚、右脚的运动轨迹；
（7.3）推理关键身体部位的行为：根据头部、躯干、左腿、右腿、左脚、右脚的运动轨迹，结合身体部位的类别信息，对头部、躯干、左腿、右腿、左脚、右脚的行为进行判断，判断是否出现头部向左转、头部向右转、躯干向左转、躯干向右转、左脚转向、右脚转向行为；
（7.4）推理人体整体的行为意图：以腿部、足部运动为主，头部、躯干运动为辅，并根据是否出现头部向左转、头部向右转、躯干向左转、躯干向右转、左脚转向、右脚转向行为，推理人体整体的行为意图。
步骤八：人体运动轨迹预测。
基于检测框的位置变化规律拟合运动轨迹，并结合人体行为意图的推理结果，预测人体后续的运动轨迹。
如图11所示，步骤八具体通过以下子步骤实现：
（8.1）拟合人体运动轨迹：根据连续输入的序列点云，以人体三维检测框的几何中心为中点，利用插值法拟合中点的运动轨迹，得到人体历史运动轨迹信息，；
（8.2）人体运动轨迹预测：根据计算得到的人体历史运动轨迹信息，结合人体行为意图的推理结果，利用RNN模型预测人体后续运动轨迹，得到人体预测轨迹信息。
步骤九：人体运动轨迹预测。
基于预测的人体运动轨迹及人体检测框的几何信息，结合AGV自身的后续路径规划，判断是否会有碰撞风险，并给出碰撞预警，若在较短的一段时间内可能出现碰撞风险则改变AGV的路径，使AGV原地等待或重新规划路线。
如图12所示，步骤九具体通过以下子步骤实现：
（9.1）碰撞风险判断及碰撞预警：以预测的人体三维检测框的几何中心为中点，以预测的检测框的长度、宽度、高度的1.5倍为安全框的长度、宽度、高度，构建人体后续运动的安全范围，判断AGV当前路径是否会与安全范围存在重合，若有重合，则判断为可能会出现碰撞风险并给出碰撞风险预警，将重合的区域记为重合点；
（9.2）AGV路径重规划：若存在碰撞风险，则将重合点标记为不可通行点，并重新规划路径，若规划失败，则控制AGV在重合点前1米处原地等待，若规划成功，计算执行新路径所需的时间，同时将原地等待时间置为2分钟，若执行新路径所需的时间减去执行源路径所需的时间小于等于2分钟，则执行新路径，否则选择在重合点前原地等待。
本发明可预测行人运动轨迹，提前给出碰撞预警，有效降低碰撞事件发生的可能性，提高人机交互环境的安全性，提高自动化工厂的调度效率，实现高可靠的人机混合智能。
实施例2
如图13所示，为实现实施例1所述的基于人体轨迹预测的AGV防撞预警方法的一种基于人体轨迹预测的AGV防撞预警系统的示意图，包括以下九个模块：
双目RGB图像数据采集模块，对双目相机进行单目标定与双目标定，并利用标定后的双目相机实时采集RGB图像数据；
基于双目视觉的三维场景重建模块，基于双目相机的标定参数，利用实时采集到的RGB图像数据实现三维场景重建，得到AGV所处环境的三维点云信息；
人体三位关键点检测模块，基于AGV所处环境的点云信息做人体三维关键点检测，识别并定位出视域范围内所有的人体关键点；
人体三维检测框识别模块，基于AGV所处环境的点云信息做人体三维检测框识别，识别并定位出视域范围内所有的人体检测框；
人体三维骨骼框架构建模块，利用人体三维关键点检测与人体三维检测框的耦合关系，优化关键点与检测框的识别结果，并将同一个检测框内的关键点连接成人体三维骨骼框架；
多人体位姿跟踪模块，基于检测框的位置变化规律和人体运动规律，给予检测框标签信息，使得同一个人在不同点云中的检测框具有相同的标签；
人体行为意图推理模块，基于人体三维骨骼框架，拆分关键身体部位，分析关健身体部位的运动规律，并根据关键身体部位的行为推理人体整体的行为意图；
人体运动轨迹预测模块，基于人体三维检测框的位置变化规律拟合运动轨迹，并结合人体行为意图的推理结果，预测人体后续的运动轨迹；
AGV碰撞预警与路径重规划模块，基于预测的人体运动轨迹信息判断是否会有碰撞风险，并给出碰撞预警，使AGV原地等待或重新规划路线。
实施例3
本实施例涉及一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现实施例1的一种基于人体轨迹预测的AGV防撞预警方法。
实施例4
本实施例涉及一种基于人体轨迹预测的AGV防撞预警装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现实施例1的一种基于人体轨迹预测的AGV防撞预警方法。
在硬件层面，该装置包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的一种基于人体轨迹预测的AGV防撞预警方法。当然，除了软件实现方式之外，本发明并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（ProgrammableLogic Device, PLD）（例如现场可编程门阵列（Field Programmable Gate Array，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（HardwareDescription Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（AdvancedBoolean Expression Language）、AHDL（Altera Hardware Description Language）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（JavaHardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（Ruby HardwareDescription Language）等，目前最普遍使用的是VHDL（Very-High-Speed IntegratedCircuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (16)

1.一种基于人体轨迹预测的AGV防撞预警方法，其特征在于，包括以下步骤：
步骤一：对双目相机进行单目标定与双目标定，分别对左目相机、右目相机进行单目标定后，再计算左目相机与右目相机之间的标定参数，利用标定后的双目相机实时采集RGB图像数据；
步骤二：基于相机标定参数，利用实时采集到的RGB图像数据做基于双目视觉的三维场景重建，得到AGV所处环境的三维点云信息；
步骤三：针对AGV所处环境的点云信息做人体三维关键点检测，识别并定位出视域范围内所有的人体关键点；
步骤四：针对AGV所处环境的点云信息做人体三维检测框识别，识别并定位出视域范围内所有的人体检测框；
步骤五：基于人体三维关键点检测结果，优化人体三维检测框的识别结果，剔除误识别的人体检测框，同时剔除无法与检测框匹配的关键点，将同一个检测框内的关键点连接成人体三维骨骼框架；包括：
（5.1）基于人体三维关键点优化人体三维检测框：针对每一个人体三维检测框，判断框内是否有完整的人体三维关键点，若人体三维检测框内不包括完整的人体三维关键点或种类，则删除该检测框；
（5.2）基于人体三维检测框优化人体三维关键点：判断关键点是否至少在1个人体三维检测框内，若不在则删除该关键点；
（5.3）连接人体骨三维骼框架：针对每一个人体检测框，基于身体各个部分的运动学先验空间关系连接出一组人体三维骨骼框架；
步骤六：基于检测框的位置变化规律和人体运动规律，给予检测框标签信息，使得同一个人在不同点云中的检测框具有相同的标签；
步骤七：基于人体三维骨骼框架，拆分关键身体部位，分析关健身体部位的运动规律，推理关键身体部位的行为，并推理人体整体的行为意图；
步骤八：基于检测框的位置变化规律拟合运动轨迹，并结合人体行为意图的推理结果，预测人体后续的运动轨迹；
步骤九：基于预测的人体运动轨迹及人体检测框的几何信息，结合AGV自身的后续路径规划，判断是否会有碰撞风险，并给出碰撞预警，若在较短的一段时间内可能出现碰撞风险则改变AGV的路径，使AGV原地等待或重新规划路线。
2.根据权利要求1所述的基于人体轨迹预测的AGV防撞预警方法，其特征在于，所述步骤一具体通过以下子步骤实现：
（1.1）单目标定左目相机：控制左目相机采集已知尺寸的棋盘格图像，通过角点检测，得到角点在图像坐标系、像素坐标系下的坐标值，已知角点在世界坐标系下的坐标值，可求解得到左目相机的标定参数；
（1.2）单目标定右目相机：控制右目相机采集已知尺寸的棋盘格图像，通过角点检测，得到角点在图像坐标系、像素坐标系下的坐标值，已知角点在世界坐标系下的坐标值，可求解得到右目相机的标定参数；
（1.3）双目标定左右目相机：控制左目相机与右目相机同时采集已知尺寸的棋盘格图像，通过角点检测，得到同一组角点分别在左目相机像素坐标系下的坐标值与右目相机像素坐标系下的坐标值，已知角点在世界坐标系下的坐标值，可求解得到右目相机相对于左目相机的标定参数；
（1.4）双目相机同时采集RGB图像数据：控制左目相机与右目相机同时采集连续的RGB图像数据，同一时刻采集的左目RGB图像与右目RGB图像为一组，采集多组，并记录每组数据的时间戳。
3.根据权利要求1所述的基于人体轨迹预测的AGV防撞预警方法，其特征在于，所述步骤二具体通过以下子步骤实现：
（2.1）左目图像校准：针对某一个时刻采集得到的左目图像数据，根据左目相机的畸变参数对左目图像进行矫正，得到较准后的左目图像；
（2.2）右目图像校准：针对同一个时刻采集得到的右目图像数据，根据右目相机的畸变参数对右目图像进行矫正，得到较准后的右目图像；
（2.3）双目图像立体校正：将较准后的左目图像与较准后的右目图像投影到同一个虚拟平面中，得到立体校正后的左目图像和立体校正后的右目图像；
（2.4）双目立体匹配恢复视差图：将立体校正后的左目图像与立体校正后的右目图像进行逐像素的匹配，得到右目相机图像中的像素点在左目相机像素坐标系下的匹配点，计算右目相机图像中的像素点与匹配点坐标之间的差值，得到视差图；
（2.5）深度恢复：基于双目标定得到的基线长度和焦距，利用视差图得到深度图；
（2.6）重建三维点云：通过双目相机的内参矩阵和外参矩阵，得到RGB图像像素坐标系下的像素点投影在世界坐标系下的三维坐标值，得到投影的三维坐标，若投影的三维坐标中z方向的值与该像素点在深度图中的深度值不一致，则以深度值为准，得到像素点在世界坐标系下的三维坐标，再结合像素点在RGB图像中的RGB值，得到RGB点云信息。
4.根据权利要求1所述的基于人体轨迹预测的AGV防撞预警方法，其特征在于，所述步骤三具体通过以下子步骤实现：
（3.1）位姿机预测三维关键点的位置和置信度：将RGB点云输入到位姿机中，位姿机读取点云信息并通过三维卷积神经网络将RGB点云转换为热力点云图，热力点云图中的每一个点都包含分类结果和置信度两类预测信息；
（3.2）根据置信度筛选关键点：设置置信度阈值，保留置信度超过阈值的关键点，将置信度不超过阈值的关键点放入误检测点集；
（3.3）根据空间关系筛选关键点：对于误检测点集内的关键点，若其邻域内的关键点置信度皆超过阈值，则将该点的置信度修改为邻域内关键点置信度的均值，同时保留该关键点，否则删除该关键点。
5.根据权利要求1所述的基于人体轨迹预测的AGV防撞预警方法，其特征在于，所述步骤四具体通过以下子步骤实现：
（4.1）人体检测器预测人体三维检测框的位置和置信度：将RGB点云输入到人体检测器中，人体检测器读取点云信息并利用深度学习网络预测点云中的所有人体三维检测框，每一个人体三维检测框都包含位置和置信度两类预测信息；
（4.2）根据置信度筛选检测框：设置置信度阈值，保留置信度超过阈值的检测框，并放入候选检测框集合N，删除置信度不超过阈值的检测框；
（4.3）利用非极大值抑制去除重复的检测框：从候选检测框集合N中选择置信度最高的检测框m，并将其放入最终的检测框集合M，遍历候选检测框集合N中剩余的检测框n，计算检测框n与检测框m的重合度，若重合度超过阈值，则从候选检测框集合N中删除检测框n，重复以上步骤多次，直至候选检测框集合N为空。
6.根据权利要求1所述的基于人体轨迹预测的AGV防撞预警方法，其特征在于，步骤（5.1）所述的人体三维关键点包括：头顶、左眼、右眼、鼻子、左耳、右耳、颈部、左肩、右肩、左手肘、右手肘、左手腕、右手腕、骨盆、左胯、右胯、左膝盖、右膝盖、左脚踝、右脚踝、左脚大拇指、左脚小拇指、右脚大拇指、右脚小拇指。
7.根据权利要求6所述的基于人体轨迹预测的AGV防撞预警方法，其特征在于，步骤（5.1）所述的人体三维关键点的种类设为24类。
8.根据权利要求1所述的基于人体轨迹预测的AGV防撞预警方法，其特征在于，所述步骤六具体通过以下子步骤实现：
（6.1）独立标记单帧三维检测框：当没有历史信息时，针对单帧点云的所有人体三维检测框，给予每一个检测框不同的标签；
（6.2）根据历史时序信息预测三维检测框的位置信息：当存在历史信息时，根据具有同样标签的三维检测框的历史位置信息，拟合运动轨迹，预测检测框的位置，得到预估位置信息；
（6.3）三维检测框跨帧匹配：当存在历史信息时，针对每一个检测框，将其位置信息与上一步骤得到的预估位置信息匹配，若检测框重合度大于阈值，则视为匹配成功，赋予两个检测框相同的标签信息，否则新增一个标签。
9.根据权利要求1所述的基于人体轨迹预测的AGV防撞预警方法，其特征在于，所述步骤七具体通过以下子步骤实现：
（7.1）拆分关键身体部位：基于人体三维骨骼框架及人体三维关键点的分类结果，拆分出对人体整体行为意图有影响的关键身体部位，分别连接各部位的三维关键点，计算关键点的最小包络得到关健身体部位的三维检测框；
（7.2）分析关键身体部位的运动规律：根据连续输入的序列点云，以关键身体部位三维检测框的几何中心为中点，计算中点的运动轨迹，得到关键身体部位的运动轨迹；
（7.3）推理关键身体部位的行为：根据身体关键部位的运动轨迹，结合身体部位的类别信息，对关键身体部位的行为进行判断，输出可能会对人体整体运动轨迹有影响的行为；
（7.4）推理人体整体的行为意图：以腿部、足部运动为主，头部、躯干运动为辅，并根据是否出现可能会对人体整体运动轨迹有影响的行为，推理人体整体的行为意图。
10.根据权利要求9所述的基于人体轨迹预测的AGV防撞预警方法，其特征在于，步骤（7.1）所述的关键身体部位包括：头部、躯干、左腿、右腿、左脚、右脚。
11.根据权利要求9所述的基于人体轨迹预测的AGV防撞预警方法，其特征在于，步骤（7.3）所述的关键身体部位行为包括：头部向左转、头部向右转、躯干向左转、躯干向右转、左脚转向、右脚转向。
12.根据权利要求1所述的基于人体轨迹预测的AGV防撞预警方法，其特征在于，所述步骤八具体通过以下子步骤实现：
（8.1）拟合人体运动轨迹：根据连续输入的序列点云，以人体三维检测框的几何中心为中点，拟合中点的运动轨迹，得到人体历史运动轨迹信息；
（8.2）预测人体运动轨迹：根据计算得到的人体历史运动轨迹信息，结合步骤七中对人体行为意图的推理结果，预测人体后续运动轨迹，得到人体预测轨迹信息。
13.根据权利要求1所述的基于人体轨迹预测的AGV防撞预警方法，其特征在于，所述步骤九具体通过以下子步骤实现：
（9.1）碰撞风险判断及碰撞预警：根据人体预测轨迹信息以及人体三维检测框的几何信息，得到人体后续运动路径的安全范围，判断AGV当前路径是否会与安全范围存在重合，若有重合，则判断为可能会出现碰撞风险并给出碰撞风险预警，将重合的区域记为重合点；
（9.2）AGV路径重规划：若存在碰撞风险，则将重合点标记为不可通行点并重新规划路径，若不存在新的路径或新路径的代价值远高于原地等待的代价值，则选择在重合点前原地等待。
14.一种基于人体轨迹预测的AGV防撞预警系统，其特征在于，包括：
双目RGB图像数据采集模块：对双目相机进行单目标定与双目标定，并利用标定后的双目相机实时采集RGB图像数据；
基于双目视觉的三维场景重建模块：基于双目相机的标定参数，利用实时采集到的RGB图像数据实现三维场景重建，得到AGV所处环境的三维点云信息；
人体三位关键点检测模块：基于AGV所处环境的点云信息做人体三维关键点检测，识别并定位出视域范围内所有的人体关键点；
人体三维检测框识别模块：基于AGV所处环境的点云信息做人体三维检测框识别，识别并定位出视域范围内所有的人体检测框；
人体三维骨骼框架构建模块：利用人体三维关键点检测与人体三维检测框的耦合关系，优化关键点与检测框的识别结果，并将同一个检测框内的关键点连接成人体三维骨骼框架；包括：
（5.1）基于人体三维关键点优化人体三维检测框：针对每一个人体三维检测框，判断框内是否有完整的人体三维关键点，若人体三维检测框内不包括完整的人体三维关键点或种类，则删除该检测框；
（5.2）基于人体三维检测框优化人体三维关键点：判断关键点是否至少在1个人体三维检测框内，若不在则删除该关键点；
（5.3）连接人体骨三维骼框架：针对每一个人体检测框，基于身体各个部分的运动学先验空间关系连接出一组人体三维骨骼框架；
多人体位姿跟踪模块：基于检测框的位置变化规律和人体运动规律，给予检测框标签信息，使得同一个人在不同点云中的检测框具有相同的标签；
人体行为意图推理模块：基于人体三维骨骼框架，拆分关键身体部位，分析关健身体部位的运动规律，并根据关键身体部位的行为推理人体整体的行为意图；
人体运动轨迹预测模块：基于人体三维检测框的位置变化规律拟合运动轨迹，并结合人体行为意图的推理结果，预测人体后续的运动轨迹；
AGV碰撞预警与路径重规划模块：基于预测的人体运动轨迹信息判断是否会有碰撞风险，并给出碰撞预警，使AGV原地等待或重新规划路线。
15.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-13中任一项所述的基于人体轨迹预测的AGV防撞预警方法。
16.一种基于人体轨迹预测的AGV防撞预警装置，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-13中任一项所述的基于人体轨迹预测的AGV防撞预警方法。
CN202410058003.4A 2024-01-16 2024-01-16 一种基于人体轨迹预测的agv防撞预警方法与系统 Active CN117576354B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410058003.4A CN117576354B (zh) 2024-01-16 2024-01-16 一种基于人体轨迹预测的agv防撞预警方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410058003.4A CN117576354B (zh) 2024-01-16 2024-01-16 一种基于人体轨迹预测的agv防撞预警方法与系统

Publications (2)

Publication Number Publication Date
CN117576354A CN117576354A (zh) 2024-02-20
CN117576354B true CN117576354B (zh) 2024-04-19

Family

ID=89886697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410058003.4A Active CN117576354B (zh) 2024-01-16 2024-01-16 一种基于人体轨迹预测的agv防撞预警方法与系统

Country Status (1)

Country Link
CN (1) CN117576354B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907672A (zh) * 2021-05-07 2021-06-04 上海擎朗智能科技有限公司 一种机器人的避让方法、装置、电子设备及存储介质
WO2022067606A1 (zh) * 2020-09-30 2022-04-07 中国科学院深圳先进技术研究院 一种行人异常行为检测方法、系统、终端以及存储介质
CN115035546A (zh) * 2022-05-27 2022-09-09 中国科学院半导体研究所 三维人体姿态检测方法、装置及电子设备
CN116012445A (zh) * 2022-12-08 2023-04-25 之江实验室 一种基于深度相机的导览机器人感知行人三维空间信息的方法和系统
CN116071960A (zh) * 2023-04-06 2023-05-05 深圳市城市交通规划设计研究中心股份有限公司 一种非机动车与行人碰撞预警方法、电子设备及存储介质
CN117234159A (zh) * 2023-08-25 2023-12-15 湖南金能自动化设备有限公司 一种智能agv小车装卸货的运行控制方法及控制系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690146A (zh) * 2021-07-29 2023-02-03 北京图森智途科技有限公司 一种多目标跟踪方法、装置、计算设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022067606A1 (zh) * 2020-09-30 2022-04-07 中国科学院深圳先进技术研究院 一种行人异常行为检测方法、系统、终端以及存储介质
CN112907672A (zh) * 2021-05-07 2021-06-04 上海擎朗智能科技有限公司 一种机器人的避让方法、装置、电子设备及存储介质
CN115035546A (zh) * 2022-05-27 2022-09-09 中国科学院半导体研究所 三维人体姿态检测方法、装置及电子设备
CN116012445A (zh) * 2022-12-08 2023-04-25 之江实验室 一种基于深度相机的导览机器人感知行人三维空间信息的方法和系统
CN116071960A (zh) * 2023-04-06 2023-05-05 深圳市城市交通规划设计研究中心股份有限公司 一种非机动车与行人碰撞预警方法、电子设备及存储介质
CN117234159A (zh) * 2023-08-25 2023-12-15 湖南金能自动化设备有限公司 一种智能agv小车装卸货的运行控制方法及控制系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Dayi Tan ; Wei Tian ; Yuyao Huang ; Qing Deng ; Lu Xiong ; Zhuoping Yu.Visual marking-based AGV localization in parking lot.2021 5th CAA International Conference on Vehicular Control and Intelligence (CVCI).2022,全文. *
基于RGB-D视觉定位的购物机器人运动轨迹识别分析研究;李胜杰;徐少华;;现代制造技术与装备;20200115(第01期);全文 *

Also Published As

Publication number Publication date
CN117576354A (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN110210417B (zh) 一种行人运动轨迹的预测方法、终端及可读存储介质
US11682129B2 (en) Electronic device, system and method for determining a semantic grid of an environment of a vehicle
CN106647766A (zh) 一种基于复杂环境的uwb‑视觉交互的机器人巡航方法及系统
CN111882611B (zh) 一种地图构建方法及装置
CN113228043A (zh) 移动平台基于神经网络的障碍物检测及关联的系统和方法
CN112025729A (zh) 基于ros的多功能智能医疗服务机器人系统
CN102074018A (zh) 一种基于深度信息的轮廓跟踪方法
Bersan et al. Semantic map augmentation for robot navigation: A learning approach based on visual and depth data
CN116012445A (zh) 一种基于深度相机的导览机器人感知行人三维空间信息的方法和系统
CN112907625B (zh) 应用于四足仿生机器人的目标跟随方法及系统
CN113312966B (zh) 一种基于第一人称视角的动作识别方法及装置
EP3712802A1 (en) Method for representing an environment of a mobile platform
Wallner et al. Real-time map refinement by fusing sonar and active stereo-vision
CN117576354B (zh) 一种基于人体轨迹预测的agv防撞预警方法与系统
CN112818968A (zh) 一种目标物分类方法及装置
CN113158779A (zh) 一种行走方法、装置和计算机存储介质
Jiang et al. Depth image-based obstacle avoidance for an in-door patrol robot
CN115311512A (zh) 数据标注方法、装置、设备及存储介质
Yan et al. INT2: Interactive Trajectory Prediction at Intersections
Groneberg et al. Lidar and AI based surveillance of industrial process environments
Uzawa et al. Dataset Generation for Deep Visual Navigation in Unstructured Environments
CN115761885B (zh) 一种共时与跨域异步融合驱动的行为识别方法
CN117048638B (zh) 自动驾驶车辆的控制方法、装置、电子设备和存储介质
CN117457193B (zh) 一种基于人体关键点检测的体态健康监测方法及系统
CN116310406B (zh) 一种图像检测的方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant