CN104376154B

CN104376154B - 一种刚体碰撞轨迹预测显示装置

Info

Publication number: CN104376154B
Application number: CN201410604277.5A
Authority: CN
Inventors: 耿辰; 戴亚康; 郑健; 郁朋
Original assignee: Suzhou Institute of Biomedical Engineering and Technology of CAS
Current assignee: Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority date: 2014-10-31
Filing date: 2014-10-31
Publication date: 2018-05-01
Anticipated expiration: 2034-10-31
Also published as: CN104376154A

Abstract

本发明提出了一种刚体碰撞轨迹预测显示装置，由鸟瞰摄像机、冲撞视角摄像机、可穿戴观察设备、瞄准适配器、数据处理设备、刚体碰撞轨迹预测软件系统组成。软件系统配置于数据处理设备中，分为摄像机标定系统、目标识别系统、空间姿态计算系统、刚体轨迹预估系统几个模块。通过分析鸟瞰摄像机与冲撞视角摄像机传入的视频数据，结合瞄准适配器传入的空间位姿信息，得到工作平面上各刚体的空间位置以及冲撞方的姿态和力度，从而计算得出冲撞方与被撞方碰撞后的可能运动轨迹，并将该轨迹与现实场景相叠加显示于可佩带观察设备的显示屏中。实现对碰撞轨迹的预测及实时显示，让使用者可以在碰撞发生前对各刚体的位置和运动状态等进行调整。

Description

一种刚体碰撞轨迹预测显示装置

技术领域

本发明涉及一种刚体碰撞轨迹预测显示装置，具体涉及一种包括鸟瞰摄像机、冲撞视角摄像机、可穿戴观察设备、瞄准适配器、数据处理设备、刚体碰撞轨迹预测软件系统的刚体碰撞轨迹预测显示装置，适合于刚体碰撞的预测及实时显示，如台球、门球等平面碰撞球类的运动培训以及相关人机交互领域。

背景技术

可穿戴观察设备是一种可穿戴于身上出外进行活动的微型电子设备，具备头戴式显示屏、通讯模块，并具备一定的数据处理能力，目前可穿戴观察设备的形态多为眼镜或头盔，并且均采用轻量化设计，使使用者可以在佩戴设备的情况下自如地进行正常头部活动。其显示设备则为置于使用者眼前的微型显示屏，根据设备使用场景的不同，有单眼和双眼两种形式，在显示方式上也存在二维显示以及三维立体显示两种，通常三维立体显示采用双眼显示屏，且观察方式为实时捕捉设备正前方的视频，经过转换后显示于显示屏上，使用者肉眼只能通过显示屏观察外部世界。而二维显示方式则可以利用半透明的单眼显示屏进行显示，在保证使用者可以直接用肉眼观察真实世界的前提下，将所要显示的信息通过叠加的方式显示于使用者的眼前。

在视频图像中寻找具有一定特征的目标是计算机视觉和图像处理领域的常见问题，一般而言，解决该类问题的方法需要提取对应目标在形态、颜色、轨迹等方面的特征，使其区别于其他背景物体，目标识别的目的则在于获取目标在图像坐标系下的位置坐标以及其轮廓范围等。

图像配准技术的目标在于比较或融合同一对象在不同条件下获取的图像，一般方法是通过寻找一种空间变换方法把一副图像中的目标区域映射到另一幅图像，使得两图中对应于空间同一位置的点一一对应，而这一实现方式通常是利用仿射变换矩阵来对待配准点的坐标进行仿射变换。通常依据空间维度划分为二维-二维配准，二维-三维配准，三维-三维配准。依据配准算法所基于的特征及相似性测度，则可分为基于特征点、基于表面、基于像素、基于外部标志点等方法。依据变换的性质则可分为刚性变换与非刚性变换。由于同一目标在不同条件下获得的图像之间会存在仿射变换、尺度变换甚至形变，因此在进行图像刚性配准时需要根据待配准对象的特性选取具有仿射不变、尺度不变等性质的特征进行配准变换矩阵的计算。目前常用的刚性配准算法主要有：ICP、CPD等，非刚性配准算法则有TPS-RPM、SMM、RBF-RPM等。这些算法技术比较成熟，且均有很多具有针对性的优化算法，因此具有较好的时间复杂度，在运算实时性上有良好的表现。

当前，在碰撞轨迹预测领域并没有实时直观显示运动轨迹的方案，发明人希望利用可穿戴观察设备及简单的摄像机等设备，设计出一种能够提前预测碰撞轨迹并给予使用者直观的显示效果的设备，该设备可用于门球、台球等平面碰撞类运动的培训以及与碰撞预测相关的人机交互领域。

发明内容

本发明目的在于设计一种可以让使用者直观地观察到平面上多个刚体碰撞所可能产生的运动轨迹的装置，使其在碰撞前进行介入调整，从而提高对碰撞的可控性。本发明提出了一种刚体碰撞轨迹预测显示装置。该装置由鸟瞰摄像机、冲撞视角摄像机、可穿戴观察设备、瞄准适配器、数据处理设备、刚体碰撞轨迹预测软件系统组成；

刚体碰撞轨迹预测软件系统运行于数据处理设备上，并包括摄像机标定系统、目标识别系统、空间姿态计算系统和刚体轨迹预估系统；

整套装置中的数据传输均可以通过有线连接或无线连接的形式，具体实施方式依据使用需求进行选择；

鸟瞰摄像机、冲撞视角摄像机、可穿戴观察设备、瞄准适配器均与数据处理设备有实时的数据通信，其中，鸟瞰摄像机、冲撞视角摄像机、瞄准适配器与数据处理设备为单向发送，而可穿戴观察设备与数据处理设备则为单向接收；

冲撞视角摄像机的视角方向与冲撞方运动方向一致，且与使用者的观察方向相一致，但不要求冲撞视角摄像机与冲撞方固定在一起；

可穿戴观察设备的显示设备为半透明或不透明的显示屏，显示屏数量可以是单眼或双眼；

冲撞视角摄像机的视频捕获视角大于或等于人眼观察的视角；

瞄准适配器的激光发射器射出的激光与冲撞方运动方向相一致且激光所在直线与冲撞方运动方向的对称轴线相重合；

瞄准适配器激光发射器的功率、波长及光斑尺寸应满足如下条件，在冲撞视角摄像机所捕获的视频中，在冲撞视角摄像机可提供的对比度范围下，使用者可以通过肉眼明确地分辨出被撞方表面上的激光光斑；

瞄准适配器的功能为获取冲撞方的三维位移、空间姿态、纵向运动的加速度并将数据通过数据通信传输至数据处理设备；

瞄准适配器的固定方式无固定规则，根据使用场景的需求在能够满足其功能的情况下可选择内置或外置等多种形式固定于冲撞方；

刚体碰撞轨迹预测软件系统中的摄像机标定系统可以快速对鸟瞰摄像机、冲撞视角摄像机进行内外参数的标定，并得到鸟瞰摄像机的光心与工作平面的空间距离；

鸟瞰摄像机在经过摄像机标定系统的标定后与工作平面的相对位置即保持不变，直到再次进行摄像机标定时才可以对其位置进行改变；

刚体碰撞轨迹预测软件系统中的目标识别系统，可以通过分析鸟瞰摄像机、冲撞视角摄像机传入的视频数据，结合摄像机标定系统获得的工作平面距离以及尺寸对应关系等，得到视频图像内刚体在图像坐标系内的位置以及其在对应的世界坐标系中的位置；

刚体碰撞轨迹预测软件系统中的空间姿态计算系统，通过分析冲撞视角摄像机传入的视频数据，当视频中出现射在被撞方目标外壳上的激光斑点时，结合瞄准适配器传入的冲撞方空间姿态数据以及目标识别系统所得到的刚体目标空间位置，可以得到冲撞方相对于被撞方的位置和姿态；

刚体碰撞轨迹预测软件系统中的刚体轨迹预估系统，通过分析空间姿态计算系统得到的冲撞方姿态、位置，瞄准适配器传入的冲撞方纵向加速度，以及目标识别系统得到的刚体目标在空间中的位置，可以预估被撞方的运动轨迹，以及被撞方运动轨迹上所接触到的第一个其他刚体经过碰撞后的轨迹；

刚体碰撞轨迹预测软件系统中的刚体轨迹预估系统，可通过图像配准的方式将计算得到的三维空间的刚体轨迹转换至可穿戴观察设备中显示设备的图像坐标系下，实现利用可穿戴观察设备的显示设备观察预测轨迹。

与传统碰撞轨迹预测设备相比的有益效果是：

用户可以通过可穿戴观察设备实时观察到冲撞方的姿态、速度等对于碰撞后被撞方运动轨迹的影响的预测结果；

用户可以通过观察预测得到的轨迹预先调整冲撞方的姿态和冲撞力度以达到理想的碰撞效果；

设备可以直接安装于现有碰撞相关的硬件系统上，无需对现有系统大幅度的改造。

附图说明

图1是本发明所提出的工作流程图；

图2是本发明所提出的一种优选实例示意图；

图3是本发明系统的结构示意图。

具体实施方式

关于本发明的优点与精神可以通过以下的发明详述及附图得到进一步的了解。

附图1为工作流程图，附图2为优选实例的示意图，其中优选实例的组成为鸟瞰摄像机1、冲撞视角摄像机2、可佩戴观察设备3、瞄准适配器4、数据处理设备5、工作平面6、冲撞方7、被撞方8、其他刚体9、使用者10。

在该优选实例中，冲撞视角摄像机2与可佩带观察设备3置于同一硬件结构上，由使用者10佩戴。

在该优选实例中，鸟瞰摄像机1与数据处理设备5通过实体线缆连接进行数据通信，冲撞视角摄像机2、可佩带观察设备3、瞄准适配器4与数据处理设备5通过无线WIFI形式进行数据通信。

在该优选实例中，冲撞方7为细长圆柱状，被撞方8及其他刚体9为规则的球状物体。

在该优选实例中，冲撞方7、被撞方8、其他刚体9与工作平台6颜色均不相同。

在该优选实例中，数据处理设备5采用基于X64架构的工作站。

在附图1的工作流程图中：

步骤S101和S201，使用摄像机标定方法获取冲撞视角摄像机2和鸟瞰摄像机1的内外参数，由于摄像机捕获图像涉及到图像坐标系、摄像机坐标系与世界坐标系，且世界坐标系与图像坐标系间的转换关系为：

其中是成像平面的像素在方向的物理尺寸，则是摄像机光轴和成像平面的交点在图像坐标系下的坐标，也称为主点坐标，为摄像机焦距，是一个3x3的旋转矩阵，是3x1的平移矩阵，通过摄像机标定可以获得上述各项参数，从而得到图像坐标系、摄像机坐标系、世界坐标系之间的具体转换关系，并且在标定时获得鸟瞰摄像机1与工作平面6之间的距离信息。

步骤S102和S202，鸟瞰摄像机1及冲撞视角摄像机2以能够满足处理需求的分辨率捕获彩色视频数据。

步骤S103、S104和S203、S204，通过对视频数据的每一帧图像进行基于RGB颜色的目标识别以及基于canny算子的边界检测，计算两种识别结果的交集，得到工作平面6上球状物体在图像坐标系下的位置，结合之前步骤中对摄像机标定所得到的内外参信息，可以得到桌上球状物体在摄像机坐标系以及图像坐标系下的位置坐标。

步骤S105，由于已知工作平面6上被撞方8以及其他刚体9在鸟瞰摄像机1以及冲撞视角摄像机2的图像坐标系、世界坐标系、摄像机坐标系下的坐标，且已知鸟瞰摄像机1距离工作平面6的距离，根据不同坐标系下相同目标之间的对应关系，通过点集配准方法，可以计算得到鸟瞰摄像机1与冲撞视角摄像机2的图像坐标系中刚体目标之间的坐标转换矩阵。

步骤S301，步骤S302，与步骤S102相同，冲撞视角摄像机捕获冲撞运动方向的视频数据，通过目标识别发现视频图像中存在被撞方8的侧面，且侧面上有从瞄准适配器4射出的激光光斑时，确认冲撞方7正面向被撞方。

步骤S303，由于已经得到图像坐标系中被撞方8侧面的范围以及激光光斑的位置，根据之前得到的摄像机内外参信息以及鸟瞰摄像机坐标系与冲撞视角摄像机坐标系之间的关系，可以得到激光光斑在世界坐标系下的位置。

步骤S401，S402，通过瞄准适配器4中的陀螺仪采集空间姿态，通过瞄准适配器4中的加速度计采集冲撞方的纵向加速度，并将上述信息通过无线传输的形式传至数据处理设备5。

步骤S304，根据激光斑点在被撞方8侧面的位置、瞄准适配器4的空间姿态，由于被撞方8是刚体，则可以得到冲撞方7相对于被撞方8的空间姿态及位置。

步骤S206，根据上述步骤所得到的数据，利用力学相关原理求解世界坐标系下冲撞方7与被撞方8发生碰撞后被撞方8在工作平面6上的运动轨迹，其中空气阻力不计，工作平面6与冲撞方7、被撞方8之间的摩擦系数使用预先测定的值，判断被撞方运动轨迹上的其他刚体目标，如果有，则利用同样规则计算第一个目标被撞后的运动轨迹。

步骤S207，通过之前得到的鸟瞰摄像机坐标系与冲撞视角摄像机坐标系之间的关系，利用在两者所捕获视频中相同的刚体目标，将步骤S206中得到的世界坐标系下的运动轨迹转换至冲撞视角摄像机的图像坐标系下。

步骤S208，在可穿戴观察设备的显示设备中叠加显示步骤S207得到的轨迹以及冲撞视角摄像机捕获得到的视频数据。

本发明的系统结构图如附图3所示，本实例的系统结构与附图3相同。

虽然参考优选实例对本发明进行描述，但以上所述实例并不构成本发明保护范围的限定，任何在本发明的精神及原则内的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围内。

Claims

1.一种刚体碰撞轨迹预测显示设备，其特征在于：包括如下六个关键元件，为：

鸟瞰摄像机，用于获取完整工作平面的俯视彩色视频数据并通过数据通讯传至数据处理设备；

冲撞视角摄像机，用于获取冲撞方运动方向的视频数据，并通过数据通讯传至数据处理设备；

可穿戴观察设备，佩戴于使用者头部的眼镜或头盔，具有视频显示能力，通过数据通讯接收数据处理设备传入的视频数据；

瞄准适配器，与数据处理设备有数据通讯，包括激光发射模块，微机电陀螺仪，加速度传感器，无线通讯模块，可充电电池；

数据处理设备，基于X86或X64的个人计算机或具有同等处理能力的嵌入式平台，与鸟瞰摄像机、冲撞视角摄像机、可穿戴观察设备、瞄准适配器具有数据通讯；

刚体碰撞轨迹预测软件系统，包括摄像机标定系统、目标识别系统、空间姿态计算系统和刚体轨迹预估系统，配置于数据处理设备上；

所述鸟瞰摄像机、冲撞视角摄像机、可穿戴观察设备、瞄准适配器与所述数据处理设备的数据通讯可采用有线连接或无线连接的形式；

所述冲撞视角摄像机的观察方向与使用者肉眼观察方向相同，观察视角大于或等于人眼视角；

所述的瞄准适配器可固定于冲撞方外壳上，激光发射模块发射的激光所指向的方向与冲撞方运动方向相一致，且激光所在直线与冲撞方运动方向的对称轴线重合；所述的刚体碰撞轨迹预测软件系统，通过摄像机标定系统及目标识别系统，可以获得鸟瞰摄像机与工作平面的距离，以及工作平面上各个刚体在空间中的三维坐标数据；

所述的刚体碰撞轨迹预测软件系统的空间姿态计算系统，利用冲撞视角摄像机传入的视频数据，以及瞄准适配器传入的陀螺仪数据，可以通过联合分析被撞方表面上激光光斑的位置以及陀螺仪的三维数据，得到冲撞方相对于所指向的被撞方的空间姿态；

所述的刚体碰撞轨迹预测软件系统的刚体轨迹预估系统，可以通过联合分析空间姿态计算系统给出的冲撞方的空间姿态、被撞方的三维空间位置，得到刚体碰撞后被撞方的运动轨迹以及该轨迹上第一个被撞击的其他刚体的运动轨迹；

所述的刚体碰撞轨迹预测软件系统的刚体轨迹预估系统，可以将预估的轨迹通过图像配准方法转换至可穿戴观察设备显示屏中图像所在的坐标系，并传输至可穿戴观察设备，将预测的轨迹与实际场景叠加显示；

所述刚体碰撞轨迹预测显示设备的工作流程如下：

步骤S101和S201，使用摄像机标定方法获取冲撞视角摄像机和鸟瞰摄像机的内外参数，由于摄像机捕获图像涉及到图像坐标系、摄像机坐标系与世界坐标系，且世界坐标系[X_w,Y_w,Z_w]与图像坐标系[u,v]间的转换关系为：

其中dx,dy是成像平面的像素在x,y方向的物理尺寸，u₀,v₀则是摄像机光轴和成像平面的交点在图像坐标系下的坐标，也称为主点坐标，f为摄像机焦距，R是一个3x3的旋转矩阵，t是3x1的平移矩阵，通过摄像机标定可以获得上述各项参数，从而得到图像坐标系、摄像机坐标系、世界坐标系之间的具体转换关系，并且在标定时获得鸟瞰摄像机与工作平面之间的距离信息；

步骤S102和S202，鸟瞰摄像机及冲撞视角摄像机以能够满足处理需求的分辨率捕获彩色视频数据；

步骤S103、S104和S203、S204，通过对视频数据的每一帧图像进行基于RGB颜色的目标识别以及基于canny算子的边界检测，计算两种识别结果的交集，得到工作平面上球状物体在图像坐标系下的位置，结合之前步骤中对摄像机标定所得到的内外参信息，可以得到桌上球状物体在摄像机坐标系以及图像坐标系下的位置坐标；

步骤S105，由于已知工作平面上被撞方以及其他刚体在鸟瞰摄像机以及冲撞视角摄像机的图像坐标系、世界坐标系、摄像机坐标系下的坐标，且已知鸟瞰摄像机距离工作平面的距离，根据不同坐标系下相同目标之间的对应关系，通过点集配准方法，可以计算得到鸟瞰摄像机与冲撞视角摄像机的图像坐标系中刚体目标之间的坐标转换矩阵；

步骤S301和步骤S302，与步骤S102相同，冲撞视角摄像机捕获冲撞运动方向的视频数据，通过目标识别发现视频图像中存在被撞方的侧面，且侧面上有从瞄准适配器射出的激光光斑时，确认冲撞方正面向被撞方；

步骤S303，由于已经得到图像坐标系中被撞方侧面的范围以及激光光斑的位置，根据之前得到的摄像机内外参信息以及鸟瞰摄像机坐标系与冲撞视角摄像机坐标系之间的关系，可以得到激光光斑在世界坐标系下的位置；

步骤S401，S402，通过瞄准适配器中的陀螺仪采集空间姿态，通过瞄准适配器中的加速度计采集冲撞方的纵向加速度，并通过无线传输的形式传至数据处理设备；

步骤S304，根据激光斑点在被撞方侧面的位置、瞄准适配器的空间姿态，由于被撞方是刚体，则可以得到冲撞方相对于被撞方的空间姿态及位置；

步骤S206，根据所得到的数据，利用力学相关原理求解世界坐标系下冲撞方与被撞方发生碰撞后被撞方在工作平面上的运动轨迹，其中空气阻力不计，工作平面与冲撞方、被撞方之间的摩擦系数使用预先测定的值，判断被撞方运动轨迹上的其他刚体目标，如果有，则利用同样规则计算第一个目标被撞后的运动轨迹；

步骤S207，通过之前得到的鸟瞰摄像机坐标系与冲撞视角摄像机坐标系之间的关系，利用在两者所捕获视频中相同的刚体目标，将步骤S206中得到的世界坐标系下的运动轨迹转换至冲撞视角摄像机的图像坐标系下；