CN112306232A - 一种实时重构物体运动轨迹的方法 - Google Patents

一种实时重构物体运动轨迹的方法 Download PDF

Info

Publication number
CN112306232A
CN112306232A CN202010984175.6A CN202010984175A CN112306232A CN 112306232 A CN112306232 A CN 112306232A CN 202010984175 A CN202010984175 A CN 202010984175A CN 112306232 A CN112306232 A CN 112306232A
Authority
CN
China
Prior art keywords
image
point
real time
camera
reconstructing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010984175.6A
Other languages
English (en)
Inventor
冯志全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Jinan
Original Assignee
University of Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Jinan filed Critical University of Jinan
Priority to CN202010984175.6A priority Critical patent/CN112306232A/zh
Publication of CN112306232A publication Critical patent/CN112306232A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G06T3/08—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

本发明提供了一种实时重构物体运动轨迹的方法，所述的方法包括：用摄像头获取t时刻运动物体的图像It；计算It的重心像素点坐标P(xt,yt)；将P点映射到3D空间位置Q(Xt,Yt,Zt)；在3D空间中画出Q点位置；基于人机交互方式改变Q点轨迹；在输出设备上可视化Q点的轨迹。该方法可以用于虚拟现实、人机交互、虚拟实验等系统中，在二维跟踪的基础上，结合语音、传感等多模态感知与交互技术控制运动对象的虚拟轨迹，可同时满足高实时性和低成本的应用要求。

Description

一种实时重构物体运动轨迹的方法
技术领域
本发明涉及虚拟现实技术领域，具体涉及一种实时重构物体运动轨迹的方法。
背景技术
在虚拟现实技术中心，对于虚拟空间内物体的位置，目前主流的技术手段为：利用双目摄像头来进行空间点的三维坐标定位。主要目的在于研究如何从得到的匹配点中计算出相机的投影矩阵(如果是外部标定的话，就是求出相机的外部参数)以及如何计算出匹配点的三维坐标。
对于普通的用户来说，双目摄像头的价格本身就比较昂贵，精度较高的双目摄像头需要几千甚至几万元，而更大的费用还来自于控制双目摄像头实现定位的软件，动辄几十万上百万的价格让普通用户根本无法承受，这也是虚拟现实技术无法大规模推广的重要原因之一。
为了降低成本，目前的低端用户往往需要用普通摄像头跟踪三维(3D)空间点位置，并通过自行设计或修改算法的方式来尽量达到三维重构的效果，但是，现有跟踪方法难以同时满足高实时性和低成本的应用要求。
发明内容
为了解决上述问题，本申请提供了一种实时重构物体运动轨迹的方法，在二维跟踪的基础上，结合语音、传感等多模态感知与交互技术控制运动对象的虚拟轨迹。
本发明公开了如下技术方案：
本发明实施例提供了一种实时重构物体运动轨迹的方法，所述的方法包括：
S1：用摄像头获取t时刻运动物体的图像It；
S2：计算It的重心像素点坐标P(xt,yt)；
S3：将P点映射到3D空间位置Q(Xt,Yt,Zt)；
S4：在3D空间中画出Q点位置；
S5：基于人机交互方式改变Q点轨迹；
S6：在输出设备上可视化Q点的轨迹。
进一步的，当获取运动物体的时间t发生改变后，重复步骤S1-S6实现运动轨迹的重构。
进一步的，所述步骤S2的具体实现方法为：
首先，用摄像头得到一个背景图像I1和每一个运动物体的帧图像I2；然后，计算ΔI＝I1-I2，其中，ΔI是一个图像，其图像像素值为(Δxi,Δyi)＝(|I1xi-I2xj|,|I1yi-I2yj|),(I1xi,I1yi)和(I1xi,I1yi)分别表示图像I1和I2在(i,j)处的坐标；最后，计算图像ΔI的重心坐标P(xt,yt)，计算公式为：xt＝(∑(Δx))/S,yt＝(∑(Δy))/S，其中，∑(Δx)、∑(Δy)分别表示把图像ΔI中的所有物体前景象素点的横坐标、纵坐标之和，S表示ΔI中所有物体前景象素点的个数。
进一步的，所述步骤S3的具体实现方法为：
S31：随机设置Z方向向量值为Zt；
S32：基于Zt计算Xt＝((xt-m)*Zt)/fx；
S33：基于Zt计算Yt＝((yt-n)*Zt)/fy；
其中，m、n、fx、fy是相机的内部参数，fx、fy是横向焦距和纵向焦距，m、n是水平方向和垂直方向的偏移量，通过现有相机校准的公知方法就可以得到这些参数。
进一步的，步骤S5中，通过改变Z方向向量值Zt的数值改变Q点的轨迹。
进一步的，步骤S5中，人机交互的方式包括但不限于：
电信号指令，利用控制按键发送包含控制指令的电信号；
感应指令，利用传感器的感应发送控制信号；
生物信号指令，利用人体生物特征的变化识别发送控制信号；
动作指令信号，利用人体全部或部分肢体的动作识别来发送控制信号。
进一步的，步骤S5中，当人机交互时，每识别出一次增加或减少的控制信号，Zt的数值增加或减少一个单位。
本发明的有益效果：
该方法可以用于虚拟现实、人机交互、虚拟实验等系统中，在二维跟踪的基础上，结合语音、传感等多模态感知与交互技术控制运动对象的虚拟轨迹，整个技术方案简化了从二维坐标转换为三维坐标的难度，减少了可同时满足高实时性和低成本的应用要求。
附图说明
图1为本发明方法实施例的流程图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。本领域技术人员应当知晓，下述具体实施例或具体实施方式，是本发明为进一步解释具体的发明内容而列举的一系列优化的设置方式，而该些设置方式之间均是可以相互结合或者相互关联使用的，除非在本发明明确提出了其中某些或某一具体实施例或实施方式无法与其他的实施例或实施方式进行关联设置或共同使用。同时，下述的具体实施例或实施方式仅作为最优化的设置方式，而不作为限定本发明的保护范围的理解。
实施例
本发明实施例提供了一种实时重构物体运动轨迹的方法，如图1所示，所述的方法包括以下实现步骤：
S1：用摄像头获取t时刻运动物体的图像It，在此过程中，对于摄像头没有特殊的限定和要求，采用市面上的普通摄像头即可，用户可以根据实际需要采购最便宜的摄像头来降低成本。
S2：计算It的重心像素点坐标P(xt,yt)，该过程中，对于坐标P的计算方法为：首先，用摄像头得到一个背景图像I1和每一个运动物体的帧图像I2；然后，计算ΔI＝I1-I2，其中，ΔI是一个图像，其图像像素值为(Δxi,Δyi)＝(|I1xi-I2xj|,|I1yi-I2yj|),(I1xi,I1yi)和(I1xi,I1yi)分别表示图像I1和I2在(i,j)处的坐标；最后，计算图像ΔI的重心坐标P(xt,yt)，计算公式为：xt＝(∑(Δx))/S,yt＝(∑(Δy))/S，其中，∑(Δx)、∑(Δy)分别表示把图像ΔI中的所有物体前景象素点的横坐标、纵坐标之和，S表示ΔI中所有物体前景象素点的个数。
S3：将P点映射到3D空间位置Q(Xt,Yt,Zt)，其中，将二维坐标转化为三维坐标的具体实现方法为：
S31：随机设置Z方向向量值为Zt，在此过程中，用户可以根据最近几次的设置设置情况自行定义；
S32：基于Zt计算Xt＝((xt-m)*Zt)/fx；
S33：基于Zt计算Yt＝((yt-n)*Zt)/fy；
其中，m、n、fx、fy是相机的内部参数，fx、fy是横向焦距和纵向焦距，m、n是水平方向和垂直方向的偏移量，通过现有相机校准的公知方法就可以得到这些参数。
S4：根据步骤S3中转换出的三维坐标值，在构建完成的在3D空间中画出Q点位置。
S5：基于人机交互方式改变Z方向向量值Zt的数值，从而实现Q点轨迹的改变，人机交互的方式包括但不限于电信号指令、感应指令、生物信号指令、生物信号指令，当人机交互时，每识别出一次增加或减少的控制信号，Zt的数值增加或减少一个单位。
针对不同的人机交互方式，其采用的原理如下：
电信号指令利用控制按键发送包含控制指令的电信号，最常见的是设置两个按键或按钮，一个代表“增加”，一个代表“减少”，每按下依次按键或按钮，即为发送一次控制指令。
感应指令利用传感器的感应发送控制信号，以红外传感器为例，可以设置两个红外传感器，一个代表“增加”，一个代表“减少”，当对应红外传感器感应到人体接近时，发送对应的控制指令。
生物信号指令利用人体生物特征的变化识别发送控制信号，其中最常见的是语音指令，系统一旦通过语音识别出用户要求增加(减少)Zt的意图，Zt每次增加(减少)一个单位，直到用户要求停止为止。
生物信号指令利用人体全部或部分肢体的动作识别来发送控制信号，该指令通过眼控、手控等方法发出，通过对人体动作的训练和识别，实现对于Zt改变意图的控制。
S6：在输出设备上可视化Q点的轨迹。
S7：当获取运动物体的时间t发生改变后，重复步骤S1-S6实现运动轨迹的重构。
为了更好的了解上述原理的实际应用方式，下面结合虚拟实验的实际场景来进行阐述说明：
在智能烧杯模具上，设置按钮、标识计算与通信芯片，计算与通信芯片通过蓝牙与计算机设备实现通信，按钮采用压力传感器，压力传感器的值传给计算与通信芯片。
设置在烧杯模具上的标识物为红外二极管，红外二极管被置于在烧杯模具运动过程中摄像机可以始终看得到的地方。用户可以根据虚拟3D场景中的交互态势，调整标识物的轨迹。例如，用户通过按压上按钮，增加Z方向值；用户通过按压下按钮，减少Z方向值。
在用户抓握住烧杯模具移动过程中，普通RGB摄像机获取标识物图像，该标识物图像通过摄像机送到计算机与显示设备上，通过本发明的算法，计算标识物的空间位置坐标，并在计算与显示设备上可视化呈现出来。
应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明的具体结构，但不以任何方式限制本发明创造。因此，尽管说明书及附图和实施例对本发明创造已进行了详细的说明，但是，本领域技术人员应当理解，仍然可以对本发明创造进行修改或者等同替换；而一切不脱离本发明创造的精神和范围的技术方案及其改进，其均涵盖在本发明创造专利的保护范围当中。

Claims (7)

1.一种实时重构物体运动轨迹的方法，其特征在于，所述的方法包括：
S1：用摄像头获取t时刻运动物体的图像It；
S2：计算It的重心像素点坐标P(xt,yt)；
S3：将P点映射到3D空间位置Q(Xt,Yt,Zt)
S4：在3D空间中画出Q点位置；
S5：基于人机交互方式改变Q点轨迹；
S6：在输出设备上可视化Q点的轨迹。
2.根据权利要求1所述的一种实时重构物体运动轨迹的方法，其特征在于，当获取运动物体的时间t发生改变后，重复步骤S1-S6实现运动轨迹的重构。
3.根据权利要求1所述的一种实时重构物体运动轨迹的方法，其特征在于，所述步骤S2的具体实现方法为：
首先，用摄像头得到一个背景图像I1和每一个运动物体的帧图像I2；然后，计算ΔI＝I1-I2，其中，ΔI是一个图像，其图像像素值为(Δxi,Δyi)＝(|I1xi-I2xj|,|I1yi-I2yj|),(I1xi,I1yi)和(I1xi,I1yi)分别表示图像I1和I2在(i,j)处的坐标；最后，计算图像ΔI的重心坐标P(xt,yt)，计算公式为：xt＝(∑(Δx))/S,yt＝(∑(Δy))/S，其中，∑(Δx)、∑(Δy)分别表示把图像ΔI中的所有物体前景象素点的横坐标、纵坐标之和，S表示ΔI中所有物体前景象素点的个数。
4.根据权利要求1所述的一种实时重构物体运动轨迹的方法，其特征在于，所述步骤S3的具体实现方法为：
S31：随机设置Z方向向量值为Zt；
S32：基于Zt计算Xt＝((xt-m)*Zt)/fx；
S33：基于Zt计算Yt＝((yt-n)*Zt)/fy；
其中，m、n、fx、fy是相机的内部参数，fx、fy是横向焦距和纵向焦距，m、n是水平方向和垂直方向的偏移量。
5.根据权利要求1所述的一种实时重构物体运动轨迹的方法，其特征在于，步骤S5中，人机交互的方式包括但不限于：
电信号指令，利用控制按键发送包含控制指令的电信号；
感应指令，利用传感器的感应发送控制信号；
生物信号指令，利用人体生物特征的变化识别发送控制信号；
动作指令信号，利用人体全部或部分肢体的动作识别来发送控制信号。
6.根据权利要求1所述的一种实时重构物体运动轨迹的方法，其特征在于步骤S5中，通过改变Z方向向量值Zt的数值改变Q点的轨迹。
7.根据权利要求6所述的一种实时重构物体运动轨迹的方法，其特征在于，步骤S5中，当人机交互时，每识别出一次增加或减少的控制信号，Zt的数值增加或减少一个单位。
CN202010984175.6A 2020-09-18 2020-09-18 一种实时重构物体运动轨迹的方法 Pending CN112306232A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010984175.6A CN112306232A (zh) 2020-09-18 2020-09-18 一种实时重构物体运动轨迹的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010984175.6A CN112306232A (zh) 2020-09-18 2020-09-18 一种实时重构物体运动轨迹的方法

Publications (1)

Publication Number Publication Date
CN112306232A true CN112306232A (zh) 2021-02-02

Family

ID=74484009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010984175.6A Pending CN112306232A (zh) 2020-09-18 2020-09-18 一种实时重构物体运动轨迹的方法

Country Status (1)

Country Link
CN (1) CN112306232A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101256673A (zh) * 2008-03-18 2008-09-03 中国计量学院 用于在实时视频跟踪系统中跟踪手臂运动的方法
CN102096471A (zh) * 2011-02-18 2011-06-15 广东威创视讯科技股份有限公司 一种基于机器视觉的人机交互方法
CN102697508A (zh) * 2012-04-23 2012-10-03 中国人民解放军国防科学技术大学 采用单目视觉的三维重建来进行步态识别的方法
CN103886287A (zh) * 2014-03-12 2014-06-25 暨南大学 一种基于3d投影的跨视角步态识别方法
CN104571823A (zh) * 2015-01-12 2015-04-29 济南大学 一种基于智能电视的非接触式虚拟人机交互方法
CN104680556A (zh) * 2015-02-16 2015-06-03 燕山大学 基于视差的鱼类运动三维轨迹跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101256673A (zh) * 2008-03-18 2008-09-03 中国计量学院 用于在实时视频跟踪系统中跟踪手臂运动的方法
CN102096471A (zh) * 2011-02-18 2011-06-15 广东威创视讯科技股份有限公司 一种基于机器视觉的人机交互方法
CN102697508A (zh) * 2012-04-23 2012-10-03 中国人民解放军国防科学技术大学 采用单目视觉的三维重建来进行步态识别的方法
CN103886287A (zh) * 2014-03-12 2014-06-25 暨南大学 一种基于3d投影的跨视角步态识别方法
CN104571823A (zh) * 2015-01-12 2015-04-29 济南大学 一种基于智能电视的非接触式虚拟人机交互方法
CN104680556A (zh) * 2015-02-16 2015-06-03 燕山大学 基于视差的鱼类运动三维轨迹跟踪方法

Similar Documents

Publication Publication Date Title
WO2015180497A1 (zh) 一种基于立体视觉的动作采集和反馈方法及系统
CN110480634B (zh) 一种针对机械臂运动控制的手臂引导运动控制方法
Qian et al. Developing a gesture based remote human-robot interaction system using kinect
CN106527709B (zh) 一种虚拟场景调整方法及头戴式智能设备
CN103529944B (zh) 一种基于Kinect的人体动作识别方法
CN114766038A (zh) 共享空间中的个体视图
US20130335405A1 (en) Virtual object generation within a virtual environment
CN110728739B (zh) 一种基于视频流的虚拟人控制与交互方法
KR101343860B1 (ko) 하이브리드 인터페이스를 사용하는 로봇 아바타 시스템과 로봇 아바타 시스템에서 사용되는 명령 서버, 학습 서버 및 지각 서버
EP4307233A1 (en) Data processing method and apparatus, and electronic device and computer-readable storage medium
CN108564643B (zh) 基于ue引擎的表演捕捉系统
WO2015026645A1 (en) Automatic calibration of scene camera for optical see-through head mounted display
CN111402290A (zh) 一种基于骨骼关键点的动作还原方法以及装置
CN104656893A (zh) 一种信息物理空间的远程交互式操控系统及方法
CN106313049A (zh) 一种仿人机械臂体感控制系统及控制方法
CN102221884B (zh) 一种基于摄像机实时定标的可视遥在装置及其工作方法
CN107145822B (zh) 偏离深度相机的用户体感交互标定的方法和系统
CN113103230A (zh) 一种基于处置机器人遥操作的人机交互系统及方法
CN104969145A (zh) 靶向和按压自然用户输入
CN111596767A (zh) 一种基于虚拟现实的姿态捕获方法和装置
CN105824417B (zh) 一种采用虚拟现实技术的人与物的结合方法
CN109395375A (zh) 一种基于增强现实与移动交互的三维游戏接口设计方法
WO2017061890A1 (en) Wireless full body motion control sensor
CN108052901B (zh) 一种基于双目的手势识别智能无人机远程操控方法
CN115862074B (zh) 人体指向确定、屏幕控制方法、装置及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210202