CN111797808A - 一种基于视频特征点追踪的逆向方法及系统 - Google Patents

一种基于视频特征点追踪的逆向方法及系统 Download PDF

Info

Publication number
CN111797808A
CN111797808A CN202010693549.9A CN202010693549A CN111797808A CN 111797808 A CN111797808 A CN 111797808A CN 202010693549 A CN202010693549 A CN 202010693549A CN 111797808 A CN111797808 A CN 111797808A
Authority
CN
China
Prior art keywords
motion
video
static
target object
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010693549.9A
Other languages
English (en)
Other versions
CN111797808B (zh
Inventor
詹瑾
郑伟俊
黄智慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Polytechnic Normal University
Original Assignee
Guangdong Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Polytechnic Normal University filed Critical Guangdong Polytechnic Normal University
Priority to CN202010693549.9A priority Critical patent/CN111797808B/zh
Publication of CN111797808A publication Critical patent/CN111797808A/zh
Application granted granted Critical
Publication of CN111797808B publication Critical patent/CN111797808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Abstract

本发明提供了一种基于视频特征点追踪的逆向方法及系统,该逆向方法包括以下步骤:接收输入视频并输入至格式化模块,格式化模块将输入视频导出为第一视频;帧拆分模块基于预设格式将第一视频拆分为若干静态帧后依次储存在内存中;视觉识别模块依次对若干个静态帧进行处理,识别每一个静态帧中的目标对象的位置特征点和目标对象的方向特征点并记录在运动描述数据表中;以运动曲线拟合运动描述数据表中的位置特征点得到目标对象的运动轨迹;结合目标对象的三维模型、运动轨迹以及运动描述数据表生成目标对象的数字运动模型。该逆向方法,通过少量的测绘工作,结合数字化处理技术,可较为简单的完成工厂实况的逆向数字化建模,具有良好的使用便利性。

Description

一种基于视频特征点追踪的逆向方法及系统
技术领域
本发明涉及到视频处理领域,具体涉及到一种基于视频特征点追踪的逆向方法及系统。
背景技术
大部分工厂在长期的运行过程中,随着设备的换代更新,会适当性的引进一些新的设备并根据现有场地进行合理的布置和规划,随着时间的推移,设备的更换规模较大,工厂场地的规划与原设计方案图会产生较大的差异。
在实施中发现,随着自动化生产的普及,为了对工厂进行进一步合理化规划,有必要对现有的工厂内的设备以及设备的运行轨迹进行数字化建模,以实现数字化监控和管理。由于工厂场地的规划与原设计方案图会产生较大的差异,现行进行数字化建模的方法主要是通过测绘观察的方式进行,通过测绘等方式对场地的基本数据以及设备的基本数据进行记录后,首先进行基本的建模,然后再通过观察设备运动的情况在模型上进行运动规划。该数字化建模方式工作量大,耗费时间长,对技术人员的要求高,不利于普及使用。
发明内容
为了克服现有工厂数字化建模的缺陷,本发明提供了一种基于视频特征点追踪的逆向方法及系统,通过少量的测绘工作,结合数字化处理技术,可较为简单的完成工厂实况的逆向数字化建模,具有良好的使用便利性。
另外,本发明还提供了一种基于视频特征点追踪的逆向方法,包括以下步骤:
接收输入视频并输入至格式化模块,所述格式化模块将所述输入视频转换成预设格式后导出为第一视频;
帧拆分模块基于所述预设格式将所述第一视频拆分为若干静态帧后,按照时间顺序将所述若干个静态帧依次储存在内存中;
视觉识别模块依次对所述若干个静态帧进行处理,识别每一个静态帧中的目标对象的位置特征点和目标对象的方向特征点并将所述位置特征点和所述方向特征点记录在运动描述数据表中;
基于运动轨迹模拟模块以运动曲线拟合所述运动描述数据表中的位置特征点得到所述目标对象的运动轨迹;
结合目标对象的三维模型、运动轨迹以及所述运动描述数据表生成所述目标对象的数字运动模型。
可选的实施方式,帧拆分模块基于所述预设格式将所述第一视频拆分为若干静态帧后,按照时间顺序将所述若干个静态帧依次储存在内存中包括:
每一幅静态帧基于所述预设格式在所述内存中占用预设长度的内存空间,所述若干个静态帧所中任意两个相邻的静态帧之间的内存空间间隔相同;
指针初始状态下指向第一个静态帧的内存空间的头部内存地址,并基于指针变位模块定时将所述指针指向相当于当前指针所指向的静态帧的下一帧静态帧的头部内存地址;
所述指针变位模块基于可调定时器控制间歇性规律启动,所述指针变位模块启动的同时触发所述视觉识别模块在所述内存中读取一幅静态帧。
可选的实施方式,所述可调定时器的定时时间基于定时数据表确定;
所述定时数据表包括处理器的型号与对应的静态帧最慢处理时间;
基于实际所采用的处理器在所述定时数据表中检索得到相对应的静态帧最慢处理时间作为所述可调定时器的定时时间。
可选的实施方式,视觉识别模块依次对所述若干个静态帧进行处理,识别每一个静态帧中的目标对象的位置特征点和目标对象的方向特征点包括:
基于所述位置特征点的标定颜色识别所述位置特征点,并基于所述位置特征点记录模块记录所述位置特征点在对应的静态帧中的像素位置;
基于所述方向特征点的标定颜色识别所述方向特征点,并基于所述方向特征点记录模块记录所述位置特征点在对应的静态帧中的像素位置。
可选的实施方式,将所述位置特征点和所述方向特征点记录在运动描述数据表中包括:
将所述位置特征点的像素位置和所述方向特征点的像素位置记录在所述运动描述数据表中;
计算所述方向特征点相对于所述位置特征点的方位矢量并记录在所述运动描述数据表中。
可选的实施方式,所述基于视频特征点追踪的逆向方法还包括:
在所述内存中随机抽取若干幅静态帧,并分别提取每一幅静态帧中的基准特征点,所述基准特征点的数量大于或等于三个,且所述基准特征点不同在一条直线上;
基于所有基准特征点确定所述输入视频的拍摄角度与参考平面之间的校正参数;
将所述位置特征点和所述方向特征点记录在运动描述数据表中还包括:
基于所述校正参数将所述位置特征点的像素位置转化为绝对坐标;
基于所述校正参数将所述方位矢量转换为关于绝对坐标的相对矢量。
可选的实施方式,所述基于视频特征点追踪的逆向方法还包括:
接收输入的对象数量,并基于特征数量计数器记录所述对象数量;
在结合目标对象的三维模型、运动轨迹以及所述运动描述数据表生成所述目标对象的数字运动模型后,所述特征数量计数器的对象数量减一;
指针变位模块控制所述内存的指针指向复位;
跳转执行所述视觉识别模块依次对所述若干个静态帧进行处理以及后续步骤,直至特征数量计数器数量为零。
可选的实施方式,将所有目标对象的数字运动模型整合至同一模型空间中。
可选的实施方式,所述基于视频特征点追踪的逆向方法还包括:
接收测绘数据并生成静态空间图;
在所述静态空间图上构建所述数字运动模型。
相应的,本发明还提供了一种基于视频特征点追踪的逆向系统,用于实现任一项所述的基于视频特征点追踪的逆向方法。
本发明提供了一种基于视频特征点追踪的逆向方法及系统,通过少量的测绘工作,结合数字化处理技术,可较为简单的完成工厂实况的逆向数字化建模,具有良好的使用便利性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1示出了本发明实施例的基于视频特征点追踪的逆向系统的结构示意图;
图2示出了本发明实施例的基于视频特征点追踪的逆向方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
基本的,为了便于理解方案,首先对基于视频特征点追踪的逆向系统的其中一种实施结构进行说明,以供对照参考。
图1示出了本发明实施例的基于视频特征点追踪的逆向系统(后续简称为逆向系统)的结构示意图。具体的,该逆向系统的输入端口有两个,分别视频输入端口和特征对象数量输入端口,其中,视频输入端口用于输入在固定位置拍摄的视频,特征对象数量输入端口用于输入所需要进行识别特征(位置特征点和方向特征点)的对象数量。
具体的,逆向系统包括特征数量计数器,特征对象数量输入端口输入的对象数量数据改写特征数量计数器的储存数据。
具体的,逆向系统包括格式化模块,从视频输入端口的输入数据首先就要通过格式化模块进行格式化处理,以统一数据格式,便于后续处理。基本的,格式化模块的格式化处理是指将输入视频转换为预设格式的视频,格式化模块的功能为视频格式转换功能。基本的,格式化模块现将输入视频按照其当前视频格式进行解码后,然后再按照预设格式进行压缩,从而得到特定视频格式的输入视频。具体的,本发明由于只涉及视频图像处理,因此,通过对输入视频按照其当前格式进行解码后,消除其音轨数据后,再将其进行压缩,预设的格式为MOV、MPEG、AVI中的其中一种,视频分辨率为720P(1280×720),视频帧率为30FPS,采样率可根据格式需求进行合理设置;具体的,经过逆向系统格式化处理的视频为第一视频。
具体的,逆向系统还包括帧拆分模块,帧拆分模块用于将第一视频拆分为若干帧图像,具体的拆分手段需要基于格式化的视频格式决定。若第一视频为MPEG格式,由于MPEG视频流由三元组(P,S,N)标识,其中P是帧的位置,从0开始编号,S是帧的大小,N是流中有效帧(长度为0)的个数;格式化处理后得到的第一视频具有固定的视频帧率,通过对P的依序提取,可得到第一视频每一帧的内容。
具体的,逆向系统还包括内存,通过帧拆分模块所提取的第一视频的每一个静态帧按序储存在内存中。
具体的,逆向系统还包括指针变位模块,指针变位模块具体为一内存控制器,用于控制所述内存中的指针指向地址。
具体的,逆向系统还包括可调定时器,一般的指针变位模块是通过处理器进行控制的,在本发明实施例中,指针变位模块是通过可调定时器控制的,原因为:处理器是本套系统中费用占比最大的零部件,由于内存中所储存的每一个静态帧帧图像所占用的空间相同,内存指针的指针跳转是规律性的,通过可调定时器的定时触发可避免额外占用处理器资源进行内存指针控制。
具体的,可调定时器的定时时间可以由两种手段进行控制,一方面可是通过人工设定,另一方面是通过建立定时数据表进行确认。具体的,由于处理器后续需要对每一幅静态帧进行图像处理(执行相同的流程步骤),通过性能评估可预知其静态帧最慢处理时间,因此,通过建立处理器与静态帧最慢处理时间的对应关系(即定时数据表),当采用不同的处理器时,处理器在初始化设定时,通过定时数据表可直接确认可调定时器的触发间隔时间。
具体的,逆向系统还包括视觉识别模块,视觉识别模块按照预设的静态帧大小(内存地址长度)在内存中读取当前静态帧的数据并进行图像识别。具体的,由于指针变位模块的触发是由可调定时器控制的,相应的,可调定时器可相应的触发视觉识别模块的启动频率。
具体的,本发明实施例的视觉识别模块主要用于识别两个内容,其中一个内容为位置特征点,另外一个内容为方向特征点。具体的,由于存在特征对象数量的要求,为了准确识别位置特征点和方向特征点,每一个目标对象上的位置特征点和方向特征点分别用不同颜色标识,不同目标对象上所采用的颜色均布相同。即视觉识别模块的识别原理为识别特定色块的位置。具体的,可对每一个目标对象上的位置特征点和方向特征点的颜色进行预分配,在每一次的视觉识别模块的识别过程中,只对预设的属于统一目标对象的位置特征点和方向特征点的对应颜色的色块进行识别。
具体的,所预设的颜色与场地颜色、其余设备的颜色需要做出明显区分,从而使位置特征点和方向特征点可通过颜色进行前景提取。具体实施中,通过预设的两种颜色涂料或贴纸在目标对象表面的特定位置(摄像机在目标对象的运动全过程中均可拍摄到的位置)做出标记,由于标记具有特别的颜色特征,可在静态帧中基于颜色特征进行前景目标(位置特征点和方向特征点)的提取,具体的,常用的颜色模型有RGB、HSV、CMYK等,视觉识别模块可基于其中一种颜色模型并以特征点作为前景目标的颜色进行前景目标的提取。
具体的,由于涉及到两种特征点的提取(不同颜色的特征点提取),因此,本发明实施例的逆向系统分别通过位置特征点记录模块和方向特征点记录模块对两种特征点(位置特征点和方向特征点)进行记录;本质上,视觉识别模块在一个静态帧中需分别对两个颜色(预设)进行前景目标提取操作,然后提取的数据分别由位置特征点记录模块和方向特征点记录模块进行数据处理。
具体的,通过前景目标的提取(本质上为特定颜色阈值的二分处理方法),会得到前景目标的色块,一般的,色块的中央像素点用于标识色块的位置,即色块的中央像素点的位置信息(图像坐标)标识色块的位置;本发明实施例所记录的位置特征点和方向特征点的一次数据即为位置特征点和方向特征点的位置坐标(图像坐标并非实际坐标)。
此外,本发明实施例设置方向特征点(两个特征点)的目的在于,确定目标对象的自身朝向,以为后续的三维建模关于目标对象在运动轨迹上的自身姿态提供参照。具体的,通常还需要将方向特征点相对于位置特征点的矢量作为二次数据进行记录(也可以通过实时计算获取)。
相应的,逆向系统还包括运动描述数据表,位置特征点和方向特征点的位置坐标记录在运动描述数据表中;具体的,由于可调定时器的定时触发,运动描述数据表会不断的进行数据的记录,直至视觉识别模块无法再获取图像(指针指向非静态帧位置)。
需要说明的是,目前描述数据表所记录的数据为静态帧中的图像数据,由于拍摄输入视频的摄像设备与目标对象的运动平面是存在一定角度的(还受观察视角的影响),因此,为了后续的运动轨迹模拟的准确性,需要将特征点的像素位置转换为关于空间的绝对位置,因此,本发明实施例的逆向系统还包括基准特征点记录模块。
具体的,基准特征点记录模块用于获取三个或三个以上不在同一直线上的空间点,并以此为参考系与预设的空间平面坐标系进行比较,从而得到像素点的像素坐标与现实位置的绝对坐标的转换关系(即摄像设备所拍摄的输入视频的坐标系与实际空间坐标系两个坐标系之间的对应关系)。具体的,通过转换关系的介入,通过运动描述数据表的数据可重构出目标对象的空间运动情况。
相应的,由于运动描述记录表中的位置特征点为一系列的点数据,无法构建连续轨迹,因此,本发明实施例的逆向系统还包括运动轨迹模拟模块,运动轨迹模拟模块用于通过运动描述记录表中的位置特征点数据拟合出目标对象的运动轨迹(连续轨迹)。基本的,可采用两点连线的方式进行轨迹规划,具体实施中考虑到运动的平滑性,可视轨迹的弯角程度添加圆角进行过渡。经过运动轨迹模拟模块后,可得到目标对象的具体运动轨迹并写入至运动轨迹数据表中。
相应的,本发明实施例的逆向模块还包括数字化模拟模块,最终,结合校正参数获取模块所获取的转换关系、运动轨迹数据表关于目标对象的运动轨迹、运动描述数据表中的方向特征点数据、测绘所得到的目标对象的三维模型,可基于数字化模拟模块进行目标对象的运动数字化建模。
进一步的,考虑到有在一个输入视频中有多个目标对象,因此,本发明实施例还需要通过特征数量计数器的计数自减实现逻辑循环的目的,从而获得多个目标对象的运动数字化建模。
相应的,本发明实施例的逆向模块还包括运动综合模块,当所有目标对象的运动数字化建模完成后,运动综合模块将所有目标对象的运动数字化建模进行整合,将所有目标对象的运动数字化建模得到的模型整合在预设的实体空间内,从而完成工厂现况的逆向建模。
需要说明的是,逆向模块还核心的部件的处理器,处理器参与到各个模块之间的协调执行,同时,可调定时器的定时时间是基于处理器的型号进行控制的,而非处理器实时控制的;具体实施中,通过更换处理器,可很直接的对系统性能进行变化,且系统对文件的处理时间可很好的进行量化评估,这对于企业系统选型可提供很好的参考。
避免视图过于杂乱,附图图1中处理器与其他模块的连接关系并未用连接示出,可结合说明内容进行理解。
以上对逆向模块的其中一种实施方式进行说明,相应的,本实施例还提供了一种基于视频特征点追踪的逆向方法(后续简称为逆向方法),所述逆向方法包括:
S101:输入数据;
具体的,输入的数据内容包括输入视频和特征对象数量。
具体的,为了准确拍摄目标对象在场地的运行情况,摄像设备通常采用鸟瞰(或接近鸟瞰的角度)方式进行定点拍摄;需要在目标对象的可视表面根据预设的颜色做出位置特征点标记和方向特征点标记,同一个目标对象上的位置特征点标记和方向特征点标记是配套设置的;需要注意的是,目标对象在运动过程中,位置特征点标记和方向特征点标记需始终保持可视。
目标对象在摄像设备的拍摄下进行一次或多次完整轨迹的运动(或按工作流程运动,摄像设备持续进行拍摄),以供摄像设备获取输入视频,并根据目标对象的数量将输入视频和特征对象数量输入至逆向系统中。
S102:特征对象数量寄存在特征数量计数器中,输入视频传输至格式化模块;
所述特征数量计数器储存所述特征对象数量,所述输入视频经过格式化模块处理后,转换为预设格式并导出为第一视频。
S103:帧拆分模块对第一视频进行静态帧拆分并将静态帧按序储存在内存中;
在帧拆分模块中,通过预设格式的转换,帧拆分模块得到的第一视频的格式为可知的,帧拆分模块基于所述预设格式将所述第一视频拆分为若干静态帧后,按照时间顺序将所述若干个静态帧依次储存在内存中;需要说明的是,在储存在内存中后,在最后一个静态帧的尾部进行内存地址的结束标记,当指针跳转至结束标记的内存位置时,所读取到的数据为空数据。
具体的,每一幅静态帧基于所述预设格式在所述内存中占用预设长度的内存空间,所述若干个静态帧所中任意两个相邻的静态帧之间的内存空间间隔相同;通过该储存方式,指针变位模块每次运动相同的内存地址长度,即可跳转到下一幅静态帧。
指针初始状态下指向第一个静态帧的内存空间的头部内存地址,并基于指针变位模块定时将所述指针指向相当于当前指针所指向的静态帧的下一帧静态帧的头部内存地址。
所述指针变位模块基于可调定时器控制间歇性规律启动,所述指针变位模块启动的同时触发所述视觉识别模块在所述内存中读取一幅静态帧。
可选的,所述可调定时器的定时时间基于定时数据表确定;
所述定时数据表包括处理器的型号与对应的静态帧最慢处理时间;
基于实际所采用的处理器在所述定时数据表中检索得到相对应的静态帧最慢处理时间作为所述可调定时器的定时时间。
通过更换不同的处理器,可有效对整个系统的性能进行改变。
S104:视觉识别模块依次对所述若干个静态帧进行处理;
具体的,视觉识别模块的启动可同步基于可调定时器进行控制,处理器在舒适阶段对视觉识别模块进行启动后,后续视觉识别模块的触发完全依靠可调定时器进行触发,可进一步节省处理器资源。
处理的过程包括提取每一个静态帧中的目标对象的位置特征点和目标对象的方向特征点。
具体的,由于的位置特征点标记和方向特征点标记均采用特定的颜色进行标记,通过基于阈值法的前景图像提取的方式可很容易的将位置特征点标记和方向特征点标记进行提取,然后将位置特征点标记和方向特征点标记的中央像素点作为位置特征点和方向特征点。
具体的,基于所述位置特征点的标定颜色识别所述位置特征点,并基于所述位置特征点记录模块记录所述位置特征点在对应的静态帧中的像素位置;
基于所述方向特征点的标定颜色识别所述方向特征点,并基于所述方向特征点记录模块记录所述位置特征点在对应的静态帧中的像素位置。
位置特征点在图像中的像素坐标和方向特征点在图像中的像素坐标作为一次数据记录在运动描述数据表中。
进一步的,可计算所述方向特征点相对于所述位置特征点的方位矢量并记录在所述运动描述数据表中,从而获取目标对象在静态帧中的运动朝向。
S105:基于运动描述数据表的位置特征点数据得到所述目标对象的运动轨迹并记录在运动轨迹数据表中;
具体的,基于运动轨迹模拟模块以运动曲线拟合所述运动描述数据表中的位置特征点数据,从而得到所述目标对象的运动轨迹;具体的,运动曲线可根据目标对象的运动情况进行选择,如目标对象为运动小车,则运动曲线可取平滑曲线;如目标对象为机械臂,则运动曲线可直接对相邻两个位置特征点数据进行连线。
S106:结合目标对象的三维模型、运动轨迹以及所述运动描述数据表生成所述目标对象的数字运动模型;
具体的,由于摄像设备的拍摄角度限制(很难确保是完全垂直于地面角度进行拍摄)以及摄像设备自身的硬件限制(拍摄视频的近大远小效应所造成的畸变),因此,需要对拍摄视频进行一定的校正后,才能完全得到其实际空间运动情况。
具体的,在所述内存中随机抽取若干幅静态帧,并分别提取每一幅静态帧中的基准特征点,所述基准特征点的数量大于或等于三个,且所述基准特征点不同在一条直线上;
基于所有基准特征点确定所述输入视频的拍摄角度与参考平面之间的校正参数;
将所述位置特征点和所述方向特征点记录在运动描述数据表中还包括:
基于所述校正参数将所述位置特征点的像素位置转化为绝对坐标;
基于所述校正参数将所述方位矢量转换为关于绝对坐标的相对矢量。
通过该方式,可得到静态帧坐标系和实际坐标系之间的转换关系。
结合目标对象的三维模型、运动轨迹、所述运动描述数据表以及校正参数,可生成所述目标对象的数字运动模型。
具体的,所述目标对象的三维模型可通过测绘、向生产厂家索要图纸等方式获取,运动轨迹用于控制三维模型的运动路线,所述运动描述数据表的方向特征点(准确来讲为方向特征点相对于位置特征点的矢量)决定了三维模型的运动朝向,校正参数则用于将目标对象的上述数据转换为实体空间数据,从而完成目标对象的数字化模拟过程。
S107:所述特征数量计数器的对象数量减一并重复执行步骤S104至S106,直至特征数量计数器的对象数量为零;
在该步骤中,通过特征数量计数器的自减实现不同目标对象的数字化运动模型的提取。
具体的,在重复执行步骤S104至S106钱,首先,指针变位模块控制所述内存的指针指向复位。
S108:将所有目标对象的数字运动模型整合至同一模型空间中。
具体的,为了完全逆向构建工厂的实体环境,一般的,通过接收测绘数据并生成静态空间图;在所述静态空间图上构建所述数字运动模型,并在该步骤中在静态空间图的基础上将各个目标对象的数字化运动模型整合至静态空间图上,完成工厂实况的逆向建模。
综上,本发明实施例提供了一种基于视频特征点追踪的逆向方法及系统,通过少量的测绘工作,结合数字化处理技术,可较为简单的完成工厂实况的逆向数字化建模,具有良好的使用便利性。
以上对本发明实施例所提供的一种基于视频特征点追踪的逆向方法及系统进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于视频特征点追踪的逆向方法,其特征在于,包括以下步骤:
接收输入视频并输入至格式化模块,所述格式化模块将所述输入视频转换成预设格式后导出为第一视频;
帧拆分模块基于所述预设格式将所述第一视频拆分为若干静态帧后,按照时间顺序将所述若干个静态帧依次储存在内存中;
视觉识别模块依次对所述若干个静态帧进行处理,识别每一个静态帧中的目标对象的位置特征点和目标对象的方向特征点并将所述位置特征点和所述方向特征点记录在运动描述数据表中;
基于运动轨迹模拟模块以运动曲线拟合所述运动描述数据表中的位置特征点得到所述目标对象的运动轨迹;
结合目标对象的三维模型、运动轨迹以及所述运动描述数据表生成所述目标对象的数字运动模型。
2.如权利要求1所述的基于视频特征点追踪的逆向方法,其特征在于,帧拆分模块基于所述预设格式将所述第一视频拆分为若干静态帧后,按照时间顺序将所述若干个静态帧依次储存在内存中包括:
每一幅静态帧基于所述预设格式在所述内存中占用预设长度的内存空间,所述若干个静态帧所中任意两个相邻的静态帧之间的内存空间间隔相同;
指针初始状态下指向第一个静态帧的内存空间的头部内存地址,并基于指针变位模块定时将所述指针指向相当于当前指针所指向的静态帧的下一帧静态帧的头部内存地址;
所述指针变位模块基于可调定时器控制间歇性规律启动,所述指针变位模块启动的同时触发所述视觉识别模块在所述内存中读取一幅静态帧。
3.如权利要求2所述的基于视频特征点追踪的逆向方法,其特征在于,所述可调定时器的定时时间基于定时数据表确定;
所述定时数据表包括处理器的型号与对应的静态帧最慢处理时间;
基于实际所采用的处理器在所述定时数据表中检索得到相对应的静态帧最慢处理时间作为所述可调定时器的定时时间。
4.如权利要求1所述的基于视频特征点追踪的逆向方法,其特征在于,视觉识别模块依次对所述若干个静态帧进行处理,识别每一个静态帧中的目标对象的位置特征点和目标对象的方向特征点包括:
基于所述位置特征点的标定颜色识别所述位置特征点,并基于所述位置特征点记录模块记录所述位置特征点在对应的静态帧中的像素位置;
基于所述方向特征点的标定颜色识别所述方向特征点,并基于所述方向特征点记录模块记录所述位置特征点在对应的静态帧中的像素位置。
5.如权利要求4所述的基于视频特征点追踪的逆向方法,其特征在于,将所述位置特征点和所述方向特征点记录在运动描述数据表中包括:
将所述位置特征点的像素位置和所述方向特征点的像素位置记录在所述运动描述数据表中;
计算所述方向特征点相对于所述位置特征点的方位矢量并记录在所述运动描述数据表中。
6.如权利要求5所述的基于视频特征点追踪的逆向方法,其特征在于,所述基于视频特征点追踪的逆向方法还包括:
在所述内存中随机抽取若干幅静态帧,并分别提取每一幅静态帧中的基准特征点,所述基准特征点的数量大于或等于三个,且所述基准特征点不同在一条直线上;
基于所有基准特征点确定所述输入视频的拍摄角度与参考平面之间的校正参数;
将所述位置特征点和所述方向特征点记录在运动描述数据表中还包括:
基于所述校正参数将所述位置特征点的像素位置转化为绝对坐标;
基于所述校正参数将所述方位矢量转换为关于绝对坐标的相对矢量。
7.如权利要求1所述的基于视频特征点追踪的逆向方法,其特征在于,所述基于视频特征点追踪的逆向方法还包括:
接收输入的对象数量,并基于特征数量计数器记录所述对象数量;
在结合目标对象的三维模型、运动轨迹以及所述运动描述数据表生成所述目标对象的数字运动模型后,所述特征数量计数器的对象数量减一;
指针变位模块控制所述内存的指针指向复位;
跳转执行所述视觉识别模块依次对所述若干个静态帧进行处理以及后续步骤,直至特征数量计数器数量为零。
8.如权利要求7所述的基于视频特征点追踪的逆向方法,其特征在于,将所有目标对象的数字运动模型整合至同一模型空间中。
9.如权利要求1至8任一项所述的基于视频特征点追踪的逆向方法,其特征在于,还包括:
接收测绘数据并生成静态空间图;
在所述静态空间图上构建所述数字运动模型。
10.一种基于视频特征点追踪的逆向系统,其特征在于,用于实现权利要求1至9任一项所述的基于视频特征点追踪的逆向方法。
CN202010693549.9A 2020-07-17 2020-07-17 一种基于视频特征点追踪的逆向方法及系统 Active CN111797808B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010693549.9A CN111797808B (zh) 2020-07-17 2020-07-17 一种基于视频特征点追踪的逆向方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010693549.9A CN111797808B (zh) 2020-07-17 2020-07-17 一种基于视频特征点追踪的逆向方法及系统

Publications (2)

Publication Number Publication Date
CN111797808A true CN111797808A (zh) 2020-10-20
CN111797808B CN111797808B (zh) 2023-07-21

Family

ID=72807751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010693549.9A Active CN111797808B (zh) 2020-07-17 2020-07-17 一种基于视频特征点追踪的逆向方法及系统

Country Status (1)

Country Link
CN (1) CN111797808B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484883A (zh) * 2014-12-24 2015-04-01 河海大学常州校区 基于视频的三维虚拟船舶定位及其轨迹模拟方法
CN108566513A (zh) * 2018-03-28 2018-09-21 深圳臻迪信息技术有限公司 一种无人机对运动目标的拍摄方法
CN108846864A (zh) * 2018-05-29 2018-11-20 珠海全志科技股份有限公司 一种运动物体的位置捕捉系统、方法及装置
CN109801374A (zh) * 2019-01-14 2019-05-24 盾钰(上海)互联网科技有限公司 一种通过多角度图像集重构三维模型的方法、介质及系统
CN109816784A (zh) * 2019-02-25 2019-05-28 盾钰(上海)互联网科技有限公司 三维重构人体的方法和系统及介质
CN110111338A (zh) * 2019-04-24 2019-08-09 广东技术师范大学 一种基于超像素时空显著性分割的视觉跟踪方法
CN110874864A (zh) * 2019-10-25 2020-03-10 深圳奥比中光科技有限公司 获取对象三维模型的方法、装置、电子设备及系统
CN110930442A (zh) * 2019-11-26 2020-03-27 广东技术师范大学 基于标定块的机器人手眼标定中关键点位置确定方法与装置
CN111288891A (zh) * 2020-02-11 2020-06-16 广东博智林机器人有限公司 非接触式三维测量定位系统、方法及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484883A (zh) * 2014-12-24 2015-04-01 河海大学常州校区 基于视频的三维虚拟船舶定位及其轨迹模拟方法
CN108566513A (zh) * 2018-03-28 2018-09-21 深圳臻迪信息技术有限公司 一种无人机对运动目标的拍摄方法
CN108846864A (zh) * 2018-05-29 2018-11-20 珠海全志科技股份有限公司 一种运动物体的位置捕捉系统、方法及装置
CN109801374A (zh) * 2019-01-14 2019-05-24 盾钰(上海)互联网科技有限公司 一种通过多角度图像集重构三维模型的方法、介质及系统
CN109816784A (zh) * 2019-02-25 2019-05-28 盾钰(上海)互联网科技有限公司 三维重构人体的方法和系统及介质
CN110111338A (zh) * 2019-04-24 2019-08-09 广东技术师范大学 一种基于超像素时空显著性分割的视觉跟踪方法
CN110874864A (zh) * 2019-10-25 2020-03-10 深圳奥比中光科技有限公司 获取对象三维模型的方法、装置、电子设备及系统
CN110930442A (zh) * 2019-11-26 2020-03-27 广东技术师范大学 基于标定块的机器人手眼标定中关键点位置确定方法与装置
CN111288891A (zh) * 2020-02-11 2020-06-16 广东博智林机器人有限公司 非接触式三维测量定位系统、方法及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘一凡;蔡振江;: "基于ICP与SFM的双目立体视觉三维重构算法", 激光与光电子学进展 *
蔡勇;秦现生;张雪峰;张培培;单宁;: "参数化轨迹导引三维扫描与点云对齐研究", 制造业自动化 *
赵高鹏;薄煜明;陈益;: "一种基于特征匹配的目标识别跟踪方法", 火炮发射与控制学报 *

Also Published As

Publication number Publication date
CN111797808B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN108986161B (zh) 一种三维空间坐标估计方法、装置、终端和存储介质
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
US11145130B2 (en) Method for automatically capturing data from non-networked production equipment
CN110910460B (zh) 一种获取位置信息的方法、装置及标定设备
US9953225B2 (en) Image processing apparatus and image processing method
CN108839016B (zh) 机器人巡检方法、存储介质、计算机设备及巡检机器人
CN106959691A (zh) 可移动电子设备和即时定位与地图构建方法
WO2014172484A1 (en) Handheld portable optical scanner and method of using
CN110361005B (zh) 定位方法、定位装置、可读存储介质及电子设备
CN108616718B (zh) 监控显示方法、装置及系统
CN110634138A (zh) 一种基于视觉感知的桥梁变形的监测方法、装置及设备
CN115222920B (zh) 基于图像的数字孪生时空知识图谱构建方法和装置
CN111047622B (zh) 视频中对象的匹配方法和装置、存储介质及电子装置
CN115376034A (zh) 一种基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法及装置
CN102542569A (zh) 一种快速图像配准及其标定方法及实现其的系统
KR20200076267A (ko) 골격의 길이 정보를 이용한 제스쳐 인식 방법 및 처리 시스템
US20240029372A1 (en) Method for automatically capturing data from non-networked production equipment
CN114202819A (zh) 一种基于机器人的变电站巡检方法、系统及计算机
CN107507133B (zh) 一种基于圆管作业机器人的实时图像拼接方法
CN115131407B (zh) 面向数字仿真环境的机器人目标跟踪方法、装置和设备
CN111797808A (zh) 一种基于视频特征点追踪的逆向方法及系统
CN113938674A (zh) 视频质量检测方法、装置、电子设备及可读存储介质
CN113887384A (zh) 基于多轨迹融合的行人轨迹分析方法、装置、设备及介质
KR101984070B1 (ko) 지능형 스테레오 영상 기반 시설물 진동 감시 방법
CN114693749A (zh) 一种用于关联不同的物理坐标系的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant