CN109936703A - 对单目相机拍摄的视频进行重构的方法和装置 - Google Patents
对单目相机拍摄的视频进行重构的方法和装置 Download PDFInfo
- Publication number
- CN109936703A CN109936703A CN201910143510.7A CN201910143510A CN109936703A CN 109936703 A CN109936703 A CN 109936703A CN 201910143510 A CN201910143510 A CN 201910143510A CN 109936703 A CN109936703 A CN 109936703A
- Authority
- CN
- China
- Prior art keywords
- mobile object
- video
- rectangular area
- frame
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 239000000284 extract Substances 0.000 claims abstract description 9
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供一种对视频进行重构的方法和装置。该方法包括：步骤一：获取所述视频的第i帧中的移动对象m所在的矩形区域si,m，生成对于移动对象m的矩形区域si,m与帧数i的映射的集合Sm={si,m}，其中，m为大于0且小于等于待检测的移动对象的总数，i为大于0且小于等于所述视频的帧数，所述矩形区域si,m是逼近包括移动对象m在第i帧中所占据的所有像素的矩形区域；步骤二：解析所述集合Sm，以生成移动对象m的移动轨迹；步骤三：至少部分地基于所述移动轨迹，提取移动对象m在第i帧中的子图像f，以形成关于移动对象m的子图像集合Fm={fi,m}；步骤四：至少部分地基于集合Fm={fi,m}，合成移动对象m的视频。
Description
技术领域
本公开涉及一种对单目相机拍摄的视频进行重构的方法和装置。
背景技术
目前，视频拍摄已经非常普遍。
针对移动物体的跟踪拍摄，通常采用人工手动跟踪拍摄。这种拍摄方式，不仅要求跟拍人员在拍摄过程实时地与移动对象的平行移动，还要求手持相机的跟踪人员在拍摄过程中保持相机的稳定。对跟拍人员的要求较高。
而常规固定机位的单目相机只能拍摄固定场景产出一段完整的静态视频。由于该单目相机在拍摄时不能移动，因此所拍摄的视频的背景不会变化。当有待捕捉的移动对象在镜头中出现时，无法动态地根据捕捉对象的移动来调整拍摄角度和焦距，因此无法为相应的物体或人物提供与之相适应的背景。
发明内容
技术问题
根据现有技术，存在不可根据视频拍摄期间的移动对象自适应的调节拍摄角度和焦距的技术问题。
鉴于以上，本公开通过利用对原始视频进行解析，以从中生成模拟人手动跟拍移动对象的视频。通过对单目相机所拍摄的视频进行深度解析和重构，提供一种对单目相机拍摄的视频进行重构的方法和装置。
技术方案
根据本公开的至少一个实施例提供了一种对视频进行重构的方法，方法包括：步骤一：获取视频的第i帧中的移动对象m所在的矩形区域si,m，生成对于移动对象m的矩形区域si,m与帧数i的映射的集合Sm={si,m}，其中，m为大于0且小于等于待检测的移动对象的总数，i为大于0且小于等于视频的帧数，矩形区域si,m是逼近包括移动对象m在第i帧中所占据的所有像素的矩形区域；步骤二：解析集合Sm，以生成移动对象m的移动轨迹；步骤三：至少部分地基于移动轨迹，提取移动对象m在第i帧中的子图像f，以形成关于移动对象m的子图像集合Fm={fi,m}；步骤四：至少部分地基于集合Fm={fi,m}，合成移动对象m的视频。
例如，在至少一个实施例中，步骤一包括：第一获取子步骤：利用经深度学习算法训练的神经网络模型检测移动对象m在第i帧中所在的矩形区域；第二获取子步骤：以视频的中点为坐标中心（0，0），获取矩形区域si,m左上角坐标（xi,m，yi,m），以及矩形区域si,m的宽度li,m和高度hi,m，从而将矩形区域si,m表示为si,m={（xi,m，yi,m）,li,m,hi,m}。
例如，在至少一个实施例中，步骤二包括：通过以下子步骤中的一个或多个子步骤来获取一个或多个匹配似然度集合Dm：通过跟踪匹配子步骤来获取跟踪匹配似然度集合D1m={d1i,m}；通过先验匹配子步骤来获取先验匹配似然度集合D2m={d2i,m}；通过邻接匹配子步骤来获取邻接匹配似然度集合D3m={d3i,m}；其中，匹配似然度集合Dm为集合{D1m,D2m,D3m}的子集；至少部分地基于匹配似然度集合Dm来解析Sm，以生成移动对象m的移动轨迹。
例如，在至少一个实施例中，跟踪匹配子步骤包括：第一跟踪匹配子步骤：将已知标准矩形区域s’m与si,m进行比较，以获取第i帧中的移动对象m的矩形区域相比于移动对象的标准图像的矩形区域的重合度ki,m，其中，已知标准矩形区域s’m是包括移动对象m的特定矩形区域；第二跟踪匹配子步骤：提取在第i帧中移动对象m在矩形区域si,m中的特征点featuresi,m，以生成集合Features={featuresi,m}；第三跟踪匹配子步骤：将移动对象m在已知标准矩形区域s’m的已知标准特征点featuresm’与featuresi,m进行比较，以获取第i帧中的移动对象m的图像相比于移动对象的标准图像的跟踪匹配似然度d1i,m，以生成跟踪匹配似然度集合D1i,m={d1i,m}；第四跟踪匹配子步骤：响应于重合度ki,m大于第一阈值并且似然度di,m大于第二阈值，更新标准矩形区域s’m中关于移动对象m的部分数据。
例如，在至少一个实施例中，先验匹配子步骤包括：第一先验匹配子步骤：获取移动对象m从第i-1帧的所在的位置在一帧的时间内能够移动的最大位移矢量vmaxi-1，m；第二先验匹配子步骤：获取移动对象m从第i-1帧的矩形区域的尺寸能够变化的最大缩放比例Rmaxi-1，m；第三先验匹配子步骤：将移动对象m在第i帧中的矩形区域si,m={（xi,m，yi,m）,li,m,hi,m}与先验估计矩形区域smaxi,m={（xi-1,m，yi-1,m）+vmaxi-1，m,li,m*Rmaxi-1，m,hi,m*Rmaxi-1，m}相比较，以获取第i帧中的移动对象m的图像的先验匹配似然度d2i,m，以生成先验匹配似然度集合D2i,m={d2i,m}。
例如，在至少一个实施例中，邻接匹配子步骤包括：第一邻接匹配子步骤：获取移动对象m在第i-1帧的矩形区域si-1,m；第二邻接匹配子步骤：将矩形区域si,m与矩形区域si-1,m相比较，以获取第i帧中的移动对象m的图像的邻接匹配似然度d3i,m，以生成邻接匹配似然度集合D3i,m={d3i,m}。
例如，在至少一个实施例中，至少部分地基于匹配似然度集合Dm来解析Sm包括：将匹配似然度集合Dm中的一个或多个元素进行加权平均以获取修正矢量，通过修正矢量以对Sm进行修正以获取移动对象m的移动轨迹。
例如，在至少一个实施例中，生成移动对象m的移动轨迹还包括：将移动对象m的移动轨迹通过神经网络进行拟合，以形成移动对象m的平滑的移动轨迹。
例如，在至少一个实施例中，对移动对象m的移动轨迹进行平滑处理包括：将移动对象m的移动轨迹通过低通滤波器进行平滑处理，以形成移动对象m的平滑的移动轨迹。
根据本公开的至少一个实施例提供了一种对视频进行重构的装置，装置包括：获取模块：获取视频的第i帧中的移动对象m所在的矩形区域si,m，生成对于移动对象m的矩形区域si,m与帧数i的映射的集合Sm={si,m}，其中，m为大于0且小于等于待检测的移动对象的总数，i为大于0且小于等于视频的帧数，矩形区域si,m是在第i帧中能够包括移动对象m所占据的所有像素的最小区域；解析模块：解析集合Sm，以生成移动对象m的移动轨迹；子图像生成模块：至少部分地基于移动轨迹，提取移动对象m在第i帧中的子图像f，以形成关于移动对象m的子图像集合Fm={fi,m}；视频生成模块：至少部分地基于集合Fm={fi,m}，合成移动对象m的视频。
发明的有益效果
通过本公开的对视频进行重构的方法可以生成一段以移动对象为中心的，背景跟随移动对象移动、背景跳变和移动对象移动平滑的动态视频，本技术的主要目的是通过算法模拟人手动跟拍运动目标，从而开发一个固定单目枪机替代人工手动跟拍的智能装置。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的描述中所需要使用的附图作简单的介绍。下面描述中的附图仅仅是本公开的示例性实施例。
图1是示出根据本公开的一些实施例的对视频进行重构的方法的流程图。
图2是示出根据本公开的一些实施例的对视频进行重构的方法的获取步骤的示意图。
图3是示出根据本公开的一些实施例的对视频进行重构的方法的获取步骤的流程图。
图4是示出根据本公开的一些实施例的对视频进行重构的方法的解析步骤的示意图。
图5是示出根据本公开的一些实施例的对视频进行重构的方法的解析步骤的流程图。
图6是示出根据本公开的一些实施例的对视频进行重构的方法的解析子步骤的流程图。
图7是示出根据本公开的一些实施例的对视频进行重构的方法的解析子步骤的另一流程图。
图8是示出根据本公开的一些实施例的对视频进行重构的方法的解析子步骤的又一流程图。
图9是示出根据本公开的一些实施例的对视频进行重构的装置的示意图。
具体实施方式
为了使得本公开的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。基于本公开中描述的本公开实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本公开的保护范围之内。
需要注意的是，在本说明书和附图中，具有基本上相同步骤和元素用相同的附图标记来表示，且对这些步骤和元素的重复描述将被省略。
常规固定机位的单目相机只能针对固定场景产出一段完整的静态视频。由于该单目相机在拍摄时不能移动，因此所拍摄的视频的背景不会变化。当有待捕捉的移动对象在镜头中出现时，无法动态地根据捕捉对象的移动来调整拍摄角度和焦距，因此无法为相应的物体或人物提供与之相适应的背景。因此需要对单目相机拍摄的视频进行解析，从而获取各个移动对象需要的视频。
为此，本申请的一些实施例提出了一种对视频进行重构的方法。通过从单目相机拍摄的视频中解析与一个或多个移动对象有关的信息，从而，合成一个针对一个或多个移动对象单独的视频。
下面参考图1进一步描述对视频进行重构的一些实施例。
图1是示出根据本公开的一些实施例的对视频进行重构的方法的流程图。
参考图1，根据本公开的一些实施例的对视频进行重构的方法可以包括：
步骤一：获取视频的第i帧中的移动对象m所在的矩形区域si,m，生成对于移动对象m的矩形区域si,m与帧数i的映射的集合Sm={si,m}，其中，m为大于0且小于等于待检测的移动对象的总数，i为大于0且小于等于视频的帧数，矩形区域si,m是逼近包括移动对象m在第i帧中所占据的所有像素的矩形区域；
步骤二：解析集合Sm，以生成移动对象m的移动轨迹；
步骤三：至少部分地基于移动轨迹，提取移动对象m在第i帧中的子图像f，以形成关于移动对象m的子图像集合Fm={fi,m}；
步骤四：至少部分地基于集合Fm={fi,m}，合成移动对象m的视频。
下面参考图2和图3进一步描述图1中步骤一（获取步骤）的一些实施例。其中，图2是示出根据本公开的一些实施例的对视频进行重构的方法的获取步骤的示意图，而图3是示出根据本公开的一些实施例的对视频进行重构的方法的获取步骤的流程图。
参考图2，假设移动对象m出现在视频中的第i帧中。为了捕获该移动对象，可以使用一个如图2所示的一个矩形区域来捕获该移动对象。以该视频帧的中心为坐标中心，这个矩形区域可以表示为si,m={（xi,m，yi,m）,li,m,hi,m}。其中，矩形区域si,m的左上角坐标为（xi,m，yi,m），矩形区域si,m的宽度为li,m和矩形区域si,m的高度为hi,m。该矩形区域可以包括移动对象m在第i帧中所占据的所有像素。本公开还利用一种或多种方法使得该矩形区域的面积最小，从而提高识别的精确度。由此，该矩形区域是逼近包括移动对象m在第i帧中所占据的所有像素的矩形区域。
可以使用多种方法获取该矩形区域。例如，可以通过faster-rcnn方法来捕获该矩形区域。faster-rcnn方法将图像输入至堆叠的卷积层，从而可以输出检测专用特征。再将该特征输入至rpn层，以获取目标可以的位置和在该位置的概率，筛选出来的一个或多个候选矩形区域。通过一个更精确的位置回归和分类神经网络从一个或多个候选矩形区域选出能够精确覆盖该移动对象的目标矩形区域。
参考图3，在至少一个实施例中，图1中的步骤一（获取步骤）可以包括：
第一获取子步骤：利用经深度学习算法训练的神经网络模型检测移动对象m在第i帧中所在的矩形区域；
第二获取子步骤：以视频的中点为坐标中心（0，0），获取矩形区域si,m左上角坐标（xi,m，yi,m），以及矩形区域si,m的宽度li,m和高度hi,m，从而将矩形区域si,m表示为si,m={（xi,m，yi,m）,li,m,hi,m}。
下面参考图4和图5进一步描述图1中步骤二（解析步骤）的一些实施例。其中，图4是示出根据本公开的一些实施例的对视频进行重构的方法的解析步骤的示意图，而图5是示出根据本公开的一些实施例的对视频进行重构的方法的解析步骤的流程图。
参考图4，假设移动对象m出现在视频中的第i-1帧、第i帧和第i+1帧中。可以看出移动对象m在不同帧所处于的位置不同。为此在获取矩形区域si-1,m、si,m和si+1,m后，还需对其进行解析，以确定是否精确地捕捉到了该移动对象。同时移动对象在每一个帧的处于位置可以变化很大，如果直接选取这三帧中的移动对象的区域作为下一步骤的子图像，则视频可能在这三帧产生图像的跳变。为此需要根据Sm={si,m}获取如图4所示移动轨迹，以保证视频画面的连贯性。
参考图5，在至少一个实施例中，图1中的步骤二（解析步骤）可以包括：
通过以下子步骤中的一个或多个子步骤来获取一个或多个匹配似然度集合Dm：
通过跟踪匹配子步骤来获取跟踪匹配似然度集合D1m={d1i,m}；
通过先验匹配子步骤来获取先验匹配似然度集合D2m={d2i,m}；
通过邻接匹配子步骤来获取邻接匹配似然度集合D3m={d3i,m}；
其中，匹配似然度集合Dm为集合{D1m,D2m,D3m}的子集；
至少部分地基于匹配似然度集合Dm来解析Sm，以生成移动对象m的移动轨迹。
跟踪匹配似然度集合D1m、先验匹配似然度集合D2m和邻接匹配似然度集合D3m是用于衡量是否精确匹配移动对象以及两帧图像是否会产生跳变的多个参数之一。利用上述三个参数可以深度解析Sm，以确定移动对象m的移动轨迹。
以下参考图6、图7和图8来详细描述这三个参数的生成方式。
图6是示出根据本公开的一些实施例的对视频进行重构的方法的解析子步骤的流程图。
例如，参考图6，图5中的跟踪匹配子步骤可以包括：
第一跟踪匹配子步骤：将已知标准矩形区域s’m与si,m进行比较，以获取第i帧中的移动对象m的矩形区域相比于移动对象的标准图像的矩形区域的重合度ki,m，其中，已知标准矩形区域s’m是包括移动对象m的特定矩形区域；
第二跟踪匹配子步骤：提取在第i帧中移动对象m在矩形区域si,m中的特征点featuresi,m，以生成集合Features={featuresi,m}；
第三跟踪匹配子步骤：将移动对象m在已知标准矩形区域s’m的已知标准特征点featuresm’与featuresi,m进行比较，以获取第i帧中的移动对象m的图像相比于移动对象的标准图像的跟踪匹配似然度d1i,m，以生成跟踪匹配似然度集合D1i,m={d1i,m}；
第四跟踪匹配子步骤：响应于重合度ki,m大于第一阈值并且似然度di,m大于第二阈值，更新标准矩形区域s’m中关于移动对象m的部分数据。
其中，第四跟踪匹配子步骤第一阈值可以为0.5，而第二阈值可以为0.2。
第二跟踪子步骤中获取移动对象m在矩形区域si,m中的特征点featuresi,m的方法可以为多种。比如，如果移动对象m是人，则可以使用行人重识别（peron-reid）方法来跟踪。而如果移动对象m是其它移动目标，比如车辆，则可以通过提取颜色和纹理特征来进行跟踪。
通常，在跟踪之前，可以获知移动对象m的一些基本特征。比如对移动对象进行拍照，或者在视频中的某一帧中选取可以包括该移动对象所在区域的矩形区域。然而移动对象在每一帧的形态是可以变化的，比如行人可能有面对镜头和侧对镜头的情况，因此需要更新进行跟踪匹配的标准矩形区域s’m中的信息，从而便于更好跟踪该移动对象。跟踪匹配似然度集合D1i,m={d1i,m}可以从特征识别的角度确定是否精确匹配移动对象的概率。
图7是示出根据本公开的一些实施例的对视频进行重构的方法的解析子步骤的另一流程图。
例如，参考图7，图5中的先验匹配子步骤可以包括：
第一先验匹配子步骤：获取移动对象m从第i-1帧的所在的位置在一帧的时间内能够移动的最大位移矢量vmaxi-1，m；
第二先验匹配子步骤：获取移动对象m从第i-1帧的矩形区域的尺寸能够变化的最大缩放比例Rmaxi-1，m；
第三先验匹配子步骤：将移动对象m在第i帧中的矩形区域si,m={（xi,m，yi,m）,li,m,hi,m}与先验估计矩形区域smaxi,m={（xi-1,m，yi-1,m）+vmaxi-1，m,li,m*Rmaxi-1，m,hi,m*Rmaxi-1，m}相比较，以获取第i帧中的移动对象m的图像的先验匹配似然度d2i,m，以生成先验匹配似然度集合D2i,m={d2i,m}。
对于不同的移动对象，可以获知该对象在一帧时间内的最大移动速度。比如，在一帧时间内，车辆的移动距离可以远远大于行人的移动距离。因此，可以通过预估的该对象在一帧的时间内能够移动的最大位移矢量vmaxi-1，m来确认被识别出的对象是否为应识别的对象。先验匹配似然度集合D2i,m={d2i,m}可以用于确定是否精确匹配该移动对象的概率。
图8是示出根据本公开的一些实施例的对视频进行重构的方法的解析子步骤的又一流程图。
例如，参考图8，图5中的邻接匹配子步骤可以包括：
第一邻接匹配子步骤：获取移动对象m在第i-1帧的矩形区域si-1,m；
第二邻接匹配子步骤：将矩形区域si,m与矩形区域si-1,m相比较，以获取第i帧中的移动对象m的图像的邻接匹配似然度d3i,m，以生成邻接匹配似然度集合D3i,m={d3i,m}。
通常而言，对于同一移动对象而言，在一帧时间内的变化不会太大。因此，可以通过将对象在当前帧的矩形区域与前一帧的矩形区域进行比较，以获取邻接匹配似然度集合D3i,m={d3i,m}。邻接匹配似然度集合D3i,m={d3i,m}可以用于确定两帧图像是否会跳变的概率。
匹配似然度集合Dm为集合{D1m,D2m,D3m}的子集。也就是说，本公开并不限制使用上述的所有三个参数，仅使用其中一个或多个参数以对集合Sm={si,m}进行解析也是可以的。
例如，在至少一个实施例中，至少部分地基于匹配似然度集合Dm，可以解析Sm。例如，将匹配似然度集合Dm中的一个或多个元素进行加权平均以获取修正矢量，通过修正矢量以对Sm进行修正以获取移动对象m的移动轨迹。
此外，通过上述步骤产生的移动对象m的移动轨迹也可能不够平滑，从而获取的视频的画面不够连贯。为解决该问题，还可以对上述步骤产生的移动对象m的移动轨迹进行进一步处理。
例如，在至少一个实施例中，生成移动对象m的移动轨迹还包括：将移动对象m的移动轨迹通过神经网络进行拟合，以形成移动对象m的平滑的移动轨迹。
例如，在至少一个实施例中，对移动对象m的移动轨迹进行平滑处理包括：将移动对象m的移动轨迹通过低通滤波器进行平滑处理，以形成移动对象m的平滑的移动轨迹。
现通过图9进一步描述根据本公开的实施例的对视频进行重构的装置。
参考图9，根据本公开的至少一个实施例的对视频进行重构的装置可以包括：
获取模块：获取视频的第i帧中的移动对象m所在的矩形区域si,m，生成对于移动对象m的矩形区域si,m与帧数i的映射的集合Sm={si,m}，其中，m为大于0且小于等于待检测的移动对象的总数，i为大于0且小于等于视频的帧数，矩形区域si,m是在第i帧中能够包括移动对象m所占据的所有像素的最小区域；
解析模块：解析集合Sm，以生成移动对象m的移动轨迹；
子图像生成模块：至少部分地基于移动轨迹，提取移动对象m在第i帧中的子图像f，以形成关于移动对象m的子图像集合Fm={fi,m}；
视频生成模块：至少部分地基于集合Fm={fi,m}，合成移动对象m的视频。
上述获取模块、解析模块、子图像生成模块和子图像生成模块可以通过软件、硬件和固件或任意组合实现，本公开其他实施例的方法步骤也可以相同地通过软件、硬件和固件或任意组合实现。
本公开提供的装置可以包括但不限于计算机、远程服务器、工作站等。需要说明的是，为表示清楚，并没有给出该装置的全部结构。为实现该装置的必要功能，本领域技术人员可以根据具体应用场景进行设置其他未示出的结构，本发明对此不做限制。
一般而言，本公开的各种示例实施例可以在硬件或专用电路、软件、固件、逻辑，或其任何组合中实施。某些方面可以在硬件中实施，而其他方面可以在可以由控制器、微处理器或其他计算设备执行的固件或软件中实施。当本公开的实施例的各方面被图示或描述为框图、流程图或使用某些其他图形表示时，将理解此处描述的方框、装置、系统、技术或方法可以作为非限制性的示例在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备，或其某些组合中实施。
虽然已经参考其示例性实施例具体地示出和描述了本公开的构思，本领域普通技术人员将理解，在不脱离由权利要求定义的本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。因此期望本实施例在所有方面被认为是说明性的而不是限制性的，对所附权利要求而不是前述描述进行参考以指示所要求保护的本专利的范围。
Claims (10)
1.一种对视频进行重构的方法，所述方法包括：
步骤一：获取所述视频的第i帧中的移动对象m所在的矩形区域si,m，生成对于移动对象m的矩形区域si,m与帧数i的映射的集合Sm={si,m}，其中，m为大于0且小于等于待检测的移动对象的总数，i为大于0且小于等于所述视频的帧数，所述矩形区域si,m是逼近包括移动对象m在第i帧中所占据的所有像素的矩形区域；
步骤二：解析所述集合Sm，以生成移动对象m的移动轨迹；
步骤三：至少部分地基于所述移动轨迹，提取移动对象m在第i帧中的子图像f，以形成关于移动对象m的子图像集合Fm={fi,m}；
步骤四：至少部分地基于集合Fm={fi,m}，合成移动对象m的视频。
2.如权利要求1所述的对视频进行重构的方法，所述步骤一包括：
第一获取子步骤：利用经深度学习算法训练的神经网络模型检测移动对象m在第i帧中所在的矩形区域；
第二获取子步骤：以所述视频的中点为坐标中心（0，0），获取所述矩形区域si,m左上角坐标（xi,m，yi,m），以及所述矩形区域si,m的宽度li,m和高度hi,m，从而将所述矩形区域si,m表示为si,m={（xi,m，yi,m）,li,m,hi,m}。
3.如权利要求1所述的对视频进行重构的方法，所述步骤二包括：
通过以下子步骤中的一个或多个子步骤来获取一个或多个匹配似然度集合Dm：
通过跟踪匹配子步骤来获取跟踪匹配似然度集合D1m={d1i,m}；
通过先验匹配子步骤来获取先验匹配似然度集合D2m={d2i,m}；
通过邻接匹配子步骤来获取邻接匹配似然度集合D3m={d3i,m}；
其中，匹配似然度集合Dm为集合{D1m,D2m,D3m}的子集；
至少部分地基于匹配似然度集合Dm来解析Sm，以生成移动对象m的移动轨迹。
4.如权利要求3所述的对视频进行重构的方法，所述跟踪匹配子步骤包括：
第一跟踪匹配子步骤：将已知标准矩形区域s’m与si,m进行比较，以获取第i帧中的移动对象m的矩形区域相比于移动对象的标准图像的矩形区域的重合度ki,m，其中，所述已知标准矩形区域s’m是包括移动对象m的特定矩形区域；
第二跟踪匹配子步骤：提取在第i帧中移动对象m在矩形区域si,m中的特征点featuresi,m，以生成集合Features={featuresi,m}；
第三跟踪匹配子步骤：将移动对象m在已知标准矩形区域s’m的已知标准特征点featuresm’与featuresi,m进行比较，以获取第i帧中的移动对象m的图像相比于移动对象的标准图像的跟踪匹配似然度d1i,m，以生成跟踪匹配似然度集合D1i,m={d1i,m}；
第四跟踪匹配子步骤：响应于重合度ki,m大于第一阈值并且似然度di,m大于第二阈值，更新标准矩形区域s’m中关于移动对象m的部分数据。
5.如权利要求3所述的对视频进行重构的方法，所述先验匹配子步骤包括：
第一先验匹配子步骤：获取移动对象m从第i-1帧的所在的位置在一帧的时间内能够移动的最大位移矢量vmaxi-1，m；
第二先验匹配子步骤：获取移动对象m从第i-1帧的矩形区域的尺寸能够变化的最大缩放比例Rmaxi-1，m；
第三先验匹配子步骤：将移动对象m在第i帧中的矩形区域si,m={（xi,m，yi,m）,li,m,hi,m}与先验估计矩形区域smaxi,m={（xi-1,m，yi-1,m）+vmaxi-1，m,li,m*Rmaxi-1，m,hi,m*Rmaxi-1，m}相比较，以获取第i帧中的移动对象m的图像的先验匹配似然度d2i,m，以生成先验匹配似然度集合D2i,m={d2i,m}。
6.如权利要求3所述的对视频进行重构的方法，所述邻接匹配子步骤包括：
第一邻接匹配子步骤：获取移动对象m在第i-1帧的矩形区域si-1,m；
第二邻接匹配子步骤：将矩形区域si,m与矩形区域si-1,m相比较，以获取第i帧中的移动对象m的图像的邻接匹配似然度d3i,m，以生成邻接匹配似然度集合D3i,m={d3i,m}。
7.如权利要求3所述的对视频进行重构的方法，所述至少部分地基于匹配似然度集合Dm来解析Sm包括：将所述匹配似然度集合Dm中的一个或多个元素进行加权平均以获取修正矢量，通过所述修正矢量以对Sm进行修正以获取移动对象m的移动轨迹。
8.如权利要求1所述的对视频进行重构的方法，其中，所述生成移动对象m的移动轨迹还包括：将移动对象m的移动轨迹通过神经网络进行拟合，以形成移动对象m的平滑的移动轨迹。
9.如权利要求8所述的对视频进行重构的方法，其中，所述对移动对象m的移动轨迹进行平滑处理包括：将移动对象m的移动轨迹通过低通滤波器进行平滑处理，以形成移动对象m的平滑的移动轨迹。
10.一种对视频进行重构的装置，所述装置包括：
获取模块：获取所述视频的第i帧中的移动对象m所在的矩形区域si,m，生成对于移动对象m的矩形区域si,m与帧数i的映射的集合Sm={si,m}，其中，m为大于0且小于等于待检测的移动对象的总数，i为大于0且小于等于所述视频的帧数，所述矩形区域si,m是在第i帧中能够包括移动对象m所占据的所有像素的最小区域；
解析模块：解析所述集合Sm，以生成移动对象m的移动轨迹；
子图像生成模块：至少部分地基于所述移动轨迹，提取移动对象m在第i帧中的子图像f，以形成关于移动对象m的子图像集合Fm={fi,m}，
视频生成模块：至少部分地基于集合Fm={fi,m}，合成移动对象m的视频。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910143510.7A CN109936703A (zh) | 2019-02-26 | 2019-02-26 | 对单目相机拍摄的视频进行重构的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910143510.7A CN109936703A (zh) | 2019-02-26 | 2019-02-26 | 对单目相机拍摄的视频进行重构的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109936703A true CN109936703A (zh) | 2019-06-25 |
Family
ID=66985878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910143510.7A Pending CN109936703A (zh) | 2019-02-26 | 2019-02-26 | 对单目相机拍摄的视频进行重构的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109936703A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113592874A (zh) * | 2020-04-30 | 2021-11-02 | 杭州海康威视数字技术股份有限公司 | 图像显示方法、装置和计算机设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004282535A (ja) * | 2003-03-18 | 2004-10-07 | Mitsubishi Electric Corp | 画角調整装置 |
| CN104517275A (zh) * | 2013-09-27 | 2015-04-15 | 株式会社理光 | 对象检测方法和系统 |
| CN106296686A (zh) * | 2016-08-10 | 2017-01-04 | 深圳市望尘科技有限公司 | 一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法 |
-
2019
- 2019-02-26 CN CN201910143510.7A patent/CN109936703A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004282535A (ja) * | 2003-03-18 | 2004-10-07 | Mitsubishi Electric Corp | 画角調整装置 |
| CN104517275A (zh) * | 2013-09-27 | 2015-04-15 | 株式会社理光 | 对象检测方法和系统 |
| CN106296686A (zh) * | 2016-08-10 | 2017-01-04 | 深圳市望尘科技有限公司 | 一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法 |
Non-Patent Citations (4)
| Title |
|---|
| 孙志海;朱善安;: "多视频运动对象实时分割及跟踪技术" * |
| 潘志安;朱三元;: "移动摄像视频的多运动目标实时跟踪算法" * |
| 田瑞娟;: "图像拼接融合技术在网络视频监控系统中的应用探究" * |
| 粟培;王琛;郭军;申永;曾永福;熊汉林;何晓垒;: "高速运动目标追踪摄像及识别跟踪算法研究" * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113592874A (zh) * | 2020-04-30 | 2021-11-02 | 杭州海康威视数字技术股份有限公司 | 图像显示方法、装置和计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110837778B (zh) | 一种基于骨架关节点序列的交警指挥手势识别方法 | |
| CN110781838B (zh) | 一种复杂场景下行人的多模态轨迹预测方法 | |
| Fischer et al. | Flownet: Learning optical flow with convolutional networks | |
| Kumar et al. | Monocular fisheye camera depth estimation using sparse lidar supervision | |
| CN101950426B (zh) | 一种多摄像机场景下车辆接力跟踪方法 | |
| CN111310659B (zh) | 基于增进式图卷积神经网络的人体动作识别方法 | |
| JP2022542204A (ja) | 画像座標系の変換方法並びにその、装置、機器およびコンピュータプログラム | |
| CN108876723B (zh) | 一种灰度目标图像的彩色背景的构建方法 | |
| CN107357427A (zh) | 一种用于虚拟现实设备的手势识别控制方法 | |
| CN109543632A (zh) | 一种基于浅层特征融合引导的深层网络行人检测方法 | |
| CN106056053A (zh) | 基于骨骼特征点提取的人体姿势识别方法 | |
| CN107341442A (zh) | 运动控制方法、装置、计算机设备和服务机器人 | |
| CN108898063A (zh) | 一种基于全卷积神经网络的人体姿态识别装置及方法 | |
| CN111260687B (zh) | 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法 | |
| WO2008020598A1 (fr) | Dispositif et procédé de détection d'un nombre d'objets | |
| CN110263768A (zh) | 一种基于深度残差网络的人脸识别方法 | |
| WO2021249114A1 (zh) | 目标跟踪方法和目标跟踪装置 | |
| CN113989928B (zh) | 一种动作捕捉和重定向方法 | |
| CN110941996A (zh) | 一种基于生成对抗网络的目标及轨迹增强现实方法和系统 | |
| CN109063549A (zh) | 基于深度神经网络的高分辨率航拍视频运动目标检测方法 | |
| Xu et al. | Robust hand gesture recognition based on RGB-D Data for natural human–computer interaction | |
| CN104376334A (zh) | 一种多尺度特征融合的行人比对方法 | |
| Funde et al. | Object detection and tracking approaches for video surveillance over camera network | |
| CN113920254B (zh) | 一种基于单目rgb的室内三维重建方法及其系统 | |
| CN104104911B (zh) | 全景图像生成过程中的时间戳消除和重置方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190625 |
|
| WD01 | Invention patent application deemed withdrawn after publication |