CN116843752A - 一种视频路线信息的确定方法、装置和设备 - Google Patents

Abstract

本申请实施例公开了一种视频路线信息的确定方法、装置和设备，该方法包括：获取待处理视频对应视频图像帧中的二维线段的线流，以及视频图像帧中的三维线段的线流；基于二维线段的线流对三维线段的线流的缺失部分进行补充，获得目标三维线段的线流；基于目标三维线段的线流，确定待处理视频对应的路线信息。

Description

一种视频路线信息的确定方法、装置和设备

技术领域

本申请涉及视频处理技术领域，尤其涉及一种视频路线信息的确定方法、装置和设备。

背景技术

确定视频的拍摄路线是视频处理技术中的重要任务之一，相关技术中，确定视频的拍摄路线的方法主要分为两种，一种是基于激光雷达(Light Detection And Ranging，LiDAR)、传感器获取的传感器数据，该方法受光线影响较大，通过光度校准、控制曝光时间和传感器数据处理来提升获得的拍摄路线的准确度；另一种是通过提取视频图像帧中的特征点作为基于局部或全局地图的输入，这种方法不受光线变化的影响。然而，当视频对应场景中存在遮挡、低纹理和重复纹理等情况时，以上两种方法均难以获得准确性较高的拍摄路线。

发明内容

有鉴于此，本申请实施例提供一种视频路线信息的确定方法，该方法可以准确地确定出视频的拍摄路线。

本申请技术方案是这样实现的：

本申请实施例提供一种视频路线信息的确定方法，所述方法包括：

获取待处理视频对应视频图像帧中的二维线段的线流，以及所述视频图像帧中的三维线段的线流，所述线流为线段的时间序列；

基于所述二维线段的线流对所述三维线段的线流的缺失部分进行补充，获得目标三维线段的线流；

基于所述目标三维线段的线流，确定所述待处理视频对应的路线信息，所述路线信息用于表示拍摄所述待处理视频的图像采集设备的拍摄轨迹。

本申请实施例提供一种视频路线信息的确定装置，包括：

获取模块，用于获取待处理视频对应视频图像帧中的二维线段的线流，以及所述视频图像帧中的三维线段的线流，所述线流为线段的时间序列；

第一补充模块，用于基于所述二维线段的线流对所述三维线段的线流的缺失部分进行补充，获得目标三维线段的线流；

确定模块，用于基于所述目标三维线段的线流，确定所述待处理视频对应的路线信息，所述路线信息用于表示拍摄所述待处理视频的图像采集设备的拍摄轨迹。

本申请实施例提供一种视频路线信息的确定设备，包括：

存储器，用于存储可执行视频路线信息的确定指令；

处理器，用于执行所述存储器中存储的可执行视频路线信息的确定指令时，实现本申请实施例中提供的方法。

本申请实施例提供一种计算机可读存储介质，计算机存储介质中存储有计算机可执行指令，计算机可执行指令配置为执行上述视频路线信息的确定步骤。

本申请实施例提供了一种视频路线信息的确定方法、装置和设备，采用本技术方案，首先，获取待处理视频对应视频图像帧中的二维线段的线流，以及视频图像帧中的三维线段的线流；然后，基于二维线段的线流对三维线段的线流的缺失部分进行补充，获得目标三维线段的线流；最后，基于目标三维线段的线流，确定待处理视频对应的路线信息。

附图说明

图1为本申请实施例提供的一种视频路线信息的确定方法的流程示意图；

图2为本申请实施例提供的一种二维线段的线流的示意图；

图3为本申请实施例提供的一种二维线段的线流的获取方法流程示意图；

图4为本申请实施例提供的一种基于视频的路线提取方法的流程示意图；

图5为本申请实施例提供的一种线流说明示意图；

图6为本申请实施例提供的另一种基于视频的路线提取方法的流程示意图；

图7为本申请实施例提供的一种视频路线信息的确定装置的组成结构示意图；

图8为本申请实施例提供的一种视频路线信息的确定设备的组成结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例\另一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例\另一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

基于相关技术中存在的问题，本申请实施例提供一种视频路线信息的确定方法，该视频路线信息可以是该视频的拍摄路线或拍摄轨迹。如图1所示，为本申请实施例提供的一种视频路线信息的确定方法的流程示意图，该方法包括以下步骤：

S101、获取待处理视频对应视频图像帧中的二维线段的线流，以及视频图像帧中的三维线段的线流。

需要说明的是，待处理视频可以是图像采集设备(摄像机、相机等)采集得到的视频，该待处理视频可以是实时获得的，也可以是预先采集后存储在服务器等设备中的。待处理视频对应的视频图像帧可以是对该待处理视频进行切帧处理后，获得的多帧图像。

在一些实施例中，线流为线段的时间序列，如二维线段的线流可以包括该二维线段变化的时间信息和位置信息。每个视频图像帧中可以获取对应的一条二维线段，从多个变化的视频图像帧中提取同一位置的二维线段，便可以获得二维线段的线流。该二维线段可以是任意形状的线段，例如可以是图像帧中的一条直线，随着视频图像帧的一帧帧变化，该直线线段的位置不变，但该直线线段的尺寸可能发生变化。

在一些实施例中，二维线段可以是视频图像帧中的观测线段，可以在第一个视频图像帧中的任意位置确定一条二维线段进行观测，通过提取多个视频图像帧中的观测二维线段，可以获得二维线段的线流。示例性地，若将视频图像帧中显示器的竖直边缘对应的直线线段作为二维线段进行观测，则最终获得的二维线段的线流包括该直线线段随时间变化的信息，该直线线段相对于显示器的位置不会发生变化，但其尺寸可能发生变化，例如该直线线段可能由长变短；可能由短变长；可能先由短变长，再由长变短，当然此处对直线线段尺寸变化的情况仅仅是示例性说明，本申请对此不作限定。

在一些实施例中，在同一段视频中，三维线段和二维线段相对应，三维线段和二维线段的参照物相同，三维线段可以是二维线段所在物体对应的轮廓线，例如若二维线段为显示器中的一条线段，则对应的三维线段可以是该显示器的整个轮廓。与二维线段的线流类似，三维线段的线流可以包括三维线段的位置信息和时间信息，位置信息可以是三维线段在视频图像帧中所处的位置，随着视频图像帧的一帧帧变化，三维线段的尺寸也可能发生变化。

在一些实施例中，可以在选取了观测的二维线段之后，对应的三维线段便可以确定，例如，若选取的观测的二维线段为桌子面中的一条直线线段，即二维线段对应的参照物为桌子，则对应的三维线段便可以是该桌子对应的整个轮廓线。在另一些实施例中，也可以先选取观测的三维线段，确定该三维线段对应的参照物，再从该参照物中选取二维线段，例如，若选取的观测三维线段为椅子对应的整个轮廓，则对应的二维线段可以是该椅子靠背中的一条线段，可以是该椅子腿中的一条线段等。

S102、基于二维线段的线流对三维线段的线流的缺失部分进行补充，获得目标三维线段的线流。

在一些实施例中，在拍摄视频的过程中随着图像采集装置的移动，画面中的一些物体可能被遮挡，从而使得一些三维线段被遮挡，导致三维线段的线流出现缺失部分，在此情况下，便可以根据二维线段对三维线段进行补充，从而获得完整的三维线段的线流，即目标三维线段的线流。

示例性地，若观测的三维线段为显示器的轮廓，随着摄像机的移动，该显示器的轮廓可能被书架、墙壁等物体遮挡，从而无法获得完整的三维线段的线流。此时，便可以基于显示器中被观测的二维线段的尺寸变化，获得摄像机的位姿，从而确定出缺失的三维线段的线流。

S103、基于目标三维线段的线流，确定待处理视频对应的路线信息。

在一些实施例中，目标三维线段的线流可以包括对视频图像帧直接检测获得的三维线段的线流，以及基于二维线段进行补充的三维线段的线流，根据目标三维线段的线流可以获得三维线段对应参照物(该参照物可以是待处理视频中的任意物体)的尺寸变化信息和位置变化信息，进而确定出待处理视频对应的路线信息。路线信息用于表示拍摄待处理视频的图像采集设备的拍摄轨迹。

在本申请实施例中，首先，获取待处理视频对应视频图像帧中的二维线段的线流，以及视频图像帧中的三维线段的线流；然后，基于二维线段的线流对三维线段的线流的缺失部分进行补充，获得目标三维线段的线流；最后，基于目标三维线段的线流，确定待处理视频对应的路线信息。如此，通过二维线段的线流对三维线段的线流进行补充，可以获得完整的目标三维线段的线流，使得即便在拍摄场景中存在遮挡、低纹理或重复纹理时，基于目标三维线段的线流，也可以准确地确定出待处理视频的拍摄轨迹。

在本申请的一些实施例中，基于二维线段的线流对三维线段的缺失部分进行补充，获得目标三维线段的线流，即步骤S102还可以通过下述步骤S1021A至步骤S1024A来实现，以下对各个步骤进行说明。

S1021A、基于二维线段的线流，确定二维线段的尺寸变化信息。

需要说明的是，二维线段的尺寸变化信息可以包括二维线段的长短变化，粗细变化，方向变化等。在一些实施例中，通过对二维线段的线流进行分析，可以确定出二维线段的尺寸变化信息，示例性地，从图2中所示的二维线段的线流可以看出，该二维直线线段由短到长、由细到粗变化。

S1022A、基于尺寸变化信息，确定拍摄待处理视频的图像采集设备的位姿信息。

在一些实施例中，图像采集设备的位姿信息可以包括图像采集设备的拍摄角度、方位等，根据二维线段的尺寸变化信息，可以确定出对应的图像采集设备的拍摄角度、拍摄方位。例如，若根据二维线段的线流确定出二维线段由长到短变化，则可以确定拍摄待处理视频的图像采集设备是在逐渐远离二维线段对应参照物进行拍摄。

S1023A、基于位姿信息，确定第一三维线段的线流。

在一些实施例中，第一三维线段的线流为三维线段的线流中缺失的三维线段的线流。当拍摄场景中存在遮挡，或者随着拍摄角度的变化，场景中的一些物体可能无法完整地呈现在视频中，若该物体作为参照物，则其对应的三维线段的线流将会缺失，此情况下，在待处理视频对应的某一帧或某几帧中检测不到参照物对应的完整的轮廓，从而无法获得完整的三维线段，导致三维线段的线流缺失。

在一些实施例中，对于缺失的三维线段的线流，可以基于图像采集设备的位姿变化信息，确定出缺失的各个三维线段，基于各个三维线段，以及各个三维线段的时间变化信息，便可以获得第一三维线段的线流。在实际中，根据图像采集设备的拍摄角度和拍摄位置信息，再结合参照物所处的实际场景，便可以确定为该参照物对应的完整轮廓，从而推断出该参照物对应的三维线段。

S1024A、基于第一三维线段的线流获得目标三维线段的线流。

在一些实施例中，在获得了缺失的三维线段的线流之后，便可以将直接检测出的三维线段的线流和第一三维线段的线流按时间先后顺序进行组合，从而获得完整的三维线段的线流。

在一些实施例中，第一三维线段的线流可能是只包含一个视频图像帧对应的三维线段，此时可以根据该三维线段对应视频图像帧的时序信息，将该三维线段插入直接检测出的三维线段的线流中；在另一些实施例中，第一三维线段的线流可以是包括多帧连续或非连续的视频图像帧对应的三维线段，同样地，根据各个三维线段对应视频图像帧的时序信息，将各个三维线段插入直接检测出的三维线段的线流中的对应位置。

在另一些实施例中，视频图像帧中的全部三维线段可能均可以直接检测获得，即三维线段的线流中不包括缺失部分，不需要基于二维线段的线流度三维线段的线流进行补充，此种情况下，目标三维线段的线流便为完整的三维线段的线流。

可以理解的是，通过基于二维线段的线流，获得二维线段的尺寸变化信息，基于该尺寸变化信息，确定出图像采集设备的位姿信息，基于该位姿信息确定出三维线段的线流中的缺失部分，实现了二维线段的线流对三维线段的线流的补充，从而可以获得完整的三维线段的线流，避免了场景中因遮挡等问题导致无法获得完整拍摄路线的问题。

在本申请的一些实施例中，基于二维线段的线流对三维线段的缺失部分进行补充，获得目标三维线段的线流，上述步骤S102还可以通过下述步骤S1021B至步骤S1023B来实现，以下对各个步骤进行说明。

S1021B、确定视频图像帧中包括二维线段的线流的参照物。

在一些实施例中，可以先确定各个视频图像帧中的二维线段对应的参照物，从而获得二维线段的线流对应的各个参照物。在实际中，二维线段的线流的参照物可能包括一个，也可能包括多个，若二维线段的参照物一直呈现在待处理视频对应的各个视频图像帧中，则二维线段的线流的参照物可能包括一个；若在视频图像帧中某一帧开始二维线段的参照物被遮挡，则从该帧图像开始可以选择其他参照物对二维线段物进行观测，从而获得多个二维线段的线流的参照物。

在一些实施例中，二维线段的线流的参照物可以是视频图像帧中的任意物体，例如该参照物可以是视频图像帧中的桌子、椅子、显示器、台灯等。在一些实施例中，当确定了初始图像帧中用于观测的二维线段之后，该二维线段对应的参照物也随之确定，之后，遍历后续的各个视频图像帧，确定二维线段对应的参照物，从而获得整个二维线段的线流的参照物。

S1022B、确定参照物中包括二维线段的线流的第二三维线段的线流。

在一些实施例中，第二三维线段的线流为三维线段的线流中缺失的三维线段的线流。在同一图像帧中，二维线段和三维线段对应的参照物相同，当视频图像帧中的三维线段被遮挡时，可以根据该图像帧中的二维线段，以及二维线段对应的参照物确定出缺失的三维线段。在实现时，可以先确定二维线段对应的参照物，再根据该参照物确定出对应的三维线段，例如，若二维线段对应的参照物为显示器(如二维线段为显示器中的一条线段)，则可以将该显示器的轮廓确定为三维线段，从而实现对三维线段的补充。

在一些实施例中，若多个视频图像帧中存在三维线段的缺失，则可以依次基于各个图像帧中的二维线段对三维线段进行补充，从而获得缺失的三维线段的线流，即第二三维线段的线流。

S1023B、基于第二三维线段的线流获得目标三维线段的线流。

在一些实施例中，在通过二维线段的线流对三维线段的线流进行补充获得第二三维线段的线流之后，便可以将第二三维线段的线流和直接检测到的三维线段的线流进行组合，在组合时按照各个视频图像帧的时序关系，从而获得各个视频图像帧对应的完整的三维线段的线流，即目标三维线段的线流。

可以理解的是，通过确定二维线段的线流的参照物，根据该参照物中包括二维线段的线流确定出对应的三维线段的线流，从而实现对三维线段的线流的补充，获得完整的三维线段的线流，使得后续基于完整的三维线段的线流可以确定出更加准确的拍摄路线。

在本申请的一些实施例中，在获取待处理视频对应视频图像帧中的二维线段的线流，以及视频图像帧中的三维线段的线流，即步骤S102之后，还可以执行下述步骤S201，以下对该步骤进行说明。

S201、基于三维线段的线流对二维线段的线流的缺失部分进行补充。

在一些实施例中，从视频图像帧中获得的二维线段的线流可能存在缺失，例如，若二维线段被遮挡，则在视频图像帧中检测不到该二维线段，此时便可以基于视频图像帧中的三维线段确定出对应的二维线段，从而实现三维线段对二维线段的补充。在依次对各个缺失二维线段的视频图像帧处理之后便可以获得缺失的二维线段的线流。

示例性地，若三维线段为显示器的整个轮廓线，则对应的二维线段可能为该显示器的左侧竖直边缘对应的直线线段，若在某一视频图像帧中该显示器的左侧边缘部分被遮挡，则可以根据该显示器的完整轮廓线获得左侧边缘对应的直线线段，或结合连续的多个三维线段的线流，确定出对应被遮挡的二维线段。

可以理解的是，当二维线段的线流存在缺失时，可以基于三维线段的线流对二维线段的线流进行补充，从而获得连续的二维线段的线流，以便后续在三维线段的线流存在缺失时，可以基于连续的二维线段的线流对三维线段的线流进行补充，保证三维线段的线流的稳定性，为获得准确的视频拍摄路线提供了前提条件。

在本申请的一些实施例中，如图3所示，为本申请实施例提供的一种二维线段的线流的获取方法流程示意图，步骤S101中的“获取待处理视频对应视频图像帧中的二维线段的线流”可以通过下述步骤S1011至步骤S1014来实现，以下对各个步骤进行说明。

S1011、确定在视频图像帧中是否检测到二维线段。

在一些实施例中，初始视频图像帧(待处理视频对应的第一个图像帧)中的二维线段可以预先进行设定，确定该二维线段的形状、位置等信息，之后对该二维线段进行观测，随着图像采集装置的移动，该二维线段可能被遮挡，出现检测不到的情况，对于检测不到的二维线段可以基于前后帧中的二维线段进行预测，也可以根据三维线段对检测不到的二维线段进行补充。

在一些实施例中，若在视频图像帧中检测到二维线段，则执行下述步骤S1012；反之，则执行下述步骤S1013至步骤S1014。

S1012、从视频图像帧中提取二维线段，得到二维线段的线流。

在一些实施例中，若各个视频图像帧中均可以检测到二维线段，便可以直接对各个视频图像帧中的二维线段进行提取，例如利用主成分分析、线性判别分析等特征提取算法对二维线段进行提取，从而获得各个二维线段对应的线流。

S1013、确定视频图像帧中的预测二维线段。

需要说明的是，预测二维线段可以是通过采用预测方法对未检测到的二维线段进行预测获得的，在一些实施例中，可以基于二维线段自身的线流对检测不到的二维线段进行预测，也可以基于三维线段的线流对检测不到的二维线段进行预测。

S1014、将预测二维线段确定为视频图像帧中的二维线段，得到二维线段的线流。

在一些实施例中，预测的二维线段可以直接作为视频图像帧中的二维线段，可以将预测获得的预测二维线段和直接检测到的二维线段按照视频图像帧对应的先后顺序进行组合，从而获得的完整的二维线段的线流。

在另一些实施例中，对预测的二维线段的可以进一步进行特征分析，在确定预测的二维线段和相邻的直接检测到的二维线段之间的相似度较高时，再将预测二维线段作为视频图像帧中的二维线段。示例性地，可以将预测二维线段对应特征的特征值和该预测二维线段对应的前一帧图像中检测到的二维线段对应特征的特征值进行比较，如果两者特征值之间的差值绝对值小于或等于预设特征值阈值，则确定可以将该预测二维线段确定为视频图像帧中的二维线段；反之，则说明该预测误差较大，需要对二维线段重新进行预测，直至预测二维线段对应特征的特征值和前一帧或后一帧图像中检测到的二维线段对应特征的特征值之间的差值绝对值小于或等于预设特征值阈值，将预测二维线段作为视频图像帧中的二维线段。

在本申请的一些实施例中，确定视频图像帧中的预测二维线段，即步骤S1013可以通过下述步骤S301至步骤S302来实现，以下对各个步骤进行说明。

S301、对待处理视频进行内容解析和语音解析，得到辅助预测信息。

在一些实施例中，可以对待处理视频中的视频内容和语音进行解析，获得辅助预测信息，该辅助预测信息可以是与拍摄路线相关的信息，或是与参照物相关的信息等，例如可以对待处理视频中的文字、符号、语音等信息进行解析，确定图像采集设备的拍摄角度、方位，或参照物的位置等信息，这些信息便可以作为辅助预测信息对二维线段进行预测。

S302、基于辅助预测信息，确定视频图像帧中的预测二维线段。

在一些实施例中，获得的辅助预测信息可以用于对二维线段的预测，例如通过辅助预测信息确定了图像采集设备的拍摄方向和拍摄角度，基于前一视频图像帧或后一视频图像帧中的二维线段，以及二维线段的参照物，可以预测出当前视频图像帧中的二维线段的位置和形状。

在本申请的一些实施例中，在执行完步骤S101中的“获取待处理视频对应视频图像帧中的二维线段的线流”之后，还可以执行下述步骤S401，以下对该步骤进行说明。

S401、去除二维线段的线流中时序信息和位置信息不满足预设位姿变化趋势的二维线段。

在一些实施例中，预设位姿变化趋势表示时序相邻的两个二维线段的运动方向一致，例如，相邻的两个视频图像帧中的二维线段的方向具有同一变化趋势。二维线段的时序信息和位置信息具有一一对应关系，根据二维线段的时序信息，以及前后视频图像帧中二维线段的变化趋势可以确定当前视频图像帧中二维线段的位置信息，该位置信息可以是二维线段所处的位置，以及二维线段的运动方向。

示例性地，若第三个视频图像帧中的二维线段向左转，检测(或预测)出的第四个图像帧的线段向右转，而在实际中，获得的视频图像帧中的线段不会一会儿向左一会儿向右，此时便可以对第四个图像帧中提取的二维线段进行删除，重新对该视频图像帧中的二维线段进行检测或预测，直至获得的二维线段对应的时序信息和位置信息满足预测位姿变换趋势。

可以理解的是，通过将二维线段的线流中时序信息和位置信息不满足预设位姿变化趋势的二维线段进行去除，使得获得的二维线段的时序信息和位置信息正确对应，保证了获得的二维线段的线流的准确性，在后续基于二维线段的线流对三维线段的线流进行补充时，可以获得准确性较高的三维线段的线流，为准确确定出待处理视频的路线信息提供了基础。

在本申请的一些实施例中，基于目标三维线段的线流，确定待处理视频对应的路线信息，即步骤S104可以通过下述步骤S1041至步骤S1042来实现，以下对各个步骤进行说明。

S1041、获取目标三维线段的线流对应参照物的尺寸变化信息和位置变化信息。

需要说明的是，目标三维线段的线流为待处理视频对应的完整三维线段的线流，目标三维线段的线流对应参照物可以是视频图像帧中的任意物体，例如显示器、桌子等。在实际中，由于在拍摄待处理视频时，图像采集设备移动可能会导致参照物被遮挡，在此情况下，可以对其他参照物对应的二维线段和三维线段进行观测，从而使得待处理视频可能对应多个参照物。

在一些实施例中，根据参照物的不同，待处理视频可能被分为多个视频段，每个视频段对应有各自的参照物，各个参照物的尺寸变换信息可以是各个参照物从小到大或从大到小的变化，位置变化信息可以是各个参照物在视频图像帧中所处位置的变化。

S1042、基于尺寸变化信息和位置变化信息，确定路线信息。

在一些实施例中，根据目标三维线段的线流对应参照物的尺寸变换信息和位置变化信息，可以确定出图像采集设备的拍摄路线信息。例如若确定出视频图像帧中的参照物从小到大变化(逐渐变大)，且从所有的视频图像帧来看，参照物从视频图像帧的中间位置逐渐向左侧移动，则确定图像采集设备的拍着路线可能是向前且向右对应的移动轨迹。

在本申请实施例中，首先，获取待处理视频对应视频图像帧中的二维线段的线流，以及视频图像帧中的三维线段的线流；然后，基于二维线段的线流对三维线段的线流的缺失部分进行补充，获得目标三维线段的线流；最后，基于目标三维线段的线流，确定待处理视频对应的路线信息。如此，通过二维线段的线流对三维线段的线流进行补充，可以获得完整的目标三维线段的线流，使得即便在拍摄场景中存在遮挡、低纹理或重复纹理时，基于目标三维线段的线流，也可以准确地确定出待处理视频的拍摄轨迹。

下面，对申请实施例在实际应用场景中的实现过程进行介绍。

在一些实施例中，如图4所示，为本申请实施例提供的一种基于视频的路线提取方法的流程示意图，该方法可以通过下述步骤S501至步骤S502来实现，以下对各个步骤进行说明。

S501、对视频进行切帧处理，获得时序图像(相当于其他实施例中的“视频图像帧中”)。

在一些实施例中，切帧处理可以是以预设采样频率对视频中的图像帧进行提取，获得视频对应的多个图像帧，即时序图像，时序图像可以是包含时间信息的图像帧。示例性地，图5中左侧所示的时序图像t0至时序图像t为对视频进行切帧处理后的各个时序图像。

S502、对时序图像进行线段提取，获得二维线段的线流和三维线段的线流。

在一些实施例中，可以通过特征提取的方式对时序图像中的线段进行提取，在初始时序图像中，可以设置观测二维线段，通过该观测二维线段对应的参照物确定对应的三维线段，之后可以从后续的各个时序图像中提取对应的二维线段和三维线段，从而获得二维线段的线流和三维线段的线流(相当于其他实施例中的“获取待处理视频对应视频图像帧中的二维线段的线流，以及视频图像帧中的三维线段的线流”)。示例性地，图5中右侧上方所示的便为各个时序图像中二维线段的线流，其中观测的二维线段为显示屏的右侧边缘对应的直线线段。

在一些实施例中，在对二维线段和三维线段提取的过程中，由于场景中存在遮挡、低纹理及重复纹理等问题，无法将二维线段和三维线段完整的提取出来，对于提取不出来的二维线段和三维线段可以通过预测获得。

在一些实施中，二维线段的预测可以由上一帧时序图像对应的二维线段和当前帧时序图像对应的二维线段相加获得，三维线段的预测可由三维线段的端点和位姿信息获得。若当前帧时序图像无可靠先验，采用上一帧时序图像对应的维线段作为预测线段，以预测线段作为基准点，使用KLT算法找到当前帧时序图像中的对应位置。同时，观测线段设置保留期，若未检测到匹配线段则由预测线段代替检测线段(观测线段)。若在保留期结束后还未找到线段，则结束当前线流段跟踪。

在另一些实施例中，视频中的标题或语音信息也可作为参数信息对二维线段进行辅助预测(相当于其他实施例中的“基于辅助预测信息，确定视频图像帧中的预测二维线段”)，通过获得视频中文字、语音等信息，可以对检测不到的二维线段进行预测。

在一些实施例中，对于预测或提取出的二维线段，可以基于时序信息，对不符合运动趋势的二维线段剔除(相当于其他实施例中的“去除二维线段的线流中时序信息和位置信息不满足预设位姿变化趋势的二维线段”)，从而获得准确的二维线段的线流。例如，当前为第三个时序图像，而预测的线流是第四个时序图像中的二维线段，第三个时序图像中的线段向左转后，预测的第四个时序图像中的二维线段向右转，时空约束会矫正第四个时序图像，不会使得提取的线段一会儿向左一会儿向右。

可以理解的是，以预测方式更新线流，并通过视频信息辅助预测，在相干性的限制下解决了场景中存在遮挡、低纹理和重复纹理情况时提取不到观测线段的问题。此外，在时序信息的约束下剔除假阳性观测，增加了路线信息提取的准确率。

S503、基于二维线段的线流确定图像的尺寸变化信息，基于该尺度变化信息确定图像采集设备的位姿信息。

在一些实施例中，图像的尺寸变化信息即为图像的尺度变化，从视频图像中可以基于从小到大的图像尺度来执行姿态估计，其中，从小到大的图像尺度指的是二维线段的从小到大(或从短到长)变化。基于图像尺度的变化，可以确定出图像采集设备的位姿信息，该位姿信息可以是图像采集设备的拍摄方位、拍摄角度等信息。

S504、基于二维线段的线流，预测构建三维线段的线流的缺失部分(相当于其他实施例中的“基于二维线段的线流对三维线段的线流的缺失部分进行补充”)。

在一些实施例中，二维线段和三维线段之间具有空间-时间对应关系，即空间-时间相干关系，基于二维线段的线流，可以确定出二维线段对应的参照物，根据该参照物的尺寸变化信息可以确定出对应的三维线段的线流，从而实现对三维线段的线流的缺失部分的预测。

S505、根据二维线段的线流和三维线段的线流的时间-空间相干关系，以及图像采集设备的位姿信息建立路线提取模型，基于该路线提取模型获取路线信息。

在一些实施例中，二维线段的线流和三维线段的线流的时间-空间相干关系可以包括不同时序图像中二维线段和三维线段的时间信息的对应关系，以及二维线段和三维线段的时间信息的对应关系，在结合图像采集设备的位姿信息，采用由粗到细的策略，可以对线(二维线段)和平面(三维线段)进行复合建模(例如对参照物建模)，根据参照物的尺寸变化信息和位置变化信息，实现视频拍摄路线的提取。

可以理解的是，在本申请实施例中，基于图像尺度进行姿态估计，通过二维线段到三维线段的关系映射，构建线段运动带有时序信息的相干关系，从而实现视频中的路线提取，另外，通过构建二维线段和三维线段运动的空间与时间相干关系，减少了因视频场景光照不同而导致的特征(路线)提取误差。

在一些实施例中，本申请提供的基于视频的路线提取方法可以通过图6所示的流程来实现，以下以图6为例对本申请实施例提供的基于视频的路线提取流程进行说明。

步骤S1、对视频进行切片，获得时序图像，同时可以对视频进行标题内容解析和语音解析。

在一些实施例中，对视频进行切片，可以是对提取视频对应的图像帧，获得多个时序图像，以便于后续对视频进行分析和处理。同时，为了在无法提取二维线段时，实现对二维线段的准确预测，可以对视频中的标题内容和语音进行解析，获得辅助预测信息，以利用辅助预测信息对二维线段进行预测。

步骤S2、基于时序图像提取二维线段，并对二维线段进行预测和更新。

在一些实施例中，在提取了二维线段之后，若确定二维线段的线流中存在缺失的部分，则可以对二维线段进行预测，基于前后帧时序图像中的二维线段，获得预测的二维线段，将预测的二维线段作为当前帧时序图像中的二维线段，实现二维线段的更新。示例性地，如图5中所示，第t个时序图像中的二维线段的部分被遮挡，则使用第t+1个时序图像中的线段对第t个时序图像中的二维线段进行更新。

步骤S3、基于图像尺度进行姿态估计。

在一些实施例中，图像尺度可以是二维线段的线流对应的参照物的尺度变化，根据参照物的尺寸变化，可以确定出图像采集设备的姿态信息，即图像采集设备的拍摄角度、拍摄方向等。

步骤S4、预测构建三维线段的线流。

在一些实施例中，三维线段的线流直接检测获得，对于缺失的三维线段的线流，可以基于检测出的三维线段进行预测，也可以基于二维线段预测获，从而获得完整的三维线段的线流。

步骤S5、构建线段运动时间-空间相干关系。

在一些实施例中，通过对缺失的三维线段进行预测，或基于二维线段对三维线段的缺失部分进行补充，可以获得视频对应的完整三维线段的线流，基于该完整的三维线段的线流，可以确定出对应参照物的位置变化信息和尺寸变化信息。

步骤S6、提取路线信息。

在一些实施例中，由线段运动时间-空间相干关系，可以确定出视频中参照物或标志物的位置变化信息和尺寸变化信息，进而基于参照物或标志物的位置变化信息和尺寸变化信息，确定出图像采集设备的拍摄路线，完成视频路线信息的提取。示例性地，提取的路线信息可以是图5中右下方所示的拍摄轨迹，该拍摄轨迹表示图像采集设备先往前进行拍摄，之后再往左进行拍摄。

可以理解的是，在本申请实施例中，首先，获取待处理视频对应视频图像帧中的二维线段的线流，以及视频图像帧中的三维线段的线流；然后，基于二维线段的线流对三维线段的线流的缺失部分进行补充，获得目标三维线段的线流；最后，基于目标三维线段的线流，确定待处理视频对应的路线信息。如此，通过二维线段的线流对三维线段的线流进行补充，可以获得完整的目标三维线段的线流，使得即便在拍摄场景中存在遮挡、低纹理或重复纹理时，基于目标三维线段的线流，也可以准确地确定出待处理视频的拍摄轨迹。

本申请还提供一种视频路线信息的确定装置，图7为本申请实施例提供的一种视频路线信息的确定装置的组成结构示意图，如图7所示，视频路线信息的确定装置600包括：

获取模块601，用于获取待处理视频对应视频图像帧中的二维线段的线流，以及所述视频图像帧中的三维线段的线流，所述线流为线段的时间序列；

第一补充模块602，用于基于所述二维线段的线流对所述三维线段的线流的缺失部分进行补充，获得目标三维线段的线流；

确定模块603，用于基于所述目标三维线段的线流，确定所述待处理视频对应的路线信息，所述路线信息用于表示拍摄所述待处理视频的图像采集设备的拍摄轨迹。

在一些实施例中，第一补充模块602可以包括：

第一确定子模块，用于基于所述二维线段的线流，确定所述二维线段的尺寸变化信息；

第二确定子模块，用于基于所述尺寸变化信息，确定拍摄所述待处理视频的图像采集设备的位姿信息；

第三确定子模块，用于基于所述位姿信息，确定第一三维线段的线流，所述第一三维线段的线流为所述三维线段的线流中缺失的三维线段的线流；

第一获取子模块，用于基于所述第一三维线段的线流获得所述目标三维线段的线流。

在一些实施例中，第一补充模块602还可以包括：

第四确定子模块，用于确定所述视频图像帧中包括所述二维线段的线流的参照物；

第五确定子模块，用于确定所述参照物中包括所述二维线段的线流的第二三维线段的线流，所述第二三维线段的线流为所述三维线段的线流中缺失的三维线段的线流；

第二获取子模块，用于基于所述第二三维线段的线流获得所述目标三维线段的线流。

在一些实施例中，视频路线信息的确定装置600还包括：

第二补充模块，用于基于所述三维线段的线流对所述二维线段的线流的缺失部分进行补充。

在一些实施例中，获取模块601包括：

第六确定子模块，用于若在所述视频图像帧中未检测到所述二维线段，确定所述视频图像帧中的预测二维线段；将所述预测二维线段确定为所述视频图像帧中的二维线段，得到所述二维线段的线流；

线段提取子模块，用于若在所述视频图像帧中检测到所述二维线段，从所述视频图像帧中提取所述二维线段，得到所述二维线段的线流。

在一些实施例中，第五确定子模块包括：

信息解析单元，用于对所述待处理视频进行内容解析和语音解析，得到辅助预测信息；

第一确定单元，用于基于所述辅助预测信息，确定所述视频图像帧中的预测二维线段。

在一些实施例中，确定模块603包括：

第二获取子模块，用于获取所述目标三维线段的线流对应参照物的尺寸变化信息和位置变化信息；

第七确定子模块，用于基于所述尺寸变化信息和位置变化信息，确定所述路线信息。

在一些实施例中，视频路线信息的确定装置600还包括：

线段去除单元，用于去除所述二维线段的线流中时序信息和位置信息不满足预设位姿变化趋势的二维线段，所述预设位姿变化趋势表示时序相邻的两个二维线段的运动方向一致。

需要说明的是，本申请实施例视频路线信息的确定装置的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的视频路线信息的确定方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关方案做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

相应地，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的视频路线信息的确定方法。

本申请实施例还提供一种视频路线信息的确定设备。图8为本申请实施例提供的一种视频路线信息的确定设备的组成结构示意图，如图8所示，所述视频路线信息的确定设备700包括：存储器701、处理器702、通信接口703和通信总线704。其中，存储器701，用于存储可执行视频路线信息的确定指令；处理器702，用于执行存储器中存储的可执行视频路线信息的确定指令时，以实现以上述实施例提供的视频路线信息的确定方法。

以上视频路线信息的确定设备和存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请视频路线信息的确定设备和存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括至少一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术对象可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一个产品执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术对象在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种视频路线信息的确定方法，所述方法包括：

获取待处理视频对应视频图像帧中的二维线段的线流，以及所述视频图像帧中的三维线段的线流，所述线流为线段的时间序列；

基于所述二维线段的线流对所述三维线段的线流的缺失部分进行补充，获得目标三维线段的线流；

基于所述目标三维线段的线流，确定所述待处理视频对应的路线信息，所述路线信息用于表示拍摄所述待处理视频的图像采集设备的拍摄轨迹。

2.根据权利要求1所述的方法，所述基于所述二维线段的线流对所述三维线段的缺失部分进行补充，获得目标三维线段的线流，包括：

基于所述二维线段的线流，确定所述二维线段的尺寸变化信息；

基于所述尺寸变化信息，确定拍摄所述待处理视频的图像采集设备的位姿信息；

基于所述位姿信息，确定第一三维线段的线流，所述第一三维线段的线流为所述三维线段的线流中缺失的三维线段的线流；

基于所述第一三维线段的线流获得所述目标三维线段的线流。

3.根据权利要求1所述的方法，所述基于所述二维线段的线流对所述三维线段的缺失部分进行补充，获得目标三维线段的线流，包括：

确定所述视频图像帧中包括所述二维线段的线流的参照物；

确定所述参照物中包括所述二维线段的线流的第二三维线段的线流，所述第二三维线段的线流为所述三维线段的线流中缺失的三维线段的线流；

基于所述第二三维线段的线流获得所述目标三维线段的线流。

4.根据权利要求1所述的方法，还包括：

基于所述三维线段的线流对所述二维线段的线流的缺失部分进行补充。

5.根据权利要求1所述的方法，所述获取待处理视频对应视频图像帧中的二维线段的线流，至少包括以下之一：

若在所述视频图像帧中未检测到所述二维线段，确定所述视频图像帧中的预测二维线段；将所述预测二维线段确定为所述视频图像帧中的二维线段，得到所述二维线段的线流；

若在所述视频图像帧中检测到所述二维线段，从所述视频图像帧中提取所述二维线段，得到所述二维线段的线流。

6.根据权利要求5所述的方法，其中，所述确定所述视频图像帧中的预测二维线段，包括：

对所述待处理视频进行内容解析和语音解析，得到辅助预测信息；

基于所述辅助预测信息，确定所述视频图像帧中的预测二维线段。

7.根据权利要求1所述的方法，所述基于所述目标三维线段的线流，确定所述待处理视频对应的路线信息，包括：

获取所述目标三维线段的线流对应参照物的尺寸变化信息和位置变化信息；

基于所述尺寸变化信息和位置变化信息，确定所述路线信息。

8.根据权利要求1至7中任一项所述的方法，所述方法还包括：

去除所述二维线段的线流中时序信息和位置信息不满足预设位姿变化趋势的二维线段，所述预设位姿变化趋势表示时序相邻的两个二维线段的运动方向一致。

9.一种视频路线信息的确定装置，包括：

获取模块，用于获取待处理视频对应视频图像帧中的二维线段的线流，以及所述视频图像帧中的三维线段的线流，所述线流为线段的时间序列；

第一补充模块，用于基于所述二维线段的线流对所述三维线段的线流的缺失部分进行补充，获得目标三维线段的线流；

确定模块，用于基于所述目标三维线段的线流，确定所述待处理视频对应的路线信息，所述路线信息用于表示拍摄所述待处理视频的图像采集设备的拍摄轨迹。

10.一种视频路线信息的确定设备，包括：

存储器，用于存储可执行视频路线信息的确定指令；

处理器，用于执行所述存储器中存储的可执行视频路线信息的确定指令时，实现权利要求1至8任一项所述的方法。