CN116228811A - 运动轨迹的生成方法、装置、终端及可读存储介质 - Google Patents

Abstract

本发明公开了一种运动轨迹的生成方法、装置、终端及可读存储介质，该生成方法包括：对所述内窥镜视频中的任意连续的两个视频帧image1和image2均得到image2中的内窥镜镜头相对于image1的空间位置；基于所述内窥镜视频中的第一个视频帧中的内窥镜镜头的位置，以及其余每个视频帧中的内窥镜镜头相对于前一个视频帧的空间位置，得到内窥镜的运动轨迹。该生成方法能够获取内窥镜的运动轨迹。

Description

运动轨迹的生成方法、装置、终端及可读存储介质

技术领域

本发明涉及医疗器械技术领域，尤其涉及一种运动轨迹的生成方法、装置、终端及可读存储介质。

背景技术

内窥镜是医学发展的科技新产品，其日渐被广泛应用于医学上各种病症的临床诊断，采用无痛无创伤的监测诊断，其进入人体腹腔(例如，胃、肠道、支气管和肾等)中，通过其镜头组件近距离拍摄腹腔内部的壁状况，以进行临床诊断，减轻患者的临床痛苦。

内窥镜进入体内后，需要对人体的腹腔进行影像拍摄，内窥镜处于游离状态，在体液中自由漂浮，由于其的位置不确定，所拍摄的影像具有太大的随意性，人们有时难于判断出所摄图像的方位，难于判腹腔中的整体状况，或所摄肿瘤在其何方位，如何确定所摄图像在腹腔中的方位，进而得到内窥镜的运动轨迹，就成为一个亟待解决的重要问题。

发明内容

有鉴于此，本发明的主要目的在于提供一种运动轨迹的生成方法、装置、终端及可读存储介质。

为达到上述目的，本发明的技术方案是这样实现的：一种用于内窥镜视频的窥镜的运动轨迹的生成方法，包括以下步骤：对所述内窥镜视频中的任意连续的两个视频帧image1和image2均进行以下处理：获取所述image1和image2之间的旋转角度α，获取所述image1和image2之间的平面移动距离move_x,y，获取所述image1和image2之间的前后移动距离move_z；将平面移动距离move_x,y和前后移动距离move_z映射到匹配应用场景的距离distance_x,y和distance_z，得到image2中的内窥镜镜头相对于image1的空间位置；基于所述内窥镜视频中的第一个视频帧中的内窥镜镜头的位置，以及其余每个视频帧中的内窥镜镜头相对于前一个视频帧的空间位置，得到内窥镜的运动轨迹。

作为本发明实施例的一种改进，所述“获取所述image1和image2之间的旋转角度α”具体包括：对所述image1和image2均进行Surf特征点提取处理、并进行Flann特征点匹配处理，从而得到若干匹配成对的第一特征点，对每个匹配成对的第一特征点均计算角度差值，α＝所有角度差值的平均值。

作为本发明实施例的一种改进，所述“获取所述image1和image2之间的平面移动距离move_x,y”具体包括：对所述image1和image2进行光流跟踪并提取出匹配成对的第二特征点的坐标，对每个匹配成对的第二特征点均计算坐标差值，move_x,y＝所有坐标差值的平均值*cosα。

作为本发明实施例的一种改进，所述“对所述image1和image2进行光流跟踪并提取出匹配成对的第二特征点的坐标”具体包括：基于Lucas-Kanade方法，对所述image1和image2进行光流跟踪并提取出匹配成对的第二特征点的坐标。

作为本发明实施例的一种改进，所述“获取所述image1和image2之间的前后移动距离move_z”具体包括：生成所述image1对应的深度图depth_image1，生成所述image2对应的深度图depth_image2，获取每个匹配成对的第二特征点的坐标分别在所述depth_image1中的第一深度值和在所述depth_image2中的第二深度值，获取每个第二特征点对应的第二深度值与第一深度值之间的深度值差，move_z＝所述深度值差的平均值。

作为本发明实施例的一种改进，所述“生成所述image1对应的深度图depth_image1，生成所述image2对应的深度图depth_image2”具体包括：基于CycleGAN神经网络，生成所述image1对应的深度图depth_image1，并生成所述image2对应的深度图depth_image2。

本发明实施例还提供了一种用于内窥镜视频的窥镜的运动轨迹的生成装置，包括以下模块：处理模块，用于对所述内窥镜视频中的任意连续的两个视频帧image1和image2均进行以下处理：获取所述image1和image2之间的旋转角度α，获取所述image1和image2之间的平面移动距离move_x,y，获取所述image1和image2之间的前后移动距离move_z；将平面移动距离move_x,y和前后移动距离move_z映射到匹配应用场景的距离distance_x,y和distance_z，得到image2中的内窥镜镜头相对于image1的空间位置；汇总模块，用于基于所述内窥镜视频中的第一个视频帧中的内窥镜镜头的位置，以及其余每个视频帧中的内窥镜镜头相对于前一个视频帧的空间位置，得到内窥镜的运动轨迹。

作为本发明实施例的一种改进，所述处理模块还用于：对所述image1和image2均进行Surf特征点提取处理、并进行Flann特征点匹配处理，从而得到若干匹配成对的第一特征点，对每个匹配成对的第一特征点均计算角度差值，α＝所有角度差值的平均值。

本发明实施例还提供了一种终端，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上述的生成方法的步骤。

本发明实施例还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的生成方法的步骤。

本发明实施例所提供的运动轨迹的生成方法、装置、终端及可读存储介质具有以下优点：本发明实施例公开了一种运动轨迹的生成方法、装置、终端及可读存储介质，该生成方法包括：对所述内窥镜视频中的任意连续的两个视频帧image1和image2均得到image2中的内窥镜镜头相对于image1的空间位置；基于所述内窥镜视频中的第一个视频帧中的内窥镜镜头的位置，以及其余每个视频帧中的内窥镜镜头相对于前一个视频帧的空间位置，得到内窥镜的运动轨迹。该生成方法能够获取内窥镜的运动轨迹。

附图说明

图1为实施例中的运动轨迹的生成方法的流程示意图。

具体实施方式

以下将结合附图所示的实施方式对本发明进行详细描述。但该实施方式并不限制本发明，本领域的普通技术人员根据该实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。

以下描述和附图充分地示出本文的具体实施方案，以使本领域的技术人员能够实践它们。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本文的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。本文中，术语“第一”、“第二”等仅被用来将一个元素与另一个元素区分开来，而不要求或者暗示这些元素之间存在任何实际的关系或者顺序。实际上第一元素也能够被称为第二元素，反之亦然。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的结构、装置或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种结构、装置或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的结构、装置或者设备中还存在另外的相同要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中的术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本文和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。在本文的描述中，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明实施例一提供了一种用于内窥镜视频的窥镜的运动轨迹的生成方法，如图1所示，包括以下步骤：

步骤101：对所述内窥镜视频中的任意连续的两个视频帧image1和image2均进行以下处理：获取所述image1和image2之间的旋转角度α，获取所述image1和image2之间的平面移动距离move_x,y，获取所述image1和image2之间的前后移动距离move_z；将平面移动距离move_x,y和前后移动距离move_z映射到匹配应用场景的距离distance_x,y和distance_z，得到image2中的内窥镜镜头相对于image1的空间位置；这里，内窥镜视频可以认为是由以时间顺序排列的多个视频帧所构成，于是，对每两个连续的视频帧都要进行以下处理，该处理可以得到每个视频中的内窥镜镜头相对于前一个视频帧的空间位置；这里，为了便于描述，可以创建一个三维空间，比如，每个视频帧所处的平面为XOY平面，多个连续的视频帧的延伸方向为Z轴等。旋转角结合光流跟踪能够确定特征点在平面上的移动(X轴和Y轴),深度估计可以确定特征点在Z轴上的运动。

步骤102：基于所述内窥镜视频中的第一个视频帧中的内窥镜镜头的位置，以及其余每个视频帧中的内窥镜镜头相对于前一个视频帧的空间位置，得到内窥镜的运动轨迹。这里，对于该内窥镜视频中的第一个视频帧，只需要获取第一个视频帧中的内窥镜镜头的位置，对于其余的视频帧，均可以获取该视频帧中的内窥镜镜头相对于前一个视频帧的空间位置，于是，将所有的视频帧进行叠加，就可以得到每个视频帧中的内窥镜镜头相对于第一个视频帧的空间位置，进而得到内窥镜的运动轨迹。

本实施例中，所述“获取所述image1和image2之间的旋转角度α”具体包括：对所述image1和image2均进行Surf特征点提取处理、并进行Flann特征点匹配处理，从而得到若干匹配成对的第一特征点，对每个匹配成对的第一特征点均计算角度差值，α＝所有角度差值的平均值。这里，获取旋转角度α，可以确保方位的准确，例如，本来是左，旋转180后为右；如果不知道旋转角的话，方位会有很大偏差。可以理解的是，利用上述方法计算角度差值具有速度快，特征点匹配稳定等优点。

Surf(Speeded Up Robust Feature)算法是Sift算法的改进版和加速版，综合性能更优。Surf算法的基本流程如下：步骤1、构建Hessian矩阵，生成兴趣点用于特征提取；步骤2、构建尺度空间；步骤3、特征点定位；步骤4、特征点主方向分配；步骤5、生成特征点描述子；步骤6、特征点匹配。

Flann(Fast Library for Approximate Nearest Neighbors)特征点匹配会记录下目标图像与待匹配图像的特征点(KeyPoint)，并根据特征点集合构造特征量(Descriptor)，对这个特征量进行比较、筛选，最终得得到个匹配点的映射集合。我们也可以根据这个集合的大小来衡量两幅图片的匹配程程度。

这里，首先使用每个匹配成对的两个Surf特征点均进行以下处理：获取两个Surf特征点的角度，然后，计算这两个角度的角度差值。

α＝mean(angle_{featurePoint2-i}-angle_{featurePoint1-i})，其中，mean()为取平均值函数，angle_{featurePoint2-i}为image2的第i个匹配特征点的角度，angle_{featurePoint1-i}为image1的第i个匹配特征点的角度，i为正整数；可以理解的是，当有N个匹配成对的Surf特征点时，i取值为1，2，...，N。

本实施例中，所述“获取所述image1和image2之间的平面移动距离move_x,”具体包括：对所述image1和image2进行光流跟踪并提取出匹配成对的第二特征点的坐标，对每个匹配成对的第二特征点均计算坐标差值，move_x,＝所有坐标差值的平均值*cosα。

这里，首先使用每个匹配成对的两个特征点均进行以下处理：获取两个特征点的坐标，然后，计算这两个坐标的坐标差值。

move_x,y＝mean(position_{featurePoint2-i}-position_{featurePoint1-i})*cosα，其中，mean()为取平均值函数，position_{featurePoint2-i}为image2的第i个匹配特征点的坐标，position_{featurePoint1-i}为image1的第i个匹配特征点的坐标，i为正整数；可以理解的是，当有M个匹配成对的特征点时，i取值为1，2，...，M。

本实施例中，所述“对所述image1和image2进行光流跟踪并提取出匹配成对的第二特征点的坐标”具体包括：基于Lucas-Kanade方法，对所述image1和image2进行光流跟踪并提取出匹配成对的第二特征点的坐标。

这里，Lucas-Kanade方法是一种光流估计的差分方法，其假设光流在像素点的邻域是一个常数，然后使用最小平方法对邻域中的所有像素点求解基本的光流方程。使用Lucas-Kanade方法进行特征点跟踪时，具有性能稳定等优点。

本实施例中，所述“获取所述image1和image2之间的前后移动距离move_z”具体包括：生成所述image1对应的深度图depth_image1，生成所述image2对应的深度图depth_image2，获取每个匹配成对的第二特征点的坐标分别在所述depth_image1中的第一深度值和在所述depth_image2中的第二深度值，获取每个第二特征点对应的第二深度值与第一深度值之间的深度值差，move_z＝所述深度值差的平均值。

这里，首先使用每个匹配成对的两个特征点均进行以下处理：获取两个特征点的深度，然后，计算这两个坐标的深度值差。move_z＝mean(depth_{featurePoint2-i}-depth_{featurePoint1-i})，其中，mean()为取平均值函数，depth_{featurePoint2-i}为image2的第i个匹配特征点的深度值，depth_{featur]ePoint1-i}为image1的第i个匹配特征点的深度值，i为正整数；可以理解的是，当有M个匹配成对的特征点时，i取值为1，2，...，M。

本实施例中，所述“生成所述image1对应的深度图depth_image1，生成所述image2对应的深度图depth_image2”具体包括：基于CycleGAN神经网络，生成所述image1对应的深度图depth_image1，并生成所述image2对应的深度图depth_image2。这里，CycleGAN的训练数据不需要一一对应，能够在数据收集和数据预处理上节省很多时间。

本发明实施例二提供了一种用于内窥镜视频的窥镜的运动轨迹的生成装置，包括以下模块：

处理模块，用于对所述内窥镜视频中的任意连续的两个视频帧image1和image2均进行以下处理：获取所述image1和image2之间的旋转角度α，获取所述image1和image2之间的平面移动距离move_x,y，获取所述image1和image2之间的前后移动距离move_z；将平面移动距离move_x,y和前后移动距离move_z映射到匹配应用场景的距离distance_x,y和distance_z，得到image2中的内窥镜镜头相对于image1的空间位置；

汇总模块，用于基于所述内窥镜视频中的第一个视频帧中的内窥镜镜头的位置，以及其余每个视频帧中的内窥镜镜头相对于前一个视频帧的空间位置，得到内窥镜的运动轨迹。

本实施例中，所述处理模块还用于：对所述image1和image2均进行Surf特征点提取处理、并进行Flann特征点匹配处理，从而得到若干匹配成对的第一特征点，对每个匹配成对的第一特征点均计算角度差值，α＝所有角度差值的平均值。

本发明实施例三提供了一种终端，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如实施例一中的生成方法的步骤。

本发明实施例四提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如实施例一中的生成方法的步骤。

需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种用于内窥镜视频的窥镜的运动轨迹的生成方法，其特征在于，包括以下步骤：

对所述内窥镜视频中的任意连续的两个视频帧image1和image2均进行以下处理：获取所述image1和image2之间的旋转角度α，获取所述image1和image2之间的平面移动距离move_x,y，获取所述image1和image2之间的前后移动距离move_z；将平面移动距离move_x,y和前后移动距离move_z映射到匹配应用场景的距离distance_x,y和distance_z，得到image2中的内窥镜镜头相对于image1的空间位置；

基于所述内窥镜视频中的第一个视频帧中的内窥镜镜头的位置，以及其余每个视频帧中的内窥镜镜头相对于前一个视频帧的空间位置，得到内窥镜的运动轨迹。

2.根据权利要求1所述的生成方法，其特征在于，所述“获取所述image1和image2之间的旋转角度α”具体包括：

对所述image1和image2均进行Surf特征点提取处理、并进行Flann特征点匹配处理，从而得到若干匹配成对的第一特征点，对每个匹配成对的第一特征点均计算角度差值，α＝所有角度差值的平均值。

3.根据权利要求2所述的生成方法，其特征在于，所述“获取所述image1和image2之间的平面移动距离move_x,y”具体包括：

对所述image1和image2进行光流跟踪并提取出匹配成对的第二特征点的坐标，对每个匹配成对的第二特征点均计算坐标差值，move_x,y＝所有坐标差值的平均值*cosα。

4.根据权利要求3所述的生成方法，其特征在于，所述“对所述image1和image2进行光流跟踪并提取出匹配成对的第二特征点的坐标”具体包括：

基于Lucas-Kanade方法，对所述image1和image2进行光流跟踪并提取出匹配成对的第二特征点的坐标。

5.根据权利要求4所述的生成方法，其特征在于，所述“获取所述image1和image2之间的前后移动距离move_z”具体包括：

生成所述image1对应的深度图depth_image1，生成所述image2对应的深度图depth_image2，获取每个匹配成对的第二特征点的坐标分别在所述depth_image1中的第一深度值和在所述depth_image2中的第二深度值，获取每个第二特征点对应的第二深度值与第一深度值之间的深度值差，move_z＝所述深度值差的平均值。

6.根据权利要求5所述的生成方法，其特征在于，所述“生成所述image1对应的深度图depth_image1，生成所述image2对应的深度图depth_image2”具体包括：

基于CycleGAN神经网络，生成所述image1对应的深度图depth_image1，并生成所述image2对应的深度图depth_image2。

7.一种用于内窥镜视频的窥镜的运动轨迹的生成装置，其特征在于，包括以下模块：

处理模块，用于对所述内窥镜视频中的任意连续的两个视频帧image1和image2均进行以下处理：获取所述image1和image2之间的旋转角度α，获取所述image1和image2之间的平面移动距离move_x,y，获取所述image1和image2之间的前后移动距离move_z；将平面移动距离move_x,y和前后移动距离move_z映射到匹配应用场景的距离distance_x,y和distance_z，得到image2中的内窥镜镜头相对于image1的空间位置；

汇总模块，用于基于所述内窥镜视频中的第一个视频帧中的内窥镜镜头的位置，以及其余每个视频帧中的内窥镜镜头相对于前一个视频帧的空间位置，得到内窥镜的运动轨迹。

8.根据权利要求7所述的生成装置，其特征在于，所述处理模块还用于：

对所述image1和image2均进行Surf特征点提取处理、并进行Flann特征点匹配处理，从而得到若干匹配成对的第一特征点，对每个匹配成对的第一特征点均计算角度差值，α＝所有角度差值的平均值。

9.一种终端，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述的生成方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的生成方法的步骤。

Images