CN116320763B - 基于内窥镜的图像处理方法、装置、电子设备及存储介质 - Google Patents

基于内窥镜的图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116320763B
CN116320763B CN202310580925.7A CN202310580925A CN116320763B CN 116320763 B CN116320763 B CN 116320763B CN 202310580925 A CN202310580925 A CN 202310580925A CN 116320763 B CN116320763 B CN 116320763B
Authority
CN
China
Prior art keywords
track
endoscope
image
target
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310580925.7A
Other languages
English (en)
Other versions
CN116320763A (zh
Inventor
黎文富
蒙均
张广平
梁天有
王良锋
黎文全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jeet Technology Co ltd
Original Assignee
Shenzhen Jeet Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jeet Technology Co ltd filed Critical Shenzhen Jeet Technology Co ltd
Priority to CN202310580925.7A priority Critical patent/CN116320763B/zh
Publication of CN116320763A publication Critical patent/CN116320763A/zh
Application granted granted Critical
Publication of CN116320763B publication Critical patent/CN116320763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

本申请适用于图像处理技术领域,提供了基于内窥镜的图像处理方法、装置、电子设备及存储介质,方法包括:获取目标对象的检测引导信息;基于检测场景类型对应的轨迹校正算法,对内窥镜通往目标对象内的目标检测区域的初始移动轨迹进行校正,得到期望移动轨迹;控制内窥镜沿期望移动轨迹移动,并在期望移动轨迹上预设的多个图像采集节点获取采集图像,并确定内窥镜的实际移动轨迹;根据实际移动轨迹合并多个采集图像,得到目标检测图像;目标检测图像用于生成目标检测区域的检测报告。采用上述方法能够实现对多个拍摄局域区域内容的采集图像进行合并,得到整体区域的目标检测图像,提高了检测的准确性的同时,也能够减少图像拼接的难度。

Description

基于内窥镜的图像处理方法、装置、电子设备及存储介质
技术领域
本申请属于数据处理技术领域,尤其涉及基于内窥镜的图像处理方法、装置、电子设备及存储介质。
背景技术
随着设备技术的不断发展,越来越多设备朝着精密化的方向发展。而对于精密的设备其对于密封性的要求较高,因此,在不破坏设备原本密封性的情况下,如何有效准确地对设备进行检修,成为了设备管理的关注重点。现有的设备管理技术,在对密封性要求较高的设备进行检修时,可以采用内窥镜的方式在设备内进行图像采集,通过控制内窥镜在设备内置的管道或通道内移动,以到达对应的检测区域进行图像采集,并基于采集得到的图像对设备进行检修。
现有的内窥镜控制技术,由于内窥镜在设备内采集图像时,其视野较窄,往往只能获取到局部区域的图像,为了确定检测区域的实际情况需要调整内窥镜的拍摄位姿,以获取多个图像,并对多个图像进行拼接,以确定检测区域的整体区域的图像。然而由于内窥镜在设备内检测位置不固定,用户在获取得到多个局域图像后,无法较好地将上述图像进行拼接,从而大大增加了后续检测分析的难度,也降低了生物体内检测的准确性。
发明内容
本申请实施例提供了一种基于内窥镜的图像处理方法、装置、电子设备及存储介质,可以解决现有的基于内窥镜的图像处理技术,由于内窥镜在设备内检测位置不固定,用户在获取得到多个局域图像后,无法较好地将上述图像进行拼接,从而大大增加了后续检测分析的难度,也降低了生物体内检测的准确性。
第一方面,本申请实施例提供了一种基于内窥镜的图像处理方法,包括:
获取目标对象的检测引导信息;所述检测引导信息包含所述目标对象的内部结构图以及检测场景类型;
基于所述检测场景类型对应的轨迹校正算法,对内窥镜通往目标对象内的目标检测区域的初始移动轨迹进行校正,得到期望移动轨迹;所述初始移动轨迹是基于所述内部结构图生成的;
控制所述内窥镜沿所述期望移动轨迹移动,并在所述期望移动轨迹上预设的多个图像采集节点获取采集图像,并确定所述内窥镜的实际移动轨迹;
根据所述实际移动轨迹合并多个所述采集图像,得到目标检测图像;所述目标检测图像用于生成所述目标检测区域的检测报告。
在第一方面的一种可能的实现方式中,所述检测场景类型包括所述目标对象的运动状态类型以及应用地点类型;
所述基于所述检测场景类型对应的轨迹校正算法,对内窥镜通往目标对象内的目标检测区域的初始移动轨迹进行校正,得到期望移动轨迹;所述初始移动轨迹是基于所述内部结构图生成的,包括:
若所述运动状态类型为静止状态类型,则根据所述目标对象的对象类型,确定第一振动系数;所述第一振动系数为所述目标对象处于静置状态和/或运行状态下的振动系数;
基于所述应用地点类型内包含的关联对象个数,确定第二振动系数;
基于所述第一振动系数以及所述第二振动系数,得到所述目标对象的第一轨迹校正算法;所述第一轨迹校正算法用于调整所述初始移动轨迹;
若所述运动状态类型为移动运行类型,则根据所述目标对象在所述移动运行类型中的行驶速度,确定在所述目标对象的行驶轨迹中各个轨迹点的加速度向量;
基于所述内窥镜对应的期望检测时长,确定所述内窥镜检测过程中与所述行驶轨迹的重合轨迹段;
基于所述重合轨迹段各个所述轨迹点的加速度向量,生成第二轨迹校正算法;所述第二轨迹校正算法用于调整所述初始移动轨迹。
在第一方面的一种可能的实现方式中,所述基于所述检测场景类型对应的轨迹校正算法,对内窥镜通往目标对象内的目标检测区域的初始移动轨迹进行校正,得到期望移动轨迹,包括:
从预设的对象模型库内选取与所述目标对象的对象类型匹配的通用对象模型;所述通用对象模型包含所述目标检测区域的区域模型;
基于所述内部结构图,确定通往所述目标检测区域的至少一条目标路径;
根据所述目标对象的使用记录,分别生成各个所述目标路径对应的异物残留概率函数,并通过所述异物残留概率函数分别计算所述目标路径上任一位置的异物残留概率;所述异物残留概率函数具体为:
其中,DisPR(pst)为所述目标路径上任一位置的异物残留概率;Curv(pst)为所述任一位置的弯度曲率;BaseCurv为基础曲率;Currtime为当前时间;Tgtime(i)为第i个使用记录的记录时间;Viscty(i)为第i个使用记录中经过所述任一位置的物体的粘度系数;N为所述使用记录的总数;
基于各个所述目标路径的所述异物残留概率更新所述通用对象模型,得到所述目标对象的期望对象模型;
基于所述期望对象模型,分别计算各个所述目标路径的推荐系数;
选取所述推荐系数最高的所述目标路径作为所述初始移动轨迹。
在第一方面的一种可能的实现方式中,所述控制所述内窥镜沿所述期望移动轨迹移动,并在所述期望移动轨迹上预设的多个图像采集节点获取采集图像,并确定所述内窥镜的实际移动轨迹,包括:
基于在采集过程中获取的所述采集图像,确定所述目标检测区域中所述采集图像对应位置的实际通行孔径;
根据所述位置的所述可通行孔径与所述实际通行孔径,计算所述采集图像对应位置的预测偏差值;
若所述预测偏差值大于预设偏差阈值,则基于所述预测偏差值调整所述异物残留概率函数;
基于调整后异物残留概率函数,调整所述采集图像对应位置后的期望移动轨迹;
基于调整后的期望移动轨迹,控制所述内窥镜在所述目标对象在目标检测区域移动。
在第一方面的一种可能的实现方式中,所述控制所述内窥镜沿所述期望移动轨迹移动,并在所述期望移动轨迹上预设的多个图像采集节点获取采集图像,并确定所述内窥镜的实际移动轨迹,包括:
若检测到基于所述期望移动轨迹控制所述内窥镜移动时所述内窥镜的可视距离小于预设的距离阈值,则向所述内窥镜发送移动调整指令,以调整所述内窥镜的移动方向;
基于调整后的移动方向更新所述期望移动轨迹,并基于更新后的期望移动轨迹控制所述内窥镜移动;
基于移动过程中的所有所述移动调整指令以及更新后的期望移动轨迹,生成所述实际移动轨迹。
在第一方面的一种可能的实现方式中,所述根据所述实际移动轨迹合并多个所述采集图像,得到目标检测图像,包括:
确定各个所述采集图像在所述实际移动轨迹内对应的拍摄坐标以及拍摄角度;
基于各个所述拍摄坐标在所述实际移动轨迹中的位置次序,确定各个所述采集图像的拼接次序;
基于相邻拼接次序之间拍摄坐标之间的位移向量以及角度偏转向量,合并相邻拍摄次序之间的所述采集图像,得到拼接图像;
将对所述实际移动轨迹上所有拍摄坐标合并后的所述拼接图像,作为所述目标检测图像。
在第一方面的一种可能的实现方式中,所述基于相邻拼接次序之间拍摄坐标之间的位移向量以及角度偏转向量,合并相邻拍摄次序之间的所述采集图像,得到拼接图像,包括:
确定相邻拍摄次序之间的两个所述采集图像间的图像重合区域;所述图像重合区域包含前一拍摄次序的采集图像对应的第一重合区域与后一拍摄次序的采集图像对应的第二重合区域;
根据所述内窥镜在所述位移向量移动时的移动速度,计算畸变系数;
基于所述畸变系数调整所述图像重合区域;
基于调整后的图像重合区域合并所述相邻拍摄次序之间的所述采集图像,得到所述拼接图像。
第二方面,本申请实施例提供了一种基于内窥镜的图像处理装置,包括:
检测引导信息获取单元,用于获取目标对象的检测引导信息;所述检测引导信息包含所述目标对象的内部结构图以及检测场景类型;
期望移动轨迹生成单元,用于基于所述检测场景类型对应的轨迹校正算法,对内窥镜通往目标对象内的目标检测区域的初始移动轨迹进行校正,得到期望移动轨迹;所述初始移动轨迹是基于所述内部结构图生成的;
实际移动轨迹生成单元,用于控制所述内窥镜沿所述期望移动轨迹移动,并在所述期望移动轨迹上预设的多个图像采集节点获取采集图像,并确定所述内窥镜的实际移动轨迹;
目标检测图像生成单元,用于单元,用于根据所述实际移动轨迹合并多个所述采集图像,得到目标检测图像;所述目标检测图像用于生成所述目标检测区域的检测报告。
第三方面,本申请实施例提供了一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面任一项所述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面任一项所述的方法。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在服务器上运行时,使得服务器执行上述第一方面中任一项所述的方法。
本申请实施例与现有技术相比存在的有益效果是:通过在控制内窥镜进入目标对象的目标检测区域之前,可以获取该目标对象的检测引导信息,根据检测引导信息中的内部结构图生成内窥镜进入目标检测区域的期望移动轨迹,并控制内窥镜基于该期望移动轨迹进行移动,从而能够实现有序控制内窥镜在目标对象已有通道内移动的目的,以实时确定内窥镜的位姿,继而在移动的过程中获取目标检测区域内的多个采集图像,并生成对应的实际移动轨迹,由于已经确定内窥镜的实际移动轨迹,因此可以确定在获取各个采集图像时内窥镜的位姿,因此可以基于实际移动轨迹对各个采集图像进行合并,得到目标检测图像,从而实现采集目标对象在目标检测区域内整体情况的图像。与现有的内窥镜控制技术相比,本申请实施例由于获取采集图像时内窥镜是基于期望移动轨迹移动的,即内窥镜的位姿是可预测的,因此最后可以根据实际移动轨迹对采集图像进行合并,从而实现了对多个拍摄局域区域内容的采集图像进行合并,得到整体区域的目标检测图像,提高了检测的准确性的同时,也能够减少图像拼接的难度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的内窥检测系统的结构示意图;
图2是本申请实施例提供的一种基于内窥镜的图像处理方法的实现示意图;
图3是本申请一实施例提供的采集图像的拼接示意图;
图4是本申请第二实施例提供的一种基于内窥镜的图像处理方法在S202的具体实现流程图;
图5是本申请第三实施例提供的一种基于内窥镜的图像处理方法S203的具体实现流程图;
图6是本申请一实施例提供的期望移动轨迹的调整示意图;
图7是本申请第四实施例提供的一种基于内窥镜的图像处理方法S203的具体实现流程图;
图8是本申请第五实施例提供的一种基于内窥镜的图像处理方法S204的具体实现流程图;
图9是本申请实施例提供的评价报告的生成装置的结构示意图;
图10是本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
本申请实施例提供的评价报告的生成方法可以应用于服务器、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本等能够对图像数据进行处理的电子设备上。本申请实施例对电子设备的具体类型不作任何限制。特别地,该电子设备可以为一具有图像处理能力的内窥镜,该内窥镜可以基于预设的期望移动轨迹移动,并采集移动过程中的采集图像,对采集图像进行拼接,以得到目标检测区域的目标检测图像。
示例性地,图1示出了本申请一实施例提供的内窥检测系统的结构示意图,参见图1所示,该内窥检测系统包括有一内窥镜11以及用于图像处理的电子设备12。其中,该内窥镜11可以通过有线方式或无线方式与电子设备12建立通信连接。在内窥镜11通过有线方式与电子设备12建立通信连接的情况下,该内窥镜的可配置有引线,用户可以通过该引线与内窥镜连接处的传动部件,控制内窥镜朝指定方向移动;在内窥镜11通过无线方式与电子设备12建立通信连接的情况下,该内窥镜可以不配置有引线,而是可以通过其内部配置有的传动部件,控制其在设备内移动,已到达预设的目标检测区域并获取对应的采集图像,在此不对内窥镜的形态和功能进行限定。
其中,上述进行检测的设备(即上述的目标对象)可以为固定放置的设备,如电力能源设备,包括风力发电设备、水电发电设备以及核电发电设备等;上述进行检修的设备还可以包括可移动的设备,如飞机、卫星等,具体可检修设备的类型在此不一一限定。
请参阅图2,图2示出了本申请实施例提供的一种基于内窥镜的图像处理方法的实现示意图,该方法包括如下步骤:
在S201中,获取目标对象的检测引导信息;所述检测引导信息包含所述目标对象的内部结构图以及检测场景类型。
在本实施例中,电子设备在控制内窥镜采集目标对象的目标检测区域内的采集图像之前,可以获取该目标对象的检测引导信息,以根据该目标对象的检测引导信息生成对应的期望移动轨迹,以通过期望移动轨迹控制内窥镜在目标对象的设备内移动。其中,该检测引导信息包括该目标对象的内部结构图,由于部分设备需要通过管线或通道等传输相关的物料以及资源,例如进水通道、汽油通道以及输电线的布放管道等,内窥镜鉴于其体积较小,可以在上述管线以及通道中移动,以移动至所需检测的目标检测区域,因此通过获取目标对象的内部结构图,可以确定该目标对象内部管线以及管道的分布情况。
在一种可能的实现方式中,电子设备可以根据该目标对象的设备型号,从设备数据库中下载与该设备型号关联的内部结构图。其中,各个待检测设备(即后续的目标对象)在需要进行检测时,可以将其设备关联的内部结构图上传至上述的设备数据库,记得电子设备在对目标对象进行检测时,可以从上述的设备数据库中下载其对应的内部结构图,并生成对应的检测引导信息。
在本实施例中,上述检测引导信息还包括有检测场景类型,该检测场景类型用于确定本次检测过程中,该目标对象的运行场景情况。由于在部分应用场景中,部分设备无法断电进行检修,即目标对象可能处于运行状态,在该情况下,不同状态下其对应的检测轨迹会存在差异,为了提高期望移动轨迹确定的准确性,电子设备需要确定目标对象在检测时的检测场景类型,确定其运行状态、环境类型等相关信息。
在S202中,基于所述检测场景类型对应的轨迹校正算法,对内窥镜通往目标对象内的目标检测区域的初始移动轨迹进行校正,得到期望移动轨迹;所述初始移动轨迹是基于所述内部结构图生成的。
在本实施例中,电子设备在获取得到目标对象的检测引导信息后,会提取该对象信息中的内部结构图,基于该内部结构图确定通往目标对象中目标检测区域的初始移动轨迹。由于检测场景类型会一定程度影响路径的选择,并且设备运行或检测环境的震动等,会影响轨迹规划,会产生一定的位移偏差,为了修正上述因环境带来的偏差,电子设备可以额根据上述的检测场景类型,构建与之对应的轨迹校正算法,并通过尬轨迹校正算法调整原本生成的初始移动轨迹,继而将修正后的初始移动轨迹作为期望移动轨迹。
在一种可能的实现方式中,电子设备可以基于上述的内部结构图,构建目标对象的虚拟对象模型,并基于目标检测区域确定在目标对象中的检测入口,并以检测入口为起点,目标检测区域为终点,基于虚拟对象模型内的设备体内构造生成上述起点至终点之间的期望移动路径。
在一种可能的实现方式中,若检测入口至目标检测区域存在多条可选移动轨迹,则获取各个可选移动轨迹中的轨迹特征信息,基于所述轨迹特征信息计算各个可选移动轨迹的推荐系数,并选取推荐系数最高的一个可选移动轨迹作为期望移动轨迹。其中,上述轨迹特征信息包括:轨迹长度、轨迹最小径宽、轨迹最大径宽以及轨迹弯道数量等,根据上述轨迹特征信息中各个项目预设的权重值,可以导入到预设的推荐系数转换算法,计算得到可移动轨迹的推荐系数,其中,推荐系数越高,则内窥镜到达目标检测区域的难度越低;反之,推荐系数越低,则内窥镜到达目标检测区域的难度越高,因此可以从多个可选移动轨迹中选择合适的轨迹作为期望移动轨迹。
在S203中,控制所述内窥镜沿所述期望移动轨迹移动,并在所述期望移动轨迹上预设的多个图像采集节点获取采集图像,并确定所述内窥镜的实际移动轨迹。
在本实施例中,电子设备在确定了期望移动轨迹后,可以确定该期望移动轨迹内轨迹起点,并将内窥镜从上述轨迹起点进入目标对象的设备内,继而可以控制内窥镜在目标对象的体内沿上述的期望移动轨迹移动。
在一种可能的实现方式中,内窥镜可以配置有传动部件,电子设备可以根据期望移动轨迹向内窥镜发送相应的移动指令,内窥镜在接收到上述移动指令后,可以朝着指定的方向移动。若内窥镜没有配置有传动部件,而是配置有对应的控制引线,则电子设备可以控制引线伸长或缩短,以及旋转等,控制内窥镜移动。
在本实施例中,内窥镜可以配置有摄像头,电子设备在控制内窥镜沿上述期望移动轨迹移动的过程中,可以在期望移动轨迹上配置有多个图像采集点,若检测到内窥镜到达期望移动轨迹上对应的图像采集点时,可以向内窥镜发送图像采集指令,内窥镜在接收到图像采集指令时,通过摄像头获取对应的采集图像,并将采集图像反馈给电子设备。
在一种可能的实现方式中,为了实时对内窥镜的移动位姿进行调整,内窥镜在移动过程中会实时反馈采集得到的视频画面,并将视频画面反馈给电子设备,电子设备可以根据该视频图像调整内窥镜的移动位姿,并根据调整的内容更新期望移动轨迹,从而生成对应的实际移动轨迹。
在一种可能的实现方式中,内窥镜内还可以配置有对应的运动传感器,如陀螺仪、加速度传感器或角速度传感器等,并将运动传感器采集得到的运动数据反馈给电子设备,电子设备可以根据运动数据构建内窥镜在目标对象的设备内的实际移动轨迹。
在S204中,根据所述实际移动轨迹合并多个所述采集图像,得到目标检测图像;所述目标检测图像用于生成所述目标检测区域的检测报告。
在本实施例中,内窥镜在获取上述采集图像的过程中,是根据电子设备的期望移动轨迹在移动过程中采集的,因此,每个采集图像可以关联有对应的期望采集位置,电子设备可以在期望移动轨迹上标记上述的期望采集位置,并基于期望移动轨迹与实际移动轨迹之间的轨迹偏差,确定期望采集位置在实际移动轨迹上对应的实际采集位置,从而可以确定内窥镜在拍摄该采集图像时的实际位姿,并基于各个采集图像在目标检测区域内的实际位姿,确定各个采集图像的拼接顺序以及拼接位置,继而将多个采集图像进行图像拼接,得到目标检测图像。其中,上述目标检测图像可以用于还原检测时整个管道的情况,以确定路径上是否存在异物、腐蚀、缺口以及损坏等异常情况,以便进行后续的设备检修以及维护。
示例性地,图3示出了本申请一实施例提供的采集图像的拼接示意图。参见图3中的(a)所示,内窥镜在位置1~3分别获取了三个采集图像,分别为图像1~图像3,电子设备可以确定采集图像在实际移动轨迹中的位置,即位置1~3,从而确定了各个采集图像之间的拼接顺序以及相互之间的拼接方位,从而可以将上述三个图像进行拼接合并,得到目标检测图像,如图3中的(b)所示。
在一种可能的实现方式中,在获取得到目标检测图像后,电子设备可以通过预设的图像处理算法对上述的目标检测图像进行处理,例如通过轮廓识别算法提取该目标检测图像中携带有的轮廓信息,并基于轮廓信息生成该目标检测区域的检测报告。当然,若通过轮廓信息检测到目标检测区域内存在异物,则可以输出对应的异常提示信息,以进行相应的异常响应操作。
由于在进行设备检修时,需要判断目标检测区域内部是否存在异物或在检测目标检测区域内的设备部件与正常状态的部件之间是否存在差异,因此可以将得到的目标检测图像与目标检测区域对应的标准检测图像进行比对,以识别异物以及异常部件,并基于上述两项内容生成对应的检测报告,以便运维人员可以基于上述的检测报告修理上述的目标对象。
以上可以看出,本申请实施例提供的一种基于内窥镜的图像处理方法通过在控制内窥镜进入目标对象的目标检测区域之前,可以获取该目标对象的检测引导信息,根据检测引导信息中的内部结构图生成内窥镜进入目标检测区域的期望移动轨迹,并控制内窥镜基于该期望移动轨迹进行移动,从而能够实现有序控制内窥镜在目标对象已有通道内移动的目的,以实时确定内窥镜的位姿,继而在移动的过程中获取目标检测区域内的多个采集图像,并生成对应的实际移动轨迹,由于已经确定内窥镜的实际移动轨迹,因此可以确定在获取各个采集图像时内窥镜的位姿,因此可以基于实际移动轨迹对各个采集图像进行合并,得到目标检测图像,从而实现采集目标对象在目标检测区域内整体情况的图像。与现有的内窥镜控制技术相比,本申请实施例由于获取采集图像时内窥镜是基于期望移动轨迹移动的,即内窥镜的位姿是可预测的,因此最后可以根据实际移动轨迹对采集图像进行合并,从而实现了对多个拍摄局域区域内容的采集图像进行合并,得到整体区域的目标检测图像,提高了检测的准确性的同时,也能够减少图像拼接的难度。
图4示出了本申请第二实施例提供的一种基于内窥镜的图像处理方法在S202的具体实现流程图。参见图4,相对于图2所述实施例,本实施例提供的一种基于内窥镜的图像处理方法中在S202包括:S401~S411,具体详述如下:
进一步地,所述检测场景类型包括所述目标对象的运动状态类型以及应用地点类型;
其中,确定初始移动轨迹具体包括S401~S405,具体描述如下:
在S401中,从预设的对象模型库内选取与所述目标对象的对象类型匹配的通用对象模型;所述通用对象模型包含所述目标检测区域的区域模型。
在本实施例中,对象模型库可以存储于一数据库服务器内,该数据库服务器可以为上述的电子设备,也可以为独立于上述电子设备外的其他服务器。电子设备可以确定目标对象的对象类型,该对象类型可以为目标对象的设备型号、设备标识码(如物理地址或网络地址等),根据对象类型从对象模型库内提取与之对应的通用对象模型。由于该通用对象模型并未根据目标对象进行个性化的模型调整,其内部通道与实际情况存在一定差异,因此需要通过后续步骤对通用对象模型进行调整,以提高模型的准确性。
在S402中,基于所述内部结构图,确定通往所述目标检测区域的至少一条目标路径。
在本实施例中,电子设备在确定了目标对象的通用对象模型后,可以通过内部结构图对通用对象模型的内部情况进行补全,继而可以根据补全后的通用对象模型,确定至少一个检测入口,并根据确定的检测入口,确定通往目标检测区域的目标路径,该目标路径是由任意一个检测人口通过内部结构图内置的管道或通道通往目标检测区域的路径。
在S403中,根据所述目标对象的使用记录,分别生成各个所述目标路径对应的异物残留概率函数,并通过所述异物残留概率函数分别计算所述目标路径上任一位置的异物残留概率;所述异物残留概率函数具体为:
其中,DisPR(pst)为所述目标路径上任一位置的异物残留概率;Curv(pst)为所述任一位置的弯度曲率;BaseCurv为基础曲率;Currtime为当前时间;Tgtime(i)为第i个使用记录的记录时间;Viscty(i)为第i个使用记录中经过所述任一位置的物体的粘度系数;N为所述使用记录的总数。
在本实施例中,在设备运行的过程中,部分管道或通道可能需要运输相关的物料或能源,在使用过程中,相关的物料或能源可能会附着于管道壁上,或者相关的物料或能源经过管道时,可能会产生相关的异物,如水垢、油垢或物料残留附着于管道壁上,从而影响管道实际可通行的孔径大小,基于此,电子设备可以获取目标对象的多个使用记录,并根据使用记录确定目标路径上各个位置对应的异物残留概率。
在本实施例中,电子设备会分别计算各个使用记录对于异物残留概率对应的权重,其中权重是根据该使用记录与当前时间之间的差值以及其流经管道的物料的粘度系数等因素确定的,由于粘度系数还与该位置对应的曲率相关,若曲率越大,其黏附于管道壁上的概率则越大,且两者呈非线性关系,因此可以通过指数函数以及对数函数对上述的比例关系进行模拟,从而可以计算得到目标路径上各个位置对应的异物残留函数,通过上述异物残留函数可以计算得到各个位置对应的异物残留概率。
在S404中,基于各个所述目标路径的所述异物残留概率更新所述通用对象模型,得到所述目标对象的期望对象模型;所述期望对象模型用于确定各个位置的可通行孔径。
在本实施例中,电子设备可以通过上述异物残留函数,计算目标路径上各个位置的异物残留概率,通过所有位置的异物残留概率确定异物厚度,并通过异物厚度调整目标路径上内部的可通行孔径,并基于目标路径上各个位置的可通行孔径更新上述的通用对象模型,从而得到与目标对象的使用情况相匹配的期望对象模型,即实现对孔径的前置预测。
在S405中,基于所述期望对象模型,分别计算各个所述目标路径的推荐系数。
在S406中,选取所述推荐系数最高的所述目标路径作为所述初始移动轨迹。
在本实施例中,电子设备可以分别获取各个目标路径中的路径特征信息,基于所述路径特征信息计算各个目标路径的推荐系数,并选取推荐系数最高的一个目标路径作为初始移动轨迹。其中,上述路径特征信息包括:路径长度、路径最小径宽、路径最大径宽以及轨迹弯道数量等,其中,上述路径孔宽大小是根据异物残留概率确定实际孔径后确定的。电子设备可以根据上述路径特征信息中各个项目预设的权重值,可以导入到预设的推荐系数转换算法,计算得到目标路径的推荐系数,其中,推荐系数越高,则内窥镜到达目标检测区域的难度越低;反之,推荐系数越低,则内窥镜到达目标检测区域的难度越高,因此可以从多个目标路径中选择合适的路径作为初始移动轨迹。
在本申请实施例中,通过考虑使用过程中物料在管壁上的残留而影响内窥镜移动时的实际孔径,继而选取合适的路径作为初始移动轨迹,能够提高后续内窥镜移动的安全性以及可行性,继而提高了检修效率,避免重复修正路径寻找新的移动轨迹情况的发生。
进一步地,作为本申请的另一实施例,基于初始移动轨迹生成期望移动轨迹包括S407~S412,具体描述如下:
在S407中,若所述运动状态类型为静止状态类型,则根据所述目标对象的对象类型,确定第一振动系数;所述第一振动系数为所述目标对象处于静置状态和/或运行状态下的振动系数。
在本实施例中,若目标对象处于非移动状态,即其运行或检修时其处于静止状态下,其对应的运动状态类型即为静止类型状态,即目标对象固定于某一位置进行检修,在该情况下,内窥镜在目标对象的设备内移动时,并不会出现因加速度或速度的原因,引起移动时的轨迹偏离,但部分工作环境存在较大的环境振动,会影响内窥镜在设备内移动,为了确定环境振动对于内窥镜移动的影响,电子设备可以获取该目标对象的对象类型,确定该对象类型对应的基础运动振动情况,即上述的第一振动系数。其中,若设备处于运动状态,则可以对应一个第一振动系数,而设备处于静止状态下,可能会受环境影响,如停泊于海上的船只,或处于水流附近的水力发电机等,其环境存在一定的振动,即便处于静止状态,仍存在一定的环境振动,此时可以对应另外一个第一振动系数。
在S408中,基于所述应用地点类型内包含的关联对象个数,确定第二振动系数。
在本实施例中,电子设备可以通过检测场景类型中的应用地点类型,确定目标对象的安装位置,并确定该安装位置中包含的其他设备的数量,其中,选择安装位置在目标对象预设距离范围内的其他设备作为该目标对象的关联对象,并确定各个关联对象的基础振动系数,根据距离目标对象的距离以及上述的基础振动系数,对多个关联对象进行系数叠加,从而计算得到上述的第二振动系数。
在S409中,基于所述第一振动系数以及所述第二振动系数,得到所述目标对象的第一轨迹校正算法;所述第一轨迹校正算法用于调整所述初始移动轨迹。
在本实施例中,电子设备在确定了因目标对象自身原因的第一振动系数以及因环境内其他设备而造成的第二振动系数后,可以根据上述两个系数确定振动影响因子,并基于该振动影响因子确定对于初始移动轨迹的影响,从而生成对应的第一轨迹校正算法,并通过第一轨迹校正算法调整上述的初始移动轨迹。
在S410中,若所述运动状态类型为移动运行类型,则根据所述目标对象在所述移动运行类型中的行驶速度,确定在所述目标对象的行驶轨迹中各个轨迹点的加速度向量。
在本实施例中,若目标对象处于移动状态,即其运动状态类型为移动运行类型,则表示目标对象会因为运动过程中加速度的变化,影响内窥镜在目标对象的设备内移动轨迹,在该情况下,电子设备会确定目标对象的行驶速度,并根据初始移动轨迹中各个轨迹点对应的曲率,确定以该行驶速度时对应的离心力或向心力大小,从而得到对应的加速度向量。
在S411中,基于所述内窥镜对应的期望检测时长,确定所述内窥镜检测过程中与所述行驶轨迹的重合轨迹段。
在本实施例中,由于内窥镜在目标对象的设备内检测需要一定的检测时长,而该检测过程会与目标对象原本行驶轨迹的部分路段重合,因此电子设备可以根据内窥镜的期望检测时长,目标对象的行驶轨迹中确定出对应的重合轨迹段,该重合轨迹段的移动时长即为上述的期望检测时长。
在S412中,基于所述重合轨迹段各个所述轨迹点的加速度向量,生成第二轨迹校正算法;所述第二轨迹校正算法用于调整所述初始移动轨迹。
在本实施例中,电子设备在确定了重合轨迹段后,可以确定上述重合轨迹段中各个轨迹点的加速度向量,由于加速度会影响内窥镜沿初始轨迹移动,因此可以基于所有轨迹点的加速度向量,生成对应的第二轨迹校正算法,从而能够通过第二轨迹校正算法调整上述的初始移动轨迹,以消除因加速度向量对于轨迹偏移的影响。
在本申请实施例中,根据不同的运动状态确定不同的轨迹校正算法,以对初始移动轨迹进行校正,从而能够提高期望移动轨迹的准确性。
图5示出了本申请第三实施例提供的一种基于内窥镜的图像处理方法S203的具体实现流程图。参见图5,相对于图4所述实施例,本实施例提供的一种基于内窥镜的图像处理方法中S203包括:S2031~S2035,具体详述如下:
在S2031中,基于在采集过程中获取的所述采集图像,确定所述目标检测区域中所述采集图像对应位置的实际通行孔径;
在本实施例中,电子设备在控制内窥镜在目标对象的体内进行移动的过程中,可以随时调整上述的期望对象模型。由于上述的异物残留概率函数均是基于使用记录进行大数据统计后生成的,即上述的函数并未基于目标对象的实际体内情况进行调整,为了能够提高期望移动轨迹的准确性,实现对内窥镜的精准控制,电子设备可以基于获取到的采集图像,确定期望移动轨迹中当前拍摄位置的实际通行孔径,以确定之前的预测与实际情况是否吻合。
在一种可能的实现方式中,电子设备在获取得到采集图像后,可以根据采集图像在获取时内窥镜位姿,对采集图像进行图像畸变修正,以得到角度修正图像。由于在获取采集图像时,由于拍摄角度的不同,会影响对实际通行孔径的确定,基于此,电子设备可以对采集图像进行图像畸变修正,以提高确定的实际通行孔径的准确性。
在S2032中,根据所述位置的所述可通行孔径与所述实际通行孔径,计算所述采集图像对应位置的预测偏差值;
在本实施例中,电子设备可以根据期望对象模型确定拍摄采集图像对应位置的可通行孔径,并将基于采集图像确定的实际通行孔径进行偏差计算,即计算上述两个数值的差值,得到采集图像对应位置的预测偏差值。其中,电子设备可以将可通行孔径与实际通行孔径之间的差值的绝对性,作为上述的预测偏差值。
在一种可能的实现方式中,若预测偏差值小于或等于预设偏差阈值,则表示期望对象模型与目标对象的体内的实际情况吻合,因此无需调整期望对象模型,且基于期望对象模型生成的期望移动轨迹较为准确,在该情况下可以继续沿期望移动轨迹控制内窥镜移动。
在S2033中,若所述预测偏差值大于预设偏差阈值,则基于所述预测偏差值调整所述异物残留概率函数;
在本实施例中,由于实际通行孔径与可通行孔径之间的预测偏差值大于预设偏差阈值,则表示期望对象模型与目标对象的实际体内结构存在一定的差异,因此需要对期望对象模型进行调整更新,以得到更为准确的期望移动轨迹。电子设备可以对采集图像进行进一步的图像解析,确定采集图像中的实际异物分布区域,并基于上述异物分布情况对异物残留概率函数进行调整。
在S2034中,基于调整后的异物残留概率函数,调整所述采集图像对应位置后的期望移动轨迹;
在本实施例中,电子设备可以根据异物残留概率函数,分别计算采集图像位置后,其他位置的可通行孔径,并基于调整后的可通行孔径更新目标对象的期望对象模型,并基于调整后的期望对象模型,重新生成采集图像对应位置后的期望移动轨迹。
示例性地,图6示出了本申请一实施例提供的期望移动轨迹的调整示意图。轨迹1为调整前的期望移动轨迹,在位置1内窥镜将采集图像反馈给电子设备,并电子设备检测到该位置1的可通行孔径与实际通行孔径之间存在差异,基于此,电子设备会对期望对象模型进行更新,并重新指定调整后的期望移动轨迹,即轨迹2。
在S2035中,基于调整后的期望移动轨迹,控制所述内窥镜在所述目标对象在目标检测区域移动。
在本实施例中,电子设备可以基于调整后的期望移轨迹,继续控制内控制移动,并在移动过程中继续获取采集图像,并循环上述各个步骤,以实现实时调整期望移动轨迹的目的,提高了移动控制的准确性。
图7示出了本申请第四实施例提供的一种基于内窥镜的图像处理方法S203的具体实现流程图。参见图7,相对于图2所述实施例,本实施例提供的一种基于内窥镜的图像处理方法中S203包括:S2036~S2038,具体详述如下:
在S2036中,若检测到基于所述期望移动轨迹控制所述内窥镜移动时所述内窥镜的可视距离小于预设的距离阈值,则向所述内窥镜发送移动调整指令,以调整所述内窥镜的移动方向。
在本实施例中,电子设备在控制内窥镜在目标对象的体内移动时,为了减少因碰撞对目标对象设备内管道以及管线的损伤,或影响目标对象的正常运行,电子设备在检测到内窥镜靠近管线或管道的内壁时,则会控制内窥镜移动,因此,若检测到内窥镜的可视距离小于预设的距离阈值,则表示内窥镜靠近目标对象的管线或管道的内壁,此时会向内窥镜发送对应的移动调整指令,以调整内窥镜的移动方向。需要说明的是,若内窥镜沿预设的期望移动轨迹移动时,其可视距离会大于或等于上述的距离阈值,在该情况下,内窥镜只需按照期望移动轨迹移动即可,而在检测到可视距离小于上述的距离阈值,则表示期望移动轨迹与实际移动轨迹之间存在偏差,此时需要发送移动调整指令,以改变内窥镜的移动方向。
在S2037中,基于调整后的移动方向更新所述期望移动轨迹,并基于更新后的期望移动轨迹控制所述内窥镜移动。
在S2038中,基于移动过程中的所有所述移动调整指令以及更新后的期望移动轨迹,生成所述实际移动轨迹。
在本实施例中,电子设备在向内窥镜发送移动调整指令后,由于与原有的移动轨迹之间发生了一定程度的偏移,因此会根据新的移动方向,调整期望移动轨迹,最后基于所有调整移动方向的操作,以及更新后的期望移动轨迹,得到内窥镜在目标对象体内移动的实际移动轨迹。
在本申请实施例中,在检测到移动环境异常的情况下,能够向内窥镜发送对应的移动调整指令,以避免因内窥镜移动对目标对象设备内的管线或管道的内壁造成损伤,且可视距离较短也不利于后续采集图像的获取,提高了检测准确性的同时,保证了采集动作的安全性。
图8示出了本申请第五实施例提供的一种基于内窥镜的图像处理方法S204的具体实现流程图。参见图8,相对于图3所述实施例,本实施例提供的一种基于内窥镜的图像处理方法中S204包括:S2041~S2044,具体详述如下:
在S2041中,确定各个所述采集图像在所述实际移动轨迹内对应的拍摄坐标以及拍摄角度。
在本实施例中,由于内窥镜是基于期望移动轨迹移动的,在获取采集图像时,可以关联有对应的轨迹坐标点。电子设备可以根据在期望移动轨迹上的轨迹坐标点以及内窥镜反馈的实际移动轨迹,在实际移动轨迹上确定轨迹坐标点对应的实际坐标点,并基于该实际坐标点确定拍摄采集图像时对应的拍摄坐标以及拍摄角度,即内窥镜获取采集图像时的拍摄位姿。
在S2042中,基于各个所述拍摄坐标在所述实际移动轨迹中的位置次序,确定各个所述采集图像的拼接次序。
在本实施例中,电子设备可以基于各个采集图像在实际移动轨迹上的拍摄坐标以及内窥镜的移动方向,确定各个采集图像之间的位置次序,并将该位置次序确定为各个采集图像相互之间的拼接次序,其中,根据各个采集图像在实际移动轨迹中的相互位置关系,还可以确定各个采集图像之间拼接方位。
在S2043中,基于相邻拼接次序之间拍摄坐标之间的位移向量以及角度偏转向量,合并相邻拍摄次序之间的所述采集图像,得到拼接图像。
在本实施例中,电子设备可以基于上述拼接次序依次拼接各个采集图像,其中,在进行任意两个采集图像的拼接操作之前,需要根据两个图像之间的拍摄坐标,计算得到两个图像之间的位移向量以及角度向量,以基于上述两个向量调整上述相邻两个采集图像之间的相互位置关系,并确定调整后两个采集图像之间的重合区域,基于重合区域将两个图像进行合并,得到上述的拼接图像。
进一步地,作为本申请的另一实施例,上述S2043具体包括以下步骤,具体描述如下:
步骤1.确定相邻拍摄次序之间的两个所述采集图像间的图像重合区域;所述图像重合区域包含前一拍摄次序的采集图像对应的第一重合区域与后一拍摄次序的采集图像对应的第二重合区域;
步骤2.根据所述内窥镜在所述位移向量移动时的移动速度,计算畸变系数;
步骤3.基于所述畸变系数调整所述图像重合区域;
步骤4.基于调整后的图像重合区域合并所述相邻拍摄次序之间的所述采集图像,得到所述拼接图像。
在本实施例中,电子设备在拼接两个相邻的采集图像时,需要确定两个采集图像内的图像重合区域,对于拍摄次序靠前的一个采集图像,其对应的图像重合区域为第一重合区域,而对于拍摄次序靠后的另一采集图像,其对应的图像重合区域为第二重合区域,鉴于内窥镜在拍摄采集图像时是以一定速度移动的,而移动可能会带来一定的图形畸变,因此需要确定对应的畸变系数对上述重合区域的内容进行调整,并基于调整后的图像重合区域进行拼接,以得到拼接图像,提高了拼接图像的准确性。
在S2044中,将对所述实际移动轨迹上所有拍摄坐标合并后的所述拼接图像,作为所述目标检测图像。
在本申请实施例中,基于预设的次序依次拼接各个采集图像,能够实现有序准确地进行图像拼接,提高了拼接的准确性。
图9示出了本申请一实施例提供的一种基于内窥镜的图像处理装置的结构框图,该评价报告的生成装置包括的各单元用于执行图2对应的实施例中生成装置实现的各步骤。具体请参阅图2与图2所对应的实施例中的相关描述。为了便于说明,仅示出了与本实施例相关的部分。
参见图9,所述基于内窥镜的图像处理装置包括:
检测引导信息获取单元91,用于获取目标对象的检测引导信息;所述检测引导信息包含所述目标对象的内部结构图以及检测场景类型;
期望移动轨迹生成单元92,用于基于所述检测场景类型对应的轨迹校正算法,对内窥镜通往目标对象内的目标检测区域的初始移动轨迹进行校正,得到期望移动轨迹;所述初始移动轨迹是基于所述内部结构图生成的;
实际移动轨迹生成单元93,用于控制所述内窥镜沿所述期望移动轨迹移动,并在所述期望移动轨迹上预设的多个图像采集节点获取采集图像,并确定所述内窥镜的实际移动轨迹;
目标检测图像生成单元94,用于单元,用于根据所述实际移动轨迹合并多个所述采集图像,得到目标检测图像;所述目标检测图像用于生成所述目标检测区域的检测报告。
可选地,所述检测场景类型包括所述目标对象的运动状态类型以及应用地点类型;
所述期望移动轨迹生成单元92包括:
第一振动系数确定单元,用于若所述运动状态类型为静止状态类型,则根据所述目标对象的对象类型,确定第一振动系数;所述第一振动系数为所述目标对象处于静置状态和/或运行状态下的振动系数;
第二振动系数单元,用于基于所述应用地点类型内包含的关联对象个数,确定第二振动系数;
第一轨迹校正算法确定单元,用于基于所述第一振动系数以及所述第二振动系数,得到所述目标对象的第一轨迹校正算法;所述第一轨迹校正算法用于调整所述初始移动轨迹;
加速度向量确定单元,用于若所述运动状态类型为移动运行类型,则根据所述目标对象在所述移动运行类型中的行驶速度,确定在所述目标对象的行驶轨迹中各个轨迹点的加速度向量;
重合轨迹段确定单元,用于基于所述内窥镜对应的期望检测时长,确定所述内窥镜检测过程中与所述行驶轨迹的重合轨迹段;
第二轨迹校正算法确定单元,用于基于所述重合轨迹段各个所述轨迹点的加速度向量,生成第二轨迹校正算法;所述第二轨迹校正算法用于调整所述初始移动轨迹。
可选地,期望移动轨迹生成单元92包括:
通用对象模型确定单元,用于从预设的对象模型库内选取与所述目标对象的对象类型匹配的通用对象模型;
目标路径确定单元,用于基于所述内部结构图,确定通往所述目标检测区域的至少一条目标路径;
异物残留概率函数构建单元,用于根据所述目标对象的使用记录,分别生成各个所述目标路径对应的异物残留概率函数,并通过所述异物残留概率函数分别计算所述目标路径上任一位置的异物残留概率;所述异物残留概率函数具体为:
其中,DisPR(pst)为所述目标路径上任一位置的异物残留概率;Curv(pst)为所述任一位置的弯度曲率;BaseCurv为基础曲率;Currtime为当前时间;Tgtime(i)为第i个使用记录的记录时间;Viscty(i)为第i个使用记录中经过所述任一位置的物体的粘度系数;N为所述使用记录的总数;
期望对象模型生成单元,用于基于各个所述目标路径的所述异物残留概率更新所述通用对象模型,得到所述目标对象的期望对象模型;
推荐系数确定单元,用于基于所述期望对象模型,分别计算各个所述目标路径的推荐系数;
初始移动轨迹选取单元,用于选取所述推荐系数最高的所述目标路径作为所述初始移动轨迹。
可选地,所述实际移动轨迹生成单元93,包括:
实际通行孔径确定单元,用于基于在采集过程中获取的所述采集图像,确定所述目标检测区域中所述采集图像对应位置的实际通行孔径;
预测偏差值计算单元,用于根据所述位置的所述可通行孔径与所述实际通行孔径,计算所述采集图像对应位置的预测偏差值;
调整单元,用于若所述预测偏差值大于预设偏差阈值,则基于所述预测偏差值调整所述异物残留概率函数;
轨迹调整单元,用于基于调整后的异物残留概率函数,调整所述采集图像对应位置后的期望移动轨迹;
移动控制单元,用于基于调整后的期望移动轨迹,控制所述内窥镜在所述目标对象在目标检测区域移动。
可选地,所述实际移动轨迹生成单元93包括:
移动调整指令发送单元,用于若检测到基于所述期望移动轨迹控制所述内窥镜移动时所述内窥镜的可视距离小于预设的距离阈值,则向所述内窥镜发送移动调整指令,以调整所述内窥镜的移动方向;
内窥镜移动单元,用于基于调整后的移动方向更新所述期望移动轨迹,并基于更新后的期望移动轨迹控制所述内窥镜移动;
轨迹更新单元,用于基于移动过程中的所有所述移动调整指令以及更新后的期望移动轨迹,生成所述实际移动轨迹。
可选地,所述目标检测图像生成单元94包括:
拍摄位姿确定单元,用于确定各个所述采集图像在所述实际移动轨迹内对应的拍摄坐标以及拍摄角度;
拼接次序确定单元,用于基于各个所述拍摄坐标在所述实际移动轨迹中的位置次序,确定各个所述采集图像的拼接次序;
图像拼接单元,用于基于相邻拼接次序之间拍摄坐标之间的位移向量以及角度偏转向量,合并相邻拍摄次序之间的所述采集图像,得到拼接图像;
拼接合并单元,用于将对所述实际移动轨迹上所有拍摄坐标合并后的所述拼接图像,作为所述目标检测图像。
可选地,所述图像拼接单元包括:
重合区域确定单元,用于确定相邻拍摄次序之间的两个所述采集图像间的图像重合区域;所述图像重合区域包含前一拍摄次序的采集图像对应的第一重合区域与后一拍摄次序的采集图像对应的第二重合区域;
畸变系数确定单元,用于根据所述内窥镜在所述位移向量移动时的移动速度,计算畸变系数;
图像调整单元,用于基于所述畸变系数调整所述图像重合区域;
调整合并单元,用于基于调整后的图像重合区域合并所述相邻拍摄次序之间的所述采集图像,得到所述拼接图像。
应当理解的是,图9示出的评价报告的生成装置的结构框图中,各模块用于执行图2至图8对应的实施例中的各步骤,而对于图2至图8对应的实施例中的各步骤已在上述实施例中进行详细解释,具体请参阅图2至图8以及图2至图8所对应的实施例中的相关描述,此处不再赘述。
图10是本申请另一实施例提供的一种电子设备的结构框图。如图10所示,该实施例的电子设备1000包括:处理器1010、存储器1020以及存储在存储器1020中并可在处理器1010运行的计算机程序1030,例如评价报告的生成方法的程序。处理器1010执行计算机程序1030时实现上述各个评价报告的生成方法各实施例中的步骤,例如图2所示的S201至S204。或者,处理器1010执行计算机程序1030时实现上述图9对应的实施例中各模块的功能,例如,图9所示的单元91至94的功能,具体请参阅图9对应的实施例中的相关描述。
示例性的,计算机程序1030可以被分割成一个或多个模块,一个或者多个模块被存储在存储器1020中,并由处理器1010执行,以完成本申请。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序1030在电子设备1000中的执行过程。例如,计算机程序1030可以被分割成各个单元模块,各模块具体功能如上。
电子设备1000可包括,但不仅限于,处理器1010、存储器1020。本领域技术人员可以理解,图10仅仅是电子设备1000的示例,并不构成对电子设备1000的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如电子设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器1010可以是中央处理单元,还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。
存储器1020可以是电子设备1000的内部存储单元,例如电子设备1000的硬盘或内存。存储器1020也可以是电子设备1000的外部存储设备,例如电子设备1000上配备的插接式硬盘,智能存储卡,闪存卡等。进一步地,存储器1020还可以既包括电子设备1000的内部存储单元也包括外部存储设备。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (9)

1.一种基于内窥镜的图像处理方法,其特征在于,包括:
获取目标对象的检测引导信息;所述检测引导信息包含所述目标对象的内部结构图以及检测场景类型;
基于所述检测场景类型对应的轨迹校正算法,对内窥镜通往目标对象内的目标检测区域的初始移动轨迹进行校正,得到期望移动轨迹;所述初始移动轨迹是基于所述内部结构图生成的;
控制所述内窥镜沿所述期望移动轨迹移动,并在所述期望移动轨迹上预设的多个图像采集节点获取采集图像,并确定所述内窥镜的实际移动轨迹;
根据所述实际移动轨迹合并多个所述采集图像,得到目标检测图像;所述目标检测图像用于生成所述目标检测区域的检测报告;
所述检测场景类型包括所述目标对象的运动状态类型以及应用地点类型;
所述基于所述检测场景类型对应的轨迹校正算法,对内窥镜通往目标对象内的目标检测区域的初始移动轨迹进行校正,得到期望移动轨迹,包括:
若所述运动状态类型为静止状态类型,则根据所述目标对象的对象类型,确定第一振动系数;所述第一振动系数为所述目标对象处于静置状态和/或运行状态下的振动系数;
基于所述应用地点类型内包含的关联对象个数,确定第二振动系数;
基于所述第一振动系数以及所述第二振动系数,得到所述目标对象的第一轨迹校正算法;所述第一轨迹校正算法用于调整所述初始移动轨迹;
若所述运动状态类型为移动运行类型,则根据所述目标对象在所述移动运行类型中的行驶速度,确定在所述目标对象的行驶轨迹中各个轨迹点的加速度向量;
基于所述内窥镜对应的期望检测时长,确定所述内窥镜检测过程中与所述行驶轨迹的重合轨迹段;
基于所述重合轨迹段各个所述轨迹点的加速度向量,生成第二轨迹校正算法;所述第二轨迹校正算法用于调整所述初始移动轨迹。
2.根据权利要求1所述的图像处理方法,其特征在于,所述基于所述检测场景类型对应的轨迹校正算法,对内窥镜通往目标对象内的目标检测区域的初始移动轨迹进行校正,得到期望移动轨迹,包括:
从预设的对象模型库内选取与所述目标对象的对象类型匹配的通用对象模型;所述通用对象模型包含所述目标检测区域的区域模型;
基于所述内部结构图,确定通往所述目标检测区域的至少一条目标路径;
根据所述目标对象的使用记录,分别生成各个所述目标路径对应的异物残留概率函数,并通过所述异物残留概率函数分别计算所述目标路径上任一位置的异物残留概率;所述异物残留概率函数具体为:
其中,DisPR(pst)为所述目标路径上任一位置的异物残留概率;Curv(pst)为所述任一位置的弯度曲率;BaseCurv为基础曲率;Currtime为当前时间;Tgtime(i)为第i个使用记录的记录时间;Viscty(i)为第i个使用记录中经过所述任一位置的物体的粘度系数;N为所述使用记录的总数;
基于各个所述目标路径的所述异物残留概率更新所述通用对象模型,得到所述目标对象的期望对象模型;所述期望对象模型用于确定各个位置的可通行孔径;
基于所述期望对象模型,分别计算各个所述目标路径的推荐系数;
选取所述推荐系数最高的所述目标路径作为所述初始移动轨迹。
3.根据权利要求2所述的图像处理方法,其特征在于,所述控制所述内窥镜沿所述期望移动轨迹移动,并在所述期望移动轨迹上预设的多个图像采集节点获取采集图像,并确定所述内窥镜的实际移动轨迹,包括:
基于在采集过程中获取的所述采集图像,确定所述目标检测区域中所述采集图像对应位置的实际通行孔径;
根据所述位置的所述可通行孔径与所述实际通行孔径,计算所述采集图像对应位置的预测偏差值;
若所述预测偏差值大于预设偏差阈值,则基于所述预测偏差值调整所述异物残留概率函数;
基于调整后异物残留概率函数,调整所述采集图像对应位置的期望移动轨迹;
基于调整后的期望移动轨迹,控制所述内窥镜在所述目标对象在目标检测区域移动。
4.根据权利要求1-3任一项所述的图像处理方法,其特征在于,所述控制所述内窥镜沿所述期望移动轨迹移动,并在所述期望移动轨迹上预设的多个图像采集节点获取采集图像,并确定所述内窥镜的实际移动轨迹,包括:
若检测到基于所述期望移动轨迹控制所述内窥镜移动时所述内窥镜的可视距离小于预设的距离阈值,则向所述内窥镜发送移动调整指令,以调整所述内窥镜的移动方向;
基于调整后的移动方向更新所述期望移动轨迹,并基于更新后的期望移动轨迹控制所述内窥镜移动;
基于移动过程中的所有所述移动调整指令以及更新后的期望移动轨迹,生成所述实际移动轨迹。
5.根据权利要求1-3任一项所述的图像处理方法,其特征在于,所述根据所述实际移动轨迹合并多个所述采集图像,得到目标检测图像,包括:
确定各个所述采集图像在所述实际移动轨迹内对应的拍摄坐标以及拍摄角度;
基于各个所述拍摄坐标在所述实际移动轨迹中的位置次序,确定各个所述采集图像的拼接次序;
基于相邻拼接次序的拍摄坐标之间的位移向量以及角度偏转向量,合并相邻拍摄次序之间的所述采集图像,得到拼接图像;
将对所述实际移动轨迹上所有拍摄坐标合并后的所述拼接图像,作为所述目标检测图像。
6.根据权利要求5所述的图像处理方法,其特征在于,所述基于相邻拼接次序的拍摄坐标之间的位移向量以及角度偏转向量,合并相邻拍摄次序之间的所述采集图像,得到拼接图像,包括:
确定相邻拍摄次序之间的两个所述采集图像间的图像重合区域;所述图像重合区域包含前一拍摄次序的采集图像对应的第一重合区域与后一拍摄次序的采集图像对应的第二重合区域;
根据所述内窥镜在所述位移向量移动时的移动速度,计算畸变系数;
基于所述畸变系数调整所述图像重合区域;
基于调整后的图像重合区域合并所述相邻拍摄次序之间的所述采集图像,得到所述拼接图像。
7.一种基于内窥镜的图像处理装置,其特征在于,包括:
对象信息获取单元,用于获取目标对象的检测引导信息;所述检测引导信息包含所述目标对象的内部结构图以及检测场景类型;
期望移动轨迹生成单元,用于基于所述检测场景类型对应的轨迹校正算法,对内窥镜通往目标对象内的目标检测区域的初始移动轨迹进行校正,得到期望移动轨迹;所述初始移动轨迹是基于所述内部结构图生成的;
实际移动轨迹生成单元,用于控制所述内窥镜沿所述期望移动轨迹移动,并在所述期望移动轨迹上预设的多个图像采集节点获取采集图像,并确定所述内窥镜的实际移动轨迹;
目标检测图像生成单元,用于根据所述实际移动轨迹合并多个所述采集图像,得到目标检测图像;所述目标检测图像用于生成所述目标检测区域的检测报告;
所述检测场景类型包括所述目标对象的运动状态类型以及应用地点类型;
所述期望移动轨迹生成单元包括:
第一振动系数确定单元,用于若所述运动状态类型为静止状态类型,则根据所述目标对象的对象类型,确定第一振动系数;所述第一振动系数为所述目标对象处于静置状态和/或运行状态下的振动系数;
第二振动系数单元,用于基于所述应用地点类型内包含的关联对象个数,确定第二振动系数;
第一轨迹校正算法确定单元,用于基于所述第一振动系数以及所述第二振动系数,得到所述目标对象的第一轨迹校正算法;所述第一轨迹校正算法用于调整所述初始移动轨迹;
加速度向量确定单元,用于若所述运动状态类型为移动运行类型,则根据所述目标对象在所述移动运行类型中的行驶速度,确定在所述目标对象的行驶轨迹中各个轨迹点的加速度向量;
重合轨迹段确定单元,用于基于所述内窥镜对应的期望检测时长,确定所述内窥镜检测过程中与所述行驶轨迹的重合轨迹段;
第二轨迹校正算法确定单元,用于基于所述重合轨迹段各个所述轨迹点的加速度向量,生成第二轨迹校正算法;所述第二轨迹校正算法用于调整所述初始移动轨迹。
8.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的方法。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。
CN202310580925.7A 2023-05-23 2023-05-23 基于内窥镜的图像处理方法、装置、电子设备及存储介质 Active CN116320763B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310580925.7A CN116320763B (zh) 2023-05-23 2023-05-23 基于内窥镜的图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310580925.7A CN116320763B (zh) 2023-05-23 2023-05-23 基于内窥镜的图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116320763A CN116320763A (zh) 2023-06-23
CN116320763B true CN116320763B (zh) 2023-08-08

Family

ID=86822529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310580925.7A Active CN116320763B (zh) 2023-05-23 2023-05-23 基于内窥镜的图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116320763B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116543889B (zh) * 2023-07-05 2023-12-08 深圳市依诺普医疗设备有限公司 基于医疗物联网的内窥镜远程操控系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102639049A (zh) * 2010-09-29 2012-08-15 奥林巴斯医疗株式会社 信息处理装置以及胶囊型内窥镜系统
CN105231978A (zh) * 2015-09-14 2016-01-13 袁非牛 一种引导式虚拟内窥镜导航方法
CN113610887A (zh) * 2021-05-26 2021-11-05 江苏势通生物科技有限公司 胶囊内窥镜运动拍摄路径的确定方法、存储介质和设备
CN113984039A (zh) * 2021-10-21 2022-01-28 广东高驰运动科技有限公司 运动轨迹的校正方法、装置、系统和存储介质
WO2022083372A1 (zh) * 2020-10-23 2022-04-28 上海微创医疗机器人(集团)股份有限公司 手术机器人的调整系统、方法、介质及计算机设备
CN115500950A (zh) * 2022-10-12 2022-12-23 上海微创医疗机器人(集团)股份有限公司 内窥镜位姿调整方法、手术机器人及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017149586A1 (ja) * 2016-02-29 2017-09-08 オリンパス株式会社 光走査型撮影投影装置および内視鏡システム
US10929669B2 (en) * 2019-06-04 2021-02-23 Magentiq Eye Ltd Systems and methods for processing colon images and videos

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102639049A (zh) * 2010-09-29 2012-08-15 奥林巴斯医疗株式会社 信息处理装置以及胶囊型内窥镜系统
CN105231978A (zh) * 2015-09-14 2016-01-13 袁非牛 一种引导式虚拟内窥镜导航方法
WO2022083372A1 (zh) * 2020-10-23 2022-04-28 上海微创医疗机器人(集团)股份有限公司 手术机器人的调整系统、方法、介质及计算机设备
CN113610887A (zh) * 2021-05-26 2021-11-05 江苏势通生物科技有限公司 胶囊内窥镜运动拍摄路径的确定方法、存储介质和设备
CN113984039A (zh) * 2021-10-21 2022-01-28 广东高驰运动科技有限公司 运动轨迹的校正方法、装置、系统和存储介质
CN115500950A (zh) * 2022-10-12 2022-12-23 上海微创医疗机器人(集团)股份有限公司 内窥镜位姿调整方法、手术机器人及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
卢艳平 ; 喻洪麟 ; 王珏 ; .工业虚拟内窥关键技术研究.计算机工程与应用.2008,(第33期),第201-204页. *

Also Published As

Publication number Publication date
CN116320763A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN110210417B (zh) 一种行人运动轨迹的预测方法、终端及可读存储介质
CN116320763B (zh) 基于内窥镜的图像处理方法、装置、电子设备及存储介质
CN109631915B (zh) 轨迹预测方法、装置、设备及计算机可读存储介质
CN110335316A (zh) 基于深度信息的位姿确定方法、装置、介质与电子设备
CN112069969B (zh) 一种高速公路监控视频跨镜车辆跟踪方法及系统
CN109299732B (zh) 无人驾驶行为决策及模型训练的方法、装置及电子设备
US11315264B2 (en) Laser sensor-based map generation
CN113264066A (zh) 障碍物轨迹预测方法、装置、自动驾驶车辆及路侧设备
EP4130668A1 (en) Method for determining lane line recognition abnormal event, and lane line recognition apparatus and system
EP2922023A1 (en) Three-dimensional object recognition device and three-dimensional object recognition method
CN112070807A (zh) 多目标跟踪方法和电子装置
CN111222438A (zh) 一种基于深度学习的行人轨迹预测方法和系统
CN112329645B (zh) 图像检测方法、装置、电子设备及存储介质
CN110850233A (zh) 电缆故障定位方法和装置
CN111985300A (zh) 自动驾驶动态目标定位方法、装置、电子设备及存储介质
CN116469079A (zh) 一种自动驾驶bev任务学习方法及相关装置
CN109740598A (zh) 结构化场景下的目标定位方法及装置
US20240193946A1 (en) Bird detection and species determination
US20230350418A1 (en) Position determination by means of neural networks
CN112507857B (zh) 一种车道线更新方法、装置、设备及存储介质
CN113674306A (zh) 基于鱼眼镜头的行人轨迹获取方法、系统、装置和介质
CN111695404B (zh) 行人跌倒检测方法、装置、电子设备及存储介质
CN106885567B (zh) 一种惯导协作定位方法及定位设备
US20230206492A1 (en) Method for generating three-dimensional map and method for determining pose of user terminal by using generated three-dimensional map
CN115562337B (zh) 一种风机巡检航线的生成方法以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant