CN112132944A - 一种基于增强现实的工业内窥影像实现方法及系统 - Google Patents

一种基于增强现实的工业内窥影像实现方法及系统 Download PDF

Info

Publication number
CN112132944A
CN112132944A CN202011059099.4A CN202011059099A CN112132944A CN 112132944 A CN112132944 A CN 112132944A CN 202011059099 A CN202011059099 A CN 202011059099A CN 112132944 A CN112132944 A CN 112132944A
Authority
CN
China
Prior art keywords
target internal
internal structure
target
scene
wearable device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011059099.4A
Other languages
English (en)
Inventor
程获方
袁浩
胡楠
潘媛
朱玺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Nengchuang Technology Co ltd
HNAC Technology Co Ltd
Original Assignee
Hunan Nengchuang Technology Co ltd
HNAC Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Nengchuang Technology Co ltd, HNAC Technology Co Ltd filed Critical Hunan Nengchuang Technology Co ltd
Priority to CN202011059099.4A priority Critical patent/CN112132944A/zh
Publication of CN112132944A publication Critical patent/CN112132944A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开了一种基于增强现实的工业内窥影像实现方法及系统，通过第一深度摄像头采集目标内部结构场景得到目标内部结构场景的三维信息以及通过第一定位传感器定位内窥镜探头的位置，同时可穿戴设备上的第二定位传感器定位可穿戴设备的位置，通过图像处理模块根据目标内部结构场景的三维信息获取目标内部结构场景的三维模型，以及根据内窥镜探头的位置与可穿戴设备的位置获取目标内部结构场景的三维模型在显示模块上的待显示位置，最后通过显示模块在待显示位置显示目标内部结构场景的三维模型，与现有技术相比，能够将管道内部结构三维模型化处理，直观定位问题点，并可视化显示。

Description

一种基于增强现实的工业内窥影像实现方法及系统
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于增强现实的工业内窥影像实现方法及系统。
背景技术
工业内窥镜是一种多学科通用的工具，其功能是能对弯曲管道深处探查，能观察不能直视到的部位，能在密封空腔内观察内部空间结构与状态，能实现远距离观察与操作。工业内窥镜可用于高温、有毒、核辐射及人眼无法直接观察到的场所的检查和观察，主要用于汽车、航空发动机、管道、机械零件等，可在不需拆卸或破坏组装及设备停止运行的情况下实现无损检测。
目前而言，现有的工业内窥镜能够通过视窗观察管道(或系统)内部的细节及问题，但是仅能展现管道内部平面影像，画面无立体感，且不能将管道实物与内窥镜探头当前位置进行结合，无法准确判断画面对应的管道实际位置。
因此，如何提供一种能够展现管道内部结构三维模型的工业内窥影像实现方法及系统，是本领域技术人员需要解决的技术问题。
发明内容
为解决上述技术问题，本发明提供一种基于增强现实的工业内窥影像实现方法及系统，能够将管道内部结构三维模型化处理，直观定位问题点，并可视化显示。
本发明一方面提供一种基于增强现实的工业内窥影像实现方法，应用于工业内窥影像实现系统，所述工业内窥影像实现系统包括内窥镜探头和可穿戴设备，所述内窥镜探头和所述可穿戴设备通信连接，所述内窥镜探头上设置有第一深度摄像头和第一定位传感器，所述可穿戴设备上设置有第二定位传感器、图像处理模块和显示模块；所述方法包括：
调用所述第一深度摄像头采集目标内部结构场景，得到所述目标内部结构场景的三维信息；
调用所述第一定位传感器定位所述内窥镜探头的位置；
调用所述第二定位传感器定位所述可穿戴设备的位置；
通过所述图像处理模块根据所述目标内部结构场景的三维信息获取所述目标内部结构场景的三维模型，以及根据所述内窥镜探头的位置与所述可穿戴设备的位置获取所述目标内部结构场景的三维模型在所述显示模块上的待显示位置；
通过所述显示模块在所述待显示位置显示所述目标内部结构场景的三维模型。
优选地，所述可穿戴设备上还设置有第二深度摄像头；
所述方法还包括：
调用所述第二深度摄像头采集目标空间环境场景，得到所述目标空间环境场景的三维信息；
通过所述图像处理模块根据所述目标空间环境场景的三维信息获取所述目标空间环境场景的三维模型，并与所述目标内部结构场景的三维模型建立映射关系。
优选地，所述内窥镜探头上还设置有色彩摄像头；
所述方法还包括：
调用所述色彩摄像头采集目标内部颜色信息，得到所述目标内部贴图数据；
通过所述图像处理模块根据所述目标内部贴图数据，获取叠加所述目标内部贴图数据的所述目标内部结构场景的三维模型；
通过所述显示模块在所述待显示位置显示叠加所述目标内部贴图数据的所述目标内部结构场景的三维模型。
优选地，所述可穿戴设备上还设置有存储模块；
所述方法还包括：
通过所述存储模块存储所述目标内部贴图数据、所述目标内部结构场景的三维模型、所述目标空间环境场景的三维模型和所述映射关系。
优选地，所述可穿戴设备上还设置有运动检测模块，所述内窥镜探头上还设置有位置调节模块；
所述方法还包括：
调用所述运动检测模块检测所述可穿戴设备的转动角度；
通过所述位置调节模块根据所述可穿戴设备的转动角度带动所述内窥镜探头转动相应角度。
本发明另一方面提供一种基于增强现实的工业内窥影像实现系统，包括内窥镜探头和可穿戴设备，所述内窥镜探头和所述可穿戴设备通信连接，所述内窥镜探头上设置有第一深度摄像头和第一定位传感器，所述可穿戴设备上设置有第二定位传感器、图像处理模块和显示模块；
所述第一深度摄像头用于采集目标内部结构场景，得到所述目标内部结构场景的三维信息；
所述第一定位传感器用于定位所述内窥镜探头的位置；
所述第二定位传感器用于定位所述可穿戴设备的位置；
所述图像处理模块用于根据所述目标内部结构场景的三维信息获取所述目标内部结构场景的三维模型，以及根据所述内窥镜探头的位置与所述可穿戴设备的位置获取所述目标内部结构场景的三维模型在所述显示模块上的待显示位置；
所述显示模块用于在所述待显示位置显示所述目标内部结构场景的三维模型。
优选地，所述可穿戴设备上还设置有第二深度摄像头；
所述第二深度摄像头用于采集目标空间环境场景，得到所述目标空间环境场景的三维信息；
所述图像处理模块还用于根据所述目标空间环境场景的三维信息获取所述目标空间环境场景的三维模型，并与所述目标内部结构场景的三维模型建立映射关系。
优选地，所述内窥镜探头上还设置有色彩摄像头；
所述色彩摄像头用于采集目标内部颜色信息，得到所述目标内部贴图数据；
所述图像处理模块还用于根据所述目标内部贴图数据，获取叠加所述目标内部贴图数据的所述目标内部结构场景的三维模型；
所述显示模块还用于在所述待显示位置显示叠加所述目标内部贴图数据的所述目标内部结构场景的三维模型。
优选地，所述可穿戴设备上还设置有存储模块；
所述存储模块用于存储所述目标内部贴图数据、所述目标内部结构场景的三维模型、所述目标空间环境场景的三维模型和所述映射关系。
优选地，所述可穿戴设备上还设置有运动检测模块，所述内窥镜探头上还设置有位置调节模块；
所述运动检测模块用于检测所述可穿戴设备的转动角度；
所述位置调节模块用于根据所述可穿戴设备的转动角度带动所述内窥镜探头转动相应角度。
本发明提供的一种基于增强现实的工业内窥影像实现方法及系统，通过第一深度摄像头采集目标内部结构场景得到目标内部结构场景的三维信息以及通过第一定位传感器定位内窥镜探头的位置，同时可穿戴设备上的第二定位传感器定位可穿戴设备的位置，通过图像处理模块根据目标内部结构场景的三维信息获取目标内部结构场景的三维模型，以及根据内窥镜探头的位置与可穿戴设备的位置获取目标内部结构场景的三维模型在显示模块上的待显示位置，最后通过显示模块在待显示位置显示目标内部结构场景的三维模型，与现有技术相比，能够将管道内部结构三维模型化处理，直观定位问题点，并可视化显示。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于增强现实的工业内窥影像实现方法的流程示意图；
图2为本发明实施例提供的另一种基于增强现实的工业内窥影像实现方法的流程示意图；
图3为本发明实施例提供的一种基于增强现实的工业内窥影像实现系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件上，它可以直接在另一个元件上或者间接设置在另一个元件上；当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至另一个元件上。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的系统或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，多个”、“若干个”的含义是两个或两个以上，除非另有明确具体的限定。
须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本申请可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本申请所能产生的功效及所能达成的目的下，均应仍落在本申请所揭示的技术内容得能涵盖的范围内。
本发明实施例一方面提供一种基于增强现实的工业内窥影像实现方法，应用于工业内窥影像实现系统，该工业内窥影像实现系统包括内窥镜探头和可穿戴设备，内窥镜探头和可穿戴设备通信连接，内窥镜探头上设置有第一深度摄像头和第一定位传感器，可穿戴设备上设置有第二定位传感器、图像处理模块和显示模块。
需要说明的是，内窥镜探头可以是手持式工业内窥镜探头，操作者手持内窥镜探头可以伸入目标(如管道)内部，可穿戴设备可以是AR(Augmented Reality，增强现实)设备，如AR眼镜或AR头盔，由操作者穿戴，内窥镜探头和可穿戴设备可以通过数据线连接。如此，操作者可以在一只手移动内窥镜探头的同时，另一只手配合进行施工操作(如夹取、切割或固定管道等)，提升操作的灵活性。
请参阅图1，该基于增强现实的工业内窥影像实现方法包括：
S110、调用第一深度摄像头采集目标内部结构场景，得到目标内部结构场景的三维信息；
S120、调用第一定位传感器定位内窥镜探头的位置；
S130、调用第二定位传感器定位可穿戴设备的位置。
本发明实施例中，第一深度摄像头用于采集目标(如管道)内部结构场景，得到目标内部结构场景的三维信息，第一定位传感器用于定位内窥镜探头的位置，第二定位传感器用于定位可穿戴设备的位置。可以理解的是，步骤S110、S120和S130之间并没有先后顺序，而是同时进行的。通过分别调用第一深度摄像头采集目标内部结构场景以得到目标内部结构场景的三维信息、第一定位传感器定位内窥镜探头的实时位置以及第二定位传感器定位可穿戴设备的实时位置，将其发送至图像处理模块。具体实施时，第二定位传感器为两个，对称设置在可穿戴设备的两侧。
S140、通过图像处理模块根据目标内部结构场景的三维信息获取目标内部结构场景的三维模型，以及根据内窥镜探头的位置与可穿戴设备的位置获取目标内部结构场景的三维模型在显示模块上的待显示位置。
本发明实施例中，图像处理模块接收目标内部结构场景的三维信息，实时生成目标内部结构场景的三维模型，同时，根据内窥镜探头与可穿戴设备之间的位置关系，确定目标内部结构场景的三维模型在显示模块上的待显示位置。
S150、通过显示模块在待显示位置显示目标内部结构场景的三维模型。
本发明实施例中，目标内部结构场景的三维模型可以在显示模块上进行可视化显示。其中，显示模块为基于增强现实的场景识别中用于显示信息的显示屏。
由上可知，本发明实施例提供的基于增强现实的工业内窥影像实现方法，通过第一深度摄像头采集目标内部结构场景得到目标内部结构场景的三维信息以及通过第一定位传感器定位内窥镜探头的位置，同时可穿戴设备上的第二定位传感器定位可穿戴设备的位置，通过图像处理模块根据目标内部结构场景的三维信息获取目标内部结构场景的三维模型，以及根据内窥镜探头的位置与可穿戴设备的位置获取目标内部结构场景的三维模型在显示模块上的待显示位置，最后通过显示模块在待显示位置显示目标内部结构场景的三维模型，与现有技术相比，能够将管道内部结构三维模型化处理，直观定位问题点，并可视化显示。
在发明一些可选的实施例中，可穿戴设备上还设置有第二深度摄像头。
请参阅图2，该基于增强现实的工业内窥影像实现方法还包括：
S160、调用第二深度摄像头采集目标空间环境场景，得到目标空间环境场景的三维信息。
本发明实施例中，第二深度摄像头用于采集目标空间环境场景，得到目标空间环境场景的三维信息。其中，第二深度摄像头设置在可穿戴设备的中部，位于两个第二定位传感器之间，目标空间环境为目标(管道)外部的空间环境，当管道铺设好之后，管道外部的空间环境也随之确定。通过调用第二深度摄像头采集目标空间环境场景，得到目标空间环境场景的三维信息，将其发送至图像处理模块。
S170、通过图像处理模块根据目标空间环境场景的三维信息获取目标空间环境场景的三维模型，并与目标内部结构场景的三维模型建立映射关系。
本发明实施例中，图像处理模块接收目标空间环境场景的三维信息，实时生成目标空间环境场景的三维模型，并与目标内部结构场景的三维模型建立映射关系。
如此，将目标空间环境场景的三维信息、目标内部结构场景的三维模型及两者之间的映射关系上传至服务器后，当下次需要了解管道信息时，只需要调用第二深度摄像头对目标空间环境进行识别，若当前识别的目标空间环境与服务器中存储的目标空间环境场景的三维模型相匹配，则可以根据映射关系直接从服务器中调取相对应的目标内部结构场景的三维模型，在显示模块的相应位置进行直观显示，无需重复上述步骤S110、S120和S130，提升工作效率。同时，操作者也可以选择重复上述步骤S110、S120和S130，生成第二次的目标内部结构场景的三维模型，将其与服务器中存储的第一次的目标内部结构场景的三维模型进行对比，标注差异位置，供操作者参考。
在发明一些可选的实施例中，内窥镜探头上还设置有色彩摄像头。该方法还包括：
调用色彩摄像头采集目标内部颜色信息，得到目标内部贴图数据；
通过图像处理模块根据目标内部贴图数据，获取叠加目标内部贴图数据的目标内部结构场景的三维模型；
通过显示模块在待显示位置显示叠加目标内部贴图数据的目标内部结构场景的三维模型。
本发明实施例中，色彩摄像头用于采集目标内部颜色信息，得到目标内部贴图数据。通过调用色彩摄像头采集目标内部颜色信息以得到目标内部贴图数据，图像处理模块接收目标内部结构场景的三维信息和目标内部贴图数据，实时生成叠加目标内部贴图数据的目标内部结构场景的三维模型，最后通过显示模块在相应位置显示叠加带目标内部贴图数据的目标内部结构场景的三维模型。
在发明一些可选的实施例中，可穿戴设备上还设置有存储模块。该方法还包括：
通过存储模块存储目标内部贴图数据、目标内部结构场景的三维模型、目标空间环境场景的三维模型和映射关系。
本发明实施例中，可穿戴设备上还设置有存储模块，通过存储模块存储目标内部贴图数据、目标内部结构场景的三维模型、目标空间环境场景的三维模型和映射关系，作为各目标设备的数据存档，供下次快速识别调用及对比。
在发明一些可选的实施例中，可穿戴设备上还设置有运动检测模块，内窥镜探头上还设置有位置调节模块。该方法还包括：
调用运动检测模块检测可穿戴设备的转动角度；
通过位置调节模块根据可穿戴设备的转动角度带动内窥镜探头转动相应角度。
本发明实施例中，运动检测模块用于根据可穿戴设备的运动数据确定可穿戴设备的转动角度，位置调节模块用于根据可穿戴设备的转动角度带动内窥镜探头转动相应角度。如此，当操作者想以第一人称视角观察时，转动头部可穿戴设备，运动检测模块确定可穿戴设备的转动角度，将其同步至内窥镜探头，位置调节模块带动内窥镜探头转动相应角度，即可以内窥镜探头的视角观察管道内部细节，精准便捷的直观看到需要看到的角度与细节。具体实施时，运动检测模块可以选用陀螺仪。
本发明实施例另一方面提供一种基于增强现实的工业内窥影像实现系统，下文描述的该系统可以与上文描述的方法相互对应参照。
请参阅图3，该系统包括内窥镜探头1和可穿戴设备2，内窥镜探头1和可穿戴设备2通信连接，内窥镜探头1上设置有第一深度摄像头11和第一定位传感器12，可穿戴设备2上设置有第二定位传感器21、图像处理模块22和显示模块23；
第一深度摄像头11用于采集目标内部结构场景，得到目标内部结构场景的三维信息；
第一定位传感器12用于定位内窥镜探头1的位置；
第二定位传感器21用于定位可穿戴设备2的位置；
图像处理模块22用于根据目标内部结构场景的三维信息获取目标内部结构场景的三维模型，以及根据内窥镜探头1的位置与可穿戴设备2的位置获取目标内部结构场景的三维模型在显示模块23上的待显示位置；
显示模块23用于在待显示位置显示目标内部结构场景的三维模型。
作为本发明优选的实施例，可穿戴设备2上还设置有第二深度摄像头24；
第二深度摄像头24用于采集目标空间环境场景，得到目标空间环境场景的三维信息；
图像处理模块22还用于根据目标空间环境场景的三维信息获取目标空间环境场景的三维模型，并与目标内部结构场景的三维模型建立映射关系。
作为本发明优选的实施例，内窥镜探头1上还设置有色彩摄像头13；
色彩摄像头13用于采集目标内部颜色信息，得到目标内部贴图数据；
图像处理模块22还用于根据目标内部贴图数据，获取叠加目标内部贴图数据的目标内部结构场景的三维模型；
显示模块23还用于在待显示位置显示叠加目标内部贴图数据的目标内部结构场景的三维模型。
作为本发明优选的实施例，可穿戴设备2上还设置有存储模块25；
存储模块25用于存储目标内部贴图数据、目标内部结构场景的三维模型、目标空间环境场景的三维模型和映射关系。
作为本发明优选的实施例，可穿戴设备2上还设置有运动检测模块，内窥镜探头1上还设置有位置调节模块；
运动检测模块用于检测可穿戴设备的转动角度；
位置调节模块用于根据可穿戴设备的转动角度带动内窥镜探头转动相应角度。
由上可知，本发明实施例提供的基于增强现实的工业内窥影像实现系统，通过第一深度摄像头采集目标内部结构场景得到目标内部结构场景的三维信息以及通过第一定位传感器定位内窥镜探头的位置，同时可穿戴设备上的第二定位传感器定位可穿戴设备的位置，通过图像处理模块根据目标内部结构场景的三维信息获取目标内部结构场景的三维模型，以及根据内窥镜探头的位置与可穿戴设备的位置获取目标内部结构场景的三维模型在显示模块上的待显示位置，最后通过显示模块在待显示位置显示目标内部结构场景的三维模型，与现有技术相比，能够将管道内部结构三维模型化处理，直观定位问题点，并可视化显示。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于增强现实的工业内窥影像实现方法，其特征在于，应用于工业内窥影像实现系统，所述工业内窥影像实现系统包括内窥镜探头和可穿戴设备，所述内窥镜探头和所述可穿戴设备通信连接，所述内窥镜探头上设置有第一深度摄像头和第一定位传感器，所述可穿戴设备上设置有第二定位传感器、图像处理模块和显示模块；所述方法包括：
调用所述第一深度摄像头采集目标内部结构场景，得到所述目标内部结构场景的三维信息；
调用所述第一定位传感器定位所述内窥镜探头的位置；
调用所述第二定位传感器定位所述可穿戴设备的位置；
通过所述图像处理模块根据所述目标内部结构场景的三维信息获取所述目标内部结构场景的三维模型，以及根据所述内窥镜探头的位置与所述可穿戴设备的位置获取所述目标内部结构场景的三维模型在所述显示模块上的待显示位置；
通过所述显示模块在所述待显示位置显示所述目标内部结构场景的三维模型。
2.根据权利要求1所述的基于增强现实的工业内窥影像实现方法，其特征在于，所述可穿戴设备上还设置有第二深度摄像头；所述方法还包括：
调用所述第二深度摄像头采集目标空间环境场景，得到所述目标空间环境场景的三维信息；
通过所述图像处理模块根据所述目标空间环境场景的三维信息获取所述目标空间环境场景的三维模型，并与所述目标内部结构场景的三维模型建立映射关系。
3.根据权利要求2所述的基于增强现实的工业内窥影像实现方法，其特征在于，所述内窥镜探头上还设置有色彩摄像头；所述方法还包括：
调用所述色彩摄像头采集目标内部颜色信息，得到所述目标内部贴图数据；
通过所述图像处理模块根据所述目标内部贴图数据，获取叠加所述目标内部贴图数据的所述目标内部结构场景的三维模型；
通过所述显示模块在所述待显示位置显示叠加所述目标内部贴图数据的所述目标内部结构场景的三维模型。
4.根据权利要求3所述的基于增强现实的工业内窥影像实现方法，其特征在于，所述可穿戴设备上还设置有存储模块；所述方法还包括：
通过所述存储模块存储所述目标内部贴图数据、所述目标内部结构场景的三维模型、所述目标空间环境场景的三维模型和所述映射关系。
5.根据权利要求1至4任意一项所述的基于增强现实的工业内窥影像实现方法，其特征在于，所述可穿戴设备上还设置有运动检测模块，所述内窥镜探头上还设置有位置调节模块；所述方法还包括：
调用所述运动检测模块检测所述可穿戴设备的转动角度；
通过所述位置调节模块根据所述可穿戴设备的转动角度带动所述内窥镜探头转动相应角度。
6.一种基于增强现实的工业内窥影像实现系统，其特征在于，包括内窥镜探头和可穿戴设备，所述内窥镜探头和所述可穿戴设备通信连接，所述内窥镜探头上设置有第一深度摄像头和第一定位传感器，所述可穿戴设备上设置有第二定位传感器、图像处理模块和显示模块；
所述第一深度摄像头用于采集目标内部结构场景，得到所述目标内部结构场景的三维信息；
所述第一定位传感器用于定位所述内窥镜探头的位置；
所述第二定位传感器用于定位所述可穿戴设备的位置；
所述图像处理模块用于根据所述目标内部结构场景的三维信息获取所述目标内部结构场景的三维模型，以及根据所述内窥镜探头的位置与所述可穿戴设备的位置获取所述目标内部结构场景的三维模型在所述显示模块上的待显示位置；
所述显示模块用于在所述待显示位置显示所述目标内部结构场景的三维模型。
7.根据权利要求6所述的基于增强现实的工业内窥影像实现系统，其特征在于，所述可穿戴设备上还设置有第二深度摄像头；
所述第二深度摄像头用于采集目标空间环境场景，得到所述目标空间环境场景的三维信息；
所述图像处理模块还用于根据所述目标空间环境场景的三维信息获取所述目标空间环境场景的三维模型，并与所述目标内部结构场景的三维模型建立映射关系。
8.根据权利要求7所述的基于增强现实的工业内窥影像实现系统，其特征在于，所述内窥镜探头上还设置有色彩摄像头；
所述色彩摄像头用于采集目标内部颜色信息，得到所述目标内部贴图数据；
所述图像处理模块还用于根据所述目标内部贴图数据，获取叠加所述目标内部贴图数据的所述目标内部结构场景的三维模型；
所述显示模块还用于在所述待显示位置显示叠加所述目标内部贴图数据的所述目标内部结构场景的三维模型。
9.根据权利要求8所述的基于增强现实的工业内窥影像实现系统，其特征在于，所述可穿戴设备上还设置有存储模块；
所述存储模块用于存储所述目标内部贴图数据、所述目标内部结构场景的三维模型、所述目标空间环境场景的三维模型和所述映射关系。
10.根据权利要求6至9任意一项所述的基于增强现实的工业内窥影像实现系统，其特征在于，所述可穿戴设备上还设置有运动检测模块，所述内窥镜探头上还设置有位置调节模块；
所述运动检测模块用于检测所述可穿戴设备的转动角度；
所述位置调节模块用于根据所述可穿戴设备的转动角度带动所述内窥镜探头转动相应角度。
CN202011059099.4A 2020-09-30 2020-09-30 一种基于增强现实的工业内窥影像实现方法及系统 Pending CN112132944A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011059099.4A CN112132944A (zh) 2020-09-30 2020-09-30 一种基于增强现实的工业内窥影像实现方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011059099.4A CN112132944A (zh) 2020-09-30 2020-09-30 一种基于增强现实的工业内窥影像实现方法及系统

Publications (1)

Publication Number Publication Date
CN112132944A true CN112132944A (zh) 2020-12-25

Family

ID=73845006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011059099.4A Pending CN112132944A (zh) 2020-09-30 2020-09-30 一种基于增强现实的工业内窥影像实现方法及系统

Country Status (1)

Country Link
CN (1) CN112132944A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113952033A (zh) * 2021-12-21 2022-01-21 广东欧谱曼迪科技有限公司 一种双源内窥手术导航系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106805934A (zh) * 2017-01-20 2017-06-09 杭州无创光电有限公司 增强现实无线电子内窥镜手术系统
CN108022306A (zh) * 2017-12-30 2018-05-11 华自科技股份有限公司 基于增强现实的场景识别方法、装置、存储介质和设备
CN109035414A (zh) * 2018-06-20 2018-12-18 深圳大学 增强现实手术图像的生成方法、装置、设备及存储介质
KR20190024194A (ko) * 2017-08-31 2019-03-08 (주)레벨소프트 증강 현실을 이용한 의료 영상 처리 장치 및 의료 영상 처리 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106805934A (zh) * 2017-01-20 2017-06-09 杭州无创光电有限公司 增强现实无线电子内窥镜手术系统
KR20190024194A (ko) * 2017-08-31 2019-03-08 (주)레벨소프트 증강 현실을 이용한 의료 영상 처리 장치 및 의료 영상 처리 방법
CN108022306A (zh) * 2017-12-30 2018-05-11 华自科技股份有限公司 基于增强现实的场景识别方法、装置、存储介质和设备
CN109035414A (zh) * 2018-06-20 2018-12-18 深圳大学 增强现实手术图像的生成方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113952033A (zh) * 2021-12-21 2022-01-21 广东欧谱曼迪科技有限公司 一种双源内窥手术导航系统及方法
CN113952033B (zh) * 2021-12-21 2022-04-19 广东欧谱曼迪科技有限公司 一种双源内窥手术导航系统及方法

Similar Documents

Publication Publication Date Title
US9689972B2 (en) Scanner display
US9734609B2 (en) Transprojection of geometry data
US7232409B2 (en) Method and apparatus for displaying endoscopic images
US8558879B2 (en) Endoscope apparatus and measuring method
CN103068315B (zh) 超声波图像装置和使用超声波图像的三维图像显示方法
EP3161412B1 (en) Indexing method and system
JP2008055101A (ja) 超音波診断装置
KR20090010099A (ko) 유도 장치 및 방법
JP2000279425A (ja) ナビゲーション装置
EP2838420A1 (en) Image display improvements
EP1844696B1 (en) Endoscopic imaging with indication of gravity direction
JPH0919441A (ja) 術式支援用画像表示装置
CN112132944A (zh) 一种基于增强现实的工业内窥影像实现方法及系统
EP2310799B1 (en) Stereoscopic measurement system and method
JP2005338551A (ja) 工業用内視鏡装置
JP4464641B2 (ja) 工業用内視鏡システム
JP2002288637A (ja) 環境情報作成方法
JP3206874B2 (ja) 遠隔施工支援用の画像システム
JP6400767B2 (ja) 計測内視鏡装置
JP4464640B2 (ja) 工業用内視鏡装置
CN217886048U (zh) 一种手持式可视化三维超声成像设备
JP5042550B2 (ja) 内視鏡装置
JP2002045372A (ja) 手術ナビゲーション装置
CN215605841U (zh) 超声成像设备
JP2019065467A (ja) 杭位置検査装置及び杭位置検査方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination