CN117593437A - 基于gpu的内窥镜实时图像处理方法及系统 - Google Patents

基于gpu的内窥镜实时图像处理方法及系统 Download PDF

Info

Publication number
CN117593437A
CN117593437A CN202410071631.6A CN202410071631A CN117593437A CN 117593437 A CN117593437 A CN 117593437A CN 202410071631 A CN202410071631 A CN 202410071631A CN 117593437 A CN117593437 A CN 117593437A
Authority
CN
China
Prior art keywords
image information
image
information
endoscope
gpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410071631.6A
Other languages
English (en)
Inventor
唐永安
林文晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hualun Medical Supplies Shenzhen Co ltd
Original Assignee
Hualun Medical Supplies Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hualun Medical Supplies Shenzhen Co ltd filed Critical Hualun Medical Supplies Shenzhen Co ltd
Priority to CN202410071631.6A priority Critical patent/CN117593437A/zh
Publication of CN117593437A publication Critical patent/CN117593437A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请涉及一种基于GPU的内窥镜实时图像处理方法及系统,所属领域为图像处理技术领域,所述方法包括:获取内窥镜实时图像,以及内窥镜相关参数信息,所述内窥镜实时图像包括多个窄带图像;对所述多个窄带图像进行融合,得到第一图像信息,并基于所述第一图像信息,构建对应的三维场景;基于所述相关参数信息,确定目标参数评估值,并根据所述目标参数评估值对所述三维场景进行修正,得到第二图像信息;响应于检测到所述第二图像信息符合预设标准时,利用GPU对所述第二图像信息进行渲染,将渲染后的所述第二图像信息推送至显示终端。本申请可以提高图像质量,以用于对医生手术进行准确的显示与引导。

Description

基于GPU的内窥镜实时图像处理方法及系统
技术领域
本申请涉及图像处理技术领域,特别是涉及一种基于GPU的内窥镜实时图像处理方法及系统。
背景技术
内窥镜通常向被检体内插入呈细长形状的挠性的插入部,从该插入部前端照明由光源装置供给的照明光,通过由插入部前端的摄像部接受该照明光的反射光而拍摄体内图像。
目前的内窥镜手术中,医生持镜手专职操控内窥镜对准视角,由于内窥镜本体较长,持镜手在移动视角时,容易持镜不稳,进而引起内窥镜图像产生抖动,影响成像质量,且在传统技术中,多数内窥镜采用白光摄像模组获取采集图像,并通过图像处理设备对图像进行处理,最后通过显示设备显示处理后的图像,然而,传统内窥镜中显示设备所显示的处理后的图像质量较低,无法对医生手术进行准确的显示与引导。
因此,亟需提出一种可以提高成像质量以用于提高显示与引导准确性的基于GPU的内窥镜实时图像处理方法及系统。
发明内容
基于此,有必要针对上述技术问题,提供一种可以提高成像质量以用于提高显示与引导准确性的基于GPU的内窥镜实时图像处理方法及系统。
一方面,提供一种基于GPU的内窥镜实时图像处理方法,所述方法包括:
获取内窥镜实时图像,以及内窥镜相关参数信息,所述相关参数信息至少包括内窥镜位置、移动方向、移动速度、抖动偏移值以及规格参数,所述内窥镜实时图像包括多个窄带图像;
对所述多个窄带图像进行融合,得到第一图像信息,并基于所述第一图像信息,构建对应的三维场景;
基于所述相关参数信息,确定目标参数评估值,并根据所述目标参数评估值对所述三维场景进行修正,得到第二图像信息;
响应于检测到所述第二图像信息符合预设标准时,利用GPU对所述第二图像信息进行渲染,将渲染后的所述第二图像信息推送至显示终端。
可选的,在对所述多个窄带图像进行融合,得到第一图像信息之前,所述方法还包括:
对所述多个窄带图像进行预处理,所述预处理的方法包括:
对所述多个窄带图像进行低通滤波处理,得到目标低通滤波图像;
对所述目标低通滤波图像进行去噪处理,得到目标窄带图像。
可选的,对所述多个窄带图像进行融合,得到第一图像信息包括:
获取同一组别的多个目标窄带图像;
对所述多个目标窄带图像进行图像对齐处理,得到目标组别对应的待融合图像;
基于图像融合算法,对所述待融合图像进行融合处理,得到所述第一图像信息。
可选的,基于所述第一图像信息,构建对应的三维场景包括:
根据所述第一图像信息,确定所述内窥镜的初始位姿信息;
基于所述内窥镜的初始位姿信息,确定三维场景的初始坐标系;
根据所述内窥镜的规格参数以及所述三维场景的初始坐标系,确定目标三维场景。
可选的,基于所述相关参数信息,确定目标参数评估值包括:
对所述相关参数信息进行归一化处理;
将归一化处理后的所述相关参数信息输入至预设的数据处理模型中,所述数据处理模型包括:
其中,表示模型输出值,/>表示平稳性赋值,/>表示调节函数,/>表示修正系数,表示弧度,/>表示移动速度,/>表示移动方向赋值,/>表示规格参数赋值之和,/>表示图像传输时延,/>表示内窥镜位置赋值,/>表示抖动偏移值;
基于所述数据处理模型的输出结果,确定所述目标参数评估值包括:
将所述模型输出值定义为所述目标参数评估值。
可选的,根据所述目标参数评估值对所述三维场景进行修正,得到第二图像信息包括:
响应于检测到所述目标参数评估值小于或等于第一预设值时,基于第一预设映射表,确定第一修正值,以对所述三维场景进行修正;
响应检测到所述目标参数评估值大于第一预设值且小于第二预设值时,基于第二预设映射表,确定第二修正值,以对所述三维场景进行修正;
响应检测到所述目标参数评估值大于第二预设值时,基于第三预设映射表,确定第三修正值,以对所述三维场景进行修正;
定义修正后的三维场景为所述第二图像信息。
可选的,在响应于检测到所述第二图像信息符合预设标准时,利用GPU对所述第二图像信息进行渲染之前,所述方法还包括:
获取实时图像对应症状的标准图像信息;
计算所述标准图像信息与所述第二图像信息之间的相似度;
根据所述相似度,确定所述第二图像信息是否符合预设标准。
可选的,所述方法还包括:
响应于检测到所述相似度大于第三预设值时,确定所述第二图像信息符合预设标准。
可选的,利用GPU对所述第二图像信息进行渲染,将渲染后的所述第二图像信息推送至显示终端包括:
响应于检测到所述第二图像信息符合预设标准时,根据第一参数信息,利用GPU对所述第二图像信息进行渲染;
响应于检测到所述第二图像信息不符合预设标准时,根据第二参数信息,利用GPU对所述第二图像信息进行渲染;
将所述渲染后的所述第二图像信息推送至显示终端;
其中,所述第二参数信息与所述第二参数信息的数值差大于第四预设值且小于第五预设值。
另一方面,提供了一种基于GPU的内窥镜实时图像处理系统,所述系统包括:
数据获取模块,用于获取内窥镜实时图像,以及内窥镜相关参数信息,所述相关参数信息至少包括内窥镜位置、移动方向、移动速度、抖动偏移值以及规格参数,所述内窥镜实时图像包括多个窄带图像;
图像处理模块,用于对所述多个窄带图像进行融合,得到第一图像信息,并基于所述第一图像信息,构建对应的三维场景;
修正模块,用于基于所述相关参数信息,确定目标参数评估值,并根据所述目标参数评估值对所述三维场景进行修正,得到第二图像信息;
信息推送模块,用于响应于检测到所述第二图像信息符合预设标准时,利用GPU对所述第二图像信息进行渲染,将渲染后的所述第二图像信息推送至显示终端。
再一方面,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取内窥镜实时图像,以及内窥镜相关参数信息,所述相关参数信息至少包括内窥镜位置、移动方向、移动速度、抖动偏移值以及规格参数,所述内窥镜实时图像包括多个窄带图像;
对所述多个窄带图像进行融合,得到第一图像信息,并基于所述第一图像信息,构建对应的三维场景;
基于所述相关参数信息,确定目标参数评估值,并根据所述目标参数评估值对所述三维场景进行修正,得到第二图像信息;
响应于检测到所述第二图像信息符合预设标准时,利用GPU对所述第二图像信息进行渲染,将渲染后的所述第二图像信息推送至显示终端。
又一方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取内窥镜实时图像,以及内窥镜相关参数信息,所述相关参数信息至少包括内窥镜位置、移动方向、移动速度、抖动偏移值以及规格参数,所述内窥镜实时图像包括多个窄带图像;
对所述多个窄带图像进行融合,得到第一图像信息,并基于所述第一图像信息,构建对应的三维场景;
基于所述相关参数信息,确定目标参数评估值,并根据所述目标参数评估值对所述三维场景进行修正,得到第二图像信息;
响应于检测到所述第二图像信息符合预设标准时,利用GPU对所述第二图像信息进行渲染,将渲染后的所述第二图像信息推送至显示终端。
上述基于GPU的内窥镜实时图像处理方法及系统,所述方法包括:获取内窥镜实时图像,以及内窥镜相关参数信息,所述相关参数信息至少包括内窥镜位置、移动方向、移动速度、抖动偏移值以及规格参数,所述内窥镜实时图像包括多个窄带图像;对所述多个窄带图像进行融合,得到第一图像信息,并基于所述第一图像信息,构建对应的三维场景;基于所述相关参数信息,确定目标参数评估值,并根据所述目标参数评估值对所述三维场景进行修正,得到第二图像信息;响应于检测到所述第二图像信息符合预设标准时,利用GPU对所述第二图像信息进行渲染,将渲染后的所述第二图像信息推送至显示终端,本申请可以提高图像质量,以用于对医生手术进行准确的显示与引导。
附图说明
图1为一个实施例中基于GPU的内窥镜实时图像处理方法的应用环境图;
图2为一个实施例中基于GPU的内窥镜实时图像处理方法的流程示意图;
图3为一个实施例中基于GPU的内窥镜实时图像处理系统的结构框图;
图4为一个实施例中计算机设备的内部结构图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应当理解,在本申请的描述中,除非上下文明确要求,否则整个说明书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义;也就是说,是“包括但不限于”的含义。
还应当理解,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。
需要注意的是,术语“S1”、“S2”等仅用于步骤的描述目的,并非特别指称次序或顺位的意思,亦非用以限定本申请,其仅仅是为了方便描述本申请的方法,而不能理解为指示步骤的先后顺序。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本申请要求的保护范围之内。
本申请提供的基于GPU的内窥镜实时图像处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与设置于服务器104上的数据处理平台进行通信,其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种基于GPU的内窥镜实时图像处理方法,以该方法应用于图1中的终端为例进行说明,包括以下步骤:
S1:获取内窥镜实时图像,以及内窥镜相关参数信息,所述相关参数信息至少包括内窥镜位置、移动方向、移动速度、抖动偏移值以及规格参数,所述内窥镜实时图像包括多个窄带图像。
需要说明的是,窄带可以包括红色窄带图像、绿色窄带图像和蓝色窄带图像,内窥镜实时运行状态可以通过内部感知系统获取,如通过陀螺仪感知内窥镜的抖动偏移值等,内窥镜的规格参数可以包括工作长度、镜头数量、成像清晰度等,内窥镜位置信息可以基于目标参照物来进行定位,该目标参照物可以根据实际情况设置。
S2:对所述多个窄带图像进行融合,得到第一图像信息,并基于所述第一图像信息,构建对应的三维场景。
在一些具体实施方式中,在对所述多个窄带图像进行融合,得到第一图像信息之前,所述方法还包括:
对所述多个窄带图像进行预处理,所述预处理的方法包括:
对所述多个窄带图像进行低通滤波处理,得到目标低通滤波图像;
对所述目标低通滤波图像进行去噪处理,得到目标窄带图像,其中,上述的低通滤波处理方法和去噪处理方法均为常用方法,在此不再赘述。
在一些具体实施方式中,对所述多个窄带图像进行融合,得到第一图像信息包括:
获取同一组别的多个目标窄带图像,如上述的在同一时间节点获取到的红色窄带图像、绿色窄带图像和蓝色窄带图像为同一组别的目标窄带图像;
对所述多个目标窄带图像进行图像对齐处理,得到目标组别对应的待融合图像;
基于图像融合算法,对所述待融合图像进行融合处理,得到所述第一图像信息,其中,通过图像融合算法对窄带图像进行融合为常用方法,具体融合过程在此不再赘述。
在一些具体实施方式中,基于所述第一图像信息,构建对应的三维场景包括:
根据所述第一图像信息,确定所述内窥镜的初始位姿信息;
基于所述内窥镜的初始位姿信息,确定三维场景的初始坐标系,即根据实际需求,选取内窥镜初始位姿信息中的一个标定节点当做坐标系的原点,并建立三维直角坐标系;
根据所述内窥镜的规格参数以及所述三维场景的初始坐标系,确定目标三维场景,即根据坐标系原点,将规格参数信息输入三维直角坐标系中,从而得到三维场景,其中,规格参数可以包括内窥镜的厚度等信息。
S3:基于所述相关参数信息,确定目标参数评估值,并根据所述目标参数评估值对所述三维场景进行修正,得到第二图像信息。
在一些具体实施方式中,基于所述相关参数信息,确定目标参数评估值包括:
对所述相关参数信息进行归一化处理,其中,归一化处理方法为常用方法,具体过程在此不再赘述;
将归一化处理后的所述相关参数信息输入至预设的数据处理模型中,所述数据处理模型包括:
其中,表示模型输出值,/>表示平稳性赋值,/>表示调节函数,/>表示修正系数,表示弧度,/>表示移动速度,/>表示移动方向赋值,/>表示规格参数赋值之和,/>表示图像传输时延,/>表示内窥镜位置赋值,/>表示抖动偏移值,其中,平稳性赋值可以基于预设映射表获得,该预设映射表包括至少一个平稳性赋值和目标持镜者持镜次数的映射关系。弧度指的是内窥镜移动弧度;
基于所述数据处理模型的输出结果,确定所述目标参数评估值包括:
将所述模型输出值定义为所述目标参数评估值。
在一些具体实施方式中,根据所述目标参数评估值对所述三维场景进行修正,得到第二图像信息包括:
响应于检测到所述目标参数评估值小于或等于第一预设值时,基于第一预设映射表,确定第一修正值,以对所述三维场景进行修正,其中,第一预设映射表中包括至少一个参数评估值与第一修正值的映射关系,第一预设值可以根据实际需求进行设定,第一修正值一般指的是像素修正值;
响应检测到所述目标参数评估值大于第一预设值且小于第二预设值时,基于第二预设映射表,确定第二修正值,以对所述三维场景进行修正,其中,第二预设映射表中包括至少一个参数评估值与第二修正值的映射关系,第二预设值可以根据实际需求进行设定,第二修正值一般指的是色彩修正值;
响应检测到所述目标参数评估值大于第二预设值时,基于第三预设映射表,确定第三修正值,以对所述三维场景进行修正,其中,第三预设映射表中包括至少一个参数评估值与第三修正值的映射关系,第三修正值一般指的是亮度修正值;
定义修正后的三维场景为所述第二图像信息。
S4:响应于检测到所述第二图像信息符合预设标准时,利用GPU对所述第二图像信息进行渲染,将渲染后的所述第二图像信息推送至显示终端。
在一些具体实施方式中,在响应于检测到所述第二图像信息符合预设标准时,利用GPU对所述第二图像信息进行渲染之前,所述方法还包括:
获取实时图像对应症状的标准图像信息,即根据术前诊断结果确定的症状标准图像信息,如该症状在对应诊断结果中公认的标准图像或自身诊断结果得到的一个标准图像;
计算所述标准图像信息与所述第二图像信息之间的相似度,其中,相似度计算方法可以是欧式距离等方法,其具体计算过程在此不再赘述;
根据所述相似度,确定所述第二图像信息是否符合预设标准,包括:
响应于检测到所述相似度大于第三预设值时,确定所述第二图像信息符合预设标准,其中,第三预设值可以根据实际需求进行设定。
在一些具体实施方式中,利用GPU对所述第二图像信息进行渲染,将渲染后的所述第二图像信息推送至显示终端包括:
响应于检测到所述第二图像信息符合预设标准时,根据第一参数信息,利用GPU对所述第二图像信息进行渲染,其中,第一参数信息即为针对目标图像的渲染值;
响应于检测到所述第二图像信息不符合预设标准时,根据第二参数信息,利用GPU对所述第二图像信息进行渲染,其中,第二参数信息中某些参数值相较于第一参数信息会有一定的变动,以对第二图像信息进行信号增强,从而确保图像成像质量,其具体变化值可以根据实际需求设定;
将所述渲染后的所述第二图像信息推送至显示终端;
其中,所述第二参数信息与所述第二参数信息的数值差大于第四预设值且小于第五预设值,其中,第四预设值和第五预设值可以根据实际需求进行设定。
上述基于GPU的内窥镜实时图像处理方法中,所述方法包括:获取内窥镜实时图像,以及内窥镜相关参数信息,所述相关参数信息至少包括内窥镜位置、移动方向、移动速度、抖动偏移值以及规格参数,所述内窥镜实时图像包括多个窄带图像;对所述多个窄带图像进行融合,得到第一图像信息,并基于所述第一图像信息,构建对应的三维场景;基于所述相关参数信息,确定目标参数评估值,并根据所述目标参数评估值对所述三维场景进行修正,得到第二图像信息;响应于检测到所述第二图像信息符合预设标准时,利用GPU对所述第二图像信息进行渲染,将渲染后的所述第二图像信息推送至显示终端,本申请可以提高图像质量,以用于对医生手术进行准确的显示与引导。
应该理解的是,虽然图2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图3所示,提供了一种基于GPU的内窥镜实时图像处理系统,包括:数据获取模块、图像处理模块、修正模块和信息推送模块,其中:
数据获取模块,用于获取内窥镜实时图像,以及内窥镜相关参数信息,所述相关参数信息至少包括内窥镜位置、移动方向、移动速度、抖动偏移值以及规格参数,所述内窥镜实时图像包括多个窄带图像;
图像处理模块,用于对所述多个窄带图像进行融合,得到第一图像信息,并基于所述第一图像信息,构建对应的三维场景;
修正模块,用于基于所述相关参数信息,确定目标参数评估值,并根据所述目标参数评估值对所述三维场景进行修正,得到第二图像信息;
信息推送模块,用于响应于检测到所述第二图像信息符合预设标准时,利用GPU对所述第二图像信息进行渲染,将渲染后的所述第二图像信息推送至显示终端。
作为一种较优的实施方式,本发明实施例中,所述图像处理模块具体用于:
对所述多个窄带图像进行预处理,所述预处理的方法包括:
对所述多个窄带图像进行低通滤波处理,得到目标低通滤波图像;
对所述目标低通滤波图像进行去噪处理,得到目标窄带图像。
作为一种较优的实施方式,本发明实施例中,所述图像处理模块具体还用于:
获取同一组别的多个目标窄带图像;
对所述多个目标窄带图像进行图像对齐处理,得到目标组别对应的待融合图像;
基于图像融合算法,对所述待融合图像进行融合处理,得到所述第一图像信息。
作为一种较优的实施方式,本发明实施例中,所述图像处理模块具体还用于:
根据所述第一图像信息,确定所述内窥镜的初始位姿信息;
基于所述内窥镜的初始位姿信息,确定三维场景的初始坐标系;
根据所述内窥镜的规格参数以及所述三维场景的初始坐标系,确定目标三维场景。
作为一种较优的实施方式,本发明实施例中,所述修正模块具体用于:
对所述相关参数信息进行归一化处理;
将归一化处理后的所述相关参数信息输入至预设的数据处理模型中,所述数据处理模型包括:
其中,表示模型输出值,/>表示平稳性赋值,/>表示调节函数,/>表示修正系数,表示弧度,/>表示移动速度,/>表示移动方向赋值,/>表示规格参数赋值之和,/>表示图像传输时延,/>表示内窥镜位置赋值,/>表示抖动偏移值;
基于所述数据处理模型的输出结果,确定所述目标参数评估值包括:
将所述模型输出值定义为所述目标参数评估值。
作为一种较优的实施方式,本发明实施例中,所述修正模块具体还用于:
响应于检测到所述目标参数评估值小于或等于第一预设值时,基于第一预设映射表,确定第一修正值,以对所述三维场景进行修正;
响应检测到所述目标参数评估值大于第一预设值且小于第二预设值时,基于第二预设映射表,确定第二修正值,以对所述三维场景进行修正;
响应检测到所述目标参数评估值大于第二预设值时,基于第三预设映射表,确定第三修正值,以对所述三维场景进行修正;
定义修正后的三维场景为所述第二图像信息。
作为一种较优的实施方式,本发明实施例中,所述信息推送模块具体用于:
获取实时图像对应症状的标准图像信息;
计算所述标准图像信息与所述第二图像信息之间的相似度;
根据所述相似度,确定所述第二图像信息是否符合预设标准。
作为一种较优的实施方式,本发明实施例中,所述信息推送模块具体还用于:
响应于检测到所述相似度大于第三预设值时,确定所述第二图像信息符合预设标准。
作为一种较优的实施方式,本发明实施例中,所述信息推送模块具体还用于:
响应于检测到所述第二图像信息符合预设标准时,根据第一参数信息,利用GPU对所述第二图像信息进行渲染;
响应于检测到所述第二图像信息不符合预设标准时,根据第二参数信息,利用GPU对所述第二图像信息进行渲染;
将所述渲染后的所述第二图像信息推送至显示终端;
其中,所述第二参数信息与所述第二参数信息的数值差大于第四预设值且小于第五预设值。
关于基于GPU的内窥镜实时图像处理系统的具体限定可以参见上文中对于基于GPU的内窥镜实时图像处理方法的限定,在此不再赘述。上述基于GPU的内窥镜实时图像处理系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于GPU的内窥镜实时图像处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图4中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
S1:获取内窥镜实时图像,以及内窥镜相关参数信息,所述相关参数信息至少包括内窥镜位置、移动方向、移动速度、抖动偏移值以及规格参数,所述内窥镜实时图像包括多个窄带图像;
S2:对所述多个窄带图像进行融合,得到第一图像信息,并基于所述第一图像信息,构建对应的三维场景;
S3:基于所述相关参数信息,确定目标参数评估值,并根据所述目标参数评估值对所述三维场景进行修正,得到第二图像信息;
S4:响应于检测到所述第二图像信息符合预设标准时,利用GPU对所述第二图像信息进行渲染,将渲染后的所述第二图像信息推送至显示终端。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对所述多个窄带图像进行预处理,所述预处理的方法包括:
对所述多个窄带图像进行低通滤波处理,得到目标低通滤波图像;
对所述目标低通滤波图像进行去噪处理,得到目标窄带图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取同一组别的多个目标窄带图像;
对所述多个目标窄带图像进行图像对齐处理,得到目标组别对应的待融合图像;
基于图像融合算法,对所述待融合图像进行融合处理,得到所述第一图像信息。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据所述第一图像信息,确定所述内窥镜的初始位姿信息;
基于所述内窥镜的初始位姿信息,确定三维场景的初始坐标系;
根据所述内窥镜的规格参数以及所述三维场景的初始坐标系,确定目标三维场景。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对所述相关参数信息进行归一化处理;
将归一化处理后的所述相关参数信息输入至预设的数据处理模型中,所述数据处理模型包括:
其中,表示模型输出值,/>表示平稳性赋值,/>表示调节函数,/>表示修正系数,表示弧度,/>表示移动速度,/>表示移动方向赋值,/>表示规格参数赋值之和,/>表示图像传输时延,/>表示内窥镜位置赋值,/>表示抖动偏移值;
基于所述数据处理模型的输出结果,确定所述目标参数评估值包括:
将所述模型输出值定义为所述目标参数评估值。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
响应于检测到所述目标参数评估值小于或等于第一预设值时,基于第一预设映射表,确定第一修正值,以对所述三维场景进行修正;
响应检测到所述目标参数评估值大于第一预设值且小于第二预设值时,基于第二预设映射表,确定第二修正值,以对所述三维场景进行修正;
响应检测到所述目标参数评估值大于第二预设值时,基于第三预设映射表,确定第三修正值,以对所述三维场景进行修正;
定义修正后的三维场景为所述第二图像信息。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取实时图像对应症状的标准图像信息;
计算所述标准图像信息与所述第二图像信息之间的相似度;
根据所述相似度,确定所述第二图像信息是否符合预设标准。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
响应于检测到所述相似度大于第三预设值时,确定所述第二图像信息符合预设标准。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
响应于检测到所述第二图像信息符合预设标准时,根据第一参数信息,利用GPU对所述第二图像信息进行渲染;
响应于检测到所述第二图像信息不符合预设标准时,根据第二参数信息,利用GPU对所述第二图像信息进行渲染;
将所述渲染后的所述第二图像信息推送至显示终端;
其中,所述第二参数信息与所述第二参数信息的数值差大于第四预设值且小于第五预设值。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
S1:获取内窥镜实时图像,以及内窥镜相关参数信息,所述相关参数信息至少包括内窥镜位置、移动方向、移动速度、抖动偏移值以及规格参数,所述内窥镜实时图像包括多个窄带图像;
S2:对所述多个窄带图像进行融合,得到第一图像信息,并基于所述第一图像信息,构建对应的三维场景;
S3:基于所述相关参数信息,确定目标参数评估值,并根据所述目标参数评估值对所述三维场景进行修正,得到第二图像信息;
S4:响应于检测到所述第二图像信息符合预设标准时,利用GPU对所述第二图像信息进行渲染,将渲染后的所述第二图像信息推送至显示终端。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对所述多个窄带图像进行预处理,所述预处理的方法包括:
对所述多个窄带图像进行低通滤波处理,得到目标低通滤波图像;
对所述目标低通滤波图像进行去噪处理,得到目标窄带图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取同一组别的多个目标窄带图像;
对所述多个目标窄带图像进行图像对齐处理,得到目标组别对应的待融合图像;
基于图像融合算法,对所述待融合图像进行融合处理,得到所述第一图像信息。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据所述第一图像信息,确定所述内窥镜的初始位姿信息;
基于所述内窥镜的初始位姿信息,确定三维场景的初始坐标系;
根据所述内窥镜的规格参数以及所述三维场景的初始坐标系,确定目标三维场景。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对所述相关参数信息进行归一化处理;
将归一化处理后的所述相关参数信息输入至预设的数据处理模型中,所述数据处理模型包括:
其中,表示模型输出值,/>表示平稳性赋值,/>表示调节函数,/>表示修正系数,表示弧度,/>表示移动速度,/>表示移动方向赋值,/>表示规格参数赋值之和,/>表示图像传输时延,/>表示内窥镜位置赋值,/>表示抖动偏移值;
基于所述数据处理模型的输出结果,确定所述目标参数评估值包括:
将所述模型输出值定义为所述目标参数评估值。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
响应于检测到所述目标参数评估值小于或等于第一预设值时,基于第一预设映射表,确定第一修正值,以对所述三维场景进行修正;
响应检测到所述目标参数评估值大于第一预设值且小于第二预设值时,基于第二预设映射表,确定第二修正值,以对所述三维场景进行修正;
响应检测到所述目标参数评估值大于第二预设值时,基于第三预设映射表,确定第三修正值,以对所述三维场景进行修正;
定义修正后的三维场景为所述第二图像信息。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取实时图像对应症状的标准图像信息;
计算所述标准图像信息与所述第二图像信息之间的相似度;
根据所述相似度,确定所述第二图像信息是否符合预设标准。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
响应于检测到所述相似度大于第三预设值时,确定所述第二图像信息符合预设标准。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
响应于检测到所述第二图像信息符合预设标准时,根据第一参数信息,利用GPU对所述第二图像信息进行渲染;
响应于检测到所述第二图像信息不符合预设标准时,根据第二参数信息,利用GPU对所述第二图像信息进行渲染;
将所述渲染后的所述第二图像信息推送至显示终端;
其中,所述第二参数信息与所述第二参数信息的数值差大于第四预设值且小于第五预设值。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于GPU的内窥镜实时图像处理方法,其特征在于,所述方法包括:
获取内窥镜实时图像,以及内窥镜相关参数信息,所述相关参数信息至少包括内窥镜位置、移动方向、移动速度、抖动偏移值以及规格参数,所述内窥镜实时图像包括多个窄带图像;
对所述多个窄带图像进行融合,得到第一图像信息,并基于所述第一图像信息,构建对应的三维场景;
基于所述相关参数信息,确定目标参数评估值,并根据所述目标参数评估值对所述三维场景进行修正,得到第二图像信息;
响应于检测到所述第二图像信息符合预设标准时,利用GPU对所述第二图像信息进行渲染,将渲染后的所述第二图像信息推送至显示终端。
2.根据权利要求1所述的基于GPU的内窥镜实时图像处理方法,其特征在于,在对所述多个窄带图像进行融合,得到第一图像信息之前,所述方法还包括:
对所述多个窄带图像进行预处理,所述预处理的方法包括:
对所述多个窄带图像进行低通滤波处理,得到目标低通滤波图像;
对所述目标低通滤波图像进行去噪处理,得到目标窄带图像。
3.根据权利要求1所述的基于GPU的内窥镜实时图像处理方法,其特征在于,对所述多个窄带图像进行融合,得到第一图像信息包括:
获取同一组别的多个目标窄带图像;
对所述多个目标窄带图像进行图像对齐处理,得到目标组别对应的待融合图像;
基于图像融合算法,对所述待融合图像进行融合处理,得到所述第一图像信息。
4.根据权利要求3所述的基于GPU的内窥镜实时图像处理方法,其特征在于,基于所述第一图像信息,构建对应的三维场景包括:
根据所述第一图像信息,确定所述内窥镜的初始位姿信息;
基于所述内窥镜的初始位姿信息,确定三维场景的初始坐标系;
根据所述内窥镜的规格参数以及所述三维场景的初始坐标系,确定目标三维场景。
5.根据权利要求4所述的基于GPU的内窥镜实时图像处理方法,其特征在于,基于所述相关参数信息,确定目标参数评估值包括:
对所述相关参数信息进行归一化处理;
将归一化处理后的所述相关参数信息输入至预设的数据处理模型中,所述数据处理模型包括:
其中,表示模型输出值,/>表示平稳性赋值,/>表示调节函数,/>表示修正系数,/>表示弧度,/>表示移动速度,/>表示移动方向赋值,/>表示规格参数赋值之和,/>表示图像传输时延,/>表示内窥镜位置赋值,/>表示抖动偏移值;
基于所述数据处理模型的输出结果,确定所述目标参数评估值包括:
将所述模型输出值定义为所述目标参数评估值。
6.根据权利要求5所述的基于GPU的内窥镜实时图像处理方法,其特征在于,根据所述目标参数评估值对所述三维场景进行修正,得到第二图像信息包括:
响应于检测到所述目标参数评估值小于或等于第一预设值时,基于第一预设映射表,确定第一修正值,以对所述三维场景进行修正;
响应检测到所述目标参数评估值大于第一预设值且小于第二预设值时,基于第二预设映射表,确定第二修正值,以对所述三维场景进行修正;
响应检测到所述目标参数评估值大于第二预设值时,基于第三预设映射表,确定第三修正值,以对所述三维场景进行修正;
定义修正后的三维场景为所述第二图像信息。
7.根据权利要求6所述的基于GPU的内窥镜实时图像处理方法,其特征在于,在响应于检测到所述第二图像信息符合预设标准时,利用GPU对所述第二图像信息进行渲染之前,所述方法还包括:
获取实时图像对应症状的标准图像信息;
计算所述标准图像信息与所述第二图像信息之间的相似度;
根据所述相似度,确定所述第二图像信息是否符合预设标准。
8.根据权利要求7所述的基于GPU的内窥镜实时图像处理方法,其特征在于,所述方法还包括:
响应于检测到所述相似度大于第三预设值时,确定所述第二图像信息符合预设标准。
9.根据权利要求8所述的基于GPU的内窥镜实时图像处理方法,其特征在于,利用GPU对所述第二图像信息进行渲染,将渲染后的所述第二图像信息推送至显示终端包括:
响应于检测到所述第二图像信息符合预设标准时,根据第一参数信息,利用GPU对所述第二图像信息进行渲染;
响应于检测到所述第二图像信息不符合预设标准时,根据第二参数信息,利用GPU对所述第二图像信息进行渲染;
将所述渲染后的所述第二图像信息推送至显示终端;
其中,所述第二参数信息与所述第二参数信息的数值差大于第四预设值且小于第五预设值。
10.一种基于GPU的内窥镜实时图像处理系统,其特征在于,所述系统包括:
数据获取模块,用于获取内窥镜实时图像,以及内窥镜相关参数信息,所述相关参数信息至少包括内窥镜位置、移动方向、移动速度、抖动偏移值以及规格参数,所述内窥镜实时图像包括多个窄带图像;
图像处理模块,用于对所述多个窄带图像进行融合,得到第一图像信息,并基于所述第一图像信息,构建对应的三维场景;
修正模块,用于基于所述相关参数信息,确定目标参数评估值,并根据所述目标参数评估值对所述三维场景进行修正,得到第二图像信息;
信息推送模块,用于响应于检测到所述第二图像信息符合预设标准时,利用GPU对所述第二图像信息进行渲染,将渲染后的所述第二图像信息推送至显示终端。
CN202410071631.6A 2024-01-18 2024-01-18 基于gpu的内窥镜实时图像处理方法及系统 Pending CN117593437A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410071631.6A CN117593437A (zh) 2024-01-18 2024-01-18 基于gpu的内窥镜实时图像处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410071631.6A CN117593437A (zh) 2024-01-18 2024-01-18 基于gpu的内窥镜实时图像处理方法及系统

Publications (1)

Publication Number Publication Date
CN117593437A true CN117593437A (zh) 2024-02-23

Family

ID=89913701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410071631.6A Pending CN117593437A (zh) 2024-01-18 2024-01-18 基于gpu的内窥镜实时图像处理方法及系统

Country Status (1)

Country Link
CN (1) CN117593437A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111832468A (zh) * 2020-07-09 2020-10-27 平安科技(深圳)有限公司 基于生物识别的手势识别方法、装置、计算机设备及介质
US20210106206A1 (en) * 2017-05-01 2021-04-15 Sony Corporation Medical image processing apparatus, medical image processing method and endoscope system
CN113192171A (zh) * 2021-05-08 2021-07-30 重庆电子工程职业学院 一种基于云端渲染的三维效果图高效渲染方法及系统
CN114972106A (zh) * 2022-06-13 2022-08-30 上海微觅医疗器械有限公司 内窥镜的图像处理方法、装置、图像处理设备和内窥镜
CN115829978A (zh) * 2022-12-13 2023-03-21 北京柏惠维康科技股份有限公司 内窥镜图像处理方法、装置、电子设备及计算机存储介质
US20230267679A1 (en) * 2020-08-11 2023-08-24 King's College London Method and System for Reconstructing the Three-Dimensional Surface of Tubular Organs

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210106206A1 (en) * 2017-05-01 2021-04-15 Sony Corporation Medical image processing apparatus, medical image processing method and endoscope system
CN111832468A (zh) * 2020-07-09 2020-10-27 平安科技(深圳)有限公司 基于生物识别的手势识别方法、装置、计算机设备及介质
US20230267679A1 (en) * 2020-08-11 2023-08-24 King's College London Method and System for Reconstructing the Three-Dimensional Surface of Tubular Organs
CN113192171A (zh) * 2021-05-08 2021-07-30 重庆电子工程职业学院 一种基于云端渲染的三维效果图高效渲染方法及系统
CN114972106A (zh) * 2022-06-13 2022-08-30 上海微觅医疗器械有限公司 内窥镜的图像处理方法、装置、图像处理设备和内窥镜
CN115829978A (zh) * 2022-12-13 2023-03-21 北京柏惠维康科技股份有限公司 内窥镜图像处理方法、装置、电子设备及计算机存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱兵 等: "基于GPU的虚拟内窥镜场景实时绘制算法", 《液晶与显示》, vol. 28, no. 1, 15 February 2013 (2013-02-15), pages 127 - 131 *

Similar Documents

Publication Publication Date Title
CN110533609B (zh) 适用于内窥镜的图像增强方法、装置和存储介质
WO2019037676A1 (zh) 图像处理方法及装置
US20200074666A1 (en) Method of operating measurement device, measurement device, and recording medium
CN111225155B (zh) 视频防抖方法、装置、电子设备、计算机设备和存储介质
CN114022547A (zh) 一种内窥镜图像检测方法、装置、设备及存储介质
CN110930386B (zh) 图像处理方法、装置、设备及存储介质
CN114663463A (zh) 关节活动度的测量方法、系统、设备、电子设备和存储介质
US11941749B2 (en) Image display method, display control device, and recording medium for displaying shape image of subject and coordinates estimated from two-dimensional coordinates in reference image projected thereon
CN114972106A (zh) 内窥镜的图像处理方法、装置、图像处理设备和内窥镜
CN111583329B (zh) 增强现实眼镜显示方法、装置、电子设备和存储介质
US11055865B2 (en) Image acquisition device and method of operating image acquisition device
EP3216005A1 (en) Image processing device and method for geometric calibration of images
CN117593437A (zh) 基于gpu的内窥镜实时图像处理方法及系统
CN109712121B (zh) 一种医学影像图片处理的方法、设备及装置
CN110832851B (zh) 图像处理装置、图像变换方法
JP2013258583A (ja) 撮像画像表示装置、撮像画像表示方法、プログラム
JP6030890B2 (ja) 画像処理ユニット、画像処理方法、およびスタンド型スキャナ
JP2004233201A (ja) 位置姿勢計測方法
CN115272473A (zh) 相机标定方法、装置、电子设备及存储介质
JP2014147572A (ja) 内視鏡装置およびプログラム
CN113891040A (zh) 视频处理方法、装置、计算机设备和存储介质
JP7296941B2 (ja) 医療画像の表示
WO2023048153A1 (ja) 情報処理方法、コンピュータプログラム及び情報処理装置
JP7276978B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN113643377B (zh) 基于多次标定的单镜头一致性误差分析的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination