CN112907726A - 一种图像处理方法、装置、设备及计算机可读存储介质 - Google Patents

一种图像处理方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN112907726A
CN112907726A CN202110097188.6A CN202110097188A CN112907726A CN 112907726 A CN112907726 A CN 112907726A CN 202110097188 A CN202110097188 A CN 202110097188A CN 112907726 A CN112907726 A CN 112907726A
Authority
CN
China
Prior art keywords
target part
image
target
category
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110097188.6A
Other languages
English (en)
Other versions
CN112907726B (zh
Inventor
聂瑞
方会兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Jinshan Medical Technology Research Institute Co Ltd
Original Assignee
Chongqing Jinshan Medical Appliance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Jinshan Medical Appliance Co Ltd filed Critical Chongqing Jinshan Medical Appliance Co Ltd
Priority to CN202110097188.6A priority Critical patent/CN112907726B/zh
Publication of CN112907726A publication Critical patent/CN112907726A/zh
Application granted granted Critical
Publication of CN112907726B publication Critical patent/CN112907726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Abstract

本申请公开了一种图像处理方法、装置、设备及计算机可读存储介质,方法包括:获取电子内镜在体腔内拍摄的图像;对图像进行识别,根据识别结果将图像划分为与体腔内的各目标部位对应的类别图像;利用与目标部位对应的类别图像进行三维重建,以得到与目标部位对应的三维模型,并对三维模型进行存储。本申请公开的上述技术方案,利用与目标部位对应的类别图像进行三维重建而得到与目标部位对应的三维模型并对其进行存储,由于三维重建得到的三维模型能够比较贴合和还原体腔内的目标部位,因此,其能够保留目标部位中更多的细节信息,从而便于后续通过三维模型更加全面地获取体腔内对应目标部位的相关信息,以便于医生进行更加准确的分析和判断。

Description

一种图像处理方法、装置、设备及计算机可读存储介质
技术领域
本申请涉及图像处理技术领域,更具体地说,涉及一种图像处理方法、装置、设备及计算机可读存储介质。
背景技术
电子内镜是检查消化道等体腔的主要装置之一。
目前,医生在利用电子内镜对受检者进行检查完成后,会根据自身的经验和操作指南保存图像数据,以用作报告和存档记录,但是,由于所保存的图像数量有限,因此,从图像中所能获取的信息也比较有限,从而不利于后续二次查看和对照。
综上所述,如何便于更加全面地获取各部位的信息,是目前本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此,本申请的目的是提供一种图像处理方法、装置、设备及计算机可读存储介质,用于便于更加全面地获取各部位的信息。
为了实现上述目的,本申请提供如下技术方案:
一种图像处理方法,包括:
获取电子内镜在体腔内拍摄的图像;
对所述图像进行识别,根据识别结果将所述图像划分为与所述体腔内的各目标部位对应的类别图像;
利用与所述目标部位对应的类别图像进行三维重建,以得到与所述目标部位对应的三维模型,并对所述三维模型进行存储。
优选的,在利用与所述目标部位对应的类别图像进行三维重建之前,还包括:
在利用与所述目标部位对应的类别图像进行三维重建之前,还包括:
统计与所述目标部位对应的类别图像的数量,并判断与所述目标部位对应的类别图像的数量是否达到进行三维重建的类别图像数量要求;
若是,则执行所述利用与所述目标部位对应的类别图像进行三维重建的步骤;
若否,则发出无法进行三维重建的提示,并获取所述电子内镜对无法进行三维重建的目标部位拍摄的图像,且执行所述统计与所述目标部位对应的类别图像的数量的步骤;
在得到与所述目标部位对应的三维模型之后,还包括:
对所述三维模型与所述目标部位对应的标准模型进行重合度计算,若所述三维模型与所述目标部位对应的标准模型的重合度不大于第一预设值,则发出提示,并获取所述电子内镜对所述目标部位拍摄的图像,且执行所述统计与所述目标部位对应的类别图像的数量的步骤。
优选的,在对所述图像进行识别之后,还包括:
若识别到发生病变的部位,则发出三维重建提示,并获取所述电子内镜对所述发生病变的部位拍摄的数量不小于预设数量的图像;
相应地,根据识别结果将所述图像划分为与所述体腔内的各目标部分对应的类别图像,包括:
将获取到的所述电子内镜对所述发生病变的部位拍摄的图像,作为与所述发生病变的部位对应的类别图像;
在得到与所述目标部位对应的三维模型之后,还包括:
对所述三维模型与所述发生病变的部位对应的标准模型进行重合度计算,若所述三维模型与所述发生病变的部位对应的标准模型的重合度不大于第二预设值,则发出提示,并获取所述电子内镜对所述发生病变的部位拍摄的图像,且执行所述利用与所述目标部位对应的类别图像进行三维重建的步骤。
优选的,对所述图像进行识别,包括:
利用预先训练后的识别模型对所述图像进行识别;其中,所述预先训练后的识别模型为CNN卷积神经网络或目标检测网络。
优选的,利用与所述目标部位对应的类别图像进行三维重建,包括:
通过sft算法或sfm算法利用与所述目标部位对应的类别图像进行三维重建。
优选的,在得到与所述目标部位对应的三维模型之后,还包括:
将与所述目标部位对应的三维模型显示在操作界面上。
一种图像处理装置,包括:
获取模块,用于获取电子内镜在体腔内拍摄的图像;
识别模块,用于对所述图像进行识别,根据识别结果将所述图像划分为与所述体腔内的各目标部位对应的类别图像;
三维重建模块,用于利用与所述目标部位对应的类别图像进行三维重建,以得到与所述目标部位对应的三维模型,并对所述三维模型进行存储。
优选的,还包括:
统计模块,用于统计与所述目标部位对应的类别图像的数量,并判断与所述目标部位对应的类别图像的数量是否达到进行三维重建的类别图像数量要求;
第一执行模块,用于若与所述目标部位对应的类别图像的数量达到进行三维重建的类别图像数量要求,则执行所述利用与所述目标部位对应的类别图像进行三维重建的步骤;
第二执行模块,用于若与所述目标部位对应的类别图像的数量未达到进行三维重建的类别图像数量要求,则发出无法进行三维重建的提示,并获取所述电子内镜对无法进行三维重建的目标部位拍摄的图像,且执行所述统计与所述目标部位对应的类别图像的数量的步骤;
还包括:
第一计算模块,用于在得到与所述目标部位对应的三维模型之后,对所述三维模型与所述目标部位对应的标准模型进行重合度计算,若所述三维模型与所述目标部位对应的标准模型的重合度不大于第一预设值,则发出提示,并获取所述电子内镜对所述目标部位拍摄的图像,且执行所述统计与所述目标部位对应的类别图像的数量的步骤。
一种图像处理设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上述任一项所述的图像处理方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一项所述的图像处理方法的步骤。
本申请提供了一种图像处理方法、装置、设备及计算机可读存储介质,其中,该方法包括:获取电子内镜在体腔内拍摄的图像;对图像进行识别,根据识别结果将图像划分为与体腔内的各目标部位对应的类别图像;利用与目标部位对应的类别图像进行三维重建,以得到与目标部位对应的三维模型,并对三维模型进行存储。
本申请公开的上述技术方案,对获取到的电子内镜在体腔内拍摄的图像进行识别,并根据识别结果将图像划分为与体腔内的各目标部位对应的类别图像,且利用与目标部位对应的类别图像进行三维重建而得到与目标部位对应的三维模型,并对三维模型进行存储,由于基于类别图像进行三维重建得到的三维模型能够比较贴合和还原体腔内的目标部位,因此,其能够保留目标部位中更多的细节信息,从而便于后续通过三维模型更加全面地获取体腔内对应目标部位的相关信息,以便于医生进行更加准确的分析和判断。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种图像处理方法的流程图;
图2为本申请实施例提供的另一种图像处理方法的流程图;
图3为本申请实施例提供的又一种图像处理方法的流程图;
图4为本申请实施例提供的一种图像处理装置的结构示意图;
图5为本申请实施例提供的一种图像处理设备的结构示意图。
具体实施方式
目前,电子内镜是对消化道等体腔进行检查的主要方式之一。现有技术中,医生在利用电子内镜对受检者进行检查完成后,会根据自身的经验和操作指南保存有限数量的图像数据,以用作报告和存档记录,但是,有限数量的图像数据会导致后续从中能够获取的体腔内部的各部位的信息也比较有限,因此,则不利于后续二次查看和对照分析等。
为此,本申请提供一种图像处理的技术方案,以便于医生等可以更加全面地获取体腔内各部位的信息。
为了使本领域技术人员更好地理解本技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参见图1,其示出了本申请实施例提供的一种图像处理方法的流程图,本申请实施例提供的一种图像处理方法,可以包括:
S11:获取电子内镜在体腔内拍摄的图像。
在利用电子内镜对体腔进行检查和图像拍摄时,可以获取电子内镜在体腔内拍摄的多帧图像。
其中,在获取电子内镜在体腔内拍摄的图像时,具体可以获取电子内镜在体腔内拍摄的视频数据,并对视频数据进行分帧处理,以得到多帧图像,当然,也可以在电子内镜进行视频拍摄时直接从电子内镜拍摄的视频中获取图像,本申请对获取图像的方式不做任何限定。另外,上述提及的体腔具体可以为消化道等。
S12:对图像进行识别,根据识别结果将图像划分为与体腔内的各目标部位对应的类别图像。
在获取到图像时,可以对图像进行识别,并根据识别结果将获取到的图像划分为与体腔内的各目标部位对应的类别图像,也即根据对图像的识别而将图像划分成不同的类别,且每个类别的图像均对应一个目标部位。其中,当体腔具体为胃肠道时,这里提及的目标部位具体可以为贲门、胃角、胃窦、幽门等部位,相应地,则可以将图像根据识别结果而划分成与贲门对应的包含贲门的类别图像、与胃角对应的包含胃角的类别图像、与胃窦对应的包含胃窦的类别图像、与幽门对应的包含幽门的类别图像等。
S13:利用与目标部位对应的类别图像进行三维重建,以得到与目标部位对应的三维模型,并对三维模型进行存储。
在划分得到与体腔内的目标部位对应的类别图像之后,可以利用与目标部位对应的类别图像来对目标部位进行三维重建,以通过三维重建得到与目标部位对应的三维模型,例如:对于贲门这一目标部位而言,则可以利用其对应的类别图像进行三维重建,以得到与贲门对应的三维模型,对于胃角这一目标部位而言,则可以利用其对应的类别图像进行三维重建,以得到与胃角对应的三维模型,对于胃窦这一目标部位而言,则可以利用其对应的类别图像进行三维重建,以得到与胃窦对应的三维模型,对于幽门这一目标部位而言,则可以利用其对应的类别图像进行三维重建,以得到与幽门对应的三维模型,也即可以分别利用各目标部位对应的类别图像对对应的目标部位进行三维重建,以对应得到与目标部位对应的三维模型。
在得到与目标部位对应的三维模型之后,可以对所得到的三维模型进行存储,以将三维模型用作报告和存档记录。由于与目标部位对应的三维模型是根据与目标部位对应的类别图像进行三维重建得到的,因此,所得到的三维模型可以较为贴合和还原目标部位的真实情况,并可以保留目标部位更多的细节信息,因此,则可以通过对与目标部位对应的三维模型的存储而存储目标部位更为全面的细节信息,以便于后续通过与目标部位对应的三维模型查看和获取目标部位更为全面的信息,从而便于医生进行对照、分析等。
本申请公开的上述技术方案,对获取到的电子内镜在体腔内拍摄的图像进行识别,并根据识别结果将图像划分为与体腔内的各目标部位对应的类别图像,且利用与目标部位对应的类别图像进行三维重建而得到与目标部位对应的三维模型,并对三维模型进行存储,由于基于类别图像进行三维重建得到的三维模型能够比较贴合和还原体腔内的目标部位,因此,其能够保留目标部位中更多的细节信息,从而便于后续通过三维模型更加全面地获取体腔内对应目标部位的相关信息,以便于医生进行更加准确的分析和判断。
需要说明的是,基于上述实施例,本申请还提供了相应的改进方案。在后续实施例中涉及与上述实施例中相同步骤或相应步骤之间可相互参考,相应的有益效果也可相互参照,在下文的改进实施例中不再一一赘述。
具体参见图2,其示出了本申请实施例提供的另一种图像处理方法的流程图。本申请实施例提供的一种图像处理方法,在利用与目标部位对应的类别图像进行三维重建之前,还可以包括:
S21:统计与目标部位对应的类别图像的数量,并判断与目标部位对应的类别图像的数量是否达到进行三维重建的类别图像数量要求;若是,则执行步骤S22,若否,则执行步骤S23;
S22:利用与目标部位对应的类别图像进行三维重建,以得到与目标部位对应的三维模型;
S23:发出无法进行三维重建的提示,并获取电子内镜对无法进行三维重建的目标部位拍摄的图像,且执行步骤S21;
S24:对三维模型与目标部位对应的标准模型进行重合度计算;
S25:判断三维模型与目标部位对应的标准模型的重合度是否小于或等于第一预设值;若是,则执行步骤S26,若否,则执行步骤S27;
S26:发出提示,并获取电子内镜对目标部位拍摄的图像,且执行步骤S21;
S27:对三维模型进行存储。
在本申请中,在根据识别结果将图像划分为与体腔内的各目标部位对应的类别图像之后,且在利用与目标部位对应的类别图像进行三维重建之前,可以实时统计与目标部位对应的类别图像的数量,并判断与目标部位对应的类别图像的数量是否达到进行三维重建的类别图像数量要求,若确定与目标部位对应的类别图像的数量达到进行三维重建的类别图像数量要求,则表明此时与目标部位对应的类别图像的数量已经可以满足三维重建的要求,因此,则可以执行利用与目标部位对应的类别图像进行三维重建的步骤;若确定与目标部位对应的类别图像的数量未达到进行三维重建的类别图像数量要求,则表明此时与目标部位对应的类别图像的数量还无法满足三维重建的要求,因此,则可以发出无法进行三维重建的提示,以便于医生可以根据提示而利用电子内镜对无法进行三维重建的目标部位拍摄更多的图像,在利用电子内镜对其拍摄的同时,则可以获取电子内镜对无法进行三维重建的目标部位拍摄的图像,以获取与无法进行三维重建的目标部位对应的更多数量的类别图像,与此同时,则可以统计与该目标部位对应的类别图像的数量,即执行统计与目标部位对应的类别图像的数量及后续步骤,直至其数量达到进行三维重建的类别图像数量要求,并对目标部位完成三维重建为止。
考虑到不仅需要与目标部位对应的类别图像的数量要达到进行三维重建的类别图像数量要求,还需要利用电子内镜从多个角度对目标部位进行拍摄,以便于使得三维重建得到的三维模型更加贴合目标部位,其具体实现过程为:在得到与目标部位对应的三维模型之后,可以对所得到的三维模型与目标部位对应的标准模型进行重合度计算,如果计算出所得到的三维模型与目标部位对应的标准模型之间的重合度不大于第一预设值,则表明所拍摄的目标部位的图像无法满足需求,此时,则可以发出提示,以便于医生根据提示对目标部位进行多角度的拍摄,同时,可以获取电子内镜对目标部位拍摄的图像,之后,则可以执行统计与目标部位对应的类别图像的数量的步骤,其中,上述提及的第一预设数量具体可以根据对目标部位的需求进行设置,本申请对此不做任何限定;如果计算出所得到的三维模型与目标部位对应的标准模型之间的重合度大于第一预设值,则表明所拍摄的目标部位的图像可以满足需求,此时,则可以对三维模型进行存储。
通过上述过程可以保证每个目标部位都有足够多且多角度拍摄到的类别图像参与到三维重建中,以便于三维重建所得到的与目标部位对应的三维模型能够更加准确地贴合目标部位,并使得三维模型能够保留目标部位中更多和更全面的细节信息。
参见图3,其示出了本申请实施例提供的又一种图像处理方法的流程图,可以包括:
S31:获取电子内镜在体腔内拍摄的图像;
S32:对图像进行识别;
S33:若识别到发生病变的部位,则发出三维重建提示,并获取电子内镜对发生病变的部位拍摄的数量不小于预设数量的图像;
S34:将获取到的电子内镜对发生病变的部位拍摄的图像作为发生病变的部位对应的类别图像;
S35:利用与发生病变的部位对应的类别图像进行三维重建,以得到与发生病变的部位对应的三维模型;
S36:对三维模型与发生病变的部位对应的标准模型进行重合度计算;
S37:判断三维模型与发生病变的部位对应的标准模型的重合度是否小于或等于第二预设值;若是,则执行步骤S38,若否,则执行步骤S39;
步骤S38:发出提示,并获取电子内镜对发生病变的部位拍摄的图像,且执行步骤S35;
步骤S39:对三维模型进行存储。
在对电子内镜拍摄到的体腔内的图像进行识别之后,若识别到发生病变的部位(即此时目标部位即为发生病变的部位),具体如溃疡、息肉、肿瘤等,则可以发出三维重建提示,以便于医生根据提示而利用电子内镜对发生病变的部位进行不同视角的移动连续拍摄(具体可以使拍摄的数量不小于预设数量再进行后续其他位置的拍摄),相应地,则可以获取电子内镜对发生病变的部位拍摄的数量不小于预设数量的图像,其中,这里提及的预设数量的图像即为对发生病变的部位进行三维重建所需的数量,以便于利用所获取到的电子内镜对发生病变的部位所拍摄的图像来对发生病变的部位进行三维重建。在上述过程的基础上,根据识别结果将图像划分为与体腔内的各目标部分对应的类别图像的过程即为将获取到的电子内镜对发生病变的部位拍摄的图像作为发生病变的部位对应的类别图像,后续则利用与发生病变的部位对应的类别图像进行三维重建,以得到与发生病变的部位对应的三维模型。
在保证拍摄到足够数量的发生病变的部位的基础上,为了提高所得三维模型的真实性和准确性,则在得到与发生病变的部位对应的三维模型之后,可以对发生病变的部位对应的三维模型及发生病变的部位对应的标准模型进行重合度计算,如果计算出所得到的三维模型与发生病变的部位对应的标准模型之间的重合度不大于第二预设值,则表明所拍摄的发生病变的部位的图像无法满足需求,此时,则可以发出提示,以便于医生根据提示对发生病变的部位进行多角度的拍摄,同时,则可以获取电子内镜对发生病变的部位拍摄的图像,之后,则可以执行利用与目标部位对应的类别图像进行三维重建的步骤,其中,上述提及的第二预设数量具体可以根据对发生病变的部位的需求进行设置,本申请对此不做任何限定;如果计算出所得到的三维模型与发生病变的部位对应的标准模型之间的重合度大于第二预设值,则表明所拍摄的发生病变的部位的图像可以满足需求,此时,则可以对三维模型进行存储。通过上述方式可以便于在识别到发生病变的部位后由医生等直接根据提示而利用电子内镜对发生病变的部位拍摄预设数量的图像,以避免后续因电子内镜拍摄位置发生移动而需要重新进行拍摄并寻找发生病变的部位而增加额外的工作量,从而便于提高与发生病变的部位的三维模型获取的效率。且通过上述过程可以保证发生病变的部位的三维模型更加准确地贴合真实的发生病变的部位,以便于从中获取更多和更全面的信息。
本申请实施例提供的一种图像处理方法,对图像进行识别,可以包括:
利用预先训练后的识别模型对图像进行识别;其中,预先训练后的识别模型为CNN卷积神经网络或目标检测网络。
在对图像进行识别时,具体可以利用预先训练后的识别模型对图像进行识别,其中,预先训练识别模型的过程为获取大量的类别图像,并利用类别图像及类别图像对应的部位对识别模型进行训练,以得到训练后的识别模型,从而使其具有图像识别的功能,并便于利用预先训练后的识别模型来对电子内镜拍摄的图像进行识别。
其中,上述提及的预先训练后的识别模型具体可以为CNN(Convolutional NeuralNetwork)卷积神经网络或目标检测网络,其中,CNN卷积神经网络具体可以为resnet或inception,目标检测网络具体可以为yolo v3等,本申请对此不做任何限定。
本申请实施例提供的一种图像处理方法,利用与目标部位对应的类别图像进行三维重建,可以包括:
通过sft算法或sfm算法利用与目标部位对应的类别图像进行三维重建。
在利用与目标部位对应的类别图像进行三维重建时,具体可以通过sft(Shapefrom Template)算法或sfm(structure-from-motion)算法利用与目标部位对应的类别图像进行三维重建。
本申请实施例提供的一种图像处理方法,在得到与目标部位对应的三维模型之后,还可以包括:
将与目标部位对应的三维模型显示在操作界面上。
在得到与目标部位对应的三维模型之后,还可以将与目标部位对应的三维模型显示在操作界面上,以便于医生等可以通过操作界面查看与目标部位对应的三维模型,并便于医生扥等根据所显示的三维模型而确定是否需要对目标部位重新进行拍摄和重新进行三维重建。
本申请实施例还提供了一种图像处理装置,参见图4,其示出了本申请实施例提供的一种图像处理装置的结构示意图,可以包括:
获取模块21,用于获取电子内镜在体腔内拍摄的图像;
识别模块22,用于对图像进行识别,根据识别结果将图像划分为与体腔内的各目标部位对应的类别图像;
三维重建模块23,用于利用与目标部位对应的类别图像进行三维重建,以得到与目标部位对应的三维模型,并对三维模型进行存储。
本申请实施例提供的一种图像处理装置,还可以包括:
统计模块,用于在利用与目标部位对应的类别图像进行三维重建之前,统计与目标部位对应的类别图像的数量,并判断与目标部位对应的类别图像的数量是否达到进行三维重建的类别图像数量要求;
第一执行模块,用于若与目标部位对应的类别图像的数量达到进行三维重建的类别图像数量要求,则执行利用与目标部位对应的类别图像进行三维重建的步骤;
第二执行模块,用于若与目标部位对应的类别图像的数量未达到进行三维重建的类别图像数量要求,则发出无法进行三维重建的提示,并获取电子内镜对无法进行三维重建的目标部位拍摄的图像,且执行统计与目标部位对应的类别图像的数量的步骤;
第一计算模块,用于在得到与目标部位对应的三维模型之后,对三维模型与目标部位对应的标准模型进行重合度计算,若三维模型与目标部位对应的标准模型的重合度不大于第一预设值,则发出提示,并获取电子内镜对目标部位拍摄的图像,且执行统计与目标部位对应的类别图像的数量的步骤。
本申请实施例提供的一种图像处理装置,还可以包括:
发出提示模块,用于在对图像进行识别之后,若识别到发生病变的部位,则发出三维重建提示,并获取电子内镜对发生病变的部位拍摄的数量不小于预设数量的图像;
相应地,识别模块22可以包括:
作为单元,用于将获取到的电子内镜对发生病变的部位拍摄的图像,作为与发生病变的部位对应的类别图像
图像处理装置还可以包括:
第二计算模块,用于在得到与目标部位对应的三维模型之后,对三维模型与发生病变的部位对应的标准模型进行重合度计算,若三维模型与发生病变的部位对应的标准模型的重合度不大于第二预设值,则发出提示,并获取电子内镜对发生病变的部位拍摄的图像,且执行利用与目标部位对应的类别图像进行三维重建的步骤。
本申请实施例提供的一种图像处理装置,识别模块22可以包括:
识别单元,用于利用预先训练后的识别模型对图像进行识别;其中,预先训练后的识别模型为CNN卷积神经网络或目标检测网络。
本申请实施例提供的一种图像处理装置,三维重建模块23可以包括:
三维重建单元,用于通过sft算法或sfm算法利用与目标部位对应的类别图像进行三维重建。
本申请实施例提供的一种图像处理装置,还可以包括:
显示模块,用于在得到与目标部位对应的三维模型之后,将与目标部位对应的三维模型显示在操作界面上。
本申请实施例还提供了一种图像处理设备,参见图3,其示出了本申请实施例提供的一种图像处理设备的结构示意图,可以包括:
存储器31,用于存储计算机程序;
处理器32,用于执行存储器31存储的计算机程序时可实现如下步骤:
获取电子内镜在体腔内拍摄的图像;对图像进行识别,根据识别结果将图像划分为与体腔内的各目标部位对应的类别图像;利用与目标部位对应的类别图像进行三维重建,以得到与目标部位对应的三维模型,并对三维模型进行存储。
本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时可实现如下步骤:
获取电子内镜在体腔内拍摄的图像;对图像进行识别,根据识别结果将图像划分为与体腔内的各目标部位对应的类别图像;利用与目标部位对应的类别图像进行三维重建,以得到与目标部位对应的三维模型,并对三维模型进行存储。
该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的一种图像处理装置、设备及计算机可读存储介质中相关部分的说明可以参见本申请实施例提供的一种图像处理方法中对应部分的详细说明,在此不再赘述。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外,本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明,以免过多赘述。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像处理方法,其特征在于,包括:
获取电子内镜在体腔内拍摄的图像;
对所述图像进行识别,根据识别结果将所述图像划分为与所述体腔内的各目标部位对应的类别图像;
利用与所述目标部位对应的类别图像进行三维重建,以得到与所述目标部位对应的三维模型,并对所述三维模型进行存储。
2.根据权利要求1所述的图像处理方法,其特征在于,在利用与所述目标部位对应的类别图像进行三维重建之前,还包括:
统计与所述目标部位对应的类别图像的数量,并判断与所述目标部位对应的类别图像的数量是否达到进行三维重建的类别图像数量要求;
若是,则执行所述利用与所述目标部位对应的类别图像进行三维重建的步骤;
若否,则发出无法进行三维重建的提示,并获取所述电子内镜对无法进行三维重建的目标部位拍摄的图像,且执行所述统计与所述目标部位对应的类别图像的数量的步骤;
在得到与所述目标部位对应的三维模型之后,还包括:
对所述三维模型与所述目标部位对应的标准模型进行重合度计算,若所述三维模型与所述目标部位对应的标准模型的重合度不大于第一预设值,则发出提示,并获取所述电子内镜对所述目标部位拍摄的图像,且执行所述统计与所述目标部位对应的类别图像的数量的步骤。
3.根据权利要求1所述的图像处理方法,其特征在于,在对所述图像进行识别之后,还包括:
若识别到发生病变的部位,则发出三维重建提示,并获取所述电子内镜对所述发生病变的部位拍摄的数量不小于预设数量的图像;
相应地,根据识别结果将所述图像划分为与所述体腔内的各目标部分对应的类别图像,包括:
将获取到的所述电子内镜对所述发生病变的部位拍摄的图像,作为与所述发生病变的部位对应的类别图像;
在得到与所述目标部位对应的三维模型之后,还包括:
对所述三维模型与所述发生病变的部位对应的标准模型进行重合度计算,若所述三维模型与所述发生病变的部位对应的标准模型的重合度不大于第二预设值,则发出提示,并获取所述电子内镜对所述发生病变的部位拍摄的图像,且执行所述利用与所述目标部位对应的类别图像进行三维重建的步骤。
4.根据权利要求1所述的图像处理方法,其特征在于,对所述图像进行识别,包括:
利用预先训练后的识别模型对所述图像进行识别;其中,所述预先训练后的识别模型为CNN卷积神经网络或目标检测网络。
5.根据权利要求1所述的图像处理方法,其特征在于,利用与所述目标部位对应的类别图像进行三维重建,包括:
通过sft算法或sfm算法利用与所述目标部位对应的类别图像进行三维重建。
6.根据权利要求1所述的图像处理方法,其特征在于,在得到与所述目标部位对应的三维模型之后,还包括:
将与所述目标部位对应的三维模型显示在操作界面上。
7.一种图像处理装置,其特征在于,包括:
获取模块,用于获取电子内镜在体腔内拍摄的图像;
识别模块,用于对所述图像进行识别,根据识别结果将所述图像划分为与所述体腔内的各目标部位对应的类别图像;
三维重建模块,用于利用与所述目标部位对应的类别图像进行三维重建,以得到与所述目标部位对应的三维模型,并对所述三维模型进行存储。
8.根据权利要求7所述的图像处理装置,其特征在于,还包括:
统计模块,用于统计与所述目标部位对应的类别图像的数量,并判断与所述目标部位对应的类别图像的数量是否达到进行三维重建的类别图像数量要求;
第一执行模块,用于若与所述目标部位对应的类别图像的数量达到进行三维重建的类别图像数量要求,则执行所述利用与所述目标部位对应的类别图像进行三维重建的步骤;
第二执行模块,用于若与所述目标部位对应的类别图像的数量未达到进行三维重建的类别图像数量要求,则发出无法进行三维重建的提示,并获取所述电子内镜对无法进行三维重建的目标部位拍摄的图像,且执行所述统计与所述目标部位对应的类别图像的数量的步骤;
还包括:
第一计算模块,用于在得到与所述目标部位对应的三维模型之后,对所述三维模型与所述目标部位对应的标准模型进行重合度计算,若所述三维模型与所述目标部位对应的标准模型的重合度不大于第一预设值,则发出提示,并获取所述电子内镜对所述目标部位拍摄的图像,且执行所述统计与所述目标部位对应的类别图像的数量的步骤。
9.一种图像处理设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至6任一项所述的图像处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的图像处理方法的步骤。
CN202110097188.6A 2021-01-25 2021-01-25 一种图像处理方法、装置、设备及计算机可读存储介质 Active CN112907726B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110097188.6A CN112907726B (zh) 2021-01-25 2021-01-25 一种图像处理方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110097188.6A CN112907726B (zh) 2021-01-25 2021-01-25 一种图像处理方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112907726A true CN112907726A (zh) 2021-06-04
CN112907726B CN112907726B (zh) 2022-09-20

Family

ID=76119237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110097188.6A Active CN112907726B (zh) 2021-01-25 2021-01-25 一种图像处理方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112907726B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0492897A2 (en) * 1990-12-21 1992-07-01 General Electric Company Reconstructing a 3-D image
CN107895369A (zh) * 2017-11-28 2018-04-10 腾讯科技(深圳)有限公司 图像分类方法、装置、存储介质及设备
CN109118581A (zh) * 2018-08-22 2019-01-01 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109523522A (zh) * 2018-10-30 2019-03-26 腾讯科技(深圳)有限公司 内窥镜图像的处理方法、装置、系统及存储介质
CN109658501A (zh) * 2018-12-21 2019-04-19 Oppo广东移动通信有限公司 一种图像处理方法、图像处理装置及终端设备
CN110232326A (zh) * 2019-05-20 2019-09-13 平安科技(深圳)有限公司 一种三维物体识别方法、装置及存储介质
CN110503715A (zh) * 2019-08-08 2019-11-26 苏州浪潮智能科技有限公司 一种医学影像的三维重建方法、装置及电子设备和存储介质
WO2020024744A1 (zh) * 2018-08-01 2020-02-06 Oppo广东移动通信有限公司 一种图像特征点检测方法、终端设备及存储介质
WO2020063986A1 (zh) * 2018-09-30 2020-04-02 先临三维科技股份有限公司 三维模型生成方法、装置、设备和存储介质
CN111047548A (zh) * 2020-03-12 2020-04-21 腾讯科技(深圳)有限公司 姿态变换数据处理方法、装置、计算机设备和存储介质
CN111144449A (zh) * 2019-12-10 2020-05-12 东软集团股份有限公司 图像处理方法、装置、存储介质及电子设备
CN111493805A (zh) * 2020-04-23 2020-08-07 重庆金山医疗技术研究院有限公司 一种状态检测装置、方法、系统及可读存储介质
CN111696083A (zh) * 2020-05-20 2020-09-22 平安科技(深圳)有限公司 一种图像处理方法、装置、电子设备及存储介质
CN111862296A (zh) * 2019-04-24 2020-10-30 京东方科技集团股份有限公司 三维重建方法及装置、系统、模型训练方法、存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0492897A2 (en) * 1990-12-21 1992-07-01 General Electric Company Reconstructing a 3-D image
CN107895369A (zh) * 2017-11-28 2018-04-10 腾讯科技(深圳)有限公司 图像分类方法、装置、存储介质及设备
WO2020024744A1 (zh) * 2018-08-01 2020-02-06 Oppo广东移动通信有限公司 一种图像特征点检测方法、终端设备及存储介质
CN109118581A (zh) * 2018-08-22 2019-01-01 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
WO2020063986A1 (zh) * 2018-09-30 2020-04-02 先临三维科技股份有限公司 三维模型生成方法、装置、设备和存储介质
CN109523522A (zh) * 2018-10-30 2019-03-26 腾讯科技(深圳)有限公司 内窥镜图像的处理方法、装置、系统及存储介质
CN109658501A (zh) * 2018-12-21 2019-04-19 Oppo广东移动通信有限公司 一种图像处理方法、图像处理装置及终端设备
CN111862296A (zh) * 2019-04-24 2020-10-30 京东方科技集团股份有限公司 三维重建方法及装置、系统、模型训练方法、存储介质
CN110232326A (zh) * 2019-05-20 2019-09-13 平安科技(深圳)有限公司 一种三维物体识别方法、装置及存储介质
CN110503715A (zh) * 2019-08-08 2019-11-26 苏州浪潮智能科技有限公司 一种医学影像的三维重建方法、装置及电子设备和存储介质
CN111144449A (zh) * 2019-12-10 2020-05-12 东软集团股份有限公司 图像处理方法、装置、存储介质及电子设备
CN111047548A (zh) * 2020-03-12 2020-04-21 腾讯科技(深圳)有限公司 姿态变换数据处理方法、装置、计算机设备和存储介质
CN111493805A (zh) * 2020-04-23 2020-08-07 重庆金山医疗技术研究院有限公司 一种状态检测装置、方法、系统及可读存储介质
CN111696083A (zh) * 2020-05-20 2020-09-22 平安科技(深圳)有限公司 一种图像处理方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LU, B等: "Effects of window and threshold levels on the accuracy of three-dimensional rendering techniques in coronary artery electron-beam CT angiography", 《ACADEMIC RADIOLOGY 》 *
杜宇慧等: "基于类别方差的三维医学图像分割新方法", 《基于类别方差的三维医学图像分割新方法 *

Also Published As

Publication number Publication date
CN112907726B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
US20210406591A1 (en) Medical image processing method and apparatus, and medical image recognition method and apparatus
JP6656357B2 (ja) 学習方法、画像認識装置およびプログラム
CN110600122B (zh) 一种消化道影像的处理方法、装置、以及医疗系统
CN102247118B (zh) 医疗用图像处理装置
CN110458829B (zh) 基于人工智能的图像质控方法、装置、设备及存储介质
JP2020010805A (ja) 特定装置、プログラム、特定方法、情報処理装置及び特定器
US8611621B2 (en) System and method for automatic detection of in vivo contraction video sequences
CN109328028A (zh) 用于选择体内捕获到的图像以用于显示的系统和方法
US20230206435A1 (en) Artificial intelligence-based gastroscopy diagnosis supporting system and method for improving gastrointestinal disease detection rate
CN109310292B (zh) 图像处理装置、学习装置、图像处理方法、识别基准的生成方法、学习方法和记录有程序的计算机可读取的记录介质
CN112101424A (zh) 一种视网膜病变识别模型的生成方法、识别装置及设备
JP2017522072A (ja) 信頼度マッチング付き生体内マルチカメラカプセルからの画像の再構築
CN110298820A (zh) 影像分析方法、计算机设备和存储介质
KR20190087681A (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법
CN116091432A (zh) 一种用于医疗内窥镜检查的质控方法、装置及计算机设备
Ham et al. Improvement of gastroscopy classification performance through image augmentation using a gradient-weighted class activation map
CN111462082A (zh) 一种病灶图片识别装置、方法、设备及可读存储介质
CN113763360A (zh) 消化内镜模拟器检查质量评估方法及系统
CN112907726B (zh) 一种图像处理方法、装置、设备及计算机可读存储介质
CN113570592A (zh) 肠胃病检测和模型训练方法、装置、设备及介质
CN112741620A (zh) 基于肢体动作的颈椎病评估装置
CN115861299A (zh) 一种基于二维重建的电子内窥镜质控方法及装置
CN112734707B (zh) 一种3d内窥镜辅助检测方法、系统、装置及存储介质
CN113344911B (zh) 一种结石尺寸的测量方法以及测量装置
WO2022271129A1 (en) Deep learning-based decision support system for real-time automatic polyp detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210824

Address after: 401120 1-1, 2-1, 3-1, building 5, No. 18, Cuiping Lane 2, Huixing street, Yubei District, Chongqing

Applicant after: Chongqing Jinshan Medical Technology Research Institute Co.,Ltd.

Address before: 401120 1 office buildings, Jinshan International Industrial City, 18 of Nei sang Road, Hui Xing street, Yubei District, Chongqing.

Applicant before: CHONGQING JINSHAN MEDICAL APPLIANCE Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant