CN113409312B - 一种用于生物医疗影像的图像处理方法和装置 - Google Patents

一种用于生物医疗影像的图像处理方法和装置 Download PDF

Info

Publication number
CN113409312B
CN113409312B CN202110885568.6A CN202110885568A CN113409312B CN 113409312 B CN113409312 B CN 113409312B CN 202110885568 A CN202110885568 A CN 202110885568A CN 113409312 B CN113409312 B CN 113409312B
Authority
CN
China
Prior art keywords
image
target
area
identified
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110885568.6A
Other languages
English (en)
Other versions
CN113409312A (zh
Inventor
丁君
贾鹏龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Bochuang Jiahe Technology Co ltd
Original Assignee
Guangdong Bochuang Jiahe Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Bochuang Jiahe Technology Co ltd filed Critical Guangdong Bochuang Jiahe Technology Co ltd
Priority to CN202110885568.6A priority Critical patent/CN113409312B/zh
Publication of CN113409312A publication Critical patent/CN113409312A/zh
Application granted granted Critical
Publication of CN113409312B publication Critical patent/CN113409312B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出一种图像处理方法,包括:图像设备捕获目标物体的第一图像,图像设备位于目标物体的腔体内;确定第一图像中的第一待识别区域;确定与图像设备的位置信息相关联的第二待识别区域;通过第二待识别区域对第一待识别区域进行修正,获得目标识别区域;从第一图像中分割出目标识别区域对应的图像,得到目标图像;目标图像的尺寸小于第一图像的尺寸;获取参考图像;采用无线通信技术将目标图像和参考图像发往外部主机,以使外部主机执行:将目标图像输入第一神经网络模型,输出目标图像的类型;其中,外部主机位于目标物体的腔体外。通过本申请的方法可以实现在胃部等封闭环境中获得更高的图像传输、检测效率。

Description

一种用于生物医疗影像的图像处理方法和装置
技术领域
本发明涉及图像处理领域,尤其涉及一种用于生物医疗影像系统的医疗影像处理方法和装置。
背景技术
医疗影像技术在疾病探测和治疗中具有重要意义,在对病人进行疾病检测时,可能需要拍摄不同器脏的图片,以确定是否患有疾病。
以胃部检查为例,在获取胃部图像时,需要将胃镜伸入患者胃部,再拍摄胃腔内的图像。拍摄的图像通过线缆传输到主机端,由医生进行观看。这种方式,由于胃镜装置直接伸入患者胃部,给患者带来了极大的不适。在胃部检查时,还可能采用胶囊胃镜。由于患者吞服胶囊胃镜,由胶囊胃镜拍摄胃部图片,这种方式可以很大程度降低患者的痛苦。然而,在采用胶囊胃镜或者类似胶囊胃镜的方式检测患者体内的特征时,由于空间封闭以及人体电流的干扰,信号传输质量较差,无法实时传输较高清晰度的图像。
其他封闭空间的环境检测也存在类似的问题,如何提升封闭空间检测的准确度和效率是一个亟待解决的问题。
发明内容
本申请提出一种用于生物医疗影像的图像处理方法和装置,可以提高图像识别、传输和处理的效率和准确度,实现在胃部等封闭环境中获得更高的检测效率和检测准确度。
一方面,本申请提出一种用于生物医疗影像的图像处理方法,包括:图像设备捕获目标物体的第一图像,所述图像设备位于目标物体的腔体内;
确定所述第一图像中的第一待识别区域,所述第一待识别区域包括待测特征;
确定与图像设备的位置信息相关联的第二待识别区域;通过所述第二待识别区域对所述第一待识别区域进行修正,获得目标识别区域;
从所述第一图像中分割出所述目标识别区域对应的图像,得到目标图像;其中,所述目标图像包括所述待测特征,所述目标图像的尺寸小于所述第一图像的尺寸;
获取第二图像,所述第二图像的图像质量低于所述第一图像的图像质量;确定所述第二图像的第三待识别区域;从所述第二图像中分割出第三待识别区域对应的图像,得到参考图像;其中,所述参考图像包括所述待测特征,所述参考图像的尺寸小于所述第二图像的尺寸;
将所述目标图像和所述参考图像发往外部主机,以使所述外部主机执行:在目标图像和参考图像的相似度大于第一阈值的情况下,将所述目标图像输入第一神经网络模型,输出所述目标图像的类型;其中,所述外部主机位于所述目标物体的腔体外。
本申请将图像设备拍摄到的图像依据特征区域进行剪裁,并获得包括待测特征的目标图像,目标图像的数据量小于原始图像,在将图像传输到外部主机时,可以实现在信号环境较差的情况下,将主要的检测信息发送出去。
进一步的,所述在目标图像和参考图像的相似度大于第一阈值的情况下,将所述目标图像输入第一神经网络模型,包括:
将所述参考图像进行单应性变换,获得第二参考图像,所述第二参考图像的视角与所述目标图像的视角一致;计算目标图像和所述第二参考图像的相似度;在相似度大于阈值的情况下,将所述目标图像输入第一神经网络模型。
由于封闭腔体内信号质量较差,将目标图像和参考图像作比较,可以辨别在图像传输过程中是否出现严重的误码。其中,将参考图像的视角与目标图像的视角调整为一致,可以使得在计算两者之间的匹配度时更加准确,避免视角不一致而导致误判。
进一步的,所述图像设备确定与图像设备的位置信息相关联的第二待识别区域,包括:
所述图像设备获取所述图像设备的位置信息,将所述位置信息发往所述外部主机,以使所述外部主机执行:将所述位置信息输入预测模型,输出所述第二待识别区域,将所述第二待识别区域发往所述图像设备;其中,所述预测模型为所述外部主机根据携带有人工标注和拍摄位置的历史图像训练得到的模型;
所述图像设备从所述图像设备处接收所述第二待识别区域。
其中,由于位置信息的数据量较少,不会大幅增加网络负载。
进一步的,所述通过所述第二待识别区域对所述第一待识别区域进行修正,获得目标识别区域,包括:
确定所述第一待识别区域的边界和所述第二待识别区域的边界;
根据所述第一待识别区域的边界和所述第二待识别区域的边界确定所述第一待识别区域和所述第二待识别区域的外切方形区域,当外切方形区域的边长小于阈值时,将所述外切方形区域作为所述目标识别区域。
在一种可能的实现方式中,通过所述第二待识别区域对所述第一待识别区域进行修正,获得目标识别区域,包括:确定所述第一待识别区域的第一中心点和所述第二待识别区域的第二中心点,当所述第一中心点和第二中心点之间的距离大于第一待识别区域的边长且小于第一待识别区域和第二待识别区域的边长之和时,以所述第一中心点和第二中心点为圆心构建特征椭圆,将所述特征椭圆的外切长方形作为目标识别区域。
进一步的,所述确定所述第一图像中的第一待识别区域,包括:
采用Selective Search模型或者Sliding window模型扫描所述第一图像,将所述第一图像中包括待测特征的候选区域作为第一待识别区域。
所述将所述目标图像和所述参考图像发往外部主机,包括:在信号质量大于阈值的情况下,通过无线通信技术将所述目标图像和所述参考图像发往外部主机。
所述图像处理方法用于生物医疗影像系统,所述生物医疗影像系统包括所述图像设备和所述外部主机,所述第一图像、第二图像和参考图像均为生物医疗影像。
所述外部主机训练所述预测模型的操作包括:
获取携带有人工标注和拍摄位置的历史图像,所述人工标注的区域包含待测特征;
根据所述拍摄位置和人工标注的区域的位置对第二神经网络模型进行训练,获得所述预测模型。
所述第一神经网络模型包括第三神经网络和第四神经网络,所述第三神经网络的参数基于第一历史数据训练得到,所述第四神经网络的参数基于第二历史数据得到,所述第一历史数据的属性与所述第二历史数据的属性相异,所述将所述目标图像输入第一神经网络模型,输出所述目标图像的类型,包括:
将所述目标图像分别输入第三神经网络和第四神经网络,当第三神经网络的输出类别与第四神经网络的输出类别一致时,将输出类别作为所述目标图像的类型。
由于在封闭腔体内信号传输质量较差,将图像剪裁之后进行传输,可以减少数据量。但是,由于信号质量问题以及图像的完整度问题,在对目标图像进行识别时,识别错误的概率更高,采用多个参数不同的神经网络进行识别,可以有效降低误判率。
采用本申请的方案,可以将图像设备拍摄到的原始图像依据特征区域进行剪裁,并获得包括待测特征的目标图像,目标图像的数据量小于原始图像,在将图像传输到外部主机时,可以实现在信号环境较差的情况下,将主要的检测信息发送出去,可以在相同的带宽和信号质量下传输更多的信息,提高外部主机显示的实时性,提高图像检测效率。同时,采用多个参数不同的神经网络对目标图像进行识别,可以降低误判率,最大限度降低图像剪裁带来的不良影响。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1是本申请提出的生物医疗影像系统;
图2是本申请提出的用于生物医疗影像的图像处理方法示意图;
图3是本申请提出的用于生物医疗影像系统的图像处理方法示意图;
图4是本申请提出的图像处理设备结构示意图。
具体实施方式
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同的对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法或设备固有的其他步骤或单元。
图1是本申请提出的一种生物医疗影像系统,该系统中包括外部主机101和图像设备102,该外部主机101位于腔体103外,该图像设备位于腔体103内。外部主机和图像设备可以通过无线通信技术交互,该无线通信技术包括但不限于UWB、蓝牙、WiFi、ZigBee等技术。该腔体103包括胃部等人体内脏,该外部主机包括但不限于胃镜主机,可用于实时查看、处理图像设备102发送的内脏内部的图片。
该图像设备包括图像传感器、信号收发器和定位器,该图像传感器用于捕获腔体内的图像,信号收发器用于与外部主机进行信号传输,定位器用于控制图像设备的位置。例如,该定位器可以是磁感应部件,外部操作人员可以通过控制腔体外部的磁设备来控制磁感应部件,以固定、移动或者翻转该图像设备。
进一步的,该图像设备还可以通过特殊的结构设计以维持特定的角度和方向,例如,可以将图像设备的整体重心设置于底部,图像设备的图像传感器位于顶部,使得图像传感器的方向总是朝上,以便于拍摄到最大视野的图像。图像设备还可以包括红外测距部件,用于确定当前位置。
其中,图像设备的尺寸较小,可以置入封闭腔体(如胃腔)中,而由于图像设备尺寸较小,无法放入较大的处理器和存储器,因此,图像设备的数据处理能力相对于外部主机更弱。该图像设备可以是胶囊胃镜或者其他类似的部件。
外部主机位于腔体外,包括图像显示装置,可以实时呈现图像装置发送的图片。外部主机体积较大,可以置入体积更大、性能更高的处理器和存储器,可以承担较为复杂的图像处理任务,其图像识别、处理能力更强。外部主机可以是与胶囊胃镜耦合的主机系统。
以上对生物医疗影像系统的介绍仅是一种示例,不表明本申请仅仅限于生物医疗影像系统,本申请的方案亦可用于其他类型的腔体探测。
图2是本申请提出的一种用于生物医疗影像的图像处理方法示意图,该方法包括以下内容:
201、图像设备捕获目标物体的第一图像,所述图像设备位于目标物体的腔体内;确定所述第一图像中的第一待识别区域,所述第一待识别区域包括待测特征。其中,该目标物体包括胃部等人体内脏,也可以是其他具有封闭腔体的物体。
在捕获第一图像之前,外部操作人员可以通过磁感应等方式控制图像设备的传感器方向和/或图像设备的坐标等参数。在另一种可能的实施方式中,图像设备通过红外测距部件等装置确定自身的位置信息,通过外部磁感应装置调整图像传感器的角度,以便于拍摄到合适的图像,本申请对此不作过多限制。
在获得第一图像之后,确定第一图像中的第一待识别区域,第一待识别区域包含待测特征。其中,该待测特征为外部操作人员欲进行检测的特征。以胃部影像拍摄为例,若外部操作人员欲检测胃炎、胃部肿瘤等疾病,需要关注胃部影像中颜色、形状异常的区域,而该区域中颜色、形状异常的物体即为待测特征,可用于进一步判断是否为炎症或者肿瘤的表现。
进一步的,可以采用Selective Search模型或者Sliding Window模型扫描所述第一图像,将所述第一图像中包括待测特征的候选区域作为第一待识别区域。
使用sliding window方法中,使用滑动窗口区域对整幅图像进行遍历,然后利用目标识别算法(例如SVM分类算法或者CNN算法)对所有的候选框进行检查。这实际上是一个遍历穷举的过程,该过程消耗的时间较多,但可以适应更多的图像情况。Selective Search主要通过图像的颜色、文理、形状或者大小等性质将原始的输入图像划分成等级区域,再对各个区域进行检查,这可以有效减低候选框的数量,提高识别速度。
202、确定与图像设备的位置信息相关联的第二待识别区域;通过所述第二待识别区域对所述第一待识别区域进行修正,获得目标识别区域。
在一种可能的实现方式中,图像设备获取所述图像设备的位置信息,将所述位置信息发往所述外部主机,以使所述外部主机执行:将所述位置信息输入预测模型,输出所述第二待识别区域,将所述第二待识别区域发往所述图像设备;其中,所述预测模型为所述外部主机根据携带有人工标注和拍摄位置的历史图像训练得到的模型;所述图像设备从所述外部主机处接收所述第二待识别区域。
其中,图像设备可以通过红外测距装置获取图像设备在腔体内的位置。
在一种可能的实现方式中,由外部主机通过磁感应装置控制或定位图像设备的位置,以此获得图像设备的位置信息。
其中,该位置信息表示图像设备在腔体中的位置,该位置信息可以是一维、二维或者三维坐标。
该位置信息可以为一维坐标。以胶囊胃镜系统为例,当患者仰躺或者卧躺在床上时,通过磁感应装置控制胶囊胃镜在患者胃部的位置坐标,该位置坐标表示胶囊胃镜进入患者胃部的深度,该胶囊胃镜的图像传感器朝上(可以通过特定的结构设置或者磁感应来加以控制),可以拍摄得到较大视野的胃部图像。该位置信息也可以是二维坐标,用于表示胶囊胃镜在胃部水平面上的位置,其处理方式与一维坐标类似,此处不多作赘述。
在外部主机获得位置信息之后,将位置信息输入预测模型中,预测在该位置下的重点区域,该重点区域为易于出现显著特征(例如疾病症状)的区域,该区域即为第二待识别区域。
该预测模型由外部主机训练,训练的方法为:获取携带有人工标注和拍摄位置的历史图像,所述人工标注的区域包含待测特征;根据所述拍摄位置和人工标注的区域的位置对第二神经网络模型进行训练,获得所述预测模型。
以胶囊胃镜系统为例,该历史图像可以是由传统的导管电子胃镜拍摄的图像,该人工标注为医务人员标注的患病区域,该拍摄位置表示图像传感器在胃部的位置。根据这些数据对神经网络模型进行训练,可以获得预测模型,该预测模型可以根据当前图像传感器的位置,预测出发生疾病概率较大的第二待识别区域。
在图像装置获得第二待识别区域后,采用第二待识别区域对第一待识别区域进行修正。其中,该修正方法包括:
确定所述第一待识别区域的边界和所述第二待识别区域的边界;
根据所述第一待识别区域的边界和所述第二待识别区域的边界确定所述第一待识别区域和所述第二待识别区域的外切方形区域,当该外切方形区域小于第二阈值时,将所述外切方形区域作为所述目标识别区域。在此步骤中,若外切方形区域过大,则图像剪裁的区域过大,无法起到降低图像数据量的效果。此时可以采取重新修正的方式进行补正。
在一种可能的实现方式中,对所述第一待识别区域进行修正的方法还可以是:确定所述第一待识别区域的第一中心点和所述第二待识别区域的第二中心点,当所述第一中心点和第二中心点之间的距离大于第一待识别区域的边长且小于第一待识别区域和第二待识别区域的边长之和时,以所述第一中心点和第二中心点为圆心构建特征椭圆,将所述特征椭圆的外切长方形作为目标识别区域。若两个识别区域的中心点距离适中,则可以采用外切椭圆的方式合并两个特征区域,即以所述第一中心点和第二中心点为圆心构建特征椭圆,将所述特征椭圆的外切方形作为目标识别区域,可以较全面地涵盖两个待识别区域的特征。其中,若该外切长方形的任意一边超出第一图像区域,则将外切长方形收缩至第一图像区域以内。
在本申请中,由于图像装置(例如进入胃部的胶囊胃镜)的尺寸较小,只具备小尺寸的处理器和存储器,无法提供较为强大的算力和存储容量,因此,图像装置计算获得的第一待识别区域可能准确度不够,容易出现特征遗漏的问题,采用第二待识别区域对第一待识别区域进行修正,可以避免特征遗漏。
203、从所述第一图像中分割出所述目标识别区域对应的图像,得到目标图像;其中,所述目标图像包括所述待测特征,所述目标图像的尺寸小于所述第一图像的尺寸。
其中,该第一图像为高清图像或者超清图像,这可以提高图像识别的效果。
在确定目标识别区域后,从原始图像中裁剪出目标识别区域的图像,该目标识别区域的图像包含原始图像中最重要的内容,图像设备仅仅将该部分图像发往外部主机,可以有效较低传输的数据量,即便该图像为高清图像、超清图像或者更高质量的图像,也可以实现实时显示、处理的效果。
204、获取第二图像,所述第二图像的图像质量低于所述第一图像的图像质量;确定所述第二图像的第三待识别区域;从所述第二图像中分割出第三待识别区域对应的图像,得到参考图像;其中,所述参考图像包括所述待测特征,所述参考图像的尺寸小于所述第二图像的尺寸。
其中,参考图像的获取方式与目标图像的获取方式近似,由于参考图像的作用仅仅是进行目标图像验证而不参与图像分类过程,故不需要较高的清晰度,也不需要进行修正,这可以降低信号传输的负担。
205、采用无线通信技术将所述目标图像和所述参考图像发往外部主机,以使所述外部主机执行:在目标图像和参考图像的相似度大于第一阈值的情况下,将所述目标图像输入第一神经网络模型,输出所述目标图像的类型;其中,所述外部主机位于所述目标物体的腔体外。
为了提高图像传输的质量,图像装置可以在信号质量大于第三阈值的情况下,通过无线通信技术将所述目标图像和所述参考图像发往外部主机。
进一步的,在外部主机获得图像装置捕获的图像之后,还可以执行:将所述参考图像进行单应性变换,获得第二参考图像,所述第二参考图像的视角与所述目标图像的视角一致;计算目标图像和所述第二参考图像的相似度;在相似度大于阈值的情况下,将所述目标图像输入第一神经网络模型。
在拍摄过程中,由于腔体的运动(例如胃部运动)或者图像装置的移动,使得拍摄的第一图像和第二图像的视角存在差异,故在比对两个图像时,可以进行单应性变换,以使二者视角一致,使得比对结果更准确。
其中,单应性变换的矩阵可以表示为:
Figure DEST_PATH_IMAGE001
,从两张图片中获得四组 以上的对应点,代入单应性矩阵对应的方程:
Figure 965084DEST_PATH_IMAGE002
, 可以求得上述单应性矩阵。其中,该四组对应点可以是参考图像进一步确定的待测特征的 边界的四个端点,以及目标图像进一步确定的待测特征边界的四个对应端点。
在本申请中,由于腔体封闭以及腔体本身的干扰(例如人体电流),图像装置将图像发往外部主机过程中容易被干扰和阻隔,这使得图像传输可能发生错误,采用图像质量较低的参考图像对目标图像进行验证,可以在不大幅增加信号传输负担的情况下避免图像错误,提高图像识别准确率。
将裁剪之后的目标图像发往外部主机,而不是直接将原始图像发往外部主机,可以使得数据传输量减少为原来的1/4~1/9,可以有效地降低外部主机和图像装置之间的数据交互量,提高外部主机显示图像的实时性。
进一步的,所述第一神经网络模型包括第三神经网络和第四神经网络,所述第三神经网络的参数基于第一历史数据训练得到,所述第四神经网络的参数基于第二历史数据得到,所述第一历史数据的属性与所述第二历史数据的属性相异,将所述目标图像输入第一神经网络模型,输出所述目标图像的类型,包括:将所述目标图像分别输入第三神经网络和第四神经网络,当第三神经网络的输出类别与第四神经网络的输出类别一致时,将输出类别作为所述目标图像的类型。
其中,上述属性可以是性别、年龄段以及是否存在关联症状等属性,不同属性的训练数据会使得神经网络模型的训练结果存在差异。以反向传播神经网络为例,在胃部图像分类中,输入层到隐含层之间的权重矩阵为[w1,w2;w3,w4];以误差为约束条件,选择性别为女性的历史数据进行训练,在经过梯度下降训练之后,在误差收敛的情况下获得该权重矩阵值为[w1,w2;w3,w4]=[0.15,0.20;0.25,0.30]。以性别为男性的历史数据进行训练,再次获得权重矩阵值为[w1,w2;w3,w4]=[0.16,0.20;0.27,0.29]。在获得两组权重矩阵之后,将以上两组权重矩阵分别作为两个反向传播神经网络的参数,将目标图像分别输入两个神经网络,若二者输出类别一致,则输出类别为目标图像的类型。此外,此处的第三神经网络和第四神经网络仅仅是一种示例,由于外部主机的算力充足,本申请的方案可以采用更多数目的神经网络对图像进行分类。
由于目标图像是在原始图像的基础上进行裁剪的图像,可能会使得图像信息缺失而无法很好地确定图像类别。采用两个以上参数不同的神经网络进行目标图像的类别的判断,可以避免识别错误,提高识别的准确率。
采用本申请的方案,可以将图像设备拍摄到的原始图像依据特征区域进行剪裁,并获得包括待测特征的目标图像,目标图像的数据量小于原始图像,在将图像传输到外部主机时,可以实现在信号环境较差的情况下,将主要的检测信息发送出去,可以在相同的带宽和信号质量下传输更多的信息,提高外部主机显示、处理图像的实时性。同时,采用多个参数不同的神经网络对目标图像进行识别,可以降低误判率,最大限度降低图像剪裁带来的不良影响。
图3是本申请实施例提供的用于生物医疗影像系统的图像处理方法示意图。
301、图像设备捕获目标物体的第一图像,所述图像设备位于目标物体的腔体内。
302、图像设备确定所述第一图像中的第一待识别区域,所述第一待识别区域包括待测特征。
303、图像设备接收来自外部主机的位置信息,确定与图像设备的位置信息相关联的第二待识别区域;通过所述第二待识别区域对所述第一待识别区域进行修正,获得目标识别区域。
304、图像设备从所述第一图像中分割出所述目标识别区域对应的图像,得到目标图像。
305、图像设备获取用于对目标图像进行验证的参考图像;其中,所述参考图像包括所述待测特征。
306、图像设备采用无线通信技术将所述目标图像和所述参考图像发往外部主机。
307、外部主机对参考图像进行单应性变换,并计算目标图像和参考图像的相似度,在目标图像和参考图像的相似度大于第一阈值的情况下,将所述目标图像分别输入多个参数不同的神经网络,在多个神经网络的输出结果相同时,将输出结果作为目标图像的类别。
图4是本申请实施例提供的游戏主机的结构示意图。该装置包括:至少一个处理器401,例如中央处理器(central processing unit, CPU),至少一个存储器402,和至少一个总线403。
上述存储器402中可以存储程序指令,上述处理器401可用于调用程序指令执行一种图像处理方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于计算机可读存储介质中,存储介质包括只读存储器(read only memory,ROM)、随机存储器(random access memory,RAM)、可编程只读存储器(programmable read only memory,PROM)、可擦除可编程只读存储器(erasable programmable read only memory,EPROM)、一次可编程只读存储器(one-timeprogrammable read-only memory,OTPROM)、电子抹除式可复写只读存储器(electrically-erasable programmable read-only memory,EEPROM)、只读光盘(compactdisc read-only memory,CD-ROM)、固态硬盘(solid state disk, SSD)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

Claims (10)

1.一种用于生物医疗影像的图像处理方法,其特征在于,包括:
图像设备捕获目标物体的第一图像,所述图像设备位于目标物体的腔体内;
确定所述第一图像中的第一待识别区域,所述第一待识别区域包括待测特征;
确定与图像设备的位置信息相关联的第二待识别区域;通过所述第二待识别区域对所述第一待识别区域进行修正,获得目标识别区域;
从所述第一图像中分割出所述目标识别区域对应的图像,得到目标图像;其中,所述目标图像包括所述待测特征,所述目标图像的尺寸小于所述第一图像的尺寸;
获取第二图像,所述第二图像的图像质量低于所述第一图像的图像质量;确定所述第二图像的第三待识别区域;从所述第二图像中分割出第三待识别区域对应的图像,得到参考图像;其中,所述参考图像包括所述待测特征,所述参考图像的尺寸小于所述第二图像的尺寸;
采用无线通信技术将所述目标图像和所述参考图像发往外部主机,以使所述外部主机执行:在目标图像和参考图像的相似度大于第一阈值的情况下,将所述目标图像输入第一神经网络模型,输出所述目标图像的类型;其中,所述外部主机位于所述目标物体的腔体外。
2.根据权利要求1所述方法,其特征在于,所述在目标图像和参考图像的相似度大于第一阈值的情况下,将所述目标图像输入第一神经网络模型,包括:
将所述参考图像进行单应性变换,获得第二参考图像,所述第二参考图像的视角与所述目标图像的视角一致;计算目标图像和所述第二参考图像的相似度;在相似度大于阈值的情况下,将所述目标图像输入所述第一神经网络模型。
3.根据权利要求2所述方法,其特征在于,所述图像设备确定与图像设备的位置信息相关联的第二待识别区域,包括:
所述图像设备获取所述图像设备的位置信息,将所述位置信息发往所述外部主机,以使所述外部主机执行:将所述位置信息输入预测模型,输出所述第二待识别区域,将所述第二待识别区域发往所述图像设备;其中,所述预测模型由所述外部主机根据携带有人工标注和拍摄位置的历史图像训练得到;
所述图像设备从所述外部主机处接收所述第二待识别区域。
4.根据权利要求3所述方法,其特征在于,所述通过所述第二待识别区域对所述第一待识别区域进行修正,获得目标识别区域,包括:
确定所述第一待识别区域的边界和所述第二待识别区域的边界;
根据所述第一待识别区域的边界和所述第二待识别区域的边界确定所述第一待识别区域和所述第二待识别区域的外切方形区域,当所述外切方形区域的边长小于第二阈值时,将所述外切方形区域作为所述目标识别区域。
5.根据权利要求4所述方法,其特征在于,所述确定所述第一图像中的第一待识别区域,包括:
采用Selective Search模型或者Sliding Window模型扫描所述第一图像,将所述第一图像中包含待测特征的候选区域作为第一待识别区域。
6.根据权利要求5所述方法,其特征在于,所述将所述目标图像和所述参考图像发往外部主机,包括:在信号质量大于第三阈值的情况下,通过无线通信技术将所述目标图像和所述参考图像发往外部主机。
7.根据权利要求1-6任一所述方法,其特征在于,所述图像处理方法用于胃镜系统,所述胃镜系统包括所述图像设备和所述外部主机,所述图像设备为胶囊胃镜,所述第一图像、第二图像和参考图像均为胃部影像。
8.根据权利要求6所述方法,其特征在于,外部主机训练所述预测模型的操作包括:
获取携带有人工标注和拍摄位置的历史图像,所述人工标注的区域包含待测特征;
根据所述拍摄位置和人工标注的区域的位置对第二神经网络模型进行训练,获得所述预测模型。
9.根据权利要求1所述方法,其特征在于,所述第一神经网络模型包括第三神经网络和第四神经网络,所述第三神经网络的参数基于第一历史数据训练得到,所述第四神经网络的参数基于第二历史数据训练得到,所述第一历史数据的属性与所述第二历史数据的属性相异,所述将所述目标图像输入第一神经网络模型,输出所述目标图像的类型,包括:
将所述目标图像分别输入第三神经网络和第四神经网络,当第三神经网络的输出类别与第四神经网络的输出类别一致时,将输出类别作为所述目标图像的类型。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时,使处理器实现权利要求1至9任一项所述的方法。
CN202110885568.6A 2021-08-03 2021-08-03 一种用于生物医疗影像的图像处理方法和装置 Active CN113409312B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110885568.6A CN113409312B (zh) 2021-08-03 2021-08-03 一种用于生物医疗影像的图像处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110885568.6A CN113409312B (zh) 2021-08-03 2021-08-03 一种用于生物医疗影像的图像处理方法和装置

Publications (2)

Publication Number Publication Date
CN113409312A CN113409312A (zh) 2021-09-17
CN113409312B true CN113409312B (zh) 2021-11-02

Family

ID=77688315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110885568.6A Active CN113409312B (zh) 2021-08-03 2021-08-03 一种用于生物医疗影像的图像处理方法和装置

Country Status (1)

Country Link
CN (1) CN113409312B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989092A (zh) * 2015-02-12 2016-10-05 东芝医疗系统株式会社 医学图像处理设备、医学图像处理方法以及医学成像系统
CN110136106A (zh) * 2019-05-06 2019-08-16 腾讯科技(深圳)有限公司 医疗内窥镜图像的识别方法、系统、设备和内窥镜影像系统
CN110602495A (zh) * 2019-08-20 2019-12-20 深圳市盛世生物医疗科技有限公司 一种医学图像编码方法及装置
CN110831487A (zh) * 2017-07-14 2020-02-21 富士胶片株式会社 医疗图像处理装置、内窥镜系统、诊断支持装置及医疗服务支持装置
CN110866880A (zh) * 2019-11-14 2020-03-06 上海联影智能医疗科技有限公司 图像伪影检测方法、装置、设备和存储介质
CN111539944A (zh) * 2020-04-28 2020-08-14 安徽科大讯飞医疗信息技术有限公司 肺部病灶统计属性获取方法、装置、电子设备和存储介质
CN111899177A (zh) * 2020-08-05 2020-11-06 苏州深透智能科技有限公司 一种图像处理方法、装置、电子设备和可读存储介质
WO2021038202A1 (en) * 2019-08-23 2021-03-04 Oxford University Innovation Limited Computerised tomography image processing

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001209785A (ja) * 1999-11-19 2001-08-03 Fujitsu Ltd 画像処理装置、画像処理方法、および画像処理プログラム記憶媒体
KR102090270B1 (ko) * 2013-04-25 2020-03-17 삼성메디슨 주식회사 영상 정합 방법 및 장치
JP6807820B2 (ja) * 2017-10-31 2021-01-06 富士フイルム株式会社 画像検索装置、方法およびプログラム
JP6914233B2 (ja) * 2018-08-31 2021-08-04 富士フイルム株式会社 類似度決定装置、方法およびプログラム
CN110796157A (zh) * 2019-08-29 2020-02-14 腾讯科技(深圳)有限公司 一种图像差异识别方法、装置及存储介质
DE102019214887A1 (de) * 2019-09-27 2021-04-01 Siemens Healthcare Gmbh Verfahren zu einem automatischen Positionieren eines zu untersuchenden Bereichs eines Patienten für eine medizinische Bildgebungsuntersuchung sowie eine medizinische Bildgebungsvorrichtung, die zu einem Durchführen des Verfahrens ausgelegt ist
CN111050086B (zh) * 2019-12-18 2021-10-19 重庆金山医疗技术研究院有限公司 图像处理方法、装置及设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989092A (zh) * 2015-02-12 2016-10-05 东芝医疗系统株式会社 医学图像处理设备、医学图像处理方法以及医学成像系统
CN110831487A (zh) * 2017-07-14 2020-02-21 富士胶片株式会社 医疗图像处理装置、内窥镜系统、诊断支持装置及医疗服务支持装置
CN110136106A (zh) * 2019-05-06 2019-08-16 腾讯科技(深圳)有限公司 医疗内窥镜图像的识别方法、系统、设备和内窥镜影像系统
CN110602495A (zh) * 2019-08-20 2019-12-20 深圳市盛世生物医疗科技有限公司 一种医学图像编码方法及装置
WO2021038202A1 (en) * 2019-08-23 2021-03-04 Oxford University Innovation Limited Computerised tomography image processing
CN110866880A (zh) * 2019-11-14 2020-03-06 上海联影智能医疗科技有限公司 图像伪影检测方法、装置、设备和存储介质
CN111539944A (zh) * 2020-04-28 2020-08-14 安徽科大讯飞医疗信息技术有限公司 肺部病灶统计属性获取方法、装置、电子设备和存储介质
CN111899177A (zh) * 2020-08-05 2020-11-06 苏州深透智能科技有限公司 一种图像处理方法、装置、电子设备和可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于模板匹配的医用内窥镜影像目标识别算法;张志阳 等;《软件导刊》;20200331;第19卷(第3期);全文 *

Also Published As

Publication number Publication date
CN113409312A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
US10860930B2 (en) Learning method, image recognition device, and computer-readable storage medium
CN110009623B (zh) 一种图像识别模型训练及图像识别方法、装置及系统
EP3979198A1 (en) Image segmentation model training method and apparatus, computer device, and storage medium
EP3762863B1 (en) Systems and methods for processing real-time video from a medical image device and detecting objects in the video
US11151721B2 (en) System and method for automatic detection, localization, and semantic segmentation of anatomical objects
EP3992851A1 (en) Image classification method, apparatus and device, storage medium, and medical electronic device
CN107920722B (zh) 针对自胶囊相机所撷取的图像通过对象检测进行重建
US11633169B2 (en) Apparatus for AI-based automatic ultrasound diagnosis of liver steatosis and remote medical diagnosis method using the same
US20200226752A1 (en) Apparatus and method for processing medical image
JP4085959B2 (ja) 物体検出装置、物体検出方法、および記録媒体
KR102209086B1 (ko) 요로결석 정보제공 방법, 장치 및 컴퓨터 판독가능 매체
CN112543941A (zh) 用于训练生成式对抗网络和使用经训练的生成式对抗网络的系统和方法
EP3998579B1 (en) Medical image processing method, apparatus and device, medium and endoscope
US20220172828A1 (en) Endoscopic image display method, apparatus, computer device, and storage medium
CN111368586B (zh) 超声成像方法及系统
CN110599421A (zh) 模型训练方法、视频模糊帧转换方法、设备及存储介质
EP3148399B1 (en) Reconstruction of images from an in vivo multi-camera capsule with confidence matching
EP3832663A1 (en) Diagnostic support system and diagnostic support method
KR101938361B1 (ko) X선 영상 내 체형 윤곽선 기반의 골격 상태 예측방법 및 프로그램
US11475568B2 (en) Method for controlling display of abnormality in chest x-ray image, storage medium, abnormality display control apparatus, and server apparatus
CN113409312B (zh) 一种用于生物医疗影像的图像处理方法和装置
US20230215022A1 (en) Image-based motion detection method
US20230284968A1 (en) System and method for automatic personalized assessment of human body surface conditions
KR20230050253A (ko) 흉막 삼출의 검출 방법 및 이를 위한 장치
CN113380383A (zh) 一种医疗监护方法、装置和终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant