CN112788300A - 一种新型关节腔内窥镜及其控制方法 - Google Patents

一种新型关节腔内窥镜及其控制方法 Download PDF

Info

Publication number
CN112788300A
CN112788300A CN202110077313.7A CN202110077313A CN112788300A CN 112788300 A CN112788300 A CN 112788300A CN 202110077313 A CN202110077313 A CN 202110077313A CN 112788300 A CN112788300 A CN 112788300A
Authority
CN
China
Prior art keywords
module
image
data
diagnosis
joint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110077313.7A
Other languages
English (en)
Inventor
肖志宏
曹奇
唐国军
陈亮元
李国庆
杨铁军
陈小明
唐晓军
颜学亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110077313.7A priority Critical patent/CN112788300A/zh
Publication of CN112788300A publication Critical patent/CN112788300A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/317—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for bones or joints, e.g. osteoscopes, arthroscopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Endoscopes (AREA)

Abstract

本发明属于医疗器械技术领域，公开了一种新型关节腔内窥镜及其控制方法，所述新型关节腔内窥镜包括：控制机箱、机盖、手机端搭载地显示器、摄像头、软管、电源接口、服务器搭载的控制器、影像采集模块、影像增强模块、网络通信模块、中央控制模块、诊断模型构建模块、症状诊断模块、数据存储模块、更新显示模块。本发明通过影像增强模块对彩色医学内窥镜图像的亮度分量进行适当增强，对比原始图像和增强后的效果，轮廓和细节更为突出，图像清晰、颜色鲜明，且避免引入过多的图像噪声；通过症状诊断模块生成智能辅助诊断深度学习模型，通过训练学习生成了病灶识别深度学习模型，病变辅助诊断深度学习模型，病灶自动勾画深度学习模型，大大提高内窥镜诊断准确性与效率。

Description

一种新型关节腔内窥镜及其控制方法
技术领域
本发明属于医疗器械技术领域，尤其涉及一种新型关节腔内窥镜及其控制方法。
背景技术
目前，内窥镜是集中了传统光学、人体工程学、精密机械、现代电子、数学、软件等于一体的检测仪器。一个具有图像传感器、光学镜头、光源照明、机械装置等，它可以经口腔进入胃内或经其他天然孔道进入体内。利用内窥镜可以看到X射线不能显示的病变，因此它对医生非常有用。例如，借助内窥镜医生可以观察胃内的溃疡或肿瘤，据此制定出最佳的治疗方案。然而，现有新型关节腔内窥镜采集的影像存在严重的色彩失真；同时，诊断不准确，效率低。因此，亟需一种新的关节腔内窥镜及其控制方法。
综上所述，现有技术存在的问题及缺陷是：现有新型关节腔内窥镜采集的影像存在严重的色彩失真；同时，诊断不准确，效率低。
目前运动医学使用的关节镜仪器太庞大、太复杂。
发明内容
针对现有技术存在的问题，本发明提供了一种新型关节腔内窥镜及其控制方法。
本发明是这样实现的，一种新型关节腔内窥镜的控制方法，所述新型关节腔内窥镜的控制方法包括：
利用360度自由摆动的摄像头获取关节腔内窥影像数据，并利用互联网将获取的所述关节腔内窥影像数据发送服务器，所述服务器对接收的所述关节腔内窥影像数据进行处理，将处理后的数据发送手机终端进行显示。
具体包括：
步骤一，通过电源接口接通电源对所述新型关节腔内窥镜进行供电，将摄像头通过软管插入关节内腔中，通过影像采集模块利用摄像头获取关节腔内窥影像数据，并通过网络通信模块利用网卡接入互联网进行网络通信，将获取的关节腔内窥影像数据发送至服务器搭载的控制器中；
步骤二，通过影像增强模块利用增强算法响应于图像增强启动指令，读取原始关节腔内窥影像，并将所述影像的色彩空间转换成HIS色彩空间；保持图像的色调H和饱和度S不变，对亮度I进行形态学滤波来实现亮度细节增强；将处理后的图像像素值从HIS颜色空间转换回RGB颜色空间，对获取的关节腔内窥影像进行增强处理；
步骤三，通过中央控制模块利用服务器搭载的控制器协调控制所述新型关节腔内窥镜各个模块的正常工作；通过诊断模型构建模块根据获取的关节腔内窥影像构建训练样本集，使用鲁棒主成分分析方法对手持硬质内窥镜所采集的影像视频数据分解成一组单帧图像进行去噪处理；将包含病灶的单帧图像提取出来，并由医生对病灶边缘区域进行手工勾画；
步骤四，利用模型构建程序构建关节症状诊断模型，包含病灶识别深度学习模型，病变辅助诊断深度学习模型，病灶自动勾画深度学习模型；通过手持硬质内窥镜智能辅助诊断，在内窥镜检查过程中，通过症状诊断模块利用构建的关节症状诊断模型进行病灶的实时检测与识别；利用诊断程序对病变类型进行实时判断；病灶边缘实时自动勾画，实现对关节症状的诊断；
步骤五，通过数据存储模块获取待存储的关节腔内窥影像数据、影像增强处理结果、关节症状诊断模型以及症状诊断结果的实时数据，并将获取的待存储的数据格式转换为数据表形式；获取所述待存储数据在所述数据表中的层级位置，根据所述层级位置将所述待存储数据分为底层字段数据和顶层表数据两类；其中，所述顶层表数据用于保存所述底层字段数据的层级位置；
步骤六，根据分类结果将属于同一类别的医疗数据拼接起来，建立带有结构化查询语言引擎层的分布式存储器，并将拼接后的数据分类存储在所述分布式存储器；通过更新显示模块利用手机端搭载地显示器对采集的关节腔内窥影像数据、影像增强处理结果、关节症状诊断模型以及症状诊断结果的实时数据进行更新显示。
进一步，步骤二中，所述读取原始关节腔内窥影像，并将所述影像的色彩空间转换成HIS色彩空间中对于原始图片中任一像素的RGB值，对应的H、S、I分量使用如下公式得到：
Figure BDA0002907997730000031
Figure BDA0002907997730000032
Figure BDA0002907997730000033
其中，H表示像素点的色调值；S表示像素点的饱和度值；I表示像素点的亮度值；R、G、B分别表示像素点的红、绿、蓝颜色分量；R、G、B∈[0，1]；S、I∈[0.1]；H∈[0°，360°]。
进一步，步骤二中，所述保持图像的色调H和饱和度S不变，对亮度I进行形态学滤波来实现亮度细节增强中对亮度I进行形态学滤波来实现亮度细节增强，包括：
(1)设f(x，y)是灰度图像，b(u，v)是形态学滤波所需的结构元素，则b(u，v)对f(x，y)的腐蚀和膨胀定义分别如下：
Figure BDA0002907997730000034
Figure BDA0002907997730000035
b(u，v)对f(x，y)的开运算和闭运算定义分别如下：
Figure BDA0002907997730000041
Figure BDA0002907997730000042
其中，Θ为腐蚀运算符，为膨胀运算符，为开运算符，.为闭运算符；
(2)根据需求定义形态学滤波操作如下：
Figure BDA0002907997730000043
其中，D表示经过滤波得到图像细节信息，I为输入的图像的亮度图；b1、b2分别表示不同尺度的结构元素；
(3)将亮度图I与亮度细节图D叠加，得到新的亮度细节增强图像。
进一步，所述用于表示不同尺度的结构元素b1、b2的表示方式如下：
Figure BDA0002907997730000044
Figure BDA0002907997730000045
其中，b1、b2分别使用了3×3和5×5的圆形结构，用于检测到图像中不同方向上的结构细节信息并提取图像中的细节。
进一步于，步骤三中，所述训练样本集包含3个，病灶识别样本集输入为采集到关节腔内窥影像数据所分解出的所有单帧关节腔内窥影像，病变类型判断样本集输入为提取出的包含病灶的所有单帧关节腔内窥影像，输出为其对应的病变类型，病灶自动勾画样本集输入为提取出的包含病灶的所有单帧关节腔内窥影像，输出为经过手工勾画后包含病灶边缘的所有单帧关节腔内窥影像。
进一步，步骤四中，所述关节症状诊断模型，包括：
(1)病灶识别深度学习模型，利用病灶识别样本集进行训练，使用在ImageNet上训练的CNN分类网络作为预训练网络，进行有无病灶的二分类判别；
(2)病变辅助诊断深度学习模型，利用病变类型判断样本集进行训练，使用在ImageNet上训练的CNN分类网络作为预训练网络，进行病变类型多分类判别；
(3)病灶自动勾画深度学习模型，利用病灶自动勾画样本集进行训练，在病变辅助诊断深度学习模型基础上，构造其对称网络，通过训练微调完成病灶区域的语义分割，从而自动勾画出病灶边缘。
进一步，步骤六中，所述将拼接后的数据分类存储在所述分布式存储器后，还包括：
在接收到关节腔内窥数据搜索命令时，根据所述关节腔内窥数据搜索命令包括的关键词，在所述分布式存储器中搜索与所述患者相关的所述关节腔内窥数据，其中，所述关键词与所述患者相关联。
本发明的另一目的在于提供一种应用所述的新型关节腔内窥镜的控制方法的新型关节腔内窥镜，所述新型关节腔内窥镜包括：
控制机箱背面顶部通过螺丝固定有机盖；机盖正面中央嵌装有手机端搭载地显示器；控制机箱背面右端通过软管连接摄像头；控制机箱右侧下方开设有电源接口；控制机箱底部中央嵌装有服务器搭载的控制器；控制机箱底部右边上方设置有网络通信模块；控制机箱右边下方设置有底部数据存储模块；控制机箱底部左边下方设置有影像增强模块；控制机箱左边上方设置有底部诊断模块；中央控制模块通过服务器搭载的控制器利用电路线分别连接影像采集模块以及服务器搭载的影像增强模块、网络通信模块、诊断模型构建模块、症状诊断模块、数据存储模块和更新显示模块。
影像采集模块，与中央控制模块连接，用于通过摄像头获取关节腔内窥影像数据；
影像增强模块，与中央控制模块连接，用于通过增强算法对获取的关节腔内窥影像进行增强处理；
网络通信模块，与中央控制模块连接，用于通过网卡接入互联网进行网络通信；
中央控制模块，与影像采集模块、影像增强模块、网络通信模块、诊断模型构建模块、症状诊断模块、数据存储模块、更新显示模块连接，用于通过服务器搭载的控制器协调控制所述新型关节腔内窥镜各个模块的正常工作；
诊断模型构建模块，与中央控制模块连接，用于通过模型构建程序根据采集的关节腔内窥影像构建关节症状诊断模型；
症状诊断模块，与中央控制模块连接，用于通过诊断程序利用构建的关节症状诊断模型对关节症状进行诊断；
数据存储模块，与中央控制模块连接，用于通过存储器存储采集的关节腔内窥影像数据、影像增强处理结果、关节症状诊断模型以及症状诊断结果；
更新显示模块，与中央控制模块连接，用于通过手机端搭载地显示器对采集的关节腔内窥影像数据、影像增强处理结果、关节症状诊断模型以及症状诊断结果的实时数据进行更新显示；
服务器，对360度自由摆动的摄像头获取关节腔内窥影像数据进行处理；
手机终端，将服务器处理后的数据进行显示。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的新型关节腔内窥镜的控制方法。
本发明的另一目的在于提供一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行所述的新型关节腔内窥镜的控制方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的新型关节腔内窥镜，通过影像增强模块根据人对颜色的心理感受，选择了适合进行图像处理的颜色空间；基于形态学滤波理论，对彩色医学内窥镜图像的亮度分量进行适当增强，对比原始图像和增强后的效果，轮廓和细节更为突出，图像清晰、颜色鲜明，且基本避免了引入过多的图像噪声。同时，本发明通过症状诊断模块生成智能辅助诊断深度学习模型，通过训练学习生成了病灶识别深度学习模型，病变辅助诊断深度学习模型，病灶自动勾画深度学习模型，大大提高内窥镜诊断准确性与效率。
本发明提供的简易关节腔内窥镜，对市场上工业用内窥镜进行改良，用于运动医学科关节疾病诊断。经皮1cm切口，置入内窥镜，连接手机显示。，本发明克服麻醉喉镜只能观看不能冲洗，用于关节由于出血视野不清楚；本发明提供的工业应用内窥镜，应用不同；克服传统关节镜双通道器械庞大繁琐弊端，本品镜头能360度摆动，单通道实现全关节腔探查。本发明手机作为工作站，便于携带和示教。本发明内窥镜，在膝、踝、肩肘腕关节，关节炎软骨破坏、关节腔滑膜增生、游离体，传统检查CT与核磁共振均为间接检查均能实现可视化。
附图说明
图1是本发明实施例提供的新型关节腔内窥镜的控制方法流程图；
图2是本发明实施例提供的新型关节腔内窥镜结构框图；
图3是本发明实施例提供的控制机箱内底部结构框图；
图2-3中：1、控制机箱；2、机盖；3、手机端搭载地显示器；4、摄像头；5、软管；6、电源接口；7、控制器；8、影像采集模块；9、影像增强模块；10、网络通信模块；11、中央控制模块；12、诊断模型构建模块；13、症状诊断模块；14、数据存储模块；15、更新显示模块；16、服务器；17、手机终端。
图4是本发明实施例提供的通过影像增强模块利用增强算法对获取的关节腔内窥影像进行增强处理的方法流程图；
图5是本发明实施例提供的通过症状诊断模块利用诊断程序利用构建的关节症状诊断模型对关节症状进行诊断的方法流程图；
图6是本发明实施例提供的通过数据存储模块利用存储器存储采集的关节腔内窥影像数据、影像增强处理结果、关节症状诊断模型以及症状诊断结果的实时数据的方法流程图。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。
下面结合附图对本发明的结构作详细的描述。
本发明利用360度自由摆动的摄像头获取关节腔内窥影像数据，并利用互联网将获取的所述关节腔内窥影像数据发送服务器，所述服务器对接收的所述关节腔内窥影像数据进行处理，将处理后的数据发送手机终端进行显示。
具体地，如图1所示，本发明实施例提供的新型关节腔内窥镜的控制方法包括以下步骤：
S101，通过电源接口接通电源对所述新型关节腔内窥镜进行供电，将摄像头通过软管插入关节内腔中；
S102，通过影像采集模块利用摄像头获取关节腔内窥影像数据；通过网络通信模块利用网卡接入互联网进行网络通信，并将获取的关节腔内窥影像数据发送至服务器搭载的控制器中；
S103，通过影像增强模块利用增强算法对获取的关节腔内窥影像进行增强处理；通过中央控制模块利用服务器搭载的控制器协调控制所述新型关节腔内窥镜各个模块的正常工作；
S104，通过诊断模型构建模块利用模型构建程序根据采集的关节腔内窥影像构建关节症状诊断模型；通过症状诊断模块利用诊断程序利用构建的关节症状诊断模型对关节症状进行诊断；
S105，通过数据存储模块利用存储器存储采集的关节腔内窥影像数据、影像增强处理结果、关节症状诊断模型以及症状诊断结果的实时数据；
S106，通过更新显示模块利用手机端搭载地显示器对采集的关节腔内窥影像数据、影像增强处理结果、关节症状诊断模型以及症状诊断结果的实时数据进行更新显示。
本发明实施例提供的步骤S104中，通过诊断模型构建模块利用模型构建程序根据采集的关节腔内窥影像构建关节症状诊断模型，包括：
(1)通过诊断模型构建模块根据获取的关节腔内窥影像构建训练样本集，使用鲁棒主成分分析方法对手持硬质内窥镜所采集的影像视频数据分解成一组单帧图像进行去噪处理；
(2)将包含病灶的单帧图像提取出来，并由医生对病灶边缘区域进行手工勾画；利用模型构建程序构建关节症状诊断模型，包含病灶识别深度学习模型，病变辅助诊断深度学习模型，病灶自动勾画深度学习模型。
本发明实施例提供的训练样本集包含3个，病灶识别样本集输入为采集到关节腔内窥影像数据所分解出的所有单帧关节腔内窥影像，病变类型判断样本集输入为提取出的包含病灶的所有单帧关节腔内窥影像，输出为其对应的病变类型，病灶自动勾画样本集输入为提取出的包含病灶的所有单帧关节腔内窥影像，输出为经过手工勾画后包含病灶边缘的所有单帧关节腔内窥影像。
本发明实施例提供的关节症状诊断模型，包括：
(1)病灶识别深度学习模型，利用病灶识别样本集进行训练，使用在ImageNet上训练的CNN分类网络作为预训练网络，进行有无病灶的二分类判别；
(2)病变辅助诊断深度学习模型，利用病变类型判断样本集进行训练，使用在ImageNet上训练的CNN分类网络作为预训练网络，进行病变类型多分类判别；
(3)病灶自动勾画深度学习模型，利用病灶自动勾画样本集进行训练，在病变辅助诊断深度学习模型基础上，构造其对称网络，通过训练微调完成病灶区域的语义分割，从而自动勾画出病灶边缘。
如图2-图3所示，本发明实施例提供的新型关节腔内窥镜包括：控制机箱1、机盖2、手机端搭载地显示器3、摄像头4、软管5、电源接口6、服务器搭载的控制器7、影像采集模块8、影像增强模块9、网络通信模块10、中央控制模块11、诊断模型构建模块12、症状诊断模块13、数据存储模块14、更新显示模块15。
控制机箱1背面顶部通过螺丝固定有机盖2；机盖2正面中央嵌装有手机端搭载地显示器3；控制机箱1背面右端通过软管5连接摄像头4；控制机箱1右侧下方开设有电源接口6；控制机箱1底部中央嵌装有服务器搭载的控制器7；控制机箱1底部右边上方设置有网络通信模块8；控制机箱1右边下方设置有底部数据存储模块14；控制机箱1底部左边下方设置有影像增强模块9；控制机箱1左边上方设置有底部症状诊断模块13；中央控制模块11通过服务器搭载的控制器7利用电路线分别连接有影像采集模块8以及服务器16搭载的影像增强模块、网络通信模块、诊断模型构建模块、症状诊断模块、数据存储模块和更新显示模块15；
影像采集模块8，与中央控制模块11连接，用于通过摄像头获取关节腔内窥影像数据；
影像增强模块9，与中央控制模块11连接，用于通过增强算法对获取的关节腔内窥影像进行增强处理；
网络通信模块10，与中央控制模块11连接，用于通过网卡接入互联网进行网络通信；
中央控制模块11，与影像采集模块8、影像增强模块9、网络通信模块10、诊断模型构建模块12、症状诊断模块12、数据存储模块14、更新显示模块15连接，用于通过服务器搭载的控制器协调控制所述新型关节腔内窥镜各个模块的正常工作；
诊断模型构建模块12，与中央控制模块11连接，用于通过模型构建程序根据采集的关节腔内窥影像构建关节症状诊断模型；
症状诊断模块13，与中央控制模块11连接，用于通过诊断程序利用构建的关节症状诊断模型对关节症状进行诊断；
数据存储模块14，与中央控制模块11连接，用于通过存储器存储采集的关节腔内窥影像数据、影像增强处理结果、关节症状诊断模型以及症状诊断结果；
更新显示模块15，与中央控制模块11连接，用于通过手机端搭载地显示器对采集的关节腔内窥影像数据、影像增强处理结果、关节症状诊断模型以及症状诊断结果的实时数据进行更新显示。
服务器16，对360度自由摆动的摄像头获取关节腔内窥影像数据进行处理；
手机终端17，将服务器处理后的数据进行显示。
下面结合具体实施例对本发明作进一步描述。
实施例1
本发明实施例提供的新型关节腔内窥镜的控制方法如图1所示，作为优选实施例，如图4所示，本发明实施例提供的通过影像增强模块利用增强算法对获取的关节腔内窥影像进行增强处理的方法包括：
S201，通过影像增强模块利用增强算法响应于图像增强启动指令，读取原始关节腔内窥影像，并将所述影像的色彩空间转换成HIS色彩空间；
S202，保持图像的色调H和饱和度S不变，对亮度I进行形态学滤波来实现亮度细节增强；
S203，将处理后的图像像素值从HIS颜色空间转换回RGB颜色空间，对获取的关节腔内窥影像进行增强处理。
本发明实施例提供的读取原始关节腔内窥影像，并将所述影像的色彩空间转换成HIS色彩空间中对于原始图片中任一像素的RGB值，对应的H、S、I分量使用如下公式得到：
Figure BDA0002907997730000121
Figure BDA0002907997730000122
Figure BDA0002907997730000123
其中，H表示像素点的色调值；S表示像素点的饱和度值；I表示像素点的亮度值；R、G、B分别表示像素点的红、绿、蓝颜色分量；R、G、B∈[0，1]；S、I∈[0.1]；H∈[0°，360°]。
本发明实施例提供的保持图像的色调H和饱和度S不变，对亮度I进行形态学滤波来实现亮度细节增强中对亮度I进行形态学滤波来实现亮度细节增强，包括：
(1)设f(x，y)是灰度图像，b(u，v)是形态学滤波所需的结构元素，则b(u，v)对f(x，y)的腐蚀和膨胀定义分别如下：
Figure BDA0002907997730000124
Figure BDA0002907997730000125
b(u，v)对f(x，y)的开运算和闭运算定义分别如下：
Figure BDA0002907997730000126
Figure BDA0002907997730000127
其中，Θ为腐蚀运算符，为膨胀运算符，为开运算符，.为闭运算符；
(2)根据需求定义形态学滤波操作如下：
Figure BDA0002907997730000128
其中，D表示经过滤波得到图像细节信息，I为输入的图像的亮度图；b1、b2分别表示不同尺度的结构元素；
(3)将亮度图I与亮度细节图D叠加，得到新的亮度细节增强图像。
本发明实施例提供的用于表示不同尺度的结构元素b1、b2的表示方式如下：
Figure BDA0002907997730000131
Figure BDA0002907997730000132
其中，b1、b2分别使用了3×3和5×5的圆形结构，用于检测到图像中不同方向上的结构细节信息并提取图像中的细节。
实施例2
本发明实施例提供的新型关节腔内窥镜的控制方法如图1所示，作为优选实施例，如图5所示，本发明实施例提供的通过症状诊断模块利用诊断程序利用构建的关节症状诊断模型对关节症状进行诊断的方法包括：
S301，通过手持硬质内窥镜智能辅助诊断，在内窥镜检查过程中，通过症状诊断模块利用构建的关节症状诊断模型进行病灶的实时检测与识别；
S302，利用诊断程序对病变类型进行实时判断；病灶边缘实时自动勾画，实现对关节症状的诊断。
实施例3
本发明实施例提供的新型关节腔内窥镜的控制方法如图1所示，作为优选实施例，如图6所示，本发明实施例提供的通过数据存储模块利用存储器存储采集的关节腔内窥影像数据、影像增强处理结果、关节症状诊断模型以及症状诊断结果的实时数据的方法包括：
S401，通过数据存储模块获取待存储的关节腔内窥影像数据、影像增强处理结果、关节症状诊断模型以及症状诊断结果的实时数据，并将获取的待存储的数据格式转换为数据表形式；
S402，获取所述待存储数据在所述数据表中的层级位置，根据所述层级位置将所述待存储数据分为底层字段数据和顶层表数据两类；其中，所述顶层表数据用于保存所述底层字段数据的层级位置；
S403，根据分类结果将属于同一类别的医疗数据拼接起来，建立带有结构化查询语言引擎层的分布式存储器，并将拼接后的数据分类存储在所述分布式存储器。
本发明实施例提供的将拼接后的数据分类存储在所述分布式存储器后，还包括：在接收到关节腔内窥数据搜索命令时，根据所述关节腔内窥数据搜索命令包括的关键词，在所述分布式存储器中搜索与所述患者相关的所述关节腔内窥数据，其中，所述关键词与所述患者相关联。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种新型关节腔内窥镜的控制方法，其特征在于，所述新型关节腔内窥镜的控制方法包括：
利用360度自由摆动的摄像头获取关节腔内窥影像数据，并利用互联网将获取的所述关节腔内窥影像数据发送服务器，所述服务器对接收的所述关节腔内窥影像数据进行处理，将处理后的数据发送手机终端进行显示。
2.如权利要求1所述的新型关节腔内窥镜的控制方法，其特征在于，所述所述新型关节腔内窥镜的控制方法具体包括：
步骤一，通过电源接口接通电源对所述新型关节腔内窥镜进行供电，将摄像头通过软管插入关节内腔中，通过影像采集模块利用摄像头获取关节腔内窥影像数据，并通过网络通信模块利用网卡接入互联网进行网络通信，将获取的关节腔内窥影像数据发送至服务器搭载的控制器中；
步骤二，通过影像增强模块利用增强算法响应于图像增强启动指令，读取原始关节腔内窥影像，并将所述影像的色彩空间转换成HIS色彩空间；保持图像的色调H和饱和度S不变，对亮度I进行形态学滤波来实现亮度细节增强；将处理后的图像像素值从HIS颜色空间转换回RGB颜色空间，对获取的关节腔内窥影像进行增强处理；
步骤三，通过中央控制模块利用服务器搭载的控制器协调控制所述新型关节腔内窥镜各个模块的正常工作；通过诊断模型构建模块根据获取的关节腔内窥影像构建训练样本集，使用鲁棒主成分分析方法对手持硬质内窥镜所采集的影像视频数据分解成一组单帧图像进行去噪处理；将包含病灶的单帧图像提取出来，并由医生对病灶边缘区域进行手工勾画；
步骤四，利用模型构建程序构建关节症状诊断模型，包含病灶识别深度学习模型，病变辅助诊断深度学习模型，病灶自动勾画深度学习模型；通过手持硬质内窥镜智能辅助诊断，在内窥镜检查过程中，通过症状诊断模块利用构建的关节症状诊断模型进行病灶的实时检测与识别；利用诊断程序对病变类型进行实时判断；病灶边缘实时自动勾画，实现对关节症状的诊断；
步骤五，通过数据存储模块获取待存储的关节腔内窥影像数据、影像增强处理结果、关节症状诊断模型以及症状诊断结果的实时数据，并将获取的待存储的数据格式转换为数据表形式；获取所述待存储数据在所述数据表中的层级位置，根据所述层级位置将所述待存储数据分为底层字段数据和顶层表数据两类；其中，所述顶层表数据用于保存所述底层字段数据的层级位置；
步骤六，根据分类结果将属于同一类别的医疗数据拼接起来，建立带有结构化查询语言引擎层的分布式存储器，并将拼接后的数据分类存储在所述分布式存储器；通过更新显示模块利用手机端搭载地显示器对采集的关节腔内窥影像数据、影像增强处理结果、关节症状诊断模型以及症状诊断结果的实时数据进行更新显示。
3.如权利要求2所述的新型关节腔内窥镜的控制方法，其特征在于，步骤二中，所述读取原始关节腔内窥影像，并将所述影像的色彩空间转换成HIS色彩空间中对于原始图片中任一像素的RGB值，对应的H、S、I分量使用如下公式得到：
Figure FDA0002907997720000021
Figure FDA0002907997720000022
Figure FDA0002907997720000023
其中，H表示像素点的色调值；S表示像素点的饱和度值；I表示像素点的亮度值；R、G、B分别表示像素点的红、绿、蓝颜色分量；R、G、B∈[0，1]；S、I∈[0.1]；H∈[0°，360°]；
所述保持图像的色调H和饱和度S不变，对亮度I进行形态学滤波来实现亮度细节增强中对亮度I进行形态学滤波来实现亮度细节增强，包括：
(1)设f(x，y)是灰度图像，b(u，v)是形态学滤波所需的结构元素，则b(u，v)对f(x，y)的腐蚀和膨胀定义分别如下：
Figure FDA0002907997720000031
Figure FDA0002907997720000032
b(u，v)对f(x，y)的开运算和闭运算定义分别如下：
Figure FDA0002907997720000033
Figure FDA0002907997720000034
其中，Θ为腐蚀运算符，为膨胀运算符，为开运算符，.为闭运算符；
(2)根据需求定义形态学滤波操作如下：
Figure FDA0002907997720000035
其中，D表示经过滤波得到图像细节信息，I为输入的图像的亮度图；b1、b2分别表示不同尺度的结构元素；
(3)将亮度图I与亮度细节图D叠加，得到新的亮度细节增强图像。
4.如权利要求3所述的新型关节腔内窥镜的控制方法，其特征在于，所述用于表示不同尺度的结构元素b1、b2的表示方式如下：
Figure FDA0002907997720000036
Figure FDA0002907997720000037
其中，b1、b2分别使用了3×3和5×5的圆形结构，用于检测到图像中不同方向上的结构细节信息并提取图像中的细节。
5.如权利要求2所述的新型关节腔内窥镜的控制方法，其特征在于，步骤三中，所述训练样本集包含3个，病灶识别样本集输入为采集到关节腔内窥影像数据所分解出的所有单帧关节腔内窥影像，病变类型判断样本集输入为提取出的包含病灶的所有单帧关节腔内窥影像，输出为其对应的病变类型，病灶自动勾画样本集输入为提取出的包含病灶的所有单帧关节腔内窥影像，输出为经过手工勾画后包含病灶边缘的所有单帧关节腔内窥影像。
6.如权利要求2所述的新型关节腔内窥镜的控制方法，其特征在于，步骤四中，所述关节症状诊断模型，包括：
(1)病灶识别深度学习模型，利用病灶识别样本集进行训练，使用在ImageNet上训练的CNN分类网络作为预训练网络，进行有无病灶的二分类判别；
(2)病变辅助诊断深度学习模型，利用病变类型判断样本集进行训练，使用在ImageNet上训练的CNN分类网络作为预训练网络，进行病变类型多分类判别；
(3)病灶自动勾画深度学习模型，利用病灶自动勾画样本集进行训练，在病变辅助诊断深度学习模型基础上，构造其对称网络，通过训练微调完成病灶区域的语义分割，从而自动勾画出病灶边缘。
7.如权利要求2所述的新型关节腔内窥镜的控制方法，其特征在于，步骤六中，所述将拼接后的数据分类存储在所述分布式存储器后，还包括：
在接收到关节腔内窥数据搜索命令时，根据所述关节腔内窥数据搜索命令包括的关键词，在所述分布式存储器中搜索与所述患者相关的所述关节腔内窥数据，其中，所述关键词与所述患者相关联。
8.一种应用如权利要求1～7任意一项所述的新型关节腔内窥镜的控制方法的新型关节腔内窥镜，其特征在于，所述新型关节腔内窥镜包括：
控制机箱背面顶部通过螺丝固定有机盖；机盖正面中央嵌装有手机端搭载地显示器；控制机箱背面右端通过软管连接摄像头；控制机箱右侧下方开设有电源接口；控制机箱底部中央嵌装有服务器搭载的控制器；控制机箱底部右边上方设置有网络通信模块；控制机箱右边下方设置有底部数据存储模块；控制机箱底部左边下方设置有影像增强模块；控制机箱左边上方设置有底部诊断模块；中央控制模块通过服务器搭载的控制器利用电路线分别连接有影像采集模块以及服务器搭载的影像增强模块、网络通信模块、诊断模型构建模块、症状诊断模块、数据存储模块和更新显示模块；
影像采集模块，与中央控制模块连接，用于通过摄像头获取关节腔内窥影像数据；
影像增强模块，与中央控制模块连接，用于通过增强算法对获取的关节腔内窥影像进行增强处理；
网络通信模块，与中央控制模块连接，用于通过网卡接入互联网进行网络通信；
中央控制模块，与影像采集模块、影像增强模块、网络通信模块、诊断模型构建模块、症状诊断模块、数据存储模块、更新显示模块连接，用于通过服务器搭载的控制器协调控制所述新型关节腔内窥镜各个模块的正常工作；
诊断模型构建模块，与中央控制模块连接，用于通过模型构建程序根据采集的关节腔内窥影像构建关节症状诊断模型；
症状诊断模块，与中央控制模块连接，用于通过诊断程序利用构建的关节症状诊断模型对关节症状进行诊断；
数据存储模块，与中央控制模块连接，用于通过存储器存储采集的关节腔内窥影像数据、影像增强处理结果、关节症状诊断模型以及症状诊断结果；
更新显示模块，与中央控制模块连接，用于通过手机端搭载地显示器对采集的关节腔内窥影像数据、影像增强处理结果、关节症状诊断模型以及症状诊断结果的实时数据进行更新显示；
服务器，对360度自由摆动的摄像头获取关节腔内窥影像数据进行处理；
手机终端，将服务器处理后的数据进行显示。
9.一种信息数据处理终端，其特征在于，所述信息数据处理终端包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1～7任意一项所述的新型关节腔内窥镜的控制方法。
10.一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1～7任意一项所述的新型关节腔内窥镜的控制方法。
CN202110077313.7A 2021-01-20 2021-01-20 一种新型关节腔内窥镜及其控制方法 Pending CN112788300A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110077313.7A CN112788300A (zh) 2021-01-20 2021-01-20 一种新型关节腔内窥镜及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110077313.7A CN112788300A (zh) 2021-01-20 2021-01-20 一种新型关节腔内窥镜及其控制方法

Publications (1)

Publication Number Publication Date
CN112788300A true CN112788300A (zh) 2021-05-11

Family

ID=75757437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110077313.7A Pending CN112788300A (zh) 2021-01-20 2021-01-20 一种新型关节腔内窥镜及其控制方法

Country Status (1)

Country Link
CN (1) CN112788300A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114049934A (zh) * 2021-11-10 2022-02-15 富士胶片（中国）投资有限公司 辅助诊断方法、装置、系统、设备和介质
CN116269155A (zh) * 2023-03-22 2023-06-23 新光维医疗科技(苏州)股份有限公司 图像诊断方法、图像诊断装置、及图像诊断程序

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708292A (zh) * 2012-05-10 2012-10-03 北京奥信通科技发展有限公司 胶囊内窥镜图像管理及显示系统与方法
JPWO2015015717A1 (ja) * 2013-07-30 2017-03-02 パナソニックＩｐマネジメント株式会社 撮像装置、並びにそれを用いた撮像システム、電子ミラーシステムおよび測距装置
CN109222859A (zh) * 2018-08-03 2019-01-18 广州高通影像技术有限公司 一种带有ai辅助诊断功能的智能内窥镜影像系统
CN110648304A (zh) * 2018-06-11 2020-01-03 上海梵焜医疗器械有限公司 一种手持硬质内窥镜智能辅助诊断方法
CN111445419A (zh) * 2020-04-09 2020-07-24 南京图格医疗科技有限公司 一种基于数学形态学的医学内窥镜图像增强方法
CN111603129A (zh) * 2020-05-29 2020-09-01 青岛市口腔医院 一种口腔内窥镜辅助使用装置
CN211933975U (zh) * 2020-03-05 2020-11-17 衡阳市大井医疗器械科技有限公司 一种无线内窥镜摄像系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708292A (zh) * 2012-05-10 2012-10-03 北京奥信通科技发展有限公司 胶囊内窥镜图像管理及显示系统与方法
JPWO2015015717A1 (ja) * 2013-07-30 2017-03-02 パナソニックＩｐマネジメント株式会社 撮像装置、並びにそれを用いた撮像システム、電子ミラーシステムおよび測距装置
CN110648304A (zh) * 2018-06-11 2020-01-03 上海梵焜医疗器械有限公司 一种手持硬质内窥镜智能辅助诊断方法
CN109222859A (zh) * 2018-08-03 2019-01-18 广州高通影像技术有限公司 一种带有ai辅助诊断功能的智能内窥镜影像系统
CN211933975U (zh) * 2020-03-05 2020-11-17 衡阳市大井医疗器械科技有限公司 一种无线内窥镜摄像系统
CN111445419A (zh) * 2020-04-09 2020-07-24 南京图格医疗科技有限公司 一种基于数学形态学的医学内窥镜图像增强方法
CN111603129A (zh) * 2020-05-29 2020-09-01 青岛市口腔医院 一种口腔内窥镜辅助使用装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114049934A (zh) * 2021-11-10 2022-02-15 富士胶片（中国）投资有限公司 辅助诊断方法、装置、系统、设备和介质
CN116269155A (zh) * 2023-03-22 2023-06-23 新光维医疗科技(苏州)股份有限公司 图像诊断方法、图像诊断装置、及图像诊断程序
CN116269155B (zh) * 2023-03-22 2024-03-22 新光维医疗科技(苏州)股份有限公司 图像诊断方法、图像诊断装置、及图像诊断程序

Similar Documents

Publication Publication Date Title
US20210166385A1 (en) Image processing method and apparatus, computer-readable medium, and electronic device
CN110738263B (zh) 一种图像识别模型训练的方法、图像识别的方法及装置
WO2021147429A1 (zh) 内窥镜图像展示方法、装置、计算机设备及存储介质
US11908188B2 (en) Image analysis method, microscope video stream processing method, and related apparatus
CN109523535B (zh) 一种病变图像的预处理方法
JP2018517950A (ja) 解剖学的領域のビデオ画像のコンテンツ管理の方法及びそのためのシステム
CN111091559A (zh) 基于深度学习的小肠镜下淋巴瘤辅助诊断系统
CN106535736B (zh) 图像处理装置、图像处理方法以及图像处理程序
CN112788300A (zh) 一种新型关节腔内窥镜及其控制方法
WO2007119296A1 (ja) 内視鏡挿入方向検出装置、及び内視鏡挿入方向検出方法
DE112020004438T5 (de) Prozessor für ein endoskop, programm, informationsverarbeitungsverfahren und informationsverarbeitungsvorrichtung
CN110867233B (zh) 用于生成电子喉镜医学检测报告的系统和方法
CN112189236A (zh) 学习数据收集装置、学习数据收集方法和程序、学习系统、学习完毕模型、以及内窥镜图像处理装置
US20200311931A1 (en) Method for analyzing image of biopsy specimen to determine cancerous probability thereof
CN110619318A (zh) 基于人工智能的图像处理方法、显微镜、系统和介质
CN109446627A (zh) 内窥镜图像识别方法及装置
CN111105412A (zh) 一种用于肠道息肉检测识别的智能辅助系统
Wang et al. Localizing and identifying intestinal metaplasia based on deep learning in oesophagoscope
CN112132772B (zh) 一种病理切片实时判读方法、装置及系统
KR20050116398A (ko) 의료용 화상 기록 시스템
CN116563572A (zh) 一种推理模型训练方法及装置
CN115171889B (zh) 一种小样本胃部肿瘤诊断系统
CN111462869A (zh) 一种多功能的新生儿临床用头部影像诊疗系统及方法
CN111047582A (zh) 基于深度学习的小肠镜下克罗恩病辅助诊断系统
CN115661037A (zh) 一种胶囊内镜辅助检测方法、装置、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210511