CN103750805B - 高清医用内窥镜视频处理装置及方法 - Google Patents

高清医用内窥镜视频处理装置及方法 Download PDF

Info

Publication number
CN103750805B
CN103750805B CN201410000455.3A CN201410000455A CN103750805B CN 103750805 B CN103750805 B CN 103750805B CN 201410000455 A CN201410000455 A CN 201410000455A CN 103750805 B CN103750805 B CN 103750805B
Authority
CN
China
Prior art keywords
video
high definition
menu
frame
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410000455.3A
Other languages
English (en)
Other versions
CN103750805A (zh
Inventor
严壮志
朱胜利
康明洪
徐宁远
朱泳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
YUEJIN MEDICAL OPTICAL INSTRUMENTS FACTORY
University of Shanghai for Science and Technology
Original Assignee
YUEJIN MEDICAL OPTICAL INSTRUMENTS FACTORY
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by YUEJIN MEDICAL OPTICAL INSTRUMENTS FACTORY, University of Shanghai for Science and Technology filed Critical YUEJIN MEDICAL OPTICAL INSTRUMENTS FACTORY
Priority to CN201410000455.3A priority Critical patent/CN103750805B/zh
Publication of CN103750805A publication Critical patent/CN103750805A/zh
Application granted granted Critical
Publication of CN103750805B publication Critical patent/CN103750805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明提供一种高清医用内窥镜视频处理装置及方法。本装置包括硬管镜(1)、光源(2)、镜头(3)、高清医用监视器(4)、手柄(5)、高清相机(6)、手柄键盘(7)、脚踏板(16)和视频处理主机(8);手柄(5)包含高清相机(6)和手柄键盘(7);高清相机(6)采集高清内窥镜视频;视频处理主机(8)对高清内窥镜视频进行实时处理;高清医用监视器(4)实时显示高清内窥镜视频;硬盘(15)存储高清内窥镜视频或图像;医生操作手柄键盘(7)和脚踏板(16),在人机交互菜单的配合下控制高清内窥镜视频的处理和存储过程;本方法对高清内窥镜视频进行冻结、白平衡、测光、亮度、对比度、放大、旋转、翻转、双屏显示、轮廓强调等处理。

Description

高清医用内窥镜视频处理装置及方法
技术领域
本发明涉及一种高清医用内窥镜视频处理装置及方法。能满足高清医疗电子内窥镜临床诊疗和教学的应用需求。
背景技术
电子内窥镜是现代医学诊疗的常用医疗器械。作为一种“非入侵式”诊疗手段,其对患者造成的创伤小且术后恢复快,因而在现代医学诊疗过程中扮演者重要的角色,应用越来越广泛,需求也越来越多。
随着电子内窥镜的发展,各种各样的医疗电子内窥镜系统层出不穷,国外的内窥镜生成厂商如奥林巴斯、富士能等在这一领域处于领先地位,国内类似的产品相对比较少,特别是高清医疗电子内窥镜系统。高清医疗电子内窥镜系统由于价格昂贵只有少数大型医疗中才有使用,众多中小型医院对物美价廉的高清医疗电子内窥镜系统有着强烈的需求。这是由于高清医疗电子内窥镜系统可以提供更加清晰的内窥镜视频或图像,可以辅助医生提供对患者疾病的诊断和治疗,因而获得众多医生的青睐。
随着技术的进步,使得研发一套具有高清医疗电子内窥镜系统成为可能。市场上已出现了一些高清医疗电子内窥镜系统,但这些系统一般都是基于DSP或FPGA等专用芯片开发的,开发难度比较大,研发周期比较长,而基于主机的解决方案则相对比较容易实现,还可以使用大量已有的成熟技术。在主机中可以实现高清内窥镜视频的并行实时处理。
发明内容
本发明鉴于上述背景技术完成,其目的在于,提供一种能够获取高清内窥镜视频并对高清内窥镜视频进行实时处理、显示和存储的装置和方法,提供方便医生使用的操作接口。
为了实现上述目的,本发明的构思是:本发明的高清医用内窥镜视频处理装置具有由高清相机和高清视频采集卡组成的高清内窥镜视频采集单元、由中央处理器和图形处理器组成的高清内窥镜视频处理单元、由高清视频回放卡和高清医用监视器组成的高清内窥镜视频显示单元和由手柄键盘、脚踏板和人机交互菜单组成的人机交互单元;发明1的具体实施方案对应于图1。
上述高清相机采用Magnolia高清CCD相机;高清视频采集卡采用DeckLinkMiniRecoder视频卡;中央处理器采用酷睿i7系列CPU;图形处理器采用GeForceGTX660显卡(内含图形处理器);高清视频回放卡采用DeckLinkMiniMonitor视频卡;高清医用监视器采用LMD-2110MC监视器;高清相机通过HD-SDI接口将高清内窥镜视频传输到高清视频采集卡;高清视频采集卡通过PCI接口将高清内窥镜视频传输到中央处理器中进行处理;中央处理器和图形处理器通过PCI接口交互高清内窥镜视频;中央处理器通过PCI接口传输高清内窥镜视频到高清视频回放卡;高清视频回放卡通过HDMI接口将高清内窥镜视频传输到高清监视器上进行显示。
上述手柄键盘有冻结键、白平衡键、模式键、上选键和下选键5个按键,并和脚踏板一同连接到“6键”键盘解码模块;键盘解码模块负责将手柄键盘和脚踏板的开关信号解码成标准键盘信号传递到视频处理主机;手柄键盘上的模式键、上选键和下选键需要在人机交互菜单的配合下使用,以实现测光、亮度、对比度、放大、旋转、翻转、双屏显示、轮廓强调等控制;人机交互菜单分普通菜单(A)和高级菜单(B)两种,普通菜单(A)包含复位、测光、亮度、对比度、放大五个主要菜单项,高级菜单(B)包含复位、旋转、翻转、双屏显示、轮廓强调五个主要菜单项;模式键用于当前菜单各项间的切换,若当前选择的菜单项为复位时,按上选键实现普通菜单(A)和高级菜单(B)间的切换,下选键实现相应菜单各功能的复位,若当前选择的菜单项为其他菜单项,按上选键和下选键来改变当前菜单功能的控制参数;发明3的具体实施方案对应于图2和图3。
一种高清医用内窥镜视频处理方法,采用上述装置进行处理,该方法的特征在于:具有7大处理步骤,分别为步骤初始化视频处理系统;步骤根据冻结模式进行视频冻结处理;步骤根据系统控制参数绘制菜单图,将当前视频帧、并行处理控制参数、参考图和菜单图导入从图形处理器中进行处理;步骤在图形处理器中根据并行处理控制参数对视频帧进行处理,将得到的视频帧导回中央处理器;步骤根据测光模式对视频帧进行测光处理,并根据测光结果更新步骤中的明度控制参数;步骤显示视频并根据存储模式存储视频帧,并适时将当前视频帧存储为参考图;步骤循环执行步骤到步骤,直到视频处理系统关闭。
上述步骤,视频处理系统初始化后开始采集高清内窥镜视频;控制相机的串口被初始化;视频处理系统可响应手柄键盘和脚踏板的控制;并创建参考图和菜单图;发明5的具体实施方案对应于图4。
上述步骤,根据冻结模式选择是否冻结,若冻结则将当前视频帧临时保存在内存中作为后续处理的视频帧,直到冻结被释放;发明6的具体实施方案对应于图5。
上述步骤,将内存中的临时菜单图还原为空白图,然后根据系统控制菜单绘制新的菜单图;菜单图上主要显示了当前菜单、当前菜单项和当前菜单项的状态值等信息;存储模式状态值和当前日期和时间信息也会被绘制到菜单图中;最后将待处理的视频帧、参考图、菜单图和并行处理参数导入图形处理器中。
上述步骤,在图形处理器中并行处理视频帧,输入为视频帧、并行处理参数、参考图和菜单图,输出为ARGB和RGB两种格式的视频帧;其中ARGB视频帧用于显示,RGB视频帧用于存储;图形处理器主要实现明度、对比度、放大、旋转、翻转、双屏显示、轮廓强调7中处理;发明8的具体实施方案对应于图6。
上述步骤,根据测光模式进行测光处理,并根据测光结果对明度控制参数进行调整;调整后的明度控制参数将在下一视频帧的处理中应用到,从而实现视频帧亮度的“反馈式”调节;具体实施方案对应于图8。
上述步骤,将ARGB格式的视频帧直接通过高清视频回放卡回放到高清医院监视器;根据存储模式选择存储视频或图像;在存储图像时还会用此图像更新参考图,如此,参考图对应最后一张存储图像。
上述步骤,循环执行步骤到步骤,直到视频处理系统关闭。在循环执行的过程中,根据医生的控制实现视频的不同的处理、显示和存储方式。
本发明与现有技术相比较,具有如下显而易见的突出实质性特点和显著技术进步:提供了一种对高清内窥镜视频进行处理、显示和存储的装置和方法,同时方便操作和使用;能获取到1920*1080P的真高清内窥镜视频,可极大地辅助医生提高诊疗水平;提供多种常用的内窥镜视频处理功能,如白平衡、冻结、放大、旋转、双屏显示、轮廓强调、测光等。
附图说明
附图1是高清内窥镜视频处理装置的结构框图。
附图2是硬管镜、镜头和手柄连接结构图
附图3是人机交互菜单设计图。
附图4是视频处理主机中视频处理的流程图。
附图5是冻结处理的流程图。
附图6是图形处理器视频处理的输入和输出。
附图7是亮度调节、明度调节和测光处理三者关系示意图。
附图8是测光处理的流程图。
具体实施方式
下面结合本发明实施例中的附图,对本发明的优选实施例进行清楚、完整的描述。
实施例一:
参见附图1~附图3,本高清医用内窥镜视频处理装置包括一个一个硬管镜(1)、一个光源(2)、一个镜头(3)、一台高清医用监视器(4)、一个手柄(5)、一个高清相机(6)、一个手柄键盘(7)、一个脚踏板(16)和一台视频处理主机(8);视频处理主机(8)包含一张高清视频回放卡(9)、一张高清视频采集卡(10)、一个串口(11)、一个图形处理器(12)、一个中央处理器(13)、一个键盘解码模块(14)和一个硬盘(15)。其特征在于:光源(2)给硬管镜(1)提供内窥镜检查所需的照明;硬管镜(1)通过镜头(3)和手柄(5)中高清相机(6)相连;高清相机(6)、手柄键盘(7)和高清医用监视器(4)连接视频处理主机(8);在视频处理主机(8)中,中央处理器(13)连接串口(11)、高清视频采集卡(10)、高清视频回放卡(9)、图形处理器(12)、硬盘(15)和键盘解码模块(14);键盘解码模块(14)连接手柄键盘(7)和脚踏板(16);高清相机(6)采集高清内窥镜视频并通过高清视频采集卡(10)传输到中央处理器(13);中央处理器(13)在图形处理器(12)的协同下对高清内窥镜视频进行处理;通过高清视频回放卡(9)将处理后的高清内窥镜视频输出到高清医用监视器(4)上进行显示;硬盘(15)用于存储高清内窥镜视频或图像;医生通过手柄(5)上的手柄键盘(7)和脚踏板(16)控制高清内窥镜视频的处理过程;键盘解码模块(14)用于将手柄键盘(7)和脚踏板(16)的开关控制信号转换为到标准键盘输入信号并传递给视频处理主机(8)。
实施例二:
附图1是本高清内窥镜视频处理装置的结构框图。该装置包括一个硬管镜(1)、一个光源(2)、一个镜头(3)、一台高清医用监视器(4)、一个手柄(5)、一个高清相机(6)、一个手柄键盘(7)、一个脚踏板(16)和一台视频处理主机(8);视频处理主机(8)包含一张高清视频回放卡(9)、一张高清视频采集卡(10)、一个串口(11)、一个图形处理器(12)、一个中央处理器(13)、一个键盘解码模块(14)和一个硬盘(15)。
附图1中硬管镜(1)、镜头(3)和手柄(5)构成一个组合体,医生在使用的时候手持手柄(5)并将硬管镜(1)对准患者待检查的部位,如耳鼻咽喉部;在检查的过程中,光源(2)通过硬管镜(1)上的光源接口(17)给提供硬管镜(1)所需的照明光,患者在检查内腔的场景光通过硬管镜(1)传输到镜头(3),再由镜头(3)映射到手柄(5)中的高清相机(6)中的CCD图像传感器;高清相机(6)和高清视频采集卡(10)负责将高清内窥镜视频采集到中央处理器(13);中央处理器(13)和图形处理器(12)负责高清内窥镜视频的处理,具体说是图形处理器(12)协助中央处理器(13)完成高清内窥镜视频的实时处理,单有中央处理器(13)达不到实时处理的效果;高清视频回放卡(9)和高清医用监视器(4)负责高清内窥镜视频的显示;硬盘(15)用于存储高清内窥镜视频或图像;在检查的过程中,医生还可以通过手柄键盘(7)和脚踏板(16)操作,实现高清内窥镜视频的不同处理,以及存储高清内窥镜视频或图像。
附图1中手柄键盘(7)和脚踏板(16)是通过键盘解码模块(14)连接到中央处理器(13)的,键盘解码模块(14)负责手柄键盘(7)和脚踏板(16)的开关控制信号到标准键盘控制信号的对应转换,从而让视频处理系统感知到用户的操作;键盘解码模块可实现“6键”解码,分别对应手柄键盘(7)上的5个按键和一个脚踏板(16)。
附图1中的高清相机(6)采用一款具有HD-SDI标准高清接口的Magnolia(木兰)相机,可以输出1920*1080P的真高清视频,本发明中高清相机的帧率设定为24帧每秒,高清相机采集到的视频是YUV4:2:2格式的;高清视频采集卡(10)采用DeckLinkMiniRecoder卡,该视频卡只提供视频采集的功能,而不能通过该视频卡回放视频,其具有两种高清视频输入接口,即HD-SDI和HDMI接口,输出则是PCI接口,高清相机(6)通过HD-SDI接口将高清内窥镜视频传输到高清视频采集卡(10)进行采集,高清视频采集卡(10)将采集到的高清视频通过PCI口输入到视频处理主机(8)中的中央处理器(13)进行处理;中央处理器(13)采用酷睿i7处理器;图形处理器(12)采用GeForceGTX660显卡(内含图形处理器),图形处理器(12)配合中央处理器(13)实现对高清内窥镜视频的实时处理,两者的分工是中央处理器(13)负责串行处理的部分,而图形处理器(12)负责并行处理的部分,在图像处理器(12)中处理高清内窥镜视频需要首先将高清内窥镜视频导入图形处理器(12),在图形处理器(12)中处理完后需导回中央处理器(13),最后有中央处理器(13)将处理完的高清内窥镜视频输出到高清视频回放卡(9),高清视频回放卡(9)采用DeckLinkMiniMonitor卡,该视频卡只提供视频回放的功能,而不能通过该视频卡采集视频,其视频输入接口是PCI接口,中央处理器(13)通过PCI接口与高清视频回放卡(9)连接,高清视频回放卡(9)具有两种高清视频输出口,HD-SDI和HDMI接口,在视频回放时,两种接口同时输出高清视频;本发明中的高清医用监视器(4)采用LMD-2110MC监视器,具有较高的性价比,其高清视频输入接口是HDMI,高清医用监视器(4)通过HDMI接口和高清视频回放卡(9)连接。
附图2是硬管镜(1)、镜头(3)和手柄(5)连接结构图。图中没有显示画出高清相机(6),高清相机(6)被包含在了手柄(5)中。硬管镜(1)、镜头(3)和手柄(5)是一个组合体;硬管镜(1)可以是耳镜、鼻镜、喉镜等,视具体的临床检查需求而定;光源(2)提供内窥镜检查所需的照明,光源(2)的具体规格在具体应用中可以有多种选择,如在耳鼻咽喉硬管镜检查过程中可以使用功率比较小的光源;镜头(3)是标准的内窥镜硬镜镜头,镜头前端是连接硬管镜的硬镜卡口(18),镜头后端是连接高清相机(6)的标准C接口;通过镜头(3)上的旋转体(20)来移动镜片组(19)进行调焦;通过硬镜卡口(18)和标准C接口,硬管镜(1)、镜头(3)和手柄(5)组合在了一起,医生在使用的时候,一般左手拿住手柄(5)并将硬管镜(1)对准患者的待检查部位,如耳鼻咽喉处,在检查的过程中还可以操作手柄(5)上的手柄键盘(7);手柄键盘(7)具有5个按键,分别是冻结键(21)、白平衡键(22)、模式键(23)、上选键(24)和下选键(25),手柄键盘(7)的开关控制信号通过手柄键盘(7)控制线连接到键盘解码模块(14)。
附图3是人机交互菜单设计图。手柄键盘中的模式键(23)、上选键(24)和下选键(25)在人机交互菜单的配合下使用;人机交互菜单分两种,分别是普通菜单(A)和高级菜单(B);普通菜单(A)对应常用的操作,而高级菜单(B)对应一些不常用但对内窥镜视频系统来说比较实用的操作,两种菜单上都有一个复位菜单项,分别对应相应菜单各项的复位操作;模式键(23)负责在菜单中各项间进行切换,而上选键(24)和下选键(25)分别用于对当前菜单项控制状态的调整,例如模式键(23)切换到亮度调整菜单项,则上选键(24)用于将亮度提高,而下选键(25)用于将亮度降低,但有一种特殊情况即当切换到某个菜单的复位项时,上选键(24)则代表相应菜单各项的复位操作,而下选键(25)则实现普通菜单(A)和高级菜单(B)间的切换;系统初始化时进入普通菜单(A)调整状态。
实施例三:
参见附图4~附图8,本高清医用内窥镜视频处理方法,采用上述装置进行处理,其特征在于具有如下处理步骤:
初始化视频处理系统;
根据冻结模式进行视频冻结处理;
根据系统控制参数绘制菜单图,将当前视频帧、并行处理控制参数、参考图和菜单图导入从图形处理器(12)中进行处理;
在图形处理器(12)中根据并行处理控制参数对视频帧进行处理,将得到的视频帧导回中央处理器(13);
根据测光模式对视频帧进行测光处理,并根据测光结果更新步骤中的明度控制参数;
显示视频并根据存储模式存储视频帧,并适时将当前视频帧存储为参考图;
循环执行步骤到步骤,直到视频处理系统关闭。
实施例四:
本高清医用内窥镜视频处理方法结合附图描述如下:
附图4是本视频处理主机中视频处理的流程图。主要分7大步骤。第步是初始化视频处理系统;第步是根据冻结模式进行视频冻结处理;第步是根据系统控制参数绘制菜单图,将当前视频帧、并行处理控制参数、参考图和菜单图导入从图形处理器(12)中进行处理;第步是在图形处理器(12)中根据并行处理控制参数对视频帧进行处理,将得到的视频帧导回中央处理器(13);第步是根据测光模式对视频帧进行测光处理,并根据测光结果更新步骤中的明度控制参数;第步是显示视频并根据存储模式存储视频帧,并适时将当前视频帧存储为参考图;第步是循环执行步骤到步骤,直到视频处理系统关闭。
附图4中的第步是初始化视频处理系统。视频处理系统初始化之后,系统开始采集高清内窥镜视频,同时可以响应医生的手柄键盘(7)和脚踏板(16)操作,如医生按手柄键盘(7)上的冻结键(21),视频可以被冻结住;高清相机(6)的控制接口串口被初始化后,视频处理系统就可以根据医生的操作控制高清相机(6)了,例如医生按手柄键盘(7)上的白平衡键(22),则视频处理系统将控制高清相机(6)的自动白平衡功能,需要说明的是,在高清相机(6)进行自动白平衡的过程中,需要将高清相机(6)对准标准白色卡纸,医生按一次白平衡键(22),高清相机(6)自动白平衡一次,在高清相机(6)自动调整完成前,高清相机(6)需要一直对准标准白色卡纸,否则高清相机(6)输出的视频颜色将失真,或偏蓝或偏黄;还有一个重要的初始化功能就是在内存空间中创建用于双屏显示的参考图和用于人机交互的菜单图,视频处理系统初始化时创建的参考图是一张空白图,参考图在第步保存图像时将得到更新,即将最后一次保存的高清内窥镜图像作为双屏显示的对比图像,医生可以通过该功能实现对患者多张内窥镜影像的对比;菜单图是根据系统控制参数绘制的,菜单图的绘制在第步完成。
附图4中的第步是根据冻结模式进行视频冻结处理。冻结处理是内窥镜视频处理的常用功能,冻结主要是方便医生将感兴趣的视频帧冻结下来,以进一步仔细观察;冻结分冻结和不冻结两种模式,通过手柄(5)上的冻结键(21)实现两种模式间的切换;冻结处理则是将当前视频帧临时保存在内存空间中,并作为后续处理的视频帧,直到冻结被释放;冻结处理的流程图如附图5所示。
附图5是冻结处理的流程图,首先是判断是否需要冻结,主要是判断当前的冻结模式,若冻结则进行冻结处理,冻结处理过程中首先需要判断是否已冻结,意思是如果已冻结,表示当前已经是冻结状态,且冻结瞬间的视频帧已经保存到了临时帧内存,所以只需要直接访问临时帧内存就可获得需要继续处理的视频帧,若当前状态是冻结状态而没有将任何视频帧保存到临时帧内存,这种情况主要是发生在冻结瞬间,此时需要将冻结瞬间的那张视频帧保存到临时帧内存;若不是处于冻结模式,这种情况就是默认的情况,则视频帧主要是从高清视频采集卡(10)实时采集而来。
附图4中的第步是根据系统控制参数绘制菜单图,将当前视频帧、并行处理控制参数、参考图和菜单图导入从图形处理器(12)中进行处理。首先是根据系统控制参数绘制菜单图,即需要展示给医生的信息,包括当前菜单、当前菜单项和当前菜单项的状态值,以及存储模式状态值和当前日期和时间,此外在采集视频时,视频采集时长也会反映到菜单图中,详细见第六步说明;其中当前菜单为附图3中所示的普通菜单(A)和高级菜单(B),默认情况下绘制的是普通菜单(A);在当前菜单图中将当前菜单中被选中的菜单项标示出来,医生通过附图2所示的模式键(23)实现当前菜单中各菜单项间的切换,例如在普通菜单中,医生按下模式键(23)将在复位、测光、亮度、对比度和放大五个菜单项间切换;当前菜单项的状态值是指医生选中当前菜单的某个菜单项后,需要将该菜单项的状态值显示出来,以提示医生当前的处理状态是什么,例如在选中普通菜单(A)的放大菜单项之后,菜单图中显示其状态值为2,则表示当前视频被放大了2倍;存储模式的状态值作为重要的信息在菜单图中的固定位置显示,存储模式分视频和图像两种,默认的存储模式为图像,即默认情况下存储图像;当前日期和时间作为重要的信息展示给医生,此外在当前日期和时间也作为视频和图像的相关信息存储下来,具体见附图4的第步处理;最后需要将视频帧、参考图、菜单图和并行处理参数导入图形处理器(12)中做进一步处理。
附图4中的第步是在图形处理器(12)中根据并行处理控制参数对视频帧进行处理,将得到的视频帧导回中央处理器(13)。在图形处理器(12)中主要是并行处理,很多视频处理功能都具有高度的并行性,使用图形处理器(12)可以极大地提高视频处理速度,尤其是针对高清视频;本系统中图形处理器(12)主要完成7项处理,即明度、对比度、放大、旋转、翻转、双屏显示、轮廓强调,其中明度、对比度和轮廓强调是对像素值的调节,放大、旋转、翻转、双屏显示是对像素坐标的调节,即几何处理;放大倍数分1、1.2、1.4、1.6、1.8、2倍,最大倍数为2倍,这对于高清内窥镜视频而言足够了;旋转分0度、90度、180度和270度旋转;翻转分不翻转、上下翻转和水平翻转;双屏显示则是同时显示参考图和当前视频;双屏显示时将用到参考图,其中视频帧左半部分为参考图的中心部分,右半部分为当前视频帧的中心部分;菜单图是在最后“嵌入”到视频帧中,值得注意的是,由于菜单图只在视频帧显示时有用,在存储帧中并不“嵌入”菜单图。附图6是是图形处理器(12)视频处理的输入和输出。
附图6中的视频帧是YUV格式的,而参考图和菜单图都是RGB格式的,所以首先需要将YUV格式的视频帧转换为RGB格式的;图中的GPU处理模块即为在图形处理器(12)中运行的并行处理程序;经GPU处理模块处理后得到两张视频帧,分别是ARGB和RGB格式的,ARGB格式的视频帧用于视频回放,这是高清视频回放卡(9)的格式要求,RGB格式视频帧用于存储主要是为了节省存储空间。
附图4中的第步是根据测光模式对视频帧进行测光处理,并根据测光结果更新步骤中的明度控制参数。首先需要说明的是亮度调节、明度调节和测光调节三种之间的关系,附图7是亮度调节、明度调节和测光处理三者关系示意图。
附图7中,亮度调节、明度调节都是对视频的亮度进行调节,不同的是亮度调节是通过控制高清相机(6)的快门实现的,即改变快门控制参数,高清相机(6)的快门时间的可调范围为2ms到30ms,快门时间越长则得到的高清内窥镜视频越亮,通过调节快门时间将高清相机(6)获得的原始高清内窥镜视频的整体亮度控制在一个“合理”的范围,即避免高清相机(6)的CCD图像传感器发送“光溢出”,因为此时高清内窥镜视频将会出现大面积的高亮区域,影响医生的观察和诊断;在快门时间一定后,则可以通过明度调节“自适应”地调节高清内窥镜视频的整体亮度,所以需要通过“测光”来对高清内窥镜视频的整体亮度进行一个评估,或太高或太低,明度调节和测光处理配合工作实现高清内窥镜视频的“自适应”亮度调整;明度调节发生在第步,测光处理发生在第步;设计高清内窥镜视频的“自适应”亮度调整主要是由于在内窥镜检查过程中,常常由于硬管镜(1)距离患者待检查部位内腔时远时近,导致高清内窥镜视频的整体亮度时亮时暗,不稳定,所以希望高清内窥镜视频后处理的过程中使其能够“自适应”地调整亮度,给医生提供亮度更加均衡的高清内窥镜视频。
附图8是测光处理的流程图。图中首先是分别计算高亮区和低亮区各自所占的比例,判断某个像素是否处于高亮区,首先是将该像素值由RGB表示转换为YUV表示,然后判断Y分量是否超出了预设的阈值,如Y>200(Y的范围是0到255),若超出则为高亮区的像素点,同理,对于Y分量低于预设的阈值,如Y<60,则为低亮区的像素点;分别统计出高亮区和低亮区像素值个数占像素总个数的比例;测光模式医生肉眼对当前高清内窥镜视频整体亮度的一个估计,测光模式分三种,即低位、普通和高位模式,默认测光模式是普通模式;低位模式表示当前视频亮度比较高,自适应调整过程需要调低视频亮度,普通模式表示无需调整,高位模式表示需要调高视频亮度;根据测光模式设定高亮区最大比例阈值,表示若高亮区的区域所占比例超出该阈值时,需要进行调节,同时对于低亮区最大比例阈值,表示若低亮区的所占比例超出该阈值时,需要进行调节,本系统中两者的最大阈值均设定为70%;通过比较高亮区所占比例和高亮区最大比例阈值判断是否需要调低明度控制参数,通过比较低亮区所占比例和低亮区最大比例阈值判断是否需要调高明度控制参数;通过调高或调低明度控制参数改变后续处理后的高清内窥镜视频的亮度,从而实现高清内窥镜视频亮度的“自适应”调整。
附图4中的第步是显示视频并根据存储模式存储视频帧,并适时将当前视频帧存储为参考图。显示视频则是直接将第四步得到的ARGB格式的视频帧通过高清视频回放卡(9)显示到高清医用监视器(4);存储操作主要是通过脚踏板(16)实现,并判断当前的存储模式,默认的存储模式是存储图像,通过“长按”模式键(23)可以在存储图像和存储视频间切换;存储图像时,踩一次脚踏板(16)存储一张高清内窥镜图像,存储视频时,踩一次开始存储视频,再踩一次视频存储结束,在采集视频时,还会将采集时长绘制到菜单图中,这是在第步中完成的;在采集图像时,还会将最后一次存储的图像更新到参考图中,所以参考图总是临时保存最后一张存储的高清内窥镜视频图像。
附图4第步中视频存储格式为M-JPEG,图像存储格式为JPEG,这两种格式都能保证在节省存储空间的条件下得到高质量的视频或图像;在存储视频时,视频存储的帧率不宜太高,这是由于高清内窥镜视频从AVI到M-JPEG压缩过程需要时间,本系统中视频采集帧率达到24帧每秒,视频存储的帧率设置为15帧每秒,能得到比较流畅的高清内窥镜视频且基本不丢帧。
附图4第步中存储视频和图像的命名格式分别为“VIDEO-年-月-日-时:分:秒”和“IMAGE-年-月-日-时:分:秒”,其中VIDEO和IMAGE用于区分当前存储的是视频还是图像,年月日时分秒是存储视频或图像的时刻,精确到秒可以保证命名不会重复掉;通过视频或图像的存储信息医生可以知道视频或图像的采集日期。
附图4中的第步是循环执行步骤到步骤,直到视频处理系统关闭。在循环执行的过程中,根据医生的控制实现视频的不同处理,以满足医生的诊疗需要。

Claims (9)

1.一种高清医用内窥镜视频处理装置,包括一个硬管镜(1)、一个光源(2)、一个镜头(3)、一台高清医用监视器(4)、一个手柄(5)、一个高清相机(6)、一个手柄键盘(7)、一个脚踏板(16)和一台视频处理主机(8);视频处理主机(8)包含一张高清视频回放卡(9)、一张高清视频采集卡(10)、一个串口(11)、一个图形处理器(12)、一个中央处理器(13)、一个键盘解码模块(14)和一个硬盘(15),其特征在于:光源(2)给硬管镜(1)提供内窥镜检查所需的照明;硬管镜(1)通过镜头(3)和手柄(5)中高清相机(6)相连;高清相机(6)、手柄键盘(7)和高清医用监视器(4)连接视频处理主机(8);在视频处理主机(8)中,中央处理器(13)连接串口(11)、高清视频采集卡(10)、高清视频回放卡(9)、图形处理器(12)、硬盘(15)和键盘解码模块(14);键盘解码模块(14)连接手柄键盘(7)和脚踏板(16);高清相机(6)采集高清内窥镜视频并通过高清视频采集卡(10)传输到中央处理器(13);中央处理器(13)在图形处理器(12)的协同下对高清内窥镜视频进行处理;通过高清视频回放卡(9)将处理后的高清内窥镜视频输出到高清医用监视器(4)上进行显示;硬盘(15)用于存储高清内窥镜视频或图像;医生通过手柄(5)上的手柄键盘(7)和脚踏板(16)控制高清内窥镜视频的处理过程;键盘解码模块(14)用于将手柄键盘(7)和脚踏板(16)的开关控制信号转换为到标准键盘输入信号并传递给视频处理主机(8);所述高清相机(6)采用Magnolia高清CCD相机,其通过HD-SDI高清视频接口输出1920*1080P的高清视频,帧率为24帧每秒,高清视频格式为YUV4:2:2;高清视频采集卡(10)采用DeckLinkMiniRecoder视频卡,其输入接口为HD-SDI和HDMI,输出接口为PCI,高清相机(6)和高清视频采集卡(10)通过HD-SDI接口相连,高清视频采集卡(10)采集高清相机(6)输出的YUV4:2:2格式的高清内窥镜视频,并通过PCI接口传输给中央处理器(13);中央处理器(13)采用酷睿i7系列CPU;图形处理器(12)采用内含图形处理器的GeForceGTX660显卡;中央处理器(13)与图形处理器(12)协同工作,它们之间通过PCI接口传输高清内窥镜视频;高清视频回放卡(9)采用DeckLinkMiniMonitor视频卡,其输入接口为PCI,输出接口为HD-SDI和HDMI,中央处理器(13)通过PCI接口将处理完的高清内窥镜视频输出给高清视频回放卡(9),高清视频回放卡(9)通过HD-SDI和HDMI接口同时输出两路高清内窥镜视频;高清医用监视器(4)采用LMD-2110MC监视器,其具有HDMI高清视频输入接口,高清视频回放卡(9)和高清医用监视器(4)通过HDMI接口相连;所述硬管镜(1)具有光源接口(17),光源(2)通过光源接口(17)与硬管镜(1)相连;硬管镜(1)通过镜头(3)上的硬镜卡口(18)与镜头(3)相连;镜头(3)中含有镜片组(19),患者内镜场景光透过镜片组(19)投射到高清相机(6)的CCD图像传感器;通过调节旋转体(20)调节镜片组的位置来调焦;镜头(3)通过标准C接口同手柄(5)中的高清相机(6)相连;硬管镜(1)、镜头(3)和手柄(5)构成一个组合体;手柄(5)中的手柄键盘(7)有5个按键,分别是冻结键(21)、白平衡键(22)、模式键(23)、上选键(24)和下选键(25),其中模式键(23)、上选键(24)和下选键(25)在人机交互菜单的配合下实现相应的控制功能;手柄(5)上连接有三根数据线,分别是高清视频线、相机控制线和手柄键盘线;高清视频线连接高清相机(6)和高清视频采集卡(10);相机控制线连接高清相机(6)和视频处理主机(8)中的串口(11);手柄键盘线连接手柄键盘(7)和视频处理主机(8)中的键盘解码模块(14);脚踏板(16)由单独的控制线连接到键盘解码模块(14),键盘解码模块(14)为6键解码模块,分别对应手柄键盘(7)上的5个按键和脚踏板(16)。
2.根据权利要求1所述的高清医用内窥镜视频处理装置,其特征在于:所述人机交互菜单分普通菜单(A)和高级菜单(B),普通菜单项为复位、测光、亮度、对比度和放大,高级菜单项为复位、旋转、翻转、双屏显示和轮廓强调;普通菜单(A)和高级菜单(B)中的复位项分别用于各自菜单的复位;模式键(23)用于当前菜单各项间的切换,若当前选择的菜单项为复位时,按上选键(24)实现普通菜单(A)和高级菜单(B)间的切换,若当前选择的菜单项为其他菜单项,按上选键(24)和下选键(25)来改变当前菜单功能的控制参数。
3.一种高清医用内窥镜视频处理方法,采用根据权利要求1所述的高清医用内窥镜视频处理装置进行处理,其特征在于:具体处理的操作步骤如下:
初始化视频处理系统;
根据冻结模式进行视频冻结处理;
根据系统控制参数绘制菜单图,将当前视频帧、并行处理控制参数、参考图和菜单图导入图形处理器(12)中进行处理;
在图形处理器(12)中根据并行处理控制参数对视频帧进行处理,将得到的视频帧导回中央处理器(13);
根据测光模式对视频帧进行测光处理,并根据测光结果更新步骤中的明度控制参数;
显示视频并根据存储模式存储视频帧,并适时将当前视频帧存储为参考图;
循环执行步骤到步骤,直到视频处理系统关闭。
4.根据权利要求3所述的高清医用内窥镜视频处理方法,其特征在于:所述的步骤首先获取冻结模式,冻结模式有冻结和不冻结两种,由手柄上的冻结键切换;若冻结则将当前视频帧临时保存下来作为后续处理的视频帧,直到冻结被释放。
5.根据权利要求3所述的高清医用内窥镜视频处理方法,其特征在于:所述的步骤首先将菜单图清理为空白的,然后根据系统控制参数绘制新的菜单图;菜单图主要展示当前菜单、当前菜单项和当前菜单项的状态值,以及存储模式状态值和当前日期和时间信息;然后将待处理视频帧、参考图、菜单图和并行处理参数导入图形处理器(12)中。
6.根据权利要求3所述的高清医用内窥镜视频处理方法,其特征在于:所述的步骤在图形处理器(12)中处理视频帧,包含明度、对比度、放大、旋转、翻转、双屏显示和轮廓强调7种处理,其中明度、对比度和轮廓强调为像素值的调整,放大、旋转、翻转和双屏显示为像素坐标的调整;参考图在双屏显示处理时使用;菜单图嵌入到处理后的视频帧中;视频帧处理完后得到ARGB和RGB两种格式的视频帧,分别用于显示和存储。
7.根据权利要求3所述的高清医用内窥镜视频处理方法,其特征在于:所述的步骤根据测光模式对视频帧进行测光处理,并根据测光结果更新步骤中的明度控制参数,更新的明度控制参数将在下一视频帧的明度调整中用到,从而实现视频帧明度的“反馈式”调节;需要说明的是:视频帧的亮度调整和明度调整是不同的,其中亮度调整通过调节相机快门实现,明度调整是通过对视频帧像素值的调节实现的。
8.根据权利要求3所述的高清医用内窥镜视频处理方法,其特征在于:所述的步骤显示和存储视频帧,根据存储模式选择存储视频或图像;存储图像时将最后一次存储的图像更新到参考图中;存储模式通过“长按”模式键(23)切换,默认为存储图像;脚踩脚踏板(16)实现存储视频或图像的控制。
9.根据权利要求3所述的高清医用内窥镜视频处理方法,其特征在于:所述的步骤是循环执行步骤到步骤,直到视频处理系统关闭;在循环执行的过程中,根据医生的控制实现视频的不同的处理、显示和存储方式。
CN201410000455.3A 2014-01-02 2014-01-02 高清医用内窥镜视频处理装置及方法 Active CN103750805B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410000455.3A CN103750805B (zh) 2014-01-02 2014-01-02 高清医用内窥镜视频处理装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410000455.3A CN103750805B (zh) 2014-01-02 2014-01-02 高清医用内窥镜视频处理装置及方法

Publications (2)

Publication Number Publication Date
CN103750805A CN103750805A (zh) 2014-04-30
CN103750805B true CN103750805B (zh) 2016-07-06

Family

ID=50518252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410000455.3A Active CN103750805B (zh) 2014-01-02 2014-01-02 高清医用内窥镜视频处理装置及方法

Country Status (1)

Country Link
CN (1) CN103750805B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104954722B (zh) * 2015-06-15 2018-04-27 深圳市美德医疗电子技术有限公司 一种hdmi音视频信号的传输方法及装置
CN104967805A (zh) * 2015-06-30 2015-10-07 广东实联医疗器械有限公司 一种用于医用内窥镜的视频录制及驱动电路
CN105049676B (zh) * 2015-06-30 2016-08-17 广东实联医疗器械有限公司 一种用于医用内窥镜的图像处理增强及视频录制电路
CN112656352B (zh) * 2019-10-16 2022-12-13 武汉迈瑞医疗技术研究院有限公司 内窥镜摄像主机及其控制方法、内窥镜成像系统及存储介质
CN112986201A (zh) * 2021-02-23 2021-06-18 苏州图墨医疗科技有限公司 一种自动荧光扫描检测设备及其方法
CN115277985A (zh) * 2022-06-24 2022-11-01 江苏济远医疗科技有限公司 一种多功能内窥镜图像处理装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011014687A2 (en) * 2009-07-31 2011-02-03 Inneroptic Technology, Inc. Dual-tube stereoscope
CN202120162U (zh) * 2011-05-20 2012-01-18 德信互动科技(北京)有限公司 计算机
CN102362806A (zh) * 2010-12-09 2012-02-29 董国庆 高清医用内窥镜摄像机
CN202288239U (zh) * 2011-08-12 2012-07-04 三维医疗科技江苏股份有限公司 一种以单片机为核心的数字式阴道镜
CN102697461A (zh) * 2012-01-18 2012-10-03 广州宝胆医疗器械科技有限公司 Oct硬质膀胱镜系统
CN103142202A (zh) * 2013-01-21 2013-06-12 东北大学 一种基于棱镜的具有测量功能的医用内窥镜系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011014687A2 (en) * 2009-07-31 2011-02-03 Inneroptic Technology, Inc. Dual-tube stereoscope
CN102362806A (zh) * 2010-12-09 2012-02-29 董国庆 高清医用内窥镜摄像机
CN202120162U (zh) * 2011-05-20 2012-01-18 德信互动科技(北京)有限公司 计算机
CN202288239U (zh) * 2011-08-12 2012-07-04 三维医疗科技江苏股份有限公司 一种以单片机为核心的数字式阴道镜
CN102697461A (zh) * 2012-01-18 2012-10-03 广州宝胆医疗器械科技有限公司 Oct硬质膀胱镜系统
CN103142202A (zh) * 2013-01-21 2013-06-12 东北大学 一种基于棱镜的具有测量功能的医用内窥镜系统及方法

Also Published As

Publication number Publication date
CN103750805A (zh) 2014-04-30

Similar Documents

Publication Publication Date Title
CN103750805B (zh) 高清医用内窥镜视频处理装置及方法
CN106805934B (zh) 增强现实无线电子内窥镜手术系统
JP4515414B2 (ja) 画像ストリームを表示するためのシステムおよび方法
US8467603B2 (en) Method for enhancing in-vivo image contrast
WO2021147500A1 (zh) 内窥镜图像处理方法、装置、电子设备及存储介质
US9635343B2 (en) Stereoscopic endoscopic image processing apparatus
KR101998595B1 (ko) 이미지 기반 황달 진단 방법 및 장치
CN107105987B (zh) 图像处理装置及其工作方法、记录介质和内窥镜装置
CN103957396A (zh) 利用智能设备进行舌诊时的图像处理方法、装置及设备
CN110168605A (zh) 用于动态范围压缩的视频信号处理装置、视频信号处理方法和程序
CN105708408A (zh) 一种手持式全高清微创手术3d电子内窥镜系统
CN104224106A (zh) 获取小切口深部手术中高质量图像的方法及装置
CN108836236A (zh) 内窥镜手术裸眼3d图像显示系统与显示方法
CN103784106A (zh) 一种无线体表检查装置
CN109565565A (zh) 信息处理装置、信息处理方法和信息处理程序
CN109068035B (zh) 一种智能微相机阵列内窥成像系统
JP7196330B2 (ja) 画像処理装置、内視鏡システム、及び画像処理装置の作動方法
CN106455955A (zh) 图像处理装置
CN211982017U (zh) 4k影像增强医用内窥镜摄像系统
CN206880656U (zh) 增强现实无线电子内窥镜手术系统
CN105282454A (zh) 一种内窥镜成像系统及成像方法
CN104173018A (zh) 一种内窥镜
EP3235241B1 (en) System for processing video images generated by a multiple viewing elements endoscope
CN104683757B (zh) 手持式微创手术视频实时传输系统及方法
WO2020147245A1 (zh) 基于眼底彩照图像的图像优化方法及相关设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant