CN205359411U - 一种内窥镜图像控制系统 - Google Patents

一种内窥镜图像控制系统 Download PDF

Info

Publication number
CN205359411U
CN205359411U CN201521097806.3U CN201521097806U CN205359411U CN 205359411 U CN205359411 U CN 205359411U CN 201521097806 U CN201521097806 U CN 201521097806U CN 205359411 U CN205359411 U CN 205359411U
Authority
CN
China
Prior art keywords
image
display device
user
eye
tracking devices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201521097806.3U
Other languages
English (en)
Inventor
梁东
于文杰
李彦俊
王朕青
张德成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Jinshan Science and Technology Group Co Ltd
Original Assignee
Chongqing Jinshan Science and Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Jinshan Science and Technology Group Co Ltd filed Critical Chongqing Jinshan Science and Technology Group Co Ltd
Priority to CN201521097806.3U priority Critical patent/CN205359411U/zh
Application granted granted Critical
Publication of CN205359411U publication Critical patent/CN205359411U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本实用新型公开了一种内窥镜图像控制系统,包括:内窥镜;对内窥镜获取的视频信号进行显示的显示装置;采集使用者的面部图像的眼球跟踪设备;依据眼球跟踪设备采集的图像信息控制显示装置的图像主机。在使用上述内窥镜图像控制系统时,眼球跟踪设备在使用者注视显示装置时对使用者面部图像进行采集,图像主机获取眼球跟踪设备采集的图像信息,并根据图像信息中包含的与使用者的眼睛对应的图像信息,推定使用者的眼睛在显示装置上的注视点,进而对显示装置上显示的与注视点对应的图像区域进行预先设置的操作,由此,仅需使用者注视需要控制的图像区域即可,从而解放了使用者的双手,保证了医疗安全。

Description

一种内窥镜图像控制系统
技术领域
本实用新型涉及医疗器械技术领域,更具体地说,涉及一种内窥镜图像控制系统。
背景技术
内窥镜是集中了传统光学、人体工程学、精密机械、现代电子、数学、软件等于一体的检测仪器;它可以经口腔进入胃内或经其他天然孔道进入体内,使得工作人员利用内窥镜看到X射线不能显示的病变,以制定出最佳的治疗方案。
以往的包含有内窥镜的内窥镜系统操作和显示为分离的,即,需要由工作人员通过对内窥镜主机上的按键或操作界面的对应操作来实现对于内窥镜显示内容的控制。但是在某些特殊场合,传统的内窥镜系统给工作人员的操作带来了不便,比如在内窥镜手术机器人系统中,正在进行手术的工作人员左右手分别握持一个主操作手,此时如果工作人员需要对内窥镜的显示内容进行控制,则需要腾出一只手来操作鼠标或者轨迹球,这样做是非常危险的,有可能会导致主操作手的重力运动而造成医疗事故。
综上所述,如果提供一种内窥镜系统以解放工作人员的双手,是目前本领域技术人员亟待解决的问题。
实用新型内容
有鉴于此,本实用新型的目的是提供一种内窥镜图像控制系统,以使得工作人员无需手动即可完成对于内窥镜获取的视频信号的显示控制,解放了工作人员的双手,从而保证了医疗安全。
为了达到上述目的,本实用新型提供如下技术方案:
一种内窥镜图像控制系统,包括:
内窥镜;
对所述内窥镜获取的视频信号进行显示的显示装置;
采集使用者的面部图像的眼球跟踪设备;
依据所述眼球跟踪设备采集的图像信息控制所述显示装置的图像主机。
优选的,所述眼球跟踪设备包括用于照射所述使用者眼睛的光源。
优选的,所述眼球跟踪设备位于所述显示装置的中轴线以下。
优选的,所述显示装置为触摸显示屏。
优选的,所述眼球跟踪设备包括用于对所述使用者的面部图像进行采集的摄像头,以及分别位于所述摄像头的左右两侧的两个光源。
优选的,所述摄像头为红外摄像头,所述光源为红外光源。
优选的,所述眼球跟踪设备通过通用串行总线USB与所述图像主机连接。
优选的,所述图像主机包括:将所述内窥镜获取的视频信号转换成能够供所述显示装置进行显示的视频信号的视频采集卡。
优选的,还包括:获取外界输入的声音信号,以供所述图像主机利用所述声音信号对所述显示装置进行控制的声音采集器。
本实用新型提供的一种内窥镜图像控制系统,包括:内窥镜;对所述内窥镜获取的视频信号进行显示的显示装置;采集使用者的面部图像的眼球跟踪设备;依据所述眼球跟踪设备采集的图像信息控制所述显示装置的图像主机。在使用者使用上述内窥镜图像控制系统对内窥镜获取的视频信号进行显示控制时,眼球跟踪设备在使用者注视显示装置的过程中对使用者的面部图像进行采集,图像主机获取眼球跟踪设备采集到的图像信息,并根据图像信息中包含的与使用者的眼睛对应的图像信息,推定使用者的眼睛在显示装置上的注视点,进而对显示装置上显示的与使用者的注视点对应的图像区域进行预先设置的操作。因此,使用者在需要对显示装置上显示的图像区域进行显示控制时,无需手动操作,仅需使用者注视需要控制的图像区域即可,从而解放了使用者的双手,保证了医疗安全。
附图说明
为了更清楚地说明本实用新型实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本实用新型的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本实用新型实施例提供的一种医用内窥镜图像控制系统的结构示意图;
图2为本实用新型实施例提供的一种医用内窥镜图像控制系统中眼球跟踪设备、显示装置及使用者之间的位置关系示意图;
图3为本实用新型实施例提供的一种医用内窥镜图像控制系统中眼球跟踪设备及显示装置的使用示意图。
具体实施方式
下面将结合本实用新型实施例中的附图,对本实用新型实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本实用新型一部分实施例,而不是全部的实施例。基于本实用新型中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本实用新型保护的范围。
请参阅图1,其示出了本实用新型实施例提供的一种内窥镜图像控制系统的结构示意图,可以包括:
内窥镜11;
对内窥镜获取的视频信号进行显示的显示装置12;
采集使用者的面部图像的眼球跟踪设备13;
依据眼球跟踪设备13采集的图像信息控制显示装置12的图像主机14。
需要说明的是,在使用上述内窥镜图像控制系统时,显示装置对内窥镜获取的视频信号进行显示,使用者观察显示装置上显示的图像的过程中,眼球跟踪设备实时对使用者的面部图像进行采集,并且,将采集到的图像信息发送至图像主机,图像主机可以依据图像信息利用面部特征识别算法确定与眼睛对应的图像信息,进而依据与眼睛对应的图像信息推定使用者在显示装置上的注视点,进而对显示装置上显示的与使用者的注视点对应的图像区域进行预先设置的操作,其中预先设置的操作可以是对该图像区域进行放大处理、缩小处理、截图处理及视频录制等,也可以根据实际需要进行其他设置,均在本实用新型的保护范围之内。因此,使用者在需要对显示装置上显示的图像区域进行显示控制时,无需手动操作,仅需使用者注视需要控制的图像区域即可,从而解放了使用者的双手,保证了医疗安全。
需要说明的是,显示装置可以直接对内窥镜获取的视频信号进行显示,如图1所示,对应的,显示装置或者内窥镜可以包括:将内窥镜获取的视频信号转换成能够供显示装置进行显示的视频信号的视频采集卡;显示装置也可以在图像主机的控制下对内窥镜获取的视频信号进行显示,对应的,图像主机可以包括:将内窥镜获取的视频信号转换成能够供显示装置进行显示的视频信号的视频采集卡;均在本实用新型的保护范围之内。具体来说,视频采集卡捕捉内窥镜采集的视频信号,对其进行一系列的编码及解码,最终将其转换成能够供显示装置进行显示的视频信号,以在显示装置上进行正常显示。
本实用新型提供的上述内窥镜图像控制系统中,眼球跟踪设备通过采集使用者的面部图像,以供图像主机利用面部图像中与眼睛对应的图像信息实现对显示装置的控制,具体来说,眼球跟踪设备可以包括用于照射所述使用者眼睛的光源,以使得图像主机利用光源对眼睛照射形成的点确定使用者的眼睛的注视点。当然,也可以根据实际需要利用其他无需光源的技术确定使用者的眼睛的注视点,均在本实用新型的保护范围之内。
而眼球跟踪设备与显示装置的具体位置可以根据实际需要进行确定,优选的,眼球跟踪设备可以位于显示装置的中轴线以下。对应的,在具体使用过程中,使用者的眼睛可以与显示装置在同一水平线上,使用者的视线与显示装置的显示面垂直,而眼球跟踪设备位于显示装置的中轴线以下,如图2所示,由此,能够保证眼球跟踪设备中的光源对于使用者的眼睛的照射形成比较明显的点,进而能够准确定位到眼睛的注视点。其中,使用者的眼睛与显示装置在同一水平面上中的“同一水平面”及使用者的视线与显示装置的显示面垂直中的“垂直”均为广义的概念,即使用者的眼睛与显示装置可以在相距一定距离内的不同水平面,且使用者的视线可以与显示装置的显示面不完全垂直,具体均可以根据实际需要进行设置,只要眼球跟踪设备中的光源能够照射使用者的眼睛形成比较明显的点即可,均在本实用新型的保护范围之内。
具体来说,眼球跟踪设备可以包括用于对使用者的面部图像进行采集的摄像头,以及分别位于摄像头的左右两侧的两个光源。即,摄像头的左侧设置一个光源,摄像头的右侧设置一个光源。具体使用时,左右两个光源均同时照射使用者的两只眼睛,而摄像头用于采集使用者的面部图像,如图3所示。由于眼睛的瞳孔本身在光源照射下在摄像头中所成的像非常易于识别,此外,光源与眼睛成一定入射角,即上述实施例中的使用者的眼睛可以与显示装置平行,而眼球跟踪设备位于显示装置的中轴线以下的情况下,光源会在眼睛非瞳孔区域反射比较明显的亮斑,即反光点。因此,在光源的照射下,在使用者的眼睛上会形成三个点—瞳孔和两个反光点,这三个点可以构成一个三角形,人的眼睛注视点发生变化时,这三个点的位置关系会明显的变化,因此,可以根据这三个点的位置关系确定人的眼睛的注视点。图像主机获取摄像头对使用者的面部进行拍摄得到的图像信息后,通过图像特征识别算法由图像信息中定位出两个眼睛的位置,即与眼睛对应的图像信息,进而局部分析眼睛的瞳孔及两个反光点的位置关系,然后根据三个点的位置关系计算出眼睛的注视点。进而对注视点对应的图像区域进行预先设置的操作,当然,也可以根据眼睛的状态确定显示装置的开闭,如当只得到与一个眼睛对应的图像信息时,说明使用者的另一个眼睛可能是关闭的,此时关闭眼球跟踪设备,也即关闭控制显示装置的输入设备,使得使用者无法通过眼球跟踪设备对显示装置进行控制,由此,提供一定的保险机制以在必要时关闭眼球跟踪设备,避免误操作的发生;而根据实际需要进行的其他设置,均在本实用新型的保护范围之内。
另外,由于眼球跟踪设备与使用者的眼睛之间会存在一定的距离,因此,两个光源之间不能相距太近,如果相距太近会导致在眼睛上的反光点距离过近进而导致无法识别注视点或者严重影响注视点的定位,因此,两个光源之间应具有一定的距离,如当眼球跟踪设备与使用者的距离在50-60cm之间时,两个光源间的距离在25-30cm之间为好,包含端点值。
上述实施例提供的一种内窥镜图像控制系统中,光源可以为红外光源,摄像头可以为红外摄像头,具体均可以利用弱强度、低频率的红外光实现,由此,能够在保证对使用者的眼睛影响最小的同时获得最好的反光效果,即保证对使用者的眼睛影响最小的同时使得通过红外光源对于眼睛的照射得到的眼睛的上述三个点更加明显,提高了对于使用者眼睛的注视点定位的精准性。
另外,眼球跟踪设备与图像主机之间的连接方式可以根据实际需要进行确定,如可以通过网络连接,也可以通过通用串行总线USB连接,还可以根据实际需要进行其他设置,均在本实用新型的保护范围之内。同时,眼球跟踪设备还可以包括光源供电线路,以对红外光源进行供电,而摄像头可以对应有USB摄像头芯片,以实现对于摄像头拍摄的面部图像的采集及发送。
上述实施例提供的一种内窥镜图像控制系统中,显示装置可以为触摸显示屏。由此,使用者不仅可以通过眼睛对显示装置上显示的图像进行对应操作,还可以通过对触摸显示屏的操作控制显示装置上显示的图像进行对应操作,提高了用户体验。
本实用新型实施例提供的上述内窥镜图像控制系统,还可以包括:获取外界输入的声音信号,以供图像主机利用声音信号对显示装置进行控制的声音采集器。由此,使用者不仅仅可以通过眼睛对显示装置上显示的图像进行对应操作,还可以通过输入语音信号,对显示装置上显示的图像进行控制,进一步,提升了用户体验。
通过本实用新型公开的上述内窥镜图像控制系统,仅需对使用者的面部图像进行采集进而对显示装置进行控制,而无需使用者参与操作,从而解放了使用者双手,保证了医疗安全;同时,眼球跟踪设备采用的为远距眼球采集,即在具有使用者一定距离的情况下,对使用者包含有眼睛的面部图像进行采集,完全不会干扰使用者的视线;另外,眼球跟踪设备可以同时采集双眼的图像数据,因此,能够有效提高采集数据的辨识率和有效性,并且还提供了种类更加丰富的输入模式,如闭合单眼输入对应于一预设操作和闭合双眼输入对应于另一预设操作等,从而获得更好的用户体验。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本实用新型。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本实用新型的精神或范围的情况下,在其它实施例中实现。因此,本实用新型将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种内窥镜图像控制系统,其特征在于,包括:
内窥镜;
对所述内窥镜获取的视频信号进行显示的显示装置;
采集使用者的面部图像的眼球跟踪设备;
依据所述眼球跟踪设备采集的图像信息控制所述显示装置的图像主机。
2.根据权利要求1所述的系统,其特征在于,所述眼球跟踪设备包括用于照射所述使用者眼睛的光源。
3.根据权利要求2所述的系统,其特征在于,所述眼球跟踪设备位于所述显示装置的中轴线以下。
4.根据权利要求2所述的系统,其特征在于,所述显示装置为触摸显示屏。
5.根据权利要求2所述的系统,其特征在于,所述眼球跟踪设备包括用于对所述使用者的面部图像进行采集的摄像头,以及分别位于所述摄像头的左右两侧的两个光源。
6.根据权利要求5所述的系统,其特征在于,所述摄像头为红外摄像头,所述光源为红外光源。
7.根据权利要求6所述的系统,其特征在于,所述眼球跟踪设备通过通用串行总线USB与所述图像主机连接。
8.根据权利要求2所述的系统,其特征在于,所述图像主机包括:将所述内窥镜获取的视频信号转换成能够供所述显示装置进行显示的视频信号的视频采集卡。
9.根据权利要求1至8任一项所述的系统,其特征在于,还包括:获取外界输入的声音信号,以供所述图像主机利用所述声音信号对所述显示装置进行控制的声音采集器。
CN201521097806.3U 2015-12-25 2015-12-25 一种内窥镜图像控制系统 Active CN205359411U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201521097806.3U CN205359411U (zh) 2015-12-25 2015-12-25 一种内窥镜图像控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201521097806.3U CN205359411U (zh) 2015-12-25 2015-12-25 一种内窥镜图像控制系统

Publications (1)

Publication Number Publication Date
CN205359411U true CN205359411U (zh) 2016-07-06

Family

ID=56256280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201521097806.3U Active CN205359411U (zh) 2015-12-25 2015-12-25 一种内窥镜图像控制系统

Country Status (1)

Country Link
CN (1) CN205359411U (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108065904A (zh) * 2018-01-02 2018-05-25 京东方科技集团股份有限公司 内窥镜系统及其控制方法
CN108524011A (zh) * 2018-05-09 2018-09-14 杨琨 基于眼动仪原理的视野焦点指示系统及方法
CN111657842A (zh) * 2020-06-02 2020-09-15 首都医科大学附属北京地坛医院 一种探头控制方法及探头控制装置
CN112904997A (zh) * 2019-12-04 2021-06-04 Oppo广东移动通信有限公司 设备控制方法及相关产品

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108065904A (zh) * 2018-01-02 2018-05-25 京东方科技集团股份有限公司 内窥镜系统及其控制方法
US11013397B2 (en) 2018-01-02 2021-05-25 Boe Technology Group Co., Ltd. Endoscope apparatus and controlling method thereof
CN108524011A (zh) * 2018-05-09 2018-09-14 杨琨 基于眼动仪原理的视野焦点指示系统及方法
CN112904997A (zh) * 2019-12-04 2021-06-04 Oppo广东移动通信有限公司 设备控制方法及相关产品
CN111657842A (zh) * 2020-06-02 2020-09-15 首都医科大学附属北京地坛医院 一种探头控制方法及探头控制装置
CN111657842B (zh) * 2020-06-02 2021-08-31 首都医科大学附属北京地坛医院 一种探头控制方法及探头控制装置

Similar Documents

Publication Publication Date Title
CN110890140B (zh) 基于虚拟现实的自闭症康复训练及能力评估系统及方法
CN104055478B (zh) 基于视线追踪控制的医用内窥镜操控系统
CN109645955B (zh) 基于vr和眼动追踪的多功能视觉功能检测装置及方法
EP2004039B1 (en) Image output apparatus, image output method and image output program
CN205359411U (zh) 一种内窥镜图像控制系统
US7506979B2 (en) Image recording apparatus, image recording method and image recording program
US20170351326A1 (en) Eye training system and computer program product
CN107077214A (zh) 用于在医院中使用的通信的方法和系统
CN108478399B (zh) 一种弱视训练仪
KR101660157B1 (ko) 시선 추적 기반 재활 시스템
EP2721994B1 (en) Eyeball movement monitoring method and device
WO2013082049A1 (en) Head-mounted display based education and instruction
US9498123B2 (en) Image recording apparatus, image recording method and image recording program stored on a computer readable medium
US8150118B2 (en) Image recording apparatus, image recording method and image recording program stored on a computer readable medium
CN201929941U (zh) 半球面刺激的视功能诊疗仪
CN108888487A (zh) 一种眼球训练系统及方法
CN104146684B (zh) 一种眼罩式眩晕检测仪
US20160128892A1 (en) Audio-feedback computerized system and method for operator-controlled eye exercise
CN108446011A (zh) 一种基于增强现实的医疗辅助方法及设备
CN110633014B (zh) 一种头戴式眼动追踪装置
WO2023077660A1 (zh) 基于混合现实的太极拳训练方法及系统、设备及存储介质
CN205507231U (zh) 多通道交互虚拟现实眼镜
TWI636768B (zh) Surgical assist system
CN202235300U (zh) 眼球运动监测设备
WO2023037348A1 (en) System and method for monitoring human-device interactions

Legal Events

Date Code Title Description
C14 Grant of patent or utility model
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of utility model: An image control system for endoscope

Effective date of registration: 20210126

Granted publication date: 20160706

Pledgee: Agricultural Bank of China Limited Chongqing Yubei sub branch

Pledgor: CHONGQING JINSHAN SCIENCE & TECHNOLOGY (GROUP) Co.,Ltd.

Registration number: Y2021500000004

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20220214

Granted publication date: 20160706

Pledgee: Agricultural Bank of China Limited Chongqing Yubei sub branch

Pledgor: CHONGQING JINSHAN SCIENCE & TECHNOLOGY (GROUP) Co.,Ltd.

Registration number: Y2021500000004

PC01 Cancellation of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of utility model: An endoscope image control system

Effective date of registration: 20220627

Granted publication date: 20160706

Pledgee: Agricultural Bank of China Limited Chongqing Yubei sub branch

Pledgor: CHONGQING JINSHAN SCIENCE & TECHNOLOGY (GROUP) Co.,Ltd.

Registration number: Y2022500000034

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20231020

Granted publication date: 20160706

Pledgee: Agricultural Bank of China Limited Chongqing Yubei sub branch

Pledgor: Chongqing Jinshan Medical Technology Research Institute Co.,Ltd.|BEIJING ZHONGJIN SILICON VALLEY TECHNOLOGY CO.,LTD.|CHONGQING JINSHAN SCIENCE & TECHNOLOGY (GROUP) Co.,Ltd.

Registration number: Y2022500000034

PC01 Cancellation of the registration of the contract for pledge of patent right