CN107408299B - 平面扫描视频记波影像的生成方法和服务器及存储介质 - Google Patents

平面扫描视频记波影像的生成方法和服务器及存储介质 Download PDF

Info

Publication number
CN107408299B
CN107408299B CN201680015511.8A CN201680015511A CN107408299B CN 107408299 B CN107408299 B CN 107408299B CN 201680015511 A CN201680015511 A CN 201680015511A CN 107408299 B CN107408299 B CN 107408299B
Authority
CN
China
Prior art keywords
video recording
image
frame
recording image
pixel information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680015511.8A
Other languages
English (en)
Other versions
CN107408299A (zh
Inventor
王溶振
姜悳熏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
UMedical Co Ltd
Original Assignee
UMedical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by UMedical Co Ltd filed Critical UMedical Co Ltd
Publication of CN107408299A publication Critical patent/CN107408299A/zh
Application granted granted Critical
Publication of CN107408299B publication Critical patent/CN107408299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2673—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes for monitoring movements of vocal chords
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pulmonology (AREA)
  • Physiology (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种在平面扫描视频记波影像生成服务器中执行，且利用实时或预先存储的超高速喉内窥镜影像的平面扫描视频记波影像生成方法，所述方法包括以下步骤：(a)获得黑白或彩色的超高速喉内窥镜影像；(b)设置用于从所述超高速喉内窥镜影像生成所述平面扫描视频记波影像的对象区域及单位像素；(c)针对所述对象区域，根据所述单位像素，提取所述超高速喉内窥镜影像的各帧的像素信息；(d)组合提取的所述各帧的像素信息而生成平面扫描视频记波影像的帧；以及(e)组合所述平面扫描视频记波影像的帧而生成平面扫描视频记波活动影像。

Description

平面扫描视频记波影像的生成方法和服务器及存储介质
技术领域
本发明涉及一种利用超高速喉内窥镜影像的平面扫描视频记波(VIDEOKYMOGRAPHIC)影像生成技术，更详细而言，涉及一种从超高速喉内窥镜影像生成并存储或向显示装置输出能够分析声带黏膜的全域动作的平面扫描视频记波影像、利用实时或预先存储的超高速喉内窥镜影像的平面扫描视频记波影像生成方法、执行其的平面扫描视频记波影像生成服务器及存储其的存储介质。
背景技术
一般而言，人体的声带(vocal fold)为用于通过语言来传递意思的发声器官，随着呼吸，喉(喉头)黏膜进行每秒约100至250次的快速振动。即，流入下呼吸道的空气压迫在声门下区域(sub-glottal area)关闭的声带，且该压力大于声带的阻抗，则形成从声带的下缘(inferior margin)向上缘(superior margin)的黏膜波，从而在打开声带的同时开始发声。如果压力再次降低，则关闭声带，且在每秒中反复100次至250次这种过程的情形下形成语音。
但是，当有声带结节、声门癌、声带麻痹等时，无法实现声门下部的有效能量转换，从而黏膜波的对称性降低，导致语音异常。
因此，当诊断嗓音异常时，掌握声带黏膜的运动状态是必不可少的，为此，开发了利用频闪仪(stroboscope)技术来掌握声带黏膜的运动状态的方法。现在，正在广泛应用的是，能够利用频闪仪技术以慢动作来观察每秒100至250次快速动作的电视频闪喉镜(videostroboscopy)的方法。但是，电视频闪喉镜影像并非显示实际准确的声带振动，而是组合按每秒20～30帧左右拍摄的多个周期的声带振动影像中的一部分帧影像而制作一个周期使得声带动作显得较慢的影像。而且，电视频闪喉镜影像在无法持续发声5秒以上的情况或不规则发声的情况下，存在无法用影像获得准确的声带动作的缺点。
为了克服这种电视频闪喉镜的缺点进行了大量研究，广濑(Hirose)等介绍的超高速数字视频系统(high speed digital video system)，以每秒拍摄声带振动2,000帧以上来用作实际的声带振动评价的诊断工具。
而且，开发了一种方法，该方法对从该超高速摄像机获得的影像进行后处理(postprocessing)而生成视频记波影像，并比较和观察两侧声带的振动模式而分析黏膜运动状态。但是，迄今开发的视频记波影像只能获得针对一条线或多条线的记波图(Kymogram)，该记波图(Kymogram)存在无法观察整个声带黏膜的运动状态的问题。
最近，王(Wang)等在1971年研发了利用高尔(Gall)等的喉相片记波原理能够观察整个声带振动的系统，并开发了能够实时检查全域声带振动状态的平面扫描视频记波仪(2D scanning videokymography；2D VKG)。2D VKG能够避免因患者动作等导致的失真，同时能够比较和观察两侧声带全域的振动状态来进行黏膜运动状态的分析等。
[现有技术文献]
[非专利文献]
(非专利文献1)R.R.卡西亚诺、V.扎维里和D.S.伦迪,“电视频闪喉镜在语音障碍诊断中的作用”,耳鼻喉科.头.颈部.外科,卷107,第95页至第一00页,1992.(R.R.Casiano,V.Zaveri,and D.S.Lundy,"Efficacy of videostroboscopy in the diagnosis ofvoice disorders",Otolaryngol.Head.Neck.Surg.,vol.107,pp.95-100,1992.)
(非专利文献2)H.广濑,“声带振动的高速数字影像”,耳鼻咽喉颈外科.增刊,卷458,第一51页至第一53页,1988(H.Hirose,"High-speed digital imaging of vocalfold vibration",Acta Otolaryngol.Suppl.,vol 458,pp.151-153,1988).
(非专利文献3)J.G.斯威克和H.K.舒特,“喉部振动影像”,当前意见耳鼻咽喉颈外科,卷20,第458页至第465页,2012(J.G.Svec and H.K.Schutte,"Kymographic imagingof laryngeal vibrations",Current Opinion Otolaryngology Head and NeckSurgery.,vol.20,pp.458-465,2012).
(非专利文献4)T.维滕贝格,M.泰格斯,P.梅吉尔和U.艾斯霍尔特,“声带振动功能成像：数字多层高速扫描”,语音杂质,卷14,编号3,第422页至第442页,2000(T.Wittenberg,M.Tigges,P.Mergell,and U.Eysholdt,"Functional imaging of vocalfold vibration:digital multislice high-speed kymography",Journal of Voice,vol.14,no.3,pp.422-442,2000).
(非专利文献5)M.W.宋,K.H.金,T.Y.高,T.Y.权,J.H.毛,S.H.崔,J.S.李,K.S.朴,E.J.金,和M.Y.宋,“视频频闪：用于定量分析声带振动的新方法”,喉镜,卷109,编号11,第一859-63页,1999.(M.W.Sung,K.H.Kim,T.Y.Koh,T.Y.Kwon,J.H.Mo,S.H.Choi,J.S.Lee,K.S.Park,E.J.Kim,and M.Y.Sung,"Videostrobokymography:a new method for thequantitative analysis of vocal fold vibration",Laryngoscope,vol.109,no.11,pp.1859-63,1999).
(非专利文献6)V.高尔,“声带的记波图”,阿奇.耳鼻喉科,卷240,编号3,第二87页至第二93页,1984(V.Gall,"Strip kymography of the glottis",Arch.Otorhinolaryngol.,vol.240,no.3,pp.287-293,1984).
(非专利文献7)Q.邱和H.K.舒特,“用于可视化人类声带振动功能的实时记波影像”,科学研究仪器,卷78,编号2,第一页至第6页,2007.(Q.Qiu and H.K.Schutte,"Real-time kymographic imaging for visualizing human vocal-fold vibratoryfunction",Rev.Sci.Instrum.,vol.78,no.2,pp.1-6,2007).
(非专利文献8)S.G.王,B.J.李,J.C.李,Y.S.林,Y.M.朴,H.J.朴,J.H.鲁,G.R.全,S.B.权,和B.J.申,“用于分析声带的二维扫描视频记波的发展”,韩国侯语音言语科学,卷24,编号2,第一07页至第一11页,2013(S.G.Wang,B.J.Lee,J.C.Lee,Y.S.Lim,Y.M.Park,H.J.Park,J.H.Roh,G.R.Jeon,S.B.Kwon,and B.J.Shin,"Development of Two-Dimensional Scanning Videokymography for analysis of Vocal Fold Vibration",Korean Soc.Laryngol.Phoniatr.Logop.,vol.24,no.2,pp.107-111,2013).
发明内容
技术问题
本发明的目的在于，鉴于从超高速喉内窥镜影像只能获得针对一条线或多条线的记波图(Kymogram)的问题，提供一种平面扫描视频记波影像生成方法，所述方法将从超高速摄像机实时传输的喉头全域影像，实时生成为平面扫描视频记波影像，或对预先存储的超高速喉内窥镜影像进行后处理而生成并存储平面扫描视频记波影像或向显示装置输出平面扫描视频记波影像。
技术方案
旨在达到所述目的的本发明的第一方面，作为在平面扫描视频记波影像生成服务器中执行且利用实时或预先存储的超高速喉内窥镜影像的平面扫描视频记波影像生成方法，所述方法包括以下步骤：(a)获得黑白或彩色的超高速喉内窥镜影像；(b)设置用于从所述超高速喉内窥镜影像生成所述平面扫描视频记波影像的对象区域及单位像素；(c)针对所述对象区域，根据所述单位像素，提取所述超高速喉内窥镜影像的各帧的像素信息；(d)组合提取的所述各帧的像素信息而生成平面扫描视频记波影像的帧；以及(e)组合所述平面扫描视频记波影像的帧而生成平面扫描视频记波活动影像。
优选地，所述(a)步骤可以包括：从与所述平面扫描视频记波影像生成服务器连接的超高速摄像机，实时接收超高速喉内窥镜影像，或加载所述平面扫描视频记波影像生成服务器中预先存储的超高速喉内窥镜影像。
优选地，所述(c)步骤可以包括：提取所述超高速喉内窥镜影像的帧中特定帧的像素信息后，在所述特定帧的下一帧中，将提取所述像素信息的位置的下一个位置决定为像素信息提取位置。
优选地，所述(d)步骤可以包括：将所述提取的各帧的像素信息，根据所述提取的像素信息的提取位置，在所述平面扫描视频记波影像的帧中设置为对应的位置的像素信息。
优选地，所述(d)步骤还可以包括：补正生成的所述平面扫描视频记波影像的帧的亮度、彩度、模糊化、清晰度或旋转。
优选地，所述(e)步骤还可以包括：将所述平面扫描视频记波活动影像进行存储或向与所述平面扫描视频记波影像生成服务器连接的显示装置输出。
优选地，所述单位像素可以相当于所述对象区域的规定像素线或构成像素线的至少一个规定像素。
旨在达到所述目的的本发明的第二方面，作为平面扫描视频记波影像生成服务器，所述服务器包括：获得部，其获得黑白或彩色的超高速喉内窥镜影像；设置部，其设置用于从所述超高速喉内窥镜影像生成所述平面扫描视频记波影像的对象区域及单位像素；提取部，其针对所述对象区域，根据所述单位像素，提取构成所述超高速喉内窥镜影像的各帧的像素信息；帧生成部，其组合提取的所述各帧的像素信息而生成平面扫描视频记波影像的帧；以及活动影像生成部，其组合所述平面扫描视频记波影像的帧而生成平面扫描视频记波活动影像。
优选地，所述获得部可以从与所述平面扫描视频记波影像生成服务器连接的超高速摄像机，实时接收超高速喉内窥镜影像，或加载所述平面扫描视频记波影像生成服务器中预先存储的超高速喉内窥镜影像。
优选地，所述提取部可以提取所述超高速喉内窥镜影像的帧中特定帧的像素信息后，在所述特定帧的下一帧中，将提取所述像素信息的位置的下一个位置决定为像素信息提取位置。
优选地，所述帧生成部可以将所述提取的各帧的像素信息，根据所述提取的像素信息的提取位置，在所述平面扫描视频记波影像的帧中设置为对应的位置的像素信息。
优选地，所述帧生成部可以补正所述生成的平面扫描视频记波影像的帧的亮度、彩度、模糊化、清晰度或旋转。
优选地，所述活动影像生成部可以将所述平面扫描视频记波活动影像进行存储或向与所述平面扫描视频记波影像生成服务器连接的显示装置输出。
发明效果
如上所述，根据本发明，可以摆脱只能从超高速喉内窥镜影像获得针对一条线或多条线的记波图(Kymogram)的问题，而具有将喉头全域影像实时生成并存储或向显示装置输出平面扫描视频记波影像的效果。
特别是，具有可以将超高速喉内窥镜影像实时转换为平面扫描视频记波影像，将超高速喉内窥镜影像和平面扫描视频记波两种影像在一个画面或各个显示装置中输出而同时进行比较分析的效果。
另外，具有可以利用一个超高速内窥镜摄像机拍摄影像而生成平面扫描视频记波影像的效果。
附图说明
图1是关于根据本发明优选实施例的平面扫描视频记波影像生成系统的框图。
图2是关于图1的平面扫描视频记波影像生成服务器的框图。
图3是关于在图1的平面扫描视频记波影像生成系统中执行的平面扫描视频记波影像生成方法的流程图。
图4是设置用于生成平面扫描视频记波影像的对象区域的方法的示例。
图5是提取单位像素为像素线时的各帧的像素信息的方法及对所提取的像素信息进行组合的方法的示例。
图6是提取单位像素为规定像素时的各帧的像素信息的方法及对所提取的像素信息进行组合的方法的示例。
图7是关于单位像素为1个像素线时生成的平面扫描视频记波影像的经过时间而变化的示例。
图8是关于单位像素为2个像素线时生成的平面扫描视频记波影像的经过时间而变化的示例。
图9是关于单位像素为3个像素线时生成的平面扫描视频记波影像的经过时间而变化的示例。
图10是关于单位像素为4个像素线时生成的平面扫描视频记波影像的经过时间而变化的示例。
图11是超高速喉内窥镜影像和生成的平面扫描视频记波影像输出的示例。
图12是生成的多个平面扫描视频记波影像在一个画面中同时输出的示例。
具体实施方式
下面，参照与附图一起详细说明的实施例，则本发明的有利点及特征以及达到其的方法将变得明确。但是，本发明并非限定于以下公开的实施例，可以以互不相同的多样形态实现，本实施例只是为了使得本发明的公开更完整，且向本发明所属技术领域的技术人员完整地告知发明的范畴而提供，本发明只是由权利要求的范畴所定义。在通篇说明书中，相同参照符号指称相同构成要素。“及/或”包括所提及的各个项目及一个以上的所有组合。
虽然第一、第二等用于叙述多样的元件、构成要素及/或部分，但这些元件、构成要素及/或部分不会由这些术语所限制是理所当然的。这些术语只是为了将一个元件、构成要素或部分区别于其他元件、构成要素或部分而使用。因此，下面提及的第一元件、第一构成要素或第一部分，在本发明的技术思想内，也可以为第二元件、第二构成要素或第二部分是理所当然的。
另外，在各步骤中，识别符号(例如，a、b、c等)是为了说明的便利而使用的，识别符号并非说明各步骤的顺序，只要在文理上未明确记载特定顺序，各步骤可以与以上说明的顺序不同地方式发生。即，各步骤既可以与说明的顺序相同地发生，也可以实质上同时执行，还可以按相反顺序执行。
本说明书中使用的术语用于说明实施例，并非要限制本发明。在本说明书中，只要在语句中未特别提及，单数型也包括复数型。说明书中使用的“包括(comprises)”及/或“包括的(comprising)”是指，提及的构成要素、步骤、动作及/或元件不排除一个以上其他构成要素、步骤、动作及/或元件的存在或追加。
没有不同的定义，则本说明书中使用的所有术语(包括技术及科学性术语)可以用作本发明所属技术领域的普通技术人员可以共同理解的意义。再者，一般使用的字典中定义的术语，只要未明确地特别定义，则不得古怪地或过度地解释。
另外，在说明本发明的实施例方面，在对公知功能或构成的具体说明判断为可能不必要地混淆本发明要旨的情况下，将省略其详细说明。而且，后述的术语作为考虑到本发明实施例中的功能而定义的术语，其可以根据用户、运用者的意图或惯例而改变。因此，其定义应以本说明书通篇内容为基础作出。
图1是关于根据本发明优选实施例的平面扫描视频记波影像生成系统的框图。
参照图1，则平面扫描视频记波影像生成系统100，包括超高速摄像机110、平面扫描视频记波影像生成服务器120及显示装置130，其中，还可以包括外部存储装置140。
超高速摄像机110拍摄喉内窥镜影像，并将拍摄的喉内窥镜影像提供给平面扫描视频记波影像生成服务器120，或者，虽然图中未示出，但可以提供给在平面扫描视频记波影像生成服务器120的外部或内部中具备的另外的影像获得装置。
平面扫描视频记波影像生成服务器120是与超高速摄像机110、显示装置130或外部存储装置140连接而可以执行平面扫描视频记波影像生成方法的装置。优选地，平面扫描视频记波影像生成服务器120可以利用从超高速摄像机110接收所提供的喉内窥镜影像，或利用在外部存储装置140或平面扫描视频记波影像生成服务器120的内部具备的内部存储装置中预先存储的超高速喉内窥镜影像，生成平面扫描视频记波影像，并将所生成的平面扫描视频记波影像输出到显示装置130。
显示装置130是可以以视觉方式输出在平面扫描视频记波影像生成服务器120中生成的平面扫描视频记波影像及超高速喉内窥镜影像的装置，外部存储装置140可以是在平面扫描视频记波影像生成服务器120的外部额外地配备，从而对从平面扫描视频记波影像生成服务器120生成的平面扫描视频记波影像或由超高速摄像机110拍摄的超高速喉内窥镜影像进行存储、管理的装置。
图2是关于图1的平面扫描视频记波影像生成服务器的框图。
参照图2，则平面扫描视频记波影像生成服务器120包括获得部210、设置部220、提取部230、帧生成部240、活动影像生成部250及控制部260。下面参照图4～图6进行说明。
获得部210获得黑白或彩色的超高速喉内窥镜影像。优选地，获得部210可以从与平面扫描视频记波影像生成服务器120连接的超高速摄像机110实时接收超高速喉内窥镜影像。更具体而言，获得部210可以将由超高速摄像机110实时拍摄的超高速喉内窥镜模拟影像，通过在平面扫描视频记波影像生成服务器120的内部或外部配备的视频采集卡(video capture board)等影像获得装置，转换为超高速喉内窥镜数字影像数据而实时获得。
另外，获得部210可以加载在平面扫描视频记波影像生成服务器120的内部存储装置或外部存储装置140中预先存储的超高速喉内窥镜影像。
此时，通过获得部210获得的超高速喉内窥镜影像可以为黑白影像，或者为了声带的诸如血管、肿瘤的器质性见解评价，可以为能够提高辨别力的彩色影像。
设置部220设置用于从超高速喉内窥镜影像生成平面扫描视频记波影像的对象区域及单位像素。其中，对象区域是关于在超高速喉内窥镜影像中将哪个部分生成为平面扫描视频记波影像的区域，单位像素相当于对象区域的规定像素线(Pixel line)或构成像素线的至少一个规定像素，其是成为对超高速喉内窥镜影像的每帧提取像素信息的基准的单位。另外，设置部220可以设置将要生成的平面扫描视频记波影像的格式信息，例如，帧率(frame rate)等。
例如，参照图4，则通过获得部210获得的超高速喉内窥镜影像，由于内窥镜的原因，外廓部分大部分为黑色，且存在与声带的影像信息无关的区域，并在内窥镜检查时，声带之外的区域不振动，因而可以通过图4的边界框410，将不需要的区域排除在外，设置将要生成平面扫描视频记波影像的对象区域。另外，通过设置对象区域，在生成平面扫描视频记波影像时，可以节省数据存储空间，可以提高影像处理速度。
提取部230针对对象区域，根据单位像素，提取超高速喉内窥镜影像的各帧的像素信息。优选地，提取部230可以从超高速喉内窥镜影像的第一帧，按设置部220设置的单位像素，每帧提取像素信息。
另外，提取部230提取超高速喉内窥镜影像的帧中特定帧的像素信息后，可以将提取像素信息的位置的下一个位置，决定为在特定帧的下一个帧中将要提取像素信息的像素信息提取位置。即，像素信息提取位置被决定为在之前帧中提取的像素位置的下一个位置，像素信息提取位置的移动被决定为从左至右、从右至左、从上至下以及从下到上中的一种，从而在所有帧中，向规定的方向移动。
例如，参照图5，则通过设置部220，设置对象区域510，作为单位像素而设置1个像素线，且像素信息提取位置的变更设置为从上至下，在这种情况下，通过提取部230，如(A)所示，在第一帧的对象区域510中提取第一像素信息521，在第二帧中，向第一像素信息521提取位置的下一个位置，即，向下方向移动像素信息提取位置，如(B)所示，提取第二像素信息522，在第三帧中，从第二像素信息522提取位置向下方向移动像素信息提取位置，如(C)所示，可以提取第三像素信息523，针对之后的所有帧，可以以相同方法，提取像素线的像素信息。
又例如，参照图6，则通过设置部220设置对象区域610，作为单位像素而设置规定像素，且像素信息提取位置的变更设置为从左至右，在这种情况下，通过提取部230，如(A)所示，在第一帧的对象区域610中提取第一像素信息621，在第二帧中，向第一像素信息621提取位置的下一个位置，即向右侧移动像素信息提取位置，如(B)所示，提取第二像素信息622，在第三帧中，从第二像素信息522提取位置向右侧方向移动像素信息提取位置，如(C)所示，可以提取第三像素信息623，针对之后的所有帧，可以以相同方法，提取规定像素的像素信息。
帧生成部240组合提取的各帧的像素信息，生成平面扫描视频记波影像的帧。更具体而言，帧生成部240可以将超高速喉内窥镜影像的所提取的各帧的像素信息，根据提取像素信息的像素信息提取位置，设置为在平面扫描视频记波影像的帧中对应的像素位置的像素信息。
例如，参照图5，则对在第一帧至第三帧中提取的第一像素信息521至第三像素信息531进行组合，如(D)所示，可以生成平面扫描视频记波影像的帧。更具体而言，通过在平面扫描视频记波影像的帧中，在与第一像素信息521的像素提取位置对应的位置，设置第一像素信息，在与第二像素信息的像素提取位置对应的位置，设置第二像素信息，在与第三像素信息的像素提取位置对应的位置，设置第三像素信息，从而可以生成构成平面扫描视频记波影像的各帧。
又例如，参照图6，则对在第一帧至第三帧中提取的第一像素信息621至第三像素信息631进行组合，如(D)所示，可以生成平面扫描视频记波影像的帧。更具体而言，通过在平面扫描视频记波影像的帧中，在与第一像素信息621的像素提取位置对应的位置，设置第一像素信息，在与第二像素信息的像素提取位置对应的位置，设置第二像素信息，在与第三像素信息的像素提取位置对应的位置，设置第三像素信息，从而可以生成构成平面扫描视频记波影像的各帧。
优选地，当通过提取部230，在超高速喉内窥镜影像的帧中，提取最后规定像素线或最后规定像素，从而帧生成部240对平面扫描视频记波影像的一个帧进行组合时，提取部230，在超高速喉内窥镜影像的下一帧中从开始位置起，即，从与第一帧中提取像素信息的位置对应的位置起，可以以相同的方法执行所述像素信息提取过程，帧生成部240可以以提取的像素信息为基础，以与所述相同的方法，对平面扫描视频记波影像的帧进行组合。即，可以以所有超高速喉内窥镜影像的帧为对象，执行所述的像素信息提取过程，而生成平面扫描视频记波影像的帧。
在一个实施例中，帧生成部240可以对生成的平面扫描视频记波影像的帧的亮度、彩度、模糊化(blurring)、清晰度或旋转进行补正。更具体而言，当规定像素线或规定像素的数量多时，如果组合像素信息而生成平面扫描视频记波影像的帧，则在组合的像素线或像素的边界部分会出现急剧的颜色变化，因此，为了补足所组合的像素信息的边界部分的急剧颜色变化，可以执行各帧的亮度、彩度、模糊化、清晰度、旋转等影像处理。
活动影像生成部250对通过帧生成部240生成的平面扫描视频记波影像的帧进行组合，并生成平面扫描视频记波活动影像。
另外，活动影像生成部250可以将所生成的平面扫描视频记波活动影像进行存储，或向与平面扫描视频记波影像生成服务器120连接的显示装置130输出。更具体而言，生成的平面扫描视频记波活动影像可以存储于平面扫描视频记波影像生成服务器120内部配备的内部存储装置或外部存储装置140。
控制部260控制获得部210、设置部220、提取部230、帧生成部240及活动影像生成部250的动作及数据的流动。
图3是关于在图1的平面扫描视频记波影像生成系统中执行的平面扫描视频记波影像生成方法的流程图。下面参照图7至图12进行说明。
获得部210获得超高速喉内窥镜影像(步骤S310)。优选地，获得部210可以实时接收所提供的超高速摄像机110拍摄的超高速喉内窥镜影像，或加载并获得预先存储的超高速喉内窥镜影像。
设置部220设置用于生成平面扫描视频记波影像的对象区域及单位像素(步骤S320)。即，设置部220设置关于在超高速喉内窥镜影像中将哪部分生成为平面扫描视频记波影像的对象区域，并设置在构成超高速喉内窥镜影像的各个帧中，以哪种单位提取像素的与否。
提取部230针对对象区域，根据单位像素，提取构成超高速喉内窥镜影像的各帧的像素信息(步骤S330)。更具体而言，提取部230针对构成超高速喉内窥镜影像的所有帧，依次对每帧提取针对单位像素的像素信息。
帧生成部240对提取的各帧的像素信息进行组合而生成平面扫描视频记波影像的帧(步骤S340)。优选地，针对通过获得部210获得的超高速喉内窥镜影像的所有帧，提取部230可以提取像素信息，帧生成部240对提取的像素信息进行组合，生成将要构成平面扫描视频记波影像的帧。
活动影像生成部250组合平面扫描视频记波影像的帧而生成平面扫描视频记波活动影像(步骤S350)。例如，活动影像生成部250，参照图7，则可以对以1个像素线为单位像素而组合生成的帧来生成平面扫描视频记波活动影像，参照图8，则可以对以2个像素线为单位像素而组合生成的帧来生成平面扫描视频记波活动影像，参照图9，则可以对以3个像素线为单位像素而组合生成的帧来生成平面扫描视频记波活动影像，参照图10，则可以对以4个像素线为单位像素而组合生成的帧来生成平面扫描视频记波活动影像。
另外，活动影像生成部250可以存储生成的活动影像，或通过显示装置130输出。例如，如图11所示，可以将超高速喉内窥镜影像和利用其而生成的平面扫描视频记波影像向显示装置130同时输出，以便容易比较，如图12所示，可以将以1个像素线、2个像素线、3个像素线及4个像素线为单位像素而生成的各个平面扫描视频记波影像在显示装置130的一个画面同时输出，以便能够比较。
另一方面，本发明一个实施例的平面扫描视频记波影像生成方法还可以在计算机可读存储介质中体现为计算机可读的代码。计算机可读的存储介质包括存储供计算机系统可读数据的所有种类的存储装置。
例如，作为计算机可读存储介质，有只读存储器(ROM)、随机存取存储器(RAM)、只读光盘驱动器(CD-ROM)、磁带、硬盘、软盘、移动式存储装置、闪速存储器(Flash Memory)、光数据存储装置等。
另外，计算机可读存储介质可以分布于通过计算机通信网连接的计算机系统，并作为以分布方式可读取的代码来存储并运行。
对前述的根据本发明的利用实时或预先存储的超高速喉内窥镜影像的平面扫描视频记波影像生成方法、执行其的平面扫描视频记波影像生成服务器及存储其的存储介质的优选实施例进行了说明，但本发明并非限定于此，在权利要求书和发明的详细说明以及附图的范围内，可以进行多种变形实施，这也属于本发明。

Claims (10)

1.一种平面扫描视频记波影像生成方法，所述方法在平面扫描视频记波影像生成服务器中执行，且利用实时或预先存储的超高速喉内窥镜影像，其中，所述方法包括以下步骤：
(a)获得黑白或彩色的超高速喉内窥镜影像；
(b)设置用于从所述超高速喉内窥镜影像生成所述平面扫描视频记波影像的对象区域及单位像素；
(c)针对所述对象区域，根据所述单位像素，提取所述超高速喉内窥镜影像的各帧的像素信息；
(d)组合提取的所述各帧的像素信息而生成平面扫描视频记波影像的帧；以及
(e)组合所述平面扫描视频记波影像的帧而生成平面扫描视频记波活动影像，
其中，所述步骤(c)包括提取所述超高速喉内窥镜影像的帧中特定帧的像素信息后，将提取所述像素信息的位置在预定方向上的下一个位置，决定为在所述特定帧的下一个帧中的像素信息提取位置，以及
其中，所述步骤(d)包括将所提取的各帧的像素信息，根据所提取的像素信息的提取位置，在所述平面扫描视频记波影像的帧中设置为对应位置的像素信息。
2.根据权利要求1所述的平面扫描视频记波影像生成方法，其特征在于，
所述(a)步骤包括：从与所述平面扫描视频记波影像生成服务器连接的超高速摄像机，实时接收超高速喉内窥镜影像，或加载所述平面扫描视频记波影像生成服务器中预先存储的超高速喉内窥镜影像。
3.根据权利要求1所述的平面扫描视频记波影像生成方法，其特征在于，
所述(d)步骤还包括：补正生成的所述平面扫描视频记波影像的帧的亮度、彩度、模糊化、清晰度或旋转。
4.根据权利要求1所述的平面扫描视频记波影像生成方法，其特征在于，
所述(e)步骤还包括：将所述平面扫描视频记波活动影像进行存储或向与所述平面扫描视频记波影像生成服务器连接的显示装置输出。
5.根据权利要求1所述的平面扫描视频记波影像生成方法，其特征在于，
所述单位像素相当于所述对象区域的规定像素线或构成像素线的至少一个规定像素。
6.一种平面扫描视频记波影像生成服务器，包括：
获得部，其获得黑白或彩色的超高速喉内窥镜影像；
设置部，其设置用于从所述超高速喉内窥镜影像生成所述平面扫描视频记波影像的对象区域及单位像素；
提取部，其针对所述对象区域，根据所述单位像素，提取构成所述超高速喉内窥镜影像的各帧的像素信息；
帧生成部，其组合提取的所述各帧的像素信息而生成平面扫描视频记波影像的帧；以及
活动影像生成部，其组合所述平面扫描视频记波影像的帧而生成平面扫描视频记波活动影像，
其中，所述提取部在提取所述超高速喉内窥镜影像的帧中特定帧的像素信息后，将提取所述像素信息的位置在预定方向上的下一个位置，决定为在所述特定帧的下一个帧中的像素信息提取位置，以及
其中，所述帧生成部将所提取的各帧的像素信息，根据所提取的像素信息的提取位置，在所述平面扫描视频记波影像的帧中设置为对应位置的像素信息。
7.根据权利要求6所述的平面扫描视频记波影像生成服务器，其特征在于，
所述获得部从与所述平面扫描视频记波影像生成服务器连接的超高速摄像机，实时接收超高速喉内窥镜影像，或加载所述平面扫描视频记波影像生成服务器中预先存储的超高速喉内窥镜影像。
8.根据权利要求6所述的平面扫描视频记波影像生成服务器，其特征在于，
所述帧生成部补正生成的所述平面扫描视频记波影像的帧的亮度、彩度、模糊化、清晰度或旋转。
9.根据权利要求6所述的平面扫描视频记波影像生成服务器，其特征在于，
所述活动影像生成部将所述平面扫描视频记波活动影像进行存储或向与所述平面扫描视频记波影像生成服务器连接的显示装置输出。
10.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的方法。
CN201680015511.8A 2015-08-31 2016-06-09 平面扫描视频记波影像的生成方法和服务器及存储介质 Active CN107408299B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2015-0123110 2015-08-31
KR1020150123110A KR101717371B1 (ko) 2015-08-31 2015-08-31 실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법, 이를 수행하는 평면 스캔 비디오카이모그래피 영상 생성 서버, 및 이를 저장하는 기록매체
PCT/KR2016/006108 WO2017039124A1 (ko) 2015-08-31 2016-06-09 실시간 또는 기저장된 초고속 후두내시경 영상을 이용한 평면 스캔 비디오카이모그래피 영상 생성 방법, 이를 수행하는 평면 스캔 비디오카이모그래피 영상 생성 서버, 및 이를 저장하는 기록매체

Publications (2)

Publication Number Publication Date
CN107408299A CN107408299A (zh) 2017-11-28
CN107408299B true CN107408299B (zh) 2020-10-30

Family

ID=58188947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680015511.8A Active CN107408299B (zh) 2015-08-31 2016-06-09 平面扫描视频记波影像的生成方法和服务器及存储介质

Country Status (6)

Country Link
US (1) US10600168B2 (zh)
EP (1) EP3345531B1 (zh)
JP (1) JP6538262B2 (zh)
KR (1) KR101717371B1 (zh)
CN (1) CN107408299B (zh)
WO (1) WO2017039124A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110074749B (zh) * 2019-03-05 2024-04-12 天津欧斯迪医疗科技有限公司 一种高速动态喉镜装置及其使用方法
CN115393243B (zh) * 2022-10-28 2023-02-24 北京开运联合信息技术集团股份有限公司 多聚焦图像的融合方法、装置和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990079315A (ko) * 1998-04-03 1999-11-05 박광석 성대 점막 운동 상태의 분석을 위한 비디오스트로보카이모그라피
EP1061474A1 (de) * 1999-06-17 2000-12-20 VAMP Verfahren und Apparate der Medizinischen Physik GmbH Computertomograph mit objektbezogener Bewegungsartefaktreduktion und Extraktion der Objektbewegungsinformation (Kymogramm)
CN1771517A (zh) * 2003-03-12 2006-05-10 西门子共同研究公司 实现虚拟内镜检查的系统和方法
CN101730499A (zh) * 2007-07-09 2010-06-09 尤米蒂科有限公司 使用语音信号的喉部频闪观测仪
KR20140115526A (ko) * 2013-03-21 2014-10-01 김태우 성대 점막 운동 상태의 분석을 위한 평면 스캔 비디오카이모그라피 시스템을 이용한 성대 점막 운동 상태의 분석방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2225188B (en) * 1988-11-16 1993-05-12 Olympus Optical Co Methods of detecting endoscope insertion direction
GB2388287B (en) * 2002-05-04 2005-06-15 Autodesk Canada Inc Processing image data
DE102004011147B3 (de) * 2004-03-08 2005-11-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildaufnahmevorrichtung mit mehreren Bildaufnahmemodi
US20060235693A1 (en) * 2005-04-19 2006-10-19 Incrys, Inc. High speed imaging system
JP3882088B1 (ja) * 2005-08-17 2007-02-14 国立大学法人 岡山大学 振動体観察装置、声帯観察装置及び声帯観察プログラム
EP1859727A1 (en) * 2006-05-26 2007-11-28 Stichting voor de Technische Wetenschappen optical triggering system for stroboscopy and a stroboscopic system
US8751918B2 (en) * 2007-04-17 2014-06-10 Earl Industries, Llc Digital system for organizing diverse information
US10332562B2 (en) * 2007-04-17 2019-06-25 Sirius-Beta Corporation System and method for space-time annotation-capable media scrubbing
CN101567048B (zh) * 2008-04-21 2012-06-06 夏普株式会社 图像辨别装置及图像检索装置
AU2014223163A1 (en) * 2013-02-28 2015-08-20 Olive Medical Corporation Videostroboscopy of vocal chords with CMOS sensors

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990079315A (ko) * 1998-04-03 1999-11-05 박광석 성대 점막 운동 상태의 분석을 위한 비디오스트로보카이모그라피
EP1061474A1 (de) * 1999-06-17 2000-12-20 VAMP Verfahren und Apparate der Medizinischen Physik GmbH Computertomograph mit objektbezogener Bewegungsartefaktreduktion und Extraktion der Objektbewegungsinformation (Kymogramm)
CN1771517A (zh) * 2003-03-12 2006-05-10 西门子共同研究公司 实现虚拟内镜检查的系统和方法
CN101730499A (zh) * 2007-07-09 2010-06-09 尤米蒂科有限公司 使用语音信号的喉部频闪观测仪
KR20140115526A (ko) * 2013-03-21 2014-10-01 김태우 성대 점막 운동 상태의 분석을 위한 평면 스캔 비디오카이모그라피 시스템을 이용한 성대 점막 운동 상태의 분석방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《Strip Kymography of the Glottis》;Volker Gall;《Archives of Oto-Rhino-Laryngolog》;19841231;287-293 *

Also Published As

Publication number Publication date
KR20170025956A (ko) 2017-03-08
JP2018508336A (ja) 2018-03-29
EP3345531A4 (en) 2019-05-01
US10600168B2 (en) 2020-03-24
EP3345531B1 (en) 2021-07-21
WO2017039124A1 (ko) 2017-03-09
EP3345531A1 (en) 2018-07-11
US20180061030A1 (en) 2018-03-01
KR101717371B1 (ko) 2017-03-16
CN107408299A (zh) 2017-11-28
JP6538262B2 (ja) 2019-07-03

Similar Documents

Publication Publication Date Title
CN106056562B (zh) 一种人脸图像处理方法、装置及电子设备
CN111275041B (zh) 内窥镜图像展示方法、装置、计算机设备及存储介质
US8854448B2 (en) Image processing apparatus, image display system, and image processing method and program
WO2019087790A1 (ja) 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム
US11298012B2 (en) Image processing device, endoscope system, image processing method, and program
US20150187063A1 (en) Medical device and method for operating the same
WO2020054543A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
CN107408299B (zh) 平面扫描视频记波影像的生成方法和服务器及存储介质
JP6118917B2 (ja) 声帯粘膜運動状態を分析するための平面スキャンビデオキモグラフィーシステム及びこれを利用した声帯粘膜運動状態の分析方法
US10888218B2 (en) Video laryngeal endoscope system including 2D scan video kymography and laryngeal stroboscopy
US11704794B2 (en) Filing device, filing method, and program
US20230007213A1 (en) Image recording system, image recording method, and recording medium
KR101908632B1 (ko) 실시간 후두스트로보스코피, 고속 후두내시경 검사, 및 평면 스캔 디지털 카이모그래피를 위한 영상 생성 시스템 및 방법
CN114049934B (zh) 辅助诊断方法、装置、系统、设备和介质
CN113744266B (zh) 一种病灶检测框的显示方法、装置、电子设备及存储介质
JPWO2019203006A1 (ja) 内視鏡装置、内視鏡プロセッサ装置及び内視鏡画像表示方法
JP2010110500A (ja) 撮像装置及び撮像方法
CN114269221A (zh) 医疗图像处理装置、内窥镜系统、医疗图像处理方法以及程序
JP2014003990A (ja) 内視鏡装置および内視鏡観察システム
WO2019116630A1 (ja) 内視鏡画像観察支援システム
Si et al. A video capture and processing system for laryngoscope diagnosis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant