JP2018508336A - リアルタイムまたは既保存された超高速喉頭内視鏡映像を利用した平面スキャンビデオキモグラフィー映像生成方法、これを遂行する平面スキャンビデオキモグラフィー映像生成サーバー、およびこれを保存する記録媒体 - Google Patents

Abstract

本発明は平面スキャンビデオキモグラフィー映像生成サーバーで遂行されるリアルタイムまたは既保存された超高速喉頭内視鏡映像を利用した平面スキャンビデオキモグラフィー映像生成方法において、（ａ）白黒またはカラーの超高速喉頭内視鏡映像を獲得する段階、（ｂ）前記超高速喉頭内視鏡映像から前記平面スキャンビデオキモグラフィー映像を生成するための対象領域および単位画素を設定する段階、（ｃ）前記対象領域に対して前記単位画素に応じて前記超高速喉頭内視鏡映像の各フレームの画素情報を抽出する段階、（ｄ）前記抽出された各フレームの画素情報を組み合わせて平面スキャンビデオキモグラフィー映像のフレームを生成する段階および（ｅ）前記平面スキャンビデオキモグラフィー映像のフレームを組み合わせて平面スキャンビデオキモグラフィー映像を生成する段階を含む。【選択図】図３

Description

本発明は超高速喉頭内視鏡映像を利用した平面スキャンビデオキモグラフィー映像生成技術に関するもので、より詳細には、超高速喉頭内視鏡映像から声帯粘膜の全域の動きを分析できる平面スキャンビデオキモグラフィー映像を生成して保存するかまたはディスプレイ装置に出力するリアルタイムまたは既保存された超高速喉頭内視鏡映像を利用した平面スキャンビデオキモグラフィー映像生成方法、これを遂行する平面スキャンビデオキモグラフィー映像生成サーバー、およびこれを保存する記録媒体に関するものである。

一般に、人体の声帯（ｖｏｃａｌ ｆｏｌｄ）は言語を通して意思を伝達するための発声器官であって、喉頭粘膜が呼吸に従って秒当たり約１００〜２５０回ほど速く振動をする。すなわち、下気道に吸入された空気は声門下区域（ｓｕｂ−ｇｌｏｔｔａｌ ａｒｅａ）で閉まっている声帯を圧迫し、その圧力が声帯の抵抗より大きくなると声帯の下椽（ｉｎｆｅｒｉｏｒ ｍａｒｇｉｎ）から上縁（ｓｕｐｅｒｉｏｒ ｍａｒｇｉｎ）に向かう粘膜波が形成されて声帯が開かれながら発声が始まる。また圧力が低下すると声帯が閉じられ、これを秒当たり１００回〜２５０回繰り返しながら音声が作り出される。

しかし、声帯結節、声門癌、声帯麻痺などがある場合、声門下部の効果的なエネルギー転換が不可能となるため、粘膜波の対称性が低下し、音声に異常が発生する。

したがって、声の異常を診察する時、声帯粘膜の運動状態を把握することは必ず必要であり、このためにストロボスコープ（ｓｔｒｏｂｏｓｃｏｐｅ）技術を利用して声帯粘膜の運動状態を把握する方法が開発された。現在はストロボスコープ技術を利用して秒当たり１００〜２５０回の速い動きを遅い動作で観察できる喉頭ビデオストロボスコピー（ｖｉｄｅｏｓｔｒｏｂｏｓｃｏｐｙ）を利用する方法が最も広く利用されている。しかし、喉頭ビデオストロボスコピー映像は実際の正確な声帯の振動を見せてくれるのではなく、秒当たり２０〜３０フレーム程度で撮影された複数周期の声帯振動映像のうち一部のフレーム映像を組み合わせて一つの周期にして声帯の動きを遅く見えるようにした映像である。そして、喉頭ビデオストロボスコピー映像は、５秒以上の持続的な発声が不可能な場合や不規則的な発声の場合には、正確な声帯の動きを映像で獲得することができないという短所がある。

このような喉頭ビデオストロボスコープの短所を克服するために多くの研究が進行されており、Ｈｉｒｏｓｅなどが紹介した超高速デジタルビデオシステム（ｈｉｇｈ ｓｐｅｅｄ ｄｉｇｉｔａｌ ｖｉｄｅｏ ｓｙｓｔｅｍ）は声帯の振動を秒当たり２、０００フレーム以上撮影して実際の声帯振動評価の診断道具として使われている。

そして、この超高速カメラから獲得した映像を後処理（ｐｏｓｔ ｐｒｏｃｅｓｓｉｎｇ）してビデオキモグラフィー映像を生成し、両方の声帯振動の様子を比較、観察して粘膜の運動状態を分析する方法が開発された。しかし、これまで開発されたビデオキモグラフィー映像は一つのラインまたはマルチラインに対するキモグラム（Ｋｙｍｏｇｒａｍ）しか得ることができず、このキモグラム（Ｋｙｍｏｇｒａｍ）は全体の声帯粘膜の運動状態を観察することができないという問題点がある。

最近、Ｗａｎｇなどは１９７１年Ｇａｌｌなどの喉頭フォトキモグラフィー原理を利用して声帯全体の振動を観察できるシステムを考案し、声帯全域の振動状態をリアルタイムで検査できる平面スキャンビデオキモグラフィー（平面 ｓｃａｎｎｉｎｇ ｖｉｄｅｏｋｙｍｏｇｒａｐｈｙ；２Ｄ ＶＫＧ）を開発した。２Ｄ ＶＫＧは患者の動きなどによる歪みを避けることができ、同時に両方の声帯全域の振動の様子を比較、観察することによって、粘膜の運動状態を分析することが可能である。

（非特許文献１）Ｒ．Ｒ．Ｃａｓｉａｎｏ、Ｖ．Ｚａｖｅｒｉ、ａｎｄ Ｄ．Ｓ．Ｌｕｎｄｙ、「Ｅｆｆｉｃａｃｙ ｏｆ ｖｉｄｅｏｓｔｒｏｂｏｓｃｏｐｙ ｉｎ ｔｈｅ ｄｉａｇｎｏｓｉｓ ｏｆ ｖｏｉｃｅ ｄｉｓｏｒｄｅｒｓ」、Ｏｔｏｌａｒｙｎｇｏｌ．Ｈｅａｄ．Ｎｅｃｋ．Ｓｕｒｇ．、ｖｏｌ．１０７、ｐｐ．９５−１００、１９９２．
（非特許文献２）Ｈ．Ｈｉｒｏｓｅ、「Ｈｉｇｈ−ｓｐｅｅｄ ｄｉｇｉｔａｌ ｉｍａｇｉｎｇ ｏｆ ｖｏｃａｌ ｆｏｌｄ ｖｉｂｒａｔｉｏｎ」、Ａｃｔａ Ｏｔｏｌａｒｙｎｇｏｌ．Ｓｕｐｐｌ．、ｖｏｌ ４５８、ｐｐ．１５１−１５３、１９８８．
（非特許文献３）Ｊ．Ｇ．Ｓｖｅｃ ａｎｄ Ｈ．Ｋ．Ｓｃｈｕｔｔｅ、「Ｋｙｍｏｇｒａｐｈｉｃ ｉｍａｇｉｎｇ ｏｆ ｌａｒｙｎｇｅａｌ ｖｉｂｒａｔｉｏｎｓ」、Ｃｕｒｒｅｎｔ Ｏｐｉｎｉｏｎ Ｏｔｏｌａｒｙｎｇｏｌｏｇｙ Ｈｅａｄ ａｎｄ Ｎｅｃｋ Ｓｕｒｇｅｒｙ．、ｖｏｌ．２０、ｐｐ．４５８−４６５、２０１２．
（非特許文献４）Ｔ．Ｗｉｔｔｅｎｂｅｒｇ、Ｍ．Ｔｉｇｇｅｓ、Ｐ．Ｍｅｒｇｅｌｌ、ａｎｄ Ｕ．Ｅｙｓｈｏｌｄｔ、「Ｆｕｎｃｔｉｏｎａｌ ｉｍａｇｉｎｇ ｏｆ ｖｏｃａｌ ｆｏｌｄ ｖｉｂｒａｔｉｏｎ：ｄｉｇｉｔａｌ ｍｕｌｔｉｓｌｉｃｅ ｈｉｇｈ−ｓｐｅｅｄ ｋｙｍｏｇｒａｐｈｙ」、Ｊｏｕｒｎａｌ ｏｆ Ｖｏｉｃｅ、ｖｏｌ．１４、ｎｏ．３、ｐｐ．４２２−４４２、２０００．
（非特許文献５）Ｍ．Ｗ．Ｓｕｎｇ、Ｋ．Ｈ．Ｋｉｍ、Ｔ．Ｙ．Ｋｏｈ、Ｔ．Ｙ．Ｋｗｏｎ、Ｊ．Ｈ．Ｍｏ、Ｓ．Ｈ．Ｃｈｏｉ、Ｊ．Ｓ．Ｌｅｅ、Ｋ．Ｓ．Ｐａｒｋ、Ｅ．Ｊ．Ｋｉｍ、ａｎｄ Ｍ．Ｙ．Ｓｕｎｇ、「Ｖｉｄｅｏｓｔｒｏｂｏｋｙｍｏｇｒａｐｈｙ：ａ ｎｅｗ ｍｅｔｈｏｄ ｆｏｒ ｔｈｅ ｑｕａｎｔｉｔａｔｉｖｅ ａｎａｌｙｓｉｓ ｏｆ ｖｏｃａｌ ｆｏｌｄ ｖｉｂｒａｔｉｏｎ」、Ｌａｒｙｎｇｏｓｃｏｐｅ、ｖｏｌ．１０９、ｎｏ．１１、ｐｐ．１８５９−６３、１９９９．
（非特許文献６）Ｖ．Ｇａｌｌ、「Ｓｔｒｉｐ ｋｙｍｏｇｒａｐｈｙ ｏｆ ｔｈｅ ｇｌｏｔｔｉｓ」、Ａｒｃｈ．Ｏｔｏｒｈｉｎｏｌａｒｙｎｇｏｌ．、ｖｏｌ．２４０、ｎｏ．３、ｐｐ．２８７−２９３、１９８４．
（非特許文献７）Ｑ．Ｑｉｕ ａｎｄ Ｈ．Ｋ．Ｓｃｈｕｔｔｅ、「Ｒｅａｌ−ｔｉｍｅ ｋｙｍｏｇｒａｐｈｉｃ ｉｍａｇｉｎｇ ｆｏｒ ｖｉｓｕａｌｉｚｉｎｇ ｈｕｍａｎ ｖｏｃａｌ−ｆｏｌｄ ｖｉｂｒａｔｏｒｙ ｆｕｎｃｔｉｏｎ」、Ｒｅｖ．Ｓｃｉ．Ｉｎｓｔｒｕｍ．、ｖｏｌ．７８、ｎｏ．２、ｐｐ．１−６、２００７．
（非特許文献８）Ｓ．Ｇ．Ｗａｎｇ、Ｂ．Ｊ．Ｌｅｅ、Ｊ．Ｃ．Ｌｅｅ、Ｙ．Ｓ．Ｌｉｍ、Ｙ．Ｍ．Ｐａｒｋ、Ｈ．Ｊ．Ｐａｒｋ、Ｊ．Ｈ．Ｒｏｈ、Ｇ．Ｒ．Ｊｅｏｎ、Ｓ．Ｂ．Ｋｗｏｎ、ａｎｄ Ｂ．Ｊ．Ｓｈｉｎ、「Ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ Ｔｗｏ−Ｄｉｍｅｎｓｉｏｎａｌ Ｓｃａｎｎｉｎｇ Ｖｉｄｅｏｋｙｍｏｇｒａｐｈｙ ｆｏｒ ａｎａｌｙｓｉｓ ｏｆ Ｖｏｃａｌ Ｆｏｌｄ Ｖｉｂｒａｔｉｏｎ」、Ｋｏｒｅａｎ Ｓｏｃ．Ｌａｒｙｎｇｏｌ．Ｐｈｏｎｉａｔｒ．Ｌｏｇｏｐ．、ｖｏｌ．２４、ｎｏ．２、ｐｐ．１０７−１１１、２０１３．

本発明の目的は、超高速喉頭内視鏡映像から一つのラインまたはマルチラインに対するキモグラム（Ｋｙｍｏｇｒａｍ）しか得ることができない問題点に鑑み、超高速カメラからリアルタイムで伝送される喉頭全域の映像をリアルタイムで平面スキャンビデオキモグラフィー映像に生成するか、または既保存された超高速喉頭内視鏡映像を後処理して平面スキャンビデオキモグラフィー映像を生成して保存するかまたはディスプレイ装置に出力する平面スキャンビデオキモグラフィー映像生成方法を提供することにある。

前記目的を達成するための本発明の第１側面は、平面スキャンビデオキモグラフィー映像生成サーバーで遂行されるリアルタイムまたは既保存された超高速喉頭内視鏡映像を利用した平面スキャンビデオキモグラフィー映像生成方法であって、（ａ）白黒またはカラーの超高速喉頭内視鏡映像を獲得する段階、（ｂ）前記超高速喉頭内視鏡映像から前記平面スキャンビデオキモグラフィー映像を生成するための対象領域および単位画素を設定する段階、（ｃ）前記対象領域に対して前記単位画素に応じて前記超高速喉頭内視鏡映像の各フレームの画素情報を抽出する段階、（ｄ）前記抽出された各フレームの画素情報を組み合わせて平面スキャンビデオキモグラフィー映像のフレームを生成する段階、および（ｅ）前記平面スキャンビデオキモグラフィー映像のフレームを組み合わせて平面スキャンビデオキモグラフィー映像を生成する段階を含む。

好ましくは、前記（ａ）段階は、前記平面スキャンビデオキモグラフィー映像生成サーバーと連結された超高速カメラから超高速喉頭内視鏡映像をリアルタイムで受信するか、または前記平面スキャンビデオキモグラフィー映像生成サーバーに既保存された超高速喉頭内視鏡映像をロードする段階を含むことができる。

好ましくは、前記（ｃ）段階は、前記超高速喉頭内視鏡映像のフレームのうち特定フレームの画素情報を抽出した後、前記特定フレームの次のフレームで前記画素情報を抽出した位置の次の位置を画素情報抽出位置に決定する段階を含むことができる。

好ましくは、前記（ｄ）段階は、前記抽出された各フレームの画素情報を、前記抽出された画素情報の抽出位置によって、前記平面スキャンビデオキモグラフィー映像のフレームで対応する位置の画素情報に設定する段階を含むことができる。

好ましくは、前記（ｄ）段階は、前記生成された平面スキャンビデオキモグラフィー映像のフレームの明るさ、彩度、ブラーリング、鮮明度、または回転を補正する段階をさらに含むことができる。

好ましくは、前記（ｅ）段階は、前記平面スキャンビデオキモグラフィー映像を保存するかまたは前記平面スキャンビデオキモグラフィー映像生成サーバーと連結されたディスプレイ装置に出力する段階をさらに含むことができる。

好ましくは、前記単位画素は前記対象領域の所定画素ラインまたは画素ラインを構成する少なくとも一つの所定画素に該当し得る。

前記目的を達成するための本発明の第２側面は、平面スキャンビデオキモグラフィー映像生成サーバーであって、白黒またはカラーの超高速喉頭内視鏡映像を獲得する獲得部、前記超高速喉頭内視鏡映像から前記平面スキャンビデオキモグラフィー映像を生成するための対象領域および単位画素を設定する設定部、前記対象領域に対して前記単位画素に応じて前記超高速喉頭内視鏡映像の各フレームの画素情報を抽出する抽出部、前記抽出された各フレームの画素情報を組み合わせて平面スキャンビデオキモグラフィー映像のフレームを生成するフレーム生成部、および前記平面スキャンビデオキモグラフィー映像のフレームを組み合わせて平面スキャンビデオキモグラフィー映像を生成する映像生成部を含む。

好ましくは、前記獲得部は、前記平面スキャンビデオキモグラフィー映像生成サーバーと連結された超高速カメラから超高速喉頭内視鏡映像をリアルタイムで受信するか、または前記平面スキャンビデオキモグラフィー映像生成サーバーに既保存された超高速喉頭内視鏡映像をロードすることができる。

好ましくは、前記抽出部は、前記超高速喉頭内視鏡映像のフレームのうち特定フレームの画素情報を抽出した後、前記特定フレームの次のフレームで前記画素情報を抽出した位置の次の位置を画素情報抽出位置に決定することができる。

好ましくは、前記フレーム生成部は、前記抽出された各フレームの画素情報を、前記抽出された画素情報の抽出位置によって、前記平面スキャンビデオキモグラフィー映像のフレームで対応する位置の画素情報に設定することができる。

好ましくは、前記フレーム生成部は、前記生成された平面スキャンビデオキモグラフィー映像のフレームの明るさ、彩度、ブラーリング、鮮明度、または回転を補正することができる。

好ましくは、前記映像生成部は、前記平面スキャンビデオキモグラフィー映像を保存するかまたは前記平面スキャンビデオキモグラフィー映像生成サーバーと連結されたディスプレイ装置に出力することができる。

前記した通り、本発明によれば、超高速喉頭内視鏡映像から一つのラインまたはマルチラインに対するキモグラム（Ｋｙｍｏｇｒａｍ）しか得ることができない問題点を解決し、喉頭全域の映像をリアルタイムで平面スキャンビデオキモグラフィー映像で生成して保存するかまたはディスプレイ装置に出力できる効果がある。

特に、超高速喉頭内視鏡映像をリアルタイムで平面スキャンビデオキモグラフィー映像に変換して超高速喉頭内視鏡映像と平面スキャンビデオキモグラフィーの両方の映像を一つの画面またはそれぞれのディスプレイ装置に出力して同時に比較分析できる効果がある。

また、一つの超高速内視鏡カメラの撮影映像を利用して平面スキャンビデオキモグラフィー映像を生成できる効果がある。

本発明の好ましい実施例に係る平面スキャンビデオキモグラフィー映像生成システムに対するブロック図。 図１の平面スキャンビデオキモグラフィー映像生成サーバーに対するブロック図。 図１の平面スキャンビデオキモグラフィー映像生成システムで遂行される平面スキャンビデオキモグラフィー映像生成方法に対するフローチャート。 平面スキャンビデオキモグラフィー映像を生成するための対象領域を設定する方法の例示図。 単位画素が画素ラインである場合の各フレームの画素情報を抽出する方法および抽出した画素情報を組み合わせる方法の例示図。 単位画素が所定画素である場合の各フレームの画素情報を抽出する方法および抽出した画素情報を組み合わせる方法の例示図。 単位画素が１個の画素ラインである場合の生成された平面スキャンビデオキモグラフィー映像の変化に対する例示図。 単位画素が２個の画素ラインである場合の生成された平面スキャンビデオキモグラフィー映像の変化に対する例示図。 単位画素が３個の画素ラインである場合の生成された平面スキャンビデオキモグラフィー映像の変化に対する例示図。 単位画素が４個の画素ラインである場合の生成された平面スキャンビデオキモグラフィー映像の変化に対する例示図。 超高速喉頭内視鏡映像と生成された平面スキャンビデオキモグラフィー映像が出力された例示図。 生成された多数の平面スキャンビデオキモグラフィー映像が一つの画面に同時に出力された例示図。

以下、本発明の利点および特徴、そしてそれらを達成する方法は、添付される図面とともに詳細に後述されている実施例を参照すれば明確となるであろう。しかし、本発明は以下で開示される実施例に限定されるものではなく、互いに異なる多様な形態で具現され得、本実施例は本発明の開示を完全にし、本発明が属する技術分野で通常の知識を有した者に発明の範疇を完全に知らせるために提供されるものに過ぎず、本発明は請求項の範疇によってのみ定義される。明細書の全体にわたって同一の参照符号は同一の構成要素を指し示す。「および／または」は言及された各アイテムのそれぞれおよび一つ以上のすべての組合を含む。

第１、第２などは、多様な素子、構成要素および／またはセクションを説明するために使われるが、これら素子、構成要素および／またはセクションはこれらの用語によって制限されないことはいうまでもない。これらの用語は、単に一つの素子、構成要素またはセクションを他の素子、構成要素またはセクションらと区別するために使うものである。したがって、以下で言及される第１素子、第１構成要素または第１セクションは、本発明の技術的思想内で第２素子、第２構成要素または第２セクションであり得ることもいうまでもない。

また、各段階において、識別符号（例えば、ａ、ｂ、ｃなど）は説明の便宜のために使われるものであって、識別符号は各段階の順序を説明するものではなく、各段階は文脈上明白に特定順序を記載していない限り、明記された順序と異なって遂行され得る。すなわち、各段階は明記された順序と同一に遂行することもでき、実質的に同時に遂行することもでき、逆順で遂行することもできる。

本明細書で使われた用語は実施例を説明するためのものであって、本発明を制限しようとするものではない。本明細書で、単数型は特に言及しない限り複数型も含む。明細書で使われる、「含む（ｃｏｍｐｒｉｓｅｓ）」および／または「含む（ｃｏｍｐｒｉｓｉｎｇ）」は言及された構成要素、段階、動作および／または素子は一つ以上の他の構成要素、段階、動作および／または素子の存在または追加を排除しない。

特に定義しない限り、本明細書で使われるすべての用語（技術および科学的用語を含む）は、本発明が属する技術分野で通常の知識を有した者に共通して理解できる意味として使われ得る。また、一般的に使われる、辞書に定義されている用語は特に定義されていない限り、理想的または過度に解釈されない。

また、本発明の実施例を説明するにおいて、公知の機能または構成に対する具体的な説明が本発明の要旨を不要に曖昧にする恐れがあると判断される場合には、その詳細な説明を省略する。そして、後述される各用語は本発明の実施例での機能を考慮して定義された用語であって、これは使用者、運用者の意図または慣例などによって変わり得る。したがって、その定義は本明細書の全般にわたった内容に基づいて下されるべきである。

図１は本発明の好ましい実施例に係る平面スキャンビデオキモグラフィー映像生成システムに対するブロック図である。

図１を参照すれば、平面スキャンビデオキモグラフィー映像生成システム１００は、超高速カメラ１１０、平面スキャンビデオキモグラフィー映像生成サーバー１２０、およびディスプレイ装置１３０を含み、ここで、外部保存装置１４０をさらに含むことができる。

超高速カメラ１１０は、喉頭内視鏡映像を撮影し、撮影された喉頭内視鏡映像を平面スキャンビデオキモグラフィー映像生成サーバー１２０に提供するか、または図面に図示されてはいないが、平面スキャンビデオキモグラフィー映像生成サーバー１２０の外部または内部に具備された別途の映像獲得装置に提供することができる。

平面スキャンビデオキモグラフィー映像生成サーバー１２０は、超高速カメラ１１０、ディスプレイ装置１３０、または外部保存装置１４０と連結されて平面スキャンビデオキモグラフィー映像生成方法を遂行できる装置である。好ましくは、平面スキャンビデオキモグラフィー映像生成サーバー１２０は、超高速カメラ１１０から提供された喉頭内視鏡映像、または外部保存装置１４０または平面スキャンビデオキモグラフィー映像生成サーバー１２０内部に具備された内部保存装置に既保存されている超高速喉頭内視鏡映像を利用して、平面スキャンビデオキモグラフィー映像を生成し、生成された平面スキャンビデオキモグラフィー映像をディスプレイ装置１３０に出力することができる。

ディスプレイ装置１３０は平面スキャンビデオキモグラフィー映像生成サーバー１２０で生成された平面スキャンビデオキモグラフィー映像および超高速喉頭内視鏡映像を視覚的に出力できる装置であり、外部保存装置１４０は平面スキャンビデオキモグラフィー映像生成サーバー１２０の外部に別途具備されて平面スキャンビデオキモグラフィー映像生成サーバー１２０から生成された平面スキャンビデオキモグラフィー映像または超高速カメラ１１０によって撮影された超高速喉頭内視鏡映像を保存して管理できる装置である。

図２は、図１の平面スキャンビデオキモグラフィー映像生成サーバーに対するブロック図である。

図２を参照すれば、平面スキャンビデオキモグラフィー映像生成サーバー１２０は、獲得部２１０、設定部２２０、抽出部２３０、フレーム生成部２４０、映像生成部２５０、および制御部２６０を含む。以下では図４〜図６を参照して説明する。

獲得部２１０は、白黒またはカラーの超高速喉頭内視鏡映像を獲得する。好ましくは、獲得部２１０は、平面スキャンビデオキモグラフィー映像生成サーバー１２０と連結された超高速カメラ１１０から超高速喉頭内視鏡映像をリアルタイムで受信することができる。より具体的には、獲得部２１０は超高速カメラ１１０からリアルタイムで撮影される超高速喉頭内視鏡アナログ映像を平面スキャンビデオキモグラフィー映像生成サーバー１２０の内部または外部に具備されたビデオキャプチャーボード（ｖｉｄｅｏ ｃａｐｔｕｒｅ ｂｏａｒｄ）などの映像獲得装置を通じて超高速喉頭内視鏡デジタル映像データに変換してリアルタイムで獲得することができる。

また、獲得部２１０は、平面スキャンビデオキモグラフィー映像生成サーバー１２０の内部保存装置または外部保存装置１４０に既保存された超高速喉頭内視鏡映像をロードすることができる。

この時、獲得部２１０を通じて獲得される超高速喉頭内視鏡映像は白黒であるか、または声帯の穴と、腫瘍のような気質的所見評価のために弁別力を向上できるカラー映像であり得る。

設定部２２０は、超高速喉頭内視鏡映像から平面スキャンビデオキモグラフィー映像を生成するための対象領域および単位画素を設定する。ここで、対象領域は、超高速喉頭内視鏡映像でいずれの部分を平面スキャンビデオキモグラフィー映像で生成するかに対する領域であり、単位画素は対象領域の所定画素ラインまたは画素ラインを構成する少なくとも一つの所定画素に該当するものであって、超高速喉頭内視鏡映像の各フレームことに画素情報を抽出する基準となる単位である。また、設定部２２０は、生成する平面スキャンビデオキモグラフィー映像のフォーマット情報、例えば、フレーム率（ｆｒａｍｅ ｒａｔｅ）などを設定することができる。

例えば、図４を参照すれば、獲得部２１０を通じて獲得された超高速喉頭内視鏡映像は内視鏡のせいで外郭部分がほとんど黒色であり、声帯の映像情報とは関係のない領域が存在し、内視鏡検査の時に声帯以外の領域は振動しないため、図４のバウンディングボックス４１０を通じて不要な領域は除いて平面スキャンビデオキモグラフィー映像を生成する対象領域を設定することができる。また、対象領域の設定を通じて、平面スキャンビデオキモグラフィー映像生成時のデータ保存空間を節減でき、映像の処理速度を向上することができる。

抽出部２３０は対象領域に対して単位画素によって超高速喉頭内視鏡映像の各フレームの画素情報を抽出する。好ましくは、抽出部２３０は超高速喉頭内視鏡映像の一番目のフレームから、設定部２２０で設定した単位画素の分だけ毎フレームごとに画素情報を抽出することができる。

また、抽出部２３０は超高速喉頭内視鏡映像のフレームのうち特定フレームの画素情報を抽出した後、画素情報を抽出した位置の次の位置を、特定フレームの次のフレームで画素情報を抽出する画素情報抽出位置に決定することができる。すなわち、画素情報抽出位置は以前のフレームで抽出した画素位置の次の位置に決定され、画素情報抽出位置の移動は、左から右、右から左、上から下、および下から上のうち一つに決定されて、すべてのフレームで一定の方向に移動される。

例えば、図５を参照すれば、設定部２２０を通じて対象領域５１０が設定され、単位画素にして１個の画素ラインが設定され、画素情報抽出位置の変更が上から下に設定された場合には、抽出部２３０を通じて、（Ａ）のように一番目のフレームの対象領域５１０で第１画素情報５２１が抽出され、２番目のフレームで第１画素情報５２１が抽出された位置の次の位置、すなわち、下方に画素情報抽出位置を移動して（Ｂ）のように第２画素情報５２２が抽出され、３番目のフレームで第２画素情報５２２が抽出された位置から下方に画素情報抽出位置を移動して（Ｃ）のように第３画素情報５２３が抽出され得、以後のすべてのフレームに対して同じ方法で画素ラインの画素情報が抽出され得る。

他の例として、図６を参照すれば、設定部２２０を通じて対象領域６１０が設定され、単位画素にして所定画素が設定され、画素情報抽出位置の変更が左から右に設定された場合には、抽出部２３０を通じて、（Ａ）のように一番目のフレームの対象領域６１０で第１画素情報６２１が抽出され、２番目のフレームで第１画素情報６２１が抽出された位置の次の位置、すなわち、右側に画素情報抽出位置を移動して（Ｂ）のように第２画素情報６２２が抽出され、３番目のフレームで第２画素情報５２２が抽出された位置から右側方向に画素情報抽出位置を移動して（Ｃ）のように第３画素情報６２３が抽出され得、以後のすべてのフレームに対して同じ方法で所定画素の画素情報が抽出され得る。

フレーム生成部２４０は抽出された各フレームの画素情報を組み合わせて平面スキャンビデオキモグラフィー映像のフレームを生成する。より具体的には、フレーム生成部２４０は超高速喉頭内視鏡映像の抽出された各フレームの画素情報を、画素情報を抽出した画素情報抽出位置によって、平面スキャンビデオキモグラフィー映像のフレームで対応する画素位置の画素情報に設定することができる。

例えば、図５を参照すれば、一番目のフレーム〜３番目のフレームで抽出された第１画素情報５２１〜第３画素情報５３１を組み合わせて（Ｄ）のように平面スキャンビデオキモグラフィー映像のフレームを生成することができる。より具体的には、平面スキャンビデオキモグラフィー映像のフレームで、第１画素情報５２１の画素抽出位置に対応する位置には第１画素情報が設定され、第２画素情報の画素抽出位置に対応する位置には第２画素情報が設定され、第３画素情報の画素抽出位置に対応する位置には第３画素情報が設定されることを通じて、平面スキャンビデオキモグラフィー映像を構成する各フレームを生成することができる。

他の例として、図６を参照すれば、一番目のフレーム〜３番目のフレームで抽出された第１画素情報６２１〜第３画素情報６３１を組み合わせて（Ｄ）のように平面スキャンビデオキモグラフィー映像のフレームを生成することができる。より具体的には、平面スキャンビデオキモグラフィー映像のフレームで、第１画素情報６２１の画素抽出位置に対応する位置には第１画素情報が設定され、第２画素情報の画素抽出位置に対応する位置には第２画素情報が設定され、第３画素情報の画素抽出位置に対応する位置には第３画素情報が設定されることを通じて、平面スキャンビデオキモグラフィー映像を構成する各フレームを生成することができる。

好ましくは、抽出部２３０を通じて超高速喉頭内視鏡映像のフレームで最後の所定画素ラインまたは最後の所定画素が抽出され、フレーム生成部２４０が平面スキャンビデオキモグラフィー映像の一つのフレームを組み合わせた場合、抽出部２３０は超高速喉頭内視鏡映像の次のフレームでは最初の位置から、すなわち、一番目のフレームで画素情報を抽出した位置に対応する位置から前記の画素情報抽出過程を同じ方法で遂行し、フレーム生成部２４０は抽出された画素情報に基づいて前記と同じ方法で平面スキャンビデオキモグラフィー映像のフレームを組み合わせることができる。すなわち、すべての超高速喉頭内視鏡映像のフレームを対象に前記の画素情報抽出過程を遂行して平面スキャンビデオキモグラフィー映像のフレームを生成することができる。

一実施例において、フレーム生成部２４０は生成された平面スキャンビデオキモグラフィー映像のフレームの明るさ、彩度、ブラーリング（ｂｌｕｒｒｉｎｇ）、鮮明度、または回転を補正することができる。より具体的には、所定画素ラインまたは所定画素の数が多い場合、画素情報を組み合わせて平面スキャンビデオキモグラフィー映像のフレームを生成すると、組合わせられた画素ラインまたは画素の境界部分で急激な色相の変化が発生する可能性があるため、組合わせられた画素情報の境界部分の急激な色相の変化を補完するために、各フレームの明るさ、彩度、ブラーリング、鮮明度、回転などの映像処理を遂行することができる。

映像生成部２５０はフレーム生成部２４０を通じて生成された平面スキャンビデオキモグラフィー映像のフレームを組み合わせて平面スキャンビデオキモグラフィー映像を生成する。

また、映像生成部２５０は生成された平面スキャンビデオキモグラフィー映像を保存するか、または平面スキャンビデオキモグラフィー映像生成サーバー１２０と連結されたディスプレイ装置１３０に出力することができる。より具体的には、生成された平面スキャンビデオキモグラフィー映像は平面スキャンビデオキモグラフィー映像生成サーバー１２０内部に具備された内部保存装置または外部保存装置１４０に保存され得る。

制御部２６０は獲得部２１０、設定部２２０、抽出部２３０、フレーム生成部２４０、および映像生成部２５０の動作およびデータの流れを制御する。

図３は、図１の平面スキャンビデオキモグラフィー映像生成システムで遂行される平面スキャンビデオキモグラフィー映像生成方法に対するフローチャートである。以下では、図７〜図１２を参照して説明する。

獲得部２１０は超高速喉頭内視鏡映像を獲得する（段階Ｓ３１０）。好ましくは、獲得部２１０は超高速カメラ１１０から撮影される超高速喉頭内視鏡映像をリアルタイムで提供受けるかまたは既保存された超高速喉頭内視鏡映像をロードして獲得することができる。

設定部２２０は平面スキャンビデオキモグラフィー映像を生成するための対象領域および単位画素を設定する（段階Ｓ３２０）。すなわち、設定部２２０は超高速喉頭内視鏡映像でいずれの部分を平面スキャンビデオキモグラフィー映像で生成するかに対する対象領域を設定し、超高速喉頭内視鏡映像を構成するそれぞれのフレームでいかなる単位で画素を抽出するかの可否を設定する。

抽出部２３０は対象領域に対して、単位画素に応じて超高速喉頭内視鏡映像を構成する各フレームの画素情報を抽出する（段階Ｓ３３０）。より具体的には、抽出部２３０は超高速喉頭内視鏡映像を構成するすべてのフレームに対して順次的に毎フレームごとに単位画素に対する画素情報を抽出する。

フレーム生成部２４０は抽出された各フレームの画素情報を組み合わせて平面スキャンビデオキモグラフィー映像のフレームを生成する（段階Ｓ３４０）。好ましくは、獲得部２１０を通じて獲得された超高速喉頭内視鏡映像のすべてのフレームに対して抽出部２３０は画素情報を抽出することができ、フレーム生成部２４０は抽出された画素情報を組み合わせて平面スキャンビデオキモグラフィー映像を構成するフレームを生成することができる。

映像生成部２５０は平面スキャンビデオキモグラフィー映像のフレームを組み合わせて平面スキャンビデオキモグラフィー映像を生成する（段階Ｓ３５０）。例えば、映像生成部２５０は、図７を参照すれば、１個の画素ラインを単位画素にして生成されたフレームを組み合わせて平面スキャンビデオキモグラフィー映像を生成することができ、図８を参照すれば、２個の画素ラインを単位画素にして生成されたフレームを組み合わせて平面スキャンビデオキモグラフィー映像を生成することができ、図９を参照すれば、３個の画素ラインを単位画素にして生成されたフレームを組み合わせて平面スキャンビデオキモグラフィー映像を生成することができ、図１０を参照すれば、４個の画素ラインを単位画素にして生成されたフレームを組み合わせて平面スキャンビデオキモグラフィー映像を生成することができる。

また、映像生成部２５０は生成された映像を保存するかディスプレイ装置１３０を通じて出力することができる。例えば、図１１のように、超高速喉頭内視鏡映像と、これを利用して生成された平面スキャンビデオキモグラフィー映像と、をディスプレイ装置１３０に同時に出力して容易に比較できるようにすることができ、図１２のように単位画素を１個の画素ライン、２個の画素ライン、３個の画素ライン、および４個の画素ラインにして生成されたそれぞれの平面スキャンビデオキモグラフィー映像をディスプレイ装置１３０の一つの画面に同時に出力して比較できるようにすることができる。

一方、本発明の一実施例に係る平面スキャンビデオキモグラフィー映像生成方法は、コンピュータ可読記録媒体にコンピュータ可読コードで具現することが可能である。コンピュータ可読記録媒体はコンピュータシステムによって読み込みできるデータが保存されるすべての種類の記録装置を含む。

例えば、コンピュータ可読記録媒体としては、ロム（ＲＯＭ）、ラム（ＲＡＭ）、ＣＤ−ロム（ＣＤ−ＲＯＭ）、磁気テープ、ハードディスク、フロッピーディスク、移動式保存装置、非揮発性メモリー（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、光データ保存装置などがある。

また、コンピュータ可読記録媒体はコンピュータ通信網に連結されたコンピュータシステムに分散されて、分散方式で読み込みできるコードで保存されて実行され得る。

前述した本発明に係るリアルタイムまたは既保存された超高速喉頭内視鏡映像を利用した平面スキャンビデオキモグラフィー映像生成方法、これを遂行する平面スキャンビデオキモグラフィー映像生成サーバー、およびこれを保存する記録媒体に対する好ましい実施例に対して説明したが、本発明はこれに限定されず、特許請求の範囲と発明の詳細な説明および添付した図面の範囲内で多様に変形して実施することが可能であり、これもまた本発明に属する。

Claims (14)

1. 平面スキャンビデオキモグラフィー映像生成サーバーで遂行されるリアルタイムまたは既保存された超高速喉頭内視鏡映像を利用した平面スキャンビデオキモグラフィー映像生成方法において、
   （ａ）白黒またはカラーの超高速喉頭内視鏡映像を獲得する段階；
   （ｂ）前記超高速喉頭内視鏡映像から前記平面スキャンビデオキモグラフィー映像を生成するための対象領域および単位画素を設定する段階；
   （ｃ）前記対象領域に対して前記単位画素に応じて前記超高速喉頭内視鏡映像の各フレームの画素情報を抽出する段階；
   （ｄ）前記抽出された各フレームの画素情報を組み合わせて平面スキャンビデオキモグラフィー映像のフレームを生成する段階；および
   （ｅ）前記平面スキャンビデオキモグラフィー映像のフレームを組み合わせて平面スキャンビデオキモグラフィー映像を生成する段階を含む、平面スキャンビデオキモグラフィー映像生成方法。
2. 前記（ａ）段階は、
   前記平面スキャンビデオキモグラフィー映像生成サーバーと連結された超高速カメラから超高速喉頭内視鏡映像をリアルタイムで受信するか、または前記平面スキャンビデオキモグラフィー映像生成サーバーに既保存された超高速喉頭内視鏡映像をロードする段階を含むことを特徴とする、請求項１に記載の平面スキャンビデオキモグラフィー映像生成方法。
3. 前記（ｃ）段階は、
   前記超高速喉頭内視鏡映像のフレームのうち特定フレームの画素情報を抽出した後、前記特定フレームの次のフレームで前記画素情報を抽出した位置の次の位置を画素情報抽出位置に決定する段階を含むことを特徴とする、請求項１に記載の平面スキャンビデオキモグラフィー映像生成方法。
4. 前記（ｄ）段階は、
   前記抽出された各フレームの画素情報を、前記抽出された画素情報の抽出位置によって、前記平面スキャンビデオキモグラフィー映像のフレームで対応する位置の画素情報に設定する段階を含むことを特徴とする、請求項１に記載の平面スキャンビデオキモグラフィー映像生成方法。
5. 前記（ｄ）段階は、
   前記生成された平面スキャンビデオキモグラフィー映像のフレームの明るさ、彩度、ブラーリング、鮮明度、または回転を補正する段階をさらに含むことを特徴とする、請求項１に記載の平面スキャンビデオキモグラフィー映像生成方法。
6. 前記（ｅ）段階は、
   前記平面スキャンビデオキモグラフィー映像を保存するかまたは前記平面スキャンビデオキモグラフィー映像生成サーバーと連結されたディスプレイ装置に出力する段階をさらに含むことを特徴とする、請求項１に記載の平面スキャンビデオキモグラフィー映像生成方法。
7. 前記単位画素は
   前記対象領域の所定画素ラインまたは画素ラインを構成する少なくとも一つの所定画素に該当することを特徴とする、請求項１に記載の平面スキャンビデオキモグラフィー映像生成方法。
8. 白黒またはカラーの超高速喉頭内視鏡映像を獲得する獲得部；
   前記超高速喉頭内視鏡映像から前記平面スキャンビデオキモグラフィー映像を生成するための対象領域および単位画素を設定する設定部；
   前記対象領域に対して前記単位画素に応じて前記超高速喉頭内視鏡映像を構成する各フレームの画素情報を抽出する抽出部；
   前記抽出された各フレームの画素情報を組み合わせて平面スキャンビデオキモグラフィー映像のフレームを生成するフレーム生成部；および
   前記平面スキャンビデオキモグラフィー映像のフレームを組み合わせて平面スキャンビデオキモグラフィー映像を生成する映像生成部を含む、平面スキャンビデオキモグラフィー映像生成サーバー。
9. 前記獲得部は
   前記平面スキャンビデオキモグラフィー映像生成サーバーと連結された超高速カメラから超高速喉頭内視鏡映像をリアルタイムで受信するか、または前記平面スキャンビデオキモグラフィー映像生成サーバーに既保存された超高速喉頭内視鏡映像をロードすることを特徴とする、請求項８に記載の平面スキャンビデオキモグラフィー映像生成サーバー。
10. 前記抽出部は
    前記超高速喉頭内視鏡映像のフレームのうち特定フレームの画素情報を抽出した後、前記特定フレームの次のフレームで前記画素情報を抽出した位置の次の位置を画素情報抽出位置に決定することを特徴とする、請求項８に記載の平面スキャンビデオキモグラフィー映像生成サーバー。
11. 前記フレーム生成部は
    前記抽出された各フレームの画素情報を、前記抽出された画素情報の抽出位置によって、前記平面スキャンビデオキモグラフィー映像のフレームで対応する位置の画素情報に設定することを特徴とする、請求項８に記載の平面スキャンビデオキモグラフィー映像生成サーバー。
12. 前記フレーム生成部は
    前記生成された平面スキャンビデオキモグラフィー映像のフレームの明るさ、彩度、ブラーリング、鮮明度、または回転を補正することを特徴とする、請求項８に記載の平面スキャンビデオキモグラフィー映像生成サーバー。
13. 前記映像生成部は
    前記平面スキャンビデオキモグラフィー映像を保存するかまたは前記平面スキャンビデオキモグラフィー映像生成サーバーと連結されたディスプレイ装置に出力することを特徴とする、請求項８に記載の平面スキャンビデオキモグラフィー映像生成サーバー。
14. 請求項１〜請求項７のいずれか一項に記載された方法をコンピュータで実行させることができるプログラムを記録した、コンピュータ可読記録媒体。