JP2013138869A - 対象体の生体情報を測定する方法及びその装置 - Google Patents

対象体の生体情報を測定する方法及びその装置 Download PDF

Info

Publication number
JP2013138869A
JP2013138869A JP2012285606A JP2012285606A JP2013138869A JP 2013138869 A JP2013138869 A JP 2013138869A JP 2012285606 A JP2012285606 A JP 2012285606A JP 2012285606 A JP2012285606 A JP 2012285606A JP 2013138869 A JP2013138869 A JP 2013138869A
Authority
JP
Japan
Prior art keywords
biological information
modeling
measuring
result
terminal device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012285606A
Other languages
English (en)
Other versions
JP5607713B2 (ja
Inventor
Hae-Kyung Jung
海 慶 鄭
Hee-Chul Yoon
熙 哲 尹
Hyun-Taek Lee
賢 澤 李
Yong-Je Kim
容 ▲じぇ▼ 金
Jae-Hyun Kim
宰 賢 金
Myung-Jin Eom
明 鎭 嚴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2013138869A publication Critical patent/JP2013138869A/ja
Application granted granted Critical
Publication of JP5607713B2 publication Critical patent/JP5607713B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16BBIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B45/00ICT specially adapted for bioinformatics-related data visualisation, e.g. displaying of maps or networks
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0858Detecting organic movements or changes, e.g. tumours, cysts, swellings involving measuring tissue layers, e.g. skin, interfaces
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Gynecology & Obstetrics (AREA)
  • Physiology (AREA)
  • Pregnancy & Childbirth (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Epidemiology (AREA)
  • Biotechnology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Primary Health Care (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Vascular Medicine (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】 対象体の生体情報を測定する方法及びその装置を提供する。
【解決手段】 対象体の生体情報を自動的に測定する方法及びその装置に係わり、対象体の映像を受信する段階と、少なくとも1つの部位が区分されるように対象体をモデリングする段階と、モデリング結果を利用して、生体情報を測定することを特徴とする生体情報測定方法である。
【選択図】 図3

Description

本発明は、超音波映像を利用して、対象体の生体情報を自動的に測定する方法及びその装置に関する。
超音波システムは、無浸湿及び非破壊の特性があり、対象体内部の情報を得るための医療分野で広く利用されている。超音波システムは、対象体を直接切開して観察する外科手術の必要なしに、対象体内部の高解像度映像をリアルタイムで医師に提供することができるので、医療分野において非常に貴重に利用されている。
一方、胎児のダウン症侯群などの染色体異常及び神経系異常の早期診断のために、超音波映像を活用している。診断医の肉眼で胎児の位置を判別し、胎児の正確な生体情報を測定するために、胎児の正中矢状面(mid-sagittal plane)映像を求め、胎児の頭頂臀部長(CRL:crown-rump length)及び項部透明帯(NT:nuchal translucency)、頭蓋内透明帯(IT:intracranial translucency)を測定して胎児の状態を診断した。
しかし、CRL、NT及びITなどの胎児状態診断のための生体情報の測定は、それぞれ独立して出力されるが、NTまたはITと、CRLとの相対的な長さ、すなわち、二つ以上の生体情報から計算された値が胎児の状態を診断するのに使われるので、ユーザが胎児の状態を容易に診断して認識することができるように、CRL、NT及びITなどの生体情報を統合して計算された結果と、計算された結果から判断される胎児の診断結果とを自動的に提供する必要がある。
前記問題点を解決するための本発明の目的は、超音波映像を利用して、対象体の生体情報を自動的に測定する方法及びその装置を提供するところにある。
前記目的を達成するための本発明の一実施形態が有する1つの特徴は、対象体の生体情報を測定する方法において、前記対象体の映像を受信する段階と、少なくとも1つの部位が区分されるように、前記対象体をモデリングする段階と、前記モデリング結果を利用して、前記生体情報を測定する段階と、を含むものである。
さらに、前記モデリングする段階は、前記対象体の部位を円型を含んだ楕円形にモデリングした結果をディスプレイする段階と、ユーザ入力信号に基づいて、前記モデリング結果を修正する段階と、をさらに含むことを特徴とする。
さらに、前記生体情報を測定する段階は、前記測定された生体情報が正常範囲内に属するか否かを判断する段階と、前記判断の結果、正常範囲内に属さなければ、前記生体情報が正常範囲内に含まれるものと推定してモデリングする段階と、前記モデリング結果を利用して、前記生体情報を再び測定する段階と、を含むことを特徴とする。
さらに、前記生体情報を測定する段階は、前記モデリング結果を利用して、前記生体情報を測定するための関心領域(ROI)を検出する段階と、前記関心領域で、前記生体情報を測定する段階と、を含むことを特徴とする。
さらに、前記関心領域を検出する段階は、前記検出された関心領域が他の部位と区別されるようにディスプレイする段階と、前記関心領域で、前記生体情報の測定領域をディスプレイする段階と、ユーザ入力信号によって、前記関心領域または前記生体情報の測定領域を修正する段階と、をさらに含むことを特徴とする。
さらに、胴体部と頭部とに区分して、前記対象体をモデリングすることを特徴とする。
さらに、前記モデリングする段階後に、頭部部位に含まれた少なくとも1つの特徴点を検出する段階と、前記少なくとも1つの特徴点を利用して中心軸を設定し、その結果をディスプレイする段階と、前記中心軸を基準に、前記対象体の胴体と頭部との間の角度を測定する段階と、前記角度が正常範囲に属するか否かを判断する段階と、前記判断結果によって、前記対象体の頭頂臀部長(CRL:crown-rump length)を測定する段階と、をさらに含むことを特徴とする。
さらに、前記頭頂臀部長を測定する段階は、前記角度が正常範囲に属する場合、前記モデリング結果を利用して、前記対象体の頭頂臀部長を測定し、前記角度が正常範囲に属さない場合、前記角度が正常範囲に属するときの前記モデリング結果を推定し、前記推定されたモデリング結果を利用して、前記対象体の頭頂臀部長を測定する段階と、前記推定されたモデリング結果及び前記対象体の頭頂臀部長の測定結果をディスプレイする段階と、を含むことを特徴とする。
さらに、前記生体情報を測定する段階は、前記対象体のCRLを測定する段階と、前記対象体のNT(nuchal translucency)及びIT(intracranial translucency)のうち少なくとも一つを測定する段階と、前記CRLと、前記NTまたは前記ITとの相対的長さを計算する段階と、前記CRL、NT及びITの測定結果をディスプレイする段階と、を含むことを特徴とする。
前記目的を達成するための本発明の一実施形態が有する1つの特徴は、対象体の生体情報を測定するための端末装置において、前記対象体の映像を保存する保存部;及び前記対象体の映像で、前記対象体の少なくとも1つの部位を区分するようにモデリングするモデリング・モジュールと、前記モデリングした結果を利用して、生体情報を測定する測定モジュールと、を含む制御部;を含むことを特徴とする端末装置を提供するものである。
さらに、前記端末装置はユーザから入力を受ける入力部をさらに含みと、前記モデリング・モジュールはユーザの入力信号に基づいて、前記モデリング結果を修正することを特徴とする。
さらに、前記保存部は、少なくとも1つの生体情報の正常範囲に係わる情報を含む生体情報を保存し、前記モデリング・モジュールは、前記生体情報の測定された値が正常範囲内に属さない場合、前記生体情報が正常範囲内に含まれるものと推定してモデリングし、前記測定モジュールは、前記生体情報の測定された値が正常範囲内に属さない場合、前記推定されたモデリング結果を利用して、前記生体情報を再び測定することを特徴とする。
さらに、前記制御部は、前記生体情報の再び測定された値及び前記モデリング結果を利用して、前記生体情報が測定された値との誤差率を計算する計算モジュールをさらに含むことを特徴とする。
さらに、前記測定モジュールは、前記モデリング結果を利用して、前記生体情報を測定するための関心領域を検出し、前記関心領域で、前記生体情報を測定し、前記端末装置は、前記検出された関心領域が他の部位と区別されるように出力し、前記関心領域で、前記生体情報の測定領域を出力する出力部をさらに含むことを特徴とする。
さらに、前記端末装置は、ユーザから入力を受ける入力部をさらに含み、前記測定モジュールは、ユーザ入力信号に基づいて、前記関心領域を修正することを特徴とする。
さらに、前記モデリング・モジュールは、前記対象体を胴体部と頭部とに区分してモデリングすることを特徴とする。さらに、前記モデリング・モジュールは、頭部部位に含まれた少なくとも1つの特徴点を検出し、前記少なくとも1つの特徴点を利用して、中心軸を設定することを特徴とする。
さらに、前記保存部は、少なくとも1つの生体情報の正常範囲に係わる情報を含む生体情報を保存し、前記測定モジュールは、前記対象体の胴体と頭部との間の角度を測定し、前記角度が正常範囲に属するか否かを判断し、前記判断結果によって、前記対象体の頭頂臀部長を測定し、前記端末装置は、前記推定されたモデリング結果及び前記対象体の頭頂臀部長の測定結果を出力する出力部をさらに含むことを特徴とする。
さらに、前記測定モジュールは、前記角度が正常範囲に属する場合、前記モデリング結果を利用して、前記対象体の頭頂臀部長を測定し、前記角度が正常範囲に属さない場合、前記角度が正常範囲に属するときの前記モデリング結果を推定し、前記推定されたモデリング結果を利用して、前記対象体の頭頂臀部長を測定することを特徴とする。
さらに、前記測定モジュールは、前記対象体の頭頂臀部長を測定し、NT及びITのうち少なくとも一つを測定し、前記制御部は、前記頭頂臀部長と、NTまたはITとの相対的長さを計算する計算モジュールをさらに含むことを特徴とする。
さらに、前記制御部は、モデリングまたは生体情報測定領域の抽出を自動的に行った後、ユーザの確認を受けるか否かを、ユーザ入力信号によって設定するユーザ・インターフェースを提供することを特徴とする。
さらに、前記制御部は、モデリング、生体情報測定領域抽出及びモデリング推定のうち少なくとも一つを、自動的にあるいは手動で測定するか否かを、ユーザ入力信号によって設定するユーザ・インターフェースを提供することを特徴とする。
本発明によれば、超音波映像を利用して、対象体の生体情報を自動的に測定する方法及びその装置を提供することが可能である。
本発明の第1実施形態による対象体の生体情報を測定するための端末装置の構造を示したブロック図である。 本発明の第2実施形態による対象体の生体情報を測定するための端末装置の構造を示したブロック図である。 本発明の第1実施形態による対象体の生体情報を測定する方法を示したフローチャートである。 本発明の第2実施形態による対象体の生体情報を測定する方法を示したフローチャートである。 本発明の第3実施形態による対象体のCRLを測定する方法を示したフローチャートである。 本発明の第4実施形態による対象体のITまたはNTを測定する方法を示したフローチャートである。 本発明による対象体の生体情報を測定するためのシステムを示したブロック図である。 本発明の第5実施形態による対象体の生体情報を測定するためのシステムにおいて、サービス装置の構造を示したブロック図である。 本発明の第6実施形態による対象体の生体情報を測定するためのサービス装置の構造を示したブロック図である。 本発明の第5実施形態による対象体の生体情報を測定する方法を示したフローチャートである。 本発明の第6実施形態による対象体の生体情報を測定する方法を示したフローチャートである。 本発明の第7実施形態による対象体のCRLを測定する方法を示したフローチャートである。 本発明の第8実施形態による対象体のITまたはNTを測定する方法を示したフローチャートである。 本発明の一実施形態による端末装置またはサービス装置が受信する対象体の超音波映像の一例を示す図面である。 本発明の他の実施形態による端末装置またはサービス装置が受信する対象体の超音波映像の一例を示す図面である。 本発明による対象体のモデリング結果及びCRL、IT及びNTを測定した結果を表示した画面を示した例示図である。 本発明による対象体のモデリング結果及びCRL、IT及びNTを測定した結果を表示した画面を示した例示図である。 本発明による対象体のモデリング結果及びCRL、IT及びNTを測定した結果を表示した画面を示した例示図である。 本発明による対象体のモデリング及び生体情報の自動測定いかん及び測定後の確認いかんを設定する画面を示した例示図である。
以下、本発明の望ましい実施形態について、添付した図面を参照しつつ詳細に説明する。ただし、下記の説明及び添付された図面で、本発明の要旨を不明確にする可能性のある公知機能または構成に係わる詳細な説明は省略する。また、図面全体にわたって同一の構成要素は、できる限り同一の図面符号で示されているということに留意しなければならない。
以下で説明する本明細書及び特許請求の範囲で使われる用語や単語は、一般的であったり、あるいは辞典的な意味に限定して解釈されるものではなく、本発明者は、自身の発明を最も最善な方法で説明するための用語で、適切に定義することができるという原則に則って、本発明の技術的思想に符合する意味及び概念に解釈されなければならない。従って、本明細書に記載した実施形態並びに図面に示された構成は、本発明の最も望ましい一実施形態に過ぎず、本発明の技術的思想をいずれも代弁するものではないので、本出願時点において、それらを代替することができる多様な均等物や変形例が存在しうるということを理解しなければならない。
図1は、本発明の第1実施形態による対象体の生体情報を測定するための端末装置100の構造を示したブロック図である。図1の端末装置100は、後述する図2の端末装置200と対応するものである。
ここで、本発明で生体情報(biometrics)とは、例えば、胎児のCRL(crown-rump length)、IT(intracranial translucency)及びNT(nuchal translucency)などの生体長情報を含んで意味することができる。本発明によれば、対象体の映像で、生体情報を測定して、対象体の状態を診断することができる。
図1を参照すれば、本発明の第1実施形態による端末装置100は、保存部110及び制御部120を含んでもよい。端末装置100は、X−ray、超音波、CT(computed tomography)、MRI(magnetic resonance imaging)など医療映像の診断機器の映像分析装置の一部構成として含まれる。また、端末装置100は、ユーザが利用する多様な形態の装置であり、例えば、PC(personal computer)、ノート型パソコン、携帯電話(mobile phone)、テブレットPC、ナビゲーション(navigation)端末機、スマートホン(smart phone)、PDA(personal digital assistants)、スマートTV(smart television)、PMP(portable multimedia player)及びデジタル放送受信機を含んでもよい。もちろん、それらは例示に過ぎず、上述の例以外にも、現在開発されて商用化されたり、あるいは今後開発されるあらゆる通信が可能な装置を含む概念としてに解釈されなければならない。
保存部110は、本発明の第1実施形態において、端末装置100の動作に必要なデータあるいはプログラムを保存する。基本的には、端末装置100の運用プログラム(OS)、一つ以上の応用プログラム及び対象体の映像を保存することができる。このとき、対象体の映像は、対象体の超音波映像、MRI映像、CT映像、X−ray映像などの対象体の内部映像または対象体の外部映像のような対象体の生体情報を測定することができる映像を含んでもよい。保存部110は、RAM(random-access memory)、ROM(read-only memory)、ハードディスク(HDD:hard disk drive)、フラッシュメモリ、CD(compact disc)−ROM、DVD(digital versatile disc)のようなあらゆる種類の記録媒体を含んでもよい。
制御部120は、端末装置100の動作全般を制御するものであり、基本的には、保存部110に保存した運営プログラムを基に動作し、端末装置100の基本的なプラットホーム環境を構築し、ユーザの選択によって応用プログラムを実行し、任意機能を提供する。
具体的には、制御部120は、外部装置(図示せず)または保存部110から、対象体の映像を受信し、対象体の映像を利用して、対象体の部位が区分されるようにモデリングした後、モデリングしたものを利用して、対象体の生体情報を測定し、測定された生体情報と、対象体をモデリングした結果とが、外部のディスプレイ装置(図示せず)、または端末装置100内の出力部(図示せず)に出力されるように制御することができる。
本発明の第1実施形態において、制御部120は、モデリング・モジュール121及び測定モジュール122を含んでもよい。モデリング・モジュール121は、対象体の映像を利用して、対象体の各部位が区分されるようにモデリングを行う。モデリングは、円型を含んだ楕円形からなってもよいが、モデリングの形態は、制限されるものではない。対象体が胎児である場合、頭部と胴体とに区分されるように、胎児の頭部と胴体とがそれぞれ円型または楕円形にモデリングされ、出力装置(図示せず)を介して出力される。
測定モジュール122は、モデリング・モジュール121によって、対象体の各部位が区分されるようにモデリングされれば、モデリングされた結果を利用して、対象体の生体情報を測定する。対象体が胎児である場合、頭部及び胴体の特徴点を利用して、モデリングされた円または楕円の中心軸を設定し、設定された中心軸を利用して、生体情報に該当するCRL、NT及びITを測定することができる。
図2は、本発明の第2実施形態による対象体の生体情報を測定するための端末装置200の構造を示したブロック図である。図2の端末装置200は、図1の端末装置100と対応する。
図2を参照すれば、本発明の第2実施形態による端末装置200は、保存部210、制御部220、入力部230及び出力部240を含んでなってもよい。前記保存部210と制御部220は、図1の保存部110及び制御部120と対応するものであり、重複する内容は省略することにする。
本発明の第2実施形態では、生体情報が正常範囲内に属するか否かを判断し、正確度を高めることができる生体情報測定方法を提供することができる。
本発明の第2実施形態において、保存部210は、対象体の映像211と、生体情報データ212とを保存することができる。保存部210は、生体情報の正常範囲に係わる情報を含む生体情報データ212を保存し、生体情報の測定値が正常範囲に属するか否かを判断することができる。
本発明の第2実施形態において、制御部220は、モデリング・モジュール221、測定モジュール222及び計算モジュール223を含んでもよい。
モデリング・モジュール221は、測定モジュール222によって測定された生体情報の測定値が正常範囲内に含まれない場合、前記生体情報が正常範囲内に含まれる場合を推定してモデリングを再び行うことができる。測定モジュール222は、前記生体情報の測定値が正常範囲内に含まれない場合、モデリング・モジュール221によって再び行われたモデリング結果を利用して、前記生体情報を測定する。
計算モジュール223は、測定モジュール222によって抽出された生体情報の測定値が正常範囲内に含まれず、正常範囲内に含まれるものと推定し、再びモデリングが行われる場合、測定モジュール222によって、再び測定された生体情報と、以前測定された生体情報との誤差率を計算することができる。
入力部230は、ユーザの操作によって、端末装置200を制御したり動作させるためのユーザ入力信号を発する手段であり、多様な方式の入力手段でもって具現される。例えば、入力部230は、キー入力手段、タッチ入力手段、ジェスチャ入力手段、音声入力手段のうち一つ以上を含んでもよい。キー入力手段は、キー操作によって、当該キーに対応する信号を発生させるものであり、キーパッド、キーボードに該当する。タッチ入力手段は、ユーザが特定部分をタッチする動作を感知して、入力動作を認識するものであり、タッチパッド、タッチスクリーン、タッチセンサを有する。ジェスチャ入力手段は、ユーザの動作、例えば、端末を揺すったり動かす動作、端末に接近する動作、まばたきする動作など、指定された特定動作を特定入力信号として認識するものであり、地磁気センサ、加速度センサ、カメラ、高度計、ジャイロセンサ、近接センサのうち一つ以上を含んでなってもよい。
出力部240は、生体情報を提供するためのユーザ・インターフェース及び測定結果を画面に出力する。例えば、LCD(liquid crystal display)、TFT(thin film transistor)−LCD、LED(light emitting diodes)、OLED(organic light emitting diodes)、AMOLED(active matrix organic light emitting diodes)、フレキシブル・ディスプレイ(flexible display)、三次元ディスプレイのうちどれ一つになってもよい。
図3は、本発明の第1実施形態による対象体の生体情報を測定する方法を示したフローチャートである。図3に図示された生体情報測定方法300は、図1または図2で説明した本発明の第1実施形態または第2実施形態による端末装置100または200)で遂行されることができる。
従って、以下では端末装置100または200を参照して、生体情報測定方法300について詳細に説明する。端末装置100は、ユーザの要請または制御信号によって、対象体の生体情報を測定するために、対象体の生体情報を測定することができる対象体の映像を、外部の保存装置から受信するか、あるいは保存部110に保存された対象体の映像を呼び出すことができる(S301)。S301段階の受信動作及び読み取り動作は、制御部120,220で遂行される。
そして、S301段階で受信した映像を利用して、少なくとも1つの部位が区分されるように、対象体をモデリングする(S303)。S303段階のモデリング動作は、モデリング・モジュール121,221で遂行される。
そして、S303段階のモデリング結果を利用して、対象体の生体情報を測定することができる(S305)。S305段階の測定動作は、測定モジュール122,222で遂行される。このとき、対象体のモデリング結果を出力して、ユーザに提供することができ、ユーザは、対象体のモデリング結果を確認して、モデリングを修正することができる。
図4は、本発明の第2実施形態による対象体の生体情報を測定する方法を示したフローチャートである。図4に図示された生体情報測定方法400は、図2で説明した本発明の第2実施形態による端末装置200で遂行される。従って、以下では、端末装置200を参照しつつ、生体情報測定方法400について詳細に説明する。
端末装置200は、ユーザの要請または制御信号によって、対象体の生体情報を測定するために、対象体の生体情報を測定することができる対象体の映像を、外部の保存装置から受信するか、あるいは保存部210に保存された対象体の映像211を呼び出すことができる(S401)。S401段階の受信動作は、制御部220で遂行され、S401段階の読み取り動作は、制御部220が、保存部210に保存された対象体の映像211を読み取りすることによって遂行される。
対象体の映像211を利用して、少なくとも1つの部位が区分されるように、対象体をモデリングすることができる(S403)。S403段階のモデリング動作は、モデリング・モジュール221で遂行される。
対象体のモデリング結果を、出力部240を介して出力し、ユーザに提供することができ、ユーザは、対象体のモデリング結果を確認し、モデリングを修正することができる。モデリング結果を確認したユーザが、入力部230を介して、モデリングの修正を要請する場合(S405)、修正要請されたモデリングに変更することができる(S407)。S405段階の修正要請は、入力部230で受信することができ、S407段階動作は、制御部220で遂行される。
そして、モデリング結果を利用して、対象体の生体情報を測定することができる(S410)。端末装置200の保存部210に保存された生体情報データ212を利用して、生体情報の測定値が正常範囲内であるか否かを判断することができる(S413)。正常範囲内に測定値が含まれていなければ、測定された値の正確度が低いと判断されもする。
正常範囲内にある場合、生体情報測定値を出力し(S423)、正常範囲内にない場合、正常範囲内に、前記生体情報の測定値が存在可能であると推定し、モデリングを再び行うことができる(S415)。再びモデリングされた結果を利用して、生体情報を測定し(S417)、再び測定された生体情報の測定値と、以前にモデリングされた結果から測定された生体情報の測定値とを比べ、以前モデリングされた結果から測定された生体情報の測定値の誤差率を計算することができる(S420)。
これに加えて端末装置200は、測定された生体情報の測定値から、対象体の状態を診断することができるデータを計算して出力することができる。ただし、生体情報の測定値が正常範囲内にない場合であるならば、生体情報の測定値が、正確度が低いと判断することができるので、推定されたモデリングから測定された生体情報の測定値から、対象体の状態を診断することができるデータを計算して出力することができる。
図5は、本発明の第3実施形態による対象体のCRLを測定する方法500を示したフローチャートである。
本発明の第3実施形態では、生体情報のうち一つであるCRLを測定するために、胴体部と頭部とに区分してモデリングを行い、胴体部と頭部との角度が正常範囲内であるか否かによって、生体情報の測定正確度を高めるために、対象体のモデリングを推定して再び行うことができる。
端末装置200は、ユーザの要請または制御信号によって、対象体の生体情報を測定するために、対象体の生体情報を測定することができる対象体の映像を、外部装置から受信するか、あるいは保存部210に保存された対象体の映像211を呼び出すことができる(S501)。
そして、対象体の映像211を利用して、頭部と胴体とが区分されるように、対象体をモデリングし(S503)、対象体のモデリング結果を、出力部240を介して出力して、ユーザに提供することができ、ユーザは、対象体のモデリング結果を確認することができる。モデリング結果を確認したユーザが、入力部230を介して、モデリングの修正を要請する場合(S505)、修正要請されたモデリングに変更することができる(S507)。
そして、モデリング結果を利用して、対象体のCRLを測定することができる。まず、頭部及び胴体の特徴点を抽出し、抽出された特徴点を基準に、モデリングされた図形の中心軸を設定することができる。このような中心軸を基準に、頭部と胴体とがなす角度を測定することができる(S510)。ここで、特徴点は、対象体の所定部位を示す地点であり、脳天、口蓋骨、鼻骨端などの少なくとも一つを含んでもよい。
頭部と胴体とがなす角度が正常範囲内にあってこそ、CRL値を正確に測定することができる。胎児の場合を例に挙げれば、胎児が過度に身をかがめていれば、CRL値が小さく測定され、すっと身を伸ばしていれば、CRL値が過度に大きく測定されるので、胎児の状態を診断することができる値である妊娠週数(GA:gestational age)を計算するのに適切ではない。
従って、端末装置200の保存部210に保存された生体情報データ212に含まれた前記角度の正常範囲に係わる情報を利用し、前記角度の測定値が正常範囲内であるか否かを判断し(S513)、CRL値を正確に測定することができる。
測定された角度が正常範囲内にある場合、前記モデリングされた結果を利用して、CRLを測定し(S523)、正常範囲内にない場合、正常範囲内に、前記角度の測定値が正常範囲内に存在可能なように推定してモデリングを再び行う(S515)。胎児の場合を例に挙げれば、胎児が過度に身をかがめていて、頭部と胴体の間の角度が正常範囲内に属さない場合、頭部または胴体の中心軸が外側に移動するようにモデリングされた図形を調節し、角度が正常範囲内に属するようにモデリングを推定して再び行うことができる。
再び行われたモデリングされた結果を利用して、CRLを再び測定し(S517)、再び測定されたCRLの測定値と、以前にモデリングされた結果から測定されたCRLの測定値とを比較して、誤差率を計算することができる(S520)。
さらに、CRLから胎児の状態を診断することができる値である妊娠週数(GA)を計算し(S525)、出力部240を介して出力することができる(S527)。
図6は、本発明の第4実施形態による対象体のITまたはNTを測定する方法600を示したフローチャートである。
本発明の第4実施形態において、ITまたはNTを測定することは、対象体のモデリングされた結果を介して測定されるものであり、本発明の第3実施形態において、対象体が頭部及び胴体に区分されるようにモデリングされた後、本発明の第4実施形態によって、ITまたはNTが測定されもする。このとき、CRLが測定されるのは、ITまたはNTを測定するにあたって、必須ではないので、 場合によっては、選択的である。従って、図6の段階S605は、図5のS507またはS505と対応する。
図6を参照すれば、モデリング結果を利用して、NTまたはITの位置を推定することができる。胎児の場合を例に挙げれば、NTは、項部であるので、頭部と胴体とが交差する領域、ITは、頭部蓋骨内に位置するので、頭部の中心点、中心軸が交差する領域に位置するものと推定され、NTまたはITが測定される関心領域(ROI:region of interest)領域が表示されもする。
モデリング結果を利用して、NTまたはITの測定領域、すなわち、ROI領域が検出されて出力されもする(S607)。出力されたROI領域をユーザが確認し、ROI領域の修正を要請することができる。
制御部220は、ユーザの修正要請を受信すれば(S610)、ユーザの修正要請に基づいて、修正されたROI領域を修正し、最終決定されたROI領域で、NTまたはITを測定することができる(S613、S615)。
このとき、NTとITは、それぞれ長さを測定するものであるので、ROI領域と共に測定される部位を線で表示することができる。
NTまたはITが測定されれば、NTまたはITのCRLに対する相対的長さを計算し(S617)、計算された相対的長さ値を利用して、対象体の異常確率を計算して出力することができる(S620)。このとき、相対的長さは、NT/CRL、IT/CRLの形態で表示されもする。このとき、CRLに対するNTまたはITの相対的長さを計算するためには、CRL測定が必須であるので、本発明の第3実施形態で、CRLを測定した後、本発明の第4実施形態によって、ITまたはNTが測定されもする。
図7は、本発明による対象体の生体情報を測定するためのシステムを示したブロック図である。図7を参照すれば、本発明の一実施形態による対象体の生体情報を測定するためのシステムは、サービス装置710、ネットワーク720及び端末装置730を含んでもよい。
本発明において、対象体の生体情報を測定し、対象体の状態を診断するのは、サーバ基盤コンピュータ方式からなってもよい。ここで、サーバ基盤コンピュータ方式は、ネットワークを媒介として連結された任意の装置で、対象体の生体情報の測定及び対象体の状態を診断する処理がなされ、端末装置730では、入出力だけが行われる方式を意味する。以下では、説明の便宜のために、本発明の第5実施形態ないし第8実施形態によって、端末装置730において、対象体の生体情報を測定して、対象体の状態を診断する装置を、サービス装置710と区分することにする。
サービス装置710は、ネットワーク720を介して対象体の映像を利用して、対象体の生体情報を測定し、測定結果、及び測定結果によって判断された対象体の状態を診断した結果を、端末装置730に提供するサーバ装置である。さらに具体的には、対象体の映像で、少なくとも1つの部位が区分されるようにモデリングした後、モデリングした結果を利用して、生体情報を測定し、測定結果によって、対象体の状態を診断し、端末装置730に提供することができる。このとき、サービス装置710は、モデリングした結果及び測定部位も共に端末装置730に提供し、ユーザが、生体情報が測定される過程を確認して修正することができるように、ユーザ・インターフェースを提供することができる。
このようなサービス装置710は、サーバ・クライアント・コンピュータ方式で動作することもでき、クラウド・コンピュータ基盤で動作することもできる。すなわち、対象体の生体情報を測定して、対象体の状態を診断するのに必要なコンピュータ資源、例えば、ハードウェア、ソフトウェアのうち一つ以上をサービス装置710に提供することができる。
ネットワーク720は、サービス装置710と端末装置730との間で、データの送受信のための通路を提供する。このようなネットワーク720は、インターネットプロトコル(IP)を介する、大容量データの送受信サービス及び切れ目(seamless)現象のないデータサービスを提供するIP網であり、IPを基に、互いに網網を統合したIP網構造であるオールIP(all IP)網である。また、ネットワーク720は、有線ネットワーク、Wibro(wireless broadband)網、WCDMA(wideband code division multiple access)を含む3世代移動ネットワーク、HSDPA(high speed downlink packet access)網及びLTE網を含む3.5世代移動ネットワーク、LTE advancedを含む4世代移動ネットワーク、衛星ネットワーク及びワイファイ(Wi−Fi)網を含む無線LANのうち一つ以上を含んでなってもよい。
本発明の第5実施形態ないし第8実施形態において、端末装置730は、サービス装置710の対象体の生体情報を測定し、対象体の状態を診断した結果に係わる出力機能のみを遂行するので、以下、サービス装置710について主に説明することにする。
図8は、本発明の第5実施形態による対象体の生体情報を測定するためのシステムにおいて、サービス装置800の構造を示したブロック図である。図8のサービス装置800は、図7及び図9のサービス装置710,900と対応する。
図8を参照すれば、本発明の第5実施形態によるサービス装置800は、通信部810、保存部820及びサービス提供部830を含んでもよい。
通信部810は、ネットワーク720を介して、端末装置730とデータを授受する。保存部820は、サービス装置800の動作のためのデータ及びプログラムを保存する手段であり、本発明の第5実施形態において、対象体の映像を保存することができる。このとき、対象体の映像は、対象体の超音波映像、MRI映像、CT映像、X−ray映像などの対象体の内部映像または対象体の外部映像など、対象体の生体情報を測定することができる映像を含む。保存部820は、RAM(random-access memory)、ROM(read-only memory)、ハードディスク(HDD:hard disk drive)、フラッシュメモリ、CD−ROM、DVDのようなあらゆる種類の記録媒体を含んでもよい。
サービス提供部830は、外部装置(図示せず)または保存部820から、対象体の映像を受信し、対象体の映像を利用して、対象体の部位が区分されるようにモデリングした後、モデリングしたものを利用して対象体の生体情報を測定し、測定された生体情報が、外部のディスプレイ装置(図示せず)または端末装置100内出力部(図示せず)に出力されるように制御することができる。
本発明の第5実施形態において、サービス提供部830は、モデリング・モジュール831及び測定モジュール832を含んでもよい。
モデリング・モジュール831は、対象体の映像を利用して、対象体の各部位が区分されるようにモデリングを行う。モデリングは、円型を含んだ楕円形からなってもよいが、モデリングの形態は、制限されるものではない。対象体が胎児である場合、頭部と胴体とに胎児の部位が大別され、頭部と胴体とがそれぞれ円型または楕円形にモデリングされ、出力装置(図示せず)を介して出力される。
測定モジュール832は、モデリング・モジュール831によって、対象体の各部位が区分されるようにモデリングされれば、モデリングされた結果を利用して、対象体の生体情報を測定する。対象体が胎児である場合、頭部及び胴体の特徴点を利用して、円または楕円の中心軸を設定し、設定された中心軸を利用して、生体情報に該当するCRL、NT及びITを測定することができる。
図9は、本発明の第6実施形態による対象体の生体情報を測定するためのサービス装置900の構造を示したブロック図である。図9を参照すれば、本発明の第6実施形態によるサービス装置900は、通信部910、保存部920及びサービス提供部930を含んでもよい。前記通信部910、保存部920及びサービス提供部930は、図8の通信部810、保存部820及びサービス提供部830と対応するものであり、重複する内容は省略することにする。
本発明の第6実施形態では、生体情報が正常範囲内に属するか否かを判断し、正確度を高めることができる生体情報測定方法を、サービス装置900から端末装置730に提供することができる。
本発明の第6実施形態において、保存部920は、対象体の映像921と、生体情報データ922とを保存することができる。保存部920は、少なくとも1つの生体情報の正常範囲に係わる情報を含む生体情報データ922をさらに保存し、生体情報の測定値が正常範囲に属するか否かを判断することができる。
本発明の第6実施形態において、サービス提供部930は、モデリング・モジュール931、測定モジュール932及び計算モジュール933を含んでもよい。モデリング・モジュール931は、測定モジュール932によって測定された生体情報の測定値が正常範囲内に含まれない場合、前記生体情報が正常範囲内に含まれるように再びモデリングを行う。
測定モジュール932は、前記生体情報の測定値が正常範囲内に含まれない場合、モデリング・モジュール931によって再び行われたモデリング結果を利用し、前記生体情報を再び測定する。
計算モジュール933は、測定モジュール932によって抽出された生体情報の測定値が正常範囲内に含まれず、正常範囲内に含まれるものと推定し、再びモデリングが行われる場合、測定モジュール932によって再び測定された生体情報と、以前測定された生体情報との誤差率を計算し、ユーザに提供することによって、以前測定された生体情報の正確度を判断することができる。
図10は、本発明の第5実施形態による対象体の生体情報を測定する方法1000を示したフローチャートである。図10を参照すれば、端末装置730は、ユーザの要請または制御信号によって、対象体の生体情報を測定するために、外部装置から受信されるか、あるいは内部保存装置に保存された対象体の映像をサービス装置800に伝送し、サービス装置800に生体情報を測定することを要請することができる(S1001、S1003)。対象体の映像は、サービス装置800に保存されており、このとき、端末装置730は、サービス装置800に保存された対象体の映像について生体情報を測定し、その結果の提供を要請することができる。
サービス装置800は、対象体の映像を利用して、少なくとも1つの部位が区分されるように対象体をモデリングし(S1005)、モデリング結果を利用して、対象体の生体情報を測定することができる(S1007)。
このとき、対象体のモデリング結果と、測定された生体情報とを端末装置730に伝送し(S1010)、端末装置730の出力装置を介して出力し、ユーザに提供することができる。従って、ユーザは、対象体のモデリング結果及び測定された生体情報を確認して修正することができる。
図11は、本発明の第6実施形態による対象体の生体情報を測定する方法1100を示したフローチャートである。図11を参照すれば、端末装置730は、ユーザの要請または制御信号によって、対象体の生体情報を測定するために、外部装置から受信されているか、あるいは内部保存装置に保存された対象体の映像をサービス装置900に伝送し、サービス装置900に、生体情報を測定するためのモデリングを行うことを要請することができる(S1101、S1103)。対象体の映像は、サービス装置900に保存されており、このとき、端末装置730は、サービス装置900に保存された対象体の映像についてモデリングを行うことを要請することができる。
そして、対象体の映像921を利用して、少なくとも1つの部位が区分されるように対象体をモデリングし(S1105)、対象体のモデリング結果を端末装置730に伝送し、端末装置730の出力部を介して出力し、ユーザに提供することができる(S1110)。モデリング結果を確認したユーザが、端末装置730の入力部を介して、モデリングの修正をサービス装置900に要請する場合(S1113、S1115)、修正要請されたモデリングに変更することができる(S1117)。
モデリングに係わる修正要請がない場合、生体情報の測定をサービス装置900に要請し、サービス装置900は、モデリング結果を利用して、対象体の生体情報を測定することができる(S1123)。
サービス装置900の保存部920に保存された生体情報データ922を利用して、生体情報の測定値が正常範囲内であるか否かを判断することができる(S1125)。正常範囲内に測定値が含まれていなければ、測定された値の正確度が低いと判断される。
正常範囲内にある場合、生体情報測定値を端末装置730に伝送して出力することができるし(S1127、S1140)、正常範囲内にない場合、正常範囲内に、前記生体情報の測定値が存在可能なように推定してモデリングを行う(S1130)。推定してモデリングされた結果を利用して、生体情報を再び測定し(S1133)、再び測定された生体情報の測定値と、以前にモデリングされた結果から測定された生体情報の測定値とを比較して誤差率を計算することができる(S1135)。
これに加えて、サービス装置900は、測定された生体情報の測定値から対象体の状態を診断することができるデータを計算し、端末装置730に提供することができる。ただし、生体情報の測定値が正常範囲内にない場合であるならば、生体情報の測定値が正確度が低いと判断することがあるので、推定されたモデリングから測定された生体情報の測定値から、対象体の状態を診断することができるデータを計算して、端末装置730に提供することができる。
前記モデリングされた結果、生体情報の測定値、誤差率などを含んだ生体情報と係わるデータを端末装置730に伝送し(S1137)、データが端末装置730に出力されるように制御することができる(S1140)。
図12は、本発明の第7実施形態による対象体のCRLを測定する方法1200を示したフローチャートである。
本発明の第7実施形態では、生体情報のうち一つであるCRLを測定するために、胴体部と頭部とに区分してモデリングを行い、胴体部と頭部との角度が正常範囲内であるか否かによって、対象体のモデリングを再び行う。
図12を参照すれば、端末装置730は、ユーザの要請または制御信号によって、対象体の生体情報を測定するために、外部装置から受信されているか、あるいは内部保存装置に保存された対象体の映像をサービス装置900に伝送し、サービス装置900に、生体情報を測定するためのモデリングを行うことを要請することができる(S1201、S1203)。対象体の映像は、サービス装置900に保存されており、このとき、端末装置730は、サービス装置900に保存された対象体の映像921についてモデリングの遂行及びその提を要請することができる。
そして、対象体の映像921を利用して、頭部と胴体とが区分されるように対象体をモデリングし(S1205)、対象体のモデリング結果を端末装置730に伝送し、端末装置730の出力部を介して出力し、ユーザに提供することができる(S1210)。モデリング結果を確認したユーザが、端末装置730の入力部を介してモデリングの修正をサービス装置900に要請する場合(S1213、S1215)、修正要請されたモデリングに変更することができる(S1217)。
モデリングに係わる修正事項がなく、端末装置720が生体情報の提供をサービス装置900に要請すれば(S1220)、サービス装置900は、モデリング結果を利用して、対象体の生体情報を測定することができる(S1223)。
そして、モデリング結果を利用して、対象体のCRLを測定する。また、CRL値から妊娠週数(GA)を計算することができる。まず、頭部及び胴体の特徴点を抽出し、抽出された特徴点を基準に、モデリングされた図形の中心軸を設定して生体情報を測定することができる。このような中心軸を基準に、頭部と胴体とがなす角度と、CRLとを測定することができる(S1223)。
頭部と胴体とがなす角度が正常範囲内にあってこそ、CRL値を正確に測定することができる。胎児の場合を例に挙げれば、胎児が過度に身をかがめていれば、CRL値が小さく測定され、すっと身を伸ばしていれば、CRL値が過度に大きく測定されるので、胎児の状態を診断することができる値である妊娠週数(GA)を計算するのに適切ではない。
従って、サービス装置900の保存部920に保存された生体情報データ922に含まれた前記角度の正常範囲に係わる情報を利用し、前記角度の測定値が正常範囲内であるか否かを判断し(S1225)、CRL値を正確に測定することができる。
正常範囲内にない場合、前記角度の測定値が正常範囲内に存在可能なように推定し、モデリングを再び行う(S1227)。胎児の場合を例に挙げれば、胎児が過度に身をかがめていて、頭部と胴体との間の角度が正常範囲内に属さない場合、頭部または胴体の中心軸が外側に移動するように、モデリングされた図形を調節し、角度が正常範囲内に属するようにモデリングを推定し、再び遂行する。
再び行われたモデリングされた結果を利用して、CRLを再び測定し、再び測定されたCRLの測定値と、以前にモデリングされた結果から測定されたCRLの測定値とを比較して、誤差率を計算することができる(S1230)。
さらに、CRLから胎児の状態を診断することができる値である妊娠週数(GA)を計算し(S1233)、端末装置730に伝送し(S1235)、端末装置730の出力部を介して出力することができる(S1237)。
図13は、本発明の第8実施形態による対象体のITまたはNTを測定する方法1300を示したフローチャートである。
本発明の第8実施形態において、ITまたはNTの測定は、対象体のモデリングされた結果を介して測定されることによって、本発明の第7実施形態において、対象体が頭部及び胴体に区分されるようにモデリングされた後、本発明の第8実施形態によって、ITまたはNTが測定される。このとき、CRLの測定は、ITまたはNTの測定にあたって、必須ではないので、場合によっては、選択的である。従って、図13の段階S1337は、図12のS1237と対応する。
図13を参照すれば、モデリング結果を利用して、NTまたはITの位置を推定することができる。胎児の場合を例に挙げれば、NTは項部であるので、頭部と胴体とが交差する領域、ITは頭部蓋骨内に位置するので、頭部の中心点、中心軸が交差する領域に位置するものと推定され、NTまたはITが測定される関心領域(ROI)についてモデリング領域が表示されもする。
端末装置730のユーザまたは制御信号によって、端末装置730がサービス装置900に、NTまたはITの測定値を要請すれば(S1301)、サービス装置900は、モデリング結果を利用して、NTまたはITの測定領域、すなわち、ROI領域を設定する(S1303)。設定されたROI領域について、ユーザ確認を経るように設定された場合には、端末装置730に設定されたROI領域に係わる情報を伝送し(S1305)、端末装置730でROI領域が出力される(S1307)。
出力されたROI領域をユーザが確認し、ROI領域を修正することを要請すれば(S1310、S1313)、修正されたROI領域を修正し(S1315)、最終決定されたROI領域で、NTまたはITを測定することができる(S1317、S1320)。
このとき、NTとITは、それぞれ長さを測定するものであるので、ROI領域と共に、測定される部位を線で表示することができる。NTまたはITが測定されれば、NTまたはITのCRLに対する相対的長さを計算し(S1323)、計算された相対的長さ値を利用して、対象体の異常確率を計算して端末装置730に提供することができる(S1325)。このとき、相対的長さは、NT/CRL、IT/CRLの形態に表示されもする。このとき、CRLに対するNTまたはITの相対的長さを計算するためには、CRL測定が必須であるので、本発明の第3実施形態でCRLを測定した後、本発明の第4実施形態によって、ITまたはNTが測定される。
NTまたはITの測定値及びNTまたはITのCRLに対する相対的長さに係わる計算された値を端末装置730に伝送し(S1327)、端末装置730の出力部を介して出力される(S1330)。
図14A及び図14Bは、本発明の一実施形態または他の実施形態による端末装置またはサービス装置が受信する対象体の超音波映像の一例を示す図面である。
図14Aを参照すれば、胎児の超音波映像1の一例を示したものであり、制御部(例えば、120、220)またはサービス提供部(例えば、830、930)が図示された領域を受信することができる。胎児の超音波映像1は、胎児の断面を含み、ここから胎児の生体情報を測定することができる。
図14Bを参照すれば、胎児の超音波映像2で、胎児の生体情報を測定するための部分3,4を抽出し、生体情報を測定することができる。
以下、図15に係わる説明での対象体の画面は、図14Aまたは図14Bの超音波映像と同一であるか、あるいはその一部分を抽出して構成される。
図15Aないし図15Cは、本発明による対象体のモデリング結果、並びにCRL、IT及びNTを測定した結果を表示した画面を示した例示図である。
図15Aは、対象体が胎児である場合、胎児のモデリング結果及びCRLを測定した結果を表示した画面を示した例示図である。図15Aを参照すれば、胎児は、頭部と胴体とを、それぞれ円型10及び楕円形20に区分されるようにモデリングされ、各部位の特徴点が抽出され、特徴点を中心に、中心軸11,12,21が設定されて表示されている。
前記中心軸を利用して、自動的にCRL 30を表示して測定することができ、ユーザが直接測定する部位を指定し、手動でCRL 40を測定することもできる。
頭部と胴体とがなす角度50も、中心軸を基準に測定され、測定された角度が、正常範囲内にあるか否かを判断する。
図15Bは、対象体が胎児である場合、胎児のモデリング結果と角度とが正常範囲ではない場合のCRLを測定した結果を表示した画面を示した例示図である。
頭部と胴体とがなす角度が正常範囲ではない場合、角度が正常範囲内にあるように推定してモデリングを行う。図15Bを参照すれば、角度が正常範囲より大きい場合、モデリングされた頭部部位を胴体の方に移動させ(15)、角度が正常範囲内にあるように調節することができる。
図15Cは、対象体が胎児である場合、胎児のモデリング結果、並びにIT及びNTを測定した結果を表示した画面を示した例示図である。NTとITは、それぞれモデリングされた部位の中心軸と図形が当接する領域をROI領域に設定して測定される。図15Cを参照すれば、NTは、頭部部位の中心点、ITは、頭部と胴体とが当接する領域をROI領域70,80に設定して拡大表示し、NT及びITを測定する部位を線71,81で表示することができる。ユーザは、表示された情報を確認し、ROI領域またはNT及びITの測定部位を直接修正することができる。
図16は、本発明による対象体のモデリング及び生体情報の自動測定いかん、並びに測定後確認いかんを設定する画面を示した例示図である。図16を参照すれば、モデリング結果やNT測定領域、IT測定領域について、ユーザ確認後、生体情報を測定するように、設定可能なユーザ・インターフェースが提供される。ユーザ確認後、生体情報を測定するように設定する場合、自動的にモデリング結果やNT及びIT測定領域が設定されて表示された後、ユーザの確認を受け、修正するか否かを判断した後、生体情報を測定する。
また、モデリングを行うこと;及びモデリングの結果、NT測定領域、IT測定領域が確定された後、CRL、NT及びITなどの生体情報を測定すること;を自動に行うか、あるいは手動で行うかをユーザが設定するように、図16のように、ユーザ・インターフェースを提供することができる。このとき、自動に設定されれば、モデリング結果によって測定領域に設定し、生体情報を測定するようになるが、手動に設定されれば、モデリングをユーザが直接手動で行うか、あるいは生体情報の測定時、ユーザが直接領域を設定して測定する。例えば、生体情報の測定が、長さを測定するものであるならば、ユーザが対象体の映像に点を付けて、長さを測定するように設定される。
本発明は、コンピュータで読み取り可能な記録媒体に、コンピュータ(情報処理機能を有する装置をいずれも含む)が読み取り可能なコードとしての具現が可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録装置の例としては、ROM(read-only memory)、RAM(random-access memory)、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ保存装置などがある。
たとえ前記説明について、多様な実施形態に適用される本発明の新規特徴に焦点を合わせて説明したにしても、本技術分野の当業者であるならば、本発明の範囲を外れずにも、前述の装置及びその方法の形態及び詳細事項において、多様な削除、代替、及び変更が可能であるということを理解するであろう。従って、本発明の範囲は、前述のところよりは、特許請求の範囲によって定義される。特許請求の範囲の均等範囲中のあらゆる変形は、本発明の範囲に包摂されるものである。
本発明の対象体の生体情報を測定する方法及びその装置は、例えば、胎児に対する初期医療診断関連の技術分野に効果的に適用可能である。
1, 胎児の超音波映像
3,4 情報収集のための部分
100,200,730 端末装置
110,210 保存部
120,220 制御部
121,221,831,931 モデリング・モジュール
122,222,832,932 測定モジュール
211,921 対象体の映像
212,922 生体情報データ
223,933 計算モジュール
230 入力部
240 出力部
710,800,900 サービス装置
720 ネットワーク
810,910 通信部
820,920 保存部
830,930 サービス提供部

Claims (22)

  1. 対象体の生体情報を測定する方法において、
    前記対象体の映像を受信する段階と、
    少なくとも1つの部位が区分されるように、前記対象体をモデリングする段階と、
    前記モデリング結果を利用して、前記生体情報を測定する段階と、を含むことを特徴とする生体情報測定方法。
  2. 前記モデリングする段階は、
    前記対象体の部位を円型を含んだ楕円形にモデリングした結果をディスプレイする段階と、
    ユーザ入力信号に基づいて、前記モデリング結果を修正する段階と、をさらに含むことを特徴とする請求項1に記載の生体情報測定方法。
  3. 前記生体情報を測定する段階は、
    前記測定された生体情報が正常範囲内に属するか否かを判断する段階と、
    前記判断の結果、正常範囲内に属さなければ、前記生体情報が正常範囲内に含まれるものと推定してモデリングする段階と、
    前記モデリング結果を利用して、前記生体情報を再び測定する段階と、を含むことを特徴とする請求項1に記載の生体情報測定方法。
  4. 前記生体情報を測定する段階は、
    前記モデリング結果を利用して、前記生体情報を測定するための関心領域(ROI)を検出する段階と、
    前記関心領域で、前記生体情報を測定する段階と、を含むことを特徴とする請求項1に記載の生体情報測定方法。
  5. 前記関心領域を検出する段階は、
    前記検出された関心領域が他の部位と区別されるようにディスプレイする段階と、
    前記関心領域で、前記生体情報の測定領域をディスプレイする段階と、
    ユーザ入力信号によって、前記関心領域または前記生体情報の測定領域を修正する段階と、をさらに含むことを特徴とする請求項4に記載の生体情報測定方法。
  6. 胴体部と頭部とに区分して、前記対象体をモデリングすることを特徴とする請求項1に記載の生体情報測定方法。
  7. 前記モデリング段階後、
    頭部部位に含まれた少なくとも1つの特徴点を検出する段階と、
    前記少なくとも1つの特徴点を利用して、中心軸を設定し、その結果をディスプレイする段階と、
    前記中心軸を基準に、前記対象体の胴体と頭部との間の角度を測定する段階と、
    前記角度が正常範囲に属するか否かを判断する段階と、
    前記判断結果によって、前記対象体の頭頂臀部長(CRL)を測定する段階と、をさらに含むことを特徴とする請求項6に記載の生体情報測定方法。
  8. 前記頭頂臀部長を測定する段階は、
    前記角度が正常範囲に属する場合、前記モデリング結果を利用して、前記対象体の頭頂臀部長を測定し、
    前記角度が正常範囲に属さない場合、前記角度が正常範囲に属するときの前記モデリング結果を推定し、前記推定されたモデリング結果を利用して、前記対象体の頭頂臀部長を測定する段階と、
    前記推定されたモデリング結果及び前記対象体の頭頂臀部長の測定結果をディスプレイする段階と、を含むことを特徴とする請求項7に記載の生体情報測定方法。
  9. 前記生体情報を測定する段階は、
    前記対象体の頭頂臀部長を測定する段階と、
    前記対象体のNT(nuchal translucency)及びIT(intracranial translucency)のうち少なくとも一つを測定する段階と、
    前記頭頂臀部長と、前記NTまたは前記ITとの相対的長さを計算する段階と、
    前記頭頂臀部長、NT及びITの測定結果をディスプレイする段階と、を含むことを特徴とする請求項6に記載の生体情報測定方法。
  10. 対象体の生体情報を測定するための端末装置において、
    前記対象体の映像を保存する保存部と、
    前記対象体の映像で、前記対象体の少なくとも1つの部位を区分するようにモデリングするモデリング・モジュール、及び前記モデリングした結果を利用して、生体情報を測定する測定モジュールを含む制御部と、を含むことを特徴とする端末装置。
  11. 前記端末装置は、ユーザから入力を受ける入力部をさらに含み、
    前記モデリング・モジュールは、ユーザの入力信号に基づいて、前記モデリング結果を修正することを特徴とする請求項10に記載の端末装置。
  12. 前記保存部は、
    少なくとも1つの生体情報の正常範囲に係わる情報を含む生体情報データを保存し、
    前記モデリング・モジュールは、
    前記生体情報の測定された値が正常範囲内に属さない場合、前記生体情報が正常範囲内に含まれるものと推定してモデリングし、
    前記測定モジュールは、
    前記生体情報の測定された値が正常範囲内に属さない場合、前記推定されたモデリング結果を利用して、前記生体情報を再び測定することを特徴とする請求項10に記載の端末装置。
  13. 前記制御部は、
    前記生体情報の再び測定された値及び前記モデリング結果を利用して、前記生体情報が測定された値との誤差率を計算する計算モジュールをさらに含むことを特徴とする請求項12に記載の端末装置。
  14. 前記測定モジュールは、
    前記モデリング結果を利用して、前記生体情報を測定するための関心領域を検出し、前記関心領域で、前記生体情報を測定し、
    前記端末装置は、
    前記検出された関心領域が他の部位と区別されるように出力し、前記関心領域で、前記生体情報の測定領域を出力する出力部をさらに含むことを特徴とする請求項10に記載の端末装置。
  15. 前記端末装置は、ユーザから入力を受ける入力部をさらに含み、
    前記測定モジュールは、ユーザ入力信号に基づいて、前記関心領域を修正することを特徴とする請求項14に記載の端末装置。
  16. 前記モデリング・モジュールは、
    前記対象体を胴体部と頭部とに区分してモデリングすることを特徴とする請求項10に記載の端末装置。
  17. 前記モデリング・モジュールは、
    頭部部位に含まれた少なくとも1つの特徴点を検出し、前記少なくとも1つの特徴点を利用して、中心軸を設定することを特徴とする請求項16に記載の端末装置。
  18. 前記保存部は、
    少なくとも1つの生体情報の正常範囲に係わる情報を含む生体情報情報データを保存し、
    前記測定モジュールは、
    前記対象体の胴体と頭部との間の角度を測定し、前記角度が正常範囲に属するか否かを判断し、前記判断結果によって、前記対象体の頭頂臀部長を測定し、
    前記端末装置は、
    前記推定されたモデリング結果及び前記対象体の頭頂臀部長の測定結果を出力する出力部をさらに含むことを特徴とする請求項16に記載の端末装置。
  19. 前記測定モジュールは、
    前記角度が正常範囲に属する場合、前記モデリング結果を利用して、前記対象体の頭頂臀部長を測定し、
    前記角度が正常範囲に属さない場合、前記角度が正常範囲に属するときの前記モデリング結果を推定し、前記推定されたモデリング結果を利用して、前記対象体の頭頂臀部長を測定することを特徴とする請求項18に記載の端末装置。
  20. 前記測定モジュールは、
    前記対象体の頭頂臀部長を測定し、NT及びITのうち少なくとも一つを測定し、
    前記制御部は、前記頭頂臀部長と、NTまたはITとの相対的長さを計算する計算モジュールをさらに含むことを特徴とする請求項19に記載の端末装置。
  21. 前記制御部は、
    モデリングまたは生体情報測定領域の抽出を自動的に行った後、ユーザの確認を受けるか否かを、ユーザ入力信号によって設定することができるユーザ・インターフェースを提供することを特徴とする請求項10に記載の端末装置。
  22. 前記制御部は、
    モデリング、生体情報測定領域抽出及びモデリング推定のうち少なくとも一つを、自動的にあるいは手動で測定するか、ユーザ入力信号によって設定することができるユーザ・インターフェースを提供することを請求項10に記載の特徴とする端末装置。
JP2012285606A 2012-01-04 2012-12-27 対象体の生体情報を測定する方法及びその装置 Expired - Fee Related JP5607713B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0001150 2012-01-04
KR1020120001150A KR101971622B1 (ko) 2012-01-04 2012-01-04 대상체의 생체 정보를 측정하는 방법 및 장치

Publications (2)

Publication Number Publication Date
JP2013138869A true JP2013138869A (ja) 2013-07-18
JP5607713B2 JP5607713B2 (ja) 2014-10-15

Family

ID=47845702

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012285606A Expired - Fee Related JP5607713B2 (ja) 2012-01-04 2012-12-27 対象体の生体情報を測定する方法及びその装置

Country Status (9)

Country Link
US (1) US9881125B2 (ja)
EP (1) EP2612596B1 (ja)
JP (1) JP5607713B2 (ja)
KR (1) KR101971622B1 (ja)
CN (1) CN103211615B (ja)
BR (1) BR102013000020B1 (ja)
CA (1) CA2800419C (ja)
MX (1) MX337277B (ja)
TW (1) TWI581766B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017073197A1 (ja) * 2015-10-30 2018-08-09 株式会社日立製作所 超音波診断装置、及び方法
JP2018157961A (ja) * 2017-03-23 2018-10-11 株式会社日立製作所 超音波画像処理装置及び方法
JP2019526357A (ja) * 2016-09-01 2019-09-19 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 超音波診断装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014202893A1 (de) * 2014-02-18 2015-08-20 Siemens Aktiengesellschaft Verfahren zur Bedienung einer Bildgebungsmodalität und Bildgebungsmodalität
KR102289393B1 (ko) 2014-07-11 2021-08-13 삼성메디슨 주식회사 영상 장치 및 그 제어방법
KR102312270B1 (ko) * 2014-08-25 2021-10-14 삼성메디슨 주식회사 초음파 진단장치, 방법 및 컴퓨터 판독 가능한 저장매체
US9612664B2 (en) 2014-12-01 2017-04-04 Logitech Europe S.A. Keyboard with touch sensitive element
CN104765558A (zh) * 2015-03-24 2015-07-08 苏州佳世达电通有限公司 超音波装置及其控制方法
CN110507358B (zh) * 2018-05-21 2022-01-11 珠海艾博罗生物技术股份有限公司 一种从超声图像上测量胎儿颈背透明物厚度的图像处理方法及系统
KR102617378B1 (ko) * 2020-12-11 2023-12-27 알피니언메디칼시스템 주식회사 의료지표 측정방법 및 이를 위한 초음파 진단장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5605155A (en) * 1996-03-29 1997-02-25 University Of Washington Ultrasound system for automatically measuring fetal head size
JP2003216959A (ja) * 2002-01-22 2003-07-31 Toppan Printing Co Ltd 輪郭抽出方法及びその装置及びそのプログラム
JP2006288964A (ja) * 2005-04-14 2006-10-26 Matsushita Electric Ind Co Ltd 超音波診断装置
JP2007508094A (ja) * 2003-10-17 2007-04-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ モデルベースの画像セグメンテーションのための手動ツール
JP2008183063A (ja) * 2007-01-26 2008-08-14 Toshiba Corp 医用画像診断装置、医用画像表示装置及びプログラム
JP2010187987A (ja) * 2009-02-19 2010-09-02 Toshiba Corp 超音波診断装置
JP2011240132A (ja) * 2010-05-17 2011-12-01 Samsung Medison Co Ltd 図形テンプレートを用いて映像を測定する超音波診断装置およびその映像の表示方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5605166A (en) 1995-11-13 1997-02-25 Chou; Kuo-Hua Hair clip
JP3295631B2 (ja) * 1997-11-17 2002-06-24 ジーイー横河メディカルシステム株式会社 超音波診断装置、カーソル表示方法および計測装置
JP4614548B2 (ja) * 2001-01-31 2011-01-19 パナソニック株式会社 超音波診断装置
WO2009136332A2 (en) 2008-05-09 2009-11-12 Koninklijke Philips Electronics N.V. Automatic ultrasonic measurement of nuchal fold translucency

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5605155A (en) * 1996-03-29 1997-02-25 University Of Washington Ultrasound system for automatically measuring fetal head size
JP2003216959A (ja) * 2002-01-22 2003-07-31 Toppan Printing Co Ltd 輪郭抽出方法及びその装置及びそのプログラム
JP2007508094A (ja) * 2003-10-17 2007-04-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ モデルベースの画像セグメンテーションのための手動ツール
JP2006288964A (ja) * 2005-04-14 2006-10-26 Matsushita Electric Ind Co Ltd 超音波診断装置
JP2008183063A (ja) * 2007-01-26 2008-08-14 Toshiba Corp 医用画像診断装置、医用画像表示装置及びプログラム
JP2010187987A (ja) * 2009-02-19 2010-09-02 Toshiba Corp 超音波診断装置
JP2011240132A (ja) * 2010-05-17 2011-12-01 Samsung Medison Co Ltd 図形テンプレートを用いて映像を測定する超音波診断装置およびその映像の表示方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017073197A1 (ja) * 2015-10-30 2018-08-09 株式会社日立製作所 超音波診断装置、及び方法
JP2019526357A (ja) * 2016-09-01 2019-09-19 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 超音波診断装置
JP7107918B2 (ja) 2016-09-01 2022-07-27 コーニンクレッカ フィリップス エヌ ヴェ 超音波診断装置
JP2022111140A (ja) * 2016-09-01 2022-07-29 コーニンクレッカ フィリップス エヌ ヴェ 超音波診断装置
JP7333448B2 (ja) 2016-09-01 2023-08-24 コーニンクレッカ フィリップス エヌ ヴェ 超音波診断装置
JP2018157961A (ja) * 2017-03-23 2018-10-11 株式会社日立製作所 超音波画像処理装置及び方法

Also Published As

Publication number Publication date
BR102013000020A2 (pt) 2015-07-14
MX337277B (es) 2016-02-23
CA2800419C (en) 2017-02-28
TWI581766B (zh) 2017-05-11
BR102013000020B1 (pt) 2021-11-16
EP2612596B1 (en) 2017-09-13
KR101971622B1 (ko) 2019-08-13
CN103211615A (zh) 2013-07-24
CA2800419A1 (en) 2013-07-04
KR20130080312A (ko) 2013-07-12
MX2013000151A (es) 2013-07-16
CN103211615B (zh) 2016-02-24
JP5607713B2 (ja) 2014-10-15
TW201332520A (zh) 2013-08-16
US20130173175A1 (en) 2013-07-04
US9881125B2 (en) 2018-01-30
EP2612596A1 (en) 2013-07-10

Similar Documents

Publication Publication Date Title
JP5607713B2 (ja) 対象体の生体情報を測定する方法及びその装置
US10424067B2 (en) Image processing apparatus, image processing method and storage medium
KR102250094B1 (ko) 모바일 장치의 기능 수행 방법 및 모바일 장치
US10198668B2 (en) Apparatus and method for supporting computer aided diagnosis (CAD) based on probe speed
US20140371591A1 (en) Method for automatically detecting mid-sagittal plane by using ultrasound image and apparatus thereof
BR112015025074B1 (pt) Sistema de imageamento por ultrassom e método para gerar e avaliar vistas bidimensionais padrão a partir de dados de volume ultrassônico tridimensional
JP2016509913A5 (ja)
BR102016006230A2 (pt) aparelho de ultrassonografia e método de processamento de imagem de ultrassom do mesmo
KR102258800B1 (ko) 초음파 진단장치 및 그에 따른 초음파 진단 방법
KR102214652B1 (ko) 이미지 분석 장치 및 이미지 분석 방법
KR101495083B1 (ko) 바디마커 제공 방법 및 그를 위한 초음파 진단 장치
JP2021533920A (ja) バイオメトリック測定及び品質評価
EP3413794B1 (en) Systems and methods for determining the location and orientation of implanted devices
US20200069374A1 (en) Surgical support device and surgical navigation system
US11160610B2 (en) Systems and methods for soft tissue navigation
EP2613291A1 (en) Method and apparatus for displaying medical image
JP2013198738A (ja) 超音波装置のユーザにデータを提供する装置及びその方法
US20240074738A1 (en) Ultrasound image-based identification of anatomical scan window, probe orientation, and/or patient position
US20220395334A1 (en) Systems and methods for guiding surgical procedures
US20210287434A1 (en) System and methods for updating an anatomical 3d model
JP2012081167A5 (ja)
CN112384146B (zh) 从若干超声图像识别最佳图像
US20240242846A1 (en) Device and method for generating virtual pneumoperitoneum model of patient
EP4379740A1 (en) Device and method for generating virtual pneumoperitoneum model of patient
CN112384146A (zh) 从若干超声图像识别最佳图像

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130731

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140729

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140828

R150 Certificate of patent or registration of utility model

Ref document number: 5607713

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees