JP2005003366A - 状態解析装置 - Google Patents

状態解析装置 Download PDF

Info

Publication number
JP2005003366A
JP2005003366A JP2003163502A JP2003163502A JP2005003366A JP 2005003366 A JP2005003366 A JP 2005003366A JP 2003163502 A JP2003163502 A JP 2003163502A JP 2003163502 A JP2003163502 A JP 2003163502A JP 2005003366 A JP2005003366 A JP 2005003366A
Authority
JP
Japan
Prior art keywords
movement
region
phase
person
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003163502A
Other languages
English (en)
Other versions
JP3764949B2 (ja
Inventor
Isao Sato
勲 佐藤
Tomofumi Nishiura
朋史 西浦
Masato Nakajima
真人 中島
Kazuhiro Mimura
一弘 味村
Yasuhiro Takemura
安弘 竹村
Kei Kato
圭 加藤
Toshiji Takei
利治 武居
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Osaka Cement Co Ltd
Keio University
Original Assignee
Sumitomo Osaka Cement Co Ltd
Keio University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2003163502A priority Critical patent/JP3764949B2/ja
Application filed by Sumitomo Osaka Cement Co Ltd, Keio University filed Critical Sumitomo Osaka Cement Co Ltd
Priority to US10/560,027 priority patent/US7545279B2/en
Priority to AU2004245814A priority patent/AU2004245814B2/en
Priority to PCT/JP2004/007716 priority patent/WO2004109227A1/ja
Priority to EP04745572A priority patent/EP1645840B1/en
Priority to DE602004024068T priority patent/DE602004024068D1/de
Priority to CA002528822A priority patent/CA2528822A1/en
Publication of JP2005003366A publication Critical patent/JP2005003366A/ja
Application granted granted Critical
Publication of JP3764949B2 publication Critical patent/JP3764949B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A61B5/1135Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing by monitoring thoracic expansion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0064Body surface scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • A61B5/4818Sleep apnoea

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Studio Devices (AREA)

Abstract

【課題】対象物の状態を容易且つ正確に把握できる状態解析装置を提供する。
【解決手段】対象領域に存在する対象物2の高さ方向の動きを複数の測定点で測定する三次元センサ10と、前記複数の動きの位相が略同位相である領域を形成する領域形成手段22とを備えた状態解析装置1とする。このようにすることで、対象物2の状態を容易且つ正確に把握できる状態解析装置1を提供できる。また、上記状態解析装置1では、領域形成手段22で形成された領域を含む情報を出力する情報出力手段40を備えることを特徴とするとよい。
【選択図】 図8

Description

【0001】
【発明の属する技術分野】
本発明は、状態解析装置に関し、特に対象物の状態を容易且つ正確に把握できる状態解析装置に関するものである。
【0002】
【従来の技術】
空間内、例えば風呂場やトイレ等での対象物、例えば人物の動きを検出する動き検出装置として、従来から、動き検出センサが提案されている。代表的な例としては、ベッド上の就寝者にパターンを投影し、投影されたパターンを連続的に撮像した画像からパターンの移動量を算出することで、就寝者の呼吸を監視する監視装置があった(例えば、特許文献1参照。)。
【0003】
【特許文献1】
特開2002−175582号公報 (第5−9頁、第1−13図)
【0004】
【発明が解決しようとする課題】
しかしながら以上のような従来の装置によれば、対象物の各部位の状態、例えば動きの方向を正確に把握しづらかった。
【0005】
そこで本発明は、対象物の状態を容易且つ正確に把握できる状態解析装置を提供することを目的としている。
【0006】
【課題を解決するための手段】
上記目的を達成するために、請求項1に係る発明による状態解析装置1は、例えば図1、図4に示すように、対象領域に存在する対象物2の高さ方向の動きを複数の測定点で測定する三次元センサ10と;前記複数の動きの位相が略同位相である領域を形成する領域形成手段22とを備えている。
【0007】
このように構成すると、三次元センサ10と、領域形成手段22とを備えるので、対象領域に存在する対象物2の高さ方向の動きを複数の測定点で測定し、測定した複数の動きの位相が略同位相である領域を形成するので、対象物の状態を容易且つ正確に把握できる状態解析装置を提供できる。
【0008】
また請求項2に記載のように、請求項1に記載の状態解析装置1では、領域形成手段22で形成された領域を含む情報を出力する情報出力手段40を備えることを特徴とするとよい。
【0009】
また請求項3に記載のように、請求項1又は請求項2に記載の状態解析装置1では、三次元センサ10は、対象領域にパターン光を投影する投影装置11と;前記パターン光が投影された対象領域を撮像する撮像装置12と;前記撮像された像上のパターンの移動を測定する測定手段14とを有し;前記測定されたパターンの移動に基づいて、対象物2の高さ方向の動きを複数の点で測定することを特徴とする。
【0010】
このように構成すると、投影装置11と、撮像装置12と、測定手段14とを有しており、パターン光が投影された対象領域を撮像し、前記撮像された像上のパターンの移動を測定して、さらに、前記測定されたパターンの移動に基づいて、対象物2の高さ方向の動きを複数の点で測定するので、単純な構成でありながら、正確に対象物2の高さ方向の動きを複数の点で測定できる。
【0011】
また請求項4に記載のように、請求項1乃至請求項3のいずれか1項に記載の状態解析装置1では、領域形成手段22は、所定の領域内の前記測定点について、前記動きの位相の種類が同一の種類の測定点の数が、所定値以上であれば、前記所定の領域が、前記種類の位相の動きがある領域とするように構成するとよい。
【0012】
このように構成すると、領域形成手段22は、所定の領域内の前記測定点について、前記動きの位相の種類が同一の種類の測定点の数が、所定値以上であれば、前記所定の領域が、前記種類の位相の動きがある領域とするので、例えば、対象物2の部位毎の動きの位相を識別できる。
【0013】
また請求項5に記載のように、請求項1乃至請求項3のいずれか1項に記載の状態解析装置1では、領域形成手段22は、所定の領域内の前記測定点について、前記動きの位相の種類が同一の種類の測定点を探索し、前記探索の結果に基づいて、前記動きの位相が略同位相である測定点群を形成し、前記形成された測定点群を前記動きの位相が略同位相である領域とするように構成してもよい。
【0014】
また請求項6に記載のように、請求項1乃至請求項5のいずれか1項に記載の状態解析装置1では、領域形成手段22により形成された領域に基づいて、対象物2の異常を判定する異常判定手段26を備えるとよい。
【0015】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号を付し、重複した説明は省略する。
【0016】
図1は、本発明による実施の形態である状態解析装置としての監視装置1の模式的外観図である。監視装置1は、対象領域に存在する対象物の高さ方向の動きを複数の測定点で測定する三次元センサ10と、監視装置1を制御する演算装置20とを含んで構成される。また監視装置1は、対象領域を監視するように構成されている。本実施の形態では、対象物は、呼吸をするものである。即ち対象物は、例えば人物や動物である。本実施の形態では、対象物は人物2として説明する。また本実施の形態では、対象領域はベッド3上である。また、三次元センサ10は、対象領域内の各測定点での高さも測定できるものでもある。
【0017】
また、図中ベッド3上に、人物2が横たわって存在している。また、人物2の上には、さらに寝具4がかけられており、人物2の一部と、ベッド3の一部とを覆っている。この場合には、三次元センサ10は、寝具4の上面の高さ方向の動きを測定している。また寝具4を使用しない場合には、三次元センサ10は、人物2そのものの高さ方向の動きを測定する。
【0018】
また、ベッド3の上部には、三次元センサ10が配置されている。三次元センサ10については後で詳述する。なお、図示では、三次元センサ10と演算装置20とは別体として示してあるが、一体に構成してもよい。このようにすると、監視装置1を小型化することができる。演算装置20は、典型的にはパソコン等のコンピュータである。
【0019】
図2の模式的外観図を参照して、三次元センサ10について説明する。本実施の形態では、三次元センサ10は、後述するFGセンサを用いる場合で説明する。以下、三次元センサ10をFGセンサ10として説明する。FGセンサ10は、対象領域即ちベッド3上にパターン光を投影する投影装置11と、パターン光が投影されたベッド3上を撮像する撮像装置12と、撮像装置12で撮像された像上のパターンの移動を測定する測定手段としての測定装置14とを含んで構成される。さらに測定装置14は、測定されたパターンの移動に基づいて、人物2の高さ方向の動きを複数の点で測定するように構成される。また、投影装置11と、撮像装置12は、測定装置14に電気的に接続され、測定装置14に制御されている。なお、本実施の形態では、測定装置14は、演算装置20と一体に構成される。またここでは、投影されるパターン光は、複数の輝点である。そして、ベッド3上に投影された複数の輝点は、ベッド3上の複数の測定点にそれぞれ対応する。また、撮像装置12は、典型的にはCCDカメラである。以下、各構成について説明する。
【0020】
図3の模式的斜視図を参照して、監視装置1に適した投影装置11について説明する。なおここでは、説明のために、対象領域を平面102とし、後述のレーザ光束L1を平面102に対して垂直に投射する場合で説明する。投影装置11は、可干渉性の光束を発生する光束発生手段としての光束発生部105と、ファイバーグレーティング120(以下、単にグレーティング120という)とを備えている。光束発生部105により投射される可干渉性の光束は、典型的には赤外光レーザである。光束発生部105は、平行光束を発生するように構成されている。光束発生部105は、典型的には不図示のコリメータレンズを含んで構成される半導体レーザ装置であり、発生される平行光束は、レーザ光束L1である。そしてレーザ光束L1は、断面が略円形状の光束である。ここで平行光束とは、実質的に平行であればよく、平行に近い光束も含む。
【0021】
またここでは、グレーティング120は、平面102に平行に(Z軸に直角に)配置される。グレーティング120に、レーザ光L1を、Z軸方向に入射させる。するとレーザ光L1は、個々の光ファイバー121により、そのレンズ効果を持つ面内で集光したのち、発散波となって広がって行き、干渉して、投影面である平面102に複数の輝点アレイであるパターン11aが投影される。なお、グレーティング120を平面102に平行に配置するとは、例えば、グレーティング120を構成するFG素子122の各光ファイバー121の軸線を含む平面と、平面102とが平行になるように配置することである。
【0022】
また、グレーティング120は、2つのFG素子122を含んで構成される。本実施の形態では、各FG素子122の平面は、互いに平行である。以下、各FG素子122の平面を素子平面という。また、本実施の形態では、2つのFG素子122の光ファイバー121の軸線は、互いにほぼ直交している。
【0023】
FG素子122は、例えば、直径が数10ミクロン、長さ10mm程度の光ファイバー121を数10〜数100本程度、平行にシート状に並べて構成したものである。また、2つのFG素子122は、接触して配置してもよいし、それぞれの素子平面の法線方向に距離を空けて配置してもよい。この場合には、2つのFG素子122の互いの距離は、パターン11aの投影に差支えない程度とする。レーザ光束L1は、典型的には、グレーティング122の素子平面に対して垂直に入射させる。
【0024】
このように、投影装置11は、2つのFG素子122を含んで構成されたグレーティング120が光学系となるので、複雑な光学系を必要とすることなく、光学筐体を小型化できる。さらに投影装置11は、グレーティング120を用いることで、単純な構成で、複数の輝点11bをパターン11aとして対象領域に投影できる。なお、パターン11aは、典型的には正方格子状に配列された複数の輝点11bである。また、輝点の形状は楕円形を含む略円形である。
【0025】
図2に戻って説明する。撮像装置12は、結像光学系12a(図5参照)と撮像素子15(図5参照)を有するものである。撮像素子15は、典型的にはCCD撮像素子である。また、撮像素子15として、CCDの他にCMOS構造の素子が最近盛んに発表されており、それらも当然使用可能である。特にこれらの中には、素子自体にフレーム間差算や二値化の機能を備えたものがあり、これらの素子の使用は好適である。
【0026】
撮像装置12は、前述の光束発生部105(図3参照)により発生されるレーザ光束L1の波長の周辺部以外の波長の光を減光するフィルタ12b(図5参照)を備えるとよい。フィルタ12bは、典型的には干渉フィルタ等の光学フィルタであり、結像光学系12aの光軸上に配置するとよい。このようにすると、撮像装置12は、撮像素子15に受光する光のうち、投影装置11より投影されたパターン11aの光の強度が相対的にあがるので、外乱光による影響を軽減できる。また、光束発生部105により発生されるレーザ光束L1は、典型的には赤外光レーザの光束である。また、レーザ光L1は、継続的に照射してもよいし、断続的に照射してもよい。断続的に照射する場合には、撮像装置12による撮像を、照射のタイミングに同期させて行うようにする。
【0027】
ここで、FGセンサ10の設置例について説明する。投影装置11と、撮像装置12は、ベッド3の上方に配置されている。図示では、人物2のおよそ頭部上方に撮像装置12が、ベッド3のおよそ中央部上方に投影装置11が配置されている。投影装置11は、ベッド3上にパターン11aを投影している。また、撮像装置12の画角は、およそベッド3の中央部分を撮像できるように設定されいる。
【0028】
投影装置11は、ここでは、その光軸(レーザ光束L1の投射方向)を、図示のように、ベッド3の上面の垂直方向対して、およそ平行方向に設置する。なおここでは、上記のように、投影装置11は、その光軸をベッド3の上面の垂直方向に対しておよそ平行方向に設置するが、前記垂直方向に対して、傾けて設置してもよい。
【0029】
またここでは、撮像装置12は、その光軸をベッド3の上面の垂直方向に対して、傾けて設置する。このようにすることで、例えば撮像装置12と投影装置11との距離を離して設置することが容易に行える。言い換えれば、三角測量法の基線長を長く取ることが容易に行える。なおここでは、上記のように、撮像装置12は、その光軸をベッド3の上面の垂直方向に対して傾けて設置するが、投影装置11と同様に、その光軸をベッド3の上面の垂直方向に対し、およそ平行方向に設置してもよい。さらに、投影装置11と撮像装置12は、それぞれの光軸を、互いに平行方向に向けて設置してもよい。
【0030】
また、投影装置11と撮像装置12とは、ある程度距離を離して設置するとよい。このようにすることで、図5で後述する距離d(基線長d)が長くなるので、変化を敏感に検出できるようになる。なお、基線長は長く取ることが好ましいが、短くてもよい。但しこの場合には、呼吸等の小さな動きを検出しにくくなるが、後述のように、輝点の重心位置を検出するようにすれば、小さな動き(呼吸)の検出も可能である。
【0031】
図4のブロック図を参照して、監視装置1の構成例について説明する。前述のように、演算装置20は、測定装置14と一体に構成されている。さらに言えば、測定装置14は、後述の制御部21に一体に構成される。そして投影装置11と、撮像装置12は、前述のように、測定装置14に電気的に接続されており、制御されている。本実施の形態では、演算装置20は、投影装置11と、撮像装置12に対し遠隔的に配置されている。具体的には、例えば、ベッド3の脇や、ベッド3が設置されている部屋とは別の部屋、さらに言えばナースステーション等に設置される。
【0032】
まず測定装置14について説明する。測定装置14は、前述のように、撮像装置12で撮像された像上のパターンの移動を測定するものであり、さらに測定されたパターンの移動に基づいて、人物2の高さ方向の動きを複数の点で測定するものである。測定装置14は、撮像装置12で撮像した像を取得できるように構成されている。さらに測定装置14は、撮像装置12により撮像された像上の各輝点の移動を測定するように構成されている。なおここでは、投影された輝点も撮像された像上の輝点の像も、便宜上単に輝点という。またここでは、輝点の移動を測定するとは、輝点の移動の量(以下移動量という)を測定することをいう。
【0033】
ここで、測定装置14による輝点の移動の測定について詳述する。測定装置14は、撮像装置12から取得した異なる2時点の像に基づいて、輝点の移動を測定するように構成されている。
【0034】
ここで、異なる2時点の像に基づく、輝点の移動の測定について説明する。異なる2時点の像は、任意の時点とそのわずかに前の時点とするとよい。わずかに前とは、人物2の動きを検出するのに十分な時間間隔だけ前であればよい。この場合、人物2のわずかな動きも検出したいときは短く、例えば人物2の動きが大きくなり過ぎず、実質的にはほぼ動き無しとみなせる程度の時間、例えば0.1秒程度とすればよい。あるいはテレビ周期の1〜10周期(1/30〜1/3)とするとよい。また、人物2の大まかな動きを検出したいときは長く、例えば10秒程度としてもよい。但し、本実施の形態のように、人物2の呼吸も検出する場合では長くし過ぎると、正確な呼吸の検出が行えなくなるので、例えば1分などにするのは適切でない。以下、任意の時点(現在)で取得した像を取得像、取得像よりわずかに前(過去)に取得した像を参照像として説明する。なお、参照像は、記憶部31内に保存される。本実施の形態では、異なる2時点の像は、取得像(Nフレーム)と、取得像の1つ前に取得した像(N−1フレーム)とする。即ち参照像は、取得像の1つ前に取得した像である。また、像の取得間隔は、例えば装置の処理速度や、上述のように検出したい動きの内容により適宜決めるとよいが、例えば0.1〜3秒、好ましくは0.1〜0.5秒程度とするとよい。また、より短い時間間隔で像を取得し、平均化またはフィルタリングの処理を行うことで、例えばランダムノイズの影響を低減できるので有効である。
【0035】
なお、任意の時点とそのわずかに前の時点の異なる2時点の像に基づく、輝点の移動の測定で得られる波形(例えば輝点の移動量の総和など)は、距離の微分波形、即ち速度変化を表す波形になる。また例えば、高さ変化を表すような波形を得たいときは、前記波形を積分すれば距離の波形、即ち高さ変化を示す波形になる。
【0036】
ここで、取得像と参照像は、例えば撮像装置12により撮像された像であるが、それぞれの像上での、輝点の位置情報も含む概念である。即ち、取得像と参照像は、各々の時点で、投影装置11の投影により形成されたパターン11aの像である。なお、本実施の形態では、参照像は、例えば、いわゆる像としてではなく、各輝点の位置に関する、座標等の位置情報の形で、記憶部31に保存される。このようにすると、後述する輝点の移動量を測定する際に、例えば輝点の座標や方向を比較するだけで済むので処理が単純になる。さらに、ここでは、輝点の位置は、輝点の重心位置とする。このようにすることで、僅かな輝点の移動も測定することができる。
【0037】
また、輝点の移動量は、前述のように、記憶部31に保存された参照像上の各輝点の位置情報と、取得像上の各輝点の位置情報とを比較することで、輝点の移動量を測定する。なお、それぞれの移動量は、例えば、輝点の位置が移動した画素数(何画素移動したか)を計数することで求められる。測定される輝点の移動量は、輝点の移動方向を含む概念である。即ち、測定される輝点の移動量には、移動した方向の情報も含まれる。このようにすると、後述のように、差分像を生成しないで済むので処理を単純化できる。
【0038】
なお上記では、輝点の位置情報を比較する場合で説明したが、参照像と取得像との差分像を作成してもよい。この場合、この差分像から対応する輝点の位置に基づいて、輝点の移動量を測定する。このようにすると、移動した輝点のみが差分像上に残るので、処理量を減らすことができる。
【0039】
さらに、測定装置14により測定された輝点の移動量は、過去一定回数測定された、または過去一定期間内に測定された輝点の移動量の移動平均値、または期間平均値としてもよい。このようにすることで、ランダムノイズや窓から差し込む日光のちらつきなどによる突発的なノイズが軽減でき、測定した輝点の移動量の信頼性が向上する。
【0040】
測定装置14は、以上のような、輝点の移動の測定を、パターン11aを形成する各輝点毎に行うように構成される。即ち複数の輝点の位置が複数の測定点となる。測定装置14は、パターン11aを形成する各輝点毎に測定した輝点の移動、即ち測定した輝点の移動量を測定結果として制御部21へ出力する。即ち、測定結果は、異なる2時点の像に基づいて測定した輝点の移動量である。この測定結果は図5で後述するように、各輝点(測定点)での対象物ここでは人物2の高さ方向の動きに対応している。以下、この測定結果を動き情報と呼ぶ。測定装置14は、各測定点での前記測定結果を動き情報として出力する。なお、人物2の高さ方向の動きは、例えば人物2の呼吸に伴う動きである。
【0041】
ここで、図5の概念的斜視図を参照して、輝点の移動の概念について説明する。ここでは、判りやすく、対象領域を平面102、対象物を物体103として説明する。さらにここでは、説明のために、参照像は、物体103が平面102に存在しないときのパターン11aの像であり、取得像は、物体103が平面102に存在しているときのパターン11aとして説明する。
【0042】
図中物体103が、平面102上に載置されている。またXY軸を平面102内に置くように、直交座標系XYZがとられており、物体103はXY座標系の第1象限に置かれている。一方、図中Z軸上で平面102の上方には、投影装置11と、撮像装置12とが配置されている。撮像装置12は、投影装置11によりパターン11aが投影された平面102を撮像する。即ち平面102上に載置された物体103を撮像する。
【0043】
撮像装置12の結像光学系としての結像レンズ12aは、ここでは、その光軸がZ軸に一致するように配置されている。そして、結像レンズ12aは、平面102あるいは物体103上のパターン11aの像を、撮像装置12の撮像素子15の結像面15’(イメージプレーン)に結像する。結像面15’は、典型的にはZ軸に直交する面である。さらに、結像面15’内にxy直交座標系をとり、Z軸が、xy座標系の原点を通るようにする。平面102から結像レンズ12aと等距離で、結像レンズ12aからY軸の負の方向に距離d(基線長d)だけ離れたところに、投影装置11が配置されている。物体103と平面102には、投影装置11により複数の輝点11bが形成するパターン11aが投影される。なお、y軸方向は、三角測量法の基線方向でもある。
【0044】
投影装置11により平面102に投影されたパターン11aは、物体103が存在する部分では、物体103に遮られ平面102には到達しない。ここで物体103が存在していれば、平面102上の点102aに投射されるべき輝点11bは、物体103上の点103aに投射される。輝点11bが点102aから点103aに移動したことにより、また結像レンズ12aと投影装置11とが距離d(基線長d)だけ離れているところから、結像面15’上では、点102a’(x,y)に結像すべきところが点103a’(x,y+δ)に結像する。即ち、物体103が存在しない時点と物体103が存在する時点とは、輝点11bの像がy軸方向に距離δだけ移動することになる。
【0045】
これは、例えば図6に示すように、撮像素子15の結像面15’に結像した輝点は、高さのある物体103により、δだけy軸方向に移動することになる。
【0046】
このように、この輝点の移動量δを測定することにより、物体103上の点103aの位置が三次元的に特定できる。即ち、例えば点103aの高さがわかる。このように、ある点が、物体103が存在しなければ結像面15’上に結像すべき点と、結像面15’上の実際の結像位置との差を測定することにより、物体103の高さの分布、言い換えれば三次元形状が測定できる。あるいは物体103の三次元座標が測定できる。また、輝点11bの対応関係が不明にならない程度に、パターン11aのピッチ、即ち輝点11bのピッチを細かくすれば、物体103の高さの分布はそれだけ詳細に測定できることになる。
【0047】
以上のような概念に基づいて、測定装置14は、輝点の移動量を測定することで対象物の高さが測定できる。但しここでは、取得像と、取得像の1つ前に取得した像即ち参照像に基づいて、高さ方向の動きを測定するので、輝点の移動の変化量を見ることになる。このため、例えば人物2の絶対的な高さは測定できなくなるが、人物2の高さ方向の動きを検出することが目的であるので問題は無い。
【0048】
図4に戻って、演算装置20について説明する。演算装置20は、監視装置1を制御する制御部21を有している。さらに制御部21には、記憶部31が接続されている。記憶部31は、撮像装置12から取得した像を時系列的に記憶するようにするとよい。また記憶部31には算出された情報等のデータが記憶できる。
【0049】
制御部21には、後述の領域形成部22で形成された領域を含む情報を出力する情報出力手段としてのディスプレイ40が接続されている。ディスプレイ40は典型的にはLCDである。ディスプレイ40は、領域形成部22で形成された領域を含む情報を表示することにより出力する。領域形成部22で形成された領域を含む情報は、例えば、後述するような動きの位相の異なる領域の有無、同位相の領域の大きさ、位置であり、さらに本実施の形態のように呼吸を検出する場合には、領域毎の人物2の動きの波形やその振幅である。なお、本実施の形態では、領域形成部22で形成された領域を含む情報は、後述の解析情報である。
【0050】
また制御部21には、監視装置1を操作するための情報を入力する入力装置35が接続されている。入力装置35は例えばタッチパネル、キーボードあるいはマウスである。本図では、入力装置35は、演算装置20に外付けするものとして図示されているが、内蔵されていてもよい。
【0051】
さらに、制御部21内には、測定装置14で測定された複数の動きの位相が略同位相である領域を形成する領域形成手段としての領域形成部22と、領域形成部22で形成された領域を含む情報としての解析情報を生成する出力情報生成部24とが備えられている。さらにここでは、制御部21内には、人物2の形状を認識できる形状情報を生成する形状情報生成手段としての三次元形状生成部23が備えられている。なおここでは、出力情報生成部24は、三次元形状生成部23で生成された形状情報に、領域形成部22で形成された領域を重ねて表示するように解析情報を生成する場合で説明する。以下、上記各構成について詳細に説明する。
【0052】
領域形成部22は、測定装置14での測定結果である動き情報から複数の測定点の動きの位相が略同位相である領域を形成するように構成される。ここでは、位相とは、動きの方向を含む概念であり、略同位相(以下単に同位相という)とは、単に動きの方向が一致していることを含む概念である。さらにここでは、領域形成部22による同位相であるかの識別は、測定装置14により各測定点で測定された動きが、上方向の動きであるか、又は下方向の動きであるかで識別する。即ち、識別された同位相の測定点により、同位相の領域が形成される。
【0053】
さらに領域形成部22は、所定の領域内の測定点について、動きの位相の種類が同一の種類の測定点の数が、所定値以上であれば、前記所定の領域が、前記種類の位相の動きがある領域とするように構成される。所定値は、例えば所定の領域内の存在する測定点の数の1/5〜1/20程度、好ましくは1/10程度の数(値)である。
【0054】
具体的な例としては、領域形成部22は、まず、形成したい領域の動きの位相を決定する。ここではまず位相が上方向の領域から形成する。なお前述したが、ここでは各輝点が測定点に当る。次に、1つの測定点に注目し、この注目測定点の輝点の移動量が所定の値以上であり、人物2の動きの位相が上方向であれば、この注目測定点を含む領域を、所定の領域としての探索エリアとして設定する。ここでは、探索エリアの大きさは、測定点を、例えば9〜25個程度含む大きさである。また、前記所定の値は後述の第1の閾値Th1とする。
【0055】
そして、探索エリア内の測定点のうち、輝点の移動量が第1の閾値Th1以上であり、動きの位相が上方向である測定点の数が所定値以上であれば、この所定の領域を上方向の動きがある領域とし、この探索エリアをラベリングする。次に、この探索エリア外の測定点の1つに注目し、上記と同様な処理を行う。これを、注目する測定点が無くなるまで行う。言い換えれば、全ての測定点について、輝点の移動量が所定の値以上であり、動きの位相が上方向であるかの確認が行われるまで繰り返す。この結果、ラベリングされた探索エリアが複数存在し、各々の探索エリアが隣接している場合には、隣接した探索エリアを接続し、再度ラベリングする。以上のように、人物2の動きの位相が上方向の場合の処理が終了したら、次に人物2の動きの位相が下方向の場合の処理を、上記上方向の場合と同様に行う。このようにして、領域形成部22は、人物2で上方向の動きの領域と、下方向の動きの領域を形成する。即ち、動きの位相が上方向と、下方向との両方又はいずれか一方の領域が形成できる。このように、領域形成部22による動きが同位相の領域を形成することにより、人物2の身体上のどの部位が、上方向又は下方向の動きをしているかを知ることが可能である。
【0056】
また、領域形成部22は、所定の領域内の測定点について、動きの位相の種類が同一の種類の測定点を探索し、この探索の結果に基づいて、動きの位相が同位相である測定点群を形成し、このように形成された測定点群を動きの位相が同位相である領域とするように構成してもよい。
【0057】
このような場合の具体的な例としては、領域形成部22は、まず同様に、形成したい領域の動きの位相を決定する。ここではまず位相が上方向の領域から形成する。次に、1つの測定点に注目し、この注目測定点を含む領域を、所定の領域としての探索エリアとして設定する。探索エリアの大きさは、ここでは、測定点を数個、例えば4〜9個程度含む大きさである。そして、この探索エリア内で、動きの位相が上方向である測定点を探索する。
【0058】
そして、探索エリア内の測定点のうち、動きの位相が上方向である測定点があれば、注目測定点と同一のラベリングを行い、この測定点を新たな注目測定点として、探索エリアを設定する。そして再び、探索エリア内の測定点のうち、位相が上方向である測定点を探索し、もしあれば、同一のラベリングを行なう。また、探索エリア内に、動きの位相が上方向である測定点が見つからなかったら探索を中止する。但し、探索エリア内に複数動きの位相が上方向である測定点があれば、それぞれの測定点について、この測定点を新たな注目測定点として、探索エリアを設定する。このような探索エリアの設定、位相が上方向である測定点の探索、ラベリングを繰り返すことで、動きの位相が上方向である測定点の測定点群が形成される。
【0059】
さらに、一度も注目測定点になっておらず、且つ測定点群に含まれない測定点を注目測定点として、同様にラベリングを行う。この際には、先のラベルとは区別できるようにラベリングする(例えば名前を変える)。さらに、以上を繰り返し、一度も注目測定点になっておらず、且つ形成された測定点群に含まれない測定点が無くなったら、動きの位相が上方向である測定点を探索を終了する。言い換えればラベリングを終了する。このように形成された各測定点群を動きの位相が上方向である領域とする。またさらに、このように形成された測定点群の内、含まれる測定点の数が最大の測定点群を動きの位相が上方向である領域としてもよい。そしてさらに、動きの位相が下方向の場合の処理を、上記上方向の場合と同様に行うことで、動きの位相が同位相の領域を形成できる。即ち、動きの位相が上方向と、下方向との両方又はいずれか一方の領域が形成できる。
【0060】
さらに、領域形成部22は、形成した領域に基づいて、動きの位相が反転する境界を演算できるように構成されている。この境界の演算は、上述した領域の形成で、人物2で上方向の動きの領域と、下方向の動きの領域との両方が形成されたときに行うように構成されている。以下、境界の演算について具体的に説明する。なおここでは境界は、線の場合で説明する。即ち領域形成部22は、境界線を演算する。
【0061】
まず、領域形成部22は、上記の領域の形成により、形成された領域のうち、動きの位相の種類が同一即ち同位相の動きの測定点の数が最大の領域を識別する。この最大の領域の識別は、各位相毎に識別する。即ちここでは、動きの位相が上方向、下方向のでそれぞれ最大の領域を識別する。そして、識別した最大の領域内の測定点の平均座標を算出する。これを識別した各最大の領域即ち上方向の位相の領域と下方向の位相の領域について行う。次に算出した各平均座標の中間点を算出し、この中間点を境界点とする。ここでは、この境界点を通る直線で、図2の基線方向と垂直な方向の直線を境界線とする。なお、この境界線は、後述の動きの判別で、人物2の腹部と胸部の境界線として用いる。
【0062】
三次元形状生成部23は、前述のように、人物2の形状を認識できる形状情報を生成するものである。なお、三次元形状生成部23により生成される形状情報は、例えば、人物2の三次元形状を表す画像であるが、単に人物2を撮像した画像であってもよい。さらには、人物2の身体の外形の概略を示した画像であってもよい。本実施の形態では、形状情報は、三次元形状を示す画像(以下単に三次元形状いう)の場合で説明する。
図7に、三次元形状の例を示す。なお、図示の三次元形状は、ディスプレイ40に表示された際の画像のイメージである。
【0063】
なお、三次元形状生成部23は、上述の三次元形状を、FGセンサ10の測定装置14の測定結果に基づいて生成するようにしてもよい。この場合には、測定装置14による輝点の移動量の測定で、異なる2時点の像を、任意の時点(現在)の像と、人物2がベッド3上に存在しない時点の像とするようにする。そして測定装置14は、このような異なる2時点の像に基づいて測定した各測定点での前記測定結果を高さ情報として出力する。そして、三次元形状生成部23は、測定装置14の測定結果である高さ情報に基づいて、三次元形状を生成する。
【0064】
なお、測定装置14での測定結果である高さ情報は、複数の測定点での人物2の高さに対応するものであるが、さらに高さ情報から実際に高さを算出する。この場合、高さ情報即ち各測定点での輝点の移動量に基づいて、三角測量法により、各測定点での人物2の高さを算出する。さらに言えば、ベッド3上からの高さを算出する。
【0065】
具体的には、高さに算出は、例えば投影装置11と撮像装置12との距離(基線長)をd、撮像素子15の結像レンズ12aの焦点距離をl(エル)、結像レンズ12aからベッド3上面までの距離をhとし、輝点の移動量がδであったとすと、次式(1)で行える。
Z=(h・δ)/(d・l+h・δ) ………(1)
【0066】
なおこの場合には、人物2の高さは、各測定点が間隔を空けて配置されているため、各測定点の間の位置の高さは判らない。このため、算出した各測定点での人物2の高さからそのまま三次元形状を生成したのでは、人物2の外形は判り辛い。これを補うために、三次元形状生成部23は、人物2の高さの不足部位について補間を行うようにする。このようにして得た人物2の高さを座標上に並べることで、例えば図7に示すような三次元形状を生成できる。
【0067】
次に、出力情報生成部24について説明する。出力情報生成部24は、三次元形状生成部23で生成された形状情報即ちここでは三次元形状に、領域形成部22で形成された領域を重ねて表示するための解析情報を生成するものである。生成された解析情報は、ディスプレイ40へ出力され、ディスプレイ40により表示される。出力情報生成部24は、三次元形状に、領域形成部22で形成された領域を、それぞれの座標(位置)が対応するように重ねた画像を解析情報として生成する。なお、後述の異常判定部26による判定結果も、生成される解析情報に含まれるものとする。
【0068】
ここで、図8の模式図を参照して、三次元形状に、形成された領域を重ねて表示する際の例言い換えれば生成される解析情報の例について説明する。なおここでは説明のために、生成された解析情報の例は、ディスプレイ40により表示される際の画像で示す。図示するように、図7で説明した三次元形状に、領域形成部22により形成された領域の位置を対応させて重ねる。このように三次元形状に、形成された領域を重ねる際には、形成された領域での動きの位相が識別できるようにする。なお、図8(a)は、人物2の腹部が下方向の動きをしている場合、さらに言えば腹式呼吸の呼気の場合を示している。また図8(b)は、人物2の胸部が上方向の動きをしている場合、さらに言えば胸式呼吸の吸気の場合を示している。
【0069】
さらにここでは、動きの位相が上方向と下方向との場合で、それぞれの位相の領域を、模様を変えて塗りつぶしているが、それぞれ色を変えるようにしてもよい(例えば上方向を青、下方向を赤のように)。また、例えば矢印(図中破線で表示)により、動きの位相を示すようにしてもよい。このようにすることで、人物2の身体上のどの部位が、上方向又は下方向の動きをしているかを容易に認識することが可能である。また、この際に波形の動きの変化の大きさによって、模様の色の濃さを変えたり、模様の幅を変えたり、矢印の太さ、長さを変えたりして表示すれば、さらに動きの変化がわかりやすい表示となる。さらに、動きの変化を積分した高さの変化データの場合も同様にして、例えば高くなっている部位は、その量を反映させて色を明るくしたり、矢印を長くしたりすることによって、高さの変化がわかりやすい表示となる。
【0070】
さらに、図9の模式図に示すように、領域形成部22により、境界を演算した場合には、この境界も三次元形状に重ねて、解析情報を生成する。なお、境界は境界線で示される。このようにすることで、例えば人物2の胸部と腹部の境界を認識することが容易に行える。これは、後述する睡眠時無呼吸症候群を診断する際に有効である。
【0071】
監視装置1は、このように生成した解析情報をディスプレイ40に表示することで、三次元形状に、領域形成部22で形成された領域を重ねて表示する。
【0072】
また以上では、形状情報は、例えば人物2の三次元形状を表す画像であるとして説明したが、比較的簡易なもの例えばフィルムに印刷した身体の外形の概略を示すイラストであってもよい。この場合にはこのフィルムをディスプレイ40の表示部分に重ねることで、ディスプレイ40により形状情報に形成された領域を重ねて表示することができる。なお、この場合には、三次元形状生成部23を備える必要はなく、また出力情報生成部24は、フィルムに印刷した身体の外形の概略を示すイラストに、領域形成部22で形成された領域を重ねて表示するための解析情報を生成する。
【0073】
図4に戻って説明する。さらに制御部21内には、領域形成部22により形成された領域に基づいて、人物2の動きの種類を判別する動き判別部25が備えられている。なお、動き判別部25は、FGセンサ10の測定装置14により複数の測定点で測定された人物2の高さ方向の動きに基づいても、人物2の動きの種類を判別する。さらに言えば、測定装置14より出力される動き情報に基づいて人物2の動きの種類を判別する。動き判別部25により判別される人物2の動きの種類は、典型的には呼吸、体動、動き無し(不動)である。即ち、動き判別部25は、領域形成部22により形成された領域と、測定装置14により複数の測定点で測定された人物2の高さ方向の動きに基づいて、人物2の呼吸を検出するように構成される。なお体動とは、人物2の体の動きであり、例えば立ったり座ったりといった動きの他、手足の動きを広く含む概念である。
【0074】
動き判別部25は、領域形成部22により形成された領域毎に人物2の動きを判別する。具体的には、動き判別部25は、測定装置14から出力される動き情報から、領域形成部22で形成された領域内の各測定点での輝点の移動量の平均値を算出する。なお、動き判別部25による人物2の動きの判別は、この平均値の絶対値が、第1の閾値Th1より小さいときには不動と判別し、第1の閾値Th1以上であり、第2の閾値Th2より小さいときには呼吸と判別し、さらに第2の閾値Th2以上のときには体動と判別するように設定されている。第1の閾値は、第2の閾値よりも小さい値である。第1の閾値Th1と第2の閾値Th2は、第1の閾値Th1と第2の閾値Th2との間の範囲に、人物2の呼吸の振幅に相当する輝点の移動量を含む範囲、例えば第1の閾値Th1が1mm程度、第2の閾値Th2が20mm程度の人物2の高さ変化に相当する輝点の移動量とするとよい。
【0075】
また、動き判別部25は、人物2の呼吸を判別した場合には、その呼吸を検出するように構成するとよい。動き判別部25による呼吸の検出は、前記平均値の時間変化の周期的変化の振幅と周期(周波数)の両方又はいずれか一方に所定の上限下限の閾値を設定し、この閾値と比較して呼吸か否かを判定し、呼吸を検出するようにしてもよい。周期の上限下限の閾値は、例えば人物の呼吸の周期を含む範囲、例えば、下限を毎分5サイクル、上限を毎分60サイクルに設定するとよい。ところで、大人の呼吸数は、毎分5〜30回程度の範囲にあるが、幼児の場合にはさらに呼吸数が多くなる傾向がある。また、振幅の上限下限は、上限を第2の閾値Th2、下限を第1の閾値Th1とする。これにより、検出された人物2の呼吸は、波形パターンを形成する。
図10は、呼吸の波形パターンの例を示した図である。
【0076】
さらに、動き判別部25は、呼吸数の検出を行うようにするとよい。呼吸数の検出は、例えば、動きが呼吸と判別された領域の輝点の移動量の総和の時間変化をフーリエ変換等のデータ処理を行うことで検出できる。
【0077】
さらに制御部21内には、測定装置14により測定された人物2の高さ方向の動きに基づいて、人物2の異常を判定する異常判定部26を備えている。さらに具体的に言えば、異常判定部26は、動き判別部25による人物2の呼吸の検出結果に基づいて、人物2の異常を判定する。また、異常判定部26は、領域形成部22により形成された領域に基づいて、人物2の異常を判定する異常判定手段でもある。なお、人物2の異常を判定するとは、ここでは人物2が危険な状態にあるか否かを判定することである。
【0078】
異常判定部26による人物2の危険な状態の判定基準は、以下のようなことを考慮して、設定するようにするとよい。例えば、動き判別部25により呼吸が検出されているときに、短時間に呼吸パターンの持つ周期が乱れた場合又は、呼吸パターンの持つ周期が急激に変化した場合には、例えば、自然気胸、気管支喘息などの肺疾患、うっ血性心不全などの心疾患、または、脳出血などの脳血管疾患であると推測できるので、危険な状態であると判定するように設定する。また、呼吸パターンの消失が続いた場合には、人物2の呼吸が停止したと推測できるので、危険な状態であると判定するように設定する。そして、短時間に呼吸パターンではなく人物2の体動が頻出した場合には、人物2が何らかの理由で苦しんで暴れているような状況が推測できるので、危険な状態であると判定するように設定する。
【0079】
図11を参照して、正常及び異常な呼吸パターンの例を説明する。正常な呼吸パターンは、図11(a)に示したような、周期的なパターンである。但し、大人の場合には、1分間の呼吸数として正常な範囲は、10〜20回程度である。異常な呼吸パターンは、例えば、チェーン−ストークス(Cheyne−Stokes)呼吸、中枢性過換気、失調性呼吸、カスマウル(Kussmul)の大呼吸など、生理学的に体内に障害が発生している場合に生じると考えられている呼吸パターンである。
【0080】
図11(b)に、Cheyne−Stokes呼吸の呼吸パターンを、図11(c)に中枢性過換気の呼吸パターンを、図11(d)に失調性呼吸の呼吸パターンをそれぞれ示す。
さらに図12に、上記の異常な呼吸パターンが発生した場合の、病名または疾患箇所について示す。
【0081】
異常判定部26は、それぞれの呼吸パターンの呼吸の周波数、出現回数、深浅が異なることを利用して、人物2の呼吸パターンが上記のいずれの呼吸パターンに属するかを判別し、人物2の危険な状態を判定するようにするとよい。また以上のような呼吸パターンを、記憶部31に保存しておくとよい。このようにすることで、これらのパターンと比較することで人物2の呼吸が正常であるか否かの判定が容易に行える。
【0082】
さらに異常判定部26は、人物2の呼吸が、生理学的に体内に障害が発生している場合に生じると考えられている呼吸パターンに属すると判定した場合に、人物2が異常な呼吸をしており危険な状態にあると判定する。生理学的に体内に障害が発生している湯合に生じると考えられている呼吸パターンとは、例えば図11で説明した呼吸パターンである。このように判定された人物2の危険な状態は、例えば、制御部21により出力装置36や不図示の警報装置に出力するとよい。また出力される内容は、検出された人物2の呼吸数(周期)や動きの頻度、異常な呼吸パターンの名称やその呼吸の原因となると考えられる病名、疾患器官、疾患箇所などである。
【0083】
また、異常判定部26は、領域形成部22により形成された領域毎の位相に基づいて人物2の異常を判定するように構成される。具体的には、領域形成部22で形成した領域で、人物2で上方向の動きの領域と、下方向の動きの領域との両方が形成されたときに、前記各領域の人物2の動きに基づいて、人物2の異常を判定する。これにより、以下に説明する睡眠時無呼吸症候群を判定することができる。
【0084】
ここで、睡眠時無呼吸症候群について説明する。睡眠時無呼吸症候群(SAS:Sleep Apnea Syndrome)とは睡眠中に頻繁に呼吸が止まる疾患のことであり、一晩(7時間)の睡眠中に10秒以上の無呼吸が30回以上、または睡眠1時間あたりの無呼吸が5回以上のものと定義されている。睡眠時無呼吸症候群は3種類に分類される。
【0085】
まず第1に、閉塞性睡眠時無呼吸症候群(OSAS:ObstructiveSleep Apnea Syndrome)は、胸腹壁は呼吸運動を行っているが、上気道の閉塞により鼻腔口腔気流が停止している状態、即ち無呼吸発作中も呼吸努力が認められるものである。なお、睡眠時無呼吸症候群患者の殆どは、閉塞性であると言われている。また肥満、脳血管障害、不整脈、呼吸不全、高血圧といった合併症を有している場合が多い。
【0086】
第2に、中枢性睡眠時無呼吸症候群(CSAS:Central Sleep Apnea Syndrome)は、気流とともに胸腹壁運動つまり呼吸運動そのものが停止するものである。なお、質性脳障害患者や循環器疾患の際にみられることが多く、閉塞性睡眠時無呼吸症候群に比べ、重篤な合併症が少ないのも特徴である。そして第3に、混合型睡眠時無呼吸症候群(Mixed Sleep Apnea Syndrome)は、中枢性無呼吸に始まり、その後、閉塞性に移行するタイプの無呼吸である。
図13に、閉塞性睡眠時無呼吸症候群と中枢性睡眠時無呼吸症候群の呼吸パーンの例を示す。
【0087】
図13に示すように、閉塞性睡眠時無呼吸症候群は、喉が詰まる状態となっており、呼吸努力を行うが気流が流れない。そのため、腹部が上がれば胸部が下がるというように、腹部と胸部で動きの位相がほぼ反転する((b)、(c)参照)。なおこの現象は、中枢性の無呼吸では見られない。そこで、領域形成部22により演算した境界から、腹部領域と胸部領域を自動で識別し、各領域に分割して呼吸の検出を行うようにする。これは、閉塞性の無呼吸が発生した時、胸部と腹部の両方を1つの測定領域とすると、胸部と腹部が逆の動きをするため、検出した人物2の呼吸パターンがそれぞれを打ち消し合い、変動がほぼ0として検出されてしまうためである((a)参照)。これにより、異常判定部26で無呼吸(動き無し)と判定された場合、さらにそれが閉塞型であるか、中枢性であるかを判別することが可能となる。
【0088】
異常判定部26は、全体で1つの位相の動きさらに言えば、1つの位相の呼吸を検出していれば、正常と判定し、全体で動きを検出できない(動き無しと判定される)ときには、中枢性無呼吸状態とし、異常と判定する。さらには、胸部と腹部で位相が反転している呼吸を検出していれば、閉塞性無呼吸状態とし、異常と判定する。
【0089】
また、上述したような異常判定部26による判定結果は、ディスプレイ40に表示するように構成される。異常判定部26は、判定結果を出力情報生成部24へ出力する。この場合には、出力情報生成部24は、判定結果を含めて解析情報を生成し、ディスプレイ40へ出力する。これにより、異常判定部26による判定結果がディスプレイ40に表示されることで、例えば測定者は、人物2の異常を容易に認識することができる。
【0090】
以上では、ベッド3上に投影するパターンを複数の輝点とした場合で説明したが、図14に示すように、輝線としてもよい。即ち光切断法を用いて人物2の高さ方向の動きを測定するようにしてもよい。この場合には、投影手段には、ベッド3上にパターン光としての輝線を投影するように構成された投影装置111を用いる。投影する輝線の数は、典型的には複数であるが、1本であってもよい。以下、輝線は複数の場合で説明する。複数の輝線111bは、等間隔に複数本投影される。複数本の輝線111bは、パターン111aを形成する。また、輝線111bの方向と三角法の基線方向は、ほぼ垂直である。
【0091】
なお輝線の場合には、例えば図15に示すように、図6で説明した輝点の場合と同様に、撮像素子15の結像面15’に結像した輝線の像は、高さのある物体により、δだけy軸方向に移動することになる。さらに同様に、このδを測定することにより、物体上の点の位置が三次元的に特定できる。なお、δの測定は、輝線の像の中心線の位置で測定するようにする。さらに輝線の場合には、測定点が、輝線の像の位置にある撮像素子15の画素1つに対応する。
【0092】
以上のように、パターン光を複数本の輝線とし、輝線の移動を測定することで、パターン光を複数の輝点とした場合に比べて、輝線上の任意の点の移動を測定でき、輝線方向の連続的形状が認識できる。言い換えれば、輝線方向の測定の分解能を向上することができる。
【0093】
以上のように、監視装置1は、ベッド3上に存在する人物2の高さ方向の動きをFGセンサ10により複数の測定点で測定し、測定した複数の動きの位相が同位相である領域を領域形成部22で形成するように構成される。さらに本実施の形態では、ディスプレイ40により、人物2の形状を認識できる三次元形状に、形成された領域を重ねて表示するので、人物2の状態特に呼吸の状態を容易且つ正確に把握できる。さらに、三次元形状生成部23は、人物2の身体形状を認識できる三次元形状を生成するので、人物2の呼吸の状態を明確に把握しやすい。また、三次元センサとしてFGセンサ10を用いることで、単純でありながら、正確に人物2の高さ方向の動きを測定できる。さらにFGセンサ10は、測定を非接触で行えるので、測定される人物への負担が少ない。
【0094】
また、監視装置1は、領域形成部22により、所定の領域内の測定点について、人物2の動きの位相の種類が同一の種類の測定点の数が、所定値以上であれば、前記所定の領域が、前記種類の位相の動きがある領域とするので、人物2の身体の部位毎の動きの位相を識別できる。また、人物2の身体で、動きの位相が上方向の部位と下方向の部位を識別できる。これは、人物2の呼吸の異常の判定に有効である。また、領域形成部22が、所定の領域内の測定点について、動きの位相の種類が同一の種類の測定点を探索し、この探索の結果に基づいて、動きの位相が同位相である測定点群を形成し、このように形成された測定点群を動きの位相が同位相である領域とするように構成する場合についても同様なことが言える。さらにこのように、人物2の身体の部位毎に動きを身体の外形を示す三次元形状に重ねて表示することで、身体の部位毎の動き(特に呼吸によるの動き)が容易に認識できる。これは例えば医師の診断の参考になる。
【0095】
さらに監視装置1は、異常判定部26により、領域形成部22で形成した領域で、人物2で上方向の動きの領域と、下方向の動きの領域との両方が形成されたときに、前記各領域の人物2の動きに基づいて、人物2の異常を判定するので、睡眠時無呼吸症候群を判定することができる。さらに異常判定部26は、睡眠時無呼吸症候群の中でも、全体で動きを検出できない(動き無しと判定される)ときには、中枢性無呼吸状態と判定し、さらには、胸部と腹部で位相が反転している呼吸を検出していれば、閉塞性無呼吸状態と判定できる。即ち、監視装置1は、中枢性無呼吸と閉塞性無呼吸を判別できる。
【0096】
また以上では、監視装置1は、ディスプレイ40により、人物2の形状を認識できる三次元形状に、領域形成部22で形成された領域を重ねて表示する場合で説明したが、領域形成部22で形成された領域毎の情報を出力する即ち表示するように構成してもよい。このようにすると、重ねて表示しないため、処理が大幅に低減できる。また、単純な構成とすることができる。さらにこの場合には、三次元形状生成部23を備える必要がないのでより単純な構成とすることができる。
【0097】
【発明の効果】
以上のように、本発明によれば、対象領域に存在する対象物の高さ方向の動きを複数の測定点で測定する三次元センサと、前記複数の動きの位相が略同位相である領域を形成する領域形成手段とを備えるので、対象物の状態を容易且つ正確に把握できる状態解析装置を提供できる。
【図面の簡単な説明】
【図1】本発明の実施の形態である監視装置の概略を示す模式的外観図である。
【図2】本発明の実施の形態である三次元センサにFGセンサを用いた場合の監視装置の概略を示す模式的外観図である。
【図3】本発明の実施の形態である投影装置を説明する模式的斜視図である。
【図4】本発明の実施の形態である監視装置の構成例を示すブロック図である。
【図5】本発明の実施の形態での輝点の移動の概念について説明する概念的斜視図である。
【図6】図5の場合での結像面に結像した輝点について説明する模式図である。
【図7】本発明の実施の形態である三次元形状生成部により生成された三次元形状について説明する模式図である。
【図8】図7の場合での三次元形状に領域形成部で形成された領域を重ねた場合を示す、(a)は腹部に下方向の動きがある場合を示す模式図、(b)は胸部に上方向の動きがある場合を示す模式図である。
【図9】図7の場合での三次元形状に領域形成部で形成された領域を重ねた場合を示す図であり、領域形成部により境界を演算した場合を示す模式図である。
【図10】本発明の実施の形態で用いる、呼吸の波形パターンについて示した線図である。
【図11】図10の場合での、正常及び異常な呼吸の波形パターンについて示した線図である。
【図12】図11の場合の、異常な呼吸の波形パターンに対応する病名または疾患箇所の表を示した図である。
【図13】図10の場合での、睡眠時無呼吸症候群の呼吸の波形パターンについて示した線図である。
【図14】本発明の実施の形態である投影装置により投影するパターン光に複数の輝線を用いた場合の監視装置の概略を示す模式的外観図である。
【図15】図14の場合での結像面に結像した輝線について説明する模式図である。
【符号の説明】
1 監視装置
2 人物
3 ベッド
4 寝具
10 FGセンサ(三次元センサ)
11 投影装置
11a パターン
11b 輝点
12 撮像装置
14 測定装置
20 演算装置
21 制御部
22 領域形成部
23 三次元形状生成部
24 出力情報生成部
25 動き判別部
26 異常判定部
40 ディスプレイ
102 平面
103 物体
105 光束発生部
120 グレーティング
121 光ファイバー
122 FG素子

Claims (6)

  1. 対象領域に存在する対象物の高さ方向の動きを複数の測定点で測定する三次元センサと;
    前記複数の動きの位相が略同位相である領域を形成する領域形成手段とを備えた;
    状態解析装置。
  2. 前記領域形成手段で形成された領域を含む情報を出力する情報出力手段を備えることを特徴とする;
    請求項1に記載の状態解析装置。
  3. 前記三次元センサは、対象領域にパターン光を投影する投影装置と;
    前記パターン光が投影された対象領域を撮像する撮像装置と;
    前記撮像された像上のパターンの移動を測定する測定手段とを有し;
    前記測定されたパターンの移動に基づいて、前記対象物の高さ方向の動きを複数の点で測定することを特徴とする;
    請求項1又は請求項2に記載の状態解析装置。
  4. 前記領域形成手段は、所定の領域内の前記測定点について、前記動きの位相の種類が同一の種類の測定点の数が、所定値以上であれば、前記所定の領域が、前記種類の位相の動きがある領域とする;
    請求項1乃至請求項3のいずれか1項に記載の状態解析装置。
  5. 前記領域形成手段は、所定の領域内の前記測定点について、前記動きの位相の種類が同一の種類の測定点を探索し、前記探索の結果に基づいて、前記動きの位相が略同位相である測定点群を形成し、前記形成された測定点群を前記動きの位相が略同位相である領域とする;
    請求項1乃至請求項3のいずれか1項に記載の状態解析装置。
  6. 前記領域形成手段により形成された領域に基づいて、前記対象物の異常を判定する異常判定手段を備えた;
    請求項1乃至請求項5のいずれか1項に記載の状態解析装置。
JP2003163502A 2003-06-09 2003-06-09 状態解析装置 Expired - Fee Related JP3764949B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2003163502A JP3764949B2 (ja) 2003-06-09 2003-06-09 状態解析装置
AU2004245814A AU2004245814B2 (en) 2003-06-09 2004-06-03 Condition-analyzing device
PCT/JP2004/007716 WO2004109227A1 (ja) 2003-06-09 2004-06-03 状態解析装置
EP04745572A EP1645840B1 (en) 2003-06-09 2004-06-03 Condition-analyzing device
US10/560,027 US7545279B2 (en) 2003-06-09 2004-06-03 Condition-analyzing device
DE602004024068T DE602004024068D1 (de) 2003-06-09 2004-06-03 Bedingungsanalyseeinrichtung
CA002528822A CA2528822A1 (en) 2003-06-09 2004-06-03 Condition-analyzing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003163502A JP3764949B2 (ja) 2003-06-09 2003-06-09 状態解析装置

Publications (2)

Publication Number Publication Date
JP2005003366A true JP2005003366A (ja) 2005-01-06
JP3764949B2 JP3764949B2 (ja) 2006-04-12

Family

ID=33508756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003163502A Expired - Fee Related JP3764949B2 (ja) 2003-06-09 2003-06-09 状態解析装置

Country Status (7)

Country Link
US (1) US7545279B2 (ja)
EP (1) EP1645840B1 (ja)
JP (1) JP3764949B2 (ja)
AU (1) AU2004245814B2 (ja)
CA (1) CA2528822A1 (ja)
DE (1) DE602004024068D1 (ja)
WO (1) WO2004109227A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005246033A (ja) * 2004-02-04 2005-09-15 Sumitomo Osaka Cement Co Ltd 状態解析装置
JP2006020891A (ja) * 2004-07-09 2006-01-26 Advanced Medical Kk 呼吸状態検出装置
JP2006187510A (ja) * 2005-01-07 2006-07-20 Sumitomo Osaka Cement Co Ltd 状態解析装置及びソフトウエアプログラム
WO2008149923A1 (ja) * 2007-06-07 2008-12-11 The University Of Electro-Communications 物体検出装置とそれを適用したゲート装置
US7651470B2 (en) 2006-03-29 2010-01-26 Sumitomo Osaka Cement Co., Ltd. Swallowing function evaluating apparatus
JP2012511707A (ja) * 2008-12-11 2012-05-24 ニューマケアー リミテッド 対象物をモニタリングする方法及び装置
JP2013524919A (ja) * 2010-04-21 2013-06-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 呼吸運動検出装置
JP2013543741A (ja) * 2010-10-20 2013-12-09 コーニンクレッカ フィリップス エヌ ヴェ 覚醒した患者での閉塞性睡眠時無呼吸の診断のための方法および装置
JP2014534847A (ja) * 2011-10-20 2014-12-25 コーニンクレッカ フィリップス エヌ ヴェ デバイスの動作及び向きをモニタリングするためのデバイス及び方法
JP2015152417A (ja) * 2014-02-14 2015-08-24 株式会社ソシオネクスト 物体認識装置、物体認識方法及び物体認識プログラム
JP2015158430A (ja) * 2014-02-24 2015-09-03 株式会社島津製作所 動体画像処理装置
KR20160007512A (ko) 2014-06-03 2016-01-20 가부시키가이샤 이데아퀘스트 호흡 운동 측정 장치
JP2016518191A (ja) * 2013-04-09 2016-06-23 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 画像データから胸郭及び腹部呼吸信号を決定する装置及び方法
JP2016531658A (ja) * 2013-07-22 2016-10-13 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 監視システム及び監視方法
US9595107B2 (en) 2012-12-19 2017-03-14 Socionext Inc. Distance measurement apparatus and distance measurement method
JP2017530815A (ja) * 2014-10-13 2017-10-19 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 被験者のバイタルサイン情報を検出するデバイス及び方法

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3738291B2 (ja) * 2003-06-09 2006-01-25 住友大阪セメント株式会社 三次元形状測定装置
JP4588515B2 (ja) * 2005-03-31 2010-12-01 住友大阪セメント株式会社 状態解析装置及びソフトウエアプログラム
DE102005022540B4 (de) * 2005-05-17 2007-07-05 Siemens Ag Verfahren zur Minimierung von Bildartefakten und medizinisches Bildgebungssystem
JP4976724B2 (ja) * 2006-03-31 2012-07-18 日信工業株式会社 車両用ブレーキ液圧制御装置
JP5029950B2 (ja) * 2007-07-27 2012-09-19 公立大学法人首都大学東京 腹式呼吸の評価方法および装置
US10335060B1 (en) 2010-06-19 2019-07-02 Dp Technologies, Inc. Method and apparatus to provide monitoring
US9204823B2 (en) 2010-09-23 2015-12-08 Stryker Corporation Video monitoring system
RU2630596C2 (ru) * 2011-03-30 2017-09-12 Конинклейке Филипс Н.В. Бесконтактная система скрининга нарушений сна
RU2013158143A (ru) * 2011-05-30 2015-07-10 Конинклейке Филипс Н.В. Способ и устройство определения положения тела во время сна
US9192326B2 (en) 2011-07-13 2015-11-24 Dp Technologies, Inc. Sleep monitoring system
US9459597B2 (en) 2012-03-06 2016-10-04 DPTechnologies, Inc. Method and apparatus to provide an improved sleep experience by selecting an optimal next sleep state for a user
US10791986B1 (en) 2012-04-05 2020-10-06 Dp Technologies, Inc. Sleep sound detection system and use
US8878679B2 (en) 2012-05-16 2014-11-04 Alissa Arndt Baby monitor light
EP2772189A1 (en) * 2013-02-28 2014-09-03 Koninklijke Philips N.V. Apparatus and method for determining vital sign information from a subject
US20140276104A1 (en) * 2013-03-14 2014-09-18 Nongjian Tao System and method for non-contact monitoring of physiological parameters
US9594354B1 (en) 2013-04-19 2017-03-14 Dp Technologies, Inc. Smart watch extended system
US10201293B2 (en) * 2013-09-11 2019-02-12 Xerox Corporation Non-contact monitoring of spatio-temporal respiratory mechanics via depth sensing
JP6243732B2 (ja) * 2013-12-26 2017-12-06 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 移動運動状態表示装置、方法及びシステム並びにプログラム
US11963792B1 (en) 2014-05-04 2024-04-23 Dp Technologies, Inc. Sleep ecosystem
US10568565B1 (en) * 2014-05-04 2020-02-25 Dp Technologies, Inc. Utilizing an area sensor for sleep analysis
US11883188B1 (en) 2015-03-16 2024-01-30 Dp Technologies, Inc. Sleep surface sensor based sleep analysis system
US9418536B1 (en) * 2015-04-24 2016-08-16 WashSense Inc. Hand-washing compliance system
US9418535B1 (en) * 2015-04-24 2016-08-16 WashSense Inc. Hand-wash monitoring and compliance system
JP6885943B2 (ja) * 2015-12-01 2021-06-16 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 失調性呼吸を治療する方法及び装置
US11844605B2 (en) 2016-11-10 2023-12-19 The Research Foundation For Suny System, method and biomarkers for airway obstruction
AT520863B1 (de) * 2018-01-22 2020-10-15 Ait Austrian Inst Tech Gmbh Verfahren zur Detektion von Körperbewegungen einer schlafenden Person
JP7129243B2 (ja) * 2018-06-29 2022-09-01 住重アテックス株式会社 計測方法
US11471097B1 (en) 2018-10-15 2022-10-18 Dp Technologies, Inc. Hardware sensor system for improved sleep detection
GB2578471B (en) * 2018-10-29 2023-01-04 Pneumowave Ltd Condition detector
GB2583117B (en) * 2019-04-17 2021-06-30 Sonocent Ltd Processing and visualising audio signals
CN110123286A (zh) * 2019-05-20 2019-08-16 浙江和也健康科技有限公司 一种睡眠监测数据的具现化系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4947152A (en) * 1986-02-10 1990-08-07 Mesa Vista Hospital Patient monitoring system
US4882566A (en) * 1988-08-03 1989-11-21 Hill-Rom Company, Inc. Safety control system for a hospital bed
KR920700581A (ko) * 1990-03-09 1992-08-10 다니이 아끼오 수면검출장치
US5471198A (en) * 1994-11-22 1995-11-28 Newham; Paul Device for monitoring the presence of a person using a reflective energy beam
US6011477A (en) * 1997-07-23 2000-01-04 Sensitive Technologies, Llc Respiration and movement monitoring system
JP3263035B2 (ja) 1997-11-21 2002-03-04 東芝エンジニアリング株式会社 呼吸モニタリングの関心領域設定装置および呼吸モニタリングシステム
US5914660A (en) * 1998-03-26 1999-06-22 Waterview Llc Position monitor and alarm apparatus for reducing the possibility of sudden infant death syndrome (SIDS)
US6049281A (en) * 1998-09-29 2000-04-11 Osterweil; Josef Method and apparatus for monitoring movements of an individual
US7167575B1 (en) * 2000-04-29 2007-01-23 Cognex Corporation Video safety detector with projected pattern
US7106885B2 (en) * 2000-09-08 2006-09-12 Carecord Technologies, Inc. Method and apparatus for subject physical position and security determination
JP3477166B2 (ja) 2000-12-07 2003-12-10 学校法人慶應義塾 監視装置
JP4703049B2 (ja) 2001-07-17 2011-06-15 住友大阪セメント株式会社 監視装置
US7110569B2 (en) * 2001-09-27 2006-09-19 Koninklijke Philips Electronics N.V. Video based detection of fall-down and other events

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005246033A (ja) * 2004-02-04 2005-09-15 Sumitomo Osaka Cement Co Ltd 状態解析装置
JP2006020891A (ja) * 2004-07-09 2006-01-26 Advanced Medical Kk 呼吸状態検出装置
JP4669915B2 (ja) * 2004-07-09 2011-04-13 アドバンスドメディカル株式会社 呼吸状態検出装置
JP2006187510A (ja) * 2005-01-07 2006-07-20 Sumitomo Osaka Cement Co Ltd 状態解析装置及びソフトウエアプログラム
JP4588461B2 (ja) * 2005-01-07 2010-12-01 住友大阪セメント株式会社 状態解析装置及びソフトウエアプログラム
US7651470B2 (en) 2006-03-29 2010-01-26 Sumitomo Osaka Cement Co., Ltd. Swallowing function evaluating apparatus
WO2008149923A1 (ja) * 2007-06-07 2008-12-11 The University Of Electro-Communications 物体検出装置とそれを適用したゲート装置
JP2009014712A (ja) * 2007-06-07 2009-01-22 Univ Of Electro-Communications 物体検出装置とそれを適用したゲート装置
JP2012511707A (ja) * 2008-12-11 2012-05-24 ニューマケアー リミテッド 対象物をモニタリングする方法及び装置
JP2013524919A (ja) * 2010-04-21 2013-06-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 呼吸運動検出装置
JP2013543741A (ja) * 2010-10-20 2013-12-09 コーニンクレッカ フィリップス エヌ ヴェ 覚醒した患者での閉塞性睡眠時無呼吸の診断のための方法および装置
US10165959B2 (en) 2010-10-20 2019-01-01 Koninklijke Philips N.V. Method and apparatus for diagnosing obstructive sleep apnea with an awake patient
JP2014534847A (ja) * 2011-10-20 2014-12-25 コーニンクレッカ フィリップス エヌ ヴェ デバイスの動作及び向きをモニタリングするためのデバイス及び方法
US9595107B2 (en) 2012-12-19 2017-03-14 Socionext Inc. Distance measurement apparatus and distance measurement method
JP2016518191A (ja) * 2013-04-09 2016-06-23 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 画像データから胸郭及び腹部呼吸信号を決定する装置及び方法
JP2016531658A (ja) * 2013-07-22 2016-10-13 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 監視システム及び監視方法
JP2015152417A (ja) * 2014-02-14 2015-08-24 株式会社ソシオネクスト 物体認識装置、物体認識方法及び物体認識プログラム
JP2015158430A (ja) * 2014-02-24 2015-09-03 株式会社島津製作所 動体画像処理装置
KR20160007512A (ko) 2014-06-03 2016-01-20 가부시키가이샤 이데아퀘스트 호흡 운동 측정 장치
JP2017530815A (ja) * 2014-10-13 2017-10-19 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 被験者のバイタルサイン情報を検出するデバイス及び方法

Also Published As

Publication number Publication date
EP1645840A1 (en) 2006-04-12
US20060279428A1 (en) 2006-12-14
US7545279B2 (en) 2009-06-09
AU2004245814B2 (en) 2010-03-04
DE602004024068D1 (de) 2009-12-24
EP1645840B1 (en) 2009-11-11
AU2004245814A1 (en) 2004-12-16
CA2528822A1 (en) 2004-12-16
WO2004109227A1 (ja) 2004-12-16
EP1645840A4 (en) 2007-12-19
JP3764949B2 (ja) 2006-04-12

Similar Documents

Publication Publication Date Title
JP3764949B2 (ja) 状態解析装置
JP3738291B2 (ja) 三次元形状測定装置
JP3782815B2 (ja) 呼吸解析装置
CN102301202B (zh) 用于监测物体的方法和设备
JP5883847B2 (ja) 呼吸運動検出装置
WO2015186374A1 (ja) 呼吸運動測定装置
Rehouma et al. 3D imaging system for respiratory monitoring in pediatric intensive care environment
JP3922694B2 (ja) 監視装置
JP4703049B2 (ja) 監視装置
JP4422580B2 (ja) 動き検出装置
JP3939224B2 (ja) 領域監視装置
JP3979238B2 (ja) 空間内監視装置
JP2005253608A (ja) 状態解析装置
Smith et al. A 3D machine vision method for non‐invasive assessment of respiratory function
JP4372643B2 (ja) 動き検出装置
Loblaw et al. Remote respiratory sensing with an infrared camera using the Kinect (TM) infrared projector
JP2004093376A (ja) 高さ計測装置及び監視装置
JP2004037274A (ja) 高さ計測装置及び監視装置
JP4365699B2 (ja) 状態解析装置
JP2005000388A (ja) 状態推移表示方法及びモニタ装置
JP4230287B2 (ja) 動き検出装置
JP4411361B2 (ja) 状態推移モニタ装置及び状態推移表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050208

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20050208

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20050330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051226

R150 Certificate of patent or registration of utility model

Ref document number: 3764949

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R154 Certificate of patent or utility model (reissue)

Free format text: JAPANESE INTERMEDIATE CODE: R154

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090203

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090203

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100203

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110203

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110203

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120203

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120203

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130203

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140203

Year of fee payment: 8

S201 Request for registration of exclusive licence

Free format text: JAPANESE INTERMEDIATE CODE: R314201

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S303 Written request for registration of pledge or change of pledge

Free format text: JAPANESE INTERMEDIATE CODE: R316303

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees