JP2006061222A - Motion detector - Google Patents

Motion detector Download PDF

Info

Publication number
JP2006061222A
JP2006061222A JP2004244421A JP2004244421A JP2006061222A JP 2006061222 A JP2006061222 A JP 2006061222A JP 2004244421 A JP2004244421 A JP 2004244421A JP 2004244421 A JP2004244421 A JP 2004244421A JP 2006061222 A JP2006061222 A JP 2006061222A
Authority
JP
Japan
Prior art keywords
movement
bright spot
person
bright
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004244421A
Other languages
Japanese (ja)
Other versions
JP4422580B2 (en
Inventor
Yasuhiro Takemura
安弘 竹村
Masato Nakajima
真人 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Osaka Cement Co Ltd
Keio University
Original Assignee
Sumitomo Osaka Cement Co Ltd
Keio University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Osaka Cement Co Ltd, Keio University filed Critical Sumitomo Osaka Cement Co Ltd
Priority to JP2004244421A priority Critical patent/JP4422580B2/en
Publication of JP2006061222A publication Critical patent/JP2006061222A/en
Application granted granted Critical
Publication of JP4422580B2 publication Critical patent/JP4422580B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a motion detector capable of accurately recognizing the motion of an object without letting sensitivity depend on the position of the object. <P>SOLUTION: Since the motion detector is provided with a projection device 11 for projecting a plurality of luminescent points in an object area, an image pickup device 12 for picking up the image of the object area where the plurality of luminescent points are projected, a measurement means 14 for measuring the motion of the object present in the object area on the basis of the movement of the plurality of luminescent points on the picked-up image and correction means 24 and 24a for correcting the motion of the object corresponding to the position at which the image of the luminescent point or the area including the luminescent point is picked up in the case that the respective intervals of the adjacent ones of the plurality of luminescent points are not equal on a plane inside the object area, the motion detector capable of accurately recognizing the motion of the object without letting the sensitivity depend on the position of the object is provided. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、動き検出装置に関し、特に対象物の位置に感度が依存せず、対象物の動きを正確に把握することができる動き検出装置に関するものである。   The present invention relates to a motion detection device, and more particularly to a motion detection device capable of accurately grasping the motion of an object without depending on the sensitivity of the position of the object.

空間内、例えば風呂場やトイレ等での対象物、例えば人物の動きを検出する動き検出装置として、従来から、動き検出センサが提案されている。代表的な例としては、ベッド上の就寝者にパターンを投影し、投影されたパターンを連続的に撮像した画像からパターンの移動量を算出することで、就寝者の呼吸を監視する動き検出装置があった。この装置では、例えば呼吸の有無を検出するばかりでなく、呼吸運動の増減やその量を計測・モニタリングすることが可能である(例えば、特許文献1参照。)。
特開2002−175582号公報 (第5−9頁、第1−13図)
2. Description of the Related Art Conventionally, a motion detection sensor has been proposed as a motion detection device that detects a motion of an object in a space, for example, a bathroom or a toilet, for example, a person. A typical example is a motion detection device that monitors a sleeper's breathing by calculating a pattern movement amount from an image obtained by projecting a pattern onto a sleeper on a bed and continuously capturing the projected pattern. was there. In this apparatus, for example, not only the presence / absence of respiration can be detected, but also the increase / decrease and the amount of respiration movement can be measured / monitored (see, for example, Patent Document 1).
JP 2002-175582 A (page 5-9, FIG. 1-13)

しかしながら、以上のような従来の装置によれば、例えば、パターン上の測定点を対象領域の画面全体に渡って一定の密度でとれない場合、動き検出の密度が対象物の位置に依存してしまう可能性があった。例えば、2次元回折格子を用いて多くのスポットを格子状に投影した場合、中心に近い領域では、スポットの密度(スポットの間隔)はほぼ一定と見なせるが、中心から離れるにしたがってスポットの間隔が広くなり、一定とみなしたときの誤差が大きくなる。さらに、例えば、基線長を長くするためパターンの投影器を対象物の中心から外して設置した場合、パターンの投影が斜めに行われることになり、対象物でのスポットの密度(スポットの間隔)の変化が一層大きくなり、例えば、対象物が呼吸する物である場合、対象物の位置への呼吸信号の感度の依存が無視できなくなり、対象物の動きを正確に把握しがたいことがあった。   However, according to the conventional apparatus as described above, for example, when the measurement points on the pattern cannot be obtained at a constant density over the entire screen of the target area, the density of motion detection depends on the position of the target object. There was a possibility. For example, when many spots are projected in a lattice pattern using a two-dimensional diffraction grating, the spot density (spot spacing) can be regarded as almost constant in the region close to the center, but the spot spacing increases as the distance from the center increases. It becomes wider and the error when it is considered constant increases. Furthermore, for example, when the pattern projector is installed off the center of the object to increase the baseline length, the pattern is projected obliquely, and the spot density (spot spacing) on the object For example, if the object is a breathing object, the dependence of the sensitivity of the breathing signal on the position of the object cannot be ignored, and it may be difficult to accurately grasp the movement of the object. It was.

そこで本発明は、対象物の位置に感度が依存せず、対象物の動きを正確に把握することができる動き検出装置を提供することを目的とする。   Therefore, an object of the present invention is to provide a motion detection device that can accurately grasp the motion of an object without depending on the position of the object.

上記目的を達成するために、請求項1に係る発明による動き検出装置は、例えば図4、図13に示すように、対象領域に複数の輝点を投影する投影装置11と;複数の輝点が投影された対象領域を撮像する撮像装置12と;撮像された像上の複数の輝点の移動に基づいて、対象領域に存在する対象物の動きを測定する測定手段14と;対象領域内の平面上で複数の輝点の隣り合う輝点の各間隔が等しくない場合に、対象物の動きを当該輝点又は当該輝点を含む領域の撮像された位置に応じて補正する補正手段24、24aとを備えるように構成される。   In order to achieve the above object, a motion detection apparatus according to a first aspect of the present invention includes, for example, a projection device 11 that projects a plurality of bright spots on a target area, as shown in FIGS. An imaging device 12 that images the target area on which the image is projected; measurement means 14 that measures the movement of the target existing in the target area based on the movement of a plurality of bright spots on the captured image; When the intervals between adjacent bright spots of a plurality of bright spots on the plane are not equal, the correction means 24 corrects the movement of the object according to the imaged position of the bright spot or the area including the bright spot. , 24a.

このように構成すると、補正手段は、対象領域内の平面上で複数の輝点の隣り合う輝点の各間隔が等しくない場合に、対象物の動きを当該輝点又は当該輝点を含む領域の撮像された位置に応じて補正するので、対象物の位置に感度が依存せず、対象物の動きを正確に把握することができる動き検出装置を提供することができる。   When configured in this way, the correcting means determines that the movement of the object is the bright spot or the area including the bright spot when the intervals between adjacent bright spots of the plurality of bright spots are not equal on the plane in the target area. Therefore, it is possible to provide a motion detection device that can accurately grasp the motion of the object without depending on the sensitivity of the position of the object.

また請求項2に記載のように、請求項1に記載の動き検出装置では、補正は、当該補正を行う輝点と隣り合う輝点との間隔の、基準とする間隔に対する割合を用いて行うように構成してもよい。   Further, as described in claim 2, in the motion detection device according to claim 1, the correction is performed by using the ratio of the interval between the bright spot to be corrected and the adjacent bright spot to the reference interval. You may comprise as follows.

このように構成すると、補正手段は、当該補正を行う輝点と隣り合う輝点との間隔の、基準とする間隔に対する割合から、対象領域の位置に応じた輝点の密度を算出することができ、輝点の密度を用いて対象物の動きを補正することができる。   With this configuration, the correction unit can calculate the density of the bright spot according to the position of the target region from the ratio of the distance between the bright spot to be corrected and the adjacent bright spot to the reference interval. And the movement of the object can be corrected using the density of bright spots.

また請求項3に記載のように、請求項1又は請求項2に記載の動き検出装置では、補正は、当該補正を行う対象物の動きに関する量を、対象領域内の面上であって当該補正を行う輝点を含む部分領域内の単位面積あたりの輝点の数で除することで行うように構成してもよい。   Further, as described in claim 3, in the motion detection device according to claim 1 or 2, the correction is performed by calculating an amount related to the movement of the object to be corrected on a surface in the target area. You may comprise by dividing | segmenting by the number of the bright spots per unit area in the partial area | region containing the bright spot which correct | amends.

このように構成すると、補正手段は、部分領域内の単位面積あたりの輝点の数を実測して対象領域の位置に応じた輝点の密度を算出することができるので、計算量を少なくすることができる。また、対象領域の凹凸等による不測の輝点の消失等の影響も軽減することができる。   If comprised in this way, the correction | amendment means can calculate the density of the bright spot according to the position of an object area | region by measuring the number of the bright spots per unit area in a partial area, and reduces calculation amount be able to. Further, it is possible to reduce the influence of unexpected disappearance of bright spots due to unevenness of the target area.

また請求項4に記載のように、請求項1乃至請求項3のいずれか1項に記載の動き検出装置では、測定結果に基づいて、動きの変動情報を生成する変動情報生成手段22を備えるように構成してもよい。   According to a fourth aspect of the present invention, the motion detection device according to any one of the first to third aspects includes a variation information generation unit 22 that generates variation information of a motion based on a measurement result. You may comprise as follows.

このように構成すると、補正後の対象物の動きの変動情報を例えば医師等の診断の参考にすることができる。   If comprised in this way, the fluctuation | variation information of the motion of the target object after correction | amendment can be referred to diagnosis, such as a doctor.

また請求項5に記載のように、請求項1乃至請求項4のいずれか1項に記載の動き検出装置では、対象物は呼吸をするものであり;変動情報に基づいて、対象物の呼吸の状態を判定する呼吸判定手段23を備えるように構成してもよい。   Further, as described in claim 5, in the motion detection device according to any one of claims 1 to 4, the object breathes; the breathing of the object based on the fluctuation information You may comprise so that the respiration determination means 23 which determines the state may be provided.

このように構成すると、対象物の呼吸の状態を容易に把握することができる。また、例えば、睡眠時無呼吸症候群(SAS)や、その他の呼吸器疾患の診断に情報を利用することができる。   If comprised in this way, the state of breathing of a subject can be grasped easily. For example, information can be used for diagnosis of sleep apnea syndrome (SAS) and other respiratory diseases.

以上のように本発明によれば、対象領域に複数の輝点を投影する投影装置と、複数の輝点が投影された対象領域を撮像する撮像装置と、撮像された像上の複数の輝点の移動に基づいて、対象領域に存在する対象物の動きを測定する測定手段と、対象領域内の平面上で複数の輝点の隣り合う輝点の各間隔が等しくない場合に、対象物の動きを当該輝点又は当該輝点を含む領域の撮像された位置に応じて補正する補正手段とを備えるので、対象物の位置に感度が依存せず、対象物の動きを正確に把握することができる動き検出装置を提供することができる。   As described above, according to the present invention, a projection apparatus that projects a plurality of bright spots on a target area, an imaging apparatus that captures a target area on which a plurality of bright spots are projected, and a plurality of bright spots on the captured image. When the distance between adjacent bright spots of a plurality of bright spots on a plane in the target area is not equal to the measuring means that measures the movement of the target existing in the target area based on the movement of the points, the target Correction means for correcting the movement of the object according to the imaged position of the bright spot or the area including the bright spot, so that the sensitivity does not depend on the position of the target object, and the movement of the target object is accurately grasped. It is possible to provide a motion detection device that can

以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号を付し、重複した説明は省略する。   Embodiments of the present invention will be described below with reference to the drawings. In addition, in each figure, the same code | symbol is attached | subjected to the mutually same or equivalent member, and the overlapping description is abbreviate | omitted.

図1は、本発明の第1の実施の形態に係る動き検出装置としての呼吸モニタ1の模式的外観図である。呼吸モニタ1は、対象領域を監視するように構成されている。呼吸モニタ1は、対象領域に存在する対象物の高さ方向の動きを複数の測定点で測定する三次元センサ、本実施の形態では、FGセンサ10と、FGセンサ10を制御する演算装置20とを含んで構成される。   FIG. 1 is a schematic external view of a respiratory monitor 1 as a motion detection apparatus according to the first embodiment of the present invention. The respiratory monitor 1 is configured to monitor a target area. The respiratory monitor 1 is a three-dimensional sensor that measures the movement in the height direction of an object existing in the target region at a plurality of measurement points. In this embodiment, the FG sensor 10 and an arithmetic device 20 that controls the FG sensor 10 are used. It is comprised including.

本実施の形態では、対象物は、典型的には呼吸をするものである。すなわち、対象物は、例えば人物や動物である。本実施の形態では、対象物は人物2として説明する。また対象物の高さ方向の動きは呼吸による動きである。すなわち、高さ方向の動きは人物2の呼吸による動きである。また本実施の形態では、対象領域はベッド3上である。さらに言えば、対象領域はベッド3上で後述の撮像装置12(図2参照)で撮像された領域である。また、FGセンサ10は、対象領域内の各測定点での高さも測定できるものでもある。   In the present embodiment, the object typically breathes. That is, the object is, for example, a person or an animal. In the present embodiment, the object is described as a person 2. The movement of the object in the height direction is a movement caused by breathing. That is, the movement in the height direction is a movement caused by the breathing of the person 2. In the present embodiment, the target area is on the bed 3. Furthermore, the target area is an area captured on the bed 3 by an imaging device 12 (see FIG. 2) described later. The FG sensor 10 can also measure the height at each measurement point in the target area.

また、図中ベッド3上に、人物2が横たわって存在している。また、人物2の上には、さらに寝具4がかけられており、人物2の一部と、ベッド3の一部とを覆っている。この場合には、FGセンサ10は、寝具4の上面の高さ方向の動きを測定している。また寝具4を使用しない場合には、FGセンサ10は、人物2そのものの高さ方向の動きを測定する。   In addition, the person 2 lies on the bed 3 in the figure. In addition, a bedding 4 is hung on the person 2 and covers a part of the person 2 and a part of the bed 3. In this case, the FG sensor 10 measures the movement of the upper surface of the bedding 4 in the height direction. When the bedding 4 is not used, the FG sensor 10 measures the movement of the person 2 in the height direction.

また、ベッド3の鉛直方向上方には、FGセンサ10が配置されている。FGセンサ10については後で詳述する。なお、図示では、FGセンサ10と演算装置20とは別体として示してあるが、一体に構成してもよい。このようにすると、呼吸モニタ1を小型化することができる。演算装置20は、典型的にはパソコン等のコンピュータである。   An FG sensor 10 is disposed above the bed 3 in the vertical direction. The FG sensor 10 will be described in detail later. In the figure, the FG sensor 10 and the arithmetic unit 20 are illustrated as separate bodies, but may be configured integrally. In this way, the respiratory monitor 1 can be reduced in size. The computing device 20 is typically a computer such as a personal computer.

図2は、本発明の第1の実施の形態に係る呼吸モニタ1のFGセンサ10を説明するための模式的外観図である。FGセンサ10は、典型的には三角測量法を用いて人物2の高さ方向の動きを測定するように構成されている。FGセンサ10は、対象領域としてのベッド3にパターン光を投影する投影装置11と、パターン光が投影されたベッド3を撮像する撮像装置12と、撮像装置12により撮像された像上のパターンの移動を測定する測定手段としての測定装置14とを有している。さらに、測定装置14は、測定されたパターンの移動に基づいて、人物2の高さ方向の動きを複数の点で測定するように構成される。また、投影装置11と撮像装置12は、測定装置14に電気的に接続され、測定装置14に制御されている。なお、本実施の形態では、測定装置14は、演算装置20と一体に構成されている。   FIG. 2 is a schematic external view for explaining the FG sensor 10 of the respiratory monitor 1 according to the first embodiment of the present invention. The FG sensor 10 is typically configured to measure the movement of the person 2 in the height direction using a triangulation method. The FG sensor 10 includes a projection device 11 that projects pattern light onto the bed 3 serving as a target region, an imaging device 12 that captures the bed 3 on which the pattern light is projected, and a pattern on the image captured by the imaging device 12. And a measuring device 14 as measuring means for measuring movement. Furthermore, the measuring device 14 is configured to measure the movement of the person 2 in the height direction at a plurality of points based on the measured movement of the pattern. The projection device 11 and the imaging device 12 are electrically connected to the measurement device 14 and controlled by the measurement device 14. In the present embodiment, the measurement device 14 is configured integrally with the arithmetic device 20.

投影装置11の投影するパターン光は、典型的には輝点が配列されたものであり、複数の輝点である。すなわち、言い換えれば、投影装置11は、対象領域としてのベッド3に複数の輝点を投影し、撮像装置12は、複数の輝点が投影されたベッド3を撮像するように構成されている。   The pattern light projected by the projection device 11 is typically an array of bright spots, and is a plurality of bright spots. That is, in other words, the projection device 11 projects a plurality of bright spots on the bed 3 as the target region, and the imaging device 12 is configured to capture the bed 3 on which the plurality of bright spots are projected.

ここでは、投影されるパターン光は、図3で後述するような略正方格子状に配列された複数の輝点11bで形成されたパターン11aである。図中投影装置11は、ベッド3上にパターン11aを投影している。そして、ベッド3上に投影された複数の輝点は、ベッド3上の複数の測定点にそれぞれ対応する。すなわち各輝点の位置は測定点の位置である。さらに言えば、複数の測定点は人物2に投影された各輝点のうち撮像装置12で撮像された像の画角内に存在する輝点に対応する。測定点とは、後述するように人物2の高さ方向の動きを測定できる点である。なお、ここで高さ方向の動きとは、前回(後述する1つ前に取得した像、すなわち、N−1フレーム)の測定時からの対象物の高さの変化である。また、複数の点で測定された人物2の高さ方向の動きは、図6で後述する輝点の移動に対応する(なお動きの量は輝点の移動量に対応)。
以下、各構成について説明する。
Here, the pattern light to be projected is a pattern 11a formed by a plurality of bright spots 11b arranged in a substantially square lattice as will be described later with reference to FIG. In the drawing, the projection device 11 projects a pattern 11 a onto the bed 3. The plurality of bright spots projected on the bed 3 correspond to the plurality of measurement points on the bed 3, respectively. That is, the position of each bright spot is the position of the measurement point. Furthermore, the plurality of measurement points correspond to the bright spots existing within the angle of view of the image captured by the imaging device 12 among the bright spots projected on the person 2. The measurement point is a point at which the movement of the person 2 in the height direction can be measured as will be described later. Here, the movement in the height direction is a change in the height of the object from the time of the previous measurement (an image acquired immediately before, that is, an N-1 frame described later). Further, the movement in the height direction of the person 2 measured at a plurality of points corresponds to the movement of the bright spot described later with reference to FIG. 6 (note that the amount of movement corresponds to the movement amount of the bright spot).
Each configuration will be described below.

まず、FGセンサ10の設置について説明する。投影装置11と、撮像装置12は、ベッド3の鉛直方向上方に配置されている。図示では、ベッド3のおよそ中央部上方に撮像装置12が、人物2のおよそ頭部上方に投影装置11が配置されている。ここでは、撮像装置12の画角は、およそベッド3の中央部分で、人物2の上半身を撮像できるように設定されいる。なお、投影装置11と撮像装置12の距離を基線長d(図5参照)という。基線長d(図5参照)は、三角測量法の基線方向の投影装置11と撮像装置12の間隔である。   First, installation of the FG sensor 10 will be described. The projection device 11 and the imaging device 12 are disposed above the bed 3 in the vertical direction. In the figure, the imaging device 12 is disposed approximately above the center of the bed 3, and the projection device 11 is disposed approximately above the head of the person 2. Here, the angle of view of the imaging device 12 is set so that the upper body of the person 2 can be imaged at approximately the center of the bed 3. The distance between the projection device 11 and the imaging device 12 is referred to as a baseline length d (see FIG. 5). The baseline length d (see FIG. 5) is the distance between the projection device 11 and the imaging device 12 in the baseline direction of triangulation.

またFGセンサ10は、投影装置11と撮像装置12とを結ぶ直線の方向すなわち三角測量法の基線方向がベッド3の長手方向の中心線と平行になるように設置されている。さらに言えば、FGセンサ10は、FGセンサ10の基線方向とベッド3の長手方向の中心線が平行であり、且つ投影装置11と撮像装置12とを結ぶ基線がベッド3の長手方向の中心線のおよそ鉛直上方に位置するように配置されている。なおここでは基線方向は、ベッド3の長手方向の中心線と平行である場合で説明するが、例えばベッド3の長手方向の中心線と直交する方向としてもよい。この場合であっても人物2の動きの測定には支障ない。   The FG sensor 10 is installed so that the direction of the straight line connecting the projection device 11 and the imaging device 12, that is, the baseline direction of the triangulation method, is parallel to the center line in the longitudinal direction of the bed 3. Furthermore, in the FG sensor 10, the base line direction of the FG sensor 10 and the center line in the longitudinal direction of the bed 3 are parallel, and the base line connecting the projection device 11 and the imaging device 12 is the center line in the longitudinal direction of the bed 3. It is arrange | positioned so that it may be located in the vertical upper direction. Here, the base line direction is described as being parallel to the longitudinal center line of the bed 3, but may be, for example, a direction orthogonal to the longitudinal center line of the bed 3. Even in this case, there is no problem in measuring the movement of the person 2.

ここで基線長d(図5参照)について説明する。ここでは、FGセンサ10は、図5で後述するように、パターンを形成する輝点の移動を測定するものである。この際に、例えば、対象物(ここでは人物2)の高さ又は高さ方向の動きが大きくなればなるほど、輝点の移動量も大きくなる。このため、図5で後述する概念によると、輝点の移動量が大きいと、比較すべき輝点の隣の輝点を飛び越してしまう現象が起こることがある。この場合、隣の輝点から移動したと判断され、測定される輝点の移動量は小さくなってしまうことがある。すなわち、正確に輝点の移動量を測定できない。基線長が短い場合には、輝点の移動量は小さく、上記の飛び越えが起こりにくいが、微小な動きに対してはノイズとの区別が難しくなる。また、基線長d(図5参照)が長い場合には、例えば対象物の僅かな動きであっても、輝点の移動量に大きく反映されるので、微小な高さ又は高さ方向の動きの測定することができるが、例えば大きな動きがあった場合に飛び越えが起きることがある。   Here, the baseline length d (see FIG. 5) will be described. Here, the FG sensor 10 measures the movement of a bright spot forming a pattern, as will be described later with reference to FIG. At this time, for example, the greater the movement of the object (here, the person 2) in the height or height direction, the greater the movement amount of the bright spot. For this reason, according to the concept described later with reference to FIG. 5, if the amount of movement of the bright spot is large, a phenomenon may occur in which the bright spot adjacent to the bright spot to be compared is skipped. In this case, it is determined that the light has moved from the adjacent bright spot, and the amount of movement of the bright spot to be measured may be small. That is, the movement amount of the bright spot cannot be measured accurately. When the base line length is short, the amount of movement of the bright spot is small and the above jump is unlikely to occur, but it is difficult to distinguish it from noise for minute movements. In addition, when the base line length d (see FIG. 5) is long, even a slight movement of the object is greatly reflected in the amount of movement of the bright spot, for example, a minute movement in the height or height direction. However, jumping may occur when there is a large movement, for example.

本実施の形態では、上述したように、ベッド3のおよそ中央部上方に撮像装置12が、人物2のおよそ頭部上方に投影装置11が配置され、投影装置11と撮像装置12とは、ある程度距離を離して設置される。すなわち、投影装置11は、人物2の中心からずれた位置(水平方向に対してベッド3の外側の位置)に配置される。   In the present embodiment, as described above, the imaging device 12 is disposed approximately above the central portion of the bed 3 and the projection device 11 is disposed approximately above the head of the person 2, and the projection device 11 and the imaging device 12 have a certain degree. Installed at a distance. That is, the projection device 11 is arranged at a position shifted from the center of the person 2 (a position outside the bed 3 with respect to the horizontal direction).

投影装置11は、図示のように、ここでは、その光軸(本実施の形態では、図3に示すレーザ光束L1の投射方向)を、ベッド3の上面の垂直方向に対して傾きを有するように設置する。このように構成することで、撮像装置12と投影装置11との距離を離して設置することが容易に行え、簡単に基線長d(図5参照)を長くすることができる。言い換えれば、三角測量法の基線長を長く取ることが容易に行え、基線長d(図5参照)が長くなるので、変化を敏感に検出できるようになる。   As shown in the figure, the projection device 11 has its optical axis (in this embodiment, the projection direction of the laser beam L1 shown in FIG. 3) inclined with respect to the vertical direction of the upper surface of the bed 3. Install in. With this configuration, it is possible to easily install the imaging device 12 and the projection device 11 apart from each other, and it is possible to easily increase the baseline length d (see FIG. 5). In other words, it is easy to take a long baseline length for triangulation, and the baseline length d (see FIG. 5) becomes long, so that changes can be detected sensitively.

またここでは、撮像装置12は、その光軸をベッド3の上面の垂直方向に対し、およそ平行方向に設置される。すなわち、投影装置11の光軸は、撮像装置12の光軸に対して傾きを有して設置される。   Here, the imaging device 12 is installed with its optical axis approximately parallel to the vertical direction of the upper surface of the bed 3. That is, the optical axis of the projection device 11 is installed with an inclination with respect to the optical axis of the imaging device 12.

図3は、本発明の第1の実施の形態に係る呼吸モニタ1の投影装置11を説明する模式的斜視図である。本図を参照して、呼吸モニタ1に適した投影装置11について説明する。なおここでは、説明のために、対象領域を平面102とし、後述のレーザ光束L1を平面102に対して垂直に投射する場合で説明する。投影装置11は、可干渉性の光束を発生する光束発生手段としての光束発生部105と、ファイバーグレーティング120(以下、単にグレーティング120という)とを備えている。光束発生部105により投射される可干渉性の光束は、典型的には赤外光レーザである。光束発生部105は、平行光束を発生するように構成されている。光束発生部105は、典型的には不図示のコリメータレンズを含んで構成される半導体レーザ装置であり、発生される平行光束は、レーザ光束L1である。そしてレーザ光束L1は、断面が略円形あるいは略楕円形状の光束である。ここで平行光束とは、実質的に平行であればよく、平行に近い光束も含む。   FIG. 3 is a schematic perspective view for explaining the projection device 11 of the respiratory monitor 1 according to the first embodiment of the present invention. With reference to this figure, the projection apparatus 11 suitable for the respiration monitor 1 is demonstrated. Here, for the sake of explanation, a case will be described where the target region is the plane 102 and a laser beam L1 described later is projected perpendicularly to the plane 102. The projection apparatus 11 includes a light beam generation unit 105 serving as a light beam generation unit that generates a coherent light beam, and a fiber grating 120 (hereinafter simply referred to as a grating 120). The coherent light beam projected by the light beam generation unit 105 is typically an infrared laser. The light beam generation unit 105 is configured to generate a parallel light beam. The light flux generation unit 105 is typically a semiconductor laser device including a collimator lens (not shown), and the generated parallel light flux is a laser light flux L1. The laser light beam L1 is a light beam having a substantially circular or elliptical cross section. Here, the parallel light flux only needs to be substantially parallel, and includes a nearly parallel light flux.

またここでは、グレーティング120は、平面102に平行に(Z軸に直角に)配置される。グレーティング120に、レーザ光L1を、Z軸方向に入射させる。するとレーザ光L1は、個々の光ファイバー121により、そのレンズ効果を持つ面内で集光したのち、発散波となって広がって行き、干渉して、投影面である平面102に複数の輝点アレイであるパターン11aが投影される。なお、グレーティング120を平面102に平行に配置するとは、例えば、グレーティング120を構成するFG素子122の各光ファイバー121の軸線を含む平面と、平面102とが平行になるように配置することである。   Further, here, the grating 120 is disposed in parallel to the plane 102 (perpendicular to the Z axis). Laser light L1 is incident on the grating 120 in the Z-axis direction. Then, the laser beam L1 is condensed in a plane having the lens effect by each optical fiber 121, and then spreads as a diverging wave, interferes, and interferes with a plurality of bright spot arrays on the plane 102 which is a projection plane. A pattern 11a is projected. Note that the arrangement of the grating 120 in parallel with the plane 102 means, for example, that the plane including the axis of each optical fiber 121 of the FG element 122 constituting the grating 120 and the plane 102 are parallel.

また、グレーティング120は、2つのFG素子122を含んで構成される。本実施の形態では、各FG素子122の平面は、互いに平行である。以下、各FG素子122の平面を素子平面という。また、本実施の形態では、2つのFG素子122の光ファイバー121の軸線は、互いにほぼ直交している。   The grating 120 includes two FG elements 122. In the present embodiment, the planes of the FG elements 122 are parallel to each other. Hereinafter, the plane of each FG element 122 is referred to as an element plane. In the present embodiment, the axes of the optical fibers 121 of the two FG elements 122 are substantially orthogonal to each other.

FG素子122は、例えば、直径が数10ミクロン、長さ10mm程度の光ファイバー121を数10〜数100本程度、平行にシート状に並べて構成したものである。また、2つのFG素子122は、接触して配置してもよいし、それぞれの素子平面の法線方向に距離を空けて配置してもよい。この場合には、2つのFG素子122の互いの距離は、パターン11aの投影に差支えない程度とする。レーザ光束L1は、典型的には、グレーティング122の素子平面に対して垂直に入射させる。なお、ここではFG素子122を用いたグレーティング120で説明するが、これに限られずグレーティング120の代わりとして、例えば別の形態の回折素子やマイクロレンズアレイであってもよい。   The FG element 122 is configured by arranging, for example, several tens to several hundreds of optical fibers 121 having a diameter of several tens of microns and a length of about 10 mm in parallel in a sheet shape. Further, the two FG elements 122 may be arranged in contact with each other, or may be arranged at a distance from each other in the normal direction of the element plane. In this case, the distance between the two FG elements 122 is set so as not to interfere with the projection of the pattern 11a. The laser beam L1 is typically incident perpendicular to the element plane of the grating 122. Here, the grating 120 using the FG element 122 will be described. However, the present invention is not limited to this. For example, another type of diffraction element or microlens array may be used instead of the grating 120.

このように、投影装置11は、2つのFG素子122を含んで構成されたグレーティング120により多くの光束を発生するので、複雑な光学系を必要とすることなく、光学筐体を小型化できる。さらに投影装置11は、グレーティング120を用いることで、単純な構成で、複数の輝点11bをパターン11aとして対象領域に投影でき、しかも、結像による投影と異なり、明瞭な輝点が得られる距離範囲が広い。なお、パターン11aは、典型的には正方格子状に配列された複数の輝点11bである。また、輝点11bの形状は楕円形を含む略円形である。   As described above, since the projection device 11 generates a large amount of light by the grating 120 configured to include the two FG elements 122, the optical housing can be miniaturized without requiring a complicated optical system. Furthermore, by using the grating 120, the projection device 11 can project a plurality of bright spots 11b onto the target region as a pattern 11a with a simple configuration, and unlike a projection by image formation, a distance at which clear bright spots can be obtained. Wide range. The pattern 11a is typically a plurality of bright spots 11b arranged in a square lattice pattern. The shape of the bright spot 11b is a substantially circular shape including an ellipse.

図2に戻って説明する。撮像装置12は、結像光学系12a(図5参照)と撮像素子15(図5参照)を有するものである。撮像素子15は、典型的にはCCD撮像素子である。また、撮像素子15として、CCDの他にCMOS構造の素子が最近盛んに発表されており、それらも当然使用可能である。特にこれらの中には、素子自体にフレーム間差算や二値化の機能を備えたものがあり、これらの素子の使用は好適である。   Returning to FIG. The imaging device 12 includes an imaging optical system 12a (see FIG. 5) and an imaging element 15 (see FIG. 5). The image sensor 15 is typically a CCD image sensor. In addition to the CCD, an element having a CMOS structure has recently been actively announced as the image pickup element 15, and these can naturally be used. In particular, some of the elements themselves have inter-frame difference calculation and binarization functions, and it is preferable to use these elements.

撮像装置12は、前述の光束発生部105(図3参照)により発生されるレーザ光束L1の波長の周辺部以外の波長の光を減光するフィルタ12b(図5参照)を備えるとよい。フィルタ12bは、典型的には干渉フィルタ等の光学フィルタであり、結像光学系12aの光軸上に配置するとよい。このようにすると、撮像装置12は、撮像素子15に受光する光のうち、投影装置11より投影されたパターン11aの光の強度が相対的にあがるので、外乱光による影響を軽減できる。また、光束発生部105により発生されるレーザ光束L1は、典型的には赤外光レーザの光束である。また、レーザ光L1は、継続的に照射してもよいし、断続的に照射してもよい。断続的に照射する場合には、撮像装置12による撮像を、照射のタイミングに同期させて行うようにする。   The imaging device 12 may include a filter 12b (see FIG. 5) that attenuates light having a wavelength other than the peripheral portion of the wavelength of the laser beam L1 generated by the above-described light beam generation unit 105 (see FIG. 3). The filter 12b is typically an optical filter such as an interference filter, and may be disposed on the optical axis of the imaging optical system 12a. In this way, the imaging device 12 can reduce the influence of disturbance light because the light intensity of the pattern 11a projected from the projection device 11 out of the light received by the imaging device 15 is relatively increased. The laser beam L1 generated by the beam generator 105 is typically an infrared laser beam. Further, the laser beam L1 may be irradiated continuously or intermittently. When irradiating intermittently, imaging by the imaging device 12 is performed in synchronization with the timing of irradiation.

図4は、本発明の第1の実施の形態に係る呼吸モニタ1の構成例を示すブロック図である。本図を参照して、呼吸モニタ1の構成例について説明する。前述のように、演算装置20は、測定装置14と一体に構成されている。さらに言えば、測定装置14は、後述の制御部21に一体に構成される。そして投影装置11と、撮像装置12は、前述のように、測定装置14に電気的に接続されており、制御されている。本実施の形態では、演算装置20は、投影装置11と、撮像装置12に対し遠隔的に配置されている。具体的には、例えば、ベッド3の脇や、ベッド3が設置されている部屋とは別の部屋、例えばナースステーション等に設置される。   FIG. 4 is a block diagram showing a configuration example of the respiratory monitor 1 according to the first embodiment of the present invention. With reference to this figure, the structural example of the respiration monitor 1 is demonstrated. As described above, the arithmetic device 20 is configured integrally with the measuring device 14. Furthermore, the measuring device 14 is configured integrally with a control unit 21 described later. The projection device 11 and the imaging device 12 are electrically connected to the measurement device 14 and controlled as described above. In the present embodiment, the arithmetic device 20 is remotely arranged with respect to the projection device 11 and the imaging device 12. Specifically, for example, it is installed in the side of the bed 3 or in a room different from the room in which the bed 3 is installed, such as a nurse station.

まず測定装置14について説明する。測定装置14は、上述したように、撮像装置12で撮像された像上のパターンの移動を測定するものであり、さらに測定されたパターンの移動に基づいて、人物2の高さ方向の動きを複数の点で測定するものである。測定装置14は、撮像装置12で撮像した像を取得できるように構成されている。さらに測定装置14は、撮像装置12により撮像された像上の各輝点の移動を測定するように構成されている。なおここでは、投影された輝点も撮像された像上の輝点の像も、便宜上単に輝点という。またここでは、輝点の移動を測定するとは、輝点の移動の量(以下移動量という)を測定することをいう。さらに、測定される輝点の移動量は、輝点の移動方向を含む概念である。すなわち、測定される輝点の移動量には、移動した方向の情報も含まれるものとする。   First, the measuring device 14 will be described. As described above, the measuring device 14 measures the movement of the pattern on the image picked up by the image pickup device 12, and further determines the movement of the person 2 in the height direction based on the measured movement of the pattern. Measure at multiple points. The measuring device 14 is configured to acquire an image captured by the imaging device 12. Further, the measuring device 14 is configured to measure the movement of each bright spot on the image picked up by the image pickup device 12. Here, the projected bright spot and the image of the bright spot on the captured image are simply referred to as bright spot for convenience. Here, measuring the movement of the bright spot means measuring the amount of movement of the bright spot (hereinafter referred to as the movement amount). Further, the measured moving amount of the bright spot is a concept including the moving direction of the bright spot. That is, it is assumed that the moving amount of the bright spot to be measured includes information on the moving direction.

ここで、測定装置14による輝点の移動の測定について詳述する。測定装置14は、撮像装置12から取得した異なる2時点の像に基づいて、輝点の移動を測定するように構成されている。   Here, the measurement of the movement of the bright spot by the measuring device 14 will be described in detail. The measuring device 14 is configured to measure the movement of the bright spot based on two different time points acquired from the imaging device 12.

ここで、異なる2時点の像に基づく、輝点の移動の測定について説明する。異なる2時点の像は、任意の時点とそのわずかに前の時点とするとよい。わずかに前とは、人物2の動きを検出するのに十分な時間間隔だけ前であればよい。この場合、人物2のわずかな動きも検出したいときは短く、例えば人物2の動きが大きくなり過ぎず、実質的にはほぼ動き無しとみなせる程度の時間、例えば0.1秒程度とすればよい。あるいはテレビ周期の1〜10周期(1/30〜1/3)とするとよい。また、人物2の大まかな動きを検出したいときは長く、例えば10秒程度としてもよい。但し、本実施の形態のように、人物2の呼吸も検出する場合では長くし過ぎると、正確な呼吸の検出が行えなくなるので、例えば1分などにするのは適切でない。以下、任意の時点(現在)で取得した像を取得像、取得像よりわずかに前(過去)に取得した像を参照像として説明する。なお、参照像は、記憶部31内に保存される。   Here, the measurement of the movement of the bright spot based on the images at two different time points will be described. The images at two different time points may be an arbitrary time point and a slightly previous time point. “Slightly before” only needs to be a time interval sufficient to detect the movement of the person 2. In this case, when a slight movement of the person 2 is desired to be detected, the time is short, for example, the movement of the person 2 does not become too large, and the time can be regarded as substantially no movement, for example, about 0.1 seconds. . Or it is good to set it as the 1-10 period (1 / 30-1 / 3) of a television period. Further, when it is desired to detect a rough movement of the person 2, it may be long, for example, about 10 seconds. However, in the case of detecting the respiration of the person 2 as in the present embodiment, if it is too long, accurate detection of respiration cannot be performed. Hereinafter, an image acquired at an arbitrary time (current) is described as an acquired image, and an image acquired slightly before (past) the acquired image is described as a reference image. The reference image is stored in the storage unit 31.

さらに、本実施の形態では、異なる2時点の像は、取得像(Nフレーム)と、取得像の1つ前に取得した像(N−1フレーム)とする。すなわち参照像は、取得像の1つ前に取得した像である。また、像の取得間隔は、例えば装置の処理速度や、上述のように検出したい動きの内容により適宜決めるとよいが、例えば0.1〜3秒、好ましくは0.1〜0.5秒程度とするとよい。また、より短い時間間隔で像を取得し、平均化またはフィルタリングの処理を行うことで、例えばランダムノイズの影響を低減できるので有効である。   Further, in the present embodiment, the images at two different time points are an acquired image (N frame) and an image acquired immediately before the acquired image (N-1 frame). That is, the reference image is an image acquired immediately before the acquired image. The image acquisition interval may be appropriately determined depending on, for example, the processing speed of the apparatus and the content of the motion to be detected as described above. For example, the interval is 0.1 to 3 seconds, preferably about 0.1 to 0.5 seconds. It is good to do. In addition, it is effective to acquire images at shorter time intervals and perform averaging or filtering to reduce the influence of random noise, for example.

なお、任意の時点とそのわずかに前の時点の異なる2時点の像に基づく、輝点の移動の測定で得られる波形(例えば輝点の移動量の総和など)は、距離の微分波形、すなわち高さ変化の推移を表す波形になる。また例えば、高さ推移を表すような波形を得たいときは、前記波形を積分すれば距離の波形、すなわち高さ推移を示す波形になる。   It should be noted that a waveform obtained by measuring the movement of a bright spot (for example, the sum of bright spot movement amounts) based on an image at an arbitrary time point and two time points slightly different from the previous time point is a differential waveform of distance, It becomes a waveform showing the transition of the height change. For example, when it is desired to obtain a waveform representing the height transition, if the waveform is integrated, a distance waveform, that is, a waveform indicating the height transition is obtained.

ここで、取得像と参照像は、例えば撮像装置12により撮像された像であるが、それぞれの像上での、輝点の位置情報も含む概念である。すなわち、取得像と参照像は、各々の時点で、投影装置11の投影により形成されたパターン11aの像である。なお、本実施の形態では、参照像は、例えば、いわゆる像としてではなく、各輝点の位置に関する、座標等の位置情報の形で、記憶部31に保存される。なお、ここでの座標は例えば撮像装置12で撮像された画像内で設定されるものである。このようにすると、後述する輝点の移動量を測定する際に、例えば輝点の座標や方向を比較するだけで済むので処理が単純になる。さらに、ここでは、輝点の位置は、輝点の重心位置とする。このようにすることで、僅かな輝点の移動も測定することができる。   Here, the acquired image and the reference image are images picked up by the image pickup device 12, for example, and are concepts including the position information of the bright spot on each image. That is, the acquired image and the reference image are images of the pattern 11a formed by the projection of the projection device 11 at each time point. In the present embodiment, the reference image is stored in the storage unit 31 in the form of position information such as coordinates regarding the position of each bright spot, for example, not as a so-called image. Note that the coordinates here are set, for example, in an image captured by the imaging device 12. In this way, when measuring the movement amount of the bright spot, which will be described later, for example, it is only necessary to compare the coordinates and direction of the bright spot, so the processing becomes simple. Further, here, the position of the bright spot is the barycentric position of the bright spot. By doing in this way, the movement of a slight bright spot can also be measured.

また、輝点の移動量は、前述のように、記憶部31に保存された参照像上の各輝点の位置情報と、取得像上の各輝点の位置情報とを比較することで、輝点の移動量を測定する。なお、それぞれの移動量は、例えば、輝点の位置が移動した画素数(何画素移動したか)を計数することで求められる。測定される輝点の移動量は、輝点の移動方向を含む概念である。すなわち、測定される輝点の移動量には、移動した方向の情報も含まれる。このようにすると、後述のように、差分像を生成しないで済むので処理を単純化できる。   Further, as described above, the moving amount of the bright spot is obtained by comparing the position information of each bright spot on the reference image stored in the storage unit 31 with the position information of each bright spot on the acquired image. Measure the amount of bright spot movement. Each amount of movement can be obtained, for example, by counting the number of pixels to which the position of the bright spot has moved (how many pixels have moved). The measured moving amount of the bright spot is a concept including the moving direction of the bright spot. That is, information on the moving direction is also included in the measured moving amount of the bright spot. In this way, as will be described later, it is not necessary to generate a difference image, so that the processing can be simplified.

なお上記では、輝点の位置情報を比較する場合で説明したが、参照像と取得像との差分像を作成してもよい。この場合、この差分像から対応する輝点の位置に基づいて、輝点の移動量を測定する。このようにすると、移動した輝点のみが差分像上に残るので、処理量を減らすことができる。   In the above description, the position information of the bright spots is compared. However, a difference image between the reference image and the acquired image may be created. In this case, the movement amount of the bright spot is measured based on the position of the corresponding bright spot from the difference image. In this way, since only the moved bright spot remains on the difference image, the processing amount can be reduced.

さらに、測定装置14により測定された輝点の移動量は、過去一定回数測定された、または過去一定期間内に測定された輝点の移動量の移動平均値、または期間平均値としてもよい。このようにすることで、ランダムノイズや窓から差し込む日光のちらつきなどによる突発的なノイズが軽減でき、測定した輝点の移動量の信頼性が向上する。   Furthermore, the moving amount of the bright spot measured by the measuring device 14 may be a moving average value or a period average value of the moving amount of the bright spot that has been measured a certain number of times in the past or measured within the past fixed period. By doing so, it is possible to reduce random noise and sudden noise caused by sunlight flickering through a window, and the reliability of the measured moving amount of bright spots is improved.

測定装置14は、以上のような、輝点の移動の測定を、パターン11aを形成する各輝点毎に行うように構成される。すなわち、複数の輝点の位置が複数の測定点となる。測定装置14は、パターン11aを形成する各輝点毎に測定した輝点の移動、すなわち、測定した輝点の移動量を測定結果として制御部21へ出力する。すなわち、測定結果は、異なる2時点の像に基づいて測定した輝点の移動量である。この測定結果は図5で後述するように、各輝点(測定点)での対象物、ここでは人物2の高さ方向の動きに対応している。以下、この測定結果を動き情報と呼ぶ。測定装置14は、各測定点での前記測定結果を動き情報として出力する。なお、人物2の高さ方向の動きは、例えば人物2の呼吸に伴う動きである。   The measuring device 14 is configured to measure the movement of the bright spot as described above for each bright spot forming the pattern 11a. That is, the positions of a plurality of bright spots become a plurality of measurement points. The measuring device 14 outputs the bright spot movement measured for each bright spot forming the pattern 11a, that is, the measured bright spot movement amount to the control unit 21 as a measurement result. That is, the measurement result is the moving amount of the bright spot measured based on images at two different time points. As will be described later with reference to FIG. 5, this measurement result corresponds to the movement of the object at each bright spot (measurement point), in this case, the person 2 in the height direction. Hereinafter, this measurement result is referred to as motion information. The measuring device 14 outputs the measurement result at each measurement point as motion information. Note that the movement of the person 2 in the height direction is, for example, movement accompanying the breathing of the person 2.

図5は、本発明の第1の実施の形態に係る呼吸モニタ1の輝点の移動の概念について説明する概念的斜視図である。ここで、本図を参照して、輝点の移動の概念について説明する。ここでは、判りやすく、対象領域を平面102、対象物を物体103として説明する。さらにここでは、説明のために、参照像は、物体103が平面102に存在しないときのパターン11aの像であり、取得像は、物体103が平面102に存在しているときのパターン11aとして説明する。   FIG. 5 is a conceptual perspective view for explaining the concept of bright spot movement of the respiratory monitor 1 according to the first embodiment of the present invention. Here, the concept of bright spot movement will be described with reference to FIG. Here, it is easy to understand, and the target area will be described as the plane 102 and the target object as the object 103. Further, here, for description, the reference image is an image of the pattern 11a when the object 103 is not present on the plane 102, and the acquired image is described as the pattern 11a when the object 103 is present on the plane 102. To do.

図中物体103が、平面102上に載置されている。またXY軸を平面102内に置くように、直交座標系XYZがとられており、物体103はXY座標系の第1象限に置かれている。一方、図中Z軸上で平面102の上方には、投影装置11と、撮像装置12とが配置されている。撮像装置12は、投影装置11によりパターン11aが投影された平面102を撮像する。すなわち、平面102上に載置された物体103を撮像する。   In the figure, an object 103 is placed on the plane 102. Further, the orthogonal coordinate system XYZ is taken so that the XY axis is placed in the plane 102, and the object 103 is placed in the first quadrant of the XY coordinate system. On the other hand, a projection device 11 and an imaging device 12 are arranged above the plane 102 on the Z axis in the drawing. The imaging device 12 images the plane 102 on which the pattern 11 a is projected by the projection device 11. That is, the object 103 placed on the plane 102 is imaged.

撮像装置12の結像光学系としての結像レンズ12aは、ここでは、その光軸がZ軸に一致するように配置されている。そして、結像レンズ12aは、平面102あるいは物体103上のパターン11aの像を、撮像装置12の撮像素子15の受像面15’(イメージプレーン)に結像する。受像面15’は、典型的にはZ軸に直交する面である。さらに、受像面15’内にxy直交座標系をとり、Z軸が、xy座標系の原点を通るようにする。平面102から結像レンズ12aと等距離で、結像レンズ12aからY軸の負の方向に距離d(基線長d)だけ離れたところに、投影装置11が配置されている。物体103と平面102には、投影装置11により複数の輝点11bが形成するパターン11aが投影される。なお、y軸方向は、三角測量法の基線方向でもある。   Here, the imaging lens 12a as the imaging optical system of the imaging device 12 is disposed so that its optical axis coincides with the Z-axis. The imaging lens 12 a forms an image of the pattern 11 a on the plane 102 or the object 103 on the image receiving surface 15 ′ (image plane) of the imaging device 15 of the imaging device 12. The image receiving surface 15 ′ is typically a surface orthogonal to the Z axis. Further, an xy orthogonal coordinate system is taken in the image receiving surface 15 ′ so that the Z axis passes through the origin of the xy coordinate system. The projection device 11 is arranged at a distance equal to the imaging lens 12a from the plane 102 and a distance d (baseline length d) from the imaging lens 12a in the negative direction of the Y axis. A pattern 11 a formed by a plurality of bright spots 11 b is projected onto the object 103 and the plane 102 by the projection device 11. The y-axis direction is also the baseline direction of the triangulation method.

投影装置11により平面102に投影されたパターン11aは、物体103が存在する部分では、物体103に遮られ平面102には到達しない。ここで物体103が存在していれば、平面102上の点102aに投射されるべき輝点11bは、物体103上の点103aに投射される。輝点11bが点102aから点103aに移動したことにより、また結像レンズ12aと投影装置11とが距離d(基線長d)だけ離れているところから、受像面15’上では、点102a’(x,y)に結像すべきところが点103a’(x,y+δ)に結像する。すなわち、物体103が存在しない時点と物体103が存在する時点とは、輝点11bの像がy軸方向に距離δだけ移動することになる。   The pattern 11 a projected onto the plane 102 by the projection device 11 is blocked by the object 103 and does not reach the plane 102 in a portion where the object 103 exists. Here, if the object 103 exists, the bright spot 11 b to be projected onto the point 102 a on the plane 102 is projected onto the point 103 a on the object 103. Since the bright spot 11b has moved from the point 102a to the point 103a and the imaging lens 12a and the projection device 11 are separated by a distance d (base line length d), the point 102a ′ on the image receiving surface 15 ′. An image to be imaged at (x, y) is imaged at a point 103a ′ (x, y + δ). In other words, the image of the bright spot 11b moves by a distance δ in the y-axis direction between the time when the object 103 does not exist and the time when the object 103 exists.

これは、例えば図6に示すように、撮像素子15の受像面15’に結像した輝点は、高さのある物体103により、δだけy軸方向に移動することになる。   For example, as shown in FIG. 6, the bright spot formed on the image receiving surface 15 ′ of the image sensor 15 moves in the y-axis direction by δ by the object 103 having a height.

このように、この輝点の移動量δを測定することにより、物体103上の点103aの位置が三次元的に特定できる。すなわち、例えば点103aの高さがわかる。このように、ある点が、物体103が存在しなければ受像面15’上に結像すべき点と、受像面15’上の実際の結像位置との差を測定することにより、物体103の高さの分布、言い換えれば三次元形状が測定できる。あるいは物体103の三次元座標が測定できる。また、輝点11bの対応関係が不明にならない程度に、パターン11aのピッチ、すなわち輝点11bのピッチを細かくすれば、物体103の高さの分布はそれだけ詳細に測定できることになる。   Thus, by measuring the movement amount δ of the bright spot, the position of the point 103a on the object 103 can be specified three-dimensionally. That is, for example, the height of the point 103a is known. In this way, by measuring the difference between the point that should be imaged on the image receiving surface 15 ′ if the object 103 is not present and the actual image forming position on the image receiving surface 15 ′, the object 103 is obtained. It is possible to measure the height distribution, in other words, the three-dimensional shape. Alternatively, the three-dimensional coordinates of the object 103 can be measured. Further, if the pitch of the pattern 11a, that is, the pitch of the bright spot 11b is made fine enough that the correspondence relationship of the bright spot 11b is not unknown, the height distribution of the object 103 can be measured in detail.

以上のような概念に基づいて、測定装置14は、輝点の移動量を測定することで対象物の高さが測定できる。但しここでは、取得像と、取得像の1つ前に取得した像すなわち参照像に基づいて、高さ方向の動きを測定するので、輝点の移動量により高さの変化量を見ることになる。このため、例えば人物2の絶対的な高さは測定できなくなるが、人物2の高さ方向の変化を測定できるので、人物2の高さ方向の動きを測定する場合には好適であり、図7で説明する人物2の実際の高さ(絶対的な高さ)を演算しなくてもよいので、測定装置14での計算量が少なくて済む。   Based on the above concept, the measuring device 14 can measure the height of the object by measuring the moving amount of the bright spot. However, here, since the movement in the height direction is measured based on the acquired image and the image acquired immediately before the acquired image, that is, the reference image, the amount of change in height is determined by the amount of movement of the bright spot. Become. For this reason, for example, the absolute height of the person 2 cannot be measured, but a change in the height direction of the person 2 can be measured, which is suitable for measuring the movement of the person 2 in the height direction. 7, the actual height (absolute height) of the person 2 does not have to be calculated, so that the calculation amount in the measuring device 14 can be reduced.

なお、測定装置14は、以下で説明するように、測定された輝点の移動量に基づいて、人物2の実際の高さ変化量を演算することもできる。   Note that, as will be described below, the measurement device 14 can also calculate the actual height change amount of the person 2 based on the measured movement amount of the bright spot.

図7は、本発明の第1の実施の形態に係る呼吸モニタ1の測定装置14による対象物の高さの演算について説明する線図である。なお、ここでは、図5と同様に、判りやすく、対象領域を平面102、対象物を物体103として説明する。さらに、説明のために、参照像は、物体103が平面102に存在しないときのパターン11a(図5参照)の像であり、取得像は、物体103が平面102に存在しているときのパターン11a(図5参照)として説明する。なお、ここでは、高さの変化を演算することも便宜上高さを演算するという。   FIG. 7 is a diagram for explaining the calculation of the height of the object by the measuring device 14 of the respiratory monitor 1 according to the first embodiment of the present invention. Here, as in FIG. 5, it is assumed that the target area is the plane 102 and the target object is the object 103 for easy understanding. Furthermore, for the sake of explanation, the reference image is an image of the pattern 11a (see FIG. 5) when the object 103 is not present on the plane 102, and the acquired image is a pattern when the object 103 is present on the plane 102. This will be described as 11a (see FIG. 5). Here, calculating the change in height is also referred to as calculating the height for convenience.

本図は、撮像装置12、投影装置11、物体103、平面102との関係をX軸方向(図5参照)に見た側面図である。ここでは、物体103の高さがZ1である場合で説明する。投影装置11の中心(パターン光源の中心)と結像レンズ12aの中心とは、平面102に平行に距離dだけ離して配置されており、結像レンズ12aから受像面15’(撮像素子15)までの距離はl(エル)(結像レンズ12aの焦点とほぼ等しい)、結像レンズ12aから平面102までの距離はh、物体103の点103aの平面102からの高さはZ1である。物体103が平面102上に置かれた結果、受像面15’上の点102a’はδだけ離れた点103a’に移動したとする。   This figure is a side view of the relationship between the imaging device 12, the projection device 11, the object 103, and the plane 102 in the X-axis direction (see FIG. 5). Here, the case where the height of the object 103 is Z1 will be described. The center of the projection device 11 (the center of the pattern light source) and the center of the imaging lens 12a are arranged parallel to the plane 102 and separated by a distance d, and the image receiving surface 15 ′ (imaging device 15) is separated from the imaging lens 12a. The distance from the imaging lens 12a to the plane 102 is h, and the height of the point 103a of the object 103 from the plane 102 is Z1. As a result of placing the object 103 on the plane 102, it is assumed that the point 102a 'on the image receiving surface 15' has moved to a point 103a 'separated by δ.

図中結像レンズ12aの中心と点103aとを結ぶ線が平面102と交差する点を102a”とすれば、点102aと点102a”との距離Dは、三角形103a’−102a’−12aと三角形102a”−102a−12aとに注目すれば、D=δ・h/lであり、三角形12a−11−103aと三角形102a”−102a−103aに注目すれば、D=(d・Z1)/(h−Z1)である。この両式からZ1を求めると次式のようになる。

Z1=(h・δ)/(d・l+h・δ) ………(1)
If the point where the line connecting the center of the imaging lens 12a and the point 103a intersects the plane 102 in the figure is 102a ″, the distance D between the point 102a and the point 102a ″ is the triangle 103a′-102a′-12a. If attention is paid to the triangle 102a ″ −102a−12a, D = δ · h / l. (H-Z1). When Z1 is obtained from both equations, the following equation is obtained.

Z1 = (h 2 · δ) / (d · l + h · δ) (1)

以上のようにして、測定装置14は、物体103の高さを算出することができ、平面102が前回(N−1フレーム)の高さ、物体103が今回(Nフレーム)の高さと考えれば、この2時点間の実際の高さ変化量を算出することができる。この場合、測定装置14は、各測定点での対象物の高さ変化量を測定結果として制御部21へ出力する。この測定結果を高さ情報と呼ぶ。   As described above, the measurement apparatus 14 can calculate the height of the object 103, and if the plane 102 is considered to be the previous height (N-1 frame) and the object 103 is assumed to be the current height (N frame). The actual height change amount between these two time points can be calculated. In this case, the measuring device 14 outputs the height change amount of the object at each measurement point to the control unit 21 as a measurement result. This measurement result is called height information.

なお、以下の本実施の形態の説明では、特に断りのない限り、図5、図6で前述したように、測定装置14は、輝点の移動量(輝点の移動の変化量)を測定することで人物2の高さ方向の動きを測定する場合で説明し、後述する補正手段としての第1の補正部24は、輝点の移動量又は後述する部分領域内の輝点の移動量の総和を補正することで、対象物の動きを補正したものとして説明する。なお、厳密に高さ変化量を求めるときは(1)式を用いるが、実際に(1)式のh・δの数値は、d・lの数値よりも充分に小さいので、Z1はδに比例するものとして扱うことができる。したがって、δをZ1の代わりに高さ変化量として用いることができる。また、高さ変化に伴い、測定点の物体面内位置も若干変化するが、本発明の動き検出の主旨に対しては特段の影響を与えない。   In the following description of the present embodiment, unless otherwise specified, as described above with reference to FIGS. 5 and 6, the measuring device 14 measures the movement amount of the bright spot (change amount of the bright spot movement). The first correction unit 24, which will be described below in the case where the movement of the person 2 in the height direction is measured, and which will be described later, is a movement amount of a bright spot or a movement amount of a bright spot in a partial area described later. It is assumed that the movement of the object is corrected by correcting the sum of the two. In order to obtain the height change amount strictly, the equation (1) is used. However, since the value of h · δ in the equation (1) is actually sufficiently smaller than the value of d · l, Z1 is set to δ. It can be treated as being proportional. Therefore, δ can be used as a height change amount instead of Z1. Further, the position of the measurement point in the object plane slightly changes with the height change, but does not particularly affect the main point of the motion detection of the present invention.

なお、呼吸モニタ1は、FGセンサ10で測定された動きの量が閾値以下である測定点は、演算装置20による演算に使用しないように構成することができる。本実施の形態では、測定装置14で測定された動きの量が閾値以下である測定点のデータを演算装置20へ出力しないように構成されている。閾値は典型的には人物2の呼吸の動きより小さく設定する。具体的には、人物2の呼吸より小さな動き、さらに言えばこの小さな動きに対応する輝点の移動量より小さく設定する。これにより、呼吸より小さな動きが測定された測定点を無視することができる。このようにすることで、例えばノイズによる影響を効果的に排除することができる。なお呼吸の動きより小さい動きとは、呼吸による高さ方向の動きの範囲より小さい動きのことをいう。上述のように、ここでは輝点の移動量は輝点の移動の変化量、言い換えれば動きの速度を示しているので、呼吸より小さな動きとは、例えば呼吸による高さ方向の動きの速度の範囲が2〜40mm/s程度である場合に2mm/s以下の速度の動きのことをいう。すなわちこの場合閾値は2mm/sに設定するとよい。さらに言えば動きの速度の2mm/sに対応する輝点の移動量に設定する。例えば毎秒4回の画像取得を行っている場合には、輝点の移動量の閾値は、人物2の動きの量0.5mm(2mm/s÷4)に対応する輝点の移動量に設定する。   Note that the respiration monitor 1 can be configured such that a measurement point at which the amount of movement measured by the FG sensor 10 is less than or equal to a threshold value is not used for calculation by the calculation device 20. In the present embodiment, it is configured not to output data of a measurement point whose amount of movement measured by the measurement device 14 is equal to or less than a threshold value to the arithmetic device 20. The threshold is typically set smaller than the breathing movement of the person 2. Specifically, the movement is set to be smaller than the respiration of the person 2, more specifically, the movement amount of the bright spot corresponding to the small movement. This makes it possible to ignore measurement points at which movement smaller than respiration is measured. By doing in this way, the influence by noise can be effectively excluded, for example. The movement smaller than the movement of breathing means movement smaller than the range of movement in the height direction by breathing. As described above, since the movement amount of the bright spot indicates the change amount of the bright spot movement, in other words, the movement speed, the movement smaller than respiration is, for example, the movement speed in the height direction due to respiration. When the range is about 2 to 40 mm / s, it means a movement at a speed of 2 mm / s or less. That is, in this case, the threshold value is preferably set to 2 mm / s. In other words, the moving amount of the bright spot corresponding to the movement speed of 2 mm / s is set. For example, when image acquisition is performed four times per second, the threshold of the bright spot movement amount is set to the bright spot movement amount corresponding to the movement amount of the person 2 of 0.5 mm (2 mm / s ÷ 4). To do.

また呼吸モニタ1は、FGセンサ10で測定された動きの周波数が閾値以上である測定点は、前記演算手段による演算に使用しないように構成するとよい。本実施の形態では、測定装置14で測定された動きの周波数が閾値以上である測定点のデータを演算装置20へ出力しないように構成されている。周波数の閾値は、例えば人物の呼吸の周波数より高い周波数、例えば毎分60サイクル程度に設定するとよい。ところで、大人の呼吸数は、毎分5〜30サイクル程度の範囲にあるが、幼児の場合にはさらに呼吸数が多くなる傾向があるので、これを考慮して上記周波数の閾値を設定するとよい。これにより、呼吸の周波数より高い周波数の動きが測定された測定点を無視することができる。このようにすることで、呼吸の動きに関係ない動き例えばノイズによる影響を効果的に排除することができる。   Further, the respiration monitor 1 may be configured such that a measurement point at which the frequency of movement measured by the FG sensor 10 is equal to or greater than a threshold value is not used for calculation by the calculation means. In the present embodiment, it is configured not to output data of a measurement point whose frequency of motion measured by the measurement device 14 is equal to or greater than a threshold value to the arithmetic device 20. The frequency threshold value may be set to a frequency higher than the breathing frequency of the person, for example, about 60 cycles per minute. By the way, although the respiration rate of an adult is in the range of about 5 to 30 cycles per minute, in the case of an infant, the respiration rate tends to increase further. . As a result, the measurement point at which the movement of the frequency higher than the respiration frequency is measured can be ignored. By doing so, it is possible to effectively eliminate the influence of movements that are not related to the movement of breathing, such as noise.

図4に戻って、演算装置20について説明する。演算装置20は、呼吸モニタ1を制御する制御部21を備えている。さらに制御部21には、記憶部31が接続されている。記憶部31は、撮像装置12から取得した像を時系列的に記憶するようにするとよい。また記憶部31には算出された情報等のデータが記憶できる。   Returning to FIG. 4, the arithmetic unit 20 will be described. The computing device 20 includes a control unit 21 that controls the respiratory monitor 1. Furthermore, a storage unit 31 is connected to the control unit 21. The storage unit 31 may store the images acquired from the imaging device 12 in time series. The storage unit 31 can store data such as calculated information.

制御部21には、例えば人物2の状態を示す情報を出力する情報出力手段としてのディスプレイ40が接続されている。ディスプレイ40は典型的にはLCDである。ディスプレイ40は、例えば後述の変動情報生成部22により生成される人物2の呼吸の波形パターンを表示することにより出力する。ディスプレイ40は、典型的には呼吸の波形パターンをリアルタイム表示する。リアルタイム表示するとは、例えば後述の変動情報生成部22により即時的に出力される人物2の呼吸の波形パターンを即時的に表示することである。なお、その場で情報を出力する必要のない場合には、ディスプレイ40を備える必要は特にない。   For example, a display 40 as information output means for outputting information indicating the state of the person 2 is connected to the control unit 21. The display 40 is typically an LCD. The display 40 outputs, for example, by displaying a waveform pattern of breathing of the person 2 generated by the fluctuation information generation unit 22 described later. The display 40 typically displays a respiration waveform pattern in real time. Real-time display means, for example, that the waveform pattern of breathing of the person 2 that is immediately output by the fluctuation information generation unit 22 described later is displayed immediately. If there is no need to output information on the spot, it is not particularly necessary to provide the display 40.

また制御部21には、呼吸モニタ1を操作するための情報を入力する入力装置35が接続されている。入力装置35は例えばタッチパネル、キーボードあるいはマウスである。本図では、入力装置35は、演算装置20に外付けするものとして図示されているが、内蔵されていてもよい。また本実施の形態では、入力装置35を備える場合で説明するが、特に備えなくても問題ない。   The control unit 21 is connected to an input device 35 for inputting information for operating the respiratory monitor 1. The input device 35 is, for example, a touch panel, a keyboard, or a mouse. Although the input device 35 is illustrated as being externally attached to the arithmetic device 20 in this figure, it may be incorporated. In the present embodiment, the case where the input device 35 is provided will be described.

さらに、制御部21内には、測定装置14の測定結果、すなわち動き情報に基づいて、人物2(図2参照)の高さ方向の動き、すなわち呼吸の動きの変動情報を生成する変動情報生成手段としての変動情報生成部22と、対象領域としてのベッド3(図2参照)内の平面上で複数の輝点11a(図2参照)の隣り合う輝点の各間隔が等しくない場合に、人物2の動きを当該輝点又は当該輝点を含む領域の撮像された位置に応じて補正する補正手段としての第1の補正部24とが備えられている。言い換えれば、演算装置20は変動情報生成部22と、第1の補正部24とを有している。なお、演算装置20は、さらに、変動情報生成部22によって生成される変動情報に基づいて、人物2の呼吸の状態を判定する呼吸判定手段としての呼吸判定部23を備えてもよい。本実施の形態では、呼吸判定部23を備える場合で説明する。   Furthermore, in the control unit 21, fluctuation information generation for generating fluctuation information on the movement of the person 2 (see FIG. 2) in the height direction, that is, movement of breathing, based on the measurement result of the measurement device 14, that is, movement information. When the intervals between the adjacent bright spots of the plurality of bright spots 11a (see FIG. 2) on the plane in the bed 3 (see FIG. 2) as the target area and the bed 3 (see FIG. 2) as the target area are not equal, A first correction unit 24 is provided as correction means for correcting the movement of the person 2 in accordance with the imaged position of the bright spot or the area including the bright spot. In other words, the arithmetic device 20 includes a fluctuation information generation unit 22 and a first correction unit 24. The computing device 20 may further include a breath determination unit 23 as a breath determination unit that determines the breathing state of the person 2 based on the variation information generated by the variation information generation unit 22. In the present embodiment, the case where the breath determination unit 23 is provided will be described.

変動情報生成部22は、測定装置14によって測定された測定点の輝点の移動量の総和を演算し、この総和を時間方向に並べて形成される変動情報としての人物2の呼吸の波形パターンを生成するものである。変動情報生成部22は、典型的には人物2の状態を示す変動情報としての人物2の呼吸の波形データをリアルタイム出力するように構成されている。リアルタイムに出力するとは、例えば撮像装置12により撮像された像毎に演算される輝点の移動量の総和を即時的に出力することである。さらに言えばこの場合には、この総和をリアルタイムに出力することで、変動情報生成部22は、時間方向に並べて形成される人物2の呼吸の波形パターンを生成することになる。さらに、変動情報生成部22は、生成した人物2の呼吸の波形パターンをディスプレイ40に出力するように構成されている。ディスプレイ40は、上述したように当該人物2の呼吸の波形パターンを表示する。これにより、当該人物2の呼吸の波形パターンを例えば医師の診断の参考にすることができる。
図8は、呼吸の波形パターンの例を示した図である。
The fluctuation information generation unit 22 calculates the sum of the movements of the bright spots of the measurement points measured by the measurement device 14, and calculates the respiration waveform pattern of the person 2 as fluctuation information formed by arranging the sums in the time direction. Is to be generated. The fluctuation information generation unit 22 is typically configured to output the waveform data of the breathing of the person 2 as fluctuation information indicating the state of the person 2 in real time. To output in real time means to immediately output, for example, the total sum of movements of bright spots calculated for each image captured by the imaging device 12. Furthermore, in this case, by outputting the sum in real time, the fluctuation information generation unit 22 generates a respiration waveform pattern of the person 2 formed side by side in the time direction. Further, the fluctuation information generation unit 22 is configured to output the generated respiration waveform pattern of the person 2 to the display 40. The display 40 displays the respiration waveform pattern of the person 2 as described above. Thereby, the waveform pattern of the respiration of the person 2 can be used as a reference for diagnosis by a doctor, for example.
FIG. 8 is a diagram showing an example of a respiratory waveform pattern.

なお、変動情報生成部22は、測定装置14が高さ変化量を算出する場合には、人物2の体積変動量を算出するようにも構成されている。体積変動量は、測定装置14による測定結果としての高さ情報、すなわち、高さ変化量から算出することができる。この際には、例えば、高さ変化量の総和を体積変動量としてもよい。このように、体積変動量を算出することで、例えば、人物2の呼吸の際の実際の吸入量等を知ることができる。算出した体積変動量は、ディスプレイ40に表示したり、電子媒体等(例えばここでは記憶部31)に保存するようにすればよい。   Note that the fluctuation information generation unit 22 is also configured to calculate the volume fluctuation amount of the person 2 when the measuring device 14 calculates the height change amount. The volume fluctuation amount can be calculated from height information as a measurement result by the measuring device 14, that is, a height change amount. In this case, for example, the sum of the height change amounts may be used as the volume fluctuation amount. Thus, by calculating the volume fluctuation amount, for example, the actual inhalation amount when the person 2 breathes can be known. The calculated volume fluctuation amount may be displayed on the display 40 or stored in an electronic medium or the like (for example, the storage unit 31 here).

呼吸判定部23は、変動情報生成部22によって生成された人物2の呼吸の波形パターンに基づいて、人物2の呼吸の状態を判定するように構成される。すなわち、呼吸判定部23は、測定装置14により複数の測定点で測定された動き情報、すなわち人物2の高さ方向の動きに基づいて、人物2の呼吸の状態を判定する。さらに、呼吸判定部23は、測定装置14によって測定された測定結果に基づいて、人物2の動きの種類を判定するようにも構成されている。   The respiration determination unit 23 is configured to determine the respiration state of the person 2 based on the respiration waveform pattern of the person 2 generated by the variation information generation unit 22. That is, the breath determination unit 23 determines the breathing state of the person 2 based on the motion information measured at the plurality of measurement points by the measuring device 14, that is, the motion of the person 2 in the height direction. Further, the breath determination unit 23 is configured to determine the type of movement of the person 2 based on the measurement result measured by the measurement device 14.

呼吸判定部23により判定される人物2の動きの種類は、典型的には呼吸、体動、動き無し(不動)、呼吸運動低下である。なお体動とは、人物2の体の動きであり、例えば立ったり座ったりといった動きの他、手足の動きや寝返り等を広く含む概念である。   The types of movement of the person 2 determined by the breath determination unit 23 are typically breathing, body movement, no movement (immobility), and respiratory movement reduction. The body movement is a movement of the body of the person 2 and is a concept including a wide range of movements such as standing and sitting, as well as movements of limbs and turning over.

また、呼吸判定部23は、変動情報生成部22により生成された呼吸の波形パターンの周期的変化の振幅と周期(周波数)の両方又はいずれか一方に所定の上限下限の閾値を設定し、この閾値と比較して呼吸か否かを判定し、呼吸を検出するようにしてもよい。周期の上限下限の閾値は、例えば人物の呼吸の周期を含む範囲、例えば、下限を毎分5サイクル、上限を毎分60サイクルに設定するとよい。ところで、大人の呼吸数は、毎分5〜30回程度の範囲にあるが、幼児の場合にはさらに呼吸数が多くなる傾向がある。また、振幅の上限下限の範囲は、人物2の呼吸の振幅に相当する輝点の移動量を含む範囲、例えば、上限を20mm程度、下限を1mm程度の人物2の高さ変化量に相当する輝点の移動量とするとよい。また、振幅や周期の変化等から人物2の状態の変化を検出、判定することもできる。   Further, the respiration determining unit 23 sets a predetermined upper and lower limit threshold for both or either of the amplitude and the period (frequency) of the periodic change of the respiration waveform pattern generated by the variation information generating unit 22. You may make it determine whether it is respiration compared with a threshold value, and may detect respiration. The upper and lower limit threshold values of the cycle may be set in a range including a person's breathing cycle, for example, a lower limit of 5 cycles per minute and an upper limit of 60 cycles per minute. By the way, although the respiratory rate of an adult exists in the range of about 5-30 times per minute, in the case of an infant, there exists a tendency for the respiratory rate to increase further. The range of the upper and lower limits of the amplitude corresponds to a range including the movement amount of the bright spot corresponding to the breathing amplitude of the person 2, for example, the height change amount of the person 2 having an upper limit of about 20 mm and a lower limit of about 1 mm. The amount of movement of the bright spot is good. In addition, a change in the state of the person 2 can be detected and determined from a change in amplitude or period.

さらに、呼吸判定部23は、呼吸数の検出を行うようにするとよい。呼吸数の検出は、例えば、動きが呼吸と判別された領域の輝点の移動量の総和の時間変化をフーリエ変換等のデータ処理を行うことで検出できる。   Furthermore, the respiration determining unit 23 may detect the respiration rate. The respiration rate can be detected, for example, by performing a data process such as Fourier transform on the temporal change in the total amount of movement of the bright spots in the region where the movement is determined to be respiration.

呼吸判定部23は、呼吸を検出すると、変動情報生成部22によって生成された人物2の呼吸の波形パターンに基づいて、人物2の呼吸の状態を判定するように構成される。呼吸判定部23は、典型的には、人物2の呼吸の状態が、正常な呼吸状態であるか異常な呼吸状態であるかを判定するように構成される。   The respiration determining unit 23 is configured to determine the respiration state of the person 2 based on the respiration waveform pattern of the person 2 generated by the variation information generating unit 22 when detecting respiration. The breath determination unit 23 is typically configured to determine whether the breathing state of the person 2 is a normal breathing state or an abnormal breathing state.

呼吸判定部23はによる人物2の呼吸の状態の判定基準は、以下のようなことを考慮して、設定するようにするとよい。例えば、呼吸が検出されているときに、短時間に呼吸パターンの持つ周期が乱れた場合又は、呼吸パターンの持つ周期が急激に変化した場合には、例えば、自然気胸、気管支喘息などの肺疾患、うっ血性心不全などの心疾患、または、脳出血などの脳血管疾患であると推測できるので、異常な呼吸状態であると判定するように設定する。また、呼吸パターンの消失が続いた場合には、人物2の呼吸が停止したと推測できるので、異常な呼吸状態であると判定するように設定する。なお、短時間に呼吸パターンではなく人物2の体動が頻出した場合には、人物2が何らかの理由で苦しんで暴れているような状況が推測できるので、危険な状態であると判定するように設定するとよい。   The determination criterion of the breathing state of the person 2 by the breath determination unit 23 may be set in consideration of the following. For example, when breathing is detected, if the cycle of the breathing pattern is disturbed in a short time, or if the cycle of the breathing pattern changes abruptly, for example, lung diseases such as spontaneous pneumothorax and bronchial asthma Since it can be estimated that the disease is a heart disease such as congestive heart failure or a cerebral vascular disease such as cerebral hemorrhage, it is set so as to be determined as an abnormal respiratory state. Further, when the disappearance of the breathing pattern continues, it can be estimated that the breathing of the person 2 has stopped, so that it is determined to determine that the person is in an abnormal breathing state. If the movement of the person 2 occurs frequently instead of the breathing pattern in a short time, it can be estimated that the person 2 is suffering and violent for some reason. It is good to set.

図9は、正常及び異常な呼吸の波形パターンの一例について示した概要図である。正常な呼吸パターンは、図9(a)に示したような、周期的なパターンである。但し、大人の場合には、1分間の呼吸数として正常な範囲は、10〜20回程度である。異常な呼吸パターンは、例えば、チェーン−ストークス(Cheyne−Stokes)呼吸、中枢性過換気、失調性呼吸、カスマウル(Kussmul)の大呼吸など、生理学的に体内に障害が発生している場合に生じると考えられている呼吸パターンである。図9(b)に、Cheyne−Stokes呼吸の呼吸パターンを、図9(c)に中枢性過換気の呼吸パターンを、図9(d)に失調性呼吸の呼吸パターンをそれぞれ示す。さらに、図10は、異常な呼吸の波形パターンに対応する病名または疾患箇所の表を示した図であり、上記の異常な呼吸パターンが発生した場合の、病名または疾患箇所について示す。   FIG. 9 is a schematic diagram showing an example of a waveform pattern of normal and abnormal breathing. The normal breathing pattern is a periodic pattern as shown in FIG. However, in the case of adults, the normal range for the respiratory rate per minute is about 10 to 20 times. Abnormal breathing patterns occur, for example, when there is a physiological disorder in the body, such as Cheyne-Stokes breathing, central hyperventilation, ataxic breathing, or Kussmul's breathing. It is a breathing pattern that is considered. FIG. 9B shows a respiratory pattern of Cheyne-Stokes respiration, FIG. 9C shows a respiratory pattern of central hyperventilation, and FIG. 9D shows a respiratory pattern of ataxic respiration. Furthermore, FIG. 10 is a diagram showing a table of disease names or disease locations corresponding to abnormal respiratory waveform patterns, and shows the disease names or disease locations when the above-described abnormal breath patterns occur.

呼吸判定部23は、それぞれの呼吸パターンの呼吸の周波数、出現回数、深浅が異なることを利用して、人物2の呼吸パターンが上記のいずれの呼吸パターンに属するかを判別し、異常な呼吸であるか否か、すなわち、人物2が危険な状態を判定するようにするとよい。また以上のような呼吸パターンを、記憶部31に保存しておくとよい。このようにすることで、これらのパターンと比較することで人物2の呼吸が正常であるか否かの判定が容易に行なえる。   The respiration determining unit 23 determines whether the respiration pattern of the person 2 belongs to the respiration pattern of the person 2 by using the difference in the respiration frequency, appearance frequency, and depth of each respiration pattern. It is preferable to determine whether there is, that is, the person 2 is in a dangerous state. The breathing pattern as described above may be stored in the storage unit 31. By doing so, it is possible to easily determine whether or not the breathing of the person 2 is normal by comparing with these patterns.

また、上述したような呼吸判定部23による判定結果は、ディスプレイ40に表示するように構成される。呼吸判定部23は、判定結果を変動情報生成部22へ出力する。この場合には、変動情報生成部22は、人物2の呼吸の波形パターンとともに判定結果をディスプレイ40へ出力する。呼吸判定部23による判定結果がディスプレイ40に表示されることで、例えば測定者(医師等)は、人物2の異常を容易に認識することができる。   The determination result by the breath determination unit 23 as described above is configured to be displayed on the display 40. The breath determination unit 23 outputs the determination result to the fluctuation information generation unit 22. In this case, the variation information generation unit 22 outputs the determination result to the display 40 together with the respiration waveform pattern of the person 2. By displaying the determination result by the breath determination unit 23 on the display 40, for example, a measurer (doctor or the like) can easily recognize the abnormality of the person 2.

ところで、上述した(1)によれば、FGセンサ10では、基線長d(図11参照)と対象物が存在する面までの距離h(図11参照)が一定なら、人物2の高さ方向の動きの検出感度は一定である。   By the way, according to (1) described above, in the FG sensor 10, if the baseline length d (see FIG. 11) and the distance h (see FIG. 11) to the surface on which the object is present are constant, the height direction of the person 2 The motion detection sensitivity is constant.

図11は、本発明の第1の実施の形態に係る呼吸モニタ1の高さ方向の動きの検出感度について説明する線図である。なお、ここでは、判りやすく説明するために、基準となる対象物の位置(対象物の表面の位置)を平面102、動きによって変化した後の対象物の位置(対象物の表面の位置)を平面104として説明する。基準となる対象物の位置は、例えばN−1フレームでの対象物の位置、動きによって変化した後の対象物の位置は、例えばNフレームでの対象物の位置である。さらに、説明のために、参照像は、対象物の表面の位置が平面102に存在したときのパターン11a(図5参照)の像であり、取得像は、対象物の表面の位置が平面104に存在したときのパターン11a(図5参照)として説明する。   FIG. 11 is a diagram for explaining the detection sensitivity of the motion in the height direction of the respiratory monitor 1 according to the first embodiment of the present invention. Here, for easy understanding, the position of the reference object (the position of the surface of the object) is the plane 102, and the position of the object after the movement (position of the surface of the object) is changed. This will be described as the plane 104. The reference position of the target object is, for example, the position of the target object in the N-1 frame, and the position of the target object after being changed by movement is, for example, the position of the target object in the N frame. Furthermore, for the sake of explanation, the reference image is an image of the pattern 11a (see FIG. 5) when the position of the surface of the object exists on the plane 102, and the acquired image has the position of the surface of the object at the plane 104. Will be described as a pattern 11a (see FIG. 5).

三角測量法では、対象物の高さ方向の動きに対して、平面104上のABとCDの距離は等しくなる。すなわち、輝点の移動量は、基線長d(図11参照)と平面102までの距離h(図11参照)が一定で、対象物の高さ方向の動きの量、すなわち平面102と平面104との距離である高さ変化量Z1が一定であれば、輝点の位置が平面102上のどの位置であるかに拘わらず一定である。したがって、各輝点の移動量の総和により求められる呼吸信号、すなわち呼吸の波形パターンは、平面102での輝点の密度が一定なら、平面102のどの位置でも高さ方向の動きに対する感度は一定である。   In the triangulation method, the distance between AB and CD on the plane 104 is equal to the movement of the object in the height direction. That is, the movement amount of the bright spot is constant in the base line length d (see FIG. 11) and the distance h (see FIG. 11) to the plane 102, and the amount of movement of the object in the height direction, that is, the plane 102 and the plane 104. If the height change amount Z1 which is the distance to the constant is constant, it is constant regardless of which position on the plane 102 the position of the bright spot is. Therefore, the respiration signal obtained by the total movement amount of each bright spot, that is, the waveform pattern of respiration, has constant sensitivity to the movement in the height direction at any position on the plane 102 if the density of the bright spots on the plane 102 is constant. It is.

しかしながら、基線長dをできるだけ長く取るために、本実施の形態のように、投影装置11が対象物の中心からずれた位置に配置されることがある。   However, in order to make the base line length d as long as possible, the projection device 11 may be arranged at a position shifted from the center of the object as in the present embodiment.

図12は、本発明の第1の実施の形態に係る呼吸モニタ1の投影装置11をその光軸が平面102の垂直方向に対して傾きを有するように設置した場合について説明する図であり、(a)は線図、(b)は平面102上の輝点についての模式図である。ここでは、図5と同様に、判りやすく、対象領域を平面102として説明する。   FIG. 12 is a diagram illustrating a case where the projection device 11 of the respiratory monitor 1 according to the first embodiment of the present invention is installed such that the optical axis thereof is inclined with respect to the vertical direction of the plane 102. (A) is a diagram, and (b) is a schematic diagram of a bright spot on the plane 102. Here, as in FIG. 5, the target region will be described as the plane 102 because it is easy to understand.

(a)に示すように、投影装置11は、各光線を等角度α間隔で投影する。このため、平面102上の各輝点の間隔は投影装置11から離れる程広くなる。すなわち、各輝点の間隔は、y軸方向(基線方向)、x軸方向(基線方向に垂直な方向)、ともに投影装置11から離れる程広くなり、輝点密度が低くなる。その結果得られる輝点のパタ一ンの一例を(b)に示す。なお、投影装置11がその光軸が平面102の垂直方向に対して傾きを有するように設置されていない場合(すなわち、光軸が平面102に対して垂直になるように設置される場合)でも、各光線は等角度α間隔で投影されるため、実際には、投影装置11から離れる程、輝点密度は低くなる。しかしながら、この場合、位置による輝点間隔の差異は、極微少であるため無視しても問題はない。また、このような場合でも、投影装置11から離れた位置の対象物の動きを正確に測定したいときは、以下の説明と同様に補正をするとよい。例えば、1つの投影装置11を複数の対象領域、例えば、4つのベッド3の中央に、鉛直方向下方に向けて配置し、4個の撮像装置12をそれぞれ各ベッド3の真上に配置したような場合に適用することができる。   As shown to (a), the projection apparatus 11 projects each light ray by equiangular (alpha) space | interval. For this reason, the distance between the bright spots on the plane 102 increases as the distance from the projection device 11 increases. That is, the distance between the bright spots increases in the y-axis direction (baseline direction) and the x-axis direction (direction perpendicular to the baseline direction) as the distance from the projection device 11 increases, and the bright spot density decreases. An example of the bright spot pattern obtained as a result is shown in FIG. Even when the projection device 11 is not installed so that the optical axis thereof is inclined with respect to the vertical direction of the plane 102 (that is, when the optical apparatus is installed so that the optical axis is perpendicular to the plane 102). Since each light beam is projected at equiangular α intervals, the bright spot density actually decreases as the distance from the projection device 11 increases. However, in this case, since the difference in the bright spot interval depending on the position is extremely small, there is no problem even if it is ignored. Even in such a case, when it is desired to accurately measure the movement of the object at a position away from the projection device 11, correction may be performed in the same manner as described below. For example, one projection device 11 is arranged in a plurality of target areas, for example, in the center of four beds 3 so as to face downward in the vertical direction, and the four imaging devices 12 are arranged directly above each bed 3. It can be applied in any case.

(b)に示すように、各輝点の間隔が一様でなくなると、レンズの収差等を考えなければ、上述したように対象物(人物2)の高さ方向の動きの量(すなわち上述の高さ変化量)が同様であれば、受像面15’上での輝点移動量は一定であるものの、輝点密度が平面102上の位置によって異なる。このため、高さ方向の動きの量が同様であっても、対象物(人物2)の高さ方向の動きが存在している領域内の輝点移動量の総和を演算して得る呼吸の波形パターンは、当該領域の平面102上での位置により異なることとなる。したがって、呼吸の波形パターンの感度が平面102上の位置に依存することになる。   As shown in (b), if the intervals between the bright spots are not uniform, the amount of movement of the object (person 2) in the height direction as described above (ie, the above-described amount) (ie, the above-mentioned) If the height change amount is the same, the bright spot density on the image receiving surface 15 ′ is constant, but the bright spot density varies depending on the position on the plane 102. For this reason, even if the amount of movement in the height direction is the same, the respiratory movement obtained by calculating the sum of the amount of bright spot movement in the region where the movement of the object (person 2) is present in the height direction exists. The waveform pattern varies depending on the position of the region on the plane 102. Therefore, the sensitivity of the respiration waveform pattern depends on the position on the plane 102.

すなわち、例えば、高さ方向の動きの量が同様であり、高さ方向の動きが存在している平面102上の領域の範囲も同様であっても、当該範囲が、投影装置11の略鉛直下方に存在している場合と、投影装置11から離れた位置に存在している場合とでは、平面102上での輝点密度が異なるため、領域内に存在し、総和を取る輝点の数が異なり、呼吸の波形パターンの感度が異なることになる。   That is, for example, even if the amount of movement in the height direction is the same and the range of the region on the plane 102 where the movement in the height direction exists is the same, the range is substantially vertical of the projection device 11. Since the bright spot density on the plane 102 is different between the case where it exists below and the case where it exists away from the projection device 11, the number of bright spots which are present in the region and take the sum total. And the sensitivity of the respiration waveform pattern is different.

そこで、本発明の第1の実施の形態に係る呼吸モニタ1の演算装置20は、上述したように、対象領域としてのベッド3(図2参照)内の平面上で複数の輝点11a(図2参照)の隣り合う輝点の各間隔が等しくない場合に、人物2の動きを当該輝点又は当該輝点を含む領域の撮像された位置に応じて補正する補正手段としての第1の補正部24(図4参照)を有する。   Therefore, as described above, the arithmetic device 20 of the respiratory monitor 1 according to the first embodiment of the present invention has a plurality of bright spots 11a (see FIG. 2) on the plane in the bed 3 (see FIG. 2) as the target region. 1), the first correction as correction means for correcting the movement of the person 2 in accordance with the imaged position of the bright spot or the area including the bright spot when the intervals between adjacent bright spots are not equal. It has part 24 (refer to Drawing 4).

本実施の形態では、第1の補正部24は、具体的には、輝点の移動量を補正して、高さ方向の動きを補正する。すなわち、前述のように、本実施の形態では、輝点の移動量と高さ変化量は比例すると考えられるため、輝点の移動量を補正することにより、結果的に高さ方向の動きも補正されたものとみることができるからである。なお、(1)式を用いて高さを求めてももちろん構わない。ただし、この場合は、対象物の凹凸が未知であれば、平均的なhの値を用いる等して、hの値を代入する必要がある。   In the present embodiment, the first correction unit 24 specifically corrects the movement in the height direction by correcting the movement amount of the bright spot. That is, as described above, in the present embodiment, it is considered that the amount of movement of the bright spot and the amount of change in height are proportional, so by correcting the amount of movement of the bright spot, as a result, the movement in the height direction is also increased. This is because it can be regarded as corrected. Of course, the height may be obtained by using the equation (1). However, in this case, if the unevenness of the object is unknown, it is necessary to substitute the value of h by using an average value of h.

また、ここでの補正は、典型的には、輝点密度(単位面積あたりの輝点の数)を用いて輝点の移動量を補正する。本実施の形態では、以下で説明するように、基準とする輝点間隔に対する当該移動量の補正を行う輝点と隣り合う輝点との間隔の割合を用いて行う。   In this correction, typically, the bright spot movement amount is corrected using the bright spot density (the number of bright spots per unit area). In the present embodiment, as will be described below, this is performed using the ratio of the interval between a bright spot for correcting the movement amount relative to the reference bright spot interval and the adjacent bright spot.

図12を続けて参照して第1の補正部24が行う補正について説明する。ここでは、上述したように、投影装置11は各光線を等角度α間隔で投影するものとする。まず、投影装置11の略鉛直方向下方の平面102上に投影される輝点を基準として、当該輝点とy軸方向(基線方向)に1番目に隣り合う輝点との間隔をΔy、1番目に隣り合う輝点と2番目に隣り合う輝点との間隔をΔy、n−1番目に隣り合う輝点とn番目に隣り合う輝点との間隔をΔyとすると、Δyは、次式(2)で求めることができる。

Δy=h(tann・α−tan(n−1)・α) ………(2)
The correction performed by the first correction unit 24 will be described with reference to FIG. Here, as described above, it is assumed that the projection device 11 projects each light beam at an equal angle α interval. First, on the basis of the bright spot projected on the plane 102 substantially downward in the vertical direction of the projector 11, the interval between the bright spot and the bright spot first adjacent in the y-axis direction (baseline direction) is Δy 1 , When the distance between the bright points adjacent the spacing between the bright points adjacent bright points and second adjacent to the first to the bright spot and the n-th adjacent to [Delta] y 2, n-1 th and [Delta] y n, [Delta] y n Can be obtained by the following equation (2).

Δy n = h (tann · α−tan (n−1) · α) (2)

基準とする輝点とy軸方向(基線方向)に1番目に隣り合う輝点との間隔をΔyは、投影装置11の略鉛直方向下方であることから各間隔の中で最も短く、y軸方向の伸び率が最も小さい。そこで、Δyを基準となる間隔とする。 The distance between the reference bright spot and the bright spot first adjacent in the y-axis direction (baseline direction) is Δy 1 that is the lower part of the projection device 11 in the vertical direction. Axial elongation is the smallest. Therefore, Δy 1 is set as a reference interval.

n−1番目に隣り合う輝点とn番目に隣り合う輝点との間隔Δyのy軸方向の伸び率は、間隔Δyを基準として、次式(3)で求めることができる。

y軸方向の伸び率=Δy/Δy
=(tann・α−tan(n−1)・α)/tanα ………(3)
The elongation rate in the y-axis direction of the interval Δy n between the (n−1) -th adjacent luminescent spot and the n-th adjacent luminescent spot can be obtained by the following equation (3) using the interval Δy 1 as a reference.

Elongation rate in the y-axis direction = Δy n / Δy 1
= (Tann · α-tan (n-1) · α) / tan α (3)

同様に、投影装置11の略鉛直方向下方の平面102上に投影される輝点を基準として、当該輝点とx軸方向(基線方向に垂直な方向)に1番目に隣り合う輝点との間隔をΔx、1番目に隣り合う輝点と2番目に隣り合う輝点との間隔をΔx、n’−1番目に隣り合う輝点とn’番目に隣り合う輝点との間隔をΔxn’とすると、Δxn’は、次式(4)で求めることができ、x軸方向の伸び率は、間隔Δxを基準として、次式(5)で求めることができる。

Δxn’=h(tann’・α−tan(n’−1)・α) ………(4)

x軸方向の伸び率=Δxn’/Δx
=(tann’・α−tan(n’−1)・α)/tanα ………(5)
Similarly, with the bright spot projected on the plane 102 substantially below the projection device 11 as a reference, the bright spot and the bright spot first adjacent in the x-axis direction (the direction perpendicular to the baseline direction) are the same. The interval is Δx 1 , the interval between the first adjacent luminescent spot and the second adjacent luminescent spot is Δx 2 , and the interval between the n′−1th adjacent luminescent spot and the n′th adjacent luminescent spot is Assuming Δx n ′ , Δx n ′ can be obtained by the following equation (4), and the elongation in the x-axis direction can be obtained by the following equation (5) with the interval Δx 1 as a reference.

Δx n ′ = h (tann ′ · α−tan (n′−1) · α) (4)

Elongation rate in the x-axis direction = Δx n ′ / Δx 1
= (Tann '· α-tan (n'-1) · α) / tanα (5)

次式(6)に示すように、(4)、(5)式で算出されるy軸方向の伸び率とx軸方向の伸び率との積(すなわち、面積の増加率)の逆数を取ることで、基準とする輝点からy軸方向にn番目、x軸方向にn’番目に隣り合う輝点位置での輝点密度が算出される。

輝点密度=1/(x軸方向の伸び率×y軸方向の伸び率) ………(6)
As shown in the following equation (6), the inverse of the product of the elongation rate in the y-axis direction and the elongation rate in the x-axis direction calculated by the equations (4) and (5) (that is, the area increase rate) is taken. Thus, the bright spot density at the bright spot position adjacent to the reference bright spot nth in the y-axis direction and n′th in the x-axis direction is calculated.

Bright spot density = 1 / (elongation rate in x-axis direction x elongation rate in y-axis direction) (6)

第1の補正部24は、以上のようにして各輝点毎に求められる輝点密度に基づいて、次式(7)に示すように、輝点移動量を補正して補正後の輝点移動量を算出する。

補正後の輝点移動量=輝点移動量/輝点密度
=輝点移動量×x軸方向の伸び率×y軸方向の伸び率 ………(7)

測定装置14によって測定される輝点の移動量を第1の補正部24により補正することで、結果的に測定装置14で測定される高さ方向の動きも補正される。なお、式(2)から式(6)までの演算は、一度、呼吸モニタ1を設置した後は、呼吸モニタ1をあまり動かさないのであれば、光学系のセッティングからあらかじめ演算しておき、演算して得た各輝点の輝点密度を記憶部31に格納して、第1の補正部24が式(7)の演算を行うときに、当該輝点密度を読み出すように構成しても良い。例えば、輝点密度は、輝点位置に対応したテーブルを予め作成しておき、記憶部31に格納しておけばよい。これにより、第1の補正部24による計算量を減らすことができる。また、対象領域を複数の部分領域に分割し、部分領域毎に平均的な補正値、すなわち輝点密度を求めておき、部分領域内での輝点の移動量の総和を部分領域毎の平均的な輝点密度で除し、さらにその値を全体の領域に渡って加算し、全体の呼吸波形を求めることもできる。
Based on the bright spot density obtained for each bright spot as described above, the first correction unit 24 corrects the bright spot moving amount and corrects the bright spot as shown in the following equation (7). The amount of movement is calculated.

Bright spot movement after correction = Bright spot movement / Bright spot density
= Bright spot movement x x-axis direction elongation x y-axis direction elongation (7)

By correcting the moving amount of the bright spot measured by the measuring device 14 by the first correcting unit 24, the movement in the height direction measured by the measuring device 14 is also corrected as a result. Note that the calculations from formula (2) to formula (6) are calculated in advance from the settings of the optical system if the respiratory monitor 1 is not moved much after the respiratory monitor 1 is installed. It is also possible to store the bright spot density of each bright spot obtained in this manner in the storage unit 31 and read out the bright spot density when the first correction unit 24 performs the calculation of equation (7). good. For example, for the bright spot density, a table corresponding to the bright spot position may be created in advance and stored in the storage unit 31. Thereby, the calculation amount by the 1st correction | amendment part 24 can be reduced. Also, the target area is divided into a plurality of partial areas, and an average correction value, that is, a bright spot density is obtained for each partial area, and the total of the movement amount of bright spots within the partial area is averaged for each partial area It is also possible to divide by the average bright spot density and add the values over the whole area to obtain the whole respiration waveform.

上述した変動情報生成部22(図4参照)は、第1の補正部24によって補正された測定結果、すなわち、補正後の輝点移動量の総和を演算して、総和を時間方向に並べて形成される変動情報としての人物2の呼吸の波形パターンを生成する。   The variation information generation unit 22 (see FIG. 4) described above calculates the measurement results corrected by the first correction unit 24, that is, the sum of the corrected bright spot movement amounts, and forms the sum in the time direction. A waveform pattern of breathing of the person 2 is generated as fluctuation information.

以上で説明した本発明の第1の実施の形態に係る呼吸モニタ1によれば、基線長を長くするため投影装置11を対象物の中心から外して設置し、各輝点間の間隔が一様でなくても、第1の補正部24が、測定装置14によって測定される輝点の移動量を補正することで、結果的に測定装置14で測定される高さ方向の動きも補正されるので、人物2の呼吸の波形パターンの感度が対象物の位置に依存せず、対象物の動きを正確に把握することができる。すなわち、対象領域上の位置によらず感度が一定で正確な測定結果や呼吸の波形パターンを得ることができる。   According to the respiratory monitor 1 according to the first embodiment of the present invention described above, the projection device 11 is installed off the center of the object in order to increase the baseline length, and the interval between the bright spots is one. Even if this is not the case, the first correction unit 24 corrects the movement amount of the bright spot measured by the measuring device 14, and consequently the movement in the height direction measured by the measuring device 14 is also corrected. Therefore, the sensitivity of the waveform pattern of the respiration of the person 2 can be accurately grasped without depending on the position of the object. That is, it is possible to obtain accurate measurement results and respiratory waveform patterns with constant sensitivity regardless of the position on the target region.

また、対象領域を、例えば基線方向に分割して人物2の胸部と腹部の各領域の人物2の動きを区別して、閉塞型無呼吸や中枢型無呼吸の判定をしたり、慢性閉塞性肺疾患などによる呼吸運動の部位毎の評価をする場合にも、分割された領域毎、あるいは人物2の各部位に対応する領域毎で人物2の呼吸の波形パターンの感度が異なってしまうことがなく、人物2の状態を正確に把握することができる。   In addition, the target region is divided, for example, in the base line direction, and the movement of the person 2 in each region of the chest and abdomen of the person 2 is distinguished to determine obstructive apnea or central apnea, or chronic obstructive lung Even in the case of evaluating each part of the respiratory movement due to a disease or the like, the sensitivity of the respiration waveform pattern of the person 2 does not differ for each divided area or for each area corresponding to each part of the person 2. The state of the person 2 can be accurately grasped.

また、例えば、低感度、すなわち、基線長dの短いFGセンサをさらに備え、当該低感度のFGセンサによって高さ分布を求め、それによって高さ方向の動きを正確に求めるとともに、輝点の対象領域内での位置も正確に求めて位置依存性を補正する場合に比べて、比較的簡明な構成で、人物2の呼吸の波形パターンの感度が対象物の位置に依存せず、対象物の動きを正確に把握することができる呼吸モニタとすることができる。   In addition, for example, an FG sensor having a low sensitivity, that is, a short baseline length d is further provided, and the height distribution is obtained by the low sensitivity FG sensor, thereby accurately obtaining the movement in the height direction, and the object of the bright spot. Compared to the case where the position in the region is accurately obtained and the position dependency is corrected, the sensitivity of the respiration waveform pattern of the person 2 does not depend on the position of the object, and the position of the object is reduced. It can be set as the respiratory monitor which can grasp | ascertain a motion correctly.

なお、以上で説明した本発明の第1の実施の形態に係る呼吸モニタ1は、上述した実施の形態に限定されず、特許請求の範囲に記載された範囲で種々の変更が可能である。   The respiratory monitor 1 according to the first embodiment of the present invention described above is not limited to the above-described embodiment, and various modifications can be made within the scope described in the claims.

また、以上の説明では、呼吸の波形パターンは、輝点の移動量の総和を演算して得るものとして説明したが、測定装置14が実際の人物2の高さ方向の動きの量、すなわち、図7で説明した高さ変化量を算出する場合には、当該高さ変化量の総和(すなわち、体積変化量)を演算して得ても良い。さらに、第1の補正部24は、測定装置14によって測定される輝点の移動量を輝点密度で除して補正することで、結果的に測定装置14で測定される高さ方向の動きが補正されるものとして説明したが、測定装置14が高さ変化量を算出する場合には、当該高さ変化量を輝点密度で除して補正してもよい。またさらに、このように補正した高さ変化量に基づいて、体積変動量を算出することで、より正確に人物2の体積変動を測定することができる。これは、呼吸のような微細な動きの量を測定するのに極めて有効である。   In the above description, the respiration waveform pattern has been described as being obtained by calculating the sum of the movement amounts of the bright spots. However, the measurement device 14 is the actual amount of movement in the height direction of the person 2, that is, When calculating the height change amount described in FIG. 7, the sum of the height change amounts (that is, the volume change amount) may be calculated. Furthermore, the first correction unit 24 corrects the moving amount of the bright spot measured by the measuring device 14 by dividing it by the bright spot density, and as a result, moves in the height direction measured by the measuring device 14. However, when the measuring device 14 calculates the amount of change in height, the amount of change in height may be divided by the bright spot density for correction. Furthermore, by calculating the volume variation based on the height variation corrected in this way, the volume variation of the person 2 can be measured more accurately. This is extremely effective in measuring the amount of minute movements such as breathing.

さらに、図13は、本発明の第2の実施の形態に係る動き検出装置として呼吸モニタ1aの構成例を示すブロック図である。基本的に第1の実施の形態で説明した呼吸モニタ1と略同様な構成であるが、第1の補正部24の代わりに第2の補正部24aを備えている点で異なる。なお、以下の説明では、FGセンサ10や演算装置20等、第1の実施の形態と共通する構成については、重複した説明はできるだけ省略する。   Furthermore, FIG. 13 is a block diagram showing a configuration example of a respiration monitor 1a as a motion detection device according to the second embodiment of the present invention. The configuration is basically the same as that of the respiratory monitor 1 described in the first embodiment, except that a second correction unit 24 a is provided instead of the first correction unit 24. In the following description, overlapping description of the components common to the first embodiment, such as the FG sensor 10 and the arithmetic unit 20, will be omitted as much as possible.

第1の実施の形態で説明した呼吸モニタ1の第1の補正部24(図4参照)は、光学系のセッティングから理論的に予測される輝点位置から各輝点の輝点密度を求めて補正していたのに対して、本発明の第2の実施の形態に係る呼吸モニタ1aの第2の補正部24aは、補正を行う対象物の動きに関する量を、対象領域内の平面上であって当該補正を行う輝点を含む部分領域内の一定面積あたりの輝点の数を実測して、当該部分領域内の輝点の数、すなわち、当該部分領域内の輝点密度で除することで補正を行うように構成されている。   The first correction unit 24 (see FIG. 4) of the respiratory monitor 1 described in the first embodiment obtains the bright spot density of each bright spot from the bright spot position theoretically predicted from the setting of the optical system. On the other hand, the second correction unit 24a of the respiratory monitor 1a according to the second embodiment of the present invention calculates the amount related to the movement of the object to be corrected on the plane in the target area. The number of bright spots per fixed area in the partial area including the bright spot to be corrected is measured and divided by the number of bright spots in the partial area, that is, the bright spot density in the partial area. By doing so, it is configured to perform correction.

具体的には、第2の補正部24aは、各輝点毎に、各輝点を中心に平面102全体の画素数、輝点間隔等に基づいて適切に設定した範囲の部分領域、例えば20×20pixel程度の範囲の部分領域を設定し、当該部分領域内で輝点を検索する。第2の補正部24aは、当該部分領域内の輝点の数、すなわち、当該部分領域内の輝点密度を算出する。第2の補正部24aは、当該各輝点毎の輝点密度に基づいて、上述した式(7)で、輝点移動量を補正して補正後の輝点移動量を算出する。このように構成することで、上述した式(2)から式(6)までの演算を省略することができるので、演算装置20による計算量を減らすことができる。また、また、対象領域の凹凸等、例えば、布団のしわなどによるによる不測の輝点の消失等の影響も軽減することができる。さらに、例えば、輝点の投影が等角度間隔ではなく、輝点の間隔がランダムに異なる場合でも、人物2の呼吸の波形パターンの感度が対象物の位置に依存せず、対象物の動きを正確に把握することができる。すなわち、対象領域上の位置によらず感度が一定で正確な測定結果や呼吸の波形パターンを得ることができる。   Specifically, the second correction unit 24a sets, for each luminescent spot, a partial region in a range appropriately set based on the number of pixels of the entire plane 102, the luminescent spot interval, and the like around each luminescent spot, for example, 20 A partial region in a range of about × 20 pixels is set, and a bright spot is searched in the partial region. The second correction unit 24a calculates the number of bright spots in the partial area, that is, the bright spot density in the partial area. The second correction unit 24a calculates the corrected bright spot movement amount by correcting the bright spot movement amount by the above-described equation (7) based on the bright spot density for each bright spot. By comprising in this way, since the calculation from Formula (2) to Formula (6) mentioned above can be abbreviate | omitted, the calculation amount by the calculating device 20 can be reduced. In addition, it is also possible to reduce the influence of an unexpected disappearance of a bright spot due to the unevenness of the target area, for example, due to wrinkles of the futon. Further, for example, even when the bright spot projections are not equiangular intervals and the bright spot intervals are randomly different, the sensitivity of the respiration waveform pattern of the person 2 does not depend on the position of the target object, and the movement of the target object is determined. Accurately grasp. That is, it is possible to obtain accurate measurement results and respiratory waveform patterns with constant sensitivity regardless of the position on the target region.

なお、第2の補正部24aは、各輝点毎に部分領域を区分するのではなく、対象領域である平面102全体を略均等に、例えば20×20pixel程度、あるいは40×40pixel程度の部分領域に、部分領域同士が重複しないように区分し、当該部分領域内で輝点を検索するように構成しても良い。この場合、輝点密度は部分領域内の各輝点に対して共通の輝点密度とすればよい。このように構成すると、第2の補正部24aが区分する部分領域の数が少なくなるので、第2の補正部24aによる計算量を減らすことができる。また、一度、呼吸モニタ1を設置した後は、呼吸モニタ1をあまり動かさないのであれば、目視等によりあらかじめ輝点密度を実測しておき、実測して得た各輝点の輝点密度を記憶部31に格納して、第2の補正部24aが式(7)の演算を行うときに、当該輝点密度を読み出すように構成しても良い。これにより、第2の補正部24aによる計算量を減らすことができる。   Note that the second correction unit 24a does not divide the partial area for each bright spot, but the entire flat surface 102 as the target area is substantially evenly, for example, a partial area of about 20 × 20 pixels or about 40 × 40 pixels. In addition, the partial areas may be divided so as not to overlap with each other, and a bright spot may be searched in the partial areas. In this case, the bright spot density may be a common bright spot density for each bright spot in the partial region. If comprised in this way, since the number of the partial area | region which the 2nd correction | amendment part 24a divides becomes small, the calculation amount by the 2nd correction | amendment part 24a can be reduced. Once the respiratory monitor 1 is installed, if the respiratory monitor 1 is not moved much, the bright spot density is measured in advance by visual observation or the like, and the bright spot density of each bright spot obtained by the actual measurement is calculated. You may comprise so that it may store in the memory | storage part 31 and the said bright spot density may be read when the 2nd correction | amendment part 24a performs the calculation of Formula (7). Thereby, the calculation amount by the 2nd correction | amendment part 24a can be reduced.

本発明の第1の実施の形態に係る呼吸モニタの模式的外観図である。It is a typical external view of the respiratory monitor which concerns on the 1st Embodiment of this invention. 本発明の第1の実施の形態に係る呼吸モニタのFGセンサを説明するための模式的外観図である。It is a typical external view for demonstrating the FG sensor of the respiration monitor which concerns on the 1st Embodiment of this invention. 本発明の第1の実施の形態に係る呼吸モニタの投影装置を説明する模式的斜視図である。It is a typical perspective view explaining the projection apparatus of the respiration monitor which concerns on the 1st Embodiment of this invention. 本発明の第1の実施の形態に係る呼吸モニタの構成例を示すブロック図である。It is a block diagram which shows the structural example of the respiration monitor which concerns on the 1st Embodiment of this invention. 本発明の第1の実施の形態に係る呼吸モニタの輝点の移動の概念について説明する概念的斜視図である。It is a conceptual perspective view explaining the concept of the movement of the bright spot of the respiratory monitor according to the first embodiment of the present invention. 図5の場合での受像面に結像した輝点について説明する模式図である。FIG. 6 is a schematic diagram illustrating a bright spot formed on an image receiving surface in the case of FIG. 5. 本発明の第1の実施の形態に係る呼吸モニタの測定装置による対象物の高さの演算について説明する線図である。It is a diagram explaining the calculation of the height of the target object by the measuring apparatus of the respiratory monitor which concerns on the 1st Embodiment of this invention. 本発明の第1の実施の形態に係る呼吸モニタの呼吸の波形パターンの一例を示す概要図である。It is a schematic diagram which shows an example of the respiration waveform pattern of the respiration monitor which concerns on the 1st Embodiment of this invention. 正常及び異常な呼吸の波形パターンの一例について示した概要図である。It is the schematic shown about an example of the waveform pattern of normal and abnormal respiration. 異常な呼吸の波形パターンに対応する病名または疾患箇所の表を示した図である。It is the figure which showed the table | surface of the disease name or disease location corresponding to the waveform pattern of an abnormal respiration. 本発明の第1の実施の形態に係る呼吸モニタの高さ方向の動きの検出感度について説明する線図である。It is a diagram explaining the detection sensitivity of the motion of the height direction of the respiratory monitor which concerns on the 1st Embodiment of this invention. 本発明の第1の実施の形態に係る呼吸モニタの投影装置をその光軸が平面の垂直方向に対して傾きを有するように設置した場合について説明する線図である。It is a diagram explaining the case where the projection apparatus of the respiration monitor which concerns on the 1st Embodiment of this invention is installed so that the optical axis may incline with respect to the perpendicular direction of a plane. 本発明の第2の実施の形態に係る呼吸モニタの構成例を示すブロック図である。It is a block diagram which shows the structural example of the respiration monitor which concerns on the 2nd Embodiment of this invention.

符号の説明Explanation of symbols

1、1a 呼吸モニタ
2 人物
3 ベッド
10 FGセンサ
11 投影装置
11a パターン
11b 輝点
12 撮像装置
14 測定装置
20 演算装置
21 制御部
22 変動情報生成部
23 呼吸判定部
24 第1の補正部
24a 第2の補正部
40 ディスプレイ
102 平面
103 物体
105 光束発生部
120 グレーティング
121 光ファイバー
122 FG素子
DESCRIPTION OF SYMBOLS 1, 1a Respiration monitor 2 Person 3 Bed 10 FG sensor 11 Projection apparatus 11a Pattern 11b Bright spot 12 Imaging apparatus 14 Measuring apparatus 20 Calculation apparatus 21 Control part 22 Fluctuation information generation part 23 Respiration determination part 24 1st correction | amendment part 24a 2nd Correction unit 40 display 102 plane 103 object 105 light beam generation unit 120 grating 121 optical fiber 122 FG element

Claims (5)

対象領域に複数の輝点を投影する投影装置と;
前記複数の輝点が投影された対象領域を撮像する撮像装置と;
撮像された像上の前記複数の輝点の移動に基づいて、前記対象領域に存在する対象物の動きを測定する測定手段と;
前記対象領域内の平面上で前記複数の輝点の隣り合う輝点の各間隔が等しくない場合に、前記対象物の動きを当該輝点又は当該輝点を含む領域の撮像された位置に応じて補正する補正手段とを備える;
動き検出装置。
A projection device that projects a plurality of bright spots on a target area;
An imaging device for imaging a target area on which the plurality of bright spots are projected;
Measuring means for measuring movement of an object existing in the target area based on movement of the plurality of bright spots on the imaged image;
When the intervals between adjacent bright spots of the plurality of bright spots on the plane in the target area are not equal, the movement of the target is determined according to the imaged position of the bright spot or the area including the bright spot. Correction means for correcting
Motion detection device.
前記補正は、当該補正を行う輝点と隣り合う輝点との間隔の、基準とする前記間隔に対する割合を用いて行う;
請求項1に記載の動き検出装置。
The correction is performed using a ratio of the interval between the bright spot to be corrected and the adjacent bright spot to the reference interval;
The motion detection device according to claim 1.
前記補正は、当該補正を行う前記対象物の動きに関する量を、前記対象領域内の面上であって当該補正を行う輝点を含む部分領域内の単位面積あたりの前記輝点の数で除することで行う;
請求項1又は請求項2に記載の動き検出装置。
The correction is performed by dividing the amount related to the movement of the object to be corrected by the number of bright spots per unit area in a partial area on the surface in the target area and including the bright spot to be corrected. To do;
The motion detection apparatus according to claim 1 or 2.
前記測定結果に基づいて、前記動きの変動情報を生成する変動情報生成手段を備える;
請求項1乃至請求項3のいずれか1項に記載の動き検出装置。
Fluctuation information generating means for generating fluctuation information of the movement based on the measurement result;
The motion detection device according to any one of claims 1 to 3.
前記対象物は呼吸をするものであり;
前記変動情報に基づいて、前記対象物の呼吸の状態を判定する呼吸判定手段を備える;
請求項1乃至請求項4のいずれか1項に記載の動き検出装置。
The object is breathing;
Respiration determining means for determining a respiration state of the object based on the variation information;
The motion detection device according to any one of claims 1 to 4.
JP2004244421A 2004-08-24 2004-08-24 Motion detection device Expired - Fee Related JP4422580B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004244421A JP4422580B2 (en) 2004-08-24 2004-08-24 Motion detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004244421A JP4422580B2 (en) 2004-08-24 2004-08-24 Motion detection device

Publications (2)

Publication Number Publication Date
JP2006061222A true JP2006061222A (en) 2006-03-09
JP4422580B2 JP4422580B2 (en) 2010-02-24

Family

ID=36108207

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004244421A Expired - Fee Related JP4422580B2 (en) 2004-08-24 2004-08-24 Motion detection device

Country Status (1)

Country Link
JP (1) JP4422580B2 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010252944A (en) * 2009-04-23 2010-11-11 Keijiro Yamamoto Posture detector
WO2012120729A1 (en) * 2011-03-10 2012-09-13 三洋電機株式会社 Information acquiring apparatus, and object detecting apparatus having information acquiring apparatus mounted therein
WO2012124208A1 (en) * 2011-03-16 2012-09-20 三洋電機株式会社 Light-emitting device, information acquisition device, and object detection device mounted therewith
WO2012132087A1 (en) * 2011-03-25 2012-10-04 三洋電機株式会社 Light receiving device, information acquiring device, and object detecting device having information acquiring device
WO2012133081A1 (en) * 2011-03-29 2012-10-04 三洋電機株式会社 Object detection device and information acquisition device
WO2012137674A1 (en) * 2011-04-08 2012-10-11 三洋電機株式会社 Information acquisition device, projection device, and object detection device
WO2012137673A1 (en) * 2011-04-05 2012-10-11 三洋電機株式会社 Information acquisition device, projection device, and object detection device
WO2012144339A1 (en) * 2011-04-19 2012-10-26 三洋電機株式会社 Information acquisition device and object detection device
JP2014509213A (en) * 2011-01-06 2014-04-17 コーニンクレッカ フィリップス エヌ ヴェ Barcode scanning device to determine the patient's physiological quantity
WO2014108976A1 (en) * 2013-01-10 2014-07-17 三洋電機株式会社 Object detecting device
JP2017142185A (en) * 2016-02-10 2017-08-17 国立研究開発法人産業技術総合研究所 Displacement measuring device, displacement measuring method, and program thereof
US10410062B2 (en) 2015-08-10 2019-09-10 Koninklijke Philips N.V. Systems and methods for occupancy monitoring

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010252944A (en) * 2009-04-23 2010-11-11 Keijiro Yamamoto Posture detector
JP4604124B2 (en) * 2009-04-23 2010-12-22 圭治郎 山本 Attitude detection device
JP2014509213A (en) * 2011-01-06 2014-04-17 コーニンクレッカ フィリップス エヌ ヴェ Barcode scanning device to determine the patient's physiological quantity
WO2012120729A1 (en) * 2011-03-10 2012-09-13 三洋電機株式会社 Information acquiring apparatus, and object detecting apparatus having information acquiring apparatus mounted therein
WO2012124208A1 (en) * 2011-03-16 2012-09-20 三洋電機株式会社 Light-emitting device, information acquisition device, and object detection device mounted therewith
WO2012132087A1 (en) * 2011-03-25 2012-10-04 三洋電機株式会社 Light receiving device, information acquiring device, and object detecting device having information acquiring device
CN102812414A (en) * 2011-03-29 2012-12-05 三洋电机株式会社 Object detecting device and information acquiring device
JP5106710B2 (en) * 2011-03-29 2012-12-26 三洋電機株式会社 Object detection device and information acquisition device
WO2012133081A1 (en) * 2011-03-29 2012-10-04 三洋電機株式会社 Object detection device and information acquisition device
WO2012137673A1 (en) * 2011-04-05 2012-10-11 三洋電機株式会社 Information acquisition device, projection device, and object detection device
JP5143312B2 (en) * 2011-04-05 2013-02-13 三洋電機株式会社 Information acquisition device, projection device, and object detection device
CN102822623A (en) * 2011-04-05 2012-12-12 三洋电机株式会社 Information acquisition device, projection device, and object detection device
WO2012137674A1 (en) * 2011-04-08 2012-10-11 三洋電機株式会社 Information acquisition device, projection device, and object detection device
WO2012144339A1 (en) * 2011-04-19 2012-10-26 三洋電機株式会社 Information acquisition device and object detection device
JP5138116B2 (en) * 2011-04-19 2013-02-06 三洋電機株式会社 Information acquisition device and object detection device
WO2014108976A1 (en) * 2013-01-10 2014-07-17 三洋電機株式会社 Object detecting device
US10410062B2 (en) 2015-08-10 2019-09-10 Koninklijke Philips N.V. Systems and methods for occupancy monitoring
JP2017142185A (en) * 2016-02-10 2017-08-17 国立研究開発法人産業技術総合研究所 Displacement measuring device, displacement measuring method, and program thereof
WO2017138314A1 (en) * 2016-02-10 2017-08-17 国立研究開発法人産業技術総合研究所 Displacement measurement device, displacement measurement method, and program for same

Also Published As

Publication number Publication date
JP4422580B2 (en) 2010-02-24

Similar Documents

Publication Publication Date Title
JP3764949B2 (en) Condition analysis device
JP3738291B2 (en) 3D shape measuring device
JP3782815B2 (en) Respiratory analyzer
JP4422580B2 (en) Motion detection device
EP1567055A2 (en) Method and system for monitoring breathing activity of a subject
JP4703049B2 (en) Monitoring device
JP3922694B2 (en) Monitoring device
JP3710133B2 (en) State analysis apparatus and state analysis method
JP3939224B2 (en) Area monitoring device
JP2005253608A (en) Condition analysis apparatus
JP4588515B2 (en) State analysis device and software program
JP4372643B2 (en) Motion detection device
JP2006187510A (en) State analysis device and software program
Fekr et al. Design of an e-health respiration and body posture monitoring system and its application for rib cage and abdomen synchrony analysis
JP2004093376A (en) Height measuring apparatus and monitoring apparatus
JP4365699B2 (en) Condition analysis device
JP2004037274A (en) Height measuring apparatus and monitoring device
JP2005000388A (en) State transition displaying method and monitoring device
JP4230287B2 (en) Motion detection device
JP2005005912A (en) Monitoring device
JP4411361B2 (en) Status transition monitor device and status transition display method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091204

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121211

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4422580

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131211

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees