JP2016104071A - Bed observation system and bed observation method - Google Patents

Bed observation system and bed observation method Download PDF

Info

Publication number
JP2016104071A
JP2016104071A JP2014242931A JP2014242931A JP2016104071A JP 2016104071 A JP2016104071 A JP 2016104071A JP 2014242931 A JP2014242931 A JP 2014242931A JP 2014242931 A JP2014242931 A JP 2014242931A JP 2016104071 A JP2016104071 A JP 2016104071A
Authority
JP
Japan
Prior art keywords
bed
human body
dimensional shape
risk
body part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014242931A
Other languages
Japanese (ja)
Other versions
JP6361924B2 (en
Inventor
裕治 平林
Yuji Hirabayashi
裕治 平林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimizu Construction Co Ltd
Shimizu Corp
Original Assignee
Shimizu Construction Co Ltd
Shimizu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimizu Construction Co Ltd, Shimizu Corp filed Critical Shimizu Construction Co Ltd
Priority to JP2014242931A priority Critical patent/JP6361924B2/en
Publication of JP2016104071A publication Critical patent/JP2016104071A/en
Application granted granted Critical
Publication of JP6361924B2 publication Critical patent/JP6361924B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Invalid Beds And Related Equipment (AREA)
  • Accommodation For Nursing Or Treatment Tables (AREA)

Abstract

PROBLEM TO BE SOLVED: To properly determine risk of falling from a bed of an observed person.SOLUTION: A bed observation system comprises: a three-dimensional shape measurement part for, measuring a three-dimensional shape for generating three-dimensional shape data, on an upper space and a surrounding space of a bed where an observed person sleeps; an analysis processing part for, based on the three-dimensional shape data, recognizing a human body of the observed person; and a protrusion determination part for measuring time in which a first body part of the human body is included in the bed upper space, and a second body part of the human body is included in the bed surrounding space together, and when the measured time exceeds predetermined time, determining that the human body protrudes from the bed.SELECTED DRAWING: Figure 1

Description

本発明は、ベッド見守りシステムおよびベッド見守り方法に関する。   The present invention relates to a bed watching system and a bed watching method.

高齢者や病人がベッドから転落した状態のままとなり、ヘルパーや看護師、家族等がこれに気づくのが遅れるという事故が発生することがある。これらの事故を未然に防ぐために、ベッドでの被監視者の起床やベッドからのはみ出しを検知するセンサを設けた転落防止ベッドが開発されている(例えば、特許文献1参照)。   An elderly person or sick person may fall from the bed, and an accident may occur in which helpers, nurses, families, etc. are delayed in noticing this. In order to prevent these accidents, a fall prevention bed has been developed that is provided with a sensor that detects the rising of the monitored person in the bed and the protrusion of the person from the bed (for example, see Patent Document 1).

特開2007−289251号公報JP 2007-289251 A

しかしながら、従来の転落防止ベッドは、睡眠している被監視者が寝返ることによって腕や足が一時的にベッドからはみ出た場合にもセンサが検知して報知するといった、被監視者の転落の危険性が低いにも関わらず危険を知らせるといった誤報が発生していた。
本発明は、上記事情に鑑みてなされたものであり、被監視者のベッドからの転落の危険性を的確に判断することができる、ベッド見守りシステムおよびベッド見守り方法を提供することを目的とする。
However, the conventional fall prevention bed has a risk of the fall of the monitored person, such as when the sensor detects and notifies even if the arm or leg temporarily protrudes from the bed due to the monitored person sleeping. In spite of its low nature, there was a misinformation such as informing the danger.
The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a bed watching system and a bed watching method that can accurately determine the risk of falling from the bed of the monitored person. .

[1]上記の課題を解決するため、本発明の一態様であるベッド見守りシステムは、被監視者が寝るベッドの上空間および前記ベッドの周囲空間において、三次元形状を計測して三次元形状データを生成する三次元形状計測部と、前記三次元形状データに基づいて前記被監視者の人体を認識する解析処理部と、前記ベッドの上空間に前記人体の第1の体部分、および前記ベッドの周囲空間に前記人体の第2の体部分がともに含まれる時間を測定し、測定された時間が所定時間を超える場合に、前記人体が前記ベッドからはみ出していると判定するはみ出し判定部と、を備える。   [1] In order to solve the above-described problem, a bed watching system according to one aspect of the present invention measures a three-dimensional shape by measuring a three-dimensional shape in an upper space of a bed where a monitored person sleeps and a space around the bed. A three-dimensional shape measuring unit for generating data, an analysis processing unit for recognizing the human body of the monitored person based on the three-dimensional shape data, a first body part of the human body in the space above the bed, and the An overrun determination unit that measures the time during which the second body part of the human body is included in the space around the bed, and determines that the human body protrudes from the bed when the measured time exceeds a predetermined time; .

[2]上記[1]記載のベッド見守りシステムにおいて、前記はみ出し判定部が算出した前記人体の第2の体部分の表面積と前記第2の体部分の前記ベッドの周囲空間における滞在時間とに応じて、前記人体の前記ベッドからの転落のリスク度合を判別するリスク判別部、を更に備える。
[3]上記[2]記載のベッド見守りシステムにおいて、前記リスク判別部は、前記はみ出し判定部がそれぞれ算出した前記人体の第1の体部分の表面積および前記人体の第2の体部分の表面積の比率と、前記人体の第2の体部分の前記ベッドの周囲空間における滞在時間とに応じて、前記人体の前記ベッドからの転落のリスク度合を判別する。
[4]上記[2]または[3]いずれか記載のベッド見守りシステムにおいて、前記リスク判別部の判別結果に応じて報知する報知部、を更に備える。
[2] In the bed watching system according to [1], according to the surface area of the second body part of the human body and the staying time of the second body part in the space around the bed calculated by the protrusion determination unit. And a risk discriminating unit that discriminates a risk degree of the human body falling from the bed.
[3] In the bed watching system according to the above [2], the risk determination unit is configured to calculate a surface area of the first body part of the human body and a surface area of the second body part of the human body, which are calculated by the protrusion determination unit, respectively. The risk degree of the fall of the human body from the bed is determined according to the ratio and the staying time of the second body part of the human body in the space around the bed.
[4] The bed watching system according to any one of [2] or [3], further including a notifying unit that notifies in accordance with a determination result of the risk determining unit.

[5]上記の課題を解決するため、本発明の一態様であるベッド見守り方法は、被監視者が寝るベッドの上空間および前記ベッドの周囲空間において、三次元形状を計測して三次元形状データを生成する三次元形状計測ステップと、前記三次元形状データに基づいて前記被監視者の人体を認識する解析処理ステップと、前記ベッドの上空間に前記人体の第1の体部分、および前記ベッドの周囲空間に前記人体の第2の体部分がともに含まれる時間を測定し、測定された時間が所定時間を超える場合に、前記人体が前記ベッドからはみ出していると判定するはみ出し判定ステップと、を有する。   [5] In order to solve the above-described problem, the bed watching method according to one aspect of the present invention measures a three-dimensional shape by measuring a three-dimensional shape in an upper space of the bed where the monitored person sleeps and a space around the bed. A three-dimensional shape measurement step for generating data; an analysis processing step for recognizing the human body of the monitored person based on the three-dimensional shape data; a first body part of the human body in the space above the bed; and A protrusion determination step of measuring a time during which the second body part of the human body is included in the space around the bed and determining that the human body protrudes from the bed when the measured time exceeds a predetermined time; Have.

本発明によれば、被監視者のベッドからの転落の危険性を的確に判断することができる。   According to the present invention, it is possible to accurately determine the risk of falling from the monitored person's bed.

本発明の実施形態であるベッド見守りシステムの概略の機能構成を示すブロック図である。It is a block diagram showing an outline functional composition of a bed watching system which is an embodiment of the present invention. 本実施形態であるベッド見守りシステムを適用した室内の様子を模式的に表した図である。It is the figure which represented typically the mode of the room where the bed watching system which is this embodiment was applied. ベッドの上空間および周囲空間を表した平面図である。It is a top view showing the space above the bed and the surrounding space. ベッド見守りシステムの処理手順の例を示すフローチャートである。It is a flowchart which shows the example of the process sequence of a bed watching system. リスク判別部が判別するリスク度合の分類の例を表す図である。It is a figure showing the example of the classification of the risk degree which a risk discrimination | determination part discriminate | determines. リスク判別部が判別するリスク度合の分類の別の例を表す図である。It is a figure showing another example of the classification of the risk degree which a risk discrimination | determination part discriminate | determines.

以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
図1は、本発明の実施形態であるベッド見守りシステムの概略の機能構成を示すブロック図である。図1に示すように、ベッド見守りシステム1は、測定部10と、処理部20と、報知部30とを備える。
Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram showing a schematic functional configuration of a bed watching system according to an embodiment of the present invention. As shown in FIG. 1, the bed watching system 1 includes a measurement unit 10, a processing unit 20, and a notification unit 30.

測定部10は、ベッドに寝る対象者(被監視者と記載する。)のベッド上の状況を測定する。例えば、測定部10は、人感知部11と、三次元形状計測部12とを備える。
人感知部11は、少なくとも、ベッド上における動作物体を検知可能な人感センサである。例えば、人感知部11は、赤外線センサにより実現される。人感知部11は、被監視者の動きを検知して反応するため、ベッドに被監視者が寝て全く動かない状態では被監視者を検知しないが、被監視者が寝返りをうったり起床したりして体が動いた場合に、その動いた体部分を検知する。例えば、測定部10は、人感知部11が被監視者を検知した場合に三次元形状計測部12を作動開始させるように構成されている。
The measuring unit 10 measures the situation on the bed of a person who sleeps on the bed (described as a monitored person). For example, the measurement unit 10 includes a human sensing unit 11 and a three-dimensional shape measurement unit 12.
The human sensing unit 11 is a human sensor capable of detecting at least a moving object on the bed. For example, the human sensing unit 11 is realized by an infrared sensor. Since the person detecting unit 11 detects and reacts to the movement of the monitored person, the person detecting part 11 does not detect the monitored person when the monitored person sleeps on the bed and does not move at all, but the monitored person wakes up or wakes up. When the body moves, the body part that has moved is detected. For example, the measurement unit 10 is configured to start the operation of the three-dimensional shape measurement unit 12 when the person detection unit 11 detects a monitored person.

三次元形状計測部12は、被監視者が寝るベッドの上空間およびベッドの周囲空間において、三次元形状を計測して三次元形状データを生成する。例えば、三次元形状計測部12は、赤外線三次元距離センサにより実現される。ベッドの上空間および周囲空間の具体例については、後述する。   The three-dimensional shape measurement unit 12 measures the three-dimensional shape in the space above the bed where the monitored person sleeps and the space around the bed, and generates three-dimensional shape data. For example, the three-dimensional shape measuring unit 12 is realized by an infrared three-dimensional distance sensor. Specific examples of the space above the bed and the surrounding space will be described later.

処理部20は、測定部10が測定したベッドの上空間および周囲空間の状況に基づいて、被監視者がベッドから転落するリスクを判別する。例えば、処理部20は、解析処理部21と、はみ出し判定部22と、リスク判別部23とを備える。
解析処理部21は、三次元形状計測部12が生成した三次元形状データを取り込み、この三次元形状データを画像解析して被監視者の人体を認識する。例えば、解析処理部21は、被監視者の顔部分または頭部分の画像をテンプレート画像として予め記憶しておき、このテンプレート画像と三次元形状データとのテンプレートマッチングにより、三次元形状データから被監視者の顔部分または頭部分を認識する。そして、解析処理部21は、認識した顔部分または頭部分および布団の膨らみに基づいて、三次元形状データから人体を抽出する。
The processing unit 20 determines the risk that the monitored person will fall from the bed based on the situation of the upper space and the surrounding space of the bed measured by the measuring unit 10. For example, the processing unit 20 includes an analysis processing unit 21, a protrusion determination unit 22, and a risk determination unit 23.
The analysis processing unit 21 takes in the three-dimensional shape data generated by the three-dimensional shape measurement unit 12 and analyzes the image of the three-dimensional shape data to recognize the human body of the monitored person. For example, the analysis processing unit 21 stores in advance an image of the face portion or head portion of the monitored person as a template image, and performs template matching between the template image and the three-dimensional shape data to monitor from the three-dimensional shape data. Recognize the person's face or head. And the analysis process part 21 extracts a human body from three-dimensional shape data based on the recognized face part or head part, and the swelling of the futon.

はみ出し判定部22は、解析処理部21の解析結果(人体の認識結果)に基づいて、ベッドの上空間に被監視者である人体の第1の体部分、およびベッドの周囲空間に当該人体の第2の体部分がともに含まれる時間を測定し、測定された時間が所定時間を超える場合に、被監視者がベッドからはみ出していると判定する。例えば、はみ出し判定部22は、ベッドの上空間における人体の第1の体部分の表面積を算出するとともに、ベッドの周囲空間における人体の第2の体部分の表面積を算出する。ベッドの上空間における人体の第1の体部分の表面積が一定値以上あり、且つベッドの周囲空間における人体の第2の体部分の表面積が一定値以上あり、それらの状態が一定時間持続した場合に、はみ出し判定部22は、被監視者がベッドからはみ出していると判定する。
このように、被監視者の人体がベッドの上空間および周囲空間を跨いで所定時間以上ある場合に被監視者がベッドからはみ出していると判定することにより、例えば、寝返りをうって腕や足等の体の一部分がベッドからはみ出たものの再びベッド内に戻った場合等、転落のおそれが低い一時的なはみ出しを検出しないようにすることができる。
Based on the analysis result of the analysis processing unit 21 (recognition result of the human body), the protrusion determination unit 22 has a first body part of the human body that is the person to be monitored in the space above the bed, and the human body in the space around the bed. The time during which the second body part is included is measured, and when the measured time exceeds a predetermined time, it is determined that the person being monitored is out of bed. For example, the protrusion determination unit 22 calculates the surface area of the first body part of the human body in the space above the bed and calculates the surface area of the second body part of the human body in the space around the bed. When the surface area of the first body part of the human body in the space above the bed is greater than or equal to a certain value, and the surface area of the second body part of the human body in the space surrounding the bed is greater than or equal to a certain value, Moreover, the protrusion determination unit 22 determines that the monitored person protrudes from the bed.
As described above, when the human body of the monitored person is straddling the upper space and the surrounding space of the bed for a predetermined time or longer, it is determined that the monitored person is protruding from the bed, for example, the arm or the leg is turned over. For example, when a part of the body protrudes from the bed but returns to the bed again, it is possible not to detect a temporary protrusion with a low risk of falling.

リスク判別部23は、はみ出し判定部22が算出したベッドの周囲空間における人体の第2の体部分の表面積と第2の体部分のベッドの周囲空間における滞在時間とに応じて、被監視者である人体のベッドからの転落のリスク度合を判別する。例えば、リスク判別部23は、ベッドの周囲空間における人体の第2の体部分の表面積が大きく、第2の体部分のベッドの周囲空間における滞在時間が長いほど、人体のベッドからの転落のリスク度合が大きい(リスクが高い)と判別する。例えば、リスク判別部23は、リスクの度合を“低”、“中”、および“高”の3段階に区別する。リスク判別部23によるリスク度合の判別方法の具体例については、後述する。   The risk discriminating unit 23 is a person to be monitored according to the surface area of the second body part of the human body in the surrounding space of the bed and the staying time in the surrounding space of the bed of the second body part calculated by the protrusion determining unit 22. Determine the degree of risk of falling from a person's bed. For example, the risk discriminating unit 23 has a risk of falling from the bed of the human body as the surface area of the second body part of the human body in the space around the bed is large and the staying time in the space around the bed of the second body part is longer. It is determined that the degree is high (the risk is high). For example, the risk discriminating unit 23 distinguishes the degree of risk into three levels of “low”, “medium”, and “high”. A specific example of the risk determination method by the risk determination unit 23 will be described later.

報知部30は、リスク判別部23の判別結果に応じて報知する。例えば、報知部による報知の例として、監視モニタへの警告情報の表示、監視者が管理する端末への電子メールの送信、アラーム音の出力がある。報知部30は、リスク判別部23が判別するリスクの度合(例えば、“低”、“中”、および“高”)に応じて、報知種別を変えてもよい。   The notification unit 30 notifies according to the determination result of the risk determination unit 23. For example, examples of notification by the notification unit include display of warning information on a monitor, transmission of an e-mail to a terminal managed by a monitor, and output of an alarm sound. The notification unit 30 may change the notification type in accordance with the degree of risk determined by the risk determination unit 23 (for example, “low”, “medium”, and “high”).

図2は、本実施形態であるベッド見守りシステム1を適用した室内の様子を模式的に表した図である。図2には、三次元座標系(XYZ座標系)が示されている。X軸は、部屋の横方向の軸である。Y軸は、部屋の縦方向(奥行き方向)の軸である。Z軸は、部屋の高さ方向の軸である。図2において、部屋のXY平面に平行な床上の隅に、ベッド2がその長手方向をY軸に沿う方向にして設置されている。ベッド2には、被監視者Pが頭を壁側に向けて寝ている。また、被監視者Pの頭が向いた壁の上方には、測定部10が設けられている。測定部10は、その内部に設けられた人感知部11および三次元形状計測部12それぞれが、少なくともベッド2の上空間およびベッド2の周囲空間を測定(センス)可能に壁に設けられている。なお、測定部10は、部屋の天井に設けられてもよい。   FIG. 2 is a diagram schematically illustrating an indoor state to which the bed watching system 1 according to the present embodiment is applied. FIG. 2 shows a three-dimensional coordinate system (XYZ coordinate system). The X axis is the horizontal axis of the room. The Y axis is an axis in the vertical direction (depth direction) of the room. The Z axis is an axis in the height direction of the room. In FIG. 2, a bed 2 is installed at a corner on the floor parallel to the XY plane of the room with its longitudinal direction along the Y axis. In the bed 2, the monitored person P is sleeping with his head facing the wall. A measuring unit 10 is provided above the wall where the head of the person P to be monitored faces. The measuring unit 10 is provided on the wall so that each of the human sensing unit 11 and the three-dimensional shape measuring unit 12 provided therein can measure (sense) at least the upper space of the bed 2 and the surrounding space of the bed 2. . Note that the measurement unit 10 may be provided on the ceiling of the room.

図3の各図は、ベッド2の上空間および周囲空間を表した平面図である。図3における上図は、図2に示した部屋の内部をXZ平面に平行な面で切った場合の断面図である。図3の上図において、ベッド2の直上には、断面Aを有する空間(上空間)がある。断面Aの横幅は、ベッド2のX軸方向の横幅と同じ距離Xであり、断面Aの高さは、ベッド2の上面から距離Zである。つまり、断面Aの面積は、(X×Z)である。例えば、距離Zは、被監視者Pがベッド2上に横向きに寝た状態での肩の高さを含む距離である。なお、距離Zを、被監視者Pがベッド2上に起床したとき(座った状態)のベッド2の上面から肩までの距離としてもよい。 Each figure of FIG. 3 is a plan view showing the upper space and the surrounding space of the bed 2. The upper view in FIG. 3 is a cross-sectional view when the interior of the room shown in FIG. 2 is cut by a plane parallel to the XZ plane. In the upper diagram of FIG. 3, there is a space (upper space) having a cross section A immediately above the bed 2. Width of section A is the same distance X 2 and the lateral width of the X-axis direction of the bed 2, the height of the cross-section A is the distance Z 2 from the upper surface of the bed 2. That is, the area of the cross section A is (X 2 × Z 2 ). For example, the distance Z 2 is the distance including a shoulder height in a state where the monitored person P is lying sideways on the bed 2. Incidentally, the distance Z 2, or as the distance from the upper surface of the bed 2 when the monitored person P has got up on the bed 2 (while sitting) to the shoulder.

図3の上図において、ベッド2のX軸方向の横には、断面Bを有する空間(周囲空間)がある。断面Bは、ベッド2の横端から距離X、床面から距離Zの間隙を有して設けられる。断面Bの横幅は、距離Xであり、断面Bの高さは、距離(Z+Z)である。つまり、断面Bの面積は、(X×(Z+Z))である。距離(Z+Z)は、床からベッド2の上面までのZ軸方向の距離に一致する。距離Xは、被監視者Pにかける布団等寝具がベッドからはみ出る幅を考慮した距離である。距離Zは、被監視者Pが床に転んだ状態の、例えば床から顔の幅に相当する距離以下の距離である。なお、距離Xおよび距離Zまたは一方を“0(ゼロ)”としてもよい。 In the upper diagram of FIG. 3, there is a space (surrounding space) having a cross section B on the side of the bed 2 in the X-axis direction. The cross section B is provided with a gap of a distance X 0 from the lateral end of the bed 2 and a distance Z 0 from the floor surface. Width of section B is the distance X 1, the height of the cross section B is the distance (Z 1 + Z 2). That is, the area of the cross section B is (X 1 × (Z 1 + Z 2 )). The distance (Z 0 + Z 1 ) matches the distance in the Z-axis direction from the floor to the upper surface of the bed 2. Distance X 0 is the distance futon bedding, etc. to be applied to the monitored person P is considering width protruding from the bed. The distance Z 0 is a distance equal to or smaller than the distance corresponding to the width of the face from the floor, for example, in a state where the monitored person P has fallen to the floor. The distance X 0 and the distance Z 0 or one of them may be “0 (zero)”.

図3の下図は、図2に示した部屋の内部をYZ平面に平行な面で切った場合の断面図である。図3の下図において、ベッド2の直上には、断面Cを有する空間(上空間)がある。断面Cの横幅は、ベッド2の長手方向(Y軸方向)の距離よりも距離Yだけ短い距離Yである。また、断面Cの高さは、ベッド2の上面から距離Zである。つまり、断面Cの面積は、(Y×Z)である。距離Yは、その幅内の間隙からは被監視者Pが転落するおそれがない距離である。例えば、距離Yは、被監視者Pの肩幅以内の距離である。
なお、図3は、ベッド2の上空間の上面とベッド2の周囲空間の上面とが一平面に含まれる例であるが、ベッド2の上空間の上面とベッド2の周囲空間の上面とが一平面に含まれないようにしてもよい。
The lower view of FIG. 3 is a cross-sectional view of the interior of the room shown in FIG. 2 taken along a plane parallel to the YZ plane. In the lower diagram of FIG. 3, there is a space (upper space) having a cross section C immediately above the bed 2. The width of the cross section C is a distance Y 1 shorter than the distance in the longitudinal direction (Y-axis direction) of the bed 2 by a distance Y 0 . The height of the cross section C is a distance Z 2 from the upper surface of the bed 2. That is, the area of the cross section C is (Y 1 × Z 2 ). The distance Y 0 is from the gap in the width is the distance no risk of the monitored person P to fall. For example, the distance Y 0 is the distance within shoulder width of the monitored person P.
3 is an example in which the upper surface of the upper space of the bed 2 and the upper surface of the surrounding space of the bed 2 are included in one plane, the upper surface of the upper space of the bed 2 and the upper surface of the surrounding space of the bed 2 are It may not be included in one plane.

図3の下図において、ベッド2の手前には、断面Dを有する空間(周囲空間)がある。断面Dは、ベッド2の横端から距離Y、床面から距離Zの間隙を有して設けられる。なお、距離Yを“0(ゼロ)”としてもよい。断面Dの横幅は、距離Yであり、断面Dの高さは、距離(Z+Z)である。つまり、断面Dの面積は、(Y×(Z+Z))である。 In the lower diagram of FIG. 3, there is a space (surrounding space) having a cross section D in front of the bed 2. The cross section D is provided with a gap of a distance Y 0 from the lateral end of the bed 2 and a distance Z 0 from the floor surface. Incidentally, the distance Y 0 may be "0 (zero)". Width of the cross section D is a distance Y 1, the height of the cross section D is the distance (Z 1 + Z 2). That is, the area of the cross section D is (Y 1 × (Z 1 + Z 2 )).

すなわち、図3によれば、ベッド2の直上には、上空間として立方体(X×Y×Z)があり、ベッド2のX軸方向の横には、周囲空間として立方体(X×Y×(Z+Z))がある。このように、ベッド2の大きさ、配置、被監視者Pの体格、寝具の種類等に応じた大きさの上空間および周囲空間が定義される。なお、ベッド2が部屋の中央付近に設置されている場合は、ベッド2の両脇に周囲空間としての立方体を定義してもよい。人感知部11は、少なくともベッド2の上空間内において被監視者Pを検知する。また、三次元形状計測部12は、ベッド2の上空間および周囲空間において三次元計測を行って三次元形状データを生成する。 That is, according to FIG. 3, immediately above the bed 2, there is a cube (X 2 × Y 1 × Z 2) as an upper space, the horizontal X-axis direction of the bed 2, cubes (X 1 as surrounding space × Y 1 × (Z 1 + Z 2 )). As described above, the upper space and the surrounding space are defined in accordance with the size and arrangement of the bed 2, the physique of the monitored person P, the type of bedding, and the like. In addition, when the bed 2 is installed near the center of the room, a cube as a surrounding space may be defined on both sides of the bed 2. The person detection unit 11 detects the monitored person P at least in the space above the bed 2. The three-dimensional shape measurement unit 12 performs three-dimensional measurement in the upper space and the surrounding space of the bed 2 to generate three-dimensional shape data.

次に、本実施形態であるベッド見守りシステム1の動作について説明する。
図4は、ベッド見守りシステム1の処理手順の例を示すフローチャートである。ステップS1において、人感知部11は、少なくとも、ベッド2の上空間を測定(センス)している(ステップS1:NO)。測定部10は、人感知部11がベッド2の上空間で被監視者Pである人体を感知すると(ステップS1:YES)、ステップS2の処理に進める。
Next, operation | movement of the bed watching system 1 which is this embodiment is demonstrated.
FIG. 4 is a flowchart illustrating an example of a processing procedure of the bed watching system 1. In step S1, the human sensing unit 11 measures (senses) at least the space above the bed 2 (step S1: NO). When the human sensing unit 11 senses a human body as the monitored person P in the space above the bed 2 (step S1: YES), the measuring unit 10 proceeds to the process of step S2.

ステップS2において、測定部10は、タイマを作動させて計時を開始させる。
次に、ステップS3において、三次元形状計測部12は、被監視者Pが寝るベッド2の上空間および周囲空間において、三次元形状を計測して三次元形状データを生成する。
次に、ステップS4において、解析処理部21は、三次元形状計測部12が生成した三次元形状データを取り込み、この三次元形状データを画像解析して被監視者Pの人体を認識する。
In step S <b> 2, the measurement unit 10 starts a time measurement by operating a timer.
Next, in step S3, the three-dimensional shape measuring unit 12 measures the three-dimensional shape in the upper space and the surrounding space of the bed 2 where the monitored person P sleeps and generates three-dimensional shape data.
Next, in step S4, the analysis processing unit 21 takes in the three-dimensional shape data generated by the three-dimensional shape measurement unit 12, and performs image analysis on the three-dimensional shape data to recognize the human body of the monitored person P.

次に、ステップS5において、はみ出し判定部22は、解析処理部21の解析結果に基づいて、ベッド2の上空間における人体の第1の体部分の表面積を算出する。そして、はみ出し判定部22は、ベッド2の上空間において人体の第1の体部分の表面積が一定値以上あるか否かを判定する。はみ出し判定部22は、人体の第1の体部分の表面積が一定値以上あると判定した場合(ステップS5:YES)はステップS6の処理に進め、人体の第1の体部分の表面積が一定値未満であると判定した場合(ステップS5:NO)はステップS1の処理に戻す。   Next, in step S <b> 5, the protrusion determination unit 22 calculates the surface area of the first body part of the human body in the upper space of the bed 2 based on the analysis result of the analysis processing unit 21. And the protrusion determination part 22 determines whether the surface area of the 1st body part of a human body is more than a fixed value in the space above the bed 2. FIG. When the protrusion determination unit 22 determines that the surface area of the first body part of the human body is greater than or equal to a certain value (step S5: YES), the process proceeds to step S6, and the surface area of the first body part of the human body is a constant value. When it determines with it being less than (step S5: NO), it returns to the process of step S1.

ステップS6において、はみ出し判定部22は、解析処理部21の解析結果に基づいて、ベッド2の周囲空間における人体の第2の体部分の表面積を算出する。そして、はみ出し判定部22は、ベッド2の周囲空間において人体の第2の体部分の表面積が一定値以上あるか否かを判定する。はみ出し判定部22は、人体の第2の体部分の表面積が一定値以上あると判定した場合(ステップS6:YES)はステップS7の処理に進め、人体の第2の体部分の表面積が一定値未満であると判定した場合(ステップS6:NO)はステップS2の処理に戻す。   In step S <b> 6, the protrusion determination unit 22 calculates the surface area of the second body part of the human body in the surrounding space of the bed 2 based on the analysis result of the analysis processing unit 21. And the protrusion determination part 22 determines whether the surface area of the 2nd body part of a human body is more than a fixed value in the surrounding space of the bed 2. FIG. When the protrusion determination unit 22 determines that the surface area of the second body part of the human body is greater than or equal to a certain value (step S6: YES), the process proceeds to step S7, and the surface area of the second body part of the human body is a constant value. When it determines with it being less than (step S6: NO), it returns to the process of step S2.

ステップS7において、はみ出し判定部22は、所定時間が経過したか否かを判定し、所定時間が経過したと判定した場合(ステップS7:YES)はステップS8の処理に進め、所定時間が経過していないと判定した場合(ステップS7:NO)はステップS3の処理に戻す。   In step S7, the protrusion determination unit 22 determines whether or not a predetermined time has elapsed. If it is determined that the predetermined time has elapsed (step S7: YES), the process proceeds to step S8, and the predetermined time has elapsed. If it is determined that it is not (step S7: NO), the process returns to step S3.

ステップS8において、はみ出し判定部22は、被監視者Pである人体の体部分がベッド2からはみ出していると判定する。そして、処理部20は、本フローチャートの処理を終了させる。   In step S <b> 8, the protrusion determination unit 22 determines that the body part of the human body that is the monitored person P protrudes from the bed 2. Then, the processing unit 20 ends the process of this flowchart.

次に、リスク判別部23によるリスク度合の判別方法の具体例について説明する。
図5は、リスク判別部23が判別するリスク度合の分類の例を表す図である。図5に示すように、リスク判別部23は、ベッド2の周囲空間における人体の第2の体部分の表面積を、0cm以上500cm未満、500cm以上1000cm未満、および1000cm以上1500cm未満の三段階により分類する。また、リスク判別部23は、当該人体の第2の体部分のベッド2の周囲空間における滞在時間を、0秒以上2秒未満、2秒以上4秒未満、および4秒以上8秒未満の三段階により分類する。リスク判別部23は、はみ出し体部分の表面積対はみ出し経過時間の二次元マトリクスにおいて、人体のベッド2からの転落のリスク度合を判別する。図5は、リスク判別部23がリスク度合を“低”、“中”、および“高”の三段階に判別する例であるが、更に細かく判別してもよい。
Next, a specific example of the risk degree determination method by the risk determination unit 23 will be described.
FIG. 5 is a diagram illustrating an example of classification of risk degrees determined by the risk determination unit 23. As shown in FIG. 5, the risk determination unit 23 sets the surface area of the second body part of the human body in the space surrounding the bed 2 to 0 cm 2 or more and less than 500 cm 2 , 500 cm 2 or more and less than 1000 cm 2 , and 1000 cm 2 or more and 1500 cm 2. Classify according to the following three steps. Further, the risk discriminating unit 23 sets the stay time of the second body part of the human body in the surrounding space of the bed 2 to 0 second to less than 2 seconds, 2 seconds to less than 4 seconds, and 4 seconds to less than 8 seconds. Sort by stage. The risk discriminating unit 23 discriminates the degree of risk of the human body falling from the bed 2 in the two-dimensional matrix of the surface area of the protruding body portion versus the protruding elapsed time. FIG. 5 shows an example in which the risk discriminating unit 23 discriminates the risk degree into three stages of “low”, “medium”, and “high”.

はみ出し体部分の表面積対はみ出し経過時間の二次元マトリクスにおけるリスク度合の分布は、被監視者Pの特性(ベッド2からの転落の特性)に合わせて適宜決定される。例えば、リスク判別部23は、被監視者Pの過去の転落時のはみ出し体部分の表面積およびはみ出し経過時間、つまり履歴情報に基づいて、リスク度合の分布を決定する。このように、個人別に二次元マトリクスにおけるリスク度合の分布を決定することにより、転落のリスク判別の精度を高く保つことができる。   The distribution of the degree of risk in the two-dimensional matrix of the surface area of the protruding portion versus the protruding elapsed time is appropriately determined according to the characteristics of the monitored person P (the characteristics of falling from the bed 2). For example, the risk determination unit 23 determines the distribution of the degree of risk based on the surface area of the protruding body portion and the protruding elapsed time, that is, history information when the monitored person P has fallen in the past. Thus, by determining the distribution of the degree of risk in the two-dimensional matrix for each individual, it is possible to keep the accuracy of the fall risk determination high.

[その他の実施形態]
リスク判別部23は、はみ出し判定部22がそれぞれ算出した人体の第1の体部分の表面積および第2の体部分の表面積の比率と、当該人体の第2の体部分のベッド2の周囲空間における滞在時間とに応じて、被監視者Pである人体のベッド2からの転落のリスク度合を判別してもよい。
[Other Embodiments]
The risk discriminating unit 23 calculates the ratio of the surface area of the first body part and the surface area of the second body part of the human body calculated by the protrusion judgment unit 22 and the space around the bed 2 of the second body part of the human body. Depending on the staying time, the degree of risk of falling from the bed 2 of the human body being the monitored person P may be determined.

図6は、リスク判別部23が判別するリスク度合の分類の別の例を表す図である。図6に示すように、リスク判別部23は、ベッド内体部分の表面積/はみ出し体部分の表面積(第1の体部分の表面積/第2の体部分の表面積)が大きく、第2の体部分のベッド2の周囲空間における滞在時間が長いほど、人体のベッド2からの転落のリスク度合が大きい(リスクが高い)と判別してもよい。   FIG. 6 is a diagram illustrating another example of risk degree classification determined by the risk determination unit 23. As shown in FIG. 6, the risk discriminating unit 23 has a large surface area of the bed internal body part / surface area of the protruding body part (surface area of the first body part / surface area of the second body part), and the second body part. It may be determined that the longer the staying time in the surrounding space of the bed 2 is, the higher the risk of falling from the human bed 2 is (the higher the risk is).

また、解析処理部21は、三次元形状データを画像解析して被監視者Pの人体を認識したのち、その重心の位置を算出してもよい。そして、はみ出し判定部22は、解析処理部21の解析結果(人体の重心位置)に基づいて、ベッドの上空間に被監視者Pである人体の第1の体部分、およびベッドの周囲空間に当該人体の重心がともに所定時間含まれる場合に、被監視者がベッドからはみ出していると判定してもよい。   The analysis processing unit 21 may calculate the position of the center of gravity after recognizing the human body of the monitored person P by analyzing the image of the three-dimensional shape data. Based on the analysis result of the analysis processing unit 21 (the center of gravity position of the human body), the protrusion determination unit 22 applies the first body part of the human body that is the monitored person P to the space above the bed and the space around the bed. When the center of gravity of the human body is included for a predetermined time, it may be determined that the person being monitored protrudes from the bed.

以上、詳述したように、本実施形態であるベッド見守りシステム1は、被監視者Pが寝るベッド2の上空間およびベッド2の周囲空間において、三次元形状を計測して三次元形状データを生成する三次元形状計測部12と、三次元形状データに基づいて被監視者Pの人体を認識する解析処理部21と、ベッド2の上空間に人体の第1の体部分、およびベッド2の周囲空間に人体2の第2の体部分がともに含まれる時間を測定し、測定された時間が所定時間を超える場合に、被監視者である人体がベッド2からはみ出していると判定するはみ出し判定部22と、を備える。
この構成により、被監視者Pの人体がベッド2の上空間および周囲空間を跨いで所定時間以上ある場合に、被監視者Pがベッド2からはみ出していると判定する。これにより、例えば、寝返りをうって腕や足等の体の一部分がベッドからはみ出たものの再びベッド内に戻った場合等、転落のおそれが低い一時的なはみ出しを検出しないようにすることができる。つまり、本実施形態によれば、被監視者Pのベッド2からの転落の危険性を的確に判断することができる。
As described above in detail, the bed watching system 1 according to the present embodiment measures the three-dimensional shape in the upper space of the bed 2 where the monitored person P sleeps and the surrounding space of the bed 2 to obtain the three-dimensional shape data. The generated three-dimensional shape measurement unit 12, the analysis processing unit 21 that recognizes the human body of the monitored person P based on the three-dimensional shape data, the first body part of the human body in the space above the bed 2, and the bed 2 An overrun determination that measures the time during which the second body part of the human body 2 is included in the surrounding space, and determines that the human body that is the monitored person protrudes from the bed 2 when the measured time exceeds a predetermined time Unit 22.
With this configuration, it is determined that the monitored person P protrudes from the bed 2 when the human body of the monitored person P is present for a predetermined time or more across the upper space and the surrounding space of the bed 2. Accordingly, for example, when a part of the body such as an arm or a leg protrudes from the bed after turning over and returns to the bed again, it is possible to prevent detection of a temporary protrusion with a low risk of falling. . That is, according to the present embodiment, it is possible to accurately determine the danger of the monitored person P falling from the bed 2.

なお、ベッド見守りシステム1において、はみ出し判定部22が算出した人体の第2の体部分の表面積と第2の体部分のベッド2の周囲空間における滞在時間とに応じて、人体のベッド2からの転落のリスク度合を判別するリスク判別部23、を更に備えてもよい。
この構成により、ベッド見守りシステム1は、被監視者Pのベッド2からの転落のリスクを段階的に得ることができる。
Note that in the bed watching system 1, depending on the surface area of the second body part of the human body calculated by the protrusion determination unit 22 and the staying time of the second body part in the surrounding space of the bed 2, You may further provide the risk discrimination | determination part 23 which discriminate | determines the risk degree of a fall.
With this configuration, the bed watching system 1 can obtain the risk of falling from the bed 2 of the monitored person P in stages.

また、ベッド見守りシステム1において、リスク判別部23は、はみ出し判定部22がそれぞれ算出した人体の第1の体部分の表面積および当該人体の第2の体部分の表面積の比率と、当該人体の第2の体部分のベッド2の周囲空間における滞在時間とに応じて、人体のベッド2からの転落のリスク度合を判別してもよい。例えば、リスク判別部23は、第1の体部分の表面積に対して第2の体部分の表面積が大きく、第2の体部分のベッド2の周囲空間における滞在時間が長いほど、人体のベッド2からの転落のリスク度合が大きい(リスクが高い)と判別する。   Further, in the bed watching system 1, the risk determination unit 23 calculates the ratio of the surface area of the first body part of the human body and the surface area of the second body part of the human body calculated by the protrusion determination unit 22 and the first part of the human body. The degree of risk of falling from the bed 2 of the human body may be determined according to the staying time of the second body part in the surrounding space of the bed 2. For example, the risk discriminating unit 23 increases the surface area of the second body part relative to the surface area of the first body part, and the longer the staying time in the space around the bed 2 of the second body part, the longer the bed 2 of the human body. It is determined that the risk of falling from is high (risk is high).

また、ベッド見守りシステム1において、リスク判別部23の判別結果に応じて報知する報知部30を更に備えてもよい。
この構成により、リスク判別部23の判別結果に応じて段階的に被監視者Pのベッド2からの転落の危険性を報知することができる。
Moreover, in the bed watching system 1, you may further provide the alerting | reporting part 30 which alert | reports according to the discrimination | determination result of the risk discrimination | determination part 23. FIG.
With this configuration, it is possible to notify the danger of falling from the bed 2 of the monitored person P step by step according to the determination result of the risk determination unit 23.

以上により、本実施形態であるベッド見守りシステム1によれば、被監視者Pがベッド2から転落するおそれがあることを事前に確実に検知できるため、転落を未然に防ぐことができる。   As described above, according to the bed watching system 1 according to the present embodiment, it can be reliably detected in advance that the monitored person P may fall from the bed 2, so that the fall can be prevented in advance.

以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。   As mentioned above, although embodiment of this invention was explained in full detail with reference to drawings, the specific structure is not restricted to that embodiment, The design of the range which does not deviate from the summary of this invention, etc. are included.

1…ベッド見守りシステム、10…測定部、11…人感知部、12…三次元形状計測部、20…処理部、21…解析処理部、22…はみ出し判定部、23…リスク判別部、30…報知部   DESCRIPTION OF SYMBOLS 1 ... Bed watching system, 10 ... Measurement part, 11 ... Human sensing part, 12 ... Three-dimensional shape measurement part, 20 ... Processing part, 21 ... Analysis processing part, 22 ... Overhang determination part, 23 ... Risk determination part, 30 ... Notification section

Claims (5)

被監視者が寝るベッドの上空間および前記ベッドの周囲空間において、三次元形状を計測して三次元形状データを生成する三次元形状計測部と、
前記三次元形状データに基づいて前記被監視者の人体を認識する解析処理部と、
前記ベッドの上空間に前記人体の第1の体部分、および前記ベッドの周囲空間に前記人体の第2の体部分がともに含まれる時間を測定し、測定された時間が所定時間を超える場合に、前記人体が前記ベッドからはみ出していると判定するはみ出し判定部と、
を備えるベッド見守りシステム。
A three-dimensional shape measurement unit that measures a three-dimensional shape and generates three-dimensional shape data in the space above the bed where the monitored person sleeps and the surrounding space of the bed;
An analysis processing unit for recognizing the human body of the monitored person based on the three-dimensional shape data;
When the time above which the first body part of the human body is included in the space above the bed and the second body part of the human body is included in the space around the bed and the measured time exceeds a predetermined time , A protrusion determination unit that determines that the human body protrudes from the bed,
A bed watching system.
前記はみ出し判定部が算出した前記人体の第2の体部分の表面積と前記第2の体部分の前記ベッドの周囲空間における滞在時間とに応じて、前記人体の前記ベッドからの転落のリスク度合を判別するリスク判別部、
を更に備える請求項1記載のベッド見守りシステム。
According to the surface area of the second body part of the human body calculated by the protrusion determination unit and the staying time of the second body part in the surrounding space of the bed, the risk degree of falling of the human body from the bed is determined. A risk discriminating unit for discriminating;
The bed watching system according to claim 1, further comprising:
前記リスク判別部は、前記はみ出し判定部がそれぞれ算出した前記人体の第1の体部分の表面積および前記人体の第2の体部分の表面積の比率と、前記人体の第2の体部分の前記ベッドの周囲空間における滞在時間とに応じて、前記人体の前記ベッドからの転落のリスク度合を判別する、
請求項2記載のベッド見守りシステム。
The risk determination unit is configured to calculate a ratio of the surface area of the first body part of the human body and the surface area of the second body part of the human body calculated by the protrusion determination unit, and the bed of the second body part of the human body. According to the stay time in the surrounding space of the human body, the degree of risk of falling from the bed of the human body is determined,
The bed watching system according to claim 2.
前記リスク判別部の判別結果に応じて報知する報知部、
を更に備える請求項2または請求項3いずれか記載のベッド見守りシステム。
An informing unit for informing according to a discrimination result of the risk discriminating unit,
The bed watching system according to claim 2, further comprising:
被監視者が寝るベッドの上空間および前記ベッドの周囲空間において、三次元形状を計測して三次元形状データを生成する三次元形状計測ステップと、
前記三次元形状データに基づいて前記被監視者の人体を認識する解析処理ステップと、
前記ベッドの上空間に前記人体の第1の体部分、および前記ベッドの周囲空間に前記人体の第2の体部分がともに含まれる時間を測定し、測定された時間が所定時間を超える場合に、前記人体が前記ベッドからはみ出していると判定するはみ出し判定ステップと、
を有するベッド見守り方法。
A three-dimensional shape measurement step for generating a three-dimensional shape data by measuring a three-dimensional shape in the space above the bed where the monitored person sleeps and the surrounding space of the bed;
An analysis processing step for recognizing the human body of the monitored person based on the three-dimensional shape data;
When the time above which the first body part of the human body is included in the space above the bed and the second body part of the human body is included in the space around the bed and the measured time exceeds a predetermined time A protrusion determination step for determining that the human body protrudes from the bed;
A method of watching a bed.
JP2014242931A 2014-12-01 2014-12-01 Bed watching system and bed watching method Expired - Fee Related JP6361924B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014242931A JP6361924B2 (en) 2014-12-01 2014-12-01 Bed watching system and bed watching method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014242931A JP6361924B2 (en) 2014-12-01 2014-12-01 Bed watching system and bed watching method

Publications (2)

Publication Number Publication Date
JP2016104071A true JP2016104071A (en) 2016-06-09
JP6361924B2 JP6361924B2 (en) 2018-07-25

Family

ID=56101907

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014242931A Expired - Fee Related JP6361924B2 (en) 2014-12-01 2014-12-01 Bed watching system and bed watching method

Country Status (1)

Country Link
JP (1) JP6361924B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019195395A (en) * 2018-05-08 2019-11-14 国立大学法人鳥取大学 Risk degree estimation system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011103037A (en) * 2009-11-10 2011-05-26 Toshiba Corp Detection device
JP2012030042A (en) * 2010-06-30 2012-02-16 Panasonic Electric Works Co Ltd Monitoring device, and program
JP2014140447A (en) * 2013-01-23 2014-08-07 Harukaze Kk Method for monitoring person in bed and device therefor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011103037A (en) * 2009-11-10 2011-05-26 Toshiba Corp Detection device
JP2012030042A (en) * 2010-06-30 2012-02-16 Panasonic Electric Works Co Ltd Monitoring device, and program
JP2014140447A (en) * 2013-01-23 2014-08-07 Harukaze Kk Method for monitoring person in bed and device therefor

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019195395A (en) * 2018-05-08 2019-11-14 国立大学法人鳥取大学 Risk degree estimation system
JP7076281B2 (en) 2018-05-08 2022-05-27 国立大学法人鳥取大学 Risk estimation system

Also Published As

Publication number Publication date
JP6361924B2 (en) 2018-07-25

Similar Documents

Publication Publication Date Title
JP4818162B2 (en) Movable floor board type bed device
US8350709B2 (en) Presence detector and occupant support employing the same
JP6717235B2 (en) Monitoring support system and control method thereof
JP4841462B2 (en) Bed equipment
JP6500785B2 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM
JP2015132963A (en) Monitor system
JPWO2015133195A1 (en) Information processing apparatus, information processing method, and program
KR101515597B1 (en) Method and apparatus for surveillance by using 3-dimension image data
JP5760905B2 (en) Danger detection device and danger detection method
JP5111889B2 (en) Bed equipment
RU2018133881A (en) METHOD AND CONTROL SYSTEM
JP2014140447A (en) Method for monitoring person in bed and device therefor
JP2008212306A (en) Bed apparatus
JP5068602B2 (en) Bed equipment
JP6361924B2 (en) Bed watching system and bed watching method
CN104616436B (en) Fatigue driving determining system and method
JP6557853B2 (en) Abnormal state notification system, abnormal state notification program, abnormal state notification method, and abnormal state notification device
JPWO2018047795A1 (en) Watch system, watch device, watch method, and watch program
CN112493758B (en) Mattress for identifying quilt kicking and quilt kicking identification method
JP6424542B2 (en) Method of monitoring operation of person, program of monitoring operation of person and information processing apparatus
JP2017010383A (en) Danger detection device
JP6791731B2 (en) Posture judgment device and reporting system
JP5870230B1 (en) Watch device, watch method and watch program
JP6328884B2 (en) Body movement level determination device
KR102404971B1 (en) System and Method for Detecting Risk of Patient Falls

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180313

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180515

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180613

R150 Certificate of patent or registration of utility model

Ref document number: 6361924

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees