JP6823327B2 - Autonomous mobile robot and vital sign monitoring method - Google Patents
Autonomous mobile robot and vital sign monitoring method Download PDFInfo
- Publication number
- JP6823327B2 JP6823327B2 JP2019112416A JP2019112416A JP6823327B2 JP 6823327 B2 JP6823327 B2 JP 6823327B2 JP 2019112416 A JP2019112416 A JP 2019112416A JP 2019112416 A JP2019112416 A JP 2019112416A JP 6823327 B2 JP6823327 B2 JP 6823327B2
- Authority
- JP
- Japan
- Prior art keywords
- acquisition device
- data
- data acquisition
- image data
- observation target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 28
- 238000012544 monitoring process Methods 0.000 title description 13
- 238000013507 mapping Methods 0.000 claims description 44
- 230000010365 information processing Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 7
- 230000000241 respiratory effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 208000015181 infectious disease Diseases 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 208000035473 Communicable disease Diseases 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 241001481828 Glyptocephalus cynoglossus Species 0.000 description 1
- 206010061296 Motor dysfunction Diseases 0.000 description 1
- 206010040007 Sense of oppression Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
本発明は、自律移動ロボット及びバイタルサインモニタリング方法に関する。 The present invention relates to an autonomous mobile robot and a vital sign monitoring method.
自律移動ロボットは、状況に応じ自ら判断し移動し所定の動作を行うことのできるロボットである。自律移動ロボットの公知の技術として、下記非特許文献２に、在宅環境で、高齢者又は運動機能障害者を追従し、小型カメラを用いて運動計測を行い、更には計測したデータにより行動を認識しようとする技術が開示されている。 An autonomous mobile robot is a robot that can make a judgment and move according to a situation and perform a predetermined operation. As a known technology of an autonomous mobile robot, the following Non-Patent Document 2 describes an elderly person or a person with motor dysfunction in a home environment, performs motion measurement using a small camera, and further recognizes an action based on the measured data. The technology to be attempted is disclosed.
なお下記非特許文献２には、マイクロ波レーダーと熱画像センサーを用いて、静止している被計測者の脈拍、呼吸及び体表面を取得し、それらのデータを分析することで観察対象の感染や健康状態を把握する技術が開示されている。 In Non-Patent Document 2 below, the pulse, respiration, and body surface of a stationary subject are acquired by using a microwave radar and a thermal image sensor, and the data are analyzed to infect the observation target. And the technology to grasp the health condition is disclosed.
しかしながら、上記非特許文献１に記載の技術では、生命・健康状態を直接にとらえることのできる脈拍、呼吸の計測能力において課題がある。 However, the technique described in Non-Patent Document 1 has a problem in the ability to measure pulse and respiration that can directly grasp the life / health state.
また、上記非特許文献２に記載の技術では、センサーシステムが固定位置に設定されており、被計測者が熱画像センサー及びマイクロ波レーダーのスペックに合わせて設定される位置に行って検査を受ける必要がある。このため、使用場面により、使用者にとって非常に不便を生ずることとなるだけでなく、計測ができない場合もある。 Further, in the technique described in Non-Patent Document 2, the sensor system is set at a fixed position, and the person to be measured goes to a position set according to the specifications of the thermal image sensor and the microwave radar to undergo inspection. There is a need. Therefore, depending on the usage situation, not only is it very inconvenient for the user, but also measurement may not be possible.
そこで、本発明は、上記課題を鑑み、自律移動型の非接触バイタルサインモニタリングシステムを可能とする自律移動ロボット及びバイタルサインモニタリング方法を提供することを目的とする。 Therefore, in view of the above problems, it is an object of the present invention to provide an autonomous mobile robot and a vital sign monitoring method that enable an autonomous mobile non-contact vital sign monitoring system.
上記課題を解決する本発明の一観点に係る自律移動ロボットは、画像データ取得装置と、バイタルサインデータ取得装置と、マッピングデータ取得装置と、画像データ取得装置、バイタルサインデータ取得装置、及び、マッピングデータ取得装置に接続され、画像データ取得装置により取得される画像データ、バイタルサインデータ取得装置により取得されるバイタルサインデータ、及び、マッピングデータ取得装置により取得されるマッピングデータを処理する情報処理装置と、画像データ取得装置、バイタルサインデータ取得装置、及び、マッピングデータ取得装置を支持する支持部材と、支持部材、画像データ取得装置、バイタルサインデータ取得装置、及び、マッピングデータ取得装置を移動させるための移動装置と、を備える。 The autonomous mobile robot according to one aspect of the present invention that solves the above problems includes an image data acquisition device, a vital sign data acquisition device, a mapping data acquisition device, an image data acquisition device, a vital sign data acquisition device, and mapping. An information processing device that is connected to a data acquisition device and processes image data acquired by the image data acquisition device, vital sign data acquired by the vital sign data acquisition device, and mapping data acquired by the mapping data acquisition device. , Image data acquisition device, vital sign data acquisition device, and support member supporting the mapping data acquisition device, and for moving the support member, image data acquisition device, vital sign data acquisition device, and mapping data acquisition device. It is equipped with a moving device.
上記課題を解決する第二の観点に係るバイタルサインモニタリング方法は、バイタルサインデータから呼吸データ及び脈拍データの少なくともいずれかを作成し、画像データから観察対象領域データを抽出し、マッピングデータ、及び、観察対象領域データにおける深さデータに基づき経路データ及び移動量データを作成する。 The vital sign monitoring method according to the second aspect of solving the above problem creates at least one of respiratory data and pulse data from vital sign data, extracts observation target area data from image data, and maps data and Route data and movement amount data are created based on the depth data in the observation target area data.
以上、本発明により、自律移動型の非接触バイタルサインモニタリングシステムを可能とする自律移動ロボット及びバイタルサインモニタリング方法を提供することができる。 As described above, according to the present invention, it is possible to provide an autonomous mobile robot and a vital sign monitoring method that enable an autonomous mobile non-contact vital sign monitoring system.
以下、本発明を実施するための形態について図面を用いて詳細に説明する。ただし本発明は多くの異なる形態による実施が可能であり、以下に示す実施形態、実施例に記載の例示にのみ限定されるわけではない。 Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings. However, the present invention can be implemented in many different embodiments, and is not limited to the examples described in the embodiments and examples shown below.
（自律移動ロボット）
図１は、本実施形態に係る自律移動ロボット（以下「本ロボット」という。）１の機能ブロックを示す図であり、図２は本実施形態に係る自律移動ロボットの外観のイメージを示す図である。
(Autonomous mobile robot)
FIG. 1 is a diagram showing a functional block of an autonomous mobile robot (hereinafter referred to as “the robot”) 1 according to the present embodiment, and FIG. 2 is a diagram showing an image of the appearance of the autonomous mobile robot according to the present embodiment. is there.
これらの図で示すように、本ロボット１は、画像データ取得装置２と、バイタルサインデータ取得装置３と、マッピングデータ取得装置４と、画像データ取得装置２、バイタルサインデータ取得装置３、及び、マッピングデータ取得装置４に接続され、画像データ取得装置により取得される画像データ、バイタルサインデータ取得装置により取得されるバイタルサインデータ、及び、マッピングデータ取得装置により取得されるマッピングデータを処理する情報処理装置６と、画像データ取得装置２、バイタルサインデータ取得装置３、及び、マッピングデータ取得装置４を支持する支持部材７と、支持部材７、画像データ取得装置２、バイタルサインデータ取得装置３、及び、マッピングデータ取得装置４を移動させるための移動装置８と、を備える。 As shown in these figures, the robot 1 includes an image data acquisition device 2, a vital sign data acquisition device 3, a mapping data acquisition device 4, an image data acquisition device 2, a vital sign data acquisition device 3, and a device. Information processing that is connected to the mapping data acquisition device 4 and processes image data acquired by the image data acquisition device, vital sign data acquired by the vital sign data acquisition device, and mapping data acquired by the mapping data acquisition device. A support member 7 that supports the device 6, an image data acquisition device 2, a vital sign data acquisition device 3, and a mapping data acquisition device 4, a support member 7, an image data acquisition device 2, a vital sign data acquisition device 3, and A moving device 8 for moving the mapping data acquisition device 4 is provided.
また、本実施形態において、本ロボット１は、必須ではないが好ましい形態として表面温度データ取得装置５を備え、情報処理装置６は、表面温度データ取得装置により取得される表面温度データを処理することができる。 Further, in the present embodiment, the robot 1 is provided with a surface temperature data acquisition device 5 as a preferable but not essential mode, and the information processing device 6 processes the surface temperature data acquired by the surface temperature data acquisition device. Can be done.
本ロボット１において、画像データ取得装置２は、文字通り画像データを取得することのできる装置であり、周囲の情報を画像データとして取得し、情報処理装置６に出力することができる。画像データ取得装置２の具体的な構造としては、上記の機能を有する限りにおいて限定されるわけではないが、撮像装置、いわゆるカメラを採用することができる。またカメラの場合において、画像データは、所定の時間毎又は外部からの要求に応じて適宜静止画像データを取得する構造としても良いが、時系列で連続的に画像データを取得していくいわゆる動画像データであっても良い。本ロボット１では、画像データを取得することで、画像データ内に存在する観察対象者領域に基づき観察対象者の動作・状態を確認することができるようになる。なお、画像データのイメージ図について、例えば図３に示しておく。 In the robot 1, the image data acquisition device 2 is a device that can literally acquire image data, and can acquire surrounding information as image data and output it to the information processing device 6. The specific structure of the image data acquisition device 2 is not limited as long as it has the above functions, but an image pickup device, a so-called camera, can be adopted. Further, in the case of a camera, the image data may have a structure in which still image data is appropriately acquired at predetermined time intervals or in response to an external request, but a so-called moving image in which image data is continuously acquired in chronological order. It may be image data. By acquiring the image data, the robot 1 can confirm the operation / state of the observation target person based on the observation target person area existing in the image data. An image diagram of the image data is shown in FIG. 3, for example.
また画像データ取得装置２は、支持部材７に直接固定されていてもよいが、画像データ取得装置２の向き方向を変えることのできる回転部材に固定され回転可能となっていることも好ましい一例である。回転部材に固定することで、自律的に又は外部からの指示に基づき取得する画像データの撮像方向を調整することができるようになる。また、この点はバイタルサインデータ取得装置３、表面温度データ取得装置５において同様である。 Further, the image data acquisition device 2 may be directly fixed to the support member 7, but it is also a preferable example that the image data acquisition device 2 is fixed to a rotating member capable of changing the direction of the image data acquisition device 2 and is rotatable. is there. By fixing to the rotating member, it becomes possible to adjust the imaging direction of the image data acquired autonomously or based on an instruction from the outside. Further, this point is the same in the vital sign data acquisition device 3 and the surface temperature data acquisition device 5.
また、本実施形態において、画像データ取得装置２によって取得される画像データには深さデータが含まれる構成となっていることが好ましい。深さデータを含ませることで、画像データから観察対象領域を抽出し、観察対象領域の深さデータを求め、その深さデータに基づき本ロボット１が移動すべき量である移動量データを作成し、移動することが可能となる。なお、深さデータを含ませる構造として特に限定されるわけではないが、赤外線等を利用した距離センサーを用いることが好ましい。なおこの深さデータを含む画像データのイメージ図を図４に示しておく。なお、本図は前図の画像に深さデータを加えたものである。 Further, in the present embodiment, it is preferable that the image data acquired by the image data acquisition device 2 includes the depth data. By including the depth data, the observation target area is extracted from the image data, the depth data of the observation target area is obtained, and the movement amount data which is the amount to be moved by the robot 1 is created based on the depth data. And it becomes possible to move. Although the structure for including the depth data is not particularly limited, it is preferable to use a distance sensor using infrared rays or the like. An image diagram of the image data including the depth data is shown in FIG. In this figure, depth data is added to the image in the previous figure.
また本ロボット１において、バイタルサインデータ取得装置３は、文字通りバイタルサインデータを取得することのできる装置である。ここで「バイタルサインデータ」は、観察対象者の身体の状態に関するデータであって、例えば呼吸、脈拍、体温等のデータをいう。また、本ロボット１において、バイタルサインデータは、観察対象者に密着した状態ではなく、所定の距離だけ離れた状態において非接触でバイタルサインデータを計測することのできる装置であることが好ましい。 Further, in the robot 1, the vital sign data acquisition device 3 is a device capable of literally acquiring vital sign data. Here, the "vital sign data" is data relating to the physical condition of the observer, and refers to data such as respiration, pulse, and body temperature. Further, in the robot 1, it is preferable that the vital sign data is a device capable of measuring the vital sign data in a non-contact manner not in a state of being in close contact with the observation target person but in a state of being separated by a predetermined distance.
本ロボット１において、バイタルサインデータ取得装置３の構造については、上記の機能を有する限りにおいて限定されないが、非接触であるために、例えば、マイクロ波を観察対象者の体に放出しその反射波を受信するマイクロ波レーダー装置であることは好ましい一例である。この装置システムのイメージ図を図５に示しておく。マイクロ波レーダー装置を用い、随時観察対象者との距離を測定することで、呼吸や脈拍に応じた胸部の周期的な変動を正確に測定することができ、この変動を処理することで呼吸、脈拍等のデータを取得することができる。なお、本ロボット１において取得されたバイタルサインデータは、情報処理装置に出力され処理される。具体的な処理については後述する。 In the robot 1, the structure of the vital sign data acquisition device 3 is not limited as long as it has the above functions, but because it is non-contact, for example, microwaves are emitted to the body of the observer and the reflected waves thereof. It is a preferable example that it is a microwave radar device that receives data. An image diagram of this device system is shown in FIG. By measuring the distance to the observer at any time using a microwave radar device, it is possible to accurately measure the periodic fluctuation of the chest according to breathing and pulse, and by processing this fluctuation, breathing, Data such as pulse can be acquired. The vital sign data acquired by the robot 1 is output to the information processing device and processed. The specific processing will be described later.
また、本ロボット１においてマッピングデータ取得装置４は、文字通りマッピングデータを取得することのできる装置である。ここで「マッピングデータ」とは、地図に関するデータであり、より具体的には、本ロボット１の周囲において移動可能な領域、移動できない領域（例えば障害物の領域）等に関する平面的な情報を含むデータをいう。 Further, in the robot 1, the mapping data acquisition device 4 is a device capable of literally acquiring mapping data. Here, the "mapping data" is data related to a map, and more specifically, includes planar information regarding a movable area, an immovable area (for example, an obstacle area), and the like around the robot 1. Refers to data.
本ロボット１におけるマッピングデータ取得装置４の構成としては、上記のとおり、本ロボット１が移動できる領域を明確にできる地図に関するデータを取得することができる限りにおいて限定されるわけではないが、例えばレーザー光を照射し、障害物等により反射される光を計測することで障害物迄の距離を測定するいわゆるレーザーセンサーを用いることが好ましい。このレーザーセンサーにより取得されるマッピングデータのイメージ図について図６に示しておく。なお図中、白抜きの部分が、ロボットの移動可能な領域を表す。また、マッピングデータについては、レーザーセンサーにより取得される信号に基づき作成されるが、予め記録媒体等にマップデータを備えさせることも可能である。また、マッピングデータ取得装置４は、マッピングデータを取得後、適宜レーザーセンサーにより取得される信号に基づき、作成したマッピングデータと照合し、本ロボット１の現在の位置等を計算する。 As described above, the configuration of the mapping data acquisition device 4 in the robot 1 is not limited as long as it can acquire data related to a map that can clarify the area in which the robot 1 can move, but for example, a laser. It is preferable to use a so-called laser sensor that measures the distance to an obstacle by irradiating the light and measuring the light reflected by the obstacle or the like. An image diagram of the mapping data acquired by this laser sensor is shown in FIG. In the figure, the white part represents the movable area of the robot. Further, although the mapping data is created based on the signal acquired by the laser sensor, it is also possible to equip the recording medium or the like with the map data in advance. Further, after acquiring the mapping data, the mapping data acquisition device 4 collates with the created mapping data based on the signal appropriately acquired by the laser sensor, and calculates the current position and the like of the robot 1.
また、本ロボット１において、表面温度データ取得装置５は、表面温度データを取得することのできる装置である。ここで「表面温度データ」とは、観察対象の表面温度に関するデータをいい、例えば観察対象が人である場合、当該観察対象者の体表面温度（体温）をいい、物であれば、その観察対象物の表面温度をいう。観察対象が人である場合は、その観察対象者が平熱の状態であるか、平熱以上の発熱している状態であるか等を把握することができる。なお、表面温度データは、上記のとおりバイタルサインデータのひとつとして取り扱うことができる。 Further, in the robot 1, the surface temperature data acquisition device 5 is a device capable of acquiring surface temperature data. Here, the "surface temperature data" refers to data relating to the surface temperature of the observation target, for example, when the observation target is a person, it means the body surface temperature (body temperature) of the observation target person, and if it is an object, the observation. The surface temperature of an object. When the observation target is a person, it is possible to grasp whether the observation target is in a state of normal heat, a state of heat generation higher than normal heat, and the like. The surface temperature data can be handled as one of the vital sign data as described above.
本ロボット１において、表面温度データ取得装置５の構成としては、上記の機能を有する限りにおいて限定されるわけではないが、例えば、いわゆるサーモグラフィを用いることができる。サーモグラフィを用いることで、物体が放出する赤外線量等を検知し、非接触で物体の表面温度を求めることができるといった利点がある。 In the robot 1, the configuration of the surface temperature data acquisition device 5 is not limited as long as it has the above functions, but for example, so-called thermography can be used. By using thermography, there is an advantage that the amount of infrared rays emitted by an object can be detected and the surface temperature of the object can be obtained without contact.
また、本ロボット１において、情報処理装置６は、画像データ取得装置２、バイタルサインデータ取得装置３、マッピングデータ取得装置４、及び、表面温度データ取得装置５に接続されており、画像データ、バイタルサインデータ、マッピングデータ、表面温度データの処理、更にこれらに基づき所定の処理を行うことができる装置である。 Further, in the robot 1, the information processing device 6 is connected to the image data acquisition device 2, the vital sign data acquisition device 3, the mapping data acquisition device 4, and the surface temperature data acquisition device 5, and is connected to the image data and vital sign data acquisition device 5. It is a device that can process sign data, mapping data, surface temperature data, and further perform predetermined processing based on these.
情報処理装置６の構成は、上記の機能を有する限りにおいて限定されるわけではないが、ハードディスク、メモリ等の記録媒体、中央演算装置（ＣＰＵ）、及び、これら各要素を接続するバス等を含むいわゆるパーソナルコンピュータであることは好ましい一例である。そして、上記所定の処理は、予めハードディスクに所定の処理を行うプログラムを格納しておき、このプログラムを実行することで行わせることが可能となる。 The configuration of the information processing device 6 is not limited as long as it has the above functions, but includes a hard disk, a recording medium such as a memory, a central processing unit (CPU), a bus connecting each of these elements, and the like. A so-called personal computer is a preferable example. Then, the predetermined process can be performed by storing a program for performing the predetermined process in the hard disk in advance and executing this program.
また本ロボット１において、支持部材７は、画像データ取得装置２、バイタルサインデータ取得装置３、マッピングデータ取得装置４、及び表面温度データ取得装置５を支持することのできる部材である。この機能を有する限りにおいて限定されるわけではないが、材質としては金属を用いることが好ましい。 Further, in the robot 1, the support member 7 is a member capable of supporting the image data acquisition device 2, the vital sign data acquisition device 3, the mapping data acquisition device 4, and the surface temperature data acquisition device 5. Although not limited as long as it has this function, it is preferable to use a metal as the material.
また本ロボット１において、移動装置８は、支持部材７が固定されており、上記画像データ取得装置２、バイタルサインデータ取得装置３、マッピングデータ取得装置４、及び表面温度データ取得装置５を一体で移動させることのできる装置である。 Further, in the robot 1, the support member 7 is fixed to the moving device 8, and the image data acquisition device 2, the vital sign data acquisition device 3, the mapping data acquisition device 4, and the surface temperature data acquisition device 5 are integrated. It is a device that can be moved.
移動装置８の構成としては、移動ができる限りにおいて限定されるわけではないが、例えば複数の車輪８１、この複数の車輪に接続される軸８２、この軸を回転させるモーター８３、を備えた車輪移動装置であることが好ましい。車輪移動装の場合、車輪、軸、モーターを備えている限りにおいて構成は限定されるわけではないが、二つの車輪を左右対称に設け、この車輪それぞれをモーターで別々に駆動することで、前進及び後進、旋回を自由に行うことができるようになる。なおこのモーターの駆動についても、上記情報処理装置を介した処理に基づく制御を受けていることが好ましい。なおこの場合の移動装置８のイメージ図を図７に示しておく。また、車輪の数としては特に限定されるわけではないが、安定的にロボット１の姿勢を維持するため、３以上の車輪を備えていることが好ましい。 The configuration of the moving device 8 is not limited as long as it can be moved, but for example, a wheel including a plurality of wheels 81, a shaft 82 connected to the plurality of wheels, and a motor 83 for rotating the shafts. It is preferably a mobile device. In the case of wheel moving equipment, the configuration is not limited as long as the wheels, shafts, and motors are provided, but the two wheels are provided symmetrically and each of these wheels is driven separately by the motor to move forward. And you will be able to move backward and turn freely. It is preferable that the drive of this motor is also controlled based on the processing via the information processing device. An image of the moving device 8 in this case is shown in FIG. The number of wheels is not particularly limited, but it is preferable to have three or more wheels in order to stably maintain the posture of the robot 1.
（バイタルサインモニタリング方法）
次に、上記構成に基づき、本実施形態に係るバイタルサインをモニタリングする方法（以下「本方法」という。）について説明する。
(Vital signs monitoring method)
Next, a method of monitoring vital signs according to the present embodiment (hereinafter referred to as “the present method”) will be described based on the above configuration.
まず本方法は、（１）バイタルサインデータから呼吸データ、脈拍データ、表面温度データの少なくともいずれかを作成し（Ｓ０１）、（２）画像データから観察対象領域データを抽出し（Ｓ０２）、（３）マッピングデータ、及び、観察対象領域データにおける深さデータに基づき経路データ及び移動量データを作成する（Ｓ０３）。なお本実施形態において、上記（１）、（２）は前後しても良い。 First, in this method, (1) at least one of respiratory data, pulse data, and surface temperature data is created from vital sign data (S01), and (2) observation target area data is extracted from image data (S02). 3) Route data and movement amount data are created based on the mapping data and the depth data in the observation target area data (S03). In this embodiment, the above (1) and (2) may be mixed up.
本方法では、上記のとおり、（１）バイタルサインデータから呼吸データ、脈拍データ、表面温度データの少なくともいずれかを作成する（Ｓ０１）。具体的には、上記のバイタルサインデータ取得装置３、表面温度データ取得装置５が取得したバイタルサインデータを情報処理装置に出力し、情報処理装置６によって呼吸データ、脈拍データ、表面温度データの少なくともいずれかを作成する（Ｓ０１）。この方法は、上記処理を行うためのプログラムをハードディスク等の記録媒体に格納しておき、必要に応じて実行することで実現することができる。 In this method, as described above, (1) at least one of respiratory data, pulse data, and surface temperature data is created from vital sign data (S01). Specifically, the vital sign data acquired by the above-mentioned vital sign data acquisition device 3 and surface temperature data acquisition device 5 is output to the information processing device, and the information processing device 6 outputs at least respiratory data, pulse data, and surface temperature data. Create either (S01). This method can be realized by storing a program for performing the above processing in a recording medium such as a hard disk and executing the program as needed.
呼吸データ、脈拍データについては、観察対象者の呼吸、脈拍の状態を把握することができる形態であればどのような表現であってもよく、例えば、横軸に時間、縦軸に振幅を示すデータであってもよく、また、一定期間ごとに呼吸数又は脈拍数を表示するデータであっても良い。 The respiratory data and pulse data may be expressed in any form as long as the respiratory and pulse states of the observer can be grasped. For example, the horizontal axis indicates time and the vertical axis indicates amplitude. It may be data, or it may be data that displays the respiratory rate or the pulse rate at regular intervals.
また、バイタルサインデータに表面温度データが含まれる場合、表面温度データを作成しても良い。表面温度データについても、観察対象者の体表面温度を確認することができる限りにおいて限定されるわけではないが、例えば、測定位置における観察対象者の体表面温度のみを一定時間ごとに表示させていくデータであることが好ましい。また、画像データから随時観察対象者の領域を抽出する処理を行っているのであれば、この領域の各画素に、測定した値を色で表現して表示していくものとしても良い。 Further, when the vital sign data includes the surface temperature data, the surface temperature data may be created. The surface temperature data is not limited as long as the body surface temperature of the observation target can be confirmed, but for example, only the body surface temperature of the observation target at the measurement position is displayed at regular intervals. It is preferable that the data is good. Further, if the process of extracting the area of the observation target person from the image data at any time is performed, the measured value may be expressed in color and displayed on each pixel of this area.
また本実施形態では、画像データ取得装置から出力される画像データに基づき、（２）画像データから観察対象領域データを抽出する（Ｓ０２）。この領域の抽出方法としては、特に限定されることなく公知の手法を採用することもできるが、画像データにおける色データのみから抽出することとしてもよいが、赤外線センサーから出力される深さデータと画像データとを組み合わせ、画像データの色データ及び深さデータに基づき観察対象領域データを抽出することが好ましい。このようにすることで、より精度よく観察対象領域を抽出することができる。なお観察対象領域の抽出においては、後述の動作モード判定のため、さらに細かく体の部位を抽出しておくことが好ましい。この抽出された観察対象領域のイメージ図について図８に示しておく。 Further, in the present embodiment, (2) the observation target area data is extracted from the image data based on the image data output from the image data acquisition device (S02). As the extraction method of this region, a known method can be adopted without particular limitation, and extraction may be performed only from the color data in the image data, but the depth data output from the infrared sensor It is preferable to combine with the image data and extract the observation target area data based on the color data and the depth data of the image data. By doing so, the observation target area can be extracted more accurately. In the extraction of the observation target area, it is preferable to extract the body part in more detail in order to determine the operation mode described later. An image diagram of the extracted observation target area is shown in FIG.
また、本実施形態では、画像データから観察対象領域データを抽出した後、観察対象者の状態を判定するために観察対象状態データを作成する動作判定処理を行うことが好ましい。例えば、観察対象者が立っている状態であるか、座っている状態であるか、屈んだ状態であるか、歩いている状態であるか、寝ている状態であるか、倒れた状態であるか等を確認する処理が好ましい。このようにすることで、観察対象者がどのような状態にあるのかを確認し、必要に応じて適切な対応をとることができるようになる。この動作モードの判定方法としては、特に限定されるわけではないが、画像データにおいて求めた観察対象者の体の部位の位置関係を求め、この位置関係に基づきどの動作モードに一番近いかを判定することでもとめることができる。この場合のイメージ図を図９に示しておく。また、他の方法として、画像データに深さデータが含まれている場合、抽出された体の画像と深さデータを囲む直方体を作成し、その直方体の縦横奥行きの寸法、上体と下体の直方体の相対関係、対象の移動速度で判断することもできる。 Further, in the present embodiment, it is preferable to perform an operation determination process for creating the observation target state data in order to determine the observation target state after extracting the observation target area data from the image data. For example, the observer is standing, sitting, crouching, walking, sleeping, or lying down. The process of confirming such as is preferable. By doing so, it becomes possible to confirm the state of the observation target person and take appropriate measures as necessary. The method for determining this operation mode is not particularly limited, but the positional relationship of the body part of the observation target obtained in the image data is obtained, and which operation mode is closest to the operation mode based on this positional relationship is determined. It can also be stopped by judging. An image diagram in this case is shown in FIG. Alternatively, if the image data contains depth data, create a rectangular parallelepiped that surrounds the extracted body image and depth data, and determine the vertical and horizontal depth dimensions of the rectangular parallelepiped, as well as the upper and lower body. It can also be judged by the relative relationship of the rectangular parallelepiped and the moving speed of the target.
また本実施形態では、（３）マッピングデータ、及び、観察対象領域データにおける深さデータに基づき経路データ及び移動量データを作成する（Ｓ０３）。 Further, in the present embodiment, route data and movement amount data are created based on (3) mapping data and depth data in the observation target area data (S03).
本実施形態では、マッピングデータ取得装置４によって本ロボット１が移動可能な範囲について把握することができるようになる。一方、本ロボット１は、マッピングデータ取得装置４の取得するデータに基づき、自己が移動可能な範囲のどの位置にいるのかを把握することができ、さらに、観察対象領域を抽出しその深さデータも利用することで観察対象者がどの位置にあるのかも把握することができるようになる。すなわち、本ロボット１が移動可能な範囲に関するマッピングデータ、自己の位置データ、観察対象者の位置データをそれぞれ取得し、どのように移動することでもっとも効率よく又は安全に観察対象者に近づくことができるのかを移動経路データとして作成することができる。 In the present embodiment, the mapping data acquisition device 4 enables the robot 1 to grasp the movable range. On the other hand, the robot 1 can grasp which position in the movable range it is based on the data acquired by the mapping data acquisition device 4, and further extracts the observation target area and its depth data. By also using, it becomes possible to grasp the position of the observation target person. That is, it is possible to approach the observation target person most efficiently or safely by acquiring mapping data regarding the movable range of the robot 1, own position data, and position data of the observation target person, and how to move the robot 1. It is possible to create as movement route data whether it can be done.
そしてさらに本ロボットでは、この移動経路データに基づき、どの程度動く必要があるかを移動量データとして作成し、移動装置８に出力する。この結果、本ロボット１は、現在の位置から観察対象者の位置まで確実に移動することができるようになる。 Further, in this robot, based on this movement path data, how much movement is required is created as movement amount data and output to the movement device 8. As a result, the robot 1 can surely move from the current position to the position of the observation target person.
この場合において、本ロボット１の移動目標の位置は、観察対象者の実際の位置から所定の距離を保つようにしておくことが好ましい。観察対象者の位置にあまりに近すぎると観察対象者に不必要な圧迫感を与えてしまう虞がある一方、あまりに遠すぎるとバイタルサインデータを取得することが困難になるといった虞がある。 In this case, it is preferable that the position of the moving target of the robot 1 is maintained at a predetermined distance from the actual position of the observation target person. If it is too close to the observation target person, it may give an unnecessary oppressive feeling to the observation target person, while if it is too far, it may be difficult to acquire vital sign data.
また本処理において、障害物によって観察対象者が画像に映らなくなった場合は、観察対象者の位置を把握できた直前の時点を基準として、この基準点及び周囲を撮影することのできる他の位置まで経路データ及び移動量データを作成することが好ましい。このような処理を行うことで、障害物によって観察対象者が画像に映らなくなった場合であっても、改めて場所を変えることで、観察対象者の姿を捉えることができるようになる。 In addition, in this process, when the observation target person is not reflected in the image due to an obstacle, this reference point and other positions where the surroundings can be photographed are based on the time immediately before the position of the observation target person can be grasped. It is preferable to create route data and movement amount data up to. By performing such processing, even if the observation target person does not appear in the image due to an obstacle, the observation target person can be captured by changing the location again.
本ロボット１は、以上の構成により、自律移動型の非接触バイタルサインモニタリングシステムを可能とする自律移動ロボット及びバイタルサインモニタリング方法を提供することができる。 With the above configuration, the robot 1 can provide an autonomous mobile robot and a vital sign monitoring method that enable an autonomous mobile non-contact vital sign monitoring system.
より具体的には、画像データ取得装置、バイタルサインデータ取得装置、マッピングデータ取得装置を支持装置に固定し一体に保持するとともに、移動装置で移動可能となっているため、マッピングを行いながら、画像データ及びバイタルサインデータによって観察対象者の状態を常に確認することができる。この結果、例えば、本ロボットを室内に居住する高齢者を観察対象者とすることで、高齢者の動作状態、健康状態を常に観察することが可能となり、しかも、高齢者から常に一定の距離を置いて移動するため、過度の圧迫感を与えることなく、また、移動の際に本ロボット自体が障害物となってしまうことを防止することができる。 More specifically, since the image data acquisition device, the vital sign data acquisition device, and the mapping data acquisition device are fixed to the support device and held integrally, and can be moved by the moving device, the image can be moved while mapping. The state of the observer can always be confirmed by the data and vital sign data. As a result, for example, by setting the robot as an observation target for the elderly living indoors, it is possible to constantly observe the operating state and health state of the elderly, and at the same time, always keep a certain distance from the elderly. Since the robot is placed and moved, it is possible to prevent the robot itself from becoming an obstacle when moving without giving an excessive feeling of oppression.
さらに本ロボット１を用いることで、空港等において、外国からの帰国者又は来日者であって感染症に罹患した者の異常をいち早く発見することができ、感染症等の蔓延を防ぐことができるようになる。 Furthermore, by using this robot 1, it is possible to quickly detect abnormalities of returnees or visitors from foreign countries who have suffered from infectious diseases at airports, etc., and prevent the spread of infectious diseases, etc. become able to.
本発明は、自律移動ロボット及びバイタルサインモニタリング方法として産業上の利用可能性がある。 The present invention has industrial applicability as an autonomous mobile robot and a vital sign monitoring method.
Claims (4)
観察対象者との距離に関するデータを測定するレーダー装置と、
移動できる領域および移動できない領域を明確にできる地図に関するマッピングデータを取得するマッピングデータ取得装置と、
前記画像データ取得装置、前記レーダー装置、及び、前記マッピングデータ取得装置に接続され、前記画像データ取得装置により取得される画像データ、前記レーダー装置により取得される観察対象者との距離に関するデータ、及び、前記マッピングデータ取得装置により取得される地図に関するマッピングデータを処理する情報処理装置と、
前記画像データ取得装置、前記レーダー装置、及び、前記マッピングデータ取得装置を支持する支持部材と、
前記支持部材、前記画像データ取得装置、前記レーダー装置、及び、前記マッピングデータ取得装置を移動させるための移動装置と、を備える自律移動ロボットであって、
前記情報処理装置は、前記レーダー装置により取得される観察対象者との距離に関するデータに基づいて観察対象者の呼吸又は脈拍に関するデータを取得し、
前記マッピングデータにより取得された地図に関するマッピングデータに基づき、前記移動装置が前記観察対象者から所定の距離を保って移動する前記移動装置の移動量を算出し、
前記情報処理装置が算出した移動量に応じて前記移動装置が移動する、自律移動ロボット。 An image data acquisition device that acquires image data and
A radar device that measures data about the distance to the observer,
A mapping data acquisition device that acquires mapping data related to a map that can clarify the areas that can be moved and the areas that cannot be moved ,
Image data connected to the image data acquisition device, the radar device, and the mapping data acquisition device and acquired by the image data acquisition device, data relating to a distance to an observation target person acquired by the radar device, and , An information processing device that processes mapping data related to the map acquired by the mapping data acquisition device, and
A support member that supports the image data acquisition device, the radar device, and the mapping data acquisition device.
An autonomous mobile robot including the support member, the image data acquisition device, the radar device, and a moving device for moving the mapping data acquisition device.
The information processing device acquires data on the respiration or pulse of the observer based on the data on the distance to the observer acquired by the radar device.
Based on the mapping data related to the map acquired by the mapping data, the movement amount of the moving device that the moving device moves while maintaining a predetermined distance from the observation target person is calculated.
An autonomous mobile robot in which the mobile device moves according to a movement amount calculated by the information processing device.
The autonomous mobile robot according to claim 1, wherein the mapping data related to the map includes its own position data and the position data of the observation target person.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019112416A JP6823327B2 (en) | 2019-06-18 | 2019-06-18 | Autonomous mobile robot and vital sign monitoring method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019112416A JP6823327B2 (en) | 2019-06-18 | 2019-06-18 | Autonomous mobile robot and vital sign monitoring method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014202605A Division JP2016067773A (en) | 2014-09-30 | 2014-09-30 | Autonomous mobile robot and vital sign monitoring method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2019155144A JP2019155144A (en) | 2019-09-19 |
| JP2019155144A5 JP2019155144A5 (en) | 2019-10-31 |
| JP6823327B2 true JP6823327B2 (en) | 2021-02-03 |
Family
ID=67992996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019112416A Active JP6823327B2 (en) | 2019-06-18 | 2019-06-18 | Autonomous mobile robot and vital sign monitoring method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6823327B2 (en) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004337556A (en) * | 2003-05-13 | 2004-12-02 | Yasuo Fujii | Robot with means to obtain biological information and function to manage health care |
| JP4257230B2 (en) * | 2004-02-26 | 2009-04-22 | 株式会社東芝 | Mobile robot |
| JP2005282455A (en) * | 2004-03-30 | 2005-10-13 | Japan Science & Technology Agency | Power generating device and robot for guard and/or disaster relief using same |
| JP2006092356A (en) * | 2004-09-24 | 2006-04-06 | Sanyo Electric Co Ltd | Presumption system, presumption apparatus and sensing apparatus |
| JP2006345960A (en) * | 2005-06-14 | 2006-12-28 | Univ Kinki | Seeing-eye dog type robot |
| US7733224B2 (en) * | 2006-06-30 | 2010-06-08 | Bao Tran | Mesh network personal emergency response appliance |
| JP5392028B2 (en) * | 2009-11-26 | 2014-01-22 | 富士通株式会社 | Autonomous mobile robot |
-
2019
- 2019-06-18 JP JP2019112416A patent/JP6823327B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019155144A (en) | 2019-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11937771B2 (en) | Articulated structured light based-laparoscope | |
| US20220395159A1 (en) | Device and method for assisting laparoscopic surgery - directing and maneuvering articulating tool | |
| CN109077752B (en) | Mobile robot arm | |
| JP2016067773A (en) | Autonomous mobile robot and vital sign monitoring method | |
| US9727779B2 (en) | Motion information processing apparatus | |
| US9700242B2 (en) | Motion information processing apparatus and method | |
| RU2719426C2 (en) | Device and method of determining position of mobile device relative to subject | |
| US20160317122A1 (en) | In-device fusion of optical and inertial positional tracking of ultrasound probes | |
| US20150320343A1 (en) | Motion information processing apparatus and method | |
| Naeemabadi et al. | Influence of a marker-based motion capture system on the performance of Microsoft Kinect v2 skeleton algorithm | |
| US20160150976A1 (en) | High-resolution thermal imaging system, apparatus, method and computer accessible medium | |
| KR101361805B1 (en) | Method, System And Apparatus for Compensating Medical Image | |
| EP3653112B1 (en) | Systems and methods for determining subject positioning and vital signs | |
| Grewal et al. | Autonomous wheelchair navigation in unmapped indoor environments | |
| Bonnet et al. | Towards an affordable mobile analysis platform for pathological walking assessment | |
| Feltner et al. | Smart walker for the visually impaired | |
| JP6823327B2 (en) | Autonomous mobile robot and vital sign monitoring method | |
| JP2006289565A (en) | Robot operation device and robot | |
| JP6288770B2 (en) | Face detection method, face detection system, and face detection program | |
| JP5677399B2 (en) | Information processing apparatus, information processing system, information processing method, and program | |
| JP6558820B2 (en) | Measuring device, measuring method, and program | |
| Hotze | Robotic First Aid: Using a mobile robot to localise and visualise points of interest for first aid | |
| CN112882461A (en) | Robot, control method, and storage medium | |
| KR102030606B1 (en) | Apparatus and method of realtime gait examination using infrared camera | |
| Steele et al. | A system to facilitate early and progressive ambulation using fiducial markers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190618 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190717 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190902 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200417 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200602 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200709 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201215 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201225 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6823327 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |