JP2019155144A - Autonomous mobile robot and vital sign monitoring method - Google Patents
Autonomous mobile robot and vital sign monitoring method Download PDFInfo
- Publication number
- JP2019155144A JP2019155144A JP2019112416A JP2019112416A JP2019155144A JP 2019155144 A JP2019155144 A JP 2019155144A JP 2019112416 A JP2019112416 A JP 2019112416A JP 2019112416 A JP2019112416 A JP 2019112416A JP 2019155144 A JP2019155144 A JP 2019155144A
- Authority
- JP
- Japan
- Prior art keywords
- data
- acquisition device
- data acquisition
- vital sign
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012544 monitoring process Methods 0.000 title claims abstract description 16
- 238000013507 mapping Methods 0.000 claims abstract description 47
- 230000010365 information processing Effects 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 9
- 239000000284 extract Substances 0.000 claims description 6
- 230000000241 respiratory effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000029058 respiratory gaseous exchange Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 3
- 208000035473 Communicable disease Diseases 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 241001481828 Glyptocephalus cynoglossus Species 0.000 description 1
- 206010061296 Motor dysfunction Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
本発明は、自律移動ロボット及びバイタルサインモニタリング方法に関する。 The present invention relates to an autonomous mobile robot and a vital sign monitoring method.
自律移動ロボットは、状況に応じ自ら判断し移動し所定の動作を行うことのできるロボットである。自律移動ロボットの公知の技術として、下記非特許文献２に、在宅環境で、高齢者又は運動機能障害者を追従し、小型カメラを用いて運動計測を行い、更には計測したデータにより行動を認識しようとする技術が開示されている。 An autonomous mobile robot is a robot that can make a judgment and move according to the situation and perform a predetermined operation. As a well-known technology of autonomous mobile robots, the following non-patent document 2 follows an elderly person or a person with motor dysfunction in a home environment, measures a movement using a small camera, and recognizes an action based on the measured data. A technique to be disclosed is disclosed.
なお下記非特許文献２には、マイクロ波レーダーと熱画像センサーを用いて、静止している被計測者の脈拍、呼吸及び体表面を取得し、それらのデータを分析することで観察対象の感染や健康状態を把握する技術が開示されている。 In the following Non-Patent Document 2, using a microwave radar and a thermal image sensor, the pulse, respiration, and body surface of a stationary measurement subject are acquired and the data is analyzed to infect the object to be observed. And technology for grasping health status.
しかしながら、上記非特許文献１に記載の技術では、生命・健康状態を直接にとらえることのできる脈拍、呼吸の計測能力において課題がある。 However, the technique described in Non-Patent Document 1 has a problem in the ability to measure the pulse and respiration that can directly capture the life / health state.
また、上記非特許文献２に記載の技術では、センサーシステムが固定位置に設定されており、被計測者が熱画像センサー及びマイクロ波レーダーのスペックに合わせて設定される位置に行って検査を受ける必要がある。このため、使用場面により、使用者にとって非常に不便を生ずることとなるだけでなく、計測ができない場合もある。 In the technique described in Non-Patent Document 2, the sensor system is set at a fixed position, and the person to be measured goes to a position set in accordance with the specifications of the thermal image sensor and the microwave radar and is inspected. There is a need. For this reason, depending on the situation of use, not only will the inconvenience be caused to the user, but measurement may not be possible.
そこで、本発明は、上記課題を鑑み、自律移動型の非接触バイタルサインモニタリングシステムを可能とする自律移動ロボット及びバイタルサインモニタリング方法を提供することを目的とする。 In view of the above problems, an object of the present invention is to provide an autonomous mobile robot and a vital sign monitoring method that enable an autonomous mobile contactless vital sign monitoring system.
上記課題を解決する本発明の一観点に係る自律移動ロボットは、画像データ取得装置と、バイタルサインデータ取得装置と、マッピングデータ取得装置と、画像データ取得装置、バイタルサインデータ取得装置、及び、マッピングデータ取得装置に接続され、画像データ取得装置により取得される画像データ、バイタルサインデータ取得装置により取得されるバイタルサインデータ、及び、マッピングデータ取得装置により取得されるマッピングデータを処理する情報処理装置と、画像データ取得装置、バイタルサインデータ取得装置、及び、マッピングデータ取得装置を支持する支持部材と、支持部材、画像データ取得装置、バイタルサインデータ取得装置、及び、マッピングデータ取得装置を移動させるための移動装置と、を備える。 An autonomous mobile robot according to one aspect of the present invention that solves the above problems includes an image data acquisition device, a vital sign data acquisition device, a mapping data acquisition device, an image data acquisition device, a vital sign data acquisition device, and a mapping. An information processing apparatus connected to the data acquisition apparatus and processing image data acquired by the image data acquisition apparatus, vital sign data acquired by the vital sign data acquisition apparatus, and mapping data acquired by the mapping data acquisition apparatus; An image data acquisition device, a vital sign data acquisition device, and a support member that supports the mapping data acquisition device, and a support member, an image data acquisition device, a vital sign data acquisition device, and a mapping data acquisition device for moving A moving device.
上記課題を解決する第二の観点に係るバイタルサインモニタリング方法は、バイタルサインデータから呼吸データ及び脈拍データの少なくともいずれかを作成し、画像データから観察対象領域データを抽出し、マッピングデータ、及び、観察対象領域データにおける深さデータに基づき経路データ及び移動量データを作成する。 The vital sign monitoring method according to a second aspect for solving the above problem is to create at least one of respiratory data and pulse data from vital sign data, extract observation target region data from image data, mapping data, and Route data and movement amount data are created based on the depth data in the observation target area data.
以上、本発明により、自律移動型の非接触バイタルサインモニタリングシステムを可能とする自律移動ロボット及びバイタルサインモニタリング方法を提供することができる。 As described above, according to the present invention, it is possible to provide an autonomous mobile robot and a vital sign monitoring method that enable an autonomous mobile non-contact vital sign monitoring system.
以下、本発明を実施するための形態について図面を用いて詳細に説明する。ただし本発明は多くの異なる形態による実施が可能であり、以下に示す実施形態、実施例に記載の例示にのみ限定されるわけではない。 Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings. However, the present invention can be implemented in many different forms, and is not limited to the examples described in the embodiments and examples shown below.
（自律移動ロボット）
図１は、本実施形態に係る自律移動ロボット（以下「本ロボット」という。）１の機能ブロックを示す図であり、図２は本実施形態に係る自律移動ロボットの外観のイメージを示す図である。
(Autonomous mobile robot)
FIG. 1 is a diagram illustrating functional blocks of an autonomous mobile robot (hereinafter referred to as “the present robot”) 1 according to the present embodiment, and FIG. 2 is a diagram illustrating an external appearance image of the autonomous mobile robot according to the present embodiment. is there.
これらの図で示すように、本ロボット１は、画像データ取得装置２と、バイタルサインデータ取得装置３と、マッピングデータ取得装置４と、画像データ取得装置２、バイタルサインデータ取得装置３、及び、マッピングデータ取得装置４に接続され、画像データ取得装置により取得される画像データ、バイタルサインデータ取得装置により取得されるバイタルサインデータ、及び、マッピングデータ取得装置により取得されるマッピングデータを処理する情報処理装置６と、画像データ取得装置２、バイタルサインデータ取得装置３、及び、マッピングデータ取得装置４を支持する支持部材７と、支持部材７、画像データ取得装置２、バイタルサインデータ取得装置３、及び、マッピングデータ取得装置４を移動させるための移動装置８と、を備える。 As shown in these drawings, the robot 1 includes an image data acquisition device 2, a vital sign data acquisition device 3, a mapping data acquisition device 4, an image data acquisition device 2, a vital sign data acquisition device 3, and Information processing connected to the mapping data acquisition device 4 for processing image data acquired by the image data acquisition device, vital sign data acquired by the vital sign data acquisition device, and mapping data acquired by the mapping data acquisition device Device 6, image data acquisition device 2, vital sign data acquisition device 3, and support member 7 that supports mapping data acquisition device 4, support member 7, image data acquisition device 2, vital sign data acquisition device 3, and A moving device 8 for moving the mapping data acquisition device 4; Equipped with a.
また、本実施形態において、本ロボット１は、必須ではないが好ましい形態として表面温度データ取得装置５を備え、情報処理装置６は、表面温度データ取得装置により取得される表面温度データを処理することができる。 Further, in the present embodiment, the robot 1 includes a surface temperature data acquisition device 5 as a preferable mode although not essential, and the information processing device 6 processes the surface temperature data acquired by the surface temperature data acquisition device. Can do.
本ロボット１において、画像データ取得装置２は、文字通り画像データを取得することのできる装置であり、周囲の情報を画像データとして取得し、情報処理装置６に出力することができる。画像データ取得装置２の具体的な構造としては、上記の機能を有する限りにおいて限定されるわけではないが、撮像装置、いわゆるカメラを採用することができる。またカメラの場合において、画像データは、所定の時間毎又は外部からの要求に応じて適宜静止画像データを取得する構造としても良いが、時系列で連続的に画像データを取得していくいわゆる動画像データであっても良い。本ロボット１では、画像データを取得することで、画像データ内に存在する観察対象者領域に基づき観察対象者の動作・状態を確認することができるようになる。なお、画像データのイメージ図について、例えば図３に示しておく。 In the robot 1, the image data acquisition device 2 is a device that can literally acquire image data, and can acquire surrounding information as image data and output it to the information processing device 6. The specific structure of the image data acquisition device 2 is not limited as long as it has the above functions, but an imaging device, so-called camera, can be employed. In the case of a camera, the image data may be structured to acquire still image data as appropriate every predetermined time or in response to an external request, but a so-called moving image that acquires image data continuously in time series. It may be image data. In the robot 1, by acquiring the image data, it is possible to confirm the operation / state of the observation target person based on the observation target person area existing in the image data. For example, FIG. 3 shows an image diagram of the image data.
また画像データ取得装置２は、支持部材７に直接固定されていてもよいが、画像データ取得装置２の向き方向を変えることのできる回転部材に固定され回転可能となっていることも好ましい一例である。回転部材に固定することで、自律的に又は外部からの指示に基づき取得する画像データの撮像方向を調整することができるようになる。また、この点はバイタルサインデータ取得装置３、表面温度データ取得装置５において同様である。 The image data acquisition device 2 may be directly fixed to the support member 7, but it is also a preferable example that the image data acquisition device 2 is fixed to a rotating member that can change the direction of the image data acquisition device 2 and is rotatable. is there. By fixing to the rotating member, the imaging direction of the image data acquired autonomously or based on an instruction from the outside can be adjusted. This point is the same in the vital sign data acquisition device 3 and the surface temperature data acquisition device 5.
また、本実施形態において、画像データ取得装置２によって取得される画像データには深さデータが含まれる構成となっていることが好ましい。深さデータを含ませることで、画像データから観察対象領域を抽出し、観察対象領域の深さデータを求め、その深さデータに基づき本ロボット１が移動すべき量である移動量データを作成し、移動することが可能となる。なお、深さデータを含ませる構造として特に限定されるわけではないが、赤外線等を利用した距離センサーを用いることが好ましい。なおこの深さデータを含む画像データのイメージ図を図４に示しておく。なお、本図は前図の画像に深さデータを加えたものである。 In the present embodiment, it is preferable that the image data acquired by the image data acquisition device 2 includes depth data. By including the depth data, the observation target region is extracted from the image data, the depth data of the observation target region is obtained, and the movement amount data that is the amount that the robot 1 should move is created based on the depth data. And can be moved. In addition, although it does not specifically limit as a structure which includes depth data, It is preferable to use the distance sensor using infrared rays etc. An image diagram of the image data including the depth data is shown in FIG. In this figure, depth data is added to the image in the previous figure.
また本ロボット１において、バイタルサインデータ取得装置３は、文字通りバイタルサインデータを取得することのできる装置である。ここで「バイタルサインデータ」は、観察対象者の身体の状態に関するデータであって、例えば呼吸、脈拍、体温等のデータをいう。また、本ロボット１において、バイタルサインデータは、観察対象者に密着した状態ではなく、所定の距離だけ離れた状態において非接触でバイタルサインデータを計測することのできる装置であることが好ましい。 In this robot 1, the vital sign data acquisition device 3 is a device that can literally acquire vital sign data. Here, “vital sign data” is data relating to the state of the body of the observation subject, and refers to data such as breathing, pulse, and body temperature. Further, in the robot 1, the vital sign data is preferably a device that can measure the vital sign data in a non-contact manner in a state where the vital sign data is not in close contact with the observation subject but is separated by a predetermined distance.
本ロボット１において、バイタルサインデータ取得装置３の構造については、上記の機能を有する限りにおいて限定されないが、非接触であるために、例えば、マイクロ波を観察対象者の体に放出しその反射波を受信するマイクロ波レーダー装置であることは好ましい一例である。この装置システムのイメージ図を図５に示しておく。マイクロ波レーダー装置を用い、随時観察対象者との距離を測定することで、呼吸や脈拍に応じた胸部の周期的な変動を正確に測定することができ、この変動を処理することで呼吸、脈拍等のデータを取得することができる。なお、本ロボット１において取得されたバイタルサインデータは、情報処理装置に出力され処理される。具体的な処理については後述する。 In the robot 1, the structure of the vital sign data acquisition device 3 is not limited as long as it has the above-described function. However, since it is non-contact, for example, a microwave is emitted to the body of the observation subject and the reflected wave is emitted. It is a preferable example that it is a microwave radar device that receives the signal. An image diagram of this apparatus system is shown in FIG. By measuring the distance from the observation subject at any time using a microwave radar device, it is possible to accurately measure periodic fluctuations in the chest according to breathing and pulse, and by processing this fluctuation, breathing, Data such as pulse can be acquired. The vital sign data acquired by the robot 1 is output to the information processing apparatus and processed. Specific processing will be described later.
また、本ロボット１においてマッピングデータ取得装置４は、文字通りマッピングデータを取得することのできる装置である。ここで「マッピングデータ」とは、地図に関するデータであり、より具体的には、本ロボット１の周囲において移動可能な領域、移動できない領域（例えば障害物の領域）等に関する平面的な情報を含むデータをいう。 In the robot 1, the mapping data acquisition device 4 is a device that can literally acquire mapping data. Here, the “mapping data” is data relating to the map, and more specifically, includes planar information regarding a movable area, a non-movable area (for example, an obstacle area), etc. around the robot 1. Data.
本ロボット１におけるマッピングデータ取得装置４の構成としては、上記のとおり、本ロボット１が移動できる領域を明確にできる地図に関するデータを取得することができる限りにおいて限定されるわけではないが、例えばレーザー光を照射し、障害物等により反射される光を計測することで障害物迄の距離を測定するいわゆるレーザーセンサーを用いることが好ましい。このレーザーセンサーにより取得されるマッピングデータのイメージ図について図６に示しておく。なお図中、白抜きの部分が、ロボットの移動可能な領域を表す。また、マッピングデータについては、レーザーセンサーにより取得される信号に基づき作成されるが、予め記録媒体等にマップデータを備えさせることも可能である。また、マッピングデータ取得装置４は、マッピングデータを取得後、適宜レーザーセンサーにより取得される信号に基づき、作成したマッピングデータと照合し、本ロボット１の現在の位置等を計算する。 As described above, the configuration of the mapping data acquisition device 4 in the robot 1 is not limited as long as it can acquire data relating to a map that can clearly define a region in which the robot 1 can move. It is preferable to use a so-called laser sensor that measures the distance to an obstacle by irradiating light and measuring the light reflected by the obstacle. An image diagram of mapping data acquired by the laser sensor is shown in FIG. In the drawing, a white portion represents a movable area of the robot. The mapping data is created based on the signal acquired by the laser sensor, but it is also possible to previously provide the map data on a recording medium or the like. Further, after acquiring the mapping data, the mapping data acquisition device 4 collates with the created mapping data based on the signal acquired by the laser sensor as appropriate, and calculates the current position of the robot 1 and the like.
また、本ロボット１において、表面温度データ取得装置５は、表面温度データを取得することのできる装置である。ここで「表面温度データ」とは、観察対象の表面温度に関するデータをいい、例えば観察対象が人である場合、当該観察対象者の体表面温度（体温）をいい、物であれば、その観察対象物の表面温度をいう。観察対象が人である場合は、その観察対象者が平熱の状態であるか、平熱以上の発熱している状態であるか等を把握することができる。なお、表面温度データは、上記のとおりバイタルサインデータのひとつとして取り扱うことができる。 In the robot 1, the surface temperature data acquisition device 5 is a device that can acquire surface temperature data. Here, the “surface temperature data” refers to data relating to the surface temperature of the observation target. For example, when the observation target is a person, it refers to the body surface temperature (body temperature) of the observation target. The surface temperature of the object. When the observation object is a person, it is possible to grasp whether the observation object is in a normal heat state, a heat generation state higher than the normal heat, or the like. The surface temperature data can be handled as one of vital sign data as described above.
本ロボット１において、表面温度データ取得装置５の構成としては、上記の機能を有する限りにおいて限定されるわけではないが、例えば、いわゆるサーモグラフィを用いることができる。サーモグラフィを用いることで、物体が放出する赤外線量等を検知し、非接触で物体の表面温度を求めることができるといった利点がある。 In the robot 1, the configuration of the surface temperature data acquisition device 5 is not limited as long as it has the above function, but for example, so-called thermography can be used. By using thermography, there is an advantage that the surface temperature of the object can be obtained in a non-contact manner by detecting the amount of infrared rays emitted from the object.
また、本ロボット１において、情報処理装置６は、画像データ取得装置２、バイタルサインデータ取得装置３、マッピングデータ取得装置４、及び、表面温度データ取得装置５に接続されており、画像データ、バイタルサインデータ、マッピングデータ、表面温度データの処理、更にこれらに基づき所定の処理を行うことができる装置である。 In the robot 1, the information processing device 6 is connected to the image data acquisition device 2, the vital sign data acquisition device 3, the mapping data acquisition device 4, and the surface temperature data acquisition device 5. The apparatus is capable of processing sign data, mapping data, and surface temperature data, and further performing predetermined processing based on these.
情報処理装置６の構成は、上記の機能を有する限りにおいて限定されるわけではないが、ハードディスク、メモリ等の記録媒体、中央演算装置（ＣＰＵ）、及び、これら各要素を接続するバス等を含むいわゆるパーソナルコンピュータであることは好ましい一例である。そして、上記所定の処理は、予めハードディスクに所定の処理を行うプログラムを格納しておき、このプログラムを実行することで行わせることが可能となる。 The configuration of the information processing device 6 is not limited as long as it has the above functions, but includes a recording medium such as a hard disk and a memory, a central processing unit (CPU), a bus that connects these elements, and the like. A so-called personal computer is a preferred example. The predetermined process can be performed by storing a program for performing the predetermined process in the hard disk in advance and executing the program.
また本ロボット１において、支持部材７は、画像データ取得装置２、バイタルサインデータ取得装置３、マッピングデータ取得装置４、及び表面温度データ取得装置５を支持することのできる部材である。この機能を有する限りにおいて限定されるわけではないが、材質としては金属を用いることが好ましい。 In the robot 1, the support member 7 is a member that can support the image data acquisition device 2, the vital sign data acquisition device 3, the mapping data acquisition device 4, and the surface temperature data acquisition device 5. Although it is not limited as long as it has this function, it is preferable to use a metal as a material.
また本ロボット１において、移動装置８は、支持部材７が固定されており、上記画像データ取得装置２、バイタルサインデータ取得装置３、マッピングデータ取得装置４、及び表面温度データ取得装置５を一体で移動させることのできる装置である。 In the robot 1, the support member 7 is fixed to the moving device 8, and the image data acquisition device 2, vital sign data acquisition device 3, mapping data acquisition device 4, and surface temperature data acquisition device 5 are integrated. It is a device that can be moved.
移動装置８の構成としては、移動ができる限りにおいて限定されるわけではないが、例えば複数の車輪８１、この複数の車輪に接続される軸８２、この軸を回転させるモーター８３、を備えた車輪移動装置であることが好ましい。車輪移動装の場合、車輪、軸、モーターを備えている限りにおいて構成は限定されるわけではないが、二つの車輪を左右対称に設け、この車輪それぞれをモーターで別々に駆動することで、前進及び後進、旋回を自由に行うことができるようになる。なおこのモーターの駆動についても、上記情報処理装置を介した処理に基づく制御を受けていることが好ましい。なおこの場合の移動装置８のイメージ図を図７に示しておく。また、車輪の数としては特に限定されるわけではないが、安定的にロボット１の姿勢を維持するため、３以上の車輪を備えていることが好ましい。 The configuration of the moving device 8 is not limited as long as it can move. For example, a wheel provided with a plurality of wheels 81, a shaft 82 connected to the plurality of wheels, and a motor 83 that rotates the shaft. A mobile device is preferred. In the case of wheel moving equipment, the configuration is not limited as long as it is equipped with wheels, shafts, and motors, but two wheels are symmetrically provided, and each wheel is driven separately by a motor to move forward. In addition, the vehicle can freely move backward and backward. In addition, it is preferable that the drive of this motor also receives control based on the processing via the information processing apparatus. An image diagram of the moving device 8 in this case is shown in FIG. Further, the number of wheels is not particularly limited, but it is preferable that three or more wheels are provided in order to stably maintain the posture of the robot 1.
（バイタルサインモニタリング方法）
次に、上記構成に基づき、本実施形態に係るバイタルサインをモニタリングする方法（以下「本方法」という。）について説明する。
(Vital sign monitoring method)
Next, based on the above configuration, a method for monitoring vital signs according to the present embodiment (hereinafter referred to as “the present method”) will be described.
まず本方法は、（１）バイタルサインデータから呼吸データ、脈拍データ、表面温度データの少なくともいずれかを作成し（Ｓ０１）、（２）画像データから観察対象領域データを抽出し（Ｓ０２）、（３）マッピングデータ、及び、観察対象領域データにおける深さデータに基づき経路データ及び移動量データを作成する（Ｓ０３）。なお本実施形態において、上記（１）、（２）は前後しても良い。 First, in this method, (1) at least one of respiratory data, pulse data, and surface temperature data is created from vital sign data (S01), (2) observation area data is extracted from image data (S02), ( 3) Route data and movement amount data are created based on the mapping data and the depth data in the observation target area data (S03). In the present embodiment, the above (1) and (2) may be reversed.
本方法では、上記のとおり、（１）バイタルサインデータから呼吸データ、脈拍データ、表面温度データの少なくともいずれかを作成する（Ｓ０１）。具体的には、上記のバイタルサインデータ取得装置３、表面温度データ取得装置５が取得したバイタルサインデータを情報処理装置に出力し、情報処理装置６によって呼吸データ、脈拍データ、表面温度データの少なくともいずれかを作成する（Ｓ０１）。この方法は、上記処理を行うためのプログラムをハードディスク等の記録媒体に格納しておき、必要に応じて実行することで実現することができる。 In this method, as described above, (1) at least one of respiratory data, pulse data, and surface temperature data is created from vital sign data (S01). Specifically, the vital sign data acquired by the vital sign data acquisition device 3 and the surface temperature data acquisition device 5 is output to the information processing device, and the information processing device 6 outputs at least respiratory data, pulse data, and surface temperature data. Either one is created (S01). This method can be realized by storing a program for performing the above processing in a recording medium such as a hard disk and executing it as necessary.
呼吸データ、脈拍データについては、観察対象者の呼吸、脈拍の状態を把握することができる形態であればどのような表現であってもよく、例えば、横軸に時間、縦軸に振幅を示すデータであってもよく、また、一定期間ごとに呼吸数又は脈拍数を表示するデータであっても良い。 The breathing data and pulse data may be expressed in any form as long as the state of the subject's breathing and pulse can be grasped. For example, the horizontal axis represents time and the vertical axis represents amplitude. It may be data, or may be data that displays the respiration rate or the pulse rate at regular intervals.
また、バイタルサインデータに表面温度データが含まれる場合、表面温度データを作成しても良い。表面温度データについても、観察対象者の体表面温度を確認することができる限りにおいて限定されるわけではないが、例えば、測定位置における観察対象者の体表面温度のみを一定時間ごとに表示させていくデータであることが好ましい。また、画像データから随時観察対象者の領域を抽出する処理を行っているのであれば、この領域の各画素に、測定した値を色で表現して表示していくものとしても良い。 Further, when the surface temperature data is included in the vital sign data, the surface temperature data may be created. The surface temperature data is not limited as long as the body surface temperature of the observation subject can be confirmed. For example, only the body surface temperature of the observation subject at the measurement position is displayed at regular intervals. It is preferable that the data be Further, if processing for extracting the region of the observation subject from time to time is performed, the measured value may be expressed and displayed on each pixel in this region.
また本実施形態では、画像データ取得装置から出力される画像データに基づき、（２）画像データから観察対象領域データを抽出する（Ｓ０２）。この領域の抽出方法としては、特に限定されることなく公知の手法を採用することもできるが、画像データにおける色データのみから抽出することとしてもよいが、赤外線センサーから出力される深さデータと画像データとを組み合わせ、画像データの色データ及び深さデータに基づき観察対象領域データを抽出することが好ましい。このようにすることで、より精度よく観察対象領域を抽出することができる。なお観察対象領域の抽出においては、後述の動作モード判定のため、さらに細かく体の部位を抽出しておくことが好ましい。この抽出された観察対象領域のイメージ図について図８に示しておく。 In this embodiment, based on the image data output from the image data acquisition device, (2) the observation target area data is extracted from the image data (S02). The extraction method of this region is not particularly limited, and a known method can be adopted. However, it is possible to extract only from the color data in the image data, but the depth data output from the infrared sensor and It is preferable to combine the image data and extract the observation target area data based on the color data and depth data of the image data. By doing in this way, an observation object area | region can be extracted more accurately. In extracting the observation target region, it is preferable to extract a body part more finely in order to determine an operation mode described later. FIG. 8 shows an image diagram of the extracted observation target region.
また、本実施形態では、画像データから観察対象領域データを抽出した後、観察対象者の状態を判定するために観察対象状態データを作成する動作判定処理を行うことが好ましい。例えば、観察対象者が立っている状態であるか、座っている状態であるか、屈んだ状態であるか、歩いている状態であるか、寝ている状態であるか、倒れた状態であるか等を確認する処理が好ましい。このようにすることで、観察対象者がどのような状態にあるのかを確認し、必要に応じて適切な対応をとることができるようになる。この動作モードの判定方法としては、特に限定されるわけではないが、画像データにおいて求めた観察対象者の体の部位の位置関係を求め、この位置関係に基づきどの動作モードに一番近いかを判定することでもとめることができる。この場合のイメージ図を図９に示しておく。また、他の方法として、画像データに深さデータが含まれている場合、抽出された体の画像と深さデータを囲む直方体を作成し、その直方体の縦横奥行きの寸法、上体と下体の直方体の相対関係、対象の移動速度で判断することもできる。 Moreover, in this embodiment, after extracting observation object area | region data from image data, it is preferable to perform the operation | movement determination process which produces observation object state data in order to determine an observation object person's state. For example, the person being observed is standing, sitting, crouching, walking, sleeping, or lying down The process which confirms these etc. is preferable. In this way, it is possible to confirm what state the observation target person is in and take an appropriate response as necessary. The operation mode determination method is not particularly limited, but the positional relationship of the body part of the observation subject obtained in the image data is obtained, and which operation mode is closest to based on this positional relationship. It can also be stopped by judging. An image diagram in this case is shown in FIG. As another method, when depth data is included in the image data, a rectangular parallelepiped surrounding the extracted body image and depth data is created, and the vertical and horizontal depth dimensions of the rectangular parallelepiped are measured. It can also be determined by the relative relationship of the rectangular parallelepiped and the moving speed of the object.
また本実施形態では、（３）マッピングデータ、及び、観察対象領域データにおける深さデータに基づき経路データ及び移動量データを作成する（Ｓ０３）。 In this embodiment, (3) route data and movement amount data are created based on the mapping data and the depth data in the observation target area data (S03).
本実施形態では、マッピングデータ取得装置４によって本ロボット１が移動可能な範囲について把握することができるようになる。一方、本ロボット１は、マッピングデータ取得装置４の取得するデータに基づき、自己が移動可能な範囲のどの位置にいるのかを把握することができ、さらに、観察対象領域を抽出しその深さデータも利用することで観察対象者がどの位置にあるのかも把握することができるようになる。すなわち、本ロボット１が移動可能な範囲に関するマッピングデータ、自己の位置データ、観察対象者の位置データをそれぞれ取得し、どのように移動することでもっとも効率よく又は安全に観察対象者に近づくことができるのかを移動経路データとして作成することができる。 In the present embodiment, the mapping data acquisition device 4 can grasp the range in which the robot 1 can move. On the other hand, the robot 1 can grasp the position within the movable range of the robot 1 based on the data acquired by the mapping data acquisition device 4. Further, the robot 1 can extract the observation target region and the depth data thereof. By using this, it becomes possible to grasp where the observation target person is. That is, the mapping data about the range in which the robot 1 can move, its own position data, and the position data of the person to be observed are respectively acquired, and how it moves can approach the person to be observed most efficiently or safely. Whether it is possible can be created as travel route data.
そしてさらに本ロボットでは、この移動経路データに基づき、どの程度動く必要があるかを移動量データとして作成し、移動装置８に出力する。この結果、本ロボット１は、現在の位置から観察対象者の位置まで確実に移動することができるようになる。 Further, in this robot, based on the movement route data, the amount of movement required is created as movement amount data and output to the movement device 8. As a result, the robot 1 can reliably move from the current position to the position of the observation subject.
この場合において、本ロボット１の移動目標の位置は、観察対象者の実際の位置から所定の距離を保つようにしておくことが好ましい。観察対象者の位置にあまりに近すぎると観察対象者に不必要な圧迫感を与えてしまう虞がある一方、あまりに遠すぎるとバイタルサインデータを取得することが困難になるといった虞がある。 In this case, the position of the movement target of the robot 1 is preferably maintained at a predetermined distance from the actual position of the observation target person. If it is too close to the position of the person to be observed, there is a possibility that unnecessary pressure will be given to the person to be observed. On the other hand, if it is too far, it is difficult to obtain vital sign data.
また本処理において、障害物によって観察対象者が画像に映らなくなった場合は、観察対象者の位置を把握できた直前の時点を基準として、この基準点及び周囲を撮影することのできる他の位置まで経路データ及び移動量データを作成することが好ましい。このような処理を行うことで、障害物によって観察対象者が画像に映らなくなった場合であっても、改めて場所を変えることで、観察対象者の姿を捉えることができるようになる。 Also, in this process, if the observation subject is no longer displayed in the image due to an obstacle, this reference point and other positions where the surroundings can be photographed with the time immediately before the position of the observation subject can be grasped as a reference It is preferable to create route data and movement amount data. By performing such processing, even when the observation subject is no longer reflected in the image due to the obstacle, the appearance of the observation subject can be captured by changing the place again.
本ロボット１は、以上の構成により、自律移動型の非接触バイタルサインモニタリングシステムを可能とする自律移動ロボット及びバイタルサインモニタリング方法を提供することができる。 With this configuration, the robot 1 can provide an autonomous mobile robot and a vital sign monitoring method that enable an autonomous mobile non-contact vital sign monitoring system.
より具体的には、画像データ取得装置、バイタルサインデータ取得装置、マッピングデータ取得装置を支持装置に固定し一体に保持するとともに、移動装置で移動可能となっているため、マッピングを行いながら、画像データ及びバイタルサインデータによって観察対象者の状態を常に確認することができる。この結果、例えば、本ロボットを室内に居住する高齢者を観察対象者とすることで、高齢者の動作状態、健康状態を常に観察することが可能となり、しかも、高齢者から常に一定の距離を置いて移動するため、過度の圧迫感を与えることなく、また、移動の際に本ロボット自体が障害物となってしまうことを防止することができる。 More specifically, the image data acquisition device, the vital sign data acquisition device, and the mapping data acquisition device are fixed to the support device and held together, and can be moved by the moving device. The state of the observation subject can always be confirmed by the data and vital sign data. As a result, for example, by making an elderly person living in the room an observation subject, it becomes possible to always observe the operating state and health state of the elderly person, and at a constant distance from the elderly person. Since the robot is placed and moved, it is possible to prevent the robot itself from becoming an obstacle during movement without giving an excessive feeling of pressure.
さらに本ロボット１を用いることで、空港等において、外国からの帰国者又は来日者であって感染症に罹患した者の異常をいち早く発見することができ、感染症等の蔓延を防ぐことができるようになる。 Furthermore, by using this robot 1, it is possible to quickly detect abnormalities of those who have returned from Japan or who have come to Japan and suffered from infectious diseases at airports, etc., and to prevent the spread of infectious diseases, etc. become able to.
本発明は、自律移動ロボット及びバイタルサインモニタリング方法として産業上の利用可能性がある。 The present invention has industrial applicability as an autonomous mobile robot and a vital sign monitoring method.
Claims (7)
バイタルサインデータ取得装置と、
マッピングデータ取得装置と、
前記画像データ取得装置、前記バイタルサインデータ取得装置、及び、前記マッピングデータ取得装置に接続され、前記画像データ取得装置により取得される画像データ、前記バイタルサインデータ取得装置により取得されるバイタルサインデータ、及び、前記マッピングデータ取得装置により取得されるマッピングデータを処理する情報処理装置と、
前記画像データ取得装置、前記バイタルサインデータ取得装置、及び、前記マッピングデータ取得装置を支持する支持部材と、
前記支持部材、前記画像データ取得装置、前記バイタルサインデータ取得装置、及び、前記マッピングデータ取得装置を移動させるための移動装置と、を備える自律移動ロボット。 An image data acquisition device;
A vital sign data acquisition device;
A mapping data acquisition device;
The image data acquisition device, the vital sign data acquisition device, the image data acquired by the image data acquisition device connected to the mapping data acquisition device, the vital sign data acquired by the vital sign data acquisition device, And an information processing device that processes the mapping data acquired by the mapping data acquisition device;
A support member that supports the image data acquisition device, the vital sign data acquisition device, and the mapping data acquisition device;
An autonomous mobile robot comprising: the support member, the image data acquisition device, the vital sign data acquisition device, and a movement device for moving the mapping data acquisition device.
前記情報処理装置は、前記表面温度データ取得装置により取得される表面温度データを処理する、請求項１記載の自律移動ロボット。 Equipped with a surface temperature data acquisition device,
The autonomous mobile robot according to claim 1, wherein the information processing apparatus processes surface temperature data acquired by the surface temperature data acquisition apparatus.
前記情報処理装置は、前記画像データから観察対象領域データを抽出し、
前記観察対象領域データにおける前記深さデータに基づき移動量データを作成し、
前記移動装置は、前記移動量データに基づき移動する請求項１記載の自律移動ロボット。 The image data includes depth data,
The information processing device extracts observation target region data from the image data,
Create movement amount data based on the depth data in the observation area data,
The autonomous mobile robot according to claim 1, wherein the moving device moves based on the movement amount data.
画像データから観察対象領域データを抽出し、
マッピングデータ、及び、前記観察対象領域データにおける深さデータに基づき経路データ及び移動量データを作成する、バイタルサインモニタリング方法。 Create at least one of respiratory data and pulse data from vital sign data,
Extract observation area data from image data,
A vital sign monitoring method for creating route data and movement amount data based on mapping data and depth data in the observation target region data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019112416A JP6823327B2 (en) | 2019-06-18 | 2019-06-18 | Autonomous mobile robot and vital sign monitoring method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019112416A JP6823327B2 (en) | 2019-06-18 | 2019-06-18 | Autonomous mobile robot and vital sign monitoring method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014202605A Division JP2016067773A (en) | 2014-09-30 | 2014-09-30 | Autonomous mobile robot and vital sign monitoring method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2019155144A true JP2019155144A (en) | 2019-09-19 |
| JP2019155144A5 JP2019155144A5 (en) | 2019-10-31 |
| JP6823327B2 JP6823327B2 (en) | 2021-02-03 |
Family
ID=67992996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019112416A Active JP6823327B2 (en) | 2019-06-18 | 2019-06-18 | Autonomous mobile robot and vital sign monitoring method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6823327B2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004337556A (en) * | 2003-05-13 | 2004-12-02 | Yasuo Fujii | Robot with means to obtain biological information and function to manage health care |
| JP2005238396A (en) * | 2004-02-26 | 2005-09-08 | Toshiba Corp | Mobile robot |
| JP2005282455A (en) * | 2004-03-30 | 2005-10-13 | Japan Science & Technology Agency | Power generating device and robot for guard and/or disaster relief using same |
| JP2006092356A (en) * | 2004-09-24 | 2006-04-06 | Sanyo Electric Co Ltd | Presumption system, presumption apparatus and sensing apparatus |
| JP2006345960A (en) * | 2005-06-14 | 2006-12-28 | Univ Kinki | Seeing-eye dog type robot |
| JP2011110644A (en) * | 2009-11-26 | 2011-06-09 | Fujitsu Ltd | Autonomous mobile robot |
| US20140163425A1 (en) * | 2005-10-16 | 2014-06-12 | Bao Tran | Personal emergency response (per) system |
-
2019
- 2019-06-18 JP JP2019112416A patent/JP6823327B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004337556A (en) * | 2003-05-13 | 2004-12-02 | Yasuo Fujii | Robot with means to obtain biological information and function to manage health care |
| JP2005238396A (en) * | 2004-02-26 | 2005-09-08 | Toshiba Corp | Mobile robot |
| JP2005282455A (en) * | 2004-03-30 | 2005-10-13 | Japan Science & Technology Agency | Power generating device and robot for guard and/or disaster relief using same |
| JP2006092356A (en) * | 2004-09-24 | 2006-04-06 | Sanyo Electric Co Ltd | Presumption system, presumption apparatus and sensing apparatus |
| JP2006345960A (en) * | 2005-06-14 | 2006-12-28 | Univ Kinki | Seeing-eye dog type robot |
| US20140163425A1 (en) * | 2005-10-16 | 2014-06-12 | Bao Tran | Personal emergency response (per) system |
| JP2011110644A (en) * | 2009-11-26 | 2011-06-09 | Fujitsu Ltd | Autonomous mobile robot |
Non-Patent Citations (1)
| Title |
|---|
| 佐竹 純二 JUNJI SATAKE JUNJI SATAKE: "環境センサと移動ロボットの連携による見守りシステムの試作 Development of a Monitoring Systembase", ロボティクス・メカトロニクス 講演会２０１４ 講演論文集 ＰＲＯＣＥＥＤＩＮＧＳ ＯＦ ＴＨＥ, JPN6020017157, ISSN: 0004270143 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6823327B2 (en) | 2021-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2016067773A (en) | Autonomous mobile robot and vital sign monitoring method | |
| US8369608B2 (en) | System and method for detecting drowsy facial expressions of vehicle drivers under changing illumination conditions | |
| US20150320343A1 (en) | Motion information processing apparatus and method | |
| KR101070389B1 (en) | System for monitoring patient condition | |
| US11315275B2 (en) | Edge handling methods for associated depth sensing camera devices, systems, and methods | |
| CN107874739A (en) | Eye fundus image capture systems | |
| JP2018533775A (en) | Device and method for determining the position of a mobile device with respect to a subject | |
| US11420335B2 (en) | Information processing apparatus, information processing method, and information processing system | |
| US20160150976A1 (en) | High-resolution thermal imaging system, apparatus, method and computer accessible medium | |
| US20120143028A1 (en) | Vital sign measurement robot and control method thereof | |
| Grewal et al. | Autonomous wheelchair navigation in unmapped indoor environments | |
| Feltner et al. | Smart walker for the visually impaired | |
| KR102374448B1 (en) | Method for predicting intention of user and apparatus for performing the same | |
| KR20180057839A (en) | Intelligent robot capable of human recognition and operation method thereof | |
| US20230315099A1 (en) | Program, cleaning device, and information processing method | |
| Alibhai et al. | A Human-Computer Interface for smart wheelchair control using forearm EMG signals | |
| JP2006289565A (en) | Robot operation device and robot | |
| KR20210041468A (en) | Energy-induced emission method and device based on skin temperature topography in 3D space | |
| Halawani et al. | Active vision for controlling an electric wheelchair | |
| JP6823327B2 (en) | Autonomous mobile robot and vital sign monitoring method | |
| JP2015232771A (en) | Face detection method, face detection system and face detection program | |
| Jin et al. | Human-robot interaction for assisted object grasping by a wearable robotic object manipulation aid for the blind | |
| WO2023078249A1 (en) | Obstacle avoidance method, system and apparatus for surgical robot, and storage medium | |
| Ababneh et al. | Gesture controlled mobile robotic arm for elderly and wheelchair people assistance using kinect sensor | |
| JP7090327B2 (en) | Information processing equipment, information processing method, program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190618 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190717 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190902 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200417 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200602 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200709 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201215 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201225 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6823327 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |