JP2020057351A - Notification control device, information collection device, notification control system, notification control method, and program - Google Patents

Notification control device, information collection device, notification control system, notification control method, and program Download PDF

Info

Publication number
JP2020057351A
JP2020057351A JP2019098711A JP2019098711A JP2020057351A JP 2020057351 A JP2020057351 A JP 2020057351A JP 2019098711 A JP2019098711 A JP 2019098711A JP 2019098711 A JP2019098711 A JP 2019098711A JP 2020057351 A JP2020057351 A JP 2020057351A
Authority
JP
Japan
Prior art keywords
information
bed
notification
notification control
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019098711A
Other languages
Japanese (ja)
Inventor
池田 創
So Ikeda
創 池田
厚美 智浩
Tomohiro Atsumi
智浩 厚美
翔太郎 小元
Shotaro Komoto
翔太郎 小元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to US16/582,366 priority Critical patent/US11513007B2/en
Publication of JP2020057351A publication Critical patent/JP2020057351A/en
Pending legal-status Critical Current

Links

Images

Abstract

To suppress a delay of notification indicating a user's situation, and reduce a false notification in a notification control device for notifying a predetermined notification destination of the user's situation on the basis of temperature image data taken in a predetermined photographing range.SOLUTION: A notification control device for controlling notification based on subject information, comprises: an information receiving unit for receiving information on a subject including temperature image data indicating a temperature of the subject photographed in a predetermined photographing range; and a notification control unit for notifying a predetermined notification destination of the notification information indicating a state of the subject on the basis of the information on the subject. The notification control unit cancels a process of notifying a predetermined notification destination of the notification information depending on whether or not the subject information includes predetermined identification information.SELECTED DRAWING: Figure 7

Description

本発明は、通知制御装置、情報収集装置、通知制御システム、通知制御方法、及びプログラムに関する。   The present invention relates to a notification control device, an information collection device, a notification control system, a notification control method, and a program.

医療施設や介護施設等の施設において、患者等の呼出操作等に応じて医療従事者を呼出すことができるナースコールシステムが知られている。   2. Description of the Related Art A nurse call system that can call a medical worker in response to a call operation of a patient or the like in a facility such as a medical facility or a care facility is known.

また、ベッドが空床であるか否かを検知し、空床である場合には呼出操作に応じてベッドメイキングの終了を通知すると共に、空床でない場合には呼出操作に応じてナースコールを通知するナースコールシステムが知られている(例えば、特許文献1参照)。   Also, it detects whether the bed is empty or not, and if it is empty, notifies the end of bed making according to the calling operation, and if it is not empty, makes a nurse call according to the calling operation. A nurse call system for notifying is known (for example, see Patent Document 1).

ところで、かかる医療施設や介護施設等の施設においては、ベッドの周辺に設けられたサーモカメラ等で撮影した温度画像データを用いて、ベッドの利用者(患者等)の離床、帰床等の状況を検知し、利用者の状況をナースコールシステム等に通知するシステムも考えられる。例えば、温度画像データを用いて、利用者に対応する温度、及び大きさの領域を検知して、利用者の状況を推定し、推定結果に基づいて利用者の状況をナースコールシステムに通知することができる。これにより、例えば、ベッドの利用者のプライバシーを確保すること、及び消灯後の夜間に利用者の状況を検知すること等を容易にする通知制御システムを実現することができる。   By the way, in facilities such as medical facilities and nursing care facilities, the situation of bed user (patient etc.) getting out of bed, returning to bed, etc. using temperature image data taken by a thermo camera etc. provided around the bed. Is detected, and a user's situation is notified to a nurse call system or the like. For example, using the temperature image data, an area of the temperature and size corresponding to the user is detected, the situation of the user is estimated, and the situation of the user is notified to the nurse call system based on the estimation result. be able to. Thereby, for example, it is possible to realize a notification control system that facilitates ensuring the privacy of the bed user and detecting the situation of the user at night after the lights are turned off.

しかし、この方法では、利用者がベッドから離床した後に、例えば、医療従事者がベッド、又はベッドの周辺に来訪した場合、利用者がベッドに帰床したと誤検知され、ナースシステムに通知されてしまう場合がある。   However, according to this method, after the user leaves the bed, for example, when a medical worker visits the bed or around the bed, it is erroneously detected that the user has returned to the bed, and the nurse system is notified. In some cases.

また、このような誤検知を防ぐために、例えば、人物に対応する温度、及び大きさの領域がベッドの周辺で検知された後、ベッドに移動し所定の時間を経過した後に、利用者がベッドに帰床したと判断することも考えられる。しかし、このように、時間をかけて利用者の状況を判断する方法では、万が一、ベッドの利用者に、事故等が発生した場合に、ナースコールシステムへの通知が遅れてしまうという問題がある。   Further, in order to prevent such erroneous detection, for example, after an area of a temperature and a size corresponding to a person is detected around the bed, the user moves to the bed and a predetermined time has elapsed, and then the user moves to the bed. It is also conceivable that it is determined that the child returned to bed. However, such a method of taking a long time to judge the situation of the user has a problem in that the notification to the nurse call system is delayed if an accident or the like occurs to the bed user. .

このように、所定の撮影範囲で撮影された温度画像データに基づいて利用者の状況を所定の通知先に通知する通知制御装置において、利用者の状況を示す通知の遅延を抑制しつつ、誤通知を低減させることには困難を伴っていた。   As described above, the notification control device that notifies the user of the situation of the user to the predetermined notification destination based on the temperature image data captured in the predetermined imaging range suppresses a delay of the notification indicating the status of the user and suppresses the error. Reducing notifications has been challenging.

本発明の一実施形態は、上記問題点に鑑みてなされたものであって、所定の撮影範囲で撮影された温度画像データに基づいて利用者の状況を所定の通知先に通知する通知制御装置において、利用者の状況を示す通知の遅延を抑制しつつ、誤通知を低減させる。   An embodiment of the present invention has been made in view of the above problems, and is a notification control device that notifies a user of a user's situation to a predetermined notification destination based on temperature image data captured in a predetermined imaging range. In the above, the erroneous notification is reduced while suppressing the delay of the notification indicating the situation of the user.

上記課題を解決するため、本発明の一実施形態に係る通知制御装置は、被写体の情報に基づく通知を制御する通知制御装置であって、所定の撮影範囲で撮影された被写体の温度を示す温度画像データを含む前記被写体の情報を受信する情報受信部と、前記被写体の情報に基づいて前記被写体の状態を示す通知情報を所定の通知先に通知する通知制御部と、を有し、前記通知制御部は、前記被写体の情報に予め定められた識別情報が含まれているか否かに応じて、前記通知情報を所定の通知先に通知する処理を中止する。   In order to solve the above-described problem, a notification control device according to an embodiment of the present invention is a notification control device that controls a notification based on information of a subject, and includes a temperature indicating a temperature of the subject captured in a predetermined capturing range. An information receiving unit that receives information of the subject including image data; and a notification control unit that notifies a predetermined notification destination of notification information indicating a state of the subject based on the information of the subject. The control unit stops the process of notifying the notification information to a predetermined notification destination according to whether or not the information of the subject includes predetermined identification information.

本発明の実施の形態によれば、所定の撮影範囲で撮影された温度画像データに基づいて利用者の状況を所定の通知先に通知する通知制御装置において、利用者の状況を示す通知の遅延を抑制しつつ、誤通知を低減させることができる。   According to the embodiment of the present invention, in a notification control device that notifies a user of a user status to a predetermined notification destination based on temperature image data captured in a predetermined image capturing range, a notification delay indicating a user status is delayed. While suppressing false notification.

一実施形態に係る通知制御システムのシステム構成の例を示す図である。It is a figure showing the example of the system configuration of the notice control system concerning one embodiment. 一実施形態に係るベッド、及び情報収集装置の配置の例を示す図である。It is a figure showing an example of arrangement of a bed and an information collection device concerning one embodiment. 一実施形態に係る検知領域の例を示す図である。It is a figure showing an example of a detection field concerning one embodiment. 一実施形態に係る検知パターンの例を示す図である。It is a figure showing an example of a detection pattern concerning one embodiment. 一実施形態に係る通知制御装置のハードウェア構成の例を示す図である。FIG. 3 is a diagram illustrating an example of a hardware configuration of a notification control device according to an embodiment. 一実施形態に係る情報収集装置のハードウェア構成の例を示す図である。FIG. 2 is a diagram illustrating an example of a hardware configuration of an information collection device according to an embodiment. 一実施形態に係る通知制御システムの機能構成の例を示す図である。It is a figure showing an example of functional composition of a notice control system concerning one embodiment. 一実施形態に係る通知制御装置が管理する情報の例を示す図である。It is a figure showing the example of the information which the notice control device concerning one embodiment manages. 第1の実施形態に係る通知制御処理の例を示すフローチャートである。5 is a flowchart illustrating an example of a notification control process according to the first embodiment. 第1の実施形態に係る表示制御処理の例を示すシーケンス図である。FIG. 6 is a sequence diagram illustrating an example of a display control process according to the first embodiment. 第1の実施形態に係る対応情報の提供処理の例を示すフローチャートである。5 is a flowchart illustrating an example of a process of providing correspondence information according to the first embodiment. 第2の実施形態に係る音の判別処理の例を示すフローチャートである。It is a flow chart which shows the example of the discrimination processing of the sound concerning a 2nd embodiment. 第2の実施形態に係る表示画面の例を示す図である。It is a figure showing an example of a display screen concerning a 2nd embodiment. 第3の実施形態に係る検知枠の補正処理について説明するための図である。It is a figure for explaining correction processing of a detection frame concerning a 3rd embodiment. 第3の実施形態に係る検知枠の補正処理の例を示すフローチャートである。13 is a flowchart illustrating an example of a detection frame correction process according to the third embodiment.

以下に、本発明の実施の形態について、添付の図面を参照して説明する。   Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.

<システムの構成>
図1は、一実施形態に係る通知制御システムのシステム構成の例を示す図である。通知制御システム100は、医療施設や介護施設等の施設の一例である入院病棟110に設置された複数の情報収集装置102a〜102f、及びネットワーク104を介して複数の情報収集装置102a〜102fと通信可能に接続された通知制御装置101を含む。
<System configuration>
FIG. 1 is a diagram illustrating an example of a system configuration of a notification control system according to an embodiment. The notification control system 100 communicates with a plurality of information collection devices 102a to 102f installed in an inpatient ward 110 which is an example of a facility such as a medical facility or a nursing care facility, and with a plurality of information collection devices 102a to 102f via a network 104. It includes a notification control device 101 operatively connected.

なお、以下の説明の中で、複数の情報収集装置102a〜102fのうち、任意の情報収集装置を示す場合、「情報収集装置102」を用いる。また、図1に示す情報収集装置102の数は一例であり、情報収集装置102の数は1つ以上の他の数であって良い。   In the following description, when an arbitrary information collection device is indicated among the plurality of information collection devices 102a to 102f, the "information collection device 102" is used. Further, the number of the information collecting apparatuses 102 illustrated in FIG. 1 is an example, and the number of the information collecting apparatuses 102 may be one or more.

情報収集装置102は、被写体の温度を示す温度画像データを撮影するサーモカメラ、及びBluetooth(登録商標) Low Energy(以下、BLEと呼ぶ)タグから送信される識別情報を受信する近距離無線モジュール等を有している。なお、情報収集装置102は、病床見守りカメラ、又は単にカメラ等と呼ばれる場合もある。   The information collection device 102 includes a thermo camera that captures temperature image data indicating the temperature of a subject, a short-range wireless module that receives identification information transmitted from a Bluetooth (registered trademark) Low Energy (hereinafter, referred to as BLE) tag, and the like. have. Note that the information collection device 102 may be called a bed monitoring camera or simply a camera.

サーモカメラは、測定対象物からの赤外線放射を画像化して温度に換算し、温度の分布を色等によって可視化する撮影装置である。なお、サーモカメラは、サーモグラフィカメラ、サーモグラフィ、サーモビジョン、サーモビューワ等と呼ばれる場合もある。   A thermo camera is an imaging device that images infrared radiation from an object to be measured, converts the image into temperature, and visualizes the temperature distribution with colors or the like. The thermo camera may be called a thermographic camera, thermography, thermovision, thermoviewer, or the like.

図1の例では、複数の情報収集装置102a〜102fは、病室A〜Fに設けられた複数のベッド103a〜103fの各々に対応して、各病室の壁、又は天井等に設置されている。例えば、情報収集装置102aは、病室Aに設けられたベッド103aに対応する壁面に設置され、ベッド103a、及びベッド103aの周辺(所定の撮影範囲)における被写体の温度を示す温度画像データを撮影することができるように設置されている。   In the example of FIG. 1, the plurality of information collecting apparatuses 102a to 102f are installed on the wall or ceiling of each of the sick rooms corresponding to each of the plurality of beds 103a to 103f provided in the sick rooms A to F. . For example, the information collection device 102a is installed on a wall surface corresponding to the bed 103a provided in the hospital room A, and captures temperature image data indicating the temperature of the bed 103a and the subject around the bed 103a (a predetermined imaging range). It is installed so that it can be.

情報収集装置102aは、サーモカメラを用いて、ベッド103a、及びベッド103aの周辺における温度画像データを、所定のフレームレート(例えば、5fps〜1fps等)で撮影する。   The information collection device 102a uses a thermo camera to photograph the bed 103a and the temperature image data around the bed 103a at a predetermined frame rate (for example, 5 fps to 1 fps).

また、本実施形態では、施設に勤務する医療従事者(例えば、医師、看護師、介護士等)は、当該医療従事者を識別する識別情報を送信するBLEタグを所持しているものとする。情報収集装置102aは、近距離無線モジュールを用いて、施設に勤務する医療従事者(以下、単に「医療従事者」と呼ぶ)が所持しているBLEタグから送信される識別情報(以下、無線IDと呼ぶ)を受信する。   Further, in the present embodiment, it is assumed that a medical worker (for example, a doctor, a nurse, a caregiver, or the like) working at a facility has a BLE tag that transmits identification information for identifying the medical worker. . The information collecting apparatus 102a uses a short-range wireless module to transmit identification information (hereinafter referred to as wireless communication) transmitted from a BLE tag possessed by a medical worker (hereinafter, simply referred to as “medical worker”) working at a facility. ID).

なお、医療従事者には、施設に勤務する様々な職員が含まれていても良い。また、サーモカメラが取得する温度画像データは、所定の時間間隔(例えば、10秒〜60秒間隔等)で撮影される静止画データであっても良い。また、近距離無線モジュールは、BLEタグに代えて、RFID(Radio Frequency Identifier)のアクティブタグ等、BLEタグ以外の無線タグから送信される無線IDを受信するものであっても良い。   It should be noted that the medical staff may include various staffs working at the facility. Further, the temperature image data acquired by the thermo camera may be still image data photographed at predetermined time intervals (for example, at intervals of 10 seconds to 60 seconds). Further, the short-range wireless module may receive a wireless ID transmitted from a wireless tag other than the BLE tag, such as an active tag of an RFID (Radio Frequency Identifier), instead of the BLE tag.

上記の構成において、情報収集装置102aは、撮影した温度画像データを含む利用者の情報を、ネットワーク104を介して通知制御装置101に送信する。この利用者の情報には、情報収集装置102aや、ベッド103aを特定するための識別情報(例えば、IPアドレス、装置ID、ベッドID等)が含まれる。また、情報収集装置102aが無線IDを受信した場合、利用者の情報には、受信した無線IDが含まれる。   In the above configuration, the information collection device 102a transmits the user information including the captured temperature image data to the notification control device 101 via the network 104. The user information includes identification information (for example, an IP address, a device ID, and a bed ID) for specifying the information collection device 102a and the bed 103a. When the information collection device 102a receives the wireless ID, the user information includes the received wireless ID.

同様にして、他の情報収集装置102b〜102fも、対応するベッド、及びベッドの周辺を撮影した温度画像データ、受信した無線ID等を含む利用者の情報を、ネットワーク104を介して通知制御装置101に送信する。   Similarly, the other information collecting apparatuses 102b to 102f also transmit the user information including the corresponding bed, the temperature image data obtained by photographing the periphery of the bed, the received wireless ID, and the like via the network 104 via the notification control apparatus. Send to 101.

通知制御装置101は、コンピュータの構成を有する情報処理装置、又は複数の情報処理装置を含むシステムである。通知制御装置101は、情報収集装置102から送信される利用者の情報を受信し、受信した利用者の情報に基づいて、ベッドを利用する利用者の状態を示す通知情報を、例えば、ナースコールシステム121等の所定の通知先に通知する。   The notification control device 101 is an information processing device having a configuration of a computer or a system including a plurality of information processing devices. The notification control device 101 receives the user information transmitted from the information collection device 102 and, based on the received user information, transmits notification information indicating the state of the user using the bed, for example, a nurse call A predetermined notification destination such as the system 121 is notified.

例えば、通知制御装置101は、利用者の情報に含まれる温度画像データを用いて、撮影範囲内に予め設定された1つ以上の検知領域における所定のパターンの温度変化を検知する。また、通知制御装置101は、所定のパターンの温度変化が検知された場合、検知された温度変化に対応する通知内容(例えば、利用者の状態を示す情報、及び温度画像データ等)を含む通知情報を、ナースコールシステム121に通知する。   For example, the notification control device 101 detects a temperature change of a predetermined pattern in one or more detection regions set in advance in the imaging range using the temperature image data included in the user information. Further, when a temperature change of a predetermined pattern is detected, the notification control device 101 sends a notification including notification contents (for example, information indicating a user state, temperature image data, and the like) corresponding to the detected temperature change. The information is notified to the nurse call system 121.

また、本実施形態に係る通知制御装置101は、利用者の情報に、予め定められた無線IDが含まれているか否かに応じて、通知情報をナースコールシステム121に通知する処理を中止する機能を有している。   In addition, the notification control device 101 according to the present embodiment stops the process of notifying the notification information to the nurse call system 121 according to whether or not the user information includes a predetermined wireless ID. Has a function.

例えば、通知制御装置101は、利用者の情報に含まれる温度画像データを用いて、ベッド103の利用者が離床したことを検知した後、利用者がベッド103に戻った場合、利用者が戻ったことを示す帰床情報を所定の通知先に通知する。ただし、温度画像データでは、戻ってきた人物がベッドの利用者であるか、医療従事者等であるかを判断することは困難である。   For example, the notification control device 101 uses the temperature image data included in the user information to detect that the user of the bed 103 has left the bed, and then returns when the user returns to the bed 103. Is returned to a predetermined notification destination. However, with the temperature image data, it is difficult to determine whether the returned person is a bed user or a medical worker.

そこで、一例として、通知制御装置101は、受信した利用者の情報に、予め登録された、医療従事者や施設の職員の無線IDが含まれている場合、あるいは施設外からの者(例えば清掃員などのように、契約している出入業者の者など)の無線IDが含まれている場合、戻ってきた人物が医療従事者等であると判断し、通知情報をナースコールシステム121に通知する処理を中止する。このような処理とすることで、例えば、ベッドの利用者が車いすに乗って施設の職員と一緒に戻るなどの場合や、医療従事者等によるベッドメイキングなどの場合に、誤ってナースコールシステム121への通知がされてしまうことを低減することができる。   Therefore, as an example, the notification control device 101 may determine whether the received user information includes a pre-registered wireless ID of a medical worker or a facility staff, or a person from outside the facility (for example, cleaning). When the wireless ID of a contracted entrepreneur such as a member is included, it is determined that the returned person is a medical worker or the like, and the notification information is notified to the nurse call system 121. Cancel the processing to be performed. With this processing, the nurse call system 121 is erroneously used, for example, when a bed user gets back on a wheelchair with the staff of the facility or when a medical worker or the like makes a bed. Can be reduced.

別の一例として、通知制御装置101は、受信した利用者の情報に、ベッドの利用者の無線IDが含まれていない場合に、戻ってきた人物がベッドの利用者ではないと判断し、通知情報をナースコールシステム121に通知する処理を中止するものであっても良い。   As another example, when the received user information does not include the wireless ID of the bed user, the notification control device 101 determines that the returning person is not the bed user, The process of notifying the nurse call system 121 of the information may be stopped.

さらに別の一例として、利用者が食事などで用いるトレイや容器などにBLEタグを取り付けておき、後述のベッド上の所定の領域で利用者が検知されたとしても、受信した利用者の情報に、当該BLEタグの無線IDが含まれている場合には、通知情報をナースコールシステム121に通知する処理を中止するようにしても良い。   As yet another example, a BLE tag is attached to a tray or a container used by a user for a meal or the like, and even if a user is detected in a predetermined area on a bed described later, the received user information is not included. If the wireless ID of the BLE tag is included, the process of notifying the notification information to the nurse call system 121 may be stopped.

ここでは、通知制御装置101が、利用者の情報に、予め登録された、医療従事者、施設の職員、施設外からの者等の無線IDが含まれている場合、通知情報をナースコールシステム121に通知する処理を中止するものとして、以下の説明を行う。なお、予め登録された医療従事者、施設の職員、施設外からの者等の無線ID、ベッドの利用者の無線ID等は、予め定められた識別情報の一例である。   Here, the notification control device 101 transmits the notification information to a nurse call system when the user information includes a wireless ID of a medical worker, a facility staff, or a person from outside the facility, which is registered in advance. The following description will be made assuming that the process of notifying 121 is stopped. The wireless ID of a medical worker, a staff of a facility, a person from outside the facility, a wireless ID of a bed user, and the like registered in advance are examples of predetermined identification information.

ナースコールシステム121は、コンピュータの構成を有する情報処理装置、又は複数の情報処理装置を含むシステムであり、通知制御装置101が通知情報を通知する所定の通知先の一例である。ナースコールシステム121は、ベッド103を利用する利用者(例えば、患者、被介護者等)による呼出情報を、ナースステーションA〜Cに設置された表示装置122a〜122cや、看護師や介護士等の職員が所持する情報端末123等に表示させる。   The nurse call system 121 is an information processing device having a computer configuration or a system including a plurality of information processing devices, and is an example of a predetermined notification destination to which the notification control device 101 notifies notification information. The nurse call system 121 displays call information by a user (for example, a patient, a care recipient, etc.) using the bed 103, display devices 122a to 122c installed in nurse stations A to C, a nurse, a caregiver, and the like. Is displayed on the information terminal 123 or the like owned by the staff member.

また、本実施形態に係るナースコールシステム121は、図1に示すように、ネットワーク104を介して通知制御装置101に接続され、通知制御装置101から通知される通知情報を受信する。さらに、ナースコールシステム121は、受信した通知情報に基づいて、利用者の状況を通知する表示画面を、表示装置122a〜122cや、情報端末123等に表示させることができる。   The nurse call system 121 according to the present embodiment is connected to the notification control device 101 via the network 104 and receives notification information notified from the notification control device 101, as shown in FIG. Further, the nurse call system 121 can cause the display devices 122a to 122c, the information terminal 123, and the like to display a display screen for notifying the status of the user based on the received notification information.

複数の表示装置122a〜122cは、ナースステーション等に設けられた表示装置であり、ナースコールシステム121から送信される表示画面を表示する。   The plurality of display devices 122a to 122c are display devices provided in a nurse station or the like, and display a display screen transmitted from the nurse call system 121.

情報端末123は、看護師や介護士等の職員が所持するスマートフォン、タブレット端末、ノートPC等の情報端末である。情報端末123は、例えば、無線通信によりナースコールシステム121と通信が可能であり、所定のアプリケーションを実行することにより、ナースコールシステム121から送信される表示画面を表示することができる。   The information terminal 123 is an information terminal such as a smartphone, a tablet terminal, and a notebook PC possessed by staff members such as nurses and caregivers. The information terminal 123 can communicate with the nurse call system 121 by wireless communication, for example, and can display a display screen transmitted from the nurse call system 121 by executing a predetermined application.

(ベッド、及びカメラの配置の例)
図2は、一実施形態に係るベッド、及びカメラの配置の例を示す図である。本実施形態は、例えば、図2(a)、(b)に示すように、1つの病室111内に複数のベッド103が設けられている場合でも適用することができる。
(Example of arrangement of bed and camera)
FIG. 2 is a diagram illustrating an example of an arrangement of a bed and a camera according to an embodiment. This embodiment can be applied to a case where a plurality of beds 103 are provided in one sickroom 111 as shown in FIGS. 2A and 2B, for example.

例えば、図2(a)に示すように、情報収集装置102は、情報収集装置102に対応するベッド103、及びベッドの周辺の画像データを取得することができるように、病室111の壁面等に設置されている。なお、情報収集装置102は、病室111の天井に設置されているものであっても良い。   For example, as shown in FIG. 2A, the information collecting device 102 is mounted on a wall of a hospital room 111 or the like so as to acquire a bed 103 corresponding to the information collecting device 102 and image data around the bed. is set up. The information collection device 102 may be installed on the ceiling of the hospital room 111.

図2(b)は、病室111を上方から見た状態を示している。情報収集装置102は、サーモカメラを用いて、情報収集装置102に対応するベッド103、及びベッド103の周辺を含む所定の撮影範囲201の温度画像データを撮影することができるように設置されている。   FIG. 2B shows a state where the hospital room 111 is viewed from above. The information collection device 102 is installed so as to be able to use a thermo camera to capture temperature image data of a bed 103 corresponding to the information collection device 102 and a predetermined imaging range 201 including the periphery of the bed 103. .

また、情報収集装置102は、近距離無線モジュールを用いて、ベッド103、及びベッド103の周辺を含む通信範囲202内にあるBLEタグが送信する電波を受信し、電波に含まれる無線IDを取得することができるように、調整されている。   Further, the information collecting apparatus 102 receives the radio wave transmitted by the BLE tag in the communication range 202 including the bed 103 and the periphery of the bed 103 using the short-range wireless module, and acquires the wireless ID included in the radio wave. It is tuned so that you can.

なお、医療従事者は、それぞれ、医療従事者を識別する無線IDを送信するBLEタグを所持している。BLEタグは、送信する電波の強弱で通信距離を制御することができ、例えば、通信距離が3m〜4m程度になるように送信する電波の強度が設定されている。   Each medical worker has a BLE tag for transmitting a wireless ID for identifying the medical worker. The BLE tag can control the communication distance based on the strength of the radio wave to be transmitted. For example, the intensity of the radio wave to be transmitted is set so that the communication distance is about 3 m to 4 m.

(検知領域の例)
図3は、一実施形態に係る検知領域の例を示す図である。通知制御装置101は、情報収集装置102の撮影範囲201内に予め設定された、1つ以上の検知領域を管理している。
(Example of detection area)
FIG. 3 is a diagram illustrating an example of a detection area according to an embodiment. The notification control device 101 manages one or more detection areas set in advance within the imaging range 201 of the information collection device 102.

例えば、情報収集装置102の撮影範囲201内には、図3(a)に示すように、複数の小領域302を含む検知枠301が設定されている。図3(a)の例では、検知枠301内には、列A〜E、及び行1〜5で識別される25個の小領域302が設けられている。   For example, as shown in FIG. 3A, a detection frame 301 including a plurality of small regions 302 is set in the imaging range 201 of the information collection device 102. In the example of FIG. 3A, 25 small areas 302 identified by columns A to E and rows 1 to 5 are provided in the detection frame 301.

また、通知制御装置101は、図3(b)に示すように、25個の小領域302を、複数の検知領域と対応づけて記憶した領域情報310を管理している。例えば、図3(b)の例では、注意領域Bは、小領域の位置を示す「C3」により表される。また、注意領域Cは、複数の小領域の位置を示す「B2、C2」、及び「B4、C4」により表される。これにより、通知制御装置101は、1つ以上の検知領域における温度の変化を容易に管理することができる。   As shown in FIG. 3B, the notification control device 101 manages area information 310 in which 25 small areas 302 are stored in association with a plurality of detection areas. For example, in the example of FIG. 3B, the attention area B is represented by “C3” indicating the position of the small area. The attention area C is represented by “B2, C2” and “B4, C4” indicating the positions of the plurality of small areas. Thereby, the notification control device 101 can easily manage a change in temperature in one or more detection areas.

(検知パターンの例)
図4は、一実施形態に係る検知パターンの例を示す図である。通知制御装置101は、情報収集装置102から受信する利用者の情報に含まれる温度画像データを用いて、撮影範囲201内に設定された1つ以上の検知領域における所定のパターンの温度変化を検知する。
(Example of detection pattern)
FIG. 4 is a diagram illustrating an example of a detection pattern according to the embodiment. The notification control device 101 detects a temperature change of a predetermined pattern in one or more detection regions set in the imaging range 201 using the temperature image data included in the user information received from the information collection device 102. I do.

好適な一例として、通知制御装置101は、ベッド103を利用する利用者401の位置を、利用者401の頭部402の温度によって検知する。利用者401の身体のうち頭部402は、例えば、衣服や毛布等によって覆われることが少なく、また、顔の部分は毛髪の影響も受け難いため、利用者401の位置を検知するために好適である。   As a preferred example, the notification control device 101 detects the position of the user 401 using the bed 103 based on the temperature of the head 402 of the user 401. The head 402 of the body of the user 401 is less likely to be covered with, for example, clothes or blankets, and the face is hardly affected by hair, so that it is suitable for detecting the position of the user 401. It is.

例えば、利用者の情報に含まれる温度画像データにおいて、図4(a)に示されるように、利用者401の頭部402は、他の部分とは異なる温度(他の部分とは異なる色)で表される。従って、通知制御装置101は、温度画像データから、所定の温度(例えば、30℃〜40℃等)であり、かつ頭部402の大きさに相当する領域を検出することにより、利用者401の位置を検知することができる。   For example, in the temperature image data included in the user information, as shown in FIG. 4A, the head 402 of the user 401 has a temperature different from other portions (a color different from other portions). It is represented by Accordingly, the notification control device 101 detects an area at a predetermined temperature (for example, 30 ° C. to 40 ° C.) and corresponding to the size of the head 402 from the temperature image data. The position can be detected.

図4(a)の例では、検知パターンの一例として、利用者401の頭部402が、図3(a)、(b)で定められた注意領域A410に移動した場合の検知パターンの例を示している。利用者401の頭部402が注意領域A410に移動した場合、通知制御装置101は、例えば、利用者401がベッド103から落下する危険があると判断する。この場合、通知制御装置101は、利用者401がベッドから落下する危険があることを示す通知情報を、例えば、ナースコールシステム121等の所定の通知先に通知する。この通知情報には、利用者401がベッド103から落下する恐れがあることを示す落下注意情報、ベッド103を識別するベッドID、危険と判断した温度画像データ、及び現在の温度画像データ等が含まれる。   In the example of FIG. 4A, an example of a detection pattern when the head 402 of the user 401 moves to the attention area A410 defined in FIGS. 3A and 3B is an example of the detection pattern. Is shown. When the head 402 of the user 401 moves to the attention area A410, the notification control device 101 determines that, for example, there is a risk that the user 401 falls from the bed 103. In this case, the notification control device 101 notifies a predetermined notification destination such as the nurse call system 121 of notification information indicating that there is a risk that the user 401 falls from the bed. The notification information includes falling attention information indicating that the user 401 may fall from the bed 103, a bed ID for identifying the bed 103, temperature image data determined to be dangerous, current temperature image data, and the like. It is.

図4(b)は、検知パターンの別の一例として、利用者401が、ベッド103から落下した場合の検知パターンの例を示している。例えば、図3(a)、(b)で定められた注意領域A〜Cのいずれかで検知されていた利用者401の頭部402が、落下検知領域420に移動し、所定の時間を超えて落下検知領域420に留まっているものとする。この場合、通知制御装置101は、利用者401がベッド103から落下したと判断する。この場合、通知制御装置101は、利用者401がベッドから落下したことを示す落下検知情報を含む通知情報を、例えば、ナースコールシステム121等の所定の通知先に通知する。   FIG. 4B shows an example of a detection pattern when the user 401 falls from the bed 103 as another example of the detection pattern. For example, the head 402 of the user 401 detected in any of the attention areas A to C defined in FIGS. 3A and 3B moves to the fall detection area 420 and exceeds a predetermined time. It is assumed that the user stays in the fall detection area 420. In this case, the notification control device 101 determines that the user 401 has dropped from the bed 103. In this case, the notification control device 101 notifies a predetermined notification destination such as the nurse call system 121 of notification information including fall detection information indicating that the user 401 has fallen from the bed.

図4(c)は、検知パターンの別の一例として、ベッド103を利用する利用者401が、ベッド103を離れる離床を検知する検知パターンの一例を示している。例えば、ベッド103上で検知されていた利用者401の頭部402が、落下検知領域420で検知され、所定の時間内に検知枠301内で検知されなくなった場合、通知制御装置101は、利用者が離床したと判断する。この場合、通知制御装置101は、利用者401がベッド103を離れたことを示す離床検知情報を含む通知情報を、例えば、ナースコールシステム121等の所定の通知先に通知する。   FIG. 4C illustrates an example of a detection pattern for detecting that the user 401 who uses the bed 103 leaves the bed 103 as another example of the detection pattern. For example, when the head 402 of the user 401 detected on the bed 103 is detected in the fall detection area 420 and is not detected in the detection frame 301 within a predetermined time, the notification control device 101 It is determined that the person has left the bed. In this case, the notification control device 101 notifies the predetermined notification destination such as the nurse call system 121 of the notification information including the bed leaving detection information indicating that the user 401 has left the bed 103.

図4(d)は、検知パターンの別の一例として、ベッド103を利用する利用者401が、ベッド103に戻ったこと(以下、帰床と呼ぶ)を検知する検知パターンの一例を示している。例えば、検知枠301内で検知されていなかった利用者401が、ベッド103、又はベッド103の周辺に戻ってきたものとする。この場合、例えば、図4(d)に示すように、利用者401の頭部402が、落下検知領域420で検知される。ただし、これだけでは、落下検知領域420で検知された人物が、ベッド103の利用者401であるか、施設の職員であるかを、通知制御装置101は判断することができない。   FIG. 4D shows an example of a detection pattern for detecting that the user 401 using the bed 103 has returned to the bed 103 (hereinafter, referred to as returning to bed) as another example of the detection pattern. . For example, it is assumed that the user 401 that has not been detected in the detection frame 301 has returned to the bed 103 or the vicinity of the bed 103. In this case, for example, as shown in FIG. 4D, the head 402 of the user 401 is detected in the fall detection area 420. However, with this alone, the notification control device 101 cannot determine whether the person detected in the fall detection area 420 is the user 401 of the bed 103 or the staff of the facility.

そこで、通知制御装置101は、情報収集装置102から受信した利用者の情報に医療従事者の無線IDが含まれていない場合、落下検知領域420で検知された人物がベッド103の利用者401であると判断する。また、情報収集装置102は、利用者401がベッド103に戻ったことを示す帰床検知情報を含む通知情報を、例えば、ナースコールシステム121等の所定の通知先に通知する。一方、通知制御装置101は、情報収集装置102から受信した利用者の情報に医療従事者の無線IDが含まれている場合、落下検知領域420で検知された人物が医療従事者であると判断し、通知情報を所定の通知先へ送信する処理を中止する。   Thus, when the user information received from the information collection device 102 does not include the wireless ID of the medical worker, the notification control device 101 determines that the person detected in the fall detection area 420 is the user 401 of the bed 103. Judge that there is. In addition, the information collection device 102 notifies notification information including return detection information indicating that the user 401 has returned to the bed 103 to a predetermined notification destination such as the nurse call system 121, for example. On the other hand, when the user information received from the information collecting device 102 includes the wireless ID of the medical worker, the notification control device 101 determines that the person detected in the fall detection area 420 is the medical worker. Then, the process of transmitting the notification information to the predetermined notification destination is stopped.

これにより、ベッド103に戻った利用者401が、例えば、手や足を滑らせて図4(b)に示すように、落下検知領域420で倒れている場合、通知制御装置101は、落下検知領域420に利用者401がいることを、直ちに判断することができる。また、通知制御装置101は、医療従事者が落下検知領域420で作業等をしているとき等には、通知情報を所定の通知先へ送信する処理を中止するので、通知先への誤通知を低減させることができる。   Thereby, when the user 401 returning to the bed 103 slides his / her hand or foot and falls down in the fall detection area 420 as shown in FIG. 4B, the notification control device 101 The presence of the user 401 in the area 420 can be immediately determined. Further, the notification control device 101 stops the process of transmitting the notification information to the predetermined notification destination when the medical worker is working in the fall detection area 420 or the like. Can be reduced.

このように、本実施の形態によれば、所定の撮影範囲201で撮影された温度画像データに基づいて利用者の状況を所定の通知先に通知する通知制御装置101において、利用者の状況を示す通知の遅延を抑制しつつ、誤通知を低減させることができる。   As described above, according to the present embodiment, the notification control device 101 that notifies the user of the situation to the predetermined notification destination based on the temperature image data captured in the predetermined imaging range 201, It is possible to reduce erroneous notifications while suppressing the delay of the notification shown.

<ハードウェア構成>
続いて、通知制御装置101、及び情報収集装置102のハードウェア構成について説明する。
<Hardware configuration>
Next, the hardware configuration of the notification control device 101 and the information collection device 102 will be described.

(通知制御装置のハードウェア構成)
図5は、一実施形態に係る通知制御装置のハードウェア構成の例を示す図である。通知制御装置101は、一般的なコンピュータの構成を有しており、例えば、CPU(Central Processing Unit)501、RAM(Random Access Memory)502、ROM(Read Only Memory)503、ストレージ504、ネットワークI/F(Interface)505、入力デバイス506、表示デバイス507、外部I/F508、及びバス509等を有する。
(Hardware configuration of notification control device)
FIG. 5 is a diagram illustrating an example of a hardware configuration of the notification control device according to the embodiment. The notification control device 101 has a general computer configuration, and includes, for example, a CPU (Central Processing Unit) 501, a RAM (Random Access Memory) 502, a ROM (Read Only Memory) 503, a storage 504, a network I / O An F (Interface) 505, an input device 506, a display device 507, an external I / F 508, a bus 509, and the like are provided.

CPU501は、ROM503やストレージ504等に格納されたプログラムやデータをRAM502上に読み出し、処理を実行することで、通知制御装置101の各機能を実現する演算装置である。RAM502は、CPU501のワークエリア等として用いられる揮発性のメモリである。ROM503は、電源を切ってもプログラムやデータを保持することができる不揮発性のメモリである。   The CPU 501 is an arithmetic device that realizes each function of the notification control device 101 by reading out programs and data stored in the ROM 503 and the storage 504 onto the RAM 502 and executing the processing. The RAM 502 is a volatile memory used as a work area of the CPU 501 and the like. The ROM 503 is a nonvolatile memory that can retain programs and data even when the power is turned off.

ストレージ504は、例えば、HDD(Hard Disk Drive)や、SSD(Solid State Drive)等の大容量記憶装置であり、例えば、OS(Operation System)、アプリケーションプログラム、各種のデータ等を記憶する。   The storage 504 is a large-capacity storage device such as a hard disk drive (HDD) or a solid state drive (SSD), and stores, for example, an OS (Operation System), application programs, various data, and the like.

ネットワークI/F505は、通知制御装置101をネットワーク104に接続するための通信インタフェースである。入力デバイス506は、マウス等のポインティングデバイスや、キーボード等の入力装置であり、通知制御装置101に各種の操作を入力ために用いられる。表示デバイス507はディスプレイ等の表示装置であり、通知制御装置101による処理結果等を表示するために用いられる。   The network I / F 505 is a communication interface for connecting the notification control device 101 to the network 104. The input device 506 is a pointing device such as a mouse or an input device such as a keyboard, and is used to input various operations to the notification control device 101. The display device 507 is a display device such as a display, and is used to display a processing result or the like by the notification control device 101.

外部I/F508は、外部装置を接続するためのインタフェースである。外部装置には、例えば、記録媒体等が含まれる。通知制御装置101は、例えば、記録媒体に所定のプログラムを格納し、この記録媒体に格納されたプログラムを外部I/F508を介して、通知制御装置101にインストールすることにより、所定のプログラムが実行可能となる。バス509は、上記の各構成要素に接続され、アドレス信号、データ信号、及び各種制御信号等を伝送する。   The external I / F 508 is an interface for connecting an external device. The external device includes, for example, a recording medium. For example, the notification control device 101 executes a predetermined program by storing a predetermined program in a recording medium and installing the program stored in the recording medium in the notification control device 101 via the external I / F 508. It becomes possible. The bus 509 is connected to each of the above components, and transmits an address signal, a data signal, various control signals, and the like.

(情報収集装置のハードウェア構成)
図6は、一実施形態に係る情報収集装置のハードウェア構成の例を示す図である。情報収集装置102は、図6(a)に示すように、CPU601、メモリ602、ネットワークI/F603、近距離無線モジュール604、サーモカメラ605、CMOS(Complementary Metal Oxide Semiconductor)カメラ606、マイクロフォンアレイ607、LED(Light Emitting Diode)608、及びバス609等を有する。
(Hardware configuration of information collection device)
FIG. 6 is a diagram illustrating an example of a hardware configuration of the information collection device according to the embodiment. As shown in FIG. 6A, the information collection device 102 includes a CPU 601, a memory 602, a network I / F 603, a short-range wireless module 604, a thermo camera 605, a CMOS (Complementary Metal Oxide Semiconductor) camera 606, a microphone array 607, An LED (Light Emitting Diode) 608, a bus 609, and the like are provided.

CPU601は、メモリ602に格納されたプログラムを実行することにより、情報収集装置102の各機能を実現する演算装置である。メモリ602は、例えば、RAM、ROM、フラッシュROM等の記憶装置が含まれる。ネットワークI/F603は、情報収集装置102をネットワーク104に接続するための通信インタフェースである。   The CPU 601 is an arithmetic device that implements each function of the information collection device 102 by executing a program stored in the memory 602. The memory 602 includes a storage device such as a RAM, a ROM, and a flash ROM. The network I / F 603 is a communication interface for connecting the information collection device 102 to the network 104.

近距離無線モジュール604は、例えば、BLE通信等の近距離無線通信により、BLEタグ等の無線タグと通信するための、アンテナ、無線回路、及び通信制御部等を含む。   The short-range wireless module 604 includes an antenna, a wireless circuit, a communication control unit, and the like for communicating with a wireless tag such as a BLE tag by short-range wireless communication such as BLE communication.

サーモカメラ605は、図1の説明の中で述べた、測定対象物からの赤外線放射を画像化して温度に換算し、温度の分布を色等によって可視化する撮影装置である。サーモカメラ605は、例えば、図6(b)に示すように、ベッド103に対向するフロントパネル610等に設けられ、ベッド103、及びベッド103の周辺を含む撮影範囲201内を撮影して、温度画像データを出力する。   The thermo camera 605 is an image capturing apparatus described in the description of FIG. 1, which images infrared radiation from a measurement target, converts the image into temperature, and visualizes the temperature distribution with colors or the like. As shown in FIG. 6B, for example, the thermo camera 605 is provided on a front panel 610 or the like facing the bed 103, and photographs the inside of the photographing range 201 including the bed 103 and the periphery of the bed 103 to obtain a temperature. Output image data.

CMOSカメラ606は、一般的な写真データを撮影する撮影装置である。CMOSカメラ606は、例えば、図6(b)に示すように、ベッド103に対向するフロントパネル610等に設けられ、ベッド103、及びベッド103の周辺を含む撮影範囲201内の写真データを撮影して、撮影した写真データを出力する。   The CMOS camera 606 is a photographing device that photographs general photograph data. The CMOS camera 606 is provided, for example, on the front panel 610 facing the bed 103, as shown in FIG. 6B, and captures photograph data in the photographing range 201 including the bed 103 and the periphery of the bed 103. And outputs the photographed photograph data.

マイクロフォンアレイ607は、複数のマイクを用いて、所定の範囲の音声を選択的に取得する。マイクロフォンアレイ607は、例えば、図6(b)に示すように、ベッド103に対向するフロントパネル610等に設けられた2つ以上のマイクを含み、ベッド103、及びベッド103の周辺の音声データを選択的に取得する。一例として、マイクロフォンアレイ607は、図2に示した、近距離無線モジュールの通信範囲202と同様の範囲内の音声を取得する。   The microphone array 607 selectively obtains a predetermined range of sound using a plurality of microphones. The microphone array 607 includes, for example, two or more microphones provided on a front panel 610 or the like facing the bed 103, as shown in FIG. 6B, and stores audio data around the bed 103 and the bed 103. Get selectively. As an example, the microphone array 607 acquires sound within a range similar to the communication range 202 of the short-range wireless module illustrated in FIG.

LED608は、CPU601からの制御に従って発光する発光素子である。LED608は、情報収集装置102が備える表示デバイスの一例であり、例えば、CPU601から指定された色、発光パターンで点滅又は点灯する。バス609は、上記の各構成要素に接続され、アドレス信号、データ信号、及び各種制御信号等を伝送する。   The LED 608 is a light emitting element that emits light under the control of the CPU 601. The LED 608 is an example of a display device included in the information collecting apparatus 102, and blinks or lights in a color and a light emission pattern designated by the CPU 601, for example. The bus 609 is connected to each of the above components, and transmits an address signal, a data signal, various control signals, and the like.

<機能構成>
続いて、通知制御システム100の機能構成について説明する。
<Functional configuration>
Subsequently, a functional configuration of the notification control system 100 will be described.

図7は、一実施形態に係る通知制御システムの機能構成の例を示す図である。通知制御システム100は、ネットワーク104に接続された通知制御装置101、及び1つ以上の情報収集装置102a、102b、・・・等を含む。また、通知制御装置101は、例えば、ネットワーク104を介して、所定の通知先の一例であるナースコールシステム121と通信可能に接続されている。なお、図7において、情報収集装置102bは、情報収集装置102aと同様の機能構成を有しているものとする。   FIG. 7 is a diagram illustrating an example of a functional configuration of the notification control system according to the embodiment. The notification control system 100 includes a notification control device 101 connected to a network 104, and one or more information collection devices 102a, 102b,... The notification control device 101 is communicably connected to, for example, a nurse call system 121 as an example of a predetermined notification destination via a network 104. In FIG. 7, it is assumed that the information collection device 102b has the same functional configuration as the information collection device 102a.

(通知制御装置の機能構成)
通知制御装置101は、CPU501で所定のプログラムを実行することにより、例えば、通信部701、情報受信部702、検知部703、通知制御部704、ID管理部705、対応情報提供部706、表示制御部707、音声判別部708、音声情報提供部709、補正部710、及び記憶部711等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであっても良い。
(Functional configuration of notification control device)
The notification control device 101 executes a predetermined program by the CPU 501, for example, the communication unit 701, the information reception unit 702, the detection unit 703, the notification control unit 704, the ID management unit 705, the correspondence information provision unit 706, the display control A unit 707, a voice determination unit 708, a voice information providing unit 709, a correction unit 710, a storage unit 711, and the like are realized. In addition, at least a part of the above respective functional configurations may be realized by hardware.

通信部701は、例えば、図5のCPU501で実行されるプログラム、及びネットワークI/F505等によって実現され、通知制御装置101をネットワーク104に接続して、情報収集装置102、ナースコールシステム121等と通信を行う。   The communication unit 701 is realized by, for example, a program executed by the CPU 501 in FIG. 5, a network I / F 505, and the like. The communication unit 701 connects the notification control device 101 to the network 104, and communicates with the information collection device 102, the nurse call system 121, and the like. Perform communication.

情報受信部702は、例えば、図5のCPU501で実行されるプログラムによって実現され、1つ以上の情報収集装置102から、ネットワーク104を介して送られてくる利用者の情報(被写体の情報)を受信して、記憶部711に記憶する。   The information receiving unit 702 is realized by, for example, a program executed by the CPU 501 in FIG. 5, and receives user information (subject information) transmitted from one or more information collecting apparatuses 102 via the network 104. The data is received and stored in the storage unit 711.

この利用者の情報には、前述したように、情報収集装置102、ベッド103等を識別する情報と、ベッド103及びベッド103周辺の撮影範囲201を撮影した温度画像データが含まれる。また、情報収集装置102が無線IDを受信した場合、利用者の情報には、受信した無線IDがさらに含まれる。   As described above, the information of the user includes information for identifying the information collection device 102, the bed 103, and the like, and temperature image data of the bed 103 and the imaging range 201 around the bed 103. When the information collection device 102 receives the wireless ID, the information of the user further includes the received wireless ID.

また、必要に応じて、利用者の情報には、音声データ取得部725が、ベッド103、及びベッド103の周辺で取得した音声データが含まれる。   If necessary, the user information includes audio data acquired by the audio data acquisition unit 725 around the bed 103 and around the bed 103.

検知部703は、例えば、図5のCPU501で実行されるプログラムによって実現される。検知部703は、情報受信部702が記憶部711に記憶した温度画像データを用いて、撮影範囲201内に予め設定された1つ以上の検知領域における所定の検知パターンの温度変化を検知する。   The detection unit 703 is realized by, for example, a program executed by the CPU 501 in FIG. Using the temperature image data stored in the storage unit 711 by the information receiving unit 702, the detection unit 703 detects a temperature change of a predetermined detection pattern in one or more detection areas set in advance in the imaging range 201.

例えば、通知制御装置101は、図8(a)に示すような検知パターン情報712を、記憶部711等に予め記憶している。また、検知部703は、例えば、図3(a)、(b)で説明した、検知枠301、落下検知領域、注意領域A〜C等の検知領域において、検知パターン情報712に設定されている検知パターンの温度変化を検知する。   For example, the notification control device 101 previously stores detection pattern information 712 as shown in FIG. 8A in the storage unit 711 or the like. The detection unit 703 is set in the detection pattern information 712 in the detection areas such as the detection frame 301, the drop detection area, and the attention areas A to C described with reference to FIGS. A change in the temperature of the detection pattern is detected.

図8(a)は、一実施形態に係る検知パターン情報712の一例のイメージを示す図である。図8(a)の例では、検知パターン情報712には、項目として「検知パターン」、「通知内容」、及び「温度変化」等の情報が含まれる。   FIG. 8A is a diagram illustrating an image of an example of the detection pattern information 712 according to the embodiment. In the example of FIG. 8A, the detection pattern information 712 includes information such as “detection pattern”, “notification content”, and “temperature change”.

「検知パターン」は、温度変化のパターンを示す検知パターンを識別するための名前、番号、又は識別情報等の情報である。「通知内容」は、「検知パターン」に対応する「温度変化」が検知されたときに、所定の通知先に通知する通知内容を示す情報である。「温度変化」は、「検知パターン」に対応する、検知枠301、落下検知領域、注意領域A〜C等の検知領域で検知された温度の変化を示す情報である。   The “detection pattern” is information such as a name, a number, or identification information for identifying a detection pattern indicating a pattern of a temperature change. “Notification content” is information indicating notification content to be notified to a predetermined notification destination when “temperature change” corresponding to “detection pattern” is detected. “Temperature change” is information indicating a change in temperature detected in a detection area corresponding to the “detection pattern”, such as the detection frame 301, the drop detection area, and the attention areas A to C.

例えば、図8(a)において、検知パターン「パターン6」に対応する「温度変化」は、検知対象(例えば、利用者401の頭部402)の検知枠301外から検知枠301内への移動、であることが示されている。検知部703は、例えば、検知枠301、落下検知領域、注意領域A〜Cにおける温度の変化を検知し、検知対象が検知枠301外から、検知枠301内へ移動した場合、「パターン6」(所定の検知パターン一例)の温度変化を検知する。   For example, in FIG. 8A, “temperature change” corresponding to the detection pattern “pattern 6” indicates that the detection target (for example, the head 402 of the user 401) moves from outside the detection frame 301 to inside the detection frame 301. , Is shown. The detection unit 703 detects, for example, a change in temperature in the detection frame 301, the drop detection region, and the attention regions A to C. When the detection target moves from the outside of the detection frame 301 to the inside of the detection frame 301, the “pattern 6” is obtained. A temperature change of (an example of a predetermined detection pattern) is detected.

通知制御部704は、例えば、図5のCPU501で実行されるプログラムによって実現される。通知制御部704は、情報受信部702が受信した利用者の情報(被写体の情報)に基づいて、ベッド103の利用者401の状態(被写体の状態)を示す通知情報を、ナースコールシステム121等の所定の通知先に通知する。   The notification control unit 704 is realized by, for example, a program executed by the CPU 501 in FIG. The notification control unit 704 sends notification information indicating the state of the user 401 (object state) of the bed 103 based on the user information (object information) received by the information receiving unit 702 to the nurse call system 121 or the like. To a predetermined notification destination.

例えば、通知制御部704は、検知部703が所定の検知パターンの温度変化を検知し、かつ利用者の情報(被写体の情報)に予め定められた無線IDが含まれていない場合、「検知パターン」に対応する「通知内容」を含む通知情報を、所定の通知先に通知する。ここで、予め定められた無線IDは、施設に勤務する医療従事者の無線IDである。   For example, when the detection unit 703 detects a temperature change of a predetermined detection pattern and the information of the user (information of the subject) does not include a predetermined wireless ID, the notification control unit 704 sets the “detection pattern The notification information including the "notification content" corresponding to "" is notified to a predetermined notification destination. Here, the predetermined wireless ID is a wireless ID of a medical worker working at the facility.

例えば、図8(a)に示す検知パターン情報712において、「パターン6」の検知パターンの温度変化が検知され、かつ利用者の情報には、予め定められた無線IDが含まれていないものとする。この場合、通知制御部704は、検知パターン情報712の検知パターン「パターン6」に対応する「通知内容」(利用者がベッドに戻ったことを示す帰床情報と、ベッド、及びベッドの周辺の温度画像データ)を含む通知情報を、所定の通知先に通知する。   For example, in the detection pattern information 712 shown in FIG. 8A, it is assumed that the temperature change of the detection pattern of “pattern 6” is detected and the information of the user does not include a predetermined wireless ID. I do. In this case, the notification control unit 704 determines the “notification content” corresponding to the detection pattern “pattern 6” of the detection pattern information 712 (return information indicating that the user has returned to the bed, the bed, and the area around the bed). Notification information including the temperature image data) is notified to a predetermined notification destination.

一方、通知制御部704は、検知部703が所定の検知パターンの温度変化を検知し、かつ利用者の情報に予め定められた無線IDが含まれている場合、「検知パターン」に対応する「通知内容」を含む通知情報を、所定の通知先に通知する処理を中止する。   On the other hand, when the detection unit 703 detects the temperature change of the predetermined detection pattern and the information of the user includes the predetermined wireless ID, the notification control unit 704 corresponds to the “detection pattern”. The process of notifying notification information including “notification content” to a predetermined notification destination is stopped.

ID管理部(識別情報管理部)705は、例えば、図5のCPU501で実行されるプログラムによって実現され、施設に勤務する医療従事者を識別する無線IDを記憶したID管理情報713を、記憶部711等に記憶して管理する。   The ID management unit (identification information management unit) 705 is realized by, for example, a program executed by the CPU 501 in FIG. 5, and stores ID management information 713 that stores a wireless ID for identifying a medical worker working at a facility. 711 and the like.

図8(b)は、一実施形態に係るID管理情報713の一例のイメージを示す図である。図8(b)の例では、ID管理情報713には、項目として、「無線ID」、「職種」、「所属」、「名前」等の情報が含まれる。   FIG. 8B is a diagram illustrating an image of an example of the ID management information 713 according to the embodiment. In the example of FIG. 8B, the ID management information 713 includes items such as “wireless ID”, “occupation type”, “affiliation”, and “name”.

「無線ID」は、施設に勤務する医療従事者が所持するBLEタグが送信する電波に含まれる識別情報である。「職種」は、「無線ID」に対応する医療従事者の職種を示す情報である。「所属」は、「無線ID」に対応する医療従事者が所属する所属先を示す情報である。「名前」は、「無線ID」に対応する医療従事者の名前等を示す情報である。   “Wireless ID” is identification information included in a radio wave transmitted by a BLE tag possessed by a medical worker working at a facility. The “occupation” is information indicating the occupation of the medical worker corresponding to the “wireless ID”. “Affiliation” is information indicating the affiliation to which the medical worker corresponding to the “wireless ID” belongs. “Name” is information indicating the name or the like of the medical worker corresponding to “Wireless ID”.

このようなID管理情報713を用いて、通知制御装置101は、ベッド103、及びベッド103の周辺で受信された無線IDが、ID管理情報713に登録されている場合、施設の職員、医療従事者等がベッド103の近くにいると判断することができる。また、通知制御装置101は、ベッド103、及びベッド103の周辺で受信された無線IDが、ID管理情報713に登録されていない場合、施設の職員、医療従事者等がベッド103の近くにいないと判断することができる。   Using such ID management information 713, the notification control device 101 may use the bed 103 and the wireless ID received around the bed 103 in the ID management information 713 to notify the staff of the facility and the medical staff. It can be determined that the person is near the bed 103. In addition, when the bed 103 and the wireless ID received around the bed 103 are not registered in the ID management information 713, the notification control device 101 does not locate the facility staff, medical staff, and the like near the bed 103. Can be determined.

対応情報提供部(第1の情報提供部)706は、例えば、図5のCPU501で実行されるプログラムによって実現される。対応情報提供部706は、情報受信部702が受信する利用者の情報(被写体の情報)に含まれる無線IDを用いて、ベッド103の利用者401に対する施設の職員、医療従事者等の対応を可視化する情報を提供する。   The corresponding information providing unit (first information providing unit) 706 is realized by, for example, a program executed by the CPU 501 in FIG. The correspondence information providing unit 706 uses the wireless ID included in the user information (subject information) received by the information receiving unit 702 to respond to the user 401 of the bed 103 by a facility staff member, a medical staff member, or the like. Provide information to be visualized.

例えば、対応情報提供部706は、各医療従事者の無線IDが各ベッド103で受信された時間を集計し、各医療従事者が、各ベッド103の利用者にどの程度の時間をかけて対応したのかを、表、グラフ等で可視化した情報を出力、又は表示する。   For example, the correspondence information providing unit 706 totals the time when the wireless ID of each medical worker was received in each bed 103, and how much time each medical worker responded to the user of each bed 103 It outputs or displays information visualized in a table, a graph, or the like as to whether or not it has been done.

なお、対応情報提供部706が提供する情報には、ベッド103、及びベッド103の周辺を撮影した温度画像データが含まれていても良い。これにより、例えば、ベッド103の利用者401が、暴力や虐待等の被害を受けた場合、ベッド103の周辺にいた職員、及びその対応状況が可視化されるので、医療従事者による暴力や虐待等を抑止する効果が期待できる。   The information provided by the correspondence information providing unit 706 may include temperature image data of the bed 103 and the periphery of the bed 103. Thus, for example, when the user 401 of the bed 103 suffers from violence or abuse, the staff members in the vicinity of the bed 103 and their response status are visualized. Can be expected to be effective.

表示制御部707は、例えば、図5のCPU501で実行されるプログラムによって実現され、情報収集装置102が備えるLED608等の表示デバイスによる表示を制御する。   The display control unit 707 is realized by, for example, a program executed by the CPU 501 in FIG. 5 and controls display by a display device such as the LED 608 included in the information collection device 102.

例えば、表示制御部707は、情報受信部702が受信した利用者の情報に含まれる無線IDにより、ベッド103、又はベッド103の周辺に、医療従事者がいるかを判断する。また、表示制御部707は、ベッド103、又はベッド103の周辺に、医療従事者等がいる場合、一例として、ベッド103、又はベッド103の周辺に医療従事者がいることを示す情報を、情報収集装置102に通知する。別の一例として、表示制御部707は、ベッド103、又はベッド103の周辺に、医療従事者等がいる場合、LED608を緑色点滅することを指示する制御情報を、情報収集装置102に通知しても良い。   For example, the display control unit 707 determines whether there is a medical worker in the bed 103 or in the vicinity of the bed 103 based on the wireless ID included in the user information received by the information receiving unit 702. In addition, when there is a medical worker or the like around the bed 103 or the bed 103, the display control unit 707 may display information indicating that the medical worker is around the bed 103 or the bed 103 as an example. Notify the collection device 102. As another example, the display control unit 707 notifies the information collection device 102 of control information for instructing the LED 608 to blink green when there is a medical worker or the like around the bed 103 or the bed 103. Is also good.

これに応じて、情報収集装置102は、ベッド103、又はベッド103の周辺に医療従事者がいる場合、例えば、LED608を緑色点滅させる。なお、LED608の緑色点滅は、ベッド103、又はベッド103の周辺に、医療従事者がいることを示す表示情報の一例である。   In response to this, when there is a medical worker around the bed 103 or around the bed 103, the information collecting apparatus 102 blinks the LED 608, for example, in green. Note that the blinking of the green color of the LED 608 is an example of display information indicating that a medical worker is present on the bed 103 or around the bed 103.

一方、ベッド103、又はベッド103の周辺に、医療従事者がいない場合、表示制御部707は、一例として、ベッド103、又はベッド103の周辺に、医療従事者がいないことを示す情報を、情報収集装置102に通知する。また、別の一例として、表示制御部707は、ベッド103、又はベッド103の周辺に、医療従事者がいない場合、LED608を緑色点滅させないことを指示する制御情報を、情報収集装置102に通知しても良い。   On the other hand, when there is no medical worker around the bed 103 or around the bed 103, the display control unit 707, as an example, displays information indicating that there is no medical worker around the bed 103 or around the bed 103 as information. Notify the collection device 102. Further, as another example, the display control unit 707 notifies the information collection device 102 of control information for instructing the LED 608 not to blink green when there is no medical worker around the bed 103 or around the bed 103. May be.

これに応じて、情報収集装置102は、ベッド103、又はベッド103の周辺に医療従事者がいない場合、LED608を緑色点滅させない。   In response to this, the information collecting apparatus 102 does not blink the LED 608 in green when there is no medical worker around the bed 103 or around the bed 103.

音声判別部(判別部)708は、例えば、図5のCPU501で実行されるプログラムによって実現され、情報受信部702が受信した利用者の情報に含まれる温度画像データと、音声データとを用いて、音声データに含まれる音の種類を判別する。   The voice discrimination unit (discrimination unit) 708 is realized by, for example, a program executed by the CPU 501 of FIG. 5 and uses the temperature image data and the voice data included in the user information received by the information reception unit 702. Then, the type of sound included in the audio data is determined.

例えば、音声判別部708は、音声データの音の大きさを算出して、音の大きさが第1の閾値以上である場合、温度画像データを解析し、ベッド103を利用する利用者の移動量(例えば、利用者401の頭部402の移動量)を算出する。   For example, the sound determination unit 708 calculates the loudness of the sound data, and if the loudness is equal to or greater than the first threshold, analyzes the temperature image data and moves the user using the bed 103. The amount (for example, the amount of movement of the head 402 of the user 401) is calculated.

また、音声判別部708は、例えば、音声データの音の大きさが第1の閾値以上であり、かつ利用者の移動量が第2の閾値以上である場合、音の種類を、例えば、利用者のうめき声であると判断する。   Further, for example, when the volume of the sound of the voice data is equal to or more than the first threshold and the moving amount of the user is equal to or more than the second threshold, the sound determination unit 708 determines the type of the sound, for example, Is determined to be the moaning of the person.

一方、音声判別部708は、例えば、音声データの音の大きさが第1の閾値以上であり、かつ利用者の移動量が第2の閾値未満である場合、音の種類を、例えば、利用者のいびきであると判断する。   On the other hand, for example, when the sound volume of the sound data is equal to or more than the first threshold value and the moving amount of the user is less than the second threshold value, the sound determination unit 708 determines the type of the sound, for example, Is determined to be snoring.

なお、うめき声、及びいびきは、音声判別部708が判別する音の種類の一例である。音声判別部708は、例えば、音声データに含まれる音の種類が、所定の通知先に通知すべき音であるか否かを判別するものであっても良い。   The moaning voice and the snoring are examples of the type of sound that the voice determination unit 708 determines. The sound determination unit 708 may determine, for example, whether the type of sound included in the sound data is a sound to be notified to a predetermined notification destination.

音声情報提供部(第2の情報提供部)709は、例えば、図5のCPU501で実行されるプログラムによって実現され、音声判別部708による判別結果を示す情報を出力、又は表示する。   The audio information providing unit (second information providing unit) 709 is realized by, for example, a program executed by the CPU 501 in FIG. 5, and outputs or displays information indicating a determination result by the voice determination unit 708.

好ましくは、音声情報提供部709が提供する情報には、ベッド103、又はベッド103の周辺を撮影した温度画像データが含まれる。好ましくは、音声情報提供部709は、ユーザの操作等に応じて、ベッド103、又はベッド103の周辺で取得した音声を出力することができる。   Preferably, the information provided by the audio information providing unit 709 includes the temperature image data of the bed 103 or the periphery of the bed 103. Preferably, the audio information providing unit 709 can output the audio acquired around the bed 103 or around the bed 103 in accordance with a user operation or the like.

補正部710は、例えば、図5のCPU501で実行されるプログラムによって実現され、ベッド103の位置の変化に応じて、撮影範囲201内に設定された検知枠301、落下検知領域、及び注意領域A〜C等の位置を補正する。   The correction unit 710 is realized by, for example, a program executed by the CPU 501 in FIG. 5, and detects the detection frame 301, the fall detection area, and the attention area A set in the imaging range 201 according to a change in the position of the bed 103.位置 C etc. are corrected.

例えば、情報収集装置102は、必要に応じて、CMOSカメラ606でベッド103を撮影した画像データ(以下、写真データと呼ぶ)を、通知制御装置101に送信することができる。また、補正部710は、受信した写真データを用いて、ベッド103の位置(例えば、輪郭等)を特定し、ベッド103の位置に合わせて、検知枠301、落下検知領域、及び注意領域A〜C等の位置を補正する。   For example, the information collection device 102 can transmit image data (hereinafter, referred to as photograph data) obtained by photographing the bed 103 with the CMOS camera 606 to the notification control device 101 as necessary. Further, the correction unit 710 specifies the position (for example, contour) of the bed 103 using the received photograph data, and matches the position of the bed 103 with the detection frame 301, the drop detection area, and the attention areas A to Correct the position such as C.

好ましくは、補正部710が、検知枠301、落下検知領域、及び注意領域A〜C等の位置を補正できない場合、表示制御部707は、情報収集装置102のLED608を、例えば、赤色点滅させる。この場合、施設の職員、医療従事者等は、ベッド103の位置が適正でないと判断し、ベッド103を正しい位置に調整する。   Preferably, when the correction unit 710 cannot correct the positions of the detection frame 301, the drop detection area, and the attention areas A to C, the display control unit 707 causes the LED 608 of the information collection device 102 to blink red, for example. In this case, the staff of the facility, medical staff, and the like determine that the position of the bed 103 is not appropriate, and adjust the bed 103 to a correct position.

この後、補正部710は、再び、検知枠301、落下検知領域、及び注意領域A〜C等の位置を補正し、補正できた場合、情報収集装置102のLED608の赤色点滅を終了させる。   After that, the correction unit 710 corrects the positions of the detection frame 301, the drop detection area, and the attention areas A to C again, and when the correction is successful, the red blinking of the LED 608 of the information collection device 102 is ended.

記憶部711は、例えば、図5のCPU501で実行されるプログラム、及びストレージ504、RAM502等によって実現され、前述した検知パターン情報712、ID管理情報713、及び領域情報310等を記憶する。   The storage unit 711 is realized by, for example, the program executed by the CPU 501 in FIG. 5, the storage 504, the RAM 502, and the like, and stores the above-described detection pattern information 712, ID management information 713, area information 310, and the like.

(情報収集装置の機能構成)
情報収集装置102は、例えば、CPU601で所定のプログラムを実行することにより、通信部721、画像データ取得部722、ID受信部723、情報送信部724、音声データ取得部725、写真データ取得部726、及び表示部727等を実現している。なお、上記の各機能構成のうち、少なくとも一部はハードウェアによって実現されるものであっても良い。
(Functional configuration of information collection device)
The information collecting apparatus 102 executes, for example, a predetermined program by the CPU 601, and thereby, a communication unit 721, an image data acquisition unit 722, an ID reception unit 723, an information transmission unit 724, an audio data acquisition unit 725, and a photograph data acquisition unit 726. , And a display unit 727 are realized. In addition, at least a part of the above respective functional configurations may be realized by hardware.

通信部721は、例えば、図6のCPU601で実行されるプログラム、及びネットワークI/F603等によって実現され、情報収集装置102をネットワーク104に接続して、通知制御装置101等と通信を行う。   The communication unit 721 is realized by, for example, a program executed by the CPU 601 in FIG. 6, a network I / F 603, and the like, and connects the information collection device 102 to the network 104 to communicate with the notification control device 101 and the like.

画像データ取得部722は、例えば、CPU601で実行されるプログラムによって実現され、図6のサーモカメラ605を用いて、ベッド103、及びベッド103の周辺の温度画像データを撮影する。   The image data acquisition unit 722 is realized by, for example, a program executed by the CPU 601 and uses the thermo camera 605 in FIG. 6 to photograph the bed 103 and temperature image data around the bed 103.

ID受信部(識別情報受信部)723は、例えば、CPU601で実行されるプログラムによって実現され、図6の近距離無線モジュール604を用いて、ベッド103、及びベッド103の周辺にあるBLEタグ等から、無線IDを受信する。   The ID receiving unit (identification information receiving unit) 723 is realized by, for example, a program executed by the CPU 601 and uses the short-range wireless module 604 in FIG. Receive the wireless ID.

情報送信部724は、例えば、CPU601で実行されるプログラムによって実現され、画像データ取得部722が撮影した温度画像データを含む利用者の情報を、通知制御装置101に送信する。   The information transmission unit 724 is realized by, for example, a program executed by the CPU 601, and transmits information of the user including the temperature image data captured by the image data acquisition unit 722 to the notification control device 101.

この利用者の情報には、前述したように、情報収集装置102やベッド103等を識別する情報が含まれる。また、ID受信部723が無線IDを受信した場合、利用者の情報には、ID受信部723が受信した無線IDが含まれる。さらに、情報送信部724は、必要に応じて、音声データ取得部725が取得した音声データ、写真データ取得部726が取得した写真データ等を、例えば、利用者の情報に含めて、通知制御装置101に送信することができる。   The user information includes information for identifying the information collection device 102, the bed 103, and the like, as described above. When the ID receiving unit 723 receives the wireless ID, the information of the user includes the wireless ID received by the ID receiving unit 723. Further, the information transmitting unit 724 may include, as necessary, the audio data acquired by the audio data acquiring unit 725, the photograph data acquired by the photograph data acquiring unit 726, etc. 101 can be sent.

音声データ取得部725は、例えば、CPU601で実行されるプログラムによって実現され、図6のマイクロフォンアレイ607を用いて、ベッド103、及びベッド103の周辺の音声データを取得する。   The audio data acquisition unit 725 is realized by, for example, a program executed by the CPU 601, and acquires the bed 103 and audio data around the bed 103 using the microphone array 607 in FIG.

写真データ取得部726は、例えば、CPU601で実行されるプログラムによって実現され、図6のCMOSカメラ606を用いて、ベッド103、及びベッド103の周辺の写真データを撮影する。   The photograph data acquisition unit 726 is realized by, for example, a program executed by the CPU 601 and photographs the bed 103 and photograph data around the bed 103 using the CMOS camera 606 in FIG.

表示部727は、例えば、CPU601で実行されるプログラムによって実現され、図6のLED608を、所定の色、点滅パターン等で発光させて、所定の情報を表示する。例えば、表示部727は、ベッド103、及びベッド103の周辺に、施設の職員、利用従事者等がいる場合、一例として、LED608を緑色点滅させる。また、表示部727は、通知制御装置101の補正部710が、検知枠301の位置を補正できないとき、一例として、LED608を赤色点滅させる。   The display unit 727 is realized by, for example, a program executed by the CPU 601, and causes the LED 608 in FIG. 6 to emit light in a predetermined color, blinking pattern, or the like, and displays predetermined information. For example, the display unit 727 causes the LED 608 to blink green as an example when there is a staff member of the facility, a user, or the like around the bed 103 and the bed 103. In addition, when the correcting unit 710 of the notification control device 101 cannot correct the position of the detection frame 301, the display unit 727 causes the LED 608 to blink red as an example, for example.

<処理の流れ>
続いて、本実施形態に係る通知制御方法の処理の流れについて説明する。
<Process flow>
Subsequently, a flow of processing of the notification control method according to the present embodiment will be described.

[第1の実施形態]
(通知制御処理)
図9は、第1の実施形態に係る通知制御処理の例を示すフローチャートである。この処理は、通知制御装置101が、情報収集装置102から送信される利用者の情報を受信したときに実行する通知制御処理の例を示している。
[First Embodiment]
(Notification control processing)
FIG. 9 is a flowchart illustrating an example of a notification control process according to the first embodiment. This process shows an example of a notification control process executed when the notification control device 101 receives the user information transmitted from the information collection device 102.

なお、ここでは、一例として、情報収集装置102が、ベッド103及びベッド103の周辺を撮影した温度画像データと、ベッド103を識別するベッドIDとを含む利用者の情報を、所定の時間間隔で通知制御装置101に送信しているものとする。また、情報収集装置102は、ID受信部723が無線IDを受信した場合、受信した無線IDを含む利用者の情報を、通知制御装置101に送信するものとする。   Here, as an example, the information collecting apparatus 102 transmits the user information including the bed 103 and the temperature image data obtained by photographing the periphery of the bed 103 and the bed ID for identifying the bed 103 at predetermined time intervals. It is assumed that the notification is transmitted to the notification control device 101. Also, when the ID receiving unit 723 receives the wireless ID, the information collection device 102 transmits the information of the user including the received wireless ID to the notification control device 101.

ステップS901において、通知制御装置101の情報受信部702は、情報収集装置102から送信される利用者の情報を受信する。   In step S901, the information receiving unit 702 of the notification control device 101 receives the user information transmitted from the information collection device 102.

ステップS902において、情報受信部702は、受信した利用者の情報に含まれる温度画像データを、記憶部711に記憶する。   In step S902, the information receiving unit 702 stores the temperature image data included in the received user information in the storage unit 711.

好ましくは、このとき、情報受信部702は、所定の保存期間を経過した温度画像データを、記憶部711から削除する。   Preferably, at this time, the information receiving unit 702 deletes, from the storage unit 711, the temperature image data whose predetermined storage period has elapsed.

ステップS903において、通知制御装置101の検知部703は、記憶部711に記憶された温度画像データを用いて、1つ以上の検知領域における所定の検知パターンの温度変化を検知する。   In step S903, the detection unit 703 of the notification control device 101 detects a temperature change of a predetermined detection pattern in one or more detection areas using the temperature image data stored in the storage unit 711.

例えば、検知部703は、図3(a)、(b)で説明した、検知枠301、落下検知領域、注意領域A〜C等の検知領域において、検知パターン情報712に設定されている検知パターンの温度変化を検知する。   For example, the detection unit 703 detects the detection pattern set in the detection pattern information 712 in the detection areas such as the detection frame 301, the drop detection area, and the attention areas A to C described with reference to FIGS. Detect the temperature change of

ステップS904において、通知制御装置101の検知部703は、ステップS903で所定の検知パターンの温度変化が検知されたか否かを判断する。   In step S904, the detection unit 703 of the notification control device 101 determines whether a temperature change of a predetermined detection pattern has been detected in step S903.

所定の検知パターンの温度変化が検知された場合、通知制御装置101は、処理をステップS905に移行させる。一方、所定の検知パターンの温度変化が検知されない場合、通知制御装置101は、処理を終了させる。   When the temperature change of the predetermined detection pattern is detected, the notification control device 101 shifts the processing to step S905. On the other hand, when the temperature change of the predetermined detection pattern is not detected, the notification control device 101 ends the processing.

ステップS905に移行すると、通知制御装置101の通知制御部704は、情報受信部702が受信した利用者の情報に、医療従事者の無線IDが含まれているか否かを判断する。例えば、通知制御部704は、情報受信部702が受信した利用者の情報に、ID管理情報713に登録された無線IDが含まれている場合、利用者の情報に、医療従事者の無線IDが含まれていると判断する。   In step S905, the notification control unit 704 of the notification control device 101 determines whether the information of the user received by the information receiving unit 702 includes the wireless ID of the medical worker. For example, when the information of the user received by the information receiving unit 702 includes the wireless ID registered in the ID management information 713, the notification control unit 704 includes the wireless ID of the medical worker in the information of the user. Is determined to be included.

利用者の情報に医療従事者の無線IDが含まれていない場合、通知制御部704は、処理をステップS906に移行させる。一方、利用者の情報に医療従事者の無線IDが含まれている場合、通知制御部704は、通知情報を所定の通知先に通知する処理を中止し、処理を終了させる。   If the wireless ID of the medical worker is not included in the user information, the notification control unit 704 shifts the processing to step S906. On the other hand, when the user information includes the wireless ID of the medical worker, the notification control unit 704 stops the process of notifying the notification information to the predetermined notification destination and ends the process.

ステップS906に移行すると、通知制御装置101の通知制御部704は、検知された温度変化に対応する通知情報を、ナースコールシステム121等の所定の通知先に通知する。   In step S906, the notification control unit 704 of the notification control device 101 notifies notification information corresponding to the detected temperature change to a predetermined notification destination such as the nurse call system 121.

上記の処理により、例えば、図4(d)に示すように、ベッド103を利用する利用者401が検知枠301内に移動した場合、通知制御部704は、直ちに、利用者401が帰床したことを示す通知情報を、所定の通知先に通知することができる。   By the above processing, for example, as shown in FIG. 4D, when the user 401 using the bed 103 moves into the detection frame 301, the notification control unit 704 immediately returns the user 401 to the bed. Notification information indicating the fact can be notified to a predetermined notification destination.

一方、図4(d)において、検知枠301内に移動した人物が、医療従事者であった場合、通知制御装置101は、通知情報を所定の通知先に通知する処理を中止することができる。   On the other hand, in FIG. 4D, when the person who has moved into the detection frame 301 is a medical worker, the notification control device 101 can stop the process of notifying notification information to a predetermined notification destination. .

このように、本実施形態によれば、所定の撮影範囲で撮影された温度画像データに基づいて利用者の状況を所定の通知先に通知する通知制御装置101において、利用者の状況を示す通知の遅延を抑制しつつ、誤通知を低減させることができる。   As described above, according to the present embodiment, the notification control device 101 that notifies the user of the situation of the user to the predetermined notification destination based on the temperature image data captured in the predetermined imaging range has the notification indicating the status of the user. Erroneous notification can be reduced while suppressing the delay of.

(表示制御処理)
図10は、第1の実施形態に係る表示制御処理の例を示すシーケンス図である。この処理は、通知制御装置101が、情報収集装置102から送信される利用者の情報を受信したときに、図9に示した通知制御処理と並行して実行する表示制御処理の例を示している。
(Display control processing)
FIG. 10 is a sequence diagram illustrating an example of the display control process according to the first embodiment. This process shows an example of a display control process that is performed in parallel with the notification control process shown in FIG. 9 when the notification control device 101 receives the user information transmitted from the information collection device 102. I have.

ステップS1001において、情報収集装置102は、ベッド103、及びベッド103の周辺を撮影した温度画像データを含む利用者の情報を、通知制御装置101に送信する。   In step S <b> 1001, the information collection device 102 transmits to the notification control device 101 information of the user including the bed 103 and temperature image data obtained by photographing the periphery of the bed 103.

ステップS1002において、通知制御装置101の表示制御部707は、情報収集装置102から受信した利用者の情報に、医療従事者の無線ID(所定のID)が含まれているか否かを判断する。   In step S1002, the display control unit 707 of the notification control device 101 determines whether or not the user information received from the information collection device 102 includes a wireless ID (predetermined ID) of a medical worker.

ここで、利用者の情報に、医療従事者の無線IDが含まれている場合、ステップS1011、S1012の処理が実行される。一方、利用者の情報に、医療従事者の無線IDが含まれていない場合、ステップS1021、S1022の処理が実行される。   Here, if the wireless ID of the medical worker is included in the user information, the processing of steps S1011 and S1012 is executed. On the other hand, when the wireless ID of the medical worker is not included in the information of the user, the processing of steps S1021 and S1022 is executed.

ステップS1011において、通知制御装置101の表示制御部707は、一例として、ベッド103、又はベッド103の周辺に、医療従事者がいることを示す情報を、情報収集装置102に通知する。別の一例として、表示制御部707は、LED608の緑色点滅を指示する制御情報を、情報収集装置102に通知しても良い。   In step S1011, for example, the display control unit 707 of the notification control device 101 notifies the information collection device 102 of the bed 103 or information indicating that a medical worker is present around the bed 103. As another example, the display control unit 707 may notify the information collection device 102 of control information for instructing the LED 608 to blink green.

ステップS1012において、情報収集装置102の表示部727は、通知制御装置101から受信した、医療従事者がいることを示す情報、又はLED608の緑色点滅を指示する制御情報に応じて、LED608を緑色点滅させる。   In step S1012, the display unit 727 of the information collection device 102 blinks the LED 608 in green in response to the information indicating that there is a medical worker or the control information for instructing the LED 608 to blink in green received from the notification control device 101. Let it.

一方、ステップS1021において、通知制御装置101の表示制御部707は、一例として、ベッド103、又はベッド103の周辺に、医療従事者がいないことを示す情報を、情報収集装置102に通知する。別の一例として、表示制御部707は、LED608の緑色点滅の停止を指示する制御情報を、情報収集装置102に通知しても良い。   On the other hand, in step S1021, the display control unit 707 of the notification control device 101 notifies the information collection device 102 of information indicating that there is no medical worker around the bed 103 or around the bed 103, for example. As another example, the display control unit 707 may notify the information collection apparatus 102 of control information for instructing the LED 608 to stop blinking green.

ステップS1022において、情報収集装置102の表示部727は、通知制御装置101から受信した、医療従事者がいないことを示す情報、又はLED608の緑色点滅の停止を指示する制御情報に応じて、LED608を緑色点滅させない。例えば、表示部727は、LED608を緑色点滅させている場合には、LED608の緑色点滅を終了し、LED608を緑色点滅させていない場合には、現在の状態を維持する。   In step S1022, the display unit 727 of the information collection device 102 sets the LED 608 in response to the information indicating that there is no medical worker or the control information instructing the LED 608 to stop blinking green, received from the notification control device 101. Do not blink green. For example, when the LED 608 is blinking green, the display unit 727 ends the blinking of the green LED 608, and when the LED 608 is not blinking green, the display unit 727 maintains the current state.

上記の処理により、医療従事者は、近くにある情報収集装置102のLED608を確認し、緑色点滅していない場合、BLEタグが、故障、又は電池切れの状態であること、もしくは情報収集装置102のID受信部723が故障状態にあることを認識することができる。   According to the above processing, the medical worker checks the LED 608 of the nearby information collection device 102, and if the LED is not blinking green, the BLE tag is out of order or the battery has run out. Can be recognized that the ID receiving unit 723 is in a failure state.

(対応情報の提供処理)
図11は、第1の実施形態における対応情報の提供処理の例を示すフローチャートである。この処理は、通知制御装置101が、医療従事者による、ベッド103の利用者401に対する対応を可視化して提供する対応情報の提供処理の例を示している。
(Provision of correspondence information)
FIG. 11 is a flowchart illustrating an example of a process of providing correspondence information according to the first embodiment. This process shows an example of a process of providing correspondence information in which the notification control device 101 visualizes and provides a correspondence of the bed 103 to the user 401 by the medical worker.

ステップS1101において、通知制御装置101の情報受信部702は、情報収集装置102から送信される利用者の情報を受信する。   In step S1101, the information receiving unit 702 of the notification control device 101 receives the user information transmitted from the information collection device 102.

ステップS1102において、通知制御装置101の対応情報提供部706は、受信した利用者の情報に、医療従事者の無線ID(所定のID)が含まれるか否かを判断する。   In step S1102, the correspondence information providing unit 706 of the notification control device 101 determines whether the received user information includes the wireless ID (predetermined ID) of the medical worker.

利用者の情報に、医療従事者の無線IDが含まれる場合、対応情報提供部706は、処理をステップS1103に移行させる。一方、利用者の情報に、医療従事者の無線IDが含まれない場合、対応情報提供部706は、処理をステップS1104に移行させる。   If the information of the user includes the wireless ID of the medical worker, the correspondence information providing unit 706 shifts the processing to step S1103. On the other hand, when the user ID does not include the wireless ID of the medical worker, the correspondence information providing unit 706 shifts the processing to step S1104.

ステップS1103に移行すると、通知制御装置101の対応情報提供部706は、利用者の情報に含まれる医療従事者の無線IDを、ベッド103と対応づけて記憶部711に記憶する。例えば、対応情報提供部706は、利用者の情報に含まれる無線IDと、ベッド103、情報収集装置102等を識別する識別情報とを対応づけて、記憶部711に記憶する。   In step S1103, the correspondence information providing unit 706 of the notification control device 101 stores the wireless ID of the medical worker included in the user information in the storage unit 711 in association with the bed 103. For example, the correspondence information providing unit 706 associates the wireless ID included in the user information with the identification information for identifying the bed 103, the information collection device 102, and the like, and stores the association in the storage unit 711.

好ましくは、対応情報提供部706が記憶部711に記憶した情報は、一定期間を超えると自動消去される。   Preferably, the information stored in the storage unit 711 by the correspondence information providing unit 706 is automatically deleted after a certain period.

ステップS1104に移行すると、通知制御装置101の対応情報提供部706は、対応情報の表示要求を、例えば、入力デバイス506等から受け付けたか否かを判断する。   In step S1104, the correspondence information providing unit 706 of the notification control device 101 determines whether a display request for correspondence information has been received from, for example, the input device 506 or the like.

対応情報の表示要求を受け付けていない場合、通知制御装置101は、処理をステップS1101に戻して、ステップS1101以降の処理を再び実行する。一方、対応情報の表示要求を受け付けた場合、通知制御装置101の対応情報提供部706は、処理をステップS1105に移行させる。   If the display request for the correspondence information has not been received, the notification control device 101 returns the process to step S1101, and executes the processes from step S1101 again. On the other hand, if the display request of the correspondence information is received, the correspondence information providing unit 706 of the notification control device 101 shifts the processing to step S1105.

ステップS1105に移行すると、通知制御装置101の対応情報提供部706は、記憶部711に記憶した情報を取得し、各ベッド103で医療従事者の無線IDを受信した時間を集計する。これにより、例えば、医療従事者が、各ベッド103、及びベッド103の周辺に留まっていた時間が算出される。   In step S1105, the correspondence information providing unit 706 of the notification control device 101 acquires the information stored in the storage unit 711, and totals the time during which each bed 103 has received the wireless ID of the medical worker. Thus, for example, the time during which the medical staff stays at each bed 103 and around the bed 103 is calculated.

ステップS1106において、通知制御装置101の対応情報提供部706は、例えば、医療従事者による各ベッドの利用者に対する対応を可視化して表示する。   In step S1106, the correspondence information providing unit 706 of the notification control device 101, for example, visualizes and displays the correspondence of the medical staff to the user of each bed.

例えば、対応情報提供部706は、ステップS1104で指定された医療従事者の無線IDに基づいて、当該医療従事者が、各ベッド103の利用者に対して、どれだけ時間をかけて対応したのかを示す表示情報を作成して、表示デバイス507等に表示する。   For example, the correspondence information providing unit 706 determines, based on the wireless ID of the medical worker specified in step S1104, how much time the medical worker has responded to the user of each bed 103 Is generated and displayed on the display device 507 or the like.

また、好適な一例として、対応情報提供部706は、ステップS1104で指定されたベッド103において、利用者に対応した医療従事者の情報と、温度画像データとを含む表示情報を作成して、表示デバイス507等に表示しても良い。これにより、例えば、ベッド103の利用者401が、暴行や虐待を受けた場合、どの医療従事者によって行われたものであるかを特定することが容易になる。   Further, as a preferred example, the correspondence information providing unit 706 creates display information including information on a medical worker corresponding to the user and temperature image data on the bed 103 specified in step S1104, and displays the display information. It may be displayed on the device 507 or the like. Thus, for example, when the user 401 of the bed 103 has been assaulted or abused, it becomes easy to specify which medical worker performed the assault or abuse.

このように、本実施形態に係る通知制御装置101によれば、医療従事者による各ベッド103の利用者に対する対応を可視化し、提供(出力、表示等)することができる。   As described above, according to the notification control device 101 according to the present embodiment, it is possible to visualize and provide (output, display, and the like) the response of the medical staff to the user of each bed 103.

[第2の実施形態]
第2の実施形態では、情報収集装置102が、通知制御装置101に送信する利用者の情報に、ベッド103、及びベッド103の周辺の音声データが含まれている場合の処理の例について説明する。
[Second embodiment]
In the second embodiment, an example of a process performed when the information collection device 102 transmits information of a user to the notification control device 101 including the bed 103 and audio data around the bed 103 will be described. .

(音の判別処理)
図12は、第2の実施形態に係る音の判別処理の例を示すフローチャートである。この処理は、通知制御装置101の音声判別部708が、ベッド103、及びベッド103の周辺における音の種類を判別する処理の一例を示している。
(Sound discrimination processing)
FIG. 12 is a flowchart illustrating an example of a sound determination process according to the second embodiment. This processing illustrates an example of processing in which the sound determination unit 708 of the notification control device 101 determines the type of sound in the bed 103 and the vicinity of the bed 103.

ステップS1201において、通知制御装置101の情報受信部702は、情報収集装置102から送信される利用者の情報を受信し、記憶部711に記憶する。   In step S1201, the information receiving unit 702 of the notification control device 101 receives the user information transmitted from the information collecting device 102 and stores the information in the storage unit 711.

ステップS1202において、音声判別部708は、利用者の情報に含まれる音声データから、音の大きさを算出する。   In step S1202, the sound determination unit 708 calculates the loudness of the sound from the sound data included in the user information.

ステップS1203において、音声判別部708は、音声データにおける音の大きさが第1の閾値以上であるか否かを判断する。なお、第1の閾値は、例えば、ベッド103、及びベッド103の周辺で判別対象となる音が発生しているか否かを判断するための値が、予め設定されているものとする。   In step S1203, the sound determination unit 708 determines whether the volume of the sound in the sound data is equal to or greater than the first threshold. It is assumed that a value for determining whether or not the sound to be determined is generated around the bed 103 and around the bed 103 is set in advance as the first threshold, for example.

音声データにおける音の大きさが第1の閾値未満である場合、音声判別部708は処理を終了させる。一方、音声データにおける音の大きさが第1の閾値以上である場合、音声判別部708は、処理をステップS1205に移行させる。   If the volume of the sound in the sound data is less than the first threshold, the sound discriminating unit 708 ends the processing. On the other hand, when the volume of the sound in the sound data is equal to or larger than the first threshold, the sound determining unit 708 shifts the processing to step S1205.

ステップS1204に移行すると、音声判別部708は、記憶部711に記憶した温度画像データを用いて、ベッド103の利用者の移動量(例えば、利用者401の頭部402の移動量)を算出する。一例として、利用者の移動量は、温度画像データにおける、利用者401の頭部402に対応する温度を示す画素(ピクセル)の移動量等で表される。   In step S1204, the voice determination unit 708 calculates the amount of movement of the user of the bed 103 (for example, the amount of movement of the head 402 of the user 401) using the temperature image data stored in the storage unit 711. . As an example, the movement amount of the user is represented by a movement amount of a pixel (pixel) indicating a temperature corresponding to the head 402 of the user 401 in the temperature image data.

ステップS1205において、音声判別部708は、ステップS1204で算出した利用者の移動量が第2の閾値以上であるか否かを判断する。第2の閾値は、例えば、ベッド103の利用者が起きているか、寝ているかを判断するための値等が、予め設定されているものとする。   In step S1205, the voice determination unit 708 determines whether the user's movement amount calculated in step S1204 is equal to or greater than a second threshold. As the second threshold, for example, it is assumed that a value for determining whether the user of the bed 103 is awake or sleeping is set in advance.

利用者の移動量が第2の閾値以上である場合、音声判別部708は、ベッド103、及びベッド103の周辺で発生している音の種類を、例えば、うめき声と判別する。一方、利用者の移動量が第2の閾値未満である場合、音声判別部708は、ベッド103、及びベッド103の周辺で発生している音の種類を、例えば、いびきと判別する。   When the movement amount of the user is equal to or more than the second threshold, the voice determination unit 708 determines the type of the sound generated around the bed 103 and the vicinity of the bed 103 as, for example, a moaning voice. On the other hand, when the movement amount of the user is less than the second threshold, the voice determination unit 708 determines the type of the sound generated around the bed 103 and around the bed 103 as, for example, snoring.

この判別結果に基づいて、通知制御装置101の音声情報提供部709は、例えば、図13に示すような表示画面1300を、表示デバイス507等に表示させることができる。   Based on the determination result, the audio information providing unit 709 of the notification control device 101 can display, for example, a display screen 1300 as shown in FIG. 13 on the display device 507 or the like.

或いは、音声情報提供部709は、この判定結果に基づいて、表示画面1300を、ナースコールシステム121等に通知するものであっても良い。例えば、音声情報提供部709は、図12に示す音の判別処理において、音の種類がうめき声と判別された場合、図13に示すような表示画面1300を、ナースコールシステム121等の所定の通知先に通知する。   Alternatively, the sound information providing unit 709 may notify the display screen 1300 to the nurse call system 121 or the like based on the determination result. For example, when the type of sound is determined to be a moaning in the sound determination processing illustrated in FIG. 12, the voice information providing unit 709 displays a display screen 1300 as illustrated in FIG. Notify first.

図13は、第2の実施形態に係る表示画面の例を示す図である。図13の例では、表示画面1300には、例えば、利用者の状態を示す文字列1301、ベッド103周辺を撮影した温度画像1302、音量情報1303、及び再生ボタン1304等が表示されている。   FIG. 13 is a diagram illustrating an example of a display screen according to the second embodiment. In the example of FIG. 13, the display screen 1300 displays, for example, a character string 1301 indicating the state of the user, a temperature image 1302 photographing the periphery of the bed 103, volume information 1303, a play button 1304, and the like.

利用者の状態を示す文字列1301は、例えば、図13に示すように、ベッド103を特定するベッド名、ベッド103の利用者401の状態、及び図12の音の判別処理による判別結果等を表示する。   The character string 1301 indicating the state of the user includes, for example, a bed name specifying the bed 103, a state of the user 401 of the bed 103, and a determination result by the sound determination processing in FIG. indicate.

ベッド103周辺を撮影した温度画像1302は、情報収集装置102から受信した利用者の情報に含まれる温度画像データを用いて表示する。   A temperature image 1302 taken around the bed 103 is displayed using temperature image data included in the user information received from the information collection device 102.

音量情報1303は、ベッド103の周辺における音の大きさを視覚的に表示する。また、再生ボタン1304が選択されると、音声情報提供部709は、取得した音声データを用いて、ベッド103周辺で取得された音を再生する。   Volume information 1303 visually displays the loudness of the sound around bed 103. When the play button 1304 is selected, the audio information providing unit 709 reproduces the sound acquired around the bed 103 using the acquired audio data.

例えば、第1の実施形態では、通知制御装置101は、利用者401の頭部402が、落下検知領域、注意領域A〜C等で検知されたときに、利用者401の状態を示す通知情報を、所定の通知先に通知する通知処理を実行する。従って、例えば、図13の温度画像1302に示す位置から、利用者401の頭部402が移動しない場合、通知情報は通知されない。   For example, in the first embodiment, when the head 402 of the user 401 is detected in the fall detection areas, the attention areas A to C, and the like, the notification control apparatus 101 notifies the notification information indicating the state of the user 401. Is notified to a predetermined notification destination. Therefore, for example, when the head 402 of the user 401 does not move from the position shown in the temperature image 1302 in FIG. 13, the notification information is not notified.

しかし、第1の実施形態と第2の実施形態とを組み合わせることにより、通知制御装置101は、例えば、利用者401の頭部402が移動しない場合でも、利用者401の異常を検知して、所定の通知先に、異常が発生したことを通知することができるようになる。   However, by combining the first embodiment and the second embodiment, the notification control device 101 detects an abnormality of the user 401 even when the head 402 of the user 401 does not move, for example, A predetermined notification destination can be notified that an abnormality has occurred.

[第3の実施形態]
第3の実施形態では、通知制御装置101の補正部710による検知枠301の補正に関する処理について説明する。
[Third Embodiment]
In the third embodiment, processing related to correction of the detection frame 301 by the correction unit 710 of the notification control device 101 will be described.

情報収集装置102が病室の壁や天井に設置されている場合、ベッド103の位置が所定の位置から移動すると、検知部703による検知処理の精度が低下する恐れがある。そのため、通知制御装置101は、情報収集装置102の検知枠301対して、ベッド103の位置がずれている場合、検知枠301の位置をベッド103の位置に合わせて補正する補正部710を有している。   When the information collection device 102 is installed on the wall or ceiling of a hospital room, if the position of the bed 103 moves from a predetermined position, the accuracy of the detection processing by the detection unit 703 may be reduced. Therefore, the notification control device 101 includes a correction unit 710 that corrects the position of the detection frame 301 in accordance with the position of the bed 103 when the position of the bed 103 is shifted with respect to the detection frame 301 of the information collection device 102. ing.

図14は、第3の実施形態に係る検知枠の補正処理について説明するための図である。本実施形態に係る情報収集装置102は、CMOSカメラ606を用いてベッド103の写真データを撮影し、通知制御装置101に送信する機能を有している。   FIG. 14 is a diagram for explaining a detection frame correction process according to the third embodiment. The information collection device 102 according to the present embodiment has a function of taking photograph data of the bed 103 using the CMOS camera 606 and transmitting the photograph data to the notification control device 101.

例えば、情報収集装置102の写真データ取得部726は、ベッド103、及びベッド103の周辺の写真データを取得する。また、情報送信部724は、画像データ取得部722が取得した温度画像データと、写真データ取得部726が取得した写真データとを含む利用者の情報を、通知制御装置101に送信する。   For example, the photograph data acquisition unit 726 of the information collection device 102 acquires the bed 103 and the photograph data around the bed 103. Further, the information transmitting unit 724 transmits to the notification control device 101 information of the user including the temperature image data acquired by the image data acquiring unit 722 and the photograph data acquired by the photograph data acquiring unit 726.

なお、情報送信部724は、利用者情報とは別に、写真データを通知制御装置101に送信しても良い。また、情報収集装置102は、例えば、通知制御装置101からの要求があったときに写真データを通知制御装置101に送信するものであっても良いし、所定の時間間隔で写真データを通知制御装置101に送信するもの等であっても良い。   The information transmitting unit 724 may transmit the photograph data to the notification control device 101 separately from the user information. Further, the information collection device 102 may transmit the photograph data to the notification control device 101 when there is a request from the notification control device 101, for example, or may control the notification of the photograph data at a predetermined time interval. The information may be transmitted to the device 101.

図14(a)は、ベッド103が所定の位置に配置されている場合における、写真画像1401、及び検知枠301のイメージを示している。この状態から、例えば、図14(b)に示すように、ベッド103の位置がずれた場合、通知制御装置101の補正部710は、例えば、写真画像1401からベッド103の輪郭を検出すること等により、ベッド103の位置がずれたことを検知する。   FIG. 14A shows an image of the photographic image 1401 and the detection frame 301 when the bed 103 is arranged at a predetermined position. When the position of the bed 103 is shifted from this state, for example, as illustrated in FIG. 14B, the correction unit 710 of the notification control device 101 detects, for example, the contour of the bed 103 from the photograph image 1401. Detects that the position of the bed 103 has shifted.

また、通知制御装置101の補正部710は、ベッド103の位置がずれたことを検知すると、例えば、図14(c)に示すように、ベッド103の輪郭に合わせて、検知枠301の位置を補正する。   When the correction unit 710 of the notification control device 101 detects that the position of the bed 103 has shifted, for example, as illustrated in FIG. 14C, the correction unit 710 changes the position of the detection frame 301 according to the contour of the bed 103. to correct.

しかし、例えば、図14(d)に示すように、ベッド103の位置が大きくずれてしまうと、通知制御装置101の補正部710は、例えば、ベッド103の輪郭が検出できない場合がある。また、このようにベッド103の位置が大きくずれてしまうと、ベッド103の輪郭を検出できたとしても、検知枠301の一部を検知できなくなってしまう場合がある。   However, for example, as illustrated in FIG. 14D, when the position of the bed 103 is significantly shifted, the correction unit 710 of the notification control device 101 may not be able to detect, for example, the outline of the bed 103. In addition, if the position of the bed 103 is largely shifted in this way, even if the outline of the bed 103 can be detected, a part of the detection frame 301 may not be detected.

このような場合、通知制御装置101の補正部710は、検知枠301の補正が行えないことを、例えば、情報収集装置102のLED608を赤色点滅させて通知する。これにより、例えば、ベッド103の周辺にいる医療従事者は、情報収集装置102のLED608を赤色点滅している場合、ベッド103の位置がずれていると判断し、ベッド103の位置を修正することができる。また、ベッド103の周辺にいる医療従事者は、情報収集装置102のLED608を赤色点滅していない場合、ベッド103の位置が適正であることを認識することができる。   In such a case, the correction unit 710 of the notification control device 101 notifies that the correction of the detection frame 301 cannot be performed, for example, by blinking the LED 608 of the information collection device 102 in red. Accordingly, for example, when the LED 608 of the information collecting apparatus 102 is blinking red, the medical worker in the vicinity of the bed 103 determines that the position of the bed 103 is shifted, and corrects the position of the bed 103. Can be. When the LED 608 of the information collecting apparatus 102 is not blinking red, the medical staff around the bed 103 can recognize that the position of the bed 103 is appropriate.

<処理の流れ>
図15は、第3の実施形態に係る検知枠の補正処理の例を示すフローチャートである。この処理は、通知制御装置101が、検知枠301を補正するときに実行する検知枠の補正処理の例を示している。
<Process flow>
FIG. 15 is a flowchart illustrating an example of a detection frame correction process according to the third embodiment. This processing shows an example of detection frame correction processing executed when the notification control device 101 corrects the detection frame 301.

ステップS1501において、通知制御装置101の補正部710は、情報収集装置102から送信される、ベッド103の写真データを取得する。例えば、補正部710は、情報受信部702が受信した利用者の情報に含まれる写真データを取得する。   In step S1501, the correction unit 710 of the notification control device 101 acquires the photograph data of the bed 103 transmitted from the information collection device 102. For example, the correction unit 710 acquires photograph data included in the user information received by the information receiving unit 702.

ステップS1502において、通知制御装置101の補正部710は、ベッド103の写真データからベッド103の位置を検知する。例えば、補正部710は、写真データを解析して、ベッド103の輪郭を抽出する。   In step S1502, the correction unit 710 of the notification control device 101 detects the position of the bed 103 from the photograph data of the bed 103. For example, the correction unit 710 analyzes the photograph data and extracts the contour of the bed 103.

ステップS1503において、通知制御装置101の補正部710は、検知枠301に対して、ベッド103の位置がずれているか否かを判断する。例えば、補正部710は、図14(a)に示すように、検知枠301、及び検知枠301内の小領域302に対して、ベッドの輪郭が正しい位置にある場合、ベッド103の位置がずれていないと判断する。一方、補正部710は、図14(b)に示すように、検知枠301、及び検知枠301内の小領域302に対して、ベッドの輪郭が正しい位置にない場合、ベッド103の位置がずれていると判断する。   In step S1503, the correction unit 710 of the notification control device 101 determines whether the position of the bed 103 is shifted with respect to the detection frame 301. For example, as illustrated in FIG. 14A, when the contour of the bed is in the correct position with respect to the detection frame 301 and the small region 302 in the detection frame 301, the correction unit 710 shifts the position of the bed 103. Judge that you have not. On the other hand, as shown in FIG. 14B, the correction unit 710 shifts the position of the bed 103 with respect to the detection frame 301 and the small area 302 in the detection frame 301 when the contour of the bed is not at the correct position. Judge that

ベッド103の位置がずれていない場合、補正部710は、処理をステップS1504に移行させる。一方、ベッド103の位置がずれている場合、補正部710は、処理をステップS1505に移行させる。   If the position of the bed 103 has not been shifted, the correction unit 710 shifts the processing to step S1504. On the other hand, when the position of the bed 103 is shifted, the correction unit 710 shifts the processing to step S1505.

ステップS1504に移行すると、通知制御装置101の補正部710は、検知枠301の補正に成功したことを情報収集装置102に通知して、処理を終了する。これにより、情報収集装置102は、LED608を赤色点滅させている場合、LED608の赤色点滅を終了し、LED608を赤色点滅させていない場合、LED608を赤色点滅させていない状態を継続する。   In step S1504, the correction unit 710 of the notification control device 101 notifies the information collection device 102 that the detection frame 301 has been successfully corrected, and ends the process. As a result, when the LED 608 is blinking red, the information collecting apparatus 102 ends the blinking of the LED 608 in red.

一方、ステップS1503からステップS1505に移行すると、通知制御装置101の補正部710は、例えば、図14(c)に示すように、ベッド103の位置に合わせて、検知枠301の位置を補正する。例えば、補正部710は、及び検知枠301を、移動、回転、拡大、又は縮小することにより、検知枠301、及び検知枠301内の小領域302に対して、ベッドの輪郭が正しい位置になるように調整する。   On the other hand, when the process proceeds from step S1503 to step S1505, the correction unit 710 of the notification control device 101 corrects the position of the detection frame 301 according to the position of the bed 103, for example, as illustrated in FIG. For example, the correction unit 710 moves, rotates, enlarges, or reduces the size of the detection frame 301, so that the contour of the bed becomes a correct position with respect to the detection frame 301 and the small region 302 in the detection frame 301. Adjust as follows.

ステップS1506において、通知制御装置101の補正部710は、検知枠301の補正に成功したか否かを判断する。例えば、補正部710は、図14(c)に示すように、検知枠301、及び検知枠301内の小領域302を検知可能になった場合、補正に成功したと判断する。一方、補正部710は、図14(d)に示すように、ベッド103の輪郭を検出できない場合や、検知枠301及び検知枠301内の小領域302の一部を検知できない場合、補正に失敗したと判断する。   In step S1506, the correction unit 710 of the notification control device 101 determines whether the correction of the detection frame 301 has been successful. For example, as illustrated in FIG. 14C, when the detection frame 301 and the small area 302 in the detection frame 301 can be detected, the correction unit 710 determines that the correction has been successful. On the other hand, as illustrated in FIG. 14D, the correction unit 710 fails to perform correction when the contour of the bed 103 cannot be detected or when the detection frame 301 and a part of the small area 302 within the detection frame 301 cannot be detected. Judge that you have done.

検知枠301の補正に成功した場合、補正部710は、処理をステップS1504に移行させる。一方、検知枠301の補正に失敗した場合、補正部710は、処理をステップS1507に移行させる。   If the detection frame 301 has been successfully corrected, the correcting unit 710 shifts the processing to step S1504. On the other hand, if the correction of the detection frame 301 has failed, the correction unit 710 shifts the processing to step S1507.

ステップS1507に移行すると、通知制御装置101の補正部710は、検知枠301の補正に失敗したことを情報収集装置102に通知して、処理をステップS1501に戻す。これにより、情報収集装置102は、LED608を赤色点滅させていない場合、LED608の赤色点滅を開始し、LED608を赤色点滅させている場合、LED608の赤色点滅を継続する。   In step S1507, the correction unit 710 of the notification control device 101 notifies the information collection device 102 that the correction of the detection frame 301 has failed, and returns to step S1501. Accordingly, the information collecting apparatus 102 starts blinking the LED 608 in red when the LED 608 is not blinking red, and continues blinking the LED 608 in red when the LED 608 blinks red.

上記の処理により、医療従事者は、ベッド103の位置がずれていることを容易に判断し、ベッド103の位置を修正することができるようになる。   Through the above processing, the medical worker can easily determine that the position of the bed 103 is out of position, and can correct the position of the bed 103.

100 通知制御システム
101 通知制御装置
102 情報収集装置
103 ベッド
702 情報受信部
703 検知部
704 通知制御部
705 ID管理部(識別情報管理部)
706 対応情報提供部(第1の情報提供部)
707 表示制御部
708 音声判別部(判別部)
709 音声情報提供部(第2の情報提供部)
710 補正部
722 画像データ取得部
723 ID受信部(識別情報受信部)
724 情報送信部
725 音声データ取得部
727 表示部
REFERENCE SIGNS LIST 100 notification control system 101 notification control device 102 information collection device 103 bed 702 information reception unit 703 detection unit 704 notification control unit 705 ID management unit (identification information management unit)
706 Corresponding information providing unit (first information providing unit)
707 Display control unit 708 Voice discrimination unit (discrimination unit)
709 Voice information providing unit (second information providing unit)
710 Correction unit 722 Image data acquisition unit 723 ID reception unit (identification information reception unit)
724 information transmission unit 725 audio data acquisition unit 727 display unit

特開2013−211607号公報JP 2013-213607 A

Claims (15)

被写体の情報に基づく通知を制御する通知制御装置であって、
所定の撮影範囲で撮影された被写体の温度を示す温度画像データを含む前記被写体の情報を受信する情報受信部と、
前記被写体の情報に基づいて前記被写体の状態を示す通知情報を所定の通知先に通知する通知制御部と、
を有し、
前記通知制御部は、前記被写体の情報に予め定められた識別情報が含まれているか否かに応じて、前記通知情報を所定の通知先に通知する処理を中止する、通知制御装置。
A notification control device that controls a notification based on subject information,
An information receiving unit that receives information of the subject including temperature image data indicating a temperature of the subject captured in a predetermined capturing range;
A notification control unit that notifies a predetermined notification destination of notification information indicating a state of the subject based on the information of the subject,
Has,
The notification control device, wherein the notification control unit stops a process of notifying the notification information to a predetermined notification destination according to whether or not information of the subject includes predetermined identification information.
前記被写体の情報に含まれる前記温度画像データを用いて、前記所定の撮影範囲内に予め設定された1つ以上の検知領域における所定の検知パターンの温度変化を検知する検知部を有し、
前記通知制御部は、前記検知部が前記所定の検知パターンの温度変化を検知し、かつ前記被写体の情報に前記識別情報が含まれていない場合、前記通知情報を前記所定の通知先に通知する、請求項1に記載の通知制御装置。
Using the temperature image data included in the information of the subject, a detection unit that detects a temperature change of a predetermined detection pattern in one or more detection areas set in advance in the predetermined imaging range,
The notification control unit notifies the notification information to the predetermined notification destination when the detection unit detects a temperature change of the predetermined detection pattern and the identification information is not included in the information of the subject. The notification control device according to claim 1.
前記通知制御部は、前記検知部が前記所定の検知パターンの温度変化を検知し、かつ前記被写体の情報に前記識別情報が含まれている場合、前記通知情報を前記所定の通知先に通知する処理を中止する、請求項2に記載の通知制御装置。   The notification control unit notifies the notification information to the predetermined notification destination when the detection unit detects a temperature change of the predetermined detection pattern and the identification information is included in the information of the subject. The notification control device according to claim 2, wherein the notification control device stops processing. 前記識別情報は、医療従事者を識別する識別情報を含む請求項1乃至3のいずれか一項に記載の通知制御装置。   The notification control device according to claim 1, wherein the identification information includes identification information for identifying a medical worker. 前記所定の撮影範囲は、施設に設置されたベッド及び前記ベッドの周辺を含み、
前記被写体は、前記ベッドを利用する利用者を含み、
前記識別情報は、前記施設に勤務する医療従事者を識別する識別情報を含む、請求項1乃至4のいずれか一項に記載の通知制御装置。
The predetermined shooting range includes a bed installed in a facility and a periphery of the bed,
The subject includes a user using the bed,
The notification control device according to claim 1, wherein the identification information includes identification information for identifying a medical worker working at the facility.
前記施設に勤務する医療従事者を識別する前記識別情報を管理する識別情報管理部と、
前記情報受信部が受信する前記被写体の情報に含まれる前記識別情報を用いて、前記ベッドの利用者に対する前記医療従事者の対応を可視化する情報を提供する第1の情報提供部と、
を有する、請求項5に記載の通知制御装置。
An identification information management unit that manages the identification information that identifies the medical staff working at the facility,
Using the identification information included in the information of the subject received by the information receiving unit, a first information providing unit that provides information for visualizing a response of the medical worker to a user of the bed,
The notification control device according to claim 5, comprising:
前記被写体の情報は、前記ベッド及び前記ベッドの周辺の音声を収集した音声データを含み、
前記被写体の情報に含まれる前記温度画像データと前記音声データとを用いて、前記音声データに含まれる音の種類を判別する判別部と、
前記判別部による判別結果と、前記ベッド及び前記ベッドの周辺の温度を示す画像とを含む情報を提供する第2の情報提供部と、
を有する、請求項5又は6に記載の通知制御装置。
The information on the subject includes audio data obtained by collecting audio around the bed and the bed,
Using the temperature image data and the audio data included in the information of the subject, a determination unit that determines the type of sound included in the audio data,
A second information providing unit that provides information including a determination result by the determination unit and an image indicating the temperature of the bed and the temperature around the bed;
The notification control device according to claim 5, comprising:
前記ベッドの位置の変化に応じて、前記所定の撮影範囲内に予め設定された1つ以上の検知領域の位置を補正する補正部と、
前記補正部が前記検知領域の位置を補正できない場合、前記ベッド又は前記ベッドの周辺の表示部に、前記検知領域の位置を補正できないことを示す表示情報を表示させる表示制御部と、
を有する、請求項5乃至7のいずれか一項に記載の通知制御装置。
A correction unit that corrects a position of one or more detection areas set in advance in the predetermined imaging range in accordance with a change in the position of the bed;
When the correction unit cannot correct the position of the detection area, a display control unit that displays display information indicating that the position of the detection area cannot be corrected on the bed or a display unit around the bed,
The notification control device according to any one of claims 5 to 7, comprising:
請求項5乃至8のいずれか一項に記載の通知制御装置と通信可能な情報収集装置であって、
前記ベッド及び前記ベッドの周辺の温度を示す温度画像データを取得する画像データ取得部と、
前記ベッド及び前記ベッドの周辺にある無線タグが送信する識別情報を受信する識別情報受信部と、
前記識別情報受信部が前記識別情報を受信した場合、前記温度画像データと前記識別情報とを含む被写体の情報を、前記通知制御装置に送信する情報送信部と、
を有する、情報収集装置。
An information collection device capable of communicating with the notification control device according to any one of claims 5 to 8,
An image data acquisition unit that acquires temperature image data indicating the temperature of the bed and the periphery of the bed,
An identification information receiving unit that receives identification information transmitted by the bed and a wireless tag around the bed,
When the identification information receiving unit receives the identification information, information transmission unit for transmitting the information of the subject including the temperature image data and the identification information to the notification control device,
An information collection device comprising:
前記ベッド及び前記ベッドの周辺の音声データを取得する音声データ取得部を有し、
前記被写体の情報は、前記音声データを含む、請求項9に記載の情報収集装置。
An audio data acquisition unit that acquires audio data around the bed and the bed,
The information collection device according to claim 9, wherein the information on the subject includes the audio data.
前記ベッド又は前記ベッドの周辺に前記施設に勤務する医療従事者がいるとき、前記ベッド又は前記ベッドの周辺に前記医療従事者がいることを示す表示情報を表示する表示部を有する、請求項9又は10に記載の情報収集装置。   When there is a medical worker working in the facility around the bed or around the bed, a display unit is provided for displaying display information indicating that the medical worker is around the bed or around the bed. Or the information collection device according to 10. 前記通知制御装置は、前記ベッドの位置の変化に応じて、前記所定の撮影範囲内に予め設定された1つ以上の検知領域の位置を補正する補正部を有し、
前記情報収集装置は、前記補正部が前記検知領域の位置を補正できない場合、前記検知領域の位置を補正できないことを示す表示情報を表示する表示部を有する、請求項9又は10に記載の情報収集装置。
The notification control device has a correction unit that corrects a position of one or more detection regions set in advance in the predetermined imaging range in accordance with a change in the position of the bed,
The information according to claim 9, wherein the information collection device has a display unit that displays display information indicating that the position of the detection region cannot be corrected when the correction unit cannot correct the position of the detection region. Collection device.
被写体の情報に基づく通知を制御する通知制御システムであって、
所定の撮影範囲で撮影された被写体の温度を示す温度画像データを含む前記被写体の情報を受信する情報受信部と、
前記被写体の情報に基づいて前記被写体の状態を示す通知情報を所定の通知先に通知する通知制御部と、
を有し、
前記通知制御部は、前記被写体の情報に予め定められた識別情報が含まれているか否かに応じて、前記通知情報を所定の通知先に通知する処理を中止する、通知制御システム。
A notification control system that controls a notification based on subject information,
An information receiving unit that receives information of the subject including temperature image data indicating a temperature of the subject captured in a predetermined capturing range;
A notification control unit that notifies a predetermined notification destination of notification information indicating a state of the subject based on the information of the subject,
Has,
The notification control system, wherein the notification control unit stops a process of notifying the notification information to a predetermined notification destination according to whether or not the information of the subject includes predetermined identification information.
被写体の情報に基づく通知を制御するコンピュータが実行する通知制御方法であって、
前記コンピュータが、
所定の撮影範囲で撮影された被写体の温度を示す温度画像データを含む前記被写体の情報を受信する処理と、
前記被写体の情報に基づいて前記被写体の状態を示す通知情報を所定の通知先に通知する処理と、
を実行し、
前記通知する処理は、前記被写体の情報に予め定められた識別情報が含まれているか否かに応じて、前記通知情報を所定の通知先に通知する処理を中止する、通知制御方法。
A notification control method executed by a computer that controls a notification based on information on a subject,
Said computer,
A process of receiving information of the subject including temperature image data indicating a temperature of the subject captured in a predetermined capturing range;
A process of notifying notification information indicating a state of the subject to a predetermined notification destination based on the information of the subject,
Run
The notifying process is a notifying control method in which a process of notifying the notifying information to a predetermined notifying destination is stopped according to whether or not information of the subject includes predetermined identification information.
請求項14に記載の通知制御方法をコンピュータに実行させるプログラム。   A program for causing a computer to execute the notification control method according to claim 14.
JP2019098711A 2018-09-28 2019-05-27 Notification control device, information collection device, notification control system, notification control method, and program Pending JP2020057351A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/582,366 US11513007B2 (en) 2018-09-28 2019-09-25 Notification control device, notification control system, and notification control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018185999 2018-09-28
JP2018185999 2018-09-28

Publications (1)

Publication Number Publication Date
JP2020057351A true JP2020057351A (en) 2020-04-09

Family

ID=70107410

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019098711A Pending JP2020057351A (en) 2018-09-28 2019-05-27 Notification control device, information collection device, notification control system, notification control method, and program

Country Status (1)

Country Link
JP (1) JP2020057351A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7044217B1 (en) * 2021-09-15 2022-03-30 三菱電機株式会社 Watching system and watching method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004512058A (en) * 2000-05-05 2004-04-22 ヒル−ロム サービシーズ,インコーポレイティド Hospital bed remote control
JP2012110586A (en) * 2010-11-26 2012-06-14 Aiphone Co Ltd Nurse call system
JP2014235669A (en) * 2013-06-04 2014-12-15 旭光電機株式会社 Monitoring device
US20150109442A1 (en) * 2010-09-23 2015-04-23 Stryker Corporation Video monitoring system
JP2016045573A (en) * 2014-08-20 2016-04-04 富士通株式会社 Control method, control device, and control program
JP2016077522A (en) * 2014-10-16 2016-05-16 株式会社医療情報技術研究所 Nurse call system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004512058A (en) * 2000-05-05 2004-04-22 ヒル−ロム サービシーズ,インコーポレイティド Hospital bed remote control
US20150109442A1 (en) * 2010-09-23 2015-04-23 Stryker Corporation Video monitoring system
JP2012110586A (en) * 2010-11-26 2012-06-14 Aiphone Co Ltd Nurse call system
JP2014235669A (en) * 2013-06-04 2014-12-15 旭光電機株式会社 Monitoring device
JP2016045573A (en) * 2014-08-20 2016-04-04 富士通株式会社 Control method, control device, and control program
JP2016077522A (en) * 2014-10-16 2016-05-16 株式会社医療情報技術研究所 Nurse call system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7044217B1 (en) * 2021-09-15 2022-03-30 三菱電機株式会社 Watching system and watching method
WO2023042310A1 (en) * 2021-09-15 2023-03-23 三菱電機株式会社 Monitoring system and monitoring method

Similar Documents

Publication Publication Date Title
JP6844658B2 (en) Notification system
JP2020098619A (en) Monitored person monitoring system, information processing device, and program
US10277723B2 (en) Information processing to prevent operation malfunction in usage of device
JP6519166B2 (en) MONITORING CONTROL PROGRAM, MONITORING CONTROL DEVICE, AND MONITORING CONTROL METHOD
US20200135002A1 (en) Information providing apparatus, information providing method and information providing system
US11513007B2 (en) Notification control device, notification control system, and notification control method
JP6020779B1 (en) Watch system
JP2019030628A (en) Information providing apparatus, information providing system, information providing method, and program
JP2020057351A (en) Notification control device, information collection device, notification control system, notification control method, and program
JP2023052014A (en) System, management device, and method for monitoring
KR102567872B1 (en) A robot for monitoring patients and managing medical resources in multiple wards in a hospital and an operating method thereof
JP6504255B2 (en) Care support system and care support method
US20210287518A1 (en) Information processing apparatus, information processing system, method of providing information, and non-transitory recording medium
JP7247889B2 (en) Information management system, information management method and care support system
JP2021033569A (en) Information providing method, program, terminal device, and information providing system
JP6943261B2 (en) Nurse call system
JP7293895B2 (en) Method and program for linking two systems, and information processing system
JP7354538B2 (en) Terminal devices, monitoring systems and programs
JP2019141530A (en) Action monitoring system and action monitoring method
US20230207104A1 (en) Electric equipment that assists registration operation for associating photographed image data and patient information, method of controlling same, and storage medium
JP7352195B2 (en) Monitoring record creation support system and monitoring record creation support method
JP7380551B2 (en) Care support system and information processing method
JP2019146712A (en) Action monitoring system and action monitoring method
KR20230047277A (en) A robot for monitoring patients in multiple wards in a hospital and an operating method thereof
JP2023000589A (en) Information processing system, information processor, control method, and control program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240226

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240326