JP2022052910A - Physical condition evaluation system, server, program, and physical condition evaluation service provision method - Google Patents

Physical condition evaluation system, server, program, and physical condition evaluation service provision method Download PDF

Info

Publication number
JP2022052910A
JP2022052910A JP2020159429A JP2020159429A JP2022052910A JP 2022052910 A JP2022052910 A JP 2022052910A JP 2020159429 A JP2020159429 A JP 2020159429A JP 2020159429 A JP2020159429 A JP 2020159429A JP 2022052910 A JP2022052910 A JP 2022052910A
Authority
JP
Japan
Prior art keywords
person
information
physical condition
database
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020159429A
Other languages
Japanese (ja)
Other versions
JP7183232B2 (en
Inventor
有之 岸本
Ariyuki Kishimoto
強一 櫻井
Kyoichi Sakurai
隆司 峯邑
Takashi Minemura
元勇 杉山
Motoo Sugiyama
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2020159429A priority Critical patent/JP7183232B2/en
Publication of JP2022052910A publication Critical patent/JP2022052910A/en
Application granted granted Critical
Publication of JP7183232B2 publication Critical patent/JP7183232B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Medical Treatment And Welfare Office Work (AREA)

Abstract

To provide a physical condition evaluation system for evaluating a person's physical condition.SOLUTION: According to an embodiment, the physical condition evaluation system comprises: a human presence sensor for detecting a person; a server capable of communicating with the human presence sensor; and a database accessible from the server. The database includes a disease history and motion database that stores health history information for each person. The human presence sensor is provided with an analysis unit for analyzing image data obtained by imaging a prescribed area and generating sensor data that includes the motion information of persons. The server is provided with a reception unit, an acquisition unit and a calculation unit. The reception unit receives sensor data from the human presence sensor. The acquisition unit accesses the disease history and motion database and acquires the health history information. The calculation unit calculates a score in real time that indicates a trend of physical condition of the person on the basis of the motion information of the person included in the received sensor data and the health history information.SELECTED DRAWING: Figure 2

Description

本発明の実施形態は、体調評価システム、サーバ、プログラムおよび体調評価サービス提供方法に関する。 An embodiment of the present invention relates to a physical condition evaluation system, a server, a program, and a method for providing a physical condition evaluation service.

近年、雇用制度が見直され、企業においてより長く働くことができる一方、企業における従業員の高齢化が進んできており、企業としてはこの限られた人的資源をより適切に管理していく必要がある。その一つの方法として従業員の体調管理があり、体調を客観的かつ適切に評価し、必要に応じてその後適切な対応を迅速に行うことが要求されるところである。 In recent years, the employment system has been reviewed and while companies can work longer, the aging of employees in companies is advancing, and companies need to manage this limited human resources more appropriately. There is. One of the methods is to manage the physical condition of employees, and it is required to evaluate the physical condition objectively and appropriately, and then promptly take appropriate measures as necessary.

従来、画像センサを用いて、オフィスで働く従業員の身体的、精神的な健康状態を監視するための技術が知られている。既存の技術では、人の位置、体の動きを画像センサで監視し、会話が無く着席状態が長い状態を、メンタル状態が悪化する兆しとして管理者等に警告するようにしている。 Conventionally, a technique for monitoring the physical and mental health of employees working in an office using an image sensor has been known. In the existing technology, the position and body movement of a person are monitored by an image sensor, and a state where there is no conversation and a long sitting state is warned to an administrator or the like as a sign that the mental state deteriorates.

特開2019-101952号公報Japanese Unexamined Patent Publication No. 2019-101952

しかし、オフィスで働く人が、たまたま会話が無く着席状態が長かったとしても、それは業務に集中し良い仕事ができていたということもあり、単に人の動きだけからその人の体調を正確に判断しようとすることは難しいことは経験則上、知りうるところで、その人たちの体調をより適切に評価できるものが要求されていた。 However, even if a person working in the office happens to have no conversation and is seated for a long time, it may be that he / she was able to concentrate on his / her work and did a good job, so he / she can accurately judge his / her physical condition only from the movement of the person. As a rule of thumb, it is difficult to try, and there was a need for something that could better evaluate the physical condition of those people.

そこで、本発明の目的は、人の体調を評価する体調評価システム、サーバ、プログラムおよび体調評価サービス提供方法を提供することにある。 Therefore, an object of the present invention is to provide a physical condition evaluation system, a server, a program, and a physical condition evaluation service providing method for evaluating a person's physical condition.

実施形態によれば、体調評価システムは、人を検知する人感センサと、人感センサと通信可能なサーバと、サーバからアクセス可能なデータベースとを具備する。データベースは、人ごとの健康履歴情報を記憶する病歴・動作データベースを含む。人感センサは、所定エリアを撮像して得られた画像データを解析して、人の動作情報に係るセンサデータを生成する解析部を備える。サーバは、受信部、取得部、および計算部を備える。受信部は、センサデータを人感センサから受信する。取得部は、病歴・動作データベースから健康履歴情報を取得する。計算部は、受信されたセンサデータに係る人の動作情報と、健康履歴情報とに基づいて、人の体調の傾向を示すスコアを計算する。 According to the embodiment, the physical condition evaluation system includes a motion sensor for detecting a person, a server capable of communicating with the motion sensor, and a database accessible from the server. The database includes a medical history / behavior database that stores health history information for each person. The motion sensor includes an analysis unit that analyzes image data obtained by imaging a predetermined area and generates sensor data related to human motion information. The server includes a receiving unit, an acquisition unit, and a calculation unit. The receiving unit receives the sensor data from the motion sensor. The acquisition unit acquires health history information from the medical history / behavior database. The calculation unit calculates a score indicating a tendency of a person's physical condition based on the movement information of the person related to the received sensor data and the health history information.

図1は、ビルのフロア内の一例を示す図である。FIG. 1 is a diagram showing an example in the floor of a building. 図2は、実施形態に係る体調評価システムの一例を示す図である。FIG. 2 is a diagram showing an example of a physical condition evaluation system according to an embodiment. 図3は、画像センサ3の一例を示すブロック図である。FIG. 3 is a block diagram showing an example of the image sensor 3. 図4は、画像センサ3で得られた画像データの一例を示す図である。FIG. 4 is a diagram showing an example of image data obtained by the image sensor 3. 図5は、画像センサ3のセンシング項目の一例を示す図である。FIG. 5 is a diagram showing an example of sensing items of the image sensor 3. 図6は、人の動作情報について説明するための模式図である。FIG. 6 is a schematic diagram for explaining human motion information. 図7は、動作情報の一例を示す図である。FIG. 7 is a diagram showing an example of operation information. 図8は、病歴・動作データベース42に記憶される情報の一例を示す図である。FIG. 8 is a diagram showing an example of information stored in the medical history / operation database 42. 図9は、個人情報データベース43に記憶される情報の一例を示す図である。FIG. 9 is a diagram showing an example of information stored in the personal information database 43. 図10は、オフィスデータベース44に記憶される情報の一例を示す図である。FIG. 10 is a diagram showing an example of information stored in the office database 44. 図11は、クラウドサーバ200の一例を示すブロック図である。FIG. 11 is a block diagram showing an example of the cloud server 200. 図12は、人の体調の傾向を示すスコアについて説明するための図である。FIG. 12 is a diagram for explaining a score showing a tendency of a person's physical condition. 図13は、実施形態に係わる体調評価システムにおける処理手順の一例を示すシーケンス図である。FIG. 13 is a sequence diagram showing an example of a processing procedure in the physical condition evaluation system according to the embodiment. 図14は、人の健康管理をするためのメッセージデータの一例を示す図である。FIG. 14 is a diagram showing an example of message data for managing human health.

人感センサである画像センサは、物理センサや赤外線センサよりも多様な情報を取得することができる。通信機能を持つものもあり、IoT(Internet of Things)技術との親和性も高い。さらには、ビッグデータ解析のためのエッジデバイスとしても期待されている。 An image sensor, which is a motion sensor, can acquire more diverse information than a physical sensor or an infrared sensor. Some have a communication function and have a high affinity with IoT (Internet of Things) technology. Furthermore, it is expected as an edge device for big data analysis.

魚眼レンズや広角カメラなどを用いれば、1台の画像センサで撮影可能な領域を拡大できるし、画像の歪みは計算で補正することができる。視野内のセンシングしたくない領域をマスク設定する機能や、学習機能を備える画像センサも知られている。実施形態に係わる画像センサは、視野内に捕えた映像を撮影して取得した画像データを処理して、例えば人間情報や環境情報を得ることができる。 If a fisheye lens, a wide-angle camera, or the like is used, the area that can be photographed by one image sensor can be enlarged, and the distortion of the image can be corrected by calculation. An image sensor having a function of setting a mask for an area in the field of view that is not desired to be sensed and a learning function is also known. The image sensor according to the embodiment can obtain, for example, human information or environmental information by taking an image captured in the field of view and processing the acquired image data.

人間情報は、対象空間に存在する人間に関する情報であり、例えばエリア内の人数、人の行動、人の活動量、人の存在または不在を示す在・不在、あるいは、人が歩いているか、または1つの場所に留まっているかを示す歩行・滞留などを挙げることができる。人物に付随する物体(物品)、つまり荷物の有無も人間情報の一例である。環境情報は、制御対象の空間(対象空間)の環境に関する情報であり、その一例として店舗の照度分布、あるいは温度分布などを挙げることができる。 Human information is information about humans existing in the target space, for example, the number of people in the area, the behavior of the person, the amount of activity of the person, the presence / absence indicating the existence or absence of the person, or the person walking or walking. Examples include walking / staying indicating whether or not the person stays in one place. An object (article) attached to a person, that is, the presence or absence of luggage is also an example of human information. The environmental information is information about the environment of the space to be controlled (target space), and as an example thereof, the illuminance distribution of the store, the temperature distribution, and the like can be mentioned.

人間情報および環境情報は、対象空間ごとに算出することができる。あるいは、対象空間を複数に分割した小領域(エリア)毎に、人間情報や環境情報を算出することもできる。この実施形態では、特に、オフィスビルにおける人間の動作を示す、動作情報に着目する。 Human information and environmental information can be calculated for each target space. Alternatively, human information and environmental information can be calculated for each small area (area) in which the target space is divided into a plurality of areas. In this embodiment, we pay particular attention to motion information that indicates human motion in an office building.

<構成>
図1は、ビルのフロア内の一例を示す図である。図1に示されるように、照明機器1、空調機器2の吹き出し口、および画像センサ3が、各フロアの例えば天井に配設される。画像センサ3は、視野内に捕えた映像を撮影して画像データを取得する。この画像データは画像センサ3において処理され、動作情報が生成される。
<Structure>
FIG. 1 is a diagram showing an example in the floor of a building. As shown in FIG. 1, the lighting device 1, the air outlet of the air conditioning device 2, and the image sensor 3 are arranged on each floor, for example, the ceiling. The image sensor 3 captures an image captured in the field of view and acquires image data. This image data is processed by the image sensor 3 to generate operation information.

<システム>
図2は、実施形態に係る体調評価システムの一例を示す図である。図2において、複数の画像センサ3(3-1~3-n)が、オフィスビル100の各フロアの例えば天井に、執務エリアを見下ろすかたちで配設される。画像センサ3は、執務エリアを視野内に捉え、視野に捕えたものを撮像して画像データを生成する。画像データは、例えばオフィスの従業員(人)、机や席(椅子)、什器などを含む。画像センサ3は、画像データを解析して、人の動作情報を含むセンサデータを生成する。
<System>
FIG. 2 is a diagram showing an example of a physical condition evaluation system according to an embodiment. In FIG. 2, a plurality of image sensors 3 (3-1 to 3-n) are arranged on each floor of the office building 100, for example, on the ceiling so as to look down on the office area. The image sensor 3 captures the work area in the field of view, captures what is captured in the field of view, and generates image data. The image data includes, for example, office employees (people), desks and seats (chairs), furniture, and the like. The image sensor 3 analyzes the image data and generates sensor data including human motion information.

監視カメラ3-0は、オフィスビル100の入り口や入場ゲート付近に設置され、入場者を正面方向から撮像して、従業員や訪問者の顔画像データ、あるいは全身像データを取得する。 The surveillance camera 3-0 is installed near the entrance of the office building 100 or the entrance gate, and images the visitors from the front direction to acquire facial image data or whole body image data of employees and visitors.

各画像センサ3は、例えば管理室に配置されたゲートウェイ(GW)7に、信号線4を介して接続される。信号線4のプロトコルには、EtherCAT(登録商標)やBACnet(登録商標)、TCP/IP(Transmission Control Protocol / Internet Protocol)、UDP/IPなどを適用できる。 Each image sensor 3 is connected to, for example, a gateway (GW) 7 arranged in a control room via a signal line 4. EtherCAT (registered trademark), BACnet (registered trademark), TCP / IP (Transmission Control Protocol / Internet Protocol), UDP / IP, and the like can be applied to the protocol of the signal line 4.

ゲートウェイ7は、ビル内ネットワーク5に接続される。ビル内ネットワーク5の通信プロトコルには、Building Automation and Control Networking protocol(BACnet(登録商標))、DALI(登録商標)、ZigBee(登録商標)、ECHONET Lite(登録商標)等を適用することが可能である。 The gateway 7 is connected to the in-building network 5. Building Automation and Control Networking protocol (BACnet (registered trademark)), DALI (registered trademark), ZigBee (registered trademark), ECHONET Lite (registered trademark), etc. can be applied to the communication protocol of the network 5 in the building. be.

例えば、ファイヤウォール6および管理サーバ8が、ビル内ネットワーク5に接続される。管理サーバ8は、画像センサ3等から取得した各種の情報をもとに、オフィスビル100の照明、空調、安全などを管理する。ビル内ネットワーク5に接続されたストレージは、センサデータベース9aを記憶する。センサデータベース9aは、画像センサ3で生成されたセンサデータを記憶する。ファイヤウォール6は、例えばインターネット上に形成された専用線ネットワーク300を介して、クラウド400に接続される。 For example, the firewall 6 and the management server 8 are connected to the in-building network 5. The management server 8 manages the lighting, air conditioning, safety, etc. of the office building 100 based on various information acquired from the image sensor 3 and the like. The storage connected to the network 5 in the building stores the sensor database 9a. The sensor database 9a stores the sensor data generated by the image sensor 3. The firewall 6 is connected to the cloud 400 via, for example, a dedicated line network 300 formed on the Internet.

クラウド(クラウドコンピューティングシステム)400は、クラウドサーバ200を中核とし、監視カメラ41、およびメールサーバ500等を備える。また、クラウド400は、いずれもクラウドサーバ200からアクセス可能な病歴・動作データベース42、個人情報データベース43、および、オフィスデータベース44を備える。さらに、ユーザの所持するスマートフォンやタブレット20が、無線を経由してクラウド400にアクセスすることができる。 The cloud (cloud computing system) 400 has a cloud server 200 as a core, and includes a surveillance camera 41, a mail server 500, and the like. In addition, the cloud 400 includes a medical history / operation database 42, a personal information database 43, and an office database 44, all of which can be accessed from the cloud server 200. Further, the smartphone or tablet 20 owned by the user can access the cloud 400 via wireless communication.

<画像センサ>
図3は、画像センサ3の一例を示すブロック図である。画像センサ3は、カメラ部31、記憶部32、プロセッサ33、および通信部34を備える。これらは内部バス35を介して互いに接続される。
<Image sensor>
FIG. 3 is a block diagram showing an example of the image sensor 3. The image sensor 3 includes a camera unit 31, a storage unit 32, a processor 33, and a communication unit 34. These are connected to each other via an internal bus 35.

カメラ部31は、魚眼レンズ31a、絞り機構31b、撮像素子(イメージセンサ)31cおよびレジスタ30を備える。魚眼レンズ31aは、視野内の映像を撮像素子31cに結像する。実施形態では、魚眼レンズ31aは、執務エリアを視野に捉えていて、執務エリアの映像を撮像素子31cに結像する。執務エリアは複数の領域に分割されても良く、個々の領域を一つの画像センサで撮像し、複数の画像センサで得られた画像データを統合して執務エリアの全領域をカバーするようにしても良い。 The camera unit 31 includes a fisheye lens 31a, an aperture mechanism 31b, an image sensor (image sensor) 31c, and a register 30. The fisheye lens 31a forms an image in the visual field on the image pickup device 31c. In the embodiment, the fisheye lens 31a captures the work area in the field of view, and the image of the work area is imaged on the image sensor 31c. The work area may be divided into a plurality of areas, and each area is imaged by one image sensor, and the image data obtained by the multiple image sensors are integrated to cover the entire area of the work area. Is also good.

撮像素子31cは、CMOS(相補型金属酸化膜半導体)に代表されるイメージセンサであり、例えば毎秒30フレームのフレームレートの映像信号を生成する。この映像信号はディジタル符号化されて画像データが生成される。画像データは人の顔画像データを含んでよい。撮像素子31cへの入射光量は絞り機構31bにより調節される。 The image sensor 31c is an image sensor typified by CMOS (complementary metal oxide semiconductor), and generates a video signal having a frame rate of, for example, 30 frames per second. This video signal is digitally coded to generate image data. The image data may include human face image data. The amount of light incident on the image sensor 31c is adjusted by the aperture mechanism 31b.

レジスタ30は、カメラ情報30aを記憶する。カメラ情報30aは、例えばオートゲインコントロール機能の状態、ゲインの値、露光時間などの、カメラ部31に関する情報、あるいは画像センサ3それ自体に関する情報である。 The register 30 stores the camera information 30a. The camera information 30a is information about the camera unit 31, such as the state of the auto gain control function, the gain value, and the exposure time, or information about the image sensor 3 itself.

記憶部32は、SDRAM(Synchronous Dynamic RAM)やEPROM(Erasable Programmable ROM)などの半導体メモリである。記憶部32は、カメラ部31により取得された顔画像データを含む画像データ32a、および、実施形態に係わる各種の機能をプロセッサ33に実行させるためのプログラム32b、画像センサを一意に区別するためのセンサID(IDentification)32c、および、辞書データ32dを記憶する。 The storage unit 32 is a semiconductor memory such as an SDRAM (Synchronous Dynamic RAM) or an EPROM (Erasable Programmable ROM). The storage unit 32 uniquely distinguishes the image data 32a including the face image data acquired by the camera unit 31, the program 32b for causing the processor 33 to execute various functions related to the embodiment, and the image sensor. The sensor ID (IDentification) 32c and the dictionary data 32d are stored.

辞書データ32dは、画像センサ3における検出項目(人、物、男性、女性など)に応じて用意される、いわばテンプレートデータに類するデータである。例えば『椅子』の検出向けに用意された辞書データ32dを用いてテンプレートマッチング処理を行うことで、画像データから椅子が検出される。その精度や椅子のタイプ(オフィスチェア、ソファー、座椅子など)や色を区別可能とするために、多様な辞書データ32dが予め用意される。このほか、車椅子、ベビーカー、子供、カート、白杖利用者、徘徊老人、不審人物、迷子、逃げ遅れた人物、等を検出するための辞書データを作成することができる。作成方法の一例としては、例えばサポートベクトルマシンやボルツマンマシンなどの、機械学習(Machine-Learning)の枠組みを利用することができる。 The dictionary data 32d is data similar to template data prepared according to detection items (people, objects, men, women, etc.) in the image sensor 3. For example, the chair is detected from the image data by performing the template matching process using the dictionary data 32d prepared for the detection of the "chair". Various dictionary data 32d are prepared in advance in order to make it possible to distinguish the accuracy, the type of chair (office chair, sofa, sitting chair, etc.) and the color. In addition, it is possible to create dictionary data for detecting wheelchairs, strollers, children, carts, white cane users, wandering elderly people, suspicious persons, lost children, persons who have been late to escape, and the like. As an example of the creation method, a machine learning framework such as a support vector machine or a Boltzmann machine can be used.

プロセッサ33は、記憶部32に記憶されたプログラムをロードし、実行することで、実施形態において説明する各種の機能を実現する。プロセッサ33は、例えばマルチコアCPU(Central Processing Unit)を備え、画像処理を高速で実行することについてチューニングされたLSI(Large Scale Integration)である。FPGA(Field Programmable Gate Array)等でプロセッサ15を構成することもできる。MPU(Micro Processing Unit)もプロセッサの一つである。
通信部34は、信号線4に接続可能で、ゲートウェイ7、管理サーバ8、クラウド400、およびクラウドサーバ200とのデータの授受を仲介する。
The processor 33 realizes various functions described in the embodiment by loading and executing the program stored in the storage unit 32. The processor 33 is, for example, an LSI (Large Scale Integration) equipped with a multi-core CPU (Central Processing Unit) and tuned for executing image processing at high speed. The processor 15 can also be configured by FPGA (Field Programmable Gate Array) or the like. MPU (Micro Processing Unit) is also one of the processors.
The communication unit 34 can be connected to the signal line 4 and mediates the exchange of data with the gateway 7, the management server 8, the cloud 400, and the cloud server 200.

ところで、プロセッサ33は、実施形態に係る処理機能として、検出部33a、特徴量計算部33b、解析部33c、および学習部33dを備える。検出部33a、特徴量計算部33b、解析部33c、および学習部33dは、例えば、プロセッサ33のレジスタにロードされたプログラム32bに従い、プロセッサ33が演算処理を実行する過程で生成される、プロセスである。 By the way, the processor 33 includes a detection unit 33a, a feature amount calculation unit 33b, an analysis unit 33c, and a learning unit 33d as processing functions according to the embodiment. The detection unit 33a, the feature amount calculation unit 33b, the analysis unit 33c, and the learning unit 33d are, for example, in a process generated in the process of executing arithmetic processing by the processor 33 according to the program 32b loaded in the register of the processor 33. be.

検出部33aは、辞書データ32dを用いて視野内の対象を検出する。実施形態では、検出対象として人を想定する。すなわち検出部33aは、検出項目ごとに用意される辞書データセットを使用して、画像データ32aから執務エリア内の人を検出する。 The detection unit 33a detects an object in the visual field using the dictionary data 32d. In the embodiment, a person is assumed as a detection target. That is, the detection unit 33a detects a person in the work area from the image data 32a by using the dictionary data set prepared for each detection item.

特徴量計算部33bは、記憶部32に記憶された画像データ32aを所定のアルゴリズムで処理して、視野内の人や物体に係わる特徴量を抽出する。例えば、画像データの各フレームの輝度の変化をピクセルごとにトレースし、その時系列を分析することで動き特徴量を計算することができる。輝度勾配方向ヒストグラム(histograms of oriented gradients:HOG)特徴量、コントラスト、解像度、S/N比、および色調などの特徴量が知られている。また、輝度勾配方向共起ヒストグラム(Co-occurrence HOG:Co-HOG)特徴量、Haar-Like特徴量なども特徴量として知られている。 The feature amount calculation unit 33b processes the image data 32a stored in the storage unit 32 by a predetermined algorithm, and extracts the feature amount related to a person or an object in the visual field. For example, it is possible to calculate the motion feature amount by tracing the change in the brightness of each frame of the image data for each pixel and analyzing the time series. Histograms of oriented gradients (HOG) Features such as features, contrast, resolution, S / N ratio, and color tone are known. Further, a co-occurrence histogram (Co-occurrence HOG: Co-HOG) feature quantity, a Haar-Like feature quantity, and the like are also known as feature quantities.

解析部33cは、画像データ32aを解析して人の位置、属性情報、あるいは滞在時間などを含むセンサデータを生成する。すなわち解析部33cは、例えば特徴量計算部33bで得られた特徴量に基づき、人間情報(人の位置、人の在/不在、人数、人の行動、人の活動量、荷物の有無など)や環境情報(照度分布、温度分布等)を計算する。また、人セル位置、在/不在、滞在時間、歩行/滞留などのセンシング項目もある。解析部33cは、さらに、男性、女性、若年、中年、老年などの、より詳しい属性情報をセンシングすることも可能である。 The analysis unit 33c analyzes the image data 32a and generates sensor data including the position of a person, attribute information, staying time, and the like. That is, the analysis unit 33c is, for example, based on the feature amount obtained by the feature amount calculation unit 33b, human information (position of person, presence / absence of person, number of people, behavior of person, amount of activity of person, presence / absence of luggage, etc.). And environmental information (illuminance distribution, temperature distribution, etc.) are calculated. There are also sensing items such as human cell position, presence / absence, staying time, walking / staying. The analysis unit 33c can further sense more detailed attribute information such as male, female, young, middle-aged, and elderly.

さらに解析部33cは、人間情報、環境情報、特徴量などを参照し、例えばルールベースによる認識、あるいは機械学習による認識により、執務エリアにおける人の動作情報を取得する。例えば、動き特徴量を用いたパターン認識技術により、人の動きの傾向を示す情報(動き経路情報、動きの特徴、人の集団(クラスタ)の個々人の動きの特徴など)を検知することができる。 Further, the analysis unit 33c refers to human information, environmental information, feature quantities, and the like, and acquires human motion information in the work area by, for example, rule-based recognition or machine learning recognition. For example, pattern recognition technology using motion features can detect information indicating the tendency of human movement (movement path information, motion features, individual motion characteristics of a group of people (cluster), etc.). ..

学習部33dは、画像データ32a、および特徴量計算部33bの出力に基づいて、解析部33cによる解析結果の正答率を向上させるべく、学習を行う。 The learning unit 33d performs learning in order to improve the correct answer rate of the analysis result by the analysis unit 33c based on the output of the image data 32a and the feature amount calculation unit 33b.

図4は、各フロアの例えば天井に、執務エリアを見下ろすかたちで配設された画像センサ3で得られた画像データの一例を示す図である。この画像データのフレームは、(x)軸および(y)軸方向にそれぞれ7分割され、7×7=49個のセルに分割される。中央の画像センサ3の視野には4個のテーブルと、テーブルごとに4つの席が捉えられている。画像センサ3は、(x、y)=(2,2)、(2,6)、(6,6)、(1,4)のセルに人を検出し、人セル位置として図4に示されるセンサデータを得る。 FIG. 4 is a diagram showing an example of image data obtained by an image sensor 3 arranged on each floor, for example, on the ceiling so as to look down on the office area. The frame of this image data is divided into 7 cells in the (x) axis direction and the (y) axis direction, respectively, and is divided into 7 × 7 = 49 cells. In the field of view of the image sensor 3 in the center, four tables and four seats are captured for each table. The image sensor 3 detects a person in the cells (x, y) = (2,2), (2,6), (6,6), (1,4), and is shown in FIG. 4 as the person cell position. Get the sensor data.

図5に示されるように、図4の環境に対応して、セル(2,2)、(2,6)、(6,6)には在フラグ1が立つ。セル(1,4)については在フラグが0であり、(移動中)を検知されたことが示される。これらをまとめて、[在不在]=(1,1,1,0)のセンサデータが得られる。人を検知された各セルにつき、[滞在(在席)時間]項目として、例えば(30,30,40,00)が検知される。単位は(分)である。[歩行滞留]として、各セルに(0,0,0,1)が検知される。 As shown in FIG. 5, the presence flag 1 is set in the cells (2, 2), (2, 6), and (6, 6) corresponding to the environment of FIG. For cells (1 and 4), the presence flag is 0, indicating that (moving) has been detected. Collectively, sensor data of [absence] = (1,1,1,0) can be obtained. For each cell in which a person is detected, for example, (30, 30, 40, 00) is detected as a [stay (attendance) time] item. The unit is (minutes). (0,0,0,1) is detected in each cell as [walking retention].

さらに、各セル位置(x、y)=(2,2)、(2,6)、(6,6)、(1,4)の人の属性が、例えば男,女,女,男として特定され、それぞれを区別するための識別情報(人ID)が、例えば001,002,003,004として付与される。 Further, the attributes of the person at each cell position (x, y) = (2,2), (2,6), (6,6), (1,4) are specified as, for example, male, female, female, and male. Then, identification information (person ID) for distinguishing each is given as, for example, 001,002,003,004.

解析部33cにより計算されるセンサデータの例として、(1)人の有無、(2)人数、(3)人の活動量、(4)照度、(5)歩行者の滞留状況(歩行滞留)、について、さらに詳しく説明する。 Examples of sensor data calculated by the analysis unit 33c are (1) presence / absence of people, (2) number of people, (3) activity amount of people, (4) illuminance, and (5) pedestrian retention status (walking retention). , Will be described in more detail.

(1)人の有無(人の在又は不在)の検知
例えば、解析部33cは、画像間の差分に基づいて画像内の人物領域を識別することにより人の有無を検知してもよい。あるいは、人物認識技術を応用して人の有無を検知することもできる。画像間の差分には、背景画像との差分や、時間的に連続する画像間の差分(フレーム間差分)などが用いられてもよい。
(1) Detection of presence / absence of a person (presence / absence of a person) For example, the analysis unit 33c may detect the presence / absence of a person by identifying a person area in the image based on the difference between the images. Alternatively, the presence or absence of a person can be detected by applying the person recognition technology. As the difference between the images, a difference from the background image, a difference between temporally continuous images (difference between frames), and the like may be used.

(2)人数の推定
例えば、解析部33cは、(1)と同様の方法で画像内の人物領域を識別し、識別された人物領域の画像データを画像処理して、対象空間に存在する人の人数を推定してもよい。
(2) Estimating the number of people For example, the analysis unit 33c identifies a person area in the image by the same method as in (1), processes the image data of the identified person area into an image, and exists in the target space. You may estimate the number of people.

(3)人の活動量の推定
例えば、解析部33cは、フレーム間差分などを用いて動き領域を抽出し、抽出された動き領域の大きさや形状等に基づいて活動量を推定してもよい。例えば、活動量は“無”、“小”、“中”、“大”などの段階で推定されてもよいし、METs(Metabolic Equivalents)等の指標値として推定されてもよい。解析部33cは、部分空間ごとに動き領域を抽出し、部分空間ごとの活動量を推定してもよい。
(3) Estimating the amount of human activity For example, the analysis unit 33c may extract a movement region using an inter-frame difference or the like, and estimate the amount of activity based on the size, shape, or the like of the extracted movement region. .. For example, the amount of activity may be estimated at stages such as “none”, “small”, “medium”, and “large”, or may be estimated as an index value such as METs (Metabolic Equivalents). The analysis unit 33c may extract a motion region for each subspace and estimate the amount of activity for each subspace.

(4)照度の推定
例えば、解析部33cは、画像と、カメラ部31の撮像設定値(例えばゲインや露光時間など)とに基づいて対象空間(あるいは部分空間ごと)の照度を推定してもよい。
(4) Illuminance estimation For example, the analysis unit 33c may estimate the illuminance of the target space (or each subspace) based on the image and the image pickup set value (for example, gain, exposure time, etc.) of the camera unit 31. good.

(5)歩行滞留の検知
例えば、解析部33cは、フレーム間差分などを用いて動き領域を抽出し、抽出された動き領域の大きさや形状等に基づいて歩行滞留を検知してもよい。
(5) Detection of gait retention For example, the analysis unit 33c may extract a movement region using a difference between frames or the like, and detect gait retention based on the size, shape, or the like of the extracted motion region.

画像センサ3は、図4に示されるようなセンサデータを繰り返し生成する。センサデータは画像センサ3からゲートウェイ7を経由してクラウドサーバ200に送信される。 The image sensor 3 repeatedly generates sensor data as shown in FIG. The sensor data is transmitted from the image sensor 3 to the cloud server 200 via the gateway 7.

さらに、実施形態では、画像センサ3の解析部33cにおいて、人の動作情報を算出する。
図6は、人の動作情報について説明するための模式図である。動作情報とは、例えば人の動きやその傾向、移動軌跡、あるいは行動などを表現する情報であり、各画像センサ3においてリアルタイムで取得される。図6に示されるように或る人の動線が、限度を超えて不規則な軌跡を描いたとすると、その人は眩暈がしていたり、酩酊していたり、平衡感覚を失っていたりと、いずれにせよ体調の良くないことがうかがえる。このような動きの傾向は数値化することが可能であり、例えばマシンラーニングの手法により健康/不健康の2通りにクラス分類することができる。
Further, in the embodiment, the analysis unit 33c of the image sensor 3 calculates human motion information.
FIG. 6 is a schematic diagram for explaining human motion information. The motion information is information expressing, for example, a person's movement, its tendency, a movement trajectory, or a behavior, and is acquired in real time by each image sensor 3. As shown in FIG. 6, if a person's flow line follows an irregular trajectory beyond the limit, the person may be dizzy, intoxicated, or out of balance. In any case, I can see that I am not feeling well. The tendency of such movements can be quantified, and can be classified into two types, healthy / unhealthy, by, for example, a machine learning method.

また、仮に一つの場所から動かない人であっても、くしゃみ、咳などの症状を呈することがあり、これらの特徴的な動きは画像センサ3で解析されて、行動情報に分類される。さらに、集団の中央にいる人から放射状に他の人が離れてゆく動きが検出されたとする。このような場合、その中央にいる人はマスク無しで咳をしたか、あるいはくしゃみをしたりした可能性が高い。近年のCOVID-19による社会情勢を鑑み、このような特徴的な動きが観測されることが多くなると考えられるが、これも数値化して動作情報として用いることができる。 Further, even a person who does not move from one place may exhibit symptoms such as sneezing and coughing, and these characteristic movements are analyzed by the image sensor 3 and classified into behavioral information. Furthermore, suppose that the movement of another person moving away from the person in the center of the group in a radial pattern is detected. In such cases, the person in the center is likely to have coughed or sneezeed without a mask. In view of the social situation caused by COVID-19 in recent years, it is considered that such characteristic movements are often observed, but these can also be quantified and used as operation information.

図7は、動作情報の一例を示す図である。クラス分類により、例えばくしゃみ、ふらつき、咳の3通りに人の動きを分類して、それぞれの動きについての確からしさを点数化することができる。点数は例えば100点満点とし、数値の大きいほど可能性が高いとする。図7によれば、例えばある時点においてID=001の人はくしゃみをし、ID=002の人は咳をした可能性の高いことが分かる。動作情報はリアルタイムに計算され、点数は次々と変化してゆく。 FIG. 7 is a diagram showing an example of operation information. According to the classification, it is possible to classify a person's movement into three types, for example, sneezing, light-headedness, and coughing, and score the certainty of each movement. The score is, for example, 100 points, and the larger the value, the higher the possibility. According to FIG. 7, for example, it can be seen that a person with ID = 001 is likely to sneeze and a person with ID = 002 is likely to cough at a certain point in time. The operation information is calculated in real time, and the score changes one after another.

図8は、図2の病歴・動作データベース42に記憶される情報の一例を示す図である。病歴・動作データベース42は、個人に対応付けられたID(IDentification)ごとに、例えば既往歴、体質、あるいは喫煙歴などの、健康に関する履歴情報(健康履歴情報)を対応付けて登録したデータベースである。この種のデータベースは、企業として許可を得て、関係する病院で有する患者の病歴等に関するデータベースから必要な情報を収集したり、企業の健康診断において、産業医面談や、従業員に対するアンケート形式の質問に回答してもらうことで各従業員から収集することで、構築されるものである。また、個人のIDは、例えばICカードなどで一意に特定することが可能である。 FIG. 8 is a diagram showing an example of information stored in the medical history / motion database 42 of FIG. The medical history / behavior database 42 is a database in which history information (health history information) related to health such as medical history, constitution, or smoking history is associated and registered for each ID (IDentification) associated with an individual. .. This type of database collects necessary information from the database on the medical history of patients in related hospitals with permission as a company, and in the form of interviews with industrial physicians and questionnaires to employees in corporate health examinations. It is constructed by collecting from each employee by having them answer the questions. Further, the personal ID can be uniquely specified by, for example, an IC card.

図9は、図2の個人情報データベース43に記憶される情報の一例を示す図である。個人情報データベース43は、個人のIDに、年齢、住所、あるいは渡航歴などの個人情報を対応付けて登録したデータベースである。この種のデータベースは、例えば自治体のデータベースから許可を受けて必要な情報を収集したり、アンケート形式により収集した情報、あるいは勤務先のデータベースに問い合わせるなどの方法で構築することができる。 FIG. 9 is a diagram showing an example of information stored in the personal information database 43 of FIG. The personal information database 43 is a database in which personal information such as age, address, or travel history is associated with an individual's ID and registered. This type of database can be constructed, for example, by collecting necessary information with permission from the database of the local government, collecting information in the form of a questionnaire, or inquiring to the database of the place of employment.

図10は、図2のオフィスデータベース44に記憶される情報の一例を示す図である。オフィスデータベース44は、個人のIDに対応づけて、毎日の実際の入室/退室時刻、毎日の業務予定、出張先などの、従業員ごとに予定と実際の就業情報を対応付けて登録したデータベースである。この種のデータベースは、各個人のスケジュールや勤怠情報を、それぞれの勤務先からイントラネット経由で収集するなどの方法で構築することができる。 FIG. 10 is a diagram showing an example of information stored in the office database 44 of FIG. The office database 44 is a database in which schedules and actual employment information are registered for each employee, such as daily actual entry / exit times, daily work schedules, business trip destinations, etc., in association with individual IDs. be. This type of database can be constructed by collecting individual schedules and attendance information from their respective workplaces via the intranet.

<クラウドサーバ>
図11は、クラウドサーバ200の一例を示すブロック図である。クラウドサーバ200は、CPUやMPU等のプロセッサ210と、ROM(Read Only Memory)220およびRAM(Random Access Memory)230を備えるコンピュータである。クラウドサーバ200は、さらに、ハードディスクドライブ(Hard Disk Drive:HDD)などの記憶部240、光学メディアドライブ260、および、通信部270を備える。
<Cloud server>
FIG. 11 is a block diagram showing an example of the cloud server 200. The cloud server 200 is a computer including a processor 210 such as a CPU and an MPU, a ROM (Read Only Memory) 220, and a RAM (Random Access Memory) 230. The cloud server 200 further includes a storage unit 240 such as a hard disk drive (HDD), an optical media drive 260, and a communication unit 270.

ROM220は、BIOS(Basic Input Output System)やUEFI(Unified Extensible Firmware Interface)などの基本プログラム、および各種の設定データ等を記憶する。RAM230は、記憶部240からロードされたプログラムやデータを一時的に記憶する。 The ROM 220 stores basic programs such as BIOS (Basic Input Output System) and UEFI (Unified Extensible Firmware Interface), and various setting data. The RAM 230 temporarily stores programs and data loaded from the storage unit 240.

光学メディアドライブ260は、CD-ROM280などの記録媒体に記録されたディジタルデータを読み取る。クラウドサーバ200で実行される各種プログラムは、例えばCD-ROM280に記録されて頒布される。このCD-ROM280に格納されたプログラムは光学メディアドライブ260により読み取られ、記憶部240にインストールされる。 The optical media drive 260 reads digital data recorded on a recording medium such as a CD-ROM 280. Various programs executed by the cloud server 200 are recorded and distributed on, for example, a CD-ROM 280. The program stored in the CD-ROM 280 is read by the optical media drive 260 and installed in the storage unit 240.

通信部270は、専用線ネットワーク300およびファイヤウォール6経由での、画像センサシステムとの通信を制御する。 The communication unit 270 controls communication with the image sensor system via the leased line network 300 and the firewall 6.

記憶部240は、プロセッサ210により実行されるプログラム240aに加え、クラウド400の各データベースと同等の病歴・動作データベース42、個人情報データベース43、およびオフィスデータベース44を記憶する。プログラム240aは、クラウドサーバ200を、受信部200aとして機能させるための命令と、取得部200bとして機能させるための命令と、計算部200cとして機能させるための命令とを含む。 In addition to the program 240a executed by the processor 210, the storage unit 240 stores a medical history / operation database 42, a personal information database 43, and an office database 44 equivalent to each database of the cloud 400. The program 240a includes an instruction for making the cloud server 200 function as a receiving unit 200a, an instruction for making it function as an acquisition unit 200b, and an instruction for making it function as a calculation unit 200c.

ところで、図11においてプロセッサ210は、その機能として受信部200a、取得部200b、および計算部200cを備える。 By the way, in FIG. 11, the processor 210 includes a receiving unit 200a, an acquisition unit 200b, and a calculation unit 200c as its functions.

受信部200aは、画像センサ3(図2、図3)で生成されたセンサデータを、それぞれの画像センサ3から直接、あるいはセンサデータベース9aを経由して受信する。例えばクラウドサーバ200は、例えば一定のポーリング周期でセンサデータ取得要求をゲートウェイ7に送信する。この要求を受け付けたゲートウェイ7は、クラウドサーバ200にセンサデータを送信する。受信部200aは、送信されたセンサデータを受信する。 The receiving unit 200a receives the sensor data generated by the image sensors 3 (FIGS. 2 and 3) directly from the respective image sensors 3 or via the sensor database 9a. For example, the cloud server 200 transmits a sensor data acquisition request to the gateway 7 at a constant polling cycle, for example. The gateway 7 that has received this request transmits the sensor data to the cloud server 200. The receiving unit 200a receives the transmitted sensor data.

取得部200bは、病歴・動作データベース42にアクセスして健康履歴情報を取得する。また取得部200bは、個人情報データベース43にアクセスして、各個人の個人情報を取得する。また取得部200bは、オフィスデータベース44にアクセスして、各個人の就業情報を取得する。 The acquisition unit 200b accesses the medical history / motion database 42 to acquire health history information. Further, the acquisition unit 200b accesses the personal information database 43 and acquires the personal information of each individual. Further, the acquisition unit 200b accesses the office database 44 and acquires employment information of each individual.

計算部200cは、画像センサから受信したセンサデータに含まれる、人の動作情報と、病歴・動作データベース42から取得した健康履歴情報とに基づいて、人の体調の傾向を示すスコアを、リアルタイムに計算する。このスコアは例えばセンサデータが取得されるたびに、人ごとにリアルタイムで計算される。仮に、スコアが所定の範囲を逸脱した人が現れれば、メールサーバ500はその人本人、あるいはその人の関係者(上司など)の少なくともどちらかに、体調が懸念されることを示すメールを送信して警告する。 The calculation unit 200c obtains a score indicating a tendency of a person's physical condition in real time based on the person's movement information included in the sensor data received from the image sensor and the health history information acquired from the medical history / movement database 42. calculate. This score is calculated in real time for each person, for example, each time sensor data is acquired. If a person whose score deviates from a predetermined range appears, the mail server 500 sends an e-mail indicating that the person is concerned about his / her physical condition to at least one of the person himself / herself or a person related to the person (such as a boss). And warn you.

図12は、人の体調の傾向を示すスコアについて説明するための図である。例えば健康、鼻炎(発熱無し)、風邪(発熱有り)の3通りの体調について、人ごとに数値化したスコア(確からしさ)を計算することができる。スコアは100点満点で、数値の大きいほど可能性が高い。 FIG. 12 is a diagram for explaining a score showing a tendency of a person's physical condition. For example, it is possible to calculate a numerical score (probability) for each person for three types of physical conditions: health, rhinitis (without fever), and cold (with fever). The score is 100 points, and the larger the number, the higher the possibility.

図7の動作情報によれば、ID=001の人の動きスコアは、くしゃみ=80、ふらつき=5、咳=3である。図8の病歴・動作データベースによれば、この人は花粉アレルギーの体質を持つので、総合的に、この人は鼻炎である可能性の高いことが判定される。よってID=001の人についてのスコアは、例えば(健康、鼻炎、風邪)=(30,80,5)の数値の組(ベクトル)として計算される(図12)。この種のスコアの計算は、多変量解析や、機械学習の枠組みを用いて実現可能である。つまり、リアルタイムの動作情報と、予め登録された病歴・動作データベース42、個人情報データベース43、オフィスデータベース44の各情報を、予め作成された学習済みモデルの入力層に入力すれば、中間層での重み付け演算を経て出力層からスコアを得ることができる。 According to the motion information of FIG. 7, the motion score of the person with ID = 001 is sneezing = 80, wobbling = 5, and cough = 3. According to the medical history / behavior database of FIG. 8, since this person has a constitution of pollen allergy, it is comprehensively determined that this person is highly likely to have rhinitis. Therefore, the score for a person with ID = 001 is calculated as, for example, a set (vector) of numerical values (health, rhinitis, cold) = (30, 80, 5) (FIG. 12). This kind of score calculation is feasible using multivariate analysis and machine learning frameworks. That is, if real-time operation information and each information of the pre-registered medical history / operation database 42, personal information database 43, and office database 44 are input to the input layer of the pre-created trained model, the intermediate layer can be used. A score can be obtained from the output layer via a weighting operation.

図12によれば、ID=002の人の風邪(発熱有り)のスコアが90点と、突出して高い。発熱が疑われ、さらに個人情報データベース(図9)によれば海外(AAA国)への渡航歴があることから、COVID-19にり患している可能性もある。病歴・動作データベースにCOVID-19の罹患歴が登録されていなければ、その可能性はますます高まるものと思われる。このようなケースでは、その人本人だけでなく、上司や、さらには、画像データ解析で分かったID=002の濃厚接触者に対しても警告メッセージを通知するのが好ましい。画像データ解析によりマスク着用者/非着用者についての知見を得て、非着用者だけに警告しても良い。次に、上記構成における作用を説明する。 According to FIG. 12, a person with ID = 002 has a cold (with fever) score of 90 points, which is extremely high. It is possible that he has COVID-19 because he is suspected of having a fever and has traveled abroad (AAA country) according to the personal information database (Fig. 9). If the medical history / behavior database does not have a history of COVID-19, the possibility is likely to increase. In such a case, it is preferable to notify the warning message not only to the person himself / herself but also to his / her boss and further to the close contact person with ID = 002 found by the image data analysis. Image data analysis may be used to obtain knowledge about mask wearers / non-wearers and warn only non-wearers. Next, the operation in the above configuration will be described.

<作用>
図13は、実施形態に係わる体調評価システムにおける処理手順の一例を示すシーケンス図である。図13において、画像センサ3は、それぞれ自らの割り当てエリアを撮像し(ステップS1)、画像データを解析して(ステップS2)、人の動作情報を含むセンサデータを生成する。得られた動作情報はセンサデータベース9a、およびクラウドサーバ200に送信される(ステップS3)。なおステップS1~ステップS3の手順は繰り返し実行され、動作情報はリアルタイムで生成され、クラウドサーバ200に送信される。
<Action>
FIG. 13 is a sequence diagram showing an example of a processing procedure in the physical condition evaluation system according to the embodiment. In FIG. 13, each image sensor 3 captures its own assigned area (step S1), analyzes the image data (step S2), and generates sensor data including human motion information. The obtained operation information is transmitted to the sensor database 9a and the cloud server 200 (step S3). The procedures of steps S1 to S3 are repeatedly executed, operation information is generated in real time, and is transmitted to the cloud server 200.

クラウドサーバ200は、動作情報(図7)を受信すると(ステップS4)、動作情報に係わる個人を特定し(ステップS5)、IDを取得する。次にクラウドサーバ200は、特定された人のIDごとに、病歴・動作データベース42(図8)から健康履歴情報を取得し(ステップS6)、個人情報データベース43(図9)から個人情報を取得し(ステップS7)、オフィスデータベース44(図10)から就業情報を取得する(ステップS8)。そして、これらの情報に基づいて、クラウドサーバ200は体調スコアを計算する(ステップS9)。 When the cloud server 200 receives the operation information (FIG. 7) (step S4), the cloud server 200 identifies an individual related to the operation information (step S5) and acquires an ID. Next, the cloud server 200 acquires health history information from the medical history / operation database 42 (FIG. 8) (step S6) and personal information from the personal information database 43 (FIG. 9) for each ID of the specified person. (Step S7), employment information is acquired from the office database 44 (FIG. 10) (step S8). Then, based on this information, the cloud server 200 calculates the physical condition score (step S9).

次にクラウド40は、人のIDごとに、予め定められた閾値と体調スコアとを比較し、スコアが閾値以上になった人については、メールサーバ500に警告の通知を要求する(ステップS10でYes)。 Next, the cloud 40 compares a predetermined threshold value with the physical condition score for each person's ID, and requests the mail server 500 to notify the warning to the person whose score exceeds the threshold value (in step S10). Yes).

この要求を受けたメールサーバ500は、例えば図14に示されるような、「風邪のひきはじめのようです。無理をせず、ゆっくり休息しましょう」といったメッセージを従業員本人に送信する(ステップS11)と共に、その管理者に対し従業員とそのメッセージ内容についてメッセージを送信して通知し、又は、図示しない管理者の管理PCの画面上でこれを表示させる。このメールを受けた人は、所持するスマートフォンやタブレット20の画面に表示されたメッセージを読むことで、早めに帰宅するなどの対応を迅速にとれるようになる。 Upon receiving this request, the mail server 500 sends a message such as "It looks like you are starting to catch a cold. Let's take a rest without overdoing it" to the employee himself (step S11), for example, as shown in FIG. ), A message is sent to notify the administrator about the employee and the content of the message, or this is displayed on the screen of the administrator's management PC (not shown). By reading the message displayed on the screen of the smartphone or tablet 20 possessed by the person who receives this e-mail, he / she will be able to quickly take measures such as returning home early.

ここで、ステップS5における、個人を特定する処理について補足する。病歴・動作データベース42(図8)に関する説明の中で、個人のIDは、例えばICカードなどで一意に特定できることを説明した。そして、例えばオフィスビル100への入退ゲートを通過するのに際し、ICカードを読み取り機にかざすことで、ゲートを通過した人と個人IDとを一意に対応付けることができる。その後は、オフィスビル100内の複数のカメラ3によりゲートを通過した人を追跡し続けることで、入館したそれぞれの人とその個人IDとを対応付けて管理することが可能になる。入館者と個人IDとを対応付けたデータテーブルを例えば管理サーバ8(図2)において管理し、このデータテーブルを例えば定期的にクラウドサーバ200に転送することで、クラウドサーバ200は、体調管理の対象とすべき個人を特定することが可能になる。 Here, the process of identifying an individual in step S5 is supplemented. In the explanation regarding the medical history / operation database 42 (FIG. 8), it was explained that the individual ID can be uniquely specified by, for example, an IC card. Then, for example, when passing through the entrance / exit gate to the office building 100, by holding the IC card over the reader, the person who has passed through the gate and the personal ID can be uniquely associated with each other. After that, by continuously tracking the people who have passed through the gate by the plurality of cameras 3 in the office building 100, it becomes possible to manage each person who entered the building in association with the personal ID. By managing a data table in which visitors and personal IDs are associated with each other, for example, in the management server 8 (FIG. 2) and transferring this data table to the cloud server 200, for example, the cloud server 200 manages the physical condition. It becomes possible to identify the individual to be targeted.

<効果>
以上述べたように、実施形態では、画像センサ3によりセンシングされるオフィス従業員の動作から、リアルタイムで体調評価、動作情報を算出する。動作情報はクラウドサーバ200に渡される。クラウドは、その人の過去の病歴、個人情報(年齢等)、就業情報(会議参加情報、オフィス入退情報)に示される正常な動作情報との比較によって、その人の体調に紐づく動作的な異常を認識する。異常な動作を行う従業員が発見されると、監視カメラ3-0による追跡監視を開始するとともに、その人本人、あるいは上司などの管理者に警告する。このようにしたので、体調に関わる異常行動を正常行動に戻すことを補助することができる。
<Effect>
As described above, in the embodiment, the physical condition evaluation and the motion information are calculated in real time from the motion of the office employee sensed by the image sensor 3. The operation information is passed to the cloud server 200. The cloud is a behavioral relationship that is linked to the person's physical condition by comparing it with the normal operation information shown in the person's past medical history, personal information (age, etc.), and employment information (meeting participation information, office entry / exit information). Recognize any abnormalities. When an employee who behaves abnormally is found, tracking and monitoring by the surveillance camera 3-0 is started, and the person or an administrator such as a boss is warned. By doing so, it is possible to assist in returning the abnormal behavior related to the physical condition to the normal behavior.

既存の技術では、オフィスの健康という観点において、オフィスにおける人の動作に関わる情報(リアルタイム性のある情報)と、過去の病歴、健康・個人情報、オフィス情報(リアルタイム性の無い情報)とを組み合わせて、個々人の体調に紐づく動作を検知することはできなかった。例えば業務中に体温や脈を計る(体に接触させる機器を使った)ことで、体調の見える化や健康促進させるもの、あるいは、リアルタイム性の無い、過去の病歴や就業状況より体調を診断し、体調の見える化や健康促進させるものが知られているに過ぎなかった。 With existing technology, from the perspective of office health, information related to human movements in the office (information with real-time characteristics) is combined with past medical history, health / personal information, and office information (information without real-time characteristics). Therefore, it was not possible to detect the movements associated with the physical condition of each individual. For example, by measuring body temperature and pulse during work (using a device that comes into contact with the body), it is possible to visualize physical condition and promote health, or to diagnose physical condition from past medical history and employment status without real-time characteristics. Only those that visualize physical condition and promote health were known.

これに対して実施形態によれば、オフィス従業員の動作情報、健康履歴情報、個人情報、就業情報を活用し、皆が健康でいられるためのシステムを構築することができる。すなわち、従業員の動作をリアルタイムで観察して体調を評価し、その人の過去の病歴、個人情報、業務情報による正常な動作情報(動作確からしさ)から、その人の体調に関連する動作的な異常を認識することができる。さらに、異常な動作を行う従業員を判別し、選択的に監視したり、警告メッセージを送信することも可能になる。 On the other hand, according to the embodiment, it is possible to construct a system for everyone to be healthy by utilizing the operation information, health history information, personal information, and employment information of office employees. That is, the movement of an employee is observed in real time to evaluate the physical condition, and the normal movement information (movement certainty) based on the person's past medical history, personal information, and business information is used to determine the movement related to the person's physical condition. Can recognize abnormalities. In addition, it will be possible to identify employees who behave abnormally, selectively monitor them, and send warning messages.

これらのことから実施形態によれば、リアルタイムな情報を画像センサで取得し、予め作成されたデータベースも利用して、人の体調を評価する体調評価システム、サーバ、プログラムおよび体調評価サービス提供方法を提供することが可能になる。 Based on these facts, according to the embodiment, a physical condition evaluation system, a server, a program, and a physical condition evaluation service providing method for evaluating a person's physical condition by acquiring real-time information with an image sensor and using a database created in advance are provided. It will be possible to provide.

なお、この発明は上記実施の形態に限定されるものではない。例えば、実施形態では、クラウドサーバ200に受信部200a、取得部200b、計算部200cを実装する形態について説明した。これに代えて、クラウド400にこれらのオブジェクトを実装することももちろん可能である。 The present invention is not limited to the above embodiment. For example, in the embodiment, a mode in which a receiving unit 200a, an acquisition unit 200b, and a calculation unit 200c are mounted on the cloud server 200 has been described. Alternatively, it is of course possible to implement these objects in the cloud 400.

例えばSaaS(Software as a Service)として知られるサービス形態では、クラウド400に構築される仮想サーバに実装されたアプリケーション(クラウドアプリ)として、受信部200a、取得部200b、および計算部200cを実装することができる。この種の機能は、ハードウェアとしての実体を持つサーバと、サーバにインストールされたアプリケーションとの連携により実現されることができる。サーバは一つでも、複数でもよい。 For example, in a service form known as SaaS (Software as a Service), a receiving unit 200a, an acquisition unit 200b, and a calculation unit 200c are implemented as an application (cloud application) implemented in a virtual server constructed in a cloud 400. Can be done. This kind of function can be realized by linking a server that has an entity as hardware and an application installed on the server. There may be one server or multiple servers.

このように、クラウドサーバ200に備わる機能の一部、または全てをクラウド400に実装することもできる。また、センサデータベース9aをクラウド400に設けても良い。さらには、ゲートウェイ7との連携により各種の機能を実現することもできる。 In this way, some or all of the functions provided in the cloud server 200 can be implemented in the cloud 400. Further, the sensor database 9a may be provided in the cloud 400. Furthermore, various functions can be realized by linking with the gateway 7.

また、体調スコアの算出の際に、海外への渡航歴だけでなく、どこで誰と会議をしていたか、あるいはSNSから判定される交友関係の傾向、友人の居住地、なども判定材料になり得る。実施形態ではこのような情報もデータベース化し、参照することができる。さらには、別途設けた赤外線センサなどにより、個々人の体温を物理的に検知して判断の一助とすることもできる。 In addition, when calculating the physical condition score, not only the travel history overseas, but also where and with whom the meeting was held, the tendency of friendships judged by SNS, the place of residence of friends, etc. can be used as judgment materials. obtain. In the embodiment, such information can also be stored in a database and referred to. Furthermore, it is also possible to physically detect the body temperature of an individual with an infrared sensor or the like provided separately to assist in the judgment.

また実施形態では、体調スコアが閾値を逸脱した人に送られる警告メッセージとして図14に示すようなメールとしたが、これに限らず、警告の仕方には様々なバリエーションが考えられるし、必ずしもメールサーバ500を必要とするものでもない。さらに、メール送信機能はオプションとしても良い。要するに個々人の体調をリアルタイムで把握することができれば目的は達成される。 Further, in the embodiment, the e-mail as shown in FIG. 14 is used as a warning message sent to a person whose physical condition score deviates from the threshold value. Nor does it require a server 500. Furthermore, the mail sending function may be an option. In short, the purpose will be achieved if the physical condition of each individual can be grasped in real time.

本発明の実施形態を説明したが、この実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. This novel embodiment can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. This embodiment and its modifications are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.

1…照明機器、2…空調機器、3…画像センサ、3-0…監視カメラ、4…信号線、5…ビル内ネットワーク、6…ファイヤウォール、7…ゲートウェイ、8…管理サーバ、9a…センサデータベース、15…プロセッサ、20…タブレット、30…レジスタ、30a…カメラ情報、31…カメラ部、31a…魚眼レンズ、31b…絞り機構、31c…撮像素子、32…記憶部、32a…画像データ、32b…プログラム、32d…辞書データ、33…プロセッサ、33a…検出部、33b…特徴量計算部、33c…解析部、33d…学習部、34…通信部、35…内部バス、40…クラウド、41…監視カメラ、42…病歴・動作データベース、43…個人情報データベース、44…オフィスデータベース、100…オフィスビル、200…クラウドサーバ、200a…受信部、200b…取得部、200c…計算部、210…プロセッサ、220…ROM、230…RAM、240…記憶部、240a…プログラム、260…光学メディアドライブ、270…通信部、300…専用線ネットワーク、400…クラウド、500…メールサーバ。 1 ... lighting equipment, 2 ... air conditioning equipment, 3 ... image sensor, 3-0 ... surveillance camera, 4 ... signal line, 5 ... building network, 6 ... firewall, 7 ... gateway, 8 ... management server, 9a ... sensor Database, 15 ... Processor, 20 ... Tablet, 30 ... Register, 30a ... Camera information, 31 ... Camera unit, 31a ... Fish-eye lens, 31b ... Aperture mechanism, 31c ... Imaging element, 32 ... Storage unit, 32a ... Image data, 32b ... Program, 32d ... dictionary data, 33 ... processor, 33a ... detection unit, 33b ... feature amount calculation unit, 33c ... analysis unit, 33d ... learning unit, 34 ... communication unit, 35 ... internal bus, 40 ... cloud, 41 ... monitoring Camera, 42 ... medical history / operation database, 43 ... personal information database, 44 ... office database, 100 ... office building, 200 ... cloud server, 200a ... receiver, 200b ... acquisition unit, 200c ... calculation unit, 210 ... processor, 220 ... ROM, 230 ... RAM, 240 ... storage unit, 240a ... program, 260 ... optical media drive, 270 ... communication unit, 300 ... dedicated line network, 400 ... cloud, 500 ... mail server.

Claims (9)

人を検知する人感センサと、
前記人感センサと通信可能なサーバと、
前記サーバからアクセス可能なデータベースとを具備し、
前記データベースは、
人ごとの健康履歴情報を記憶する病歴・動作データベースを含み、
前記人感センサは、
所定エリアを撮像して得られた画像データを解析して、人の動作情報に係るセンサデータを生成する解析部を備え、
前記サーバは、
前記センサデータを前記人感センサから受信する受信部と、
前記病歴・動作データベースから前記健康履歴情報を取得する取得部と、
前記受信されたセンサデータに含まれる前記人の動作情報と、前記健康履歴情報とに基づいて、前記人の体調の傾向を示すスコアを計算する計算部とを備える、体調評価システム。
A motion sensor that detects people and
A server that can communicate with the motion sensor,
It has a database that can be accessed from the server.
The database is
Includes a medical history / behavior database that stores health history information for each person
The motion sensor is
It is equipped with an analysis unit that analyzes the image data obtained by imaging a predetermined area and generates sensor data related to human motion information.
The server
A receiving unit that receives the sensor data from the motion sensor,
An acquisition unit that acquires the health history information from the medical history / operation database,
A physical condition evaluation system including a calculation unit that calculates a score indicating a tendency of the physical condition of the person based on the motion information of the person included in the received sensor data and the health history information.
前記スコアが所定の範囲を逸脱した人、またはその人の関係者の少なくともいずれかに警告メッセージを通知するメッセージサーバをさらに具備する、請求項1に記載の体調評価システム。 The physical condition evaluation system according to claim 1, further comprising a message server for notifying at least one of a person whose score deviates from a predetermined range or a person concerned with the warning message. 人ごとの個人情報を記憶する個人情報データベースをさらに具備し、
前記計算部は、前記動作情報、前記健康履歴情報、および前記個人情報に基づいて前記スコアを計算する、請求項1または2のいずれかに記載の体調評価システム。
It also has a personal information database that stores personal information for each person.
The physical condition evaluation system according to claim 1 or 2, wherein the calculation unit calculates the score based on the operation information, the health history information, and the personal information.
人ごとの就業情報を記憶するオフィスデータベースをさらに具備し、
前記計算部は、前記動作情報、前記健康履歴情報、および前記就業情報に基づいて前記スコアを計算する、請求項1または2のいずれかに記載の体調評価システム。
It also has an office database that stores employment information for each person.
The physical condition evaluation system according to claim 1 or 2, wherein the calculation unit calculates the score based on the operation information, the health history information, and the employment information.
前記センサデータを記憶するセンサデータベースをさらに具備し、
前記計算部は、前記センサデータベースのセンサデータに含まれる前記人の動作情報と、前記健康履歴情報とに基づいて前記スコアを計算する、請求項1または2のいずれかに記載の体調評価システム。
Further equipped with a sensor database for storing the sensor data,
The physical condition evaluation system according to claim 1 or 2, wherein the calculation unit calculates the score based on the motion information of the person included in the sensor data of the sensor database and the health history information.
所定エリアを撮像して得られた画像データより人の動作情報に係るセンサデータを生成する人感センサから、前記センサデータを受信する受信部と、
人ごとの健康履歴情報を記憶する病歴・動作データベースから前記健康履歴情報を取得する取得部と、
前記受信されたセンサデータに含まれる前記人の動作情報と、前記健康履歴情報とに基づいて、前記人の体調の傾向を示すスコアを計算する計算部とを備える、サーバ。
A receiving unit that receives the sensor data from a motion sensor that generates sensor data related to human motion information from image data obtained by imaging a predetermined area.
The acquisition unit that acquires the health history information from the medical history / operation database that stores the health history information for each person, and
A server including a calculation unit that calculates a score indicating a tendency of the physical condition of the person based on the movement information of the person included in the received sensor data and the health history information.
コンピュータを、所定エリアを撮像して得られた画像データを解析して人の動作情報を含むセンサデータを生成する人感センサから、前記センサデータを受信する受信部として機能させるための命令と、
コンピュータを、人ごとの健康履歴情報を記憶する病歴・動作データベースから前記健康履歴情報を取得する取得部として機能させるための命令と、
コンピュータを、前記受信されたセンサデータに含まれる前記人の動作情報と、前記健康履歴情報とに基づいて、前記人の体調の傾向を示すスコアを計算する計算部として機能させるための命令とを含む、プログラム。
A command for causing the computer to function as a receiving unit for receiving the sensor data from a motion sensor that analyzes image data obtained by imaging a predetermined area and generates sensor data including human motion information.
Instructions for making the computer function as an acquisition unit that acquires the health history information from the medical history / operation database that stores the health history information for each person.
An instruction for causing the computer to function as a calculation unit for calculating a score indicating a tendency of the physical condition of the person based on the movement information of the person included in the received sensor data and the health history information. Including, program.
人を検知する人感センサが、所定エリアを撮像して得られた画像データを解析して、人の動作情報に係るセンサデータを生成する過程と、
前記人感センサと通信可能なサーバが、前記センサデータを前記人感センサから受信する過程と、
前記サーバが、人ごとの健康履歴情報を記憶する病歴・動作データベースから前記健康履歴情報を取得する過程と、
前記サーバが、前記受信されたセンサデータに含まれる前記人の動作情報と、前記健康履歴情報とに基づいて、前記人の体調の傾向を示すスコアを計算する過程とを具備する、体調評価サービス提供方法。
A process in which a motion sensor that detects a person analyzes image data obtained by imaging a predetermined area and generates sensor data related to human motion information.
A process in which a server capable of communicating with the motion sensor receives the sensor data from the motion sensor, and
The process in which the server acquires the health history information from the medical history / operation database that stores the health history information for each person, and
A physical condition evaluation service comprising a process in which the server calculates a score indicating a tendency of the physical condition of the person based on the motion information of the person included in the received sensor data and the health history information. Providing method.
前記サーバが、前記スコアが所定の範囲を逸脱した人、またはその人の関係者の少なくともいずれかに警告メッセージを通知する過程をさらに具備する、請求項8に記載の体調評価サービス提供方法。 The method for providing a physical condition evaluation service according to claim 8, wherein the server further comprises a process of notifying at least one of a person whose score deviates from a predetermined range or a person concerned with the person.
JP2020159429A 2020-09-24 2020-09-24 Physical condition evaluation system, server, program and method of providing physical condition evaluation service Active JP7183232B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020159429A JP7183232B2 (en) 2020-09-24 2020-09-24 Physical condition evaluation system, server, program and method of providing physical condition evaluation service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020159429A JP7183232B2 (en) 2020-09-24 2020-09-24 Physical condition evaluation system, server, program and method of providing physical condition evaluation service

Publications (2)

Publication Number Publication Date
JP2022052910A true JP2022052910A (en) 2022-04-05
JP7183232B2 JP7183232B2 (en) 2022-12-05

Family

ID=80962890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020159429A Active JP7183232B2 (en) 2020-09-24 2020-09-24 Physical condition evaluation system, server, program and method of providing physical condition evaluation service

Country Status (1)

Country Link
JP (1) JP7183232B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10155749A (en) * 1996-12-04 1998-06-16 Hiyuunet Kk System for monitoring and informing about human health condition
WO2015166692A1 (en) * 2014-04-30 2015-11-05 コニカミノルタ株式会社 Health degree assessing device and health degree assessing system
JP2019197269A (en) * 2018-05-07 2019-11-14 ルネサスエレクトロニクス株式会社 Health support system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10155749A (en) * 1996-12-04 1998-06-16 Hiyuunet Kk System for monitoring and informing about human health condition
WO2015166692A1 (en) * 2014-04-30 2015-11-05 コニカミノルタ株式会社 Health degree assessing device and health degree assessing system
JP2019197269A (en) * 2018-05-07 2019-11-14 ルネサスエレクトロニクス株式会社 Health support system

Also Published As

Publication number Publication date
JP7183232B2 (en) 2022-12-05

Similar Documents

Publication Publication Date Title
JP7083809B2 (en) Systems and methods for identifying and / or identifying and / or pain, fatigue, mood, and intent with privacy protection
US10080513B2 (en) Activity analysis, fall detection and risk assessment systems and methods
JP7229174B2 (en) Person identification system and method
WO2019239813A1 (en) Information processing method, information processing program, and information processing system
CN111344713B (en) Camera and image calibration for object recognition
JP7185805B2 (en) Fall risk assessment system
Rafferty et al. Fall detection through thermal vision sensing
JP2020502642A (en) Patient identification system and method
Khanal et al. Using emotion recognition in intelligent interface design for elderly care
Pinitkan et al. Abnormal activity detection and notification platform for real-time ad hoc network
Fan et al. Real-time machine learning-based recognition of human thermal comfort-related activities using inertial measurement unit data
López-Medina et al. Evaluation of convolutional neural networks for the classification of falls from heterogeneous thermal vision sensors
US20210383667A1 (en) Method for computer vision-based assessment of activities of daily living via clothing and effects
JP7183232B2 (en) Physical condition evaluation system, server, program and method of providing physical condition evaluation service
WO2019150954A1 (en) Information processing device
JP7433894B2 (en) Guidance system, server, program and service provision method
JP6793383B1 (en) Behavior identification system
Wlodarczak et al. Reality mining in eHealth
Adhikari et al. An image based activity recognition
JP7353964B2 (en) Guidance system, server, program and service provision method
Gaete et al. Visitrack: A pervasive service for monitoring the social activity of older adults living at home
Kanakaprabha et al. IoT based solution for effective social distancing and contact tracing for COVID-19 prevention
Szankin et al. Fully Automated AI-powered Contactless Cough Detection based on Pixel Value Dynamics Occurring within Facial Regions
Biswas et al. COVID-19 on spot detection as a service (COSDaaS)–A cloud-based pandemic service approach by means of a smart screening device for mass screening to minimize the spread of infection efficiently.
JP7196890B2 (en) Image analysis device, image analysis method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221122

R150 Certificate of patent or registration of utility model

Ref document number: 7183232

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150